JP2003179863A - 情報処理装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

(57)【要約】 【課題】 スプライシング時にオーディオデータがビデ
オデータと同期しなくなるのを防止する。 【解決手段】 第１のプログラムのビデオストリームの
最後のGOP８１に対して、第２のプログラムのビデオス
トリームの先頭のGOP８２をスプライシングし、かつ、
第１のプログラムのオーディオストリームの最後のGOP
９１に対して、第２のプログラムのオーディオストリー
ムの先頭のGOP９２をスプライシングする場合におい
て、スプライシング後のビデオデータとオーディオデー
タとが同期するのに必要なずれ量PTS_FSが、各GOP毎に
演算され、記録媒体に記録される。スプライシング処理
する場合、GOP９２をGOP９１にそのままスプライシング
した場合におけるずれ量PTS_FS_SPLYCEと読み出されたP
TS_FSが利用される。本発明は、ビデオサーバに適用す
ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は情報処理装置に関
し、特に、デジタル放送において、ストリームを結合す
る際に、ビデオストリームとオーディオストリームの処
理単位の大きさの違いによって生じるずれの蓄積を抑制
する際に用いて好適な情報処理装置に関する。

【０００２】

【従来の技術】デジタルで番組を放送するデジタル放送
が普及しつつある。デジタル放送における番組は、１つ
以上のプログラムにより構成され、各プログラムは、例
えば、MPEG（Moving Picture Expert Group）２方式に
よるトランスポートストリームが用いられて送受信が行
われる。

【０００３】

【発明が解決しようとする課題】ところで、デジタル放
送においては、時間帯により異なる番組が放送されるた
め、トランスポートストリームをエレメンタリストリー
ムに変換した後、あるタイミングで、ある番組（プログ
ラム）から次の番組（プログラム）へと切り換える必要
がある。また、ある１つの番組内においても、本編（プ
ログラム）に対してコマーシャル（プログラム）を挿入
する必要がある場合などが存在する。この番組から番組
への切り換え、あるいは、本編からコマーシャルへの切
り換えなどのとき、それらの本編やコマーシャルに対応
するエレメンタリストリームを繋ぎ合わせる（スプライ
スする）という処理が必要である。

【０００４】エレメンタリストリームに多重化されてい
るビデオストリームとオーディオストリームの符号化単
位（それぞれ、ビデオフレームまたはオーディオフレー
ム）は、互いに異なる時間間隔とされている。図１は、
プログラムを構成するビデオストリームとオーディオス
トリームの長さの違いについて説明する図である。図１
に示されるように、ビデオストリームの１フレーム（ビ
デオフレーム）は、NTSC方式の場合、３３ｍｓであり、
オーディオストリームの１フレーム（オーディオフレー
ム）は、２４ｍｓである。従って、ビデオストリームの
ビデオフレームとオーディオストリームのオーディオフ
レームは、プログラムの先頭で同期させたとしても、２
番目以降のビデオフレームとオーディオフレームのタイ
ミングは一致せず、時間的にずれ（ギャップ）が生じ
る。

【０００５】符号化単位がフレームであるため、ある番
組のプログラムの最後で、ビデオストリームの最後とオ
ーディオストリームの最後に、無視できないずれが生じ
てしまう可能性が高い。すなわち、ビデオストリームの
スプライスポイント（あるプログラムに対する異なるプ
ログラムのビデオストリームの繋ぎ目）に、オーディオ
ストリームのフレームの切れ目が丁度位置すること、す
なわち、ビデオストリームとのずれが生じないといった
ことが起こる可能性は低い。

【０００６】プログラムの最後のフレームにおいて、ビ
デオストリームとオーディオストリームが、図１に示さ
れるように、時間的にずれている状態で、スプライシン
グを行うと、スプライシングにより生成されたプログラ
ムは、ビデオフレームとオーディオフレームの同期がず
れてしまうことになる。その結果、スプライシングを繰
り返すと、そのずれ量は蓄積され、次第に大きくなって
しまう。

【０００７】また、スプライシングする２つのプログラ
ム間で、オーディオのチャンネル数が異なる場合、その
異なるチャンネル数のオーディオストリームがスプライ
シングされたエレメンタリストリームを変換して生成さ
れたトランスポートストリームを処理するデコーダによ
っては、プログラムの繋ぎ目で、ストリームを先頭から
正確に再生することができなくなってしまう時がある。

【０００８】例えば、オーディオのチャンネル数が４チ
ャンネルである１つ目のプログラムに対して、オーディ
オのチャンネル数が２チャンネルである２つ目のプログ
ラムをスプライシングした場合、そのプログラムのトラ
ンスポートストリームを受信したデコーダは、スプライ
シングの位置以降、デコードしていたオーディオのある
チャンネルが存在しなくなったと判断し、ビデオストリ
ームとオーディオストリームがそろってから処理を開始
する為のリセットの処理を実行してしまう可能性があ
る。

【０００９】さらに、オーディオのチャンネル数が２チ
ャンネルである１つ目のプログラムに、オーディオのチ
ャンネル数が４チャンネルである２つ目のプログラムを
スプライシングした場合、そのプログラムのトランスポ
ートストリームを受信したデコーダは、スプライシング
された位置以降、１つ目のプログラムでは存在しなかっ
た４チャンネルのオーディオが存在する２つ目のプログ
ラムについて、増加したオーディオチャンネルのオーデ
ィオを先頭から再生できない可能性があるといった課題
があった。

【００１０】本発明はこのような状況に鑑みてなされた
ものであり、スプライシング処理によりビデオフレーム
に対するオーディオフレームのずれが蓄積するのを抑制
することを目的とする。また、オーディオデータを確実
に再生できるようにすることを目的とする。

【００１１】

【課題を解決するための手段】本発明の第１の情報処理
装置は、処理単位毎の入力ビデオデータと、処理単位毎
の入力オーディオデータから、入力ビデオデータの処理
単位の最終時刻情報、及び、入力オーディオデータの処
理単位の最終時刻情報を算出する最終時刻情報算出手段
と、先行する処理単位に対して、処理単位の入力ビデオ
データと処理単位の入力オーディオデータが直接繋がれ
た場合において、処理単位の入力ビデオデータと処理単
位の入力オーディオデータが同期するための、処理単位
の入力ビデオデータと処理単位の入力オーディオデータ
のずれ量を示す第1のずれ量情報を、処理単位毎に算出
する第1のずれ量情報算出手段と、処理単位の入力オー
ディオデータが、前記処理単位の入力ビデオデータと同
期するための、前記先行する処理単位のビデオデータの
最終時刻情報に対する、前記処理単位の入力オーディオ
データのずれ量を示す第２のずれ量情報を前記処理単位
毎に算出する第２のずれ量情報算出手段と、第２のずれ
量が第１のずれ量よりも大きい時に、処理単位毎に、無
音を示す無音情報を先行するオーディオデータと入力オ
ーディオデータとの間に挿入する無音データ挿入手段と
を備えることを特徴とする。

【００１２】前記第１のずれ量情報の値が、第２のずれ
量の値より大きく、かつ、第１のずれ量情報の値と第２
のずれ量の値の差が、オーディオデータの１符号化単位
以上であるか否かを判断する判断手段と、判断手段によ
り、第１のずれ量情報の値が、第２のずれ量の値より大
きく、かつ、その差がオーディオデータの１符号化単位
以上であると判断された場合、第１のずれ量情報の値
と、第２のずれ量の値の差が、オーディオデータの１符
号化単位より小さくなるように、先行する処理単位のオ
ーディオデータを、オーディオデータの処理単位を構成
する符号化単位で削除する削除手段とをさらに備えるこ
とができる。

【００１３】本発明の第１の情報処理方法は、処理単位
毎の入力ビデオデータと、処理単位毎の入力オーディオ
データから、入力ビデオデータの処理単位の最終時刻情
報、及び、入力オーディオデータの処理単位の最終時刻
情報を算出する最終時刻情報算出ステップと、先行する
処理単位に対して、処理単位の入力ビデオデータと処理
単位の入力オーディオデータが直接繋がれた場合におい
て、処理単位の入力ビデオデータと処理単位の入力オー
ディオデータが同期するための、処理単位の入力ビデオ
データと処理単位の入力オーディオデータのずれ量を示
す第1のずれ量情報を、処理単位毎に算出する第1のずれ
量情報算出ステップと、処理単位の入力オーディオデー
タが、処理単位の入力ビデオデータと同期するための、
先行する処理単位のビデオデータの最終時刻情報に対す
る、処理単位の入力オーディオデータのずれ量を示す第
２のずれ量情報を処理単位毎に算出する第２のずれ量情
報算出ステップと、第２のずれ量が第１のずれ量よりも
大きい時に、処理単位毎に、無音を示す無音情報を先行
するオーディオデータと入力オーディオデータとの間に
挿入する無音データ挿入ステップとを含むことを特徴と
する。

【００１４】本発明の第１の記録媒体のプログラムは、
処理単位毎の入力ビデオデータと、処理単位の大きさが
入力ビデオデータと異なる処理単位毎の入力オーディオ
データを処理するプログラムであって、処理単位毎の入
力ビデオデータと、処理単位毎の入力オーディオデータ
から、入力ビデオデータの処理単位の最終時刻情報、及
び、入力オーディオデータの処理単位の最終時刻情報を
算出する最終時刻情報算出ステップと、先行する処理単
位に対して、処理単位の入力ビデオデータと処理単位の
入力オーディオデータが直接繋がれた場合において、処
理単位の入力ビデオデータと処理単位の入力オーディオ
データが同期するための、処理単位の入力ビデオデータ
と処理単位の入力オーディオデータのずれ量を示す第1
のずれ量情報を、処理単位毎に算出する第1のずれ量情
報算出ステップと、処理単位の入力オーディオデータ
が、処理単位の入力ビデオデータと同期するための、先
行する処理単位のビデオデータの最終時刻情報に対す
る、処理単位の入力オーディオデータのずれ量を示す第
２のずれ量情報を処理単位毎に算出する第２のずれ量情
報算出ステップと、第２のずれ量が第１のずれ量よりも
大きい時に、処理単位毎に、無音を示す無音情報を先行
するオーディオデータと入力オーディオデータとの間に
挿入する無音データ挿入ステップとを含むことを特徴と
する。

【００１５】本発明の第１のプログラムは、処理単位毎
の入力ビデオデータと、処理単位の大きさが前記入力ビ
デオデータと異なる処理単位毎の入力オーディオデータ
を処理するプログラムであって、処理単位毎の入力ビデ
オデータと、処理単位毎の入力オーディオデータから、
入力ビデオデータの処理単位の最終時刻情報、及び、入
力オーディオデータの処理単位の最終時刻情報を算出す
る最終時刻情報算出ステップと、先行する処理単位に対
して、処理単位の入力ビデオデータと処理単位の入力オ
ーディオデータが直接繋がれた場合において、処理単位
の入力ビデオデータと処理単位の入力オーディオデータ
が同期するための、処理単位の入力ビデオデータと処理
単位の入力オーディオデータのずれ量を示す第1のずれ
量情報を、処理単位毎に算出する第1のずれ量情報算出
ステップと、処理単位の入力オーディオデータが、処理
単位の入力ビデオデータと同期するための、先行する処
理単位のビデオデータの最終時刻情報に対する、処理単
位の入力オーディオデータのずれ量を示す第２のずれ量
情報を処理単位毎に算出する第２のずれ量情報算出ステ
ップと、第２のずれ量が第１のずれ量よりも大きい時
に、処理単位毎に、無音を示す無音情報を先行するオー
ディオデータと入力オーディオデータとの間に挿入する
無音データ挿入ステップとをコンピュータに実行させる
ことを特徴とする。

【００１６】本発明の第２の情報処理装置は、オーディ
オデータとビデオデータの処理単位毎の同期のずれ量を
検出する検出手段と、先行する処理単位に対して、処理
単位のオーディオデータとビデオデータを繋ぐ処理をし
た場合に、オーディオデータとビデオデータが同期する
ためのずれ量を示す第１のずれ量を、検出手段により検
出された同期のずれ量に基づいて演算する第１のずれ量
演算手段と、第１のずれ量を含む、処理単位毎のヘッダ
を生成する第１の生成手段と、オーディオデータとビデ
オデータを含む処理単位のブロックを生成し、第１の生
成手段により生成されたヘッダを付加する第２の生成手
段とを備えることを特徴とする。

【００１７】前記同期のずれ量が、ビデオデータの処理
単位を構成する符号化単位の長さより長いか否かを判定
する判定手段と、判定手段により、同期のずれ量が、符
号化単位の長さより長いと判定された場合、同期のずれ
量から、符号化単位の長さに対応する分を減算すること
で同期のずれを補正する補正手段をさらに備え、第１の
ずれ量演算手段は、補正手段により補正されたずれ量に
基づいて、第１のずれ量を演算することができる。

【００１８】前記処理単位は、ビデオデータのグループ
オブピクチャであり、符号化単位は、ビデオフレームで
あるようにすることができる。

【００１９】前記第２の生成手段によりヘッダが付加さ
れたオーディオデータとビデオデータを含むブロックを
出力する出力手段をさらに備えることができる。

【００２０】前記出力手段は、処理単位を記録媒体に供
給し、記録させるようにすることができる。

【００２１】入力されたデータから、各ブロックのヘッ
ダに含まれる第１のずれ量を抽出する抽出手段と、先行
する処理単位に対して、オーディオデータとビデオデー
タの処理単位を繋ぐ処理をした場合における、オーディ
オデータとビデオデータの処理単位の同期のずれ量に対
応する第２のずれ量を、ブロック毎に演算する第２のず
れ量演算手段と、抽出手段により抽出された第１のずれ
量と、第２のずれ量演算手段により演算された第２のず
れ量に基づいて、処理単位毎にずれ量を補正するずれ量
補正手段とをさらに備えることができる。

【００２２】前記第２のずれ量演算手段は、処理単位毎
に演算される先行する処理単位のタイムスタンプと、処
理単位の長さに基づいて、第２のずれ量を演算すること
ができる。

【００２３】前記第２のずれ量演算手段は、先行する処
理単位のオーディオデータのプレゼンテーションタイム
スタンプに、処理単位のオーディオデータの長さを加算
した値と、先行する処理単位のビデオデータのデコーデ
ィングタイムスタンプに、処理単位のビデオデータの長
さを加算した値との差に基づいて、第２のずれ量を演算
することができる。

【００２４】前記第１のずれ量が、第２のずれ量より大
きいか否かを判断する判断手段と、判断手段により、第
１のずれ量が、第２のずれ量より大きいと判断された場
合、先行する処理単位のオーディオデータに、１つの符
号化単位の無音のデータを挿入する挿入手段とをさらに
備えることができる。

【００２５】前記第２のずれ量が、第１のずれ量より大
きく、かつ、第２のずれ量と第１のずれ量の差が、オー
ディオデータの１符号化単位以上であるか否かを判断す
る判断手段と、判断手段により、第２のずれ量が、第１
のずれ量より大きく、かつ、その差がオーディオデータ
の１符号化単位以上であると判断された場合、第２のず
れ量と、第１のずれ量の差が、オーディオデータの１符
号化単位より小さくなるように、先行する処理単位のオ
ーディオデータを、オーディオデータの処理単位を構成
する符号化単位で削除する削除手段とをさらに備えるこ
とができる。

【００２６】前記オーディオデータのチャンネル数が、
扱えるチャンネル数の最大値よりも少ないか否かを判断
する判断手段をさらに備え、出力手段は、判断手段によ
り、オーディオデータのチャンネル数が、最大値よりも
少ないと判断された場合、チャンネル数が、最大値と等
しくなるようにチャンネル数を増加し、増加したチャン
ネルに対して無音のデータを付加して出力することがで
きる。

【００２７】本発明の第２の情報処理方法は、オーディ
オデータとビデオデータの処理単位毎の同期のずれ量を
検出する検出ステップと、先行する処理単位に対して、
処理単位のオーディオデータとビデオデータを繋ぐ処理
をした場合に、オーディオデータとビデオデータが同期
するためのずれ量を示す第１のずれ量を、検出ステップ
の処理により検出された同期のずれ量に基づいて演算す
る第１のずれ量演算ステップと、第１のずれ量を含む、
処理単位毎のヘッダを生成する第１の生成ステップと、
オーディオデータとビデオデータを含む処理単位のブロ
ックを生成し、第１の生成ステップの処理により生成さ
れたヘッダを付加する第２の生成ステップとを含むこと
を特徴とする。

【００２８】本発明の第２の記録媒体のプログラムは、
処理単位毎のビデオデータと、処理単位の大きさがビデ
オデータと異なる処理単位毎のオーディオデータを処理
するプログラムであって、オーディオデータとビデオデ
ータの処理単位毎の同期のずれ量を検出する検出ステッ
プと、先行する処理単位に対して、処理単位のオーディ
オデータとビデオデータを繋ぐ処理をした場合に、オー
ディオデータとビデオデータが同期するためのずれ量を
示す第１のずれ量を、検出ステップの処理により検出さ
れた同期のずれ量に基づいて演算する第１のずれ量演算
ステップと、第１のずれ量を含む、処理単位毎のヘッダ
を生成する第１の生成ステップと、オーディオデータと
ビデオデータを含む処理単位のブロックを生成し、第１
の生成ステップの処理により生成されたヘッダを付加す
る第２の生成ステップとを含むことを特徴とする。

【００２９】本発明の第２のプログラムは、処理単位毎
のビデオデータと、処理単位の大きさがビデオデータと
異なる処理単位毎のオーディオデータを処理するプログ
ラムであって、オーディオデータとビデオデータの処理
単位毎の同期のずれ量を検出する検出ステップと、先行
する処理単位に対して、処理単位のオーディオデータと
ビデオデータを繋ぐ処理をした場合に、オーディオデー
タとビデオデータが同期するためのずれ量を示す第１の
ずれ量を、検出ステップの処理により検出された同期の
ずれ量に基づいて演算する第１のずれ量演算ステップ
と、第１のずれ量を含む、処理単位毎のヘッダを生成す
る第１の生成ステップと、オーディオデータとビデオデ
ータを含む処理単位のブロックを生成し、第１の生成ス
テップの処理により生成されたヘッダを付加する第２の
生成ステップとをコンピュータに実行させることを特徴
とする。

【００３０】本発明の第３の情報処理装置は、入力され
たデータから、オーディオデータとビデオデータを含む
処理単位の各ブロックを抽出し、各ブロックに含まれる
ヘッダから、先行する処理単位に対して、処理単位のオ
ーディオデータとビデオデータを繋ぐ処理をした場合
に、オーディオデータとビデオデータが同期するための
ずれ量に対応する第１のずれ量を抽出する抽出手段と、
先行する処理単位に対して、オーディオデータとビデオ
データの処理単位を繋ぐ処理をした場合における、オー
ディオデータとビデオデータの処理単位の同期のずれ量
に対応する第２のずれ量を、各ブロック毎に演算する演
算手段と、第１のずれ量と、第２のずれ量に基づいて、
処理単位で繋ぐ処理を行う繋ぎ手段とを備えることを特
徴とする。

【００３１】前記演算手段は、処理単位毎に演算される
先行する処理単位のタイムスタンプと、処理単位の長さ
に基づいて、第２のずれ量を演算することができる。

【００３２】前記演算手段は、先行する処理単位のオー
ディオデータのプレゼンテーションタイムスタンプに、
処理単位のオーディオデータの長さを加算した値と、先
行する処理単位のビデオデータのデコーディングタイム
スタンプに、処理単位のビデオデータの長さを加算した
値との差に基づいて、第２のずれ量を演算することがで
きる。

【００３３】前記第１のずれ量が、第２のずれ量より大
きいか否かを判断する判断手段と、判断手段により、第
１のずれ量が、第２のずれ量より大きいと判断された場
合、先行する処理単位のオーディオデータに、１つの符
号化単位の無音のデータを挿入する挿入手段とをさらに
備えることができる。

【００３４】前記第２のずれ量が、第１のずれ量より大
きく、かつ、第２のずれ量と第１のずれ量の差が、オー
ディオデータの１符号化単位以上であるか否かを判断す
る判断手段と、判断手段により、第２のずれ量が、第１
のずれ量より大きく、かつ、その差がオーディオデータ
の１符号化単位以上であると判断された場合、第２のず
れ量と、第１のずれ量の差が、オーディオデータの１符
号化単位より小さくなるように、先行する処理単位のオ
ーディオデータを、オーディオデータの処理単位を構成
する符号化単位で削除する削除手段とをさらに備えるこ
とができる。

【００３５】前記オーディオデータのチャンネル数が、
扱えるチャンネル数の最大値よりも少ないか否かを判断
する判断手段と、判断手段により、オーディオデータの
チャンネル数が、最大値よりも少ないと判断された場
合、チャンネル数が、最大値と等しくなるようにチャン
ネル数を増加し、増加したチャンネルに対して無音のデ
ータを付加して出力する出力手段とをさらに備えること
ができる。

【００３６】本発明の第３の情報処理方法は、入力され
たデータから、オーディオデータとビデオデータを含む
処理単位の各ブロックを抽出し、各ブロックに含まれる
ヘッダから、先行する処理単位に対して、処理単位のオ
ーディオデータとビデオデータを繋ぐ処理をした場合
に、オーディオデータとビデオデータが同期するための
ずれ量に対応する第１のずれ量を抽出する抽出ステップ
と、先行する処理単位に対して、オーディオデータとビ
デオデータの処理単位を繋ぐ処理をした場合における、
オーディオデータとビデオデータの処理単位の同期のず
れ量に対応する第２のずれ量を、各ブロック毎に演算す
る演算ステップと、第１のずれ量と、第２のずれ量に基
づいて、処理単位で繋ぐ処理を行う繋ぎステップとを含
むことを特徴とする。

【００３７】本発明の第３の記録媒体のプログラムは、
処理単位毎のビデオデータと、処理単位の大きさがビデ
オデータと異なる処理単位毎のオーディオデータを処理
するプログラムであって、入力されたデータから、オー
ディオデータとビデオデータを含む処理単位の各ブロッ
クを抽出し、各ブロックに含まれるヘッダから、先行す
る処理単位に対して、処理単位のオーディオデータとビ
デオデータを繋ぐ処理をした場合に、オーディオデータ
とビデオデータが同期するためのずれ量に対応する第１
のずれ量を抽出する抽出ステップと、先行する処理単位
に対して、オーディオデータとビデオデータの処理単位
を繋ぐ処理をした場合における、オーディオデータとビ
デオデータの処理単位の同期のずれ量に対応する第２の
ずれ量を、各ブロック毎に演算する演算ステップと、第
１のずれ量と、第２のずれ量に基づいて、処理単位で繋
ぐ処理を行う繋ぎステップとを含むことを特徴とする。

【００３８】本発明の第３のプログラムは、処理単位毎
のビデオデータと、処理単位の大きさがビデオデータと
異なる処理単位毎のオーディオデータを処理するプログ
ラムであって、入力されたデータから、オーディオデー
タとビデオデータを含む処理単位の各ブロックを抽出
し、各ブロックに含まれるヘッダから、先行する処理単
位に対して、処理単位のオーディオデータとビデオデー
タを繋ぐ処理をした場合に、オーディオデータとビデオ
データが同期するためのずれ量に対応する第１のずれ量
を抽出する抽出ステップと、先行する処理単位に対し
て、オーディオデータとビデオデータの処理単位を繋ぐ
処理をした場合における、オーディオデータとビデオデ
ータの処理単位の同期のずれ量に対応する第２のずれ量
を、各ブロック毎に演算する演算ステップと、第１のず
れ量と、第２のずれ量に基づいて、処理単位で繋ぐ処理
を行う繋ぎステップとをコンピュータに実行させること
を特徴とする。

【００３９】第１の本発明においては、第１のずれ量情
報と第２のずれ量情報が算出される。第２のずれ量が第
１のずれ量より大きいとき、先行するオーディオデータ
と入力オーディオデータとの間に、無音情報が挿入され
る。

【００４０】第２の本発明においては、オーディオデー
タとビデオデータの処理単位毎の同期のずれ量に対応す
る第１のずれ量が演算され、演算された第１のずれ量を
含む、処理単位毎のヘッダが生成され、生成されたヘッ
ダが、オーディオデータとビデオデータを含むブロック
に付加される。

【００４１】第３の本発明においては、ヘッダから、オ
ーディオデータとビデオデータの処理単位毎の同期のず
れ量に対応する第１のずれ量が抽出され、第１の処理単
位に対して、第２の処理単位を繋ぐ処理をした場合にお
ける、オーディオデータとビデオデータの処理単位毎の
同期のずれ量を表す第２のずれ量が演算され、第１のず
れ量と第２のずれ量に基づいて、繋ぐ処理が行われる。

【００４２】

【発明の実施の形態】以下に、本発明の実施の形態につ
いて図面を参照して説明する。図２は、本発明を適用し
たビデオサーバ１の一実施の形態の構成を示す図であ
る。ビデオサーバ１は、例えば、異なる番組のプログラ
ムを繋ぎ合わせたり、放送される番組中にコマーシャル
を挿入する際などに用いられる装置である。

【００４３】ビデオサーバ１には、エンコーダ２とデコ
ーダ３が接続されている。エンコーダ２により、例え
ば、MPEG２等の符号化方式によりエンコードされたビデ
オデータやオーディオデータは、トランスポートストリ
ームの形式で、DVB-ASI（Digital Video Broadcasting-
Asynchronous Serial Interface）ボード４に入力され
る。DVB-ASIボード４は、DVB-ASIインタフェース１０、
スプライシングIC（Integrated Circuit）１１、PCI（P
eripheral Component Interconnect）インタフェース１
２、CPU（Central Processing Unit）１３、および、ス
イッチ１４から構成されている。

【００４４】DVB-ASIインタフェース１０は、エンコー
ダ２とスプライシングIC１１との間のインタフェース処
理、並びに、スプライシングIC１１とデコーダ３との間
のインタフェース処理を実行する。スプライシングIC１
１は、プログラムを、GOP（Group Of Picture）を処理
単位として繋ぎ合わせる処理（スプライシング処理）を
行い、その際、ビデオストリームとオーディオストリー
ムに、無視できないずれが発生しないような処理（詳細
は後述する）を行う。

【００４５】PCIインタフェース１２は、ビデオサーバ
１におけるバス５を介する他の部分、例えば、HDD（Har
d Disk Drive）６とのデータの通信を制御する。CPU１
３は、DVB-ASIボード４の制御を行う。HDD６に記憶され
ているプログラムは、必要に応じて読み出され、DVB-AS
Iボード４により処理され、デコーダ３に供給され、デ
コードされ、後段に接続されている装置（不図示）に出
力される。スイッチ１４は、CPU１３により制御され、
スプライシングIC１１の出力をPCIインタフェース１２
に出力するとき（記録モード時）、接点R側に切り替え
られ、PCIインタフェース１２の出力をDVB-ASIインタフ
ェース１０に供給するとき（再生モード時）、接点P側
に切り替えられる。

【００４６】ビデオサーバ１におけるバス５には、SDI
（Serial Digital Interface）エンコードボード７も接
続されている。SDIエンコードボード７は、シリアルデ
ータを入力するインタフェースを備え、入力されたデー
タをデコードするSDIデコーダ２１、SDIデコーダ２１か
ら出力されたビデオデータをエンコードするビデオエン
コーダ２２、SDIデコーダ２１から出力されたオーディ
オデータをエンコードするオーディオエンコーダ２３、
それらのエンコーダから出力されたデータをHDD６に供
給するための制御を行うPCIインタフェース２４、SDIエ
ンコードボード７の各部を制御するCPU２５、および、
これらの各部を相互に接続するバス２６から構成されて
いる。

【００４７】図３は、スプライシングIC１１の内部の構
成を示す図である。バッファ４１は、DVB-ASIインタフ
ェース１０を介して入力されるエンコーダ２またはPCI
インタフェース１２からのデータを一旦記憶し、その記
憶したデータをBAC（Bus Arbitration Control Modul
e）４２に出力する。BAC４２は、SDRAM（Synchronous D
ynamic Random Access Memory）４３とのデータの通信
を制御する。SDRAM４３に記憶されたデータは、パケッ
ト生成部４４にBAC４２を介して供給される。

【００４８】パケット生成部４４によりローカルフォー
マット化されたデータは、BAC４２を介してバッファ４
６に供給される。バッファ４６に供給されたデータは、
必要に応じて、スイッチ１４とPCIインタフェース１２
を介して、HDD６に供給されるか（記録モード時）、ま
たは、DVB-ASIインタフェース１０を介してデコーダ３
に供給される（再生モード時）。

【００４９】このような構成を有するビデオサーバ１の
動作について説明する前に、以下の説明において必要と
なるMPEG２のエレメンタリストリームについて説明す
る。図４は、MPEG２のエレメンタリストリームにおける
データの階層構造を示している。データは、GOP（Group
Of Picture）が符号化の単位とされ、各GOPの先頭に
は、シーケンスヘッダが配置されている。１GOPは、Ｎ
個（Ｎは正の整数であり、通常、Ｎ＝１５とされる）の
ビデオフレームで構成される。１ビデオフレームは、NT
SC方式の場合、３３msの長さとなる。

【００５０】１GOPのビデオデータの中に、少なくとも
１フレームは、前後のフレームに依存されずに再生でき
るフレーム（Ｉピクチャ）を含む必要がある。１GOP中
の再生は、このＩピクチャを基にして行われる。そし
て、再生は、１GOPが最小単位となる。スプライシング
処理は、GOPを処理単位として実行される。従って、ス
プライシングするプログラムの長さも、１GOPを単位と
し、その整数倍となる。

【００５１】また、オーディオデータについては、１GO
Pのビデオデータに同期するオーディオデータが１GOPと
して扱われる。オーディオデータも、２４msの長さのフ
レーム（オーディオフレーム）が単位とされ、１GOPの
オーディオフレーム数は、Ｍ個とされる（Ｍは整数であ
り、通常Ｍ＝２１とされる）。

【００５２】図５と図６は、ビデオフレームとオーディ
オフレームの同期ずれに関して説明する図である。図５
に示されるように、オーディオデータがビデオデータと
同期して出力される為に、GOPの先頭において、オーデ
ィオフレームがビデオフレームに対して有している必要
があるずれ量を、PTS_FSとする。ここで、同期とは、１
つのGOPのオーディオデータが、対応するGOPのビデオデ
ータと同時に出力されることを意味する。なお、図５に
は、１GOP分の１５個のビデオフレーム（Video1,Video
2,・・・Video15）と、１GOP分の２１個のオーディオフ
レーム（AAU1,AAU2,・・・AAU21）が示されている。点
Ｐ_VSは１GOP分のビデオデータの先頭の位置（ビデオフ
レームVideo1の先頭の位置）を表し、点Ｐ_ASは１GOP分
のオーディオデータの先頭の位置（オーディオフレーム
AAU1の先頭の位置）を表している。従って、点Ｐ_ASと点
Ｐ_VSの時間軸上の差（点Ｐ_ASの時刻から点Ｐ_VSの時刻を
減算し得られる位相差）が、そのGOPにおけるオーディ
オフレームとビデオフレームのずれ量となる。

【００５３】PTS_FSは、先頭のオーディオフレームの先
頭の位置の時刻から、先頭のビデオフレームの先頭の位
置の時刻を減算して求められるずれ量のうちの本来のず
れ量、すなわち、そのずれ量が存在することにより、ビ
デオデータとオーディオデータが同期して再生されるず
れ量である。換言すれば、GOPの先頭において、オーデ
ィオフレームがビデオフレームに対してPTS_FSだけずれ
ている場合、オーディオデータはビデオデータと同期し
て再生され、ずれ量が、PTS_FSではない場合、オーディ
オデータはビデオデータと同期して再生されない。

【００５４】図１を参照して説明したように、オーディ
オフレームとビデオフレームはその長さがお互いに異な
っているため、プログラムの先頭でビデオデータとオー
ディオデータの同期（以下、適宜、AV同期と記述する）
がとられていたとしても（オーディオデータがビデオデ
ータと同時に出力されるようにタイミングが調整されて
いたとしても）、プログラムの最後で、ビデオデータと
オーディオデータの間に、ずれが存在する可能性があ
る。そのようなビデオデータとオーディオデータのずれ
を含むプログラム（以下、第１のプログラムと称する）
の後に、別のプログラム（以下、第２のプログラムと称
する）をスプライシングした場合、そのずれが第２のプ
ログラムに影響する。

【００５５】本発明においては、ビデオデータとオーデ
ィオデータを、それぞれ、GOP単位で順次繋ぐ処理が繰
り返し行われ、ビデオデータとオーディオデータが連続
的に出力されるが、このとき、次に処理されるGOPが、
先行するGOPと同一のプログラムのものであるのか否か
は判定されず、次に処理されるGOPが、先行するGOPと同
一のプログラムのGOPであっても、異なるプログラムのG
OPであっても、全く同様に処理される。

【００５６】次に処理されるGOPが、先行するGOPと同一
のプログラムのGOPである場合、一般的には、オーディ
オフレームは、ビデオフレームと同期するように、すな
わち、ずれがPTS_FSとなるように調整されている。しか
しながら、次に処理されるGOPが、先行するGOPと異なる
プログラムのGOPである場合、一般的には、図６に示さ
れるように、オーディオフレームはビデオフレームと同
期しなくなる。

【００５７】本発明では、図６に示されるように、先行
するGOPに対して次のGOPを、そのままスプライシングし
た場合（ビデオデータに対するオーディオデータのずれ
量を変更、調整することなくスプライシングした場合）
における、ビデオデータの次のGOP８２と、オーディオ
データの次のGOP９２に発生するずれ量を、PTS_FS_SPLY
CEとする。

【００５８】なお、図６において、ハッチングを施さず
に示されているビデオフレームVideo1(P1)乃至Video15
(P1)は、先行するGOP８１のビデオフレーム（スプライ
シングされるGOPのビデオフレーム）を表しており、ハ
ッチングを施して示されているビデオフレームVideo1(P
2)乃至Video15(P2)は、次のGOP８２のビデオフレーム
（スプライシングするGOPのビデオフレーム）を表して
いる。

【００５９】また、ハッチングを施さずに示されている
オーディオフレームAAU1(P1)乃至AAU21(P1)は、先行す
るGOP９１のオーディオフレーム（スプライシングされ
るGOPのオーディオフレーム）を表しており、ハッチン
グを施して示されているオーディオフレームAAU1(P2)乃
至AAU21(P2)は、次のGOP９２のオーディオフレーム（ス
プライシングするGOPのオーディオフレーム）を表して
いる。

【００６０】さらに、図６に示されるように、先行する
GOPに対して次のGOPを、そのままスプライシングした場
合における次のGOP８２の最後のビデオフレームVideo15
(P2)の最後部の位置を、PTS_VIDEO_LASTとし、次のGOP
９２の最後のオーディオフレームの最後部の位置を、PT
S_AUDIO_LASTとする。次のGOP９２のオーディオフレー
ムの、次のGOP８２のビデオフレームに対するずれ量がP
TS_FSである場合、即ち、第１のプログラムと第２のプ
ログラムが同期している場合（GOP９２のオーディオフ
レームがGOP８２のビデオフレームに同期している場
合）、におけるPTS_AUDIO_LASTは、PTS_FS_ORGとなる。

【００６１】ずれ量PTS_FSとずれ量PTS_FS_SPLYCEは、G
OP毎に変化する。図６のずれ量は、第１のプログラムの
最後のGOP８１，GOP９１を基準とするものであるので、
ずれ量PTS_FSとずれ量PTS_FS_SPLYCEは、それぞれ、ず
れ量PTS_FS(P1)またはずれ量PTS_FS_SPLYCE(P1)として
示されている。ここで、PTS_FS(P1)は、GOP８１のビデ
オフレームのデータとGOP９１のオーディオフレームの
データが、VIDEO/AUDIOデータ６４として含まれるGOPの
Audio_Header６３（後述する図７）に格納される。

【００６２】スプライシングIC１１のCPU４５は、エン
コーダ２より入力されたデータをHDD６に記憶すると
き、データをローカルフォーマットのデータに変換す
る。このローカルフォーマットにおいては、データは、
図７に示されるように、１GOP単位でブロック化されて
記録される（記録処理の詳細は、図８のフローチャート
を参照して後述する）。各ブロックには、デコードに必
要な情報を含むローカルヘッダが付加される。図７に示
されるように、１GOPのデータは、ローカルヘッダ６０
と、VIDEO/AUDIOデータ６４から構成される。ローカル
ヘッダ６０は、System_Header６１、Video_Header６
２、およびAudio_Header６３により構成されている。

【００６３】System_Header６１には、Video_Header６
２、Audio_Header６３、およびVIDEO/AUDIOデータ６４
の、このブロックにおける位置を表す位置情報や、この
Recording Unitの再生時間といった情報が含まれる。

【００６４】Video_Header６２には、その1GOP分のビデ
オフレームのPTS(Presentation Time Stamp)を表す情報
（Video_ PTS）、DTS（Decording Time Stamp）（Video
_ DTS）を表す情報、各種のVideoエンコードに関わるパ
ラメータなどの情報が含まれる。なお、PTSとDTSとして
は、記録時に、先頭のビデオフレームを初期値０とする
STC(System Time Clock)をカウントした値が格納され
る。Audio_Header６３には、その1GOP分のオーディオフ
レームのAudio_PTSを表す情報、PTS_FSを表す情報、各
種のAudioのエンコードに関わるパラメータ（例えば、
サンプリング周波数、チャンネル数）に関する情報など
が含まれる。なお、オーディオデータの場合、プレゼン
テーションタイムスタンプは、デコーディングタイムス
タンプと等しいので、Audio_PTSは、Audio_DTSでもあ
る。なお、このAudio_PTSとしては、記録時に、先頭の
オーディオフレームを初期値０とするSTCをカウントし
た値が格納される。

【００６５】VIDEO/AUDIOデータ６４には、実際にエン
コードされたビデオデータとオーディオデータが含まれ
る。

【００６６】次に、図８のフローチャートを参照してエ
ンコーダ２によりエンコードされたデータをＨＤＤ６に
記録する場合のスプライシングIC１１の動作について説
明する。

【００６７】ステップＳ１において、スプライシングIC
１１のCPU４５は、トランスポートストリームを取り込
む処理を実行する。すなわち、エンコーダ２は、例え
ば、MPEG２方式で、エンコードしたビデオデータとオー
ディオデータを含むトランスポートストリームを、DVB-
ASIボード４に出力する。DVB-ASIボード４のDVB-ASIイ
ンタフェース１０は、エンコーダ２より入力されたトラ
ンスポートストリームをスプライシングIC１１に供給す
る。スプライシングIC１１は、このトランスポートスト
リームを取り込む。

【００６８】スプライシングIC１１のバッファ４１は、
DVB-ASIインタフェース１０を介してエンコーダ２より
供給されたデータを一時的に蓄積した後、BAC４２に供
給する。BAC４２は、このデータをSDRAM４３に供給し、
記憶させる。CPU４５は、SDRAM４３に記述されたデータ
を読み込み、トランスポートストリームをエレメンタリ
ストリームに変換する。

【００６９】次に、ステップＳ２において、CPU４５
は、ステップＳ１の処理で変換されたエレメンタリスト
リームのGOPのタイムスタンプAudio_PTSとVideo_DTSを
演算する。具体的には、CPU４５は、ビデオストリーム
の先頭のビデオフレームからGOPの数を計数し、最初のG
OPの先頭のビデオフレームの先頭の位置を初期値０とし
て、STC(System Time Clock)をカウントして得られた値
をタイムスタンプVideo_DTSに設定する。従って、最初
のGOPの処理の時、このタイムスタンプVideo_DTSの値
は、０となる。

【００７０】同様に、CPU４５は、オーディオストリー
ムの先頭のオーディオフレームからGOPの数を計数し、
最初のGOPの先頭のオーディオフレームの先頭の位置を
初期値０として、STCをカウントして得られた値をタイ
ムスタンプAudio_PTSに設定する。従って、最初のGOPの
処理の時、このタイムスタンプAudio_PTSは、０とな
る。

【００７１】次に、ステップＳ３において、CPU４５
は、ステップＳ２の処理で演算したタイムスタンプに基
づいて、オーディオデータのビデオデータに対するずれ
量ａを次式に基づいて演算する。

【００７２】ａ＝Audio_PTS−Video_DTS・・・（１）

【００７３】処理対象とされているGOPのずれ量ａがス
テップＳ３の処理で演算された後、ステップＳ４におい
て、CPU４５は、ステップＳ３の処理で演算して求めた
ずれ量ａが、１ビデオフレーム（符号化単位）の長さよ
り長いか否かを判定する。１ビデオフレームの長さは、
９０kHzの周波数のSTC(System Time Clock)のカウント
値で、３００３（＝９００００／２９．９７）とされ
る。ステップＳ３で求めたずれ量が１ビデオフレームの
長さ（３００３）より長い場合には、ステップＳ５に進
み、CPU４５は、ステップＳ３の処理で求めたずれ量ａ
から、１ビデオフレーム分の長さを次式に基づいて演算
することで、ずれ量ａを補正する。

【００７４】ａ＝a−３００３・・・（２）

【００７５】このようにして、オーディオフレームから
見て、同期をとるためのビデオフレームが探索される。
すなわち、オーディオフレームから見て、１ビデオフレ
ーム以上離れているビデオフレームは、同期をとる対象
のビデオフレームではないものとするために（離れてい
る距離が１ビデオフレーム未満であるビデーフレームを
同期対象のビデオフレームとするために）、ずれ量ａが
補正される。

【００７６】ステップＳ４において、ステップＳ３の処
理で求めたずれ量ａが、１ビデオフレームの長さより長
くないと判定された場合、ステップＳ５の処理はスキッ
プされる。すなわち、この場合には、ステップＳ３の処
理で演算されたずれ量ａが次式で示されるように、その
ままずれ量を表す値として保持される。

【００７７】ａ＝Audio_PTS−Video_DTS・・・（３）

【００７８】次に、ステップＳ６において、CPU４５
は、次式に基づいて、ずれ量PTS_FSを演算する。

【００７９】 PTS_FS＝（（ａ×４８０００）／９００００）＆０ｘ７ｆｆ・・・（４）

【００８０】上記式において、９００００は、STCの周
波数であり、この値で割算することにより、ずれ量ａが
秒に換算される。そして、秒に換算された値に４８００
０を乗算することにより、ずれ量をオーディオのサンプ
リングクロックに対応する値に換算する。なお、この４
８０００の値は、オーディオデータのサンプリング周波
数に対応する値であり、トランスポートストリームを解
析した結果、オーディオデータのサンプリング周波数が
他の周波数である場合には、その値が使用される。

【００８１】「＆０ｘ７ｆｆ」は、マスクをかけて有効
桁だけを取り出す処理を意味する。この例の場合、下位
１１ビットのデータだけが取り出される。これは、ずれ
量が最大でも１１ビット以下で表すことができるためで
ある。これにより、位相ずれを表すパラメータのビット
数が必要以上に大きくなることが防止される。

【００８２】ステップＳ７において、CPU４５は、トラ
ンスポートストリームを解析し、その他のローカルヘッ
ダの情報を得る。すなわち、図７に示したSystem_Heade
r６１、Video_Header６２、およびAudio_Header６３に
記録するために必要なデータを取得する。この場合にお
いて、Audio_Header６３の各種オーディオエンコードパ
ラメータの１つとして、CPU４５は、オーディオデータ
のサンプリング周波数（いまの例の場合、４８kHz）を
取得する。

【００８３】ステップＳ８において、CPU４５は、それ
までの処理で生成して得られたパラメータをパケット生
成部４４に転送し、ローカルヘッダ６０を生成させる。
すなわち、図７におけるSystem_Header６１、Video_Hea
der６２、およびAudio_Header６３が生成される。

【００８４】ステップＳ９において、CPU４５は、１GOP
分のエレメンタリストリームが揃ったか否かを判定し、
揃っていない場合には、揃うまで待機する。

【００８５】ステップＳ９において、１GOP分のエレメ
ンタリストリームが揃ったと判定された場合、ステップ
Ｓ１０に進み、CPU４５は、そのデータをパケット生成
部４４に供給する。パケット生成部４４は、供給されて
きたデータを、VIDEO/AUDIOデータ６４に格納し、１GOP
分のブロックを生成し、そのブロックにステップＳ８の
処理で生成したローカルヘッダを付加する。

【００８６】ステップＳ１１において、CPU４５は、ス
テップＳ１０の処理でパケット生成部４４により生成さ
れた、ローカルヘッダ６０を付加した１GOP分のブロッ
クのデータを、バッファ４６に転送する。

【００８７】バッファ４６は、パケット生成部４４より
転送されてきた１GOP分のブロックのデータを受信する
と、これを一時的に記憶した後、出力する。

【００８８】バッファ４６より出力されたデータは、こ
のとき、CPU１３により、接点Ｒ側に切り替えられてい
るスイッチ１４を介して、PCIインタフェース１２に供
給される。PCIインタフェース１２は、スイッチ１４よ
り入力されたデータをバス５を介して、HDD６に転送
し、記録させる。

【００８９】次に、ステップＳ１２において、CPU４５
は、ユーザから記録処理の終了が指示されたか否かを判
定し、指示されていない場合、ステップＳ２に戻り、次
のGOPを取得し、そのGOPについて、同様の処理を実行す
る。ステップＳ１２において、ユーザから記録処理の終
了が指示されたと判定された場合、CPU４５は、処理を
終了する。

【００９０】以上のようにして、データがGOP単位で、
図７に示されるようなローカルフォーマットの記録単位
としてのブロック（ローカルブロック）にブロック化さ
れ、HDD６に記録される。

【００９１】以上のようにして、HDD６に記録されたデ
ータは、その後、ユーザにより指示されたとき、HDD６
から読み出され、DVB-ASIボード４によりスプライシン
グ処理がなされた後、エレメンタリストリームからトラ
ンスポートストリームに変換される。そして、そのトラ
ンスポートストリームは、デコーダ３に供給され、デコ
ードされ、図示せぬ装置に出力される。

【００９２】すなわち、ビデオサーバ１の図示せぬコン
トローラは、ユーザにより指定されたプログラムが再生
順序に沿って並べられたプレイリストを受け取ると、そ
のプレイリストに従って、各プログラムのデータをHDD
６から順次読み出し、1GOP毎に、スプライシングIC１１
に転送する。スプライシングIC１１はスプライシング処
理を実行する。

【００９３】次に、スプライシングIC１１（図２と図
３）において行われるスプライシング処理について、図
９のフローチャートを参照して説明する。なお、この処
理は、GOP単位で実行される。

【００９４】ステップＳ３１において、１GOP分（図７
に示される１ブロック分）のMPEG２のデータが、HDD６
から読み出され、バス５を介してPCIインタフェース１
２に入力される。PCIインタフェース１２は、入力され
たデータを、このときCPU１３により接点P側に切り替え
られているスイッチ１４を介してDVB-ASIインタフェー
ス１０に出力する。DVB-ASIインタフェース１０は、ス
イッチ１４より入力されたデータを、スプライシングIC
１１に供給する。スプライシングIC１１においては、バ
ッファ４１に１GOP分のMPEG２のデータが蓄積される。C
PU４５は、この蓄積されたデータを、バッファ４１から
BAC４２を介してSDRAM４３に記憶させる。CPU４５は、S
DRAM４３に記憶されたブロックのローカルヘッダ６０の
Audio_Heder６３から、そのGOPのずれ量PTS_FSを抽出す
る。このずれ量PTS_FSは、図８のステップＳ６の処理で
演算され、ステップＳ１０の処理でAudio_Heder６３に
格納されたものである。

【００９５】ステップＳ３２において、CPU４５は、SDR
AM４３に記憶されたデータから、ビデオデータのPTS_VI
DEO_LAST（図６）を次式に基づいて算出する。

【００９６】 PTS_VIDEO_LAST＝Video_DTS＋Ｎ×３００３・・・（５）

【００９７】なお、上記式におけるＮは、１GOPを構成
するビデオフレームの数（通常Ｎ＝１５であり、その値
はVideo_Header６２の各種ビデオエンコードパラメータ
（図７）の１つとして記述されている）を表す。３００
３は、１ビデオフレームの長さであり、その値も、Vide
o_Header６２の各種ビデオエンコードパラメータ（図
７）の１つとして記述されている。

【００９８】スプライシング処理が開始されたとき、CP
U４５は、最初に入力されたビデオデータの先頭から、
初期値０として、GOPの数をカウントし、それまでにカ
ウントしたGOPの数に対応するSTCの値をタイムスタンプ
Video_DTSとしている。従って、タイムスタンプVideo_D
TSは、先行するGOPの最後のビデオフレームの最後尾の
位置を表していることになる。PTS_VIDEO_LASTは、先行
するGOPに引き続き、次のGOPがそのまま出力されたとき
の出力終了時刻を表す。

【００９９】ステップＳ３３において、CPU４５は、次
式に基づいてPTS_AUDIO_LAST（図６）を算出する。

【０１００】 PTS_AUDIO_LAST＝Audio_PTS＋Ｍ×１１５２・・・（６）

【０１０１】なお、上記式において、Ｍは、１GOPを構
成するオーディオフレームの数を表し、いまの場合、Ｍ
＝２１となる。また、１１５２は、１オーディオフレー
ムのサンプリング周波数で係数した長さを表す。すなわ
ち、１オーディオフレームの長さは２４msecであるた
め、４８kHzのサンプリング周波数でその長さを計数す
ると、２４msec×４８kHz＝１１５２となる。これらの
Ｍと１１５２の値は、Audio_Header６３の各種オーディ
オエンコードパラメータ（図７）の１つとして記述され
ている。

【０１０２】このタイムスタンプAudio_PTSも、スプラ
イシング処理が開始されたとき、CPU４５が、最初に入
力されたプログラムのオーディオデータの最初から、初
期値０として、GOP（ビデオデータのGOPに対応するGO
P）の数をカウントし、それまでにカウントしたGOPの数
に対応するSTCの値をタイムスタンプAudio_PTSとしてい
る。従って、タイムスタンプAudio_PTSは、先行するGOP
の最後のオーディオフレームの最後尾の位置を表してい
ることになる。 PTS_AUDIO_LASTは、先行するGOPに引き
続き、次のGOPがそのまま出力されたときの出力終了時
刻を表す。

【０１０３】CPU４５は、ステップＳ３２とステップＳ
３３において、それぞれ算出した値を用いて、ステップ
Ｓ３４において、次式に基づいて、ずれ量PTS_FS_SPLYC
E（図６）を算出する。

【０１０４】 PTS_FS_SPLYCE＝PTS_AUDIO_LAST−PTS_VIDEO_LAST・・・（７） このPTS_FS_SPLYCEは、図５と図６を参照して説明した
ように、先行するGOPに対して次のGOPを、そのままスプ
ライシングした場合における、先行するGOPの最後のフ
レームでの、ビデオフレームとオーディオフレームの最
後尾でのずれ量を示す値である。

【０１０５】この式により求められたずれ量PTS_FS_SPL
YCEの値が用いられて、以下の判断が行われる。すなわ
ち、ステップＳ３５において、CPU４５は、ステップＳ
３１で抽出したずれ量PTS_FSが、ステップＳ３４の処理
で演算したずれ量PTS_FS_SPLYCEより大きいか否かを判
断する。

【０１０６】この判断について図１０を参照して説明す
る。なお、ずれ量PTS_FSは、上述したように、第２のプ
ログラムの最初のGOPの先頭でビデオフレームとオーデ
ィオフレームが同期するために必要なずれ量である。

【０１０７】図１０において、ハッチングを施さずに示
す４角形のブロックは、前のプログラム（第１のプログ
ラム）を構成する最後のGOP（先行するGOP）８１のビデ
オフレーム（Video1(P1)乃至Video15(P1)）（図１０
Ａ）、または前のプログラム（第１のプログラム）を構
成する最後のGOP（先行するGOP）９１のオーディオフレ
ーム（AAU1(P1)乃至AAU21(P1)）（図１０Ｂ）を示す。
ハッチングを施して示される４角形のブロックは、次の
プログラム（第２のプログラム）を構成する先頭のGOP
（先行するGOPの次のGOP）８２の先頭のビデオフレーム
（Video2(P2)）（図１０Ａ）、または次のプログラム
（第２のプログラム）を構成する先頭のGOP（先行するG
OPの次のGOP）９２の先頭のオーディオフレーム（AAU1
(P2)）（図１０Ｂ）を示す。

【０１０８】スプライシングの結果、次のプログラム
（第２のプログラム）を構成する先頭のGOP９２の先頭
のオーディオフレーム（AAU1(P2)）が、図１０Ｃに示さ
れる位置に位置するとき、すなわち、ずれ量PTS_FS_SPL
YCEが、ずれ量PTS_FSと等しいとき、オーディオフレー
ムはビデオフレームと同期がとれる状態になる。

【０１０９】図１０Ｄに示したように、スプライシング
の結果、オーディオフレームが、ビデオフレームに対し
て、同期がとれている状態の位置より、時間的に前に位
置するようになると（位相が進んだ状態になると）、対
応する映像と音声を同時に視聴した人間は、違和感を感
じるようになる。

【０１１０】これに対して、図１０Ｂに示されるよう
に、オーディオフレームがビデオフレームに対して、同
期がとれている状態（図１０Ｃ）より、時間的に後の位
置に位置している場合（位相が遅れた状態になると）、
時間的に前に位置する場合に比べて、人間は、違和感を
感じないことが知られている。

【０１１１】ステップＳ３５の処理は、オーディオフレ
ームがビデオフレームに対して、同期している状態より
時間的に前に位置している（音が映像に対して先行して
いる状態）か、後に位置している（音が映像に対して遅
れている状態）かを判断する処理である。

【０１１２】ステップＳ３５において、ずれ量PTS_FS_S
PLYCEが、ずれ量PTS_FSより小さいと判断された場合、
すなわち、図１０Ｄのような状態（音が映像に対して先
行している状態）であると判断された場合、ステップＳ
３７に進み、CPU４５は、オーディオフレームに対して
１フレーム分の無音フレーム（無音のAAU）を挿入（付
加）し、その後に、本来のオーディオフレームをスプラ
イシングする。なお、無音フレームは、無音のオーディ
オフレームを予め作成しておくか、または作成せずと
も、予め取得しておき、その無音のオーディオフレーム
をスプライシングIC１１で保持しておき、必要に応じ
て、その保持されている無音フレームを読み出すように
すればよい。

【０１１３】一方、ステップＳ３５において、ずれ量PT
S_FS_SPLYCEが、ずれ量PTS_FSより小さくないと判断さ
れた場合、すなわち、図１０Ｂに示されるような状態で
あると判断された場合（音が映像に対して遅れている状
態の場合）、ステップＳ３６に進む。ステップＳ３６に
おいて、CPU４５は、オーディオフレームを、そのまま
（無音フレームを挿入することなく）出力する。

【０１１４】ステップＳ３６またはステップＳ３７の処
理の後、ステップＳ３８に処理が進む。ステップＳ３８
において、CPU４５は、ずれ量PTS_FS_SPLYCEが、１個の
オーディオフレーム（符号化単位）の長さAAU_SIZEと、
ずれ量PTS_FSの和より大きいか否か（ずれ量PTS_FS_SPL
YCEが、ずれ量PTS_FSより大きく、かつ、その差が、１
個のオーディオフレームの長さAAU_SIZEより大きいか否
か）を判断する。

【０１１５】ステップＳ３８における判断について、図
１１を参照して説明する。図１０と同様に、ハッチング
を施していない４角形のブロックは、前のプログラム
（第１のプログラム）を構成する最後のGOP（先行するG
OP）８１のビデオフレーム（Video1(P1)乃至Video15(P
1)）（図１１Ａ）、または前のプログラム（第１のプロ
グラム）を構成する最後のGOP（先行するGOP）９１のオ
ーディオフレーム（AAU1(P1)乃至AAU21(P1)）（図１１
Ｂ）を示す。ハッチングを施して示される４角形のブロ
ックは、次のプログラム（第２のプログラム）を構成す
る先頭のGOP（先行するGOPの次のGOP）８２の先頭のビ
デオフレーム（Video2(P2)）（図１１Ａ）、または次の
プログラム（第２のプログラム）を構成する先頭のGOP
（先行するGOPの次のGOP）９２の先頭のオーディオフレ
ーム（AAU1(P2)）（図１１Ｂ）を示す。

【０１１６】スプライシングの結果、次のGOP９２の先
頭のオーディオフレーム（AAU1(P2)）が、図１１Ｃに示
される位置に位置するとき、すなわち、ずれ量PTS_FS_S
PLYCEが、ずれ量PTS_FSと等しいとき、オーディオフレ
ームはビデオフレームと同期がとれた状態になる。

【０１１７】図１１Ｂに示されるように、先行するGOP
９１の最後のフレームとの関係で、オーディオフレーム
とビデオフレームが同期された状態（図１１Ｃ）からの
ずれ量が、１オーディオフレーム以上の長さになること
がある。ビデオフレームに対するオーディオフレームの
遅れが、１オーディオフレーム以上の長さになると、人
間は、その遅れを認識し、違和感を覚えるようになる。

【０１１８】そこで、ステップＳ３８において、ずれ量
PTS_FS_SPLYCEが、１個のオーディオフレームの長さAAU
_SIZEと、ずれ量PTS_FSの和より大きいと判断された場
合、すなわち、図１１Ｂに示されるように、ずれ量の差
が、１オーディオフレーム以上の長さであると判断され
た場合、ステップＳ３９に進み、CPU４５は、１GOPのう
ち、Ｄ個（ずれ量が、１オーディオフレーム未満になる
数）のオーディオフレームを削除する。Ｄの値は、次式
で演算される。 INT(Ｄ)＝PTS_FS_SPLYCE / AAU_SIZE・・・（８） なお、INT(Ｄ)は、Ｄの値のうちの整数部の値を表す。

【０１１９】一方、ステップＳ３８において、ずれ量PT
S_FS_SPLYCEが、１個のオーディオフレームの長さAAU_S
IZEと、ずれ量PTS_FSの和より大きくはないと判断され
た場合、ステップＳ３９の処理はスキップされる。

【０１２０】なお、ステップＳ３８，Ｓ３９の処理は、
オプションであり、省略することも可能である。ただ
し、ステップＳ３８，Ｓ３９の処理も実行した方が、そ
れだけずれ量の蓄積を抑制することができるので好まし
いことはいうまでもない。

【０１２１】以上により、１GOP分のスプライシング処
理が完了したことになる。スプライシング処理が完了し
た１GOP分のデータは、CPU４５により、エレメンタリス
トリームからトランスポートストリームに変換された
後、パケット生成部４４によりパケット化され、バッフ
ァ４６を介して、DVB-ASIインタフェース１０により、D
VB-ASIフォーマットに変換されて、デコーダ３に出力さ
れる。デコーダ３は、入力されたデータをデコードし、
図示せぬ装置に出力する。

【０１２２】図９には、1GOP分の処理のみが示されてい
るが、以上の処理が、１GOP毎に繰り返し行われる。従
って、スプライシングIC１１は、プログラムの変化を意
識することなく（第１のプログラムから、それと異なる
第２のプログラムに変化したことを検出したりする処理
を行うことなく）、効率的に、スプライシング処理を実
行することができる。

【０１２３】オーディオフレームが、ビデオフレームに
対して、同期の位置より前の位置にずれている（時間的
に先行している）と判断された場合、無音の１オーディ
オフレームを挿入し、オーディオフレームが、ビデオフ
レームに対して、同期の位置より後の位置にずれてお
り、かつ、そのずれ量がオーディオデータの１符号化単
位（１オーディオフレーム）以上であると判断された場
合、ずれ量が、オーディオデータの１符号化単位未満に
なるように、オーディオデータを符号化単位で削除する
ようにすることで、オーディオフレームとビデオフレー
ムのずれ量が、視聴者により認識されてしまう量になる
ようなことを抑制することが可能となる。

【０１２４】次に、繋ぎ合わせる（スプライシングす
る）前後のプログラムで、オーディオのチャンネル数が
異なる場合の処理について説明する。なお、以下に説明
するオーディオのチャンネル数が異なる場合の処理は、
以上に説明した記録処理またはスプライシング処理と平
行して実施することができるが、それらの処理とは独立
して、単独の処理としても実行することができる。

【０１２５】図１２は、トランスポートストリームの階
層データ構造について説明する図である。トランスポー
トストリームには、複数のプログラムが多重化されてい
る。１つのプログラムにおいても同様に、ビデオストリ
ームとオーディオストリームが多重化されている。

【０１２６】多重化は、ビデオストリームとオーディオ
ストリームをそれぞれパケット化することで行われる。

【０１２７】トランスポートストリームには、また、プ
ログラムアソシエーションテーブル(PAT)を含むパケッ
トが所定の周期で伝送される。図１２の例では、このプ
ログラムアソシエーションテーブルのプログラムID(PI
D)は０とされている。プログラムアソシエーションテー
ブルには、プログラムマップテーブル(PMT)のPIDが記述
されている。図１２の例では、ＭｉとＭｊのPIDがプロ
グラムアソシエーションテーブルに記述されている。

【０１２８】このプログラムマップテーブルを含むパケ
ットも所定の周期でトランスポートストリーム中に配置
される。このプログラムマップテーブルには、対応する
プログラムを構成するストリームのPIDが記述される。

【０１２９】図１２の例では、PIDがＭｉのプログラム
マップテーブルには、ＶｉのビデオストリームのPID
と、ＡｉのオーディオストリームのPIDが記述されてい
る。PIDがＡｉのプログラムのチャンネル数は２（１つ
のブロックが２チャンネル（左右のステレオ信号に対応
する）とされている。これに対して、PIDがＭｊのプロ
グラムマップテーブルには、Ｖｊのビデオストリームの
PIDが記述されているとともに、Ａ１ｊのオーディオス
トリームのPIDと、Ａ２ｊのオーディオストリームのPID
が記述されている。PIDがＶｊのビデオストリームに対
応するオーディオストリームは、PIDがＡ１ｊ，Ａ２ｊ
のオーディオストリームとなるので、合計のチャンネル
数は４とされている。

【０１３０】トランスポートストリームは、図１３に示
されるように、予め決められたサイズ（１８８バイト）
の複数のパケットが多重化されて構成されるストリーム
である。そのため、MPEG２のデータであるビデオデータ
やオーディオデータは、パケットサイズに分割され、そ
の単位で多重化される。図１３において、Ｖ１，Ｖ２な
どは、パケットサイズに分割されたビデオデータを示
し、Ａ１，Ａ２などは、パケットサイズに分割されたオ
ーディオデータを示す。PAT，PMTは、それぞれ、図１２
におけるプログラムアソシエーションテーブル記述した
パケット（PID＝０のパケット）、またはプログラムマ
ップテーブルを記述したパケット（PID＝Ｍｉ，Ｍｊの
パケット）を表す。NULLは、パケットのタイミングを調
整するために挿入されたパケットであり、ダミーのデー
タが格納されている。

【０１３１】これらのパケットの、どの種類のパケット
が伝送されるかは、伝送される各データのデータ量に応
じて、エンコーダ２により適宜決定される。すなわち、
その時点において、伝送するビデオデータのデータ量が
多ければ、ビデオパケットの数が増加され、オーディオ
データのデータ量が多ければ、オーディオデータのパケ
ットが増加される。

【０１３２】次に、図１４を参照して、スプライシング
IC１１が、オーディオチャンネル数が異なるプログラム
をスプライシングする場合について説明する。オーディ
オチャンネル数が、異なる２つのプログラムがスプライ
シングされた場合、スプライシング後の１つのプログラ
ムのPIDが、途中で（スプライシング点を境にして）変
化することになる。

【０１３３】図１４の例においては、スプライシングさ
れるプログラム１は、PIDがViのビデオストリームと、P
IDがAiのオーディオストリームにより構成されている。
すなわち、プログラム１のオーディオストリームのチャ
ンネル数は２とされている。

【０１３４】これに対して、プログラム１に対してスプ
ライシングするプログラム２は、PIDがVjのビデオスト
リームにより構成される他、PIDがＡ１ｊのオーディオ
ストリームと、PIDがＡ２ｊのオーディオストリームと
により構成されている。すなわち、プログラム２のオー
ディオストリームのチャンネル数は４とされている。

【０１３５】従って、プログラム１に対して、プログラ
ム２をスプライシング処理すると、オーディオチャンネ
ル数が途中で２チャンネル分だけ増加することになる。

【０１３６】オーディオチャンネル数が増加するか、ま
たは、減少することにより、PID数が変化すると、トラ
ンスポートストリームを処理するデコーダによっては、
PIDの変化を認識するタイミングにより、先頭から再生
できないチャンネルが発生してしまう場合がある。

【０１３７】そこで、CPU４５は、自分自身が処理可能
な最大のオーディオチャンネルの数より、入力された信
号のオーディオチャンネルの数が少ない場合、オーディ
オチャンネルのチャンネル数が、自分自身が処理可能な
最大のオーディオチャンネルの数に等しくなるようにチ
ャンネル数を増加し、増加したチャンネルに対して無音
のパケットを出力する。これにより、チャンネル数の増
減がないので、デコーダは、全てのチャンネルのオーデ
ィオデータを、先頭から正しく再生することが可能とな
る。

【０１３８】次に、図１５を参照して、スプライシング
IC１１において行われる、スプライシング処理時に、ス
プライシングの前後でオーディオチャンネル数が変化す
る場合のチャンネル数調整処理について説明する。この
処理は、図９のスプライシング処理と平行して実行され
る。そして、この処理は、HDD６から読み出され、バス
５を介してPCIインタフェース１２に入力され、そこか
らさらにスイッチ１４の接点P、およびDVB-ASIインタフ
ェース１０を介してスプライシングIC１１にデータが入
力されたとき開始される。

【０１３９】ステップＳ５１において、CPU４５は、ロ
ーカルフォーマット（Local Format）のHDD６から読み
取られたデータを、バッファ４１とBAC４２を介してSDR
AM４３に取り込む。図８を参照して説明したように、CP
U４５は、データをHDD６に記録するとき、データを、図
７に示されるようなブロック単位で構成されるローカル
フォーマットのデータに変換するので、このとき取り込
まれるデータは、ローカルフォーマットのデータとなっ
ている。

【０１４０】ステップＳ５２において、CPU４５は、ロ
ーカルヘッダ６０（図７）の解析を行う。ステップＳ５
２においては主に、オーディオのチャンネル数がチェッ
クされる。上述したように、ローカルヘッダ６０のAudi
o_Header６３には、各種Audioエンコードパラメータの
１つとして、オーディオデータのチャンネル数が記述さ
れている。CPU４５は、このAudio_Header６３に記述さ
れているオーディオチャンネル数を読み出し、P_CHに設
定する。

【０１４１】ステップＳ５３において、CPU４５は、自
分自身（ビデオサーバ１）が扱うことが可能な最大のオ
ーディオのチャンネル数MuxCHから、ステップＳ５２の
処理で設定されたオーディオチャンネル数P_CHを減算し
て得られた差MuteCH_NUMが、０であるか否かを判断す
る。

【０１４２】ステップＳ５３において、差MuteCH_NUMが
０ではないと判断された場合、処理はステップＳ５４に
進む。ステップＳ５４において、CPU４５は、MuxCH−P_
CHにより算出されたチャンネル数、すなわち、最大のオ
ーディオのチャンネル数MuxCHと、ヘッダ解析によるそ
の時点で使われているオーディオのチャンネル数P_CHと
の差MuteCH_NUMの分だけチャンネル数を増加し、増加し
たチャンネルに対して、無音のオーディオパケットを付
加し、トランスポートストリームに変換してデコーダ３
に送信する。例えば、図１４の例では、プログラム１
に、無音データのオーディオチャンネルが２チャンネル
分だけ付加される。

【０１４３】このように、無音のオーディオパケットを
送信して、常に最大のチャンネル数を用いている状態に
することにより、オーディオデータ（または、オーディ
オデータが揃うまで待機されるビデオデータ）を先頭か
ら再生できないといったような状態が発生するようなこ
とを防ぐことが可能となる。

【０１４４】一方、ステップＳ５３において、差MuteCH
_NUMが０であると判断された場合、すなわち、最大のオ
ーディオチャンネル数MuxCHと、ヘッダ解析結果による
オーディオチャンネル数P_CHが等しい場合、無音のデー
タを出力するチャンネル（MuteCH_NUM）は必要ないと判
断され、ステップＳ５４の処理はスキップされる。

【０１４５】図１５のチャンネル数調整処理は、HDD６
からの再生データに対して行うようにしたが、エンコー
ダ２、その他の装置からDVB-ASIインタフェース１０を
介して入力されたデータをHDD６に記録する場合に行う
ようにしても良い。ただし、HDD６からの再生データに
対して行うようにした方が、記憶領域に実質的に無効な
データを記録しないで済む。

【０１４６】一方、SDIエンコードボード７（図２）
は、ビデオ信号とオーディオ信号を受け付けると、ロー
カルヘッダを付加して、HDD６に記録する処理を実行す
る。すなわち、SDIエンコードボード７には、シリアル
なデータが入力される。そのシリアルなデータは、SDI
デコーダ２１においてデコードされた後、ビデオデータ
は、ビデオエンコーダ２２で、オーディオデータは、オ
ーディオエンコーダ２３で、それぞれエンコードされ
る。

【０１４７】SDIエンコードボード７のCPU２５は、ロー
カルヘッダ６０（図７）を作成し、その作成したローカ
ルヘッダ６０をPCIインタフェース２４とバス５を介し
て、HDD６に記憶させる。そのような処理を行う一方
で、CPU２５は、作成したローカルヘッダのフォーマッ
トに従って、ビデオエレメンタリーストリームと、オー
ディオエレメンタリーストリームを並べ、順次、HDD６
に記憶させる。

【０１４８】このように、スプライシングを行う際、無
音のオーディオフレームを挿入したり、１オーディオフ
レーム以上のずれを発生するオーディオフレームを削除
することにより、視聴者に違和感を感じさせるような同
期のずれの発生を防ぐことが可能となる。また、スプラ
イシングポイントの前後で、オーディオチャンネルの数
に変化があるような場合でも、上述したように、無音の
オーディオパケットを出力するようにすることにより、
デコーダにおいて、オーディオのデータを最初から再生
できないといったような不都合の発生を防ぐことが可能
となる。

【０１４９】また、上述した処理は、プログラムの繋ぎ
目であるか否かを判断する必要がないため、ソースコー
ドを単純化することが可能となる。

【０１５０】以上においては、処理単位をGOPとした
が、複数の所定の数のパケットを処理単位とするなどし
てもよい。

【０１５１】上述した一連の処理は、ハードウェアによ
り実行させることもできるし、上述したようにソフトウ
ェアにより実行させることもできる。一連の処理をソフ
トウェアにより実行させる場合には、そのソフトウェア
を構成するプログラムが専用のハードウェアに組み込ま
れているコンピュータ、または、各種のプログラムをイ
ンストールすることで、各種の機能を実行することが可
能な、例えば汎用のパーソナルコンピュータなどに、記
録媒体等からインストールされる。

【０１５２】図１６は、このような処理を実行するパー
ソナルコンピュータの内部構成例を示す図である。パー
ソナルコンピュータのCPU（Central Processing Unit）
１０１は、ROM（Read Only Memory）１０２に記憶され
ているプログラムに従って各種の処理を実行する。RAM
（Random Access Memory）１０３には、CPU１０１が各
種の処理を実行する上において必要なデータやプログラ
ムなどが適宜記憶される。入出力インタフェース１０５
は、キーボードやマウスから構成される入力部１０６が
接続され、入力部１０６に入力された信号をCPU１０１
に出力する。また、入出力インタフェース１０５には、
ディスプレイやスピーカなどから構成される出力部１０
７も接続されている。

【０１５３】さらに、入出力インタフェース１０５に
は、ハードディスクなどから構成される記憶部１０８、
および、インターネットなどのネットワークを介して他
の装置とデータの通信を行う通信部１０９も接続されて
いる。ドライブ１１０は、磁気ディスク１２１、光ディ
スク１２２、光磁気ディスク１２３、半導体メモリ１２
４などの記録媒体からデータを読み出したり、データを
書き込んだりするときに用いられる。

【０１５４】記録媒体は、図１６に示されるように、パ
ーソナルコンピュータとは別に、ユーザにプログラムを
提供するために配布される、プログラムが記録されてい
る磁気ディスク１２１（フレキシブルディスクを含
む）、光ディスク１２２（CD-ROM（Compact Disc-Read
Only Memory），DVD（Digital Versatile Disc）を含
む）、光磁気ディスク１２３（MD（Mini-Disc）（登録
商標）を含む）、若しくは半導体メモリ１２４などより
なるパッケージメディアにより構成されるだけでなく、
コンピュータに予め組み込まれた状態でユーザに提供さ
れる、プログラムが記憶されているROM１０２や記憶部
１０８が含まれるハードディスクなどで構成される。

【０１５５】なお、本明細書において、媒体により提供
されるプログラムを記述するステップは、記載された順
序に従って、時系列的に行われる処理は勿論、必ずしも
時系列的に処理されなくとも、並列的あるいは個別に実
行される処理をも含むものである。

【０１５６】

【発明の効果】第１の本発明によれば、オーディオデー
タをビデオデータに同期させることが可能となる。特
に、オーディオデータとビデオデータを、先行するオー
ディオデータとビデオデータの関係に関わらず、確実
に、繋ぎ、同期させることが可能となる。また、同期ず
れのずれ量が、視聴者に違和感を感じさせる程度以上に
蓄積するのを抑制することができる。

【０１５７】第２の本発明によれば、オーディオデータ
をビデオデータに同期させるための第１のずれ量を提供
することが可能となる。特に、繋ぎ処理時に、複雑な計
算をせずとも、簡単且つ確実に、ビデオデータとオーデ
ィオデータを、先行するビデオデータとオーディオデー
タの同期関係に関わらず、繋ぎ、同期させることが可能
となる。

【０１５８】第３の本発明によれば、オーディオデータ
とビデオデータを同期させることが可能となる。特に、
オーディオデータとビデオデータを、先行するオーディ
オデータとビデオデータの関係に関わらず、確実に、繋
ぎ、同期させることが可能となる。また、記録媒体から
読み出されたオーディオデータとビデオデータを、簡単
且つ確実に、同期させることが可能となる。

【図面の簡単な説明】

【図１】ビデオストリームとオーディオストリームのフ
レーム長の違いによるずれ量について説明する図であ
る。

【図２】本発明を適用したビデオサーバの一実施の形態
の構成を示すブロック図である。

【図３】図２のスプライシングＩＣの内部構成例を示す
ブロック図である。

【図４】GOPについて説明する図である。

【図５】スプライシング時の、ビデオフレームとオーデ
ィオフレームのずれ量について説明するための図であ
る。

【図６】スプライシング時の各フレームについて説明す
るための図である。

【図７】ローカルヘッダの構成について説明する図であ
る。

【図８】記録時の処理について説明するフローチャート
である。

【図９】スプライシング処理について説明するフローチ
ャートである。

【図１０】図９のステップＳ３５において行われる処理
について説明する図である。

【図１１】図９のステップＳ３８において行われる処理
について説明する図である。

【図１２】トランスポートストリームの階層データ構造
について説明する図である。

【図１３】トランスポートストリームの多重化について
説明する図である。

【図１４】オーディオチャンネル数が異なるプログラム
のスプライシングについて説明する図である。

【図１５】オーディオチャンネル数が異なるプログラム
のスプライシング時のチャンネル数調整処理について説
明するフローチャートである。

【図１６】媒体を説明する図である。

【符号の説明】

１ ビデオサーバ， ２ エンコーダ， ３ デコー
ダ， ４ DVB−ASIボード， ５ バス， ６ HDD，
７ SDIエンコードボード， １１ スプライシングI
C， １２ PCIインタフェース， １３ CPU， ２１
SDIデコーダ，２２ ビデオエンコーダ， ２３ オ
ーディオエンコーダ， ２４ PCIインタフェース，
２５ CPU， ２６ バス， ４１ バッファ， ４２
BAC， ４３ SDRAM， ４４ パケット生成部， ４
５ CPU

【手続補正書】

【提出日】平成１５年２月１４日（２００３．２．１
４）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】０００２

【補正方法】変更

【補正内容】

【０００２】

【従来の技術】デジタルで番組を放送するデジタル放送
が普及しつつある。デジタル放送における番組は、１つ
以上のプログラムにより構成され、各プログラムは、例
えば、MPEG（Moving Picture Expert Group）２方式に
よるトランスポートストリームが用いられて送受信が行
われる（特許文献１参照）。

【特許文献１】特開平１１−１１２９４４号公報

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ１１Ｂ 27/00 Ｈ０４Ｎ 5/60 Ｚ 27/034 5/76 Ｚ Ｈ０４Ｎ 5/60 5/91 Ｄ 5/76 Ｌ 5/765 5/92 Ｈ 5/92 Ｇ１１Ｂ 27/02 Ｋ Ｆターム(参考） 5C026 DA21 5C052 AA01 AB03 AB04 CC02 CC06 CC11 DD04 DD06 5C053 FA20 GB06 GB38 LA06 LA07 LA11 LA14 5D044 AB05 AB07 BC01 CC05 DE03 DE12 DE25 DE39 DE96 EF05 FG21 GK12 HL16 5D110 AA13 AA27 AA29 BB01 BB25 CA05 CA06 CA09 CB07 CD07 CF05 DA18 DE01

Claims (28)

【特許請求の範囲】
1. 【請求項１】 処理単位毎の入力ビデオデータと、処理
   単位の大きさが前記入力ビデオデータと異なる処理単位
   毎の入力オーディオデータを処理する情報処理装置にお
   いて、 前記処理単位毎の入力ビデオデータと、前記処理単位毎
   の入力オーディオデータから、前記入力ビデオデータの
   処理単位の最終時刻情報、及び、前記入力オーディオデ
   ータの処理単位の最終時刻情報を算出する最終時刻情報
   算出手段と、 先行する処理単位に対して、前記処理単位の入力ビデオ
   データと前記処理単位の入力オーディオデータが直接繋
   がれた場合において、前記処理単位の入力ビデオデータ
   と前記処理単位の入力オーディオデータが同期するため
   の、前記処理単位の入力ビデオデータと前記処理単位の
   入力オーディオデータのずれ量を示す第1のずれ量情報
   を、前記処理単位毎に算出する第1のずれ量情報算出手
   段と、 前記処理単位の入力オーディオデータが、前記処理単位
   の入力ビデオデータと同期するための、前記先行する処
   理単位のビデオデータの最終時刻情報に対する、前記処
   理単位の入力オーディオデータのずれ量を示す第２のず
   れ量情報を前記処理単位毎に算出する第２のずれ量情報
   算出手段と、 前記第２のずれ量が前記第１のずれ量よりも大きい時
   に、前記処理単位毎に、無音を示す無音情報を前記先行
   するオーディオデータと前記入力オーディオデータとの
   間に挿入する無音データ挿入手段とを備えることを特徴
   とする情報処理装置。
2. 【請求項２】 前記第１のずれ量情報の値が、前記第２
   のずれ量の値より大きく、かつ、前記第１のずれ量情報
   の値と前記第２のずれ量の値の差が、前記オーディオデ
   ータの１符号化単位以上であるか否かを判断する判断手
   段と、 前記判断手段により、前記第１のずれ量情報の値が、前
   記第２のずれ量の値より大きく、かつ、その差が前記オ
   ーディオデータの１符号化単位以上であると判断された
   場合、前記第１のずれ量情報の値と、前記第２のずれ量
   の値の差が、前記オーディオデータの１符号化単位より
   小さくなるように、前記先行する処理単位の前記オーデ
   ィオデータを、前記オーディオデータの前記処理単位を
   構成する符号化単位で削除する削除手段とをさらに備え
   ることを特徴とする請求項１に記載の情報処理装置。
3. 【請求項３】 処理単位毎の入力ビデオデータと、処理
   単位の大きさが前記入力ビデオデータと異なる処理単位
   毎の入力オーディオデータを処理する情報処理装置の情
   報処理方法において、 前記処理単位毎の入力ビデオデータと、前記処理単位毎
   の入力オーディオデータから、前記入力ビデオデータの
   処理単位の最終時刻情報、及び、前記入力オーディオデ
   ータの処理単位の最終時刻情報を算出する最終時刻情報
   算出ステップと、 先行する処理単位に対して、前記処理単位の入力ビデオ
   データと前記処理単位の入力オーディオデータが直接繋
   がれた場合において、前記処理単位の入力ビデオデータ
   と前記処理単位の入力オーディオデータが同期するため
   の、前記処理単位の入力ビデオデータと前記処理単位の
   入力オーディオデータのずれ量を示す第1のずれ量情報
   を、前記処理単位毎に算出する第1のずれ量情報算出ス
   テップと、 前記処理単位の入力オーディオデータが、前記処理単位
   の入力ビデオデータと同期するための、前記先行する処
   理単位のビデオデータの最終時刻情報に対する、前記処
   理単位の入力オーディオデータのずれ量を示す第２のず
   れ量情報を前記処理単位毎に算出する第２のずれ量情報
   算出ステップと、 前記第２のずれ量が前記第１のずれ量よりも大きい時
   に、前記処理単位毎に、無音を示す無音情報を前記先行
   するオーディオデータと前記入力オーディオデータとの
   間に挿入する無音データ挿入ステップとを含むことを特
   徴とする情報処理方法。
4. 【請求項４】 処理単位毎の入力ビデオデータと、処理
   単位の大きさが前記入力ビデオデータと異なる処理単位
   毎の入力オーディオデータを処理するプログラムであっ
   て、 前記処理単位毎の入力ビデオデータと、前記処理単位毎
   の入力オーディオデータから、前記入力ビデオデータの
   処理単位の最終時刻情報、及び、前記入力オーディオデ
   ータの処理単位の最終時刻情報を算出する最終時刻情報
   算出ステップと、 先行する処理単位に対して、前記処理単位の入力ビデオ
   データと前記処理単位の入力オーディオデータが直接繋
   がれた場合において、前記処理単位の入力ビデオデータ
   と前記処理単位の入力オーディオデータが同期するため
   の、前記処理単位の入力ビデオデータと前記処理単位の
   入力オーディオデータのずれ量を示す第1のずれ量情報
   を、前記処理単位毎に算出する第1のずれ量情報算出ス
   テップと、 前記処理単位の入力オーディオデータが、前記処理単位
   の入力ビデオデータと同期するための、前記先行する処
   理単位のビデオデータの最終時刻情報に対する、前記処
   理単位の入力オーディオデータのずれ量を示す第２のず
   れ量情報を前記処理単位毎に算出する第２のずれ量情報
   算出ステップと、 前記第２のずれ量が前記第１のずれ量よりも大きい時
   に、前記処理単位毎に、無音を示す無音情報を前記先行
   するオーディオデータと前記入力オーディオデータとの
   間に挿入する無音データ挿入ステップとを含むことを特
   徴とするコンピュータが読み取り可能なプログラムが記
   録されている記録媒体。
5. 【請求項５】 処理単位毎の入力ビデオデータと、処理
   単位の大きさが前記入力ビデオデータと異なる処理単位
   毎の入力オーディオデータを処理するプログラムであっ
   て、 前記処理単位毎の入力ビデオデータと、前記処理単位毎
   の入力オーディオデータから、前記入力ビデオデータの
   処理単位の最終時刻情報、及び、前記入力オーディオデ
   ータの処理単位の最終時刻情報を算出する最終時刻情報
   算出ステップと、 先行する処理単位に対して、前記処理単位の入力ビデオ
   データと前記処理単位の入力オーディオデータが直接繋
   がれた場合において、前記処理単位の入力ビデオデータ
   と前記処理単位の入力オーディオデータが同期するため
   の、前記処理単位の入力ビデオデータと前記処理単位の
   入力オーディオデータのずれ量を示す第1のずれ量情報
   を、前記処理単位毎に算出する第1のずれ量情報算出ス
   テップと、前記処理単位の入力オーディオデータが、前
   記処理単位の入力ビデオデータと同期するための、前記
   先行する処理単位のビデオデータの最終時刻情報に対す
   る、前記処理単位の入力オーディオデータのずれ量を示
   す第２のずれ量情報を前記処理単位毎に算出する第２の
   ずれ量情報算出ステップと、 前記第２のずれ量が前記第１のずれ量よりも大きい時
   に、前記処理単位毎に、無音を示す無音情報を前記先行
   するオーディオデータと前記入力オーディオデータとの
   間に挿入する無音データ挿入ステップとをコンピュータ
   に実行させることを特徴とするプログラム。
6. 【請求項６】 処理単位毎のビデオデータと、処理単位
   の大きさが前記ビデオデータと異なる処理単位毎のオー
   ディオデータを処理する情報処理装置において、 前記オーディオデータと前記ビデオデータの処理単位毎
   の同期のずれ量を検出する検出手段と、 先行する処理単位に対して、前記処理単位の前記オーデ
   ィオデータと前記ビデオデータを繋ぐ処理をした場合
   に、前記オーディオデータと前記ビデオデータが同期す
   るためのずれ量を示す第１のずれ量を、前記検出手段に
   より検出された前記同期のずれ量に基づいて演算する第
   １のずれ量演算手段と、 前記第１のずれ量を含む、前記処理単位毎のヘッダを生
   成する第１の生成手段と、 前記オーディオデータと前記ビデオデータを含む前記処
   理単位のブロックを生成し、前記第１の生成手段により
   生成された前記ヘッダを付加する第２の生成手段とを備
   えることを特徴とする情報処理装置。
7. 【請求項７】 前記同期のずれ量が、前記ビデオデータ
   の前記処理単位を構成する符号化単位の長さより長いか
   否かを判定する判定手段と、 前記判定手段により、前記同期のずれ量が、前記符号化
   単位の長さより長いと判定された場合、前記同期のずれ
   量から、前記符号化単位の長さに対応する分を減算する
   ことで前記同期のずれを補正する補正手段をさらに備
   え、 前記第１のずれ量演算手段は、前記補正手段により補正
   された前記ずれ量に基づいて、前記第１のずれ量を演算
   することを特徴とする請求項６に記載の情報処理装置。
8. 【請求項８】 前記処理単位は、前記ビデオデータのグ
   ループオブピクチャであり、 前記符号化単位は、ビデオフレームであることを特徴と
   する請求項７に記載の情報処理装置。
9. 【請求項９】 前記第２の生成手段により前記ヘッダが
   付加された前記オーディオデータと前記ビデオデータを
   含む前記ブロックを出力する出力手段をさらに備えるこ
   とを特徴とする請求項６に記載の情報処理装置。
10. 【請求項１０】 前記出力手段は、前記処理単位を記録
    媒体に供給し、記録させることを特徴とする請求項９に
    記載の情報処理装置。
11. 【請求項１１】 入力されたデータから、前記各ブロッ
    クの前記ヘッダに含まれる前記第１のずれ量を抽出する
    抽出手段と、 先行する処理単位に対して、前記オーディオデータと前
    記ビデオデータの前記処理単位を繋ぐ処理をした場合に
    おける、前記オーディオデータと前記ビデオデータの前
    記処理単位の同期のずれ量に対応する第２のずれ量を、
    前記ブロック毎に演算する第２のずれ量演算手段と、 前記抽出手段により抽出された前記第１のずれ量と、前
    記第２のずれ量演算手段により演算された前記第２のず
    れ量に基づいて、前記処理単位毎にずれ量を補正するず
    れ量補正手段とをさらに備えることを特徴とする請求項
    １０に記載の情報処理装置。
12. 【請求項１２】 前記第２のずれ量演算手段は、前記処
    理単位毎に演算される前記先行する処理単位のタイムス
    タンプと、前記処理単位の長さに基づいて、前記第２の
    ずれ量を演算することを特徴とする請求項１１に記載の
    情報処理装置。
13. 【請求項１３】 前記第２のずれ量演算手段は、前記先
    行する処理単位のオーディオデータのプレゼンテーショ
    ンタイムスタンプに、前記処理単位のオーディオデータ
    の長さを加算した値と、前記先行する処理単位のビデオ
    データのデコーディングタイムスタンプに、前記処理単
    位のビデオデータの長さを加算した値との差に基づい
    て、前記第２のずれ量を演算することを特徴とする請求
    項１２に記載の情報処理装置。
14. 【請求項１４】 前記第１のずれ量が、前記第２のずれ
    量より大きいか否かを判断する判断手段と、 前記判断手段により、前記第１のずれ量が、前記第２の
    ずれ量より大きいと判断された場合、前記先行する処理
    単位の前記オーディオデータに、１つの符号化単位の無
    音のデータを挿入する挿入手段とをさらに備えることを
    特徴とする請求項１３に記載の情報処理装置。
15. 【請求項１５】 前記第２のずれ量が、前記第１のずれ
    量より大きく、かつ、前記第２のずれ量と前記第１のず
    れ量の差が、前記オーディオデータの１符号化単位以上
    であるか否かを判断する判断手段と、 前記判断手段により、前記第２のずれ量が、前記第１の
    ずれ量より大きく、かつ、その差が前記オーディオデー
    タの１符号化単位以上であると判断された場合、前記第
    ２のずれ量と、前記第１のずれ量の差が、前記オーディ
    オデータの１符号化単位より小さくなるように、前記先
    行する処理単位の前記オーディオデータを、前記オーデ
    ィオデータの前記処理単位を構成する符号化単位で削除
    する削除手段とをさらに備えることを特徴とする請求項
    １３に記載の情報処理装置。
16. 【請求項１６】 前記オーディオデータのチャンネル数
    が、扱える前記チャンネル数の最大値よりも少ないか否
    かを判断する判断手段をさらに備え、 前記出力手段は、前記判断手段により、前記オーディオ
    データのチャンネル数が、前記最大値よりも少ないと判
    断された場合、前記チャンネル数が、前記最大値と等し
    くなるようにチャンネル数を増加し、増加した前記チャ
    ンネルに対して無音のデータを付加して出力することを
    特徴とする請求項９に記載の情報処理装置。
17. 【請求項１７】 処理単位毎のビデオデータと、処理単
    位の大きさが前記ビデオデータと異なる処理単位毎のオ
    ーディオデータを処理する情報処理装置の情報処理方法
    において、 前記オーディオデータと前記ビデオデータの処理単位毎
    の同期のずれ量を検出する検出ステップと、 先行する処理単位に対して、前記処理単位の前記オーデ
    ィオデータと前記ビデオデータを繋ぐ処理をした場合
    に、前記オーディオデータと前記ビデオデータが同期す
    るためのずれ量を示す第１のずれ量を、前記検出ステッ
    プの処理により検出された前記同期のずれ量に基づいて
    演算する第１のずれ量演算ステップと、 前記第１のずれ量を含む、前記処理単位毎のヘッダを生
    成する第１の生成ステップと、 前記オーディオデータと前記ビデオデータを含む前記処
    理単位のブロックを生成し、前記第１の生成ステップの
    処理により生成された前記ヘッダを付加する第２の生成
    ステップとを含むことを特徴とする情報処理方法。
18. 【請求項１８】 処理単位毎のビデオデータと、処理単
    位の大きさが前記ビデオデータと異なる処理単位毎のオ
    ーディオデータを処理するプログラムであって、 前記オーディオデータと前記ビデオデータの処理単位毎
    の同期のずれ量を検出する検出ステップと、 先行する処理単位に対して、前記処理単位の前記オーデ
    ィオデータと前記ビデオデータを繋ぐ処理をした場合
    に、前記オーディオデータと前記ビデオデータが同期す
    るためのずれ量を示す第１のずれ量を、前記検出ステッ
    プの処理により検出された前記同期のずれ量に基づいて
    演算する第１のずれ量演算ステップと、 前記第１のずれ量を含む、前記処理単位毎のヘッダを生
    成する第１の生成ステップと、 前記オーディオデータと前記ビデオデータを含む前記処
    理単位のブロックを生成し、前記第１の生成ステップの
    処理により生成された前記ヘッダを付加する第２の生成
    ステップとを含むことを特徴とするコンピュータが読み
    取り可能なプログラムが記録されている記録媒体。
19. 【請求項１９】 処理単位毎のビデオデータと、処理単
    位の大きさが前記ビデオデータと異なる処理単位毎のオ
    ーディオデータを処理するプログラムであって、 前記オーディオデータと前記ビデオデータの処理単位毎
    の同期のずれ量を検出する検出ステップと、 先行する処理単位に対して、前記処理単位の前記オーデ
    ィオデータと前記ビデオデータを繋ぐ処理をした場合
    に、前記オーディオデータと前記ビデオデータが同期す
    るためのずれ量を示す第１のずれ量を、前記検出ステッ
    プの処理により検出された前記同期のずれ量に基づいて
    演算する第１のずれ量演算ステップと、 前記第１のずれ量を含む、前記処理単位毎のヘッダを生
    成する第１の生成ステップと、 前記オーディオデータと前記ビデオデータを含む前記処
    理単位のブロックを生成し、前記第１の生成ステップの
    処理により生成された前記ヘッダを付加する第２の生成
    ステップとをコンピュータに実行させることを特徴とす
    るプログラム。
20. 【請求項２０】 処理単位毎のビデオデータと、処理単
    位の大きさが前記ビデオデータと異なる処理単位毎のオ
    ーディオデータを処理する情報処理装置において、 入力されたデータから、オーディオデータとビデオデー
    タを含む前記処理単位の各ブロックを抽出し、前記各ブ
    ロックに含まれるヘッダから、先行する処理単位に対し
    て、前記処理単位の前記オーディオデータと前記ビデオ
    データを繋ぐ処理をした場合に、前記オーディオデータ
    と前記ビデオデータが同期するためのずれ量に対応する
    第１のずれ量を抽出する抽出手段と、 先行する処理単位に対して、前記オーディオデータと前
    記ビデオデータの前記処理単位を繋ぐ処理をした場合に
    おける、前記オーディオデータと前記ビデオデータの前
    記処理単位の同期のずれ量に対応する第２のずれ量を、
    前記各ブロック毎に演算する演算手段と、 前記第１のずれ量と、前記第２のずれ量に基づいて、前
    記処理単位で繋ぐ処理を行う繋ぎ手段とを備えることを
    特徴とする情報処理装置。
21. 【請求項２１】 前記演算手段は、前記処理単位毎に演
    算される前記先行する処理単位のタイムスタンプと、前
    記処理単位の長さに基づいて、前記第２のずれ量を演算
    することを特徴とする請求項２０に記載の情報処理装
    置。
22. 【請求項２２】 前記演算手段は、前記先行する処理単
    位のオーディオデータのプレゼンテーションタイムスタ
    ンプに、前記処理単位のオーディオデータの長さを加算
    した値と、前記先行する処理単位のビデオデータのデコ
    ーディングタイムスタンプに、前記処理単位のビデオデ
    ータの長さを加算した値との差に基づいて、前記第２の
    ずれ量を演算することを特徴とする請求項２１に記載の
    情報処理装置。
23. 【請求項２３】 前記第１のずれ量が、前記第２のずれ
    量より大きいか否かを判断する判断手段と、 前記判断手段により、前記第１のずれ量が、前記第２の
    ずれ量より大きいと判断された場合、前記先行する処理
    単位の前記オーディオデータに、１つの符号化単位の無
    音のデータを挿入する挿入手段とをさらに備えることを
    特徴とする請求項２２に記載の情報処理装置。
24. 【請求項２４】 前記第２のずれ量が、前記第１のずれ
    量より大きく、かつ、前記第２のずれ量と前記第１のず
    れ量の差が、前記オーディオデータの１符号化単位以上
    であるか否かを判断する判断手段と、 前記判断手段により、前記第２のずれ量が、前記第１の
    ずれ量より大きく、かつ、その差が前記オーディオデー
    タの１符号化単位以上であると判断された場合、前記第
    ２のずれ量と、前記第１のずれ量の差が、前記オーディ
    オデータの１符号化単位より小さくなるように、前記先
    行する処理単位の前記オーディオデータを、前記オーデ
    ィオデータの前記処理単位を構成する符号化単位で削除
    する削除手段とをさらに備えることを特徴とする請求項
    ２２に記載の情報処理装置。
25. 【請求項２５】 前記オーディオデータのチャンネル数
    が、扱える前記チャンネル数の最大値よりも少ないか否
    かを判断する判断手段と、 前記判断手段により、前記オーディオデータのチャンネ
    ル数が、前記最大値よりも少ないと判断された場合、前
    記チャンネル数が、前記最大値と等しくなるようにチャ
    ンネル数を増加し、増加した前記チャンネルに対して無
    音のデータを付加して出力する出力手段とをさらに備え
    ることを特徴とする請求項２０に記載の情報処理装置。
26. 【請求項２６】 処理単位毎のビデオデータと、処理単
    位の大きさが前記ビデオデータと異なる処理単位毎のオ
    ーディオデータを処理する情報処理装置の情報処理方法
    において、 入力されたデータから、オーディオデータとビデオデー
    タを含む前記処理単位の各ブロックを抽出し、前記各ブ
    ロックに含まれるヘッダから、先行する処理単位に対し
    て、前記処理単位の前記オーディオデータと前記ビデオ
    データを繋ぐ処理をした場合に、前記オーディオデータ
    と前記ビデオデータが同期するためのずれ量に対応する
    第１のずれ量を抽出する抽出ステップと、 先行する処理単位に対して、前記オーディオデータと前
    記ビデオデータの前記処理単位を繋ぐ処理をした場合に
    おける、前記オーディオデータと前記ビデオデータの前
    記処理単位の同期のずれ量に対応する第２のずれ量を、
    前記各ブロック毎に演算する演算ステップと、 前記第１のずれ量と、前記第２のずれ量に基づいて、前
    記処理単位で繋ぐ処理を行う繋ぎステップとを含むこと
    を特徴とする情報処理方法。
27. 【請求項２７】 処理単位毎のビデオデータと、処理単
    位の大きさが前記ビデオデータと異なる処理単位毎のオ
    ーディオデータを処理するプログラムであって、 入力されたデータから、オーディオデータとビデオデー
    タを含む前記処理単位の各ブロックを抽出し、前記各ブ
    ロックに含まれるヘッダから、先行する処理単位に対し
    て、前記処理単位の前記オーディオデータと前記ビデオ
    データを繋ぐ処理をした場合に、前記オーディオデータ
    と前記ビデオデータが同期するためのずれ量に対応する
    第１のずれ量を抽出する抽出ステップと、 先行する処理単位に対して、前記オーディオデータと前
    記ビデオデータの前記処理単位を繋ぐ処理をした場合に
    おける、前記オーディオデータと前記ビデオデータの前
    記処理単位の同期のずれ量に対応する第２のずれ量を、
    前記各ブロック毎に演算する演算ステップと、 前記第１のずれ量と、前記第２のずれ量に基づいて、前
    記処理単位で繋ぐ処理を行う繋ぎステップとを含むこと
    を特徴とするコンピュータが読み取り可能なプログラム
    が記録されている記録媒体。
28. 【請求項２８】 処理単位毎のビデオデータと、処理単
    位の大きさが前記ビデオデータと異なる処理単位毎のオ
    ーディオデータを処理するプログラムであって、 入力されたデータから、オーディオデータとビデオデー
    タを含む前記処理単位の各ブロックを抽出し、前記各ブ
    ロックに含まれるヘッダから、先行する処理単位に対し
    て、前記処理単位の前記オーディオデータと前記ビデオ
    データを繋ぐ処理をした場合に、前記オーディオデータ
    と前記ビデオデータが同期するためのずれ量に対応する
    第１のずれ量を抽出する抽出ステップと、 先行する処理単位に対して、前記オーディオデータと前
    記ビデオデータの前記処理単位を繋ぐ処理をした場合に
    おける、前記オーディオデータと前記ビデオデータの前
    記処理単位の同期のずれ量に対応する第２のずれ量を、
    前記各ブロック毎に演算する演算ステップと、 前記第１のずれ量と、前記第２のずれ量に基づいて、前
    記処理単位で繋ぐ処理を行う繋ぎステップとをコンピュ
    ータに実行させることを特徴とするプログラム。