JP2001128171A - 映像音声同期再生装置 - Google Patents

Abstract

(57)【要約】 【課題】 圧縮映像データと圧縮音声データの同期再生
装置の処理能力の不足により、データ遅延が発生した場
合に、視聴者にあまり大きな違和感を与えない範囲で、
データ遅延を解消出来る圧縮映像データと圧縮音声デー
タの同期再生装置を提供する。 【解決手段】 映像処理の遅延が発生した場合に、まず
映像データのフォーマット変換処理をＭフレームスキッ
プし、映像処理の遅延が継続する場合はスキップするフ
レーム数を増加させる。最大フレームの映像データのフ
ォーマット変換をスキップしても遅延が解消しない場合
には、圧縮映像データの復号化を省略する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像データと音声
データをデータ圧縮符号化した圧縮映像データと圧縮音
声データの同期再生装置に関するものである。

【０００２】

【従来の技術】映像データを圧縮した圧縮映像データと
音声データを圧縮した圧縮音声データとの同期再生装置
において、同期再生装置の処理能力が高い場合には、圧
縮映像データと圧縮音声データはリアルタイムに復号さ
れ、同期のとれた（再生タイミングが揃った）状態で復
号化される。同期再生装置が、データ圧縮された圧縮映
像データと圧縮音声データの復号化の他、伸張された映
像データを第１の映像フォーマットから第２の映像フォ
ーマットへの変換も併せて行う場合も、同期再生装置の
処理能力が高い場合には、圧縮映像データと圧縮音声デ
ータは、リアルタイム（実時間）の映像データと音声デ
ータに復号化され、その後映像データはフォーマット変
換され、同期のとれた状態で出力される。しかし、例え
ば、マイクロプロセッサを使用しソフトウエア上で圧縮
映像データと圧縮音声データの同期再生処理を行う映像
音声同期再生装置において、マイクロプロセッサに例え
ば表計算等の他のプログラム処理負担が加わって、当該
マイクロプロセッサの圧縮映像データと圧縮音声データ
の同期再生処理能力が著しく低くなった場合には、当該
マイクロプロセッサは圧縮映像データと圧縮音声データ
をリアルタイム（実時間）に復号化し、フォーマット変
換して出力することが出来なくなる。かかる場合、映像
データが途切れるよりも音声データが途切れる方が大き
なバズ音が発生する等、違和感が大きいため、一般に、
圧縮音声データの復号化を優先的に処理し、残る処理能
力を圧縮映像データの処理に割り当てている。

【０００３】又かかる場合でも、映像データの出力と音
声データの出力の同期を取らないと、画像と音声の内容
が時間的にずれて違和感が大きいため、限られた処理能
力の中で、圧縮映像データ又は映像データの処理の一部
を省略して画像と音声の同期を取りつつ、違和感の出来
るだけ少ない映像データと音声データを出力することが
要求される。圧縮映像データと圧縮音声データの従来の
同期再生装置については、例えば、特開平１０−２００
８６０号公報（以下、「引用例」と言う）に示される。
その同期再生装置を図６に示す。図６の説明において
は、引用例の公報に記載された用語を本発明の用語に置
き換えて説明し（引用例の公報に記載された用語を括弧
書きで併記している）、後述の本発明との一致点及び相
違点の明確化を図っている。

【０００４】データ記録装置６０１は圧縮映像データと
圧縮音声データの記録再生装置である。「圧縮映像デー
タ」とは、映像信号をアナログ／デジタル変換器により
デジタル信号である映像データに変換した後、例えばＭ
ＰＥＧ２規格等に基づいてデータ圧縮を行った結果、得
られるデータを言う。「圧縮音声データ」とは、音声信
号をアナログ／デジタル変換器によりデジタル信号であ
る音声データに変換した後、例えばＭＰＥＧ規格等に基
づいてデータ圧縮を行った結果、得られるデータを言
う。データ記録装置６０１から出力された圧縮映像デー
タと圧縮音声データは、映像音声分離処理装置（ＡＶ分
離処理）６０２により、圧縮映像データと圧縮音声デー
タに分離される。圧縮映像データは、いったん圧縮映像
データバッファ（圧縮画像データバッファ）６０３に蓄
積された後、画像データ入力制御手段６０４を経由し
て、映像復号化手段（ビデオデコーダ）６０５により、
実時間に伸張された映像データに戻される。

【０００５】「実時間に伸張された映像データ」とは、
デジタル／アナログ変換器によりアナログ映像信号にす
れば、そのまま通常の映像表示装置により映像が表示可
能な映像データを言う。本明細書及び本請求の範囲にお
いて、「実時間に伸張された映像データ」又は「映像デ
ータ」の語は、圧縮されていない通常の映像データの意
味であり、圧縮映像データと区別して使用される。映像
データは、フレームバッファ６０６にいったん蓄積され
る。映像データをフレームバッファ６０６から読み出す
クロックのタイミングを調整して、映像データの出力タ
イミングを、音声データの出力タイミングと一致させる
（同期をとる）。「音声データ」とは、アナログ／デジ
タル変換器によりアナログ音声信号にすれば、そのまま
スピーカにより音声が出力される音声データを言う。本
明細書及び本請求の範囲において、「実時間に伸張され
た音声データ」又は「音声データ」の語は、圧縮されて
いない通常の音声データの意味であり、圧縮音声データ
と区別して用いられる。フレームバッファ６０６から読
み出された映像データは、デジタル／アナログ変換器
（ＣＲＴＣ（Ｄ／Ａ））６０７によりアナログの映像信
号に変換され、ＣＲＴ等の映像表示装置（ＣＲＴモニ
タ）６０８に表示される。

【０００６】映像音声分離処理装置（ＡＶ分離処理）６
０２から出力された圧縮音声データは、いったん圧縮音
声データバッファ６０９に蓄積された後、音声復号化手
段（オーディオデコーダ）６１０により、音声データに
戻される。音声データは、ＰＣＭバッファ６１１にいっ
たん蓄積される。ＰＣＭバッファ６１１から読み出され
た音声データは、デジタル／アナログ変換器（Ｄ／Ａ）
６１２によりアナログの音声信号に変換された後、スピ
ーカ６１３より音声が出力される。

【０００７】この特開平１０−２００８６０号公報に記
載された画像と音声の同期再生装置は、復号化された音
声データのデータ量に基づいて基準時刻を算出する基準
時刻算出手段６１６と、基準時刻に基づいて本来復号化
処理さるべき画像のフレーム数を算出し、実際に復号化
処理されたフレーム数との比較を行って画像復号化処理
の遅延検出を行う遅延検出手段６１７と、前記遅延検出
手段が検出した遅延フレーム数に基づいて復号化処理を
省略するフレームの判別処理を行うコマ落とし制御手段
６１８と、コマ落とし制御手段６１８が判別したフレー
ムに相当する圧縮画像の読み飛ばしを行う画像データ入
力制御手段６０４とを有することを特徴としている。圧
縮映像データの処理が遅延した場合は、まずキーフレー
ム（例えば、後述するIピクチャ）以外のフレームの復
号化を省略し、それでも処理の遅延が解消しない場合に
初めて、キーフレームの復号化を省略する。引用例は、
圧縮画像データの復号化と圧縮音声データの復号化を単
一のマイクロプロセッサにより処理する場合に、一定の
効果がある。

【０００８】近年、デジタルテレビ放送の実現と、パー
ソナルコンピュータの広範な普及の結果、異なる映像フ
ォーマットの映像信号が種々混在し、しばしば相互のフ
ォーマット変換が必要になってきた。例えば、デジタル
テレビ放送の映像フォーマットとしては、有効水平走査
線数４８０本のプログレッシブ映像信号（４８０Ｐ）
や、有効水平走査線数７２０本のプログレッシブ映像信
号（７２０Ｐ）や有効水平走査線数１０８０本のインタ
ーレース映像信号（１０８０ｉ）がある。パーソナルコ
ンピュータ用ディスプレイの映像フォーマットとして
は、６４０ドット×４８０本、８００ドット×６００
本、１０２４ドット×７６８本、又は１２８０ドット×
１０２４本等がある。更に、フレームレートについて
も、種々の映像フォーマットが存在する。そのため、種
々のデジタルテレビ放送番組をデジタルテレビ放送表示
装置に表示するためのフォーマット変換やパーソナルコ
ンピュータ用ディスプレイに種々のパーソナルコンピュ
ータ用映像信号を表示するのためのフォーマット変換の
みならず、放送番組をパソ−ナルコンピュータ用ディス
プレイに表示するためのフォーマット変換や、デジタル
テレビ放送表示装置にパーソナルコンピュータ用映像信
号を表示するのためのフォーマット変換も必要性が高ま
っている。なお、上記のように、「映像データの映像フ
ォーマット」とは、１水平ライン当たりのサンプル数、
１画面当たりのライン数、フレーム・レート、あるいは
フィールド画像又はフレーム画像のどちらであるか等の
パラメータの集合を言い、「映像データのフォーマット
変換」とは、これらのパラメータのうち少なくとも一つ
を変換することを言う。

【０００９】一方、マイクロプロセッサの能力が飛躍的
に高くなったことから、単一のマイクロプロセッサが、
圧縮画像データと圧縮音声データの復号化のみならず、
伸張された画像データのフォーマット変換も行うことが
出来るようになった。そこで、映像データと音声データ
の同期再生装置において、単一のマイクロプロセッサの
上でソフトウエアによる映像データのフォーマット変換
を行うことや、単一のマイクロプロセッサの上でソフト
ウエアにより圧縮画像データと圧縮音声データの復号化
を行い、かつ伸張された画像データのフォーマット変換
も行うことが可能になった。引用例は、圧縮映像データ
の処理が遅延したとき、一定の方法により復号化処理を
省略し、圧縮映像データの処理の遅延を解消するという
発明を開示しているが、フォーマット変換の処理の省略
や、復号化処理とフォーマット変換の処理を総合的に考
慮して、最適な処理の省略を行うと言う着想について
は、言及していない。

【００１０】また、引用例においては、復号化された音
声データのデータ量に基づいて基準時刻を算出し、基準
時刻に基づいて本来復号化処理さるべき圧縮画像のフレ
ーム数を算出している。データ記録装置６０１に圧縮映
像データと圧縮音声データが、同じ時間を単位として
（例えば１／６０秒）圧縮記録されており、かつ同期再
生すべき（同時に再生すべき）圧縮映像データと圧縮音
声データが、データ記録装置６０１から一定の順序で出
力されたり、ひとつのデータパケットに一緒に含まれて
いる場合は、音声データと映像データのデータ量に基づ
く相対的な時間算出により、圧縮映像データの処理の遅
延時間の検出が容易に行われる。

【００１１】しかし、映像データと音声データの同期再
生装置が、異なる時間を単位として圧縮記録された圧縮
映像データと圧縮音声データを入力する場合（例えば圧
縮映像データが１６．７ｍｓ間のデータを１フレームと
し、圧縮音声データが２３ｍｓ間のデータを１フレーム
とする場合）や、圧縮映像データと圧縮音声データが、
ランダムに映像音声同期再生装置に入力される場合は
（例えば、ある程度長い時間単位で見れば圧縮映像デー
タと圧縮音声データは同期して入力されているが、短期
的には、圧縮映像データばかり連続して入力されたり、
逆に圧縮音声データが連続して入力される場合であ
る）、引用例のように、音声データのデータ処理量と映
像データのデータ処理量の相対的な差から圧縮映像デー
タの処理の遅延量を算出する方法は、一定以上の同期精
度を達成することが困難である。

【００１２】

【発明が解決しようとする課題】デジタル圧縮符号化さ
れた圧縮映像データと圧縮音声データの同期再生装置に
おいて、同期再生装置の処理能力が不足した場合にも、
視聴者にとって違和感の少ない方法で映像処理を省略
し、映像データと音声データの同期再生を精度よく維持
することが要求されている。本発明は、このような映像
データと音声データの同期再生装置において、同期再生
装置の処理能力が不足した場合にも、視聴者にとって違
和感の少ない映像処理の省略方法により、映像データと
音声データの同期再生を精度よく維持することを目的と
する。

【００１３】

【課題を解決するための手段】請求項１及び請求項２の
本発明の映像音声同期再生装置においては、圧縮映像デ
ータと第1の時刻データを入力し、その対応関係を維持
しつつ圧縮映像データを復号化するとともに、又音声デ
ータと第２の時刻データを入力し、その対応関係を維持
しつつ圧縮音声データを復号化することにより、映像デ
ータと音声データの再生の時間差（又は位相差）を正確
に把握し映像データと音声データの再生の時間差を小さ
くするように制御する。これにより、同期の精度のよい
映像音声同期再生装置が得られる。

【００１４】請求項３の本発明の映像音声同期再生装置
においては、映像処理（圧縮映像データ又は映像データ
の処理）が一定時間以上遅延した場合は、フォーマット
変換手段によるフォーマット変換を省略する。これによ
り、映像処理が遅延した場合に、少ない違和感で、遅延
を解消することが出来る映像音声同期再生装置が得られ
る。

【００１５】請求項４の本発明の映像音声同期再生装置
においては、映像処理が一定時間以上遅延した場合は、
フォーマット変換手段は、フォーマット変換をＭフレー
ムスキップするとともに、一定時間以上の遅延が時間的
あるいは回数的に連続したり、遅延が更に大きくなった
場合には、スキップするフレームの数であるＭの値を大
きくする。これにより、映像処理が遅延した場合に、少
ない違和感で、遅延を解消することが出来る映像音声同
期再生装置が得られる。

【００１６】請求項６の本発明の映像音声同期再生装置
においては、映像処理の遅延が一定時間以下になった場
合には、フォーマット変換手段は、フォーマット変換を
スキップするフレームの数であるＮの値を段階的に小さ
くする。これにより、映像処理が遅延した場合に、少な
い違和感で、遅延を解消することが出来る映像音声同期
再生装置が得られる。

【００１７】請求項８の本発明の映像音声同期再生装置
においては、映像処理が一定時間以上遅延した場合は、
フォーマット変換手段は、フォーマット変換をＭフレー
ムスキップするとともに、一定時間以上の遅延が時間的
あるいは回数的に連続したり、遅延が更に大きくなった
場合には、映像復号化手段による復号化を省略する。こ
れにより、映像処理が遅延した場合に、少ない違和感
で、遅延を解消することが出来る映像音声同期再生装置
が得られる。

【００１８】請求項９の本発明の映像音声同期再生装置
においては、音声処理（圧縮音声データ又は音声デー
タ）が一定時間以上遅延した場合は、映像復号化手段に
よる復号化を省略する。これにより、音声処理が遅延し
た場合に、少ない違和感で、遅延を解消することが出来
る映像音声同期再生装置が得られる。

【００１９】請求項１１の本発明の映像データと音声デ
ータの同期再生方法においては、圧縮映像データと第1
の時刻データを入力し、その対応関係を維持しつつ圧縮
映像データを復号化するとともに、又圧縮音声データと
第２の時刻データを入力し、その対応関係を維持しつつ
圧縮音声データを復号化することにより、映像データと
音声データの再生の時間差（又は位相差）を正確に把握
し映像データと音声データの再生の時間差を小さくする
ように制御する。これにより、同期の精度のよい映像デ
ータと音声データの同期再生方法が得られる。

【００２０】請求項１２の本発明の映像データと音声デ
ータの同期再生方法においては、映像処理が一定時間以
上遅延した場合は、フォーマット変換ステップを省略す
る。これにより、映像処理が遅延した場合に、少ない違
和感で、遅延を解消することが出来る映像データと音声
データの同期再生方法が得られる。

【００２１】請求項１３の本発明の映像データと音声デ
ータの同期再生方法においては、映像処理が一定時間以
上遅延した場合は、フォーマット変換ステップをＭフレ
ームスキップするとともに、一定時間以上の遅延が時間
的あるいは回数的に連続したり、遅延が更に大きくなっ
た場合には、スキップするフレームの数であるＭの値を
大きくする。これにより、映像処理が遅延した場合に、
少ない違和感で、遅延を解消することが出来る映像デー
タと音声データの同期再生方法が得られる。

【００２２】請求項１４の本発明の映像データと音声デ
ータの同期再生方法においては、映像処理の遅延が一定
時間以上になった場合は、フォーマット変換ステップを
Ｍフレームスキップするとともに、一定時間以上の遅延
が時間的あるいは回数的に連続したり、遅延が更に大き
くなった場合には、映像復号化ステップを省略する。こ
れにより、映像処理が遅延した場合に、少ない違和感
で、遅延を解消することが出来る映像データと音声デー
タの同期再生方法が得られる。

【００２３】請求項１５の本発明の映像データと音声デ
ータの同期再生方法においては、音声処理が一定時間以
上遅延した場合は、映像復号化ステップを省略する。こ
れにより、音声処理が遅延した場合に、少ない違和感
で、遅延を解消することが出来る映像データと音声デー
タの同期再生方法が得られる。

【００２４】請求項１６の本発明の記録媒体は、圧縮映
像データ及びそれに対応する第1の時刻データ、並びに
圧縮音声データ及びそれに対応する第２の時刻データを
記録しており、対応する第1の時刻データと第２の時刻
データを同期するように、映像データと音声データを再
生した場合に、映像データと音声データの同期がとれる
ように、第１の時刻データと第２の時刻データを記録し
たものである。本記録媒体により、同期の精度のよい映
像データと音声データの同期再生が可能になる。

【００２５】請求項１７の本発明のデジタル信号は、圧
縮映像データ及びそれに対応する第1の時刻データ、並
びに圧縮音声データ及びそれに対応する第２の時刻デー
タを含み、対応する第1の時刻データと第２の時刻デー
タを同期するように、映像データと音声データを再生し
た場合に、映像データと音声データの同期がとれるよう
に、第１の時刻データと第２の時刻データを対応づけた
ものである。本デジタル信号により、同期の精度のよい
映像データと音声データの同期再生が可能になる。

【００２６】請求項１８の本発明の記録媒体は、圧縮映
像データと第1の時刻データを入力し、その対応関係を
維持するとともに、又圧縮音声データと第２の時刻デー
タを入力し、その対応関係を維持することにより、映像
データと音声データの再生の時間差（又は位相差）を正
確に把握し映像データと音声データの再生の時間差を小
さくするように制御する映像データと音声データの同期
再生方法を記録したものである。これにより、同期の精
度のよい映像データと音声データの同期再生方法が得ら
れる。

【００２７】請求項１９の本発明の記録媒体は、映像処
理が一定時間以上遅延した場合は、フォーマット変換ス
テップを省略する映像データと音声データの同期再生方
法を記録したものである。これにより、映像処理が遅延
した場合に、少ない違和感で、遅延を解消することが出
来る映像データと音声データの同期再生方法が得られ
る。

【００２８】請求項２０の本発明の記録媒体は、映像処
理が一定時間以上遅延した場合は、フォーマット変換ス
テップをＭフレームスキップするとともに、一定時間以
上の遅延が時間的あるいは回数的に連続したり、遅延が
更に大きくなった場合には、スキップするフレームの数
であるＭの値を大きくする映像データと音声データの同
期再生方法を記録したものである。これにより、映像処
理が遅延した場合に、少ない違和感で、遅延を解消する
ことが出来る映像データと音声データの同期再生方法が
得られる。

【００２９】請求項２１の記録媒体は、映像処理の遅延
が一定時間以上になった場合は、フォーマット変換ステ
ップをＭフレームスキップするとともに、一定時間以上
の遅延が時間的あるいは回数的に連続したり、遅延が更
に大きくなった場合には、映像復号化ステップを省略す
る映像データと音声データの同期再生方法を記録したも
のである。これにより、映像処理が遅延した場合に、少
ない違和感で、遅延を解消することが出来る映像データ
と音声データの同期再生方法が得られる。

【００３０】請求項２２の記録媒体は、音声処理が一定
時間以上遅延した場合は、映像復号化ステップを省略す
る映像データと音声データの同期再生方法を記録したも
のである。これにより、音声処理が遅延した場合に、少
ない違和感で、遅延を解消することが出来る映像データ
と音声データの同期再生方法が得られる。

【００３１】

【発明の実施の形態】本発明の請求項１に記載の発明
は、（１）映像データを圧縮した圧縮映像データ、前記
圧縮映像データに対応する第1の時刻データ、音声デー
タを圧縮した圧縮音声データ、及び前記圧縮音声データ
に対応する第２の時刻データを入力する入力手段と、
（２）前記圧縮映像データを、映像データと前記第１の
時刻データの対応関係を維持した状態で、映像データに
復号化する映像復号化手段と、（３）前記圧縮音声デー
タを、音声データと前記第２の時刻データの対応関係を
維持した状態で、音声データに復号化する音声復号化手
段と、（４）前記映像データ及び前記音声データを出力
する出力手段と、（５）第３の時刻データを出力する時
刻発生手段を有し、前記時刻発生手段は、前記第３の時
刻データを前記音声データに対応する前記第２の時刻デ
ータに一致するように補正し、前記映像データに対応す
る前記第１の時刻データと前記第３の時刻データとの時
間差が小さくなるように、前記圧縮映像データ又は前記
映像データを制御することを特徴とする映像音声同期再
生装置であり、これにより、精度のよい映像データと音
声データの同期再生装置が得られるという作用を有す
る。

【００３２】特に、映像データと音声データの同期再生
装置が、異なる時間を単位として圧縮記録された映像デ
ータと音声データを入力する場合（例えば映像データが
１６．７ｍｓ間のデータを１フレームとし、音声データ
が２３ｍｓ間のデータを１フレームとする場合）や、映
像データと音声データが、ランダムに映像音声同期再生
装置に入力される場合にも（例えば、ある程度長い時間
単位で見れば映像データと音声データは同期して入力さ
れているが、短期的には、映像データばかり連続して入
力されたり、逆に音声データが連続して入力される場合
である。）、映像データと音声データの再生の時間差を
容易に知ることが出来るという作用を有する。又、映像
データと音声データの再生の時間差が累積することもな
いという作用を有する。

【００３３】本発明の請求項２に記載の発明は、（１）
映像データを圧縮した圧縮映像データ、前記圧縮映像デ
ータに対応する第1の時刻データ、音声データを圧縮し
た圧縮音声データ、及び前記圧縮音声データに対応する
第２の時刻データを入力する入力手段と、（２）前記圧
縮映像データを、映像データと前記第１の時刻データの
対応関係を維持した状態で、映像データに復号化する映
像復号化手段と、（３）前記圧縮音声データを、音声デ
ータと前記第２の時刻データの対応関係を維持した状態
で、音声データに復号化する音声復号化手段と、（４）
前記映像データ及び前記音声データを出力する出力手段
を有し、前記映像データに対応する前記第１の時刻デー
タと、前記音声データに対応する前記第２の時刻データ
との時間差が小さくなるように、前記圧縮映像データ又
は前記映像データを制御することを特徴とする映像音声
同期再生装置である。

【００３４】これにより、精度のよい映像データと音声
データの同期再生装置が得られるという作用を有する。
又、請求項１の発明と同様に、特に、映像データと音声
データの同期再生装置が、異なる時間を単位として圧縮
記録された映像データと音声データを入力する場合や、
映像データと音声データが、ランダムに映像音声同期再
生装置に入力される場合にも、映像データと音声データ
の再生の時間差を容易に知ることが出来るという作用を
有する。又、映像データと音声データの再生の時間差が
累積することもないという作用を有する。

【００３５】本発明の請求項３に記載の発明は、（１）
映像データを圧縮した第１の映像フォーマットの圧縮映
像データ、及び音声データを圧縮した圧縮音声データを
入力する入力手段と、（２）前記第１の映像フォーマッ
トの圧縮映像データに第1の時刻データを対応付ける手
段と、前記圧縮音声データに第２の時刻データを対応付
ける時刻対応手段と、（３）前記第１の映像フォーマッ
トの圧縮映像データを、映像データと前記第１の時刻デ
ータの対応関係を維持した状態で、第１の映像フォーマ
ットの映像データに復号化する映像復号化手段と、
（４）前記圧縮音声データを、音声データと前記第２の
時刻データの対応関係を維持した状態で、音声データに
復号化する音声復号化手段と、（５）前記第１の映像フ
ォーマットの映像データを第２の映像フォーマットの映
像データにフォーマット変換するフォーマット変換手段
と、（６）前記第２の映像フォーマットの映像データと
前記音声データを出力する出力手段と、（７）前記音声
データに対応する前記第２の時刻データ又は前記音声デ
ータに対応する前記第２の時刻データに同期する第３の
時刻データに対する、前記第１の映像フォーマット又は
前記第２の映像フォーマットの映像データに対応する前
記第１の時刻データの遅延時間である第１時刻データ遅
延時間を測定する測定手段を有し、前記測定手段による
測定の結果、前記第１時刻データ遅延時間が一定の時間
である第１の時間より大きい場合は、前記フォーマット
変換手段は、前記第１の映像フォーマットの映像データ
のフォーマット変換を省略することを特徴とする映像音
声同期再生装置である。

【００３６】これにより、映像音声同期再生装置の映像
処理が遅延した場合に、少ない違和感で、遅延を解消す
ることが出来るという作用を有する。特に、従来の映像
復号化手段における復号化を省略する装置では、例えば
ＭＰＥＧ２規格に基づく圧縮映像データには参照フレー
ムを必要とするＰピクチャやＢピクチャ等のフレームが
含まれるため、復号化を省略する圧縮映像フレームのフ
レーム数を任意に選ぶことが出来ず、必要以上の映像処
理（復号化）の省略が発生したが、本発明により、必要
にして十分な映像処理（フォーマット変換）の省略が出
来、少ない違和感で遅延を解消することが出来る。

【００３７】本発明の請求項４に記載の発明は、（１）
映像データを圧縮した第１の映像フォーマットの圧縮映
像データ、及び音声データを圧縮した圧縮音声データを
入力する入力手段と、（２）前記第１の映像フォーマッ
トの圧縮映像データに第1の時刻データを対応付ける手
段と、前記圧縮音声データに第２の時刻データを対応付
ける時刻対応手段と、（３）前記第１の映像フォーマッ
トの圧縮映像データを、映像データと前記第１の時刻デ
ータの対応関係を維持した状態で、第１の映像フォーマ
ットの映像データに復号化する映像復号化手段と、
（４）前記圧縮音声データを、音声データと前記第２の
時刻データの対応関係を維持した状態で、音声データに
復号化する音声復号化手段と、（５）前記第１の映像フ
ォーマットの映像データを第２の映像フォーマットの映
像データにフォーマット変換するフォーマット変換手段
と、（６）前記第２の映像フォーマットの映像データと
前記音声データを出力する出力手段と、（７）前記音声
データに対応する前記第２の時刻データ又は前記音声デ
ータに対応する前記第２の時刻データに同期する第３の
時刻データに対する、前記第１の映像フォーマット又は
前記第２の映像フォーマットの映像データに対応する前
記第１の時刻データの遅延時間である第１時刻データ遅
延時間を測定する測定手段を有し、前記測定手段による
測定の結果、前記第１時刻データ遅延時間が一定の時間
である第１の時間より大きい第1の場合に、前記フォー
マット変換手段は、前記映像復号化手段が復号化する連
続するＭフレーム（Ｍは任意の正の整数）の前記第１の
映像フォーマットの映像データのフォーマット変換をス
キップするとともに、さらに、（ａ）前記第1の場合の
継続時間が一定の時間を超えた場合又は（ｂ）前記測定
手段が前記第1の場合を検知する回数が一定の回数を超
えた場合又は（ｃ）前記第１時刻データ遅延時間が前記
第１の時間よりも長い時間である第２の時間より大きく
なった場合は、前記フォーマット変換手段がフォーマッ
ト変換をスキップするフーレムの数Ｍの値を増加させる
手段を有することを特徴とする映像音声同期再生装置で
ある。

【００３８】これにより、同期再生装置の映像処理が遅
延した場合に、少ない違和感で、遅延を解消することが
出来るという作用を有する。なお、「前記復号化手段が
復号化する連続するＭフレームの第１の映像フォーマッ
トの映像データのフォーマット変換をスキップする」と
は、連続して復号化されるＭフレームのフォーマット変
換を省略し、Ｍフレームの直後に復号化されるフレーム
をフォーマット変換することを言う。いわゆるコマ落と
しである。

【００３９】本発明の請求項５に記載の発明は、請求項
３又は請求項４の映像音声同期再生装置であって、前記
第１の時間が０．２秒以上であって０．４秒以下である
ことを特徴とする映像音声同期再生装置である。これに
より、映像音声同期再生装置の映像処理が遅延した場合
に、少ない違和感で、遅延を解消することが出来るとい
う作用を有する。

【００４０】本発明の請求項６に記載の発明は、請求項
４の映像音声同期再生装置であって、前記フォーマット
変換手段が、連続するNフレーム（Nは正の整数）の前記
第１の映像フォーマットの映像データのフォーマット変
換をスキップする状態において、前記第１時刻データ遅
延時間が一定の時間である第３の時間以下の遅れになっ
た第２の場合に、前記フォーマット変換手段は、フォー
マット変換をスキップするフーレムの数Ｎの値をNより
小さくて、かつ０でない値に減少させる手段を有するこ
とを特徴とする映像音声同期再生装置である。これによ
り、映像音声同期再生装置の映像処理が遅延した場合
に、少ない違和感で、遅延を解消することが出来るとい
う作用を有する。

【００４１】本発明の請求項７に記載の発明は、請求項
６の映像音声同期再生装置であって、前記第３の時間が
前記第１の時間よりも短い時間であることを特徴とする
映像音声同期再生装置である。これにより、映像音声同
期再生装置の映像処理が遅延した場合に、遅延解消後に
残留する誤差（遅延）を小さくすることが出来るため、
少ない違和感で、遅延を解消することが出来るという作
用を有する。

【００４２】本発明の請求項８に記載の発明は、（１）
映像データを圧縮した第１の映像フォーマットの圧縮映
像データ、及び音声データを圧縮した圧縮音声データを
入力する入力手段と、（２）前記第１の映像フォーマッ
トの圧縮映像データに第1の時刻データを対応付け、前
記圧縮音声データに第２の時刻データを対応付ける時刻
対応手段と、（３）前記第１の映像フォーマットの圧縮
映像データを、映像データと前記第１の時刻データの対
応関係を維持した状態で、第１の映像フォーマットの映
像データに復号化する映像復号化手段と、（４）前記圧
縮音声データを、音声データと前記第２の時刻データの
対応関係を維持した状態で、音声データに復号化する音
声復号化手段と、（５）前記第１の映像フォーマットの
映像データを第２の映像フォーマットの映像データにフ
ォーマット変換するフォーマット変換手段と、（６）前
記第２の映像フォーマットの映像データと前記音声デー
タを出力する出力手段と、（７）前記音声データに対応
する前記第２の時刻データ又は前記音声データに対応す
る前記第２の時刻データに同期する第３の時刻データに
対する、前記第１の映像フォーマット又は前記第２の映
像フォーマットの映像データに対応する第１の時刻デー
タの遅延時間である第１時刻データ遅延時間を測定する
測定手段を有し、前記測定手段による測定の結果、第１
時刻データ遅延時間が第１の時間より大きい第1の場合
に、前記フォーマット変換手段は、前記映像復号化手段
が復号化する連続するＭフレーム（Ｍは任意の正の整
数）の第１の映像フォーマットの映像データのフォーマ
ット変換をスキップするとともに、さらに、（ａ）第1
の場合の継続時間が一定の時間を超えた場合又は（ｂ）
第1の場合の検知回数が一定の回数を超えた場合又は
（ｃ）前記第１時刻データ遅延時間が第１の時間よりも
長い一定の時間である第２の時間よりも大きくなった場
合は、前記映像復号化手段は、前記圧縮映像データの復
号化を省略することを特徴とする映像音声同期再生装置
である。これにより、同期再生装置の映像処理が遅延し
た場合に、少ない違和感で、遅延を解消することが出来
るという作用を有する。

【００４３】本発明の請求項９に記載の発明は、（１）
映像データを圧縮した圧縮映像データ、及び音声データ
を圧縮した圧縮音声データを入力する入力手段と、
（２）前記圧縮音声データに第１の時刻データを対応付
ける時刻対応手段と、（３）第２の時刻データを出力す
る時刻発生手段と、（４）前記圧縮映像データを、映像
データに復号化する映像復号化手段と、（５）前記圧縮
音声データを、音声データと前記第１の時刻データの対
応関係を維持した状態で、音声データに復号化する音声
復号化手段と、（５）前記映像データと前記音声データ
を出力する出力手段と、（６）第２の時刻データに対す
る、前記音声データに対応する前記第１の時刻データの
遅延時間である第１時刻データ遅延時間を測定する測定
手段を有し、（７）前記測定手段による測定の結果、前
記第１時刻データ遅延時間が一定の時間である遅延閾値
時間より大きい場合に、前記映像復号化手段は、前記圧
縮映像データの復号化を省略することを特徴とする映像
音声同期再生装置である。これにより、映像音声同期再
生装置の映像処理が遅延した場合に、少ない違和感で、
遅延を解消することが出来るという作用を有する。

【００４４】本発明の請求項１０に記載の発明は、請求
項９の映像音声同期再生装置であって、前記遅延閾値時
間が、前記音声データのフレーム期間を超えないことを
特徴とする映像音声同期再生装置である。これにより、
映像音声同期再生装置の映像処理が遅延した場合に、少
ない違和感で、遅延を解消することが出来るという作用
を有する。

【００４５】本発明の請求項１１に記載の発明は、
（１）映像データを圧縮した圧縮映像データ、前記圧縮
映像データに対応する第1の時刻データ、音声データを
圧縮した圧縮音声データ、及び前記圧縮音声データに対
応する第２の時刻データを入力する入力ステップと、
（２）前記圧縮映像データを、映像データと前記第１の
時刻データの対応関係を維持した状態で、映像データに
復号化する映像復号化ステップと、（３）前記圧縮音声
データを、音声データと前記第２の時刻データの対応関
係を維持した状態で、音声データに復号化する音声復号
化ステップと、（４）前記映像データ及び音声データを
出力する出力ステップを有し、前記映像データに対応す
る第１の時刻データと、前記音声データに対応する第２
の時刻データ又は前記音声データに対応する第２の時刻
データに同期する時刻データである第３の時刻データと
の時間差が小さくなるように、前記圧縮映像データ又は
前記映像データを制御することを特徴とする映像データ
と音声データの同期再生方法である。これにより、映像
音声同期再生装置の映像処理が遅延した場合に、少ない
違和感で、遅延を解消することが出来るという作用を有
する。

【００４６】本発明の請求項１２に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの
圧縮映像データ、及び音声データを圧縮した圧縮音声デ
ータを入力する入力ステップと、（２）前記第１の映像
フォーマットの圧縮映像データに第1の時刻データを対
応付け、前記圧縮音声データに第２の時刻データを対応
付ける時刻対応ステップと、（３）前記第１の映像フォ
ーマットの圧縮映像データを、映像データと前記第１の
時刻データの対応関係を維持した状態で、第１の映像フ
ォーマットの映像データに復号化する映像復号化ステッ
プと、（４）前記圧縮音声データを、音声データと前記
第２の時刻データの対応関係を維持した状態で、音声デ
ータに復号化する音声復号化ステップと、（５）前記第
１の映像フォーマットの映像データを第２の映像フォー
マットの映像データにフォーマット変換するフォーマッ
ト変換ステップと、（６）前記第２の映像フォーマット
の映像データと前記音声データを出力する出力ステップ
と、（７）前記音声データに対応する前記第２の時刻デ
ータ又は前記音声データに対応する前記第２の時刻デー
タに同期する第３の時刻データに対する、前記第１の映
像フォーマット又は前記第２の映像フォーマットの映像
データに対応する前記第１の時刻データの遅延時間であ
る第１時刻データ遅延時間を測定する測定ステップを有
し、前記測定ステップによる測定の結果、前記第１時刻
データ遅延時間が一定の時間より大きい場合は、前記フ
ォーマット変換ステップを省略することを特徴とする映
像データと音声データの同期再生方法である。これによ
り、映像音声同期再生装置の映像処理が遅延した場合
に、少ない違和感で、遅延を解消することが出来るとい
う作用を有する。

【００４７】本発明の請求項１３に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの
圧縮映像データ、及び音声データを圧縮した圧縮音声デ
ータを入力する入力ステップと、（２）前記第１の映像
フォーマットの圧縮映像データに第1の時刻データを対
応付け、前記圧縮音声データに第２の時刻データを対応
付ける時刻対応ステップと、（３）前記第１の映像フォ
ーマットの圧縮映像データを、映像データと前記第１の
時刻データの対応関係を維持した状態で、第１の映像フ
ォーマットの映像データに復号化する映像復号化ステッ
プと、（４）前記圧縮音声データを、音声データと前記
第２の時刻データの対応関係を維持した状態で、音声デ
ータに復号化する音声復号化ステップと、（５）前記第
１の映像フォーマットの映像データを第２の映像フォー
マットの映像データにフォーマット変換するフォーマッ
ト変換ステップと、（６）前記第２の映像フォーマット
の映像データと前記音声データを出力する出力ステップ
と、（７）前記音声データに対応する前記第２の時刻デ
ータ又は前記音声データに対応する前記第２の時刻デー
タに同期する第３の時刻データに対する、前記第１の映
像フォーマット又は前記第２の映像フォーマットの映像
データに対応する前記第１の時刻データの遅延時間であ
る第１時刻データ遅延時間を測定する測定ステップを有
し、前記測定ステップによる測定の結果、前記第１時刻
データ遅延時間が一定の時間である第１の時間より大き
い第1の場合に、前記映像復号化ステップにより復号化
された連続するＭフレーム（Ｍは任意の正の整数）の前
記第１の映像フォーマットの映像データについて前記フ
ォーマット変換ステップをスキップするとともに、さら
に、（ａ）第1の場合の継続時間が一定の時間を超えた
場合又は（ｂ）前期測定ステップにおいて第1の場合を
検知する回数が一定の回数を超えた場合又は（ｃ）前記
第１時刻データ遅延時間が第１の時間よりも長い一定の
時間である第２の時間より大きくなった場合は、前記フ
ォーマット変換ステップをスキップするフーレムの数Ｍ
の値を増加させるステップを有することを特徴とする映
像データと音声データの同期再生方法である。これによ
り、映像音声同期再生装置の映像処理が遅延した場合
に、少ない違和感で、遅延を解消することが出来るとい
う作用を有する。

【００４８】本発明の請求項１４に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの
圧縮映像データ、及び音声データを圧縮した圧縮音声デ
ータを入力する入力ステップと、（２）前記第１の映像
フォーマットの圧縮映像データに第1の時刻データを対
応付け、前記圧縮音声データに第２の時刻データを対応
付ける時刻対応ステップと、（３）前記第１の映像フォ
ーマットの圧縮映像データを、映像データと前記第１の
時刻データの対応関係を維持した状態で、第１の映像フ
ォーマットの映像データに復号化する映像復号化ステッ
プと、（４）前記圧縮音声データを、音声データと前記
第２の時刻データの対応関係を維持した状態で、音声デ
ータに復号化する音声復号化ステップと、（５）前記第
１の映像フォーマットの映像データを第２の映像フォー
マットの映像データにフォーマット変換するフォーマッ
ト変換ステップと、（６）前記第２の映像フォーマット
の映像データと前記音声データを出力する出力ステップ
と、（７）前記音声データに対応する前記第２の時刻デ
ータ又は前記音声データに対応する前記第２の時刻デー
タに同期する第３の時刻データに対する、前記第１の映
像フォーマット又は前記第２の映像フォーマットの映像
データに対応する前記第１の時刻データの遅延時間であ
る第１時刻データ遅延時間を測定する測定ステップを有
し、前記測定手段による測定の結果、前記第１時刻デー
タ遅延時間が一定の時間である第１の時間より大きい第
1の場合に、前記映像復号化ステップにより復号化され
る連続するＭフレーム（Ｍは任意の正の整数）の前記第
１の映像フォーマットの映像データについて前記フォー
マット変換ステップをスキップするとともに、さらに、
（ａ）第1の場合の継続時間が一定の時間を超えた場合
又は（ｂ）第1の場合の検知回数が一定の回数を超えた
場合又は（ｃ）前記第１時刻データ遅延時間が前記第１
の時間よりも長い時間である第２の時間より大きくなっ
た場合は、前記映像復号化ステップを省略することを特
徴とする映像データと音声データの同期再生方法であ
る。これにより、映像音声同期再生装置の映像処理が遅
延した場合に、少ない違和感で、遅延を解消することが
出来るという作用を有する。

【００４９】本発明の請求項１５に記載の発明は、
（１）映像データを圧縮した圧縮映像データ、及び音声
データを圧縮した圧縮音声データを入力する入力ステッ
プと、（２）前記圧縮音声データに第１の時刻データを
対応付ける時刻対応ステップと、（３）第２の時刻デー
タを出力する時刻発生ステップと、（４）前記圧縮映像
データを、映像データに復号化する映像復号化ステップ
と、（５）前記圧縮音声データを、音声データと前記第
１の時刻データの対応関係を維持した状態で、音声デー
タに復号化する音声復号化ステップと、（６）前記映像
データと前記音声データを出力する出力ステップと、
（７）前記第２の時刻データに対する、前記音声データ
に対応する第１の時刻データの遅延時間である第１時刻
データ遅延時間を測定する測定ステップを有し、前記測
定ステップによる測定の結果、前記第１時刻データ遅延
時間が一定の時間より大きい場合に、前記映像復号化ス
テップを省略することを特徴とする映像データと音声デ
ータの同期再生方法である。これにより、映像音声同期
再生装置の映像処理が遅延した場合に、少ない違和感
で、遅延を解消することが出来るという作用を有する。

【００５０】本発明の請求項１６に記載の発明は、映像
データを圧縮した圧縮映像データと音声データを圧縮し
た圧縮音声データを記録する記録媒体であって、（１）
前記圧縮映像データに対応する第1の時刻データと、
（２）前記圧縮音声データに対応する第２の時刻データ
を記録しており、前記圧縮映像データを映像データに復
号化し、前記圧縮音声データを音声データに復号化し、
前記映像データに対応する前記第１の時刻と前記音声デ
ータに対応する前記第２の時刻が同期するように前記映
像データと前記音声データを再生した場合に、前記映像
データと前記音声データが同期再生されるように、第1
の時刻データと第２の時刻データを記録していることを
特徴とする記録媒体である。これにより、精度のよい映
像データと音声データの同期再生を行うことが出来ると
いう作用を有する。特に、当該記録媒体に、異なる時間
を単位として圧縮記録された映像データと音声データを
記録する場合や、映像データと音声データをランダムに
記録する場合にも、当該記録媒体を再生する映像音声同
期再生装置が映像データと音声データの同期再生を容易
にすることが出来るという作用を有する。又、映像デー
タと音声データの再生の時間差が累積することもないと
いう作用を有する。

【００５１】本発明の請求項１７に記載の発明は、映像
データを圧縮した圧縮映像データと音声データを圧縮し
た圧縮音声データを含むデジタル信号であって、（１）
前記圧縮映像データに対応する第1の時刻データと、
（２）前記圧縮音声データに対応する第２の時刻データ
を含み、前記圧縮映像データを映像データに復号化し、
前記圧縮音声データを音声データに復号化し、前記映像
データに対応する前記第１の時刻と前記音声データに対
応する前記第２の時刻が同期するように前記映像データ
と前記音声データを再生した場合に、前記映像データと
前記音声データが同期再生されるように、第1の時刻デ
ータと第２の時刻データが対応付けられていることを特
徴とするデジタル信号である。これにより、精度のよい
映像データと音声データの同期再生を行うことが出来る
という作用を有する。特に、当該デジタル信号が、異な
る時間を単位として圧縮記録された映像データと音声デ
ータを含む場合や、映像データと音声データをランダム
に含む場合にも、当該デジタル信号を再生する映像音声
同期再生装置が映像データと音声データの同期再生を容
易にすることが出来るという作用を有する。又、映像デ
ータと音声データの再生の時間差が累積することもない
という作用を有する。

【００５２】本発明の請求項１８に記載の発明は、
（１）映像データを圧縮した圧縮映像データ、前記圧縮
映像データに対応する第1の時刻データ、音声データを
圧縮した圧縮音声データ、及び前記圧縮音声データに対
応する第２の時刻データを入力する入力ステップと、
（２）前記圧縮映像データを、映像データと前記第１の
時刻データの対応関係を維持した状態で、映像データに
復号化する映像復号化ステップと、（３）前記圧縮音声
データを、音声データと前記第２の時刻データの対応関
係を維持した状態で、音声データに復号化する音声復号
化ステップと、（４）前記映像データ及び前記音声デー
タを出力する出力ステップを有し、前記映像データに対
応する第１の時刻データと、前記音声データに対応する
第２の時刻データ又は前記音声データに対応する第２の
時刻データに同期する時刻データである第３の時刻デー
タとの時間差を小さくするように、前記圧縮映像データ
又は前記映像データを制御することを特徴とする映像デ
ータと音声データの同期再生プログラムを記録した記録
媒体である。これにより、精度のよい映像データと音声
データの同期再生を行うことが出来るという作用を有す
る。特に、異なる時間を単位として圧縮された映像デー
タと音声データを同期再生する場合や、映像データと音
声データをランダムに入力して同期再生する場合にも、
映像データと音声データの同期再生を容易に実現できる
という作用を有する。又、映像データと音声データの再
生の時間差が累積することもないという作用を有する。

【００５３】本発明の請求項１９に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの
圧縮映像データ、及び音声データを圧縮した圧縮音声デ
ータを入力する入力ステップと、（２）前記第１の映像
フォーマットの圧縮映像データに第1の時刻データを対
応付け、前記圧縮音声データに第２の時刻データを対応
付ける時刻対応ステップと、（３）前記第１の映像フォ
ーマットの圧縮映像データを、映像データと前記第１の
時刻データの対応関係を維持した状態で、第１の映像フ
ォーマットの映像データに復号化する映像復号化ステッ
プと、（４）前記圧縮音声データを、音声データと前記
第２の時刻データの対応関係を維持した状態で、音声デ
ータに復号化する音声復号化ステップと、（５）前記第
１の映像フォーマットの映像データを第２の映像フォー
マットの映像データにフォーマット変換するフォーマッ
ト変換ステップと、（６）前記第２の映像フォーマット
の映像データと前記音声データを出力する出力ステップ
と、（７）前記音声データに対応する前記第２の時刻デ
ータ又は前記音声データに対応する前記第２の時刻デー
タに同期する第３の時刻データに対する、前記第１の映
像フォーマット又は前記第２の映像フォーマットの映像
データに対応する前記第１の時刻データの遅延時間であ
る第１時刻データ遅延時間を測定する測定ステップを有
し、（８）前記測定ステップによる測定の結果、前記第
１時刻データ遅延時間が一定の時間より大きい場合は、
前記フォーマット変換ステップを省略することを特徴と
する映像データと音声データの同期再生プログラムを記
録した記録媒体である。これにより、映像データと音声
データの同期再生を行う上で、映像処理が遅延した場合
に、少ない違和感で、遅延を解消することが出来るとい
う作用を有する。

【００５４】本発明の請求項２０に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの
圧縮映像データ、及び音声データを圧縮した圧縮音声デ
ータを入力する入力ステップと、（２）前記第１の映像
フォーマットの圧縮映像データに第1の時刻データを対
応付け、前記圧縮音声データに第２の時刻データを対応
付ける時刻対応ステップと、（３）前記第１の映像フォ
ーマットの圧縮映像データを、映像データと前記第１の
時刻データの対応関係を維持した状態で、第１の映像フ
ォーマットの映像データに復号化する映像復号化ステッ
プと、（４）前記圧縮音声データを、音声データと前記
第２の時刻データの対応関係を維持した状態で、音声デ
ータに復号化する音声復号化ステップと、（５）前記第
１の映像フォーマットの映像データを第２の映像フォー
マットの映像データにフォーマット変換するフォーマッ
ト変換ステップと、（６）前記第２の映像フォーマット
の映像データと前記音声データを出力する出力ステップ
と、（７）前記音声データに対応する前記第２の時刻デ
ータ又は前記音声データに対応する前記第２の時刻デー
タに同期する第３の時刻データに対する、前記第１の映
像フォーマット又は前記第２の映像フォーマットの映像
データに対応する前記第１の時刻データの遅延時間であ
る第１時刻データ遅延時間を測定する測定ステップを有
し、（８）前記測定ステップによる測定の結果、前記第
１時刻データ遅延時間が一定の時間である第１の時間よ
り大きい第1の場合に、前記映像復号化ステップにより
復号化された連続するＭフレーム（Ｍは任意の正の整
数）の前記第１の映像フォーマットの映像データについ
て前記フォーマット変換ステップをスキップするととも
に、さらに、（ａ）第1の場合の継続時間が一定の時間
を超えた場合又は（ｂ）前期測定ステップにおいて第1
の場合を検知する回数が一定の回数を超えた場合又は
（ｃ）前記第１時刻データ遅延時間が第１の時間よりも
長い時間である第２の時間より大きくなった場合は、前
記フォーマット変換ステップをスキップするフーレムの
数Ｍの値を増加させるステップを有することを特徴とす
る映像データと音声データの同期再生プログラムを記録
した記録媒体である。これにより、映像データと音声デ
ータの同期再生を行う上で、映像処理が遅延した場合
に、少ない違和感で、遅延を解消することが出来るとい
う作用を有する。

【００５５】本発明の請求項２１に記載の発明は、
（１）映像データを圧縮した第１の映像フォーマットの
圧縮映像データ、及び音声データを圧縮した圧縮音声デ
ータを入力する入力ステップと、（２）前記第１の映像
フォーマットの圧縮映像データに第1の時刻データを対
応付け、前記圧縮音声データに第２の時刻データを対応
付ける時刻対応ステップと、（３）前記第１の映像フォ
ーマットの圧縮映像データを、映像データと前記第１の
時刻データの対応関係を維持した状態で、第１の映像フ
ォーマットの映像データに復号化する映像復号化ステッ
プと、（４）前記圧縮音声データを、音声データと前記
第２の時刻データの対応関係を維持した状態で、音声デ
ータに復号化する音声復号化ステップと、（５）前記第
１の映像フォーマットの映像データを第２の映像フォー
マットの映像データにフォーマット変換するフォーマッ
ト変換ステップと、（６）前記第２の映像フォーマット
の映像データと前記音声データを出力する出力ステップ
と、（７）前記音声データに対応する前記第２の時刻デ
ータ又は前記音声データに対応する前記第２の時刻デー
タに同期する第３の時刻データに対する、前記第１の映
像フォーマット又は前記第２の映像フォーマットの映像
データに対応する前記第１の時刻データの遅延時間であ
る第１時刻データ遅延時間を測定する測定ステップを有
し、前記測定ステップによる測定の結果、前記第１時刻
データ遅延時間が一定の時間である第１の時間より大き
い第1の場合に、前記映像復号化ステップにより復号化
される連続するＭフレーム（Ｍは任意の正の整数）の前
記第１の映像フォーマットの映像データについて前記フ
ォーマット変換ステップをスキップするとともに、さら
に、（ａ）第1の場合の継続時間が一定の時間を超えた
場合又は（ｂ）第1の場合の検知回数が一定の回数を超
えた場合又は（ｃ）前記第１時刻データ遅延時間が第１
の時間よりも長い時間である第２の時間より大きくなっ
た場合は、前記映像復号化ステップを省略することを特
徴とする映像データと音声データの同期再生プログラム
を記録した記録媒体である。これにより、映像データと
音声データの同期再生を行う上で、映像処理が遅延した
場合に、少ない違和感で、遅延を解消することが出来る
という作用を有する。

【００５６】本発明の請求項２２に記載の発明は、
（１）映像データを圧縮した圧縮映像データ、及び音声
データを圧縮した圧縮音声データを入力する入力ステッ
プと、（２）前記圧縮音声データに第１の時刻データを
対応付ける時刻対応ステップと、（３）第２の時刻デー
タを出力する時刻発生ステップと、（４）前記圧縮映像
データを、映像データに復号化する映像復号化ステップ
と、（５）前記圧縮音声データを、音声データと前記第
１の時刻データの対応関係を維持した状態で、音声デー
タに復号化する音声復号化ステップと、（６）前記映像
データと前記音声データを出力する出力ステップと、
（７）前記第２の時刻データに対する、前記音声データ
に対応する前記第１の時刻データの遅延時間である第１
時刻データ遅延時間を測定する測定ステップを有し、
（８）前記測定ステップによる測定の結果、前記第１時
刻データ遅延時間が一定の時間より大きい場合に、前記
映像復号化ステップを省略することを特徴とする映像デ
ータと音声データの同期再生プログラムを記録した記録
媒体である。これにより、映像データと音声データの同
期再生を行う上で、映像処理が遅延した場合に、少ない
違和感で、遅延を解消することが出来るという作用を有
する。

【００５７】以下、本発明の実施例について、図１から
図５を用いて説明する。実施例では、圧縮映像データ及
び圧縮音声データとして、ＭＰＥＧ２規格に基づいて圧
縮された圧縮映像データ（ＩＳＯ／ＩＥＣ１３８１８−
２等）及びＭＰＥＧ規格に基づいて圧縮音声データ（Ｉ
ＳＯ／ＩＥＣ１３８１８−３等）を取り扱う。但し、本
発明の適用の対象はＭＰＥＧ２規格に基づき圧縮された
圧縮映像データやＭＰＥＧ規格に基づき圧縮された圧縮
音声データについての映像音声同期再生装置に限定され
るものではなく、他のデータ圧縮規格についても適用可
能である。

【００５８】［図１のビットストリームの説明］図１
は、本発明の実施例である映像音声同期再生装置に入力
する圧縮映像データ及び圧縮音声データを含むビットス
トリームの構造（１シーケンスの入力ビットストリー
ム）を示す（ヘッダの記載は省略している）。１シーケ
ンスの入力ビットストリームの先頭には、映像フレーム
レート情報がある。毎秒３０フレーム、毎秒６０フレー
ム、又は毎秒６０フィールド等の圧縮映像データのフレ
ームレートの情報である。次に、音声パラメータ情報が
ある。音声パラメータ情報には、例えば、サンプリング
周波数が毎秒３２ｋＨｚ、４４．１ｋＨｚ又は４８ｋＨ
ｚのどの周波数かを示すパラメータや、ステレオ（同一
の音源の音を左右の位置から収録した音を出す）か、デ
ュアル・チャンネル（英語放送と日本語放送等、別個独
立の音声を２チャンネルで出す）、又はモノラルかを示
すパラメータ等が含まれる。その後には、映像パケット
と音声パケットが続く。

【００５９】映像パケットと音声パケットの次には、図
１には図示していないが、図示する映像パケットと同様
の映像パケット、及び図示する音声パケットと同様の音
声パケットが後続する。１シーケンスのビットストリー
ム内において、映像パケットと音声パケットが交互に並
ぶ場合もあるが、これに限らず、映像パケットが連続し
たり、音声パケットが連続したりする場合もある。圧縮
映像データのフレーム期間と圧縮音声データのフレーム
期間が異なる場合、例えば実時間で１６．７ｍｓ分の圧
縮映像データが１フレームの圧縮画像データとして１つ
の映像パケットに収められ、実時間で２３ｍｓ分の圧縮
音声データ２チャンネル分が１フレームの圧縮音声デー
タとして１つの音声パケットに収められたビットストリ
ーム構造を有するビットストリームにおいては、１秒間
分のビットストリームが有する映像パケットの数と音声
パケットの数が異なる。又、圧縮映像データを伝送する
ビットストリームと、圧縮音声データを伝送するビット
ストリームが別個独立のビットストリームである場合
は、ビットストリーム内に含まれるデータは、全て映像
パケット、又は全て音声パケットであり、この場合は、
映像音声同期再生装置は、圧縮映像データのビットスト
リームと圧縮音声データのビットストリームをそれぞれ
入力し、同期再生をすることになる。１つのビットスト
リームが含む映像パケットの数及び音声パケットの数と
無関係に、当該ビットストリームについて本発明を適用
することが出来る。

【００６０】１つの映像パケットは、タイムスタンプ情
報と、キーフレーム情報と、１フレーム（又は１フィー
ルド）の圧縮映像データ（ＭＰＥＧ２規格におけるピク
チャ層に相当する）を含む。なお、文脈上、特に「フィ
ールド」と「フレーム」の差異を示す場合を除き、１フ
レーム（又は１フィールド）の画像データ、即ち１枚の
画面を構成する画像データを総称して、１フレームの画
像データと言う。請求の範囲の記載において、「フレー
ム」の語は、「フィールド」又は「フレーム」の意味、
即ち１枚の画面の意味である。

【００６１】タイムスタンプ情報は、当該映像パケット
に含まれる圧縮映像データの時刻データである。具体的
には、ビットストリームに係る映像番組のスタート時刻
を０時０分０秒とした時、当該映像パケットに含まれる
圧縮映像データが放送される時刻、例えば、１時２８分
１９．３００秒（又は１時２８分１９秒１８フレーム）
という時刻を表す。時刻の単位は、例えば秒より下の桁
を１／１０００秒の単位で表示してもよいし、フレーム
の数（又はフィールドの数）で表してもよい。

【００６２】［ビットストリームの生成装置の説明］映
像番組を放送する放送局や、映画を記録したデジタル映
像ディスクの製造会社等における、当該ビットストリー
ムの生成装置の構成を説明する。放送局等のオペレータ
は、ビットストリームの生成装置に、入力する映像デー
タの映像フレームレート情報、及び入力する音声データ
の音声パラメータ情報を、キーボードを用いて入力す
る。ビットストリームの生成装置は、映像フレームレー
ト情報及び音声パラメータ情報をメモリに蓄積する。ビ
ットストリームの生成装置は、同期する実時間の映像デ
ータ及び実時間の音声データを入力し、１フレームの映
像データごとに、及び１フレームの音声データごとにメ
モリに蓄積する。時刻発生装置は、放送番組のスタート
時を０時０分０秒とする時刻データを出力し、ビットス
トリームの生成装置は当該時刻データを入力する。ビッ
トストリームの生成装置は、各フレームの映像データ
（データストリームから構成される）の最初のデータ
（データストリームの先頭のデータ）の入力時におけ
る、時刻発生装置から入力した時刻データ（映像パケッ
トのタイムスタンプ情報）をラッチし、当該フレームの
映像データに対応づけてメモリに蓄積する。同様に、ビ
ットストリームの生成装置は、各フレームの音声データ
（データストリームから構成される）の最初のデータ
（データストリームの先頭のデータ）の入力時におけ
る、時刻発生装置から入力した時刻データ（音声パケッ
トのタイムスタンプ情報）をラッチし、当該フレームの
音声データに対応づけてメモリに蓄積する。ビットスト
リームの生成装置は、映像データと映像パケットのタイ
ムスタンプ情報との対応関係を維持した状態で、映像デ
ータを圧縮し圧縮映像データを生成し、後述するキーフ
レーム情報とともにメモリに蓄積する。

【００６３】同様にビットストリームの生成装置は、音
声データと音声パケットのタイムスタンプ情報との対応
関係を維持した状態で、音声データを圧縮し圧縮音声デ
ータを生成し、メモリに蓄積する。その後、ビットスト
リームの生成装置は、メモリに蓄積した映像フレーム情
報、音声パラメータ情報、映像パケットのタイムスタン
プ情報、圧縮映像データのキーフレーム情報、圧縮映像
データ、音声パケットのタイムスタンプ情報、及び圧縮
音声データを順次読み出し、図１のビットストリームを
生成して、出力する。従って、上述のように、映像デー
タの１フレームと音声データの１フレームの時間の長さ
は同じでなくてもよい。以上で、ビットストリームの生
成装置の説明を終える。

【００６４】［図１のビットストリームの説明（続
き）］また、いわゆる時計の単位以外の単位であって
も、映像データと音声データの時間的な差異を計算でき
る実質的に時刻表示と同じ単位であれば、タイムスタン
プ情報（時刻データ）として使用することが出来る。例
えば、映像パケットと音声パケットの時間単位（毎秒の
フレーム数）が同じであれば、映像番組のスタート時刻
から数えた映像パケットの番号（順番）と音声パケット
の番号（順番）は、タイムスタンプ情報（時刻データ）
として使用することが出来る。この例に拠れば、出力す
る映像データのタイムスタンプ情報は２３５４で、出力
する音声データの数が２３５５であれば、映像データの
出力が１パケット分の時間（６０フレーム／秒であれ
ば、１６．７ｍｓ）遅れていることが分かる。タイムス
タンプ情報（時刻データ）の番号（順番）は、上述のよ
うに、映像番組を放送する放送局や、映画を記録したデ
ジタル映像ディスクの製造会社等において、当該ビット
ストリームの生成装置が、同期する圧縮映像データと圧
縮音声データに対応させて、それぞれ同じ番号（順番）
を付与する。従って、タイムスタンプ情報の番号（順
番）は絶対的な数値であり、引用例のような相対的な数
値とは異なる。映像データと音声データのフレーム単位
（１フレームの時間の長さ）が異なっている場合も、映
像データと音声データのフレ−ム単位が分かっていれ
ば、映像番組のスタート時刻から数えた映像パケットの
番号（順番）と音声パケットの番号（順番）は、タイム
スタンプ情報（時刻データ）として使用することが出来
る。但し、この場合は、ソフトウエアにより、映像デー
タと音声データの実時間差を計算する必要がある。タイ
ムスタンプ情報は、１日の映像番組のスタートからの時
刻でなく、例えば、当該番組が放送される１日の時刻で
あってもよい。映像パケットに含まれるタイムスタンプ
情報を、「第１の時刻データ」と呼ぶ。

【００６５】次に来るキーフレーム情報には、当該映像
パケットに含まれる１フレームの圧縮映像データが、Ｍ
ＰＥＧ２規格におけるＩピクチャ、Ｐピクチャ、又はＢ
ピクチャのどのピクチャかを示す情報等が含まれる。Ｉ
ピクチャとは、イントラ・ピクチャの略称であって、当
該フレームに含まれる画像データの全てをイントラ符号
化（フレーム内符号化）したフレーム（ピクチャ）の意
味である。Ｐピクチャとは、プレディクティブ・ピクチ
ャの略称であって、当該フレームに含まれる画像データ
の少なくとも一部のブロックをフレーム間（インター）
順方向予測符号化したフレーム（ピクチャ）の意味であ
る。Ｂピクチャとは、バイディレクショナリ・プレディ
クティブ・ピクチャの略称であって、当該フレームに含
まれる画像データの少なくとも一部のブロックをフレー
ム間（インター）双方向予測符号化したフレーム（ピク
チャ）の意味である。Ｉピクチャは、単独で復号化する
ことが出来るが、Ｐピクチャ及びＢピクチャは、前のフ
レームの映像データとの差分又は前後のフレームの映像
データとの差分のみを符号化しているため、前のフレー
ムの映像データ又は前後のフレームの映像データがない
と、復号化出来ない。

【００６６】次に来る圧縮映像データは、ＭＰＥＧ２規
格に基づいて圧縮された１フレーム分（又は１フィール
ド分）の圧縮映像データである。実施例においては、６
０フレーム／秒の映像データを入力し再生するため、映
像データの１フレームは、実時間において約１６．７ｍ
ｓの時間分のデータ量である。

【００６７】次の音声パケットは、タイムスタンプ情報
（時刻データ）と圧縮音声データから構成される。タイ
ムスタンプ情報は、当該音声パケットに含まれる圧縮音
声データの時刻データであり、上述のように、当該ビッ
トストリームの生成装置において、映像パケットに含ま
れるタイムスタンプ情報（時刻データ）と同じ時計（時
刻の発生装置）を基準とする時刻を書き込む。従って、
例えば、音声パケットのタイムスタンプ情報と隣の映像
パケットのタイムスタンプ情報が、いずれも２時４６分
５２秒２４フレームであったとすると（映像パケットと
音声パケットのフレームレートは同じである仮定とす
る）、当該圧縮音声データと当該圧縮映像データを復号
化し、同時に出力すると同期が取れる。又、映像データ
の出力が、同じ時刻データの音声データの出力よりも３
フレーム遅延していれば、映像データの出力タイミング
を３フレームだけ早くすれば同期が取れることが分か
る。映像パケットと音声パケットのフレーム数が異なれ
ば、映像データの時刻データが０時３３分３０．３０秒
で（６０フレーム／秒）、音声データの時刻データが０
時３３分３０．３２秒（サンプリンングレート４４．１
ｋＨｚで、１０２４サンプリングの音声データを１フレ
ームとする。）である場合のように、２つの時刻データ
にはある程度ずれが生じることもあるが、後述する方法
により、２つの時刻データを映像データと音声データの
同期再生に利用出来る。音声パケットに含まれるタイム
スタンプ情報を、「第２の時刻データ」と呼ぶ。

【００６８】また、１フレームの圧縮音声データとは、
１つの音声パケットに含まれる圧縮音声データの意味で
ある。タイムスタンプ情報の次に来るのが、圧縮音声デ
ータであり、ＭＰＥＧ規格に基づいて圧縮された１フレ
ーム分の圧縮音声データが含まれる。実施例において
は、１６ビット精度で４４．１ｋＨｚのサンプリングレ
ートでサンプリングされた１０２４サンプリングの２チ
ャンネルの音声データが、１フレームの圧縮音声データ
として、音声パケット１つに含まれる。従って、音声デ
ータの１フレームは、実時間において約２３ｍｓの時間
分のデータ量である。

【００６９】［図２の実施例の構成の説明］図２は、本
発明の実施例である映像音声同期再生装置の構成を示す
ブロック図である。本実施例の映像音声同期再生装置
は、パーソナルコンピュータとしての基本構成に、映像
データ及び音声データの同期再生に必要なハードウエア
を追加実装しており、マイクロプロセッサ１０３により
圧縮映像データと圧縮音声データの分離、復号化及び映
像データのフォーマット変換をソフトウエア上で実現し
ている。圧縮映像データ及び圧縮音声データ等のビット
ストリームは、圧縮映像データ及び圧縮音声データ入力
コネクタ・インターフェース１０１、又はデジタルテレ
ビ放送用チューナ１０２から入力される。圧縮映像デー
タ及び圧縮音声データ入力コネクタ・インターフェース
１０１は、図１のビットストリームを記録した光ディス
ク等の記録メディアの再生装置、図１の圧縮映像データ
と圧縮音声データを含むビットストリームを通信網を介
して受信したＭＯＤＥＭ装置、又はその他の機器とケー
ブルによって接続され、圧縮映像データと圧縮音声デー
タを含むビットストリームを入力する。デジタルテレビ
放送用チューナ１０２は、図１のビットストリームによ
る衛星放送、地上波放送、ケーブルテレビ、又はその他
のデジタルテレビ放送を受信し、受信した信号を圧縮映
像データと圧縮音声データを含むビットストリームに復
調した後、当該ビットストリームを入力する。

【００７０】マイクロプロセッサ１０３は、バスライン
１１０を介してＲＡＭ１０４、ハードディスク（ＨＤ
Ｄ）１０５と接続されている。映像データ出力装置１０
６は、いわゆるＶＧＡチップ言われる映像データ表示用
ＬＳＩ、ＶＲＡＭ及びＤ／Ａコンバータ等から構成され
ており、マイクロプロセッサ１０３からバスライン１１
０を通じて実時間に伸張され表示用の映像フォーマット
に変換された映像データを受け取り、ＣＲＴ又は液晶デ
ィスプレイの映像表示装置１０７に映像データを表示す
る。同様に、音声データ出力装置１０８は、音声データ
出力処理用チップとバッファ用ＲＡＭ及びデジタル／ア
ナログコンバータ等から構成されており、マイクロプロ
セッサ１０３からバスライン１１０を通じて実時間に伸
張された音声データを受け取り、スピーカ１０９を駆動
して音声を出力する。

【００７１】マイクロプロセッサ１０３による映像処理
と音声処理の概要をブロック１１１から１１７に示す。
これらの処理は、主としてソフトウエアにより処理され
る。圧縮映像データ及び圧縮音声データ入力コネクタ・
インターフェース１０１、又はデジタルテレビ放送用チ
ューナ１０２から入力され、バスラインを通じてマイク
ロプロセッサ１０３に伝送された圧縮映像データ及び圧
縮音声データ等のビットストリームは、圧縮映像データ
／圧縮音声データ入力手段１１１により受け取られる。
圧縮映像データ／圧縮音声データ入力手段１１１が受け
取った圧縮映像データ及び圧縮音声データ等のビットス
トリームは、ストリーム分離手段１１２に入力され、ソ
フトウエアにより、それぞれのタイムスタンプ情報（時
刻データ）と対応させた状態で、圧縮映像データと圧縮
音声データに分離される。

【００７２】分離された圧縮映像データは、映像復号化
手段１１３により実時間に伸張された映像データに復号
化される。復号化とは、例えばＤＣＴ変換、量子化及び
エントロピ符号化等からなるＭＰＥＧ２規格に基づいて
圧縮された圧縮映像データであれば、当該圧縮映像デー
タをエントロピ符号化の逆変換、量子化の逆変換、及び
ＤＣＴ逆変換等により映像データに戻す処理をいう。こ
れらの処理は、ハードウエアによっても処理可能である
が、処理の遅延が問題にならない限り、ソフトウエア処
理が多くのメリットを持っている。例えば、ＭＰＥＧ２
規格ではフレームごとに多くのパラメータがオプション
として設定可能であるが、ソフトウエア処理の方がフレ
キシビリティに富むため、オプション機能の処理が容易
である。又、ハフマン符号化等のエントロピ符号化の逆
変換にはコードブックと呼ばれる大きな変換テーブルが
必要であるが、ＲＡＭ１０４に変換テーブルを作成し、
ソフトウエアにより容易に処理出来る。また、ＤＣＴの
逆変換として多くの係数を用いて多くの多項式計算を行
うが、このような多項式計算は、ソフトウエア処理の得
意とするところである。又、何よりも、ハ−ドウエア処
理による場合は、異なるデータ圧縮規格に対応するため
には別個専用のハードウエアを備える必要があるが、ソ
フトウエア処理の場合は、当該データ圧縮規格に対応す
る新たな復号化プログラムをインストールすればよく、
作業的に容易で、費用的にも安い。

【００７３】映像復号化手段１１３により実時間に伸張
された映像データは、フォーマット変換手段１１４に入
力され、ソフトウエアによりフォーマット変換される。
例えば、デジタルテレビ放送用チューナ１０２から有効
水平走査線数７２０本のプログレッシブ映像信号（７２
０Ｐ）を受信し、有効水平走査線数４８０本のプログレ
ッシブ映像信号（４８０Ｐ）表示を行う映像表示器１０
７に表示する場合には、フォーマット変換手段１１４
は、有効水平走査線数７２０本の映像データを有効水平
走査線数４８０本の映像データに変換する。同様に、デ
ジタルテレビ放送用チューナ１０２から有効水平走査線
数１０８０本のインターレース映像信号（１０８０ｉ）
を受信し、有効水平走査線数７２０本のプログレッシブ
映像信号表示（７２０Ｐ）を行う映像表示器１０７に表
示する場合には、フォーマット変換手段１１４は、有効
水平走査線数１０８０本のインターレースの映像データ
を有効水平走査線数７２０本のプログレッシブの映像デ
ータに変換する。

【００７４】又、８００ドット×６００本の表示規格に
基づくコンピュータグラフィックス映像データを入力
し、１０２４ドット×７６８本の表示を持つ液晶モニタ
に表示する場合は、フォーマット変換手段１１４は、８
００ドット×６００本の映像データを１０２４ドット×
７６８本の映像データに変換する。更に、デジタルテレ
ビ放送をコンピュータ用モニタに表示する場合には、フ
ォーマット変換手段１１４は、例えば、有効水平走査線
数４８０本のプログレッシブ映像信号の映像データを１
０２４ドット×７６８本の映像データに変換する。ま
た、コンピュータグラフィックス映像データをデジタル
テレビ放送用テレビに表示するためには、フォーマット
変換手段１１４は、例えば、１０２４ドット×７６８本
の映像データを有効水平走査線数４８０本の映像データ
に変換する。又、フォーマット変換手段１１４は、フレ
ームレートを変換する場合もある。このように種々のフ
ォーマット変換に対応するためには、ハードウエアによ
る対応に限界があり、フレキシビリティに富むソフトウ
エアによる処理がメリットを有する。

【００７５】フォーマット変換された映像データは、映
像表示出力手段１１５により、バスライン１１０を通じ
て、映像データ出力装置１０６に伝送される。

【００７６】ストリーム分離手段１１２により分離され
た圧縮音声データは、音声復号化手段１１６により実時
間に伸張された音声データに復号化される。復号化と
は、例えばサブバンド・コーディング等からなるＭＰＥ
Ｇ規格に基づいて圧縮された圧縮音声データを逆変換に
より音声データに戻す処理をいう。逆変換の処理は、ハ
ードウエアによっても処理可能であるが、処理の遅延が
問題にならない限り、ソフトウエア処理がメリットを持
っている。特に、ハ−ドウエア処理による場合は、異な
るデータ圧縮規格に対応するためには別個専用のハード
ウエアを必要とするが、ソフトウエア処理の場合は、当
該データ圧縮規格に対応する新たな復号化プログラムを
インストールすればよく、作業的に容易で、費用的に安
い。

【００７７】復号化により実時間に伸張された音声デー
タは、音声出力段１１７により、バスライン１１０を通
じて、音声データ出力装置１０８に伝送される。

【００７８】［図３の実施例の構成の説明］図３に、本
発明の実施例であるマイクロプロセッサ１０３による映
像処理と音声処理の詳細を示す。図２におけるブロック
１１２から１１７と同じブロックには、同じ符号を付与
している。図２で既に説明をしたことについては、説明
を省略する。マイクロプロセッサ１０３は、時刻データ
を出力するクロック生成手段１２６（「時刻発生手段」
とも言う）を内蔵する。クロック生成手段１２６が出力
する時刻データを第３の時刻データと言う。

【００７９】音声復号化手段１１６は、音声パケットを
単位として圧縮音声データを復号化するが、圧縮音声デ
ータを復号化する際に、同じ音声パケットに含まれる圧
縮音声データと第２の時刻データの対応関係を維持す
る。音声パケットを単位とする圧縮音声データの復号化
が完了した時、復号化により実時間に伸張された音声デ
ータと同じ音声パケットに含まれる、第２の時刻データ
と第３の時刻データを第２の時刻比較手段１２７により
比較する（第１の時刻比較手段１２４については、後述
する）。もし、第２の時刻データと第３の時刻データの
間に差異があれば、第２の時刻比較手段１２７は、クロ
ック生成手段１２６に第２の時刻データをロードするこ
とにより、クロック生成手段１２６が出力する第３の時
刻データを第２の時刻データに一致させる。なお、異な
る実施例として、第２の時刻比較手段１２７を省略し、
音声パケットを単位とする圧縮音声データの復号化が完
了した時、復号化により実時間に伸張された音声データ
と同じ音声パケットに含まれる第２の時刻データを音声
復号化手段１１６から直接クロック生成手段１２６にロ
ードすることにより、クロック生成手段１２６が出力す
る第３の時刻データを第２の時刻データに一致させる構
成も取り得る。いずれの場合も、第３の時刻データは、
常に第２の時刻データに同期している。

【００８０】ストリーム分離手段１１２から出力された
圧縮映像データは、映像復号化手段１１３により実時間
に伸張された映像データに復号化され、映像復号化手段
１１３は、映像データを表示間隔制御手段１２５に送
る。映像復号化手段１１３は、映像パケットを単位とし
て圧縮映像データを復号化するが、圧縮映像データを復
号化する際に、同じ映像パケットに含まれる映像データ
と第１の時刻データとの対応関係を維持する。

【００８１】映像パケットを単位とする圧縮映像データ
の復号化が完了した時、復号化により実時間に伸張され
た映像データと同じ映像パケットに含まれる、第１の時
刻データと第３の時刻データを第１の時刻比較手段１２
４により比較する。

【００８２】［図４の説明］第１の時刻比較手段１２４
の結果により、以下の処理を行うが、その処理の様子を
図示する図４を参照する。図４における符号の説明をす
る。Ａ１、Ａ２等は、圧縮音声データ又は音声データの
各フレームに時系列的に番号を付与したものである。音
声データの１フレームは、上述したように、実施例にお
いて約２３ｍｓである。Ｖ１、Ｖ２等は、圧縮映像デー
タ又は映像データの各フレームに時系列的に番号を付与
したものである。映像データの１フレームは、上述した
ように、実施例において約１６．７ｍｓである。

【００８３】ａは、音声復号化手段１１６が出力する復
号化された音声データを表す。音声出力手段１１７が音
声データを受け取り、音声データを出力するのに必要な
時間は非常に短いので、ａは、音声出力手段１１７が出
力する音声データをも表す。ｂは、音声データ出力装置
１０８が出力する音声データ、即ち、スピーカ１０９か
ら出る音声を表す。映像音声同期再生装置は、ｂの音声
データが連続性を失わないように、処理を制御する。ｂ
に記載されている６００、６１７等の数字は、出力する
音声データに対応する第２の時刻データの秒未満の時刻
をｍｓを単位として表す。図４に記載された映像データ
の第１の時刻データ及び音声データの第２の時刻データ
の時分秒の位の値は、１４時２８分５２秒である。例え
ば、Ａ１の頭における第２の時刻データは、１４時２８
分５２．６００秒である。ｃは、映像復号化手段１１３
が出力する復号化された映像データを表す。本来、映像
データの時間軸上の長さは同じであるべきだが、マイク
ロプロセッサ１０３の処理速度が遅くなった場合には、
映像データの時間軸上の長さが図のように長くなる。図
４において、矢印で示す区間１３０において、マイクロ
プロセッサ１０３に他の処理が加わったため、マイクロ
プロセッサ１０３の処理が遅くなり、映像データと音声
データの完全な処理をしながら同期再生をすることが出
来なくなっている。ｄは、フォーマット変換装置１１４
が出力する第２の映像フォーマットの映像データを表
す。映像表示出力手段１１５が第２の映像フォーマット
の映像データを出力する処理時間は非常に短いので、ｄ
は、映像表示出力手段１１５が出力する第２の映像フォ
ーマットの映像データでもある。ｅは、映像データ出力
装置１０６が出力する映像データ、即ち、映像表示装置
１０７が表示する映像を表す。

【００８４】ｃ、ｄ及びｅのそれぞれに記載されている
３００、３１７等の数字は、出力する映像データに対応
する第１の時刻データの秒未満の時刻をｍｓを単位とし
て表す。例えば、Ｖ１の頭における第１の時刻データ
は、１４時２８分５２．３００秒である。なお、映像デ
ータと音声データとでは１フレームの長さが異なるた
め、Ａ１等の音声データのインデックス数字と、Ｖ１等
の映像データのインデックス数字の間には、例えばＡ１
とＶ１がペアになる等の特別な関係は何もなく、便宜的
に付与したにすぎない。

【００８５】図４において、第１の時刻比較手段１２４
は、映像復号化手段１１３が映像データ（ｃ）を出力し
終った時点（ｄの各映像フレームの先頭の時刻データ）
と、音声復号化手段１１６が音声データ（ａ）を出力し
終った時点（ｂの下欄に示す時刻データ）とを比較す
る。図４におけるＶ１及びＶ２フレームのように、第１
の時刻比較手段１２４による比較の結果、第１の時刻デ
ータが第３の時刻データよりも３００ｍｓ以上遅延して
いない場合は、表示間隔制御手段１２５は、映像復号化
手段１１３から受け取った第１の映像フォーマットの映
像データをフォーマット変換手段１１４に伝送する。

【００８６】フォーマット変換手段１１４は、入力され
た映像データと表示装置１０７に送る映像データが同一
の映像フォーマットの場合は入力された第１の映像フォ
ーマットの映像データをそのまま映像表示出力手段１１
５に送り、映像表示出力手段１１５は、当該映像データ
を映像データ出力装置１０６に送り映像表示装置１０７
に表示する。復号化された第１の映像フォーマットの映
像データと映像表示装置に表示される第２の映像データ
が異なるフォーマットの場合は、フォーマット変換手段
１１４は、入力された第１の映像フォーマットの映像デ
ータを、表示装置１０７に送る第２の映像フォーマット
の映像データにフォーマット変換し、第２の映像フォー
マットの映像データを映像表示出力手段１１５に送る。
第１の時刻比較手段１２４、表示間隔制御手段１２５、
フォーマット変換手段１１４は、いずれもソフトウエア
処理により実現される。

【００８７】第１の時刻比較手段１２４による比較の結
果、第１の時刻データが第３の時刻データよりも３００
ｍｓ以上遅延している場合は、映像データと音声データ
の同期が外れたと判断し、以下述べる手段により、映像
データの処理の一部を省略して映像データと音声データ
の同期回復を図る。

【００８８】図４におけるＶ３のフレームのように、第
１の時刻比較手段１２４による比較の結果、それまで
（Ｖ１及びＶ２フレーム）は第１の時刻データは第３の
時刻データよりも３００ｍｓ以上遅延していなかった
が、初めて３００ｍｓ以上遅延した場合は、第１の時刻
比較手段１２４は表示間隔制御手段１２５に指令を送
り、表示間隔制御手段１２５は、映像復号化手段１１３
から受け取った映像データを１フレーム分だけスキップ
する。図４では、表示間隔制御手段１２５はＶ３フレー
ムをスキップし、次のＶ４フレームをフォーマット変換
手段１１４に送り、フォーマット変換手段１１４はＶ４
フレームをフォーマット変換をする。

【００８９】なお、「Ｍ（Ｍは正の整数）フレームをス
キップする」とは、Ｍフレームのコマ落としをすること
であって、表示間隔制御手段１２５は連続するＭフレー
ムの映像データを出力せず（フォーマット変換手段１１
４は、フォーマット変換を行わない）、その直後の１フ
レームの（Ｍ＋１フレーム目の）映像データを出力する
（フォーマット変換手段１１４は、フォーマット変換を
行う）。例えば、３フレームをスキップするとは、３フ
レームの映像データを出力せず、その直後の１フレーム
の（４フレーム目の）映像データを出力することであ
る。１フレーム分だけスキップすることにより、フォー
マット変換手段１１４は１フレーム分だけフォーマット
変換を行わない。上述のように、マイクロプロセッサ１
０３は、ひとつのプロセッサを使ってソフトウエア処理
により映像復号化手段１１３及びフォーマット変換手段
１１４の映像データ処理を実現しているため、１フレー
ムの映像データのフォーマット変換の処理を省略するこ
とにより、浮いた時間を映像復号化手段１１３の復号化
処理に使用することが出来、映像データの復号化処理の
促進を図ることが出来る。

【００９０】この場合、フォーマット変換手段１１４は
１フレーム分だけ映像データを出力しないため、映像表
示出力手段１１５も映像を出力しない。映像データ出力
装置１０６は、この間、映像データ出力装置１０６内の
映像表示用メモリであるＶＲＡＭの内容を書き換えられ
ないため、それまでに受け取った最後のフレームの映像
データを２フレーム連続して表示装置１０７に送る。同
様に、フォーマット変換手段１１４がＭフレーム分だけ
映像データを出力しない場合は、映像データ出力装置１
０６は、それまでに受け取った最後のフレームの映像デ
ータを（Ｍ＋１）フレーム連続して表示装置１０７に送
る。従って、フォーマット変換手段１１４が映像データ
を出力しない場合にも、表示装置１０７の表示が途切れ
ることはない。図４においては、Ｖ３フレームが表示さ
れないことの他、復号化の遅延もあるため、Ｖ２フレー
ムが４回続けて出力されている（ｅ参照）。

【００９１】もし、１フレームの映像データ（Ｖ３フレ
ーム）のフォーマット変換の処理を省略することによ
り、第３の時刻データに対する第１の時刻データの遅延
時間が３００ｍｓ未満になった場合は、その後はフォー
マット変換処理の省略を終え、フォーマット変換手段１
１４は、その後に映像復号化手段１１３から受け取る全
ての映像データをフォーマット変換する。

【００９２】しかし、１フレーム分（Ｖ３フレーム）の
フォーマット変換をスキップした後の時点（映像復号化
手段１１３が１フレームの圧縮映像データ（フォーマッ
ト変換手段１１４がフォーマット変換しないでスキップ
するＶ３フレーム）を映像データに復号化し、さらに次
の１フレーム（フォーマット変換手段１１４がフォーマ
ット変換するＶ４フレーム）の圧縮映像データを映像デ
ータに復号化した時点）において、図４のＶ４フレーム
のように、第１の時刻比較手段１２４による比較の結
果、依然として第１の時刻データが第３の時刻データよ
りも３００ｍｓ以上遅延している場合は、第１の時刻比
較手段１２４は表示間隔制御手段１２５に指令を送り、
表示間隔制御手段１２５は、Ｖ４フレームをフォーマッ
ト変換手段１１４に伝送した後、続いて映像復号化手段
１１３から受け取った映像データを２フレーム分だけ
（図４ではＶ５及びＶ６フレーム）出力せず、その直後
のフレーム（Ｖ７フレーム）を出力する。そのため、フ
ォーマット変換手段１１４は、Ｖ４フレームのフォーマ
ット変換をした後２フレームだけ（図４ではＶ５及びＶ
６フレーム）フォーマット変換を行わない。マイクロプ
ロセッサ１０３は、２フレームの映像データのフォーマ
ット変換の処理を省略することにより、浮いた時間を映
像復号化手段１１３の復号化処理に使用することが出
来、映像データの処理の促進を図ることが出来る。

【００９３】この場合、フォーマット変換手段１１４は
２フレーム分（図４ではＶ５及びＶ６フレーム）だけ映
像データを出力しないため、映像表示出力手段１１５も
映像を出力しない。映像データ出力装置１０６は、この
間、映像データ出力装置１０６内の映像表示用メモリで
あるＶＲＡＭの内容を書き換えられないため、同じ映像
データを３フレーム連続して表示装置１０７に送る。図
４においては、Ｖ５及びＶ６フレームが表示されないこ
との他、復号化の遅延もあるため、Ｖ４フレームが４回
続けて出力されている（ｅ参照）。

【００９４】２フレーム分（Ｖ５及びＶ６フレーム）の
フォーマット変換をスキップした後の時点（映像復号化
手段１１３が、フォーマット変換を省略する２フレーム
の圧縮映像データ（Ｖ５及びＶ６フレーム）の復号化を
完了し、さらに次のフォーマット変換をする１フレーム
の圧縮映像データ（Ｖ７フレーム）の復号化を完了した
時点）において、第１の時刻比較手段１２４による比較
の結果、依然として第１の時刻データが第３の時刻デー
タよりも３００ｍｓ以上遅延している場合は、表示間隔
制御手段１２５は、Ｖ７フレームをフォーマット変換手
段１１４に伝送した後、続いて映像復号化手段１１３か
ら受け取った映像データを３フレーム分（図４ではＶ
８、Ｖ９及びＶ１０フレーム）だけ出力せず、その直後
のフレーム（Ｖ１１フレーム）を出力する（３フレーム
をスキップする）。そのため、フォーマット変換手段１
１４は、Ｖ７フレームをフォーマット変換した後３フレ
ーム分だけフォーマット変換をせず、フォーマット変換
処理を省略することにより浮いた時間は映像復号化手段
１１３の復号化処理に使用される。

【００９５】次のＶ１１フレームの復号化が完了した時
点で、第１の時刻比較手段１２４による比較の結果、依
然として第１の時刻データが第３の時刻データよりも３
００ｍｓ以上遅延している場合は、表示間隔制御手段１
２５は、Ｖ１１フレームをフォーマット変換手段１１４
に伝送した後、続いて映像復号化手段１１３から受け取
った映像データを４フレーム分（Ｖ１２、Ｖ１３、Ｖ１
４及びＶ１５フレーム）だけ出力せず、その直後のフレ
ーム（Ｖ１６フレーム）を出力する（４フレームをスキ
ップする）。このように、フォーマット変換をスキップ
した後の時点において、第１の時刻比較手段１２４によ
る比較の結果、依然として第１の時刻データが第３の時
刻データよりも３００ｍｓ以上遅延している場合は、一
定の値である最大スキップフレーム数に達するまで、フ
ォーマット変換をスキップするフレーム数を順次増加さ
せる。一定の値である最大スキップフレーム数は、実施
例においては１０フレームに設定しているが、２以上で
あれば、いくつでもよい。以上のように、本発明におい
ては、第１の時刻比較手段１２４による比較の結果、第
１の時刻データが第２の時刻データよりも３００ｍｓ以
上遅延する場合は、フォーマット変換をスキップし、浮
いた時間を映像復号化手段１１３の復号化処理に使用出
来るようにする。

【００９６】又、上記の実施例においては、第１の時刻
比較手段１２４による比較の結果、第１の時刻データが
第２の時刻データよりも３００ｍｓ以上遅延する場合
に、スキップするフレーム数を１フレームずつ増加させ
てるが、増加のステップ幅（刻み）をもっと大きくして
もよいし、小さくしてもよい。例えば、第１の時刻比較
手段１２４による比較の結果、第１の時刻データが第２
の時刻データよりも３００ｍｓ以上遅延する場合に、ス
キップするフレーム数を２フレームずつ増加させてもよ
い（スキップフレーム数の増加のステップ幅が２倍にな
る）。又、第１の時刻比較手段１２４による比較の結
果、２回続けて第１の時刻データが第２の時刻データよ
りも３００ｍｓ以上遅延する場合にスキップするフレー
ム数を１フレームずつ増加させることも出来る（増加の
ステップ幅が半分になる）。また、スキップするフレー
ム数の異なる増加のステップ幅（刻み）を組み合わせる
ことも出来る。例えば、第１の時刻比較手段１２４によ
る比較の結果、第１の時刻データが第２の時刻データよ
りも３００ｍｓ以上遅延する場合に、当初はスキップす
るフレーム数の増加のステップ幅を小さくし、３００ｍ
ｓ以上遅延が継続する場合に、だんだんスキップするフ
レーム数の増加のステップ幅を大きくすることも出来
る。

【００９７】又、上記の実施例においては、映像復号化
手段１１３が１フレームの圧縮映像データの復号化が完
了する時に、第１の時刻比較手段１２４が第１の時刻デ
ータと第３の時刻データの比較を行い、その結果映像デ
ータの処理が３００ｍｓ以上遅延している場合にフォー
マット変換をスキップするフレーム数を増加させてお
り、第１の時刻比較手段１２４による時刻データの比較
の結果が３００ｍｓ以上になった回数に基づいて、フォ
ーマット変換をスキップするフレーム数を増加させてい
る。しかし、本発明の適用にあたってはこれに限定され
ず、異なる実施例として、例えば、ソフトウエア上で５
０ｍｓごとにタイマー割り込み処理を行い、５０ｍｓの
タイマー割り込み処理の中で第１の時刻比較手段１２４
による時刻データの比較を行い、３００ｍｓ以上の遅延
が継続する時間が長くなれば長くなるほど、フォーマッ
ト変換をスキップするフレーム数を増加させることも出
来る。

【００９８】更に異なる実施例としては、第１の時刻比
較手段１２４による時刻データの比較の結果が、映像デ
ータのの音声データに対する遅延時間が２００ｍｓから
２５０ｍｓの場合は１フレームの映像データのフォーマ
ット変換をスキップし、当該遅延時間が２５０ｍｓから
３００ｍｓの場合は２フレームの映像データのフォーマ
ット変換をスキップし、当該遅延時間が３００ｍｓから
３５０ｍｓの場合は３フレームの映像データのフォーマ
ット変換をスキップし、更に５０ｍｓの刻みで遅延量が
増加するに応じてフォーマット変換をスキップするフレ
ーム数を増加させることも出来る。この場合は、上記の
実施例とアルゴリズムが異なるが、実際的には、映像デ
ータ処理が遅延する場合は遅延量が段階的に増加又は減
少するのが一般的であるため、映像データ処理の遅延が
継続する場合にはフォーマット変換をスキップするフレ
ーム数が段階的に増加又は減少することになり、上記及
び下記の実施例と同様の効果を奏する。本発明により、
映像表示装置１０７は、図４のｅに示す映像を表示す
る。

【００９９】［図７の動作の説明］これを、映像データ
の遅延量が一定の閾値を越えるまでは遅延回復措置を取
らず、一定の閾値を超えた場合に、フォーマット変換を
省略することにより、いっぺんに遅延の解消を図る（段
階的に遅延を解消しない）場合を図示する図７のｅと比
較する。なおフォーマット変換を省略することにより遅
延を解消することは、本発明のひとつであることに注意
すべきである。段階的に遅延を解消する本発明を適用せ
ず、フォーマット変換を省略することによりいっぺんに
映像処理の遅延を解消する方法によっても、一定の閾値
を十分小さく設定し、例えば１６．７ｍｓ（１フレー
ム）以上の遅延が発生した場合に、直ちにフォーマット
変換を省略することにより圧縮映像データの復号化を促
進することにより、視聴者に違和感を与えない最適な同
期再生が実現できる。

【０１００】なお、図７のａ，ｂ，ｃ，ｄ，及びｅは、
比較しやすいように、図４（本発明の実施例）のａ，
ｂ，ｃ，ｄ，及びｅと同様のデータを表示している。な
お、図７では、遅延を解消する閾値を、段階的にフォー
マット変換をスキップする本発明の効果を理解しやすく
するため、７０ｍｓに設定している。図７においては、
１３０の矢印で示す期間において映像処理の遅延が発生
しており、Ｖ６の復号化を完了した時点で映像処理の遅
延時間が７０ｍｓの閾値を越えたため、フォーマット変
換を省略することにより遅延を解消している。図７のｅ
においては、映像表示装置１０７が表示する映像のスキ
ップが発生する個所は、Ｖ６フレームからＶ１７フレー
ムにスキップする一箇所だけであり、表示は一気に１１
フレームも進む（１７−６＝１１）。一方、本発明の実
施例である図４のｅにおいては、映像表示装置１０７が
表示する映像のスキップは、多くの個所に分散してい
る。最も大きくスキップする場所は、Ｖ１１フレームか
らＶ１６フレームにスキップする所であり、表示は５フ
レーム進む（１６−１１＝５）。このように、従来例に
おいては、映像処理の遅延の回復措置の影響が１箇所に
集中していたが、本発明においては、フォーマット変換
を省略すると言う映像処理の遅延の回復措置の影響を時
間軸上で広く分散させることが出来るという効果があ
る。人間の視覚は映像の不連続性に対して非常に敏感で
あると言う性質があり、従来例では、視聴者は映像がス
キップしたことにすぐに気がつくが、本発明の実施例に
おいては映像のスキップが時間的に分散して発生してい
るため、図４と図７の数字上の差以上に映像がスキップ
したことが目立たなくなる。

【０１０１】以上のように、本発明においては、第１の
時刻データが第２の時刻データよりも３００ｍｓ以上遅
延する状態が継続する場合は、フォーマット変換をスキ
ップするフレーム数を段階的に増加させることにより、
フォーマット変換をスキップすることにより視聴者が感
ずる不自然さを大幅に緩和している。上記実施例におい
ては、３００ｍｓを閾値として、これを超えた場合に映
像データの処理の遅延回復措置を取っている。視聴者
は、映像データが一定の時間以上音声データより遅延し
て再生される場合に不自然な印象を持つが、視聴者が不
自然な印象を感じ始める閾値は、音楽番組やニュース番
組等の番組の種類により異なり、又視聴者の個人差もあ
る。従って、本発明の適用においては、番組等により、
閾値の値をいかなる値にすることも出来る。しかし、番
組の種類や個人差等を考慮して平均的な閾値を検討した
ところ、一般的には、２００ｍｓから４００ｍｓ以上の
遅延が発生すると、視聴者が不自然な印象を持つことが
分かった。そこで、好ましい実施例としては、２００ｍ
ｓから４００ｍｓの間の時間に一定の閾値を設定する。

【０１０２】更に図４を参照すると、映像復号化手段１
１３がＶ１６フレームの復号化を完了した時点で、映像
データの遅延時間は３００ｍｓの閾値以下になる。従来
例によれば、遅延が一定の閾値（３００ｍｓ）以下にな
ったＶ１６フレーム以降の全ての映像データのフォーマ
ット変換が行われるが、本発明においては、フォーマッ
ト変換をスキップするフレーム数を段階的に減少させ
る。即ち、図４においては、前回、４フレーム（Ｖ１
２、Ｖ１３、Ｖ１４及びＶ１５フレーム）のフォーマッ
ト変換をスキップしていたが、次はスキップするフレー
ム数を１フレーム減らして、３フレーム（Ｖ１７、Ｖ１
８及びＶ１９フレーム）のフォーマット変換をスキップ
し、その次のＶ２０フレームのフォーマット変換を行
う。図４には記載していないが、映像復号化手段１１３
がＶ２０フレームの復号化を完了した時点で、映像デー
タの遅延時間が３００ｍｓの閾値以下であれば、次はス
キップするフレーム数を１フレーム減らして、２フレー
ム（Ｖ２１及びＶ２２フレーム）のフォーマット変換を
スキップし、その次のＶ２３フレームのフォーマット変
換を行う。その後ずっと継続的に映像データの遅延時間
が３００ｍｓの閾値以下であれば、その次は、次はスキ
ップ数を１フレーム減らして、１フレーム（Ｖ２４フレ
ーム）のフォーマット変換をスキップし、その次のＶ２
５フレームのフォーマット変換を行う。その後は、全て
のフレームをフォーマット変換する。

【０１０３】このように、フォーマット変換をスキップ
するフレーム数を段階的に減らすことにより、フォーマ
ット変換をスキップした影響を更に広く分散することが
出来るとともに、最終的な収束時点での、映像データ処
理の遅延時間（残留誤差）が３００ｍｓの閾値よりも小
さくなると言う効果を奏する。スキップするフレーム数
を増加する時と同様に、フォーマット変換をスキップす
るフレーム数の減少のステップ幅（刻み）を大きくする
ことも、小さくすることも、又は異なるステップ幅を組
み合わせることも出来る。また、別の実施例において
は、フォーマット変換をスキップするフレーム数を段階
的に増加すると判断する閾値（上記実施例では３００ｍ
ｓ）と、フォーマット変換をスキップするフレーム数を
段階的に減らすと判断する閾値（上記実施例では３００
ｍｓ）を異なる値とし、両方の閾値の間でヒステリシス
を設ける。例えば、フォーマット変換をスキップするフ
レーム数を段階的に増加すると判断する閾値を３００ｍ
ｓとし、フォーマット変換をスキップするフレーム数を
段階的に減らすと判断する閾値を２００ｍｓとすること
により、最終的な収束時点での、映像データ処理の遅延
時間を小さくすることが出来る。

【０１０４】［図３の説明の続き（フォーマット変換の
スキップと復号化の省略の組合せ）］もし、フォーマッ
ト変換をスキップするフレーム数を段階的に増加し、ス
キップするフレーム数を一定の最大値（実施例では１０
フレーム）まで増加させたにもかかわらず、第１の時刻
比較手段１２４による比較の結果、依然として第１の時
刻データが第３の時刻データよりも３００ｍｓ以上遅延
している場合は、第１の時刻比較手段１２４は、遅延が
解消しない旨の信号をクロック差分判定手段１２２に送
る。この信号を受けたクロック差分判定手段１２２は、
復号化モード制御手段１２３に信号を送り、復号化モー
ド制御手段１２３は映像符号化手段１１３を制御し、次
のＩピクチャが来るまで圧縮映像データの復号化を省略
する。「処理を省略する」とは、「処理を行わない」と
いう意味である。即ち、映像復号化手段１１３は、入力
されるＰピクチャやＢピクチャ等の圧縮映像データの復
号化を省略し、その後最初に来るＩピクチャを復号化す
る。これにより、映像符号化手段１１３は、入力して蓄
積している圧縮映像データであって、復号化を行ってい
ないＰピクチャやＢピクチャのフレームの圧縮映像デー
タの復号化を省略できると共に、これらのフレームのフ
ォーマット変換を省略できるため、映像データの処理を
促進することが出来る。

【０１０５】第１の時刻比較手段１２４は、第１の時刻
データをクロック差分判定手段１２２に送る。クロック
差分判定手段１２２は、受け取った第１の時刻データを
クロック記憶手段１２１に蓄積する。映像復号化手段１
１３が圧縮映像データの復号化を省略している期間、第
１の時刻比較手段１２４には、新たな第１の時刻データ
が入力されない。クロック差分判定手段１２２は、第１
の時刻比較手段１２４から受け取る第１の時刻データ
と、クロック記憶手段１２１から読み出した第１の時刻
データを比較し、同じ時刻データであれば、映像復号化
手段１１３が依然として復号化を省略していることを認
識する。もし、クロック差分判定手段１２２が、第１の
時刻比較手段１２４から受け取る第１の時刻データと、
クロック記憶手段１２１から読み出した第１の時刻デー
タを比較し、異なる時刻データであれば、映像復号化手
段１１３がＩピクチャを復号化したことを認識し、第１
の時刻比較手段１２４から受け取った新しい第１の時刻
データをクロック記憶手段１２１に蓄積するとともに、
第１の時刻比較手段１２４は、第１の時刻データと第３
の時刻データを比較する。しかし、第１の時刻比較手段
１２４による比較の結果、映像復号化手段１１３がＩピ
クチャを復号化した時点においても、依然として第１の
時刻データが第３の時刻データよりも３００ｍｓ以上遅
延している場合は、第１の時刻比較手段１２４は、遅延
が解消しない旨の信号をクロック差分判定手段１２２に
送る。クロック差分判定手段１２２は、復号化モード制
御手段１２３に信号を送り、復号化モード制御手段１２
３は映像符号化手段１１３を制御し、次のＩピクチャが
来るまで圧縮映像データの復号化を省略する。これを繰
り返す。

【０１０６】もし、映像復号化手段１１３がＩピクチャ
を復号化した時点において、第１の時刻比較手段１２４
による比較の結果、第１の時刻データが第３の時刻デー
タよりも３００ｍｓ以上の遅延をしていない場合は、第
１の時刻比較手段１２４は、映像処理の遅延が解消した
旨の信号をクロック差分判定手段１２２に送る。クロッ
ク差分判定手段１２２は、復号化モード制御手段１２３
に信号を送り、復号化モード制御手段１２３は映像符号
化手段１１３を制御し、映像符号化手段１１３は全ての
圧縮映像データを復号化する。

【０１０７】ＭＰＥＧ２の規格においては、Ｐピクチャ
やＢピクチャは、前のあるいは前後のフレームの映像デ
ータがないと、圧縮映像データを復号化できないが、Ｉ
ピクチャは単独で復号化が可能である。更に、Ｉピクチ
ャの復号化をすることによって、その後に続くＰピクチ
ャやＢピクチャは、このＩピクチャ等の映像データに基
づいて復号化が可能である。映像データの処理が遅延し
た場合、Ｉピクチャ以外の圧縮画像データの復号化を省
略し、Ｉピクチャの圧縮映像データのみを復号化する手
段が知られている。ＰピクチャやＢピクチャは、その性
質上前後のフレームの映像データと共通性が高いので、
当該ＰピクチャやＢピクチャに代えて先行する映像を繰
り返して表示しても、視聴者が感じる不自然な印象は比
較的少なく、Ｉピクチャは、その性質上先行するフレー
ムの映像データとの相違が大きいので、優先して復号化
し、映像表示装置に表示することが望ましい。従って、
Ｉピクチャ以外の圧縮画像データの復号化を省略し、Ｉ
ピクチャの圧縮映像データのみを復号化する手段は、基
本的には合理的な手段である。しかし、例えば１秒間の
圧縮映像データが何フレームのＩピクチャを含むかにつ
いては、ＭＰＥＧ２規格上何の規定もなく、映像データ
の処理の遅延を回復するのに必要以上の多くフレームの
映像データの復号化を省略する結果になる可能性があ
る。なお、実施例では、フォーマット変換をスキップす
ることにより映像処理の遅延が解消しない場合に、Ｉピ
クチャが来るまで圧縮映像データの復号化を省略する
が、これに限定されるものではなく、例えば、引用例に
よることも出来る。

【０１０８】［従来例による図８の動作の説明］例え
ば、映像データの遅延量が一定の閾値を越えるまでは遅
延回復措置を取らず、一定の閾値を超えた場合に、復号
化を省略することにより、いっぺんに遅延の解消を図る
従来例による図８のｅを見る。図８のａ，ｂ，ｃ，ｄ，
及びｅは、比較しやすいように、図４（本発明の実施
例）のａ，ｂ，ｃ，ｄ，及びｅと同様のデータを表示し
ており、図８のｆは、映像音声同期再生装置が入力し、
復号化等の映像処理をする前にメモリに蓄積している圧
縮映像データを表す。Ｖ１、Ｖ２等の下に記載している
ＩはＩピクチャ、ＰはＰピクチャ、ＢはＢピクチャを表
す。入力した圧縮映像データ及び圧縮音声データを、い
ったん、処理前に何フレームかメモリに蓄積すること
は、図８の従来例に限らず、本発明の実施例においても
実施しているが、本発明と直接の関係がないため図４で
は説明を省いた。しかし、図８では、説明の便宜のため
ｆを表示している。

【０１０９】図８においては、１３０の矢印で示す期間
において映像処理の遅延が発生している。図８のｅで
は、Ｖ６フレームを復号化し、フォーマット変換し、映
像データを出力した時点で、映像データの処理の遅延が
一定の閾値を越えている。ここで、入力する圧縮映像デ
ータが全てＩピクチャであれば、Ｖ１２フレームを復号
化し、フォーマット変換し、出力すれば、映像データと
音声データの同期再生を回復することが出来るが、Ｉピ
クチャが入力されるまでは復号化が出来ないため、図８
では、実際にはＩピクチャであるＶ１５フレームを処理
し終えた時点で、初めて同期が回復する。このように、
従来の方法では、映像データの処理の遅延回復に必要な
最小限のフレームについてだけ処理を省略することが出
来ず、次に来るＩピクチャ前の全てのフレームの圧縮映
像データの処理を省略していた。引用例は、これに改善
を加えたものであるが、映像データの処理の遅延回復に
必要な最小限のフレームについてだけ処理を省略するこ
とが出来ないという点では同じである。

【０１１０】［図３の説明の続き（フォーマット変換の
スキップと復号化の省略の組合せ）］本発明において
は、単一のマイクロプロセッサ１０３が映像復号化手段
１１３における映像復号化と、フォーマット変換手段１
１４におけるフォーマット変換をソフトウエア上で実行
していることを利用し、映像処理の遅延が起きた当初
は、後続する映像処理に不都合のないフォーマット変換
の省略を行い、浮いた時間を圧縮映像データの復号化の
促進に利用するとともに、フォーマット変換の省略を行
っている間も圧縮映像データの復号化は全てのフレーム
について実行し、映像処理の遅延が解消次第、すぐにフ
ォーマット変換手段１１４はフォーマット変換を再開す
る。フォーマット変換の省略だけでは遅延が回復しない
場合に初めて、後続するＰピクチャやＢピクチャの圧縮
映像データの処理が出来なくなる復号化の省略を行う。
これにより、映像処理の遅延が比較的小さい場合は、フ
ォーマット変換の省略により、必要最小限のフレーム数
の映像データの処理を省略することが出来るとともに、
フォーマット変換の省略だけでは映像処理の遅延が回復
しない場合には、圧縮映像データの復号化の省略により
映像処理のほとんどを省略し映像処理の遅延を回復する
と言う、２段構えの手段を設けることにより、映像処理
の大きな遅延にも小さな遅延にも、最適な対応が出来
る。

【０１１１】図３の実施例においては、第１の時刻比較
手段１２４は、映像データに対応する第１の時刻データ
と、クロック生成手段１２６が出力する第３の時刻デー
タを比較する。このことは、特に実施例のように、映像
データと音声データの１フレームの時間の長さが異なる
場合には最適である。例えば、１６．７ｍｓを１フレー
ムとする第１の時刻データが１４時２８分５２．０３３
秒であるとき、この第１の時刻データに一番近い、２３
ｍｓを１フレームとする音声データの第２の時刻データ
は、１４時２８分５２．０２３秒又は１４時２８分５
２．０４６秒のフレームになる。第１の時刻データを直
接第２の時刻データと比較した場合、映像データを、第
２の時刻データが１４時２８分５２．０２３秒の音声デ
ータと同期して出力すべきか、又は第２の時刻データが
１４時２８分５２．０４６秒のフレームの音声データと
同期して出力すべきか、明確でない。ここで、第２の時
刻データにより同期される第３の時刻データを利用すれ
ば、第３の時刻データが１４時２８分５２．０３３秒の
時、当該１４時２８分５２．０３３秒の第１の時刻デー
タに対応する映像データを出力すれば、完全な同期再生
が出来る。

【０１１２】別の実施例においては、クロック生成手段
１２６を省略し、第１の時刻比較手段１２４は、第１の
時刻データを直接第２の時刻データと比較する。特に、
映像データと音声データの１フレームの時間が同一で、
第１の時刻データと同じ値の第２の時刻データが存在す
る場合に、特に有効である。同期再生の精度が多少悪く
ても許容する場合にも、この実施例は有効である。

【０１１３】上記実施例では、第１の時刻データと第３
の時刻データとの比較、第２の時刻データと第３の時刻
データとの比較、及びクロック生成手段１２６への第２
の時刻データのロードを、映像復号化手段１１３が圧縮
映像データを映像データに復号した後の第１の時刻デー
タと音声復号化手段１１６が圧縮音声データを音声デー
タに復号した後の第２の時刻データとを用いて行ってい
るが、この条件を満たせば、いつの時点に行ってもよ
い。

【０１１４】例えば、映像パケットを単位とする圧縮映
像データの復号化が完了した時、フォーマット変換手段
１１４が映像データのフォーマット変換を完了した時、
映像表示出力手段１１５が映像データを出力する時、又
は音声出力手段１１７が音声データを出力する時等のい
ずれのときでもよい。映像データと音声データの同期再
生をするためには、映像データに対応する第１の時刻デ
ータと第２の時刻データが一致するように、映像表示出
力手段１１５が映像データを出力し、音声出力手段１１
７が音声データを出力すればよい。そのためには、同期
精度の観点から好ましくは、映像表示出力手段１１５が
映像データを出力し、音声出力手段１１７が音声データ
を出力する時点で、第２の時刻データと第３の時刻デー
タとの比較、及びクロック生成手段１２６への第２の時
刻データのロードを行う。しかし、この場合は、映像デ
ータと第１の時刻データの対応関係、音声データと第２
の時刻データの対応関係を、映像データと音声データを
出力する時点まで維持する必要がある。しかし、上述の
ように、映像データの再生同期が外れた場合に（映像デ
ータの出力タイミングが音声データの出力タイミングに
比べて、一定以上遅延した場合に）フォーマット変換手
段１１４の変換処理を停止すると、フォーマット変換手
段１１４から映像表示出力手段１１５に第２の映像デー
タが送られず、第２の映像フォーマットの映像データに
対応する第１の時刻データも送られない。

【０１１５】このように映像表示出力手段１１５におけ
る第１の時刻データが更新されなくなってしまうため、
フォーマット変換手段１１４が変換処理を中止している
間、第１の時刻データと第２の時刻データの比較が出来
なくなる。そこで、フォーマット変換手段１１４が変換
処理を中止している間、第１の時刻データを擬似的に更
新して、第１の時刻データと第２の時刻データの比較が
出来るようにするソフトウエア上の手段が必要になる。
例えば、その間は、映像表示出力段１１５が出力する映
像データに対応する第１の時刻データを、映像復号化手
段１１３が復号化した映像データに対応する第１の時刻
データに置き換え、音声出力手段１１７が音声データを
出力する時に、当該置き換えられた第１の時刻データ
と、出力する音声データに対応する第２の時刻データと
を比較する。このように、この場合はソフトウエア処理
が複雑になる。

【０１１６】一方、映像表示出力手段１１５が映像デー
タを出力し、音声出力手段１１７が音声データを出力す
るために必要なソフトウエアの処理時間は通常短い。フ
ォーマット変換手段１１４が映像データをフォーマット
変換するのに必要なソフトウエアの処理時間が比較的短
い場合や、当該必要なソフトウエアの処理時間がほぼ一
定で、当該処理時間を計算により補償すれば、出力時点
での同期を確保できる場合には、上記の実施例のよう
に、第２の時刻データと第３の時刻データとの比較、及
びクロック生成手段１２６への第２の時刻データのロー
ドを、音声パケットを単位とする圧縮音声データの復号
化が完了した時点で行ったり、又は映像パケットを単位
とする圧縮映像データの復号化が完了した時点で第1の
時刻データと第3の時刻データの比較を行っても、同期
精度を確保することが出来る。

【０１１７】また、上記実施例の場合には、映像データ
と音声データの復号化が完了する時点まで、映像データ
と第１の時刻データの対応関係、音声データと第２の時
刻データの対応関係を維持すればよく、上述のように映
像表示出力手段１１５における第１の時刻データを擬似
的に更新するソフトウエア処理上の必要性もなく、ソフ
トウエアの複雑化を避けることが出来る。従って、映像
表示出力手段１１５が映像データを出力し、音声出力手
段１１７が音声データを出力する時点で、第２の時刻デ
ータと第３の時刻データとの比較、及びクロック生成手
段１２６への第２の時刻データのロードを行うよりも、
実用的には、実施例の方が好ましい場合もある。

【０１１８】［図５の説明］図５に図２における音声デ
ータ出力装置１０８の内部ブロック図を示す。マイクロ
プロセッサ１０３（図２）からバスライン１１０を通じ
て伝送される音声データは、インターフェース部５０１
により受け取られる。インターフェース部５０１は受け
取った音声データを、スイッチ５０２を通じて、フレー
ムバッファメモリ５０３又は５０４に書き込む。フレー
ムバッファメモリ５０３及び５０４は、それぞれ１フレ
ーム分の音声データを蓄積する。フレームバッファメモ
リ５０３及び５０４から読み出された音声データは、ス
イッチ５０５を通じて、デジタル／アナログコンバータ
５０６に入力される。デジタル／アナログコンバータ５
０６は、音声データをアナログの音声信号に変換し、ス
ピーカを駆動する音声出力段５０７に送られ、音声出力
段５０７を出力した音声信号はスピーカ１０９（図２）
を駆動する。

【０１１９】ここで、スイッチ５０２及び５０５は、１
フレーム分の時間ごとに交互にスイッチ動作を行ってい
る。インターフェース部５０１で受け取った音声データ
が、スイッチ５０２を通じてフレームバッファメモリ５
０３に書き込まれるときは、フレームバッファメモリ５
０４から読み出された音声データが、スイッチ５０５を
通じてデジタル／アナログコンバータ５０６に入力され
る。フレームバッファメモリ５０４に蓄積された１フレ
ーム分の音声データが全て読み出されると、スイッチ５
０２及び５０５が反対側の接点に切り替わり、フレーム
バッファメモリ５０３から読み出された音声データが、
スイッチ５０５を通じてデジタル／アナログコンバータ
５０６に入力される。この間に、インターフェース部５
０１で受け取った音声データは、スイッチ５０２を通じ
てフレームバッファメモリ５０４に書き込まれる。フレ
ームバッファメモリ５０３に蓄積された１フレーム分の
音声データが全て読み出されると、スイッチ５０２及び
５０５が再び反対側の接点に切り替わる。以上の動作を
繰り返してる。

【０１２０】以上のように、音声出力装置１０８は１フ
レーム分の音声データをフレームバッファメモリに蓄積
しているため、マイクロプロセッサ１０３から音声出力
装置１０８への音声データの伝送が多少遅れたり、伝送
のタイミングがずれても（いわゆるジッターを持って
も）、音声出力が途切れたり、音声出力がジッターを持
ったりすることはない。しかし、音声データの伝送の遅
延が１フレームを超えると、音声出力装置１０８のフレ
ームバッファに出力すべき音声データがなくなってしま
うため、音声出力装置１０８は出力する音がなくなり、
音途切れや、現在蓄積している最新の音声データを２フ
レーム連続して出力することにより音声信号の不連続現
象（バズ音）等が発生する。この問題は、視聴者にとっ
てきわめて不愉快な思いを与えるため、音声データの出
力タイミングが１フレームを超えないように制御するこ
とが必要である。

【０１２１】そこで、上記の実施例の図３において、第
２の時刻比較手段１２７が第２の時刻データと第３の時
刻データを比較した結果、もし、第２の時刻データが第
３の時刻データより遅れており、その遅延時間が一定の
値である遅延閾値時間よりも大きい場合は、その時点で
映像復号化手段１１３が復号化処理中の圧縮映像データ
の復号化を停止する（省略する）。圧縮映像データの復
号化を行う映像復号化手段１１３と圧縮音声データの復
号化を行う音声復号化手段１１６は、両方とも単一のマ
イクロプロセッサ１０３によりソフトウエア上で実現さ
れているため、映像復号化手段１１３における圧縮映像
データの復号化を停止することにより、マイクロプロセ
ッサの全ての処理能力を、音声復号化手段１１６におけ
る圧縮音声データの復号化に使用することが出来るた
め、当該音声復号化手段１１６における圧縮音声データ
の復号化が加速される。

【０１２２】なお、前記一定の値である遅延閾値時間
は、上記の説明から明らかなように、音声データの１フ
レーム分の時間を超えない。もっとも、ソフトウエア処
理による当該音声復号化手段１１６における圧縮音声デ
ータの復号化には、たとえ処理を加速しても一定の時間
が必要なため、一定の値である遅延閾値時間がぴったり
１フレーム分の時間では、遅延を検知したとたん音声信
号が途切れてしまう。そこで、一定の値である遅延閾値
時間は、当該映像音声同期再生装置のマイクロプロセッ
サ１０３のソフトウエア処理能力を考慮して、１フレー
ム分の時間よりある程度小さな値に設定する。なお、当
該音声復号化手段１１６における圧縮音声データの復号
化の遅延が解消した場合には、映像復号化手段１１３
は、その後、最初に入力するＩピクチャの圧縮映像デー
タから復号化を再開する。

【０１２３】

【発明の効果】以上のように、本発明によれば、精度が
よく、映像データと音声データの再生タイミングの誤差
が累積しない映像音声同期再生装置、映像データ及び音
声データの同期再生方法、又は当該映像音声同期再生装
置等を実現する記録媒体若しくはデジタル信号が得られ
るという有利な効果が得られる。

【０１２４】本発明により、映像音声同期再生装置が、
異なる時間を単位として圧縮記録された映像データと音
声データを入力する場合や、映像データと音声データ
が、ランダムに映像音声同期再生装置に入力される場合
にも、映像データと音声データの再生の時間差を容易に
知ることが出来るという有利な効果が得られる。

【０１２５】本発明により、映像音声同期再生装置の映
像処理が遅延した場合に、少ない違和感で、遅延を解消
することが出来る映像音声同期再生装置、映像データ及
び音声データの同期再生方法、又は当該同期再生方法等
を実現する記録媒体を実現するという有利な効果が得ら
れる。

【０１２６】本発明により、映像音声同期再生装置の映
像処理が遅延した場合に、映像処理の不連続の影響を時
間軸上で分散することにより、少ない違和感で、遅延を
解消することが出来るという有利な効果が得られる。

【０１２７】また、本発明により、映像音声同期再生装
置において、視聴者が映像データと音声データの同期は
ずれを認識するもっとも一般的な閾値を超えた映像処理
の遅延に対して、映像処理の遅延の回復措置を取ること
により、少ない違和感で、遅延を解消することが出来る
という有利な効果が得られる。

【０１２８】本発明により、映像処理が遅延した場合
に、必要にして十分な映像処理（フォーマット変換）の
省略により映像処理の遅延を回復することが出来るの
で、少ない違和感で遅延を解消することが出来るという
有利な効果が得られる。

【０１２９】本発明により、映像処理が遅延した場合
に、遅延が少ない場合はフォーマット変換の省略により
必要最小限の映像処理の省略を行い、遅延が大きい場合
には、大きな変換の省略を行うことにより、小さな映像
処理の遅延にも、大きな映像処理の遅延にも最適の回復
措置をとることが出来るので、少ない違和感で遅延を解
消することが出来るという有利な効果が得られる。

【０１３０】本発明により、音声処理が遅延した場合
に、早期に音声処理の遅延を検知し回復措置を取ること
により、少ない違和感で遅延を解消することが出来ると
いう有利な効果が得られる。

【図面の簡単な説明】

【図１】本発明の実施例によるビットストリームの構造
図

【図２】本発明の実施例によるハードウエアのブロック
図

【図３】本発明の実施例によるソフトウエア処理のブロ
ック図

【図４】本発明の実施例によるタイミングチャート

【図５】本発明の実施例による音声データ出力装置のブ
ロック図

【図６】従来例のソフトウエア処理のブロック図

【図７】フォーマット変換を省略することにより、いっ
ぺんに遅延を解消する場合のタイミングチャート

【図８】復号化を省略することにより、いっぺんに遅延
を解消する場合のタイミングチャート

【符号の説明】

１０１ 圧縮映像データ及び圧縮音声データ入力コネク
タ・インターフェース １０２ デジタルテレビ放送用チューナ １０３ マイクロプロセッサ １０４ ＲＡＭ １０５ ハードディスク（ＨＤＤ） １０６ 映像データ出力装置 １０７ 映像表示装置 １０８ 音声データ出力装置 １０９ スピーカ １１０ バスライン １１１ 圧縮映像データ／圧縮音声データ入力手段 １１２ ストリーム分離手段 １１３ 映像復号化手段 １１４ フォーマット変換手段 １１５ 映像表示出力手段 １１６ 音声復号化手段 １１７ 音声出力段 １２１ クロック記憶手段 １２２ クロック差分判定手段 １２３ 復号化モード制御手段 １２４ 第１の時刻比較手段 １２５ 表示間隔制御手段 １２６ クロック生成手段（時刻発生手段） １２７ 第２の時刻比較手段 ５０１ インターフェース部 ５０２ スイッチ ５０３ フレームバッファメモリ ５０４ フレームバッファメモリ ５０５ スイッチ ５０６ デジタル／アナログコンバータ ５０７ 音声出力段 ６０１ データ記録装置 ６０２ 映像音声分離処理装置（ＡＶ分離処理） ６０３ 圧縮映像データバッファ（圧縮画像データバッ
ファ） ６０４ 画像データ入力制御手段 ６０５ 映像復号化手段（ビデオデコーダ） ６０６ フレームバッファ ６０７ デジタル／アナログ変換器（ＣＲＴＣ（Ｄ／
Ａ）） ６０８ 映像表示装置（ＣＲＴモニタ） ６０９ 圧縮音声データバッファ ６１０ 音声復号化手段（オーディオデコーダ） ６１１ ＰＣＭバッファ ６１２ デジタル／アナログ変換器（Ｄ／Ａ） ６１３ スピーカ ６１４ フレームカウンタ ６１５ オーディオカウンタ ６１６ 基準時刻算出手段 ６１７ 遅延検出手段 ６１８ コマ落とし制御手段

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C053 GB10 GB11 GB37 GB38 HA27 JA12 JA22 JA23 5C059 LB07 RE03 RF28 SS16 SS26 UA09 5D044 AB05 AB07 BC01 CC04 FG09 FG21 GK07 GM11 JJ02 5K028 AA01 EE03 EE08 KK23 MM16 NN00 PP11 SS14

Claims (22)

【特許請求の範囲】
1. 【請求項１】 （１）映像データを圧縮した圧縮映像デ
   ータ、前記圧縮映像データに対応する第1の時刻デー
   タ、音声データを圧縮した圧縮音声データ、及び前記圧
   縮音声データに対応する第２の時刻データを入力する入
   力手段と、（２）前記圧縮映像データを、映像データと
   前記第１の時刻データの対応関係を維持した状態で、映
   像データに復号化する映像復号化手段と、（３）前記圧
   縮音声データを、音声データと前記第２の時刻データの
   対応関係を維持した状態で、音声データに復号化する音
   声復号化手段と、（４）前記映像データ及び前記音声デ
   ータを出力する出力手段と、（５）第３の時刻データを
   出力する時刻発生手段を有し、 前記時刻発生手段は、前記第３の時刻データを前記音声
   データに対応する前記第２の時刻データに一致するよう
   に補正し、 前記映像データに対応する前記第１の時刻データと前記
   第３の時刻データとの時間差が小さくなるように、前記
   圧縮映像データ又は前記映像データを制御することを特
   徴とする映像音声同期再生装置。
2. 【請求項２】 （１）映像データを圧縮した圧縮映像デ
   ータ、前記圧縮映像データに対応する第1の時刻デー
   タ、音声データを圧縮した圧縮音声データ、及び前記圧
   縮音声データに対応する第２の時刻データを入力する入
   力手段と、（２）前記圧縮映像データを、映像データと
   前記第１の時刻データの対応関係を維持した状態で、映
   像データに復号化する映像復号化手段と、（３）前記圧
   縮音声データを、音声データと前記第２の時刻データの
   対応関係を維持した状態で、音声データに復号化する音
   声復号化手段と、（４）前記映像データ及び前記音声デ
   ータを出力する出力手段を有し、 前記映像データに対応する前記第１の時刻データと、前
   記音声データに対応する前記第２の時刻データとの時間
   差が小さくなるように、前記圧縮映像データ又は前記映
   像データを制御することを特徴とする映像音声同期再生
   装置。
3. 【請求項３】 （１）映像データを圧縮した第１の映像
   フォーマットの圧縮映像データ、及び音声データを圧縮
   した圧縮音声データを入力する入力手段と、（２）前記
   第１の映像フォーマットの圧縮映像データに第1の時刻
   データを対応付ける手段と、前記圧縮音声データに第２
   の時刻データを対応付ける時刻対応手段と、（３）前記
   第１の映像フォーマットの圧縮映像データを、映像デー
   タと前記第１の時刻データの対応関係を維持した状態
   で、第１の映像フォーマットの映像データに復号化する
   映像復号化手段と、（４）前記圧縮音声データを、音声
   データと前記第２の時刻データの対応関係を維持した状
   態で、音声データに復号化する音声復号化手段と、
   （５）前記第１の映像フォーマットの映像データを第２
   の映像フォーマットの映像データにフォーマット変換す
   るフォーマット変換手段と、（６）前記第２の映像フォ
   ーマットの映像データと前記音声データを出力する出力
   手段と、（７）前記音声データに対応する前記第２の時
   刻データ又は前記音声データに対応する前記第２の時刻
   データに同期する第３の時刻データに対する、前記第１
   の映像フォーマット又は前記第２の映像フォーマットの
   映像データに対応する前記第１の時刻データの遅延時間
   である第１時刻データ遅延時間を測定する測定手段を有
   し、 前記測定手段による測定の結果、前記第１時刻データ遅
   延時間が一定の時間である第１の時間より大きい場合
   は、前記フォーマット変換手段は、前記第１の映像フォ
   ーマットの映像データのフォーマット変換を省略するこ
   とを特徴とする映像音声同期再生装置。
4. 【請求項４】 （１）映像データを圧縮した第１の映像
   フォーマットの圧縮映像データ、及び音声データを圧縮
   した圧縮音声データを入力する入力手段と、（２）前記
   第１の映像フォーマットの圧縮映像データに第1の時刻
   データを対応付ける手段と、前記圧縮音声データに第２
   の時刻データを対応付ける時刻対応手段と、（３）前記
   第１の映像フォーマットの圧縮映像データを、映像デー
   タと前記第１の時刻データの対応関係を維持した状態
   で、第１の映像フォーマットの映像データに復号化する
   映像復号化手段と、（４）前記圧縮音声データを、音声
   データと前記第２の時刻データの対応関係を維持した状
   態で、音声データに復号化する音声復号化手段と、
   （５）前記第１の映像フォーマットの映像データを第２
   の映像フォーマットの映像データにフォーマット変換す
   るフォーマット変換手段と、（６）前記第２の映像フォ
   ーマットの映像データと前記音声データを出力する出力
   手段と、（７）前記音声データに対応する前記第２の時
   刻データ又は前記音声データに対応する前記第２の時刻
   データに同期する第３の時刻データに対する、前記第１
   の映像フォーマット又は前記第２の映像フォーマットの
   映像データに対応する前記第１の時刻データの遅延時間
   である第１時刻データ遅延時間を測定する測定手段を有
   し、 前記測定手段による測定の結果、前記第１時刻データ遅
   延時間が一定の時間である第１の時間より大きい第1の
   場合に、前記フォーマット変換手段は、前記映像復号化
   手段が復号化する連続するＭフレーム（Ｍは任意の正の
   整数）の前記第１の映像フォーマットの映像データのフ
   ォーマット変換をスキップするとともに、さらに、
   （ａ）前記第1の場合の継続時間が一定の時間を超えた
   場合又は（ｂ）前記測定手段が前記第1の場合を検知す
   る回数が一定の回数を超えた場合又は（ｃ）前記第１時
   刻データ遅延時間が前記第１の時間よりも長い時間であ
   る第２の時間より大きくなった場合は、前記フォーマッ
   ト変換手段がフォーマット変換をスキップするフーレム
   の数Ｍの値を増加させる手段を有することを特徴とする
   映像音声同期再生装置。
5. 【請求項５】 請求項３又は請求項４の映像音声同期再
   生装置であって、前記第１の時間が０．２秒以上であっ
   て０．４秒以下であることを特徴とする映像音声同期再
   生装置。
6. 【請求項６】 請求項４の映像音声同期再生装置であっ
   て、 前記フォーマット変換手段が、連続するNフレーム（Nは
   正の整数）の前記第１の映像フォーマットの映像データ
   のフォーマット変換をスキップする状態において、前記
   第１時刻データ遅延時間が一定の時間である第３の時間
   以下の遅れになった第２の場合に、前記フォーマット変
   換手段は、フォーマット変換をスキップするフーレムの
   数Ｎの値をNより小さくて、かつ０でない値に減少させ
   る手段を有することを特徴とする映像音声同期再生装
   置。
7. 【請求項７】 請求項６の映像音声同期再生装置であっ
   て、前記第３の時間が前記第１の時間よりも短い時間で
   あることを特徴とする映像音声同期再生装置。
8. 【請求項８】 （１）映像データを圧縮した第１の映像
   フォーマットの圧縮映像データ、及び音声データを圧縮
   した圧縮音声データを入力する入力手段と、（２）前記
   第１の映像フォーマットの圧縮映像データに第1の時刻
   データを対応付け、前記圧縮音声データに第２の時刻デ
   ータを対応付ける時刻対応手段と、（３）前記第１の映
   像フォーマットの圧縮映像データを、映像データと前記
   第１の時刻データの対応関係を維持した状態で、第１の
   映像フォーマットの映像データに復号化する映像復号化
   手段と、（４）前記圧縮音声データを、音声データと前
   記第２の時刻データの対応関係を維持した状態で、音声
   データに復号化する音声復号化手段と、（５）前記第１
   の映像フォーマットの映像データを第２の映像フォーマ
   ットの映像データにフォーマット変換するフォーマット
   変換手段と、（６）前記第２の映像フォーマットの映像
   データと前記音声データを出力する出力手段と、（７）
   前記音声データに対応する前記第２の時刻データ又は前
   記音声データに対応する前記第２の時刻データに同期す
   る第３の時刻データに対する、前記第１の映像フォーマ
   ット又は前記第２の映像フォーマットの映像データに対
   応する第１の時刻データの遅延時間である第１時刻デー
   タ遅延時間を測定する測定手段を有し、 前記測定手段による測定の結果、第１時刻データ遅延時
   間が第１の時間より大きい第1の場合に、前記フォーマ
   ット変換手段は、前記映像復号化手段が復号化する連続
   するＭフレーム（Ｍは任意の正の整数）の第１の映像フ
   ォーマットの映像データのフォーマット変換をスキップ
   するとともに、さらに、（ａ）第1の場合の継続時間が
   一定の時間を超えた場合又は（ｂ）第1の場合の検知回
   数が一定の回数を超えた場合又は（ｃ）前記第１時刻デ
   ータ遅延時間が第１の時間よりも長い一定の時間である
   第２の時間よりも大きくなった場合は、前記映像復号化
   手段は、前記圧縮映像データの復号化を省略することを
   特徴とする映像音声同期再生装置。
9. 【請求項９】 （１）映像データを圧縮した圧縮映像デ
   ータ、及び音声データを圧縮した圧縮音声データを入力
   する入力手段と、（２）前記圧縮音声データに第１の時
   刻データを対応付ける時刻対応手段と、（３）第２の時
   刻データを出力する時刻発生手段と、（４）前記圧縮映
   像データを、映像データに復号化する映像復号化手段
   と、（５）前記圧縮音声データを、音声データと前記第
   １の時刻データの対応関係を維持した状態で、音声デー
   タに復号化する音声復号化手段と、（５）前記映像デー
   タと前記音声データを出力する出力手段と、（６）第２
   の時刻データに対する、前記音声データに対応する前記
   第１の時刻データの遅延時間である第１時刻データ遅延
   時間を測定する測定手段を有し、（７）前記測定手段に
   よる測定の結果、前記第１時刻データ遅延時間が一定の
   時間である遅延閾値時間より大きい場合に、前記映像復
   号化手段は、前記圧縮映像データの復号化を省略するこ
   とを特徴とする映像音声同期再生装置。
10. 【請求項１０】 請求項９の映像音声同期再生装置であ
    って、前記遅延閾値時間が、前記音声データのフレーム
    期間を超えないことを特徴とする映像音声同期再生装
    置。
11. 【請求項１１】 （１）映像データを圧縮した圧縮映像
    データ、前記圧縮映像データに対応する第1の時刻デー
    タ、音声データを圧縮した圧縮音声データ、及び前記圧
    縮音声データに対応する第２の時刻データを入力する入
    力ステップと、（２）前記圧縮映像データを、映像デー
    タと前記第１の時刻データの対応関係を維持した状態
    で、映像データに復号化する映像復号化ステップと、
    （３）前記圧縮音声データを、音声データと前記第２の
    時刻データの対応関係を維持した状態で、音声データに
    復号化する音声復号化ステップと、（４）前記映像デー
    タ及び音声データを出力する出力ステップを有し、前記
    映像データに対応する第１の時刻データと、前記音声デ
    ータに対応する第２の時刻データ又は前記音声データに
    対応する第２の時刻データに同期する時刻データである
    第３の時刻データとの時間差が小さくなるように、前記
    圧縮映像データ又は前記映像データを制御することを特
    徴とする映像データと音声データの同期再生方法。
12. 【請求項１２】 （１）映像データを圧縮した第１の映
    像フォーマットの圧縮映像データ、及び音声データを圧
    縮した圧縮音声データを入力する入力ステップと、
    （２）前記第１の映像フォーマットの圧縮映像データに
    第1の時刻データを対応付け、前記圧縮音声データに第
    ２の時刻データを対応付ける時刻対応ステップと、
    （３）前記第１の映像フォーマットの圧縮映像データ
    を、映像データと前記第１の時刻データの対応関係を維
    持した状態で、第１の映像フォーマットの映像データに
    復号化する映像復号化ステップと、（４）前記圧縮音声
    データを、音声データと前記第２の時刻データの対応関
    係を維持した状態で、音声データに復号化する音声復号
    化ステップと、（５）前記第１の映像フォーマットの映
    像データを第２の映像フォーマットの映像データにフォ
    ーマット変換するフォーマット変換ステップと、（６）
    前記第２の映像フォーマットの映像データと前記音声デ
    ータを出力する出力ステップと、（７）前記音声データ
    に対応する前記第２の時刻データ又は前記音声データに
    対応する前記第２の時刻データに同期する第３の時刻デ
    ータに対する、前記第１の映像フォーマット又は前記第
    ２の映像フォーマットの映像データに対応する前記第１
    の時刻データの遅延時間である第１時刻データ遅延時間
    を測定する測定ステップを有し、 前記測定ステップによる測定の結果、前記第１時刻デー
    タ遅延時間が一定の時間より大きい場合は、前記フォー
    マット変換ステップを省略することを特徴とする映像デ
    ータと音声データの同期再生方法。
13. 【請求項１３】 （１）映像データを圧縮した第１の映
    像フォーマットの圧縮映像データ、及び音声データを圧
    縮した圧縮音声データを入力する入力ステップと、
    （２）前記第１の映像フォーマットの圧縮映像データに
    第1の時刻データを対応付け、前記圧縮音声データに第
    ２の時刻データを対応付ける時刻対応ステップと、
    （３）前記第１の映像フォーマットの圧縮映像データ
    を、映像データと前記第１の時刻データの対応関係を維
    持した状態で、第１の映像フォーマットの映像データに
    復号化する映像復号化ステップと、（４）前記圧縮音声
    データを、音声データと前記第２の時刻データの対応関
    係を維持した状態で、音声データに復号化する音声復号
    化ステップと、（５）前記第１の映像フォーマットの映
    像データを第２の映像フォーマットの映像データにフォ
    ーマット変換するフォーマット変換ステップと、（６）
    前記第２の映像フォーマットの映像データと前記音声デ
    ータを出力する出力ステップと、（７）前記音声データ
    に対応する前記第２の時刻データ又は前記音声データに
    対応する前記第２の時刻データに同期する第３の時刻デ
    ータに対する、前記第１の映像フォーマット又は前記第
    ２の映像フォーマットの映像データに対応する前記第１
    の時刻データの遅延時間である第１時刻データ遅延時間
    を測定する測定ステップを有し、 前記測定ステップによる測定の結果、前記第１時刻デー
    タ遅延時間が一定の時間である第１の時間より大きい第
    1の場合に、前記映像復号化ステップにより復号化され
    た連続するＭフレーム（Ｍは任意の正の整数）の前記第
    １の映像フォーマットの映像データについて前記フォー
    マット変換ステップをスキップするとともに、さらに、
    （ａ）第1の場合の継続時間が一定の時間を超えた場合
    又は（ｂ）前期測定ステップにおいて第1の場合を検知
    する回数が一定の回数を超えた場合又は（ｃ）前記第１
    時刻データ遅延時間が第１の時間よりも長い一定の時間
    である第２の時間より大きくなった場合は、前記フォー
    マット変換ステップをスキップするフーレムの数Ｍの値
    を増加させるステップを有することを特徴とする映像デ
    ータと音声データの同期再生方法。
14. 【請求項１４】 （１）映像データを圧縮した第１の映
    像フォーマットの圧縮映像データ、及び音声データを圧
    縮した圧縮音声データを入力する入力ステップと、
    （２）前記第１の映像フォーマットの圧縮映像データに
    第1の時刻データを対応付け、前記圧縮音声データに第
    ２の時刻データを対応付ける時刻対応ステップと、
    （３）前記第１の映像フォーマットの圧縮映像データ
    を、映像データと前記第１の時刻データの対応関係を維
    持した状態で、第１の映像フォーマットの映像データに
    復号化する映像復号化ステップと、（４）前記圧縮音声
    データを、音声データと前記第２の時刻データの対応関
    係を維持した状態で、音声データに復号化する音声復号
    化ステップと、（５）前記第１の映像フォーマットの映
    像データを第２の映像フォーマットの映像データにフォ
    ーマット変換するフォーマット変換ステップと、（６）
    前記第２の映像フォーマットの映像データと前記音声デ
    ータを出力する出力ステップと、（７）前記音声データ
    に対応する前記第２の時刻データ又は前記音声データに
    対応する前記第２の時刻データに同期する第３の時刻デ
    ータに対する、前記第１の映像フォーマット又は前記第
    ２の映像フォーマットの映像データに対応する前記第１
    の時刻データの遅延時間である第１時刻データ遅延時間
    を測定する測定ステップを有し、 前記測定手段による測定の結果、前記第１時刻データ遅
    延時間が一定の時間である第１の時間より大きい第1の
    場合に、前記映像復号化ステップにより復号化される連
    続するＭフレーム（Ｍは任意の正の整数）の前記第１の
    映像フォーマットの映像データについて前記フォーマッ
    ト変換ステップをスキップするとともに、さらに、
    （ａ）第1の場合の継続時間が一定の時間を超えた場合
    又は（ｂ）第1の場合の検知回数が一定の回数を超えた
    場合又は（ｃ）前記第１時刻データ遅延時間が前記第１
    の時間よりも長い時間である第２の時間より大きくなっ
    た場合は、前記映像復号化ステップを省略することを特
    徴とする映像データと音声データの同期再生方法。
15. 【請求項１５】 （１）映像データを圧縮した圧縮映像
    データ、及び音声データを圧縮した圧縮音声データを入
    力する入力ステップと、（２）前記圧縮音声データに第
    １の時刻データを対応付ける時刻対応ステップと、
    （３）第２の時刻データを出力する時刻発生ステップ
    と、（４）前記圧縮映像データを、映像データに復号化
    する映像復号化ステップと、（５）前記圧縮音声データ
    を、音声データと前記第１の時刻データの対応関係を維
    持した状態で、音声データに復号化する音声復号化ステ
    ップと、（６）前記映像データと前記音声データを出力
    する出力ステップと、（７）前記第２の時刻データに対
    する、前記音声データに対応する第１の時刻データの遅
    延時間である第１時刻データ遅延時間を測定する測定ス
    テップを有し、 前記測定ステップによる測定の結果、前記第１時刻デー
    タ遅延時間が一定の時間より大きい場合に、前記映像復
    号化ステップを省略することを特徴とする映像データと
    音声データの同期再生方法。
16. 【請求項１６】 映像データを圧縮した圧縮映像データ
    と音声データを圧縮した圧縮音声データを記録する記録
    媒体であって、（１）前記圧縮映像データに対応する第
    1の時刻データと、（２）前記圧縮音声データに対応す
    る第２の時刻データを記録しており、前記圧縮映像デー
    タを映像データに復号化し、前記圧縮音声データを音声
    データに復号化し、前記映像データに対応する前記第１
    の時刻と前記音声データに対応する前記第２の時刻が同
    期するように前記映像データと前記音声データを再生し
    た場合に、前記映像データと前記音声データが同期再生
    されるように、第1の時刻データと第２の時刻データを
    記録していることを特徴とする記録媒体。
17. 【請求項１７】 映像データを圧縮した圧縮映像データ
    と音声データを圧縮した圧縮音声データを含むデジタル
    信号であって、（１）前記圧縮映像データに対応する第
    1の時刻データと、（２）前記圧縮音声データに対応す
    る第２の時刻データを含み、前記圧縮映像データを映像
    データに復号化し、前記圧縮音声データを音声データに
    復号化し、前記映像データに対応する前記第１の時刻と
    前記音声データに対応する前記第２の時刻が同期するよ
    うに前記映像データと前記音声データを再生した場合
    に、前記映像データと前記音声データが同期再生される
    ように、第1の時刻データと第２の時刻データが対応付
    けられていることを特徴とするデジタル信号。
18. 【請求項１８】 （１）映像データを圧縮した圧縮映像
    データ、前記圧縮映像データに対応する第1の時刻デー
    タ、音声データを圧縮した圧縮音声データ、及び前記圧
    縮音声データに対応する第２の時刻データを入力する入
    力ステップと、（２）前記圧縮映像データを、映像デー
    タと前記第１の時刻データの対応関係を維持した状態
    で、映像データに復号化する映像復号化ステップと、
    （３）前記圧縮音声データを、音声データと前記第２の
    時刻データの対応関係を維持した状態で、音声データに
    復号化する音声復号化ステップと、（４）前記映像デー
    タ及び前記音声データを出力する出力ステップを有し、
    前記映像データに対応する第１の時刻データと、前記音
    声データに対応する第２の時刻データ又は前記音声デー
    タに対応する第２の時刻データに同期する時刻データで
    ある第３の時刻データとの時間差を小さくするように、
    前記圧縮映像データ又は前記映像データを制御すること
    を特徴とする映像データと音声データの同期再生プログ
    ラムを記録した記録媒体。
19. 【請求項１９】 （１）映像データを圧縮した第１の映
    像フォーマットの圧縮映像データ、及び音声データを圧
    縮した圧縮音声データを入力する入力ステップと、
    （２）前記第１の映像フォーマットの圧縮映像データに
    第1の時刻データを対応付け、前記圧縮音声データに第
    ２の時刻データを対応付ける時刻対応ステップと、
    （３）前記第１の映像フォーマットの圧縮映像データ
    を、映像データと前記第１の時刻データの対応関係を維
    持した状態で、第１の映像フォーマットの映像データに
    復号化する映像復号化ステップと、（４）前記圧縮音声
    データを、音声データと前記第２の時刻データの対応関
    係を維持した状態で、音声データに復号化する音声復号
    化ステップと、（５）前記第１の映像フォーマットの映
    像データを第２の映像フォーマットの映像データにフォ
    ーマット変換するフォーマット変換ステップと、（６）
    前記第２の映像フォーマットの映像データと前記音声デ
    ータを出力する出力ステップと、（７）前記音声データ
    に対応する前記第２の時刻データ又は前記音声データに
    対応する前記第２の時刻データに同期する第３の時刻デ
    ータに対する、前記第１の映像フォーマット又は前記第
    ２の映像フォーマットの映像データに対応する前記第１
    の時刻データの遅延時間である第１時刻データ遅延時間
    を測定する測定ステップを有し、（８）前記測定ステッ
    プによる測定の結果、前記第１時刻データ遅延時間が一
    定の時間より大きい場合は、前記フォーマット変換ステ
    ップを省略することを特徴とする映像データと音声デー
    タの同期再生プログラムを記録した記録媒体。
20. 【請求項２０】 （１）映像データを圧縮した第１の映
    像フォーマットの圧縮映像データ、及び音声データを圧
    縮した圧縮音声データを入力する入力ステップと、
    （２）前記第１の映像フォーマットの圧縮映像データに
    第1の時刻データを対応付け、前記圧縮音声データに第
    ２の時刻データを対応付ける時刻対応ステップと、
    （３）前記第１の映像フォーマットの圧縮映像データ
    を、映像データと前記第１の時刻データの対応関係を維
    持した状態で、第１の映像フォーマットの映像データに
    復号化する映像復号化ステップと、（４）前記圧縮音声
    データを、音声データと前記第２の時刻データの対応関
    係を維持した状態で、音声データに復号化する音声復号
    化ステップと、（５）前記第１の映像フォーマットの映
    像データを第２の映像フォーマットの映像データにフォ
    ーマット変換するフォーマット変換ステップと、（６）
    前記第２の映像フォーマットの映像データと前記音声デ
    ータを出力する出力ステップと、（７）前記音声データ
    に対応する前記第２の時刻データ又は前記音声データに
    対応する前記第２の時刻データに同期する第３の時刻デ
    ータに対する、前記第１の映像フォーマット又は前記第
    ２の映像フォーマットの映像データに対応する前記第１
    の時刻データの遅延時間である第１時刻データ遅延時間
    を測定する測定ステップを有し、（８）前記測定ステッ
    プによる測定の結果、前記第１時刻データ遅延時間が一
    定の時間である第１の時間より大きい第1の場合に、前
    記映像復号化ステップにより復号化された連続するＭフ
    レーム（Ｍは任意の正の整数）の前記第１の映像フォー
    マットの映像データについて前記フォーマット変換ステ
    ップをスキップするとともに、さらに、（ａ）第1の場
    合の継続時間が一定の時間を超えた場合又は（ｂ）前期
    測定ステップにおいて第1の場合を検知する回数が一定
    の回数を超えた場合又は（ｃ）前記第１時刻データ遅延
    時間が第１の時間よりも長い時間である第２の時間より
    大きくなった場合は、前記フォーマット変換ステップを
    スキップするフーレムの数Ｍの値を増加させるステップ
    を有することを特徴とする映像データと音声データの同
    期再生プログラムを記録した記録媒体。
21. 【請求項２１】 （１）映像データを圧縮した第１の映
    像フォーマットの圧縮映像データ、及び音声データを圧
    縮した圧縮音声データを入力する入力ステップと、
    （２）前記第１の映像フォーマットの圧縮映像データに
    第1の時刻データを対応付け、前記圧縮音声データに第
    ２の時刻データを対応付ける時刻対応ステップと、
    （３）前記第１の映像フォーマットの圧縮映像データ
    を、映像データと前記第１の時刻データの対応関係を維
    持した状態で、第１の映像フォーマットの映像データに
    復号化する映像復号化ステップと、（４）前記圧縮音声
    データを、音声データと前記第２の時刻データの対応関
    係を維持した状態で、音声データに復号化する音声復号
    化ステップと、（５）前記第１の映像フォーマットの映
    像データを第２の映像フォーマットの映像データにフォ
    ーマット変換するフォーマット変換ステップと、（６）
    前記第２の映像フォーマットの映像データと前記音声デ
    ータを出力する出力ステップと、（７）前記音声データ
    に対応する前記第２の時刻データ又は前記音声データに
    対応する前記第２の時刻データに同期する第３の時刻デ
    ータに対する、前記第１の映像フォーマット又は前記第
    ２の映像フォーマットの映像データに対応する前記第１
    の時刻データの遅延時間である第１時刻データ遅延時間
    を測定する測定ステップを有し、 前記測定ステップによる測定の結果、前記第１時刻デー
    タ遅延時間が一定の時間である第１の時間より大きい第
    1の場合に、前記映像復号化ステップにより復号化され
    る連続するＭフレーム（Ｍは任意の正の整数）の前記第
    １の映像フォーマットの映像データについて前記フォー
    マット変換ステップをスキップするとともに、さらに、
    （ａ）第1の場合の継続時間が一定の時間を超えた場合
    又は（ｂ）第1の場合の検知回数が一定の回数を超えた
    場合又は（ｃ）前記第１時刻データ遅延時間が第１の時
    間よりも長い時間である第２の時間より大きくなった場
    合は、前記映像復号化ステップを省略することを特徴と
    する映像データと音声データの同期再生プログラムを記
    録した記録媒体。
22. 【請求項２２】 （１）映像データを圧縮した圧縮映像
    データ、及び音声データを圧縮した圧縮音声データを入
    力する入力ステップと、（２）前記圧縮音声データに第
    １の時刻データを対応付ける時刻対応ステップと、
    （３）第２の時刻データを出力する時刻発生ステップ
    と、（４）前記圧縮映像データを、映像データに復号化
    する映像復号化ステップと、（５）前記圧縮音声データ
    を、音声データと前記第１の時刻データの対応関係を維
    持した状態で、音声データに復号化する音声復号化ステ
    ップと、（６）前記映像データと前記音声データを出力
    する出力ステップと、（７）前記第２の時刻データに対
    する、前記音声データに対応する前記第１の時刻データ
    の遅延時間である第１時刻データ遅延時間を測定する測
    定ステップを有し、（８）前記測定ステップによる測定
    の結果、前記第１時刻データ遅延時間が一定の時間より
    大きい場合に、前記映像復号化ステップを省略すること
    を特徴とする映像データと音声データの同期再生プログ
    ラムを記録した記録媒体。