JP2009259333A - 再生装置及び再生方法 - Google Patents

Abstract

【課題】ビデオとオーディオデータとを正確に同期させることができる再生装置及び再生方法を提供すること。
【解決手段】再生装置は、ビデオ及びオーディオの再生タイミングを通知するそれぞれビデオ時間１１４及びオーディオ時間１２４と、ビデオとオーディオの同期のための情報である情報ビットを前記オーディオデータに付加する情報ビット付加器１２６と、ビデオ時間１１４及びオーディオ時間１２４からの再生タイミングの通知に基づきオーディオデータの再生長さを調整するオーディオデータ数補正器１２５と、ビデオデコーダからのビデオデータを再生するビデオ提示部１１３と、オーディオ再生時間調整部から再生長さを調整済みのオーディオデータを受け取り再生するオーディオ選択器１３１とを有し、オーディオ時間１２４は、情報ビットに基づきオーディオの再生タイミングを通知する。
【選択図】図１

Description

本発明は、オーディオとビデオを同期をとって再生する再生装置及び再生方法に関する。

携帯電話のマルチメディアプレーヤー、携帯型デジタル動画像音声音楽プレイヤー（以下、ＡＶプレイヤーという。）、又は据え置き型のデジタルＡＶプレイヤーを構成する動画像再生装置及び音声音楽再生装置において、ユーザーに対し動画像（以下、ビデオという。）と音声音楽（以下、オーディオという。）の同期をとってビデオ及びオーディオの提示を行うことは必須の機能である。一般的には、ビデオ再生装置とオーディオ再生装置を動作させるためのクロック発生器は異なり、それぞれのクロックに偏差（誤差）がある場合にビデオとオーディオの再生が徐々にずれていく問題があり、さまざまな方法によってビデオとオーディオの同期をとる工夫がなされている。

図９は、特許文献１に記載のビデオとオーディオの同期をとって提示するビデオオーディオ再生装置である。この例では、マルチメディアデータを記憶するデータ入力部２０１、マルチメディアデータから動画像データと音声データを分離するデータ分離部２０２と、音声データをＰＣＭデータへ復号化する音声デコード部２０５と、動画像データを画像データへ復号化する動画像デコード部２０４と、ＰＣＭデータのカウント部１１６を備えたＰＣＭデータを蓄える音声バッファ部２０８と、動画像の表示タイミングを決めるタイマ１１４を備えた再生制御部２０３を備える。ＰＣＭデータのカウント数を用いて画像データの表示のタイミングを決めるタイマ２１４の値を補正することによってビデオデータとオーディオデータの同期再生を行う。

図１０は、特許文献２に記載のビデオとオーディオの同期をとって再生するＡＶ再生装置である。再生装置３００は、制御部３０１、ビデオデコーダ３０２、オーディオデコーダ３０３、表示処理部３０４、音声処理部３０５、同期処理部３０６、ディスプレイ３０７、スピーカ３０８を有する。この例では、ビデオデコーダでの画像処理の時間が負担となって画像の提示が遅れそうな場合を想定しており、ビデオデコーダ３０２の出力から画像の提示時間を推定部３０６ａで推定し、比較部３０６ｂにおいてオーディオデコーダ３０３からのオーディオの提示時間と比較し、オーディオを遅らせるためのオーディオの引き伸ばしを音声処理時間調整部３０６ｃと音声処理部３０５で行う。

なお、この例では、オーディオデコーダ３０３から出力されたＰＣＭサンプルデータによるオーディオ時計が図中に明確に示されていないが、オーディオデコーダ３０３もしくは比較部３０６ｂに存在する。

このように、ビデオとオーディオの同期をとって提示するＡＶ再生装置において、同期を行う機能の構成要素として必須となるのは、ビデオを提示する時間をカウントするビデオ時計（ビデオタイミング通知部）と、オーディオを提示する時間をカウントするオーディオ時計（オーディオタイミング通知部）と、ビデオ時計とオーディオ時計を比較してずれを検出するずれ検出器と、ずれが検出された場合にそのずれを補正するための補正器である。

図１１は、従来の技術によるビデオにオーディオを合わせて提示する一般的なＡＶ再生装置を示す図である。また、図１２は、従来の技術によるオーディオにビデオを合わせて提示する一般的なＡＶ再生装置を示す図である。

図１１及び図１２を用いて、図９（特許文献１）又は図１０（特許文献２）の例に倣って、ビデオとオーディオの同期をとって提示するＡＶ再生装置において同期を行う機能の必須となる構成要素及びその動作を具体的に説明する。なお、以下の説明において、同一の構成要素には同一の符号を付し、その詳細な説明は省略する。

図１１の構成におけるビデオとオーディオの同期をとって提示する動作について説明する。図１１は、ビデオにオーディオを合わせるＡＶ再生装置である。図１１において、ビデオデコーダ４１２は圧縮されたビデオストリームを入力し伸張処理を行ってビデオデータを出力する。また、ビデオデコーダ４１２は、先頭のビデオデータのデコードの開始時に、ビデオ時計４１４のリセット信号を出力する。ビデオクロック発生器４１１はビデオ提示器４１３にビデオの提示動作のためのクロックを発生する。また、ビデオクロック発生器４１１はビデオ時計４１４へも時計のカウントのためのカウントクロックを供給する。ビデオ提示器４１３はビデオクロック発生器４１１から入力されるクロックをもとに、提示のための信号を生成し、入力されるビデオを混合する。提示の信号は、デジタルデータと仮定する。ビデオ時計４１４は、ビデオデコーダ４１２からのリセット信号の受信後からビデオクロック発生器４１１のカウントクロックをもとにカウントを開始し、ビデオの提示のタイミングを示す時間通知をずれ検出器４３０に通知する。

一方、オーディオデコーダ４２２は圧縮されたオーディオストリームを入力し伸張処理を行ってオーディオデータを出力する。また、オーディオデコーダ４２２は、先頭のオーディオデータのデコードの開始時に、オーディオ時計４２４へリセット信号を出力する。オーディオクロック発生器４２１はオーディオ提示器４２３にオーディオの提示動作のためのクロックを発生する。また、オーディオクロック発生器４２１はオーディオ時計４２４へも時計のカウントのためのカウントクロックを供給する。オーディオ提示器４２３はオーディオクロック発生器４２１から入力されるクロックをもとに、提示のための信号を生成し、入力されるオーディオを混合する。提示の信号は、デジタルデータと仮定する。オーディオ選択器４３１は、複数のオーディオデータの入力ソースから、提示するオーディオデータを選択する機能である。

オーディオ時計４２４は、オーディオデコーダ４２２からのリセット信号を受信後から、オーディオクロック発生器４２１のカウントクロックをもとにカウントを開始し、オーディオの提示のタイミングを示す時間通知をずれ検出器４３０に出力する。

ずれ検出器４３０は、ビデオ時計４１４から入力される時間通知とオーディオ時計４２４から入力される時間通知を比較し、ずれが生じている場合に、オーディオデータ数補正器４２５にオーディオデータの補正命令を出力する。オーディオデータ数補正器４２５は入力されるオーディオデータの補正命令に従って、オーディオデータのデータ数を、サンプリングレート変換を用いたり、又はオーディオデータの一部のデータの削除や一部のデータを挿入するなどして、データ数を多くしたり少なくしたりする。

このような、構成においてビデオとオーディオの同期をとって提示する方法について説明する。図１３は、オーディオ時計が出力する時間通知の出力タイミングを示すタイミング図である。オーディオ時計４２４は、オーディオデコーダ４２２によって、先頭のオーディオデータのデコードの開始時にリセット信号によりリセットされる。

図１３（ａ）の通常の場合で示すように、オーディオデータ（すなわちＰＣＭサンプルデータ）は、例えば１秒間に４４１００個からなる。オーディオ時計のカウントは、例えば１サンプルごとにカウントアップを行い、４４０９９までカウントした後に１に戻る。オーディオ時計のカウント値が１に戻るときに時間通知を行うとすると、図１３（ａ）の通常の場合のように１秒ごとに時間通知が行われることになる。

図１３（ｂ）はＰＣＭを増加させた場合の図で、４４１００個のデータに対し２個ほどオーディオデータを追加している。４４１００個に対し２個追加しているので、４４１０１の後１に戻るタイミングで時間通知を行っている。図１３（ｃ）はＰＣＭを減少させた場合の図で４４１００個のデータに対し２個ほどオーディオデータを削除している。４４１００個に対し２個削除しているので、４４０９７の後１に戻るタイミングで時間通知を行っている。

このように、通常の場合に対してサンプルデータを追加したり削除した場合には、オーディオ時計から出力される時間通知が遅くなったり早くなったりする。このことにより、オーディオの提示とビデオとの提示の時間とをあわせる動作を行える。

図１４は、ビデオにオーディオを合わせて提示する場合の提示が合う様を表したタイミング図である。Ａ１は、各画像の提示終了タイミング、Ａ２はビデオ時計の時間通知、Ａ３は、オーディオ時計の時間通知、Ａ４は各音の提示終了タイミング、Ａ５は、音声データの補正命令、を示す。ビデオ時計４１４は、ビデオデコーダ４１２によって、先頭のビデオデータのデコードの開始時にリセット信号によりリセットされる。図１４（ａ）は、オーディオデータの提示が早い場合の例を示している。１枚のビデオデータが１秒ごとに提示され、その動作画像データ提示の終了ごとにビデオ時計から時間通知が出力される。一方、オーディオデータの１秒分の提示終了においてオーディオ時計から時間通知が出力される。

オーディオデータ１秒分の提示の時間は、オーディオ提示器４２３へのオーディオクロック発生器４２１の供給クロックが絶対的な時間に対して早いことに起因して、１秒よりも短くなっている。ずれ検出器は、ビデオと時計とオーディオ時計のずれを検出し、ずれがある閾値を超えると、オーディオデータの補正命令を出力して、オーディオデータの補正を行う。図１４（ａ）の例では、２秒目付近でオーディオデータの提示が進んでいると判断し、オーディオデータを増加させる補正命令を出力し、３秒目までの音に対して音を追加している。その結果、３秒目付近ではビデオ提示の時間とオーディオ提示の時間が一致している。

図１４（ｂ）は、オーディオデータの提示が遅い場合の例を示している。図１４の例では、オーディオデータの１秒分の提示の時間は、オーディオ提示器４２３へのオーディオクロック発生器４２１の供給クロックが絶対的な時間に対して遅いことに起因して、１秒よりも長くなっている。２秒目付近でオーディオデータの提示が遅れていると判断し、オーディオデータを減少させる補正命令を出力し、３秒目までの音に対して音を削除している。その結果、３秒目付近ではビデオ提示の時間とオーディオ提示の時間が一致している。

図１２の構成におけるビデオとオーディオの同期をとって提示する動作について説明する。図１２は、オーディオにビデオを合わせるＡＶ再生装置である。図１２において、ビデオデコーダ４１２、ビデオクロック発生器４１１、ビデオ提示器４１３、オーディオデコーダ４２２、オーディオクロック発生器４２１、オーディオ提示器４２３、オーディオ時計４２４、オーディオ選択器４３１は、図１１に示す例と同様である。

オーディオ時計４２４はオーディオクロック発生器４２１のカウントクロックをもとにオーディオの提示のタイミングを示す時間通知をビデオ提示時間調整器４１５に通知する。ビデオ提示時間調整器４１５は、入力されるオーディオの提示のタイミングを示す時間通知をもとにビデオ提示の時間を調整し、ビデオ提示器４１３にビデオを出力する。

このような、構成においてビデオとオーディオの同期をとって提示する方法について説明する。オーディオ時計が出力する時間通知の出力タイミングは、図１３で説明したとおりである。図１５は、オーディオにビデオを合わせて提示する場合の提示が合う様を表したタイミング図である。Ｂ１は、各画像の提示のタイミング、Ｂ２はオーディオ時計の時間通知、Ｂ３は、各音の提示終了のタイミングを示す。

図１５（ａ）は、オーディオデータの提示が早い場合の例を示している。オーディオデータの１秒分の提示終了においてオーディオ時計から時間通知が出力され、ビデオ提示時間調整器４１５に入力される。オーディオデータ１秒分の提示の時間は、オーディオ提示器４２３へのオーディオクロック発生器４２１の供給クロックが絶対的な時間に対して早いことに起因して、１秒よりも短くなっているが、ビデオ提示時間調整器４１５がその時間通知に合わせてビデオの提示時間を調整するので、ビデオ提示の時間とオーディオ提示の時間が一致している。

図１５（ｂ）は、オーディオデータの提示が遅い場合の例を示している。図１５（ｂ）の例についても、オーディオデータ１秒分の提示の時間は、オーディオ提示器４２３へのオーディオクロック発生器４２１の供給クロックが絶対的な時間に対して遅いことに起因して、１秒よりも長くなっているが、図１５（ａ）と同じように、ビデオ提示時間調整器４１５がその時間通知に合わせてビデオの提示時間を調整するので、ビデオ提示の時間とオーディオ提示の時間が一致している。

ところで、図９に示す特許文献１に記載の技術、図１０に示す特許文献２に記載の技術、図１１又は図１２に示す従来の技術におけるビデオとオーディオの同期をとって提示するＡＶ再生装置は、実際の製品に適用する場合に、複数のチップで構成することがある。

次に、図９に示す特許文献１に記載の技術、図１０に示す特許文献２に記載の技術、図１１又は図１２に示す従来の技術にかかるＡＶ再生装置において、これらＡＶ再生装置を複数のチップで実現した場合の動作について述べる。

図１６は、特許文献１におけるＡＶ再生装置を複数のチップから構成した場合の例を示す図である。図１６では、ビデオ処理チップとオーディオ処理チップに分かれている。ビデオの処理に長けたチップとオーディオの処理に長けたチップが存在する場合、このような構成となる場合がある。なお、図１６では、ビデオ処理チップに、ＤＡ変換部１０９など、一部のオーディオ処理部が搭載される例を示している。

図１７は、特許文献１におけるＡＶ再生装置を複数のチップから構成した場合の他の例を示す図である。図１７では、デコード用チップと提示用チップに分かれている。ある標準化された提示用チップが存在して複数の製品で使いまわすような場合、このような構成となることがある。

図１８は、特許文献２におけるＡＶ再生装置を複数のチップから構成した場合の例を示す図である。図１８では、ビデオ処理チップとオーディオ処理チップに分かれている。ビデオの処理に長けたチップとオーディオの処理に長けたチップが存在する場合、このような構成となる場合がある。なお、図１８では、ビデオ処理チップに、音声処理部３０５など、一部のオーディオ処理部が搭載される例を示している。

図１９は、特許文献２におけるＡＶ再生装置を複数のチップから構成した場合の他の例を示す図である。図１９では、デコード用チップと提示用チップに分かれている。ある標準化された提示用チップが存在して複数の製品で使いまわすような場合、このような構成となることがある。

図２０は、複数のチップ構成からなる一般的なＡＶ再生装置である。図２１は、複数のチップ構成からなる一般的なＡＶ再生装置を示す図である。図２２は、複数のチップ構成からなる一般的なＡＶ再生装置の別の例である。図２３は、複数のチップ構成からなる一般的なＡＶ再生装置の別の例である。

図２０乃至図２３を用いて、図１６及び図１７に示す特許文献１の技術を複数チップで実現する場合や、図１８及び図１９に示す特許文献２の技術を複数チップで実現する場合の例に倣って、図１１や図１２に示すＡＶ再生装置を複数のチップから構成した場合において、同期を行う機能の必須となる構成要素及びその動作の例を、具体的に説明する。

図２０の構成におけるビデオとオーディオの同期をとって提示する動作について説明する。図２０において、ビデオデコーダ４１２、ビデオクロック発生器４１１、ビデオ提示器４１３、ビデオ時計４１４、オーディオデコーダ４２２、オーディオクロック発生器４２１、オーディオ提示器４２３、オーディオ時計４２４、オーディオ選択器４３１、ずれ検出器４３０、オーディオデータ数補正器４２５の動作は、図１１に示す例と同様である。

図２０において、コマンド送信器４３３は、オーディオ時計から出力される時間通知をずれ検出器４３０に転送するためのもので、ビデオ処理チップ４００とオーディオ処理チップ４０１の間の制御コマンドを転送するためのコマンド転送用シリアルインターフェースを制御する。また、オーディオ提示器４２３の出力はビデオ処理チップ４００にあるオーディオ選択器４３１に、音声転送用シリアルインターフェースを通して転送される。

図２０の構成においてビデオとオーディオの同期をとって提示する方法は、オーディオ時計から出力される時間通知がコマンド送信器４３３からコマンド転送用シリアルインターフェースを通してビデオ処理チップ４００に転送される点を除き、図１１に示す例と同様である。

ここで、コマンド転送用シリアルインターフェース及び音声転送用シリアルインターフェースの動作について説明する。図２４は、従来のＡＶ再生装置で用いられるコマンドデータ転送用シリアルインターフェースの詳細な構成図及びタイミング図である。

図２４（ａ）はコマンド転送用シリアルインターフェースのチップ間の接続構成の例を示している。また図２４（ｂ）は、コマンド転送用シリアルインターフェースの転送フォーマットを示している。この構成は、一般的な３線式のシリアルインターフェースである。ビデオ処理チップ又はデコード処理チップから転送用のクロックが供給され、そのクロックに同期してコマンドや応答データや通知データを転送する。一般的に、データの送受信は、コマンドや応答データや通知データの転送の必要が生じたときに、ソフトウェア処理にてコマンドデータや応答データや通知データを作成し、ソフトウェア処理にてコマンド転送用シリアルインターフェースのハードウェアに通信の開始を指示し、コマンド転送用シリアルインターフェースのハードウェアがデータの実際の転送動作を行う。

図２５は、従来のＡＶ再生装置で用いられるオーディオデータ転送専用シリアルインターフェースの詳細な構成図及びタイミング図である。図２５（ａ）はオーディオデータ転送専用シリアルインターフェースのチップ間の接続構成の例を示している。また図２５（ｂ）は、ＰＣＭサンプルデータの１サンプル分のオーディオデータ転送専用シリアルインターフェースの転送フォーマットを示している。

この構成は、一般的なＰＣＭサンプルデータの転送シリアルインターフェースである。ＬＲＣＫは、１サンプルごとに１周期するクロックである。ＢＣＬＫはＰＣＭサンプルデータの各ビットデータを転送するためのクロックである。ＳＤＯから出力されるデータがオーディオデータで、例えば右チャンネルのデータ１６ビットと左チャンネルのデータ１６ビットからなっている。なお、図２５の例では、ＢＣＬＫは１ＰＣＭサンプルデータあたり４０ビット分あり、従って８ビットは空きビットとなっている。

オーディオデータの転送は、図２５（ｂ）に示す１サンプル分のオーディオデータ転送専用シリアルインターフェースのフォーマットによる動作が連続的に行われることによってなされる。従って、オーディオデータはオーディオデコーダ４２２で随時生成される必要がある。通常は、オーディオデコーダ４２２は１回のデコード動作で複数のサンプル（例えばＡＡＣの場合１０２４サンプルなど）を生成し、ソフトウェア処理にてオーディオデータ転送専用シリアルインターフェースに通信の開始を指示し、その後、生成した複数サンプル（１０２４サンプル分）を自動的にかつ連続的に出力する動作を行う。

最初に生成したサンプル分のオーディオデータを出力し終わる前にオーディオデコーダ４２２はデコード動作を行って次の複数サンプルデータ（１０２４サンプル）を生成し、出力待ちとなる。オーディオデータ転送専用シリアルインターフェースにおいて、最初に生成したサンプル分（１０２４サンプル分）のオーディオデータを出力し終わると、次に生成したサンプル（１０２４サンプル）の出力を自動的に開始する。この動作を繰り返すことにより、オーディオデータが連続的に転送される。

図２１の構成におけるビデオとオーディオの同期をとって提示する動作について説明する。図２１において、ビデオデコーダ４１２、ビデオクロック発生器４１１、ビデオ提示器４１３、ビデオ提示時間調整器４１５、オーディオデコーダ４２２、オーディオクロック発生器４２１、オーディオ提示器４２３、オーディオ時計４２４、オーディオ選択器４３１の動作は、図１２と同様である。図２１の、コマンド送信器は図２０と同様であり、オーディオ時計から出力される時間通知をビデオ処理チップ４００に転送するためのものである。

オーディオ提示器４２３の出力は、ビデオ処理チップ４００にあるオーディオ選択器４３１に音声転送用シリアルインターフェースを通して転送される点も、図２０と同様である。図２１の構成においてビデオとオーディオの同期をとって提示する方法は、オーディオ時計から出力される時間通知がコマンド送信器４３３からコマンド転送用シリアルインターフェースを通してビデオ処理チップ４００に転送される点を除き、図１２と同様である。

図２２の構成におけるビデオとオーディオの同期をとって提示する動作について説明する。図２２において、ビデオデコーダ４１２、ビデオクロック発生器４１１、ビデオ提示器４１３、ビデオ時計４１４、オーディオデコーダ４２２、オーディオクロック発生器４２１、オーディオ提示器４２３、オーディオ時計４２４、オーディオ選択器４３１、ずれ検出器４３０、オーディオデータ数補正器４２５の動作は、図１１と同様である。

図２２において、コマンド送信器４３３は、オーディオデコーダ４２２から出力される時計リセット信号をオーディオ時計に転送するためのもので、デコード処理用チップ４０２とＡＶ提示用チップ４０３の間の制御コマンドを転送するためのコマンド転送用シリアルインターフェースを制御する。また、オーディオデコーダ４２２の出力はＡＶ提示用チップ４０３にあるオーディオデータ数補正器４２５に、音声転送用シリアルインターフェースを通して転送される。

図２２の構成においてビデオとオーディオの同期をとって提示する方法は、オーディオデコーダ４２２から時計リセット信号がコマンド送信器４３３からコマンド転送用シリアルインターフェースを通してＡＶ提示用チップ４０３に転送される点を除き、図１１と同様である。また、コマンド転送用シリアルインターフェース及び音声転送用シリアルインターフェースの動作についても、図２０と同様である。

図２３の構成におけるビデオとオーディオの同期をとって提示する動作について説明する。図２３において、ビデオデコーダ４１２、ビデオクロック発生器４１１、ビデオ提示器４１３、ビデオ提示時間調整器４１５、オーディオデコーダ４２２、オーディオクロック発生器４２１、オーディオ提示器４２３、オーディオ時計４２４、オーディオ選択器４３１の動作は、図１２と同様である。図２３のコマンド送信器は、図２２と同様であり、オーディオデコーダ４２２から出力される時計リセット信号をＡＶ提示用チップ４０３に転送するためのものである。また、オーディオデコーダ４２２の出力はＡＶ提示用チップ４０３にあるオーディオ提示器４２３に、音声転送用シリアルインターフェースを通して転送される。

図２３の構成においてビデオとオーディオの同期をとって提示する方法は、オーディオデコーダ４２２から時計リセット信号がコマンド送信器４３３からコマンド転送用シリアルインターフェースを通してＡＶ提示用チップ４０３に転送される点を除き、図１２と同様である。

また、コマンド転送用シリアルインターフェース及び音声転送用シリアルインターフェースの動作についても図２０と同様である。なお、図１６乃至２３は、概ね２つのチップに分かれている例を示しており、さらにチップが分かれる場合もあるが、基本的な構成は変わらない。
特開２００３−３３９０２３号公報 特開２００８−１１３３７号公報

前記のように、図９に示す特許文献１や図１０に示す特許文献２に倣って示した図７及び図８のＡＶ再生装置に対し、複数のチップで実現した図２０乃至図２３に示すＡＶ再生装置において生じる問題の発生メカニズムについて述べる。

図２０乃至図２３に示すＡＶ再生装置の場合、同期再生を実現するための情報をチップ間で通信して送信する必要がある。図２０及び図２１において、オーディオ時計４２４から出力される時刻通知は、コマンド送信器４３３を介してずれ検出器４３０に転送する。このため、コマンド送信器４３３での転送処理で時刻通知が遅延する。

例えば、コマンド送信器４３３は、コマンド転送用シリアルインターフェースのハードウェアとコマンド転送用シリアルインターフェースを制御するソフトウェアのモジュールとして実装される。コマンド送信器４３３のソフトウェアモジュールの実行タイミングは、オーディオ処理チップ４０１内の他のすべてのソフトウェアモジュールとの関係で決まり、コマンド送信器４３３のソフトウェアモジュールの実行の優先度が低い場合には、なかなか実行がされずに、オーディオ時計からの時刻通知のビデオ処理チップ４００への出力が遅延する。

また、当然ながら、コマンド転送用シリアルインターフェース自体の遅延も存在する。さらに、コマンド送信器４３３のソフトウェアモジュールの実行タイミングが一定間隔とならない場合には、オーディオ時計からの時刻通知の出力の遅延量も一定にならない。

図２６は、ＡＶ再生装置をビデオ処理チップとオーディオ処理チップに分けてビデオにオーディオを合わせる場合の動作を示すタイミング図である。図２６（ａ）に示すオーディオデータの提示が早い場合において、２秒目までの音を提示し終わった時点のオーディオ時計からの時間通知が、ずれ検出器に遅延して到着している。

ずれ検出器は、２枚目の画像の提示終了に対応するビデオ時計からの時間通知と２秒目までの音の提示終了に対応する遅延して到着したオーディオ時計からの時間通知とを比較し、オーディオデータの提示が遅れていると判断し、３秒目までの音に対してオーディオデータを減少させるようにオーディオデータの補正命令を出力する。

その後、３秒目までの音が減少し、減少した３秒目までの音を提示し終わった時点でオーディオ時計からの時間通知が出力される。３秒目までの音を提示し終わった時点でオーディオ時計からの時間通知は、遅延無くずれ検出器に到着した場合には、オーディオデータの提示が進んでいると判断し、４秒目までの音に対してオーディオデータを増加させるようにオーディオデータの補正命令を出力する。その後、４秒目までの音が減少しているが、増加した４秒目までの音を提示し終わった時点で再びオーディオデータの提示が進んでいると判断し、５秒目までの音に対してオーディオデータを増加させるようにオーディオデータの補正命令を出力している。

このように、オーディオ時計からの時間通知が遅延する又は遅延量が一定にならないことによって、オーディオデータの提示が早い場合においては通常オーディオ時計からの時間通知が遅延しなければ行われることがないオーディオデータを、減少させる補正が行われてしまう問題点がある。さらに、オーディオデータの補正が増加や減少の両方を伴って頻繁に行われ、音質が非常に悪くなるという問題がある。

図２６（ｂ）に示すオーディオデータの提示が遅い場合においても、図２６（ａ）に示すオーディオデータの提示が早い場合と同じ問題が生じている。

図２７は、ＡＶ再生装置をビデオ処理チップとオーディオ処理チップに分けてオーディオにビデオを合わせる場合の動作を示すタイミング図である。

図２７（ａ）に示すオーディオデータの提示が早い場合において、１秒目までの音を提示し終わった時点のオーディオ時計からの時間通知が、ビデオ提示時間調整器に、遅延をして到着している。従って、１枚目の画像の提示時間が長くなり、２枚目の画像の提示開始が遅れている。２秒目までの音を提示し終わった時点でのオーディオ時計からの時間通知が遅延無くビデオ提示時間調整器に到着した場合には、２枚目の画像の提示時間が短くなり、３枚目の画像の提示開始が早くなっている。

このように、オーディオ時計からの時間通知が遅延する又は遅延量が一定にならないことによって、オーディオとの同期がとれないばかりではなく、各画像の提示時間が長くなったり短くなったりする問題がある。

図２７（ｂ）に示すオーディオデータの提示が遅い場合においても、図２７（ａ）に示すオーディオデータの提示が早い場合と同じ問題が生じている。

図２６及び図２７の例で示す問題は、オーディオ時計がオーディオ処理用チップに存在し、オーディオ時計から出力される時間通知をビデオ処理チップに連絡しなければならないことに起因している。

図２８は、ＡＶ再生装置をデコード処理チップとＡＶ提示用チップに分けてビデオにオーディオを合わせる場合の動作を示すタイミング図である。

図２８（ａ）に示すオーディオデータの提示が早い場合において、オーディオデコーダから出力されるオーディオ時計のリセット信号が遅延して到着している。オーディオ時計は、このオーディオデコーダから出力されるオーディオ時計のリセット信号を受信後からカウントを行うので、１秒目までの音を提示し終わった時点のオーディオ時計からの時間通知が、ずれ検出器に、遅延をして到着している。ずれ検出器は、オーディオデータの提示が遅れていると判断し、２秒目までの音に対してオーディオデータを減少させるようにオーディオデータの補正命令を出力する。

このように、オーディオ時計のリセット信号が遅延して到着することによって、オーディオデータの提示が早い場合においては通常オーディオ時計からの時間通知が遅延しなければ行われることがないオーディオデータを減少させる補正が行われてしまう問題点がある。

図２８（ｂ）に示すオーディオデータの提示が遅い場合においても、オーディオ時計のリセット信号が遅延して到着することによって、提示を開始してから早いタイミングで、すなわち、図２８（ｂ）の例では、２秒目までの音に対してオーディオデータを増加させてしまう問題点がある。

図２９は、ＡＶ再生装置をデコード処理チップとＡＶ提示用チップに分けてオーディオにビデオを合わせる場合の動作を示すタイミング図である。

図２９（ａ）に示すオーディオデータの提示が早い場合において、オーディオデコーダから出力されるオーディオ時計のリセット信号が遅延して到着している。オーディオ時計は、このオーディオデコーダから出力されるオーディオ時計のリセット信号を受信後からカウントを行うので、実際のオーディオ提示のタイミングとずれてオーディオ時計からの時間通知が出力されている。ビデオの提示のタイミングの決定は、ビデオ提示時間調整器においてこのオーディオ時計からの時間通知に基づいて行われるので、ビデオとオーディオがずれた状態、すなわちビデオの提示が、実際のオーディオの提示に対し遅れた状態で提示され続ける問題がある。

図２９（ｂ）に示すオーディオデータの提示が遅い場合においても、図２９（ａ）に示すオーディオデータの提示が早い場合と同じ問題が生じている。また、オーディオデコーダから出力されるオーディオ時計のリセット信号がオーディオデータに対して早く到着する場合も考えられ、同様にビデオとオーディオがずれた状態、すなわちビデオの提示が、実際のオーディオの提示に対し進んだ状態で提示され続ける。

図２８及び図２９の例で示す問題は、ＡＶ提示用チップのオーディオ時計のカウントを開始させる有効なオーディオデータすなわち有効なＰＣＭサンプルデータがどこからなのかが、従来の音声転送用シリアルインターフェースでは正確にはわからないことに起因している。

上述した課題を解決するために、本発明に係る再生装置は、ビデオデータとオーディオデータとを同期して再生する再生装置であって、ビデオストリームを復号してビデオデータを生成するビデオデコーダと、オーディオストリームを復号してオーディオデータを生成するオーディオデコーダと、前記ビデオ及びオーディオの再生タイミングを通知するそれぞれビデオタイミング通知部及びオーディオタイミング通知部と、前記ビデオと前記オーディオの同期のための情報である情報ビットを前記オーディオデータに付加する情報ビット付加部と、前記ビデオタイミング通知部及びオーディオタイミング通知部からの再生タイミングの通知に基づき前記オーディオデータの再生長さを調整するオーディオ再生時間調整部と、前記ビデオデコーダからのビデオデータを再生するビデオ再生部と、前記オーディオ再生時間調整部から再生長さを調整済みのオーディオデータを受け取り再生するオーディオデータ再生部とを有し、前記オーディオタイミング通知部は、前記情報ビットに基づきオーディオの再生タイミングを通知する、ことを特徴とする。

本発明に係る他の再生装置は、ビデオデータとオーディオデータとを同期して再生する再生装置であって、ビデオストリームを復号してビデオデータを生成するビデオデコーダと、オーディオストリームを復号してオーディオデータを生成するオーディオデコーダと、前記オーディオデータ再生タイミングを通知するオーディオタイミング通知部と、前記ビデオと前記オーディオの同期のための情報である情報ビットを前記オーディオデータに付加する情報ビット付加部と、前記オーディオタイミング通知部からの通知に基づきビデオの再生長さを調整するビデオ再生時間調整部と、前記ビデオ再生時間調整部から再生長さを調整済みのビデオデータを受け取り再生するビデオ再生部と、前記情報ビット付加部からのオーディオデータを再生するオーディオ再生部とを有し、前記オーディオタイミング通知部は、前記情報ビットに基づきオーディオの再生タイミングを通知する、ことを特徴とする。

本発明においては、オーディオデータにビデオとオーディオを同期させるための情報を付加するため、オーディオデータと共に当該同期のための情報を受信することができる。これを使用してビデオとオーディオを同期させることができるため、従来のようにコマンドで同期タイミングを通知する必要がない。

本発明に係るによれば、ビデオとオーディオデータとを正確に同期させることができる再生装置及び再生方法を提供することができる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、圧縮されたオーディオデータとビデオデータをデコードし提示するシステムにおいて、オーディオデコーダとビデオデコーダが別々のチップで処理され、再生のためにオーディオとビデオの同期をとる必要がある再生装置に適用したものである。

第１の実施の形態．
本実施の形態においては、ＰＣＭデータを転送するシリアルインターフェースのフォーマットの１フレームの中で、空いていて通常破棄されるビットに、オーディオデータが開始されたことを示す情報とオーディオ時計を何サンプル分進めるかの情報を割りあてて送出することにより、ＰＣＭデータを受信する側でのオーディオ再生時間のカウントを容易にし、ビデオの画像提示との同期を容易とする。

図１は、本発明の第１の実施の形態にかかるビデオとオーディオの同期をとって提示するＡＶ再生装置を示す図である。このＡＶ再生装置は、ビデオにオーディオを合わせて提示する。図１に示すように、ＡＶ再生装置は、ビデオ処理チップ１００と、オーディオ処理チップ１０１とを有する。ビデオ処理チップ１００は、ビデオデコーダ１１２、ビデオ再生部としてのビデオ提示器１１３、ビデオタイミング通知部としてのビデオ時計１１４、オーディオタイミング通知部としてのオーディオ時計１２４、ずれ検出器１３０、オーディオ再生部としてのオーディオ選択器１３１、及び情報ビット検出器１３２を有する。オーディオ処理チップ１０１は、オーディオデコーダ１２２、オーディオデータ数補正器１２５、情報ビット付加器１２６、オーディオ提示器１２３を有する。ビデオ処理チップ１００とオーディオ処理チップ１０１とは、コマンド転送用シリアルインターフェース１４１、オーディオ転送用専用シリアルインターフェース１４２を介して接続されている。なお、本実施の形態においては、オーディオ選択器１３１をビデオ処理チップに設けているが、オーディオＰＣＭデータを取り扱うブロックがビデオ処理チップにあればよく、例えばオーディオ提示器１２３をオーディオ処理チップではなくビデオ処理チップに設け、オーディオ選択器を省略してもよい。その場合、オーディオ提示器がオーディオ再生部として機能する。

ビデオデコーダ１１２は圧縮されたビデオストリームを入力し伸張処理を行って、ビデオ提示器１１３にビデオデータを出力する。また、ビデオデコーダ１１２は、先頭のビデオデータのデコードの開始時に、ビデオ時計１１４の時計リセット信号を出力する。ビデオクロック発生器１１１はビデオ提示器１１３にビデオの提示動作のためのクロックを発生する。また、ビデオクロック発生器１１１はビデオ時計１１４へも時計のカウントのためのカウントクロックを供給する。ビデオ提示器１１３はビデオクロック発生器１１１から入力されるクロックをもとに、提示のための信号を生成し、入力されるビデオデータを混合する。提示の信号は、デジタルデータと仮定する。ビデオ時計１１４は、ビデオデコーダ１１２からのリセット信号の受信後からビデオクロック発生器１１１のカウントクロックをもとにカウントを開始し、ビデオの提示のタイミングを示す時間通知をずれ検出器１３０に通知する。

一方、オーディオデコーダ１２２は圧縮されたオーディオストリームを入力し伸張処理を行って、オーディオデータ数補正器１２５にオーディオデータを出力する。オーディオクロック発生器１２１はオーディオ提示器１２３にオーディオの提示動作のためのクロックを発生する。オーディオ提示器１２３はオーディオクロック発生器１２１から入力されるクロックをもとに、提示のための信号を生成し、入力されるオーディオを混合する。提示の信号は、デジタルデータと仮定する。オーディオ選択器１３１は、複数のオーディオデータの入力ソースから、提示するオーディオデータを選択する機能である。

ずれ検出器１３０は、ビデオ時計１１４から入力される時間通知とオーディオ時計１２４から入力される時間通知を比較し、ずれが生じている場合に、オーディオデータ数補正器１２５にオーディオデータの補正命令を出力する。オーディオデータ数補正器１２５は入力されるオーディオデータの補正命令に従って、オーディオデータのデータ数を、サンプリングレート変換を用いたり、又はオーディオデータの一部のデータの削除や一部のデータを挿入するなどして、データ数を多くしたり少なくしたりする。

ここで、図１に示す本実施の形態にかかるＡＶ再生装置は、図２０に示す従来の一般的なＡＶ再生装置と異なり、情報ビット付加器１２６がオーディオ処理チップ１０１に付加されている。この情報ビット付加器１２６は、ＰＣＭサンプルデータを転送するオーディオ転送専用シリアルインターフェースのフォーマットの中に、ビデオとオーディオの提示の同期のための情報、すなわち図２に示す「オーディオデータが開始されたことを示すビット」及び「オーディオ時計を何サンプル分進めるかを示すビット群」を添付する動作を行う。

図２は、本実施の形態にかかるＡＶ再生装置で用いられるオーディオデータ転送専用シリアルインターフェースの詳細なタイミング図である。図２において、情報ビットａの部分に「オーディオデータが開始されたことを示すビット」及び「オーディオ時計を何サンプル分進めるかを示すビット群」を割り当てる。図２の例では、「オーディオデータが開始されたことを示すビット」は１ビットで、「オーディオ時計を何サンプル分進めるかを示すビット群」には３ビットを割り当てているが、割り当てる位置及び割り当てるビット数はこの限りではない。また、図２において情報ビットｂは空きビットになっているがこの部分に「オーディオデータが開始されたことを示すビット」及び「オーディオ時計を何サンプル分進めるかを示すビット群」を割り当てても良いし、情報ビットａに加えて、「オーディオ時計を何サンプル分進めるかを示すビット群」を拡張して割り当ててもよい。また、図２において、ＢＣＬＫは１ＰＣＭサンプルデータあたり４０ビット分あり、従って空いていて通常破棄される８ビットの中に情報ビットを割り当てた。ＢＣＬＫが３２ビットの場合には空きビットがないが、オーディオデータ転送専用シリアルインターフェースは４０ビットまたは６４ビットに拡張する機能を通常搭載しており、ＢＣＬＫを４０ビットまたは６４ビットに拡張することは容易である。またＢＣＬＫが他のビット数で設計されたとしても、情報ビットを割り当てることができることは言うまでもない。更に、本実施の形態においては、各ＰＣＭデータにオーディオデータが開始されたことを示すビット」及び「オーディオ時計を何サンプル分進めるかを示すビット群」を付加するものとして説明するが、例えば１０ＰＣＭデータに１つなどとしてもよいことは言うまでもない。

図２に示す「オーディオデータが開始されたことを示すビット」及び「オーディオ時計を何サンプル分進めるかを示すビット群」は、情報ビット付加器１２６により各ビットが０又は１に設定される。

「オーディオデータが開始されたことを示すビット」は、オーディオデコーダ１２２が先頭のオーディオデータのデコードが開始したときに、先頭のオーディオデータのＰＣＭサンプルデータの「オーディオデータが開始されたことを示すビット」に対して、１にセットされる。以後は、０にセットされる。

「オーディオ時計を何サンプル分進めるかを示すビット群」は、通常は値１が設定される。オーディオデータ数補正器１２５によってオーディオデータが追加された場合には、追加されたＰＣＭサンプルデータに対して０が設定される。また、オーディオデータ数補正器１２５によってオーディオデータが削除された場合には、削除されたＰＣＭサンプルデータの直前の又は直後に続くＰＣＭサンプルデータに対して、削除されたＰＣＭサンプルデータの個数を加えた値が設定される。例えば、２個のＰＣＭサンプルデータを削除した場合には、値３が設定される。

また、図１に示す本実施の形態にかかるＡＶ再生装置は、図２０に示す従来の一般的なＡＶ再生装置と異なり、オーディオ時計１２４をビデオ処理チップ１００に搭載し、さらにビデオ処理チップ１００には情報ビット検出器１３２が付加されている。

情報ビット検出器１３２は、前記の情報ビット付加器１２６でオーディオ転送専用シリアルインターフェースのＰＣＭサンプルデータの中に付加された「オーディオデータが開始されたことを示すビット」及び「オーディオ時計を何サンプル分進めるかを示すビット群」の値を検出する。「オーディオデータが開始されたことを示すビット」が１であれば、オーディオ時計１２４に時計リセット信号を出力する。また、「オーディオ時計を何サンプル分進めるかを示すビット群」に従って、オーディオ時計１２４にカウント制御信号を出力する。オーディオ選択器１３１、情報ビット検出器１３２、及びオーディオ時計１２４はいずれもビデオ処理チップ１００内に存在するため、リセット信号などに遅延が生じることがない、又は遅延が小さい。

オーディオ時計１２４は、時計リセット信号によってカウントがリセットされ、以後、オーディオ転送専用シリアルインターフェースのＬＲＣＫによってカウントされる。音楽転送専用シリアルインターフェースのＬＲＣＫは１ＰＣＭサンプルの転送周期を示すクロックであるため、カウントクロックとして使用できる。ただし、オーディオ時計１２４の１回のカウント動作は、「オーディオ時計を何サンプル分進めるかを示すビット群」によって何カウントするかが決まる。すなわち、「オーディオ時計を何サンプル分進めるかを示すビット群」の値が０の場合には、カウントを行わない。「オーディオ時計を何サンプル分進めるかを示すビット群」の値が１の場合には、１回のカウント動作でプラス１カウントを行う。「オーディオ時計を何サンプル分進めるかを示すビット群」の値が２の場合には、１回のカウント動作でプラス２カウントを行う。それより大きい値でも同様に、１回のカウント動作で「オーディオ時計を何サンプル分進めるかを示すビット群」の値に従ってカウントを行う。

このような本実施の形態にかかるＡＶ再生装置の動作について説明するオーディオデコーダ１２２は圧縮されたオーディオストリームを入力し伸張処理を行ってオーディオデータを出力する。オーディオデコーダ１２２は、１回のデコード動作で複数のサンプル（例えばＡＡＣの場合１０２４サンプルなど）を生成するが、この動作は図２０で説明した動作と同じである。また、オーディオデコーダ１２２は、先頭のオーディオデータのデコードの開始時に、情報ビット付加器１２６に対して、「オーディオデータが開始されたことを示すビット」を先頭のオーディオデータのＰＣＭサンプルデータに付加するように指示する。

オーディオデータ数補正器１２５は、最初はオーディオデータの補正命令は受信していないのでオーディオデータに対して何もしない。情報ビット付加器１２６は、オーディオデコーダ１２２からの指示によって「オーディオデータが開始されたことを示すビット」を付加し、さらにオーディオデータ数補正器１２５からの指示によって「オーディオ時計を何サンプル分進めるかを示すビット群」を設定するが、ＰＣＭサンプルデータの追加も削除も行っていないので、各ＰＣＭサンプルデータに１を設定する。このように加工されたオーディオデータであるＰＣＭサンプルデータは、オーディオ提示器１２３にてオーディオ転送専用シリアルインターフェースのフォーマットに変換され、ビデオ処理チップ１００に出力される。

ビデオ処理チップ１００のオーディオ選択器１３１は入力されたオーディオデータを提示する。ここで、情報ビット検出器１３２は、入力されたオーディオデータであるＰＣＭサンプルデータに添付されている「オーディオデータが開始されたことを示すビット」及び「オーディオ時計を何サンプル分進めるかを示すビット群」を検出する。先頭のオーディオデータでは「オーディオデータが開始されたことを示すビット」は１であるので、オーディオ時計１２４をリセットする。オーディオ時計１２４はリセットされた後、ＰＣＭサンプルデータの入力に従ってカウントを行う。

図３は、本実施の形態のオーディオデータが増加又は削除されていないときのオーディオ時計が出力する時間通知の出力タイミングを示すタイミング図である。通常は、図３に示すように、４４１００サンプルごとにオーディオ時計から時間通知が出力される。

図１４（ａ）に示すように、オーディオデータの提示がビデオデータの提示より早い場合に、ずれ検出器１３０から、オーディオデータの補正命令がオーディオデータ数補正器１２５に対して出力される。オーディオデータ数補正器１２５は、入力されるオーディオデータの補正命令に従って、オーディオデータのデータ数を増加させる。増加したオーディオデータであるＰＣＭサンプルデータの「オーディオ時計を何サンプル分進めるかを示すビット群」には０が設定される。このように加工されたオーディオデータであるＰＣＭサンプルデータは、オーディオ提示器１２３を通って情報ビット検出器１３２で検出され、オーディオ時計１２４のカウントが行われる。

図４は、本実施の形態のオーディオデータが増加されているときのオーディオ時計が出力する時間通知の出力タイミングを示すタイミング図である。オーディオ時計１２４が、４４０９９までカウントした後、「オーディオ時計を何サンプル分進めるかを示すビット群」が０のために４４０９９を２個のＰＣＭサンプルデータ分保ち、次のカウントで１になると同時に、時間通知を出力している。

図１４（ｂ）に示すように、オーディオデータの提示がビデオデータの提示より遅い場合に、ずれ検出器１３０から、オーディオデータの補正命令がオーディオデータ数補正器１２５に対して出力される。オーディオデータ数補正器１２５は、入力されるオーディオデータの補正命令に従って、オーディオデータのデータ数を減少させる。減少したオーディオデータであるＰＣＭサンプルデータの「オーディオ時計を何サンプル分進めるかを示すビット群」には削除された個数分が加算された値が設定される。このように加工されたオーディオデータであるＰＣＭサンプルデータは、オーディオ提示器１２３を通って情報ビット検出器１３２で検出され、オーディオ時計１２４のカウントが行われる。

図５は、本実施の形態のオーディオデータが減少されているときのオーディオ時計が出力する時間通知の出力タイミングを示すタイミング図である。オーディオ時計１２４が、４４０９７までカウントした後、「オーディオ時計を何サンプル分進めるかを示すビット群」が３のために、次のカウントで１になると同時に、時間通知を出力している。

以上の動作によって、通常の場合に対してサンプルデータを追加したり削除した場合には、オーディオ時計から出力される時間通知が遅くなったり早くなったりし、オーディオの提示とビデオとの提示の時間とをあわせる動作を行うことができる。

また、以上の例でわかるとおり、「オーディオ時計を何サンプル分進めるかを示すビット群」が追加された理由としては、図１３に示すように、オーディオ時計１２４は、オーディオデータ数補正器１２５によって追加された分や削除された分を考慮してカウントされなければならないためである。

このような本実施の形態にかかるＡＶ再生装置が、従来の問題点を解決し、ビデオとオーディオを正確に同期させることができる理由について説明する。図２０に示す従来の一般的なＡＶ再生装置において、オーディオ時計５２４から出力される時間通知がコマンド送信器５３３を通してビデオ処理チップ５００に転送されていたが、図１に示す本実施の形態にかかるＡＶ再生装置では、ＰＣＭサンプルデータに添付される「オーディオデータが開始されたことを示すビット」によってオーディオ時計をリセットし「オーディオ時計を何サンプル分進めるかを示すビット群」によってオーディオ時計をカウントする。このため、オーディオ時計１２４をビデオ処理チップ１００に存在させることができ、オーディオ時計から出力する時間通知をコマンド転送用シリアルインターフェース１４１で転送する必要がない。

従って、図２６に示す、ＡＶ再生装置をビデオ処理チップとオーディオ処理チップに分けてビデオにオーディオを合わせる場合におけるオーディオ時計の時間通知が大きく遅延したり、全く遅延しなかったりしたときの動作を示すタイミング図におけるオーディオ時計１２４から出力される時間通知が遅延することがなく、図１４で示すビデオにオーディオを合わせて提示する場合の提示が合う様を表したタイミング図の理想的な同期動作を行うことができる。

第２の実施の形態.
図６は、本発明の第２の実施の形態にかかるＡＶ再生装置を示す図である。なお、図６及び後述する図７、図８において、図１と同一構成要素には、同一の符号を付しその詳細な説明は省略する。ビデオデコーダ１１２は圧縮されたビデオストリームを入力し伸張処理を行ってビデオデータを出力する。ビデオクロック発生器１１１はビデオ提示器１１３にビデオの提示動作のためのクロックを発生する。ビデオ提示器１１３はビデオクロック発生器１１１から入力されるクロックをもとに、提示のための信号を生成し、入力されるビデオを混合する。提示の信号は、デジタルデータと仮定する。

一方、オーディオデコーダ１２２は圧縮されたオーディオストリームを入力し伸張処理を行ってオーディオデータを出力する。オーディオクロック発生器１２１はオーディオ提示器１２３にオーディオの提示動作のためのクロックを発生する。オーディオ提示器１２３はオーディオクロック発生器１２１から入力されるクロックをもとに、提示のための信号を生成し、入力されるオーディオを混合する。提示の信号は、デジタルデータと仮定する。図６では、ビデオに音声を合わせることは行わないので、オーディオデータ数補正器１２５は搭載されていない。

オーディオ時計１２４、情報ビット検出器１３２の動作については、図６に示す第１の実施の形態に係るＡＶ再生装置での説明と同じである。ただし、本実施の形態においては、オーディオデータの時間調整をするものではなく、ビデオ提示時間を調整してオーディオとビデオの再生タイミングを同期させる。このため、情報ビット付加器１２６は、第１の実施の形態で示した「オーディオ時計を何サンプル分進めるかを示すビット群」を設定する必要がない。なお、例えば常に１に設定しておいてもよい。その他の点は第１の実施の形態と同様である。

このような図６に示す本実施の形態にかかるＡＶ再生装置のビデオデータとオーディオデータの提示を合わせる動作は、第１の実施の形態と同様に、まずオーディオ時計１２４がリセットされ、ＰＣＭサンプルデータの入力ごと、又は常に１に設定されている「オーディオ時計を何サンプル分進めるかを示すビット群」を参照してオーディオ時計１２４をカウントし、ビデオ提示時間調整器１１５に時間通知出力する。ビデオ提示時間調整器１１５は、入力されるオーディオのタイミングを示す時間通知を元に、ビデオの提示時間を調整し、ビデオ提示器１１３に出力する。

本実施の形態においても、第１の実施の形態と同様の効果を奏する。従って、図６のようなＡＶ再生装置であっても、第１の実施の形態と同じように、ＰＣＭサンプルデータに添付される「オーディオデータが開始されたことを示すビット」によってオーディオ時計をリセットし「オーディオ時計を何サンプル分進めるかを示すビット群」によってオーディオ時計をカウントするので、オーディオ時計はビデオ処理チップ１００に存在させることができ、オーディオ時計から出力する時間通知をコマンド転送用シリアルインターフェースで転送する必要がない。

従って、図２７のように、ＡＶ再生装置をビデオ処理チップとオーディオ処理チップに分けてオーディオにビデオを合わせる場合におけるオーディオ時計４２３の時間通知が大きく遅延したりまったく遅延しなかったりすることがなく、ビデオデータとオーディオデータの提示をあわせることができる。
第３の実施の形態．

図７は、本発明の第３の実施の形態にかかるＡＶ再生装置を示す図である。図７に示すＡＶ再生装置では、デコード処理チップ１０２とＡＶ提示用チップ１０３に分かれている。このＡＶ再生装置は、ビデオにオーディオを合わせて提示する。図７において、ビデオデコーダ１１２、ビデオクロック発生器１１１、ビデオ提示器１１３、ビデオ時計１１４、オーディオデコーダ１２２、オーディオクロック発生器１２１、オーディオ提示器１２３、オーディオ選択器１３１、ずれ検出器１０３、オーディオデータ数補正器１２５は、図１に示す第１の実施の形態と同様である。

このような図７に示すＡＶ再生装置のビデオデータとオーディオデータの提示を合わせる動作は、図２２のＡＶ再生装置と同様であるが、オーディオ時計１２４のリセット信号は、コマンドではなく、第１の実施の形態で説明したように、情報ビット付加器１２６で付加された「オーディオデータが開始されたことを示すビット」の値を検出して行う。

すなわち、図２２の従来のＡＶ再生装置におけるオーディオデコーダ１２２からの時計リセット信号をコマンド送信器１３３とコマンド転送用シリアルインターフェースを通してＡＶ提示用チップ１０３に転送することを行わない。

従って、ＰＣＭサンプルデータに添付される「オーディオデータが開始されたことを示すビット」によってオーディオ時計１２４のリセット信号を伝達してオーディオ時計１２４のリセットが正確に行われる。このため、図２８で示すように、オーディオ時計のリセット信号が遅延することがなく、ビデオデータとオーディオデータの提示を合わせることができる。
第４の実施の形態．

図８は、本発明の第４の実施の形態におけるＡＶ再生装置を示す図である。図８のＡＶ再生装置では、図７と同様に、デコード処理チップ１０２とＡＶ提示用チップ１０３に分かれている。ただし、このＡＶ再生装置は、オーディオにビデオを合わせて提示する。

図８において、ビデオデコーダ１１２、ビデオクロック発生器１１１、ビデオ提示器１１３、ビデオ提示時間調整器１１５、オーディオデコーダ１２２、オーディオクロック発生器１２１、オーディオ提示器１２３、オーディオ選択器１３１、ずれ検出器１０３の動作については、図１に示す第１の実施の形態と同様である。オーディオ時計１２４、情報ビット検出器１３２の動作についても、第１の実施の形態と同様である。情報ビット付加器１２６は、「オーディオ時計を何サンプル分進めるかを示すビット群」を設定しないこととすることができる。なお、例えば常に１に設定しておいてもよい。

オーディオ時計１２４のリセット信号は、第１の実施の形態と同様、情報ビット付加器１２６で付加された「オーディオデータが開始されたことを示すビット」の値を検出して行う。

従って、デコード処理チップとＡＶ提示用チップに分かれていてオーディオにビデオを合わせて提示する場合でも、第３の実施の形態と同様、ＰＣＭサンプルデータに添付される「オーディオデータが開始されたことを示すビット」によってオーディオ時計１２４のリセット信号を伝達してオーディオ時計１２４のリセットが正確に行われるため、図２９での説明と同様、オーディオ時計のリセット信号が遅延することがなく、ビデオデータとオーディオデータの提示をあわせることができる。

以上のように、本実施の形態においては、圧縮されたオーディオデータとビデオデータをデコードし提示するシステムにおいて、オーディオ処理とビデオ処理が別々のチップに存在した場合、又はデコード処理と提示処理が別々のチップに存在した場合で、提示のためのオーディオデータとビデオデータの同期をとる必要がある場合に、ビデオデータの提示タイミングとオーディオデータの提示タイミングを測定するための機能をひとつのチップ内に搭載でき、オーディオ再生時間のカウントを容易にかつ高精度に行うことができ、ビデオの画像提示との同期が容易となる。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。

本発明の第１の実施の形態にかかるビデオとオーディオの同期をとって提示するＡＶ再生装置を示す図である。 本発明の第１の実施の形態にかかるＡＶ再生装置で用いられるオーディオデータ転送専用シリアルインターフェースの詳細なタイミング図である。 本発明の第１の実施の形態のオーディオデータが増加又は削除されていないときのオーディオ時計が出力する時間通知の出力タイミングを示すタイミング図である 本発明の第１の実施の形態のオーディオデータが増加されているときのオーディオ時計が出力する時間通知の出力タイミングを示すタイミング図である。」 本発明の第１の実施の形態のオーディオデータが減少されているときのオーディオ時計が出力する時間通知の出力タイミングを示すタイミング図である。 本発明の第２の実施の形態にかかるＡＶ再生装置を示す図である。 本発明の第３の実施の形態にかかるＡＶ再生装置を示す図である。 本発明の第４の実施の形態におけるＡＶ再生装置を示す図である。 特許文献１に記載のビデオとオーディオの同期をとって提示するビデオオーディオ再生装置である。 特許文献２に記載のビデオとオーディオの同期をとって再生するＡＶ再生装置である。 従来の技術によるビデオにオーディオを合わせて提示する一般的なＡＶ再生装置を示す図である。 従来の技術によるオーディオにビデオを合わせて提示する一般的なＡＶ再生装置を示す図である。 オーディオ時計が出力する時間通知の出力タイミングを示すタイミング図である。 ビデオにオーディオを合わせて提示する場合の提示が合う様を表したタイミング図である。 オーディオにビデオを合わせて提示する場合の提示が合う様を表したタイミング図である。 特許文献１におけるＡＶ再生装置を複数のチップから構成した場合の例を示す図である 許文献１におけるＡＶ再生装置を複数のチップから構成した場合の他の例を示す図である。 特許文献２におけるＡＶ再生装置を複数のチップから構成した場合の例を示す図である。 特許文献２におけるＡＶ再生装置を複数のチップから構成した場合の他の例を示す図である。 複数のチップ構成からなる一般的なＡＶ再生装置である。 複数のチップ構成からなる一般的なＡＶ再生装置を示す図である。 複数のチップ構成からなる一般的なＡＶ再生装置の別の例である。 複数のチップ構成からなる一般的なＡＶ再生装置の別の例である。 従来のＡＶ再生装置で用いられるコマンドデータ転送用シリアルインターフェースの詳細な構成図及びタイミング図である。 従来のＡＶ再生装置で用いられるオーディオデータ転送専用シリアルインターフェースの詳細な構成図及びタイミング図である。 ＡＶ再生装置をビデオ処理チップとオーディオ処理チップに分けてビデオにオーディオを合わせる場合の動作を示すタイミング図である。 ＡＶ再生装置をビデオ処理チップとオーディオ処理チップに分けてオーディオにビデオを合わせる場合の動作を示すタイミング図である。 ＡＶ再生装置をデコード処理チップとＡＶ提示用チップに分けてビデオにオーディオを合わせる場合の動作を示すタイミング図である。 ＡＶ再生装置をデコード処理チップとＡＶ提示用チップに分けてオーディオにビデオを合わせる場合の動作を示すタイミング図である。

符号の説明

１０１ オーディオ処理チップ
１０３ 検出器
１０９ 変換部
１１１ ビデオクロック発生器
１１２ ビデオデコーダ
１１３ ビデオ提示器
１１４ タイマ
１１４ ビデオ時計
１１５ ビデオ提示時間調整器
１１６ カウント部
１２１ オーディオクロック発生器
１２２ オーディオデコーダ
１２３ オーディオ提示器
１２４ オーディオ時計
１２５ オーディオデータ数補正器
１２６ 情報ビット付加器
１３０ ずれ検出器
１３１ オーディオ選択器
１３２ 情報ビット検出器
１４１ コマンド転送用シリアルインターフェース
１４２ オーディオ転送用専用シリアルインターフェース

Claims (22)

1. ビデオデータとオーディオデータとを同期して再生する再生装置であって、
   ビデオストリームを復号してビデオデータを生成するビデオデコーダと、
   オーディオストリームを復号してオーディオデータを生成するオーディオデコーダと、
   前記ビデオ及びオーディオの再生タイミングを通知するそれぞれビデオタイミング通知部及びオーディオタイミング通知部と、
   前記ビデオと前記オーディオの同期のための情報である情報ビットを前記オーディオデータに付加する情報ビット付加部と、
   前記ビデオタイミング通知部及びオーディオタイミング通知部からの再生タイミングの通知に基づき前記オーディオデータの再生長さを調整するオーディオ再生時間調整部と、
   前記ビデオデコーダからのビデオデータを再生するビデオ再生部と、
   前記オーディオ再生時間調整部から再生長さを調整済みのオーディオデータを受け取り再生するオーディオデータ再生部とを有し、
   前記オーディオタイミング通知部は、前記情報ビットに基づきオーディオの再生タイミングを通知する、再生装置。
2. 前記ビデオタイミング通知部及びオーディオタイミング通知部からの再生タイミングの通知に基づき両者のずれを検出するずれ検出部を有し、
   前記オーディオ再生時間調整部は、前記ずれ検出部が検出したずれ量に基づき前記オーディオデータの再生長さを調整する
   ことを特徴とする請求項１記載の再生装置。
3. ビデオデータとオーディオデータとを同期して再生する再生装置であって、
   ビデオストリームを復号してビデオデータを生成するビデオデコーダと、
   オーディオストリームを復号してオーディオデータを生成するオーディオデコーダと、
   前記オーディオデータ再生タイミングを通知するオーディオタイミング通知部と、
   前記ビデオと前記オーディオの同期のための情報である情報ビットを前記オーディオデータに付加する情報ビット付加部と、
   前記オーディオタイミング通知部からの通知に基づきビデオの再生長さを調整するビデオ再生時間調整部と、
   前記ビデオ再生時間調整部から再生長さを調整済みのビデオデータを受け取り再生するビデオ再生部と、
   前記情報ビット付加部からのオーディオデータを再生するオーディオ再生部とを有し、
   前記オーディオタイミング通知部は、前記情報ビットに基づきオーディオの再生タイミングを通知する、再生装置。
4. 前記情報ビットは、各データ又はデータ群におけるデコード開始位置を示すビットである開始ビットを含む
   ことを特徴とする請求項１乃至３のいずれか１項記載の再生装置。
5. 前記ビデオデコーダが生成するオーディオデータは、複数のサンプルからなるサンプルデータであり、
   前記情報ビットは、１又は複数のサンプルの追加又は削除を示す調整ビットを含む
   ことを特徴とする請求項４記載の再生装置。
6. 前記開始ビットに基づき前記オーディオタイミング通知部のカウントをリセットするリセット信号を出力する情報ビット検出部を有する
   ことを特徴とする請求項４又は５記載の再生装置。
7. 前記情報ビット検出部は、前記調整ビットに基づき前記オーディオタイミング通知部にオーディオタイミング通知部を何サンプル分進めるかを示すカウント制御信号を出力する
   ことを特徴とする請求項４乃至６のいずれか１項記載の再生装置。
8. 前記ビデオデコーダ、前記ビデオ再生部、オーディオタイミング通知部及びオーディオ再生部を含むビデオチップと、前記オーディオデコーダを含むオーディオチップとを有する
   ことを特徴とする請求項４乃至７のいずれか１項記載の再生装置。
9. 前記ビデオデコーダ及び前記オーディオデコーダを含むデコードチップと、前記ビデオ再生部、オーディオ再生部及びオーディオタイミング通知部を含む再生チップとを有する
   ことを特徴とする請求項４乃至７のいずれか１項記載の再生装置。
10. 前記ビデオチップとオーディオチップ又は前記デコードチップと前記再生チップとを接続するオーディオ転送用シリアルインターフェースを有し、
    前記情報ビット付加部は、前記シリアルインターフェースの１フレーム中の空きビットに前記情報ビットを割り当てる
    ことを特徴とする請求項８又は９記載の再生装置。
11. 前記情報ビット付加部は、サンプルデータの増加をした場合は、前記調整ビットを０にする
    ことを特徴とする請求項１０記載の再生装置。
12. 前記情報ビット付加部は、サンプルデータの減少をした場合は、前記調整ビットを前記サンプルデータの減少分増加する
    ことを特徴とする請求項１０又は１１記載の再生装置。
13. ビデオデータとオーディオデータとを同期して再生する再生装置の再生方法であって、
    ビデオ及びオーディオデータをそれぞれデコードし、
    前記ビデオと前記オーディオの同期のための情報である情報ビットを前記オーディオデータに付加し、
    前記情報ビットに基づき、前記オーディオの再生タイミングを通知するオーディオタイミング通知部をリセットし、
    前記ビデオの再生タイミングを通知するそれぞれビデオタイミング通知部及び前記オーディオタイミング通知部からの通知に基づきオーディオデータの再生長さを調整し、
    前記ビデオデコーダからのビデオデータをビデオ再生部により再生し、
    前記再生長さを調整済みのオーディオデータを受け取りオーディオ再生部により再生する、再生方法。
14. 前記ビデオタイミング通知部及び前記オーディオタイミング通知部からの通知に基づき両者のずれを検出し、
    前記検出した結果に基づきオーディオデータの再生長さを調整する
    ことを特徴とする請求項１３記載の再生方法。
15. ビデオデータとオーディオデータとを同期して再生する再生装置の再生方法であって、
    ビデオデコーダ及びオーディオデコーダによりそれぞれビデオ及びオーディオデータをそれぞれデコードし、
    オーディオデータのデコード時に前記ビデオと前記オーディオの同期のための情報である情報ビットを付加し、
    前記情報ビットに基づき、前記オーディオの再生タイミングを通知するオーディオタイミング通知部をリセットし、
    前記オーディオタイミング通知部からの通知に基づき前記ビデオデータの再生長さを調整し、
    前記再生長さを調整済みのビデオデータを受け取りビデオ再生部により再生し、
    前記情報ビットが付加されたオーディオデータをオーディオ再生部により再生する、再生方法。
16. 前記情報ビットは、各データ又はデータ群におけるデコード開始位置を示すビットである開始ビットを含む
    ことを特徴とする請求項１３乃至１５のいずれか１項記載の再生方法。
17. デコードしたオーディオデータは、複数のサンプルからなるサンプルデータであり、
    前記情報ビットは、１又は複数のサンプルの追加又は削除を示す調整ビットを含む
    ことを特徴とする請求項１６記載の再生方法。
18. 前記開始ビットに基づき前記オーディオタイミング通知部のカウントをリセットするリセット信号を出力する
    ことを特徴とする請求項１６又は１７記載の再生方法。
19. 前記調整ビットに基づき前記オーディオタイミング通知部にオーディオタイミング通知部を何サンプル分進めるかを示すカウント制御信号を出力する
    ことを特徴とする請求項１６乃至１８のいずれか１項記載の再生方法。
20. 前記再生装置は、前記ビデオデコーダ、前記ビデオ再生部、オーディオタイミング通知部及びオーディオ再生部を含むビデオチップと、前記オーディオデコーダを含むオーディオチップとを有する
    ことを特徴とする請求項１６乃至１９のいずれか１項記載の再生方法。
21. 前記再生装置は、前記ビデオデコーダ及び前記オーディオデコーダを含むデコードチップと、前記ビデオ再生部、オーディオ再生部及びオーディオタイミング通知部を含む再生チップとを有する
    ことを特徴とする請求項１６乃至１９のいずれか１項記載の再生方法。
22. 前記ビデオチップとオーディオチップ又は前記デコードチップと前記再生チップとを接続するオーディオ転送用シリアルインターフェースの１フレーム中の空きビットに前記情報ビットを割り当てる
    ことを特徴とする請求項２０又は２１記載の再生方法。

Images