JP2010206593A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】複数のビデオストリームを精度良く同期させる。
【解決手段】相関値算出部２５３は、第１のビデオストリームを構成する画像データのデータサイズと、第２のビデオストリームを構成する画像データのデータサイズとに基づいて、第１のビデオストリームを構成する画像データと、第２のビデオストリームを構成する画像データそれぞれとの類似の程度を表す相関値を算出し、相関位置検出部２５４は、算出された相関値に基づいて、第１のビデオストリームを構成する画像データに対応する、第２のビデオストリームを構成する画像データを検出する。本発明は、例えば、２つの異なるビデオストリームを同期させて再生する再生装置等に適用できる。
【選択図】図８

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、例えば、同時に撮像された複数のビデオストリームをフレーム（又はフィールド）単位で同期させるようにした画像処理装置、画像処理方法、及びプログラムに関する。

従来、例えば、同時に撮像された複数のビデオストリームを記録し、記録した複数のビデオストリームを同期させて再生する記録再生装置が存在する。

図１は、従来の記録再生装置において、同時に撮像された複数のビデオストリームを記録する記録系１の構成例を示している。

この記録系１は、例えば、所定の方向から被写体を撮像する第１のカメラ（ビデオカメラ）の撮像により得られる第１のビデオストリームと、所定の方向とは異なる方向から同一の被写体を撮像する第２のカメラの撮像により得られる第２のビデオストリームとの記録を、同時に開始する。

記録系１は、第１のビデオストリームを記録するためのものとして、入力部２１、エンコーダ２２、バッファ２３、及びHDD(hard disk drive)２４、第２のビデオストリームを記録するためのものとして、入力部２５、エンコーダ２６、バッファ２７、及び、HDD２８、並びに、第１及び第２のビデオストリームを同時に記録させるためのものとして、同期部２９、システムコントローラ３０、及び書込み制御部３１により構成される。

入力部２１には、例えば、第１のカメラの撮像により得られる第１のビデオストリームが入力される。入力部２１は、入力された第１のビデオストリームの同期をとり、垂直同期信号、水平同期信号、クロック信号等を同期信号として生成し、エンコーダ２２及び同期部２９に供給する。

また、入力部２１は、第１のビデオストリームを、エンコーダ２２に供給する。

なお、第１のビデオストリームとは、第１のカメラの撮像により得られた、複数のフレームそれぞれを表す画像データにより構成される。

エンコーダ２２は、同期部２９の指示にしたがって、入力部２１からの同期信号を用いて、入力部２１から入力される第１のビデオストリームを構成する一連の画像データを、それぞれ、フレーム内符号化により符号化（圧縮）し、その結果得られる複数の符号化データにより構成される第１の符号化ストリームを取得する。

また、エンコーダ２２は、取得した第１の符号化ストリームを構成する符号化データそれぞれのデータサイズを検出する。

エンコーダ２２は、取得した第１の符号化ストリームに、検出により得られる複数の符号化データそれぞれのデータサイズを含むヘッダを付加し、付加後の第１の符号化ストリームをバッファ２３に供給して一時的に保持させる。

バッファ２３は、エンコーダ２２から供給される第１の符号化ストリームを一時的に保持する。

HDD２４は、バッファ２３に保持されている第１の符号化ストリームを、内蔵するハードディスク（図示せず）に記録する。

なお、入力部２５、エンコーダ２６、バッファ２７、及びHDD２８は、上述した入力部２１、エンコーダ２２、バッファ２３、及びHDD２４と同様に構成されているので、個々の説明は省略する。

入力部２５、エンコーダ２６、バッファ２７、及びHDD２８では、入力部２５に入力される第２のビデオストリームが、第２の符号化ストリームに符号化されて、HDD２８に記録される。

同期部２９は、入力部２１及び入力部２５から同期信号が供給されたか否かに基づいて、入力部２１及び入力部２５の両方にビデオストリームが入力されているか否かを判定する。

そして、同期部２９は、入力部２１及び入力部２５の両方にビデオストリームが入力されていると判定したとき、入力部２１、エンコーダ２２、入力部２５、及びエンコーダ２６を制御し、入力部２１及び入力部２５それぞれに入力されるビデオストリームを、入力部２１及び入力部２５それぞれに入力された同一のタイミングで同期させて、符号化等の処理を行わせる。

システムコントローラ３０は、同期部２９及び書込み制御部３１を制御する。

書込み制御部３１は、システムコントローラ３０の指示に応じて、HDD２４を制御し、バッファ２３に保持される第１の符号化ストリームを記録させる。

また、書込み制御部３１は、システムコントローラ３０の指示に応じて、HDD２８を制御し、バッファ２７に保持される第２の符号化ストリームを記録させる。

記録系１によれば、同一のタイミングで撮像されて得られた複数の画像データからなる第１及び第２のビデオストリームを、それぞれ、第１及び第２の符号化ストリームとして記録することが可能である。

次に、図２は、従来の記録再生装置において、記録系１により記録された第１及び第２の符号化ストリームそれぞれを、復号して再生（出力）する再生系５１の構成例を示している。

この再生系５１は、記録系１により、HDD２４及びHDD２８それぞれに記録された第１及び第２の符号化ストリームを同期して再生し、その結果得られる第１及び第２のビデオストリームを後段に出力する。出力された第１及び第２のビデオストリームは、例えば、画像データどうしで合成されることにより、立体視可能的な画像が生成させる。

再生系５１は、HDD２４に記録された第１の符号化ストリームを再生するためのものとして、バッファ７１、デコーダ７２、及び出力部７３、HDD２８に記録された第２の符号化ストリームを再生するためのものとして、バッファ７４、デコーダ７５、及び出力部７６、並びに、第１及び第２のビデオストリームの同期再生を制御するためのものとして、読出し制御部７７、システムコントローラ７８、及び同期部７９により構成される。

バッファ７１は、HDD２４から供給される第１の符号化ストリームを一時的に保持する。

デコーダ７２は、バッファ７１から供給される第１の符号化ストリーム（を構成する符号化データ）を復号し、その結果得られる第１のビデオストリームを出力部７３に供給する。

出力部７３は、デコーダ７２から供給される第１のビデオストリームを構成する画像データに、同期信号等を付加し、記録系１の入力部２１に入力された第１のビデオストリームと同一のビデオストリームを出力する。

バッファ７４、デコーダ７５、及び出力部７６は、上述したバッファ７１、デコーダ７２、及び出力部７３と同様に構成されているので、個々の説明は省略する。

バッファ７４、デコーダ７５、及び出力部７６では、HDD２８に記録された第２の符号化ストリームが、第２のビデオストリームに復号されて出力される。

読出し制御部７７は、システムコントローラ７８の指示に応じて、HDD２４を制御し、第１の符号化ストリームを読出させ、バッファ７１に供給させる。

また、読出し制御部７７は、システムコントローラ７８の指示に応じて、HDD２８を制御し、第２の符号化ストリームを読出させ、バッファ７４に供給させる。

システムコントローラ７８は、読出し制御部７７及び同期部７９を制御する。

同期部７９は、デコーダ７２を制御し、第１の符号化ストリームを構成する複数の符号化データのうち、ｘ番目の符号化データを復号させ、その結果得られるｘ番目の画像データを、出力部７３に供給させる。

また、同期部７９は、デコーダ７５を制御し、第２の符号化ストリームを構成する複数の符号化データのうち、ｘ番目の符号化データを復号させ、その結果得られるｘ番目の画像データを、出力部７６に供給させる。

さらに、同期部７９は、出力部７３及び出力部７６を制御し、デコーダ７２から出力部７３に供給されたｘ番目の画像データと、デコーダ７５から出力部７６に供給されたｘ番目の画像データとを、同一のタイミングにより後段に出力させる。

次に、図３は、記録系１において、入力部２１に入力される第１のビデオストリーム、及び入力部２５に入力される第２のビデオストリームの符号化及び記録が開始されるタイミング、並びに、再生系５１において、HDD２４に記録された第１の符号化ストリーム、及びHDD２８に記録された第２の符号化ストリームの復号及び再生が開始されるタイミングを示している。

なお、図３A及び図３Bにおいて、横軸は同一の時刻を表している。

また、図３A及び図３Bにおいて、矩形は、符号化ストリームを構成する符号化データを表している。さらに、その矩形内の番号は、符号化ストリームを構成する符号化データが、先頭から何番目に存在する符号化データであるかを表している。

これらのことは、図３C及び図３Dについても同様である。

例えば、記録系１は、図３Aに示されるように、入力部２１に入力される第１のビデオストリームを構成する複数の画像データのうち、タイミングt0での撮像により得られた画像データから符号化を開始する。そして、記録系１は、その符号化により得られる複数の符号化データからなる第１の符号化ストリーム１０１をHDD２４に記録させる。

また、記録系１は、図３Bに示されるように、入力部２５に入力される第２のビデオストリームを構成する複数の画像データのうち、図３Aに示すタイミングt0と同一のタイミングt0での撮像により得られた画像データから符号化を開始する。そして、記録系１は、その符号化により得られる複数の符号化データからなる第２の符号化ストリーム１０２をHDD２８に記録させる。

再生系５１は、HDD２４に記録された第１の符号化ストリーム１０１を復号し、その結果得られる第１のビデオストリーム１０１'を取得する。

また、再生系５１は、HDD２８に記録された第２の符号化ストリーム１０２を復号し、その結果得られる第２のビデオストリーム１０２'を取得する。

そして、再生系５１は、第１のビデオストリーム１０１'を構成する複数の画像データのうち、ｘ番目の画像データと、第２のビデオストリーム１０２'を構成する複数の画像データのうち、ｘ番目の画像データとを、同一のタイミングで出力させる。

以上のように、記録系１では、同一のタイミングt0での撮像により得られた画像データから符号化を開始し、その結果得られる第１の符号化ストリーム１０１、及び第２の符号化ストリーム１０２を記録する。

また、再生系５１では、第１の符号化ストリーム１０１を復号した復号結果である第１のビデオストリーム１０１'、及び、第２の符号化ストリーム１０２を復号した復号結果である第２のビデオストリーム１０２'において、先頭からｘ番目の画像データそれぞれを、同一のタイミングで出力（再生）する。

次に、図４は、同期部２９（図１）を有さないために、第１のビデオストリームの記録を開始する時刻と、第２のビデオストリームの記録を開始する時刻とがずれてしまう記録系１２１の構成例を示している。

なお、記録系１２１において、記録系１と同様に構成されている部分については同一の符号を付しているため、その説明は省略する。

すなわち、記録系１２１は、同期部２９及びシステムコントローラ３０に代えて、システムコントローラ１４１が設けられている他は、記録系１と同様に構成されている。

システムコントローラ１４１は、入力部２１、エンコーダ２２、入力部２５、及びエンコーダ２６を制御し、入力部２１及び入力部２５それぞれに入力されるビデオストリームに対して、符号化等の処理を行わせる。

また、システムコントローラ１４１は、書込み制御部３１を制御する。

次に、図５は、記録系１２１において、入力部２１に入力される第１のビデオストリーム、及び入力部２５に入力される第２のビデオストリームの符号化及び記録が開始されるタイミング、並びに、再生系５１において、記録系１２１によりHDD２４に記録された第１の符号化ストリーム、及び、記録系１２１によりHDD２８に記録された第２の符号化ストリームの復号及び出力が開始されるタイミングを示している。

なお、図５A乃至図５Dにおける横軸及び矩形等は、図３A乃至図３Dと同様である。

例えば、記録系１２１は、図５Aに示されるように、入力部２１に入力される第１のビデオストリームを構成する複数の画像データのうち、タイミングt0での撮像により得られる画像データから符号化を開始し、その結果得られる第１の符号化ストリーム１７１をHDD２４に記録させる。

また、記録系１２１は、図５Bに示されるように、入力部２５に入力される第２のビデオストリームを構成する複数の画像データのうち、タイミングt0とは異なるタイミングt1での撮像により得られる画像データから符号化を開始し、その結果得られる第２の符号化ストリーム１７２をHDD２８記録させる。

記録系１２１では、同期部２９を有していないため、符号化及び記録を開始するタイミングを同期させることができない。

したがって、記録系１２１では、入力部２１に入力される第１のビデオストリームの符号化及び記録を開始するタイミングt0と、入力部２５に入力される第２のビデオストリームの符号化及び記録を開始するタイミングt1とが、９フレーム分の時間(t1-t0)だけずれてしまう。

再生系５１は、HDD２４に記録された第１の符号化ストリーム１７１を復号し、その結果得られる第１のビデオストリーム１７１'を取得する。

また、再生系５１は、HDD２８に記録された第２の符号化ストリーム１７２を復号し、その結果得られる第２のビデオストリーム１７２'を取得する。

そして、再生系５１は、第１のビデオストリーム１７１'、及び、第２のビデオストリーム１７２'において、ｘ番目の画像データどうしを、同一のタイミングで出力させる。

上述したように、入力部２１に入力される第１のビデオストリームの符号化及び記録を開始するタイミングt0と、入力部２５に入力される第２のビデオストリームの符号化及び記録を開始するタイミングt1とは、９フレーム分の時間(t1-t0)だけずれている。

したがって、第１の符号化ストリーム１７１を構成するｘ+9（xは自然数）番目の符号化データと、第２の符号化ストリーム１７２を構成するｘ番目の符号化データとは、同一のタイミングでの撮像により得られたものとなる。

このため、再生系５１では、第１のビデオストリーム１７１'、及び第２のビデオストリーム１７２'において、９フレーム分の時間(t1-t0)だけ異なるタイミングでの撮像により得られた画像データどうしを、同一のタイミングで出力してしまう。

以上のように、再生系５１では、記録系１２１により記録された第１の符号化ストリーム１７１、及び第２の符号化ストリーム１７２それぞれの復号及び出力を開始したときには、９フレーム分の時間(t1-t0)だけずれたタイミングで撮像された画像データどうしが、同一のタイミングで再生されてしまうことが生じ得る。

このように、再生系５１では、記録系１２１により記録された第１の符号化ストリーム１７１、及び第２の符号化ストリーム１７２において、同一のタイミングでの撮像により得られた画像データどうしを同時に再生（出力）するように、第１のビデオストリーム１７１'、及び第２のビデオストリーム１７２'を同期させることができない。

このような事態に対処するために、画像データに対応する音声データどうしを比較し、その音声データによる時間のずれを表す時間差を検出して、検出した時間差に基づいて、同一のタイミングで撮像された画像データどうしを同期させる第１の従来技術が存在する（例えば、特許文献１を参照）。

また、同期用の制御信号を２つのカメラに同時に送信し、２つのカメラが制御信号に基づいて、同時に撮像を行い、ビデオストリームを出力するようにした第２の従来技術が存在する（例えば、特許文献２を参照）。

さらに、MPEG(moving picture experts group)方式に準拠した符号化により符号化されたピクチャにより構成されるビデオストリームのシステムタイムクロックリファレンスに基づき、システムタイムクロックのカウント出力を比較し、その比較結果に応じて、再生速度の制御を行う第３の従来技術が存在する（例えば、特許文献３を参照）。

特開２００７−２８８２６９号公報 特開２００３−３０４４４２号公報 特開平１１−１５０７２７号公報

しかしながら、上述した、音声を用いる第１の従来技術では、カメラの撮像により得られた画像データと、対応する音声データとに時間的なずれが生じている場合には、同一のタイミングでの撮像により得られた画像データどうしを同期させる精度が低下してしまう。

また、上述した、同期用の制御信号を用いる第２の従来技術では、カメラが、同期用の制御信号に対応している必要があるので、任意のカメラの撮像により得られたビデオストリームどうしを同期させることはできなかった。

さらに、従来のシステムタイムクロックリファレンスを用いる第３の従来技術では、MPEG方式に準拠した符号化により符号化されたピクチャにより構成されるビデオストリーム以外のビデオストリームに対しては、上述した第３の従来技術を適用することができなかった。

本発明は、このような状況に鑑みてなされたものであり、例えば、同一の被写体を撮像して得られる複数のビデオストリームそれぞれのデータサイズに基づいて、複数のビデオストリームを精度良く同期させるようにするものである。

本発明の一側面の画像処理装置、又はプログラムは、複数の画像データにより構成される第１のビデオストリームと、前記第１のビデオストリームとは異なる第２のビデオストリームとを同期させる画像処理装置、又は画像処理装置のコンピュータとして機能させるためのプログラムであって、前記第１のビデオストリームを構成する画像データのデータサイズと、前記第２のビデオストリームを構成する画像データのデータサイズとに基づいて、前記第１のビデオストリームを構成する画像データと、前記第２のビデオストリームを構成する画像データそれぞれとの類似の程度を表す相関値を算出する算出手段と、前記相関値に基づいて、前記第１のビデオストリームを構成する画像データに対応する、前記第２のビデオストリームを構成する画像データを検出する検出手段とを含む画像処理装置、又は画像処理装置として機能させるためのプログラムである。

前記第１及び第２のビデオストリームに対して、前記画像データの画像内容に応じて符号化後のデータサイズが変化する可変ビットレート制御によるフレーム内符号化を行う符号化手段をさらに設けることができ、前記算出手段では、符号化後の前記第１のビデオストリームを構成する画像データのデータサイズと、符号化後の前記第２のビデオストリームを構成する画像データのデータサイズとに基づいて、前記相関値を算出することができる。

前記可変ビットレート制御によるフレーム内符号化とは異なる符号化により符号化されている前記第１及び第２のビデオストリームを復号する復号手段をさらに設けることができ、前記符号化手段では、復号後の前記第１及び第２のビデオストリームに対して、前記可変ビットレート制御によるフレーム内符号化を行うことができる。

前記算出手段では、前記第１のビデオストリームを構成する画像データのGOP単位のデータサイズと、前記第２のビデオストリームを構成する画像データのGOP単位のデータサイズとに基づいて、前記第１のビデオストリームを構成する画像データと、前記第２のビデオストリームを構成する画像データそれぞれとのGOP単位の類似の程度を表す相関値を算出し、前記検出手段では、前記相関値に基づいて、前記第１のビデオストリームを構成する画像データに対応する、前記第２のビデオストリームを構成する画像データをGOP単位で検出することができる。

前記算出手段では、前記第１のビデオストリームを構成する画像データのデータサイズと、前記第２のビデオストリームを構成する画像データのデータサイズとの差分自乗和を、前記相関値として算出し、前記検出手段では、前記第１のビデオデータを構成する画像データと、前記第２のビデオストリームを構成する画像データとの前記相関値が所定の閾値以下であるときに、前記第２のビデオストリームを構成する画像データを検出することができる。

前記第１及び第２のビデオストリームを構成する画像データは、前記画像データの画像内容に応じてデータサイズが異なるようにすることができる。

本発明の一側面の画像処理方法は、複数の画像データにより構成される第１のビデオストリームと、前記第１のビデオストリームとは異なる第２のビデオストリームとを同期させる画像処理装置の画像処理方法であって、前記画像処理装置は、算出手段と、検出手段とを含み、前記算出手段が、前記第１のビデオストリームを構成する画像データのデータサイズと、前記第２のビデオストリームを構成する画像データのデータサイズとに基づいて、前記第１のビデオストリームを構成する所定の画像データと、前記第２のビデオストリームを構成する画像データそれぞれとの類似の程度を表す相関値を算出し、前記検出手段が、前記相関値に基づいて、前記第１のビデオストリームを構成する画像データに対応する、前記第２のビデオストリームを構成する画像データを検出するステップを含む画像処理方法である。

本発明によれば、前記第１のビデオストリームを構成する画像データのデータサイズと、前記第２のビデオストリームを構成する画像データのデータサイズとに基づいて、前記第１のビデオストリームを構成する画像データと、前記第２のビデオストリームを構成する画像データそれぞれとの類似の程度を表す相関値が算出され、前記相関値に基づいて、前記第１のビデオストリームを構成する画像データに対応する、前記第２のビデオストリームを構成する画像データが検出される。

本発明によれば、例えば、同一の被写体を撮像して得られる複数のビデオストリームを精度良く同期させることができる。

従来の記録再生装置における記録系の一例を示すブロック図である。 従来の記録再生装置における再生系の一例を示すブロック図である。 記録のタイミング、及び再生のタイミングを示す図である。 従来の記録再生装置における他の記録系の一例を示すブロック図である。 記録のタイミング、及び再生のタイミングを示す図である。 本発明を適用した再生装置の構成例を示すブロック図である。 本発明における再生のタイミングを示す図である。 フレームコントローラの構成例を示すブロック図である。 相関位置検出処理を説明するためのフローチャートである。 GOPを対象として本発明を実施する場合を説明するための図である。 分割したビデオストリームどうしを再構成する様子を示す図である。 本発明を適用した記録再生装置の構成例を示すブロック図である。 パーソナルコンピュータの構成例を示すブロック図である。

以下、発明を実施するための形態（以下、本実施の形態という）について説明する。なお、説明は以下の順序で行う。
１． 本実施の形態（符号化データのデータサイズどうしを比較する例）
２． 変形例

＜１．本実施の形態＞
[再生装置１９１の構成例]
図６は、本実施の形態である再生装置１９１の構成例を示している。

なお、この再生装置１９１は、再生系５１と対応する部分については同一の符号を付しているため、その説明は以下省略する。

すなわち、再生装置１９１は、システムコントローラ７８が、フレームコントローラ７８aを有する他は、再生系５１と同様に構成されている。

また、再生装置１９１において、HDD２４には予め第１の符号化ストリーム１７１が、HDD２８には予め第２の符号化ストリーム１７２が、それぞれ記録されている。

なお、第１の符号化ストリーム１７１と、第２の符号化ストリーム１７２とは、それぞれ、第１及び第２のビデオストリームそれぞれの符号化及び記録を開始するタイミングがずれて、HDD２４及びHDD２８に記録されたものである。

フレームコントローラ７８aには、HDD２４からバッファ７１を介して、第１の符号化ストリーム１７１が供給されるとともに、HDD２８からバッファ７４を介して、第２の符号化ストリーム１７２が供給される。

フレームコントローラ７８aは、バッファ７１から供給される第１の符号化ストリーム１７１を構成する符号化データのデータサイズと、バッファ７４から供給される第２の符号化ストリーム１７２を構成する符号化データのデータサイズとに基づいて、対応する符号化データのデータサイズどうしの相関を表す相関値を算出する。

そして、フレームコントローラ７８aは、算出した相関値に基づいて、第１のビデオストリーム１７１'と第２のビデオストリーム１７２'どうしを同期させるように、同期部７９を制御する。

なお、フレームコントローラ７８aの詳細は、後述する図８を参照して後述する。

[記録と再生のタイミングに関する説明]
次に、図７は、再生装置１９１において、HDD２４に予め記録されている第１の符号化ストリーム１７１、及びHDD２８に予め記録されている第２の符号化ストリーム１７２それぞれの復号及び出力が開始されるタイミングを示している。

なお、図７A及び図７Dにおける横軸及び矩形等は、図５A及び図５Dと同様である。

再生装置１９１は、HDD２４に記録されている第１の符号化ストリーム１７１を構成する符号化データそれぞれのデータサイズと、HDD２８に記録されている第２の符号化ストリーム１７２を構成する符号化データそれぞれのデータサイズとに基づいて、第１のビデオストリーム１７１'と第２のビデオストリーム１７２'とを同期させる画像データが存在する位置を検出する。

すなわち、例えば、再生装置１９１は、第１の符号化ストリーム１７１、及び第２の符号化ストリーム１７２それぞれのデータサイズに基づいて、第１の符号化ストリーム１７１を構成する符号化データのうち、１０番目の符号化データが存在する位置と、第２の符号化ストリーム１７２を構成する符号化データのうち、１番目の符号化データが存在する位置とを、同一のタイミングでの撮像により得られた画像データそれぞれが存在する位置として検出する。

また、再生装置１９１は、HDD２４に記録されている第１の符号化ストリーム１７１を復号し、その結果得られる第１のビデオストリーム１７１'を取得する。

さらに、再生装置１９１は、HDD２８に記録されている第２の符号化ストリーム１７２を復号し、その結果得られる第２のビデオストリーム１７２'を取得する。

そして、再生装置１９１は、１０番目の符号化データが存在する第１の符号化ストリーム１７１上の位置に対応する第１のビデオストリーム１７１'上の位置、及び、１番目の符号化データが存在する第２の符号化ストリーム１７２上の位置に対応する第２のビデオストリーム１７２'上の位置で、第１のビデオストリーム１７１'と、第２のビデオストリーム１７２'とを同期させて出力させる。

すなわち、例えば、再生装置１９１は、第１のビデオストリーム１７１'を構成する画像データのうち、１乃至９番目の画像データを飛ばした（スキップした）後の１０番目の画像データと、第２のビデオストリーム１７２'を構成する画像データのうち、１番目の画像データとを同一のタイミングで出力するように同期させる。

また、再生装置１９１は、第１のビデオストリーム１７１'を構成する複数の画像データのうち、１１番目以降の画像データと、第２のビデオストリーム１７２'を構成する複数の画像データのうち、２番目以降の画像データとについても、同様に同期させる。

[フレームコントローラ７８aの構成例]
次に、図８は、フレームコントローラ７８aの詳細な構成例を示している。

このフレームコントローラ７８aは、取得部２５１、取得部２５２、相関値算出部２５３、相関位置検出部２５４、及び同期制御部２５５により構成されている。

取得部２５１は、バッファ７１に保持されている第１の符号化ストリーム１７１に付加されたヘッダを読み出す。

そして、取得部２５１は、読み出したヘッダから、第１の符号化ストリーム１７１を構成するx番目の符号化データのデータサイズf(x)(x=1,2,・・・)を取得し、相関値算出部２５３に供給する。

取得部２５２は、バッファ７４に保持されている第２の符号化ストリーム１７２に付加されたヘッダを読み出す。

そして、取得部２５２は、読み出したヘッダから、第２の符号化ストリーム１７２を構成するy番目の符号化データのデータサイズg(y)(y=1,2,・・・)を取得し、相関値算出部２５３に供給する。

相関値算出部２５３は、取得部２５１からのデータサイズf(x)と、取得部２５２からのデータサイズg(y)を、次式（１）に適用して、f(x)とg(y)との相関値として、その差分自乗和を算出する。

・・・（１）

なお、式（１）において、添え字iは０からN（Nは０以上の整数）までの値とされる。

また、添え字jは、第１の符号化ストリーム１７１のうち、先頭からj番目の位置を表し、添え字kは、第２の符号化ストリーム１７２のうち、先頭からk番目の位置を表す。添え字j及びkは自然数とされる。

さらに、相関値z(j,k)は、第１の符号化ストリーム１７１における(i+j)番目の符号化データのデータサイズf(i+j)と、第２の符号化ストリーム１７２における(i+k)番目の符号化データのデータサイズg(i+k)との差分{f(i+j)-g(i+k)}の自乗{f(i+j)-g(i+k)}^2の総和（サメーション）により表される。

ところで、第１のビデオストリーム１７１'と、第２のビデオストリーム１７２'とは、同一の被写体を対象とした撮像により得られたものであり、第１及び第２のビデオストリームを構成する複数の画像データは、画像データのデータサイズを固定にする固定ビットレート制御により、それぞれ、同一のデータサイズとされている。

また、第１の符号化ストリーム１７１と、第２の符号化ストリーム１７２とは、画像データに対して、フレーム内符号化を行うことにより得られるものである。

なお、フレーム内符号化では、画像データのデータサイズが、画像データに対応する画像が表示する被写体等の内容において適切なデータサイズとなるように、画像データのデータサイズを可変にする可変ビットレート制御が行われる。

すなわち、例えば、画像データが、青空等が撮像された画像のように変化が少ない単調な画像である場合、フレーム内符号化により、大きな圧縮率で圧縮されて、小さなデータサイズの符号化データとなる。

また、例えば、画像データが、複数の人や建物等が撮像された画像のように複雑な画像である場合、フレーム内符号化により、小さな圧縮率で圧縮されて、大きなデータサイズの符号化データとなる。

さらに、上述したように、第１のビデオストリーム１７１'と、第２のビデオストリーム１７２'とは、同一の被写体を対象とした撮像により得られたものである。

したがって、符号化データのデータサイズどうしの差分の自乗{f(x)-g(y)}^2が小さい程に、対応する画像データどうしにおいて、画像データ（が表す画像）により表示される内容が類似している可能性が高いため、同一のタイミングでの撮像により得られた画像データである可能性が高いといえる。

このため、相関値z(j,k)が小さい程に、第１の符号化ストリーム１７１を構成するj乃至(N+j)番目の符号化データそれぞれに対応する画像データと、第２の符号化ストリーム１７２を構成するk乃至(N+k)番目の符号化データそれぞれに対応する画像データどうしの類似の程度を表す相関が高くなる。

なお、符号化前の画像データのデータサイズどうしを直接に比較しないのは、画像データそれぞれが、画像データのデータサイズを固定にする固定ビットレート制御により同一のデータサイズとされていることによる。

したがって、画像データにより表示される被写体等の画像内容に応じて、画像データのデータサイズが異なる場合には、フレーム内符号化によりデータサイズを変化させることなく、相関値z(j,k)を算出することが可能である。

相関値算出部２５３は、式（１）により算出した相関値z(j,k)を、添え字j及びk（を表すデータ）とともに、相関位置検出部２５４に供給する。

相関位置検出部２５４は、相関値算出部２５３からの相関値z(j,k)が所定の閾値以下であるか否か、すなわち、第１の符号化ストリーム１７１を構成するj番目の符号化データと、第２の符号化ストリーム１７２を構成するk番目の符号化データとは、同一のタイミングでの撮像により得られた画像データに対応するものである可能性が高いか否かを判定する。

そして、相関位置検出部２５４は、相関値算出部２５３からの相関値z(j,k)が所定の閾値以下であると判定した場合、対応する添え字j及びkを同期制御部２５５に供給する。

同期制御部２５５は、相関位置検出部２５４から、添え字j及びkが供給されたことに対応して、第１の符号化ストリーム１７１を構成するj番目の符号化データに対応する画像データと、第２の符号化ストリーム１７２を構成するk番目の符号化データに対応する画像データとを同期させる。

すなわち、例えば、同期制御部２５５は、同期部７９を制御して、第１の符号化ストリーム１７１を、j番目の符号化データから復号させるとともに、第２の符号化ストリーム１７２を、k番目の符号化データから復号させる。そして、同期制御部２５５は、同期部７９を制御して、それぞれの復号により得られる画像データどうしを、同一のタイミングで出力させる。

[フレームコントローラ７８aの動作説明]
次に、図９のフローチャートを参照して、第１の符号化ストリーム１７１上の位置jと、第２の符号化ストリーム１７２上の位置kとの組み合わせ（j,k）のうち、相関値z(j,k)が所定の閾値以下であるときの組み合わせ(j,k)を検出する相関位置検出処理の詳細を説明する。

ステップＳ２１において、取得部２５１は、HDD２４に記録されている第１の符号化ストリーム１７１に付加されているヘッダを読み出す。そして、取得部２５１は、読み出したヘッダから、第１の符号化ストリーム１７１を構成する符号化データのデータサイズf(x)(x=1,2,・・・)を取得し、相関値算出部２５３に供給する。

また、取得部２５２は、HDD２４に記録されている第２の符号化ストリーム１７２に付加されているヘッダを読み出す。そして、取得部２５２は、読み出したヘッダから、第２の符号化ストリーム１７２を構成する符号化データのデータサイズg(y)(y=1,2,・・・)を取得し、相関値算出部２５３に供給する。

ステップＳ２２において、相関値算出部２５３は、添え字j及びkを、それぞれ、０に設定する初期化を行う。

ステップＳ２３において、相関値算出部２５３は、取得部２５１からのデータサイズf(x)、及び取得部２５２からのデータサイズg(y)を、式（１）に適用して、相関値z(j,k)を算出する。

そして、相関値算出部２５３は、式（１）により算出した相関値z(j,k)を、添え字j及びkとともに、相関位置検出部２５４に供給する。

ステップＳ２４において、相関位置検出部２５４は、相関値算出部２５３からの相関値z(j,k)が所定の閾値以下であるか否か、すなわち、第１の符号化ストリーム１７１を構成するj番目の符号化データと、第２の符号化ストリーム１７２を構成するk番目の符号化データとは、同一のタイミングでの撮像により得られた画像データに対応するものである可能性が高いか否かを判定する。

そして、相関位置検出部２５４は、相関値算出部２５３からの相関値z(j,k)が所定の閾値以下であると判定した場合、添え字j及びkを、同期制御部２５５に供給して、処理はステップＳ２５に進められる。

ステップＳ２５において、同期制御部２５５は、相関位置検出部２５４から、添え字j及びkが供給されたことに対応して、第１のビデオストリーム１７１'を構成するj番目の画像データと、第２のビデオストリーム１７２'を構成するk番目の画像データとを同期させる。

また、同期制御部２５５は、第１のビデオストリーム１７１'を構成する画像データのうち、j+1番目以降の画像データと、第２のビデオストリーム１７２'を構成する画像データのうち、k+1番目以降の画像データとについても同様に、同一のタイミングで出力するように同期させて、処理は終了される。

また、相関位置検出部２５４は、相関値算出部２５３からの相関値z(j,k)が所定の閾値以下でないと判定した場合、処理はステップＳ２６に進められる。

ステップＳ２６において、相関値算出部２５３は、添え字jに１を加算し、加算後の添え字jを、新たな添え字jとする。

ステップＳ２７において、相関値算出部２５３は、添え字jが、第１の符号化ストリーム１７１を構成する符号化データの個数j_maxよりも大きいか否かを判定する。そして、相関値算出部２５３は、添え字jが、個数j_maxよりも大きくないと判定した場合、処理はステップＳ２３に戻り、以下、同様の処理が繰り返される。

また、ステップＳ２７において、相関値算出部２５３は、添え字jが、個数j_maxよりも大きいと判定した場合、処理はステップＳ２８に進められる。

ステップＳ２８において、相関値算出部２５３は、添え字jを０に初期化する。

ステップＳ２９において、相関値算出部２５３は、添え字kに１を加算し、加算後の添え字kを、新たな添え字kとする。

ステップＳ３０において、相関値算出部２５３は、添え字kが、第２の符号化ストリーム１７２を構成する符号化データの個数k_maxよりも大きいか否かを判定する。そして、相関値算出部２５３は、添え字kが、個数k_maxよりも大きくないと判定した場合、処理はステップＳ２３に戻り、以下、同様の処理が繰り返される。

一方、ステップＳ３０において、相関値算出部２５３は、添え字kが、個数k_maxよりも大きいと判定した場合、処理は終了される。

以上で、相関位置検出処理は終了される。

以上説明したように、相関位置検出処理では、第１の符号化ストリーム１７１、及び第２の符号化ストリーム１７２それぞれのデータサイズから相関値z(j,k)を算出し、算出した相関値z(j,k)が所定の閾値以下であるときに、第１のビデオストリーム１７１'におけるj番目の画像データと、第１のビデオストリーム１７２'におけるk番目の画像データどうしを同期させるようにした。

したがって、相関位置検出処理では、上述した第１の従来技術のように、画像データと、対応する音声データとに時間的なずれが生じたとしても、データサイズから算出した相関値z(j,k)に基づいて、第１のビデオストリーム１７１'と第２のビデオストリーム１７２'とを精度良く同期させることができる。

また、相関位置検出処理では、データサイズから算出した相関値z(j,k)を用いて、第１のビデオストリーム１７１'と第２のビデオストリーム１７２'とを同期させるようにしている。したがって、ビデオストリームどうしを同期させるために、画像データを取得したときの時刻を表すタイムスタンプを記録する等の特別な処理を行うことなく、２つのストリームどうしを同期させることが可能となる。

すなわち、例えば、タイムスタンプを記録しないカメラの撮像により得られるビデオストリームや、ビデオストリームどうしの記録を開始するタイミングがずれてしまう記録系１２１等により記録されたビデオストリームに対しても、データサイズを比較することにより、ビデオストリームどうしを同期させることが可能となる。

なお、相関位置検出処理では、ステップＳ２５において、第１のビデオストリーム１７１'を構成するj番目の画像データと、第２のビデオストリーム１７２'を構成するk番目の画像データとを同期させる。

しかしながら、ステップＳ２５の処理後、第１のビデオストリーム１７１'を構成するj番目の画像データと、第２のビデオストリーム１７２'を構成するk番目の画像データとが、同一のタイミングでの撮像により得られた画像データどうしではないと、ユーザが、同期させた画像データをディスプレイ等で視認することにより判断した場合には、ユーザ操作に応じて、ステップＳ２６から処理を開始させるようにしてもよい。

また、相関位置検出処理により、同一のタイミングでの撮像により得られた画像データどうしを同期させることができない場合には、相関位置検出処理による処理結果を参考にしつつ、ユーザが、ディスプレイ等に表示される、画像データに対応する画像を確認しながら、第１のビデオストリーム１７１'、及び第２のビデオストリーム１７２'どうしを同期させるようにしてもよい。

この場合、ユーザが、ディスプレイ等に表示される、画像データに対応する画像を確認するだけで、ユーザのマニュアル操作により、第１のビデオストリーム１７１'、及び第２のビデオストリーム１７２'どうしを同期させる場合と比較して、より迅速に、第１のビデオストリーム１７１'、及び第２のビデオストリーム１７２'どうしを同期させることが可能となる。

＜２．変形例＞
本実施の形態では、画像データに対して、可変ビットレート制御を行うことにより得られる符号化データのデータサイズf(x)及びg(y)を用いて、相関値z(j,k)を算出し、算出した相関値z(j,k)が所定の閾値以下である場合に、第１のビデオストリーム１７１'を構成するj番目の画像データと、第２のビデオストリーム１７２'を構成するk番目の画像データどうしを同期させるようにした。

しかしながら、本実施の形態では、符号化ストリームが、画像データを、固定ビットレート制御によるフレーム内符号化により、同一の圧縮率で符号化（圧縮）したものである場合や、MPEG符号化方式等のように、画像データ間の相関を用いて符号化する符号化方式により圧縮されている場合には、符号化データのデータサイズの違いを利用して、符号化データどうしの相関値z(j,k)を算出することができない。

この場合、再生装置１９１において、固定ビットレート制御によるフレーム内符号化や、MPEG符号化方式に対応した符号化等により得られる符号化ストリームを復号するための新たなデコーダと、新たなデコーダが行う復号により得られるビデオストリームに対して、可変ビットレート制御によるフレーム内符号化を行う新たなデコーダを設けるようにすることが可能である。

すなわち、再生装置１９１は、新たなデコーダにより、符号化ストリームを復号し、その結果得られるビデオストリームに対して、新たなエンコーダにより、可変ビットレート制御によるフレーム内符号化を行い、その結果得られる新たな符号化ストリームを取得する。そして、再生装置１９１は、取得した新たな符号化ストリームを対象として、本発明を実施することが可能である。

また、本実施の形態では、相関値z(j,k)が所定の閾値以下であるときの画像データどうしを検出するようにしたが、符号化ストリームが、MPEG符号化方式により符号化された複数のピクチャからなるGOP（group of picture）により構成される場合には、相関値z(j,k)が所定の閾値以下であるときのGOPどうしを検出することが可能である。

次に、図１０は、相関値z(j,k)が所定の閾値以下であるときのGOPどうしを検出する方法を示している。

なお、図１０A及び図１０Bにおいて、横軸は同一の時刻を表している。

例えば、再生装置１９１のHDD２４には、図１０Aに示されるように、複数のピクチャ（例えば１５ピクチャ）からなるGOPにより構成される第１の符号化ストリーム２８１が記録されている。

また、例えば、再生装置１９１のHDD２８には、図１０Bに示されるように、第１の符号化ストリーム２８１を構成するGOPと同一の個数のピクチャからなるGOPにより構成される第２の符号化ストリーム２８２が記録されている。

再生装置１９１は、HDD２４に記録された第１の符号化ストリーム２８１を構成するGOPそれぞれのデータサイズと、HDD２８に記録された第２の符号化ストリーム２８２を構成するGOPそれぞれのデータサイズとに基づいて、相関値z(j,k)を算出する。

再生装置１９１は、算出した相関値z(j,k)が所定の閾値以下であるときに、第１の符号化ストリーム２８１を構成するj番目のGOPと、第２の符号化ストリーム２８２を構成するk番目のGOPとを検出する。

そして、再生装置１９１は、検出したGOPどうしを、それぞれ、MPEG復号方式により復号し、その結果得られる複数の画像データからなるビデオストリームを取得する。再生装置１９１は、取得した２つのビデオストリームそれぞれに対して、可変ビットレート制御によるフレーム内符号化を行い、その結果得られる２つの符号化ストリームに対して、上述した相関位置検出処理を行う。

これにより、第１の符号化ストリーム２８１、及び第２の符号化ストリーム２８２それぞれを構成するGOPすべてを復号し、可変ビットレート制御によるフレーム内符号化を行うことにより得られるものを対象として相関位置検出処理を行う場合と比較して、より迅速に、２つのビデオストリームどうしを同期させる位置を検出することが可能となる。

また、再生装置１９１では、検出した２つのGOPを復号し、その結果得られるビデオストリームどうしを、ディスプレイ等に順次表示させて、ユーザによるマニュアル操作で同期させるようにしてもよい。

なお、本実施の形態では、データサイズから算出した相関値z(j,k)に基づいて、第１のビデオストリーム１７１'、及び第２のビデオストリーム１７２'を同期させるようにした。そして、例えば、同期した第１のビデオストリーム１７１'と第２のビデオストリーム１７２'との画像データどうしを合成し、立体視可能な画像を生成したり、画像データどうしを同一のタイミングで２つの異なるディスプレイに表示させることが可能である。

また、例えば、図１１に示すように、第１のビデオストリーム１７１'、及び第２のビデオストリーム１７２'を同期させるようにして、出力させるビデオストリームのフレームレートをより高いフレームレートとすることが可能である。

図１１は、出力させるビデオストリームのフレームレートをより高フレームレートにする方法を示している。

なお、図１１Aにおいて、第３のビデオストリーム３１１は、第１のビデオストリーム１７１'、及び第２のビデオストリーム１７２'から生成されて出力される高フレームレートのビデオストリームを示している。

また、図１１Bにおいて、第１のビデオストリーム１７１'は、出力される第３のビデオストリーム３１１のうち、奇数番目の画像データとして採用される画像データにより構成される。

図１１Cにおいて、第２のビデオストリーム１７２'は、出力される第３のビデオストリーム３１１のうち、偶数番目の画像データとして採用される画像データにより構成される。

なお、図１１において、第１のビデオストリーム１７１'と第２のビデオストリーム１７２'とは、同一の被写体を（殆ど）同一の方向から撮像して得られたものである。

再生装置１９１は、第１のビデオストリーム１７１'と第２のビデオストリーム１７２'とを同期させて、第１のビデオストリーム１７１'を構成する画像データを、奇数番目の画像データとし、第２のビデオストリーム１７２'を構成する画像データを、偶数番目の画像データとして、交互に配置して得られる第３のビデオストリーム３１１を出力する。

これにより、再生装置１９１は、例えば第１のビデオストリーム１７１'又は第２のビデオストリーム１７２'のいずれか一方を出力する場合と比較して、出力する第３のビデオストリーム３１１のフレームレートを２倍に設定することが可能となる。

また、本発明は、図１２に示すように、再生装置１９１が有する機能の他、例えば記録系１２１が有する機能を備える記録再生装置３４１についても適用することが可能である。

図１２は、本発明を適用した再生装置１９１と、従来の記録系１２１との両機能を有する記録再生装置３４１を示している。

この記録再生装置３４１は、図４の入力部２１乃至HDD２４それぞれと同様に構成される入力部３７１乃至HDD３７４、図６のバッファ７１乃至出力部７３それぞれと同様に構成されるバッファ３７５乃至出力部３７７、同期部７９と同様に構成される同期部３７８、システムコントローラ７８及びシステムコントローラ１４１と同様に構成されるシステムコントローラ３７９、フレームコントローラ７８aと同様に構成されるフレームコントローラ３７９a、書込み制御部３１及び読出し制御部７７と同様に構成される読書き制御部３８０、入力部２５乃至HDD２８と同様に構成される入力部３８１乃至HDD３８４、バッファ７４乃至出力部７６と同様に構成されるバッファ３８５乃至出力部３８７により構成される。

なお、本実施の形態では、相関値z(j,k)を算出するための数式として、式（１）を用いることとしたがこれに限定されず、第１の符号化ストリーム１７１を構成する符号化データに対応する画像データと、第２の符号化ストリーム１７２を構成する符号化データに対応する画像データどうしの類似の程度を表す値を算出できればよい。

したがって、例えば、Σ{f(j-i)-g(k-i)}^2、Σ{f(2i+j)-g(2i+k)}^2、Σ{f(2i+1+j)-g(2i+1+k)}^2、データサイズf(i+j)とデータサイズg(i+k)との差分絶対値|f(i+j)-g(i+k)|の総和Σ|f(i+j)-g(i+k)|等を、相関値z（j,k）を算出するための数式として採用することが可能である。

ところで、近年、ハードディスクビデオレコーダでは、記録する画像データの画質を標準画質から高画質に変換したり、画面分解能をSD（standard definition）からHD（high definition）に変換したり、フレームレートを標準から高フレームレートに変換することが行われている。

このため、ハードディスクビデオレコーダでは、内蔵するハードディスクに記録する単位時間あたりの符号化データのデータサイズが増大しつつあり、画像データを符号化する符号化処理に多大な時間を要する場合がある。

この場合、ハードディスクビデオレコーダに、符号化処理を行う複数の処理部を設けるとともに、記録する画像データにより構成される記録用のビデオストリームを、複数のビデオストリーム（例えば、記録用のビデオストリームの画像データのうち、偶数番目の画像データからなるビデオストリームと、記録用のビデオストリームの画像データのうち、奇数番目の画像データからなるビデオストリーム）に分割して、複数の処理部により、符号化処理を施すことにより、符号化処理に要する時間を向上させることが考えられる。

ハードディスクビデオレコーダをこのように構成したときには、記録用のビデオストリームを分割して得られた複数のビデオストリームを同期させて、元の記録用のビデオストリームに戻す必要があり、このときにも、複数のビデオストリームを同期させるために、本発明を適用することが可能である。

ところで、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。

次に、図１３は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成例を示している。

CPU（Central Processing Unit）４１１は、ROM（Read Only Memory）４１２、又は記憶部４１８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）４１３には、CPU４１１が実行するプログラムやデータ等が適宜記憶される。これらのCPU４１１、ROM４１２、及びRAM４１３は、バス４１４により相互に接続されている。

CPU４１１にはまた、バス４１４を介して入出力インタフェース４１５が接続されている。入出力インタフェース４１５には、キーボード、マウス、マイクロホン等よりなる入力部４１６、ディスプレイ、スピーカ等よりなる出力部４１７が接続されている。CPU４１１は、入力部４１６から入力される指令に対応して各種の処理を実行する。そして、CPU４１１は、処理の結果を出力部４１７に出力する。

入出力インタフェース４１５に接続されている記憶部４１８は、例えばハードディスクからなり、CPU４１１が実行するプログラムや各種のデータを記憶する。通信部４１９は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。

また、通信部４１９を介してプログラムを取得し、記憶部４１８に記憶してもよい。

入出力インタフェース４１５に接続されているドライブ４２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア４２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部４１８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録（記憶）する記録媒体は、図１３に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア４２１、又は、プログラムが一時的もしくは永続的に格納されるROM４１２や、記憶部４１８を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部４１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。

なお、本明細書において、相関位置検出処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本発明の実施の形態は、上述した本実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

２４，２８ HDD， ７１ バッファ， ７２ デコーダ， ７３ 出力部， ７４ バッファ， ７５ デコーダ， ７６ 出力部， ７７ 読出し制御部， ７８ システムコントローラ， ７８a フレームコントローラ， ７９ 同期部， １９１ 再生装置， ２５１，２５２ 取得部， ２５３ 相関値算出部， ２５４ 相関位置検出部， ２５５ 同期制御部

Claims (8)

1. 複数の画像データにより構成される第１のビデオストリームと、前記第１のビデオストリームとは異なる第２のビデオストリームとを同期させる画像処理装置において、
   前記第１のビデオストリームを構成する画像データのデータサイズと、前記第２のビデオストリームを構成する画像データのデータサイズとに基づいて、前記第１のビデオストリームを構成する画像データと、前記第２のビデオストリームを構成する画像データそれぞれとの類似の程度を表す相関値を算出する算出手段と、
   前記相関値に基づいて、前記第１のビデオストリームを構成する画像データに対応する、前記第２のビデオストリームを構成する画像データを検出する検出手段と
   を含む画像処理装置。
2. 前記第１及び第２のビデオストリームに対して、前記画像データの画像内容に応じて符号化後のデータサイズが変化する可変ビットレート制御によるフレーム内符号化を行う符号化手段をさらに含み、
   前記算出手段は、符号化後の前記第１のビデオストリームを構成する画像データのデータサイズと、符号化後の前記第２のビデオストリームを構成する画像データのデータサイズとに基づいて、前記相関値を算出する
   請求項１に記載の画像処理装置。
3. 前記可変ビットレート制御によるフレーム内符号化とは異なる符号化により符号化されている前記第１及び第２のビデオストリームを復号する復号手段をさらに含み、
   前記符号化手段は、復号後の前記第１及び第２のビデオストリームに対して、前記可変ビットレート制御によるフレーム内符号化を行う
   請求項２に記載の画像処理装置。
4. 前記算出手段は、前記第１のビデオストリームを構成する画像データのGOP単位のデータサイズと、前記第２のビデオストリームを構成する画像データのGOP単位のデータサイズとに基づいて、前記第１のビデオストリームを構成する画像データと、前記第２のビデオストリームを構成する画像データそれぞれとのGOP単位の類似の程度を表す相関値を算出し、
   前記検出手段は、前記相関値に基づいて、前記第１のビデオストリームを構成する画像データに対応する、前記第２のビデオストリームを構成する画像データをGOP単位で検出する
   請求項１に記載の画像処理装置。
5. 前記算出手段は、前記第１のビデオストリームを構成する画像データのデータサイズと、前記第２のビデオストリームを構成する画像データのデータサイズとの差分自乗和を、前記相関値として算出し、
   前記検出手段は、前記第１のビデオデータを構成する画像データと、前記第２のビデオストリームを構成する画像データとの前記相関値が所定の閾値以下であるときに、前記第２のビデオストリームを構成する画像データを検出する
   請求項１に記載の画像処理装置。
6. 前記第１及び第２のビデオストリームを構成する画像データは、前記画像データの画像内容に応じてデータサイズが異なる
   請求項１に記載の画像処理装置。
7. 複数の画像データにより構成される第１のビデオストリームと、前記第１のビデオストリームとは異なる第２のビデオストリームとを同期させる画像処理装置の画像処理方法において、
   前記画像処理装置は、
   算出手段と、
   検出手段と
   を含み、
   前記算出手段が、前記第１のビデオストリームを構成する画像データのデータサイズと、前記第２のビデオストリームを構成する画像データのデータサイズとに基づいて、前記第１のビデオストリームを構成する所定の画像データと、前記第２のビデオストリームを構成する画像データそれぞれとの類似の程度を表す相関値を算出し、
   前記検出手段が、前記相関値に基づいて、前記第１のビデオストリームを構成する画像データに対応する、前記第２のビデオストリームを構成する画像データを検出する
   ステップを含む画像処理方法。
8. 複数の画像データにより構成される第１のビデオストリームと、前記第１のビデオストリームとは異なる第２のビデオストリームとを同期させる画像処理装置のコンピュータを、
   前記第１のビデオストリームを構成する画像データのデータサイズと、前記第２のビデオストリームを構成する画像データのデータサイズとに基づいて、前記第１のビデオストリームを構成する所定の画像データと、前記第２のビデオストリームを構成する画像データそれぞれとの類似の程度を表す相関値を算出する算出手段と、
   前記相関値に基づいて、前記第１のビデオストリームを構成する画像データに対応する、前記第２のビデオストリームを構成する画像データを検出する検出手段と
   して機能させるためのプログラム。

Images