JP2014064124A - 動画処理装置、動画処理方法及びプログラム - Google Patents

Abstract

【課題】同時記録や同時再生において不具合が生じないこと。
【解決手段】動画処理装置１は、複数の動画データをデコーダ／エンコーダ機能を有する１つのコーディックハードウェアでデコード／エンコードしながら同時に再生／記録する。動画選択制御部１５は、デコーダ／エンコーダに入力／出力する動画データをＩＤＲフレーム毎に順番に切り換えながら選択していくように入力切替部１２及び出力切替部１４を制御する。ＤＲＡＭ１１は、デコード／エンコード済みの動画データを再生／記録されるまでのあいだ一時的に記憶する。動画データは、ＩＤＲフレームの数、またはフレームレートのうちの少なくとも一方がデータ毎に異なっている。動画選択制御部１５は、動画データ毎に異なるＩＤＲフレームの数、またはフレームレートに応じて、動画データの切り換えタイミングの決定と、切り換える動画データの選択を行う。
【選択図】図１

Description

本発明は、動画処理装置、動画処理方法及びプログラムに関する。

従来より、複数の動画データを同時期にエンコードして記録し、又はデコードして再生することが行われている。複数の動画データに対して、エンコード又はデコードするため、対応したコーディックハードウェアが必要になるが、１つのコーディックハードウェアにより、エンコード又はデコードする種々の技術がある。例えば、コーディックハードウェアの不足をソフトウェアコーディックの使用により賄う技術があるが、この技術の場合では、処理に時間がかかってしまうという問題がある。

特許文献１には、ソフトウェアコーディックを使用せずに、１つのコーディックハードウェアにより、エンコード又はデコードを行う技術が記載されている。この技術は、動画データをＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）を単位として切り替えてエンコード又はデコードを行う。

特開２００８−７２３３６号公報

複数の動画データを同時期にエンコードして記録し、又はデコードして再生する場合には、複数の動画データが必ずしも同一のＧＯＰ周期（またはＩＤＲ周期）であったり、同一のフレームレートであったりすることはない。
上述した特許文献１に記載の技術では、複数の動画データにおいて異なるコーディックの特性（動画データの形式や再生／記録時の条件）を有していた場合については考慮されていないため、同時記録や同時再生において不具合が生じる虞があった。

本発明は、このような状況に鑑みてなされたものであり、複数の動画データにおいて異なるコーディックの特性（動画データの形式や再生／記録時の条件）を有していた場合でも、同時記録や同時再生において不具合が生じない動画処理装置、動画処理方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明の一態様の動画処理装置は、
複数の動画データを１つのコーディックでデコードまたはエンコードしながら同時に再生または記録する動画処理装置であって、
デコーダまたはエンコーダに入力または出力する動画データを所定ブロック毎に順番に切り換えながら選択していく制御手段と、
デコーダまたはエンコーダから出力されるデコードまたはエンコード済みの動画データを再生または記録されるまでのあいだ一時的に記憶するバッファメモリと、を有し、
前記所定ブロックを構成するフレームの数、または前記再生または記録の速度のうちの少なくとも一方は、動画データ毎に異なっており、
前記制御手段は、動画データ毎に異なる前記所定ブロックを構成するフレームの数、または前記再生または記録の速度に応じて、前記動画データの切り換えタイミングの決定と、切り換える動画データの選択を行う、
ことを特徴とする。

本発明によれば、複数の動画データにおいて異なるコーディックの特性を有していた場合でも、同時記録や同時再生において不具合が生じない。

本発明の一実施形態の動画処理装置においてデコード処理を実行する場合におけるブロック図である。 ＦＩＦＯバッファ領域を説明するための模式図である。 図１の表示制御部が実行する表示制御処理の流れを示すフローチャートである。 図１の動画選択制御部が実行する動画選択制御処理の流れを示すフローチャートである。 図１のフレームレート変更部が実行するフレームレート変更処理の流れを示すフローチャートである。 図１の動画選択制御部が実行する動画選択制御処理の流れの他の例を示すフローチャートである。 本発明の一実施形態の動画処理装置においてエンコード処理を行う場合におけるブロック図である。

以下、本発明の実施形態について、図面を用いて説明する。
本発明の一実施形態に係る動画処理装置は、Ｈ．２６４／ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に準拠してエンコード及びデコードを実行する。
また、動画処理装置は、例えば、複数の撮像装置で同時期に撮影（同期撮影）された動画を、１つのコーディックハードウェアでエンコードし、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）周期及びフレームレートがそれぞれ異なる複数の動画データを生成し、記憶手段に記憶する。
また、動画処理装置は、上述したエンコードによって記憶手段に記憶された、ＩＤＲ周期及びフレームレートがそれぞれ異なる複数動画データを、１つのコーディックハードウェアでデコードし、１つの表示手段に分割表示して同時再生を行う。
このように構成される動画装置は、エンコードまたはデコード毎に複数のコーディックハードウェアを用いない。
通常、１つのコーディックハードウェアで複数の動画データをコーディックする場合、ソフトウェアコーディックを使用するが、ソフトウェアコーディックでは処理に時間がかかってしまうが、本実施形態の動画処理装置においては、ソフトウェアコーディックを使用しないために、動画データの再生・記憶の処理に時間がかかることがない。

このように構成される動画処理装置について、まず、デコード処理について説明する。
図１は、本発明の一実施形態の動画処理装置においてデコード処理を実行する場合におけるブロック図である。
「デコード処理」とは、本実施形態においては、メモリ手段（後述するＤＲＡＭ１１）に記憶されている複数の動画データを１つのデコーダに適宜入力してデコードし、デコードしたデータをバッファに一時的に保存して、保存順に順次表示手段（後述する表示部１９）に出力し、複数の動画を分割表示するまでの一連の処理である。
なお、デコードに使用される動画データは、複数の撮像装置で撮像した動画像のデータを記憶用にエンコードした、ＩＤＲ周期及びフレームレートがそれぞれ異なる動画データである。

動画処理装置１は、図１に示すように、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１と、入力切替部１２と、デコーダ１３と、出力切替部１４と、動画選択制御部１５と、ＩＤＲ周期特定部１６と、フレームレート変更部１７と、表示制御部１８と、表示部１９と、を備える。

ＤＲＡＭ１１は、画像データを一時記憶するバッファメモリとして使用されるとともに、各種機能部のワーキングメモリとしても使用される。

また、ＤＲＡＭ１１は、ＩＤＲ周期及びフレームレートがそれぞれ異なる複数の動画データ１，２・・・ｎを記憶している。

また、ＤＲＡＭ１１は、再生する動画データを動画データ毎に記憶するＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ， Ｆｉｒｓｔ Ｏｕｔ）バッファ領域を有する。このＦＩＦＯバッファ領域に記憶されたデータは、最初にメモリに入ってきたデータを先に処理され、当該データの処理が終わるまで次に入ってきたデータを処理するような動作原理の元で処理される。

図２は、ＦＩＦＯバッファ領域を説明するための模式図である。
ＦＩＦＯバッファ領域は、図１に示すように、表示再生される動画データ毎に確保される。
各ＦＩＦＯバッファ領域は、図２に示すように、各ＩＤＲブロックに対応して、複数のＩＤＲブロックｍ領域，ｍ−１領域，ｍ−２領域，ｍ−３領域に領域が確保されている。
また、各ＦＩＦＯバッファ領域は、フレームレートやコーディックの処理能力を考慮して領域が確保される。
また、各ＦＩＦＯバッファ領域は、各動画データ毎に、少なくともＩＤＲ周期分のフレーム画像を格納可能な容量以上確保するように構成する。
また、ＤＲＡＭ１１では、後述するＩＤＲ周期特定部１６のＩＤＲ周期の特定により、再生／記録の対象として指定された各動画データのＩＤＲ周期を、再生／記録に先立って特定し、この特定されたＩＤＲ周期に応じて各動画データに対応するメモリの容量を動的に変更するように構成する。

このように構成されるＦＩＦＯバッファ領域は、動画データの解析結果に基づいて、ＩＤＲ周期を考慮した領域が確保される。

具体的には、例えば、動画データ１のＩＤＲ周期が「Ｎ１」であり、動画データ１の単位フレーム画像のデータサイズが「Ｓ１」バイトであった場合には、動画データ１のデコードデータを記憶するＦＩＦＯバッファ１として「Ｎ１×Ｓ１」分のメモリ領域を確保する。また、動画データ２のＩＤＲ周期が「Ｎ２」であり、動画データ１の単位フレーム画像のデータサイズが「Ｓ２」バイトであった場合には、動画データ２のデコードデータを記憶するＦＩＦＯバッファ１として「Ｎ２×Ｓ２」分のメモリ領域を確保する。

従って、動画処理装置１においては、動画データ１及び動画データ２をデコード処理に用いる場合には、まず、動画データ１のＩＤＲ１周期分のフレーム画像を「Ｎ１」枚をデコードした後にＦＩＦＯバッファ１に順次記憶させる。次に、動画データ２のＩＤＲ１周期分のフレーム画像を「Ｎ２」枚をデコードした後にＦＩＦＯバッファ２に順次記憶させる。これらの処理を繰り返すことになる。

図１に戻り、入力切替部１２は、ＤＲＡＭ１１に記憶される動画データの中からデコーダに出力する動画データを切り替える。入力切替部１２は、動画選択制御部１５により、複数の動画データうちの何れかの動画データを入力するのかの切替制御がされる。動画選択制御部１５により、入力切替部１２は、所定の動画データを、デコーダ１３に入力する。

デコーダ１３は、入力切替部１２から出力された動画データをデコードする、即ち、復号し、圧縮前のデータを取り出す。
デコーダ１３は、取り出したデータを出力切替部１４に出力する。

出力切替部１４は、デコーダ１３により取り出されたデータ（以下、「デコードデータ」という）をＤＲＡＭ１１の所定のＦＩＦＯバッファに記憶させる。出力切替部１４は、動画選択制御部１５により、デコードデータを複数の所定のＦＩＦＯバッファに記憶されるかの切替制御がされる。動画選択制御部１５により、出力切替部１４は、デコードデータを所定のＦＩＦＯバッファに記憶させる。

動画選択制御部１５は、ＩＤＲ周期特定部１６により特定されたＩＤＲ周期及びフレームレート変更部により変更された動画データのフレームレートに基づいて、入力切替部１２のデコーダ１３への動画データの入力切替及び出力切替部１４のＤＲＡＭ１１のＦＩＦＯバッファへのデコードデータの出力切替をそれぞれ制御する。
また、動画選択制御部１５は、表示制御部１８による表示部１９への表示制御から、表示部１９での各動画データの再生時間に基づいて、入力切替部１２のデコーダ１３への動画データの入力切替及び出力切替部１４のＤＲＡＭ１１のＦＩＦＯバッファへのデコードデータの出力切替をそれぞれ制御する。具体的には、動画選択制御部１５は、例えば、最も再生時間が少ない動画データに切り替える制御を行う。この際、動画選択制御部１５は、所定ブロック単位でデコーダに入力済みの動画データの量を、ＩＤＲ周期を構成するフレームの数と、各動画データのフレームレートに応じて総再生時間に換算し、この総再生時間が等しくなるように、ＩＤＲ周期単位でデコーダに入力する動画データを選択するように構成してもよい。なお、動画処理装置は、デコーダに入力済みの複数の所定ブロックの総再生時間を、各ＩＤＲ周期毎に異なるフレームレートと、各ＩＤＲ周期を構成するフレームの数とに応じて算出するように構成してもよい。
また、動画選択制御部１５は、ＤＲＡＭ１１の各ＦＩＦＯバッファのバッファ残量に基づいて、入力切替部１２のデコーダ１３への動画データの入力切替及び出力切替部１４のＤＲＡＭ１１のＦＩＦＯバッファへのデコードデータの出力切替をそれぞれ制御する。具体的には、動画選択制御部１５は、例えば、バッファ残量が少ないＦＩＦＯバッファに対応する動画データから他の動画データに切り替えたり、バッファ残量が多いＦＩＦＯバッファに対応する動画データに切り替えたりする制御を行う。

ＩＤＲ周期特定部１６は、ＤＲＡＭ１１に記憶される各動画データを解析して、各動画データ毎のＩＤＲ周期を特定する。「ＩＤＲ周期」とは、ＩＤＲフレームの挿入間隔となるフレーム数である。つまり、ＩＤＲ周期特定部１６は、動画データを解析して、ＩＤＲフレームの挿入間隔からＩＤＲ周期を特定する。

フレームレート変更部１７は、ユーザの操作により、所定の動画データのフレームレートからユーザが指定した任意のフレームレートに変更する。

表示制御部１８は、ＤＲＡＭ１１の所定のＦＩＦＯバッファ領域に記憶されるデコードデータを表示出力させるように表示部１９を制御する。
表示制御部１８は、ＩＤＲ周期特定部１６により特定されたＩＤＲ周期及びフレームレート変更部により変更された動画データのフレームレートに基づいて、表示制御するデコードデータが記憶されるＦＩＦＯバッファ領域を決定して、決定したＦＩＦＯバッファ領域に記憶されるデコードデータを表示出力するように表示部１９を制御する。

表示部１９は、ディスプレイ等により構成され、表示制御部１８の制御により、ＤＲＡＭ１１の所定のＦＩＦＯバッファ領域に記憶されるデコードデータを表示出力する。

以上のように構成される動画処理装置１においては、複数の動画データにおいて異なるコーディックの特性（フレームレート、ＩＤＲ周期）を有していた場合でも、同時再生において不具合が生じることがない。

図３は、図１の表示制御部１８が実行する表示制御処理の流れを示すフローチャートである。
この表示制御処理では、表示制御部１８により、再生予定時刻が到来することにより、フレームレートに応じてＤＲＡＭ１１のＦＩＦＯバッファからデコード済みの動画データを取得して、指定されたフレームレートの周期で表示部１９にそれぞれ再生表示させる。そして、表示制御処理では、同時再生する動画の数となった場合に、処理を終了する。
なお、デコード済み動画データは、各データのＩＤＲブロック毎にフレームレートが異なっている。即ち、表示制御部１８は、各デコード済み動画データのＩＤＲブロック毎にフレームレートに基づいて、表示部１９における再生表示の制御を行うこととなる。

ステップＳ１１において、表示制御部１８は、「Ｋ＝１」として処理対象となる動画データの番号（以下、「動画番号」という）の初期化を行う。なお、「Ｋ」は、それぞれのデコードされた動画データの動画番号を示す。

ステップＳ１２において、表示制御部１８は、「ＩＤＲブロック番号（Ｋ）＝１」とする。

ステップＳ１３において、表示制御部１８は、「ＩＤＲブロック内フレーム番号（Ｋ）＝１」とする。

ステップＳ１４において、表示制御部１８は、次のフレームの再生予定時刻（Ｋ）が現在時刻（「次フレーム再生予定時刻（Ｋ）＝現在時刻？」）であるか否かを判定する。ただし、各動画データの先頭フレームを再生する際には、次フレーム再生予定時刻（Ｋ）が設定されていないので、この判定条件を満たすものとして直ちに再生を行う。

次のフレームの再生予定時刻（Ｋ）が現在時刻でない場合には、ステップＳ１４においてＮＯであり、処理はステップＳ２０に進む。ステップＳ２０以降の処理については後述する。

これに対して、次のフレームの再生予定時刻（Ｋ）が現在時刻の場合には、ステップＳ１４においてＹＥＳであり、処理はステップＳ１５に進む。

ステップＳ１５において、表示制御部１８は、ＦＩＦＯバッファ（Ｋ）内のうちＩＤＲブロック番号（Ｋ）、再生フレーム番号（Ｋ）で示されるフレーム画像を表示部１９に表示出力させるように制御する。その結果、ＦＩＦＯバッファ（Ｋ）内のうちＩＤＲブロック番号（Ｋ）、再生フレーム番号（Ｋ）で示されるフレーム画像が表示部１９に表示出力される。

ステップＳ１６において、表示制御部１８は、「ＩＤＲブロック内フレーム番号（Ｋ）＝ＩＤＲブロック内フレーム番号（Ｋ）＋１」とし、次のＩＤＲブロック内フレーム番号（Ｋ）にカウントを進める。

ステップＳ１７において、表示制御部１８は、「Ｂ＝ＩＤＲブロック番号（Ｋ）」であり、「次フレーム再生予定時間（Ｋ）＝現在時刻＋１／フレームレート（Ｋ，Ｂ）」とする。
ここで、「Ｋ」は、それぞれのデコードされた動画データの動画番号を示しており、「Ｂ」はＩＤＲブロック番号を示している。「フレームレート（Ｋ，Ｂ）」とは、後述するフレームレート変更処理で生成あるいは更新されて記憶されている２次元配列データであり、所定のデコード済み動画データの所定のＩＤＲブロック番号におけるフレームレートを意味することとなる。

ステップＳ１８において、表示制御部１８は、ＩＤＲ周期（Ｋ）よりもＩＤＲブロック内フレーム番号が大きい（「ＩＤＲブロック内フレーム番号＞ＩＤＲ周期（Ｋ）」）か否かを判定する。

ＩＤＲ周期（Ｋ）よりもＩＤＲブロック内フレーム番号が小さい場合には、ステップＳ１８においてＮＯと判定されて、処理はステップＳ２０に進む。

これに対して、ＩＤＲ周期（Ｋ）よりもＩＤＲブロック内フレーム番号が大きい場合には、ステップＳ１８においてＹＥＳと判定されて、処理はステップＳ１９に進む。

ステップＳ１９において、表示制御部１８は、「ＩＤＲブロック番号（Ｋ）＝ＩＤＲブロック番号（Ｋ）＋１ ＩＤＲブロック内フレーム番号（Ｋ）＝１」として、次のＩＤＲブロック番号（Ｋ）のＩＤＲブロック内フレーム番号（Ｋ）＝１にカウントを進める。

ステップＳ２０において、表示制御部１８は、「Ｋ＝Ｋ＋１」として、カウントを進める。

ステップＳ２１において、表示制御部１８は、同時再生する動画の数よりもＫが多いか否か（「Ｋ＞同時再生する動画の数？」）を判定する。

同時再生する動画の数の方がＫよりも多い場合には、ステップＳ２１においてＮＯと判定されて、処理はステップＳ２に戻り、ステップＳ２以降の処理が行われる。

これに対して、同時再生する動画の数よりもＫの方が多い場合には、ステップＳ２１においてＹＥＳと判定されて、処理はステップＳ２２に進む。

ステップＳ２２において、表示制御部１８は、表示制御処理が終了か否かを判定する。
表示制御処理が終了でない場合には、ステップＳ２２においてＮＯと判定されて、処理はステップＳ１１に戻り、ステップＳ１１以降の処理が行われる。
これに対して、表示制御処理が終了の場合には、ステップＳ２２においてＹＥＳと判定されて、表示制御処理は、終了する。
従って、上述した表示制御処理においては、表示制御部１８は、ＤＲＡＭ１１のＦＩＦＯバッファに記憶されるデコード済み動画データをフレームレートに基づいて表示部１９に表示再生する制御を行う。そして、表示制御部１８は、デコード済み動画データのフレームレートに基づいて、次の再生タイミングを設定する。また、表示制御部１８は、次の再生タイミングが到来するまで再生可能なデコード済み動画データを探索して待機する。その後、表示制御部１８は、再生タイミングが到来したデコード済み動画データを再生して、次の再生タイミングを設定するという処理を行う。

以上、図１の表示制御部１８が実行する表示制御処理の流れについて説明した。
以下、図１の動画選択制御部１５が実行する動画選択制御処理の流れについて説明する。
図４は、図１の動画選択制御部１５が実行する動画選択制御処理の流れを示すフローチャートである。
この動画選択制御処理では、動画選択制御部１５は、動画データの選択を、表示部１９における再生した時間の総時間（以下、「総処理再生時間」という）に基づいて行う。詳細には、動画選択制御部１５は、最も総処理再生時間が短い動画データを選択して入力切替部１２及び出力切替部１４を制御する。

ステップＳ４１において、動画選択制御部１５は、「Ｋ＝１」として処理対象となる動画データの番号（以下、「動画番号」という）の初期化を行う。

ステップＳ４２において、動画選択制御部１５は、「ＩＤＲブロック番号（Ｋ）＝１」とする。

ステップＳ４３において、動画選択制御部１５は、ＩＤＲブロック番号（Ｋ）で指定されるブロックの圧縮データをデコーダ１３に入力するように入力切替部１２を制御する。その結果、所定の動画データにおけるブロックの圧縮データが入力切替部１２によりデコーダ１３に入力される。

ステップＳ４４において、動画選択制御部１５は、「ＩＤＲブロック番号（Ｋ）＝ＩＤＲブロック番号（Ｋ）＋１」とし、次のＩＤＲブロック番号（Ｋ）にカウントを進める。

ステップＳ４５において、動画選択制御部１５は、「Ｂ＝ＩＤＲブロック番号（Ｋ） 総処理再生時間（Ｋ）＝総処理再生時間（Ｋ）＋ＩＤＲ周期（Ｋ）／フレームレート（Ｋ，Ｂ）」とする。

ステップＳ４６において、動画選択制御部１５は、直前の入力ブロックのデコードが完了しているか否かを判定する。
直前の入力ブロックのデコードが完了していない場合には、ステップＳ４６においてＮＯと判定されて、直前の入力ブロックのデコードが完了するまで、待機状態となる。
これに対して、直前の入力ブロックのデコードが完了している場合には、ステップＳ４６においてＹＥＳと判定されて、処理はステップＳ４７に進む。

ステップＳ４７において、動画選択制御部１５は、（ｘ＝１，２，３・・・の中で）総処理再生時間（ｘ）が最も小さいｘを特定する。

ステップＳ４８において、動画選択制御部１５は、「Ｋ＝ｘ」として、入力切替部１２及び出力切替部１４を切り替える制御を行う。

ステップＳ４９において、動画選択制御部１５は、動画選択制御処理が終了か否かを判定する。
動画選択制御処理が終了でない場合には、ステップＳ４９においてＮＯと判定されて、処理はステップＳ４２に戻り、ステップＳ４２以降の処理が行われる。
これに対して、動画選択制御処理が終了の場合には、ステップＳ４９においてＹＥＳと判定されて、動画選択制御処理は、終了する。
従って、上述した動画選択制御処理においては、動画選択制御部１５は、ＤＲＡＭ１１に記憶されている動画データを、表示部１９における総処理再生時間が最も短い動画データを順次選択するように入力切替部１２及び出力切替部１４を制御するという処理を行う。

以上、図１の動画選択制御部１５が実行する動画選択制御処理の流れについて説明する。
以下、図１のフレームレート変更部１７が実行するフレームレート変更処理の流れについて説明する。
図５は、図１のフレームレート変更部１７が実行するフレームレート変更処理の流れを示すフローチャートである。
このフレームレート変更処理では、フレームレート変更部１７により、動画データのフレームレートをＩＤＲブロック単位で、ユーザによる任意のタイミングで変更する。任意のタイミングとは、動画データの再生前、動画データの再生中に係わらず任意のタイミングで変更可能である。

ステップＳ６１において、フレームレート変更部１７は、ユーザからの再生フレームレートの変更指示があったか否かを判定する。
ユーザからの再生フレームレートの変更指示がない場合には、ステップＳ６１においてＮＯと判定されて、待機状態となる。
これに対して、ユーザからの再生フレームレートの変更指示があった場合には、ステップＳ６１においてＹＥＳと判定されて、処理はステップＳ６２に進む。

ステップＳ６２において、フレームレート変更部１７は、「Ｋ＝指定された動画番号」として、変更対象の動画データを特定する。

ステップＳ６３において、フレームレート変更部１７は、ユーザからＩＤＲブロック番号の指定があったか否かを判定する。
ユーザからＩＤＲブロック番号の指定がない場合には、ステップＳ６３においてＮＯと判定されて、処理はステップＳ６４に進む。
ステップＳ６４において、フレームレート変更部１７は、「Ｂ＝ＩＤＲブロック番号（Ｋ）＋１」として、現在のＩＤＲブロック番号から次のＩＤＲブロック番号にカウントを進める。その後、処理はステップＳ６６に進む。ステップＳ６６の処理については後述する。

これに対して、ユーザからＩＤＲブロック番号の指定があった場合には、ステップＳ６３においてＹＥＳと判定されて、処理はステップＳ６５に進む。
ステップＳ６５において、フレームレート変更部１７は、「Ｂ＝指定されたＩＤＲブロック番号（Ｋ）」として、指定されたＩＤＲブロック番号へと進む。

ステップＳ６６において、フレームレート変更部１７は、「フレームレート（Ｋ，Ｂ）＝指定されたフレームレート」として、フレームレートを記憶する。このフレームレート（Ｋ，Ｂ）は２次元配列データである。

ステップＳ６７において、フレームレート変更部１７は、フレームレート変更処理が終了か否かを判定する。
フレームレート変更処理が終了でない場合には、ステップＳ６７においてＮＯと判定されて、処理はステップＳ６１に戻り、ステップＳ６１以降の処理が行われる。
これに対して、フレームレート変更処理が終了の場合には、ステップＳ６７においてＹＥＳと判定されて、フレームレート変更処理は、終了する。
従って、上述したフレームレート変更処理においては、フレームレート変更部１７は、ユーザからのＩＤＲブロック単位の動画データのフレームレートの変更をする処理を行う。なお、ユーザからのＩＤＲブロック単位での指定がない場合には、次のＩＤＲブロックのフレームレートが自動的に変更されることとなる。

＜変形例＞
上述した動画選択制御処理においては、動画選択制御部１５は、総処理再生時間で入力切替部１２及び出力切替部１４の切り替えを行うように構成したが、本変形例においては、動画選択制御部１５は、ＦＩＦＯバッファ領域の残量により、入力切替部１２及び出力切替部１４の切り替えを行うように構成する。
具体的には、ＦＩＦＯバッファ領域の残量が残り少ない場合には、他の動画データを選択するようにしたり、ＦＩＦＯバッファ領域の残量が多い場合には、当該ＦＩＦＯバッファ領域の残量が多い動画データを選択したりする。
図６は、図１の動画選択制御部１５が実行する動画選択制御処理の流れの他の例を示すフローチャートである。

ステップＳ８１において、動画選択制御部１５「Ｋ＝１」として処理対象となる動画番号の初期化を行う。

ステップＳ８２において、動画選択制御部１５は、直前の入力ブロックのデコードが完了しているか否かを判定する。

直前の入力ブロックのデコードが完了していない場合には、ステップＳ８２においてＮＯと判定されて、直前の入力ブロックのデコードが完了するまで、待機状態となる。

これに対して、直前の入力ブロックのデコードが完了している場合には、ステップＳ８２においてＹＥＳと判定されて、処理はステップＳ８３に進む。

ステップＳ８３において、動画選択制御部１５は、ＦＩＦＯバッファ領域の残量（Ｋ）は所定以上であるか否かを判定する。
ＦＩＦＯバッファ領域の残量（Ｋ）は所定以上でない場合には、ステップＳ８３においてＮＯと判定されて処理はステップＳ８２に戻り、ステップＳ８２以降の処理が実行される。
これに対して、ＦＩＦＯバッファ領域の残量（Ｋ）は所定以上である場合には、ステップＳ８３においてＹＥＳと判定されて処理はステップＳ８３に進む。

ステップＳ８４において、動画選択制御部１５は、ＦＩＦＯバッファ領域の残量（ｘ）が最も小さいｘを特定する。

ステップＳ８５において、動画選択制御部１５は、「Ｋ＝ｘ」として、入力切替部１２及び出力切替部１４を切り替える制御を行う。

ステップＳ８６において、動画選択制御部１５は、動画選択制御処理が終了か否かを判定する。
動画選択制御処理が終了でない場合には、ステップＳ８６においてＮＯと判定されて、処理はステップＳ８２に戻り、ステップＳ８２以降の処理が行われる。
これに対して、動画選択制御処理が終了の場合には、ステップＳ８６においてＹＥＳと判定されて、動画選択制御処理は、終了する。

以上、本実施形態における動画処理装置１のデコード処理について説明した。
以下、本実施形態における動画処理装置１のエンコード処理について説明する。
本実施形態における「エンコード処理」とは、複数の撮像装置によって撮影された動画を１つのエンコーダにより適宜エンコードし、エンコードしたデータをＤＲＡＭ１１に一時的に保存して、順次記憶部に記憶して行くまでの一連の処理である。

図７は、本発明の一実施形態の動画処理装置１においてエンコード処理を行う場合におけるブロック図である。
本実施形態の動画処理装置１は、エンコード処理を実行する場合には、１のコーディックハードウェアがエンコーダとして機能する。即ち、動画処理装置１においては、デコード処理においてデコーダとして機能していたコーディックハードウェアがエンコーダとして機能する。
なお、以下、上述したデコード処理と、エンコード処理とで同一の機能構成については、同一の符号を付して上述したデコード処理の説明を参照して、説明を省略する。

入力切替部１２は、撮像装置から動画データとなるデータを取得する。
ＩＤＲ周期特定部１６は、エンコーダ１３によるエンコーダ結果に基づいて、各動画データのＩＤＲ周期を特定する。
記憶制御部２０は、フレームレート変更部１７によるフレームレートの変更、ＩＤＲ周期特定部１６により特定されたＩＤＲ周期、ＦＩＦＯバッファの残量、入力切替部１２でのデータの入力時間等を考慮して、ＤＲＡＭ１１への動画データの記憶を制御する。
なお、動画選択制御部１５及び記憶制御部２０における動画の選択制御及び記憶制御は、デコーダの場合と同様の基準を適用してもよい。
このように構成することで、動画処理装置１においては、複数の動画データにおいて異なるコーディックの特性を有していた場合でも、同時記録において不具合が生じることがない。

また、上述した動画処理装置１においては、エンコード処理とデコード処理を異なるタイミングで行う、即ち、コーディックハードウェアをエンコードの機能とデコードの機能とを異なるタイミングで発揮させるように構成した。しかしながら、動画処理装置１においては、エンコード処理とデコード処理を、異なるタイミングとなるデータ処理単位ではなく、所定の動画データのＩＤＲ周期単位に交互に行うように構成することができる。
このように構成することで、動画処理装置１においては、１つのコーディックハードウェア資源を有効にしようすることができるようになる。

以上のように構成する動画処理装置１は、複数の動画データをデコーダ／エンコーダ機能を有する１つのコーディックハードウェアでデコードまたはエンコードしながら同時に再生または記録する。
動画処理装置１は、動画選択制御部１５と、ＤＲＡＭ１１と、を有する。
動画選択制御部１５は、デコーダまたはエンコーダに入力または出力する動画データを所定ブロック（ＩＤＲ周期を構成するＩＤＲフレーム）毎に順番に切り換えながら選択していくように、入力切替部１２及び出力切替部１４を制御する。
ＤＲＡＭ１１は、デコーダまたはエンコーダから出力されるデコードまたはエンコード済みの動画データを再生または記録されるまでのあいだ一時的に記憶する。
動画データは、所定ブロックとなるＩＤＲ周期を構成するＩＤＲフレームの数、または再生または記録の速度であるフレームレートのうちの少なくとも一方がデータ毎に異なっている。
動画選択制御部１５は、動画データ毎に異なるＩＤＲ周期を構成するＩＤＲフレームの数、またはフレームレートに応じて、動画データの切り換えタイミングの決定と、切り換える動画データの選択を行う。
このため、動画処理装置１においては、所定ブロックとなるＩＤＲ周期を構成するＩＤＲフレームの数、または再生または記録の速度であるフレームレートのうちの少なくとも一方がデータ毎に異なっている複数の動画データを、動画選択制御部１５より、動画データ毎に異なるＩＤＲ周期を構成するＩＤＲフレームの数、またはフレームレートに応じて、動画データの切り換えタイミングの決定と、切り換える。
従って、動画処理装置１においては、複数の動画データにおいて異なるコーディックの特性を有していた場合でも、同時記録や同時再生において不具合が生じることがない。

また、動画処理装置１において、再生または記録の速度であるフレームレートは、再生中に変更可能に構成される。
動画選択制御部１５は、更に、再生中に変化する再生または記録の速度であるフレームレートに応じて、動画データの切り換えタイミングの決定と、切り換える動画データの選択を行う。
従って、動画処理装置１においては、ユーザにより再生中にフレームレートが変更された場合であっても、同時記録や同時再生において不具合が生じることがない。

また、再生または記録の速度であるフレームレートは、ＩＤＲ周期単位で変更可能に構成される。
従って、動画処理装置１においては、複数の動画データにおいて異なるコーディックの特性としてＩＤＲ周期が異なっている場合でも、同時記録や同時再生において不具合が生じることがない。

また、ＤＲＡＭ１１の容量は、動画データ毎に異なって構成される。
動画選択制御部１５は、更に、動画データ毎に異なるＤＲＡＭ１１の容量に応じて、動画データの切り換えタイミングの決定と、切り換える動画データの選択を行う。
従って、動画処理装置１においては、扱う動画データに応じて、動的にメモリ容量が決定されるために動画の処理に関して不要なメモリ容量を消費することがない。

また、ＤＲＡＭ１１では、各動画データ毎に、少なくともＩＤＲ周期分のフレーム画像を格納可能な容量以上確保する。
従って、動画処理装置１においては、複数の動画データにおいて異なるコーディックの特性としてＩＤＲ周期が異なっている場合でも、同時記録や同時再生において不具合が生じることがない。

また、ＤＲＡＭ１１では、再生または記録の対象として指定された各動画データのＩＤＲ周期を、再生または記録に先立って特定し、この特定されたＩＤＲ周期に応じて各動画データに対応するメモリの容量を動的に変更するように構成される。
従って、動画処理装置１においては、ＩＤＲ周期により処理予測ができるために、無駄なメモリ容量を消費することがない。

また、動画処理装置１は、表示制御部１８を備える。
ＤＲＡＭ１１は、各動画データ毎に設けられたＦＩＦＯ形式のバッファメモリである。
表示制御部１８は、各ＦＩＦＯメモリに格納されたデコード済みのフレーム画像データを、各動画データのフレームレートに応じた速度で順次読み出して表示部１９に転送する。
動画選択制御部１５は、所定ブロック単位でデコーダに入力済みの動画データの量を、ＩＤＲ周期を構成するフレームの数と、各動画データのフレームレートに応じて総再生時間に換算し、この総再生時間が等しくなるように、ＩＤＲ周期単位でデコーダに入力する動画データを選択する。
従って、動画処理装置１においては、複数の動画データにおいて異なるコーディックの特性が異なっている場合でも、総再生時間を基準にして同時再生の処理を行なうために再生処理に不具合が生じることがない。

動画選択制御部１５は、デコーダに入力済みの複数の所定ブロックの総再生時間を、各ＩＤＲ周期毎に異なるフレームレートと、各ＩＤＲ周期を構成するフレームの数とに応じて算出する。
従って、動画処理装置１においては、複数の動画データにおいて異なるコーディックの特性が異なっている場合でも、総再生時間を基準にして同時再生の処理を行なうために再生処理に不具合が生じることがない。

ＤＲＡＭ１１は、各動画データ毎に設けられたＦＩＦＯ形式のバッファメモリである。
表示制御部１８及び記憶制御部２０は、各ＦＩＦＯメモリに格納されたデコードまたはエンコード済みのフレーム画像データを、再生または記録の速度に応じたフレームレートで順次読み出して再生または記録させる。
動画選択制御部１５は、デコードまたはエンコード中の動画に対応するＦＩＦＯメモリ内のデコードまたはエンコード済みデータが所定割合以上になったタイミング、または、デコードまたはエンコード中ではない他の動画に対応するＦＩＦＯメモリ内のデコードまたはエンコード済みデータが所定割合以下になったタイミングで他の動画への切り換えを行う。
従って、動画処理装置１においては、複数の動画データにおいて異なるコーディックの特性が異なっている場合でも、バッファメモリの容量を基準にするため、同時記録や同時再生において不具合が生じることがない。

また、動画処理装置１においては、１つのコーディックハードウェア（エンコーダ１３・エンコーダ１３）は、デコード機能とエンコード機能とを選択的に処理可能であり、再生する動画データと記録する動画データとを、ＩＤＲ周期単位で交互に切り換えながらデコードとエンコードを交互に行う。
従って、動画処理装置１においては、１つのコーディックハードウェア資源を有効にしようすることができるようになる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、フレームレート変更部１７におけるフレームレートの変更は、ユーザの任意のタイミングで行うように構成したが、同期再生等の処理の開始前に予め変更しても、同期再生中に変更をしてもよい。変更のタイミングも変更指示の直後でなく、例えば、動画の後半等の所定のＩＤＲブロックを指定するように構成してもよい。

また、上述の実施形態では、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣに準拠するものとして説明をしたが、他の方式でも適用可能である。例えば、入力データと出力データを同じＩＤＲ周期（Ｎ）としたが、それぞれ異なる周期（Ｎ１，Ｎ２）となるように構成しても適用可能である。この場合、ＩＤＲ周期は、異なる周期（Ｎ１，Ｎ２）の最小公倍数を単位としてデコード及びエンコードを行うように構成する。

また、上述の実施形態では、本発明が適用される動画処理装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、エンコード／デコード機能を有する１つのコーディックハードウェアを備えた電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図１の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が動画処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図１の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディア等により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア等は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている記憶手段等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
複数の動画データを１つのコーディックでデコードまたはエンコードしながら同時に再生または記録する動画処理装置であって、
デコーダまたはエンコーダに入力または出力する動画データを所定ブロック毎に順番に切り換えながら選択していく制御手段と、
デコーダまたはエンコーダから出力されるデコードまたはエンコード済みの動画データを再生または記録されるまでのあいだ一時的に記憶するバッファメモリと、を有し、
前記所定ブロックを構成するフレームの数、または前記再生または前記記録の速度のうちの少なくとも一方は、動画データ毎に異なっており、
前記制御手段は、動画データ毎に異なる前記所定ブロックを構成するフレームの数、または前記再生または前記記録の速度に応じて、前記動画データの切り換えタイミングの決定と、切り換える動画データの選択を行う、
ことを特徴とする動画処理装置。
［付記２］
前記再生または前記記録の速度は、再生中に変化し、
前記制御手段は、更に、再生中に変化する前記再生または前記記録の速度に応じて、前記動画データの切り換えタイミングの決定と、切り換える動画データの選択を行う、
ことを特徴とする付記１に記載の動画処理装置。
［付記３］
前記再生または前記記録の速度は、前記所定ブロック単位で変化する、
ことを特徴とする付記２に記載の動画処理装置。
［付記４］
前記所定ブロックは、動画データのＩＤＲフレームを区切りとする複数フレームからなる、
ことを特徴とする付記１乃至３の何れか１つに記載の動画処理装置。
［付記５］
前記バッファメモリの容量は、動画データ毎に異なっており、前記制御手段は、更に、動画データ毎に異なる前記バッファメモリの容量に応じて、前記動画データの切り換えタイミングの決定と、切り換える動画データの選択を行う、
ことを特徴とする付記１乃至４の何れか１つに記載の動画処理装置。
［付記６］
前記バッファメモリは、各動画データ毎に、少なくとも前記ＩＤＲ周期分のフレーム画像を格納可能な容量以上確保する、
ことを特徴とする付記１乃至５の何れか１つに記載の動画処理装置。
［付記７］
再生または記録の対象として指定された各動画データのＩＤＲ周期を、再生または記録に先立って特定し、この特定されたＩＤＲ周期に応じて各動画データに対応するバッファメモリの容量を動的に変化させる、
ことを特徴とする付記６に記載の動画処理装置。
［付記８］
前記バッファメモリは、各動画データ毎に設けられたＦＩＦＯ形式のバッファメモリであり、
各ＦＩＦＯメモリに格納されたデコード済みのフレーム画像データを、各動画データのフレームレートに応じた速度で順次読み出して表示デバイスに転送する表示制御手段を備え、
前記制御手段は、前記所定ブロック単位でデコーダに入力済みの動画データの量を、前記所定ブロックを構成するフレームの数と、各動画データの再生速度に応じて総再生時間に換算し、この総再生時間が等しくなるように、前記所定ブロック単位でデコーダに入力する動画データを選択する、
ことを特徴とする付記１乃至７の何れか１つに記載の動画処理装置。
［付記９］
前記制御手段は、デコーダに入力済みの複数の所定ブロックの総再生時間を、各所定ブロック毎に異なる再生速度と、各所定ブロックを構成するフレームの数とに応じて算出する、
ことを特徴とする付記８に記載の動画処理装置。
［付記１０］
前記バッファメモリは、各動画データ毎に設けられたＦＩＦＯ形式のバッファメモリであり、
各ＦＩＦＯメモリに格納されたデコードまたはエンコード済みのフレーム画像データを、再生または記録の速度に応じた速度で順次読み出して再生または記録させる制御手段を備え、
前記制御手段は、デコードまたはエンコード中の動画に対応するＦＩＦＯメモリ内のデコードまたはエンコード済みデータが所定割合以上になったタイミング、または、デコードまたはエンコード中ではない他の動画に対応するＦＩＦＯメモリ内のデコードまたはエンコード済みデータが所定割合以下になったタイミングで他の動画への切り換えを行う、
ことを特徴とする付記５に記載の動画処理装置。
［付記１１］
前記１つのコーディックは、デコード機能とエンコード機能とを選択的に処理可能であり、再生する動画データと記録する動画データとを、前記所定ブロック単位で交互に切り換えながらデコードとエンコードを交互に行う、
ことを特徴とする付記１に記載の動画処理装置。
［付記１２］
複数の動画データを１つのコーディックでデコードまたはエンコードしながら同時に再生または記録する動画処理装置で実行する動画処理方法であって、
デコーダまたはエンコーダに入力または出力する動画データを所定ブロック毎に順番に切り換えながら選択していく第１のステップと、
デコーダまたはエンコーダから出力されるデコードまたはエンコード済みの動画データを再生または記録されるまでのあいだ一時的にバッファメモリに記憶させる制御をする第２のステップと、を含み、
前記第２のステップは、前記所定ブロックを構成するフレームの数、または前記再生または前記記録の速度のうちの少なくとも一方が動画データ毎に異なる前記所定ブロックを構成するフレームの数、または前記再生または前記記録の速度に応じて、前記動画データの切り換えタイミングの決定と、切り換える動画データの選択を行う第３のステップを、
含むことを特徴とする動画処理方法。
［付記１３］
複数の動画データを１つのコーディックでデコードまたはエンコードしながら同時に再生または記録する動画処理装置を制御するコンピュータを、
デコーダまたはエンコーダに入力または出力する動画データを所定ブロック毎に順番に切り換えながら選択していく第１の手段、
デコーダまたはエンコーダから出力されるデコードまたはエンコード済みの動画データを再生または記録されるまでのあいだ一時的にバッファメモリに記憶させる制御をする第２の手段、
として機能させ、
前記第１の手段は、前記所定ブロックを構成するフレームの数、または前記再生または前記記録の速度のうちの少なくとも一方が動画データ毎に異なる前記所定ブロックを構成するフレームの数、または前記再生または前記記録の速度に応じて、前記動画データの切り換えタイミングの決定と、切り換える動画データの選択を行う第３の手段、
として機能させることを特徴とするプログラム。

１・・・動画処理装置，１１・・・ＤＲＡＭ，１２・・・入力切替部，１３・・・エンコーダ／デコーダ，１４・・・出力切替部，１５・・・動画選択制御部，１６・・・ＩＤＲ周期特定部，１７・・・フレームレート変更部，１８・・・表示制御部，１９・・・表示部，２０・・・記憶制御部

Claims (13)

1. 複数の動画データを１つのコーディックでデコードまたはエンコードしながら同時に再生または記録する動画処理装置であって、
   デコーダまたはエンコーダに入力または出力する動画データを所定ブロック毎に順番に切り換えながら選択していく制御手段と、
   デコーダまたはエンコーダから出力されるデコードまたはエンコード済みの動画データを再生または記録されるまでのあいだ一時的に記憶するバッファメモリと、を有し、
   前記所定ブロックを構成するフレームの数、または前記再生または前記記録の速度のうちの少なくとも一方は、動画データ毎に異なっており、
   前記制御手段は、動画データ毎に異なる前記所定ブロックを構成するフレームの数、または前記再生または前記記録の速度に応じて、前記動画データの切り換えタイミングの決定と、切り換える動画データの選択を行う、
   ことを特徴とする動画処理装置。
2. 前記再生または記録の速度は、再生中に変化し、
   前記制御手段は、更に、再生中に変化する前記再生または前記記録の速度に応じて、前記動画データの切り換えタイミングの決定と、切り換える動画データの選択を行う、
   ことを特徴とする請求項１に記載の動画処理装置。
3. 前記再生または前記記録の速度は、前記所定ブロック単位で変化する、
   ことを特徴とする請求項２に記載の動画処理装置。
4. 前記所定ブロックは、動画データのＩＤＲフレームを区切りとする複数フレームからなる、
   ことを特徴とする請求項１乃至３の何れか１項に記載の動画処理装置。
5. 前記バッファメモリの容量は、動画データ毎に異なっており、前記制御手段は、更に、動画データ毎に異なる前記バッファメモリの容量に応じて、前記動画データの切り換えタイミングの決定と、切り換える動画データの選択を行う、
   ことを特徴とする請求項１乃至４の何れか１項に記載の動画処理装置。
6. 前記バッファメモリは、各動画データ毎に、少なくとも前記ＩＤＲ周期分のフレーム画像を格納可能な容量以上確保する、
   ことを特徴とする請求項１乃至５の何れか１項に記載の動画処理装置。
7. 再生または記録の対象として指定された各動画データのＩＤＲ周期を、再生または記録に先立って特定し、この特定されたＩＤＲ周期に応じて各動画データに対応するバッファメモリの容量を動的に変化させる、
   ことを特徴とする請求項６に記載の動画処理装置。
8. 前記バッファメモリは、各動画データ毎に設けられたＦＩＦＯ形式のバッファメモリであり、
   各ＦＩＦＯメモリに格納されたデコード済みのフレーム画像データを、各動画データのフレームレートに応じた速度で順次読み出して表示デバイスに転送する表示制御手段を備え、
   前記制御手段は、前記所定ブロック単位でデコーダに入力済みの動画データの量を、前記所定ブロックを構成するフレームの数と、各動画データの再生速度に応じて総再生時間に換算し、この総再生時間が等しくなるように、前記所定ブロック単位でデコーダに入力する動画データを選択する、
   ことを特徴とする請求項１乃至７の何れか１項に記載の動画処理装置。
9. 前記制御手段は、デコーダに入力済みの複数の所定ブロックの総再生時間を、各所定ブロック毎に異なる再生速度と、各所定ブロックを構成するフレームの数とに応じて算出する、
   ことを特徴とする請求項８に記載の動画処理装置。
10. 前記バッファメモリは、各動画データ毎に設けられたＦＩＦＯ形式のバッファメモリであり、
    各ＦＩＦＯメモリに格納されたデコードまたはエンコード済みのフレーム画像データを、再生または記録の速度に応じた速度で順次読み出して再生または記録させる制御手段を備え、
    前記制御手段は、デコードまたはエンコード中の動画に対応するＦＩＦＯメモリ内のデコードまたはエンコード済みデータが所定割合以上になったタイミング、または、デコードまたはエンコード中ではない他の動画に対応するＦＩＦＯメモリ内のデコードまたはエンコード済みデータが所定割合以下になったタイミングで他の動画への切り換えを行う、
    ことを特徴とする請求項５に記載の動画処理装置。
11. 前記１つのコーディックは、デコード機能とエンコード機能とを選択的に処理可能であり、再生する動画データと記録する動画データとを、前記所定ブロック単位で交互に切り換えながらデコードとエンコードを交互に行う、
    ことを特徴とする請求項１に記載の動画処理装置。
12. 複数の動画データを１つのコーディックでデコードまたはエンコードしながら同時に再生または記録する動画処理装置で実行する動画処理方法であって、
    デコーダまたはエンコーダに入力または出力する動画データを所定ブロック毎に順番に切り換えながら選択していく第１のステップと、
    デコーダまたはエンコーダから出力されるデコードまたはエンコード済みの動画データを再生または記録されるまでのあいだ一時的にバッファメモリに記憶させる制御をする第２のステップと、を含み、
    前記第２のステップは、前記所定ブロックを構成するフレームの数、または前記再生または前記記録の速度のうちの少なくとも一方が動画データ毎に異なる前記所定ブロックを構成するフレームの数、または前記再生または前記記録の速度に応じて、前記動画データの切り換えタイミングの決定と、切り換える動画データの選択を行う第３のステップを、
    含むことを特徴とする動画処理方法。
13. 複数の動画データを１つのコーディックでデコードまたはエンコードしながら同時に再生または記録する動画処理装置を制御するコンピュータを、
    デコーダまたはエンコーダに入力または出力する動画データを所定ブロック毎に順番に切り換えながら選択していく第１の手段、
    デコーダまたはエンコーダから出力されるデコードまたはエンコード済みの動画データを再生または記録されるまでのあいだ一時的にバッファメモリに記憶させる制御をする第２の手段、
    として機能させ、
    前記第１の手段は、前記所定ブロックを構成するフレームの数、または前記再生または前記記録の速度のうちの少なくとも一方が動画データ毎に異なる前記所定ブロックを構成するフレームの数、または前記再生または前記記録の速度に応じて、前記動画データの切り換えタイミングの決定と、切り換える動画データの選択を行う第３の手段、
    として機能させることを特徴とするプログラム。

Images