JP2011029844A - 情報処理装置、情報処理方法、並びにプログラム - Google Patents

Abstract

【課題】インサート編集後の画質の劣化を防止する。
【解決手段】符号化された単純静止画データのGOP内のピクチャであって、符号化された単純静止画データにMPEG方式で符号化された上書きデータを挿入するインサート編集における単純静止画データと上書きデータとの２つの接続点のうちの後方の接続点となり得るピクチャであるターゲットピクチャのVBVバッファ内のビット占有量が、実際の上限より小さい仮想的な上限を超えないように、ターゲットピクチャの１つ前のピクチャにスタッフィングデータが付加される。本発明は、例えば、インサート編集の下地データを記録する記録機に適用することができる。
【選択図】図９

Description

本発明は、情報処理装置、情報処理方法、並びにプログラムに関し、特に、インサート編集後の画質の劣化を防止することができるようにした情報処理装置、情報処理方法、並びにプログラムに関する。

従来のVTR（Video Tape Recorder）において、予め下地としてカラーバーや黒画が記録されているビデオテープに編集素材を挿入するインサート編集は、一般に多く用いられている（例えば、特許文献１参照）。

記録メディアに記録されている、Long GOP(Group of picture)構造を有するMPEG(Moving Picture Experts Group phase）方式で符号化された編集データを編集する編集システムにおいても、従来と同様のインサート編集機能が求められている。

Long GOP構造を有するMPEG方式でカラーバーや黒画等の単純な静止画が符号化される場合、発生符号量は本来少ない。具体的には、図１に示すように、Ｉピクチャでは、フレーム内符号化が行われるため、Ｉピクチャの発生符号量はフレーム単独の画像の複雑さに大きく依存する。しかしながら、ＰピクチャおよびＢピクチャでは、フレーム間予測符号化が行われるため、符号化対象が、前後のフレームからの動きがなく前後のフレームから容易に予測可能な静止画像である場合、発生符号量は少ない。

なお、図１において、横軸は、時間を表し、縦軸は、デコーダの入力バッファに対応する仮想バッファであるVBV（Video Buffering Verifier）バッファ内のビット占有量を表している。このことは、後述する図２、図６、図７、図９、および図１０において同様である。

また、図１の実線は、単純な静止画のVBVバッファ内のビット占有量の時間的変化を表している。従って、図１の実線の傾きは、単純な静止画の各ピクチャのビットレートを表し、実線の縦線の長さは、単純な静止画の各ピクチャの発生符号量を表す。さらに、図１の点線は、単純な静止画の各ピクチャに付加されるスタッフィングデータのデータ量を表している。

ところで、符号化は、ビット占有量がオーバーフローしないように行われる必要があるため、図１に示すように、あるピクチャのビット占有量が上限を超えそうな場合、そのピクチャの１つ前のピクチャにスタッフィングデータが付加され、発生符号量が増やされる。その結果、図１に示すように、ビット占有量は、上限を超えず、常に上限にはり付いた状態になる。

一方、インサート編集が行われる場合、インサート編集後のデータをストリームとして成り立たせるためには、インサート編集後のVBVバッファ内のビット占有量を連続させる必要がある。そして、VBVバッファ内のビット占有量を連続させるためには、挿入する画像の最終的なビット占有量を、その画像と接続する下地の２つの接続点のうちの後方の接続点におけるビット占有量よりも大きくする必要がある。

即ち、挿入する画像の最終的なビット占有量が、下地の後方の接続点におけるビット占有量より大きい場合には、その画像にスタッフィングデータを付加することにより、その画像の最終的なビット占有量と、下地の後方の接続点におけるビット占有量を一致させることができる。

国際公開第９９／２２３７４号パンフレット

しかしながら、下地が単純な静止画である場合、図２に示すように、後方の接続点におけるVBVバッファ内のビット占有量が上限付近にある。従って、挿入する画像の最終的なビット占有量を、後方の接続点におけるビット占有量よりも大きくすることができない。

よって、インサート編集を行う編集装置は、一般的には、挿入する画像の発生符号量を抑えることにより、その画像の最終的なビット占有量を、後方の接続点におけるビット占有量と完全に一致させ、これにより、VBVバッファ内のビット占有量を連続させる。その結果、インサート編集後の画質が劣化してしまう。

なお、図２において、太い実線、細い実線は、それぞれ、挿入する画像、単純な静止画のVBVバッファ内のビット占有量の時間的変化を表している。従って、図２の太い実線、細い実線の傾きは、それぞれ、挿入する画像、単純な静止画の各ピクチャのビットレートを表す。また、太い実線、細い実線の縦線の長さは、それぞれ、挿入する画像、単純な静止画の各ピクチャの発生符号量を表す。また、太い点線、細い点線は、それぞれ、挿入する画像、単純な静止画の各ピクチャに付加されるスタッフィングデータのデータ量を表している。

本発明は、このような状況に鑑みてなされたものであり、インサート編集後の画質の劣化を防止することができるようにするものである。

本発明の一側面の情報処理装置は、入力データが単純な静止画の画像データであるかどうかをGOP単位で判定する判定手段と、前記入力データが単純な静止画の画像データであると判定された場合、符号化された前記入力データのGOP内のピクチャであって、符号化された前記入力データに前記MPEG方式で符号化された上書きデータを挿入するインサート編集における前記入力データと前記上書きデータとの２つの接続点のうちの後方の接続点となり得るピクチャであるターゲットピクチャのデコーダの入力バッファに対応する仮想バッファ内のビット占有量が、実際の上限より小さい仮想的な上限を超えないように、前記ターゲットピクチャの１つ前のピクチャにスタッフィングデータを付加し、前記入力データが単純な静止画の画像データではないと判定された場合、符号化された前記入力データの前記GOP内の全ピクチャの前記ビット占有量が前記実際の上限を超えないように、そのGOP内のピクチャにスタッフィングデータを付加する付加手段とを備える情報処理装置である。

本発明の一側面の情報処理方法およびプログラムは、本発明の一側面の情報処理装置に対応する。

本発明の一側面においては、入力データが単純な静止画の画像データであるかどうかがGOP単位で判定され、入力データが単純な静止画の画像データであると判定された場合、符号化された入力データのGOP内のピクチャであって、符号化された入力データにMPEG方式で符号化された上書きデータを挿入するインサート編集における入力データと上書きデータとの２つの接続点のうちの後方の接続点となり得るピクチャであるターゲットピクチャのデコーダの入力バッファに対応する仮想バッファ内のビット占有量が、実際の上限より小さい仮想的な上限を超えないように、ターゲットピクチャの１つ前のピクチャにスタッフィングデータが付加され、入力データが単純な静止画の画像データではないと判定された場合、符号化された入力データのGOP内の全ピクチャのビット占有量が実際の上限を超えないように、そのGOP内のピクチャにスタッフィングデータが付加される。

以上のように、本発明の一側面によれば、インサート編集後の画質の劣化を防止することができる。

従来の符号化方法における単純な静止画のVBVバッファ内のビット占有量を示す図である。 従来の符号化方法におけるインサート編集時のVBVバッファ内のビット占有量を示す図である。 本発明を適用した編集システムの一実施の形態の構成例を示すブロック図である。 図３の記録機の詳細構成例を示すブロック図である。 ビデオエンコーダとCPUの処理を詳細に説明する図である。 単純静止画データに対するスタッフィングデータの付加方法を説明する図である。 上書きデータに対するスタッフィングデータの付加方法を説明する図である。 記録機による付加処理を説明するフローチャートである。 単純静止画データに対するスタッフィングデータの他の付加方法を説明する図である。 単純静止画データに対するスタッフィングデータのさらに他の付加方法を説明する図である。 記録機による他の付加処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。

＜一実施の形態＞
［編集システムの一実施の形態の構成例］
図３は、本発明を適用した編集システムの一実施の形態の構成例を示すブロック図である。

図３の編集システム１０は、記録機１１（情報処理装置）、再生機１２、編集機１３、およびリファレンス信号発生器１４により構成される。

記録機１１は、再生機１２と同軸ケーブルで接続されている。記録機１１は、自分自身に装着された記録メディアに下地データを記録する。また、記録機１１は、編集機１３と制御線で接続されている。この制御線は、例えばRS-422規格の９ピンケーブルである。記録機１１は、編集機１３から制御線を介して送信されてくる制御信号に応じて、再生機１２からHD-SDI（High Definition Serial Digital Interface）信号として送信されてくる編集データを、記録メディアに記録されている下地データの編集範囲に挿入する。さらに、記録機１１は、制御線を介して各種の信号を編集機１３に送信する。

再生機１２は、記録機１１と同様に、編集機１３と制御線で接続されている。再生機１２は、編集機１３から制御線を介して送信されてくる制御信号に応じて、自分自身に装着された記録メディアに記録されているデータを編集データとして読み出し、HD-SDI信号として記録機１１に供給する。また、再生機１２は、制御線を介して各種の信号を編集機１３に送信する。

編集機１３は、例えばリモートコントローラにより構成される。編集機１３は、ユーザからの指示に対応する制御信号を、制御線を介して送信することにより、記録機１１および再生機１２を制御し、インサート編集を行う。即ち、編集機１３は、記録機１１および再生機１２を制御して、記録機１１の記録メディアに記録されている下地データの編集範囲に、再生機１２により再生された編集データを上書きさせる。

リファレンス信号発生器１４は、記録機１１、再生機１２、および編集機１３の制御のタイミング、並びに、記録や再生のタイミングの基準となるリファレンス信号を発生する。

［記録機の詳細構成例］
図４は、図３の記録機１１の詳細構成例を示すブロック図である。

図４に示すように、記録機１１は、CPU２１、ベースバンド入出力処理部２２、ビデオデコーダ２３、ビデオエンコーダ２４、バッファメモリ２５、および記録メディア２６により構成される。

CPU（Central Processing Unit）２１は、編集機１３からの制御信号などに基づいて、他のブロックをフレーム単位またはGOP単位で制御する。

例えば、CPU２１は、編集機１３から供給されるユーザにより指定されたイン点を示す制御信号に基づいて、記録メディア２６を制御し、記録メディア２６からのイン点を含むGOPの先頭のピクチャ以降のピクチャの読み出しを開始させる。また、CPU２１は、編集機１３から供給されるユーザにより指定されたアウト点を示す制御信号に基づいて、記録メディア２６を制御し、記録メディア２６からのアウト点を含むGOPの終端のピクチャの読み出しの終了時に、読み出しを停止させる。

また、CPU２１は、他のブロックを監視する。CPU２１は、タイムコードなどの記録機１１の情報を表す信号を編集機１３に送信する。

ベースバンド入出力処理部２２は、セレクタ３１を有する。ベースバンド入出力処理部２２は、再生機１２からHD-SDI信号として送信されてくる編集データまたは単純な静止画の画像データ（以下、単純静止画データという）を取得し、セレクタ３１に供給する。なお、この単純静止画データは、再生機１２以外の図示せぬ機器から供給されてもよいし、予め記録機１１の図示せぬメモリに記録されていてもよい。

また、ベースバンド入出力処理部２２は、ビデオデコーダ２３から供給される、記録メディア２６に記録されている下地データの復号結果である単純静止画データをセレクタ３１に供給する。

セレクタ３１は、再生機１２から送信されてくる単純静止画データをビデオエンコーダ２４に供給する。また、セレクタ３１は、CPU２１の制御により、ビデオデコーダ２３から供給される単純静止画データと、編集データのいずれかを選択し、選択した単純静止画データまたは編集データを上書きデータとしてビデオエンコーダ２４に供給する。

具体的には、イン点やアウト点がGOPの途中にある場合、GOPの先頭からイン点までの下地データや、アウト点からGOPの終端までの下地データの復号結果である単純静止画データを、再度符号化したり、符号化時に参照画として用いたりする必要がある。従って、このような場合、セレクタ３１は、GOPの先頭からイン点までの下地データや、アウト点からGOPの終端までの下地データに対応する単純静止画データを選択し、上書きデータとしてビデオエンコーダ２４に供給する。

ビデオデコーダ２３は、バッファメモリ２５に記憶されている、Long GOP構造を有するMPEG方式で符号化されている下地データを読み出し、復号する。ビデオデコーダ２３は、復号の結果得られる単純静止画データをベースバンド入出力処理部２２に供給する。

ビデオエンコーダ２４は、セレクタ３１から供給される上書きデータまたは単純静止画データをLong GOP構造を有するMPEG方式で符号化する。ビデオエンコーダ２４は、必要に応じて、符号化された上書きデータまたは単純静止画データにスタッフィングデータを付加する。

また、ビデオエンコーダ２４は、スタッフィングデータが付加された上書きデータまたは上書きデータそのものを、挿入データとしてバッファメモリ２５に供給する。ビデオエンコーダ２４は、スタッフィングデータが付加された単純静止画データまたは単純静止画データそのものを、下地データとしてバッファメモリ２５に供給する。

バッファメモリ２５は、ビデオエンコーダ２４から供給される挿入データと下地データを一時的に保持する。また、バッファメモリ２５は、その挿入データまたは下地データを読み出し、記録メディア２６に供給する。さらに、バッファメモリ２５は、記録メディア２６から供給される下地データを一時的に保持する。

記録メディア２６は、バッファメモリ２５から読み出された挿入データまたは下地データを、所定の記録単位で記録メディア２６に記録する。また、記録メディア２６は、CPU２１の制御により、記録しているLong GOP構造を有するMPEG方式で符号化されている下地データを読み出し、バッファメモリ２５に供給する。

記録メディア２６は、光ディスク、フラッシュメモリなどのリムーバブルメディアやHDD（Hard Disk Drive）などの大容量記録メディアにより構成される。

図５は、ビデオエンコーダ２４とCPU２１の処理を詳細に説明する図である。

図５に示すように、CPU２１（判定手段）は、符号化制御部４１から供給されるVBVバッファ内のビット占有量に基づいて、ビデオエンコーダ２４に入力された符号化対象のデータが単純静止画データであるかどうかを判定する。そして、CPU２１は、その判定結果を符号化制御部４１に供給する。

ビデオエンコーダ２４は、セレクタ３１から供給される上書きデータまたは単純静止画データの符号化を制御する符号化制御部４１を有している。符号化制御部４１は、VBVバッファ内のビット占有量の監視を行う。符号化制御部４１は、VBVバッファ内のビット占有量をCPU２１に供給する。

また、符号化制御部４１（付加手段）は、CPU２１から供給される判定結果と、VBVバッファ内のビット占有量とに基づいて、符号化された単純静止画データまたは上書きデータにスタッフィングデータを付加する。

［スタッフィングデータの付加方法の説明］
図６は、符号化制御部４１による符号化された単純静止画データに対するスタッフィングデータの付加方法を説明する図である。

なお、図６において、実線は、単純静止画データのVBVバッファ内のビット占有量の時間的変化を表している。従って、図６の実線の傾きは、単純静止画データの各ピクチャのビットレートを表し、実線の縦線の長さは、単純静止画データの各ピクチャの発生符号量を表す。また、図６の点線は、単純静止画データの各ピクチャに付加されたスタッフィングデータのデータ量を表している。これらのことは、後述する図９と図１０においても同様である。

図６に示すように、符号化制御部４１は、VBVバッファ内のビット占有量の実際の上限より小さい任意の値を仮想的な上限として設定する。この仮想的な上限は、例えば、CPU２１から供給されるコマンドに応じて設定される。CPU２１は、例えば実際の上限の８０％を仮想的な上限に設定するためのコマンドを符号化制御部４１に供給する。

また、符号化制御部４１は、その仮想的な上限を単純静止画データのVBVバッファ内のビット占有量が超えないように、符号化された単純静止画データにスタッフィングデータを付加する。

図７は、符号化制御部４１による符号化された上書きデータに対するスタッフィングデータの付加方法を説明する図である。

なお、図７において、太い実線、細い実線は、それぞれ、上書きデータ、単純静止画データのVBVバッファ内のビット占有量の時間的変化を表している。従って、図７の太い実線、細い実線の傾きは、それぞれ、上書きデータ、単純静止画データの各ピクチャのビットレートを表す。また、太い実線、細い実線の縦線の長さは、それぞれ、上書きデータ、単純静止画データの各ピクチャの発生符号量を表す。また、太い点線、細い点線は、それぞれ、上書きデータ、単純静止画データの各ピクチャに付加されるスタッフィングデータのデータ量を表している。

図７に示すように、単純静止画データのVBVバッファ内のビット占有量は、実際の上限より小さい仮想的な上限を超えない。従って、単純静止画データの後方の接続点におけるビット占有量より、上書きデータの最終的なビット占有量を大きくすることができる。よって、上書きデータの最終的なビット占有量と単純静止画データの後方の接続点におけるビット占有量を容易に一致させることができる。その結果、上書きデータの発生符号量を極端に抑制する必要が少なくなり、インサート編集後の画質の劣化を防止することができる。

［記録機の処理の説明］
図８は、記録機１１による付加処理を説明するフローチャートである。この付加処理は、例えば、１ＧＯＰ分の上書きデータまたは単純静止画データがベースバンド入出力処理部２２からビデオエンコーダ２４に入力されたとき開始される。

ステップＳ１１において、記録機１１のCPU２１（図５）は、ビデオエンコーダ２４に入力された１ＧＯＰ分の上書きデータまたは単純静止画データを符号化対象のデータである対象データとし、対象データが単純静止画データであるかどうかを判定する。

具体的には、CPU２１は、現在の対象データより１つ前の対象データのVBVバッファ内のビット占有量の軌跡に基づいて、現在の対象データより１つ前の対象データが単純静止画データであるかどうかを判定する。そして、例えば、現在の対象データより１つ前の対象データが単純静止画データであると判定された場合、CPU２１は、現在の対象データが単純静止画データであると予測し、ステップＳ１１で現在の対象データが単純静止画データであると判定する。

一方、現在の対象データより１つ前の対象データが単純静止画データでないと判定された場合、CPU２１は、現在の対象データが単純静止画データではないと予測し、ステップＳ１１で現在の対象データが単純静止画像データではないと判定する。

なお、記録機１１がビデオエンコーダ２４以外のビデオエンコーダを有する場合には、そのビデオエンコーダが先に現在の対象データを符号化し、CPU２１は、そのときのVBVバッファ内のビット占有量の軌跡に基づいてステップＳ１１の判定を行うようにしてもよい。また、CPU２１は、対象データのディフィカルティに基づいて判定を行ってもよい。

また、ビデオエンコーダ２４は、対象データの先頭のピクチャを対象ピクチャとする。

ステップＳ１１で対象データが単純静止画像データではないと判定された場合、即ち、対象データが上書きデータである場合、ステップＳ１２において、ビデオエンコーダ２４は、対象データの対象ピクチャを符号化する。

ステップＳ１３において、符号化制御部４１は、対象ピクチャの次のピクチャのVBVバッファ内のビット占有量が実際の上限を超えそうであるかどうかを判定する。ステップＳ１３で対象ピクチャの次のピクチャのビット占有量が実際の上限を超えそうであると判定された場合、処理はステップＳ１４に進む。

ステップＳ１４において、符号化制御部４１は、対象ピクチャの次のピクチャのビット占有量が実際の上限を超えないように、ステップＳ１２で符号化された対象ピクチャにスタッフィングデータを付加する。そして、符号化制御部４１は、スタッフィングデータが付加された対象ピクチャを挿入データとしてバッファメモリ２５に供給する。そして処理はステップＳ１５に進む。

一方、ステップＳ１３で対象ピクチャの次のピクチャのビット占有量が実際の上限を超えそうではないと判定された場合、ステップＳ１４の処理はスキップされ、符号化制御部４１は、その対象ピクチャをそのまま挿入データとしてバッファメモリ２５に供給する。そして処理はステップＳ１５に進む。

ステップＳ１５において、ビデオエンコーダ２４は、対象データの１ＧＯＰ分のピクチャの全てを対象ピクチャとしたかどうかを判定する。ステップＳ１５で対象データの１ＧＯＰ分のピクチャの全てをまだ対象ピクチャとしていないと判定された場合、ビデオエンコーダ２４は、現在の対象ピクチャの次のピクチャを新たな対象ピクチャとし、処理をステップＳ１２に戻す。そして、対象データの１ＧＯＰ分のピクチャの全てが対象ピクチャとされるまで、ステップＳ１２乃至Ｓ１５の処理が繰り返される。

ステップＳ１５で対象データの１ＧＯＰ分のピクチャの全てを対象ピクチャとしたと判定された場合、処理は終了する。

一方、ステップＳ１１で対象データが単純静止画データであると判定された場合、ステップＳ１６において、ビデオエンコーダ２４は、その対象データの対象ピクチャを符号化する。

ステップＳ１７において、符号化制御部４１は、対象ピクチャの次のピクチャのVBVバッファ内のビット占有量が仮想的な上限を超えそうであるかどうかを判定する。ステップＳ１７で対象ピクチャの次のピクチャのビット占有量が仮想的な上限を超えそうであると判定された場合、処理はステップＳ１８に進む。

ステップＳ１８において、符号化制御部４１は、対象ピクチャの次のピクチャのビット占有量が仮想的な上限を超えないように、ステップＳ１６で符号化された対象ピクチャにスタッフィングデータを付加する。そして、符号化制御部４１は、スタッフィングデータが付加された対象ピクチャを下地データとしてバッファメモリ２５に供給する。そして処理はステップＳ１９に進む。

一方、ステップＳ１７で対象ピクチャの次のピクチャのビット占有量が仮想的な上限を超えそうではないと判定された場合、ステップＳ１８の処理はスキップされ、符号化制御部４１は、その対象ピクチャをそのまま下地データとしてバッファメモリ２５に供給する。そして処理はステップＳ１９に進む。

ステップＳ１９において、ビデオエンコーダ２４は、対象データの１ＧＯＰ分のピクチャの全てを対象ピクチャとしたかどうかを判定する。ステップＳ１９で対象データの１ＧＯＰ分のピクチャの全てをまだ対象ピクチャとしていないと判定された場合、ビデオエンコーダ２４は、現在の対象ピクチャの次のピクチャを新たな対象ピクチャとし、処理をステップＳ１６に戻す。そして、対象データの１ＧＯＰ分のピクチャの全てが対象ピクチャとされるまで、ステップＳ１６乃至Ｓ１９の処理が繰り返される。

ステップＳ１９で対象データの１ＧＯＰ分のピクチャの全てを対象ピクチャとしたと判定された場合、処理は終了する。

以上のように、記録機１１では、単純静止画データの１ＧＯＰ内の全ピクチャのVBVバッファ内のビット占有量が、実際の上限より小さい仮想的な上限を超えないようにスタッフィングデータが付加される。従って、単純静止画データの後方の接続点におけるビット占有量より、上書きデータの最終的なビット占有量を大きくすることができる。よって、上書きデータの最終的なビット占有量を単純静止画データの後方の接続点におけるビット占有量と一致させる必要がない。その結果、上書きデータの発生符号量を極端に抑制する必要が少なくなり、インサート編集後の画質の劣化を防止することができる。従って、記録機１１により記録される下地データは、インサート編集に適した下地データである。

［スタッフィングデータの他の付加方法の説明］
図９は、符号化制御部４１による符号化された単純静止画データに対するスタッフィングデータの他の付加方法を説明する図である。

図９に示す付加方法では、図６に示した付加方法のように、単純静止画データの１ＧＯＰ内の全ピクチャのVBVバッファ内のビット占有量を下げるのではなく、１ＧＯＰ内の最後のピクチャに着目して、後方の接続点となり得る次のＧＯＰの先頭のピクチャのビット占有量を下げる。

具体的には、単純静止画データの１ＧＯＰ内の最後のピクチャ以外のピクチャでは、次のピクチャのビット占有量が実際の上限を超えないようにスタッフィングデータが付加される。そして、最後のピクチャでは、次のピクチャのビット占有量が、実際の上限より小さい仮想的な上限を超えないようにスタッフィングデータが付加される。

これにより、インサート編集の単位がＧＯＰ単位である場合、単純静止画データの後方の接続点におけるビット占有量より、上書きデータの最終的なビット占有量を大きくすることができる。従って、上書きデータの最終的なビット占有量を単純静止画データの後方の接続点におけるビット占有量と一致させる必要がない。その結果、上書きデータの発生符号量を極端に抑制する必要が少なくなり、インサート編集後の画質の劣化を防止することができる。

なお、インサート編集の単位は基本的にＧＯＰ単位であるが、上書きデータの最終的なビット占有量が、単純静止画データの後方の接続点におけるビット占有量より大きくならない場合には、次のＧＯＰの最初のＰピクチャを後方の接続点とするようにしてもよい。この場合には、図１０に示すように、単純静止画データの後方の接続点となり得る各ＧＯＰの最初のＩピクチャと最初のＰピクチャにおいて、ビット占有量が仮想的な上限を超えないように、これらのピクチャの１つ前のピクチャにスタッフィングデータが付加される。

［記録機の他の付加処理の説明］
図１１は、記録機１１による他の付加処理を説明するフローチャートである。この付加処理は、例えば、１ＧＯＰ分の単純静止画データがベースバンド入出力処理部２２からビデオエンコーダ２４に入力されたとき開始される。

ステップＳ３１において、ビデオエンコーダ２４は、ベースバンド入出力処理部２２から入力された１ＧＯＰ分の単純静止画データの先頭のピクチャを対象ピクチャとして、対象ピクチャを符号化する。

ステップＳ３２において、符号化制御部４１は、対象ピクチャの次のピクチャのVBVバッファ内のビット占有量が実際の上限を超えそうであるかどうかを判定する。ステップＳ３２で対象ピクチャの次のピクチャのビット占有量が実際の上限を超えそうであると判定された場合、処理はステップＳ３３に進む。

ステップＳ３３において、符号化制御部４１は、対象ピクチャの次のピクチャのビット占有量が実際の上限を超えないように、ステップＳ３１で符号化された対象ピクチャにスタッフィングデータを付加する。そして、符号化制御部４１は、スタッフィングデータが付加された対象ピクチャを、下地データとしてバッファメモリ２５に供給する。そして処理はステップＳ３４に進む。

一方、ステップＳ３２で対象ピクチャの次のピクチャのビット占有量が上限を超えそうではないと判定された場合、ステップＳ３３の処理はスキップされ、処理はステップＳ３４に進む。

ステップＳ３４において、ビデオエンコーダ２４は、次の対象ピクチャが後方接続点となり得るピクチャ（ターゲットピクチャ）の１つ前のピクチャであるかどうかを判定する。なお、後方の接続点となり得るピクチャの１つ前のピクチャとは、図９の例では、１ＧＯＰの最後のピクチャであり、図１０の例では、１ＧＯＰの最後のピクチャと、先頭のＰピクチャの前のピクチャである。

ステップＳ３４で次の対象ピクチャが後方の接続点となり得るピクチャの前のピクチャではないと判定された場合、ビデオエンコーダ２４は、現在の対象ピクチャの次のピクチャを新たな対象ピクチャとし、処理をステップＳ３１に戻す。そして、次の対象ピクチャが接続点となり得るピクチャの前のピクチャになるまで、ステップＳ３１乃至Ｓ３４の処理が繰り返される。

ステップＳ３４で次の対象ピクチャが後方の接続点となり得るピクチャの前のピクチャであると判定された場合、処理はステップＳ３５に進む。

ステップＳ３５において、ビデオエンコーダ２４は、現在の対象ピクチャの次のピクチャを対象ピクチャとし、対象ピクチャを符号化する。

ステップＳ３６において、符号化制御部４１は、対象ピクチャの次のピクチャ、即ち後方の接続点となり得るピクチャの、VBVバッファ内のビット占有量が仮想的な上限を超えそうであるかどうかを判定する。ステップＳ３６で対象ピクチャの次のピクチャのビット占有量が仮想的な上限を超えそうであると判定された場合、処理はステップＳ３７に進む。

ステップＳ３７において、符号化制御部４１は、対象ピクチャの次のピクチャのビット占有量が仮想的な上限を超えないように、ステップＳ３５で符号化された対象ピクチャにスタッフィングデータを付加する。そして、符号化制御部４１は、スタッフィングデータが付加された対象ピクチャを、下地データとしてバッファメモリ２５に供給する。そして処理はステップＳ３８に進む。

一方、ステップＳ３６で対象ピクチャの次のピクチャのビット占有量が仮想的な上限を超えそうではないと判定された場合、ステップＳ３７の処理はスキップされ、処理はステップＳ３８に進む。

ステップＳ３８において、ビデオエンコーダ２４は、ベースバンド入出力処理部２２から入力された単純静止画データの１ＧＯＰ分のピクチャの全てを対象ピクチャとしたかどうかを判定する。ステップＳ３８で単純静止画データの１ＧＯＰ分のピクチャの全てをまだ対象ピクチャとしていないと判定された場合、ビデオエンコーダ２４は、現在の対象ピクチャの次のピクチャを新たな対象ピクチャとし、処理をステップＳ３１に戻す。そして、単純静止画データの１ＧＯＰ分のピクチャの全てが対象ピクチャとされるまで、ステップＳ３１乃至Ｓ３８の処理が繰り返される。

ステップＳ３８で単純静止画データの１ＧＯＰ分のピクチャの全てを対象ピクチャとしたと判定された場合、処理は終了する。

なお、図１１の付加処理では、説明を簡単にするために、対象ピクチャが後方の接続点となり得るピクチャの前のピクチャである場合にのみ、対象ピクチャの次のピクチャのビット占有量が仮想的な上限を超えないように、スタッフィングデータが付加された。しかしながら、実際には、対象ピクチャが記録メディア２６に記録される単純静止画データの最後のピクチャである場合にも、対象ピクチャの次のピクチャのビット占有量が仮想的な上限を超えないように、スタッフィングデータが付加される。

また、図９や図１０に示した付加方法においても、符号化対象のデータが単純な静止画データでない場合には、図８のステップＳ１２乃至Ｓ１５の処理が行われる。

後方の接続点となり得るピクチャは、インサート編集の方法によって異なり、１ＧＯＰの先頭のＩピクチャや１ＧＯＰの最初のＰピクチャに限定されない。

また、実際の上限が十分に大きい場合には、符号化対象のデータが単純静止画データであるかどうかによらず、常に仮想的な上限を用いてスタッフィングデータを付加するようにしてもよい。

本発明は、入力されたデータが単純静止画データであるかどうかを判別する機能を有していれば、汎用的な符号化を行う編集システムにも適用することができる。

また、本発明は、外部の機器から送信されてきたＴＳ（Transport Stream）の所定の範囲に、可変長符号化された上書きデータを挿入することによりインサート編集を行う編集システムにも適用することができる。

さらに、本発明における符号化方式は、Long Gop構造を有するMPEG方式に限定されない。

上述した記録機１１の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１２は、上述した記録機１１の一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１０ 編集システム， １１ 記録機， ２１ CPU， ２４ ビデオエンコーダ， ４１ 符号化制御部

Claims (5)

1. 入力データが単純な静止画の画像データであるかどうかをGOP単位で判定する判定手段と、
   前記入力データが単純な静止画の画像データであると判定された場合、符号化された前記入力データのGOP内のピクチャであって、符号化された前記入力データに符号化された上書きデータを挿入するインサート編集における前記入力データと前記上書きデータとの２つの接続点のうちの後方の接続点となり得るピクチャであるターゲットピクチャのデコーダの入力バッファに対応する仮想バッファ内のビット占有量が、実際の上限より小さい仮想的な上限を超えないように、前記ターゲットピクチャの１つ前のピクチャにスタッフィングデータを付加し、前記入力データが単純な静止画の画像データではないと判定された場合、符号化された前記入力データの前記GOP内の全ピクチャの前記ビット占有量が前記実際の上限を超えないように、そのGOP内のピクチャにスタッフィングデータを付加する付加手段と
   を備える情報処理装置。
2. 前記付加手段は、前記入力データが単純な静止画の画像データであると判定された場合、符号化された前記入力データの前記GOP内の全ピクチャの前記ビット占有量が前記仮想的な上限を超えないように、そのGOP内のピクチャにスタッフィングデータを付加する
   請求項１に記載の情報処理装置。
3. 前記判定手段は、符号化された前記入力データの前記ビット占有量に基づいて、前記入力データが単純な静止画の画像データであるかどうかをGOP単位で判定する
   請求項１に記載の情報処理装置。
4. 情報処理装置が、
   入力データが単純な静止画の画像データであるかどうかをGOP単位で判定する判定ステップと、
   前記入力データが単純な静止画の画像データであると判定された場合、符号化された前記入力データのGOP内のピクチャであって、符号化された前記入力データに符号化された上書きデータを挿入するインサート編集における前記入力データと前記上書きデータとの２つの接続点のうちの後方の接続点となり得るピクチャであるターゲットピクチャのデコーダの入力バッファに対応する仮想バッファ内のビット占有量が、実際の上限より小さい仮想的な上限を超えないように、前記ターゲットピクチャの１つ前のピクチャにスタッフィングデータを付加し、前記入力データが単純な静止画の画像データではないと判定された場合、符号化された前記入力データの前記GOP内の全ピクチャの前記ビット占有量が前記実際の上限を超えないように、そのGOP内のピクチャにスタッフィングデータを付加する付加ステップと
   を含む情報処理方法。
5. コンピュータに、
   入力データが単純な静止画の画像データであるかどうかをGOP単位で判定する判定ステップと、
   前記入力データが単純な静止画の画像データであると判定された場合、符号化された前記入力データのGOP内のピクチャであって、符号化された前記入力データに符号化された上書きデータを挿入するインサート編集における前記入力データと前記上書きデータとの２つの接続点のうちの後方の接続点となり得るピクチャであるターゲットピクチャのデコーダの入力バッファに対応する仮想バッファ内のビット占有量が、実際の上限より小さい仮想的な上限を超えないように、前記ターゲットピクチャの１つ前のピクチャにスタッフィングデータを付加し、前記入力データが単純な静止画の画像データではないと判定された場合、符号化された前記入力データの前記GOP内の全ピクチャの前記ビット占有量が前記実際の上限を超えないように、そのGOP内のピクチャにスタッフィングデータを付加する付加ステップと
   を含む処理を実行させるためのプログラム。

Images