JP2011135177A - 動画像符号化装置及び動画像符号化方法 - Google Patents

Abstract

【課題】従来、アンダーフロー発生時に画像が欠落する。
【解決手段】動画像符号化装置は、ピクチャを第１の単位時間あたりのブロック数で復号するに要する第１の時間間隔と、所定ピクチャ時間間隔と第１の時間間隔との時間差以下で、かつ、所定ピクチャ時間間隔の１／Ｎ（Ｎは２以上の自然数）となる第２の時間間隔とを算出する時間間隔算出器１０１と、現ピクチャのピクチャ復号時刻において、ピクチャ復号直後の仮想復号バッファ蓄積量が負の場合、現ピクチャのピクチャ復号時刻後にピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻を第１の時刻として算出するとともに、第１の時刻から次ピクチャのピクチャ復号時刻までの第３の時間間隔を算出する符号化器１０３と、第３の時間間隔が第１の時間間隔以上の場合、次ピクチャを符号化するように制御する符号化制御器１０５とを有する。
【選択図】図１

Description

本発明は、動画像符号化装置及び動画像符号化方法に関するものである。

動画像を効率よく伝送するために動画像信号の時間的冗長性、空間的冗長性、統計的冗長性に着目したピクチャ(１画面／１フレーム)内符号化やピクチャ間符号化を用いる。例えば、ISO/IEC 11172-2（通称MPEG-1ビデオ）、ISO/IEC 13818-2（通称MPEG-2ビデオ）、ISO/IEC 14496-2（通称MPEG-4ビデオ）、ISO/IEC 14496-10（通称MPEG-4 AVC）、ITU-T H.261、ITU-T H.263等の国際標準に基づく符号化方式がある。

ピクチャ毎の発生符号量は、ピクチャ内符号化やピクチャ間符号化等の適用する符号化ピクチャタイプ、そのピクチャの絵柄や動き変化により変動する。符号化動画像を所定の伝送レートで伝送するために、符号化出力段や復号入力段に符号を一時滞留させるための符号バッファを設けて符号量変動を吸収する。符号バッファがオーバーフロー（蓄積符号量が余剰）やアンダーフロー（蓄積符号量が不足）すると符号欠落等の障害が発生して復号出力する動画像に乱れが生じる。

符号化側では、出力符号の符号量変動が復号側入力段の符号バッファで吸収できるように符号化する必要がある。例えば、特許文献１に記載の技術を用いて発生符号量を予測しながら量子化幅を制御することでピクチャ発生符号量を調整して、符号バッファがオーバーフローやアンダーフローしないようにする。

符号化出力段や復号入力段の符号バッファの動作は、符号化や復号の実装方法の違いにより異なる。このため、一般に国際標準に基づく符号化方式では、仮想復号バッファを規定することで、符号化や復号の実装方法が異なる場合においても相互運用性を確保できるようにしている。例えば、MPEG-2ビデオのVBV (Video buffer verifier)のVBV buffer、MPEG-4 AVCのHRD (Hypothetical reference decoder)のCPB（Coded picture buffer)等の規定がある。

符号バッファを大きくして一時滞留時間を長くすることで、より大きな符号量変動が吸収できる。すなわち、オーバーフローやアンダーフローの発生を抑制できるが、一時滞留時間を長くすることで遅延が増大する。

テレビ電話、テレビ会議、遠隔操作のための監視システム等の用途では、できる限り遅延を小さくすることが求められる。符号バッファにおける一時滞留時間を短くすることで遅延を小さくできるが、シーンチェンジや急激な動き変化等による符号量変動を吸収できずに復号入力段の符号バッファがアンダーフローする可能性が高くなる。

このため、MPEG-2ビデオやMPEG-4 AVC等では、低遅延モードとして符号化することで、アンダーフローの発生を許容している。

符号化時に仮想復号バッファがアンダーフローした場合、例えば、特許文献２の［従来の技術］に記載のように、符号化や復号が間に合わないと判断してピクチャスキップする。

（従来技術の説明）
以下、従来技術について図面により説明する。図７は、従来技術を説明するブロック図である。図８は、従来技術を説明するフローチャートである。図９は、従来技術を説明する仮想復号バッファ推移図である。

従来技術の説明において、所定ピクチャ時間間隔ＰＴの動画像の各ピクチャを、MPEG-4 AVCに準じて、ブロック分割してピクチャ内符号化、もしくは、ピクチャ間符号化するものとする。また、従来技術の説明において、MPEG-4 AVCにおけるHRDのCPB規定に準じて、ピクチャ時間間隔ＰＴをclock tickとして仮想復号バッファの推移を演算するものとする。

（従来技術のブロック図の説明）
まず、従来技術について図７を用いて説明する。

符号化パラメータ設定器７０１は、符号化レベルと符号化ピクチャサイズを入力して、符号化レベルと符号化ピクチャサイズに基づき、符号化パラメータを設定して出力する。

ここで、符号化レベルとは、MPEG-4 AVCで規定する「プロファイルとレベル」のレベルに相当する。符号化レベルにより、符号化する際の単位時間あたりの最大マクロブロック数、最大ビットレート、復号に必要なメモリ量等を規定する。

符号化器７０２は、符号化パラメータ設定器７０１からの符号化パラメータを、例えば、３０ピクチャごとにピクチャ符号化直前に符号化する。また、符号化制御器７０４から指示されたピクチャ復号時刻とピクチャ目標符号量に従い、ピクチャをブロック分割してピクチャ内符号化、もしくは、ピクチャ間符号化して符号を出力する。この際、ピクチャ復号時刻は、ピクチャ符号に付随する補助情報として符号化する。更に、符号化制御器７０４からピクチャスキップの指示があった場合には、ピクチャを符号化せずにピクチャスキップする。処理結果として、各ピクチャのピクチャ復号時刻とピクチャ符号量を、仮想復号バッファ演算器７０３に出力する。

仮想復号バッファ演算器７０３は、符号化器７０２からの各ピクチャのピクチャ復号時刻とピクチャ符号量に基づき、MPEG-4 AVCにおけるHRDのCPB規定に従い、所定ピクチャ時間間隔ごとの仮想復号バッファの蓄積量の推移を演算して、符号化制御器７０４に出力する。

符号化制御器７０４は、所定ピクチャ時間間隔で符号化順に順次ピクチャごとのピクチャ復号時刻を算出して設定すると共に、仮想復号バッファ演算器７０３からの仮想復号バッファの蓄積量の推移に基づきピクチャ目標符号量を算出して設定して、符号化器７０２にピクチャ符号化を指示する。また、符号化制御器７０４は、仮想復号バッファ演算器７０３からの仮想復号バッファの蓄積量の推移に基づき次ピクチャをピクチャスキップすると判断をした場合には、符号化器７０２に次ピクチャのピクチャスキップを指示する。

（従来技術のフローチャートと仮想復号バッファ推移図の説明）
次に、図８と図９を用いて説明する。

ステップＳ８０１では、符号化レベルと符号化ピクチャサイズを入力して、符号化レベル、符号化ピクチャサイズ、及び、ピクチャ時間間隔ＰＴをMPEG-4 AVCにおけるHRDのCPB規定におけるclock tickとして符号化パラメータを設定して、ステップＳ８０２に進む。

ステップＳ８０２では、所定ピクチャ時間間隔ＰＴで、符号化順に順次、ピクチャごとに算出した時刻を現ピクチャのピクチャ復号時刻として設定して、ステップＳ８０３に進む。

例えば、図９において、時刻（ｔ１、ｔ２、ｔ３、ｔ４、ｔ５、・・・）の隣り合う時間間隔は、ピクチャ時間間隔ＰＴである。そして、ピクチャＰ１の場合には、ピクチャ復号時刻を時刻ｔ１に設定する。以降、ピクチャＰ２の場合には時刻ｔ２を、ピクチャＰ３の場合には時刻ｔ３を設定する。図９には現れていないが、ピクチャＰ４の場合には時刻ｔ４を設定する。ピクチャＰ５の場合には時刻ｔ５を設定する。

ステップＳ８０３では、前ピクチャにおいてステップＳ８０９で「次ピクチャのピクチャスキップ指示」を設定した場合には、ステップＳ８０４に進み、前ピクチャにおいてステップＳ８０９の処理を通過していない場合には、ステップＳ８０５に進む。ここで、「次ピクチャのピクチャスキップ指示」は、初期値として解除されている。

ステップＳ８０４では、現ピクチャをピクチャスキップすると共に、「次ピクチャのピクチャスキップ指示」を解除して、ステップＳ８０２に戻る。

例えば、図９において、ピクチャＰ４の場合には、前ピクチャＰ３においてステップＳ８０９で「次ピクチャのピクチャスキップ指示」を設定したので、ステップＳ８０３からステップＳ８０４に進み、ステップＳ８０４でピクチャスキップしたので、図中に表記がない。

ステップＳ８０５では、現ピクチャのピクチャ復号直前の仮想復号バッファ蓄積量を最大として、例えば、過去の仮想復号バッファ推移に基づき、ピクチャ目標符号量を算出して、ステップＳ８０６に進む。

例えば、図９において、ピクチャＰ１のピクチャ復号直前の仮想復号バッファ蓄積量はｄｂ１であり、ピクチャＰ２のピクチャ復号直前の仮想復号バッファ蓄積量はｄｂ２である。ピクチャＰ１の場合には、仮想復号バッファ蓄積量ｄｂ１を最大としてピクチャ目標符号量を算出する。ピクチャＰ２の場合には、仮想復号バッファ蓄積量ｄｂ２を最大としてピクチャ目標符号量を算出する。

ステップＳ８０６では、符号化パラメータを符号化するか否か判断する。例えば、３０ピクチャごとに符号化パラメータを符号化、それ以外は符号化しないと判断する。そして、符号化パラメータを符号化すると判断する場合はステップＳ８０７に進み、符号化パラメータを符号化しないと判断する場合はステップＳ８０８に進む。

ステップＳ８０７では、符号化パラメータを符号化して、ステップＳ８０８に進む。

ステップＳ８０８では、現ピクチャをブロック分割して、ステップＳ８０５で設定したピクチャ目標符号量に応じて、ピクチャ内符号化、もしくは、ピクチャ間符号化して、ステップＳ８０９に進む。この際、ステップＳ８０２で設定したピクチャ復号時刻は、ピクチャ符号に付随する補助情報として符号化する。

ステップＳ８０９では、現ピクチャのピクチャ復号時刻において、ピクチャ復号直後の仮想復号バッファ蓄積符号量が負ならばアンダーフロー発生と判断してステップＳ８１０に進み、ピクチャ復号直後の仮想復号バッファ蓄積符号量がゼロ以上ならばアンダーフロー発生なしと判断してステップＳ８１０に進む。

例えば、図９において、ピクチャＰ１の場合には、ピクチャ復号時刻ｔ１におけるピクチャ復号直後の仮想復号バッファ蓄積量ｄａ１はゼロ以上なので、アンダーフロー発生なしと判断する。ピクチャＰ３のピクチャ復号時刻ｔ３におけるピクチャ復号直後の仮想復号バッファの蓄積量ｄａ３は負なので、アンダーフロー発生と判断する。ピクチャＰ３は、時刻ｔ４においてピクチャ復号直後の仮想復号バッファ蓄積量ｄａ３．４がゼロ以上となり、時刻ｔ４においてピクチャＰ３の復号が完了する。すなわち、ピクチャＰ３の復号完了時刻は、時刻ｔ４である。

ステップＳ８１０では、次ピクチャを符号化せずにピクチャスキップするように「次ピクチャのピクチャスキップ指示」を設定して、ステップＳ８１１に進む。

例えば、図９において、ピクチャＰ３の場合には、「次ピクチャのピクチャスキップ指示」を設定する。

ステップＳ８１１では、動画像の符号化処理を終了するか否かを、例えば、外部からの符号化処理終了コマンドの入力により判断して、符号化を終了しない場合はステップＳ８０２に戻り、符号化を終了する場合は一連の処理を終了する。

特開平６−２０５３９３号公報 特開２００１−２９８７３５号公報

しかしながら、符号化におけるピクチャスキップは、復号において受信表示動画像の画像欠落を招く。これにより、例えば、遠隔操作のための監視システム等では、重要な画像を受信表示できずに見落とすことで操作に支障を来たす恐れがある。
また、符号バッファにおける一時滞留時間を短くしつつ、仮想復号バッファのアンダーフロー発生を抑えるためにビットレートを低く符号化する方法がある。しかしながら、ビットレート低下に伴い画質劣化を招く。

本発明は、アンダーフロー発生時においても、所定条件においてピクチャスキップを回避することで画像欠落を抑制することができ、また、仮想復号バッファのアンダーフロー発生を抑えるためにビットレートを低く符号化による画質劣化を抑制することができ、復号において良好な受信表示を可能とする動画像符号化装置及び動画像符号化方法の提供を目的とする。

上記目的を達成するため、本発明の動画像符号化装置は、所定ピクチャ時間間隔の動画像の各ピクチャをブロック分割する手段と、第１の単位時間あたりのブロック数を設定する手段と、所定ピクチャ時間間隔に基づき、第１の単位時間あたりのブロック数より少ない第２の単位時間あたりのブロック数となる符号化ピクチャサイズを設定する手段と、符号化ピクチャサイズで各ピクチャを符号化する手段と、符号化ピクチャサイズのピクチャ符号を第１の単位時間あたりのブロック数で復号するに要する第１の時間間隔を算出する手段と、所定ピクチャ時間間隔と第１の時間間隔との時間差以下で、かつ、所定ピクチャ時間間隔の１／Ｎ（Ｎは２以上の自然数）となる第２の時間間隔を算出する手段と、所定ピクチャ時間間隔で、ピクチャごとのピクチャ復号時刻を算出する手段と、第２の時間間隔ごとの仮想復号バッファの蓄積量の推移を算出する手段と、現ピクチャのピクチャ復号時刻において、ピクチャ復号直後の仮想復号バッファ蓄積量が負の場合には、現ピクチャのピクチャ復号時刻後にピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻を第１の時刻として算出する手段と、第１の時刻から次ピクチャのピクチャ復号時刻までの第３の時間間隔を算出する手段と、第３の時間間隔が第１の時間間隔以上の場合には、次ピクチャを符号化するように制御する手段と、を有する。

本発明の動画像符号化装置は、所定ピクチャ時間間隔の動画像の各ピクチャをブロック分割する手段と、第１の単位時間あたりのブロック数を設定する手段と、所定ピクチャ時間間隔に基づき、第１の単位時間あたりのブロック数より少ない第２の単位時間あたりのブロック数となる符号化ピクチャサイズを設定する手段と、符号化ピクチャサイズで各ピクチャを符号化する手段と、符号化ピクチャサイズのピクチャ符号を第１の単位時間あたりのブロック数で復号するに要する第１の時間間隔を算出する手段と、所定ピクチャ時間間隔と第１の時間間隔との時間差以下で、かつ、所定ピクチャ時間間隔の１／Ｎ（Ｎは２以上の自然数）となる第２の時間間隔を算出する手段と、第１の時間間隔以上で所定ピクチャ時間間隔未満、かつ、第２の時間間隔のＭ倍（Ｍは自然数）となる第４の時間間隔を算出する手段と、第２の時間間隔ごとの仮想復号バッファの蓄積量の推移を算出する手段と、所定ピクチャ時間間隔で、ピクチャごとのピクチャ復号時刻を算出する手段と、現ピクチャのピクチャ復号時刻におけるピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上の場合には、現ピクチャのピクチャ復号時刻を第２の時刻として設定し、また、現ピクチャのピクチャ復号時刻におけるピクチャ復号直後の仮想復号バッファ蓄積量が負の場合には、現ピクチャのピクチャ復号時刻後にピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻を第２の時刻として算出する手段と、第２の時刻から第４の時間間隔後の時刻を第３の時刻として算出する手段と、次ピクチャを符号化する際に、第３の時刻が次ピクチャのピクチャ復号時刻を超えた場合には、次ピクチャのピクチャ復号時刻を第３の時刻に修正して、次ピクチャを符号化するように制御する手段と、を有する。

本発明の動画像符号化方法は、所定ピクチャ時間間隔の動画像の各ピクチャをブロック分割するステップと、第１の単位時間あたりのブロック数を設定するステップと、所定ピクチャ時間間隔に基づき、第１の単位時間あたりのブロック数より少ない第２の単位時間あたりのブロック数となる符号化ピクチャサイズを設定するステップと、符号化ピクチャサイズで各ピクチャを符号化するステップと、符号化ピクチャサイズのピクチャ符号を第１の単位時間あたりのブロック数で復号するに要する第１の時間間隔を算出するステップと、所定ピクチャ時間間隔と第１の時間間隔との時間差以下で、かつ、所定ピクチャ時間間隔の１／Ｎ（Ｎは２以上の自然数）となる第２の時間間隔を算出するステップと、第２の時間間隔ごとの仮想復号バッファの蓄積量の推移を算出するステップと、所定ピクチャ時間間隔で、ピクチャごとのピクチャ復号時刻を算出するステップと、現ピクチャのピクチャ復号時刻において、ピクチャ復号直後の仮想復号バッファ蓄積量が負の場合には、現ピクチャのピクチャ復号時刻後にピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻を第１の時刻として算出するステップと、第１の時刻から次ピクチャのピクチャ復号時刻までの第３の時間間隔を算出するステップと、第３の時間間隔が第１の時間間隔以上の場合には、次ピクチャを符号化するように制御するステップと、を含む。

本発明の動画像符号化方法は、所定ピクチャ時間間隔の動画像の各ピクチャをブロック分割するステップと、第１の単位時間あたりのブロック数を設定するステップと、所定ピクチャ時間間隔に基づき、第１の単位時間あたりのブロック数より少ない第２の単位時間あたりのブロック数となる符号化ピクチャサイズを設定するステップと、符号化ピクチャサイズで各ピクチャを符号化するステップと、符号化ピクチャサイズのピクチャ符号を第１の単位時間あたりのブロック数で復号するに要する第１の時間間隔を算出するステップと、所定ピクチャ時間間隔と第１の時間間隔との時間差以下で、かつ、所定ピクチャ時間間隔の１／Ｎ（Ｎは２以上の自然数）となる第２の時間間隔を算出するステップと、第１の時間間隔以上で所定ピクチャ時間間隔未満、かつ、第２の時間間隔のＭ倍（Ｍは自然数）となる第４の時間間隔を算出するステップと、第２の時間間隔ごとの仮想復号バッファの蓄積量の推移を算出するステップと、所定ピクチャ時間間隔で、ピクチャごとのピクチャ復号時刻を算出するステップと、現ピクチャのピクチャ復号時刻におけるピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上の場合には、現ピクチャのピクチャ復号時刻を第２の時刻として設定し、また、現ピクチャのピクチャ復号時刻におけるピクチャ復号直後の仮想復号バッファ蓄積量が負の場合には、現ピクチャのピクチャ復号時刻後にピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻を第２の時刻として設定するステップと、第２の時刻から第４の時間間隔後の時刻を第３の時刻として設定するステップと、次ピクチャを符号化する際に、第３の時刻が次ピクチャのピクチャ復号時刻を超えた場合には、次ピクチャのピクチャ復号時刻を第３の時刻に修正して、次ピクチャを符号化するように制御するステップと、を含む。

第１の発明により、アンダーフローが発生しても、次ピクチャ復号時刻までに、符号化レベルで規定する単位時間あたりの最大マクロブロック数で１ピクチャを復号する時間間隔以上確保できる期間を設けることができ、この期間であれば次ピクチャをピクチャスキップせずに符号化できる。

これにより、例えば、所定のピクチャ時間間隔より短い第２の時間間隔で復号画像を表示することで画像欠落が抑制され、また、仮想復号バッファのアンダーフロー発生を抑えるためにビットレートを低く符号化することによる画質劣化が抑制されて、復号において良好な受信表示が可能となる。また、一般に、ピクチャ間符号化では、ピクチャ間隔が大きくなると時間的な相関性が低下して符号化効率が悪くなる問題を回避できる。

第２の発明により、アンダーフローが発生しても、次ピクチャ復号時刻を遅らせることで、第１の発明に比べて、符号化レベルで規定する単位時間あたりの最大マクロブロック数で１ピクチャを復号する時間間隔以上確保できる期間を拡大することができ、この期間であれば次ピクチャをピクチャスキップせずに符号化できる。

これにより、第１の発明に比べて、画像欠落が抑制され、また、仮想復号バッファのアンダーフロー発生を抑えるためにビットレートを低く符号化することによる画質劣化が抑制されて、復号において良好な受信表示が可能となる。また、一般に、ピクチャ間隔が大きくなると時間的な相関性が低下して符号化効率が悪くなる問題を回避できる。

本発明の第１の実施例を示すブロック図である。 本発明の第１の実施例の動作を説明するフローチャートである。 本発明の第１の実施例の動作を説明する仮想復号バッファ推移図である。 本発明の第２の実施例を示すブロック図である。 本発明の第２の実施例の動作を説明するフローチャートである。 本発明の第２の実施例の動作を説明する仮想復号バッファ推移図である。 従来例を示すブロック図である。 従来例の動作を説明するフローチャートである。 従来例の動作を説明する仮想復号バッファ推移図である。

以下、本発明の実施の形態について図面により説明する。

図１は、本発明による第１の実施例を説明するブロック図である。図２は、本発明による第１の実施例の動作を説明するフローチャートである。図３は、本発明による第１の実施例を説明する仮想復号バッファ推移図である。図４は、第２の実施例を説明するブロック図である。図５は、本発明による第２の実施例の動作を説明するフローチャートである。図６は、本発明による第２の実施例を説明する仮想復号バッファ推移図である。なお、図１と図４では、後述するように機能ブロックの一部動作が異なる。

また、第１の実施例、及び、第２の実施例の説明において、所定ピクチャ時間間隔ＰＴの動画像の各ピクチャを、MPEG-4 AVCに準じて、ピクチャ内符号化、もしくは、ピクチャ間符号化するものとする。

（第１の実施例のブロック図の説明）
まず、第１の実施例について図１を用いて説明する。

時間間隔算出器１０１は、符号化レベルと符号化ピクチャサイズを入力して、第１の時間間隔ＴＱ１、及び、第２の時間間隔ＴＱ２を算出して出力する。第１の実施例において、MPEG-4 AVCのHRDのCPB規定におけるclock tickとして第２の時間間隔ＴＱ２を用いる。

符号化パラメータ設定器１０２は、符号化レベルと符号化ピクチャサイズ、及び、時間間隔算出器１０１からの第２の時間間隔ＴＱ２を入力して、符号化レベル、符号化ピクチャサイズ、及び、第２の時間間隔ＴＱ２をMPEG-4 AVCにおけるHRDのCPB規定におけるclock tickとして符号化パラメータに設定して出力する。

符号化器１０３は、符号化パラメータ設定器１０２からの符号化パラメータを、例えば、３０ピクチャごとにピクチャ符号化直前に符号化する。また、符号化制御器１０５から指示されたピクチャ復号時刻とピクチャ目標符号量に従い、ピクチャを符号化ピクチャサイズにサイズ変換した後、ブロック分割してピクチャ内符号化、もしくは、ピクチャ間符号化して符号を出力する。この際、ピクチャ復号時刻は、ピクチャ符号に付随する補助情報として符号化する。更に、符号化制御器１０５からピクチャスキップの指示があった場合には、ピクチャを符号化せずにピクチャスキップする。処理結果として、各ピクチャのピクチャ復号時刻とピクチャ符号量を、仮想復号バッファ演算器１０４に出力する。

仮想復号バッファ演算器１０４は、符号化器１０３からの各ピクチャのピクチャ復号時刻とピクチャ符号量に基づき、MPEG-4 AVCにおけるHRDのCPB規定に従い、仮想復号バッファの蓄積量の推移を演算して、符号化制御器１０５に出力する。

符号化制御器１０５は、所定ピクチャ時間間隔で符号化順に順次ピクチャごとのピクチャ復号時刻を算出して設定すると共に、仮想復号バッファ演算器１０４からの仮想復号バッファの蓄積量の推移に基づきピクチャ目標符号量を算出して設定して、符号化器１０３にピクチャ符号化を指示する。また、符号化制御器１０５は、仮想復号バッファ演算器１０４からの仮想復号バッファの蓄積量の推移に基づき次ピクチャをピクチャスキップすると判断した場合には、符号化器１０３に次ピクチャのピクチャスキップを指示する。

（第１の実施例のフローチャートと仮想復号バッファの推移図の説明）
次に、図２と図３を用いて説明する。

ステップＳ２０１では、符号化レベルと符号化ピクチャサイズを入力し、第１の時間間隔ＴＱ１と第２の時間間隔ＴＱ２を以下のように算出して、ステップＳ２０２に進む。

入力された符号化レベルに基づく単位時間当たりの最大マクロブロック数を、第１の単位時間あたりのマクロブロック数ＮＭＢ１とする。また、入力された符号化ピクチャサイズは、入力動画像の所定ピクチャ時間間隔において第１の単位時間あたりのマクロブロック数より少ない第２の単位時間あたりのマクロブロック数ＮＭＢ２となる符号化ピクチャサイズである。

第１の時間間隔ＴＱ１は、入力符号化レベルに基づく第１の単位時間あたりのマクロブロック数で、入力動画像の所定ピクチャ時間間隔において第１の単位時間あたりのマクロブロック数より少ない第２の単位時間あたりのマクロブロック数ＮＭＢ２となる符号化ピクチャサイズを復号するのに要する時間間隔である。

第２の時間間隔ＴＱ２は、入力動画像の所定ピクチャ時間間隔と第１の時間間隔ＴＱ１との時間差以下で、かつ、所定ピクチャ時間間隔の１／Ｎ（Ｎは２以上の自然数）となる時間間隔であり、本発明においる仮想復号バッファの動作時間単位であり、MPEG-4 AVCにおけるHRDのCPB規定で用いるclock tickである。

第１の時間間隔ＴＱ１、及び、第２の時間間隔ＴＱ２は、符号化レベル入力に基づく第１の単位時間あたりのマクロブロック数ＮＭＢ１と、符号化ピクチャサイズ入力に基づく第２の単位時間あたりのマクロブロック数ＮＭＢ２と、動画像の所定ピクチャ時間間隔ＴＰとから下記のように算出する。

ＴＱ１ ＝ ＴＰ×（ＮＭＢ２／ＮＭＢ１） （式１）
Ｎ ＝ Ｃｅｉｌ（ＴＰ／（ＴＰ−ＴＱ１））＋α （式２）
ＴＱ２ ＝ ＴＰ／Ｎ （式３）
ここで、Ｃｅｉｌ（ｘ）は天井関数であり、実数ｘに対してｘ以上の最小の整数を返す。また、αは０以上の任意の整数である。

例えば、以下の条件で符号化する。
（条件１）
ピクチャーレート： ３０Ｈｚ
ピクチャサイズ： １２８０×７２０
符号化方式： ＭＰＥＧ−４ ＡＶＣ
符号化レベル： レベル３．１

ピクチャ時間間隔は１／３０秒となり、第１の単位時間あたりのマクロブロック数は毎秒１０８０００マクロブロックとなる。このとき、符号化ピクチャサイズを入力動画像に対して水平方向３／４である９６０×７２０とする。第２の単位時間あたりのマクロブロック数は、毎秒８１０００マクロブロックとなる。これにより、第１の時間間隔ＴＱ１、及び、第２の時間間隔ＴＱ２は以下となる。

ＴＱ１ ＝ １／３０×（８１０００／１０８０００） ＝ １／４０秒 （式４）
Ｎ ＝ Ｃｅｉｌ（（１／３０）／（（１／３０）−（１／４０））
＝ ４ （式５）
ＴＱ２ ＝ （１／３０）／４ ＝１／１２０秒 （式６）
ここで、（式５）では（式２）におけるαを０としたが、αを１としてもよいし、他の自然数でもよい。

図３は、（条件１）、及び、（式４）から（式６）に基づき作図している。仮想復号バッファは、ピクチャ時間間隔ＰＴの１／４である第２の時間間隔ＴＱ２を単位時間として動作する。また、図３では、小数点を用いて時刻を、例えば、時刻ｔ１、時刻ｔ１．１、時刻ｔ１．２、時刻ｔ１．３のように表す。整数部は、ピクチャ時間間隔ＰＴを単位とする。小数部は、第２の時間間隔ＴＱ２を単位とする。図３では、（式５）に基づきＮを４とするので、小数部は４進法で扱う。すなわち、例えば、以下となる。

時刻ｔ１＝時刻（ｔ１＋０×ＴＱ２） （式７）
時刻ｔ１．１＝時刻（ｔ１＋１×ＴＱ２） （式８）
時刻ｔ１．２＝時刻（ｔ１＋２×ＴＱ２） （式９）
時刻ｔ１．３＝時刻（ｔ１＋３×ＴＱ２） （式10）
時刻ｔ１．４＝時刻（ｔ１＋４×ＴＱ２）＝時刻（ｔ１＋ＰＴ）＝時刻ｔ２ （式11）

ステップＳ２０２では、符号化レベルと符号化ピクチャサイズ、及び、第２の時間間隔ＴＱ２を入力して、符号化レベル、符号化ピクチャサイズ、及び、第２の時間間隔ＴＱ２をMPEG-4 AVCにおけるHRDのCPB規定におけるclock tickとして符号化パラメータに設定して、ステップＳ２０３に進む。

ステップＳ２０３では、所定ピクチャ時間間隔ＰＴで、符号化順に順次、ピクチャごとに算出した時刻として現ピクチャのピクチャ復号時刻を設定して、ステップＳ２０４に進む。

例えば、図３において、ピクチャＰ１の場合には、ピクチャ復号時刻を時刻ｔ１に設定する。以降、ピクチャＰ２の場合には時刻ｔ２を、ピクチャＰ３の場合には時刻ｔ３を、ピクチャＰ４の場合には時刻ｔ４を設定する。図３には現れていないが、ピクチャＰ５の場合には時刻ｔ５を設定する。ピクチャＰ６の場合には時刻ｔ６を設定する。

ステップＳ２０４では、前ピクチャにおいてステップＳ２１４で「次ピクチャのピクチャスキップ指示」を設定した場合には、ステップＳ２０５に進み、前ピクチャにおいてステップＳ２１４の処理を通過していない場合には、ステップＳ２０６に進む。ここで、「次ピクチャのピクチャスキップ指示」は、初期値として解除されている。

ステップＳ２０５では、現ピクチャをピクチャスキップすると共に、「次ピクチャのピクチャスキップ指示」を解除して、ステップＳ２０３に戻る。

例えば、図３において、ピクチャＰ５の場合には、前ピクチャＰ４においてステップＳ２１４で「次ピクチャのピクチャスキップ指示」を設定したので、ステップＳ２０４からステップ２０５に進み、ステップＳ２０５でピクチャスキップしたので、図中に表記がない。

ステップＳ２０６では、現ピクチャのピクチャ復号直前の仮想復号バッファ蓄積量を最大として、例えば、過去の仮想復号バッファ推移に基づきピクチャ目標符号量を算出して、ステップＳ２０７に進む。

例えば、図３において、ピクチャＰ１のピクチャ復号時刻ｔ１直前の仮想復号バッファ蓄積量はｄｂ１であり、ピクチャＰ２のピクチャ復号時刻ｔ２直前の仮想復号バッファ蓄積量はｄｂ２である。ピクチャＰ１の場合には、仮想復号バッファ蓄積量ｄｂ１を最大として目標符号量を算出する。ピクチャＰ２の場合には、仮想復号バッファ蓄積量ｄｂ２を最大としてピクチャ目標符号量を算出する。

ステップＳ２０７では、符号化パラメータを符号化するか否か判断する。例えば、３０ピクチャごとに符号化パラメータを符号化、それ以外は符号化しないと判断する。そして、符号化パラメータを符号化すると判断する場合はステップＳ２０８に進み、符号化パラメータを符号化しないと判断する場合はステップＳ２０９に進む。

ステップＳ２０８では、符号化パラメータを符号化して、ステップＳ２０９に進む。

ステップＳ２０９では、現ピクチャを符号化ピクチャサイズ応じてサイズ変換した後、ブロック分割して、ステップＳ２０６で設定したピクチャ目標符号量に応じて、ピクチャ内符号化、もしくは、ピクチャ間符号化して、ステップＳ２１０に進む。この際、ステップＳ２０３で設定したピクチャ復号時刻は、ピクチャ符号に付随する補助情報として符号化する。

ステップＳ２１０では、現ピクチャのピクチャ復号時刻において、ピクチャ復号直後の仮想復号バッファ蓄積量が負ならばアンダーフロー発生と判断してステップＳ２１１に進み、ピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上ならばアンダーフロー発生なしと判断してステップＳ２１５に進む。

例えば、図３において、ピクチャＰ１の場合には、ピクチャ復号時刻ｔ１におけるピクチャ復号直後の仮想復号バッファ蓄積量ｄａ１はゼロ以上なので、アンダーフロー発生なしと判断する。ピクチャＰ２の場合には、ピクチャ復号時刻ｔ２におけるピクチャ復号直後の仮想復号バッファ蓄積量ｄａ２は負なので、アンダーフロー発生と判断する。

ステップＳ２１１では、アンダーフロー発生後、現ピクチャのピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻を第１の時刻として設定し、ステップＳ２１２に進む。

例えば、図３において、ピクチャＰ２の場合には、ピクチャ復号時刻ｔ２においてアンダーフロー発生後、ピクチャＰ２のピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻は、時刻ｔ２．１である。ピクチャＰ２の場合には、第１の時刻を時刻ｔ２．１と設定する。同様に、ピクチャＰ４の場合には、ピクチャ復号時刻ｔ４においてアンダーフロー発生後、ピクチャＰ４のピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻は、時刻ｔ４．２である。ピクチャＰ４の場合には、第１の時刻を時刻ｔ４．２と設定する。

ステップＳ２１２では、第１の時刻から次ピクチャのピクチャ復号時刻までの時間間隔を、第３の時間間隔ＴＱ３として算出して、ステップＳ２１３に進む。

例えば、図３において、ピクチャＰ２の場合には、第１の時刻である時刻ｔ２．１から次ピクチャＰ３のピクチャ復号時刻ｔ３までの時間間隔が、第３の時間間隔ＴＱ３である。（条件１）に基づく場合には、ピクチャＰ２における第３の時間間隔ＴＱ３（Ｐ２）は以下となる。
ＴＱ３（Ｐ２）＝ｔ３−ｔ２．１
＝３×ＴＱ２＝３×（１／１２０）＝１／４０秒 （式12）

同様に、ピクチャＰ４の場合には、第１の時刻である時刻ｔ４．２から次ピクチャＰ５のピクチャ復号時刻ｔ５までの時間間隔が、第３の時間間隔ＴＱ３である。（条件１）に基づく場合には、ピクチャＰ４における第３の時間間隔ＴＱ３（Ｐ４）は以下となる。
ＴＱ３（Ｐ４）＝ｔ５−ｔ４．２
＝２×ＴＱ２＝２×（１／１２０）＝１／６０秒 （式13）

ステップＳ２１３では、第３の時間間隔ＴＱ３と第１の時間間隔ＴＱ１を比較して、ＴＱ３がＴＱ１未満の場合にはステップＳ２１４に進み、ＴＱ３がＴＱ１以上の場合にはステップＳ２１５に進む。

例えば、図３において、ピクチャＰ２の場合には、（式７）から第３の時間間隔ＴＱ３は１／４０秒、（式４）から第１の時間間隔ＴＱ１は１／４０秒である。ＴＱ３はＴＱ１以上なので、ピクチャＰ２の場合には、ステップＳ２１５に進む。ピクチャＰ４の場合には、（式８）から第３の時間間隔ＴＱ３は１／６０秒、（式４）から第１の時間間隔ＴＱ１は１／４０秒である。ＴＱ３はＴＱ１未満なので、ピクチャＰ４の場合には、ステップＳ２１４に進む。

ステップＳ２１４では、次ピクチャを符号化せずにピクチャスキップするように「次ピクチャのピクチャスキップ指示」を設定して、ステップＳ２１５に進む。

例えば、図３において、ピクチャＰ４の場合には、「次ピクチャのピクチャスキップ指示」を設定する。

ステップＳ２１５では、動画像の符号化処理を終了するか否かを、例えば、外部からの符号化処理終了コマンドの入力により判断して、符号化を終了しない場合はステップＳ２０３に進み、符号化を終了する場合は一連の処理を終了する。

以上、第１の実施例では、符号化レベルの入力により間接的に第１の単位時間当たりのマクロブロック数を設定したが、直接的に第１の単位時間当たりのマクロブロック数を設定しても良い。
また、MPEG-4 AVC規定と異なるが、符号化レベルで規定する単位時間当たりの最大マクロブロック数を第２の単位時間当たりのマクロブロック数として符号化ピクチャサイズを定めて、第２の単位時間当たりのマクロブロック数より多い第１の単位時間当たりのマクロブロック数を設定してもよい。この場合、例えば、第１の単位時間当たりのマクロブロック数を符号化パラメータとして所定ピクチャ数ごとに符号化する。復号側では、符号化レベルと共に第１の単位時間当たりのマクロブロック数に基づき、符号化側からの符号を復号可能か判断して可能なら復号すればよい。

第１の実施例により、アンダーフローが発生しても、次ピクチャ復号時刻までに、符号化レベルで規定する単位時間あたりの最大マクロブロック数で１ピクチャを復号する時間間隔以上確保できる期間を設けることができ、この期間であれば次ピクチャをピクチャスキップせずに符号化できる。復号側では、所定のピクチャ時間間隔より短い第２の時間間隔で表示することで、例えば、本発明により毎秒３０ピクチャの動画像を符号化し、復号側では毎秒１２０ピクチャ表示とすることで、画像欠落の少ない表示を提供できる。また、仮想復号バッファのアンダーフロー発生を抑えるためにビットレートを低く符号化することによる画質劣化を解決できる。更に、一般に、ピクチャ間符号化ではピクチャ間隔が大きくなると時間的な相関性が低下して符号化効率が悪くなる問題を回避できる。

（第２の実施例のブロック図の説明）
第２の実施例について図４を用いて説明する。

時間間隔算出器４０１は、符号化レベルと符号化ピクチャサイズを入力して、第１の時間間隔ＴＱ１、第２の時間間隔ＴＱ２、及び、第４の時間間隔ＴＱ４を算出して出力する。第２の実施例において、MPEG-4 AVCのHRDのCPB規定におけるclock tickとして第２の時間間隔ＴＱ２を用いる。

符号化パラメータ設定器４０２は、符号化レベルと符号化ピクチャサイズ、及び、時間間隔算出器４０１からの第２の時間間隔ＴＱ２を入力して、符号化レベル、符号化ピクチャサイズ、及び、MPEG-4 AVCのHRDのCPB規定におけるclock tickとして符号化パラメータに設定して出力する。

符号化器４０３は、符号化パラメータ設定器４０２からの符号化パラメータを、例えば、３０ピクチャごとにピクチャ符号化直前に符号化する。また、符号化制御器４０５から指示されたピクチャ復号時刻とピクチャ目標符号量に従い、ピクチャを符号化ピクチャサイズにサイズ変換した後、ブロック分割してピクチャ内符号化、もしくは、ピクチャ間符号化して符号を出力する。この際、指定ピクチャ復号時刻は、ピクチャ符号に付随する補助情報として符号化する。更に、符号化制御器４０５からピクチャスキップの指示があった場合には、ピクチャを符号化せずにピクチャスキップする。処理結果として、各ピクチャのピクチャ復号時刻とピクチャ符号量を、仮想復号バッファ演算器４０４に出力する。

仮想復号バッファ演算器４０４は、符号化器４０３からの各ピクチャのピクチャ復号時刻とピクチャ符号量に基づき、MPEG-4 AVCにおけるHRDのCPB規定に従い、仮想復号バッファの蓄積量の推移を演算して、符号化制御器４０５に出力する。

符号化制御器４０５は、所定ピクチャ間隔で符号化順に順次ピクチャごとのピクチャ復号時刻を算出すると共に、仮想復号バッファ演算器４０４からの仮想復号バッファの蓄積量の推移に基づき、第２の時刻、及び、第３の時刻を算出して設定し、ピクチャ復号時刻を第３の時刻に修正すると判断した場合には、ピクチャ復号時刻を第３の時刻に修正して設定する。また、仮想復号バッファ演算器４０４からの仮想復号バッファの蓄積量の推移に基づきピクチャ目標符号量を算出して設定する。そして、符号化器４０３にピクチャ符号化を指示する。更に、仮想復号バッファ演算器４０４からの仮想復号バッファの蓄積量の推移に基づき、次ピクチャをピクチャスキップすると判断した場合には、符号化器４０３に次ピクチャのピクチャスキップを指示する。

（第２の実施例のフローチャートと仮想復号バッファの推移図の説明）
次に、図５と図６を用いて説明する。

ステップＳ５０１では、符号化レベルと符号化ピクチャサイズを入力し、第１の時間間隔ＴＱ１、第２の時間間隔ＴＱ２、及び、第４の時間間隔ＴＱ４を以下のように算出して、ステップＳ５０２に進む。

第１の時間間隔ＴＱ１と第２の時間間隔ＴＱ２の算出方法は、第１の実施例と同様である。第４の時間間隔ＴＱ４の算出方法について以下に説明する。

第４の時間間隔ＴＱ４は、第１の時間間隔ＴＱ１以上でピクチャ時間間隔ＰＴ未満、かつ、第２の時間間隔ＴＱ２のＭ倍（Ｍは自然数）となる時間間隔である。
ＴＱ４ ＝ Ｍ×ＴＱ２ （式14）
ＴＱ１ ≦ ＴＱ４ ＜ ＰＴ （式15）
例えば、第１の実施例と同様に (条件１)で符号化する。

（式４）から第１の時間間隔ＴＱ１は１／４０秒、（式６）から第２の時間間隔ＴＱ２は１／１２０秒、ピクチャ時間間隔ＰＴは１／３０であり、第４の時間間隔ＴＱ４は以下となる。
ＴＱ４ ＝ ３×（１／１２０） ＝１／４０秒 （式16）
１／４０秒 ≦ ＴＱ４ ＜ １／３０秒 （式17）
ここで、（式16）では（式14）におけるＭを３とした。

また、図６は、（条件１）、（式４）から（式６）、（式16）、及び、（式17）に基づき作図している。仮想復号バッファは、ピクチャ時間間隔ＰＴの１／４である第２の時間間隔ＴＱ２を単位時間として動作する。また、図６では、小数点を用いて時刻を、例えば、時刻ｔ１、時刻ｔ１．１、時刻ｔ１．２、時刻ｔ１．３のように表す。整数部は、ピクチャ時間間隔ＰＴを単位とする。小数部は、第２の時間間隔ＴＱ２を単位とする。図６では、（式５）に基づきＮを４とするので、小数部は４進法で扱う。すなわち、図３と同様に、（式７）から（式11）となる。

ステップＳ５０２では、符号化レベルと符号化ピクチャサイズ、及び、第２の時間間隔ＴＱ２を入力して、符号化レベル、符号化ピクチャサイズ、及び、第２の時間間隔ＴＱ２をMPEG-4 AVCのHRDのCPB規定におけるclock tickとして符号化パラメータに設定して、ステップＳ５０３に進む。

ステップＳ５０３では、所定ピクチャ時間間隔ＰＴで、符号化順に順次、ピクチャごとに算出した時刻として現ピクチャのピクチャ復号時刻を設定して、ステップＳ５０４に進む。

例えば、図６において、ピクチャＰ１の場合には、ピクチャ復号時刻を時刻ｔ１に設定する。以降、ピクチャＰ２の場合には時刻ｔ２を、ピクチャＰ３の場合には時刻ｔ３を、ピクチャＰ４の場合には時刻ｔ４を、ピクチャＰ５の場合には時刻ｔ５を設定する。図６には現れていないが、ピクチャＰ６の場合には時刻ｔ６を設定する。ピクチャＰ７の場合には時刻ｔ７を設定する。

ステップＳ５０４では、前ピクチャにおいてステップＳ５１６で「次ピクチャのピクチャスキップ指示」を設定した場合には、ステップＳ５０５に進み、前ピクチャにおいてステップＳ５１６の処理を通過していない場合には、ステップＳ５０６に進む。ここで、「次ピクチャのピクチャスキップ指示」は、初期値として解除されている。

ステップＳ５０５では、現ピクチャをピクチャスキップすると共に、「次ピクチャのピクチャスキップ指示」を解除して、ステップＳ５０３に戻る。

例えば、図６において、ピクチャＰ６の場合には、前ピクチャＰ５においてステップＳ５１６で「次ピクチャのピクチャスキップ指示」を設定したので、ステップＳ５０４からステップ５０５に進み、ステップＳ５０５でピクチャスキップしたので、図中に表記がない。

ステップＳ５０６では、前ピクチャにおいてステップＳ５１３で算出して設定した第３の時刻と、現ピクチャにおいてステップＳ５０３で設定した現ピクチャのピクチャ復号時刻とを比較する。第３の時刻が現ピクチャのピクチャ復号時刻を超える場合には、ステップＳ５０７に進む。また、第３の時刻が現ピクチャのピクチャ復号時刻以前の場合には、ステップＳ５０８に進む。なお、第３の時刻の初期値はゼロである。

例えば、図６において、ピクチャＰ２の場合には、前ピクチャＰ１においてステップＳ５１３で算出して設定した第３の時刻Ｔ３（Ｐ１）は時刻ｔ１．３であり、ピクチャＰ２のピクチャ復号時刻ｔ２以前なので、ステップＳ５０８に進む。ピクチャＰ３の場合には、前ピクチャＰ２においてステップＳ５１１で算出して設定した第３の時刻Ｔ３（Ｐ２）は時刻ｔ３．１であり、ピクチャＰ３のピクチャ復号時刻ｔ３を越えるので、ステップＳ５０７に進む。ピクチャＰ７の場合には、ステップＳ５０５においてピクチャＰ６をピクチャスキップしたので、前ピクチャをピクチャＰ５とする。前ピクチャＰ５においてステップＳ５１３で算出して設定した第３の時刻Ｔ３（Ｐ５）は時刻ｔ７であり、ピクチャＰ７の復号時刻ｔ７以前なので、ステップＳ５０８に進む。

ステップＳ５０７では、ステップＳ５０３で設定した現ピクチャのピクチャ復号時刻を、前ピクチャにおいてステップＳ５１３で算出して設定した第３の時刻に修正して、ステップＳ５０８に進む。

例えば、図６において、ピクチャＰ３のピクチャ復号時刻を、時刻ｔ３から時刻ｔ３．１に修正して、ステップＳ５０８に進む。

ステップＳ５０８では、現ピクチャのピクチャ復号直前の仮想復号バッファ蓄積量を最大として、例えば、過去の仮想復号バッファ推移に基づきピクチャ目標符号量を算出して、ステップＳ５０９に進む。

例えば、図６において、ピクチャＰ１のピクチャ復号時刻ｔ１直前の仮想復号バッファ蓄積量はｄｂ１であり、ピクチャＰ２のピクチャ復号時刻ｔ２直前の仮想復号バッファ蓄積量はｄｂ２である。ピクチャＰ１は仮想復号バッファ蓄積量ｄｂ１を最大としてピクチャ目標符号量を算出する。ピクチャＰ２は仮想復号バッファ蓄積量ｄｂ２を最大としてピクチャ目標符号量を算出する。

ステップＳ５０９では、符号化パラメータを符号化するか否か判断する。例えば、３０ピクチャごとに符号化パラメータを符号化、それ以外は符号化しないと判断する。そして、符号化パラメータを符号化すると判断する場合はステップＳ５１０に進み、符号化パラメータを符号化しないと判断する場合はステップＳ５１１に進む。

ステップＳ５１０では、符号化パラメータを符号化して、ステップＳ５１１に進む。

ステップＳ５１１では、現ピクチャを符号化ピクチャサイズに応じてサイズ変換した後、ブロック分割して、ステップ５０８で設定したピクチャ目標符号量に応じて、ピクチャ内符号化、もしくは、ピクチャ間符号化して、ステップＳ５１２に進む。この際、指定ピクチャ復号時刻は、ピクチャ符号に付随する補助情報として符号化する。

ステップＳ５１２では、現ピクチャのピクチャ復号時刻において、ピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上の場合には、現ピクチャのピクチャ復号時刻を第２の時刻として設定し、また、現ピクチャのピクチャ復号時刻におけるピクチャ復号直後の仮想復号バッファ蓄積量が負の場合には、現ピクチャのピクチャ復号時刻の後にピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻を第２の時刻として設定して、ステップＳ５１３に進む。

例えば、図６において、ピクチャＰ１の場合には、ピクチャ復号時刻ｔ１におけるピクチャ復号直後の仮想復号バッファ蓄積量ｄａ１はゼロ以上なので、ピクチャＰ１における第２の時刻Ｔ２（Ｐ１）として時刻ｔ１を設定する。ピクチャＰ２の場合には、ピクチャ復号時刻ｔ２におけるピクチャ復号直後の仮想復号バッファ蓄積量ｄａ２は負であり、時刻ｔ２の後にピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻ｔ２．２を第２の時刻Ｔ２（Ｐ２）として設定する。ピクチャＰ５の場合には、ピクチャ復号時刻ｔ５におけるピクチャ復号直後の仮想復号バッファ蓄積量ｄａ５は負であり、時刻ｔ５の後にピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻ｔ６．１を第２の時刻Ｔ２（Ｐ５）として設定する。

ステップＳ５１３では、ステップＳ５１２で設定した第２の時刻から、ステップＳ５０１で設定した第４の時間間隔後の時刻を、第３の時刻として設定して、ステップＳ５１４に進む。

例えば、図６において、ピクチャＰ１の場合には、第２の時刻Ｔ２（Ｐ１）は時刻ｔ１であり、第２の時刻Ｔ２（Ｐ１）から第４の時間間隔ＴＱ４後の時刻である、時刻ｔ１．３を、第３の時刻Ｔ３（Ｐ１）として設定する。ピクチャＰ２の場合には、第２の時刻Ｔ２（Ｐ２）は時刻ｔ２．２であり、第２の時刻Ｔ２（Ｐ２）から第４の時間間隔ＴＱ４後の時刻である、時刻ｔ３．１を、第３の時刻Ｔ３（Ｐ２）として設定する。ピクチャＰ５の場合には、第２の時刻Ｔ２（Ｐ５）は時刻ｔ６．１であり、第２の時刻Ｔ２（Ｐ５）から第４の時間間隔ＴＱ４後の時刻である、時刻ｔ７を、第３の時刻Ｔ３（Ｐ５）として設定する。

ステップＳ５１４では、所定ピクチャ時間間隔ＰＴで、符号化順に順次、ピクチャごとに算出した現ピクチャから２ピクチャ後の時刻を、次々ピクチャのピクチャ復号時刻として設定して、ステップＳ５１５に進む。

例えば、図６において、ピクチャＰ１の場合には、時刻ｔ３を、次々ピクチャのピクチャ復号時刻として設定する。以降、ピクチャＰ２の場合には時刻ｔ４を、ピクチャＰ３の場合には時刻ｔ５を、ピクチャＰ４の場合には時刻ｔ６を、ピクチャＰ５の場合には時刻ｔ７を設定する。ピクチャＰ６の場合には時刻ｔ８を設定する。ピクチャＰ７の場合には時刻ｔ９を設定する。

ステップＳ５１５では、ステップＳ５１３で設定した第３の時刻と、ステップＳ５１４で設定した次々ピクチャのピクチャ復号時刻を比較する。第３の時刻が次々ピクチャのピクチャ復号時刻以降の場合には、ステップＳ５１６に進む。第３の時刻が次々ピクチャのピクチャ復号時刻より前の場合には、ステップＳ５１７に進む。

例えば、図６において、ピクチャＰ５の場合には、第３の時刻Ｔ３（Ｐ５）は時刻ｔ７であり、次々ピクチャのピクチャ復号時刻である時刻ｔ７以降なので、ステップＳ５１６に進む。ピクチャＰ２の場合には、第３の時刻Ｔ３（Ｐ２）は時刻ｔ３．１であり、次々ピクチャのピクチャ復号時刻である時刻ｔ４より前なので、ステップＳ５１７に進む。

ステップＳ５１６では、次ピクチャを符号化せずにピクチャスキップするように「次ピクチャのピクチャスキップ指示」を設定して、ステップＳ５１７に進む。

例えば、図６において、ピクチャＰ５の場合には、「次ピクチャのピクチャスキップ指示」を設定する。

ステップＳ５１７では、動画像の符号化処理を終了するか否かを、例えば、外部からの符号化処理終了コマンドの入力により判断して、符号化を終了しない場合はステップＳ５０３に進み、符号化を終了する場合は一連の処理を終了する。

以上、第２の実施例では、符号化レベルの入力により間接的に第１の単位時間当たりのマクロブロック数を設定したが、直接的に第１の単位時間当たりのマクロブロック数を設定してもよい。
また、MPEG-4 AVC規定と異なるが、符号化レベルで規定する単位時間当たりの最大マクロブロック数を第２の単位時間当たりのマクロブロック数として符号化ピクチャサイズを定めて、第２の単位時間当たりのマクロブロック数より多い第１の単位時間当たりのマクロブロック数を設定してもよい。
更に、第２の実施例では、図５のステップＳ５１５において、第３の時刻が次々ピクチャのピクチャ復号時刻と比較して、第３の時刻が「次々ピクチャのピクチャ復号時刻以降の場合」には、図５のステップＳ５１６において、「次ピクチャのピクチャスキップ指示」を設定したが、「次々ピクチャのピクチャ復号時刻以降の場合」に代えて「次々ピクチャのピクチャ復号時刻を越えた場合」としてもよい。また、遅延は大きくなるが、「次々ピクチャのピクチャ復号時刻」に代えて、より後の、例えば、現ピクチャから３ピクチャ後の「次々々ピクチャのピクチャ復号時刻」を用いてもよい。

第２の実施例により、アンダーフローが発生した場合においても、次ピクチャ復号時刻を遅らせることで、第１の実施例に比べて、符号化レベルで規定する単位時間あたりの最大マクロブロック数で１ピクチャを復号する時間間隔以上確保できる期間を拡大することができ、この期間であれば次ピクチャをピクチャスキップせずに符号化できる。

これにより、第１の実施例に比べて、より画像欠落の少ない表示を提供できる。また、仮想復号バッファのアンダーフロー発生を抑えるためにビットレートを低く符号化することによる画質劣化を解決できる。更に、一般に、ピクチャ間符号化ではピクチャ間隔が大きくなると時間的な相関性が低下して符号化効率が悪くなる問題をより回避できる。

第１の実施例と同様に、復号側において、所定のピクチャ時間間隔より短い第２の時間間隔で表示することで、例えば、本発明により毎秒３０ピクチャの動画像を符号化し、復号側では毎秒１２０ピクチャで表示することで、画像欠落の少ない表示を提供できる。

なお、ＭＰＥＧ２（ISO/IEC 13818-2:2000）、及び、ＭＰＥＧ４−ＡＶＣ（ISO/IEC 14496-10:2009）では、低遅延モードとして符号化する場合のみ、アンダーフロー発生を許可しているが、本発明の技術は、アンダーフロー発生を許容可能とすれば、低遅延モードに限らず適用することができる。

１０１ 時間間隔算出器
１０２ 符号化パラメータ設定器
１０３ 符号化器
１０４ 仮想復号バッファ演算器
１０５ 符号化制御器
４０１ 時間間隔算出器
４０２ 符号化パラメータ設定器
４０３ 符号化器
４０４ 仮想復号バッファ演算器
４０５ 符号化制御器
７０１ 符号化パラメータ設定器
７０２ 符号化器
７０３ 仮想復号バッファ演算器
７０４ 符号化制御器

Claims (4)

1. 所定ピクチャ時間間隔の動画像の各ピクチャをブロック分割する手段と、
   第１の単位時間あたりのブロック数を設定する手段と、
   所定ピクチャ時間間隔に基づき、第１の単位時間あたりのブロック数より少ない第２の単位時間あたりのブロック数となる符号化ピクチャサイズを設定する手段と、
   符号化ピクチャサイズで各ピクチャを符号化する手段と、
   符号化ピクチャサイズのピクチャ符号を第１の単位時間あたりのブロック数で復号するに要する第１の時間間隔を算出する手段と、
   所定ピクチャ時間間隔と第１の時間間隔との時間差以下で、かつ、所定ピクチャ時間間隔の１／Ｎ（Ｎは２以上の自然数）となる第２の時間間隔を算出する手段と、
   所定ピクチャ時間間隔で、ピクチャごとのピクチャ復号時刻を算出する手段と、
   第２の時間間隔ごとの仮想復号バッファの蓄積量の推移を算出する手段と、
   現ピクチャのピクチャ復号時刻において、ピクチャ復号直後の仮想復号バッファ蓄積量が負の場合には、現ピクチャのピクチャ復号時刻後にピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻を第１の時刻として算出する手段と、
   第１の時刻から次ピクチャのピクチャ復号時刻までの第３の時間間隔を算出する手段と、
   第３の時間間隔が第１の時間間隔以上の場合には、次ピクチャを符号化するように制御する手段と、
   を有することを特徴とする動画像符号化装置。
2. 所定ピクチャ時間間隔の動画像の各ピクチャをブロック分割する手段と、
   第１の単位時間あたりのブロック数を設定する手段と、
   所定ピクチャ時間間隔に基づき、第１の単位時間あたりのブロック数より少ない第２の単位時間あたりのブロック数となる符号化ピクチャサイズを設定する手段と、
   符号化ピクチャサイズで各ピクチャを符号化する手段と、
   符号化ピクチャサイズのピクチャ符号を第１の単位時間あたりのブロック数で復号するに要する第１の時間間隔を算出する手段と、
   所定ピクチャ時間間隔と第１の時間間隔との時間差以下で、かつ、所定ピクチャ時間間隔の１／Ｎ（Ｎは２以上の自然数）となる第２の時間間隔を算出する手段と、
   第１の時間間隔以上で所定ピクチャ時間間隔未満、かつ、第２の時間間隔のＭ倍（Ｍは自然数）となる第４の時間間隔を算出する手段と、
   第２の時間間隔ごとの仮想復号バッファの蓄積量の推移を算出する手段と、
   所定ピクチャ時間間隔で、ピクチャごとのピクチャ復号時刻を算出する手段と、
   現ピクチャのピクチャ復号時刻におけるピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上の場合には、現ピクチャのピクチャ復号時刻を第２の時刻として設定し、また、現ピクチャのピクチャ復号時刻におけるピクチャ復号直後の仮想復号バッファ蓄積量が負の場合には、現ピクチャのピクチャ復号時刻後にピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻を第２の時刻として算出する手段と、
   第２の時刻から第４の時間間隔後の時刻を第３の時刻として算出する手段と、
   次ピクチャを符号化する際に、第３の時刻が次ピクチャのピクチャ復号時刻を超えた場合には、次ピクチャのピクチャ復号時刻を第３の時刻に修正して、次ピクチャを符号化するように制御する手段と、
   を有することを特徴とする動画像符号化装置。
3. 所定ピクチャ時間間隔の動画像の各ピクチャをブロック分割するステップと、
   第１の単位時間あたりのブロック数を設定するステップと、
   所定ピクチャ時間間隔に基づき、第１の単位時間あたりのブロック数より少ない第２の単位時間あたりのブロック数となる符号化ピクチャサイズを設定するステップと、
   符号化ピクチャサイズで各ピクチャを符号化するステップと、
   符号化ピクチャサイズのピクチャ符号を第１の単位時間あたりのブロック数で復号するに要する第１の時間間隔を算出するステップと、
   所定ピクチャ時間間隔と第１の時間間隔との時間差以下で、かつ、所定ピクチャ時間間隔の１／Ｎ（Ｎは２以上の自然数）となる第２の時間間隔を算出するステップと、
   第２の時間間隔ごとの仮想復号バッファの蓄積量の推移を算出するステップと、
   所定ピクチャ時間間隔で、ピクチャごとのピクチャ復号時刻を算出するステップと、
   現ピクチャのピクチャ復号時刻において、ピクチャ復号直後の仮想復号バッファ蓄積量が負の場合には、現ピクチャのピクチャ復号時刻後にピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻を第１の時刻として算出するステップと、
   第１の時刻から次ピクチャのピクチャ復号時刻までの第３の時間間隔を算出するステップと、
   第３の時間間隔が第１の時間間隔以上の場合には、次ピクチャを符号化するように制御するステップと、
   を含むことを特徴とする動画像符号化方法。
4. 所定ピクチャ時間間隔の動画像の各ピクチャをブロック分割するステップと、
   第１の単位時間あたりのブロック数を設定するステップと、
   所定ピクチャ時間間隔に基づき、第１の単位時間あたりのブロック数より少ない第２の単位時間あたりのブロック数となる符号化ピクチャサイズを設定するステップと、
   符号化ピクチャサイズで各ピクチャを符号化するステップと、
   符号化ピクチャサイズのピクチャ符号を第１の単位時間あたりのブロック数で復号するに要する第１の時間間隔を算出するステップと、
   所定ピクチャ時間間隔と第１の時間間隔との時間差以下で、かつ、所定ピクチャ時間間隔の１／Ｎ（Ｎは２以上の自然数）となる第２の時間間隔を算出するステップと、
   第１の時間間隔以上で所定ピクチャ時間間隔未満、かつ、第２の時間間隔のＭ倍（Ｍは自然数）となる第４の時間間隔を算出するステップと、
   第２の時間間隔ごとの仮想復号バッファの蓄積量の推移を算出するステップと、
   所定ピクチャ時間間隔で、ピクチャごとのピクチャ復号時刻を算出するステップと、
   現ピクチャのピクチャ復号時刻におけるピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上の場合には、現ピクチャのピクチャ復号時刻を第２の時刻として設定し、また、現ピクチャのピクチャ復号時刻におけるピクチャ復号直後の仮想復号バッファ蓄積量が負の場合には、現ピクチャのピクチャ復号時刻後にピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻を第２の時刻として設定するステップと、
   第２の時刻から第４の時間間隔後の時刻を第３の時刻として設定するステップと、
   次ピクチャを符号化する際に、第３の時刻が次ピクチャのピクチャ復号時刻を超えた場合には、次ピクチャのピクチャ復号時刻を第３の時刻に修正して、次ピクチャを符号化するように制御するステップと、
   を含むことを特徴とする動画像符号化方法。

Images