JP2012065177A - 画像符号化装置、画像符号化方法、画像復号装置、及び画像復号方法 - Google Patents

Abstract

【課題】動画像の品質低下を抑制しつつ、符号化側から復号側に伝送される動画像の符号化ストリームを低遅延で復号する。
【解決手段】符号化部１１０３は、動画像を、ピクチャレートを可変可能な規格にしたがい符号化する。符号化パラメータ設定部１１０２は、規定されたピクチャレートにしたがったピクチャ間の時間間隔で復号する場合に少なくとも必要な復号能力と、復号側に存在すべき仮想復号バッファの単位動作時間の倍数の時間間隔であって、かつピクチャ間の時間間隔より短い時間間隔で復号する場合に少なくとも必要な復号能力と、を含む符号化パラメータを符号化部１１０３に設定する。符号化部１１０３は、符号化パラメータを符号化して、動画像の符号化ストリーム内に挿入する。
【選択図】図１

Description

本発明は、ピクチャレートが可変な符号化規格を用いて動画像を符号化、及び復号する画像符号化装置、画像符号化方法、画像復号装置、及び画像復号方法に関する。

動画像を効率よく伝送するために、動画像信号の時間的冗長性、空間的冗長性、及び統計的冗長性を利用したピクチャ内符号化やピクチャ間符号化が用いられている。例えば、ISO/IEC 11172-2（通称MPEG-1 Video）、ISO/IEC 13818-2（通称MPEG-2 Video）、ISO/IEC 14496-2（通称MPEG-4 Video）、ISO/IEC 14496-10（通称MPEG-4 AVC）、ITU-T H.261、ITU-T H.263等の国際標準に基づく符号化方式がある。

ピクチャ毎の発生符号量は、ピクチャ内符号化またはピクチャ間符号化により規定される各符号化ピクチャのタイプ、そのピクチャの絵柄や動き変化等により変動する。したがって、動画像を符号化した符号化データを所定の伝送レートで伝送するためには、符号化側の出力段、及び復号側の入力段に符号化データを一時滞留させるための符号バッファを設け、符号量変動を吸収する手法が有効である。ただし、当該符号バッファでオーバーフローやアンダーフローが発生すると、符号化データの欠落等が発生し、復号後の動画像におけるノイズ要因となる。

符号化側は、出力する符号化データの符号量変動が、復号側の入力段に設けられる符号バッファにより吸収できるように符号化する必要がある。例えば、各ピクチャの発生符号量を予測しながら量子化幅を制御することにより、各ピクチャの発生符号量を調整して、符号バッファがオーバーフローやアンダーフローしないようにする手法が提案されている（例えば、特許文献１参照）。

符号化側の出力段や復号側の入力段の符号バッファの動作は、符号化や復号の実装方法の違いにより異なる。このため、符号化側で想定する復号側の符号バッファの仕様と、実際の復号側の符号バッファの仕様とが一致しないことで、オーバーフローやアンダーフローが発生する場合がある。一般に国際標準に基づく符号化方式では、仮想復号バッファを規定することで、符号化や復号の実装方法が異なる場合においても相互運用性を確保できるようにしている。仮想復号バッファとは、不特定多数の画像復号装置に符号化データを出力または伝送する画像符号化装置が、画像復号装置に存在すると仮定している符号バッファを指す。例えば、MPEG-2ビデオのVBV (Video buffer verifier)のVBV buffer、MPEG-4 AVCのHRD (Hypothetical reference decoder)のCPB（Coded picture buffer)等の規定がある。

符号バッファの容量を大きくすれば、符号化データの滞留時間を長くすることができ、より大きな符号量変動を吸収できる。すなわち、オーバーフローやアンダーフローの発生を抑制できる。しかしながら、符号化データの滞留時間を長くすることで遅延が増大する。なお、仮想復号バッファにおけるアンダーフローとは、復号対象の符号化ピクチャが、規定の復号時刻までに、仮想復号バッファに蓄積完了していない状態をいう。

テレビ電話、テレビ会議、遠隔操作のための監視システム等の用途では、できる限り遅延を小さくすることが求められる。遅延を小さくするには、符号化データの符号バッファにおける一時滞留時間を短くすることが有効であるが、シーンチェンジや急激な動き変化等による符号量変動を吸収できず、仮想復号バッファがアンダーフローする可能性が高くなる。このため、MPEG-2ビデオやMPEG-4 AVC等では、低遅延モードとして符号化する際に、仮想復号バッファにおけるアンダーフローの発生を許容している。符号化ピクチャが仮想復号バッファへの蓄積が完了するまで待機してから復号する。すなわち、待機時間分だけ遅延が生じる。

従来、符号化時に仮想復号バッファがアンダーフローした場合、上記待機時間分の遅延を解消するために、以下のような方法が用いられている。例えば、アンダーフローを起こしたピクチャに続くピクチャを少なくともひとつ飛ばす方法（所謂、ピクチャスキップ）や、符号化ピクチャを破棄、もしくは途中までの符号化ピクチャをそのシンタックスを整えた上で出力する方法が用いられている（例えば、特許文献２、３参照）。

特開平６−２０５３９３号公報 特開平１０−２１５４４９号公報 特開２００１−２９８７３５号公報

しかしながら、ピクチャスキップや符号化ピクチャの破棄は、画像欠落を招く。例えば、遠隔操作のための監視システム等では、重要な画像を受信表示できないことにより、操作に支障をきたしたり、判断を誤る可能性がある。また、途中までの符号化ピクチャを、そのシンタックスを整えただけで出力する場合、受信画像に大きな乱れが生じる可能性がある。また、ピクチャスキップは、ピクチャ間符号化において対象ピクチャと参照ピクチャとの時間間隔が広がり、時間的な相関性が低下する可能性がある。その場合、符号化効率が低下し、画質低下を招く可能性もある。

本発明はこうした状況に鑑みなされたものであり、その目的は、動画像の品質低下を抑制しつつ、符号化側から復号側に伝送される動画像の符号化ストリームを低遅延で復号する技術を提供することにある。

本発明のある態様の画像符号化装置は、動画像を、ピクチャレートを可変可能な規格にしたがい符号化する符号化部と、規定されたピクチャレートにしたがったピクチャ間の時間間隔で復号する場合に少なくとも必要な復号能力と、復号側に存在すべき仮想復号バッファの単位動作時間の倍数の時間間隔であって、かつピクチャ間の時間間隔より短い時間間隔で復号する場合に少なくとも必要な復号能力と、を含む符号化パラメータを符号化部に設定する符号化パラメータ設定部と、を備える。符号化部は、符号化パラメータを符号化して、動画像の符号化ストリーム内に挿入する。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラム等の間で変換したものもまた、本発明の態様として有効である。

本発明によれば、動画像の品質低下を抑制しつつ、符号化側から復号側に伝送される動画像の符号化ストリームを低遅延で復号することができる。

実施の形態１に係る画像符号化装置の構成を示すブロック図である。 実施の形態１に係る画像符号化装置による符号化処理を説明するためのフローチャートである。 実施の形態１に係る符号化処理における仮想復号バッファの蓄積量推移の一例を示す図である。 実施の形態１に係る画像復号装置の構成を示すブロック図である。 実施の形態１に係る画像復号装置による復号処理を説明するためのフローチャートである。 図３の符号化処理に対応する復号処理における、仮想復号バッファの蓄積量推移を示す図である。 実施の形態１の変形例に係る符号化処理を説明するためのフローチャートである。 実施の形態１の変形例に係る符号化処理における仮想復号バッファの蓄積量推移の一例を示す図である。 実施の形態２に係る画像符号化装置の構成を示すブロック図である。 実施の形態２に係る画像符号化装置による符号化処理を説明するためのフローチャートである。 実施の形態２に係る符号化処理における仮想復号バッファの蓄積量推移の第１例を示す図である。 実施の形態２に係る符号化処理における仮想復号バッファの蓄積量推移の第２例を示す図である。 実施の形態２に係る画像復号装置の構成を示すブロック図である。 実施の形態２に係る画像復号装置による復号処理を説明するためのフローチャートである。 実施の形態２の変形例に係る符号化処理を説明するためのフローチャートである。 実施の形態２の変形例に係る符号化処理における仮想復号バッファの蓄積量推移の一例を示す図である。

まず、本発明の実施の形態を詳細に説明する前に、その概要を説明する。MPEG-2 VideoやMPEG-4 Videoでは、仮想復号バッファがアンダーフローした場合、次ピクチャをピクチャスキップする必要がある。MPEG-4 AVCでは、現ピクチャの復号完了時刻から次ピクチャ復号開始時刻までの時間間隔は、符号化レベルで規定する単位時間あたりの最大マクロブロック数で１ピクチャを復号する時間間隔以上とすると規定されている。すなわち、仮想復号バッファのアンダーフロー発生後、符号化ピクチャの符号化データがすべて仮想復号バッファに蓄積して復号される復号完了時刻から、次ピクチャ復号開始時刻までの時間間隔が、符号化レベルで規定する単位時間あたりの最大マクロブロック数で１ピクチャを復号する時間間隔未満ならば、次ピクチャをピクチャスキップする必要がある。

逆に、現ピクチャの復号完了時刻から次ピクチャの復号開始時刻までに単位時間当たりの最大マクロブロック数で１ピクチャを復号する時間間隔以上確保できれば、アンダーフローが発生しても、次ピクチャをスキップせずに符号化できる。すなわち、次ピクチャをスキップせずに符号化できるアンダーフロー許容時間が確保できる。以下に説明する実施の形態１、２は、この点に着目したものである。

（実施の形態１）
図１は、実施の形態１に係る画像符号化装置１１００の構成を示すブロック図である。画像符号化装置１１００は、時間間隔算出設定部１１０１、符号化パラメータ設定部１１０２、符号化部１１０３、仮想復号バッファ演算部１１０４、及び符号化制御部１１０５を備える。

これらの構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。また、ファームウェアやソフトウェアとして上記機能を実現するプログラムを、コンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。以下、実施の形態１に係る画像復号装置、実施の形態２に係る画像符号化装置、及び実施の形態２に係る画像復号装置についても同様である。

本実施の形態では、ピクチャレートを可変可能な規格であるMPEG-4 AVCに準拠して、動画像を符号化する例を説明する。MPEG-4 AVCでは、各ピクチャをブロック分割してピクチャ内符号化、もしくはピクチャ間符号化する。当該ブロックの単位として、MPEG-4 AVCでは、マクロブロック、マクロブロック・パーティション、サブマクロブロック、及びサブマクロブロック・パーティションを採用することができる。

時間間隔算出設定部１１０１には、所定のピクチャ時間間隔ＰＴの１／Ｎ（Ｎは２以上の整数）である第１の時間間隔ＴＱ１と、所定のピクチャ時間間隔ＰＴのＭ／Ｎ（ＭはＭ＜Ｎである整数）である第２の時間間隔ＴＱ２が入力される。時間間隔算出設定部１１０１は、所定のピクチャ時間間隔ＰＴと第２の時間間隔ＴＱ２との差分を算出して、第３の時間間隔ＴＱ３を設定する。それとともに、第２の時間間隔ＴＱ２をもとに第５の時間間隔ＴＱ５（ＴＱ２≦ＴＱ５＜ＰＴ）を設定する。そして、時間間隔算出設定部１１０１は、第１の時間間隔ＴＱ１、第２の時間間隔ＴＱ２、第３の時間間隔ＴＱ３、及び第５の時間間隔ＴＱ５を符号化パラメータ設定部１１０２、仮想復号バッファ演算部１１０４、及び符号化制御部１１０５にそれぞれ出力する。

第１の時間間隔ＴＱ１は、仮想復号バッファの動作時間単位であり、MPEG-4 AVCのHRDのCPB規定におけるclock tickとして用いる。第２の時間間隔ＴＱ２、及び第５の時間間隔ＴＱ５は、符号化側、及び復号側の符号バッファの容量やその他の仕様に応じて、設計者により設定される値である。また、それらの値を調整することにより、後述するピクチャスキップの感度、及び復号側における遅延の感度を調整することができる。

図１では、第１の時間間隔ＴＱ１と第２の時間間隔ＴＱ２が外部から直接的に時間間隔算出設定部１１０１に入力される例を描いているが、その代わりにＮとＭが入力されてもよい。その場合、時間間隔算出設定部１１０１は、所定のピクチャ時間間隔ＰＴを１／Ｎして第１の時間間隔ＴＱ１を設定し、所定のピクチャ時間間隔ＰＴをＭ／Ｎして第２の時間間隔ＴＱ２を設定する。

第５の時間間隔ＴＱ５は、第２の時間間隔ＴＱ２以上であればよい。仮想復号バッファにおいてピクチャ復号時刻を第５の時間間隔ＴＱ５遅延させた場合、仮想復号バッファのその時点における蓄積量が増加する。その最大増加量は、符号化における最大ビットレートと第５の時間間隔ＴＱ５の積で求められる。この最大増加量は、例えば次のように利用することができる。すなわち、符号化パラメータで示される仮想復号バッファの大きさより当該最大増加量分だけ小さい値を用いて符号化制御する。これにより、復号においてピクチャ復号時刻を第５の時間間隔ＴＱ５遅延させた際の、復号側の入力段に設けられる符号バッファのオーバーフローを防ぐことができる。また、復号側において、仮想復号バッファの最大増加量分を考慮して当該符号バッファの容量を確保できれば、最大増加量分だけ小さい値を用いる必要はない。

符号化パラメータ設定部１１０２には、時間間隔算出設定部１１０１から第１の時間間隔ＴＱ１、第２の時間間隔ＴＱ２、及び第３の時間間隔ＴＱ３が入力される。符号化パラメータ設定部１１０２は、第３の時間間隔ＴＱ３で復号する場合に少なくとも必要な復号能力を設定する。例えばこの復号能力として、符号化パラメータ設定部１１０２は、第３の時間間隔ＴＱ３で復号可能な、所定のピクチャサイズのマクロブロック数から求められる単位時間当たりのマクロブロック数以上の値を、第１の単位時間当たりのブロック数ＮＭＢ１に設定する。なお、上記復号能力を、上記ブロック数ではなく復号側のその他の仕様（例えば、動作周波数など）で規定してもよい。

符号化パラメータ設定部１１０２は、所定のピクチャ時間間隔ＰＴで復号する場合に少なくとも必要な復号能力を設定する。例えばこの復号能力として、符号化パラメータ設定部１１０２は、所定のピクチャ時間間隔ＰＴで復号可能な、所定のピクチャサイズのマクロブロック数から求められる単位時間当たりのマクロブロック数の値を、第２の単位時間当たりのブロック数ＮＭＢ２を設定する。

次に、符号化パラメータ設定部１１０２は、符号化で用いる符号化方式のサブセット条件により符号化プロファイルを設定する。それと共に、ピクチャ時間間隔ＰＴ、ピクチャサイズＰＳＺ、符号化で用いる最大ビットレート、及び第１の単位時間当たりのマクロブロック数ＮＭＢ１等に基づき符号化レベルを設定する。

そして、符号化パラメータ設定部１１０２は、当該符号化プロファイル、当該符号化レベル、当該ピクチャサイズＰＳＺ、当該最大ビットレート、及び第１の時間間隔ＴＱ１（本実施の形態では、MPEG-4 AVCにおけるHRDのCPB規定におけるclock tick）等に基づき、MPEG-4 AVCで規定する”Sequence Parameter Set”に従い符号化パラメータを設定し、符号化部１１０３に出力する。

また、符号化パラメータ設定部１１０２は、MPEG-4 AVCの”Supplemental enhancement information”に準じた形式で符号化パラメータの付随情報として、ピクチャ時間間隔ＰＴ、ピクチャサイズＰＳＺ、符号化で用いる最大ビットレート、及び第２の単位時間当たりのマクロブロック数ＮＭＢ２等に基づく符号化レベルを示す情報、及び第５の時間間隔ＴＱ５を示す情報を設定し、符号化部１１０３に出力する。

符号化部１１０３は、符号化パラメータ設定部１１０２から入力される符号化パラメータと付随情報を所定のピクチャ数（例えば、３０ピクチャ）ごとに、そのピクチャ群の符号化の直前に符号化し、符号化ストリーム内に挿入する。

また、符号化部１１０３は、所定の圧縮符号化規格（本実施の形態では、MPEG-4 AVC）に準拠し、外部から入力される動画像を構成する各画像をブロック分割してピクチャ内符号化、もしくはピクチャ間符号化して、動画像を圧縮符号化して符号化ストリームを生成する。その際、符号化部１１０３は、符号化制御部１１０５から入力されるピクチャ復号時刻、及びピクチャ目標符号量に従い、各ピクチャを符号化する。MPEG-4 AVCで規定するPicture timing SEI messageに従い符号化する。

また、符号化部１１０３は、符号化制御部１１０５からピクチャスキップの指示があった場合、その対象ピクチャを符号化せずにピクチャスキップする。符号化部１１０３は、ピクチャ符号化の処理結果として、各ピクチャのピクチャ復号時刻とピクチャ符号量を、仮想復号バッファ演算部１１０４に出力する。

符号化部１１０３により符号化された符号化ストリームは、図示しない伝送路を介して後述する画像復号装置に伝送される。

仮想復号バッファ演算部１１０４は、符号化部１１０３から入力される各ピクチャのピクチャ復号時刻とピクチャ符号量に基づき、仮想復号バッファの蓄積量の推移を演算し、符号化制御部１１０５に出力する。本実施の形態では、仮想復号バッファの蓄積量の推移は、MPEG-4 AVCにおけるHRDのCPB規定に従い演算する。

符号化制御部１１０５は、所定のピクチャ時間間隔ＰＴに基づき、符号化順に各ピクチャのピクチャ復号時刻を算出する。また、仮想復号バッファ演算部１１０４から入力される、各時刻における仮想復号バッファの蓄積量の推移に基づき、各ピクチャの目標符号量を算出する。符号化制御部１１０５は、算出した各ピクチャのピクチャ復号時刻と目標符号量を符号化部１１０３に出力し、ピクチャ符号化を指示する。また、符号化制御部１１０５は、仮想復号バッファ演算部１１０４から入力される仮想復号バッファの蓄積量の推移に基づき、次ピクチャをスキップすべきと判断した場合、符号化部１１０３にピクチャスキップを指示する。

図２は、実施の形態１に係る画像符号化装置１１００による符号化処理を説明するためのフローチャートである。図３は、実施の形態１に係る符号化処理における仮想復号バッファの蓄積量推移の一例を示す図である。以下、図２、３を参照しながら実施の形態１に係る画像符号化装置１１００の動作例を説明する。

第１の時間間隔ＴＱ１と第２の時間間隔ＴＱ２が時間間隔算出設定部１１０１に設定される（Ｓ１２０１）。本実施の形態では、第１の時間間隔ＴＱ１は、仮想復号バッファの動作時間単位であり、MPEG-4 AVCにおけるHRDのCPB規定で用いるclock tickが用いられる。
ＴＱ１＝ＰＴ×１／Ｎ ・・・（式１）
ＴＱ２＝ＰＴ×Ｍ／Ｎ ・・・（式２）
ここで、Ｎは２以上の整数、ＭはＭ＜Ｎの整数である。

本動作例では、Ｎ、Ｍを下記（式３）、（式４）と定義する。
Ｎ＝４ ・・・（式３）
Ｍ＝１ ・・・（式４）

本動作例では、仮想復号バッファは、ピクチャ時間間隔ＰＴの１／４である第１の時間間隔ＴＱ１を単位時間として動作する。また、図３では時刻を、小数点を用いて時刻ｔ１、時刻ｔ１．１、時刻ｔ１．２、及び時刻ｔ１．３のように表す。時刻の整数部はピクチャ時間間隔ＰＴを単位とし、その小数部は、第１の時間間隔ＴＱ１を単位とする。本動作例では、Ｎ＝４であるため、小数部を４進法で扱う。すなわち、下記（式５）〜（式９）のようになる。
時刻ｔ１＝時刻（ｔ１＋０×ＴＱ１） ・・・（式５）
時刻ｔ１．１＝時刻（ｔ１＋１×ＴＱ１） ・・・（式６）
時刻ｔ１．２＝時刻（ｔ１＋２×ＴＱ１） ・・・（式７）
時刻ｔ１．３＝時刻（ｔ１＋３×ＴＱ１） ・・・（式８）
時刻ｔ１．４＝時刻（ｔ１＋４×ＴＱ１）＝時刻（ｔ１＋ＰＴ）＝時刻ｔ２ ・・・（式９）

時間間隔算出設定部１１０１は、所定のピクチャ時間間隔ＰＴと第２の時間間隔ＴＱ２との差分を算出して、第３の時間間隔ＴＱ３とする。また、第２の時間間隔ＴＱ２を第５の時間間隔ＴＱ５として設定する（Ｓ１２０２）。
ＴＱ３＝ＰＴ−ＴＱ２ ・・・（式１０）
ＴＱ５＝ＴＱ２ ・・・（式１１）

符号化パラメータ設定部１１０２は、第１の単位時間当たりのマクロブロック数ＮＭＢ１を、所定の符号化ピクチャサイズのマクロブロック数ＰＮＭＢ、及び第３の時間間隔ＴＱ３から求められる単位時間当たりのマクロブロック数以上に設定する。また、第２の単位時間当たりのマクロブロック数ＮＭＢ２を、所定の符号化ピクチャサイズのマクロブロック数ＰＮＭＢ、及び所定のピクチャ時間間隔ＰＴから求められる単位時間当たりのマクロブロック数に設定する（Ｓ１２０３）。本動作例では、単位時間を１秒に設定している。
ＮＭＢ１≧ＰＮＭＢ／ＴＱ３ ・・・（式１２）
ＮＭＢ２＝ＰＮＭＢ／ＰＴ ・・・（式１３）

次に、符号化パラメータ設定部１１０２は、符号化で用いる符号化方式のサブセット条件により符号化プロファイルを設定すると共に、ピクチャ時間間隔ＰＴ、符号化ピクチャサイズＰＳＺ、ビットレート、及び第１の単位時間当たりのマクロブロック数ＮＭＢ１に基づき、符号化レベルを設定する。

次に、符号化パラメータ設定部１１０２は、当該符号化プロファイル、当該符号化レベル、当該符号化ピクチャサイズＰＳＺ、当該ビットレート、及び第１の時間間隔ＴＱ１（本実施の形態では、MPEG-4 AVCにおけるHRDのCPB規定におけるclock tick）等に基づき、MPEG-4 AVCで規定する”Sequence Parameter Set”に従い符号化パラメータを設定する。また、第２の単位時間当たりのマクロブロック数ＮＭＢ２に基づく符号化レベル、及び第５の時間間隔ＴＱ５を、例えば、MPEG-4 AVCの”Supplemental enhancement information”に準じた形式で符号化パラメータの付随情報として設定する（Ｓ１２０４）。

以下、下記条件１で符号化する場合について説明する。
（条件１）
ピクチャレート： ３０Ｈｚ
ピクチャサイズ： １２８０×７２０
符号化方式： ＭＰＥＧ−４ ＡＶＣ
プロファイル： ベースラインプロファイル
ビットレート： １４Ｍｂｐｓ（ＶＣＬ基準）

上記（式３）、（式４）、及び上記条件１を前提とすると、ピクチャ時間間隔ＰＴ、第１の時間間隔ＴＱ１、第２の時間間隔ＴＱ２、第３の時間間隔ＴＱ３、及び第５の時間間隔ＴＱ５は、下記（式１４）〜（式１８）のように算出される。
ＰＴ＝１／３０秒 ・・・（式１４）
ＴＱ１＝１／３０×１／４＝１／１２０秒 ・・・（式１５）
ＴＱ２＝１／１２０×１＝１／１２０秒 ・・・（式１６）
ＴＱ３＝（１／３０）−１／１２０＝１／４０秒 ・・・（式１７）
ＴＱ５＝ＴＱ２＝１／１２０秒 ・・・（式１８）

上記条件１のピクチャサイズから画面当たりのマクロブロック数は３６００である。所定の符号化ピクチャサイズのマクロブロック数ＰＮＭＢ、及び第３の時間間隔ＴＱ３から求められる第１の単位時間当たりのマクロブロック数ＮＭＢ１は、下記（式１９）になる。ここでは、第１の単位時間当たりのマクロブロック数ＮＭＢ１を、求められるマクロブロック数と等しい値に設定している。
ＮＭＢ１＝３６００／（１／４０）＝毎秒１４４０００マクロブロック ・・・（式１９）

また、所定の符号化ピクチャサイズのマクロブロック数ＰＮＭＢ、及び所定のピクチャ時間間隔ＰＴから求められる、第２の単位時間当たりのマクロブロック数ＮＭＢ２は、下記（式２０）になる。
ＮＭＢ２＝３６００／（１／３０）＝毎秒１０８０００マクロブロック ・・・（式２０）

以上から、符号化パラメータ設定部１１０２は、上記条件１、及び第１の単位時間当たりのマクロブロック数ＮＭＢ１に対応する符号化レベルとしてレベル３．２を設定する。そして、符号化パラメータ設定部１１０２は、符号化プロファイル、符号化レベル、符号化ピクチャサイズＰＳＺ、ビットレート、及び第１の時間間隔ＴＱ１（本実施の形態では、MPEG-4 AVCにおけるHRDのCPB規定におけるclock tick）等に基づき、符号化パラメータを設定する。

また、符号化パラメータ設定部１１０２は、上記条件１、及び第２の単位時間当たりのマクロブロック数ＮＭＢ２に対応する符号化レベルとしてレベル３．１を設定する。そして、この符号化レベル、及び第５の時間間隔ＴＱ５を、例えば、MPEG-4 AVCの”Supplemental enhancement information”に準じた形式で符号化パラメータの付随情報として設定する（Ｓ１２０４）。

符号化制御部１１０５は、所定のピクチャ時間間隔ＰＴで、符号化順に順次、ピクチャごとに算出した時刻として、現ピクチャのピクチャ復号時刻を設定する（Ｓ１２０５）。図３に示す例では、ピクチャＰ１の場合にピクチャ復号時刻を時刻ｔ１に設定する。以降、ピクチャＰ２の場合に時刻ｔ２を、ピクチャＰ３の場合に時刻ｔ３を、及びピクチャＰ４の場合に時刻ｔ４をそれぞれ設定する。なお、図３には描いていなが、ピクチャＰ５の場合に時刻ｔ５を、及びピクチャＰ６の場合に時刻ｔ６を設定する。

符号化制御部１１０５は、前ピクチャにおいて、後続するステップＳ１２１６で「次ピクチャのピクチャスキップ指示」が設定されている場合（Ｓ１２０６のＹ）、現ピクチャをピクチャスキップすると共に、次ピクチャのピクチャスキップ指示を解除して（Ｓ１２０７）、ステップＳ１２０５に戻る。

符号化制御部１１０５は、前ピクチャにおいて、後続するステップＳ１２１６で「次ピクチャのピクチャスキップ指示」が設定されていない場合（Ｓ１２０６のＮ）、すなわち、「次ピクチャのピクチャスキップ指示」が解除されている場合、ステップＳ１２０８に進む。

図３に示す例では、現ピクチャＰ５の前ピクチャＰ４の処理において、ステップＳ１２１６で「次ピクチャのピクチャスキップ指示」が設定されたため、ステップＳ１２０６からステップＳ１２０７に進み、ステップＳ１２０７でピクチャスキップされる。したがって、図３中にピクチャＰ５の表記はない。

符号化制御部１１０５は、現ピクチャの復号直前の仮想復号バッファ蓄積量を最大として、例えば、過去の仮想復号バッファ推移に基づきピクチャ目標符号量を算出する（Ｓ１２０８）。

図３では、ピクチャＰ１の復号時刻ｔ１直前の仮想復号バッファ蓄積量を矢印（細線）ｄｂ１の長さで、ピクチャＰ２の復号時刻ｔ２直前の仮想復号バッファ蓄積量を矢印（細線）ｄｂ２の長さで描いている。また、ピクチャＰ１の符号量を矢印（太線）Ｃ１の長さで、ピクチャＰ２の符号量を矢印（太線）Ｃ２の長さで描いている。なお、矢印（太線）が点線の場合、ピクチャ復号時刻変更前のピクチャを示し、矢印（太線）が実線の場合、ピクチャ復号時刻変更後のピクチャを示す。図３では、一連の復号処理を、各ピクチャを示す実線の矢印（太線）の上方向から下方向に進んでいき、一番下に到達すると、次の実線の矢印（太線）の一番上に遷移することにより描いている。

符号化制御部１１０５は、ピクチャＰ１の場合、仮想復号バッファ蓄積量ｄｂ１を最大としてピクチャ目標符号量を算出し、ピクチャＰ２の場合、仮想復号バッファ蓄積量ｄｂ２を最大としてピクチャ目標符号量を算出する。

符号化パラメータ設定部１１０２は、符号化パラメータを符号化するか否か判断する（Ｓ１２０９）。例えば、３０ピクチャごとに符号化パラメータを符号化すると判断し、それ以外のタイミングでは符号化しないと判断する。符号化パラメータを符号化すると判断した場合（Ｓ１２０９のＹ）、符号化パラメータ設定部１１０２は、符号化パラメータを符号化して（Ｓ１２１０）、その後、ステップＳ１２１１に進む。符号化パラメータを符号化しないと判断した場合（Ｓ１２０９のＮ）、ステップＳ１２１０をスキップし、ステップＳ１２１１に進む。

符号化部１１０３は、現ピクチャをブロック分割して、ステップＳ１２０８で設定されたピクチャ目標符号量に応じて、ピクチャ内符号化、もしくはピクチャ間符号化して、符号化ピクチャを生成する（Ｓ１２１１）。この際、ステップＳ１２０５で設定されたピクチャ復号時刻を、符号化ピクチャに付随する補助情報として符号化する。MPEG-4 AVCで規定する”Picture timing SEI message”に従い符号化する。

仮想復号バッファ演算部１１０４は、現ピクチャのピクチャ復号時刻において、ピクチャ復号直後の仮想復号バッファ蓄積量を演算する（Ｓ１２１２）。当該蓄積量が負ならば（Ｓ１２１２のＹ）、アンダーフロー発生と判断してステップＳ１２１３に進み、当該蓄積量がゼロ以上ならば（Ｓ１２１２のＮ）、アンダーフロー発生なしと判断して、ステップＳ１２１３〜Ｓ１２１６をスキップして、ステップＳ１２１７に進む。

図３では、ピクチャ復号時刻ｔ１におけるピクチャ復号直後の仮想復号バッファ蓄積量ｄａ１はゼロ以上なので、ピクチャＰ１にアンダーフローは発生しないと判断する。また、ピクチャ復号時刻ｔ２におけるピクチャ復号直後の仮想復号バッファ蓄積量ｄａ２は負であるため、ピクチャＰ２にはアンダーフローが発生すると判断する。

アンダーフローが発生した場合（Ｓ１２１２のＹ）、仮想復号バッファ演算部１１０４は、第１の時間間隔ＴＱ１刻みで、現ピクチャのピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻を、第１の時刻として設定する（Ｓ１２１３）。

図３において、ピクチャ復号時刻ｔ２においてアンダーフロー発生後、ピクチャＰ２のピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻は、時刻ｔ２．１である。したがって、ピクチャＰ２における第１の時刻を時刻ｔ２．１と設定する。同様に、ピクチャ復号時刻ｔ４においてアンダーフロー発生後、ピクチャＰ４のピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻は、時刻ｔ４．２である。したがって、ピクチャＰ４における第１の時刻を時刻ｔ４．２と設定する。

仮想復号バッファ演算部１１０４は、現ピクチャのピクチャ復号時刻から第１の時刻までの時間間隔を、第４の時間間隔ＴＱ４として算出する（Ｓ１２１４）。図３において、ピクチャＰ２の場合、現ピクチャのピクチャ復号時刻である時刻ｔ２から第１の時刻である時刻ｔ２．１までの時間間隔が第４の時間間隔ＴＱ４である。上記条件１に基づく場合、ピクチャＰ２における第４の時間間隔ＴＱ４（Ｐ２）は、下記（式２１）となる。
ＴＱ４（Ｐ２）＝ｔ２．１−ｔ２＝ＴＱ１＝１／１２０秒 ・・・（式２１）

同様に、ピクチャＰ４の場合、現ピクチャのピクチャ復号時刻ｔ４から第１の時刻である時刻ｔ４．２までの時間間隔が第４の時間間隔ＴＱ４である。上記条件１に基づく場合、ピクチャＰ４における第４の時間間隔ＴＱ４（Ｐ４）は、下記（式２２）となる。
ＴＱ４（Ｐ２）＝ｔ４．２−ｔ４＝２×ＴＱ１＝１／６０秒 ・・・（式２２）

符号化制御部１１０５は、第４の時間間隔ＴＱ４と第２の時間間隔ＴＱ２とを比較し（Ｓ１２１５）、前者が後者を超える場合（Ｓ１２１５のＮ）、ステップＳ１２１６に進み、前者が後者以下の場合（Ｓ１２１５のＹ）、ステップＳ１２１６をスキップして、ステップＳ１２１７に進む。

図３において、上記（式２１）、（式１６）から、ピクチャＰ２の第４の時間間隔ＴＱ４は１／１２０秒、及び第２の時間間隔ＴＱ２は１／１２０秒である。ピクチャＰ２の第４の時間間隔ＴＱ４は第２の時間間隔ＴＱ２以下であるため、ピクチャＰ２の場合、ステップＳ１２１７に進む。上記（式２２）、（式１６）から、ピクチャＰ４の第４の時間間隔ＴＱ４は１／６０秒、及び第２の時間間隔ＴＱ２は１／１２０秒である。ピクチャＰ４の第４の時間間隔ＴＱ４は第２の時間間隔ＴＱ２を超えるため、ピクチャＰ４の場合、ステップＳ１２１６に進む。

第４の時間間隔ＴＱ４が第２の時間間隔ＴＱ２を超える場合（Ｓ１２１５のＮ）、符号化制御部２１０５は、次ピクチャを符号化せずにピクチャスキップするように「次ピクチャのピクチャスキップ指示」を設定して（Ｓ１２１６）、ステップＳ１２１７に進む。図３では、ピクチャＰ４に、「次ピクチャのピクチャスキップ指示」を設定する。

符号化制御部１１０５は、動画像の符号化処理を終了するか否かを判定する（Ｓ１２１７）。例えば、外部からの符号化処理終了コマンドの入力により判断することができる。符号化を終了しない場合（Ｓ１２１７のＮ）、ステップＳ１２０５に戻り、符号化を終了する場合（Ｓ１２１７のＹ）、一連の処理を終了する。

図４は、実施の形態１に係る画像復号装置１４００の構成を示すブロック図である。画像復号装置１４００は、分離部１４０１、符号化パラメータ復号部１４０２、復号制御部１４０３、及びピクチャ復号部１４０4を備える。

分離部１４０１は、伝送されてくる符号化ストリームから符号化パラメータの符号化データの情報を分離して、符号化パラメータ復号部１４０２に出力し、その情報が分離された後の各符号化ピクチャをピクチャ復号部１４０４に出力する。当該符号化ストリームは、実施の形態１に係る画像符号化装置１１００により生成され、伝送されたものである。

符号化パラメータ復号部１４０２は、分離部１４０１から入力される符号化パラメータの情報を復号して、復号制御部１４０３に出力する。

復号制御部１４０３は、符号化パラメータ復号部１４０２から入力される符号化パラメータが示す、符号化プロファイル、符号化レベル、ピクチャ時間間隔、ピクチャサイズ、復号に必要なメモリ、ビットレート等を参照して、種々の符号化条件に適応して復号するようにピクチャ復号部１４０４を制御する。

復号制御部１４０３は、符号化パラメータが示す符号化プロファイル、及びMPEG-4 AVCの”Supplemental enhancement information”に準じた形式による符号化パラメータの付随情報から取得される第２の単位時間当たりのマクロブロック数ＮＭＢ２に基づく符号化レベルに応じて、入力された符号化ストリームが復号可能か否かを判定する。復号可能であれば、ピクチャ復号部１４０４に順次、符号化ピクチャを復号するよう制御し、復号可能でなければ、一連の処理を終了する。その際、復号不可である旨をユーザに画像表示してもよい。

上述したように、上記符号化レベルは、ピクチャ時間間隔ＰＴ、ピクチャサイズＰＳＺ、符号化で用いる最大ビットレート、及び第２の単位時間当たりのマクロブロック数ＮＭＢ２等に基づいている。

復号制御部１４０３は、ピクチャ復号部１４０４に対し、例えば、符号化プロファイルに準拠した符号化方式のサブセットに適応して復号するよう制御したり、符号化レベルに準拠したピクチャ当たりの最大マクロブロック数、単位時間当たりの最大マクロブロック数、最大ビットレート、及び復号に必要なメモリに適応して復号するよう制御したり、並びにピクチャ時間間隔ＰＴ、ピクチャサイズＰＳＺに適応して復号するよう制御したりする。

また、復号制御部１４０３は、ピクチャ復号部１４０４に対して、各ピクチャのピクチャ復号時刻を少なくとも第５の時間間隔ＴＱ５、遅延するよう制御する。

ピクチャ復号部１４０４は、所定の圧縮符号化規格（本実施の形態では、MPEG-4 AVC）に準拠し、復号制御部１４０３からの制御に従い、分離部１４０１から入力される各符号化ピクチャを逐次復号して動画像を出力する。その際、各ピクチャのピクチャ復号時刻を、少なくとも第５の時間間隔ＴＱ５、一律に遅延させた遅延ピクチャ復号時刻に従うタイミングで各符号化ピクチャを復号する。なお、当該ピクチャ復号時刻は、符号化パラメータに付随する補助情報（本実施の形態では、MPEG-4 AVCで規定するPicture timing SEI message）を復号して得ることができる。

また、ピクチャ復号時刻において符号化ピクチャの蓄積が不完全な場合、すなわち、符号化ピクチャの復号において、ピクチャ復号部１４０４内の入力段に含まれる符号バッファ１４０５がアンダーフローする場合、次のように処理する。すなわち、ピクチャ復号部１４０４は、ピクチャ復号時刻以降、符号化パラメータから得られるclock tickの時間間隔（本実施の形態では、第１の時間間隔ＴＱ１）ごとに、符号バッファ１４０５のアンダーフローが解消して符号化ピクチャの蓄積が完全か否か確認する。そして、符号化ピクチャの蓄積が完全となりしだい復号を開始する。

図５は、実施の形態１に係る画像復号装置１４００による復号処理を説明するためのフローチャートである。図６は、図３の符号化処理に対応する復号処理における、仮想復号バッファの蓄積量推移を示す図である。以下、図５、６を参照しながら実施の形態１に係る復号処理を説明する。

分離部１４０１は、入力される符号化ストリームから符号化パラメータを分離して符号化パラメータ復号部１４０２に出力し、符号化パラメータ復号部１４０２は、当該符号化パラメータを復号する（Ｓ１５０１）。

復号制御部１４０３は、復号された符号化パラメータが示す符号化プロファイル、及びMPEG-4 AVCの ”Supplemental enhancement information”に準じた形式による符号化パラメータの付随情報から得られる符号化レベルに適合して、入力される符号化ストリームが復号可能か否かを判定する（Ｓ１５０２）。復号可能な場合（Ｓ１５０２のＹ）、ステップＳ１５０３に進み、復号できない場合（Ｓ１５０２のＮ）、一連の処理を終了する。ここで、符号化レベルは、ピクチャ時間間隔ＰＴ、ピクチャサイズＰＳＺ、符号化で用いる最大ビットレート、及び第２の単位時間当たりのマクロブロック数ＮＭＢ２等に基づき、設定されている。

復号可能な符号化ストリームの場合（Ｓ１５０２のＹ）、復号制御部１４０３は、復号された符号化パラメータが示す種々の符号化条件に適応して復号するように復号条件を設定する（Ｓ１５０３）。次に、符号化パラメータ復号部１４０２は、各符号化ピクチャに付随する補助情報（本実施の形態では、MPEG-4 AVCで規定するPicture timing SEI message）からピクチャ復号時刻を示す情報を取得して、ピクチャ復号時刻を復号する（Ｓ１５０４）。

復号制御部１４０３は、復号されたピクチャ復号時刻を第５の時間間隔ＴＱ５だけ一律に遅延させた遅延ピクチャ復号時刻を設定する（Ｓ１５０５）。ピクチャ復号部１４０４は、符号化パラメータに基づき得られるclock tickの時間間隔（本実施の形態では、第１の時間間隔ＴＱ１）ごとに管理して、復号制御部１４０３により設定された遅延ピクチャ復号時刻となるまで待機する（Ｓ１５０６）。

復号制御部１４０３は、復号すべき符号化ピクチャの蓄積が完全か否かを判断する（Ｓ１５０７）。完全でない場合（Ｓ１５０７のＮ）、ピクチャ復号部１４０４は、符号化パラメータに基づき得られるclock tickの時間間隔（本実施の形態では、第１の時間間隔ＴＱ１）、待機して（Ｓ１５０８）、ステップＳ１５０７に戻る。符号化ピクチャの蓄積が完全な場合（Ｓ１５０７のＹ）、ピクチャ復号部１４０４は、符号化ピクチャを復号する（Ｓ１５０９）。

上記図３では、ピクチャ復号時刻ｔ２においてアンダーフロー発生後、ピクチャＰ２のピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻は、時刻ｔ２．１である。ピクチャＰ２の復号は、この時刻ｔ２．１で完了する。ピクチャＰ２の第４の時間間隔ＴＱ４（Ｐ２）は、ＴＱ４（Ｐ２）＝ＴＱ１≦ＴＱ２である。したがって、ピクチャサイズＰＳＺの符号化ピクチャを、第３の時間間隔ＴＱ３で復号するに必要な第１の単位時間当たりのマクロブロック数ＮＭＢ１以上で復号可能なら正常に復号できる。しかしながら、第１の単位時間当たりのマクロブロック数ＮＭＢ１に適合して復号できない場合は正常に復号できない。

これに対して、図６のように、ピクチャ復号時刻を第５の時間間隔ＴＱ５だけ一律に遅延させた遅延ピクチャ復号時刻を用いることにより、第２の単位時間当たりのマクロブロック数ＮＭＢ２以上で復号可能であれば正常に復号できる。第４の時間間隔ＴＱ４が第２の時間間隔ＴＱ２以下の場合、次ピクチャを所定のピクチャ時間間隔ＰＴに従うピクチャ復号時刻として符号化する場合であっても、第２の単位時間当たりのマクロブロック数ＮＭＢ２以上で復号可能であれば正常に復号できる。

図５に戻る。復号制御部１４０３は、終了コマンド（例えば、MPEG-4 AVCにおける”end of stream”）の検出の有無により、一連の復号をすべて終了するか否かを判定する（Ｓ１５１０）。一連の復号がすべて終了していない場合（Ｓ１５１０のＮ）、ステップＳ１５０４に戻る。終了コマンドが検出された場合（Ｓ１５１０のＹ）、一連の復号を終了する。

以上説明した実施の形態１に係る符号化では、第４の時間間隔ＴＱ４が第２の時間間隔ＴＱ２以下の場合に次ピクチャを符号化するように制御する例を説明した。この点、第１の時刻から次ピクチャのピクチャ復号時刻までの時間間隔を第４１の時間間隔ＴＱ４１とし、第４１の時間間隔ＴＱ４１が第３の時間間隔ＴＱ３以上の場合に次ピクチャを符号化するように制御してもよい。以下、より具体的に説明する。

図７は、実施の形態１の変形例に係る符号化処理を説明するためのフローチャートである。図７に示すフローチャートは、図２に示すフローチャートのステップＳ１２１４とＳ１２１５が異なる。図７に示すフローチャートでは、仮想復号バッファ演算部１１０４は、第１の時刻から、現ピクチャの次ピクチャのピクチャ復号時刻までの時間間隔を、第４１の時間間隔ＴＱ４１として算出する（Ｓ１２１４１）。符号化制御部１１０５は、第３の時間間隔ＴＱ３と第４１の時間間隔ＴＱ４１とを比較し（Ｓ１２１５１）、前者が後者を超える場合（Ｓ１２１５１のＮ）、ステップＳ１２１６に進み、前者が後者以下の場合（Ｓ１２１５１のＹ）、ステップＳ１２１６をスキップして、ステップＳ１２１７に進む。

図８は、実施の形態１の変形例に係る符号化処理における仮想復号バッファの蓄積量推移の一例を示す図である。図３と図８を比較すると、前者ではピクチャ復号時刻の遅延を、現ピクチャのピクチャ復号時刻を基準に規定し、後者は次ピクチャのピクチャ復号時刻を基準に規定したものである。

復号側が第１の単位時間当たりのマクロブロック数ＮＭＢ１で符号化ピクチャを復号可能なら、符号化ピクチャの付随情報から取得されるピクチャ復号時刻に従い復号することにより、低遅延化を図ることができる。また、第１の単位時間当たりのマクロブロック数ＮＭＢ１で符号化ピクチャを復号できなくても、第２の単位時間当たりのマクロブロック数ＮＭＢ２で復号可能なら、符号化ピクチャの付随情報から取得されるピクチャ復号時刻を第５の時間間隔ＴＱ５だけ一律に遅延させることにより、破綻なく正常に復号することができる。

以上説明したように実施の形態１によれば、所定のピクチャ時間間隔ＰＴ、所定のピクチャサイズＰＳＺにおける各ピクチャの符号化において、仮想復号バッファのアンダーフローが発生しても、ピクチャ復号時刻から第２の時間間隔ＴＱ２以内にアンダーフローが解消すれば、次ピクチャをピクチャスキップせずに符号化できる。第１の単位時間当たりのブロック数ＮＭＢ１を示す情報を符号化することにより、復号側が第１の単位時間当たりのブロックＮＭＢ１数以上で符号化ピクチャを復号できれば、復号側に、その符号化ストリームが復号可能であることを明示できる。

また、第５の時間間隔ＴＱ５を示す情報、及び第２の単位時間当たりのブロック数ＮＭＢ２を示す情報を符号化することで、復号側が第２の単位時間当たりのブロック数ＮＭＢ２以上で符号化ピクチャを復号できれば、ピクチャ復号時刻を第５の時間間隔ＴＱ５だけ遅延させることで、復号側に、その符号化ストリームが復号可能であることを明示できる。なお、実施の形態１において、第２の単位時間当たりのブロック数ＮＭＢ２に基づく符号化レベルを符号化パラメータの付随情報として設定するよう説明したが、第２の単位時間当たりのブロック数ＮＭＢ２を符号化してもよい。この場合、復号側では、第２の単位時間当たりのブロック数ＮＭＢ２で復号可能か否かを判断する。

さらに、第２の単位時間当たりのブロック数ＮＭＢ２以上で符号化ピクチャを復号可能ならば、ピクチャ復号時刻を第５の時間間隔ＴＱ５だけ遅延させることで、破綻なく正常に復号できる。これにより、次ピクチャをピクチャスキップせずに符号化することで画像欠落を抑制することができる。したがって、ピクチャスキップに起因するピクチャ間符号化における符号化効率低下、及び画質低下を抑制することができる。また、所定のピクチャ時間間隔ＰＴだけ遅延させる必要がないため、復号側の遅延を小さくすることができる。

このように、実施の形態１に係る画像符号化装置、及び画像復号装置よれば、第１の単位時間当たりのブロック数ＮＭＢ１以上で復号可能ならば遅延時間を短くして復号できる。また、第２の単位時間当たりのブロック数ＮＭＢ２以上でも復号可能とすることで復号対象の符号化ストリームを拡大できる。

（実施の形態２）
図９は、実施の形態２に係る画像符号化装置２１００の構成を示すブロック図である。画像符号化装置２１００は、時間間隔算出設定部２１０１、符号化パラメータ設定部２１０２、符号化部２１０３、仮想復号バッファ演算部２１０４、及び符号化制御部２１０５を備える。

時間間隔算出設定部２１０１には、所定のピクチャ時間間隔ＰＴの１／Ｎ（Ｎは２以上の整数）である第１の時間間隔ＴＱ１と、所定のピクチャ時間間隔ＰＴのＭ／Ｎ（ＭはＭ＜Ｎである整数）である第２の時間間隔ＴＱ２が入力される。時間間隔算出設定部２１０１は、所定のピクチャ時間間隔ＰＴと第２の時間間隔ＴＱ２との差分を算出して、第３の時間間隔ＴＱ３を設定する。それとともに、第２の時間間隔ＴＱ２をもとに第６の時間間隔ＴＱ６（ＴＱ２≦ＴＱ６＜ＰＴ）を設定する。そして、時間間隔算出設定部２１０１は、第１の時間間隔ＴＱ１、第２の時間間隔ＴＱ２、第３の時間間隔ＴＱ３、及び第６の時間間隔ＴＱ６を符号化パラメータ設定部２１０２、仮想復号バッファ演算部２１０４、及び符号化制御部２１０５にそれぞれ出力する。

第１の時間間隔ＴＱ１は、仮想復号バッファの動作時間単位であり、MPEG-4 AVCのHRDのCPB規定におけるclock tickが用いられる。第２の時間間隔ＴＱ２、及び第６の時間間隔ＴＱ６は、符号化側、及び復号側の符号バッファの容量やその他の仕様に応じて、設計者により設定される値である。

図９では、第１の時間間隔ＴＱ１と第２の時間間隔ＴＱ２が外部から直接的に時間間隔算出設定部２１０１に入力される例を描いているが、その代わりにＮとＭが入力されてもよい。その場合、時間間隔算出設定部２１０１は、所定のピクチャ時間間隔ＰＴを１／Ｎして第１の時間間隔ＴＱ１を設定し、所定のピクチャ時間間隔ＰＴをＭ／Ｎして第２の時間間隔ＴＱ２を設定する。

第６の時間間隔ＴＱ６は、第２の時間間隔ＴＱ２以上であればよい。仮想復号バッファにおいてピクチャ復号時刻を第６の時間間隔ＴＱ６遅延させた場合、仮想復号バッファのその時点における蓄積量が増加する。その最大増加量は、符号化における最大ビットレートと第６の時間間隔ＴＱ６の積で求められる。この最大増加量は、例えば次のように利用することができる。すなわち、符号化パラメータで示される仮想復号バッファの大きさより当該最大増加量分だけ小さい値を用いて符号化制御する。これにより、復号においてピクチャ復号時刻を第６の時間間隔ＴＱ６遅延させた際の、復号側の入力段に設けられる符号バッファのオーバーフローを防ぐことができる。また、復号側において、仮想復号バッファの最大増加量分を考慮して当該符号バッファの容量を確保できれば、最大増加量分だけ小さい値を用いる必要はない。

符号化パラメータ設定部２１０２には、時間間隔算出設定部２１０１から第１の時間間隔ＴＱ１、第２の時間間隔ＴＱ２、及び第３の時間間隔ＴＱ３が入力される。符号化パラメータ設定部２１０２は、第３の時間間隔ＴＱ３で復号可能な、所定のピクチャサイズのマクロブロック数から求められる単位時間当たりのマクロブロック数以上の値を、第１の単位時間当たりのブロック数ＮＭＢ１に設定する。また、所定のピクチャ時間間隔ＰＴで復号可能な、所定のピクチャサイズのマクロブロック数から求められる単位時間当たりのマクロブロック数の値を、第２の単位時間当たりのブロック数ＮＭＢ２を設定する。

次に、符号化パラメータ設定部２１０２は、符号化で用いる符号化方式のサブセット条件により符号化プロファイルを設定する。それと共に、ピクチャ時間間隔ＰＴ、ピクチャサイズＰＳＺ、符号化で用いる最大ビットレート、第２の単位時間当たりのマクロブロック数ＮＭＢ２に基づき符号化レベルを設定する。

そして、符号化パラメータ設定部２１０２は、当該符号化プロファイル、当該符号化レベル、当該ピクチャサイズＰＳＺ、当該最大ビットレート、及び第１の時間間隔ＴＱ１（本実施の形態では、MPEG-4 AVCにおけるHRDのCPB規定におけるclock tick）等に基づき、MPEG-4 AVCで規定する”Sequence Parameter Set”に従い符号化パラメータを設定し、符号化部２１０３に出力する。

また、符号化パラメータ設定部２１０２は、MPEG-4 AVCの”Supplemental enhancement information”に準じた形式で符号化パラメータの付随情報として、ピクチャ時間間隔ＰＴ、ピクチャサイズＰＳＺ、符号化で用いる最大ビットレート、及び第１の単位時間当たりのマクロブロック数ＮＭＢ１等に基づく符号化レベルを示す情報、及び第６の時間間隔ＴＱ６を示す情報を設定し、符号化部２１０３に出力する。

符号化部２１０３は、符号化パラメータ設定部２１０２から入力される符号化パラメータを所定のピクチャ数（例えば、３０ピクチャ）ごとに、そのピクチャ群の符号化の直前に符号化する。

また、符号化部２１０３は、所定の圧縮符号化規格（本実施の形態では、MPEG-4 AVC）に準拠し、外部から入力される動画像を構成する各画像をブロック分割してピクチャ内符号化、もしくはピクチャ間符号化して、動画像を圧縮符号化する。その際、符号化部２１０３は、符号化制御部２１０５から入力されるピクチャ復号時刻、及びピクチャ目標符号量に従い、各ピクチャを符号化する。

この際、仮想復号バッファ演算で用いるピクチャ復号時刻を第６の時間間隔ＴＱ６だけ遅延させた遅延ピクチャ復号時刻を、符号化ピクチャに付随する補助情報として符号化する。MPEG-4 AVCで規定する”Picture timing SEI message”に従って符号化する。

また、符号化部２１０３は、符号化制御部２１０５からピクチャスキップの指示があった場合、その対象ピクチャを符号化せずにピクチャスキップする。符号化部２１０３は、ピクチャ符号化の処理結果として、各ピクチャのピクチャ復号時刻とピクチャ符号量を、仮想復号バッファ演算部２１０４に出力する。

符号化部２１０３により符号化された符号化ストリームは、図示しない伝送路を介して後述する画像復号装置に伝送される。

仮想復号バッファ演算部２１０４は、符号化部２１０３から入力される各ピクチャのピクチャ復号時刻とピクチャ符号量に基づき、仮想復号バッファの蓄積量の推移を演算し、符号化制御部２１０５に出力する。本実施の形態では、仮想復号バッファの蓄積量の推移は、MPEG-4 AVCにおけるHRDのCPB規定に従い演算する。

符号化制御部２１０５は、所定のピクチャ時間間隔ＰＴに基づき、符号化順に各ピクチャのピクチャ復号時刻を算出する。また、仮想復号バッファ演算部２１０４から入力される、各時刻における仮想復号バッファの蓄積量に基づき、各ピクチャの目標符号量を算出する。符号化制御部２１０５は、算出した各ピクチャの復号時刻と目標符号量を符号化部２１０３に出力し、ピクチャ符号化を指示する。また、符号化制御部２１０５は、仮想復号バッファ演算部２１０４から入力される仮想復号バッファの蓄積量の推移に基づき、次ピクチャをスキップすべきと判断した場合、符号化部２１０３にピクチャスキップを指示する。

図１０は、実施の形態２に係る画像符号化装置２１００による符号化処理を説明するためのフローチャートである。図１１は、実施の形態２に係る符号化処理における仮想復号バッファの蓄積量推移の第１例を示す図である。図１２は、実施の形態２に係る符号化処理における仮想復号バッファの蓄積量推移の第２例を示す図である。以下、図１０〜１２を参照しながら実施の形態２に係る画像符号化装置２１００の動作例を説明する。

第１の時間間隔ＴＱ１と第２の時間間隔ＴＱ２が時間間隔算出設定部２１０１に設定される（Ｓ２２０１）。本実施の形態では、第１の時間間隔ＴＱ１は、仮想復号バッファの動作時間単位であり、MPEG-4 AVCにおけるHRDのCPB規定で用いるclock tickが用いられる。
ＴＱ１＝ＰＴ×１／Ｎ ・・・（式２３）
ＴＱ２＝ＰＴ×Ｍ／Ｎ ・・・（式２４）
ここで、Ｎは２以上の整数、ＭはＭ＜Ｎの整数である。

本動作例では、Ｎ、Ｍを下記（式２５）、（式２６）と定義する。
Ｎ＝４ ・・・（式２５）
Ｍ＝１ ・・・（式２６）

本動作例では、仮想復号バッファはピクチャ時間間隔ＰＴの１／４である第１の時間間隔ＴＱ１を単位時間として動作する。また、図９では時刻を、小数点を用いて時刻ｔ１、時刻ｔ１．１、時刻ｔ１．２、及び時刻ｔ１．３のように表す。時刻の整数部はピクチャ時間間隔ＰＴを単位とし、その小数部は、第１の時間間隔ＴＱ１を単位とする。本動作例では、Ｎ＝４であるため、小数部を４進法で扱う。すなわち、下記（式２７）〜（式３１）のようになる。
時刻ｔ１＝時刻（ｔ１＋０×ＴＱ１） ・・・（式２７）
時刻ｔ１．１＝時刻（ｔ１＋１×ＴＱ１） ・・・（式２８）
時刻ｔ１．２＝時刻（ｔ１＋２×ＴＱ１） ・・・（式２９）
時刻ｔ１．３＝時刻（ｔ１＋３×ＴＱ１） ・・・（式３０）
時刻ｔ１．４＝時刻（ｔ１＋４×ＴＱ１）＝時刻（ｔ１＋ＰＴ）＝時刻ｔ２ ・・・（式３１）

時間間隔算出設定部２１０１は、所定のピクチャ時間間隔ＰＴと第２の時間間隔ＴＱ２との差分を算出して、第３の時間間隔ＴＱ３とする。また、第２の時間間隔ＴＱ２を第６の時間間隔ＴＱ６として設定する（Ｓ２２０２）。
ＴＱ３＝ＰＴ−ＴＱ２ ・・・（式３２）
ＴＱ６＝ＴＱ２ ・・・（式３３）

符号化パラメータ設定部２１０２は、第１の単位時間当たりのマクロブロック数ＮＭＢ１を、所定の符号化ピクチャサイズのマクロブロック数ＰＮＭＢ、及び第３の時間間隔ＴＱ３から求められる単位時間当たりのマクロブロック数以上に設定する。また、第２の単位時間当たりのマクロブロック数ＮＭＢ２を、所定の符号化ピクチャサイズのマクロブロック数ＰＮＭＢ、及び所定のピクチャ時間間隔ＰＴから求められる単位時間当たりのマクロブロック数に設定する（Ｓ２２０３）。本動作例では、単位時間を１秒に設定している。
ＮＭＢ１≧ＰＮＭＢ／ＴＱ３ ・・・（式３４）
ＮＭＢ２＝ＰＮＭＢ／ＰＴ ・・・（式３５）

次に、符号化パラメータ設定部２１０２は、符号化で用いる符号化方式のサブセット条件により符号化プロファイルを設定すると共に、ピクチャ時間間隔ＰＴ、符号化ピクチャサイズＰＳＺ、ビットレート、及び第２の単位時間当たりのマクロブロック数ＮＭＢ２を符号化する際の単位時間当たりの最大マクロブロック数に基づき、符号化レベルを設定する。

次に、符号化パラメータ設定部２１０２は、当該符号化プロファイル、当該符号化レベル、当該符号化ピクチャサイズＰＳＺ、当該ビットレート、及び第１の時間間隔ＴＱ１（本実施の形態では、MPEG-4 AVCにおけるHRDのCPB規定におけるclock tick）等に基づき、符号化パラメータを設定する。また、第１の単位時間当たりのマクロブロック数ＮＭＢ１に基づく符号化レベル、及び第６の時間間隔ＴＱ６を、例えば、MPEG-4 AVCの”Supplemental enhancement information”に準じた形式で符号化パラメータの付随情報として設定する（Ｓ２２０４）。

以下、下記条件２で符号化する場合について説明する。
（条件２）
ピクチャレート： ３０Ｈｚ
ピクチャサイズ： １２８０×７２０
符号化方式： ＭＰＥＧ−４ ＡＶＣ
プロファイル： ベースラインプロファイル
ビットレート： １４Ｍｂｐｓ（ＶＣＬ基準）

上記（式２５）、（式２６）、及び上記条件２を前提とすると、ピクチャ時間間隔ＰＴ、第１の時間間隔ＴＱ１、第２の時間間隔ＴＱ２、第３の時間間隔ＴＱ３、及び第６の時間間隔ＴＱ６は、下記（式３６）〜（式４０）のように算出される。
ＰＴ＝１／３０秒 ・・・（式３６）
ＴＱ１＝１／３０×１／４＝１／１２０秒 ・・・（式３７）
ＴＱ２＝１／１２０×１＝１／１２０秒 ・・・（式３８）
ＴＱ３＝（１／３０）−１／１２０＝１／４０秒 ・・・（式３９）
ＴＱ６＝ＴＱ２＝１／１２０秒 ・・・（式４０）

上記条件２のピクチャサイズから画面当たりのマクロブロック数は３６００である。所定の符号化ピクチャサイズのマクロブロック数ＰＮＭＢ、及び第３の時間間隔ＴＱ３から求められる第１の単位時間当たりのマクロブロック数ＮＭＢ１は、下記（式４１）になる。ここでは、第１の単位時間当たりのマクロブロック数ＮＭＢ１を、求められるマクロブロック数と等しい値に設定している。
ＮＭＢ１＝３６００／（１／４０）＝毎秒１４４０００マクロブロック ・・・（式４１）

また、所定の符号化ピクチャサイズのマクロブロック数ＰＮＭＢ、及び所定のピクチャ時間間隔ＰＴから求められる、第２の単位時間当たりのマクロブロック数ＮＭＢ２は、下記（式４２）になる。
ＮＭＢ２＝３６００／（１／３０）＝毎秒１０８０００マクロブロック ・・・（式４２）

以上から、符号化パラメータ設定部２１０２は、上記条件２、及び第２の単位時間当たりのマクロブロック数ＮＭＢ２に対応する符号化レベルとしてレベル３．１を設定する。そして、符号化パラメータ設定部２１０２は、符号化プロファイル、符号化レベル、符号化ピクチャサイズＰＳＺ、ビットレート、及び第１の時間間隔ＴＱ１（本実施の形態では、MPEG-4 AVCにおけるHRDのCPB規定におけるclock tick）等に基づき、符号化パラメータを設定する。

また、符号化パラメータ設定部２１０２は、条件２、及び第１の単位時間当たりのマクロブロック数ＮＭＢ１に対応する符号化レベルとしてレベル３．２、及び第６の時間間隔ＴＱ６を、MPEG-4 AVCの”Supplemental enhancement information”に準じた形式で符号化パラメータの付随情報として設定する（ステップＳ２２０４）。

符号化制御部２１０５は、所定のピクチャ時間間隔ＰＴで、符号化順に順次、ピクチャごとに算出した時刻として、現ピクチャのピクチャ復号時刻を設定する（Ｓ２２０５）。図１１に示す例では、ピクチャＰ１の場合にピクチャ復号時刻を時刻ｔ１に設定する。以降、ピクチャＰ２の場合に時刻ｔ２を、ピクチャＰ３の場合に時刻ｔ３を、及びピクチャＰ４の場合に時刻ｔ４をそれぞれ設定する。なお、図１１には描いていなが、ピクチャＰ５の場合に時刻ｔ５を、及びピクチャＰ６の場合に時刻ｔ６を設定する。

符号化制御部２１０５は、前ピクチャにおいて、後続するステップＳ２２１６で「次ピクチャのピクチャスキップ指示」が設定されている場合（Ｓ２２０６のＹ）、現ピクチャをピクチャスキップすると共に、次ピクチャのピクチャスキップ指示を解除して（Ｓ２２０７）、ステップＳ２２０５に戻る。

符号化制御部２１０５は、前ピクチャにおいて、後続するステップＳ２２１６で「次ピクチャのピクチャスキップ指示」が設定されていない場合（Ｓ２２０６のＮ）、すなわち、「次ピクチャのピクチャスキップ指示」が解除されている場合、ステップＳ２２０８に進む。

図１１に示す例では、現ピクチャＰ５の前ピクチャＰ４の処理において、ステップＳ２２１６で「次ピクチャのピクチャスキップ指示」が設定されたため、ステップＳ２２０６からステップＳ２２０７に進み、ステップＳ２２０７でピクチャスキップされる。したがって、図１１中にピクチャＰ５の表記はない。

符号化制御部２１０５は、現ピクチャの復号直前の仮想復号バッファ蓄積量を最大として、例えば、過去の仮想復号バッファ推移に基づきピクチャ目標符号量を算出する（Ｓ２２０８）。

図１１では、ピクチャＰ１のピクチャ復号時刻ｔ１直前の仮想復号バッファ蓄積量はｄｂ１であり、ピクチャＰ２のピクチャ復号時刻ｔ２直前の仮想復号バッファ蓄積量はｄｂ２である。ピクチャＰ１の場合、仮想復号バッファ蓄積量ｄｂ１を最大として目標符号量を算出する。ピクチャＰ２の場合、仮想復号バッファ蓄積量ｄｂ２を最大としてピクチャ目標符号量を算出する。

符号化パラメータ設定部２１０２は、符号化パラメータを符号化するか否か判断する（Ｓ２２０９）。例えば、３０ピクチャごとに符号化パラメータを符号化すると判断し、それ以外のタイミングでは符号化しないと判断する。符号化パラメータを符号化すると判断した場合（Ｓ２２０９のＹ）、符号化パラメータ設定部２１０２は、符号化パラメータを符号化して（Ｓ２２１０）、その後、ステップＳ２２１１に進む。符号化パラメータを符号化しないと判断した場合（Ｓ２２０９のＮ）、ステップＳ２２１０をスキップし、ステップＳ２２１１に進む。

符号化部２１０３は、現ピクチャをブロック分割して、ステップＳ２２０８で設定されたピクチャ目標符号量に応じて、ピクチャ内符号化、もしくはピクチャ間符号化して、符号化ピクチャを生成する（Ｓ２２１１）。この際、ステップＳ２２０５で設定されたピクチャ復号時刻を第６の時間間隔ＴＱ６だけ一律に遅延させたピクチャ復号時刻を、符号化ピクチャに付随する補助情報として符号化する。MPEG-4 AVCで規定する”Picture timing SEI message”に従い符号化する。

仮想復号バッファ演算部２１０４は、現ピクチャのピクチャ復号時刻において、ピクチャ復号直後の仮想復号バッファ蓄積量を演算する（Ｓ２２１２）。当該蓄積量が負ならば（Ｓ２２１２のＹ）、アンダーフロー発生と判断してステップＳ２２１３に進み、当該蓄積量がゼロ以上ならば（Ｓ２２１２のＮ）、アンダーフロー発生なしと判断して、ステップＳ２２１３〜Ｓ２２１６をスキップして、ステップＳ２２１７に進む。

図１１では、ピクチャ復号時刻ｔ１におけるピクチャ復号直後の仮想復号バッファ蓄積量ｄａ１はゼロ以上なので、ピクチャＰ１にアンダーフローは発生しないと判断する。また、ピクチャ復号時刻ｔ２におけるピクチャ復号直後の仮想復号バッファ蓄積量ｄａ２は負であるため、ピクチャＰ２にはアンダーフローが発生すると判断する。

アンダーフローが発生した場合（Ｓ２２１２のＹ）、仮想復号バッファ演算部２１０４は、第１の時間間隔ＴＱ１刻みで、現ピクチャのピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻を、第１の時刻として設定する（Ｓ２２１３）。

図１１において、ピクチャ復号時刻ｔ２においてアンダーフロー発生後、ピクチャＰ２のピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻は、時刻ｔ２．１である。したがって、ピクチャＰ２における第１の時刻を時刻ｔ２．１と設定する。同様に、ピクチャ復号時刻ｔ４においてアンダーフロー発生後、ピクチャＰ４のピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻は、時刻ｔ４．２である。したがって、ピクチャＰ４における第１の時刻を時刻ｔ４．２と設定する。

仮想復号バッファ演算部２１０４は、現ピクチャのピクチャ復号時刻から第１の時刻までの時間間隔を、第４の時間間隔ＴＱ４として算出する（Ｓ２２１４）。図１１において、ピクチャＰ２の場合、現ピクチャのピクチャ復号時刻である時刻ｔ２から第１の時刻である時刻ｔ２．１までの時間間隔が第４の時間間隔ＴＱ４である。上記条件２に基づく場合、ピクチャＰ２における第４の時間間隔ＴＱ４（Ｐ２）は、下記（式４３）となる。
ＴＱ４（Ｐ２）＝ｔ２．１−ｔ２＝ＴＱ１＝１／１２０秒 ・・・（式４３）

同様に、ピクチャＰ４の場合、現ピクチャのピクチャ復号時刻ｔ４から第１の時刻である時刻ｔ４．２までの時間間隔が第４の時間間隔ＴＱ４である。上記条件２に基づく場合、ピクチャＰ４における第４の時間間隔ＴＱ４（Ｐ４）は、下記（式４４）となる。
ＴＱ４（Ｐ２）＝ｔ４．２−ｔ４＝２×ＴＱ１＝１／６０秒 ・・・（式４４）

符号化制御部２１０５は、第４の時間間隔ＴＱ４と第２の時間間隔ＴＱ２とを比較し（Ｓ２２１５）、前者が後者を超える場合（Ｓ２２１５のＮ）、ステップＳ２２１６に進み、前者が後者以下の場合（Ｓ２２１５のＹ）、ステップＳ２２１６をスキップして、ステップＳ２２１７に進む。

図１１において、上記（式４３）、（式３８）から、ピクチャＰ２の第４の時間間隔ＴＱ４は１／１２０秒、及び第２の時間間隔ＴＱ２は１／１２０秒である。ピクチャＰ２の第４の時間間隔ＴＱ４は第２の時間間隔ＴＱ２以下であるため、ピクチャＰ２の場合、ステップＳ２２１７に進む。上記（式４４）、（式３８）から、ピクチャＰ４の第４の時間間隔ＴＱ４は１／６０秒、及び第２の時間間隔ＴＱ２は１／１２０秒である。ピクチャＰ４の第４の時間間隔ＴＱ４は第２の時間間隔ＴＱ２を超えるため、ピクチャＰ４の場合、ステップＳ２２１６に進む。

第４の時間間隔ＴＱ４が第２の時間間隔ＴＱ２を超える場合（Ｓ２２１５のＮ）、符号化制御部２１０５は、次ピクチャを符号化せずにピクチャスキップするように「次ピクチャのピクチャスキップ指示」を設定して（Ｓ２２１６）、ステップＳ２２１７に進む。図１１では、ピクチャＰ４に、「次ピクチャのピクチャスキップ指示」を設定する。

符号化制御部２１０５は、動画像の符号化処理を終了するか否かを判定する（Ｓ２２１７）。例えば、外部からの符号化処理終了コマンドの入力により判断することができる。符号化を終了しない場合（Ｓ２２１７のＮ）、ステップＳ２２０５に戻り、符号化を終了する場合（Ｓ２２１７のＹ）、一連の処理を終了する。

図１２は、図１１のステップＳ２２１１において符号化ピクチャの付随情報として符号化したピクチャ復号時刻を、第６の時間間隔ＴＱ６だけ一律に遅延させた遅延ピクチャ復号時刻を用いた場合の、仮想復号バッファの蓄積量推移を示す図である。

図１１では、ピクチャ復号時刻ｔ２においてアンダーフロー発生後、ピクチャＰ２のピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻ｔ２．１で復号が完了する。ピクチャＰ２における第４の時間間隔ＴＱ４（Ｐ２）は、ＴＱ４（Ｐ２）＝ＴＱ１≦ＴＱ２であるため、所定のピクチャサイズＰＳＺの符号化ピクチャを第３の時間間隔ＴＱ３で復号するに必要な、第１の単位時間当たりのマクロブロック数ＮＭＢ１に適合して復号可能ならば、正常に復号できる。

しかしながら、ピクチャサイズＰＳＺの符号化ピクチャを所定のピクチャ間隔ＰＴで復号するに必要な第２の単位時間当たりのマクロブロック数ＮＭＢ２に適合して復号可能ではあるが、第１の単位時間当たりのマクロブロック数ＮＭＢ１に適合して復号できない場合、正常に復号できない。

これに対して、図１２に示すように符号化ピクチャの付随情報であるピクチャ復号時刻を、第６の時間間隔ＴＱ６だけ一律に遅延させた遅延ピクチャ復号時刻を、復号する際のピクチャ復号時刻として用いることで、第２の単位時間当たりのマクロブロック数ＮＭＢ２に適合して復号可能であれば、正常に復号できる。例えば、実施の形態２に係る符号化において、アンダーフローが発生したが、第４の時間間隔ＴＱ４が第２の時間間隔ＴＱ２以下の場合、次ピクチャを所定のピクチャ時間間隔ＰＴに従うピクチャ復号時刻で復号すれば、正常に復号できる。

実施の形態２に係る画像符号化装置２１００により符号化された符号化ストリームは、既存の画像復号装置でも、MPEG-4 AVCで規定する”Sequence Parameter Set”に従う符号化パラメータ中の符号化プロファイル、符号化レベルの条件に適合していれば、復号することができる。ここでは、既存の画像復号装置ではなく、別の形態に係る画像復号装置（実施の形態２に係る画像復号装置）について説明する。

図１３は、実施の形態２に係る画像復号装置２５００の構成を示すブロック図である。画像復号装置２５００は、分離部２５０１、符号化パラメータ復号部２５０２、復号制御部２５０３、及びピクチャ復号部２５０4を備える。

分離部２５０１は、伝送されてくる符号化ストリームから符号化パラメータの情報を分離して、符号化パラメータ復号部２５０２に出力し、その情報が分離された後の各符号化ピクチャをピクチャ復号部２５０４に出力する。当該符号化ストリームは、実施の形態２に係る画像符号化装置２１００により生成され、伝送されたものである。

符号化パラメータ復号部２５０２は、分離部２５０１から入力される符号化パラメータの情報を復号して、復号制御部２５０３に出力する。

復号制御部２５０３は、符号化パラメータ復号部２５０２から入力される符号化パラメータが示す、符号化プロファイル、符号化レベル、ピクチャ時間間隔、ピクチャサイズ、復号に必要なメモリ、ビットレート等を参照して、種々の符号化条件に適応して復号するようにピクチャ復号部２５０４を制御する。

復号制御部２５０３は、符号化パラメータが示す符号化プロファイルと符号化レベルに適合して、入力された符号化ストリームが復号可能か否かを判定する。復号可能であれば、ピクチャ復号部２５０４に順次、符号化ピクチャを復号するよう制御し、復号可能でなければ、一連の処理を終了する。その際、復号不可である旨をユーザに画像表示してもよい。

復号制御部２５０３は、ピクチャ復号部２５０４に対し、例えば、符号化プロファイルに準拠した符号化方式のサブセットに適応して復号するよう制御したり、符号化レベルに準拠したピクチャ当たりの最大マクロブロック数、単位時間当たりの最大マクロブロック数、最大ビットレート、及び復号に必要なメモリに適応して復号するよう制御したり、並びにピクチャ時間間隔ＰＴ、ピクチャサイズＰＳＺに適応して復号するよう制御したりする。

また、復号制御部２５０３は、MPEG-4 AVCの”Supplemental enhancement information”に準じた形式による符号化パラメータの付随情報から取得される第１の単位時間当たりのマクロブロック数ＮＭＢ１に基づく符号化レベルに応じて、入力された符号化ストリームが復号可能か否かを判定する。復号可能であれば、ピクチャ復号部２５０４に対して、各ピクチャのピクチャ復号時刻を、最大で第６の時間間隔ＴＱ６、早めるよう制御する。復号可能でなければ、各ピクチャのピクチャ復号時刻に従うよう制御する。

ピクチャ復号部２５０４は、所定の圧縮符号化規格（本実施の形態では、MPEG-4 AVC）に準拠し、復号制御部２５０３からの制御に従い、分離部２５０１から入力される各符号化ピクチャを逐次復号して動画像を出力する。その際、復号制御部２５０３からの制御に応じて、各ピクチャのピクチャ復号時刻を最大で第６の時間間隔ＴＱ６、一律に早めた繰上ピクチャ復号時刻に従うタイミングで、もしくは、各ピクチャのピクチャ復号時刻に従うタイミングで、逐次復号して動画像を出力する。

また、ピクチャ復号時刻において符号化ピクチャの蓄積が不完全な場合、すなわち、符号化ピクチャの復号において、ピクチャ復号部２５０４内の入力段に含まれる符号バッファ２５０５がアンダーフローする場合、次のように処理する。すなわち、ピクチャ復号部２５０４は、ピクチャ復号時刻以降、符号化パラメータから得られるclock tickの時間間隔（本実施の形態では、第１の時間間隔ＴＱ１）ごとに、符号バッファ２５０５のアンダーフローが解消して符号化ピクチャの蓄積が完全か否か確認する。そして、符号化ピクチャの蓄積が完全となりしだい復号を開始する。

図１４は、実施の形態２に係る画像復号装置２５００による復号処理を説明するためのフローチャートである。分離部２５０１は、入力される符号化ストリームから符号化パラメータを分離して符号化パラメータ復号部２５０２に出力し、符号化パラメータ復号部２５０２は、当該符号化パラメータを復号する（Ｓ２６０１）。

復号制御部２５０３は、復号された符号化パラメータが示す符号化プロファイルと符号化レベル、及びMPEG-4 AVC ”Supplemental enhancement information”に準じた形式による符号化パラメータの付随情報から得られる第１の単位時間当たりのマクロブロック数ＮＭＢ１に基づく符号化レベルに適合して、入力された符号化ストリームが復号可能か否かを判定する（Ｓ２６０２）。復号可能な場合（Ｓ２６０２のＹ）、ステップＳ２６０３に進み、復号できない場合（Ｓ２６０２のＮ）、一連の処理を終了する。

復号可能な符号化ストリームピクチャの場合（Ｓ２６０２のＹ）、復号制御部２５０３は、復号された符号化パラメータが示す種々の符号化条件に適応して復号するように復号条件を設定する（Ｓ２６０３）。次に、符号化パラメータ復号部２５０２は、各符号化ピクチャに付随する補助情報（本実施の形態では、MPEG-4 AVCで規定するPicture timing SEI message）からピクチャ復号時刻を示す情報を取得して、ピクチャ復号時刻を復号する（Ｓ２６０４）。

復号制御部２５０３は、復号されたピクチャ復号時刻を第６の時間間隔ＴＱ６だけ一律に早めた繰上ピクチャ復号時刻を設定する（Ｓ２６０５）。ピクチャ復号部２５０４は、符号化パラメータに基づき得られるclock tickの時間間隔（本実施の形態では、第１の時間間隔ＴＱ１）ごとに管理して、復号制御部２５０３により設定された繰上ピクチャ復号時刻となるまで待機する（Ｓ２６０６）。

復号制御部２５０３は、復号すべき符号化ピクチャの蓄積が完全か否かを判断する（Ｓ２６０７）。完全でない場合（Ｓ２６０７のＮ）、ピクチャ復号部２５０４は、符号化パラメータに基づき得られるclock tickの時間間隔（本実施の形態では、第１の時間間隔ＴＱ１）、待機して（Ｓ２６０８）、ステップＳ２６０７に戻る。符号化ピクチャの蓄積が完全な場合（Ｓ２６０７のＹ）、ピクチャ復号部２５０４は、符号化ピクチャを復号する（Ｓ２６０９）。

実施の形態２に係る符号化において、各符号化ピクチャに付随する補助情報からピクチャ復号時刻は、第６の時間間隔ＴＱ６だけ一律に遅延させた遅延ピクチャ復号時刻であり、この遅延ピクチャ復号時刻に基づく仮想復号バッファの推移は、上記図１２のようになる。これに対して、符号化ピクチャに付随する補助情報からピクチャ復号時刻を第６の時間間隔ＴＱ６だけ一律に早めることで仮想復号バッファの推移は、上記図１１のようになる。

上記図１１において、ピクチャ復号時刻ｔ２においてアンダーフロー発生後、ピクチャＰ２のピクチャ復号直後の仮想復号バッファ蓄積量がゼロ以上となる最初の時刻ｔ２．１で復号が完了する。ピクチャＰ２における第４の時間間隔ＴＱ４（Ｐ２）は、ＴＱ４（Ｐ２）＝ＴＱ１≦ＴＱ２であるため、所定のピクチャサイズＰＳＺの符号化ピクチャを第３の時間間隔ＴＱ３で復号するに必要な、第１の単位時間当たりのマクロブロック数ＮＭＢ１に適合して復号可能なら正常に復号できる。

図１４に戻る。復号制御部２５０３は、終了コマンド（例えば、MPEG-4 AVCにおける”end of stream”）の検出の有無により、一連の復号をすべて終了するか否かを判定する（Ｓ２６１０）。一連の復号がすべて終了していない場合（Ｓ２６１０のＮ）、ステップＳ２６０４に戻る。終了コマンドが検出された場合（Ｓ２６１０のＹ）、一連の復号を終了する。

以上説明した実施の形態２に係る符号化では、第４の時間間隔ＴＱ４が第２の時間間隔ＴＱ２以下の場合に次ピクチャを符号化するように制御する例を説明した。この点、第１の時刻から次ピクチャのピクチャ復号時刻までの時間間隔を第４１の時間間隔ＴＱ４１とし、第４１の時間間隔ＴＱ４１が第３の時間間隔ＴＱ３以上の場合に次ピクチャを符号化するように制御してもよい。以下、より具体的に説明する。

図１５は、実施の形態２の変形例に係る符号化処理を説明するためのフローチャートである。図１５に示すフローチャートは、図１０に示すフローチャートのステップＳ２２１４とＳ２２１５が異なる。図１５に示すフローチャートでは、仮想復号バッファ演算部２１０４は、第１の時刻から、現ピクチャの次ピクチャのピクチャ復号時刻までの時間間隔を、第４１の時間間隔ＴＱ４１として算出する（Ｓ２２１４１）。符号化制御部２１０５は、第３の時間間隔ＴＱ３と第４１の時間間隔ＴＱ４１とを比較し（Ｓ２２１５１）、前者が後者を超える場合（Ｓ２２１５１のＮ）、ステップＳ２２１６に進み、前者が後者以下の場合（Ｓ２２１５１のＹ）、ステップＳ２２１６をスキップして、ステップＳ２２１７に進む。

図１６は、実施の形態２の変形例に係る符号化処理における仮想復号バッファの蓄積量推移の一例を示す図である。図１１と図１６を比較すると、前者ではピクチャ復号時刻の遅延を、現ピクチャのピクチャ復号時刻を基準に規定し、後者は次ピクチャのピクチャ復号時刻を基準に規定したものである。

以上説明したように実施の形態２によれば、所定のピクチャ時間間隔ＰＴ、所定のピクチャサイズＰＳＺにおける各ピクチャの符号化において、仮想復号バッファのアンダーフローが発生しても、ピクチャ復号時刻から第２の時間間隔ＴＱ２以内にアンダーフローが解消すれば、次ピクチャをピクチャスキップせずに符号化できる。第２の単位時間当たりのブロック数ＮＭＢ２を示す情報を符号化すると共に、ピクチャ復号時刻を一律に第６の時間間隔ＴＱ６だけ遅らせて符号化することにより、復号側が第２の単位時間当たりのブロック数ＮＭＢ２以上で符号化ピクチャを復号できれば、復号側に、その符号化ストリームが復号可能であることを明示できる。

また、第６の時間間隔ＴＱ６を示す情報、及び第１の単位時間当たりのブロック数ＮＭＢ１を示す情報を符号化することで、復号側が第１の単位時間当たりのブロック数ＮＭＢ１以上で符号化ピクチャを復号できれば、ピクチャ復号時刻を第６の時間間隔ＴＱ６だけ早めても、復号側に、その符号化ストリームが復号可能であることを明示できる。なお、実施の形態２において、第１の単位時間当たりのブロック数ＮＭＢ１に基づく符号化レベルを符号化パラメータの付随情報として設定するよう説明したが、第１の単位時間当たりのブロック数ＮＭＢ１を符号化してもよい。この場合、復号側では、第１の単位時間当たりのブロック数ＮＭＢ１で復号可能か否かを判断する。

さらに、第１の単位時間当たりのブロック数ＮＭＢ１以上で符号化ピクチャを復号可能ならば、ピクチャ復号時刻を第６の時間間隔ＴＱ６だけ遅延時間を短くしても、正常に復号できる。これにより、次ピクチャをピクチャスキップせずに符号化することで画像欠落を抑制することができる。したがって、ピクチャスキップに起因するピクチャ間符号化における符号化効率低下、及び画質低下を抑制することができる。また、所定のピクチャ時間間隔ＰＴだけ遅延させる必要がないため、復号側の遅延を小さくすることができる。

このように、実施の形態２に係る画像符号化装置、及び画像復号装置によれば、第１の単位時間当たりのブロック数ＮＭＢ１以上で復号可能ならば遅延時間を短くして復号できる。また、第２の単位時間当たりのブロック数ＮＭＢ２でも復号可能とすることで復号対象の符号化ストリームを拡大できる。

以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１１００ 画像符号化装置、 １１０１ 時間間隔算出設定部、 １１０２ 符号化パラメータ設定部、 １１０３ 符号化部、 １１０４ 仮想復号バッファ演算部、 １１０５ 符号化制御部、 １４００ 画像復号装置、 １４０１ 分離部、 １４０２ 符号化パラメータ復号部、 １４０３ 復号制御部、 １４０４ ピクチャ復号部、 １４０５ 符号バッファ、 ２１００ 画像符号化装置、 ２１０１ 時間間隔算出設定部、 ２１０２ 符号化パラメータ設定部、 ２１０３ 符号化部、 ２１０４ 仮想復号バッファ演算部、 ２１０５ 符号化制御部、 ２５００ 画像復号装置、 ２５０１ 分離部、 ２５０２ 符号化パラメータ復号部、 ２５０３ 復号制御部、 ２５０４ ピクチャ復号部、 ２５０５ 符号バッファ。

Claims (12)

1. 動画像を、ピクチャレートを可変可能な規格にしたがい符号化する符号化部と、
   規定されたピクチャレートにしたがったピクチャ間の時間間隔で復号する場合に少なくとも必要な復号能力と、復号側に存在すべき仮想復号バッファの単位動作時間の倍数の時間間隔であって、かつ前記ピクチャ間の時間間隔より短い時間間隔で復号する場合に少なくとも必要な復号能力と、を含む符号化パラメータを前記符号化部に設定する符号化パラメータ設定部と、を備え、
   前記符号化部は、前記符号化パラメータを符号化して、前記動画像の符号化ストリーム内に挿入することを特徴とする画像符号化装置。
2. 前記符号化パラメータ設定部は、
   前記仮想復号バッファの単位動作時間であり、かつ前記ピクチャ間の時間間隔の１／Ｎ（Ｎは２以上の整数）である第１の時間間隔と、
   前記第１の時間間隔のＭ倍（ＭはＭ＜Ｎの整数）である第２の時間間隔と、
   前記ピクチャ間の時間間隔と前記第２の時間間隔との差である第３の時間間隔と、
   前記第２の時間間隔以上であり、前記ピクチャ間の時間間隔未満に設定される第５の時間間隔と、
   前記第３の時間間隔で復号可能な、所定ピクチャサイズのブロック数から求められる単位時間当たりのブロック数以上に設定される、第１の単位時間当たりのブロック数と、
   前記ピクチャ間の時間間隔で復号可能な、所定ピクチャサイズのブロック数から求められる単位時間当たりのブロック数以上に設定される、第２の単位時間当たりのブロック数と、を前記符号化部に設定し、
   前記符号化部は、
   前記第１の単位時間当たりのブロック数を示す情報と、
   前記第２の単位時間当たりのブロック数を示す情報と、
   前記第５の時間間隔を示す情報と、
   前記ピクチャ間の時間間隔に対応する各ピクチャのピクチャ復号時刻を示す情報と、を少なくとも前記符号化パラメータに含めるべき情報として符号化することを特徴とする請求項１に記載の画像符号化装置。
3. 前記符号化パラメータ設定部は、
   前記仮想復号バッファの単位動作時間であり、かつ前記ピクチャ間の時間間隔の１／Ｎ（Ｎは２以上の整数）である第１の時間間隔と、
   前記第１の時間間隔のＭ倍（ＭはＭ＜Ｎの整数）である第２の時間間隔と、
   前記ピクチャ間の時間間隔と前記第２の時間間隔との差である第３の時間間隔と、
   前記第２の時間間隔以上であり、前記ピクチャ間の時間間隔未満に設定される第６の時間間隔と、
   前記第３の時間間隔で復号可能な、所定ピクチャサイズのブロック数から求められる単位時間当たりのブロック数以上に設定される、第１の単位時間当たりのブロック数と、
   前記ピクチャ間の時間間隔で復号可能な、所定ピクチャサイズのブロック数から求められる単位時間当たりのブロック数以上に設定される、第２の単位時間当たりのブロック数と、を前記符号化部に設定し、
   前記符号化部は、
   前記第１の単位時間当たりのブロック数を示す情報と、
   前記第２の単位時間当たりのブロック数を示す情報と、
   前記第６の時間間隔を示す情報と、
   前記第６の時間間隔遅延させた、前記ピクチャ間の時間間隔に対応する各ピクチャのピクチャ復号時刻を示す情報と、を少なくとも前記符号化パラメータに含めるべき情報として符号化することを特徴とする請求項１に記載の画像符号化装置。
4. 前記符号化部から取得される各ピクチャの符号量に基づき、前記第１の時間間隔ごとの前記仮想復号バッファの蓄積量の推移を算出する仮想復号バッファ演算部と、
   現ピクチャの復号直後における前記仮想復号バッファの蓄積量が負の場合、前記第１の時間間隔単位で、前記蓄積量がゼロ以上となる最初の時刻を第１の時刻として算出し、前記現ピクチャのピクチャ復号時刻から前記第１の時刻までの第４の時間間隔を算出する符号化制御部と、をさらに備え、
   前記符号化制御部は、前記第４の時間間隔が前記第２の時間間隔以下の場合、前記現ピクチャの次ピクチャを符号化し、前記第４の時間間隔が前記第２の時間間隔を超える場合、前記次ピクチャをスキップするよう前記符号化部を制御することを特徴とする請求項２または３に記載の画像符号化装置。
5. 前記符号化部から取得される各ピクチャの符号量に基づき、前記第１の時間間隔ごとの前記仮想復号バッファの蓄積量の推移を算出する仮想復号バッファ演算部と、
   現ピクチャの復号直後における前記仮想復号バッファの蓄積量が負の場合、前記第１の時間間隔単位で、前記蓄積量がゼロ以上となる最初の時刻を第１の時刻として算出し、前記第１の時刻から、前記現ピクチャの次ピクチャのピクチャ復号時刻までの第４−１の時間間隔を算出する符号化制御部と、をさらに備え、
   前記符号化制御部は、前記第４−１の時間間隔が前記第３の時間間隔以上の場合、前記次ピクチャを符号化し、前記第４−１の時間間隔が前記第３の時間間隔未満の場合、前記次ピクチャをスキップするよう前記符号化部を制御することを特徴とする請求項２または３に記載の画像符号化装置。
6. 動画像を、ピクチャレートを可変可能な規格にしたがい符号化する符号化ステップと、
   規定されたピクチャレートにしたがったピクチャ間の時間間隔で復号する場合に少なくとも必要な復号能力と、復号側に存在すべき仮想復号バッファの単位動作時間の倍数の時間間隔であって、かつ前記ピクチャ間の時間間隔より短い時間間隔で復号する場合に少なくとも必要な復号能力と、を含む符号化パラメータを設定する符号化パラメータ設定ステップと、を備え、
   前記符号化ステップは、前記符号化パラメータを符号化して、前記動画像の符号化ストリーム内に挿入することを特徴とする画像符号化方法。
7. 前記符号化パラメータ設定ステップは、
   前記仮想復号バッファの単位動作時間であり、かつ前記ピクチャ間の時間間隔の１／Ｎ（Ｎは２以上の整数）である第１の時間間隔と、
   前記第１の時間間隔のＭ倍（ＭはＭ＜Ｎの整数）である第２の時間間隔と、
   前記ピクチャ間の時間間隔と前記第２の時間間隔との差である第３の時間間隔と、
   前記第２の時間間隔以上であり、前記ピクチャ間の時間間隔未満に設定される第５の時間間隔と、
   前記第３の時間間隔で復号可能な、所定ピクチャサイズのブロック数から求められる単位時間当たりのブロック数以上に設定される、第１の単位時間当たりのブロック数と、
   前記ピクチャ間の時間間隔で復号可能な、所定ピクチャサイズのブロック数から求められる単位時間当たりのブロック数以上に設定される、第２の単位時間当たりのブロック数と、を設定し、
   前記符号化ステップは、
   前記第１の単位時間当たりのブロック数を示す情報と、
   前記第２の単位時間当たりのブロック数を示す情報と、
   前記第５の時間間隔を示す情報と、
   前記ピクチャ間の時間間隔に対応する各ピクチャのピクチャ復号時刻を示す情報と、
   を少なくとも前記符号化パラメータに含む情報として符号化することを特徴とする請求項６に記載の画像符号化方法。
8. 前記符号化パラメータ設定ステップは、
   前記仮想復号バッファの単位動作時間であり、かつ前記ピクチャ間の時間間隔の１／Ｎ（Ｎは２以上の整数）である第１の時間間隔と、
   前記第１の時間間隔のＭ倍（ＭはＭ＜Ｎの整数）である第２の時間間隔と、
   前記ピクチャ間の時間間隔と前記第２の時間間隔との差である第３の時間間隔と、
   前記第２の時間間隔以上であり、前記ピクチャ間の時間間隔未満に設定される第６の時間間隔と、
   前記第３の時間間隔で復号可能な、所定ピクチャサイズのブロック数から求められる単位時間当たりのブロック数以上に設定される、第１の単位時間当たりのブロック数と、
   前記ピクチャ間の時間間隔で復号可能な、所定ピクチャサイズのブロック数から求められる単位時間当たりのブロック数以上に設定される、第２の単位時間当たりのブロック数と、を設定し、
   前記符号化ステップは、
   前記第１の単位時間当たりのブロック数を示す情報と、
   前記第２の単位時間当たりのブロック数を示す情報と、
   前記第６の時間間隔を示す情報と、
   前記第６の時間間隔遅延させた、前記ピクチャ間の時間間隔に対応する各ピクチャのピクチャ復号時刻を示す情報と、を少なくとも前記符号化パラメータに含めるべき情報として符号化することを特徴とする請求項６に記載の画像符号化方法。
9. 請求項２に記載の画像符号化装置により生成された符号化ストリームを復号する画像復号装置であって、
   前記第２の単位時間当たりのブロック数を示す情報、前記第５の時間間隔を示す情報、及び前記各ピクチャのピクチャ復号時刻の情報を復号する符号化パラメータ復号部と、
   前記第２の単位時間当たりのブロック数を復号する能力がある場合、各ピクチャのピクチャ復号時刻を少なくとも前記第５の時間間隔、遅延させる復号制御部と、
   を備えることを特徴とする画像復号装置。
10. 請求項３に記載の画像符号化装置により生成された符号化ストリームを復号する画像復号装置であって、
    前記第１の単位時間当たりのブロック数を示す情報、前記第６の時間間隔を示す情報、及び前記各ピクチャのピクチャ復号時刻を示す情報を復号する符号化パラメータ復号部と、
    前記第１の単位時間当たりのブロック数以上で復号する能力がある場合、各ピクチャのピクチャ復号時刻を最大で前記第６の時間間隔、早める復号制御部と、
    を備えることを特徴とする画像復号装置。
11. 請求項７に記載の画像符号化方法により生成された符号化ストリームを復号する画像復号方法であって、
    前記第２の単位時間当たりのブロック数を示す情報、前記第５の時間間隔を示す情報、及び前記各ピクチャのピクチャ復号時刻の情報を復号する符号化パラメータ復号ステップと、
    前記第２の単位時間当たりのブロック数で復号する能力がある場合、各ピクチャのピクチャ復号時刻を少なくとも前記第５の時間間隔、遅延させる復号制御ステップと、
    を備えることを特徴とする画像復号方法。
12. 請求項８に記載の画像符号化方法により生成された符号化ストリームを復号する画像復号方法であって、
    前記第１の単位時間当たりのブロック数を示す情報、前記第６の時間間隔を示す情報、及び前記各ピクチャのピクチャ復号時刻を示す情報を復号する符号化パラメータ復号ステップと、
    前記第１の単位時間当たりのブロック数以上で復号する能力がある場合、各ピクチャのピクチャ復号時刻を最大で第６の時間間隔、早める復号制御ステップと、
    を備えることを特徴とする画像復号方法。

Images