JP2010206463A - 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム - Google Patents

Abstract

【課題】シーンチェンジのピクチャの画質を十分に向上させることができ、また、シーンチェンジのピクチャを再生するためにデコード遅延を生じることがなく、更に、ＧＯＰ単位でのフィードバック制御が不要な構成とする。
【解決手段】ピクチャタイプ設定部３０は、シーンチェンジ情報がオンであれば、ピクチャタイプをＩピクチャに設定する。符号化部４０は、入力動画像信号をピクチャデータを符号化する。デコーダバッファ充足量計算部５０は、ピクチャデータのデコーダバッファ充足量を計算する。ＡＵ並び換え制御部６０は、デコーダバッファ充足量に基づき、符号化されたピクチャデータのビットストリーム中での順序をデコーダバッファが破綻しないように並び換える指示を行う。この指示により、ＡＵバッファ７０に蓄積された符号化部４０から出力されたＡＵ、又はＡＵ遅延バッファ８０で遅延されたＡＵが出力される。
【選択図】図１

Description

本発明は動画像符号化方法、動画像符号化装置及び動画像符号化プログラムに係り、特にシーンチェンジや特定の指定画像を高画質化に符号化するための画像間予測符号化を用いた動画像符号化方法、動画像符号化装置及び動画像符号化プログラムに関する。

ＭＰＥＧ(Moving Picture Experts Group)に代表されるような画像間予測符号化を用いた動画像符号化装置では、入力動画像信号を３つのピクチャタイプで符号化する。なお、以下の説明では特に断らない限り画像とピクチャは同じ意味で用いる。３つのピクチャタイプとは、フレーム内符号化のみを利用したＩピクチャ、フレーム内符号化と片方向の画像間予測符号化を利用したＰピクチャ、フレーム内符号化と片方向又は双方向の画像間予測符号化を利用したＢピクチャである。これらのピクチャのうち、ＩピクチャとＰピクチャは、他のピクチャの符号化時に参照画像信号（参照ピクチャ）として利用されるピクチャであり、Ｂピクチャは他のピクチャの符号化時に参照画像信号として利用されないピクチャである。

シーンチェンジなどのない通常の比較的時間相関のある動画像シーケンスを符号化する場合、符号化効率はＢピクチャ＞Ｐピクチャ＞Ｉピクチャとなる。また、ＩピクチャやＰピクチャは参照ピクチャとなることから、一般的に高画質化を実現するために符号化量の割り当てはＩピクチャ＞Ｐピクチャ＞Ｂピクチャとする。

シーンチェンジのように時間相関が低いシーンを含む動画像シーケンスを符号化する場合について説明する。

符号化効率について考慮すると、ＰピクチャやＢピクチャは参照ピクチャとの時間相関を利用して予測符号化するため、参照ピクチャと時間相関が低くなるような場合ではＰピクチャやＢピクチャの符号化効率は著しく低下し、Ｉピクチャよりも低下することがある。

また、ランダムアクセス性について考慮すると、ＩピクチャはＩピクチャ自身を復号することで再生画像を得ることができる。ところが、Ｐピクチャは参照ピクチャを得るために必要となるＩピクチャ及びＰピクチャを全て復号する必要がある。更に、ＢピクチャについてはＰピクチャの復号処理に加え、Ｂピクチャ自身を復号する必要がある。このため、ランダムアクセス性を高めるためにはＩピクチャで符号化するのが好ましい。

シーンチェンジは、一般的にチャプタやタイトルの開始位置であること、ＤＶＤ(Digital Versatile Disc)レコーダなどでの編集点となること、ビデオカメラなどのインデックス画像の表示などに利用されることが多い。

次に、シーンチェンジのピクチャまたはその近傍のピクチャをＩピクチャとして符号化する従来の動画像符号化方法、装置について説明する。

まず、シーンチェンジ検出を行う従来の動画像符号化装置で符号化した場合のピクチャタイプの符号化順について図１６を用いて説明する。

図１６（ａ）は、定常状態のピクチャの入力順を示している。図１６中のアルファベットはピクチャタイプ、数字は入力順を示す（他の図も同様）。従って、例えば、Ｂ０は入力順が０番目でＢピクチャ、Ｉ２は入力順が２番目でＩピクチャ、Ｐ５はで入力順が５番目でＰピクチャあることを示す。ここで、８番目に入力されたＰピクチャ（Ｐ８）がシーンチェンジであるとする。定常状態では８番目に入力されたピクチャはＰピクチャとして符号化される。

図１６（ｂ）は、シーンチェンジ検出のない動画像符号化装置でのピクチャの符号化順を示している。この場合、８番目のピクチャはＰピクチャ（Ｐ８）として符号化されるため、８番目のピクチャから始まるシーンを再生するためにはＩ２からＰ５、Ｐ８と順に復号する必要がある。なお、Ｉピクチャから次のＩピクチャの直前のピクチャまでのピクチャの集合をＧＯＰ（Group of Picture）と呼ぶ。従って、図１６（ｂ）ではＩ２からＢ１３までが１つのＧＯＰとなる。ランダムアクセス性能を考慮してＤＶＤではＧＯＰの長さが０.６秒に規定されている。

図１６（ｃ）は、特許文献１による動画像符号化装置でのピクチャの符号化順を示している。特許文献１では、シーンチェンジが検出されたフレームに対してフレーム内符号化を行うため、図１６（ａ）の入力順の場合、シーンチェンジが検出された８番目のピクチャＰ８は同図（ｃ）に示すようにＩピクチャ（Ｉ８）として符号化される。このため、８番目のピクチャから始まるシーンを再生するためには、Ｉ８を復号すればよい。

上記の特許文献１記載の発明では、シーンチェンジでは符号量を大きくしてＩピクチャとして符号化することで高画質、かつ、ランダムアクセス性を高めることができる。ところが、デコーダバッファの状態によって符号量を十分に割り当てる事ができない場合がある。このような状況について図１７を用いて説明する。なお、デコーダバッファとは動画像復号化装置に具備されているバッファである。

図１７は、デコーダバッファ充足量の時間変化の一例を示す。同図において、時刻ｔ（ｉ）、ｔ（ｉ＋１）、ｔ（ｉ＋２）、・・・、ｔ（ｊ＋２）、ｔ（ｊ＋３）でピクチャが復号化（動画像符号化装置においては符号化）される。時刻ｔ（ｉ）におけるデコーダバッファ充足量はＢｔ（ｉ）である。このとき時刻ｔ（ｉ）で割り当てることのできる最大符号量はＢｔ（ｉ）となる。時刻ｔ（ｉ）で符号量がＢｃｏｄのピクチャが復号化されると、デコーダバッファ充足量はＢｃｏｄだけ減少してＢｂ（ｉ）となる。

時刻ｔ（ｉ）から時刻ｔ（ｉ＋１）にかけて動画像符号化装置より符号化データの入力があって、デコーダバッファ充足量はΔＢだけ増加してＢｔ（ｉ＋１）となる。以下、ピクチャの復号化のタイミングで同じことが繰り返される。時刻ｔ（ｊ+２）におけるデコーダバッファ充足量はＢｔ（ｊ＋２）である。時刻ｔ（ｊ＋２）で割り当てる事のできる最大符号量はＢｔ（ｊ＋２）であるため、Ｂｔ（ｊ＋２）＜ＢｃｏｄとなるようなＢｃｏｄを割り当てることはできない。動画像符号化装置においてデコーダバッファの充足量を考慮しないでＢｃｏｄで符号化した場合にはピクチャのデータが全て揃っていないためアンダーフローと呼ばれる現象となる。ＭＰＥＧではアンダーフローが生じるような符号化は禁止されている。

アンダーフローを回避するための手法として、特許文献２にはシーンチェンジのピクチャの符号量を小さくする方法が開示されている。

また、特許文献３にはシーンチェンジのピクチャと直前のＩピクチャのピクチャタイプを入れ替えることでＩピクチャの間隔を長くし、デコーダバッファに余裕を持たせてアンダーフローを発生し難くしている方法が開示されている。図１６（ｄ）は、特許文献３による動画像符号化装置でのピクチャの符号化順を示しており、シーンチェンジのピクチャＰ８と直前のＩピクチャＩ２のピクチャタイプを入れ替え、Ｉ８、Ｐ２としている。この場合、Ｐ２、Ｂ０、Ｂ１、Ｐ５、Ｂ３、Ｂ４の符号化をやり直すような少なくともＧＯＰ単位のフィードバック制御が必要になる。

特開平２−２１９３９１号公報 特開平９−０５１５３８号公報 特開平７−１３５６５７号公報

しかし、特許文献１記載の従来の画像間予測符号化を用いた動画像符号化方法では、デコーダバッファに余裕がない状態でシーンチェンジのピクチャをＩピクチャとして符号化することがあり、その場合はデコーダバッファにアンダーフローが生じないように該当Ｉピクチャの符号量を抑制する必要があり、その結果、シーンチェンジのピクチャの画質を十分に向上させることができない課題がある。

また、特許文献２記載の動画像符号化方法のように、シーンチェンジのピクチャをＢピクチャやＰピクチャで符号化してシーンチェンジ近傍のピクチャをＩピクチャとする場合には、上記アンダーフローを回避することはできるが、シーンチェンジの画質が劣化し、また、シーンチェンジのピクチャを再生するためにデコード遅延が生じる課題もある。

更に、シーンチェンジの近傍でデコーダバッファの状態に余裕を持たせるために、シーンチェンジのピクチャと直前のＩピクチャのピクチャタイプを入れ替える特許文献３記載の動画像符号化方法では、ピクチャの符号化順序をＧＯＰ単位でフィードバック制御を行う必要があるため、符号化装置が大規模化する課題がある。

本発明は、以上の点に鑑みなされたもので、シーンチェンジのＩピクチャの画質を十分に向上させることができ、また、シーンチェンジのＩピクチャの挿入位置を制御することができる動画像符号化方法、動画像符号化装置及び動画像符号化プログラムを提供することを目的とする。

上記目的を達成するため、本発明の動画像符号化方法は、入力動画像信号からシーンチェンジ箇所を検出するシーンチェンジ検出ステップと、シーンチェンジ検出ステップで得られた検出情報に基づいて、シーンチェンジを検出した時点における入力動画像信号のピクチャの符号化ピクチャタイプを画像内符号化ピクチャに設定すると共に、シーンチェンジを検出しないときの符号化ピクチャタイプを所定の規則に従い設定するピクチャタイプ設定ステップと、設定された符号化ピクチャタイプに基づいた画像間予測符号化を用いる符号化により入力動画像信号を符号化して得たピクチャデータ、及び画像内符号化ピクチャに設定されたピクチャを予め設定された所定の目標符号量または予め設定された所定の量子化幅に基づいて画像内符号化して得たピクチャデータを出力すると共に、そのピクチャデータの符号量情報を出力する符号化ステップと、符号量情報に基づいて、仮想的なデコーダバッファの充足量を計算するデコーダバッファ充足量計算ステップと、画像内符号化ピクチャに設定されたピクチャの符号化に続く符号化ステップでの符号化後のデコーダバッファの充足量が、画像内符号化ピクチャのピクチャデータの符号量以上となった時に、その時点でのピクチャデータに続いて画像内符号化ピクチャのピクチャデータを配置するよう並び換えを指示する並び換え制御ステップと、ピクチャデータをバッファ手段に一時蓄積する第１の蓄積ステップと、並び換え制御ステップによりピクチャデータの並び換えの指示があった場合に、バッファ手段より出力されたピクチャデータを遅延バッファ手段に一時蓄積する第２の蓄積ステップと、並び換え制御ステップの指示によりバッファ手段又は遅延バッファ手段より並び換えの順で出力されたピクチャデータの時間情報を書き換える時間情報訂正ステップとを含むことを特徴とする。

また、上記の目的を達成するため、本発明の動画像符号化装置は、入力動画像信号からシーンチェンジ箇所を検出するシーンチェンジ検出手段と、シーンチェンジ検出手段で得られた検出情報に基づいて、シーンチェンジを検出した時点における入力動画像信号のピクチャの符号化ピクチャタイプを画像内符号化ピクチャに設定すると共に、シーンチェンジを検出しないときの符号化ピクチャタイプを所定の規則に従い設定するピクチャタイプ設定手段と、設定された符号化ピクチャタイプに基づいた画像間予測符号化を用いる符号化により入力動画像信号を符号化して得たピクチャデータ、及び画像内符号化ピクチャに設定されたピクチャを予め設定された所定の目標符号量または予め設定された所定の量子化幅に基づいて画像内符号化して得たピクチャデータを出力すると共に、そのピクチャデータの符号量情報を出力する符号化手段と、符号量情報に基づいて、仮想的なデコーダバッファの充足量を計算するデコーダバッファ充足量計算手段と、画像内符号化ピクチャに設定されたピクチャの符号化に続く符号化手段での符号化後のデコーダバッファの充足量が、画像内符号化ピクチャのピクチャデータの符号量以上となった時に、その時点でのピクチャデータに続いて画像内符号化ピクチャのピクチャデータを配置するよう並び換えを指示する並び換え制御手段と、ピクチャデータを一時蓄積するバッファ手段と、並び換え制御手段によりピクチャデータの並び換えの指示があった場合に、バッファ手段より出力されたピクチャデータを一時蓄積する遅延バッファ手段と、並び換え制御手段の指示によりバッファ手段又は遅延バッファ手段より並び換えの順で出力されたピクチャデータの時間情報を書き換える時間情報訂正手段とを有することを特徴とする。

更に、上記の目的を達成するため、本発明の動画像符号化プログラムは、入力動画像信号からシーンチェンジ箇所を検出するシーンチェンジ検出ステップと、シーンチェンジ検出ステップで得られた検出情報に基づいて、シーンチェンジを検出した時点における入力動画像信号のピクチャの符号化ピクチャタイプを画像内符号化ピクチャに設定すると共に、シーンチェンジを検出しないときの符号化ピクチャタイプを所定の規則に従い設定するピクチャタイプ設定ステップと、設定された符号化ピクチャタイプに基づいた画像間予測符号化を用いる符号化により入力動画像信号を符号化して得たピクチャデータ、及び画像内符号化ピクチャに設定されたピクチャを予め設定された所定の目標符号量または予め設定された所定の量子化幅に基づいて画像内符号化して得たピクチャデータを出力すると共に、そのピクチャデータの符号量情報を出力する符号化ステップと、符号量情報に基づいて、仮想的なデコーダバッファの充足量を計算するデコーダバッファ充足量計算ステップと、画像内符号化ピクチャに設定されたピクチャの符号化に続く符号化ステップでの符号化後のデコーダバッファの充足量が、画像内符号化ピクチャのピクチャデータの符号量以上となった時に、その時点でのピクチャデータに続いて画像内符号化ピクチャのピクチャデータを配置するよう並び換えを指示する並び換え制御ステップと、ピクチャデータをバッファ手段に一時蓄積する第１の蓄積ステップと、並び換え制御ステップによりピクチャデータの並び換えの指示があった場合に、バッファ手段より出力されたピクチャデータを遅延バッファ手段に一時蓄積する第２の蓄積ステップと、並び換え制御ステップの指示によりバッファ手段又は遅延バッファ手段より並び換えの順で出力されたピクチャデータの時間情報を書き換える時間情報訂正ステップと
を、コンピュータに実行させることを特徴とする。

本発明によれば、デコーダバッファに余裕がない状態でシーンチェンジの入力画像をフレーム内符号化ピクチャ（Ｉピクチャ）として符号化した場合でも、当該Ｉピクチャの符号量を抑制することなく、シーンチェンジのピクチャの画質を十分に向上させることができる。

また、本発明によれば、シーンチェンジのピクチャを再生するためにデコード遅延を生じることがなく、更に、ＧＯＰ単位でのフィードバック制御の必要がない小規模な構成とすることができる。

本発明の動画像符号化装置の第１の実施の形態のブロック図である。 図１の動作説明用フローチャートである。 図１中の符号化部の一例のブロック図である。 図３の符号化部の動作説明用フローチャートである。 本発明によるピクチャタイプの順序の各例を説明する図である。 本発明の動画像符号化装置の第２の実施の形態のブロック図である。 図６の動作説明用フローチャートである。 本発明の動画像符号化装置の第３の実施の形態のブロック図である。 図８の動作説明用フローチャートである。 図８中の符号化部の一例のブロック図である。 本発明の第３の実施形態におけるデコーダバッファ充足量を説明する図である。 本発明の動画像符号化装置の第４の実施の形態のブロック図である。 図１２中の符号化部の一例のブロック図である。 本発明の第４の実施形態によるピクチャタイプの順序を説明する図である。 付加情報の一例を示す図である。 シーンチェンジ検出を行う従来の動画像符号化装置で符号化した場合のピクチャタイプの符号化順の各例を説明する図である。 デコーダバッファ充足量の時間変化の一例を示す図である。

以下、図面を参照しながら本発明の実施の形態を説明する。

（第１の実施の形態）
図１は、本発明になる動画像符号化装置の第１の実施の形態のブロック図を示す。本実施形態の動画像符号化装置１００は、シーンチェンジ検出部１０、ピクチャ変換部２０、ピクチャタイプ設定部３０、符号化部４０、デコーダバッファ充足量計算部５０、ＡＵ並び換え制御部６０、ＡＵバッファ７０、ＡＵ遅延バッファ８０、及び時間情報訂正部９０で構成される。

シーンチェンジ検出部１０は、動画像に関する入力画像信号（すなわち、入力動画像信号）がシーンチェンジであるかどうかを検出する。ピクチャ変換部２０は、入力動画像信号をピクチャデータに変換する。ピクチャタイプ設定部３０は、シーンチェンジ検出部１０から出力されるシーンチェンジ情報がオンであるかオフであるかを判定し、後述するように、その判定結果に応じたピクチャタイプを設定する。

符号化部４０は、ピクチャタイプが参照ピクチャであるかどうかを判定し、後述するように、その判定結果に応じてピクチャデータを符号化する。ピクチャデータは符号化されるとＡＵ（アクセスユニット）となる。また、符号化部４０はＡＵ符号量ｃをデコーダバッファ充足量計算部５０に送る。なお、本実施形態では符号化部４０は符号化方法としてＭＰＥＧ−４ＡＶＣを用いるとする。

デコーダバッファ充足量計算部５０は、ｎ番目のピクチャデータのデコーダバッファ充足量Bf(n)と、次ピクチャ（ｎ＋１番目のピクチャ）のデコード前デコーダバッファ充足量Bft(n+1)とを計算する。

ＡＵ並び換え制御部６０は、並び換えＡＵ符号量ｅ、ＡＵ遅延情報ｇ及び遅延ＡＵ出力情報ｈを生成する。ＡＵバッファ７０は、符号化部４０から出力されたＡＵを一時蓄積した後、そのＡＵを並び換え情報がオフであれば、時間情報訂正部９０に転送し、並び換え情報がオンであれば、ＡＵ遅延バッファ８０に転送する。

ＡＵ遅延バッファ８０は、一時蓄積しているＡＵａを、遅延ＡＵ出力情報ｈがオンであるかオフであるかに応じて、時間情報訂正部９０又は符号化部４０に転送する。また、ＡＵ遅延バッファ８０は遅延ＡＵ出力情報ｈを符号化部４０に転送する。時間情報訂正部９０は、入力されたＡＵの時間情報（表示順序と符号化順序）を訂正して符号化データとして出力する。

上記構成の動画像符号化装置１００は、ビデオカメラ（カムコーダ）、レコーダ、オーサリングなどの用途に用いられる。また、この動画像符号化装置１００による符号化フォーマットは、規制を与えなければＤＶＤ／ＢＤ(Blu-ray Disc)／ＡＶＣＨＤ(Advanced Video Coding HD)規格に不適合のため独自フォーマットとなる。

次に、本実施の形態の動画像符号化装置１００の動作について、図２のフローチャート等を併せ参照して説明する。

動画像に関する入力画像信号は、シーンチェンジ検出部１０に送られると同時に、ピクチャ変換部２０に送られる。シーンチェンジ検出部１０は、現フレームの入力画像信号と１フレーム前に入力された入力画像信号との間で画素単位の絶対差分和（ＳＡＤ）を計算し、そのＳＡＤと所定値ＴＨａとの比較結果に基づいてシーンチェンジを検出する（ステップＳ１１）。すなわち、シーンチェンジ検出部１０は、ＳＡＤが所定値ＴＨａ以上である場合はシーンチェンジであると判定し、シーンチェンジ情報をオンにする。また、ＳＡＤが所定値ＴＨａに満たない場合はシーンチェンジ情報をオフとする。シーンチェンジ検出部１０は、このようにして得られたシーンチェンジ情報をピクチャタイプ設定部３０に送る。なお、シーンチェンジの判定に使用する指標はＳＡＤに限定する必要はなく、二乗誤差和などを用いてもよい。

ピクチャ変換部２０は、入力画像信号のライン間相関を計算し、ライン間相関が所定値ＴＨｂ以下であればピクチャ構造をフレームピクチャとし、所定値ＴＨｂより大きければピクチャ構造をフィールドピクチャとするピクチャ変換を行う（ステップＳ１２）。具体的には、ピクチャ変換部２０は、ピクチャ構造がフレームピクチャ（例えば、水平方向７２０画素、垂直方向４８０画素）であれば、１つの入力画像信号について１つのピクチャデータを符号化部４０に送り、ピクチャ構造がフィールドピクチャ（例えば、水平方向７２０画素、垂直方向２４０画素）であれば、１つの入力画像信号について２つのピクチャデータを符号化部４０に送る。また、ピクチャ変換部２０は、変換後のピクチャ構造をピクチャタイプ設定部３０に送る。

なお、本実施形態では入力画像がプログレッシブ映像であるとし、ピクチャ構造が常にフレームピクチャである場合について説明する。

ピクチャタイプ設定部３０は、シーンチェンジ検出部１０から入力されたシーンチェンジ情報がオン（ＯＮ）であるかどうか判定し（ステップＳ１３）、オフ（ＯＦＦ）であれば、予め設定されたＩピクチャ挿入周期（Ｎ）、参照ピクチャ挿入周期（Ｍ）に基づいてピクチャタイプをＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれかに設定する（ステップＳ１４）。なお、Ｉピクチャ挿入周期Ｎ及び参照ピクチャ挿入周期Ｍについては、入力画像の分析結果に基づいて可変とすることも可能である。

一方、ピクチャタイプ設定部３０は、シーンチェンジ情報がオンであれば、ピクチャタイプをＩピクチャに設定する（ステップＳ１５）。ピクチャタイプ設定部３０は、以上のように設定したピクチャタイプとシーンチェンジ情報を符号化部４０に送る。

符号化部４０は、まずピクチャタイプが参照ピクチャであるかどうかを判定する（ステップＳ１６）。ピクチャタイプが参照ピクチャでなければ、ピクチャデータとピクチャタイプとを符号化部４０内の後述する入力並び換えバッファに保持して入力画像単位の処理を完了する（ステップＳ１７）。

一方、符号化部４０は、ステップＳ１６でピクチャタイプが参照ピクチャであると判定したときは、以下の処理を行う。

符号化部４０は、シーンチェンジ情報がオフであれば、参照ピクチャに対して一般に良く知られているＴＭ（ＭＰＥＧテストモデル）などの目標符号量設定方法に基づいて目標符号量を決定する。符号化部４０はシーンチェンジ情報がオンであれば、ステップＳ１５で決定したＩピクチャに対して、上記ＴＭなどの目標符号量設定方法に基づいて算出された目標符号量をα倍（αは１.０以上）に重み付けした目標符号量を決定する。αは固定値でもよく、ピクチャの複雑度を示すアクティビティなどから算出してもよい。また、目標符号量の替わりに量子化幅を設定してもよい（以上、ステップＳ１８）。

符号化部４０は、上記のように決定した目標符号量又は量子化幅に基づいて、ピクチャ変換部２０から入力されたピクチャデータを、指定されたピクチャタイプで符号化し、その符号化したピクチャデータであるアクセスユニット（ＡＵ）ａをＡＵバッファ７０に送ると共に、ＡＵ符号量ｃをデコーダバッファ充足量計算部５０に送る（ステップＳ１９）。

デコーダバッファ充足量計算部５０は、ｎ番目のピクチャデータのデコーダバッファ充足量Bf(n)を、デコーダバッファ初期遅延時間（init_delay）、ビットレート（bitrate）、ピクチャ間隔（pic_period）、ＡＵ符号量（codBits）から次式（１ａ）、（１ｂ）に基づいて算出する。

Bf(0)＝bitrate * init_delay−codBits(0); (n＝0) （１ａ）
Bf(n)＝Bf(n-1)＋Bitrate * pic_period−codBits; (n≧1) （１ｂ）
また、デコーダバッファ充足量計算部５０は、次ピクチャ（ｎ＋１番目のピクチャ）のデコード前デコーダバッファ充足量Bft(n+1)を次式（２）に基づいて算出する。

Bft(n+1)＝Bf(n)＋Bitrate * pic_period; （２）
デコーダバッファ充足量計算部５０は、ＡＵ符号量（codBits）及び算出したデコーダバッファ充足量Bf(n)と次ピクチャのデコード前デコーダバッファ充足量Bft(n+1)とをＡＵ並び換え制御部６０に送る（以上、ステップＳ２０）。図１では、デコーダバッファ充足量Bf(n)と次ピクチャのデコード前デコーダバッファ充足量Bft(n+1)とをまとめてデコーダバッファ充足量ｂとして示す。

なお、一般的にＭＰＥＧ４−ＡＶＣではデコーダバッファサイズ、デコーダバッファ初期充足量、ビットレート、ピクチャ間隔は符号化データ内に多重される。

次に、ＡＵ並び換え制御部６０は、並び換えＡＵ符号量ｅが“０”より大きく、かつ、次ピクチャのデコード前デコーダバッファ充足量Bft(n+1)が並び換えＡＵ符号量ｅ以上であれば、遅延ＡＵ出力情報ｈをオンとし、それ以外の場合は遅延ＡＵ出力情報ｈをオフとする。すなわち、次ピクチャのデコードによりデコードバッファが破綻（アンダーフロー）する場合には遅延ＡＵ出力情報ｈがオンとされる。ＡＵ並び換え制御部６０は、この遅延ＡＵ出力情報ｈをデコーダバッファ充足量計算部５０及びＡＵバッファ７０に送る（以上、ステップＳ２１）。

続いて、ＡＵ並び換え制御部６０は、デコーダバッファ充足量Bf(n)が所定値β未満であればＡＵ遅延情報ｇをオンにし、デコーダバッファ充足量Bf(n)が所定値β以上であればＡＵ遅延情報ｇをオフとする。ＡＵ並び換え制御部６０は、ＡＵ遅延情報ｇを符号化部４０、デコーダバッファ充足量計算部５０、及びＡＵバッファ７０に送る。本実施形態では所定値βを“０”とする。

更に、ＡＵ並び換え制御部６０は、ＡＵ遅延情報ｇがオンである場合には、並び換えＡＵ符号量ｅをデコーダバッファ充足量計算部５０より送られたＡＵ符号量ｃに設定する。並び換えＡＵ符号量ｅの初期値は“０”である。ＡＵ並び換え制御部６０は、並び換えＡＵ符号量ｅをデコーダバッファ充足量計算部５０に送る（以上、ステップＳ２２）。

次に、ＡＵバッファ７０は、ＡＵ並び換え制御部６０から入力されたＡＵ遅延情報ｇがオンであるかどうかを判定する（ステップＳ２３）。ＡＵバッファ７０は、ＡＵ遅延情報ｇがオフであれば、符号化部４０から供給されてＡＵバッファ７０に一時蓄積していたＡＵａを時間情報訂正部９０に転送し（ステップＳ２４）、ＡＵ遅延情報ｇがオンであれば、一時蓄積していたＡＵａをＡＵ遅延バッファ８０に転送する（ステップＳ２５）。また、ＡＵバッファ７０は、遅延ＡＵ出力情報ｈをＡＵ遅延バッファ８０に送る。

ステップＳ２５に続いて、デコーダバッファ充足量計算部５０は、ＡＵ並び換え制御部６０から送られたＡＵ遅延情報ｇがオンであれば、デコーダバッファ充足量を並び換えＡＵ符号量（RoCodBits）を用いて式（３）のように再計算する（ステップＳ２６）。

Bf(n)＝Bf(n)＋RoCodBits; (３)
ステップＳ２４又はＳ２６の処理に続いて、ＡＵ遅延バッファ８０は、ＡＵバッファ７０から入力された、ステップＳ２１で設定された遅延ＡＵ出力情報ｈがオンであるか否かを判定する（ステップＳ２７）。ＡＵ遅延バッファ８０は、遅延ＡＵ出力情報ｈがオンであれば、ＡＵバッファ７０から供給されて一時蓄積していたＡＵ遅延バッファ８０内のＡＵａを時間情報訂正部９０と符号化部４０とにそれぞれ転送する（以上、ステップＳ２８）。

ステップＳ２８に続いて、デコーダバッファ充足量計算部５０は、ＡＵ並び換え制御部６０から送られた遅延ＡＵ出力情報ｈがオンであれば、デコーダバッファ充足量を並び換えＡＵ符号量（RoCodBits）ｅを用いて式（４）に基づいて再計算する（ステップＳ２９）。

Bf(n)＝Bf(n)−RoCodBits; （４）
ステップＳ２９の再計算後、又はステップＳ２７でＡＵ遅延バッファ８０が遅延ＡＵ出力情報ｈがオフであると判定したときには、時間情報訂正部９０は、ＡＵバッファ７０又はＡＵ遅延バッファ８０から入力されたＡＵａの時間情報（表示順序と符号化順序）を訂正して符号化データとして出力する（ステップＳ３０）。

その後、符号化部４０は内部の後述する入力並び換えバッファ４０３が空でなければ、上記の目標符号量の設定（ステップＳ１８）まで戻り、入力並び換えバッファ４０３が空になるまで、入力並び換えバッファ４０３に格納されたピクチャデータを入力並び換えバッファ４０３に格納されたピクチャタイプに従って繰り返し符号化処理を行う。

次に、符号化部４０の符号化時の詳細な動作について図３のブロック図及び図４のフローチャートを用いて説明する。符号化部４０は、図３のブロック図に示すように、目標符号量設定部４０１、符号化本部４０２、入力並び換えバッファ４０３、復号化部４０５、ＤＰＢ４０６、及び復号化制御部４０４で構成される。

目標符号量設定部４０１は、符号化本部４０２よりピクチャタイプとＡＵ符号量とが入力され、前述したステップＳ１８で説明したように目標符号量を設定する。目標符号量設定部４０１は、設定した目標符号量を符号化本部４０２に送る。

符号化本部４０２は、ピクチャタイプが参照ピクチャであった場合、ピクチャタイプと目標符号量設定部４０１より送られた目標符号量とに従ってピクチャデータを符号化してＡＵを得る。このとき、ピクチャ間予測符号化で利用される参照ピクチャはＤＰＢ(Decoded Picture Buffer)４６内で保持されているピクチャを利用する（以上、ステップＳ４１）。

符号化本部４０２は、得られたＡＵをＡＵバッファ７０に送る。また、符号化本部４０２は、ＡＵ符号量を目標符号量設定部４０１及びデコードバッファ充足量計算部５０に送る。更に、符号化本部４０２はピクチャタイプが参照ピクチャを示すタイプであればＡＵを復号化部４０５に送る（以上、ステップＳ４２）。

一方、符号化本部４０２は、ピクチャタイプ設定部３０から送られたピクチャタイプが参照ピクチャであるかどうか判定する（ステップＳ４３）。参照ピクチャでない場合、符号化本部４０２は、ピクチャタイプとピクチャ変換部２０より送られたピクチャデータとを入力並び換えバッファ４０３に送る（以上、ステップＳ１７を再記述）。

一方、符号化本部４０２は参照ピクチャであると判定した場合、復号化制御部４０４がＡＵ並び換え制御部６０から送られるＩピクチャを遅らせるか否かを示すＡＵ遅延情報がオフであるか否かを判定する（ステップＳ４４）。

復号化制御部４０４は、ＡＵ遅延情報がオフであると判定した場合は、復号化部４０５に局部ＡＵ復号信号を送る。すなわち、この場合は符号化本部４０２からのＡＵを復号化させるＩピクチャを遅らせないので、通常通りＩピクチャ、Ｐピクチャの局部ＡＵ復号信号を用いる。復号化部４０５は、復号化制御部４０４より局部ＡＵ復号信号が送られた場合は、符号化本部４０２から送られたＡＵを復号化する（以上、ステップＳ４５）。

そして、復号化部４０５は、復号化したピクチャデータをＤＰＢ４０６に転送する（ステップＳ４６）。ここで、符号化本部４０２から復号部４０５に送られるＡＵは必ずしも完全なＡＵである必要はなく、ＭＰＥＧ−４ＡＶＣの局部復号できる情報があればよい。

ステップＳ４６の処理に続いて、又はステップＳ４３で参照ピクチャでないと判定された場合、又はステップＳ４４でＡＵ遅延情報がオンであると判定された場合は、復号化制御部４０４は、ＡＵ遅延バッファ８０から送られた遅延ＡＵ出力情報がオンであるかどうかを判定する（ステップＳ４７）。

復号化制御部４０４は、遅延ＡＵ出力情報がオフであると判定したときは、後述する復号化部４０５による復号を行わせることなく処理を終了する。一方、復号化制御部４０４は、遅延ＡＵ出力情報がオンであると判定したときは、遅らせたＩピクチャを復号させることを指示する外部ＡＵ復号信号を復号化部４０５に送り、復号化部４０５によりＡＵ遅延バッファ８０から送られたＡＵを復号させる（ステップＳ４８）。そして、復号化部４０５は、ＡＵを復号化して得たピクチャデータをＤＰＢ４０６に転送する（ステップＳ４９）。

ＤＰＢ４０６は、復号化部４０５から送られたピクチャデータを保持する。ＤＰＢ４０６は、符号化本部４０２より参照要求があった場合にはＤＰＢ内のピクチャデータを符号化本部４０２に送る。

入力並び換えバッファ４０３は、符号化本部４０２から送られたピクチャデータとピクチャタイプを保持する。そして、入力並び換えバッファ４０３は、符号化本部４０２からデータの送信要求があった場合に、入力並び換えバッファ４０３内のピクチャデータとピクチャタイプを符号化本部４０２に送る。

ここで、本実施形態に基づいて符号化した場合のピクチャタイプの並びについて図５を参照して説明する。図５（ａ）は、８番目のＰピクチャがシーンチェンジであるような入力ピクチャが入力される様子を示している。図５（ｂ）は５番目のピクチャＰ５までが図示の順番で符号化された後、８番目のピクチャが符号化のために入力された状態を示す。８番目のＰピクチャＰ８が符号化のために入力された時点では、ピクチャデータは参照ピクチャ毎に符号化されるため、Ｉ２、Ｂ０、Ｂ１、続いてＰ５、Ｂ３、Ｂ４は既に符号化されている。

図５（ｂ）に示すように、８番目のＰピクチャ（Ｐ８）は、シーンチェンジを検出したピクチャであるためＩピクチャ（Ｉ８）として符号化される。また、図５（ｂ）において、８番目のピクチャの次のＢピクチャであるＢ６、Ｂ７は、参照ピクチャではないために入力並び換えバッファ４０３に格納されている。このＢピクチャＢ６、Ｂ７は、シーンチェンジのＩピクチャＩ８を参照ピクチャとして符号化されるピクチャのうち、Ｉ８より前の時間で表示したいピクチャである。

このときＩ８の符号化後のデコーダバッファ充足量が所定値β以上であれば、図５（ｂ）の順序で符号化される。Ｉ８の符号化後のデコーダバッファ充足量が所定値β未満であれば、デコーダバッファがアンダーフローする恐れがあるので、Ｉ８はＡＵ遅延バッファ８０に送られる。続いて図５（ｂ）に示すようにＢ６が符号化される。そのＢ６符号化後の次ピクチャのデコード前デコーダバッファ充足量がＩ８の符号量以上であれば、デコーダバッファがアンダーフローしないように、図５（ｃ）に示すように、符号化後のＢ６に続いて、ＡＵ遅延バッファ８０により遅延された符号化後のＩ８が出力される。これにより、符号化されたピクチャデータのビットストリーム中での順序は、図５（ｃ）に示すように、Ｂ６の次にＩ８が配置されたものとなる。

一方、上記Ｂ６符号化後の次ピクチャのデコード前デコーダバッファ充足量がＩ８の符号量未満であれば、続いて図５（ｂ）に示すようにＢ７が符号化される。そのＢ７符号化後の次ピクチャのデコード前デコーダバッファ充足量がＩ８の符号量以上であれば、デコーダバッファがアンダーフローしないように、図５（ｄ）に示すように、符号化後のＢ６、Ｂ７に続いて、ＡＵ遅延バッファ８０により遅延された符号化後のＩ８が出力される。これにより、符号化されたピクチャデータのビットストリーム中での順序は、図５（ｄ）に示すように、Ｂ６、Ｂ７、Ｉ８の順となる。なお、上記Ｂ６符号化後の次ピクチャのデコード前デコーダバッファ充足量がＩ８の符号量以上であった場合でもＩ８の出力位置を図５（ｄ）のようにしてもよい。

図５（ｅ）は、更に符号化したＩ８を遅延させて符号化したＰ１１の後に配置されている例を示す。図５（ｅ）に示すピクチャの並び順では、ＧＯＰ０内に本来はＧＯＰ１内で表示すべきＰ１１が含まれている。そのため、ＧＯＰ１（Ｉ８）から再生を開始した場合にＰ１１を再生させることができない。

そこで、Ｐ１１を再生させるための仕組みとして、図１５に示すような付加情報（ＭＰＥＧ−４ＡＶＣではＳＥＩ（Supplemental enhancement information）に相当）をＩ８に付与することで、Ｐ１１を再生可能とすることもできる。

図１５の付加情報の各要素について説明する。「present_frame_cnt_minus1」は、本ＳＥＩが付与されたピクチャにおいて符号化済で表示するピクチャの数を示す。「recovery_frame_cnt[i]」は、ｉ番目に表示するピクチャを再生するために再生を開始するピクチャの位置を示す情報である。ここでは、本ＳＥＩが付与されたピクチャからの符号化順における位置を示すものとする。また、「display_frame_cnt[i]」は、ｉ番目に表示するピクチャの位置を示す情報である。ここでは、本ＳＥＩが付与されたピクチャからの符号化順における位置を示すものとする。

図５（ｅ）の例でＩ８に本ＳＥＩを付与するとする。このとき、符号化済みで表示するピクチャはＰ１１のみであり、「present_frame_cnt_minus1」には“１”、「recovery_frame_cnt[0]」にはＩ２を示す値として“−９”を、「display_frame_cnt [0]」にはＰ１１を示す値として“−１”を、それぞれ符号化する。このようにすることで、Ｉ８から再生を始めた場合でもＰ１１を再生でき、表示順序に従ってＰ１１を表示することが可能となる。

次に、本実施の形態の効果について説明する。

本実施形態の画像間予測符号化を用いた動画像符号化装置１００では、デコーダバッファに余裕がない状態でシーンチェンジの入力画像をＩピクチャとして符号化した場合でも、デコーダバッファが破綻（オーバーフロー又はアンダーフロー）しないように、シーンチェンジのＩピクチャのビットスリーム上の位置を変更することで、シーンチェンジのＩピクチャの符号量を抑制することなく高画質を実現できる。

また、本実施の形態によれば、シーンチェンジのピクチャをＩピクチャとして符号化することでランダムアクセス性能を高めることができる。更に、本実施の形態によれば、ＧＯＰ単位のフィードバック制御の必要がなくメモリ量を削減できる。

（第２の実施の形態）
図６は、本発明になる動画像符号化装置の第２の実施の形態のブロック図を示す。本実施形態の動画像符号化装置２００は、強制Ｉピクチャ指示部１５、ピクチャ変換部２０、ピクチャタイプ設定部３５、符号化部４０、デコーダバッファ充足量計算部５０、ＡＵ並び換え制御部６０、ＡＵバッファ７０、ＡＵ遅延バッファ８０、及び時間情報訂正部９０で構成される。同図中、図１と同一構成部分には同一符号を付してある。

本実施形態の動画像符号化装置２００は、図１に示した動画像符号化装置１００と比較して、図１のシーンチェンジ検出部１０の替りに、強制Ｉピクチャ指示部１５を設けたものである。

本実施の形態の動画像符号化装置２００は、ビデオカメラ（カムコーダ）の録画中においてユーザ指定によって任意画像を写真画質のような超高画質とするような形態を想定している。規制を与えなければＤＶＤ／ＢＤ／ＡＶＣＨＤ規格不適合のため独自フォーマットとなる。

次に、動画像符号化装置２００の動作について図７のフローチャートを併せ参照して説明する。図７中、図２と同一処理ステップには同一符号を付し、その説明を省略する。強制Iピクチャ指示部１５は、外部からの強制Ｉピクチャ指示情報がオンである場合には、シーンチェンジ情報をオンとし、強制Ｉピクチャ指示情報がオフである場合にはシーンチェンジ情報をオフとする。強制Iピクチャ指示部１５は、このシーンチェンジ情報をピクチャタイプ設定部３５に送る（以上、ステップＳ３５）。

すなわち、本実施の形態では、入力画像信号のＳＡＤと所定値ＴＨａとの比較結果に関係なく、強制Iピクチャ指示部１５は、外部からの強制Ｉピクチャ指示情報に基づいてシーンチェンジ情報をオン又はオフとする。

ピクチャ変換部２０による入力画像信号のピクチャ変換後（ステップＳ１２）、ピクチャタイプ設定部３５は、強制Iピクチャ指示部１５から入力されたシーンチェンジ情報がオンであるかどうか判定する（ステップＳ１３）。ピクチャタイプ設定部３５は、シーンチェンジ情報がオフであれば、予め設定されたＩピクチャ挿入周期（Ｎ）、参照ピクチャ挿入周期（Ｍ）に基づいてピクチャタイプをＩピクチャ、Ｐピクチャ、Ｂピクチャのいずれかに設定する（ステップＳ１４）。一方、ピクチャタイプ設定部３５は、シーンチェンジ情報がオンであれば、ピクチャタイプをＩピクチャに設定する（ステップＳ１５）。

ピクチャタイプ設定部３５は、以上のように設定したピクチャタイプとシーンチェンジ情報を符号化部４０に送る。以後は第１の実施の形態と同様の動作が行われる。

次に、本実施の形態の効果について説明する。

本実施形態の画像間予測符号化を用いた動画像符号化装置２００では、強制的にシーンチェンジのピクチャとして設定した任意のピクチャにおいて、デコーダバッファの充足量が十分でない場合においても、上記任意のピクチャのＡＵのビットスリームでの並びの順序を変更することで、上記の任意のピクチャのＡＵの符号量を抑制することなく高画質を実現できる。

また、本実施の形態によれば、シーンチェンジに設定した任意のピクチャをＩピクチャとして符号化することでランダムアクセス性能を高めることができる。更に、本実施の形態によれば、ＧＯＰ単位のフィードバック制御の必要がなくメモリ量を削減できる。

（第３の実施の形態）
図８は、本発明になる動画像符号化装置の第３の実施の形態のブロック図を示す。本実施形態の動画像符号化装置３００は、シーンチェンジ検出部１０、ピクチャ変換部２０、ピクチャタイプ設定部３０、符号化部４５、デコーダバッファ充足量計算部５０、ＡＵ並び換え制御部６５、ＡＵバッファ７０、ＡＵ遅延バッファ８０、及び時間情報訂正部９０で構成される。同図中、図１と同一構成部分には同一符号を付してある。

本実施形態の動画像符号化装置３００は、図１に示した動画像符号化装置１００と比較して、符号化部４５及びＡＵ並び換え制御部６５が第１の実施形態の符号化部４０及びＡＵ並び換え制御部６０と異なる。動画像符号化装置３００は、カムコーダ、レコーダ、オーサリングなどの用途に使用可能である。なお、動画像符号化装置３００により得られる符号化データのフォーマットは、Ｂピクチャの遅延が禁止されているＤＶＤには不適合であるが、ＢＤ／ＡＶＣＨＤに適合可能である。

次に、本実施形態の動画像符号化装置３００の入力画像単位の動作について図９のフローチャートを併せ参照して説明する。同図中、図２と同一処理ステップには同一符号を付し、その説明を省略する。図９において、図２と異なるステップは、ステップＳ５１、Ｓ５２、Ｓ５３である。

最初に、ＡＵ並び換え制御部６５について第１の実施形態のＡＵ並び換え制御部６０との相違を説明する。ＡＵ並び換え制御部６５は、ＡＵ並び換え制御部６０と同様に、並び換えＡＵ符号量ｅが“０”より大きく、かつ、次ピクチャのデコード前デコーダバッファ充足量Bft(n+1)が並び換えＡＵ符号量ｅ以上であれば、遅延ＡＵ出力情報ｈをオンとし、それ以外の場合は遅延ＡＵ出力情報ｈをオフとし、この遅延ＡＵ出力情報ｈをデコーダバッファ充足量計算部５０及びＡＵバッファ７０に送る（以上、図９のステップＳ２１）。

続いて、ＡＵ並び換え制御部６５は、デコーダバッファ充足量Bf(n)が所定値β未満であればＡＵ遅延情報ｇをオンにし、デコーダバッファ充足量Bf(n)が所定値β以上であればＡＵ遅延情報ｇをオフとし、ＡＵ遅延情報ｇを符号化部４５、デコーダバッファ充足量計算部５０、及びＡＵバッファ７０に送る。本実施形態では所定値βを“０”とする。

更に、ＡＵ並び換え制御部６５は、ＡＵ遅延情報ｇがオンである場合には、並び換えＡＵ符号量ｅをデコーダバッファ充足量計算部５０より送られたＡＵ符号量ｃに設定する。並び換えＡＵ符号量ｅの初期値は“０”である。ＡＵ並び換え制御部６５は、並び換えＡＵ符号量ｅをデコーダバッファ充足量計算部５０に送る（以上、図９のステップＳ２２）。

以上の動作はＡＵ並び換え制御部６０と同様であるが、本実施の形態のＡＵ並び換え制御部６５は、更に、ＡＵ遅延情報ｇがオンである場合にはデコードバッファ充足量ｂを符号化部４５に送る（図９のステップＳ５２）。

その後、デコーダバッファ充足量計算部５０でデコーダバッファ充足量を再計算した後（図９のステップＳ２６）、符号化部４５が、シーンチェンジのＩピクチャを所定のＡＵ符号量を確保した状態で符号化した場合でも、デコーダバッファが破綻しないように所定ピクチャの目標符号量を決定する（図９のステップＳ５３）。ここで、「所定ピクチャ」とは、シーンチェンジのＩピクチャを参照ピクチャとして符号化するピクチャのうち、シーンチェンジのＩピクチャより前の時間で表示したいピクチャで、まだ符号化していないピクチャのことである。例えば、図５（ｂ）の例では、シーンチェンジのピクチャはＩ８であり、上記の所定ピクチャはＢ６とＢ７である。

続いて、図９のステップＳ２７で遅延ＡＵ出力情報がオンであるか否かを判定する。このとき、シーンチェンジのピクチャの符号化終了時点においてデコーダバッファのアンダーフローが生じていた場合は、遅延ＡＵ出力情報はオンと判定される。この場合は、更に、ステップＳ２８でＡＵ遅延バッファ８０に蓄積されていた所定のピクチャが符号化部４５に転送された後、ステップＳ２９でデコーダバッファ充足量が再計算される。このステップＳ２９において、シーンチェンジのピクチャの符号化直前の時点のデコーダバッファ充足量が再計算される。その後、ステップＳ３０、ステップＳ３１のＮ０を経て、符号化部４５が目標符号量を決定する（図９のステップＳ５１）。このステップＳ５１の目標符号量の決定に際しては、ステップＳ５３での目標符号量の決定が行われていた場合にはそちらを優先するものとする。

符号化部４５は、続いて、前述した所定のピクチャをステップＳ５３で決定した目標符号量に従い符号化する（ステップＳ１９）。これにより、シーンチェンジのＩピクチャを所定のＡＵ符号量を確保した状態で符号化した場合でも、デコーダバッファが破綻しないようにすることができる。

次に、符号化部４５について図１０及び図１１を参照して詳細に説明する。図１０は、符号化部４５の一例のブロック図を示す。同図中、図３と同一構成部分には同一符号を付してある。図１０に示すように、符号化部４５は目標符号量設定部４０１、符号化本部４０２、入力並び換えバッファ４０３、復号化制御部４０４、復号化部４０５、ＤＰＢ４０６、及び調整目標符号量設定部４５０で構成される。目標符号量設定部４０１、符号化本部４０２、入力並び換えバッファ４０３、復号化制御部４０４、復号化部４０５、及びＤＰＢ４０６は符号化部４０と同じであり、本実施の形態の符号化部４５は調整目標符号量設定部４５０が符号化部４０に追加された構成である。

次に、符号化部４５の特徴である調整目標符号量設定部４５０について説明する。符号化部４５は、ＡＵ遅延情報ｇがオンである場合にはＡＵ並び換え制御部６５から送られたデコードバッファ充足量ｂを調整目標符号量設定部４５０に送る。調整目標符号量設定部４５０は、入力並び換えバッファ４０３内のピクチャの目標符号量をＡＵ並び換え制御部６５から送られたデコードバッファ充足量Bb、ビットレート（Bitrate）、ピクチャ間隔（pic_period）、を用いた次式（５）により算出する（図９のステップＳ５３）。

Tb(i)＝w(i) * (Bb+m * Bitrate * pic_period) / m; （５）
Tb(i): 入力並び換えバッファ４０３内のi番目ピクチャの目標符号量
Bb: ＡＵ並び換え制御部６５から送られたデコードバッファ充足量
i: 入力並び換えバッファ４０３内のピクチャ番号（i=0,1,・・・）
m: 入力並び換えバッファ４０３内のピクチャ数
w(i): i番目ピクチャの重み付け比率。Σw(i) = m;
調整目標符号量設定部４５０は、算出した目標符号量Tb(i)を符号化本部４０２に送る。符号化本部４０２は、目標符号量設定部４０１と調整目標符号量設定部４５０の両方から目標符号量が送られた場合には調整目標符号量設定部４５０から送られた目標符号量を用いる（以上、図９のステップＳ５１）。

ここで、本実施の形態に基づいて符号化した場合のピクチャタイプの並びについて図５を用いて説明する。前述したように、図５（ｂ）は、５番目のピクチャＰ５までが符号化され、８番目のピクチャが入力された状態を示す。ピクチャデータは参照ピクチャ毎に符号化されるため、Ｉ２、Ｂ０、Ｂ１、続いてＰ５、Ｂ３、Ｂ４は既に符号化されている。次に、Ｂ６、Ｂ７は参照ピクチャではないために、図９のステップＳ１７で入力並び換えバッファ４０３に保持されており、８番目のピクチャＰ８がシーンチェンジであるためＩピクチャ（Ｉ８）として符号化される。

図１１は、Ｉ８を符号化後のデコードバッファ充足量の様子を示す。Ｂ４の符号化に続いてＩ８を符号化した後の、図９のステップＳ２０で計算されたデコードバッファ充足量が、図１１（Ａ）に示すＢｂ（Ｉ８）であったとする。この場合は、デコードバッファがアンダーフローした状態である。そこで、本実施の形態では、調整目標符号量設定部４５０が、シーンチェンジのＩピクチャＩ８を参照ピクチャとして符号化するピクチャのうち、Ｉ８より前の時間で表示したいピクチャで、まだ符号化していないピクチャであるＢピクチャＢ６及びＢ７の目標符号量Tb(B6)及びTb(B7)を下式により算出する（図９のステップＳ５３）。

Tb(B6)＝Tb(B7)＝ 1 * (Bb(I8)＋2 * Bitrate * pic_period) / 2; （６）
その後、デコーダバッファ充足量計算部５０は、ステップＳ２６でシーンチェンジのピクチャＩ８の符号化直前の時点のデコーダバッファ充足量を再計算する。このとき再計算されたデコーダバッファ充足量は図１１（Ｂ）に示すＢｔ（図１１（Ａ）のＢｔ（Ｉ８）に相当）である。続いて符号化部４５は、式（６）で算出した目標符号量Tb(B6)及びTb(B7)でＢ６及びＢ７を符号化する（図９のステップＳ１９）。

そして、ＡＵ並び換え制御部６５の制御により、ＡＵバッファ７０及びＡＵ遅延バッファ８０から時間情報訂正部９０を通して出力されるＡＵのビットストリームの並びを図５（ｄ）に示すように、Ｉ８の直前にＢ６とＢ７とを配置したＡＵの並びとする。この場合のデコーダバッファ充足量は、図１１（Ｃ）に示すように、Ｉ８符号化直前のＢｔの値をＢｔ（Ｂ６）とし、そこからＢピクチャＢ６、Ｂ７の符号化毎に変化することとなる。

なお、図１１（Ｃ）において、Ｂｔ（Ｂ６）からＢｂ（Ｂ６）までの差分がＢ６の符号量であり、Ｂｔ（Ｂ７）からＢｂ（Ｂ７）までの差分がＢ７の符号量である。また、Ｂｔ（Ｉ８）からＢｂ（Ｉ８）までの差分で示されるＩ８の符号量は、図１１（Ａ）で示したＩ８の符号量と同じであるが、上記のＡＵの並び換えによりＩ８出力後のデコーダバッファ充足量は０である。この結果、シーンチェンジのＡＵであるＩ８の符号量を所定量に確保した状態で符号化しても、Ｉ８符号化後のデコーダバッファの破綻（この場合アンダーフロー）を防止することができる。また、本実施の形態では、Ｉ８の次の参照ピクチャであるＰ１１の前にＩ８を配置することができる。

なお、図５（ｃ）のような符号化されたピクチャの並びにする場合には、Ｂ６の目標符号量Tb(B6)を示す式（６）の“２”を次式（７）にように“１”とすればよい。

Tb(B6)＝1 * (Bb(I8)＋1 * Bitrate * pic_period) / 1; （７）
次に、本実施の形態の効果について説明する。

本実施形態の画像間予測符号化を用いた動画像符号化装置３００では、第１の実施形態の動画像符号化装置１００の効果に加えて、シーンチェンジのＩピクチャの挿入位置を制御することが可能となる。Ｉピクチャの挿入位置が必ず次のＰピクチャの前となるように制御することで、図５（ｅ）のようにＩピクチャとＰピクチャの表示順と符号順が逆転する現象を回避することができるため、ＢＤ規格などＩピクチャとＰピクチャの表示順と符号順の逆転を禁じた規格に適合可能となる。

なお、図８の本実施の形態の動画像符号化装置３００は、シーンチェンジ検出部１０の替りに、第２の実施の形態の強制Ｉピクチャ指示部１５を設けた構成としてもよい。

（第４の実施の形態）
図１２は、本発明になる動画像符号化装置の第４の実施の形態のブロック図を示す。本実施形態の動画像符号化装置４００は、シーンチェンジ検出部１０、ピクチャ変換部２０、ピクチャタイプ設定部３０、符号化部４７、デコーダバッファ充足量計算部５０、ＡＵ並び換え制御部６５、ＡＵバッファ７０、ＡＵ遅延バッファ８０、及び時間情報訂正部９０で構成される。同図中、図８と同一構成部分には同一符号を付し、その説明を省略する。

本実施形態の動画像符号化装置４００は、符号化部４７が図８に示した動画像符号化装置３００の符号化部４５と構成が異なる。動画像符号化装置４００は、カムコーダ、レコーダ、オーサリングなどの用途に使用可能である。なお、動画像符号化装置４００により得られる符号化データのフォーマットは、ＤＶＤ／ＢＤ／ＡＶＣＨＤに適合可能であり、ＭＰＥＧ−２への対応も可能である。

図１３は、図１２中の符号化部４７の一例のブロック図を示す。同図中、図１０と同一構成部分には同一符号を付してある。図１３に示すように、符号化部４７は目標符号量設定部４０１、符号化本部４０２、入力並び換えバッファ４０３、復号化制御部４０４、復号化部４０５、ＤＰＢ４０６、調整目標符号量設定部４５０、及びピクチャタイプ再設定部４７０で構成される。目標符号量設定部４０１、符号化本部４０２、入力並び換えバッファ４０３、復号化制御部４０４、復号化部４０５、ＤＰＢ４０６、及び調整目標符号量設定部４５０は符号化部４５と同じであり、本実施の形態の符号化部４７はピクチャタイプ再設定部４７０が符号化部４５に追加された構成である。

次に、符号化部４７の動作について説明する。ピクチャタイプ再設定部４７０は、ＡＵ遅延情報がオンである場合に入力並び換えバッファ４０３にピクチャタイプ変更要求を送る。入力並び換えバッファ４０３は、ピクチャタイプ再設定部４７０からピクチャタイプ変更要求が送られた場合に入力並び換えバッファ４０３に保持しているピクチャタイプを変更する。

調整目標符号量設定部４５０は、前述したように式（５）に基づいて入力並び換えバッファ４０３内のピクチャの目標符号量を算出する。符号化本部４０２は、目標符号量設定部４０１と調整目標符号量設定部４５０の両方から目標符号量が送られた場合には調整目標符号量設定部４５０から送られた目標符号量を用いる
ここで、本実施の形態に基づいて符号化した場合のピクチャタイプの並びについて図１４を用いて説明する。図１４（ａ）は８番目のピクチャがシーンチェンジであるような入力ピクチャの様子を示している。この入力ピクチャは、Ｉピクチャ挿入周期Ｎが「１５」、参照ピクチャ挿入周期Ｍが「３」である。

シーンチェンジの８番目のピクチャが入力された時点では、ピクチャデータは参照ピクチャ毎に符号化されるため、Ｉ２、Ｂ０、Ｂ１、続いてＰ５、Ｂ３、Ｂ４は既に符号化されている。８番目のピクチャの次のＢピクチャであるＢ６、Ｂ７は参照ピクチャではないために入力並び換えバッファ４０３に格納されており、８番目のＰピクチャ（Ｐ８）がシーンチェンジであるためＩピクチャ（Ｉ８）として符号化される。

このとき前記の符号化部４５では、Ｉ８を符号化後のデコードバッファ充足量が図１１にＢｂ（Ｉ８）で示したものであるとすると、目標符号量設定部４０１が式（６）で算出した目標符号量Tb(B6)及びTb(B7)に基づいて、ＢピクチャＢ６及びＢ７を符号化する。これにより符号化したＢ７の後に符号化したＩ８を配置する、つまり図５（ｄ）のような符号化されたピクチャの並びにしている。

これに対し、本実施の形態の符号化部４７は、入力並び換えバッファ４０３に保持されていた６番目のピクチャ及び７番目のピクチャは、図１４（ａ）に示すように本来ピクチャタイプはＢピクチャであるが、ピクチャタイプ再設定部４７０からのピクチャタイプ変更要求を受けて６番目と７番目のピクチャがＰピクチャに変更された場合、図１４（ｂ）に示すように、ＢピクチャからＰピクチャに変更して符号化したＰ６とＰ７をＩ８の前の位置に配置されたピクチャの並びとする。

なお、図１４（ｃ）は、５番目のピクチャまでが符号化され、８番目のピクチャがシーンチェンジであるためＩピクチャ（Ｉ８）として符号化されている。入力並び換えバッファ４０３に保持されていた６番目のピクチャ及び７番目のピクチャは本来ピクチャタイプはＢピクチャであるが、ピクチャタイプ再設定部４７０からのピクチャタイプ変更要求を受けて７番目のピクチャがＰピクチャＰ７に変更されて符号化されている様子を示している。なお、６番目のピクチャは本来のＢ６でピクチャタイプは変更されていない。

なお、図１４（ｃ）に示すピクチャの並びにおいて、Ｐ７をＢ７とし、Ｂ６をＰ６としてもよい。また、図１４（ｂ）に示したピクチャタイプ変更とするか、同図（ｃ）に示したピクチャタイプ変更とするかは、予め決めておくものとする。

次に、本実施の形態の動画像符号化装置４０の効果について説明する。

本実施形態では、第1の実施形態の効果に加えて、符号化部４７の符号化方法としてＭＰＥＧ−４ＡＶＣに加えて、より一般的に使用されるＭＰＥＧ−２規格に準拠させることが可能となる。ＭＰＥＧ−２規格では、ＧＯＰの規定として表示順で最後のピクチャがＰピクチャであると定められているが、図１４（ｃ）の場合はこれに準拠している。また、Ｂピクチャの並び換え遅延が解消されるためＤＶＤ規格にも準じる構成となる。

なお、図１２の本実施の形態の動画像符号化装置４００は、シーンチェンジ検出部１０の替りに、第２の実施の形態の強制Ｉピクチャ指示部１５を設けた構成としてもよい。

なお、本発明は以上の実施の形態に限定されるものではなく、各実施の形態の動作をコンピュータにより実行させる動画像符号化プログラムも包含するものである。この動画像符号化プログラムは、記録媒体から再生されてコンピュータに取り込まれてもよいし、ネットワークを介してコンピュータにダウンロードされてもよい。

本発明の動画像符号化装置は、監視カメラにおける変化点の高画質化やＤＶＤレコーダなどで録り溜めた映像シーンのインデックス映像の高画質化、更にはビデオカメラでの特定画像の高画質化などに利用できる。

１０ シーンチェンジ検出部
１５ 強制Ｉピクチャ指示部
２０ ピクチャ変換部
３０、３５ ピクチャタイプ設定部
４０、４５、４７ 符号化部
５０ デコーダバッファ充足量計算部
６０ ＡＵ並び換え制御部
７０ ＡＵバッファ
８０ ＡＵ遅延バッファ
９０ 時間情報訂正部
１００、２００、３００、４００ 動画像符号化装置
４０１ 目標符号量設定部
４０２ 符号化本部
４０３ 入力並び換えバッファ
４０４ 復号化制御部
４０５ 復号化部
４０６ ＤＰＢ
４５０ 調整目標符号量設定部
４７０ ピクチャタイプ再設定部

Claims (3)

1. 入力動画像信号からシーンチェンジ箇所を検出するシーンチェンジ検出ステップと、
   前記シーンチェンジ検出ステップで得られた検出情報に基づいて、前記シーンチェンジを検出した時点における前記入力動画像信号のピクチャの符号化ピクチャタイプを画像内符号化ピクチャに設定すると共に、前記シーンチェンジを検出しないときの符号化ピクチャタイプを所定の規則に従い設定するピクチャタイプ設定ステップと、
   設定された前記符号化ピクチャタイプに基づいた画像間予測符号化を用いる符号化により前記入力動画像信号を符号化して得たピクチャデータ、及び前記画像内符号化ピクチャに設定されたピクチャを予め設定された所定の目標符号量または予め設定された所定の量子化幅に基づいて画像内符号化して得たピクチャデータを出力すると共に、そのピクチャデータの符号量情報を出力する符号化ステップと、
   前記符号量情報に基づいて、仮想的なデコーダバッファの充足量を計算するデコーダバッファ充足量計算ステップと、
   前記画像内符号化ピクチャに設定されたピクチャの符号化に続く前記符号化ステップでの符号化後の前記デコーダバッファの充足量が、前記画像内符号化ピクチャのピクチャデータの符号量以上となった時に、その時点でのピクチャデータに続いて前記画像内符号化ピクチャのピクチャデータを配置するよう並び換えを指示する並び換え制御ステップと、
   前記ピクチャデータをバッファ手段に一時蓄積する第１の蓄積ステップと、
   前記並び換え制御ステップにより前記ピクチャデータの並び換えの指示があった場合に、前記バッファ手段より出力された前記ピクチャデータを遅延バッファ手段に一時蓄積する第２の蓄積ステップと、
   前記並び換え制御ステップの指示により前記バッファ手段又は前記遅延バッファ手段より前記並び換えの順で出力された前記ピクチャデータの時間情報を書き換える時間情報訂正ステップと
   を含むことを特徴とする動画像符号化方法。
2. 入力動画像信号からシーンチェンジ箇所を検出するシーンチェンジ検出手段と、
   前記シーンチェンジ検出手段で得られた検出情報に基づいて、前記シーンチェンジを検出した時点における前記入力動画像信号のピクチャの符号化ピクチャタイプを画像内符号化ピクチャに設定すると共に、前記シーンチェンジを検出しないときの符号化ピクチャタイプを所定の規則に従い設定するピクチャタイプ設定手段と、
   設定された前記符号化ピクチャタイプに基づいた画像間予測符号化を用いる符号化により前記入力動画像信号を符号化して得たピクチャデータ、及び前記画像内符号化ピクチャに設定されたピクチャを予め設定された所定の目標符号量または予め設定された所定の量子化幅に基づいて画像内符号化して得たピクチャデータを出力すると共に、そのピクチャデータの符号量情報を出力する符号化手段と、
   前記符号量情報に基づいて、仮想的なデコーダバッファの充足量を計算するデコーダバッファ充足量計算手段と、
   前記画像内符号化ピクチャに設定されたピクチャの符号化に続く前記符号化手段での符号化後の前記デコーダバッファの充足量が、前記画像内符号化ピクチャのピクチャデータの符号量以上となった時に、その時点でのピクチャデータに続いて前記画像内符号化ピクチャのピクチャデータを配置するよう並び換えを指示する並び換え制御手段と、
   前記ピクチャデータを一時蓄積するバッファ手段と、
   前記並び換え制御手段により前記ピクチャデータの並び換えの指示があった場合に、前記バッファ手段より出力された前記ピクチャデータを一時蓄積する遅延バッファ手段と、
   前記並び換え制御手段の指示により前記バッファ手段又は前記遅延バッファ手段より前記並び換えの順で出力された前記ピクチャデータの時間情報を書き換える時間情報訂正手段と
   を有することを特徴とする動画像符号化装置。
3. 入力動画像信号からシーンチェンジ箇所を検出するシーンチェンジ検出ステップと、
   前記シーンチェンジ検出ステップで得られた検出情報に基づいて、前記シーンチェンジを検出した時点における前記入力動画像信号のピクチャの符号化ピクチャタイプを画像内符号化ピクチャに設定すると共に、前記シーンチェンジを検出しないときの符号化ピクチャタイプを所定の規則に従い設定するピクチャタイプ設定ステップと、
   設定された前記符号化ピクチャタイプに基づいた画像間予測符号化を用いる符号化により前記入力動画像信号を符号化して得たピクチャデータ、及び前記画像内符号化ピクチャに設定されたピクチャを予め設定された所定の目標符号量または予め設定された所定の量子化幅に基づいて画像内符号化して得たピクチャデータを出力すると共に、そのピクチャデータの符号量情報を出力する符号化ステップと、
   前記符号量情報に基づいて、仮想的なデコーダバッファの充足量を計算するデコーダバッファ充足量計算ステップと、
   前記画像内符号化ピクチャに設定されたピクチャの符号化に続く前記符号化ステップでの符号化後の前記デコーダバッファの充足量が、前記画像内符号化ピクチャのピクチャデータの符号量以上となった時に、その時点でのピクチャデータに続いて前記画像内符号化ピクチャのピクチャデータを配置するよう並び換えを指示する並び換え制御ステップと、
   前記ピクチャデータをバッファ手段に一時蓄積する第１の蓄積ステップと、
   前記並び換え制御ステップにより前記ピクチャデータの並び換えの指示があった場合に、前記バッファ手段より出力された前記ピクチャデータを遅延バッファ手段に一時蓄積する第２の蓄積ステップと、
   前記並び換え制御ステップの指示により前記バッファ手段又は前記遅延バッファ手段より前記並び換えの順で出力された前記ピクチャデータの時間情報を書き換える時間情報訂正ステップと
   を、コンピュータに実行させることを特徴とする動画像符号化プログラム。

Images