JP2005051659A - 動画像符号化方法および動画像符号化装置 - Google Patents

Abstract

【課題】 注目マクロブロック数が増えても全体の割り当て符号量においてオーバーフローを抑制しながら、注目領域の画質を向上させていく。
【解決手段】 入力画像格納部１１が入力した動画像データから注目マクロブロックと非注目マクロブロックとを判別する注目マクロブロック判別部１２と、注目ＭＢ判別部が判別した注目ＭＢでは非注目ＭＢに設定する目標量子化値ＱＰ_{（ｎ，ｍ）}よりも小さい目標量子化値を設定する量子化値演算部１３ａと、入力画像格納部が入力した動画像データをマクロブロック単位で直交変換する直交変換部１５と、直交変換部が直交変換したＭＢ単位のデータを量子化値演算部からの目標量子化値ＱＰ_{（ｎ，ｍ）}に基づいて量子化する量子化部１６とを備えた動画像符号化装置において、前記量子化値演算部１３ａは、注目マクロブロック数ｋが多いほど目標量子化値ＱＰ_{（ｎ，ｍ）}（ｋ）′を小さく設定するように構成されている。
【選択図】 図１

Description

本発明は、入力した動画像データをブロック単位で直交変換し、直交変換したデータをブロック単位で量子化し符号化するもので、注目ブロックでは非注目ブロックよりも小さい目標量子化値に基づいて量子化することで、注目ブロックでは符号量を多めに割り当てて符号化する動画像符号化方法および動画像符号化装置に関する。

従来の動画像符号化装置を図６に基づいて説明する。符号化対象となる入力画像は、複数に分割した二次元の単位ブロックであるマクロブロック（ＭＢ）の単位で符号化処理が行われる。

まず、装置外部より固体撮像装置等から動画像データの輝度／色差信号が入力画像格納部１１に入力される。入力画像格納部１１に１フレーム分の動画像データが入力され始めると、注目マクロブロック判別部１２により、例えば入力画像や過去の入力画像の状態から顔・人物などの注目情報が１フレーム内のどこに存在するかを認識し、量子化対象のマクロブロックが注目領域内であるか否かという判断を行う。また、入力画像格納部１１からマクロブロックの輝度データまたは色差データが出力されるたびに、そのマクロブロックが注目マクロブロックであるか否かを量子化値演算部１３ｃに出力する。量子化値演算部１３ｃは、量子化部１６が量子化対象としている信号に対する目標量子化値ＱＰの決定を行う。

符号化を行う最初の１フレームの画像に対しては、１フレームに含まれるすべてのマクロブロックに対してフレーム内ＭＢ符号化を行うフレーム内フレーム符号化を行う。フレーム内ＭＢ符号化時は、入力画像格納部１１のマクロブロックの輝度データは、直交変換部１５に出力され、直交変換処理を行い、周波数成分に変換される。次に、前記周波数成分に対し、量子化部１６において量子化を行う。

１フレームの目標発生符号量ＣＦ_ｔは、外部より設定される目標ビットレート［ｂｐｓ］とフレームレート［ｆｐｓ］とにより、次式で算出される。

ＣＦ_ｔ＝目標ビットレート／フレームレート ……………………………（１）
量子化部１６は、量子化値演算部１３ｃにより出力された目標量子化値ＱＰにより量子化を行う。量子化部１６が使用する目標量子化値は、可変長符号化部１７が出力した符号量や１フレームの目標発生符号量ＣＦ_ｔなどから決定される。ただし、動画像の最初のフレームの処理時の目標量子化値は演算結果による値ではなく初期値により量子化を行う。

量子化部１６以降は、２つの処理過程に分岐する。

まず第一の処理過程は、符号を生成し、記録媒体に生成した符号を記録する処理である。可変長符号化部１７において、量子化部１６からの出力に対し、冗長情報を取り除き、さらに情報量を削減し、符号を生成する。上記処理後に、出力された符号は記録媒体等に記録されたり、通信装置を介して端末に送信されたりする。

第二の処理過程は、次のフレーム間差分処理のために必要な参照画像を生成する処理である。

量子化部１６の出力に対し、逆量子化部１８において逆量子化を行うとともに、逆直交変換部１９において逆直交変換を行い、量子化部１６の結果に基づいた復号化処理を行う。逆直交変換部１９の出力画像は、ｎフレーム参照画像格納部２０に格納される。次の入力画像については、差分処理部１４において入力画像と参照画像の差分を取ることで符号量を削減する予測符号化を行う。その際、動き検出部２２において、画像の動きを考慮し、入力画像と参照画像の差が最小となる位置を求める動きベクトル検出を行う。入力画像格納部１１に入力された色差信号のマクロブロックについても、輝度信号について行ったマクロブロック単位の上記同様の処理を行う。

ｎフレーム参照画像格納部２０が１フレーム分の逆量子化信号を格納し終えると、動き検出部２２や直交変換部１５が入力画像格納部１１内の（ｎ＋１）フレームの入力画像信号の先頭を読み出す前に、（ｎ−１）フレーム参照画像格納部２１に対して１フレーム分の信号の書き写しが行われる。

次に、フレーム間予測フレーム符号化の説明を行う。フレーム間予測フレーム符号化においては、各マクロブロックに対し、フレーム間ＭＢ符号化とフレーム内ＭＢ符号化とを自由に選択できる。

まず、動き検出部２２は、（ｎ−１）フレーム参照画像格納部２１から動き検出部２２に必要な範囲の輝度データを読み出し、入力画像格納部１１の輝度信号領域内のマクロブロックとの差分が最小となる位置を探索し、そのずれを動きベクトルとして検出する。

その後、入力画像格納部１１内の入力データの状態や動き検出部２２の出力信号の結果に応じてフレーム内／間ＭＢ符号化決定部２３は、入力画像のフレームの符号化方法（例えばフレーム間ＭＢ符号化かフレーム内ＭＢ符号化等）を決定する。

フレーム内／間ＭＢ符号化決定部２３が、フレーム間ＭＢ符号化と判断した場合は、符号化対象となっている入力画像格納部１１から出力されるマクロブロックと入力画像のマクロブロックより動き検出部２２にて検出した動きベクトル分ずれた（ｎ−１）フレーム参照画像格納部２１内の画像との差分処理を差分処理部１４で行う。

一方、フレーム内／間ＭＢ符号化決定部２３が、フレーム内ＭＢ符号化と判断した場合は、符号化対象となっている入力画像格納部１１から出力されるマクロブロックに対する差分処理は行わない。その出力された画像に対しては、フレーム内ＭＢ符号化と同様に直交変換部１５と量子化部１６において、直交変換処理と量子化処理を行う。

量子化部１６による処理以降に、可変長符号化部１７による処理を行う。

逆量子化部１８および逆直交変換部１９による復号化処理についても、逆量子化部１８まではフレーム内ＭＢ符号化と同様の処理を行う。

逆量子化部１８の出力が、フレーム内／間ＭＢ符号化決定部２３でフレーム間ＭＢ符号化と判断していた場合、そのマクロブロック画像が予測誤差画像であるため、動き検出部２２内にある入力画像マクロブロックとの差分を取った参照画像と加算することで復号を行う。

逆量子化部１８の出力が、フレーム内／間ＭＢ符号化決定部２３でフレーム内ＭＢ符号化と判断していた場合、逆量子化部１８から出力されたマクロブロック画像自体が復号画像となるので加算処理は行わない。

以降は、フレーム内ＭＢ符号化の処理と同様にｎフレーム参照画像格納部２０に対し、現在処理を行っている入力画像内の処理対象のマクロブロック位置に対応するブロック位置に逆直交変換部１９の出力の格納を行う。

ｎフレーム参照画像格納部２０が１フレーム分の逆量子化信号を格納し終えると、動き検出部２２や直交変換部１５が入力画像格納部１１内の（ｎ＋１）フレームの入力画像信号の先頭を読み出す前に、（ｎ−１）フレーム参照画像格納部２１に対して１フレーム分の信号の書き写しが行われる。

入力画像格納部１１に入力された色差信号については、フレーム内／間ＭＢ符号化決定部２３でフレーム間ＭＢ符号化と判断していた場合は、動き検出部２２に、ｎフレーム参照画像格納部２０内の色差信号領域内の入力画像内の対象マクロブロック位置より輝度信号処理時の動きベクトルの検出結果の動きベクトル分ずれた位置から色差信号が入力画像に対する差分対象として格納される。

差分処理以降の処理については、輝度信号の場合と同様に、フレーム内／間ＭＢ符号化決定部２３の出力に応じて処理を行い、符号の生成及び符号の格納、参照画像の生成を行う。

この処理を繰返し行うことにより、入力画像に対し時間的に常に１フレーム前の画像を（ｎ−１）フレーム参照画像格納部２１に用意し、入力画像の符号化を行うことができる。

量子化値演算部１３ｃは、次のようにして、目標量子化値を求める。ここで、過去１フレーム分の発生符号量をＣＦ_０、過去１フレーム分の平均量子化値をＱ_０、目標発生符号量をＣＦ_ｔ、目標量子化値をＱＰ_{（ｎ，ｍ）}とする。

以下の式の導出は、大雑把に、
１）量子化処理を直交変換画像に対しての除算処理と考える。

２）過去の１フレームのＤＣＴ出力画像の発生符号量と目標とするフレームのＤＣＴ出力画像の発生符号量は等しい。
という概念に基づいている。

式の要素値は、処理対象から過去１フレーム分の符号量という意味である。図７（ａ），（ｂ）に示すように、量子化部１６が現在処理対象としているマクロブロックより１フレーム前のマクロブロックから１つ前のマクロブロックまでの発生符号量の累積値が、過去１フレーム分の発生符号量ＣＦ_０である。量子化部１６が現在処理対象としているマクロブロックより１フレーム前のマクロブロックから１つ前のマクロブロックまでの各マクロブロックに用いた目標量子化値の平均値が平均量子化値Ｑ_０である。ユーザや外部より設定された１秒間の目標発生符号量である目標ビットレートを１秒間に入力画像格納部１１に格納されるフレーム枚数であるフレームレートで除算することにより算出されたものが１フレームの目標発生符号量ＣＦ_ｔである。これらに基づいて、目標量子化値ＱＰ_{（ｎ，ｍ）}を仮に決定する。

ｎ番目の１フレーム内のｍ番目のマクロブロックの発生符号量をＭＢ_ｎ，ｍとして、過去１フレーム分の発生符号量ＣＦ_０は、図７を参照して、
ＣＦ_０＝ＭＢ_{ｎ−１，ｍ}＋ＭＢ_{ｎ−１，ｍ＋１}＋ＭＢ_{ｎ−１，ｍ＋２}＋……
＋ＭＢ_{ｎ，ｍ−２}＋ＭＢ_{ｎ，ｍ−１} …………………………（２）
ｎ番目の１フレーム内のｍ番目のマクロブロックに使用した目標量子化値をＱＰ_ｎ，ｍとして、過去１フレーム分の平均量子化値Ｑ_０は、
Ｑ_０＝（ＱＰ_{ｎ−１，ｍ}＋ＱＰ_{ｎ−１，ｍ＋１}＋ＱＰ_{ｎ−１，ｍ＋２}＋……
＋ＱＰ_{ｎ，ｍ−２}＋ＱＰ_{ｎ，ｍ−１}）／１ＶＯＰ内のマクロブロック数
………………（３）
ここで、ＶＯＰ（VideoObject Plane）は１フレームのことである。

過去１フレーム分の発生符号量ＣＦ_０、過去１フレーム分の平均量子化値Ｑ_０、目標発生符号量ＣＦ_ｔ、目標量子化値ＱＰ_{（ｎ，ｍ）}の関係は、
ＱＰ_{（ｎ，ｍ）}×ＣＦ_ｔ＝Ｑ_０×ＣＦ_０ …………………………………………（４）
で表わされ、未知数としての目標量子化値ＱＰ_{（ｎ，ｍ）}は、
ＱＰ_{（ｎ，ｍ）}＝Ｑ_０×ＣＦ_０／ＣＦ_ｔ …………………………………………（５）
となる。

量子化値演算部１３ｃでは、式（５）の演算に基づいて目標量子化値ＱＰ_{（ｎ，ｍ）}を求める。ただし、これは非注目マクロブロックについてである。注目マクロブロックについては、次のように補正される。

量子化値演算部１３ｃは、量子化部１６の処理対象が注目マクロブロックである場合、注目マクロブロック画質向上差分値Ａを、上記の仮決定した目標量子化値ＱＰ_{（ｎ，ｍ）}より減算する。すなわち、
ＱＰ_{（ｎ，ｍ）}′＝ＱＰ_{（ｎ，ｍ）}−Ａ …………………………………………（６）
とする。量子化部１６の処理対象が非注目マクロブロックであった場合は、前記の減算処理は行わない。

この方法により、注目マクロブロックについては、時間の経過とともに、非注目マクロブロックに比べて、目標量子化値を減少させながら量子化を進めることにより、注目マクロブロックでは符号量を多めに割り当て、画質の向上を図っていく仕組みとなっている。
(例えば、特許文献１参照。)
特開平４−２６６２８６号公報

上記の従来技術では、注目ブロックの画質向上のための対策が、注目ブロック画質向上差分値Ａの減算となっているが、これは、注目マクロブロック数の増減に関係なく、常に一律に減算するため、次の不都合が発生する。すなわち、ある注目ブロックが突出して符号量が増加する場合があるが、そのような注目ブロックが１フレーム内に多発すると、１フレーム内の発生符号量が急増し、それ以降の可変長符号化の処理や逆量子化部、逆直交変換部での処理での所有時間が増え、結果的に１フレームの目標処理時間に処理が間に合わなくなり、その結果、例えばフレーム落ちが発生するといった不都合を招来する場合がある。

本発明は、上記の課題を解決するために次のような手段を講じる。

本発明による動画像符号化方法は、入力した動画像データから注目ブロックと非注目ブロックとを識別し、前記入力した動画像データをブロック単位で直交変換し、前記直交変換したデータをブロック単位で量子化するに、前記注目ブロックでは前記非注目ブロックよりも小さい目標量子化値に基づいて量子化することで、前記注目ブロックでは符号量を多めに割り当てて符号化することを前提に置く。このような動画像符号化方法において、さらに、注目ブロック数が多くなるにつれて目標量子化値を１注目ブロック当たりの符号量増分が小さくなるような目標量子化値に補正し、この補正後の目標量子化値に基づいて前記注目ブロックを量子化することを特徴とする。

この構成による作用は次のとおりである。注目ブロックの量子化に際して、その目標量子化値を小さめに補正することにより、注目ブロックに割り当てる符号量を多めにし、より詳細な画像情報を得る。ここで、補正後の目標量子化値をどのようにするかが問題となる。

従来技術の場合は、注目ブロック数の大小の如何にかかわらず、常に一律に固定値の注目マクロブロック画質向上差分値Ａを減算するという手法を用いていたために、注目ブロック数ｋが増加するにつれて符号量増分が多くなり、全体の割り当て符号量ＣＦｚが大きく増大して、許容限度をオーバーフローするおそれがあった。

これに対して、本発明においては、注目ブロック数ｋの増減に応じて適応的に１注目ブロック当たりの符号量増分ΔＭＢ（ｋ）を調整する。すなわち、注目ブロック数ｋが多いほど１注目ブロック当たりの符号量増分ΔＭＢ（ｋ）が小さくなるような目標量子化値に補正する。

注目ブロック数ｋに応じた補正後の目標量子化値をＱＰ_{（ｎ，ｍ）}（ｋ）′とすると、ＱＰ_{（ｎ，ｍ）}（ｋ）′＜ＱＰ_{（ｎ，ｍ）}の条件で、
ＱＰ_{（ｎ，ｍ）}（１）′＜ＱＰ_{（ｎ，ｍ）}（２）′＜ＱＰ_{（ｎ，ｍ）}（３）′……
…………………………（７）
となるような関係で目標量子化値を補正する（図２参照）。

換言すると、注目ブロックにおいては目標量子化値を小さくするのであるが、従来技術のように注目ブロック数にかかわらず一律に小さくするのではなく、注目ブロック数に応じて、注目ブロック数が少ないほど減少分を多くし、注目ブロック数が多いほど減少分を小さくする状態で目標量子化値を補正する。

この結果、注目ブロック数が増えても全体の割り当て符号量においてオーバーフローを抑制しながら、時間経過とともに目標量子化値を減少させて、なるべく多くの画像情報を取得し、注目領域の画質を向上させていくことができる。

上記の動画像符号化方法において、前記目標量子化値の補正を次のようにすることが好ましい。すなわち、全体の割り当て符号量ＣＦｚに対する注目ブロック全体の符号量上昇率αを注目ブロック数ｋで除算し、その除算結果の商（α／ｋ）を１から減じて得た値（１−α／ｋ）を過去１フレーム分の発生符号量ＣＦ_０に乗じて補正後の過去１フレーム分の発生符号量ＣＦ_０′とし、この補正後の過去１フレーム分の発生符号量ＣＦ_０′に基づいて補正後の目標量子化値ＱＰ_{（ｎ，ｍ）}′を求める。

このように構成すれば、注目ブロック数の如何にかかわらず、１フレーム全体での符号量増分がほぼ一定となり、適応的な目標量子化値調整を実現できる。よって、全体の割り当て符号量におけるオーバーフローを確実に抑制しながら、時間経過とともに注目領域の画質を向上させていくことができる。

上記において、同じ注目ブロックであっても、フレーム内予測符号化のブロックとフレーム間予測符号化のブロックでは、必要とされる符号量に違いがあるので、フレーム内予測符号化とフレーム間予測符号化とで異なる処理を行うのが好ましい。すなわち、前記過去１フレーム分の発生符号量に乗じる値（１−α／ｋ）について、フレーム内予測符号化を行うブロックに対してはフレーム内予測符号化に適した値（１−α_１／ｋ）を用い、フレーム間予測符号化を行うブロックに対してはフレーム間予測符号化に適した値（１−α_２／ｋ）を用いるように構成する。予測符号化がフレーム内であるかフレーム間であるかに応じて用いる値を切り替えるのである。

動画像符号化装置については、次のように展開することが可能である。

すなわち、本発明による動画像符号化装置は、外部から動画像データを入力する入力画像格納手段と、前記入力画像格納手段が入力した動画像データから注目ブロックと非注目ブロックとを判別する注目ブロック判別手段と、前記注目ブロック判別手段が判別した前記注目ブロックでは前記非注目ブロックに設定する目標量子化値よりも小さい目標量子化値を設定する量子化値演算手段と、前記入力画像格納手段が入力した動画像データをブロック単位で直交変換する直交変換手段と、前記直交変換手段が直交変換したブロック単位のデータを前記量子化値演算手段からの目標量子化値に基づいて量子化する量子化手段とを備えることを前提としている。このような構成の動画像符号化装置において、前記量子化値演算手段を、前記注目ブロック数が多いほど前記目標量子化値を小さく設定するように構成する。

上記において好ましい構成は、前記量子化値演算手段が、平均量子化値と目標発生符号量と過去１フレーム分の発生符号量から目標量子化値を導く演算において、全体の割り当て符号量に対する注目ブロック全体の符号量上昇率を注目ブロック数で除算し、前記除算結果の商を１から減じて得た値を前記過去１フレーム分の発生符号量に乗じて補正し、この補正後の過去１フレーム分の発生符号量に基づいて前記補正後の目標量子化値を求めるように構成されていることである。

また、上記において別の好ましい態様は、前記量子化値演算手段が、前記過去１フレーム分の発生符号量に乗じる値について、フレーム内予測符号化を行うブロックに対してはフレーム内予測符号化に適した値を用い、フレーム間予測符号化を行うブロックに対してはフレーム間予測符号化に適した値を用いるように構成されていることである。

本発明によれば、注目ブロックにおいては目標量子化値を小さくするのであるが、従来技術のように注目ブロック数にかかわらず一律に小さくするのではなく、注目ブロック数に応じて、注目ブロック数が少ないほど減少分を多くし、注目ブロック数が多いほど減少分を小さくする状態で目標量子化値を補正する。したがって、注目ブロック数が増えても全体の割り当て符号量においてオーバーフローを抑制しながら、時間経過とともに目標量子化値を減少させて、なるべく多くの画像情報を取得し、注目領域の画質を向上させていくことができる。

以下、本発明にかかわる動画像符号化装置・方法の実施の形態を図面に基づいて詳細に説明する。

（実施の形態１）
図１は本発明の実施の形態１における動画像符号化装置の構成を示すブロック図である。本実施の形態においては、符号化対象となる入力画像は複数に分割した二次元の単位ブロックであるマクロブロック（ＭＢ）の単位で符号化処理が行われる。

図１において、１１は外部の固体撮像装置等から動画像データの輝度／色差信号を入力して格納する入力画像格納部である。１２は入力画像や過去の入力画像の状態から顔・人物などの注目情報が１フレーム内のどこに存在するかを認識し、量子化対象のマクロブロックが注目領域内であるか否かという判断を行い、そのマクロブロックが注目マクロブロックであるか否かを量子化値演算部１３ａに出力する注目マクロブロック判別部である。１３ａは量子化対象のマクロブロックに対して注目マクロブロック判別部１２からの情報に基づいて量子化部１６に対する目標量子化値ＱＰ_{（ｎ，ｍ）}の決定を行う量子化値演算部である。１５は入力画像格納部１１からの動画像データに対してマクロブロック単位で直交変換処理を行い、周波数成分に変換する直交変換部である。１６は前記周波数成分に対して量子化値演算部１３ａからの目標量子化値ＱＰ_{（ｎ，ｍ）}に基づいて量子化を行う量子化部である。量子化値演算部１３ａは、可変長符号化部１７が出力した符号量や外部より設定された目標ビットレート［ｂｐｓ］やフレームレート［ｆｐｓ］より求めた１フレームの目標発生符号量などから、量子化部１６が量子化対象としている信号に対する目標量子化値ＱＰ_{（ｎ，ｍ）}の決定を行うように構成されている。１７は量子化部１６からの出力に対し、冗長情報を取り除き、さらに情報量を削減し、符号を生成する可変長符号化部である。１８は量子化部１６の出力に対し逆量子化を行う逆量子化部である。１９は逆量子化されたデータに対して逆直交変換により復号化処理を行う逆直交変換部である。２０は逆量子化および逆直交変換された動画像データを格納するｎフレーム参照画像格納部である。２１はｎフレーム参照画像格納部２０から１フレーム分の信号の書き写しが行われる（ｎ−１）フレーム参照画像格納部である。２２は（ｎ−１）フレーム参照画像格納部２１から必要な範囲の輝度データを読み出し、入力画像格納部１１の輝度信号領域内のマクロブロックとの差分が最小となる位置を探索し、そのずれを動きベクトルとして検出する動き検出部である。２３は入力画像格納部１１内の入力データの状態や動き検出部２２の出力信号の結果に応じて、入力画像のフレームの符号化方法として、例えばフレーム間ＭＢ符号化かフレーム内ＭＢ符号化等を決定するフレーム内／間ＭＢ符号化決定部である。１４はフレーム間ＭＢ符号化の場合に、符号化対象となっているマクロブロックと（ｎ−１）フレーム参照画像格納部２１内の画像との動きベクトル分の差分処理を行う差分処理部である。

上記のように構成された動画像符号化装置において、本実施の形態は、量子化値演算部１３ａを次のように構成した点に特徴を有するものである。

すなわち、注目マクロブロック判別部１２から注目マクロブロックであるとの指示があった場合に、注目マクロブロック数ｋの増減に応じて適応的に目標量子化値ＱＰ_{（ｎ，ｍ）}を補正するように構成されている。この目標量子化値ＱＰ_{（ｎ，ｍ）}の補正は、結果的に、１注目マクロブロック当たりの符号量増分ΔＭＢ（ｋ）を調整するもので、注目マクロブロック数ｋが多いほど１注目マクロブロック当たりの符号量増分ΔＭＢ（ｋ）が小さくなるような目標量子化値に補正する。

注目マクロブロック数ｋに応じた補正後の目標量子化値をＱＰ_{（ｎ，ｍ）}（ｋ）′とすると、ＱＰ_{（ｎ，ｍ）}（ｋ）′＜ＱＰ_{（ｎ，ｍ）}の条件で、式（７）のように、
ＱＰ_{（ｎ，ｍ）}（１）′＜ＱＰ_{（ｎ，ｍ）}（２）′＜ＱＰ_{（ｎ，ｍ）}（３）′……
…………………………（７）
となるような関係で目標量子化値を補正する（図２参照）。

換言すると、注目マクロブロックにおいては目標量子化値を小さくするのであるが、従来技術のように注目マクロブロック数にかかわらず一律に小さくするのではなく、注目マクロブロック数に応じて、注目マクロブロック数が少ないほど減少分を多くし、注目マクロブロック数が多いほど減少分を小さくする状態で目標量子化値を補正する。

図２を参照して説明すると、注目マクロブロック数ｋ＝１の場合の１注目マクロブロック当たりの符号量増分ΔＭＢ（１）に対して、注目マクロブロック数ｋ＝２の場合の１注目マクロブロック当たりの符号量増分ΔＭＢ（２）が２分の１になるようにし、注目マクロブロック数ｋ＝３の場合の１注目マクロブロック当たりの符号量増分ΔＭＢ（３）が３分の１になるようにする。一般に、注目マクロブロック数ｋの場合の１注目マクロブロック当たりの符号量増分ΔＭＢ（ｋ）がｋ分の１になるようにする。

注目マクロブロック数ｋ＝１のときの１注目マクロブロック当たりの符号量増分はΔＭＢ（１）であるが、注目マクロブロック数ｋ＝１の場合の全体の割り当て符号量ＣＦｚの増分はΔＣＦｚ（１）は、
ΔＣＦｚ（１）＝ΔＭＢ（１） ……………………………………………（８）
である。

注目マクロブロック数ｋ＝２のときの１注目マクロブロック当たりの符号量増分はΔＭＢ（２）であり、
ΔＭＢ（２）＝ΔＭＢ（１）×（１／２） ………………………………（９）
であるので、注目マクロブロック数ｋ＝２の場合の全体の割り当て符号量ＣＦｚの増分はΔＣＦｚ（２）は、
ΔＣＦｚ（２）＝ΔＭＢ（２）×２
＝ΔＭＢ（１）＝ΔＣＦｚ（１） ……………………（１０）
であり、注目マクロブロック数ｋ＝１の場合と同様になる。

注目マクロブロック数ｋ＝３のときの１注目マクロブロック当たりの符号量増分はΔＭＢ（３）であり、
ΔＭＢ（３）＝ΔＭＢ（１）×（１／３） ……………………………（１１）
であるので、注目マクロブロック数ｋ＝３の場合の全体の割り当て符号量ＣＦｚの増分はΔＣＦｚ（３）は、
ΔＣＦｚ（３）＝ΔＭＢ（２）×３
＝ΔＭＢ（１）＝ΔＣＦｚ（１） ……………………（１２）
であり、これも注目マクロブロック数ｋ＝１の場合と同様になる。

一般に、注目マクロブロック数ｋのときの１注目マクロブロック当たりの符号量増分ΔＭＢ（ｋ）は、
ΔＭＢ（ｋ）＝ΔＭＢ（１）×（１／ｋ） ……………………………（１３）
であり、注目マクロブロック数ｋの場合の全体の割り当て符号量ＣＦｚの増分ΔＣＦｚ（ｋ）は、
ΔＣＦｚ（ｋ）＝ΔＭＢ（ｋ）×ｋ
＝ΔＭＢ（１）＝ΔＣＦｚ（１） ……………………（１４）
となり、注目マクロブロック数ｋ＝１の場合と同様になる。

このように、注目マクロブロック数ｋの増減の如何にかかわらず、全体の割り当て符号量の増分を一定にし、全体の割り当て符号量が許容限度内に収まるようにする。

このような考え方で目標量子化値ＱＰ_{（ｎ，ｍ）}の補正を注目マクロブロック数ｋに応じてどのように調整するかを以下に説明する。

目標量子化値ＱＰ_{（ｎ，ｍ）}の演算は、原則として式（５）、すなわち、
ＱＰ_{（ｎ，ｍ）}＝Ｑ_０×ＣＦ_０／ＣＦ_ｔ …………………………………………（５）
に基づいて行うが、上記の注目マクロブロック数ｋを加味した補正に対しては、全体の割り当て符号量ＣＦｚに対する注目マクロブロック全体の符号量上昇率αを用いて、補正係数βを次のように求め、
β＝（１−α／ｋ） ………………………………………………………（１５）
この補正係数βを用いて、過去の１フレーム分の発生符号量ＣＦ_０を補正する。

ＣＦ_０′＝ＣＦ_０・β＝ＣＦ_０・（１−α／ｋ） ………………………（１６）
この補正後の過去１フレーム分の発生符号量ＣＦ_０′を式（５）に代入して、注目マクロブロックに対する注目マクロブロック数ｋのときの補正された目標量子化値ＱＰ_{（ｎ，ｍ）}（ｋ）′とする。

ＱＰ_{（ｎ，ｍ）}（ｋ）′＝Ｑ_０×ＣＦ_０・β／ＣＦ_ｔ
＝｛Ｑ_０×ＣＦ_０・（１−α／ｋ）｝／ＣＦ_ｔ …（１７）
以上をまとめると、全体の割り当て符号量ＣＦｚに対する注目マクロブロック全体の符号量上昇率αを注目マクロブロック数ｋで除算し、その除算結果の商（α／ｋ）を１から減じて得た値を補正係数β＝（１−α／ｋ）として、この補正係数βを過去１フレーム分の発生符号量ＣＦ_０に乗じて補正後の過去１フレーム分の発生符号量ＣＦ_０′とし、この補正後の過去１フレーム分の発生符号量ＣＦ_０′に基づいて補正後の目標量子化値ＱＰ_{（ｎ，ｍ）}′を求める。

この補正は、図２において、特性曲線ＴをＴ（１）′，Ｔ（２）′，Ｔ（３）′のように平行移動することに相当するといってよい。

以上のようにして、注目マクロブロック数ｋ＝１のときの補正後の目標量子化値ＱＰ_{（ｎ，ｍ）}（１）′、注目マクロブロック数ｋ＝２のときの補正後の目標量子化値ＱＰ_{（ｎ，ｍ）}（２）′、注目マクロブロック数ｋ＝３のときの補正後の目標量子化値ＱＰ_{（ｎ，ｍ）}（３）′を求めることができる。量子化値演算部１３ａは、このようにして求めた補正後の目標量子化値Ｑｔ_{（ｎ，ｍ）}（ｋ）′を量子化部１６に与え、量子化部１６は補正後の目標量子化値Ｑｔ_{（ｎ，ｍ）}（ｋ）′に基づいて注目マクロブロックの量子化を行う。

次に、以上のように構成された本実施の形態の動画像符号化装置の動作を説明する。

まず、装置外部より固体撮像装置等から動画像データの輝度／色差信号が入力画像格納部１１に入力される。

入力画像格納部１１に１フレーム分の動画像データが入力され始めると、注目マクロブロック判別部１２により、例えば入力画像や過去の入力画像の状態から顔・人物などの注目情報が１フレーム内のどこに存在するかを認識し、量子化対象のマクロブロックが注目領域内であるか否かという判断を行う。また、入力画像格納部１１からマクロブロックの輝度データまたは色差データが出力されるたびに、そのマクロブロックが注目マクロブロックであるか否かを量子化値演算部１３ａに出力する。

符号化を行う最初の１フレームの画像に対しては、１フレームに含まれるすべてのマクロブロックに対してフレーム内ＭＢ符号化を行うフレーム内フレーム符号化を行う。

フレーム内ＭＢ符号化時は、入力画像格納部１１のマクロブロックの輝度データは、直交変換部１５に出力され、直交変換処理を行い、周波数成分に変換される。

次に、前記周波数成分に対し、量子化部１６において量子化を行う。

量子化値演算部１３ａは、可変長符号化部１７が出力した符号量や外部より設定された目標ビットレート［ｂｐｓ］やフレームレート［ｆｐｓ］より求めた１フレームの目標発生符号量などから目標量子化値ＱＰ_{（ｎ，ｍ）}の決定を行う。量子化部１６は、量子化値演算部１３ａから入力した目標量子化値ＱＰ_{（ｎ，ｍ）}に基づいて対象マクロブロックの量子化を行う。ただし、動画像の最初のフレームの処理時の目標量子化値は演算結果による値ではなく初期値により量子化を行う。

量子化部１６以降は、２つの処理過程に分岐する。

まず第一の処理過程は、符号を生成し記録媒体に生成した符号を格納する処理である。

可変長符号化部１７において、量子化部１６からの出力に対し、冗長情報を取り除き、さらに情報量を削減し、符号を生成する。上記処理後に出力された符号は、記録媒体等に格納されたり、通信装置を介して端末に送信されたりする。

第二の処理過程は、次のフレーム間差分処理のために必要な参照画像を生成する処理である。

量子化部１６の出力に対し、逆量子化部１８において逆量子化するとともに、逆直交変換部１９において逆直交変換を行い、量子化部１６の結果に基づいた復号化処理を行う。逆量子化部１８の出力画像は、ｎフレーム参照画像格納部２０に格納される。

次の入力画像については、差分処理部１４において入力画像と参照画像の差分を取ることで符号量を削減する予測符号化を行う。その際、動き検出部２２において、画像の動きを考慮し、入力画像と参照画像の差が最小となる位置を求める動きベクトル検出を行う。

入力画像格納部１１に入力された色差信号のマクロブロックについても、輝度信号について行ったマクロブロック単位の上記同様の処理を行う。

ｎフレーム参照画像格納部２０が１フレーム分の逆量子化信号を格納し終えると、動き検出部２２や直交変換部１５が入力画像格納部１１内の（ｎ＋１）フレームの入力画像信号の先頭を読み出す前に、（ｎ−１）フレーム参照画像格納部２１に対して１フレーム分の信号の書き写しが行われる。

次に、フレーム間ＭＢ符号化の説明を行う。

次に、フレーム間予測フレーム符号化の説明を行う。フレーム間予測フレーム符号化においては、各マクロブロックに対しフレーム間ＭＢ符号化かフレーム内ＭＢ符号化かを自由に選択できる。

まず、動き検出部２２は、（ｎ−１）フレーム参照画像格納部２１から動き検出部２２に必要な範囲の輝度データを読み出し、入力画像格納部１１の輝度信号領域内のマクロブロックとの差分が最小となる位置を探索し、そのずれを動きベクトルとして検出する。

その後、入力画像格納部１１内の入力データの状態や動き検出部２２の出力信号の結果に応じて、フレーム内／間ＭＢ符号化決定部２３は、入力画像のフレームの符号化方法（例えばフレーム間ＭＢ符号化かフレーム内ＭＢ符号化等）を決定する。

フレーム内／間ＭＢ符号化決定部２３が、フレーム間ＭＢ符号化と判断した場合は、符号化対象となっている入力画像格納部１１から出力されるマクロブロックと入力画像のマクロブロックより動き検出部２２にて検出した動きベクトル分ずれた（ｎ−１）フレーム参照画像格納部２１内の画像との差分処理を差分処理部１４で行う。

フレーム内／間ＭＢ符号化決定部２３が、フレーム内ＭＢ符号化と判断した場合は、符号化対象となっている入力画像格納部１１から出力されるマクロブロックに対する差分処理は行わない。その出力された画像に対しては、フレーム内ＭＢ符号化と同様に直交変換部１５および量子化部１６において、直交変換処理、量子化を行う。

量子化部１６による処理以降に、可変長符号化部１７による処理を行う。

逆量子化部１８および逆直交変換部１９による復号化処理についても逆量子化部１８まではフレーム内ＭＢ符号化と同様の処理を行う。

逆量子化部１８の出力が、フレーム内／間ＭＢ符号化決定部２３でフレーム間ＭＢ符号化と判断していた場合、そのマクロブロック画像が予測誤差画像であるため、動き検出部２２内にある入力画像マクロブロックとの差分を取った参照画像と加算することで復号を行う。

逆量子化部１８の出力が、フレーム内／間ＭＢ符号化決定部２３でフレーム内ＭＢ符号化と判断していた場合、逆量子化部１８から出力されたマクロブロック画像自体が復号画像となるので加算処理は行わない。

以降は、フレーム内ＭＢ符号化の処理と同様にｎフレーム参照画像格納部２０に対し、現在処理を行っている入力画像内の処理対象のマクロブロック位置に対応するブロック位置に逆直交変換部１９の出力の格納を行う。

ｎフレーム参照画像格納部２０が１フレーム分の逆量子化信号を格納し終えると、動き検出部２２や直交変換部１５が入力画像格納部１１内の（ｎ＋１）フレームの入力画像信号の先頭を読み出す前に、（ｎ−１）フレーム参照画像格納部２１に対して１フレーム分の信号の書き写しが行われる。

入力画像格納部１１に入力された色差信号については、フレーム内／間ＭＢ符号化決定部２３でフレーム間ＭＢ符号化と判断していた場合は、動き検出部２２に、ｎフレーム参照画像格納部２０内の色差信号領域内の入力画像内の対象マクロブロック位置より輝度信号処理時の動きベクトルの検出結果の動きベクトル分ずれた位置から色差信号が入力画像に対する差分対象として格納される。

差分処理以降の処理については、輝度信号の場合と同様にフレーム内／間ＭＢ符号化決定部２３の出力に応じて処理を行い符号の生成及び符号の格納、参照画像の生成を行う。

この処理を繰返し行うことにより、入力画像に対し時間的に常に１フレーム前の画像を（ｎ−１）フレーム参照画像格納部２１に用意し、入力画像の符号化を行うことができる。

量子化値演算部１３ａは、注目マクロブロック判別部１２からの非注目マクロブロックか注目マクロブロックかの情報に従って、目標量子化値ＱＰ_{（ｎ，ｍ）}を演算する。非注目マクロブロックの場合は、従来技術と同様に、式（５）
ＱＰ_{（ｎ，ｍ）}＝Ｑ_０×ＣＦ_０／ＣＦ_ｔ …………………………………………（５）
に従って、目標量子化値ＱＰ_{（ｎ，ｍ）}を求め、量子化部１６に与える。

注目マクロブロックの場合は、式（１７）
ＱＰ_{（ｎ，ｍ）}（ｋ）′＝Ｑ_０×ＣＦ_０・β／ＣＦ_ｔ
＝｛Ｑ_０×ＣＦ_０・（１−α／ｋ）｝／ＣＦ_ｔ …（１７）
に従って、補正後の目標量子化値Ｑｔ_{（ｎ，ｍ）}（ｋ）を求め、量子化部１６に与える。ここで、ＣＦ_０は過去１フレーム分の発生符号量、Ｑ_０は過去１フレーム分の平均量子化値、ＣＦ_ｔは目標発生符号量を、αは全体の割り当て符号量ＣＦｚに対する注目マクロブロック全体の符号量上昇率、ｋは注目マクロブロック数である。

過去１フレーム分のマクロブロックは図３（ａ），（ｂ）に示すとおりである。符号上昇度数αは、過去１フレーム分の符号量について、１フレーム内の総符号量を１とした場合、その１フレーム内の総符号量に対してどのぐらいの割合で総注目マクロブロックの符号量を上昇させるかを示すものである。

本実施の形態によれば、注目マクロブロック数が増えても全体の割り当て符号量においてオーバーフローを抑制しながら、時間経過とともに目標量子化値を減少させて、なるべく多くの画像情報を取得し、注目領域の画質を向上させていくことができる。

（実施の形態２）
図４は本発明の実施の形態２における動画像符号化装置の構成を示すブロック図である。図４において、実施の形態１の図１におけるのと同じ符号は同一構成要素を指しているので、詳しい説明は省略する。図５（ａ），（ｂ）は実施の形態２における過去１フレーム分のマクロブロックの説明図である。

フレーム内／間ＭＢ符号化決定部２３の判定結果が、動き検出部２２に対してだけでなく、量子化値演算部１３ｂにも出力されている。

量子化値演算部１３ｂは、フレーム内／間ＭＢ符号化決定部２３の判定結果がフレーム内ＭＢ符号化の場合は、フレーム内ＭＢ符号化用の符号量上昇度数β_１＝（１−α_１／ｋ）を用いて補正した結果の目標量子化値を量子化部１６に出力し、判定結果がフレーム間ＭＢ符号化の場合は、フレーム間ＭＢ符号化用の符号量上昇度数β_２＝（１−α_２／ｋ）を用いて補正した結果の目標量子化値を量子化部１６に対して出力する。ここで、α_１は、フレーム内ＭＢ符号化に適した全体の割り当て符号量ＣＦｚに対する注目マクロブロック全体の符号量上昇率値であり、α_２は、フレーム間ＭＢ符号化に適した全体の割り当て符号量ＣＦｚに対する注目マクロブロック全体の符号量上昇率値である。

量子化値演算部１３ｂは、注目マクロブロック判別部１２から注目マクロブロックの情報を受け、さらに、フレーム内／間ＭＢ符号化決定部２３からフレーム内ＭＢ符号化の情報を受けたときは、
ＱＰ_{（ｎ，ｍ）}（ｋ）′＝Ｑ_０×ＣＦ_０・β_１／ＣＦ_ｔ
＝｛Ｑ_０×ＣＦ_０・（１−α_１／ｋ）｝／ＣＦ_ｔ …（１８）
に従って、注目マクロブロック数ｋのときの補正後の目標量子化値ＱＰ_{（ｎ，ｍ）}（ｋ）′を算出し、量子化部１６に与える。

また、量子化値演算部１３ｂは、注目マクロブロック判別部１２から注目マクロブロックの情報を受け、さらに、フレーム内／間ＭＢ符号化決定部２３からフレーム間ＭＢ符号化の情報を受けたときは、
ＱＰ_{（ｎ，ｍ）}（ｋ）′＝Ｑ_０×ＣＦ_０・β_２／ＣＦ_ｔ
＝｛Ｑ_０×ＣＦ_０・（１−α_２／ｋ）｝／ＣＦ_ｔ …（１９）
に従って、注目マクロブロック数ｋのときの補正後の目標量子化値ＱＰ_{（ｎ，ｍ）}（ｋ）′を算出し、量子化部１６に与える。

このように、同じ注目マクロブロックであっても、予測符号化がフレーム内であるかフレーム間であるかに応じて用いる演算式を切り替えるのである。

本実施の形態によれば、同じ注目マクロブロックであっても、フレーム内ＭＢ符号化のマクロブロックとフレーム間ＭＢ符号化のマクロブロックとでは、必要とされる符号量に違いがあることに鑑みて、フレーム内ＭＢ符号化とフレーム間ＭＢ符号化とで異なる処理を行うようにしており、いずれも、注目マクロブロック数が増えても全体の割り当て符号量においてオーバーフローを抑制しながら、注目領域の画質向上を最適化することができる。

本発明の実施の形態１における動画像符号化装置の構成を示すブロック図 本発明の実施の形態１における動画像符号化方法の目標量子化値の補正の説明図 本発明の実施の形態１における過去１フレーム分のマクロブロックの説明図 本発明の実施の形態２における動画像符号化装置の構成を示すブロック図 本発明の実施の形態２における過去１フレーム分のマクロブロックの説明図 従来の技術における動画像符号化装置の構成を示すブロック図 従来の技術における過去１フレーム分のマクロブロックの説明図

符号の説明

１１ 入力画像格納部（入力画像格納手段）
１２ 注目マクロブロック判別部（注目ブロック判別手段）
１３ａ，１３ｂ 量子化値演算部（量子化値演算手段）
１４ 差分処理部
１５ 直交変換部
１６ 量子化部
１７ 可変長符号化部
１８ 逆量子化部
１９ 逆直交変換部
２０ ｎフレーム参照画像格納部
２１ （ｎ−１）フレーム参照画像格納部
２２ 動き検出部
２３ フレーム内／間ＭＢ符号化決定部

Claims (6)

1. 入力した動画像データから注目ブロックと非注目ブロックとを識別し、前記入力した動画像データをブロック単位で直交変換し、前記直交変換したデータをブロック単位で量子化するに、前記注目ブロックでは前記非注目ブロックよりも小さい目標量子化値に基づいて量子化することで、前記注目ブロックでは符号量を多めに割り当てて符号化する動画像符号化方法であって、
   注目ブロック数が多くなるにつれて目標量子化値を１注目ブロック当たりの符号量増分が小さくなるような目標量子化値に補正し、この補正後の目標量子化値に基づいて前記注目ブロックを量子化することを特徴とする動画像符号化方法。
2. 前記目標量子化値の補正は、全体の割り当て符号量に対する注目ブロック全体の符号量上昇率を注目ブロック数で除算し、過去１フレーム分の発生符号量を、これに前記除算結果の商を１から減じて得た値を乗じて補正し、この補正後の過去１フレーム分の発生符号量に基づいて前記補正後の目標量子化値を求めることを特徴とする請求項１に記載の動画像符号化方法。
3. 前記過去１フレーム分の発生符号量に乗じる値について、フレーム内予測符号化を行うブロックに対してはフレーム内予測符号化に適した値を用い、フレーム間予測符号化を行うブロックに対してはフレーム間予測符号化に適した値を用いるを特徴とする請求項２に記載の動画像符号化方法。
4. 外部から動画像データを入力する入力画像格納手段と、前記入力画像格納手段が入力した動画像データから注目ブロックと非注目ブロックとを判別する注目ブロック判別手段と、前記注目ブロック判別手段が判別した前記注目ブロックでは前記非注目ブロックに設定する目標量子化値よりも小さい目標量子化値を設定する量子化値演算手段と、前記入力画像格納手段が入力した動画像データをブロック単位で直交変換する直交変換手段と、前記直交変換手段が直交変換したブロック単位のデータを前記量子化値演算手段からの目標量子化値に基づいて量子化する量子化手段とを備えた動画像符号化装置において、
   前記量子化値演算手段は、前記注目ブロック数が多いほど前記目標量子化値を小さく設定するように構成されていることを特徴とする動画像符号化装置。
5. 前記量子化値演算手段は、平均量子化値と目標発生符号量と過去１フレーム分の発生符号量から目標量子化値を導く演算において、全体の割り当て符号量に対する注目ブロック全体の符号量上昇率を注目ブロック数で除算し、前記除算結果の商を１から減じて得た値を前記過去１フレーム分の発生符号量に乗じて補正し、この補正後の過去１フレーム分の発生符号量に基づいて前記補正後の目標量子化値を求めるように構成されていることを特徴とする請求項４に記載の動画像符号化装置。
6. 前記量子化値演算手段は、前記過去１フレーム分の発生符号量に乗じる値について、フレーム内予測符号化を行うブロックに対してはフレーム内予測符号化に適した値を用い、フレーム間予測符号化を行うブロックに対してはフレーム間予測符号化に適した値を用いるように構成されていることを特徴とする請求項５に記載の動画像符号化装置。

Images