JP2005217499A - 画像処理装置、画像処理プログラムおよび画像処理方法 - Google Patents

Abstract

【課題】 画質改善効果の高い動画像の符号化処理をより効率的に行うこと。
【解決手段】 画像処理装置１においては、先行する所定フレームにおけるスキップマクロブロックの数に応じて、Ｉフレームに割り当てられる符号量（Ｑ_ref）が決定される。したがって、より重要度が高いIフレームの符号量を増加させることによって、そのIフレームの高画質化を図ることができ、その結果、Iフレームを参照する後続のPフレームの画質を向上させることが可能となる。さらに、量子化雑音の分散に応じて、量子化パラメータＱが適宜補正される。したがって、動画像の符号化状態に応じて適切な量子化パラメータＱを設定することができ、符号量の削減を図りつつ、画質の劣化を抑制することが可能となる。このように、本発明によれば、画質改善効果の高い動画像の符号化処理をより効率的に行うことが可能となる。
【選択図】 図４

Description

本発明は、動画像の符号化処理を行う画像処理装置、画像処理プログラムおよび画像処理方法に関する。

従来、動画像の符号化においては、ＭＰＥＧ（Moving Picture Experts Group）に基づく符号化処理が行われている。

特に、ＭＰＥＧ４に基づく符号化方式では、幅広いビットレートに対応可能であると共に、テレビ電話、マルチメディアを取り扱うことが可能な移動通信機器、ビル監視システム等、種々のアプリケーションに利用されることが想定されている。

このようなＭＰＥＧ４におけるプロファイル（profile）としては、ＨＤＴＶ（High Definition Television）等を対象とするメインプロファイル、携帯情報端末等を対象とするコアプロファイル、携帯電話等を対象とするシンプルプロファイルが規定されている。

ところで、ＭＰＥＧ規格においては、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）および動き補償（ＭＣ：Motion Compensation）を用いて動画像の符号化を行うが、符号化時における各種パラメータ（ビットレート、ＧＯＰ（GroupOf Picture）構造、動きベクトルの探索範囲等）は、自由に設定可能である。

一方、ＭＰＥＧ規格における符号化処理は、不可逆圧縮方式であることから画質の劣化を免れず、特に、低ビットレートの場合には、その影響が顕著に表れる。

そこで、ＭＰＥＧ規格の範囲内において画質の改善を行う方法が種々提案されており、主として、動き推定・動き補償に関する改善方法と、符号量制御による改善方法とが挙げられる。

ここで、ＭＰＥＧ規格における符号量制御は、符号化によって発生するビット量（符合量）を目標とするビット量に抑えるための量子化の度合の制御であるということができ、ＴＭ５（“ＭＰＥＧ２ Ｔｅｓｔ Ｍｏｄｅｌ ５”，Ｒｅｖ．２ ＩＳＯ／ＩＥＣ ＪＴＣ／ＳＣ２９ＷＧ１１，Ａｐｒｉｌ １９９３）に、その方法が規定されている。

具体的には、ＴＭ５における符号量制御として、ステップ１〜３の３段階が規定されている。

ステップ１においては、符号化対象となるＧＯＰ内の各ピクチャ（フレーム）に割り当てるビット数が概算される。即ち、ＧＯＰ内の各ピクチャのタイプ（Ｉ、Ｐ、Ｂフレーム）に応じた画面の複雑さＸ_Ｉ，Ｘ_Ｐ，Ｘ_Ｂを、既に符号化された各タイプのピクチャの発生符号量Ｒ_Ｉ，Ｒ_Ｐ，Ｒ_Ｂおよび平均量子化パラメータＱ’_Ｉ，Ｑ’_Ｐ，Ｑ’_Ｂを用いて、以下の式によって定義する。
Ｘ_Ｉ＝Ｑ’_Ｉ×Ｒ_Ｉ，Ｘ_Ｐ＝Ｑ’_Ｐ×Ｒ_Ｐ，Ｘ_Ｂ＝Ｒ_Ｂ×Ｑ’_Ｂ （１）
また、ステップ１においては、（１）式におけるＸ_Ｉ，Ｘ_Ｐ，Ｘ_Ｂを用いて、符号化する各タイプのピクチャに割り当て可能なビット数を、以下の式によって算出する。

ただし、“Ｎ”は、符号化されていないピクチャ数、“Ｒ”は、ＧＯＰの残りのビット数、Ｋ_Ｐ＝１．０、Ｋ_Ｂ＝１．４である。

ステップ２においては、各ピクチャに割り当てられたビット数に応じた容量の仮想バッファｄ（ｍ）を設定し、符号量が仮想バッファ内に収まるように、以下の式に従って、マクロブロックを順次符号化する。

ただし、“ｄ（０）”は、仮想バッファの初期状態、“Ｂ（ｍ）”は、各マクロブロックにおける第ｍブロックまでの全発生ビット数（“ｍ”は正の整数）、“Ｔ”は、現在のピクチャに割り当て可能なビット数、“Ｍ”は、現在のピクチャに含まれる全マクロブロック数である。

（３）式における右辺の第２項は、実際に発生した符号量であるのに対し、右辺の第３項は、マクロブロックを符号化する度に平均的に発生すると考えられる符号量の予測値である。そのため、（３）式は、実際に発生した符号量と仮想バッファの容量ｄ（ｍ）との関係を示す式となる。

そして、ステップ２においては、実際に発生した符号量Ｂ（ｍ）と仮想バッファの容量ｄ（ｍ）とを比較しながら、次に処理されるマクロブロックに対する量子化パラメータの参照値Ｑrefを、以下の式に従って決定する。

（３）〜（５）式によれば、実際に発生した符号量Ｂ（ｍ）と（３）式における右辺第３項（Ｔ・（ｍ−１）／Ｍ）との差が大きいほど、量子化パラメータの参照値Ｑrefが大きくなることがわかる。

ステップ３においては、ステップ２において決定された量子化パラメータの参照値Ｑrefを、視覚特性に基づいて、以下の式に従って更新する。

（７）式および（８）式によれば、Ｎact（ｍ）は、画像の平坦な部分（高周波成分が少ない領域）で小さくなり、信号の変化が大きい部分（高周波成分が多い領域）で大きくなることがわかる。そのため、（６）式は、視覚的に歪みが目立つ部分（画像の平坦な部分）で量子化パラメータＱが量子化パラメータの参照値Ｑrefより小さくなり、視覚的に歪みが目立たない部分（信号の変化が大きい部分）では、量子化パラメータＱが量子化パラメータの参照値Ｑrefより大きくなるように作用する。

さらに、ステップ３においては、直前に符号化されたマクロブロックの量子化パラメータＱ（ｍ−１）と、現在符号化されているマクロブロックの量子化パラメータＱ（ｍ）との差分を符号化する。

なお、ＭＰＥＧ４においては、量子化パラメータＱ（ｍ）とＱ（ｍ−１）との差分が±２以下となるように定められている。

ここで、上述のようなＴＭ５に基づく符号量制御に関する改善方法として、甲藤二郎、大田睦、“ＭＰＥＧ圧縮効率の理論解析とその符号量制御への応用”、信学技報 IE-95-10、April 1995 電子情報通信学会、あるいは、水野修、鹿喰善明、野尻祐司、大塚吉道、田中豊、“ピクチャ別レート歪み特性に基づいた符号量配分手法の検討”、信学論（D-II）、vol.J82-D-II、no.8、pp.1239-1251、Aug.1999 電子情報通信学会が提案されている。

これらの提案は、Ｉフレームに対して配分する符号量を、Ｐフレーム、Ｂフレームよりも多くすることによって、画質の改善を図るものである。

以下、図６を参照し、符号化性能を決める一つの指標であるレート歪み特性を用いてＩフレームに対して符号量を多く配分することの妥当性を明らかにする。

レート歪み特性とは、量子化対象信号の分散σ_Ｓ ^２と符号化によって生じた量子化誤差信号（歪み信号）の分散σ_ｎ ^２の比と、符号化対象信号の持つエントロピー（符号量）Ｒ間の関係を示すものである。一般的に、相関のないランダムな信号（例えば白色ガウス性信号）においては、次式（9）において、レート歪み特性が常に−６［ｄＢ］の関係となることが知られている（図６参照）。
σ_ｎ ^２＝ε２・γ^２２^−２・Ｒ・σ_Ｓ ^２ （９）
ただし、“σ_ｎ ^２”は、量子化誤差（歪み）信号の分散、“σ_Ｓ ^２”は、量子化対象信号の分散、“Ｒ”は、符号量である。

一方で、相関の強い画像信号を符号化した場合、歪み信号成分が少なくなることから図６の−６［ｄＢ］の特性から大きく乖離する。Ｉフレームの符号化では、画像信号そのものを符号化することから−６［ｄＢ］の特性から大きく乖離する。

それに対して、Ｐフレームはフレーム間符号化を多く含むことからＩフレームと異なる歪み特性を持つ。具体的にはＰフレームのレート歪み特性は図６中に示す通り、Ｉフレームの場合と、相関のないランダムな信号である−６［ｄＢ］の場合の中間の特性を持つ。

このことは、ＩフレームとＰフレームに同等の符号量を割り当てた場合、Ｐフレームの方が多く歪みを生じることを意味する。これらのことより、Ｐフレームに比べＩフレームに対してより多くの符号量を配分することで画質の改善を図ることが可能であると言える。

また、図示しないが、Ｂフレームに関しても同様の結果が得られる。
甲藤二郎、大田睦、"ＭＰＥＧ圧縮効率の理論解析とその符号量制御への応用"、信学技報 IE-95-10、April 1995 電子情報通信学会 水野修、鹿喰善明、野尻祐司、大塚吉道、田中豊、"ピクチャ別レート歪み特性に基づいた符号量配分手法の検討"、信学論（D-II）、vol.J82-D-II、no.8、pp.1239-1251、Aug.1999 電子情報通信学会

しかしながら、上述した従来の技術においては、符号化処理において符号量の制御を行うために、多大な演算を行う必要があった。

即ち、ＴＭ５においては、発生符号量と量子化パラメータとの積を用いた符号量配分が行われ、上記非特許文献１においては、実験的解析を行い、その結果からパラメータＫｐ，Ｋｂが変化されるものである。また、上記非特許文献２においては、実時間処理を考慮して、直前のフレームまでの符号化対象信号の分散値を算出して符号量配分が行われる。

このように、従来の技術における符号量制御においては、演算量が増大してしまうという問題があった。

また、上述の符号量制御は、ＴＭ５におけるステップ１に関する処理であるが、ステップ２，３においては、ＴＭ５に規定された視覚特性の反映、即ち、マクロブロック内の正規化信号の分散値に基づく量子化パラメータの制御のみが行われ、さらなる画質改善の試みがなされていなかった。

このように、従来の技術においては、より効率的に画質改善効果の高い動画像の符号化処理を行う余地が残されていた。

本発明の課題は、画質改善効果の高い動画像の符号化処理をより効率的に行うことである。

以上の課題を解決するため、本発明は、
連続する複数フレームによって構成された動画像の符号化処理を行う画像処理装置であって、先行する所定フレーム（例えば、前ＧＯＰあるいは先行する数フレーム）の符号化処理において、フレーム間の相関性に基づいて符号化処理が省略された度合（例えば、スキップマクロブロックの数等）に応じて、後続するフレームの符号化処理における符号量の割り当てを行う符合量割り当て手段（例えば、図４の符号量制御部１１０）を含むことを特徴としている。

また、前記動画像には、フレーム内符号化フレーム（例えば、ＭＰＥＧにおけるＩフレーム）およびフレーム間符号化フレーム（例えば、ＭＰＥＧにおけるＰフレーム）が含まれ、前記符号量割り当て手段は、先行する所定数のフレーム間符号化フレームにおいて符号化処理が省略されたブロックあるいはマクロブロックの数に応じて、後続するフレーム内符号化フレームに割り当てる符号量を決定することを特徴としている。

また、前記符号量割り当て手段は、先行する所定数のフレーム間符号化フレームにおけるスキップマクロブロックの数に応じて、後続するフレーム内符号化フレームの量子化パラメータの基準値（例えば、図４の量子化パラメータの参照値Ｑ_ref）を決定することを特徴としている。

また、本発明は、
連続する複数フレームによって構成された動画像の符号化処理を行うための画像処理プログラムであって、先行する所定フレームの符号化処理において、フレーム間の相関性に基づいて符号化処理が省略された度合に応じて、後続するフレームの符号化処理における符号量の割り当てを行う符合量割り当て機能をコンピュータに実現させることを特徴としている。

また、本発明は、
連続する複数フレームによって構成された動画像の符号化処理を行うための画像処理方法であって、先行する所定フレームの符号化処理において、フレーム間の相関性に基づいて符号化処理が省略された度合に応じて、後続するフレームの符号化処理における符号量の割り当てを行う符合量割り当てステップを含むことを特徴としている。

上記発明によれば、先行する所定のフレームにおけるスキップマクロブロックの数等、符号化処理が省略された度合に応じて、後続するフレーム（Ｉフレーム等）に割り当てられる符号量（例えば、量子化パラメータの参照値Ｑ_ref）が決定される。

したがって、より重要度が高いフレームの符号量を増加させることによって、そのフレームの高画質化を図ることができ、その結果、該フレームを参照する後続のフレームの画質を向上させることが可能となる。

また、本発明は、
連続する複数フレームによって構成された動画像の符号化処理を行う画像処理装置であって、前記動画像の符号化処理における量子化雑音の発生量に基づいて、該量子化における量子化パラメータを補正する量子化パラメータ制御手段を含むことを特徴としている。

また、前記量子化パラメータ制御手段は、前記符号化処理において発生した量子化雑音の分散に基づいて、前記量子化パラメータの補正量を決定することを特徴としている。

また、本発明は、
連続する複数フレームによって構成された動画像の符号化処理を行うための画像処理プログラムであって、前記動画像の符号化処理における量子化雑音の発生量に基づいて、該量子化における量子化パラメータを補正する量子化パラメータ制御機能をコンピュータに実現させることを特徴としている。

また、本発明は、
連続する複数フレームによって構成された動画像の符号化処理を行うための画像処理方法であって、前記動画像の符号化処理における量子化雑音の発生量に基づいて、該量子化における量子化パラメータを補正する量子化パラメータ制御ステップを含むことを特徴としている。

上記発明によれば、量子化雑音の分散等によって示される量子化雑音の発生量に応じて、符号化処理における量子化パラメータが適宜補正される。

したがって、動画像の符号化状態に応じて適切な量子化パラメータを設定することができ、符号量の削減を図りつつ、画質の劣化を抑制することが可能となる。

このように、本発明によれば、画質改善効果の高い動画像の符号化処理をより効率的に行うことが可能となる。

以下、図を参照して本発明に係る画像処理装置の実施の形態を説明する。

初めに、本発明における動画像符号化方法の基本的な考え方について説明する。

本発明においては、ＭＰＥＧのＴＭ５に基づく符号量制御において、Ｉピクチャに対する符号量割り当て（ステップ１）およびマクロブロック単位の量子化パラメータ制御（ステップ２，３）それぞれにおける処理の改善を図るものである。

即ち、ステップ１に対する改善方法として、所定フレームにおけるスキップマクロブロック数に応じた符号量配分を行い、ステップ２，３に対する改善方法として、雑音の発生量に応じた量子化パラメータを設定する。

なお、以下の説明においては、シンプルプロファイルの場合を例に挙げて説明することとする。

初めに、ＴＭ５におけるステップ１の改善について説明する。

まず、ＴＭ５に基づいて、（２）式に示すＴ_Ｉ，Ｔ_Ｐを算出する。ここでは、シンプルプロファイルを例とするため、Ｂフレームに関する情報は存在せず、以下のように表される。

さらに、本発明においては、Ｉフレームのターゲットビット量（目標とする符号量）を次式に従って更新する。
Ｔ_Ｉ’＝Ｔ_Ｉ＋α・Ｎ_skipMB （１１）
ただし、“N_skipMB”は、前ＧＯＰの各フレームにおいてスキップされたマクロブロックの数の平均、“α”は、所定の定数である。ただし、前ＧＯＰの一部のフレームを対象としてスキップされたマクロブロックの数を計数し、その平均値を“N_skipMB”とすることとしても良い。

ここで、前ＧＯＰにおいてスキップされたマクロブロックの数を反映させるのは、次のような理由によるものである。

即ち、前後のフレーム間において動きベクトルが“０”（相関が“１”）の場合にマクロブロックの処理がスキップされる。このような傾向が強い場合、参照元となるフレームであるＩフレームの符号量を増加させ、高画質化することにより、後続のＰフレーム全体にその効果を及ぼすことができることとなる。

つまり、スキップマクロブロックの数が多い場合、参照フレームであるＩフレームの重要度が高いものであるため、Ｉフレームに符号量をより多く割り当てて歪みを小さくすることにより、予測誤差における量子化誤差を削減することが可能となる。

このような処理を行うためには、スキップマクロブロックの数を計数していれば良いため、低演算量でＩフレームへの符号量配分を適切なものとすることが可能である。

次に、ＴＭ５におけるステップ２，３の改善について説明する。

ＴＭ５においては、上述のように、人間の視覚特性を考慮した画質改善、即ち、符号対象信号の分散に基づいて量子化パラメータの制御を行っている。具体的には、信号変化の小さい領域（画像の平坦な部分）では、ブロック歪みが目立つことから、量子化パラメータをより小さく設定し、信号変化の大きい領域（画像の平坦でない部分）では、ブロック歪みが目立ちにくいことから、量子化パラメータをより大きく設定している。

本発明においては、ＴＭ５に規定された処理に加え、雑音の発生を抑制することにより、さらなる画質改善を図るものである。

即ち、雑音の発生量が多い場合、ＰＳＮＲ（Peak Signal to Noise Ratio）が低下することとなるが、量子化パラメータをより小さくすることで、これを回避する。反対に、雑音の発生量が少ない場合、符号量を低下させることができる可能性を持つことから、量子化パラメータを大きくする。

このように、本発明においては、量子化雑音の分散によって量子化パラメータを制御し、具体的には、次式に従って量子化パラメータの制御を行う。

ただし、σ_ｘ ^２（ｍ）は、符号化対象信号の第ｍ番目のマクロブロックをＱ_ref（ｍ）を用いてＤＣＴ、量子化、逆量子化、ＩＤＣＴした後の信号の分散である。また、σ_ｎ ^２（ｍ）は、符号化対象信号の第ｉ番目のマクロブロックをＱ_ref（ｍ）を用いてＤＣＴ、量子化、逆量子化、ＩＤＣＴした後の信号と符号化対象信号との差分信号の分散（雑音分散）である。

（１３）式および（１４）式において、信号変化を多く伴うマクロブロックの場合、σ_ｘ ^２（ｍ）が大きくなり、雑音が多く重畳したマクロブロックの場合、σ_ｎ ^２（ｍ）が大きくなる。

したがって、（１２）〜（１４）式において、雑音が多く重畳したマクロブロックについては、量子化パラメータＱ（ｍ）が小さくなり、雑音を抑圧するように作用する。また、信号変化を多く伴うマクロブロックについては、量子化パラメータＱ（ｍ）が量子化パラメータの参照値Ｑ_refとほぼ等しくなり、雑音の抑制が行われない。

次に、本発明の効果について検討する。

図１は、（１１）式における定数αと画質改善効果との関係を示す図である。

図１においては、画質改善効果を示す評価関数として、ＩＰＳＮＲ（Improved PSNR）を用いており、その定義は、ＩＰＮＳＲ＝（本発明を適用した場合のＰＳＮＲ）−（ＭＰＥＧのみによる場合のＰＳＮＲ）である。

また、ここでは、ＭＰＥＧ４ simple profile，ＣＩＦ（Common Intermediate Format）,１５［fps］，１９２〜３８４［Kbps］Ｉフレーム：Ｐフレーム＝１：１４の場合の例を示している。

図１において、種々のサンプル動画像について、α＝１００の場合には、概して本発明による効果が良好に表れている。また、α＝１０００を超えると、動画像によっては、著しく画質が劣化している。これは、Iフレームに割り当てる符号量が過大となり、Ｐフレームに割り当てる符号量が不足することに起因していると考えられる。

つまり、定数αの増加に伴い画質が劣化している動画像は、動きが大きい動画像であり、Ｉフレームのみならず、Ｐフレームにも動きベクトルのための一定量の符号を割り当てる必要があるものである。

このように、本発明（ＴＭ５のステップ１に対する改善）における画質改善効果は、動画像の動き量と関連性を有していると言える。

また、図２は、ＴＭ５に対する本発明の改善方法の画質改善効果を示す図である。

なお、図２においては、ＴＭ５のステップ１に対する改善のみ、ＴＭ５のステップ２，３に対する改善のみ、ＴＭ５のステップ１およびステップ２，３に対する改善それぞれの場合における画質改善効果を示している。

図２に示すように、種々のサンプル動画像に対し、本発明のＴＭ５のステップ１に対する改善およびＴＭ５のステップ２，３に対する改善それぞれが画質改善効果を示しており、ＴＭ５のステップ１に対する改善およびステップ２，３に対する改善両方を施した場合、最も高い改善効果を示している。

図３は、本発明を適用した場合およびＭＰＥＧのみによる場合の処理結果の画像を示す図であり、図３（ａ）は、ＭＰＥＧのみによる場合のＩフレーム、図３（ｂ）は、ＭＰＥＧのみによる場合の直後のＰフレーム、図３（ｃ）は、本発明を適用した場合のＩフレーム、図３（ｄ）は、本発明を適用した場合の直後のＰフレームを示す図である。

図３によれば、本発明を適用した場合においては、Ｉフレームに割り当てられる符号量が多く、画質が向上しており、さらに、それに引き続くＰフレームの画質も連動して向上していることがわかる。

このように高い画質改善効果を奏しながら、本発明のＴＭ５のステップ１に対する改善方法は、スキップマクロブロックの計数という低演算量の処理を行えば良く、また、本発明のＴＭ５のステップ２，３に対する改善方法は、ＧＯＰの符号化処理中に、符号化処理時の画質の状態に応じて適応的に符号量の制御を行うことが可能である。

続いて、上述の符号化処理を行う画像処理装置について説明する。

まず、構成を説明する。

図４は、本発明に係る画像処理装置１の機能構成を示す図である。

図４において、画像処理装置１は、動き補償／動き検出用フレームメモリ１０と、減算器２０と、ＤＣＴ部３０と、量子化部４０と、逆量子化部５０と、逆ＤＣＴ部６０と、加算器７０と、量子化パラメータ制御部８０と、ハフマン符号化部９０と、バッファ１００と、符号量制御部１１０とを含んで構成される。なお、画像処理装置１は、ＭＰＥＧに基づく符号化処理を行うものであり、ブロックあるいはマクロブロック単位を基本とする符号化処理を行う。

動き補償／動き検出用フレームメモリ１０は、加算器７０から入力されるデータ、即ち、画像処理装置１において符号化されたフレームのデータの復号画像（以下、「再構成画像」と言う。）を記憶し、記憶したデータを参照して、動き検出および動き補償処理を行う。また、動き補償／動き検出用フレームメモリ１０は、記憶している再構成画像を、先行するフレームのデータとして、減算器２０あるいは加算器７０に出力する。

減算器２０は、画像処理装置１に新たに入力された画像のデータｓ（ｉ，ｊ）と、動き補償／動き検出用フレームメモリ１０から入力された再構成画像との差分を算出し、ＤＣＴ部３０に出力する。

ＤＣＴ部３０は、減算器２０から入力される差分（フレーム間符号化の場合）あるいは画像処理装置１に入力された画像のデータｓ（ｉ，ｊ）（フレーム内符号化の場合）を空間領域から周波数領域に変換し、量子化部４０に出力する。

量子化部４０は、量子化パラメータ制御部８０から入力される量子化パラメータＱに応じて、ＤＣＴ部３０から入力される周波数領域のデータを離散値に変換する。この量子化パラメータＱは、符号量制御部１１０から入力される量子化パラメータの参照値Ｑ_refが、量子化パラメータ制御部８０によって適宜更新されたものである。そして、量子化部４０は、変換した離散値を逆量子化部５０およびハフマン符号化部９０に出力する。

また、量子化部４０は、符号量制御部１１０から入力された量子化パラメータＱ_refを量子化パラメータ制御部８０に出力する。

逆量子化部５０は、量子化部４０から入力された離散値を逆量子化し、連続的な値に変換する。そして、逆量子化部５０は、変換した連続値を逆ＤＣＴ部６０に出力する。

逆ＤＣＴ部６０は、逆量子化部５０から入力された連続値（周波数領域のデータ）を空間領域のデータｘ（ｉ，ｊ）に変換し、加算器７０および量子化パラメータ制御部８０に出力する。

加算器７０は、逆ＤＣＴ部６０から入力された空間領域のデータｘ（ｉ，ｊ）を動き補償／動き検出用フレームメモリ１０から入力されたフレームのデータと加算し、再構成画像を生成する。

量子化パラメータ制御部８０は、ＴＭ５に対する本発明のステップ２，３の改善を実行する部分であり、逆ＤＣＴ部６０から入力された空間領域のデータｘ（ｉ，ｊ）と、画像処理装置１に入力された画像のデータｓ（ｉ，ｊ）と、量子化部４０から入力された量子化パラメータの参照値Ｑ_refとに基づいて、（１２）〜（１４）式に基づく演算を行う。そして、量子化パラメータ制御部８０は、演算の結果決定した量子化パラメータＱを量子化部４０に設定する。

図５は、量子化パラメータ制御部８０の内部構成を示すブロック図である。

図５において、量子化パラメータ制御部８０は、減算器８１と、σ_ｎ ^２算出器８２と、σ^２算出器８３と、Ｋ値算出器８４と、乗算器８５とを含んで構成される。

減算器８１は、画像処理装置１に入力された画像のデータｓ（ｉ，ｊ）と、逆量子化後の空間領域のデータｘ（ｉ，ｊ）との差分を算出し、算出した差分をσ_ｎ ^２算出器８２に出力する。

σ_ｎ ^２算出器８２は、減算器８１から入力された差分の分散（雑音分散）を算出し、算出した雑音分散をσ^２算出器８３およびＫ値算出器８４に出力する。

σ^２算出器８３は、σ_ｎ ^２算出器８２から入力された雑音分散および逆量子化後の空間領域のデータｘ（ｉ，ｊ）に基づいて、（１４）式に従う演算を行い、演算結果である量子化雑音の分散をＫ値算出器８４に出力する。

Ｋ値算出器８４は、σ_ｎ ^２算出器８２から入力された雑音分散と、σ^２算出器８３から入力された量子化雑音の分散とに基づいて、（１３）式に従う演算を行い、演算結果であるＫ値（量子化パラメータの参照値Ｑ_refに対する補正値）を乗算器８５に出力する。

乗算器８５は、量子化部４０から入力された量子化パラメータの参照値Ｑ_refと、Ｋ値算出器８４から入力されたＫ値とを乗算し（即ち、（１２）式に従う演算を行い）、乗算結果である量子化パラメータＱを量子化部４０に出力する。

図４に戻り、ハフマン符号化部９０は、量子化部４０から入力される量子化後の周波数領域のデータおよび動き補償／動き検出用フレームメモリ１０から入力される動きベクトルをハフマン符号化し、符号化結果をバッファ１００に出力する。

バッファ１００は、ハフマン符号化部９０の符号化結果を一時的に記憶し、画像処理装置１の符号化結果として出力すると共に、符号量制御部１１０に出力する。

符号量制御部１１０は、ＴＭ５に対する本発明のステップ１の改善を実行する部分であり、画像処理装置１に入力された先行する所定フレームにおけるスキップマクロブロックを計数し、画像処理装置１に新たに入力されたＧＯＰにおけるＩフレームの量子化パラメータの参照値Ｑ_refを、（１０）式および（１１）式に基づいて算出する。そして、符号量制御部１１０は、算出した量子化パラメータの参照値Ｑ_refを量子化部４０に出力する。

次に、動作を説明する。

画像処理装置１は、符号化対象である動画像におけるスキップマクロブロックを、符号量制御部１１０によって常時計数している。

そして、符号化対象となる画像データが入力されると、まず、それに含まれるＩフレームに割り当てる符号量を符号量制御部１１０が決定し、決定した符合量に対応する量子化パラメータの参照値Ｑ_refが設定される。

すると、ＤＣＴ部３０、量子化部４０およびハフマン符号化部９０によって動画像の符号化が行われる。また、量子化部４０の処理結果は、逆量子化部５０および逆ＤＣＴ部６０によって復号化され、加算器７０において、動き補償／動き検出用フレームメモリ１０に記憶されたフレームと加算されて再構成画像とされる。

さらに、このような処理の実行中、量子化パラメータ制御部８０が、逆ＤＣＴ部６０の出力と入力された画像データとによって、量子化パラメータの参照値Ｑ_refを補正し、上述の改善方法に基づく適切な量子化パラメータＱを設定する。

以上のように、本実施の形態に係る画像処理装置１においては、先行する所定フレームにおけるスキップマクロブロックの数に応じて、Ｉフレームに割り当てられる符号量（量子化パラメータの参照値Ｑ_ref）が決定される。

したがって、より重要度が高いIフレームの符号量を増加させることによって、そのIフレームの高画質化を図ることができ、その結果、Iフレームを参照する後続のＰフレームの画質を向上させることが可能となる。

また、このような処理を行うためには、スキップマクロブロックの計数を行えば良いため、低演算量であるにも関わらず、高い画質改善効果を得ることが可能である。

さらに、本実施の形態に係る画像処理装置１においては、量子化雑音の分散に応じて、量子化パラメータＱが適宜補正される。

したがって、動画像の符号化状態に応じて適切な量子化パラメータＱを設定することができ、符号量の削減を図りつつ、画質の劣化を抑制することが可能となる。

このように、本発明によれば、画質改善効果の高い動画像の符号化処理をより効率的に行うことが可能となる。

（１１）式における定数αと画質改善効果との関係を示す図である。 ＴＭ５に対する本発明の改善方法の画質改善効果を示す図である。 本発明を適用した場合およびＭＰＥＧのみによる場合の処理結果の画像を示す図である。 本発明に係る画像処理装置１の機能構成を示す図である。 量子化パラメータ制御部８０の内部構成を示すブロック図である。 レート歪み特性を示す図である。

符号の説明

１ 画像処理装置、１０ 動き補償／動き検出用フレームメモリ、２０ 減算器、３０ ＤＣＴ部、４０ 量子化部、５０ 逆量子化部、６０ 逆ＤＣＴ部、７０ 加算器、８０ 量子化パラメータ制御部、８１ 減算器、８２ σ_ｎ ^２算出器、８３ σ^２算出器、８４ Ｋ値算出器、８５ 乗算器、９０ ハフマン符号化部、１００ バッファ、１１０ 符号量制御部

Claims (9)

1. 連続する複数フレームによって構成された動画像の符号化処理を行う画像処理装置であって、
   先行する所定フレームの符号化処理において、フレーム間の相関性に基づいて符号化処理が省略された度合に応じて、後続するフレームの符号化処理における符号量の割り当てを行う符合量割り当て手段を含むことを特徴とする画像処理装置。
2. 前記動画像には、フレーム内符号化フレームおよびフレーム間符号化フレームが含まれ、
   前記符号量割り当て手段は、先行する所定数のフレーム間符号化フレームにおいて符号化処理が省略されたブロックあるいはマクロブロックの数に応じて、後続するフレーム内符号化フレームに割り当てる符号量を決定することを特徴とする請求項１記載の画像処理装置。
3. 前記符号量割り当て手段は、先行する所定数のフレーム間符号化フレームにおけるスキップマクロブロックの数に応じて、後続するフレーム内符号化フレームの量子化パラメータの基準値を決定することを特徴とする請求項１または２記載の画像処理装置。
4. 連続する複数フレームによって構成された動画像の符号化処理を行う画像処理装置であって、
   前記動画像の符号化処理における量子化雑音の発生量に基づいて、該量子化における量子化パラメータを補正する量子化パラメータ制御手段を含むことを特徴とする画像処理装置。
5. 前記量子化パラメータ制御手段は、前記符号化処理において発生した量子化雑音の分散に基づいて、前記量子化パラメータの補正量を決定することを特徴とする請求項４記載の画像処理装置。
6. 連続する複数フレームによって構成された動画像の符号化処理を行うための画像処理プログラムであって、
   先行する所定フレームの符号化処理において、フレーム間の相関性に基づいて符号化処理が省略された度合に応じて、後続するフレームの符号化処理における符号量の割り当てを行う符合量割り当て機能をコンピュータに実現させることを特徴とする画像処理プログラム。
7. 連続する複数フレームによって構成された動画像の符号化処理を行うための画像処理プログラムであって、
   前記動画像の符号化処理における量子化雑音の発生量に基づいて、該量子化における量子化パラメータを補正する量子化パラメータ制御機能をコンピュータに実現させることを特徴とする画像処理プログラム。
8. 連続する複数フレームによって構成された動画像の符号化処理を行うための画像処理方法であって、
   先行する所定フレームの符号化処理において、フレーム間の相関性に基づいて符号化処理が省略された度合に応じて、後続するフレームの符号化処理における符号量の割り当てを行う符合量割り当てステップを含むことを特徴とする画像処理方法。
9. 連続する複数フレームによって構成された動画像の符号化処理を行うための画像処理方法であって、
   前記動画像の符号化処理における量子化雑音の発生量に基づいて、該量子化における量子化パラメータを補正する量子化パラメータ制御ステップを含むことを特徴とする画像処理方法。