JP2006005466A

JP2006005466A - 画像符号化方法及び装置

Info

Publication number: JP2006005466A
Application number: JP2004177190A
Authority: JP
Inventors: Takeshi Nakajo; 健中條; Reiko Noda; 玲子野田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2004-06-15
Filing date: 2004-06-15
Publication date: 2006-01-05
Anticipated expiration: 2024-06-15
Also published as: JP4253276B2

Abstract

【課題】符号化効率をより改善し、視覚特性を考慮した予測モード及び量子化パラメータを選択する画像符号化方法を提供する。
【解決手段】任意の符号化単位毎に複数の予測モードから選択される一つの予測モードを用いて画像の符号化を行う際、符号化単位、例えばマクロブロック毎に予測モードと量子化パラメータとの複数の組み合わせにそれぞれ対応する符号量と符号化歪との対（Ｒ−Ｄポイント）を生成し（Ｓ３０１）、量子化パラメータの基準となる基準パラメータから未定乗数λを算出し（Ｓ３０２）、未定乗数λに基づいて各Ｒ−Ｄポイントのコストを算出し（Ｓ３０３）、コスト最小のＲ−Ｄポイントから予測モード及び量子化パラメータの最適な組み合わせを決定する（Ｓ３０４−Ｓ３０５）。
【選択図】図３

Description

本発明は、動画像または静止画像のための画像符号化方法及び装置に関する。

ITU-T H.261, H.263, H.264, ISO/IEC MPEG-2, MPEG-4 Part 2といった動画像符号化標準方式では、マクロブロックと呼ばれる符号化単位で、予測モードを切り替えて符号化を行う。この切り替え操作をどのように行うかは、符号化性能に大きく影響すると言われている。

予測モードの切り替え手法の一つは、例えばITU-T H.263のテストモデルであったTMN9(ITU-T, Study Group 16 : “Video Codec Test Model, Near-Term, Version 9 (TMN9),” Document :Q15-C-15）（非特許文献１）に開示されている。非特許文献１では、入力画像と動き補償により得られる予測画像との絶対値差分和、及び入力画像と入力画像のマクロブロック平均との絶対値差分和を用いて閾値処理を行うことで、８×８のブロックのフレーム間予測モードと１６×１６ブロックのフレーム間予測モード及びフレーム内予測モードの３つ予測モードの切り替えを行っている。

一方、Gary J. Sullivan and Thomas Wiegand, “Rate-Distortion Optimization for Video Compression”, IEEE Signal Processing Magazine, Vol.15, No.6, pp. 74-90, Nov. 1998.（非特許文献２）には、ラグランジェの未定乗数法に基づいて各マクロブロックの予測モードを選択する方法が紹介されている。より詳しくは、実際に各予測モードで符号化を行って符号量（レート）と符号化歪を求めた上で、ラグランジェの未定乗数を量子化パラメータの関数と仮定して、同じ量子化パラメータに対する各予測モードのコストを算出し、コストが最小の予測モードを選択している。この手法により、TMN9と比較して大幅に符号化効率が向上することが紹介されている。

また、ISO/IEC MPEG-2のテストモデルであったTM5(International Organisation for Standardisation, Test Model Editing Committee, 1993. Test Model 5. April. ISO-IEC/JTC1/SC29/WG11/N0400) （非特許文献３）では、視覚特性を考慮した量子化パラメータの修正方法が紹介されている。このは、人間の視覚特性が平坦部の歪に敏感であるという性質を考慮して、入力画像のアクティビティを計算して、平坦部の量子化パラメータの値を小さい値に修正する手法である。
ITU-T, Study Group 16 : "Video Codec Test Model,Near-Term, Version 9 (TMN9)," Document :Q15-C-15 Gary J. Sullivan and Thomas Wiegand, "Rate-Distortion Optimization for Video Compression", IEEE Signal Processing Magazine, Vol.15, No.6, pp.74-90, Nov. 1998. International Organisation for Standardisation, Test Model Editing Committee, 1993. Test Model 5. April. ISO-IEC/JTC1/SC29/WG11/N0400.

非特許文献１に開示された予測モードの切り替え方法は簡易な手法であり、少ない計算量で予測モードの切り替えを行うことができる。しかし、実際の符号量（レート）と歪を考慮しているわけではないので、符号量と歪の関係で最適な予測モードの切り替えが行われているとはいえない。従って、符号化効率の大幅な改善は得られない。

非特許文献２の手法では、同一の量子化パラメータに対して同じ傾きを持つ符号量−符号化歪関数を仮定しているため、量子化パラメータが異なる場合や符号量−符号化歪関数の形が仮定と異なる場合には、符号化コストの正しい比較評価ができず、適切な予測モードが選択されないという問題点がある。また、符号量制御と組み合わせた場合の量子化パラメータが異なる場合の符号化コストの比較もできない。従って、この手法によっても符号化効率の大幅な改善は望めない。

非特許文献３の手法は、視覚特性を考慮しているが、量子化パラメータを直接制御してしまうため、視覚特性と歪の関係が不明確である。また、モード選択を考慮していないため、符号化効率が低下してしまうという欠点がある。

本発明の目的は、符号化効率をより改善し、視覚特性等も考慮した予測モード及び量子化パラメータの選択を可能とする画像符号化方法及び装置を提供することにある。

上記課題を解決するために、本発明の一つの観点では任意の符号化単位毎に複数の予測モードから選択される一つの予測モードを用いて、量子化パラメータを制御しつつ画像の符号化を行う画像符号化方法において、前記符号化単位毎に前記予測モードと前記量子化パラメータの基準となる基準パラメータとの複数の組み合わせにそれぞれ対応する歪符号量−符号化歪対集合を生成するステップと、前記基準パラメータから未定乗数を算出するステップと、前記未定乗数を用いて前記符号量−符号化歪対集合の各々のコストを算出するステップと、前記符号量−符号化歪対集合の中から前記コストが最小の符号量−符号化歪対を選択するステップと、前記コストが最小の符号量−符号化歪対から前記符号化に用いる予測モード及び量子化パラメータを決定するステップとを具備する画像符号化方法を提供する。

未定乗数は、例えばλ＝ｆ×exp(ｇＱ₀)（但し、λは未定乗数、Ｑ₀は基準パラメータ、ｆ，ｇは定数）により算出される。

符号量−符号化歪対集合の各々のコストを算出する際には、符号化歪に視覚的特性を考慮した重み付けを行う事が望ましい。より具体的には、符号量−符号化歪対集合の各々のコストは例えば符号化歪に視覚的特性を考慮した重み付けを行った値と、前記符号量に前記未定乗数を乗じた値との和として算出される。

本発明の他の観点によると、任意の符号化単位毎に複数の予測モードから選択される一つの予測モードを用いて、量子化パラメータを制御しつつ画像の符号化を行う画像符号化装置において、前記符号化単位毎に前記予測モードと前記量子化パラメータの基準となる基準パラメータとの複数の組み合わせにそれぞれ対応する歪符号量−符号化歪対集合を生成する手段と、前記基準パラメータから未定乗数を算出する手段と、前記未定乗数を用いて前記符号量−符号化歪対集合の各々のコストを算出する手段と、前記符号量−符号化歪対集合の中から前記コストが最小の符号量−符号化歪対を選択する手段と、前記コストが最小の符号量−符号化歪対から前記符号化に用いる予測モード及び量子化パラメータを決定する手段とを具備する画像符号化装置を提供する。

本発明によれば、適切な予測モード及び量子化パラメータを決定することにより、効率の高く視覚特性等も考慮した画像符号化を行うことができる。また、視覚的特性を考慮して予測モード及び量子化パラメータの同時最適化が可能となるため、視覚特性面も考慮した符号化効率の向上が期待できる。

以下、図面を参照して本発明の実施の形態について説明する。
図１に、本発明の一実施形態に係る動画像符号化のための画像符号化装置を示す。画像符号化装置には、画像信号１００として例えばフレーム単位で動画像信号が入力される。減算器１０１により入力画像信号１００と予測画像信号１０２との差分がとられ、予測誤差信号１０３が生成される。生成された予測誤差信号１０３に対して、直交変換器１０４により直交変換、例えば離散コサイン変換（ＤＣＴ）が施される。直交変換器１０４では直交変換係数情報１０５、例えばＤＣＴ係数情報が得られる。直交変換係数情報１０５は量子化器１０６により量子化された後、二分岐される。二分岐された量子化直交変換係数情報１０７の一方は、エントロピー符号化器１０８に導かれる。

二分岐された量子化直交変換係数情報１０７の他方は、逆量子化器１０９及び逆直交変換器１１０により、量子化器１０６及び直交変換器１０４の処理と逆の処理を順次受けて予測誤差信号と同様の信号とされた後、加算器１１０で予測画像信号１０２と加算されることにより、局部復号画像信号１１２が生成される。局部復号画像信号１１２は、フレームメモリ／予測画像生成器１０８に入力される。

フレームメモリ／予測画像生成器１１３は、入力画像信号１００及び局部復号画像信号１１２から予測画像信号を生成する。フレームメモリ／予測画像生成器１１３の詳細については、後述する。エントロピー符号化器１０８では、量子化直交変換係数情報１０７、動きベクトル情報／予測モード情報１１４がエントロピー符号化され、これによって生成された各符号が多重化器１１６で多重化された後、出力バッファ１１７により平滑化される。こうして出力バッファ１１７から出力される符号化データ１１８は、図示しない伝送系または蓄積系へ送出される。

モード選択器１２１は、直接的にはフレームメモリ／予測画像作成器１１３内の切替器を制御することにより予測モードを選択する共に、量子化パラメータを制御する。モード選択器１２１の詳細については、後述する。符号化制御器１１５は、減算器１０１からフレームメモリ／予測画像作成器１１３までの要素を含む符号化部１１５の制御を行う。本実施形態においては、バッファ１１７のバッファ量を考慮しつつ、符号化単位毎の符号量割り当てを行う。符号化単位は、本実施形態では例えばマクロブロック単位とするが、これに限られるものではない。

（フレームメモリ／予測画像生成器１１３について）
図２に、入力画像信号１００及び局部復号画像信号１１２から予測画像信号１０２を生成するフレームメモリ／予測画像生成器１１３の具体例を示す。図１中の加算器１１１からの局部復号画像信号１１２は、フレームメモリ２００に一旦蓄えられる。動きベクトル検出器２０１は、フレーム内のブロック毎に入力画像信号１００とフレームメモリ２００に蓄えられた局部復号画像信号との間のマッチング（ブロックマッチング）をとり、動きベクトルを検出する。

フレーム間予測器２０２は、動きベクトル検出器２０１で検出された動きベクトルに基づいてフレームメモリ２００内の局部復号画像信号に対して動き補償を施し、フレーム間予測に基づく予測画像信号を作成する。一方、フレーム内予測器２０３は、入力画像信号１００とフレームメモリ２００内のフレーム内で既に符号化された領域の局部復号画像信号からフレーム内予測に基づく予測画像信号を作成する。

フレーム間予測器２０２はＫ個（Ｋは複数）のフレーム間予測モードを有し、フレーム内予測器２０３はＬ個（Ｌは複数）のフレーム内予測モードを有する。フレーム間予測器２０２及びフレーム内予測器２０３の出力に、切替器２０４が接続される。切替器２０４はモード選択器１２１によって制御され、Ｋ個のフレーム間予測モードから選択された一つの予測モードに基づく予測画像信号、あるいはＬ個のフレーム内予測モードから選択された一つの予測モードに基づく予測画像信号を出力する。

動きベクトル情報／予測モード１１４、すなわち動きベクトル検出器２０１から出力される動きベクトル情報とモード選択器１２１によって切替器２０４で選択された予測モードを示す予測モード情報は、エントロピー符号化器１０８に送られる。動きベクトル情報は、フレーム間予測モードが選択された場合にのみ動きベクトル検出器２０１から出力される。

（符号化制御器１１９及びモード選択器１２１について）
図３には、図１における符号化制御器１１９及びモード選択器１２１の動作の流れを示す。まず、符号化制御器１１９は符号化部１１５を制御し、符号化部１１５に複数の予測モード（Ｋ個のフレーム間予測モード及びＬ個のフレーム内予測モード）で順次符号化を行わせ、かつ量子化パラメータを各予測モード内で切り替える。

これに伴い、モード選択器１２１はマクロブロック毎に符号化制御部１１９から与えられる、量子化パラメータの基準となる基準パラメータに基づいて予測モード毎かつ量子化パラメータ毎の符号量Ｒと符号化歪Ｄとの対（以下、Ｒ−Ｄポイントという）を求め、符号量−符号化歪対集合（以下、Ｒ−Ｄポイント集合という）を生成する（ステップＳ３０）。

次に、基準パラメータから未定乗数λを算出する（ステップＳ３０２）。未定乗数λについては、後に説明する。

次に、ステップＳ３０２で算出された未定乗数λに基づいて、ステップＳ３０１で生成された各Ｒ−Ｄポイントでの予測モード及量子化パラメータの組み合わせのコストを算出する（ステップＳ３０４）。最後に、ステップＳ３０２で生成されたＲ−Ｄポイント集合のうちステップＳ３０４で算出されたコストが最小となるＲ−Ｄポイントから、符号化に用いる予測モードと量子化パラメータの組み合わせを選択する（ステップ３０５）。

次に、図３の各ステップＳ３０１〜Ｓ３０５の処理の具体例を示す。
［ステップＳ３０１］
まず、符号化制御器１０９より与えられる基準パラメータQ₀及び前後１点おきのＮ個の量子化パラメータQ₀−２Ｎ，Q₀−２Ｎ＋２，…，Q₀−２，Q₀，Q₀＋２，…，Q₀＋２Ｎ−２，Q₀＋２Ｎの合計２Ｎ＋１点の量子化パラメータの符号化を予測モード毎に行ってみて、符号量Ｒと符号化歪Ｄを求める。

ここで、符号化歪Ｄは例えば次の数式（１）に示すように、輝度信号Ｙと色差信号Ｃｂ及びＣｒのマクロブロック毎の２乗誤差によって求められる。

次に、実際に符号化した量子化パラメータは値が１点おきであったので、飛ばした値の量子化パラメータのポイントについては、前後の符号化した量子化パラメータの符号量Ｒと符号化歪Ｄのポイントから推定を行う。符号量Ｒと符号化歪Ｄとの間には、量子化パラメータをＱとして次の数式（２）（３）のような関係が成り立つものと仮定する。ａ，ｂ，ｃ，ｄは係数である。

実際に符号化を行った前後２つのポイントの符号量R₁, R₂ 及び符号化歪Ｄ₁, Ｄ₂ を用いて、数式（２）（３）で仮定した係数ａ，ｂ，ｃ，ｄを次の数式（４）〜（７）により推定する。

これらの４つの係数ａ，ｂ，ｃ，ｄから、値を飛ばした量子化パラメータ毎の符号量Ｒと符号化歪Ｄを次の数式（７）（８）に従って推定する。

図４に、符号量Ｒと符号化歪Ｄの実測値と数式（８）（９）により推定される推定値の例を示す。

［ステップＳ３０２］
ステップＳ３０２では、符号化制御器１０９より与えられる基準パラメータQ₀から、例えば次の数式（１０）を用いて未定乗数λを推定する。

ここで、ｆとｇはピクチャタイプやスライスタイプといった、ピクチャやスライスの予測構造によって決まる定数とする。

［ステップＳ３０３］
ステップＳ３０３では、ステップＳ３０１で求めたＲ−Ｄポイント集合の中から、次の数式（１１）で算出されるコストＪの値が最小となるＲ−Ｄポイントを選択する。

ここで、αは視覚特性を考慮した重み係数である。重み係数αは、一例としてＭＰＥＧ−２のステップ３と類似した尺度として、次の数式（１２）で与えられる。

ここで、Ｖ_Y は現マクロブロック（現在、予測モードと量子化パラメータを決定しようとしているマクロブロック）の入力画像の分散値であり、ave_actはフレーム、フィールドあるいはスライスといった画像または画像領域単位でのアクティビティ（act）の平均値である。また、Ａは重み係数αの値を１／Ａ〜Ａの値にスケーリングするための定数である。

現マクロブロックの入力画像の分散が平均よりも小さい場合、つまり現マクロブロックが絵柄として相対的に平坦な領域である場合、αの値は１より大きくなるので、符号化歪（例えば２乗誤差）Ｄが同一の他の領域よりもαＤの値が大きくなる。逆に、現マクロブロックの入力画像の分散が平均よりも大きい場合、つまり現ブロックが絵柄として相対的に複雑な部分の場合、αの値は１より小さくなるので、符号化歪Ｄが同一の他の領域よりもαＤの値が小さくなる。すなわち、符号化歪Ｄの値が同一であっても、相対的に絵柄が平坦な領域ほど視覚的に歪が感知されやすいという性質を重み係数αによってＤに対して重み付けを行っている。

また、重み係数αを次の数式（１３）のように色に関する視覚特性を考慮した値として与えることも可能である。

ここで、ΔＥは現マクロブロックを符号化した後に輝度と色差に定数ｋだけ誤差が生じたと仮定した場合のマクロブロック内の色の平均値の差をCIE1976L*a*b*色空間での色差の２乗として求めたものである。今、現マクロブロックの入力画像の輝度と色差の平均値がC_yuv = (Y_av,U_av,V_av) のとき、現マクロブロックを符号化した後の輝度と色差の平均値がC’_yuv =(Y_av+k, U_av+k, V_av+k)になると仮定する。このときC_yuv, C’_yuvをL*a*b*空間での色に変換すると、それぞれC_Lab=(L,a,b), C’_Lab=(L’,a’,b’)となる場合、２乗色差ΔＥは次の数式（１４）に従って算出される。

ここで、ave_actはフレーム、フィールドあるいはスライスといった画像または画像領域単位でのアクティビティ（act）の平均値である。また、Ａは重み係数αの値を１／Ａ〜Ａの値にスケーリングするための定数である。

CIE1976L*a*b*空間は、比較的人間の感じる色差に近い色空間であり、この空間での距離が大きいほど知覚される色の差が大きくなる。従って、現マクロブロックの入力画像の２乗色差ΔＥが平均よりも大きい場合、つまり現マクロブロックは相対的に歪が色知覚に大きな影響を与えるような絵柄である場合、数式（１３）の重み係数αの値は１より大きくなるので、符号化歪Ｄが同一の他の領域よりもαＤの値が大きくなる。

逆に、現マクロブロックの入力画像の２乗色差ΔＥが平均よりも小さい場合、つまり現マクロブロックは相対的に歪が色知覚に与える影響の小さいような絵柄である場合、現マクロブロックは絵柄として相対的に歪が色知覚に与える影響の小さい場合、重み係数αの値は１より小さくなるので、符号化歪Ｄが同一の他の領域よりもαＤの値が小さくなる。すなわち、同一の２乗誤差（ＭＳＥ）の値でも、色によって視覚的に歪の感知のされ方が変わるという性質を重み係数αによって符号化歪Ｄに対して重み付けを行っている。

視覚特性を考慮した重み付係数αの変動によって、図６に示すように、ある予測モードでの同一の量子化パラメータ値Ｑのポイントが水平方向に移動する。従って、同一のλに対して、もし重み係数αが１より大きくなった場合、よりレートが高い予測モードや量子化パラメータＱの値が選択されるようになる。また、もし重み係数αが１よりも小さい場合は、よりレートが低い予測モードや量子化パラメータＱの値が選択されるようになる。

上記実施形態では、符号化歪Ｄに対して入力画像の絵柄を表すアクティビティで重み付けを行う手法と、色によって重み付けを行う手法の二つを示したが、それ以外の視覚的特性を利用した手法を用いて符号化歪Ｄに対して重み付けを行うことも可能であることは言うまでもない。

また、上記実施形態においては符号化単位をマクロブロックとし、マクロブロック毎に予測モード及び量子化パラメータの対を決定する例について記述したが、符号化単位は複数のマクロブロック単位や、スライス、フィールド、フレーム、ピクチャあるいはＧＯＰなど他の単位でも構わない。

さらに、上記実施形態においては動画像符号化を例にとり説明したが、静止画像符号化にも本発明を適用することができる。

本発明の一実施形態に従う画像符号化装置の構成を示すブロック図図１中のフレームメモリ／予測画像作成器の構成を示すブロック図図１中の符号化制御器及びモード選択器の処理手順を示す流れ図符号量と符号化歪を実測値から推定する過程を説明する図符号量−符号化歪対集合からコスト最小の符号量−符号化歪対を選択する過程を示す図視覚特性を考慮した重み付け値αを変更した場合の最適ポイントの変化を示す図

符号の説明

１００…入力動画像信号；
１０１…減算器；
１０２…予測画像信号；
１０３…予測残差信号；
１０４…直交変換器；
１０５…直交変換係数情報；
１０６…量子化器；
１０７…量子化直交変換係数情報；
１０８…エントロピー符号化器；
１０９…逆量子化器；
１１０…逆直交変換器；
１１１…加算器；
１１２…局部復号画像信号；
１１３…フレームメモリ／予測画像作成器；
１１４…動きベクトル情報、予測モード情報；
１１５…符号化部；
１１６…多重化器；
１１７…出力バッファ；
１１８…符号化データ；
１１９…符号化制御器；
１２０…目標符号量情報；
１２１…モード選択器；
２００…フレームメモリ；
２０１…動きベクトル検出器；
２０２…フレーム間予測器；
２０３…フレーム内予測器；
２０４…切替器

Claims

任意の符号化単位毎に複数の予測モードから選択される一つの予測モードを用いて、量子化パラメータを制御しつつ画像の符号化を行う画像符号化方法において、
前記符号化単位毎に前記予測モードと前記量子化パラメータの基準となる基準パラメータとの複数の組み合わせにそれぞれ対応する歪符号量−符号化歪対集合を生成するステップと、
前記基準パラメータから未定乗数を算出するステップと、
前記未定乗数を用いて前記符号量−符号化歪対集合の各々のコストを算出するステップと、
前記符号量−符号化歪対集合の中から前記コストが最小の符号量−符号化歪対を選択するステップと、
前記コストが最小の符号量−符号化歪対から前記符号化に用いる予測モード及び量子化パラメータを決定するステップとを具備する画像符号化方法。
前記未定乗数を算出するステップは、λ＝ｆ×exp(ｇＱ₀)（但し、λは未定乗数、Ｑ₀は基準パラメータ、ｆ，ｇは定数）により前記未定乗数を算出する請求項１記載の画像符号化方法。
前記コストを算出するステップは、前記符号化歪に視覚的特性を考慮した重み付けを行うステップを含む請求項１記載の画像符号化方法。
前記コストを算出するステップは、前記符号化歪に視覚的特性を考慮した重み付けを行った値と、前記符号量に前記未定乗数を乗じた値との和を前記コストとして算出する請求項１記載の画像符号化方法。
任意の符号化単位毎に複数の予測モードから選択される一つの予測モードを用いて、量子化パラメータを制御しつつ画像の符号化を行う画像符号化装置において、
前記符号化単位毎に前記予測モードと前記量子化パラメータの基準となる基準パラメータとの複数の組み合わせにそれぞれ対応する歪符号量−符号化歪対集合を生成する手段と、
前記基準パラメータから未定乗数を算出する手段と、
前記未定乗数を用いて前記符号量−符号化歪対集合の各々のコストを算出する手段と、
前記符号量−符号化歪対集合の中から前記コストが最小の符号量−符号化歪対を選択する手段と、
前記コストが最小の符号量−符号化歪対から前記符号化に用いる予測モード及び量子化パラメータを決定する手段とを具備する画像符号化装置。