JP2009516970A - ビデオ画像符号化方法及び装置 - Google Patents

Abstract

本発明は、前記ソースコードについて、前記符号化モードの選択は、符号化エラーの推定とテストされた相異なる符号化モードの前記ソースブロックの符号化コストの推定により行われ、符号化モードについて、符号化エラーを、この符号化モードに関する、及びこの符号化モードに対応する前記量子化係数の絶対値の和に関する、前記残差ブロックの周波数ドメインにおける数学的変換後に得られる係数の絶対値の和により行うことを特徴とする。アプリケーションはＭＰＥＧ２またはＭＰＥＧ４−ＡＶＣ標準を用いたデータの符号化モードの決定である。

Description

本発明は、ビデオ画像の符号化方法及び装置に関し、具体的には、画像ブロックの符号化モード決定アルゴリズムに関する。

分野としては、ＭＰＥＧ２やＭＰＥＧ４ＡＶＣなどの規格と互換性のある圧縮アルゴリズムを用いたビデオの送信及び格納の分野である。

符号化器における符号化決定の目的は、イントラピクチャモードとして知られる幾つかのモードから符号化する画像の情報を考慮して、またインターピクチャモードとして知られる幾つかのモードからそれまでに符号化した画像の情報を考慮して、一般的には１６×１６ピクセルの大きさの輝度ブロックを有するマクロブロックである画像の構成要素を最良の符号化モードを、所定の基準に従って選択することである。
符号化決定に使われるアルゴリズムには、実施形態の複雑さに応じて、次のものがある：
−アプリオリ型
−アポステリオリ型。
アプリオリ型のアルゴリズムは簡単だが、ビットレートとディストーションの点で適度な性能を示すが、アポステリオリ型のアルゴリズムはもっと複雑であり、よい性能を示す。

マクロブロックの符号化決定プロセスはいろいろな方法で行われ、多くの研究の対象になってきた。これらの研究は以下のように分類できる：
最初のアプローチでは、インタープレディクションモードのグループから最もよいインタープレディクションモードを求め、その後、イントラプレディクションモードがあればそのグループから最もよいイントラプレディクションモードを決定し、その後、最もよいインターモードまたは最もよいイントラモードを選択して、最終的にマクロブロック符号化を実施する。この種のアプローチは、概して参照モデルのアルゴリズムで提案されたものに対応する。このアルゴリズムのツールは、画像間差異測定とローカルアクティビティの計算に基づく。例えば、ＭＰＥＧ−４ビデオベリフィケーションモデル、バージョン１８．０、セクション３．３．２．３（イントラ／インターモードデシジョン）を参照。

他の方法は完全にアポステリオリであり、各符号化モードについて、マクロブロック符号化のコストとリカバリ品質を仮定するものである。これは、ｐｓｎｒ（ピークシグナル対ノイズ比）、ｓａｄ（差異の絶対値の合計）、またはｓａｔｄ（変換差異の絶対値の合計）、より具体的には、アダマール（Hadamard）変換、ｓｓｅ（二乗誤差の合計）、またはｓｓｄ（二乗差異の合計）の計算により求められる。
この種のアルゴリズムは、各モードについて、ソースマクロブロックと再構成（された）ブロックまたはマクロブロックの差異を計算する。再構成（された）ブロックは、予測ブロック（これから残差ブロックが求められる）、残差ブロックのＤＣＴ（離散余弦変換）係数、ＤＣＴ係数の量子化、逆量子化、逆ＤＣＴが分かっていなことを必要とする。これは、再構成（された）残差ブロックであり、予測ブロックに加えられ、再構成（された）ソースブロックを与える。純粋なイントラモードの場合、すなわち予測をしない場合、予測ブロックの値はゼロとされる。

かかるアルゴリズムは、例えば、欧州特許公開公報第ＥＰ０９８２９５１号（２０００年３月１日公開、発明の名称「画像圧縮プロセス」）、またはＨ．Ｓｃｈｗａｒｚ、Ｔ．Ｗｉｅｇａｎｄ著「ラグランジュ符号化制御を用いた改良型ＭＰＥＧ４符号化器」（２００１年３月）に記載されている。

いろいろなリカバリ品質の尺度であるｓａｄ、ｓａｔｄ、ｓｓｅ、ｐｓｎｒは次の式で表される：

ここで、ｉ，ｊ：マクロブロックＭＢに含まれるピクセルのラインとカラムのインデックスであり、
ＭＢｓｒｃはソースマクロブロックであり、
ＭＢｒｅｃは再構成（された）マクロブロックである。
ｓａｔｄの値は、この場合、１６×１６ピクセルの大きさのブロックに含まれる際のアダマール変換係数の絶対値の合計に対応している。
参照アルゴリズムＭＰＥＧ４−ＡＶＣで使用されるアポステリオリ決定基準は以下の通りである：
J_mode＝sse_mode＋λ_mode.MB_cost
ここで、
− Ｊｍｏｄｅは最小の「コスト」を探し、最終的な符号化モードの選択をする範囲（entity）であり、
− ｓｓｅはソースピクセルと、再構成後（すなわち逆量子化Ｑ−１、逆変換ＤＣＴ−１、及び予測ブロックの加算後）のピクセルとの間の誤差の二乗平均の値であり、
− λｍｏｄｅは従来よりラグランジュ係数として知られ、量子化ステップＱＰによって決まる重み付け係数である。
− ＭＢｃｏｓｔはマクロブロックの符号化の実効コストである。

アプリオリ符号化モードの選択アルゴリズムはアポステリオリアルゴリムより効率が低いが、後者は複雑な計算を要し処理時間がかかる。

本発明の目的の１つは上記の欠点を解消することである。
本発明の目的は画像シーケンスのビデオ画像の符号化方法であって、前記画像をブロックに分割し、前と後の画像からの情報を利用するインターピクチャタイプの予測符号化モードと、現在の画像からの情報を利用するイントラピクチャタイプの予測符号化モードのうち少なくとも一方の符号化モードによりソースブロックを符号化し、ソースブロックの予測符号化モードは余弦変換を実行し、前記ソースブロックと前記情報から計算した予測ブロックとの間の差異である残差ブロックを量子化し、量子化係数を求め、前記ソースコードについて、前記符号化モードの選択は、符号化エラーの推定とテストされた相異なる符号化モードの前記ソースブロックの符号化コストの推定により行われ、符号化モードについて、符号化エラーを、この符号化モードに関する、及びこの符号化モードに対応する前記量子化係数の絶対値の和に関する、前記残差ブロックの周波数ドメインにおける数学的変換後に得られる係数の絶対値の和により行うことを特徴とする。

具体的な実施形態では、前記符号化エラー推定は次式で与えられる：
SATD_{dec_est}＝SATD_pred−f(QP)x.Energy_TQ、ここで、
−ＳＡＴＤｐｒｅｄはアダマール変換後に得られる残差ブロックの係数の絶対値の和であり、
−ＱＰは量子化ステップであり、
−ｆ（ＱＰ）は前記量子化ステップの所定の関数であり、
−Ｅｎｅｒｇｙは前記量子化係数の和である。

具体的な実施形態では、関数ｆ（ＱＰ）＝δラ（ＱＰ）２であり、δは所定の定数である。

具体的な実施形態では、符号化モードの選択は次式のＪｍｏｄｅパラメータにより決まる：
J_mode＝SATD_{dec_est}＋W_QP(a.Header_cost＋g.Energy_TQ)、ここで
−ＷＱＰは量子化ステップＱＰに応じた値であり、
−Ｈｅａｄｅｒはデータストリーム中のマクロブロックの符号化のための符号化ヘッダのビット単位のコストであり、
−aとγは所定値のパラメータである、
具体的な実施形態では、ＷＱＰパラメータは量子化ステップＱＰに比例する。

具体的な実施形態では、δ＝１／１３６から１０％以内にあり、α＝２、γ＝４、ＷＱＰ＝ＱＰ／５である。

具体的な実施形態では、動き推定はアダマール変換から相関計算を行い、前記前の画像から前記情報を得る。

本発明は、前記の方法を実施するための符号化装置にも関する。該装置は、
前記相異なる符号化モードの前記符号化エラー推定を計算する処理回路とメモリ回路とを有し、前記処理回路は次式によりＳＡＴＤｄｅｃ＿ｅｓｔの推定を計算し：
SATD_{dec_est}＝SATD_pred−f(QP)x.Energy_TQ、
前記メモリ回路は変化の範囲にわたって分布する量子化ステップＱＰの相異なる値の関数ｆ（ＱＰ）の所定値を含む。

提案する方法はアプリオリの方法とアポステリオリの方法との間に位置し、すなわち、アポステリオリなメジャーメントにより求めたパラメータと、アプリオリなメジャーメントにより求めた予測とを使うものである。

本発明により、アルゴリズムの複雑性を低減したアポステリオリベースの決定に近いビットレート／歪み性能を得ることができ、マクロブロックの再構成は必要ない。

他の特徴や利点は、図１を参照して非限定的な実施例として与えられる以下の説明により明らかになるであろう。

例えば、ＭＰＥＧ４タイプパート１０すなわちＨ．２６４等の符号化方法は、イントラモードまたはインターモードでソースマクロブロックＭＢｓｒｃの符号化を行う。

インターモードでの符号化は、マクロブロックソースＭＢｓｒｃと、前に符号化された基準画像から計算されローカルデコーダで再構成された予測（された）マクロブロックＭＢｐｒｅｄとの間の差異と、予測マクロブロックの計算で考慮される、ソースブロックに相関する再構成（された）ブロックを指定する動き情報に影響する。

イントラモード予測符号化は、例えば、平均輝度、または前に符号化された隣接するマクロブロックのピクセルの輝度値の情報等の、符号化するソースマクロブロックが含まれる画像中の情報を、計算時に考慮する。Ｈ．２６４標準にはイントラプレディクションモードが記載されている。

本発明は、上記のアポステリオリ決定基準（Ｊｍｏｄｅ）に着想を得た符号化決定アルゴリズムを実施する符号化方法に関する。
符号化決定は次のパラメータに基づく：
−アプリオリなメジャーメント、すなわちＳＡＴＤｐｒｅｄ計算。すなわち、符号化されるピクセルに適用されるメジャーメント、または残差予測エラー、またはイントラ画像符号化モード及びインター画像符号化モードのピクセルドメイン中の残差ブロック、
−第１項ＥｎｅｒｇｙＴＱと第２項Ｈｅａｄｅｒｃｏｓｔを含む量子化計数に関するメジャーメント。

ＥｎｅｒｇｙＴＱはピクセルドメインにおける残差ブロックのＤＣＴ変換後に得られる、量子化後の係数の合計である。このパラメータは、ある意味では、マクロブロックの再構成に必要な情報量に関する情報を与える。

Ｈｅａｄｅｒｃｏｓｔはマクロブロックヘッダの符号化コストに対応する。符号化する係数の数等のマクロブロックに関するすべての情報が分かっているので、ヘッダの符号化コストは正確に計算できる。
この最後のメジャーメントは、量子化ステップに直接依存する重みファクタＷＱＰにより、マクロブロック係数の量子化に使用する量子化ステップＱＰにより重み付けられる。

よって、符号化モード決定アルゴリズムは次の式で与えられる：
J_mode＝SATD_{dec_est}＋W_QP(a.Header_cost＋g.Energy_TQ)
−ＳＡＴＤｄｅｃ＿ｅｓｔはは以下で詳しく説明する予測され復号されたＳＡＴＤである。その目的は、符号化後のＳＡＴＤベースの再構成エラー予測または復号エラーを与えることである。
−ＷＱＰは量子化ステップＱＰに依存する重み付けファクタである。
−(a.Header_cost＋g.Energy_TQ)は、値がマクロブロックの符号化コストの変化（evolution）に最も近い情報を提供する式である。パラメータα、γによりＨｅａｄｅｒｃｏｓｔとＥｎｅｒｇｙＴＱが重み付けされる。言うまでもなく、Ｈｅａｄｅｒｃｏｓｔはマクロブロックヘッダビットの符号化コストを表し、ＥｎｅｒｇｙＴＱは量子化後の係数の合計に対応する。

Ｊｍｏｄｅ値を利用可能な各符号化モードについて計算し、最小値となるモードを実際のマクロブロックの符号化のために保持する。

ソースと再構成画像との間のエラーＳＡＴＤｄｅｃ＿ｅｓｔの予測は、最初に、アダマール変換されたピクセルドメイン中の残差ブロックの係数の合計に対応する予測エラーＳＡＴＤｐｒｅｄを考慮することにより近似し、次に、この予測エラーＳＡＴＤｐｒｅｄがＤＣＴ変換されたピクセルドメイン中の残差ブロックの係数の量子化値の重み付け合計を用いて求められる。
よって、ＳＡＴＤｄｅｃ＿ｅｓｔ符号化に固有のエラーを、ＳＡＴＤｐｒｅｄから推定できる関係は以下の通りである：
SATD_{dec_est}＝SATD_pred−f(QP).Energy_TQ
ここで、
−ＳＡＴＤｐｒｅｄは、アプリオリに計算されたソースマクロブロックと予測マクロブロック間のＳＡＴＤであり、予測エラーに対応し、上記のｓａｔｄの式においてＭＢｒｅｃをＭＢｐｒｅｄで置き換えたものである、

は、ＤＣＴ変換と量子化の後の係数の絶対値の合計である、
−ｆ（ＱＰ）は量子化ステップＱＰの値に応じた重み付けパラメータである。
使用する量子化ステップは、例えばビットレート制御アルゴリズムを用いて従来の方法で計算される。
ＳＡＴＤｄｅｃ＿ｅｓｔの値が負であるとき、その値はゼロとする。

ＳＡＴＤｐｒｅｄ項はピクセルドメインにおける残差ブロックのアダマール（Hadamard）変換後に得られる残差ブロック係数の合計に対応する。ここでアダマール変換を提案したのは、アダマール変換は一般的に動き予測の際に前もって計算され、利用可能だからである。また、ＤＣＴ変換よりも計算が簡単だということもある。しかし、これ以外の選択肢がないということではなく、残差ブロックのＤＣＴ変換の使用も本発明に含まれる。

ＥｎｅｒｇｙＴＱ項は、ピクセルドメインにおいて残差ブロックのＤＣＴ変換と量子化後に得られる量子化係数の合計に対応し、ｆ（ＱＰ）項は量子化ステップの関数として値を決定する。
ＳＡＴＤｄｅｃ＿ｅｓｔ値により、再構成（された）ブロックすなわち復号（された）ソースブロックを計算する必要なしに、符号化エラーまたは再構成エラー、すなわちソースブロックと再構成（された）ブロックとの間のエラーを推定できる。
例えば、残差ブロックの輝度値が低く量子化係数がヌル（null）になる場合、Ｅｎｅｒｇｙ値はゼロであり、符号化エラーまたは再構成エラーはアダマール変換による変換された残差ブロックに対応するＳＡＴＤｐｒｅｄで推定される。この情報は符号化の際に事実上「失われた」残差に関係している。

例えば、予測をしない純粋なイントラモードの場合のように、予測されたブロックがヌルであるとき、ＳＡＴＤｐｒｅｄは、符号化エラーの推定のために量子化後に、変換されたソースブロックを表す値を引く、変換（された）ソースブロックに対応する。
ソースブロックと予測ブロック間の差異のアダマール変換に関係するこのＳＡＴＤｐｒｅｄは、最大符号化エラーまたは予測エラーの推定と考えることができる。符号化器と復号器で使用される予測ブロックは同じである。この最大エラーは、量子化された残差ブロックがヌルであり、予測（された）ブロックに等しい再構成ソースブロックを復号器に与える場合、推定（された）エラーになる。
しかし、予測エラーは量子化され符号化された残差ブロックの送信により最小化され、その時は、デコーダの再構成（された）ブロックは、復号された残差ブロックを加える予測ブロックになる。この場合、デコーダにおける再構成エラーは上記の初期予測エラーより小さく、再構成エラー推定は、変換され量子化された残差ブロックである量子化された係数ブロックと量子化ステップとに基づく、残差ブロックの復号値の推定値の最小化された予測エラーの推定に対応する。

この曲線は量子化ステップの２次関数で近似できる：
f(QP)＝δx(QP)²
もっと正確には、経験的に決定されるδの値は１／１３６．３１４である。もちろん、この値はエネルギーパラメータの重みの効率に大きな影響を与えずに１０％前後の幅で粗く選択することができる。
一実施形態では、ＷＱＰ、α、γパラメータは次の値である：
a＝2
g＝4
W_QP＝QP/5
これらの値は、量子化ステップＱＰの値がどうであっても、アルゴリズムの振る舞いがアポステリオリ決定アルゴリズムの振る舞いにできるだけ近くなるように、いろいろなシーケンスにおいて多数のシミュレーションを行って決めたものである。

ここで、比較として、完全にアプリオリな符号化決定と完全にアポステリオリな符号化決定に対するこのアルゴリズムの性能の位置付けとなるシミュレーションの結果を示す。以下の表では、アポステリオリアルゴリズムで求めたビットレートを参照する。

第１のカラムは画像処理の分野で周知の典型的なシーケンスである。第２のカラムは、各シーケンスについて、アポステリオリ決定アルゴリズに関するビットレートのパーセンテージとして、本発明によるアルゴリズムを適用したときのビットレートの増加を示し、カラム３はアプリオリアルゴリズムに関するビットレートの増加を示す。ビットレートの増加のパーセンテージは、Ｇ．Ｂｊｏｎｔｅｇａａｒｇ著「ＲＤ曲線間の平均ＰＳＮＲ差異の計算」で推奨された方法によるビットレート／歪み曲線を比較して計算した。

本発明はビデオ画像シーケンスの符号化装置にも関する。この装置は、既知のように、例えば、ＭＰＥＧ４−ＡＶＣ標準により符号化に使用される処理回路、動き予測回路、ＤＣＴ変換回路、量子化器を含む。処理回路は、特に、上記のような符号化モード決定アルゴリズムを実施する。関数ｆ（ＱＰ）が記憶され、処理回路は符号化するマクロブロックに対応する量子化ステップ値のこの関数の計算を実行する。
具体的な実施形態では、この計算は、変化範囲にわたって分布する、量子化ステップの相異なる値の曲線上の点を記憶することにより置き換えられる。処理回路は、このメモリ中の、使用する量子化ステップに対応するアドレスにあるｆ（ＱＰ）値を検索する。このメモリは、経験的計算の時に求めた値を直接含んでいて、ｆ（ＱＰ）曲線を用いなくてもよい。

設計により、歪みの推定、及び量子化ステップＱＰに対する符号化コストの推定、決定アルゴリズムを、かかる推定をできるすべてのタイプの符号化器で、特に、マクロブロックを含むサブパーティションの選択に対して実施することができる。ＭＰＥＧ４−ＡＶＣ符号化標準を考え、１６×８ピクセルのサイズの２つのサブパーティションよりなるマクロブロックに対応する１６×８インター符号化モードに関して、上記のアルゴリズムを用いて、動き推定器により求めた相異なる参照画像から最もよい予測を各サブパーティションに対して決定する。これらは予測サブパーティションである。

同じ精神において、計算負荷を考慮しなければ、このタイプのアルゴリズムを動き推定の計算の場合に実施することができる。よって、予測するブロックを動きベクトルを介して予測するカレントブロックに正しいマッピングを可能とする基準、ｓａｄ、ｓａｔｄ、さらにｓｓｅのメジャーメントに基づいた基準は、この明細書に説明したアルゴリズムで置き換えることができる。動き推定から、この基準の実施は、Ｊｍｏｄｅタイプの符号化の「コスト」に対するインパクトのアイデアを与える。よって、動き推定の計算と動きベクトルの選択のときに、このコスト情報を考慮することができる。
この基準の実施に関して、相異なる変形が以下のパラメータについて可能である：
SATD_{dec_est}＝SATD_pred−f(QP).Energy_TQ

よって、例えば：
−パラメータは、符号化するマクロブロックのルミナンス（luminance）ピクセルとクロミナンス（chrominance）ピクセルで共に計算する、
−パラメータはルミナンス信号のみで計算する、
他の変形では、
−第１項ＳＡＴＤｄｅｃ＿ｅｓｔはルミナンス信号のみで計算する、
−第２項(a.Header_cost＋g.Energy_TQ)はルミナンスとクロミナンスで計算する。
よって、この変化形では、クロミナンスを損なってでもルミナンスの品質を優先する。クロミナンスは第２項のみで考慮されているからである。第２項はアポステリオリ（ＭＢｃｏｓｔ）決定基準の符号化コストである。モードはルミナンスに関してＥｎｅｒｇｙＴＱ＿ｌｕｍｉｎａｎｃｅの値が同じであるＪｍｏｄｅの最小値により選択される。これは差が生じるのはクロミナンスに関するＥｎｅｒｇｙＴＱ＿ｃｈｒｏｍｉｎａｎｃｅの値である。

最後に、留意して欲しいこととして、次の式：
J_mode＝SATD_{dec_est}＋W_QP(a.Header_cost＋g.Energy_TQ)
において、ＷＱＰの項はありそうなリカバリとありそうな符号化コストの品質間の重み付けの役割を果たす。実際、リカバリ品質を優先する必要がある場合、ＷＱＰ ｔｅｒｍを小さくし、一方、それとは反対に、リカバリ品質を損なっても符号化コストが最も小さいものを探す時には、ＷＱＰを大きくする。

０と５１の間の量子化ステップについて、経験的に決定した関数ｆ（ＱＰ）に対応する曲線の一例を示す図である。

Claims (8)

1. 画像シーケンスのビデオ画像の符号化方法であって、
   前記画像をブロックに分割し、
   前と後の画像からの情報を利用するインターピクチャタイプの予測符号化モードと、現在の画像からの情報を利用するイントラピクチャタイプの予測符号化モードのうち少なくとも一方の符号化モードによりソースブロックを符号化し、
   ソースブロックの予測符号化モードは余弦変換を実行し、
   前記ソースブロックと前記情報から計算した予測ブロックとの間の差異である残差ブロックを量子化し、量子化係数を求め、
   前記ソースコードについて、前記符号化モードの選択は、符号化エラーの推定とテストされた相異なる符号化モードの前記ソースブロックの符号化コストの推定により行われ、
   符号化モードについて、符号化エラーを、この符号化モードに関する、及びこの符号化モードに対応する前記量子化係数の絶対値の和に関する、前記残差ブロックの周波数ドメインにおける数学的変換後に得られる係数の絶対値の和により行うことを特徴とする方法。
2. 前記符号化エラー推定は次式であ耐えられることを特徴とする、請求項１に記載の方法：
   SATD_{dec_est}＝SATD_pred−f(QP)x.Energy_TQ、ここで、
   −ＳＡＴＤｐｒｅｄはアダマール変換後に得られる残差ブロックの係数の絶対値の和であり、
   −ＱＰは量子化ステップであり、
   −ｆ（ＱＰ）は前記量子化ステップの所定の関数であり、
   −Ｅｎｅｒｇｙは前記量子化係数の和である。
3. 関数ｆ（ＱＰ）＝δ×（ＱＰ）２であり、δは所定の定数であることを特徴とする、請求項２に記載の方法。
4. 符号化モードの選択は次式のパラメータＪｍｏｄｅの関数であることを特徴とする、請求項２に記載の方法：
   J_mode＝SATD_{dec_est}＋W_QP(a.Header_cost＋g.Energy_TQ)、ここで
   −ＷＱＰは量子化ステップＱＰに応じた値であり、
   −Ｈｅａｄｅｒはデータストリーム中のマクロブロックの符号化のための符号化ヘッダのビット単位のコストであり、
   −aとγは所定値のパラメータである、
5. パラメータＷＱＰは量子化ステップＱＰに比例することを特徴とする、請求項４に記載の方法。
6. δ＝１／１３６から１０％以内にあり、α＝２、γ＝４、ＷＱＰ＝ＱＰ／５であることを特徴とする、請求項５に記載の方法。
7. 動き推定はアダマール変換から相関計算を行い、前記前の画像から前記情報を得る、請求項２に記載の方法。
8. 請求項１に記載の方法を実施する符号化装置であって、
   前記相異なる符号化モードの前記符号化エラー推定を計算する処理回路とメモリ回路とを有し、
   前記処理回路は次式により符号化エラーの推定を行い：
   SATD_{dec_est}＝SATD_pred−f(QP)x.Energy_TQ、ここで、
   −ＳＡＴＤｐｒｅｄはアダマール変換後に得られる残差ブロックの係数の絶対値の和であり、
   −ＱＰは量子化ステップであり、
   −ｆ（ＱＰ）は前記量子化ステップの所定の関数であり、
   −Ｅｎｅｒｇｙは前記量子化係数の和であり、
   前記メモリ回路は変化の範囲にわたって分布する量子化ステップＱＰの相異なる値の関数ｆ（ＱＰ）の所定値を含む。

Images