JP2001016594A

JP2001016594A - 動画像の動き補償方法

Info

Publication number: JP2001016594A
Application number: JP18290599A
Authority: JP
Inventors: Yoshinori Suzuki; 芳典鈴木
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1999-06-29
Filing date: 1999-06-29
Publication date: 2001-01-19

Abstract

(57)【要約】（修正有）【課題】２種類以上の動き補償方法から符号化ブロッ
ク毎に１種類の動き補償方法を選択する際に、最適な方
法を選択するために予測誤差と同時に動き情報量を正確
に評価に反映させることが可能とする。【解決手段】符号化ノイズと予測誤差信号の符号化に
必要とされる符号化ビット量との間に成り立つ関係を利
用して、動き補償の結果発生する予測誤差信号を符号化
するに要する情報量を推定する。符号化ノイズの期待値
は量子化パラメータから求められるので、予測誤差信号
の絶対値に対する符号量は、予測誤差信号の絶対値で正
規化した量子化パラメータから予測誤差信号の符号化に
要する情報量を推定することで求められる。この関係か
らブロック内の予測誤差信号を符号化するに要する情報
量を推定し、それにブロック内の動きベクトルの符号化
に要する情報量を加えた値を評価値とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル動画像
符号化技術に属するものである。

【０００２】

【従来の技術】ディジタル動画像の高能率符号化におい
て、時間的に隣接するフレーム間の相関を利用する動き
補償方法は大きな圧縮効果を生むことが知られている。
このため、動画像符号化方式の国際標準MPEG1、2、4で
も半画素精度のブロックマッチングの技術が用いられて
いる。この方式では、符号化しようとする画像を多数の
ブロックに分割し、ブロック毎にその動きベクトルを水
平・垂直方向に隣接画素間距離の半分の長さを最小単位
として求めている。この処理を数式で表現すると次のよ
うになる。符号化しようとするフレーム（現フレーム）
の予測画像をP(x,y)、参照画像（Pと時間的に近接して
おり、既に符号化が完了しているフレームの復号画像）
をR(x, y)とする。またx、yは整数であるとして、PとR
では座標値が整数である点に画素が存在すると仮定す
る。このとき、PとRの関係は

【０００３】

【数１】

【０００４】で表される。ただし、画像はａ個のブロッ
クに分割されるとして、Biは画像のi番目のブロックに
含まれる画素、(ui,vi)はi番目のブロックの動きベクト
ルを表している。

【０００５】半画素精度のブロックマッチングでは、ui
とviはそれぞれ画素間距離の半分、つまりこの場合は１
／２を最小単位として求められることになる。従って、
座標値が整数ではなく、参照画像において実際には画像
が存在しない点（以後、このような点を内挿点とよぶ）
の輝度値を求めることが必要となる。この際の処理とし
ては、周辺４画素を用いた共１次内挿が使われることが
多い。この内挿方式を数式で記述すると、座標値の少数
部分をαとβ（０≦α, β＜１）として、参照画像の内
挿点(x+α, y+β)における輝度値R(x+α, y+β)は

【０００６】

【数２】

【０００７】で表される。

【０００８】なお、ブロックマッチングのようにブロッ
ク毎に動きベクトルの検出を行う動き補償方法を局所的
な動きを検出するという意味から、以後纏めてローカル
動き補償と呼ぶことにする。またブロック単位の動きベ
クトルをローカル動きベクトルと呼ぶことによる。

【０００９】以上説明したローカル動き補償を使用した
符号化方式として、ここでは低レート符号化を目的とし
た動画像符号化国際標準方式H.263を例に挙げる。H.263
は符号化方式として、ブロックマッチングを用いたロー
カル動き補償とDCTを組み合わせたハイブリッド符号化
方式（フレーム間／フレーム内適応符号化方式）を採用
している。このハイブリッド符号化方式ではマクロブロ
ック毎にブロックマッチングおよび離散コサイン変換
（ＤＣＴ）が行われる。マクロブロックとは、８画素×
８画素の４個の輝度信号ブロックとそれと空間的に対応
する８画素×８画素の２個の色差信号ブロックで構成さ
れている。デフォルトのブロックマッチングは１６画素
×１６画素のＹ信号ブロック毎に行われ、ＤＣＴは６個
の８画素×８画素ブロック単位で行われる。またH.263
では、４個の８画素×８画素ブロック毎にブロックマッ
チングを行い、１個のマクロブロックに４個のローカル
動きベクトルを持つことも可能となっている。そのた
め、 H.263には３種類の予測タイプがあり、マクロブロ
ック単位で選択される。具体的な予測タイプは以下の通
りである。

【００１０】Ｐ−１. 動き予測を行わず、原画像上のブ
ロック内の画素に直接ＤＣＴを施すINTRAモード。

【００１１】Ｐ−２. １６画素×１６画素の輝度ブロッ
クでブロックマッチングを行い、１個のローカル動きベ
クトルの符号化を伴うINTERモード。

【００１２】Ｐ−３. ８画素×８画素の輝度ブロック
毎にブロックマッチングを行い、４個のローカル動きベ
クトルの符号化を伴うINTER4Vモード。

【００１３】H.263の詳細なアルゴリズムは「DRAFT ITU
-T Recommendation H.263, 1995.12.5」に述べられてい
るが、ここでは時間的に正方向の既符号化フレームのみ
を参照画像として動き補償が行われるＰピクチャを対象
として、符号化アルゴリズムを説明する。

【００１４】図２はH.263の符号化器の構成例を示して
いる。減算器２０２は入力画像２０１（現フレームの
原画像）２０１とINTRA／INTER判定装置２１７の出力画
像２１２（後述）との差を計算し、誤差画像２０３を出
力する。この誤差画像は、DCT変換器２０４でDCT係数に
変換された後、制御装置２００から受けた量子化パラメ
ータ情報２２０に基づいて量子化器２０５で量子化さ
れ、量子化DCT係数２０６となる。ここで、 DCT係数の
量子化方法について述べておく。 DCT係数は、要求条件
（符号化レート、再生画質等）に基づいて制御装置２０
０で算出される量子化パラメータ２２０（ QP ：H.263
のdescriptionではQUANTと記述されているが本明細書で
はQPと記述する）を用いて量子化される。この量子化パ
ラメータQPは１から３１までの正の整数である。 DCT係
数は

【００１５】

【数３】

【００１６】により量子化される。ここでＣＯＦはDCT
係数、ＬＥＶＥＬは量子化DCT係数、ＤＣはDCT係数の直
流成分、ＡＣは交流成分を表す。演算子‘／’は小数点
以下切り捨てを表し、演算子‘／／’は小数点以下四捨
五入を表す。

【００１７】算出された量子化DCT係数２０６と量子化
パラメータ２２０は伝送情報として通信路に出力される
と同時に、符号化器内でもフレーム間の予測画像を合成
するために使用される。以下に予測画像の合成手順を説
明する。上述の量子化DCT係数２０６は、まず逆量子化
器２０７で次のように逆量子化される。量子化DCT係数
ＬＥＶＥＬのうちINTRAモードの直流分は

【００１８】

【数４】

【００１９】により逆量子化される。その他の量子化値
は

【００２０】

【数５】

【００２１】により絶対値として逆量子化され、

【００２２】

【数６】

【００２３】により正負の符号がつけられる。ここでＤ
ＣＯＦは逆量子化されたDCT係数を示す。この逆量子化
されたDCT係数は逆DCT変換器２０８を経て復号誤差画像
２０９（受信側で復号される誤差画像と同じ画像）とな
る。これに加算器２１０においてINTRA／INTER判定装置
２１７の出力画像２１２（後述）が加えられ、局部復号
画像すなわち現フレームの復号画像２１１（受信側で再
生される現フレームの復号画像と同じ画像）を得る。こ
の画像は一旦フレームメモリ２１３に蓄えられ、１フレ
ーム分の時間だけ遅延された後、前フレームの復号画像
２１４としてフレームメモリ２１３から出力される。次
に、前フレームの復号画像２１４と現フレームの入力画
像２０１が動き補償装置２１５に入力され、動き補償が
行われる。具体的には、現フレームの入力画像２０１の
輝度信号を１６×１６画素のブロックに分割した後、画
像２１４との間でＰ−２またはＰ−３のブロックマッチ
ングが行われる。ここで検出されたローカル動きベクト
ルと選択された予測タイプ情報は多重化された後、動き
情報２１９として受信側へ伝送される。受信側は、この
動き情報と前フレームの復号画像から、独自に送信側で
得られるものと同じ予測画像を合成することができる。
予測画像２１６はINTRA／INTER判定装置２１７に入力さ
れる。この判定装置では、入力画像２０１のアクティビ
ティーと予測誤差画像からマクロブロック単位でフレー
ム内符号化またはフレーム間符号化のいずれかを選択す
る。ここでフレーム間符号化が選択された場合には、予
測画像が２１２として出力される。一方、フレーム内符
号化が選択された場合には、０画像が２１２として出力
される。受信側で正しく復号化画像を得るためには、送
信側でいずれの符号化方法が選択されたか知る必要があ
る。このため、フレーム間／フレーム内選択情報２２３
が通信路へ出力される。最終的なH.263ビットストリー
ムは多重化器２１８で量子化DCT係数、量子化パラメー
タ、ローカル動きベクトルおよび予測タイプ選択情報、
フレーム間／フレーム内選択情報を多重化することによ
って得られる。

【００２４】これまで説明してきたブロックマッチング
を用いるローカル動き補償は現在国際標準方式H.261、
H.263、MPEG1、MPEG2、MPEG4（H.261、MPEG1、MPEG2に
関しては、例えば、藤原洋監修「最新MPEG教科書」(1
994.8)などに解説されている）で用いられており、最も
広く利用されている動き補償方式である。しかし、画像
全体が拡大・縮小・回転している場合には、すべてのブ
ロックに対して動きベクトルを伝送しなければならず、
符号化効率が悪くなる問題が発生する。この問題に対
し、画像全体の動きベクトル場を少ないパラメータを用
いて表現するグローバル動き補償（例えば、M.Hotter,
"Differential estimation of the global motion par
ameters zoom and pan", Signal Processing, vol. 16,
no. 3, pp. 249-265, Mar. 1989）が提案されている。
これは、画像内の画素（ｘ，ｙ）の動きベクトル（ｕg
（ｘ，ｙ），ｖg（ｘ，ｙ））を、

【００２５】

【数７】

【００２６】や、

【００２７】

【数８】

【００２８】の形式で表し、この動きベクトルを利用し
て動き補償を行う方式である。ここでａ0〜ａ5、ｂ0〜
ｂ7は動きパラメータである。動き補償を行う際には、
送信側と受信側で同じ予測画像が得られなければならな
い。このために、送信側は受信側へａ0〜ａ5またはｂ0
〜ｂ7の値を直接伝送しても良いが、代わりにいくつか
の代表点の動きベクトルを伝送する方法もある。いま、
画像の左上端、右上端、左下端、右下端の画素の座標が
それぞれ（０，０）、（ｒ，０）、（０，ｓ）、（ｒ，
ｓ）で表されるとする（ただし、ｒとｓは正の整数）。
このとき、代表点（０，０）、（ｒ，０）、（０，ｓ）
の動きベクトルの水平・垂直成分をそれぞれ（ｕa，ｖ
a）、（ｕb，ｖb）、（ｕc，ｖc）とすると、数７は

【００２９】

【数９】

【００３０】と書き換えることができる。これはａ0〜
ａ5を伝送する代わりにｕa、ｖa、ｕb、ｖb、ｕc、ｖc
を伝送しても同様の機能が実現できることを意味する。
この様子を図３に示す。現フレームの原画像３０１と参
照画像３０２の間でグローバル動き補償が行わる場合、
３０３のように画像の頂点に代表点３０５、３０６、３
０７が配置される。これらの代表点が３０４に示す参照
画像上の空間位置３０８、３０９、３１０からそれぞれ
移動したものと推定すると、画像頂点から３０８、３０
９、３１０までの動きが動きベクトル３１１、３１２、
３１３（このとき、動きベクトルは現フレームの原画像
の点を出発点として、参照画像内の対応する点を終点と
するものとして定義する）として検出される。現フレー
ムの各画素の動きベクトルは上記３個の動きベクトルと
(数９)から算出できる。

【００３１】同様に４個の代表点（０，０）、（ｒ，
０）、（０，ｓ）、（ｒ，ｓ）の動きベクトルの水平・
垂直成分（ｕa，ｖa）、（ｕb，ｖb）、（ｕc，ｖc）、
（ｕd，ｖd）を用いて数８は、

【００３２】

【数１０】

【００３３】と書き換えることができる。したがって、
ｂ0〜ｂ7を伝送する代わりにｕa、ｖa、ｕb、ｖb、ｕ
c、ｖc、ｕd、ｖdを伝送しても同様の機能が実現でき
る。

【００３４】ここで、上記で説明したローカル動き補償
方式とグローバル動き補償方式を組み合わせた動き補償
方法を考える。一般には、ブロック毎に２方式からいず
れか一方を選択する方法が用いられる。例えば、この選
択型動き補償方法を図２に示したH.263符号化方式に導
入する場合、動き補償装置２１５にグローバル動き補償
の機能が加えられる。図４に動き補償装置の構成を示
す。図２と同じ番号は同じものを指すものとする。前フ
レームの復号画像２１４と現フレームの原画像２０１と
の間で、ローカル動き補償部４０１とグローバル動き補
償部４０５においてそれぞれグローバル動き補償とロー
カル動き補償が並列に行われる。ローカル動き補償部４
０１では、H.263符号化方式に採用されている２種類の
ローカル動き補償(P-2, P-3)が行われ、ローカル予測画
像４０２がグローバル／ローカル選択スイッチ４１１
(後述)に、各ブロックにおけるローカル予測画像と原画
像間の誤差の絶対値和４０３が予測タイプ判定部４０９
に、ローカル動きベクトル情報・P-2/P-3の予測タイプ
情報の組み合わせ情報４０４が多重化部４１２にそれぞ
れ送られる。一方、グローバル動き補償部４０５では、
上記で説明したｕa、ｖa、ｕb、ｖb、ｕc、ｖcの値がグ
ローバル動きベクトル情報４０８として推定され、多重
化部４１２に送られる。また、グローバル予測画像４０
６がグローバル／ローカル選択スイッチ４１１(後述)
に、各マクロブロックにおけるグローバル予測画像と原
画像間の誤差の絶対値和４０７が予測タイプ判定部４０
９にそれぞれ送られる。予測タイプ判定部４０９では、
ローカル動き補償部４０１とグローバル動き補償部４０
５から得られた各マクロブロックの絶対値和４０３、４
０７を用いて各マクロブロックに適用する動き補償方法
が選択される。選択には、各動き補償方法における絶対
値和を比較し、小さいほうを選ぶ方法が取られる。この
際、ローカル動きベクトル情報を必要としないグローバ
ル動き補償が選ばれやすくなるように、ローカル動き補
償の絶対値和４０３に一定値を加算するのが一般的であ
る。選択結果はグローバル/ローカル動き補償選択情報
４１０として、グローバル／ローカル選択スイッチ４１
１と多重化部２１９に送られる。グローバル／ローカル
選択スイッチ４１１では、予測タイプ判定部から得られ
たグローバル/ローカル動き補償選択情報４１０に従
い、ローカル予測画像４０２とグローバル予測画像４０
６から予測画像２１６を構成する。多重化部４１２で
は、グローバル動きベクトル４０８と、グローバル/ロ
ーカル動き補償選択情報４１０と、ローカル動き補償が
選択されたブロックにおけるローカル動きベクトル情報
・P-2/P-3の予測タイプ情報の組み合わせ情報４０４が
多重化され、動き情報２１９として出力される。

【００３５】以上述べたグローバル動き補償を導入する
ことにより、画像の大局的な動きを少ないパラメータを
用いて表現することが可能となり、より高い情報圧縮率
が実現できる。しかし、その一方で符号化および復号化
における処理量は従来の方式と比較して増加する。特に
数９および１０に見られる除算は、処理を複雑にする大
きな要因となってしまう。その問題を解決する方法とし
て、グローバル予測画像作成方法には、例えば「特開平
９−２５２４７０」に参照されるような、高速アルゴリ
ズムが存在する。

【００３６】

【発明が解決しようとする課題】２種類以上の動き補償
方法から符号化ブロック毎に１種類の動き補償方法を選
択する場合、一般に予測誤差信号の絶対値和が評価値と
して用いられる。動き情報の符号化に要する情報量は動
き補償方法によって異なるため、最適な方法を選択する
ためには予測誤差と同時に動き情報量も評価しなければ
ならない。そのため、各評価値に対して異なるオフセッ
トをかける方法が用いられるが、この方法では動き情報
量を正確に評価に反映させることができない。

【００３７】

【課題を解決するための手段】符号化ノイズと予測誤差
信号の符号化に必要とされる符号化ビット量との間に成
り立つ関係を利用して、動き補償の結果発生する予測誤
差信号を符号化するに要する情報量を推定する。符号化
ノイズの期待値は量子化パラメータから求められるの
で、予測誤差信号の絶対値に対する符号量は、予測誤差
信号の絶対値で正規化した量子化パラメータから予測誤
差信号の符号化に要する情報量を推定することで求めら
れる。この関係からブロック内の予測誤差信号を符号化
するに要する情報量を推定し、それにブロック内の動き
ベクトルの符号化に要する情報量を加えた値を評価値と
することで、動き情報量を正確に評価に反映させること
が可能となる。

【００３８】

【発明の実施の形態】従来例に示したようなローカル動
き補償およびグローバル／ローカル動き補償では、マク
ロブロック毎に２種類の予測タイプの中から１種類の予
測タイプを選択しなければならない。例えば、H.263符
号化方式にグローバル動き補償を組み合わせた図４の例
がこのケースにあたる。最適な予測性能のみを追求する
場合には、各予測タイプを適用した際に発生するマクロ
ブロック内の予測誤差信号の絶対値和をそれぞれ計算
し、その値が最小となるものを選択すれば良い。しかし
ながら、従来例の図４のところで説明したように、グロ
ーバル動き補償ではマクロブロック毎に動きベクトルを
符号化する必要がないため、符号化効率を考慮した場合
には多少の予測性能を犠牲にしても動きベクトルの発生
情報量を抑制した方が良い。特に、低レート符号化を意
識した場合には、全情報量に対する動きベクトルの情報
量の比率が大きくなるため、動きベクトル情報の制御は
必須である。図4の従来例では、ローカル動き補償のお
いて検出された動きについて予測誤差の絶対値に対して
一定値を加算することでグローバル動き補償が選ばれや
すくなるように細工している。その様子を計算式で以下
に示す。

【００３９】まず、ローカル動き補償では、INTERモー
ドとINTER4Vモードの予測タイプが存在する。INTER4Vモ
ードでは、マクロブロック毎に４個の動きベクトルを符
号化する必要があるため、動きベクトル情報を削減する
ためにはINTERモードが優先的に選択される必要があ
る。そこで、入力画像をａ個のマクロブロック（１≦ｉ
≦ａ）に分割し、各マクロブロック毎にINTERモードとI
NTER4Vモードのブロックマッチングを以下の様に行う。

【００４０】INTERモードのブロックマッチングでは

【００４１】

【数１１】

【００４２】に示す予測誤差信号の絶対値和の演算（記
号の意味は後述）を探索範囲内の各候補ローカル動きベ
クトルに対して行い、 Ei(u,v) を最小とするローカル
動きベクトル(u,v)を検出すると共に、Ei(u,v)の最小値
をBEiとして登録する。INTER4Vモードのブロックマッチ
ングでは

【００４３】

【数１２】

【００４４】に示す予測誤差信号の絶対値和の演算（記
号の意味は後述）を探索範囲内の各候補ローカル動きベ
クトルに対して行い、 4Ei,j(uj,vj|1≦j≦4)を最小と
するローカル動きベクトルの組(uj,vj|1≦j≦4)を検出
すると共に、4Ei,j(uj,vj|1≦j≦4)の最小値を4BEiとし
て登録する。なお数１１、数１２で使用している記号の
意味は次の通りである。

【００４５】F(x,y)：符号化しようとするフレーム（現
フレーム）の原画像のY信号。x、yは整数値であり、画
素サンプルの水平成分および垂直成分を示す。

【００４６】R(x,y)：フレームメモリから入力される前
フレームの復号化画像のY信号。 x、yは整数であり、画
素サンプルの水平成分および垂直成分を示す。ローカル
動きベクトルが実数の内挿方式は数２に従う。

【００４７】Ei(u,v)：画像Ｆをａ個の１６×１６ブロ
ックに分割したとき、ｉ番目のブロックのローカル動き
ベクトル(u,v)に対する評価値。

【００４８】4Ei,j(uj,vj|1≦j≦4)：画像Fをａ個の１
６×１６ブロックに分割したとき、ｉ番目のブロックに
おける４個の８×８ブロックのローカル動きベクトル(u
1,v1),(u2,v2),(u3,v3),(u4,v4)に対する評価値。

【００４９】Bi：画像Fをａ個の１６×１６ブロックに
分割したとき、ｉ番目のブロックに含まれる画素。各画
素は Xi≦x＜Xi＋16、Yi≦y＜Yi＋16の範囲に属する
（x、yは整数）。（Xi, Yi）はブロックｉの左上端の画
素。

【００５０】Bi,j：ブロックｉを、４個の８×８ブロッ
クに分割したとき、ｊ番目のブロックに含まれる画素。
ｊの値は１〜４の整数であり、図２のY信号ブロックの
１〜４に相当する。各画素は Xi,j≦x＜Xi,j＋８、Yi,j
≦y＜Yi,j＋８の範囲に属する（x、yは整数）。（Xi,j,
Yi,j）はブロックｉ内のｊ番目の８×８ブロックの左
上端の画素。 Ai：ｉ番目の１６×１６ブロックの動き探索範囲内のロ
ーカル動きベクトル。画素精度は半画素。水平・垂直方
向の各成分u、vは0.5刻みの値に制限された実数。

【００５１】Ai,j：ｉ番目の１６×１６ブロックのう
ち、ｊ番目の８×８ブロックの動き探索範囲内のローカ
ル動きベクトル。ｊの値は１〜４の整数であり、図２の
Y信号ブロックの１〜４に相当する。水平・垂直方向の
各成分uj、vjは0.5刻みの値に制限された実数。

【００５２】上記で求められた Ei(0,0)、 BEi、4BEiで
予測タイプの選択を行う。具体的には、Ei(0, 0)とBEi
+ 129と4BEi + 129 + 129を比較してその値が最も小さ
い方法を選択する。この応用として、予測誤差信号の絶
対値和に対して加算する値をQPの関数とする方法がある
(特開平１０−１３６３７５)。この方法では例えば4BEi
+ 16 x QPのように評価値を決定することができる。こ
れは、QPの値が大きいほど、動きベクトルを符号化する
に要する情報量が全体の符号化情報量に与える影響が大
きいことを考慮したためである。グローバル動き補償に
ついても同様に

【００５３】

【数１３】

【００５４】に示す予測誤差信号の絶対値和の演算（記
号の意味は後述）をａ個のマクロブロックに対して各々
行い、GEiを求める。数１３で使用している記号の意味
は次の通りである。

【００５５】F(x,y)：符号化しようとするフレーム（現
フレーム）の原画像のY信号。x、yは整数であり、画素
サンプルの水平成分および垂直成分を示す。

【００５６】G(x,y)：フレームメモリから入力される前
フレームの復号化画像のY信号を参照画像をグローバル
動き補償した予測画像。 x、yは整数であり、画素サン
プルの水平成分および垂直成分を示す。画素の動きベク
トルが実数となる場合の内挿方式は数２に従う。

【００５７】GEi：画像Ｆをａ個の１６×１６ブロック
に分割したとき、ｉ番目のブロックの評価値。

【００５８】GBi：画像Fをａ個の１６×１６ブロックに
分割したとき、ｉ番目のブロックに含まれる画素。各画
素は Xi≦x＜Xi＋16、Yi≦y＜Yi＋16の範囲に属する
（x、yは整数）。（Xi, Yi）はブロックｉの左上端の画
素。

【００５９】そして、GEi 258とローカル動き補償で選
択された予測タイプにおける絶対値和の最小値(Ei(0,
0), BEi, 4BEiのうち選択された予測タイプに該当する
値)を比較して、その値が小さい方をマクロブロックiの
予測タイプとする。この場合でも同様に加算値をＱＰの
関数とする方法が活用できる。

【００６０】このように、予測誤差の絶対値和をローカ
ル動きベクトルの本数に応じて制御することで、グロー
バル動き補償が選ばれやすくなる。しかしながら、動き
ベクトルの符号化に可変長符号を用いている場合、各マ
クロブロックのローカル動きベクトルの符号化に要する
情報量(本明細書ではMVBitsと記述する)は、同じ予測タ
イプでも異っている。したがって、上記のように予測誤
差信号の絶対値和に一定値を加算する方法では、動きベ
クトル情報の制御を正確に行うことはできない。また、
加算値でＱＰを用いた場合でも、動きベクトル情報量が
一定と過程した場合には、全符号量に与える影響までは
考慮できるが、動きベクトル情報量の大きさがQPに依ら
ず変動する場合には正確に制御することはできない。そ
こで、本明細書では、予測誤差信号の絶対値と符号化ノ
イズから予測誤差信号の符号化に要する符号化ビット量
(本明細書ではSADBitsと記述する)を推定し、それに動
きベクトルの符号化に要する正確な情報量を加えた値を
評価値としてローカル動き補償とグローバル動き補償の
選択処理を行う方法を考える。

【００６１】まず最初に、予測誤差信号の絶対値および
量子化パラメータと符号化ビット量の関係について説明
する。理論上、符号化レートは符号化ひずみと信号電力
からレートひずみ関数を用いて求めることが可能であ
る。予測誤差信号を直流成分が０の無記憶情報と仮定す
ると、予測誤差信号の信号電力は同じ確率モデルで近似
できる。したがって、信号電力を１とした場合、符号化
レートは符号化ひずみからレートひずみ関数で求められ
る。さらに、量子化ステップ幅ｈが入力に対して一様に
分布している場合には、符号化ひずみはh x h / 12で近
似されるので、符号化レートと符号化ひずみの間に存在
する関係は量子化ステップ幅と符号化レートの間の関係
に置き換えることができる。H.263符号化方式では数３
に示したように量子化ステップ幅ｈは量子化パラメータ
の倍数つまり2xQPとなるため、符号化ひずみはQP x QP
/ 3で近似される。但し、信号電力を１と仮定している
ため、QPを予測誤差信号の絶対値で正規化する必要があ
る。したがって、符号化レートは量子化パラメータQPと
予測誤差信号の絶対値から求めることができる。

【００６２】上記の関係を利用して、本明細書では、量
子化パラメータの予測値PQPを予測誤差信号の絶対値の
マクロブロック内平均値AADで正規化した値PQP/AADから
マクロブロック内の画素の予測誤差信号を符号化するた
めに要するビット量SADBitsを推定する。PQP/AADと符号
化ビット量の関係は理論的には指数関数となるが、実際
には上記であげた仮定は自然画像では成り立たないた
め、数次の関数となる。本明細書では、この関数をPQP/
AADの値で４区間に分け、それぞれ線形近似する方法を
用いる。具体的には(A x PQP/AAD + B)で与えられる関
数によってマクロブロック内の画素の予測誤差信号を符
号化するに要する符号量SADBitsを推定する。Aは負の実
数、Bは正の実数であり、この２値をPQP/AADの値が１よ
り小さい場合、１以上２より小さい場合、２以上３より
小さい場合、３以上の場合に分けて個別に定義する。

【００６３】次に、この符号化ビット量を推定する方法
を用いたグローバル動き補償/ローカル動き補償選択手
段を含む符号化方式の例について説明する。ここでも、
H.263符号化方式にグローバル動き補償を組み合わせた
方式を考える。図５に符号化器の構成を示す。

【００６４】図５は、図２において制御器２００から動
き補償装置２１５に量子化パラメータの予測値２２２が
渡される点を除いては図２と同じである。ここでは、量
子化パラメータPQは全符号化フレームに渡って常に一定
であり、量子化パラメータの予測値PQPも固定値である
と考える。同様に動き補償装置内の構成図６は、図４に
おいて量子化パラメータの予測値２２２がローカル動き
補償部４０１ならびにグローバル動き補償部４０５に渡
される点を除いては図４と同じである。図１と図７にロ
ーカル動き補償部４０１とグローバル動き補償４０５内
の処理の詳細をそれぞれ示す。図１では、現フレームの
原画像２０１と図５のフレームメモリ２１３から入力さ
れた参照画像との間で前述で説明した数１１と数１２を
用いてマクロブロック毎に最適なローカル動きベクトル
を検出する。検出された動きベクトルと選択された予測
タイプの組み合わせ情報４０４は図５の多重化部に出力
されるとともに、予測画像生成部１０２と評価値計算部
１０３にそれぞれ出力される。また、各マクロブロック
毎に最適な動きに対する予測誤差信号の絶対値和が評価
値計算部１０３に出力される。予測画像生成部１０２で
は参照画像２１４と動きベクトルと予測タイプの組み合
わせ情報４０４を用いてローカル予測画像４０２を生成
し、図６のグローバル／ローカル選択スイッチ４１１に
出力する。評価値計算部１０３では、予測誤差信号の絶
対値和の平均値AADとローカル動きベクトルの符号化に
要するビット量MVbitsと図５の制御装置２２２から得ら
れる量子化パラメータの予測値PQP(222)から、図中に示
した定義にしたがって推定符号化ビット量をマクロブロ
ック毎に算出し、図６の予測タイプ判定部４０９に出力
する。この際、ローカル動きベクトルの符号化に要する
ビット量には実際に復号側へ伝送される値を用いる。ロ
ーカル動きベクトルの符号化は基本的に直左、直上、右
上の近傍動きベクトルのうち中央値となる値と差分値が
各成分毎に求められ、可変長符号化される。図７では、
まず現フレームの原画像２０１と図５のフレームメモリ
２１３から入力された参照画像との間でグローバル動き
推定を行い、検出されたグローバル動きベクトル４０８
が図５の多重化部に出力されるとともに、予測画像生成
部７０２に出力される。また、数１３を用いて各マクロ
ブロック毎に予測誤差信号の絶対値和を算出し評価値計
算部１０３に出力される。予測画像生成部７０２では参
照画像２１４とグローバル動きベクトルを用いてグロー
バル予測画像４０６を生成し、図６のグローバル／ロー
カル選択スイッチ４１１に出力する。評価値計算部７０
３では、予測誤差信号の絶対値和から得られる予測誤差
信号の絶対値和の平均値AADと図５の制御装置２２２か
ら得られる量子化パラメータの予測PQPから、図中に示
した定義にしたがって推定符号化ビット量をマクロブロ
ック毎に算出し、図６の予測タイプ判定部４０９に出力
する。図６の予測タイプ判定部４０９では、得られた評
価値４０３と４０７をマクロブロック毎に比較し、その
値が小さいほうの動き補償方法を選択する。

【００６５】ここまでは、推定符号化ビット量を最小と
することにのみ注目してきた。しかしながら、数３にし
めしたINTERモードの量子化のようにレベル０の量子化
ステップ幅のみが他のレベルの量子化ステップ幅よりも
広くなっている場合、レベル０での量子化誤差が他のレ
ベルでの量子化誤差よりも大きくなる。したがって、す
べての変換係数が０レベルでSADBitsが０となるマクロ
ブロックの数が増えるほど画質が悪くなる。そこで、SA
DBitsが０になると推測される場合に関しては、符号化
ビット量ではなく予測誤差信号の観点から選択処理を行
う。具体的には、選択の候補となる動き補償方法のうち
２種類以上の動き補償方法でPQP/AADの値が２より大き
くなる場合、グローバル動き補償の評価値をAAD、ロー
カル動き補償の評価値を(AAD + MVBits x PQP / 4)と
し、その値が最小となる動き補償方法を選択するものと
する。この方法を用いるにあたっての装置構成上の変更
は必要ない。但し、図１の評価値計算部からの出力され
る評価値４０３にAAD、MVBitsが追加され、図７の評価
値計算部からの出力４０７にAAD、PQPの値が追加され
る。図６の予測タイプ判定部では、各動き補償方式につ
いてPQP/AADの値を計算し、２種類以上の方式でその値
が２より大きくなる場合には予測誤差信号レベルでの処
理に切り換える。なお、ローカル動き補償の評価値とし
ては、上記の他にAADに２を(E x MVbits/256)乗した値
(Eは正の実数)を掛けた値とする方法も有効である。

【００６６】本発明には次のような場合も含まれる。

【００６７】(1) 本発明の実施例の図１ならびに７で示
した評価値を求める式とグループ分けは本発明を実現す
るための１例であり、評価値がMVBitsとPQPとAADまたは
SADを変数とする関数で求められ、かつPQPが大きいほど
評価値が小さくなり、AADまたはSADが大きいほど評価値
が小さくなるような場合は本発明に含まれる。

【００６８】(２) 本発明の実施例では、量子化パラメ
ータの予測値PQPを予測誤差信号の絶対値のマクロブロ
ック内平均値AADで正規化した値としてPQP/AADを使用し
ているが、これをPQP/(AAD 16 x PQP)のように変形し
た場合も本発明に含まれる。なお、この変形例は、量子
化における０レベルのステップ幅が他のレベルよりも大
きく設定されていることを考慮して、AAD全体の値を０
方向にシフトしたものである。

【００６９】（３）本発明の実施例ではフレーム内でQP
の値を一定としているが、マクロブロック毎にQPが異な
る場合でも本発明を用いることができる。その場合に
は、例えばDCT係数の量子化の際にマクロブロック毎に
割り当てられるQPの値を予測値PQPとして使用する方
法、前フレームを含めた隣接ブロックのQP値をPQPとし
て用いる方法、前フームで使用されたQPの平均値をPQP
として用いる方法等が考えられる。すなわち、予めどの
ブロックのQP値を用いるかを決めておけばアルゴリズム
上の問題は生じない。

【００７０】（４）本発明で言うQPとは、予測誤差信号
あるいは予測誤差信号に直交変換を施した後の変換係数
を量子化する際における量子化の精度を決めるパラメー
タを意味している。従って、H.263符号化方式の様にQP
値が量子化値を算出する演算式に含まれている場合以外
にも、量子化値と予測誤差信号との関係を記した量子化
パターンが２個以上存在し、その中からQP番目の量子化
パターンを選択するような場合などでも本発明は適用で
きる。また、ＤＰＣＭ（予測符号化）のように予測差分
値を直接量子化する場合には、際に用いる量子化ステッ
プ幅や量子化パラメータをQPとして用いることも可能で
ある。

【００７１】（５）本発明ではグローバル動き推定およ
びグローバル動き補償の方法については規定しない。従
ってアフィン変換や共一次変換以外の方法でグローバル
動き補償を行う場合も本発明に含まれる。また、ローカ
ル動き推定についてもその方法はブロックマッチングの
みには規定されず、ローカル動き補償に伴う動きベクト
ル数も１本と４本の場合のみに規定されるものではな
い。

【００７２】（６）本実施例では、グローバル動き補償
とローカル動き補償のいずれかを選択する予測タイプ判
定において、符号化すべき動きベクトルの本数が異なる
H.263のINTER予測モード、INTER4V予測モードをまとめ
て１種類のローカル動き補償として扱っていた。しかし
ながら、本発明は２種類以上のローカル動き補償が存在
する場合でも、各ローカル動き補償について個別にSADB
its等の計算を行えば、その最小値となる動き補償方法
を選択する方法で実現できる。したがって、例えば図６
を図８のように書き換えれば、３種類のローカル動き補
償方法に分けることも可能であり、これも本発明に含ま
れる。

【００７３】（７）上記の実施例ではＨ. ２６３符号化
方式を例にとって説明してきたが、本発明は動き補償と
その結果として生成される予測誤差信号に直交変換係数
を行った後、その係数を量子化するという技術を用いる
場合には全て適用できる。従って、本発明の量子化パラ
メータQPにはＨ. ２６３のQUANTばかりでなく、 H.26
1、MPEG1、MPEG2（H.261、MPEG1、MPEG2に関しては、例
えば、藤原洋監修「最新MPEG教科書」(1994.8)などに
解説されている）で用いられているMQUANTも当然含まれ
る。また、異なる量子化ステップ幅のパターンを２個以
上持つ符号化方式であれば、パターンそのものや特定量
子化ステップ幅を量子化パラメータQPとして利用するこ
とも可能である（８）本発明の予測タイプ選択処理は、
正方形ブロックのみではなく、長方形ブロックや任意形
状ブロックを含むフレームにおいても実現可能である。
したがって、その場合も本発明に含まれる。

【００７４】

【発明の効果】本発明により、動き補償方法に伴う動き
ベクトルの符号化情報量を全体の符号化情報を考慮に入
れて制御することができる。

【図面の簡単な説明】

【図１】ローカル動き補償方法における本発明の評価値
計算方法を示した図である。

【図２】Ｈ. ２６３符号化方式の符号化ブロックダイヤ
グラムを示した図である。

【図３】アフィン変換を用いたグローバル動き補償の例
を示した図である。

【図４】Ｈ. ２６３符号化方式にグローバル動き補償を
組み合わせた場合の動き補償処理装置の詳細を示した図
である。

【図５】Ｈ. ２６３符号化方式に本発明を適用する場合
の符号化ブロックダイヤグラムを示した図である。

【図６】Ｈ. ２６３符号化方式にグローバル動き補償と
本発明の動き補償選択方法を組み合わせた場合の動き補
償装置の詳細を示した図である。

【図７】グローバル動き補償方法における本発明の評価
値計算方法を示した図である。

【図８】２種類以上のローカル動き補償方法を持つ符号
化方式に本発明を適用する場合の動き補償部装置の詳細
を示した図である。

【符号の説明】

１０２、７０２…予測画像生成部、１０１…ローカル動
き推定部、１０３、７０３…評価値計算部、７０１…グ
ローバル動き推定部、２１３…フレームメモリ、２００
…制御装置、２０１…現フレームの原画像、２１４…参
照画像、２１９…動き情報と予測タイプの多重化情報、
４０８…グローバル動き情報、２１５…動き補償装置、
２２２…量子化パラメータの予測値、２２０…量子化パ
ラメータ、２０４…変換器、２０５…量子化器、２０７
…逆量子化器、２０８…逆変換器、２１８、４１２…多
重化部、２１７…INTRA/INTER判定部、３０３〜３０７
…現フレームの原画像の代表点、３０８〜３１０…動き
推定後の参照画像の代表点、３１１〜３１３グローバル
動きベクトル、４０４…ローカル動きベクトルと予測タ
イプの組み合わせ情報、４０５…グローバル動き補償、
４０１…ローカル動き補償、４１０、８５１…グローバ
ル／ローカル選択情報、４１１…グローバル／ローカル
選択スイッチ、４０３、４０７…評価値情報、４０９…
予測タイプ判定部、８０１…０ベクトルフレーム間動き
補償、８０２…INTERローカル動き補償、８０３…INTER
4Vローカル動き補償。

Claims

【特許請求の範囲】

【請求項１】画像をａ個（ａは正の整数）の任意形状ブ
ロックに分割するブロック分割と、ブロック毎に、符号
化すべき動きベクトル(MV)の本数が異なる１種類以上の
ローカル動き補償方法と画像全体の動きを補償するグロ
ーバル動き補償方法の中から１種類を選択する動き補償
予測と、その結果発生する予測誤差信号またはその直交
変換係数を量子化するためのパラメータQP（QPは正の整
数）の値が小さいほど細かく量子化する量子化処理とを
含む動画像符号化方法において、上記動き補償予測で各
ブロックに適用される動き補償方法を選択するための動
き補償方法選択方法が、第１に選択の候補となる各動き
補償方法で予測された動きについて各々その評価値を求
め、第２にその値が最小となる動き補償方法を選択する
ものであり、上記評価値は、ローカル動き補償の場合に
は、ブロック内の全MVを符号化するために必要なビット
数(MVBits)をあらわす値に、ブロックに含まれる画素の
予測誤差信号の絶対値和(SAD)から求められる値と、ブ
ロックの予測誤差信号の符号化に使用されるQPの予測値
(PQP、QPそのものも含む)から定められる値(SADBits)を
加算することによって求められる値であり、グローバル
動き補償の場合には、SADBitsそのものであり、かつこ
のSADBitsがQPあるいはその予測値PQPの値が小さいほど
大きく、SADの値が大きいほど大きくなることを特徴と
する。
【請求項２】請求項１記載の動き補償方法推定方法にお
いて、AADをSADのブロック内平均値としたとき、SADBit
sが関数A x PQP / AAD + Bで与えられる値であり、Aが
負の実数であり、Bが実数であることを特徴とする。
【請求項３】請求項１記載の動き補償方法推定方法にお
いて、AADをSADのブロック内平均値としたとき、SADBit
sが関数A x PQP / (AAD C x PQP) + Bで与えられる値
であり、Aが負の実数であり、Bが実数であり、Cが正の
実数であることを特徴とする。
【請求項４】請求項２または３に記載の動き補償方法推
定方法において、ＡならびにＢの値がPQPとAADによって
グループ分けされることを特徴とする。
【請求項５】請求項２に記載の動き補償方法推定方法に
おいて、ＡならびにＢの値がPQP/AADの値によってグル
ープ分けされることを特徴とする。
【請求項６】請求項３に記載の動き補償方法推定方法に
おいて、ＡならびにＢの値がPQP/(AAD C x PQP)の値(C
は正の実数)によってグループ分けされることを特徴と
する。
【請求項７】請求項５に記載の動き補償方法推定方法に
おいて、ＡならびにＢの値をPQP/AADの値が１より小さ
いグループと１以上２より小さいグループと２以上３よ
り小さいグループと３以上のグループで個別に定義し、
Aの値はPQP/AADが大きいグループほど大きく、Bの値はP
QP/AADが大きいグループほど小さいことを特徴とする。
【請求項８】請求項５に記載の動き補償方法推定方法に
おいて、ＡならびにＢの値をPQP/AADの値が１より小さ
いグループと１以上２より小さいグループと２以上３よ
り小さいグループと３以上のグループで個別に定義し、
SADBitsの値が0以下となる動き補償方法が選択の候補に
含まれる場合にはグローバル動き補償の評価値をSAD、
ローカル動き補償の評価値をSADにPQPとMVBits一意に算
出される値を加算した値を評価値とし、Aの値はPQP/AAD
が大きいグループほど大きく、Bの値はPQP/AADが大きい
グループほど小さいことを特徴とする。
【請求項９】請求項５に記載の動き補償方法推定方法に
おいて、ＡならびにＢの値をPQP/AADの値が１より小さ
いグループと１以上２より小さいグループと２以上３よ
り小さいグループと３以上のグループで個別に定義し、
選択対象の動き補償方法のうち２種類以上の動き補償方
法に関するPQP/AADの値が２以上となる場合にはグロー
バル動き補償の評価値をSAD、ローカル動き補償の評価
値をSADにPQPとMVBitsから一意に算出される値を加算し
た値とし、Aの値はPQP/AADが大きいグループほど大き
く、Bの値はPQP/AADが大きいグループほど小さいことを
特徴とする。
【請求項１０】請求項６に記載の動き補償方法推定方法
において、ＡならびにＢの値をPQP/(AAD C x PQP)の値
(Cは正の実数)が１より小さい場合と１以上２より小さ
い場合と２以上３より小さい場合と３以上の場合で個別
に定義し、Aの値はPQP/(AAD-CxPQP)が大きいグループほ
ど大きく、Bの値はPQP/(AAD-CxPQP)が大きいグループほ
ど小さいことを特徴とする。
【請求項１１】請求項６に記載の動き補償方法推定方法
において、ＡならびにＢの値をPQP/(AAD C x PQP)の値
(Cは正の実数)が１より小さいグループと１以上２より
小さいグループと２以上３より小さいグループと３以上
のグループで個別に定義し、SADBitsの値が0以下となる
動き補償方法が選択の候補に含まれる場合にはグローバ
ル動き補償の評価値をSAD、ローカル動き補償の評価値
をSADにPQPとMVBitsから一意に算出される値を加算した
値とし、Aの値はPQP/(AAD C x PQP)が大きいグループ
ほど大きく、Bの値はPQP/(AAD C x PQP)が大きいグル
ープほど小さいことを特徴とする。
【請求項１２】請求項６に記載の動き補償方法推定方法
において、ＡならびにＢの値をPQP/(AAD C x PQP)の値
(Cは正の実数)が１より小さいグループと１以上２より
小さいグループと２以上３より小さいグループと３以上
のグループで個別に定義し、選択対象となる動き補償方
法のうち２種類以上の動き補償方法に関するPQP/(AADC
x PQP)の値が２以上となる場合にはグローバル動き補償
の評価値をSAD、ローカル動き補償の評価値をSADにPQP
とMVBitsから規定される値を加算した値とし、Aの値はP
QP/AADが大きいグループほど大きく、Bの値はPQP/(AAD
C x PQP)が大きいグループほど小さいことを特徴とす
る。
【請求項１３】請求項８または９に記載の動き補償方法
推定方法において、選択対象となる全ての動き補償方法
に関するPQP/AADの値が２以上となる場合のローカル動
き補償の評価値がSADにMVBits x PQP / D (Dは正の実
数)を加算した値であることを特徴とする。
【請求項１４】請求項８または９に記載の動き補償方法
推定方法において、選択対象となる全ての動き補償方法
に関するPQP/AADの値が２以上となる場合、グローバル
動き補償の評価値がAADであり、ローカル動き補償の評
価値がAADに２を(MVBits x E (Eは正の実数))乗した値
を掛けた値であることを特徴とする。
【請求項１５】請求項１１または１２に記載の動き補償
方法推定方法において、選択対象となる全ての動き補償
方法に関するPQP/(AAD C x PQP)の値が２以上となる場
合のローカル動き補償の評価値がSADにMVBits x PQP /
D (Dは正の実数)を加算した値であることを特徴とす
る。
【請求項１６】請求項１１または１２に記載の動き補償
方法推定方法において、選択対象となる全ての動き補償
方法に関するPQP/(AAD C x PQP)の値が２以上となる場
合、グローバル動き補償の評価値がAADであり、ローカ
ル動き補償の評価値がAADに２を(MVBits x E (Eは正の
実数))乗した値を掛けた値であることを特徴とする。
【請求項１７】請求項１または２または３または４また
は５または６または７または８または９にまたは１０ま
たは１１または１２または１３または１４に記載の動き
補償方法選択方法において、PQPが現フレームの近傍ブ
ロックのQPであることを特徴とする。
【請求項１８】請求項１または２または３または４また
は５または６または７または８または９または１０また
は１１または１２または１３または１４に記載の動き補
償方法選択方法において、PQPが当該ブロックの含まれ
るフレームで最初に符号化されるブロックのQPであるこ
とを特徴とする。
【請求項１９】請求項１または２または３または４また
は５または６または７または８または９または１０また
は１１または１２または１３または１４に記載の動き補
償方法選択方法において、PQPが前フレーム内のブロッ
クに含まれる画素の符号化に使用された全QPの平均値で
あることを特徴とする。
【請求項２０】請求項１または２または３または４また
は５または６または７または８または９または１０また
は１１または１２または１３または１４に記載の動き補
償方法選択方法において、PQPが現フレームの符号化対
象ブロックのQPであることを特徴とする。