JP2003204557A - 画像符号化・復号化方法及び画像符号復号装置 - Google Patents

Abstract

(57)【要約】 【課題】 同一パッチに所属するすべての画素が共通の
動きベクトルを持つ制約がなく、かつ画素の動きベクト
ルの水平・垂直成分が隣接画素間距離の整数倍以外の値
を取り得る動き補償方式に関し、動きベクトルの演算精
度の差に起因する予測画像のミスマッチを、演算を複雑
にせずに防ぐ方法を提供する。 【解決手段】 予測画像の合成に使われる各画素の動き
ベクトルの水平、垂直成分が、それぞれ隣接画素間距離
の１／ｄ1、１／ｄ2（ｄ1、ｄ2は正の整数）の整数倍の
値のみをとるように規定する。 【効果】 簡単な演算で動きベクトルの演算精度の差に
起因する予測画像のミスマッチを防ぐことが可能とな
り、処理の簡略化につながる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、同一パッチ内のす
べての画素が共通の動きベクトルを持つ制約がなく、か
つ画素の動きベクトルの水平・垂直成分が隣接画素間距
離の整数倍以外の値を取り得る動き補償を行なう画像符
号化装置、およびこの符号化装置が出力した符号を受信
し復号化する画像復号化装置に関するものである。

【０００２】

【従来の技術】動画像の高能率符号化において、時間的
に近接するフレーム間の類似性を活用する動き補償は情
報圧縮に大きな効果を示すことが知られている。動き補
償の処理を数式を用いて表現すると以下のようになる。
符号化しようとしているフレーム（現フレーム）の予測
画像をＰ(ｘ, ｙ)、参照画像（Ｐと時間的に近接してお
り、既に符号化が終了しているフレームの復号画像）を
Ｒ(ｘ, ｙ)とする。また、ｘとｙは整数であるとして、
ＰとＲでは座標値が整数である点に画素が存在すると仮
定する。このとき、ＰとＲの関係は、

【０００３】

【数１】

【０００４】で表される。ただし、画像はｎ個の小領域
（パッチ）に分割されるとして、Ｐiは画像のｉ番目の
パッチに含まれる画素を表している。また、変換関数ｆ
i(ｘ,ｙ)とｇi(ｘ, ｙ)は現フレームの画像と参照画像
との間の空間的な対応を表現している。ここで、Ｐi内
の画素(ｘ, ｙ)の動きベクトルは、(ｘ−ｆi(ｘ, ｙ),
ｙ−ｇi(ｘ, ｙ))で表すことができる。現在の動画像符
号化方式の国際標準のＨ．２６１、ＭＰＥＧ１、ＭＰＥ
Ｇ２などでは、ｆi(ｘ, ｙ)とｇi(ｘ, ｙ)がｘとｙに関
係のない定数であるブロックマッチングとよばれる方式
が採用されている。しかし、これらの標準符号化方式よ
り高い情報圧縮率を達成するには、より高度な動き補償
方式を採用することが要求される。このような新しい動
き補償方式として、ｆi(ｘ, ｙ)とｇi(ｘ, ｙ)が定数で
はなく、同一パッチ内の画素が異なる動きベクトルを持
つことを許容する動き補償方式が最近提案されている。
これらの方式における変換関数としては、アフィン変換

【０００５】

【数２】

【０００６】を用いた例（中屋他、「３角形パッチに基
づく動き補償の基礎検討」、電子情報通信学会技術報
告、IE90-106、平2-03）や、共１次変換

【０００７】

【数３】

【０００８】を用いた例（ G. J. Sullivan and R. L.
Baker, “Motion compensation for video compressio
n using control grid interpolation“, Proc. ICASSP
'91 ,M9.1, pp.2713-2716, 1991-05）、透視変換

【０００９】

【数４】

【００１０】を用いた例（V.Seferdis and M.Ghanbari,
“General approach to block-matching motion esti
mation”, Optical Engineering, vol.32, no.7, pp.14
64-1474, 1993-07）などがすでに報告されている。ここ
でａij、ｂij、ｃijはパッチごとに推定される動きパラ
メータである。変換関数の値が整数でない場合には、座
標値が整数ではなく、参照画像において実際には画素が
存在しない点の輝度値を求めることが必要となる。この
場合の処理としては、周辺４画素を用いた共１次内挿が
使われることが多い。この内挿方式を数式で記述する
と、０≦ｐ, ｑ＜１として、Ｒ(ｘ＋ｐ, ｙ＋ｑ)は、

【００１１】

【数５】

【００１２】で表される。

【００１３】動き情報の伝送の際には、画像符号化装置
は何らかの形で変換関数の動きパラメータが特定できる
情報を受信側に伝送すればよい。例えば、変換関数にア
フィン変換を用い、パッチの形状が３角形であるとす
る。この場合は、６個の動きパラメータを直接伝送して
も、パッチの３個の頂点の動きベクトルを伝送しても、
受信側で６個の動きパラメータａi1〜ａi6を再生するこ
とができる。

【００１４】変換関数が定数ではない動き補償方式の特
徴は、画素ごとに動きベクトルを求める際に数学的な演
算が必要となることである。この動きベクトルの計算
（変換関数の計算）のときに、もし送信側と受信側で演
算精度に差があると、符号化装置と復号化装置で得られ
る予測画像が異なるものとなる（ミスマッチが発生す
る）恐れがある。この予測画像におけるミスマッチは受
信側で蓄積する性質を持っているため、フレームごとの
誤差はわずかであっても、やがては再生画像の画質に深
刻な影響を及ぼす恐れがある。この問題は、ブロック内
のすべての画素が同じ動きベクトルに従い、かつその動
きベクトルがそのまま動き情報として符号化・伝送され
るブロックマッチングにはないものである。

【００１５】この問題への対策に関して、変換関数にア
フィン変換（数２）、内挿方式として共１次内挿（数
５）を用いた場合を例に挙げて説明する。問題解決の一
つの方法として、数２および数５の演算精度を十分に高
くすることにより、数５の演算結果の誤差が輝度値の量
子化ステップサイズより十分に小さくなるようにする方
法が考えられる。この対策を採用した場合について考え
る。まず、数５の演算精度は十分に高いと仮定する。こ
のとき、例えばＲ(０, ０)＝Ｒ(０, １)＝０、Ｒ(１,
０)＝Ｒ(１, １)＝２５５として、さらに０＜ｘ＜１、
０＜ｙ＜１とすれば（以後、これを「最悪の条件」とよ
ぶ）、ｆi(ｘ, ｙ)における大きさ１／２５５以上の誤
差は、必ず輝度値の量子化値の誤差につながることにな
る（輝度値の量子化ステップサイズは１と仮定した）。
したがって、ミスマッチを防ぐためには数２の演算誤差
が１／２５５よりも十分に小さくなるように符号化装置
と復号化装置を作成しなければならない。しかし、演算
精度を上げることは、一般に数値の内部表現の桁数を増
やすことにつながり、演算処理をより複雑にすることに
なる。動き補償処理において数２および数５はきわめて
多くの回数計算されるため、この演算を複雑にすること
は、全体の処理量に深刻な影響を及ぼしてしまう。

【００１６】

【発明が解決しようとする課題】同一パッチに所属する
すべての画素が共通の動きベクトルを持つ制約がなく、
かつ画素の動きベクトルの水平・垂直成分が隣接画素間
距離の整数倍以外の値を取り得る動き補償方式におい
て、変換関数の計算に要求される演算精度を下げ、かつ
変換関数の演算精度に起因する予測画像のミスマッチの
発生を防ぐ手法を提供する。

【００１７】

【課題を解決するための手段】予測画像の合成の際に使
われる各画素の動きベクトルの水平、垂直成分が、それ
ぞれ隣接画素間距離の１／ｄ1、１／ｄ2（ｄ1、ｄ2は正
の整数）の整数倍の値のみをとるように規定することに
よって、上記の目的は達成される。

【００１８】「課題を解決する手段」で述べた動きベク
トルに関する規定を採用すれば、「従来の技術」で述べ
た最悪の条件を与えた場合に必ず輝度値の量子化値の誤
差につながる変換関数ｆi(ｘ, ｙ)の誤差の大きさは１
／ｄ1となる。例えばｄ1＝４とすれば、「従来の技術」
で述べた対策と比較してｆi(ｘ, ｙ)の演算精度を６ビ
ット下げた場合でも、最悪の条件のもとで予測画像のミ
スマッチを起こす危険性をほぼ同じレベルに保つことが
できる。

【００１９】

【発明の実施の形態】上と同様に変換関数にアフィン変
換を用いた場合を例に挙げて、数２の演算方式の実施例
を示す。なお、ここでは簡単のため、ｄ1＝ｄ2＝ｄ（ｄ
は正の整数）であると仮定する。また、パッチは３角形
であると仮定し、パッチの３個の頂点の動きベクトルが
動き情報として伝送されるとする。

【００２０】以下では、図１に示す例を用いて説明す
る。参照画像１０１におけるパッチ１０２が現フレーム
１０６のパッチ１０７に移動・変形したと推定されたと
する（格子点１０３、１０４、１０５がそれぞれ格子点
１０８、１０９、１１０に対応している）。このとき、
パッチ１０２の頂点１０３、１０４、１０５の座標をそ
れぞれ(ｘ1', ｙ1')、(ｘ2', ｙ2')、(ｘ3', ｙ3')、パ
ッチ１０７の頂点１０８、１０９、１１０の座標をそれ
ぞれ(ｘ1, ｙ1)、(ｘ2, ｙ2)、(ｘ3, ｙ3)であるとする
と（座標値はすべて負でない整数とする）、このパッチ
における数２の動きパラメータａijは、

【００２１】

【数６】

【００２２】で表される。ここで、割り算の演算を行わ
ずに、ａijを分母と分子が整数であるａij＝ａij'／Ｄi
という形のままにしておく。すると、数２の演算結果
は、すべてｆi(ｘ, ｙ)＝ｆi'(ｘ, ｙ)／Ｄiとｇi(ｘ,
ｙ)＝ｇi'(ｘ, ｙ)／Ｄiのような整数を分母と分子とす
る分数の形式で表すことができる。ここで、「//」を整
数同士の除算（演算結果の小数成分を切り捨てる除算）
と定義し、ｋi＝Ｄi//２として、

【００２３】

【数７】

【００２４】とする。Ｆi(ｘ, ｙ)とＧi(ｘ, ｙ)は、ｆ
i(ｘ, ｙ)とｇi(ｘ, ｙ)を最も近い１／ｄの整数倍の値
に丸め込む関数である。数１においてｆi(ｘ, ｙ)とｇi
(ｘ,ｙ)の代わりにＦi(ｘ, ｙ)とＧi(ｘ, ｙ)を用いる
ことにより、各画素の動きベクトルの水平・垂直成分
が、隣接画素間距離の１／ｄの整数倍の値のみをとるよ
うに制限することができる。また、送信側、受信側で共
にＦi(ｘ, ｙ)とＧi(ｘ,ｙ)を使えば、比較的精度の低
い演算で、変換関数の誤差に起因する予測画像のミスマ
ッチを防ぐことが可能となる。

【００２５】図２にｄ＝４である場合にＦi(ｘ, ｙ)と
Ｇi(ｘ, ｙ)を計算する処理の流れを示す。まず、変形
前後のパッチの頂点の座標が２０１で与えられると、２
０２と２０４で関数ｆi'(ｘ, ｙ)とｇi'(ｘ, ｙ)を定義
し、２０３で定数Ｄiを求め、２０５で定数ｋiを求め
る。これらの関数と定数を用いて、パッチ内の画素ごと
に座標(ｘ, ｙ)からＦi(ｘ, ｙ)とＧi(ｘ, ｙ)の値を計
算する。(ｘ, ｙ)が２進整数表現で与えられると、まず
２０６で積和演算を行うことによってｆi'(ｘ,ｙ)とｇ
i'(ｘ, ｙ)の値を求め、この結果を２０７で２ビット左
にシフトすることによって４（＝ｄ）倍する。この結果
に対して２０８でｋiを加え、さらに２０９でＤiで割る
（演算結果の小数成分は切り捨てる）ことによって、４
Ｆi(ｘ,ｙ)と４Ｇi(ｘ, ｙ)の値を得る。この整数の４
Ｆi(ｘ, ｙ)と４Ｇi(ｘ, ｙ)に対して、２１０で下から
２桁目と３桁目の間に小数点を置くことによって、Ｆi
(ｘ, ｙ)とＧi(ｘ, ｙ)の値を得ることができる（これ
は、４で割る演算を行ったことと同じ意味を持つ）。

【００２６】ｄの値は、符号化方式の固定パラメータと
して規定しても、可変として画像データを伝送する前に
送信側と受信側で取り決めても良い。送信側と受信側が
交信を行ってｄを取り決める場合の手続きの例を図３に
示す。送信側３０１は、まず通信３０３において画像符
号化装置のハードウエアの制約から、許容できるｄの上
限が４であることを受信側３０２に告げる。次に受信側
は、画像復号化装置の制約から、ｄの上限が２であるこ
とを通信３０４で告げる。この結果、送信側は最適なｄ
の値が２であると判断し、以後伝送する画像データはｄ
＝２として符号化されたものとなることを通信３０５で
勧告する。そしてこの直後に送信側は通信３０６で画像
データを送信する。一般にｄの値が大きい程、装置のハ
ードウェアは複雑になる。したがって、送信側は送信・
受信側で低い方のｄの上限の値を採用するのが適当であ
ると考えられる。この方式を実現するためには、画像符
号化・復号化装置は、自身の上限以下のｄに対応できる
機能を持たなければならない。

【００２７】ｄの値としては、乗除算の行ないやすさを
考慮して、２のべき乗が良いと考えられる。ｄの値が大
きいほど予測誤差は小さくなるが、予測画像の合成処理
は複雑になる。予測特性を考えると、ｄの値は２以上で
あることが望ましい。予測特性と処理の複雑さのバラン
スを考慮すると、具体的なｄの値として２、４、８が適
当である。

【００２８】なお、以下の変形も本発明に含まれること
は明らかである。

【００２９】（１）輝度値の内挿方式として、本明細書
では共１次内挿をとりあげたが、これ以外の関数を用い
ても良い。関数が複雑になれば、演算を簡略化すること
の効果は大きくなる。

【００３０】（２）変換関数の種類として、本明細書で
はアフィン変換を中心にとりあげたが、これ以外の変換
関数を用いても良い。変換関数の演算精度に応じてその
演算結果が変化する可能性のある限り、本発明は有効で
ある。

【００３１】（３）パッチの形状は、画素の集合を特定
するものであれば良く、特に本明細書でとりあげた３角
形でなくても良い。

【００３２】（４）空間変換に基づく動き補償におい
て、本明細書でとりあげた例のように伝送される動き情
報がパッチの頂点の動きベクトルでなくても良い。動き
情報はパッチごとの変換関数を特定するものでありさえ
すれば良く、例えば数２の動きパラメータａijをそのま
ま伝送しても良い。このように動きパラメータをそのま
ま伝送する場合には、本発明を適用することにより、変
換関数の演算精度に起因する予測画像のミスマッチを防
ぎながら伝送される動きパラメータの精度を下げる（桁
数を減らす）ことが可能となる。ｄの値が小さければ小
さいほど動きパラメータの桁数を少なくするができ、こ
の結果として伝送情報量を少なくすることができる。

【００３３】（５）実施例では、ｄ1とｄ2の値が等しい
場合を例示したが、両者が異なっていても良い。

【００３４】（６）本明細書では、現フレームのパッチ
構造を固定して参照画像のパッチを変形させる方式に関
して説明したが、逆に参照画像のパッチ構造を固定して
現フレームのパッチを変形させる方式であっても良い。

【００３５】（７）本明細書では、１個の予測画像を合
成するために用いる参照画像の数は１個として説明した
が、複数の参照画像を用いる方式であっても良い。

【００３６】

【発明の効果】本発明により、同一パッチに所属するす
べての画素が共通の動きベクトルを持つ制約がなく、か
つ画素の動きベクトルの水平・垂直成分が隣接画素間距
離の整数倍以外の値を取り得る動き補償方式において、
予測画像のミスマッチの発生を防ぎながら変換関数の演
算精度を下げることができる。また、画像データの伝送
の前に送信側と受信側でｄ1およびｄ2の値を決める方式
では、送信側と受信側の装置の性能に応じて再生画像の
最適な画質を決定することができる。

【図面の簡単な説明】

【図１】空間変換に基づく動き補償におけるパッチの移
動・変形の例を示した図である。

【図２】動きベクトルの水平・垂直成分を１／４の整数
倍に制限したとき（ｄ＝４のとき）の変換関数の演算方
法の例を示した図である。

【図３】画素の動きベクトルの最小単位である１／ｄの
値を、画像データの通信の前に送信側と受信側の交信に
よって取り決める方式の例を示した図である。

【符号の説明】

１０１…動き推定後の参照画像における１個のパッチ、
１０２、１０７…パッチ、１０３〜１０５、１０８〜１
１０…パッチの頂点、１０６…現フレームの原画像のす
べてのパッチ、２０１…パッチの頂点の座標値、２０２
〜２１０…演算手続き、３０１…送信側の画像符号化装
置、３０２…受信側の画像復号化装置、３０３〜３０６
…通信手続き。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 MA05 NN21 PP04 RC12 RC16 TA61 TC00 TC12 TC42 TD16 UA02 UA05 5J064 AA02 BA13 BB03 BB13 BC03 BC08 BC09 BD01

Claims (10)

【特許請求の範囲】
1. 【請求項１】参照画像と現フレームの原画像との間で空
   間変換に基づく動き補償を行い現フレームの予測画像の
   動き情報を推定し、前記予測画像の各画素の動きベクト
   ルの水平・垂直成分を隣接画素間距離の１／ｄの整数倍
   に制限して前記動き情報から求めるときの前記ｄを決定
   し、前記動き情報及び前記ｄの値を特定する情報を伝送
   し、前記伝送された動き情報、及び前記ｄの値を特定す
   る情報を受けとり、前記現フレームの予測画像に含まれ
   る各画素の動きベクトルの水平・垂直成分を隣接画素間
   距離の１／ｄの整数倍に制限して前記動き情報から求め
   ることを特徴とする画像符号化・復号化方法。
2. 【請求項２】請求項１に記載の画像符号化・復号化方法
   において、前記ｄの値は、２のｗ乗（ｗは正の整数）で
   あることを特徴とする画像符号化・復号化方法。
3. 【請求項３】請求項１あるいは２に記載の画像符号化・
   復号化方法において、前記動き情報は、前記予測画像の
   パッチ頂点の動きベクトルであることを特徴とする画像
   符号化・復号化方法。
4. 【請求項４】同一パッチ内の画素が異なる動きベクトル
   を持つことを許容する動き補償を行う画像符号化・復号
   化方法であって、参照フレームと現フレームの原画像と
   の間で前記動き補償を行い、現フレームの予測画像のパ
   ッチ頂点の動きベクトルを推定し、前記予測画像の各画
   素の動きベクトルの水平・垂直成分を隣接画素間距離の
   １／ｄの整数倍に制限して前記パッチ頂点の動きベクト
   ルから求めるときの前記ｄを決定し、前記パッチ頂点の
   動きベクトル及び前記ｄの値を特定する情報を伝送し、
   前記パッチ頂点の動きベクトル及び前記ｄの値を特定す
   る情報を受けとり、前記パッチ内の各画素の動きベクト
   ルの水平・垂直成分を隣接画素間距離の１／ｄの整数倍
   に制限して前記パッチ頂点の動きベクトルから求めるこ
   とを特徴とする画像符号化・復号化方法。
5. 【請求項５】請求項４に記載の画像符号化・復号化方法
   において、前記ｄの値は、２のｗ乗（ｗは正の整数）で
   あることを特徴とする画像符号化・復号化方法。
6. 【請求項６】画像符号化及び復号化装置を備える画像符
   号復号化装置であって、前記画像符号化装置は、参照画
   像と現フレームの原画像との間で空間変換に基づく動き
   補償を行い現フレームの予測画像の動き情報を推定する
   手段と、前記予測画像の各画素の動きベクトルの水平・
   垂直成分を隣接画素間距離の１／ｄの整数倍に制限して
   前記動き情報から求めるときの前記ｄを決定する手段
   と、前記動き情報及び前記ｄの値を特定する情報を伝送
   する手段とを有し前記復号化装置は、前記伝送された動
   き情報、及び前記ｄの値を特定する情報を受けとる手段
   と、前記現フレームの予測画像に含まれる各画素の動き
   ベクトルの水平・垂直成分を隣接画素間距離の１／ｄの
   整数倍に制限して前記動き情報から求める手段とを有す
   ることを特徴とする画像符号復号化装置。
7. 【請求項７】請求項６に記載の画像符号復号化装置にお
   いて、前記ｄの値は、２のｗ乗（ｗは正の整数）である
   ことを特徴とする画像符号復号化装置。
8. 【請求項８】請求項６あるいは７に記載の画像符号復号
   化装置において、前記動き情報は、前記予測画像のパッ
   チ頂点の動きベクトルであることを特徴とする画像符号
   復号化装置。
9. 【請求項９】同一パッチ内の画素が異なる動きベクトル
   を持つことを許容する動き補償を用いる画像符号復号化
   装置であって、画像符号化及び復号化装置を備え、前記
   画像符号化装置は、参照フレームと現フレームの原画像
   との間で前記動き補償を行い、現フレームの予測画像の
   パッチ頂点の動きベクトルを推定する手段と、前記予測
   画像の各画素の動きベクトルの水平・垂直成分を隣接画
   素間距離の１／ｄの整数倍に制限して前記パッチ頂点の
   動きベクトルから求めるときの前記ｄを決定する手段
   と、前記パッチ頂点の動きベクトル及び前記ｄの値を特
   定する情報を伝送する手段とを有し、前記復号化装置
   は、前記パッチ頂点の動きベクトル及びｄの値を特定す
   る情報を受けとる手段と、前記パッチ内の各画素の動き
   ベクトルの水平・垂直成分を隣接画素間距離の１／ｄの
   整数倍に制限して前記パッチ頂点の動きベクトルから求
   める手段とを有することを特徴とする画像符号復号化装
   置。
10. 【請求項１０】請求項４に記載の画像符号復号化装置に
    おいて、前記ｄの値は、２のｗ乗（ｗは正の整数）であ
    ることを特徴とする画像符号復号化装置。