JP2004364333A - 画像符号化装置 - Google Patents

Abstract

【課題】幾何学変換によって予測画像を求めるモードと並行移動によって予測画像を求めるモードをブロック毎に適応的に切り換えて予測効率の向上を図る。
【解決手段】画像を分割して得られる格子点動き推定部２は、各ブロックに対して参照画像上の格子点が原画像上のどの位置に動いたかを推定する。並行移動ベクトル決定部１６は、ブロック自体が並行移動する場合の動ベクトル（並行移動ベクトル）を求め、動き補償予測部４は、幾何学変換による動き補償予測を行い、動き補償予測部５は並行移動によって動き補償予測を行い、各々出力された予測画像は予測画像選択部６に供給される。予測画像選択部６は、予測画像をブロック毎に適応的に選択肢、予測画像と予測モード情報を出力する。並行移動を表わす動ベクトルの候補として幾何学変換を表わす複数の動ベクトルの平均ベクトルを用いる。
【選択図】図５

Description

本発明は、画像符号化装置に関し、より詳細には、予測画像作成回路において、幾可学変換によって予測画像を求めるモードと並行移動によって予測画像を求めるモードをブロック毎に適応的に切り換え、予測効率を向上させるようにした画像符号化装置に関する。例えば、ディジタル画像処理における画像データの高能率符号化に適用されるものである。

フレーム間予測の方式として、従来よりアフィン変換を用いた予測方法が検討されている。例えば、非特許文献１，２に述べられている方法では、図１２に示すように格子の変形によって画像の動きを表現し、参照画像（通常、符号化装置では局所復号されフレームメモリに蓄えられている画像であり、復号装置ではすでに復号されフレームメモリに蓄えられている画像である）からの幾何学変換によって予測画像が作成される。ここで●は格子点（四角形ブロックの頂点）を表す。

図１３は、従来の画像符号化装置における予測画像作成回路の構成図で、図中、３２は四角形ブロックの分割部、３３は格子点動き推定部、３４は動き補償予測部である。
四角形ブロックへの分割部３２では参照画像を四角形に分割する。分割する際には、例えば、参照画像に無関係に正方格子などの一様格子によって分割する方法がとられる。あるいは、参照画像上のエッジにあわせて変形格子によって分割する方法が用いられることもある。格子点動き推定部３３では参照画像の格子点の動きを推定し、各格子点の動ベクトルを求める。この動ベクトルによって予測画像上にあらたな変形格子が定められる。

図１３に示す方法は「後方動き推定」と呼ばれるものであり、最初に参照画像上の格子を決め、その後で予測対象画像上の格子が決定される。これに対して「前方動き推定」という手法がとられることもある。これは、最初に予測対象画像上で格子（通常は一様格子）を定め、その格子点の動きを推定し、格子点の動ベクトルによって参照画像上にあらたに変形格子を定める。従来例及び本発明ともにいずれの場合にも用いることができるが、以後は簡単のため「後方動き推定」を例にとって説明を進めていく。

次に、参照画像上の格子点が、原画像上のどの位置に動いたかを推定する場合（「後方動き推定」の場合）について説明する。
動き推定の方法としては、参照画像上の格子点とその近傍の画素からなる領域をとり、この領域が原画像上のどの領域と一致するかを調べる方法（「ブロックマッチング」と呼ぶ）が用いられる。具体的には参照画像上の格子点を中心としてＭ画素×Ｎ画素の領域を考え、原画像上で同じ大きさの領域との一致度を調べ、最も一致度の良い領域の中心を、格子点の移動先とする。このときの移動をあらわすベクトルを動ベクトルと呼ぶ。領域の一致度としては、領域内の画素値の誤差の絶対値和や誤差の絶対値加重和が用いられる。なお、格子点動き推定部３３で求められた格子点の動ベクトルは、図示しない符号化部において符号化され、符号化データに組み込まれて伝送あるいは蓄積される。

動き補償予測部３４では、参照画像上の格子点とその動ベクトル及び参照画像を用いて予測画像を求める。予測画像を求める方法としては、三角形ブロックを用いたアフィン変換や、四角形ブロック内での動ベクトルの補間などによるものがある。これらについては非特許文献１に詳しく述べられている。

符号化装置では、動き補償予測部３４で求められた予測画像と原画像との差分データが、図示しない符号化部において符号化され、符号化データに組み込まれて伝送あるいは蓄積される。又、符号化データは図示しない復号部において復号され、予測画像と足し合わされて復号画像が得られる。復号画像はフレームメモリに蓄えられ、以後の符号化の際の参照画像として用いられる。

次に、従来の画像復号装置について説明する。
図１４は、従来の画像復号装置における予測画像作成回路の構成図で、図中、４１は格子点動ベクトル復号部、４２は動き補償予測部、４３は四角形ブロックへの分割部である。
格子点動ベクトル復号部４１は、符号化データ中に組み込まれている格子点の動ベクトルの符号を復号する部分である。出力は格子点の動ベクトルであり、動き補償予測部４２に供給される。四角形ブロックへの分割部４３及び動き補償予測部４２は、図１３の符号化装置と同様の働きをするので説明を省略する。

復号装置では、符号化装置と同じ参照画像が得られており、また、格子点動ベクトル復号部４１において得られる動ベクトルも、符号化装置で得られるものと同一である。従って、動き補償予測部４２で得られる予測画像も、符号化装置で得られるものと同一となる。動き補償予測部３３で求められた予測画像と、図示しない復号部で得られた差分データの復号値が足し合わされて、復号画像が得られる。復号画像は、ディスプレイなどに表示されると共に図示しないフレームメモリに蓄えられ、以後の復号の際の参照画像として用いられる。
「Ｖery Ｌow Ｂitrate Ｖideo Ｃoder using Ｗarping Ｐrediction」（1993年画像符号化シンポジウム8-7,pp.167-168） 「Ａ Ｎovel Ｖideo Ｃoding Ｓcheme Ｂased on Ｔemporal Ｐrediction Ｕsing Ｄigital Ｉmage Ｗarping」（ＩＥＥＥ Ｉnternational Ｃonference on Ｃonsumer Ｅlectronics,1993）

図１５（ａ）,（ｂ）及び図１６（ａ）〜（ｃ）は、従来の問題点を説明するための図である。
図１５（ａ）は参照画像のある一部を表し、図１５（ｂ）は予測対象画像の一部を表すものとする。図１５に示すように、斜めの縞模様を背景に長方形の物体が反時計周りに回転しながら左に移動している。●は格子点を表す。ここで、参照画像上の格子点ａ，ｂ，ｃ，ｄ，ｅ，ｆから形成される２つのブロック（四角形abdcと四角形befd）に注目すると、静止した背景上の四角形abdcが大きく変形し、四角形ＡＢＤＣとなっている。これら２つのブロックを取り出して図１６（ａ）,（ｂ）に示す。

図１６（ａ）は、図１５（ａ）の注目する２ブロックを示し、図１６（ｂ）は、図１５（ｂ）の注目する２ブロックを示したものである。このような場合に従来法によって予測画像を作成したものが、図１６（ｃ）である。左のブロックの斜めの模様が、幾何学変換によって変形し、図１６（ｂ）に示した予測対象画像（原画像）と異っていることが分かる。

一般に、動物体に接する背景画像上のブロックは、動物体の動きに伴って形が変化する。従来法によれば、背景画像は静止、あるいは並行移動しているにもかかわらず、その予測画像は変形や回転などの幾何学変換によって作成される。このため、予測効率が低下するという問題点があった。なお、ここでいう並行移動とは各画素の動きが平行であることを示す。

図１７（ａ）〜（ｃ）は、従来の他の問題点を説明するための図である。
図１７（ａ）は参照画像のある一部を表し、図１７（ｂ）は予測対象画像の一部を表すものとする。図１７に示すように、物体１が左下方向に、物体２が右上方向に動いている。ここで、参照画像上の格子点ａ，ｂ，ｃ，ｄ，ｅ，ｆから形成される２つのブロックに注目する。これらの格子点のうち、ｃ，ｅは物体の動きによって予測対象画像上のＣ，Ｅに移動しているが、ａ，ｂ，ｄ，ｆは移動しない。
このような場合、従来法によれば、図１７（ｃ）のようになる。物体は並行移動しているにも関わらず、幾何学変換を受けて歪んでしまう。一般に、隣接したブロック上の複数の物体が別々の方向に並行移動するとき、前述のような幾何学的な歪みが発生することになる。

本発明は、このような実情に鑑みてなされたもので、予測画像作成回路において、幾何学変換によって予測画像を求めるモードと並行移動によって予測画像を求めるモードをブロック毎に適応的に切り換え、予測効率を向上させるようにした画像符号化装置を提供することを目的としている。

本発明は、上記課題を解決するために、画像を分割して得られる各ブロックに対して予測画像を求める動き補償予測手段を備えた画像符号化装置であって、前記動き補償予測手段は、幾何学変換を用いて予測画像を作成するモードと、並行移動を用いて予測画像を作成するモードを有し、前記並行移動を表す動ベクトルの候補として、前記幾何学変換を表す複数の動ベクトルの平均ベクトルを用いることを特徴としたものである。

画像を分割して得られる各ブロックに対して予測画像を求める動き補償予測手段を備えた画像符号化装置であって、前記動き補償予測手段は、幾何学変換を用いて予測画像を作成するモードと、並行移動を用いて予測画像を作成するモードを有し、前記並行移動を表す動ベクトルの候補として、前記幾何学変換を表す複数の動ベクトルの平均ベクトルを用いているので、予測効率を向上することができる。

実施例について、図面を参照して以下に説明する。
まず、本発明の考え方を図１１によって説明する。図１１は、予測画像上の注目するブロック（四角形ＡＢＤＣ）の予測画像（１ブロック分）を、本発明の手法によって求める様子を示したものである。従来法と同様に、参照画像上の四角形ａｂｄｃは、格子の変形による幾何学変換を用いて変形され、Ｐ１のような予測画像が得られる。一方、参照画像上の四角形ａ′ｂ′ｄ′ｃ′の並行移動によって別の予測画像Ｐ２が得られる。本発明では、これら複数の予測画像をブロック毎に適応的に選択し、いずれかを実際の予測画像として用いる。ここで、並行移動とはブロック内画素が全て平行に移動することであり、ブロックの形状は変化せず、位置のみが移動することを意味する。

図１６（ｄ）は、本発明によって作成した予測画像の例である。左側のブロックの予測方法として、図１６（ａ）の四角形ａｂｄｃを幾何学変換するものと図１６（ａ）の点線で囲まれた部分を並行移動するものとがある。この場合は後者を適応的に選択し、図１６（ｄ）の予測画像を得ている。図から分かるように従来法の問題であった幾何学的な歪みは発生しない。
また、図１７（ｄ）は、本発明によって作成した予測画像の他の例である。左側のブロックの予測画像として図１７（ａ）の点線で囲まれた部分を並行移動し、右側のブロックの予測画像として図１７（ａ）の一点鎖線で囲まれた部分を並行移動することによって予測画像を得ている。図から分かるように従来法の問題であった幾何学的な歪み（図１７（ｃ）参照）は発生しない。

図１は、本発明が適用される画像符号化装置の一例を説明するための構成図で、図中、１は四角形ブロックへの分割部、２は格子点動き推定部、３は並行移動動き推定部、４は第１の動き補償予測部、５は第２の動き補償予測部、６は予測画像選択部である。
四角形ブロックへの分割部１及び格子点動き推定部２は、図１３で述べたものと同様の働きによって、参照画像を四角形に分割し、格子点の動ベクトルを求める部分である。格子点の動ベクトルは第１の動き補償予測部４に供給される。なお、四角形ブロックへの分割部１は他の符号化装置の実施例でも使用するが、以後の図４〜図６では図示せず、説明を省略する。

並行移動動き推定部３は、参照画像上のブロックの移動方向をブロックマッチング等の手法によって求める部分である。前述したブロックマッチングは、格子点周りの領域が予測対象画像上の同一形状のどの領域とマッチするかを調べるものであった。しかし、ここではブロック自体を領域とみなし、この領域が予測対象画像上の同一形状のどの領域とマッチするかを調べる。これによって、ブロック自体が並行移動する場合の動ベクトル（並行移動ベクトル）が求められる。並行移動の動ベクトルは第２の動き補償予測部５に供給される。

第１の動き補償予測部４は、図１３で説明した動き補償予測部３３と同様の働きによって、幾何学変換による動き補償予測を行う。出力された予測画像は予測画像選択部６に供給される。第２の動き補償予測部５は並行移動によって動き補償予測を行う。出力された予測画像は予測画像選択部６に供給される。
予測画像選択部６は本発明の手法により、予測画像をブロック毎に適応的に選択し、予測画像と予測モード情報を出力する。予測モード情報は図示しない符号化部において符号化され、符号化データに組み込まれて伝送あるいは蓄積される。予測画像の選択方法としては、原画像との誤差を最小にするものや、原画像との重みつき誤差を最小にするものなどが考えられる。以下、これらについて説明する。

図２は、図１における予測画像選択部の一例を示す構成図で、図中、７は第１の誤差算出部、８は第２の誤差算出部、９は選択部である。
ここでは予測画像を２種類としているが、もちろんこれに限るものではない。第１の誤差算出部７は、原画像と予測画像 のデータを１ブロック分入力し、予測誤差を算出する部分である。予測誤差は、原画像の画素値ｆ(ｎ)と予測画像の画素値ｆ(ｎ)′とを用いて、

によって計算される。ただし、ｎはブロック内での画素の番号、Ｎはブロック内の画素数である。ここでは２乗誤差による予測誤差を示したが、絶対値誤差を用いても良い。第２の誤差算出部８は第１の誤差算出部７と同様の働きによって、予測誤差を算出する部分である。選択部９は、各予測誤差を比較し予測誤差が最小となる予測画像及び、予測モード情報を出力する。例えば、第２の誤差算出部８の誤差が最小であれば、予測画像（２）を選択して出力する。また、予測モード情報として予測画像（２）を表す情報を出力する。予測方法が２種類ある場合、例えば、予測モード情報を固定長符号で表すと１ブロック当たり１ビット必要となる。

図３は、図１における予測画像選択部の他の例を示す構成図で、図中、１０は第１の直交変換部、１１は第２の直交変換部、１２は第３の直交変換部で、その他、図２と同じ作用をする部分は同一の符号を付してある。
第１の直交変換部１０〜第３の直交変換部１２は入力された１ブロック分の画素値を２次元直交変換し、周波数成分に変換する。図３の第１の誤差算出部７、第２の誤差算出部８は、原画像の直交変換係数ｇ(ｋ)と予測画像の直交変換係数ｇ(ｋ)′との重みつき誤差（予測誤差）を以下のようにして算出する部分である。

ただし、ｋは直交変換係数の番号、Ｎはブロック内の画素数、ｗ(ｋ)はあらかじめ定められた重みである。ここでは２乗誤差による予測誤差を示したが、絶対値誤差を用いても良い。例えば、重みｗ(ｋ)を低周波では大きく高周波では小さく設定することによって、人間の視覚特性に合致した予測誤差が計算される。図３の選択部９は、図２の選択部９と同様の働きによって予測画像を選択し、予測画像と予測モード情報とを出力する。

以上のようにして、図１に示した符号化装置によって、複数の動き補償予測方式を切替えることができる。すなわち、幾何学変換を用いた動き予測方式と、並行移動による動き予測方式とをブロック毎に適応的に切替えることができる。この結果、予測効率を改善して符号化効率を向上させることができる。

図４は、本発明が適用される画像符号化装置の他の例を説明するための構成図で、図中、１３は第３の動き補償予測部、１４は第４の動き補償予測部、１５は第５の動き補償予測部で、その他、図１と同じ作用をする部分は同一の符号を付してある。
格子点動き推定部２は、図１３で述べたものと同様の働きによって、格子点の動ベクトルを求める部分である。格子点の動ベクトルは第１の動き補償予測部４〜第５の動き補償予測部１５に供給される。第１の動き補償予測部４は、図１３で説明した動き補償予測部３３と同様の働きによって、幾何学変換による動き補償予測を行う。出力された予測画像は予測画像選択部６に供給される。

第２の動き補償予測部５〜第５の動き補償予測部１５は、並行移動による動き補償予測を行う。予測に用いる動ベクトルは注目するブロックの４つの格子点の動ベクトルである。各格子点の動ベクトルをそれぞれＶ１，Ｖ２，Ｖ３，Ｖ４とすると、第２の動き補償予測部５では動ベクトルＶ１を、第３の動き補償予測部１３では動ベクトルＶ２を、第４の動き補償予測部１４では動ベクトルＶ３を、第５の動き補償予測部１５では動ベクトルＶ４をそれぞれ用い、並行移動による動き補償予測を行う。作成された予測画像はそれぞれ予測画像選択部６に供給される。予測画像選択部６は本発明の手法により、予測画像を適応的に選択し、予測画像と予測モード情報を出力する。具体的には既に述べた手法（図２，図３）を用いる。ただし、ここでは予測画像は５種類となる。

以上のようにして、図４に示した符号化装置によって、複数の動き補償予測方式を切替えることができる。すなわち、幾何学変換を用いた動き予測方式と、並行移動による４つの動き予測方式とをブロック毎に適応的に切替えることができる。この結果、予測効率を改善し符号化効率を向上させることができる。また、ブロックの並行移動を示す動ベクトルを符号化しなくても良いので符号化データ量を小さくすることができる。

図５は、本発明による画像符号化装置の一実施例を説明するための構成図で、図中、１６は並列移動ベクトル決定部で、その他、図４と同じ作用をする部分は同一の符号を付してある。図４との違いは、並行移動による動き補償予測を行う部分（並行移動ベクトル決定部１６及び第２の動き補償予測部５）である。

並行移動ベクトル決定部１６では、１つのブロックに属する４個の格子点の動ベクトルと参照画像（いずれも復号装置でも得られる情報である）をもとに、ブロック自体の並行移動を表す動ベクトルを決定する。ここで求められた並行移動ベクトルは第２の動き補償予測部５に供給される。例えば、４個の格子点動ベクトルの平均値を求める並行移動ベクトルとする。この場合は参照画像の情報を用いないので、並行移動ベクトル決定部１６への参照画像の入力はない。
図５の実施例も図４の実施例と同様に、幾何学変換を用いた動き予測方式（動き補償予測部（１））と、並行移動による動き予測方式（動き補償予測部（２））とをブロック毎に適応的に切り替えることができる。この結果、予測効率を改善し符号化効率を向上させることができる。また、ブロックの並行移動を示す動ベクトルを符号化しなくても良いので符号化データ量を小さくすることができる。
さらに、幾何学変換に用いる４個の動ベクトルの平均値をブロック自体の並行移動を表す動ベクトルとすることで、並行移動を表す動ベクトルをより正確に予測することができ、符号量を削減することが可能となる。
また、新たにブロックマッチング処理を行うことなく並行移動を表す動ベクトルを求めるため、符号化装置の処理量を削減することも可能となる。

あるいは他の並行移動ベクトル決定方法として次のようなものが考えられる。すなわち、１フレーム前の参照画像と、２フレーム前の参照画像から注目するブロックの並行移動ベクトルを図１に示す実施例の説明で述べたようなブロックマッチングによって探索する。ここで求められた動ベクトルを求める並行移動ベクトルとする。又は、４個の格子点動ベクトル及びその平均ベクトルを、探索された動ベクトルと比較し、最も近いものを求める並行移動ベクトルとしてもよい。
この場合、実際にブロックマッチングによって探索されたベクトルに近いベクトルを並行移動ベクトルとして用いることができるため、予測効率を改善し符号化効率を向上させることができる。また、最も近いベクトルを示すための情報を付加情報として伝送する必要があるが、並行移動ベクトルそのものを直接伝送する必要はないため、符号化データ量を小さくすることができる。

図５における第２の動き補償予測部５は、入力された動ベクトルに基づき、並行移動によって動き補償予測を行う。予測画像選択部６は、２種類の予測画像の内、予測誤差の小さいものを選択し、選択された予測画像と予測モード情報を出力する。選択方法は、図２，図３に示したものと同様である。本実施例の符号化装置によれば、予測モード情報は１ブロック当たり１ビットですむので、予測モード情報にかかるデータ量が削減できる。

図６は、本発明による画像符号化装置の実施例を説明するための構成図で、図中、１７は制御部、１８は予測モード選択部で、その他、図５と同じ作用をする部分は同一の符号を付してある。図５との違いは、予測画像選択部６をなくし、その代わりに予測モード選択部１８と制御部１７とスイッチ（１）及びスイッチ（２）を設けた点にある。

予測モード選択部１８では、動ベクトルや参照画像など復号装置でも得られる情報をもとに予測モードを決定する。モード０が幾何学変換による動き補償予測をあらわし、モード１が並行移動による動き補償予測をあらわすものとする。決定された予測モードは制御部１７に供給される。

例えば、動ベクトルから、注目するブロックの大きさの変化を知ることができる。ブロックが大きく変化する場合は、隣接したブロックの動きが原因であることが多く、注目するブロック自体は静止あるいは並行移動していることが多いので、並行移動による動き補償予測のモードを選択する。すなわち、ブロック中に含まれる画素数の変化を調べ、この変化がしきい値より大きな場合は並行移動による動き補償予測のモードを、それ以外の場合は幾何学変換による動き補償予測のモードを選択する。

あるいは、他の予測モード選択方法として次のようなものが考えられる。
すなわち、１フレーム前の参照画像と、２フレーム前の参照画像から注目するブロックの動ベクトルをブロックマッチングによって探索する。この時のブロックマッチングの最小誤差が、しきい値より小さければ並行移動による動き補償予測のモードを、それ以外の場合は幾何学変換による動き補償予測のモードを選択する。なお、ここで述べたしきい値は理論的あるいは経験的に定められるものである。これらはあらかじめ定めておいても良いし、手動あるいは自動で適宜変化させてもよい。

制御部１７では、前述のように決定された予測モードをもとにスイッチ（１）及びスイッチ（２）を制御する。すなわち、予測モードが０の場合は、スイッチ（１）及びスイッチ（２）を第１の動き補償予測部４の側にして幾何学変換による動き補償予測を行う。予測モードが１の場合は、スイッチ（１）及びスイッチ（２）を第２の動き補償予測部５の側にして並行移動による動き補償予測を行う。このように、本実施例の符号化装置によれば、復号装置でも得られる情報をもとに予測モードを決定するので、予測モード情報を符号化する必要がなく、データ量が削減できる。

図７は、画像復号装置の一例を説明するための構成図で、図中、２１は制御部、２２は格子点動ベクトル復号部、２３は並行移動ベクトル復号部、２４は四角形ブロックへの分割部、２５は第１の動き補償予測部、２６は第２の動き補償予測部である。本実施例は、請求項１の符号化装置で作成された符号化データを復号する復号装置である。

格子点動ベクトル復号部２２は、図１４で述べたものと同様の働きによって、符号化データから格子点動ベクトルを復号する部分である。並行移動ベクトル復号部２３は、符号化データから並行移動ベクトルを復号する部分である。四角形ブロックへの分割部２４は、図１４で述べたものと同様の働きによって、参照画像を四角形に分割する部分である。なお、四角形ブロックへの分割部２４は、他の復号装置の実施例でも使用するが、以後の図８〜図１０では図示せず、説明を省略する。

制御部２１は、符号化データ中の予測モード情報をもとに、スイッチを制御する。すなわち、予測モード情報が幾何学変換による動き補償予測を表す場合はスイッチを第１の動き補償予測部２５の側にし、予測モード情報が並行移動による動き補償予測を表す場合はスイッチを第２の動き補償予測部２６の側に切替える。第１の動き補償予測部２５と第２の動き補償予測部２６の動きは、図１に示した符号化装置のものと全く同様である。

以上のようにして、図７に示す復号装置において、符号化装置と同一の予測モードが選択され、同一の予測画像が得られる。この予測画像と図示しない復号部で得られた差分データの復号値が足し合わされて、復号画像が得られる。復号画像はディスプレイなどに表示されると共に図示しないフレームメモリに蓄えられ、以後の復号の際の参照画像として用いられる。

図８は、画像復号装置の他の例を説明するための構成図で、図中、２７は第３の動き補償予測部、２８は第４の動き補償予測部、２９は第５の動き補償予測部で、その他、図７と同じ作用をする部分は同一の符号を付してある。本実施例は、図４に示した符号化装置で作成された符号化データを復号する復号装置である。

格子点動ベクトル復号部２２は、図１４で述べたものと同様の働きによって、符号化データから格子点動ベクトルを復号する部分である。制御部２１は本発明の手法により、符号化データ中の予測モード情報をもとに、スイッチ（１）及びスイッチ（２）を制御する。すなわち、予測モード情報が幾何学変換による動き補償予測を表す場合は、スイッチ（１）及びスイッチ（２）を第１の動き補償予測部２５の側にし、予測モード情報が動ベクトルＶ１を用いた並行移動による動き補償予測を表す場合は、スイッチ（１）及びスイッチ（２）を第２の動き補償予測部２６の側にするという具合にスイッチを切替える。第３の動き補償予測部２７〜第５の動き補償予測部２９への切替えも同様にして行われる。

第１の動き補償予測部２５〜第５の動き補償予測部２９の働きは、図４に示した符号化装置のものと全く同様である。以上のようにして、図８に示す復号装置において、符号化装置と同一の予測モードが選択され、同一の予測画像が得られる。以後の動作は図７の例と同様である。

図９は、画像復号装置の更に他の例を説明するための構成図で、図中、３０は並行移動ベクトル決定部で、その他、図８と同じ作用をする部分は同一の符号を付してある。この例は、図５に示した符号化装置で作成された符号化データを復号する復号装置である。

格子点動ベクトル復号部２２は、図１４で述べたものと同様の働きによって、符号化データから格子点動ベクトルを復号する部分である。制御部２１は本発明の手法により、符号化データ中の予測モード情報をもとに、スイッチ（１）及びスイッチ（２）を制御する。すなわち、予測モード情報が幾何学変換による動き補償予測を表す場合は、スイッチ（１）及びスイッチ（２）を第１の動き補償予測部２５の側にし、予測モード情報が並行移動による動き補償予測を表す場合は、スイッチ（１）及びスイッチ（２）を第２の動き補償予測部２６の側にする。

並行移動ベクトル決定部３０は、図５のものと同一の働きによって、第２の動き補償予測部２６で使用する並行移動ベクトルを決定する。また、第１の動き補償予測部２５と第２の動き補償予測部２６の働きは、図５に示した符号化装置のものと全く同様である。
以上のようにして、図９に示す復号装置において、符号化装置と同一の予測モードが選択され、同一の予測画像が得られる。以後の動作は図７の例と同様である。

図１０は、画像復号装置の更に他の例を説明するための構成図で、図中、３１は予測モード選択部で、その他、図９と同じ作用をする部分は同一の符号を付してある。この例は、図６に示した符号化装置で作成された符号化データを復号する復号装置である。

格子点動ベクトル復号部２２は、図１４で述べたものと同様の働きによって、符号化データから格子点動ベクトルを復号する部分である。予測モード選択部３１は、図６のものと同様の働きにより、動ベクトルや参照画像などの情報をもとに予測モードを決定する。決定された予測モードは、制御部２１に供給される。

制御部２１は、図６のものと同様の働きにより、符号化データ中の予測モード情報をもとに、スイッチ（１）及びスイッチ（２）を制御する。並行移動ベクトル決定部３０は、図６のものと同一の働きによって、第２の動き補償予測部２６で使用する並行移動ベクトルを決定する。また、第１の動き補償予測部２５と第２の動き補償予測部２６の働きは、図６に示した符号化装置のものと全く同様である。
以上のようにして、図１０に示す復号装置において、符号化装置と同一の予測モードが選択され、同一の予測画像が得られる。以後の動作は図７の例と同様である。

ここで説明した符号化装置及び復号装置の例は、おもに時間的に一方向のみに動ベクトルを求め、これによって動き補償予測を行うものであるが、もちろん、時間的に双方向に（すなわち、前後の参照画像から）動ベクトルを求め動き補償予測を行うようにしてもよい。幾何学変換による予測では、双方向動き補償予測を用いても、図１６（ｃ）に示したような問題は解決されない。本発明を用いて並行移動による動き補償と幾何学変換による動き補償を適応的に切替えれば、異る動きを持った複数の物体が重なり合う場合や、回転、変形などの働きを含む場合などでも良好な予測画像を得ることができる。

画像符号化装置の一例を説明するための構成図である。 図１における予測画像選択部の一例を示す構成図である。 図１における予測画像選択部の他の例を示す構成図である。 画像符号化装置の他の例を説明するための構成図である。 本発明による画像符号化装置の一実施例を説明するための構成図である。 本発明による画像符号化装置の他の実施例を説明するための構成図である。 画像復号装置の一例を説明するための構成図である。 画像復号装置の他の例を説明するための構成図である。 画像復号装置の更に他の例を説明するための構成図である。 画像復号装置の更に他の例を説明するための構成図である。 動き補償予測を説明するための図である。 従来の幾何学変換による動き補償予測を説明するための図である。 従来の画像符号化装置における予測画像作成回路の構成図である。 従来の画像復号装置における予測画像作成回路の構成図である。 参照画像と予測対象画像の例を示す図である。 従来の本発明による予測画像の比較例を示す図である。 従来と本発明による予測画像の他の比較例を示す図である。

符号の説明

１…四角形ブロックへの分割部、２…格子点動き推定部、３…並行移動動き推定部、４…第１の動き補償予測部、５…第２の動き補償予測部、６…予測画像選択部、７…第１の誤差算出部、８…第２の誤差算出部、９…選択部、１０…第１の直交変換部、１１…第２の直交変換部、１２…第３の直交変換部、１３…第３の動き補償予測部、１４…第４の動き補償予測部、１５…第５の動き補償予測部、１６…並列移動ベクトル決定部、１７…制御部、１８…予測モード選択部、２１…制御部、２２…格子点動ベクトル復号部、２３…並行移動ベクトル復号部、２４…四角形ブロックへの分割部、２５…第１の動き補償予測部、２６…第２の動き補償予測部、２７…第３の動き補償予測部、２８…第４の動き補償予測部、２９…第５の動き補償予測部、３０…並行移動ベクトル決定部、３１…予測モード選択部。

Claims (1)

1. 画像を分割して得られる各ブロックに対して予測画像を求める動き補償予測手段を備えた画像符号化装置であって、
   前記動き補償予測手段は、幾何学変換を用いて予測画像を作成するモードと、並行移動を用いて予測画像を作成するモードを有し、
   前記並行移動を表す動ベクトルの候補として、前記幾何学変換を表す複数の動ベクトルの平均ベクトルを用いることを特徴とする画像符号化装置。

Images