JP2008005546A

JP2008005546A - 予測画像の作成方法及び画像符号化方法及び画像符号化装置

Info

Publication number: JP2008005546A
Application number: JP2007227251A
Authority: JP
Inventors: Yoshinori Suzuki; 芳典鈴木; Yuichiro Nakaya; 雄一郎中屋
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1996-09-20
Filing date: 2007-09-03
Publication date: 2008-01-10

Abstract

【課題】ローカル動き補償とグローバル動き補償をそれぞれ用いて作成される２種類の予測画像からブロック毎に１種類のブロック画像を選択する場合には、選択されなかったブロック画像は予測誤差信号を得る際に全く用いられず、そのブロック画像を求めるための演算処理が無駄となってしまう。
【解決手段】ローカル動き補償，グローバル動き補償或いはグローバル・ローカル動き補償を用いて作成されるローカル動き補償ブロック画像，グローバル動き補償ブロック画像或いはグローバル・ローカル動き補償ブロック画像のうちの任意の２種類のブロック画像を平均化処理した平均ブロック画像を作成し、ローカル動き補償ブロック画像，グローバル動き補償ブロック画像、グローバル・ローカル動き補償ブロック画像或いは平均ブロック画像のうちの一つを選択して原画像のブロック内の画像との差を求めて予測誤差信号とする。
【選択図】図３

Description

本発明は、ディジタル動画像符号化技術に関するものである。

ディジタル動画像の高能率符号化において、時間的に隣接するフレーム間の相関を利用する動き補償は大きな圧縮効果を生むことが知られている。このため、現在の動画像符号化における国際標準方式Ｈ.２６１，Ｈ.２６３，ＭＰＥＧ１，ＭＰＥＧ２などでは、符号化対象の画像を正方形の複数のブロックに分割し、各ブロック毎に動きベクトルを検出するブロックマッチングと呼ばれる動き補償が用いられている。これらの国際標準方式のアルゴリズムについては、例えば、藤原洋監修「最新ＭＰＥＧ教科書」(1994.8)などに解説されている。

図１に、ブロックマッチングの一般的な概念を示す。図１において、１０１は、これから符号化しようとするフレーム（現フレーム）の原画像を示しており、１０２は、既に符号化がなされた時間的に現フレームに近いフレームの復号画像（参照画像）を示している。

ブロックマッチングでは、原画像１０１を複数のブロックＧi,j（ｉ，ｊはそれぞれ横方向，縦方向のブロック番号を示す）に分割する。通常用いられるブロックのサイズは、縦１６画素、横１６画素である。その後、原画像１０１と参照画像１０２との間で、各ブロック毎に動き推定を行う。ブロックマッチングにおける動き推定では、ブロックＧi,jと対応する位置のブロックＰi,j(０,０)を参照画像１０２上においてあらゆる方向，移動量で平行移動し、原画像１０１におけるブロックＧi,j内の画像と参照画像１０２における移動後のブロック内の画像の差が一番少なくなるような平行移動を示す動きベクトルを検出する。１０３は分割されたブロックの１個であり、図１ではこのブロック１０３の動きベクトルを検出する場合を示している。このブロック１０３をＧi,jと表わす。Ｐi,j(ｕ,ｖ)で示されるブロック１０４は、上述した動き推定によって特定された、上記差が最小となるブロックを示している。ブロックＰi,j(ｕ,ｖ)は、ブロックＧi,jと対応する位置のブロックＰi,j(０,０)を、水平方向にｕ画素，垂直方向にｖ画素で平行移動したものであり、矢印１０５は、動き推定によって検出された、ブロックＧi,jに対する動きベクトルＭＶi,j(ｕ,ｖ)である。ブロックマッチングでは、原画像１０１上で分割された全てのブロックＧi,jに対して上述の動き推定を行い、各ブロックＧi,j毎に動きベクトルＭＶi,j(ｕ,ｖ)を検出する。

さらに、原画像１０１上の各ブロックＧi,jに対応する位置の参照画像１０２上の各ブロックＰi,j(０,０)を、検出した各ブロックＧi,j毎の各動きベクトルＭＶi,j(ｕ,ｖ)に基づいて各々移動し、移動後の各ブロックＰi,j(ｕ,ｖ)内の画像を移動前の位置のものとして寄せ集めて、予測画像１０６が合成される。

尚、原画像を複数のブロックに分割し、原画像と参照画像との間で、分割された各ブロック毎に動き推定を行って各々の動きベクトルを検出し、検出された各ブロック毎の各動きベクトルと参照画像とから予測画像を作成する動き補償を、ローカル動き補償と呼ぶ。また、ローカル動き補償によって作成される予測画像を、ローカル動き補償予測画像と呼ぶ。

上述したブロックマッチングは、ローカル動き補償の一種であり、動き推定においてブロックの平行移動のみを考慮した特殊な例であると位置づけられる。ローカル動き補償は、ブロックマッチングのみに限定されるものではなく、動き推定においてブロックの平行移動と変形の組み合わせを考慮した動き補償も含むものである。ブロックマッチングでは、平行移動のみを考慮したものであるため、動き推定によって検出される動きベクトルは、１つのブロックに対し１つであったが、後者の動き補償では、平行移動と変形の組み合わせを考慮したものであるため、動き推定によって検出される動きベクトルは、１つのブロックに対し複数となる。尚、ローカル動き補償における移動／変形後のブロック内の画像を、ローカル動き補償ブロック画像と呼ぶ。

上述したローカル動き補償は、画像内の局所的な動きを検出する動き補償である。これに対して、スポーツ放送のようにカメラのパンやズーム操作を伴う画像シーケンスに対しては、画像全体の総体的な動きを補償する方法も効果的であることが報告されている（例えば、上倉他、「動画像符号化におけるグローバル動き補償法」、電子情報通信学会論文誌、Vol.J76-B-1、No.12、pp944-952、平5-12参照）。この動き補償は、グローバル動き補償と呼ばれている。

図２は、グローバル動き補償の例を示している。２０１は現フレームの原画像、２０２は原画像２０１に対する参照画像を示している。２０３は原画像２０１全体を１つの領域と見た場合のパッチを示しており、２０４、２０５、２０６、２０７がその格子点の配置を示している。グローバル動き補償では、原画像２０１と参照画像２０２との間で、画像全体で動き推定を行う。グローバル動き補償における動き推定では、参照画像２０２上において、上記パッチ２０３を任意に平行移動し、或いは、上記パッチ２０３を任意に変形し、又は、その双方を行い、原画像１０１と参照画像２０２における移動／変形後のパッチ内の画像の差が一番少なくなるような移動／変形を示す動きベクトルを検出する。図２において、パッチ２０８は、上記差が小さくなるように移動／変形した状態を示したものである。このとき、格子点２０４，２０５，２０６及び２０７はそれぞれ２０９，２１０，２１１及び２１２に移動し、パッチ２０３に対する動きベクトルとして図２中の矢印で示された格子点２０４〜２０７に対する４つの動きベクトルが得られる。

さらに、パッチ２０３の各格子点２０４〜２０７を検出した各動きベクトルに基づいて各々移動することによって、パッチ２０３を移動／変形し、参照画像２０２における移動／変形後のパッチ２０８内の画像を予測画像として合成する。

尚、上述したグローバル動き補償によって作成される予測画像を、グローバル動き補償予測画像と呼ぶ。このグローバル動き補償予測画像の作成方法には、「特願平８−６０５７２」に開示されているような、高速アルゴリズムも存在する。

ローカル動き補償及びグローバル動き補償における予測画像の合成の手法は、従来良く知られているが、ここで補足的に説明する。動き推定によって検出された動きベクトルに基づく上記ブロック或いは上記パッチの移動／変形に伴って、移動／変形前のブロック或いはパッチ内の画素の位置は移動する。そのため、移動／変形後のブロック或いはパッチ内の画素の位置を求める必要がある。ここでは、移動後の画素の位置を共１次変換を用いて求める方法を例として挙げる。共１次変換では、動き補償において平行移動の他に回転，変形等にも対応できる。元の画素の位置を（ｘ,ｙ）とした場合、移動後の画素の位置（ｔｘ(ｘ,ｙ),ｔｙ(ｘ,ｙ)）は次式（数１）で表される。

（数１）において、パラメータｂ₁〜ｂ₈は、動き推定によって検出された各格子点に対する４つの動きベクトルから一意に特定することができる。尚、上述したブロックマッチングでは、動き推定においてブロックの平行移動のみを考慮したものであるため、（数１）中のパラメータｂ₁，ｂ₃，ｂ₅及びｂ₆は０であり、パラメータｂ₂及びｂ₇は１である。そして、パラメータｂ₄及びｂ₈は、各ブロック毎に、動き推定によって検出されたブロックに対する１つの動きベクトルから一意に特定することができる。

移動／変形後のブロック或いはパッチ内の画素の位置を算出した後、算出された位置での画素値を参照画像上の画素を用いて特定して、ローカル動き補償ブロック画像或いはグローバル動き補償予測画像を得る。尚、移動後の画素の位置によっては、参照画像上において画素が存在しない場合がある。その場合には、算出された画素の位置の周囲の画素を用いて画素値を算出する。

上述したグローバル動き補償は、画像全体が統一的に同じ動きをしている場合には有効であるが、画像内に異なる動きをする領域が存在する場合には、そのうちの１パターンの動きにしか対応できない。そこで、従来、グローバル・ローカル動き補償と呼ばれる動き補償も考えられている。グローバル・ローカル動き補償では、まず、上述したグローバル動き補償によってグローバル動き補償予測画像を合成する。次に、図１における参照画像１０２を合成したグローバル動き補償予測画像とし、原画像とグローバル動き補償予測画像との間でローカル動き補償を行い、予測画像を合成する。尚、グローバル・ローカル動き補償によって作成される予測画像をグローバル・ローカル動き補償予測画像と呼ぶ。また、グローバル・ローカル動き補償における移動／変形後のブロック内の画像を、グローバル・ローカル動き補償ブロック画像と呼ぶ。

符号側では、現フレームの原画像と上述した各動き補償により合成した予測画像をそれぞれ複数のブロックに分割し、各ブロック毎に原画像のブロック内の画像と予測画像のブロック内の画像との差を求めて予測誤差信号とし、予測誤差信号をＤＣＴ変換し、さらに量子化して伝送する。上述したローカル動き補償或いはグローバル・ローカル動き補償では、一般的に、動き推定における分割したブロックと同一サイズのブロックで分割し、原画像のブロック内の画像とローカル動き補償ブロック画像との間或いは原画像のブロック内の画像とグローバル・ローカル動き補償ブロック画像との間の予測誤差信号を用いる。尚、ブロックに分割されたグローバル動き補償予測画像の各ブロック内の画像を、グローバル動き補償ブロック画像と呼ぶ。

上述したグローバル・ローカル動き補償を用いた符号化の他にも、特開昭８−１４００９８に開示されているような符号化も考えられている。この符号化では、原画像と参照画像との間でローカル動き補償とグローバル動き補償とをそれぞれ行ってローカル動き補償予測画像とグローバル動き補償予測画像を合成し、分割された原画像の各ブロックに対する予測誤差信号を求める際に、ローカル動き補償ブロック画像とグローバル動き補償ブロック画像のいずれかを適応的に選択して使用する。

特開昭８−１４００９８

ローカル動き補償とグローバル動き補償をそれぞれ用いて作成される２種類の予測画像からブロック毎に１種類のブロック画像（ローカル動き補償ブロック画像或いはグローバル動き補償ブロック画像）を選択する場合には、選択されなかったブロック画像は予測誤差信号を得る際に全く用いられず、そのブロック画像を求めるための演算処理が無駄となってしまうという問題があった。

本発明では、ローカル動き補償とグローバル動き補償を用いて作成される２種類のブロック画像（ローカル動き補償ブロック画像，グローバル動き補償ブロック画像）と両ブロック画像を平均化した平均ブロック画像との３種類の中から、ブロック毎に１種類を選択することにより、符号化効率をより向上させるとともに、無駄となってしまう演算処理をできるだけ少なくする。

また、本発明では、ローカル動き補償とグローバル・ローカル動き補償を用いて作成される２種類のブロック画像（ローカル動き補償ブロック画像，グローバル・ローカル動き補償ブロック画像）と両ブロック画像を平均化した平均ブロック画像との３種類の中から、ブロック毎に１種類を選択することにより、符号化効率をより向上させるとともに、無駄となってしまう演算処理をできるだけ少なくする。

また、本発明では、ローカル動き補償とグローバル・ローカル動き補償を用いて作成される２種類のブロック画像（ローカル動き補償ブロック画像，グローバル・ローカル動き補償ブロック画像）と、ローカル動き補償ブロック画像とグローバル動き補償ブロック画像とを平均化した平均ブロック画像との、３種類の中から、ブロック毎に１種類を選択することにより、符号化効率をより向上させるとともに、無駄となってしまう演算処理をできるだけ少なくする。

本発明によれば、簡単な平均化の演算処理を加えることのみで、原画像との間で予測誤差を求めるブロック画像の候補を増やすことができ、符号化効率を向上させることができる。

先に説明した３種類の動き補償予測画像（ローカル動き補償予測画像，グローバル動き補償予測画像，グローバル・ローカル動き補償画像予測画像）を有効的に活用して、予測誤差信号を得る際に用いる最終的な予測画像を作成する方法はいくつか考えられるが、ここでは３通りの方法について説明する。

まず、１つ目は、ブロック毎に予測誤差信号を求める際に用いるブロック画像の候補として、ローカル動き補償ブロック画像とグローバル動き補償ブロック画像の他に、ローカル動き補償ブロック画像とグローバル動き補償ブロック画像の間で平均処理を施した平均ブロック画像を加えた方法である。

図３に、この方法を用いた、予測誤差符号化が行われる予測画像作成の手順を示す。４０１は、現フレームの原画像にブロック分割（一般的なブロックサイズは縦１６画素，横１６画素の正方形ブロック）を施した図である。ここでは、その中の１ブロック４０２に注目することにする。図３中、i,jは原画像４０１内でのブロック位置を、Ｇi,jはブロック４０２を、４１０は既に符号化がなされた時間的に現フレームに近いフレームの復号画像である参照画像を示している。また、参照画像４１０上のブロック４１１は、参照画像４１０上において原画像４０１上のブロック４０２と空間的に同一位置にあるブロックを示している。

まず、原画像４０１と参照画像４１０との間でローカル動き補償を行い、原画像４０１上のブロック４０２に対するローカル動き補償ブロック画像４１２を求める。図３中、４１３は、ローカル動き補償の動き推定によって検出されたブロック４０２に対する動きベクトルMVnである。

また同時に、原画像４０１と参照画像４１０との間でグローバル動き補償を行い、グローバル動き補償予測画像４２０を合成し、合成したグローバル動き補償予測画像４２０上において原画像４０１上のブロック４０２と空間的に同一位置にあるブロック内の画像をグローバル動き補償ブロック画像４２１として求める。

次に、ローカル動き補償ブロック画像４１２とグローバル動き補償ブロック画像４２１との対応する位置の各画素を平均化することにより、平均ブロック画像４４０を作成する。この平均化処理を数式で表すと、次式（数２）のようになる
。

ここで、ｎは各ブロック画像内の画素番号、Ｐi,j(ｎ)はローカル動き補償ブロック画像Ｐi,j内の画素を表し、Ｂi,j(ｎ)はグローバル動き補償ブロック画像Ｂi,j内においてＰi,j(ｎ)と空間的に同一位置に存在する画素を示す。また、Ａi,j(ｎ)は、Ｐi,j(ｎ)とＢi,j(ｎ)の平均値であり、平均ブロック画像４４０内の画素を表している。尚、（数２）におけるｎは、縦１６画素，横１６画素のブロックを想定すると、０から２５５までの整数ということになる。また、上記（数２）では丸め演算を用いているが、四捨五入等の演算を用いた場合も本技術に含まれる。

最後に、この３個のブロック画像（ローカル動き補償ブロック画像４１２，グローバル動き補償ブロック画像４２１，平均ブロック画像４４０）の中から符号化効率が最適となるものを選択する。

上述した処理を、原画像４０１上のブロック４０２以外のブロックについても行い、原画像４０１上の各ブロック毎に選択された各ブロック画像を寄せ集めて、原画像４０１との間で予測誤差符号化が行われる予測画像４６０が合成される。その後、原画像４０１上の各ブロック毎に、予測画像４６０上の対応する位置のブロック画像との予測誤差信号が求められ、予測誤差信号をＤＣＴ変換し、さらに量子化して復号側に伝送する。尚、グローバル動き補償の動き推定によって検出されたパッチに対する動きベクトル（以下、グローバル動きベクトルと呼ぶ）は、各フレーム毎に復号側に伝送される。また、ローカル動き補償の動き推定によって検出されたブロックに対する動きベクトル（以下、ローカル動きベクトルと呼ぶ）は、上述した３つのブロック画像からローカル動き補償ブロック画像或いは平均ブロック画像を選択した場合に予測誤差信号と共に復号側に伝送される。尚、上述した３つのブロック画像からグローバル動き補償ブロック画像を選択した場合には、ブロックに対する動きベクトルは伝送されない。

２つ目は、ブロック毎に予測誤差信号を求める際に用いるブロック画像の候補として、ローカル動き補償ブロック画像とグローバル・ローカル動き補償ブロック画像の他に、ローカル動き補償ブロック画像とグローバル・ローカル動き補償ブロック画像の間で平均処理を施した平均ブロック画像を加えた方法である。

図４に、この方法を用いた、予測誤差符号化が行われる予測画像作成の手順を示す。４０１は、現フレームの原画像にブロック分割（一般的なブロックサイズは縦１６画素，横１６画素の正方形ブロック）を施した図である。ここでは、その中の１ブロック４０２に注目することにする。図４中、i,jは原画像４０１内でのブロック位置を、Ｇi,jはブロック４０２を、４１０は既に符号化がなされた時間的に現フレームに近いフレームの復号画像である参照画像を示している。また、参照画像４１０上のブロック４１１は、参照画像４１０上において原画像４０１上のブロック４０２と空間的に同一位置にあるブロックを示している。

まず、原画像４０１と参照画像４１０との間でローカル動き補償を行い、原画像４０１上のブロック４０２に対するローカル動き補償ブロック画像４１２を求める。図４中、４１３は、ローカル動き補償の動き推定によって検出されたブロック４０２に対する動きベクトルMVnである。

また同時に、原画像４０１と参照画像４１０との間でグローバル・ローカル動き補償を行い、原画像４０１上のブロック４０２に対するグローバル・ローカル動き補償ブロック画像６２２を求める。より具体的には、第１段階として、原画像４０１と参照画像４１０との間でグローバル動き補償を行い、グローバル動き補償予測画像４２０を合成する。次に、第２段階として、原画像４０１と合成したグローバル動き補償予測画像４２０との間でローカル動き補償を行い、原画像４０１上のブロック４０２に対するグローバル・ローカル動き補償ブロック画像６２２を求める。図４中、６２３は、グローバル・ローカル動き補償における上記第２段階目のローカル動き補償の動き推定によって検出されたブロック４０２に対する動きベクトルMVgである。

次に、ローカル動き補償ブロック画像４１２とグローバル・ローカル動き補償ブロック画像６２２との対応する位置の各画素を平均化することにより、平均ブロック画像６４０を作成する。この平均化処理を数式で表すと、次式（数３）のようになる。

ここで、ｎは各ブロック画像内の画素番号、Ｐi,j(ｎ)はローカル動き補償ブロック画像Ｐi,j内の画素を表し、ＢＰi,j(ｎ)はグローバル・ローカル動き補償ブロック画像Ｂi,j内においてＰi,j(ｎ)と空間的に同一位置に存在する画素を示す。また、Ａi,j(ｎ)は、Ｐi,j(ｎ)とＢＰi,j(ｎ)の平均値であり、平均ブロック画像６４０内の画素を表している。尚、（数３）におけるｎは、縦１６画素，横１６画素のブロックを想定すると、０から２５５までの整数ということになる。また、上記（数３）では丸め演算を用いているが、四捨五入等の演算を用いた場合も本技術に含まれる。

最後に、この３個のブロック画像（ローカル動き補償ブロック画像４１２，グローバル・ローカル動き補償ブロック画像６２２，平均ブロック画像６４０）の中から符号化効率が最適となるものを選択する。

上述した処理を、原画像４０１上のブロック４０２以外のブロックについても行い、原画像４０１上の各ブロック毎に選択された各ブロック画像を寄せ集めて、原画像４０１との間で予測誤差符号化が行われる予測画像４６０が合成される。その後、原画像４０１上の各ブロック毎に、予測画像４６０上の対応する位置のブロック画像との予測誤差信号が求められ、予測誤差信号をＤＣＴ変換し、さらに量子化して復号側に伝送する。尚、グローバル・ローカル動き補償における上記第１段階目のグローバル動き補償の動き推定によって検出されたパッチに対する動きベクトル（以下、グローバル動きベクトルと呼ぶ）は、各フレーム毎に復号側に伝送される。また、ローカル動き補償の動き推定によって検出されたブロックに対する動きベクトル（以下、ローカル動きベクトルと呼ぶ）は、上述した３つのブロック画像からローカル動き補償ブロック画像或いは平均ブロック画像を選択した場合に予測誤差信号と共に復号側に伝送される。さらに、グローバル・ローカル動き補償における上記第２段階目のローカル動き補償の動き推定によって検出されたブロックに対する動きベクトル（以下、グローバル・ローカル動きベクトルと呼ぶ）は、上述した３つのブロック画像からグローバル・ローカル動き補償ブロック画像或いは平均ブロック画像を選択した場合に予測誤差信号と共に復号側に伝送される。即ち、上述した３つのブロック画像から平均ブロック画像を選択した場合には、各ブロック毎の予測誤差信号と共に２つの動きベクトル（ローカル動きベクトルとグローバル・ローカル動きベクトル）が伝送される。

３つ目は、ブロック毎に予測誤差信号を求める際に用いるブロック画像の候補として、ローカル動き補償ブロック画像とグローバル・ローカル動き補償ブロック画像の他に、ローカル動き補償ブロック画像とグローバル動き補償ブロック画像の間で平均処理を施した平均ブロック画像を加えた方法である。

図５に、この方法を用いた、予測誤差符号化が行われる予測画像作成の手順を示す。４０１は、現フレームの原画像にブロック分割（一般的なブロックサイズは縦１６画素，横１６画素の正方形ブロック）を施した図である。ここでは、その中の１ブロック４０２に注目することにする。図５中、i,jは原画像４０１内でのブロック位置を、Ｇi,jはブロック４０２を、４１０は既に符号化がなされた時間的に現フレームに近いフレームの復号画像である参照画像を示している。また、参照画像４１０上のブロック４１１は、参照画像４１０上において原画像４０１上のブロック４０２と空間的に同一位置にあるブロックを示している。

まず、原画像４０１と参照画像４１０との間でローカル動き補償を行い、原画像４０１上のブロック４０２に対するローカル動き補償ブロック画像４１２を求める。図５中、４１３は、ローカル動き補償の動き推定によって検出されたブロック４０２に対する動きベクトルMVnである。

また同時に、原画像４０１と参照画像４１０との間でグローバル・ローカル動き補償を行い、原画像４０１上のブロック４０２に対するグローバル動き補償ブロック画像４２１とグローバル・ローカル動き補償ブロック画像６２２とを求める。より具体的には、第１段階として、原画像４０１と参照画像４１０との間でグローバル動き補償を行い、グローバル動き補償予測画像４２０を合成し、合成したグローバル動き補償予測画像４２０上において原画像４０１上のブロック４０２と空間的に同一位置にあるブロック内の画像をグローバル動き補償ブロック画像４２１として求める。次に、第２段階として、原画像４０１と合成したグローバル動き補償予測画像４２０との間でローカル動き補償を行い、原画像４０１上のブロック４０２に対するグローバル・ローカル動き補償ブロック画像６２２を求める。図５中、６２３は、グローバル・ローカル動き補償における上記第２段階目のローカル動き補償の動き推定によって検出されたブロック４０２に対する動きベクトルMVgである。

次に、ローカル動き補償ブロック画像４１２とグローバル動き補償ブロック画像４２１との対応する位置の各画素を平均化することにより、平均ブロック画像４０を作成する。この平均化処理は、上述した（数１）と同様であるので、ここでは説明を省略する。

最後に、この３個のブロック画像（ローカル動き補償ブロック画像４１２，グローバル・ローカル動き補償ブロック画像６２２，平均ブロック画像４０）の中から符号化効率が最適となるものを選択する。

上述した処理を、原画像４０１上のブロック４０２以外のブロックについても行い、原画像４０１上の各ブロック毎に選択された各ブロック画像を寄せ集めて、原画像４０１との間で予測誤差符号化が行われる予測画像４６０が合成される。その後、原画像４０１上の各ブロック毎に、予測画像４６０上の対応する位置のブロック画像との予測誤差信号が求められ、予測誤差信号をＤＣＴ変換し、さらに量子化して復号側に伝送する。尚、グローバル・ローカル動き補償における上記第１段階目のグローバル動き補償の動き推定によって検出されたパッチに対する動きベクトル（以下、グローバル動きベクトルと呼ぶ）は、各フレーム毎に復号側に伝送される。また、ローカル動き補償の動き推定によって検出されたブロックに対する動きベクトル（以下、ローカル動きベクトルと呼ぶ）は、上述した３つのブロック画像からローカル動き補償ブロック画像或いは平均ブロック画像を選択した場合に予測誤差信号と共に復号側に伝送される。さらに、グローバル・ローカル動き補償における上記第２段階目のローカル動き補償の動き推定によって検出されたブロックに対する動きベクトル（以下、グローバル・ローカル動きベクトルと呼ぶ）は、上述した３つのブロック画像からグローバル・ローカル動き補償ブロック画像を選択した場合に予測誤差信号と共に復号側に伝送される。即ち、上述した３つのブロック画像から何れを選択した場合にも、各ブロック毎の予測誤差信号と共に伝送される動きベクトルは１つである。

図３，図４及び図５に基づいて説明したそれぞれの予測画像の作成方法において、符号化効率が最適となるブロック画像の選択基準としては、(1)発生する予測誤差信号に対する符号化情報量がより少なくなるものを選択する、或いは、(2)発生する予測誤差信号と動きベクトルに対するトータルの符号化情報量がより少なくなるものを選択する、等が考えられる。上記(1),(2)の何れの選択基準が適切かは、予測画像の作成方法によって異なる。上述した図３，図４の予測画像の作成方法では、選択するブロック画像によって伝送すべき各ブロックに対する動きベクトルの数が異なるため、上記(2)の選択基準に基づいてブロック画像の選択を行うほうが符号化効率の観点からいって望ましい。一方、上述した図５の予測画像の作成方法では、選択するブロック画像によって伝送すべき各ブロックに対する動きベクトルの数は変わらないため、上記(1),(2)の何れの選択基準を用いても大差はないが、演算処理量の観点からいえば上記(1)の選択基準のほうが好ましい。

上述した３通りの予測画像の作成方法では、異なる予測画像のブロック画像を平均化することによるノイズ除去とローパスフィルタの効果が得られるため、予測誤差信号に対するＤＣＴ係数の交流成分の電力スペクトルが小さくなり、予測特性の向上が期待できる。

図６は、本発明が適用される動画像符号化装置の図である。

図６において、３００は制御装置、３０２は減算器、３０４はＤＣＴ変換器、３０５は量子化器、３０７は逆量子化器、３０８は逆ＤＣＴ変換器、３１０は加算器、３１３はフレームメモリ、３１５は動き補償処理部、３１９はスイッチ、３２３は多重化装置である。

この動画像符号化装置は、フレーム間／フレーム内適応符号化方式を採用しているものであり、スイッチ３１９によって、フレーム間符号化とフレーム内符号化を切り換える。尚、スイッチ３１９は制御装置３００によってフレーム単位で制御される。また、フレーム毎にフレーム間符号化とフレーム内符号化の何れが行われたかを示すフレームタイプ情報が、制御装置３００から多重化装置３２３に送られる。

フレーム内符号化符号化の場合の動作は、以下の通りである。

減算器３０２は、現フレームの原画像３０１と０信号３１２（＝３２０）が入力され、ブロック毎に現フレームの原画像３０３がそのまま出力される。この原画像３０３は、ＤＣＴ変換器３０４でＤＣＴ係数に変換された後に量子化器３０５で量子化され、量子化ＤＣＴ係数３０６となる。尚、量子化器で用いられる量子化係数は、制御装置３００により制御され、量子化制御情報３２２が、制御装置３００から多重化装置３２３に送られる。この量子化ＤＣＴ係数３０６は、多重化装置３２３に入力され、フレームタイプ情報３２１と量子化制御情報３２２とともに多重化され、伝送される。

フレーム間符号化の場合の動作、以下の通りである。

動き補償処理部３１５は、現フレームの原画像３０１とフレームメモリ３１３から読み出された現フレームに対する参照画像３１４とを用いて、図３，図４或いは図５にて説明した予測画像の作成方法により現フレームに対する予測画像３１６を合成し、出力する。また、動き補償処理部３１５は、ブロック毎に何れのブロック画像を選択したかを示すブロックタイプ情報３１８と選択したブロック画像に応じた動き情報３１７とを多重化装置３２３に送る。

減算器３０２は、ブロック毎に、入力された現フレームの原画像３０１と予測画像３１２（＝３１６）との差を計算し、予測誤差信号３０３を出力する。この予測誤差信号３０３は、ＤＣＴ変換器３０４でＤＣＴ係数に変換された後に量子化器３０５で量子化され、量子化ＤＣＴ係数３０６となる。尚、量子化器で用いられる量子化係数は、制御装置３００により制御され、量子化制御情報３２２が、制御装置３００から多重化装置３２３に送られる。この量子化ＤＣＴ係数３０６は、多重化装置３２３に入力されるとともに、逆量子化器３０７に入力される。逆量子化器３０７に入力された量子化ＤＣＴ係数３０６は逆量子化され、さらに、逆ＤＣＴ変換器３０８で予測誤差信号３０９が復号される。この予測誤差信号３０９は、加算器３１０で予測画像３１２が加えられ、現フレームの復号画像３１１となる。この復号画像３１１は、次フレームに対する参照画像としてフレームメモリ３１３に蓄えられる。

多重化装置３２３は、入力されたフレームタイプ情報，量子化制御情報，量子化ＤＣＴ係数，動き情報及びブロックタイプ情報を、図７及び図８に示すフォーマットに従って多重化し、伝送する。

図７は、フレームデータのフォーマットを示す図である。フレームデータは、フレームヘッダ情報，フレームタイプ情報，グローバル動きベクトル，複数のブロックデータ及びエンドコードから構成される。また、図８は、上記フレームデータ中の各ブロックデータのフォーマットを示す図である。ブロックデータは、基本的には、ブロックタイプ情報、量子化制御情報，ブロックに対する動きベクトル及び量子化ＤＣＴ係数から構成される。但し、ブロックに対する動きベクトルについては、図３，図４或いは図５の予測画像の作成方法において選択されたブロック画像によって、動きベクトルがない場合（ａ）と動きベクトルが１つの場合（ｃ),(ｄ）と動きベクトルが２つの場合（ｂ）とがある。

ブロックに対する動きベクトルがない図８(ａ）は、図３で示した予測画像の作成方法においてグローバル動き補償ブロック画像を選択した場合のブロックデータのフォーマットである。

ブロックに対する動きベクトルがローカル動きベクトルとグローバル・ローカル動きベクトルである図８(ｂ）は、図４で示した予測画像の作成方法において平均ブロック画像を選択した場合のブロックデータのフォーマットである。

ブロックに対する動きベクトルがローカル動きベクトルのみである図８(ｃ）は、図３，図４及び図５で示した予測画像の作成方法においてローカル動き補償ブロック画像を選択した場合と図３及び図５で示した予測画像の作成方法において平均ブロック画像を選択した場合のブロックデータのフォーマットである。

ブロックに対する動きベクトルがグローバル・ローカル動きベクトルのみである図８(ｄ）は、図４及び図５で示した予測画像の作成方法においてグローバル・ローカル動き補償ブロック画像を選択した場合のブロックデータのフォーマットである。

ブロックマッチングの原理を示した図である。グローバル動き補償の原理を示した図である。予測画像の作成手順を示した図である。予測画像の他の作成手順を示した図である。予測画像の他の作成手順を示した図である。本発明が適用される符号化装置の図である。フレームデータのフォーマットの図である。ブロックデータのフォーマットの図である。

符号の説明

１０１，２０１，４０１…現フレームの原画像、２０２，１０２，４１０…参照画像、１０６…ローカル動き補償予測画像、２０４〜２０７…現フレームの原画像の格子点、２０９〜２１２…グローバル動き推定後の格子点、４２０…グローバル動き補償予測画像、４１２…ローカル動き補償ブロック画像、４２１…グローバル動き補償ブロック画像、４４０，６４０，４０…平均ブロック画像、４６０…予測画像、６２２…グローバル・ローカル動き補償ブロック画像、３００…制御装置、３０２…減算器、３０４…ＤＣＴ変換器、３０５…量子化器、３０７…逆量子化器、３０８…逆ＤＣＴ変換器、３１０…加算器、３１３…フレームメモリ、３１５…動き補償処理部、３１９…スイッチ、３２３…多重化装置。

Claims

現フレームの原画像に対する予測画像の作成方法であって
原画像を複数のブロックに分割するステップと、
ローカル動き補償によって、原画像の各ブロックに対する複数のローカル動き補償ブロック画像を合成するステップと、
グローバル動き補償によって、原画像の各ブロックに対する複数のグローバル動き補償ブロック画像を合成するステップと、
原画像の１つのブロックに対して合成されたローカル動き補償ブロック画像とグローバル動き補償ブロック画像との平均化処理を、原画像の各ブロックに対して行い、原画像の各ブロックに対する複数の平均ブロック画像を合成するステップと、
原画像の各ブロック毎に、合成されたローカル動き補償ブロック画像，グローバル動き補償ブロック画像或いは平均ブロック画像の中から１つのブロック画像を選択するステップと、
原画像の各ブロック毎に選択された各ブロック画像を寄せ集めて、予測画像を合成するステップとを有することを特徴とする予測画像の作成方法。
動き補償を用いた動画像符号化方法であって、
現フレームの原画像を複数のブロックに分割するステップと、
ローカル動き補償によって、原画像の各ブロックに対する複数のローカル動き補償ブロック画像を合成するステップと、
グローバル動き補償によって、原画像の各ブロックに対する複数のグローバル動き補償ブロック画像を合成するステップと、
原画像の１つのブロックに対して合成されたローカル動き補償ブロック画像とグローバル動き補償ブロック画像との平均化処理を、原画像の各ブロックに対して行い、原画像の各ブロックに対する複数の平均ブロック画像を合成するステップと、
原画像の各ブロック毎に、合成されたローカル動き補償ブロック画像，グローバル動き補償ブロック画像或いは平均ブロック画像の中から１つのブロック画像を選択するステップと、
原画像の各ブロック毎に、原画像のブロック内の画像と選択されたブロック画像との間の予測誤差信号を算出するステップと、
算出された原画像の各ブロック毎の各予測誤差信号をＤＣＴ係数に変換するステップと、
原画像の各ブロック毎の各ＤＣＴ係数を量子化して、量子化ＤＣＴ係数を求めるステップと、
原画像の各ブロック毎の各量子化ＤＣＴ係数を伝送するステップとを有することを特徴とする動画像符号化方法。
動き補償を用いた動画像符号化を行う符号化装置であって、
現フレームの原画像と参照画像とを用いて動き補償を行い、予測画像を合成する動き補償処理部と、
原画増を複数の領域に分割した各ブロック毎に、原画像と合成された予測画像との間の予測誤差信号を出力する減算器と、
上記各ブロック毎の各予測誤差信号をＤＣＴ係数に変換するＤＣＴ変換器と、
上記各ブロック毎の各ＤＣＴ係数を量子化して、量子化ＤＣＴ係数を出力する量子化器とを備え、
上記動き補償処理部が、原画像と参照画像とを用いて、上記各ブロックに対するローカル動き補償ブロック画像とグローバル動き補償ブロック画像とを合成し、さらに、合成したローカル動き補償ブロック画像とグローバル動き補償ブロック画像とを平均化することにより、上記各ブロックに対する平均ブロック画像を合成し、
上記各ブロック毎に、合成されたローカル動き補償ブロック画像，グローバル動き補償ブロック画像或いは平均ブロック画像のいずれかを選択して、上記減算器に供給することを特徴とする符号化装置。
現フレームの原画像に対する予測画像の作成方法であって、
原画像を複数のブロックに分割するステップと、
ローカル動き補償によって、原画像の各ブロックに対する複数のローカル動き補償ブロック画像を合成するステップと、
グローバル・ローカル動き補償によって、原画像の各ブロックに対する複数のグローバル・ローカル動き補償ブロック画像を合成するステップと、
原画像の１つのブロックに対して合成されたローカル動き補償ブロック画像とグローバル・ローカル動き補償ブロック画像との平均化処理を、原画像の各ブロックに対して行い、原画像の各ブロックに対する複数の平均ブロック画像を合成するステップと、
原画像の各ブロック毎に、合成されたローカル動き補償ブロック画像，グローバル・ローカル動き補償ブロック画像或いは平均ブロック画像の中から１つのブロック画像を選択するステップと、
原画像の各ブロック毎に選択された各ブロック画像を寄せ集めて、予測画像を合成するステップとを有することを特徴とする予測画像の作成方法。
動き補償を用いた動画像符号化方法であって、
現フレームの原画像を複数のブロックに分割するステップと、
ローカル動き補償によって、原画像の各ブロックに対する複数のローカル動き補償ブロック画像を合成するステップと、
グローバル・ローカル動き補償によって、原画像の各ブロックに対する複数のグローバル・ローカル動き補償ブロック画像を合成するステップと、
原画像の１つのブロックに対して合成されたローカル動き補償ブロック画像とグローバル・ローカル動き補償ブロック画像との平均化処理を、原画像の各ブロックに対して行い、原画像の各ブロックに対する複数の平均ブロック画像を合成するステップと、
原画像の各ブロック毎に、合成されたローカル動き補償ブロック画像，グローバル・ローカル動き補償ブロック画像或いは平均ブロック画像の中から１つのブロック画像を選択するステップと、
原画像の各ブロック毎に、原画像のブロック内の画像と選択されたブロック画像との間の予測誤差信号を算出するステップと、
算出された原画像の各ブロック毎の各予測誤差信号をＤＣＴ係数に変換するステップと、
原画像の各ブロック毎の各ＤＣＴ係数を量子化して、量子化ＤＣＴ係数を求めるステップと、
原画像の各ブロック毎の各量子化ＤＣＴ係数を伝送するステップとを有することを特徴とする動画像符号化方法。
動き補償を用いた動画像符号化を行う符号化装置であって、
現フレームの原画像と参照画像とを用いて動き補償を行い、予測画像を合成する動き補償処理部と、
原画増を複数の領域に分割した各ブロック毎に、原画像と合成された予測画像との間の予測誤差信号を出力する減算器と、
上記各ブロック毎の各予測誤差信号をＤＣＴ係数に変換するＤＣＴ変換器と、
上記各ブロック毎の各ＤＣＴ係数を量子化して、量子化ＤＣＴ係数を出力する量子化器とを備え、
上記動き補償処理部が、原画像と参照画像とを用いて、上記各ブロックに対するローカル動き補償ブロック画像とグローバル・ローカル動き補償ブロック画像とを合成し、さらに、合成したローカル動き補償ブロック画像とグローバル・ローカル動き補償ブロック画像とを平均化することにより、上記各ブロックに対する平均ブロック画像を合成し、
上記各ブロック毎に、合成されたローカル動き補償ブロック画像，グローバル・ローカル動き補償ブロック画像或いは平均ブロック画像のいずれかを選択して、上記減算器に供給することを特徴とする符号化装置。
現フレームの原画像に対する予測画像の作成方法であって、
原画像を複数のブロックに分割するステップと、
ローカル動き補償によって、原画像の各ブロックに対する複数のローカル動き補償ブロック画像を合成するステップと、
グローバル・ローカル動き補償によって、原画像の各ブロックに対する複数のグローバル動き補償ブロック画像と複数のグローバル・ローカル動き補償ブロック画像を合成するステップと、
原画像の１つのブロックに対して合成されたローカル動き補償ブロック画像とグローバル動き補償ブロック画像との平均化処理を、原画像の各ブロックに対して行い、原画像の各ブロックに対する複数の平均ブロック画像を合成するステップと、
原画像の各ブロック毎に、合成されたローカル動き補償ブロック画像，グローバル・ローカル動き補償ブロック画像或いは平均ブロック画像の中から１つのブロック画像を選択するステップと、
原画像の各ブロック毎に選択された各ブロック画像を寄せ集めて、予測画像を合成するステップとを有することを特徴とする予測画像の作成方法。
動き補償を用いた動画像符号化方法であって、
現フレームの原画像を複数のブロックに分割するステップと、
ローカル動き補償によって、原画像の各ブロックに対する複数のローカル動き補償ブロック画像を合成するステップと、
グローバル・ローカル動き補償によって、原画像の各ブロックに対する複数のグローバル動き補償ブロック画像と複数のグローバル・ローカル動き補償ブロック画像を合成するステップと、
原画像の１つのブロックに対して合成されたローカル動き補償ブロック画像とグローバル動き補償ブロック画像との平均化処理を、原画像の各ブロックに対して行い、原画像の各ブロックに対する複数の平均ブロック画像を合成するステップと、
原画像の各ブロック毎に、合成されたローカル動き補償ブロック画像，グローバル・ローカル動き補償ブロック画像或いは平均ブロック画像の中から１つのブロック画像を選択するステップと、
原画像の各ブロック毎に、原画像のブロック内の画像と選択されたブロック画像との間の予測誤差信号を算出するステップと、
算出された原画像の各ブロック毎の各予測誤差信号をＤＣＴ係数に変換するステップと、
原画像の各ブロック毎の各ＤＣＴ係数を量子化して、量子化ＤＣＴ係数を求めるステップと、
原画像の各ブロック毎の各量子化ＤＣＴ係数を伝送するステップとを有することを特徴とする動画像符号化方法。
動き補償を用いた動画像符号化を行う符号化装置であって、
現フレームの原画像と参照画像とを用いて動き補償を行い、予測画像を合成する動き補償処理部と、
原画増を複数の領域に分割した各ブロック毎に、原画像と合成された予測画像との間の予測誤差信号を出力する減算器と、
上記各ブロック毎の各予測誤差信号をＤＣＴ係数に変換するＤＣＴ変換器と、
上記各ブロック毎の各ＤＣＴ係数を量子化して、量子化ＤＣＴ係数を出力する量子化器とを備え、
上記動き補償処理部が、原画像と参照画像とを用いて、上記各ブロックに対するローカル動き補償ブロック画像とグローバル動き補償ブロック画像とグローバル・ローカル動き補償ブロック画像とを合成し、さらに、合成したローカル動き補償ブロック画像とグローバル動き補償ブロック画像とを平均化することにより、上記各ブロックに対する平均ブロック画像を合成し、
上記各ブロック毎に、合成されたローカル動き補償ブロック画像，グローバル・ローカル動き補償ブロック画像或いは平均ブロック画像のいずれかを選択して、上記減算器に供給することを特徴とする符号化装置。