JP2005073291A - 動き補償装置 - Google Patents

Abstract

【課題】最適ベクトルを決定するために、動きベクトルを符号化するための符号量をも考慮することにより、トータルの符号化効率を向上させることができる動き補償装置を得る。
【解決手段】入力画像と参照画像との間の動きベクトルと、参照画像から動きベクトルに従って抽出した予測画像とを出力する動き補償処理部２００、入力画像と予測画像とを入力して入力画像と予測画像との間の歪量を求める歪量演算部としての差分絶対値和演算部２０５、動きベクトルを入力して符号化しベクトル符号量を出力するベクトル値符号化部２０７、動きベクトルと歪量及びベクトル符号量を入力して、歪量とベクトル符号量から算出される評価関数を評価する複数の動きベクトルのすべてに対し求めて、評価関数が最小値を示す動きベクトルを最適ベクトルとして出力する最適ベクトル決定部２１０を備えた。
【選択図】図１

Description

この発明は、ディジタル映像送信装置、ディジタルＣＡＴＶやディジタル放送システムなどに適用される動き補償装置に関するものである。

図１８は電子情報通信学会技術研究報告ＶＯＬ．９５，Ｎｏ．２１７、Ｐ２〜８（１９９５）記載の「ＭＰＥＧ２実時間符号化システムチップセットの開発」に示された従来のディジタル画像符号化方式を説明するブロック図である。
図１８において、４００は入力画像２０２と参照画像１５２とを入力して予測画像２０４と最適ベクトル４４９を出力する動き補償処理部、２２２は入力画像２０２と予測画像２０４との差分を求めて残差信号２２３を出力する差分器、４０１は入力される残差信号２２３を符号化して差分符号化データ４５０を出力する差分信号符号化処理部、４０２は入力される最適ベクトル４４９を符号化して動きベクトル符号化データ４５１を出力する動きベクトル符号化処理部である。

次に、上記構成に係る動作について説明する。
動き補償処理部４００は、現フレームの画像である入力画像２０２と前フレームの画像である参照画像１５２とを入力して、入力画像２０２に最も似かよった画像を参照画像１５２の中から検索する。検索方法は、入力画像２０２と参照画像１５２との差分絶対値和をとり、参照画像の中で最も小さい歪みを与える画像を最適画像、すなわち予測画像２０４とする。このとき、図１９に示すごとく、最適画像（予測画像）が現フレームにおける入力画像の位置からどのくらい空間的に動いているかを示したのが動きベクトルである。この動きベクトルは最適ベクトル４４９として動きベクトル符号化処理部４０２に送信され動きベクトル符号化処理部４０２にて符号化され出力される。

一方、動き補償処理部４００によって予測された後の予測誤差信号については、動き補償処理部４００で選択された最適な予測画像２０４と入力画像２０２との差分を差分器２２２で取り、その残差信号２２３を差分信号符号化処理部４０１により符号化して出力する。この処理の符号化処理における発生情報量は、差分信号符号化処理部４０１で発生する差分符号化データ４５０の情報量と動きベクトル符号化処理部４０２で発生する動きベクトル符号化データ４５１の情報量を合わせた値となる。

従来の装置は、上述したように動き補償処理部４００において差分絶対値和の最小を示すベクトルを最適ベクトルとしているが、画像符号化処理では、動き補償によって最適ベクトルとして選ばれたベクトルが符号化（動きベクトル符号化）されると同時に、現ブロックと最適ベクトル位置の前ブロックの残差（予測誤差）に対してさらに符号化（残差符号化）されることになる。そして、動きベクトル符号化による情報量と残差符号化による情報量を合わせた情報が符号化量となる。そのため、例えば最適ベクトルとされたものが符号化したら非常に情報量が大きくなってしまう場合などは、上記方法で選ばれた最適ベクトルが符号化量を最小にするとは限らない。
また、一般的に動き補償予測には輝度情報のみを使用してベクトルを求めているが、輝度信号が同じで色差信号が異なる画像では誤った動きベクトルを抽出してしまう。

この発明は上記のような問題点を解消するためになされたものであり、最適ベクトルを決定するために、予測差分の差分絶対値和だけでなく、動きベクトルを符号化するための符号量をも考慮することにより、トータルの符号化効率を向上させることができる動き補償装置と動画像符号化装置及び方法を得ることを目的とする。

この発明に係る動き補償装置は、入力画像と参照画像とを入力し、入力画像と参照画像との間の動きベクトルと、参照画像から動きベクトルに従って抽出した予測画像とを出力する動き補償処理部と、上記入力画像と上記予測画像とを入力して入力画像と予測画像との間の歪量を求める歪量演算部と、上記動きベクトルを入力して符号化しベクトル符号量を出力するベクトル値符号化部と、上記動きベクトルと上記歪量及び上記ベクトル符号量を入力して、歪量とベクトル符号量から算出される評価関数を評価する複数の動きベクトルのすべてに対し求めて、評価関数が最小値を示す動きベクトルを最適ベクトルとして出力する最適ベクトル決定部とを備えたものである。

また、上記歪量演算部は、上記入力画像と上記予測画像との間の差分絶対値和を計算して出力する差分絶対値和演算部でなることを特徴とするものである。

また、上記歪量演算部は、上記入力画像と上記予測画像との間の差分二乗和を計算して出力する差分二乗和演算部でなることを特徴とするものである。

また、上記ベクトル値符号化部は、入力される動きベクトルを遅延する遅延器と、入力された動きベクトルと上記遅延器を介した動きベクトルとの差分を取って差分ベクトルを出力する差分器と、上記差分ベクトルを符号化してベクトル符号量を出力する差分ベクトル符号化部とでなることを特徴とするものである。

また、他の発明に係る動き補償装置は、入力画像と参照画像とを入力し、入力画像と参照画像との間の動きベクトルと、参照画像から動きベクトルに従って抽出した予測画像とを出力する動き補償処理部と、上記入力画像から平均値を分離した平均値分離入力画像を得る第１の平均値分離部と、上記予測画像から平均値を分離した平均値分離予測画像を得る第２の平均値分離部と、上記平均値分離入力画像と上記平均値分離予測画像とを入力して平均値分離入力画像と平均値分離予測画像との間の歪量の演算による評価値を求める歪量演算部と、上記動きベクトルと上記評価値を入力して、当該評価値を評価する複数の動きベクトルのすべてに対し求めて、評価値が最小値を示す動きベクトルを最適ベクトルとして出力する最適ベクトル決定部とを備えたものである。

また、上記歪量演算部は、上記平均値分離入力画像と上記平均値分離予測画像との間の差分絶対値和を計算して出力する差分絶対値和演算部でなることを特徴とするものである。

また、上記歪量演算部は、上記平均値分離入力画像と上記平均値分離予測画像との間の差分二乗和を計算して出力する差分二乗和演算部でなることを特徴とするものである。

また、上記動きベクトルを入力して符号化しベクトル符号量を出力するベクトル値符号化部をさらに備え、上記最適ベクトル決定部は、上記動きベクトルと上記歪量及び上記ベクトル符号量を入力して、歪量とベクトル符号量から算出される評価関数を評価する複数の動きベクトルのすべてに対し求めて、評価関数が最小値を示す動きベクトルを最適ベクトルとして出力することを特徴とするものである。

また、さらに他の発明に係る動き補償装置は、入力画像と参照画像とを入力し、入力画像と参照画像との間の動きベクトルと、参照画像から動きベクトルに従って抽出した予測画像とを出力する動き補償処理部と、上記入力画像と上記予測画像とを減算して予測誤差を求める減算器と、上記予測誤差を周波数係数に変換する周波数解析部と、変換された周波数係数に基づいて評価値を生成する評価値生成部と、上記動きベクトルと上記評価値を入力して、複数の取りうる動きベクトルのうち、上記評価値が最小値を示す動きベクトルを最適ベクトルとして出力するベクトル決定部とを備えたものである。

また、さらに他の発明に係る動き補償装置は、入力画像と参照画像とを入力し、入力画像と参照画像との間の動きベクトルと、参照画像から動きベクトルに従って抽出した予測画像とを出力する動き補償処理部と、上記入力画像と上記予測画像とを減算して予測誤差を求める減算器と、上記予測誤差を差分符号化して差分画像符号量を出力する差分画像符号化部と、上記動きベクトルを入力して符号化しベクトル符号量を出力するベクトル値符号化部と、上記動きベクトルと上記差分画像符号量及び上記ベクトル符号量を入力して、複数の取りうる動きベクトルのうち、上記差分画像符号量に上記ベクトル符号量を加えた符号量が最小となる動きベクトルを最適ベクトルとして出力するベクトル決定部とを備えたものである。

また、さらに他の発明に係る動き補償装置は、入力画像と参照画像とを入力し、入力画像と参照画像との間の動きベクトルと、参照画像に従って抽出した予測画像とを出力する動き補償処理部と、上記入力画像から入力画像輝度信号と入力画像色差信号とを分離する第１の輝度色差分離部と、上記予測画像から予測画像輝度信号と予測画像色差信号とを分離する第２の輝度色差分離部と、上記第１の輝度色差分離部からの入力画像色差信号と上記第２の輝度色差分離部からの予測画像色差信号との差分を求める第１の減算器と、上記第１の輝度色差分離部からの入力画像輝度信号と上記第２の輝度色差分離部からの予測画像輝度信号との差分を求める第２の減算器と、上記第１の減算器からの出力に基づいて色差評価値を生成する色差評価値生成部と、上記第２の減算器からの出力に基づいて輝度評価値を生成する輝度評価値生成部と、上記色差評価値生成部からの色差評価値と上記輝度評価値生成部からの輝度評価値とに基づいて最適ベクトル決定用評価値を演算する評価値演算部と、上記動きベクトルと上記最適ベクトル決定用評価値とを入力して、複数の取りうる動きベクトルのうち、上記最適ベクトル決定用評価値が最小となる動きベクトルを最適ベクトルとして出力するベクトル決定部とを備えたものである。

また、上記評価値演算部は、上記色差評価値生成部からの色差評価値と上記輝度評価値生成部からの輝度評価値とを加算して総評価値を求める加算器でなり、上記ベクトル決定部は、上記動きベクトルと上記総評価値としての総加算値を入力して、複数の取りうる動きベクトルのうち、上記総評価値が最小となる動きベクトルを最適ベクトルとして出力することを特徴とするものである。

また、さらに他の発明に係る動き補償装置は、入力画像と参照画像とを入力し、入力画像と参照画像との間の動きベクトルと、入力画像の輝度成分に対して、参照画像から動きベクトル輝度信号に従って抽出した予測画像輝度信号及び動きベクトル色差信号に従って抽出した予測画像色差信号とを出力する動き補償処理部と、上記入力画像から入力画像輝度信号と入力画像色差信号とを分離する第１の輝度色差分離部と、上記動きベクトルから動きベクトル輝度信号と動きベクトル色差信号とを分離する第３の輝度色差分離部と、上記第１の輝度色差分離部からの入力画像色差信号と上記予測画像色差信号との差分を求める第１の減算器と、上記第１の輝度色差分離部からの入力画像輝度信号と上記予測画像輝度信号との差分を求める第２の減算器と、上記第１の減算器からの出力に基づいて色差評価値を生成する色差評価値生成部と、上記第２の減算器からの出力に基づいて輝度評価値を生成する輝度評価値生成部と、上記色差評価値生成部からの色差評価値と上記輝度評価値生成部からの輝度評価値とを比較して評価値比較差を出力する輝度色差評価値比較部と、上記動きベクトル輝度信号及び動きベクトル色差信号と上記評価値比較差を入力して、複数の取りうる動きベクトルのうち、上記評価値比較差が最小となる動きベクトルを最適ベクトルとして出力するベクトル決定部とを備えたものである。

また、さらに他の発明に係る動き補償装置は、動画像符号化を行う符号化を行う際、ブロック単位に前フレームのデータから動きを予測し情報量削減を行う動き補償装置において、前フレームのデータを格納する前フレームメモリ部と、現ブロックと前フレームの特定領域からパターンマッチングを行い、最小の歪を与える動きベクトルと歪値とを計算する最小歪計算部と、現ブロックと入力される１つ以上の動きベクトルに対応する前フレームのブロックとの歪を計算する特定ベクトル歪計算部と、上記最小歪計算部から出力される歪と上記特定ベクトル歪計算部から出力される歪とに基づいて最適動きベクトルを出力する最適ベクトル出力部とを備えたものである。

また、上記特定ベクトル歪計算部に入力される動きベクトルは、上記最適ベクトル出力手段から出力されたベクトルを入力することを特徴とするものである。

また、上記最適ベクトル出力部は、上記最小歪計算部からの歪に重み付けを行う加算器と、重み付けされた最小歪計算部からの歪と上記特定ベクトル歪計算部からの歪とを比較する比較器と、この比較器の比較結果に基づいて最小歪を与える動きベクトルと特定ベクトルとのいずれかを選択して最適動きベクトルとして出力するセレクタとを備えたことを特徴とするものである。

また、上記最適ベクトル出力部は、上記最小歪計算部からの歪に加える重み付けのオフセット値を、最小歪を与える動きベクトルと特定ベクトルとの差分の大きさにより適応的に変更して与えるオフセット値計算部をさらに備えたことを特徴とするものである。

また、上記最小歪計算部は、現在の探索範囲内の最小歪と、現在の探索範囲より狭い範囲でのあらかじめ設定した範囲での最小歪みを出力することを特徴とするものである。

また、この発明に係る動画像符号化装置は、動き補償予測に基づく動画像符号化装置において、動き補償予測に用いられる参照画像データを格納してなるメモリと、入力マクロブロックと上記メモリからの参照画像データとに基づいて最小予測誤差を与える動きベクトルを検出する動き検出部と、入力マクロブロックの動き補償予測に利用する動きベクトルを符号化する際に用いる予測ベクトルを導出する予測ベクトル導出部と、与えられた動きベクトルに基づいて上記メモリ内の参照画像データの対応する位置の画像データを動きベクトルに対応する予測画像として取り出す動き補償部と、上記動き検出部により得られる動きベクトルに基づいて上記動き補償部から出力される予測画像を用いて予測誤差量を求め、該予測誤差量を第１の閾値を用いて閾値判定し、判定結果、予測誤差量が第１の閾値より大きい場合には上記予測ベクトル導出部により得られる予測ベクトルを上記動き補償部に出力させると共に、予測誤差量が第１の閾値より小さい場合には上記動き検出部により得られる動きベクトルを上記動き補償部に出力させる閾値処理部と、予測ベクトルに対応する予測画像による予測誤差信号を生成し、その予測誤差信号の発生符号量推定値を第２の閾値を用いて閾値判定を行い、判定結果、予測誤差信号の発生符号量推定値が第２の閾値より大きい場合には上記動き検出部により得られる動きベクトルを最終動きベクトルとして出力させると共に、予測誤差信号の発生符号量推定値が第２の閾値より小さい場合には上記予測ベクトルを最終動きベクトルとして出力させ、かつ最終動きベクトルに対応する予測画像を最終予測画像として出力する予測画像判定部とを備えたことを特徴とするものである。

また、上記動き検出部からの動きベクトルと最小予測誤差量の入力に基づいてフレームアクティビティの値を算出し、算出された値に基づいて上記閾値処理部及び上記予測画像判定部による予測ベクトルを用いた動きベクトルの置き換え処理をフレーム単位で切り換え制御するフレームアクティビティ算出部をさらに備えたことを特徴とするものである。

また、この発明に係る動画像符号化方法は、動き補償予測に基づく動画像符号化方法において、入力マクロブロックと参照画像データとに基づいて最小予測誤差を与える動きベクトルを検出する動きベクトル検出ステップと、入力マクロブロックと動きベクトルに対応する予測画像とに基づく予測誤差信号を第１の閾値を用いて閾値判定する第１の閾値判定ステップと、第１の閾値判定結果、予測誤差信号が第１の閾値より大きい場合には動きベクトルを符号化する際に用いる予測ベクトルを導出する予測ベクトル導出ステップと、予測ベクトルに対応する予測画像による予測誤差信号を生成する予測誤差信号生成ステップと、予測誤差信号の発生符号量推定値を算出する算出ステップと、算出された予測誤差信号の発生符号量推定値を第２の閾値を用いて閾値判定する第２の閾値判定ステップと、第２の閾値判定結果、予測誤差信号の発生符号量推定値が第２の閾値より小さい場合に動きベクトルを上記予測ベクトルに置換する置換ステップとを備え、動きベクトルを用いて動き予測符号化を実施することを特徴とするものである。

さらに、動きベクトルと最小予測誤差に基づいてフレームアクティビティの値を算出し、算出された値に基づいてフレーム単位で動きベクトルと予測ベクトルの置換を行うか否かの切換制御を行う制御ステップをさらに備えたことを特徴とするものである。

以上のように、この発明によれば、最適ベクトルを決定するために、歪量として予測差分の差分絶対値和だけでなく、ベクトル符号量の符号量をも考慮することにより、トータルの符号化効率を向上させることが可能となる。

また、差分絶対値和の代わりに差分二乗和を用いることにより、差分信号に含まれるパワーを評価することが可能であり、より精度の高い予測が可能となり符号化効率の向上が期待できる。

また、動きベクトル符号化で、以前に使用された動きベクトルとの差分を符号化することにより、ベクトル符号量を少なくすることが可能であり、符号化効率の向上が期待できる。

また、入力画像と予測画像の両方の平均値を分離した画像同士で動き予測評価を行うことにより、画像のレベルに依存しない動き補償を可能とする事が出来、変化の激しい画像でもより精度の高い動きベクトル検出が可能である。

また、予測差分の周波数解析を行い、周波数係数を求め、その係数から評価値を求めることにより、予測誤差の変換符号化後の符号量をかなり正確に予測することが可能で、効率のよい符号化が可能となる。

また、予測誤差を符号化し符号化情報量を求め、更にベクトル符号化の符号量とを用いることにより、そのベクトルにおけるほぼ完全な符号量を得ることが可能となり、歪みと符号量との関係において最適な符号化を行うことが可能となる。

また、入力画像と予測画像とを輝度・色差とに分解して評価値を求めることにより、輝度のみでは判定できない動きを色差の評価値により検出することが可能となり、色の動きを忠実に判定できる。

また、入力画像と予測画像とを輝度・色差とに分解し、輝度、色差別々に予測を行い、輝度・色差の評価値のうちより最適なベクトルを選択することにより、より効率の良い符号化を行うことが可能となる。

また、可変長符号化まで含めた最適な動きベクトルを求めることが可能となり、画質向上の効果がある。

また、この発明の動画像符号化装置及び方法によれば、予測誤差信号の符号量を大きく増加させることなく、動きベクトルの符号量を効果的に削減することが可能である。これは特に、画像データの符号量に対して動きパラメータの符号量の比率が高くなる低ビットレート符号化の際に、全体の符号量と符号化歪みのバランスの良い符号化を行うことができ、効果的である。

さらに、フレームアクティビティの値に基づいて動きパラメータの置換を行うか否かをフレーム単位で切り換え制御するようにしたので、フレームごとに動きパラメータ置換処理のＯＮ／ＯＦＦを制御でき、全体の符号量と符号化歪みのバランスの良い符号化をより柔軟に行うことができる。また、置換処理を一切行わないフレームについては演算量を削減することができる。

実施の形態１．
図１は実施の形態１に係る動き補償装置を示すブロック構成図である。
図１に示すように、実施の形態１に係る動き補償装置は、現フレームの画像である入力画像２０２と前フレームの画像である参照画像２０１とを入力して、入力画像２０２に最も似かよった画像ブロックを参照画像２０１の中から検索して動きベクトルに従った予測画像を抽出する際の入力画像２０２と参照画像２０１との間の動きベクトル２０３と予測画像２０４を出力する動き補償処理部２００と、入力画像２０２と予測画像２０４との歪量として差分絶対値和２０６を計算して出力する歪量演算部としての差分絶対値和演算部２０５と、動きベクトル２０３を入力して符号化しベクトル符号量２０８を出力するベクトル値符号化部２０７と、動きベクトル２０３と差分絶対値和２０６及びベクトル符号量２０８を入力して、差分絶対値和２０６とベクトル符号量２０８から算出される評価関数を評価する動きベクトル２０３のすべてに対し求めて評価関数が最小値を示す動きベクトルを最適ベクトル２１０として出力する最適ベクトル決定部２０９とを備えている。

次に、上記構成に係る実施の形態１の動作について説明する。
動き補償処理部２００は、入力画像２０２に対して、参照画像２０１から動きベクトル２０３に従った予測画像２０４を抽出する。差分絶対値和演算部２０５では、入力画像２０２と予測画像２０４とから差分絶対値和２０６を計算する。 一方、予測画像２０４を抽出するために使用した動きベクトル２０３はベクトル値符号化部２０７と最適ベクトル決定部２０９とに入力される。ベクトル値符号化部２０７に入力された動きベクトル２０３は符号化されベクトル符号量２０８を出力する。ここで、ベクトル値符号化部２０７では可変長符号化などが用いられることが多い。最適ベクトル決定部２０９では、差分絶対値和２０６とベクトル符号量２０８と動きベクトル２０３とが入力され、差分絶対値和２０６とベクトル符号量２０８とから算出される評価関数を、評価する複数の動きベクトル全てについて演算し、評価関数の値が最小値を示す動きベクトルを最適ベクトル２１０として出力する。ここで、使用される評価関数としては、例えば差分絶対値和２０６とベクトル符号量２０８とに重み付け加算を行ったものである。

このように、最適ベクトル２１０の決定に、差分絶対値和２０６だけを使用するのではなく、ベクトル符号量２０８を併用することにより、トータルの符号化効率を向上させることが可能である。特に、低レート符号化においてはベクトルの符号量が全体の符号量の半分以上を占めることもあり、ベクトル符号量を考慮した動きベクトル選択は重要である。
すなわち、動きベクトルを符号化するために符号量と予測誤差信号を符号化するための情報量を評価値として使用して最適ベクトルを選択することで、従来の動き補償予測に比べ最終的な符号化結果がより効率のよいものとなる。

実施の形態２．
図２は実施の形態２に係る動き補償装置を示すブロック構成図である。
図１に示す実施の形態１と同一部分は同一符号を示し、その説明は省略する。新たな符号として、２１１は図１で歪量演算部として使用した差分絶対値和演算部２０５の代わりに用いた差分二乗和演算部である。差分二乗和は、差分絶対値和と比べ二乗演算を行うため、より複雑な演算が必要であるが、信号に含まれるパワー（電力）を評価することができる。一般に、パワーの方がより高精度に予測誤差信号を評価することが可能で、実施の形態１に比べ精度の高い予測を行うことにより、より正しく最適ベクトルを求めることが可能となる。

実施の形態３．
図３は実施の形態３に係る動き補償装置を説明するためのもので、実施の形態１及び２におけるベクトル値符号化部２０７の内部構成図である。
図３に示すように、ベクトル値符号化部２０７は、入力される動きベクトル２０３を遅延する遅延器２１３と、入力された動きベクトル２０３と遅延器２１３を介した動きベクトルとの差分を取って差分ベクトルを出力する差分器２１４と、上記差分ベクトルを符号化して動きベクトル符号量２０８を出力する差分ベクトル符号化部２１５とを備えている。

ベクトル値符号化部２０７に入力された動きベクトル２０３は、以前に入力され遅延器２１３に蓄積された動きベクトルとの差分が差分器２１４で取られ、この差分ベクトルを差分ベクトル符号化部２１５によって符号化される。動きベクトルは、画面内の局所的に見ると似通った値をとることが多い。従って、既に使用された近辺の動きベクトルとの差分をとることにより符号化する値を小さくすることが可能であり、ベクトル符号量を少なくして符号化効率の向上を図ることができる。

実施の形態４．
図４は実施の形態４に係る動き補償装置を示すブロック構成図である。
図４において、図１に示す実施の形態１と同一部分は同一符号を付してその説明は省略する。新たな符号として、２１６ａは入力画像２０２から平均値を分離した平均値分離入力画像２１７を得る第１の平均値分離部、２１６ｂは予測画像２０４から平均値を分離した平均値分離予測画像２１８を得る第２の平均値分離部、２１９は平均値分離入力画像２１７と平均値分離予測画像２１８とを入力して平均値分離入力画像２１７と平均値分離予測画像２１９との間の歪量を求める歪量演算部であり、この歪量演算部２１９は、実施の形態１及び２と同様に、差分絶対値和または差分二乗和の演算による評価値２２０を求め、最適ベクトル決定部２０９に入力するようになされ、最適ベクトル決定部２０９では、上記動きベクトル２０３と上記差分絶対値和または差分二乗和の演算による評価値２２０を入力して、評価値２２０を評価する複数の動きベクトル２０３のすべてに対し求めて、評価値が最小値を示す動きベクトルを最適ベクトル２１０として出力する。

図４に示すように、入力画像２０３及び予測画像２０４は、各々平均値分離部２１６ａ及び２１６ｂによって平均値の分離が行われる。歪量演算部２１９により、平均値を分離された平均値分離予測画像２１７と平均値を分離された平均値分離入力画像２１８との間で図１及び図２で説明した差分絶対値和あるいは差分二乗和の演算による評価値２２０を求め、最適ベクトル決定部２０９に入力し、最適ベクトル２１０を求める。

このように、平均値を分離して評価することは、画像のレベルに依存しない動き補償を可能とすることを示す。例えば、フェードイン画像や輝度の変化が激しい画像などの場合、従来の動き探索では正確な動きを検出できなかったが、平均値を分離することによりこれらの場合にでもより精度の高い動きベクトル検出が可能となる。
すなわち、入力画像と予測画像の両方の平均値を分離した画像同士で動き予測評価を行うことにより、画像のレベルに依存しない動き補償を可能にすることができ、変化の激しい画像でもより精度の高い動きベクトル検出が可能になる。

なお、ここでは記述していないが、図１及び図２で説明したように、動きベクトル符号量２０８を他の評価値として用い、最適ベクトルの決定に役立てることも当然可能である。また、同様に、図３で説明したようにベクトル符号化に差分ベクトル符号化を行うことも効果がある。

実施の形態５．
図５は実施の形態５に係る動き補償装置を示すブロック構成図である。
図５において、図１に示す実施の形態１と同一部分は同一符号を付して示し、その説明は省略する、新たな符号として、２２２は入力画像２０２と予測画像２０４とを減算して予測誤差２２３を求める減算器、２２４は予測誤差２２３を周波数係数２２５に変換するＤＣＴやＦＦＴ等の周波数解析部、２２６は変換された周波数係数２２５に基づいて重み付け等を行い評価値２２７を生成する評価値生成部であり、最適ベクトル決定部２０９は、動きベクトル２０３と評価値２２７を入力して、複数の取りうる動きベクトルのうち、上記評価値２２７が最小値を示す動きベクトルを最適ベクトル２１０として出力する。

図５に示すように、入力画像２０２と予測画像２０４は減算器２２２により予測誤差２２３とされ、予測誤差は周波数解析部２２４において周波数係数２２５に変換される。変換された周波数係数は評価値生成部２２６において評価演算がなされ、評価値２２７として出力される。

このように、予測誤差の周波数解析を行い、周波数係数を求めることは、予測誤差を変換符号化する際の処理とほぼ同様のことを行うことに相当する。例えば求められた周波数係数のうち低域成分に重みを付けて評価値を生成することにより、予測誤差を変換符号化する際の符号量をかなり正確に予測することができる。この符号量を評価値として使用することにより、より効率の良い符号化を行うことが期待できる。
すなわち、予測差分の周波数解析を行い周波数係数を求め、その係数から評価値を求めることにより、予測誤差の符号化まで含み、変換符号化後の符号量をかなり正確に予測することが可能で、効率のよい符号化が可能となる。

実施の形態６．
図６は実施の形態６に係る動き補償装置を示すブロック構成図である。
図６において、図１及び図５に示す実施の形態１及び５と同一符号は同一部分を示し、その説明は省略する。新たな符号として、２２８は減算器２２２からの予測誤差２２３を差分符号化して差分画像符号量２２９を出力する差分画像符号化部であり、ベクトル決定部２０９は、動きベクトル２０３と上記差分画像符号量２０９及びベクトル値符号化部２０８からのベクトル符号量２０８を入力して、複数の取りうる動きベクトル２０３のうち、上記差分画像符号量２０９に上記ベクトル符号量２０８を加えた符号量が最小となる動きベクトルを最適ベクトル２１０として出力する。

図６に示すように、入力画像２０２と予測画像２０４は減算器２２２により予測誤差２２３とされ、予測誤差は差分画像符号化部２２８によって符号化が行なわれ、符号量２２９が出力される。予測誤差を差分符号化することは、通常の符号化処理を行うことと同等であり、さらに、これにベクトル符号量を加えることにより、動きベクトル２０３を用いた際のほぼ完全な符号量が算出できる。従って、本構成をとることにより、取りうる総ての動きベクトルの中で符号量が最も最適となるベクトルを求めることが可能となる。
すなわち、予測誤差を符号化し符号化情報量を求め、さらに、ベクトル符号化の符号量とを用いることにより、そのベクトルにおけるほぼ完全な符号量を得ることが可能になり、歪みと符号量との関係において最適な符号かを行うことが可能となる。

実施の形態７．
図７は実施の形態７に係る動き補償装置を示すブロック構成図である。
図７において、図１に示す実施の形態１と同一部分は同一符号を付して示し、その説明は省略する。新たな符号として、２３０ａは入力画像２０２から入力画像輝度信号２３１と入力画像色差信号２３２とを分離する第１の輝度色差分離部、２３０ｂは予測画像２０４から予測画像輝度信号２３３と予測画像色差信号２３４とを分離する第２の輝度色差分離部、２３５ａは第１の輝度色差分離部２３０ａからの入力画像輝度信号２３１と第２の輝度色差分離部２３０ｂからの予測画像輝度信号２３３との差分を求める第２の減算器、２３５ｂは第１の輝度色差分離部２３０ａからの入力画像色差信号２３２と第２の輝度色差分離部２３０ｂからの予測画像色差信号２３４との差分を求める第１の減算器、２３７は第１の減算器２３５ｂからの出力に基づいて色差評価値を生成する色差評価値生成部、２３６は第２の減算器２３５ａからの出力に基づいて輝度評価値を生成する輝度評価値生成部、２３８は色差評価値生成部２３７からの色差評価値と輝度評価値生成部２３６からの輝度評価値とに基づいて最適ベクトル決定用総評価値２３９を演算する評価値演算部としての加算器であり、ベクトル決定部２０９は、動きベクトル２０３と最適ベクトル決定用総評価値２３９とを入力して、複数の取りうる動きベクトルのうち、最適ベクトル決定用総評価値が最小となる動きベクトルを最適ベクトル２１０として出力する。

図７に示すように、入力画像２０２と予測画像２０４は各々輝度色差分離部２３０ａ、２３０ｂに入力され、入力画像輝度信号２３１、入力画像色差信号２３２、予測画像輝度信号２３３、予測画像色差信号２３４とに分離される。分離された信号のうち、輝度信号同士あるいは色差信号同士の差分を減算器２３５ａ、２３５ｂによって求め、これらを各々独立に輝度評価値生成部２３６及び色差評価値生成部２３７とで評価値を算出する。算出された輝度評価値と色差評価値とは加算器２３８によって加算され、総評価値２３９を得る。この総評価値に従い、複数の取りうる動きベクトルのうち、総評価値が最小となる動きベクトルが最適ベクトル２１０となる。

従来の動き補償予測では、輝度成分のみで評価値を算出するのが一般的である。輝度色差に分離して評価値を求めることは、輝度だけでは求められない動きを色差画像を使用することにより求めることが出来ることを示す。輝度成分と色差成分とを分離すると、輝度信号では変化まったく無いが、色差成分では明確に変化がみられる画像が存在する。このような画像の場合、輝度成分だけで動き補償を行うと、色差成分の変化を追うことが不可能であり、誤ったベクトルを求めてしまう。色差成分も同時に評価することにより上記のような場合に最適なベクトルを求めることが可能となる。
このように、輝度信号のみならず色差信号を動き補償予測の評価値に加えることにより、輝度信号だけではなく評価が不可能であった色の動きの再現性を向上させることができる。

なお、ここでは記述していないが、加算器２３８で、輝度評価値と色差評価値との加算において重み付け加算を行うことにより、より最適な評価値を求めることが可能となる。

実施の形態８．
図８は実施の形態８に係る動き補償装置を示すブロック構成図である。
図８において、図７に示す実施の形態７と同一部分は同一符号を付して示し、その説明は省略する。新たな符号として、２３０ｃは動きベクトル２０３から動きベクトル輝度信号２４２と動きベクトル色差信号２４３とを分離する第３の輝度色差分離部、２４４は輝度評価値生成部２３７からの輝度評価値と色差評価値生成部２３７からの色差評価値とを比較して評価値比較差を出力する評価値演算部としての輝度色差評価値比較部であり、動き補償処理部２００は、入力画像２０２と参照画像２０１とを入力し、入力画像２０２と参照画像２０１との間の動
きベクトルと、入力画像２０２の輝度成分に対して、参照画像２０１から動きベクトル輝度信号に従って抽出した予測画像輝度信号２０４及び動きベクトル色差信号に従って抽出した予測画像色差信号２４１とを出力し、ベクトル決定部２０９は、動きベクトル輝度信号２４２及び動きベクトル色差信号２４３と上記評価値比較差を入力して、複数の取りうる動きベクトルのうち、上記評価値比較差が最小となる動きベクトルを最適ベクトルとして出力するようになっている。

図８に示すように、入力画像２０２の輝度成分に対して、参照画像２０１から動きベクトル輝度信号２４２に従った予測画像輝度信号２４０が、動きベクトル色差信号２４３に従った予測画像色差信号２４１が各々求められる。入力画像２０２は輝度色差分離部２３０ａにより輝度信号２３１と色差信号２３２とに分離される。輝度信号の入力画像と予測画像とで、色差信号の入力画像と予測画像とで各々差分が取られ、各々輝度評価値と色差評価値とが演算され、輝度色差評価値比較部２４４に入力される。比較部２４４では重み付けをされた比較が行われ、より適切と判断された評価値を最適ベクトル決定部２０９に出力する。最適ベクトル決定部２０９は、輝度、色差の各々のベクトルを入力されており、先の入力である評価値により、輝度、色差ベクトルのうち選択されたものを最適ベクトル２１０として出力する。

実施の形態９．
図９は実施の形態９に係る動き補償装置を示すブロック構成図である。
図９に示す動き補償装置は、動画像符号化を行う符号化を行う際、ブロック単位に前フレームのデータから動きを予測し情報量削減を行う動き補償装置であって、前フレームのデータを格納する前フレームメモリ部１０４と、現フレームのブロックデータ１５０と前フレームの探索範囲データ１５１の特定領域からパターンマッチングを行い、最小の歪を与える動きベクトル１５５と最小歪１５４とを計算する最小歪計算部１０１と、現フレームのブロックデータ１５０と外部より入力される１つ以上の特定ベクトル１５３に対応する前フレームのブロックデータ１５２との歪１５６を計算する特定ベクトル歪計算部１０２と、上記最小歪計算部１０１から出力される歪と上記特定ベクトル歪計算部１０２から出力される歪とに基づいて最適動きベクトル１５７を出力する最適ベクトル出力部１０３とを備えている。

次に図９について動作について説明する。
最小歪計算部１０１においては、現フレームのブロックデータ１５０に対して、前フレームの探索範囲データ１５１から最小となる最小歪１５４と最小歪を与える動きベクトル１５５を計算し、出力する。一方、特定ベクトル歪計算部１０２では、外部より与えられた特定ベクトル１５３に対応するデータ１５２を前フレームメモリ部１０４からとりだし、そのデータと、現フレームのブロックデータ１５０との歪１５６を計算し出力する。
最小歪計算部１０１からの最小歪１５４と特定ベクトル歪計算部１０２からの歪１５６をもとに、最適ベクトル出力部１０３において、最適ベクトルを計算する。

最適ベクトル出力部１０３の最適ベクトル計算方法としては、例えば、図１１があげられる。すなわち、最小歪計算部１０１からの最小歪１５４にオフセット値１１０を加算し、その結果と特定ベクトル歪計算部１０２からの歪１５６を比較器１１２で比較し、小さい値を与えるベクトルを最適動きベクトル１５６として出力する。

また、図１０に示す如く、最適ベクトル出力部１０３の出力である最適動きベクトル１５７を特定ベクトル歪計算部１０２の入力と特定ベクトル１５３として入力することにより、１つ前のブロックの最適ベクトルを特定ベクトルとして入力することにより、前のブロックの最適ベクトルが現ブロックの最適ベクトルとして選ばれた場合には、動きベクトルの可変長符号化における情報量が大幅に減ることが実現できる。

また、最適ベクトル出力部１０３は、図１２に示す如く、最小歪計算部１０１からの歪に加える重み付けのオフセット値を、最小歪を与える動きベクトル１５５と特定ベクトル１５３との差分の大きさにより適応的に変更して与えるオフセット値計算部１１４をさらに備え、差分の値によりオフセット値を決定するようにしてもよい。例えば、ベクトルの差分が小さい時は、小さいオフセットを与える。差分が大きい時は、大きいオフセットを与える。これにより、ある程度ベクトルの差分が大きい時は、
特定ベクトルの値 ≦ （（最小歪）＋オフセット）
であれば、特定ベクトルが最適動きベクトルとして選択される。
これにより、可変長符号化の際の発生情報量を大幅に削減可能となる。

実施の形態１０．
次に、以下の実施の形態では、簡単な構成での実現性と汎用性を有しつつ、トータルの符号量と歪みのバランスを考慮して、符号化歪みの低減に貢献しないと考えられる動きベクトルを、符号量最小となる予測ベクトルに補正し、全体の歪みの増大を抑えながら動きベクトルの符号量を削減する動画像符号化装置及び方法を提供する。本手法は、従来技術で述べたような各種の国際標準動画像符号化方式への適用が可能であり、符号化系全体で符号量を効果的に削減するという目的で、前述した各実施の形態と一致する。

まず、この実施の形態１０に係る動画像符号化装置では、動き補償予測に基づく動画像符号化装置において、動き補償予測に用いられる参照画像データを格納してなるメモリと、入力マクロブロックと上記メモリからの参照画像データとに基づいて最小予測誤差を与える動きベクトルを検出する動き検出部と、入力マクロブロックの動き補償予測に利用する動きベクトルを符号化する際に用いる予測ベクトルを導出する予測ベクトル導出部と、与えられた動きベクトルに基づいて上記メモリ内の参照画像データの対応する位置の画像データを動きベクトルに対応する予測画像として取り出す動き補償部と、上記動き検出部により得られる動きベクトルに基づいて上記動き補償部から出力される予測画像を用いて予測誤差量を求め、該予測誤差量を第１の閾値を用いて閾値判定し、判定結果、予測誤差量が第１の閾値より大きい場合には上記予測ベクトル導出部により得られる予測ベクトルを上記動き補償部に出力させると共に、予測誤差量が第１の閾値より小さい場合には上記動き検出部により得られる動きベクトルを上記動き補償部に出力させる閾値処理部と、予測ベクトルに対応する予測画像による予測誤差信号を生成し、その予測誤差信号の発生符号量推定値を第２の閾値を用いて閾値判定を行い、判定結果、予測誤差信号の発生符号量推定値が第２の閾値より大きい場合には上記動き検出部により得られる動きベクトルを最終動きベクトルとして出力させると共に、予測誤差信号の発生符号量推定値が第２の閾値より小さい場合には上記予測ベクトルを最終動きベクトルとして出力させ、かつ最終動きベクトルに対応する予測画像を最終予測画像として出力する予測画像判定部とを備え、画像データの符号量に対して動きパラメータ（動きベクトル）の符号量の比率が高くなる低ビットレート符号化の際にも、全体の符号量と符号化歪みのバランスの良い符号化を行うものである。

本実施の形態１０は、一般の動き補償予測と離散的コサイン変換（discrete cosine transform，以下、単にＤＣＴとも称す）・量子化による動画像符号化装置に、本実施の形態に係る技術要素を組み込んだ例を示す。
図１３は本実施の形態１０における動画像符号化装置の内部構成図である。
図１３に示す実施の形態１０における動きベクトルを用いた動き補償予測に基づく動画像符号化装置には、主要な構成として、動き補償予測に用いられる参照画像データを格納してなるフレームメモリ３４と、入力マクロブロック３と上記メモリ３４からの参照画像データとに基づいて最小予測誤差を与える動きベクトル２１を検出する動き検出部２０と、入力マクロブロック３の動き補償予測に利用する動きベクトルを符号化する際に用いる予測ベクトル２８を導出する予測ベクトル導出部２７と、与えられた動きベクトルに基づいて上記メモリ３４内の参照画像データの対応する位置の画像データを動きベクトルに対応する予測画像２３，２９として取り出す動き補償部２２と、上記動き検出部２０により得られる動きベクトル２１に基づいて上記動き補償部２２から出力される予測画像２３を用いて予測誤差量を求め、該予測誤差量を第１の閾値を用いて閾値判定し、判定結果、予測誤差量が第１の閾値より大きい場合には上記予測ベクトル導出部２７により得られる予測ベクトル２８を上記動き補償部２２に出力させると共に、予測誤差量が第１の閾値より小さい場合には上記動き検出部２０により得られる動きベクトル２１を上記動き補償部２２に出力させる最小歪み閾値処理部２４と、予測ベクトル２８に対応する予測画像２９による予測誤差信号を生成し、その予測誤差信号の発生符号量推定値を第２の閾値を用いて閾値判定を行い、判定結果、予測誤差信号の発生符号量推定値が第２の閾値より大きい場合には上記動き検出部２０により得られる動きベクトル２１を最終動きベクトル３３として出力させると共に、予測誤差信号の発生符号量推定値が第２の閾値より小さい場合には上記予測ベクトル２８を最終動きベクトル３３として出力させ、かつ最終動きベクトル３３に対応する予測画像３７を最終予測画像として出力する最終予測画像判定部３０とを動き補償予測部１９内に備えている。

なお、その他の符号として、２は入力映像信号１に基づいて入力マクロブロック３を生成するマクロブロック生成部、５は入力マクロブロック３と予測誤差信号４との入力に基づいてモード判定し、モード選択情報６と符号化対象画像信号７を出力するモード判定部、８は符号化対象画像信号７を離散的コサイン変換してＤＣＴ係数データを出力するＤＣＴ部、１０はＤＣＴ係数データ９を量子化して量子化ＤＣＴ係数データを出力する量子化部、１２は量子化ＤＣＴ係数データ１１を逆量子化して逆量子化ＤＣＴ係数データ１３を出力する逆量子化部、１４は逆量子化ＤＣＴ係数データ１３に基づいて復号画像データ１５を復元する逆ＤＣＴ部、１６は復号再生画像、１７はモード判定部５からのモード選択情報６に従って制御されるスイッチ、２６と３２は動き補償予測部１９内のスイッチ、３８は量子化ＤＣＴ係数データ１１、モード選択情報６、動きベクトル３３を所定のシンタックス、可変長符号化方法でビットストリーム３９の形に多重化して出力する可変長符号化・多重化部である。

また、図１４は本実施の形態１０に係る動画像符号化装置及び方法を説明するための図１３の動き補償予測部１９を含む動きベクトル検出の処理過程を示すフローチャートである。
以下、図１３および図１４をもとに説明する。
（１）符号化装置の全体動作
まず、図１３の符号化装置の全体の動作について簡単に説明する。入力映像信号１には１フレームに対応するデータが入力され、このフレームデータはマクロブロック生成部２によって、入力マクロブロック３に分割される。各入力マクロブロックについて、モード判定部５において、イントラ（フレーム内）符号化されるかインター（フレーム間）符号化されるかが決定される。判定に用いられるのは、入力マクロブロック３と、動き補償予測部１９の処理によって得られる予測画像３７と入力マクロブロック３との差分信号である予測誤差信号４であり、所定の判定方法により符号化効率が高いと判断された信号が符号化対象画像信号７として選択される。この時の判定方法は種々の方法を取り得るが、本発明の技術要素にあたらないため、詳細は割愛する。また、予測画像３７および動きベクトル３３を生成する動き補償予測部１９の処理の詳細は後述する。

符号化対象画像信号７は、ＤＣＴ部８において各８×８画素からなるブロックごとにＤＣＴされ、ＤＣＴ係数データ９に変換される。ＤＣＴ係数データ９は量子化部１０により所定の方法で量子化され、量子化ＤＣＴ係数データ１１として可変長符号化・多重化部３８に送られる。また、量子化ＤＣＴ係数データ１１は、逆量子化部１２において逆量子化ＤＣＴ係数データ１３に戻され、逆ＤＣＴ部１４において復号画像データ１５に復元される。ここで、モード判定部５からのモード選択情報６に従ってスイッチ１７が制御され、イントラ符号化モードのときは「０」を、インター符号化モードのときは予測画像３７を加算して復号再生画像１６を得る。

復号再生画像１６は、後の動き補償予測に用いるため、フレームメモリ３４に格納される。動き補償予測部１９は予測画像３７を出力するほか、予測画像３７を得るための動きベクトル３３を、可変長符号化・多重化部３８に出力する。
可変長符号化・多重化部３８は、量子化ＤＣＴ係数データ１１、動きベクトル３３、モード選択情報６などを所定のシンタックス、可変長符号化方法でビットストリーム３９の形に多重化して出力する。ここで、所定のシンタックスとは前述の国際標準動画符号化規格で定められるデータ多重化ルールを意味する。

（２）動き補償予測部１９の動作
動き補償予測部１９の内部構成は図１３に示す通りである。図１４のフローチャートを併用しながら詳細に動作を説明する。
（２−１）動き検出処理（ステップＳ１）
まず、ステップＳ１に示すように、入力マクロブロック３に対して、最小予測誤差（最小マッチング歪み）を与える動きベクトル２１を求める。この処理は、動き検出部２０において行う。予測誤差には、従来の技術で述べた差分絶対値和（ＳＡＤ）や、画素差分の自乗をマクロブロック輝度成分の全画素について総和をとる差分自乗和などがあるが、以下ではＳＡＤを用いるものとする。動き検出部２０は、入力マクロブロック３と、フレームメモリ３４中の参照画像の与えられた動きベクトル探索範囲の中に含まれる画像データとの間で、ＳＡＤを最小にする参照画像データ位置を求め、入力マクロブロック３のフレーム内位置からの偏移を動きベクトル２１として出力する。予測誤差の計算に用いるフレームメモリ３４中の参照画像データは、画像データバス３５を介して動き検出部２０に送り込まれる。

次いで、スイッチ２６は、この動きベクトル２１をスルーで動き補償部２２に受け渡す。動き補償部２２は、動きベクトル２１により、フレームメモリ３４中の参照画像データの対応する位置の画像データを、画像データバス３６を介して予測画像２３として取り出して出力する。予測画像２３は、まず最終予測画像判定部３０に送られるが、この時点では最終予測画像判定部３０は、予測画像２３をそのまま最終予測画像３７としてスルーで出力する。

（２−２）モード判定（ステップＳ２、Ｓ３）
次に、ステップＳ２において、イントラ／インター判定を行う。この処理は動き補償予測部１９ではなく、モード判定部５で（１）で述べたように行われる。次いで、ステップＳ３において、モード選択情報６が「インターモード」を示しているか否かを判定する。イントラモード、すなわち入力マクロブロック３を直接符号化対象信号とするモードであれば、ここで動き補償予測部１９の処理は終了する。

（２−３）動きベクトルの効率判定（ステップＳ４）
インターモード、すなわち入力マクロブロック３と最終予測画像３７との差分画像（予測誤差信号）を符号化対象信号とするモードであれば、以下に説明する手順と動作に従って、符号量と符号化歪みのバランスを考慮してトータルで効率のよい動きベクトルを改めて決定する。まず、インターモードの場合は、最小マッチング歪み閾値処理部２４を起動し、予測画像２３によるＳＡＤについて、あらかじめ定められた閾値ＴＨ１に基づいて閾値判定を行う（ステップＳ４）。ここで、ＴＨ１を実験的もしくは経験的に決定して予測効率を図る値として定めておけば、ＴＨ１よりも大きなＳＡＤを生じる場合、動きベクトル２１による動き補償予測は、予測効率がそれほど良くないと判断できる。つまり、このマクロブロックでは動きベクトル２１を用いて予測誤差信号を得ても、その予測誤差信号を符号化するには多くの符号量を必要とすることがある程度推察できる。したがって、この時の動きベクトル２１は、動きベクトル２１自身の符号量を費やしてまで動き補償予測を行う価値が低いと判断し、動きベクトルの符号量の削減を図る。

逆に、ＳＡＤがＴＨ１よりも小さい値になる場合は、動きベクトル２１の予測効率を認め、それをそのまま最終的な動きベクトルとして用いて符号化を行う。
（２−４）動きベクトルの置換処理（ステップＳ５〜Ｓ９）
上記ステップＳ４で、ＳＡＤがＴＨ１より大きいと判断された場合には、動きベクトル２１を、実際に差分符号化する際に用いる予測ベクトルに置き換えることを検討する。一般に、既存の動画像符号化標準方式では、動きベクトルは近傍の動きベクトルで予測してその差分値を符号化することが多い。動きベクトルは近傍と似通った値をとることが多いため、予測差分がゼロに近いほど符号長の短い符号を割り当てて符号化するのが一般的である。したがって、動きベクトルを予測ベクトルに一致させることで、動きベクトルの符号量は最小になるので、この置換によって予測誤差信号の符号量が極端に大きくならないならば、トータルで符号量を削減した効率のよい符号化を行うことができる。

最小マッチング歪み閾値処理部２４は、ステップＳ４でＳＡＤがＴＨ１より大きいと判断すると、制御信号２５によりスイッチ２６を切り換え、予測ベクトル導出部２７に動きベクトル２１を与える。予測ベクトル導出部２７はステップＳ５の処理を行い、動きベクトル２１を実際に符号化する場合に使用する動きベクトル符号化用の予測ベクトル２８を導出する。たとえば、予測の方法を直前のマクロブロックの動きベクトルを予測ベクトルとして差分をとる（これはＭＰＥＧ−１やＭＰＥＧ−２で採用されている）。すると、動きベクトル２１が（−２，８）、直前のマクロブロックの動きベクトルが（０，４）であった場合は、符号化する動きベクトルデータはその差分で（２，４）となる。なお、ここで、動きベクトル（ｘ，ｙ）とは、被予測マクロブロックの画素位置から水平方法へｘ画素（右方向を正とする）、垂直方向へｙ画素（下方向を正とする）だけ偏移した位置のフレームメモリ中の画素を予測画素とすることを意味する。予測ベクトル導出部２７は、予測ベクトルに相当する（０，４）を置換候補ベクトルとして出力する。

動き補償部２２は、予測ベクトル２８を受け、前述の予測画像２３の取得と同様の手順で予測ベクトル２８に対応する予測画像２９を出力する。
予測画像２９は、最終予測画像判定部３０に、予測画像２３とともに入力される。最終予測画像判定部３０は、ここでは予測画像２９による予測誤差信号を生成し（入力マクロブロック３との差分をとることで得られる。ステップＳ６に相当）、その予測誤差信号の符号化効率をチェックする。これは、動きベクトル２１を予測ベクトル２８で置換した場合に、それによって予測誤差信号の符号量が大幅に増加してしまうと動きベクトルの置換が逆効果になってしまうためであり、予測誤差信号の符号量の程度をある程度測ることが目的である。

チェックの方法は、予測誤差信号の発生符号量推定値としての輝度成分の分散値を用いた閾値判定による（ステップＳ７、Ｓ８）。この判定方法の根拠は以下の通りである。
予測誤差信号は、一般にゼロ近辺にピークを持つラプラス、ガウス系の分布を有する。符号化は、この予測誤差信号をＤＣＴによって周波数成分に変換して、その係数分布が低周波に偏ることを利用して冗長度を削減するため、高周波成分に立つ係数の発生頻度が符号化効率の測度になる。高周波成分の含有率は、予測誤差信号の信号分布の分散によってある程度代表される。分散が大きいほど信号分布のすそ野が広がり、ＤＣＴ係数の高周波成分の発生頻度が高くなる。

このような観点から、特に符号量の多くを占める輝度成分の分散値σ２を閾値判定に用いて、この分散値が閾値ＴＨ２よりも小さい場合、動きベクトル置換による予測誤差信号の符号量増加はある程度抑えられるものとして動きベクトルの置換を認める（ステップＳ９）。逆に、輝度成分の分散値がＴＨ２よりも大きくなる場合は、動きベクトル置換がかえって予測誤差信号の符号量増加を招くものと判定し、動きベクトルの置換を認めず、最小ＳＡＤを与える動きベクトル２１を最終的な動きベクトルとする。

最終予測画像判定部３０は、以上の輝度信号分散値に基づく置換の可否判定を行い、その結果として、制御信号３１によってスイッチ３２を切り換え、最終動きベクトル３３を出力させるとともに、最終動きベクトル３３に対応する最終予測画像３７を予測画像２３、予測画像２９のいずれかから選択して出力する。すなわち、インターモードでは、以上の処理を経た後の最終予測画像３７を用いてインター符号化を実施すると共に、最終動きベクトル３３を可変長符号化・多重化部３８に送って符号化する。

上述した図１４に示す動きベクトルを用いた動き補償予測に基づく動画像符号化方法における処理ステップを要約すると次の通りとなる。
すなわち、図１４に示す動画像符号化方法は、入力マクロブロックと参照画像データとに基づいて最小予測誤差（最小マッチング歪み）を与える動きベクトルを検出する動きベクトル検出ステップＳ１と、入力マクロブロックと動きベクトルに対応する予測画像とに基づく予測誤差信号を第１の閾値を用いて閾値判定する第１の閾値判定ステップＳ４と、第１の閾値判定結果、予測誤差信号が第１の閾値より大きい場合には動きベクトルを符号化する際に用いる予測ベクトルを導出する予測ベクトル導出ステップＳ５と、予測ベクトルに対応する予測画像による予測誤差信号を生成する予測誤差信号生成ステップＳ６と、予測誤差信号の発生符号量推定値を算出する算出ステップＳ７と、算出された予測誤差信号の発生符号量推定値を第２の閾値を用いて閾値判定する第２の閾値判定ステップＳ８と、第２の閾値判定結果、予測誤差信号の発生符号量推定値が第２の閾値より小さい場合に動きベクトルを上記予測ベクトルに置換する置換ステップＳ９とを備え、動きベクトルを用いて動き予測符号化を実施する。

以上の構成の符号化装置及び方法により、予測誤差信号の符号量削減に貢献しない動きベクトルを閾値判定によって特定し、予測誤差信号の符号量増加を抑えながら動きベクトルの符号量を削減して符号化を行うことができるため、動き情報、画像情報のトータルの符号化効率にとって最適な動きベクトルの選択が可能になる。

なお、本実施の形態１０では、閾値ＴＨ１およびＴＨ２の具体的な決定方法については述べなかったが、これらの値は特定の符号化ビットレートやフレームレートなどに応じて最適値が変わってくるため、状況に応じたチューニングのパラメータとして利用することができる。これらの値を最適に設定することで符号化効率を高めることが可能である。

本実施の形態１０の符号化装置では、従来の動きベクトル探索に比べ、ＳＡＤの閾値処理、予測ベクトルおよび予測ベクトルによる予測誤差信号の導出、予測ベクトルによる予測誤差信号の輝度信号の分散値の計算と閾値処理が追加される構成となる。しかし、ＳＡＤおよび分散値の閾値処理は条件分岐１つだけで実現できるほか、予測ベクトル導出は従来の動きベクトル符号化に際しても必要なため特別な追加機構ではない。

また、予測ベクトルによる予測誤差信号の導出は、マクロブロック分のバッファリングと予測ベクトルの一時記憶により、最小ＳＡＤを与える動きベクトルを検出する過程（動き検出部２０）で実施してしまうことも可能であり、分散値計算も１マクロブロックあたり１回の処理（しかも、ステップＳ４で動きベクトル置換の候補となるマクロブロックについてのみ）だけであるので、極めて少ない演算量の追加で実現可能である。ハードウエアで構成する場合は、多少の内部構成素子の追加が必要になるが、ソフトウエアで符号化装置を構成する場合には少しの演算量増加だけで実現可能である。

また、本実施の形態１０では、動き量を表現するパラメータとして動きベクトルを用いて説明したが、アフィンパラメータや透視変換パラメータなどより複雑な動きパラメータを用いて予測を行う場合にも適用可能である。これらの複雑な動きパラメータに対しては、予測ベクトル導出部２７において、パラメータ符号化の際にもっとも冗長度を削減して符号化できるパラメータを算出すればよい。

実施の形態１１．
上述した実施の形態１０において、最小ＳＡＤを与える動きベクトルは、いくつかのモードから選択されたものでもよい。たとえば、ＭＰＥＧ−４の最終草案（IＳO/IEC JTC１/ＳC29WG11/N2202）や、ITU−T勧告H.263のオプションの１つであるAdvanced Prediction Modeによれば、動きベクトルとして、マクロブロックあたり１つのベクトルを求める「１ＭＶモード」と、ＤＣＴの単位となる４つの８画素×８ラインのブロックあたりに１つの動きベクトルを求める「４ＭＶモード」が選択できる。この場合、「１ＭＶモード」と「４ＭＶモード」とを比較して最小のＳＡＤを与えるモードを選択するように構成できる。

この処理は、図１３における動き検出部２０の内部で実施するように構成でき、図１４のステップＳ１のサブステップとして位置づけることができる。
また、この場合の予測ベクトル導出部２７は、近傍動きベクトルのメディアン値を用いた予測ベクトルの算出を行うように構成する。

図１５に、ＭＰＥＧ−４最終草案に基づく動きベクトルの予測の仕組みを示す。図１５において、ＭＶは被予測動きベクトル、ＭＶ１〜ＭＶ３は予測ベクトル算出のために必要となる動きベクトルを示し、（ａ）はマクロブロック中左上のブロックの動きベクトルの場合、（ｂ）はマクロブロック中右上のブロックの動きベクトルの場合、（ｃ）はマクロブロック中左下のブロックの動きベクトルの場合、（ｄ）はマクロブロック中右下のブロックの動きベクトルの場合の動きベクトルＭＶ１〜ＭＶ３の位置をそれぞれ定めている。

予測ベクトル（Ｐｘ，Ｐｙ）は、下式で求められる。
Ｐｘ ＝Median（ＭＶ１ｘ，ＭＶ２ｘ，ＭＶ３ｘ）
Ｐｙ ＝Median（ＭＶ１ｙ，ＭＶ２ｙ，ＭＶ３ｙ）
ただし、ＭＶ１＝（ＭＶ１ｘ，ＭＶ１ｙ）
ＭＶ２＝（ＭＶ２ｘ，ＭＶ２ｙ）
ＭＶ３＝（ＭＶ３ｘ，ＭＶ３ｙ）
また、関数Median（ ）は、３つの引数の中央値を出力する。

図１５は「４ＭＶモード」の説明図になっているが、「１ＭＶモード」では同図（ａ）の場合で説明できる。
「１ＭＶモード」の場合は、図３の（ａ）を用いて、ＭＶをマクロブロック全体の動きベクトルとみなして予測ベクトルを求める。ＭＶ１〜ＭＶ３は、それぞれそれらが属するマクロブロックの動きベクトルモードが「１ＭＶモード」の場合は、４つのブロックすべてが同じ動きベクトルであるとみなす。
本実施の形態１２によれば、ＭＰＥＧ−４やH.２６３などの低ビットレート符号化をターゲットとする符号化装置において本発明を活用することができる。

実施の形態１２．
本実施の形態１２では、実施の形態１０で説明した動きベクトル置換処理のＯＮ／ＯＦＦをフレーム単位に切り換える構成を持つ符号化装置について説明する。動き補償予測の効率が極めて高いフレームでは、動きベクトルの置換が逆効果になることがあり、それを防ぐこと、フレーム全体でＯＮ／ＯＦＦすることで置換処理を行わないフレームにおける演算量を削減できることなどが効果としてあげられる。

すなわち、この実施の形態１２では、動き検出部２０からの動きベクトルと最小予測誤差量の入力に基づいてフレームアクティビティの値を算出し、算出された値に基づいて最小マッチング歪み閾値処理部２４及び最終予測画像判定部３０による予測ベクトルを用いた動きベクトルの置き換え処理をフレーム単位で切り換え制御するフレームアクティビティ算出部４０をさらに備え、フレームごとに動きパラメータ置換処理のＯＮ／ＯＦＦを制御できるようにすることより、全体の符号量と符号化歪みのバランスの良い符号化をより柔軟に行う。

図１６に本実施の形態１２における動き補償予測部１９の内部構成を示す。
同図において、図１３に示す実施の形態１０と同一部分は同一符号を付してその説明は省略する。新たな符号として、４０は動き検出部２０からの動きベクトル２１と最小予測誤差４１の入力に基づいてフレームアクティビティの値を算出し、算出された値に基づいて最小マッチング歪み閾値処理部２４及び最終予測画像判定部３０による予測ベクトルを用いた動きベクトルの置き換え処理をフレーム単位で切り換え制御する制御信号４２を出力するフレームアクティビティ算出部であり、４３と４４はその制御信号に基づいて動きベクトルの置き換え処理を行うためのスイッチである。

また、図１７は、図１６の動き補償予測部１９を用いた場合の動き補償予測処理手順を示すフローチャートである。以下、図１６及び図１７をもとに、本実施の形態１２における動き補償予測部１９の動作を詳しく説明する。符号化装置全体の構成は実施の形態１０で説明した図１３と等価で、動き補償予測部１９だけが置き換わるものとし、モード判定部５の動作も実施の形態１０と同じであるとする。

（１）動き検出処理（ステップＳ１）
まず、実施の形態１０と同様に、ステップＳ１に示すように、入力マクロブロック３に対して、最小予測誤差を与える動きベクトル２１を求める。この動きベクトル検出の処理を、１フレームにわたってすべて実施しておき、各マクロブロックの動きベクトル２１と最小ＳＡＤ４１をフレームアクティビティ算出部４０に入力する。フレームアクティビティ算出部４０は、当該フレームにて動きベクトル置換の処理を行うか否かの判定基準となるフレームアクティビティを計算する（ステップＳ１０）。このフレームアクティビティの値から、動きベクトル置換を行うと判断した場合には、制御信号４２によってスイッチ２６、４３、４４をすべて実施の形態１０の処理を行う方向へ動作させる。さもなくばスイッチ２６、４３、４４を強制的に最小ＳＡＤを与える動きベクトル２１に基づいて動き補償予測を行うように動作させる。これらのスイッチの切り換えは、図１７におけるステップＳ１１に相当し、図１７ではマクロブロック単位の切り換えを行う。これはフレーム単位で実施しても良いが、以下ではマクロブロック単位にフレームアクティビティの値に基づいて選択するものとして説明する。

フレームアクティビティの値としては、フレーム全体の動きの大きさや複雑さなどが考えられる。具体的な量では、フレーム全体にわたる最小ＳＡＤの総和や、フレーム全体の動きベクトルのばらつきの度合いを示す動きベクトル分散などが考えられる。たとえば、フレーム間で動きが複雑な場合には平行移動のみで動きを捉えようとする動きベクトルでは十分な予測効率が得られない可能性が高い。この場合は動きベクトルが有効に作用していない個所が多いことが予想されるので、動きベクトル置換の機構をＯＮにしておく。逆に、動きが単調で予測効率が十分得られるような場合には動きベクトル置換の機構をＯＦＦにし、最小ＳＡＤの動きベクトルを常に用いるようにする、などの制御を考えることができる。最小ＳＡＤの総和が大きいフレームでは前フレームからの動きが複雑で動きを捉え切れないケースが考えられるし、動きベクトルの分散が大きい場合についても動きの複雑さが大きいとみなすことができる。しかしながら、フレームアクティビティの定義は様々考えられる。

以下では動きベクトル置換のＯＮ／ＯＦＦ切り換えに最も最適なアクティビティを用いることを前提として説明を続ける。
（２）モード判定（ステップＳ２、Ｓ３）
次に、ステップＳ２において、イントラ／インター判定を行う。この処理は動き補償予測部１９ではなく、モード判定部５で（１）で述べたように行われる。次いで、ステップＳ３において、モード選択情報６が「インターモード」を示しているか否かを判定する。イントラモード、すなわち入力マクロブロック３を直接符号化対象信号とするモードであれば、ここで動き補償予測部１９の処理は終了する。

（３）フレームアクティビティに基づく動きベクトル置換処理のＯＮ／ＯＦＦ判定（ステップＳ１１）
（１）で説明したように、ステップＳ１１において、ステップＳ１０で求めたフレームアクティビティをもとに、動きベクトル置換処理（ステップＳ４〜Ｓ９）に処理を進めるか、最小ＳＡＤを与える動きベクトルをそのまま使用することにして動き補償予測の処理を終了させるかを判定する。

（４） 動きベクトルの置換処理（ステップＳ４〜Ｓ９）
（３）で動きベクトル置換処理を行うと判定された場合は、インターモードにおいて、実施の形態１で述べた手順により、符号量と符号化歪みのバランスを考慮してトータルで効率のよい動きベクトルを改めて決定する。この時、スイッチ４３と４４は、実施の形態１の動作を行うように制御されるものとする。この場合の処理手順は実施の形態１０で述べた方法とまったく同じであるため、ここでの説明は割愛する。

上述したように、図１７に示す動きベクトルを用いた動き補償予測に基づく動画像符号化方法における処理ステップでは、図１４に示す処理ステップに対し、動きベクトルと最小予測誤差に基づいてフレームアクティビティの値を算出し、算出された値に基づいてフレーム単位で動きベクトルと予測ベクトルの置換を行うか否かの切換制御を行う制御ステップをさらに備えて、動き予測符号化を実施している。

以上の構成の符号化装置及び方法により、フレーム単位およびマクロブロック単位で、予測誤差信号の符号量削減に貢献しない動きベクトルを閾値判定によって特定し、予測誤差信号の符号量増加を抑えながら動きベクトルの符号量を削減して符号化を行うことができるため、動き情報、画像情報のトータルの符号化効率にとって最適な動きベクトルの選択をより柔軟に行えるようになる。これによって、動きベクトルの置換が有効でないフレームについてははじめから置換処理をＯＦＦにして効率の低下を防ぐことができる。また、処理がＯＦＦの場合は置換処理の演算量もフレームの単位で削減できる。

本実施の形態１２の符号化装置及び方法では、実施の形態１０の符号化装置及び方法に比べ、さらにフレームアクティビティ算出の処理過程が追加になるが、これはフレームにつき１回しか実施しないため、全体としての演算量の増加には大きく影響しない。

また、本実施の形態１２では、フレームアクティビティを、フレームメモリ３４内の過去に符号化された画像データと、入力された原画像との間で計算するように構成したが、この構成では符号化歪みを含んだ画像と原画像との間でアクティビティ計算をすることになり、厳密なフレーム間アクティビティは算出できない。そのため、過去のフレームの原画像をバッファリングするフレームメモリを設けることにより、原画像同士でフレーム間のアクティビティを算出することも可能である。

また、本実施の形態１２における符号化装置において、実施の形態１１で述べたように「１ＭＶモード」「４ＭＶモード」に対応できるように構成することで、ＭＰＥＧ−４やH.２６３などの低ビットレート符号化装置への適用が可能である。

この発明の実施の形態１に係る動き補償装置を示すブロック構成図である。 この発明の実施の形態２に係る動き補償装置を示すブロック構成図である。 この発明の実施の形態３に係る動き補償装置を示すブロック構成図である。 この発明の実施の形態４に係る動き補償装置を示すブロック構成図である。 この発明の実施の形態５に係る動き補償装置を示すブロック構成図である。 この発明の実施の形態６に係る動き補償装置を示すブロック構成図である。 この発明の実施の形態７に係る動き補償装置を示すブロック構成図である。 この発明の実施の形態８に係る動き補償装置を示すブロック構成図である。 この発明の実施の形態９に係る動き補償装置を示すブロック構成図である。 この発明の実施の形態９に係る動き補償装置の変形例を示すブロック構成図である。 この発明の実施の形態９に係る動き補償装置の他の変形例を示すブロック構成図である。 この発明の実施の形態９に係る動き補償装置のさらに他の変形例を示すブロック構成図である。 この発明の実施の形態１０に係る動画像符号化装置を示すブロック構成図である。 図１３の符号化装置における動き補償予測部１９の処理の流れを示すフローチャートである。 この発明の実施の形態１１に係るＭＰＥＧ−４またはＩＴＵ−Ｔ勧告Ｈ．２６３における動きベクトルの予測値の算出方法を説明する説明図である。 この発明の実施の形態１２に係る動画像符号化装置を示すブロック構成図である。 図１６の符号化装置における動き補償予測部１９の処理の流れを示すフローチャートである。 従来の動き補償装置を示すブロック構成図である。 最適画像（予測画像）を求める説明図である。

符号の説明

１０１ 最小歪検出部、１０２ 特定ベクトル歪計算部、１０３ 最適ベクトル出力部、１０４ 前フレームメモリ、１１０ オフセット値、１１１ 加算器、１１２ 比較器、１１３ セレクタ、１１４ オフセット計算部、１５２ 特定ベクトルに対する前フレームデータ、１５３ 特定ベクトル、１５４ 最小歪データ、１５５ 最小歪を与える動きベクトル、１５６ 特定ベクトルに対する歪データ、１５７ 最適動きベクトル、２０１ 参照画像、２０２ 入力画像、２０３ 動きベクトル、２０４ 予測画像、２０５ 差分絶対値和演算部、２０６ 差分絶対値和、２０７ 動きベクトル値符号化部、２０８ 動きベクトル符号量、２０９ 最適ベクトル決定部、２１０ 最適ベクトル、２１１ 差分二乗和演算部、２１２ 差分二乗和、２１３ 遅延器、２１４ 差分演算器、２１５ 差分ベクトル符号化器、２１６ａ，２１６ｂ 平均値分離部、２１７ 平均値分離予測画像、２１８ 平均値分離入力画像、２１９ 歪量演算部（評価値演算器）、２２０ 評価値、２２２ 差分器、２２３ 予測誤差、２２４ 周波数解析部、２２５ 周波数係数、２２６ 評価値生成部、２２７ 評価値、２２８ 符号化部、２２９ 符号化情報量、２３０ａ，２３０ｂ，２３０ｃ 輝度色差分離部、２３１ 予測画像輝度信号、２３２ 予測画像色差信号、２３３ 入力画像輝度信号、２３４ 入力画像色差信号、２３５ａ，２３５ｂ 差分器、２３６ 輝度評価値生成部、２３７ 色差評価値生成部、２３８ 加算器、２３９ 総評価値、２４０ 輝度成分のみの予測画像、２４１ 色差成分のみの予測画像、２４２ 動きベクトル輝度信号、２４３ 動きベクトル色差信号、２４４ 輝度色差評価値比較部、２０ 動き検出部、２２ 動き補償部、２４ 最小マッチング閾値処理部、２７ 予測ベクトル導出部、３０ 最終予測画像判定部、３４ フレームメモリ、４０ フレームアクティビティ算出部。

Claims (5)

1. 動画像符号化を行う符号化を行う際、ブロック単位に前フレームのデータから動きを予測し情報量削減を行う動き補償装置において、
   前フレームのデータを格納する前フレームメモリ部と、
   現ブロックと前フレームの特定領域からパターンマッチングを行い、最小の歪を与える動きベクトルと歪値とを計算する最小歪計算部と、
   現ブロックと入力される１つ以上の動きベクトルに対応する前フレームのブロックとの歪を計算する特定ベクトル歪計算部と、
   上記最小歪計算部から出力される歪と上記特定ベクトル歪計算部から出力される歪とに基づいて最適動きベクトルを出力する最適ベクトル出力部と
   を備えた動き補償装置。
2. 上記特定ベクトル歪計算部に入力される動きベクトルは、上記最適ベクトル出力手段から出力されたベクトルを入力することを特徴とする請求項１記載の動き補償装置。
3. 上記最適ベクトル出力部は、上記最小歪計算部からの歪に重み付けを行う加算器と、重み付けされた最小歪計算部からの歪と上記特定ベクトル歪計算部からの歪とを比較する比較器と、この比較器の比較結果に基づいて最小歪を与える動きベクトルと特定ベクトルとのいずれかを選択して最適動きベクトルとして出力するセレクタとを備えたことを特徴とする請求項１または２記載の動き補償装置。
4. 上記最適ベクトル出力部は、上記最小歪計算部からの歪に加える重み付けのオフセット値を、最小歪を与える動きベクトルと特定ベクトルとの差分の大きさにより適応的に変更して与えるオフセット値計算部をさらに備えたことを特徴とする請求項１または２記載の動き補償装置。
5. 上記最小歪計算部は、現在の探索範囲内の最小歪と、現在の探索範囲より狭い範囲でのあらかじめ設定した範囲での最小歪みを出力することを特徴とする請求項１ないし４のいずれかに記載の動き補償装置。

Images