JP2014068251A - 画像評価処理装置及びプログラム、並びに、動画像符号化装置及びプログラム - Google Patents

Abstract

【課題】 画像間の歪の評価を効率的に行う。
【解決手段】 本発明は、第１の画像と第２の画像の間の歪を評価する画像評価処理装置に関する。そして、画像評価処理装置は、第１の画像と第２の画像の差分に係るＤＣ成分を抽出する手段と、第１の画像と上記第２の画像の差分に係るＡＣ成分を抽出する手段と、求めたＤＣ成分とＡＣ成分に基づいて、第１の画像と第２の画像との間の歪を評価する歪評価値を計算する手段とを有することを特徴とする。
【選択図】 図１

Description

本発明は画像評価処理装置及びプログラム、並びに、動画像符号化装置及びプログラムに関し、例えば、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ等の動画像符号化技術による動画像圧縮符号の処理に適用できる。

従来、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ（以下、単に「Ｈ．２６４」と呼ぶ）等に代表される映像符号化技術による動画像の符号化処理（圧縮符号化処理）では、入力された対象画像を分割した処理単位毎に、動き補償予測等を行った予測画像と、入力された対象画像との差分である予測残差信号に、離散コサイン変換等の空間変換を施した変換係数を量子化して、これを算術符号等のエントロピー符号化することによって高効率の映像圧縮を実現している。

上述の通り、従来Ｈ．２６４に基づく従来の動画像の符号化処理では、入力画像に対応する予測画像を求める。そして、従来の符号化処理では、複数の動きベクトルや、複数の予測モードで求めた予測画像候補のそれぞれについて、対象画像との歪を評価し、歪が小さくなる動きベクトルや予測モードによる候補を選択して、対象画像の符号化に用いることで、符号化効率を高めることができる。

従来、予測画像の生成における動き探索（ＭＥ：ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）等で歪の評価に用いられているのは、差分絶対値和ＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）や、ブロックの差分値を直行変換した変換係数の絶対値和で得られるＳＡＴＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｔｒａｎｓｆｏｒｍｅｄ ｄｉｆｆｅｒｅｎｃｅ）等の歪指標がある。

以下では、歪指標ＳＡＤ、ＳＡＴＤの算出方法について説明する。

まず、歪指標ＳＡＤの算出方法について説明する。歪指標ＳＡＤは以下の（１）、（２）式により求められる。以下の（１）式では、符号化対象となる入力画像のブロックを０（ｉ、ｊ）と表している。また、以下（１）式では、入力画像のブロックを０（ｉ、ｊ）に対して動き補償やイントラ予測で求めた予測画像ブロックをＰ（ｉ、ｊ）と表している。さらに、以下の（１）式では、０（ｉ、ｊ）とＰ（ｉ、ｊ）との差分値をＤｉｆｆ（ｉ、ｊ）と表している。そして、ＳＡＤは差分値Ｄｉｆｆ（ｉ、ｊ）の絶対値和であるため、以下の（２）式により求めることができる。

ｄｉｆｆ（ｉ，ｊ）＝Ｏ（ｉ，ｊ）−Ｐ（ｉ，ｊ） …（１）

次に、歪指標ＳＡＴＤの算出方法について説明する。ＳＡＴＤは差分値を直行変換した変換係数の絶対値和である。通常、直行変換としてはアダマール変換が用いられる。この場合、アダマール変換Ｔとして用いられる変換行列は、例えば４×４のブロックに対する変換行列で表すと以下の（３）式の内容となる。

そして、差分値Ｄｉｆｆ（ｉ、ｊ）をアダマール変換した変換係数をＤｉｆｆＴ（ｉ、ｊ）とすると、ＳＡＴＤは以下の（４）、（５）式のように示すことができる。

入力画像と予測画像との残差はＤＣＴ等で空間変換して符号化されるため、一般にＳＡＴＤを用いて選択した方が周波数領域での歪が評価され符号化効率は高くなるが、ＳＡＤに比べて演算量が非常に多い。

図９は、予測画像における歪の成分を示した説明図である。例えば、図９（ａ）のようなグラフで示されるブロックＯとブロックＰの場合、図９（ｂ）に示すように画素値の差分は大きなものとなってしまう。しかし、図９（ｃ）のように空間周波数領域で分析すると、差分はＤＣ成分に集中しており、歪は比較的小さいということになる。ＳＡＤによる評価ではこのような予測候補は選択されない。

Ｈ．２６４の符号化処理（リファレンスエンコーダ）において、予測画像の歪評価を行う場合、演算量削減のため、探索回数の多い整数画素精度のＭＥはＳＡＤで行い、整数精度ベクトルを精緻化するサブピクセル精度のＭＥはＳＡＴＤで行う方法が採用されている。

また、他にも、ＳＡＴＤの演算量を削減する方法として、特許文献１の記載技術がある。特許文献１では、アダマール変換の周波数成分を間引いて、一部の周波数成分の変換係数の絶対値和から求めた簡易ＳＡＴＤを用いる方法が開示されている。

特開２００４−２４１９５７号公報

従来の動画像符号化処理において、符号化効率を向上させたい場合は、ＳＡＤのみを用いて予測画像の歪を評価するよりも、ＳＡＴＤを用いる方法が使用される場合がある。しかし、従来の動画像符号化処理では、ＳＡＴＤを用いて歪を評価するためには、アダマール変換処理が必要となり、演算量が非常に多くなってしまうという問題があった。

また、特許文献１のように、ＳＡＴＤのアダマール変換の周波数成分を間引いて演算量を削減する方法では、間引かれた周波数成分における歪が考慮されずに歪が評価されてしまい符号化効率が低下する場合があるという問題があった。

そこで、上述のような問題に鑑みて、画像間の歪の評価を効率的に行うことができる画像評価処理装置及びプログラム、並びに、動画像符号化装置及びプログラムが望まれている。

第１の本発明の画像評価処理装置は、（１）第１の画像と第２の画像の差分に係るＤＣ成分を抽出するＤＣ成分抽出手段と、（２）上記第１の画像と上記第２の画像の差分に係るＡＣ成分を抽出するＡＣ成分抽出手段と、（３）上記ＤＣ成分と、上記ＡＣ成分に基づいて、上記第１の画像と上記第２の画像との間の歪を評価する歪評価値を計算する歪評価値計算手段とを有することを特徴とする。

第２の本発明の動画像符号化装置は、（１）動画像を構成する対象画像に対応する複数の予測画像を生成する予測画像生成手段と、（２）上記予測画像生成手段が生成した予測画像のそれぞれについて、当該予測画像の上記対象画像に対する歪を評価する画像評価処理手段と、（３）少なくとも上記画像評価処理手段の評価結果を利用して、上記予測画像生成手段が生成したいずれかの予測画像を選択する予測画像選択手段と、（４）上記対象画像と、上記予測画像選択手段が選択した予測画像との残差信号に基づいて、上記動画像の符号化処理を行う符号化手段とを有し、（５）上記画像評価処理手段は、（５−１）上記対象画像と上記予測画像の差分に係るＤＣ成分を抽出するＤＣ成分抽出手段と、（５−２）上記対象画像と上記予測画像の差分に係るＡＣ成分を抽出するＡＣ成分抽出手段と、（５−３） 上記ＤＣ成分と、上記ＡＣ成分に基づいて、上記対象画像と上記予測画像との間の歪を評価する歪評価値を計算する歪評価値計算手段とを有することを特徴とする。

第３の本発明の画像評価処理プログラムは、コンピュータを、（１）第１の画像と第２の画像の差分に係るＤＣ成分を抽出するＤＣ成分抽出手段と、（２）上記第１の画像と上記第２の画像の差分に係るＡＣ成分を抽出するＡＣ成分抽出手段と、（３）上記ＤＣ成分と、上記ＡＣ成分に基づいて、上記第１の画像と上記第２の画像との間の歪を評価する歪評価値を計算する歪評価値計算手段として機能させることを特徴とする。

第４の本発明の動画像符号化プログラムは、コンピュータを、（１）動画像を構成する対象画像に対応する複数の予測画像を生成する複数の予測画像生成手段と、（２）上記予測画像生成手段が生成した予測画像のそれぞれについて、当該予測画像の上記対象画像に対する歪を評価する画像評価処理手段と、（３）少なくとも上記画像評価処理手段の評価結果を利用して、上記予測画像生成手段が生成したいずれかの予測画像を選択する予測画像選択手段と、（４） 上記対象画像と、上記予測画像選択手段が選択した予測画像との残差信号に基づいて、上記動画像の符号化処理を行う符号化手段として機能させ、（５）上記画像評価処理手段は、（５−１）上記対象画像と上記予測画像の差分に係るＤＣ成分を抽出するＤＣ成分抽出手段と、（５−２）上記対象画像と上記予測画像の差分に係るＡＣ成分を抽出するＡＣ成分抽出手段と、（５−３）上記ＤＣ成分と、上記ＡＣ成分に基づいて、上記対象画像と上記予測画像との間の歪を評価する歪評価値を計算する歪評価値計算手段とを有することを特徴とする。

本発明によれば、画像間の歪の評価を効率的に行うことができる。

第１の実施形態に係るＳＡＤＤ計算部の機能的構成について示したブロック図である。 第１の実施形態に係る動画像符号化装置の機能的構成について示したブロック図である。 第１の実施形態に係る予測画像選択部の機能的構成について示したブロック図である。 第１の実施形態に係る予測画像選択部の動作について示したフローチャートである。 第１の実施形態に係るＳＡＤＤ計算部の動作について示したフローチャートである。 第２の実施形態に係る予測画像選択部の機能的構成について示したブロック図である。 第２の実施形態に係るＳＡＤ計算部の機能的構成について示したブロック図である。 第２の実施形態に係るＳＡＴＤ計算部の機能的構成について示したブロック図である。 従来の動画像符号化において処理される画像間の差分に係る成分について示した説明図である。

（Ａ）第１の実施形態
以下、本発明による画像評価処理装置及びプログラム、並びに、動画像符号化装置及びプログラムの第１の実施形態を、図面を参照しながら詳述する。第１の実施形態では、本発明の画像評価処理装置を、ＳＡＤＤ計算部として実現した例について説明する。

（Ａ−１）第１の実施形態の構成
図２は、この実施形態の動画像符号化装置１の全体構成を示すブロック図である。なお、図２において、括弧内の符号は、後述する第２の実施形態でのみ用いられる符号である。

動画像符号化装置１は、画面分割部１０１、空間変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆空間変換部１０６、ループ内フィルタ部１０７、参照画像バッファ１０８、インター予測部１０９、イントラ予測部１１０、予測画像選択部１１１、残差信号生成部１１２、復号画像生成部１１３、及び予測画像制御部１１４を有している。

動画像符号化装置１は、プロセッサ及びメモリ等を有するコンピュータ（１台に限定されず、複数台を分散処理し得るようにしたものであっても良い。）に、実施形態の動画像符号化プログラム（実施形態の画像評価処理プログラムを含む）等をインストールすることにより構築しても良く、その場合でも、機能的には上述の図２のように示すことができる。なお、図２において、予測画像選択部１１１以外の構成について限定されないものであり、例えば、Ｈ．２６４等に準拠した種々の動画像符号化装置と同様のものを適用することができるため、詳細については説明省略する。

画面分割部１０１は、対象画像（入力画像）を、マクロブロックや予測パーティション等の処理単位領域ごとに画面分割して、残差信号生成部１１２に供給する。以下では、画面分割部１０１が出力する対象画像を分割したブロックを、対象画像ブロックＯと呼ぶものとする。

残差信号生成部１１２は、画面分割部１０１から供給される分割済の画像データとインター予測部１０９又はイントラ予測部１１０から供給される予測画像とから、予測残差信号を得て、空間変換部１０２に供給するものである。

空間変換部１０２は、予測残差信号を、ＤＣＴ（離散コサイン変換）やその整数近似変換等によって空間変換して変換係数を得る。そして、量子化部１０３は、その変換係数を、所定の量子化幅で量子化した結果として、量子化された予測残差信号を得て、エントロピー符号化部１０４に供給する。

そして、エントロピー符号化部１０４は、量子化された予測残差信号についてエントロピー符号化（例えば、可変長符号化等）を行って、その他の符号化情報とともに符号化ストリームのデータを生成する。この符号化ストリームのデータが、動画像符号化装置１の出力となる。

逆量子化部１０５は、量子化された予測残差信号を逆量子化する。そして、逆空間変換部１０６は、予測残差信号が逆量子化された結果に対して、逆空間変換（逆直交変換等）を行い、量子化誤差を伴う予測残差信号を得て、復号画像生成部１１３に供給する。

復号画像生成部１１３は、量子化誤差を伴う予測残差信号（逆空間変換部１０６からの入力信号）と予測画像（インター予測部１０９又はイントラ予測部１１０からの予測画像）より復号画像を得る。復号画像生成部１１３は、復号画像をループ内フィルタ部１０７及びイントラ予測部１１０に供給する。

ループ内フィルタ部１０７は、復号画像に対して、量子化によるブロック歪を軽減するデブロッキングフィルタ等として機能するものである。そして、ループ内フィルタ部１０７は、フィルタ処理した復号画像を参照画像バッファ１０８に供給する。

参照画像バッファ１０８は、ループ内フィルタ部１０７からのフィルタ処理した復号画像を、後続画像の符号化時のインター予測の動き補償に係る参照画像として保持する。なお、Ｈ．２６４／ＡＶＣ標準の場合、動き補償で参照する画像は、現在符号化を行おうとしている画像の直前画像に限定されず、複数の時刻の画像が参照画像となり得る。

インター予測部１０９は、現在符号化を行おうとしている対象画像と、参照画像バッファ１０８内の参照画像から動き補償等の予測情報を得て予測画像データを生成するものである。イントラ予測部１１０は、対象画像の既に符号化され、局所復号された復号画像を用いて予測画像データを生成するものである。インター予測部１０９及びイントラ予測部１１０は、対象画像ブロックＯ単位で予測画像（以下、「予測画像ブロックＰ」と呼ぶ）を生成して出力する。

予測画像選択部１１１は、対象画像（対象画像ブロックＯ）ごとに、対応する予測画像（予測画像ブロックＰ）の複数の候補からいずれかを選択するものである。すなわち、予測画像選択部１１１は、インター予測部１０９で生成された複数の予測画像ブロックＰ、又はイントラ予測部１１０で生成された複数の予測画像ブロックＰを評価して、その評価結果に基づいて、いずれかの予測画像を選択する処理を行う。この実施形態の動画像符号化装置１では、上述のインター予測部１０９、又はイントラ予測部１１０が複数の予測画像を生成していずれかを選択するものとして説明するが、動画像符号化装置１において、生成される予測画像の種類の数は限定されないものである。そして、予測画像選択部１１１は、その選択結果を示す情報（以下、「選択結果情報」と呼ぶ）を出力する。選択結果情報の形式は限定されないものであるが、例えば、予測画像ブロックＰの候補番号情報（例えば、インター予測部１０９の動きベクトル探索の候補動きベクトル番号、又はイントラ予測部１１０の予測モード番号）としてもよい。

そして、予測画像選択部１１１から出力される選択結果情報は、予測画像制御部１１４に供給される。予測画像制御部１１４は、供給される選択結果情報に応じた予測画像ブロックＰ（インター予測部１０９の複数の候補、又はイントラ予測部１１０の複数の候補のいずれかの出力）が、復号画像生成部１１３に供給されるようにする制御処理を行う。

次に、予測画像選択部１１１の内部構成の詳細について説明する。

図３は、予測画像選択部１１１内部の機能的構成について示したブロック図である。

予測画像選択部１１１は、ＳＡＤＤ計算部２０１、予測情報符号量計算部２０２、コスト計算部２０３、及びコスト最小予測選択部２０４を有している。
ＳＡＤＤ計算部２０１は、対象画像に係る対象画像ブロックＯと、予測画像に係る予測画像ブロックＰとが入力されると、予測画像ブロックＰの対象画像ブロックＯに対する歪指標を計算するものである。ＳＡＤＤ計算部２０１は、予測画像ブロックＰの候補ごとに歪指標値ＳＡＤＤを計算する。ＳＡＤＤ計算部２０１は、対象画像ブロックＯと予測画像ブロックＰとの間の差分に係るＤＣ成分の絶対値とＡＣ成分の絶対値和との加重和により求められる歪指標（以下、「歪指標値ＳＡＤＤ」と呼ぶ）を求める。ＳＡＤＤ計算部２０１の詳細構成については後述する。すなわち、歪指標値ＳＡＤＤは、対象画像ブロックＯと予測画像ブロックＰとの間の歪みについて評価した評価値であると言える。

予測情報符号量計算部２０２は、予測画像ブロックＰの候補ごとに、予測画像ブロックＰの生成に関わる情報を符号化する場合に必要となる符号量Ｒを計算し出力するものである。予測情報符号量計算部２０２は、例えば、予測画像ブロックＰの候補ごとに、当該予測画像ブロックＰの生成に関わる情報として動きベクトル情報やモード情報を生成元（インター予測部１０９又はイントラ予測部１１０）から取得し、これらの予測情報を符号化する場合に必要となる符号量Ｒを計算し出力する。なお、予測情報符号量計算部２０２では、近似値等を用いて、符号量Ｒを求める計算を簡略化する構成としても良い。

コスト計算部２０３は、予測画像ブロックＰの候補ごとに、歪指標値ＳＡＤＤと符号量Ｒを用いて、以下の（６）式により、符号化コストＪを算出する。ここで、λは符号量Ｒに関するコストの重みを表す乗数であり、例えば量子化パラメータに依存してあらかじめ設定されるものである。

Ｊ＝歪指標値＋λＲ …（６）
コスト最小予測選択部２０４は、予測画像ブロックＰの候補ごとに得られるコストＪを確認し、コストＪが最小となる予測画像ブロックＰの候補を選択し、選択された予測画像ブロックＰの候補を示す選択結果情報を出力する。

動画像符号化装置１では、以上の処理で得られた選択結果情報に基づいて予測画像の選択を行い、選択された予測画像を用いて対象画像の符号化処理を行う。

次に、ＳＡＤＤ計算部２０１の内部構成について説明する。図１は、ＳＡＤＤ計算部２０１内部の機能的構成について示したブロック図である。

ＳＡＤＤ計算部２０１は、差分計算部３０１、ＤＣ成分抽出部３０２、ＡＣ成分抽出部３０３、及び歪指標計算部３０４を有している。

差分計算部３０１は、対象画像ブロックＯと予測画像ブロックＰの差分値（画素ごとの画素値の差分値）を計算するものである。

ＤＣ成分抽出部３０２は、対象画像ブロックＯと予測画像ブロックＰとの間の差分に係るＤＣ成分を求める。具体的には、ＤＣ成分抽出部３０２は、差分計算部３０１で計算された差分値の総和と平均値を求める。

ＡＣ成分抽出部３０３は、対象画像ブロックＯと予測画像ブロックＰとの差分に係るＡＣ成分を求める。具体的には、ＡＣ成分抽出部３０３は、差分計算部３０１で求められた差分値から、ＤＣ成分抽出部３０２で得られた差分の平均値を除去したＡＣ成分画像を抽出する。

歪指標計算部３０４は、ＤＣ成分抽出部３０２からのＤＣ成分（差分値の総和）の絶対値と、ＡＣ成分抽出部３０３からのＡＣ成分（ＡＣ成分画像）の絶対値和との加重和を求め、歪指標値ＳＡＤＤとして出力する。

（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態の動画像符号化装置１の動作を説明する。

上述の通り、動画像符号化装置１では、予測画像選択部１１１以外の処理については、種々の動画像符号化装置と同様のものを適用することができるため、予測画像選択部１１１以外の動作説明については省略する。

（Ａ−２−１）予測画像選択部１１１の動作の概要
まず、予測画像選択部１１１の全体の動作の概要について、図４のフローチャートを用いて説明する。

まず、予測画像選択部１１１の差分計算部３０１に、画面分割部１０１からの対象画像ブロックＯ、インター予測部１０９からの予測画像ブロックＰの複数の候補、又はイントラ予測部１１０からの複数の予測画像ブロックＰの候補が供給されたものとする。そして、予測画像選択部１１１は、それぞれの予測画像ブロックＰの候補について、歪指標値ＳＡＤＤを算出する（Ｓ１０１）。

そして、予測情報符号量計算部２０２は、予測画像ブロックＰの候補ごとに、予測画像ブロックＰの生成に関わる情報をエントロピー符号化する場合に必要となる符号量Ｒを計算し出力する（Ｓ１０２）。

そして、コスト計算部２０３は、予測画像ブロックＰの候補ごとに、歪指標値ＳＡＤＤと符号量Ｒを用いて符号化コストＪを算出する（Ｓ１０３）。

そして、コスト最小予測選択部２０４は、予測画像ブロックＰの候補ごとに得られるコストＪを確認し、コストＪが最小となる予測画像ブロックＰの候補を選択し、選択された予測画像ブロックＰの候補を示す選択結果情報を出力する（Ｓ１０４）。

（Ａ−２−２）予測画像選択部１１１の動作の詳細
次に、ＳＡＤＤ計算部２０１の動作の詳細について、図５のフローチャートを用いて説明する。

ＳＡＤＤ計算部２０１では、予測画像ブロックＰの候補ごとに、図５のフローチャートの処理が実行され、歪指標値ＳＡＤＤが算出される。

まず、差分計算部３０１では、対象画像ブロックＯ（ｉ、ｊ）と、これに対する歪を評価する予測画像ブロックＰ（ｉ、ｊ）について、画素ごとの差分値Ｄｉｆｆ（ｉ、ｊ）が求められる（Ｓ２０１）。差分計算部３０１は、以下の（７）式により画素ごとの差分値Ｄｉｆｆ（ｉ、ｊ）を求めることができる。

ｄｉｆｆ（ｉ，ｊ）＝Ｏ（ｉ，ｊ）−Ｐ（ｉ，ｊ） …（７）
そして、ＤＣ成分抽出部３０２では、入力ブロック間の差分画像に係るＤＣ成分を抽出するため、画素ごとの差分値Ｄｉｆｆ（ｉ、ｊ）の総和ｓと、これをブロックの画素数Ｎで割った、差分画像の平均値ｄが求められる（Ｓ２０２）。具体的には、ＤＣ成分抽出部３０２は、総和ｓを以下の（８）式により求めることができる。また、ＤＣ成分抽出部３０２は、平均値ｄを以下の（９）式により求めることができる。なお、ＤＣ成分抽出部３０２は、ｄを整数に丸めるようにしてもよい。また、ＤＣ成分抽出部３０２は、画素数が２のべき乗の場合は、以下の（９）式の除算をビットシフト演算により実現して、処理量を低減するようにしてもよい。なお、ＤＣ成分抽出部３０２の処理は、上述の図９（ｃ）の差分のＤＣ成分を求めることに相当するが、それ以外の周波数成分に関する演算は行わないため、比較的演算量は小さい。

そして、ＡＣ成分抽出部３０３は、画素ごとの差分値Ｄｉｆｆ（ｉ、ｊ）（差分画像）から平均値ｄを減算したＡＣ成分画像ａ（ｉ、ｊ）を求める（Ｓ２０３）。ＡＣ成分抽出部３０３は、以下の（１０）式により、ＡＣ成分画像ａ（ｉ、ｊ）を求めることができる。なお、ＡＣ成分抽出部３０３は、上述の図９（ｂ）に示すように画像間の差分に係るＡＣ成分を求めることに相当する。

ａ（ｉ，ｊ）＝Ｄｉｆｆ（ｉ，ｊ）−ｄ …（１０）
そして、歪指標計算部３０４は、ＤＣ成分抽出部３０２で得られたＤＣ成分（総和ｓ）と、ＡＣ成分抽出部で得られたＡＣ成分画像ａ（ｉ、ｊ）から、歪指標値ＳＡＤＤを求める（Ｓ２０４）。

具体的には、歪指標計算部３０４は、以下の（１１）式により、歪指標値ＳＡＤＤを求める。以下の（１１）式の「ｗ」は歪のＤＣ成分に関する所定の重みであり、例えば、４×４画素ブロックでは、１／２、８×８画素ブロックでは１／４を用いるようにしてもよい。また、重みｗを２のべき乗とする場合、歪指標計算部３０４は、ビットシフト演算を用いて処理量を低減するようにしてもよい。

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。

動画像符号化装置１の予測画像選択部１１１では、ＳＡＤＤ計算部２０１により、差分画像に係るＤＣ成分及びＡＣ成分（ＡＣ成分画像）に基づいた歪指標値ＳＡＤＤを求め、この歪指標値ＳＡＤＤを用いて、予測画像の選択を行っている。歪指標値ＳＡＤＤは、ＳＡＤを用いるよりも周波数領域での歪に近く、ＳＡＴＤを用いるよりも演算量の少ない歪指標値である。さらに、歪指標値ＳＡＤＤは、差分画像に係るＡＣ成分を反映している。ＡＣ成分は空間変換せずに評価可能な成分であるため、歪指標値ＳＡＤＤは、特定の周波数成分に限定されないすべての周波数成分が考慮された歪指標値となる。したがって、ＳＡＤＤ計算部２０１では、従来技術（ＳＡＤ、ＳＡＴＤ等）よりも、少ない処理量で高精度な予測画像の評価を行うことができる。

（Ｂ）第２の実施形態
以下、本発明による画像評価処理装置及びプログラム、並びに、動画像符号化装置及びプログラムの第２の実施形態を、図面を参照しながら詳述する。第２の実施形態では、本発明の画像評価処理装置を、ＳＡＤＤ計算部として実現した例について説明する。

（Ｂ−１）第２の実施形態の構成
第２の実施形態の動画像符号化装置１Ａの全体構成も、上述の図２を用いて示すことができる。

第２の実施形態の動画像符号化装置１Ａでは、予測画像選択部１１１が予測画像選択部１１１Ａに置き換わっている点で第１の実施形態と異なっている。

そして、図６は、第２の実施形態の動画像符号化装置１Ａに搭載される予測画像選択部１１１Ａの機能的構成について示したブロック図であり、上述の図３と同一又は対応する部分には同一又は対応する符号を付している。

第２の実施形態の予測画像選択部１１１Ａでは、ＳＡＤ計算部２０５、ＳＡＴＤ計算部２０６、及び歪指標値制御部２０７が追加されている点で第１の実施形態と異なっている。第２の実施形態の予測画像選択部１１１Ａでは、歪指標値として、３種類の値（ＳＡＤＤ、ＳＡＤ、及びＳＡＴＤ）のいずれかが算出され、歪指標値制御部２０７の制御に応じたいずれかの歪指標値が、コスト計算部２０３に供給されるものとする。歪指標値制御部２０７の制御内容の詳細については後述する動作説明において説明する。

次に、ＳＡＤ計算部２０５の詳細について説明する。ＳＡＤ計算部２０５は、予測画像ブロックＰの候補ごとに歪指標値ＳＡＤを計算する。

図７は、ＳＡＤ計算部２０５の内部構成について示したブロック図である。

ＳＡＤ計算部２０５は、差分計算部４０１及び絶対値和計算部４０２を有している。

差分計算部４０１は、対象画像ブロックＯ（ｉ、ｊ）と、これに対する歪を評価する予測画像ブロックＰについて、画素ごとの差分値Ｄｉｆｆ（ｉ、ｊ）が求める。具体的には、差分計算部４０１は、上記の（１）式により、差分値Ｄｉｆｆ（ｉ、ｊ）を求めることができる。

そして、絶対値和計算部４０２は、差分値Ｄｉｆｆ（ｉ、ｊ）の絶対値和を求めて、歪指標値ＳＡＤとして出力する。絶対値和計算部４０２は、例えば、上記（２）式によりＳＡＤを求めることができる。

次に、ＳＡＴＤ計算部２０６の詳細について説明する。ＳＡＴＤ計算部２０６は、予測画像ブロックＰの候補ごとに歪指標値ＳＡＴＤを計算する。

図８は、ＳＡＴＤ計算部２０６の内部構成について示したブロック図である。

ＳＡＴＤ計算部２０６は、差分計算部５０１、アダマール変換部５０２、及び絶対値和計算部５０３を有している。

差分計算部５０１は、対象画像ブロックＯ（ｉ、ｊ）と、これに対する予測画像ブロックＰ（ｉ、ｊ）について、画素ごとの差分値Ｄｉｆｆ（ｉ、ｊ）を求める。差分計算部５０１は、上記の（１）式により、差分値Ｄｉｆｆ（ｉ、ｊ）を求めることができる。

アダマール変換部５０２は、差分値Ｄｉｆｆ（ｉ、ｊ）をアダマール変換して変換係数を得るものである。アダマール変換部５０２は、例えば、上記の（４）式により差分値に係るアダマール変換を行い、変換係数ＤｉｆｆＴ（ｉ，ｊ）を得ることができる。なお、アダマール変換部５０２は、対象ブロックのサイズに応じて、使用するアダマール変換の変換行列を４×４サイズ、８×８サイズ等切りかえるように構成しても良い。

そして、絶対値和計算部５０３は、アダマール変換部５０２が得た変換係数の絶対値和を歪指標値ＳＡＴＤとして出力するものである。絶対値和計算部５０３は、例えば、上記の（５）式により、歪指標値ＳＡＴＤを求めることができる。

（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態の動画像符号化装置１Ａ（予測画像選択部１１１Ａ）の動作について、第１の実施形態との差異を中心に説明する。

動画像符号化装置１Ａを構成する予測画像選択部１１１Ａの処理についても、第１の実施形態と同様のフローチャート（上述の図４）により示すことができる。

第２の実施形態の予測画像選択部１１１Ａでは、ステップＳ１０１の動作（歪指標値を計算してコスト計算部２０３に供給する動作）が異なるだけである。

第２の実施形態のステップＳ１０１では、予測画像選択部１１１ＡのＳＡＤＤ計算部２０１、ＳＡＤ計算部２０５、及びＳＡＴＤ計算部２０６のそれぞれに、画面分割部１０１からの対象画像ブロックＯ、インター予測部１０９からの予測画像ブロックＰの複数の候補、又はイントラ予測部１１０からの予測画像ブロックＰの複数の候補が供給されたものとする。そして、歪指標値制御部２０７の制御に応じて、ＳＡＤＤ計算部２０１、ＳＡＤ計算部２０５、又はＳＡＴＤ計算部２０６のいずれかが選択され、選択された計算部で歪指標値（ＳＡＤＤ、ＳＡＤ、又はＳＡＴＤのいずれか）が計算され、コスト計算部２０３に供給される。

歪指標値制御部２０７が、歪指標値を取得する計算部を選択する方式については限定されないものである。例えば、整数画素精度動きベクトル探索の場合、歪指標値制御部２０７は、ＳＡＤ計算部２０５（ＳＡＤ）を選択するようにしてもよい。また、サブピクセル精度動きベクトル探索の場合、歪指標値制御部２０７は、ＳＡＤＤ計算部２０１（ＳＡＤＤ）を選択するようにしてもよい。さらに、歪指標値制御部２０７は、ユーザ設定（プログラミング等）に基づいて、歪指標値の計算部を選択するようにしてもよい。さらにまた、歪指標値制御部２０７は、動画像符号化装置１の構成要素の負荷状態等に基づいて、歪指標値の計算部を選択するようにしてもよい。

（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、第１の実施形態の効果に加えて、以下のような効果を奏することができる。

以上のように、第２の実施形態によれば以下のような効果が得られる。

符号化効率と演算処理量のトレードオフについて、ＳＡＤとＳＡＴＤの中間的な性能をもつ歪指標を選択することが可能となり、ＳＡＤを用いるよりも符号化効率を向上させ、ＳＡＴＤを用いるよりも演算量の少ない符号化処理を行うことができる。

（Ｃ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。

（Ｃ−１）上記の各実施形態では、画像評価処理装置としてのＳＡＤＤ計算部は、動画像符号化装置の一部を構成するものとして説明したが、ＳＡＤＤ計算部を独立した装置（画像評価処理装置）として構築するようにしてもよい。その場合、本発明の画像評価処理装置の機能的構成は、図１のように示すことができる。なお、本発明の画像評価処理装置は、プロセッサ及びメモリ等を有するコンピュータ（１台に限定されず、複数台を分散処理し得るようにしたものであっても良い。）に、本発明の画像評価処理プログラム等をインストールすることにより構築しても良く、その場合でも、機能的には上述の図１のように示すことができる。

（Ｃ−２）上記の各実施形態では、本発明の画像評価処理装置（ＳＡＤＤ計算部）を動画像符号化装置に適用する例について説明したが、本発明の画像評価処理装置の用途はこれに限定されず、任意の画像間の歪の評価（歪指標値ＳＡＤＤの算出）を必要とする種々の画像処理に適用することができる。

１…動画像符号化装置、１０１…画面分割部、１０２…空間変換部、１０３…量子化部、１０４…エントロピー符号化部、１０５…逆量子化部、１０６…逆空間変換部、１０７…ループ内フィルタ部、１０８…参照画像バッファ、１０９…インター予測部、１１０…イントラ予測部、１１１…予測画像選択部、１１２…残差信号生成部、１１３…復号画像生成部、１１４…予測画像制御部、２０１…ＳＡＤＤ計算部、２０２…予測情報符号量計算部、２０３…コスト計算部、２０４…コスト最小予測選択部、３０１…差分計算部、３０２…ＤＣ成分抽出部、３０３…ＡＣ成分抽出部、３０４…歪指標計算部。

Claims (10)

1. 第１の画像と第２の画像の差分に係るＤＣ成分を抽出するＤＣ成分抽出手段と、
   上記第１の画像と上記第２の画像の差分に係るＡＣ成分を抽出するＡＣ成分抽出手段と、
   上記ＤＣ成分と、上記ＡＣ成分に基づいて、上記第１の画像と上記第２の画像との間の歪を評価する歪評価値を計算する歪評価値計算手段と
   を有することを特徴とする画像評価処理装置。
2. 上記第１の画像と上記第２の画像との間の画素ごとの差分値を求める差分計算手段をさらに備え、
   上記ＤＣ成分抽出手段は、上記差分計算手段が求めた画素ごとの差分値の総和をＤＣ成分として求め、
   上記ＡＣ成分抽出手段は、上記差分計算手段が求めた画素ごとの差分値のそれぞれから、上記差分計算手段が求めた画素ごとの差分値の平均値を減算した値で示されるＡＣ成分画像をＡＣ成分として求める
   ことを特徴とする請求項１に記載の画像評価処理装置。
3. 上記歪評価値計算手段は、上記ＤＣ成分抽出手段で求めた総和の絶対値と、上記ＡＣ成分抽出手段で求めたＡＣ成分画像の各画素値の絶対値和との加重和を、歪評価値として算出することを特徴とする請求項２に記載の画像評価処理装置。
4. 動画像を構成する対象画像に対応する複数の予測画像を生成する予測画像生成手段と、
   上記予測画像生成手段が生成した予測画像のそれぞれについて、当該予測画像の上記対象画像に対する歪を評価する画像評価処理手段と、
   少なくとも上記画像評価処理手段の評価結果を利用して、上記予測画像生成手段が生成したいずれかの予測画像を選択する予測画像選択手段と、
   上記対象画像と、上記予測画像選択手段が選択した予測画像との残差信号に基づいて、上記動画像の符号化処理を行う符号化手段とを有し、
   上記画像評価処理手段は、
   上記対象画像と上記予測画像の差分に係るＤＣ成分を抽出するＤＣ成分抽出手段と、
   上記対象画像と上記予測画像の差分に係るＡＣ成分を抽出するＡＣ成分抽出手段と、
   上記ＤＣ成分と、上記ＡＣ成分に基づいて、上記対象画像と上記予測画像との間の歪を評価する歪評価値を計算する歪評価値計算手段とを有する
   ことを特徴とする動画像符号化装置。
5. 上記予測画像ごとに、予測画像生成に係る情報を上記符号化手段が符号化した場合の符号量を計算する符号量計算手段と
   上記予測画像ごとに、上記画像評価処理手段が評価結果として算出した歪評価値と、上記符号量計算手段が計算した符号量との加重和に基づいて、符号化に係るコスト値を算出するコスト計算手段とをさらに備え、
   上記予測画像選択手段は、上記コスト計算手段で計算したコスト値が最も低い上記予測画像を選択する
   ことを特徴とする請求項４に記載の動画像符号化装置。
6. 請求項１〜３のいずれかに記載の画像評価処理装置を適用した上記画像評価処理手段以外に、１又は複数の他の上記画像評価処理手段をさらに有し、
   いずれかの上記画像評価処理手段を選択する画像評価処理選択手段をさらに有し、
   上記予測画像選択手段は、上記画像評価処理選択手段が選択した上記画像評価処理手段が求めた歪評価値を利用して、上記予測画像生成手段が生成したいずれかの予測画像を選択する
   ことを特徴とする請求項４又は５に記載の動画像符号化装置。
7. 上記他の画像評価処理手段の１つとして、上記対象画像と予測画像の差分に係る絶対値和を、歪評価値としてもとめる画像評価処理手段を適用したことを特徴とする請求項６に記載の動画像符号化装置。
8. 上記他の画像評価処理手段の１つとして、上記対象画像と予測画像の差分をアダマール変換した変換係数の絶対値和を、歪評価値として求める画像評価処理手段を適用したことを特徴とする請求項６又は７に記載の動画像符号化装置。
9. コンピュータを、
   第１の画像と第２の画像の差分に係るＤＣ成分を抽出するＤＣ成分抽出手段と、
   上記第１の画像と上記第２の画像の差分に係るＡＣ成分を抽出するＡＣ成分抽出手段と、
   上記ＤＣ成分と、上記ＡＣ成分に基づいて、上記第１の画像と上記第２の画像との間の歪を評価する歪評価値を計算する歪評価値計算手段と
   して機能させることを特徴とする画像評価処理プログラム。
10. コンピュータを、
    動画像を構成する対象画像に対応する複数の予測画像を生成する予測画像生成手段と、
    上記予測画像生成手段が生成した予測画像のそれぞれについて、当該予測画像の上記対象画像に対する歪を評価する画像評価処理手段と、
    少なくとも上記画像評価処理手段の評価結果を利用して、上記予測画像生成手段が生成したいずれかの予測画像を選択する予測画像選択手段と、
    上記対象画像と、上記予測画像選択手段が選択した予測画像との残差信号に基づいて、上記動画像の符号化処理を行う符号化手段として機能させ、
    上記画像評価処理手段は、
    上記対象画像と上記予測画像の差分に係るＤＣ成分を抽出するＤＣ成分抽出手段と、
    上記対象画像と上記予測画像の差分に係るＡＣ成分を抽出するＡＣ成分抽出手段と、
    上記ＤＣ成分と、上記ＡＣ成分に基づいて、上記対象画像と上記予測画像との間の歪を評価する歪評価値を計算する歪評価値計算手段とを有する
    ことを特徴とする動画像符号化プログラム。

Images