JP2008172581A - 画像符号化装置及び画像符号化プログラム - Google Patents

Abstract

【課題】イントラ予測を用いた画像符号化装置において、予測モード判定の精度を低下させずに少ない演算量で予測モード判定を可能とする画像符号化装置を提供する。
【解決手段】画像符号化装置は、入力した動画像の画素値をブロック単位で直交変換する入力画素変換手段（１１）と、ブロックの隣接画素の画素値を用いて複数の予測モードについて、ブロック単位の動画像の予測画素値を直交変換した値を演算する予測画素変換手段（１２〜１５）と、複数の予測モード毎に、入力画素変換手段（１１）からの出力と、予測画素変換手段（１２〜１５）からの出力との差分を求める差分手段（１６）と、複数の予測モード毎の差分手段の出力から一つの予測モードを決定する予測モード判定手段（１０）とを備える。
【選択図】図２

Description

本発明は画像符号化装置に関し、特にイントラ予測符号化を用いた符号化装置に関する。

動画像をディジタル化して伝送及び記録する装置では、膨大なデータ量を処理する必要があることから、通常、画像を圧縮してデータ量を小さくした後、動画像の伝送及び記録を行う。

放送用の分野においては、インサート編集などのフレーム単位の編集が多用されるため、フレーム間の相関を利用しないイントラフレーム方式の圧縮方式が採用されている。

例えば、ＤＶＣＰＲＯ方式の圧縮では、水平方向に７２０画素の輝度信号と、水平方向に１８０画素の色信号（以下「４：１：１信号」と称す。）を入力し、水平方向に３２画素、垂直方向に１６画素の単位マクロブロックを構成し、そして、単位マクロブロックにおいて水平８画素×垂直８画素を１ブロックとし、４ブロックの輝度信号と、１ブロックのＣｂ色信号と、１ブロックのＣｒ色信号とをそれぞれＤＣＴ変換し、その後に量子化、可変長符号化することにより、データ量を約１／５に圧縮している。ＤＶＣＰＲＯ方式の圧縮はＶＴＲ用の圧縮方式であり、磁気テープ傷やヘッド目詰まりに起因するバーストエラーの影響を最小化するために、隣接ブロックの相関を利用しない、誤り伝播が少ない圧縮方式を採用している。

しかしながら、ＨＤＤ（ハードディスクドライブ）や半導体メモリなどの比較的エラーの少ない記録メディアの大容量化が進むに連れ、放送用の画像圧縮方式は、フレーム内で、隣接ブロックの相関を利用して圧縮率を高める方式の検討が進められつつある。次世代動画像符号化方式H.264では、ブロック間の相関を利用したイントラ予測符号化が採用されている。

図１０に、従来のイントラ予測方法によりイントラ予測を実施するイントラ予測部の構成を示す。イントラ予測部９は事前に分割されたブロック単位の画像データに対して、複数の予測モードを用いて画素値の予測を行う。すなわち、イントラ予測部９は、ブロック単位で、隣接画素の値を受け、各予測モード毎に画像データを予測する。そして、事前にブロック化された入力画素データと、イントラ予測部９で予測された予測データとの差分を予測モード毎に算出する。その後、予測モード毎に算出した差分に対して２次元アダマール変換を実施し、各要素の絶対値の和を計算する。そして、予測モード間で、計算された各要素の絶対値の和を比較することにより、１つの最適な予測モードを決定する。

従来の画像符号化装置では、以上のようにして決定された最適なイントラ予測モードを用いて予測画素値を算出する。その後、入力画像データと、最適なイントラ予測モードの予測画素値との差分行列をブロック毎にＤＣＴ変換（離散コサイン変換）し、さらにＤＣＴ変換後に量子化、エントロピー符号化処理をして圧縮データとして出力する。このように、イントラ予測した画素値と入力画像データの差分を圧縮していくことから、予測モード判定において予測誤差行列の大きさが最小な予測モードを選択することが、圧縮効率を高めるための重要な要素である。

JVT（Joint Video Team）が作成したH.264のReferenceプログラムでは、各モードの予測誤差行列をＤＣＴブロック毎に２次元アダマール変換し、2次元アダマール変換後の行列要素の絶対値を加算した結果、最小となる予測モードを採用している。

上記の方法では、以下のステップを実行する必要があり、計算量が膨大となり、ハードウェア化が非常に困難であった。
（１）各予測モードにおいて、ブロック毎に、隣接画素から予測画素行列を求めるステップ
（２）各予測モードにおいて、ブロック毎に、現画像と（１）で求めた予測画素の差分を要素とした予測誤差行列を求めるステップ
（３）各予測モードにおいて、ブロック毎に、（２）で求めた予測誤差行列を２次元アダマール変換するステップ
（４）各予測モードにおいて、ブロック毎に、（３）のアダマール変換後の行列の各要素の絶対値を加算するステップ
（５）（４）の結果より、誤差が最小となる予測モードを選択するステップ

上記課題を解決するため、特許文献１では、マクロブロック内の画素データの水平および垂直の差分和を検出し、その差分和を基にマクロブロックの相関方向を特定することにより、予測モードを決定している。
特開２００４−３０４７２４号

しかしながら、特許文献１の手法では概略の予測モードは判定できるが、水平または垂直方向の差分和の偏りが少ないマクロブロックの場合は、必ずしも予測誤差が最小になるとは限らない。この結果、最適な予測モードが選択されない場合は、圧縮効率を低下させる要因となる、といった課題があった。

本発明の目的は、イントラ予測を用いた画像符号化装置において、予測モード判定の精度を低下させずに少ない演算量で予測モード判定を可能とする画像符号化装置を提供することにある。

本発明の第１の態様において、動画像データを入力し、複数の予測モードの中の少なくとも一つの予測モードを用いて所定のブロック単位の動画像データを各ブロックの周辺画素から予測し、予測した動画像データを用いて前記入力した動画像データを符号化する画像符号化装置が提供される。画像符号化装置は、入力した動画像の画素値を、ブロック単位で直交変換する入力画素変換手段と、ブロックの隣接画素の画素値を用いて複数の予測モードについて、ブロック単位の動画像の予測画素値を直交変換した値を演算する予測画素変換手段と、複数の予測モード毎に、入力画素変換手段からの出力と、予測画素変換手段からの出力との差分を求める差分手段と、複数の予測モード毎の差分手段の出力から一つの予測モードを決定する予測モード判定手段とを備える。

予測画素変換手段は、隣接画素からＤＣ予測モードで予測した画素値の直交変換後の値を求めるＤＣ予測用変換手段と、隣接画素から水平予測モードで予測した画素値の直交変換後の値を求める水平予測用変換手段と、隣接画素から垂直予測モードで予測した画素値の直交変換後の値を求める垂直予測用変換手段と、隣接画素から平面予測モードで予測した画素値の直交変換後の値を求める平面予測用変換手段とを含んでもよい。

予測画素変換手段は、隣接画素のＤＣ成分、隣接画素の低域水平成分、隣接画素の低域垂直成分のそれぞれに対して２次元直交変換を実施し、その２次元直交変換の結果の総和を求めることによって、予測画素値を直交変換した値を求めてもよい。

入力画素変換手段及び予測画素変換手段により実行される直交変換は、２次元アダマール変換であってもよい。

予測画素変換手段は、所定の計算式に前記ブロックの隣接画素を代入することにより、予測画素値を直交変換した値を求めてもよい。

入力画素変換手段は、２次元直交変換行列の低域成分のみの演算を行ってもよい。

H.264に準拠したイントラ予測により画素値を予測してもよい。

本発明の第２の態様において、動画像データを入力し、複数の予測モードの中の少なくとも一つの予測モードを用いて所定のブロック単位の動画像データを各ブロックの周辺画素から予測し、予測した動画像データを用いて前記入力した動画像データを符号化するための画像符号化プログラムが提供される。その画像符号化プログラムは、プログラミング可能な制御手段に、入力した動画像の画素値をブロック単位で直交変換する入力画素変換手順と、ブロックの隣接画素の画素値を用いて、複数の予測モードについて、ブロック単位の動画像の予測画素値を直交変換した値を演算する予測画素変換手順と、複数の予測モード毎に、入力画素変換手順により得られる出力と、予測画素変換手順により得られる出力との差分を求める差分手順と、複数の予測モード毎の差分手段の出力から一つの予測モードを決定する予測モード判定手順とを実行させる。

本発明の画像符号化装置によれば、演算量の多い直交変換演算を入力画素に対してのみ実施する。これにより、予測モード判定の精度を低下させずに、予測モード毎に直交変換を実施する従来の手法と比較して大幅に計算量を低減できる。

また、予測画素演算が複雑な予測モードにおいても、予測画素の導出式を２次元直交変換の導出を容易に実施できる複数の成分に分解することによって、等価的に導出可能であり、予測モード毎に直交変換を実施する従来の手法と比較して大幅に計算量を低減できる。さらに、従来の方式が複数の予測モードにおける予測画素をすべて算出してから予測誤差の直交変換を実施するのに対して、隣接画素の値から容易に予測誤差の直交変換後の値を得られるため、より計算量を低減できる。

以上より、最適なイントラ予測モードを効率よく求めることができるので、ハードウェアの規模縮小、低消費電力化、ソフトウェアの高速化が実現できる。

以下、添付の図面を参照して本発明の実施形態について説明する。

１．画像符号化装置の構成
図１に、本発明に係る画像符号化装置の構成を示す。画像符号化装置は、入力した画像データをブロック化するブロッキング部１と、入力した画像データの画素値と予測した画素値との差分を算出する差分算出部２と、差分に対してＤＣＴ変換処理を行うＤＣＴ部３と、ＤＣＴ変換後の値を量子化する量子化部４と、量子化されたデータを符号化する符号化部５とを備える。さらに、画像符号化装置は、イントラ予測を行うための構成要素として、逆量子化処理を行う逆量子化部６と、逆ＤＣＴ変換処理を行う逆ＤＣＴ部７と、隣接画素の画素値を記憶する隣接画素記憶部８と、Ｈ．２６４のイントラ予測方式にしたがい複数の予測モードに対してイントラ予測を行い、最適な予測モードを判定する予測モード判定部１０とを備える。

以上のように構成される画像符号化装置の全体動作は概ね以下のとおりである。
ブロッキング部１は画像データを入力し、入力画像データを、輝度信号について水平１６画素×垂直１６画素からなるブロック単位に分割する。差分算出部２は、ブロック単位で、予測モード判定部１０により決定された予測モードで生成された予測画素と、入力画像データの画素との差分を計算する。ＤＣＴ変換部３は、差分算出部２の出力データに対して、直交変換を行う。量子化部４はＤＣＴ変換部３の出力データに対して量子化を行う。符号化部５は、量子化部４の出力を算術符号等の可変長符号によって符号化し、圧縮画像データとして出力する。

また、画像符号化装置においてイントラ予測を行うため、逆量子化部６は量子化部４の出力に対して逆量子化を施す。逆ＤＣＴ部７は逆量子化部６の出力に対して逆ＤＣＴ変換を行う。隣接画素記憶部８は逆ＤＣＴ部７によって得られたデータから、次のブロック境界に関するデータ（隣接画素のデータ）を一時的に記憶する。

予測モード判定部１０は隣接画素記憶部８に一時的に記憶されている、ブロックの隣接画素のデータの直交変換を行うとともに、入力画素データの画素データの直交変換を行う。その後、予測モード判定部１０は、予測モード毎に、予測した画素値と入力した画素値との差分を計算し、差分値が最も小さい予測モードを最適な予測モードとして決定する。予測モード判定部１０で決定された最適な予測モードにしたがい差分算出部２が画素の予測を行う。

２．予測モード判定部
イントラ予測モードの判定を行う予測モード判定部１０の構成、動作の詳細を説明する。予測モード判定部１０は、イントラ予測モードとして、ＤＣ予測モード、垂直予測モード、水平予測モード、及び平面予測モードの４つのモードを実装し、入力画素に基づき複数の予測モードの中から最適なイントラ予測モードを決定する。なお、以下では、色信号についての予測モード判定部１０による予測モードの判定動作について説明する。

図２に予測モード判定部１０の構成を示す。予測モード判定部１０は、２次元アダマール変換部１１と、４つの変形アダマール変換部１２〜１５と、差分算出部１６と、比較部１７とを備える。

２次元アダマール変換部１１は入力画像データの２次元アダマール変換（直交変換）を行う。ＤＣ予測モードに対する変形アダマール変換部１２は、隣接画素データを用いてＤＣ予測モードで予測された予測画素データをアダマール変換して得られる結果を、所定の計算式を用いて等価的に求める。垂直予測モードに対する変形アダマール変換部１３は、隣接画素データを用いて垂直予測モードで予測された予測画素データをアダマール変換して得られる結果を、所定の計算式を用いて等価的に求める。水平予測モードに対する変形アダマール変換部１４は、隣接画素データを用いて水平予測モードで予測された予測画素データをアダマール変換して得られる結果を、所定の計算式を用いて等価的に求める。平面予測モードに対する変形アダマール変換部１５は、隣接画素データを用いて平面予測モードで予測された予測画素データをアダマール変換して得られる結果を、所定の計算式を用いて等価的に求める。各変形アダマール変換部１２〜１５の動作の詳細は後述する。差分算出部１６は、２次元アダマール変換部１１の出力と、各変形アダマール変換部１２〜１５それぞれからの出力との差分を求め、２次元行列の各要素の絶対値和を計算する。比較部１７は、差分算出部１６からの各予測モードに対する差分を比較して、絶対値和の最小な予測モードを最適な予測モードとして決定する

２．１ イントラ予測
最初にイントラ予測について説明する。H.264のハイ・プロファイルでは、放送用の画質に対応するため、4:2:2方式の画像データの圧縮をサポートしている。4:2:2方式の水平方向の有効画素は、輝度信号については７２０画素、Ｃｂ，Ｃｒの各色信号については３６０画素であり、水平１６画素×垂直１６画素の輝度信号と、水平８画素×垂直１６画素のＣｂ／Ｃｒ色信号からなるマクロブロックが圧縮の基本単位となる。図３は、H.264のマクロブロックの構成図である。同図（ａ）は輝度信号の構成を示し、同図（ｂ）はＣｂおよびＣｒからなる色信号の構成を示す。同図に示すように、輝度信号に関して、単位マクロブロックは、水平８画素×垂直８画素からなる、４個のＤＣＴブロックＹ０〜Ｙ３によって構成される。Ｃｂ／Ｃｒの各色信号に関して、単位ブロックは、水平４画素×垂直４画素からなる、８個のＤＣＴブロックＣ０〜Ｃ７によって構成されている。

次に、色信号のイントラ予測について図４、５を参照して説明する。図４は、色信号のマクロブロックとその隣接画素を示した図である。同図において、マクロブロックは８つのＤＣＴブロックＣ０〜Ｃ７で構成され、そのマクロブロックの垂直及び水平方向に隣接画素p(x,y)（ｘ=-1,ｙ＝-1〜15;y=-1,x=-１〜７）を考える。

図５は各予測モード毎のイントラ予測の概念を説明した図である。図５（ａ）は色信号のＤＣＴブロック（４×４画素）とその隣接画素とを示す。図４に示すマクロブロック内の８個のＤＣＴブロックＣ０〜Ｃ７において、各ＤＣＴブロック毎に隣接ブロックの定義と、隣接画素を使用した予測画素の定義式は異なるが、以下の説明では、代表例としてＤＣＴブロックＣ０を用いてイントラ予測について説明する。

図５（ａ）に示すＤＣＴブロックは４×４画素ブロックであり、１６個の画素a〜ｐを含む。このＤＣＴブロックの垂直方向において隣接画素Ａ〜Ｄが、水平方向において隣接画素Ｅ〜Ｈが隣接する。

図５（ｂ）は垂直（Vertical）予測、図５（ｃ）は水平（Horizontal）予測、図５（ｄ）はＤＣ予測、図５（ｅ）は平面（Plane）予測の概念を説明した図である。各予測モードにおいて、図５(a)の隣接ブロックＡ〜Ｄの水平画素群と同図の隣接ブロックＥ〜Ｈの垂直画素群とから、図５(a)に示すブロック内の画素a〜pの値を予測する。

以下、図５の(b)、(c)、(d)、(e)に示す各イントラ予測モードにおけるブロック内画素の予測値は以下のように算出できる。なお、以下の式は、図４に示すブロックＣ０に対する計算式であるが、他のブロックについてもほぼ同様の計算式で求められる。

ｉ）垂直予測モード
画素a、ｅ、ｉ、ｍ ＝ P(0,-1)
画素b、 f、 j、 ｎ ＝ P(1,-1)
画素c、 g、 k、 o ＝ P(2,-1)
画素d、 h、 l、 p ＝ P(3,-1)
ii）水平予測モード
画素a、ｂ、ｃ、ｄ ＝ P(-1,0)
画素ｅ、ｆ、ｇ、ｈ ＝ P(-1,1)
画素i、ｊ、ｋ、ｌ ＝ P(-1,2)
画素ｍ、ｎ、ｏ、p ＝ P(-1,3)
iii）ＤＣ予測モード
画素ａ〜ｐ＝｛P(0,-1)＋P(1,-1)＋P(2,-1)＋P(3,-1)
＋P(-1,0)＋P(-1,1)＋P(-1,2)＋P(-1,3)｝／８
iv）平面予測モード
画素p(x、y)＝｛α＋β(x-3)＋γ(y-7)｝／３２
（０≦ｘ≦７，０≦ｙ≦１５） （１）
上記の式（１）において、ｘ及びｙは、図４に示すマクロブロック内の画素位置を示す。例えば、図３のＤＣＴブロックＣ０について、図５(a)の符号ａで示す位置(x,y)＝(0,0)である。同様に符号ｂで示す位置は(1,0)、符号ｃで示す位置は(2,0)、符号dで示す位置は(3,0)、符号eで示す位置は(0,1)、…、符号ｐで示す位置は(3,3)となる。

同様に、ＤＣＴブロックＣ１について、図５(a)の符号ａで示す位置(x,y)＝(4,0)、符号ｂで示す位置は(5,0)、符号ｃで示す位置は(6,0)、符号dで示す位置は(7,0)、符号eで示す位置は(4,1)、…、符号ｐで示す位置は(7,3)となる。さらに、ＤＣＴブロックＣ７について、符号ａで示す位置(x,y)＝(4,12)、符号ｂで示す位置は(5,12)、符号ｃで示す位置は(6,12)、符号dで示す位置は(7,12)、符号eで示す位置は(4,13)、…、符号ｐで示す位置は(7,15)となる。

また、式（１）において、α、β、γは次式で得られる。
α＝１６｛P(-1,15)＋P(7,-1)｝
β＝（３４×Ｈ＋３２）／６４
γ＝（５×Ｖ＋３２）／６４
ここで、P(-1,15)、P(7,1)は図４で示す隣接画素の値、Ｈ、Ｖは下記に示す値である。
Ｈ＝Σ{(x+1)(P(4+x,-1)−P(2-x,-1))}（ｘ＝0,1,2,3）
Ｖ＝Σ{(y+1)(P(-1,8+y)−P(-1,6-y))}（ｘ＝0,1,2,3,4,5,6,7）

上記のようにα、β、γは、マクロブロックの隣接画素と、そのＤＣＴブロックのマクロブロック内での位置が決定すれば、定数となるパラメータである。

２．２ イントラ予測判定部によるイントラ予測
前述のように、予測モード判定部１０は、１）ＤＣ予測、２）水平予測、３）垂直予測、４）平面予測の４つのモードを実装しており、４つの予測モードの中で最適な予測モードを１つ抽出し、抽出した最適な予測モードの情報を差分算出部２に出力する。

本実施形態では、最適予測モードの判定に２次元アダマール変換を利用している。H.264においては、入力画像データと予測画素データの差分を符号化するため、ラスタ側の水平４画素×垂直４画素からなる１６画素の短冊系のブロック単位にアダマール変換をおこなうことにより、最適予測モードを求めることが定められている。

１６画素からなるブロックの入力画像データの２次元行列をＸ、そのブロックの予測画素の２次元行列をＰとすると、入力画像データと予測画素データの差分行列Ｙは次式で表される。
Ｙ＝Ｘ−Ｐ

アダマール変換行列をＨとすると、Ｙを2次元アダマール変換した予測誤差行列Ａは次式となる。
Ａ＝Ｈ（Ｘ−Ｐ）Ｈ （２）
ここで、
Ｈ（ｉ,0）＝(1,1,1,1) （0≦ｉ≦３） （２−１）
Ｈ（ｉ,1）＝(1,1,-1,-1) （0≦ｉ≦３） （２−２）
Ｈ（ｉ,2）＝(1,-1,-1,1) （0≦ｉ≦３） （２−３）
Ｈ（ｉ,3）＝(1,-1,1,-1) （0≦ｉ≦３） （２−４）

従来の最適予測モードの判定では、上記行列Ａの各要素の絶対値の和を計算していた。すなわち、色信号の場合、マクロブロックを構成する全てのＤＣＴブロックの予測誤差行列Ａの有意係数の絶対値和（ABS_BLK）を求め、ABS_BLKを、１つのＤＣＴブロック内に含まれるマクロブロックの個数分加算して、各予測モードの予測誤差の電力値（Σ（ABS_BLK））を求める。そして、各予測モードの予測誤差の電力値Σ（ABS_BLK）が最小となる予測モードを選択して、最適予測モードとしていた。

これに対して、本発明では、式（２)を以下のように変形し、入力画素データ、予測画素それぞれに２次元アダマール変換を実施し、その後にそれらの差分を求めることによって、予測誤差の２次元アダマール変換行列Ａを求める。
Ａ＝Ｈ（Ｘ−Ｐ）Ｈ＝ＨＸＨ−ＨＰＨ （３）

すなわち、本実施形態では、まず、入力画素データ及び各予測モード毎の予測画素データのそれぞれについてアダマール変換を行い、変換後の入力画素データ（ＨＸＨ）と、変換後の各予測モードでの予測画素データ（ＨＰＨ）との差分（Ａ）を求め、各差分に基づいて最適な予測モードを決定する。

２．２．１ 変形アダマール変換
予測モード判定部１０における各変形アダマール変換部１２〜１５による、画素データの２次元アダマール変換（ＨＸＨ）について説明する。

２次元画素データ行列はランダムな値であるため、２次元アダマール変換を施した画素データの２次元アダマール変換結果もランダムな値となる。しかしながら、上記の各予測モードにより予測された隣接画素の２次元アダマール変換結果を算出するために、全係数を求める必要はなく、低域係数のみを算出すればよい。

すなわち、予測画素データはブロックの隣接画素から作成されるため、予測画素行列を構成する各々の係数の相関性は大きい。よって、予測画素行列にアダマール変換を一旦施せば、アダマール変換後の予測画素行列の各要素は、単純な式で導出可能である。

以下、各予測モードでの予測画素データの２次元アダマール変換の計算方法について述べる。本実施形態では、ＤＣ予測モードの変形アダマール変換部１２、垂直予測モードの変形アダマール変換部１３、水平予測モードの変形アダマール変換部１４、及び平面予測モードの変形アダマール変換部１５は、隣接画素データを入力し、隣接画素データから各予測モードで予測画素データを求め、その予測画素データについて変形アダマール変換を実施する。

（１）ＤＣ予測
図６を参照し、ＤＣ予測モードの変形アダマール変換部１２によるアダマール変換処理を説明する。同図（ａ）は、４×４画素のＤＣＴブロックをＤＣ予測して得られる予測画素行列を示した図である。同図（ｂ）は、同図（ａ）に示す予測画素行列を２次元アダマール変換した後の周波数軸行列である。

図６（ａ）に示すように、ＤＣ予測された予測画素行列の要素である予測画素Prev_DC(i,j)(i,j=0,1,2,3)は次式で表される。
Prev_DC(i,j)＝｛P(0,-1)＋P(1,-1)＋P(2,-1)＋P(3,-1)
＋P(-1,0)＋P(-1,1)＋P(-1,2)＋P(-1,3)｝／８
＝Ｍ （i,j=0,1,2,3）

上記ＤＣ予測された画素を２次元アダマール変換した値A_DC(i,j) (i,j=0,1,2,3)は次式で表される。
A_DC(0,0)＝２×｛P(0,-1)＋P(1,-1)＋P(2,-1)＋P(3,-1)
＋P(-1,0)＋P(-1,1)＋P(-1,2)＋P(-1,3)｝
＝１６×Ｍ
A_DC(i,j)＝０ （i,j=0,1,2,3、但し、i=j=0の場合を除く）

以上のように、ＤＣ予測による予測画素行列をアダマール変換した後の行列は、実質的に１つの係数（１６Ｍ）を求めることで得られる。

（２）垂直予測
図７を参照し、垂直予測モードの変形アダマール変換部１３によるアダマール変換処理を説明する。同図（ａ）は、４×４画素のＤＣＴブロックを垂直予測して得られる予測画素行列を示した図である。同図（ｂ）は、同図（ａ）に示す予測画素行列を２次元アダマール変換した後の周波数軸行列である。

図７（ａ）に示すように、垂直予測された予測画素Prev_V(i,j)（i,j=0,1,2,3）は次式で表される。
Prev_V(0,j)＝P(0,-1)＝A (j=0,1,2,3)
Prev_V(1,j)＝P(1,-1)＝B (j=0,1,2,3）
Prev_V(2,j)＝P(2,-1)＝C (j=0,1,2,3)
Prev_V(3,j)＝P(3,-1)＝D (j=0,1,2,3)

上記の垂直予測された予測画素を２次元アダマール変換した値A_V(i,j) (i,j=0,1,2,3)は次式で表される。
A_V(0,0)＝４×(A+B+C+D)＝V0
A_V(1,0)＝４×(A+B-C-D)＝V1
A_V(2,0)＝４×(A-B-C+D)＝V2
A-V(3,0)＝４×(A-B+C-D)＝V3
A_V(i,j)＝０（i=0,1,2,3；j=1,2,3）

以上のように、垂直予測による予測画素行列をアダマール変換した後の行列は、実質的に４つの係数（V0,V1,V2,V3）を求めることで得られる。

（３）水平予測
図８を参照し、水平予測モードの変形アダマール変換部１４によるアダマール変換処理を説明する。同図（ａ）は、４×４画素のＤＣＴブロックを水平予測して得られる予測画素行列を示した図である。同図（ｂ）は同図（ａ）に示す予測画素行列を２次元アダマール変換した後の周波数軸行列である。

図８（ａ）に示すように、水平予測された予測画素Prev_H(i,j)（i,j=0,1,2,3）は次式で表される。
Prev_H(i,0)＝P(-1,0)＝E (i=0,1,2,3)
Prev_H(i,1)＝P(-1,1)＝F (i=0,1,2,3）
Prev_H(i,2)＝P(-1,2)＝G (i=0,1,2,3)
Prev_H(i,3)＝P(-1,3)＝H (i=0,1,2,3)

上記水平予測された画素を２次元アダマール変換した値A_H(i,j)(i,j=0,1,2,3)は次式で表される。
A_H(0,0)＝４×(E+F+G+H)＝H0
A_H(0,1)＝４×(E+F-G-H)＝H1
A_H(0,2)＝４×(E-F-G+H)＝H2
A_H(0,3)＝４×(E-F+G-H)＝H3
A_H(i,j)＝０（i=1,2,3；j=0,1,2,3）

以上のように、水平予測による予測画素行列をアダマール変換した後の行列は、実質的に４つの係数（H0,H1,H2,H3）を求めることで得られる。

（４）平面予測
図９を参照し、平面予測モードの変形アダマール変換部１５によるアダマール変換処理を説明する。平面予測による予測画素をp(x,y)とすると、その計算式は次式となる。
p(x、y)＝α＋β(x-3)＋γ(y-7)＋16 （0≦ｘ≦7，0≦ｙ≦15） （４）
ここで、α、β、γは、マクロブロックの隣接画素から計算する値で、同一マクロブロックにおいては固定値である。

図４の各ＤＣＴブロックＣ０〜Ｃ７の左上の画素の座標(x0,y0)は以下のようになる。
ＤＣＴブロックＣ０の(x0、y0)＝（0,0）
ＤＣＴブロックＣ１の(x0、y0)＝（4,0）
ＤＣＴブロックＣ２の(x0、y0)＝（0,4）
ＤＣＴブロックＣ３の(x0、y0)＝（4,4）
ＤＣＴブロックＣ４の(x0、y0)＝（0,8）
ＤＣＴブロックＣ５の(x0、y0)＝（4,8）
ＤＣＴブロックＣ６の(x0、y0)＝（0,12）
ＤＣＴブロックＣ７の(x0、y0)＝（4,12）

式（４）は以下のように変換される。
p(x1,y1)＝α＋β(x1＋x0-3)＋γ(y1+y0-7) （４−１）
式（４−１）において、(x1,y1)は（０≦x1、y1≦３を満たす整数）であり、各ＤＣＴブロック内の２次元座標である。

各ＤＣＴブロックにおいて(x0,y0)は２次元定数であることから、式（４−１）をさらに変形すると、以下のようになる。
p(x1,y1)＝α＋β(x0-3)＋γ(y0-7)＋β×ｘ１＋γ×ｙ１ （４−２）

式（４−２）において、｛α＋β(x0-3)＋γ(y0-7)｝の項はブロックで一意に定まる定数であり、式（４−２）はさらに以下にように変形できる。
p(x1,y1)＝k＋β×ｘ１＋γ×ｙ１ （４−３）
ここで、ｋ＝α＋β(x0-3)＋γ(y0-7) （kは定数）

よって、平面予測による予測画素行列Ｐrev_pln（i,j）（i,j=0,1,2,3）は以下のような式に分解できる。
Prev_pln（i,j）＝Ｐ_DC（i,j）＋Ｐ_V（i,j）＋P_H（i,j） （５）
P_DC（i,j）＝k
Ｐ_V（0,j）＝０
Ｐ_V（1,j）＝β
Ｐ_V（2,j）＝2β
Ｐ_V（3,j）＝3β
Ｐ_H（i,0）＝０
Ｐ_H（i,1）＝γ
Ｐ_H（i,2）＝2γ
Ｐ_H（i,3）＝3γ

図９は、式（５）を展開した結果の行列式を表す。同図（ａ）はP_DC成分からなる２次元行列、同図（ｂ）はP_V成分からなる２次元行列、同図（ｃ）はP_H成分からなる２次元行列をそれぞれ示す。また、同図（ｄ）は、同図（ａ）に示す行列を２次元アダマール変換した後の変換行列を示し、同図（ｅ）は同図（ｂ）に示す行列を２次元アダマール変換した後の変換行列を示し、同図（ｆ）は同図（ｃ）に示す行列を２次元アダマール変換した後の変換行列を示した図である。

アダマール変換においては次式が成立する。
Ｈ（Prev_Pln）Ｈ＝Ｈ（Ｐ_ＤＣ＋Ｐ_Ｖ＋Ｐ_Ｈ）Ｈ
＝Ｈ（Ｐ_ＤＣ）Ｈ＋Ｈ（Ｐ_Ｖ）Ｈ＋Ｈ（Ｐ_Ｈ）Ｈ （６）

式（６)の第１項であるＨ（Ｐ−ＤＣ）ＨをA_DC(i,j)(i,j=0,1,2,3)とすると、次式が得られる。
A_DC(0,0)＝16k
A_DC(i,j)＝０ （i,j=0,1,2,3、但し、i=j=0の場合を除く）

また、式（６)の第２項であるH(P_V)HをA_V(i,j)(i,j=0,1,2,3)とすると、次式が得られる。
A_V(0,0)＝24β
A_V(1,0)＝-16β
A_V(2,0)＝０
A_V(3,0)＝-8β
A_V(i,j)＝０ （i=0,1,2,3; j=1,2,3）

また、式（６)の第３項であるH(P_H)Hを A_H(i,j)(i,j=0,1,2,3)とすると、次式が得られる。
A_H(0,0)＝24γ
A_H(0,1)＝-16γ
A_H(0,2)＝０
A_H(0,3)＝-8γ
A_H(i,j)＝０ （i=1,2,3; j=0,1,2,3）

よって、Planeで予測される予測画素を２次元アダマール変換した値をA_Plnとすると、次式が得られる。
A_Pln(i,j)＝A_DC(i,j)＋A_V(i,j)＋A_H(i,j) (i,j=0,1,2,3)

各項は以下のようになる。
A_Pln(0,0)＝１６ｋ＋２４β＋２４γ
A_Pln(1,0)＝−１６β
A_Pln(2,0)＝０
A_Pln(3,0)＝−８β
A_Pln(0,1)＝−１６
A_Pln(0,2)＝０
A_Pln(0,3)＝−８γ
A_Pln(i,j)＝０ （i,j=1,2,3）

以上のように、平面予測による予測画素行列をアダマール変換した後の行列は、実質的に５つの係数（１６ｋ＋２４β＋２４γ、−１６β、−８β、−１６γ、−８γ）を求めることで得られる。

したがって、各予測モードによるイントラ予測画素を２次元アダマール変換した場合に、有意係数を持つ行列要素は１６係数の中の最大５個に限定される。

３．各予測モードの予測誤差の各要素
上述のように式（３）のＨＰＨ項は簡単な式に変換できる。よって、各予測モードについての予測誤差の各要素は式（３）より以下のように導出できる。

（ａ）ＤＣ予測モードの予測誤差
ＤＣ予測モードの予測誤差の各要素S_DC(i,j)(i,j=0,1,2,3)は次式で表される。
S_DC(0,0)＝HXH(0,0)−１６Ｍ
S_DC(i,j)＝HXH(i,j) （i,j=0,1,2,3、但し、i=j=0の場合を除く）

（ｂ）垂直予測モードの予測誤差
垂直予測モードの予測誤差の各要素S_V(i,j)(i,j=0,1,2,3)は次式で表される。
S_V(0,0)＝HXH(0,0)−V0
S_V(1,0)＝HXH(1,0)−V1
S_V(2,0)＝HXH(2,0)−V2
S_V(3,0)＝HXH(3,0)−V3
S_V(i,j)=HXH(i,j) (i=0,1,2,3；j=1,2,3)

（ｃ）水平予測モードの予測誤差
水平予測モードの予測誤差の各要素S_H(i,j)(i,j=0,1,2,3)は次式で表される。
S_H(0,0)＝HXH(0,0)−H0
S_H(1,0)＝HXH(0,1)−H1
S_H(2,0)＝HXH(0,2)−H2
S_H(3,0)＝HXH(0,3)−H3
S_H(i,j)=HXH(i,j) (i=1,2,3；j=0,1,2,3)

（ｄ）平面予測モードの予測誤差
平面予測モードの予測誤差の各要素S_Pln(i,j)(i,j=0,1,2,3)は次式で表される。
S_Pln(0,0)＝HXH(0,0)−(16k+24β＋24γ)
S_Pln(1,0)＝HXH(1,0)＋16β
S_Pln(2,0)＝HXH(2,0)
S_Pln(3,0)＝HXH(3,0)＋８β
S_Pln(1,0)＝HXH(0,1)＋16γ
S_Pln(2,0)＝HXH(0,2)
S_Pln(3,0)＝HXH(0,3)＋８γ
S_Pln(i,j)＝HXH(i,j) (i=1,2,3；j=1,2,3)

予測モード判定部１０は、各予測モードにおいて、マクロブロック毎に、予測誤差行列の各要素の絶対値を加算し、誤差の加算値が最小となる予測モードを最適な予測モードとして選択する。

なお、HXH(i,j) (i=1,2,3；j=1,2,3)の項は、予測モードに関わらない項であるので計算は不要である。ゆえに、入力画素データの２次元アダマール変換（ＨＸＨ）において、アダマール変換の低域係数（i=0またはｊ=0）のみを求めるようにすれば、さらに演算量を削減できる。

４．他の直交変換への適用
以上、２次元直交変換の一例としてアダマール変換を用いて説明したが、本発明の思想は他の２次元直交変換（例えばＤＣＴ、ＦＦＴ）に対しても適用でき、同様の効果を得ることができる。以下、２次元直交変換の他の例としてＤＣＴを用いた場合について説明する。４×４画素の２次元ＤＣＴ行列をＤとすると、Ｄは以下のように表現できる。
Ｄ（ｉ,0）＝(a, a, a, a) （0≦ｉ≦３）
Ｄ（ｉ,1）＝(b, c, -c, -b) （0≦ｉ≦３）
Ｄ（ｉ,2）＝(a, -a, -a, a) （0≦ｉ≦３）
Ｄ（ｉ,3）＝(c, -b, b, -c) （0≦ｉ≦３）
a=１／２
b=√(1/2)×cos(π/8）
c=√(1/2)×cos(3π/8)

また、ＤＣＴ行列Ｄの転置行列Ｄ^tは、
Ｄ^t（ｉ,0）＝(a, b, a, c) （0≦ｉ≦３）
Ｄ^t（ｉ,1）＝(a, c, -a, -b) （0≦ｉ≦３）
Ｄ^t（ｉ,2）＝(a, -c, -a, b) （0≦ｉ≦３）
Ｄ^t（ｉ,3）＝(a, -b, a, -c) （0≦ｉ≦３）

よって、アダマール変換の（式２−１）に相当する式は次式となる。
Ａ＝Ｄ（Ｘ−Ｐ）Ｄ^t＝ＤＸＤ^t−ＤＰＤ^t

予測画素データのＤＣＴ変換（ＤＰＤ^t）を以下に示す。
（ａ）ＤＣ予測モード
ＤＣ予測モードの２次元ＤＣＴ変換値D_DC(i,j)（i,j=0,1,2,3）は以下のとおりである。
D_DC(0,0)＝16×a×a×Ｍ （Ｍはブロック隣接画素の平均値）
D_DC(i,j)＝(0,0) （i,j=0,1,2,3、但し、i=j=0の場合を除く）

（ｂ）垂直予測モード
垂直予測モードで予測された予測画素Prev_V(i,j)（i,j=0,1,2,3）は次式で得られる。
Prev_V(0,j)＝P(0,-1)＝ A (j=0,1,2,3)
Prev_V(1,j)＝P(1,-1)＝ B (j=0,1,2,3）
Prev_V(2,j)＝P(2,-1)＝ C (j=0,1,2,3)
Prev_V(3,j)＝P(3,-1)＝ D (j=0,1,2,3)

上記予測画素を２次元ＤＣＴ変換した値D_V(i,j) (i,j=0,1,2,3)は次式で得られる。
D_V(0,0)＝４×a×a×(A+D)+4×a×a×(B+C)
D_V(1,0)＝４×a×b×(A-D)+4×a×c×(B-C)
D_V(2,0)＝４×a×a×(A+D)-4×a×a×(B+C)
D-V(3,0)＝４×a×c×(A-D)-4×a×b×(B-C)
D_V(i,j)＝０ （i=0,1,2,3；j=1,2,3）

（ｃ）水平予測モード
水平予測モードで予測された予測画素Prev_H(i,j)（i,j=0,1,2,3）は次式で得られる。
Prev_H(i,0)＝P(-1,0)＝E (i=0,1,2,3)
Prev_H(i,1)＝P(-1,1)＝F (i=0,1,2,3）
Prev_H(i,2)＝P(-1,2)＝G (i=0,1,2,3)
Prev_H(i,3)＝P(-1,3)＝H (i=0,1,2,3)

上記予測画素を２次元アダマール変換した値D_H(i,j)(i,j=0,1,2,3)は次式で得られる。
D_H(0,0)＝４×a×a×(E+H)+4×a×a×(F+G)
D_H(0,1)＝４×a×b×(E-H)+4×a×c×(F-G)
D_H(0,2)＝４×a×a×(E+H)-4×a×a×(F+G)
D_H(0,3)＝４×a×c×(E-H)-4×a×c×(F-G)
D_H(i,j)＝０（i=1,2,3；j=0,1,2,3）

（ｄ）平面予測モード
平面予測モードについても、予測画素をＤＣ予測モードの項、水平予測モードの項、垂直予測モードの項に分解できるので、これらの予測モードと同様の結果が得られる。

以上のように、アダマール変換以外の他の２次元直交変換（ＤＣＴ）についても、本発明の思想を適用でき、ハードウェアの規模縮小、低消費電力化、ソフトウェアの高速化が実現できることが証明される。
５．まとめ
以上のように、本実施形態の画像符号化装置は、符号化対象のブロックの隣接画素から予測画素データの２次元周波数成分を演算する直交変換手段をイントラ予測モード毎に設け、その直交変換手段は入力した隣接画素のデータから等価的に直交変換出力を算出する。この構成によれば、入力画素に対してのみ、画素行列の全要素について演算量の多い２次元直交変換演算を行い、予測画素に対しては画素行列の全要素について演算量の多い２次元直交変換演算を行う必要がないので、従来の手法と比較して大幅に演算量を低減することができる。

また、予測画素演算が複雑な予測モードにおいても、予測画素の導出式を、２次元直交変換の導出が容易となる複数の成分に分解することによって等価的に導出可能であり、予測モード毎に直交変換を実施する従来の手法と比較して大幅に演算量を低減することができる。

さらに、従来の方式では、複数の予測モードにおける予測画素をすべて算出してから予測誤差の直交変換を実施するのに対して、本発明によれば、隣接画素の代入のみで予測誤差の直交変換を実施できるため、より演算量を低減することができる。

以上のように、最適なイントラ予測モードを効率よく求めることができるので、ハードウェアの規模縮小、低消費電力化、ソフトウェアの高速化が実現できる。

なお、本実施の形態では、変形アダマール変換を並列に実施する場合について説明したが、シリアルに実施してもよいことはいうまでもない。

また、本実施の形態では、上記機能をハードウェアにより実現する例を説明したが、上記機能は、ソフトウェアを実装したＣＰＵ，ＭＰＵ等のプロセッサによっても同様に実現することができることは言うまでもない。

さらに、本実施の形態では、イントラ予測をH.264の色信号に適用する例を説明したが、イントラ予測をH.264の輝度信号に適用してもよい。また、本発明の思想を別の圧縮方式の最適イントラ予測モードの抽出において適用することもできる。

本発明は、イントラ予測において、予測モード判定の精度を低下させずに、予測モード判定にかかる演算量を減少させることができる。よって、低消費電力が要求されるハードウェアによる符号化装置、より高速な処理が要求されるソフトウェアによる符号化装置に有用である。

本発明に係る画像符号化装置の構成図 本発明に係る画像符号化装置における予測モード判定部の構成図 マクロブロックの構成を示す図 マクロブロックとその隣接画素とを示す図 各予測モードでのイントラ予測の概念を説明するための図 本発明のＤＣ予測モードの変形アダマール変換を説明するための図 本発明の垂直予測モードの変形アダマール変換を説明するための図 本発明の水平予測モードの変形アダマール変換を説明するための図 本発明に係る平面予測モードの変形アダマール変換を説明するための図 従来のイントラ予測部の構成図

符号の説明

１ ブロッキング部
２ 差分算出部
３ ＤＣＴ部
４ 量子化部
５ 符号化部
６ 逆量子化部
７ 逆ＤＣＴ部
８ 隣接画素記憶部
１０ 予測モード判定部
１１ ２次元アダマール変換部
１２ ＤＣ予測の変形アダマール変換部
１３ 垂直予測の変形アダマール変換部
１４ 水平予測の変形アダマール変換部
１５ 平面予測の変形アダマール変換部
１６ 差分算出部
１７ 比較部

Claims (14)

1. 動画像データを入力し、複数の予測モードの中の少なくとも一つの予測モードを用いて所定のブロック単位の動画像データを各ブロックの周辺画素から予測し、予測した動画像データを用いて前記入力した動画像データを符号化する画像符号化装置であって、
   入力した動画像の画素値をブロック単位で直交変換する入力画素変換手段と、
   前記ブロックの隣接画素の画素値を用いて、前記複数の予測モードについて、前記ブロック単位の動画像の予測画素値を直交変換した値を演算する予測画素変換手段と、
   前記複数の予測モード毎に、前記入力画素変換手段からの出力と、前記予測画素変換手段からの出力との差分を求める差分手段と、
   前記複数の予測モード毎の前記差分手段の出力から、前記一つの予測モードを決定する予測モード判定手段と
   を備えたことを特徴とする画像符号化装置。
2. 前記予測画素変換手段は、
   前記隣接画素からＤＣ予測モードで予測した画素値の直交変換後の値を求めるＤＣ予測用変換手段と、
   前記隣接画素から水平予測モードで予測した画素値の直交変換後の値を求める水平予測用変換手段と、
   前記隣接画素から垂直予測モードで予測した画素値の直交変換後の値を求める垂直予測用変換手段と、
   前記隣接画素から平面予測モードで予測した画素値の直交変換後の値を求める平面予測用変換手段と
   を含むことを特徴とした請求項１に記載の画像符号化装置。
3. 前記予測画素変換手段は、隣接画素のＤＣ成分、隣接画素の低域水平成分、隣接画素の低域垂直成分のそれぞれに対して２次元直交変換を実施し、その２次元直交変換の結果の総和を求めることによって、前記予測画素値を直交変換した値を求めることを特徴とした請求項１に記載の画像符号化装置。
4. 前記入力画素変換手段及び予測画素変換手段により実行される直交変換は、２次元アダマール変換である、ことを特徴とした請求項１記載の画像符号化装置。
5. 前記予測画素変換手段は、所定の計算式に前記ブロックの隣接画素を代入することにより、前記予測画素値を直交変換した値を求める、ことを特徴とした請求項３または４に記載の画像符号化装置。
6. 前記入力画素変換手段は、２次元直交変換行列の低域成分のみの演算を行うことを特徴とした請求項１ないし５のいずれかに記載の画像符号化装置。
7. H.264に準拠したイントラ予測により画素値を予測することを特徴とした請求項１ないし６のいずれかに記載の画像符号化装置。
8. 動画像データを入力し、複数の予測モードの中の少なくとも一つの予測モードを用いて所定のブロック単位の動画像データを各ブロックの周辺画素から予測し、予測した動画像データを用いて前記入力した動画像データを符号化するためのプログラムであって、
   プログラミング可能な制御手段に、
   入力した動画像の画素値をブロック単位で直交変換する入力画素変換手順と、
   前記ブロックの隣接画素の画素値を用いて、前記複数の予測モードについて、前記ブロック単位の動画像の予測画素値を直交変換した値を演算する予測画素変換手順と、
   前記複数の予測モード毎に、前記入力画素変換手順により得られる出力と、前記予測画素変換手順により得られる出力との差分を求める差分手順と、
   前記複数の予測モード毎の前記差分手段の出力から、前記一つの予測モードを決定する予測モード判定手順とを実行させる、
   ことを特徴とする画像符号化プログラム。
9. 前記複数の予測モードには、ＤＣ予測モード、水平予測モード、垂直予測モード及び平面予測モードが含まれる、ことを特徴とした請求項８に記載の画像符号化プログラム。
10. 前記予測画素変換手順は、隣接画素のＤＣ成分、隣接画素の低域水平成分、隣接画素の低域垂直成分のそれぞれに対して２次元直交変換を実施し、その２次元直交変換の結果の総和を求めることによって、前記予測画素値を直交変換した値を求めることを特徴とした請求項８に記載の画像符号化プログラム。
11. 前記入力画素変換手順及び予測画素変換手順により実行される直交変換は、２次元アダマール変換である、ことを特徴とした請求項８記載の画像符号化プログラム。
12. 前記予測画素変換手順は、所定の計算式に前記ブロックの隣接画素を代入することにより、前記予測画素値を直交変換した値を求める、ことを特徴とした請求項１０または１１に記載の画像符号化プログラム。
13. 前記入力画素変換手順は、２次元直交変換行列の低域成分のみの演算を行うことを特徴とした請求項８ないし１２のいずれかに記載の画像符号化プログラム。
14. H.264に準拠したイントラ予測により画素値を予測することを特徴とした請求項８ないし１３のいずれかに記載の画像符号プログラム。

Images