JP2009177352A - 動画像符号化装置及びその制御方法、並びに、コンピュータプログラム - Google Patents

Abstract

【課題】イントラ予測符号化を並列処理化した際にもイントラ予測モードを決定することができる動画像符号化技術を提供する。
【解決手段】
動画像符号化装置において、同一フレーム内の隣接ブロックのイントラ予測モードが決定されていない場合に、処理対象フレームに時間的に最も近い符号化済のフレームの対応ブロックの予測モードを参照し、処理対象ブロックの予測モードを推定し、該処理対象ブロックの予測符号量を算出する。
【選択図】図１

Description

本発明は、動画像符号化装置及びその制御方法、並びに、コンピュータプログラムに関する。

近年、マルチメディアに関連する情報のデジタル化が急進しており、それに伴い映像情報の高画質化に向けた要求が高まっている。具体的な例として放送メディアの従来の７２０×４８０画素のSDから、１９２０×１０８０画素のHDに移行が行われつつあることを挙げることが出来る。

しかしながら、この高画質への要求は同時にデジタルデータの増大を引き起こし、従来の性能を上回る圧縮符号化技術及び復号化技術が求められている。これらの要求に対し、ＩＴＵ−Ｔ ＳＧ１６やＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１の活動で画像間の相関を利用したフレーム間予測を用いた符号化圧縮方式の標準化作業が進められている。

この中でも、現状最も高能率符号化を実現しているといわれる符号化方式にＨ．２６４／ＭＰＥＧ−４ ＰＡＲＴ１０（ＡＶＣ）（以下、Ｈ．２６４と呼ぶ）がある。また、この中で新たに導入された技術のひとつとして、フレーム内の相関を利用し、フレーム内の画素値を用いて同一フレーム内の画素値を予測するイントラ予測が導入されている。

Ｈ．２６４のイントラ予測によると、符号化対象ブロック近傍のブロック内の画素値を用いて、前記符号化対象ブロックに対する差分値を生成して、当該差分値を符号化する。これにより、例えばイントラ（Ｉ）ピクチャであっても、効果的に符号量を抑えることが可能になっている。Ｈ．２６４では、イントラ予測で用いる予測モードを複数用意しており、好適な予測モードを選択する必要がある。

具体的に、イントラ予測で用いる予測モード（以下、イントラ予測モードと呼ぶ）には複数の予測ブロックサイズ及び予測方向が定義されている。例えば、１６×１６画素のブロックデータを基に予測方向を決定するイントラ１６×１６予測には４種類の予測方向がある。また、４×４画素のブロックデータを基に予測方向を決定するイントラ４ｘ４予測には９種類の予測方向がある。

Ｈ．２６４では、これらのイントラ予測モードから最も適切なものを選択することにより、高能率な符号化を可能にしている。また、好適なイントラ予測モードを選択しやすくする先行技術として、画像パターンを判定して、判定されたパターンに合ったイントラ予測モードを選択する方法が提案されている（特許文献１参照）。
特開２００６-００５６５９号公報

しかしながら、このように多くのイントラ予測モードの中から、好適なイントラ予測モードを選択するには、演算量の負荷が多大なものとなる。またブロックサイズも従来のＭＰＥＧに比べて細分化されているため、一層演算が複雑になっている。一方、特許文献１の提案方法によれば、好適な画面内予測モードを選択することに貢献するものの、画像パターンを判定する特殊な回路ブロックを新たに組み込むことが必要である。

このように、Ｈ.２６４では、特に動画像をリアルタイムで符号化処理をする場合などでは、非常に高速なプロセッサが必要になるなど、ハード規模やコストが甚大となったり、消費電力が大きくなったりするという問題が生じる。これに対し、符号化処理を高速化するために、複数ブロックの処理を並列で行うという手法が考えられる。

しかし、複数ブロックの処理を並列で行うと、イントラ予測モード決定のために必要な、周囲のイントラ予測モード指定データが決定されていない状況が生ずるおそれがある。この予測モード指定データは、処理対象のブロックデータの周囲のブロックデータについて決定されたイントラ予測モードを基に生成され、その予測符号量は当該周囲のブロックデータについて決定されたイントラ予測モードに依存する。

そのためイントラ予測モードは、そのブロックデータの予測符号量を最小にするものが選択されるが、当該予測符号量は当該ブロックデータの予測モード指定データの予測符号量にも依存する。従って、周囲のイントラ予測モード指定データが決定されていないと、イントラ予測モードの予測モードが決定できずに最適なイントラ予測モード決定が行えないという問題がある。つまり、低消費電力と最適なイントラ予測符号化を両立した動画像符号化装置の実現は非常に困難であるといえる。

本発明は、このような問題点に鑑みてなされたものであり、イントラ予測符号化を並列処理化した際にもイントラ予測モードを決定することができる動画像符号化技術を提供することを目的とする。

上記の課題を解決するための本発明は、フレームを構成する各々のブロックについて、複数の予測モードのいずれかの予測モードに従って、処理対象ブロックの隣接ブロックの画素データを用いてイントラ予測符号化を行う動画像符号化装置であって
処理対象ブロックの予測モードを推定する推定手段であって、該処理対象ブロックに隣接する第１のブロック及び第２のブロックのうち、
双方がイントラ予測符号化済の場合は、該第１のブロックと該第２のブロックとについてそれぞれ選択された前記予測モードに基づき、前記処理対象ブロックの予測モードを推定し、
前記第１のブロックのみがイントラ予測符号化済である場合は、該第１のブロックについて選択された予測モードと、前記処理対象ブロックが属する第１のフレーム内で前記第２のブロックが有する空間位置と同一の空間位置を、前記第１のフレームと時間的に最も近い符号化済の第２のフレーム内で有する第３のブロックについて選択された予測モードとに基づき、前記処理対象ブロックの予測モードを推定する推定手段と、
前記複数の予測モードのそれぞれが前記処理対象ブロックのイントラ予測符号化の際に選択された場合に該選択された予測モードを指定する指定データを、前記推定手段により推定された予測モードに基づき生成し、該指定データの第１の予測符号量を算出する生成手段と、
前記複数の予測モードのそれぞれについて、前記処理対象ブロックをイントラ予測符号化した際の第２の予測符号量を、前記第１の予測符号量を用いて予測する予測手段と、
前記予測手段により予測された第２の予測符号量に基づいて、前記処理対象ブロックのイントラ予測符号化に用いる予測モードを決定する決定手段と
を備える。

本発明によれば、イントラ予測符号化を並列処理化した際にもイントラ予測モードを決定することができる動画像符号化技術を提供することができる。

以下に添付図面を参照しながら、本発明にかかる動画像符号化装置の好適な一実施形態について詳細に説明する。

［第１の実施形態］
図１は、本実施形態に係る動画像符号化装置の機能構成の一例を示すブロック図である。図１に示すように、本発明に係る動画像符号化装置はフレームメモリ１０１、フィルタ後参照フレームメモリ１０２、動き予測部１０３、動き補償部１０４、イントラ予測部１０５、直交変換部１０６、量子化部１０７を備える。また、エントロピー符号化部１０８、逆量子化部１０９、逆直交変換部１１０、選択スイッチ１１１、減算器１１２、加算器１１３、フィルタ前参照フレームメモリ１１４、ループフィルタ１１５、イントラ予測モード保存部１１６をさらに備える。

係る構成において、まず入力される動画像を符号化する方法について述べる。フレームメモリ１０１は、表示順に入力画像（原画像）データを保存し、符号化順に符号化対象ブロックを動き予測部１０３、イントラ予測部１０５、減算器１１２に順次送信する。フィルタ後参照フレームメモリ１０２は、フィルタ処理された符号化済み画像を、フィルタ後参照画像データとして保存し、符号化順に符号化対象ブロックのフィルタ後参照画像データを動き予測部１０３、動き補償部１０４に順次送信する。

フィルタ前参照フレームメモリ１１４は、フィルタ処理される前の符号化済み画像をフィルタ前参照画像データとして保存し、符号化順に符号化対象ブロックのフィルタ前参照画像データをイントラ予測部１０５に順次送信する。減算器１１２はフレームメモリ１０１から送信されてくる符号化対象ブロックから、選択スイッチ１１１から送信されてくる予測画像ブロックを減算し、画像残差データを出力する。なお、予測画像ブロックの生成方法については後述する。

直交変換部１０６は、減算器１１２から出力された画像残差データを直交変換処理して、直交変換係数を量子化部１０７に送信する。量子化部１０７は、直交変換部変換係数を所定の量子化パラメータを用いて量子化し、エントロピー符号化部１０８および逆量子化部１０９に送信する。エントロピー符号化部１０８は、量子化部１０７で量子化された直交変換係数を入力とし、CAVLC、CABACなどのエントロピー符号化を施して、符号化データストリームとして出力する。

続いて、量子化部１０７で量子化された変換係数を用いて、各参照画像データを生成する方法について述べる。逆量子化部１０９は、量子化部１０７から送信されてくる量子化された直交変換係数を逆量子化する。逆直交変換部１１０は、逆量子化部１０９での逆量子化により得られた直交変換係数を逆直交変換し、復号残差データを生成し加算器１１３に送信する。

加算器１１３は、復号残差データと後述する予測画像データとを加算し、参照画像データを生成し、フィルタ前参照フレームメモリ１１４に、フィルタ前参照画像データとして保存する。フィルタ前参照フレームメモリ１１４は、該フィルタ前参照画像データをループフィルタ１１５にも送信する。ループフィルタ１１５は、参照画像データをフィルタリングしてノイズを除去し、フィルタ後参照画像データとしてフィルタ後参照フレームメモリ１０２に保存する。

続いて、入力画像データ、フィルタ前参照画像データ、フィルタ後参照画像データを用いて、予測画像データを生成する方法について述べる。

動き予測部１０３は、フィルタ後参照フレームメモリ１０２から送信されるフィルタ後参照画像データを用いて動き予測処理用の画像データを生成する。そして、フレームメモリ１０１から送信される符号化対象ブロックとの差分の自乗和あるいは当該自乗和にアダマ−ル変換を施した値と、動きベクトルあるいは動きベクトルの差分の符号量とを加算してＣＯＳＴを生成する。動き予測部１０３は、このＣＯＳＴを最小にする動きベクトルを検出し、フィルタ後参照フレーム画像データ番号と共に動き補償部１０４に送信する。動きベクトルは、エントロピー符号化部１０８にも送信する。また、同時にそのときのＣＯＳＴを選択スイッチ１１１に送信する。

動き補償部１０４は、生成された動きベクトルを用いて、フィルタ後参照フレームメモリ１０２中のフィルタ後参照フレーム画像データ番号で示される参照フレーム画像を選択し、各ブロックの予測画像データを生成し、選択スイッチ１１１に送信する。

一方、イントラ予測部１０５はフレームメモリ１０１からの符号化対象ブロックと符号化対象ブロックの周辺画素とを用いて複数のイントラ予測モードの各々に応じた処理を施し、各イントラ予測モードの予測画像データと指標データＣＯＳＴを生成する。

なお、ここでＣＯＳＴは、符号化対象ブロックデータと予測画像データとの画素データ間の差分の自乗和あるいは当該自乗和にアダマ−ル変換を施した値と、ヘッダデータの符号量の予測値とを加算して生成する。そして、イントラ予測部１０５は、上記複数のイントラ予測モードのうち指標データＣＯＳＴを最小にするイントラ予測モードを決定し、ＣＯＳＴと予測画像データを選択スイッチ１１１に送信する。

選択スイッチ１１１は、動き補償部１０４およびイントラ予測部１０５から送信されてくる予測画像データのうち、ＣＯＳＴの小さいほうを適切な予測画像として選択し、減算器１１２に送信する。

次にイントラ予測部１０５で選択可能な予測モードによる予測画像の生成方法について説明する。

まず、イントラ１６×１６予測で選択可能な予測モードによる予測画像の生成方法を説明する。ここで、符号化対象ブロックに属する画素データをP(x,y)とする。

なお、x，yはブロックを構成するマトリクス状の画素データの行方向および列方向の位置を示し、０〜１５の整数である。符号化対象ブロックに隣接する画素データを、P(x,-1)，P(-1,y)とする。また、画素データは、上記符号化対象ブロックと異なるピクチャあるいは異なるスライスに属する場合などに、「利用可能でない(unavailable) 」であると判断される。

予測モード０：
予測モード０は、vertical（垂直）予測であり、P(x,-1)が「利用可能」である場合に適用される。この場合に、vertical（垂直）予測では、予測画像データPIの画素データPred(x,y)を数１のように生成する。

［数１］
Pred(x,y)＝P（x,-1） : x,y = ０..１５
予測モード１：
予測モード１は、horizontal（水平）予測であり、P(-1,y)が「利用可能」である場合に適用される。この場合、horizontal（水平）予測では、予測画像データPIの画素データPred(x,y)を数２のように生成する。

［数２］
Pred(x,y)＝P（-1,y） : x,y = ０..１５
予測モード２：
予測モード２は、ＤＣ予測であり、イントラ１６ｘ１６予測では、予測画像データPIの画素データPred（x，y）を数３のように生成する。

まず、P(x,-1)およびP(-1,y)の全てが「利用可能」である場合に、イントラ１６ｘ１６予測では、予測画像データPIの画素データPred（x，y）を数３のように生成する。

［数３］

P(x,-1)がunavailableである場合には予測画像データPIの画素データPred（x，y）を数４のように生成する。

［数４］

P(-1,y)がunavailableである場合には予測画像データPIの画素データPred（x，y）を数５のように生成する。

［数５］

P(x,-1)、P(-1,y)がすべてunavailableである場合には予測画像データPIの画素データPred（x，y）は１２８を用いる。

予測モード３：
予測モード３は、plane予測であり、P(x,-1)、P(-1,y)の全てが上記「利用可能」である場合に適用される。
この場合に、plane予測では、予測画像データPIの画素データPred（x，y）を数６のように生成する。

［数６］

続いてイントラ４ｘ４予測で選択可能な予測モードによる予測ブロックデータの生成方法を、図４を参照して説明する。

図４は、イントラ４ｘ４予測の符号化処理対象となる４ｘ４のブロックに属する画素データａ〜ｐと、当該ブロックデータの周囲に属する画素データＡ〜Ｍとの位置関係を説明するための図である。画素データａ〜ｐの予測値によって、予測画像データＰＩが生成される。なお、画素データＡ〜Ｍは、上記処理対象のブロックと異なるピクチャあるいは異なるスライスに属する場合などに、「利用可能でない(unavailable) 」であると判断される。

予測モード０：
予測モード０は、vertical（垂直）予測であり、図４に示す画素データA,B,C,Dの全てが上記「利用可能」である場合に適用される。この場合、vertical予測は、符号化対象ブロックの画素データａ〜ｐの予測値を、画素データA,B,C,Dを用いて数７のように生成する。

［数７］
a,e,i,m： A
b,f,j,n： B
c,g,k,o： C
d,h,l,p： D
予測モード１：
予測モード１は、horizontal（水平）予測であり、図４に示す画素データI,J,K,Lの全てが上記「利用可能」である場合に適用される。この場合、horizontal予測は、符号化対象ブロック画素データａ〜ｐの予測値を、画素データI,J,K,Lを用いて数８のように生成する。

［数８］
a,b,c,d： I
e,f,g,h： J
i,j,k,l： K
m,n,o,p： L
予測モード２：
予測モード２は、DC予測である。図４に示す画素データA,B,C,D,I,J,K,Lの全てが上記「利用可能」である場合には、符号化対象ブロック画素データａ〜ｐの予測値を、画素データA,B,C,D,I,J,K,Lを用いて数９のように生成する。

［数９］
（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｉ＋Ｊ＋Ｋ＋Ｌ＋４）＞＞３
また、図４に示す画素データA,B,C,Dの全てが上記「利用可能」でない場合には、符号化対象ブロック画素データａ〜ｐの予測値を、画素データA,B,C,Dを用いて数１０のように生成する。

［数１０］
（Ｉ＋Ｊ＋Ｋ＋Ｌ＋２）＞＞２
また、図４に示す画素データI,J,K,Lの全てが上記「利用可能」でない場合には、符号化対象ブロック画素データａ〜ｐの予測値を、画素データI,J,K,Lを用いて数１１のように生成する。

［数１１］
（Ａ＋Ｂ＋Ｃ＋Ｄ＋２）＞＞２
また、図４に示す画素データA,B,C,D,I,J,K,Lの全てが上記「利用可能」でない場合には、符号化対象ブロック画素データａ〜ｐの予測値「１２８」を用いる。

予測モード３：
予測モード３は、Diagonal_Down_Left予測であり、図４に示す画素データA,B,C,D,I,J,K,L,Mの全てが上記「利用可能」である場合に適用される。この場合、Diagonal_Down_Left予測は、符号化対象ブロック画素データａ〜ｐの予測値を、画素データA,B,C,D,I,J,K,L,Mを用いて数１２のように生成する。

［数１２］
a： (A+２B+C+2)＞＞2
b,e：（B+2C+D+2）＞＞2
c,f,i：（C+2D+E+2）＞＞2
d,g,j,m：（D+2E+F+2）＞＞2
h,k,n：（E+2F+G+2）＞＞2
l,o：（F+2G+H+2）＞＞2
p：（G+３H+2）＞＞2
予測モード４：
予測モード４は、Diagonal_Down_Right予測であり、図４に示す画素データA,B,C,D,I,J,K,L,Mの全てが上記「利用可能」である場合に適用される。この場合に、符号化対象ブロック画素データａ〜ｐの予測値を、画素データA,B,C,D,I,J,K,L,Mを用いて数１３のように生成する。

［数１３］
m：(J+2K+L+2)＞＞2
i,n：(I+2J+K+2)＞＞2
e,j,o：(M+2I+J+2)＞＞2
a,f,k,p：(A+2M+I+2)＞＞2
b,g,l：(M+2A+B+2)＞＞2
c,h：(A+2B+C+2) ＞＞2
d：(B+2C+D+2)＞＞2
予測モード５：
予測モード５は、Diagonal_Vertical_Right予測であり、図４に示す画素データA,B,C,D,I,J,K,L,Mの全てが上記「利用可能」である場合に適用される。この場合に、符号化対象ブロック画素データａ〜ｐの予測値を、画素データA,B,C,D,I,J,K,L,Mを用いて数１４のように生成する。

［数１４］
a,j：(M+A+1)＞＞1
b,k：(A+B+1)＞＞1
c,l：(B+C+1)＞＞1
d：(C+D+1)＞＞1
e,n：(I+2M+A+2)＞＞2
f,o：(M+2A+B+2)＞＞2
g,p：(A+2B+C+2)＞＞2
h：(B+2C+D+2)＞＞2
I：(M+2I+J+2)＞＞2
m：(I+2J+K+2)＞＞2
予測モード６：
予測モード６は、Horizontal_Down予測であり、図４に示す画素データA,B,C,D,I,J,K,L,Mの全てが上記「利用可能」である場合に適用される。この場合に、符号化対象ブロック画素データａ〜ｐの予測値を、画素データA,B,C,D,I,J,K,L,Mを用いて数１５のように生成する。

［数１５］
a,g：(M+I+1)＞＞1
b,h：(I+2M+A+2)＞＞2
c：(M+2A+B+2)＞＞2
d：(A+2B+C+2)＞＞2
e,k：(I+J+1)＞＞1
f,l：(M+2I+J+2)＞＞2
i,o：(J+K+1)＞＞1
j,p：(I+2J+K+2)＞＞2
m：(K+L+1)＞＞1
n：(J+2K+L+2)＞＞2
予測モード７：
予測モード７は、Vertical_Left予測であり、図４に示す画素データA,B,C,D,I,J,K,L,Mの全てが上記「利用可能」である場合に適用される。この場合に、符号化対象ブロック画素データａ〜ｐの予測値を、画素データA,B,C,D,I,J,K,L,Mを用いて数１６のように生成する。

［数１６］
a：(A+B+1)＞＞1
b,i：(B+C+1)＞＞1
c,j：(C+D+1)＞＞1
d,k：(D+E+1)＞＞1
l：(E+F+1)＞＞1
e：(A+2B+C+2)＞＞2
f,m：(B+2C+D+2)＞＞2
g,n：(C+2D+E+2)＞＞2
h,o：(D+2E+F+2)＞＞2
p：(E+2F+G+2)＞＞2
予測モード８：
予測モード８は、Horizontal_Up予測であり、図４に示す画素データA,B,C,D,I,J,K,L,Mの全てが上記「利用可能」である場合に適用される。この場合に、符号化対象ブロック画素データａ〜ｐの予測値を、画素データA,B,C,D,I,J,K,L,Mを用いて数１７のように生成する。

［数１７］
a：(I+J+1)＞＞1
b：(I+2J+K+2)＞＞2
c,e：(J+K+1)＞＞1
d,f：(J+2K+L+2)＞＞2
g,i：(K+L+1)＞＞1
h,j：(K+３L+2)＞＞2
k,l,m,n,o,p：L
なおイントラ１６×１６予測のモード１は水平方向に高い相関（重み付け）を持たせたモードであり、モード０は垂直方向に高い相関（重み付け）を持たせたモードである。またモード２、３は水平および垂直方向の重み付けを殆ど行っていないモードである。

イントラ４×４予測のモード１，６，８は水平方向に高い相関（重み付け）を持たせたモードであり、モード０，５，７は垂直方向に高い相関（重み付け）を持たせたモードである。また、モード２，４，３は水平および垂直方向の重み付けを殆ど行っていないモードである。

以下、イントラ予測モードを決定するプロセスについて、図２のイントラ予測部１０５のブロック図、図３のフローチャート、及び、図６のマクロブロック内の４ｘ４ブロックデータをイントラ予測する順序を説明する図を参照して説明する。

図２は、発明の第１の実施形態に係るイントラ予測部１０５の構成の一例を示すブロック図である。イントラ予測部１０５は、予測モード決定有無検出回路２００、ＭＰＭ(Most Probable Mode)選択回路２０１、予測モード指定データ・符号量生成回路２０２、４ｘ４ＣＯＳＴ算出回路２０３、１６ｘ１６ＣＯＳＴ算出回路２０４を含む。また更に、予測モード決定回路２０５および予測モード指定データ再生成回路２０６を含む。

係る構成においてイントラ予測モードを選択するプロセスについて述べる。なお、本実施形態では４ｘ４ブロックデータを単位として図２に示す構成要素の全部あるいは一部の処理をパイプライン処理によって実現するものとする。

予測モード決定有無検出回路２００は、符号化対象マクロブロック内の処理対象の４ｘ４のブロックデータ（ブロックＢＬＯＣＫ）が、図６に示す第１のグループと第２のグループとのいずれに属するかをアドレスに基づいて判定する。判定結果は、ＭＰＭ選択回路２０１に出力する。

ここで、第１のグループは、図６（ａ）に示すように、「０」，「２」，「４」，「６」，「８」，「１０」，「１２」，「１４」を要素とする。また、第２のグループは、図６（ｂ）に示すように、「１」，「３」，「５」，「７」，「９」，「１１」，「１３」，「１５」を要素とする。ここで、図６の「０」〜「１５」の各値は、イントラ予測処理を行う符号化順を示している。

ここで上記第１のグループと第２のグループを規定した趣旨を、図７を参照して説明する。図７は、発明の実施形態に係るＭＰＭ選択回路の処理を説明するための図である。

図７において、ＭＰＭ選択回路２０１が、ブロックデータＣを処理対象とする場合を考える。ＭＰＭ選択回路２０１は、ブロックデータＣの予測モードを推定する回路であり、ＭＰＭデータを生成する。このＭＰＭデータは、推定される予測モードとして最も可能性の高いモードを示し、予め定められたブロックデータＡとブロックデータＢについて決定されたイントラ予測モードに基づいて特定される。

ここで、ブロックデータＡは、ブロックデータＣに２次元画像水平方向で隣接し且つ符号化順が上位の第２のブロックデータである。また、ブロックデータＢは、ブロックデータＣに２次元画像垂直方向で隣接し且つ符号化順が上位の第１のブロックデータである。

本実施形態ではイントラ予測処理を第１のグループ、第２のグループで並列に行うものとする。つまり、並列処理の一段目に第１のグループに属するブロック「０」、第１のグループに属するブロック「１」が同時にイントラ予測処理される。また、二段目で「２」、「３」が、以降、３段目「４」、「５」、４段目「６」、「７」・・・と処理される。

すると、第１のグループに属するブロックデータに対応した上記予め定められたブロックデータは、当該ブロックデータよりも１段階以上前にパイプライン処理が行われる。従って、第１グループに属するブロックデータの処理を開始するタイミングで、それに対応した上記予め決められたブロックデータのイントラ予測モードは既に決定されている。

例えば、図６に示す「６」番目に選択されるブロックデータに対応した上記予め定められたブロックデータとして、「３」および「４」番のブロックが選択される。これらは、「６」番目に選択されるブロックデータよりも１および２段階前にパイプライン処理によりイントラ予測符号化済であるので、双方とも予測モードが確定している。

一方、第２のグループに属するブロックデータの周辺ブロックの符号化は、当該ブロックデータと同時に符号化処理が行われるものがある。従って、第２グループに属するブロックデータの処理を開始するタイミングで、それに対応したブロックデータは符号化されていない場合がある。

例えば、図６に示す「３」番目に選択されるブロックデータを符号化することを考える。この場合、「３」番目に選択されるブロックデータに対応した上記予め定められたブロックデータとして、「１」および「２」番のブロックデータが選択される。このとき「２」番のブロックデータは、当該「３」番目に選択されるブロックデータと同時に符号化処理が開始される。従って、「３」番目に選択されるブロックデータのイントラ予測モードを決定するタイミングで、「２」番のブロックデータが符号化されておらず、ＭＰＭデータを用いたイントラ予測モード決定を行うことができない。

そこで、ＭＰＭ選択回路２０１では、以下のような処理を行う。ＭＰＭ選択回路２０１は、予測モード決定有無検出回路２００から入力された判断結果が「符号化対象のブロックデータが第１のグループに属する」ことを示すかどうかを判定する。

もし、示す場合は、符号化対象として選択された４×４のブロックデータ（図７のＣ）に対し、
垂直方向に隣接し、当該選択された第１のブロックデータによりも前に予測モード決定回路２０５にてイントラ予測モードが決定される第１のブロックデータ（図７「Ｂ」）と、
水平方向で隣接し、当該選択されたブロックデータよりも前に予測モード決定回路２０５にてイントラ予測モードが決定される第２のブロックデータ（図７の「Ａ」）と
のイントラ予測モードを、イントラ予測部１０５の外部にあるイントラ予測モード保存部１１６から受信し、ＭＰＭデータを生成する。

具体的には、ＭＰＭ選択回路２０１は、該２つのブロックのイントラ予測モードのうち、モード番号が小さいイントラ予測モードを示すＭＰＭデータを生成する。例えば、図７に示す４ｘ４のブロックデータＣが第１のグループに属し符号化対象のブロックデータである場合に、そのＭＰＭデータが示すイントラ予測モードＭＰＭ（Ｃ）は、数１８のように生成される。

[数１８]
ＭＰＭ（Ｃ）＝min(イントラ予測モード（Ａ）、イントラ予測モード（Ｂ）)
ＭＰＭ選択回路２０１は、予測モード決定有無検出回路２００から入力した判断結果が「処理対象のブロックデータが第２のグループに属する」ことを示す場合は、以下のようにしてＭＰＭデータを生成する。

まず、処理対象のブロックデータが属するフレーム（第１のフレーム）に時間的に最も近い符号化済みのフレーム（第２のフレーム）を特定する。次に、第２のブロック（図７「Ａ」）が第１のフレーム内で有する空間位置と同一の空間位置を第２のフレーム内で有する第３のブロック（図７「Ａ'」）を特定する。そして、この第３のブロックを、該第２のブロックの代わりに予め決められたブロックとして用いる。ＭＰＭ選択回路２０１は、イントラ予測モード保存部１１６から、該第３のブロックのイントラ予測モードを受信し、選択された符号化対象のブロックデータのＭＰＭデータを生成する。

例えば、図７に示す４×４のブロックデータＣが第２のグループに属し、符号化対象ブロックデータである場合、そのＭＰＭデータは、上記第３のブロックＡ'のイントラ予測モードを用いて、下記の数１９のように生成される。

［数１９]
ＭＰＭ（Ｃ）＝min(イントラ予測モード（Ａ’）、イントラ予測モード（Ｂ）)
予測モード指定データ・符号量生成回路２０２は、ＭＰＭ選択回路２０１から入力されたＭＰＭデータを基に、処理対象ブロックのヘッダデータとそのヘッダデータを符号化した時の符号量を判断する指標データを生成する。この指標データは、ＳＡＴＤ０として生成される。上記ヘッダデータには、最終的に決定されたイントラ予測モードを指定するための予測モード指定データＰＲＥＶ、ＲＥＭが含まれる。ここで、「ＰＲＥＶ」は、予測モードの伝送の有無を示すフラグであり、「ＲＥＭ」は、予測モードを示す。

図３は、予測モード指定データ・符号量生成回路２０２の処理を説明するためのフローチャートである。

ステップＳ３０１において、予測モード指定データ・符号量生成回路２０２は、選択するモード０〜８の９個のイントラ予測モードを決定するための、モードの番号：Ｎｓを最大値の８にリセットする。次に、ステップＳ３０２では、番号Ｎｓに対応するイントラ予測モードを選択する。初期状態では、Ｎｓが８であるので、モード８が選択される。

次に、ステップＳ３０３では、予測モード指定データ・符号量生成回路２０２は、ＭＰＭ選択回路２０１から入力されるＭＰＭデータが示すイントラ予測モードと、ステップＳ３０２で選択されたイントラ予測モードとが一致するか否かを判定する。予測モード指定データ・符号量生成回路２０２は、両モードが一致すると判定した場合に、ステップＳ３０４に進み、一致しないと判定した場合にステップＳ３０５に進む。

ステップＳ３０４では、予測モード指定データ・符号量生成回路２０２は、モード番号Ｎｓに対応する予測モード指定データＰＲＥＶnsの値を「１」を設定する。この場合、モード番号Ｎｓに対応する予測モード指定データＲＥＭnsには、１ビットのデフォルト値を設定する。また、予測モード指定データＲＥＭnsを用いず、データ量「０」としてもよい。

ステップＳ３０５では、予測モード指定データ・符号量生成回路２０２は、モード番号Ｎｓに対応する予測モード指定データＰＲＥＶnsに「０」を設定する。

続くステップＳ３０６では予測モード指定データ・符号量生成回路２０２は、ステップＳ３０２で選択したイントラ予測モードのモード番号Ｎｓと、ＭＰＭ選択回路２０１から入力されたＭＰＭデータが示すイントラ予測モードのモード番号の大小を判定する。

ここで、もし、ステップモード番号Ｎｓの方が小さい場合（ステップＳ３０６で「ＹＥＳ」）は、ステップＳ３０７に進む。一方、モード番号ＮｓがＭＰＭデータが示すイントラ予測モードのモード番号以上の場合（ステップＳ３０６で「ＮＯ」）、ステップＳ３０８に進む。

ステップＳ３０７では、予測モード指定データ・符号量生成回路２０２は、モード番号Ｎｓを、該モード番号に対応する予測モード指定データＲＥＭnsの値として設定する。また、ステップＳ３０７では、予測モード指定データ・符号量生成回路２０２は、モード番号Ｎｓから一定値（例えば、「１」）を減算した値を、モード番号Ｎｓに対応する予測モード指定データＲＥＭnsに設定する。その後ステップＳ３０９に移行する。

ステップＳ３０９では、予測モード指定データ・符号量生成回路２０２は、モード番号Ｎｓが０で有るか否かを判定する。もし、Ｎｓが０でない場合は、未選択のモードが存在するので、ステップＳ３１０に移行する。一方、Ｎｓが０の場合は、ステップＳ３１１に移行する。

ステップＳ３１０では、Ｎｓを１減算して、ステップＳ３０２に移行する。ステップＳ３０２では、新たなモード番号に対応するイントラ予測モードを選択して、上述の処理を実行する。
一方、ステップＳ３１１では、予測モード指定データ・符号量生成回路２０２は、上述した処理を経て得られた全ての予測モード指定データＰＲＥＶns（nsは、０から８）、ＲＥＭnsns（nsは、０から８）の予測符号量（第１の予測符号量）を生成する。生成データは、４ｘ４ＣＯＳＴ算出回路２０３に出力される。

４ｘ４ＣＯＳＴ算出回路２０３は、モード０〜８の９個のイントラ予測モードの各々について、数２０に基づいて、符号量を予測する指標（第２の予測符号量）となる指標データＣＯＳＴを生成し、予測モード決定回路２０５に出力する。

［数２０］
ＣＯＳＴ＝ＳＡＴＤ＋λ（ＱＰ）×ＳＡＴＤ０
数２０において、ＳＡＴＤ（Sum of Absolute Transformed Difference）は、４ｘ４の予測ブロックデータと、符号化対象の４ｘ４のブロックデータとの画素データ間の差分にアダマール変換を施した値の累積値である。λ（ＱＰ）は、量子化パラメータＱＰに応じて決まるヘッダデータの予測符号量の係数である。ＳＡＴＤ０は、予測モード指定データ・符号量生成回路２０２から入力された、予測モード指定データＰＲＥＶ，ＲＥＭの予測符号量を示している。

１６×１６ＣＯＳＴ算出回路２０４は、１６×１６画素を単位としたブロックデータについて数１〜６で予め規定された複数のイントラ予測モードの各々を基に、その予測符号量の指標となる指標データＣＯＳＴを数２０に基づき生成する。そして、指標データＣＯＳＴを予測モード決定回路２０５に出力する。

予測モード決定回路２０５は、４×４ＣＯＳＴ算出回路２０３と１６×１６ＣＯＳＴ算出回路２０４とから入力された指標データＣＯＳＴのうち、最小の（符号化効率が最も高いと予測される）指標データＣＯＳＴを特定する。そして、特定したＣＯＳＴに対応したイントラ予測モードを、符号化対象のマクロブロックデータのイントラ予測モードに決定する。

ここでもし４ｘ４のイントラ予測モードに決定されれば、予測モード決定回路２０５は、予測モード指定データ・符号量生成回路２０２が生成した予測モード指定データＰＲＥＶ，ＲＥＭを、予測モード指定データ再生成回路２０６に出力する。

また、予測モード決定回路２０５は、上記決定した４ｘ４のイントラ予測モードに対応した指標データＣＯＳＴ、並びにその予測画像データを、選択スイッチ１１１に出力する。

また、イントラ予測モードとして１６ｘ１６のイントラ予測モードが決定され、選択スイッチ１１１からイントラ予測が選択されたことを示す選択信号が入力されると、ＩＰＭがエントロピー符号化部１０８に出力される。このＩＰＭは、決定されたイントラ予測モードを表す。また、予測モード決定回路２０５は、決定された１６×１６のイントラ予測モードに対応した指標データＣＯＳＴ、並びにその予測画像データを図１に示す選択スイッチ１１１に出力する。

また、１６ｘ１６のイントラ予測モード、４ｘ４のイントラ予測モードのいずれが選択された場合でも、各イントラ予測モードを示すIＰＭがイントラ予測モード保存部１１６に出力される。

予測モード指定データ再生成回路２０６は、処理対象のブロックデータについて予め規定された他のブロックデータのイントラ予測モードが予測モード決定回路２０５において既に決定された後のタイミングで処理を開始する。

他のブロックデータのイントラ予測モードを基に、上述したＭＰＭ選択回路２０１と同様の処理を行って、デコード時に使用される正しい予測モード指定データＰＲＥＶ，ＲＥＭを生成する。そして、選択スイッチ１１１からイントラ予測が選択されたことを示す信号が入力されると、予測モード指定データＰＲＥＶ，ＲＥＭをエントロピー符号化部１０８に出力する。

以上のように、本実施形態では、処理対象のブロックデータの隣接ブロックのイントラ予測モードが未決定の場合でも、他のブロックの既に決定しているイントラ予測モードを基にＭＰＭデータを仮生成することで擬似的なＣＯＳＴを算出可能である。また、仮生成されたＭＰＭデータは画像の変化の少ない時間的に最も近い符号化済み画像の同一位置で選択されたイントラ予測モードを用いているため、信頼性が高い。従って、符号化効率の高いイントラ予測モードを決定することが可能である。

［第２の実施形態］
次に図５のブロック図および図６を参照しながら、本発明にかかる動画像符号化装置の第２の実施形態について詳細に説明する。

図５は、本実施形態に対応する動画像符号化装置の構成の一例を示す図である。本実施形態の動画像符号化装置は、図１に示した第１の実施形態の動画像符号化装置とほぼ同一の構成を有するが、本実施形態ではグローバルベクトル演算部５０１を更に有する点が異なる。よって、本実施形態では、イントラ予測モード保存部１１６、グローバルベクトル演算部５０１以外の構成の動作については、第１の実施形態と同様のため説明を省略する。

グローバルベクトル演算部５０１は、符号化済みでかつ復号済みで時間的に符号化対象ピクチャから最も近いピクチャ（以下、参照ピクチャ）をフィルタ後参照フレームメモリ１０２から取得する。併せて、符号化対象ピクチャをフレームメモリ１０１から取得する。そして符号化対象ピクチャの画素値全てと、参照ピクチャの画素値全てを用いて参照ピクチャに対する符号化対象ピクチャの空間的な位置の差を示すグローバルベクトル演算する。グローバルベクトルの演算には、数２１のＭＳＥ(Mean Square Error)の評価関数を用いることができる。また、数２２のＭＡＥ(Mean Absolute Error)を用いてもよい。あるいは、ＭＡＤ(Mean Absolute Differ ence)を用いることもできる。

［数２１］

［数２２］

ここで、Ｓ_cur(m,n)は符号化対象ピクチャでの(m,n)番目の画素値、Ｓ_ref(m,n)は参照ピクチャでの(m,n)番目の画素値を示す。(i,j)は参照ピクチャに対する符号化対象ピクチャの空間的な位置をそれぞれ示している。

（ただし、Ｍ，Ｎを１フレーム／フィールドの水平及び垂直画素数とすると、ｍ＝ｋ×ｑ、ｎ＝ｌ×ｒであり、ｋ、ｌは０≦ｍ≦Ｍ、１≦ｋ≦Ｍ、０≦ｎ≦Ｎ、１≦ｌ≦Ｎを満たす自然数である。また、Ｑ，Ｒは、Ｍ−ｋ≦Ｑ≦Ｍ、Ｎ−ｌ≦Ｒ≦Ｎを満たす。）
以下、ＭＡＥ値を例にした場合の、グローバルベクトルの選定方法の例を説明する。参照フレームを所定の方向（例えば、ｘ方向）に１画素ずつずらしていき、画素の移動距離ごとにＭＡＥ値の総和の平均を取る。そして平均ＭＡＥ値が最小となるときの移動量がグローバルベクトルの選定基準となる。この処理を例えば所定の方向と直交する他の方向（例えばｙ方向）についても実行し、この方向で平均ＭＡＥ値が最小となる移動量が求まれば、２つの移動量とその移動方向からグローバルベクトルを決定することができる。

本実施形態では１ピクチャの画素値全てを用いて１つグローバルベクトルを算出した。しかし、例えばピクチャの縦方向を３等分、横方向を３等分し９つグのローバルベクトルを求めるなどピクチャを複数のエリアに分割し、エリア毎にグローバルベクトルを算出しても良い。その場合には、処理対象のブロックデータが属するエリアについて算出されたグローバルベクトルを利用することができる。

グローバルベクトル演算部５０１は算出したグローバルベクトルをイントラ予測モード保存部１１６に送信する。

イントラ予測モード保存部１１６は第１の実施形態に記載の予測モード決定有無検出回路２００の判断結果が「処理対象のブロックデータが第２のグループに属する」であった場合、以下のように処理を行う。まず、時間的に最も近い符号化済みのフレームにおいて第２のブロック（図７「Ａ」）と同一位置の第３のブロック（図７「Ａ'」）を特定する。その上で、該第３のブロックからグローバルベクトル７０１分ずらした位置にある第４のブロック（図７「Ａ”」）を特定し、該第４のブロックのイントラ予測モードをＭＰＭ選択回路２０１に送信する。

時間的に近くても例えば撮像装置がパンしているなど大きな動きがある場合には最も近いピクチャの同位置にあるブロックであっても相関が低くなってしまう。そのような場合にもグローバルベクトルを用いてピクチャ間の動き分だけ符号化対象ブロックの位置を補正することで相関の高いブロックを選択することが出来る。以上の理由からイントラ予測モード保存部１１６から送信するイントラ予測モードとして既に符号化済みの時間的に最も近いピクチャの同位置にあるブロックからグローバルベクトル分だけずらしたブロックのものを用いる。

なお、グローバルベクトルの分だけ位置をずらした結果、ピクチャ外を指し示すような場合には例えば、第１の実施形態で挙げた既に符号化済みの時間的に最も近いピクチャの同位置にあるブロックで用いた予測モードを用いても良い。

以降の処理は第１の実施形態と同様のため、説明を省く。

［その他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

発明の第１の実施形態に係る動画像符号化装置の機能構成の一例を示すブロック図である。 発明の第１の実施形態に係るイントラ予測部１０５の構成の一例を示すブロック図である。 発明の第１実施形態に係る動画像符号化装置の、ＭＰＭ選択回路の動作の一例を示すフローチャートである。 発明の実施形態におけるイントラ予測の予測モードを説明するための図である。 発明の第２の実施形態に係る動画像符号化装置の機能構成の一例を示すブロック図である。 発明の実施形態に係る、マクロブロック内の４×４ブロックデータをイントラ予測する順序およびイントラ予測の並列処理方法を説明するための図である。 発明の実施形態に係るＭＰＭ選択回路の処理を説明するための図である。

符号の説明

１０１ フレームメモリ
１０２フィルタ後参照フレームメモリ
１０３ 動き予測部
１０４ 動き補償部
１０５ イントラ予測部
１０６ 直交変換部
１０７ 量子化部
１０８ エントロピー符号化部
１０９ 逆量子化部
１１０ 逆直交変換部
１１１ 選択スイッチ
１１２ 減算器
１１３ 加算器
１１４ フィルタ前参照フレームメモリ
１１５ ループフィルタ
１１６ イントラ予測モード保存部

Claims (8)

1. フレームを構成する各々のブロックについて、複数の予測モードのいずれかの予測モードに従って、処理対象ブロックの隣接ブロックの画素データを用いてイントラ予測符号化を行う動画像符号化装置であって
   処理対象ブロックの予測モードを推定する推定手段であって、該処理対象ブロックに隣接する第１のブロック及び第２のブロックのうち、
   双方がイントラ予測符号化済の場合は、該第１のブロックと該第２のブロックとについてそれぞれ選択された前記予測モードに基づき、前記処理対象ブロックの予測モードを推定し、
   前記第１のブロックのみがイントラ予測符号化済である場合は、該第１のブロックについて選択された予測モードと、前記処理対象ブロックが属する第１のフレーム内で前記第２のブロックが有する空間位置と同一の空間位置を、前記第１のフレームと時間的に最も近い符号化済の第２のフレーム内で有する第３のブロックについて選択された予測モードとに基づき、前記処理対象ブロックの予測モードを推定する推定手段と、
   前記複数の予測モードのそれぞれが前記処理対象ブロックのイントラ予測符号化の際に選択された場合に該選択された予測モードを指定する指定データを、前記推定手段により推定された予測モードに基づき生成し、該指定データの第１の予測符号量を算出する生成手段と、
   前記複数の予測モードのそれぞれについて、前記処理対象ブロックをイントラ予測符号化した際の第２の予測符号量を、前記第１の予測符号量を用いて予測する予測手段と、
   前記予測手段により予測された第２の予測符号量に基づいて、前記処理対象ブロックのイントラ予測符号化に用いる予測モードを決定する決定手段と
   を備えることを特徴とする動画像符号化装置。
2. 前記第１のフレームと前記第２のフレームとの間において、前記第１のフレームを構成する画素と、前記第２のフレームを構成する画素との差分が最小となる、前記第１のフレームと第２のフレームとのずれ量に基づくグローバルベクトルを演算するグローバルベクトル演算手段をさらに備え、
   前記推定手段は、前記第３のブロックの予測モードに換えて、前記第２のブロックが前記第１のフレーム内で有する空間位置と同一の空間位置を前記第２のフレーム内で有するブロックから、前記グローバルベクトル分だけずれた第４のブロックの予測モードに基づき、前記処理対象ブロックの予測モードを推定することを特徴とする請求項１に記載の動画像符号化装置。
3. 前記グローバルベクトル演算手段は、前記第１のフレームと前記第２のフレームとを複数のエリアに分割し、対応するエリア毎に前記グローバルベクトルを演算し、
   前記推定手段は、前記処理対象ブロックが属するエリアについて求めた前記グローバルベクトルに基づいて、前記第４のブロックを特定することを特徴とする請求項２に記載の動画像符号化装置。
4. 前記推定手段は、前記第４のブロックが前記第２のフレームに含まれなくなる場合には、前記第１のブロックについて選択された予測モードに基づき、前記処理対象ブロックの予測モードを推定することを特徴とする請求項２又は３に記載の動画像符号化装置。
5. 前記生成手段は、前記複数の予測モードの各々について、
   該予測モードと前記推定された予測モードとが一致する場合に、該一致を示す情報を含み、当該予測モードを示す値を含まない前記指定データを生成し、
   該予測モードと前記推定された予測モードとが一致しない場合に、該予測モードを示す値、又は、該値から一定値を減算した値を含む前記指定データを生成する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の動画像符号化装置。
6. 前記第１のブロックは、前記処理対象ブロックよりも符号化順が上位で、かつ、前記処理対象ブロックと垂直方向に隣接するブロックであり、
   前記第２のブロックは、前記処理対象ブロックよりも符号化順が上位で、かつ、前記処理対象ブロックと水平方向に隣接するブロックである
   ことを特徴とする請求項１乃至５のいずれか１項に記載の動画像符号化装置。
7. フレームを構成する各々のブロックについて、複数の予測モードのいずれかの予測モードに従って、処理対象ブロックの隣接ブロックの画素データを用いてイントラ予測符号化を行う動画像符号化装置の制御方法であって
   推定手段が、処理対象ブロックに隣接する第１のブロック及び第２のブロックのうち、
   双方がイントラ予測符号化済の場合は、該第１のブロックと該第２のブロックとについてそれぞれ選択された前記予測モードに基づき、前記処理対象ブロックの予測モードを推定し、
   前記第１のブロックのみがイントラ予測符号化済である場合は、該第１のブロックについて選択された予測モードと、前記処理対象ブロックが属する第１のフレーム内で前記第２のブロックが有する空間位置と同一の空間位置を、前記第１のフレームと時間的に最も近い符号化済の第２のフレーム内で有する第３のブロックについて選択された予測モードとに基づき、前記処理対象ブロックの予測モードを推定する推定工程と、
   生成手段が、前記複数の予測モードのそれぞれが前記処理対象ブロックのイントラ予測符号化の際に選択された場合に該選択された予測モードを指定する指定データを、前記推定工程において推定された予測モードに基づき生成し、該指定データの第１の予測符号量を算出する生成手段と、
   予測手段が、前記複数の予測モードのそれぞれについて、前記処理対象ブロックをイントラ予測符号化した際の第２の予測符号量を、前記第１の予測符号量を用いて予測する予測工程と、
   決定手段が、前記予測工程においてにより予測された第２の予測符号量に基づいて、前記処理対象ブロックのイントラ予測符号化に用いる予測モードを決定する決定工程と
   を備えることを特徴とする動画像符号化装置の制御方法。
8. コンピュータを、請求項１乃至６のいずれか１項に記載の動画像符号化装置として機能させるためのコンピュータプログラム。

Images