JP2011199629A - 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムならびに映像伝送装置 - Google Patents

Abstract

【課題】符号化対象ブロックに含まれる画素数よりも少ない数の画素を持ちいても、適切な予測モードを選択できる動画像符号化装置を提供する。
【解決手段】動画像符号化装置１は、符号化対象ピクチャ中の第１及び第２のブロックについて、第１及び第２のブロックが持つ所定方向の解像度を維持するように、第１及び第２のブロックから第１及び第２の縮小画像を生成する縮小画像生成部２２と、第２の縮小画像から複数の予測モードのそれぞれに応じた縮小予測画像を生成する縮小予測画像生成部２４と、各縮小予測画像と第１の縮小画像の対応する画素の値の差に基づいて、各予測モードに対する予測誤差の統計量をそれぞれ算出する誤差統計量算出部２５と、予測誤差の統計量が最小となる予測モードを第１のブロックに適用される予測モードとして決定する判定部２６とを有する。
【選択図】図２

Description

ここに開示される実施形態は、ピクチャ内のブロックを他のブロックの情報を用いて符号化する動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムならびに映像伝送装置に関する。

動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを符号化することにより圧縮する。代表的な動画像の符号化方式として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)で策定されたMoving Picture Experts Group phase 2（MPEG-2）、MPEG-4、あるいはH.264 MPEG-4 Advanced Video Coding（H.264 MPEG-4 AVC）が広く利用されている。
このような符号化方式では、符号化対象のピクチャと、その前後のピクチャの情報を用いて、符号化対象のピクチャを符号化するインター符号化方法が採用されている。

さらに、H.264 MPEG-4 AVCでは、１枚のピクチャを複数のブロックに分割し、そのうちの符号化対象のブロックを、既に符号化されているブロックの情報を用いて符号化するイントラ符号化方法も採用されている。このイントラ符号化方法は、符号化対象のブロックに含まれる各画素と、既に符号化されているブロックから生成される予測画像の対応する画素との差分値を予測誤差として算出し、その予測誤差を符号化する。イントラ符号化方法は、一様な模様、例えば、ストライプ模様が含まれるピクチャの情報量を大きく削減することができる。

また、イントラ符号化方法において、予測画像を生成する方法は複数用意される。この予測画像を生成する個々の方法を、以下では予測モードと呼ぶ。例えば、H.264 MPEG-4 AVCでは、最大９種類の予測モードが用意されている。そして、それらの予測モードのうち、予測誤差が最も少なくなる予測モードが選択され、その予測モードに従って予測画像が生成される。その際、予測画像を生成する最適な予測モードを選択するための演算量を減らすために、例えば、ブロック中の幾つかの画素が選択され、その選択された画素に基づいて予測誤差量を求める技術が提案されている（例えば、特許文献１を参照）。

特開２００６−２４６４３１号公報

しかし、選択された画素だけでは、ピクチャに写っているシーンによっては、予測誤差量を適切に評価することが困難なこともあった。例えば、符号化対象ブロックと予測画像を生成するために利用されるブロックの両方に、選択された画素の間隔よりも解像度が高く、かつ、ブロック間で異なる模様が映っていると、選択された画素だけでは両ブロックの模様の差を正確に評価できないこともある。このような場合、予測誤差量が最小とならない予測モードが選択されてしまい、その結果として、ピクチャの情報量が十分に削減されないおそれがあった。

そこで、本明細書は、符号化対象ブロックに含まれる画素の数よりも少ない画素に基づいて、適切な予測モードを選択できる動画像符号化装置を提供することを目的とする。

一つの実施形態によれば、動画像符号化装置が提供される。この動画像符号化装置は、符号化対象ピクチャを分割した複数のブロックのうちの第１のブロック及び第１のブロックに隣接する第２のブロックについて、第１のブロック及び第２のブロックが持つ所定方向の解像度を維持するように、第１のブロックから第１のブロックが持つ画素数を減じた第１の縮小画像を生成し、第２のブロックから第２のブロックが持つ画素数を減じた第２の縮小画像を生成する縮小画像生成部と、第２の縮小画像から複数の予測モードのそれぞれに応じた縮小予測画像を生成する縮小予測画像生成部と、各縮小予測画像と第１の縮小画像の対応する画素の値の差に基づいて、各予測モードに対する予測誤差の統計量をそれぞれ算出する誤差統計量算出部と、複数の予測モードのうち、予測誤差の統計量が最小となる予測モードを第１のブロックに適用される予測モードとして決定する判定部と、決定された予測モードに従って、第１のブロックに対する予測画像を生成する予測画像生成部と、予測画像と第１のブロックの対応する画素の差を表す誤差信号を符号化する符号化部とを有する。

また他の実施形態によれば、動画像符号化方法が提供される。この動画像符号化方法は、符号化対象ピクチャを分割した複数のブロックのうちの第１のブロック及び第１のブロックに隣接する第２のブロックについて、第１のブロック及び第２のブロックが持つ所定方向の解像度を維持するように、第１のブロックから第１のブロックが持つ画素数を減じた第１の縮小画像を生成し、第２のブロックから第２のブロックが持つ画素数を減じた第２の縮小画像を生成し、第２の縮小画像から複数の予測モードのそれぞれに応じた縮小予測画像を生成し、各縮小予測画像と第１の縮小画像の対応する画素の値の差に基づいて各予測モードに対する予測誤差の統計量をそれぞれ算出し、複数の予測モードのうち、予測誤差の統計量が最小となる予測モードを、第１のブロックに適用される予測モードとして決定し、決定された予測モードに従って、第１のブロックに対する予測画像を生成し、予測画像と第１のブロックの対応する画素の差を表す誤差信号を符号化することを含む。

さらに他の実施形態によれば、コンピュータに動画像データを符号化させる動画像符号化用コンピュータプログラムが提供される。このコンピュータプログラムは、符号化対象ピクチャを分割した複数のブロックのうちの第１のブロック及び第１のブロックに隣接する第２のブロックについて、第１のブロック及び第２のブロックが持つ所定方向の解像度を維持するように、第１のブロックから第１のブロックが持つ画素数を減じた第１の縮小画像を生成し、第２のブロックから第２のブロックが持つ画素数を減じた第２の縮小画像を生成し、第２の縮小画像から複数の予測モードのそれぞれに応じた縮小予測画像を生成し、各縮小予測画像と第１の縮小画像の対応する画素の値の差に基づいて各予測モードに対する予測誤差の統計量をそれぞれ算出し、複数の予測モードのうち、予測誤差の統計量が最小となる予測モードを、第１のブロックに適用される予測モードとして決定し、決定された予測モードに従って、第１のブロックに対する予測画像を生成し、予測画像と第１のブロックの対応する画素の差を表す誤差信号を符号化することをコンピュータに実行させる命令を有する。

さらに他の実施形態によれば、映像伝送装置が提供される。この映像伝送装置は、入力されたオーディオ信号を符号化するオーディオ符号化部と、入力された動画像信号を符号化する動画像符号化部と、動画像符号化部により符号化された動画像信号とオーディオ符号化部により符号化されたオーディオ信号を多重化することにより映像ストリームを生成する多重化部とを有する。そして動画像符号化部は、動画像信号に含まれる符号化対象ピクチャを分割した複数のブロックのうちの第１のブロック及び第１のブロックに隣接する第２のブロックについて、第１のブロック及び第２のブロックが持つ所定方向の解像度を維持するように、第１のブロックから第１のブロックが持つ画素数を減じた第１の縮小画像を生成し、第２のブロックから第２のブロックが持つ画素数を減じた第２の縮小画像を生成し、第２の縮小画像から複数の予測モードのそれぞれに応じた縮小予測画像を生成し、各縮小予測画像と第１の縮小画像の対応する画素の値の差に基づいて各予測モードに対する予測誤差の統計量をそれぞれ算出し、複数の予測モードのうち、予測誤差の統計量が最小となる予測モードを、第１のブロックに適用される予測モードとして決定し、決定された予測モードに従って、第１のブロックに対する予測画像を生成し、予測画像と第１のブロックの対応する画素の差を表す誤差信号を符号化する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

本明細書に開示された動画像符号化装置は、符号化対象ブロックに含まれる画素の数よりも少ない画素に基づいて、適切な予測モードを選択できる。

一つの実施形態に係る動画像符号化装置の概略構成図である。 予測モード判定部のブロック図である。 マクロブロックの縮小画像の一例を示す図である。 マクロブロックの縮小画像の他の一例を示す図である。 （Ａ）〜（Ｄ）は、それぞれ、ＤＣモード、水平モード、垂直モード、プレーンモードにおいて、縮小画像に基づいて生成される予測画像の概略を示す図である。（Ｅ）は、4:2:0フォーマットで生成された色差信号に対してＤＣモードで生成される予測画像を示す図である。 （Ａ）は、符号化対象となるマクロブロック及びそのマクロブロックに対する予測画像を生成するために参照されるマクロブロックの一例を示す図である。（Ｂ）は、図６（Ａ）に示されたマクロブロックに基づいて、水平モードで生成される予測画像を表す図である。（Ｃ）は、マクロブロックの各画素の予測誤差を表す図である。（Ｄ）は、図６（Ａ）に示されたマクロブロックから、4:2:0フォーマットに合うように生成された縮小画像を表す図である。（Ｅ）は、従来手法に従って、図６（Ｄ）に示された縮小画像に基づいて水平モードで生成される予測画像を表す図である。（Ｆ）は、図６（Ｄ）に示された縮小画像及び図６（Ｅ）に示された予測画像から算出される各画素の予測誤差を表す図である。 （Ａ）は、図６（Ａ）に示されたマクロブロックから、本実施形態に従って生成された縮小画像を示す図である。（Ｂ）は、図７（Ａ）に示された縮小画像に基づいて、本実施形態に従って水平モードで生成された予測画像を示す図である。（Ｃ）は、図７（Ａ）に示された縮小画像及び図７（Ｂ）に示された予測画像から算出される各画素の予測誤差を示す図である。 （Ａ）は、符号化対象となるマクロブロック及びそのマクロブロックに対する予測画像を生成するために参照されるマクロブロックの他の一例を示す図である。（Ｂ）は、図８（Ａ）に示されたマクロブロックに基づいて、ＤＣモードで生成される予測画像を表す図である。（Ｃ）は、マクロブロックの各画素の予測誤差を表す図である。（Ｄ）は、図８（Ａ）に示されたマクロブロックから、4:2:0フォーマットに合うように生成された縮小画像を表す図である。（Ｅ）は、従来手法に従って、図８（Ｄ）に示された縮小画像に基づいてＤＣモードで生成される予測画像を表す図である。（Ｆ）は、図８（Ｄ）に示された縮小画像及び図８（Ｅ）に示された予測画像から算出される各画素の予測誤差を表す図である。 （Ａ）は、図８（Ａ）に示されたマクロブロックから、本実施形態に従って生成された縮小画像を示す図である。（Ｂ）は、図９（Ａ）に示された縮小画像に基づいて、本実施形態に従ってＤＣモードで生成された予測画像を示す図である。（Ｃ）は、図９（Ａ）に示された縮小画像及び図９（Ｂ）に示された予測画像から算出される各画素の予測誤差を示す図である。 予測モード決定処理の動作フローチャートである。 4:2:2フォーマットで生成された色差信号に対してＤＣモードで生成される予測画像を示す図である。 動画像符号化処理の動作フローチャートである。 何れかの実施形態に係る動画像符号化装置が組み込まれた映像伝送装置の概略構成図である。

以下、図を参照しつつ、一つの実施形態による、動画像符号化装置について説明する。
この動画像符号化装置は、イントラ符号化するピクチャに含まれる色差情報を表す色差信号上に設定されたブロックを市松状に間引いた縮小画像を生成する。そしてこの動画像符号化装置は、その縮小画像に基づいて予測誤差量を評価することで、解像度が高いシーンが写っているピクチャについても、色差信号に対して適切な予測モードを選択することを図る。

なお、ピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。
本実施形態では、符号化される動画像データは、カラー動画像である。そのため、符号化対象ピクチャは、輝度情報を表す１枚の輝度ピクチャと、色差信号として２枚の色差ピクチャを有する。本実施形態では、１枚の輝度ピクチャ及び２枚の色差ピクチャは、YCbCr色空間で表されるように生成される。以下、輝度ピクチャをYピクチャと呼ぶ。また、青色成分と輝度との色差を表す色差ピクチャをCbピクチャと呼び、赤色成分と輝度との色差を表す色差ピクチャをCrピクチャと呼ぶ。なお、符号化される動画像データは、他の色空間の定義に従って生成されたものでもよい。例えば、符号化される動画像データに含まれる各ピクチャは、YPbPr色空間で表される１枚の輝度ピクチャと２枚の色差ピクチャを有していてもよい。

また動画像データは、Group Of Pictures（GOP）単位で符号化される。GOPは、連続する複数のピクチャを含み、各ピクチャに対する符号化方法が規定された構造を表す。また、以下では、GOPに含まれるピクチャのうち、時間的に前のピクチャの情報を用いてインター符号化されるピクチャをPピクチャと表記する。さらに、時間的に前のピクチャと後のピクチャの両方の情報を用いてインター符号化されるピクチャをBピクチャと表記する。さらに、インター符号化されないピクチャをIピクチャと表記する。

図１は、一つの実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、符号化部１０と、復号部１４と、参照画像記憶部１５と、イントラ／インター符号化切替部１６と、予測モード判定部１７と、動きベクトル計算部１８と、予測画像生成部１９とを有する。
動画像符号化装置１が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像符号化装置１が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像符号化装置１に実装されてもよい。さらに、動画像符号化装置１が有するこれらの各部は、動画像符号化装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。

符号化部１０は、動画像データのうち、符号化対象となる現在のピクチャを符号化する。そのために、符号化部１０は、予測誤差信号生成部１１と、直交変換・量子化部１２と、可変長符号化部１３とを有する。
符号化対象となるピクチャに含まれるYピクチャ、Cbピクチャ及びCrピクチャは、例えば、動画像符号化装置１全体を制御する制御部（図示せず）により、それぞれ、所定数の画素を持つ複数のブロックに分割される。この符号化処理の単位となるブロックを、以下ではマクロブロックと呼ぶ。そして符号化部１０には、各マクロブロックが、例えばH.264 MPEG-4 AVCに規定された順序で入力される。

また本実施形態では、Yピクチャ、Cbピクチャ及びCrピクチャは、いわゆる4:2:2フォーマットまたは4:2:0フォーマットに従って分割される。4:2:2フォーマットでは、Cbピクチャ及びCrピクチャについてのマクロブロックに含まれる水平方向の画素数は、Yピクチャのマクロブロックに含まれる水平方向の画素数の1/2となる。一方、マクロブロックに含まれる垂直方向の画素数は、YピクチャとCbピクチャ及びCrピクチャで同一となる。また4:2:0フォーマットでは、Cbピクチャ及びCrピクチャについてのマクロブロックに含まれる画素数は、水平方向、垂直方向とも、Yピクチャについてのマクロブロックの画素数の1/2となる。
例えば、Yピクチャのマクロブロックが水平16×垂直16画素を含むとする。この場合、4:2:2フォーマットでは、Cbピクチャ及びCrピクチャのマクロブロックは水平8×垂直16画素を含み、4:2:0フォーマットでは、Cb及びCrピクチャのマクロブロックは水平8×垂直8画素を含む。

予測誤差信号生成部１１は、入力されたマクロブロックと、予測画像生成部１９により生成された予測画像との差分演算を実行する。そして直交変換・量子化部１２は、その差分演算により得られたマクロブロック内の各画素に対応する差分値を、予測誤差信号とする。
予測誤差信号生成部１１は、予測誤差信号を直交変換・量子化部１２へ渡す。

直交変換・量子化部１２は、入力されたマクロブロックの予測誤差信号を直交変換することにより、予測誤差信号の水平方向の周波数成分及び垂直方向の周波数成分を表す周波数信号を求める。例えば、直交変換・量子化部１２は、直交変換処理として、離散コサイン変換（Discrete Cosine Transform、DCT）を予測誤差信号に対して実行することにより、周波数信号として、マクロブロックごとのDCT係数の組を得る。

次に、直交変換・量子化部１２は、周波数信号を量子化する。この量子化処理は、一定区間に含まれる信号値を一つの信号値で表す処理である。そしてその一定区間は、量子化幅と呼ばれる。例えば、直交変換・量子化部１２は、周波数信号から、量子化幅に相当する所定数の下位ビットを切り捨てることにより、その周波数信号を量子化する。量子化幅は、量子化パラメータによって決定される。例えば、直交変換・量子化部１２は、量子化パラメータの値に対する量子化幅の値を表す関数にしたがって、使用される量子化幅を決定する。またその関数は、量子化パラメータの値に対する単調増加関数とすることができ、予め設定される。あるいは、水平方向及び垂直方向の周波数成分のそれぞれに対応する量子化幅を規定する量子化マトリクスが、予め複数準備され、直交変換・量子化部１２が有するメモリに記憶される。そして直交変換・量子化部１２は、量子化パラメータにしたがって、それら量子化マトリクスのうちの特定の量子化マトリクスを選択する。そして直交変換・量子化部１２は、選択された量子化マトリクスを参照して、周波数信号の各周波数成分に対する量子化幅を決定する。

また直交変換・量子化部１２は、MPEG-2、MPEG-4、H.264 MPEG-4 AVCなどの動画像符号化規格に対応した様々な量子化パラメータ決定方法の何れかに従って量子化パラメータを決定すればよい。直交変換・量子化部１２は、例えば、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法を用いることができる。なお、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法に関しては、例えば、http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.htmlで特定されるURLを参照されたい。
直交変換・量子化部１２は、量子化処理を実行することにより、周波数信号の各周波数成分を表すために使用されるビットの数を削減できるので、入力されたマクロブロックに含まれる情報量を低減できる。直交変換・量子化部１２は、量子化信号を可変長符号化部１３及び復号部１４に供給する。

可変長符号化部１３は、直交変換・量子化部１２から受け取った量子化された信号及び動きベクトル計算部１８から受け取った動きベクトルを符号化することにより、データ量が圧縮された符号化信号を生成する。そのために、可変長符号化部１３は、例えば、その量子化信号に対して、生起確率が高い信号値ほど短くなる、可変長の符号語を割り当てる可変長符号化処理を実行する。例えば、可変長符号化部１３は、可変長符号化処理として、ハフマン符号化処理あるいは算術符号化処理を用いることができる。

可変長符号化部１３により生成された符号化信号に対して、動画像符号化装置１は、所定の情報をヘッダ情報として付加することにより、符号化された動画像データを含むデータストリームを生成する。なお、そのヘッダ情報には、予測モード判定部１７により決定された、イントラ符号化される場合の予測画像の生成方法を規定する予測モードを表す信号も含まれる。動画像符号化装置１は、そのデータストリームを磁気記録媒体、光記録媒体あるいは半導体メモリなどを有する記憶部（図示せず）に記憶するか、あるいはそのデータストリームを他の機器へ出力する。

復号部１４は、直交変換・量子化部１２から受け取った量子化信号に、量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより逆量子化する。この逆量子化により、入力されたマクロブロックの周波数信号、例えば、DCT係数の組が復元される。その後、復号部１４は、周波数信号を逆直交変換処理する。例えば、直交変換・量子化部１２においてDCT処理が行われる場合、復号部１４は、逆量子化信号に対して逆DCT処理を実行する。逆量子化処理及び逆直交変換処理を量子化信号に対して実行することにより、符号化前の予測誤差信号と同程度の情報を有する予測誤差信号が再生される。

復号部１４は、インター符号化されるピクチャについて、動き補償された予測画像の各画素値に、その画素に対応する再生された予測誤差信号を加算する。一方、復号部１４は、イントラ符号化されるピクチャについて、既に符号化されたマクロブロックに基づいて生成された予測画像の各画素値に、その画素に対応する、再生された予測誤差信号を加算する。これらの処理を各マクロブロックについて実行することにより、復号部１４は、その後に符号化されるマクロブロックに対する予測画像を生成するために利用される参照画像を生成する。
復号部１４は、得られた参照画像を参照画像記憶部１５に記憶させる。

参照画像記憶部１５は、例えば、フレームメモリを有する。そして参照画像記憶部１５は、復号部１４から受け取った参照画像を一時的に記憶する。そして参照画像記憶部１５は、イントラ／インター符号化切替部１６及び予測画像生成部１９にその参照画像を供給する。なお、参照画像記憶部１５は、予め定められた所定枚数分の参照画像を記憶し、参照画像の枚数がその所定枚数を超えると、古い参照画像から順に破棄する。

イントラ／インター符号化切替部１６は、入力されたマクロブロックをインター符号化するかあるいはイントラ符号化するかを決定する。
イントラ／インター符号化切替部１６は、例えば、図示しない制御部から取得した、符号化対象のピクチャのGOP内の位置を示す情報に基づいて、符号化対象のピクチャをインター符号化するかイントラ符号化するかを決定する。符号化対象のピクチャの位置がIピクチャに相当する位置であれば、イントラ／インター符号化切替部１６は適用される符号化方法としてイントラ符号化方法を選択する。そしてイントラ／インター符号化切替部１６は、入力されたマクロブロックで参照される可能性の有る参照画像を参照画像記憶部１５から読み込む。そしてイントラ／インター符号化切替部１６は、その参照画像を予測画像生成部１９へ渡す。

一方、符号化対象のピクチャの位置がBピクチャまたはPピクチャに相当する位置であれば、イントラ／インター符号化切替部１６は、例えば、適用される符号化方法としてインター符号化方法を選択する。そしてイントラ／インター符号化切替部１６は、入力されたマクロブロックで参照される可能性の有る参照画像を参照画像記憶部１５から読み込む。そしてイントラ／インター符号化切替部１６は、その参照画像を動きベクトル計算部１８及び予測画像生成部１９へ渡す。
なお、符号化部１０、復号部１４、参照画像記憶部１５及びイントラ／インター符号化切替部１６は、Yピクチャ、Cbピクチャ及びCrピクチャのそれぞれのマクロブロックに対して上記の処理を実行する。

予測モード判定部１７は、イントラ符号化用の予測画像を生成するために予め準備された複数の予測モードの中から、動画像データ中の符号化対象ピクチャに対して使用される予測モードをマクロブロックごとに決定する。特に、予測モード判定部１７は、4:2:2フォーマットで生成されたCbピクチャ及びCrピクチャに対する予測モードを決定する場合、符号化対象ピクチャを複数のマクロブロックに分割する。そして予測モード判定部１７は、各マクロブロックから、4:2:0フォーマットのCbピクチャ及びCrピクチャのサイズと同じサイズを持つ縮小画像を生成する。そして予測モード判定部１７は、その縮小画像を用いて使用される予測モードを決定する。

図２に、予測モード判定部１７のブロック図を示す。予測モード判定部１７は、画像サイズ判定部２１と、縮小画像生成部２２と、バッファ２３と、予測画像生成部２４と、誤差統計量算出部２５と、判定部２６とを有する。

画像サイズ判定部２１は、入力された符号化対象ピクチャが4:2:2フォーマットで生成されたピクチャか、4:2:0フォーマットで生成されたピクチャか判定する。そして画像サイズ判定部２１は、符号化対象ピクチャが4:2:2フォーマットで生成されたCbピクチャまたはCrピクチャである場合、符号化対象ピクチャを縮小画像生成部２２へ渡す。一方、符号化対象ピクチャが4:2:0フォーマットで生成されたピクチャまたはYピクチャである場合、画像サイズ判定部２１は、その符号化対象ピクチャを複数のマクロブロックに分割する。そして画像サイズ判定部２１は、各マクロブロックをバッファ２３に記憶させる。

本実施形態では、縮小画像生成部２２は、符号化対象ピクチャを複数のマクロブロックに分割する。そして縮小画像生成部２２は、各マクロブロックから、垂直方向の画素数がマクロブロックの1/2となる縮小画像を生成する。その際、縮小画像生成部２２は、縮小画像において、元のマクロブロック及び隣接するマクロブロックの境界に平行な方向の解像度が維持されるように縮小画像を生成する。本実施形態では、縮小画像において元のマクロブロックの垂直方向の解像度が維持される。また、水平方向については縮小画像は元のマクロブロックの画素数と等しい画素数を含むので、縮小画像の水平方向の解像度も、元のマクロブロックの水平方向の解像度と等しい。
縮小画像生成部２２は、4:2:2フォーマットで生成されたCbピクチャ及びCrピクチャの各マクロブロックが水平８画素×垂直１６画素を有している場合、例えば、次式に従って縮小画像を生成する。

ここでCz[x,y]は、4:2:2フォーマットで生成されたCbピクチャまたはCrピクチャに含まれる一つのマクロブロックを表す。またCz'[x,y]は、マクロブロックCz[x,y]に対応する縮小画像を表す。x、yは、それぞれ、マクロブロック単位の水平方向座標及び垂直座標を表す。なお、座標系は、左上端を原点とし、右方向及び下方向を正とする。

図３は、（１）式に従って生成されたマクロブロック３００の縮小画像３１０の一例を示す図である。図３において、縮小画像３１０の各画素内には、マクロブロック３００の対応する画素の水平座標及び垂直座標が示されている。
図３に示されるように、縮小画像３１０は、マクロブロック３００に含まれる画素を市松状に間引くことにより生成される。ただし、マクロブロック３００の右端及び下端に位置する画素は、隣接するマクロブロックの予測画像を生成するために参照される可能性がある。そこで縮小画像３１０では、一番右の２行に、マクロブロック３００の右端に位置する画素が含まれている。また縮小画像３１０では、一番下の行に、マクロブロック３００の下端に位置する画素が含まれている。本実施形態では、マクロブロック３００の右端に位置する画素が、下端に位置する画素よりも優先されている。そこで、縮小画像３１０には、マクロブロック３００の座標(6,15)に相当する画素が含まれず、その代わりに、座標(7,14)に相当する画素が含まれている。

また、縮小画像生成部２２は、（１）式に従って生成される縮小画像を以下のように修正してもよい。
・縮小画像生成部２２は、元のマクロブロックの右端の列に位置し、かつ偶数行に位置する画素（Cz[7,y]、ただし、y=0,2,4...,12）を、縮小画像の右端から２番目の列に挿入する代わりに、縮小画像の右端から３番目の列の画素(Cz'[5,y/2])とする。ただし、元のマクロブロックのうちの右端の列に位置し、下から２行目に位置する画素Cz[7,14]は、（１）式により、縮小画像の右から２番目の列でかつ一番下の行に位置する画素Cz'[6,7]となっている。そのため、縮小画像生成部２２は、（１）式によって決定される元のマクロブロックの画素Cz[5,15]をCz'[5,7]とする。また、縮小画像生成部２２は、元のマクロブロックの下端の行に位置し、かつ偶数列に位置する画素（Cz[x,15]、ただし、x=0,2,4,6）を、左から順に、それぞれ、縮小画像の下から２番目の行の画素(Cz'[x,6])とする。

図４は、上記の変形例に従って生成されるマクロブロックの縮小画像の他の一例を示す図である。縮小画像４００の各画素には、図３に示したマクロブロック３００の対応する画素の水平座標及び垂直座標が示されている。この縮小画像４００についても、右端の３列及び下端の２行を除いて、市松状に元のマクロブロックの画素が抽出されている。そのため、この縮小画像４００においても、マクロブロック３００が持つ垂直方向の解像度が維持されている。

上記の実施形態では、縮小画像の偶数列の画素が、元のマクロブロックの偶数行の画素の値を持ち、縮小画像の奇数列の画素が、元のマクロブロックの奇数行の画素の値を持つように、元のマクロブロックの画素を市松状に間引いて生成されている。
しかし、縮小画像生成部２２は、縮小画像の偶数列の画素に元のマクロブロックの奇数行の画素が挿入され、縮小画像の奇数列の画素に元のマクロブロックの偶数行の画素が挿入されるよう元のマクロブロックの画素を市松状に間引いて、縮小画像を生成してもよい。

縮小画像生成部２２は、各マクロブロックについて上記の処理を行うことにより、縮小画像を生成すると、その縮小画像をバッファ２３に記憶させる。

バッファ２３は、例えば、半導体メモリを有する回路であり、符号化対象ピクチャの各マクロブロック、またはマクロブロックが持つ画素数を1/2に減らした縮小画像を記憶する。

予測画像生成部２４は、バッファ２３から符号化対象ピクチャのマクロブロックまたはマクロブロックに対応する縮小画像を読み出す。そして予測画像生成部２４は、そのマクロブロックまたは縮小画像に基づいて、予め準備された複数の予測モードのそれぞれに対応する予測画像をマクロブロック単位で生成する。なお、予測画像生成部２４は縮小予測画像生成部の一例である。
ここで、符号化対象ピクチャが4:2:2フォーマットで生成されたCbピクチャまたはCrピクチャである場合には、バッファ２３には、画素数を4:2:0フォーマットで生成されたピクチャのマクロブロックの画素数と一致させた縮小画像が記憶されている。

そこで、予測画像生成部２４は、符号化対象ピクチャがCbピクチャまたはCrピクチャである場合には、何れも、Yピクチャのマクロブロックが持つ水平方向の画素数及び垂直方向の画素数のそれぞれ1/2の画素数を持つ予測画像を生成する。
本実施形態では、予測モードには、ＤＣモード、水平モード、垂直モード及びプレーンモードが含まれる。

図５（Ａ）〜図５（Ｄ）は、それぞれ、ＤＣモード、水平モード、垂直モード、プレーンモードにおいて、着目する縮小画像に隣接する参照縮小画像に基づいて生成される予測画像の概略を示す図である。
図５（Ａ）〜図５（Ｄ）において、予測画像５００は水平８画素×垂直８画素を持つ。そして予測画像５００に対応する着目縮小画像の上端に隣接する参照縮小画像の下端に位置する画素ａ〜ｆと、着目縮小画像の左端に隣接する参照縮小画像の右端２列に位置する画素Ａ〜Ｐが、それぞれ、予測画像５００を生成するために利用される参照画素となる。

図５（Ａ）に示されるように、ＤＣモードでは、予測画像５００の各画素値は、4:2:2フォーマットの色差信号に対して算出される予測画像と同様に、予測画像５００を水平方向に２分割し、垂直方向に４分割した領域５０１〜５０８ごとに求められる。各領域に含まれる画素の値は、それぞれ、その領域に含まれる列と同じ列に位置する参照画素と、その領域に含まれる行と同じ行に位置する参照画素の平均値として算出される。図５（Ａ）において、各領域５０１〜５０８には、その領域内の画素値の算出に利用される参照画素が示されている。例えば、予測画像５００の左上端の領域５０１に含まれる各画素の値は、参照画素Ａ、Ｂ、Ｉ、Ｊ、ａ、ｂ、ｃ、ｄの画素値の平均値である。また、右側の上から２番目の領域５０４に含まれる各画素の値は、参照画素Ｃ、Ｄ、Ｋ、Ｌ、ｅ、ｆ、ｇ、ｈの画素値の平均値である。
具体的には、予測画像５００の各画素値は、次式に従って算出される。

ただし、A1〜A8は、それぞれ、予測画像５００の領域５０１〜５０８に含まれる画素値である。また、A〜Pは、それぞれ、予測画像５００の左端に隣接する参照画像の参照画素Ａ〜Ｐの画素値である。a〜hは、それぞれ、予測画像５００の上端に隣接する参照画像の参照画素ａ〜ｈの画素値である。そして演算子">>"は、m、nをそれぞれ変数として、"m >> n"と表記された場合、変数mを下位ビット方向にnビットシフトさせる演算子である。

図５（Ｂ）に示されるように、水平モードでは、予測画像５００の各画素値は、予測画像５００と対応する縮小前のマクロブロックにおける対応画素が位置する行と同じ行に位置する参照画素の値となる。
具体的には、縮小画像の偶数列には、その縮小画像と対応するマクロブロックの偶数行に位置する画素が配置されている。そのため、予測画像５００の偶数列の画素は、参照画素Ａ〜Ｐのうち、縮小画像の生成に用いられたマクロブロックの偶数行の画素に対応する参照画素Ｉ〜Ｐとなる。また、縮小画像の奇数列には、その縮小画像と対応するマクロブロックの奇数行に位置する画素が配置されている。そのため、予測画像５００の奇数列の画素は、参照画素Ａ〜Ｐのうち、縮小画像の生成に用いられたマクロブロックの奇数行の画素に対応する参照画素Ａ〜Ｈとなる。例えば、予測画像５００の左上端画素の画素値は、参照画素Ｉの値となる。また、予測画像５００の右下端画素の画素値は、参照画素Ｈの値となる。

図５（Ｃ）に示されるように、垂直モードでは、予測画像５００の各画素値は、着目縮小画像の上端に隣接する参照画素ａ〜ｈのうち、予測画像５００の着目画素が含まれる列と同じ列上に位置する参照画素の値となる。例えば、予測画像５００の一番左の列の各画素値は、参照画素ａの値となる。また、予測画像５００の一番右の列の各画素値は、参照画素ｈの値となる。

図５（Ｄ）の矢印に示されるように、参照画素の値が予測画像５００に対して斜方向に反映される。具体的には、プレーンモードでは、予測画像５００の各画素値は、次式に従って求められる。

ただし、p(x,y)は、予測画像５００の左上端の座標を(0,0)としたときに、生成される予測画像の水平座標x、垂直座標yの画素値を表す。またR(x,y)は、予測画像５００に対応する着目縮小画像の左上端の座標を(0,0)としたときの、水平座標x、垂直座標yの参照画素の画素値を表す。したがって、着目縮小画像の左端に隣接する参照画素の水平座標xは'-1'となる。同様に、着目縮小画像の上端に隣接する参照画素の垂直座標yは'-1'となる。また関数Clip(z)は、変数zが0未満のときに0を出力し、変数zが255よりも大きいときに255を出力し、0≦z≦255のときにzそのものを出力する関数である。そして演算子">>"は、m、nをそれぞれ変数として、"m >> n"と表記された場合、変数mを下位ビット方向にnビットシフトさせる演算子である。

また、符号化対象ピクチャが4:2:0フォーマットで生成されたCbピクチャまたはCrピクチャである場合、予測画像生成部２４は、例えば、H.264 MPEG-4 AVCに規定された方法に従って各予測モードの予測画像を生成する。この場合、垂直モード及びプレーンモードについては、図５（Ｃ）及び図５（Ｄ）に示された方法と同様の方法で予測画像が生成される。また、水平モードについては、予測画像の各画素値は、予測画像に対応する着目マクロブロックの左端に隣接する参照画素のうちの予測画像の着目画素が含まれる行と同じ行に位置する参照画素の値となる。

図５（Ｅ）は、4:2:0フォーマットで生成されたCbピクチャまたはCrピクチャに対してＤＣモードで生成される予測画像５１０を示す。図５（Ｅ）に示されるように、ＤＣモードでは、予測画像５１０の各画素値は、予測画像５１０を水平方向及び垂直方向に２分割した領域５１１〜５１４ごとに求められる。各領域に含まれる画素の値は、それぞれ、その領域に含まれる列と同じ列に位置する参照画素と、その領域に含まれる行と同じ行に位置する参照画素の平均値として算出される。図５（Ｅ）において、各領域５１１〜５１４には、その領域内の画素値の算出に利用される参照画素が示されている。
なお、符号化対象ピクチャがYピクチャである場合には、予測画像生成部２４は、例えば、H.264 MPEG-4 AVCに規定された方法に従って各予測モードの予測画像を生成する。
予測画像生成部２４は、マクロブロック単位で生成された各予測モードの予測画像を誤差統計量算出部２５へ渡す。

誤差統計量算出部２５は、マクロブロック単位で、各予測モードについてのマクロブロックまたは縮小画像とそのマクロブロックについて算出された予測画像との誤差である予測誤差の統計量を算出する。
例えば、誤差統計量算出部２５は、次式に従って、各予測モードの予測誤差の統計量を算出する。

符号化対象ピクチャがYピクチャまたは4:2:0フォーマットで作成された色差信号である場合、o(x,y)は、着目するマクロブロックに含まれる水平座標x、垂直座標yの画素値を表す。一方、符号化対象ピクチャが4:2:2フォーマットで作成された色差信号である場合、o(x,y)は、着目するマクロブロックについて算出された縮小画像に含まれる水平座標x、垂直座標yの画素値を表す。なお、着目マクロブロックの左上端の画素の座標が(0,0)となる。またp_i(x,y)（i∈｛DC, Horizontal, Vertical, Plane｝）は、予測モードが'i'の予測画像に含まれる水平座標x、垂直座標yの画素値を表す。またhは、予測画像に含まれる水平方向の画素数であり、vは、予測画像に含まれる垂直方向の画素数である。そしてE_i(x,y)（i∈｛DC, Horizontal, Vertical, Plane｝）は、各予測モードの予測誤差の統計量を表す。なお、'DC'は、ＤＣモードを表し、'Horizontal'は水平モードを表し、'Vertical'は垂直モードを表し、'Plane'はプレーンモードを表す。
なお、誤差統計量算出部２５は、o(x,y)とp_i(x,y)の対応する画素間の画素値の差の２乗和又は２乗平均を、予測誤差の統計量として求めてもよい。
誤差統計量算出部２５は、マクロブロックごとに求めた予測誤差の統計量を、それぞれ判定部２６へ渡す。

判定部２６は、マクロブロックごとに、各予測モードの予測誤差の統計量のうち、最小値となる予測モードを、そのマクロブロックに対して用いる予測モードとして決定する。
判定部２６は、各マクロブロックの予測モードを、予測画像生成部１９へ通知する。

図６〜図９を参照しつつ、本実施形態による、予測モードの最適化について説明する。
図６（Ａ）は、符号化対象となるマクロブロック及びそのマクロブロックに対する予測画像を生成するために参照されるマクロブロックの一例を示す。図６（Ａ）に示される符号化対象となるマクロブロック６００及び参照マクロブロック６０１は、それぞれ4:2:2フォーマットで生成されている。そしてマクロブロック６００、６０１は、それぞれ、水平方向に８画素、垂直方向に１６画素を有する。マクロブロック６００、６０１の何れにも、垂直方向については、画素値が'0'と'255'で交互に入れ替わり、かつ水平方向に沿って各画素は同一の画素値を持つ、ストライプ状の模様が映っている。ただし、マクロブロック６００では、奇数行の画素が画素値'0'、偶数行の画素が画素値'255'を有するのに対し、マクロブロック６０１では、奇数行の画素が画素値'255'、偶数行の画素が画素値'0'を有している。

図６（Ｂ）は、マクロブロック６０１に基づいて、従来の手法による水平モードで生成される予測画像６０２を表す。従来の手法では、水平モードの予測画像の各行の画素値は、符号化対象となるマクロブロックの左隣に隣接する同じ行に位置する画素の値となる。従って、予測画像６０２も、マクロブロック６０１と同様のストライプ状の模様を有する。
図６（Ｃ）は、マクロブロック６００の各画素の予測誤差６０３を表す。予測誤差６０３は、全て'255'という大きな値となる。そのため、予測モードとして水平モードを適用することは好ましくない。

図６（Ｄ）は、マクロブロック６００、６０１から、4:2:0フォーマットに合うように、垂直方向の画素数がマクロブロック６００が有する垂直方向の画素数の1/2となるように生成された縮小画像６０４、６０５を表す。この縮小画像６０４、６０５は、本実施形態と異なり、縮小画像６０４、６０５における垂直方向の解像度が、元のマクロブロック６００、６０１の垂直方向の解像度よりも低下するように生成されている。例えば、縮小画像６０４、６０５は、それぞれ、マクロブロック６００、６０１の上下に隣接する奇数行の画素と偶数行の画素の画素値の平均値が一つの画素値となるように作成されている。
そのため、縮小画像６０４、６０５の各画素の画素値は'128'となっている。

図６（Ｅ）は、従来手法に従って、縮小画像６０５に基づいて水平モードで生成される予測画像６０６を表し、図６（Ｆ）は、縮小画像６０４及び予測画像６０６から算出される各画素の予測誤差６０７を表す。縮小画像６０５の右端の行の画素値は、全て'128'となっているので、予測画像６０６においても、全画素が画素値'128'を持つ。この結果、全ての画素の予測誤差６０７は'0'となる。従って、このような縮小画像を用いて予測モードを決定すると、水平モードに対する予測誤差の総和が他の予測モードについて求められる予測誤差の総和よりも小さくなるので、水平モードが選択されることになる。
しかし、実際には、上記のように、4:2:2フォーマットでは、水平モードに従って生成された予測画像を用いると予測誤差が非常に大きくなるので、この予測モードの選択結果は適切ではない。

図７（Ａ）は、図６（Ａ）に示されたマクロブロック６００、６０１から、本実施形態に従ってそれぞれ生成された縮小画像７００、７０１を示す。また図７（Ｂ）は、縮小画像７０１に基づいて、水平モードで生成された予測画像７０２を示す。図７（Ｃ）は、縮小画像７００及び予測画像７０２から算出される各画素の予測誤差７０３を示す。
本実施形態では、縮小画像７００、７０１は、元のマクロブロック６００、６０１から市松状に画素を間引くことで生成されている。そのため、縮小画像７００、７０１の偶数列の画素が、それぞれ元のマクロブロック６００、６０１の偶数行の画素の値を持ち、縮小画像７００、７０１の奇数列の画素が、それぞれ元のマクロブロック６００、６０１の奇数行の画素の値を持っている。このように、縮小画像７００、７０１においても、元のマクロブロック６００、６０１の垂直方向の解像度が維持されている。また、水平モードで生成された予測画像７０２においても、偶数列の画素が、元のマクロブロック６０１の偶数行の画素の値を持ち、奇数列の画素が、元のマクロブロック６０１の奇数行の画素の値を持っている。
この結果、各画素の予測誤差は、市松状でない規則に従って生成される最下端の行の画素を除いて'255'となるので、水平モードに対する予測誤差の総和も非常に大きな値となる。そのため、水平モードについて求められた予測誤差の総和は、他の予測モードについて求められた予測誤差の総和よりも大きくなる。このように、本実施形態に従って生成された縮小画像及び水平モードの予測画像生成方法を用いると、マクロブロック６００に対して適用される予測モードとしては不適切な水平モードが選択されることが防止される。

図８（Ａ）は、符号化対象となるマクロブロック及びそのマクロブロックに対する予測画像を生成するために参照されるマクロブロックの他の一例を示す。図８（Ａ）に示される符号化対象となるマクロブロック８００及び参照マクロブロック８０１は、それぞれ4:2:2フォーマットで生成されている。そしてマクロブロック８００、８０１は、それぞれ、水平方向に８画素、垂直方向に１６画素を有する。
マクロブロック８００及び８０１には、４行幅のストライプ状の模様が映っている。すなわち、マクロブロック８００において、垂直方向については、４行ずつ、低い画素値（3）を持つ画素と、高い画素値（243）を持つ画素が交互に入れ替わり、かつ水平方向に沿って各画素は同一の画素値を持つ。同様に、マクロブロック８０１では、垂直方向に４行ずつ、低い画素値（0,2,4,6）を持つ画素と、高い画素値（240,242,244,246）を持つ画素が交互に入れ替わり、かつ水平方向に沿って各画素は同一の画素値を持つ。

図８（Ｂ）は、マクロブロック８０１に基づいて、ＤＣモードで生成される予測画像８０２を表す。ＤＣモードでは、予測画像を分割した複数の領域のそれぞれに含まれる各画素値は、その画素が含まれる領域と同じ行及び同じ列に位置する参照ブロックの画素値の平均値となる。ここでは、簡単化のために、マクロブロック８００の上側に隣接するマクロブロックの画素値を考慮しないものとする。
この場合、予測画像８０２も、マクロブロック８０１と同様に４行幅のストライプ状の模様を有する。
図８（Ｃ）は、マクロブロック８００の各画素の予測誤差８０３を表す。予測誤差８０３は、全て'0'となる。そのため、予測モードとしてＤＣモードが適用されることが好ましい。

図８（Ｄ）は、マクロブロック８００、８０１から、4:2:0フォーマットに合うように、垂直方向の画素数が、マクロブロック８００が有する垂直方向の画素数の1/2となるように生成された縮小画像８０４、８０５を表す。この縮小画像８０４、８０５は、本実施形態と異なり、縮小画像８０４、８０５における垂直方向の解像度が、元のマクロブロック８００、８０１の垂直方向の解像度よりも低下するように生成されている。例えば、縮小画像８０４、８０５は、それぞれ、マクロブロック８００、８０１の上下に隣接する奇数行の画素と偶数行の画素の画素値の平均値が一つの画素値となるように作成されている。

図８（Ｅ）は、従来手法に従って、縮小画像８０５に基づいてＤＣモードで生成される予測画像８０６を表し、図８（Ｆ）は、縮小画像８０４及び予測画像８０６から算出される各画素の予測誤差８０７を表す。従来手法では、4:2:0フォーマットに対するＤＣモードの予測画像の各画素値は、マクロブロックを４×４画素を持つ領域で分割した領域ごとに、その領域と同じ行及び同じ列に位置する参照ブロックの画素の平均値として求められる。そして縮小画像８０５の右端の列では、２行ごとに低い画素値と高い画素値が現れる。そのため、予測画像８０６では、低い画素値を持つ二つの画素と高い画素値を持つ二つの画素の平均値として各画素の画素値が算出される。そのため、予測画像８０６では、全画素が中間的な画素値を持つ。一方、縮小画像８０４の各画素は、低い画素値('3')または高い画素値('243')を持っている。この結果、全ての画素の予測誤差８０７は、比較的大きな値となる。従って、このような縮小画像を用いて予測モードを決定すると、ＤＣモードに対する予測誤差の総和が最小とならないので、ＤＣモードは選択されないことになる。
しかし、実際には、上記のように、4:2:2フォーマットでは、ＤＣモードに従って生成された予測画像を用いると予測誤差が非常に小さくなるので、この予測モードの選択結果は適切ではない。

図９（Ａ）は、図８（Ａ）に示されたマクロブロック８００、８０１から、本実施形態に従ってそれぞれ生成された縮小画像９００、９０１を示す。また図９（Ｂ）は、縮小画像９０１に基づいて、ＤＣモードで生成された予測画像９０２を示す。図９（Ｃ）は、縮小画像９００及び予測画像９０２から算出される各画素の予測誤差９０３を示す。
本実施形態では、ＤＣモードでは、元のマクロブロックと同様に、縮小画像を垂直方向に４分割した領域ごとに、その領域に含まれる行又は列と同じ行又は列の参照ブロックの画素を用いて予測画像が生成される。そのため、予測画像９０２は、縮小画像９００と同じ幅を持つストライプ状の模様を持つ。
この結果、各画素の予測誤差は'0'となるので、予測誤差の総和も他の予測モードについて算出される予測誤差の総和よりも小さな値となる。このように、本実施形態に従って生成された縮小画像及びＤＣモードの予測画像生成方法を用いると、マクロブロック８００に対して適用される予測モードとして、最適なＤＣモードが選択される。

図１０は、予測モード判定部１７により実行される、予測モード決定処理の動作フローチャートを示す。
予測モード判定部１７の画像サイズ判定部２１は、符号化対象ピクチャが4:2:2フォーマットで生成された色差ピクチャか否か判定する（ステップＳ１０１）。
符号化対象ピクチャが4:2:2フォーマットで生成された色差ピクチャでない場合（ステップＳ１０１−Ｎｏ）、画像サイズ判定部２１は、符号化対象ピクチャを分割した複数のマクロブロックを予測モード判定部１７のバッファ２３に記憶させる。一方、符号化対象ピクチャが4:2:2フォーマットで生成された色差ピクチャである場合（ステップＳ１０１−Ｙｅｓ）、画像サイズ判定部２１は、符号化対象ピクチャを予測モード判定部１７の縮小画像生成部２２へ渡す。縮小画像生成部２２は、符号化対象ピクチャを複数のマクロブロックに分割する。そして縮小画像生成部２２は、各マクロブロックから、そのマクロブロックが持つ垂直方向解像度を維持するように縮小画像を生成する（ステップＳ１０２）。そして縮小画像生成部２２は、各縮小画像をバッファ２３に記憶させる。

その後、予測モード判定部１７の予測画像生成部２４は、バッファ２３に縮小画像が記憶されている場合、その縮小画像をバッファ２３から読み出す。一方、予測画像生成部２４は、バッファ２３にマクロブロックそのものが記憶されている場合、そのマクロブロックをバッファ２３から読み出す。そして予測画像生成部２４は、複数の予測モードのそれぞれに対応する予測画像をマクロブロック単位で生成する（ステップＳ１０３）。予測画像生成部２４は、各予測モードに対応する予測画像を、予測モード判定部１７の誤差統計量算出部２５へ渡す。

誤差統計量算出部２５は、バッファ２３に縮小画像が記憶されている場合、その縮小画像をバッファ２３から読み出す。一方、誤差統計量算出部２５は、バッファ２３に符号化対象ピクチャそのものが記憶されている場合、その符号化対象ピクチャをバッファ２３から読み出す。そして誤差統計量算出部２５は、マクロブロックごとに、読み出した縮小画像または符号化対象ピクチャと、各予測モードの予測画像との予測誤差の統計量をそれぞれ算出する（ステップＳ１０４）。誤差統計量算出部２５は、マクロブロックごとに算出された、各予測モードについての予測誤差の統計量を予測モード判定部１７の判定部２６へ通知する。

判定部２６は、マクロブロックごとに予測誤差の統計量が最小となる予測モードをそのマクロブロックに対して適用される予測モードとして決定する（ステップＳ１０５）。そして判定部２６は、各マクロブロックに対して適用される予測モードを、予測画像生成部１９へ通知する。
その後、予測モード判定部１７は、予測モード決定処理を終了する。

動きベクトル計算部１８は、インター符号化用の予測画像を生成するために、入力されたマクロブロックと参照画像とを用いて、動きベクトルを求める。動きベクトルは、入力されたマクロブロックと、そのマクロブロックに最も類似する参照画像との空間的な移動量を表す。
動きベクトル計算部１８は、入力されたマクロブロックと、参照画像とのブロックマッチングを実行することにより、入力されたマクロブロックと最も一致する参照画像及びその参照画像が含まれるピクチャ上での位置を決定する。

動きベクトル計算部１８は、入力されたマクロブロックのピクチャ上の位置と、そのマクロブロックに最も一致する参照画像との水平方向及び垂直方向の移動量と、その参照画像が属するピクチャを表す識別情報を、それぞれ要素とするベクトルを動きベクトルとする。
動きベクトル計算部１８は、求めた動きベクトルを予測画像生成部１９及び符号化部１０へ渡す。

予測画像生成部１９は、入力されたマクロブロックがインター符号化される場合、参照画像記憶部１５から得た参照画像を、動きベクトル計算部１８から提供される動きベクトルに基づいて動き補償する。そして予測画像生成部１９は、動き補償されたマクロブロック単位のインター符号化用の予測画像を生成する。なお、動き補償は、動きベクトルで表された、マクロブロックとそれに対して最も類似する参照画像の位置ずれ量を相殺するように、その最も類似する参照画像の位置を移動する処理である。

また予測画像生成部１９は、入力されたマクロブロックがイントラ符号化される場合、予測モード判定部１７によって決定された予測モードに従って、マクロブロック単位でイントラ符号化用予測画像を生成する。
予測画像生成部１９は、例えば、H.264 MPEG-4 AVCに規定されている方法に従って予測画像を生成する。
具体的には、入力されたブロックが含まれるピクチャが4:2:0フォーマットで生成されている色差信号である場合、予測画像生成部１９は、予測モード判定部１７の予測画像生成部２４が4:2:0フォーマットのマクロブロックに対して適用する方法を用いる。
また、入力されたマクロブロックが含まれるピクチャが4:2:2フォーマットで生成されている色差信号である場合、予測画像生成部１９は、各予測モードに対して、下記のように予測画像を生成する。

・ＤＣモード
図１１は、4:2:2フォーマットで生成されたCbピクチャまたはCrピクチャに対してＤＣモードで生成される予測画像１１００を示す。図１１に示されるように、ＤＣモードでは、予測画像１１００の各画素値は、予測画像１１００を水平方向に２分割し、垂直方向に４分割した領域１１０１〜１１０８ごとに求められる。各領域に含まれる画素の値は、それぞれ、入力されたマクロブロックに隣接する参照画像の参照画素Ａ〜Ｐ及びａ〜ｈのうち、その領域と同じ列の参照画素と、その領域と同じ行の参照画素の平均値として算出される。図１１において、各領域１１０１〜１１０８には、その領域内の画素値の算出に利用される参照画素が示されている。
・水平モード
水平モードでは、予測画像の各画素値は、入力されたマクロブロックの左端に隣接する参照画像の右端に位置する参照画素のうち、予測画像の着目画素が含まれる行と同じ行に位置する参照画素の値となる。
・垂直モード
垂直モードでは、予測画像の各画素値は、入力されたマクロブロックの上端に隣接する参照画像の下端に位置する参照画素のうち、予測画像の着目画素が含まれる列と同じ列に位置する参照画素の値となる。
・プレーンモード
プレーンモードでは、予測画像の各画素値は、次式に従って算出される。

ただし、p(x,y)は、予測画像の左上端の座標を(0,0)としたときに、生成される予測画像の水平座標x、垂直座標yの画素値を表す。またR(x,y)は、入力マクロブロックの左上端の画素の座標を(0,0)としたときの、水平座標x、垂直座標yの参照画素の画素値を表す。したがって、入力マクロブロックの左端に隣接する参照画素の水平座標xは'-1'となる。同様に、入力マクロブロックの上端に隣接する参照画素の垂直座標yは'-1'となる。また関数Clip(z)は、変数zが0未満のときに0を出力し、変数zが255よりも大きいときに255を出力し、0≦z≦255のときにzそのものを出力する関数である。そして演算子">>"は、m、nをそれぞれ変数として、"m >> n"と表記された場合、変数mを下位ビット方向にnビットシフトさせる演算子である。
予測画像生成部１９は、生成された予測画像を予測誤差信号生成部１１へ渡す。

図１２は、動画像符号化装置１により実行される動画像符号化処理の動作フローチャートである。動画像符号化装置１は、マクロブロックごとに図１２に示される動画像符号化処理を実行する。
イントラ／インター符号化切替部１６は、入力されたマクロブロックをインター符号化するかイントラ符号化するか判定する（ステップＳ２０１）。
入力されたマクロブロックがインター符号化される場合、イントラ／インター符号化切替部１６は、入力されたマクロブロックで参照される可能性の有る参照画像を参照画像記憶部１５から読み込む。そしてイントラ／インター符号化切替部１６は、読み込んだ参照画像を動きベクトル計算部１８及び予測画像生成部１９へ渡す。動きベクトル計算部１８は、参照画像及び入力されたマクロブロックに基づいて動きベクトルを算出する（ステップＳ２０２）。動きベクトル計算部１８は、求めた動きベクトルを予測画像生成部１９へ渡す。そして予測画像生成部１９は、動きベクトルを用いて動き補償された予測画像を生成する（ステップＳ２０３）。

一方、入力されたマクロブロックがイントラ符号化される場合、イントラ／インター符号化切替部１６は、入力されたマクロブロックで参照される可能性の有る参照画像を参照画像記憶部１５から読み込む。そしてイントラ／インター符号化切替部１６は、読み込んだ参照画像を予測画像生成部１９へ渡す。この場合、参照画像は、入力されたマクロブロックと同一のピクチャ上に存在し、かつ入力されたマクロブロックに隣接する既に符号化されたマクロブロックを復号することにより生成されたものである。そして予測画像生成部１９は、参照画像に基づいて、予測モード判定部１７により決定された予測モードに応じて予測画像を生成する（ステップＳ２０４）。

ステップＳ２０３またはＳ２０４の後、予測画像生成部１９は、生成した予測画像を符号化部１０の予測誤差信号生成部１１へ渡す。そして予測誤差信号生成部１１は、入力されたマクロブロックと予測画像生成部１９により生成された予測画像との予測誤差を算出する（ステップＳ２０５）。符号化部１０の直交変換・量子化部１２は、予測誤差信号生成部１１により算出された予測誤差信号を直交変換及び量子化して量子化信号を生成する（ステップＳ２０６）。直交変換・量子化部１２は、量子化信号を復号部１４及び符号化部１０の可変長符号化部１３へ渡す。

復号部１４は、量子化信号を逆量子化及び逆直交変換して得られた各画素の予測誤差信号を、予測画像の各画素に加えることにより参照画像を生成する（ステップＳ２０７）。そして復号部１４は、得られた参照画像を参照画像記憶部１５に記憶する。
また、符号化部１０の可変長符号化部１３は、量子化信号及び動きベクトルなどの関連情報を可変長符号化する（ステップＳ２０８）。そして可変長符号化部１３は、可変長符号化された符号化データを出力する。
そして動画像符号化装置１は、一つのマクロブロックに対する動画像符号化処理を終了する。
なお、インター符号化及びイントラ符号化の何れも行われないマクロブロックに対しては、ステップＳ２０１〜Ｓ２０５の処理は省略される。そしてステップＳ２０６において、直交変換・量子化部１２は、入力されたマクロブロックを直交変換する。

なお、動画像符号化装置１により符号化された動画像データは、例えば、H.264 MPEG-4 AVCに準拠するデータとすることができる。そのため、動画像符号化装置１により符号化された動画像データは、従来の動画像復号装置により復号することができる。

以上に説明してきたように、この動画像符号化装置は、4:2:2フォーマットに従った色差ピクチャに含まれる各マクロブロックに対する予測画像を生成するための予測モードを決定するために、その色差ピクチャの縮小画像を生成する。そしてこの動画像符号化装置は、縮小画像に基づいて、マクロブロックごとに適用される予測モードを決定する。そのため、この動画像符号化装置は、予測モードの決定に要する演算量を減らすことができる。従って、この動画像符号化装置は、動画像の符号化に必要なリソースの量を減らし、あるいは、動画像の符号化に要する時間を短縮できる。
また、この動画像符号化装置は、色差ピクチャが持つ垂直方向の解像度を維持するように、縮小画像と予測モードを決定する際に生成される予測画像を生成する。そのため、この動画像符号化装置は、色差ピクチャに垂直方向の解像度が高いシーンが写っていても、適切な予測モードを選択できる。

なお、本発明は上記の実施形態に限定されるものではない。例えば、イントラ符号化されるマクロブロックの予測モードを決定するために、先に符号化されたマクロブロックを復号することにより得られた参照画像を用いてもよい。
この場合、予測モード判定に用いられる、入力されたマクロブロックの縮小画像は、決定された予測モードに従ったイントラ符号化による予測画像の生成には用いられない。そのため、予測モード判定部の縮小画像生成部は、入力されたマクロブロック全体を市松状に間引くことにより、縮小画像を生成してもよい。
ただし、縮小画像生成部は、参照画像記憶部から読み出した、入力されたマクロブロックに隣接する参照画像に対しては、上記の実施形態と同様の手法に従って縮小画像を生成する。

また、他の実施形態によれば、予測モード判定部は、輝度信号であるYピクチャについても、予測モードを決定するための演算量を減らすため、マクロブロック単位で縮小画像を生成してもよい。この場合も、縮小画像は、元のマクロブロックの水平方向又は垂直方向の解像度が維持されるように、例えば、対応するマクロブロックの画素を市松状に間引くことにより生成される。そして予測モード判定部は、その縮小画像に基づいて生成した各予測モードの予測画像と着目するマクロブロックとの予測誤差の統計量を算出し、その統計量が最小となる予測モードを着目するマクロブロックに対して適用してもよい。

この動画像符号化装置は、様々な用途に利用される。例えば、この動画像符号化装置は、ビデオカメラ、映像伝送装置、テレビ電話システム、コンピュータあるいは携帯電話機に組み込まれる。例えば、この動画像符号化装置が映像伝送装置に組み込まれる場合、この動画像符号化装置により生成された符号化された動画像データは、音声信号等、動画像データと同時に取得される他の信号とともに、所定の通信規格に従ったデータストリームに変換される。そして動画像符号化装置を組み込んだ映像伝送装置は、そのデータストリームを、出力部に接続されたアンテナを介して、あるいは通信回線を介して、遠隔地に設置された動画像復号装置へ伝送する。

図１３は、上記の何れかの実施形態に係る動画像符号化装置が組み込まれた映像伝送装置の概略構成図である。映像伝送装置１００は、映像取得部１０１と、音声取得部１０２と、映像符号化部１０３と、音声符号化部１０４と、多重化部１０５と、通信処理部１０６と、出力部１０７とを有する。

映像取得部１０１は、動画像信号をビデオカメラなどの他の装置から取得するためのインターフェース回路を有する。そして映像取得部１０１は、映像伝送装置１００に入力された動画像信号を映像符号化部１０３へ渡す。

音声取得部１０２は、音声信号をマイクロフォンなどの他の装置から取得するためのインターフェース回路を有する。そして音声取得部１０２は、映像伝送装置１００に入力された音声信号を音声符号化部１０４へ渡す。
なお、映像伝送装置１００は、映像取得部１０１と音声取得部１０２の代わりに、通信回線と映像伝送装置１００を接続するインターフェース回路を有し、そのインターフェース回路を通じて動画像信号及び音声信号を取得してもよい。

映像符号化部１０３は、動画像信号のデータ量を圧縮するために、動画像信号を符号化する。そのために、映像符号化部１０３は、上記の実施形態のうちの何れかの動画像符号化装置を有する。そして映像符号化部１０３は、動画像信号を符号化する。映像符号化部１０３は、動画像信号を符号化することにより生成された符号化動画像データを多重化部１０５へ出力する。

音声符号化部１０４は、例えば、MPEG-4 High-Efficiency Advanced Audio Coding ver.2 (HE-AAC ver.2)などのオーディオ符号化規格に従って音声信号を符号化することにより、符号化オーディオデータを生成する。そして音声符号化部１０４は、符号化オーディオデータを多重化部１０５へ出力する。

多重化部１０５は、符号化動画像データと符号化オーディオデータを多重化する。そして多重化部１０５は、MPEG-2トランスポートストリームなどの映像データの伝送用の所定の形式に従ったストリームを生成する。
多重化部１０５は、符号化動画像データと符号化オーディオデータが多重化されたストリームを通信処理部１０６へ出力する。

通信処理部１０６は、符号化動画像データと符号化オーディオデータが多重化されたストリームを、Transmission Control Protocol/Internet Protocol(TCP/IP)などの所定の通信規格にしたがったパケットに分割する。また通信処理部１０６は、各パケットに、宛先情報などが格納された所定のヘッダを付す。そして通信処理部１０６は、パケットを出力部１０７へ渡す。

出力部１０７は、映像伝送装置１００を通信回線に接続するためのインターフェース回路を有する。そして出力部１０７は、通信処理部１０６から受け取ったパケットを通信回線へ出力する。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
符号化対象ピクチャを分割した複数のブロックのうちの第１のブロック及び該第１のブロックに隣接する第２のブロックについて、該第１のブロック及び該第２のブロックが持つ所定方向の解像度を維持するように、前記第１のブロックから、当該第１のブロックが持つ画素数を減じた第１の縮小画像を生成し、前記第２のブロックから、当該第２のブロックが持つ画素数を減じた第２の縮小画像を生成する縮小画像生成部と、
前記第２の縮小画像から複数の予測モードのそれぞれに応じた縮小予測画像を生成する縮小予測画像生成部と、
前記各縮小予測画像と前記第１の縮小画像の対応する画素の値の差に基づいて、前記各予測モードに対する予測誤差の統計量をそれぞれ算出する誤差統計量算出部と、
前記複数の予測モードのうち、前記予測誤差の統計量が最小となる予測モードを、前記第１のブロックに適用される予測モードとして決定する判定部と、
前記決定された予測モードに従って、前記第１のブロックに対する予測画像を生成する予測画像生成部と、
前記予測画像と前記第１のブロックの対応する画素の差を表す誤差信号を符号化する符号化部と、
を有する動画像符号化装置。
（付記２）
前記縮小画像生成部は、前記第１のブロック及び前記第２のブロックのうちの少なくとも一部に含まれる画素をそれぞれ市松状に間引くことにより、前記第１の縮小画像及び前記第２の縮小画像を生成する、付記１に記載の動画像符号化装置。
（付記３）
前記縮小画像生成部は、前記第２のブロックのうちの前記第１のブロックに隣接する全ての画素を、前記第２の縮小画像に含ませる、付記２に記載の動画像符号化装置。
（付記４）
前記第２のブロックは前記第１のブロックの左端に隣接し、
前記縮小画像生成部は、前記第２の縮小画像の垂直方向の画素数が前記第２のブロックの垂直方向の画素数の半分となり、かつ前記第２のブロックの右端の全ての画素を含ませるように前記第２の縮小画像を生成し、
前記縮小予測画像生成部は、前記複数の予測モードのうち、前記予測画像の画素値が行ごとに所定値に定められる第１の予測モードについて、前記縮小予測画像における前記第１のブロックの所定の行に対応する画素の値を、前記第２の縮小画像に含まれる前記第２のブロックの当該所定の行に位置する右端の画素の値とするように前記縮小予測画像を生成する、付記３に記載の動画像符号化装置。
（付記５）
前記縮小予測画像生成部は、前記複数の予測モードのうち、前記予測画像を分割した複数の領域ごとに画素値が決定される第２の予測モードについて、前記予測画像生成部が前記予測画像を垂直方向に分割する数と同じ数となるように前記縮小予測画像を垂直方向に分割した領域ごとに、当該領域に含まれる画素の値を決定する、付記３に記載の動画像符号化装置。
（付記６）
前記符号化部により符号化された前記符号化対象ピクチャのうちの前記第２のブロックに対応する前記誤差信号を復号することにより、前記縮小画像生成部に入力される前記第２のブロックを生成する復号部をさらに有する、付記１〜５の何れか一項に記載の動画像符号化装置。
（付記７）
符号化対象ピクチャを分割した複数のブロックのうちの第１のブロック及び該第１のブロックに隣接する第２のブロックについて、該第１のブロック及び該第２のブロックが持つ所定方向の解像度を維持するように、前記第１のブロックから、当該第１のブロックが持つ画素数を減じた第１の縮小画像を生成し、前記第２のブロックから、当該第２のブロックが持つ画素数を減じた第２の縮小画像を生成し、
前記第２の縮小画像から複数の予測モードのそれぞれに応じた縮小予測画像を生成し、
前記各縮小予測画像と前記第１の縮小画像の対応する画素の値の差に基づいて、前記各予測モードに対する予測誤差の統計量をそれぞれ算出し、
前記複数の予測モードのうち、前記予測誤差の統計量が最小となる予測モードを、前記第１のブロックに適用される予測モードとして決定し、
前記決定された予測モードに従って、前記第１のブロックに対する予測画像を生成し、
前記予測画像と前記第１のブロックの対応する画素の差を表す誤差信号を符号化する、
ことを含む動画像符号化方法。
（付記８）
符号化対象ピクチャを分割した複数のブロックのうちの第１のブロック及び該第１のブロックに隣接する第２のブロックについて、該第１のブロック及び該第２のブロックが持つ所定方向の解像度を維持するように、前記第１のブロックから、当該第１のブロックが持つ画素数を減じた第１の縮小画像を生成し、前記第２のブロックから、当該第２のブロックが持つ画素数を減じた第２の縮小画像を生成し、
前記第２の縮小画像から複数の予測モードのそれぞれに応じた縮小予測画像を生成し、
前記各縮小予測画像と前記第１の縮小画像の対応する画素の値の差に基づいて、前記各予測モードに対する予測誤差の統計量をそれぞれ算出し、
前記複数の予測モードのうち、前記予測誤差の統計量が最小となる予測モードを、前記第１のブロックに適用される予測モードとして決定し、
前記決定された予測モードに従って、前記第１のブロックに対する予測画像を生成し、
前記予測画像と前記第１のブロックの対応する画素の差を表す誤差信号を符号化する、ことをコンピュータに実行させる動画像符号化用コンピュータプログラム。
（付記９）
入力されたオーディオ信号を符号化するオーディオ符号化部と、
入力された動画像信号を符号化する動画像符号化部であって、
前記動画像信号に含まれる符号化対象ピクチャを分割した複数のブロックのうちの第１のブロック及び該第１のブロックに隣接する第２のブロックについて、該第１のブロック及び該第２のブロックが持つ所定方向の解像度を維持するように、前記第１のブロックから、当該第１のブロックが持つ画素数を減じた第１の縮小画像を生成し、前記第２のブロックから、当該第２のブロックが持つ画素数を減じた第２の縮小画像を生成し、
前記第２の縮小画像から複数の予測モードのそれぞれに応じた縮小予測画像を生成し、
前記各縮小予測画像と前記第１の縮小画像の対応する画素の値の差に基づいて、前記各予測モードに対する予測誤差の統計量をそれぞれ算出し、
前記複数の予測モードのうち、前記予測誤差の統計量が最小となる予測モードを、前記第１のブロックに適用される予測モードとして決定し、
前記決定された予測モードに従って、前記第１のブロックに対する予測画像を生成し、
前記予測画像と前記第１のブロックの対応する画素の差を表す誤差信号を符号化する動画像符号化部と、
前記動画像符号化部により符号化された動画像信号と前記オーディオ符号化部により符号化されたオーディオ信号を多重化することにより映像ストリームを生成する多重化部と、
を有する映像伝送装置。

１ 動画像符号化装置
１０ 符号化部
１１ 予測誤差信号生成部
１２ 直交変換・量子化部
１３ 可変長符号化部
１４ 復号部
１５ 参照画像記憶部
１６ イントラ／インター符号化切替部
１７ 予測モード判定部
１８ 動きベクトル計算部
１９ 予測画像生成部
２１ 画像サイズ判定部
２２ 縮小画像生成部
２３ バッファ
２４ 予測画像生成部
２５ 誤差統計量算出部
２６ 判定部
１００ 映像伝送装置
１０１ 映像取得部
１０２ 音声取得部
１０３ 映像符号化部
１０４ 音声符号化部
１０５ 多重化部
１０６ 通信処理部
１０７ 出力部

Claims (10)

1. 符号化対象ピクチャを分割した複数のブロックのうちの第１のブロック及び該第１のブロックに隣接する第２のブロックについて、該第１のブロック及び該第２のブロックが持つ所定方向の解像度を維持するように、前記第１のブロックから、当該第１のブロックが持つ画素数を減じた第１の縮小画像を生成し、前記第２のブロックから、当該第２のブロックが持つ画素数を減じた第２の縮小画像を生成する縮小画像生成部と、
   前記第２の縮小画像から複数の予測モードのそれぞれに応じた縮小予測画像を生成する縮小予測画像生成部と、
   前記各縮小予測画像と前記第１の縮小画像の対応する画素の値の差に基づいて、前記各予測モードに対する予測誤差の統計量をそれぞれ算出する誤差統計量算出部と、
   前記複数の予測モードのうち、前記予測誤差の統計量が最小となる予測モードを、前記第１のブロックに適用される予測モードとして決定する判定部と、
   前記決定された予測モードに従って、前記第１のブロックに対する予測画像を生成する予測画像生成部と、
   前記予測画像と前記第１のブロックの対応する画素の差を表す誤差信号を符号化する符号化部と、
   を有する動画像符号化装置。
2. 前記所定の方向は、前記第１のブロックと前記第２のブロックの境界に平行な方向である、請求項１に記載の動画像符号化装置。
3. 前記縮小画像生成部は、前記第１のブロック及び前記第２のブロックのうちの少なくとも一部に含まれる画素をそれぞれ市松状に間引くことにより、前記第１の縮小画像及び前記第２の縮小画像を生成する、請求項１または２に記載の動画像符号化装置。
4. 前記縮小画像生成部は、前記第２のブロックのうちの前記第１のブロックに隣接する全ての画素を、前記第２の縮小画像に含ませる、請求項３に記載の動画像符号化装置。
5. 前記第２のブロックは前記第１のブロックの左端に隣接し、
   前記縮小画像生成部は、前記第２の縮小画像の垂直方向の画素数が前記第２のブロックの垂直方向の画素数の半分となり、かつ前記第２のブロックの右端の全ての画素を含ませるように前記第２の縮小画像を生成し、
   前記縮小予測画像生成部は、前記複数の予測モードのうち、前記予測画像の画素値が行ごとに所定値に定められる第１の予測モードについて、前記縮小予測画像における前記第１のブロックの所定の行に対応する画素の値を、前記第２の縮小画像に含まれる前記第２のブロックの当該所定の行に位置する右端の画素の値とするように前記縮小予測画像を生成する、請求項４に記載の動画像符号化装置。
6. 前記縮小予測画像生成部は、前記複数の予測モードのうち、前記予測画像を分割した複数の領域ごとに画素値が決定される第２の予測モードについて、前記予測画像生成部が前記予測画像を垂直方向に分割する数と同じ数となるように前記縮小予測画像を垂直方向に分割した領域ごとに、当該領域に含まれる画素の値を決定する、請求項４に記載の動画像符号化装置。
7. 前記第１のブロック及び前記第２のブロックは、それぞれ、色差情報を持ち、かつ垂直方向に第１の画素数を有する色差ピクチャであり、前記第１の縮小画像及び前記第２の縮小画像は、それぞれ、色差情報を持ち、かつ垂直方向に前記第１の画素数よりも少ない第２の画素数を持つ色差ピクチャである、請求項１〜６の何れか一項に記載の動画像符号化装置。
8. 符号化対象ピクチャを分割した複数のブロックのうちの第１のブロック及び該第１のブロックに隣接する第２のブロックについて、該第１のブロック及び該第２のブロックが持つ所定方向の解像度を維持するように、前記第１のブロックから、当該第１のブロックが持つ画素数を減じた第１の縮小画像を生成し、前記第２のブロックから、当該第２のブロックが持つ画素数を減じた第２の縮小画像を生成し、
   前記第２の縮小画像から複数の予測モードのそれぞれに応じた縮小予測画像を生成し、
   前記各縮小予測画像と前記第１の縮小画像の対応する画素の値の差に基づいて、前記各予測モードに対する予測誤差の統計量をそれぞれ算出し、
   前記複数の予測モードのうち、前記予測誤差の統計量が最小となる予測モードを、前記第１のブロックに適用される予測モードとして決定し、
   前記決定された予測モードに従って、前記第１のブロックに対する予測画像を生成し、
   前記予測画像と前記第１のブロックの対応する画素の差を表す誤差信号を符号化する、
   ことを含む動画像符号化方法。
9. 符号化対象ピクチャを分割した複数のブロックのうちの第１のブロック及び該第１のブロックに隣接する第２のブロックについて、該第１のブロック及び該第２のブロックが持つ所定方向の解像度を維持するように、前記第１のブロックから、当該第１のブロックが持つ画素数を減じた第１の縮小画像を生成し、前記第２のブロックから、当該第２のブロックが持つ画素数を減じた第２の縮小画像を生成し、
   前記第２の縮小画像から複数の予測モードのそれぞれに応じた縮小予測画像を生成し、
   前記各縮小予測画像と前記第１の縮小画像の対応する画素の値の差に基づいて、前記各予測モードに対する予測誤差の統計量をそれぞれ算出し、
   前記複数の予測モードのうち、前記予測誤差の統計量が最小となる予測モードを、前記第１のブロックに適用される予測モードとして決定し、
   前記決定された予測モードに従って、前記第１のブロックに対する予測画像を生成し、
   前記予測画像と前記第１のブロックの対応する画素の差を表す誤差信号を符号化する、ことをコンピュータに実行させる動画像符号化用コンピュータプログラム。
10. 入力されたオーディオ信号を符号化するオーディオ符号化部と、
    入力された動画像信号を符号化する動画像符号化部であって、
    前記動画像信号に含まれる符号化対象ピクチャを分割した複数のブロックのうちの第１のブロック及び該第１のブロックに隣接する第２のブロックについて、該第１のブロック及び該第２のブロックが持つ所定方向の解像度を維持するように、前記第１のブロックから、当該第１のブロックが持つ画素数を減じた第１の縮小画像を生成し、前記第２のブロックから、当該第２のブロックが持つ画素数を減じた第２の縮小画像を生成し、
    前記第２の縮小画像から複数の予測モードのそれぞれに応じた縮小予測画像を生成し、
    前記各縮小予測画像と前記第１の縮小画像の対応する画素の値の差に基づいて、前記各予測モードに対する予測誤差の統計量をそれぞれ算出し、
    前記複数の予測モードのうち、前記予測誤差の統計量が最小となる予測モードを、前記第１のブロックに適用される予測モードとして決定し、
    前記決定された予測モードに従って、前記第１のブロックに対する予測画像を生成し、
    前記予測画像と前記第１のブロックの対応する画素の差を表す誤差信号を符号化する動画像符号化部と、
    前記動画像符号化部により符号化された動画像信号と前記オーディオ符号化部により符号化されたオーディオ信号を多重化することにより映像ストリームを生成する多重化部と、
    を有する映像伝送装置。

Images