JP2015211386A - 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム - Google Patents

Abstract

【課題】イントラ予測符号化モードにおける予測モードの決定に要する演算量を削減できる動画像符号化装置を提供する。
【解決手段】動画像符号化装置（１）は、参照ピクチャ上で符号化対象ブロックと相関性があると推定される参照ブロックを特定する参照ブロック決定部（１２）と、参照ブロックに少なくとも一部が含まれる符号化済みのブロックについて設定された予測モードから参照予測モードを決定する参照予測モード決定部（１３）と、参照予測モードに応じて候補リストを作成する候補リスト作成部（１４）と、候補リストに含まれる各予測モードについて、その予測モードを用いて符号化対象ブロックを符号化したときの符号量の推定値を算出し、推定値が最小となる予測モードを符号化対象ブロックに適用する予測モードとして選択する符号化モード決定部（１５）と、選択された予測モードに従って符号化対象ブロックを符号化する符号化部（１６）とを有する。
【選択図】図３

Description

本発明は、例えば、符号化対象ピクチャの符号化対象ブロックを符号化済みの他のブロックの情報を用いて符号化する動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムに関する。

動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを高能率符号化する。なお、「高能率符号化」とは、あるデータ列を他のデータ列に変換する符号化処理であって、そのデータ量を圧縮する処理をいう。

動画像データの高能率符号化方法として、ピクチャ内予測（イントラ予測）符号化方法が知られている。この符号化方法は、動画像データが空間方向に相関性が高いことを利用する。すなわち、この符号化方法は、符号化対象のピクチャを分割した複数のブロックのうちの符号化対象のブロックを、同じピクチャ内の符号化済みの他のブロックの情報を用いて符号化し、他のピクチャの符号化画像を参照しない。ピクチャ内予測符号化方法で符号化されたピクチャは、そのピクチャ内の情報のみで復元できる。

また、高能率符号化方法で採用されている他の符号化方式として、ピクチャ間予測（インター予測）符号化方法が知られている。この符号化方法は、動画像データが時間方向に相関性が高いことを利用する。動画像データでは、一般に、あるタイミングのピクチャとそのピクチャに後続するピクチャ間の類似度が高いことが多い。そのため、インター予測符号化方法は、動画像データのその性質を使用する。一般に、動画像符号化装置は、符号化対象のピクチャを複数のブロックに分割する。動画像符号化装置は、符号化済みピクチャを復号して得られた参照ピクチャから、ブロックごとにそのブロックと類似している領域を予測ブロックとして選択する。そして動画像符号化装置は、予測ブロックと符号化対象のブロック間の差分を表す予測誤差信号を計算することで、時間的な冗長性を取り除く。そして動画像符号化装置は、参照領域を示す動きベクトル情報および予測誤差信号を符号化することにより、高い圧縮率が実現される。

これらの予測符号化方法を採用する代表的な動画像の符号化方式として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)で策定されたMoving Picture Experts Group phase 2（MPEG-2）、MPEG-4、あるいはH.264 MPEG-4 Advanced Video Coding（H.264 MPEG-4 AVC）が広く利用されている。これらの符号化方式では、例えば、ピクチャについて、イントラ予測符号化方法とインター予測符号化方法のいずれが選択されたかは、符号化された動画像データを含む映像ストリームに明示的に記載される。選択された予測符号化方法は符号化モードと呼ばれる。さらに、選択された符号化モードがイントラ予測符号化モードであれば、動画像符号化装置は、符号化ブロックに対する予測ブロックを生成する際に、複数の予測モードの中から、何れかの予測モードを選択できる（例えば、特許文献１を参照）。なお、予測モードは、例えば、符号化ブロックを含むピクチャ上の既に符号化された領域に対する参照方向を規定する。

特開２０１３−１２６１５７号公報

イントラ予測符号化されるブロックの符号量が最小となる予測モードを決定するために、例えば、動画像符号化装置は、適用可能な全ての予測モードのそれぞれについて、ブロックの符号量を推定し、その推定した符号量が最小となる予測モードを選択する。また、Pピクチャ及びBピクチャといった、インター予測符号化可能なピクチャに含まれるブロックについては、動画像符号化装置は、各予測モードの符号量の推定値の他に、ブロックをインター予測符号化する場合の符号量の推定値も算出する。そのため、符号化モード及び予測モードの決定に要する演算量が多い。なお、Pピクチャは、既に符号化されている１枚のピクチャの情報を用いてインター予測符号化されるピクチャである。Bピクチャは、既に符号化されている２枚のピクチャの情報を用いて双方向予測符号化されるピクチャである。

また、最新の動画像符号化方式(High Efficiency Video Coding、HEVC)では、イントラ予測モードの適用単位となるブロックのサイズは、64x64画素、32x32画素、16x16画素、8x8画素、及び4x4画素の５種類の中から選択可能である。さらに、イントラ予測符号化モードの予測モードとして、35種類の予測モードが用意されている。そのため、符号化モード及び予測モードの決定に要する演算量がさらに増加している。その結果、例えば、動画像データを符号化してリアルタイム伝送する場合など、符号化に要する時間が掛かり過ぎてしまい、動画像データの符号化が間に合わないおそれがあった。

そこで、本明細書は、イントラ予測符号化モードにおける予測モードの決定に要する演算量を削減できる動画像符号化装置を提供することを目的とする。

一つの実施形態によれば、動画像データに含まれる符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化する動画像符号化装置が提供される。この動画像符号化装置は、符号化対象ピクチャよりも前に符号化された参照ピクチャ上で、符号化対象ブロックと相関性があると推定される参照ブロックを特定する参照ブロック決定部と、動画像データに含まれるピクチャ上のブロックを符号化するために利用する予測ブロックを生成する際にそのピクチャ上の既に符号化された領域に対する参照方向を規定する複数の予測モードのうち、参照ブロックに少なくとも一部が含まれる符号化済みのブロックについて設定された予測モードから参照予測モードを決定する参照予測モード決定部と、参照予測モードに応じて、複数の予測モードから選択した予測モードを含む候補リストを作成する候補リスト作成部と、候補リストに含まれる予測モードのそれぞれについて、その予測モードを用いて符号化対象ブロックを符号化したときの符号量の推定値を算出し、その推定値が最小となる予測モードを符号化対象ブロックに対して適用する予測モードとして選択する符号化モード決定部と、選択された予測モードに従って予測ブロックを生成し、その予測ブロックと符号化対象ブロック間の差分演算を行って得られる予測誤差信号を符号化する符号化部とを有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。

本明細書に開示された動画像符号化装置は、イントラ予測符号化モードにおける予測モードの決定に要する演算量を削減できる。

HEVCによる、ピクチャの分割の一例を示す図である。 HEVCにおいて規定されている予測モードを示す図である。 第１の実施形態による動画像符号化装置の概略構成図である。 （ａ）は、符号化対象ピクチャがIピクチャの場合の参照ブロックを示す図である。（ｂ）は、符号化対象ピクチャがPピクチャまたはBピクチャの場合の参照ブロックを示す図である。 参照予測モードの決定方法の一例を示す図である。 参照予測モードの決定方法の他の一例を示す図である。 参照予測モード決定処理の動作フローチャートである。 動画像符号化処理の動作フローチャートである。 第２の実施形態による動画像符号化装置の概略構成図である。 第２の実施形態による動画像符号化処理の動作フローチャートである。 各実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置として動作するコンピュータの構成図である。

以下、図を参照しつつ、動画像符号化装置について説明する。
この動画像符号化装置は、符号化対象ブロックとの相関性があると推定される、符号化済みのピクチャである参照ピクチャ上の参照ブロックに対して設定された予測モードに応じて、符号化対象ブロックについて選択可能な予測モードの数を制限する。これにより、この動画像符号化装置は、符号化モード及び予測モードの決定に要する演算量を削減する。

本実施形態では、動画像符号化装置は、HEVCに準拠して、動画像データを符号化する。そこで最初に、HEVCに従った、ピクチャの分割方法、及び、HEVCで用意された予測モードについて説明する。

図１は、HEVCによる、ピクチャの分割の一例を示す図である。
図１に示されるように、ピクチャ１００は、符号化ブロックCoding Tree Unit(CTU)単位で分割され、各CTU１０１は、ラスタスキャン順に符号化される。CTU１０１のサイズは、64x64〜16x16画素の中から選択できる。ただし、CTU１０１のサイズは、シーケンス単位で一定とされる。

CTU１０１は、さらに、四分木構造で複数のCoding Unit（CU）１０２に分割される。一つのCTU１０１内の各CU１０２は、Zスキャン順に符号化される。CU１０２のサイズは可変であり、そのサイズは、CU分割モード8x8〜64x64画素の中から選択される。CU１０２は、符号化モードであるイントラ予測符号化モードとインター予測符号化モードを選択する単位となる。CU１０２は、Prediction Unit（PU）１０３単位またはTransform Unit（TU）１０４単位で個別に処理される。PU１０３は、符号化モードに応じた予測が行われる単位となる。例えば、PU１０３は、イントラ予測符号化モードでは、予測モードが適用される単位となり、インター予測符号化モードでは、動き補償を行う単位となる。PU１０３のサイズは、例えば、イントラ予測符号化モードが適用される場合、2Nx2NとNxN（Nは、CUサイズ/2）から選択可能である。

一方、TU１０４は、直交変換の単位である。またイントラ予測符号化モードでは、TU１０４は、予測ブロックの生成単位でもある。TU１０４のサイズは、4x4画素〜32x32画素の中から選択される。TU１０４は、四分木構造で分割され、Zスキャン順に処理される。

図２は、HEVCにおいて規定されている予測モードを示す図である。図２に示される数値'0'〜'34'は、それぞれ、一つの予測モードを表す。予測モード'0'は、intraPlanarモードと呼ばれ、予測モード'1'はintraDCモードと呼ばれる。その他の予測モード'2'〜'34'は、Angleモードと呼ばれる。そして矢印２０１は、その矢印が示す数値で表されるAngleモードにおける参照方向を表す。Angleモードでは、その参照方向に従って、符号化対象ブロック内の各画素に対して参照される、符号化済みのブロックに含まれる画素が決定される。

本実施形態では、動画像符号化装置は、上記の複数のCUサイズ、PUサイズ、TUサイズ及び35種類の予測モードのなかから、符号化対象のCTUの符号量を最小化できるCUサイズ、PUサイズ、TUサイズ及び予測モードを選択する。

図３は、第１の実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、動きベクトル算出部１１と、参照ブロック決定部１２と、参照予測モード決定部１３と、候補リスト作成部１４と、符号化モード決定部１５と、符号化部１６と、記憶部１７とを有する。

動画像符号化装置１が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像符号化装置１が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像符号化装置１に実装されてもよい。さらに、動画像符号化装置１が有するこれらの各部は、動画像符号化装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。

符号化対象となるピクチャは、例えば、動画像符号化装置１全体を制御する制御部（図示せず）により複数のCTUに分割される。そして動画像符号化装置１には、各CTUが、例えばラスタスキャン順で入力される。そして動画像符号化装置１は、CTUごとに符号化する。以下、動画像符号化装置１が有する各部について説明する。

動きベクトル算出部１１は、符号化対象ピクチャが、PピクチャまたはBピクチャといった、インター予測符号化可能なピクチャである場合、符号化対象のCTUについて適用可能なPUのそれぞれについて、動きベクトルを算出する。その際、動きベクトル算出部１１は、各PUについて、既に符号化され、かつ、符号化対象ピクチャが参照可能な参照ピクチャに対してブロックマッチングを実行して、PUと最も一致する参照ピクチャ及びその参照ピクチャ上の領域の位置を決定する。そして動きベクトル算出部１１は、PUとその領域間の空間的な移動量を表すベクトルを動きベクトルとして算出する。
動きベクトル算出部１１は、各PUについて、動きベクトル及びその動きベクトルが参照する参照ピクチャを示す情報を、参照ブロック決定部１２及び符号化モード決定部１５へ出力する。

参照ブロック決定部１２は、符号化対象のCTUについて適用可能なPUのそれぞれについて、イントラ予測符号化における予測モードの候補リストを決定するために参照される参照ブロックを決定する。本実施形態では、参照ブロック決定部１２は、符号化対象CTU内の着目するPUとの相関性があると推定される、符号化済みのピクチャである参照ピクチャ上の領域を、そのPUに対する参照ブロックとする。これにより、着目するPUについて、符号量を最小化できる予測モードの参照方向と、参照ブロックについて適用された予測モードの参照方向との差が比較的小さいことが期待できる。そのため、後述するように、参照ブロックについて適用された予測モードから作成される候補リストの中に、着目するPUについて符号量を最小化できる予測モードが含まれる可能性が高くなる。

図４（ａ）は、符号化対象ピクチャが、イントラ予測符号化されるIピクチャである場合の参照ブロックを示す図である。参照ブロック決定部１２は、符号化対象ピクチャ４００がIピクチャである場合、符号化対象ピクチャ４００の再生順序で直前のピクチャ４１０を参照ピクチャとする。そして参照ブロック決定部１２は、その参照ピクチャ上で着目するPU４０１と同一及び同サイズのブロック４１１を参照ブロックとする。これは、動画像では、一般的に、時間的に連続するピクチャ間での相関性が高いため、連続するピクチャの同じ位置には同じ被写体が写っている可能性が高いためである。なお、参照ブロック決定部１２は、再生順序で符号化対象ピクチャの直前のピクチャが符号化されていない場合には、符号化順序で直前のピクチャを参照ピクチャとしてもよい。

図４（ｂ）は、符号化対象ピクチャがPピクチャまたはBピクチャの場合の参照ブロックを示す図である。参照ブロック決定部１２は、符号化対象ピクチャ４２０が、PピクチャまたはBピクチャである場合、着目するPU４２１の動きベクトル４２２で参照される参照ピクチャ４３０上で、動きベクトル４２２で動き補償された領域４３１を参照ブロックとする。着目するPUと最も一致する領域を表すように動きベクトルが算出されているので、その動きベクトルで動き補償された領域は、着目するPUとの相関性が最も高いと推定されるためである。

なお、符号化対象ピクチャがBピクチャである場合、L0方向とL1方向のそれぞれについて、動きベクトルが求められる。なお、L0方向及びL1方向は、符号化対象ピクチャから見て、再生順序で前または後を示す。L0方向とL1方向は逆向きであってもよく、あるいは、L0方向とL1方向は、同じ向きであってもよい。
この場合、参照ブロック決定部１２は、参照ブロックを、L0方向の動きベクトルで動き補償された参照ピクチャ上の領域としてもよく、あるいは、L1方向の動きベクトルで動き補償された参照ピクチャ上の領域としてもよい。また、参照ブロック決定部１２は、L0方向とL1方向のうち、符号化対象ピクチャと参照ピクチャ間の再生順序の差が小さい方の参照ピクチャ上の対応する動きベクトルで動き補償された領域を参照ブロックとしてもよい。あるいはまた、参照ブロック決定部１２は、L0方向の動きベクトルで示される参照ピクチャ上の領域と、L1方向の動きベクトルで示される参照ピクチャ上の領域のうち、着目するPUとの対応画素間の差分二乗和が小さい方を、参照ブロックとしてもよい。

参照ブロック決定部１２は、参照ブロックを含むピクチャを特定する情報及びそのピクチャ上の参照ブロックの位置及び範囲を表す情報を参照予測モード決定部１３へ出力する。

参照予測モード決定部１３は、符号化対象CTU内の適用可能な各PUについて、参照ブロックに少なくとも一部が含まれるPUについて適用された予測モードから、候補リストに含める予測モードを決定するための基準となる参照予測モードを決定する。

参照予測モード決定部１３は、参照ブロックに含まれるPUが一つだけである場合、そのPUについて適用された予測モードを参照予測モードとする。一方、参照予測モード決定部１３は、参照ブロックに少なくとも一部が含まれるPUが複数存在する場合、それらのPUと参照ブロックとが重なる部分の面積に応じて、参照予測モードの決定に利用するPUを選択する。

例えば、参照予測モード決定部１３は、各PUについて、参照ブロックとそのPUとが重なる部分の面積を算出して、面積の分散値を、面積のバラツキ度として算出する。そして参照予測モード決定部１３は、分散値を所定の閾値と比較する。なお、所定の閾値は、例えば、各PUについて参照ブロックと重なる部分の面積の平均値の２乗の10%に設定される。分散値が所定の閾値以上である場合、参照ブロックに含まれる各PU間の面積の差が比較的大きいと推定される。そこでこの場合には、参照予測モード決定部１３は、参照ブロックに少なくとも一部が含まれるPUのうち、参照ブロックと重なる部分の面積が最大となるPUについて設定された予測モードを、参照予測モードとする。参照ブロックと重なる部分の面積が最大となるPUが、符号化対象CTU内の着目するPUとの相関性が最も高いと推定されるためである。

図５は、参照予測モードの決定方法の一例を示す図である。参照ブロック５００に対して４個のPU５０１〜５０４が重なっている。また矢印及び矢印に付された番号は、各PUについて設定された予測モードを表す。この例では、PU５０４と参照ブロック５００とが重なっている部分の面積が最大となっている。そこで、PU５０４について設定された予測モード'10'が参照予測モードとなる。

一方、分散値が所定の閾値未満である場合、参照ブロックに含まれる各PU間の面積の差が比較的小さく、この場合には、面積だけでは、符号化対象CTUに含まれる着目するPUとの相関性が最も高いPUを特定するのは困難である。そこでこの場合、参照予測モード決定部１３は、参照ブロックに含まれる各PUを、参照方向の差が所定範囲内となるPU同士を同じグループに含めるようにグループ化する。例えば、参照予測モード決定部１３は、予測モードを表す番号の差が所定値以下となるPU同士を同じグループに含める。所定値は、例えば、1または2に設定される。すなわち、参照予測モード決定部１３は、グループ内に含まれる何れかのPUの予測モードとの差が所定値以下となるPUを、そのグループに含めてよい。ただし、図２に示される、予測モード'0'及び'1'はAngleモードではないので、参照予測モード決定部１３は、予測モードが'0'のPUまたは予測モードが'1'のPUを含むグループには、予測モードが'2'〜'34'のPUを含めない。

参照予測モード決定部１３は、グループごとに、参照ブロックとPUが重なる部分の面積の和を求め、その和が最大となるグループに含まれる各PUの予測モードの何れかを参照予測モードとする。例えば、参照予測モード決定部１３は、予測モードの番号の平均値を四捨五入して得られる整数値、最頻値または中央値を参照予測モードとする。

図６は、参照予測モードの決定方法の他の一例を示す図である。参照ブロック６００に対して４個のPU６０１〜６０４が重なっている。また矢印に付された番号は、各PUについて設定された予測モードを表す。この例では、PU６０１〜PU６０３が一つのグループに分類され、PU６０４が他のグループに分類される。右側に示されたグラフは、グループごとの面積の和を表す。このグラフにおいて、横軸は、グループに含まれる予測モードの番号を表し、縦軸は面積を表す。グラフ６２１は、PU６０４が含まれる面積の和を表し、グラフ６２２は、PU６０１〜PU６０３が含まれるグループの面積の和を表す。この例では、グラフ６２１及びグラフ６２２に示されるように、PU６０１〜PU６０３が含まれるグループの面積の和の方が、他方のグループの面積の和よりも大きい。そこで、参照予測モード決定部１３は、PU６０１〜PU６０３に対して設定された予測モード'25'、'26'、'27'の平均値である予測モード'26'を参照予測モードとする。

図７は、参照予測モード決定処理の動作フローチャートである。
参照予測モード決定部１３は、参照ブロックに含まれるPUは一つか否か判定する（ステップＳ１０１）。参照ブロックに含まれるPUが一つである場合（ステップＳ１０１−Ｙｅｓ）、参照予測モード決定部１３は、参照ブロックに含まれるPUについて設定された予測モードを参照予測モードとする（ステップＳ１０２）。

一方、参照ブロックに少なくとも一部が含まれるPUが複数ある場合（ステップＳ１０１−Ｎｏ）、参照予測モード決定部１３は、各PUについて、参照ブロックと重なる部分の面積を算出し、その面積の分散値が閾値Th未満か否か判定する（ステップＳ１０３）。

面積の分散値が閾値Th以上である場合（ステップＳ１０３−Ｎｏ）、参照予測モード決定部１３は、参照ブロックと重なる部分の面積が最大となるPUについて設定された予測モードを参照予測モードとする（ステップＳ１０４）。
一方、面積の分散値が閾値Th未満である場合（ステップＳ１０３−Ｙｅｓ）、参照予測モード決定部１３は、各PUについて設定された予測モードの参照方向に基づいて各PUをグループ化する（ステップＳ１０５）。そして参照予測モード決定部１３は、面積の和が最大となるグループについての予測モードの平均値を参照予測モードとする（ステップＳ１０６）。
ステップＳ１０２，Ｓ１０４またはＳ１０６の後、参照予測モード決定部１３は、参照予測モード決定処理を終了する。

なお、参照予測モード決定部１３は、参照ブロックと各PUとが重なる部分の面積の分散値の代わりに、参照ブロックと重なる部分の面積が最大となるPUと、その面積が最小となるPUと、各PUと参照ブロックとが重なる部分の面積の平均値との分散を求めてもよい。この場合、所定の閾値は、例えば、その面積の平均値の２乗の20%とすることができる。

また、参照予測モード決定部１３は、面積のバラツキ度として、面積の分散値の代わりに、参照ブロックと各PUとが重なる部分の面積の標準偏差を算出してもよい。そして参照予測モード決定部１３は、標準偏差が所定の閾値以上の場合に、各PU間の面積の差が大きいと判定する。この場合、所定の閾値は、例えば、各PUについて参照ブロックと重なる部分の面積の平均値の10%に設定される。

あるいは、参照予測モード決定部１３は、参照ブロックに含まれる各PUのうち、参照ブロックと重なる部分の面積が最大となるPUと、その面積が最小となるPUを求めてもよい。そして参照予測モード決定部１３は、その面積の最大値と最小値の差を面積のバラツキ度として算出し、その差が所定の閾値より大きければ、各PU間の面積の差が大きいと判定してもよい。この場合、所定の閾値は、例えば、参照ブロックとPUとが重なる部分の面積の最大値の10%に設定される。

あるいはまた、参照予測モード決定部１３は、予測モードごとに、その予測モードが設定されたPUと参照ブロックとが重なる部分の面積のヒストグラムを作成し、面積が最大となる予測モードを参照予測モードとしてもよい。あるいはまた、参照予測モード決定部１３は、そのヒストグラムにおいて、各予測モードについて、その予測モードの面積と、その予測モードに隣接する複数の予測モードの面積との和を求め、その和が最大となる予測モードを参照予測モードとしてもよい。

さらに、参照予測モード決定部１３は、参照ブロックに含まれるPUが複数ある場合、各PUについて設定された予測モードを、それぞれ参照予測モードとしてもよい。この場合、後述する候補リストに含まれる予測モードの数が、参照予測モードが一つの場合よりも増えるものの、符号化対象のCTUの符号量を最小化できる予測モードを選択できる可能性が高くなる。

さらにまた、参照予測モード決定部１３は、参照ブロックに少なくとも一部が含まれるPU全てがインター予測符号化されている場合、すなわち、予測モードが設定されていない場合には、全ての予測モードを参照予測モードとしてもよい。また、参照予測モード決定部１３は、上記のステップＳ１０４において、面積が最大となるPUがインター予測符号化されている場合も、全ての予測モードを参照予測モードにしてもよい。

あるいはまた、インター予測符号化されたPUについて、符号化モード決定部１５が符号化モードを決定する際に、イントラ予測符号化モードで計算した符号化コストが最小となるときにそのPUに適用された予測モードが、そのPUと関連付けて記憶されていてもよい。この場合には、参照予測モード決定部１３は、参照ブロックに少なくとも一部が含まれるPUがインター予測符号化されている場合、そのPUと関連付けて記憶されている予測モードを、参照予測モードの決定に利用してもよい。

参照予測モード決定部１３は、符号化対象CTUに含まれる適用可能なPUのそれぞれについての参照予測モードを候補リスト作成部１４へ出力する。

候補リスト作成部１４は、符号化対象のCTUに含まれる、適用可能なPUごとに、そのPUについての参照予測モードに応じて、符号量の推定対象となる予測モードの候補である候補モードのリストを作成する。

参照予測モードは、着目するPUとの相関性が高いと推定される参照ブロックについて適用された予測モードに基づいて決定されている。そのため、着目するPUについても、参照予測モードの参照方向との差が小さい参照方向を持つ予測モードが、着目するPUの符号量を最小化できる予測モードである可能性が高い。
そこで、候補リスト作成部１４は、参照予測モードの参照方向との差が所定範囲内となる参照方向を持つ予測モードを候補モードとして候補リストに登録する。この場合、所定範囲は、例えば、予測モードの番号で±1とすることができる。例えば、参照予測モードが'10'である場合、候補リストには、予測モード'9'、'10'及び'11'が候補モードとして登録される。なお、参照予測モードが'2'である場合、予測モード'1'はAngleモードではないので、候補リスト作成部１４は、予測モード'1'の代わりに、予測モード'34'を候補リストに登録してもよい。同様に、参照予測モードが'34'である場合、候補リスト作成部１４は、予測モード'2'を候補リストに登録してもよい。

また、候補リスト作成部１４は、参照予測モードが'0'、すなわち、intraPlanarモードであるか、または'1'、すなわち、intraDCモードである場合、予測モード'0'及び'1'をそれぞれ候補モードとして、候補リストに登録する。

候補リスト作成部１４は、全ての候補モードを含む候補リストを作成する。なお、候補リスト作成部１４は、着目するPUについて複数の参照予測モードが設定されている場合、参照予測モードごとに候補モードを決定し、決定した候補モードの全てを候補リストに含めてもよい。

候補リスト作成部１４は、候補リストを符号化モード決定部１５へ出力する。

符号化モード決定部１５は、符号化対象のCTUにおいて、適用可能なCUサイズ、PUサイズ、TUサイズ、符号化モード及び予測モードの組み合わせを求める。そして符号化モード決定部１５は、各組み合わせについて、符号量の推定値である符号化コストを算出する。そして符号化モード決定部１５は、その符号化コストが最小となる組合せを符号化対象のCTUに適用するCUサイズ、PUサイズ、TUサイズ、符号化モード及び予測モードとする。

このように、本実施形態では、組み合わせを設定する際、符号化モード決定部１５は、符号化モードをイントラ予測符号化モードとする場合、その組み合わせに含まれる予測モードを、候補リストに含まれる候補モードのなかから選択する。すなわち、符号化モード決定部１５は、候補リストに含まれない予測モードを含む組み合わせを設定しないので、符号化コストを算出する組み合わせの数を減らすことができる。その結果として、符号化対象のCTUに適用されるCUサイズ、PUサイズ、TUサイズ、符号化モード及び予測モードの組み合わせを決定するための演算量が削減される。

符号化モード決定部１５は、例えば、着目する組み合わせの符号化コストを算出するために、次式に従って、その組み合わせに含まれるTUごとに、予測誤差、すなわち画素差分絶対値和SADを算出する。
SAD=Σ|OrgPixel-PredPixel|
ここで、OrgPixelは符号化対象ピクチャの着目するブロック、例えば、TUに含まれる画素の値であり、PredPixelはHEVC規格で求められる、着目するブロックに対応する予測ブロックに含まれる画素の値である。予測ブロックは、着目する組み合わせに含まれる符号化モード（イントラ予測符号化モードまたはインター予測符号化モード）及び候補リストに含まれる候補モードに従って、符号化済みの参照ピクチャまたは符号化済みの他のブロックから生成される。

符号化モード決定部１５は、着目する組み合わせについて、次式に従って符号化コストCostを算出する。
Cost = ΣSAD+λR
ここで、ΣSADは、符号化対象のCTUに含まれる各TUについて算出されたSADの総和である。またRは、動きベクトル、予測モードを表すフラグなど、直交変換係数以外の項目についての符号量の推定値である。そしてλは定数である。

なお、符号化モード決定部１５は、SADの代わりに、着目するブロックと予測ブロックとの差分画像をアダマール変換した後の各画素の絶対値和SATDなどを算出してもよい。

符号化モード決定部１５は、符号化コストが最小となる組み合わせを求めると、その組み合わせに含まれる、符号化対象のCTUに適用するCUサイズ、PUサイズ、TUサイズ、符号化モード及び予測モードを符号化部１６に出力する。なお、インター予測符号化されるCUについては、符号化モード決定部１５は、そのCUに含まれるPUについて算出された動きベクトルも符号化部１６へ出力する。

符号化部１６は、符号化モード決定部１５により決定されたCUサイズ、PUサイズ及びTUサイズに従って、符号化対象のCTUを分割する。そして符号化部１６は、符号化モード決定部１５により決定されたCUごとの符号化モードに従って、そのCUに含まれる各TUの予測ブロックを作成する。そして符号化部１６は、符号化対象のCTUと予測ブロック間の予測誤差信号を、TUごとに直交変換して得られる直交変換係数を量子化及び可変長符号化することで、符号化対象のCTUを符号化する。
再度図３を参照すると、符号化部１６は、予測ブロック生成部２１と、予測誤差信号算出部２２と、直交変換部２３と、量子化部２４と、復号部２５と、可変長符号化部２６とを有する。

予測ブロック生成部２１は、予測ブロックを生成する。予測ブロック生成部２１は、符号化対象のCTUに含まれる着目するCUがインター予測符号化される場合、そのCUに含まれる各PUについて、そのPUに設定される動きベクトルを用いて参照ピクチャを動き補償することで予測ブロックを生成する。また、予測ブロック生成部２１は、着目するCUがイントラ予測符号化される場合、そのCUに含まれる各PUについて、そのPUに適用される予測モードに従って、そのPUの周囲の符号化済みのブロックに含まれる画素から予測ブロックを生成する。

予測ブロック生成部２１は、予測ブロックを予測誤差信号算出部２２へ出力する。

予測誤差信号算出部２２は、符号化対象のCTU内の各画素について、予測ブロックの対応する画素との差分演算を実行する。そして予測誤差信号算出部２２は、その差分演算により得られた各画素に対応する差分値を、予測誤差信号とする。予測誤差信号算出部２２は、予測誤差信号を直交変換部２３へ出力する。

直交変換部２３は、符号化対象のCTU内のTUごとに、予測誤差信号を直交変換することにより、直交変換係数の組を求める。例えば、直交変換部２３は、直交変換処理として、離散コサイン変換（Discrete Cosine Transform、DCT）を用いることで、直交変換係数として、TUごとのDCT係数の組を得る。
直交変換部２３は、TUごとの直交変換係数の組を量子化部２４へ出力する。

量子化部２４は、TUごとに、直交変換係数を量子化することにより、その直交変換係数の量子化係数を算出する。この量子化処理は、一定区間に含まれる信号値を一つの信号値で表す処理である。そしてその一定区間は、量子化幅と呼ばれる。例えば、量子化部２４は、直交変換係数から、量子化幅に相当する所定数の下位ビットを切り捨てることにより、その直交変換係数を量子化する。量子化幅は、量子化パラメータによって決定される。例えば、量子化部２４は、量子化パラメータの値に対する量子化幅の値を表す関数にしたがって、使用される量子化幅を決定する。またその関数は、量子化パラメータの値に対する単調増加関数とすることができ、予め設定される。

また量子化部２４は、HEVCなどの動画像符号化規格に対応した様々な量子化パラメータ決定方法の何れかに従って量子化パラメータを決定すればよい。量子化部２４は、例えば、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法を用いることができる。なお、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法に関しては、例えば、http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.htmlで特定されるURLを参照されたい。
量子化部２４は、量子化処理を実行することにより、直交変換係数を表すために使用されるビットの数を削減できるので、符号化対象のCTUに含まれる情報量を低減できる。量子化部２４は、量子化係数を復号部２５及び可変長符号化部２６へ出力する。

復号部２５は、符号化対象のCTUの量子化係数から、そのCTUよりも後のCTU及び符号化対象のCTUを含むピクチャよりも符号化順で後のピクチャを符号化するために参照される参照ピクチャを生成する。そのために、復号部２５は、量子化係数に、量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより、量子化係数を逆量子化する。この逆量子化により、各TUの直交変換係数の組、例えば、DCT係数の組が復元される。その後、復号部２５は、TUごとに、直交変換係数の組を逆直交変換処理する。例えば、直交変換部２３がDCTを用いている場合、復号部２５は、各TUに対して逆DCT処理を実行する。逆量子化処理及び逆直交変換処理を量子化信号に対して実行することにより、符号化前の予測誤差信号と同程度の情報を有する予測誤差信号が再生される。

復号部２５は、予測ブロックの各画素値に、その画素に対応する再生された予測誤差信号を加算する。これらの処理を各予測ブロックについて実行することにより、復号部２５は、その後に符号化されるPUに対する予測ブロックを生成するために参照されるブロックを復元する。さらに、復号部２５は、復元したブロックに対してデブロッキングフィルタ処理を実行してもよい。
復号部２５は、ブロックを復元する度に、その復元されたブロックを、記憶部１７に記憶する。

記憶部１７は、復元されたブロックを一時的に記憶する。各ブロックの符号化順序にしたがって、１枚のピクチャ分の復元されたブロックを結合することで、後続するピクチャの符号化の際に参照されるピクチャが得られる。記憶部１７は、符号化対象ピクチャが参照する可能性がある、予め定められた所定枚数分のピクチャを記憶し、記憶しているピクチャの枚数がその所定枚数を超えると、符号化順序が古いピクチャから順に破棄する。

さらに、記憶部１７は、インター予測符号化されたPUのそれぞれについての動きベクトルを記憶する。

可変長符号化部２６は、符号化対象のCTUに含まれる量子化係数を可変長符号化する。さらに、可変長符号化部２６は、予測ブロックの作成に利用された動きベクトルなども可変長符号化する。そして可変長符号化部２６は、その可変長符号化によって得られた符号化ビットを、HEVCなどに従って所定の順序に並べたビットストリームを出力する。なお、可変長符号化部２６は、可変長符号化方式として、Context-based Adaptive Variable Length Coding (CAVLC)といったハフマン符号化処理あるいはContext-based Adaptive Binary Arithmetic Coding(CABAC)といった算術符号化処理を用いることができる。

制御部（図示せず）は、出力されたビットストリームを所定の順序で結合し、HEVCなどに従ったヘッダ情報などを付加することで、符号化された動画像データを含むビットストリームを得る。

図８は、動画像符号化装置１による動画像符号化処理の動作フローチャートである。動画像符号化装置１はCTUごとに、下記の動作フローチャートに従って符号化する。

制御部（図示せず）は、符号化対象のCTUが含まれる符号化対象ピクチャがPピクチャまたはBピクチャか否か判定する（ステップＳ２０１）。符号化対象ピクチャがPピクチャまたはBピクチャであれば（ステップＳ２０１−Ｙｅｓ）、動きベクトル算出部１１は、CTU内で適用可能なPUごとに動きベクトルを算出する（ステップＳ２０２）。そして参照ブロック決定部１２は、PUごとに、動きベクトルが示す参照ピクチャ上の領域を参照ブロックとする（ステップＳ２０３）。

一方、符号化対象ピクチャがIピクチャである場合（ステップＳ２０１−Ｎｏ）、参照ブロック決定部１２は、PUごとに、直前のピクチャ上で着目PUと同一の領域を参照ブロックとする（ステップＳ２０４）。

ステップＳ２０３またはＳ２０４の後、参照予測モード決定部１３は、参照ブロックに少なくとも一部が含まれるPUについて設定された予測モードに基づいて参照予測モードを決定する（ステップＳ２０５）。そして候補リスト作成部１４は、参照予測モードに基づいて候補リストを作成する（ステップＳ２０６）。

符号化モード決定部１５は、候補リストに含まれる候補モード、符号化モード、CUサイズ、PUサイズ、TUサイズの組み合わせのうちで符号化コストが最小となる組み合わせを決定する（ステップＳ２０７）。符号化部１６の予測ブロック生成部２１は、決定した組み合わせに含まれる符号化モード及び予測モードに従って、予測ブロックを算出する（ステップＳ２０８）。そして符号化部１６の予測誤差信号算出部２２は、TUごとに、TUとそのTUに対応する予測ブロック間で画素ごとに差分演算することで、予測誤差信号を算出する（ステップＳ２０９）。

その後、符号化部１６の直交変換部２３は、予測誤差信号をTUごとに直交変換して直交変換係数の組を算出する（ステップＳ２１０）。そして符号化部１６の量子化部２４は、各直交変換係数を量子化する（ステップＳ２１１）。

符号化部１６の復号部２５は、量子化係数を逆量子化及び逆直交変換して再生した予測誤差信号と予測ブロックを加算して参照ブロックを生成する（ステップＳ２１２）。そして復号部２５は、その参照ブロックを記憶部１７に記憶する。一方、符号化部１６の可変長符号化部２６は、各量子化係数を可変長符号化する（ステップＳ２１３）。そして動画像符号化装置１は、動画像符号化処理を終了する。

以上に説明してきたように、この動画像符号化装置は、符号化対象のブロックについて、そのブロックとの相関があると推定される参照ブロックに対して適用された予測モードに基づいて、そのPUに対して適用可能な予測モードの候補を設定する。そしてこの動画像符号化装置は、予測モードの候補の中から、実際に適用する予測モードを選択する。そのため、この動画像符号化装置は、予測モードの決定の際に符号化コストを求める予測モードの数を削減できるので、予測モードを決定するために要する演算量を削減できる。

次に、第２の実施形態による動画像符号化装置について説明する。第２の実施形態による動画像符号化装置は、符号化モードとしてインター予測符号化モードが選択されたブロックについて、そのブロックの参照ブロックの参照予測モードを、そのブロックの予測モードとして保存する。これにより、この動画像符号化装置は、参照ブロックに含まれる符号化済みのブロックがインター予測符号化されていたとしても、参照予測モードを適切に決定できるようにする。

図９は、第２の実施形態による動画像符号化装置の概略構成図である。動画像符号化装置２は、動きベクトル算出部１１と、参照ブロック決定部１２と、参照予測モード決定部１３と、候補リスト作成部１４と、符号化モード決定部１５と、符号化部１６と、記憶部１７と、予測モード設定部１８とを有する。

第２の実施形態による動画像符号化装置は、第１の実施形態による動画像符号化装置と比較して、予測モード設定部１８を有する点と、符号化モード決定部１５の処理が異なる。そこで以下では、予測モード設定部１８、符号化モード決定部１５及びその関連部分について説明する。動画像符号化装置２のその他の構成要素に関しては、動画像符号化装置１の対応する構成要素の説明を参照されたい。

参照予測モード決定部１３が符号化対象のCTUについて適用可能な各PUについての参照予測モードを決定すると、その参照予測モードを候補リスト作成部１４及び予測モード設定部１８へ出力する。
そして、符号化モード決定部１５は、符号化対象のCTUを含む符号化対象ピクチャがPピクチャまたはBピクチャである場合、先ず、適用可能なCUサイズ、PUサイズ、TUサイズの組み合わせごとに、インター予測符号化する場合の符号化コストを算出する。そして符号化モード決定部１５は、各CUについて、符号化コストの最小値をインター予測コストとして、及び対応する組み合わせを表す情報とともに符号化モード決定部１５が有するメモリに記憶する。

符号化モード決定部１５は、各CUのインター予測コストをスキップ判定閾値と比較する。なお、スキップ判定閾値は、例えば、各CUに対してイントラ予測符号化モードを適用して符号化したときの符号量の最小値に相当する符号化コストに設定される。符号化コストの最小値がスキップ判定閾値未満の場合、そのCUについて、インター予測符号化モードを適用した方が、イントラ予測符号化モードを適用するよりも符号量を少なくできると推定される。そこで符号化モード決定部１５は、イントラ予測符号化モードを適用する場合の符号化コストを算出しない。

この場合、そのCUに含まれる各PUについては、予測モードが算出されない。そこで予測モード設定部１８は、そのCUに含まれる各PUについて、参照ブロックについて設定された参照予測モードを、参照予測モード決定部１３から受け取る。そして予測モード設定部１８は、その参照予測モードを、対応するPUと関連付けて、記憶部１７に記憶する。

一方、インター予測コストがスキップ判定閾値以上であるCUについては、インター予測符号化モードを適用するよりも、イントラ予測符号化モードを適用した方が符号量が少なくなる可能性がある。そこでこのCUについては、候補リスト作成部１４は、適用可能なPUのそれぞれについて候補リストを作成する。
そして符号化モード決定部１５は、インター予測コストがスキップ判定閾値以上であるCUについて、適用可能なPUサイズ、TUサイズ、候補リストに含まれる候補モードの組み合わせのそれぞれについても、符号化コストを算出する。そして符号化モード決定部１５は、符号化コストの最小値を、イントラ予測コストとする。

符号化モード決定部１５は、イントラ予測コストが算出されたCUについては、インター予測コストとイントラ予測コストを比較する。インター予測コストがイントラ予測コスト以下である場合、符号化モード決定部１５は、インター予測コストに対応するPUサイズ、TUサイズとインター予測符号化モードの組み合わせを、そのCUに対して適用すると判定する。
一方、インター予測コストがイントラ予測コストよりも大きい場合、符号化モード決定部１５は、イントラ予測コストに対応するPUサイズ、TUサイズとイントラ予測符号化モード及び予測モードの組み合わせを、そのCUに対して適用すると判定する。

符号化モード決定部１５は、CUサイズごとの符号化コストを比較し、符号化コストが最小となるCUについて適用されるPUサイズ、TUサイズ、符号化モード及び予測モードの組み合わせを符号化部１６に通知する。そして符号化部１６は、通知された組み合わせに従って、符号化対象のCTUを符号化する。

図１０は、第２の実施形態による動画像符号化処理の動作フローチャートである。この動作フローチャートでは、第１の実施形態による動画像符号化処理と異なる部分について説明する。

図８に示されたステップＳ２０５の処理の後、符号化モード決定部１５は、符号化対象のCTUに対して適用可能なCUのうち、着目するCUを設定する。そして符号化モード決定部１５は、着目するCUについて、適用可能なPUサイズ、TUサイズの組み合わせのそれぞれについて、インター予測符号化する場合の符号化コストを算出し、その最小値をインター予測コストとする（ステップＳ３０１）。そして符号化モード決定部１５は、そのCUについてインター予測コストがスキップ判定閾値Ths未満か否か判定する（ステップＳ３０２）。

インター予測コストがスキップ判定閾値Ths未満である場合（ステップＳ３０２−Ｙｅｓ）、符号化モード決定部１５は、着目するCUに適用する符号化モードを、インター予測符号化モードとする（ステップＳ３０３）。また予測モード設定部１８は、インター予測コストに対応するPUサイズ、TUサイズの組み合わせで規定された各PUに、そのPUについての参照予測モードを対応付けて記憶する（ステップＳ３０４）。

一方、インター予測コストがスキップ判定閾値Ths以上である場合（ステップＳ３０２−Ｎｏ）、候補リスト作成部１４は、着目するCUについて適用可能な各PUについての候補リストを作成する（ステップＳ３０５）。そして符号化モード決定部１５は、適用可能なPUサイズ、TUサイズと、符号化モードとしてのイントラ予測符号化モードと、候補モードの組み合わせごとに符号化コストを算出し、その最小値をイントラ予測コストとする（ステップＳ３０６）。

符号化モード決定部１５は、インター予測コストとイントラ予測コストのうち、小さい方に対応する符号化モードを、着目するCUに適用する符号化モードとする（ステップＳ３０７）。

ステップＳ３０４またはステップＳ３０７の後、動画像符号化装置２は、全てのCUについてステップＳ３０１〜Ｓ３０７の処理が終了したか否か判定する（ステップＳ３０８）。ステップＳ３０１〜Ｓ３０７の処理が終了していないCUがあれば（ステップＳ３０８−Ｎｏ）、動画像符号化装置２は、そのCUについてステップＳ３０１〜Ｓ３０７の処理を実行する。

一方、全てのCUについてステップＳ３０１〜Ｓ３０７の処理が終了している場合（ステップＳ３０８−Ｙｅｓ）、符号化モード決定部１５は、符号化コストが最小となるCUサイズを適用するCUサイズに設定する。そして符号化モード決定部１５は、そのCUサイズに対応するPUサイズ、TUサイズ、符号化モード及び予測モードの組み合わせを、符号化対象のCTUに適用する組み合わせとして選択する（ステップＳ３０９）。その後、動画像符号化装置２は、図８に示された動画像符号化処理の動作フローチャートのステップＳ２０８以降の処理を実行する。

第２の実施形態によれば、動画像符号化装置は、イントラ予測符号化が適用されないブロックについても予測モードを設定する。そのため、動画像符号化装置は、参照ブロックに含まれるブロックがインター予測符号化されていても、適切な参照予測モードを決定できるので、適切な候補モードを設定できる。

また、上記の各実施形態の変形例によれば、候補リスト作成部１４は、着目するPUについての候補リストに、既に符号化された、着目するPUの周辺の所定範囲内にあるPUについて設定された予測モードを、候補モードの一つとして追加してもよい。なお、着目するPUの周辺の所定範囲内にあるPUは、例えば、着目するPUの左側または上側に隣接するPUとすることができる。ピクチャ内で隣接するブロック同士は、相関性が高いことがあるので、このように周辺のPUの予測モードも候補モードとすることで、符号化モード決定部１５は、より適切な予測モードを選択できる可能性が高くなる。

また他の変形例によれば、所定周期のピクチャごとに、候補リスト作成部１４は、全ての予測モードを候補モードとしてもよい。なお、所定周期のピクチャは、例えば、Group Of Picturesに規定される先頭のIピクチャとすることができる。これにより、例えば、シーンチェンジなどにより、ピクチャ間での相関が無くなることで、符号量を最小化できる予測モードが候補リストに含まれなくなった場合でも、動画像符号化装置は、所定周期ごとに、最適な予測モードを決定できる。

また、この動画像符号化装置は、HEVC以外の互いに参照方向が異なる複数の予測モードが規定された動画像符号化方式にも適用できる。さらに、この動画像符号化装置は、符号化モード及び予測モードの適用単位となるブロックのサイズが固定されている動画像符号化方式にも適用できる。この場合には、上記の各実施形態またはその変形例による動画像符号化装置の各部は、CUサイズ、PUサイズ及びTUサイズを全て同一の特定のサイズとして、上記の処理を実行すればよい。

図１１は、上記の実施形態またはその変形例による動画像符号化装置の各部の機能を実現するコンピュータプログラムが動作することにより、動画像符号化装置として動作するコンピュータの構成図である。

コンピュータ１００は、ユーザインターフェース部１０１と、通信インターフェース部１０２と、記憶部１０３と、記憶媒体アクセス装置１０４と、プロセッサ１０５とを有する。プロセッサ１０５は、ユーザインターフェース部１０１、通信インターフェース部１０２、記憶部１０３及び記憶媒体アクセス装置１０４と、例えば、バスを介して接続される。

ユーザインターフェース部１０１は、例えば、キーボードとマウスなどの入力装置と、液晶ディスプレイといった表示装置とを有する。または、ユーザインターフェース部１０１は、タッチパネルディスプレイといった、入力装置と表示装置とが一体化された装置を有してもよい。そしてユーザインターフェース部１０１は、例えば、ユーザの操作に応じて、符号化する動画像データを選択する操作信号をプロセッサ１０５へ出力する。

通信インターフェース部１０２は、コンピュータ１００を、動画像データを生成する装置、例えば、ビデオカメラと接続するための通信インターフェース及びその制御回路を有してもよい。そのような通信インターフェースは、例えば、Universal Serial Bus（ユニバーサル・シリアル・バス、USB）とすることができる。

さらに、通信インターフェース部１０２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有してもよい。

この場合には、通信インターフェース部１０２は、通信ネットワークに接続された他の機器から、符号化する動画像データを取得し、そのデータをプロセッサ１０５へ渡す。また通信インターフェース部１０２は、プロセッサ１０５から受け取った、符号化動画像データを通信ネットワークを介して他の機器へ出力してもよい。

記憶部１０３は、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリとを有する。そして記憶部１０３は、プロセッサ１０５上で実行される、動画像符号化処理を実行するためのコンピュータプログラム、及びこれらの処理の途中または結果として生成されるデータを記憶する。

記憶媒体アクセス装置１０４は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１０６にアクセスする装置である。記憶媒体アクセス装置１０４は、例えば、記憶媒体１０６に記憶されたプロセッサ１０５上で実行される、動画像符号化処理用のコンピュータプログラムを読み込み、プロセッサ１０５に渡す。

プロセッサ１０５は、上記の実施形態または変形例による動画像符号化処理用コンピュータプログラムを実行することにより、符号化動画像データを生成する。そしてプロセッサ１０５は、生成された符号化動画像データを記憶部１０３に保存し、または通信インターフェース部１０２を介して他の機器へ出力する。

なお、動画像符号化装置１の各部の機能をプロセッサ上で実行可能なコンピュータプログラムは、コンピュータによって読み取り可能な媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
動画像データに含まれる符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化する動画像符号化装置であって、
前記符号化対象ピクチャよりも前に符号化された参照ピクチャ上で、前記符号化対象ブロックと相関性があると推定される参照ブロックを特定する参照ブロック決定部と、
前記動画像データに含まれるピクチャ上のブロックを符号化するために利用する予測ブロックを生成する際に当該ピクチャ上の既に符号化された領域に対する参照方向を規定する複数の予測モードのうち、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックについて設定された予測モードから参照予測モードを決定する参照予測モード決定部と、
前記参照予測モードに応じて、前記複数の予測モードから選択した予測モードを含む候補リストを作成する候補リスト作成部と、
前記候補リストに含まれる予測モードのそれぞれについて、当該予測モードを用いて前記符号化対象ブロックを符号化したときの符号量の推定値を算出し、当該推定値が最小となる予測モードを前記符号化対象ブロックに対して適用する予測モードとして選択する符号化モード決定部と、
前記選択された予測モードに従って予測ブロックを生成し、該予測ブロックと前記符号化対象ブロック間の差分演算を行って得られる予測誤差信号を符号化する符号化部と、
を有する動画像符号化装置。
（付記２）
前記参照ブロック決定部は、前記符号化対象ピクチャが、前記参照ピクチャを参照して符号化するインター予測符号化モードを適用可能なピクチャである場合、前記参照ピクチャ上で前記符号化対象ブロックと最も一致する領域を前記参照ブロックとする、付記１に記載の動画像符号化装置。
（付記３）
前記参照ブロック決定部は、前記符号化対象ピクチャが、前記参照ピクチャを参照して符号化するインター予測符号化モードが適用されないピクチャである場合、再生順序で前記符号化対象ピクチャの直前のピクチャを前記参照ピクチャとし、かつ、前記参照ピクチャ上で前記符号化対象ブロックと同じ位置にある領域を前記参照ブロックとする、付記１に記載の動画像符号化装置。
（付記４）
前記参照予測モード決定部は、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックが一つである場合、前記複数の予測モードのうち、当該符号化済みのブロックについて設定された予測モードを前記参照予測モードとする、付記１〜３の何れか一項に記載の動画像符号化装置。
（付記５）
前記参照予測モード決定部は、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックが複数ある場合、前記複数の符号化済みのブロックのそれぞれについて、当該符号化済みのブロックと前記参照ブロックとが重なる面積を算出し、当該面積のバラツキ度が所定の閾値以上である場合、当該面積が最大となる符号化済みのブロックについて設定された予測モードを前記参照予測モードとする、付記１〜４の何れか一項に記載の動画像符号化装置。
（付記６）
前記参照予測モード決定部は、前記面積のバラツキ度が前記所定の閾値未満である場合、前記複数の符号化済みのブロックのそれぞれに設定された予測モードを、前記予測モードに対応する参照方向に応じてグループ化してグループごとに前記面積の和を算出し、当該面積の和が最大となるグループに含まれる予測モードの何れかを前記参照予測モードとする、付記５に記載の動画像符号化装置。
（付記７）
前記参照予測モード決定部は、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックが複数ある場合、前記複数の符号化済みのブロックのそれぞれに設定された予測モードを前記参照予測モードとする、付記１〜４の何れか一項に記載の動画像符号化装置。
（付記８）
前記符号化モード決定部は、前記符号化対象ピクチャが、当該参照ピクチャを参照して符号化するインター予測符号化モードを適用可能なピクチャである場合、前記符号化対象ブロックを前記インター予測符号化モードで符号化したときの符号量の推定値を算出し、前記符号量の推定値がスキップ判定閾値未満である場合、前記符号化対象ブロックを前記インター予測符号化モードで符号化すると判定し、
前記符号量の推定値が前記スキップ判定閾値未満である場合、前記参照予測モードを前記符号化対象ブロックの前記予測モードとする予測モード設定部をさらに有する、付記１に記載の動画像符号化装置。
（付記９）
前記候補リスト作成部は、前記複数の予測モードのうち、前記参照予測モードの前記参照方向との差を所定範囲内となる参照方向を持つ予測モードを前記候補リストに含める、付記１〜８の何れか一項に記載の動画像符号化装置。
（付記１０）
前記候補リスト作成部は、前記符号化対象ブロックから所定範囲内にあり、かつ、符号化済みのブロックに対して設定された予測モードを前記候補リストに含める、付記９に記載の動画像符号化装置。
（付記１１）
動画像データに含まれる符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化する動画像符号化方法であって、
前記符号化対象ピクチャよりも前に符号化された参照ピクチャ上で、前記符号化対象ブロックと相関性があると推定される参照ブロックを特定し、
前記動画像データに含まれるピクチャ上のブロックを符号化するために利用する予測ブロックを生成する際に当該ピクチャ上の既に符号化された領域に対する参照方向を規定する複数の予測モードのうち、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックについて設定された予測モードから参照予測モードを決定し、
前記参照予測モードに応じて、前記複数の予測モードから選択した予測モードを含む候補リストを作成し、
前記候補リストに含まれる予測モードのそれぞれについて、当該予測モードを用いて前記符号化対象ブロックを符号化したときの符号量の推定値を算出し、当該推定値が最小となる予測モードを前記符号化対象ブロックに対して適用する予測モードとして選択し、
前記選択された予測モードに従って予測ブロックを生成し、該予測ブロックと前記符号化対象ブロック間の差分演算を行って得られる予測誤差信号を符号化する、
ことを含む動画像符号化方法。
（付記１２）
動画像データに含まれる符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化することをコンピュータに実行させるための動画像符号化用コンピュータプログラムであって、
前記符号化対象ピクチャよりも前に符号化された参照ピクチャ上で、前記符号化対象ブロックと相関性があると推定される参照ブロックを特定し、
前記動画像データに含まれるピクチャ上のブロックを符号化するために利用する予測ブロックを生成する際に当該ピクチャ上の既に符号化された領域内の参照方向を規定する複数の予測モードのうち、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックについて設定された予測モードから参照予測モードを決定し、
前記参照予測モードに応じて、前記複数の予測モードから選択した予測モードを含む候補リストを作成し、
前記候補リストに含まれる予測モードのそれぞれについて、当該予測モードを用いて前記符号化対象ブロックを符号化したときの符号量の推定値を算出し、当該推定値が最小となる予測モードを前記符号化対象ブロックに対して適用する予測モードとして選択し、
前記選択された予測モードに従って予測ブロックを生成し、該予測ブロックと前記符号化対象ブロック間の差分演算を行って得られる予測誤差信号を符号化する、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。

１、２ 動画像符号化装置
１１ 動きベクトル算出部
１２ 参照ブロック決定部
１３ 参照予測モード決定部
１４ 候補リスト作成部
１５ 符号化モード決定部
１６ 符号化部
１７ 記憶部
１８ 予測モード設定部
２１ 予測ブロック生成部
２２ 予測誤差信号算出部
２３ 直交変換部
２４ 量子化部
２５ 復号部
２６ 可変長符号化部
１００ コンピュータ
１０１ ユーザインターフェース部
１０２ 通信インターフェース部
１０３ 記憶部
１０４ 記憶媒体アクセス装置
１０５ プロセッサ

Claims (9)

1. 動画像データに含まれる符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化する動画像符号化装置であって、
   前記符号化対象ピクチャよりも前に符号化された参照ピクチャ上で、前記符号化対象ブロックと相関性があると推定される参照ブロックを特定する参照ブロック決定部と、
   前記動画像データに含まれるピクチャ上のブロックを符号化するために利用する予測ブロックを生成する際に当該ピクチャ上の既に符号化された領域に対する参照方向を規定する複数の予測モードのうち、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックについて設定された予測モードから参照予測モードを決定する参照予測モード決定部と、
   前記参照予測モードに応じて、前記複数の予測モードから選択した予測モードを含む候補リストを作成する候補リスト作成部と、
   前記候補リストに含まれる予測モードのそれぞれについて、当該予測モードを用いて前記符号化対象ブロックを符号化したときの符号量の推定値を算出し、当該推定値が最小となる予測モードを前記符号化対象ブロックに対して適用する予測モードとして選択する符号化モード決定部と、
   前記選択された予測モードに従って予測ブロックを生成し、該予測ブロックと前記符号化対象ブロック間の差分演算を行って得られる予測誤差信号を符号化する符号化部と、
   を有する動画像符号化装置。
2. 前記参照ブロック決定部は、前記符号化対象ピクチャが、前記参照ピクチャを参照して符号化するインター予測符号化モードを適用可能なピクチャである場合、前記参照ピクチャ上で前記符号化対象ブロックと最も一致する領域を前記参照ブロックとする、請求項１に記載の動画像符号化装置。
3. 前記参照ブロック決定部は、前記符号化対象ピクチャが、前記参照ピクチャを参照して符号化するインター予測符号化モードが適用されないピクチャである場合、再生順序で前記符号化対象ピクチャの直前のピクチャを前記参照ピクチャとし、かつ、前記参照ピクチャ上で前記符号化対象ブロックと同じ位置にある領域を前記参照ブロックとする、請求項１に記載の動画像符号化装置。
4. 前記参照予測モード決定部は、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックが複数ある場合、前記複数の符号化済みのブロックのそれぞれについて、当該符号化済みのブロックと前記参照ブロックとが重なる面積を算出し、当該面積のバラツキ度が所定の閾値以上である場合、当該面積が最大となる符号化済みのブロックについて設定された予測モードを前記参照予測モードとする、請求項１〜３の何れか一項に記載の動画像符号化装置。
5. 前記参照予測モード決定部は、前記面積のバラツキ度が前記所定の閾値未満である場合、前記複数の符号化済みのブロックのそれぞれに設定された予測モードを、前記予測モードに対応する参照方向に応じてグループ化してグループごとに前記面積の和を算出し、当該面積の和が最大となるグループに含まれる予測モードの何れかを前記参照予測モードとする、請求項４に記載の動画像符号化装置。
6. 前記符号化モード決定部は、前記符号化対象ピクチャが、当該参照ピクチャを参照して符号化するインター予測符号化モードを適用可能なピクチャである場合、前記符号化対象ブロックを前記インター予測符号化モードで符号化したときの符号量の推定値を算出し、前記符号量の推定値がスキップ判定閾値未満である場合、前記符号化対象ブロックを前記インター予測符号化モードで符号化すると判定し、
   前記符号量の推定値がスキップ判定閾値未満である場合、前記参照予測モードを前記符号化対象ブロックの前記予測モードとする予測モード設定部をさらに有する、請求項１に記載の動画像符号化装置。
7. 前記候補リスト作成部は、前記複数の予測モードのうち、前記参照予測モードの前記参照方向との差を所定範囲内となる参照方向を持つ予測モードを前記候補リストに含める、請求項１〜６の何れか一項に記載の動画像符号化装置。
8. 動画像データに含まれる符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化する動画像符号化方法であって、
   前記符号化対象ピクチャよりも前に符号化された参照ピクチャ上で、前記符号化対象ブロックと相関性があると推定される参照ブロックを特定し、
   前記動画像データに含まれるピクチャ上のブロックを符号化するために利用する予測ブロックを生成する際に当該ピクチャ上の既に符号化された領域に対する参照方向を規定する複数の予測モードのうち、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックについて設定された予測モードから参照予測モードを決定し、
   前記参照予測モードに応じて、前記複数の予測モードから選択した予測モードを含む候補リストを作成し、
   前記候補リストに含まれる予測モードのそれぞれについて、当該予測モードを用いて前記符号化対象ブロックを符号化したときの符号量の推定値を算出し、当該推定値が最小となる予測モードを前記符号化対象ブロックに対して適用する予測モードとして選択し、
   前記選択された予測モードに従って予測ブロックを生成し、該予測ブロックと前記符号化対象ブロック間の差分演算を行って得られる予測誤差信号を符号化する、
   ことを含む動画像符号化方法。
9. 動画像データに含まれる符号化対象ピクチャが分割された複数のブロックのうちの符号化対象ブロックを符号化することをコンピュータに実行させるための動画像符号化用コンピュータプログラムであって、
   前記符号化対象ピクチャよりも前に符号化された参照ピクチャ上で、前記符号化対象ブロックと相関性があると推定される参照ブロックを特定し、
   前記動画像データに含まれるピクチャ上のブロックを符号化するために利用する予測ブロックを生成する際に当該ピクチャ上の既に符号化された領域内の参照方向を規定する複数の予測モードのうち、前記参照ブロックに少なくとも一部が含まれる符号化済みのブロックについて設定された予測モードから参照予測モードを決定し、
   前記参照予測モードに応じて、前記複数の予測モードから選択した予測モードを含む候補リストを作成し、
   前記候補リストに含まれる予測モードのそれぞれについて、当該予測モードを用いて前記符号化対象ブロックを符号化したときの符号量の推定値を算出し、当該推定値が最小となる予測モードを前記符号化対象ブロックに対して適用する予測モードとして選択し、
   前記選択された予測モードに従って予測ブロックを生成し、該予測ブロックと前記符号化対象ブロック間の差分演算を行って得られる予測誤差信号を符号化する、
   ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。

Images