JP2018085751A - 動画像符号化方法及び動画像復号化方法 - Google Patents

Abstract

【課題】動き情報に関する符号量を低減することにより符号化効率を向上可能な動画像符号化装置及び動画像復号装置をを提供する。【解決手段】入力画像信号を画素ブロックに分割し、分割した画素ブロックに対してインター予測を行う方法において、符号化済み領域における動き情報を保持する動き情報バッファの中から予測動き情報を選択し、予測動き情報を用いて符号化対象ブロックの動き情報を予測する。この方法は符号化が終了した領域内の複数の動き情報の中から予測動き情報の選択方法を示す情報に従って代表動き情報を取得し、代表動き情報のみを得ることを含む。【選択図】なし

Description

本発明の実施形態は、動画像の符号化及び復号化における動き情報圧縮方法、動画像符号化方法及び動画像復号化方法に関する。

近年、大幅に符号化効率を向上させた画像符号化方法が、ITU-TとISO/IECとの共同で、ITU-T Rec. H.264及びISO/IEC 14496-10（以下、H.264という）として勧告されている。H.264では、予測処理、変換処理及びエントロピー符号化処理は、矩形ブロック単位（例えば、１６×１６画素ブロック単位、８×８画素ブロック単位等）で行われる。予測処理においては、符号化対象の矩形ブロック（符号化対象ブロック）に対して、既に符号化済みのフレーム（参照フレーム）を参照して、時間方向の予測を行う動き補償が行われる。このような動き補償では、符号化対象ブロックと参照フレーム内において参照されるブロックとの空間的シフト情報としての動きベクトルを含む動き情報を符号化して復号化側に送る必要がある。さらに、複数の参照フレームを用いて動き補償を行う場合、動き情報とともに参照フレーム番号も符号化する必要がある。このため、動き情報及び参照フレーム番号に関する符号量が増大する場合がある。また、参照フレームの動き情報メモリに格納されている動き情報を参照して、符号化対象ブロックの予測動き情報を導出する動き情報予測方法があり（特許文献１及び非特許文献２）、動き情報を格納する動き情報メモリの容量が増加する場合がある。

動き情報メモリの容量を削減する方法の一例として、（非特許文献２）では、予め定められたブロック内で代表する動き情報を導出し、代表する動き情報のみを動き情報メモリに格納する。

特許第４０２０７８９号 J. Jung et al, "Temporal MV predictor modification for MV-Comp, Skip, Direct and Merge schemes", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 Document, JCTVC-D164, January 20110. Yeping Su et al, "CE9: Reduced resolution storage of motion vector data", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 Document, JCTVC-D072, January 20110.

しかしながら、非特許文献１で示される予測動き情報の導出方法と非特許文献２で示される代表動き情報の導出方法が異なる場合に、予測動き情報の時間相関が低減するために、動き情報に関する符号量が増加される問題がある。

本発明が解決しようとする課題は、上記問題点を解決するためになされたものであり、符号化効率を向上可能な動き情報圧縮装置を含んだ動画像符号化装置及び動画像復号化装置を提供することである。

実施形態によれば、動画像符号化方法は、入力画像信号を画素ブロックに分割し、これら分割した画素ブロックに対してインター予測を行う方法である。この方法は、符号化済み領域における動き情報を保持する動き情報バッファの中から、予測動き情報を選択し、前記予測動き情報を用いて、符号化対象ブロックの動き情報を予測することを含み。さらに、この方法は符号化が終了した領域内の複数の動き情報の中から、前記予測動き情報の選択方法を示す第１情報に従って代表動き情報を取得し、前記代表動き情報のみを得ることを含む。

第１の実施形態に係る画像符号化装置の構成を概略的に示すブロック図。 画素ブロックの予測符号化順の説明図。 画素ブロックサイズの一例の説明図。 画素ブロックサイズの別の例の説明図。 画素ブロックサイズの別の例の説明図。 コーディングツリーユニットにおける画素ブロックの一例の説明図。 コーディングツリーユニットにおける画素ブロックの別の例の説明図。 コーディングツリーユニットにおける画素ブロックの別の例の説明図。 コーディングツリーユニットにおける画素ブロックの別の例の説明図。 図１のエントロピー符号化部の構成を概略的に示すブロック図。 図１の動き情報メモリの構成を概略的に示す説明図。 図１のインター予測部が実行するインター予測処理の一例の説明図。 図１のインター予測部が実行するインター予測処理の別の例の説明図。 プレディクションユニットの一例の説明図。 プレディクションユニットの別の例の説明図。 プレディクションユニットの別の例の説明図。 プレディクションユニットの別の例の説明図。 プレディクションユニットの別の例の説明図。 プレディクションユニットの別の例の説明図。 プレディクションユニットの別の例の説明図。 スキップモード、マージモード、インターモードを示す説明図。 図４の動き情報符号化部の構成を概略的に示すブロック図。 符号化対象プレディクションユニットに対する、予測動き情報候補の位置の例を示す説明図。 符号化対象プレディクションユニットに対する、予測動き情報候補の位置の更に別の例を示す説明図。 複数の予測動き情報候補のブロック位置とインデクスＭｖｐiｄｘの関係を示すリストの例を示す説明図。 符号化対象プレディクションユニットのサイズが３２ｘ３２の場合の、プレディクションユニットの中心を示す参照動き情報取得位置の例を示す説明図。 符号化対象プレディクションユニットのサイズが３２ｘ１６の場合の、プレディクションユニットの中心を示す参照動き情報取得位置の例を示す説明図。 符号化対象プレディクションユニットのサイズが１６ｘ３２の場合の、プレディクションユニットの中心を示す参照動き情報取得位置の例を示す説明図。 符号化対象プレディクションユニットのサイズが１６ｘ１６の場合の、プレディクションユニットの中心を示す参照動き情報取得位置の例を示す説明図。 符号化対象プレディクションユニットのサイズが１６ｘ８の場合の、プレディクションユニットの中心を示す参照動き情報取得位置の例を示す説明図。 符号化対象プレディクションユニットのサイズが８ｘ１６の場合の、プレディクションユニットの中心を示す参照動き情報取得位置の例を示す説明図。 符号化対象プレディクションユニットのサイズが３２ｘ３２の場合の、プレディクションユニットの中心を示す参照動き情報取得位置の更に別の例を示す説明図。 符号化対象プレディクションユニットのサイズが３２ｘ１６の場合の、プレディクションユニットの中心を示す参照動き情報取得位置の更に別の例を示す説明図。 符号化対象プレディクションユニットのサイズが１６ｘ３２の場合の、プレディクションユニットの中心を示す参照動き情報取得位置の更に別の例を示す説明図。 符号化対象プレディクションユニットのサイズが１６ｘ１６の場合の、プレディクションユニットの中心を示す参照動き情報取得位置の更に別の例を示す説明図。 符号化対象プレディクションユニットのサイズが１６ｘ８の場合の、プレディクションユニットの中心を示す参照動き情報取得位置の更に別の例を示す説明図。 符号化対象プレディクションユニットのサイズが８ｘ１６の場合の、プレディクションユニットの中心を示す参照動き情報取得位置の更に別の例を示す説明図。 空間方向参照動き情報メモリ５０１及び時間方向参照動き情報メモリ５０２に関する説明図。 図１の動き情報圧縮部の動作の一例を示すフローチャート。 符号化対象プレディクションユニットのサイズが３２ｘ３２の場合の、プレディクションユニットの左上端を示す参照動き情報取得位置の例を示す説明図。 符号化対象プレディクションユニットのサイズが３２ｘ１６の場合の、プレディクションユニットの左上端を示す参照動き情報取得位置の例を示す説明図。 符号化対象プレディクションユニットのサイズが１６ｘ３２の場合の、プレディクションユニットの左上端を示す参照動き情報取得位置の例を示す説明図。 符号化対象プレディクションユニットのサイズが１６ｘ１６の場合の、プレディクションユニットの左上端を示す参照動き情報取得位置の例を示す説明図。 符号化対象プレディクションユニットのサイズが１６ｘ８の場合の、プレディクションユニットの左上端を示す参照動き情報取得位置の例を示す説明図。 符号化対象プレディクションユニットのサイズが８ｘ１６の場合の、プレディクションユニットの左上端を示す参照動き情報取得位置の例を示す説明図。 代表動き情報位置の例を示す説明図。 代表動き情報位置の別の例を示す説明図。 各プレディクションサイズにおけるプレディクションユニットの中心の例を示す説明図。 動き情報圧縮ブロック毎の複数の参照動き情報取得位置の重心を代表動き情報位置と設定した場合の代表動き情報位置の例を示す説明図。 動き情報圧縮ブロック毎の複数の参照動き情報取得位置の重心を代表動き情報位置と設定した場合の代表動き情報位置の別例を示す説明図。 代表動き情報位置の例を示す説明図。 代表動き情報位置の別の例を示す説明図。 一実施形態に従うシンタクス構造を示す図である。 一実施形態に従うシーケンスパラメータセットシンタクスの一例を示す図である。 一実施形態に従うシーケンスパラメータセットシンタクスの別例を示す図である。 一実施形態に従うプレディクションユニットシンタクスの一例を示す図である。 第２の実施形態に係る画像復号化装置を概略的に示すブロック図。 図２５のエントロピー復号化部を概略的に示すブロック図。 図２６の動き情報復号化部を概略的に示すブロック図。

以下、図面を参照して、各実施形態に係る動画像符号化装置及び動画像復号化装置について詳細に説明する。なお、以降の説明において、「画像」という用語は、「映像」「画素」「画像信号」、「画像データ」などの用語として適宜読み替えることができる。また、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
（第１の実施形態）
第１の実施形態は画像符号化装置に関する。本実施形態に係る画像符号化装置に対応する動画像復号化装置は、第２の実施形態において説明する。この画像符号化装置は、ＬＳＩ（Large-Scale Integration）チップやＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアにより実現可能である。また、この画像符号化装置は、コンピュータに画像符号化プログラムを実行させることによっても実現可能である。

図１に示すように、本実施形態に係る画像符号化装置１００は、減算部１０１、直交変換部１０２、量子化部１０３、逆量子化部１０４、逆直交変換部１０５、加算部１０６、参照画像メモリ１０７、インター予測部１０８、動き情報圧縮部１０９、動き情報メモリ１１０、及びエントロピー符号化部１１２を含む。符号化制御部１１４、及び出力バッファ１１３は通常、画像符号化装置１００の外部に設置される。

図１の画像符号化装置１００は、入力画像信号１５１を構成する各フレームまたは各フィールドまたは各スライスを複数の画素ブロックに分割し、これら分割した画素ブロックに対して予測符号化を行って、符号化データ１６３を出力する。以降の説明では、簡単化のために、図２Ａに示されるように左上から右下に向かって画素ブロックの予測符号化が行われることを仮定する。図２Ａでは、符号化処理対象のフレームｆにおいて、符号化対象画素ブロックｃよりも左側及び上側に符号化済み画素ブロックｐが位置している。

ここで、画素ブロックは、例えば、Ｍ×Ｎサイズのブロック（Ｎ及びＭは自然数）、コーディングユニット、マクロブロック、サブブロック、１画素などの画像を処理する単位を指す。なお、以降の説明では、画素ブロックをコーディングユニットの意味で基本的に使用するが、説明を適宜読み替えることにより画素ブロックを上述した意味で解釈することも可能である。コーディングユニットは、典型的には、例えば図２Ｂに示す１６×１６画素ブロックであるが、図２Ｃに示す３２×３２画素ブロック、図２Ｄに示す６４×６４画素ブロックであってもよいし、図示しない８×８画素ブロック、４×４画素ブロックであってもよい。また、コーディングユニットは必ずしも正方形である必要はない。以下、入力画像信号１５１の符号化対象ブロックもしくはコーディングニットを「予測対象ブロック」と称することもある。また、符号化単位には、コーディングユニットのような画素ブロックに限らず、フレームまたはフィールド、スライス、或いはこれらの組み合わせを用いることができる。

図３Ａから図３Ｄまでは、コーディングユニットの具体例を示した図である。図３Ａは、コーディングユニットのサイズが６４×６４（Ｎ＝３２）の場合の例を示している。ここでＮは、基準となるコーディングユニットのサイズを表しており、分割された場合のサイズをＮと定義し、分割されない場合を２Ｎと定義する。コーディングツリーユニットは四分木構造を持ち、分割された場合は、４つの画素ブロックに対してＺスキャン順でインデックスが付される。図３Ｂに、図３Ａの６４ｘ６４画素ブロックを四分木分割した例を示す。図中に示される番号がＺスキャンの順番を表している。また、コーディングユニットの１つの四分木のインデックス内でさらに四分木分割することが可能である。分割の深さをＤｅｐｔｈで定義する。つまり、図３ＡはＤｅｐｔｈ＝０の例を示している。図３ＣにＤｅｐｔｈ＝１の場合の３２×３２（Ｎ＝１６）サイズのコーディングツリーユニットの例を示す。このようなコーディングツリーユニットの最も大きいユニットをラージコーディングツリーユニット若しくはツリーブロックと呼び、図２Ａに示すように、この単位で入力画像信号がラスタースキャン順に符号化される。

図１の画像符号化装置１００は、符号化制御部１１４から入力される符号化パラメータに基づいて、画素ブロックに対するインター予測（画面間予測、フレーム間予測、動き補償予測などとも称される）または図示されないイントラ予測（画面内予測、フレーム内予測などとも称される）を行って、予測画像信号１５９を生成する。この画像符号化装置１００は、画素ブロック（入力画像信号１５１）と予測画像信号１５９との間の予測誤差信号１５２を直交変換及び量子化し、エントロピー符号化を行って符号化データ１６３を生成して出力する。

図１の画像符号化装置１００は、ブロックサイズ及び予測画像信号１５９の生成方法の異なる複数の予測モードを選択的に適用して符号化を行う。予測画像信号１５９の生成方法は、大別すると、符号化対象フレーム内で予測を行うイントラ予測と、時間的に異なる１つまたは複数の参照フレームを用いて予測を行うインター予測との２種類である。

以下、図１の画像符号化装置１００に含まれる各要素を説明する。
減算部１０１は、入力画像信号１５１の符号化対象ブロックから、対応する予測画像信号１５９を減算して予測誤差信号１５２を得る。減算部１０１は、予測誤差信号１５２を直交変換部１０２に入力する。

直交変換部１０２は、減算部１０１からの予測誤差信号１５２に対して、例えば離散コサイン変換（ＤＣＴ）のような直交変換を行い、変換係数１５３を得る。直交変換部１０２は、変換係数１５３を量子化部１０３に出力する。

量子化部１０３は、直交変換部１０２からの変換係数１５３に対して量子化を行い、量子化変換係数１５４を得る。具体的には、量子化部１０３は、符号化制御部１１４によって指定される量子化パラメータ、量子化マトリクスなどの量子化情報に従って量子化を行う。量子化パラメータは、量子化の細かさを示す。量子化マトリクスは、量子化の細かさを変換係数の成分毎に重み付けするために使用されるが、量子化マトリクスの使用・不使用は本発明の実施形態の本質部分ではない。量子化部１０３は、量子化変換係数１５４をエントロピー符号化部１１２及び逆量子化部１０４に出力する。

エントロピー符号化部１１２は、量子化部１０３からの量子化変換係数１５４、インター予測部１０８からの動き情報１６０、符号化制御部１１４によって指定される予測情報１６５、符号化制御部１１４からの参照位置情報１６４、量子化情報などの様々な符号化パラメータに対してエントロピー符号化（例えば、ハフマン符号化、算術符号化など）を行い、符号化データ１６３を生成する。なお、符号化パラメータとは、予測情報１６５、変換係数に関する情報、量子化に関する情報、などの復号に必要となるパラメータである。例えば、符号化制御部１１４が内部メモリ（図示しない）を持ち、このメモリに符号化パラメータが保持され、予測対象ブロックを符号化する際に隣接する既に符号化済みの画素ブロックの符号化パラメータを用いる。

具体的には、エントロピー符号化部１１２は、図４に示すように、パラメータ符号化部４０１、変換係数符号化部４０２、動き情報符号化部４０３、並びに多重化部４０４を備える。パラメータ符号化部４０１は、符号化制御部１１４から受け取った予測情報１６５などの符号化パラメータを符号化して符号化データ４５１Ａを生成する。変換係数符号化部４０２は、量子化部１０３から受け取った量子化後の変換係数１５４を符号化して符号化データ４５１Ｂを生成する。

動き情報符号化部４０３は、動き情報メモリ１１０から受け取った参照動き情報１６６、符号化制御部１１４から受け取った参照位置情報１６４を参照して、インター予測部１０８から受け取った動き情報１６０を符号化して符号化データ４５１Ｃを生成する。動き情報符号化部４０３に関してはその詳細を後述する。

多重化部４０４は、符号化データ４５１Ａ、４５１Ｂ、４５１Ｃを多重化して符号化データ１６３を生成する。生成された符号化データ１６３は、動き情報１６０、予測情報１６５とともに、変換係数に関する情報、量子化に関する情報などの復号の際に必要になるあらゆるパラメータを含む。

エントロピー符号化部１１２によって生成された符号化データ１６３は、例えば多重化を経て出力バッファ１１３に一時的に蓄積され、符号化制御部１１４が管理する適切な出力タイミングに従って符号化データ１６３として出力される。符号化データ１６３は、例えば、図示しない蓄積系（蓄積メディア）または伝送系（通信回線）へ出力される。

逆量子化部１０４は、量子化部１０３からの量子化変換係数１５４に対して逆量子化を行い、復元変換係数１５５を得る。具体的には、逆量子化部１０４は、量子化部１０３において使用された量子化情報に従って逆量子化を行う。量子化部１０３において使用された量子化情報は、符号化制御部１１４の内部メモリからロードされる。逆量子化部１０４は、復元変換係数１５５を逆直交変換部１０５に出力する。

逆直交変換部１０５は、逆量子化部１０４からの復元変換係数１５５に対して、例えば逆離散コサイン変換などのような直交変換部１０２において行われた直交変換に対応する逆直交変換を行い、復元予測誤差信号１５６を得る。逆直交変換部１０５は、復元予測誤差信号１５６を加算部１０６に出力する。

加算部１０６は、復元予測誤差信号１５６と、対応する予測画像信号１５９とを加算し、局所的な復号画像信号１５７を生成する。復号画像信号１５７は図示しないデブロッキングフィルタやウィナーフィルタなどを施し、参照画像メモリ１０７へと入力される。

参照画像メモリ１０７は、メモリに局部復号後の被フィルタ画像信号１５８を蓄積しておりインター予測部１０８によって必要に応じて予測画像を生成する際に、参照画像信号１５８として参照される。

インター予測部１０８は、参照画像メモリ１０７に保存されている参照画像信号１５８を利用してインター予測を行う。具体的には、インター予測部１０８は、予測対象ブロックと参照画像信号１５８との間でブロックマッチング処理を行って動きのズレ量（動きベクトル）を導出する。インター予測部１０８は、この動きベクトルに基づいて動き補償（小数精度の動きの場合は補間処理）を行ってインター予測画像を生成する。Ｈ．２６４では、１／４画素精度までの補間処理が可能である。導出された動きベクトルは動き情報１６０の一部としてエントロピー符号化される。

動き情報メモリ１１０は、動き情報圧縮部１０９を有し、動き情報１６０に対して適宜圧縮処理を行い情報量を削減し、参照動き情報１６６として一時的に格納する。図５に示されるように、動き情報メモリ１１０がフレーム（またはスライス）単位で保持されており、同一フレーム上の動き情報１６０を参照動き情報１６６として格納する空間方向参照動き情報メモリ５０１及び、既に符号化が終了したフレームの動き情報１６０を参照動き情報１６６として格納する時間方向参照動き情報メモリ５０２を更に有する。時間方向参照動き情報メモリ５０２は符号化対象フレームが予測に用いる参照フレームの数に応じて、複数有しても構わない。

また、空間方向参照動き情報メモリ５０１及び時間方向参照動き情報メモリ５０２は、物理的に同一のメモリを論理的に区切っても構わない。更に、空間方向参照動き情報メモリ５０１は、現在符号化を行っているフレームで必要な空間方向動き情報のみを保持し、参照が不要となった空間方向動き情報を順次圧縮して時間方向参照動き情報メモリ５０２に格納しても構わない。

参照動き情報１６６は、所定の領域単位（例えば、４×４画素ブロック単位）で空間方向参照動き情報メモリ５０１及び時間方向参照動き情報メモリ５０２内に保持される。参照動き情報１６６は、その領域が後述するインター予測で符号化されたのか或いは後述するイントラ予測で符号化されたのかを示す情報をさらに有する。また、コーディングユニット（又はプレディクションユニット）がＨ．２６４で規定されるスキップモード、ダイレクトモード若しくは後述するマージモードのように、動き情報１６０内の動きベクトルの値が符号化されず、符号化済みの領域から予測された動き情報１６０を用いてインター予測される場合においても、当該コーディングユニット（又はプレディクションユニット）の動き情報が参照動き情報１６６として保持される。

符号化対象のフレーム又はスライスの符号化処理が終了したら、当該フレームの空間方向参照動き情報メモリ５０１は、次に符号化処理を行うフレームに用いる時間方向参照動き情報メモリ５０２としてその扱いが変更される。この際、時間方向参照動き情報メモリ５０２のメモリ容量を削減するために、後述する動き情報圧縮部１０９によって圧縮された動き情報１６０を時間方向参照動き情報メモリ５０２に格納する。

予測情報１６５は符号化制御部１１４が制御する予測モードに従っており、前述のように、予測画像信号１５９の生成のためにインター予測または図示されないイントラ予測またはインター予測が選択可能であるが、イントラ予測及びインター予測の夫々に複数のモードがさらに選択可能である。符号化制御部１１４はイントラ予測及びインター予測の複数の予測モードのうちの１つを最適な予測モードとして判定し、予測情報１６５を設定する。

例えば、符号化制御部１１４は、次の数式（１）に示すコスト関数を用いて最適な予測モードを判定する。

数式（１）（以下、簡易符号化コストと呼ぶ）において、ＯＨは予測情報１６０（例えば、動きベクトル情報、予測ブロックサイズ情報）に関する符号量を示し、ＳＡＤは予測対象ブロックと予測画像信号１５９との間の差分絶対値和（即ち、予測誤差信号１５２の絶対値の累積和）を示す。また、λは量子化情報（量子化パラメータ）の値に基づいて決定されるラグランジュ未定乗数を示し、Ｋは符号化コストを示す。数式（１）を用いる場合には、符号化コストＫを最小化する予測モードが発生符号量及び予測誤差の観点から最適な予測モードとして判定される。数式（１）の変形として、ＯＨのみまたはＳＡＤのみから符号化コストを見積もってもよいし、ＳＡＤにアダマール変換を施した値またはその近似値を利用して符号化コストを見積もってもよい。

また、図示しない仮符号化ユニットを用いることにより最適な予測モードを判定することも可能である。例えば、符号化制御部１１４は、次の数式（２）に示すコスト関数を用いて最適な予測モードを判定する。

数式（２）において、Ｄは予測対象ブロックと局所復号画像との間の二乗誤差和（即ち、符号化歪）を示し、Ｒは予測対象ブロックと予測モードの予測画像信号１５９との間の予測誤差について仮符号化によって見積もられた符号量を示し、Ｊは符号化コストを示す。数式（２）の符号化コストＪ（以後、詳細符号化コストと呼ぶ）を導出する場合には予測モード毎に仮符号化処理及び局部復号化処理が必要なので、回路規模または演算量が増大する。反面、より正確な符号化歪と符号量とに基づいて符号化コストＪが導出されるので、最適な予測モードを高精度に判定して高い符号化効率を維持しやすい。なお、数式（２）の変形として、ＲのみまたはＤのみから符号化コストを見積もってもよいし、ＲまたはＤの近似値を利用して符号化コストを見積もってもよい。また、これらのコストを階層的に用いてもよい。符号化制御部１１４は、予測対象ブロックに関して事前に得られる情報（周囲の画素ブロックの予測モード、画像解析の結果など）に基づいて、数式（１）または数式（２）を用いた判定を行う予測モードの候補の数を、予め絞り込んでおいてもよい。

本実施形態の変形例として、数式（１）と数式（２）を組み合わせた二段階のモード判定を行うことで、符号化性能を維持しつつ、予測モードの候補数をさらに削減することが可能となる。ここで、数式（１）で示される簡易符号化コストは、数式（２）と異なり局部復号化処理が必要ないため、高速に演算が可能である。本実施形態の動画像符号化装置では、Ｈ．２６４と比較しても予測モード数が多いため、詳細符号化コストを用いたモード判定は現実的ではない。そこで、第一ステップとして、簡易符号化コストを用いたモード判定を、当該画素ブロックで利用可能な予測モードに対して行い、予測モード候補を導出する。

ここで、量子化の粗さを定めた量子化パラメータの値が大きくなるほど、簡易符号化コストと詳細符号化コストの相関が高くなる性質を利用して、予測モード候補数を変更する。

次に、画像符号化装置１００の予測処理について説明する。
図１の画像符号化装置１００には、図示していないが、複数の予測モードが用意されており、各予測モードでは、予測画像信号１５９の生成方法及び動き補償ブロックサイズが互いに異なる。予測部１０８が予測画像信号１５９を生成する方法としては、具体的には大きく分けて、符号化対象フレーム（又は、フィールド）の参照画像信号１５８を用いて予測画像を生成するイントラ予測（フレーム内予測）と、１以上の符号化済みの参照フレーム（又は、参照フィールド）の参照画像信号１５８を用いて予測画像を生成するインター予測（フレーム間予測）とがある。予測部１０８は、イントラ予測及びインター予測を選択的に切り替えて、符号化対象ブロックの予測画像信号１５９を生成する。

図６Ａは、インター予測の一例を示している。インター予測は、典型的にはプレディクションユニットの単位で実行され、プレディクションユニット単位で異なる動き情報１６０を有することが可能となる。インター予測では、図６Ａに示されるように、既に符号化が完了している参照フレーム（例えば、１フレーム前の符号化済みフレーム）内の画素ブロックであって、符号化対象のプレディクションユニットと同じ位置のブロック６０１から、動き情報１６０に含まれる動きベクトルに応じて空間的にシフトした位置のブロック６０２の参照画像信号１５８を使用して、予測画像信号１５９が生成される。即ち、予測画像信号１５９の生成では、符号化対象ブロックの位置（座標）及び動き情報１６０に含まれる動きベクトルで特定される、参照フレーム内のブロック６０２の参照画像信号１５８が使用される。

インター予測では、少数画素精度（例えば、１／２画素精度又は１／４画素精度）の動き補償が可能であり、参照画像信号１５８に対してフィルタリング処理を行うことによって、補間画素の値が生成される。例えば、Ｈ．２６４では、輝度信号に対して１／４画素精度までの補間処理が可能である。当該補間処理は、Ｈ．２６４で規定されるフィルタリングの他に、任意のフィルタリングを用いることにより実行可能である。

なお、インター予測では、図６Ａに示されるような１フレーム前の参照フレームを使用する例に限らず、図６Ｂに示されるように、いずれの符号化済みの参照フレームが使用されてもよい。時間位置が異なる複数の参照フレームの参照画像信号１５８が保持されている場合、どの時間位置の参照画像信号１５８から予測画像信号１５９を生成したかを示す情報は、参照フレーム番号で表わされる。参照フレーム番号は、動き情報１６０に含まれる。参照フレーム番号は、領域単位（ピクチャ、スライス、ブロック単位など）で変更することができる。即ち、プレディクションユニット毎に異なる参照フレームが使用されることができる。一例として、符号化済みの１フレーム前の参照フレームを予測に使用した場合、この領域の参照フレーム番号は、０に設定され、符号化済みの２フレーム前の参照フレームを予測に使用した場合、この領域の参照フレーム番号は、１に設定される。他の例として、１フレーム分だけの参照画像信号１５８が参照画像メモリ１０７に保持されている（保持されている参照フレームの数が１つのみである）場合、参照フレーム番号は、常に０に設定される。

さらに、インター予測では、予め用意される複数のプレディクションユニットのサイズの中から符号化対象ブロックに適したサイズを選択して用いることができる。例えば、図７Ａから図７Ｇに示されるようなコーディングツリーユニットを分割して得られるプレディクションユニット毎に動き補償を行うことが可能である。また、図７Ｆ、図７Ｇに示されるような矩形以外に分割して得られるプレディクションユニット毎に動き補償を行うことが可能である。

前述したように、インター予測に使用する符号化対象フレーム内の符号化済みの画素ブロック（例えば、４×４画素ブロック）の動き情報１６０は参照動き情報１６６として保持されているので、入力画像信号１５１の局所的な性質に従って、最適な動き補償ブロックの形状及び動きベクトル、参照フレーム番号を利用することができる。また、コーディングユニット及びプレディクションユニットは任意に組み合わせることができる。コーディングツリーユニットが６４×６４画素ブロックである場合、６４×６４画素ブロックを分割した４つのコーディングツリーユニット（３２×３２画素ブロック）の各々に対して、さらにコーディングツリーユニットを４つに分割することで階層的に６４×６４画素ブロックから１６×１６画素ブロックを利用することができる。同様にして、階層的に６４×６４画素ブロックから８×８画素ブロックを利用することができる。ここで、プレディクションユニットがコーディングツリーユニットを４つに分割したものであるとすれば、６４×６４画素ブロックから４×４画素ブロックまでの階層的な動き補償処理を実行することが可能となる。

また、インター予測では、符号化対象画素ブロックに対して２種類の動き補償を用いた双方向予測を実行することができる。Ｈ．２６４では、符号化対象画素ブロックに対し２種類の動き補償を行い、２種類の予測画像信号を加重平均することで、新しい予測画像信号を得る（図示せず）。双方向予測において２種類の動き補償をそれぞれリスト０予測、リスト１予測と称する。

＜スキップモード、マージモード、インターモードの説明＞
本実施形態に係る画像符号化装置１００は、図８に示す符号化処理の異なる複数の予測モードを使用する。図中のスキップモードは後述する予測動き情報位置９５４に関するシンタクスのみを符号化し、その他のシンタクスは符号化しないモードである。マージモードは予測動き情報位置９５４に関するシンタクス、変換係数情報１５３のみを符号化し、その他のシンタクスは符号化しないモードである。インターモードは、予測動き情報位置９５４に関するシンタクス、後述する差分動き情報９５３、変換係数情報１５３を符号化するモードである。これらのモードは符号化制御部１１４が制御する予測情報１６５によって切り替えられる。

＜動き情報符号化部４０３＞
以下、動き情報符号化部４０３について図９を用いて説明する。

動き情報符号化部４０３は、参照動きベクトル取得部９０１、予測動きベクトル選択スイッチ（予測動き情報選択スイッチ、とも称す）９０２、減算部９０３、差分動き情報符号化部９０４、予測動き情報位置符号化部９０５及び多重化部９０６を有する。

参照動きベクトル取得部９０１は、参照動き情報１６６及び参照位置情報１６４を入力として、少なくとも一つ以上の予測動き情報候補（予測動きベクトル候補、とも称す）９５１（９５１Ａ、９５１Ｂ、…）を生成する。図１０、図１１は、対象プレディクションユニットに対する、予測動き情報候補９５１の位置の一例を示している。図１０は対象プレディクションユニットに空間的に隣接するプレディクションユニットの位置を示している。ＡＸ（Ｘ＝０〜ｎＡ−１）は、対象プレディクションユニットに対して左に隣接するプレディクションユニット、ＢＹ（Ｙ＝０〜ｎＢ−１）は対象プレディクションユニットに対して上に隣接するプレディクションユニット、Ｃ、Ｄ、Ｅは対象プレディクションユニットに対してそれぞれ右上、左上、左下に隣接するプレディクションユニットを示している。また、図１１は符号化対象プレディクションユニットに対して、既に符号化済みの参照フレームにおけるプレディクションユニットの位置を示している。図１１中のＣｏｌは、参照フレーム内であって符号化対象プレディクションユニットと同一位置にあるプレディクションユニットを示している。図１２は、複数の予測動き情報候補９５１のブロック位置とインデクスＭｖｐiｄｘの関係を示すリストの一例を示す。Ｍｖｐiｄｘが０〜２は空間方向に位置する予測動きベクトル候補９５１、Ｍｖｐiｄｘが３は時間方向に位置する予測動きベクトル候補９５１をそれぞれ示している。プレディクションユニット位置Ａは図１０に示されるＡＸの内、インター予測である、つまり参照動き情報１６６を有するプレディクションユニットであって、Ｘの値が最も小さい位置をプレディクションユニット位置Ａとする。また、プレディクションユニット位置Ｂは図１０に示されるＢＹの内、インター予測である、つまり参照動き情報１６６を有するプレディクションユニットであって、Ｙの値が最も小さい位置をプレディクションユニット位置Ａとする。プレディクションユニット位置Ｃがインター予測ではない場合、プレディクションユニット位置Ｄの参照動き情報１６６をプレディクションユニット位置Ｃの参照動き情報１６６として置き換える。プレディクションユニット位置Ｃ及びＤがインター予測ではない場合、プレディクションユニット位置Ｅの参照動き情報１６６をプレディクションユニット位置Ｃの参照動き情報１６６として置き換える。

符号化対象プレディクションユニットのサイズが最小プレディクションユニットより大きい場合には、プレディクションユニット位置Ｃｏｌは、複数の参照動き情報１６６を時間方向参照動き情報メモリ５０２に保持している可能性がある。この場合、参照位置情報１６４に従って位置Ｃｏｌのプレディクションユニット中の参照動き情報１６６を取得する。以降、位置Ｃｏｌのプレディクションユニット中の参照動き情報１６６の取得位置を参照動き情報取得位置と称する。図１３Ａ〜Ｆは、参照位置情報１６４が位置Ｃｏｌのプレディクションユニットの中心を示す場合の参照動き情報取得位置の一例を符号化対象プレディクションユニットのサイズ（３２ｘ３２〜１６ｘ１６）毎に示す。図中のブロックはそれぞれ４ｘ４プレディクションユニットを示し、丸印は予測動き情報候補９５１として取得する４ｘ４プレディクションユニットの位置を示している。参照動き情報取得位置の別の一例を図１４Ａ〜Ｆに示す。図１４Ａ〜Ｆにおいて、丸印の位置は４ｘ４プレディクションユニットが存在しないため、丸印に隣接する４つの４ｘ４プレディクションユニットにおける参照動き情報１６６の平均値やメディアン値といった予め定められた方式で、予測動き情報候補９５１を生成する。参照動き情報取得位置の更に別の一例として、位置Ｃｏｌのプレディクションユニットの左上端に位置する４ｘ４プレディクションユニットの参照動き情報１６６を予測動き情報候補９５１としても構わない。上記の例以外に置いても、予め定められた方式であれば、いずれの位置及び方式を用いて予測動き情報候補９５１を生成しても構わない。

なお、参照動き情報１６６が存在しない場合、ゼロベクトルを有する動き情報１６０を、予測動き情報候補９５１として出力する。

以上により、少なくとも一つ以上の予測動き情報候補９５１が参照動きブロックから出力される。上記の予測動き情報候補９５１が有する参照フレーム番号と符号化対象プレディクションユニットの参照フレーム番号が異なる場合は、予測動き情報候補９５１を予測動き情報候補９５１が有する参照フレーム番号と符号化対象プレディクションユニットの参照フレーム番号に従ってスケーリングしても構わない。

予測動き情報選択スイッチ９０２は、符号化制御部１１４からの指令に応じて複数の予測動き情報候補９５１から一つを選択し、予測動き情報９５２を出力する。また予測動き情報選択スイッチ９０２が、後述する予測動き情報位置情報９５４を出力してもよい。上記、選択には数式（１）や（２）といった評価関数を用いて選択しても構わない。減算部９０３は、動き情報１６０から予測動きベクトル情報９５２を減算し、差分動き情報９５３を差分動き情報符号化部９０４に出力する。差分動き情報符号化部９０４は、差分動き情報９５３を符号化処理し符号化データ９６０Ａを出力する。なお、スキップモード及びマージモードでは差分動き情報符号化部９０４において、差分動き情報９５３の符号化は不要となる。

予測動き情報位置符号化部９０５は、図１２で示されるリストのうち、どの予測動き情報候補９５１を選択したかを示す予測動き情報位置情報９５４（Ｍｖｐiｄｘ）を符号化し、符号化データ９６０Ｂを出力する。予測動き情報位置情報９５４は予測動き情報候補９５１の総数から生成される等長符号化や可変長符号化を用いて符号化される。隣接ブロックとの相関を利用して可変長符号化しても構わない。更に、複数の予測動き情報候補９５１で重複する情報を有する場合、重複する予測動き情報候補９５１を削除した予測動き情報候補９５１の総数から符号表を作成し、予測動き情報位置情報９５４を符号化しても構わない。また、予測動き情報候補９５１の総数が１種類である場合、当該予測動き情報候補９５１が予測動き情報９５２と決定されるため、予測動き情報位置情報９５４を符号化する必要はない。

また、スキップモード、マージモード、インターモードそれぞれにおいて、予測動き情報候補９５１の導出方法は同一である必要はなく、それぞれ独立に予測動き情報候補９５１の導出方法を設定しても構わない。本実施形態では、スキップモードとインターモードの予測動き情報候補９５１の導出方法は同一で、マージモードの予測動き情報候補９５１の導出方法は異なるものとして説明する。

＜動き情報圧縮部１０９の詳細＞
まず、動き情報圧縮処理について図１５を用いて説明する。図１５は、空間方向参照動き情報メモリ５０１の参照動き情報１６６を圧縮し、時間方向参照動き情報メモリ５０２へ格納する。空間方向参照動き情報メモリ５０１では動き情報圧縮ブロック（同図では１６ｘ１６画素ブロック）毎に代表動き情報位置に保持される参照動き情報１６６を時間方向参照動き情報メモリ５０２に格納する。上述の動き情報符号化処理を行う場合には、前述の参照動き情報取得位置に保持される参照動き情報１６６を予測動き情報候補９５１として設定する。このとき、仮想的に動き情報圧縮ブロック内は同一の参照動き情報１６６を持つこととして、前述の参照動き情報取得位置に保持される参照動き情報１６６を予測動き情報候補９５１として設定しても構わない（同一の予測動き情報候補９５１が導出される。）
次に、動き情報圧縮部１０９について図１６に示すフローチャートを用いて説明する。
動き情報圧縮部１０９は、フレーム（もしくはスライス、コーディングユニットなど任意の単位）の符号化処理が終了した際に、動き情報１６０を圧縮して時間方向参照動き情報メモリ５０２に動き情報１６０を格納する。

まず、符号化制御部１１４から参照位置情報１６４を取得し（ステップＳ１６０１）、フレームを動き情報１６０の圧縮単位である動き情報圧縮ブロックに分割する（ステップＳ１６０２）。動き情報圧縮ブロックは、動き補償処理により動き情報１６０が保持される単位（典型的には４ｘ４画素ブロック）より大きい画素ブロックであり、典型的には１６ｘ１６画素ブロックである。動き情報圧縮ブロックは６４ｘ６４画素ブロックや３２ｘ３２画素ブロック、８ｘ８画素ブロック、長方形画素ブロック、任意の形状の画素領域であっても構わない。

次に、参照位置情報１６４に従って代表動き情報位置を生成する（ステップＳ１６０３）。代表動き情報位置を生成する一例として、動き情報圧縮ブロックが１６ｘ１６画素ブロックの場合、図１３Ｄ、図１４Ｄ、図１７Ｄにそれぞれ示されるプレディクションユニットのサイズが１６ｘ１６の場合の参照動き情報取得位置を代表動き情報位置とする。次に、生成した代表動き情報位置の参照動き情報１６６を代表動き情報に設定し（ステップＳ１６０４）、当該代表動き情報を時間方向参照動き情報メモリに格納する（ステップＳ１６０５）。上記のステップＳ１６０４〜Ｓ１６０５をすべての動き情報圧縮ブロックに対して実行する。

動き情報１６０が保持される単位をＭｘＭブロック、動き情報圧縮ブロックのサイズをＮｘＮ（ＮはＭの倍数）とすると、上記動き情報圧縮処理を実行することにより、参照動き情報メモリの容量を（ＭｘＭ）／（ＮｘＮ）に削減することが可能となる。

＜代表動き情報位置の別の実施形態＞
代表動き情報位置を生成する別の例として、複数の参照動き情報取得位置の中心位置を代表動き情報位置としても構わない。図１８Ａ及び図１８Ｂはサイズが１６ｘ１６である動き圧縮ブロック毎の代表動き情報位置を示している。図１８Ａは、参照動き情報取得位置が図１３Ｄに示される位置である場合の代表動き情報位置、同様に図１８Ｂは、参照動き情報取得位置が図１７Ｄに示される位置である場合の代表動き情報位置をそれぞれ示している。図１８Ａ及び図１８Ｂ中の丸印は、プレディクションユニットが１６ｘ１６ブロックである際の、参照動き情報取得位置を示しており、４点の参照動き情報取得位置の中心位置（重心位置とも称す）にバツ印で示される代表動き情報位置を配置している。

代表動き情報位置を生成する更に別の例として、複数のプレディクションユニットのサイズ毎の参照動き情報取得位置を参照位置情報１６４として有し、複数の参照動き情報取得位置から代表動き情報位置を生成しても構わない。

代表動き情報位置を生成する一例として、複数のプレディクションユニットのサイズ毎の参照動き情報取得位置を参照位置情報１６４として有し、複数の参照動き情報取得位置から代表動き情報位置を生成しても構わない。図１９は、ツリーブロックが６４ｘ６４画素ブロックである場合の、プレディクションユニットのサイズが１６ｘ１６以上の各サイズにおけるプレディクションユニットの中心（参照動き情報取得位置）をそれぞれ示している。

代表動き情報位置を生成する別の一例として、代表動き情報位置は動き情報圧縮ブロック毎に配置される参照動き情報取得位置を用いて設定されても構わない。図２０Ａは、動き情報圧縮ブロック毎の複数の参照動き情報取得位置の重心を代表動き情報位置と設定した場合の例を示す。重心位置が４ｘ４ブロックの位置と一致しない場合には、最近傍の４ｘ４ブロックを代表動き情報位置としてもよいし、共一次内挿法などの内挿法を用いて重心位置の参照動きベクトル１６６を生成しても構わない。

また、図２０Ｂは動き情報圧縮ブロック毎に複数の参照動き情報取得位置のいずれかを選択し、代表動き情報位置と設定した場合の例を示す。

更に、図２１Ａ、図２１Ｂにツリーブロック内で各動き情報圧縮ブロックで参照動き情報取得位置を同一にした場合の例を更に示す。全ての動き情報圧縮ブロック内で同一の代表動き情報位置であるため、ツリーブロック内の位置に応じて、代表動き情報位置を切り替える必要はない。また、代表動き情報位置は図２１Ａ、図２１Ｂ以外にも、動き情報圧縮ブロック内の左上端や右上端など、いずれの位置にあっても構わない。

代表動き情報位置を生成する一例、動き情報圧縮ブロック内の４ｘ４ブロック位置をＺスキャン順で示すＢｌｋＩｄｘを用いて代表動き情報位置を示しても構わない。動き情報圧縮ブロックのサイズが１６ｘ１６である場合に、図２１Ａに示される代表動き情報位置はＢｌｋＩｄｘ＝１２の位置に相当する。また、図２１Ｂに示される代表動き情報位置はＢｌｋＩｄｘ＝１５の位置に相当する。

動き情報圧縮処理における別の一例として、参照フレーム番号に関するメモリ容量を削減するために、動き情報圧縮処理に参照フレーム番号を含めても構わない。この場合、代表動き情報位置に保持される参照フレーム番号を参照フレーム番号に関するメモリ容量に格納する。従って、図５に示される空間方向参照動き情報メモリ５０１及び空間方向参照動き情報メモリ５０２は動きベクトル情報に追加して参照フレーム番号を格納する。

動き情報圧縮処理における更に別の一例として、動き情報圧縮処理に参照フレーム番号を含めない場合に、代表動き情報位置にある動き情報内の動きベクトル情報を、参照フレーム番号を用いてスケーリング処理を施して、動き情報メモリ１１０に格納しても構わない。スケーリング処理の典型例として、参照フレーム番号ゼロを基準とした線形スケーリング処理がある。これは、参照フレーム番号がゼロ以外の値である場合に、動きベクトル情報が参照フレーム番号ゼロに対応する参照フレームを参照するように線形スケーリング処理するものである。上述のスケーリング処理の基準は参照フレーム番号がゼロ以外の値であっても構わない。上述の線形スケーリング処理を行う場合に除算が発生する場合には、予め除算処理をテーブル化しておき、都度テーブルを引くことで上記除算を実現しても構わない。

動き情報圧縮ブロックのサイズが１６ｘ１６ブロック以外の場合、上述と同様の処理を用いて代表動き情報位置を生成する。一例では、動き情報圧縮ブロックのサイズが６４ｘ６４の場合、プレディクションユニットのサイズが６４ｘ６４における参照動き情報取得位置を代表動き情報位置とする。更に別の一例では、図２１Ａ、図２１Ｂ等で示される動き情報圧縮ブロックのサイズが１６ｘ１６ブロックにおける代表動き情報位置を、動き情報圧縮ブロックのサイズに従って水平方向及び垂直方向でスケーリングした位置を代表動き情報位置としても構わない。

代表動き情報位置が、ピクチャやスライスの外であるとして参照動き情報が存在しない場合には、動き情報圧縮ブロックの左上端といった動き情報圧縮ブロック内で参照動き情報が取得可能な位置を新しい代表動き情報位置として置き換えても構わない。また、代表動き情報位置が、イントラ予測が適用された領域であって、参照動き情報が存在しない場合にも同様の処理を実行して、新しい代表動き情報位置として置き換えても構わない。

＜シンタクス構成＞
以下、図１の画像符号化装置１００が利用するシンタクスについて説明する。
シンタクスは、画像符号化装置が動画像データを符号化する際の符号化データ（例えば、図１の符号化データ１６３）の構造を示している。この符号化データを復号化する際に、同じシンタクス構造を参照して動画像復号化装置がシンタクス解釈を行う。図１の動画像符号化装置が利用するシンタクス２２００を図２２に例示する。

シンタクス２２００は、ハイレベルシンタクス２２０１、スライスレベルシンタクス２２０２及びコーディングツリーレベルシンタクス２２０３の３つのパートを含む。ハイレベルシンタクス２２０１は、スライスよりも上位のレイヤのシンタクス情報を含む。スライスとは、フレームまたはフィールドに含まれる矩形領域もしくは連続領域を指す。スライスレベルシンタクス２２０２は、各スライスを復号化するために必要な情報を含む。コーディングツリーレベルシンタクス２２０３は、各コーディングツリー（即ち、各コーディングツリーユニット）を復号化するために必要な情報を含む。これら各パートは、さらに詳細なシンタクスを含む。

ハイレベルシンタクス２２０１は、シーケンスパラメータセットシンタクス２２０４及びピクチャパラメータセットシンタクス２２０５などの、シーケンス及びピクチャレベルのシンタクスを含む。スライスレベルシンタクス２２０２は、スライスヘッダーシンタクス２２０６及びスライスデータシンタクス２２０７などを含む。コーディングツリーレベルシンタクス２２０３は、コーディングツリーユニットシンタクス２２０８、トランスフォームユニットシンタクス２２０９及びプレディクションユニットシンタクス２２１０などを含む。

コーディングツリーユニットシンタクス２２０８は、四分木構造を持つことができる。
具体的には、コーディングツリーユニットシンタクス２２０８のシンタクス要素として、さらにコーディングツリーユニットシンタクス２２０８を再帰呼び出しすることができる。即ち、１つのコーディングツリーユニットを四分木で細分化することができる。また、コーディングツリーユニットシンタクス２２０８内にはトランスフォームユニットシンタクス２２０９及びプレディクッションユニットシンタクス２２１０が含まれている。トランスフォームユニットシンタクス２２０９及びプレディクッションユニットシンタクス２２１０は、四分木の最末端の各コーディングツリーユニットシンタクス２２０８において呼び出される。プレディクッションユニットシンタクス２２１０は予測に関わる情報、トランスフォームユニットシンタクス２２０９は、逆直交変換及び量子化などに関わる情報がそれぞれ記述されている。

図２３は、本実施形態に係るシーケンスパラメータセットシンタクス２２０４を例示する。図２３Ａ及び図２３Ｂに示されるｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｂｕｆｆｅｒ＿ｃｏｍｐ＿ｆｌａｇは、当該シーケンスに関して本実施形態に係る動き情報圧縮の有効／無効を示すシンタクスである。ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｂｕｆｆｅｒ＿ｃｏｍｐ＿ｆｌａｇが０である場合、当該シーケンスに関して本実施形態に係る動き情報圧縮は無効である。従って、図１に示される動き情報圧縮部の処理はスキップされる。一例として、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｂｕｆｆｅｒ＿ｃｏｍｐ＿ｆｌａｇが１である場合、当該シーケンスに関して本実施携帯に係る動き情報圧縮は有効である。図２３及び図２３Ｂに示されるｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｂｕｆｆｅｒ＿ｃｏｍｐ＿ｒａｔｉｏ＿ｌｏｇ２は、動き情報圧縮処理の単位を示す情報であり、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｂｕｆｆｅｒ＿ｃｏｍｐ＿ｆｌａｇが１である場合に示される。ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｂｕｆｆｅｒ＿ｃｏｍｐ＿ｒａｔｉｏ＿ｌｏｇ２は、例えば本実施形態に係る動き情報圧縮ブロックのサイズの情報を示し、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｂｕｆｆｅｒ＿ｃｏｍｐ＿ｒａｔｉｏ＿ｌｏｇ２は、動き補償の最小単位に２^{(ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｂｕｆｆｅｒ＿ｃｏｍｐ＿ｒａｔｉｏ＿ｌｏｇ２)}を乗じた値が動き情報圧縮ブロックのサイズとなる。動き補償の最小単位が４ｘ４画素ブロックである、つまり参照動き情報メモリが４ｘ４画素ブロック単位に保持される場合の例を以下に示す。ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｂｕｆｆｅｒ＿ｃｏｍｐ＿ｒａｔｉｏ＿ｌｏｇ２が１の場合、本実施形態に係る動き情報圧縮ブロックのサイズは８ｘ８画素ブロックとなる。同様に、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｂｕｆｆｅｒ＿ｃｏｍｐ＿ｒａｔｉｏ＿ｌｏｇ２が２の場合、本実施形態に係る動き情報圧縮ブロックのサイズは１６ｘ１６画素ブロックとなる。図２３Ｂに示されるｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｂｕｆｆｅｒ＿ｃｏｍｐ＿ｐｏｓｉｔｉｏｎは、動き情報圧縮ブロック内の代表動き情報位置を示す情報であり、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｂｕｆｆｅｒ＿ｃｏｍｐ＿ｆｌａｇが１である場合に示される。ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｂｕｆｆｅｒ＿ｃｏｍｐ＿ｐｏｓｉｔｉｏｎは、例えば図２１Ａ、図２１Ｂに示されるような動き情報圧縮ブロック内の参照動き情報位置を示したり、図２０Ａ、図２０Ｂに示されるように動き情報圧縮ブロック毎の参照動き情報位置を示しても構わない。また、複数のブロックの中心にあっても構わない。

また、別の例として、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｂｕｆｆｅｒ＿ｃｏｍｐ＿ｆｌａｇ、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｂｕｆｆｅｒ＿ｃｏｍｐ＿ｒａｔｉｏ＿ｌｏｇ２、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｂｕｆｆｅｒ＿ｃｏｍｐ＿ｐｏｓｉｔｉｏｎより下位のレイヤ（ピクチャパラメータセットシンタクス、スライスレベルシンタクス、コーディングツリーユニット、トランスフォームユニットなど）のシンタクスにおいて当該スライス内部の局所領域毎に本実施形態に係る予測の有効／無効が規定されてもよい。

図２４に、プレディクションユニットシンタクスの一例を示す。図中のｓｋｉｐ＿ｆｌａｇは、プレディクションユニットシンタクスが属するコーディングユニットの予測モードがスキップモードであるか否かを示すフラグである。ｓｋｉｐ＿ｆｌａｇが１である場合、予測動き情報位置情報９５４以外のシンタクス（コーディングユニットシンタクス、プレディクションユニットシンタクス、トランスフォームユニットシンタクス）を符号化しないことを示す。ＮｕｍＭＶＰＣａｎｄ（Ｌ０）、ＮｕｍＭＶＰＣａｎｄ（Ｌ１）は、それぞれリスト０予測、リスト１予測における予測動き情報候補９５１の数を示す。予測動き情報候補９５１が存在する（ＮｕｍＭＶＰＣａｎｄ（ＬＸ）＞０、Ｘ＝０若しくは１）場合、予測動き情報位置情報９５４を示すｍｖｐ＿ｉｄｘ＿ｌＸが符号化される。

ｓｋｉｐ＿ｆｌａｇが０である場合、プレディクションユニットシンタクスが属するコーディングユニットの予測モードがスキップモードではないことを示す。ＮｕｍＭｅｒｇｅＣａｎｄｉｄａｔｅｓは、図１２などで導出される予測動き情報候補９５１の数を示す。予測動き情報候補９５１が存在する（ＮｕｍＭｅｒｇｅＣａｎｄｉｄａｔｅｓ＞０）場合、プレディクションユニットがマージモードであるか否かを示すフラグであるｍｅｒｇｅ＿ｆｌａｇが符号化される。ｍｅｒｇｅ＿ｆｌａｇは、その値が１である場合、プレディクションユニットがマージモードであることを示し、その値が０である場合、プレディクションユニットがインターモードを用いることを示す。ｍｅｒｇｅ＿ｆｌａｇが１且つ予測動き情報候補９５１が２つ以上存在する（ＮｕｍＭｅｒｇｅＣａｎｄｉｄａｔｅｓ＞1）場合、予測動き情報候補９５１の内、どのブロックからマージするかを示す予測動き情報９５２であるｍｅｒｇｅ＿ｉｄｘが符号化される。

ｍｅｒｇｅ＿ｆｌａｇが１である場合、ｍｅｒｇｅ＿ｆｌａｇ、ｍｅｒｇｅ＿ｉｄｘ以外のプレディクションユニットシンタクスは符号化する必要はない。

ｍｅｒｇｅ＿ｆｌａｇが０である場合、プレディクションユニットがインターモードであることを示す。インターモードでは差分動き情報９５３が含む差分動きベクトル情報を示すｍｖｄ＿ｌＸ（Ｘ＝０若しくは１）や参照フレーム番号ｒｅｆ＿ｉｄｘ＿ｌＸ、Ｂスライスの場合、プレディクションユニットが単方向予測（リスト０若しくはリスト１）であるか双方向予測であるかを示すｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃが符号化される。また、スキップモードと同様にＮｕｍＭＶＰＣａｎｄ（Ｌ０）、ＮｕｍＭＶＰＣａｎｄ（Ｌ１）を取得し、予測動き情報候補９５１が存在する（ＮｕｍＭＶＰＣａｎｄ（ＬＸ）＞０、Ｘ＝０若しくは１）場合、予測動き情報位置情報９５４を示すｍｖｐ＿ｉｄｘ＿ｌＸが符号化される。

以上が、本実施形態に係るシンタクス構成である。

（第２の実施形態）
第２の実施形態は動画像復号化装置に関する。本実施形態に係る動画像復号化装置に対応する動画像符号化装置は、第１の実施形態において説明した通りである。即ち、本実施形態に係る動画像復号化装置は、例えば第１の実施形態に係る動画像符号化装置によって生成された符号化データを復号化する。

図２５に示すように、本実施形態に係る動画像復号化装置は、エントロピー復号化部２５０１、逆量子化部２５０２、逆直交変換部２５０３、加算部２５０４、参照画像メモリ２５０５、インター予測部２５０６、参照動き情報メモリ２５０７、参照動き情報圧縮部２５０８及び復号化制御部２５１０を含む。

図２５の動画像復号化装置は、符号化データ２５５０を復号し、復号画像信号２５５４を出力バッファ２５１１に蓄積して出力画像として出力する。符号化データ２５５０は、例えば図１の動画像符号化装置などから出力され、図示しない蓄積系または伝送系を経て、動画像復号化装置２５００に入力される。

エントロピー復号化部２５０１は、符号化データ２５５０の復号化のために、シンタクスに基づいて解読を行う。エントロピー復号化部２５０１は、各シンタクスの符号列を順次エントロピー復号化し、動き情報２５５９、量子化変換係数２５５１などの符号化対象ブロックの符号化パラメータを再生する。符号化パラメータとは、予測情報、変換係数に関する情報、量子化に関する情報、などの復号に必要となるパラメータである。

具体的には、エントロピー復号化部２５０１は、図２６に示すように、分離部２６０１、パラメータ復号化部２６０２、変換係数復号化部２６０３、並びに動き情報復号化部２６０４を備える。分離部２６０１は符号化データ２５５０を分離し、パラメータに関する符号化データ２６５１Ａをパラメータ復号化部２６０２、変換係数に関する符号化データ２６５１Ｂを変換係数復号化部２６０３、動き情報に関する符号化データ２６５１Ｃを動き情報復号化部２６０４にそれぞれ出力する。パラメータ復号化部２６０２は、予測情報などの符号化パラメータ２５７０を復号化し符号化パラメータ２５７０を出力し復号化制御部２５１０に出力する。変換係数復号化部２６０３は、符号化データ２６５１Ｂを入力し、変換係数情報２５５１を復号化して逆量子化部２５０２に出力する。

動き情報復号化部２６０４は、分離部２６０１から符号化データ２６５１Ｃ、復号化制御部２５１０から参照位置情報２５６０、参照動き情報メモリ２５０７から参照動き情報２５５８をそれぞれ受け取り、動き情報２５５９を出力する。出力された動き情報２５５９はインター予測部２５０６に入力される。

動き情報復号化部２６０４は、図２７に示すように、分離部２７０１、差分動き情報復号化部２７０２、予測動き情報位置復号化部２５０３、参照動き情報取得部２７０４、予測動き情報選択スイッチ２７０５及び加算部２７０６を含む。

動き情報に関する符号化データ２６５１Ｃを分離部２７０１に入力し、差分動き情報に関する符号化データ２７５１と予測動き情報位置に関する符号化データ２７５２に分離する。差分動き情報符号化部２７０２は、差分動き情報に関する符号化データ２７５１を入力し、差分動き情報２７５３を復号化する。差分動き情報２７５３は加算部２７０６にて後述する予測動き情報２７５６と加算され、動き情報２７５９が出力される。予測動き情報位置復号化部２７０３は予測動き情報位置に関する符号化データ２７５２を入力し、予測動き情報位置２７５４を復号化する。

予測動き情報位置２７５４は予測動き情報選択スイッチ２７０５に入力され、予測動き情報候補２７５５の中から予測動き情報２７５６を選択する。予測動き情報位置情報２５６０は予測動き情報候補２７５５の数から生成される等長復号化や可変長復号化を用いて復号化される。隣接ブロックとの相関を利用して可変長復号化しても構わない。更に、複数の予測動き情報候補２７５５で重複する場合、重複を削除した予測動き情報候補２７５５の総数から生成される符号表から、予測動き情報位置情報２５６０を復号化しても構わない。また、予測動き情報候補２７５５の総数が１種類である場合、当該予測動き情報候補２７５５が予測動き情報２５５６と決定されるため、予測動き情報位置情報２７５４を復号化する必要はない。

参照動き情報取得部２７０４は第１の実施形態で説明した参照動き情報取得部９０１とその構成、処理内容は同一である。

参照動き情報取得部２７０４は、参照動き情報２５５８及び参照位置情報２５６０を入力として、少なくとも一つ以上の予測動き情報候補２７５５（２７５５Ａ、２７５５Ｂ、…）を生成する。図１０、図１１は、復号化対象プレディクションユニットに対する、予測動き情報候補２７５５の位置の一例を示している。図１０は復号化対象プレディクションユニットに空間的に隣接するプレディクションユニットの位置を示している。ＡＸ（Ｘ＝０〜ｎＡ−１）は、対象プレディクションユニットに対して左に隣接するプレディクションユニット、ＢＹ（Ｙ＝０〜ｎＢ−１）は対象プレディクションユニットに対して上に隣接するプレディクションユニット、Ｃ、Ｄ、Ｅは復号化対象プレディクションユニットに対してそれぞれ右上、左上、左下に隣接するプレディクションユニットを示している。
また、図１１は復号化対象プレディクションユニットに対して、既に復号化済みの参照フレームにおけるプレディクションユニットの位置を示している。図中のＣｏｌは、参照フレーム内であって復号化対象プレディクションユニットと同一位置にあるプレディクションユニットを示している。図１２は、複数の予測動き情報候補２７５５のブロック位置とインデクスＭｖｐiｄｘの関係を示すリストの一例を示す。Ｍｖｐiｄｘが０〜２は空間方向に位置する予測動き情報候補２７５５、Ｍｖｐiｄｘが３は時間方向に位置する測動きベクトル候補２７５５をそれぞれ示している。プレディクションユニット位置Ａは図１０に示されるＡＸの内、インター予測である、つまり参照動き情報２５５８を有するプレディクションユニットであって、Ｘの値が最も小さい位置をプレディクションユニット位置Ａとする。また、プレディクションユニット位置Ｂは図１０に示されるＢＹの内、インター予測である、つまり参照動き情報２５５８を有するプレディクションユニットであって、Ｙの値が最も小さい位置をプレディクションユニット位置Ａとする。プレディクションユニット位置Ｃがインター予測ではない場合、プレディクションユニット位置Ｄの参照動き情報２５５８をプレディクションユニット位置Ｃの参照動き情報２５５８として置き換える。プレディクションユニット位置Ｃ及びＤがインター予測ではない場合、プレディクションユニット位置Ｅの参照動き情報２５５８をプレディクションユニット位置Ｃの参照動き情報２５５８として置き換える。

復号化対象プレディクションユニットのサイズが最小プレディクションユニットより大きい場合には、プレディクションユニット位置Ｃｏｌは、複数の参照動き情報２５５８を時間方向参照動き情報メモリ２５０７に保持している可能性がある。この場合、参照位置情報２５６０に従って位置Ｃｏｌのプレディクションユニット中の参照動き情報２５５８を取得する。以降、位置Ｃｏｌのプレディクションユニット中の参照動き情報２５５８の取得位置を参照動き情報取得位置と称する。図１３Ａ〜Ｆは、参照位置情報２５６０が位置Ｃｏｌのプレディクションユニットの中心を示す場合の参照動き情報取得位置の一例を復号化対象プレディクションユニットのサイズ（３２ｘ３２〜１６ｘ１６）毎に示す。図中のブロックはそれぞれ４ｘ４プレディクションユニットを示し、丸印は予測動き情報候補２７５５として取得する４ｘ４プレディクションユニットの位置を示している。参照動き情報取得位置の別の一例を図１４Ａ〜Ｆに示す。図１４Ａ〜Ｆにおいて、丸印の位置は４ｘ４プレディクションユニットが存在しないため、丸印に隣接する４つのｘ４プレディクションユニットにおける参照動き情報２５５８の平均値やメディアン値といった予め定められた方式で、予測動き情報候補２７５５を生成する。参照動き情報取得位置の更に別の一例として、位置Ｃｏｌのプレディクションユニットの左上端に位置する４ｘ４プレディクションユニットの参照動き情報２５５８を予測動き情報候補２７５５としても構わない。上記の例以外に置いても、予め定められた方式であれば、いずれの位置及び方式を用いて予測動き情報候補２７５５を生成しても構わない。

なお、参照動き情報２５５８が存在しない場合、ゼロベクトルを有する動き情報２５５９を、予測動き情報候補２７５５として出力する。

以上により、少なくとも一つ以上の予測動き情報候補２７５５が参照動きブロックから出力される。上記の予測動き情報候補２７５５が有する参照フレーム番号と復号化対象プレディクションユニットの参照フレーム番号が異なる場合、予測動き情報候補２７５５を予測動き情報候補２７５５が有する参照フレーム番号と復号化対象プレディクションユニットの参照フレーム番号に従ってスケーリングしても構わない。予測動き情報選択スイッチ２７０５は、複数の予測動き情報候補２７５５から予測動き情報位置２７５４に従って一つを選択し、予測動き情報９５２を出力する。

逆量子化部２５０２は、エントロピー復号化部２５０１からの量子化変換係数２５５１に逆量子化を行って、復元変換係数２５５２を得る。具体的には、逆量子化部２５０２は、エントロピー復号化部２５０１によって復号化された量子化に関する情報に従って逆量子化を行う。逆量子化部２５０２は、復元変換係数２５５２を逆直交変換部２５０３に出力する。

逆直交変換部２５０３は、逆量子化部２５０２からの復元変換係数２５５２に対して、符号化側において行われた直交変換に対応する逆直交変換を行い、復元予測誤差信号２５５３を得る。逆直交変換部２５０３は、復元予測誤差信号２５５３を加算部２５０４に入力する。

加算部２５０４は、復元予測誤差信号２５５３と、対応する予測画像信号２５５６とを加算し、復号画像信号２５５４を生成する。復号画像信号２５５４は、図示されないデブロッキングフィルタやウィナーフィルタなどを施し、出力画像のために出力バッファ２５１１に一時的に蓄積されると共に、参照画像信号２５５５のために参照画像メモリ２５０５にも保存される。参照画像メモリ２５０５に保存された復号画像信号２５５４は、参照画像信号２５５５としインター予測部２５０６によって必要に応じてフレーム単位またはフィールド単位で参照される。出力バッファ２５１１に一時的に蓄積された復号画像信号２５５４は、復号化制御部２５１０によって管理される出力タイミングに従って出力される。

インター予測部２５０６は、参照画像メモリ２５０５に保存されている参照画像信号２５５５を利用してインター予測を行う。具体的には、インター予測部２５０６は、予測対象ブロックと参照画像信号２５５５との間の動きのズレ量（動きベクトル）を含む動き情報２５５９をエントロピー復号化部２５０１から取得し、この動きベクトルに基づいて補間処理（動き補償）を行ってインター予測画像を生成する。インター予測画像の生成に関しては、第一の実施形態と同一であるので、説明を省略する。

復号化制御部２５１０は、図２５の動画像復号化装置の各要素を制御する。具体的には、復号化制御部２５１０は、後述する参照位置情報２５６０をエントロピー復号化部２５０１に出力したり、上述の動作を含む復号化処理のための種々の制御を行う。

＜スキップモード、マージモード、インターモードの説明＞
本実施形態に係る画像復号化装置２５００は、図８に示す復号化処理の異なる複数の予測モードを使用する。図中のスキップモードは後述する予測動き情報位置２７５４に関するシンタクスのみを復号化し、その他のシンタクスは復号化しないモードである。マージモードは予測動き情報位置２７５４に関するシンタクス、変換係数情報２５５１のみを復号化し、その他のシンタクスは復号化しないモードである。インターモードは、予測動き情報位置２７５４に関するシンタクス、後述する差分動き情報２７５３、変換係数情報２５５１を復号化するモードである。これらのモードは復号化制御部２５１０が制御する予測情報２５７１によって切り替えられる。

また、図２５の動画像復号化装置は、図２８説明したシンタクスと同一または類似のシンタクスを利用するのでその詳細な説明を省略する。

＜動き情報圧縮部２５０８の詳細＞
次に、動き情報圧縮部２５０８について図１６に示すフローチャートを用いて説明する。動き情報圧縮部２５０８は、フレーム（もしくはスライス、コーディングユニットなど任意の単位）の復号化処理が終了した際に、動き情報２５５９を圧縮して時間方向参照動き情報メモリ５０２に動き情報２５５９を格納する。

まず、復号化制御部２５１０から参照位置情報２５６０を取得し（ステップＳ１６０１）、フレームを動き情報２５５９の圧縮単位である動き情報圧縮ブロックに分割する（ステップＳ１６０２）。動き情報圧縮ブロックは、動き補償処理により動き情報２５５９が保持される単位（典型的には４ｘ４画素ブロック）より大きい画素ブロックであり、典型的には１６ｘ１６画素ブロックである。動き情報圧縮ブロックは３２ｘ３２画素ブロックや８ｘ８画素ブロック、長方形画素ブロック、任意の形状の画素領域であっても構わない。

次に、参照位置情報２５６０に従って代表動き情報位置を生成する（ステップＳ１６０３）。代表動き情報位置を生成する一例として、動き情報圧縮ブロックが１６ｘ１６画素ブロックの場合、図１３Ｄ、図１４Ｄ、図１７Ｄにそれぞれ示されるプレディクションユニットのサイズが１６ｘ１６の場合の参照動き情報取得位置を代表動き情報位置とする。
次に、生成した代表動き情報位置の参照動き情報２５５８を代表動き情報に設定し（ステップＳ１６０５）、当該代表動き情報を時間方向参照動き情報メモリに格納する（ステップＳ１６０６）。上記のステップＳ１６０４〜Ｓ１６０５をすべての動き情報圧縮ブロックに対して実行する。

動き情報２５５９が保持される単位をＭｘＭブロック、動き情報圧縮ブロックのサイズをＮｘＮ（ＮはＭの倍数）とすると、上記動き情報圧縮処理を実行することにより、参照動き情報メモリの容量を（ＭｘＭ）／（ＮｘＮ）に削減することが可能となる。

＜代表動き情報位置の別の実施形態＞
代表動き情報位置を生成する別の例として、複数の参照動き情報取得位置の中心位置を代表動き情報位置としても構わない。図１８Ａ及び図１８Ｂはサイズが１６ｘ１６である動き圧縮ブロック毎の代表動き情報位置を示している。図１８Ａは、参照動き情報取得位置が図１３Ｄに示される位置である場合の代表動き情報位置、同様に図１８Ｂは、参照動き情報取得位置が図１７Ｄに示される位置である場合の代表動き情報位置をそれぞれ示している。図１８Ａ及び図１８Ｂ中の丸印は、プレディクションユニットが１６ｘ１６である際の、参照動き情報取得位置を示しており、４点の参照動き情報取得位置の中心位置にバツ印で示される代表動き情報位置を配置している。

代表動き情報位置を生成する更に別の例として、複数のプレディクションユニットのサイズ毎の参照動き情報取得位置を参照位置情報２５６０として有し、複数の参照動き情報取得位置から代表動き情報位置を生成しても構わない。図１９は、ツリーブロックが６４ｘ６４画素ブロックである場合の、プレディクションユニットのサイズが１６ｘ１６以上の各サイズにおけるプレディクションユニットの中心（参照動き情報取得位置）をそれぞれ示している。

代表動き情報位置を生成する別の一例として、代表動き情報位置は動き情報圧縮ブロック毎に配置される参照動き情報取得位置を用いて設定されても構わない。図２０Ａは、動き情報圧縮ブロック毎の複数の参照動き情報取得位置の重心を代表動き情報位置と設定した場合の例を示す。重心位置が４ｘ４ブロックの位置と一致しない場合には、最近傍の４ｘ４ブロックを代表動き情報位置としてもよいし、共一次内挿法などの内挿法を用いて重心位置の参照動きベクトル１６６を生成しても構わない。

また、図２０Ｂは動き情報圧縮ブロック毎に複数の参照動き情報取得位置のいずれかを選択し、代表動き情報位置と設定した場合の例を示す。

更に、図２１Ａ、Ｂにツリーブロック内で各動き情報圧縮ブロックで参照動き情報取得位置を同一にした場合の例を更に示す。全ての動き情報圧縮ブロック内で同一の代表動き情報位置であるため、ツリーブロック内の位置に応じて、代表動き情報位置を切り替える必要はない。また、代表動き情報位置は図２１Ａ、Ｂ以外にも、動き情報圧縮ブロック内の左上端や右上端等いずれの位置にあっても構わない。

代表動き情報位置を生成する一例、動き情報圧縮ブロック内の４ｘ４ブロック位置をＺスキャン順で示すＢｌｋＩｄｘを用いて代表動き情報位置を示しても構わない。動き情報圧縮ブロックのサイズが１６ｘ１６である場合に、図２１Ａに示される代表動き情報位置はＢｌｋＩｄｘ＝１２の位置に相当する。また、図２１Ｂに示される代表動き情報位置はＢｌｋＩｄｘ＝１５の位置に相当する。

動き情報圧縮処理における別の一例として、参照フレーム番号に関するメモリ容量を削減するために、動き情報圧縮処理に参照フレーム番号を含めても構わない。この場合、代表動き情報位置に保持される参照フレーム番号を参照フレーム番号に関するメモリ容量に格納する。従って、図５に示される空間方向参照動き情報メモリ５０１及び空間方向参照動き情報メモリ５０２は動きベクトル情報に追加して参照フレーム番号を格納する。

動き情報圧縮処理における更に別の一例として、動き情報圧縮処理に参照フレーム番号を含めない場合に、代表動き情報位置にある動き情報内の動きベクトル情報を、参照フレーム番号を用いてスケーリング処理を施して、動き情報メモリ１１０に格納しても構わない。スケーリング処理の典型例として、参照フレーム番号ゼロを基準とした線形スケーリング処理がある。これは、参照フレーム番号がゼロ以外の値である場合に、動きベクトル情報が参照フレーム番号ゼロに対応する参照フレームを参照するように線形スケーリング処理するものである。上述のスケーリング処理の基準は参照フレーム番号がゼロ以外の値であっても構わない。上述の線形スケーリング処理を行う場合に除算が発生する場合には、予め除算処理をテーブル化しておき、都度テーブルを引くことで上記除算を実現しても構わない。

動き情報圧縮ブロックのサイズが１６ｘ１６ブロック以外の場合、上述と同様の処理を用いて代表動き情報位置を生成する。一例では、動き情報圧縮ブロックのサイズが６４ｘ６４の場合、プレディクションユニットのサイズが６４ｘ６４における参照動き情報取得位置を代表動き情報位置とする。更に別の一例では、図２１Ａ、図２１Ｂ等で示される動き情報圧縮ブロックのサイズが１６ｘ１６ブロックにおける代表動き情報位置を、動き情報圧縮ブロックのサイズに従って水平方向及び垂直方向でスケーリングした位置を代表動き情報位置としても構わない。

代表動き情報位置が、ピクチャやスライスの外であるとして参照動き情報が存在しない場合には、動き情報圧縮ブロックの左上端といった動き情報圧縮ブロック内で参照動き情報が取得可能な位置を新しい代表動き情報位置として置き換えても構わない。また、代表動き情報位置がイントラ予測が適用された領域であって、参照動き情報が存在しない場合にも同様の処理を実行して、新しい代表動き情報位置として置き換えても構わない。

以下、各実施形態の変形例を列挙して紹介する。
第１及び第２の実施形態において、フレームを１６×１６画素サイズなどの矩形ブロックに分割し、画面左上のブロックから右下に向かって順に符号化／復号化を行う例について説明している（図２Ａを参照）。しかしながら、符号化順序及び復号化順序はこの例に限定されない。例えば、右下から左上に向かって順に符号化及び復号化が行われてもよいし、画面中央から画面端に向かって渦巻を描くように符号化及び復号化が行われてもよい。さらに、右上から左下に向かって順に符号化及び復号化が行われてもよいし、画面端から画面中央に向かって渦巻きを描くように符号化及び復号化が行われてもよい。

第１及び第２の実施形態において、４×４画素ブロック、８×８画素ブロック、１６×１６画素ブロックなどの予測対象ブロックサイズを例示して説明を行ったが、予測対象ブロックは均一なブロック形状でなくてもよい。例えば、予測対象ブロック（プレディクションユニット）サイズは、１６×８画素ブロック、８×１６画素ブロック、８×４画素ブロック、４×８画素ブロックなどであってもよい。また、１つのコーディングツリーユニット内で全てのブロックサイズを統一させる必要はなく、複数の異なるブロックサイズを混在させてもよい。１つのコーディングツリーユニット内で複数の異なるブロックサイズを混在させる場合、分割数の増加に伴って分割情報を符号化または復号化するための符号量も増加する。そこで、分割情報の符号量と局部復号画像または復号画像の品質との間のバランスを考慮して、ブロックサイズを選択することが望ましい。

第１及び第２の実施形態において、簡単化のために、輝度信号と色差信号とを区別せず、色信号成分に関して包括的な説明を記述した。しかしながら、予測処理が輝度信号と色差信号との間で異なる場合には、同一または異なる予測方法が用いられてよい。輝度信号と色差信号との間で異なる予測方法が用いられるならば、色差信号に対して選択した予測方法を輝度信号と同様の方法で符号化または復号化できる。

第１及び第２の実施形態において、簡単化のために、輝度信号と色差信号とを区別せず、色信号成分に関して包括的な説明を記述した。しかしながら、直交変換処理が輝度信号と色差信号との間で異なる場合には、同一または異なる直交変換方法が用いられてよい。
輝度信号と色差信号との間で異なる直交変換方法が用いられるならば、色差信号に対して選択した直交変換方法を輝度信号と同様の方法で符号化または復号化できる。

第１及び第２までの実施形態において、シンタクス構成に示す表の行間には、実施形態で規定していないシンタクス要素が挿入されることも可能であるし、それ以外の条件分岐に関する記述が含まれていても構わない。或いは、シンタクステーブルを複数のテーブルに分割、統合することも可能である。また、必ずしも同一の用語を用いる必要は無く、利用する形態によって任意に変更しても構わない。

以上説明したように、各実施形態は、ハードウェア実装及びソフトウェア実装における困難性を緩和しつつ、高効率な直交変換及び逆直交変換を実現することができる。故に、各実施形態によれば、符号化効率が向上し、ひいては主観画質も向上する。

また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の動画像符号化装置及び動画像復号化装置による効果と同様な効果を得ることも可能である。
上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、またはこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の動画像符号化装置及び動画像復号化装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合または読み込む場合はネットワークを通じて取得または読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本願発明の実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本発明の実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本願発明の実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本願発明の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の実施形態における機能を実現することが可能な機器、装置を総称している。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００…画像符号化装置、１０１…減算部、１０２…直交変換部、１０３…量子化部、１０４、２５０２…逆量子化部、１０５、２５０３…逆直交変換部、１０６、２５０４、２７０６…加算部、１０７、２５０５…参照画像メモリ、１０８、２５０６…インター予測部、１０９…動き情報圧縮部、１１０…動き情報メモリ、１１２…エントロピー符号化部、１１３…出力バッファ、１１４…符号化制御部、４０１…パラメータ符号化部、４０２…変換係数符号化部、４０３…動き情報符号化部、４０４…多重化部、９０１…参照動きベクトル取得部、９０２…予測動きベクトル選択スイッチ、９０３…減算部、９０４…差分動き情報符号化部、９０５…予測動き情報位置符号化部、９０６…多重化部、２５００…動画像復号化装置、２５０１…エントロピー復号化部、２５０７…参照動き情報メモリ、２５０８…参照動き情報圧縮部、２５１０…復号化制御部、２６０１、２７０１…分離部、２６０２…パラメータ復号化部、２６０３…変換係数復号化部、２６０４…動き情報復号化部、２７０２…差分動き情報復号化部、２５０３…予測動き情報位置復号化部、２７０４…参照動き情報取得部、２７０５…予測動き情報選択スイッチ。

Claims (18)

1. 第１フレームにおいて少なくとも第１ブロックを有する符号化データを復号するための方法であって、
   インター予測にかかる動きベクトルが、他ブロックから導かれるかどうかを示すマージフラグを復号し、
   前記インター予測にかかる動きベクトルが前記他ブロックから導かれることを前記マージフラグが示す場合に、前記第１ブロックの少なくとも１つの隣接ブロックから少なくとも１つの第１動きベクトル候補を導き、
   前記インター予測にかかる動きベクトルが前記他ブロックから導かれることを前記マージフラグが示す場合に、前記第１フレームとは異なる第２フレームにおける、前記第１ブロックの位置に対応する位置にある第２ブロックの第２動きベクトル候補を導き、
   前記少なくとも１つの隣接ブロックと前記第２ブロックとのいずれかを特定するマージインデックスを復号し、
   前記マージインデックスに従って前記少なくとも１つの第１動きベクトル候補と前記第２動きベクトル候補とのいずれかから前記第１ブロックの第１動きベクトルを導く、ことを備える方法。
2. 前記第１動きベクトルに従って参照画像を導き、
   前記参照画像を使用する前記インター予測により予測画像を生成する、ことをさらに備える請求項１に記載の方法。
3. 前記符号化データから変換係数を復号し、
   前記変換係数の少なくとも逆変換により予測誤差値を導き、
   少なくとも前記予測誤差値と前記予測画像との加算により復号画像を導く、ことをさらに備える請求項２に記載の方法。
4. 前記少なくとも１つの隣接ブロックは、（１）前記第１ブロックの左下側のブロック、（２）前記第１ブロックの左側のブロック、（３）前記第１ブロックの右上側のブロック、（４）前記第１ブロックの上側のブロック、（５）前記第１ブロックの左上側のブロック、のうちの少なくとも１つである、請求項１乃至請求項３のいずれか１項に記載の方法。
5. 前記少なくとも１つの隣接ブロックは、（１）前記第１ブロックの左下側のブロック、（２）前記第１ブロックの左側のブロック、（３）前記第１ブロックの右上側のブロック、（４）前記第１ブロックの上側のブロック、（５）前記第１ブロックの左上側のブロック、のうちの少なくとも２つである、請求項１乃至請求項３のいずれか１項に記載の方法。
6. 前記第２ブロックは、前記第１ブロックの位置に従って決定される位置を含むブロックである、請求項１乃至請求項５のいずれか１項に記載の方法。
7. 前記第２ブロックは、前記第１ブロックの端位置に従って決定される位置、または、前記第１ブロックの中心位置に従って決定される位置のうちの一方の位置を含むブロックである、請求項１乃至請求項６のいずれか１項に記載の方法。
8. 通信リンクを介して前記符号化データを受信し、
   バッファに前記符号化データの少なくとも一部を一時的に格納し、
   前記バッファから前記符号化データの少なくとも一部を中央処理装置（ＣＰＵ）によって読み出し、
   前記符号化データから前記第１動きベクトルを前記中央処理装置によって導く、ことをさらに備える請求項１乃至請求項７のいずれか１項に記載の方法。
9. 通信リンクを介して前記符号化データを受信し、
   バッファに前記符号化データの少なくとも一部を一時的に格納し、
   前記バッファから前記符号化データの少なくとも一部を電子回路によって読み出し、
   前記符号化データから前記第１動きベクトルを前記電子回路によって導く、ことをさらに備え、
   前記電子回路はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはデジタルシグナルプロセッサ（ＤＳＰ）である請求項１乃至請求項７のいずれか１項に記載の方法。
10. 第１フレームにおいて少なくとも第１ブロックを有する符号化データを復号するための電子装置であって、
    インター予測にかかる動きベクトルが、他ブロックから導かれるかどうかを示すマージフラグを復号し、
    前記インター予測にかかる動きベクトルが前記他ブロックから導かれることを前記マージフラグが示す場合に、前記第１ブロックの少なくとも１つの隣接ブロックから少なくとも１つの第１動きベクトル候補を導き、
    前記インター予測にかかる動きベクトルが前記他ブロックから導かれることを前記マージフラグが示す場合に、前記第１フレームとは異なる第２フレームにおける、前記第１ブロックの位置に対応する位置にある第２ブロックの第２動きベクトル候補を導き、
    前記少なくとも１つの隣接ブロックと前記第２ブロックとのいずれかを特定するマージインデックスを復号し、
    前記マージインデックスに従って前記少なくとも１つの第１動きベクトル候補と前記第２動きベクトル候補とのいずれかから前記第１ブロックの第１動きベクトルを導く、
    復号器を備える電子装置。
11. 前記復号器はさらに、
    前記第１動きベクトルに従って参照画像を導き、
    前記参照画像を使用する前記インター予測により予測画像を生成する、請求項１０に記載の電子装置。
12. 前記復号器はさらに、
    前記符号化データから変換係数を復号し、
    前記変換係数の少なくとも逆変換により予測誤差値を導き、
    少なくとも前記予測誤差値と前記予測画像との加算により復号画像を導く、請求項１１に記載の電子装置。
13. 前記少なくとも１つの隣接ブロックは、（１）前記第１ブロックの左下側のブロック、（２）前記第１ブロックの左側のブロック、（３）前記第１ブロックの右上側のブロック、（４）前記第１ブロックの上側のブロック、（５）前記第１ブロックの左上側のブロック、のうちの少なくとも１つである、請求項１０乃至請求項１２のいずれか１項に記載の電子装置。
14. 前記少なくとも１つの隣接ブロックは、（１）前記第１ブロックの左下側のブロック、（２）前記第１ブロックの左側のブロック、（３）前記第１ブロックの右上側のブロック、（４）前記第１ブロックの上側のブロック、（５）前記第１ブロックの左上側のブロック、のうちの少なくとも２つである、請求項１０乃至請求項１２のいずれか１項に記載の電子装置。
15. 前記第２ブロックは、前記第１ブロックの位置に従って決定される位置を含むブロックである、請求項１０乃至請求項１４のいずれか１項に記載の電子装置。
16. 前記第２ブロックは、前記第１ブロックの端位置に従って決定される位置、または、前記第１ブロックの中心位置に従って決定される位置のうちの一方の位置を含むブロックである、請求項１０乃至請求項１５のいずれか１項に記載の電子装置。
17. 通信リンクを介して前記符号化データを受信する通信回路と、
    前記符号化データの少なくとも一部を一時的に格納するバッファと、をさらに備え、
    前記復号器はさらに、
    前記バッファから前記符号化データの少なくとも一部を中央処理装置（ＣＰＵ）によって読み出し、
    前記符号化データから前記第１動きベクトルを前記中央処理装置によって導く、請求項１０乃至請求項１６のいずれか１項に記載の電子装置。
18. 通信リンクを介して前記符号化データを受信する通信回路と、
    前記符号化データの少なくとも一部を一時的に格納するバッファと、をさらに備え、
    前記復号器はさらに、
    前記バッファから前記符号化データの少なくとも一部を読み出し、
    前記符号化データから前記第１動きベクトルを導き、
    前記復号器はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはデジタルシグナルプロセッサ（ＤＳＰ）である請求項１０乃至請求項１６のいずれか１項に記載の電子装置。