JP2019013052A - 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置 - Google Patents

Abstract

【課題】符号化効率を向上させることができる動画像符号化方法を提供する。【解決手段】動画像符号化方法は、（ａ）ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャであって参照ピクチャリストの１番目のピクチャと、（ｂ）符号化対象ピクチャとが同一のビューに属するか否かを判定する判定ステップ（Ｓ９０１）と、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと符号化対象ピクチャとが異なるビューに属すると判定された場合に、ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する補正ステップと、ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルをリストに追加する追加ステップ（Ｓ９０７）とを含み、補正ステップでは、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが属するビューと、符号化対象ピクチャが属するビューとの間の視差ベクトルを取得し（Ｓ９０３）、取得された視差ベクトルの分、ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する（Ｓ９０５）。【選択図】図１７

Description

本発明は、動画像符号化方法および動画像復号方法に関する。

動画像符号化では、一般に、動画像が有する空間方向および時間方向の冗長性を利用して情報量の圧縮が行われる。空間方向の冗長性を利用する方法としては、周波数領域への変換が用いられる。また、時間方向の冗長性を利用する方法としては、ピクチャ間予測（以降、「インター予測」と呼ぶ）符号化が用いられる。インター予測符号化では、符号化対象ピクチャに含まれる符号化対象ブロックを符号化する際に、符号化対象ピクチャに対して表示時間順で前方または後方にある１以上の符号化済みのピクチャが、参照ピクチャとして用いられる。そして、その参照ピクチャにおいて符号化対象ブロックの動き検出を行うことにより、動きベクトルが導出される。そして、導出された動きベクトルに基づいて動き補償を行って得られた符号化対象ブロックの予測画像データと、符号化対象ブロックの入力画像データとの差分を算出することにより、時間方向の冗長性が取り除かれる（例えば、非特許文献１参照）。

ITU-T Recommendation H.264, Advanced video coding for generic audiovisual services, March 2010 HEVC WD4: Working Draft 4 of High-Efficiency Video Coding Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011, Document: JCTVC-F803_d2

上記従来のインター予測符号化において、さらに符号化効率を向上させることが望まれている。

そこで、本発明は、符号化効率を向上させることができる動画像符号化方法を提供する。

本発明の一態様に係る動画像符号化方法は、複数の動きベクトルを含むリストを用いて、動画像を符号化する動画像符号化方法であって、（ａ）符号化対象ピクチャとは異なるピクチャに含まれるブロックであって前記符号化対象ピクチャに含まれる符号化対象ブロックの位置に対応する位置のブロックであるｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャであって、参照ピクチャリストの１番目のピクチャと、（ｂ）前記符号化対象ピクチャとが同一のビューに属するか否かを判定する判定ステップと、前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと前記符号化対象ピクチャとが異なるビューに属すると前記判定ステップにおいて判定された場合に、前記ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する補正ステップと、前記ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルを前記リストに追加する追加ステップと、前記リストから、前記符号化対象ブロックの符号化のために用いる動きベクトルを選択する選択ステップと、選択された前記動きベクトルを用いて前記符号化対象ブロックを符号化する符号化ステップと、を含み、前記補正ステップは、前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが属するビューと、前記符号化対象ピクチャが属するビューとの間の視差ベクトルを取得する視差ベクトル取得ステップと、取得された前記視差ベクトルの分、前記ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する位置補正ステップとを含み、前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと前記符号化対象ピクチャとが異なるビューに属する場合に、前記リストには、前記符号化対象ピクチャと同一のビューに属するピクチャから導出される動きベクトルと、前記符号化対象ピクチャと異なるビューに属する前記ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルと、が含まれる。

なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の一態様に係る動画像符号化方法は、符号化効率を向上させることができる。

図１は、Ｈ．２６４における復号対象ブロックのインター予測復号を説明するための図である。 図２Ａは、参照ピクチャリストＬ０を示す図である。 図２Ｂは、参照ピクチャリストＬ１を示す図である。 図３は、インデクスの値とピクチャ番号との対応関係を説明するための図である。 図４は、Ｈ．２６４の時間ダイレクトモードにおいて利用される情報を説明するための図である。 図５Ａは、Ｈ．２６４の時間ダイレクトモードにおけるスケーリング処理を説明するための図である。 図５Ｂは、Ｈ．２６４の時間ダイレクトモードにおけるスケーリング処理を説明するための図である。 図６は、非特許文献１に記載されたスケーリング処理の式を示す図である。 図７は、空間ダイレクトモードを説明するための図である。 図８は、Ｈ．２６４における、動き（検出結果）ベクトルと動き予測ベクトルと動き差分ベクトルとの関係を説明するための図である。 図９Ａは、実施の形態１における動画像符号化装置の構成を示すブロック図である。 図９Ｂは、実施の形態１における符号化制御部の構成を示すブロック図である。 図１０は、実施の形態１における動画像符号化方法を示すフローチャートである。 図１１は、実施の形態１における動き予測ベクトル候補リストの概念を説明するための図である。 図１２Ａは、実施の形態１における動き予測ベクトル候補リストの一例を示す図である。 図１２Ｂは、実施の形態１における動き予測ベクトル候補リストの一例を示す図である。 図１３は、隣接ブロックの位置と、ｃｏ−ｌｏｃａｔｅｄブロックの位置とを示す図である。 図１４は、実施の形態１における動き予測ベクトル候補リストの生成処理のフローチャートである。 図１５は、複数の動画像系列［ｓ］を対象とした場合のｃｏ−ｌｏｃａｔｅｄブロックを説明するための図である。 図１６は、実施の形態１においてｃｏ−ｌｏｃａｔｅｄブロック用のエントリを動き予測ベクトル候補リストに追加する際に指定されるｃｏ−ｌｏｃａｔｅｄブロックの位置の補正を説明するための図である。 図１７は、実施の形態１におけるｃｏ−ｌｏｃａｔｅｄブロックの動き情報を動き予測ベクトル候補リストへ追加する処理のフローチャートである。 図１８Ａは、実施の形態１においてｃｏ−ｌｏｃａｔｅｄブロックの位置が補正される場合の動き予測ベクトル候補リストの一例を示す図である。 図１８Ｂは、実施の形態１においてｃｏ−ｌｏｃａｔｅｄブロックの位置が補正される場合の動き予測ベクトル候補リストの一例を示す図である。 図１９は、実施の形態１における動き予測ベクトルを決定する処理のフローチャートである。 図２０は、実施の形態１におけるイントラ・インター符号化のフローチャートである。 図２１Ａは、実施の形態２における動画像復号装置の構成を示すブロック図である。 図２１Ｂは、実施の形態２における復号制御部の構成を示すブロック図である。 図２２は、実施の形態２における動画像復号方法を示すフローチャートである。 図２３は、実施の形態２における動き予測ベクトル候補リストの生成処理のフローチャートである。 図２４は、実施の形態２におけるｃｏ−ｌｏｃａｔｅｄブロックの動き情報を動き予測ベクトル候補リストへ追加する処理のフローチャートである。 図２５は、実施の形態２におけるｃｏ−ｌｏｃａｔｅｄブロックの動き情報を動き予測ベクトル候補リストへ追加する処理をｐｓｅｕｄｏコードで示す図である。 図２６は、符号化対象ピクチャの一例を示す図である。 図２７は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。 図２８は、デジタル放送用システムの全体構成図である。 図２９は、テレビの構成例を示すブロック図である。 図３０は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。 図３１は、光ディスクである記録メディアの構造例を示す図である。 図３２Ａは、携帯電話の一例を示す図である。 図３２Ｂは、携帯電話の構成例を示すブロック図である。 図３３は、多重化データの構成を示す図である。 図３４は、各ストリームが多重化データにおいてどのように多重化されているかを模式的に示す図である。 図３５は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを更に詳しく示した図である。 図３６は、多重化データにおけるＴＳパケットとソースパケットの構造を示す図である。 図３７は、ＰＭＴのデータ構成を示す図である。 図３８は、多重化データ情報の内部構成を示す図である。 図３９は、ストリーム属性情報の内部構成を示す図である。 図４０は、映像データを識別するステップを示す図である。 図４１は、各実施の形態の動画像符号化方法および動画像復号化方法を実現する集積回路の構成例を示すブロック図である。 図４２は、駆動周波数を切り替える構成を示す図である。 図４３は、映像データを識別し、駆動周波数を切り替えるステップを示す図である。 図４４は、映像データの規格と駆動周波数を対応づけたルックアップテーブルの一例を示す図である。 図４５Ａは、信号処理部のモジュールを共有化する構成の一例を示す図である。 図４５Ｂは、信号処理部のモジュールを共有化する構成の他の一例を示す図である。

（本発明の基礎となった知見）
非特許文献１では、復号対象ブロックがＢスライス等に含まれる場合に、復号対象ブロックは、復号対象ピクチャ（復号対象ブロックが含まれるピクチャ）とは異なる２つのピクチャを参照ピクチャとして用いてインター予測復号される。

図１は、復号対象ブロックのインター予測復号において参照される２つのピクチャを説明するための図である。図１に記載の「３００」から「３０４」は、ピクチャ番号（ＰｉｃＮｕｍ）を示す。図１では、ピクチャ番号が「３００」から「３０４」である複数のピクチャは、表示順（ＰｉｃＯｒｄｅｒＣｎｔ）の値の昇準で並べられている。

復号対象ブロック（Ｃｕｒｒ＿Ｂｌｋ）は、ピクチャ番号「３０２」の復号対象ピクチャ（ＣｕｒｒＰｉｃ）に含まれる。この例では、復号対象ブロックは、表示順で前方に存在するピクチャ番号「３０１」のピクチャと、表示順で後方に存在するピクチャ番号「３０４」のピクチャとを参照ピクチャとして用いてインター予測復号される。

以下において、矢印の始点は、復号に利用する（参照する）ピクチャ（復号対象ピクチャ）の位置を示す。また、矢印の終点は、復号に利用される（参照される）ピクチャ（参照ピクチャ）の位置を示す。

図２Ａおよび図２Ｂは、参照ピクチャリストを示す図である。具体的には、図２Ａは、１つ目の参照ピクチャを特定するための参照ピクチャリストＬ０（ＲｅｆＰｉｃＬｉｓｔ０）を示す。また図２Ｂは、２つ目の参照ピクチャを特定するための参照ピクチャリストＬ１（ＲｅｆＰｉｃＬｉｓｔ１）を示す。

各参照ピクチャリストは、復号対象ブロックのインター予測に用いる参照ピクチャを、ピクチャ番号ではなく、ピクチャ番号よりも値が小さいインデクス値で特定するためのリストである。つまり、復号対象ブロックが、どのピクチャを参照ピクチャとして用いてインター予測復号すればよいかは、この参照ピクチャリスト中のインデクスの値で与えられる。

各参照ピクチャリストは、復号対象ブロックが含まれるＢスライスの復号時に初期化（生成）される。初期化では、参照ピクチャリストＬ０と参照ピクチャリストＬ１とにおいて、小さい値を有するインデクスに対応するピクチャ番号が異なるようにピクチャ番号が並べられる。

図２Ａおよび図２Ｂでは、各参照ピクチャリストは、復号対象ピクチャのピクチャ番号「３０２」より小さいピクチャ番号を含む第１部分と、ピクチャ番号「３０２」より大きいピクチャ番号を含む第２部分とに分けられる。そして、参照ピクチャリストＬ０では、第１部分および第２部分は、第１部分および第２部分の順番で並べられる。また、参照ピクチャリストＬ１では、第１部分および第２部分は、第２部分および第１部分の順番で並べられる。

また、第１部分内では、ピクチャ番号は降順に並べられる（「３０１」、「３００」、・・・）。また、第２部分内では、ピクチャ番号は昇順に並べられる（「３０３」、「３０４」、・・・）。

例えば、符号列を解析することによりインデクスの値「０」が得られた場合、復号対象ピクチャのインター予測復号に用いられる参照ピクチャとして、以下の２つのピクチャが決定される。１つ目の参照ピクチャは、参照ピクチャリストＬ０においてインデクスの値「０」で特定されるピクチャ番号「３０１」のピクチャである。また、２つ目の参照ピクチャは、参照ピクチャリストＬ１においてインデクスの値「０」で特定されるピクチャ番号「３０３」のピクチャである。

また、図１の例では、１つ目のインデクス（ｒｅｆＩｄｘＬ０）の値として、参照ピクチャリスト０においてピクチャ番号「３０１」を特定するための「０」が与えられる。また、２つ目のインデクス（ｒｅｆＩｄｘＬ１）の値として、参照ピクチャリスト１においてピクチャ番号「３０４」を特定するための「１」が与えられる。

図３は、インデクスの値とピクチャ番号との対応関係を説明するための図である。図３では、インデクスの値（ｒｅｆＩｄｘＬ０の値とｒｅｆＩｄｘＬ１の値）が増加するほど、対応するピクチャ番号のピクチャは、復号対象ピクチャ（ｐｉｃＮｕｍ＝３０２）からより遠ざかる。

特に、参照ピクチャリスト１においては、小さい値のインデクスに、復号対象ピクチャより後（ｇｒｅａｔｅｒ ｔｈａｎ ＰｉｃＯｒｄｅｒＣｎｔ（ＣｕｒｒＰｉｃ））のピクチャ（復号済みのピクチャであり、かつメモリに保持されているピクチャ）のピクチャ番号が降順で設定されている。以下では、この設定ルールをＲｕｌｅ１と呼ぶ。このＲｕｌｅ１に従うと、参照ピクチャリストＬ１においてインデクスの値「０」で特定されるピクチャは、図３では、ピクチャ番号３０３のピクチャとなる（ＲｅｆＰｉｃＬｉｓｔ１［０］＝３０３）。

さらに、参照ピクチャリストを用いて特定される参照ピクチャ内のどのブロック位置を参照するのかを示す動きベクトル（ｍｖＬ０、ｍｖＬ１）の符号化方法および復号方法について様々な検討がされている。１つ目の方法は、符号列からの情報を用いずに、符号化済（復号済）データから動きベクトルを直接導出する方法（Ｈ．２６４ダイレクトモード）である。２つ目の方法は、予測動きベクトルを導出し、符号列から差分動きベクトルを取得し、予測動きベクトルと差分動きベクトルとを用いて動きベクトルを導出する方法（Ｈ．２６４予測動きベクトル導出を経由するモード）である（非特許文献１の式（８−１７４）および式（８−１７５）等を参照）。

［（１）Ｈ．２６４ダイレクトモード］
Ｈ．２６４では、ダイレクトモードと呼ばれる、予測画像を生成するための動きベクトルの導出モードが存在する（非特許文献１の８．４．１．２．１節、３．４５節等）。Ｈ．２６４のダイレクトモードは、時間ダイレクトモードと空間ダイレクトモードとの２つのモードを含む。

時間ダイレクトモード（ｔｅｍｐｏｒａｌ ｍｏｄｅ）では、復号対象ブロックと（時間的に異なるピクチャに含まれるが）空間的に同じ位置のブロックであるｃｏ＿ｌｏｃａｔｅｄブロック（Ｃｏｌ＿Ｂｌｋ）の動きベクトル（ｍｖＣｏｌ）を所定の比でスケールリングした結果が利用される。

空間ダイレクトモード（ｓｐｅｃｉａｌ ｄｉｒｅｃｔ ｍｏｄｅ）では、復号対象ブロックと（時間的には同じ表示時刻のピクチャに含まれるが）空間的に異なる位置のブロックの動きベクトルに関する情報（以下、動き情報（ｍｏｔｉｏｎ ｄａｔａ）と呼ぶ）が利用される。

図４は、時間ダイレクトモードにおいて利用される情報を説明するための図である。

時間ダイレクトモードでは、まず、Ｃｏｌ＿Ｂｌｋの動き情報が取得される。Ｃｏｌ＿Ｂｌｋは、参照ピクチャリストＬ１においてインデクスの値「０」により特定されるピクチャに含まれる、復号対象ブロックと同じ位置のブロックである。図４に示すように、前述のＲｕｌｅ１に基づいて初期化された参照ピクチャリストＬ１では、インデクス値「０」により特定されるピクチャは、ピクチャメモリ中に時間的に後方のピクチャが存在しないなどの特別な場合を除き、復号対象ピクチャに最も表示時間的に近い後方のピクチャとなる。

次に、時間ダイレクトモードでは、Ｃｕｒｒ＿Ｂｌｋの動きベクトルが、Ｃｏｌ＿Ｂｌｋの動き情報を用いて導出される。動き情報には以下が含まれる。

（i）Ｃｏｌ＿Ｂｌｋのインター予測に用いられた参照ピクチャ（ｒｅｆＩｄｘＬ０［ｒｅｆｉｄｘ］）
図４では、Ｃｏｌ＿Ｂｌｋの参照ピクチャとしてピクチャ番号３０１のピクチャが用いられている（ＲｅｆＰｉｃＬｉｓｔ０［１］＝３０１）。

（ii）Ｃｏｌ＿Ｂｌｋのインター予測に用いられた動きベクトル（ｍｖＬ０Ｃｏｌ）
図４では、ピクチャ番号３０１のピクチャ中の破線矢印が、Ｃｏｌ＿Ｂｌｋのインター予測に用いられる１つ目の動きベクトル（ｍｖＬ０Ｃｏｌ）を示す。

図５Ａおよび図５Ｂは、時間ダイレクトモードにおけるスケーリング処理を説明するための図である。スケーリング処理は、ｍｖＬ０Ｃｏｌの値を、参照ピクチャまでの距離の比を用いてスケーリングすることにより、Ｃｕｒｒ＿ＢｌｋのｍｖＬ０とｍｖＬ１とを導出する処理である。

具体的には、図５Ａは、復号対象ブロックおよびｃｏ−ｌｏｃａｔｅｄブロックの参照構造と、ｃｏ−ｌｏｃａｔｅｄブロックの動きベクトルとを簡略化して説明するための図である。また、図５Ｂは、スケーリング処理の概念を説明するための図である。

スケーリング処理は、簡単には、図５Ｂに示す三角形ＤＥＦと三角形ＡＢＣとの相似を観念すればよい。

三角形ＤＥＦは、Ｃｏｌ＿Ｂｌｋについての三角形である。点Ｄは、Ｃｏｌ＿Ｂｌｋの位置を示す。点Ｅは、参照ピクチャにおいてＣｏｌ＿Ｂｌｋに対応する位置を示す。また、点Ｅは、ｍｖＬ０Ｃｏｌの始点の位置も示す。

点Ｆは、ｍｖＬ０Ｃｏｌの終点の位置を示す。

三角形ＡＢＣは、Ｃｕｒｒ＿Ｂｌｋについての三角形である。点Ａは、Ｃｕｒｒ＿Ｂｌｋの位置を示す。点Ｂは、参照ピクチャにおいてＣｕｒｒ＿Ｂｌｋに対応する位置を示す。また、点Ｂは、ｍｖＬ０の始点の位置を示す。点Ｃは、ｍｖＬ０の終点の位置を示す。

スケーリング処理では、まず、ＳＴＥＰ１で、Ｃｕｒｒ＿Ｂｌｋを含むピクチャから参照ピクチャまでの相対距離（ｔｂ）に対する、Ｃｏｌ＿Ｂｌｋを含むピクチャから参照ピクチャまでの相対距離（ｔｘ）の比をＳｃａｌｅＦａｃｔｏｒとして導出する。例えばこの図５Ｂでは、ｔｂ（＝３０２−３０１＝１）に対するｔｘ（＝３０３−３０１＝２）の比（ｔｂ／ｔｘ＝１／２＝０．５）がＳｃａｌｅＦａｃｔｏｒとして導出される。このＳｃａｌｅＦａｃｔｏｒは、三角形ＡＢＣと三角形ＤＥＦと相似比（１／２）と一致する。

次に、ＳＴＥＰ２で、ｍｖＬ０Ｃｏｌと、導出されたＳｃａｌｅＦａｃｔｏｒとを乗算することにより、ｍｖＬ０を導出する。

最後に、ＳＴＥＰ３で、ＳＴＥＰ２で導出されたｍｖＬ０とｍｖＬ０Ｃｏｌの逆ベクトルとを加算することにより、ｍｖＬ１を導出する。

図６は、非特許文献１に記載されたスケーリング処理の式を示す図である。図６に示す式は、非特許文献１の８．４．１．２．３節「Ｄｅｒｉｖａｔｉｏｎ ｐｒｏｃｅｓｓ ｆｏｒ ｔｅｍｐｏｒａｌ ｄｉｒｅｃｔ ｌｕｍａ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ａｎｄ ｒｅｆｅｒｅｎｃｅ ｉｎｄｅｘ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ」に記載されている。

図７は、空間ダイレクトモードを説明するための図である。

この空間ダイレクトモードでは、復号対象ブロック（Ｃｕｒｒ＿Ｂｌｋ）に隣接するブロック（隣接ブロックＡ〜Ｄ）から前述の動き情報（動きベクトルおよび参照インデクス）を取得する。

取得された動き情報のうち、参照インデクス（ｒｅｆＩｄｘＬＸＮ）の値として最も小さい「０」を含む自然数（ｍｉｎＰｏｓｉｔｉｖｅ値）をもつブロックの動き情報（ｒｅｆＩｄｘＬ０およびｒｅｆＩｄｘＬ１とそれに対応するｍｖＬ０およびｍｖＬ１）がそのまま用いられる（非特許文献１の式（８−１８６）および（８−１８７））。具体的には、以下の計算によりｒｅｆＩｄｘＬ０とｒｅｆＩｄｘＬ１とがそれぞれ導出される。

refIdxL0 = MinPositive(refIdxL0A,MinPositive(refIdxL0B,refIdxL0C)) (8-186)
refIdxL1 = MinPositive(refIdxL1A,MinPositive(refIdxL1B,refIdxL1C)) (8-187)

この空間ダイレクトモードでは、動きベクトルｍｖＬ０またはｍｖＬ１は、そのまま利用される。つまり、復号対象ブロックと隣接ブロックとは同じピクチャに含まれるので、動きベクトルのスケーリング処理は不要である。

［（２）Ｈ．２６４動き予測ベクトル導出を経由するモード］
図８は、Ｈ．２６４における、動き（検出結果）ベクトル（ｍｖＬＸ）と動き予測ベクトル（ｍｖｐＬＸ）と動き差分ベクトル（ｍｖｄＬＸ）との関係を説明するための図である。

図８において、ｍｖＬｘは、インター予測に用いられる動き（検出結果）ベクトル（ｖ）を示す。また、ｍｖｐＬＸは、動きベクトルの復号に用いられる動き予測ベクトル（ｐ）を示す。また、ｍｖｄＬＸは、動きベクトル（ｖ）と動き予測ベクトル（ｐ）との差分ベクトルである動き差分ベクトル（ｄ）を示す。復号時には、ｍｖＬＸは、水平成分および垂直成分の各々について、ｍｖｐＬＸとｍｖｄＬＸとを用いて導出される。

水平成分：ｍｖＬＸ［０］＝ｍｖｐＬＸ［０］＋ｍｖｄＬＸ［０］
垂直成分：ｍｖＬＸ［１］＝ｍｖｐＬＸ［１］＋ｍｖｄＬＸ［１］

一方、符号化時には、符号化効率の観点から最適なｍｖＬＸ（ｍｖＬＸ［０］，ｍｖＬＸ［１］）が探索され、探索結果に従ってｍｖｄＬＸの水平成分［０］および垂直成分［１］の各々が符号化される。

水平成分：ｍｖｄＬＸ［０］＝ｍｖＬＸ［０］−ｍｖｐＬＸ［０］
垂直成分：ｍｖｄＬＸ［１］＝ｍｖＬＸ［１］−ｍｖｐＬＸ［０］

また、非特許文献２には、ｃｏ−ｌｏｃａｔｅｄブロックから導出された動きベクトルを動き予測ベクトルとして用いて、動きベクトルを符号化する方法が開示されている。

このようにｃｏ−ｌｏｃａｔｅｄブロックから導出された動きベクトルを動画像の符号化に用いる場合に、ｃｏ−ｌｏｃａｔｅｄブロックが適切に設定されなければ、符号化効率が低下する場合がある。

そこで、本発明の一態様に係る動画像符号化方法は、動きベクトルを含む少なくとも１つのエントリを有するリストを用いて、動画像を符号化する動画像符号化方法であって、（ａ）符号化対象ピクチャとは異なるピクチャに含まれるブロックであって前記符号化対象ピクチャに含まれる符号化対象ブロックの位置に対応する位置のブロックであるｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと、（ｂ）前記符号化対象ピクチャとが同一のビューに属するか否かを判定する判定ステップと、前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと前記符号化対象ピクチャとが異なるビューに属する場合に、前記ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する補正ステップと、前記ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルを含むエントリを前記リストに追加する追加ステップとを含み、前記補正ステップは、前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが属するビューと、前記符号化対象ピクチャが属するビューとの間の視差ベクトルを取得する視差ベクトル取得ステップと、取得された前記視差ベクトルの分、前記ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する位置補正ステップとを含む。

これによれば、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが属するビューが、符号化対象ピクチャが属するビューと異なる場合には、２つのビュー間における視差ベクトルを用いて、ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正することができる。そして、位置が補正されたｃｏ−ｌｏｃａｔｅｄブロックの動きベクトルを含むエントリをリストに追加することができる。したがって、符号化対象ブロックを符号化する際に、より適切な位置のブロックをｃｏ−ｌｏｃａｔｅｄブロックとして用いることができ、符号化効率を向上させることができる。

例えば、前記補正ステップでは、前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと前記符号化対象ピクチャとが異なるビューに属する場合であって、前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが参照ピクチャリストの１番目のエントリによって特定されるピクチャである場合に、前記ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正してもよい。

これによれば、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが参照ピクチャリストの１番目のエントリによって特定されるピクチャである場合に、ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正することができる。

例えば、前記動画像符号化方法は、さらに、前記リストが有する少なくとも１つのエントリのうちの１つに含まれる動きベクトルを動き予測ベクトルとして用いて、前記符号化対象ブロックの動きベクトルを符号化する符号化ステップを含んでもよい。

これによれば、リストが有する少なくとも１つのエントリのうちの１つに含まれる動きベクトルを動き予測ベクトルとして用いて、符号化対象ブロックの動きベクトルを符号化することができる。したがって、動きベクトルの符号化効率を向上させることが可能となる。

例えば、前記動画像符号化方法は、さらに、前記リストが有する少なくとも１つのエントリのうちの１つに含まれる動きベクトルを用いて、前記符号化対象ブロックの予測画像を生成する予測ステップを含んでもよい。

これによれば、リストが有する少なくとも１つのエントリのうちの１つに含まれる動きベクトルを用いて、符号化対象ブロックの予測画像を生成することができる。したがって、予測画像の予測精度を向上させることができ、符号化効率を向上させることが可能となる。

例えば、前記動画像符号化方法は、さらに、第１規格に準拠する第１符号化処理、または第２規格に準拠する第２符号化処理に、符号化処理を切り替える切り替えステップと、切り替えられた前記符号化処理が準拠する前記第１規格または前記第２規格を示す識別情報をビットストリームに付加する付加ステップとを含み、前記符号化処理が前記第１符号化処理に切り替えられた場合に、前記第１符号化処理として、前記判定ステップと、前記補正ステップと、前記追加ステップとが行われてもよい。

これによれば、第１規格に準拠する第１符号化処理と第２規格に準拠する第２符号化処理とを切り替えることが可能となる。

また、本発明の一態様に係る動画像復号方法は、動きベクトルを含む少なくとも１つのエントリを有するリストを用いて、符号化された動画像を復号する動画像復号方法であって、（ａ）復号対象ピクチャとは異なるピクチャに含まれるブロックであって前記復号対象ピクチャに含まれる復号対象ブロックの位置に対応する位置のブロックであるｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと、（ｂ）前記復号対象ピクチャとが同一のビューに属するか否かを判定する判定ステップと、前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと前記復号対象ピクチャとが異なるビューに属する場合に、前記ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する補正ステップと、前記ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルを含むエントリを前記リストに追加する追加ステップとを含み、前記補正ステップは、前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが属するビューと、前記復号対象ピクチャが属するビューとの間の視差ベクトルを取得する視差ベクトル取得ステップと、取得された前記視差ベクトルの分、前記ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する位置補正ステップとを含む。

これによれば、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが属するビューが、復号対象ピクチャが属するビューと異なる場合には、２つのビュー間における視差ベクトルを用いて、ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正することができる。そして、位置が補正されたｃｏ−ｌｏｃａｔｅｄブロックの動きベクトルを含むエントリをリストに追加することができる。したがって、復号対象ブロックを復号する際に、より適切な位置のブロックをｃｏ−ｌｏｃａｔｅｄブロックとして用いることができ、符号化効率を向上させることができる。

例えば、前記補正ステップでは、前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと前記復号対象ピクチャとが異なるビューに属する場合であって、前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが参照ピクチャリストの１番目のエントリによって特定されるピクチャである場合に、前記ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正してもよい。

これによれば、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが参照ピクチャリストの１番目のエントリによって特定されるピクチャである場合に、ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正することができる。

例えば、前記動画像復号方法は、さらに、前記リストが有する少なくとも１つのエントリのうちの１つに含まれる動きベクトルを動き予測ベクトルとして用いて、前記復号対象ブロックの動きベクトルを復元する復元ステップを含んでもよい。

これによれば、リストが有する少なくとも１つのエントリのうちの１つに含まれる動きベクトルを動き予測ベクトルとして用いて、復号対象ブロックの動きベクトルを復元することができる。したがって、動きベクトルの符号化効率を向上させることが可能となる。

例えば、前記動画像復号方法は、さらに、前記リストが有する少なくとも１つのエントリのうちの１つに含まれる動きベクトルを用いて、前記復号対象ブロックの予測画像を生成する予測ステップを含んでもよい。

これによれば、リストが有する少なくとも１つのエントリのうちの１つに含まれる動きベクトルを用いて、復号対象ブロックの予測画像を生成することができる。したがって、予測画像の予測精度を向上させることができ、符号化効率を向上させることが可能となる。

例えば、前記動画像復号方法は、さらに、ビットストリームに付加された第１規格または第２規格を示す識別情報に応じて、前記第１規格に準拠する第１復号処理、または前記第２規格に準拠する第２復号処理に、復号処理を切り替える切り替えステップを含み、前記復号処理が第１復号処理に切り替えられた場合に、前記第１復号処理として、前記判定ステップと、前記補正ステップと、前記追加ステップとが行われてもよい。

これによれば、第１規格に準拠する第１復号処理と第２規格に準拠する第２復号処理とを切り替えることが可能となる。

なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
図９Ａは、実施の形態１における動画像符号化装置１００の構成を示すブロック図である。ここでは、動画像符号化装置１００は、動きベクトルを含む少なくとも１つのエントリを有する動き予測ベクトル候補リストを用いて、マルチビュー動画像を符号化する。

動画像符号化装置１００は、図９Ａに示す通り、主に、減算部１１１、変換部１１２、量子化部１１３、エントロピー符号化部１１４、逆量子化部１１５、逆変換部１１６、加算部１１７、メモリ１１８、イントラ・インター予測部１０１を含む。また、動画像符号化装置１００は、これらを制御する符号化制御部１０２を備える。

動画像符号化装置１００は、動画像系列として１以上の動画像系列の、動画像を順にあるいは並列に入力し、これら１以上の動画像系列を１つの符号化済みビットストリームとして出力する。

減算部１１１は、動画像系列［ｓ］の所定の時刻の入力画像信号（部分画像信号）と予測画像信号（導出された部分予測画像信号）との差分である残差信号を出力する。

変換部１１２および量子化部１１３は、残差信号を処理（周波数変換および量子化）して量子化済残差信号を出力する。

エントロピー符号化部１１４は、量子化済残差信号および復号制御信号をエントロピー符号化し、符号化済ビットストリームを出力する。

逆量子化部１１５および逆変換部１１６は、量子化済残差信号を処理（逆量子化および逆周波数変換）し、復元済残差信号を出力する。

加算部１１７は、復元済残差信号と予測画像信号とを加算し、復号画像信号を出力する。

イントラ・インター予測部１０１は、復号画像信号を所定の単位（例えばフレームあるいはブロック等）でメモリ１１８に蓄積する。さらに、イントラ・インター予測部１０１は、符号化制御部１０２の指示に従って、予測画像信号（例えば、復号画像信号と動きベクトルとに基づいて導出された画素値）を生成し、減算部１１１および加算部１１７に出力する。

符号化制御部１０２は、ピクチャをどのような制御パラメータで符号化するか（このパラメータは、復号制御信号に対応することになる）を試行し、試行結果に従って制御パラメータを決定する。そして、符号化制御部１０２は、決定された制御パラメータを図９Ａに示す各処理部（特に、イントラ・インター予測部１０１）に対し与える。制御パラメータを決定するための試行は、例えば、図９Ａの点線で示す符号化済ビットストリーム（ＦｅｅｄＢａｃｋ）のビット長を短くすることを目的とするＣｏｓｔ関数等を用いて行われる。符号化制御部１０２は、例えば、ある画像データの符号化のための制御パラメータ（例えば、インター予測およびイントラ予測の区別）を決定し、復号に必要な情報（復号制御信号）を抽出してエントロピー符号化部１１４に出力する。復号制御信号は、例えば、ｓｌｉｃｅ毎に、予測タイプ（ｐｒｅｄ＿ｔｙｐｅ）、動き予測ベクトル候補指定インデクス（ｍｖｐ＿ｉｄｘ＿ｌＸ）、および動き差分ベクトル（ｍｖｄＬＸ）等を含む。

本実施の形態では、符号化制御部１０２は、入力された動画像信号の系列［ｓ］（ｓは１以上）の特性に対応する系列特性情報の入力を受信する。

図９Ｂは、実施の形態１における符号化制御部１０２の構成を示すブロック図である。図９Ｂに示すように、符号化制御部１０２は、判定部１２１と、補正部１２２と、追加部１２５とを備える。

判定部１２１は、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと、（ｂ）符号化対象ピクチャとが同一のビューに属するか否かを判定する。ｃｏ−ｌｏｃａｔｅｄブロックは、符号化対象ピクチャとは異なるピクチャに含まれるブロックであって、符号化対象ブロックの位置に対応する位置のブロックである。なお、符号化対象ブロックの位置に対応する位置とは、符号化対象ピクチャとは異なるピクチャ内の、符号化対象ブロックの位置と同一の位置だけではなく、符号化対象ブロックの位置の近傍の位置を含む。

補正部１２２は、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと符号化対象ピクチャとが異なるビューに属する場合に、ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する。つまり、補正部１２２は、ｃｏ−ｌｏｃａｔｅｄブロックのピクチャ内の位置を補正する。図９Ｂに示すように、補正部１２２は、視差ベクトル取得部１２３と、位置補正部１２４とを有する。

視差ベクトル取得部１２３は、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが属するビューと、符号化対象ピクチャが属するビューとの間の視差ベクトルを取得する。

位置補正部１２４は、取得された視差ベクトルの分、ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する。つまり、位置補正部１２４は、元のｃｏ−ｌｏｃａｔｅｄブロックの位置を視差ベクトルが示す方向へ視差ベクトルが示す距離だけ移動させることにより、ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する。

追加部１２５は、ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルを含むエントリをリストに追加する。本実施の形態では、追加部１２５は、ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルを含むエントリを動き予測ベクトルの候補として動き予測ベクトル候補リストに追加する。

なお、追加部１２５は、ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルと参照ピクチャインデックスとを含むエントリをマージ候補としてマージ候補リストに追加してもよい。なお、マージ候補とは、符号化対象ブロックの符号化に用いる動きベクトルと参照ピクチャインデックスとの組の候補である。

図１０は、実施の形態１における動画像符号化方法を示すフローチャートである。

ステップＳ２１０では、符号化制御部１０２は、符号化対象ブロック（Ｃｕｒｒ＿Ｂｌｋ）を含む予測ブロック（ＰＵ）の単位で動き予測ベクトル候補リスト（ｍｖｐＬｉｓｔＬＸ）を生成（導出）し出力する（ｍｖｐＬｉｓｔＬＸ生成ステップ）。

ステップＳ２３０では、符号化制御部１０２は、ｍｖｐＬｉｓｔＬＸの更新処理を行い、ｍｖｐＬｉｓｔＬＸを出力する（更新ステップ）。更新処理は、ｍｖｐＬｉｓｔＬＸの入力を受信し、ｍｖｐＬｉｓｔＬＸを更新し、更新されたｍｖｐＬｉｓｔＬＸを出力する、処理である。更新処理は、例えばエントリを追加する、リストの他方からエントリを複製する、エントリを削除する等の処理である。この更新処理は、復号側と暗黙的（ｉｍｐｌｉｃｉｔ）に共有されたルールに従う。なお、この更新処理は、実行されなくてもよい。

ステップＳ２４０では、符号化制御部１０２は、各ＰＵについてのｍｖｐ＿ｉｄｘ＿ｌＸの値を含む符号化制御情報を決定する（決定ステップ）。また、符号化制御部１０２は、リストからエントリを選択する。

ステップＳ２５０では、イントラ・インター予測部１０１は、符号化制御情報に基づいて、符号化対象ブロックの予測画像を生成する。本実施の形態では、さらに、エントロピー符号化部１１４は、リストから選択されたエントリに含まれる動きベクトル（動き予測ベクトル）を用いて、符号化対象ブロックの動きベクトルを符号化する。つまり、エントロピー符号化部１１４は、動き予測ベクトルと符号化対象ブロックの動きベクトルとの差分を符号化する。

図１１は、動き予測ベクトル候補リストの概念を説明するための図である。具体的には、図１１は、動き予測ベクトル候補リストに含まれる複数の動き予測ベクトルの候補と、動き予測ベクトル候補リストから選択された動き予測ベクトルとの関係を示す。本実施の形態では、Ｈ．２６４における動き予測ベクトルの場合（図８）と比べて、１以上の動き予測ベクトルの候補が存在する点が異なる。これらの候補の中から、ｍｖｐ＿ｉｄｘ＿ｌＸのインデクス値に基づいて決定されたベクトル（候補）が、動き予測ベクトルとして、動き（検出結果）ベクトルの符号化に利用される。

図１２Ａおよび図１２Ｂは、実施の形態１における動き予測ベクトル候補リストの一例を示す図である。

図１２Ａは、（後述する複数の動画像系列についての特別な場合を除く場合に、）ステップＳ２１０で出力される予測方向０のリストに順に追加（ａｐｐｅｎｄ）される動き予測ベクトルの候補の一例を示す。候補［０］として、図１３に示すＮ＝Ａのブロック群に含まれる隣接ブロックＡ［０．．ｋ］のうちいずれかのブロックＡ［ｉ］］のエントリがリストに追加される。また、候補［１］として、図１３に示すＮ＝Ｂのブロック群に含まれる隣接ブロックＢ［０．．ｋ］のいずれかのブロックＢ［ｉ］のエントリがリストに追加される。また、候補［２］として、図１３に示すｃｏ−ｌｏｃａｔｅｄブロック（Ｃｏｌ＿Ｂｌｋ）のエントリがリストに追加される。各エントリには、前述した動き情報（ブロックの動きベクトルと参照ピクチャインデクスとの組）が含まれる。なお、以下において、Ｃｕｒｒ＿Ｂｌｋの左方に隣接するＮ＝Ａのブロック群をブロック群Ａと呼び、Ｃｕｒｒ＿Ｂｌｋの上方に隣接するＮ＝Ｂのブロック群をブロック群Ｂと呼ぶ。

図１２Ｂは、予測方向１のリストに順に追加される動き予測ベクトルの候補の一例を示す。ここでは、例えば、Ｎ＝Ｂのブロック群が利用できない場合を説明している。

なお、図１２Ａおよび図１２Ｂでは、予測方向毎に動き予測ベクトル候補リストが分けられているが、１つのリストに予測方向０と予測方向１との両方の動き情報をマージして持ってもよい（ｍｅｒｇｅモードの場合）。

図１３は、隣接ブロックの位置と、ｃｏ−ｌｏｃａｔｅｄブロックの位置とを示す図である。ブロック群Ａ（Ａ０，Ａ１）と、ブロック群Ｂ（Ｂ０，Ｂ１，Ｂ２）とが示されている。図１３において、ｃｕｒｒｅｎｔＰＵは、現在の符号化対象ブロックを含む予測単位ブロック（ＰＵ）を示している。

図１４は、動き予測ベクトル候補リストの生成処理のフローチャートである。具体的には、図１４は、図１０のステップＳ２１０の処理の詳細を示すフローチャートである。以下の処理に先立って、符号化制御部１０２は、各フラグ（ａｖａｉｌａｂｌｅＦｌａｇＬＸＡおよびａｖａｉｌａｂｌｅＦｌａｇＬＸＢ等）の値を０に初期化する。 符号化制御部１０２は、まず、ｍｖｐＬｉｓｔＬＸの１つ目の候補（エントリ）を生成する処理を行う（Ｓ４００）。ステップＳ４００では、符号化制御部１０２は、ブロック群Ａに含まれるブロックＡ０、Ａ１から候補を導出するための処理を実行する。なお、ブロックＡ０およびＡ１の両方がイントラ予測を用いている場合等、ブロック群Ａから候補を導出できない場合もあり得る。

詳細には、ステップＳ４１０において、符号化制御部１０２は、ブロック群Ａから、スケーリング処理（Ｓｃａｌｉｎｇ）なしで利用できる動きベクトルを持つブロックを検索する。検索は、Ａ０、Ａ１の順で行われる。符号化制御部１０２は、検索に成功した場合、ａｖａｉｌａｂｌｅＦｌａｇＬＸＡに「１」をセットする。また、符号化制御部１０２は、検索されたブロックの動きベクトルをｍｖｐＬｉｓｔＬＸに追加する。

ステップＳ４２０において、符号化制御部１０２は、ａｖａｉｌａｂｌｅＦｌａｇＬＸＡが「０」であるか否か（ステップＳ４１０で検索に失敗したか否か）を判定する。

ａｖａｉｌａｂｌｅＦｌａｇＬＸＡが「０」である場合は（Ｓ４２０でｔｒｕｅ）、ステップＳ４３０において、符号化制御部１０２は、ブロック群Ａ（Ａ０、Ａ１）から、利用できる動きベクトルを持つブロックを検索する。検索は、Ａ０、Ａ１の順で行われる。この検索に成功した場合、符号化制御部１０２は、検索されたブロックの動きベクトルに対してスケーリング処理を実行し、スケーリング後の動きベクトルをｍｖｐＬｉｓｔＬｘに追加する。スケーリング処理とは、動きベクトルを拡大・縮小する処理である。なお、スケーリング処理については、非特許文献２の式（８−１３０）〜（８−１３４）等を利用できる。

次に、符号化制御部１０２は、ｍｖｐＬｉｓｔＬＸの２つ目の候補を生成する処理を行う（Ｓ５００）。ステップＳ５００では、符号化制御部１０２は、ブロック群Ｂ（Ｂ０，Ｂ１，Ｂ２）から候補を導出するための処理を実行する。なお、ブロックＢ０、Ｂ１、Ｂ２の全てがイントラ予測を用いている場合等、ブロック群Ｂから候補を導出できない場合もあり得る。

詳細には、ステップＳ５１０において、符号化制御部１０２は、ブロック群Ｂから、スケーリング処理なしで利用できる動きベクトルを持つブロックを検索する。検索は、Ｂ０、Ｂ１、Ｂ２の順で行われる。符号化制御部１０２は、検索に成功した場合、ａｖａｉｌａｂｌｅＦｌａｇＬＸＢに「１」をセットする。また、符号化制御部１０２は、検索されたブロックの動きベクトルをｍｖｐＬｉｓｔＬＸに追加する。

ステップＳ５２０において、符号化制御部１０２は、ａｖａｉｌａｂｌｅＦｌａｇＬＸＢが「０」であるか否かを判定する。

ａｖａｉｌａｂｌｅＦｌａｇＬＸＢが「０」である場合（Ｓ５２０でｔｒｕｅ）、符号化制御部１０２は、ステップＳ５３０において、ブロック群Ｂ（Ｂ０、Ｂ１、Ｂ２）から動きベクトルを利用できるブロックを検索する。検索は、Ｂ０、Ｂ１、Ｂ２の順で行われる。この検索に成功した場合、符号化制御部１０２は、検索されたブロックの動きベクトルに対してスケーリング処理を実行し、スケーリング後の動きベクトルをｍｖｐＬｉｓｔＬＸに追加する。

最後に、符号化制御部１０２は、ｃｏ−ｌｏｃａｔｅｄブロックに対する処理を行う。詳細には、ステップＳ６００において、符号化制御部１０２は、必要に応じてスケーリング処理された、ｃｏ−ｌｏｃａｔｅｄブロックの動きベクトルをｍｖｐＬｉｓｔＬＸに追加する。

図１５は、複数の動画像系列［ｓ］を対象とした場合のｃｏ−ｌｏｃａｔｅｄブロックを説明するための図である。

図１５において、横軸は、画像の表示タイミング（時刻）を示す。縦軸は、動画像系列の番号を示す。複数の動画像系列の一例として、ビューの異なる３つの動画像が示されている。図９Ａにおける動画像系列［ｓ］の個々は、ベースビュー０、ノンベースビュー１、ノンベースビュー２にそれぞれ対応する。各ビューは、図１５の例のとおり、ピクチャ（画像信号）Ｐ０・・・Ｐ１１を含む。

符号化対象ブロック（Ｃｕｒｒ＿Ｂｌｋ）は、時刻ｔのＰ８に含まれるブロックである。画像信号Ｐ８は、ノンベースビュー２に属している。

なお、図１５において、ピクチャＰ５、Ｐ３、Ｐ８、およびＰ１１に示す黒丸（ｘ１，ｙ１）は、そのピクチャ内における相対座標位置が同じ位置の座標を示している。ピクチャＰ５、Ｐ３、Ｐ８、およびＰ１１のサイズが同じ場合には、黒丸の座標は全て同じ値となる。

時刻ｔ−１の時点のピクチャＰ５の黒丸（ｘ１，ｙ１）からピクチャＰ３の白丸への矢印で示す視差ベクトル（ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ［ｔ−１］）は、符号化対象ブロックの符号化の時点で最も新しい座標変換ベクトルである。この座標変換ベクトルは、ノンベースビュー２とベースビュー０との間で、基準物体の位置する座標を合わせるために、符号化装置が取得するベクトルである。この例であれば、ノンベースビュー２とベースビュー０とでは、ピクチャＰ３中に示す黒丸と白丸の差分だけ、基準物体の位置する座標がずれている。

この視差ベクトルは、復号側でも同じように抽出あるいは導出可能なことを条件に、符号化対象ブロックの符号化時点までに動きベクトル探索の結果で得られた動きベクトルであってもよいし、事前に系列間情報として与えられるものであってもよい。また、視差ベクトルは、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、またはスライスヘッダ等に、ｃｏ−ｌｏｃａｔｅｄブロック（Ｃｏｌ＿Ｂｌｋ）を含むピクチャに対する視差ベクトルを付随させ、復号化装置に明示的に示唆するようにしても構わない。

さて、図２Ａおよび図２Ｂを用いて説明したとおり、従来のｃｏ＿ｌｏｃａｔｅｄブロックの概念は、「（時間方向に異なるピクチャに含まれるが）位置的に復号化ブロックと略等しい位置に位置するブロック」である。例えば、符号化対象ブロックのｃｏ−ｌｏｃａｔｅｄブロックは、ピクチャＰ１１にハッチングして示すブロック（Ｃｏｌ＿Ｂｌｋ）である。

図１６は、実施の形態１においてｃｏ−ｌｏｃａｔｅｄブロック用のエントリを動き予測ベクトル候補リストに追加する際に指定されるｃｏ−ｌｏｃａｔｅｄブロックの位置の補正を説明するための図である。

この補正は、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャを指定する側の参照ピクチャリスト（ＲｅＰｉｃＬｉｓｔＬＸ）の最初（１番目）のエントリのピクチャを、符号化対象ブロックの含まれるビューとは異なるビューのピクチャと定めた場合に適用される。この場合には、符号化対象ブロックの符号化時点で得られている（復号時点で得られている）更新された視差ベクトル（ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ［ｔ−１］）を用いて、ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する。そして、補正された位置のブロックの動き情報を、ｃｏ−ｌｏｃａｌｔｅｄブロックの動き情報としてリストに追加する。ここでは、１番目のエントリとは、リストが有するエントリのうち、最も小さいインデックスの値を有するエントリである。ピクチャＰ６のうち、（ｘ１，ｙ１）の地点から直前の視差ベクトル分だけオフセットされた位置のブロック（図中のハッチング領域）がｃｏ＿ｌｏｃａｔｅｄブロックとして利用される。

図１７は、実施の形態１におけるｃｏ−ｌｏｃａｔｅｄブロックの動き情報を動き予測ベクトル候補リストへ追加する処理のフローチャートである。具体的には、図１７は、図１４のステップＳ６００の処理の詳細を示すフローチャートである。

ステップＳ９０１では、判定部１２１は、（ａ）参照ピクチャリストのエントリによって特定されるピクチャであって、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと、（ｂ）符号化対象ピクチャと、が同一ビューに属するか否かを判定する。

ここで、（ａ）のピクチャは、ＲｅｆＰｉｃＬｉｓｔＬ［１−ｃｏｌｌｏｃａｔｅｄ＿ｄｉｒｅｃｔｉｏｎ ｆｌａｇ］［０］のピクチャである。Ｈ．２６４と同じく参照ピクチャリストＬ１を用いる場合は、ＲｅｆＰｉｃＬｉｓｔＬ１［０］（１番目のエントリ）のピクチャである。なお、本実施の形態では、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャをＲｅｆＰｉｃＬｉｓｔＬ［１−ｃｏｌｌｏｃａｔｅｄ＿ｄｉｒｅｃｔｉｏｎ ｆｌａｇ］［０］としたが、必ずしもこれに限らない。例えば、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャを、ＲｅｆＰｉｃＬｉｓｔＬ［１−ｃｏｌｌｏｃａｔｅｄ＿ｄｉｒｅｃｔｉｏｎ ｆｌａｇ］［ｃｏｌＰｉｃ＿ｉｄｘ］としてもよい。この場合、パラメータ（ｃｏｌＰｉｃ＿ｉｄｘ）によって、どのピクチャをｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャとして用いるかを指定できるようになる。また、ｃｏｌＰｉｃ＿ｉｄｘをＳＰＳ、ＰＰＳ、またはスライスヘッダ等のヘッダ情報としてビットストリームに付随させ、復号化装置にｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャを明示的に示唆するようにしても構わない。

ステップＳ９０１の判定結果がｔｒｕｅの場合、従来と同じようにｃｏ−ｌｏｃａｔｅブロックの位置は補正されない。

ステップＳ９０１の判定結果がｆａｌｓｅの場合、視差ベクトル取得部１２３は、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが属するビューと符号化対象ピクチャが属するビューとの間での視差ベクトルを取得する（Ｓ９０３）。そして、位置補正部１２４は、取得した視差ベクトルの分、ｃｏ＿ｌｏｃａｔｅｄブロックの位置（ｃｏ＿ｌｏｃｌａｔｅｄ＿ｂｌｏｃｋ＿ｐｏｓｉｔｉｏｎ（ｘ，ｙ））を補正する（Ｓ９０５）。

最後に、追加部１２５は、補正された位置、あるいは、そのままの位置のｃｏ−ｌｏｃａｔｅｄブロックの動き情報を動き予測ベクトル候補リストに追加する（Ｓ９０７）。

図１８Ａおよび図１８Ｂは、実施の形態１においてｃｏ−ｌｏｃａｔｅｄブロックの位置が補正される場合の動き予測ベクトル候補リストの一例を示す図である。つまり、図１８Ａおよび図１８Ｂは、図１７の処理により生成された動き予測ベクトル候補リストを示す。図１２Ａおよび図１２Ｂの動き予測ベクトル候補リストと比較して、Ｎ＝Ｃｏｌの場合に追加されるブロックの位置が、ビュー間の視差ベクトルを反映したものとなっている。

図１９は、実施の形態１における動き予測ベクトルを決定する処理のフローチャートである。つまり、図１９は、ｍｖｐ＿ｉｄｘ＿ｌ０の値およびｍｖｐ＿ｉｄｘ＿ｌ１の値の組を決定する処理のフローチャートである。具体的には、図１９は、図１０のステップＳ２４０の処理の詳細を示すフローチャートである。ステップＳ２４０では、符号化制御部１０２は、動き予測ベクトル候補の各組の符号化効率を算出する。そして、符号化制御部１０２は、どの動き予測ベクトル候補の組（Ｌ０用とＬ１用）を用いたときに、動き（検出結果）ベクトルの符号化効率が良いかを検証する。そして、符号化制御部１０２は、符号化効率が良い動き予測ベクトル候補を、動きベクトルの符号化に用いる動き予測ベクトルとして決定する。これにより、動きベクトルの符号化に用いるｍｖｐ＿ｉｄｘ＿ｌ０の値およびｍｖｐ＿ｉｄｘ＿ｌ１の値が１つ決定される。

詳細には、ステップＳ３０１では、符号化制御部１０２は、ｍｖｐ＿ｉｄｘ＿ｌ０に０をセットする。さらに、符号化制御部１０２は、後述するステップＳ３０２〜Ｓ３０８の実行後に、ｍｖｐ＿ｉｄｘ＿ｌ０を１インクリメントする。符号化制御部１０２は、ステップＳ３０２〜Ｓ３０８を繰り返し実行する。

ステップＳ３０２では、符号化制御部１０２は、ａｖａｉｌａｂｌｅＦｌａｇＬ０［ｍｖｐ＿ｉｄｘ＿ｌ０］が１か否かを判定する。

ステップＳ３０２でａｖａｉｌａｂｌｅＦｌａｇＬ０［ｍｖｐ＿ｉｄｘ＿ｌ０］が１ではない場合（Ｓ３０２でｆａｌｓｅ）、符号化制御部１０２は、ステップＳ３０９に移行する。

一方、ステップＳ３０２でａｖａｉｌａｂｌｅＦｌａｇＬ０［ｍｖｐ＿ｉｄｘ＿ｌ０］が１の場合（Ｓ３０２でｔｒｕｅ）、符号化制御部１０２は、ステップＳ３０３に移行する。

ステップＳ３０３では、符号化制御部１０２は、ｍｖｐ＿ｉｄｘ＿ｌ１に０をセットする。さらに、符号化制御部１０２は、後述するステップＳ３０４およびＳ３０５の実行後に、ｍｖｐ＿ｉｄｘ＿ｌ１を１インクリメントする。符号化制御部１０２は、ステップＳ３０４およびＳ３０５を繰り返し実行する。

ステップＳ３０４では、符号化制御部１０２は、ａｖａｉｌａｂｌｅＦｌａｇＬ１［ｍｖｐ＿ｉｄｘ＿ｌ１］が１か否かを判定する。

ステップＳ３０４でａｖａｉｌａｂｌｅＦｌａｇＬ１［ｍｖｐ＿ｉｄｘ＿ｌ１］が１ではない場合（Ｓ３０４でｆａｌｓｅ）、符号化制御部１０２は、ステップＳ３０８に移行する。

一方、ステップＳ３０４でａｖａｉｌａｂｌｅＦｌａｇＬ１［ｍｖｐ＿ｉｄｘ＿ｌ１］が１の場合（Ｓ３０４でｔｒｕｅ）、符号化制御部１０２は、ステップＳ３０５に移行する。

ステップＳ３０５では、符号化制御部１０２は、現在の予測動きベクトルインデックスの組（ｍｖｐ＿ｉｄｘ＿ｌ０、ｍｖｐ＿ｉｄｘ＿ｌ１）で示される予測動きベクトル候補の組（ｍｖｐＬｉｓｔＬ０［ｍｖｐ＿ｉｄｘ＿ｌ０］、ｍｖｐＬｉｓｔＬ１［ｍｖｐ＿ｉｄｘ＿ｌ１］）（以下、適宜「現在の予測動きベクトル候補の組」と称する）を用いて、インター符号化を試行する。

ステップＳ３０６では、符号化制御部１０２は、ｍｖｐ_ｉｄｘ_ｌｘとして仮設定されている予測動きベクトルインデックスの組の値で示される予測動きベクトル候補の組（ｍｖｐＬｉｓｔＬ０［ｍｖｐ＿ｉｄｘ＿ｌ０］、ｍｖｐＬｉｓｔＬ１［ｍｖｐ＿ｉｄｘ＿ｌ１］）（以下、適宜「仮設定されている予測動きベクトル候補の組」と称する）の符号化効率と、現在の予測動きベクトル候補の組の符号化効率とを比較する。

ステップＳ３０６において、現在の予測動きベクトル候補の組の符号化効率より、仮設定されている予測動きベクトル候補の組の符号化効率が良い場合は（Ｓ３０６でＮｏ）、符号化制御部１０２は、ステップＳ３０８に移行する。

一方、ステップＳ３０６において、現在の予測動きベクトル候補の組の符号化効率の方が、仮設定されている予測動きベクトル候補の組の符号化効率よりも良い場合は（Ｓ３０６でＹｅｓ）、符号化制御部１０２は、ステップＳ３０７に移行し、予測動きベクトルインデックスの組ｍｖｐ_ｉｄｘ_ｌｘ（ｍｖｐ＿ｉｄｘ＿ｌ０、ｍｖｐ＿ｉｄｘ＿ｌ１）に、現在の（ｍｖｐ＿ｉｄｘ＿ｌ０、ｍｖｐ＿ｉｄｘ＿ｌ１）の値を設定する。なお、予測動きベクトルインデックスの組ｍｖｐ_ｉｄｘ_ｌｘ（ｍｖｐ＿ｉｄｘ＿ｌ０、ｍｖｐ＿ｉｄｘ＿ｌ１）に値が設定されていない場合は、現在の（ｍｖｐ＿ｉｄｘ＿ｌ０、ｍｖｐ＿ｉｄｘ＿ｌ１）の値を設定する。

ステップＳ３０８では、符号化制御部１０２は、ｍｖｐＬｉｓｔＬ１［ｍｖｐ＿ｉｄｘ＿ｌ１］が候補リストの最後の候補であるか否かを判定する（図１９では「ｍｖｐ＿ｉｄｘ＿ｌ１が全部終わった？」と記載）。例えば、図１８Ｂに示す候補リストｍｖｐＬｉｓｔＬ１の場合、候補リストのサイズが２であることから、ｍｖｐ＿ｉｄｘ＿ｌ１＝＝１（＝候補リストサイズ−１）の場合、最後の候補であると判定する。ｍｖｐＬｉｓｔＬ１［ｍｖｐ＿ｉｄｘ＿ｌ１］が候補リストの最後の候補ではないと判定した場合、符号化制御部１０２は、ステップＳ３０３に戻り、ｍｖｐ＿ｉｄｘ＿ｌ１を１インクリメントする（Ｓ３０３）。

一方、ステップＳ３０８において、ｍｖｐＬｉｓｔＬ１［ｍｖｐ＿ｉｄｘ＿ｌ１］が候補リストの最後の候補であると判定した場合、符号化制御部１０２は、ステップＳ３０９に移行する。

ステップＳ３０９では、符号化制御部１０２は、ｍｖｐＬｉｓｔＬ０［ｍｖｐ＿ｉｄｘ＿ｌ０］が候補リストの最後の候補であるか否かを判定する（図１９では「ｍｖｐ＿ｉｄｘ＿ｌ０が全部終わった？」と記載）。例えば、図１８Ａに示す候補リストｍｖｐＬｉｓｔＬ０の場合、候補リストのサイズが３であることから、ｍｖｐ＿ｉｄｘ＿ｌ０＝＝２（＝候補リストサイズ−１）の場合、最後の候補であると判定する。ｍｖｐＬｉｓｔＬ０［ｍｖｐ＿ｉｄｘ＿ｌ０］が候補リストの最後の候補ではないと判定した場合、符号化制御部１０２は、ステップＳ３０１に戻り、ｍｖｐ＿ｉｄｘ＿ｌ０を１インクリメントする（Ｓ３０１）。

一方、ステップＳ３０９において、ｍｖｐＬｉｓｔＬ０［ｍｖｐ＿ｉｄｘ＿ｌ０］が候補リストの最後の候補であると判定した場合、符号化制御部１０２は、ステップＳ３１０に移行する。

ステップＳ３１０では、符号化制御部１０２は、ｍｖｐ_ｉｄｘ_ｌｘ（ｍｖｐ＿ｉｄｘ＿ｌ０、ｍｖｐ＿ｉｄｘ＿ｌ１）を、予測動きベクトルインデックスの組として決定する。

図２０は、実施の形態１におけるイントラ・インター符号化のフローチャートである。具体的には、図２０は、図１０のステップＳ２５０の処理の詳細を示すフローチャートである。

ステップＳ２５２では、イントラ・インター予測部１０１は、動き（検出結果）ベクトルｍｖＬＸを用いて、符号化対象ブロックの予測画像を生成し、生成した予測画像を示す予測画像信号を出力する。減算部１１１は、入力画像信号から予測画像信号を減算して残差信号を生成する。変換部１１２は、残差信号を画像領域から周波数領域に変換し、量子化部１１３は、周波数領域に変換された残差信号を量子化して量子化済残差信号を生成する。エントロピー符号化部１１４は、量子化済残差信号を符号化する。

ステップＳ２５４では、エントロピー符号化部１１４は、動き予測ベクトル候補指定インデクスの値を符号化する。つまり、エントロピー符号化部１１４は、ｍｖｐ＿ｉｄｘ＿ｌｘ（ｍｖｐ＿ｉｄｘ＿ｌ０，ｍｖｐ＿ｉｄｘ＿ｌ１）を符号化する。

ステップＳ２５６では、エントロピー符号化部１１４は、動き差分ベクトルｍｖｄＬＸを符号化する。

エントロピー符号化部１１４は、符号化した量子化済残差信号、動き予測ベクトルインデックスの組ｍｖｐ_ｉｄｘ_ｌｘ（ｍｖｐ＿ｉｄｘ＿ｌ０、ｍｖｐ＿ｉｄｘ＿ｌ１）および動き差分ベクトルｍｖｄＬＸを含む符号化ビットストリームを生成し、出力する。

（実施の形態１の効果）
このように、本実施の形態における動画像符号化方法によれば、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが属するビューが、符号化対象ピクチャが属するビューと異なる場合には、２つのビュー間における視差ベクトルを用いて、ｃｏ−ｌｏｃａｔｅｄブロックのピクチャ内の位置を補正することができる。そして、補正された位置のｃｏ−ｌｏｃａｔｅｄブロックの動きベクトルを含むエントリをリストに追加することができる。したがって、そもそも２つのピクチャが属するビューが異なるにもかかわらず、まったく同じ位置（図１６の黒丸）のブロックの動き情報を利用して符号化することが減少する。つまり、符号化対象ブロックを符号化する際に、より適切な位置のブロックをｃｏ−ｌｏｃａｔｅｄブロックとして用いることができ、符号化効率の向上が期待される。

なお、動き予測ベクトル候補のための（動き予測ベクトルモード）ためのｃｏ−ｌｏｃａｔｅｄブロックの位置の補正について説明したが、ＨＥＶＣのマージモードにおけるｃｏ−ｌｏｃａｔｅｄブロックに対しても上記の補正を適用することができる。つまり、位置が補正されたｃｏ−ｌｏｃａｔｅｄブロックの動き情報を用いて、符号化対象ブロックの予測画像が生成されてもよい。

なお、本実施の形態において、動画像符号化装置１００は、図９Ａに示す構成要素をすべて備える必要はない。例えば、動画像符号化装置１００は、図９Ｂに示す構成要素のみを備えてもよい。つまり、動画像符号化方法は、図１７に示すステップのみを含んでもよい。このような場合であっても、より適切な位置のブロックをｃｏ−ｌｏｃａｔｅｄブロックとして用いることができ、符号化効率を向上させることができる。

なお、本実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、本実施の形態の動画像符号化装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、動きベクトルを含む少なくとも１つのエントリを有するリストを用いて、動画像を符号化する動画像符号化方法であって、（ａ）符号化対象ピクチャとは異なるピクチャに含まれるブロックであって前記符号化対象ピクチャに含まれる符号化対象ブロックの位置に対応する位置のブロックであるｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと、（ｂ）前記符号化対象ピクチャとが同一のビューに属するか否かを判定する判定ステップと、前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと前記符号化対象ピクチャとが異なるビューに属する場合に、前記ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する補正ステップと、前記ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルを含むエントリを前記リストに追加する追加ステップとを含み、前記補正ステップは、前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが属するビューと、前記符号化対象ピクチャが属するビューとの間の視差ベクトルを取得する視差ベクトル取得ステップと、取得された前記視差ベクトルの分、前記ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する位置補正ステップとを含む動画像符号化方法を実行させる。

（実施の形態２）
実施の形態２では、実施の形態１の動画像符号化装置１００によって出力された符号化済ビットストリームを復号する動画像復号装置２００について説明する。

図２１Ａは、実施の形態２における動画像復号装置２００の構成を示すブロック図である。

動画像復号装置２００は、符号化済ビットストリームの入力を受信し、復号画像信号を表示順に出力する。ここでは、動画像復号装置２００は、動きベクトルを含む少なくとも１つのエントリを有するリストを用いて、符号化されたマルチビュー動画像を復号する。

図２１Ａに示すように、動画像復号装置２００は、エントロピー復号部２１１、逆量子化部２１２、逆変換部２１３、加算部２１４、メモリ２１５、イントラ・インター予測部２０１、および、復号制御部２０２を備える。図２１Ａにおいて、図９Ａの動画像符号化装置１００内の各部と同一名称の各部の機能は、図９Ａの動画像符号化装置１００内の各部の機能に対応する。

エントロピー復号部２１１は、符号化済ビットストリームの入力を受信し、量子化済残差信号および復号制御情報などを出力する。復号制御情報には、動き予測ベクトル候補指定インデクスｍｖｐ＿ｉｄｘ＿ｌｘ（ｍｖｐ＿ｉｄｘ＿ｌ０，ｍｖｐ＿ｉｄｘ＿ｌ１）、および、動き差分ベクトルｍｖｄＬＸ（ｍｖｄＬ０，ｍｖｄＬ１）が含まれる。

逆量子化部２１２および逆変換部２１３は、量子化済残差信号を処理（逆量子化および逆周波数変換）して復元済残差信号を加算部２１４に出力する。

加算部２１４は、復元済残差信号と予測画像信号とを加算し、復号画像信号を出力する。

復号制御部２０２は、図１８Ａおよび図１８Ｂに示す動き予測ベクトル候補リスト（ｍｖｐＬｉｓｔＬ０およびｍｖｐＬｉｓｔＬ１）を、後述する方法で生成する。さらに、復号制御部２０２は、生成された候補リストから、動き予測ベクトル候補指定インデクスｍｖｐ＿ｉｄｘ＿ｌｘ（ｍｖｐ＿ｉｄｘ＿ｌ０，ｍｖｐ＿ｉｄｘ＿ｌ１）に従って動き予測ベクトルを選択する。そして、復号制御部２０２は、動き予測ベクトル、および、動き差分ベクトルｍｖｄＬＸ（ｍｖｄＬ０，ｍｖｄＬ１）を用いて、動き（検出結果）ベクトルを復元する。

イントラ・インター予測部２０１は、復元された動きベクトルを用いて、復号画像信号から予測画像信号を生成し、出力する。

図２１Ｂは、実施の形態２における復号制御部２０２の構成を示すブロック図である。図２１Ｂに示すように、復号制御部２０２は、判定部２２１と、補正部２２２と、追加部２２５とを備える。

判定部２２１は、実施の形態１における判定部１２１と同様に、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと、（ｂ）復号対象ピクチャとが同一のビューに属するか否かを判定する。

補正部２２２は、実施の形態１における補正部１２２と同様に、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと復号対象ピクチャとが異なるビューに属する場合に、ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する。つまり、補正部２２２は、ｃｏ−ｌｏｃａｔｅｄブロックのピクチャ内の位置を補正する。図２１Ｂに示すように、補正部２２２は、視差ベクトル取得部２２３と、位置補正部２２４とを有する。

視差ベクトル取得部２２３は、実施の形態１における視差ベクトル取得部１２３と同様に、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが属するビューと、復号対象ピクチャが属するビューとの間の視差ベクトルを取得する。

位置補正部２２４は、実施の形態１における位置補正部１２４と同様に、取得された視差ベクトルの分、ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する。

追加部２２５は、実施の形態１における追加部１２５と同様に、ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルを含むエントリをリストに追加する。本実施の形態では、追加部２２５は、ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルを含むエントリを、動き予測ベクトルの候補として、動き予測ベクトル候補リストに追加する。

なお、追加部２２５は、ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルと参照ピクチャインデックスとを含むエントリをマージ候補としてマージ候補リストに追加してもよい。

図２２は、実施の形態２における動画像復号方法を示すフローチャートである。

ステップＳ１１００では、復号制御部２０２は、動き予測ベクトル候補リスト（ｍｖｐＬｉｓｔＸ）を生成する。このステップＳ１１００の処理は、符号化側のステップＳ２１０の処理に対応する。

ステップＳ１１３０では、復号制御部２０２は、ｍｖｐＬｉｓｔＬＸの更新処理を行い、ｍｖｐＬｉｓｔＬＸを出力する。この更新処理は、符号化側と暗黙的（ｉｍｐｌｉｃｉｔ）に共有されたルールに従う。なお、この更新処理は、実行されなくてもよい。

ステップＳ１１５４では、エントロピー復号部２１１は、符号化ビットストリームから、動き予測ベクトル候補指定インデクス（ｍｖｐ＿ｉｄｘ＿ｌｘ）を抽出する。

ステップＳ１１５６では、エントロピー復号部２１１は、符号化ビットストリームから、動き差分ベクトル（ｍｖｄＬＸ）を抽出する。

ステップＳ１１５８では、復号制御部２０２は、動きベクトル（ｍｖＬＸ）を復元する。具体的には、復号制御部２０２は、以下に示すように、動き差分ベクトルｍｖｄＬＸと動き予測ベクトルｍｖｐＬｉｓｔＬＸ［ｍｖｐ＿ｉｄｘ＿ｌｘ］とを加算して、動きベクトルｍｖＬＸを求める。

ｍｖＬＸ＝ｍｖｐＬｉｓｔＬＸ［ｍｖｐ＿ｉｄｘ＿ｌｘ］＋ｍｖｄＬＸ

ステップＳ１１６０では、イントラ・インター予測部２０１は、復元された動きベクトルを用いてインター予測を行うことにより、予測画像信号を生成する。そして、加算部２１４は、予測画像信号と復元済残差信号とを加算することにより、復号画像信号を生成する。

図２３は、実施の形態２における動き予測ベクトル候補リストの生成処理のフローチャートである。具体的には、図２３は、図２２のステップＳ１１００の処理の詳細を示すフローチャートである。

ステップＳ２３０１では、復号制御部２０２は、ブロック群Ａから、利用可能な動きベクトルを持つブロックを検索する。復号制御部２０２は、検索されたブロックの動きベクトルをｍｖｐＬｉｓｔＬＸに追加する。なお、ステップＳ２３０１の処理は、図１４のステップＳ４００と同一である。

ステップＳ２３０３では、ブロック群Ｂから、利用可能な動きベクトルを持つブロックを検索する。復号制御部２０２は、検索されたブロックの動きベクトルをｍｖｐＬｉｓｔＬＸに追加する。なお、ステップＳ２３０１の処理は、図１４のステップＳ５００と同一である。

最後に、ステップＳ２３０５では、復号制御部２０２は、必要に応じてスケーリング処理された動きベクトルであってｃｏ−ｌｏｃａｔｅｄブロックの動きベクトルを含むエントリをｍｖｐＬｉｓｔＬＸに追加する。なお、ステップＳ２３０５の処理は、図１４のステップＳ６００の処理と同一である。

図２４は、実施の形態２におけるｃｏ−ｌｏｃａｔｅｄブロックの動き情報を動き予測ベクトル候補リストへ追加する処理のフローチャートである。具体的には、図１７は、図２３のステップＳ２３０５の処理の詳細を示すフローチャートである。

まず、ステップＳ２４０１では、判定部２２１は、（ａ）ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと、（ｂ）符号化対象ブロックを含むピクチャ（符号化対象ピクチャ）と、が同一ビューに属するか否かを判定する。本実施の形態では、判定部２２１は、（ａ）参照ピクチャリストのエントリ０（１番目のエントリ）によって特定されるピクチャであって、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと、（ｂ）符号化対象ブロックを含むピクチャ（符号化対象ピクチャ）と、が同一ビューに属するか否かを判定する。

この判定は、ステップＳ９０１と同様である。例えばｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャを特定するための参照ピクチャリストがＬ１である場合（あるいはフラグにより判定された場合）、図２Ｂに示す通り、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャは、ＲｅｆＰｉｃＬｉｓｔＬ１［０］が示すピクチャ番号（ｐｉｃＮｕｍ）のピクチャである。なお、本実施の形態では、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャをＲｅｆＰｉｃＬｉｓｔＬ［１−ｃｏｌｌｏｃａｔｅｄ＿ｄｉｒｅｃｔｉｏｎ ｆｌａｇ］［０］としたが、必ずしもこれに限らない。例えば、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャを、ＲｅｆＰｉｃＬｉｓｔＬ［１−ｃｏｌｌｏｃａｔｅｄ＿ｄｉｒｅｃｔｉｏｎ ｆｌａｇ］［ｃｏｌＰｉｃ＿ｉｄｘ］としてもよい。この場合、ＳＰＳ、ＰＰＳ、またはスライスヘッダ等のヘッダ情報としてビットストリームに付随されたパラメータ（ｃｏｌＰｉｃ＿ｉｄｘ）を抽出することによって、どのピクチャをｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャとして用いるかを決定するようにしても構わない。

ここで、ステップＳ２４０１の判定結果がｔｒｕｅの場合（２つのピクチャが同一ビューに属する場合（ビューが１つしかない場合も含む））、ステップＳ２４０７に進む。

一方、ステップＳ２４０１の判定結果がｆａｌｓｅの場合（２つのピクチャが同一ビューに属さない場合）、ステップＳ２４０３に進む。

ステップＳ２４０３では、ステップＳ９０３と同様に、視差ベクトル取得部２２３は、ｃｏ−ｌｏｃａｔｅｄピクチャを含むピクチャが属するビュー（例えば、図１６におけるベースビュー０）と、復号対象ブロックを含むピクチャが属するビュー（例えば、図１６におけるノンベースビュー２）との間における視差ベクトル（ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ）を取得する。

なお、視差ベクトル取得部２２３は、前述したとおり、例えば復号対象ブロック近傍の過去の複数の視差ベクトルを統計処理したものを取得してもよいし、最新の１つの視差ベクトルを取得してもよい。また、視差ベクトル取得部２２３は、ＳＰＳ、ＰＰＳ、またはスライスヘッダ等に付随された視差ベクトルであって、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャに対する視差ベクトルを、ＳＰＳ、ＰＰＳ、またはスライスヘッダ等から抽出することにより、視差ベクトルを取得しても構わない。

次に、ステップＳ２４０５では、位置補正部２２４は、取得された視差ベクトルを用いて、ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する。このステップＳ２４０５の処理は、図１７のステップＳ９０５に対応する。

最後に、ステップＳ２４０７では、追加部２２５は、補正された位置、あるいは、そのままの位置のｃｏ−ｌｏｃａｔｅｄブロックの動き情報（動きベクトルおよび参照ピクチャインデクス）を、ｃｏ−ｌｏｃａｔｅｄブロック用のエントリ（Ｎ＝Ｃｏｌ）の値として、予測動きベクトル候補リストに追加する。

図２５は、実施の形態２におけるｃｏ−ｌｏｃａｔｅｄブロックの動き情報を動き予測ベクトル候補リストへ追加する処理をｐｓｅｕｄｏコードで示す。つまり、図２５は、図２４のフローチャートをｐｓｅｕｄｏコードで表したものである。

１行目の記述は、ｃｏ−ｌｏｃａｔｅｄブロックとして指定されたブロックを含むピクチャのピクチャ番号をｃｏｌＰｉｃの値に設定する処理を示す。ｃｏ＿ｌｏｃａｔｅｄ＿ｌ０＿ｆｌａｇは、参照ピクチャリストＬ１ではなく参照ピクチャリストＬ０をｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャを特定するために使う場合に１が設定されるフラグである。

２行目の記述は、図２４のステップＳ２４０１の判定処理を示す。すなわち、２行目の記述は、（ａ）ｃｏｌＰｉｃのピクチャが属するビューと、（ｂ）復号対象ピクチャ（ｃｕｒｒＰｉｃのピクチャ）が属するビューとが、異なる（同一でない）か、同一であるかを判定する処理を示す。

３行目の記述は、図２４のステップＳ２４０３およびステップＳ２４０５の処理を示す。すなわち、３行目の記述は、判定結果がｔｒｕｅである場合（つまり、（ａ）ｃｏｌＰｉｃのピクチャが属するビューと（ｂ）ｃｕｒｒＰｉｃのピクチャが属するビューとが異なる場合）に、ｃｏ−ｌｏｃａｔｅｄブロックの位置であるｃｏ＿ｌｏｃａｔｅｄ＿ｐｏｓｉｔｉｏｎを、ｃｕｒｒＰｉｃのピクチャが属するビューとｃｏｌＰｉｃのピクチャが属するビューとの間の最新の視差ベクトル（ｄｉｓｐａｒｉｔｙ＿ｖｅｃｔｏｒ）を用いて、ｃｏ＿ｌｏｃａｔｅｄ＿ｐｏｓｉｔｉｏｎを補正する処理を示す。

５行目の記述は、図２４のステップＳ２４０７の処理を示す。すなわち、５行目の記述は、ｃｏｌＰｉｃのピクチャ内のｃｏ＿ｌｏｃａｔｅｄ＿ｐｏｓｉｔｉｏｎが示す位置に位置するブロックの動き情報を予測動きベクトル候補リストに追加する処理を示す。

このように、本実施の形態における動画像復号方法によれば、ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが属するビューが、復号対象ピクチャが属するビューと異なる場合には、２つのビュー間における視差ベクトルを用いて、ｃｏ−ｌｏｃａｔｅｄブロックのピクチャ内の位置を補正することができる。そして、補正された位置のｃｏ−ｌｏｃａｔｅｄブロックの動きベクトルを含むエントリをリストに追加することができる。したがって、復号対象ブロックを復号する際に、より適切な位置のブロックをｃｏ−ｌｏｃａｔｅｄブロックとして用いることができ、符号化効率を向上させることができる。

さらに、このｃｏ−ｌｏｃａｔｅｄブロックの位置の補正方法は、暗示的に符号化側と復号化側とで共有することができるので、シンタクスの追加を要さない。したがって、シンタクスが追加されなくても、ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正することができ、ｃｏ−ｌｏｃａｔｅｄブロックの動き情報を用いた動き予測ベクトルの予測精度の向上が期待される。

なお、動き予測ベクトル候補のための（動き予測ベクトルモード）ためのｃｏ−ｌｏｃａｔｅｄブロックの位置の補正について説明したが、ＨＥＶＣのマージモードにおけるｃｏ−ｌｏｃａｔｅｄブロックに対しても上記の補正を適用することができる。つまり、位置が補正されたｃｏ−ｌｏｃａｔｅｄブロックの動き情報を用いて、復号対象ブロックの予測画像が生成されてもよい。

なお、本実施の形態において、動画像復号装置２００は、図２１Ａに示す構成要素をすべて備える必要はない。例えば、動画像復号装置２００は、図２１Ｂに示す構成要素のみを備えてもよい。つまり、動画像復号方法は、図２４に示すステップのみを含んでもよい。このような場合であっても、より適切な位置のブロックをｃｏ−ｌｏｃａｔｅｄブロックとして用いることができ、符号化効率を向上させることができる。

なお、ｃｏ−ｌｏｃａｔｅｄブロックの位置は、復号対象ブロックの位置と厳密に同じ位置である必要はない。例えば、図２６のような位置関係のものもｃｏ−ｌｏｃａｔｅｄブロックの位置として含まれる。本実施の形態では、いずれの位置にしても、２つのビューの違いに応じて基準とする位置を、視差ベクトルを用いて補正することにより、符号化効率を向上させることができる。

なお、本実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、本実施の形態の動画像復号装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、動きベクトルを含む少なくとも１つのエントリを有するリストを用いて、符号化された動画像を復号する動画像復号方法であって、（ａ）復号対象ピクチャとは異なるピクチャに含まれるブロックであって前記復号対象ピクチャに含まれる復号対象ブロックの位置に対応する位置のブロックであるｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと、（ｂ）前記復号対象ピクチャとが同一のビューに属するか否かを判定する判定ステップと、前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと前記復号対象ピクチャとが異なるビューに属する場合に、前記ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する補正ステップと、前記ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルを含むエントリを前記リストに追加する追加ステップとを含み、前記補正ステップは、前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが属するビューと、前記復号対象ピクチャが属するビューとの間の視差ベクトルを取得する視差ベクトル取得ステップと、取得された前記視差ベクトルの分、前記ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する位置補正ステップとを含む動画像復号方法を実行させる。

以上、１つまたは複数の態様に係る動画像符号化装置および動画像復号装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、１つまたは複数の態様の範囲内に含まれてもよい。

例えば、上記実施の形態１および２において、動画像符号化装置および動画像復号装置は、空間的に隣接するブロック（隣接ブロック）から導出された動きベクトルを含むエントリをリストに追加する場合に、ブロック群Ａに含まれるブロックから導出された動きベクトルを含むエントリ、および、ブロック群Ｂに含まれるブロックから導出されて動きベクトルを含むエントリの順にエントリを追加していたが、必ずしもこのような順番で追加する必要はない。例えば、動画像符号化装置および動画像復号装置は、ブロック群Ａとブロック群Ｂとを区別せずに、エントリを追加してもよい。また、３以上の隣接ブロックからそれぞれ導出された動きベクトルを含むエントリがリストに追加されてもよい。

また、上記実施の形態１および２において、動き予測ベクトル候補リストが有する各エントリには、参照ピクチャインデックスが含まれていたが、参照ピクチャインデックスは含まれなくてもよい。

（実施の形態３）
上記各実施の形態で示した動画像符号化方法（画像符号化方法）または動画像復号化方法（画像復号方法）の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。

さらにここで、上記各実施の形態で示した動画像符号化方法（画像符号化方法）や動画像復号化方法（画像復号方法）の応用例とそれを用いたシステムを説明する。当該システムは、画像符号化方法を用いた画像符号化装置、及び画像復号方法を用いた画像復号装置からなる画像符号化復号装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。

図２７は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０６、ex１０７、ex１０８、ex１０９、ex１１０が設置されている。

このコンテンツ供給システムex１００は、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０６からex１１０を介して、コンピュータex１１１、ＰＤＡ（Personal Digital Assistant）ex１１２、カメラex１１３、携帯電話ex１１４、ゲーム機ex１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図２７のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ex１０６からex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラex１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ex１１４は、ＧＳＭ（登録商標）（Global System for Mobile Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＬＴＥ（Long Term Evolution）方式、ＨＳＰＡ(High Speed Packet Access)の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

コンテンツ供給システムex１００では、カメラex１１３等が基地局ex１０９、電話網ex１０４を通じてストリーミングサーバex１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラex１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い（即ち、本発明の一態様に係る画像符号化装置として機能する）、ストリーミングサーバex１０３に送信する。一方、ストリーミングサーバex１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４、ゲーム機ex１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。

なお、撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするストリーミングサーバex１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバex１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラex１１３に限らず、カメラex１１６で撮影した静止画像および／または動画像データを、コンピュータex１１１を介してストリーミングサーバex１０３に送信してもよい。この場合の符号化処理はカメラex１１６、コンピュータex１１１、ストリーミングサーバex１０３のいずれで行ってもよいし、互いに分担して行ってもよい。

また、これら符号化・復号化処理は、一般的にコンピュータex１１１や各機器が有するＬＳＩex５００において処理する。ＬＳＩex５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ex１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ex１１４が有するＬＳＩex５００で符号化処理されたデータである。

また、ストリーミングサーバex１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。

以上のようにして、コンテンツ供給システムex１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムex１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。

なお、コンテンツ供給システムex１００の例に限らず、図２８に示すように、デジタル放送用システムex２００にも、上記各実施の形態の少なくとも動画像符号化装置（画像符号化装置）または動画像復号化装置（画像復号装置）のいずれかを組み込むことができる。具体的には、放送局ex２０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ex２０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである（即ち、本発明の一態様に係る画像符号化装置によって符号化されたデータである）。これを受けた放送衛星ex２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナex２０４が受信する。受信した多重化データを、テレビ（受信機）ex３００またはセットトップボックス（ＳＴＢ）ex２１７等の装置が復号化して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。

また、ＤＶＤ、ＢＤ等の記録メディアex２１５に記録した多重化データを読み取り復号化する、または記録メディアex２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダex２１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタex２１９に表示され、多重化データが記録された記録メディアex２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルex２０３または衛星／地上波放送のアンテナex２０４に接続されたセットトップボックスex２１７内に動画像復号化装置を実装し、これをテレビのモニタex２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。

図２９は、上記各実施の形態で説明した動画像復号化方法および動画像符号化方法を用いたテレビ（受信機）ex３００を示す図である。テレビex３００は、上記放送を受信するアンテナex２０４またはケーブルex２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナex３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ex３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ex３０６で符号化された映像データ、音声データを多重化する多重／分離部ex３０３を備える。

また、テレビex３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ex３０４、映像信号処理部ex３０５（本発明の一態様に係る画像符号化装置または画像復号装置として機能する）を有する信号処理部ex３０６と、復号化した音声信号を出力するスピーカex３０７、復号化した映像信号を表示するディスプレイ等の表示部ex３０８を有する出力部ex３０９とを有する。さらに、テレビex３００は、ユーザ操作の入力を受け付ける操作入力部ex３１２等を有するインタフェース部ex３１７を有する。さらに、テレビex３００は、各部を統括的に制御する制御部ex３１０、各部に電力を供給する電源回路部ex３１１を有する。インタフェース部ex３１７は、操作入力部ex３１２以外に、リーダ／レコーダex２１８等の外部機器と接続されるブリッジex３１３、ＳＤカード等の記録メディアex２１６を装着可能とするためのスロット部ex３１４、ハードディスク等の外部記録メディアと接続するためのドライバex３１５、電話網と接続するモデムex３１６等を有していてもよい。なお記録メディアex２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビex３００の各部は同期バスを介して互いに接続されている。

まず、テレビex３００がアンテナex２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビex３００は、リモートコントローラex２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ex３１０の制御に基づいて、変調／復調部ex３０２で復調した多重化データを多重／分離部ex３０３で分離する。さらにテレビex３００は、分離した音声データを音声信号処理部ex３０４で復号化し、分離した映像データを映像信号処理部ex３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ex３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファex３１８、ex３１９等に一旦これらの信号を蓄積するとよい。また、テレビex３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアex２１５、ex２１６から多重化データを読み出してもよい。次に、テレビex３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビex３００は、リモートコントローラex２２０等からのユーザ操作を受け、制御部ex３１０の制御に基づいて、音声信号処理部ex３０４で音声信号を符号化し、映像信号処理部ex３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ex３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファex３２０、ex３２１等に一旦これらの信号を蓄積するとよい。なお、バッファex３１８、ex３１９、ex３２０、ex３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ex３０２や多重／分離部ex３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。

また、テレビex３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビex３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。

また、リーダ／レコーダex２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビex３００、リーダ／レコーダex２１８のいずれで行ってもよいし、テレビex３００とリーダ／レコーダex２１８が互いに分担して行ってもよい。

一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ex４００の構成を図３０に示す。情報再生／記録部ex４００は、以下に説明する要素ex４０１、ex４０２、ex４０３、ex４０４、ex４０５、ex４０６、ex４０７を備える。光ヘッドex４０１は、光ディスクである記録メディアex２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアex２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ex４０２は、光ヘッドex４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ex４０３は、光ヘッドex４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアex２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファex４０４は、記録メディアex２１５に記録するための情報および記録メディアex２１５から再生した情報を一時的に保持する。ディスクモータex４０５は記録メディアex２１５を回転させる。サーボ制御部ex４０６は、ディスクモータex４０５の回転駆動を制御しながら光ヘッドex４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ex４０７は、情報再生／記録部ex４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ex４０７が、バッファex４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ex４０２、再生復調部ex４０３、サーボ制御部ex４０６を協調動作させながら、光ヘッドex４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ex４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。

以上では、光ヘッドex４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。

図３１に光ディスクである記録メディアex２１５の模式図を示す。記録メディアex２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックex２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックex２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックex２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアex２１５は、データ記録領域ex２３３、内周領域ex２３２、外周領域ex２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ex２３３であり、データ記録領域ex２３３より内周または外周に配置されている内周領域ex２３２と外周領域ex２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ex４００は、このような記録メディアex２１５のデータ記録領域ex２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。

以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。

また、デジタル放送用システムex２００において、アンテナex２０５を有する車ex２１０で衛星ex２０２等からデータを受信し、車ex２１０が有するカーナビゲーションex２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションex２１１の構成は例えば図２９に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータex１１１や携帯電話ex１１４等でも考えられる。

図３２Ａは、上記実施の形態で説明した動画像復号化方法および動画像符号化方法を用いた携帯電話ex１１４を示す図である。携帯電話ex１１４は、基地局ex１１０との間で電波を送受信するためのアンテナex３５０、映像、静止画を撮ることが可能なカメラ部ex３６５、カメラ部ex３６５で撮像した映像、アンテナex３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex３５８を備える。携帯電話ex１１４は、さらに、操作キー部ex３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ex３５７、音声を入力するためのマイク等である音声入力部ex３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ex３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ex３６４を備える。

さらに、携帯電話ex１１４の構成例について、図３２Ｂを用いて説明する。携帯電話ex１１４は、表示部ex３５８及び操作キー部ex３６６を備えた本体部の各部を統括的に制御する主制御部ex３６０に対して、電源回路部ex３６１、操作入力制御部ex３６２、映像信号処理部ex３５５、カメラインタフェース部ex３６３、ＬＣＤ（Liquid Crystal Display）制御部ex３５９、変調／復調部ex３５２、多重／分離部ex３５３、音声信号処理部ex３５４、スロット部ex３６４、メモリ部ex３６７がバスex３７０を介して互いに接続されている。

電源回路部ex３６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ex１１４を動作可能な状態に起動する。

携帯電話ex１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ex３６０の制御に基づいて、音声通話モード時に音声入力部ex３５６で収音した音声信号を音声信号処理部ex３５４でデジタル音声信号に変換し、これを変調／復調部ex３５２でスペクトラム拡散処理し、送信／受信部ex３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex３５０を介して送信する。また携帯電話ex１１４は、音声通話モード時にアンテナex３５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ex３５２でスペクトラム逆拡散処理し、音声信号処理部ex３５４でアナログ音声信号に変換した後、これを音声出力部ex３５７から出力する。

さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ex３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ex３６２を介して主制御部ex３６０に送出される。主制御部ex３６０は、テキストデータを変調／復調部ex３５２でスペクトラム拡散処理をし、送信／受信部ex３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex３５０を介して基地局ex１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ex３５８に出力される。

データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ex３５５は、カメラ部ex３６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し（即ち、本発明の一態様に係る画像符号化装置として機能する）、符号化された映像データを多重／分離部ex３５３に送出する。また、音声信号処理部ex３５４は、映像、静止画等をカメラ部ex３６５で撮像中に音声入力部ex３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ex３５３に送出する。

多重／分離部ex３５３は、映像信号処理部ex３５５から供給された符号化された映像データと音声信号処理部ex３５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ex３５２でスペクトラム拡散処理をし、送信／受信部ex３５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex３５０を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナex３５０を介して受信された多重化データを復号化するために、多重／分離部ex３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスex３７０を介して符号化された映像データを映像信号処理部ex３５５に供給するとともに、符号化された音声データを音声信号処理部ex３５４に供給する。映像信号処理部ex３５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し（即ち、本発明の一態様に係る画像復号装置として機能する）、ＬＣＤ制御部ex３５９を介して表示部ex３５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ex３５４は、音声信号を復号し、音声出力部ex３５７から音声が出力される。

また、上記携帯電話ex１１４等の端末は、テレビex３００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムex２００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。

このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

（実施の形態４）
上記各実施の形態で示した動画像符号化方法または装置と、ＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１など異なる規格に準拠した動画像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。

ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。

この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す動画像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。

図３３は、多重化データの構成を示す図である。図３３に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラフィックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した動画像符号化方法または装置、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠した動画像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭのなどの方式で符号化されている。

多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副音声に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。

図３４は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームex２３５、複数のオーディオフレームからなるオーディオストリームex２３８を、それぞれＰＥＳパケット列ex２３６およびex２３９に変換し、ＴＳパケットex２３７およびex２４０に変換する。同じくプレゼンテーショングラフィックスストリームex２４１およびインタラクティブグラフィックスex２４４のデータをそれぞれＰＥＳパケット列ex２４２およびex２４５に変換し、さらにＴＳパケットex２４３およびex２４６に変換する。多重化データex２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。

図３５は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図３５における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図３５の矢印ｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。

図３６は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤなどの情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットであり、上記ＰＥＳパケットは分割されＴＳペイロードに格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成し、多重化データに書き込まれる。ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）などの情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図３６下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。

また、多重化データに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などがある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。

図３７はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。

記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。

多重化データ情報ファイルは、図３８に示すように多重化データの管理情報であり、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。

多重化データ情報は図３８に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳであり、再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。

ストリーム属性情報は図３９に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤ毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。

本実施の形態においては、上記多重化データのうち、ＰＭＴに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した動画像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した動画像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。

また、本実施の形態における動画像復号化方法のステップを図４０に示す。ステップexＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、多重化データ情報に含まれるビデオストリーム属性情報を取得する。次に、ステップexＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成されたものであると判断された場合には、ステップexＳ１０２において、上記各実施の形態で示した動画像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠するものであることを示している場合には、ステップexＳ１０３において、従来の規格に準拠した動画像復号方法により復号を行う。

このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した動画像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、本実施の形態で示した動画像符号化方法または装置、または、動画像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。

（実施の形態５）
上記各実施の形態で示した動画像符号化方法および装置、動画像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図４１に１チップ化されたＬＳＩex５００の構成を示す。ＬＳＩex５００は、以下に説明する要素ex５０１、ex５０２、ex５０３、ex５０４、ex５０５、ex５０６、ex５０７、ex５０８、ex５０９を備え、各要素はバスex５１０を介して接続している。電源回路部ex５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。

例えば符号化処理を行う場合には、ＬＳＩex５００は、ＣＰＵex５０２、メモリコントローラex５０３、ストリームコントローラex５０４、駆動周波数制御部ex５１２等を有する制御部ex５０１の制御に基づいて、ＡＶ Ｉ／Ｏex５０９によりマイクex１１７やカメラex１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリex５１１に蓄積される。制御部ex５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ex５０７に送られ、信号処理部ex５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ex５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏex５０６から外部に出力する。この出力された多重化データは、基地局ex１０７に向けて送信されたり、または記録メディアex２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファex５０８にデータを蓄積するとよい。

なお、上記では、メモリex５１１がＬＳＩex５００の外部の構成として説明したが、ＬＳＩex５００の内部に含まれる構成であってもよい。バッファex５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩex５００は１チップ化されてもよいし、複数チップ化されてもよい。

また、上記では、制御部ex５０１が、ＣＰＵex５０２、メモリコントローラex５０３、ストリームコントローラex５０４、駆動周波数制御部ex５１２等を有するとしているが、制御部ex５０１の構成は、この構成に限らない。例えば、信号処理部ex５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ex５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵex５０２が信号処理部ex５０７、または信号処理部ex５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ex５０１は、信号処理部ex５０７、またはその一部を有するＣＰＵex５０２を備える構成となる。

なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

（実施の形態６）
上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、ＬＳＩex５００において、従来の規格に準拠する映像データを復号する際のＣＰＵex５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。

この課題を解決するために、テレビex３００、ＬＳＩex５００などの動画像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図４２は、本実施の形態における構成ex８００を示している。駆動周波数切替え部ex８０３は、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ex８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ex８０２に対し、映像データを復号するよう指示する。

より具体的には、駆動周波数切替え部ex８０３は、図４１のＣＰＵex５０２と駆動周波数制御部ex５１２から構成される。また、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ex８０１、および、従来の規格に準拠する復号処理部ex８０２は、図４１の信号処理部ex５０７に該当する。ＣＰＵex５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵex５０２からの信号に基づいて、駆動周波数制御部ex５１２は、駆動周波数を設定する。また、ＣＰＵex５０２からの信号に基づいて、信号処理部ex５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、実施の形態４で記載した識別情報を利用することが考えられる。識別情報に関しては、実施の形態４で記載したものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵex５０２における駆動周波数の選択は、例えば、図４４のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファex５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵex５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。

図４３は、本実施の形態の方法を実施するステップを示している。まず、ステップexＳ２００では、信号処理部ex５０７において、多重化データから識別情報を取得する。次に、ステップexＳ２０１では、ＣＰＵex５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップexＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵex５０２が駆動周波数制御部ex５１２に送る。そして、駆動周波数制御部ex５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ステップexＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵex５０２が駆動周波数制御部ex５１２に送る。そして、駆動周波数制御部ex５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。

さらに、駆動周波数の切替えに連動して、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を低く設定することが考えられる。

また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、ＭＰＥＧ４−ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した動画像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。

さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を高く設定し、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵex５０２の駆動を停止させることなく、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵex５０２の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵex５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。

このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩex５００またはＬＳＩex５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。

（実施の形態７）
テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩex５００の信号処理部ex５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ex５０７を個別に用いると、ＬＳＩex５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。

この課題を解決するために、上記各実施の形態で示した動画像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図４５Ａのex９００に示す。例えば、上記各実施の形態で示した動画像復号方法と、ＭＰＥＧ４−ＡＶＣ規格に準拠する動画像復号方法とは、エントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、ＭＰＥＧ４−ＡＶＣ規格に対応する復号処理部ex９０２を共有し、ＭＰＥＧ４−ＡＶＣ規格に対応しない、本発明の一態様に特有の他の処理内容については、専用の復号処理部ex９０１を用いるという構成が考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した動画像復号化方法を実行するための復号処理部を共有し、ＭＰＥＧ４−ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。

また、処理を一部共有化する他の例を図４５Ｂのex１０００に示す。この例では、本発明の一態様に特有の処理内容に対応した専用の復号処理部ex１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ex１００２と、本発明の一態様に係る動画像復号方法と他の従来規格の動画像復号方法とに共通する処理内容に対応した共用の復号処理部ex１００３とを用いる構成としている。ここで、専用の復号処理部ex１００１、ex１００２は、必ずしも本発明の一態様、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、本実施の形態の構成を、ＬＳＩex５００で実装することも可能である。

このように、本発明の一態様に係る動画像復号方法と、従来の規格の動画像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。

本発明の一態様に係る動画像符号化装置および動画像復号装置は、例えば、テレビジョン受像機、デジタルビデオレコーダー、カーナビゲーション、携帯電話、デジタルカメラ、または、デジタルビデオカメラ等に利用可能である。

１００ 動画像符号化装置
１０１、２０１ イントラ・インター予測部
１０２ 符号化制御部
１１１ 減算部
１１２ 変換部
１１３ 量子化部
１１４ エントロピー符号化部
１１５、２１２ 逆量子化部
１１６、２１３ 逆変換部
１１７、２１４ 加算部
１１８、２１５ メモリ
１２１、２２１ 判定部
１２２、２２２ 補正部
１２３、２２３ 視差ベクトル取得部
１２４、２２４ 位置補正部
１２５、２２５ 追加部
２００ 動画像復号装置
２０２ 復号制御部
２１１ エントロピー復号部

Claims (5)

1. 複数の動きベクトルを含むリストを用いて、動画像を符号化する動画像符号化方法であって、
   （ａ）符号化対象ピクチャとは異なるピクチャに含まれるブロックであって前記符号化対象ピクチャに含まれる符号化対象ブロックの位置に対応する位置のブロックであるｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャであって、参照ピクチャリストの１番目のピクチャと、（ｂ）前記符号化対象ピクチャとが同一のビューに属するか否かを判定する判定ステップと、
   前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと前記符号化対象ピクチャとが異なるビューに属すると前記判定ステップにおいて判定された場合に、前記ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する補正ステップと、
   前記ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルを前記リストに追加する追加ステップと、
   前記リストから、前記符号化対象ブロックの符号化のために用いる動きベクトルを選択する選択ステップと、
   選択された前記動きベクトルを用いて前記符号化対象ブロックを符号化する符号化ステップと、を含み、
   前記補正ステップは、
   前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが属するビューと、前記符号化対象ピクチャが属するビューとの間の視差ベクトルを取得する視差ベクトル取得ステップと、
   取得された前記視差ベクトルの分、前記ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する位置補正ステップとを含み、
   前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと前記符号化対象ピクチャとが異なるビューに属する場合に、前記リストには、前記符号化対象ピクチャと同一のビューに属するピクチャから導出される動きベクトルと、前記符号化対象ピクチャと異なるビューに属する前記ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルと、が含まれる、
   動画像符号化方法。
2. 複数の動きベクトルを含むリストを用いて、動画像を符号化する動画像符号化装置であって、
   （ａ）符号化対象ピクチャとは異なるピクチャに含まれるブロックであって前記符号化対象ピクチャに含まれる符号化対象ブロックの位置に対応する位置のブロックであるｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャであって、参照ピクチャリストの１番目のピクチャと、（ｂ）前記符号化対象ピクチャとが同一のビューに属するか否かを判定する判定部と、
   前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと前記符号化対象ピクチャとが異なるビューに属すると前記判定部において判定された場合に、前記ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する補正部と、
   前記ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルを前記リストに追加する追加部と、
   前記リストから、前記符号化対象ブロックの符号化のために用いる動きベクトルを選択する選択部と、
   選択された前記動きベクトルを用いて前記符号化対象ブロックを符号化する符号化部と、を備え、
   前記補正部は、
   前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが属するビューと、前記符号化対象ピクチャが属するビューとの間の視差ベクトルを取得する視差ベクトル取得部と、
   取得された前記視差ベクトルの分、前記ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する位置補正部とを有し、
   前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと前記対象ピクチャとが異なるビューに属する場合に、前記リストには、前記符号化対象ピクチャと同一のビューに属するピクチャから導出される動きベクトルと、前記符号化対象ピクチャと異なるビューに属する前記ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルと、が含まれる、
   動画像符号化装置。
3. 複数の動きベクトルを含むリストを用いて、符号化された動画像を復号する動画像復号方法であって、
   （ａ）復号対象ピクチャとは異なるピクチャに含まれるブロックであって前記復号対象ピクチャに含まれる復号対象ブロックの位置に対応する位置のブロックであるｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャであって、参照ピクチャリストの１番目のピクチャと、（ｂ）前記復号対象ピクチャとが同一のビューに属するか否かを判定する判定ステップと、
   前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと前記復号対象ピクチャとが異なるビューに属すると前記判定ステップにおいて判定された場合に、前記ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する補正ステップと、
   前記ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルを前記リストに追加する追加ステップと、
   前記リストから、前記復号対象ブロックの復号のために用いる動きベクトルを選択する選択ステップと、
   選択された前記動きベクトルを用いて前記復号対象ブロックを復号する復号ステップと、を含み、
   前記補正ステップは、
   前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが属するビューと、前記復号対象ピクチャが属するビューとの間の視差ベクトルを取得する視差ベクトル取得ステップと、
   取得された前記視差ベクトルの分、前記ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する位置補正ステップとを含み、
   前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと前記復号対象ピクチャとが異なるビューに属する場合に、前記リストには、前記復号対象ピクチャと同一のビューに属するピクチャから導出される動きベクトルと、前記復号対象ピクチャと異なるビューに属する前記ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルと、が含まれる、
   動画像復号方法。
4. 複数の動きベクトルを含むリストを用いて、符号化された動画像を復号する動画像復号装置であって、
   （ａ）復号対象ピクチャとは異なるピクチャに含まれるブロックであって前記復号対象ピクチャに含まれる復号対象ブロックの位置に対応する位置のブロックであるｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャであって、参照ピクチャリストの１番目のピクチャと、（ｂ）前記復号対象ピクチャとが同一のビューに属するか否かを判定する判定部と、
   前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと前記復号対象ピクチャとが異なるビューに属すると前記判定部において判定された場合に、前記ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する補正部と、
   前記ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルを前記リストに追加する追加部と、
   前記リストから、前記復号対象ブロックの復号のために用いる動きベクトルを選択する選択部と、
   選択された前記動きベクトルを用いて前記復号対象ブロックを復号する復号部と、を備え、
   前記補正部は、
   前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャが属するビューと、前記復号対象ピクチャが属するビューとの間の視差ベクトルを取得する視差ベクトル取得部と、
   取得された前記視差ベクトルの分、前記ｃｏ−ｌｏｃａｔｅｄブロックの位置を補正する位置補正部とを有し、
   前記ｃｏ−ｌｏｃａｔｅｄブロックを含むピクチャと前記復号対象ピクチャとが異なるビューに属する場合に、前記リストには、前記復号対象ピクチャと同一のビューに属するピクチャから導出される動きベクトルと、前記復号対象ピクチャと異なるビューに属する前記ｃｏ−ｌｏｃａｔｅｄブロックから導出される動きベクトルと、が含まれる、
   動画像復号装置。
5. 請求項２に記載の動画像符号化装置と、
   請求項４に記載の動画像復号装置とを備える
   動画像符号化復号装置。

Images