JP2013121167A

JP2013121167A - 画像符号化装置、画像符号化方法及び画像符号化プログラム

Info

Publication number: JP2013121167A
Application number: JP2011269641A
Authority: JP
Inventors: Hideki Takehara; 英樹竹原; Shigeru Fukushima; 茂福島; Hiroya Nakamura; 博哉中村; Katsuyoshi Nishitani; 勝義西谷
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2011-12-09
Filing date: 2011-12-09
Publication date: 2013-06-17

Abstract

【課題】隣接する複数の予測ブロックをまとめて動き補償予測する場合、並列的な動き補償予測処理が行えなかった。
【解決手段】予測ベクトル候補リスト生成部１３０は、符号化対象の予測ブロックと同一の符号化ブロックに属するブロックである同一符号化ブロック候補を除く符号化対象の予測ブロックに隣接する符号化済みの複数の隣接ブロックの動きベクトルから予測ベクトル候補を導出し、予測ベクトル候補リストを生成する。代替予測ベクトル候補補充部１５５は、同一符号化ブロック候補が検出された場合には、符号化ブロック内の符号化対象の予測ブロックとは異なる予測ブロックに隣接する符号化済みの所定の隣接ブロックの動きベクトルから導出した予測ベクトル候補を、同一符号化ブロック候補の動きベクトルから導出される予測ベクトル候補の代わりとなる代替予測ベクトル候補としてベクトル候補リストに追加する。
【選択図】図２９

Description

本発明は、動き補償予測を用いた動画像符号化技術に関し、特に動き補償予測で利用する動き情報を符号化する画像符号化装置、画像符号化方法および画像符号化プログラムに関する。

一般的な動画像圧縮符号化では動き補償予測が利用される。動き補償予測は、対象画像を細かいブロックに分割し、復号済みの画像を参照画像として、動きベクトルで示される動き量に基づいて、対象画像の処理対象ブロックから参照画像の参照ブロックに移動した位置の信号を予測信号として生成する技術である。動き補償予測には１本の動きベクトルを利用して単予測に行うものと、２本の動きベクトルを利用して双予測に行うものがある。

動きベクトルについては、処理対象ブロックに隣接する符号化済みのブロックの動きベクトルを予測動きベクトル（単に「予測ベクトル」ともいう）とし、処理対象ブロックの動きベクトルと予測ベクトルとの差分を求め、差分ベクトルを符号化ベクトルとして伝送することで圧縮効率を向上させている。

ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４（以下、ＭＰＥＧ−４ＡＶＣ）のような動画像圧縮符号化では、動き補償予測を行うブロックサイズを細かく且つ多様にすることで、精度の高い動き補償予測を可能としている。一方、ブロックサイズを小さくすることで、符号化ベクトルの符号量は大きくなる問題があった。

そこで、ＭＰＥＧ−４ＡＶＣでは、時間方向の動きの連続性に着目し、処理対象ブロックと同一位置にある参照画像のブロックが有する動きベクトルを処理対象ブロックの動きベクトルとして利用して、符号化ベクトルを伝送することなく動き補償予測を実現する時間ダイレクト動き補償予測が用いられている。

また、特許文献１では、空間方向の動きの連続性に着目し、処理対象ブロックに隣接する処理済みのブロックが有する動きベクトルを処理対象ブロックの動きベクトルとして利用して、符号化ベクトルを伝送することなく動き補償予測を実現する方法が開示されている。

特開平１０−２７６４３９号公報

特許文献１に記載された方法においては、処理対象予測ブロックに隣接する処理済みのブロックが有する動きベクトルを処理対象予測ブロックの動きベクトルとして利用しており、隣接する複数の予測ブロックをまとめて動き補償予測を行うようにした場合に、並列的な動き補償予測処理が行えない場合がある。

本発明はこうした状況に鑑みてなされたものであり、その目的は、処理対象予測ブロックに隣接する処理済みのブロックが有する動きベクトルを処理対象予測ブロックの動きベクトル生成に利用しながら、隣接する複数の予測ブロックをまとめて動き補償予測する動き補償予測の並立処理を高効率に実現することのできる動画像符号化および動画像復号技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像符号化装置は、分割タイプに基づいて符号化ブロックを複数の予測ブロックに分割して動き補償予測を行う画像符号化装置であって、符号化対象の予測ブロックに隣接する、符号化順で前記符号化対象の予測ブロックよりも先に符号化される複数の隣接ブロックの中から、前記符号化対象の予測ブロックと同一の符号化ブロックに属するブロックを同一符号化ブロック候補として検出する同一符号化ブロック候補判定部（１５４）と、前記符号化対象の予測ブロックで利用するための予測ベクトル候補として、前記同一符号化ブロック候補を除く前記符号化対象の予測ブロックに隣接する符号化済みの複数の隣接ブロックの動きベクトルから予測ベクトル候補を導出し、予測ベクトル候補リストを生成する予測ベクトル候補リスト生成部（１３０）と、前記同一符号化ブロック候補が検出された場合には、前記符号化ブロック内の前記符号化対象の予測ブロックとは異なる予測ブロックに隣接する符号化済みの所定の隣接ブロックの動きベクトルから導出した予測ベクトル候補を、前記同一符号化ブロック候補の動きベクトルから導出される予測ベクトル候補の代わりとなる代替予測ベクトル候補として前記予測ベクトル候補リストに追加する代替予測ベクトル候補補充部（１５５）と、前記予測ベクトル候補リストから１つの予測ベクトル候補を選択し、前記符号化対象の予測ブロックの予測ベクトルとする予測ベクトル選択部（１３１）と、前記選択された予測ベクトル候補を前記予測ベクトル候補リストにおいて特定するためのインデックスを候補特定インデックスとして符号化する符号化部（１０４）とを備える。

本発明の別の態様は、画像符号化方法である。この方法は、分割タイプに基づいて符号化ブロックを複数の予測ブロックに分割して動き補償予測を行う画像符号化方法であって、符号化対象の予測ブロックに隣接する、符号化順で前記符号化対象の予測ブロックよりも先に符号化される複数の隣接ブロックの中から、前記符号化対象の予測ブロックと同一の符号化ブロックに属するブロックを同一符号化ブロック候補として検出する同一符号化ブロック候補判定ステップと、前記符号化対象の予測ブロックで利用するための予測ベクトル候補として、前記同一符号化ブロック候補を除く前記符号化対象の予測ブロックに隣接する符号化済みの複数の隣接ブロックの動きベクトルから予測ベクトル候補を導出し、予測ベクトル候補リストを生成する予測ベクトル候補リスト生成ステップと、前記同一符号化ブロック候補が検出された場合には、前記符号化ブロック内の前記符号化対象の予測ブロックとは異なる予測ブロックに隣接する符号化済みの所定の隣接ブロックの動きベクトルから導出した予測ベクトル候補を、前記同一符号化ブロック候補の動きベクトルから導出される予測ベクトル候補の代わりとなる代替予測ベクトル候補として前記予測ベクトル候補リストに追加する代替予測ベクトル候補補充ステップと、前記予測ベクトル候補リストから１つの予測ベクトル候補を選択し、前記符号化対象の予測ブロックの予測ベクトルとする予測ベクトル選択ステップと、前記選択された予測ベクトル候補を前記予測ベクトル候補リストにおいて特定するためのインデックスを候補特定インデックスとして符号化する符号化ステップとを備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、処理対象予測ブロックに隣接する処理済みのブロックが有する動きベクトルを処理対象予測ブロックの動きベクトル生成に利用しながら、隣接する複数の予測ブロックをまとめて動き補償予測する動き補償予測の並立処理を高効率に実現することができる。

図１（ａ）、（ｂ）は、符号化ブロックを説明する図である。図２（ａ）〜（ｄ）は、予測ブロックサイズタイプを説明する図である。予測ブロックサイズタイプを説明する図である。予測符号化モードを説明する図である。マージインデックスと符号列の関係を説明する図である。予測ブロックのシンタックスの一例を説明する図である。実施の形態１に係る動画像符号化装置の構成を示す図である。図７の動き情報生成部の構成を示す図である。図８のマージモード決定部の構成を説明する図である。処理対象の予測ブロックサイズが１６画素×１６画素である場合の処理対象の予測ブロックの隣接ブロックを示す図である。処理対象の予測ブロックサイズが１６画素×１６画素である場合の処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上の予測ブロック内のブロックとその周辺ブロックを示す図である。図９の結合動き情報候補リスト生成部の構成を説明する図である。図９の結合動き情報候補リスト生成部の動作を説明するフローチャートである。図１４（ａ）から（ｄ）は劣性結合動き情報候補を説明する図である。劣性結合動き情報候補の判定処理を説明するフローチャートである。図１２の空間結合動き情報候補生成部の動作を説明するフローチャートである。図１２の代替結合動き情報候補補充部の動作を説明するフローチャートである。図１８（ａ）から（ｅ）は、代替結合動き情報候補を説明するための図である。図１２の時間結合動き情報候補生成部の動作を説明するフローチャートである。図１２の第１結合動き情報候補補充部の動作を説明するフローチャートである。組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係を説明する図である。図１２の第２結合動き情報候補補充部の動作を説明するフローチャートである。実施の形態１に係る動画像復号装置の構成を示す図である。図２３の動き情報再生部の構成を示す図である。図２４の結合動き情報再生部の構成を示す図である。代替結合動き情報候補補充部の動作を説明するフローチャートである。実施の形態１の変形例１の結合動き情報候補リスト生成部の構成を説明する図である。予測ベクトルモード決定部の構成を示す。予測ベクトル候補リスト生成部の構成を説明する図である。予測ベクトル候補リスト生成部の動作を説明するフローチャートである。図３１（ａ）から（ｅ）は同一ＣＵ候補を説明するための図である。空間予測ベクトル候補生成部の動作を説明するフローチャートである。空間スケーリング予測ベクトル候補生成部の動作を説明するフローチャートである。図３４（ａ）と（ｂ）は予測ブロックサイズタイプがＮ×Ｎの場合の劣性結合動き情報候補と同一ＣＵ候補を説明する図である。実施の形態２の変形例２の劣性結合動き情報候補判定部の動作を説明する図である。図３６（ａ）から（ｄ）は、代替結合動き情報候補または代替予測ベクトル候補を説明する図である。

まず、本発明の実施の形態の前提となる技術を説明する。

現在、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）などの符号化方式に準拠した装置およびシステムが普及している。そのような符号化方式では、時間軸上に連続する複数の画像をデジタル信号の情報として取り扱う。その際、効率の高い情報の放送、伝送または蓄積などを目的とし、画像を複数のブロックに分割して時間方向の冗長性を利用した動き補償予測、および空間方向の冗長性を利用した離散コサイン変換などの直交変換を用いて圧縮符号化する。

２００３年に、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＭＰＥＧ−４ＡＶＣ／Ｈ．２６４と呼ばれる符号化方式（ＩＳＯ／ＩＥＣでは１４４９６−１０、ＩＴＵ−ＴではＨ．２６４の規格番号がつけられている。以下、これをＭＰＥＧ−４ＡＶＣと呼ぶ）が国際標準として制定された。ＭＰＥＧ−４ＡＶＣでは、基本的に処理対象ブロックの複数の隣接ブロックの動きベクトルの中央値を予測ベクトルとする。予測ブロックサイズが正方形でない場合で処理対象ブロックの特定の隣接ブロックの参照インデックスと処理対象ブロックの参照インデックスが一致する場合には、その特定の隣接ブロックの動きベクトルを予測ベクトルとする。

現在、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＨＥＶＣと呼ばれる符号化方式の標準化が検討されている。

ＨＥＶＣの標準化では、複数の隣接ブロックと復号済みの別の画像のブロックを候補ブロック群として、これら候補ブロック群から１つの候補ブロックが選択されて、選択された候補ブロックの情報が符号化および復号されるマージモードが検討されている。

［実施の形態１］
（符号化ブロック）
本実施の形態では、入力された画像信号は最大符号化ブロック単位に分割され、分割された最大符号化ブロックをラスタースキャン順序で処理する。符号化ブロックは階層構造となっており、符号化効率などを考慮して順次均等に４分割することでより小さい符号化ブロックにすることができる。なお、４分割された符号化ブロックはジグザグスキャン順で符号化される。これ以上小さくすることのできない符号化ブロックを最小符号化ブロックと呼ぶ。符号化ブロックは符号化の単位となり、最大符号化ブロックも分割数が０である場合は符号化ブロックとなる。本実施の形態では、最大符号化ブロックを６４画素×６４画素、最小符号化ブロックを８画素×８画素とする。

図１（ａ）、（ｂ）は、符号化ブロックを説明するための図である。図１（ａ）の例では、符号化ブロックが１０個に分割されている。ＣＵ０、ＣＵ１およびＣＵ９は３２画素×３２画素の符号化ブロック、ＣＵ２、ＣＵ３およびＣＵ８は１６画素×１６画素の符号化ブロック、ならびにＣＵ４、ＣＵ５、ＣＵ６およびＣＵ７は８画素×８画素の符号化ブロックとなっている。図１（ｂ）の例では、符号化ブロックが１個に分割されている。

（予測ブロック）
本実施の形態では、符号化ブロックはさらに予測ブロック（パーティションともいう）に分割される。符号化ブロックは予測ブロックサイズタイプ（「分割タイプ」やパーティションタイプともいう）によって１以上の予測ブロックに分割される。図２（ａ）〜（ｄ）は、予測ブロックサイズタイプを説明するための図である。図２（ａ）は符号化ブロックを分割しない２Ｎ×２Ｎ、図２（ｂ）は水平に２分割する２Ｎ×Ｎ、図２（ｃ）は垂直に２分割するＮ×２Ｎ、および図２（ｄ）は水平と垂直に４分割するＮ×Ｎを示す。２Ｎ×２Ｎは１個の予測ブロック０、２Ｎ×ＮとＮ×２Ｎは２個の予測ブロック０と予測ブロック１、Ｎ×Ｎは４個の予測ブロック０、予測ブロック１、予測ブロック２、予測ブロック３からなる。予測ブロック０、予測ブロック１、予測ブロック２、予測ブロック３の順に符号化される。

図３は、符号化ブロックの分割数と予測ブロックサイズタイプによる予測ブロックサイズを説明するための図である。本実施の形態における予測ブロックサイズは、ＣＵ分割数が０であって予測ブロックサイズタイプが２Ｎ×２Ｎである６４画素×６４画素からＣＵ分割数が３であって予測ブロックサイズタイプＮ×Ｎである４画素×４画素までの１３の予測ブロックサイズが存在することになる。例えば、非対称に水平や垂直に２分割することもできる。

本実施の形態では、最大符号化ブロックを６４画素×６４画素、最小符号化ブロックを８画素×８画素とするが、この組み合わせに限定されない。また、予測ブロックの分割のパターンを図２（ａ）〜（ｄ）としたが、１以上に分割される組み合わせであればよくこれに限定されない。

（予測符号化モード）
本実施の形態では、動き補償予測や符号化ベクトル数を予測ブロックのブロック毎に切り替えることが可能となっている。ここで、動き補償予測と符号化ベクトル数を関連付けた予測符号化モードの一例について図４を用いて簡単に説明する。図４は、予測符号化モードを説明するための図である。

図４に示す予測符号化モードには、動き補償予測の予測方向が単予測（Ｌ０予測）であって符号化ベクトル数が１であるＰｒｅｄＬ０、動き補償予測の予測方向が単予測（Ｌ１予測）であって符号化ベクトル数が１であるＰｒｅｄＬ１、動き補償予測の予測方向が双予測（ＢＩ予測）であって符号化ベクトル数が２であるＰｒｅｄＢＩ、および動き補償予測の予測方向が単予測（Ｌ０予測／Ｌ１予測）または双予測（ＢＩ予測）であって符号化ベクトル数が０であるマージモード（ＭＥＲＧＥ）がある。また、動き補償予測を実施しない予測符号化モードであるイントラモード（Ｉｎｔｒａ）もある。ここで、ＰｒｅｄＬ０、ＰｒｅｄＬ１、およびＰｒｅｄＢＩが予測ベクトルモードとなる。

マージモードでは予測方向がＬ０予測／Ｌ１予測／ＢＩ予測のいずれにもなるが、それは、マージモードの予測方向は候補ブロック群から選択された候補ブロックの予測方向をそのまま引き継ぐか、復号済みの情報から導出されるためである。また、マージモードでは符号化ベクトルが符号化されない。これは、マージモードの符号化ベクトルは候補ブロック群から選択された候補ブロックの動きベクトルをそのまま引き継ぐか、復号済みの情報から導出されるためである。

（参照インデックス）
本実施の形態では、動き補償予測の精度向上のために、動き補償予測において複数の参照画像の中から最適な参照画像を選択することを可能とする。そのため、動き補償予測で利用した参照画像を参照画像インデックスとして符号化ベクトルとともに符号化する。動き補償予測で利用される参照画像インデックスは０以上の数値となる。動き補償予測が単予測であれば、参照インデックスは１つ利用され、動き補償予測が双予測であれば、２つの参照インデックスが利用される（図４）。

マージモードでは参照インデックスは符号化されない。これは、マージモードの参照インデックスは候補ブロック群から選択された候補ブロックの参照インデックスをそのまま引き継ぐか、復号済みの情報から導出されるためである。

（参照インデックスリスト）
本実施の形態では、動き補償予測で利用できる複数の参照画像を参照インデックスリスト内に登録しておき、参照インデックスリスト内に登録された参照画像を参照インデックスで示すことによって参照画像を確定させて動き補償予測で利用する。参照インデックスリストには、参照インデックスリストＬ０と参照インデックスリストＬ１がある。動き補償予測が単予測の場合は、参照インデックスリストＬ０の中の参照画像を用いたＬ０予測、または参照インデックスリストＬ１の中の参照画像を用いたＬ１予測のいずれかを利用する。双予測の場合は参照インデックスリストＬ０と参照インデックスリストＬ１の２つを利用したＢＩ予測を利用する。各参照インデックスリストに登録できる参照画像の最大数は１６とする。

（マージインデックス）
本実施の形態では、マージモードの場合には、処理対象画像内の複数の隣接ブロックおよび符号化済みの別の画像内の処理対象ブロックと同一位置の周辺にあるブロックを候補ブロック群として、候補ブロック群の中から最適な予測符号化モード、動きベクトル、及び参照インデックスを持つ候補ブロックを選択し、選択した候補ブロックを示すためのマージインデックスを符号化および復号する。マージモードのときのみマージインデックスが１つ利用される（図４）。マージインデックスの最大数（マージ候補最大数ともいう）は５であり、マージインデックスは０から４までの整数となる。ここでは、マージインデックスの最大数を５としたが、２以上であればよく、これに限定されない。

以降、マージインデックスの対象となる候補ブロックの動き情報を結合動き情報候補と呼び、結合動き情報候補の集合体を結合動き情報候補リストと呼ぶ。以降、動き情報とは予測方向、動きベクトル、及び参照インデックスを含む。

なお、マージインデックスと符号列の関係について図を用いて説明する。図５はマージインデックスと符号列の関係を説明するための図である。マージインデックスが０の場合の符号列は'０'、マージインデックスが１の場合の符号列は'１０'、マージインデックスが２の場合の符号列は'１１０'、マージインデックスが３の場合の符号列は'１１１０'、マージインデックスが４の場合の符号列は'１１１１０'となり、マージインデックスが大きくなるほど符号列を長く設定する。そのため、選択率の高い候補ブロックに小さいマージインデックスを割り当てることで、符号化効率を向上させることができる。

（予測ベクトルインデックス）
本実施の形態では、予測ベクトルの精度を向上させるために、複数の隣接ブロックおよび符号化済みの別の画像の処理対象ブロックと同一位置の周辺にあるブロックを候補ブロック群として、候補ブロック群から予測ベクトルとして最適な動きベクトルを持つ候補ブロックを選択し、選択した候補ブロックを示すための予測ベクトルインデックスを符号化および復号する。動き補償予測が単予測であれば、予測ベクトルインデックスは１つ利用され、動き補償予測が双予測であれば、２つの予測ベクトルインデックスが利用される（図４）。予測ベクトルインデックスの最大数（予測ベクトル候補最大数ともいう）は２であり、予測ベクトルインデックスは０または１の整数となる。ここでは、予測ベクトル候補最大数を２としたが、２以上であればよく、これに限定されない。なお、予測ベクトルインデックスの符号列は予測ベクトルインデックスが０の場合の符号列は'０'、予測ベクトルインデックスが１の場合の符号列は'１'とする。予測ベクトル候補最大数が３以上である場合にはマージインデックスと同様な規則で符号列が割り当てられる。

以降、予測ベクトルインデックスの対象となる候補ブロックの動きベクトルを予測ベクトル候補と呼び、予測ベクトル候補の集合体を予測ベクトル候補リストと呼ぶ。

（シンタックス）
本実施の形態による予測ブロックのシンタックスの一例について図６を用いて説明する。予測ブロックがイントラであるかインターであるかは上位の符号化ブロックによって指定されているものとし、図６は予測ブロックがインターの場合の予測ブロックのシンタックスだけを示す。また、予測ブロックサイズタイプについても符号化ブロックで指定されているものとする。

予測ブロック（図６のＰＵ）には、マージフラグ（ｍｅｒｇｅ＿ｆｌａｇ）、マージインデックス（ｍｅｒｇｅ＿ｉｄｘ）、インター予測タイプ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅ）、Ｌ０予測の参照インデックス（ｒｅｆ＿ｉｄｘ＿ｌ０）、Ｌ０予測の差分ベクトル（ｍｖｄ＿ｌ０［０］、ｍｖｄ＿ｌ０［１］）、Ｌ０予測の予測ベクトルインデックス（ｍｖｐ＿ｉｄｘ＿ｌ０）、Ｌ１予測の参照インデックス（ｒｅｆ＿ｉｄｘ＿ｌ１）、Ｌ１予測の差分ベクトル（ｍｖｄ＿ｌ１［０］、ｍｖｄ＿ｌ１［１］）、及びＬ１予測の予測ベクトルインデックス（ｍｖｐ＿ｉｄｘ＿ｌ１）が設置されている。差分ベクトルの［０］は水平成分、［１］は垂直成分を示す。

ここで、ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅは動き補償予測の予測方向（インター予測タイプとも呼ぶ）を示し、Ｐｒｅｄ＿Ｌ０（Ｌ０予測の単予測）、Ｐｒｅｄ＿Ｌ１（Ｌ１予測の単予測）およびＰｒｅｄ＿ＢＩ（ＢＩ予測の双予測）の３種類がある。ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅがＰｒｅｄ＿Ｌ０またはＰｒｅｄ＿ＢＩの場合は、Ｌ０予測に関する情報が設置されて、ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅがＰｒｅｄ＿Ｌ１またはＰｒｅｄ＿ＢＩの場合は、Ｌ１予測に関する情報が設置される。

なお、本実施の形態による予測ブロックのシンタックスを図６のように設定したが、これに限定されない。

以下、図面とともに本発明の好適な実施の形態に係る動画像符号化装置、動画像符号化方法および動画像符号化プログラム、ならびに動画像復号装置、動画像復号方法および動画像復号プログラムの詳細について説明する。なお、図面の説明において同一要素には同一符号を付与して重複する説明を省略する。

（動画像符号化装置１００の構成）
図７は、本実施の形態１に係る動画像符号化装置１００の構成を示す。動画像符号化装置１００は、動画像信号を、動き補償予測を実施する予測ブロック単位で符号化する装置である。符号化ブロックの分割、予測ブロックサイズタイプの決定、予測ブロックサイズと予測ブロックの符号化ブロック内の位置（予測ブロックの位置情報や予測ブロック番号ともいう）の決定、予測符号化モードがイントラであるかの決定は図示しない上位の符号化制御部で決定されているものとし、実施の形態１では予測符号化モードがイントラでない場合について説明する。また、実施の形態１では双予測に対応したＢピクチャについて説明するが、双予測に対応しないＰピクチャについてはＬ１予測を省略すればよい。

動画像符号化装置１００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置などのハードウェアにより実現される。動画像符号化装置１００は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。なお、処理対象の予測ブロックの位置情報、予測ブロックサイズおよび動き補償予測の予測方向に関しては動画像符号化装置１００内で共有していることとし、図示しない。

実施の形態１の動画像符号化装置１００は、予測ブロック画像取得部１０１、減算部１０２、予測誤差符号化部１０３、符号列生成部１０４、予測誤差復号部１０５、動き補償部１０６、加算部１０７、動きベクトル検出部１０８、動き情報生成部１０９、フレームメモリ１１０、および動き情報メモリ１１１を含む。

（動画像符号化装置１００の機能と動作）
以下、各部の機能と動作について説明する。予測ブロック画像取得部１０１は、予測ブロックの位置情報と予測ブロックサイズに基づいて、端子１０より供給される画像信号から処理対象の予測ブロックの画像信号を取得し、予測ブロックの画像信号を減算部１０２、動きベクトル検出部１０８および動き情報生成部１０９に供給する。

動きベクトル検出部１０８は、予測ブロック画像取得部１０１より供給される画像信号および内部に記憶している複数の参照画像に相当する画像信号から、Ｌ０予測とＬ１予測それぞれの動きベクトルと参照画像を示す参照インデックスを検出する。当該Ｌ０予測とＬ１予測の動きベクトル、および当該Ｌ０予測とＬ１予測の参照インデックスを動き情報生成部１０９に供給する。ここでは、動きベクトル検出部１０８は参照画像として内部に記憶している複数の参照画像に相当する画像信号を利用するとしたが、フレームメモリ１１０に記憶されている参照画像を利用することもできる。

一般的な動きベクトルの検出方法は、対象画像の画像信号と、同一位置より所定の移動量だけ移動させた参照画像の予測信号について誤差評価値を算出し、誤差評価値が最小となる移動量を動きベクトルとする。参照画像が複数ある場合には各参照画像について動きベクトルを検出し、誤差評価値が最小となる参照画像を選択する。誤差評価値としては、絶対差分和を示すＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）や二乗誤差平均を示すＭＳＥ（ＭｅａｎＳｑｕａｒｅＥｒｒｏｒ）などを利用することが可能である。また、動きベクトル符号量を誤差評価値に加算して評価することも可能である。

動き情報生成部１０９は、動きベクトル検出部１０８より供給されるＬ０予測とＬ１予測の動きベクトルおよびＬ０予測とＬ１予測の参照インデックス、動き情報メモリ１１１より供給される候補ブロック群、参照インデックスで示されるフレームメモリ１１０内の参照画像、および予測ブロック画像取得部１０１より供給される画像信号から、予測符号化モードを決定する。

決定された予測符号化モードに基づいて、マージフラグ、マージインデックス、動き補償予測の予測方向、Ｌ０予測とＬ１予測の参照インデックス、Ｌ０予測とＬ１予測の差分ベクトルおよびＬ０予測とＬ１予測の予測ベクトルインデックスを必要に応じて、符号列生成部１０４に供給する。動き補償予測の予測方向、Ｌ０予測とＬ１予測の参照インデックス、およびＬ０予測とＬ１予測の動きベクトルを動き補償部１０６および動き情報メモリ１１１に供給する。動き情報生成部１０９の詳細については後述する。

動き補償部１０６は、動き情報生成部１０９より供給される動き補償予測の予測方向がＬＮ予測であれば、動き情報生成部１０９より供給されるＬＮ予測の参照インデックスで示されるフレームメモリ１１０内の参照画像を、動き情報生成部１０９より供給されるＬＮ予測の動きベクトルに基づき動き補償してＬＮ予測の予測信号を生成する。Ｎは０または１である。ここで、動き補償予測の予測方向が双予測であれば、Ｌ０予測とＬ１予測の予測信号の平均値が予測信号となる。なお、Ｌ０予測とＬ１予測の予測信号を重みづけしてもよい。動き補償部１０６は、当該予測信号を減算部１０２に供給する。

減算部１０２は、予測ブロック画像取得部１０１より供給される画像信号と動き補償部１０６より供給される予測信号を減算して予測誤差信号を算出し、当該予測誤差信号を予測誤差符号化部１０３に供給する。

予測誤差符号化部１０３は、減算部１０２より供給される予測誤差信号に対して、直交変換や量子化などの処理を行って予測誤差符号化データを生成し、当該予測誤差符号化データを符号列生成部１０４および予測誤差復号部１０５に供給する。

符号列生成部１０４は、予測誤差符号化部１０３より供給される予測誤差符号化データ、ならびに動き情報生成部１０９より供給されるマージフラグ、マージインデックス、動き補償予測の予測方向（インター予測タイプ）、Ｌ０予測とＬ１予測の参照インデックス、Ｌ０予測とＬ１予測の差分ベクトルおよびＬ０予測とＬ１予測の予測ベクトルインデックスを図６に示すシンタックスの順序に従ってエントロピー符号化して符号列を生成し、当該符号列を符号化ストリームとして端子１１に供給する。エントロピー符号化は算術符号化やハフマン符号化などの可変長符号化を含む方法によって実施される。

また、符号列生成部１０４は、動画像符号化装置１００で利用された符号化ブロックの分割情報、予測ブロックサイズタイプ、予測ブロックの符号化ブロック内の位置、及び予測符号化モードを、符号化ストリームの特性を決定するためのパラメータ群を定義したＳＰＳ（ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ）、ピクチャの特性を決定するためのパラメータ群を定義したＰＰＳ（ＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔ）、やスライスの特性を決定するためのパラメータ群を定義したスライスヘッダなどと共に符号化ストリーム中に多重化する。

予測誤差復号部１０５は、予測誤差符号化部１０３より供給される予測誤差符号化データに対して、逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、当該予測誤差信号を加算部１０７に供給する。加算部１０７は、予測誤差復号部１０５より供給される予測誤差信号と、動き補償部１０６より供給される予測信号を加算して復号画像信号を生成し、当該復号画像信号をフレームメモリ１１０に供給する。

フレームメモリ１１０は、加算部１０７より供給される復号画像信号を記憶する。また、画像全体の復号が完了した復号画像については参照画像として、１以上の所定の画像数を記憶する。フレームメモリ１１０は、記憶した参照画像信号を動き補償部１０６および動き情報生成部１０９に供給する。参照画像を記憶する記憶領域はＦＩＦＯ（ＦｉｒｓｔＩｎＦｉｒｓｔＯｕｔ）方式で制御される。

動き情報メモリ１１１は、動き情報生成部１０９より供給される動き情報を最小の予測ブロックサイズ単位で所定の画像数、記憶する。処理対象の予測ブロックの隣接ブロックの動き情報を空間候補ブロック群とする。

また、動き情報メモリ１１１は、処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上のブロックとその周辺ブロックの動き情報を時間候補ブロック群とする。動き情報メモリ１１１は、空間候補ブロック群と時間候補ブロック群を候補ブロック群として動き情報生成部１０９に供給する。動き情報メモリ１１１は、フレームメモリ１１０と同期しており、ＦＩＦＯ（ＦｉｒｓｔＩｎＦｉｒｓｔＯｕｔ）方式で制御される。

ここで、ＣｏｌＰｉｃとは、処理対象の予測ブロックとは別の復号済みの画像であって、フレームメモリ１１０に参照画像として記憶されている。実施の形態１では、ＣｏｌＰｉｃは処理対象画像の直前に復号した参照画像とする。なお、実施の形態１では、ＣｏｌＰｉｃは処理対象画像の直前に復号した参照画像としたが、復号済みの画像であればよく、例えば、表示順で直前の参照画像や表示順で直後の参照画像でもよく、符号化ストリーム中で指定することも可能である。

ここで、動き情報メモリ１１１における動き情報の管理方法について説明する。動き情報は最小の予測ブロック単位で各メモリエリアに記憶される。各メモリエリアには、少なくとも予測方向、Ｌ０予測の動きベクトル、Ｌ０予測の参照インデックス、Ｌ１予測の動きベクトル、およびＬ１予測の参照インデックスが記憶される。

なお、予測符号化モードがイントラモードである場合、Ｌ０予測とＬ１予測の動きベクトルとして（０，０）が記憶され、Ｌ０予測とＬ予測の参照インデックスとして「−１」が記憶される。これ以降、動きベクトルの（Ｈ、Ｖ）は、Ｈが水平成分、Ｖが垂直成分を表すこととする。なお、参照インデックスの「−１」は動き補償予測を実施しないモードであることが判定できればどのような値でもよい。これ以降は特に断らない限り単にブロックと表現する場合には、最小の予測ブロック単位のことを示すこととする。また、領域外のブロックである場合もイントラモードと同様に、Ｌ０予測とＬ１予測の動きベクトルとして（０，０）が記憶され、Ｌ０予測とＬ１予測の参照インデックスとして「−１」が記憶される。ＬＸ方向（Ｘは０または１）が有効であるとはＬＸ方向の参照インデックスが０以上であることで、ＬＸ方向が無効である（有効でない）とはＬＸ方向の参照インデックスが「−１」であることである。

（動き情報生成部１０９の構成）
続いて、動き情報生成部１０９の詳細な構成について説明する。図８は、動き情報生成部１０９の構成を示す。動き情報生成部１０９は、予測ベクトルモード決定部１２０、マージモード決定部１２１および予測符号化モード決定部１２２を含む。端子１２は動き情報メモリ１１１に、端子１３は動きベクトル検出部１０８に、端子１４はフレームメモリ１１０に、端子１５は予測ブロック画像取得部１０１に、端子１６は符号列生成部１０４に、端子５０は動き補償部１０６に、および端子５１は動き情報メモリ１１１にそれぞれ接続されている。

（動き情報生成部１０９の機能と動作）
以下、各部の機能と動作について説明する。予測ベクトルモード決定部１２０は、端子１２より供給される候補ブロック群、端子１３より供給されるＬ０予測とＬ１予測の動きベクトルおよびＬ０予測とＬ１予測の参照インデックス、端子１４より供給される参照インデックスで示される参照画像、および端子１５より供給される画像信号から、インター予測タイプを決定し、インター予測タイプに従って、Ｌ０予測とＬ１予測の予測ベクトルインデックスを選択してＬ０予測とＬ１予測の差分ベクトルを算出するとともに、予測誤差を算出し、レート歪み評価値を算出する。そして、当該インター予測タイプに基づいた動き情報、差分ベクトル、予測ベクトルインデックス、およびレート歪み評価値を予測符号化モード決定部１２２に供給する。

マージモード決定部１２１は、端子１２より供給される候補ブロック群、端子１４より供給される参照画像、および端子１５より供給される画像信号から、結合動き情報候補リストを生成し、当該結合動き情報候補リストの中から１つの結合動き情報候補を選択してマージインデックスを決定し、レート歪み評価値を算出する。そして、当該結合動き情報候補の動き情報、当該マージインデックスおよび当該レート歪み評価値を予測符号化モード決定部１２２に供給する。マージモード決定部１２１の詳細については後述する。

予測符号化モード決定部１２２は、予測ベクトルモード決定部１２０より供給されるレート歪み評価値と、マージモード決定部１２１より供給されるレート歪み評価値とを比較してマージフラグを決定する。

予測ベクトルモードレート歪み評価値がマージモードレート歪み評価値未満の場合は、マージフラグを「０」に設定する。予測符号化モード決定部１２２は、当該マージフラグ、予測ベクトルモード決定部１２０より供給されるインター予測タイプ、参照インデックス、差分ベクトルと予測ベクトルインデックスを端子１６に供給し、予測ベクトルモード決定部１２０より供給される動き情報を端子５０および端子５１に供給する。

マージモードレート歪み評価値が予測ベクトルモードレート歪み評価値以下の場合は、マージフラグを「１」に設定する。予測符号化モード決定部１２２は、当該マージフラグおよびマージモード決定部１２１より供給されるマージインデックスを端子１６に供給し、マージモード決定部１２１より供給される動き情報を端子５０および端子５１に供給する。なお、レート歪み評価値の具体的な算出方法は本発明の主眼ではないため詳細な説明は省略するが、予測誤差と符号量から符号量当たりの予測誤差量を算出し、レート歪み評価値が小さいほど符号化効率は高くなる特性を持つ評価値である。そのため、レート歪み評価値が小さい予測符号化モードを選択することで符号化効率を向上させることができる。

（マージモード決定部１２１の構成）
続いて、マージモード決定部１２１の詳細な構成について説明する。図９は、マージモード決定部１２１の構成を説明するための図である。マージモード決定部１２１は、結合動き情報候補リスト生成部１４０および結合動き情報選択部１４１を含む。結合動き情報候補リスト生成部１４０は、実施の形態１に係る動画像符号化装置１００により生成された符号列を復号する動画像復号装置２００にも同様に設置されて、動画像符号化装置１００と動画像復号装置２００にて同一の結合動き情報リストが生成される。

（マージモード決定部１２１の機能と動作）
以下、各部の機能と動作について説明する。結合動き情報候補リスト生成部１４０は、端子１２より供給される候補ブロック群からマージ候補最大数の結合動き情報候補を含む結合動き情報候補リストを生成し、当該結合動き情報候補リストを結合動き情報選択部１４１に供給する。結合動き情報候補リスト生成部１４０の詳細な構成については後述する。

結合動き情報選択部１４１は、結合動き情報候補リスト生成部１４０より供給される結合動き情報候補リストの中から、最適な結合動き情報候補を選択し、選択された結合動き情報候補を示す情報であるマージインデックスを決定して、当該マージインデックスを端子１７に供給する。

ここで、最適な結合動き情報候補の選択方法について説明する。結合動き情報候補の予測方向、動きベクトルおよび参照インデックスに基づいて動き補償予測されて得られる端子１４より供給される参照画像と、端子１５より供給される画像信号とから予測誤差量が算出される。マージインデックスの符号量と、当該予測誤差量とからレート歪み評価値が算出されて、レート歪み評価値が最小となる結合動き情報候補が最適な結合動き情報候補として選択される。

（結合動き情報候補リスト生成部１４０に供給される候補ブロック群）
次に、結合動き情報候補リスト生成部１４０に供給される候補ブロック群について図１０と図１１を用いて説明する。候補ブロック群には空間候補ブロック群と時間候補ブロック群が含まれる。

図１０は、処理対象の予測ブロックサイズが１６画素×１６画素である場合の処理対象の予測ブロックの隣接ブロックを示す。実施の形態１では、空間候補ブロック群として、図１０に示すブロックＡ１、ブロックＣ、ブロックＤ、ブロックＢ１およびブロックＥの５ブロックとする。ここでは、空間候補ブロック群をブロックＡ１、ブロックＣ、ブロックＤ、ブロックＢ１およびブロックＥの５ブロックとしたが、空間候補ブロック群は、処理対象の予測ブロックに隣接する少なくとも１以上の処理済みのブロックであればよく、これらに限定されない。例えば、ブロックＡ１、ブロックＡ２、ブロックＡ３、ブロックＡ４、ブロックＢ１、ブロックＢ２、ブロックＢ３、ブロックＢ４、ブロックＣ、ブロックＤおよびブロックＥの全てを空間候補ブロックとしてもよい。

次に、時間候補ブロック群について図１１を用いて説明する。図１１は、処理対象の予測ブロックサイズが１６画素×１６画素である場合の処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上の予測ブロック内のブロックとその周辺ブロックを示す。実施の形態１では、時間候補ブロック群として、図１１に示すブロックＨとブロックＩ６の２ブロックとする。ここでは、時間候補ブロック群をＣｏｌＰｉｃ上のブロックＨとブロックＩ６の２ブロックとしたが、時間候補ブロック群は、処理対象の予測ブロックとは別の復号済みの画像上の少なくとも１以上のブロックであればよく、これらに限定されない。例えば、ブロックＨのみとしてもよい。以降、ブロックＡ４をブロックＡ、ブロックＢ４をブロックＢと表記し、ブロックI６をブロックIと表記し、ブロックＨとブロックＩ６のブロックを時間ブロックと表記する。

（結合動き情報候補リスト生成部１４０の構成）
続いて、結合動き情報候補リスト生成部１４０の詳細な構成について説明する。図１２は、結合動き情報候補リスト生成部１４０の構成を説明するための図である。端子１９は結合動き情報選択部１４１に接続されている。結合動き情報候補リスト生成部１４０は、空間結合動き情報候補生成部１６０、時間結合動き情報候補生成部１６１、冗長結合動き情報候補削除部１６２、第１結合動き情報候補補充部１６３、および第２結合動き情報候補補充部１６４を含む。ここで、空間結合動き情報候補生成部１６０は劣性結合動き情報候補判定部１６５と代替結合動き情報候補補充部１６６を含む。以降、結合動き情報候補を生成すると表記するが、導出すると言い換えてもよい。

（結合動き情報候補リスト生成部１４０の機能と動作）
以下、各部の機能と動作について説明する。図１３は、結合動き情報候補リスト生成部１４０の動作を説明するためのフローチャートである。まず、結合動き情報候補リスト生成部１４０は、結合動き情報候補リストを初期化する（Ｓ１００）。初期化された結合動き情報候補リストには結合動き情報候補は存在しない。

次に、空間結合動き情報候補生成部１６０は、端子１２より供給される候補ブロック群から０個から空間結合動き情報候補最大数の空間結合動き情報候補を生成して結合動き情報候補リストに追加する（Ｓ１０１）。次に、空間結合動き情報候補生成部１６０内に設置された代替結合動き情報候補補充部１６６は、劣性結合動き情報候補の代わりとなる代替結合動き情報候補を結合動き情報候補リストに追加し（Ｓ１０２）、当該結合動き情報候補リストと候補ブロック群を時間結合動き情報候補生成部１６１に供給する。空間結合動き情報候補生成部１６０の詳細な動作については後述する。また、劣性結合動き情報候補判定部１６５、代替結合動き情報候補補充部１６６、及び空間結合動き情報候補最大数についても後述する。

次に、時間結合動き情報候補生成部１６１は、空間結合動き情報候補生成部１６０より供給される候補ブロック群から０個または時間結合動き情報候補最大数の時間結合動き情報候補を生成して空間結合動き情報候補生成部１６０より供給される結合動き情報候補リストに追加し（Ｓ１０３）、当該結合動き情報候補リストを冗長結合動き情報候補削除部１６２に供給する。時間結合動き情報候補生成部１６１の詳細な動作については後述する。また、時間結合動き情報候補最大数についても後述する。

次に、冗長結合動き情報候補削除部１６２は、時間結合動き情報候補生成部１６１より供給される結合動き情報候補リストに登録されている結合動き情報候補を検査し、同一の動き情報を有する結合動き情報候補が複数存在する場合には１つの結合動き情報候補を残してその他の結合動き情報候補を削除し（Ｓ１０４）、当該結合動き情報候補リストを第１結合動き情報候補補充部１６３に供給する。したがって、当該結合動き情報候補リストに登録されている結合動き情報候補は全てが異なる結合動き情報候補となる。

次に、第１結合動き情報候補補充部１６３は、冗長結合動き情報候補削除部１６２より供給される結合動き情報候補リストに登録された結合動き情報候補から０個から２個の第１補充結合動き情報候補を生成して結合動き情報候補リストに追加し（Ｓ１０５）、当該結合動き情報候補リストを第２結合動き情報候補補充部１６４に供給する。第１結合動き情報候補補充部１６３の詳細な動作については後述する。

次に、第２結合動き情報候補補充部１６４は、第１結合動き情報候補補充部１６３より供給される結合動き情報候補リストに依存しない第２補充結合動き情報候補を結合動き情報候補リストに登録された結合動き情報候補がマージ候補最大数に達するまで生成して第１結合動き情報候補補充部１６３より供給される結合動き情報候補リストに追加し（Ｓ１０６）、当該結合動き情報候補リストを端子１９に供給する。第２結合動き情報候補補充部１６４の詳細な動作については後述する。

（劣性結合動き情報候補）
以下、劣性結合動き情報候補について説明する。図１４（ａ）から（ｄ）は劣性結合動き情報候補を説明するための図である。符号化ブロックは、１または２または４の予測ブロックに分割できることは上述した。図１４では符号化ブロックが１６ｘ１６である例を示す。符号化ブロックを多数の予測ブロックに分割することで、符号化ブロックに係る予測誤差を最小化できる一方、図６で示した予測ブロックに係るシンタックスのオーバーヘッドが予測ブロックの個数分増加する。そのため、動き情報が同一であって予測誤差が同一となる複数の予測ブロックについては１つの予測ブロックにまとめて、予測ブロックの分割数を抑制することで符号化効率を向上させることができる。

図１４（ａ）は候補ブロックＡが劣性結合動き情報候補となる例１を説明するための図である。符号化ブロックはマージモードで、予測ブロックサイズタイプはＮ×２Ｎとして符号化される場合の予測ブロック１の空間結合動き情報候補の位置を示している。ここで、予測ブロック０の動き情報と予測ブロック１の動き情報が同一であれば、予測ブロック０と予測ブロック１をまとめて２Ｎ×２Ｎとして符号化することで、予測ブロックに係るシンタックスのオーバーヘッドを減らし、符号化効率を向上させることができる。つまり、予測ブロックサイズタイプがＮ×２Ｎで且つ処理対象ブロックが予測ブロック１である場合、２Ｎ×２Ｎとして符号化される場合の候補ブロックに相当する候補ブロックＡは結合動き情報候補として選択される可能性は低い。したがって、予測ブロックサイズタイプがＮ×２Ｎで且つ処理対象ブロックが予測ブロック１である場合に、候補ブロックＡを劣性結合動き情報候補とする。

図１４（ｂ）は候補ブロックＡが劣性結合動き情報候補となる例２を説明するための図である。符号化ブロックはマージモードで、予測ブロックサイズタイプはＮ×Ｎとして符号化される場合の予測ブロック３の空間結合動き情報候補の位置を示している。ここで、予測ブロック０の動き情報と予測ブロック１の動き情報が同一で且つ予測ブロック２の動き情報と予測ブロック３の動き情報が同一であれば、予測ブロック０と予測ブロック１をまとめ、さらに予測ブロック２と予測ブロック３をまとめて２Ｎ×Ｎとして符号化することで、予測ブロックに係るシンタックスのオーバーヘッドを減らし、符号化効率を向上させることができる。したがって、予測ブロックサイズタイプがＮ×Ｎで且つ予測ブロック０の動き情報と予測ブロック１の動き情報が同一且つ予測ブロック３である場合に、候補ブロックＡを劣性結合動き情報候補とする。

図１４（ｃ）は候補ブロックＢが劣性結合動き情報候補となる例１を説明するための図である。符号化ブロックはマージモードで、予測ブロックサイズタイプは２Ｎ×Ｎとして符号化する様子を示している。ここで、予測ブロック０の動き情報と予測ブロック１の動き情報が同一であれば、予測ブロック０と予測ブロック１をまとめて２Ｎ×２Ｎとして符号化することで、予測ブロックに係るシンタックスのオーバーヘッドを減らし、符号化効率を向上させることができる。したがって、予測ブロックサイズタイプが２Ｎ×Ｎで且つ処理対象ブロックが予測ブロック１である場合に、候補ブロックＢを劣性結合動き情報候補とする。

図１４（ｄ）は候補ブロックＢが劣性結合動き情報候補となる例２を説明するための図である。符号化ブロックはマージモードで、予測ブロックサイズタイプはＮ×Ｎとして符号化される場合の予測ブロック３の空間結合動き情報候補の位置を示している。ここで、予測ブロック０の動き情報と予測ブロック２の動き情報が同一で且つ予測ブロック１の動き情報と予測ブロック３の動き情報が同一であれば、予測ブロック０と予測ブロック２をまとめ、さらに予測ブロック１と予測ブロック３をまとめてＮ×２Ｎとして符号化することで、予測ブロックに係るシンタックスのオーバーヘッドを減らし、符号化効率を向上させることができる。したがって、予測ブロックサイズタイプがＮ×Ｎで且つ予測ブロック０の動き情報と予測ブロック２の動き情報が同一で且つ予測ブロック３である場合に、候補ブロックＢを劣性結合動き情報候補とする。

このように、符号化対象の予測ブロックの分割タイプと符号化対象の予測ブロックの符号化ブロック内の位置とに基づいて、符号化対象の予測ブロックのサイズよりも大きなサイズの予測ブロックで動き補償予測することが符号化効率の点でより適切である結合動き情報候補を劣性結合動き情報候補として選択する。以上のように、劣性結合動き情報候補とは、より大きな予測ブロックサイズに結合されることで、符号化効率の向上する結合動き情報候補である。劣性結合動き情報とは、劣性結合動き情報候補の動き情報である。

（劣性結合動き情報候補判定部１６５の動作）
図１５は劣性結合動き情報候補判定部１６５の判定処理の一例を説明するためのフローチャートである。

最初に、予測ブロックサイズタイプが２Ｎ×２Ｎであるか検査する（Ｓ１５０）。予測ブロックサイズタイプが２Ｎ×２Ｎであれば（Ｓ１５０のＹ）、処理を終了する。予測ブロックサイズタイプが２Ｎ×２Ｎでなければ（Ｓ１５０のＮ）、予測ブロックサイズタイプを検査する（Ｓ１５１）。予測ブロックサイズタイプがＮ×２Ｎであれば（Ｓ１５１のＮ×２Ｎ）、処理対象の予測ブロックが予測ブロック１であるかを検査する（Ｓ１５２）。予測ブロックサイズタイプが２Ｎ×Ｎであれば（Ｓ１５１の２Ｎ×Ｎ）、処理対象の予測ブロックが予測ブロック１であるかを検査する（Ｓ１５４）。予測ブロックサイズタイプがＮ×Ｎであれば（Ｓ１５１のＮ×Ｎ）、処理を終了する。予測ブロックサイズタイプがＮ×２Ｎであって、処理対象の予測ブロックが予測ブロック１であれば（Ｓ１５２のＹ）、ブロックＡを劣性結合動き情報候補とする（Ｓ１５３）。予測ブロックサイズタイプがＮ×２Ｎであって、処理対象の予測ブロックが予測ブロック１でなければ（Ｓ１５２のＮ）、処理を終了する。予測ブロックサイズタイプが２Ｎ×Ｎであって、処理対象の予測ブロックが予測ブロック１であれば（Ｓ１５４のＹ）、ブロックＢを劣性結合動き情報候補とする（Ｓ１５５）。予測ブロックサイズタイプが２Ｎ×Ｎであって、処理対象の予測ブロックが予測ブロック１でなければ（Ｓ１５４のＮ）、処理を終了する。

図１５は劣性結合動き情報候補判定部１６５の判定処理の一例であって、少なくとも符号化ブロックの予測ブロックへの分割数と符号化ブロック内の予測ブロックの位置の両方またはいずれかを用いて劣性結合動き情報候補が判定できればよく、これに限定されない。例えば、予測ブロックタイプがＮ×Ｎである場合についても、符号化ブロックの予測ブロックへの分割数と符号化ブロック内の予測ブロックの位置を用いて、分割数が４で予測ブロック３であれば、候補ブロックＡと候補ブロックＢの両方を劣性結合動き情報候補として判定したり、候補ブロックＡまたは候補ブロックＢのいずれか一方だけを劣性結合動き情報候補として判定するような判定処理を追加することもできる。

（空間結合動き情報候補生成部１６０の詳細な動作）
続いて、空間結合動き情報候補生成部１６０の詳細な動作について説明する。図１６は、空間結合動き情報候補生成部１６０の動作を説明するためのフローチャートである。最初に、各候補ブロックの置換フラグはＯＦＦに初期化される。空間結合動き情報候補生成部１６０は、候補ブロック群の空間候補ブロック群に含まれる候補ブロックであるブロックＡ、ブロックＢ、ブロックＣ、ブロックＥ、ブロックＤの順に以下の処理を繰り返し行う（Ｓ１１０からＳ１１５）。

最初に、候補ブロックが有効であるか検査する（Ｓ１１１）。候補ブロックが有効であるとは、候補ブロックのＬ０予測とＬ１予測の参照インデックスの少なくとも一方が０以上であることである。候補ブロックが有効であれば（Ｓ１１１のＹ）、候補ブロックが劣性結合動き情報候補であるか検査する（Ｓ１１２）。ここでは、劣性結合動き情報候補判定部１６５が動作する。候補ブロックが有効でなければ（Ｓ１１１のＮ）、ステップＳ１１２からステップＳ１１５をスキップして次の候補ブロックを検査する（Ｓ１１６）。候補ブロックが劣性結合動き情報候補であれば（Ｓ１１２のＹ）、候補ブロックの置換フラグをＯＮにする（Ｓ１１３）。候補ブロックが劣性結合動き情報候補でなければ（Ｓ１１２のＮ）、候補ブロックの動き情報を空間結合動き情報候補として結合動き情報候補リストに追加する（Ｓ１１４）。ステップＳ１１４に続いて、結合動き情報候補リストに追加された空間結合動き情報候補の数が空間結合動き情報候補最大数であるか検査する（Ｓ１１５）。ここでは、空間結合動き情報候補最大数を４とする。結合動き情報候補リストに追加された空間結合動き情報候補の数が空間結合動き情報候補最大数でなければ（Ｓ１１５のＮ）、次の候補ブロックを検査する（Ｓ１１５）。結合動き情報候補リストに追加された空間結合動き情報候補の数が空間結合動き情報候補最大数であれば（Ｓ１１５のＹ）、処理を終了する。

空間結合動き情報候補生成部１６０において劣性結合動き情報候補を結合動き情報候補リストに登録しないことで、例えば、ブロックＡ、ブロックＢ、ブロックＣ、ブロックＥ、ブロックＤの全てが有効である場合に、劣性結合動き情報候補の代わりに劣性結合動き情報候補よりも相対的に選択確率の高いブロックＤの動き情報を結合動き情報候補リストに登録することが可能となって、符号化効率を向上させることができる。

ここでは、処理対象ブロックとの接線の長く一般的に処理対象ブロックとの相関性の高いと考えられるブロックＡとブロックＢの動き情報を優先して結合動き情報候補リストに登録できるように処理の順序をブロックＡ、ブロックＢ、ブロックＣ、ブロックＥ、ブロックＤとしたが、相関性の高い順序で結合動き情報候補が結合動き情報候補リストに登録されればよく、これに限定されない。また、空間結合動き情報候補最大数を４としたが、空間結合動き情報候補最大数は１以上でマージ候補最大数以下であればよく、これに限定されない。

（代替結合動き情報候補補充部１６６の詳細な動作）
続いて、代替結合動き情報候補補充部１６６の詳細な動作について説明する。図１７は、代替結合動き情報候補補充部１６６の動作を説明するためのフローチャートである。ここでは、代替結合動き情報候補補充部１６６は、結合動き情報候補リストに登録された空間結合動き情報候補の数が空間結合動き情報候補最大数でない場合に以下の処理を行う。代替結合動き情報候補補充部１６６は、候補ブロックＡの置換フラグがＯＮであるか検査する（Ｓ１４０）。候補ブロックＡの置換フラグがＯＮであれば（Ｓ１４０のＹ）、代替結合動き情報候補である候補ブロックＸの動き情報を結合動き情報候補リストの最後尾に追加し（Ｓ１４１）、処理を終了する。候補ブロックＡの置換フラグがＯＮでなければ（Ｓ１４０のＮ）、候補ブロックＢの置換フラグがＯＮであるか検査する（Ｓ１４２）。候補ブロックＢの置換フラグがＯＮであれば（Ｓ１４２のＹ）、代替結合動き情報候補である候補ブロックＹの動き情報を結合動き情報候補リストの最後尾に追加し（Ｓ１４３）、処理を終了する。候補ブロックＢの置換フラグがＯＮでなければ（Ｓ１４２のＮ）、処理を終了する。

引き続いて、候補ブロックＸと候補ブロックＹについて説明する。図１８（ａ）から（ｅ）は、代替結合動き情報候補を説明するための図である。図１８（ａ）は予測ブロックサイズタイプがＮ×２Ｎであって、予測ブロック０である場合の空間結合動き情報候補の位置を示す。図１８（ｂ）は予測ブロックサイズタイプがＮ×２Ｎであって、予測ブロック１であり、候補ブロックＡが劣性結合動き情報候補となる場合の空間結合動き情報候補の位置を示す。候補ブロックＸは予測ブロック０の空間結合動き情報候補の中から選択する。ここでは、予測ブロック０の候補ブロックの中で予測ブロック１の候補ブロックＡと性質の最も近い可能性の高い最短距離の関係にある予測ブロック０の候補ブロックＡを候補ブロックＸとする。なお、予測ブロック０の候補ブロックＡは、予測ブロック０の候補ブロックの中で結合動き情報候補リストへの登録順において予測ブロック１の候補ブロックと重複しない最初の候補ブロックでもあるため、予測ブロック０においては選択確率の高い候補ブロックとなる。

図１８（ｃ）は予測ブロックサイズタイプが２Ｎ×Ｎであって、予測ブロック０である場合の空間結合動き情報候補の位置を示す。図１８（ｄ）は予測ブロックサイズタイプが２Ｎ×Ｎであって、予測ブロック１であり、候補ブロックＢが劣性結合動き情報候補となる場合の空間結合動き情報候補の位置を示す。候補ブロックＹは予測ブロック０の空間結合動き情報候補の中から選択する。ここでは、予測ブロック０の候補ブロックの中で予測ブロック１の候補ブロックＢと性質の最も近い可能性の高い最短距離の関係にある予測ブロック０の候補ブロックＢを候補ブロックＹとする。なお、予測ブロック０の候補ブロックＢは、予測ブロック０の候補ブロックの中で結合動き情報候補リストへの登録順において予測ブロック１の候補ブロックと重複しない最初の候補ブロックでもあるため、予測ブロック０においては選択確率の高い候補ブロックとなる。図１８（ｅ）は予測ブロックサイズタイプが２Ｎ×２Ｎの場合の空間結合動き情報候補の位置を示す。

ここでは、候補ブロックＸを予測ブロック０の候補ブロックＡとしたが、候補ブロックＸ及び候補ブロックＹは予測ブロック０の空間結合動き情報候補のいずれかであればよく、これに限定されない。例えば、符号化対象の予測ブロックとの相関性の最も高い符号化対象の予測ブロックと最短距離の予測ブロック０の候補ブロックＣを候補ブロックＸとすることもできる。同様に、予測ブロック０の候補ブロックＥを候補ブロックＹとすることもできる。なお、予測ブロックサイズがＮ×２Ｎである場合、予測ブロック０の候補ブロックＡは予測ブロックサイズが２Ｎ×２Ｎの候補ブロックと重複しない関係にあり、予測ブロックサイズが２Ｎ×Ｎである場合、予測ブロック０の候補ブロックＥは予測ブロックサイズが２Ｎ×２Ｎの候補ブロックと重複しない関係にあるため、符号化アルゴリズムによっては予測ブロック０の他の候補ブロックよりも有効な候補ブロックであることもある。

また、冗長結合動き情報候補削除部１６２において削除される可能性を低減させるために、符号化対象の予測ブロックと距離の遠い候補ブロックである予測ブロック０の候補ブロックＤや候補ブロックＥを候補ブロックＸとすることもできる。同様に、予測ブロック０の候補ブロックＣや候補ブロックＤを候補ブロックＹとすることもできる。

ここでは、代替結合動き情報候補を結合動き情報候補リストの最後尾に追加するとしたが、他の位置に追加してもよい。例えば、代替結合動き情報候補を劣性結合動き情報候補が追加されたであろう位置に追加することもできる。これは、予測ブロックサイズタイプがＮ×２Ｎであれば、代替結合動き情報候補を結合動き情報候補リストの先頭に補充し、予測ブロックサイズタイプが２Ｎ×Ｎであれば、代替結合動き情報候補を結合動き情報候補リストの先頭または２番目に補充することで実現できる。

以上のように、予測ブロック１の代替結合動き情報候補として予測ブロック０の空間結合動き情報候補を利用することで、符号化ブロック単位での空間結合動き情報候補の位置を増加させることなく、予測ブロック１の符号化効率を向上させることができる。また、予測ブロック１が予測ブロック０を参照しないため、符号化ブロックを２分割する場合に符号化ブロックを２分割する場合に予測ブロック０と予測ブロック１を並列に処理することも可能となる。

なお、予測ブロックサイズがＮ×Ｎである場合は、符号化対象の予測ブロックが予測ブロック３で予測ブロック０の動き情報と予測ブロック１の動き情報が同一で且つ予測ブロック２の動き情報と予測ブロック３の動き情報が同一であれば、候補ブロックＡの代わりに予測ブロック２の空間結合動き情報候補のいずれかを代替結合動き情報候補とすることができ、符号化対象の予測ブロックが予測ブロック３で予測ブロック０の動き情報と予測ブロック２の動き情報が同一で且つ予測ブロック１の動き情報と予測ブロック３の動き情報が同一であれば、候補ブロックＢの代わりに予測ブロック１の空間結合動き情報候補のいずれかを代替結合動き情報候補とすることができる。

（時間結合動き情報候補生成部１６１の詳細な動作）
続いて、時間結合動き情報候補生成部１６１の詳細な動作について説明する。図１９は、時間結合動き情報候補生成部１６１の動作を説明するためのフローチャートである。Ｌ０予測とＬ１予測の各予測方向ＬＸについて以下の処理を繰り返し行う（Ｓ１２０からＳ１２７）。ここで、Ｘは０または１である。また、候補ブロック群の時間候補ブロック群に含まれる候補ブロックであるブロックＨ、ブロックＩの順に以下の処理を繰り返し行う（Ｓ１２１からＳ１２６）。

時間結合動き情報候補生成部１６１は、候補ブロックのＬＮ予測が有効であるか検査する（Ｓ１２２）。ここで、Ｎは０または１である。ここでは、ＮはＸと同じであるとする。候補ブロックのＬＮ予測が有効であるとは、候補ブロックのＬＮ予測の参照インデックスが０以上であることである。候補ブロックのＬＮ予測が有効であれば（Ｓ１２２のＹ）、候補ブロックのＬＮ予測の動きベクトルを基準動きベクトルとする（Ｓ１２３）。候補ブロックのＬＮ予測が有効でなければ（Ｓ１２２のＮ）、ステップ１２３からステップ１２６をスキップして次の候補ブロックを検査する（Ｓ１２６）。

ステップＳ１２３に続いて、時間結合動き情報候補のＬＸ予測の参照画像を決定する（Ｓ１２４）。ここでは、時間結合動き情報候補のＬＸ予測の参照画像は、参照インデックス０の参照画像とする。次に、基準動きベクトルを処理対象画像と時間結合動き情報候補のＬＸ予測の参照画像の距離に合うようにスケーリングしてスケーリングベクトルを算出し、当該スケーリングベクトルを時間結合動き情報候補のＬＸ予測の動きベクトルとし（Ｓ１２５）、次の予測方向を処理する（Ｓ１２７）。ここでは、スケーリングベクトルの算出式については、ＭＰＥＧ−４ＡＶＣでの時間ダイレクト動き補償予測のスケーリングベクトルの算出式と同様とする。Ｌ０予測とＬ１予測について処理が終了したステップＳ１２７に続いて、時間結合動き情報候補のＬ０予測とＬ１予測の少なくとも一方の予測が有効であるか検査する（Ｓ１２８）。時間結合動き情報候補のＬＮ予測が有効であるとは、時間結合動き情報候補のＬＮ予測の参照画像が決定していることである。時間結合動き情報候補のＬ０予測とＬ１予測の少なくとも一方の予測が有効であれば（Ｓ１２８のＹ）、時間結合動き情報候補のインター予測タイプを決定して、当該時間結合動き情報候補を結合動き情報候補リストに追加する（Ｓ１２９）。ここでは、インター予測タイプの決定は、Ｌ０予測だけが有効であれば、時間結合動き情報候補のインター予測タイプをＰｒｅｄ＿Ｌ０とし、Ｌ１予測だけが有効であれば、時間結合動き情報候補のインター予測タイプをＰｒｅｄ＿Ｌ１とし、Ｌ０予測とＬ１予測の両方が有効であれば、時間結合動き情報候補のインター予測タイプをＰｒｅｄ＿ＢＩとする。

ここでは、結合動き情報候補リストに登録できる時間結合動き情報候の最大数である時間結合動き情報候補最大数を１とした。そのため、図１９には空間結合動き情報候補生成部１６０の動作を説明するフローチャートである図１６で示したステップＳ１１５に相当する処理を省略したが、時間結合動き情報候補最大数が２以上である場合にはステップＳ１２９の後にステップＳ１１５に相当する処理を追加することもできる。

ここでは、ＮはＸと同じであるとしたが、ＮはＸと異なっていても良く、これに限定されない。また、時間結合動き情報候補のＬＸ予測の参照画像は、参照インデックス０の参照画像としたが、これに限定されず、空間候補ブロック群に含まれる候補ブロックのＬＸ予測の参照画像として利用される参照画像に決定する等してもよい。また、インター予測タイプはＰｒｅｄ＿Ｌ０、Ｐｒｅｄ＿Ｌ１、Ｐｒｅｄ＿ＢＩのいずれかであるとしたが、Ｐｒｅｄ＿ＢＩだけでもよく、これに限定されない。

（第１結合動き情報候補補充部１６３の詳細な動作）
続いて、第１結合動き情報候補補充部１６３の詳細な動作について説明する。図２０は、第１結合動き情報候補補充部１６３の動作を説明するためのフローチャートである。最初に、より供給される結合動き情報候補リストに登録された結合動き情報候補の数（ＮｕｍＣａｎｄＬｉｓｔ）とマージ候補最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）から、第１補充結合動き情報候補を生成する最大数であるＭａｘＮｕｍＧｅｎＣａｎｄを式１より算出する（Ｓ１７０）。
MaxNumGenCand=MaxNumMergeCand-NumCandList; (NumCandList>0)
MaxNumGenCand=0; (NumCandList==0) 式１

次に、ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きいか検査する（Ｓ１７１）。ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きくなければ（Ｓ１７１のＮ）、処理を終了する。ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きければ（Ｓ１７１のＹ）、以下の処理を行う。まず、組み合わせ検査回数であるｌｏｏｐＴｉｍｅｓを決定する。ｌｏｏｐＴｉｍｅｓはＮｕｍＣａｎｄＬｉｓｔ×ＮｕｍＣａｎｄＬｉｓｔに設定する。ただし、ｌｏｏｐＴｉｍｅｓが８を超える場合にはｌｏｏｐＴｉｍｅｓは８に制限する（Ｓ１７２）。ここで、ｌｏｏｐＴｉｍｅｓは０から７までの整数となる。ｌｏｏｐＴｉｍｅｓだけ以下の処理を繰り返し行う（Ｓ１７２からＳ１８０）。結合動き情報候補Ｍと結合動き情報候補Ｎの組み合わせを決定する（Ｓ１７３）。ここで、組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係について説明する。図２１は組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係を説明するための図である。図２１のようにＭとＮは異なる値であって、ＭとＮの合計値が小さくなる順に設定される。結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効であるか検査する（Ｓ１７４）。結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効であれば（Ｓ１７４のＹ）、結合動き情報候補ＭのＬ０予測の参照画像と動きベクトルが結合動き情報候補ＮのＬ１予測の参照画像と動きベクトルと異なるか検査する（Ｓ１７５）。結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効でなければ（Ｓ１７４のＮ）、次の組み合わせを処理する。結合動き情報候補ＭのＬ０予測の参照画像と結合動き情報候補ＮのＬ１予測の参照画像が異なれば（Ｓ１７５のＹ）、結合動き情報候補ＭのＬ０予測の動きベクトルと参照画像を結合動き情報候補ＮのＬ１予測の動きベクトルと参照画像と組み合わせてインター予測タイプがＰｒｅｄ＿ＢＩである双結合動き情報候補を生成する（Ｓ１７６）。ここでは、第１補充結合動き情報候補として、ある結合動き情報候補のＬ０予測とそれとは異なる結合動き情報候補のＬ１予測の動き情報を組み合わせた双結合動き情報を生成する。結合動き情報候補ＭのＬ０予測の参照画像と結合動き情報候補ＮのＬ１予測の参照画像が同じであれば（Ｓ１７５のＮ）、次の組み合わせを処理する。ステップＳ１７６に続いて、双結合動き情報候補が結合動き情報候補リストに存在しないかを検査する（Ｓ１７７）。双結合動き情報候補が結合動き情報候補リストに存在しなければ（Ｓ１７７のＹ）、双結合動き情報候補を結合動き情報候補リストに追加する（Ｓ１７８）。双結合動き情報候補が結合動き情報候補リストに存在すれば（Ｓ１７７のＮ）、ステップＳ１７８をスキップする。ステップＳ１７７またはステップＳ１７８に続いて、生成した双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄであるか検査する（Ｓ１７９）。生成された双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄであれば（Ｓ１７９のＹ）、処理を終了する。生成された双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄでなければ（Ｓ１７９のＮ）、次の組み合わせを処理する。

ここでは、第１補充結合動き情報候補を、結合動き情報候補リストに登録されたある結合動き情報候補のＬ０予測の動きベクトルと参照画像を、別の結合動き情報候補のＬ１予測の動きベクトルと参照画像と組み合わせて、動き補償予測の方向が双方向である双結合動き情報候補としたが、これに限定されない。例えば、結合動き情報候補リストに登録されたある結合動き情報候補のＬ０予測の動きベクトルとＬ１予測の動きベクトルに＋１などのオフセット値を加えた動き補償予測の方向が双方向である結合動き情報候補、結合動き情報候補リストに登録されたある結合動き情報候補のＬ０予測の動きベクトルまたはＬ１予測の動きベクトルに＋１などのオフセット値を加えた動き補償予測の方向が単方向である結合動き情報候補としてもよい。第１補充結合動き情報候補の別の例として、結合動き情報候補リストに登録されたある結合動き情報候補のＬ０予測の動きベクトルを基準としてＬ１予測の動きベクトルをスケーリングにより求め、それらを組み合わせて動き補償予測の方向が双方向である新たな結合動き情報候補を生成してもよい。また、それらを任意に組み合わせてもよい。

ここで、第１補充結合動き情報候補は、結合動き情報候補リストに登録された結合動き情報候補の動き情報と処理対象の動き情報候補の動きに微妙にずれがある場合に、結合動き情報候補リストに登録された結合動き情報候補の動き情報を修正して新たな有効となる結合動き情報候補を生成することで、符号化効率を高めることができる。

以上のように、代替結合動き情報候補の動き情報を結合動き情報候補リストに追加しておくことで、代替結合動き情報候補の動き情報を他の結合動き情報候補の動き情報と組み合わせたり、代替結合動き情報候補の動き情報を修正して、第２補充結合動き情報候補よりも相対的に選択率の高い第１補充結合動き情報候補を結合動き情報候補リストに追加することで、符号化効率を高めることができる。特に、双結合動き情報候補を利用する場合には少なくとも２つの結合動き情報候補が必要となるため、代替結合動き情報候補以外の結合動き情報候補が結合動き情報候補リストに登録されていない場合に、代替結合動き情報候補の動き情報を結合動き情報候補リストに追加しておくことで、代替結合動き情報候補の動き情報を他の結合動き情報候補の動き情報と組み合わせることで、符号化効率を高めることができる。

（第２結合動き情報候補補充部１６４の詳細な動作）
続いて、第２結合動き情報候補補充部１６４の詳細な動作について説明する。図２２は、第２結合動き情報候補補充部１６４の動作を説明するためのフローチャートである。最初に、第１結合動き情報候補補充部１６３より供給される結合動き情報候補リストに登録された結合動き情報候補の数（ＮｕｍＣａｎｄＬｉｓｔ）とマージ候補最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）から、第１補充結合動き情報候補を生成する最大数であるＭａｘＮｕｍＧｅｎＣａｎｄを式２より算出する（Ｓ１９０）。
MaxNumGenCand=MaxNumMergeCand-NumCandList; 式２

次に、以下の処理をｉについてＭａｘＮｕｍＧｅｎＣａｎｄ回繰り返し行う（Ｓ１９１からＳ１９５）。ここで、ｉは０からＭａｘＮｕｍＧｅｎＣａｎｄ−１の整数となる。Ｌ０予測の動きベクトルが（０，０）、参照インデックスがｉであって、Ｌ１予測の動きベクトルが（０，０）、参照インデックスがｉであるインター予測タイプがＰｒｅｄ＿ＢＩである第２補充結合動き情報候補を生成する（Ｓ１９２）。第２補充結合動き情報候補が結合動き情報候補リストに存在しないかを検査する（Ｓ１９３）。第２補充結合動き情報候補が結合動き情報候補リストに存在しなければ（Ｓ１９３のＹ）、第２補充結合動き情報候補を結合動き情報候補リストに追加する（Ｓ１９４）。第２補充結合動き情報候補が結合動き情報候補リストに存在すれば（Ｓ１９３のＮ）、次のｉについて処理する（Ｓ１９５）。

ここでは、第２補充結合動き情報候補を、Ｌ０予測の動きベクトルが（０，０）、参照インデックスがｉであって、Ｌ１予測の動きベクトルが（０，０）、参照インデックスがｉであるインター予測タイプがＰｒｅｄ＿ＢＩである結合動き情報候補とした。これは、一般的な動画像において、Ｌ０予測の動きベクトルとＬ１予測の動きベクトルが（０，０）である結合動き情報候補の発生頻度が統計的に高いためである。結合動き情報候補リストに登録された結合動き情報候補の動き情報に依存せず、統計的に利用頻度が高い結合動き情報候補であれば、これに限定されない。例えば、Ｌ０予測やＬ１予測の動きベクトルはそれぞれ（０，０）以外のベクトル値でもよく、Ｌ０予測とＬ１予測の参照インデックスが異なるように設定してもよい。また、第２補充結合動き情報候補を符号化済みの画像や符号化済みの画像の一部の発生頻度の高い動き情報とし、符号化ストリームに符号化して伝送して設定することもできる。

ここで、第２補充結合動き情報候補として結合動き情報候補リストに登録された結合動き情報候補に依存しない結合動き情報候補を設定することで、結合動き情報候補リストに登録された結合動き情報候補が０個である場合に、マージモードを利用することを可能とし、符号化効率を向上させることができる。また、結合動き情報候補リストに登録された結合動き情報候補の動き情報と処理対象の動き情報候補の動きが異なる場合に、新たな結合動き情報候補を生成して選択肢の幅を広げることで、符号化効率を向上させることができる。

（動画像復号装置２００の構成）
次に、実施の形態１の動画像復号装置を説明する。図２３は、実施の形態１に係る動画像復号装置２００の構成を示す図である。動画像復号装置２００は、動画像符号化装置１００により符号化された符号列を復号して再生画像を生成する装置である。

動画像復号装置２００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置などのハードウェアにより実現される。動画像復号装置２００は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。符号化ブロックの分割、予測ブロックサイズタイプの決定、予測ブロックサイズと予測ブロックの符号化ブロック内の位置（予測ブロックの位置情報）の決定、予測符号化モードがイントラであるかの決定は図示しない上位の制御部で決定されているものとし、ここでは予測符号化モードがイントラでない場合について説明する。なお、復号対象の予測ブロックの位置情報、予測ブロックサイズに関しては動画像復号装置２００内で共有していることとし、図示しない。

実施の形態１の動画像復号装置２００は、符号列解析部２０１、予測誤差復号部２０２、加算部２０３、動き情報再生部２０４、動き補償部２０５、フレームメモリ２０６および動き情報メモリ２０７を備える。

（動画像復号装置２００の動作）
以下、各部の機能と動作について説明する。符号列解析部２０１は、端子３０より供給された符号列を解析して予測誤差符号化データ、マージフラグ、マージインデックス、動き補償予測の予測方向（インター予測タイプ）、参照インデックス、差分ベクトル、および予測ベクトルインデックスをシンタックスに従ってエントロピー復号する。エントロピー復号は算術符号化やハフマン符号化などの可変長符号化を含む方法によって実施される。そして、当該予測誤差符号化データを予測誤差復号部２０２に、当該マージフラグ、当該マージインデックス、当該インター予測タイプ、当該参照インデックス、当該差分ベクトル、および当該予測ベクトルインデックスを動き情報再生部２０４に供給する。

また、符号列解析部２０１は、動画像復号装置２００で利用される符号化ブロックの分割情報、予測ブロックサイズタイプ、予測ブロックの符号化ブロック内の位置、及び予測符号化モードを、符号化ストリームの特性を決定するためのパラメータ群を定義したＳＰＳ（ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ）、ピクチャの特性を決定するためのパラメータ群を定義したＰＰＳ（ＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔ）、やスライスの特性を決定するためのパラメータ群を定義したスライスヘッダなどと共に符号化ストリームから復号する。

動き情報再生部２０４は、符号列解析部２０１より供給されるマージフラグ、マージインデックス、インター予測タイプ、参照インデックス、差分ベクトル、および予測ベクトルインデックスと、動き情報メモリ２０７より供給される候補ブロック群から、動き情報を再生し、当該動き情報を動き補償部２０５および動き情報メモリ２０７に供給する。動き情報再生部２０４の詳細な構成については後述する。

動き補償部２０５は、動き情報再生部２０４より供給される動き情報に基づいて、フレームメモリ２０６内の参照インデックスが示す参照画像を、動きベクトルに基づき動き補償して予測信号を生成する。予測方向が双予測であれば、Ｌ０予測とＬ１予測の予測信号を平均したものを予測信号として生成し、当該予測信号を加算部２０３に供給する。

予測誤差復号部２０２は、符号列解析部２０１より供給される予測誤差符号化データに対して、逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、当該予測誤差信号を加算部２０３に供給する。

加算部２０３は、予測誤差復号部２０２より供給される予測誤差信号と、動き補償部２０５より供給される予測信号とを加算して復号画像信号を生成し、当該復号画像信号をフレームメモリ２０６および端子３１に供給する。

フレームメモリ２０６および動き情報メモリ２０７は、動画像符号化装置１００のフレームメモリ１１０および動き情報メモリ１１１と同一の機能を有する。フレームメモリ２０６は、加算部２０３より供給される復号画像信号を記憶する。動き情報メモリ２０７は、動き情報再生部２０４より供給される動き情報を最小の予測ブロックサイズ単位で記憶する。

（動き情報再生部２０４の詳細な構成）
続いて、動き情報再生部２０４の詳細な構成について説明する。図２４は、動き情報再生部２０４の構成を示す。動き情報再生部２０４は、符号化モード判定部２１０、動きベクトル再生部２１１および結合動き情報再生部２１２を含む。端子３２は符号列解析部２０１に、端子３３は動き情報メモリ２０７に、端子３４は動き補償部２０５に、端子３６は動き情報メモリ２０７にそれぞれ接続されている。

（動き情報再生部２０４の詳細な動作）
以下、各部の機能と動作について説明する。符号化モード判定部２１０は、符号列解析部２０１より供給されるマージフラグが「０」であるか「１」であるか判定する。マージフラグが「０」であれば、符号列解析部２０１より供給されるインター予測タイプ、参照インデックス、差分ベクトル、および予測ベクトルインデックスを動きベクトル再生部２１１に供給する。マージフラグが「１」であれば、符号列解析部２０１より供給されるマージインデックスを結合動き情報再生部２１２に供給する。

動きベクトル再生部２１１は、符号化モード判定部２１０より供給されるインター予測タイプ、参照インデックス、差分ベクトル、および予測ベクトルインデックスと、端子３３より供給される候補ブロック群から、動きベクトルを再生して動き情報を生成し、端子３４及び端子３６に供給する。

結合動き情報再生部２１２は、符号化モード判定部２１０より供給されるマージインデックスと、端子３３より供給される候補ブロック群から、動き情報を再生して端子３４及び端子３６に供給する。

（結合動き情報再生部２１２の詳細な構成）
続いて、結合動き情報再生部２１２の詳細な構成について説明する。図２５は、結合動き情報再生部２１２の構成を示す。結合動き情報再生部２１２は、結合動き情報候補リスト生成部２３０および結合動き情報選択部２３１を含む。端子３５は符号化モード判定部２１０に接続されている。

（結合動き情報再生部２１２の詳細な動作）
以下、各部の機能と動作について説明する。結合動き情報候補リスト生成部２３０は動画像符号化装置１００の結合動き情報候補リスト生成部１４０と同一の機能を有し、動画像符号化装置１００の結合動き情報候補リスト生成部１４０と同一の動作によって結合動き情報候補リストを生成し、当該結合動き情報候補リストを結合動き情報選択部２３１に供給する。

結合動き情報選択部２３１は、結合動き情報候補リスト生成部２３０より供給される結合動き情報候補リストの中から、端子３５より供給されるマージインデックスで示される結合動き情報候補を選択して結合動き情報を決定し、当該結合動き情報の動き情報を端子３４及び端子３６に供給する。

以上のように、動画像復号装置２００は、動画像符号化装置１００により符号化された符号列を復号して再生画像を生成することができる。

（実施の形態１の変形例１）
実施の形態１の結合動き情報候補リスト生成部１４０の構成は図１２としたが、代替結合動き情報候補補充部１６６は空間結合動き情報候補生成部１６０の外に設置してもよく、例えば、代替結合動き情報候補補充部１６６の位置を次のようにすることもできる。図２７は、実施の形態１の変形例１の結合動き情報候補リスト生成部１４０の構成を説明するための図である。実施の形態１の結合動き情報候補リスト生成部１４０とは代替結合動き情報候補補充部１６６の位置が時間結合動き情報候補生成部１６１の後にある点が異なる。

実施の形態１の変形例１の結合動き情報候補リスト生成部１４０の動作は、実施の形態１の結合動き情報候補リスト生成部１４０の動作を説明する図１３のステップＳ１０３とステップＳ１０４を入れ替えたものになる。

なお、代替結合動き情報候補補充部１６６は、結合動き情報候補リストに登録された空間結合動き情報候補の数が空間結合動き情報候補最大数でない場合に図１７の処理を行うことは実施の形態１と同様である。

以上のように、代替結合動き情報候補補充部１６６の位置を時間結合動き情報候補生成部１６１の後にすることで、予測ブロックサイズタイプが２Ｎ×２Ｎの場合と時間結合動き情報候補生成部１６１までの動作を同一にすることができ、ソフトウェアやハードウェアの設計を容易にし、回路規模を小さくすることができる。また、代替結合動き情報候補よりも時間結合動き情報の方が相対的に選択率の高ければ、符号化効率を向上させることができる。

また、劣性結合動き情報候補判定部１６５を空間結合動き情報候補生成部１６０の外に設置してもよく、例えば、予測ブロックサイズタイプと予測ブロックの位置が決定するタイミングに設置することもできる。

また、劣性結合動き情報補充部１６６が作用するか否かを符号化ストリーム中のＳＰＳ、ＰＰＳ、スライスヘッダなどで伝送してもよく、Ｂピクチャのときだけ劣性結合動き情報補充部１６６が作用するようにピクチャタイプで切り替えて制御することもできる。

［実施の形態２］
以下、実施の形態２について説明する。実施の形態１とは予測ベクトルモード決定部１２０の構成と動作が異なる。以下、予測ベクトルモード決定部１２０の詳細な構成について説明する。

（予測ベクトルモード決定部１２０の構成）
続いて、予測ベクトルモード決定部１２０の詳細な構成について説明する。図２８は、予測ベクトルモード決定部１２０の構成を示す。予測ベクトルモード決定部１２０は、予測ベクトル候補リスト生成部１３０および予測ベクトル決定部１３１を含む。端子１７は予測符号化モード決定部１２２に接続されている。

予測ベクトル候補リスト生成部１３０は、実施の形態２に係る動画像符号化装置１００により生成された符号列を復号する動画像復号装置２００内の動きベクトル再生部２１１の中にも同様に設置されて、動画像符号化装置１００と動画像復号装置２００にて矛盾のない予測ベクトル候補リストが生成される。

（予測ベクトルモード決定部１２０の動作）
以下、予測ベクトルモード決定部１２０の動作について説明する。

最初に、Ｌ０予測について以下の処理を行う。以下、Ｘは０とする。予測ベクトル候補リスト生成部１３０は、端子１３より供給されるＬＸ予測の参照インデックスを取得する。端子１２より供給される候補ブロック群とＬＸ予測の参照インデックスから予測ベクトル候補最大数の予測ベクトル候補を含むＬＸ予測の予測ベクトル候補リストを生成する。予測ベクトル候補リスト生成部１３０は、当該ＬＸ予測の予測ベクトル候補リストを予測ベクトル決定部１３１に供給する。

予測ベクトル決定部１３１は、予測ベクトル候補リスト生成部１３０より供給されるＬＸ予測の予測ベクトル候補リストから１つの予測ベクトル候補をＬＸ予測の予測ベクトルとして選択して、当該ＬＸ予測の予測ベクトルインデックスを決定する。

予測ベクトル決定部１３１は、端子１３より供給されるＬ０予測の動きベクトルからＬＸ予測の予測ベクトルを減算してＬＸ予測の差分ベクトルを算出し、当該ＬＸ予測の差分ベクトルと当該ＬＸ予測の予測ベクトルインデックスを出力する。

予測ベクトル決定部１３１は、端子１５より供給される画像信号と、端子１４より供給される参照画像を端子１３より供給されるＬＸ予測の動きベクトルおよびＬＸ予測の参照インデックスに基づいて動き補償予測したＬＸ予測の予測信号とから予測誤差量を算出し、当該予測誤差量と、Ｌ０予測の差分ベクトル、ＬＸ予測の参照インデックス、およびＬＸ予測の予測ベクトルインデックスの符号量とからＰｒｅｄ＿ＬＸのレート歪評価値を算出する。

次に、Ｘを１としてＬ１予測についてＬ０予測と同じ処理を行う。

続いて、予測ベクトル決定部１３１は、端子１５より供給される画像信号と、Ｌ０予測の予測信号およびＬ１予測の予測信号を平均したＢＩ予測の予測信号とから予測誤差量を算出し、当該予測誤差量と、Ｌ０予測とＬ１予測の差分ベクトル、Ｌ０予測とＬ１予測の参照インデックス、およびＬ０予測とＬ１予測の予測ベクトルインデックスの符号量とからＰｒｅｄ＿ＢＩのレート歪評価値を算出する。

予測ベクトル決定部１３１は、Ｐｒｅｄ＿Ｌ０のレート歪評価値、Ｐｒｅｄ＿Ｌ１のレート歪評価値、およびＰｒｅｄ＿ＢＩのレート歪評価値を比較して、最小のレート歪評価値である予測符号化モードを１つ選択する。そして、予測符号化モードに基づいた動き情報、差分ベクトル、予測ベクトルインデックス、およびレート歪み評価値を予測符号化モード決定部１２２に供給する。なお、予測符号化モードがＰｒｅｄ＿Ｌ０であれば、Ｌ１予測の動きベクトルは（０，０）、Ｌ１予測の参照インデックスは「−１」となり、予測符号化モードがＰｒｅｄ＿Ｌ１であれば、Ｌ０予測の動きベクトルは（０，０）、Ｌ０予測の参照インデックスは「−１」となる。

（予測ベクトル候補リスト生成部１３０の構成）
続いて、予測ベクトル候補リスト生成部１３０の詳細な構成について説明する。図２９は、予測ベクトル候補リスト生成部１３０の構成を説明するための図である。端子１８は予測ベクトル決定部１３１に接続されている。予測ベクトル候補リスト生成部１３０は、空間予測ベクトル候補生成部１５０、空間スケーリング予測ベクトル候補生成部１５１、時間予測ベクトル候補生成部１５２、及び予測ベクトル候補補充部１５３を含む。ここで、空間予測ベクトル候補生成部１５０と空間スケーリング予測ベクトル候補生成部１５１は同一ＣＵ候補判定部１５４と代替予測ベクトル候補補充部１５５を含む。以降、予測ベクトル候補を生成すると表記するが、導出すると言い換えてもよい。

（予測ベクトル候補リスト生成部１３０の動作）
以下、各部の機能と動作について説明する。図３０は、予測ベクトル候補リスト生成部１３０の動作を説明するためのフローチャートである。まず、予測ベクトル候補リスト生成部１３０は、予測ベクトル報候補リストを初期化する（Ｓ２００）。初期化された予測ベクトル候補リストには予測ベクトル候補は存在しない。予測ベクトル候補リスト生成部１３０は、端子１２より供給される空間候補ブロック群に含まれる候補ブロックを第１グループであるブロックＥとブロックＡ、第２グループであるブロックＣ、ブロックＢ、及びブロックＤの２グループに分け、第１グループ、第２グループの順に以下の処理を繰り返す（Ｓ２０１からＳ２０６）。

空間予測ベクトル候補生成部１５０は、端子１２より供給される候補ブロック群から各予測方向について空間予測ベクトル候補を０個または１個生成し、当該空間予測ベクトル候補を予測ベクトル候補リストに追加する（Ｓ２０２）。次に、空間予測ベクトル候補生成部１５０内に設置された代替予測ベクトル候補補充部１５５は、代替予測ベクトル候補を０個または１個生成し、予測ベクトル候補リストに登録された予測ベクトル候補数が予測ベクトル候補最大数を超えないように当該代替予測ベクトル候補を予測ベクトル候補リストに追加し（Ｓ２０３）、当該予測ベクトル候補リストと候補ブロック群を空間スケーリング予測ベクトル候補生成部１５１に供給する。空間予測ベクトル候補生成部１５０の詳細な動作については後述する。

空間スケーリング予測ベクトル候補生成部１５１は、空間予測ベクトル候補生成部１５０より供給される候補ブロック群から各予測方向について空間スケーリング予測ベクトル候補を０個または１個生成し、予測ベクトル候補リストに登録された予測ベクトル候補数が予測ベクトル候補最大数を超えないように当該空間スケーリング予測ベクトル候補を予測ベクトル候補リストに追加する（Ｓ２０４）。次に、空間スケーリング予測ベクトル候補生成部１５１内に設置された代替予測ベクトル候補補充部１５５は、代替予測ベクトル候補を０個または１個生成し、予測ベクトル候補リストに登録された予測ベクトル候補数が予測ベクトル候補最大数を超えないように当該代替予測ベクトル候補を予測ベクトル候補リストに追加し（Ｓ２０５）、当該予測ベクトル候補リストと候補ブロック群を時間予測ベクトル候補生成部１５２に供給する。空間スケーリング予測ベクトル候補生成部１５１の詳細については後述する。

次に、時間予測ベクトル候補生成部１５２は、空間スケーリング予測ベクトル候補生成部１５１より供給される候補ブロック群から各予測方向について時間予測ベクトル候補を０個または１個生成し、予測ベクトル候補リストに登録された予測ベクトル候補数が予測ベクトル候補最大数を超えないように当該時間予測ベクトル候補を予測ベクトル候補リストに追加し（Ｓ２０５）、当該予測ベクトル候補リストと候補ブロック群を予測ベクトル候補補充部１５３に供給する。

予測ベクトル候補補充部１５３は、予測ベクトル補充候補を生成し、予測ベクトル候補リストに登録された予測ベクトル候補数が予測ベクトル候補最大数を超えないように当該予測ベクトル補充候補を予測ベクトル候補リストに追加し（Ｓ２０６）、端子１８に供給する。予測ベクトル補充候補は動きベクトル（０，０）とする。ここでは、予測ベクトル補充候補を動きベクトル（０，０）としたが、（１，１）などの所定値でもよく、空間予測ベクトル候補の水平成分や垂直成分を＋１や−１などした動きベクトルでもよい。

ここでは、端子１２より供給される空間候補ブロック群に含まれる候補ブロックを２グループに分けて、各グループから１個ずつ空間予測動きベクトル候補を選択できるようにしたが、１グループにして２個の空間予測動きベクトル候補を選択してもよい。

（同一ＣＵ候補）
以下、同一ＣＵ候補について説明する。図３１（ａ）から（ｅ）は同一ＣＵ候補を説明するための図である。図３１では符号化ブロックが１６ｘ１６である例を示す。図３１（ａ）は予測ブロックサイズタイプがＮ×２Ｎで予測ブロック１である場合にブロックＡが同一ＣＵ候補となる例を示す。図３１（ｂ）は予測ブロックサイズタイプが２Ｎ×Ｎで予測ブロック１である場合にブロックＢが同一ＣＵ候補となる例を示す。図３１（ｃ）は予測ブロックサイズタイプがＮ×Ｎで予測ブロック１である場合にブロックＡ、ブロックＥが同一ＣＵ候補となる例を示す。図３１（ｄ）は予測ブロックサイズタイプがＮ×Ｎで予測ブロック２である場合にブロックＣ、ブロックＤが同一ＣＵ候補となる例を示す。図３１（ｅ）は予測ブロックサイズタイプがＮ×Ｎで予測ブロック３である場合にブロックＡ、ブロックＢ、ブロックＣが同一ＣＵ候補となる例を示す。

予測ブロックサイズタイプがＮ×２Ｎで予測ブロック１である場合と予測ブロックサイズタイプが２Ｎ×Ｎで予測ブロック１である場合の同一ＣＵ候補は、図１４の劣性結合動き情報候補と同一となる。

（同一ＣＵ候補判定部１５４の動作）
同一ＣＵ候補判定部１５４の動作を劣性結合動き情報候補判定部１６５の動作を説明する図１５を用いて説明する。劣性結合動き情報候補判定部１６５の動作とは、ステップＳ１５３とステップＳ１５５だけが異なる。以下、同一ＣＵ候補判定部１５４の動作におけるステップＳ１５３とステップＳ１５５について説明する。ブロックＡを同一ＣＵ候補とする（Ｓ１５３）。ブロックＢを同一ＣＵ候補とする（Ｓ１５５）。

ここでは、判定処理の共通化のため、同一ＣＵ候補判定部１５４の動作を劣性結合動き情報候補判定部１６５の動作と同一の判定処理としたが、これに限定されない。例えば、予測ブロックタイプがＮ×Ｎである場合について劣性結合動き情報候補判定部１６５の動作と同一の判定処理を追加することもできる。

（空間予測ベクトル候補生成部１５０の詳細な動作）
引き続いて、空間予測ベクトル候補生成部１５０の詳細な動作について説明する。図３２は、空間予測ベクトル候補生成部１５０の動作を説明するためのフローチャートである。以降、空間予測ベクトル候補を生成する対象の動き補償予測の予測方向をＬＸとして説明する（Ｘは０または１）。空間予測ベクトル候補生成部１５０は、端子１２より供給される空間候補ブロック群に含まれる候補ブロックの第１グループまたは第２グループについて以下の処理を繰り返し行う（Ｓ２１０からＳ２１７）。

候補ブロックが処理対象ブロックと同一符号化ブロック内にあるか検査する（Ｓ２１１）。ここでは、空間予測ベクトル候補生成部１５０内の同一ＣＵ候補判定部１５４が動作する。候補ブロックが処理対象ブロックと同一符号化ブロック内にあれば（Ｓ２１１のＹ）、候補ブロックの置換フラグをＯＮにして（Ｓ２１２）、次の候補ブロックを検査する（Ｓ２１７）。候補ブロックが処理対象ブロックと同一符号化ブロック内になければ（Ｓ２１１のＮ）、候補ブロックが有効であるか検査する（Ｓ２１３）。候補ブロックが有効であるとは、候補ブロックのＬＸ予測の参照インデックスが−１でないことである。

候補ブロックが有効であれば（Ｓ２１３のＹ）、候補ブロックのＬＸ予測の参照インデックスが示す参照画像と端子１３より供給されるＬＸ予測の参照インデックスが示す参照画像が同一であるか検査する（Ｓ２１４）。候補ブロックが有効でなければ（Ｓ２１３のＮ）、次の候補ブロックを検査する（Ｓ２１７）。候補ブロックのＬＸ予測の参照インデックスが示す参照画像と端子１３より供給されるＬＸ予測の参照インデックスが示す参照画像が同一であれば（Ｓ２１４のＹ）、候補ブロックのＬＸ予測の動きベクトルを空間予測ベクトル候補とする（Ｓ２１５）。候補ブロックのＬＸ予測の参照インデックスが示す参照画像と端子１３より供給されるＬＸ予測の参照インデックスが示す参照画像が同一でなければ（Ｓ２１４のＮ）、次の候補ブロックを検査する（Ｓ２１７）。ステップＳ２１５に続いて、空間予測ベクトル候補数が所定数であるか検査する（Ｓ２１６）。ここで、所定数は１とする。空間予測ベクトル候補数が所定数でなければ（Ｓ２１６のＮ）、次の候補ブロックを検査する（Ｓ２１７）。空間予測ベクトル候補数が所定数であれば（Ｓ２１６のＹ）、処理を終了する。

ここでは、ＬＸ予測の空間予測ベクトル候補の対象を同一予測方向である候補ブロックのＬＸ予測の動きベクトルとしたが、候補ブロックのＬＸ予測の参照インデックスが示す参照画像と端子１３より供給されるＬＸ予測の参照インデックスが示す参照画像が同一であればよく、例えば、候補ブロックの反対の予測方向の動きベクトルを利用することもできる。また、ここでは、候補ブロックが処理対象ブロックと同一符号化ブロック内にあれば候補ブロックの置換フラグをＯＮとするとしたが、候補ブロックが処理対象ブロックと同一符号化ブロック内にあって、候補ブロックが有効であれば候補ブロックの置換フラグをＯＮしてもよい。

（代替予測ベクトル候補補充部１５５の詳細な動作）
代替予測ベクトル候補補充部１５５の動作を代替結合動き情報候補補充部１６６の動作を説明する図１７を用いて説明する。代替結合動き情報候補補充部１６６の動作とは、ステップＳ１４１とステップＳ１４３だけが異なる。以下、代替予測ベクトル候補補充部１５５におけるステップＳ１４１とステップＳ１４３について説明する。代替予測ベクトル候補である候補ブロックＸの動きベクトルを予測ベクトル候補リストの最後尾に追加する（Ｓ１４１）。代替予測ベクトル候補である候補ブロックＹの動きベクトルを予測ベクトル候補リストの最後尾に追加する（Ｓ１４３）。候補ブロックＸと候補ブロックＹについては図１８で説明したものと同一であるとする。

ここでは、代替予測ベクトル候補を予測ベクトル候補リストの最後尾に追加するとしたが、他の位置に追加してもよい。例えば、代替予測ベクトル候補を同一ＣＵ候補が追加されたであろう位置に追加することもできる。これは、予測ブロックサイズタイプがＮ×２Ｎであれば、代替結合動き情報候補を結合動き情報候補リストの先頭に補充し、予測ブロックサイズタイプが２Ｎ×Ｎであれば、代替結合動き情報候補を結合動き情報候補リストの先頭または２番目に補充することで実現できる。また、代替予測ベクトル候補を予測ベクトル候補リストに補充しないようにすることもできる。

以上のように、予測ブロック１の代替予測ベクトル候補として予測ブロック０の空間予測ベクトル候補を利用することで、符号化ブロック単位での空間予測ベクトル候補の位置を増加させることなく、予測ブロック１の符号化効率を向上させることができる。また、予測ブロック１が予測ブロック０を参照しないため、符号化ブロックを２分割する場合に予測ブロック０と予測ブロック１を並列に処理することも可能となる。

（空間スケーリング予測ベクトル候補生成部１５１の詳細な動作）
引き続いて、空間スケーリング予測ベクトル候補生成部１５１の詳細な動作について説明する。図３３は、空間スケーリング予測ベクトル候補生成部１５１の動作を説明するためのフローチャートである。以降、空間スケーリング予測ベクトル候補を生成する対象の動き補償予測の予測方向をＬＸとして説明する（Ｘは０または１）。空間スケーリング予測ベクトル候補生成部１５１は、端子１２より供給される空間候補ブロック群に含まれる候補ブロックの第１グループまたは第２グループについて以下の処理を繰り返し行う（Ｓ２２０からＳ２２７）。

候補ブロックが処理対象ブロックと同一符号化ブロック内にあるか検査する（Ｓ２２１）。ここでは、空間スケーリング予測ベクトル候補生成部１５１内の同一ＣＵ候補判定部１５４が動作する。候補ブロックが処理対象ブロックと同一符号化ブロック内にあれば（Ｓ２２１のＹ）、候補ブロックの置換フラグをＯＮにして（Ｓ２２２）、次の候補ブロックを検査する（Ｓ２２７）。候補ブロックが処理対象ブロックと同一符号化ブロック内になければ（Ｓ２２１のＮ）、候補ブロックが有効であるか検査する（Ｓ２２３）。候補ブロックが有効であるとは、候補ブロックのＬＸ予測の参照インデックスが−１でないことである。

候補ブロックが有効であれば（Ｓ２２３のＹ）、候補ブロックのＬＸ予測の参照インデックスが示す参照画像と端子１３より供給されるＬＸ予測の参照インデックスが示す参照画像が同一でないか検査する（Ｓ２２４）。候補ブロックが有効でなければ（Ｓ２２３のＮ）、次の候補ブロックを検査する（Ｓ２２７）。候補ブロックのＬＸ予測の参照インデックスが示す参照画像と端子１３より供給されるＬＸ予測の参照インデックスが示す参照画像が同一でなければ（Ｓ２２４のＹ）、候補ブロックのＬＸ予測の動きベクトルをスケーリングしたスケーリングベクトルを空間スケーリング予測ベクトル候補とする（Ｓ２２５）。スケーリングベクトルは、候補ブロックのＬＸ予測の動きベクトルに処理対象画像と端子１３より供給されるＬＸ予測の参照インデックスが示す参照画像の距離を乗算し、処理対象画像と候補ブロックのＬＸ予測の参照インデックスが示す参照画像の距離を除算することで算出する。候補ブロックのＬＸ予測の参照インデックスが示す参照画像と端子１３より供給されるＬＸ予測の参照インデックスが示す参照画像が同一であれば（Ｓ２２４のＮ）、次の候補ブロックを検査する（Ｓ２２７）。ステップＳ２２５に続いて、空間スケーリング予測ベクトル候補数が所定数であるか検査する（Ｓ２２６）。ここで、所定数は１とする。空間スケーリング予測ベクトル候補数が所定数でなければ（Ｓ２２６のＮ）、次の候補ブロックを検査する（Ｓ２２７）。空間スケーリング予測ベクトル候補数が所定数であれば（Ｓ２２６のＹ）、処理を終了する。

ここでは、ＬＸ予測の空間スケーリング予測ベクトル候補の対象を同一予測方向である候補ブロックのＬＸ予測の動きベクトルとしたが、候補ブロックのＬＸ予測の参照インデックスが示す参照画像と端子１３より供給されるＬＸ予測の参照インデックスが示す参照画像が同一でなければよく、例えば、候補ブロックの反対の予測方向の動きベクトルを利用することもできる。また、ここでは、候補ブロックが処理対象ブロックと同一符号化ブロック内にあれば候補ブロックの置換フラグをＯＮとするとしたが、候補ブロックが処理対象ブロックと同一符号化ブロック内にあって、候補ブロックが有効であれば候補ブロックの置換フラグをＯＮしてもよい。以上のように、マージモードでは予測ブロック１の代替結合動き情報候補として予測ブロック０の空間結合動き情報候補を利用し、予測ベクトルモードでは予測ブロック１の代替予測ベクトル候補として予測ブロック０の空間予測ベクトル候補を利用することで、符号化ブロック単位での空間予測ベクトル候補の位置を増加させることなく、予測ブロック１の符号化効率を向上させることができる。また、マージモード及び予測ベクトルモードのいずれにおいても予測ブロック１が予測ブロック０を参照しないため、符号化ブロックを２分割する場合であって、マージモード及び予測ベクトルモードが混在するような符号化ブロックにおいても予測ブロック０と予測ブロック１を並列に処理することも可能となる。

（実施の形態２の変形例１）
実施の形態２の予測ベクトル候補リスト生成部１３０の構成は図２９としたが、代替予測ベクトル候補補充部１５５は空間予測ベクトル候補生成部１５０や空間スケーリング予測ベクトル候補生成部１５１の外に設置してもよく、例えば、代替予測ベクトル候補補充部１５５を１つにして空間スケーリング予測ベクトル候補生成部１５１の後に設置してもよく、時間予測ベクトル候補生成部１５２の後に設置してもよい。

以上のように、代替予測ベクトル候補補充部１５５の位置を空間スケーリング予測ベクトル候補生成部１５１の外に設置にすることで、予測ブロックサイズタイプが２Ｎ×２Ｎの場合との動作の共通化に図ることができ、ソフトウェアやハードウェアの設計を容易にすることができる。また、代替予測ベクトル候補が他の予測ベクトル候補よりも相対的に選択率の低ければ、他の予測ベクトル候補を優先することで符号化効率を向上させることができる。

（実施の形態２の変形例２）
実施の形態２では劣性結合動き情報候補判定部１６５の動作は図１５としたが、符号化ブロック数の分割数が４である予測ブロックサイズタイプがＮ×Ｎの場合について劣性結合動き情報候補判定部１６５と同一ＣＵ候補判定部１５４の動作を共通としてもよく、例えば、次のようにすることができる。

（Ｎ×Ｎの場合の劣性結合動き情報候補と同一ＣＵ候補の定義）
最初に、予測ブロックサイズタイプがＮ×Ｎの場合の劣性結合動き情報候補と同一ＣＵ候補について説明する。ここでは、予測ブロック１と予測ブロック３について劣性結合動き情報候補と同一ＣＵ候補を定義する。図３４（ａ）と（ｂ）は予測ブロックサイズタイプがＮ×Ｎの場合の劣性結合動き情報候補と同一ＣＵ候補を説明するための図である。図３４（ａ）は予測ブロック１の劣性結合動き情報候補と同一ＣＵ候補が符号化順で１つ前の予測ブロック内にある予測ブロックＡとなることを示す。図３４（ｂ）は予測ブロック３の劣性結合動き情報候補と同一ＣＵ候補が符号化順で１つ前の予測ブロック内にある候補ブロックＡとすることを示す。

（劣性結合動き情報候補判定部１６５の動作）
図３５は、実施の形態２の変形例２の劣性結合動き情報候補判定部１６５の動作を説明するための図である。実施の形態２では劣性結合動き情報候補判定部１６５の動作とは、ステップＳ１５６、ステップＳ１５７が追加されていることが異なる。以下、実施の形態２の変形例２の劣性結合動き情報候補判定部１６５のステップＳ１５６、ステップＳ１５７について説明する。処理対象の予測ブロックが予測ブロック１または予測ブロック３であるか検査する（Ｓ１５６）。処理対象の予測ブロックが予測ブロック１または予測ブロック３であれば（Ｓ１５６のＹ）、ブロックＡを劣性結合動き情報候補とする（Ｓ１５７）。処理対象の予測ブロックが予測ブロック１または予測ブロック３でなければ（Ｓ１５６のＮ）、処理を終了する。

（同一ＣＵ候補判定部１５４の動作）
実施の形態２の変形例２の同一ＣＵ候補判定部１５４の動作を劣性結合動き情報候補判定部１６５の動作を説明する図３５を用いて説明する。劣性結合動き情報候補判定部１６５の動作とは、ステップＳ１５３、ステップＳ１５５、及びステップＳ１５７が異なる。以下、実施の形態２の変形例２の同一ＣＵ候補判定部１５４の動作におけるステップＳ１５３、ステップＳ１５５、及びステップＳ１５７について説明する。ブロックＡを同一ＣＵ候補とする（Ｓ１５３）。ブロックＢを同一ＣＵ候補とする（Ｓ１５５）。ブロックＡを同一ＣＵ候補とする（Ｓ１５７）。

（ブロックＸ）
引き続いて、代替結合動き情報候補補充部１６６及び代替予測ベクトル候補補充部１５５で利用する候補ブロックＸについて説明する。図３６（ａ）から（ｄ）は、代替結合動き情報候補または代替予測ベクトル候補を説明するための図である。

図３６（ａ）は予測ブロックサイズタイプがＮ×Ｎで、処理対象の予測ブロックが予測ブロック０である場合の候補ブロックの位置を示す。図３６（ｂ）は予測ブロックサイズタイプがＮ×Ｎで、処理対象の予測ブロックが予測ブロック１である場合の候補ブロックの位置を示す。このとき、候補ブロックＡが劣性結合動き情報候補または同一ＣＵ候補となる。候補ブロックＸは予測ブロック０の候補ブロックの中から選択する。ここでは、予測ブロック０の候補ブロックの中で予測ブロック１の候補ブロックＡと最短距離の関係にあるは予測ブロック０の候補ブロックＡをブロックＸとする。

図３６（ｃ）は予測ブロックサイズタイプがＮ×Ｎで、処理対象の予測ブロックが予測ブロック２である場合の候補ブロックの位置を示す。図３６（ｄ）は予測ブロックサイズタイプがＮ×Ｎで、処理対象の予測ブロックが予測ブロック３である場合の候補ブロックの位置を示す。このとき、候補ブロックＡが劣性結合動き情報候補または同一ＣＵ候補となる。候補ブロックＸは予測ブロック２の候補ブロックの中から選択する。ここでは、予測ブロック２の候補ブロックの中で予測ブロック３の候補ブロックＡと最短距離の関係にあるは予測ブロック２の候補ブロックＡをブロックＸとする。

ここでは、候補ブロックＸを予測ブロック０または予測ブロック２の候補ブロックＡとしたが、符号化対象の予測ブロックとの相関性の最も高い符号化対象の予測ブロックと最短距離の予測ブロック０または予測ブロック２の候補ブロックＣを候補ブロックＸとすることもできる。また、冗長結合動き情報候補削除部１６２において削除される可能性を低減させるために、符号化対象の予測ブロックと距離の遠い候補ブロックである予測ブロック０または予測ブロック２の候補ブロックＤや候補ブロックＥを候補ブロックＸとすることもできる。

以上のように、予測ブロックサイズタイプがＮ×Ｎである場合に、マージモードでは、予測ブロック１と予測ブロック３の代替結合動き情報候補としてそれぞれ１つ前の予測ブロックである予測ブロック０とブロック２の候補ブロックを利用し、予測ベクトルモードでは、予測ブロック１と予測ブロック３の代替予測ベクトル候補としてそれぞれ予測ブロック０と予測ブロック２の候補ブロックを利用することで、符号化ブロック単位での候補ブロックの位置を増加させることなく、予測ブロック１と予測ブロック３の符号化効率を向上させることができる。また、マージモード及び予測ベクトルモードのいずれにおいても予測ブロック１が予測ブロック０を参照せず、予測ブロック３が予測ブロック２を参照しないため、符号化ブロックを４分割する場合であって、マージモード及び予測ベクトルモードが混在するような符号化ブロックにおいても、予測ブロック０と予測ブロック１、予測ブロック２と予測ブロック３をそれぞれ並列に処理することも可能となる。

以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。

動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。

動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。

以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１００動画像符号化装置、１０１予測ブロック画像取得部、１０２減算部、１０３予測誤差符号化部、１０４符号列生成部、１０５予測誤差復号部、１０６動き補償部、１０７加算部、１０８動きベクトル検出部、１０９動き情報生成部、１１０フレームメモリ、１１１動き情報メモリ、１２０予測ベクトルモード決定部、１２１マージモード決定部、１２２予測符号化モード決定部、１３０予測ベクトル候補リスト生成部、１３１予測ベクトル決定部、１４０結合動き情報候補リスト生成部、１４１結合動き情報選択部、１５０空間予測ベクトル候補生成部、１５１空間スケーリング予測ベクトル候補生成部、１５２時間予測ベクトル候補生成部、１５３予測ベクトル候補補充部、１５４同一ＣＵ候補判定部、１５５代替予測ベクトル候補補充部、１６０空間結合動き情報候補生成部、１６１時間結合動き情報候補生成部、１６２冗長結合動き情報候補削除部、１６３第１結合動き情報候補補充部、１６４第２結合動き情報候補補充部、１６５劣性結合動き情報候補判定部、１６６代替結合動き情報候補補充部、２００動画像復号装置、２０１符号列解析部、２０２予測誤差復号部、２０３加算部、２０４動き情報再生部、２０５動き補償部、２０６フレームメモリ、２０７動き情報メモリ、２１０符号化モード判定部、２１１動きベクトル再生部、２１２結合動き情報再生部、２３０結合動き情報候補リスト生成部、２３１結合動き情報選択部。

Claims

分割タイプに基づいて符号化ブロックを複数の予測ブロックに分割して動き補償予測を行う画像符号化装置であって、
符号化対象の予測ブロックに隣接する、符号化順で前記符号化対象の予測ブロックよりも先に符号化される複数の隣接ブロックの中から、前記符号化対象の予測ブロックと同一の符号化ブロックに属するブロックを同一符号化ブロック候補として検出する同一符号化ブロック候補判定部と、
前記符号化対象の予測ブロックで利用するための予測ベクトル候補として、前記同一符号化ブロック候補を除く前記符号化対象の予測ブロックに隣接する符号化済みの複数の隣接ブロックの動きベクトルから予測ベクトル候補を導出し、予測ベクトル候補リストを生成する予測ベクトル候補リスト生成部と、
前記同一符号化ブロック候補が検出された場合には、前記符号化ブロック内の前記符号化対象の予測ブロックとは異なる予測ブロックに隣接する符号化済みの所定の隣接ブロックの動きベクトルから導出した予測ベクトル候補を、前記同一符号化ブロック候補の動きベクトルから導出される予測ベクトル候補の代わりとなる代替予測ベクトル候補として前記予測ベクトル候補リストに追加する代替予測ベクトル候補補充部と、
前記予測ベクトル候補リストから１つの予測ベクトル候補を選択し、前記符号化対象の予測ブロックの予測ベクトルとする予測ベクトル選択部と、
前記選択された予測ベクトル候補を前記予測ベクトル候補リストにおいて特定するためのインデックスを候補特定インデックスとして符号化する符号化部とを備えることを特徴とする画像符号化装置。
前記代替予測ベクトル候補補充部は、前記符号化ブロック内の前記符号化対象の予測ブロックとは異なる予測ブロックに隣接する符号化済みの隣接ブロックの内、前記同一符号化ブロック候補と最短距離であるものを前記所定の隣接ブロックとすることを特徴とする請求項１に記載の画像符号化装置。
前記代替予測ベクトル候補補充部は、前記符号化ブロック内の前記符号化対象の予測ブロックとは異なる予測ブロックに隣接する符号化済みの隣接ブロックの内、前記符号化対象の予測ブロックと最短距離であるものを前記所定の隣接ブロックとすることを特徴とする請求項１に記載の画像符号化装置。
前記代替予測ベクトル候補補充部は、前記代替予測ベクトル候補の候補特定インデックスが前記代替予測ベクトル候補ではない前記予測ベクトル候補の候補特定インデックスよりも符号長が長くなるように、前記代替予測ベクトル候補を前記予測ベクトル候補リストに追加することを特徴とする請求項１から請求項３のいずれかに記載の画像符号化装置。
前記代替予測ベクトル候補補充部は、前記代替予測ベクトル候補を前記符号化対象の予測ブロックの前記分割タイプに応じて前記予測ベクトル候補リストの１番目または２番目に追加することを特徴とする請求項１から請求項３のいずれかに記載の画像符号化装置。
分割タイプに基づいて符号化ブロックを複数の予測ブロックに分割して動き補償予測を行う画像符号化方法であって、
符号化対象の予測ブロックに隣接する、符号化順で前記符号化対象の予測ブロックよりも先に符号化される複数の隣接ブロックの中から、前記符号化対象の予測ブロックと同一の符号化ブロックに属するブロックを同一符号化ブロック候補として検出する同一符号化ブロック候補判定ステップと、
前記符号化対象の予測ブロックで利用するための予測ベクトル候補として、前記同一符号化ブロック候補を除く前記符号化対象の予測ブロックに隣接する符号化済みの複数の隣接ブロックの動きベクトルから予測ベクトル候補を導出し、予測ベクトル候補リストを生成する予測ベクトル候補リスト生成ステップと、
前記同一符号化ブロック候補が検出された場合には、前記符号化ブロック内の前記符号化対象の予測ブロックとは異なる予測ブロックに隣接する符号化済みの所定の隣接ブロックの動きベクトルから導出した予測ベクトル候補を、前記同一符号化ブロック候補の動きベクトルから導出される予測ベクトル候補の代わりとなる代替予測ベクトル候補として前記予測ベクトル候補リストに追加する代替予測ベクトル候補補充ステップと、
前記予測ベクトル候補リストから１つの予測ベクトル候補を選択し、前記符号化対象の予測ブロックの予測ベクトルとする予測ベクトル選択ステップと、
前記選択された予測ベクトル候補を前記予測ベクトル候補リストにおいて特定するためのインデックスを候補特定インデックスとして符号化する符号化ステップとを備えることを特徴とする画像符号化方法。
分割タイプに基づいて符号化ブロックを複数の予測ブロックに分割して動き補償予測を行う画像符号化プログラムであって、
符号化対象の予測ブロックに隣接する、符号化順で前記符号化対象の予測ブロックよりも先に符号化される複数の隣接ブロックの中から、前記符号化対象の予測ブロックと同一の符号化ブロックに属するブロックを同一符号化ブロック候補として検出する同一符号化ブロック候補判定ステップと、
前記符号化対象の予測ブロックで利用するための予測ベクトル候補として、前記同一符号化ブロック候補を除く前記符号化対象の予測ブロックに隣接する符号化済みの複数の隣接ブロックの動きベクトルから予測ベクトル候補を導出し、予測ベクトル候補リストを生成する予測ベクトル候補リスト生成ステップと、
前記同一符号化ブロック候補が検出された場合には、前記符号化ブロック内の前記符号化対象の予測ブロックとは異なる予測ブロックに隣接する符号化済みの所定の隣接ブロックの動きベクトルから導出した予測ベクトル候補を、前記同一符号化ブロック候補の動きベクトルから導出される予測ベクトル候補の代わりとなる代替予測ベクトル候補として前記予測ベクトル候補リストに追加する代替予測ベクトル候補補充ステップと、
前記予測ベクトル候補リストから１つの予測ベクトル候補を選択し、前記符号化対象の予測ブロックの予測ベクトルとする予測ベクトル選択ステップと、
前記選択された予測ベクトル候補を前記予測ベクトル候補リストにおいて特定するためのインデックスを候補特定インデックスとして符号化する符号化ステップとをコンピュータに実行させることを特徴とする画像符号化プログラム。