JP2013121164A - 画像復号装置、画像復号方法及び画像復号プログラム - Google Patents

Abstract

【課題】符号化ベクトルを伝送することなく動き補償予測を高効率に実現する。
【解決手段】符号列解析部２０１は、結合動き情報候補を結合動き情報候補リストにおいて特定するためのインデックスが符号化された符号列からインデックスを復号する。結合動き情報候補リスト生成部２３０は、復号対象の予測ブロックに空間的に隣接する復号済みの複数の隣接ブロックの動き情報と、復号対象の予測ブロックを含むピクチャとは別の復号済みのピクチャにおいて復号対象の予測ブロックと同一位置にあるブロックまたはその周辺のブロックの動き情報とを、復号対象の予測ブロックに利用するための結合動き情報候補として、結合動き情報候補リストに追加する。結合動き情報候補削除部１６５は、復号対象の予測ブロックの分割タイプと復号対象の予測ブロックの復号ブロック内の位置とに基づいて、結合動き情報候補リストに含まれる特定の結合動き情報候補を削除する。
【選択図】図２４

Description

本発明は、動き補償予測を用いた動画像復号技術に関し、特に動き補償予測で利用する動き情報を復号する画像復号装置、画像復号方法および画像復号プログラムに関する。

一般的な動画像圧縮符号化では動き補償予測が利用される。動き補償予測は、対象画像を細かいブロックに分割し、復号済みの画像を参照画像として、動きベクトルで示される動き量に基づいて、対象画像の処理対象ブロックから参照画像の参照ブロックに移動した位置の信号を予測信号として生成する技術である。動き補償予測には１本の動きベクトルを利用して単予測に行うものと、２本の動きベクトルを利用して双予測に行うものがある。

動きベクトルについては、処理対象ブロックに隣接する符号化済みのブロックの動きベクトルを予測動きベクトル（単に「予測ベクトル」ともいう）とし、処理対象ブロックの動きベクトルと予測ベクトルとの差分を求め、差分ベクトルを符号化ベクトルとして伝送することで圧縮効率を向上させている。

ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４（以下、ＭＰＥＧ−４ＡＶＣ）のような動画像圧縮符号化では、動き補償予測を行うブロックサイズを細かく且つ多様にすることで、精度の高い動き補償予測を可能としている。一方、ブロックサイズを小さくすることで、符号化ベクトルの符号量は大きくなる問題があった。

そこで、ＭＰＥＧ−４ＡＶＣでは、時間方向の動きの連続性に着目し、処理対象ブロックと同一位置にある参照画像のブロックが有する動きベクトルを処理対象ブロックの動きベクトルとして利用して、符号化ベクトルを伝送することなく動き補償予測を実現する時間ダイレクト動き補償予測が用いられている。

また、特許文献１では、空間方向の動きの連続性に着目し、処理対象ブロックに隣接する処理済みのブロックが有する動きベクトルを処理対象ブロックの動きベクトルとして利用して、符号化ベクトルを伝送することなく動き補償予測を実現する方法が開示されている。

特開平１０−２７６４３９号公報

特許文献１に記載された方法においては、動き補償予測を行うブロックサイズが可変となる場合には最小のブロックサイズを基準としており、ＭＰＥＧ−ＡＶＣのように予め多様なブロックサイズが定義されているような動画像圧縮符号化に適用する場合にそのまま適用できない課題がある。

本発明はこうした状況に鑑みてなされたものであり、その目的は、符号化ベクトルを伝送することなく動き補償予測を高効率に実現することのできる動画像符号化および動画像復号技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像復号装置は、分割タイプに基づいて復号ブロックを１つまたは複数の予測ブロックに分割して動き補償予測を行う画像復号装置であって、結合動き情報候補を結合動き情報候補リストにおいて特定するためのインデックスが符号化された符号列から、前記インデックスを復号する復号部（２０１）と、復号対象の予測ブロックに空間的に隣接する復号済みの複数の隣接ブロックの動き情報と、復号対象の予測ブロックを含むピクチャとは別の復号済みのピクチャにおいて復号対象の予測ブロックと同一位置にあるブロックまたはその周辺のブロックの動き情報とを、復号対象の予測ブロックに利用するための結合動き情報候補として、結合動き情報候補リストに追加し、前記結合動き情報候補リストを生成する結合動き情報候補リスト生成部（２３０）と、前記復号対象の予測ブロックの分割タイプと前記復号対象の予測ブロックの前記復号ブロック内の位置とに基づいて、前記結合動き情報候補リストに含まれる特定の結合動き情報候補を選択し、前記結合動き情報候補リスト内の前記特定の結合動き情報候補を削除する結合動き情報候補削除部（１６５）と、前記インデックスにもとづいて前記結合動き情報候補リストから１つの結合動き情報候補を選択し、前記復号対象の予測ブロックの動き情報とする結合動き情報選択部（２３１）とを備える。

本発明の別の態様は、画像復号方法である。この方法は、分割タイプに基づいて復号ブロックを１つまたは複数の予測ブロックに分割して動き補償予測を行う画像復号方法であって、結合動き情報候補を結合動き情報候補リストにおいて特定するためのインデックスが符号化された符号列から、前記インデックスを復号する復号ステップと、復号対象の予測ブロックに空間的に隣接する復号済みの複数の隣接ブロックの動き情報と、復号対象の予測ブロックを含むピクチャとは別の復号済みのピクチャにおいて復号対象の予測ブロックと同一位置にあるブロックまたはその周辺のブロックの動き情報とを、復号対象の予測ブロックに利用するための結合動き情報候補として、結合動き情報候補リストに追加し、前記結合動き情報候補リストを生成する結合動き情報候補リスト生成ステップと、前記復号対象の予測ブロックの分割タイプと前記復号対象の予測ブロックの前記復号ブロック内の位置とに基づいて、前記結合動き情報候補リストに含まれる特定の結合動き情報候補を選択し、前記結合動き情報候補リスト内の前記特定の結合動き情報候補を削除する結合動き情報候補削除ステップと、前記インデックスにもとづいて前記結合動き情報候補リストから１つの結合動き情報候補を選択し、前記復号対象の予測ブロックの動き情報とする結合動き情報選択ステップとを備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、符号化ベクトルを伝送することなく動き補償予測を高効率に実現することができる。

図１（ａ）、（ｂ）は、符号化ブロックを説明する図である。 図２（ａ）〜（ｄ）は、予測ブロックサイズタイプを説明する図である。 予測ブロックサイズタイプを説明する図である。 予測符号化モードを説明する図である。 マージインデックスと符号列の関係を説明する図である。 予測ブロックのシンタックスの一例を説明する図である。 実施の形態１に係る動画像符号化装置の構成を示す図である。 図７の動き情報生成部の構成を示す図である。 図８のマージモード決定部の構成を説明する図である。 処理対象の予測ブロックサイズが１６画素×１６画素である場合の処理対象の予測ブロックの隣接ブロックを示す図である。 処理対象の予測ブロックサイズが１６画素×１６画素である場合の処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上の予測ブロック内のブロックとその周辺ブロックを示す図である。 図９の結合動き情報候補リスト生成部の構成を説明する図である。 図９の結合動き情報候補リスト生成部の動作を説明するフローチャートである。 図１２の空間結合動き情報候補生成部の動作を説明するフローチャートである。 図１２の時間結合動き情報候補生成部の動作を説明するフローチャートである。 図１２の劣性結合動き情報候補削除部の動作を説明するフローチャートである。 図１７（ａ）から（ｄ）は劣性結合動き情報候補を説明する図である。 劣性結合動き情報候補の判定処理を説明するフローチャートである。 図１２の第１結合動き情報候補補充部の動作を説明するフローチャートである。 組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係を説明する図である。 図１２の第２結合動き情報候補補充部の動作を説明するフローチャートである。 実施の形態１に係る動画像復号装置の構成を示す図である。 図２２の動き情報再生部の構成を示す図である。 図２３の結合動き情報再生部の構成を示す図である。

まず、本発明の実施の形態の前提となる技術を説明する。

現在、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの符号化方式に準拠した装置およびシステムが普及している。そのような符号化方式では、時間軸上に連続する複数の画像をデジタル信号の情報として取り扱う。その際、効率の高い情報の放送、伝送または蓄積などを目的とし、画像を複数のブロックに分割して時間方向の冗長性を利用した動き補償予測、および空間方向の冗長性を利用した離散コサイン変換などの直交変換を用いて圧縮符号化する。

２００３年に、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４と呼ばれる符号化方式（ＩＳＯ／ＩＥＣでは１４４９６−１０、ＩＴＵ−ＴではＨ．２６４の規格番号がつけられている。以下、これをＭＰＥＧ−４ＡＶＣと呼ぶ）が国際標準として制定された。ＭＰＥＧ−４ＡＶＣでは、基本的に処理対象ブロックの複数の隣接ブロックの動きベクトルの中央値を予測ベクトルとする。予測ブロックサイズが正方形でない場合で処理対象ブロックの特定の隣接ブロックの参照インデックスと処理対象ブロックの参照インデックスが一致する場合には、その特定の隣接ブロックの動きベクトルを予測ベクトルとする。

現在、国際標準化機構（ＩＳＯ）と国際電気標準会議（ＩＥＣ）のジョイント技術委員会（ＩＳＯ／ＩＥＣ）と、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）の共同作業によってＨＥＶＣと呼ばれる符号化方式の標準化が検討されている。

ＨＥＶＣの標準化では、複数の隣接ブロックと復号済みの別の画像のブロックを候補ブロック群として、これら候補ブロック群から１つの候補ブロックが選択されて、選択された候補ブロックの情報が符号化および復号されるマージモードが検討されている。

［実施の形態１］
（符号化ブロック）
本実施の形態では、入力された画像信号は最大符号化ブロック単位に分割され、分割された最大符号化ブロックをラスタースキャン順序で処理する。符号化ブロックは階層構造となっており、符号化効率などを考慮して順次均等に４分割することでより小さい符号化ブロックにすることができる。なお、４分割された符号化ブロックはジグザグスキャン順で符号化される。これ以上小さくすることのできない符号化ブロックを最小符号化ブロックと呼ぶ。符号化ブロックは符号化の単位となり、最大符号化ブロックも分割数が０である場合は符号化ブロックとなる。本実施の形態では、最大符号化ブロックを６４画素×６４画素、最小符号化ブロックを８画素×８画素とする。

図１（ａ）、（ｂ）は、符号化ブロックを説明するための図である。図１（ａ）の例では、符号化ブロックが１０個に分割されている。ＣＵ０、ＣＵ１およびＣＵ９は３２画素×３２画素の符号化ブロック、ＣＵ２、ＣＵ３およびＣＵ８は１６画素×１６画素の符号化ブロック、ならびにＣＵ４、ＣＵ５、ＣＵ６およびＣＵ７は８画素×８画素の符号化ブロックとなっている。図１（ｂ）の例では、符号化ブロックが１個に分割されている。

（予測ブロック）
本実施の形態では、符号化ブロックはさらに予測ブロック（パーティションモードともいう）に分割される。符号化ブロックは予測ブロックサイズタイプ（「分割タイプ」やパーティションモードともいう）によって１以上の予測ブロックに分割される。図２（ａ）〜（ｄ）は、予測ブロックサイズタイプを説明するための図である。図２（ａ）は符号化ブロックを分割しない２Ｎ×２Ｎ、図２（ｂ）は水平に２分割する２Ｎ×Ｎ、図２（ｃ）は垂直に２分割するＮ×２Ｎ、および図２（ｄ）は水平と垂直に４分割するＮ×Ｎを示す。２Ｎ×２Ｎは１個の予測ブロック０、２Ｎ×ＮとＮ×２Ｎは２個の予測ブロック０と予測ブロック１、Ｎ×Ｎは４個の予測ブロック０、予測ブロック１、予測ブロック２、予測ブロック３からなる。

図３は、符号化ブロックの分割数と予測ブロックサイズタイプによる予測ブロックサイズを説明するための図である。本実施の形態における予測ブロックサイズは、ＣＵ分割数が０であって予測ブロックサイズタイプが２Ｎ×２Ｎである６４画素×６４画素からＣＵ分割数が３であって予測ブロックサイズタイプＮ×Ｎである４画素×４画素までの１３の予測ブロックサイズが存在することになる。

本実施の形態では、最大符号化ブロックを６４画素×６４画素、最小符号化ブロックを８画素×８画素とするが、この組み合わせに限定されない。また、予測ブロックの分割のパターンを図２（ａ）〜（ｄ）としたが、１以上に分割される組み合わせであればよくこれに限定されない。

（予測符号化モード）
本実施の形態では、動き補償予測や符号化ベクトル数を予測ブロックのブロック毎に切り替えることが可能となっている。ここで、動き補償予測と符号化ベクトル数を関連付けた予測符号化モードの一例について図４を用いて簡単に説明する。図４は、予測符号化モードを説明するための図である。

図４に示す予測符号化モードには、動き補償予測の予測方向が単予測（Ｌ０予測）であって符号化ベクトル数が１であるＰｒｅｄＬ０、動き補償予測の予測方向が単予測（Ｌ１予測）であって符号化ベクトル数が１であるＰｒｅｄＬ１、動き補償予測の予測方向が双予測（ＢＩ予測）であって符号化ベクトル数が２であるＰｒｅｄＢＩ、および動き補償予測の予測方向が単予測（Ｌ０予測／Ｌ１予測）または双予測（ＢＩ予測）であって符号化ベクトル数が０であるマージモード（ＭＥＲＧＥ）がある。また、動き補償予測を実施しない予測符号化モードであるイントラモード（Ｉｎｔｒａ）もある。ここで、ＰｒｅｄＬ０、ＰｒｅｄＬ１、およびＰｒｅｄＢＩが予測ベクトルモードとなる。動き補償予測の予測方向として単予測のみを許可したＰピクチャと動き補償予測の予測方向として単予測と双予測を許可したＢピクチャがあることが一般的に知られている。

マージモードでは予測方向がＬ０予測／Ｌ１予測／ＢＩ予測のいずれにもなるが、それは、マージモードの予測方向は候補ブロック群から選択された候補ブロックの予測方向をそのまま引き継ぐか、復号済みの情報から導出されるためである。また、マージモードでは符号化ベクトルが符号化されない。これは、マージモードの符号化ベクトルは候補ブロック群から選択された候補ブロックの動きベクトルをそのまま引き継ぐか、復号済みの情報から導出されるためである。

（参照インデックス）
本実施の形態では、動き補償予測の精度向上のために、動き補償予測において複数の参照画像の中から最適な参照画像を選択することを可能とする。そのため、動き補償予測で利用した参照画像を参照画像インデックスとして符号化ベクトルとともに符号化する。動き補償予測で利用される参照画像インデックスは０以上の数値となる。動き補償予測が単予測であれば、参照インデックスは１つ利用され、動き補償予測が双予測であれば、２つの参照インデックスが利用される（図４）。

マージモードでは参照インデックスは符号化されない。これは、マージモードの参照インデックスは候補ブロック群から選択された候補ブロックの参照インデックスをそのまま引き継ぐか、復号済みの情報から導出されるためである。

（参照インデックスリスト）
本実施の形態では、動き補償予測で利用できる複数の参照画像を参照インデックスリスト内に登録しておき、参照インデックスリスト内に登録された参照画像を参照インデックスで示すことによって参照画像を確定させて動き補償予測で利用する。参照インデックスリストには、参照インデックスリストＬ０と参照インデックスリストＬ１がある。動き補償予測が単予測の場合は、参照インデックスリストＬ０の中の参照画像を用いたＬ０予測、または参照インデックスリストＬ１の中の参照画像を用いたＬ１予測のいずれかを利用する。双予測の場合は参照インデックスリストＬ０と参照インデックスリストＬ１の２つを利用したＢＩ予測を利用する。各参照インデックスリストに登録できる参照画像の最大数は１６とする。

（マージインデックス）
本実施の形態では、マージモードの場合には、処理対象画像内の複数の隣接ブロックおよび符号化済みの別の画像内の処理対象ブロックと同一位置の周辺にあるブロックを候補ブロック群として、候補ブロック群の中から最適な予測符号化モード、動きベクトル、及び参照インデックスを持つ候補ブロックを選択し、選択した候補ブロックを示すためのマージインデックスを符号化および復号する。マージモードのときのみマージインデックスが１つ利用される（図４）。マージインデックスの最大数（マージ候補最大数ともいう）は５であり、マージインデックスは０から４までの整数となる。ここでは、マージインデックスの最大数を５としたが、２以上であればよく、これに限定されない。

以降、マージインデックスの対象となる候補ブロックの動き情報を結合動き情報候補と呼び、結合動き情報候補の集合体を結合動き情報候補リストと呼ぶ。以降、動き情報とは予測方向、動きベクトル、及び参照インデックスを含む。

なお、マージインデックスと符号列の関係について図を用いて説明する。図５はマージインデックスと符号列の関係を説明するための図である。マージインデックスが０の場合の符号列は'０'、マージインデックスが１の場合の符号列は'１０'、マージインデックスが２の場合の符号列は'１１０'、マージインデックスが３の場合の符号列は'１１１０'、マージインデックスが４の場合の符号列は'１１１１０'となり、マージインデックスが大きくなるほど符号列を長く設定する。そのため、選択率の高い候補ブロックに小さいマージインデックスを割り当てることで、符号化効率を向上させることができる。

（予測ベクトルインデックス）
本実施の形態では、予測ベクトルの精度を向上させるために、複数の隣接ブロックおよび符号化済みの別の画像の処理対象ブロックと同一位置の周辺にあるブロックを候補ブロック群として、候補ブロック群から予測ベクトルとして最適な動きベクトルを持つ候補ブロックを選択し、選択した候補ブロックを示すための予測ベクトルインデックスを符号化および復号する。動き補償予測が単予測であれば、予測ベクトルインデックスは１つ利用され、動き補償予測が双予測であれば、２つの予測ベクトルインデックスが利用される（図４）。予測ベクトルインデックスの最大数（予測ベクトル候補最大数ともいう）は２であり、予測ベクトルインデックスは０または１の整数となる。ここでは、予測ベクトル候補最大数を２としたが、２以上であればよく、これに限定されない。

以降、予測ベクトルインデックスの対象となる候補ブロックの動きベクトルを予測ベクトル候補と呼び、予測ベクトル候補の集合体を予測ベクトル候補リストと呼ぶ。

（シンタックス）
本実施の形態による予測ブロックのシンタックスの一例について図６を用いて説明する。予測ブロックがイントラであるかインターであるかは上位の符号化ブロックによって指定されているものとし、図６は予測ブロックがインターの場合の予測ブロックのシンタックスだけを示す。また、予測ブロックサイズタイプについても符号化ブロックで指定されているものとする。

予測ブロック（図６のＰＵ）には、マージフラグ（ｍｅｒｇｅ＿ｆｌａｇ）、マージインデックス（ｍｅｒｇｅ＿ｉｄｘ）、インター予測タイプ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅ）、Ｌ０予測の参照インデックス（ｒｅｆ＿ｉｄｘ＿ｌ０）、Ｌ０予測の差分ベクトル（ｍｖｄ＿ｌ０［０］、ｍｖｄ＿ｌ０［１］）、Ｌ０予測の予測ベクトルインデックス（ｍｖｐ＿ｉｄｘ＿ｌ０）、Ｌ１予測の参照インデックス（ｒｅｆ＿ｉｄｘ＿ｌ１）、Ｌ１予測の差分ベクトル（ｍｖｄ＿ｌ１［０］、ｍｖｄ＿ｌ１［１］）、及びＬ１予測の予測ベクトルインデックス（ｍｖｐ＿ｉｄｘ＿ｌ１）が設置されている。差分ベクトルの［０］は水平成分、［１］は垂直成分を示す。

ここで、ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅは動き補償予測の予測方向（インター予測タイプとも呼ぶ）を示し、Ｐｒｅｄ＿Ｌ０（Ｌ０予測の単予測）、Ｐｒｅｄ＿Ｌ１（Ｌ１予測の単予測）およびＰｒｅｄ＿ＢＩ（ＢＩ予測の双予測）の３種類がある。ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅがＰｒｅｄ＿Ｌ０またはＰｒｅｄ＿ＢＩの場合は、Ｌ０予測に関する情報が設置されて、ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅがＰｒｅｄ＿Ｌ１またはＰｒｅｄ＿ＢＩの場合は、Ｌ１予測に関する情報が設置される。

なお、本実施の形態による予測ブロックのシンタックスを図６のように設定したが、これに限定されない。

以下、図面とともに本発明の好適な実施の形態に係る動画像符号化装置、動画像符号化方法および動画像符号化プログラム、ならびに動画像復号装置、動画像復号方法および動画像復号プログラムの詳細について説明する。なお、図面の説明において同一要素には同一符号を付与して重複する説明を省略する。

（動画像符号化装置１００の構成）
図７は、本実施の形態１に係る動画像符号化装置１００の構成を示す。動画像符号化装置１００は、動画像信号を、動き補償予測を実施する予測ブロック単位で符号化する装置である。符号化ブロックの分割、予測ブロックサイズタイプの決定、予測ブロックサイズと予測ブロックの符号化ブロック内の位置（予測ブロックの位置情報）の決定、予測符号化モードがイントラであるかの決定は図示しない上位の符号化制御部で決定されているものとし、実施の形態１では予測符号化モードがイントラでない場合について説明する。また、実施の形態１では双予測に対応したＢピクチャについて説明するが、双予測に対応しないＰピクチャについてはＬ１予測を省略すればよい。

動画像符号化装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置などのハードウェアにより実現される。動画像符号化装置１００は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。なお、処理対象の予測ブロックの位置情報、予測ブロックサイズおよび動き補償予測の予測方向に関しては動画像符号化装置１００内で共有していることとし、図示しない。

実施の形態１の動画像符号化装置１００は、予測ブロック画像取得部１０１、減算部１０２、予測誤差符号化部１０３、符号列生成部１０４、予測誤差復号部１０５、動き補償部１０６、加算部１０７、動きベクトル検出部１０８、動き情報生成部１０９、フレームメモリ１１０、および動き情報メモリ１１１を含む。

（動画像符号化装置１００の機能と動作）
以下、各部の機能と動作について説明する。予測ブロック画像取得部１０１は、予測ブロックの位置情報と予測ブロックサイズに基づいて、端子１０より供給される画像信号から処理対象の予測ブロックの画像信号を取得し、予測ブロックの画像信号を減算部１０２、動きベクトル検出部１０８および動き情報生成部１０９に供給する。

動きベクトル検出部１０８は、予測ブロック画像取得部１０１より供給される画像信号および内部に記憶している複数の参照画像に相当する画像信号から、Ｌ０予測とＬ１予測それぞれの動きベクトルと参照画像を示す参照インデックスを検出する。当該Ｌ０予測とＬ１予測の動きベクトル、および当該Ｌ０予測とＬ１予測の参照インデックスを動き情報生成部１０９に供給する。ここでは、動きベクトル検出部１０８は参照画像として内部に記憶している複数の参照画像に相当する画像信号を利用するとしたが、フレームメモリ１１０に記憶されている参照画像を利用することもできる。

一般的な動きベクトルの検出方法は、対象画像の画像信号と、同一位置より所定の移動量だけ移動させた参照画像の予測信号について誤差評価値を算出し、誤差評価値が最小となる移動量を動きベクトルとする。参照画像が複数ある場合には各参照画像について動きベクトルを検出し、誤差評価値が最小となる参照画像を選択する。誤差評価値としては、絶対差分和を示すＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や二乗誤差平均を示すＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）などを利用することが可能である。また、動きベクトル符号量を誤差評価値に加算して評価することも可能である。

動き情報生成部１０９は、動きベクトル検出部１０８より供給されるＬ０予測とＬ１予測の動きベクトルおよびＬ０予測とＬ１予測の参照インデックス、動き情報メモリ１１１より供給される候補ブロック群、参照インデックスで示されるフレームメモリ１１０内の参照画像、および予測ブロック画像取得部１０１より供給される画像信号から、予測符号化モードを決定する。

決定された予測符号化モードに基づいて、マージフラグ、マージインデックス、動き補償予測の予測方向、Ｌ０予測とＬ１予測の参照インデックス、Ｌ０予測とＬ１予測の差分ベクトルおよびＬ０予測とＬ１予測の予測ベクトルインデックスを必要に応じて、符号列生成部１０４に供給する。動き補償予測の予測方向、Ｌ０予測とＬ１予測の参照インデックス、およびＬ０予測とＬ１予測の動きベクトルを動き補償部１０６および動き情報メモリ１１１に供給する。動き情報生成部１０９の詳細については後述する。

動き補償部１０６は、動き情報生成部１０９より供給される動き補償予測の予測方向がＬＮ予測であれば、動き情報生成部１０９より供給されるＬＮ予測の参照インデックスで示されるフレームメモリ１１０内の参照画像を、動き情報生成部１０９より供給されるＬＮ予測の動きベクトルに基づき動き補償してＬＮ予測の予測信号を生成する。Ｎは０または１である。ここで、動き補償予測の予測方向が双予測であれば、Ｌ０予測とＬ１予測の予測信号の平均値が予測信号となる。なお、Ｌ０予測とＬ１予測の予測信号を重みづけしてもよい。動き補償部１０６は、当該予測信号を減算部１０２に供給する。

減算部１０２は、予測ブロック画像取得部１０１より供給される画像信号と動き補償部１０６より供給される予測信号を減算して予測誤差信号を算出し、当該予測誤差信号を予測誤差符号化部１０３に供給する。

予測誤差符号化部１０３は、減算部１０２より供給される予測誤差信号に対して、直交変換や量子化などの処理を行って予測誤差符号化データを生成し、当該予測誤差符号化データを符号列生成部１０４および予測誤差復号部１０５に供給する。

符号列生成部１０４は、予測誤差符号化部１０３より供給される予測誤差符号化データ、ならびに動き情報生成部１０９より供給されるマージフラグ、マージインデックス、動き補償予測の予測方向（インター予測タイプ）、Ｌ０予測とＬ１予測の参照インデックス、Ｌ０予測とＬ１予測の差分ベクトルおよびＬ０予測とＬ１予測の予測ベクトルインデックスを図６に示すシンタックスの順序に従ってエントロピー符号化して符号列を生成し、当該符号列を符号化ストリームとして端子１１に供給する。エントロピー符号化は算術符号化やハフマン符号化などの可変長符号化を含む方法によって実施される。

また、符号列生成部１０４は、動画像符号化装置１００で利用された符号化ブロックの分割情報、予測ブロックサイズタイプ、予測ブロックの符号化ブロック内の位置、及び予測符号化モードを、符号化ストリームの特性を決定するためのパラメータ群を定義したＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ピクチャの特性を決定するためのパラメータ群を定義したＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、やスライスの特性を決定するためのパラメータ群を定義したスライスヘッダなどと共に符号化ストリーム中に多重化する。

予測誤差復号部１０５は、予測誤差符号化部１０３より供給される予測誤差符号化データに対して、逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、当該予測誤差信号を加算部１０７に供給する。加算部１０７は、予測誤差復号部１０５より供給される予測誤差信号と、動き補償部１０６より供給される予測信号を加算して復号画像信号を生成し、当該復号画像信号をフレームメモリ１１０に供給する。

フレームメモリ１１０は、加算部１０７より供給される復号画像信号を記憶する。また、画像全体の復号が完了した復号画像については参照画像として、１以上の所定の画像数を記憶する。フレームメモリ１１０は、記憶した参照画像信号を動き補償部１０６および動き情報生成部１０９に供給する。参照画像を記憶する記憶領域はＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）方式で制御される。

動き情報メモリ１１１は、動き情報生成部１０９より供給される動き情報を最小の予測ブロックサイズ単位で所定の画像数、記憶する。処理対象の予測ブロックの隣接ブロックの動き情報を空間候補ブロック群とする。

また、動き情報メモリ１１１は、処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上のブロックとその周辺ブロックの動き情報を時間候補ブロック群とする。動き情報メモリ１１１は、空間候補ブロック群と時間候補ブロック群を候補ブロック群として動き情報生成部１０９に供給する。動き情報メモリ１１１は、フレームメモリ１１０と同期しており、ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）方式で制御される。

ここで、ＣｏｌＰｉｃとは、処理対象の予測ブロックとは別の復号済みの画像であって、フレームメモリ１１０に参照画像として記憶されている。実施の形態１では、ＣｏｌＰｉｃは処理対象画像の直前に復号した参照画像とする。なお、実施の形態１では、ＣｏｌＰｉｃは処理対象画像の直前に復号した参照画像としたが、復号済みの画像であればよく、例えば、表示順で直前の参照画像や表示順で直後の参照画像でもよく、符号化ストリーム中で指定することも可能である。

ここで、動き情報メモリ１１１における動き情報の管理方法について説明する。動き情報は最小の予測ブロック単位で各メモリエリアに記憶される。各メモリエリアには、少なくとも予測方向、Ｌ０予測の動きベクトル、Ｌ０予測の参照インデックス、Ｌ１予測の動きベクトル、およびＬ１予測の参照インデックスが記憶される。

なお、予測符号化モードがイントラモードである場合、Ｌ０予測とＬ１予測の動きベクトルとして（０，０）が記憶され、Ｌ０予測とＬ予測の参照インデックスとして「−１」が記憶される。これ以降、動きベクトルの（Ｈ、Ｖ）は、Ｈが水平成分、Ｖが垂直成分を表すこととする。なお、参照インデックスの「−１」は動き補償予測を実施しないモードであることが判定できればどのような値でもよい。これ以降は特に断らない限り単にブロックと表現する場合には、最小の予測ブロック単位のことを示すこととする。また、領域外のブロックである場合もイントラモードと同様に、Ｌ０予測とＬ１予測の動きベクトルとして（０，０）が記憶され、Ｌ０予測とＬ１予測の参照インデックスとして「−１」が記憶される。ＬＸ方向（Ｘは０または１）が有効であるとはＬＸ方向の参照インデックスが０以上であることで、ＬＸ方向が無効である（有効でない）とはＬＸ方向の参照インデックスが「−１」であることである。

（動き情報生成部１０９の構成）
続いて、動き情報生成部１０９の詳細な構成について説明する。図８は、動き情報生成部１０９の構成を示す。動き情報生成部１０９は、予測ベクトルモード決定部１２０、マージモード決定部１２１および予測符号化モード決定部１２２を含む。端子１２は動き情報メモリ１１１に、端子１３は動きベクトル検出部１０８に、端子１４はフレームメモリ１１０に、端子１５は予測ブロック画像取得部１０１に、端子１６は符号列生成部１０４に、端子５０は動き補償部１０６に、および端子５１は動き情報メモリ１１１にそれぞれ接続されている。

（動き情報生成部１０９の機能と動作）
以下、各部の機能と動作について説明する。予測ベクトルモード決定部１２０は、端子１２より供給される候補ブロック群、端子１３より供給されるＬ０予測とＬ１予測の動きベクトルおよびＬ０予測とＬ１予測の参照インデックス、端子１４より供給される参照インデックスで示される参照画像、および端子１５より供給される画像信号から、インター予測タイプを決定し、インター予測タイプに従って、Ｌ０予測とＬ１予測の予測ベクトルインデックスを選択してＬ０予測とＬ１予測の差分ベクトルを算出するとともに、予測誤差を算出し、レート歪み評価値を算出する。そして、当該インター予測タイプに基づいた動き情報、差分ベクトル、予測ベクトルインデックス、およびレート歪み評価値を予測符号化モード決定部１２２に供給する。

マージモード決定部１２１は、端子１２より供給される候補ブロック群、端子１４より供給される参照画像、および端子１５より供給される画像信号から、結合動き情報候補リストを生成し、当該結合動き情報候補リストの中から１つの結合動き情報候補を選択してマージインデックスを決定し、レート歪み評価値を算出する。そして、当該結合動き情報候補の動き情報、当該マージインデックスおよび当該レート歪み評価値を予測符号化モード決定部１２２に供給する。マージモード決定部１２１の詳細については後述する。

予測符号化モード決定部１２２は、予測ベクトルモード決定部１２０より供給されるレート歪み評価値と、マージモード決定部１２１より供給されるレート歪み評価値とを比較してマージフラグを決定する。

予測ベクトルモードレート歪み評価値がマージモードレート歪み評価値未満の場合は、マージフラグを「０」に設定する。予測符号化モード決定部１２２は、当該マージフラグ、予測ベクトルモード決定部１２０より供給されるインター予測タイプ、参照インデックス、差分ベクトルと予測ベクトルインデックスを端子１６に供給し、予測ベクトルモード決定部１２０より供給される動き情報を端子５０および端子５１に供給する。

マージモードレート歪み評価値が予測ベクトルモードレート歪み評価値以下の場合は、マージフラグを「１」に設定する。予測符号化モード決定部１２２は、当該マージフラグおよびマージモード決定部１２１より供給されるマージインデックスを端子１６に供給し、マージモード決定部１２１より供給される動き情報を端子５０および端子５１に供給する。なお、レート歪み評価値の具体的な算出方法は本発明の主眼ではないため詳細な説明は省略するが、予測誤差と符号量から符号量当たりの予測誤差量を算出し、レート歪み評価値が小さいほど符号化効率は高くなる特性を持つ評価値である。そのため、レート歪み評価値が小さい予測符号化モードを選択することで符号化効率を向上させることができる。

（マージモード決定部１２１の構成）
続いて、マージモード決定部１２１の詳細な構成について説明する。図９は、マージモード決定部１２１の構成を説明するための図である。マージモード決定部１２１は、結合動き情報候補リスト生成部１４０および結合動き情報選択部１４１を含む。結合動き情報候補リスト生成部１４０は、実施の形態１に係る動画像符号化装置１００により生成された符号列を復号する動画像復号装置２００にも同様に設置されて、動画像符号化装置１００と動画像復号装置２００にて同一の結合動き情報リストが生成される。

（マージモード決定部１２１の機能と動作）
以下、各部の機能と動作について説明する。結合動き情報候補リスト生成部１４０は、端子１２より供給される候補ブロック群からマージ候補最大数の結合動き情報候補を含む結合動き情報候補リストを生成し、当該結合動き情報候補リストを結合動き情報選択部１４１に供給する。結合動き情報候補リスト生成部１４０の詳細な構成については後述する。

結合動き情報選択部１４１は、結合動き情報候補リスト生成部１４０より供給される結合動き情報候補リストの中から、最適な結合動き情報候補を選択し、選択された結合動き情報候補を示す情報であるマージインデックスを決定して、当該マージインデックスを端子１７に供給する。

ここで、最適な結合動き情報候補の選択方法について説明する。結合動き情報候補の予測方向、動きベクトルおよび参照インデックスに基づいて動き補償予測されて得られる端子１４より供給される参照画像と、端子１５より供給される画像信号とから予測誤差量が算出される。マージインデックスの符号量と、当該予測誤差量とからレート歪み評価値が算出されて、レート歪み評価値が最小となる結合動き情報候補が最適な結合動き情報候補として選択される。

（結合動き情報候補リスト生成部１４０に供給される候補ブロック群）
次に、結合動き情報候補リスト生成部１４０に供給される候補ブロック群について図１０と図１１を用いて説明する。候補ブロック群には空間候補ブロック群と時間候補ブロック群が含まれる。

図１０は、処理対象の予測ブロックサイズが１６画素×１６画素である場合の処理対象の予測ブロックの隣接ブロックを示す。実施の形態１では、空間候補ブロック群として、図１０に示すブロックＡ１、ブロックＣ、ブロックＤ、ブロックＢ１およびブロックＥの５ブロックとする。ここでは、空間候補ブロック群をブロックＡ１、ブロックＣ、ブロックＤ、ブロックＢ１およびブロックＥの５ブロックとしたが、空間候補ブロック群は、処理対象の予測ブロックに隣接する少なくとも１以上の処理済みのブロックであればよく、これらに限定されない。例えば、ブロックＡ１、ブロックＡ２、ブロックＡ３、ブロックＡ４、ブロックＢ１、ブロックＢ２、ブロックＢ３、ブロックＢ４、ブロックＣ、ブロックＤおよびブロックＥの全てを空間候補ブロックとしてもよい。

次に、時間候補ブロック群について図１１を用いて説明する。図１１は、処理対象の予測ブロックサイズが１６画素×１６画素である場合の処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上の予測ブロック内のブロックとその周辺ブロックを示す。実施の形態１では、時間候補ブロック群として、図１１に示すブロックＨとブロックＩ６の２ブロックとする。ここでは、時間候補ブロック群をＣｏｌＰｉｃ上のブロックＨとブロックＩ６の２ブロックとしたが、時間候補ブロック群は、処理対象の予測ブロックとは別の復号済みの画像上の少なくとも１以上のブロックであればよく、これらに限定されない。例えば、ブロックＨのみとしてもよい。以降、ブロックＡ４をブロックＡ、ブロックＢ４をブロックＢと表記し、ブロックI６をブロックIと表記し、ブロックＨとブロックＩ６のブロックを時間ブロックと表記する。

（結合動き情報候補リスト生成部１４０の構成）
続いて、結合動き情報候補リスト生成部１４０の詳細な構成について説明する。図１２は、結合動き情報候補リスト生成部１４０の構成を説明するための図である。端子１９は結合動き情報選択部１４１に接続されている。結合動き情報候補リスト生成部１４０は、空間結合動き情報候補生成部１６０、時間結合動き情報候補生成部１６１、冗長結合動き情報候補削除部１６２、第１結合動き情報候補補充部１６３、第２結合動き情報候補補充部１６４、及び劣性結合動き情報候補削除部１６５を含む。

（結合動き情報候補リスト生成部１４０の機能と動作）
以下、各部の機能と動作について説明する。図１３は、結合動き情報候補リスト生成部１４０の動作を説明するためのフローチャートである。まず、結合動き情報候補リスト生成部１４０は、結合動き情報候補リストを初期化する（Ｓ１００）。初期化された結合動き情報候補リストには結合動き情報候補は存在しない。

次に、空間結合動き情報候補生成部１６０は、端子１２より供給される候補ブロック群から０個から４個の空間結合動き情報候補を生成して結合動き情報候補リストに追加し（Ｓ１０１）、当該結合動き情報候補リストと候補ブロック群を時間結合動き情報候補生成部１６１に供給する。空間結合動き情報候補生成部１６０の詳細な動作については後述する。

次に、時間結合動き情報候補生成部１６１は、空間結合動き情報候補生成部１６０より供給される候補ブロック群から０個または１個の時間結合動き情報候補を生成して空間結合動き情報候補生成部１６０より供給される結合動き情報候補リストに追加し（Ｓ１０２）、当該結合動き情報候補リストを冗長結合動き情報候補削除部１６２に供給する。時間結合動き情報候補生成部１６１の詳細な動作については後述する。

次に、冗長結合動き情報候補削除部１６２は、時間結合動き情報候補生成部１６１より供給される結合動き情報候補リストに登録されている結合動き情報候補を検査し、同一の動き情報を有する結合動き情報候補が複数存在する場合には１つの結合動き情報候補を残してその他の結合動き情報候補を削除し（Ｓ１０３）、当該結合動き情報候補リストを第１結合動き情報候補補充部１６３に供給する。したがって、当該結合動き情報候補リストに登録されている結合動き情報候補は全てが異なる結合動き情報候補となる。

次に、第１結合動き情報候補補充部１６３は、冗長結合動き情報候補削除部１６２より供給される結合動き情報候補リストに登録された結合動き情報候補から０個から４個の第１補充結合動き情報候補を生成して結合動き情報候補リストに追加し（Ｓ１０４）、当該結合動き情報候補リストを第２結合動き情報候補補充部１６４に供給する。第１結合動き情報候補補充部１６３の詳細な動作については後述する。

次に、第２結合動き情報候補補充部１６４は、第１結合動き情報候補補充部１６３より供給される結合動き情報候補リストに依存しない０個から２個の第２補充結合動き情報候補を生成して第１結合動き情報候補補充部１６３より供給される結合動き情報候補リストに追加し（Ｓ１０５）、当該結合動き情報候補リストを劣性結合動き情報候補削除部１６５に供給する。第２結合動き情報候補補充部１６４の詳細な動作については後述する。
次に、劣性結合動き情報候補削除部１６５は、第２結合動き情報候補補充部１６４より供給される結合動き情報候補リストから劣性結合動き情報候補を削除し（Ｓ１０６）、当該結合動き情報候補リストを端子１９に供給する。劣性結合動き情報候補削除部１６５の詳細な動作については後述する。

（空間結合動き情報候補生成部１６０の詳細な動作）
続いて、空間結合動き情報候補生成部１６０の詳細な動作について説明する。図１４は、空間結合動き情報候補生成部１６０の動作を説明するためのフローチャートである。空間結合動き情報候補生成部１６０は、候補ブロック群の空間候補ブロック群に含まれる候補ブロックであるブロックＡ、ブロックＢ、ブロックＣ、ブロックＥ、ブロックＤの順に以下の処理を繰り返し行う（Ｓ１１０からＳ１１４）。

最初に、候補ブロックが有効であるか検査する（Ｓ１１１）。候補ブロックが有効であるとは、候補ブロックのＬ０予測とＬ１予測の参照インデックスの少なくとも一方が０以上であることである。候補ブロックが有効であれば（Ｓ１１１のＹ）、候補ブロックの動き情報を空間結合動き情報候補として結合動き情報候補リストに追加する（Ｓ１１２）。候補ブロックが有効でなければ（Ｓ１１１のＮ）、ステップＳ１１２とステップＳ１１３をスキップして次の候補ブロックを検査する（Ｓ１１４）。ステップＳ１１２に続いて、結合動き情報候補リストに追加された空間結合動き情報候補の数が空間結合動き情報候補最大数であるか検査する（Ｓ１１３）。ここでは、空間結合動き情報候補最大数を４とする。結合動き情報候補リストに追加された空間結合動き情報候補の数が空間結合動き情報候補最大数でなければ（Ｓ１１３のＮ）、次の候補ブロックを検査する（Ｓ１１４）。結合動き情報候補リストに追加された空間結合動き情報候補の数が空間結合動き情報候補最大数であれば（Ｓ１１３のＹ）、処理を終了する。

ここでは、処理対象ブロックとの接線の長く一般的に処理対象ブロックとの相関性の高いと考えられるブロックＡとブロックＢを優先して結合動き情報候補リストに登録できるように処理の順序をブロックＡ、ブロックＢ、ブロックＣ、ブロックＥ、ブロックＤとしたが、相関性の高い順序で結合動き情報候補が結合動き情報候補リストに登録されればよく、これに限定されない。また、空間結合動き情報候補最大数を４としたが、空間結合動き情報候補最大数は１以上で空間候補ブロック群に含まれる候補ブロック数以下であればよく、これに限定されない。

（時間結合動き情報候補生成部１６１の詳細な動作）
続いて、時間結合動き情報候補生成部１６１の詳細な動作について説明する。図１５は、時間結合動き情報候補生成部１６１の動作を説明するためのフローチャートである。Ｌ０予測とＬ１予測の各予測方向ＬＸについて以下の処理を繰り返し行う（Ｓ１２０からＳ１２７）。ここで、Ｘは０または１である。また、候補ブロック群の時間候補ブロック群に含まれる候補ブロックであるブロックＨ、ブロックＩの順に以下の処理を繰り返し行う（Ｓ１２１からＳ１２６）。

時間結合動き情報候補生成部１６１は、候補ブロックのＬＮ予測が有効であるか検査する（Ｓ１２２）。ここで、Ｎは０または１である。ここでは、ＮはＸと同じであるとする。候補ブロックのＬＮ予測が有効であるとは、候補ブロックのＬＮ予測の参照インデックスが０以上であることである。候補ブロックのＬＮ予測が有効であれば（Ｓ１２２のＹ）、候補ブロックのＬＮ予測の動きベクトルを基準動きベクトルとする（Ｓ１２３）。候補ブロックのＬＮ予測が有効でなければ（Ｓ１２２のＮ）、ステップＳ１２３からステップＳ１２６をスキップして次の候補ブロックを検査する（Ｓ１２６）。

ステップＳ１２３に続いて、時間結合動き情報候補のＬＸ予測の参照画像を決定する（Ｓ１２４）。ここでは、時間結合動き情報候補のＬＸ予測の参照画像は、空間候補ブロック群に含まれる候補ブロックのＬＸ予測の参照画像として最もよく利用される参照画像とする。次に、基準動きベクトルを処理対象画像と時間結合動き情報候補のＬＸ予測の参照画像の距離に合うようにスケーリングしてスケーリングベクトルを算出し、当該スケーリングベクトルを時間結合動き情報候補のＬＸ予測の動きベクトルとし（Ｓ１２５）、次の予測方向を処理する（Ｓ１２７）。ここでは、スケーリングベクトルの算出式については、ＭＰＥＧ−４ＡＶＣでの時間ダイレクト動き補償予測のスケーリングベクトルの算出式と同様とする。Ｌ０予測とＬ１予測について処理が終了したステップＳ１２７に続いて、時間結合動き情報候補のＬ０予測とＬ１予測の少なくとも一方の予測が有効であるか検査する（Ｓ１２８）。時間結合動き情報候補のＬＮ予測が有効であるとは、時間結合動き情報候補のＬＮ予測の参照画像が決定していることである。時間結合動き情報候補のＬ０予測とＬ１予測の少なくとも一方の予測が有効であれば（Ｓ１２８のＹ）、時間結合動き情報候補のインター予測タイプを決定して、当該時間結合動き情報候補を結合動き情報候補リストに追加する（Ｓ１２９）。ここでは、インター予測タイプの決定は、Ｌ０予測だけが有効であれば、時間結合動き情報候補のインター予測タイプをＰｒｅｄ＿Ｌ０とし、Ｌ１予測だけが有効であれば、時間結合動き情報候補のインター予測タイプをＰｒｅｄ＿Ｌ１とし、Ｌ０予測とＬ１予測の両方が有効であれば、時間結合動き情報候補のインター予測タイプをＰｒｅｄ＿ＢＩとする。

ここでは、ＮはＸと同じであるとしたが、ＮはＸと異なっていても良く、これに限定されない。また、時間結合動き情報候補のＬＸ予測の参照画像は、空間候補ブロック群に含まれる候補ブロックのＬＸ予測の参照画像として最もよく利用される参照画像としたが、これに限定されず、参照インデックス０の参照画像に決定する等してもよい。また、インター予測タイプはＰｒｅｄ＿Ｌ０、Ｐｒｅｄ＿Ｌ１、Ｐｒｅｄ＿ＢＩのいずれかであるとしたが、Ｐｒｅｄ＿ＢＩだけでもよく、これに限定されない。

（第１結合動き情報候補補充部１６３の詳細な動作）
続いて、第１結合動き情報候補補充部１６３の詳細な動作について説明する。図１９は、第１結合動き情報候補補充部１６３の動作を説明するためのフローチャートである。最初に、冗長結合動き情報候補削除部１６２より供給される結合動き情報候補リストに登録された結合動き情報候補の数（ＮｕｍＣａｎｄＬｉｓｔ）とマージ候補最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）から、第１補充結合動き情報候補を生成する最大数であるＭａｘＮｕｍＧｅｎＣａｎｄを式１より算出する（Ｓ１７０）。
MaxNumGenCand=MaxNumMergeCand-NumCandList; (NumCandList>0)
MaxNumGenCand=0; (NumCandList==0) 式１

次に、ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きいか検査する（Ｓ１７１）。ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きくなければ（Ｓ１７１のＮ）、処理を終了する。ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きければ（Ｓ１７１のＹ）、以下の処理を行う。まず、組み合わせ検査回数であるｌｏｏｐＴｉｍｅｓを決定する。ｌｏｏｐＴｉｍｅｓはＮｕｍＣａｎｄＬｉｓｔ×ＮｕｍＣａｎｄＬｉｓｔに設定する。ただし、ｌｏｏｐＴｉｍｅｓが８を超える場合にはｌｏｏｐＴｉｍｅｓは８に制限する（Ｓ１７２）。ここで、ｌｏｏｐＴｉｍｅｓは０から７までの整数となる。ｌｏｏｐＴｉｍｅｓだけ以下の処理を繰り返し行う（Ｓ１７２からＳ１８０）。結合動き情報候補Ｍと結合動き情報候補Ｎの組み合わせを決定する（Ｓ１７３）。ここで、組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係について説明する。図２０は組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係を説明するための図である。図２０のようにＭとＮは異なる値であって、ＭとＮの合計値が小さくなる順に設定される。結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効であるか検査する（Ｓ１７４）。結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効であれば（Ｓ１７４のＹ）、結合動き情報候補ＭのＬ０予測の参照画像と動きベクトルが結合動き情報候補ＮのＬ１予測の参照画像と動きベクトルと異なるか検査する（Ｓ１７５）。結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効でなければ（Ｓ１７４のＮ）、次の組み合わせを処理する。結合動き情報候補ＭのＬ０予測の参照画像と結合動き情報候補ＮのＬ１予測の参照画像が異なれば（Ｓ１７５のＹ）、結合動き情報候補ＭのＬ０予測の動きベクトルと参照画像を結合動き情報候補ＮのＬ１予測の動きベクトルと参照画像と組み合わせてインター予測タイプがＰｒｅｄ＿ＢＩである双結合動き情報候補を生成する（Ｓ１７６）。ここでは、第１補充結合動き情報候補として、ある結合動き情報候補のＬ０予測とそれとは異なる結合動き情報候補のＬ１予測の動き情報を組み合わせた双結合動き情報を生成する。結合動き情報候補ＭのＬ０予測の参照画像と結合動き情報候補ＮのＬ１予測の参照画像が同じであれば（Ｓ１７５のＮ）、次の組み合わせを処理する。ステップＳ１７６に続いて、双結合動き情報候補が結合動き情報候補リストに存在しないかを検査する（Ｓ１７７）。双結合動き情報候補が結合動き情報候補リストに存在しなければ（Ｓ１７７のＹ）、双結合動き情報候補を結合動き情報候補リストに追加する（Ｓ１７８）。双結合動き情報候補が結合動き情報候補リストに存在すれば（Ｓ１７７のＮ）、ステップＳ１７８をスキップする。ステップＳ１７７またはステップＳ１７８に続いて、生成した双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄであるか検査する（Ｓ１７９）。生成された双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄであれば（Ｓ１７９のＹ）、処理を終了する。生成された双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄでなければ（Ｓ１７９のＮ）、次の組み合わせを処理する。

ここでは、第１補充結合動き情報候補を、結合動き情報候補リストに登録されたある結合動き情報候補のＬ０予測の動きベクトルと参照画像を、別の結合動き情報候補のＬ１予測の動きベクトルと参照画像と組み合わせて、動き補償予測の方向が双方向である双結合動き情報候補としたが、これに限定されない。例えば、結合動き情報候補リストに登録されたある結合動き情報候補のＬ０予測の動きベクトルとＬ１予測の動きベクトルに＋１などのオフセット値を加えた動き補償予測の方向が双方向である結合動き情報候補、結合動き情報候補リストに登録されたある結合動き情報候補のＬ０予測の動きベクトルまたはＬ１予測の動きベクトルに＋１などのオフセット値を加えた動き補償予測の方向が単方向である結合動き情報候補としてもよいし、それらを任意に組み合わせてもよい。

ここで、第１補充結合動き情報候補は、結合動き情報候補リストに登録された結合動き情報候補の動き情報と処理対象の動き情報候補の動きに微妙にずれがある場合に、結合動き情報候補リストに登録された結合動き情報候補の動き情報を修正して有効な結合動き情報候補を生成することで、符号化効率を高めることができる。

（第２結合動き情報候補補充部１６４の詳細な動作）
続いて、第２結合動き情報候補補充部１６４の詳細な動作について説明する。図２１は、第２結合動き情報候補補充部１６４の動作を説明するためのフローチャートである。最初に、第１結合動き情報候補補充部１６３より供給される結合動き情報候補リストに登録された結合動き情報候補の数（ＮｕｍＣａｎｄＬｉｓｔ）とマージ候補最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）から、第１補充結合動き情報候補を生成する最大数であるＭａｘＮｕｍＧｅｎＣａｎｄを式２より算出する（Ｓ１９０）。
MaxNumGenCand=MaxNumMergeCand-NumCandList; (NumCandList>0)
MaxNumGenCand=2; (NumCandList==0) 式２

次に、以下の処理をｉについてＭａｘＮｕｍＧｅｎＣａｎｄ回繰り返し行う（Ｓ１９１からＳ１９５）。ここで、ｉは０からＭａｘＮｕｍＧｅｎＣａｎｄ−１の整数となる。Ｌ０予測の動きベクトルが（０，０）、参照インデックスがｉであって、Ｌ１予測の動きベクトルが（０，０）、参照インデックスがｉであるインター予測タイプがＰｒｅｄ＿ＢＩである第２補充結合動き情報候補を生成する（Ｓ１９２）。第２補充結合動き情報候補が結合動き情報候補リストに存在しないかを検査する（Ｓ１９３）。第２補充結合動き情報候補が結合動き情報候補リストに存在しなければ（Ｓ１９３のＹ）、第２補充結合動き情報候補を結合動き情報候補リストに追加する（Ｓ１９４）。第２補充結合動き情報候補が結合動き情報候補リストに存在すれば（Ｓ１９３のＮ）、次のｉについて処理する（Ｓ１９５）。

ここでは、第２補充結合動き情報候補を、Ｌ０予測の動きベクトルが（０，０）、参照インデックスがｉであって、Ｌ１予測の動きベクトルが（０，０）、参照インデックスがｉであるインター予測タイプがＰｒｅｄ＿ＢＩである結合動き情報候補とした。これは、一般的な動画像において、Ｌ０予測の動きベクトルとＬ１予測の動きベクトルが（０，０）である結合動き情報候補の発生頻度が統計的に高いためである。結合動き情報候補リストに登録された結合動き情報候補の動き情報に依存せず、統計的に利用頻度が高い結合動き情報候補であれば、これに限定されない。例えば、Ｌ０予測やＬ１予測の動きベクトルはそれぞれ（０，０）以外のベクトル値でもよく、Ｌ０予測とＬ１予測の参照インデックスが異なるように設定してもよい。また、第２補充結合動き情報候補を符号化済みの画像や符号化済みの画像の一部の発生頻度の高い動き情報に設定することもできる。

ここで、第２補充結合動き情報候補として結合動き情報候補リストに登録された結合動き情報候補に依存しない結合動き情報候補を設定することで、結合動き情報候補リストに登録された結合動き情報候補が０個である場合に、マージモードを利用することを可能とし、符号化効率を向上させることができる。また、結合動き情報候補リストに登録された結合動き情報候補の動き情報と処理対象の動き情報候補の動きが異なる場合に、新たな結合動き情報候補を生成して選択肢の幅を広げることで、符号化効率を向上させることができる。

（劣性結合動き情報候補削除部１６５の詳細な動作）
続いて、劣性結合動き情報候補削除部１６５の詳細な動作について説明する。図１６は、劣性結合動き情報候補削除部１６５の動作を説明するためのフローチャートである。最初に、候補ブロックＡが劣性結合動き情報候補であるかどうかを検査する（Ｓ１４０）。劣性結合動き情報候補の詳細については後述する。候補ブロックＡが劣性結合動き情報候補であれば（Ｓ１４０のＹ）、結合動き情報候補リストから候補ブロックＡの動き情報を削除して（Ｓ１４１）、処理を終了する。候補ブロックＡが劣性結合動き情報候補でなければ（Ｓ１４０のＮ）、候補ブロックＢが劣性結合動き情報候補であるかどうかを検査する（Ｓ１４２）。候補ブロックＢが劣性結合動き情報候補であれば（Ｓ１４２のＹ）、結合動き情報候補リストから候補ブロックＢの動き情報を削除する（Ｓ１４３）。候補ブロックＢが劣性結合動き情報候補でなければ（Ｓ１４２のＮ）、処理を終了する。
なお、候補ブロックＡや候補ブロックＢが結合動き情報候補リストに存在するかどうかは、空間結合動き情報候補生成部１６０と冗長結合動き情報候補削除部１６２において候補ブロックＡや候補ブロックＢが結合動き情報候補リストに存在するかどうかを管理しておくことで実現できる。

（劣性結合動き情報候補について）
以下、劣性結合動き情報候補について説明する。図１７（ａ）から（ｄ）は劣性結合動き情報候補を説明するための図である。符号化ブロックは、１または２または４の予測ブロックに分割できることは上述した。図１７では符号化ブロックが１６×１６である例を示す。符号化ブロックを多数の予測ブロックに分割することで、符号化ブロックに係る予測誤差を最小化できる一方、図６で示した予測ブロックに係るシンタックスのオーバーヘッドが予測ブロックの個数分増加する。そのため、動き情報が同一であって予測誤差が同一となる複数の予測ブロックについては１つの予測ブロックにまとめて、予測ブロックの分割数を抑制することで符号化効率を向上させることができる。

図１７（ａ）は候補ブロックＡが劣性結合動き情報候補となる例１を説明するための図である。符号化ブロックはマージモードで、予測ブロックサイズタイプはＮ×２Ｎとして符号化される場合の予測ブロック１の空間結合動き情報候補の位置を示している。ここで、予測ブロック０の動き情報と予測ブロック１の動き情報が同一であれば、予測ブロック０と予測ブロック１をまとめて２Ｎ×２Ｎとして符号化することで、予測ブロックに係るシンタックスのオーバーヘッドを減らし、符号化効率を向上させることができる。つまり、予測ブロックサイズタイプがＮ×２Ｎで且つ処理対象ブロックが予測ブロック１である場合、２Ｎ×２Ｎとして符号化される場合の候補ブロックに相当する候補ブロックＡは結合動き情報候補として選択される可能性は低い。したがって、予測ブロックサイズタイプがＮ×２Ｎで且つ処理対象ブロックが予測ブロック１である場合に、候補ブロックＡを劣性結合動き情報候補とする。

図１７（ｂ）は候補ブロックＡが劣性結合動き情報候補となる例２を説明するための図である。符号化ブロックはマージモードで、予測ブロックサイズタイプはＮ×Ｎとして符号化される場合の予測ブロック３の空間結合動き情報候補の位置を示している。ここで、予測ブロック０の動き情報と予測ブロック１の動き情報が同一で且つ予測ブロック２の動き情報と予測ブロック３の動き情報が同一であれば、予測ブロック０と予測ブロック１をまとめ、さらに予測ブロック２と予測ブロック３をまとめて２Ｎ×Ｎとして符号化することで、予測ブロックに係るシンタックスのオーバーヘッドを減らし、符号化効率を向上させることができる。したがって、予測ブロックサイズタイプがＮ×Ｎで且つ予測ブロック０の動き情報と予測ブロック１の動き情報が同一且つ予測ブロック３である場合に、候補ブロックＡを劣性結合動き情報候補とする。

図１７（ｃ）は候補ブロックＢが劣性結合動き情報候補となる例１を説明するための図である。符号化ブロックはマージモードで、予測ブロックサイズタイプは２Ｎ×Ｎとして符号化する様子を示している。ここで、予測ブロック０の動き情報と予測ブロック１の動き情報が同一であれば、予測ブロック０と予測ブロック１をまとめて２Ｎ×２Ｎとして符号化することで、予測ブロックに係るシンタックスのオーバーヘッドを減らし、符号化効率を向上させることができる。したがって、予測ブロックサイズタイプが２Ｎ×Ｎで且つ処理対象ブロックが予測ブロック１である場合に、候補ブロックＢを劣性結合動き情報候補とする。

図１７（ｄ）は候補ブロックＢが劣性結合動き情報候補となる例２を説明するための図である。符号化ブロックはマージモードで、予測ブロックサイズタイプはＮ×Ｎとして符号化される場合の予測ブロック３の空間結合動き情報候補の位置を示している。ここで、予測ブロック０の動き情報と予測ブロック２の動き情報が同一で且つ予測ブロック１の動き情報と予測ブロック３の動き情報が同一であれば、予測ブロック０と予測ブロック２をまとめ、さらに予測ブロック１と予測ブロック３をまとめてＮ×２Ｎとして符号化することで、予測ブロックに係るシンタックスのオーバーヘッドを減らし、符号化効率を向上させることができる。したがって、予測ブロックサイズタイプがＮ×Ｎで且つ予測ブロック０の動き情報と予測ブロック２の動き情報が同一で且つ予測ブロック３である場合に、候補ブロックＢを劣性結合動き情報候補とする。

このように、劣性結合動き情報候補削除部１６５は、符号化対象の予測ブロックの分割タイプと符号化対象の予測ブロックの符号化ブロック内の位置とに基づいて、符号化対象の予測ブロックのサイズよりも大きなサイズの予測ブロックで動き補償予測することが符号化効率の点でより適切であるような結合動き情報候補を劣性結合動き情報候補として選択する。

図１８は劣性結合動き情報候補の判定処理を説明するためのフローチャートである。

最初に、予測ブロックサイズタイプが２Ｎ×２Ｎであるか検査する（Ｓ１５０）。予測ブロックサイズタイプが２Ｎ×２Ｎであれば（Ｓ１５０のＹ）、処理を終了する。予測ブロックサイズタイプが２Ｎ×２Ｎでなければ（Ｓ１５０のＮ）、予測ブロックサイズタイプを検査する（Ｓ１５１）。予測ブロックサイズタイプがＮ×２Ｎであれば（Ｓ１５１のＮ×２Ｎ）、予測ブロック１であるかを検査する（Ｓ１５２）。予測ブロックサイズタイプが２Ｎ×Ｎであれば（Ｓ１５１の２Ｎ×Ｎ）、予測ブロック１であるかを検査する（Ｓ１５４）。予測ブロックサイズタイプがＮ×Ｎであれば（Ｓ１５１のＮ×Ｎ）、予測ブロック３であるかを検査する（Ｓ１５６）。予測ブロックサイズタイプがＮ×２Ｎであって、予測ブロック１であれば（Ｓ１５２のＹ）、ブロックＡを劣性結合動き情報候補とする（Ｓ１５３）。予測ブロックサイズタイプがＮ×２Ｎであって、予測ブロック１でなければ（Ｓ１５２のＮ）、処理を終了する。予測ブロックサイズタイプが２Ｎ×Ｎであって、予測ブロック１であれば（Ｓ１５４のＹ）、ブロックＢを劣性結合動き情報候補とする（Ｓ１５５）。予測ブロックサイズタイプが２Ｎ×Ｎであって、予測ブロック１でなければ（Ｓ１５４のＮ）、処理を終了する。

予測ブロックサイズタイプがＮ×Ｎであって、予測ブロック３であれば（Ｓ１５６のＹ）、予測ブロック０と予測ブロック２の動き情報が同じであるか検査する（Ｓ１５７）。予測ブロックサイズタイプがＮ×Ｎであって、予測ブロック３でなければ（Ｓ１５６のＮ）、処理を終了する。予測ブロック０と予測ブロック２の動き情報が同じであれば（Ｓ１５７のＹ）、ブロックＡを劣性結合動き情報候補とする（Ｓ１５８）。予測ブロック０と予測ブロック２の動き情報が同じでなければ（Ｓ１５７のＮ）、予測ブロック０と予測ブロック１の動き情報が同じであるか検査する（Ｓ１５９）。予測ブロック０と予測ブロック１の動き情報が同じであれば（Ｓ１５９のＹ）、ブロックＢを劣性結合動き情報候補とする（Ｓ１６０）。予測ブロック０と予測ブロック１の動き情報が同じでなければ（Ｓ１５９のＮ）、処理を終了する。

図１８は劣性結合動き情報候補の判定処理の一例であって、少なくとも符号化ブロックの予測ブロックへの分割数と符号化ブロック内の予測ブロックの位置の両方またはいずれかを用いて劣性結合動き情報候補が判定できればよく、これに限定されない。

例えば、予測ブロックタイプがＮ×Ｎである場合の条件判定簡略化のために、予測ブロック０と予測ブロック１の動き情報同一性判定（ステップＳ１５９）や予測ブロック０と予測ブロック２（ステップＳ１５７）の動き情報同一性判定を省略し、予測ブロック３では常にブロックＡとＢを劣勢結合動き情報候補とすることもできる。さらに、予測ブロック１では常にブロックＡを劣勢結合動き情報候補とし、予測ブロック２では常にブロックＢを劣勢結合動き情報候補とすることもできる。

また、予測ブロックタイプがＮ×Ｎである場合の条件判定簡略化の別の手法として、予測ブロックタイプがＮ×Ｎである場合には、劣性結合動き情報候補を削除しないようにすることもできる。これは、符号化ブロックの予測ブロックへの分割数と予測ブロックの位置に基づいて、劣性結合動き情報候補の削除を制御することとなる。

一般的に、候補ブロックＡや候補ブロックＢは、他のブロックと比較して相対的に選択率の高い結合動き情報候補であるため、符号長の短いマージインデックスが割り当てられている。ところが、上記のように候補ブロックＡや候補ブロックＢが劣性結合動き情報候補の条件に該当する場合には、候補ブロックＡや候補ブロックＢはより大きな予測ブロックに結合された方が符号化効率が良いため、結合動き情報候補として選択される可能性は低い。

また、結合動き情報候補として選択される可能性の低い劣性結合動き情報候補の動き情報であっても、Ｌ０予測またはＬ１予測のいずれか一方が処理対象ブロックの動き情報と同一である場合や、処理対象ブロックの動き情報が劣性結合動き情報候補の動き情報から微小にずれているだけである可能性がある。この場合、劣性結合動き情報候補の動き情報を第１補充結合動き情報候補よりも前に削除することなく、劣性結合動き情報候補の動き情報を他の結合動き情報候補の動き情報と組み合わせたり、劣性結合動き情報候補の動き情報を修正させたりして、劣性結合動き情報候補よりも相対的に選択率の高い第１補充結合動き情報候補を生成することで、符号化効率を高めることができる。特に、双結合動き情報候補を利用する場合には少なくとも２つの結合動き情報候補が必要となるため、劣性結合動き情報候補以外の結合動き情報候補が結合動き情報候補リストに登録されていない場合に、劣性結合動き情報候補の動き情報を第１補充結合動き情報候補よりも前に削除することなく、劣性結合動き情報候補の動き情報を他の結合動き情報候補の動き情報と組み合わせることで、符号化効率を高めることができる。また、双結合動き情報候補を生成するための結合動き情報候補Ｍと結合動き情報候補Ｎの組み合わせが、ＭとＮの合計値が小さくなる順に設定することで、劣性結合動き情報候補以外の結合動き情報候補同士の組み合わせによる双結合動き情報候補を生成することができる。
さらに、結合動き情報候補として選択される可能性の低い劣性結合動き情報については、レート歪み評価値などを算出する必要がなくなるため処理量を削減することができる。

（動画像復号装置２００の構成）
次に、実施の形態１の動画像復号装置を説明する。図２２は、実施の形態１に係る動画像復号装置２００の構成を示す図である。動画像復号装置２００は、動画像符号化装置１００により符号化された符号列を復号して再生画像を生成する装置である。

動画像復号装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置などのハードウェアにより実現される。動画像復号装置２００は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。符号化ブロックの分割、予測ブロックサイズタイプの決定、予測ブロックサイズと予測ブロックの符号化ブロック内の位置（予測ブロックの位置情報）の決定、予測符号化モードがイントラであるかの決定は図示しない上位の制御部で決定されているものとし、ここでは予測符号化モードがイントラでない場合について説明する。なお、復号対象の予測ブロックの位置情報、予測ブロックサイズに関しては動画像復号装置２００内で共有していることとし、図示しない。

実施の形態１の動画像復号装置２００は、符号列解析部２０１、予測誤差復号部２０２、加算部２０３、動き情報再生部２０４、動き補償部２０５、フレームメモリ２０６および動き情報メモリ２０７を備える。

（動画像復号装置２００の動作）
以下、各部の機能と動作について説明する。符号列解析部２０１は、端子３０より供給された符号列を解析して予測誤差符号化データ、マージフラグ、マージインデックス、動き補償予測の予測方向（インター予測タイプ）、参照インデックス、差分ベクトル、および予測ベクトルインデックスをシンタックスに従ってエントロピー復号する。エントロピー復号は算術符号化やハフマン符号化などの可変長符号化を含む方法によって実施される。そして、当該予測誤差符号化データを予測誤差復号部２０２に、当該マージフラグ、当該マージインデックス、当該インター予測タイプ、当該参照インデックス、当該差分ベクトル、および当該予測ベクトルインデックスを動き情報再生部２０４に供給する。

また、符号列解析部２０１は、動画像復号装置２００で利用された符号化ブロックの分割情報、予測ブロックサイズタイプ、予測ブロックの符号化ブロック内の位置、及び予測符号化モードを、符号化ストリームの特性を決定するためのパラメータ群を定義したＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ピクチャの特性を決定するためのパラメータ群を定義したＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、やスライスの特性を決定するためのパラメータ群を定義したスライスヘッダなどと共に符号化ストリームから復号する。

動き情報再生部２０４は、符号列解析部２０１より供給されるマージフラグ、マージインデックス、インター予測タイプ、参照インデックス、差分ベクトル、および予測ベクトルインデックスと、動き情報メモリ２０７より供給される候補ブロック群から、動き情報を再生し、当該動き情報を動き補償部２０５および動き情報メモリ２０７に供給する。動き情報再生部２０４の詳細な構成については後述する。

動き補償部２０５は、動き情報再生部２０４より供給される動き情報に基づいて、フレームメモリ２０６内の参照インデックスが示す参照画像を、動きベクトルに基づき動き補償して予測信号を生成する。予測方向が双予測であれば、Ｌ０予測とＬ１予測の予測信号を平均したものを予測信号として生成し、当該予測信号を加算部２０３に供給する。

予測誤差復号部２０２は、符号列解析部２０１より供給される予測誤差符号化データに対して、逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、当該予測誤差信号を加算部２０３に供給する。

加算部２０３は、予測誤差復号部２０２より供給される予測誤差信号と、動き補償部２０５より供給される予測信号とを加算して復号画像信号を生成し、当該復号画像信号をフレームメモリ２０６および端子３１に供給する。

フレームメモリ２０６および動き情報メモリ２０７は、動画像符号化装置１００のフレームメモリ１１０および動き情報メモリ１１１と同一の機能を有する。フレームメモリ２０６は、加算部２０３より供給される復号画像信号を記憶する。動き情報メモリ２０７は、動き情報再生部２０４より供給される動き情報を最小の予測ブロックサイズ単位で記憶する。

（動き情報再生部２０４の詳細な構成）
続いて、動き情報再生部２０４の詳細な構成について説明する。図２３は、動き情報再生部２０４の構成を示す。動き情報再生部２０４は、符号化モード判定部２１０、動きベクトル再生部２１１および結合動き情報再生部２１２を含む。端子３２は符号列解析部２０１に、端子３３は動き情報メモリ２０７に、端子３４は動き補償部２０５に、端子３６は動き情報メモリ２０７にそれぞれ接続されている。

（動き情報再生部２０４の詳細な動作）
以下、各部の機能と動作について説明する。符号化モード判定部２１０は、符号列解析部２０１より供給されるマージフラグが「０」であるか「１」であるか判定する。マージフラグが「０」であれば、符号列解析部２０１より供給されるインター予測タイプ、参照インデックス、差分ベクトル、および予測ベクトルインデックスを動きベクトル再生部２１１に供給する。マージフラグが「１」であれば、符号列解析部２０１より供給されるマージインデックスを結合動き情報再生部２１２に供給する。

動きベクトル再生部２１１は、符号化モード判定部２１０より供給されるインター予測タイプ、参照インデックス、差分ベクトル、および予測ベクトルインデックスと、端子３３より供給される候補ブロック群から、動きベクトルを再生して動き情報を生成し、端子３４及び端子３６に供給する。

結合動き情報再生部２１２は、符号化モード判定部２１０より供給されるマージインデックスと、端子３３より供給される候補ブロック群から、動き情報を再生して端子３４及び端子３６に供給する。

（結合動き情報再生部２１２の詳細な構成）
続いて、結合動き情報再生部２１２の詳細な構成について説明する。図２４は、結合動き情報再生部２１２の構成を示す。結合動き情報再生部２１２は、結合動き情報候補リスト生成部２３０および結合動き情報選択部２３１を含む。端子３５は符号化モード判定部２１０に接続されている。

（結合動き情報再生部２１２の詳細な動作）
以下、各部の機能と動作について説明する。結合動き情報候補リスト生成部２３０は動画像符号化装置１００の結合動き情報候補リスト生成部１４０と同一の機能を有し、動画像符号化装置１００の結合動き情報候補リスト生成部１４０と同一の動作によって結合動き情報候補リストを生成し、当該結合動き情報候補リストを結合動き情報選択部２３１に供給する。

結合動き情報選択部２３１は、結合動き情報候補リスト生成部２３０より供給される結合動き情報候補リストの中から、端子３５より供給されるマージインデックスで示される結合動き情報候補を選択して結合動き情報を決定し、当該結合動き情報の動き情報を端子３４及び端子３６に供給する。
以上のように、実施の形態１の動画像復号装置によれば、実施の形態１の動画像符号化装置が出力する動画像の符号化ストリームを復号することができる。

（実施の形態１の変形例１）
実施の形態１の結合動き情報候補リスト生成部１４０の構成は図１２のようにしたが、劣性結合動き情報候補削除部１６５を、第２結合動き情報候補補充部１６４の後ではなく、第１結合動き情報候補補充部１６３の後に設置してもよい。

この場合、削除される劣性結合動き情報候補の代わりに、第２結合動き情報候補補充部１６４で生成される第２補充結合動き情報候補が結合動き情報候補リストに追加されるため、第２補充結合動き情報候補が結合動き情報候補として選択されることで、符号化効率を向上させることができる。

以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。

動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。

動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。

以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１００ 動画像符号化装置、 １０１ 予測ブロック画像取得部、 １０２ 減算部、 １０３ 予測誤差符号化部、 １０４ 符号列生成部、 １０５ 予測誤差復号部、 １０６ 動き補償部、 １０７ 加算部、 １０８ 動きベクトル検出部、 １０９ 動き情報生成部、 １１０ フレームメモリ、 １１１ 動き情報メモリ、 １２０ 予測ベクトルモード決定部、 １２１ マージモード決定部、 １２２ 予測符号化モード決定部、 １３０ 予測ベクトル候補リスト生成部、 １３１ 予測ベクトル決定部、 １４０ 結合動き情報候補リスト生成部、 １４１ 結合動き情報選択部、 １６０ 空間結合動き情報候補生成部、 １６１ 時間結合動き情報候補生成部、 １６２ 冗長結合動き情報候補削除部、 １６３ 第１結合動き情報候補補充部、 １６４ 第２結合動き情報候補補充部、 １６５ 劣性結合動き情報候補削除部、 ２００ 動画像復号装置、 ２０１ 符号列解析部、 ２０２ 予測誤差復号部、 ２０３ 加算部、 ２０４ 動き情報再生部、 ２０５ 動き補償部、 ２０６ フレームメモリ、 ２０７ 動き情報メモリ、 ２１０ 符号化モード判定部、 ２１１ 動きベクトル再生部、 ２１２ 結合動き情報再生部、 ２３０ 結合動き情報候補リスト生成部、 ２３１ 結合動き情報選択部。

Claims (7)

1. 分割タイプに基づいて復号ブロックを１つまたは複数の予測ブロックに分割して動き補償予測を行う画像復号装置であって、
   結合動き情報候補を結合動き情報候補リストにおいて特定するためのインデックスが符号化された符号列から、前記インデックスを復号する復号部と、
   復号対象の予測ブロックに空間的に隣接する復号済みの複数の隣接ブロックの動き情報と、復号対象の予測ブロックを含むピクチャとは別の復号済みのピクチャにおいて復号対象の予測ブロックと同一位置にあるブロックまたはその周辺のブロックの動き情報とを、復号対象の予測ブロックに利用するための結合動き情報候補として、結合動き情報候補リストに追加し、前記結合動き情報候補リストを生成する結合動き情報候補リスト生成部と、
   前記復号対象の予測ブロックの分割タイプと前記復号対象の予測ブロックの前記復号ブロック内の位置とに基づいて、前記結合動き情報候補リストに含まれる特定の結合動き情報候補を選択し、前記結合動き情報候補リスト内の前記特定の結合動き情報候補を削除する結合動き情報候補削除部と、
   前記インデックスにもとづいて前記結合動き情報候補リストから１つの結合動き情報候補を選択し、前記復号対象の予測ブロックの動き情報とする結合動き情報選択部とを備えることを特徴とする画像復号装置。
2. 前記結合動き情報候補削除部は、前記復号対象の予測ブロックの分割タイプと前記復号対象の予測ブロックの前記復号ブロック内の位置とに基づいて、前記結合動き情報候補リストに含まれる、前記復号対象の予測ブロックのサイズよりも大きなサイズの予測ブロックで動き補償予測した場合に同じ動き情報を有する前記特定の結合動き情報候補を選択することを特徴とする請求項１に記載の画像復号装置。
3. 前記結合動き情報選択部は、前記結合動き情報候補削除部によって前記特定の結合動き情報候補が削除されることによって、前記特定の結合動き情報候補ではない前記結合動き情報候補リスト内の結合動き情報候補のインデックスが小さくなるように割り当てられた前記結合動き情報候補リストから前記インデックスにもとづいて１つの結合動き情報候補を選択することを特徴とする請求項１または２に記載の画像復号装置。
4. 前記結合動き情報候補リストに含まれる結合動き情報候補を利用して新たな結合動き情報候補を生成して前記結合動き情報候補リストに追加する第１の結合動き情報候補補充部を前記結合動き情報候補削除部の前段にさらに備えることを特徴とする請求項１から３のいずれかに記載の画像復号装置。
5. 所定の結合動き情報候補を生成して前記結合動き情報候補リストに追加する第２の結合動き情報候補補充部を少なくとも第１の結合動き情報候補補充部の後段にさらに備えることを特徴とする請求項１から４のいずれかに記載の画像復号装置。
6. 分割タイプに基づいて復号ブロックを１つまたは複数の予測ブロックに分割して動き補償予測を行う画像復号方法であって、
   結合動き情報候補を結合動き情報候補リストにおいて特定するためのインデックスが符号化された符号列から、前記インデックスを復号する復号ステップと、
   復号対象の予測ブロックに空間的に隣接する復号済みの複数の隣接ブロックの動き情報と、復号対象の予測ブロックを含むピクチャとは別の復号済みのピクチャにおいて復号対象の予測ブロックと同一位置にあるブロックまたはその周辺のブロックの動き情報とを、復号対象の予測ブロックに利用するための結合動き情報候補として、結合動き情報候補リストに追加し、前記結合動き情報候補リストを生成する結合動き情報候補リスト生成ステップと、
   前記復号対象の予測ブロックの分割タイプと前記復号対象の予測ブロックの前記復号ブロック内の位置とに基づいて、前記結合動き情報候補リストに含まれる特定の結合動き情報候補を選択し、前記結合動き情報候補リスト内の前記特定の結合動き情報候補を削除する結合動き情報候補削除ステップと、
   前記インデックスにもとづいて前記結合動き情報候補リストから１つの結合動き情報候補を選択し、前記復号対象の予測ブロックの動き情報とする結合動き情報選択ステップとを備えることを特徴とする画像復号方法。
7. 分割タイプに基づいて復号ブロックを１つまたは複数の予測ブロックに分割して動き補償予測を行う画像復号プログラムであって、
   結合動き情報候補を結合動き情報候補リストにおいて特定するためのインデックスが符号化された符号列から、前記インデックスを復号する復号ステップと、
   復号対象の予測ブロックに空間的に隣接する復号済みの複数の隣接ブロックの動き情報と、復号対象の予測ブロックを含むピクチャとは別の復号済みのピクチャにおいて復号対象の予測ブロックと同一位置にあるブロックまたはその周辺のブロックの動き情報とを、復号対象の予測ブロックに利用するための結合動き情報候補として、結合動き情報候補リストに追加し、前記結合動き情報候補リストを生成する結合動き情報候補リスト生成ステップと、
   前記復号対象の予測ブロックの分割タイプと前記復号対象の予測ブロックの前記復号ブロック内の位置とに基づいて、前記結合動き情報候補リストに含まれる特定の結合動き情報候補を選択し、前記結合動き情報候補リスト内の前記特定の結合動き情報候補を削除する結合動き情報候補削除ステップと、
   前記インデックスにもとづいて前記結合動き情報候補リストから１つの結合動き情報候補を選択し、前記復号対象の予測ブロックの動き情報とする結合動き情報選択ステップとをコンピュータに実行させることを特徴とする画像復号プログラム。

Images