JP2013145974A - 動画像復号装置、動画像復号方法及び動画像復号プログラム - Google Patents

Abstract

【課題】隣接ブロックの動き情報を使用して符号化を行う場合に、処理負荷を抑え、動き情報の符号化効率を向上させる。
【解決手段】結合動き情報候補リスト生成部１０００、１００１は、復号対象ブロックに隣接する複数の復号済みの隣接ブロックの動き情報を復号対象ブロックの動き情報の候補として算出し、動き情報の候補リストを生成する。結合動き情報候補リスト削除部１００２は、生成された候補リストに含まれる２つの動き情報の候補間で、単予測であるか双予測であるかに関係なく、第１予測の動きベクトル値同士が一致すると共に第２予測の動きベクトル値同士が一致する場合に、これら２つの動き情報の候補のいずれか一方の動き情報の候補を候補リストから削除する。
【選択図】図１０

Description

本発明は、動き補償予測を用いた動画像復号技術に関し、特に動き補償予測に利用する動画像復号装置、動画像復号方法及び動画像復号プログラムに関する。

ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４（以後、ＡＶＣ）等に代表される動画像符号化では、ピクチャを矩形ブロックに分割し、ピクチャ間でブロック単位に動き推定、補償を行う動き補償予測が用いられる。動き補償予測において各ブロックで生成される動きベクトルは、その符号量を削減するために、予測処理が施される。

ＡＶＣでは、隣接するブロックの動きベクトルの間に強い相関があることを利用して、隣接ブロックから予測値を算出し、その予測値との差分ベクトルを符号化することによって符号量を削減している。しかし、これらの予測方法では、参照する隣接ブロックの位置が限定されているために、予測が当たらないと、動きベクトルの差分が大きくなり、発生符号量が増加する課題があった。また、動きベクトルの符号量は削減されるものの、予測方向や参照画像インデックス等の他の動き情報は処理対象のブロック毎に符号化されるので、効率的な符号化に至っていないという課題もあった。

これらの課題を解決するために、特許文献１のように、複数の隣接ブロックの中から参照する隣接ブロックを特定する付加情報を符号化することによって、処理対象のブロックの動き情報を符号化せずに、隣接ブロックの動き情報を使用して符号化を行い、符号量を削減するマージ符号化技術が用いられる。

特開平１０−２７６４３９号公報

マージ符号化は、処理対象のブロックの動き情報を符号化せずに、空間及び時間的に隣接するブロックの動き情報を使用して符号化を行うことで、符号量を削減して符号化効率を向上させている。また、参照する隣接ブロックの候補を複数用意し、参照する隣接ブロックを特定する付加情報を符号化することによって、より符号化対象ブロックの動き情報に近い隣接ブロックを参照できるようにしている。

そのため、参照隣接ブロック候補に同じ動き情報を持つ隣接ブロックが複数含まれていると、参照隣接ブロック候補で表現可能な動き情報の種類が少なくなり、結果として符号化効率の向上に結びつかない。そこで、参照隣接ブロック候補の動き情報を詳細に比較し、同じ動き情報を持つ参照隣接ブロック候補を削減すると、処理量の増加につながる。

本発明はこうした状況に鑑みてなされたものであり、その目的は、隣接ブロックの動き情報を使用して符号化を行う場合に、処理負荷が少なく、動き情報の符号化効率を向上させる技術を提供することにある。

上記課題を解決するために、本発明のある態様の動画像復号装置は、動画像の各ピクチャを分割したブロック単位で動きベクトルを用いて符号化された符号列を復号する動画像復号装置であって、復号対象ブロックの動き情報の候補を算出し、動き情報の候補リストを生成する動き情報算出部（２７０４）と、前記動き情報算出部（２７０４）から出力される前記候補リスト内の動き情報を備える隣接ブロックの中から一つの隣接ブロックを、動き情報を参照するための参照ブロックとして指定して、指定された参照ブロックの動き情報を前記復号対象ブロックの動き情報として使用する結合予測モードが選択された場合に、前記指定された参照ブロックを示すインデックスを含む前記動き情報を前記符号列から復号するとともに、前記動き情報算出部（２７０４）から出力される前記候補リストから得た前記指定された参照ブロックの動き情報を用いて、前記復号対象ブロックを復号する復号部（６０２、６０６）とを備える。前記動き情報算出部（２７０４）は、前記復号対象ブロックに隣接する複数の復号済みの隣接ブロックの動き情報を前記復号対象ブロックの動き情報の候補として算出し、動き情報の候補リストを生成する候補リスト生成部（１０００、１００１）と、前記候補リスト生成部（１０００、１００１）により生成された前記候補リストに含まれる動き情報の候補の中で、互いに動きベクトル値が一致するものがある場合、いずれか一方の動き情報の候補を前記候補リストから削除する候補リスト削除部（１００２）とを含む。ブロック単位の予測種別として、第１予測および第２予測の両方に予測処理のための動きベクトル値が設定される双予測と、第１予測または第２予測のいずれか一方に予測処理のための動きベクトル値が設定される単予測とが定義され、単予測の場合は、予測処理のための動きベクトル値が設定されない方について動きベクトル値として規定値が設定されており、前記候補リスト削除部（１００２）は、前記候補リストに含まれる２つの動き情報の候補間で、単予測であるか双予測であるかに関係なく、第１予測の動きベクトル値同士が一致すると共に第２予測の動きベクトル値同士が一致する場合に、これら２つの動き情報の候補のいずれか一方の動き情報の候補を前記候補リストから削除する。

本発明の別の態様は、動画像復号方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動きベクトルを用いて符号化された符号列を復号する動画像復号方法であって、復号対象ブロックの動き情報の候補を算出し、動き情報の候補リストを生成する動き情報算出ステップと、前記動き情報算出ステップから出力される前記候補リスト内の動き情報を備える隣接ブロックの中から一つの隣接ブロックを、動き情報を参照するための参照ブロックとして指定して、指定された参照ブロックの動き情報を前記復号対象ブロックの動き情報として使用する結合予測モードが選択された場合に、前記指定された参照ブロックを示すインデックスを含む前記動き情報を前記符号列から復号するとともに、前記動き情報算出ステップから出力される前記候補リストから得た前記指定された参照ブロックの動き情報を用いて、前記復号対象ブロックを復号する復号ステップとを備える。前記動き情報算出ステップは、前記復号対象ブロックに隣接する複数の復号済みの隣接ブロックの動き情報を前記復号対象ブロックの動き情報の候補として算出し、動き情報の候補リストを生成する候補リスト生成ステップと、前記候補リスト生成ステップにより生成された前記候補リストに含まれる動き情報の候補の中で、互いに動きベクトル値が一致するものがある場合、いずれか一方の動き情報の候補を前記候補リストから削除する候補リスト削除ステップとを含む。ブロック単位の予測種別として、第１予測および第２予測の両方に予測処理のための動きベクトル値が設定される双予測と、第１予測または第２予測のいずれか一方に予測処理のための動きベクトル値が設定される単予測とが定義され、単予測の場合は、予測処理のための動きベクトル値が設定されない方について動きベクトル値として規定値が設定されており、前記候補リスト削除ステップは、前記候補リストに含まれる２つの動き情報の候補間で、単予測であるか双予測であるかに関係なく、第１予測の動きベクトル値同士が一致すると共に第２予測の動きベクトル値同士が一致する場合に、これら２つの動き情報の候補のいずれか一方の動き情報の候補を前記候補リストから削除する。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、動き情報を処理する際の負荷を抑制しつつ、動き情報の符号化効率を向上させることができる。

本発明の実施の形態に係る動画像符号化装置の構成を示す図である。 符号化対象画像の一例を示す図である。 予測ブロックサイズの詳細な定義を示す図である。 図４（ａ）〜（ｄ）は、動き補償予測の予測方向について説明する図である。 本発明の実施の形態に係る動画像符号化装置における符号化処理の動作の流れを示すフローチャートである。 本発明の実施の形態に係る動画像復号装置の構成を示す図である。 本発明の実施の形態に係る動画像復号装置における復号処理の動作の流れを示すフローチャートである。 図８（ａ）、（ｂ）は、本発明の実施の形態における動き補償予測において使用される動き情報を符号化するための２つの予測モードを説明する図である。 実施の形態の動画像符号化装置における予測モード判定部の詳細な構成を示す図である。 実施の形態における図９の結合動き情報算出部の構成を示す図である。 図５のステップＳ５０２の動き補償予測モード／予測信号生成処理の詳細動作を説明するフローチャートである。 実施の形態における図１１の結合動き情報候補リスト生成の詳細動作を説明するフローチャートである。 空間結合動き情報候補リスト生成に用いる空間候補ブロック群を示す図である。 空間結合動き情報候補リスト生成の詳細動作を説明するフローチャートである。 時間結合動き情報候補リスト生成に用いる時間候補ブロック群を示す図である。 時間結合動き情報候補リスト生成の詳細動作を説明するフローチャートである。 時間結合動き情報に対する基準動きベクトル値ＣｏｌＭｖに対する、Ｌ０予測、Ｌ１予測に対して登録する動きベクトル値ｍｖＬ０ｔ、ｍｖＬ１ｔの算出手法を説明する図である。 実施の形態における結合動き情報候補削除の詳細動作を説明するフローチャートである。 図１９（ａ）、（ｂ）は、結合動き情報候補削除処理を行う前後の結合動き情報候補リストの一例を示す図である。 図２０（ａ）、（ｂ）は、動きベクトルと参照画像インデックスの関係を説明する図である。 第１結合動き情報候補リスト追加部の詳細動作を説明するフローチャートである。 組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係を説明する図である。 第２結合動き情報候補リスト追加部の詳細動作を説明するフローチャートである。 図１１の結合予測モード評価値生成処理の詳細動作を説明するフローチャートである。 結合動き情報候補数が５の場合のＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を示す図である。 図１１の予測モード評価値生成処理の詳細動作を説明するフローチャートである。 実施の形態の動画像復号装置における動き情報復号部の詳細な構成を示す図である。 図７の動き情報復号処理の詳細動作を説明するフローチャートである。 図２８の結合予測動き情報復号処理の詳細動作を説明するフローチャートである。 図２８の予測動き情報復号処理の詳細動作を説明するフローチャートである。

以下、図面とともに本発明の実施の形態に係る動画像符号化装置、動画像符号化方法、動画像符号化プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラムの好適な実施の形態について詳細に説明する。なお、図面の説明には同一要素には同一符号を付与して重複する説明を省略する。

（実施の形態）
［動画像符号化装置全体構成］
図１は、本発明の実施の形態に係る動画像符号化装置の構成を示す図である。以下、各部の動作について説明する。実施の形態に係る動画像符号化装置は、入力端子１００、減算部１０１、直交変換・量子化部１０２、予測誤差符号化部１０３、逆量子化・逆変換部１０４、加算部１０５、復号画像メモリ１０６、動きベクトル検出部１０７、動き補償予測部１０８、予測モード判定部１０９、動き情報符号化部１１０、動き情報メモリ１１１、多重化部１１２、及び出力端子１１３を備える。

入力端子１００より入力される画像信号から符号化処理対象の予測ブロックの画像信号が、予測ブロックの位置情報と予測ブロックサイズに基づいて切り出され、予測ブロックの画像信号は、減算部１０１、動きベクトル検出部１０７及び予測モード判定部１０９に供給される。

図２は、符号化対象画像の一例を示す図である。実施の形態に係る予測ブロックサイズに関しては、図２に示すように符号化対象画像が６４×６４画素の符号化ブロック（ＣＵ）単位で符号化処理され、予測ブロックは符号化ブロックが更に分割された単位で構成される。最大予測ブロックサイズは符号化ブロックと同じ６４×６４画素で、最小予測ブロックサイズは４×４画素である。符号化ブロックの予測ブロックへの分割構成は、非分割（２Ｎ×２Ｎ）、水平・垂直への分割（Ｎ×Ｎ）、水平方向のみへの分割（２Ｎ×Ｎ）、垂直方向のみへの分割（Ｎ×２Ｎ）が可能である。水平・垂直への分割の場合のみ、更に分割された予測ブロックを符号化ブロックとして階層的に予測ブロックに分割でき、その階層をＣＵ分割数で表現する。

図３は、予測ブロックサイズの詳細な定義を示す図である。ＣＵ分割数が０であって最大の予測ブロックサイズである６４画素×６４画素から、ＣＵ分割数が３であって最小の予測ブロックサイズである４画素×４画素までの１３の予測ブロックサイズが存在することになる。

本発明の実施の形態に係る予測ブロックの分割構成に関して、この組み合わせに限定されない。また、動画像符号化装置における予測ブロックサイズの選択は、符号化ブロック単位で符号化効率のより良い構造を適応的に選択することが可能であるが、実施の形態は予測ブロック単位での画面間予測及び画面間動き情報の符号化に注目したものであるため、最適な予測ブロックサイズの選択に関する構成要素及び説明を省略する。以降の動画像符号化装置の動作に関しては、選択した予測ブロックサイズ単位で施される動作を説明する。

図１に戻り、減算部１０１は、入力端子１００より供給される画像信号と予測モード判定部１０９より供給される予測信号を減算して予測誤差信号を算出し、予測誤差信号を直交変換・量子化部１０２に供給する。

直交変換・量子化部１０２は、減算部１０１より供給される予測誤差信号に直交変換及び量子化を施し、量子化された予測誤差信号を予測誤差符号化部１０３及び逆量子化・逆変換部１０４に供給する。

予測誤差符号化部１０３は、直交変換・量子化部１０２より供給される量子化された予測誤差信号をエントロピー符号化して、予測誤差信号に対する符号列を生成して、多重化部１１２に供給する。

逆量子化・逆変換部１０４は、直交変換・量子化部１０２より供給される量子化された予測誤差信号に対して、逆量子化や逆直交変換などの処理を行い、復号予測誤差信号を生成し加算部１０５に供給する。

加算部１０５は、逆量子化・逆変換部１０４より供給される復号予測誤差信号と、予測モード判定部１０９より供給される予測信号を加算して、復号画像信号を生成し、復号画像信号を復号画像メモリ１１６に供給する。

復号画像メモリ１０６は、加算部１０５より供給される復号画像信号を格納する。また、画像全体の復号が完了した復号画像については参照画像として１以上の所定画像数記憶し、参照画像信号を動きベクトル検出部１０７と動き補償予測部１０８に供給する。

動きベクトル検出部１０７は、入力端子１００より供給される予測ブロックの画像信号と、復号画像メモリ１０６に記憶された参照画像信号の入力を受けて、各参照画像に対する動きベクトルを検出し、動きベクトル値を予測モード判定部１０９に供給する。

一般的な動きベクトルの検出方法は、画像信号と同一位置より所定の移動量だけ移動させた参照画像に相当する画像信号について誤差評価値を算出し、誤差評価値が最小となる移動量を動きベクトルとする。誤差評価値としては、画素毎の差分絶対値の総和ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や、画素毎の二乗誤差値の総和ＳＳＥ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｅｒｒｏｒ）等を利用する。さらに、動きベクトルの符号化に関わる符号量も誤差評価値に含めることも可能である。

動き補償予測部１０８は、予測モード判定部１０９より指定される参照画像指定情報と、動きベクトル値に従って、復号画像メモリ１０６内の参照画像指定情報で示される参照画像を、動きベクトル値だけ予測ブロックの画像信号と同一位置より移動させた位置の画像信号を取得して予測信号を生成する。

予測モード判定部１０９より指定される予測モードが単予測の場合には、１つの参照画像から取得した予測信号を動き補償予測信号とし、予測モードが双予測の場合には、２つの参照画像から取得した予測信号を重みづけ平均したものを動き補償予測信号とし、動き補償予測信号を予測モード判定部１０９に供給する。ここでは双予測の重みづけ平均の比率を１：１とする。

図４（ａ）〜（ｄ）は、動き補償予測の予測種別について説明するための図である。単一の参照画像からの予測を行う処理を単予測と定義し、単予測の場合はＬ０予測またはＬ１予測という２つの参照画像管理リストに登録された参照画像のいずれか一方を利用する。

図４（ａ）は単予測であってＬ０予測の参照画像（ＲｅｆＬ０Ｐｉｃ）が符号化対象画像（ＣｕｒＰｉｃ）より前の時刻にある場合を示している。図４（ｂ）は単予測であってＬ０予測の参照画像が符号化対象画像より後の時刻にある場合を示している。同様に、図４（ａ）および図４（ｂ）のＬ０予測の参照画像をＬ１予測の参照画像（ＲｅｆＬ１Ｐｉｃ）に置き換えて単予測を行うこともできる。

２つの参照画像からの予測を行う処理を双予測と定義し、双予測の場合はＬ０予測とＬ１予測の双方を利用してＢＩ予測と表現する。図４（ｃ）は双予測であってＬ０予測の参照画像が符号化対象画像より前の時刻にあって、Ｌ１予測の参照画像が符号化対象画像より後の時刻にある場合を示している。図４（ｄ）は双予測であってＬ０予測の参照画像とＬ１予測の参照画像が符号化対象画像より前の時刻にある場合を示している。このように、Ｌ０／Ｌ１の予測種別と時間の関係は、Ｌ０が過去方向、Ｌ１が未来方向とは限定されずに用いることが可能である。

また、単予測、双予測ともに使用可能なピクチャをＢピクチャ（Ｂスライス）、単予測のみが使用可能なピクチャをＰピクチャ（Ｐスライス）と定義する。

図１に戻り、予測モード判定部１０９は、動きベクトル検出部１０７より入力される各参照画像に対して検出された動きベクトル値と、動き情報メモリ１１１に格納された動き情報（予測種別、動きベクトル値、及び参照画像指定情報）をもとに、実施の形態において定義した動き補償予測モードのそれぞれに対して用いられる、参照画像指定情報と動きベクトル値を動き補償予測部１０８に設定する。設定した値によって、動き補償予測部１０８から供給される動き補償予測信号と、入力端子１００より供給される予測ブロックの画像信号を用いて、最適な動き補償予測モードを決定する。

予測モード判定部１０９は、決定した予測モード、及び予測モードに応じた予測種別、動きベクトル、及び参照画像指定情報を特定する情報を、動き情報符号化部１１０に供給し、決定した予測モード及びその予測モードに対する、予測種別、動きベクトル値、及び参照画像指定情報を動き情報メモリ１１１に供給すると共に、減算部１０１及び加算部１０５に決定した予測モードに対応する予測信号を供給する。

動画像符号化装置において、基準とする参照画像を符号化するために同一画面内の符号化済画像を用いて予測を行う画面内予測が行われるが、実施の形態は画面間予測に注目したものであるため、画面内予測に関連する構成要素は省略する。予測モード判定部１０９の詳細な構成については後述する。

動き情報符号化部１１０は、予測モード判定部１０９より供給される予測モード、及び予測モードに応じた予測種別、動きベクトル、及び参照画像指定情報を特定する情報を所定のシンタックス構造に従って符号化することで、動き情報の符号列を生成し、多重化部１１２に供給する。

動き情報メモリ１１１は、予測モード判定部１０９より供給される動き情報（予測種別、動きベクトル、及び参照画像インデックス）を、最小予測ブロックサイズ単位を基準として所定画像分記憶する。このとき、予測種別が単予測である場合には、使用していない参照画像リストの動きベクトルを（０，０）として記憶する。

処理対象の予測ブロックの隣接ブロックの動き情報を空間候補ブロック群とし、処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上のブロックとその周辺ブロックの動き情報を時間候補ブロック群とする。

ＣｏｌＰｉｃとは、処理対象の予測ブロックとは別の復号済みの画像であって、復号画像メモリ１０６に参照画像として記憶されている。実施の形態では、ＣｏｌＰｉｃは直前に復号した参照画像とする。なお、実施の形態では、ＣｏｌＰｉｃは直前に復号した参照画像としたが、表示順で直前の参照画像や表示順で直後の参照画像でもよく、符号化ストリーム中に、ＣｏｌＰｉｃに用いる参照画像を直接指定することも可能である。

動き情報メモリ１１１は、空間候補ブロック群と時間候補ブロック群の動き情報を、候補ブロック群の動き情報として予測モード判定部１０９に供給する。多重化部１１２は、予測誤差符号化部１０３から供給される予測誤差の符号化列と、動き情報符号化部１１０から供給される動き情報の符号化列を多重化することで符号化ビットストリームを生成し、出力端子１１３経由で、記録媒体・伝送路等に当該符号化ビットストリームを出力する。

図１に示した動画像符号化装置の構成は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置等のハードウェアによっても実現可能である。

図５は、本発明の実施の形態に係る動画像符号化装置における符号化処理の動作の流れ示すフローチャートである。予測ブロック単位毎に、入力端子１００より処理対象の予測ブロック画像を取得する（Ｓ５００）。動きベクトル検出部１０７は、処理対象の予測ブロック画像と復号画像メモリ１０６に格納された複数の参照画像より、参照画像毎の動きベクトル値を算出する（Ｓ５０１）。

続いて、予測モード判定部１０９は、動きベクトル検出部１０７より供給される動きベクトルと、動き情報メモリ１１１に格納された動き情報を用いて、実施の形態において定義した動き補償予測モードのそれぞれに対する予測信号を、動き補償予測部１０８を用いて取得し、最適な予測モードを選択し、予測信号を生成する（Ｓ５０２）。ステップＳ５０２の処理の詳細については後述する。

続いて、減算部１０１は、処理対象の予測ブロック画像と予測モード判定部１０９より供給された予測信号との差分を予測誤差信号として算出する（Ｓ５０３）。動き情報符号化部１１０は、予測モード判定部１０９より供給される予測モード、及び予測モードに応じた予測種別、動きベクトル、及び参照画像指定情報を特定する情報を所定のシンタックス構造に従って符号化し、動き情報の符号化データを生成する（Ｓ５０４）。

続いて、予測誤差符号化部１０３は、直交変換・量子化部１０２で生成された量子化された予測誤差信号をエントロピー符号化して、予測誤差の符号化データを生成する（Ｓ５０５）。多重化部１１２は、動き情報符号化部１１０から供給される動き情報の符号化データと、予測誤差符号化部１０３から供給される予測誤差の符号化データを多重化し、符号化ビットストリームを生成する（Ｓ５０６）。

加算部１０５は、逆量子化・逆変換部１０４より供給される復号予測誤差信号と、予測モード判定部１０９より供給される予測信号を加算して、復号画像信号を生成する（Ｓ５０７）。加算部１０５によって、生成された復号画像信号が復号画像メモリ１０６に供給、格納され、以降に符号化する符号化画像の動き補償予測処理に用いられる（Ｓ５０８）。動き情報メモリ１１１は、動きベクトル検出部１０７より供給される動き情報（予測種別、動きベクトル、及び参照画像指定情報）を最小の予測ブロックサイズ単位で格納する（Ｓ５０９）。

［動画像復号装置全体構成］
図６は、本発明の実施の形態に係る動画像復号装置の構成を示す図である。以下、各部の動作について説明する。実施の形態に係る動画像復号装置は、入力端子６００、多重分離部６０１、予測差分情報復号部６０２、逆量子化・逆変換部６０３、加算部６０４、復号画像メモリ６０５、動き情報復号部６０６、動き情報メモリ６０７、動き補償予測部６０８、及び出力端子６０９を備える。

入力端子６００より符号化ビットストリームが多重分離部６０１に供給される。多重分離部６０１は、供給された符号化ビットストリームの符号列を予測誤差情報の符号化列と、予測モード、並びに予測モードに応じた予測種別、動きベクトル、及び参照画像指定情報を特定する情報で構成される動き情報の符号化列に分離する。当該予測誤差情報の符号化列を予測差分情報復号部６０２に供給し、当該動き情報の符号化列を動き情報復号部６０６に供給する。

予測差分情報復号部６０２は、多重分離部６０１より供給された予測誤差情報の符号化列を復号し、量子化された予測誤差信号を生成する。予測差分情報復号部６０２は、生成した量子化された予測誤差信号を逆量子化・逆変換部６０３に供給する。

逆量子化・逆変換部６０３は、予測差分情報復号部６０２より供給される量子化された予測誤差信号を逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、復号予測誤差信号を加算部６０４に供給する。

加算部６０４は、逆量子化・逆変換部６０３より供給される復号予測誤差信号と、動き補償予測部６０８より供給される予測信号を加算して復号画像信号を生成し、復号画像信号を復号画像メモリ６０５に供給する。

復号画像メモリ６０５は、図１の動画像符号化装置における復号画像メモリ１０６と同じ機能を有し、加算部６０４から供給された復号画像信号を格納し、参照画像信号を動き補償予測部６０８に供給する。また、復号画像メモリ６０５は、格納された復号画像信号を再生時刻に合わせて、画像の表示順序に従い出力端子６０９に供給する。

動き情報復号部６０６は、多重分離部６０１より供給される動き情報の符号化列より、予測モード、並びに予測モードに応じた予測種別、動きベクトル、及び参照画像指定情報を特定する情報を動き情報として復号する。復号した動き情報と、動き情報メモリ６０７より供給される候補ブロック群の動き情報より、動き補償予測に用いる予測種別、動きベクトル及び参照画像指定情報を再生し、動き補償予測部６０８に供給する。また、動き情報復号部６０６は再生した動き情報を、動き情報メモリ６０７に供給する。動き情報復号部６０６の詳細な構成については後述する。

動き情報メモリ６０７は、図１の動画像符号化装置における動き情報メモリ１１１と同じ機能を持ち、動き情報復号部６０６より供給される再生した動き情報を最小予測ブロックサイズ単位を基準として所定画像分記憶する。また、動き情報メモリ６０７は、空間候補ブロック群と時間候補ブロック群の動き情報を、候補ブロック群の動き情報として動き情報復号部６０６に供給する。

動き補償予測部６０８は、図１の動画像符号化装置における動き補償予測部１０８と同じ機能を持ち、動き情報復号部６０６より供給される動き情報に基づいて、復号画像メモリ６０５内の参照画像指定情報が示す参照画像を、動きベクトル値だけ予測ブロックの画像信号と同一位置より移動させた位置の画像信号を取得して予測信号を生成する。動き補償予測の予測種別が双予測であれば、各予測種別の予測信号を平均したものを予測信号として生成し、予測信号を加算部６０４に供給する。

出力端子６０９は、復号画像メモリ６０５より供給された復号画像信号を、ディスプレイなどの表示媒体に出力することで、復号画像信号が再生される。

図６に示した動画像復号装置の構成も、図１に示した動画像符号化装置の構成と同様に、ＣＰＵ、フレームメモリ、ハードディスクなどを備える情報処理装置等のハードウェアによっても実現可能である。

図７は、本発明の実施の形態に係る動画像復号装置における復号処理の動作の流れを示すフローチャートである。多重分離部６０１は、入力端子６００より供給された符号化ビットストリームを予測誤差情報の符号化列と、動き情報の符号化列に分離する（Ｓ７００）。分離された動き情報の符号化列は動き情報復号部６０６に供給され、動き情報メモリ６０７より供給される候補ブロック群の動き情報を用いて、復号対象ブロックの動き情報を復号する（Ｓ７０１）。ステップＳ７０１の処理の詳細については後述する。

分離された予測誤差情報の符号化列は、予測差分情報復号部６０２に供給され、量子化された予測誤差信号として復号され、逆量子化・逆変換部６０３で逆量子化や逆直交変換などの処理を施されることで、復号予測誤差信号が生成される（Ｓ７０２）。

動き情報復号部６０６より、復号対象ブロックの動き情報が動き補償予測部６０８に供給され、動き補償予測部６０８は動き情報にしたがって動き補償予測を行い予測信号を算出する（Ｓ７０３）。加算部６０４は、逆量子化・逆変換部６０３から供給された復号予測誤差信号と、動き補償予測部６０８から供給された予測信号とを加算し、復号画像信号を生成する（Ｓ７０４）。

加算部６０４より供給された復号画像信号は、復号画像メモリ６０５に格納される（Ｓ７０５）と共に、動き情報復号部６０６より供給された復号対象ブロックの動き情報が動き情報メモリ６０７に格納される（Ｓ７０６）。これで、予測ブロック単位の復号処理が終了する。

［実施の形態の詳細機能説明］
本発明の実施の形態に係る動画像符号化装置の予測モード判定部１０９の動作、図５のフローチャートにおけるステップＳ５０２の処理、並びに本発明の実施の形態に係る動画像復号装置における動き情報復号部６０６の動作、図７のフローチャートにおけるステップＳ７０１の処理の詳細動作を、以下説明する。

［実施の形態における動き補償予測モードの定義］
図８（ａ）、（ｂ）は、本発明の実施の形態における動き補償予測において使用される動き情報を符号化するための２つの予測モードを説明するための図である。

第一の予測モードは、予測対象ブロックと当該予測対象ブロックに隣接する符号化済ブロックにおける時間方向や空間方向の動きの連続性を用いて、当該予測対象ブロックは自身の動き情報を直接符号化せずに、空間及び時間的に隣接するブロックの動き情報を符号化に使用する手法であり、結合予測モード（マージモード）と呼ぶ。

ここで、空間的に隣接するブロックとは予測対象ブロックと同じ画像に属する符号化済ブロックの中で、予測対象ブロックに隣接するブロックを指す。ここで、時間的に隣接するブロックとは復号画像メモリ１０６に参照画像として記憶されている処理対象の予測ブロックとは別の復号済みの画像に属するブロックの中で、予測対象ブロックと同一空間位置及びその周辺にあるブロックを指す。

結合予測モードの場合には、複数の隣接ブロック候補より選択的に結合する動き情報が定義でき、動き情報は使用する隣接ブロックを指定する情報（インデックス）を符号化することで、指定情報をもとに取得した動き情報をそのまま動き補償予測に用いる。更に、結合予測モードにおいては、予測差分情報を符号化伝送せずに、結合予測モードで予測された予測信号を復号ピクチャとするＳｋｉｐモードを定義し、結合した動き情報のみの少ない情報で復号画像が再生できる構成を有する。Ｓｋｉｐモードにおいて伝送する動き情報は、結合予測モードと同様に隣接ブロックを定義する指定情報となる。

第二の予測モードは、動き情報の構成要素を個別にすべて符号化し、予測ブロックに対して予測誤差の少ない動き情報を伝送する手法であり、動き検出予測モードと呼ぶ。動き検出予測モードは、従来の動き補償予測の動き情報の符号化と同様に、参照画像を特定するための情報（参照画像インデックス）と、動きベクトルを特定するための情報が別々に符号化される。

動き検出予測モードには、単予測と双予測のどちらを使用するか予測モードで指示し、単予測単予測の場合には１つの参照画像に対する参照画像を特定する情報と、動きベクトルの予測ベクトルとの差分ベクトルを符号化する。双予測の場合には２つの参照画像に対する参照画像を特定する情報と、動きベクトルがそれぞれ個別に符号化される。動きベクトルに対する予測ベクトルは、ＡＶＣと同様に隣接ブロックの動き情報から生成されるが、結合予測モードと同様に、複数の隣接ブロック候補より予測ベクトルに用いる動きベクトルを選択でき、動きベクトルは予測ベクトルに使用する隣接ブロックを指定する情報（インデックス）と差分ベクトルの２つを符号化することで伝送される。

［実施の形態における動画像符号化装置における予測モード判定部の詳細動作説明］
図９は、実施の形態の動画像符号化装置における予測モード判定部１０９の詳細な構成を示す図である。予測モード判定部１０９は、最適な動き補償予測モードを決定する機能を有する。

予測モード判定部１０９は、動き補償予測生成部９００、予測誤差算出部９０１、予測ベクトル算出部９０２、差分ベクトル算出部９０３、動き情報符号量算出部９０４、予測モード評価部９０５、結合動き情報算出部９０６、及び結合動き補償予測生成部９０７を含む。

図１における予測モード判定部１０９に対して、動きベクトル検出部１０７より入力された動きベクトル値が、動き補償予測生成部９００に供給され、動き情報メモリ１１１より入力された動き情報が、予測ベクトル算出部９０２、及び結合動き情報算出部９０６に供給される。

また、動き補償予測部１０８に対して、動き補償予測生成部９００、及び結合動き補償予測生成部９０７から、動き補償予測に用いる参照画像指定情報と動きベクトルが出力され、動き補償予測部１０８より、生成された動き補償予測画像が予測誤差算出部９０１に供給される。予測誤差算出部９０１には更に、入力端子１００より符号化対象となる予測ブロックの画像信号が供給される。

また、予測モード評価部９０５から、動き情報符号化部１１０に対して符号化する動き情報と確定した予測モード情報を供給し、動き情報メモリ１１１に動き情報を供給し、動き補償予測信号を減算部１０１及び加算部１０５に供給する。

動き補償予測生成部９００は、予測に使用可能な各参照画像に対して算出された動きベクトル値を受信し、参照画像指定情報を予測ベクトル算出部９０２に供給し、参照画像指定情報と動きベクトルを出力する。

予測誤差算出部９０１は、入力された動き補償予測画像と処理対象の予測ブロック画像より、予測誤差評価値を算出する。誤差評価値を算出するための演算としては、動きベクトル検出における誤差評価値と同様に、画素毎の差分絶対値の総和ＳＡＤや、画素毎の二乗誤差値の総和ＳＳＥ等を使用できる。更に、予測残差の符号化を行う際に施される、直交変換・量子化を行うことによって復号画像に生じる歪成分の量を加味することで、より正確な誤差評価値が算出可能である。この場合には、予測誤差算出部９０１内に、図１における減算部１０１、直交変換・量子化部１０２、逆量子化・逆変換部１０４、加算部１０５の機能を有することで実現できる。

予測誤差算出部９０１は、各予測モードにおいて算出された予測誤差評価値と、動き補償予測信号を予測モード評価部９０５に供給する。

予測ベクトル算出部９０２は、動き補償予測生成部９００より参照画像指定情報を供給され、動き情報メモリ１１１から供給される隣接ブロックの動き情報における候補ブロック群より、指定された参照画像に対する動きベクトル値を入力し、複数の予測ベクトルを予測ベクトル候補リストと共に生成し、差分ベクトル算出部９０３に、参照画像指定情報と共に供給する。予測ベクトル算出部９０２は、予測ベクトルの候補を作成し、予測ベクトル候補として登録する。

差分ベクトル算出部９０３は、予測ベクトル算出部９０２より供給された、予測ベクトル候補のそれぞれに対して、動き補償予測生成部９００から供給される動きベクトル値との差分を計算し、差分ベクトル値を算出する。算出された差分ベクトル値と予測ベクトル候補に対する指定情報である予測ベクトルインデックスを符号化した際、符号量が最も少ない。差分ベクトル算出部９０３は、最も少ない情報量である予測ベクトルに対する予測ベクトルインデックスと差分ベクトル値を参照画像指定情報と共に、動き情報符号量算出部９０４に供給する。

動き情報符号量算出部９０４は、差分ベクトル算出部９０３より供給される、差分ベクトル値、参照画像指定情報、予測ベクトルインデックス、および予測モードより、各予測モードにおける動き情報に要する符号量を算出する。また、動き情報符号量算出部９０４は、結合動き補償予測生成部９０７より、結合予測モードにおいて伝送する必要がある、結合動き情報インデックスと予測モードを示すための情報を受け取り、結合予測モードにおける動き情報に要する符号量を算出する。

動き情報符号量算出部９０４は、各予測モードにおいて算出された動き情報及び動き情報に要する符号量を予測モード評価部９０５に供給する。

予測モード評価部９０５は、予測誤差算出部９０１より供給された各予測モードの予測誤差評価値と、動き情報符号量算出部９０４から供給された各予測モードの動き情報符号量を用いて、各予測モードの総合動き補償予測誤差評価値を算出し、最も少ない評価値である予測モードを選択し、選択した予測モードと選択した予測モードに対する動き情報を、動き情報符号化部１１０、動き情報メモリ１１１に出力する。また、予測モード評価部９０５は同様に、予測誤差算出部９０１より供給された動き補償予測信号に対して、選択した予測モードにおける予測信号を選択して減算部１０１及び加算部１０５に出力する。

結合動き情報算出部９０６は、動き情報メモリ１１１より供給される隣接ブロックの動き情報における候補ブロック群を用いて、単予測であるか双予測であるかを示す予測種別、参照画像指定情報、動きベクトル値で構成される動き情報として、複数の動き情報を結合動き情報候補リストと共に生成し、結合動き補償予測生成部９０７に供給する。

図１０は、結合動き情報算出部９０６の構成を示す図である。結合動き情報算出部９０６は、空間結合動き情報候補リスト生成部１０００、時間結合動き情報候補リスト生成部１００１、結合動き情報候補リスト削除部１００２、第１結合動き情報候補リスト追加部１００３および第２結合動き情報候補リスト追加部１００４を含む。結合動き情報算出部９０６は、候補ブロック群より所定の順番で動き情報の候補を作成し、その中から、同一の動き情報を持つ候補を削除することで、有効な動き情報のみを結合動き情報候補として登録する。結合動き情報算出部９０６の詳細動作に関しては、後述する。

図９に戻り、結合動き補償予測生成部９０７は、結合動き情報算出部９０６より供給された結合動き情報候補リストより、登録された結合動き情報候補のそれぞれに対して、動き情報より、予測種別に応じて１つの参照画像（単予測）もしくは２つの参照画像（双予測）の参照画像指定情報と動きベクトル値を動き補償予測部１０８に指定して、動き補償予測画像を生成すると共に、それぞれの結合動き情報インデックスを動き情報符号量算出部９０４に供給する。

図９の構成では、それぞれの結合動き情報インデックスにおける予測モード評価は、予測モード評価部９０５で施されるが、予測誤差評価値及び動き情報符号量を予測誤差算出部９０１及び動き情報符号量算出部９０４より受け取り、結合動き補償予測生成部９０７内で、最適な結合動き補償予測の結合動きインデックスを確定させた後に、他の予測モードを含めた最適予測モードの評価を行う構成を取ることも可能である。

図１１は、図５のステップＳ５０２の動き補償予測モード／予測信号生成処理の詳細動作を説明するためのフローチャートである。この動作は、図９の予測モード判定部１０９における詳細動作を示している。

最初に、結合動き情報候補リスト生成を行い（Ｓ１１００）、結合予測モード評価値を生成する（Ｓ１１０１）。続いて、予測モード評価値を生成し（Ｓ１１０２）、生成した評価値を比較することで最適な予測モードを選択する（Ｓ１１０３）。ただし、ステップＳ１１０１及びＳ１１０２の評価値生成の順序はこれに限らない。

選択された予測モードに従い予測信号を出力し（Ｓ１１０４）、選択された予測モードに従い動き情報を出力する（Ｓ１１０５）ことで、予測ブロック単位の動き補償予測モード／予測信号生成処理が終了する。ステップＳ１１００、Ｓ１１０１、及びＳ１１０２の詳細動作に関しては後述する。

図１２は、図１１のステップＳ１１００の結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。この動作は、図９の結合動き情報算出部９０６における構成の詳細動作を示している。

図１０の空間結合動き情報候補リスト生成部１０００は、動き情報メモリ１１１より供給される空間候補ブロック群から領域外である候補ブロックや、イントラモードである候補ブロックを除いた候補ブロックから空間結合動き情報候補リストを生成する（Ｓ１２００）。空間結合動き情報候補リスト生成の詳細な動作は後述する。

時間結合動き情報候補リスト生成部１００１は、続いて動き情報メモリ１１１より供給される時間候補ブロック群から領域外である候補ブロックや、イントラモードである候補ブロックを除いた候補ブロックから時間結合動き情報候補リストを生成し（Ｓ１２０１）、時間結合動き情報候補リストと結合して結合動き情報候補リストとする。時間結合動き情報候補リスト生成の詳細な動作は後述する。

続いて、結合動き情報候補リスト削除部１００２において、生成された空間結合動き情報候補リストと時間結合動き情報候補リストを統合した結合動き情報候補リストより、信頼度の低い動き情報を持つ結合動き情報候補を削除して動き情報候補リストを更新する（Ｓ１２０２）。結合動き情報候補削除の詳細な動作は後述する。

次に、第１結合動き情報候補リスト追加部１００３は、時間結合動き情報候補リスト生成部１００１で生成された結合動き情報候補リストに登録された結合動き情報候補から０個から４個の第１補充結合動き情報候補を生成して結合動き情報候補リストに追加し（Ｓ１２０３）、当該結合動き情報候補リストを第２結合動き情報候補リスト追加部１００４に供給する。第１結合動き情報候補リスト追加の詳細な動作は後述する。

次に、第２結合動き情報候補リスト追加部１００４は、第１結合動き情報候補リスト追加部１００３より供給される結合動き情報候補リストに依存しない０個から２個の第２補充結合動き情報候補を生成して第１結合動き情報候補リスト追加部１００３より供給される結合動き情報候補リストに追加し（Ｓ１２０４）、処理を終了する。第２結合動き情報候補リスト追加の詳細な動作は後述する。

動き情報メモリ１１１より、結合動き情報算出部９０６に供給される動き情報の候補ブロック群には、空間候補ブロック群と時間候補ブロック群が含まれる。まず、空間結合動き情報候補リスト生成について説明する。

図１３は、空間結合動き情報候補リスト生成に用いる空間候補ブロック群を示す図である。空間候補ブロック群は、符号化対象画像の予測対象ブロックに隣接している同一画像のブロックを示す。ブロック群は、その管理が最小予測ブロックサイズ単位で行われ、候補ブロックの位置は、最小予測ブロックサイズの単位で管理されるが、隣接ブロックの予測ブロックサイズが最小予測ブロックサイズよりも大きな場合には、予測ブロックサイズ内の全ての候補ブロックに同一の動き情報が格納される。実施の形態においては、隣接するブロック群の内、図１３に示すようなブロックＡ０、ブロックＡ１、ブロックＢ０、ブロックＢ１、ブロックＢ２の５ブロックを空間候補ブロック群とする。

図１４は、空間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。空間候補ブロック群に含まれる５つの候補ブロックのうち、ブロックＡ０、ブロックＡ１、ブロックＢ０、ブロックＢ１、ブロックＢ２について、ブロックＡ１、ブロックＢ１、ブロックＢ０、ブロックＡ０の順序で以下の処理を繰り返し行う（Ｓ１４００〜Ｓ１４０３）。

最初に候補ブロックの有効性を検査する（Ｓ１４０１）。候補ブロックが領域外でなくイントラモードでない場合、候補ブロックは有効となる。候補ブロックが有効であれば（Ｓ１４０１：ＹＥＳ）、候補ブロックの動き情報を空間結合動き情報候補リストに追加する（Ｓ１４０２）。

ステップＳ１４００からＳ１４０３までの繰り返し処理に続いて、空間結合動き情報候補リストに追加された候補数が４未満だった場合（Ｓ１４０４：ＹＥＳ）、候補ブロックＢ２の有効性を検査する（Ｓ１４０５）。ブロックＢ２が領域外でなくイントラモードでない場合（Ｓ１４０５：ＹＥＳ）、ブロックＢ２の動き情報を空間結合動き情報候補リストに追加する（Ｓ１４０６）。

ここでは、空間結合動き情報候補リストには４以下の候補ブロックの動き情報が含まれるとしたが、空間候補ブロック群は、処理対象の予測ブロックに隣接する少なくとも１以上の処理済みのブロックであり、候補ブロックの有効性によって空間結合動き情報候補リストの数が変動すればよく、これに限定されない。

続いて、時間結合動き情報候補リスト生成について説明する。図１５は、時間結合動き情報候補リスト生成に用いる時間方向周辺予測ブロックの定義を説明する図である。時間候補ブロック群は、予測対象ブロックが属する画像とは別の復号済みの画像ＣｏｌＰｉｃに属するブロックの中で、予測対象ブロックと同位置及びその周辺にあるブロックを示す。ブロック群は、その管理が最小空間予測ブロックサイズ単位で行われ、候補ブロックの位置は、最小空間予測ブロックサイズの単位で管理される。本発明の実施の形態においては、最小空間予測ブロックサイズは最小予測ブロックサイズを垂直方向、水平方向にそれぞれ２倍した大きさとする。時間的に隣接するブロックの予測ブロックのサイズが最小空間予測ブロックサイズよりも大きな場合には、予測ブロックサイズ内のすべての候補ブロックに同一の動きの情報が格納される。一方、予測ブロックのサイズが最小空間予測ブロックサイズよりも小さな場合には、時間方向周辺予測ブロックの左上に位置する予測ブロックの動きの情報を時間方向周辺予測ブロックの情報とする。図１５（ｂ）に予測ブロックサイズが最小空間予測ブロックサイズより小さい場合の時間方向周辺予測ブロックの動き情報を示す。

図１５（ａ）におけるＡ１〜Ａ４、Ｂ１〜Ｂ４、Ｃ、Ｄ、Ｅ、Ｆ１〜Ｆ４、Ｇ１〜Ｇ４、Ｈ、Ｉ１〜Ｉ１６の位置のブロックが、時間的に隣接するブロック群となる。実施の形態においては、これら時間的に隣接するブロック群の内、時間候補ブロック群をブロックＨとブロックＩ６の２ブロックとする。

図１６は、時間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。時間候補ブロック群に含まれる２つの候補ブロックであるブロックＨとブロックＩ６について（Ｓ１６００、Ｓ１６０５）、ブロックＨ、ブロックＩ６の順序で候補ブロックの有効性を検査する（Ｓ１６０１）。候補ブロックが有効である場合（Ｓ１６０１：ＹＥＳ）、ステップＳ１６０２〜ステップＳ１６０４の処理が行われ、生成された動き情報が時間結合動き情報候補リストに登録され、処理が終了する。候補ブロックが画面領域外の位置を示す場合や、候補ブロックがイントラ予測ブロックである場合（Ｓ１６０１：ＮＯ）、候補ブロックが有効でなく、次の候補ブロックの有効／無効判定が行われる。
候補ブロックが有効である場合（Ｓ１６０１：ＹＥＳ）、候補ブロックの動き情報をもとに結合動き情報候補に登録する参照画像選択候補を確定する（Ｓ１６０２）。実施の形態ではＬ０予測の参照画像を、Ｌ０予測の参照画像のうち処理対象画像に最も近い距離にある参照画像とし、Ｌ１予測の参照画像を、Ｌ１予測の参照画像のうち処理対象画像に最も近い距離にある参照画像とする。

ここでの参照画像選択候補の確定手法は、Ｌ０予測の参照画像とＬ１予測の参照画像が決定できればよく、これに限定されない。符号化処理と復号処理で同一の手法で参照画像を確定することで、符号化時に意図した参照画像を確定できる。他の確定手法としては、例えばＬ０予測の参照画像及びＬ１予測の参照画像の参照画像インデックスが０である参照画像を選択する手法や、空間隣接ブロックが使用しているＬ０参照画像及びＬ１参照画像で、最も多く使用されている参照画像を予測対象ブロックにおける参照画像として選択する手法や、符号化ストリーム中で各予測種別の参照画像を指定する手法を用いることが可能である。

次に、候補ブロックの動き情報をもとに結合動き情報候補に登録する動きベクトル値を確定する（Ｓ１６０３）。実施の形態における、時間結合動き情報は、候補ブロックの動き情報で有効な予測種別である動きベクトル値をもとに、双予測の動き情報を算出する。候補ブロックの予測種別がＬ０予測もしくはＬ１予測の単予測の場合には、予測に用いられている予測種別（Ｌ０予測或いはＬ１予測）の動き情報を選択し、その参照画像指定情報と動きベクトル値を双予測動き情報生成の基準値とする。

候補ブロックの予測種別が双予測である場合には、Ｌ０予測或いはＬ１予測のどちらか一方の動き情報を基準値として選択する。基準値の選択方法は、例えばＣｏｌＰｉｃと同じ予測種別に存在する動き情報を選択する、候補ブロックのＬ０予測、Ｌ１予測のそれぞれの参照画像でＣｏｌＰｉｃとの画像間距離が近い方を選択する、或いは候補ブロックのＬ０予測、Ｌ１予測のそれぞれの動きベクトルが符号化処理対象画像と交差する方を選択する等が挙げられる。

双予測動き情報生成の基準とする動きベクトル値が確定したら、結合動き情報候補に登録する動きベクトル値を算出する。

図１７は、時間結合動き情報に対する基準動きベクトル値ＣｏｌＭｖに対する、Ｌ０予測、Ｌ１予測に対して登録する動きベクトル値ｍｖＬ０ｔ、ｍｖＬ１ｔの算出手法を説明するための図である。

基準動きベクトル値ＣｏｌＭｖに対するＣｏｌＰｉｃと候補ブロックの基準とする動きベクトルの対象となる参照画像との画像間距離をＣｏｌＤｉｓｔとする。Ｌ０予測、Ｌ１予測の各参照画像と処理対象画像との画像間距離をＣｕｒｒＬ０Ｄｉｓｔ、ＣｕｒｒＬ１Ｄｉｓｔとする。ＣｏｌＭｖを、ＣｏｌＤｉｓｔとＣｕｒｒＬ０Ｄｉｓｔ、ＣｕｒｒＬ１Ｄｉｓｔの距離比率でスケーリングした動きベクトルを、それぞれに登録する動きベクトルとする。具体的には、登録する動きベクトル値ｍｖＬ０ｔ、ｍｖＬ１ｔは、下記式１、２で算出される。
ｍｖＬ０ｔ＝ｍｖＣｏｌ×ＣｕｒｒＬ０Ｄｉｓｔ／ＣｏｌＤｉｓｔ・・・（式１）
ｍｖＬ１ｔ＝ｍｖＣｏｌ×ＣｕｒｒＬ１Ｄｉｓｔ／ＣｏｌＤｉｓｔ・・・（式２）
となる。

図１６に戻り、このようにして生成された、双予測の参照画像選択情報（インデックス）と、動きベクトル値を結合動き情報候補に追加し（Ｓ１６０４）、時間結合動き情報候補リスト作成処理が終了する。

図１８は、結合動き情報候補削除の詳細動作を説明するためのフローチャートである。空間結合動き情報候補リスト作成処理及び時間結合動き情報候補リスト作成処理により、生成される結合動き情報候補の最大数をＭａｘＭｅｒｇｅＣａｎｄとすると、ｉ＝ＭａｘＭｅｒｇｅＣａｎｄ−１からｉ＞０までの結合動き情報候補（候補（ｉ））に対して以下の処理を繰り返し行う（Ｓ１８００〜Ｓ１８０６）。

候補（ｉ）が存在していれば（Ｓ１８０１のＹＥＳ）、ｉｉ＝ｉ−１からｉｉ＞＝０までの結合動き情報候補（候補（ｉｉ））に対して以下の処理を繰り返し行い（Ｓ１８０２〜Ｓ１８０５）、候補（ｉ）が存在しない場合（Ｓ１８０１のＮＯ）はステップＳ１８０２からＳ１８０５までの候補（ｉｉ）についての繰り返し処理をスキップする。

まず、候補（ｉ）の動きベクトル値（動きベクトル（ｉ））と候補（ｉｉ）の動きベクトル値を比較する（Ｓ１８０３）。すなわち、候補（ｉ）と候補（ｉｉ）のＬ０予測およびＬ１予測における動きベクトル値の水平成分と垂直成分をそれぞれ比較する。

候補（ｉ）と候補（ｉｉ）のＬ０予測およびＬ１予測における動きベクトル値の水平成分と垂直成分がそれぞれ同一の場合には（Ｓ１８０３：ＹＥＳ）、候補（ｉ）を結合動き情報候補リストから削除し（Ｓ１８０４）、候補（ｉｉ）についての繰り返し処理を終了する。

候補（ｉ）と候補（ｉｉ）のＬ０予測およびＬ１予測における動きベクトル値の水平成分と垂直成分が少なくとも１つ以上異なる場合（Ｓ１８０３のＮＯ）、ｉｉから１を減算し、候補（ｉｉ）についての処理を繰り返す（Ｓ１８０２〜Ｓ１８０５）。

ステップＳ１８００からＳ１８０５までの繰り返し処理に続いて、ｉから１を減算し、候補（ｉ）についての処理を繰り返す（Ｓ１８００〜Ｓ１８０６）。

また、動きベクトルの比較においては、予測種別はすべて双予測であるとしてＬ０予測、Ｌ１予測の動きベクトルをそれぞれ比較する。前述したように、結合動き情報候補リストに含まれる動き情報候補の予測種別が単予測である場合、使用されない参照画像リストの予測ベクトル、すなわち、Ｌ０予測におけるＬ１予測の動きベクトルと、Ｌ１予測におけるＬ０予測の動きベクトルの値は（０、０）である。

図１９（ａ）、（ｂ）は、結合動き情報候補削除処理を行う前後の結合動き情報候補リストの一例を示す図である。図１９（ａ）において、インデックス２はＬ０予測であるから、使用されていないＬ１予測のベクトル値は（０，０）であり、比較を行うと、インデックス０の動き情報とインデックス２の動き情報は、Ｌ０予測およびＬ１予測の動きベクトル値が同じであるから、結合動き情報候補削除の処理によってインデックス２の結合動き情報候補が削除される。同様に、インデックス３はＬ１予測であるから、使用されていないＬ０予測のベクトル値は（０、０）であり、比較を行うと、インデックス３の動き情報と、インデックス４の動き情報は、Ｌ０予測およびＬ１予測の動きベクトル値が同じであるから、結合動き情報候補削除の処理によってインデックス４の動き情報候補が削除され、結果として図１９（ｂ）のようになる。

以上の処理を結合動き情報候補に対して行うことにより、結合動き情報候補のうちで、Ｌ０予測およびＬ１予測のベクトル値が同じ候補を削除することができる。この点が本実施の形態において符号化効率を向上する特徴的な構成であり、結合動き情報候補を削除する処理において、予測種別、動きベクトル値、および参照画像インデックスを比較して、完全に同じ動き情報を持つ結合動き情報候補を削減するのではなく、すべての候補を双予測として、Ｌ０予測およびＬ１予測の動きベクトル値のみを比較することにより、信頼度の低い動き情報を持つ結合動き情報候補も削除することが可能である。

なお、ここではＢピクチャ（Ｂスライス）について説明したが、Ｐピクチャ（Ｐスライス）の場合は、すべての候補をＬ０予測として、ベクトル値の比較を行う。

図２０（ａ）、（ｂ）は、動きベクトルと参照画像インデックスの関係を説明する図である。動画像では被写体が等速度運動をしている動きが多く、等速度運動をしている被写体の動きを示す動きベクトルは、図２０（ａ）に示すように参照画像の距離に応じてスケーリングした関係にある。すなわち、一つ前の時刻の参照画像（参照インデックスｉｄｘ０）からの動きを示す動きベクトルと、二つ前の時刻の参照画像（参照インデックスｉｄｘ１）からの動きを示す動きベクトルとは、予測方向が同じで動きベクトル値は時間差分だけスケーリングした関係にある。

一方、図２０（ｂ）に示すように、予測方向と動きベクトル値が同じで、参照画像インデックスのみ異なる二つの動きベクトルは、被写体が等速度運動していることを否定する。すなわち、一つ前の時刻の参照画像（参照インデックスｉｄｘ０）からの動きを示す動きベクトルと、二つ前の時刻の参照画像（参照インデックスｉｄｘ１）からの動きを示す動きベクトルとは、予測方向が同じで動きベクトル値も同じである。これは、二つ前の時刻から一つ前の時刻にかけて被写体に動きがなく、一つ前の時刻から現時刻にかけて被写体が動いたことを意味しており、被写体の動きは等速度運動していないことになる。被写体が等速度運動をしていることを仮定すると、このような場合、これら二つの動きベクトルをともに結合動き情報候補として残しても、結合動き情報インデックスの符号量が増加することに見合わない。

図２０（ｂ）に示したような、互いに予測方向と動きベクトル値が同じで参照画像インデックスが異なる動き情報の候補を、結合動き情報候補として残すには、当然のことながら、参照画像インデックスが同一であるか否かをチェックする必要がある。そのため、候補を削除する条件式が増加し、演算量が増加してしまう。そこで、本実施の形態では、２つの動き情報の候補について、参照画像インデックスが同一であるかどうかをチェックすることなく（参照画像インデックスが同じであろうとなかろうと）、いずれか一方の動き情報の候補を結合動き情報候補から削除することで、演算量を削減しつつ、冗長な動き情報の候補の登録を抑制し符号化効率を向上させることができる。

２つの動き情報の候補について、互いに予測種別と動きベクトル値が同じであって、参照画像インデックスも同じであれば、それらは冗長な候補であるから、両方の動き情報を残すことは結合動き情報インデックスの符号量を無駄に増加させる。一方、２つの動き情報の候補について、互いに予測種別と動きベクトル値が同じであって、参照画像インデックスが異なれば、それらは等速度運動を意味しないものであるから、信頼性が低く、両方の動き情報を登録することは結合動き情報インデックスの符号量の増加に見合わない。したがって、参照画像インデックスが同じであろうとなかろうと、２つの動き情報の候補について、互いに動きベクトル値が同じであれば、いずれか一方の候補を削除することにメリットがある。

また、本実施の形態においては、予測種別が単予測である場合にも、すべて双予測として比較を行うことにより、予測種別の比較を行うことなく結合動き情報の同一性をチェックしている。前述したように、予測種別が単予測である場合に、使われていない参照画像リストのベクトル値は（０、０）であるから、すべて双予測として比較を行えば、使用可能なベクトル値が（０，０）である場合以外においては、予測種別の比較を行ったうえに使用されている参照画像リストのベクトル値のみ比較する場合と全く同様の比較結果が得られる。

また、後述する第１結合動き情報候補リスト追加部１００３での結合動き情報候補追加の処理においては、結合動き情報候補リストに含まれる複数の候補の動き情報を元に、Ｌ０予測とＬ１予測の動きベクトルをそれぞれ組み合わせて新たな候補を生成して追加を行う。ここで、結合動き情報候補リストに含まれている動き情報候補が単予測と双予測であり、単予測で使用される参照リストの動きベクトルが互いに一致していると、結果的に生成される組み合わせは減少する。しかし、本実施の形態の方法によれば、結合動き情報候補リストに含まれている動き情報候補が単予測と双予測であり、単予測で使用される参照リストの動きベクトルが互いに一致している場合であっても、双予測の他方の動きベクトルが（０，０）であれば、単予測と双予測のいずれかの動き情報候補が削除されるので、その結果、結合動き情報候補リストに新たな結合動き情報候補を追加することができるようになり、結合予測モードに用いることができる動き情報の種類が増加し、符号化効率を向上させることができる。

さらに、結合動き情報候補の使用可能なベクトル値に（０，０）が含まれる場合、例えば、インデックス０の候補がＬ０予測でＬ０ベクトル値が（０，０）、インデックス１の候補が双予測でＬ０予測、Ｌ１予測ともにベクトル値が（０，０）である場合には、インデックス１が削除される。しかし、後述する第２結合動き情報候補リスト追加部１００４での結合動き情報候補追加の処理において、双予測でベクトル値が（０，０）であるベクトルが追加されるため、符号化効率の低下に結びつくことはない。

このように、結合動き情報候補削除において、予測種別、動きベクトル値および参照画像インデックスをすべて比較するのではなく、すべての候補を双予測であるとして、動きベクトル値のみを比較することで、結合動き情報候補から冗長性の高い信頼度の低い動き情報を持つ候補を適切に削除して符号化効率を向上しながら、比較処理を減らすことが可能となり、回路規模や処理時間を削減することが可能である。

続いて、第１結合動き情報候補リスト追加部１００３の詳細な動作について説明する。図２１は、第１結合動き情報候補リスト追加部１００３の動作を説明するためのフローチャートである。最初に、時間結合動き情報候補リスト生成部１００１より供給される結合動き情報候補リストに登録された結合動き情報候補の数（ＮｕｍＣａｎｄＬｉｓｔ）と結合動き情報候補最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）から、第１追加結合動き情報候補を生成する最大数であるＭａｘＮｕｍＧｅｎＣａｎｄを式３より算出する（Ｓ２１００）。
MaxNumGenCand=MaxNumMergeCand-NumCandList; (NumCandList>１)
MaxNumGenCand=0; (NumCandList<=1) （式３）

次に、ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きいか検査する（Ｓ２１０１）。ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きくなければ（Ｓ２１０１のＮＯ）、処理を終了する。ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きければ（Ｓ２１０１のＹＥＳ）、以下の処理を行う。まず、組み合わせ検査回数であるｌｏｏｐＴｉｍｅｓを決定する。ｌｏｏｐＴｉｍｅｓはＮｕｍＣａｎｄＬｉｓｔ×ＮｕｍＣａｎｄＬｉｓｔに設定する。ただし、ｌｏｏｐＴｉｍｅｓが８を超える場合にはｌｏｏｐＴｉｍｅｓは８に制限する（Ｓ２１０２）。ここで、ｌｏｏｐＴｉｍｅｓは０から７までの整数となる。ｌｏｏｐＴｉｍｅｓだけ以下の処理を繰り返し行う（Ｓ２１０２からＳ２１０９）。

結合動き情報候補Ｍと結合動き情報候補Ｎの組み合わせを決定する（Ｓ２１０３）。ここで、組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係について説明する。

図２２は組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係を説明するための図である。図２２のようにＭとＮは異なる値であって、ＭとＮの合計値が小さくなる順に設定される。

結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効であるか検査する（Ｓ２１０４）。結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効であれば（Ｓ２１０４のＹＥＳ）、結合動き情報候補ＭのＬ０予測の参照画像と動きベクトルが結合動き情報候補ＮのＬ１予測の参照画像と動きベクトルと異なるか検査する（Ｓ２１０５）。結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効でなければ（Ｓ２１０４のＮＯ）、次の組み合わせを処理する。結合動き情報候補ＭのＬ０予測の参照画像と結合動き情報候補ＮのＬ１予測の参照画像が異なれば（Ｓ２１０５のＹＥＳ）、結合動き情報候補ＭのＬ０予測の動きベクトルと参照画像を結合動き情報候補ＮのＬ１予測の動きベクトルと参照画像と組み合わせて双結合動き情報候補を生成する（Ｓ２１０６）。ここでは、第１追加結合動き情報候補として、ある結合動き情報候補のＬ０予測とそれとは異なる結合動き情報候補のＬ１予測の動き情報を組み合わせた双結合動き情報を生成する。結合動き情報候補ＭのＬ０予測の参照画像と結合動き情報候補ＮのＬ１予測の参照画像が同じであれば（Ｓ２１０５のＮＯ）、次の組み合わせを処理する。ステップＳ２１０６に続いて、双結合動き情報候補を結合動き情報候補リストに追加する（Ｓ２１０７）。ステップＳ２１０７に続いて、生成した双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄであるか検査する（Ｓ２１０８）。生成された双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄであれば（Ｓ２１０８のＹＥＳ）、処理を終了する。生成された双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄでなければ（Ｓ２１０８のＮＯ）、次の組み合わせを処理する。

ここでは、第１追加結合動き情報候補を、結合動き情報候補リストに登録されたある結合動き情報候補のＬ０予測の動きベクトルと参照画像を、別の結合動き情報候補のＬ１予測の動きベクトルと参照画像と組み合わせて、動き補償予測の予測種別が双予測である双結合動き情報候補としたが、これに限定されない。例えば、結合動き情報候補リストに登録されたある結合動き情報候補のＬ０予測の動きベクトルとＬ１予測の動きベクトルに＋１などのオフセット値を加えた動き補償予測の予測種別が双予測である結合動き情報候補、結合動き情報候補リストに登録されたある結合動き情報候補のＬ０予測の動きベクトルまたはＬ１予測の動きベクトルに＋１などのオフセット値を加えた動き補償予測の予測種別が単予測である結合動き情報候補としてもよいし、それらを任意に組み合わせてもよい。

ここで、第１追加結合動き情報候補は、結合動き情報候補リストに登録された結合動き情報候補の動き情報と処理対象の動き情報候補の動きに微妙にずれがある場合に、結合動き情報候補リストに登録された結合動き情報候補の動き情報を修正して有効な結合動き情報候補を生成することで、符号化効率を高めることができる。

続いて、第２結合動き情報候補リスト追加部１００４の詳細な動作について説明する。図２３は、第２結合動き情報候補リスト追加部１００４の動作を説明するためのフローチャートである。最初に、第１結合動き情報候補リスト追加部１００３より供給される結合動き情報候補リストに登録された結合動き情報候補の数（ＮｕｍＣａｎｄＬｉｓｔ）と結合動き情報候補最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）から、第１追加結合動き情報候補を生成する最大数であるＭａｘＮｕｍＧｅｎＣａｎｄを式４より算出する（Ｓ２３００）。
MaxNumGenCand=MaxNumMergeCand-NumCandList; （式４）

次に、以下の処理をｉについてＭａｘＮｕｍＧｅｎＣａｎｄ回繰り返し行う（Ｓ２３０１からＳ２３０５）。ここで、ｉは０からＭａｘＮｕｍＧｅｎＣａｎｄ−１の整数となる。Ｌ０予測の動きベクトルが（０，０）、参照インデックスがｉであって、Ｌ１予測の動きベクトルが（０，０）、参照インデックスがｉである予測種別が双予測である第２追加結合動き情報候補を生成する（Ｓ２３０２）。第２追加結合動き情報候補を結合動き情報候補リストに追加する（Ｓ２３０３）。次のｉについて処理する（Ｓ２３０４）。

ここでは、第２追加結合動き情報候補を、Ｌ０予測の動きベクトルが（０，０）、参照インデックスがｉであって、Ｌ１予測の動きベクトルが（０，０）、参照インデックスがｉである予測種別が双予測である結合動き情報候補とした。これは、一般的な動画像において、Ｌ０予測の動きベクトルとＬ１予測の動きベクトルが（０，０）である結合動き情報候補の発生頻度が統計的に高いためである。結合動き情報候補リストに登録された結合動き情報候補の動き情報に依存せず、統計的に利用頻度が高い結合動き情報候補であれば、これに限定されない。例えば、Ｌ０予測やＬ１予測の動きベクトルはそれぞれ（０，０）以外のベクトル値でもよく、Ｌ０予測とＬ１予測の参照インデックスが異なるように設定してもよい。また、第２追加結合動き情報候補を符号化済みの画像や符号化済みの画像の一部の発生頻度の高い動き情報とし、符号化ストリームに符号化して伝送して設定することもできる。なお、ここではＢピクチャ（Ｂスライス）について説明したが、Ｐピクチャ（Ｐスライス）の場合は、Ｌ０予測の動きベクトルが（０，０）で、予測種別がＬ０予測である第２追加結合動き情報候補を生成する。

ここで、第２追加結合動き情報候補として結合動き情報候補リストに登録された結合動き情報候補に依存しない結合動き情報候補を設定することで、結合動き情報候補リストに登録された結合動き情報候補が０個である場合に、結合予測モードを利用することを可能とし、符号化効率を向上させることができる。また、結合動き情報候補リストに登録された結合動き情報候補の動き情報と処理対象の動き情報候補の動きが異なる場合に、新たな結合動き情報候補を生成して選択肢の幅を広げることで、符号化効率を向上させることができる。

図２４は、図１１のステップＳ１１０１における結合予測モード評価値生成処理の詳細動作を説明するためのフローチャートである。この動作は、図９の結合動き補償予測生成部９０８を用いた構成の詳細動作を示している。

最初に予測誤差評価値を最大値に設定し、予測誤差が最小となる結合動き情報インデックスを初期化（例えば、−１などのリスト外の値）する（Ｓ２４００）。結合動き情報候補リスト生成処理により、生成された結合動き情報候補リストの数をｎｕｍ＿ｏｆ＿ｉｎｄｅｘとすると、ｉ＝０からｎｕｍ＿ｏｆ＿ｉｎｄｅｘ−１までの結合動き情報候補について以下の処理を繰り返し行う（Ｓ２４０１からＳ２４０９）。

先ず、結合動き情報候補リストよりインデックスｉに格納された動き情報を取得する（Ｓ２４０２）。続いて動き情報符号量を算出する（Ｓ２４０３）。結合予測モードにおいては、結合動き情報インデックスのみが符号化されるので、結合動き情報インデックスのみが動き情報符号量となる。

結合動き情報インデックスの符号列としては、実施の形態では、Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を用いる。図２５は、結合動き情報候補数が５の場合のＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を示す図である。Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を用いて結合動き情報インデックスの値を符号化する場合には、結合動き情報インデックスが小さいほど、結合動き情報インデックスに割り当てられる符号ビットが小さくなる。例えば、結合動き情報候補数が５個である場合、結合動き情報インデックスが１であれば'１０'の２ビットで表現されるが、結合動き情報インデックスが３であれば'１１１０'の４ビットで表現される。なお、ここでは上記のように結合動き情報インデックスの符号化にＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を利用しているが、他の符号列生成手法を用いることも可能であり、これに限定されない。

続いて、動き情報の予測種別が単予測である場合（Ｓ２４０４：ＹＥＳ）、１つの参照画像に対する参照画像指定情報と動きベクトルを、図１における動き補償予測部１０８に設定して、動き補償単予測ブロックを生成する（Ｓ２４０５）。動き情報が単予測でない場合（Ｓ２４０４：ＮＯ）、２つの参照画像に対する参照画像指定情報と動きベクトルを動き補償予測部１０８に設定して、動き補償双予測ブロックを生成する（Ｓ２４０６）。

続いて、動き補償予測ブロックと予測対象ブロックの予測誤差と動き情報符号量より、予測誤差評価値を算出し（Ｓ２４０７）、予測誤差評価値が最小値である場合には評価値を更新すると共に、予測誤差最小インデックスを更新する（Ｓ２４０８）。

全ての結合動き情報候補についての予測誤差評価値が比較された結果、選択された予測誤差最小インデックスを、結合予測モードで用いる結合動き情報インデックスとして、予測誤差最小値、動き補償予測ブロックと共に出力し（Ｓ２４１０）、結合予測モード評価値生成処理を終了する。

図２６は、図１１のステップＳ１１０２の予測モード評価値生成処理の詳細動作を説明するためのフローチャートである。

最初に、予測モードが単予測であるか否かを判別する（Ｓ２６００）。単予測であれば、処理対象とする参照画像リスト（ＬＸ）を予測に用いている参照画像リストに設定する（Ｓ２６０１）。単予測でなければ、双予測であるから、この場合はＬＸをＬ０とする（Ｓ２６０２）。

次に、ＬＸ予測に対する参照画像指定情報（インデックス）と動きベクトル値を取得する（Ｓ２６０３）。続いて、予測ベクトル候補リストを生成し（Ｓ２６０４）、予測ベクトルの中から最適予測ベクトルを選択し、差分ベクトルを生成する（Ｓ２６０５）。最適予測ベクトルの選択手法は、予測ベクトルと伝送する動きベクトルの差分ベクトルを実際に符号化する際の符号量が最も少ないものを選択することが望ましいが、単純に差分ベクトルの水平・垂直成分の絶対値の総和が小さいものを選択するなどの手法で、簡易的に算出してもよい。

続いて、再度予測モードが単予測である否かを判別し（Ｓ２６０６）、予測モードが単予測であればステップＳ２６０９に進む。単予測でない、すなわち、双予測であれば、処理対象の参照リストＬＸがＬ１か否かを判定する（Ｓ２６０７）。参照リストＬＸがＬ１であれば、ステップＳ２６０９に進み、Ｌ１でない、すなわち、Ｌ０であればＬＸをＬ１として（Ｓ２６０８）、ステップＳ２６０３からステップＳ２６０６までの処理と同じ処理が行われる。

続いて、動き情報符号量を算出する（Ｓ２６０９）。単予測モードの場合に、符号化する動き情報としては、１つの参照画像に対する、参照画像指定情報、差分ベクトル値、及び予測ベクトルインデックスの３要素、双予測モードの場合には、Ｌ０とＬ１の２つの参照画像に対する、参照画像指定情報、差分ベクトル値、及び予測ベクトルインデックスの計６要素となり、各々符号化された符号量の総量が動き情報符号量として算出される。本実施の形態における予測ベクトルインデックスの符号列生成手法としては、結合動き情報インデックスの符号列と同様にＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を用いるものとする。

続いて、参照画像に対する参照画像指定情報と動きベクトルを図１における動き補償予測部１０８に設定して、動き補償予測ブロックを生成する（Ｓ２６１０）。

さらに、動き補償予測ブロックと予測対象ブロックの予測誤差と動き情報符号量より、予測誤差評価値を算出し（Ｓ２６１１）、予測誤差評価値と、参照画像に対する動き情報である、参照画像指定情報と差分ベクトル値と予測ベクトルインデックスを動き補償予測ブロックと共に出力し（Ｓ２６１２）、予測モード評価値生成処理を終了する。

以上の処理が、実施の形態における動画像符号化装置における予測モード判定部１０９の詳細動作となる。

［実施の形態における動画像復号装置における動き情報復号部の詳細動作説明］
図２７は、図６に示した実施の形態の動画像復号装置における動き情報復号部６０６の詳細な構成を示す図である。動き情報復号部６０６は、動き情報ビットストリーム復号部２７００、予測ベクトル算出部２７０１、ベクトル加算部２７０２、動き補償予測復号部２７０３、結合動き情報算出部２７０４、及び結合動き補償予測復号部２７０５を含む。

図６における動き情報復号部６０６に対して、多重分離部６０１より入力された動き情報ビットストリームが、動き情報ビットストリーム復号部２７００に供給され、動き情報メモリ６０７より入力された動き情報が、予測ベクトル算出部２７０１、及び結合動き情報算出部２７０４に供給される。

また、動き補償予測部６０８に対して、動き補償予測復号部２７０３、及び結合動き補償予測復号部２７０５から、動き補償予測に用いる参照画像指定情報と動きベクトルが出力され、予測種別を示す情報を含めた復号された動き情報が、動き情報メモリ６０７に格納される。

動き情報ビットストリーム復号部２７００は、多重分離部６０１より入力された動き情報ビットストリームを符号化シンタックスに従って復号していくことで、伝送された予測モードと、予測モードに応じた動き情報を生成する。生成した動き情報の中で、結合動き情報インデックスは、結合動き補償予測復号部２７０５に供給され、参照画像指定情報が予測ベクトル算出部２７０１に供給され、予測ベクトルインデックスがベクトル加算部２７０２に供給され、差分ベクトル値がベクトル加算部２７０２に供給される。

予測ベクトル算出部２７０１は、動き情報メモリ６０７より供給された隣接ブロックの動き情報と、動き情報ビットストリーム復号部２７００より供給された参照画像指定情報から、動き補償予測の対象となる参照画像に対する予測ベクトル候補リストを生成し、参照画像指定情報と共にベクトル加算部２７０２に供給する。予測ベクトル算出部２７０１の動作に関しては、動画像符号化装置における図９の予測ベクトル算出部９０２と同一の動作が行われ、符号化時の予測ベクトル候補リストと同一の候補リストが生成される。

ベクトル加算部２７０２は、予測ベクトル算出部２７０１より供給された予測ベクトル候補リスト及び参照画像指定情報と、動き情報ビットストリーム復号部２７００から供給された予測ベクトルインデックス及び差分ベクトルより、予測ベクトルインデックスで示された位置に登録された予測ベクトル値と差分ベクトル値を加算することで、動き補償予測対象となる参照画像に対しての動きベクトル値が再生される。再生された動きベクトル値は、参照画像指定情報と共に、動き補償予測復号部２７０３に供給される。

動き補償予測復号部２７０３は、ベクトル加算部２７０２より参照画像に対する、再生された動きベクトル値と参照画像指定情報が供給され、動きベクトル値と参照画像指定情報を動き補償予測部６０８に設定することで、動き補償予測信号を生成する。

結合動き情報算出部２７０４は、動き情報メモリ６０７から供給される隣接ブロックの動き情報より、結合動き情報候補リストを生成し、結合動き情報候補リストとリスト内の構成要素である結合動き情報候補の参照画像指定情報と動きベクトル値を、結合動き補償予測復号部２７０５に供給する。

結合動き情報算出部２７０４の動作に関しては、動画像符号化装置における図９の結合動き情報算出部９０６と同一の動作が行われ、符号化時の結合動き情報候補リストと同一の候補リストが生成される。

結合動き補償予測復号部２７０５は、結合動き情報算出部２７０４より供給される結合動き情報候補リストとリスト内の構成要素である結合動き情報候補の参照画像指定情報と動きベクトル値と、動き情報ビットストリーム復号部２７００より供給される結合動き情報インデックスより、結合動き情報インデックスで示された結合動き情報候補リストにおける参照画像指定情報と動きベクトル値を再生し、動き補償予測部６０８に設定することで、動き補償予測信号を生成する。

図２８は、図７のステップＳ７０１の動き情報復号処理の詳細動作を説明するためのフローチャートである。動き情報ビットストリーム復号部２７００と予測ベクトル算出部２７０１、及び結合動き情報算出部２７０４により、図７のステップＳ７０１の動き情報復号処理が行われる。

動き情報復号処理は、特定のシンタックス構造で符号化された符号化ビットストリームより動き情報を復号する処理である。最初に符号化ブロックの所定単位でＳｋｉｐフラグを復号する（Ｓ２８００）。以降は予測ブロック単位の処理となる。

ＳｋｉｐフラグがＳｋｉｐモードを示している場合（Ｓ２８０１：ＹＥＳ）、結合予測動き情報復号を行う（Ｓ２８０２）。ステップＳ２８０２の詳細処理については、後述する。

Ｓｋｉｐモードでない場合（Ｓ２８０１：ＮＯ）、マージフラグを復号する（Ｓ２８０３）。マージフラグが１を示している場合（Ｓ２８０４：ＹＥＳ）には、ステップＳ２８０２の結合予測動き情報復号に進む。

マージフラグが１でない場合（Ｓ２８０４：ＮＯ）、動き予測フラグを復号し（Ｓ２８０５）、予測動き情報復号を行う（Ｓ２８０６）。ステップＳ２８０６の詳細動作については、後述する。

図２９は、図２８のステップＳ２８０２の結合予測動き情報復号処理の詳細動作を説明するためのフローチャートである。

最初に予測モードに結合予測モードを設定し（Ｓ２９００）、結合動き情報候補リストを生成する（Ｓ２９０１）。ステップＳ２９０１の処理は、動画像符号化装置における図１１のステップＳ１１００の結合動き情報候補リスト生成処理と同一の処理である。

つぎに、結合動き情報インデックスを復号し（Ｓ２９０２）、続いて、結合動き情報候補リストより、結合動き情報インデックスで示す位置に格納されている動き情報を取得する（Ｓ２９０３）。取得する動き情報としては、単予測／双予測を示す予測種別、参照画像指定情報、動きベクトル値となる。

生成された動き情報は、結合予測モードの動き情報として格納され（Ｓ２９０４）、結合動き補償予測復号部２７０６に供給される。

図３０は、図２８のステップＳ２８０６の予測動き情報復号処理の詳細動作を説明するためのフローチャートである。

最初に、予測種別が単予測であるか否かを判別する（Ｓ３０００）。単予測であれば、処理対象とする参照画像リスト（ＬＸ）を予測に用いている参照画像リストに設定する（Ｓ３００１）。単予測でなければ、双予測であるから、この場合はＬＸをＬ０とする（Ｓ３００２）。

次に、参照画像指定情報を復号し（Ｓ３００３）、差分ベクトル値を復号する（Ｓ３００４）。次に、予測ベクトル候補リストを生成し（Ｓ３００５）、予測ベクトル候補リストが１より大きな場合（Ｓ３００６：ＹＥＳ）、予測ベクトルインデックスを復号し（Ｓ３００７）、予測ベクトル候補リストが１の場合（Ｓ３００６：ＮＯ）、予測ベクトルインデックスに０を設定する（Ｓ３００８）。

ここで、ステップＳ３００５では、動画像符号化装置における図２６のフローチャートのステップＳ２６０４と同様の処理が行われる。

次に、予測ベクトル候補リストより、予測ベクトルインデックスで示す位置に格納されている動きベクトル値を取得する（Ｓ３００９）。復号した差分ベクトル値と動きベクトル値を加算することで動きベクトルを再生する（Ｓ３０１０）。

続いて、再度予測種別が単予測である否かを判別し（Ｓ３０１１）、予測種別が単予測であればステップＳ３０１４に進む。単予測でない、すなわち、双予測であれば、処理対象の参照リストＬＸがＬ１か否かを判定する（Ｓ３０１２）。参照リストＬＸがＬ１であれば、ステップＳ３０１４に進み、Ｌ１でない、すなわち、Ｌ０であればＬＸをＬ１として（Ｓ３０１３）、ステップＳ３００３からステップＳ３０１１までの処理と同じ処理が行われる。

続いて、生成された動き情報として、単予測の場合には、１つの参照画像に対する参照画像指定情報と動きベクトル値が、双予測の場合には、２つの参照画像に対する参照画像指定情報と動きベクトル値が、動き情報として格納され（Ｓ３０１４）、動き補償予測復号部２７０３に供給される。

以上のように、実施の形態における、動画像符号化装置及び動画像復号装置においては、結合動き情報算出部における結合動き情報候補を削除する処理において、予測種別、動きベクトル値、および参照画像インデックスを比較して、完全に同じ動き情報を持つ結合動き情報候補を削減するのではなく、すべての候補を双予測として、Ｌ０予測およびＬ１予測の動きベクトル値のみを比較することにより、少ない演算量で結合動き情報候補リストから同一の動き情報を持つ結合動き情報候補および信頼性の低い結合動き情報候補を適切に削除することが可能となり、その結果、結合動き情報候補リストに新たな結合動き情報候補を追加することにより結合予測モードに用いることができる動き情報の種類が増加し、符号化効率を向上させることができる。

以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。

動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。

動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。

また、以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１００ 入力端子、 １０１ 減算部、 １０２ 直交変換・量子化部、 １０３ 予測誤差符号化部、 １０４ 逆量子化・逆変換部、 １０５ 加算部、 １０６ 復号画像メモリ、 １０７ 動きベクトル検出部、 １０８ 動き補償予測部、 １０９ 予測モード判定部、 １１０ 動き情報符号化部、 １１１ 動き情報メモリ、 １１２ 多重化部、 １１３ 出力端子、 ６００ 入力端子、 ６０１ 多重分離部、 ６０２ 予測差分情報復号部、 ６０３ 逆量子化・逆変換部、 ６０４ 加算部、 ６０５ 復号画像メモリ、 ６０６ 動き情報復号部、 ６０７ 動き情報メモリ、 ６０８ 動き補償予測部、 ６０９ 出力端子、 ９００ 動き補償予測生成部、 ９０１ 予測誤差算出部、 ９０２ 予測ベクトル算出部、 ９０３ 差分ベクトル算出部、 ９０４ 動き情報符号量算出部、 ９０５ 予測モード評価部、 ９０６ 結合動き情報算出部、 ９０７ 結合動き補償予測生成部、 １０００ 空間結合動き情報候補リスト生成部、 １００１ 時間結合動き情報候補リスト生成部、 １００２ 結合動き情報候補リスト削除部、 １００３ 第１結合動き情報候補リスト追加部、 １００４ 第２結合動き情報候補リスト追加部、 ２７００ 動き情報ビットストリーム復号部、 ２７０１ 予測ベクトル算出部、 ２７０２ ベクトル加算部、 ２７０３ 動き補償予測復号部、 ２７０４ 結合動き情報算出部、 ２７０５ 結合動き補償予測復号部。

Claims (3)

1. 動画像の各ピクチャを分割したブロック単位で動きベクトルを用いて符号化された符号列を復号する動画像復号装置であって、
   復号対象ブロックの動き情報の候補を算出し、動き情報の候補リストを生成する動き情報算出部と、
   前記動き情報算出部から出力される前記候補リスト内の動き情報を備える隣接ブロックの中から一つの隣接ブロックを、動き情報を参照するための参照ブロックとして指定して、指定された参照ブロックの動き情報を前記復号対象ブロックの動き情報として使用する結合予測モードが選択された場合に、前記指定された参照ブロックを示すインデックスを含む前記動き情報を前記符号列から復号するとともに、前記動き情報算出部から出力される前記候補リストから得た前記指定された参照ブロックの動き情報を用いて、前記復号対象ブロックを復号する復号部とを備え、
   前記動き情報算出部は、
   前記復号対象ブロックに隣接する複数の復号済みの隣接ブロックの動き情報を前記復号対象ブロックの動き情報の候補として算出し、動き情報の候補リストを生成する候補リスト生成部と、
   前記候補リスト生成部により生成された前記候補リストに含まれる動き情報の候補の中で、互いに動きベクトル値が一致するものがある場合、いずれか一方の動き情報の候補を前記候補リストから削除する候補リスト削除部とを含み、
   ブロック単位の予測種別として、第１予測および第２予測の両方に予測処理のための動きベクトル値が設定される双予測と、第１予測または第２予測のいずれか一方に予測処理のための動きベクトル値が設定される単予測とが定義され、単予測の場合は、予測処理のための動きベクトル値が設定されない方について動きベクトル値として規定値が設定されており、前記候補リスト削除部は、前記候補リストに含まれる２つの動き情報の候補間で、単予測であるか双予測であるかに関係なく、第１予測の動きベクトル値同士が一致すると共に第２予測の動きベクトル値同士が一致する場合に、これら２つの動き情報の候補のいずれか一方の動き情報の候補を前記候補リストから削除することを特徴とする動画像復号装置。
2. 動画像の各ピクチャを分割したブロック単位で動きベクトルを用いて符号化された符号列を復号する動画像復号方法であって、
   復号対象ブロックの動き情報の候補を算出し、動き情報の候補リストを生成する動き情報算出ステップと、
   前記動き情報算出ステップから出力される前記候補リスト内の動き情報を備える隣接ブロックの中から一つの隣接ブロックを、動き情報を参照するための参照ブロックとして指定して、指定された参照ブロックの動き情報を前記復号対象ブロックの動き情報として使用する結合予測モードが選択された場合に、前記指定された参照ブロックを示すインデックスを含む前記動き情報を前記符号列から復号するとともに、前記動き情報算出ステップから出力される前記候補リストから得た前記指定された参照ブロックの動き情報を用いて、前記復号対象ブロックを復号する復号ステップとを備え、
   前記動き情報算出ステップは、
   前記復号対象ブロックに隣接する複数の復号済みの隣接ブロックの動き情報を前記復号対象ブロックの動き情報の候補として算出し、動き情報の候補リストを生成する候補リスト生成ステップと、
   前記候補リスト生成ステップにより生成された前記候補リストに含まれる動き情報の候補の中で、互いに動きベクトル値が一致するものがある場合、いずれか一方の動き情報の候補を前記候補リストから削除する候補リスト削除ステップとを含み、
   ブロック単位の予測種別として、第１予測および第２予測の両方に予測処理のための動きベクトル値が設定される双予測と、第１予測または第２予測のいずれか一方に予測処理のための動きベクトル値が設定される単予測とが定義され、単予測の場合は、予測処理のための動きベクトル値が設定されない方について動きベクトル値として規定値が設定されており、前記候補リスト削除ステップは、前記候補リストに含まれる２つの動き情報の候補間で、単予測であるか双予測であるかに関係なく、第１予測の動きベクトル値同士が一致すると共に第２予測の動きベクトル値同士が一致する場合に、これら２つの動き情報の候補のいずれか一方の動き情報の候補を前記候補リストから削除することを特徴とする動画像復号方法。
3. 動画像の各ピクチャを分割したブロック単位で動きベクトルを用いて符号化された符号列を復号する動画像復号プログラムであって、
   復号対象ブロックの動き情報の候補を算出し、動き情報の候補リストを生成する動き情報算出ステップと、
   前記動き情報算出ステップから出力される前記候補リスト内の動き情報を備える隣接ブロックの中から一つの隣接ブロックを、動き情報を参照するための参照ブロックとして指定して、指定された参照ブロックの動き情報を前記復号対象ブロックの動き情報として使用する結合予測モードが選択された場合に、前記指定された参照ブロックを示すインデックスを含む前記動き情報を前記符号列から復号するとともに、前記動き情報算出ステップから出力される前記候補リストから得た前記指定された参照ブロックの動き情報を用いて、前記復号対象ブロックを復号する復号ステップとをコンピュータに実行させ、
   前記動き情報算出ステップは、
   前記復号対象ブロックに隣接する複数の復号済みの隣接ブロックの動き情報を前記復号対象ブロックの動き情報の候補として算出し、動き情報の候補リストを生成する候補リスト生成ステップと、
   前記候補リスト生成ステップにより生成された前記候補リストに含まれる動き情報の候補の中で、互いに動きベクトル値が一致するものがある場合、いずれか一方の動き情報の候補を前記候補リストから削除する候補リスト削除ステップとを含み、
   ブロック単位の予測種別として、第１予測および第２予測の両方に予測処理のための動きベクトル値が設定される双予測と、第１予測または第２予測のいずれか一方に予測処理のための動きベクトル値が設定される単予測とが定義され、単予測の場合は、予測処理のための動きベクトル値が設定されない方について動きベクトル値として規定値が設定されており、前記候補リスト削除ステップは、前記候補リストに含まれる２つの動き情報の候補間で、単予測であるか双予測であるかに関係なく、第１予測の動きベクトル値同士が一致すると共に第２予測の動きベクトル値同士が一致する場合に、これら２つの動き情報の候補のいずれか一方の動き情報の候補を前記候補リストから削除することを特徴とする動画像復号プログラム。

Images