JP2013201531A - 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法及び送信プログラム - Google Patents

Abstract

【課題】動き補償予測の動き情報を制御して符号化効率を向上させる。
【解決手段】動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて動画像を符号化する動画像符号化装置において、結合動き情報算出部９０６は、符号化対象予測ブロックに空間的又は時間的に隣接するブロックの有する動き情報から導出した動き情報候補を登録した動き情報候補リストを生成する。動き補償予測部１０８は、動き情報候補リストから選択された動き情報候補の動き情報を用いた動き補償予測により符号化対象予測ブロックの予測信号を生成する。動き情報符号化部１１０は、選択された動き情報候補を示す情報を符号化する。動き補償予測部１０８は、所定サイズ未満の符号化対象予測ブロックに対して、選択された動き情報候補の動き情報を変更して動き補償予測を実行する。
【選択図】図１

Description

本発明は、動き補償予測を用いた動画像符号化技術に関し、特に動き補償予測に利用する動画像符号化装置、動画像符号化方法及び動画像符号化プログラムに関する。

ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４（以後、ＡＶＣ）等に代表される動画像符号化では、ピクチャを矩形ブロックに分割し、ピクチャ間でブロック単位に動き推定、補償を行う動き補償予測が用いられる。動き補償予測において各ブロックで生成される動きベクトルは、その符号量を削減するために、予測処理が施される。

ＡＶＣでは、隣接するブロックの動きベクトルの間に強い相関があることを利用して、隣接ブロックから予測値を算出し、その予測値との差分ベクトルを符号化することによって符号量を削減している。しかし、これらの予測方法では、参照する隣接ブロックの位置が限定されているために、予測が当たらないと、動きベクトルの差分が大きくなり、発生符号量が増加する課題があった。また、動きベクトルの符号量は削減されるものの、予測種別や参照画像インデックス等の他の動き情報は処理対象のブロック毎に符号化されるので、効率的な符号化に至っていないという課題もあった。

これらの課題を解決するために、特許文献１のように、複数の隣接ブロックの中から参照する隣接ブロックを特定する付加情報を符号化することによって、処理対象のブロックの動き情報を符号化せずに、隣接ブロックの動き情報を使用して符号化を行い、符号量を削減するマージ符号化技術が用いられる。

特開平１０−２７６４３９号公報

マージ符号化は、処理対象のブロックの動き情報を符号化せずに、空間及び時間的に隣接するブロックの動き情報を使用して符号化を行うことで、符号量を削減して符号化効率を向上させている。また、参照する隣接ブロックの候補を複数用意し、参照する隣接ブロックを特定する付加情報を符号化することによって、より符号化対象ブロックの動き情報に近い隣接ブロックを参照できるようにしている。

そのため、動き補償予測の予測種別が自動的に算出されると、所定予測ブロックサイズ以下の予測ブロックの予測種別を制限できず、符号化効率が低下する場合がある。所定予測ブロックサイズ以下の予測ブロックの予測種別を制限できないと、例えば、動き補償予測のメモリ帯域を抑制するために不利となる場合がある。

本発明はこうした状況に鑑みてなされたものであり、その目的は、動き補償予測の動き情報を制御して符号化効率を向上させる技術を提供することにある。

上記課題を解決するために、本発明のある態様の動画像符号化装置は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像を符号化する動画像符号化装置であって、符号化対象予測ブロックの動き情報を導出する動き情報導出部（１０９）と、前記動き情報を用いた動き補償予測により前記符号化対象予測ブロックの予測信号を生成する動き補償予測部（１０８）とを備える。前記動き補償予測部（１０８）は、所定サイズ以下及び所定サイズ未満のどちらか一方の条件を用いてその条件に該当する前記符号化対象予測ブロックに対して、前記動き情報を変更して動き補償予測を実行する。

本発明の別の態様もまた、動画像符号化装置である。この装置は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像を符号化する動画像符号化装置であって、符号化対象予測ブロックに空間的又は時間的に隣接するブロックの有する動き情報から導出した動き情報候補を登録した動き情報候補リストを生成する動き情報候補リスト生成部（９０６）と、前記動き情報候補リストから選択された動き情報候補の動き情報を用いた動き補償予測により前記符号化対象予測ブロックの予測信号を生成する動き補償予測部（１０８）と、前記選択された動き情報候補を示す情報を符号化する動き情報符号化部（１１０）とを備える。前記動き補償予測部（１０８）は、所定サイズ以下及び所定サイズ未満のどちらか一方の条件を用いてその条件に該当する前記符号化対象予測ブロックに対して、前記選択された動き情報候補の動き情報を変更して動き補償予測を実行する。

本発明のさらに別の態様は、動画像符号化方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像を符号化する動画像符号化方法であって、符号化対象予測ブロックに空間的又は時間的に隣接するブロックの有する動き情報から導出した動き情報候補を登録した動き情報候補リストを生成する動き情報候補リスト生成ステップと、前記動き情報候補リストから選択された動き情報候補の動き情報を用いた動き補償予測により前記符号化対象予測ブロックの予測信号を生成する動き補償予測ステップと、前記選択された動き情報候補を示す情報を符号化する動き情報符号化ステップとを備える。前記動き補償予測ステップは、所定サイズ以下及び所定サイズ未満のどちらか一方の条件を用いてその条件に該当する前記符号化対象予測ブロックに対して、前記選択された動き情報候補の動き情報を変更して動き補償予測を実行する。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、動き情報を処理する際の負荷を抑制しつつ、動き情報の符号化効率を向上させることができる。

本発明の実施の形態に係る動画像符号化装置の構成を示す図である。 符号化対象画像の一例を示す図である。 予測ブロックサイズの詳細な定義を示す図である。 図４（ａ）〜（ｄ）は、動き補償予測の予測種別について説明する図である。 本発明の実施の形態に係る動画像符号化装置における符号化処理の動作の流れ示すフローチャートである。 本発明の実施の形態に係る動画像復号装置の構成を示す図である。 本発明の実施の形態に係る動画像復号装置における復号処理の動作の流れを示すフローチャートである。 図８（ａ）、（ｂ）は、本発明の実施の形態における動き補償予測において使用される動き情報を符号化するための２つの予測モードを説明する図である。 実施の形態の動画像符号化装置における予測モード判定部の詳細な構成を示す図である。 実施の形態における図９の結合動き情報算出部の構成を示す図である。 図５のステップＳ５０２の動き補償予測モード／予測信号生成処理の詳細動作を説明するフローチャートである。 実施の形態における図１１の結合動き情報候補リスト生成の詳細動作を説明するフローチャートである。 空間結合動き情報候補リスト生成に用いる空間候補ブロック群を示す図である。 空間結合動き情報候補リスト生成の詳細動作を説明するフローチャートである。 実施の形態における結合動き情報候補削除の詳細動作を説明するフローチャートである。 実施の形態における結合動き情報候補削除における動き情報候補の比較関係を示す図である。 実施の形態における結合動き情報候補削除における動き情報候補の比較関係を示す図である。 時間結合動き情報候補リスト生成に用いる時間候補ブロック群を示す図である。 時間結合動き情報候補リスト生成の詳細動作を説明するフローチャートである。 時間結合動き情報に対する基準動きベクトル値ＣｏｌＭｖに対する、Ｌ０予測、Ｌ１予測に対して登録する動きベクトル値ｍｖＬ０ｔ、ｍｖＬ１ｔの算出手法を説明する図である。 第１結合動き情報候補リスト追加部の詳細動作を説明するフローチャートである。 組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係を説明する図である。 第２結合動き情報候補リスト追加部の詳細動作を説明するフローチャートである。 図１１の結合予測モード評価値生成処理の詳細動作を説明するフローチャートである。 結合動き情報候補数が５の場合のＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を示す図である。 図１１の予測モード評価値生成処理の詳細動作を説明するフローチャートである。 実施の形態の動画像復号装置における動き情報復号部の詳細な構成を示す図である。 図７の動き情報復号処理の詳細動作を説明するフローチャートである。 図２８の結合予測動き情報復号処理の詳細動作を説明するフローチャートである。 図２８の予測動き情報復号処理の詳細動作を説明するフローチャートである。 図６の動き補償予測部の詳細動作を説明するフローチャートである。 予測ブロックの動き情報に関するシンタックスである。 双予測制限された予測ブロックからの双予測の動き情報予測を説明する図である。

以下、図面とともに本発明の実施の形態に係る動画像符号化装置、動画像符号化方法、動画像符号化プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラムの好適な実施の形態について詳細に説明する。なお、図面の説明には同一要素には同一符号を付与して重複する説明を省略する。

［動画像符号化装置全体構成］
図１は、本発明の実施の形態に係る動画像符号化装置の構成を示す図である。以下、各部の動作について説明する。実施の形態に係る動画像符号化装置は、入力端子１００、減算部１０１、直交変換・量子化部１０２、予測誤差符号化部１０３、逆量子化・逆変換部１０４、加算部１０５、復号画像メモリ１０６、動きベクトル検出部１０７、動き補償予測部１０８、予測モード判定部１０９、動き情報符号化部１１０、動き情報メモリ１１１、多重化部１１２、及び出力端子１１３を備える。

入力端子１００より入力される画像信号から符号化処理対象の予測ブロックの画像信号が、予測ブロックの位置情報と予測ブロックサイズに基づいて切り出され、予測ブロックの画像信号は、減算部１０１、動きベクトル検出部１０７及び予測モード判定部１０９に供給される。

図２は、符号化対象画像の一例を示す図である。実施の形態に係る予測ブロックサイズに関しては、図２に示すように符号化対象画像が６４×６４画素の符号化ブロック（ＣＵ）単位で符号化処理され、予測ブロックは符号化ブロックが更に分割された単位で構成される。最大予測ブロックサイズは符号化ブロックと同じ６４×６４画素で、最小予測ブロックサイズは４×４画素である。符号化ブロックの予測ブロックへの分割構成は、非分割（２Ｎ×２Ｎ）、水平・垂直への分割（Ｎ×Ｎ）、水平方向のみへの分割（２Ｎ×Ｎ）、垂直方向のみへの分割（Ｎ×２Ｎ）が可能である。水平・垂直への分割の場合のみ、更に分割された予測ブロックを符号化ブロックとして階層的に予測ブロックに分割でき、その階層をＣＵ分割数で表現する。

図３は、予測ブロックサイズの詳細な定義を示す図である。ＣＵ分割数が０であって最大の予測ブロックサイズである６４画素×６４画素から、ＣＵ分割数が３であって最小の予測ブロックサイズである４画素×４画素までの１３の予測ブロックサイズが存在することになる。

本発明の実施の形態に係る予測ブロックの分割構成に関して、この組み合わせに限定されない。また、動画像符号化装置における予測ブロックサイズの選択は、符号化ブロック単位で符号化効率のより良い構造を適応的に選択することが可能であるが、実施の形態は予測ブロック単位での画面間予測及び画面間動き情報の符号化に注目したものであるため、最適な予測ブロックサイズの選択に関する構成要素及び説明を省略する。以降の動画像符号化装置の動作に関しては、選択した予測ブロックサイズ単位で施される動作を説明する。

図１に戻り、減算部１０１は、入力端子１００より供給される画像信号と予測モード判定部１０９より供給される予測信号を減算して予測誤差信号を算出し、予測誤差信号を直交変換・量子化部１０２に供給する。

直交変換・量子化部１０２は、減算部１０１より供給される予測誤差信号に直交変換及び量子化を施し、量子化された予測誤差信号を予測誤差符号化部１０３及び逆量子化・逆変換部１０４に供給する。

予測誤差符号化部１０３は、直交変換・量子化部１０２より供給される量子化された予測誤差信号をエントロピー符号化して、予測誤差信号に対する符号列を生成して、多重化部１１２に供給する。

逆量子化・逆変換部１０４は、直交変換・量子化部１０２より供給される量子化された予測誤差信号に対して、逆量子化や逆直交変換などの処理を行い、復号予測誤差信号を生成し加算部１０５に供給する。

加算部１０５は、逆量子化・逆変換部１０４より供給される復号予測誤差信号と、予測モード判定部１０９より供給される予測信号を加算して、復号画像信号を生成し、復号画像信号を復号画像メモリ１１６に供給する。

復号画像メモリ１０６は、加算部１０５より供給される復号画像信号を格納する。また、画像全体の復号が完了した復号画像については参照画像として１以上の所定画像数記憶し、参照画像信号を動きベクトル検出部１０７と動き補償予測部１０８に供給する。

動きベクトル検出部１０７は、入力端子１００より供給される予測ブロックの画像信号と、復号画像メモリ１０６に記憶された参照画像信号の入力を受けて、各参照画像に対する動きベクトルを検出し、動きベクトル値を予測モード判定部１０９に供給する。

一般的な動きベクトルの検出方法は、画像信号と同一位置より所定の移動量だけ移動させた参照画像に相当する画像信号について誤差評価値を算出し、誤差評価値が最小となる移動量を動きベクトルとする。誤差評価値としては、画素毎の差分絶対値の総和ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や、画素毎の二乗誤差値の総和ＳＳＥ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｅｒｒｏｒ）等を利用する。さらに、動きベクトルの符号化に関わる符号量も誤差評価値に含めることも可能である。

動き補償予測部１０８は、予測モード判定部１０９より指定される予測種別、参照画像指定情報と、動きベクトル値及び双予測制限情報に従って、復号画像メモリ１０６内の参照画像指定情報で示される参照画像を、動きベクトル値だけ予測ブロックの画像信号と同一位置より移動させた位置の画像信号を取得して予測信号を生成する。

予測モード判定部１０９より指定される予測モードが単予測の場合には、１つの参照画像から取得した予測信号を動き補償予測信号とし、予測モードが双予測の場合には、２つの参照画像から取得した予測信号を重みづけ平均したものを動き補償予測信号とし、動き補償予測信号を予測モード判定部１０９に供給する。ここでは双予測の重みづけ平均の比率を１：１とする。

本実施の形態では、予測モード判定部１０９で指定される予測種別と異なる予測種別で動き補償予測を行う場合がある。つまり、動き補償予測部１０８内で、双予測制限情報に基づいて、予測種別を修正し、動き補償予測を行う。指定される予測種別と異なる予測種別での動き補償予測の詳細については後述する。

図４（ａ）〜（ｄ）は、動き補償予測の予測種別について説明するための図である。単一の参照画像からの予測を行う処理を単予測と定義し、単予測の場合はＬ０予測またはＬ１予測という２つの参照画像管理リストに登録された参照画像のいずれか一方を利用する。

図４（ａ）は単予測であってＬ０予測の参照画像（ＲｅｆＬ０Ｐｉｃ）が符号化対象画像（ＣｕｒＰｉｃ）より前の時刻にある場合を示している。図４（ｂ）は単予測であってＬ０予測の参照画像が符号化対象画像より後の時刻にある場合を示している。同様に、図４（ａ）および図４（ｂ）のＬ０予測の参照画像をＬ１予測の参照画像（ＲｅｆＬ１Ｐｉｃ）に置き換えて単予測を行うこともできる。

２つの参照画像からの予測を行う処理を双予測と定義し、双予測の場合はＬ０予測とＬ１予測の双方を利用してＢＩ予測と表現する。図４（ｃ）は双予測であってＬ０予測の参照画像が符号化対象画像より前の時刻にあって、Ｌ１予測の参照画像が符号化対象画像より後の時刻にある場合を示している。図４（ｄ）は双予測であってＬ０予測の参照画像とＬ１予測の参照画像が符号化対象画像より前の時刻にある場合を示している。このように、Ｌ０／Ｌ１の予測種別と時間の関係は、Ｌ０が過去方向、Ｌ１が未来方向とは限定されずに用いることが可能である。

双予測は２つの参照画像メモリへの画像情報アクセスが必要となるため、単予測と比較して２倍以上のメモリ帯域を必要とする場合がある。ハードウェアを構成する場合、動き補償予測の予測ブロックサイズが小さい場合の双予測がメモリ帯域のボトルネックとなり、本実施の形態ではメモリ帯域のボトルネックを抑制する。

図１に戻り、予測モード判定部１０９は、動きベクトル検出部１０７より入力される各参照画像に対して検出された動きベクトル値と、動き情報メモリ１１１に格納された動き情報（予測種別、動きベクトル値、及び参照画像指定情報）をもとに、実施の形態において定義した動き補償予測モードのそれぞれに対して用いられる、予測種別、参照画像指定情報と動きベクトル値及び双予測制限情報を動き補償予測部１０８に設定する。設定した値によって、動き補償予測部１０８から供給される動き補償予測信号と、入力端子１００より供給される予測ブロックの画像信号を用いて、最適な動き補償予測モードを決定する。

予測モード判定部１０９は、決定した予測モード、及び予測モードに応じた予測種別、動きベクトル、及び参照画像指定情報を特定する情報を、動き情報符号化部１１０に供給し、決定した予測モード及びその予測モードに対する、予測種別、動きベクトル値、及び参照画像指定情報を動き情報メモリ１１１に供給すると共に、減算部１０１及び加算部１０５に決定した予測モードに対応する予測信号を供給する。

動画像符号化装置において、基準とする参照画像を符号化するために同一画面内の符号化済画像を用いて予測を行う画面内予測が行われるが、実施の形態は画面間予測に注目したものであるため、画面内予測に関連する構成要素は省略する。予測モード判定部１０９の詳細な構成については後述する。

動き情報符号化部１１０は、予測モード判定部１０９より供給される予測モード、及び予測モードに応じた予測種別、動きベクトル、及び参照画像指定情報を特定する情報を所定のシンタックス構造に従って符号化することで、動き情報の符号列を生成し、多重化部１１２に供給する。

動き情報メモリ１１１は、予測モード判定部１０９より供給される動き情報（予測種別、動きベクトル、及び参照画像インデックス）を、最小予測ブロックサイズ単位を基準として所定画像分記憶する。処理対象の予測ブロックの隣接ブロックの動き情報を空間候補ブロック群とし、処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上のブロックとその周辺ブロックの動き情報を時間候補ブロック群とする。

ＣｏｌＰｉｃとは、処理対象の予測ブロックとは別の復号済みの画像であって、復号画像メモリ１０６に参照画像として記憶されている。実施の形態では、ＣｏｌＰｉｃは直前に復号した参照画像とする。なお、実施の形態では、ＣｏｌＰｉｃは直前に復号した参照画像としたが、表示順で直前の参照画像や表示順で直後の参照画像でもよく、符号化ストリーム中に、ＣｏｌＰｉｃに用いる参照画像を直接指定することも可能である。

動き情報メモリ１１１は、空間候補ブロック群と時間候補ブロック群の動き情報を、候補ブロック群の動き情報として予測モード判定部１０９に供給する。多重化部１１２は、予測誤差符号化部１０３から供給される予測誤差の符号化列と、動き情報符号化部１１０から供給される動き情報の符号化列を多重化することで符号化ビットストリームを生成し、出力端子１１３経由で、記録媒体・伝送路等に当該符号化ビットストリームを出力する。

図１に示した動画像符号化装置の構成は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置等のハードウェアによっても実現可能である。

図５は、本発明の実施の形態に係る動画像符号化装置における符号化処理の動作の流れ示すフローチャートである。予測ブロック単位毎に、入力端子１００より処理対象の予測ブロック画像を取得する（Ｓ５００）。動きベクトル検出部１０７は、処理対象の予測ブロック画像と復号画像メモリ１０６に格納された複数の参照画像より、参照画像毎の動きベクトル値を算出する（Ｓ５０１）。

続いて、予測モード判定部１０９は、動きベクトル検出部１０７より供給される動きベクトルと、動き情報メモリ１１１に格納された動き情報を用いて、実施の形態において定義した動き補償予測モードのそれぞれに対する予測信号を、動き補償予測部１０８を用いて取得し、最適な予測モードを選択し、予測信号を生成する（Ｓ５０２）。ステップＳ５０２の処理の詳細については後述する。

続いて、減算部１０１は、処理対象の予測ブロック画像と予測モード判定部１０９より供給された予測信号との差分を予測誤差信号として算出する（Ｓ５０３）。動き情報符号化部１１０は、予測モード判定部１０９より供給される予測モード、及び予測モードに応じた予測種別、動きベクトル、及び参照画像指定情報を特定する情報を所定のシンタックス構造に従って符号化し、動き情報の符号化データを生成する（Ｓ５０４）。

続いて、予測誤差符号化部１０３は、直交変換・量子化部１０２で生成された量子化された予測誤差信号をエントロピー符号化して、予測誤差の符号化データを生成する（Ｓ５０５）。多重化部１１２は、動き情報符号化部１１０から供給される動き情報の符号化データと、予測誤差符号化部１０３から供給される予測誤差の符号化データを多重化し、符号化ビットストリームを生成する（Ｓ５０６）。

加算部１０５は、逆量子化・逆変換部１０４より供給される復号予測誤差信号と、予測モード判定部１０９より供給される予測信号を加算して、復号画像信号を生成する（Ｓ５０７）。加算部１０５によって、生成された復号画像信号が復号画像メモリ１０６に供給、格納され、以降に符号化する符号化画像の動き補償予測処理に用いられる（Ｓ５０８）。動き情報メモリ１１１は、動きベクトル検出部１０７より供給される動き情報（予測種別、動きベクトル、及び参照画像指定情報）を最小の予測ブロックサイズ単位で格納する（Ｓ５０９）。

［動画像復号装置全体構成］
図６は、本発明の実施の形態に係る動画像復号装置の構成を示す図である。以下、各部の動作について説明する。実施の形態に係る動画像復号装置は、入力端子６００、多重分離部６０１、予測差分情報復号部６０２、逆量子化・逆変換部６０３、加算部６０４、復号画像メモリ６０５、動き情報復号部６０６、動き情報メモリ６０７、動き補償予測部６０８、及び出力端子６０９を備える。

入力端子６００より符号化ビットストリームが多重分離部６０１に供給される。多重分離部６０１は、供給された符号化ビットストリームの符号列を予測誤差情報の符号化列と、予測モード、予測種別、動きベクトル、及び参照画像指定情報を特定する情報で構成される動き情報の符号化列に分離する。当該予測誤差情報の符号化列を予測差分情報復号部６０２に供給し、当該動き情報の符号化列を動き情報復号部６０６に供給する。

予測差分情報復号部６０２は、多重分離部６０１より供給された予測誤差情報の符号化列を復号し、量子化された予測誤差信号を生成する。予測差分情報復号部６０２は、生成した量子化された予測誤差信号を逆量子化・逆変換部６０３に供給する。

逆量子化・逆変換部６０３は、予測差分情報復号部６０２より供給される量子化された予測誤差信号を逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、復号予測誤差信号を加算部６０４に供給する。

加算部６０４は、逆量子化・逆変換部６０３より供給される復号予測誤差信号と、動き補償予測部６０８より供給される予測信号を加算して復号画像信号を生成し、復号画像信号を復号画像メモリ６０５に供給する。

復号画像メモリ６０５は、図１の動画像符号化装置における復号画像メモリ１０６と同じ機能を有し、加算部６０４から供給された復号画像信号を格納し、参照画像信号を動き補償予測部６０８に供給する。また、復号画像メモリ６０５は、格納された復号画像信号を再生時刻に合わせて、画像の表示順序に従い出力端子６０９に供給する。

動き情報復号部６０６は、多重分離部６０１より供給される動き情報の符号化列より、予測モード、予測種別、動きベクトル、及び参照画像指定情報を特定する情報を動き情報として復号する。復号した動き情報と、動き情報メモリ６０７より供給される候補ブロック群の動き情報より、動き補償予測に用いる予測種別、動きベクトル及び参照画像指定情報を再生し、動き補償予測部６０８に供給する。また、動き情報復号部６０６は再生した動き情報を、動き情報メモリ６０７に供給する。動き情報復号部６０６の詳細な構成については後述する。

動き情報メモリ６０７は、図１の動画像符号化装置における動き情報メモリ１１１と同じ機能を持ち、動き情報復号部６０６より供給される再生した動き情報を最小予測ブロックサイズ単位を基準として所定画像分記憶する。また、動き情報メモリ６０７は、空間候補ブロック群と時間候補ブロック群の動き情報を、候補ブロック群の動き情報として動き情報復号部６０６に供給する。

動き補償予測部６０８は、図１の動画像符号化装置における動き補償予測部１０８と同じ機能を持ち、動き情報復号部６０６より供給される動き情報に基づいて、復号画像メモリ６０５内の参照画像指定情報が示す参照画像を、動きベクトル値だけ予測ブロックの画像信号と同一位置より移動させた位置の画像信号を取得して予測信号を生成する。動き補償予測の予測種別が双予測であれば、各予測種別の予測信号を平均したものを予測信号として生成し、予測信号を加算部６０４に供給する。ただし、双予測制限された予測ブロックについては、予測種別が双予測の場合であっても単予測として予測信号を生成する。

本実施の形態の符号化装置で説明したように、本実施の形態では、動き情報復号部６０６で指定される参照画像指定情報と異なる参照画像指定情報で動き補償予測を行う場合がある。つまり、動き補償予測部６０８内で、予測種別、双予測制限情報に基づいて、予測種別を修正し、動き補償予測を行う。指定される予測種別と異なる予測種別での動き補償予測の詳細については後述する。

出力端子６０９は、復号画像メモリ６０５より供給された復号画像信号を、ディスプレイなどの表示媒体に出力することで、復号画像信号が再生される。

図６に示した動画像復号装置の構成も、図１に示した動画像符号化装置の構成と同様に、ＣＰＵ、フレームメモリ、ハードディスクなどを備える情報処理装置等のハードウェアによっても実現可能である。

図７は、本発明の実施の形態に係る動画像復号装置における復号処理の動作の流れを示すフローチャートである。多重分離部６０１は、入力端子６００より供給された符号化ビットストリームを予測誤差情報の符号化列と、動き情報の符号化列に分離する（Ｓ７００）。分離された動き情報の符号化列は動き情報復号部６０６に供給され、動き情報メモリ６０７より供給される候補ブロック群の動き情報を用いて、復号対象ブロックの動き情報を復号する（Ｓ７０１）。ステップＳ７０１の処理の詳細については後述する。

分離された予測誤差情報の符号化列は、予測差分情報復号部６０２に供給され、量子化された予測誤差信号として復号され、逆量子化・逆変換部６０３で逆量子化や逆直交変換などの処理を施されることで、復号予測誤差信号が生成される（Ｓ７０２）。

動き情報復号部６０６より、復号対象ブロックの動き情報が動き補償予測部６０８に供給され、動き補償予測部６０８は動き情報にしたがって動き補償予測を行い予測信号を算出する（Ｓ７０３）。加算部６０４は、逆量子化・逆変換部６０３から供給された復号予測誤差信号と、動き補償予測部６０８から供給された予測信号とを加算し、復号画像信号を生成する（Ｓ７０４）。

加算部６０４より供給された復号画像信号は、復号画像メモリ６０５に格納される（Ｓ７０５）と共に、動き情報復号部６０６より供給された復号対象ブロックの動き情報が動き情報メモリ６０７に格納される（Ｓ７０６）。これで、予測ブロック単位の復号処理が終了する。

［実施の形態の詳細機能説明］
本発明の実施の形態に係る動画像符号化装置の予測モード判定部１０９の動作、図５のフローチャートにおけるステップＳ５０２の処理、並びに本発明の実施の形態に係る動画像復号装置における動き情報復号部６０６の動作、図７のフローチャートにおけるステップＳ７０１の処理の詳細動作を、以下説明する。

［実施の形態における動き補償予測モードの定義］
図８（ａ）、（ｂ）は、本発明の実施の形態における動き補償予測において使用される動き情報を符号化するための２つの予測モードを説明するための図である。第一の予測モードは、予測対象ブロックと当該予測対象ブロックに隣接する符号化済ブロックにおける時間方向や空間方向の動きの連続性を用いて、当該予測対象ブロックは自身の動き情報を直接符号化せずに、空間及び時間的に隣接するブロックの動き情報を符号化に使用する手法であり、結合予測モード（マージモード）と呼ぶ。

第一の予測モードは、予測対象ブロックと当該予測対象ブロックに隣接する符号化済ブロックにおける時間方向や空間方向の動きの連続性を用いて、当該予測対象ブロックは自身の動き情報を直接符号化せずに、空間及び時間的に隣接するブロックの動き情報を符号化に使用する手法であり、結合予測モード（マージモード）と呼ぶ。

ここで、空間的に隣接するブロックとは予測対象ブロックと同じ画像に属する符号化済みブロックの中で、予測対象ブロックに隣接するブロックを指す。ここで、時間的に隣接するブロックとは予測対象ブロックとは別の符号化済みの画像に属するブロックの中で、予測対象ブロックと同一空間位置及びその周辺にあるブロックを指す。

結合予測モードの場合には、複数の隣接ブロック候補より選択的に結合する動き情報が定義でき、動き情報は使用する隣接ブロックを指定する情報（インデックス）を符号化することで、指定情報をもとに取得した動き情報をそのまま動き補償予測に用いる。更に、結合予測モードにおいては、予測差分情報を符号化伝送せずに、結合予測モードで予測された予測信号を復号ピクチャとするＳｋｉｐモードを定義し、結合した動き情報のみの少ない情報で復号画像が再生できる構成を有する。Ｓｋｉｐモードにおいて伝送する動き情報は、結合予測モードと同様に隣接ブロックを定義する指定情報となる。

第二の予測モードは、動き情報の構成要素を個別にすべて符号化し、予測ブロックに対して予測誤差の少ない動き情報を伝送する手法であり、動き検出予測モードと呼ぶ。動き検出予測モードは、従来の動き補償予測の動き情報の符号化と同様に、双予測であるか単予測であるかを示す予測種別、参照画像を特定するための情報（参照画像インデックス）と、動きベクトルを特定するための情報が別々に符号化される。

動き検出予測モードには、単予測と双予測のどちらを使用するか予測モードで指示し、単予測単予測の場合には１つの参照画像に対する参照画像を特定する情報と、動きベクトルの予測ベクトルとの差分ベクトルを符号化する。双予測の場合には２つの参照画像に対する参照画像を特定する情報と、動きベクトルがそれぞれ個別に符号化される。動きベクトルに対する予測ベクトルは、ＡＶＣと同様に隣接ブロックの動き情報から生成されるが、結合予測モードと同様に、複数の隣接ブロック候補より予測ベクトルに用いる動きベクトルを選択でき、動きベクトルは予測ベクトルに使用する隣接ブロックを指定する情報（インデックス）と差分ベクトルの２つを符号化することで伝送される。

［実施の形態における動画像符号化装置における予測モード判定部の詳細動作説明］
図９は、実施の形態の動画像符号化装置における予測モード判定部１０９の詳細な構成を示す図である。予測モード判定部１０９は、最適な動き補償予測モードを決定する機能を有する。

予測モード判定部１０９は、動き補償予測生成部９００、予測誤差算出部９０１、予測ベクトル算出部９０２、差分ベクトル算出部９０３、動き情報符号量算出部９０４、予測モード評価部９０５、結合動き情報算出部９０６、及び結合動き補償予測生成部９０７を含む。

図１における予測モード判定部１０９に対して、動きベクトル検出部１０７より入力された動きベクトル値が、動き補償予測生成部９００に供給され、動き情報メモリ１１１より入力された動き情報が、予測ベクトル算出部９０２、及び結合動き情報算出部９０６に供給される。

また、動き補償予測部１０８に対して、動き補償予測生成部９００、及び結合動き補償予測生成部９０７、から、動き補償予測に用いる予測種別と参照画像指定情報と動きベクトルが出力され、動き補償予測部１０８より、生成された動き補償予測画像が予測誤差算出部９０１に供給される。予測誤差算出部９０１には更に、入力端子１００より符号化対象となる予測ブロックの画像信号が供給される。

また、予測モード評価部９０５から、動き情報符号化部１１０に対して符号化する動き情報と確定した予測モード情報を供給し、動き情報メモリ１１１に動き情報を供給し、動き補償予測信号を減算部１０１及び加算部１０５に供給する。

動き補償予測生成部９００は、予測に使用可能な各参照画像に対して算出された動きベクトル値を受信し、双予測制限情報に従って動き補償予測を行い、参照画像指定情報を予測ベクトル算出部９０２に供給し、参照画像指定情報と動きベクトルを出力する。

予測誤差算出部９０１は、入力された動き補償予測画像と処理対象の予測ブロック画像より、予測誤差評価値を算出する。誤差評価値を算出するための演算としては、動きベクトル検出における誤差評価値と同様に、画素毎の差分絶対値の総和ＳＡＤや、画素毎の二乗誤差値の総和ＳＳＥ等を使用できる。更に、予測残差の符号化を行う際に施される、直交変換・量子化を行うことによって復号画像に生じる歪成分の量を加味することで、より正確な誤差評価値が算出可能である。この場合には、予測誤差算出部９０１内に、図１における減算部１０１、直交変換・量子化部１０２、逆量子化・逆変換部１０４、加算部１０５の機能を有することで実現できる。

予測誤差算出部９０１は、各予測モードにおいて算出された予測誤差評価値と、動き補償予測信号を予測モード評価部９０５に供給する。

予測ベクトル算出部９０２は、動き補償予測生成部９００より参照画像指定情報を供給され、動き情報メモリ１１１から供給される隣接ブロックの動き情報における候補ブロック群より、指定された参照画像に対する動きベクトル値を入力し、複数の予測ベクトルを予測ベクトル候補リストと共に生成し、差分ベクトル算出部９０３に、参照画像指定情報と共に供給する。予測ベクトル算出部９０２は、予測ベクトルの候補を作成し、予測ベクトル候補として登録する。

差分ベクトル算出部９０３は、予測ベクトル算出部９０２より供給された、予測ベクトル候補のそれぞれに対して、動き補償予測生成部９００から供給される動きベクトル値との差分を計算し、差分ベクトル値を算出する。算出された差分ベクトル値と予測ベクトル候補に対する指定情報である予測ベクトルインデックスを符号化した際、符号量が最も少ない。差分ベクトル算出部９０３は、最も少ない情報量である予測ベクトルに対する予測ベクトルインデックスと差分ベクトル値を参照画像指定情報と共に、動き情報符号量算出部９０４に供給する。

動き情報符号量算出部９０４は、差分ベクトル算出部９０３より供給される、差分ベクトル値、参照画像指定情報、予測ベクトルインデックス、および予測モードより、各予測モードにおける動き情報に要する符号量を算出する。また、動き情報符号量算出部９０４は、結合動き補償予測生成部９０７より、結合予測モードにおいて伝送する必要がある、結合動き情報インデックスと予測モードを示すための情報を受け取り、結合予測モードにおける動き情報に要する符号量を算出する。

動き情報符号量算出部９０４は、各予測モードにおいて算出された動き情報及び動き情報に要する符号量を予測モード評価部９０５に供給する。

予測モード評価部９０５は、予測誤差算出部９０１より供給された各予測モードの予測誤差評価値と、動き情報符号量算出部９０４から供給された各予測モードの動き情報符号量を用いて、各予測モードの総合動き補償予測誤差評価値を算出し、最も少ない評価値である予測モードを選択し、選択した予測モードと選択した予測モードに対する動き情報を、動き情報符号化部１１０、動き情報メモリ１１１に出力する。また、予測モード評価部９０５は同様に、予測誤差算出部９０１より供給された動き補償予測信号に対して、選択した予測モードにおける予測信号を選択して減算部１０１及び加算部１０５に出力する。

結合動き情報算出部９０６は、動き情報メモリ１１１より供給される隣接ブロックの動き情報における候補ブロック群を用いて、単予測であるか双予測であるかを示す予測種別、参照画像指定情報、動きベクトル値で構成される動き情報として、複数の動き情報を結合動き情報候補リストと共に生成し、結合動き補償予測生成部９０７に供給する。

図１０は、結合動き情報算出部９０６の構成を示す図である。結合動き情報算出部９０６は、空間結合動き情報候補リスト生成部１０００、結合動き情報候補リスト削除部１００１、時間結合動き情報候補リスト生成部１００２、第１結合動き情報候補リスト追加部１００３および第２結合動き情報候補リスト追加部１００４を含む。結合動き情報算出部９０６は、空間的に隣接する候補ブロック群より所定の順番で動き情報の候補を作成し、その中から、同一の動き情報を持つ候補を削除したのち、時間的に隣接する候補ブロック群より作成した動き情報の候補を追加することで、有効な動き情報のみを結合動き情報候補として登録する。この時間結合動き情報候補リスト生成部を結合動き情報候補リスト削除部より後段に配置した点が、本実施の形態の特徴的な構成であり、時間結合動き情報候補を同一の動き情報を削除する処理の対象からはずすことにより、符号化効率を落とすことなく演算量を削減することが可能である。結合動き情報算出部９０６の詳細動作に関しては、後述する。

図９に戻り、結合動き補償予測生成部９０７は、結合動き情報算出部９０６より供給された結合動き情報候補リストより、登録された結合動き情報候補のそれぞれに対して、動き情報より、予測種別に応じて１つの参照画像（単予測）もしくは２つの参照画像（双予測）の参照画像指定情報と動きベクトル値を動き補償予測部１０８に指定して、動き補償予測画像を生成すると共に、それぞれの結合動き情報インデックスを動き情報符号量算出部９０４に供給する。

本実施の形態では、結合動き情報算出部９０６から供給される参照画像指定情報と異なる参照画像指定情報で動き補償予測を行う場合がある。つまり、動き補償予測部１０８では、予測種別、参照画像指定情報、動きベクトル値、双予測制限情報に基づいて、予測種別を修正し、動き補償予測を行う。供給される予測種別と異なる予測種別で動き補償予測の詳細については後述する。

図９の構成では、それぞれの結合動き情報インデックスにおける予測モード評価は、予測モード評価部９０５で施されるが、予測誤差評価値及び動き情報符号量を予測誤差算出部９０１及び動き情報符号量算出部９０４より受け取り、結合動き補償予測生成部９０７内で、最適な結合動き補償予測の結合動きインデックスを確定させた後に、他の予測モードを含めた最適予測モードの評価を行う構成を取ることも可能である。

図１１は、図５のステップＳ５０２の動き補償予測モード／予測信号生成処理の詳細動作を説明するためのフローチャートである。この動作は、図９の予測モード判定部１０９における詳細動作を示している。

最初に、結合動き情報候補リスト生成を行い（Ｓ１１００）、結合予測モード評価値を生成する（Ｓ１１０１）。続いて、予測モード評価値を生成し（Ｓ１１０２）、生成した評価値を比較することで最適な予測モードを選択する（Ｓ１１０３）。ただし、ステップＳ１１０１及びＳ１１０２の評価値生成の順序はこれに限らない。

選択された予測モードに従い予測信号を出力し（Ｓ１１０４）、選択された予測モードに従い動き情報を出力する（Ｓ１１０５）ことで、予測ブロック単位の動き補償予測モード／予測信号生成処理が終了する。ステップＳ１１００、Ｓ１１０１、及びＳ１１０２の詳細動作に関しては後述する。

図１２は、図１１のステップＳ１１００の結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。この動作は、図９の結合動き情報算出部９０６における構成の詳細動作を示している。

図１０の空間結合動き情報候補リスト生成部１０００は、動き情報メモリ１１１より供給される空間候補ブロック群から領域外である候補ブロックや、イントラモードである候補ブロックを除いた候補ブロックから空間結合動き情報候補リストを生成する（Ｓ１２００）。空間結合動き情報候補リスト生成の詳細な動作は後述する。

続いて、結合動き情報候補リスト削除部１００１において、生成された空間結合動き情報候補リストより、同一の動き情報を持つ結合動き情報候補を削除して動き情報候補リストを更新する（Ｓ１２０１）。結合動き情報候補削除の詳細な動作は後述する。

時間結合動き情報候補リスト生成部１００２は、続いて動き情報メモリ１１１より供給される時間候補ブロック群から領域外である候補ブロックや、イントラモードである候補ブロックを除いた候補ブロックから時間結合動き情報候補リストを生成し（Ｓ１２０２）、時間結合動き情報候補リストと結合して結合動き情報候補リストとする。時間結合動き情報候補リスト生成の詳細な動作は後述する。

次に、第１結合動き情報候補リスト追加部１００３は、時間結合動き情報候補リスト生成部１００２で生成された結合動き情報候補リストに登録された結合動き情報候補から０個から２個の第１結合動き情報候補を生成して結合動き情報候補リストに追加し（Ｓ１２０３）、当該結合動き情報候補リストを第２結合動き情報候補リスト追加部１００４に供給する。第１結合動き情報候補リスト追加の詳細な動作は後述する。

次に、第２結合動き情報候補リスト追加部１００４は、第１結合動き情報候補リスト追加部１００３より供給される結合動き情報候補リストに依存しない０個から４個の第２結合動き情報候補を生成して第１結合動き情報候補リスト追加部１００３より供給される結合動き情報候補リストに追加し（Ｓ１２０４）、処理を終了する。第２結合動き情報候補リスト追加の詳細な動作は後述する。

動き情報メモリ１１１より、結合動き情報算出部９０６に供給される動き情報の候補ブロック群には、空間候補ブロック群と時間候補ブロック群が含まれる。まず、空間結合動き情報候補リスト生成について説明する。

図１３は、空間結合動き情報候補リスト生成に用いる空間候補ブロック群を示す図である。空間候補ブロック群は、符号化対象画像の予測対象ブロックに隣接している同一画像のブロックを示す。ブロック群は、その管理が最小予測ブロックサイズ単位で行われ、候補ブロックの位置は、最小予測ブロックサイズの単位で管理されるが、隣接ブロックの予測ブロックサイズが最小予測ブロックサイズよりも大きな場合には、予測ブロックサイズ内の全ての候補ブロックに同一の動き情報が格納される。実施の形態においては、隣接するブロック群の内、図１３に示すようなブロックＡ０、ブロックＡ１、ブロックＢ０、ブロックＢ１、ブロックＢ２の５ブロックを空間候補ブロック群とする。

図１４は、空間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。空間候補ブロック群に含まれる５つの候補ブロックのうち、ブロックＡ０、ブロックＡ１、ブロックＢ０、ブロックＢ１、ブロックＢ２について、ブロックＡ１、ブロックＢ１、ブロックＢ０、ブロックＡ０の順序で以下の処理を繰り返し行う（Ｓ１４００〜Ｓ１４０３）。

最初に候補ブロックの有効性を検査する（Ｓ１４０１）。候補ブロックが領域外でなくイントラモードでない場合、候補ブロックは有効となる。候補ブロックが有効であれば（Ｓ１４０１：ＹＥＳ）、候補ブロックの動き情報を空間結合動き情報候補リストに追加する（Ｓ１４０２）。

ステップＳ１４００からＳ１４０３までの繰り返し処理に続いて、空間結合動き情報候補リストに追加された候補数が４未満だった場合（Ｓ１４０４：ＹＥＳ）、候補ブロックＢ２の有効性を検査する（Ｓ１４０５）。ブロックＢ２が領域外でなくイントラモードでない場合（Ｓ１４０５：ＹＥＳ）、ブロックＢ２の動き情報を空間結合動き情報候補リストに追加する（Ｓ１４０６）。

ここでは、空間結合動き情報候補リストには４以下の候補ブロックの動き情報が含まれるとしたが、空間候補ブロック群は、処理対象の予測ブロックに隣接する少なくとも１以上の処理済みのブロックであり、候補ブロックの有効性によって空間結合動き情報候補リストの数が変動すればよく、これに限定されない。

図１５は、結合動き情報候補削除の詳細動作を説明するためのフローチャートである。空間結合動き情報候補リスト作成処理により、生成される結合動き情報候補の最大数をＭａｘＳｐａｔｉａｌＣａｎｄとすると、ｉ＝ＭａｘＳｐａｔｉａｌＣａｎｄ−１からｉ＞０までの結合動き情報候補（候補（ｉ））に対して以下の処理を繰り返し行う（Ｓ１５００〜Ｓ１５０６）。

候補（ｉ）が存在していれば（Ｓ１５０１のＹＥＳ）、ｉｉ＝ｉ−１からｉｉ＞＝０までの結合動き情報候補（候補（ｉｉ））に対して以下の処理を繰り返し行い（Ｓ１５０２〜Ｓ１５０５）、候補（ｉ）が存在しない場合（Ｓ１５０１のＮＯ）はステップＳ１５０２からＳ１５０５までの候補（ｉｉ）についての繰り返し処理をスキップする。

まず、候補（ｉ）の動き情報（動き情報（ｉ））と候補（ｉｉ）の動き情報（動き情報（ｉｉ））が同一であるか検査し（Ｓ１５０３）、同じである場合（Ｓ１５０３のＹＥＳ）、候補（ｉ）を結合動き情報候補リストから削除し（Ｓ１５０４）、候補（ｉｉ）についての繰り返し処理を終了する。

動き情報（ｉ）と動き情報（ｉｉ）が同一でない場合（Ｓ１５０３のＮＯ）、ｉｉから１を減算し、候補（ｉｉ）についての処理を繰り返す（Ｓ１５０２〜Ｓ１５０５）。

ステップＳ１５００からＳ１５０５までの繰り返し処理に続いて、ｉから１を減算し、候補（ｉ）についての処理を繰り返す（Ｓ１５００〜Ｓ１５０６）。

図１６に結合動き情報候補が４つの場合のリスト中の候補の比較関係を示す。すなわち時間結合動き情報候補を含まない４つの空間結合動き情報候補について総当たりで比較して同一性を判定し、重複する候補を削除する。

ここで、結合予測モードは時間方向や空間方向の動きの連続性を用いて、予測対象ブロックは自身の動き情報を直接符号化せずに、空間及び時間的に隣接するブロックの動き情報を符号化に使用する手法であるが、空間結合動き情報候補が空間方向の連続性を基づいているのに対し、時間結合動き情報候補は時間方向の連続性に基づいて後述する方法で生成されており、これらの性質は異なるものである。よって時間結合動き情報候補と空間結合動き情報候補に同一の動き情報が含まれることは稀であり、同一の動き情報を削除するための結合動き情報候補削除処理の対象から時間結合動き情報候補を除いても、最終的に得られる結合動き情報候補リストに同一の動き情報が含まれることは稀である。

また、後述するように時間結合動き情報候補ブロックは最小予測ブロックよりも大きなサイズである最小時間予測ブロック単位で管理されるため、時間的に隣接する予測ブロックの大きさが最小時間予測ブロックよりも小さな場合には、本来の位置とはずれた位置の動き情報が用いられることとなり、その結果、動き情報に誤差を含む場合が多い。そのため、空間結合動き情報候補の動き情報とは異なる動き情報となることが多く、同一の動き情報を削除するための結合動き情報候補削除処理の対象から除いても影響が少ない。

図１７は、空間結合動き情報候補の最大数が４である場合の結合動き情報候補削除における候補の比較内容の一例である。図１７（ａ）は空間結合動き情報候補のみを結合動き情報候補削除処理の対象とした場合の比較内容であり、図１７（ｂ）は空間結合動き情報候補と時間結合動き情報を処理の対象とした場合の比較内容である。空間結合動き情報候補のみを結合動き情報候補削除処理の対象とすることにより、動き情報を比較の回数が１０回から６回に減少している。

このように、時間結合動き情報候補を結合動き情報候補削除処理の対象にしないことにより、同一の動き情報を適切に削除しながら、動き情報の比較の回数を１０回から６回に削減することが可能である。

また、すべての空間予測候補の同一を比較せず、空間的な位置が近い候補間通しの比較のみ行うことで 結合動き情報候補削除処理の回数を削減することも可能である。具体的には、図１３のＢ１位置から算出された結合動き情報はＡ１位置の結合動き情報と比較し、Ｂ０位置から算出された結合動き情報はＢ１位置の結合動き情報のみと比較し、Ａ０位置から算出された結合動き情報はＡ１のみと比較し、Ｂ２位置から算出された結合動き情報はＡ１、Ｂ１のみと比較することで、動き情報の比較回数を最大５回に制限できる。

上記のように特定の空間予測候補のみ結合動き情報の同一比較を行う場合、空間結合動き情報候補リスト生成中に（Ｓ１２００）、結合動き情報候補削減処理（Ｓ１２０１）を行った方が、同一結合動き情報が残存してしまうことによる符号化効率低下の影響が少ない。つまり、空間結合動き情報候補リスト生成時に結合動き情報の同一比較を行うことで、不要な結合動き情報を追加せずにすむため、図１４のステップＳ１４０４の最大空間予測候補数を４つに制限する場合に、Ｂ２位置から算出される結合動き情報が追加できる可能性が高まるためである。

続いて、時間結合動き情報候補リスト生成について説明する。図１８は、時間結合動き情報候補リスト生成に用いる時間方向周辺予測ブロックの定義を説明する図である。時間候補ブロック群は、予測対象ブロックが属する画像とは別の復号済みの画像ＣｏｌＰｉｃに属するブロックの中で、予測対象ブロックと同位置及びその周辺にあるブロックを示す。ブロック群は、その管理が最小時間予測ブロックサイズ単位で行われ、候補ブロックの位置は、最小時間予測ブロックサイズの単位で管理される。本発明の実施の形態においては、最小時間予測ブロックサイズは最小予測ブロックサイズを垂直方向、水平方向にそれぞれ２倍した大きさとする。時間的に隣接するブロックの予測ブロックのサイズが最小時間予測ブロックサイズよりも大きな場合には、予測ブロックサイズ内のすべての候補ブロックに同一の動きの情報が格納される。一方、予測ブロックのサイズが最小時間予測ブロックサイズよりも小さな場合には、時間方向周辺予測ブロックの左上に位置する予測ブロックの動きの情報を時間方向周辺予測ブロックの情報とする。図１８（ｂ）に予測ブロックサイズが最小時間予測ブロックサイズより小さい場合の時間方向周辺予測ブロックの動き情報を示す。

図１８（ａ）におけるＡ１〜Ａ４、Ｂ１〜Ｂ４、Ｃ、Ｄ、Ｅ、Ｆ１〜Ｆ４、Ｇ１〜Ｇ４、Ｈ、Ｉ１〜Ｉ１６の位置のブロックが、時間的に隣接するブロック群となる。実施の形態においては、これら時間的に隣接するブロック群の内、時間候補ブロック群をブロックＨとブロックＩ６の２ブロックとする。

図１９は、時間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。時間候補ブロック群に含まれる２つの候補ブロックであるブロックＨとブロックＩ１１について（Ｓ１８００、Ｓ１８０５）、ブロックＨ、ブロックＩ１１の順序で候補ブロックの有効性を検査する（Ｓ１８０１）。候補ブロックが有効である場合（Ｓ１８０１：ＹＥＳ）、ステップＳ１８０２〜ステップＳ１８０４の処理が行われ、生成された動き情報が時間結合動き情報候補リストに登録され、処理が終了する。候補ブロックが画面領域外の位置を示す場合や、候補ブロックがイントラ予測ブロックである場合（Ｓ１８０１：ＮＯ）、候補ブロックが有効でなく、次の候補ブロックの有効／無効判定が行われる。
候補ブロックが有効である場合（Ｓ１８０１：ＹＥＳ）、候補ブロックの動き情報をもとに結合動き情報候補に登録する参照画像選択候補を確定する（Ｓ１８０２）。実施の形態ではＬ０予測の参照画像を、Ｌ０予測の参照画像のうち処理対象画像に最も近い距離にある参照画像とし、Ｌ１予測の参照画像を、Ｌ１予測の参照画像のうち処理対象画像に最も近い距離にある参照画像とする。

ここでの参照画像選択候補の確定手法は、Ｌ０予測の参照画像とＬ１予測の参照画像が決定できればよく、これに限定されない。符号化処理と復号処理で同一の手法で参照画像を確定することで、符号化時に意図した参照画像を確定できる。他の確定手法としては、例えばＬ０予測の参照画像及びＬ１予測の参照画像の参照画像インデックスが０である参照画像を選択する手法や、空間隣接ブロックが使用しているＬ０参照画像及びＬ１参照画像を選択する手法や、符号化ストリーム中で各予測種別の参照画像を指定する手法を用いることが可能である。

次に、候補ブロックの動き情報をもとに結合動き情報候補に登録する動きベクトル値を確定する（Ｓ１８０３）。実施の形態における、時間結合動き情報は、候補ブロックの動き情報で有効な予測種別である動きベクトル値をもとに、双予測の動き情報を算出する。候補ブロックの予測種別がＬ０予測もしくはＬ１予測の単予測の場合には、予測に用いられている予測種別（Ｌ０予測或いはＬ１予測）の動き情報を選択し、その参照画像指定情報と動きベクトル値を双予測動き情報生成の基準値とする。

候補ブロックの予測種別が双予測である場合には、Ｌ０予測或いはＬ１予測のどちらか一方の動き情報を基準値として選択する。基準値の選択方法は、例えばＣｏｌＰｉｃと同じ予測種別に存在する動き情報を選択する、候補ブロックのＬ０予測、Ｌ１予測のそれぞれの参照画像でＣｏｌＰｉｃとの画像間距離が近い方を選択する、符号化側で選択してシンタックスで明示的に伝送する等が挙げられる。

双予測動き情報生成の基準とする動きベクトル値が確定したら、結合動き情報候補に登録する動きベクトル値を算出する。

図２０は、時間結合動き情報に対する基準動きベクトル値ＣｏｌＭｖに対する、Ｌ０予測、Ｌ１予測に対して登録する動きベクトル値ｍｖＬ０ｔ、ｍｖＬ１ｔの算出手法を説明するための図である。

基準動きベクトル値ＣｏｌＭｖに対するＣｏｌＰｉｃと候補ブロックの基準とする動きベクトルの対象となる参照画像との画像間距離をＣｏｌＤｉｓｔとする。Ｌ０予測、Ｌ１予測の各参照画像と処理対象画像との画像間距離をＣｕｒｒＬ０Ｄｉｓｔ、ＣｕｒｒＬ１Ｄｉｓｔとする。ＣｏｌＭｖを、ＣｏｌＤｉｓｔとＣｕｒｒＬ０Ｄｉｓｔ、ＣｕｒｒＬ１Ｄｉｓｔの距離比率でスケーリングした動きベクトルを、それぞれに登録する動きベクトルとする。具体的には、登録する動きベクトル値ｍｖＬ０ｔ、ｍｖＬ１ｔは、下記式１、２で算出される。
ｍｖＬ０ｔ＝ｍｖＣｏｌ×ＣｕｒｒＬ０Ｄｉｓｔ／ＣｏｌＤｉｓｔ・・・（式１）
ｍｖＬ１ｔ＝ｍｖＣｏｌ×ＣｕｒｒＬ１Ｄｉｓｔ／ＣｏｌＤｉｓｔ・・・（式２）
となる。

図１９に戻り、このようにして生成された、双予測の参照画像選択情報（インデックス）と、動きベクトル値を結合動き情報候補に追加し（Ｓ１８０４）、時間結合動き情報候補リスト作成処理が終了する。

続いて、第１結合動き情報候補リスト追加部１００３の詳細な動作について説明する。図２１は、第１結合動き情報候補リスト追加部１００３の動作を説明するためのフローチャートである。最初に、時間結合動き情報候補リスト生成部１００２より供給される結合動き情報候補リストに登録された結合動き情報候補の数（ＮｕｍＣａｎｄＬｉｓｔ）と結合動き情報候補最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）から、第１追加結合動き情報候補を生成する最大数であるＭａｘＮｕｍＧｅｎＣａｎｄを式３より算出する（Ｓ２０００）。
MaxNumGenCand=MaxNumMergeCand-NumCandList; (NumCandList>１)
MaxNumGenCand=0; (NumCandList<=1) （式３）

次に、ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きいか検査する（Ｓ２００１）。ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きくなければ（Ｓ２００１のＮＯ）、処理を終了する。ＭａｘＮｕｍＧｅｎＣａｎｄが０より大きければ（Ｓ２００１のＹＥＳ）、以下の処理を行う。まず、組み合わせ検査回数であるｌｏｏｐＴｉｍｅｓを決定する。ｌｏｏｐＴｉｍｅｓはＮｕｍＣａｎｄＬｉｓｔ×ＮｕｍＣａｎｄＬｉｓｔに設定する。ただし、ｌｏｏｐＴｉｍｅｓが８を超える場合にはｌｏｏｐＴｉｍｅｓは８に制限する（Ｓ２００２）。ここで、ｌｏｏｐＴｉｍｅｓは０から７までの整数となる。ｌｏｏｐＴｉｍｅｓだけ以下の処理を繰り返し行う（Ｓ２００２からＳ２００８）。

結合動き情報候補Ｍと結合動き情報候補Ｎの組み合わせを決定する（Ｓ２００３）。ここで、組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係について説明する。

図２２は組み合わせ検査回数と結合動き情報候補Ｍと結合動き情報候補Ｎの関係を説明するための図である。図２２のようにＭとＮは異なる値であって、まずＭを０に固定してＮの値を１〜４（最大値はNumCandList）に変化させ、その後、Ｎの値を０に固定してＭの値を１〜４（最大値はNumCandList）に変化させる。このような組み合わせ定義は、最も選択される確率の高い動き情報である結合動き情報候補リスト内で最初の動き情報を有効に活用しつつ、実際には組み合わせテーブルを持たずに計算で組み合わせパターンを算出できる効果がある。

結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効であるか検査する（Ｓ２００４）。結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効であれば（Ｓ２００４のＹＥＳ）、結合動き情報候補ＭのＬ０予測の動きベクトルと参照画像を結合動き情報候補ＮのＬ１予測の動きベクトルと参照画像と組み合わせて双結合動き情報候補を生成する（Ｓ２００５）。結合動き情報候補ＭのＬ０予測が有効で且つ結合動き情報候補ＮのＬ１予測が有効でなければ（Ｓ２００４のＮＯ）、次の組み合わせを処理する。ここで、第１追加結合動き情報候補として、Ｌ０予測の動き情報とＬ1予測が同一である場合があり、動き補償を双予測で行ってもＬ０予測もしくはＬ１予測の単予測と同じ結果が得られるため、Ｌ０予測の動き情報とＬ1予測の動き情報が同一である追加結合動き情報候補生成は、動き補償予測の演算量を増加させる要因となる。そのため、通常は、Ｌ０予測の動き情報とＬ1予測の動き情報が同一であるかどうか比較し、同一でない場合にのみ、第１追加結合動き情報候補とする。しかし、本実施の形態では後述する動き補償予測部で一括して双予測を単予測に変換する処理を行うため、第１追加結合動き情報候補リスト追加部でのＬ０予測の動き情報とＬ1予測の動き情報の同一性判断が不要となり演算量が削減できる。ステップＳ２００５に続いて、双結合動き情報候補を結合動き情報候補リストに追加する（Ｓ２００６）。ステップＳ２００６に続いて、生成した双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄであるか検査する（Ｓ２００７）。生成された双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄであれば（Ｓ２００７のＹＥＳ）、処理を終了する。生成された双結合動き情報の数がＭａｘＮｕｍＧｅｎＣａｎｄでなければ（Ｓ２００７のＮＯ）、次の組み合わせを処理する。

ここで、第１追加結合動き情報候補は、結合動き情報候補リストに登録された結合動き情報候補の動き情報と処理対象の動き情報候補の動きに微妙にずれがある場合に、結合動き情報候補リストに登録された結合動き情報候補の動き情報を修正して有効な結合動き情報候補を生成することで、符号化効率を高めることができる。

続いて、第２結合動き情報候補リスト追加部１００４の詳細な動作について説明する。図２３は、第２結合動き情報候補リスト追加部１００４の動作を説明するためのフローチャートである。最初に、第１結合動き情報候補リスト追加部１００３より供給される結合動き情報候補リストに登録された結合動き情報候補の数（ＮｕｍＣａｎｄＬｉｓｔ）と結合動き情報候補最大数（ＭａｘＮｕｍＭｅｒｇｅＣａｎｄ）から、第１追加結合動き情報候補を生成する最大数であるＭａｘＮｕｍＧｅｎＣａｎｄを式４より算出する（Ｓ２２００）。
MaxNumGenCand=MaxNumMergeCand-NumCandList; （式４）

次に、以下の処理をｉについてＭａｘＮｕｍＧｅｎＣａｎｄ回繰り返し行う（Ｓ２２０１からＳ２２０５）。ここで、ｉは０からＭａｘＮｕｍＧｅｎＣａｎｄ−１の整数となる。Ｌ０予測の動きベクトルが（０，０）、参照インデックスがｉであって、Ｌ１予測の動きベクトルが（０，０）、参照インデックスがｉである予測種別が双予測である第２追加結合動き情報候補を生成する（Ｓ２２０２）。第２追加結合動き情報候補を結合動き情報候補リストに追加する（Ｓ２２０３）。次のｉについて処理する（Ｓ２２０４）。

ここでは、第２追加結合動き情報候補を、Ｌ０予測の動きベクトルが（０，０）、参照インデックスがｉであって、Ｌ１予測の動きベクトルが（０，０）、参照インデックスがｉである予測種別が双予測である結合動き情報候補とした。これは、一般的な動画像において、Ｌ０予測の動きベクトルとＬ１予測の動きベクトルが（０，０）である結合動き情報候補の発生頻度が統計的に高いためである。結合動き情報候補リストに登録された結合動き情報候補の動き情報に依存せず、統計的に利用頻度が高い結合動き情報候補であれば、これに限定されない。例えば、Ｌ０予測やＬ１予測の動きベクトルはそれぞれ（０，０）以外のベクトル値でもよく、Ｌ０予測とＬ１予測の参照インデックスが異なるように設定してもよい。また、第２追加結合動き情報候補を符号化済みの画像や符号化済みの画像の一部の発生頻度の高い動き情報とし、符号化ストリームに符号化して伝送して設定することもできる。なお、ここではＢピクチャ（Ｂスライス）について説明したが、Ｐピクチャ（Ｐスライス）の場合は、Ｌ０予測の動きベクトルが（０，０）で、予測種別がＬ０予測である第２追加結合動き情報候補を生成する。

ここで、第２追加結合動き情報候補として、Ｌ０予測の参照画像とＬ1予測の参照画像が同一である場合、第１追加結合動き情報候補リスト生成部と同様に、動き補償を双予測で行ってもＬ０予測もしくはＬ１予測の単予測と同じ結果が得られため、Ｌ０予測の参照画像とＬ1予測の参照画像が同一である追加結合動き情報候補生成は、動き補償予測の演算量を増加させる要因となる。しかし、本実施の形態では後述する動き補償予測部で一括して双予測を単予測に変換する処理を行うため、第２追加結合動き情報候補リスト追加部でのＬ０予測の動き情報とＬ1予測の動き情報の同一性判断を行う必要はなく演算量が削減できる。

ここで、第２追加結合動き情報候補として結合動き情報候補リストに登録された結合動き情報候補に依存しない結合動き情報候補を設定することで、結合動き情報候補リストに登録された結合動き情報候補が０個である場合に、結合予測モードを利用することを可能とし、符号化効率を向上させることができる。また、結合動き情報候補リストに登録された結合動き情報候補の動き情報と処理対象の動き情報候補の動きが異なる場合に、新たな結合動き情報候補を生成して選択肢の幅を広げることで、符号化効率を向上させることができる。

図２４は、図１１のステップＳ１１０１における結合予測モード評価値生成処理の詳細動作を説明するためのフローチャートである。この動作は、図９の結合動き補償予測生成部９０７を用いた構成の詳細動作を示している。

最初に予測誤差評価値を最大値に設定し、予測誤差が最小となる結合動き情報インデックスを初期化（例えば、−１などのリスト外の値）する（Ｓ２３００）。結合動き情報候補リスト生成処理により、生成された結合動き情報候補リストの数をｎｕｍ＿ｏｆ＿ｉｎｄｅｘとすると、ｉ＝０からｎｕｍ＿ｏｆ＿ｉｎｄｅｘ−１までの結合動き情報候補について以下の処理を繰り返し行う（Ｓ２３０１からＳ２３１３）。

先ず、結合動き情報候補リストよりインデックスｉに格納された動き情報を取得する（Ｓ２３０２）。続いて動き情報符号量を算出する（Ｓ２３０３）。結合予測モードにおいては、結合動き情報インデックスのみが符号化されるので、結合動き情報インデックスのみが動き情報符号量となる。

結合動き情報インデックスの符号列としては、実施の形態では、Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を用いる。図２５は、結合動き情報候補数が５の場合のＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を示す図である。Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を用いて結合動き情報インデックスの値を符号化する場合には、結合動き情報インデックスが小さいほど、結合動き情報インデックスに割り当てられる符号ビットが小さくなる。例えば、結合動き情報候補数が５個である場合、結合動き情報インデックスが１であれば'１０'の２ビットで表現されるが、結合動き情報インデックスが３であれば'１１１０'の４ビットで表現される。なお、ここでは上記のように結合動き情報インデックスの符号化にＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を利用しているが、他の符号列生成手法を用いることも可能であり、これに限定されない。

続いて、動き情報の予測種別が単予測である場合（Ｓ２３０４：ＹＥＳ）、動き補償予測部１０８は、１つの参照画像に対する参照画像指定情報と動きベクトルを用いて動き補償単予測ブロックを生成する（Ｓ２３０７）。

動き情報が単予測でない場合、つまり動き情報が双予測である場合（Ｓ２３０４：ＮＯ）、動き補償予測部１０８は、Ｌ０予測の動き情報とＬ１予測の動き情報（参照画像情報及び動きベクトル）が同一であるかどうか判定し、Ｌ０予測の動き情報とＬ１予測の動き情報が同一である場合（Ｓ２３０５：ＹＥＳ）、Ｌ０予測の動き情報のみを用いてＬ０単予測動き補償予測を行う（Ｓ２３０８）。ただし、双予測の動き情報は維持しＬ１予測の動き情報は変更しない。

Ｌ０予測の動き情報とＬ１予測の動き情報が同一でない場合（Ｓ２３０５：ＮＯ）、予測ブロックサイズが双予測制限サイズ以下であるかどうかを判定し、予測ブロックサイズが双予測制限ブロックサイズ以下である場合（Ｓ２３０６：ＹＥＳ）、Ｌ０予測の動き情報とＬ１予測の動き情報が同一である場合（Ｓ２３０５：ＹＥＳ）と同様に、Ｌ０予測の動き情報のみを用いてＬ０単予測動き補償予測を行う（Ｓ２３０８）。ただし、双予測の動き情報は維持しＬ１予測の動き情報は変更しない。双予測制限は双予測を単予測に制限することで動き補償予測のメモリ帯域を抑制することが目的であるため、双予測制限によって制限される予測リスト（Ｌ０／Ｌ１）は、Ｌ１単予測にしてももちろん良い。

ここで、双予測制限ブロックサイズは、８ｘ８未満のブロックとする。ただし、この閾値は８ｘ８に限らず最大予測ブロックサイズから最小予測ブロックサイズの間であれば他の値に双予測制限ブロックサイズを設定しても良いし、もちろん８ｘ８ブロックを含む８ｘ８以下のブロックに設定しても良い。符号化側から復号側にビットストリーム内にシンタックスで明示的に伝送しても良い。また、双予測制限に関するシンタックスの符号量を削減するために、所定のブロックサイズ（例えば８ｘ８）で、双予測制限を行うかどうかのフラグとして符号化側から伝送して、復号側で所定のブロックサイズで双予測制限を行うかどうかを判断しても良い。

予測ブロックサイズが双予測制限ブロックサイズ以下でない場合（Ｓ２３０６：ＮＯ）、動き補償予測部１０８は２つの参照画像に対する参照画像指定情報と動きベクトルを用いて動き補償双予測ブロックを生成する（Ｓ２３０６）。

続いて、動き補償予測ブロックと予測対象ブロックの予測誤差と動き情報符号量より、予測誤差評価値を算出し（Ｓ２３１０）、予測誤差評価値が最小値である場合には評価値を更新すると共に、予測誤差最小インデックスを更新する（Ｓ２３１１）。

このように、結合動き予測候補生成中の各処理において、所定予測ブロックサイズ以下であるかの条件判断を追加するのではなく、動き情報決定後の動き補償予測時に一括して、所定予測ブロックサイズ以下の予測ブロックの予測種別が双予測の場合にＬ０方向の単予測として動き補償予測することで、最小限の条件分岐の追加で動き補償予測のメモリ帯域抑制が可能である。また、予測信号としては単予測と同一でありながら、動き情報は双予測となる結合動き情報候補を維持することができる。これにより、図３３に示すように、所定予測ブロックサイズ以下の予測ブロックであっても、Ｌ０予測、Ｌ１予測ともに動き情報が保存されるため、以降に符号化・復号される予測ブロックの隣接参照動き情報として双予測の情報がそのまま利用でき、以降に符号化・復号される予測ブロックの動き予測処理の予測効率を向上させることができる。また、ピクチャの空間解像度を増やすスケーラブル符号化において、ベースレイヤーからエンハンスメントレイヤーを予測する際の動き情報としても双予測の動き情報を利用可能である。さらに、符号化・復号化の規格として双予測制限を規定した場合、規格で定められた復号化では動き補償予測時にはＬ０予測情報のみ用いるが、復号化規格の外で双予測の動き情報を用いて動き補償予測を行うことで画質を改善することができる。特に、復号した画像を参照画像とならない画像の復号化では、双予測制限された予測ブロックにおいて双予測を行った場合にも、以降の復号化されるピクチャの動き補償予測に影響を与えず正常に復号化可能であるためより有効である。

図２４のフローチャートに戻り、全ての結合動き情報候補についての予測誤差評価値が比較された結果、選択された予測誤差最小インデックスを、結合予測モードで用いる結合動き情報インデックスとして、予測誤差最小値、動き補償予測ブロックと共に出力し（Ｓ２３１２）、結合予測モード評価値生成処理を終了する。

図２６は、図１１のステップＳ１１０２の予測モード評価値生成処理の詳細動作を説明するためのフローチャートである。

最初に、予測モードが単予測であるか否かを判別する（Ｓ２５００）。ただし、双予測制限ブロックサイズ以下である場合は、暗示的にＬ０単予測であるため、単予測であるかどうかの判断（Ｓ２５００）は不要である。

図３２に予測ブロックの動き情報に関するシンタックスを示す。図３２中のmerge_flagは結合予測モードであるかどうかを示し、merge_flag=0の場合が動き検出予測モードを示す。動き検出予測モードである場合で双予測を用いることが可能なＢスライスの場合、予測種別が単予測であるか双予測であるかを示すフラグinter_pred_flagを伝送する。ここで、予測ブロックのサイズが双予測制限ブロックサイズ以下である場合にも双予測を禁止せずinter_pred_flagを伝送する。つまり、予測種別を双予測として動き情報を伝送した場合、Ｌ０及びＬ１の動き情報を伝送するが、動き補償予測はＬ０単予測で行う。これは、予測ブロックのサイズが双予測制限ブロックサイズ以下であるかどうかに応じてinter_pred_flagを伝送するかどうかを切り替えると、エントロピー符号化・復号化に条件分岐が必要になるため、処理が複雑になるのを防止するためである。また、図３３に示すように、所定予測ブロックサイズ以下の予測ブロックであっても、Ｌ０予測、Ｌ１予測ともに動き情報が保存されるため、以降に符号化・復号される予測ブロックの隣接参照動き情報として双予測の情報がそのまま利用でき、以降に符号化・復号される予測ブロックの動き予測処理の予測効率を向上させることができる。また、ピクチャの空間解像度を増やすスケーラブル符号化において、ベースレイヤーからエンハンスメントレイヤーを予測する際の動き情報としても双予測の動き情報を利用可能である。さらに、符号化・復号化の規格として双予測制限を規定した場合、規格で定められた復号化では動き補償予測時にはＬ０予測情報のみ用いるが、復号化規格の外で双予測の動き情報を用いて動き補償予測を行うことで画質を改善することができる。特に、復号した画像を参照画像とならない画像の復号化では、双予測制限された予測ブロックにおいて双予測を行った場合にも、以降の復号化されるピクチャの動き補償予測に影響を与えず正常に復号化可能であるためより有効である。

単予測であれば、処理対象とする参照画像リスト（ＬＸ）を予測に用いている参照画像リストに設定する（Ｓ２５０１）。単予測でなければ、双予測であるから、この場合はＬＸをＬ０とする（Ｓ２５０２）。

図２６のフローチャートに戻り、次に、ＬＸ予測に対する参照画像指定情報（インデックス）と動きベクトル値を取得する（Ｓ２５０３）。続いて、予測ベクトル候補リストを生成し（Ｓ２５０４）、予測ベクトルの中から最適予測ベクトルを選択し、差分ベクトルを生成する（Ｓ２５０５）。最適予測ベクトルの選択手法は、予測ベクトルと伝送する動きベクトルの差分ベクトルを実際に符号化する際の符号量が最も少ないものを選択することが望ましいが、単純に差分ベクトルの水平・垂直成分の絶対値の総和が小さいものを選択するなどの手法で、簡易的に算出してもよい。

続いて、再度予測モードが単予測である否かを判別し（Ｓ２５０６）、予測モードが単予測であればステップＳ２５０９に進む。単予測でない、すなわち、双予測であれば、処理対象の参照リストＬＸがＬ１か否かを判定する（Ｓ２５０７）。参照リストＬＸがＬ１であれば、ステップＳ２５０９に進み、Ｌ１でない、すなわち、Ｌ０であればＬＸをＬ１として（Ｓ２５０８）、ステップＳ２５０３からステップＳ２５０６までの処理と同じ処理が行われる。

続いて、動き情報符号量を算出する（Ｓ２５０９）。単予測モードの場合に、符号化する動き情報としては、予測種別、１つの参照画像に対する、参照画像指定情報、差分ベクトル値、及び予測ベクトルインデックスの４要素、双予測モードの場合には、予測種別、Ｌ０とＬ１の２つの参照画像に対する、参照画像指定情報、差分ベクトル値、及び予測ベクトルインデックスの計７要素となり、各々符号化された符号量の総量が動き情報符号量として算出される。本実施の形態における予測ベクトルインデックスの符号列生成手法としては、結合動き情報インデックスの符号列と同様にＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を用いるものとする。

続いて、図１における動き補償予測部１０８は、参照画像に対する参照画像指定情報と動きベクトルを用いて動き補償予測ブロックを生成する（Ｓ２５１０）。ここで、動き検出予測モードにおいても、結合予測モードに対する動作と同様に、所定のブロックサイズ以下の双予測制限される予測ブロックについては、動き情報の予測種別が双予測であっても、Ｌ０単予測として動き補償予測する。

さらに、動き補償予測ブロックと予測対象ブロックの予測誤差と動き情報符号量より、予測誤差評価値を算出し（Ｓ２５１１）、予測誤差評価値と、予測種別、参照画像に対する動き情報である、参照画像指定情報と差分ベクトル値と予測ベクトルインデックスを動き補償予測ブロックと共に出力し（Ｓ２５１２）、予測モード評価値生成処理を終了する。

以上の処理が、実施の形態における動画像符号化装置における予測モード判定部１０９の詳細動作となる。

［実施の形態における動画像復号装置における動き情報復号部の詳細動作説明］
図２７は、図６に示した実施の形態の動画像復号装置における動き情報復号部６０６の詳細な構成を示す図である。動き情報復号部６０６は、動き情報ビットストリーム復号部２６００、予測ベクトル算出部２６０１、ベクトル加算部２６０２、動き補償予測復号部２６０３、結合動き情報算出部２６０４、及び結合動き補償予測復号部２６０５を含む。

図６における動き情報復号部６０６に対して、多重分離部６０１より入力された動き情報ビットストリームが、動き情報ビットストリーム復号部２６００に供給され、動き情報メモリ６０７より入力された動き情報が、予測ベクトル算出部２６０１、及び結合動き情報算出部２６０４に供給される。

また、動き補償予測部６０８に対して、動き補償予測復号部２６０３、及び結合動き補償予測復号部２６０５から、動き補償予測に用いる予測種別と参照画像指定情報と動きベクトルが出力され、復号された動き情報が、動き情報メモリ６０７に格納される。

動き情報ビットストリーム復号部２６００は、多重分離部６０１より入力された動き情報ビットストリームを符号化シンタックスに従って復号していくことで、伝送された予測モードと、予測モードに応じた動き情報を生成する。生成した動き情報の中で、結合動き情報インデックスは、結合動き補償予測復号部２６０５に供給され、参照画像指定情報が予測ベクトル算出部２６０１に供給され、予測ベクトルインデックスがベクトル加算部２６０２に供給され、差分ベクトル値がベクトル加算部２６０２に供給される。

予測ベクトル算出部２６０１は、動き情報メモリ６０７より供給された隣接ブロックの動き情報と、動き情報ビットストリーム復号部２６００より供給された参照画像指定情報から、動き補償予測の対象となる参照画像に対する予測ベクトル候補リストを生成し、参照画像指定情報と共にベクトル加算部２６０２に供給する。予測ベクトル算出部２６０１の動作に関しては、動画像符号化装置における図９の予測ベクトル算出部９０２と同一の動作が行われ、符号化時の予測ベクトル候補リストと同一の候補リストが生成される。

ベクトル加算部２６０２は、予測ベクトル算出部２６０１より供給された予測ベクトル候補リスト及び参照画像指定情報と、動き情報ビットストリーム復号部２６００から供給された予測ベクトルインデックス及び差分ベクトルより、予測ベクトルインデックスで示された位置に登録された予測ベクトル値と差分ベクトル値を加算することで、動き補償予測対象となる参照画像に対しての動きベクトル値が再生される。再生された動きベクトル値は、参照画像指定情報及び予測種別と共に、動き補償予測復号部２６０３に供給される。

動き補償予測復号部２６０３は、ベクトル加算部２６０２より参照画像に対する、再生された動きベクトル値と参照画像指定情報及び予測種別が供給され、動きベクトル値と参照画像指定情報と予測種別を動き補償予測部６０８に設定することで、動き補償予測信号を生成する。

結合動き情報算出部２６０４は、動き情報メモリ６０７から供給される隣接ブロックの動き情報より、結合動き情報候補リストを生成し、結合動き情報候補リストとリスト内の構成要素である結合動き情報候補の予測種別と参照画像指定情報と動きベクトル値を、結合動き補償予測復号部２６０５に供給する。

結合動き情報算出部２６０４の動作に関しては、動画像符号化装置における図９の結合動き情報算出部９０６と同一の動作が行われ、符号化時の結合動き情報候補リストと同一の候補リストが生成される。

結合動き補償予測復号部２６０５は、結合動き情報算出部２６０４より供給される結合動き情報候補リストとリスト内の構成要素である結合動き情報候補の参照画像指定情報と動きベクトル値と、動き情報ビットストリーム復号部２６００より供給される結合動き情報インデックスより、結合動き情報インデックスで示された結合動き情報候補リストにおける予測種別と参照画像指定情報と動きベクトル値を再生し、動き補償予測部６０８に設定することで、動き補償予測信号を生成する。

図２８は、図７のステップＳ７０１の動き情報復号処理の詳細動作を説明するためのフローチャートである。動き情報ビットストリーム復号部２６００と予測ベクトル算出部２６０１、及び結合動き情報算出部２６０４により、図７のステップＳ７０１の動き情報復号処理が行われる。

動き情報復号処理は、特定のシンタックス構造で符号化された符号化ビットストリームより動き情報を復号する処理である。最初に符号化ブロックの所定単位でＳｋｉｐフラグを復号する（Ｓ２７００）。以降は予測ブロック単位の処理となる。

ＳｋｉｐフラグがＳｋｉｐモードを示している場合（Ｓ２７０１：ＹＥＳ）、結合予測動き情報復号を行う（Ｓ２７０２）。ステップＳ２７０２の詳細処理については、後述する。

Ｓｋｉｐモードでない場合（Ｓ２７０１：ＮＯ）、マージフラグを復号する（Ｓ２７０３）。マージフラグが１を示している場合（Ｓ２７０４：ＹＥＳ）には、ステップＳ２７０２の結合予測動き情報復号に進む。

マージフラグが１でない場合（Ｓ２７０４：ＮＯ）、動き予測フラグを復号し（Ｓ２７０５）、予測動き情報復号を行う（Ｓ２７０６）。ステップＳ２７０６の詳細動作については、後述する。

図２９は、図２８のステップＳ２７０２の結合予測動き情報復号処理の詳細動作を説明するためのフローチャートである。

最初に予測モードに結合予測モードを設定し（Ｓ２８００）、結合動き情報候補リストを生成する（Ｓ２８０１）。ステップＳ２８０１の処理は、動画像符号化装置における図１１のステップＳ１１００の結合動き情報候補リスト生成処理と同一の処理である。

つぎに、結合動き情報インデックスを復号し（Ｓ２８０２）、続いて、結合動き情報候補リストより、結合動き情報インデックスで示す位置に格納されている動き情報を取得する（Ｓ２８０３）。取得する動き情報としては、単予測／双予測を示す予測種別、参照画像指定情報、動きベクトル値となる。

生成された動き情報は、結合予測モードの動き情報として格納され（Ｓ２８０４）、結合動き補償予測復号部２６０６に供給される。

図３０は、図２８のステップＳ２７０６の予測動き情報復号処理の詳細動作を説明するためのフローチャートである。

最初に、予測種別が単予測であるか否かを判別する（Ｓ２９００）。単予測であれば、処理対象とする参照画像リスト（ＬＸ）を予測に用いている参照画像リストに設定する（Ｓ２９０１）。単予測でなければ、双予測であるから、この場合はＬＸをＬ０とする（Ｓ２９０２）。

次に、参照画像指定情報を復号し（Ｓ２９０３）、差分ベクトル値を復号する（Ｓ２９０４）。次に、予測ベクトル候補リストを生成し（Ｓ２９０５）、予測ベクトル候補リストが１より大きな場合（Ｓ２９０６：ＹＥＳ）、予測ベクトルインデックスを復号し（Ｓ２９０７）、予測ベクトル候補リストが１の場合（Ｓ２９０６：ＮＯ）、予測ベクトルインデックスに０を設定する（Ｓ２９０８）。

ここで、ステップＳ２９０５では、動画像符号化装置における図２６のフローチャートのステップＳ２５０４と同様の処理が行われる。

次に、予測ベクトル候補リストより、予測ベクトルインデックスで示す位置に格納されている動きベクトル値を取得する（Ｓ２９０９）。復号した差分ベクトル値と動きベクトル値を加算することで動きベクトルを再生する（Ｓ２９１０）。

続いて、再度予測種別が単予測である否かを判別し（Ｓ２９１１）、予測種別が単予測であればステップＳ２９１４に進む。単予測でない、すなわち、双予測であれば、処理対象の参照リストＬＸがＬ１か否かを判定する（Ｓ２９１２）。参照リストＬＸがＬ１であれば、ステップＳ２９１４に進み、Ｌ１でない、すなわち、Ｌ０であればＬＸをＬ１として（Ｓ２９１３）、ステップＳ２９０３からステップＳ２９１１までの処理と同じ処理が行われる。

続いて、生成された動き情報として、予測種別及び、単予測の場合には、１つの参照画像に対する参照画像指定情報と動きベクトル値が、双予測の場合には、２つの参照画像に対する参照画像指定情報と動きベクトル値が、動き情報として格納され（Ｓ２９１４）、動き補償予測復号部２６０３に供給される。

図３１は、図６に示した実施の形態の動画像復号装置における動き補償予測部６０８の詳細動作を説明するフローチャートである。動き補償予測部６０８は図１の動画像符号化装置における動き補償予測部１０８と同じ機能を持ち、以下の動作を行う。

供給された動き情報の予測種別が単予測である場合（Ｓ３１０１：ＹＥＳ）、１つの参照画像に対する参照画像指定情報と動きベクトルを用いて動き補償単予測ブロックを生成する（Ｓ３１０４）。

供給された動き情報が単予測でない場合、つまり動き情報が双予測である場合（Ｓ３１０１：ＮＯ）、Ｌ０予測の動き情報とＬ１予測の動き情報（参照画像情報及び動きベクトル）が同一であるかどうか判定し、Ｌ０予測の動き情報とＬ１予測の動き情報が同一である場合（Ｓ３１０２：ＹＥＳ）、Ｌ０予測の動き情報のみを用いてＬ０単予測動き補償予測を行う（Ｓ３１０５）。ただし、双予測の動き情報は維持しＬ１予測の動き情報は変更しない。

供給されたＬ０予測の動き情報とＬ１予測の動き情報が同一でない場合（Ｓ３１０２：ＮＯ）、予測ブロックサイズが双予測制限サイズ以下であるかどうかを判定し、予測ブロックサイズが双予測制限ブロックサイズ以下である場合（Ｓ３１０３：ＹＥＳ）、Ｌ０予測の動き情報とＬ１予測の動き情報が同一である場合（３１０２：ＹＥＳ）と同様に、Ｌ０予測の動き情報のみを用いてＬ０単予測動き補償予測を行う（Ｓ３１０５）。ただし、双予測の動き情報は維持しＬ１予測の動き情報は変更しない。双予測制限は双予測を単予測に制限することで動き補償予測のメモリ帯域を抑制することが目的であるため、双予測制限によって制限される予測リスト（Ｌ０／Ｌ１）は、Ｌ１単予測にしてももちろん良い。

ここで、双予測制限ブロックサイズは、符号側での双予測制限と同様に８ｘ８未満のブロックとする。ただし、この閾値は８ｘ８に限らず最大予測ブロックサイズから最小予測ブロックサイズの間であれば他の値に設定しても良いし、もちろん８ｘ８ブロックを含む８ｘ８以下のブロックに設定しても良い。符号化側から伝送されるシンタックスに従って双予測制限ブロックサイズを設定しても良い。また、双予測制限に関するシンタックスの符号量を削減するために、所定のブロックサイズ（例えば８ｘ８）で、双予測制限を行うかどうかのフラグとして符号化側から伝送して、復号側で所定のブロックサイズで双予測制限を行うかどうかを判断しても良い。

供給された予測ブロックサイズが双予測制限ブロックサイズ以下でない場合（Ｓ３１０３：ＮＯ）、２つの参照画像に対する参照画像指定情報と動きベクトルを用いて動き補償双予測ブロックを生成する（Ｓ３１０６）。

実施の形態における、動画像符号化装置及び動画像復号装置においては、動き補償予測のメモリ帯域を抑制するために、所定予測ブロックサイズ以下の予測ブロックの予測種別を制限する。具体的には、動き検出予測モードに対しては、所定予測ブロックサイズ以下においても、予測ブロックの予測種別を伝送することを許可し、結合予測モードに対しては、所定予測ブロックサイズ以下の予測ブロックの予測種別が双予測の場合であってもＬ０方向の単予測として動き補償予測する。つまり、動き情報決定の処理では双予測制限に関する条件分岐を行わない。動き検出予測モード及び結合動き予測候補生成中の各処理において、所定予測ブロックサイズ以下であるかの条件判断を追加するのではなく、動き情報決定後の動き補償予測時に一括して、所定予測ブロックサイズ以下の予測ブロックの予測種別が双予測の場合にＬ０方向の単予測として動き補償予測することで、最小限の条件分岐の追加で動き補償予測のメモリ帯域抑制が可能である。

また、予測信号としては単予測と同一でありながら、動き情報は双予測となる結合動き情報候補を維持することができる。これにより、図３３に示すように、所定予測ブロックサイズ以下の予測ブロックであっても、Ｌ０予測、Ｌ１予測ともに動き情報が保存されるため、以降に符号化・復号される予測ブロックの隣接参照動き情報として双予測の情報がそのまま利用でき、以降に符号化・復号される予測ブロックの動き予測処理の予測効率を向上させることができる。

また、本実施の形態では動き補償予測時に、予測種別が双予測の場合に単予測に変更することで、動き補償予測のメモリ帯域を抑制する例を示したが、変更する動き情報は予測種別だけなく、参照画像指定情報や動きベクトル情報の変更にも適応可能である。

動き補償予測のメモリ帯域を抑制するために参照画像指定情報を変更する場合、所定のブロックサイズ以下の予測ブロックの参照画像を同一にするために、動き情報の示す参照画像指定情報が０以外であっても、参照画像指定情報を０に変更して動き補償予測を行う。所定のブロックサイズ以下の予測ブロックの参照画像指定情報をすべて０に指定することで、所定のブロックサイズ以下では、変更した参照画像間の距離に応じて動きベクトルをスケーリングして、動きベクトルの信頼性を向上させても良い。

動き補償予測のメモリ帯域を抑制するために動きベクトル情報を変更する場合、所定のブロックサイズ以下の予測ブロックの動きベクトル値を所定の範囲内に変更して動き補償予測を行う。つまり、動きベクトル値のクリッピング処理を行い、所定のブロックサイズ以下の予測ブロックで動きベクトルが大きな値を持ち、メモリ帯域が増大するのを抑制する。例えば動きベクトルが（３４５，２７２）である場合、（２５６，２５６）にクリッピングする。ただし、クリッピングする値は２５６に限らない。

また、符号化側でのみ動き情報選択時に所定のブロックサイズ以下の予測ブロックを双予測として選択することを禁止する場合と比較して、本実施の形態の動き補償予測時に双予測制限を行うことでビットストリームのエラー耐性を強化できる。つまり、動き補償予測時に所定のブロックサイズ以下の予測ブロックの双予測制限機能を持たない構成では、双予測制限に伴うビットストリームの制約が必要となるが、動き補償予測時に双予測を制限する場合、双予測制限に伴うビットストリームの制限が必要なくなり、規定外のビットストリームに対応する動作の対応を復号側で個別に行う必要がなくなる。特に、結合予測モードにおいては、結合予測モードの候補がそれぞれ双予測であるかどうかに応じて制限するべきシンタックス要素が適応的に変化するため、符号化側でのみ予測種別を単予測に制限する場合には、復号側でビットストリームのエラーを判断するのが複雑である。一方、本発明の結合予測モードにおいては、結合予測モード候補の予測種別が双予測化どうかに応じて値が制限されるかどうかが変化するＳｋｉｐフラグ、マージフラグ、結合動き情報インデックスの各シンタックス要素のエラー判定を考慮する必要がなくなる。本実施の形態は、最も処理量の負荷が少なくエラー耐性が備わった双予測制限機能を持つ構成である。

以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。

動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。

動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。

また、以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１００ 入力端子、 １０１ 減算部、 １０２ 直交変換・量子化部、 １０３ 予測誤差符号化部、 １０４ 逆量子化・逆変換部、 １０５ 加算部、 １０６ 復号画像メモリ、 １０７ 動きベクトル検出部、 １０８ 動き補償予測部、 １０９ 予測モード判定部、 １１０ 動き情報符号化部、 １１１ 動き情報メモリ、 １１２ 多重化部、 １１３ 出力端子、 ６００ 入力端子、 ６０１ 多重分離部、 ６０２ 予測差分情報復号部、 ６０３ 逆量子化・逆変換部、 ６０４ 加算部、 ６０５ 復号画像メモリ、 ６０６ 動き情報復号部、 ６０７ 動き情報メモリ、 ６０８ 動き補償予測部、 ６０９ 出力端子、 ９００ 動き補償予測生成部、 ９０１ 予測誤差算出部、 ９０２ 予測ベクトル算出部、 ９０３ 差分ベクトル算出部、 ９０４ 動き情報符号量算出部、 ９０５ 予測モード評価部、 ９０６ 結合動き情報算出部、 ９０７ 結合動き補償予測生成部、 １０００ 空間結合動き情報候補リスト生成部、 １００１ 結合動き情報候補リスト削除部、 １００２ 時間結合動き情報候補リスト生成部、 １００３ 第１結合動き情報候補リスト追加部、 １００４ 第２結合動き情報候補リスト追加部、 ２６００ 動き情報ビットストリーム復号部、 ２６０１ 予測ベクトル算出部、 ２６０２ ベクトル加算部、 ２６０３ 動き補償予測復号部、 ２６０４ 結合動き情報算出部、 ２６０５ 結合動き補償予測復号部。

上記課題を解決するために、本発明のある態様の動画像符号化装置は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像を符号化する動画像符号化装置であって、符号化対象ブロックの動き情報を導出する動き情報導出部（１０９）と、前記符号化対象ブロックが所定サイズ以下の場合は、その所定サイズ以下の符号化対象ブロックについて、前記導出された動き情報を変更する動き情報変更部（１０８）と、前記符号化対象ブロックが前記所定サイズよりも大きい場合は、前記導出された動き情報を用いて、前記符号化対象ブロックが前記所定サイズ以下の場合は、前記変更された動き情報を用いて、動き補償予測により前記符号化対象ブロックの予測信号を生成する予測信号生成部（１０８）とを備える。
本発明の別の態様もまた、動画像符号化装置である。この装置は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像を符号化する動画像符号化装置であって、符号化対象ブロックに空間的又は時間的に隣接するブロックの有する動き情報から導出した動き情報候補を登録した動き情報候補リストを生成する動き情報候補リスト生成部（９０６）と、前記動き情報候補リストに登録された前記動き情報候補の中から決定された所定の動き情報を示すインデックスを符号化する動き情報符号化部（１１０）と、前記符号化対象ブロックが所定サイズ以下の場合は、その所定サイズ以下の符号化対象ブロックについて、前記決定された前記所定の動き情報を変更する動き情報変更部（１０８）と、前記符号化対象ブロックが前記所定サイズよりも大きい場合は、前記決定された前記所定の動き情報を用いて、前記符号化対象ブロックが前記所定サイズ以下の場合は、前記変更された前記所定の動き情報を用いて、動き補償予測により前記符号化対象ブロックの予測信号を生成する予測信号生成部（１０８）とを備える。

本発明のさらに別の態様は、動画像符号化方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像を符号化する動画像符号化方法であって、符号化対象ブロックの動き情報を導出する動き情報導出ステップと、前記符号化対象ブロックが所定サイズ以下の場合は、その所定サイズ以下の符号化対象ブロックについて、前記導出された動き情報を変更する動き情報変更ステップと、前記符号化対象ブロックが前記所定サイズよりも大きい場合は、前記導出された動き情報を用いて、前記符号化対象ブロックが前記所定サイズ以下の場合は、前記変更された動き情報を用いて、動き補償予測により前記符号化対象ブロックの予測信号を生成する予測信号生成ステップとを備える。
本発明のさらに別の態様もまた、動画像符号化方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像を符号化する動画像符号化方法であって、符号化対象ブロックに空間的又は時間的に隣接するブロックの有する動き情報から導出した動き情報候補を登録した動き情報候補リストを生成する動き情報候補リスト生成ステップと、前記動き情報候補リストに登録された前記動き情報候補の中から決定された所定の動き情報を示すインデックスを符号化する動き情報符号化ステップと、前記符号化対象ブロックが所定サイズ以下の場合は、その所定サイズ以下の符号化対象ブロックについて、前記決定された前記所定の動き情報を変更する動き情報変更ステップと、前記符号化対象ブロックが前記所定サイズよりも大きい場合は、前記決定された前記所定の動き情報を用いて、前記符号化対象ブロックが前記所定サイズ以下の場合は、前記変更された前記所定の動き情報を用いて、動き補償予測により前記符号化対象ブロックの予測信号を生成する予測信号生成ステップとを備える。

本発明のさらに別の態様は、送信装置である。この装置は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像を符号化する動画像符号化方法により符号化された符号列をパケット化して符号化ストリームを得るパケット処理部と、パケット化された前記符号化ストリームを送信する送信部とを備える。前記動画像符号化方法は、符号化対象ブロックの動き情報を導出する動き情報導出ステップと、前記符号化対象ブロックが所定サイズ以下の場合は、その所定サイズ以下の符号化対象ブロックについて、前記導出された動き情報を変更する動き情報変更ステップと、前記符号化対象ブロックが前記所定サイズよりも大きい場合は、前記導出された動き情報を用いて、前記符号化対象ブロックが前記所定サイズ以下の場合は、前記変更された動き情報を用いて、動き補償予測により前記符号化対象ブロックの予測信号を生成する。
本発明のさらに別の態様もまた、送信装置である。この装置は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像を符号化する動画像符号化方法により符号化された符号列をパケット化して符号化ストリームを得るパケット処理部と、パケット化された前記符号化ストリームを送信する送信部とを備える。前記動画像符号化方法は、符号化対象ブロックに空間的又は時間的に隣接するブロックの有する動き情報から導出した動き情報候補を登録した動き情報候補リストを生成する動き情報候補リスト生成ステップと、前記動き情報候補リストに登録された前記動き情報候補の中から決定された所定の動き情報を示すインデックスを符号化する動き情報符号化ステップと、前記符号化対象ブロックが所定サイズ以下の場合は、その所定サイズ以下の符号化対象ブロックについて、前記決定された前記所定の動き情報を変更する動き情報変更ステップと、前記符号化対象ブロックが前記所定サイズよりも大きい場合は、前記決定された前記所定の動き情報を用いて、前記符号化対象ブロックが前記所定サイズ以下の場合は、前記変更された前記所定の動き情報を用いて、動き補償予測により前記符号化対象ブロックの予測信号を生成する予測信号生成ステップとを備える。
本発明のさらに別の態様は、送信方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像を符号化する動画像符号化方法により符号化された符号列をパケット化して符号化ストリームを得るパケット処理ステップと、パケット化された前記符号化ストリームを送信する送信ステップとを備える。前記動画像符号化方法は、符号化対象ブロックの動き情報を導出する動き情報導出ステップと、前記符号化対象ブロックが所定サイズ以下の場合は、その所定サイズ以下の符号化対象ブロックについて、前記導出された動き情報を変更する動き情報変更ステップと、前記符号化対象ブロックが前記所定サイズよりも大きい場合は、前記導出された動き情報を用いて、前記符号化対象ブロックが前記所定サイズ以下の場合は、前記変更された動き情報を用いて、動き補償予測により前記符号化対象ブロックの予測信号を生成する予測信号生成ステップとを備える。
本発明のさらに別の態様もまた、送信方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像を符号化する動画像符号化方法により符号化された符号列をパケット化して符号化ストリームを得るパケット処理ステップと、パケット化された前記符号化ストリームを送信する送信ステップとを備える。前記動画像符号化方法は、符号化対象ブロックに空間的又は時間的に隣接するブロックの有する動き情報から導出した動き情報候補を登録した動き情報候補リストを生成する動き情報候補リスト生成ステップと、前記動き情報候補リストに登録された前記動き情報候補の中から決定された所定の動き情報を示すインデックスを符号化する動き情報符号化ステップと、前記符号化対象ブロックが所定サイズ以下の場合は、その所定サイズ以下の符号化対象ブロックについて、前記決定された前記所定の動き情報を変更する動き情報変更ステップと、前記符号化対象ブロックが前記所定サイズよりも大きい場合は、前記決定された前記所定の動き情報を用いて、前記符号化対象ブロックが前記所定サイズ以下の場合は、前記変更された前記所定の動き情報を用いて、動き補償予測により前記符号化対象ブロックの予測信号を生成する予測信号生成ステップとを備える。

Claims (5)

1. 動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像を符号化する動画像符号化装置であって、
   符号化対象予測ブロックの動き情報を導出する動き情報導出部と、
   前記動き情報を用いた動き補償予測により前記符号化対象予測ブロックの予測信号を生成する動き補償予測部とを備え、
   前記動き補償予測部は、所定サイズ以下及び所定サイズ未満のどちらか一方の条件を用いてその条件に該当する前記符号化対象予測ブロックに対して、前記動き情報を変更して動き補償予測を実行することを特徴とする動画像符号化装置。
2. 動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像を符号化する動画像符号化装置であって、
   符号化対象予測ブロックに空間的又は時間的に隣接するブロックの有する動き情報から導出した動き情報候補を登録した動き情報候補リストを生成する動き情報候補リスト生成部と、
   前記動き情報候補リストから選択された動き情報候補の動き情報を用いた動き補償予測により前記符号化対象予測ブロックの予測信号を生成する動き補償予測部と、
   前記選択された動き情報候補を示す情報を符号化する動き情報符号化部とを備え、
   前記動き補償予測部は、所定サイズ以下及び所定サイズ未満のどちらか一方の条件を用いてその条件に該当する前記符号化対象予測ブロックに対して、前記選択された動き情報候補の動き情報を変更して動き補償予測を実行することを特徴とする動画像符号化装置。
3. 前記動き補償予測部は、所定サイズ以下及び所定サイズ未満のどちらか一方の条件を用いてその条件に該当する前記符号化対象予測ブロックに対して、前記動き情報における動き補償予測の予測種別が双予測の場合に、単予測に変更することを特徴とする請求項２に記載の動画像符号化装置。
4. 動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像を符号化する動画像符号化方法であって、
   符号化対象予測ブロックに空間的又は時間的に隣接するブロックの有する動き情報から導出した動き情報候補を登録した動き情報候補リストを生成する動き情報候補リスト生成ステップと、
   前記動き情報候補リストから選択された動き情報候補の動き情報を用いた動き補償予測により前記符号化対象予測ブロックの予測信号を生成する動き補償予測ステップと、
   前記選択された動き情報候補を示す情報を符号化する動き情報符号化ステップとを備え、
   前記動き補償予測ステップは、所定サイズ以下及び所定サイズ未満のどちらか一方の条件を用いてその条件に該当する前記符号化対象予測ブロックに対して、前記選択された動き情報候補の動き情報を変更して動き補償予測を実行することを特徴とする動画像符号化方法。
5. 動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像を符号化する動画像符号化プログラムであって、
   符号化対象予測ブロックに空間的又は時間的に隣接するブロックの有する動き情報から導出した動き情報候補を登録した動き情報候補リストを生成する動き情報候補リスト生成ステップと、
   前記動き情報候補リストから選択された動き情報候補の動き情報を用いた動き補償予測により前記符号化対象予測ブロックの予測信号を生成する動き補償予測ステップと、
   前記選択された動き情報候補を示す情報を符号化する動き情報符号化ステップとをコンピュータに実行させ、
   前記動き補償予測ステップは、所定サイズ以下及び所定サイズ未満のどちらか一方の条件を用いてその条件に該当する前記符号化対象予測ブロックに対して、前記選択された動き情報候補の動き情報を変更して動き補償予測を実行することを特徴とする動画像符号化プログラム。

Images