JP2023005871A - 画像復号装置、画像復号方法及びプログラム - Google Patents

Abstract

【課題】より符号化性能を向上させること。
【解決手段】本発明に係る画像復号装置２００において、通常マージモードのマージリスト内のマージ候補は、空間マージ候補、時間マージ候補、非近接マージ候補、ヒストリーマージ候補、ペアワイズマージ候補又はゼロマージ候補によって生成されて格納されるように構成されており、復号部２１０は、画像符号化装置１００から伝送されるシンタックス（ｍｍｖｄ_ｃａｎｄ_ｉｄｘ）に基づいて、マージリスト内の０番目から４番目の中からマージ候補を特定するように構成されている。
【選択図】図４

Description

本発明は、画像復号装置、画像復号方法及びプログラムに関する。

非特許文献１では、マージ動きベクトル差分（ＭＭＶＤ：Ｍｅｒｇｅ ｗｉｔｈ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）が開示されている。ＭＭＶＤは、通常マージモードの動きベクトル（ＭＶ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）に対して限定的なパターンの動きベクトル差分（ＭＶＤ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）を伝送して、対象ＭＶに加算する。

ここで、非特許文献１では、通常マージモードのマージ候補最大数は、６個であり、そのうち、ＭＭＶＤが適用可能なマージ候補は、マージリスト内の０番目及び１番目の２つのマージ候補に制限されている。

非特許文献２では、通常マージモードのマージ候補として、非近接空間マージ候補（Ｎｏｎ-ａｄｊａｃｅｎｔ Ｓｐａｔｉａｌ Ｍｅｒｇｅ Ｃａｎｄｉｄａｔｅ）が開示されている。

ここで、非近接空間マージ候補は、非特許文献１で開示されている空間マージ候補及び時間マージ候補の後の位置で且つヒストリーマージ候補の前の位置で、マージリスト内に格納される。また、非特許文献２では、非特許文献１に対して、通常マージモードのマージ候補最大数が１０個に拡張されている。

非特許文献３では、テンプレートマッチングを用いたマージ候補の適応並び替え（ＡＲＭＣ：Ａｄａｐｔｉｖｅ Ｒｅｏｒｄｅｒｉｎｇ Ｍｅｒｇｅ Ｃａｎｄｉｄａｔｅ）が開示されている。

ここで、ＡＲＭＣは、対象ブロック及び参照ブロックのそれぞれに隣接する再構成画素（テンプレート）のＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）値を比較するテンプレートマッチングにより、マージリスト内のマージ候補の格納順序をＳＡＤ値が小さい順に並び替える。

ＩＴＵ-Ｔ Ｈ.２６６/ＶＶＣ ＪＶＥＴ-Ｕ０１００、Ｃｏｍｐｒｅｓｓｉｏｎ ｅｆｆｉｃｉｅｎｃｙ ｍｅｔｈｏｄｓ ｂｅｙｏｎｄ ＶＶＣ ＪＶＥＴ-Ｖ００９９、ＡＨＧ１２：Ａｄａｐｔｉｖｅ Ｒｅｏｒｄｅｒｉｎｇ ｏｆ Ｍｅｒｇｅ Ｃａｎｄｉｄａｔｅｓ ｗｉｔｈ Ｔｅｍｐｌａｔｅ Ｍａｔｃｈｉｎｇ

しかしながら、非特許文献１では、ＭＭＶＤが適用可能なマージ候補が、マージリスト内の０番目及び１番目のマージ候補に制限されているため、符号化性能の改善余地がある。 そこで、本発明は、上述の課題に鑑みてなされたものであり、より符号化性能を向上させることができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。

本発明の第１の特徴は、画像復号装置であって、画像符号化装置から伝送されるシンタックスに基づいて、ＭＭＶＤにおける方向、距離及びＭＶＤを加算する通常マージモードのマージリスト内のマージ候補を特定するように構成されている復号部と、前記復号部によって特定された前記マージ候補が示すＭＶに対して、前記ＭＶＤを加算して、前記ＭＶを洗練化させるように構成されているＭＭＶＤ部と、を備え、前記通常マージモードのマージリスト内のマージ候補は、空間マージ候補、時間マージ候補、非近接マージ候補、ヒストリーマージ候補、ペアワイズマージ候補又はゼロマージ候補によって生成されて格納されるように構成されており、前記復号部は、前記画像符号化装置から伝送されるシンタックスに基づいて、前記マージリスト内の０番目から４番目の中から前記マージ候補を特定するように構成されていることを要旨とする。

本発明の第２の特徴は、画像復号方法であって、画像符号化装置から伝送されるシンタックスに基づいて、ＭＭＶＤにおける方向、距離及びＭＶＤを加算する通常マージモードのマージリスト内のマージ候補を特定する工程Ａと、前記工程Ａにおいて特定された前記マージ候補が示すＭＶに対して、前記ＭＶＤを加算して、前記ＭＶを洗練化させる工程Ｂと、を備え、前記通常マージモードのマージリスト内のマージ候補は、空間マージ候補、時間マージ候補、非近接マージ候補、ヒストリーマージ候補、ペアワイズマージ候補又はゼロマージ候補によって生成されて格納されるように構成されており、前記工程Ａにおいて、前記画像符号化装置から伝送されるシンタックスに基づいて、前記マージリスト内の０番目から４番目の中から前記マージ候補を特定することを要旨とする。

本発明の第３の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、画像符号化装置から伝送されるシンタックスに基づいて、ＭＭＶＤにおける方向、距離及びＭＶＤを加算する通常マージモードのマージリスト内のマージ候補を特定するように構成されている復号部と、前記復号部によって特定された前記マージ候補が示すＭＶに対して、前記ＭＶＤを加算して、前記ＭＶを洗練化させるように構成されているＭＭＶＤ部と、を備え、前記通常マージモードのマージリスト内のマージ候補は、空間マージ候補、時間マージ候補、非近接マージ候補、ヒストリーマージ候補、ペアワイズマージ候補又はゼロマージ候補によって生成されて格納されるように構成されており、前記復号部は、前記画像符号化装置から伝送されるシンタックスに基づいて、前記マージリスト内の０番目から４番目の中から前記マージ候補を特定するように構成されていることを要旨とする。

本発明によれば、より符号化性能を向上させることができる画像復号装置、画像復号方法及びプログラムを提供することができる。

図１は、一実施形態に係る画像処理システム１の構成の一例を示す図である。 図２は、一実施形態に係る画像符号化装置１００の機能ブロックの一例を示す図である。 図３は、一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。 図４は、非特許文献１で開示されている復号部２１０で受信する符号化データ（ビットストリーム）の構成の一例を示す図である。 図５は、非特許文献１で開示されているｍｍｖｄ_ｄｉｓｔａｎｃｅ_ｉｄｘの値に対応するＭＭＶＤにおけるＭＶＤの大きさ（距離）の対応テーブルの一例を示す図である。 図６は、非特許文献１で開示されているｍｍｖｄ_ｄｉｒｅｃｔｉｏｎ_ｉｄｘの値に対応するＭＭＶＤにおけるＭＶＤの方向の対応テーブルの一例を示す図である。 図７は、一実施形態に係るインター予測部２４１の機能ブロックの一例について示す図である。 図８は、一実施形態に係るインター予測部２４１の動きベクトル復号部２４１ＡのＴＭ部２４１Ａ４の動作の一例について説明するための図である。 図９は、一実施形態に係るＭＭＶＤ及びＴＭのハーモナイゼーションについて説明するための図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１実施形態＞
以下、図１～図７を参照して、本発明の第１実施形態に係る画像処理システム１０について説明する。図１は、本実施形態に係る画像処理システム１０について示す図である。

（画像処理システム１０）
図１に示すように、本実施形態に係る画像処理システム１０は、画像符号化装置１００及び画像復号装置２００を有する。

画像符号化装置１００は、入力画像信号（ピクチャ）を符号化することによって符号化データを生成するように構成されている。画像復号装置２００は、符号化データを復号することによって出力画像信号を生成するように構成されている。

ここで、かかる符号化データは、画像符号化装置１００から画像復号装置２００に対して伝送路を介して送信されてもよい。また、符号化データは、記憶媒体に格納された上で、画像符号化装置１００から画像復号装置２００に提供されてもよい。

（画像符号化装置１００）
以下、図２を参照して、本実施形態に係る画像符号化装置１００について説明する。図２は、本実施形態に係る画像符号化装置１００の機能ブロックの一例について示す図である。

図２に示すように、画像符号化装置１００は、インター予測部１１１と、イントラ予測部１１２と、減算器１２１と、加算器１２２と、変換・量子化部１３１と、逆変換・逆量子化部１３２と、符号化部１４０と、インループフィルタ処理部１５０と、フレームバッファ１６０とを有する。

インター予測部１１１は、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。

具体的には、インター予測部１１１は、符号化対象のフレーム（対象フレーム）とフレームバッファ１６０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトルを決定するように構成されている。

また、インター予測部１１１は、参照ブロック及び動きベクトルに基づいて符号化対象ブロック（以下、対象ブロック）に含まれる予測信号を対象ブロック毎に生成するように構成されている。インター予測部１１１は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。ここで、参照フレームは、対象フレームとは異なるフレームである。

イントラ予測部１１２は、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。

具体的には、イントラ予測部１１２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を対象ブロック毎に生成するように構成されている。また、イントラ予測部１１２は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。

ここで、参照ブロックは、対象ブロックについて参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。

減算器１２１は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部１３１に出力するように構成されている。ここで、減算器１２１は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成するように構成されている。

加算器１２２は、逆変換・逆量子化部１３２から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、かかるフィルタ処理前復号信号をイントラ予測部１１２及びインループフィルタ処理部１５０に出力するように構成されている。

ここで、フィルタ処理前復号信号は、イントラ予測部１１２で用いる参照ブロックを構成する。

変換・量子化部１３１は、予測残差信号の変換処理を行うとともに、係数レベル値を取得するように構成されている。さらに、変換・量子化部１３１は、係数レベル値の量子化を行うように構成されていてもよい。

ここで、変換処理は、予測残差信号を周波数成分信号に変換する処理である。かかる変換処理としては、離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、以下、ＤＣＴと記す）に対応する基底パタン（変換行列）が用いられてもよく、離散サイン変換（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、以下、ＤＳＴと記す）に対応する基底パタン（変換行列）が用いられてもよい。

逆変換・逆量子化部１３２は、変換・量子化部１３１から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部１３２は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。

ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

符号化部１４０は、変換・量子化部１３１から出力された係数レベル値を符号化し、符号化データを出力するように構成されている。

ここで、例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。

また、符号化部１４０は、係数レベル値に加えて、復号処理で用いる制御データを符号化するように構成されている。

ここで、制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズ等のサイズデータを含んでもよい。

また、制御データは、後述するシーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ピクチャ・パラメータ・セット（ＰＰＳ：Ｐｉｃｕｔｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、ピクチャヘッダ（ＰＨ：Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ）、スライスヘッダ（ＳＨ：Ｓｌｉｃｅ Ｈｅａｄｅｒ）などのヘッダ情報を含んでもよい。

インループフィルタ処理部１５０は、加算器１２２から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ１６０に出力するように構成されている。

ここで、例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック又は変換ブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理や画像符号化装置１００から伝送されるフィルタ係数やフィルタ選択情報、画像の絵柄の局所的な性質等に基づいてフィルタを切り替える適応ループフィルタ処理である。

フレームバッファ１６０は、インター予測部１１１で用いる参照フレームを蓄積するように構成されている。

ここで、フィルタ処理後復号信号は、インター予測部１１１で用いる参照フレームを構成する。

（画像復号装置２００）
以下、図３を参照して、本実施形態に係る画像復号装置２００について説明する。図３は、本実施形態に係る画像復号装置２００の機能ブロックの一例について示す図である。

図３に示すように、画像復号装置２００は、復号部２１０と、逆変換・逆量子化部２２０と、加算器２３０と、インター予測部２４１と、イントラ予測部２４２と、インループフィルタ処理部２５０と、フレームバッファ２６０とを有する。

復号部２１０は、画像符号化装置１００によって生成される符号化データを復号し、係数レベル値を復号するように構成されている。

ここで、復号は、例えば、符号化部１４０で行われるエントロピー符号化とは逆の手順のエントロピー復号である。

また、復号部２１０は、符号化データの復号処理によって制御データを取得するように構成されていてもよい。なお、上述したように、制御データは、サイズデータやヘッダ情報等を含んでもよい。

逆変換・逆量子化部２２０は、復号部２１０から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部２２０は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。

ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

加算器２３０は、逆変換・逆量子化部２２０から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、フィルタ処理前復号信号をイントラ予測部２４２及びインループフィルタ処理部２５０に出力するように構成されている。

ここで、フィルタ処理前復号信号は、イントラ予測部２４２で用いる参照ブロックを構成する。

インター予測部２４１は、インター予測部１１１と同様に、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。

具体的には、インター予測部２４１は、符号化データから復号した動きベクトル及び参照フレームに含まれる参照信号に基づいて予測信号を生成するように構成されている。インター予測部２４１は、予測信号を加算器２３０に出力するように構成されている。

イントラ予測部２４２は、イントラ予測部１１２と同様に、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。

具体的には、イントラ予測部２４２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。イントラ予測部２４２は、予測信号を加算器２３０に出力するように構成されている。

インループフィルタ処理部２５０は、インループフィルタ処理部１５０と同様に、加算器２３０から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ２６０に出力するように構成されている。

ここで、例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック、変換ブロック或いはそれらを分割したサブブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理や、画像符号化装置１００から伝送されるフィルタ係数やフィルタ選択情報や画像の絵柄の局所的な性質等に基づいてフィルタを切り替える適応ループフィルタ処理である。

フレームバッファ２６０は、フレームバッファ１６０と同様に、インター予測部２４１で用いる参照フレームを蓄積するように構成されている。

ここで、フィルタ処理後復号信号は、インター予測部２４１で用いる参照フレームを構成する。

（復号部２１０）
以下、図４～図７を参照して、復号部２１０で復号される制御データについて説明する。

図４は、非特許文献１で開示されている復号部２１０で受信する符号化データ（ビットストリーム）の構成の一例である。

復号部２１０は、ｍｍｖｄ_ｍｅｒｇｅ_ｆｌａｇが１である場合で、且つ、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄが１よりも大きい場合に、ｍｍｖｄ_ｃａｎｄ_ｆｌａｇを復号するように構成されている。

ここで、ｍｍｖｄ_ｍｅｒｇｅ_ｆｌａｇは、対象ブロックに対するＭＭＶＤの適用の有無を特定するフラグであり、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄは、対象ブロックのマージリスト内の最大マージ候補数であり、ｍｍｖｄ_ｃａｎｄ_ｆｌａｇは、ＭＭＶＤが適用されるマージ候補番号を示すフラグである。

非特許文献１では、ＭＭＶＤが適用可能なマージ候補を、マージリスト内の０番及び１番のマージ候補に制限しているため、対象ブロックのマージリスト内の最大マージ候補数であるＭａｘＮｕｍＭｅｒｇｅＣａｎｄが１より大きい場合は、ｍｍｖｄ_ｃａｎｄ_ｆｌａｇを復号し、その値を特定する。

また、非特許文献１では、それ以外の場合（すなわち、ＭａｘＮｕｍＭｅｒｇｅＣａｎｄが１である場合）は、ＭＭＶＤの適用対象がマージリスト内の０番目のマージ候補であることが自明なため、ｍｍｖｄ_ｃａｎｄ_ｆｌａｇについて復号せず、０と推定する。

復号部２１０は、さらに、ｍｍｖｄ_ｍｅｒｇｅ_ｆｌａｇが１である場合、ｍｍｖｄ_ｄｉｓｔａｎｃｅ_ｉｄｘ及びｍｍｖｄ_ｄｉｒｅｃｔｉｏｎ_ｉｄｘを復号するように構成されている。

ここで、ｍｍｖｄ_ｄｉｓｔａｎｃｅ_ｉｄｘ及びｍｍｖｄ_ｄｉｒｅｃｔｉｏｎ_ｉｄｘは、それぞれ、非特許文献１で開示されているマージ動きベクトル差分における動きベクトル差分の大きさ（距離）と方向を特定するためのシンタックスである。

図５は、非特許文献１で開示されているｍｍｖｄ_ｄｉｓｔａｎｃｅ_ｉｄｘの値に対応するＭＭＶＤにおけるＭＶＤの大きさ（距離）の対応テーブルの一例を示す。

図５に示すように、かかるＭＶＤの大きさ（距離）については、ｍｍｖｄ_ｄｉｓｔａｎｃｅ_ｉｄｘ及び非特許文献１に開示されているピクチャ単位で伝送されるｐｈ_ｍｍｖｄ_ｆｕｌｌｐｅｌ_ｏｎｌｙ_ｆｌａｇの値で特定できる。

ここで、かかるＭＶＤの距離は、マージモードのＭＶを起点として、図５に示すＭｍｖｄＤｉｓｔａｎｃｅにある離散値で規定されている。

図６は、非特許文献１で開示されているｍｍｖｄ_ｄｉｒｅｃｔｉｏｎ_ｉｄｘの値に対応するＭＭＶＤにおけるＭＶＤの方向の対応テーブルの一例を示す。

図６に示すように、かかるＭＶＤの方向については、ｍｍｖｄ_ｄｉｒｅｃｔｉｏｎ_ｉｄｘの値で特定できる。

ここで、かかるＭＶＤの方向は、マージモードのＭＶを起点とした上下左右の４方向が規定されている。また、上下左右方向は、それぞれマージモードのＭＶを中心座標とした（ｘ,ｙ）方向の符号で示される。

かかる（ｘ,ｙ）方向の符号は、図６に示すＭｍｖｄＳｉｇｎ［ｘ０］［ｙ０］［０］及びＭｍｖｄＳｉｇｎ［ｘ０］［ｙ０］［１］に対応し、左方向（すなわち、０°方向）が（＋１,０）であり、右方向（すなわち、１８０°方向）が（－１,０）であり、上方向（すなわち、９０°方向）が（０,＋１）であり、下方向（すなわち、２７０°方向）が（０,－１）である。

復号部２１０は、上述のように特定できるＭＭＶＤの適用対象マージ候補、ＭＶＤの大きさ（距離）及びＭＶＤの方向を、後述するインター予測部２４１のＭＭＶＤ部２４１Ａ３に伝達するように構成されている。

（インター予測部２４１）
以下、図７～図９を参照して、本実施形態に係るインター予測部２４１について説明する。図７は、本実施形態に係るインター予測部２４１の機能ブロックの一例について示す図である。

図７に示すように、インター予測部２４１は、動きベクトル復号部２４１Ａと、予測信号生成部２４１Ｂとを有する。

インター予測部２４１は、動きベクトルに基づいて予測ブロックに含まれる予測信号を生成するように構成されている予測部の一例である。

動きベクトル復号部２４１Ａは、フレームバッファ２６０から入力される対象フレーム及び参照フレームと、画像符号化装置１００から受信する制御データとによって、動きベクトルを取得するように構成されている。

動きベクトル復号部２４１Ａは、ＡＭＶＰ部２４１Ａ１と、マージ部２４１Ａ２と、ＭＭＶＤ部２４１Ａ３とを有する。

ＡＭＶＰ部２４１Ａ１は、動きベクトル予測（ＭＶＰ：Ｍｏｔｉｏｎ ＶｅｃｔｏｒＰｒｅｄｉｃｉｔｏｎ）及び動きベクトル差分を示すインデックスと、参照フレームのリスト及びインデックスとを用いて、動きベクトルを復号する適応動きベクトル予測復号（ＡＭＶＰ：Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）を行うように構成されている。

ここで、ＡＭＶＰは、既知の手法を採用すること可能であるため、その詳細については省略する。

マージ部２４１Ａ２は、画像符号化装置１００から、マージインデックス（ｍｅｒｇｅ_ｉｄｘ）を受信し、動きベクトルを復号するように構成されている。

具体的には、マージ部２４１Ａ２は、画像符号化装置１００と同じ方法で、マージリストを構築して、受信したマージインデックスに対応する動きベクトルを、構築したマージリストから取得するように構成されている。

ここで、マージリストの構築方法として、非特許文献１又は非特許文献２で開示されている既知の手法を本実施形態で採用することが可能である。具体的には、以下の通りである。

まず、非特許文献１及び非特許文献２におけるマージリストに格納されるマージ候補最大数は、それぞれ６個及び1０個である。

次に、非特許文献１では、空間マージ候補、時間マージ候補、ヒストリーマージ候補、ペアワイズマージ候補、ゼロマージ候補の順で、マージリストにマージ候補が格納される。

ここで、空間マージ候補とは、図８の１番～５番に示される対象ブロックの隣接位置から動き情報を取得する技術である。

非特許文献２では、非特許文献１に対して非近接空間マージ候補が追加されている。具体的に、非近接空間マージ候補とは、図８に示される６番以降に示される対象ブロックの非隣接位置から動き情報を取得する技術である。

これらに対して、非特許文献１又は非特許文献２で開示されているヒストリーマージ候補は、対象ブロックより前に復号（符号化）されたブロックの動き情報を、図９に示すＦＩＦＯ式のヒストリーテーブルに格納・更新し、このヒストリーテーブルの番号の小さい順からマージ候補を、マージリスト内に格納する技術である。

マージリストへのマージ候補格納時或いはヒストリーテーブルへのマージ候補格納時には、各マージ候補の動きベクトルの有無と、既にマージリストに格納済みのマージ候補と動きベクトルと参照フレームとが比較され、マージリストに新たに格納するかが判定される構成となっている。かかる比較処理は、Ｐｒｕｎｉｎｇ処理と呼ばれ、マージリスト内に同じ動きベクトルと参照フレームを持つマージ候補が格納されないように設計されている。

ＭＭＶＤ部２４１Ａ３は、復号部２１０から送られる対象ブロックに対するＭＭＶＤの適用の可不可を示す情報、ＭＭＶＤを適用するマージ候補番号、ＭＭＶＤにおけるＭＶＤの大きさ（距離）及び方向に関する情報に基づいて、上述したマージ部２４１Ａ２が構築したマージリスト内のマージ候補を選択し、かかるマージ候補に対する動きベクトルを復号して、かかる動きベクトルに対してＭＶＤを加算することによって、かかる動きベクトルを洗練化するように構成されている。

本実施形態では、ＭＭＶＤの適用可能なマージ候補をマージリスト内の０番目及び１番目だけではなく、０番目から４番目まで拡張してもよい。すなわち、上述したｍｍｖｄ_ｃａｎｄ_ｆｌａｇ（０及び１の値を持つ）をｍｍｖｄ_ｃａｎｄ_ｉｄｘ（０から３の値を持つ）に置換して、復号部２１０が、ｍｍｖｄ_ｃａｎｄ_ｉｄｘを復号して、ＭＭＶＤ部２４１Ａ３に伝達することで実現できる。

換言すると、復号部２１０は、画像符号化装置１００から伝送されるシンタックス（ｍｍｖｄ_ｃａｎｄ_ｉｄｘ）に基づいて、マージリスト内の０番目から４番目の中からマージ候補を特定するように構成されていてもよい。

ＭＭＶＤが適用可能なマージ候補数が拡張されることで、ＭＭＶＤによってＭＶＤが加算されるベースとなるＭＶの精度が向上するため、結果として予測性能が改善する。

ここで、ｍｍｖｄ_ｃａｎｄ_ｉｄｘは、マージリストの最大候補数、マージ候補の種別及びその生成順を考慮して、変更されてもよい。

具体的に、ＭＭＶＤは、背景が比較的ゆっくり動く映像で適用されやすい性質を持つことが知られている。そのため、空間マージ候補や非近接空間マージ候補やヒストリーマージ候補等、当該ブロックと同じフレームに位置する復号（符号化）済のブロックから動き情報を取得して、その動きベクトルに対して、ＭＶＤが加算されやすい。

そのため、マージリストの最大候補数に対して、これらの空間マージ候補、非近接空間マージ候補又はヒストリーマージ候補により、マージ候補が格納されやすい番号に設計者の意図で変更すれば、ＭＭＶＤの有効性を向上できる。例えば、非特許文献１及び非特許文献２では、上述のように、マージ候補の最大数が６及び１０であり、かつ、上述したようなマージ候補の格納順であるため、例えば、ＭＭＶＤが適用可能なマージ候補の最大数を４番目と８番目と設定してもよい。

（変更例１）
非特許文献１又は非特許文献２では、マージリストに各マージ候補が格納された段階で、いずれのマージ候補種別から格納されているかが判別不可になるが、いずれのマージ候補種別から格納されたかを判別可能な内部パラメータをマージ候補とともに有することで、ＭＭＶＤが適用可能なマージ候補を、上述の空間マージ候補、非近接空間マージ候補又はヒストリーマージ候補に限定してもよい。

すなわち、復号部２１０は、画像符号化装置１００から伝送されるシンタックス（ｍｍｖｄ_ｃａｎｄ_ｉｄｘ）に基づいて、空間マージ候補、非近接空間マージ候補又はヒストリーマージ候補の中からマージ候補を特定するように構成されていてもよい。

これにより、ＭＭＶＤの有効性が高いマージ候補に対して、ＭＭＶＤの適用対象を限定できるため、ＭＭＶＤの有効性を向上できる。
（変更例２）
更なる変更例として、非特許文献１又は非特許文献２におけるＰｒｕｎｉｎｇ処理を強化してもよい。

具体的に、非特許文献１又は非特許文献２では、既に格納済みのマージ候補が示す動きベクトルと参照フレームとが同じ場合にのみ、新たなマージ候補のマージリストへの格納が禁止されていたが、動きベクトルのみが同じである場合に、禁止してもよい。

これにより、ＭＭＶＤでＭＶＤを加算するＭＶのバリエーションを増やすことができ、予測性能が向上することが期待できる。また、本変更例２を、上述の第１実施形態及び変更例１と組み合わせてもよい。

予測信号生成部２４１Ｂは、動きベクトル復号部２４１Ａから出力された動きベクトルに基づいて予測信号を生成するように構成されている。動きベクトルから予測信号を生成する方法は、既知の方法を採用することが可能であるため、その詳細は省略する。

（テンプレートマッチング）
以下、図８を参照して、上述の第１実施形態、変更例１及び変更例２に係るテンプレートマッチング（ＴＭ：Ｔｅｍｐｌａｔｅ Ｍａｔｃｈｉｎｇ）について説明する。

図７におけるマージ部２４１Ａに含まれるＴＭ部は、図８に示す当該ブロック及びマージ候補の動きベクトルが示す参照ブロックにそれぞれ隣接する再構成画素のＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）値が比較されるとともに、限定的な範囲（図８の例では、±８画素の範囲）でマージ候補の動きベクトルを起点に動きベクトルが再探索するＴＭを行うように構成されている。

すなわち、かかるＴＭ部は、マージ候補のＭＶを再探索してマージ候補のＭＶを修正するように構成されている。

非特許文献３では、このＴＭ部のＳＡＤ値の比較を用いたマージリスト内のマージ候補の並び替えに関する技術が開示されている。具体的に、マージリスト内の１０個のマージ候補を、５個ずつのマージ候補（サブグループ）に分類し、後半（最後）の５個のマージ候補の順序を並び替える。

並び替え方法は、ＴＭによりＳＡＤ値が小さい順にマージリストの若い番号順を割り当てる。これにより、当該ブロックと類似するテンプレートを持つ参照ブロックの動き情報に対して、符号長の短いマージインデックスの割り当てが可能になるため、マージインデックスの伝送符号量が削減され、結果として符号化性能が改善する。

本変更例２では、ＭＭＶＤの適用対象候補となるマージリスト内の前半部に対して、このＴＭを用いたマージ候補の並び替えを適用してもよい。これにより、ＳＡＤ値の小さい、すなわち、類似するテンプレートを持つ参照ブロックの動きベクトルに対してＭＭＶＤが優先的に適用されるようになるため、ｍｍｖｄ_ｃａｎｄ_ｆｌａｇ又はｍｍｖｄ_ｃａｎｄ_ｉｄｘの伝送符号量が削減され、結果として符号化性能が改善する。

このＴＭを用いたマージ候補の並び替えは、上述したＭＭＶＤが適用可能なマージ候補数・種別の拡張技術に対して、組み合わせてもよい。

すなわち、ＭＭＶＤ部２４１Ａ３は、ＴＭを用いて、マージリスト内のマージ候補の順序を並び替えた後、復号部２１０によって特定されたマージ候補に対してＭＶＤを加算するように構成されていてもよい。

また、ＭＭＶＤ部２４１Ａ３は、ＴＭに基づくマージリスト内のマージ候補の並び替え対象を、マージリスト内の空間マージ候補に限定するように構成されていてもよい。

或いは、ＭＭＶＤ部２４１Ａ３は、ＴＭに基づくマージリスト内のマージ候補の並び替え対象を、マージリスト内の空間マージ候補及びヒストリーマージ候補に限定するように構成されていてもよい。

或いは、ＭＭＶＤ部２４１Ａ３は、ＴＭに基づくマージリスト内のマージ候補の並び替え対象を、マージリスト内の空間マージ候補及び非近接空間マージ候補に限定するように構成されていてもよい。

或いは、ＭＭＶＤ部２４１Ａ３は、ＴＭに基づくマージリスト内のマージ候補の並び替え対象を、マージリスト内の空間マージ候補と非近接空間マージ候補とヒストリーマージ候補とに限定するように構成されていてもよい。

上述のように、ＭＭＶＤ部２４１Ａ３は、ＴＭによって、マージ候補を特定するように構成されていてもよい。

さらに、ＭＭＶＤ部２４１Ａ３は、上述のマージ候補を、ＴＭによって特定されるＳＡＤ値が最小となるマージ候補に決定するように構成されていてもよい。
（ＭＭＶＤ及びＴＭのハーモナイゼーション）
以下、図１０を参照して、上述の第１実施形態、変更例１及び変更例２に係るＭＭＶＤ及びＴＭのハーモナイゼーションについて説明する。

非特許文献２では、ＴＭは、有効なブロックに対してＭＭＶＤは無効となる（排他制御）となるように構成されている。

具体的には、対象ブロック単位で画像符号化装置１００からＴＭの適用有無を示すフラグ（ｔｍ_ｅｎａｂｌｅ_ｆｌａｇ）が伝送され、復号部２１０が、かかるフラグを復号して、かかるフラグの値を特定してＭＭＶＤ部２４１Ａ３に伝達し、ＭＭＶＤ部２４１Ａ３が、ｔｍ_ｅｎａｂｌｅ_ｆｌａｇが有効である場合、ＭＭＶＤを適用しないと判定することで実現できる。

ここで、ｔｍ_ｅｎａｂｌｅ_ｆｌａｇは、ＴＭの適用有無をブロック単位で制御するフラグである。

上述のように、ＭＭＶＤ部２４１Ａ３は、ｔｍ_ｅｎａｂｌｅ_ｆｌａｇに基づいて、ＭＭＶＤの適用有無を制御するように構成されていてもよい。具体的には、ＭＭＶＤ部２４１Ａ３は、ｔｍ_ｅｎａｂｌｅ_ｆｌａｇが有効である場合に、ＭＭＶＤを適用しないと判定するように構成されていてもよい。

これに対して、本変更例２では、ＭＭＶＤのＭＶＤの距離が予め定めた閾値よりも大きい（或いは、ＭＭＶＤのＭＶＤの距離が予め定めた閾値以上である）場合には、ＭＭＶＤで修正された動きベクトルに対して、ＴＭを有効にしてもよい。ＭＶＤの距離が、かかる閾値以下（或いは、かかる閾値未満）である場合は、上述のように、ＭＭＶＤを無効にしてもよい。

例えば、ＭＶＤの距離が８画素より大きい場合は、ＴＭを有効にしてもよい。これは、非特許文献２で開示されている、ＴＭによる動きベクトルの再探索範囲が±８画素の範囲であるため、この探索範囲を超えるＭＶの修正が必要なブロックに対しては、予めＭＭＶＤによりＭＶを修正したほうが、ＴＭとのハーモナイズ（相加効果）が期待できるためである。

かかる閾値は、ＴＭのＭＶ再探索範囲の上限とＭＭＶＤの距離のバリエーションによって変更してもよい。例えば、ＴＭのＭＶ再探索範囲が±２や±４であり、且つ、ＭＭＶＤの距離のバリエーションにこれらの絶対値が含まれる場合、かかる閾値は、２や４に変更されるように構成してもよい。

すなわち、ＭＭＶＤ部２４１Ａ３は、ＭＭＶＤのＭＶＤの距離が予め定めた閾値よりも大きい（或いは、ＭＭＶＤのＭＶＤの距離が予め定めた閾値以上である）場合に、ｔｍ_ｅｎａｂｌｅ_ｆｌａｇが有効である場合でも、ＭＭＶＤを適用すると判定するように構成されていてもよい。

（テンプレートマッチングを用いたＭＭＶＤのシンタックス削減）
以下、本実施形態に係るテンプレートマッチングを用いたＭＭＶＤのシンタックス削減について説明する。

上述の例では、ＭＭＶＤを適用するマージ候補をｍｍｖｄ_ｃａｎｄ_ｆｌａｇ又はｍｍｖｄ_ｃａｎｄ_ｉｄｘで特定したが、ＴＭを用いて、これらを削減する。

具体的に、復号部２１０が、テンプレートマッチング（当該ブロックと参照ブロックに隣接する再構成画素との間のＳＡＤ値の比較処理）を実施し、ＭＭＶＤの適用対象をＳＡＤが最小となるマージ候補に決定してもよい。

ここで、マージ候補が双予測である（２つの動きベクトルを持つ場合）、各参照ブロックのＳＡＤ値を平均して、当該ブロックと比較してもよい。

或いは、当該ブロックのフレーム番号と参照フレームの番号との間（ＰＯＣ：Ｐｉｃｔｕｒｅ ｏｆ Ｃｏｕｎｔ）の差が大きい参照ブロックのＳＡＤ値のみを比較しても良い。

ここで、ＳＡＤ値の比較は、対象ブロックのサイズ（アスペクト比）に応じて、対象ブロックの左側のテンプレート及び上側のテンプレートの画素値を正規化してもよい。

これにより、テンプレートが類似する参照ブロックの動きベクトルをＭＭＶＤの適用対象として選択できるため、ＭＭＶＤのベースとなるＭＶの予測精度は劣化しにくい。

さらに、復号部２１０は、ＭＭＶＤの適用対象となるマージ候補をｍｍｖｄ_ｃａｎｄ_ｆｌａｇ又はｍｍｖｄ_ｃａｎｄ_ｉｄｘを復号せずに、ＴＭを用いて特定できるため、結果としてこれらシンタックスの符号量が削減しつつ、符号化性能の改善が期待できる。

上述の画像符号化装置１００及び画像復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

なお、上述の各実施形態では、本発明を画像符号化装置１００及び画像復号装置２００への適用を例にして説明したが、本発明は、これのみに限定されるものではなく、画像符号化装置１００及び画像復号装置２００の各機能を備えた画像符号化システム及び画像復号システムにも同様に適用できる。

１０…画像処理システム
１００…画像符号化装置
１１１、２４１…インター予測部
１１２、２４２…イントラ予測部
１２１…減算器
１２２、２３０…加算器
１３１…変換・量子化部
１３２、２２０…逆変換・逆量子化部
１４０…符号化部
１５０、２５０…インループフィルタ処理部
１６０、２６０…フレームバッファ
２００…画像復号装置
２１０…復号部
２４１Ａ…動きベクトル復号部
２４１Ａ１…ＡＭＶＰ部
２４１Ａ２…マージ部
２４１Ａ３…ＭＭＶＤ部
２４１Ａ４…ＴＭ部
２４１Ｂ…予測信号生成部

Claims (10)

1. 画像復号装置であって、
   画像符号化装置から伝送されるシンタックスに基づいて、ＭＭＶＤにおける方向、距離及びＭＶＤを加算する通常マージモードのマージリスト内のマージ候補を特定するように構成されている復号部と、
   前記復号部によって特定された前記マージ候補が示すＭＶに対して、前記ＭＶＤを加算して、前記ＭＶを洗練化させるように構成されているＭＭＶＤ部と、を備え、
   前記通常マージモードのマージリスト内のマージ候補は、空間マージ候補、時間マージ候補、非近接マージ候補、ヒストリーマージ候補、ペアワイズマージ候補又はゼロマージ候補によって生成されて格納されるように構成されており、
   前記復号部は、前記画像符号化装置から伝送されるシンタックスに基づいて、前記マージリスト内の０番目から４番目の中から前記マージ候補を特定するように構成されていることを特徴とする画像復号装置。
2. 前記復号部は、前記画像符号化装置から伝送されるシンタックスに基づいて、前記マージリスト内の空間マージ候補、非近接空間マージ候補又はヒストリーマージ候補の中から前記マージ候補を特定するように構成されていることを特徴とする画像復号装置。
3. 前記ＭＭＶＤ部は、対象ブロック及び参照ブロックそれぞれに隣接する再構成画素を比較するテンプレートマッチングを用いて、前記マージリスト内のマージ候補の順序を並び替えた後、前記復号部によって特定された前記マージ候補に対して前記ＭＶＤを加算するように構成されていることを特徴とする請求項１に記載の画像復号装置。
4. 前記ＭＭＶＤ部は、前記テンプレートマッチングに基づく前記マージリスト内のマージ候補の並び替え対象を、前記マージリスト内の空間マージ候補、非近接空間マージ候補又はヒストリーマージ候補に限定するように構成されていることを特徴とする請求項１に記載の画像復号装置。
5. 前記マージ候補のＭＶを再探索して前記マージ候補のＭＶを修正するように構成されているテンプレートマッチング部を備え、
   前記復号部は、前記テンプレートマッチングの適用有無をブロック単位で制御するフラグを復号するように構成されており、
   前記ＭＭＶＤ部は、前記フラグに基づいて、前記ＭＭＶＤの適用有無を制御するように構成されており、
   前記ＭＭＶＤ部は、前記フラグが有効である場合に、前記ＭＭＶＤを適用しないと判定するように構成されていることを特徴とする請求項１に記載の画像復号装置。
6. 前記ＭＭＶＤ部は、前記ＭＭＶＤのＭＶＤの距離が予め定めた閾値よりも大きい場合に、前記フラグが有効である場合でも、前記ＭＭＶＤを適用すると判定するように構成されていることを特徴とする請求項５に記載の画像復号装置。
7. 前記ＭＭＶＤ部は、対象ブロック及び参照ブロックにそれぞれ隣接する再構成画素を比較するテンプレートマッチングによって、前記マージ候補を特定するように構成されていることを特徴とする請求項１～６のいずれか一項に記載の画像復号装置。
8. 前記ＭＭＶＤ部は、前記マージ候補を、対象ブロック及び参照ブロックそれぞれに隣接する再構成画素を比較するテンプレートマッチングによって特定されるＳＡＤ値が最小となるマージ候補に決定するように構成されていることを特徴とする請求項１～７のいずれか一項に記載の画像復号装置。
9. 画像復号方法であって、
   画像符号化装置から伝送されるシンタックスに基づいて、ＭＭＶＤにおける方向、距離及びＭＶＤを加算する通常マージモードのマージリスト内のマージ候補を特定する工程Ａと、
   前記工程Ａにおいて特定された前記マージ候補が示すＭＶに対して、前記ＭＶＤを加算して、前記ＭＶを洗練化させる工程Ｂと、を備え、
   前記通常マージモードのマージリスト内のマージ候補は、空間マージ候補、時間マージ候補、非近接マージ候補、ヒストリーマージ候補、ペアワイズマージ候補又はゼロマージ候補によって生成されて格納されるように構成されており、
   前記工程Ａにおいて、前記画像符号化装置から伝送されるシンタックスに基づいて、前記マージリスト内の０番目から４番目の中から前記マージ候補を特定することを特徴とする画像復号方法。
10. コンピュータを、画像復号装置として機能させるプログラムであって、
    前記画像復号装置は、
    画像符号化装置から伝送されるシンタックスに基づいて、ＭＭＶＤにおける方向、距離及びＭＶＤを加算する通常マージモードのマージリスト内のマージ候補を特定するように構成されている復号部と、
    前記復号部によって特定された前記マージ候補が示すＭＶに対して、前記ＭＶＤを加算して、前記ＭＶを洗練化させるように構成されているＭＭＶＤ部と、を備え、
    前記通常マージモードのマージリスト内のマージ候補は、空間マージ候補、時間マージ候補、非近接マージ候補、ヒストリーマージ候補、ペアワイズマージ候補又はゼロマージ候補によって生成されて格納されるように構成されており、
    前記復号部は、前記画像符号化装置から伝送されるシンタックスに基づいて、前記マージリスト内の０番目から４番目の中から前記マージ候補を特定するように構成されていることを特徴とするプログラム。

Images