JP2021180503A - 画像復号装置、画像復号方法及びプログラム - Google Patents

Abstract

【課題】時間方向の相関が低いブロックについて洗練化処理を行わないようにすることで、符号化効率の低下を防ぐこと。【解決手段】本発明に係る画像復号装置２００は、符号化データから動きベクトルを復号するように構成されている動きベクトル復号部２４１Ｂと、動きベクトル復号部２４１Ｂによって復号された動きベクトルの値を初期値として動きベクトルの探索を行い、初期探索点での探索コストが予め定めた閾値よりも大きい場合或いは初期探索点での探索コストが閾値以上である場合に、復号された動きベクトルを最終的な動きベクトルとして決定するように構成されている洗練化部２４１Ｃとを備える。【選択図】図７

Description

本発明は、画像復号装置、画像復号方法及びプログラムに関する。

従来、復号装置側で取得可能な情報のみから構成される適用条件を満たすブロックにおいて洗練化処理を適用するという技術、すなわち、ＤＭＶＲ（Ｄｅｃｏｄｅｒ-ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ：復号側動きベクトル洗練化) という技術が知られている（例えば、非特許文献１参照）。

Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （Ｄｒａｆｔ ５）、ＪＶＥＴ-Ｎ１００１

しかしながら、例えば、非特許文献１に開示されている技術では、上述の適用条件を満たすブロックでは必ず洗練化処理が実行されるため、時間方向の相関が低いブロックにおいても洗練化処理が実行され、かえって符号化効率が低下してしまう可能性があるという問題点があった。

そこで、本発明は、上述の課題に鑑みてなされたものであり、時間方向の相関が低いブロックについて洗練化処理を行わないようにすることで、符号化効率の低下を防ぐことができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。

本発明の第１の特徴は、画像復号装置であって、符号化データから動きベクトルを復号するように構成されている動きベクトル復号部と、前記動きベクトル復号部によって復号された前記動きベクトルの値を初期値として動きベクトルの探索を行い、初期探索点での探索コストが予め定めた閾値よりも大きい場合或いは前記初期探索点での探索コストが前記閾値以上である場合に、復号された前記動きベクトルを最終的な動きベクトルとして決定するように構成されている洗練化部とを備えることを要旨とする。

本発明の第２の特徴は、画像復号装置であって、符号化データから動きベクトルを復号するように構成されている動きベクトル復号部と、前記動きベクトル復号部によって復号された前記動きベクトルの値を初期値として動きベクトルの探索を行い、探索点の中での最小探索コストが予め定めた閾値よりも大きい場合或いは前記最小探索コストが前記閾値以上である場合に、復号された前記動きベクトルを最終的な動きベクトルとして決定するように構成されている洗練化部とを備えることを要旨とする。

本発明の第３の特徴は、画像復号装置であって、符号化データから動きベクトルを復号するように構成されている動きベクトル復号部と、前記動きベクトル復号部によって復号された前記動きベクトルの値を初期値として動きベクトルの探索を行い、初期探索点での探索コストと探索点の中での最小探索コストとの差分値が予め定めた閾値よりも小さい場合或いは前記差分値が前記閾値以下である場合に、復号された前記動きベクトルを最終的な動きベクトルとして決定するように構成されている洗練化部とを備えることを要旨とする。

本発明の第４の特徴は、画像復号装置であって、符号化データから動きベクトルを復号するように構成されている動きベクトル復号部と、前記動きベクトル復号部によって復号された前記動きベクトルの値を初期値として動きベクトルの探索を行うように構成されている洗練化部と、前記洗練化部から出力される動きベクトルに基づいて予測信号を生成するように構成されている予測信号生成部とを備え、前記予測信号生成部は、第１参照フレーム側のブロックと第２参照フレーム側のブロックとの類似度を表す指標値が予め定めた閾値よりも大きい場合或いは前記指標値が前記閾値以上である場合に、ＢＤＯＦ（Ｂｉ-Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）処理を実行しないと決定するように構成されていることを要旨とする。

本発明の第５の特徴は、画像復号装置であって、符号化データから動きベクトルを復号するように構成されている動きベクトル復号部と、前記動きベクトル復号部によって復号された前記動きベクトルの値を初期値として動きベクトルの探索を行うように構成されている洗練化部とを備え、前記洗練化部は、探索コストに、初期探索点と探索点との差分ベクトルのノルムを含めるように構成されていることを要旨とする。

本発明の第６の特徴は、符号化データから動きベクトルを復号する工程と、復号された前記動きベクトルの値を初期値として動きベクトルの探索を行う工程と、初期探索点での探索コストが予め定めた閾値よりも大きい場合或いは前記初期探索点での探索コストが前記閾値以上である場合に、復号された前記動きベクトルを最終的な動きベクトルとして決定する工程とを有することを要旨とする。

本発明の第７の特徴は、画像復号装置で用いるプログラムであって、コンピュータに、符号化データから動きベクトルを復号する工程と、復号された前記動きベクトルの値を初期値として動きベクトルの探索を行う工程と、初期探索点での探索コストが予め定めた閾値よりも大きい場合或いは前記初期探索点での探索コストが前記閾値以上である場合に、復号された前記動きベクトルを最終的な動きベクトルとして決定する工程とを実行させることを要旨とする。

本発明によれば、時間方向の相関が低いブロックについて洗練化処理を行わないようにすることで、符号化効率の低下を防ぐことができる画像復号装置、画像復号方法及びプログラムを提供することができる。

一実施形態に係る画像処理システム１０の構成の一例を示す図である。 一実施形態に係る画像符号化装置１００の機能ブロックの一例を示す図である。 一実施形態に係る画像符号化装置１００のインター予測部１１１の機能ブロックの一例を示す図である。 一実施形態に係る画像符号化装置１００のインター予測部１１１の洗練化部１１１Ｃの処理手順の一例を示すフローチャートである。 一実施形態に係る動画像復号装置３０のインター予測部１１１の予測信号生成部１１１Ｄの処理手順の一例を示すフローチャートである。 一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。 一実施形態に係る画像復号装置２００のインター予測部２４１の機能ブロックの一例を示す図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

（第１実施形態）
以下、図１〜図７を参照して、本発明の第１実施形態に係る画像処理システム１０について説明する。図１は、本実施形態に係る実施形態に係る画像処理システム１０を示す図である。

図１に示すように、画像処理システム１０は、画像符号化装置１００及び画像復号装置２００を有する。

画像符号化装置１００は、入力画像信号を符号化することによって符号化データを生成するように構成されている。画像復号装置２００は、符号化データを復号することによって出力画像信号を生成するように構成されている。

ここで、かかる符号化データは、画像符号化装置１００から画像復号装置２００に対して伝送路を介して送信されてもよい。また、符号化データは、記憶媒体に格納された上で、画像符号化装置１００から画像復号装置２００に提供されてもよい。

（画像符号化装置１００）
以下、図２を参照して、本実施形態に係る画像符号化装置１００について説明する。図２は、本実施形態に係る画像符号化装置１００の機能ブロックの一例について示す図である。

図２に示すように、画像符号化装置１００は、インター予測部１１１と、イントラ予測部１１２と、減算器１２１と、加算器１２２と、変換・量子化部１３１と、逆変換・逆量子化部１３２と、符号化部１４０と、インループフィルタ処理部１５０と、フレームバッファ１６０とを有する。

インター予測部１１１は、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。

具体的には、インター予測部１１１は、符号化対象のフレーム（以下、対象フレーム）とフレームバッファ１６０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトルを決定するように構成されている。

また、インター予測部１１１は、参照ブロック及び動きベクトルに基づいて予測ブロックに含まれる予測信号を予測ブロック毎に生成するように構成されている。インター予測部１１１は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。ここで、参照フレームは、対象フレームとは異なるフレームである。

イントラ予測部１１２は、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。

具体的には、イントラ予測部１１２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。また、イントラ予測部１１２は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。

ここで、参照ブロックは、予測対象のブロック（以下、対象ブロック）について参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。

減算器１２１は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部１３１に出力するように構成されている。ここで、減算器１２１は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成するように構成されている。

加算器１２２は、逆変換・逆量子化部１３２から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、かかるフィルタ処理前復号信号をイントラ予測部１１２及びインループフィルタ処理部１５０に出力するように構成されている。

ここで、フィルタ処理前復号信号は、イントラ予測部１１２で用いる参照ブロックを構成する。

変換・量子化部１３１は、予測残差信号の変換処理を行うとともに、係数レベル値を取得するように構成されている。さらに、変換・量子化部１３１は、係数レベル値の量子化を行うように構成されていてもよい。

ここで、変換処理は、予測残差信号を周波数成分信号に変換する処理である。かかる変換処理では、離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよく、離散サイン変換（ＤＳＴ；Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよい。

逆変換・逆量子化部１３２は、変換・量子化部１３１から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部１３２は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。

ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

符号化部１４０は、変換・量子化部１３１から出力された係数レベル値を符号化し、符号化データを出力するように構成されている。

ここで、例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。

また、符号化部１４０は、係数レベル値に加えて、復号処理で用いる制御データを符号化するように構成されている。

ここで、制御データは、符号化ブロック（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）サイズ、予測ブロック（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）サイズ、変換ブロック（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）サイズ等のサイズデータを含んでもよい。

インループフィルタ処理部１５０は、加算器１２２から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ１６０に出力するように構成されている。

ここで、例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック又は変換ブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。

フレームバッファ１６０は、インター予測部１１１で用いる参照フレームを蓄積するように構成されている。

ここで、フィルタ処理後復号信号は、インター予測部１１１で用いる参照フレームを構成する。

（インター予測部１１１）
以下、図３を参照して、本実施形態に係る画像符号化装置１００のインター予測部１１１について説明する。図３は、本実施形態に係る画像符号化装置１００のインター予測部１１１の機能ブロックの一例について示す図である。

図３に示すように、インター予測部１１１は、動きベクトル探索部１１１Ａと、動きベクトル符号化部１１１Ｂと、洗練化部１１１Ｃと、予測信号生成部１１１Ｄとを有する。

インター予測部１１１は、動きベクトルに基づいて予測ブロックに含まれる予測信号を生成するように構成されている予測部の一例である。

動きベクトル探索部１１１Ａは、対象フレームと参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトルを探索するように構成されている。

また、上述の探索を複数の参照フレーム候補に対して行い、当該予測ブロックで予測に用いる参照フレーム及び動きベクトルを決定する。参照フレーム及び動きベクトルは、一つのブロックに対して最大二つずつ用いることができる。一つのブロックに対して参照フレーム及び動きベクトルを一組のみ用いる場合を片予測と呼び、参照フレーム及び動きベクトルを二組用いる場合を双予測と呼ぶ。以降、一組目をＬ０と呼び、二組目をＬ１と呼ぶ。

更に、動きベクトル探索部１１１Ａは、参照フレーム及び動きベクトルの符号化方法を決定するように構成されている。符号化方法には、参照フレーム及び動きベクトルの情報をそれぞれ伝送する通常の方法に加え、後述するマージモード等がある。

なお、動きベクトルの探索方法、参照フレームの決定方法及び参照フレーム及び動きベクトルの符号化方法の決定方法については、既知の手法を採用することが可能であるため、その詳細については省略する。

動きベクトル符号化部１１１Ｂは、動きベクトル探索部１１１Ａで決定した参照フレームと動きベクトルの情報を、同じく動きベクトル探索部１１１Ａで決定した符号化方法を用いて符号化するように構成されている。

当該ブロックの符号化方法がマージモードの場合、画像符号化装置１００側において、初めに、当該ブロックに対するマージリストが作成される。ここで、マージリストは、参照フレームと動きベクトルとの組み合わせが複数列挙されたリストである。

各組み合わせには、インデックスが振られており、画像符号化装置１００は、参照フレーム及び動きベクトルの情報を個別に符号化する代わりに、かかるインデックスのみを符号化し、画像復号装置２００に伝送する。画像符号化装置１００側と画像復号装置２００側とでマージリストの作成方法を共通化しておくことで、画像復号装置２００側では、かかるインデックスに係る情報のみから参照フレーム及び動きベクトルの情報を復号することができる。

なお、マージリストの作成方法については、既知の手法を採用することが可能であるため、その詳細については省略する。

動きベクトル情報の符号化については、初めに、符号化対象の動きベクトルの予測値である予測動きベクトルを生成し、かかる予測動きベクトルと実際に符号化したい動きベクトルとの差分値である差分動きベクトルを符号化する。

洗練化部１１１Ｃは、動きベクトル符号化部１１１Ｂで符号化された動きベクトルを修正する洗練化処理（例えば、ＤＭＶＲ）を行うように構成されている。

具体的には、洗練化部１１１Ｃは、動きベクトル符号化部１１１Ｂで符号化された動きベクトルによって特定される参照位置を基準として探索範囲を設定し、探索範囲の中から所定コストが最も小さい修正参照位置を特定し、修正参照位置に基づいて動きベクトルを修正する洗練化処理を行うように構成されている。

図４は、洗練化部１１１Ｃの処理手順の一例を示すフローチャートである。

図４に示すように、ステップＳ４１において、洗練化部１１１Ｃは、洗練化処理を適用するための所定条件が満足されているかどうかについて判定する。かかる所定条件が全て満足されている場合に、本処理手順は、ステップＳ４２へ進む。一方、かかる所定条件のどれか一つでも満足されていない場合は、本処理手順は、ステップＳ４８へ進み、洗練化処理を終了する。

ここで、所定条件は、当該ブロックが双予測を行うブロックであるという条件を含む。さらに、所定条件は、動きベクトルがマージモードで符号化されているという条件を含んでもよい。

ステップＳ４２において、洗練化部１１１Ｃは、動きベクトル符号化部１１１Ｂで符号化された動きベクトル及び参照フレームの情報に基づいて、探索用画像を生成する。

ここで、動きベクトルが非整数画素位置を指していた場合は、洗練化部１１１Ｃは、参照フレームの画素値にフィルタを適用して非整数画素位置の画素を内挿する。この時、洗練化部１１１Ｃは、後述する予測信号生成部１１１Ｄで用いる内挿フィルタより、少ないタップ数の内挿フィルタを用いることで、演算量を削減することができる。例えば、洗練化部１１１Ｃは、バイリニア補間によって非整数画素位置の画素値を内挿することができる。

ステップＳ４３において、洗練化部１１１Ｃは、ステップＳ４２で生成した探索用画像を用いて、初期位置での探索コストを算出する。

ここで、初期位置は、動きベクトル符号化部１１１Ｂで符号化された動きベクトルが指し示す位置である。また、探索コストは、上述の動きベクトルが指し示すＬ０側（第１参照フレーム側）の参照ブロックとＬ１側（第２参照フレーム側）の参照ブロックとの類似度の指標値であり、例えば、画素値同士の絶対値誤差和や二乗誤差和を用いることができる。

ステップＳ４４において、洗練化部１１１Ｃは、ステップＳ４３で算出した初期位置での探索コストを入力として、当該ブロックの洗練化処理を打ち切るための終了条件が満足されているか否かについて判定する。かかる終了条件が全て満足されている場合に、本処理手順は、ステップＳ４５へ進む。一方、かかる終了条件のどれか一つでも満足されていない場合は、本処理手順は、ステップＳ４８へ進み、洗練化処理を終了する。

ここで、ステップＳ４４における終了条件（打ち切り条件）には、例えば、上述の初期位置での探索コストが予め定めた第１閾値より小さいこと（或いは、上述の初期位置での探索コストが予め定めた第１閾値以下であること）という条件を含めることができる。
また、ステップＳ４４における終了条件（打ち切り条件）には、例えば、上述の初期位置での探索コストが予め定めた第２閾値より大きいこと（或いは、上述の初期位置での探索コストが予め定めた第１閾値以上であること）という条件を含めることができる。

ステップＳ４５において、洗練化部１１１Ｃは、ステップＳ４２で生成した探索用画像を用いて、整数画素精度での探索を行う。

ここで、整数画素精度は、動きベクトル符号化部１１１Ｂで符号化された動きベクトルを基準として、整数画素間隔となる点のみを探索することを意味する。

洗練化部１１１Ｃは、ステップＳ４５の探索によって、整数画素間隔位置での修正後の動きベクトルを決定する。ここで、かかる探索の方法としては、既知の手法を用いることができる。

例えば、洗練化部１１１Ｃは、Ｌ０側及びＬ１側の差分動きベクトルが符号のみを反転した組み合わせとなる点のみを探索するという方法で探索することもできる。

ここでは、各探索位置における探索コストが最も小さくなった探索点を、整数画素間隔位置での修正後の動きベクトルする。探索コストとしては、上述の通り、絶対値差分和や二乗誤差和等の指標を用いることができる。この時、洗練化部１１１Ｃは、上述の絶対値差分和等のブロック間の類似度を評価する指標に、修正後の動きベクトルと初期位置の動きベクトルとの差分ベクトルのＬｐノルムを加算したものを探索コストとしてもよい。

具体的には、洗練化部１１１Ｃは、例えば、絶対値差分和と差分ベクトルのＬ１ノルムとの和を探索コストとしてもよい。また、洗練化部１１１Ｃは、絶対値差分和にＬ１ノルムを加算する際に、予め定めた比率で重み付けをしてから加算してもよい。例えば、洗練化部１１１Ｃは、Ｌ１ノルムを２倍した値を絶対値差分和に加えてもよい。この時、倍率が２のべき乗であれば、ビットシフトによって等価な処理を実現できる。
なお、ステップＳ４５における探索の結果、探索前の動きベクトルと同じ値になる可能性もある。

ステップＳ４６において、洗練化部１１１Ｃは、ステップＳ４５で決定した整数画素間隔位置での修正後動きベクトルに対応する探索コストを用いて、当該ブロックでの洗練化処理を打ち切るための終了条件が満足されているか否かについて判定する。かかる終了条件が全て満足されている場合に、本処理手順は、ステップＳ４７へ進む。一方、かかる終了条件のどれか一つでも満足されていない場合は、本処理手順は、ステップＳ４８へ進み、洗練化処理を終了する。

ここで、ステップＳ４６における終了条件（打ち切り条件）には、例えば、上述の探索コストが予め定めた第３閾値より大きいこと（或いは、上述の探索コストが予め定めた第３閾値以上であること）という条件を含めることができる。この時、第３閾値は、上述の第２閾値と同じ値に設定されてもよい。

また、洗練化部１１１Ｃは、かかる終了条件が満足されていると判定した場合に、ステップＳ４５での探索結果を破棄して、洗練化処理を行わなかった場合と同じ動きベクトル（すなわち、動きベクトル符号化部１１１Ｂで符号化された動きベクトル）を、当該ブロックの最終的な動きベクトルとしてもよい。

また、ステップＳ４６における終了条件（打ち切り条件）には、例えば、ステップＳ４３で算出した初期位置での探索コストと、ステップＳ４５で算出した修正後動きベクトルに対応する探索コストとの差分値が、予め定めた第４閾値より小さいこと（或いは、上述の差分値が予め定めた第４閾値以下であること）という条件を含んでもよい。この時、第４閾値は、第１の閾値と同じ値に設定されてもよい。

また、洗練化部１１１Ｃは、かかる終了条件が満足されていると判定した場合に、ステップＳ４５での探索結果を破棄して、洗練化処理を行わなかった場合と同じ動きベクトルを、当該ブロックの最終的な動きベクトルとしてもよい。

ステップＳ４７において、洗練化部１１１Ｃは、ステップＳ４３で決定した整数画素精度での修正後の動きベクトルを初期値として、非整数画素精度での動きベクトルの探索を行う。ここで、動きベクトルの探索方法としては、既知の手法を用いることができる。

また、洗練化部１１１Ｃは、実際に探索を行わずに、ステップＳ４３の結果を入力として、パラボラフィッティング等のパラメトリックなモデルを用いて非整数画素精度での動きベクトルを決定することもできる。

洗練化部１１１Ｃは、ステップＳ４７において、非整数画素精度での修正後の動きベクトルを決定した後、ステップＳ４８へ移り洗練化処理を終了する。ここでは、便宜上、非整数画素精度の修正後動きベクトルという表現を用いたが、ステップＳ４７の探索結果により、結果的に、ステップＳ４５で求めた整数画素精度の動きベクトルと同じ値になる可能性もある。

以上では、便宜上ステップＳ４３とステップＳ４５とを別のステップとして説明したが、両者の処理は、同一のステップ内で実行されてもよい。例えば、本処理手順は、ステップＳ４２の直後にステップＳ４５に移り、洗練化部１１１Ｃは、ステップＳ４５において、初期位置での探索コスト及び画素間隔位置での修正後動きベクトルに対応する探索コストの両方を算出することができる。その後、本処理手順は、ステップＳ４６に移り、洗練化部１１１Ｃは、ステップＳ４４として説明した条件及びステップＳ４６として説明した条件の中の少なくともいずれか一つを勘案して、終了条件が満たされているか否かについての判定を行うことができる。

また、例えば、ステップＳ４８において、洗練化部１１１Ｃは、初期位置での探索コストや画素間隔位置での修正後動きベクトルに対応する探索コストを用いて、探索結果を破棄するかどうか決定することもできる。

例えば、初期位置での探索コストが、第２閾値より大きい場合（或いは、第２閾値以上である場合）、洗練化部１１１Ｃは、かかる探索結果を破棄して、洗練化処理を行わなかった場合と同じ動きベクトル（すなわち、動きベクトル符号化部１１１Ｂで符号化された動きベクトル）を、当該ブロックの最終的な動きベクトルとしてもよい。

また、例えば、整数画素間隔位置での修正後動きベクトルに対応する探索コストが、第３閾値より大きい場合（或いは、第３閾値以上である場合）、洗練化部１１１Ｃは、かかる探索結果を破棄して、洗練化処理を行わなかった場合と同じ動きベクトルを、当該ブロックの最終的な動きベクトルとしてもよい。

さらに、例えば、初期位置での探索コストと整数画素間隔位置での修正後動きベクトルに対応する探索コストとの差分値が、第４閾値より小さかった場合（或いは、第４閾値以下である場合）、洗練化部１１１Ｃは、かかる探索結果を破棄して、洗練化処理を行わなかった場合と同じ動きベクトルを、当該ブロックの最終的な動きベクトルとしてもよい。

以上では、ステップＳ４１〜Ｓ４８を全て含む構成について説明したが、ステップＳ４４及びステップＳ４６は、必ずしも構成に含まれている必要はない。

洗練化部１１１Ｃは、予め定めた閾値より大きなブロックを、小さなサブブロックに分割してサブブロックごとに洗練化処理を実行してもよい。例えば、洗練化部１１１Ｃは、洗練化処理の実行単位を１６×１６画素と設定しておき、ブロックの水平方向又は垂直方向のサイズが１６画素より大きい場合、それぞれ１６画素以下となるように分割することができる。この時、洗練化処理の基準となる動きベクトルとしては、同一ブロック内の全てのサブブロックについて、動きベクトル符号化部１１１Ｂで符号化された当該ブロックの動きベクトルを用いる。

サブブロックごとに処理を行う場合、洗練化部１１１Ｃは、図４の全ての手順をサブブロックごとに実行してもよい。また、洗練化部１１１Ｃは、図４の処理の一部のみをサブブロックごとに処理してもよい。具体的には、洗練化部１１１Ｃは、図４のステップＳ４１及びＳ４２については、ブロック毎に処理を行い、ステップＳ４３からＳ４８について、サブブロックごとに処理してもよい。

予測信号生成部１１１Ｄは、洗練化部１１１Ｃから出力される修正された動きベクトルに基づいて予測信号を生成するように構成されている。

ここで、後述するように、予測信号生成部１１１Ｄは、上述の洗練化処理の過程で算出される情報（例えば、探索コスト）に基づいて、ブロック毎にＢＤＯＦ（Ｂｉ-Ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ Ｆｌｏｗ）処理を行うるか否かについて判定するように構成されている。

具体的には、予測信号生成部１１１Ｄは、動きベクトルが修正されない場合には、動きベクトル符号化部１１１Ｂで符号化された動きベクトルに基づいて予測信号を生成するように構成されている。一方で、予測信号生成部１１１Ｄは、動きベクトルが修正される場合には、洗練化部１１１Ｃで修正された動きベクトルに基づいて予測信号を生成するように構成されている。

図５は、予測信号生成部１１１Ｄの処理手順の一例を示すフローチャートである。ここで、洗練化部１１１Ｃにてサブブロック単位で洗練化処理が行われた場合、予測信号生成部１１１Ｄの処理もサブブロック単位で実行される。その場合、以下の説明のブロックという単語は、適宜、サブブロックに読み替えることができる。

また、洗練化部１１１Ｃにて洗練化処理が行われなかったブロックについても、予め定めた閾値よりブロックサイズが大きな場合、小さなサブブロックに分割してサブブロックごとに洗練化処理を実行してもよい。例えば、洗練化部１１１Ｃと同様に、予測信号生成処理の実行単位を１６×１６画素と設定しておき、ブロックの水平方向又は垂直方向のサイズが１６画素より大きい場合、それぞれ１６画素以下となるように分割することができる。この場合も、以下の説明のブロックという単語は、適宜、サブブロックに読み替えることができる。

図５に示すように、ステップＳ５１において、予測信号生成部１１１Ｄは、予測信号を生成する。

具体的には、予測信号生成部１１１Ｄは、動きベクトル符号化部１１１Ｂで符号化された動きベクトル或いは洗練化部１１１Ｃで符号化された動きベクトルを入力として、かかる動きベクトルが指す位置が非整数画素位置の場合は、参照フレームの画素値にフィルタを適用して非整数画素位置の画素を内挿する。ここで、具体的なフィルタについては、非特許文献１で開示されている最大８タップの水平垂直可分型のフィルタを適用することができる。

予測信号生成部１１１Ｄは、当該ブロックが双予測を行うブロックである場合は、一つ目（以後、Ｌ０と呼ぶ）の参照フレーム及び動きベクトルによる予測信号及び二つ目（以後、Ｌ１と呼ぶ）の参照フレーム及び動きベクトルによる予測信号の両方を生成する。

ステップＳ５２において、予測信号生成部１１１Ｄは、後述するＢＤＯＦ処理の適用条件が満足されているかどうかについて確認する。

かかる適用条件としては、非特許文献１に記載の条件を適用できる。適用条件は、少なくとも当該ブロックが双予測を行うブロックであることという条件を含む。また、適用条件は、非特許文献１に記載のように、当該ブロックの動きベクトルがＳｙｍｍｅｔｒｉｃ ＭＶＤモードで符号化されていないことという条件を含んでもよい。

適用条件が満足されていない場合、本処理手順は、ステップＳ５５に移って処理を終了する。この時、予測信号生成部１１１Ｄは、ステップＳ５１で生成した予測信号を最終的な予測信号として出力する。

一方、適用条件が全て満足される場合、本処理手順は、ステップＳ５３へ移る。ステップＳ５３において、本処理手順は、適用条件を満足しているブロックについて、実際に、ステップＳ５４のＢＤＯＦ処理を実行するかどうかについて判定する。

以下では、探索コストとして絶対値差分和を用いた場合を例に説明するが、他の指標を探索コストに用いることもできる。例えば、局所的な平均値を除去した後の信号同士の絶対値差分和や二乗誤差和等、画像信号同士の類似性を判断するための指標値であれば、かかる探索コストとして用いることができる。

例えば、予測信号生成部１１１Ｄは、Ｌ０の予測信号とＬ１の予測信号との絶対値差分和を算出し、算出された値が予め定めた閾値よりも小さい場合（或いは、算出された値が予め定めた閾値以下であった場合）は、ＢＤＯＦ処理を行わないといったような判定を行う。

また、例えば、予測信号生成部１１１Ｄは、Ｌ０の予測信号とＬ１の予測信号との絶対値差分和を算出し、算出された値が予め定めた閾値より大きい場合（或いは、算出された値が予め定めた閾値以上であった場合）は、ＢＤＯＦ処理を行わないといったような判定を行うこともできる。

ここで、予測信号生成部１１１Ｄは、洗練化部１１１Ｃで洗練化処理を実行したブロックについては、ＢＤＯＦ処理の適用の有無の判断に、洗練化処理の結果を用いることもできる。

予測信号生成部１１１Ｄは、上述の洗練化処理の過程で算出された探索コスト（例えば、Ｌ０側の参照ブロックの画素値とＬ１側の参照ブロックの画素値との絶対値差分和）を用いて、ＢＤＯＦ処理を適用するか否かを判定することもできる。

例えば、予測信号生成部１１１Ｄは、ステップＳ４５における整数画素精度での探索において、上述の探索コスト（絶対値差分和）が最小となる探索点の絶対値差分和が、予め定めた第５閾値よりも小さい場合（或いは、予め定めた第５閾値以下である場合）に、ＢＤＯＦ処理を適用しないという判定をすることができる。この時、第５閾値は、第１閾値と同じ値に設定されてもよい。

例えば、予測信号生成部１１１Ｄは、ステップＳ４５における整数画素精度での探索において、上述の探索コスト（絶対値差分和）が最小となる探索点の絶対値差分和が、予め定めた第６閾値よりも大きい場合（或いは、予め定めた第６閾値以上である場合）に、ＢＤＯＦ処理を適用しないという判定をすることができる。この時、第６閾値は、第２閾値又は第３閾値と同じ値に設定されてもよい。

例えば、予測信号生成部１１１Ｄは、ステップＳ４３で算出した初期位置での探索コストが、予め定めた第５閾値よりも小さい場合（或いは、予め定めた第５閾値以下である場合）に、ＢＤＯＦ処理を適用しないという判定をすることができる。この時、第５閾値は、第１閾値と同じ値に設定されてもよい。

例えば、予測信号生成部１１１Ｄは、ステップＳ４３で算出した初期位置での探索コストが、予め定めた第６閾値よりも大きい場合（或いは、予め定めた第６閾値以上である場合）に、ＢＤＯＦ処理を適用しないという判定をすることができる。この時、第６閾値は、第２閾値又は第３閾値と同じ値に設定されてもよい。

例えば、予測信号生成部１１１Ｄは、ステップＳ４３で算出した初期位置での探索コストと、ステップＳ４５における整数画素精度での探索における最小の探索コストとの差分値が、予め定めた第７閾値よりも小さい場合（或いは、予め定めた第７閾値以下である場合）に、ＢＤＯＦ処理を適用しないという判定をすることができる。この時、第７閾値は、第１閾値又は第４閾値と同じ値に設定されてもよい。

また、予測信号生成部１１１Ｄは、洗練化処理が実行されたブロックでは洗練化処理の結果による方法、それ以外のブロックでは絶対値差分和による方法で、それぞれ判断してもよい。

また、予測信号生成部１１１Ｄは、上述のように、新たにＬ０側の予測信号とＬ１側の予測信号との絶対値差分和を算出する処理について行わずに、洗練化処理の結果から得られる情報のみを用いて、ＢＤＯＦ処理の適否を判定するという構成をとることもできる。この場合、予測信号生成部１１１Ｄは、ステップＳ５３においては、予測信号生成部１１１Ｄは、洗練化処理が実行されていないブロックについては常にＢＤＯＦ処理を適用すると判断することになる。

かかる構成によれば、この場合、予測信号生成部１１１Ｄにおける絶対値差分和の算出処理を行う必要がないため、ハードウェア実装の観点で処理量及び処理遅延を削減することができる。

また、かかる構成によれば、ソフトウェア実装の観点において、洗練化処理の結果を用いて、ＢＤＯＦ処理の効果が低いと推測されるブロックにおいてＢＤＯＦ処理を実行しないようにすることで、符号化効率は維持しつつ、画像全体での処理時間を短縮することができる。

また、上述の洗練化処理の結果を用いる判定処理自体は、洗練化部１１１Ｃの内部で実行され、その結果を示す情報が予測信号生成部１１１Ｄへ伝達されることで、予測信号生成部１１１Ｄは、ＢＤＯＦ処理の適否を判定することもできる。

例えば、上述のように、洗練化処理前後の動きベクトルや探索コストの値を判定し、ＢＤＯＦ処理を適用しない条件に当てはまる場合は「１」となり、ＢＤＯＦ処理を適用しない条件に当てはまらない場合及び洗練化処理が適用されなかった場合には「０」となるようなフラグを用意しておき、予測信号生成部１１１Ｄは、かかるフラグの値を参照してＢＤＯＦ処理の適否を判定することができる。

また、ここでは、便宜上、ステップＳ５２及びステップＳ５３を異なるステップとして説明したが、ステップＳ５２及びステップＳ５３における判定を同時に行うことも可能である。

上述のような判定において、ＢＤＯＦ処理を適用しないと判定したブロックについては、本処理手順は、ステップＳ５５へ移る。それ以外のブロックについては、本処理手順は、ステップＳ５４へ移る。

ステップＳ５４において、予測信号生成部１１１Ｄは、ＢＤＯＦ処理を実行する。ＢＤＯＦ処理自体は、既知の手法を用いることができるため、詳細についての説明は省略する。ＢＤＯＦ処理が実施された後、本処理手順は、ステップＳ５５に移り処理を終了する。

上述の第１閾値〜第７閾値は、それぞれブロックサイズ（ブロックの高さと幅の積）または当該ブロック内でＳＡＤなどの探索コスト算出に用いる画素数に応じて値を変化させるように定義されていてもよい。

上述の第１閾値〜第７閾値は、それぞれ当該ブロックの量子化パラメータ（ＱＰ）に応じて値を変化させるように定義されていてもよい。例えば、量子化パラメータが大きいときにコスト値も大きくなりやすい傾向がある場合は、量子化パラメータが大きくなるにつれて閾値も大きくなるように定義することができる。

（画像復号装置２００）
以下、図６を参照して、本実施形態に係る画像復号装置２００について説明する。図６は、本実施形態に係る画像復号装置２００の機能ブロックの一例について示す図である。

図６に示すように、画像復号装置２００は、復号部２１０と、逆変換・逆量子化部２２０と、加算器２３０と、インター予測部２４１と、イントラ予測部２４２と、インループフィルタ処理部２５０と、フレームバッファ２６０とを有する。

復号部２１０は、画像符号化装置１００によって生成される符号化データを復号し、係数レベル値を復号するように構成されている。

ここで、例えば、復号は、符号化部１４０で行われるエントロピー符号化とは逆の手順のエントロピー復号である。

また、復号部２１０は、符号化データの復号処理によって制御データを取得するように構成されていてもよい。

なお、上述したように、制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズ等のサイズデータを含んでもよい。

逆変換・逆量子化部２２０は、復号部２１０から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部２２０は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。

ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。

加算器２３０は、逆変換・逆量子化部２２０から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、フィルタ処理前復号信号をイントラ予測部２４２及びインループフィルタ処理部２５０に出力するように構成されている。

ここで、フィルタ処理前復号信号は、イントラ予測部２４２で用いる参照ブロックを構成する。

インター予測部２４１は、インター予測部１１１と同様に、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。

具体的には、インター予測部２４１は、符号化データから復号した動きベクトルと参照フレームに含まれる参照信号とに基づいて予測信号を予測ブロック毎に生成するように構成されている。インター予測部２４１は、予測信号を加算器２３０に出力するように構成されている。

イントラ予測部２４２は、イントラ予測部１１２と同様に、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。

具体的には、イントラ予測部２４２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。イントラ予測部２４２は、予測信号を加算器２３０に出力するように構成されている。

インループフィルタ処理部２５０は、インループフィルタ処理部１５０と同様に、加算器２３０から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ２６０に出力するように構成されている。

ここで、例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック、変換ブロック、あるいはそれらを分割したサブブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。

フレームバッファ２６０は、フレームバッファ１６０と同様に、インター予測部２４１で用いる参照フレームを蓄積するように構成されている。

ここで、フィルタ処理後復号信号は、インター予測部２４１で用いる参照フレームを構成する。

（インター予測部２４１）
以下、図７を参照して、本実施形態に係るインター予測部２４１について説明する。図７は、本実施形態に係るインター予測部２４１の機能ブロックの一例について示す図である。

図７に示すように、インター予測部２４１は、動きベクトル復号部２４１Ｂと、洗練化部２４１Ｃと、予測信号生成部２４１Ｄとを有する。

インター予測部２４１は、動きベクトルに基づいて予測ブロックに含まれる予測信号を生成するように構成されている予測部の一例である。

動きベクトル復号部２４１Ｂは、画像符号化装置１００から受信する制御データの復号によって動きベクトルを取得するように構成されている。

洗練化部２４１Ｃは、洗練化部１１１Ｃと同様に、動きベクトルを修正する洗練化処理を実行するように構成されている。

予測信号生成部２４１Ｄは、予測信号生成部１１１Ｄと同様に、動きベクトルに基づいて予測信号を生成するように構成されている。

本実施形態に係る画像符号化装置１００及び画像復号装置２００によれば、洗練化部１１１Ｃ、２４１Ｃにおいて、探索コストが予め定めた閾値よりも大きい場合（或いは、探索コストが予め定めた閾値以上である場合）に、探索結果を破棄する構成をとることができる。ここで、洗練化処理は、当該ブロックと、Ｌ０側の参照ブロックと、Ｌ１側の参照ブロック間の画素値の相関がそれぞれ高い場合に、符号化効率を改善することができる。上述の構成とすることで、画像符号化装置１００側から付加情報（洗練化処理を適用するか否かについての情報）を伝送することなく、時間方向の相関が小さいブロックにおいて洗練化処理を行わないようにすることができ、符号化効率の低下を防ぐことができる。

本実施形態に係る画像符号化装置１００及び画像復号装置２００によれば、洗練化部１１１Ｃ、２４１Ｃにおいて、初期位置での探索コストと、探索後の点に対応する探索コストとの差分値が、予め定めた閾値よりも小さい場合（或いは、予め定めた閾値以下である場合）に、探索結果を破棄する構成をとることができる。これにより、ノイズ等の影響で、偶然、初期位置よりもわずかに小さな探索コストが得られた点に、不必要に動きベクトルを修正することを避けることができ、符号化効率の低下を防ぐことができる。

本実施形態に係る画像符号化装置１００及び画像復号装置２００によれば、洗練化部１１１Ｃ、２４１Ｃにおいて、初期位置と探索点との差分ベクトルのノルムを探索コストに含める構成をとることができる。この場合、絶対値誤差和等の類似度を評価する指標値が、各探索点でほぼ同じ値になった場合、差分ベクトルのノルムで正則化することで、不必要に動きベクトルの修正量が大きくならないようにすることができ、符号化効率の低下を防ぐことができる。

本実施形態に係る画像符号化装置１００及び画像復号装置２００によれば、予測信号生成部１１１Ｄ、２４１ＤにおいてＢＤＯＦ処理を実行するか否かの判定に、Ｌ０側の参照ブロックとＬ１側の参照ブロックの類似度（例えば、絶対値誤差和）が予め定めた閾値よりも大きいこと（或いは、かかる類似度が予め定めた閾値以上であること）という条件を含めることができる。ＢＤＯＦ処理も、洗練化処理と同様に、当該ブロックとＬ０側の参照ブロックとＬ１側の参照ブロックとの相関が高い場合に有効な処理である。よって、上述の構成とすることで、画像符号化装置１００側から付加情報（ＢＤＯＦ処理を適用するか否かについての情報）を伝送することなく、時間方向の相関が小さいブロックにおいてＢＤＯＦ処理を行わないようにすることができ、符号化効率の低下を防ぐことができる。また、上述の判定に、上述の洗練化処理の結果を用いることができる。これにより、上述の絶対値差分を算出する処理を削減することができる。

また、上述の画像符号化装置１００及び画像復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

なお、上記の各実施形態では、本発明を画像符号化装置１００及び画像復号装置２００への適用を例にして説明したが、本発明は、かかる例のみに限定されるものではなく、画像符号化装置１００及び画像復号装置２００の各機能を備えた画像符号化/復号システムにも同様に適用できる。

本発明によれば、時間方向の相関が低いブロックについて洗練化処理を行わないようにすることで、符号化効率の低下を防ぐことができる。

１０…画像処理システム
１００…画像符号化装置
１１１、２４１…インター予測部
１１１Ａ…動きベクトル探索部
１１１Ｂ…動きベクトル符号化部
１１１Ｃ、２４１Ｃ…洗練化部
１１１Ｄ、２４１Ｄ…予測信号生成部
１１２、２４２…イントラ予測部
１２１…減算器
１２２、２３０…加算器
１３１…変換・量子化部
１３２、２２０…逆変換・逆量子化部
１４０…符号化部
１５０、２５０…インループフィルタ処理部
１６０、２６０…フレームバッファ
２００…画像復号装置
２１０…復号部
２４１Ｂ…動きベクトル復号部

Claims (3)

1. 画像復号装置であって、
   符号化データから動きベクトルを復号するように構成されている動きベクトル復号部と、
   洗練化部とを備え、
   前記洗練化部は、洗練化処理を適用するための所定条件が満足されているかどうかについて判定し、前記所定条件が全て満足されていると判定した場合に、
   前記動きベクトル復号部によって復号された前記動きベクトルの値を初期値として動きベクトルの探索を行い、
   初期探索点での探索コストが予め定めた第１閾値よりも小さい場合、前記動きベクトルの探索を終了し、
   前記初期探索点での探索コストが前記第１閾値以上である場合、整数画素間隔位置での探索を行い、
   前記初期探索点での探索コストと前記整数画素間隔位置での探索における最小探索コストとの差分値が予め定めた第３閾値よりも小さい場合或いは前記差分値が前記閾値以下である場合に、前記整数画素間隔位置での探索結果を破棄するように構成されていることを特徴とする画像復号装置。
2. 符号化データから動きベクトルを復号する工程と、
   洗練化処理を適用するための所定条件が満足されているかどうかについて判定し、前記所定条件が全て満足されていると判定した場合に、
   復号された前記動きベクトルの値を初期値として動きベクトルの探索を行う工程と、
   初期探索点での探索コストが予め定めた第１閾値よりも小さい場合、前記動きベクトルの探索を終了する工程と、
   前記初期探索点での探索コストが前記第１閾値以上である場合、整数画素間隔位置での探索を行う工程と、
   前記初期探索点での探索コストと前記整数画素間隔位置での探索における最小探索コストとの差分値が予め定めた第３閾値よりも小さい場合或いは前記差分値が前記閾値以下である場合に、前記整数画素間隔位置での探索結果を破棄する工程とを有することを特徴とする画像復号方法。
3. 画像復号装置で用いるプログラムであって、コンピュータに、
   符号化データから動きベクトルを復号する工程と、
   洗練化処理を適用するための所定条件が満足されているかどうかについて判定し、前記所定条件が全て満足されていると判定した場合に、
   復号された前記動きベクトルの値を初期値として動きベクトルの探索を行う工程と、
   初期探索点での探索コストが予め定めた第１閾値よりも小さい場合、前記動きベクトルの探索を終了する工程と、
   前記初期探索点での探索コストが前記第１閾値以上である場合、整数画素間隔位置での探索を行う工程と、
   前記初期探索点での探索コストと前記整数画素間隔位置での探索における最小探索コストとの差分値が予め定めた閾値よりも小さい場合或いは前記差分値が前記閾値以下である場合に、前記整数画素間隔位置での探索結果を破棄する工程とを実行させることを特徴とするプログラム。
   

Images