JP2023101834A - 補正装置及びプログラム - Google Patents

Abstract

【課題】符号化効率を改善する。【解決手段】補正装置は、複数の参照画像を用いて双予測を行うことにより、対象のブロックに対応する予測画像のブロックを生成する動き補償予測部と、前記双予測を行う場合に限り、前記複数の参照画像間の類似度を示す評価値を前記ブロックよりも小さい単位であって複数の画素からなる小ブロックごとに算出する評価部と、前記対象のブロックに対応する予測残差を取得する取得部と、前記取得された予測残差を前記予測画像のブロックと合成して前記対象のブロックを再構成する合成部と、を備える。前記評価部は、前記複数の参照画像間の画素単位での差分絶対値を算出し、当該画素単位での差分絶対値に応じて前記評価値を算出する。前記評価部が算出する前記評価値は、前記合成部の合成対象を前記小ブロック単位で補正するために用いられる。【選択図】図６

Description

本発明は、補正装置及びプログラムに関する。

画像をブロック分割して得られた符号化対象ブロックごとに符号化する従来の画像符号化装置は、複数の参照画像を用いて動き補償予測を行い、符号化対象ブロックに対応する予測画像を生成し、当該符号化対象ブロックと予測画像との間の画素単位での差分を表す
予測残差に対して直交変換を行って直交変換係数を生成し、当該直交変換係数を量子化し、量子化された直交変換係数に対してエントロピー符号化を行う。

具体的には、エントロピー符号化は、２次元に配列された直交変換係数を所定のスキャン順で読み出して１次元の直交変換係数列に変換するシリアライズという処理を含む。このシリアライズとは、１次元の直交変換係数列の先頭の直交変換係数から順に符号化する処理をいう。

一般的に、画像符号化における直交変換により、直交変換係数は低域にエネルギーが集
中し、高域において量子化後のエネルギー（すなわち、量子化直交変換係数の値）がゼロになることが知られている。このため、従来においては、量子化直交変換係数を低域から高域のスキャン順に読み出し、最後の有意係数（非ゼロ係数）に対して終了フラグを付与することにより、有意係数のみを効率的に符号化している（例えば、非特許文献１参照）。

Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ－Ｔ Ｈ．２６５，（１２／２０１６）， "Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ"， Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ

ＨＥＶＣ（非特許文献１参照）では、直交変換処理を行うモードのほか、直交変換処理を行わない変換スキップモードを適用可能である。変換スキップモードを適用する場合、予測残差に対する直交変換を行わないため、低域にエネルギーが集中することを期待できない。

このため、変換スキップモードにおいて、直交変換を行うモードと同じ方法でエントロピー符号化を行うと、効率的なエントロピー符号化を行うことができず、符号化効率が低下してしまう。

そこで、本発明は、複数の参照画像を用いて動き補償予測を行う場合において符号化効率を改善可能な画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。

第１の特徴に係る画像符号化装置は、入力画像を分割して得られたブロック単位の符号化対象ブロックを符号化する画像符号化装置であって、前記符号化対象ブロックの直交変換処理をスキップする変換スキップモードにおいて、複数の参照画像を用いて動き補償予測を行うことにより、前記符号化対象ブロックに対応する予測画像を生成する動き補償予測部と、前記複数の参照画像間の類似度を画素単位で評価する評価部と、前記符号化対象ブロックと前記予測画像との間の画素単位での差分を表す予測残差を量子化して得られる量子化予測残差又は前記量子化予測残差を逆量子化して得られる復元予測残差と、前記評価部により評価された前記類似度との間の相関を表す相似度を算出し、前記相似度が閾値以上であるかを判定する判定部と、前記判定部により前記相似度が前記閾値以上であると判定された場合に、前記評価部により評価された前記類似度に応じた順に前記量子化予測残差を符号化する符号化部とを備えることを要旨とする。

第２の特徴に係る画像復号装置は、符号化データからブロック単位の復号対象ブロックを復号する画像復号装置であって、前記復号対象ブロックの逆直交変換処理をスキップする変換スキップモードにおいて、複数の参照画像を用いて動き補償予測を行うことにより、前記復号対象ブロックに対応する予測画像を生成する動き補償予測部と、前記複数の参照画像間の類似度を画素単位で評価する評価部と、前記符号化データを復号して、前記復号対象ブロックと前記予測画像との間の画素単位での差分を表す量子化予測残差を取得する復号部と、前記復号部により取得された前記量子化予測残差又は当該量子化予測残差を逆量子化して得られた復元予測残差と、前記評価部により評価された前記類似度との間の相関を表す相似度を算出し、前記相似度が閾値以上であるかを判定する判定部と、前記判定部により前記相似度が前記閾値以上であると判定された場合に、前記評価部により評価された前記類似度に応じた順に前記量子化予測残差を並び替えて出力する並び替え部とを備えることを要旨とする。

第３の特徴に係るプログラムは、コンピュータを第１の特徴に係る画像符号化装置として機能させることを要旨とする。

第４の特徴に係るプログラムは、コンピュータを第２の特徴に係る画像復号装置として機能させることを要旨とする。

本発明によれば、複数の参照画像を用いて動き補償予測を行う場合において符号化効率を改善可能な画像符号化装置、画像復号装置、及びプログラムを提供できる。

実施形態に係る画像符号化装置の構成を示す図である。 実施形態に係る画像復号装置の構成を示す図である。 実施形態に係る動き補償予測の一例を示す図である。 実施形態に係る動き補償予測により生成される予測画像の一例を示す図である。 実施形態に係る評価部の構成の一例を示す図である。 実施形態に係るエントロピー符号化部の構成の一例を示す図である。 実施形態に係る確度インデックスの生成例を示す図である。 実施形態に係る予測残差の並び替えの一例を示す図である。 実施形態に係るエントロピー符号復号部の構成の一例を示す図である。 実施形態に係る画像符号化装置における処理フローを示す図である。 実施形態に係る画像復号装置における処理フローを示す図である。 実施形態の変更例１に係る重複動き補償の一例を示す図である。 実施形態の変更例３に係る画像符号化装置の構成を示す図である。 実施形態の変更例３に係る並び替え部の動作の一例を示す図である。 実施形態の変更例３に係る画像復号装置の構成を示す図である。 実施形態の変更例４に係る並び替え部の動作の一例を示す図である。

以下、図面を参照しながら本発明の実施形態に係る画像符号化装置及び画像復号装置について説明する。本発明の実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に代表される動画像の符号化及び復号を行う。なお、図面の記載において、構成が同一又は類似の部分については同一又は類似の符号を付している。

＜１．画像符号化装置の構成＞
図１は、実施形態に係る画像符号化装置１Ａの構成を示す図である。図１に示すように、画像符号化装置１Ａは、ブロック分割部１００と、減算部１０１と、変換部１０２ａと、量子化部１０２ｂと、切替部１０２ｃと、エントロピー符号化部１０３Ａと、逆量子化部１０４ａと、逆変換部１０４ｂと、切替部１０４ｃと、合成部１０５と、イントラ予測部１０６と、ループフィルタ１０７と、フレームメモリ１０８と、動き補償予測部１０９と、切替部１１０と、評価部１１１とを備える。

ブロック分割部１００は、フレーム（或いはピクチャ）単位の入力画像をブロック状の小領域に分割し、画像ブロックを減算部１０１（及び動き補償予測部１０９）に出力する。画像ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。但し、画像ブロックの形状は正方形に限定されるものではなく、長方形や台形や三角形やＬ字等の形状であってもよい。画像ブロックは、画像符号化装置１Ａが符号化を行う単位及び画像復号装置２Ａ（図２参照）が復号を行う単位であり、かかる画像ブロックを符号化対象ブロックという。かかる画像ブロックとは、符号化ユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）や符号化ブロック（ＣＢ：Ｃｏｄｉｎｇ Ｂｌｏｃｋ）ともいう。

減算部１０１は、ブロック分割部１００から入力された符号化対象ブロックと、符号化対象ブロックに対応する予測画像（予測画像ブロック）との画素単位の差分を表す予測残差を算出する。具体的には、減算部１０１は、符号化対象ブロックの各画素値から予測画像の各画素値を減算することにより予測残差を算出し、算出した予測残差を変換部１０２ａに出力する。なお、予測画像は、後述するイントラ予測部１０６又は動き補償予測部１０９から切替部１１０を介して減算部１０１に入力される。

変換部１０２ａ、量子化部１０２ｂ、及び切替部１０３ｃは、ブロック単位で直交変換処理及び量子化処理を行う変換・量子化部１０２を構成する。

変換部１０２ａは、減算部１０１から入力された予測残差に対して直交変換することにより周波数成分ごとに直交変換係数を算出し、算出した直交変換係数を量子化部１０２ｂに出力する。直交変換には、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ： Ｋａｒｈｕｎｅｎ‐Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ）等を用いてもよい。かかる直交変換により、画素領域の残差信号は周波数領域に変換される。なお、一般的に、直交変換により画素領域の残差信号が低域側にエネルギーが集中する。

なお、直交変換の演算に無理数や浮動小数を用いると、符号化装置や復号装置の演算方法や精度により装置間で演算結果に微細な差が生じる場合がある。この差を避けるために、直交変換基底を整数や有理数で模擬した変換を用いても良い。このような変換は直交性を持たない場合があるが、本実施例では直交性を持たない変換についても直交変換の用語を用い、逆変換についても、直交性を持たない逆変換を逆直交変換の用語を用いる。

切替部１０２ｃは、量子化部１０２ｂの入力を、変換部１０２ａの出力と、減算部１０１の出力との間で切替える。通常、切替部１０２ｃは変換部１０２ａの出力である直交変換係数を選択し、後述する変換スキップ符号化対象ブロックの場合は減算部１０１の出力である予測残差を選択する。したがって、変換スキップ符号化対象ブロックの場合は、予測残差と直交変換係数とを同一の信号とみなすことができる。また、変換スキップ符号化対象ブロックの場合は、量子化予測残差と量子化直交変換係数とを同一の信号とみなすことができる。

量子化部１０２ｂは、変換部１０２ａから切替部１０２ｃを介して入力された直交変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化された直交変換係数（量子化直交変換係数）を生成する。量子化パラメータ（Ｑｐ）は、ブロック内の各直交変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各直交変換係数を量子化する際の量子化値を要素とする行列である。量子化部１０２ｂは、生成した量子化直交変換係数をエントロピー符号化部１０３Ａ及び逆量子化部１０４ａに出力する。

エントロピー符号化部１０３Ａは、量子化部１０２ｂから入力された量子化直交変換係数に対してエントロピー符号化し、かかるエントロピー符号化のデータ圧縮により符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１Ａの外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。

エントロピー符号化は、２次元に配列された量子化直交変換係数を所定のスキャン順で読み出して１次元の量子化直交変換係数列に変換するシリアライズという処理を含み、１次元の量子化直交変換係数列の先頭の量子化直交変換係数から順に符号化する。直交変換により低域の周波数にエネルギーが集中し、量子化により高域におけるエネルギー（量子化直交変換係数の値）がゼロに収束することになるため、低域から高域のスキャン順に量子化直交変換係数を読み出し、スキャン順の最後の有意係数に対して終了フラグを付与することにより、有意係数のみを効率的に符号化している。

なお、エントロピー符号化部１０３Ａには、イントラ予測部１０６及び動き補償予測部１０９から予測に関する情報が入力され、ループフィルタ１０７からフィルタ処理に関する情報が入力される。エントロピー符号化部１０３Ａは、これらの情報のエントロピー符号化も行う。また、エントロピー符号化部１０３Ａは、符号化対象ブロックに変換スキップモードが適用される場合、当該符号化対象ブロックに変換スキップモードが適用される旨の変換スキップフラグを符号化データに含める。

逆量子化部１０４ａ、逆変換部１０４ｂ、及び切替部１０４ｃは、ブロック単位で逆量子化処理及び逆直交変換処理を行う逆量子化・逆変換部１０４を構成する。

逆量子化部１０４ａは、量子化部１０２ｂが行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１０４ａは、量子化部１０２ｂから入力された量子化直交変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、直交変換係数を復元し、復元した直交変換係数(復元直交変換係数)を逆変換部１０４ｂに出力する。

切替部１０４ｃは、逆量子化・逆変換部１０４の出力を、逆変換部１０４ｂの出力と、逆量子化部１０４ａの出力との間で切替える。通常は逆変換部１０４ｂの出力である復元直交変換係数を選択し、後述する変換スキップ符号化対象ブロックの場合は逆量子化部１０４ａの出力である復元予測残差を選択する。したがって、変換スキップ符号化対象ブロックの場合は、復元予測残差と復元直交変換係数とを同一の信号とみなすことができる。また、変換スキップ符号化対象ブロックの場合は、量子化直交変換係数と量子化予測誤差とを同一の信号とみなすことができる。

逆変換部１０４ｂは、変換部１０２ａが行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１０２ａが離散コサイン変換を行った場合には、逆変換部１０４ｂは逆離散コサイン変換を行う。逆変換部１０４ｂは、逆量子化部１０４ａから入力された復元直交変換係数に対して逆直交変換を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１０５に出力する。

合成部１０５は、逆変換部１０４ｂから切替部１０４ｃを介して入力された復元予測残差を、切替部１１０から入力された予測画像と画素単位で合成する。合成部１０５は、復元予測残差の各画素値と予測画像の各画素値を加算して符号化対象ブロックを再構成し、再構成した符号化対象ブロックである再構成ブロックをイントラ予測部１０６及びループフィルタ１０７に出力する。

イントラ予測部１０６は、合成部１０５から入力された再構成ブロックを用いてイントラ予測を行ってイントラ予測画像を生成し、イントラ予測画像を切替部１１０に出力する。また、イントラ予測部１０６は、選択したイントラ予測モードの情報等をエントロピー符号化部１０３Ａに出力する。

ループフィルタ１０７は、合成部１０５から入力された再構成ブロックに対して、後処理としてのフィルタ処理を行い、フィルタ処理後の再構成ブロックをフレームメモリ１０８に出力する。また、ループフィルタ１０７は、フィルタ処理に関する情報をエントロピー符号化部１０３Ａに出力する。フィルタ処理には、デブロッキングフィルタ処理とサンプルアダプティブオフセット処理とが含まれる。

フレームメモリ１０８は、ループフィルタ１０７から入力された再構成ブロックをフレーム単位で復号済み画像として記憶する。

動き補償予測部１０９は、フレームメモリ１０８に記憶された１又は複数の再構成ブロック（復号済み画像）を参照画像として用いるインター予測を行う。具体的には、動き補償予測部１０９は、ブロックマッチングなどの手法により動きベクトルを算出し、動きベクトルに基づいて動き補償予測画像を生成し、動き補償予測画像を切替部１１０に出力する。また、動き補償予測部１０９は、動きベクトルに関する情報をエントロピー符号化部１０３Ａに出力する。

切替部１１０は、イントラ予測部１０６から入力されたイントラ予測画像と、動き補償予測部１０９から入力された動き補償予測画像とを切替え、予測画像を減算部１０１及び合成部１０５に出力する。

一方、符号化対象ブロックの直交変換処理をスキップする変換スキップモードにおいて、ブロック分割部１００が出力する符号化対象ブロックは、減算部１０１において予測残差に変換された後、直交変換されずに量子化される。具体的には、切替部１０２ｃが減算部１０１の出力を選択し、減算部１０１が出力する予測残差は、変換部１０２ａにおける直交変換をスキップして、量子化部１０２ｂに入力される。量子化部１０２ｂは、直交変換をスキップする符号化対象ブロック（以下、「変換スキップ符号化対象ブロック」という）について予測残差を量子化し、量子化された予測残差である量子化予測残差をエントロピー符号化部１０３Ａ及び逆量子化部１０４ａに出力する。

変換スキップ符号化対象ブロックについて、エントロピー符号化部１０３Ａは、量子化部１０２ｂから入力された量子化予測残差に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１Ａの外部に出力する。

変換スキップ符号化対象ブロックについて、逆量子化部１０４ａは、量子化部１０２ｂが行う量子化処理に対応する逆量子化処理を行う。変換スキップブロックについて、切替部１０４ｃが逆量子化部１０４ａの出力を選択することにより、逆変換部１０４ｂは、逆直交変換処理をスキップする。よって、逆量子化部１０４ａが復元した信号はは、逆直交変換処理を経ることなく、復元予測残差として合成部１０５に入力される。

評価部１１１は、変換スキップ符号化対象ブロックについて、動き補償予測部１０９が複数の参照画像を用いて動き補償予測を行う場合において、複数の参照画像間の類似度を画素単位で評価し、評価結果を表すマップ情報をエントロピー符号化部１０３Ａに出力する。エントロピー符号化部１０３Ａは、変換スキップ符号化対象ブロックについて、評価部１１１から入力されたマップ情報に基づいて、量子化部１０２ｂから入力された復元予測残差を並び替えたうえで符号化する。評価部１１１及びエントロピー符号化部１０３Ａの詳細については後述する。

＜２．画像復号装置の構成＞
図２は、実施形態に係る画像復号装置２Ａの構成を示す図である。図２に示すように、画像復号装置２Ａは、エントロピー符号復号部２００Ａと、逆量子化部２０１ａと、逆変換部２０１ｂと、切替部２０１ｃと、合成部２０２と、イントラ予測部２０３と、ループフィルタ２０４と、フレームメモリ２０５と、動き補償予測部２０６と、切替部２０７と、評価部２０８とを備える。

エントロピー符号復号部２００Ａは、画像符号化装置１により生成された符号化データを復号し、量子化直交変換係数を逆量子化部２０１ａに出力する。また、エントロピー符号復号部２００Ａは、符号化データを復号し、予測（イントラ予測及び動き補償予測）に関する情報とフィルタ処理に関する情報とを取得し、予測に関する情報をイントラ予測部２０３及び動き補償予測部２０６に出力し、フィルタ処理に関する情報をループフィルタ２０４に出力する。

逆量子化部２０１ａ、逆変換部２０１ｂ、及び切替部２０１ｃは、ブロック単位で逆量子化処理及び逆直交変換処理を行う逆量子化・逆変換部２０１を構成する。

逆量子化部２０１ａは、画像符号化装置１Ａの量子化部１０２ｂが行う量子化処理に対応する逆量子化処理を行う。逆量子化部２０１ａは、エントロピー符号復号部２００Ａから入力された量子化直交変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、直交変換係数を復元し、復元した直交変換係数（復元直交変換係数）を逆変換部２０１ｂに出力する。

切替部２０１ｃは、逆量子化・逆変換部２０１の出力を、逆変換部２０１ｂの出力と、逆量子化部２０１ａの出力との間で切替える。通常は逆変換部２０１ｂの出力を選択し、後述する変換スキップ復号対象ブロックの場合は逆量子化部２０１ａの出力を選択する。これにより、変換スキップ復号対象ブロックの場合は、復元予測残差と復元直交変換係数とを同一の信号とみなすことができ、また、変換スキップ復号対象ブロックの場合は、量子化直交変換係数と量子化予測残差とを同一の信号とみなすことができる。

逆変換部２０１ｂは、画像符号化装置１Ａの変換部１０２ａが行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２０１ｂは、逆量子化部２０１ａから入力された復元直交変換係数に対して逆直交変換を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部２０２に出力する。

合成部２０２は、逆変換部２０１ｂから切替部２０１ｃを介して入力された復元予測残差と、切替部２０７から入力された予測画像とを画素単位で合成することにより、元の対象ブロックを再構成し、再構成ブロックをイントラ予測部２０３及びループフィルタ２０４に出力する。

イントラ予測部２０３は、合成部２０２から入力された再構成ブロックを参照し、エントロピー符号復号部２００Ａから入力されたイントラ予測情報に基づいてイントラ予測を行うことによりイントラ予測画像を生成し、イントラ予測画像を切替部２０７に出力する。

ループフィルタ２０４は、エントロピー符号復号部２００Ａから入力されたフィルタ処理情報に基づいて、合成部２０２から入力された再構成ブロックに対して、画像符号化装置１Ａのループフィルタ１０７が行うフィルタ処理と同様なフィルタ処理を行い、フィルタ処理後の再構成ブロックをフレームメモリ２０５に出力する。

フレームメモリ２０５は、ループフィルタ２０４から入力された再構成ブロックをフレーム単位で記憶し、復号済み画像として画像復号装置２Ａの外部に出力する。

動き補償予測部２０６は、フレームメモリ２０５に記憶された復号済み画像を参照画像として用いて、エントロピー符号復号部２００Ａから入力された動きベクトル情報に基づいて動き補償予測（インター予測）を行うことにより、動き補償予測画像を生成し、動き補償予測画像を切替部２０７に出力する。

切替部２０７は、イントラ予測部２０３から入力されたイントラ予測画像と、動き補償予測部２０６から入力された動き補償予測画像とを切替えて、予測画像を合成部２０２に出力する。

一方、変換スキップモードが適用された復号対象ブロック（変換スキップ復号対象ブロック）について、エントロピー符号復号部２００Ａは、符号化装置１により生成された符号化データを復号し、量子化された予測残差（量子化予測残差）を逆量子化部２０１ａに出力する。

変換スキップブロックについて、逆量子化部２０１ａは、画像符号化装置１Ａの量子化部１０２ｂが行う量子化処理に対応する逆量子化処理を行う。変換スキップブロックについて、切替部２０１ｃが逆量子化部２０１ａの出力を選択することにより、逆変換部２０１ｂは、逆直交変換処理をスキップする。よって、逆量子化部２０１ａが復元した予測残差（復元予測残差）は、逆直交変換処理を経ることなく合成部２０２に入力される。

評価部２０８は、画像符号化装置１Ａの評価部１１１と同様な動作を行う。具体的には、評価部２０８は、変換スキップ復号対象ブロックについて、動き補償予測部２０６が複数の参照画像を用いて動き補償予測を行う場合において、複数の参照画像間の類似度を画素単位で評価し、評価結果を表すマップ情報をエントロピー符号復号部２００Ａに出力する。エントロピー符号復号部２００Ａは、変換スキップ符号化対象ブロックについて、符号化データを復号して量子化予測残差を取得し、評価部２０８から入力されたマップ情報に基づいて量子化予測残差を元の並び順に並べ替えて出力する。評価部２０８及びエントロピー符号復号部２００Ａの詳細については後述する。

＜３．動き補償予測＞
図３は、動き補償予測の一例を示す図である。図４は、予測画像及び予測残差の一例を示す図である。動き補償予測のシンプルな例として、ＨＥＶＣで用いられている双予測、特に前方向と後方向予測（両方向予測）を用いる場合について説明する。

図３に示すように、動き補償予測は、符号化対象フレーム（現フレーム）に対して時間的に前及び後のフレームを参照する。図３の例では、現フレームであるｔフレーム目の画像中のブロックの動き補償予測を、ｔ－１フレーム目とｔ＋１フレーム目とを参照して行う。動き補償は、ｔ－１及びｔ＋１フレーム目の参照フレーム内から、符号化対象ブロックと類似する箇所（ブロック）をシステムで設定された探索範囲の中から検出する。

検出された箇所が参照画像である。符号化対象ブロックに対する参照画像の相対位置を表す情報が図中に示す矢印であり、動きベクトルと呼ばれる。動きベクトルの情報は、画像符号化装置１Ａにおいて、参照画像のフレーム情報とともにエントロピー符号化によって符号化される。一方、画像復号装置２Ａは、画像符号化装置１Ａにより生成された動きベクトルの情報に基づいて参照画像を検出する。

図３及び図４に示すように、動き補償によって検出された参照画像１及び２は、符号化対象ブロックに対し、参照するフレーム内で位置合わせされた類似する部分画像であるため、符号化対象ブロックに類似した画像となる。図４の例では、符号化対象ブロックは、星の絵柄と部分的な円の絵柄とを含んでいる。参照画像１は、星の絵柄と全体的な円の絵柄とを含んでいる。参照画像２は、星の絵柄を含むが、円の絵柄を含んでいない。

かかる参照画像１及び２から予測画像を生成する。予測処理は処理負荷の高い処理であるため、参照画像１及び２を平均化することによって予測画像を生成することが一般的である。但し、より高度な処理、例えば、ローパスフィルタやハイパスフィルタ等による信号強調処理を併用して予測画像を生成してもよい。ここで、参照画像１は円の絵柄を含み、参照画像２は円の絵柄を含まないため、参照画像１及び２を平均化して予測画像を生成すると、予測画像における円の絵柄は、参照画像１に比べて信号が半減している。

参照画像１及び２から得られた予測画像と符号化対象ブロックとの差分が予測残差である。参照画像１及び２から得られた予測画像と対象画像ブロック（符号化対象画像）との差分が予測残差である。図４に示す予測残差において、丸の絵柄のずれた部分（斜線部）に大きな差分が生じているが、それ以外の部分については精度よく予測が行えており、差分が生じていない。

差分が生じていない星の絵柄の部分は、参照画像１と参照画像２との間の類似度が高い部分であって、高精度な予測が行われた部分である。一方、大きな差分が生じている部分は、各参照画像に特有な部分、すなわち、参照画像１と参照画像２との間の類似度が低い部分である。よって、参照画像１と参照画像２との間の類似度が低い部分、すなわち、予測残差における「領域Ａ」は、予測の精度が低く、大きな予測残差を生じさせるといえる。

そこで、画像符号化装置１Ａは、変換スキップモードにおいて、参照画像１と参照画像２との間の類似度が低い部分を予測残差が大きい部分とみなして優先的に符号化する。具体的には、エントロピー符号化部１０３Ａは、参照画像間の類似度の低い画素位置から順に量子化予測残差を符号化することにより有意係数を優先的に符号化し、より早期に終了フラグを付与できるようにする。

一方、予測残差における「領域Ｂ」は、参照画像１と参照画像２との間の類似度が高い部分であるが、大きな予測残差を生じている。このため、参照画像１と参照画像２との間の類似度が低い部分である領域Ａのみを量子化予測残差が大きい部分とみなして優先的に符号化すると、「領域Ｂ」の符号化が後回しとなり、終了フラグの付与が遅れることになる。

特に、ＨＥＶＣで用いられている従来の変換スキップ符号化対象ブロックの符号化では、対角スキャン（ＭＰＥＧ－２等のジグザグスキャンに類似した、右斜め上方向に行なわれるスキャン方法）で符号化を行う。このため、従来の対角スキャンを用いると、領域Ｂは早期に符号化が行われ、終了フラグも早期に付与される。つまり、このような場合では、参照画像１と参照画像２との間の類似度が低い部分を予測残差が大きい部分とみなして優先的に符号化するよりも、従来の対角スキャンに従った順に符号化した方が終了フラグの付与が早くなる。

そこで、実施形態においては、変換スキップモードにおいて、参照画像１と参照画像２との間の画素単位での類似度の分布を表すマップ情報と「量子化された予測残差」である量子化予測残差の分布との相関を求め、相関が低い場合には従来のスキャン順に従って符号化を行い、相関が高い場合にはマップ情報に基づいて類似度が低い部分から順に符号化を行う。これにより、効率的なエントロピー符号化を行うことが可能になり、符号化効率を改善できる。

以下、参照画像１と参照画像２との間の画素単位での類似度の分布を表すマップ情報と量子化予測残差の分布との相関を求める一例について説明するが、相関を求める際に、量子化予測残差に代えて復元予測残差を用いてもよい。すなわち、参照画像１と参照画像２との間の画素単位での類似度の分布を表すマップ情報と復元予測残差の分布との相関を求めてもよい。

＜４．評価部＞
図５は、画像符号化装置１Ａにおける評価部１１１の構成の一例を示す図である。図５に示すように、評価部１１１は、差分算出部１１１ａと、正規化部１１１ｂとを備える。

差分算出部１１１ａは、動き補償予測部１０９から入力された参照画像１及び２の差分値（具体的には、差分値の絶対値。以下同様）を画素単位で算出し、算出した差分値を正規化部１１１ｂに出力する。

ここで、差分値が大きいほど類似度が低く、予測の確度が低いといえる。差分値が小さいほど類似度が高く、予測の確度が高いといえる。差分算出部１１１ａは、各参照画像に対してフィルタ処理を行ったうえで差分値を算出してもよい。差分算出部１１１ａは、二
乗誤差等の統計量を算出し、かかる統計量を出力してもよい。

正規化部１１１ｂは、差分算出部１１１ａから入力された画素単位での差分値を、符号化対象ブロック内で最大となる差分値（すなわち、符号化対象ブロック内の差分値の最大値）で正規化して出力する。正規化部１１１ｂは、量子化の粗さを定める量子化パラメータ（Ｑｐ）と、直交変換係数ごとに異なる量子化値が適用される量子化行列との少なくとも一方に基づいて、正規化部１１１ｂから入力された差分値を調整して出力してもよい。

評価部１１１は、符号化対象ブロック内の画素単位での確度Ｒｉｊを例えば下記の式（１）のように算出する。

Ｒｉｊ＝１－（ａｂｓ（Ｘｉｊ－Ｙｉｊ）／ｍａｘＤ×Ｓｃａｌｅ（Ｑｐ））
・・・（１）
但し、Ｘｉｊは参照画像１の画素位置ｉｊの画素値であり、Ｙｉｊは参照画像２の画素位置ｉｊの画素値であり、ａｂｓは絶対値を得る関数である。

また、式（１）において、ｍａｘＤは、符号化対象ブロック内の差分値ａｂｓ（Ｘｉｊ－Ｙｉｊ）の最大値である。ｍａｘＤを求めるために符号化対象ブロック内のすべての画素位置について差分値を求める必要があるが、この処理を省略するためにすでに符号化処理済みの隣接するブロックの最大値で代用してもよい。或いは、量子化パラメータ（Ｑｐ）や量子化行列の量子化値と、ｍａｘＤとの対応関係を定めるテーブルを用いて、量子化パラメータ（Ｑｐ）や量子化行列の量子化値からｍａｘＤを求めてもよい。或いは、予め仕様で規定された固定値をｍａｘＤとして用いてもよい。

また、式（１）において、Ｓｃａｌｅ（Ｑｐ）は、量子化パラメータ（Ｑｐ）や量子化行列の量子化値に応じて乗じられる係数である。Ｓｃａｌｅ（Ｑｐ）は、Ｑｐや量子化行列の量子化値が大きい場合に１．０に近づき、小さい場合に０に近づくように設計され、その度合いはシステムによって調整するものとする。或いは、予め仕様で規定された固定値をＳｃａｌｅ（Ｑｐ）として用いてもよい。

なお、ｍａｘＤやＳｃａｌｅ（Ｑｐ）として固定値等の代用値を用いる場合には、確度Ｒｉｊが１．０を超える、あるいは０を下回る場合も存在しうるが、その場合は、１．０や０にクリップ処理すればよい。

評価部１１１は、符号化対象ブロック内の各画素位置ｉｊの確度Ｒｉｊからなるマップ情報をエントロピー符号化部１０３Ａに出力する。

但し、評価部１１１は、変換スキップ符号化対象ブロックについて、複数の参照画像を用いる動き補償予測を適用する場合にのみ評価（確度Ｒｉｊの算出）を行い、それ以外のモード、例えば単方向予測やイントラ予測処理においては、評価（確度Ｒｉｊの算出）を行わなくてもよい。

なお、画像復号装置２Ａにおける評価部２０８は、画像符号化装置１Ａにおける評価部１１１と同様に構成される。具体的には、画像復号装置２Ａにおける評価部２０８は、差分算出部２０８ａと、正規化部２０８ｂとを備える。画像復号装置２Ａにおける評価部２０８は、符号化対象ブロック内の各画素位置ｉｊの確度Ｒｉｊからなるマップ情報をエントロピー符号復号部２００Ａに出力する。

＜５．エントロピー符号化部＞
図６は、エントロピー符号化部１０３Ａの構成の一例を示す図である。図７は、確度インデックスの生成例を示す図である。図８は、量子化予測残差の並び替えの一例を示す図である。

図６に示すように、エントロピー符号化部１０３Ａは、ソート部１０３ａと、予測残差
並び替え部１０３ｂと、シリアライズ部１０３ｃと、確度並び替え部１０３ｄと、判定部１０３ｅと、切替部１０３ｆと、符号化部１０３ｇとを備える。

ソート部１０３ａは、評価部１１１から入力されたマップ情報中の確度Ｒｉｊを低い順に並べ替える。具体的には、図７（Ａ）に示すように、マップ情報において確度Ｒｉｊは２次元に配列されているため、ソート部１０３ａは、例えばマップ情報をジグザグスキャン（左上から右下のスキャン順）によりシリアライズして確度列とする。そして、ソート部１０３ａは、図７（Ｂ）に示すように、確度Ｒｉｊが低い順に並び替え、確度Ｒｉｊをインデックスｉとして、インデックスｉと画素位置（Ｘ座標の位置及びＹ座標の位置）とを対応付けた確度インデックス情報を予測残差並び替え部１０３ｂ及び確度並び替え部１０３ｄに出力する。

なお、図７（Ａ）の例において、画素位置（ｘ，ｙ）＝（２，２）における確度が最も低く、画素位置（ｘ，ｙ）＝（２，３）における確度が２番目に低く、画素位置（ｘ，ｙ）＝（３，２）における確度が３番目に低く、画素位置（ｘ，ｙ）＝（３，３）における確度が４番目に低い。かかる画素位置からなる領域は、予測精度が低く、大きな予測残差を発生させると推定できる。一方、確度が１である画素位置については、予測精度が高く、予測残差を発生させないと推定できる。

予測残差並び替え部１０３ｂは、変換スキップブロックについて、量子化部１０２ｂから入力された量子化予測残差を、ソート部１０３ａから入力された確度インデックス情報に基づいて並び替える。具体的には、予測残差並び替え部１０３ｂは、確度の低い画素位置（すなわち、参照画像間の類似度の低い画素位置）から順に量子化予測残差が符号化されるように、量子化予測残差を画素単位で並び替える。

図８（Ａ）に示す量子化予測残差は２次元に配列されており、予測残差並び替え部１０３ｂは、図８（Ｂ）に示すように、ソート部１０３ａから入力された確度インデックス情報に基づいて、確度が低い画素位置の量子化予測残差を左上領域に集中させるように並び替える。ここではスキャン順としてジグザグスキャンを想定しており、予測残差並び替え部１０３ｂは、左上領域から右下領域の順にスキャンを行い、確度が低い画素位置の量子化予測残差を優先的にシリアライズして、確度が低い（すなわち、参照画像間の類似度が低い）順に量子化予測残差が並ぶ量子化予測残差列を切替部１０３ｆ及び判定部１０３ｅに出力する。但し、スキャン順はジグザグスキャンに限定されず、水平スキャンや垂直スキャンを用いてもよい。予測残差並び替え部１０３ｂは、スキャンを行う前に並び替えを行うのではなく、スキャンを行った後に並び替えを行ってもよい。

或いは、予測残差並び替え部１０３ｂは、ジグザグスキャンや、水平スキャン、垂直スキャン等の固定的なスキャン順に代えて、確度が低い画素位置から順に量子化予測残差をスキャンするように可変のスキャン順を決定し、決定したスキャン順でスキャンを行うことにより、確度が低い順に量子化予測残差が並ぶ量子化予測残差列を切替部１０３ｆ及び判定部１０３ｅに出力してもよい。

シリアライズ部１０３ｃは、量子化部１０２ｂから入力された量子化予測残差に対して、従来の変換スキップブロックに対する処理と同じシリアライズ処理を行う。すなわち、シリアライズ部１０３ｃは、２次元の量子化予測残差を予め規定された順（対角スキャンや、ジグザグスキャンなど）で１次元の量子化予測残差列に変換し、量子化予測残差列を切替部１０３ｆに出力する。

確度並び替え部１０３ｄは、ソート部１０３ａから入力された確度インデックス情報に基づいて、予測残差並び替え部１０３ｂと同様な方法で、評価部１１１から入力されたマップ情報を１次元に並び替える。具体的には、確度並び替え部１０３ｄは、確度の低い画素位置（すなわち、参照画像間の類似度の低い画素位置）から順にマップ情報を一次元の信号として出力する。この出力信号を、ここでは「確度列」と呼ぶ。確度並び替え部１０３ｄは、かかる確度列を判定部１０３ｅに出力する。

判定部１０３ｅは、確度並び替え部１０３ｄから入力された確度列と、予測残差予測残差並び替え部１０３ｂから入力された量子化予測残差列の絶対値とから、確度列と量子化予測残差列との間の相関を表す相似度を求め、相似度が閾値Ｔｈ以上（あるいは、より大きい場合）は、マップ情報に基づく並び替えの適用を示す信号を切替部１０３ｆに出力し、相似度が閾値Ｔｈ未満（あるいは以下）の場合は、マップ情報に基づく並び替えの不適用を示す信号を切替部１０３ｆに出力する。

ここで、確度列及び量子化予測残差列から求める相似度の例１乃至３を以下に示す。以下では、変換スキップブロックの画素数をＮ、確度列をｐi、確度列を逆順に並べた数列（逆順確度列）をｑi（すなわち、ｑi＝ｐN-1-i）、量子化予測残差列をｄi、求める相似度をＲとして説明する。ｉはインデックスであり、の範囲を取る。

（１）判定部１０３ｅで用いる相似度の例１
相似度として、逆順確度列と、量子化予測残差列の絶対値とのコサイン類似度を用いた例を示す。

（２）判定部１０３ｅで用いる相似度の例２
別の例として、Ｌ２距離を用いた相似度の例を示す。

ここで、Ｑiはｑiを0～1の範囲に正規化した確度列である(0が最も確度が低く、1が最も確度が高い)。確度の正規化は、評価部１１１における正規化と同様である。なお、確度列がもともと正規化されていた場合はＱi＝ｑiとなる。また、Ｄiは、量子化予測残差列の絶対値を0～1の範囲に正規化した数列である。対象とする画像フォーマットの取り得る最大の画素値をｍｉｎＬ、最小値をｍａｘＬとしたとき、Ｄiは、例えば、

として求めることができる。

（３）判定部１０３ｅで用いる相似度の例３
さらに別の例としてＬ１距離を用いた相似度の例を示す。

このように相似度としては、２つの数列の間で計算可能なさまざまな類似度や距離を用いることができる。類似度（２つの数列が似ているほど値が大きい指標）の場合は正規化した値を相似度として用いればよく、距離（２つの数列が似ているほど値が小さくなる指標）の場合は正規化した距離を１から減算した値を相似度として用いればよい。

なお、相似度と比較する閾値Ｔｈは、あらかじめ定めた定数であってもよいし、可変の値であってもよい。可変の値とする場合、符号化データに当該閾値を含めて伝送してもよい。

切替部１０３ｆは、判定部１０３ｅから入力された信号に基づき、マップ情報に基づく並び替え適用の場合は、予測残差並び替え部１０３ｂの出力を符号化部１０３ｇに送り、マップ情報に基づく並び替え不適用の場合は、シリアライズ部１０３ｃの出力を符号化部１０３ｇに送る。なお、マップ情報に基づく並び替え不適用の場合は従来と同じ変換スキップによる符号化対象ブロックの処理になる。

符号化部１０３ｇは、切替部１０３ｆから入力された予測残差列中の量子化予測残差を符号化して符号化データを出力する。符号化部１０３ｇは、予測残差並び替え部１０３ｂから入力された量子化予測残差列に含まれる最後の有意係数を判定し、量子化予測残差列の先頭から当該最後の有意係数までに対して符号化を行う。符号化部１０３ｇは、予測残差並び替え部１０３ｂから入力された量子化予測残差列の先頭から順に有意係数であるか否かを判定し、最後の有意係数に対して終了フラグを付与し、終了フラグの後の量子化予測残差（すなわち、ゼロ係数）を符号化しないことにより、有意係数を効率的に符号化する。

例えば、符号化部１０３ｇは、図８（Ｃ）に示すように、切替部１０３ｆから入力された量子化予測残差列のうち、最後の有意係数、すなわち、図８（Ｂ）の（Ｘ＝１，Ｙ＝２）の座標位置を、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ及びｙ（終了フラグ）として符号化する。その後、符号化部１０３ｇは、最後の有意係数の位置（１，２）から、スキャン順の逆順、すなわち、（３，３）から（０，０）に向かう順に、有意係数が存在するか否かをｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇとして符号化する。ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇにおいて、有意係数が存在する座標位置を“１”で示し、有意係数が存在しない座標位置を“０”で示す。

さらに、符号化部１０３ｇは、有意係数が１よりも大きいか否かをｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ１＿ｆｌａｇとして符号化し、有意係数が２よりも大きいか否かをｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｇｒｅａｔｅｒ２＿ｆｌａｇとして符号化する。符号化部１０３ｇは、有意係数のうち２よりも大きいものについては、有意係数の絶対値から３を引いた値をｃｏｅｆｆ＿ａｂｓ＿ｌｅｖｅｌ＿ｒｅｍａｉｎｉｎｇとして符号化するとともに、有意係数の正負を表すフラグをｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇとして符号化する。

かかるエントロピー符号化により、最後の有意係数の位置が右下領域（スキャン順の後ろ）になればなるほど、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ及びｙの値は大きくなり、かつ、Ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇの量が増大する。そして、かかるエントロピー符号化により発生情報量は増大することになる。

マップ情報に基づく並び替えを適用する場合には、確度の低い画素位置（すなわち、参照画像間の類似度の低い画素位置）から順に量子化予測残差が符号化されるように並び替えを行うため、Ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ及びｙの値が小さくなり、かつ、Ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇの量が減少する。これにより、エントロピー符号化による発生情報量を減少させることができる。

さらに、図４に示す例のように、複数の参照画像間の類似度の低い画素位置は大きな予測残差を有するという仮定が成立しないような場合であって、上記の相似度が閾値Ｔｈ未満である場合には、マップ情報に基づく並び替えを不適用とする。つまり、量子化予測残差を従来の対角スキャンに従った順に符号化する。これにより、マップ情報に基づく並び替えを適用することによる符号化効率の悪化を回避できる。

＜６．エントロピー符号復号部＞
図９は、エントロピー符号復号部２００Ａの構成の一例を示す図である。図９に示すように、エントロピー符号復号部２００Ａは、復号部２００ａと、ソート部２００ｂと、予測残差予測残差並び替え部２００ｃと、デシリアライズ部２００ｄと、確度並び替え部２００ｅと、判定部２００ｆと、切替部２００ｇとを備える。

復号部２００ａは、画像符号化装置１Ａにより生成された符号化データを復号し、量子化予測残差列（量子化された予測残差）と、予測（イントラ予測及び動き補償予測）に関する情報とを取得し、量子化予測残差列を予測残差並び替え部２００ｃ及びデシリアライズ部２００ｄに出力し、予測に関する情報をイントラ予測部２０３及び動き補償予測部２０６に出力する。復号部２００ａは、符号化データから取得された変換スキップフラグが変換スキップの適用を示しており、予測に関する情報が双予測を表している場合には、マップ情報に基づく並び替えを行うと判断してもよい。これにより、マップ情報に基づく並び替えを行う旨のフラグを符号化データに含めて伝送する必要がなく、フラグの増大を抑制できる。

ソート部２００ｂは、評価部２０８から入力されたマップ情報中の確度Ｒｉｊを低い順に並べ替える。マップ情報において確度Ｒｉｊは２次元に配列されているため、ソート部２００ｂは、例えばマップ情報をジグザグスキャンによりシリアライズして確度列とする。そして、ソート部２００ｂは、確度Ｒｉｊが低い順に並び替え、確度Ｒｉｊをインデックスｉとして、インデックスｉと画素位置（Ｘ座標の位置及びＹ座標の位置）とを対応付けた確度インデックス情報を予測残差並び替え部２００ｃ及び確度並び替え部２００ｅに出力する。

予測残差並び替え部２００ｃは、画像符号化装置１Ａの予測残差並び替え部１０３ｂが行う並び替え処理の逆処理を行う。予測残差並び替え部２００ｃは、変換スキップ復号対象ブロックについて、復号部２００ａから入力された量子化予測残差列を、ソート部２００ｂから入力された確度インデックス情報に基づいて並び替えることによりデシリアライズし、２次元に配列された量子化予測残差を切替部２００ｇに出力する。

デシリアライズ部２００ｄは、従来の変換スキップブロックに対する処理と同じデシリアライズ処理を行う。すなわち、デシリアライズ部２００ｄは、量子化予測残差列をあらかじめ定められた順（例えば左上から右下へのジグザグスキャン）で２次元の量子化予測残差に並び替える。

確度並び替え部２００ｅは、評価部２０８から入力されたマップ情報に基づいて、画像符号化装置１の確度並び替え部１０３ｄと同じ処理を行い、確度列を判定部２００ｆに出力する。

判定部２００ｆは、画像符号化装置１の判定部１０３ｅと同じ処理を行う。

切替部２００ｇは、判定部２００ｆがマップ情報に基づく並び替えの適用を示す信号を出力した場合は、並び替え部２００ｃの出力を選択し、判定部２００ｆがマップ情報に基づく並び替えの不適用を示す信号を出力した場合は、デシリアライズ部２００ｄの出力を選択する。切替部２００ｇは、選択した出力（２次元の量子化予測残差）を逆量子化部２０１ａに出力する。

実施形態において、予測残差並び替え部２００ｃ、デシリアライズ部２００ｄ、及び切替部２００ｇは、並び替え部を構成する。かかる並び替え部２００ｃは、判定部２００ｆにより相似度が閾値以上であると判定された場合には、評価部２０８により評価された類似度に応じた順に量子化予測残差を並び替えて出力し、判定部２００ｆにより相似度が閾値未満であると判定された場合には、量子化予測残差を予め規定された順に並び替えて出力する。

＜７．画像符号化の動作＞
図１０は、実施形態に係る画像符号化装置１Ａにおける処理フローを示す図である。画像符号化装置１Ａは、符号化対象ブロックに対して変換スキップモードかつ動き補償予測を適用する場合に、本処理フローを実行する。

図１０に示すように、ステップＳ１１０１において、動き補償予測部１０９は、複数の参照画像を用いて動き補償予測を行うことにより符号化対象ブロックを予測し、符号化対象ブロックに対応する予測画像を生成する。

ステップＳ１１０２において、評価部１１１は、複数の参照画像間の類似度を画素位置ごとに評価し、符号化対象ブロック内の各画素位置の予測の確度（予測精度）を表すマップ情報を生成する。

ステップＳ１１０３において、減算部１０１は、符号化対象ブロックと予測画像との間の画素単位での差分を表す予測残差を算出する。

ステップＳ１１０４において、量子化部１０２ｂは、減算部１０１が算出した予測残差に対して量子化を行うことにより、量子化予測残差を生成する。

ステップＳ１１０５において、エントロピー符号化部１０３Ａは、量子化予測残差とマップ情報との間の相関を表す相似度を算出し、相似度が閾値以上であるか否かを判定する。

ステップＳ１１０６において、エントロピー符号化部１０３Ａは、相似度が閾値以上である場合は、マップ情報に基づいて量子化予測残差を確度の低い順に符号化して符号化データを出力する。相似度が閾値未満である場合、エントロピー符号化部１０３Ａは、予め規定された順に符号化を行って符号化データを出力する。

ステップＳ１１０７において、逆量子化部１０４ａは、量子化部１０２ｂから入力された量子化予測残差に対して逆量子化を行うことにより予測残差を復元し、復元予測残差を生成する。

ステップＳ１１０８において、合成部１０５は、復元予測残差を画素単位で予測画像と合成することにより対象ブロックを再構成し、再構成ブロックを生成する。

ステップＳ１１０９において、ループフィルタ１０７は、再構成ブロックに対してフィルタ処理を行う。

ステップＳ１１１０において、フレームメモリ１０８は、フィルタ処理後の再構成ブロックをフレーム単位で記憶する。

＜８．画像復号の動作＞
図１１は、実施形態に係る画像復号装置２Ａにおける処理フローを示す図である。画像復号装置２Ａは、対象ブロックに対して変換スキップモードかつ動き補償予測を適用する場合に、本処理フローを実行する。

図１１に示すように、ステップＳ１２０１において、エントロピー符号復号部２００Ａの復号部２００ａは、符号化データを復号して動きベクトル情報を取得し、取得した動きベクトル情報を動き補償予測部２０６に出力する。

ステップＳ１２０２において、動き補償予測部２０６は、動きベクトル情報に基づく複数の参照画像を用いて動き補償予測を行うことにより復号対象ブロックを予測し、復号対象ブロックに対応する予測画像を生成する。

ステップＳ１２０３において、評価部２０８は、複数の参照画像間の類似度を画素位置ごとに算出し、ブロック内の各画素位置の予測の確度（予測精度）を表すマップ情報を生成する。

ステップＳ１２０４において、エントロピー符号復号部２００Ａは、符号化データを復号して量子化予測残差列を取得する。エントロピー符号復号部２００Ａは、量子化予測残差列とマップ情報との間の相関を表す相似度を算出し、相似度が閾値以上であるか否かを判定する。エントロピー符号復号部２００Ａは、相似度が閾値以上である場合は、マップ情報に基づいて量子化予測残差を並び替えて、２次元に配列された量子化予測残差を逆量子化部２０１ａに出力する。相似度が閾値未満である場合、エントロピー符号復号部２００Ａは、予め規定された順に量子化予測残差を並び替えて、２次元に配列された量子化予測残差を逆量子化部２０１ａに出力する。

ステップＳ１２０５において、逆量子化部２０１ａは、量子化予測残差に対して逆量子化を行うことにより予測残差を復元し、復元予測残差を生成する。

ステップＳ１２０６において、合成部２０２は、復元予測残差を画素単位で予測画像と合成することにより対象ブロックを再構成し、再構成ブロックを生成する。

ステップＳ１２０７において、ループフィルタ２０４は、再構成ブロックに対してフィルタ処理を行う。

ステップＳ１２０８において、フレームメモリ２０５は、フィルタ処理後の再構成ブロックをフレーム単位で記憶して出力する。

＜９．実施形態のまとめ＞
画像符号化装置１Ａにおいて、評価部１１１は、複数の参照画像間の類似度を画素単位で評価し、評価結果の情報（マップ情報）をエントロピー符号化部１０３Ａに出力する。エントロピー符号化部１０３Ａは、量子化予測残差とマップ情報との間の相関を表す相似度を算出し、相似度が閾値以上である場合は、マップ情報に基づいて、量子化部１０２ｂから入力された量子化予測残差を、参照画像間の類似度の低い画素位置から順に符号化する。参照画像間の類似度の低い画素位置から順に量子化予測残差を符号化することにより、有意係数を優先的に符号化し、より早期に終了フラグを付与することができる。これにより、変換スキップブロックに対して効率的なエントロピー符号化を行うことを可能とし、符号化効率を改善することができる。

画像復号装置２Ａにおいて、評価部２０８は、複数の参照画像間の類似度を画素単位で評価し、評価結果の情報（マップ情報）をエントロピー符号復号部２００Ａに出力する。エントロピー符号復号部２００Ａは、符号化データを復号して画素単位で量子化予測残差を取得し、量子化予測残差とマップ情報との間の相関を表す相似度を算出し、相似度が閾値以上である場合は、マップ情報に基づいて量子化予測残差を並べ替えて出力する。このように、評価部２０８による評価の結果に基づいて量子化予測残差を並べ替えることにより、並び替えの詳細を指定する情報が画像符号化装置から伝送されなくても、エントロピー符号復号部２００Ａが自律的に量子化予測残差を並べ替えることができる。これにより、並び替えの詳細を指定する情報を画像符号化装置１から伝送する必要がないため、符号化効率の低下を回避することができる。

また、予測残差とマップ情報との間の相関を表す相似度が閾値未満である場合は、予め規定された順に並び替えを行うことにより、符号化効率をさらに改善することができる。具体的には、複数の参照画像間の類似度の低い画素位置は大きな予測残差を有するという仮定が成立しないような場合であって、相似度が閾値未満である場合には、マップ情報に基づく並び替えを不適用とし、従来の対角スキャンに従った順に量子化予測残差を符号化する。これにより、マップ情報に基づく並び替えを適用することによる符号化効率の悪化を回避できる。

＜１０．変更例１＞
図１２は、実施形態の変更例１に係る重複動き補償の一例を示す図である。

画像符号化装置１Ａの評価部１１１及び画像復号装置２Ａの評価部２０８は、以下に示す方法でマップ情報として誤差マップを生成し、並べ替え部１１２に入力してもよい。誤差マップを並び替え部１１２に入力する場合には、誤差マップの値が大きい領域を類似度が低い領域とし、誤差マップの値が小さい領域を類似度が高い領域として、並べ替え部１１２は量子化予測残差の並び換え処理を行う。

双予測モードの予測画像の生成に用いる２つの参照画像（参照先ブロック）の輝度信号をＬ０［ｉ，ｊ］及びＬ１［ｉ，ｊ］（但し、［ｉ，ｊ］は対象ブロック内の座標）とすると、下記の式（２）により誤差マップｍａｐ［ｉ，ｊ］及びその最大値ｍａｘ＿ｍａｐを算出する。

ｍａｐ ［ｉ，ｊ］ ＝ ａｂｓ （Ｌ０ ［ｉ，ｊ］ － Ｌ１ ［ｉ，ｊ］）
ｍａｘ＿ｍａｐ ＝ ｍａｘ （ｍａｐ ［ｉ，ｊ］） ・・・（２）

式（２）のｍａｘ＿ｍａｐが６ビット精度を超える（６４を超える）場合には、下記の式（３）により、ｍａｘ＿ｍａｐが６ビット精度に収まるように設定したｓｈｉｆｔにより誤差マップ及び最大値を更新する。

ｍａｘ＿ｍａｐ ＝ ｍａｘ＿ｍａｐ ＞＞ ｓｈｉｆｔ
ｍａｐ ［ｉ，ｊ］ ＝ ｍａｐ ［ｉ，ｊ］ ＞＞ ｓｈｉｆｔ ・・・
（３）

＜１１．変更例２＞
画像符号化装置１Ａの動き補償予測部１０９及び画像復号装置２Ａの動き補償予測部２０６は、対象ブロック（ＣＵ）を複数の小ブロックに分割し、小ブロックごとに異なる動きベクトルを適用可能とし、小ブロックごとに片方向予測、双予測を切り替え可能であってもよい。かかる場合、片方向予測及び双方向予測の両方を用いて予測画像を生成するＣＵに対しては、画像符号化装置１Ａの評価部１１１及び画像復号装置２Ａの評価部２０８がマップ情報を算出しないものとしてもよい。一方、全ての小ブロックについて双予測により予測画像を生成している場合には、画像符号化装置１Ａの評価部１１１及び画像復号装置２Ａの評価部２０８は、マップ情報を生成する。

また、画像符号化装置１Ａの動き補償予測部１０９及び画像復号装置２Ａの動き補償予測部２０６は、動きベクトルの異なるブロック境界における予測画像の不連続性低減のために、重複動き補償（ＯＢＭＣ：Ｏｏｖｅｒｌａｐｐｅｄ Ｂｌｏｃｋ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）を行ってもよい。画像符号化装置１Ａの評価部１１１及び画像復号装置２Ａの評価部２０８は、マップ情報生成の際に、ＯＢＭＣによる参照画素の補正を考慮してもよい。

例えば、ＯＢＭＣの補正に用いる周囲のブロックの予測モードが双予測である場合には、画像符号化装置１Ａの評価部１１１及び画像復号装置２Ａの評価部２０８は、ＯＢＭＣの補正が影響する予測画像の領域について、周辺ブロックの双予測の予測画像生成に用いる参照画像（Ｌ０及びＬ１）の動きベクトルを用いてマップ情報を補正する。具体的には、ブロック境界領域について、隣り合うブロックの動きベクトルが双予測である場合には、隣り合うブロックのマップ情報との位置に応じた加重平均をする。隣り合うブロックがイントラモードの場合や、片方向予測の場合には、マップ情報の補正は行わない。図１２のケースでは、上側のブロック境界についてはＬ０aとＬ１aを用いてマップ情報を生成し、その下側の領域について（当該ＣＵと重なり合う領域について）当該ＣＵのマップ情報との加重平均をする。下側や右側、左側ＣＵの予測モードが片方向予測であるので、それらのＣＵと重なり合う領域についてはマップ情報の補正は行わない。

＜１２．変更例３＞
上述した実施形態において、予測残差を画素単位で並び替える一例を説明したが、予測残差を画素グループ（小ブロック）単位で並び替えてもよい。かかる小ブロックは、４×４の画素からなるブロックであり、ＣＧと称されることがある。

図１３は、実施形態の変更例３に係る画像符号化装置１Ｂの構成を示す図である。図１３に示すように、画像符号化装置１Ｂは、予測残差を画素グループ（小ブロック）単位で
並び替える並び替え部１１２を備える。並び替え部１１２は、対象ブロック（ＣＵ）が双
予測を用いて予測画像を生成するものであって、当該ＣＵが変換スキップモードを適用するものである場合には、上述した誤差マップに基いて、当該ＣＵの予測残差に対して小ブロック単位（４×４）での並び換えを行う。

図１４は、実施形態の変更例３に係る並び替え部１１２の動作の一例を示す図である。

図１４（Ａ）に示すように、画像符号化装置１Ｂの減算部１０１は、ＣＵに対応する予測残差を算出する。図１４（Ａ）の例では、ＣＵ内の右上領域に予測残差が存在する。ＣＵ内の右上領域は、参照画像間の類似度が低い領域であって、予測精度（確度）が低い領域であるとみなすことができる。

図１４（Ｂ）に示すように、画像符号化装置１Ｂの評価部１１１又は並び替え部１１２は、誤差マップを４×４のＣＧ単位に分割し、ＣＧ単位での誤差の平均値ＣＧｍａｐを下記の式（４）により算出する。

そして、並び替え部１１２は、誤差の平均値ＣＧｍａｐが高い順にＣＧを並び替えてインデックスを付与する。言い換えると、並び替え部１１２は、参照画像間の類似度が低い順にＣＧを並び替えてインデックスを付与する。図１４（Ｂ）の例において、各ＣＧ内の数字は並び替え後のインデックスを表す。右上領域のＣＧの平均値ＣＧｍａｐが大きいため、スキャン（符号化）の優先順位が高く設定されている。次に、並び替え部１１２は、図１４（Ｃ）に示すように、インデックスが小さい順にスキャン（符号化）されるようにＣＧを並べ替える。その結果、並び替え部１１２は、図１４（Ｄ）に示すように、ＣＧ単位で並び替えた予測残差を量子化部１０２ｂに出力する。

量子化部１０２ｂは、並び替え部１１２から入力された予測残差に対して量子化を行って、量子化した量子化予測残差をエントロピー符号化部１０３Ｂに出力する。エントロピー符号化部１０３Ｂは、誤差の平均値ＣＧｍａｐが高い順にＣＧを符号化して符号化データを生成する。

なお、並び替え部１１２は、逆量子化部１０４ａが出力する復元予測残差に対して、元のＣＧの並び順に戻すようにＣＧ単位で並び替えを行い、ＣＧ単位で並び替えた復元予測残差を合成部１０５に出力する。

図１５は、実施形態の変更例３に係る画像復号装置２Ｂの構成を示す図である。図１５に示すように、画像復号装置２Ｂは、逆量子化部２０１ａが出力する復元予測残差をＣＧ単位で並び替える並び替え部２０９を備える。

並び替え部２０９は、対象ブロック（ＣＵ）が双予測を用いて予測画像を生成するものであって、当該ＣＵが変換スキップモードを適用するものである場合には、上述した誤差マップに基いて、当該ＣＵの予測残差に対してＣＧ単位での並び換えを行う。

具体的には、画像復号装置２Ｂの評価部２０８又は並び替え部２０９は、誤差マップを４×４のＣＧ単位に分割し、ＣＧ単位での誤差の平均値ＣＧｍａｐを上記の式（５）により算出する。そして、並び替え部２０９は、ＣＧ単位での誤差の平均値ＣＧｍａｐに基づいて、画像復号装置２Ａの並び替え部１１２が行う並び替え処理の逆処理を行い、並び替え後の予測残差を合成部２０２に出力する。

なお、本変更例において、相似度に基づく判定及び切替を行う場合は、画素グループ（ＣＧ）内の予測残差の絶対値の平均値を、上述した実施形態における予測残差列の１つの要素として扱えばよい。

＜１３．変更例４＞
上述した実施形態において、予測残差を画素単位もしくは小ブロック単位で並び替える例を説明したが、予測残差を水平もしくは垂直もしくは水平垂直に反転させるよう並び換えてもよい。

図１６に示すように、画像符号化装置１Ｂの減算部１０１は、対象ブロックに対応する予測残差を算出する。図１６の例では対象ブロックの右上領域に予測残差が存在する。また、対象ブロックの右上領域は、参照画素間の類似度が低い領域であって、予測精度（確度）が低い領域であるとみなすことができる。

実施形態の変更例４の並び替え部１１２は、誤差マップの重心を下記の式（５）により算出する。

並び替え部１１２は、算出した誤差マップの重心（ｇi，ｇj）がマップの右上領域に位置する場合、すなわち、左上座標を（０，０）、右下座標を（ｍ，ｎ）とすると、

かつ

である場合には、予測残差を水平反転する。

並び替え部１１２は、誤差マップの重心が左下領域に位置する場合、すなわち、

かつ

である場合には、予測残差を垂直反転する。

並び替え部１１２は、誤差マップの重心が右下領域に位置する場合、すなわち、

かつ

である場合には、予測残差を水平および垂直に反転する。

なお、誤差マップの重心が右下領域である場合には、並び替え部１１２は、予測残差を水平および垂直に反転するかわりに、予測残差を１８０度回転させるよう構成してもよいし、係数符号化の際のスキャン順を左上から右下に行うかわりに、右下から左上に向かうように変更するよう構成してもよい。

また、処理の低減のため、誤差マップの重心を算出せずに、誤差マップの最大値の位置を探索し、最大値の位置を前記重心の位置とみなして、上述の反転処理を行うよう施してもよい。

実施形態の変更例４の並べ替え部１１２による予測残差の反転処理が施された予測残差は量子化部１０２ｂに出力する。

量子化部１０２ｂは、並び替え部１１２から入力された予測残差に対して量子化を行って、量子化した量子化予測残差をエントロピー符号化部１０３Ｂに出力する。エントロピー符号化部１０３Ｂは、予測残差の左上領域から右下領域の順に符号化して符号化データを生成する。

なお、並び替え部１１２は、逆量子化部１０４ａが出力する復元予測残差に対して、誤差マップの重心の位置に基いて予測残差の反転処理を行い、並び替えた復元予測残差を合成部１０５に出力する。

＜１４．その他の実施形態＞
上述した実施形態において、エントロピー符号化部１０３Ａが、２次元に配列された予測残差の全てを確度の低い順に読み出してシリアライズ処理を行う一例について説明した。しかしながら、２次元に配列された予測残差のうち確度が低い順に上位数個のみを読み出し、それ以外の予測残差についてはシステムで定められた固定の順序で読み出すとしてもよい。或いは、２次元に配列された予測残差について、確度に応じて読み出し順を所定の数だけ繰り上げる又は繰り下げるとしてもよい。

上述した実施形態において、動き補償予測としてインター予測を主として説明した。インター予測においては、現フレームと異なるフレーム内の参照画像が現フレームの対象ブロックの予測に用いられる。しかしながら、動き補償予測としてイントラブロックコピーと呼ばれる技術も適用することが可能である。イントラブロックコピーにおいては、現フレームと同じフレーム内の参照画像が現フレームの対象ブロックの予測に用いられる。

画像符号化装置１Ａ、１Ｂが行う各処理をコンピュータに実行させるプログラム及び画像復号装置２Ａ、２Ｂが行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。また、画像符号化装置１Ａ、１Ｂが行う各処理を実行する回路を集積化し、画像符号化装置１Ａ、１Ｂを半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。同様に、画像復号装置２Ａ、２Ｂが行う各処理を実行する回路を集積化し、画像復号装置２Ａ、２Ｂを半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１、１Ａ、１Ｂ ：画像符号化装置
２、２Ａ、２Ｂ ：画像復号装置
１００ ：ブロック分割部
１０１ ：減算部
１０２ ：変換・量子化部
１０２ａ ：変換部
１０２ｂ ：量子化部
１０３Ａ、１０３Ｂ：エントロピー符号化部
１０３ａ ：ソート部
１０３ｂ ：予測残差並び替え部
１０３ｃ ：シリアライズ部
１０３ｄ ：確度並び替え部
１０３ｅ ：判定部
１０３ｆ ：切替部
１０３ｇ ：符号化部
１０４ ：逆量子化・逆変換部
１０４ａ ：逆量子化部
１０４ｂ ：逆変換部
１０５ ：合成部
１０６ ：イントラ予測部
１０７ ：ループフィルタ
１０８ ：フレームメモリ
１０９ ：動き補償予測部
１１０ ：切替部
１１１ ：評価部
１１１ａ ：差分算出部
１１１ｂ ：正規化部
１１２ ：並び替え部
２００Ａ ：エントロピー符号復号部
２００ａ ：復号部
２００ｂ ：ソート部
２００ｃ ：予測残差並び替え部
２００ｄ ：デシリアライズ部
２００ｅ ：確度並び替え部
２００ｆ ：判定部
２００ｇ ：切替部
２０１ ：逆量子化・逆変換部
２０１ａ ：逆量子化部
２０１ｂ ：逆変換部
２０２ ：合成部
２０３ ：イントラ予測部
２０４ ：ループフィルタ
２０５ ：フレームメモリ
２０６ ：動き補償予測部
２０７ ：切替部
２０８ ：評価部
２０８ａ ：差分算出部
２０８ｂ ：正規化部
２０９ ：並び替え部

Claims (2)

1. 複数の参照画像を用いて双予測を行うことにより、対象のブロックに対応する予測画像のブロックを生成する動き補償予測部と、
   前記双予測を行う場合に限り、前記複数の参照画像間の類似度を示す評価値を前記ブロックよりも小さい単位であって複数の画素からなる小ブロックごとに算出する評価部と、
   前記対象のブロックに対応する予測残差を取得する取得部と、
   前記取得された予測残差を前記予測画像のブロックと合成して前記対象のブロックを再構成する合成部と、を備え、
   前記評価部は、前記複数の参照画像間の画素単位での差分絶対値を算出し、当該画素単位での差分絶対値に応じて前記評価値を算出し、
   前記評価部が算出する前記評価値は、前記合成部の合成対象を前記小ブロック単位で補正するために用いられる、補正装置。
2. コンピュータを請求項１に記載の補正装置として機能させることを特徴とするプログラム。

Images