JP2020028066A - 色差イントラ予測候補生成装置、画像符号化装置、画像復号装置、及びプログラム - Google Patents

Abstract

【課題】色差ブロックに適用するイントラ予測モードの候補リストを効率的に生成することにより符号化効率を改善可能とする。
【解決手段】色差イントラ予測候補生成装置は、対象画像中の色差ブロックのイントラ予測に適用するイントラ予測モードの候補リストを、前記対象画像中で前記色差ブロックに対応する位置の１以上の輝度ブロックに適用されたイントラ予測モードに基づいて生成する。色差イントラ予測候補生成装置は、イントラブロックコピーが適用された輝度ブロックが前記１以上の輝度ブロックに含まれることに応じて、イントラブロックコピーが適用された輝度ブロックがイントラブロックコピーの際に参照した参照先ブロックに対応する輝度ブロックに適用されたイントラ予測モードを前記候補リストに追加する。
【選択図】図４

Description

本発明は、色差イントラ予測候補生成装置、画像符号化装置、画像復号装置、及びプログラムに関する。

次世代の映像符号化技術において、符号化対象の画像を構成する輝度信号及び色差信号に対して個別にブロック分割を行うことを可能とし、輝度ブロック及び色差ブロックを個別に符号化することが検討されている。また、特許文献１には、画像のブロックごとに色差信号のイントラ予測モードを定めるイントラ予測器において、色差信号のイントラ予測モードの符号化効率を向上することができるイントラ予測器を用いた画像符号化装置が開示されている（特許文献１参照）。

そして、色差ブロックのイントラ予測に、当該色差ブロックに対応する位置の輝度ブロックに適用されたイントラ予測モードを適用するＤｅｒｉｖｅｄ Ｍｏｄｅ（ＤＭ）を適用可能とすることが検討されている（例えば、非特許文献１参照）。

輝度信号と色差信号とでブロック分割を独立に設定可能であることから、符号化対象の色差ブロックに対応する位置の１以上の輝度ブロック群のそれぞれに適用されたイントラ予測モードを取得し、これらのイントラ予測モードから重複を排除したものを当該色差ブロックに適用するイントラ予測モードの候補リスト（「ＤＭリスト」と称される）として生成する。

かかるＤＭリスト中のイントラ予測モードの数が規定の数（例えば、５つ）に満たない場合には、当該色差ブロックの周囲に位置する色差ブロックに適用されたイントラ予測モードのうち、ＤＭリストに含まれるイントラ予測モードと重複のないイントラ予測モードをＤＭリストに追加し、それでも規定の数に満たない場合には、予め規定した初期値のモードをＤＭリストに追加する。

特開２０１８−０７８４０９号公報

ＪＶＥＴ−Ｊ００４２、"Ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ ｆｏｒ ｉｎｔｒａ−ｆｒａｍｅ ｃｏｄｉｎｇ"、２０１８年６月１日検索、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｔ−ｓｕｄｐａｒｉｓ．ｅｕ／ｊｖｅｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１０＿Ｓａｎ％２０Ｄｉｅｇｏ／ｗｇ１１／ＪＶＥＴ−Ｊ００４２−ｖ３．ｚｉｐ＞

しかしながら、符号化対象の色差ブロックに対応する位置の輝度ブロックには、同一スライス（フレーム）内の復号済みブロックを当該輝度ブロックの予測画像として生成するイントラブロックコピーが適用されうる。

かかる場合、ＤＭリストのための参照先輝度ブロックにはイントラ予測が適用されていないため、当該参照先輝度ブロックをＤＭリストの生成に用いることができないと考えられる。よって、符号化対象の色差ブロックとの信号相関の高い輝度ブロックの空間的特徴を利用できず、当該色差ブロックの周囲の色差ブロックに適用されたイントラ予測モードや初期値のモードによる予測のみに限られてしまう。

したがって、色差ブロックのイントラ予測の効率が低下し、符号化効率が低下してしまう問題がある。

そこで、本発明は、色差ブロックに適用するイントラ予測モードの候補リストを効率的に生成することにより符号化効率を改善可能とする色差イントラ予測候補生成装置、画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。

第１の特徴に係る色差イントラ予測候補生成装置は、対象画像中の色差ブロックのイントラ予測に適用するイントラ予測モードの候補リストを、前記対象画像中で前記色差ブロックに対応する位置の１以上の輝度ブロックに適用されたイントラ予測モードに基づいて生成する。前記色差イントラ予測候補生成装置は、イントラ予測が適用された第１輝度ブロックが前記１以上の輝度ブロックに含まれることに応じて、前記第１輝度ブロックに適用されたイントラ予測モードを前記候補リストに追加する第１追加部と、イントラブロックコピーが適用された第２輝度ブロックが前記１以上の輝度ブロックに含まれることに応じて、前記第２輝度ブロックがイントラブロックコピーの際に参照した参照先ブロックに対応する輝度ブロックに適用されたイントラ予測モードを前記候補リストに追加する第２追加部とを備える。

第２の特徴に係る画像符号化装置は、第１の特徴に係る色差イントラ予測候補生成装置を備えることを要旨とする。

第３の特徴に係る画像復号装置は、第１の特徴に係る色差イントラ予測候補生成装置を備えることを要旨とする。

第４の特徴に係るプログラムは、コンピュータを請求項１乃至３のいずれか１項に記載の色差イントラ予測候補生成装置として機能させることを要旨とする。

本発明によれば、色差ブロックのイントラ予測に適用するイントラ予測モードの候補リストを効率的に生成することにより符号化効率を改善可能とする色差イントラ予測候補生成装置、画像符号化装置、画像復号装置、及びプログラムを提供できる。

実施形態に係る画像符号化装置の構成を示す図である。 実施形態に係る輝度ブロックに適用可能なイントラ予測モードの一例を示す図である。 実施形態に係る符号化対象の色差ブロックに対応する位置の複数の輝度ブロックの一例を示す図である。 実施形態に係る第２追加部の動作の一例を示す図である。 実施形態に係る画像復号装置の構成を示す図である。 実施形態に係る色差イントラ予測候補生成部（色差イントラ予測候補生成装置）の動作例１を示す図である。 実施形態に係る色差イントラ予測候補生成部（色差イントラ予測候補生成装置）の動作例２を示す図である。

図面を参照して、一実施形態に係る画像符号化装置及び画像復号装置について説明する。本実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画像の符号化及び復号を行う。なお、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

＜１．画像符号化装置の構成＞
図１は、本実施形態に係る画像符号化装置１の構成を示す図である。

図１に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１１０と、変換・量子化部１２０と、エントロピー符号化部１３０と、逆量子化・逆変換部１４０と、合成部１５０と、メモリ１６０と、予測部１７０と、色差イントラ予測候補生成部（色差イントラ予測候補生成装置）１８０と、色差イントラ予測モード選択部１９０とを備える。

ブロック分割部１００は、符号化対象の動画像を構成するフレーム（或いはピクチャ）単位の入力画像をブロック状の小領域に分割し、分割により得たブロックを減算部１１０に出力する。ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。ブロックは、画像符号化装置１が符号化を行う単位及び画像復号装置２が復号を行う単位である。

ブロックの形状は正方形に限らず、長方形であってもよい。例えば、ブロック分割部１００は、４つのブロックに分割する４分木分割と２つのブロックに分割する２分木分割とを組み合わせて階層的に（再帰的に）分割する方法であるＱＴＢＴ（Ｑｕａｄ Ｔｒｅｅ／Ｂｉｎａｒｙ Ｔｒｅｅ）を行ってもよい。また、ブロック分割部１００は、４分木分割及び２分木分割に加えて、３つのブロックに分割するブロック分割を行ってもよい。

また、入力画像は輝度信号（Ｙ）及び色差信号（Ｃ_b、Ｃ_r）により構成されており、入力画像内の各画素は輝度成分（Ｙ）及び色差成分（Ｃ_b、Ｃ_r）により構成される。ブロック分割部１００は、輝度信号と色差信号とでブロック分割を独立に設定可能である。よって、輝度ブロック及び色差ブロックが１対１に対応しないことがある。なお、画像符号化装置１は、輝度ブロック及び色差ブロックを別々に符号化することが可能である。同様に、画像復号装置２は、輝度ブロック及び色差ブロックを別々に復号することが可能である。

減算部１１０は、ブロック分割部１００から入力されたブロック（輝度ブロック、色差ブロック）と、予測部１７０が当該ブロックを予測して得た予測画像（予測輝度ブロック、予測色差ブロック）との間の画素単位での誤差を表す予測残差を算出する。例えば、減算部１１０は、ブロック分割部１００から入力されたブロックの各画素値から予測画像の各画素値を減算することにより予測残差を算出し、算出した予測残差を変換・量子化部１２０に出力する。

変換・量子化部１２０は、ブロック単位で直交変換処理及び量子化処理を行う。変換・量子化部１２０は、変換部１２１と、量子化部１２２とを備える。

変換部１２１は、減算部１１０から入力された予測残差に対して直交変換処理を行って変換係数を算出し、算出した変換係数を量子化部１２２に出力する。直交変換処理とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ： Ｋａｒｈｕｎｅｎ Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ）等をいう。

量子化部１２２は、変換部１２１から入力された変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化変換係数を生成する。量子化パラメータ（Ｑｐ）は、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各変換係数を量子化する際の量子化値を要素として有する行列である。量子化部１２２は、量子化された変換係数をエントロピー符号化部１３０及び逆量子化・逆変換部１４０に出力する。

エントロピー符号化部１３０は、量子化部１２２から入力された変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）等を用いることができる。なお、エントロピー符号化部１３０には、予測部１７０から予測に関する制御情報（フラグ等）が入力され、色差イントラ予測モード選択部１９０から色差イントラ予測モードを示すフラグが入力され、エントロピー符号化部１３０は、これらの情報のエントロピー符号化も行う。

逆量子化・逆変換部１４０は、ブロック単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部１４０は、逆量子化部１４１と、逆変換部１４２とを備える。

逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。

逆変換部１４２は、変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１２１がＤＣＴによる直交変換処理を行った場合には、逆変換部１４２はＤＣＴによる逆直交変換処理を行う。逆変換部１４２は、逆量子化部１４１から入力された変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差を合成部１５０に出力する。

合成部１５０は、逆変換部１４２から入力された復元予測残差を、予測部１７０から入力された予測画像と画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測画像の各画素値を加算してブロックを復号（再構成）し、復号したブロック単位の復号画像をメモリ１６０に出力する。かかる復号画像は、再構成画像とも称される。なお、合成部１５０とメモリ１６０との間にループフィルタが設けられてもよい。

メモリ１６０は、合成部１５０から入力された復号画像を記憶する。メモリ１６０は、復号画像をフレーム単位で記憶する。

予測部１７０は、ブロック単位で予測を行う。予測部１７０は、イントラ予測部１７１と、イントラブロックコピー部１７２と、インター予測部１７３と、切替部１７４とを備える。

イントラ予測部１７１は、ブロック（輝度ブロック、色差ブロック）単位でイントラ予測を行う。イントラ予測部１７１は、メモリ１６０に記憶された復号画像のうち、符号化対象のブロックに隣接する隣接復号画素（参照画素）を参照して予測画像を生成し、生成した予測画像を切替部１７４に出力する。

イントラ予測部１７１は、符号化対象の輝度ブロックについて、予め定められた複数のイントラ予測モードの中から、符号化対象のブロックに適用する最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いてイントラ予測を行う。かかるイントラ予測モードには、Ｐｌａｎａｒ予測、ＤＣ予測、及び方向性予測等がある。イントラ予測部１７１は、イントラ予測が適用された各輝度ブロックについて、イントラ予測に用いたイントラ予測モードを色差イントラ予測候補生成部１８０に出力する。

図２は、輝度ブロックに適用可能な複数のイントラ予測モードの一例を示す図である。図２に示すように、０から６６までの６７通りのイントラ予測モードが規定されている。イントラ予測モードのモード番号「０」はＰｌａｎａｒ予測であり、イントラ予測モード「１」はＤＣ予測であり、イントラ予測モード「２」〜「６６」は方向性予測である。方向性予測において、矢印の方向は予測方向を示し、矢印の起点は符号化対象の画素の位置を示し、矢印の終点はこの予測対象画素の予測に用いる参照画素の位置を示す。

一方、イントラ予測部１７１は、色差ブロックについては、色差イントラ予測モード選択部１９０がＤｅｒｉｖｅｄ Ｍｏｄｅ（ＤＭ）を用いて決定したイントラ予測モードを用いてイントラ予測を行う。上述したように、ＤＭは、色差ブロックのイントラ予測に、当該色差ブロックに対応する位置の輝度ブロックに適用されたイントラ予測モードを適用するモードである。ＤＭにおいては、色差ブロックに適用可能なイントラ予測モードがＤＭリスト（候補リスト）中のイントラ予測モードに限定される。ＤＭリスト中のイントラ予測モードの数は例えば５である。

イントラブロックコピー部１７２は、符号化対象の輝度ブロックに対してイントラブロックコピーを行って予測画像を切替部１７４に出力する。イントラブロックコピーは、符号化対象の輝度ブロックと同一スライス（フレーム）内の復号済み輝度ブロックを当該輝度ブロックの予測画像として生成するものである。例えば、イントラブロックコピー部１７２は、同一スライス（フレーム）内の復号画像を参照画像として用いてブロックマッチングなどの手法により参照先ブロックを検出し、当該参照先ブロックに対する動きベクトルを算出し、符号化対象の輝度ブロックを予測して予測画像を生成する。なお、イントラブロックコピーは、同一フレーム内を参照する点でイントラ予測に類似し、動き補償を行う点でインター予測に類似する。

インター予測部１７３は、符号化対象の輝度ブロックに対してインター予測を行って予測画像を切替部１７４に出力する。具体的には、インター予測部１７３は、メモリ１６０に記憶された別スライス（フレーム）の復号画像を参照画像として用いて、ブロックマッチングなどの手法により動きベクトルを算出し、符号化対象のブロックを予測して予測画像を生成し、生成した予測画像を切替部１７４に出力する。インター予測部１７３は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。

切替部１７４は、イントラ予測部１７１から入力される予測画像とイントラブロックコピー部１７２から入力される予測画像とインター予測部１７３から入力される予測画像とを切り替えて、いずれかの予測画像を減算部１１０及び合成部１５０に出力する。

色差イントラ予測候補生成部１８０は、符号化対象の色差ブロックのイントラ予測に適用するイントラ予測モードの候補リスト（ＤＭリスト）を生成し、生成したＤＭリストを色差イントラ予測モード選択部１９０に出力する。色差イントラ予測候補生成部１８０は、符号化対象の色差ブロックと同一スライス（フレーム）中において当該色差ブロックに対応する位置の１以上の輝度ブロックに適用されたイントラ予測モードに基づいてＤＭリストを生成する。

上述したように、輝度信号と色差信号とを独立に分割設定可能であるため、色差ブロックに対応する位置の輝度ブロックは複数存在する可能性がある。色差ブロックに空間的相関の高い位置の輝度信号の信号特徴を効率的に利用するために、色差イントラ予測候補生成部１８０は、当該色差ブロック内の中央座標、左上座標、右上座標、左下座標、右下座標のそれぞれの位置に対応する輝度信号の座標を含む輝度ブロックに適用されたイントラ予測モードをＤＭリストに追加する。この際、ＤＭリスト内でイントラ予測モードが重複しないよう追加する。

図３は、符号化対象の色差ブロックに対応する位置における複数の輝度ブロックの一例を示す図である。図３（ａ）は輝度フレームをＱＴＢＴにより分割した輝度ブロック構造（Ｌｕｍａ ＱＴＢＴ ｓｔｒｕｃｔｕｒｅ）を示し、図３（ｂ）は色差フレームをＱＴＢＴにより分割した色差ブロック構造（Ｃｈｒｏｍａ ＱＴＢＴ ｓｔｒｕｃｔｕｒｅ）を示す。

図３（ｂ）に示すように、色差フレームは２分木分割により垂直に分割され、縦長の２つの色差ブロックが形成されている。縦長の２つの色差ブロックのうち左側の色差ブロックが符号化対象の色差ブロックであるものとする。

図３（ａ）に示すように、輝度フレームにおいて、符号化対象の色差ブロックに対応する位置には複数の輝度ブロックが存在する。これらの輝度ブロックのうち、中央座標（ＣＲ：ｃｅｎｔｅｒ）を含む輝度ブロックが輝度ブロック＃１であり、左上座標（ＴＬ：ｔｏｐ−ｌｅｆｔ）を含む輝度ブロックが輝度ブロック＃２であり、右上座標（ＴＲ：ｔｏｐ−ｒｉｇｈｔ）を含む輝度ブロックが輝度ブロック＃３であり、左下座標（ＢＬ：ｂｏｔｔｏｍ−ｌｅｆｔ）を含む輝度ブロックが輝度ブロック＃４であり、右下座標（ＢＲ：ｂｏｔｔｏｍ−ｒｉｇｈｔ）を含む輝度ブロックが輝度ブロック＃５である。

色差イントラ予測候補生成部１８０は、図３（ｂ）に示す符号化対象の色差ブロックに対応するＤＭリストに、図３（ａ）に示す輝度ブロック＃１乃至＃５に適用されたイントラ予測モードを追加する。この際、ＤＭリスト内でイントラ予測モードが重複しないよう追加する。このようにして、色差イントラ予測候補生成部１８０は、符号化対象の色差ブロックごとにＤＭリストを生成し、生成したＤＭリストを色差イントラ予測モード選択部１９０に出力する。

色差イントラ予測候補生成部１８０は、第１追加部１８１と、第２追加部１８２と、第３追加部１８３とを備える。

第１追加部１８１は、符号化対象の色差ブロックに対応する位置の輝度ブロックに、イントラ予測が適用された第１輝度ブロックが含まれることに応じて、当該第１輝度ブロックに適用されたイントラ予測モードをＤＭリストに追加する。

具体的には、第１追加部１８１は、まず中央座標に対応する輝度ブロック＃１が復号済みであり、且つイントラ予測モードが適用されている場合には、輝度ブロック＃１に適用されたイントラ予測モードをＤＭリストに追加する。次に、第１追加部１８１は、左上座標に対応する輝度ブロック＃２が復号済みであり、且つイントラ予測モードが適用されている場合には、輝度ブロック＃２に適用されたイントラ予測モードがＤＭリストに存在しなければ輝度ブロック＃２に適用されたイントラ予測モードをＤＭリストに追加する。同様に、第１追加部１８１は、右上座標、左下座標、右下座標に対応する輝度ブロック＃３乃至＃５についてもＤＭリストの重複を確認しならが、イントラ予測モードをＤＭリストに追加する。

第２追加部１８２は、符号化対象の色差ブロックに対応する位置の輝度ブロックに、イントラブロックコピーが適用された第２輝度ブロックが含まれることに応じて、当該第２輝度ブロックがイントラブロックコピーの際に参照した参照先ブロックに対応する輝度ブロックに適用されたイントラ予測モードをＤＭリストに追加する。言い換えると、符号化対象の色差ブロックに対応する位置の輝度ブロックに対して適用したモードがイントラブロックコピーモードであった場合には、第２追加部１８２は、当該輝度ブロックの予測画像生成のために参照した同一スライス（フレーム）内の参照先ブロックが含まれる輝度ブロックに適用されたイントラ予測モードをＤＭリストに追加する。

具体的には、第２追加部１８２は、符号化対象の色差ブロックの中央座標に対応する位置の輝度ブロック＃１がイントラブロックコピーモードであった場合には、輝度ブロック＃１の予測画像生成のために参照した同一スライス（フレーム）内の参照先ブロックの中央座標を含む輝度ブロックに適用されたイントラ予測モードをＤＭリストに重複のないように追加する。また、第２追加部１８２は、符号化対象の色差ブロックの左上座標に対応する位置の輝度ブロック＃２がイントラブロックコピーモードであった場合には、輝度ブロック＃２の予測画像生成のために参照した同一スライス（フレーム）内の参照先ブロックの左上座標を含む輝度ブロックに適用されたイントラ予測モードをＤＭリストに重複のないように追加する。さらに、第２追加部１８２は、右上座標、左下座標、右下座標についても同様に処理してＤＭリストを生成する。

図４は、第２追加部１８２の動作の一例を示す図である。図４に示すように、符号化対象の色差ブロックに対応する位置の輝度ブロック＃１乃至＃５のうち、右上座標に対応する輝度ブロック＃３と、左下座標に対応する輝度ブロック＃４とに対してイントラブロックコピーが適用されている。

右上座標に対応する輝度ブロック＃３から延びる矢印は、輝度ブロック＃３がイントラブロックコピーの際に参照した参照先ブロックに対する動きベクトルを表している。イントラブロックコピーにおける参照先ブロックは、ブロック分割部１００により得られた輝度ブロックと一致せず、ブロック分割部１００により得られた複数の輝度ブロックと重複しうる。よって、第２追加部１８２は、当該参照先ブロックの右上座標を含む輝度ブロックを選択し、選択した輝度ブロックに適用されたイントラ予測モードをＤＭリストに重複のないように追加する。同様に、第２追加部１８２は、左下座標に対応する輝度ブロック＃４について、輝度ブロック＃４の参照先ブロックの左下座標を含む輝度ブロックを選択し、選択した輝度ブロックに適用されたイントラ予測モードをＤＭリストに重複のないように追加する。

但し、参照先ブロックにインター予測が適用されずに、参照先ブロックにイントラブロックコピーが適用されていることもありうる。よって、第２追加部１８２は、参照先ブロックに対応する輝度ブロックにイントラブロックコピーが適用されていることに応じて、当該輝度ブロックがイントラブロックコピーの際に参照した参照先ブロックに対応する輝度ブロックに適用されたイントラ予測モードをＤＭリストに追加してもよい。言い換えると、第２追加部１８２は、参照先ブロックに対応する輝度ブロックがイントラブロックコピーモードである場合には、再帰的にさらにその参照先の輝度ブロックに適用したイントラ予測モードをＤＭリストに追加する。ここで、再帰的に参照する上限回数を定めてもよい。例えば２回まで参照可能とし、その参照先もイントラブロックコピーだった場合には、ＤＭリストには追加せずに次の処理に進むこととする。

第３追加部１８３は、符号化対象の色差ブロックに対応する位置の輝度ブロックに、インター予測が適用された第３輝度ブロックが含まれることに応じて、当該第３輝度ブロックがインター予測の際に参照した参照先ブロックに対応する輝度ブロックに適用されたイントラ予測モードをＤＭリストに追加する。具体的には、第３追加部１８３は、符号化対象の色差ブロックに対応する位置の輝度ブロック＃１乃至＃５において、インター予測が適用された輝度ブロックが存在し、且つインター予測の参照先ブロックに対応する輝度ブロックにイントラ予測モードが適用されている場合に、そのイントラ予測モードを重複のないようにＤＭリストに追加する。

このようにして色差イントラ予測候補生成部１８０はＤＭリストを生成する。色差イントラ予測候補生成部１８０は、生成したＤＭリスト中のイントラ予測モードの数が規定の数（例えば、５つ）に満たない場合には、符号化対象の色差ブロックの周囲の色差ブロックに適用されたイントラ予測モードや初期値のモードによりＤＭリストの追加を行ってもよい。

色差イントラ予測モード選択部１９０は、色差イントラ予測候補生成部１８０から入力されたＤＭリストの中から、符号化対象の色差ブロックに適用するイントラ予測モードを選択し、選択したイントラ予測モードをイントラ予測部１７１及びエントロピー符号化部１３０に出力する。例えば、色差イントラ予測モード選択部１９０は、色差イントラ予測候補生成部１８０から入力されたＤＭリスト中のイントラ予測モードのそれぞれについてＲＤ（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ）コストを算出し、算出したＲＤコストに基づいて最適なイントラ予測モードを選択してもよい。なお、色差イントラ予測モード選択部１９０は、選択したイントラ予測モードのモード番号（例えば、０から６６までのいずれかの番号）をエントロピー符号化部１３０に出力するのではなく、選択したイントラ予測モードのＤＭリスト中の位置を示すインデックス（例えば、０から４までのいずれかの番号）をエントロピー符号化部１３０に出力すればよい。

＜２．画像復号装置の構成＞
図５は、本実施形態に係る画像復号装置２の構成を示す図である。以下においては、画像符号化装置１との相違点について主として説明し、重複する説明を省略する。

図５に示すように、画像復号装置２は、エントロピー符号復号部２００と、逆量子化・逆変換部２１０と、合成部２２０と、メモリ２３０と、予測部２４０と、色差イントラ予測候補生成部２５０と、色差イントラ予測モード選択部２６０とを備える。

エントロピー符号復号部２００は、画像符号化装置１により生成された符号化データ（ビットストリーム）を復号し、量子化された変換係数を逆量子化・逆変換部２１０に出力する。また、エントロピー符号復号部２００は、予測に関する制御情報を取得し、取得した制御情報を予測部２４０に出力する。さらに、エントロピー符号復号部２００は、画像符号化装置１の色差イントラ予測モード選択部１９０により選択されたイントラ予測モードのインデックスを取得し、取得したインデックスを色差イントラ予測モード選択部２６０に出力する。

逆量子化・逆変換部２１０は、ブロック（輝度ブロック、色差ブロック）単位で逆量子化処理及び逆直交変換処理を行う。逆量子化・逆変換部２１０は、逆量子化部２１１と、逆変換部２１２とを備える。

逆量子化部２１１は、画像符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー符号復号部２００から入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。

逆変換部２１２は、画像符号化装置１の変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２１２は、逆量子化部２１１から入力された変換係数に対して逆直交変換処理を行って予測残差を復元し、復元した予測残差を合成部２２０に出力する。

合成部２２０は、逆変換部２１２から入力された予測残差と、予測部２４０から入力された予測画像（予測ブロック）とを画素単位で合成することにより、元のブロックを再構成（復号）し、ブロック単位の復号画像をメモリ２３０に出力する。なお、合成部２２０とメモリ２３０との間にループフィルタが設けられてもよい。

メモリ２３０は、合成部２２０から入力された復号画像を記憶する。メモリ２３０は、復号画像をフレーム単位で記憶する。メモリ２３０は、フレーム単位の復号画像を画像復号装置２の外部に出力する。

予測部２４０は、ブロック単位で予測を行う。復号対象の各輝度ブロック及び復号対象の各色差ブロックについて適用された予測方法（イントラ予測、イントラブロックコピー、インター予測）を表す制御情報をエントロピー符号復号部２００から取得し、各輝度ブロック及び各色差ブロックに対する予測処理を行う。予測部２４０は、イントラ予測部２４１と、イントラブロックコピー部２４２と、インター予測部２４３と、切替部２４４とを備える。

イントラ予測部２４１は、ブロック（輝度ブロック、色差ブロック）単位でイントラ予測を行う。イントラ予測部２４１は、復号対象の輝度ブロックについて、予め定められた複数のイントラ予測モードの中から、画像符号化装置１から伝送された制御情報により示されるイントラ予測モードを選択し、選択したイントラ予測モードを用いてイントラ予測を行う。イントラ予測部２４１は、イントラ予測が適用された各輝度ブロックについて、イントラ予測に用いたイントラ予測モードを色差イントラ予測候補生成部２５０に出力する。

イントラブロックコピー部２４２は、復号対象の輝度ブロックに対してイントラブロックコピーを行って予測画像を切替部２４４に出力する。具体的には、イントラブロックコピー部２４２は、画像符号化装置１から伝送された制御情報により示される動きベクトルを用いて同一スライス（フレーム）内の参照先ブロックを検出し、検出した参照先ブロックを予測画像として出力する。

インター予測部２４３は、復号対象の輝度ブロックに対してインター予測を行って予測画像を切替部２４４に出力する。具体的には、インター予測部２４３は、メモリ１６０に記憶された別スライス（フレーム）の復号画像を参照画像として用いて、画像符号化装置１から伝送された制御情報により示される動きベクトルを用いて別スライス（フレーム）内の参照先ブロックを検出し、検出した参照先ブロックを予測画像として出力する。

切替部２４４は、イントラ予測部２４１から入力される予測画像とイントラブロックコピー部２４２から入力される予測画像とインター予測部２４３から入力される予測画像とを切り替えて、いずれかの予測画像を合成部２２０に出力する。

色差イントラ予測候補生成部２５０は、画像符号化装置１の色差イントラ予測候補生成部１８０と同じ方法によって、復号対象の色差ブロックのイントラ予測に適用するイントラ予測モードの候補リスト（ＤＭリスト）を生成し、生成したＤＭリストを色差イントラ予測モード選択部１９０に出力する。

色差イントラ予測候補生成部２５０は、第１追加部２５１と、第２追加部２５２と、第３追加部２５３とを備える。第１追加部２５１、第２追加部２５２、及び第３追加部２５３は、画像符号化装置１の第１追加部１８１、第２追加部１８２、及び第３追加部１８３と同じ方法によってイントラ予測モードを重複のないようにＤＭリストに追加する。

色差イントラ予測モード選択部２６０は、色差イントラ予測候補生成部２５０から入力されたＤＭリストの中から、画像符号化装置１から伝送されたインデックスにより示される色差イントラ予測モードを選択し、選択したイントラ予測モードをイントラ予測部２４１に出力する。

＜３．動作例＞
以下において、本実施形態に係る色差イントラ予測候補生成部１８０及び２５０の動作例について説明する。なお、色差イントラ予測候補生成部１８０及び２５０は同様に動作するため、これらを代表して色差イントラ予測候補生成部１８０の動作例について説明する。

＜３．１．動作例１＞
図６は、本実施形態に係る色差イントラ予測候補生成部１８０の動作例１を示す図である。色差イントラ予測候補生成部１８０は、符号化対象の色差ブロックに対応する位置の輝度ブロック＃１乃至＃５のそれぞれに対して図６に示す動作を行う。以下において、輝度ブロック＃１乃至＃５のうち処理対象となる輝度ブロックを対象輝度ブロックと称する。

図６に示すように、ステップＳ１０１において、色差イントラ予測候補生成部１８０は、対象輝度ブロックが復号済み（符号化済み）であるか否かを判定する。対象輝度ブロックが復号済みでない場合（ステップＳ１０１：ＮＯ）、次の対象輝度ブロックに処理を移す。

対象輝度ブロックが復号済みである場合（ステップＳ１０１：ＹＥＳ）、ステップＳ１０２において、第１追加部１８１は、対象輝度ブロックにイントラ予測が適用されているか否かを判定する。対象輝度ブロックにイントラ予測が適用されている場合（ステップＳ１０２：ＹＥＳ）、ステップＳ１０３において、第１追加部１８１は、対象輝度ブロックに適用されたイントラ予測モードが既にＤＭリスト中に存在するか否かを判定する。対象輝度ブロックに適用されたイントラ予測モードがＤＭリスト中に存在しない場合（ステップＳ１０３：ＮＯ）、ステップＳ１０４において、第１追加部１８１は、対象輝度ブロックに適用されたイントラ予測モードをＤＭリストに追加する。これに対し、対象輝度ブロックに適用されたイントラ予測モードがＤＭリスト中に既に存在する場合（ステップＳ１０３：ＹＥＳ）、第１追加部１８１は、対象輝度ブロックに適用されたイントラ予測モードをＤＭリストに追加せずに、次の対象輝度ブロックに処理を移す。

対象輝度ブロックにイントラ予測が適用されていない場合（ステップＳ１０２：ＮＯ）、ステップＳ１０５において、第２追加部１８２は、対象輝度ブロックにイントラブロックコピーが適用されているか否かを判定する。対象輝度ブロックにイントラブロックコピーが適用されていない場合（ステップＳ１０５：ＮＯ）、次の対象輝度ブロックに処理を移す。一方、対象輝度ブロックにイントラブロックコピーが適用されている場合（ステップＳ１０５：ＹＥＳ）、ステップＳ１０６において、第２追加部１８２は、イントラブロックコピーの参照先ブロックに対応する輝度ブロックにイントラ予測が適用されているか否かを判定する。イントラブロックコピーの参照先ブロックに対応する輝度ブロックにイントラ予測が適用されている場合（ステップＳ１０６：ＹＥＳ）、ステップＳ１０３において、第２追加部１８２は、イントラブロックコピーの参照先ブロックに対応する輝度ブロックに適用されたイントラ予測モードが既にＤＭリスト中に存在するか否かを判定する。イントラブロックコピーの参照先ブロックに対応する輝度ブロックに適用されたイントラ予測モードがＤＭリスト中に存在しない場合（ステップＳ１０３：ＮＯ）、ステップＳ１０４において、第２追加部１８２は、イントラブロックコピーの参照先ブロックに対応する輝度ブロックに適用されたイントラ予測モードをＤＭリストに追加する。

イントラブロックコピーの参照先ブロックに対応する輝度ブロックにイントラ予測が適用されていない場合（ステップＳ１０６：ＮＯ）、ステップＳ１０７において、第２追加部１８２は、当該参照先ブロックに対応する輝度ブロックにイントラブロックコピーが適用されているか否かを判定する。当該参照先ブロックに対応する輝度ブロックにイントラブロックコピーが適用されていない場合（ステップＳ１０７：ＮＯ）、次の対象輝度ブロックに処理を移す。一方、当該参照先ブロックに対応する輝度ブロックにイントラブロックコピーが適用されている場合（ステップＳ１０７：ＹＥＳ）、ステップＳ１０８において、第２追加部１８２は、当該参照先ブロックに対応する輝度ブロックのイントラブロックコピーの参照先ブロック（以下、「再参照先ブロック」という）に対応する輝度ブロックにイントラ予測が適用されているか否かを判定する。再参照先ブロックに対応する輝度ブロックにイントラ予測が適用されている場合（ステップＳ１０８：ＹＥＳ）、ステップＳ１０３において、第２追加部１８２は、再参照先ブロックに対応する輝度ブロックに適用されたイントラ予測モードが既にＤＭリスト中に存在するか否かを判定する。再参照先ブロックに対応する輝度ブロックに適用されたイントラ予測モードがＤＭリスト中に存在しない場合（ステップＳ１０３：ＮＯ）、ステップＳ１０４において、第２追加部１８２は、再参照先ブロックに対応する輝度ブロックに適用されたイントラ予測モードをＤＭリストに追加する。

＜３．２．動作例２＞
図７は、本実施形態に係る色差イントラ予測候補生成部１８０の動作例２を示す図である。色差イントラ予測候補生成部１８０は、符号化対象の色差ブロックに対応する位置の輝度ブロック＃１乃至＃５のそれぞれに対して図７に示す動作を行う。以下においては、動作例１との相違点について主として説明し、重複する説明を省略する。

図７に示すように、ステップＳ２０１において、色差イントラ予測候補生成部１８０は、対象輝度ブロックが復号済み（符号化済み）であるか否かを判定する。対象輝度ブロックが復号済みでない場合（ステップＳ２０１：ＮＯ）、次の対象輝度ブロックに処理を移す。

対象輝度ブロックが復号済みである場合（ステップＳ２０１：ＹＥＳ）、ステップＳ２０２において、第１追加部１８１は、対象輝度ブロックにイントラ予測が適用されているか否かを判定する。ステップＳ２０２乃至Ｓ２０４の動作は、動作例１のステップＳ１０２乃至Ｓ１０４の動作と同じである。

対象輝度ブロックにイントラ予測が適用されていない場合（ステップＳ２０２：ＮＯ）、ステップＳ２０５において、第２追加部１８２は、対象輝度ブロックにイントラブロックコピーが適用されているか否かを判定する。対象輝度ブロックにイントラブロックコピーが適用されていない場合（ステップＳ２０５：ＮＯ）、ステップＳ２０７に処理を移す。一方、対象輝度ブロックにイントラブロックコピーが適用されている場合（ステップＳ２０５：ＹＥＳ）、ステップＳ２０６において、第２追加部１８２は、イントラブロックコピーの参照先ブロックに対応する輝度ブロックにイントラ予測が適用されているか否かを判定する。イントラブロックコピーの参照先ブロックに対応する輝度ブロックにイントラ予測が適用されている場合（ステップＳ２０６：ＹＥＳ）、処理をステップＳ２０３に移す。

対象輝度ブロックにイントラブロックコピーが適用されていない場合（ステップＳ２０５：ＮＯ）、ステップＳ２０７において、第３追加部１８３は、対象輝度ブロックにインター予測が適用されているか否かを判定する。対象輝度ブロックにインター予測が適用されている場合（ステップＳ２０７：ＹＥＳ）、ステップＳ２０８において、第３追加部１８３は、インター予測の参照先ブロックに対応する輝度ブロックにイントラ予測が適用されているか否かを判定する。インター予測の参照先ブロックに対応する輝度ブロックにイントラ予測が適用されている場合（ステップＳ２０８：ＹＥＳ）、処理をステップＳ２０３に移す。一方、対象輝度ブロックにインター予測が適用されていない場合（ステップＳ２０７：ＮＯ）、又はインター予測の参照先ブロックに対応する輝度ブロックにイントラ予測が適用されていない場合（ステップＳ２０８：ＮＯ）、次の対象輝度ブロックに処理を移す。

＜４．実施形態のまとめ＞
本実施形態に係る色差イントラ予測候補生成部１８０及び２５０によれば、符号化又は復号の対象とする色差ブロック（以下、「対象色差ブロック」という）に対応する位置の輝度ブロックに対してイントラブロックコピーやインター予測が適用されている場合であっても、イントラブロックコピーやインター予測が適用された輝度ブロックに基づくＤＭリストの追加が可能である。

よって、対象色差ブロックの周囲の色差ブロックに適用されたイントラ予測モードや初期値のモードによりＤＭリストの追加を行う必要性を低減し、対象色差ブロックとの信号相関の高い輝度ブロックの空間的特徴を効率的に利用したイントラ予測モードの選択を可能とすることができる。

したがって、本実施形態に係る色差イントラ予測候補生成部１８０及び２５０によれば、色差ブロックのイントラ予測に適用するイントラ予測モードの候補リスト（ＤＭリスト）を効率的に生成することにより、符号化効率を改善可能とすることができる。

＜５．その他の実施形態＞
上述した実施形態において、色差イントラ予測候補生成部１８０及び２５０が、予め定められた順序として、中央、左上、右上、左下、右下の順にＤＭリストの追加を行う一例を説明したが、画像符号化装置１及び画像復号装置２で予め定めた順序であればよく、上記の例に限らない。また、対象色差ブロックが参照する同位置の輝度ブロックの数（５つ）や座標位置（中央、左上、右上、左下、右下）についても、予め規定した数や位置であればよく、上記の例に限らない。

なお、画像符号化装置１が行う各処理をコンピュータに実行させるプログラム及び画像復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体であってもよい。また、画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。同様に、画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路として構成してもよい。

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１ ：画像符号化装置
２ ：画像復号装置
１００ ：ブロック分割部
１１０ ：減算部
１２０ ：量子化部
１２１ ：変換部
１２２ ：量子化部
１３０ ：エントロピー符号化部
１４０ ：逆変換部
１４１ ：逆量子化部
１４２ ：逆変換部
１５０ ：合成部
１６０ ：メモリ
１７０ ：予測部
１７１ ：イントラ予測部
１７２ ：イントラブロックコピー部
１７３ ：インター予測部
１７４ ：切替部
１８０ ：色差イントラ予測候補生成部
１８１ ：第１追加部
１８２ ：第２追加部
１８３ ：第３追加部
１９０ ：色差イントラ予測モード選択部
２００ ：エントロピー符号復号部
２１０ ：逆変換部
２１１ ：逆量子化部
２１２ ：逆変換部
２２０ ：合成部
２３０ ：メモリ
２４０ ：予測部
２４１ ：イントラ予測部
２４２ ：イントラブロックコピー部
２４３ ：インター予測部
２４４ ：切替部
２５０ ：色差イントラ予測候補生成部
２５１ ：第１追加部
２５２ ：第２追加部
２５３ ：第３追加部
２６０ ：色差イントラ予測モード選択部

Claims (6)

1. 対象画像中の色差ブロックのイントラ予測に適用するイントラ予測モードの候補リストを、前記対象画像中において前記色差ブロックに対応する位置の１以上の輝度ブロックに適用されたイントラ予測モードに基づいて生成する色差イントラ予測候補生成装置であって、
   イントラ予測が適用された第１輝度ブロックが前記１以上の輝度ブロックに含まれることに応じて、前記第１輝度ブロックに適用されたイントラ予測モードを前記候補リストに追加する第１追加部と、
   イントラブロックコピーが適用された第２輝度ブロックが前記１以上の輝度ブロックに含まれることに応じて、前記第２輝度ブロックがイントラブロックコピーの際に参照した参照先ブロックに対応する輝度ブロックに適用されたイントラ予測モードを前記候補リストに追加する第２追加部と、
   を備えることを特徴とする色差イントラ予測候補生成装置。
2. 前記第２追加部は、前記１以上の輝度ブロックに前記第２輝度ブロックが含まれ、且つ、前記参照先ブロックに対応する輝度ブロックにイントラブロックコピーが適用されていることに応じて、当該輝度ブロックがイントラブロックコピーの際に参照した参照先ブロックに対応する輝度ブロックに適用されたイントラ予測モードを前記候補リストに追加することを特徴とする請求項１に記載の色差イントラ予測候補生成装置。
3. インター予測が適用された第３輝度ブロックが前記１以上の輝度ブロックに含まれることに応じて、前記第３輝度ブロックがインター予測の際に参照した参照先ブロックに対応する輝度ブロックに適用されたイントラ予測モードを前記候補リストに追加する第３追加部をさらに備えることを特徴とする請求項１又は２に記載の色差イントラ予測候補生成装置。
4. 請求項１乃至３のいずれか１項に記載の色差イントラ予測候補生成装置を備えることを特徴とする画像符号化装置。
5. 請求項１乃至３のいずれか１項に記載の色差イントラ予測候補生成装置を備えることを特徴とする画像復号装置。
6. コンピュータを請求項１乃至３のいずれか１項に記載の色差イントラ予測候補生成装置として機能させることを特徴とするプログラム。

Images