JP2017005508A - イントラ予測処理装置、イントラ予測処理方法、イントラ予測処理プログラム、画像符号化装置及び画像復号装置 - Google Patents

Abstract

【課題】符号化性能および主観画質を改善することができるイントラ予測を行う。【解決手段】イントラ予測モード情報とブロックサイズ情報とに基づいて参照画素信号に施すイントラスムージングフィルタの適用可否を判定してフィルタ使用情報を導出する導出手段と、復号画素位置情報によって特定されるイントラ予測信号生成に必要な復号画素信号を取得して、該復号画素信号のエッジとして各復号画素間の差分絶対値の最大値を算出する最大値算出手段と、予め定められたテーブルから差分絶対値の最大値に対する閾値を読み込んで設定する設定手段と、算出された各復号画素間の差分絶対値の最大値と閾値を比較して差分絶対値の最大値が閾値以上の場合にイントラスムージングフィルタのフィルタ使用情報を修正する修正手段と、修正されたフィルタ使用情報に基づいてイントラスムージングフィルタを実施する実施手段とを備える。【選択図】図１

Description

本発明は、画面内予測（イントラ予測）を用いて画像信号を符号化または復号する技術に関する。

映像符号化国際規格ＨＥＶＣ（High Efficiency Video Coding、すなわちＩＴＵ−Ｔ Ｈ．２６５またはＩＳＯ／ＩＥＣ ２３００８−２）では、膨大な映像の情報を効率よく圧縮するために、予測と変換という２種類の処理が施される。予測に関しては、インター符号化（フレーム間予測符号化、画面間符号化とも呼ぶ）とイントラ符号化（フレーム内予測符号化、画面内符号化とも呼ぶ）の２種類に分けられる。フレーム間予測符号化は、映像内の時間方向の相関を利用して情報圧縮を図る手法である。動き補償を用いたフレーム間予測がその代表例である。

一方、フレーム内予測符号化は、例えばＨＥＶＣに採用されているような、符号化対象ブロックの周辺にある復号済み画素を用いて予測信号を生成する手法、すなわちフレーム内の相関を用いて情報圧縮を図る手法である。変換に関しては、静止画符号化の国際規格であるＪＰＥＧ及び映像符号化の国際規格であるＭＰＥＧ−２では、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）と呼ばれる手法が採用されている。ＪＰＥＧの後継規格であるＪＰＥＧ２０００では、離散ウェーブレット変換（Discrete Wavelet Transform：ＤＷＴ）と呼ばれる手法が採用されている。前記フレーム間及びフレーム内で予測を行った後、その予測残差信号（予測誤差信号とも呼ぶ）は前記変換及び量子化を経て、最終的にエントロピー符号化によって２値信号（ビットストリーム）となる。

ＨＥＶＣでは、符号化ユニット（Coding Unit：ＣＵ）と呼ばれるブロックの単位で符号化が行われ、ＨＥＶＣの参照ソフトウェア（HEVC test Model：ＨＭ）では通常６４×６４のサイズが最大のＣＵサイズとして設定されている。６４×６４のＣＵは、四分木ベースで分割され、最小単位として８×８のＣＵまで許容できる。各ＣＵは予測ユニット（Prediction Unit：ＰＵ）と呼ばれる予測を実施するブロック、及び変換ユニット（Transform Unit：ＴＵ）と呼ばれる変換を実施するブロックに分割される。これらＰＵとＴＵは、ＣＵ内で独立に定義される。ＰＵはＣＵと同様に基本的には四分木ベースで分割されるが、正方形以外の分割を適用するツールも存在する。ＰＵの非正方形分割を許すツールをAsymmetric Motion Partition（ＡＭＰ）と呼ぶ。

図１３は、ＨＥＶＣにおける各処理ユニットの定義を示す図である。前規格であるＡＶＣ（Advanced Video Coding、すなわちＩＴＵ−Ｔ Ｈ．２６４またはＩＳＯ／ＩＥＣ １４４９６−１０）ではマクロブロック（Macro Block：ＭＢ）と呼ばれる１６×１６のサイズが符号化処理の最大単位であったが、ＨＥＶＣでは６４×６４ブロックのように、より大きいブロック単位で符号化が行われる。このような、より大きいサイズでの符号化、予測、変換の処理は、特に高解像度映像での符号化効率改善に大きく寄与している。

ＨＥＶＣにおけるイントラ符号化では、ＡＶＣのイントラ符号化の性能を改善するため、新しい予測モードなどが追加されている。１つはＰｌａｎａｒ予測と呼ばれる予測モードであり、もう１つはより細かい予測方向を実現する予測モード（Angular Prediction）である。図１４は、ＨＥＶＣの予測ユニット（全ブロックサイズ共通）におけるイントラ予測モード番号とイントラ予測モードの対応関係を示す図である。図１５は、Ａｎｇｕｌａｒ予測モードと角度の対応関係を示す図である。ＡＶＣが８方向であるのに対し、ＨＥＶＣでは３３方向用意されており、非常に柔軟な予測が可能となっており、符号化効率改善に貢献している。

Ｐｌａｎａｒ予測は、予測信号をｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］（ｘ，ｙは予測対象ブロックの座標、一番左上の画素位置がｘ＝０，ｙ＝０に相当）、ブロックサイズをｎＴ、参照信号をｐ［ｘ］［ｙ］（ｘ，ｙは参照画素の位置、予測対象ブロックの左上の画素位置がｘ＝０，ｙ＝０に相当）とするとき、（１）式で定義される。

ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝（（ｎＴ−１−ｘ）×ｐ［−１］［ｙ］＋（ｘ＋１）×ｐ［ｎＴ］［−１］＋（ｎＴ−１−ｙ）×ｐ［ｘ］［−１］＋（ｙ＋１）×ｐ［−１］［ｎＴ］＋ｎＴ）＞＞（Ｌｏｇ２（ｎＴ）＋１） ・・・（１）

特に右上（ｐ［ｎＴ］［−１］）と左下（ｐ［−１］［ｎＴ］）に位置する画素を利用して柔軟に予測信号を生成することが可能であり、ＨＥＶＣのイントラ符号化において、選択率が高いという特徴を有する。

Ａｎｇｕｌａｒ予測は、以下のように予測信号ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］（ｘ，ｙは予測対象ブロックの座標、一番左上の画素位置がｘ＝０，ｙ＝０）を生成する。
（Ａ）予測モード番号が１８以上の場合（以降、…は数値の範囲を示すものとする。）
１．参照画素の配列ｒｅｆ［ｘ］（ｘ＝−ｎＴ…２×ｎＴ、ｎＴはブロックサイズ）
ｒｅｆ［ｘ］＝ｐ［−１＋ｘ］［−１］（ｘ＝０…ｎＴ）
図１６に定義される予測モード番号に対応する角度（ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）が０より小さい場合、そしてかつ（ｎＴ×ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）＞＞５が−１より小さい場合：
ｒｅｆ［ｘ］＝ｐ［−１］［−１＋（（ｘ×ｉｎｖＡｎｇｌｅ＋１２８）＞＞８）］（ｘ＝−１…（ｎＴ×ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）＞＞５）
ここでｉｎｖＡｎｇｌｅの定義は図１７に示す通りである。
図１６は、予測モードと角度の対応関係を示す図である。また、図１７は、予測モードとパラメータの対応関係を示す図である。
上記以外の場合：
ｒｅｆ［ｘ］＝ｐ［−１＋ｘ］［−１］（ｘ＝ｎＴ＋１…２×ｎＴ）

２．参照画素の配列ｒｅｆ［ｘ］（ｘ＝０…ｎＴ−１）
（ａ）インデックス（ｉＩｄｘ）および乗数パラメータ（ｉＦａｃｔ）を以下に定義する。
ｉＩｄｘ＝（（ｙ＋１）×ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）＞＞５
ｉＦａｃｔ＝（（ｙ＋１）×ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）＆３１
（ｂ）ｉＦａｃｔの値に応じて、以下の処理を実施する。
ｉＦａｃｔが０以外のとき：
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝（（３２−ｉＦａｃｔ）×ｒｅｆ［ｘ＋ｉＩｄｘ＋１］＋ｉＦａｃｔ×ｒｅｆ［ｘ＋ｉＩｄｘ＋２］＋１６）＞＞５
ｉＦａｃｔが０のとき：
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝ｒｅｆ［ｘ＋ｉＩｄｘ＋１］
（ｃ）予測モード番号が２６（垂直予測）の場合：（処理対象信号が輝度信号で、かつｎＴ＜３２を満たす場合におけるｘ＝０，ｙ＝０…ｎＴ−１について）
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ１_Ｙ（ｐ［ｘ］［−１］＋（（ｐ［−１］［ｙ］−ｐ［−１］［−１］）＞＞１））

（Ｂ）予測モード番号が１８未満の場合
１．参照画素の配列ｒｅｆ［ｘ］（ｘ＝−ｎＴ…２×ｎＴ）
ｒｅｆ［ｘ］＝ｐ［−１］［−１＋ｘ］（ｘ＝０…ｎＴ）
図１６に定義されるｉｎｔｒａＰｒｅｄＡｎｇｌｅが０より小さい場合、かつ（ｎＴ×ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）＞＞５が−１より小さい場合：
ｒｅｆ［ｘ］＝ｐ［−１＋（（ｘ×ｉｎｖＡｎｇｌｅ＋１２８）＞＞８）］［−１］（ｘ＝−１…（ｎＴ×ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）＞＞５）
上記以外の場合：
ｒｅｆ［ｘ］＝ｐ［−１］［−１＋ｘ］（ｘ＝ｎＴ＋１…２×ｎＴ）

２．参照画素の配列ｒｅｆ［ｘ］（ｘ＝０…ｎＴ−１）
（ａ）インデックス（ｉＩｄｘ）および乗数パラメータ（ｉＦａｃｔ）を以下に定義する。
ｉＩｄｘ＝（（ｘ＋１）×ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）＞＞５
ｉＦａｃｔ＝（（ｘ＋１）×ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）＆３１
（ｂ）ｉＦａｃｔの値に応じて、以下の処理を実施する。
ｉＦａｃｔが０以外のとき：
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝（（３２−ｉＦａｃｔ）×ｒｅｆ［ｙ＋ｉＩｄｘ＋１］＋ｉＦａｃｔ×ｒｅｆ［ｙ＋ｉＩｄｘ＋２］＋１６）＞＞５
ｉＦａｃｔが０のとき：
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝ｒｅｆ［ｙ＋ｉＩｄｘ＋１］
（ｃ）予測モード番号が１０（水平予測）の場合：（処理対象信号が輝度信号で、かつｎＴ＜３２を満たす場合におけるｘ＝０…ｎＴ−１，ｙ＝０について）
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ１Ｙ（ｐ［−１］［ｙ］＋（（ｐ［ｘ］［−１］−ｐ［−１］［−１］）＞＞１）

これらの処理により、３３方向の細かい予測信号の生成が可能となり、柔軟な予測信号を作成できるため、ＨＥＶＣのイントラ符号化性能はＡＶＣよりも向上している。

上記ではＡｎｇｕｌａｒ予測に関して詳述した。Ａｎｇｕｌａｒ予測は方向性のあるテクスチャに対しては効率的に予測残差エネルギーを低減できる性質を有するが、平坦な領域の予測には向いていない。平坦な領域に対しては、同一の予測値でブロック内を埋めるＤＣ予測が効果的である。ＤＣ予測モードはＡＶＣに採用されており、修正が施されたＤＣ予測がＨＥＶＣに採用されている。

ＤＣ予測は、予測信号をｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］（ｘ，ｙは予測対象ブロックの座標、一番左上の画素位置がｘ＝０，ｙ＝０に相当）、ブロックサイズをｎＴ、参照信号をｐ［ｘ］［ｙ］（ｘ，ｙは参照画素の位置、予測対象ブロックの左上の画素位置がｘ＝０，ｙ＝０に相当）とするとき、まず（２）式で定義される予測値ｄｃＶａｌを算出する。

ここで、ｋ＝Ｌｏｇ２（ｎＴ）となる。続いて、色差を示すフラグｃＩｄｘに応じて、下記の処理を実施する。

（Ｃ）ｃＩｄｘ＝０のとき、すなわち対象ブロックが輝度信号でｎＴ＜３２の場合
ｐｒｅｄＳａｍｐｌｅｓ［０］［０］＝（ｐ［−１］［０］＋２×ｄｃＶａｌ＋ｐ［０］［−１］＋２）＞＞２
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［０］＝（ｐ［ｘ］［−１］＋３×ｄｃＶａｌ＋２）＞＞２ （ｘ＝１…ｎＴ−１）
ｐｒｅｄＳａｍｐｌｅｓ［０］［ｙ］＝（ｐ［−１］［ｙ］＋３×ｄｃＶａｌ＋２）＞＞２ （ｙ＝１…ｎＴ−１）
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝ｄｃＶａｌ （ｘ、ｙ＝１…ｎＴ−１）

（Ｄ）ｃＩｄｘ≠０のとき、すなわち対象ブロックが色差信号の場合
ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝ｄｃＶａｌ（ｘ、ｙ＝０…ｎＴ−１）
対象ブロックが輝度信号の場合、（Ｃ）に記載の通り、参照信号に隣接する予測信号は平均値であるｄｃＶａｌではなく、参照画素との重み付き和を求めて、その値を予測値としている。この重み付き和の計算はＡＶＣでは導入されておらず、ＨＥＶＣ特有の処理となっている。

以上、ＨＥＶＣの各イントラ予測モードおよびその予測処理方法について詳述した。続いて、イントラ予測の前に行われる参照画素の平滑化（Intra Smoothingと呼ばれる処理）について説明する。本処理はイントラ予測が実行される前に参照信号に対してスムージングフィルタを適用する処理である。以下ではブロックサイズをｎＴ、参照信号をｐ［ｘ］［ｙ］（ｘ，ｙは参照画素の位置、予測対象ブロックの左上の画素位置がｘ＝０，ｙ＝０に相当）、フィルタ後の参照信号をｐＦ［ｘ］［ｙ］とする。

まず、フィルタの適用にかかわるフラグｆｉｌｔｅｒＦｌａｇを定義して、以下の手順で設定する。

・以下の条件で１つでも満たす場合、ｆｉｌｔｅｒＦｌａｇを０にする。
予測モードがＤＣ予測である。
ブロックサイズが４である。

・もしそうでなければ、以下を適用する。
変数ｍｉｎＤｉｓｔＶｅｒＨｏｒを以下でセットする。
Ｍｉｎ（Ａｂｓ（ｐｒｅｄＭｏｄｅＩｎｔｒａ−２６），Ａｂｓ（ｐｒｅｄＭｏｄｅＩｎｔｒａ−１０））
変数ｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓ［ｎＴ］を以下の通り定義する。
ｎＴ＝８の場合、変数に７を代入する。
ｎＴ＝１６の場合、変数に１を代入する。
ｎＴ＝３２の場合、変数に０を代入する。
ｆｉｌｔｅｒＦｌａｇは以下で導出される。
ｍｉｎＤｉｓｔＶｅｒＨｏｒがｉｎｔｒａＨｏｒＶｅｒＤｉｓｔＴｈｒｅｓ［ｎＴ］よりも大きい場合、ｆｉｌｔｅｒＦｌａｇを１とする。
そうでなければ、ｆｉｌｔｅｒＦｌａｇを０とする。

・ｆｉｌｔｅｒＦｌａｇが１の場合、以下の処理を実行する。
変数ｂｉＩｎｔＦｌａｇを以下の流れで導出する。ここでｂｉＩｎｔＦｌａｇとはＨＥＶＣに導入されている強イントラスムージング（Strong Intra Smoothing）と呼ばれる線形補間による参照画素設定機構の使用可否を指し示すフラグである。
以下の全ての条件を満たす場合、ｂｉＩｎｔＦｌａｇを１にセットする。
ｓｔｒｏｎｇ＿ｉｎｔｒａ＿ｓｍｏｏｔｈｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１である。
ｎＴが３２である。
Ａｂｓ（ｐ［−１］［−１］＋ｐ［ｎＴ×２−１］［−１］−２×ｐ［ｎＴ−１］［−１］）＜（１＜＜（ＢｉｔＤｅｐｔｈ_Ｙ−５））
Ａｂｓ（ｐ［−１］［−１］＋ｐ［−１］［ｎＴ×２−１］−２×ｐ［−１］［ｎＴ−１］）＜（１＜＜（ＢｉｔＤｅｐｔｈ_Ｙ−５））
満たさない場合、ｂｉＩｎｔＦｌａｇを０にセットする。

・フィルタ処理は以下のように実行される。
ｂｉＩｎｔＦｌａｇが１である場合、ｘ＝−１、ｙ＝−１…６３、そしてｘ＝０…６３、ｙ＝−１において、
ｐＦ［−１］［−１］＝ｐ［−１］［−１］
ｐＦ［−１］［ｙ］＝（（６３−ｙ）×ｐ[−１][−１]＋（ｙ＋１）×ｐ［−１］［６３］＋３２）＞＞６ （ｙ＝０…６２）
ｐＦ［−１］［６３］＝ｐ［−１］［６３］
ｐＦ［ｘ］［−１］＝（（６３−ｘ）×ｐ［−１］［−１］＋（ｘ＋１）×ｐ［６３］［−１］＋３２）＞＞６ （ｘ＝０…６２）
ｐＦ［６３］［−１］＝ｐ［６３］［−１］

・ｂｉＩｎｔＦｌａｇが０である場合、ｘ＝−１、ｙ＝−１…ｎＴ×２−１、そしてｘ＝０…ｎＴ×２−１、ｙ＝−１において、
ｐＦ［−１］［−１］＝（ｐ［−１］［０］＋２×ｐ［−１］［−１］＋ｐ［０］［−１］＋２）＞＞２
ｐＦ［−１］［ｙ］＝（ｐ［−１］［ｙ＋１］＋２×ｐ［−１］［ｙ］＋ｐ［−１］［ｙ−１］＋２）＞＞２ （ｙ＝０…ｎＴ×２−２）
ｐＦ［−１］［ｎＴ×２−１］＝ｐ［−１］［ｎＴ×２−１］
ｐＦ［ｘ］［−１］＝（ｐ［ｘ−１］［−１］＋２×ｐ［ｘ］［−１］＋ｐ［ｘ＋１］［−１］＋２）＞＞２ （ｘ＝０…ｎＴ×２−２）
ｐＦ［ｎＴ×２−１］［−１］＝ｐ［ｎＴ×２−１］［−１］

ｂｉＩｎｔＦｌａｇ＝１の場合に適用される線形補間で参照画素を導出する処理が強イントラスムージング処理、ｂｉＩｎｔＦｌａｇ＝０の場合に［１，２，１］／４の平滑化フィルタを参照画素に施す処理がイントラスムージング処理とそれぞれ一般に呼ばれる。

以上説明した各事項は、非特許文献１、非特許文献２、非特許文献３および非特許文献４に詳述されている。

なお、本明細書において、画像とは一般的な動画像、映像、静止画像を含むものである。

大久保榮（監）、角野眞也、菊池義浩、鈴木輝彦（編）、「改訂三版Ｈ．２６４／ＡＶＣ教科書」、株式会社インプレスＲ＆Ｄ、ｐｐ．１１０−１１６、２００９年 ITU-T: "SERIES H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services-Coding of moving video，Advanced video coding for generic audiovisual services", Recommendation ITU-T H．264，pp.116-135, 2005 ITU-T："SERIES H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services-Coding of moving video，High efficiency video coding", Recommendation ITU-T H．265，pp.101-111, 2013 大久保榮（監）、鈴木輝彦、高村誠之、中條健（編）、「Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、ｐｐ．１１５−１２４、２０１３年

ＨＥＶＣのイントラ予測ではＡＶＣと同様に、イントラ予測信号を生成する前に参照画素信号に対してスムージングフィルタを適用する処理が存在する。この処理では、予測モード番号およびブロックサイズなどの情報に基づいてフィルタ適用有無を判断することで適応的にフィルタを実施して、参照画素信号の符号化歪などのノイズを効率的に除去して符号化性能を改善している。

しかしながら、画像のテクスチャ成分、すなわち参照画素信号の起伏や変動の情報を用いてフィルタの適用を判断している訳ではない。スムージングフィルタは平滑化の働きを与えるため、画像のテクスチャ成分によっては施さないほうが符号化性能を保つことができる可能性がある。

ＨＥＶＣの拡張規格としてレンジ拡張（Range Extensions:ＲＥｘｔ）、スケーラブル拡張（Scalable HEVC:ＳＨＶＣ）、三次元拡張（Multi-View HEVC:ＭＶ−ＨＥＶＣ）の三種類を統合したＨＥＶＣ第二版（HEVC 2nd Edition）が策定された。その後、カメラなどで撮影された自然画像ではなく、コンピュータなどで生成される人工画像向けの拡張規格としてScreen Contents Coding（ＳＣＣ）が現在標準化されている最中である。特に人工画像に関してはエッジ境界が非常に強い場合が多く、平滑化などの処理は元々画像が有していたエッジを訛らせてしまい、逆に符号化効率を劣化させる場合もあり得る。

本発明は、このような事情に鑑みてなされたもので、現行のイントラ予測のスムージングフィルタにおいて、その適用有無の判断に画像のテクスチャが利用されていないという課題を解決し、符号化性能および主観画質を改善することができるイントラ予測処理装置、イントラ予測処理方法、イントラ予測処理プログラム、画像符号化装置及び画像復号装置を提供することを目的とする。

本発明の一態様は、同一の画面内で予測信号を生成するイントラ予測を行うイントラ予測処理装置であって、イントラ予測モードを識別するイントラ予測モード情報を取得するモード情報取得手段と、前記イントラ予測に用いるブロックサイズを識別するブロックサイズ情報を取得するサイズ情報取得手段と、復号画素信号を参照画素信号として設定するための復号画素位置情報を取得する位置情報取得手段と、前記イントラ予測モード情報と前記ブロックサイズ情報とに基づいて前記参照画素信号に施すイントラスムージングフィルタの適用可否を判定してフィルタ使用情報を導出する導出手段と、前記復号画素位置情報によって特定されるイントラ予測信号生成に必要な復号画素信号を取得して、該復号画素信号のエッジとして各復号画素間の差分絶対値の最大値を算出する最大値算出手段と、予め定められたテーブルから前記差分絶対値の最大値に対する閾値を読み込んで設定する設定手段と、算出された前記各復号画素間の前記差分絶対値の最大値と前記閾値を比較して前記差分絶対値の最大値が前記閾値以上の場合に前記イントラスムージングフィルタの前記フィルタ使用情報を修正する修正手段と、修正された前記フィルタ使用情報に基づいて前記イントラスムージングフィルタを実施する実施手段とを備えるイントラ予測処理装置である。

本発明の一態様は、前記イントラ予測処理装置であって、前記修正手段は、前記差分絶対値の最大値が前記閾値以上の画素間についてのみ前記イントラスムージングフィルタを使用しないように修正を行って、画素単位で前記イントラスムージングフィルタの適用可否を切り替える切り替え手段を備える。

本発明の一態様は、前記イントラ予測処理装置を備える画像符号化装置であって、前記差分絶対値の最大値に対する閾値を符号化して画像復号装置へ伝送する閾値伝送手段を備える画像符号化装置である。

本発明の一態様は、前記イントラ予測処理装置を備える画像復号装置であって、画像符号化装置から伝送される前記差分絶対値の最大値に対する閾値を復号して設定する閾値設定手段を備える画像復号装置である。

本発明の一態様は、同一の画面内で予測信号を生成するイントラ予測を行うイントラ予測処理装置が行うイントラ予測処理方法であって、イントラ予測モードを識別するイントラ予測モード情報を取得するモード情報取得ステップと、前記イントラ予測に用いるブロックサイズを識別するブロックサイズ情報を取得するサイズ情報取得ステップと、復号画素信号を参照画素信号として設定するための復号画素位置情報を取得する位置情報取得ステップと、前記イントラ予測モード情報と前記ブロックサイズ情報とに基づいて前記参照画素信号に施すイントラスムージングフィルタの適用可否を判定してフィルタ使用情報を導出する導出ステップと、前記復号画素位置情報によって特定されるイントラ予測信号生成に必要な復号画素信号を取得して、該復号画素信号のエッジとして各復号画素間の差分絶対値の最大値を算出する最大値算出ステップと、予め定められたテーブルから前記差分絶対値の最大値に対する閾値を読み込んで設定する設定ステップと、算出された前記各復号画素間の前記差分絶対値の最大値と前記閾値を比較して前記差分絶対値の最大値が前記閾値以上の場合に前記イントラスムージングフィルタの前記フィルタ使用情報を修正する修正ステップと、修正された前記フィルタ使用情報に基づいて前記イントラスムージングフィルタを実施する実施ステップとを有するイントラ予測処理方法である。

本発明の一態様は、前記イントラ予測処理方法であって、前記修正ステップでは、前記差分絶対値の最大値が前記閾値以上の画素間についてのみ前記イントラスムージングフィルタを使用しないように修正を行って、画素単位で前記イントラスムージングフィルタの適用可否を切り替える切り替えステップを有する。

本発明の一態様は、コンピュータを、前記イントラ予測処理装置として機能させるためのイントラ予測処理プログラムである。

本発明によれば、イントラ予測において、イントラスムージング処理の実施判断に復号済みの参照画素信号を利用することにより、本来の画像が有するエッジ情報を保ちつつ、復号された参照画素信号に重畳されている符号化歪などのノイズを効率的に削除することができ、符号化効率と主観画質を改善することができるという効果が得られる。

本発明の一実施形態による画像符号化装置の構成を示すブロック図である。 本発明の一実施形態による画像復号装置の構成を示すブロック図である。 図１、図２に示すイントラ予測処理部１０１及びイントラ予測処理部２０２の構成例を示すブロック図である。 図３に示すイントラ予測処理部１０１が行うイントラ予測処理の動作を示すフローチャートである。 図３に示す参照画素生成部３０２の構成を示すブロック図である。 ブロックサイズが８×８でモード３４が選択された場合の例を示す図である。 ＨＥＶＣにおいてイントラスムージングフィルタが適用される条件を示す図である。 イントラスムージングフィルタ判定修正部４０５でのフィルタ使用情報の修正方法を示す説明図である。 従来技術による参照画素生成部３０２’の構成を示すブロック図である。 図５に示す参照画素生成部３０２が行うイントラ予測信号生成処理動作を示すフローチャートである。 イントラ予測処理部１０１を備える画像符号化装置１００をコンピュータとソフトウェアプログラムとによって構成する場合におけるコンピュータのハードウェア構成例を示す図である。 イントラ予測処理部２０２を備える画像復号装置２００をコンピュータとソフトウェアプログラムとによって構成する場合におけるコンピュータのハードウェア構成例を示す図である。 ＨＥＶＣにおける各処理ユニットの定義を示す図である。 ＨＥＶＣの予測ユニットにおけるイントラ予測モード番号とイントラ予測モードの対応関係を示す図である。 Ａｎｇｕｌａｒ予測モードと角度の対応関係を示す図である。 予測モードと角度の対応関係を示す図である。 予測モードとパラメータの対応関係を示す図である。

以下、図面を参照して、本発明の一実施形態による画像符号化装置及び画像復号装置を説明する。図１は、同実施形態における画像符号化装置の構成を示すブロック図である。画像符号化装置１００は、符号化対象の入力映像信号を入力し、入力映像信号の各フレームを複数のブロックに分割してブロックごとに符号化し、符号化結果のビットストリームを符号化ストリームとして出力する。

画像符号化装置１００は、図１に示すように、イントラ予測処理部１０１、インター予測処理部１０２、予測残差信号生成部１０３、変換処理部１０４、量子化処理部１０５、逆量子化処理部１０６、逆変換処理部１０７、復号信号生成部１０８、フレームメモリ１０９、インループフィルタ処理部１１０、インター予測情報格納部１１１、イントラ予測情報格納部１１２及びエントロピー符号化処理部１１３を備えている。

図１に示す画像符号化装置１００においては、イントラ予測処理部１０１が特徴的な構成である。他の各機能部は、ＨＥＶＣなどのエンコーダとして用いられている一般的な画像符号化装置が備える機能部と同等である。なお、インループフィルタ処理部１１０については、複数のインループフィルタが適用されてもよい。例えば、ＨＥＶＣのようにデブロッキングフィルタおよびサンプルアダプティブオフセット（Sample Adaptive Offset：ＳＡＯ）が適用される。ＨＥＶＣ標準化において提案されていたアダプティブループフィルタ（Adaptive Loop Filter：ＡＬＦ）と呼ばれる符号化歪を除去するフィルタなどが挿入されてもよい。

イントラ予測処理部１０１は、入力映像信号を入力し、入力映像信号に基づいて予測信号を生成する。また、イントラ予測処理部１０１は、入力映像信号に基づいて、予測モードなどを含むイントラ予測情報を生成し、生成したイントラ予測情報をイントラ予測情報格納部１１２に記憶させて格納する。

インター予測処理部１０２は、入力映像信号と、インループフィルタ処理部１１０から出力する参照画像とを入力する。インター予測処理部１０２は、入力映像信号と参照画像とに基づいて、予測信号を生成する。また、インター予測処理部１０２は、入力映像信号と参照信号とに基づいて、動きベクトルを含むインター予測情報を生成し、生成したインター予測情報をインター予測情報格納部１１１に記憶させて格納する。

予測残差信号生成部１０３は、入力映像信号と、イントラ予測処理部１０１あるいはインター予測処理部１０２から出力される予測信号との差分を算出する。予測残差信号生成部１０３は、算出した差分を予測残差信号として変換処理部１０４に出力する。

変換処理部１０４は、予測残差信号生成部１０３から入力した予測残差信号に対して離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）等の直交変換を行う。変換処理部１０４は、直交変換により得られた変換係数を量子化処理部１０５に出力する。

量子化処理部１０５は、変換処理部１０４から入力した変換係数を量子化し、その量子化された変換係数を逆量子化処理部１０６とエントロピー符号化処理部１１３とに出力する。

逆量子化処理部１０６は、量子化処理部１０５から入力した変換係数を逆量子化して逆変換処理部１０７に出力する。逆変換処理部１０７は、逆量子化処理部１０６から入力した変換係数を逆直交変換する。逆変換処理部１０７は、逆直交変換により得られた予測残差復号信号を復号信号生成部１０８に出力する。

復号信号生成部１０８は、逆変換処理部１０７から入力した予測残差復号信号と、イントラ予測処理部１０１あるいはインター予測処理部１０２が出力する予測信号とを加算する。復号信号生成部１０８は、加算結果を符号化した符号化対象ブロックの復号信号としてフレームメモリ１０９に記憶する。この復号信号は、イントラ予測処理部１０１あるいはインター予測処理部１０２において参照画像として用いる。

フレームメモリ１０９は、復号信号生成部１０８が生成し出力した復号信号を記憶する。インループフィルタ処理部１１０は、フレームメモリ１０９に記憶されている復号信号を読み出し、読み出した復号信号に対してデブロッキングフィルタおよびＳＡＯ処理などを行う。インループフィルタ処理部１１０は、各種インループフィルタ処理後の画像を参照画像としてインター予測処理部１０２に出力する。

インター予測情報格納部１１１は、インター予測処理部１０２が生成したインター予測情報を記憶する。イントラ予測情報格納部１１２は、イントラ予測処理部１０１が生成したイントラ予測情報を記憶する。

エントロピー符号化処理部１１３は、量子化処理部１０５において量子化された変換係数と、インター予測情報格納部１１１に格納されているインター予測情報と、イントラ予測情報格納部１１２に格納されているイントラ予測情報とをエントロピー符号化し、符号化ストリームとして出力する。

画像符号化装置１００は、前述の各機能部を備えることにより、入力映像信号の各フレームを複数のブロックに分割してブロックベースの予測符号化を行い、入力映像信号を符号化して得られた符号化ストリームを出力する。

図２は、同実施形態における画像復号装置２００の構成を示すブロック図である。画像復号装置２００は、図１に示した画像符号化装置１００などにより符号化されて出力される符号化ストリームを入力し、符号化ストリームを復号することにより復号画像である復号映像信号を出力する。

画像復号装置２００は、図２に示すように、エントロピー復号処理部２０１、イントラ予測処理部２０２、インター予測処理部２０３、逆量子化処理部２０４、逆変換処理部２０５、復号信号生成部２０６、フレームメモリ２０７、インループフィルタ処理部２０８、インター予測情報格納部２０９及びイントラ予測情報格納部２１０を備えている。

図２に示す画像復号装置２００においては、イントラ予測処理部２０２が特徴的な構成である。他の各機能部は、ＨＥＶＣなどのデコーダとして用いられる一般的な画像復号装置が備える機能部と同等である。

エントロピー復号処理部２０１は、符号化ストリームを入力し、入力した符号化ストリームから復号対象ブロックの量子化変換係数をエントロピー復号するとともに、イントラ予測に関するイントラ予測情報及びインター予測に関するインター予測情報をエントロピー復号する。また、エントロピー復号処理部２０１は、量子化変換係数を逆量子化処理部２０４に出力し、インター予測情報をインター予測情報格納部２０９に記憶させて格納し、イントラ予測情報をイントラ予測情報格納部２１０に記憶させて格納する。

イントラ予測処理部２０２は、フレームメモリ２０７に記憶される復号信号を参照画像として読み出す。また、イントラ予測処理部２０２は、イントラ予測情報格納部２１０からイントラ予測情報を読み出す。そして、イントラ予測処理部２０２は、読み出した参照画像と、読み出したイントラ予測情報とに基づいて、予測信号を生成する。

インター予測処理部２０３は、インター予測情報格納部２０９からインター予測情報を読み出す。そして、インター予測処理部２０３は、インター予測情報と、インループフィルタ処理部２０８から入力した参照画像とに基づいて、予測信号を生成する。

逆量子化処理部２０４は、エントロピー復号処理部２０１から入力した量子化変換係数を逆量子化して復号変換係数を算出し、算出した復号変換係数を逆変換処理部２０５に出力する。

逆変換処理部２０５は、逆量子化処理部２０４から入力した復号変換係数に逆直交変換を施し、予測残差復号信号を算出し、算出した予測残差復号信号を復号信号生成部２０６に出力する。

復号信号生成部２０６は、逆変換処理部２０５から入力した予測残差復号信号と、イントラ予測処理部２０２あるいはインター予測処理部２０３が出力する予測信号とを加算する。そして、復号信号生成部２０６は、加算結果を復号対象ブロックの復号信号としてフレームメモリ２０７に記憶させて格納する。フレームメモリ２０７は、復号信号生成部２０６が算出した復号信号を記憶する。

インループフィルタ処理部２０８は、フレームメモリ２０７から復号信号を読み出し、読み出した復号信号により示される画像に対して符号化歪みを低減する各種インループフィルタ処理を行う。インループフィルタ処理部２０８は、各種インループフィルタ処理後の画像を復号映像信号として出力する。また、インループフィルタ処理部２０８は、フィルタ処理後の画像を参照画像としてインター予測処理部２０３に出力する。なお、画像符号化装置１００と同様に、アダプティブループフィルタなどのフィルタ処理部を本インループフィルタ処理部２０８に含んでもよい。

インター予測情報格納部２０９は、エントロピー復号処理部２０１が復号したインター予測情報を格納する。イントラ予測情報格納部２１０は、エントロピー復号処理部２０１が復号したイントラ予測情報を格納する。

画像復号装置２００は、前述の各機能部を備えることにより、ブロックベースの予測符号化により符号化された映像の符号化ストリームを入力し、入力された符号化ストリームから映像を復号して復号映像信号を出力する。

次に、図３を参照して、図１、図２に示すイントラ予測処理部１０１及びイントラ予測処理部２０２の構成を説明する。図３は、図１、図２に示すイントラ予測処理部１０１及びイントラ予測処理部２０２の構成例を示すブロック図である。イントラ予測処理部１０１とイントラ予測処理部２０２とは共通する処理を行い、同じ構成を備えているので、以下では、イントラ予測処理部１０１を説明し、イントラ予測処理部２０２の説明を省略する。

イントラ予測処理部１０１は、図３に示すように、ブロック位置同定部３０１、参照画素生成部３０２及びイントラ予測信号生成部３０３を備えている。ブロック位置同定部３０１は、処理対象となるイントラ予測するブロックの位置を同定する。また、ブロック位置同定部３０１は、ブロックの位置を同定するために、フレームやスライスにおける位置となるブロック位置情報（空間座標やＣＵ／ＰＵ／ＴＵの位置）を入力とし、参照画素を取得するための復号画素位置情報を出力する。

参照画素生成部３０２は、ブロック位置同定部３０１が出力する復号画素位置情報と、復号画素信号と、イントラ予測モードとを入力する。参照画素生成部３０２は、復号画素位置情報に基づいて、予測信号生成に必要となる参照画素の格納と必要なフィルタ処理などを施す。ここで述べている参照画素の格納は、例えば、前述のｐ［ｘ］［ｙ］の準備や参照画素配列ｒｅｆ［ｘ］の生成を意味する。また、必要なフィルタ処理とは、イントラスムージング、すなわち［１，２，１］／４の平滑化フィルタを参照画素にかけてそのフィルタ後の画素値を予測値に適用する処理、および、前述の（Ａ）、（Ｂ）のそれぞれの２．（ｂ）に示す３２分割上の位置の比を取るフィルタ処理などを示す。すなわち、予測信号生成に必要とされる復号画素信号のフィルタ処理は全てこの参照画素生成部３０２で行う。参照画素生成部３０２は、各種フィルタ処理後の復号画素信号を予測信号の配列にコピーするための参照画素信号として、イントラ予測信号生成部３０３に出力する。

イントラ予測信号生成部３０３は、参照画素生成部３０２から入力した参照画素信号、復号画素信号及びイントラ予測モードに基づいて、イントラ予測信号を生成して出力する。

以上のように、イントラ予測処理部１０１は、ブロック位置同定部３０１、参照画素生成部３０２及びイントラ予測信号生成部３０３により、入力となるブロック位置情報、復号画素信号、イントラ予測モードに基づき、イントラ予測信号を出力する。本実施形態では参照画素生成部３０２が従来法とは異なる特徴的な部位となる。

次に、図４を参照して、図３に示すイントラ予測処理部１０１の処理動作を説明する。図４は、図３に示すイントラ予測処理部１０１が行うイントラ予測処理の動作を示すフローチャートである。ブロック位置同定部３０１は、非特許文献３等に記載されている手順に従い、入力されたブロック位置情報に基づいて、処理対象となるイントラ予測するブロックの位置を同定し、予測に必要となる参照画素の生成のための復号画素の位置を示す情報を出力する（ステップＳ１０１）。

次に、参照画素生成部３０２は、ブロック位置同定部３０１が出力する復号画素位置情報に基づいて、復号画素信号を配列として格納する処理や復号画素に施すフィルタ処理などを実施する（ステップＳ１０２）。続いて、イントラ予測信号生成部３０３は、参照画素生成部３０２が出力する参照画素信号と、別途入力するイントラ予測モードと復号画素信号に基づいて、イントラ予測信号を生成して出力する（ステップＳ１０３）。

次に、図５を参照して、図３に示す参照画素生成部３０２の構成を説明する。図５は、図３に示す参照画素生成部３０２の構成を示すブロック図である。参照画素生成部３０２は、図５に示すように、イントラ予測モード保存部４０１、復号画素位置情報設定部４０２、ブロックサイズ取得部４０３、イントラスムージングフィルタ使用判定部４０４、イントラスムージングフィルタ判定修正部４０５、イントラスムージングフィルタ実行部４０６および閾値設定部４０７を備えている。

イントラ予測モード保存部４０１は、対象ブロックの予測モードを保存し、イントラスムージングフィルタ使用判定部４０４に対してイントラ予測モード情報を提供する。

復号画素位置情報設定部４０２は、前記ブロック位置同定部３０１から与えられる復号画素位置情報を保存し、イントラ予測に用いるための参照画素の位置を判断するための複合画素位置情報をイントラスムージングフィルタ使用判定部４０４に対して出力する。

ブロックサイズ取得部４０３は、対象ブロックのブロックサイズを取得してそのブロックサイズをイントラスムージングフィルタ使用判定部４０４に対して出力する。

イントラ予測モード保存部４０１から与えられるイントラ予測モード情報と、復号画素位置情報設定部４０２から与えられる復号画素位置情報と、ブロックサイズ取得部４０３から与えられるブロックサイズとを用いて、イントラスムージングフィルタ使用判定部４０４では、イントラスムージングフィルタを適用するか否かの情報、すなわちｆｉｌｔｅｒＦｌａｇの判定を実施する。また、強イントラスムージングの使用判定、すなわちｂｉＩｎｔｒａＦｌａｇの判定も合わせて実施するために、必要となる復号画素信号を取得する。これらのスムージングフィルタおよび強スムージングフィルタを使用するか否かの情報を合わせてフィルタ使用情報と定義する。そのフィルタ使用情報をイントラスムージングフィルタ判定修正部４０５へ出力する。

閾値設定部４０７は、イントラスムージングの使用可否判断をする上で必要となる参照画素信号に関する閾値情報を読み込む。その数値を最大差分絶対値閾値としてイントラスムージングフィルタ判定修正部４０５へ出力する。

イントラスムージングフィルタ判定修正部４０５は、イントラスムージングフィルタ使用判定部４０４が出力するフィルタ使用情報と、閾値設定部４０７から得られる最大差分絶対値閾値と、復号画素信号を入力とする。前記復号画素信号からテクスチャの有する起伏やエッジの状況を計算し、最大差分絶対値閾値以上か否かを判定してイントラスムージングの必要性をテクスチャの観点から再判定する。具体的な計算方法は後述する。ここでフィルタ使用情報は修正され、そのフィルタ使用修正情報がイントラスムージングフィルタ実行部４０６に出力する。ここで、再判定の結果が修正なしとなっていれば、変更を加えずに入力されたフィルタ使用情報をそのまま出力するようにしてもよい。

イントラスムージングフィルタ実行部４０６は、イントラスムージングフィルタ判定修正部４０５から受け取ったフィルタ使用修正情報に基づいて、イントラスムージングフィルタなどの平滑化フィルタを実行し、参照画素のノイズを除去してイントラ予測に用いるための最終的な参照画素信号を出力する。

図６は、ブロックサイズが８×８でモード３４（右上から左下に４５°で予測するモード）が選択された場合の例を示す図である。図６の右上側に示すように、従来の構成ではブロックサイズが８×８でモードが３４である場合にはイントラスムージングフィルタが適用される仕様となっている。仮にテクスチャに強いエッジが含まれている場合、［１，２，１］／４の平滑化フィルタを適用すると本来テクスチャが有する境界をぼかしてしまい、そのぼけた参照画素信号を用いて予測信号を生成してしまうことになる。なお、ＨＥＶＣにおけるイントラスムージングフィルタが適用される条件を図７にまとめて示す。ブロックサイズとイントラ予測モードの２つからイントラスムージングフィルタを適用するか否かが決まる。また強イントラスムージングフィルタにおいてはブロックサイズが３２×３２で所定の条件を満たす場合にのみ適用される。

これに対し、図６の右下側に示す本実施形態によるイントラ予測では、イントラスムージングフィルタ判定修正部４０５から得られるフィルタ使用修正情報により、参照画素信号に大きな信号値差分（強いエッジ）が含まれると判断される場合にはイントラスムージングフィルタを使用しないという判断を加えて、適切にイントラスムージングフィルタを適用する。

イントラスムージングフィルタ判定修正部４０５でのフィルタ使用情報の修正方法について、図８を参照して説明する。例えば、図８における予測対象ブロックの上にある参照画素信号の配列をｒｅｆ［ｉ］（０≦ｉ＜ｎ、ここでｎはブロックサイズで正の整数値）とする。予測対象ブロックの左上の画素を原点と考えてその上にある画素をｒｅｆ［０］とする。図８では簡単のためｎ＝８と仮定しているが、実際は２ｎとしてもよい。復号済みの画素信号が存在すれば、その範囲まで利用することも可能である。例えばＨＥＶＣのイントラ予測モード３４であれば、ｒｅｆ［２ｎ−１］の参照画素まで利用可能である。

各参照画素間の差分絶対値｜ｒｅｆ［ｉ］−ｒｅｆ［ｉ−１］｜（０≦ｉ＜ｎ）を計算して、その最大値を保存するようにする。例えば、図８の左側に示されるように、最大値が６４だったと仮定する。このとき、閾値設定部４０７から与えられる最大差分絶対値閾値（αとする）とその最大値を比較し、仮にαよりも小さい場合は強いエッジが含まれないということになるため、イントラスムージングフィルタを適用してもテクスチャを損なうことはないと判断され、イントラスムージングフィルタを実施する。

逆に最大値がα以上の場合（図８の右側の例）は強いエッジが含まれると判断でき、イントラスムージングフィルタを適用することで本来のエッジがぼかされて予測信号が劣化すると考え、イントラスムージングフィルタをオフにする。イントラスムージングのオンとオフは従来のＨＥＶＣと同様に１辺まとめて切り替えてもよいし、閾値を超える画素間のみ抽出して画素単位でイントラスムージングをオン・オフできるように構成してもよい。例えば左隣、右隣のどちらか一方が閾値を超えるようであれば、この復号画素についてはイントラスムージングをオフにするように修正する方法などが適用できる。

なお、閾値であるαは符号化器と復号器で共通のテーブルをメモリなどに所有しておけば、伝送する必要はない。αの値は０≦α≦２^ｍ−１（ｍはビット深度、例えば８ビット信号の映像であれば０≦α≦２５５）で設定すればよい。基本的にとり得る範囲の中で大きいと考えられる値、例えば（２^ｍ−１）×０．８や（２^ｍ−１）×０．９５などの人間が映像を主観的にエッジが強いと認識できる程度の値を設定すればよい。映像の性質などに応じて適切な値は異なると考えられるため、例えば映像の特定のシーン単位、ＧｒｏｕｐＯｆＰｉｃｔｕｒｅ（ＧＯＰ）単位、スライス単位、フレーム単位などで変化させてもよい。その場合はαの値を切り替える単位で伝送する必要がある。αの符号量がオーバーヘッドとして発生するが、その分適切な単位で閾値を切り替えることができ、伝送しない場合と比較して符号化性能や主観画質をより改善できる可能性がある。発生するオーバーヘッドと切り替える粒度による効果はトレードオフの関係であるため、その関係を考慮して伝送単位を決めればよい。

本実施形態における参照画素生成部３０２は、イントラスムージングフィルタ判定修正部４０５と閾値設定部４０７を備えている点が、従来技術にはない特徴である。

図９は、従来技術による参照画素生成部３０２’の構成を示すブロック図である。イントラ予測モード保存部５０１と、復号画素位置情報設定部５０２と、ブロックサイズ取得部５０３と、イントラスムージングフィルタ使用判定部５０４と、イントラスムージングフィルタ実行部５０５は、それぞれ図５に示すイントラ予測モード保存部４０１と、復号画素位置情報設定部４０２と、ブロックサイズ取得部４０３と、イントラスムージングフィルタ使用判定部４０４と、イントラスムージングフィルタ実行部４０６と同じ機能を有する。図９では、図５におけるイントラスムージングフィルタ判定修正部４０５と閾値設定部４０７を持たず、イントラスムージングフィルタ使用判定部５０４から出力されるフィルタ使用情報は修正など変更を加えず、そのまま出力される。

次に、図１０を参照して、図５に示す参照画素生成部３０２の動作を説明する。図１０は、図５に示す参照画素生成部３０２が行うイントラ予測用参照信号生成処理動作を示すフローチャートである。

参照画素生成部３０２において、イントラ予測信号導出処理のための参照画素を生成するために、まずイントラスムージングフィルタ使用判定部４０４は、イントラ予測モード保存部４０１に記憶されているイントラ予測モードを読み出し、復号画素位置情報設定部４０２から復号画素位置情報を読み出し、ブロックサイズ取得部４０３から対象ブロックのブロックサイズを読み出して取得する（ステップＳ２０１）。強イントラスムージングフィルタの場合は復号画素信号も用いることになるためそれも取得する。そして、イントラスムージングフィルタ使用判定部４０４は、この読み出した３種の情報から、対象ブロックのイントラ予測に対するイントラスムージングフィルタを使用するかしないかの判定を実施する（ステップＳ２０２）。

次に、イントラスムージングフィルタ判定修正部４０５は、イントラ予測に用いる参照画素の各画素間の差分絶対値を計算していき、最大値を保存する（ステップＳ２０３）。さらに閾値設定部４０７から最大差分絶対値閾値αを読み込む（ステップＳ２０４）。ステップＳ２０３で得られた最大値とステップＳ２０４で得られたαを比較してフィルタ使用情報の修正判断を行う（ステップＳ２０５）。もし最大値がα以上となる場合（ステップＳ２０５にてＹＥＳ）、参照画素信号に強いエッジが含まれると判断して、フィルタ使用されるところを使用しないように変更する修正を加えて、そのフィルタ使用修正情報をイントラスムージングフィルタ実行部４０６へ出力する（ステップＳ２０６）。なお、ここでは最大値がα以上となる場合として説明したが、最大値がαを超える場合としてもよい。

一方、最大値がα未満の場合（ステップＳ２０５にてＮＯ）、フィルタ使用情報は変更せずにそのままフィルタ使用情報をイントラスムージングフィルタ実行部４０６へ出力する。イントラスムージングフィルタ実行部４０６はイントラスムージングフィルタ判定修正部４０５からのフィルタ使用修正情報に基づき、イントラスムージングフィルタを実行してイントラ予測に用いる参照画素を出力する（ステップＳ２０７）。

以上説明したように、画像符号化・復号処理におけるイントラ予測処理において、復号画素信号のテクスチャの起伏やエッジの状況に基づいてイントラスムージングフィルタを使用するか否か再度判定したうえで、イントラスムージングフィルタ処理を行うようにした。この構成により、符号化効率及び主観画質の改善を図ることができる。特に、現行のイントラ予測のスムージングフィルタにおいて、その適用有無の判断に画像のテクスチャが利用されていないという課題を解決し、符号化性能および主観画質を改善することができる。

以上、本実施形態において説明したイントラ予測処理部１０１、２０２と、イントラ予測処理部１０１を備える画像符号化装置１００と、イントラ予測処理部２０２を備える画像復号装置２００は、コンピュータとソフトウェアプログラムとを用いて実現することができる。

図１１は、イントラ予測処理部１０１を備える画像符号化装置１００をコンピュータとソフトウェアプログラムとによって構成する場合におけるコンピュータのハードウェア構成例を示す図である。コンピュータは、ＣＰＵ９００、メモリ９０１、映像信号入力部９０２、プログラム記憶装置９０３及び符号化ストリーム出力部９０５を備えている。

ＣＰＵ９００はプログラムを実行する。メモリ９０１は、ＣＰＵ９００がアクセスするプログラムやデータを一時的に格納するＲＡＭなどである。映像信号入力部９０２は、映像信号を生成するカメラなどの機器から符号化対象の入力映像信号を入力する。なお、映像信号入力部９０２は、ハードディスク装置等による入力映像信号を記憶する記憶装置であってもよい。プログラム記憶装置９０３は、前述の各実施形態において説明した符号化処理をＣＰＵ９００に実行させるソフトウェアプログラムである画像符号化プログラム９０４を格納する。符号化ストリーム出力部９０５は、ＣＰＵ９００がメモリ９０１にロードされた画像符号化プログラム９０４を実行することにより生成された符号化ストリームを出力する。符号化ストリーム出力部９０５は、ネットワークを介して、符号化ストリームを出力するようにしてもよい。また、符号化ストリーム出力部９０５は、ハードディスク装置等による符号化ストリーム記憶する記憶装置であってもよい。ＣＰＵ９００、メモリ９０１、映像信号入力部９０２、プログラム記憶装置９０３、符号化ストリーム出力部９０５は、バスを介して互いに接続されている。

図１２は、イントラ予測処理部２０２を備える画像復号装置２００をコンピュータとソフトウェアプログラムとによって構成する場合におけるコンピュータのハードウェア構成例を示す図である。コンピュータは、ＣＰＵ１０００、メモリ１００１、符号化ストリーム入力部１００２、プログラム記憶装置１００３及び復号映像出力部１００５を備えている。

ＣＰＵ１０００はプログラムを実行する。メモリ１００１は、ＣＰＵ１０００がアクセスするプログラムやデータを一時的に格納するＲＡＭなどである。符号化ストリーム入力部１００２は、例えば、画像符号化装置１００が前述の処理により入力映像信号を符号化した符号化ストリームを入力する。なお、符号化ストリーム入力部１００２は、ハードディスク装置等による符号化ストリームを記憶する記憶装置であってもよい。プログラム記憶装置１００３は、前述の各実施形態において説明した復号処理をＣＰＵ１０００に実行させるソフトウェアプログラムである画像復号プログラム１００４を格納する。復号映像出力部１００５は、ＣＰＵ１０００がメモリ１００１にロードされた画像復号プログラム１００４を実行することにより、符号化ストリームを復号して得られた復号映像を再生装置などに出力する。なお、復号映像出力部１００５は、ハードディスク装置等による復号映像信号を記憶する記憶装置であってもよい。ＣＰＵ１０００、メモリ１００１、符号化ストリーム入力部１００２、プログラム記憶装置１００３、復号映像出力部１００５は、バスを介して互いに接続されている。

前述した実施形態における画像符号化装置、画像復号装置の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

イントラ予測の処理において、画像固有のエッジを保存しつつ、より効率的に復号済み参照画素に重畳されるノイズを除去して主観画質および符号化効率を改善することが不可欠な用途に適用できる。

１００…画像符号化装置、１０１…イントラ予測処理部、１０２…インター予測処理部、１０３…予測残差信号生成部、１０４…変換処理部、１０５…量子化処理部、１０６…逆量子化処理部、１０７…逆変換処理部、１０８…復号信号生成部、１０９…フレームメモリ、１１０…インループフィルタ処理部、１１１…インター予測情報格納部、１１２…イントラ予測情報格納部、１１３…エントロピー符号化処理部、２００…画像復号装置、２０１…エントロピー復号処理部、２０２…イントラ予測処理部、２０３…インター予測処理部、２０４…逆量子化処理部、２０５…逆変換処理部、２０６…復号信号生成部、２０７…フレームメモリ、２０８…インループフィルタ処理部、２０９…インター予測情報格納部、２１０…イントラ予測情報格納部、３０１…ブロック位置同定部、３０２…参照画素生成部、３０３…イントラ予測信号生成部、４０１、５０１…イントラ予測モード保存部、４０２、５０２…復号画素位置情報設定部、４０３、５０３…ブロックサイズ取得部、４０４、５０４…イントラスムージングフィルタ使用判定部、４０５…イントラスムージングフィルタ判定修正部、４０６、５０５…イントラスムージングフィルタ実行部、４０７…閾値設定部、９００、１０００…ＣＰＵ、９０１、１００１…メモリ、９０２…映像信号入力部、９０３、１００３…プログラム記憶装置、９０４…画像符号化プログラム、９０５…符号化ストリーム出力部、１００２…符号化ストリーム入力部、１００４…画像復号プログラム、１００５…復号映像出力部

Claims (7)

1. 同一の画面内で予測信号を生成するイントラ予測を行うイントラ予測処理装置であって、
   イントラ予測モードを識別するイントラ予測モード情報を取得するモード情報取得手段と、
   前記イントラ予測に用いるブロックサイズを識別するブロックサイズ情報を取得するサイズ情報取得手段と、
   復号画素信号を参照画素信号として設定するための復号画素位置情報を取得する位置情報取得手段と、
   前記イントラ予測モード情報と前記ブロックサイズ情報とに基づいて前記参照画素信号に施すイントラスムージングフィルタの適用可否を判定してフィルタ使用情報を導出する導出手段と、
   前記復号画素位置情報によって特定されるイントラ予測信号生成に必要な復号画素信号を取得して、該復号画素信号のエッジとして各復号画素間の差分絶対値の最大値を算出する最大値算出手段と、
   予め定められたテーブルから前記差分絶対値の最大値に対する閾値を読み込んで設定する設定手段と、
   算出された前記各復号画素間の前記差分絶対値の最大値と前記閾値を比較して前記差分絶対値の最大値が前記閾値以上の場合に前記イントラスムージングフィルタの前記フィルタ使用情報を修正する修正手段と、
   修正された前記フィルタ使用情報に基づいて前記イントラスムージングフィルタを実施する実施手段と
   を備えるイントラ予測処理装置。
2. 前記修正手段は、
   前記差分絶対値の最大値が前記閾値以上の画素間についてのみ前記イントラスムージングフィルタを使用しないように修正を行って、画素単位で前記イントラスムージングフィルタの適用可否を切り替える切り替え手段を備える請求項１に記載のイントラ予測処理装置。
3. 請求項１または請求項２に記載のイントラ予測処理装置を備える画像符号化装置であって、
   前記差分絶対値の最大値に対する閾値を符号化して画像復号装置へ伝送する閾値伝送手段を備える画像符号化装置。
4. 請求項１または請求項２に記載のイントラ予測処理装置を備える画像復号装置であって、
   画像符号化装置から伝送される前記差分絶対値の最大値に対する閾値を復号して設定する閾値設定手段を備える画像復号装置。
5. 同一の画面内で予測信号を生成するイントラ予測を行うイントラ予測処理装置が行うイントラ予測処理方法であって、
   イントラ予測モードを識別するイントラ予測モード情報を取得するモード情報取得ステップと、
   前記イントラ予測に用いるブロックサイズを識別するブロックサイズ情報を取得するサイズ情報取得ステップと、
   復号画素信号を参照画素信号として設定するための復号画素位置情報を取得する位置情報取得ステップと、
   前記イントラ予測モード情報と前記ブロックサイズ情報とに基づいて前記参照画素信号に施すイントラスムージングフィルタの適用可否を判定してフィルタ使用情報を導出する導出ステップと、
   前記復号画素位置情報によって特定されるイントラ予測信号生成に必要な復号画素信号を取得して、該復号画素信号のエッジとして各復号画素間の差分絶対値の最大値を算出する最大値算出ステップと、
   予め定められたテーブルから前記差分絶対値の最大値に対する閾値を読み込んで設定する設定ステップと、
   算出された前記各復号画素間の前記差分絶対値の最大値と前記閾値を比較して前記差分絶対値の最大値が前記閾値以上の場合に前記イントラスムージングフィルタの前記フィルタ使用情報を修正する修正ステップと、
   修正された前記フィルタ使用情報に基づいて前記イントラスムージングフィルタを実施する実施ステップと
   を有するイントラ予測処理方法。
6. 前記修正ステップでは、
   前記差分絶対値の最大値が前記閾値以上の画素間についてのみ前記イントラスムージングフィルタを使用しないように修正を行って、画素単位で前記イントラスムージングフィルタの適用可否を切り替える切り替えステップを有する請求項５に記載のイントラ予測処理方法。
7. コンピュータを、請求項１または２に記載のイントラ予測処理装置として機能させるためのイントラ予測処理プログラム。

Images