JP2012531075A - 代表的なパッチを使用したテクスチャリファインメントによる画像符号化 - Google Patents

Abstract

本発明は、複数のサブ領域に分割される画像を符号化する方法に関する。本符号化方法は、画像の他のサブ領域を代表するサブ領域を画像から抽出するステップ１０、他のサブ領域を代表するサブ領域を第一の品質Q0で符号化し、他のサブ領域を第一の品質Q0よりも低い第二の品質Q1で符号化するステップ１２を含む。

Description

本発明は、画像符号化の分野に関する。
本発明は、画像の符号化方法及び復号化方法に関する。

H.264規格に従う符号化方法を使用するために画像系列を効率的に符号化することが当該技術分野において知られている。このH.264規格は、2006年8月15日に発表された“Information technology -Coding of audio-visual objects - Part 10: Advanced Video Coding”と題されたISO/IEC14496-10文献で特に定義されている。しかし、係る符号化方法は、画像のテクスチャ領域において特にアーチファクトを引き起こす。

本発明の目的は、従来技術の問題点の少なくとも１つを解消することにある。
有利なことに、本発明は、画像のテクスチャ領域がより効率的に、すなわち一定のビットレートで良好な品質レベルで、又は所与の品質レベルで低いビットレートで符号化されるのを可能にする。この目的のために、パッチと呼ばれる、符号化されるべき画像の領域は、符号化されるべき画像の他のパッチよりも高い品質でストリームＦにおいて識別及び符号化される。次いで、より高い品質で符号化されるこれらのパッチは、低い品質で符号化されるパッチのテクスチャを改善するため、復号化方法により使用される。本発明に係る符号化方法は、知覚の冗長度の観点でストリームＦにおける情報の良好な分散を可能にする。

本発明は、限定するものではない添付図面を参照して、実施の形態及び有利な実現により良好に理解及び例示される。
本発明に係る符号化方法及び復号化方法を示す図である。 本発明の第一の実施の形態に係る符号化方法の抽出のステップを示す図である。 第一の実施の形態の変形例を示す図である。 本発明の第二の実施の形態に係る符号化方法の抽出のステップを示す図である。 本発明に係る符号化装置を示す図である。 本発明に係る復号化装置を示す図である。

本発明は、図１と共に記載される原画像Ｉを符号化する方法に関する。本方法は、代表的なサブ領域（Representative Sub-Region）の抽出のステップ１０及び符号化のステップ１２を含む。

ステップ１０の間、代表的なサブ領域（RSR）は、原画像の残りの部分の代表であり、すなわち原画像の残りの部分との強い冗長度を有しており、符号化されるべき原画像Iから抽出される。以下、原画像は、単に画像と呼ばれる。抽出のステップは、所与のサブ領域と画像の残りの部分との間の冗長度の評価に基づく。所与のサブ領域が画像の多数のサブ領域と高い冗長度を有するとき、このサブ領域は、RSRであると宣言され、「ディクショナリ“dictionary”」に配置される。

図２を参照して記載される第一の実施の形態によれば、RSRのサブ領域は、事前に抽出され、すなわちRSRサブ領域の選択で使用される演算及び／又は基準は、デコーダで実現される冗長性の理由の正確なプロセスを考慮しない。従って、演算はデコーダで実現される演算と対称的ではないため、RSRサブ領域を抽出するために様々なソリューションが可能である。画像の可能なサブ領域のセット｛SR_i｝_i∈{0,M-1}は、画像のパーティションを形成するサブ領域のセットであるとして定義される。言い換えれば、画像Iは、M個のサブ領域に分割される。サブ領域は、たとえば任意のサイズ又は形状のブロック又はゾーンである。

ステップ９２の間、画像の可能性のあるサブ領域｛SR_i｝_i∈{0,M-1}のセットのそれぞれのサブ領域について、SR_iと画像の残りの部分との間の基準Dが計算される。問題となる基準は、あるサブ領域の別のサブ領域又は他の複数のサブ領域との類似性が特徴付けられるのを可能にする。たとえば基準は、数学的な意味での相互情報量又はSAD（Sum of Absolute Difference）又はSSE（Sum of Squared Difference）のような歪みである。相互情報量は、条件付きエントロピーの計算の形を表す。別の変形例によれば、基準は、位相の相関の測度である。たとえば、

である、ここでsad(SR_i,SR_j)は、SR_i領域とSR_j領域との間で計算されるSADである。

ステップ９４の間、基準が相互情報量である場合に最大の基準値D_j（基準がある歪みである場合にそれぞれ最小の基準値）を有するサブ領域SR_j、又は基準が相互情報量である場合に最も高い基準値（基準がある歪みである場合に最も低い基準値）を有するN個のサブ領域SR_jは、画像の最も代表的なN個のRSRサブ領域を抽出するのを望むとき、RSRサブ領域として保持される。基準D_iが数学的な意味での相互情報量又は位相の相関の測度である場合、最も高い基準値を有するN個のサブ領域SR_jは、RSRサブ領域として保持される。対照的に、基準が歪みである場合、最も低い基準値を有するN個のサブ領域SR_jは、RSRサブ領域として保持される。

図３を参照して記載される第一の実施の形態の変形例によれば、画像のM個の可能性のあるサブ領域SR_iのセットについて、以下のステップが実行される。
所与の品質Q₀でSR_iを符号化するステップ（１０２）。
SR_iを復号化するステップ（１０４）。
所与の品質Q₁（Q₁<Q₀）で、画像の残り、すなわち他のサブ領域I＼{SR_i}を符号化するステップ（１０６）。
画像の残りを復号化するステップ（１０８）。
Q₀で復号化されたSR_iとQ₁で復号化された画像の残りとの間の基準D_iを計算するステップ（１１０）。

従って、画像I＼{SR_i}の残りは、画像の他のサブ領域に対応する。
初期化のステップ１００の間、インデックスiは、ゼロi=0にリセットされる。

ステップ１０２の間、領域SR_iは、品質Q₀で符号化される。領域SR_iは、例えばH.264又はMPEG-2規格に従って符号化される。しかし、本発明は、ステップ１０２で実現される符号化方法によって限定されるものではない。従って、実施の形態の変形例によれば、領域SR_iは、M-JPEG又はJPEG2000規格に従って符号化される。特定の実施の形態によれば、領域SR_iは、画素のブロックである。符号化ステップ１０２は、予測ブロックの決定を含む。たとえば、予測ブロックは、領域SR_iに空間的に隣接するブロックから決定されるか（モードINTRA）、係るブロックの線形結合によるか、係るブロックの画素の線形結合によるか、或いは他の画像のブロックの線形結合により決定される（モードINTER）。次いで、予測ブロックは、重み付けの有無に係らず、たとえば画素毎の減算により、領域SR_iから抽出される。

このように得られる残差ブロックは、たとえばDCT（離散コサイン変換）により変換され、次いで量子化ステップQP_minにより係数のブロックに量子化される。変換は、残差ブロックの幾つかのサブブロックに連続して適用される。これは、サブ領域SR_iがサイズ16×16のマクロブロックであって、且つDCT変換が8×8変換である場合に特に当てはまる。この符号化ステップ１０２は、エントロピー符号化ステップの実現を必要としない。ステップ１０４の間、領域SR_iが復号化される。このため、ステップ１０２で得られた係数のブロックに逆量子化が適用され、続いて、たとえばIDCT（逆離散コサイン変換）といった逆変換が適用されて復号化された残差ブロックが取得される。次いで、この復号化された残差ブロックは、重み付けの有無に係らず、例えば画素毎の加算により予測ブロックとマージされる。この復号化ステップ１０４は、符号化ステップ１０２自身が係数のブロックのエントロピー符号化を含む場合を除いて、エントロピー復号化ステップの実現を必要としない。

ステップ１０６の間、画像の残りの部分、すなわちI＼{SR_i}は、所与の品質Q₁（Q₁<Q₀）で符号化される。領域SR_iを符号化するためにステップ１０４で使用された符号化方法と同じ符号化方法は、画像の残りの部分を符号化するために使用される。簡単な例では、画像の残りの部分は、ステップ１０４で使用される符号化方法が必要とする場合に、複数のブロックに分割される。符号化ステップ１０６は、符号化されるべき画像の残りのそれぞれのブロックについて、予測ブロックの決定を含む。例えば、予測ブロックは、符号化されるべきブロックに空間的に隣接するブロックから決定されるか（モードINTRA）、係るブロック線形結合によるか、係るブロックの所定の画素の線形結合によるか、或いは他の画像のブロックの線形結合により決定される（モードINTER）。次いで、予測ブロックは、重み付けの有無に係らず、例えば画素毎の減算により、符号化されるべきブロックから抽出される。このように取得された残差ブロックは、例えばDCT（離散コサイン変換）により変換され、次いで量子化ステップQP_max>QP_minにより係数のブロックに量子化される。変換は、残差ブロックの幾つかのサブブロックに連続して適用される。これは、残差ブロックが16×16のサイズからなる場合であって、DCT変換が8×8変換である場合に特に当てはまる。この符号化ステップは、エントロピー符号化ステップの実現を必要としない。

ステップ１０８で、画像の残りの部分が復号化される。画像の残りの部分のそれぞれのブロックは、ブロック当たりの符号化方法がステップ１０６で使用された場合に復号化される。このため、復号化されるべきそれぞれのブロックについて、ステップ１０６で得られた係数の対応するブロックに対して逆量子化、次いで例えばIDCT（逆離散コサイン変換）逆変換が適用され、復号化された残差ブロックが得られる。この復号化された残差ブロックは、次いで、例えば重み付けの有無に係らず、画素毎の加算により、予測ブロックと結合される。この復号化ステップは、符号化ステップ自身が係数のブロックのエントロピー符号化を含む場合を除いてエントロピー復号化ステップの実現を必要としない。

ステップ１１０の間、Q₀で復号化されたSR_iとQ₁で復号化された画像の残りの部分との間で基準D_iが計算される。問題となる基準は、たとえば数学的な意味で相互情報量又はSAD（Sum of Absolute Difference）又はSSE（Sum of Squared Difference）のような歪みである。相互情報量は、条件付きエントロピー計算の形を表す。別の変形例によれば、基準は、位相の相関の測度である。

セット{SR_i}_i∈{0,M-1}の領域SR_iの全体について、基準D_iがステップ１０２〜１１０に従って計算された場合、本方法はステップ１１２に進み、基準D_iがステップ１０２〜１１０に従って計算されていない場合、本方法は、インデックスiを１だけインクリメントして、ステップ１０２を繰り返す。

ステップ１１２の間、サブ領域RSRとして保持し、すなわち、M個の可能性のあるサブ領域のセット｛SR_i｝_i∈{0,M-1}から、基準が相互情報量又は位相の相関である場合に最大の基準値D_j（基準がある歪みである場合にそれぞれの最小の基準値）を有するサブ領域SR_jを抽出するか、又は、基準が相互情報量又は位相の相関である場合に最も高い基準値（基準が歪みである場合にそれぞれ最も低い基準値）を有するN個のサブ領域SR_jを抽出する。

別の変形例によれば、ステップ１０２は、量子化ステップQP_minにより領域SR_iの量子化を含む。
ステップ１０４は、領域SR_iの逆量子化を含む。
ステップ１０６は、量子化ステップQP_max>QP_minによる画像の残りの部分の量子化を含む。実際に、画像の残りの部分は、より表面的に量子化され、すなわちより低い品質で符号化される。
ステップ１０８は、画像の残りの部分の逆量子化を含む。
他のステップは、この第二の実施の形態の第一の変形例のステップと同一である。

図４を参照して記載される第二の実施の形態によれば、RSRサブ領域が、事前に抽出され、すなわち、RSRサブ領域の選択で使用された演算及び／又は基準は、デコーダで実現される冗長さの利用の正確なプロセスを考慮する。第二の実施の形態によれば、画像のM個の可能性のあるSR_iサブ領域について以下のステップが実行される。

所与の品質Q₀でSR_iを符号化するステップ（２０２）。
SR_iを復号化するステップ（２０４）。
所与の品質Q₁で、画像の残りの部分I＼{SR_i}、すなわち他のサブ領域を符号化するステップ（２０６）。
画像の残りの部分、すなわち他のサブ領域を復号化するステップ（２０８）。
画像の残りの部分の領域のテクスチャをリファインし（２０９）、品質Q₀でSR_iテクスチャを利用するステップ。
リファインされた画像とその基準バージョン、すなわち原画像との間の基準D_iを計算するステップ（２１０）。
テクスチャをリファインすることは、その品質を改善すること、すなわち原画像において有していたテクスチャに近づけること、言い換えれば詳細を高めることを意味する。

初期化ステップ２００の間、インデックスiはゼロi=0にリセットされる。

ステップ２０２の間、領域SR_iは、品質Q₀で符号化される。領域SR_iは、例えばH.264又はMPEG-2規格に従って符号化される。しかし、本発明は、ステップ２０２で実現される符号化方法に限定されるものではない。従って、実施の形態の変形例によれば、領域SRiは、M-JPEG又はJPEG2000規格に従って符号化される。特定の実施の形態によれば、領域SR_iは、画素のブロックである。符号化ステップ２０２は、予測ブロックの決定を含む。たとえば、予測ブロックは、符号化すべきブロックに空間的に隣接するブロックから決定されるか（モードINTRA）、係るブロックの線形結合により、係るブロックの所定の画素の線形結合により、或いは他の画像のブロックの線形結合により決定される（モードINTER）。

次いで、予測ブロックは、重み付けの有無に係らず、例えば画素毎の減算により領域SR_iから抽出される。このように得られた残差ブロックは、例えばDCT（離散コサイン変換）により変換され、次いで量子化ステップQP_minにより係数のブロックに量子化される。残差ブロックの幾つかのサブブロックに対して変換が連続して適用される。これは、サブ領域SR_iが16×16サイズのマクロブロックであって、且つDCT変換が8×8変換である場合に特に当てはまる。この符号化ステップ２０２は、エントロピー符号化ステップの実現を必要としない。

ステップ２０４の間、領域SR_iが復号化される。このため、ステップ２０２で得られた係数のブロックに逆量子化が適用され、続いて例えばIDCT（逆離散コサイン変換）といった逆変換が適用され、復号化された残差ブロックが得られる。この復号化された残差ブロックは、重みの有無に係らず、たとえば画素毎の加算により、予測ブロックと結合される。この復号化ステップ２０４は、符号化ステップ２０２自身が係数のブロックのエントロピー符号化を含む場合を除いて、エントロピー復号化ステップの実現を必要としない。

ステップ２０６の間、画像の残りの部分、すなわちI＼{SR_i}は、所与の品質Q₁（Q₁<Q₀）で符号化される。領域SR_iを符号化するためにステップ２０４で使用された符号化方法と同じ符号化方法は、画像の残りを符号化するために使用される。簡単な例として、画像の残りの部分は、ステップ２０４で使用された符号化方法が必要とする場合に、複数のブロックに分割される。符号化ステップ２０６は、符号化すべき画像の残りの部分のそれぞれのブロックについて、予測ブロックの決定を含む。例えば、予測ブロックは、符号化すべきブロックに空間的に隣接するブロックから決定され（モードINTRA）、係るブロックの線形結合により、係るブロックの所定の画素の線形結合により、或いは他の画像のブロックの線形結合により決定される（モードINTRA）。次いで、予測ブロックは、例えば重み付けの有無に係らず、画素毎の減算により、符号化すべきブロックから抽出される。このように得られた残差ブロックは、例えばDCT（離散コサイン変換）により変換され、次いで量子化ステップQP_max>QP_minにより係数のブロックに量子化される。変換は、残差ブロックの幾つかのサブブロックに連続的に適用される。これは、残差ブロックが16×16サイズからなる場合であって、且つDCT変換が8×8変換である場合に特に当てはまる。この符号化ステップは、エントロピー符号化ステップの実現を必要としない。

ステップ２０８の間、画像の残りの部分が復号化される。画像の残りの部分のそれぞれのブロックは、ブロック当たりの符号化方法がステップ２０６で使用された場合に復号化される。このため、復号化すべきそれぞれのブロックについて、ステップ２０６で得られた係数の対応するブロックに対して逆量子化、次いで例えばIDCT（逆離散コサイン変換）といった逆変換が適用され、復号化された残差ブロックが得られる。次いで、この復号化された残差ブロックは、重みの有無に係らず、例えば画素毎の加算により、予測ブロックと結合される。この復号化ステップは、符号化ステップ２０６が係数のブロックのエントロピー符号化を含む場合を除いて、エントロピー復号化ステップの実現を必要としない。

ステップ２０９の間、画像の残りの部分の領域のテクスチャは、品質Q₀でSR_iを利用することでリファインされる。リファインメントステップ２０９は、復号化方法に関連して記載される（ステップ１６）。このリファインメントステップ２０９は、品質Q₁（Q₁<Q₀）で符号化された領域のテクスチャを改善するため、品質Q₀で符号化されたデータからの情報を使用する。これを行うため、幾つかのリファインメントアルゴリズムが可能である。

SR_iによる現在のサブ領域のリファインメントアルゴリズムの例は、例えばDCT係数といった、変換領域で動作する。このため、SR_iに存在するが、符号化の間に量子化により現在のサブ領域で破壊された高周波は、現在のサブ領域に加えられる。画像の残りの部分のサイズａ²のそれぞれのブロックについて、以下の式が計算される。

ここでlast_coefはブロックの最後のDCT係数のインデックスであり、DCT(n)はジグザグの順序、すなわちブロックのスキャニング順序で位置ｎでのブロックｂのDCT係数を表す。DCT_merged(n)は、リファインされたブロックのインデックスｎのDCT係数を表し、DCT_QPmin(n)は、RSR_iの対応するブロックのインデックスｎのDCT係数を表し、DCT_QPmax(n)は、リファインされるべき現在のサブ領域のブロックｂのインデックスｎのDCT係数を表す。
α及びＫは、２つの自由度であり、αは付加される情報の重みα＝{0.1；0.2；...；1}であり、Ｋは、結合される第一のDCT係数を示す整数であり、Ｋ∈[0；a²-1]である。

ステップ２１０の間、基準D₁は、リファインされた画像とその基準バージョン、すなわち原画像との間で計算される。変形例によれば、基準D_iは、Q₀で復号化されたSR_iとリファインされた画像の残り、すなわち他のリファインされたサブ領域との間で計算される。問題となる基準は、例えば数学的な意味における相互情報量、又はSAD（Sum of Absolute Difference）又はSSE（Sum of Squared Differences）のような歪みである。相互情報量は、条件付きエントロピーの計算の形を表す。別の変形例によれば、基準は、位相の相関の測度である。

セット{SR_i}_i∈{0,M-1}の領域SR_iの全体について、基準D_iがステップ２０２〜２１０に従って計算された場合、本方法はステップ２１２に進み、基準D_iがステップ２０２〜２１０に従って計算されていない場合、本方法は、インデックスiが１だけインクリメントされ、ステップ２０２を繰り返す。ステップ２１２の間、サブ領域RSRとして保持され、すなわち、M個の可能性のあるサブ領域のセット{SR_i}_i∈{0,M-1}から、基準が相互情報量又は位相の相関である場合には最大の基準値D_j（基準が歪みである場合にはそれぞれの最小の基準値）を有するサブ領域SR_j、又は基準が相互情報量又は位相の相関である場合には最も高い基準値（基準が歪みである場合にはそれぞれ最も低い基準値）を有するN個のサブ領域SR_jが抽出される。

本実施の形態の変形によれば、ステップ２０２は、量子化ステップQP_minによる領域SR_iの量子化を含む。
ステップ２０４は、領域SR_iの逆量子化を含む。
ステップ２０６は、量子化ステップQP_mix>QP_minによる画像の残りの量子化を含む。実際、画像の残りは、より表明的に量子化され、すなわち低い品質で符号化される。
ステップ２０８は、画像の残りの逆量子化を含む。
他のステップは、第二の実施の形態の第一の変形例のステップと同じである。

ステップ１０の有利な実施の形態によれば、符号化すべき画像Iは、複数の領域に分割される。単一のサブ領域RSRは、領域毎に画像Iから抽出され、すなわちディクショナリは、領域当たりで単一のサブ領域RSRを含む。ある領域は、たとえば画像の4分の1である。

マクロブロック（16×16サイズのブロック）による符号化及びブロック（8×8又は4×4サイズ）による符号化に基づいた、MPEG-2, H.264のようなビデオ符号化規格に従う符号化方法の特定の場合、RSRサブ領域は、マクロブロックであり、テクスチャリファインメントは、ブロックにより動作される。

図１に戻り、ステップ１２の間、RSRサブ領域のテクスチャ、すなわち輝度／色度値は、画像の残りのテクスチャ、及びRSRサブ領域の位置を指定する品質マップ（QM:Quality Map）は、ストリームＦで符号化される。テクスチャの符号化の間、品質マップQMは、画像の異なる領域が符号化される品質Q₀又はQ₁を決定するために使用される。サブ領域RSRは、画像の残りのQ₁の品質よりも高い品質Q₀で符号化される。

限定されるものではない例として、ブロック毎の符号化方法が使用される。画像のそれぞれのブロックは、画像のラスタスキャンに従って連続して符号化される。符号化されるべき現在のブロックについて、予測ブロックが決定される。たとえば、予測ブロックは、前に符号化及び復号化された現在のブロックの隣接しているブロックから決定され、例えば係るブロックの線形結合により、又は係るブロックの幾つかの画素の線形結合により決定される（モードINTRA）。変形例に拠れば、予測ブロックは、前に復号化された画像と動きベクトルとから決定され、例えば動きベクトルの座標が整数ではない場合には特に補間により決定される（モードINTER）。

動きベクトルは、例えばブロックマッチングタイプの動き予測から生成される。次いで、予測ブロックは、例えば重み付けの有無に係らず、画素毎の減算により、現在のブロックから抽出される。このように得られた残差ブロックは、例えばDCT（離散コサイン変換）により変換され、次いで係数のブロックに量子化される。変換された残差ブロックは、符号化されるべき品質Q₀又はQ₁と、品質マップにより提供される情報とに依存する量子化ステップで量子化される。現在のブロックがRSRサブ領域である場合、QP_minのステップで量子化され、現在のブロックがRSRサブ領域でない場合、QP_max>QP_minのステップで量子化される。係数のブロック及び動きベクトルは、VLC（可変長符号化）又はCABACタイプのエントロピー符号化により符号化される。
品質マップは、例えばSEI（Supplemental Enhancement Information）メッセージを使用して符号化されるか、又は、ユーザデータのために予約されるフィールドを使用して更に頻繁に符号化される。

マクロブロック（16×16サイズのブロック）による符号化又はブロック（8×8又は4×4サイズ）による符号化に基づいた、MPEG-2，H.264のようなビデオ符号化規格に従う符号化方法の特別の場合、RSRサブ領域がマクロブロックである。従って、品質マップは、RSR又は非RSRマクロブロックの量子化ステップ（QP）が適合されるのを可能にする。RSRサブ領域を量子化するために使用されるQP_minの品質よりも高いQP_maxの量子化ステップは、非RSRサブ領域を量子化するために使用される。これは、それぞれの品質Q₀及びQ₁が取得されるのを可能にする。このフレームにおいて、品質マップは、量子化ステップがストリームで符号化されているとき、ストリームＦにおいて明示的に符号化される必要がない。従って、復号化方法の間、あるブロックについて復号化された量子化ステップの値は、そのRSRサブ領域の品質又は非RSRサブ領域の品質を表す。実際に、あるブロックについて復号化された量子化ステップがQP_maxである場合、このブロックは、必然的に非RSRサブ領域であり、あるブロックについて復号された量子化ステップがQP_minである場合、このブロックは、必然的にRSRサブ領域である。

復号化方法は、図１に関連して記載される。
ステップ１４の間、RSRサブ領域及び非RSRサブ領域のテクスチャが復号化される。たとえば、H.264規格に従う復号化方法は、対応する符号化方法はステップ１２で使用された場合に使用される。限定されることなしに、ブロック毎の復号化方法が使用される。画像のそれぞれのブロックは、画像のラスタスキャンに従って連続的に復号化される。

復号化されるべき現在のブロックについて、予測ブロックが決定される。例えば、予測ブロックは、例えば係るブロックの線形結合によるか又は係るブロックの幾つかの画素の線形結合により、前に復号化された現在のブロックの隣接しているブロックから決定される（モードINTRA）。変形例によれば、予測ブロックは、前に復号化された画像及び動きベクトルとかた決定され（モードINTER）、おそらく動きベクトルの座標が整数でない場合には補間により決定される。現在のブロックについて、残差ブロックは、可変長符号化（VLC）又はCABAC型のエントロピー復号化によりストリームＦから復号化される。次いで、予測ブロックは、重み付けの有無に係らず、画素毎の加算により、復号化された残差ブロックと結合される。次いで、逆量子化、次いで例えばIDCT（逆離散コサイン変換）が結合されたブロックに適用される。逆量子化により使用される量子化ステップは、現在のブロックがステップ１２で符号化された品質Q₀及びQ₁に依存する。現在のブロックがRSRサブ領域である場合、QP_minのステップで逆量子化され、現在のブロックがRSRサブ領域でない場合、QP_max>QP_minのステップで逆量子化される。量子化ステップは、ストリームで一般に符号化されており、必ずしも品質マップを復号化する必要はない。しかし、変形例によれば、量子化ステップがストリームＦで符号化されていない場合、品質マップが復号化される。

ステップ１６の間、非RSR領域のテクスチャがリファインされる。このステップは、品質Q₁（Q₁<Q₀）で符号化された領域を改善するため、品質Q₀で符号化されたデータからの使用の使用を含む（すなわちRSRサブ領域）。このため、幾つかのリファインメントアルゴリズムが可能である。

RSRサブ領域による現在のサブ領域のリファインメントアルゴリズムの例は、DCT係数に関して変換領域で動作する。このため、RSR_iに存在するが、符号化の間に量子化により現在のサブ領域で破壊されていない高周波は、現在のサブ領域に加えられる。DCTが8×8DCTである場合、現在のサブ領域の例えばa=8であるa²のサイズのそれぞれのブロックｂについて、以下の式が計算される。

Last_coefは、ブロックの最後のDCT係数のインデックスであり、DCT(n)は、ジグザグの順序、すなわちブロックの走査順序における位置ｎでのブロックのDCT係数を表し、DCT_merged(n)は、リファインされたブロックのインデックスｎのDCT係数を表し、DCT_min(n)は、RSR_iの対応するブロックのインデックスｎのDCT係数を表し、DCT_max(n)は、リファインすべき現在のサブ領域のブロックｂのインデックスｎのDCT係数を表す。現在のサブ領域をリファインするために使用されるRSR_iは、たとえばリファインすべき現在のサブ領域に空間的に最も近いか、又はリファインすべき現在のサブ領域に最も相関するものとして、「ディクショナリ」で選択される。別の変形例によれば、復号化すべき画像は、複数の領域に分割され、ディクショナリは、領域当たりで単一のサブ領域RSR_iを含む。この場合、現在のサブ領域は、画像の同じ領域に属するディクショナリのRSR_iを使用してリファインされる。例えば、画像の4分の1である。
α及びKは、２つの自由度であり、αは付加される情報の重みα={0.1;0.2;...;1}であり、Kは結合される第一のDCT係数K∈[0;a²-1]である。

他のアプローチは、このリファインメントステップ１６で使用することができる。従って、“Synthesizing natural textures”と題され、“ACM Symposium on Interactive 3D Graphics”の手続きにおいて公表されたAshikhminによる文献に記載された“guided texture synthesis ”アルゴリズムが引用される。この場合、RSR_iは、ディクショナリとしての役割を果たし、リファインすべき現在の領域の低品質のバージョンQ₁は、ガイド“guide”としての役割を果たす。

他の反復的な発展されたテクスチャの合成アプローチは、“Texture optimization for example-based synthesis”と題され、“ACM Symposium on Interactive 3D Graphics”(2005)において公表されたKwatra等による文献で記載されるように、最初の繰返しとして低品質のバージョンQ₁を使用し、従ってRSR_iの使用によりリファインされる。

図５を参照して、本発明は、符号化装置２に関する。符号化装置２は、第一の入力２０において画像Iを受け、第二の入力２６で品質の値Q₀及びQ₁（Q₀>Q₁）を受ける。
符号化装置２は、符号化方法のステップ１２に従ってRSRサブ領域の画像Iを抽出することができる抽出モジュール２２を備える。より詳細には、抽出モジュール２２は、符号化方法のステップ９２〜９４又は１００〜１１２又は２００〜２１２を実現する。

また、符号化装置は、ストリームＦにおける、品質Q₀で抽出モジュール２２により抽出されたRSRサブ領域を符号化し、品質Q₁で他の非RSRサブ領域を符号化する符号化モジュール２４を備える。ストリームＦは、出力２８を介して送信される。

図６を参照して、本発明は、復号化装置３に関する。復号化装置は、例えば符号化装置２から、入力３０でストリームＦを受ける。復号化装置３は、画像Iを復号化する復号化モジュール３２を備える。より詳細には、復号化装置３は、ストリームＦから復号化された品質マップ自身を使用するか又はストリームＦから復号化された量子化ステップQ_min及びQ_maxをダイレクトに使用して、品質Q₀でRSRサブ領域を一方で復号化し、品質Q₁で非RSRサブ領域を他方で復号化する。復号化モジュール３２は、復号化方法のステップ１４を実現する。

復号化装置３は、リファインメントモジュール３４を備える。リファインメントモジュールは、復号化方法のステップ１６を実現するため、復号化モジュール３２により復号化された非RSRサブ領域のテクスチャを、復号化モジュール３２により復号化されたRSRサブ領域のテクスチャでリファインする。このように復号化された画像I_decは、出力３６を介して送信される。

当然、本発明は、上述された実施の形態の例に限定されるものではない。
特に、当業者であれば、任意の変形例を説明された実施の形態に適用し、それらを組み合わせて様々な利点を得ることができる。特に、符号化１２及び復号化１４のステップは、H.264又はMPEG-2規格に従うか、又は他のタイプの規格に従う場合がある。本発明は、静止画像の符号化に適用され、又は画像系列の符号化に適用される。

また、基準D_iは、異なるやり方で計算される。例えばD_iは、ピーク信号対雑音比（PSNR）の値又は例えば構造的類似度（SSIM: Structural SIMilarity）又は位相の相関、相互情報量、SAD又はSSEのような客観的なテクスチャの品質の基準である。

Claims (8)

1. 複数のサブ領域に分割される原画像を符号化する方法であって、
   前記原画像の他のサブ領域を代表するサブ領域を前記原画像から抽出するステップと、
   前記他のサブ領域を代表するサブ領域を第一の品質で符号化するステップと、
   前記他のサブ領域を前記第一の品質よりも低い第二の品質で符号化するステップとを含み、
   前記原画像の他のサブ領域を代表するサブ領域を抽出するステップは、現在のサブ領域と呼ばれる前記原画像のそれぞれのサブ領域について、
   前記現在のサブ領域を前記第一の品質で符号化するステップと、
   符号化された現在のサブ領域を復号化して、復号化された現在のサブ領域を得るステップと、
   前記現在のサブ領域とは異なる前記他のサブ領域を前記第二の品質で符号化するステップと、
   符号化された他のサブ領域を復号化して、復号された他のサブ領域を得るステップと、
   前記復号化された現在のサブ領域と前記復号化された他のサブ領域との間の基準を計算するステップと、
   前記抽出するステップは、Nを整数として、前記基準が最も高いN個のサブ領域を抽出するか、又は前記基準が最も低いN個のサブ領域を抽出する、
   ことを特徴とする符号化方法。
2. 前記第一の品質と前記第二の品質との間の符号化品質を、前記原画像のそれぞれのサブ領域と関連付ける品質マップを符号化するステップを更に含む、
   請求項１記載の符号化方法。
3. 前記原画像の他のサブ領域を代表するサブ領域を抽出するステップは、
   前記復号化された現在のサブ領域のテクスチャを使用することで、前記復号化された他のサブ領域のテクスチャを改善するステップを含み、
   前記基準は、前記復号化現在のサブ領域と、改善された他のサブ領域との間で計算される、
   請求項１又は２記載の符号化方法。
4. 前記原画像の他のサブ領域を代表するサブ領域を抽出するステップは、
   前記復号化された現在のサブ領域のテクスチャを使用して、前記復号化された他のサブ領域のテクスチャを改善するステップを含み、
   前記基準は、改善された他のサブ領域を含む改善された画像と前記原画像との間で計算される、
   請求項１又は２記載の符号化方法。
5. 前記基準は、相互情報量であり、
   前記抽出するステップは、前記基準が最も高いN個のサブ領域を前記原画像から抽出することを含む、
   請求項１乃至４の何れか記載の符号化方法。
6. 前記基準は、歪みであり、
   前記抽出するステップは、前記基準が最も低いN個のサブ領域を前記原画像から抽出することを含む、
   請求項１乃至４の何れか記載の符号化方法。
7. 前記改善するステップは、
   前記復号化された他のサブ領域のうちのK個の最も高い周波数のうちの１つに対応するそれぞれのDCT係数を、前記復号化された他のサブ領域の前記DCT係数と前記復号化された現在のサブ領域に対応するDCT係数との線形結合により、DCT周波数領域において置き換えるステップを含む、
   請求項３乃至６の何れか記載の符号化方法。
8. 第一のサブ領域と第二のサブ領域とに分割される少なくとも１つの原画像を復号化する方法であって、前記第一のサブ領域は、第二のサブ領域を代表する領域であり、
   当該方法は、
   前記第一のサブ領域と前記第二のサブ領域とを復号化するステップと、
   前記第一のサブ領域のテクスチャから前記第二のサブ領域のテクスチャを改善するステップとを含み、
   前記改善するステップは、
   前記第二のサブ領域のうちのK個の最も高い周波数のうちの１つに対応するそれぞれのDCT係数を、前記第二のサブ領域の前記DCT係数と前記第一のサブ領域に対応するDCT係数との線形結合により、DCT周波数領域において置き換えるステップを含む、
   ことを特徴とする方法。
   
   

Images