JP2011522496A - テクスチャ合成による画像符号化方法 - Google Patents

Abstract

パッチからなるセットへの演算を行う合成アルゴリズムを使用した画像及び画像の領域の合成の技術を利用することによる画像圧縮の方法であって、演算は、低解像度画像を介して実行される。当該方法は、品質メトリクスに従って、原画像と表示画像との比較により合成された画像の領域の符号化又は非符号化を決定するステップ、符号化の判定により合成された領域について、パッチ及び低解像度画像の従来の符号化を行うステップ、及び非符号化の判定により合成された領域について、従来の符号化方法に従って符号化を行うステップを含む。

Description

本発明は、画像合成の分野に関し、より詳細には、ビデオ圧縮の分野に関する。合成方法は、コーダ及びデコーダに適用される。
本方法は、テスクチャのパッチからの画像のコンテンツを合成することからなり、問題になるパッチは、低減された大きさの画像ブロック、テクスチャの観点からすれば画像を構成する異なる領域の代表的なブロックである。

さらに、品質メトリクスに基づいて、このように得られた合成の表示は、コーダ側でのソースに比較され、次いで、基準により許容されるとして判断された品質レベルに対応しない再構成画像の一部は、たとえばメトリックがSSIMである、標準符号化H264-AVCのようなより従来の技術によりエンコードされる。

［合成アルゴリズム］
既知の合成方法に関して、画素が１つずつ構築される意味で、画素に基づいた技術が参照され、１つのアルゴリズムは、L.-Y.Wei及びM.Levoyにより開発された“Fast texture synthesis using tree-structured vector Quantization”Proceeding of SIG-GRAPH 2000 (July 2000), 479-488.[1]である。

ここでの目的は、小さいがパターンに関して要求される全ての情報を含む「パッチ」から大きなテクスチャ領域を合成することである。アルゴリズムの品質は、この合成された画像が目に見える境界すなわち周期性を表示する必要がないことである。

図１は、アルゴリズムの原理を示す。この図は、２つの入力である、テクスチャパッチ及び所望の大きさの画像を有しており、周期性を回避するためにノイズにより初期化される。この図は、テクスチャから合成された画像を出力で示す。

［ベストピクセルのサーチの特性］
標準L2を介して隣接する領域の比較が「画素毎に」行われる。したがって、ここで最小化されるエラーは、以下の式を有する。

ここでｘ_synth及びｘ_patchは、現在の画像及びパッチの考慮される画素のそれぞれのRGBの色の値である。現在の画素の隣接する領域のそれぞれの画素は、パッチでテストされる画素の隣接する領域のその反対側の画素と比較される。

隣接する領域は、現在の画素を囲んでいる画素から構成され、所与の大きさ[dxd]の正方形で構成される。この隣接する領域は、現在の画像で既に合成された画素のみを含むとき、「因果的“causal”」と呼ばれる。ここで、この隣接する領域は、現在の領域における隣接する領域の非因果的な部分がノイズの画素のみを有し、比較のために興味がないときに使用される因果的な隣接する領域である。

図２は、係る因果的な隣接する領域を示す。最初の画素、最初のライン並びに最初及び最後の列について、出力画像は、周期的であり、したがって、考慮される画素は、コーナ（ｘ）における最初の画素及び画像の４つのコーナに位置されるその隣接する領域について示される他方の側にある。

［多解像度アプローチ］
包括的なアプローチにより生じる主要な問題は、合理的なサイズの画像を合成するために必要とされる計算時間である。この計算時間は、隣接する領域のサイズに相関されるものであり、この多解像度のアプローチは、パフォーマンスを改善するのを可能にする。［１］で導入される主要な考えは、５×５又は３×３の隣接する領域がシンプルな解像度で１５×１５の隣接する領域のようなテクスチャに拡大するように、低解像度の画像を使用することである。これを行うため、図３に示されるように、ピラミッドを作成することで開始し、１つはパッチ用であり、１つはサブサンプラを使用して合成される画像用である。

次いで、アルゴリズムは、以下のように、最低解像度から最高解像度まで現在の画像のピラミッドを合成する。
最低解像度の画像は、シンプルな解像度の技術の場合におけるのと同じやり方で合成される。
他の画像は、隣接する領域が現在の解像度の画素を含むだけでなく、低解像度の現在に対応する画素の隣接する領域の画素も含むことを除いて、同じやり方で合成される。
最後の画像は、パッチ及び低解像度の画像から合成される出力画像である。

図４は、多解像度の隣接する領域を示す。この隣接する領域は、左図における、ダークグレイで示されるレベルｎの現在の解像度の因果的な隣接する領域の画素、右図における、レベルｎ＋１よりも高い解像度の非因果的な隣接する領域に含まれる画素、ダークグレイで表現される画素及び明るいグレイで示される中央における親を含む。この例では、隣接する領域は、１２＋９＝２１の画素を含む。

図５は、多解像度の合成の順序を示す。上の画像は、レベル２であり、第一のレベルの因果的な隣接する領域の合成に対応する。下の画像は、レベル１であり、第二のレベルの因果的な隣接する領域の合成に対応する。

［品質メトリック：ＳＳＩＭ］
本発明の目的は、画像の圧縮という観点から、テクスチャのパッチを介して画像を合成することである。（コーダ側の）原画像と比較して合成画像の部分の回復品質を予測することは明らかに必要である。これら合成に基づく再構成技術は、ｓｓｅ（sum of squared error）タイプの標準的な歪みの観点で原信号から離れる再構成された信号を暗黙的に生じさせる傾向があるが、全体的に許容可能であり視覚的な表示を提供し、品質メトリックに直面する。現在、その主題に関する多数の研究が存在するが、本明細書は、たとえばZ.Wang,L.Lu,A.C Bovikによる文献“Video quality assessment based on structural distortion measure”Signal processing image communication vol19 no2, pp 121-132, Feb 2004で記載されるSSIM（Structural Similarity）と呼ばれる視覚心理特性の測定に向けられる。

この測定は、３つの項から構成され、視差が予測されるのを可能にする。SSIMの式は、以下に示される。

ここで、μsは原画素の輝度の平均であり、σsは原画素の分散であり、μcは合成画素の輝度の平均であり、σcは再構成画素の分散であり、σscは原画素及び合成画素の分散である。ｃ₁＝（ｋ₁Ｌ）²，ｃ₂＝（ｋ₂Ｌ）²である２つの変数は、分母が非常に低いときに割り算を安定にすることが意図される。Ｌは、画素値のダイナミックであり、ここでは８ビットで符号化される色について２５６である。ｋ₁＝０．０１及びｋ₂＝０．０３はデフォルト値である。
SSIMは、画像のそれぞれの画素に関して、画像における８×８ブロック毎に適用される。

本発明の目的の１つは、上述された問題点を克服することである。本発明は、あるパッチからなるセットに関して演算する合成アルゴリズムを利用した画像及び画像領域の合成技術を使用した画像復号化の方法であり、この演算は、低解像度画像を介して実行され、以下のステップを含むことを特徴とする。パッチ及び低解像度画像の復号化。パッチは、前に復号化された画像から得られるか、画像自身とは独立に復号化することができる。これらのパッチ及びこの低解像度画像をサポートとして使用する合成アルゴリズムに従う領域の再構成。合成により符号化されない領域について、従来の方法での復号化。このように復号化された領域は、合成画像で既におそらく再構成された画像の代わりとなる。

特定の実施の形態によれば、合成技術は、ピラミッド形の合成技術からなる。
特定の実施の形態によれば、低解像度画像は、空間スケーラビリティ型の形式を有する。合成アルゴリズムが最低解像度レベル以外のピラミッドレベルに誘導される。
特定の実施の形態によれば、合成アルゴリズムは、画像信号RVB、画像信号YUV又は輝度信号Yのみに関して演算を行い、信号U及びVは、輝度に適用される処理と同じ処理を受ける。

また、本発明は、パッチからなるセットに対して演算を行う合成アルゴリズムを利用する画像及び画像領域の合成技術を使用した画像圧縮の方法である。この演算は、低解像度画像を介して実行され、以下のステップを含む。品質メトリックに従って、原画像と表示画像の比較により合成画像の領域の符号化又は非符号化を判定するステップ。符号化の決定により合成された領域について、パッチ及び低解像度画像の従来の符号化。非符号化の決定により合成された領域について、従来の符号化方法に従うこれらの領域の符号化。

特定の実施の形態によれば、合成技術は、ピラミッド形の合成技術である。
特定の実施の形態によれば、低解像度画像は、合成アルゴリズムが最低解像度レベル以外のピラミッドレベルに誘導されるように、空間スケーラビリティ型の形式を有する。

特定の実施の形態によれば、合成アルゴリズムは、画像信号RVB、画像信号YUV又は輝度信号Yに関して演算を行い、信号U及びVは、輝度に適用される処理と同じ処理を受ける。
特定の実施の形態によれば、品質メトリックは、SSIM（Structural SIMilarity）である。

本発明は、画像及び画像の領域の合成がパッチからなるセットに演算を行う合成アルゴリズムを使用することで改善されるのを可能にするものであり、この演算は、低解像度画像を介して実行される。

ターゲットとされる応用は、ビデオ圧縮であり、下手に再構成された画像の領域を典型的に符号化するか、問題となる領域を放置するため、品質メトリクスが介入する。

本発明の第一の利点は、合成アルゴリズムを介して再構成された画像領域の（品質メトリクスに基づいた）許容可能な視覚的な表示を可能にすることであり、この合成は、所与の視覚的な品質でビットレートを最終的に低減するため、低解像度の送信される画像によりコーダ及びデコーダで誘導され、逆もまた同様である。

なお、この技術は、デコーダに送信されるセグメンテーションカードを必要とせず、合成アルゴリズムは、誘導する画像を介して異なるパッチに含まれる情報の分散を必然的に演算する。さらに、合成技術による表示の不完全さは、標準的な符号化により補正され、前記不完全さの領域は、品質メトリックにより検出され、このメトリックは、SSIMとすることができる。本発明の第二の利点は、選択された解像度で信号が復号化されるのを可能にする表現のスケーラビリティである。

別の利点は、たとえばH.264といった既存の符号化技術に従って低解像度画像を符号化して、これら符号化技術との後方互換性を保証する可能性である。

アルゴリズムの原理を示す図である。 因果的な隣接する領域を示す図である。 ピラミッド形の合成技術を示す図である。 多解像度の隣接する領域を示す図である。 多解像度の合成の順序を示す図である。 誘導合成を示すブロック図である。 参照画像を示す図である。 ３つの入力画像を示す図である。 ７６８×５１２の合成画像を示す図である。 SSIMのマッピングを示す図である。 符号化方法の一般的なブロック図である。

［誘導合成（guided synthesis）］
意図するところは、ピラミッドの最低解像度の合成のためのガイドとして機能を果たす参照画像のサンプリングされたバージョンを階層的な合成アルゴリズムに送ることである。この低解像度画像の合成は、非因果的な隣接する領域により行われる。たとえば、最良の候補を決定するために、隣接する領域をパッチの全てと比較することからなるL.Y.Wei及びM.Levoyの包括的なアプローチが選択される。

本方法の異なるステップは、誘導される合成のブロック図を示す図６により示され、以下の通りである。

１）アルゴリズムは、多解像度アルゴリズムで使用されるガウシャンピラミッドにおけるレベルと同じ回数で参照画像をサブサンプリングする。
２）この低解像度画像は、次いで、合成画像の初期設定として複製され、L.Y.Wei及びM.Levoyのアプローチで提案された初期化の白色雑音を置き換える。
３）画像の異なるテクスチャの部分に対応する幾つかのパッチは、アルゴリズムに供給される。
４）低解像度画像は、次いで、（非因果的な）正方形の隣接領域と合成される。構成において画像に対して計算される隣接する領域の非因果的な部分は、サブサンプルの参照画像にある。包括的なアルゴリズムは、次いで、供給される全てのパッチの全ての隣接する領域をテストする。現在の隣接する領域の非因果的な部分は、サブサンプリングされた画像の部分に最も近い特性を有するパッチに合成を誘導する。
５）アルゴリズムは、それぞれ合成されたパッチを画素が到来するメモリに保持する。
６）上位レベルについて、合成技術は、変化しないままであり、先行する解像度で記憶されたパッチにおいてのみサーチする。これは、合成を加速するためであり、それでも、本方法の変形例の１つでは、合成アルゴリズムは、最低解像度のレベル以外のピラミッドレベルで誘導／拘束される。

たとえば、このタイプの合成を説明するため、フットボールの試合からの画像を考える。この参照画像は、図７に示される。なお、この画像は、２つの領域を有しており、標準的な符号化アルゴリズム：ピッチアンドパブリック“pitch and public”で典型的に犠牲にされる高周波を保持するために良好な方法である。このように、図８に示される３つの入力画像、２度サブサンプリングされたバージョン、パブリックの１サンプル及びピッチの１サンプルをアルゴリズムに送ることが決定される。

図９に示される大きさ７６８×５１２の合成画像は、以下の特性をもつこのアルゴリズムにより得られる。
現在の解像度の隣接する領域：５×５画素
解像度ｎ＋１の隣接する領域：３×３画素
ピラミッドレベルの数：３。

［関連するメトリック］
テクスチャの合成が生成された画像の領域に関連するとして明らかにされるかを評価するため、表示の構造を明らかにすることができる品質メトリックが使用される。

再び前の例と可能なメトリックSSIMを考えると、図１０に示されるSSIMのマッピングが得られる。

幾つかの判定モードを適用することができる。
区別されるべき、画像のエレメントのエンコード又は非エンコードを可能にするメトリックに適用される閾値の使用。
取得された測定値と「標準的な」符号化モードで得られた値の比較。

図１１は、符号化方法の一般的なブロック図である。

関連する応用は、ビデオ圧縮に関連する。より詳細には、非常に低いビットレートの応用（たとえばモバイル用のHD）及び超解像（HD及び＋）である。

Claims (9)

1. パッチからなるセットに演算を行う合成アルゴリズムを使用した画像及び画像の領域の合成の技術を利用することによる画像復号化の方法であって、前記演算は、低解像度画像を介して実行され、
   当該方法は、
   パッチ及び低解像度画像を復号化するステップと、前記パッチは、前に復号化された画像から得られるか又は前記画像とは独立に復号化され、
   前記パッチ及び前記低解像度画像を使用した合成アルゴリズムに従って領域を再構成するステップと、
   合成により符号化されない領域について従来の方法で復号化するステップとを含み、前記復号化された領域は、合成された画像で既に再構成された領域の代わりとなる、
   ことを特徴とする方法。
2. 前記合成の技術は、ピラミッド形の合成技術である、
   請求項１記載の方法。
3. 前記低解像度画像は、前記合成アルゴリズムが最低解像度レベル以外のピラミッドのレベルに誘導されるように、空間スケーラビリティ型の形式を有する、
   請求項２記載の方法。
4. 前記合成アルゴリズムは、画像信号RVB、画像信号YUV又は輝度信号Yに作用し、信号U及びVは、前記輝度に適用された処理と同じ処理を受ける、
   請求項１記載の方法。
5. パッチからなるセットへの演算を行う合成アルゴリズムを使用した画像及び画像の領域の合成の技術を利用することによる画像圧縮の方法であって、前記演算は、低解像度画像を介して実行され、
   当該方法は、
   品質メトリクスに従って、原画像と表示画像との比較により合成された画像の領域の符号化又は非符号化を決定するステップと、
   符号化の判定により合成された領域について、パッチ及び低解像度画像の従来の符号化を行うステップと、
   非符号化の判定により合成された領域について、従来の符号化方法に従って前記合成された領域の符号化を行うステップと、
   を含むことを特徴とする方法。
6. 前記合成の技術は、ピラミッド形の合成技術である、
   請求項５記載の方法。
7. 前記低解像度画像は、前記合成アルゴリズムが最低解像度レベル以外のピラミッドのレベルに誘導されるように、空間スケーラビリティ型の形式を有する、
   請求項６記載の方法。
8. 前記合成アルゴリズムは、画像信号RVB、画像信号YUV又は輝度信号Yに作用し、信号U及びVは、前記輝度に適用された処理と同じ処理を受ける、
   請求項１記載の方法。
9. 前記品質メトリクスは、SSIM（Structural SIMilarity）品質メトリクスである、
   請求項５記載の方法。

Images