JP2015503877A - 画像のブロックを符号化する方法及び装置、並びに対応する再構成方法及び装置 - Google Patents

Abstract

本発明は、画像ブロックの符号化及び復号化に関する。より具体的には、本発明は、画像の参照ブロックを用いたブロック予測に関する。提案される方法は、処理手段を用いて、画像の一部を符号化し且つ再構成し、少なくとも前記ブロックを用いて、前記再構成された部分内の１つの参照ブロックを決定し、前記１つの参照ブロックを参照するベクトルを決定し、前記１つの参照ブロックを用いて、前記再構成された部分内の少なくとも１つの更なる参照ブロックを決定し、決定されたベクトルと、前記１つの参照ブロックと前記少なくとも１つの更なる参照ブロックとの組み合わせに対する前記ブロックの残余と、を符号化することを有する。前記１つの参照ブロックの決定に前記ブロックを用いることは、それが前記ブロックに似ており、前記ブロックとの相関が維持されるように、前記１つの参照ブロックを選択することを可能にする。

Description

本発明は、画像ブロックの符号化及び再構成に関する。より具体的には、本発明は、画像の参照ブロックを用いたブロック予測に関する。

近傍組み込み（ネイバーエンベッディング）は、画像ブロックの残余符号化（レジデュアルエンコーディング）のための予測を決定すること及び残余符号化された画像ブロックを再構成することに使用される技術である。

近傍組み込みにおいては、ブロックの予測又は近似のために組み合わされる参照ブロックが決定され、参照ブロックの決定は、そのブロックの空間的な近傍との、参照ブロックの空間的な近傍の類似性に基づく。２つのブロック間の類似性は、それらの意味内容（セマンティックコンテンツ）が同様であることを意味する。

この近似又は予測は、エンコーダ側とデコーダ側と同じ方法で行われることができ、予測の残余分のみがエンコーダからデコーダに伝達あるいは伝送される。

近傍の類似性のみに基づいて決定される参照ブロックに関し、本願発明者は、ブロックとの潜在的な相関欠如を認識した。

故に、画像のブロックを符号化するに関し、請求項１に係る方法と請求項７に係る装置とを提案する。この方法は、処理手段を用いて、画像の一部を符号化し且つ再構成し、少なくとも前記ブロックを用いて、前記再構成された部分内の１つの参照ブロックを決定し、前記１つの参照ブロックを参照するベクトルを決定し、前記１つの参照ブロックを用いて、前記再構成された部分内の少なくとも１つの更なる参照ブロックを決定し、決定されたベクトルと、前記１つの参照ブロックと前記少なくとも１つの更なる参照ブロックとの組み合わせに対する前記ブロックの残余と、を符号化することを有する。

前記１つの参照ブロックの決定に前記ブロックを用いることは、それが前記ブロックに似ており、前記ブロックとの相関が維持されるように、前記１つの参照ブロックを選択することを可能にする。

一実施形態において、前記１つの参照ブロックを決定するために、前記ブロックに隣接した再構成された近傍が更に用いられる。

これ又は他の一実施形態において、前記少なくとも１つの更なる参照ブロックを決定するために、前記１つの参照ブロックに隣接した再構成された近傍が更に用いられる。

更なる実施形態において、前記１つの参照ブロックと前記少なくとも１つの更なる参照ブロックとの前記組み合わせは、加重線形結合である。例えば、この加重線形結合のための重みは、制約付き最小二乗問題又は非ローカルな平均問題を解くことによって決定されることができる。

前記加重線形結合のための重みは、前記ブロックに隣接する近傍、前記１つの参照ブロックに隣接する１つの近傍、及び前記少なくとも１つの更なる参照ブロックに隣接する少なくとも１つの更なる近傍から決定される。

あるいは、前記加重線形結合のための重みは、前記ブロック、前記１つの参照ブロック、及び前記少なくとも１つの更なる参照ブロックを用いて決定され、該重みは符号化される。

制約付き最小二乗問題の場合、局所線形組み込み又は非負行列因子分解を用いて、解を決定することができる。

より更なる実施形態において、少なくとも前記ブロックを用いて、前記再構成された部分内の少なくとも１つの他の参照ブロックと、該少なくとも１つの他の参照ブロックを参照する少なくとも１つの他のベクトルとが決定される。該少なくとも１つの他の参照ブロックに隣接する少なくとも１つの他の近傍を用いて、前記再構成された部分内の少なくとも１つの更なる他の参照ブロックが決定され、前記残余のコストより、前記１つの他の参照ブロックと前記少なくとも１つの更なる他の参照ブロックとの更なる加重線形結合に対する前記ブロックの更なる残余のコストが高いことが決定される。前記残余及び前記更なる残余のコストは、予測コスト又は速度−歪みコストである。

画像のブロックを再構成することに関し、請求項１０に係る方法と請求項１５に係る装置とを提案する。画像のブロックを再構成する方法は、処理手段を用いて、前記画像の一部を再構成し、前記ブロックの符号化された残余を復号化し、前記再構成された部分内の参照ブロックを参照する符号化されたベクトルを復号化し、前記参照ブロックを用いて、前記再構成された部分内の少なくとも１つの更なる参照ブロックを決定し、前記残余を、前記参照ブロックと前記少なくとも１つの更なる参照ブロックとの組み合わせと結合することによって、前記ブロックを再構成することを有する。

更なる有利な実施形態の特徴が、従属請求項に記述される。

本発明の例示的な実施形態を、図面に示し、以下の記載にて詳細に説明する。これらの例示的な実施形態は、請求項に規定される本発明の開示又は範囲を限定するためではなく、単に本発明を明らかにするために説明されるものである。図面は以下の図を含む。
従来技術に係る近傍組み込みを示す図である。 マップ支援による近傍組み込みの例示的な一実施形態を示す図である。 最適化されたマップ支援による近傍組み込みの例示的な一実施形態を示す図である。

本発明は、対応するように適応された処理装置を有する如何なる電子装置上で実現されてもよい。例えば、本発明は、テレビジョン、携帯電話、パーソナルコンピュータ、デジタルスチルカメラ、デジタルビデオカメラ、ナビゲーションシステム、又はビデオオーディオシステムにて実現され得る。

従来技術によれば、参照（リファレンス）ブロックＲＢ１、ＲＢ２、ＲＢ３は、これら参照ブロックＲＢ１、ＲＢ２、ＲＢ３に隣接するテンプレートＭＴ１、ＭＴ２、ＭＴ３が、符号化あるいは再構成すべきブロックＢＬＫに隣接するテンプレートＴＰＬによく似るように決定される。これは、図１に例示的に描かれており、そこでは、画像ＩＭＧの灰色領域は、予測で使用される符号化後のエンコーダ側、及び再構成で使用されるデコーダ側にて、既に再構成されており、また、画像ＩＭＧの白色領域はこれから符号化あるいは再構成されるものである。

近傍組み込み法の提案する改良の例示的な一実施形態において、予測すべき現在ブロックＢＬＫのテクスチャ（構造）情報を考慮するためにベクトルＶＥＣが使用される。

すなわち、１つの参照ブロックＲＢ１が、エンコーダ側でのブロックマッチング及び参照ベクトルＶＥＣの符号化、及びデコーダ側での、符号化された参照ベクトルＶＥＣの復号化により、現在ブロックＢＬＫに似るように決定される。例えばユークリッド距離を用いて、ブロックの類似性又は相似性を測定することができ、探索領域内での最小距離を、最も近い一致と見なすことができる。探索領域は、再構成された画像の全体又はその一部とされ得る。

そして、少なくとも１つの更なる参照ブロックＲＢ２、ＲＢ３が、デコーダ側と同じ方法でエンコーダ側で決定される。すなわち、上記１つの参照ブロックＲＢ１に似るように、少なくとも１つの第２の参照ブロックＲＢ２、ＲＢ３が決定される。

決定された重みを用いて加重された、上記１つの参照ブロックＲＢ１の、上記少なくとも１つの更なる参照ブロックとの線形結合に対する、予測すべきブロックの残余の符号化の速度（レート）−歪みコストを最小化するよう、一対の重みを決定することができる。その後、決定された重みは、決定可能性を可能とするように符号化されなければならない。

図２に例として描かれる更なる例示実施形態において、上記１つの参照ブロックＲＢ１は、当該１つの参照ブロックＲＢ１に隣接する１つの参照近傍を有する１つの参照パッチＦＭＰが、現在ブロックの対応する近傍と現在ブロックＢＬＫとを有するパッチＰＴＣに似るように決定される。図２において、近傍の形状及び位置は、単に例示目的で描かれており、他の形状及び位置も可能である。

より更なる例示実施形態において、第２の参照ブロックＲＢ２は、第２の参照近傍と当該第２の参照ブロックＲＢ２とを有する第２の参照パッチＭＰ２が上記１つの参照パッチＦＭＰに似るように決定される。

これらの概念は、ｋ個のパッチ内のｋ個のブロックの加重線形結合を用いてブロックが予測されるとして、ｋ個のパッチの選択へと拡張されることができる。ｋ個のパッチのうちの１つは、この１つのパッチ内に含まれる少なくとも１つの参照ブロックが、予測すべきブロックに似るように決定される。すなわち、ｋ個のパッチのうちの該１つは、予測すべきブロックを有する対応するパッチに自身が似るように決定される。

残りの（ｋ−１）個のパッチは、その後、更にこれら残りのパッチ内に含まれる参照近傍が、ｋ個のパッチのうちの上記１つ内に含まれる近傍に似るように決定される。すなわち、図２に例示的に描かれるように、残りの（ｋ−１）個のパッチは、ｋ個のパッチのうちの上記１つに似るように決定される。そして、行列状に積み重ねられ（各パッチがベクトル化され）、これらのパッチは更に、加重係数を計算するのに役立つことができる。パッチは、予測すべきブロックの近傍のテンプレート画素を近似するために選択される。これは、予測すべきブロックの未知の画素を推定するように、より良好に適応された、一組のパッチ及び対応する加重ベクトルを得ることを可能にする。テンプレート画素のみに基づくとき、重みは、エンコーダ側とデコーダ側とで同じ方法で決定されることができる。

ｋ個のパッチに拡張された概念の例示的な一実施形態は、予測すべき入力ブロックのｋ個のパッチの二段階探索により進められる所謂マップ支援近傍組み込み（Map-Aided Neighbour Embedding；ＭＡＮＥ）法である。

第一段階は、ブロックマッチング（ＢＭ）実施形態を用いて、予測すべきブロックとそれの対応する近傍（この近傍はテンプレートとも呼ばれている）とを有する現在パッチの、最もよく似ている参照パッチを探索することからなる。最もよく似ている参照パッチは、予測すべきブロックを有する現在パッチを用いて決定されるので、この最も近い参照パッチを参照するベクトルは、符号化の一部である。この段階はエンコーダ側で行われる。デコーダが、ベクトルを復号化し、それを用いて参照パッチを決定する。

第二段階にて、この実施形態は、第一段階で見い出された最もよく似ているパッチの（ｋ−１）個の最も近い一致である（ｋ−１）個の更なる参照パッチを探索する。この段階は、符号化及び復号化に関して同じ方法で実行されることができる。

現在パッチの最も近いパッチと（ｋ−１）個の更なる参照パッチとを決定するために使用される距離は、現在ブロック及び対応するテンプレート画素を合わせたものと共通の位置にある画素を含むパッチ全体上で計算される。

（ｋ−１）個の最も近いパッチを決定するために、それに従って候補パッチをランク付けすることができる距離指標の例は、入力パッチ及び各候補パッチの画素によって形成されるベクトル間のユークリッド距離又は平均二乗誤差である。

ｋ個のパッチが決定されると、一実施形態において、本発明は、予測すべきブロックの線形近似に使用される重みを決定するよう、例えばＬＬＥ法又はＮＭＦ法をそれぞれ用いて、制約付き最小二乗問題を解くことによって進められる。

重みは様々に決定されることができる。一実施形態において、決定された重みを用いて加重されたパッチ内に含まれる参照ブロックの線形結合に対する、予測すべきブロックの残余の符号化の速度−歪みコストを最小化するように、重みが決定される。その後、決定された重みは、再構成を可能にするために符号化されなければならない。

ほぼ同じようにして、重みは、決定された重みを用いて加重された参照パッチの線形結合に対する、予測すべきブロックとそのテンプレートとを有する現在パッチの残余の符号化の速度−歪みコストを最小化するように決定されることができる。この場合も、決定された重みは、再構成を可能にするために符号化されなければならない。

他の例では、重みは、決定された重みを用いて加重されたパッチ内に含まれる参照テンプレートの線形結合に対する、予測すべきブロックのテンプレートの残余の符号化の速度−歪みコストを最小化するように決定されることができる。この場合、重みはエンコーダ及びデコーダによって同じ方法で決定されることができ、重みを符号化する必要はない。

図３に例示的に描かれるように、この概念は、ＦＭＰ１及びＦＭＰ２として図３にｎ＝２に関して例示的に描かれた、各々がｋ個のパッチを有するｎ個の候補セットＤＩＣ１、ＤＩＣ２へと更に拡張されることができる。すなわち、予測すべきブロックＢＬＫとそれに対応する近傍ＴＰＬとを有する現在パッチＰＴＣの、最も近い参照パッチＦＭＰ１だけでなく、現在パッチのｎ個の最も近い参照パッチＦＭＰ１、ＦＭＰ２の組（セット）が決定される。

ｎ個の最も近い参照パッチＦＭＰ１、ＦＭＰ２の各々に対し、提案する方法は、ｎ個の最も近い参照パッチＦＭＰ１、ＦＭＰ２のうちのそれぞれの１つの（ｋ−１）個の最も近い一致である（ｋ−１）個の更なる参照パッチＭＰ２１、ＭＰ２２を探索することを有し、対応する速度−歪みコスト最小化重みを決定する。ｎ個の候補セットのうち、他の何れの候補セットの速度−歪みコストよりも高くない速度−歪みコストをもたらす１つが選択される。ベクトルＶＥＣ１、ＶＥＣ２のうち、選択された候補セットの最も近い参照パッチを参照する１つが、符号化あるいは復号化されるベクトルである。

より全域的（グローバル）な速度−歪みコストの最小化を可能にすることにより、決定された重みを用いて加重されたパッチ内に含まれる参照テンプレートの線形結合に対する、予測すべきブロックのテンプレートの残余の符号化の速度−歪みコストを最小化する、ように決定された重みを用いて重みを符号化する必要なく、良好な予測を達成することができる。

換言すれば、この実施形態の基礎となる基本的な考えは、所与の基準を最小化することになる“最適”マッチングベクトルによりｋ個の参照パッチを選択するというものである。それにより、使用されるマッチングベクトルは、現状技術による近傍組み込みに基づく予測より良好に適応された参照ブロックを見い出す助けとなる。

ｋ個のパッチに拡張された概念の例示的な一実施形態は、ブロック予測のために加重線形結合に結合されるｋ個のブロックの三段階探索を実行する所謂ｏＭＡＮＥ（optimized Map-Aided Neighbourhood Embedding）実施形態である。

１） ブロックＢＬＫ及び隣接する近傍若しくはテンプレートＴＰＬを有するパッチＰＴＣの、Ｌ個の参照パッチＦＭＰ１、ＦＭＰ２が決定される。これらＬ個の参照パッチＦＭＰ１、ＦＭＰ２は、例えばユークリッド距離である組み込み予測誤差に基づく距離指標に関して、パッチＰＴＣに最もよく似ているものである。各参照パッチＦＭＰ１、ＦＭＰ２は、それぞれの参照ベクトルＶＥＣ１、ＶＥＣ２と関連付けられる。

２） 段階１で見い出された各参照パッチＦＭＰ１、ＦＭＰ２に対し、その参照パッチＦＭＰ１、ＦＭＰ２に含まれるそれぞれの参照ブロックＲＢ１１、ＲＢ１２と、その参照パッチＦＭＰ１、ＦＭＰ２に一致あるいは類似する更なるパッチＭＰ１２、ＭＰ２２に含まれるｋ−１個の更なる参照ブロックＲＢ２１、ＲＢ２２とを有するディクショナリＤＩＣ１、ＤＩＣ２が構築され、そして、ディクショナリ内のブロックの加重線形結合を用いて予測が決定される。

３） Ｌ個のディクショナリのうち現在ブロックを予測するために保持されることになる１つのディクショナリに関連付けられた一組の重みＶ^ｌを選択するために、２つの距離指標を考慮することができる。１つは、組み込み予測誤差に直接的に基づく距離指標であり、例えば、それは、最良の予測ｌ_ｏｐｔを得るための、ディクショナリＡ_ｕ ^ｌに基づく予測Ａ_ｕ ^ｌＶ^ｌと予測すべき現在ブロックＸ_ｕとの間の二乗誤差の最小和とすることができる：

第２の１つは、再構成されたブロックの品質とブロックの符号化コストとの間での最良の妥協点を提供する予測を選択することが望ましい場合の、組み込み速度−歪みコストに基づく距離指標である。すなわち、再構成されたブロックの品質とブロックの符号化コストとの間での最良の妥協点を提供する予測、すなわち：

を選択するために、速度−歪みコストが最小化される。ここで、Ｄｌは、ＳＳＥ距離メトリックを用いることによって現在ブロックと再構成されたブロックとの間の歪みを表し、Ｒｌは、少なくとも、ディクショナリＡ_ｕ ^ｌに基づく予測Ａ_ｕ ^ｌＶ^ｌに対するブロックの残余を符号化することの、符号化コストである。構文要素（シンタックスエレメント）の符号化コストを更に考慮に入れることができる。

最後に、選択されたディクショナリの参照パッチに関連付けられた参照ベクトルが符号化される。

現状技術と比較して、本発明は、速度歪み性能を向上させるという利点を有する。

ターゲットとする例示的な産業用途は、ビデオ配信技術（圧縮を含む）及びディスプレイ技術である。ビデオ圧縮及びコンテンツ表現に関する用途にも関心が持たれる。

画像のブロックを再構成することに関し、請求項８に係る方法と請求項１２に係る装置とを提案する。画像のブロックを再構成する方法は、処理手段を用いて、前記画像の一部を再構成し、前記ブロックの符号化された残余を復号化し、前記再構成された部分内の参照ブロックを参照する符号化されたベクトルを復号化し、前記参照ブロックを用いて、前記再構成された部分内の少なくとも１つの更なる参照ブロックを決定し、前記残余を、前記参照ブロックと前記少なくとも１つの更なる参照ブロックとの組み合わせと結合することによって、前記ブロックを再構成することを有する。

Claims (15)

1. 画像のブロックを符号化する方法であって、当該方法は、処理手段を用いて、
   前記画像の一部を符号化し、再構成するステップと、
   少なくとも前記ブロックを用いて、前記再構成された部分内の１つの参照ブロックを、該参照ブロックが前記少なくとも１つのブロックと似ているように決定し、且つ前記１つの参照ブロックを参照するベクトルを決定するステップと、
   前記１つの参照ブロックを用いて、前記再構成された部分内の少なくとも１つの更なる参照ブロックを、前記１つの参照ブロックが該少なくとも１つの更なる参照ブロックと似ているように決定するステップと、
   決定された前記ベクトルと、前記１つの参照ブロックと前記少なくとも１つの更なる参照ブロックとの組み合わせに対する前記ブロックの残余と、を符号化するステップと
   を行うことを有する、方法。
2. 前記１つの参照ブロックを決定するために、前記ブロックに隣接した再構成された近傍が更に用いられる、請求項１に記載の方法。
3. 前記少なくとも１つの更なる参照ブロックを決定するために、前記１つの参照ブロックに隣接した再構成された近傍が更に用いられる、請求項１又は２に記載の方法。
4. 前記１つの参照ブロックと前記少なくとも１つの更なる参照ブロックとの前記組み合わせは、加重線形結合であり、該加重線形結合のための重みは、制約付き最小二乗問題又は非ローカルな平均問題を解くことによって決定される、請求項１乃至３の何れか一項に記載の方法。
5. 前記加重線形結合のための重みは、前記ブロックに隣接する近傍、前記１つの参照ブロックに隣接する１つの近傍、及び前記少なくとも１つの更なる参照ブロックに隣接する少なくとも１つの更なる近傍から決定される、請求項４に記載の方法。
6. 前記加重線形結合のための重みは、前記ブロック、前記１つの参照ブロック、及び前記少なくとも１つの更なる参照ブロックを用いて決定され、該重みは符号化される、請求項４に記載の方法。
7. 前記制約付き最小二乗問題は、局所線形組み込み又は非負行列因子分解を用いて解かれる、請求項４に記載の方法。
8. 当該方法は更に、前記処理手段を用いて、
   少なくとも前記ブロックを用いて、前記再構成された部分内の少なくとも１つの他の参照ブロックを、該少なくとも１つの他の参照ブロックの各々が前記少なくとも１つのブロックと似ているように決定し、且つ前記少なくとも１つの他の参照ブロックを参照する少なくとも１つの他のベクトルを決定するステップと、
   前記少なくとも１つの他の参照ブロックを用いて、前記画像の前記再構成された部分内の少なくとも１つの更なる他の参照ブロックを、該少なくとも１つの更なる他の参照ブロックの各々が前記少なくとも１つの他の参照ブロックの１つと似ているように決定するステップと、
   前記残余の速度−歪みコスト又は予測誤差より、前記他の参照ブロックの１つと前記少なくとも１つの更なる他の参照ブロックとの更なる加重線形結合に対する前記ブロックの更なる残余の速度−歪みコスト又は予測誤差が、高いことを決定するステップと
   を行うことを有する、請求項４乃至７の何れか一項に記載の方法。
9. 画像のブロックを符号化する装置であって、当該装置は、
   前記画像の一部を符号化し、再構成し、
   少なくとも前記ブロックを用いて、前記再構成された部分内の１つの参照ブロックを、該参照ブロックが前記少なくとも１つのブロックと似ているように決定し、且つ前記１つの参照ブロックを参照するベクトルを決定し、
   前記１つの参照ブロックを用いて、前記再構成された部分内の少なくとも１つの更なる参照ブロックを、前記１つの参照ブロックが該少なくとも１つの更なる参照ブロックと似ているように決定し、
   決定された前記ベクトルと、前記１つの参照ブロックと前記少なくとも１つの更なる参照ブロックとの組み合わせに対する前記ブロックの残余と、を符号化する
   ように構成された処理手段を有する、装置。
10. 画像のブロックを再構成する方法であって、当該方法は、処理手段を用いて、
    前記画像の一部を復号化するステップと、
    前記ブロックの符号化された残余を復号化し、前記再構成された部分内の参照ブロックを参照する符号化されたベクトルを復号化するステップと、
    前記参照ブロックを用いて、前記再構成された部分内の少なくとも１つの更なる参照ブロックを決定するステップと、
    前記残余を、前記参照ブロックと前記少なくとも１つの更なる参照ブロックとの組み合わせと結合することによって、前記ブロックを再構成するステップと
    を行うことを有する、方法。
11. 前記少なくとも１つの更なる参照ブロックを決定するために、前記参照ブロックに隣接した再構成された近傍が更に用いられる、請求項１０に記載の方法。
12. 前記参照ブロックと前記少なくとも１つの更なる参照ブロックとの前記組み合わせは、加重線形結合であり、該加重線形結合のための重みは、制約付き最小二乗問題又は非ローカルな平均問題を解くことによって、前記ブロックに隣接する近傍、前記参照ブロックに隣接する１つの近傍、及び前記少なくとも１つの更なる参照ブロックに隣接する少なくとも１つの更なる近傍から決定される、請求項１０又は１１に記載の方法。
13. 前記制約付き最小二乗問題は、局所線形組み込み又は非負行列因子分解を用いて解かれる、請求項１２に記載の方法。
14. 前記参照ブロックと前記少なくとも１つの更なる参照ブロックとの前記組み合わせは、加重線形結合であり、当該方法は更に、前記加重線形結合に関する符号化された重みを復号化することを有する、請求項１０又は１１に記載の方法。
15. 画像のブロックを再構成する装置であって、当該装置は、
    前記画像の一部を復号化し、
    前記ブロックの符号化された残余を復号化し、前記再構成された部分内の参照ブロックを参照する符号化されたベクトルを復号化し、
    前記参照ブロック、及び／又は前記参照ブロックに隣接した再構成された近傍、を用いて、前記再構成された部分内の少なくとも１つの更なる参照ブロックを決定し、
    前記残余を、前記参照ブロックと前記少なくとも１つの更なる参照ブロックとの組み合わせと結合することによって、前記ブロックを再構成する
    ように構成された処理手段を有する、装置。

Images