JP2015513151A - 入力画像の階層的超解像を実行する方法及び装置 - Google Patents

Abstract

超解像（ＳＲ）は、所与の低解像度（ＬＲ）画像の高周波数の詳細情報を回復するプロセスをいう。既知の単一画像超解像アルゴリズムは、現実のアプリケーションのほとんどでは扱いにくいことが多い。本発明は、セルフコンテント近傍パッチ情報に基づき階層的超解像を実行する方法に関し、ピラミッド型分解に基づく。入力低解像度パッチ近傍の固有の幾何学的特性は、入力低解像度パッチと、前記低解像度画像の異なるダウンスケールされたバージョンから取られたK nearest neighborsとから得られる。【選択図】図１

Description

本発明は、入力画像の階層的超解像を実行する方法と、入力画像の階層的超解像を実行する装置とに関する。本発明は、ブロックベース予測を用いた超解像の実行において画素を平均化する方法と、ブロックベース予測を用いた超解像の実行において画素を平均化する装置とに関する。

超解像（ＳＲ）は、所与の低解像度（ＬＲ）画像の高周波数の詳細情報を回復するプロセスをいう。言い換えると、超解像により一以上の低解像度オブザベーション（observations）を用いてクリアかつ詳細なコンテンツを有する高解像度（ＨＲ）画像ができる。超解像プロセスの一クラスは単一画像超解像（Single Image Super-Resolution）に関するものである。

様々な画像アップサンプリング技術が知られており、それには単一低解像度画像を用いるもの、及び外部情報やデータベースを用いないものが含まれる。幾つかの超解像技術は、低解像度及び高解像度の画像パッチ空間の局所的幾何学的類似性を与える空間的テクスチャパッチのアップサンプリングを用いる。

以下の説明は、この問題が現在のところどのように解決されているか、その概要の説明である。クラシカルな超解像方法は、例えば引用文献１−３に記載されいるものは、未知の高解像度画像を再生するために一組の低解像度画像の融合を試みる。これらのアルゴリズムは、失われた高解像度情報は複数の低解像度オブザベーションにわたって黙示的に分布しており、低解像度画像が十分な数あれば、高解像度画像をうまく回復できると仮定している。それゆえ、再構成される高解像度画像の画質は、低解像度画像中にあるデータ量に大きく依存する。

しかし、実際には、低解像度オブザベーションの数が不十分であり、レジストレーション（すなわち、動き推定）エラーがあり、点広がり関数（ＰＳＦ）が未知であるため、マルチ画像超解像方法の適用はアップスケール比が小さい場合に、一般的な条件では２未満の場合に限定される。

クラシカルなマルチ画像超解像の限界を解消するため、実例ベースの方法が提案されている。引用文献５では、低解像度及び高解像度画像パッチペアを他の自然な画像から収集し、これらのパッチの低解像度及び高解像度の関係を、確率伝搬を用いたマルコフネットワークを介して学習する。この方法は、後に引用文献６において単純化され、マルコフネットワークへの高速な近似解と、収集されたトレーニング用実例のデータベースから最も近い近傍の検索により高解像度パッチの一連の予測とを与える。失われた高解像度詳細情報は、局所的低解像度画像情報と、高解像度画像の回復部分の高解像度パッチ互換性とにより推定（そこにないものを知覚）させる。実例ベーステクスチャ合成の場合（引用文献７−９を参照）に、同様のＮＮベースアプローチが広く利用されており、異なる画像処理アプリケーションにおいて有益でることが示されている（例えば、引用文献１０−１２参照）。

それにもかかわらず、超解像に十分な多数のトレーニング用低解像度及び高解像度パッチのデータベースを構築しなければならず、実際のアプリケーションのほとんどの場合、これは計算量的に手に負えず利用不能である。

本発明は、外部の情報やデータベースを用いることなしに、単一の低解像度画像からの超解像方法を用いることにより、既知の画像アップサンプリング法を改良する。本発明の少なくとも一実施形態は、原理的に、低解像度及び高解像度画像パッチ空間の局所的な幾何学的類似性を与える空間的テクスチャパッチの利用に関する。

本発明の少なくとも一実施形態は、外部情報やデータベースを用いることなく、単一低解像度画像からの、ピラミッド型超解像方法を用いることによる、画像アップサンプリング方法を改良する。一実施形態では、各ブロックの平均を計算し、そのブロックを処理する前に減算し、後で加算する。留意点として、ブロックとパッチとの用語は、本技術分野で通常行われているように、ここでは同義に用いる。

一般的に、本発明は、固有の単一画像超解像に関し、低解像度及び高解像度画像パッチ空間の局所的な幾何学的類似性に関わる。（平均を減算しているか減算していない、下記参照）入力低解像度パッチ近傍の固有の幾何学的特性は、入力低解像度パッチと、その低解像度画像のスケールにわたって（すなわち、異なるスケールから）取られたK nearest neighbors（Ｋ−ＮＮ）とから得られる。

本発明の一実施形態によると、入力画像の階層的超解像を実行する方法は、前記入力画像を複数のパッチに分割するステップと、入力画像の、少なくとも２つの下位分解レベルへの空間的分解を実行するステップであって、少なくとも２つの下位分解レベル画像が得られるステップと、空のアップサンプルされたフレームを生成するステップであって、入力画像の各パッチについて、アップサンプルされたフレーム中の対応するアップサンプルされたパッチが生成されるステップと、を有する。そして、前記入力画像の各現在パッチについて、本方法は、前記下位分解レベル画像において、現在パッチと同じサイズの一以上の類似パッチを検索するステップと、前記検索するステップで見つかった各類似パッチについて、次の上位分解レベル中のペアレントパッチを決定するステップと、決定されたペアレントパッチを加重するステップと、決定され加重されたペアレントパッチを集積するステップであって、アップサンプルされた高解像度パッチが得られるステップと、アップサンプルされたフレームにおいて、現在パッチに対応するアップサンプルされたパッチが、アップサンプルされた高解像度パッチで置換されるステップとを実行する。

一実施形態において、本発明は、請求項１２に開示し以下に説明する対応する装置に関わる。

一実施形態において、ローカル低解像度ジオメトリは、そのＫ−ＮＮから、入力低解像度パッチのlocally linear embedding（ＬＬＥ）（引用文献１３参照）再構成係数でリニアに特徴づけられる。高解像度エンベディングが、入力低解像度パッチの見つかったＫ−ＮＮの対応する（平均を減算するまたはしない、下記参照）高解像度ペアレントから推定される（幻覚を起こす）。現在の高解像度パッチの推定は、入力低解像度パッチの平均値を加算することにより得られる。

一実施形態において、一実施形態では、本発明は、ブロックベース予測を用いることにより超解像を実行するときに画素をアベレージングする、ＬＬＥを用い、画素はオーバーラップしているソースブロックからのものである方法に関する。本方法は、ソースブロックのスパース性係数を決定するステップと、加重係数によりソースブロックからの画素を結合するステップとを有し、各ソースブロックのスパース性係数はその画素の荷重係数として用いられる。

一実施形態において、本発明は、ブロックベース予測を用いることにより超解像を実行するときに画素をアベレージングする、ＬＬＥを用い、画素はオーバーラップしているソースブロックからのものである装置に関する。本装置は、ソースブロックのスパース性係数を決定する第１の処理ユニットと、加重係数によりソースブロックからの画素を結合する第２の処理ユニットとを有し、各ソースブロックのスパース性係数はその画素の荷重係数として用いられる。第１と第２の処理ユニットは単一の処理ユニットとしてインプリメントできる。

本発明のさらに別の目的、特徴、及び効果は、添付した図面を参照しつつ以下の説明と特許請求の範囲とにより明らかになるだろう。

添付した図面を参照して、本発明の実施形態例を説明する。
across-scale neighbor embeddingにより単一画像をアップサンプリングする構成を示す図である。 ブロック中の非ゼロ計数の数と、そのブロックに対して用いられる規格化された加重係数との間の関係を示す図である。 本発明の一実施形態による、入力画像の階層的超解像を実行する方法を示すフローチャートである。 下位分解レベル画像の類似パッチを検索する方法を示す詳細フローチャートである。 アップサンプルされたフレームのアップサンプルされたパッチを置換するステップを示す詳細フローチャートである。 本発明の一実施形態による、超解像の実行において画素を平均化する方法を示すフローチャートである。 入力画像の階層的超解像を実行する装置の構造を示す図である。 超解像の実行において画素を平均化する装置の構造を示す図である。 本発明の一実施形態による方法を示す高レベルフローチャートである。

図１は、across-scale neighbor embeddingによる単一画像超解像を示す図である。以下に説明する。低解像度入力画像I0の超解像を実行するアルゴリズムは下記のように再開され得る。

アルゴリズムの高レベルフローチャートは、図９に示すように、ステップＡ１のL+1レベルピラミッド再構成と、ステップＡ２の低解像度パッチ推定及び高解像度パッチ再構成と、ステップＡ３の低解像度／高解像度パッチ推定の重複とを有する。
最初に、Ｌ＋１レベルのピラミッド構成プロセスＡ１を説明する。これは次のステップを有し、図１を参照して説明する。

入力Ｉ０（低解像度、ピラミッドレベルＩ＝０）画像は、フィルタされ、ローパスフィルタにより所与の割合ｒｄだけダウンサンプルされる。低解像度画像Ｉ−１が得られる前にダウンサンプルされた画像Ｉ−１がフィルタされ、ローパスフィルタにより再びダウンサンプルされる。低周波数画像Ｉ−２が得られる。このプロセスを繰り返すことにより、より多くの空間的分解レベルが得られる。最後に、ダウンサンプルされた画像Ｉ−Ｌ＋２がフィルタされ、ローパスフィルタによりダウンサンプルされる。最後の低周波数画像Ｉ−Ｌ＋１が得られる。空の高解像度画像Ｉ１が生成される。Ｉ１とＩ０のサイズの比率は、Ｉ０対Ｉ−１の逆数であり、すなわちＩ１／Ｉ０＝Ｉ０／Ｉ−１である。または、アップサンプリング計数ｒｕはダウンサンプリング係数ｒｄの逆数である。

最後に、ピラミッドは、（再構成されるべき）高解像度の画像解像度であるレベル１（図１に示した逆さまピラミッドの底面）と、入力低解像度画像であるレベル０と、最低解像度画像であるレベル−Ｌ＋２（図１の逆さまピラミッドのトップ）とにより構成されている。

第２に、ステップＡ２の低解像度パッチ推定と低周波数パッチからの高解像度パッチ再構成を説明する。２つの代替的実施形態を開示する。一方は「輝度ベース（Luminance based）」と呼ばれ、他方は「勾配ベース（Gradient based）」と呼ばれる。

輝度ベースソリューションは、次のように、低解像度パッチ推定、高解像度パッチ再構成、及び高解像度画像再構成を含む。

低解像度パッチ推定は、入力画像Ｉ_０において第１の位置にある第１のパッチＰ_ｎを決定する、ｎはＩ_０中の現在のパスのインデックスであるステップと、低解像度画像Ｉ_０の下位スケールＩ_−１、Ｉ_−２、・・・、Ｉ_−Ｌ＋１からＫ個の最近傍（Ｋ−ＮＮ）を検索するステップと、それぞれの加重係数ｗ_ｎ，ｋで、Ｋ−ＮＮ ＰＮ_ｎ，ｋから、入力低解像度パッチＰ_ｎの再構成係数を、局所的に線形なエンベディング（locally linear embedding）（例えば、引用文献１３のLocally Linear Embedding (LLE)）で線形に特徴づけるステップとを有する。Ｋ−ＮＮは、所与の基準（例えば、ＳＡＤ、ＳＳＥ）による（前の第１のパッチＰ_０と）Ｋ個のベストマッチングパッチＰＮ_ｎ，ｋである。ＳＡＤ（絶対値差分の和）とＳＳＥ（二乗誤差の和）は、問題の技術分野において広く知られている基準である。

高解像度パッチ再構成は、入力低解像度パッチＰＮ_ｎ，ｋの見つかったＫ−ＮＮの対応する高解像度ペアレントＰＰＮ_ｎ，ｋから、それぞれ前の加重係数ｗ_ｎ，ｋで高解像度パッチＰＨ_ｎを構成（合成とも言う）するステップを含む。Ｉ１画像の現在の高解像度ＰＨｎパッチは入力画像Ｉ_０のＰ_ｎパッチと対応するもの（homologous）であり、ピラミッドのＩ_０，Ｉ_−１，・・・、Ｉ_−Ｌ＋２画像からの高解像度ペアレントＰＰＮ_ｎ，ｋは、ピラミッドのＩ_−１，Ｉ_−２，・・・、Ｉ_−Ｌ＋１画像から発するＰＮ_ｎ，ｋパッチと対応するもの（homologous）である。

高解像度画像再構成は、低解像度／高解像度画像のすべてのパッチまたはパッチのカップルに対して、低解像度パッチ推定と、高解像度パッチ再構成とを有する。

勾配ベースソリューション（すなわち、平均を差し引いた輝度（mean subtracted of luminance））は、次のように、低解像度パッチ推定、高解像度パッチ再構成、及び高解像度画像再構成を含む。

低解像度パッチ推定は、入力画像Ｉ_０において第１の位置にある第１のパッチＰ_ｎを決定する、ｎはＩ_０中の現在のパスのインデックスであり、ブロックの平均が差し引かれるステップと、低解像度画像Ｉ_０の下位スケールＩ_−１、Ｉ_−２、・・・、Ｉ_−Ｌ＋１からＫ個の最近傍（Ｋ−ＮＮ）を検索するステップと、それぞれの加重係数ｗ_ｎ，ｋで、Ｋ−ＮＮ ＰＮ_ｎ，ｋから、入力低解像度パッチＰ_ｎの再構成係数を、局所的に線形なエンベディング（locally linear embedding）（例えば、LLE）で線形に特徴づけるステップとを有する。Ｋ−ＮＮは、所与の基準（例えば、ＳＡＤ、ＳＳＥ）によるＫベストマッチングパッチＰＮ_ｎ，ｋ（前の第１のパッチＰ_０を有する）であり、各ブロックＰＮ_ｎ，ｋにおいて、平均（すなわち、それ自体の個別の平均）も差し引かれる。

高解像度パッチ再構成は、入力低解像度パッチＰＮ_ｎ，ｋの見つかったＫ−ＮＮの対応する（平均が、すなわちそれ自体の平均が、差し引かれた）高解像度ペアレントＰＰＮ_ｎ，ｋから、それぞれ前の加重係数ｗ_ｎ，ｋで高解像度パッチＰＨ_ｎを構成（合成とも言う）するステップを含む。Ｉ_１画像の現在の高解像度ＰＨｎパッチは入力画像Ｉ_０のＰ_ｎパッチと対応するもの（homologous）であり、ピラミッドのＩ_０，Ｉ_−１，・・・、Ｉ_−Ｌ＋２画像からの高解像度ペアレントＰＰＮ_ｎ，ｋは、ピラミッドのＩ_−１，Ｉ_−２，・・・、Ｉ_−Ｌ＋１画像から発するＰＮ_ｎ，ｋパッチと対応するもの（homologous）である。最後に、入力低解像度（入力Ｉ_０画像）パッチの平均値は、現在の再構成された高解像度パッチに加算される。

高解像度画像再構成は、低解像度／高解像度画像のすべてのパッチまたはパッチのカップルに対して、低解像度パッチ推定と、高解像度パッチ再構成とを有する。

次のステップＡ３は、Ｌ＋１レベルピラミッド再構成Ａ１と、低解像度パッチ推定及び高解像度パッチ再構成Ａ２の後に、低解像度／高解像度パッチ推定の重ね合わせ、すなわち低周波数パッチからの合成である。一実施形態では、平均アベレージング（mean averaging）と低密度化加重アベレージング（sparsity weighting averaging）とのうち少なくとも一方を含む。

平均アベレージングは、低解像度画像Ｉ_０の各パッチについて、高解像度エンベディング（HR embedding）を計算した後、各高解像度画素について、各現在の画素とオーバーラップしている再構成されたブロックからのすべての画素の貢献をアベレージングするため、パッチ間のオーバーラップを許す。

低密度化加重アベレージングは、推定されたオーバーラップ領域画素が、支配的構成を保存するため、sparsity-based measureにより加重されることを含む。加重アベレージは、オーバーラップされた画素をissueするブロックの低密度化程度により、実現される。低密度化加重係数は、ブロックのＤＣＴ係数の数の関数、またはより複雑には、「Matching Pursuit」（ＭＰ）や「Orthogonal Matching Pursuit」（ＯＭＰ）などの低密度表現の場合に、ブロックを表すアトムの数の関数であり得る。

一実施形態では、追加的最終ステップは、反復的後方投影（図９には図示せず）である。このステップは、既知の反復的後方投影プロセスの適用を含む。これにより、回復された高解像度画像は見たように、同じ参照低解像度画像を生成する。そのアプローチは、（反復ｋにおいて、）再構成されたＨＲｋ画像結果に、元の入力低解像度画像Ｉ０とダウンサンプルされたＨＲｋ−１画像との間のアップサンプル（及びローパスフィルタ）された差分を反復的に加える。この動作は所定の反復最大回数だけ繰り返される。通常、例えば２０回の反復で十分である。一般的に適用可能範囲は１０回ないし３０回の反復であるが、しかし場合よってはもっと少ない反復でも十分である。

様々なパッチサイズを使える。低解像度で特に都合の良いパッチサイズは３×３、５×５、及び７×７画素である（５×５は少なくとも２×２アップスケーリングの場合に最良の結果となる）。高解像度の場合、対応するサイズは６×６、１０×１０、及び１４×１４画素である。また、一画像から次の画像への、２とは異なる他の様々なサブサンプリング係数を用いることができる。本方法を拡張でき、係数を例えば３や４にすることができる。この拡張は、低解像度と高解像度のパッチサイズ、及び低解像度画像をダウンスケールしたものを調整することにより実現できる。さらに、他の一オプションとして、係数４のアップスケーリングをするために、係数２のアップサンプリングを２回適用できる。または、係数６のアップスケーリングをするために、係数３のアップサンプリングを２回適用できる。

低解像度画像の各パッチについて、低解像度近傍のローカルジオメトリを保存する高解像度エンベディングを計算する。ターゲット高解像度画像における平滑性制約を強制するため、パッチ間のオーバーラップが出来る限り許容される。典型的に、パッチは次元ごとに１画素または２画素だけオーバーラップする。

スパース表現に基づく加重尺度（sparse representations based weighting measure）に応じて、オーバーラップ領域の画素を線形結合できる。この方法では、入力低解像度パッチと推定された高解像度パッチとの連結は、低解像度画像とそのスケールリングしたもの（across scales）から取られた低解像度及び高解像度画像パッチよりなるディクショナリにわたり分解できる。

一実施形態では、パッチはその表現のスパース性に応じて加重される。すなわち、最もスパースな表現に最も高い加重が与えられ、以下同様である。一実施形態では、加重は、パッチの（閾値適用後の）非ゼロ係数（例えば、ＤＣＴ係数）の数に依存する。一実施形態では、図２に示したように、Ｗ＝ｅｘｐ（ｆ（非ゼロ係数の数））により、指数関数を用いて計算する。

図２は、ブロック中の非ゼロ係数の数（実際に「非ゼロ」とはゼロに近い最小閾値より大きいことを意味する）と、そのブロックに使われる規格化加重係数との間の関係を示す。図示したように、より多くの非ゼロ係数がブロックにあれば、加重係数は小さい。

パッチのスパース表現（例えば、ＭＰ、ＯＭＰ）を使う場合、ここでは、スパース表現のコンテキストで、アトムと基底関数が空間領域で表現されていることが分かれば、（Ｎアトムよりなるディクショナリの）「アトム」はＤＣＴの「基底関数」と同様である。ここで、加重は非ゼロ係数の数にも依存する。

最後に、グローバル再構成制約（すなわち、回復された高解像度画像が、見るのと同じ低解像度画像を生成しなければならない）を満たすため、一実施形態では、引用文献１、２に記載の反復的後方投影法を当てはめる。次に、最終的高解像度画像推定は、後方投影アルゴリズムＳ９から得られると仮定する。

一実施形態では、アルゴリズム全体は次のステップよりなる：
・ ピラミッド超解像アルゴリズム、例えばＬＬＥベースのもの、
・ プラス、（再構成されオーバーラップされたブロックの）スパース性アベレージング
・ 及び（任意的に）＋後方投影。
有利にも、本発明によるアルゴリズムは、本技術分野で知られたアルゴリズムより優れている。

図３は、本発明の一実施形態による、入力画像の階層的超解像を実行する方法を示すフローチャートである。この実施形態では、入力画像Ｉ_０の階層的超解像を実行する方法１０は次のステップを有する：
入力画像Ｉ_０をパッチＰｎに分割するステップＳ１、
入力画像Ｉ_０の、少なくとも２つの下位分割レベルへの空間的分割を実行するステップＳ２、
ここで、少なくとも２つの下位分割レベル画像Ｉ_−１、Ｉ_−２が得られる、及び
空のアップサンプルされたフレームＩ_１を生成するステップＳ３、
ここで、入力画像の各パッチＰ_ｎについて、アップサンプルされたフレームＩ_１の対応するアップサンプルされたパッチが生成される。次に、入力画像Ｉ_０の各現在パッチＰ_ｎについて、次のステップを実行する。

下位分割レベル画像Ｉ_−１、Ｉ_−２では、現在のパッチと同じサイズの一以上の同様のパッチＰＮ_ｎ，１、ＰＮ_ｎ，２、ＰＮ_ｎ，３を検索する（ステップＳ４）。検索ステップにおいて見つかった同様のパッチＰＮ_ｎ，１、ＰＮ_ｎ，２、ＰＮ_ｎ，３のそれぞれについて、次に高位の分割レベルＩ_０、Ｉ_−１中のペアレントパッチＰＰＮ_ｎ，１、ＰＰＮ_ｎ，２、ＰＰＮ_ｎ，３を決定する（ステップＳ５）。決定されたペアレントパッチＰＰＮ_ｎ，１、ＰＰＮ_ｎ，２、ＰＰＮ_ｎ，３を加重係数ｗ_１、ｗ_２、ｗ_３で加重する（ステップＳ６）。ここで、決定され加重されたペアレントパッチが得られる。決定され加重されたペアレントパッチが集積され（ステップＳ７）、ここでアップサンプルされた高解像度パッチＰＨ_ｎが得られる。最後に、アップサンプルされたフレームＩ_１において、現在パッチＩ_０に対応するアップサンプルされたパッチが、アップサンプルされた高解像度パッチＰＨ_ｎで置換される（ステップＳ８）。

第１の決定ステップＤ１により、（様々な下位レベルにおいて）すべての潜在的に同様なパッチが調べられたか否か判断し、第２の決定ステップＤ２により、入力画像のすべてのパッチが処理されたか判断する。

決定ステップＳ５において、次の高位分解レベルＩ_０、Ｉ_−１に見つかったペアレントパッチＰＰＮ_ｎ，１、ＰＰＮ_ｎ，２、ＰＰＮ_ｎ，３は、それぞれの現在パッチより大きいことに留意されたい。

図４は、下位分解レベル画像の類似パッチを検索する方法を示す詳細フローチャートである。この実施形態では、各現在パッチの平均を計算し（ステップＳ４１）、各類似パッチの平均を計算する（ステップＳ４２）。現在パッチの平均は、現在パッチの各画素値から差し引かれる（ステップＳ４３）。各類似パッチの平均は、それぞれの類似パッチの各画素値から差し引かれる（ステップＳ４４）。これは、下位分解レベル画像Ｉ−１、Ｉ−２から一以上の類似パッチＰＮ_ｎ，１、ＰＮ_ｎ，２、ＰＮ_ｎ，３を検索するステップで実行される。ステップＳ４３はステップＳ４２の前でも後でも実行できることに留意されたい。

図５は、アップサンプルされたフレームのアップサンプルされたパッチを置換するステップの一実施形態を示す詳細フローチャートである。この実施形態では、各現在パッチの平均は現在パッチに対応するアップサンプルされたパッチの各画素値に加算され（ステップＳ８１）、アップサンプルされたフレームＩ１中のアップサンプルされたパッチの実際の挿入（ステップＳ８２）が行われ、それによりアップサンプルされたパッチが高解像度画像中のデフォルトパッチを置換する。

図６は、本発明の一実施形態による、超解像の実行において画素をアベレージングする方法を示すフローチャートである。ブロックベース予測の利用により超解像を実行するにあたり画素のアベレージングをする、ＬＬＥが利用され、画素はオーバーラップしたソースブロックからのものである方法６０は、ソースブロックのスパース性係数を決定するステップ（Ｓ６＿１）と、加重係数に応じてソースブロックからの画素を結合するステップ（Ｓ６＿２）とを有し、各ソースブロックのスパース性係数をその画素の加重係数として用いる。

図７は、入力画像の階層的超解像を実行する装置の構成を示す図である。入力画像Ｉ_０は複数のパッチＰ_ｎに分割されている。装置７０は、空間的分解ユニットＳＤＵ、アップサンプリングユニットＵＰＵ、及び処理ユニットＰＵを有する。さらに別のユニットは、別のユニットでも処理ユニットの一部であってもよいが、検索ユニットＰ＿ＳＵ、ペアレントパッチ決定ユニットＰ＿ＰＤＵ、加重ユニットＰ＿ＷＵ、集積ユニットＰ＿ＡＵ、及びパッチ挿入ユニットＰ＿ＰＩＵ（またはパッチ置換ユニット、上記参照）である。

空間的分解ユニットＳＤＵは、入力画像の、少なくとも２つの下位分解レベルへの空間的分解を実行する。ここで、空間的解像度が異なる少なくとも２つの下位分解レベル画像Ｉ_−１，Ｉ_−２が得られる。

アップサンプリングユニットＵＰＵは、空のアップサンプルされたフレームＩ_１を生成する。ここで、入力画像の各パッチＰｎについて、アップサンプルされたフレームＩ_１中の対応するアップサンプルされたパッチが生成される。

一実施形態では、処理ユニットＰＵは、入力画像Ｉ０の各現在パッチＰｎについて、下位分解レベル画像Ｉ_−１，Ｉ_−２中を、現在パッチと同じサイズの一以上の類似パッチＰＮ_ｎ，１、ＰＮ_ｎ，２、ＰＮ_ｎ，３を検索するステップと、
検索ステップにおいて見つかった同様のパッチＰＮ_ｎ，１、ＰＮ_ｎ，２、ＰＮ_ｎ，３のそれぞれについて、次に高位の分割レベルＩ_０、Ｉ_−１中のペアレントパッチＰＰＮ_ｎ，１、ＰＰＮ_ｎ，２、ＰＰＮ_ｎ，３を決定するステップとを実行し、
ここで、ペアレントパッチは現在パッチより大きく、
決定されたペアレントパッチＰＰＮ_ｎ，１、ＰＰＮ_ｎ，２、ＰＰＮ_ｎ，３を加重するステップと、
ここで、決定され加重されたペアレントパッチが得られ、
加重され決定されたペアレントパッチが集積され、
ここでアップサンプルされた高解像度パッチＰＨ_ｎが得られ、
アップサンプルされたフレームＩ_１において、現在パッチＩ_０に対応するアップサンプルされたパッチが、アップサンプルされた高解像度パッチＰＨｎで置換されるステップとを実行する。

他の実施形態では、次のユニットのうち一以上を用いる。

一実施形態では、下位分割レベル画像Ｉ_−１、Ｉ_−２では、現在のパッチと同じサイズの一以上の同様のパッチＰＮ_ｎ，１、ＰＮ_ｎ，２、ＰＮ_ｎ，３を検索するステップは、検索ユニットＰ＿ＳＵにより行われる。

一実施形態では、検索ステップにおいて見つかった同様のパッチＰＮ_ｎ，１、ＰＮ_ｎ，２、ＰＮ_ｎ，３のそれぞれについて、次に高位の分割レベルＩ_０、Ｉ_−１中のペアレントパッチＰＰＮ_ｎ，１、ＰＰＮ_ｎ，２、ＰＰＮ_ｎ，３を決定するステップは、ペアレントパッチ決定ユニットＰ＿ＰＤＵにより行われる。一般的に、ペアレントパッチは現在パッチより大きいことに留意されたい（図１参照）。

一実施形態では、決定され加重されたペアレントパッチを求めるために、決定されたペアレントパッチＰＰＮ_ｎ，１、ＰＰＮ_ｎ，２、ＰＰＮ_ｎ，３を加重するステップは、加重ユニットＰ＿ＷＵにより行われる。

一実施形態では、アップサンプルされた高解像度パッチＰＨ_ｎを取得するために、決定され加重されたペアレントパッチを集積するステップは、集積ユニットＰ＿ＡＵにより行われる。

一実施形態では、現在パッチＩ_０に対応するアップサンプルされたパッチを、アップサンプルフレームＩ_１中のアップサンプルされた高解像度パッチＰＨ_ｎで置換するステップは、挿入ユニットＰ＿ＰＩＵにより行われる。

図８は、超解像を実行するにあたり画素のアベレージングをする装置の構成を示す。ローカルリニアエンベディング（ＬＬＥ）を用い、画素はオーバーラップしているソースブロックからのものである。本装置８０は、
ソースブロックのスパース性係数を決定する第１の処理ユニット、例えば、スパース性決定処理ユニットＳＦＰＵと、
加重係数に応じてソースブロックからの画素を合成する第２の処理ユニット、例えば、画素剛性処理ユニットＰＣＰＵとを有する。各ソースブロックのスパース性係数はその画素の加重係数として用いられる。

概して、本発明は、ブロックの平均を減算するまたはしない、ピラミッド型分解に基づくセルフコンテント近傍パッチ情報に基づく階層的超解像アルゴリズムと、ＬＬＥ ＳＲ法のクラシカルアベレージングではなく、スパース性係数を用いるブロックベース予測の最適画素アベレージングとのうち少なくとも一方に関する。

本発明の利点は、本発明がアップサンプル画像のレンダリング性能を改善する点にある。アップサンプルされた画像を、より速く少ない計算でレンダリングできる。

本発明の可能性のある有利なアプリケーションは、ビデオ配信とディスプレイ技術、及びビデオ圧縮（例えば、空間的スケーラビリティ）とコンテンツ表現に関するアプリケーションを含む。

開示の方法は、方法を実行する装置であって、複数の別々のユニットを有し、各ユニットがステップの１つを実行する装置で実施することができる。さらに、本方法は、プロセッサで実行するためコンピュータ実施可能である。

本発明の一実施形態では、コンピュータ読み取り可能記憶媒体は、プログラムデータを含む。このプログラムデータは、プロセッサで実行されたとき、プロセッサに、図１と図３を参照して上記した入力画像の階層的超解像を実行する方法を実行させる。

本発明の一実施形態では、コンピュータ読み取り可能記憶媒体は、プログラムデータを含む。このプログラムデータは、プロセッサで実行されたとき、プロセッサに、図６を参照して上記した、ブロックベース予測を用いることにより超解像を実行するときに画素をアベレージングする方法を実行させる。

一実施形態では、本発明は、ピラミッド型分解のステップを有する、セルフコンテント近傍パッチ情報に基づく階層的超解像を実行する方法に関する。一実施形態では、ブロックの平均を差し引く。他の一実施形態では、ブロックの平均を差し引かない。一実施形態では、ピラミッド型超解像アルゴリズムは、加重結合を与えるアルゴリズムを含む。ここで、前記加重結合の加重は、近傍エンベディングアルゴリズムなどの制約下での最小二乗問題を解くことにより決定される。一実施形態では、ピラミッド型超解像アルゴリズムは、ＬＬＥや非負行列因数分解（ＮＭＦ）などの近傍エンベディングアルゴリズムである。

一実施形態では、本発明は、ブロックベース予測の最適画素アベレージングの方法に関し、特に、ＬＬＥ超解像の場合には、（クラシカルアベレージングではなく）スパース性係数を用いる方法に関する。一実施形態では、スパース性係数は加重係数として用いられる。

本発明の一実施形態では、入力画像Ｉ_０の階層的超解像を実行する方法１０は次のステップを有する：
入力画像Ｉ_０をパッチＰ_ｎに分割するステップＳ１、
入力画像の、少なくとも２つの下位分解レベルへの空間的分解を実行するステップであって、少なくとも２つの下位分解レベル画像が得られるステップＳ２、
空のアップサンプルされたフレームＩ_１を生成するステップであって、入力画像の各パッチＰ_ｎについて、アップサンプルされたフレームＩ_１中の対応するアップサンプルされたパッチが生成されるステップＳ３と、
入力画像Ｉ_０の各現在パッチＰ_ｎについて、次のステップを実行する：
下位分割レベル画像Ｉ_−１、Ｉ_−２において、現在のパッチと同じサイズの一以上の同様のパッチＰＮ_ｎ，１、ＰＮ_ｎ，２、ＰＮ_ｎ，３を検索するステップＳ４、
検索ステップにおいて見つかった同様のパッチＰＮ_ｎ，１、ＰＮ_ｎ，２、ＰＮ_ｎ，３のそれぞれについて、次に高位の分割レベルＩ_０、Ｉ_−１中のペアレントパッチＰＰＮ_ｎ，１、ＰＰＮ_ｎ，２、ＰＰＮ_ｎ，３を決定するステップであって、ペアレントパッチは現在パッチより大きいステップＳ５、
個別加重ｗ_１，ｗ_２，ｗ_３を用いて、決定されたペアレントパッチＰＰＮ_ｎ，１、ＰＰＮ_ｎ，２、ＰＰＮ_ｎ，３を加重するステップであって、決定され加重されたペアレントパッチが得られるステップＳ６、
決定され加重されたペアレントパッチを集積するステップであって、アップサンプルされた高解像度パッチＰＨ_ｎが得られるステップＳ７、
アップサンプルされたフレームＩ_１において、現在パッチＩ_０に対応するアップサンプルされたパッチが、アップサンプルされた高解像度パッチＰＨ_ｎで置換されるステップＳ８。

一実施形態では、本方法は、下位分解レベル画像中の類似パッチを検索するステップにおいて、各現在のパッチの平均を計算し（ステップＳ４１）、各類似パッチの平均を計算し（ステップＳ４２）、それぞれのパッチの各画素値から平均を差し引く（ステップＳ４３、Ｓ４４）。さらに、置換するステップにおいて、各現在のパッチの平均を、現在のパッチに対応するアップサンプルされたパッチの各画素値に加算する（ステップＳ８１）。

一実施形態では、本方法は、下位分解レベル画像において、一以上の類似パッチを検索するステップと、そのパッチ中の画素の輝度値に応じて類似性を決定するステップとを有する。

一実施形態では、本方法は、下位分解レベル画像において、一以上の類似パッチを検索するステップと、そのパッチの輝度勾配に応じて類似性を決定するステップとを有する。

一実施形態において、本方法は、パッチのスパース性から前記加重に用いる加重値を決定するステップであって、スパース性はパッチの非ゼロＤＣＴ係数の数に対応するステップを有する。

一実施形態において、本方法は、入力画像のパッチは部分的にオーバーラップしており、それゆえ、アップサンプルされた画像の対応するアップサンプルされたパッチも部分的にオーバーラップしている。

一実施形態において、本方法は、加重するステップと集積するステップにおいて、加重された組み合わせを計算するステップを有し、前記加重された組み合わせの加重値は制約下の最小二乗問題を解くことにより決定される。上記の一例は、周知の最小二乗アルゴリズムである。

一実施形態において、本方法は、ピラミッド型超解像アルゴリズムにおいて、近傍エンベディングアルゴリズムを含む。例としては、ローカルリニアエンベディング（ＬＬＥ）や非負行列因数分解（ＮＭＦ）がある。

一実施形態において、本方法は、反復的後方投影（ＩＢＰ）を実行する追加的な最終ステップを有する。

一実施形態において、本方法は、相対座標により次に高い分解レベルのペアレントパッチを決定するすなわち、下位レベルのパッチの相対座標と上位分解レベルのペアレントパッチの相対座標とは同じである（例えば、高さ１０％と幅４０％など）。これは、原理的には、下位レベルのパッチの相対座標を決定するステップと、上位分解レベルの同じ相対座標を有する位置を決定するステップと、上位分解レベルの決定された位置にペアレントパッチを配置するステップとを有する。

一実施形態では、本発明は、ブロックベース予測を用いることにより超解像を実行するときに画素をアベレージングする、ローカルリニアエンベディングを用い、画素はオーバーラップしているソースブロックからのものである方法６０に関する。本方法は、ソースブロックのスパース性係数を決定するステップＳ６＿１と、加重係数により、ソースブロックからの画素を結合するステップＳ６＿２とを有し、各ソースブロックのスパース性係数はその画素の加重係数として用いられる。

一実施形態では、本発明は、入力画像の階層的超解像を実行する装置に関連する。入力画像Ｉ_０は複数のパッチＰｎに分割される。本装置は、
入力画像の、少なくとも２つの下位分解レベルへの空間的分解を実行する、少なくとも２つの下位分解レベル画像（Ｉ_−１，Ｉ_−２）が得られる空間的分解ユニットＳＤＵと、
空のアップサンプルされたフレームＩ_１を生成する、入力画像の各パッチＰ_ｎについて、アップサンプルされたフレームＩ_１中の対応するアップサンプルされたパッチが生成されるアップサンプリングユニットＵＰＵと、
入力画像Ｉ_０の各現在パッチＰ_ｎについて、次のステップを実行する処理ユニットＰＵとを有する：
下位分割レベル画像Ｉ_−１、Ｉ_−２において、現在のパッチと同じサイズの一以上の同様のパッチＰＮ_ｎ，１、ＰＮ_ｎ，２、ＰＮ_ｎ，３を検索するステップ、
検索ステップにおいて見つかった同様のパッチＰＮ_ｎ，１、ＰＮ_ｎ，２、ＰＮ_ｎ，３のそれぞれについて、次に高位の分割レベルＩ_０、Ｉ_−１中のペアレントパッチＰＰＮ_ｎ，１、ＰＰＮ_ｎ，２、ＰＰＮ_ｎ，３を決定するステップであって、ペアレントパッチは現在パッチより大きいステップ、
決定されたペアレントパッチＰＰＮ_ｎ，１、ＰＰＮ_ｎ，２、ＰＰＮ_ｎ，３を加重する、決定され加重されたペアレントパッチが得られるステップと、
決定され加重されたペアレントパッチを集積するステップであって、アップサンプルされた高解像度パッチＰＨ_ｎが得られるステップ。

アップサンプルされたフレームＩ_１において、現在パッチＩ_０に対応するアップサンプルされたパッチが、アップサンプルされた高解像度パッチＰＨ_ｎで置換または挿入されるステップ。概して、本装置は、入力画像Ｉ_０を複数のパッチＰ_ｎに分割し、まだ分割されていない画像を処理できるようにする画像分割ユニットも含み得る。

上記の通り、本装置は、検索ユニットＰ＿ＳＵ、ペアレントパッチ決定ユニットＰ＿ＰＤＵ、加重ユニットＰ＿ＷＵ、集積ユニットＰ＿ＡＵ及びパッチ挿入ユニットＰ＿ＰＩＵという一以上のユニットを有する。

本送致の一実施形態では、下位分解レベル画像Ｉ_−１，Ｉ_−２において一以上の類似パッチＰＮ_ｎ，１、ＰＮ_ｎ，２、ＰＮ_ｎ，３を検索するユニットにおいて、各現在パッチの平均と各類似パッチの平均とを計算し、それぞれのパッチの各画素値から減算する。また、パッチ挿入またはパッチ置換をするユニットＰ＿ＰＩＵにおいて、各現在パッチの平均を、その現在パッチに対応するアップサンプルされたパッチの各画素値に加算する。

一実施形態において、本送致はさらに追加的反復的後方投影ユニットを有する。

一実施形態において、一実施形態では、本発明は、ブロックベース予測を用いることにより超解像を実行するときに画素をアベレージングする、ローカルリニアエンベディングを用い、画素はオーバーラップしているソースブロックからのものである装置80に関する。本装置は、ソースブロックのスパース性係数を決定する第１の処理ユニットＳＦＰＵと、加重係数によりソースブロックからの画素を結合する第２の処理ユニットＰＣＰＵとを有し、各ソースブロックのスパース性係数はその画素の荷重係数として用いられる。

本発明の基本的かつ新規な特徴を好ましい実施形態に適用して図示し、説明し、指摘したが、言うまでもなく、本発明の精神から離れることなく、当業者は、説明した装置と方法における、開示した装置の形体や詳細事項、及びその動作の様々な省略、代替、変更を行うことができる。同じ結果を達成する実質的に同じ方法で実質的に同じ機能を実行するこれらの要素のすべての組み合わせは、本発明の範囲内にある。説明した一実施形態から他の実施形態への要素の置き換えも、完全に想定の範囲内である。

いうまでもなく、本発明を例示によって説明した。本発明の範囲から逸脱することなく細かい点で修正を加えることは可能である。

明細書、特許請求の範囲、及び図面に開示した各特徴は、独立に設けることもできるし、適切に組み合わせて設けることもできる。必要に応じて、ハードウェア、ソフトウェア、またはこれらの組み合わせで本発明の特徴を実現することができる。接続は場合に応じて無線接続でも有線接続でもよく、必ずしも直接的または専用の接続でなくてもよい。

引用文献
[1] Irani, M., Peleg, S.: Improving resolution by image registration. CVGIP: Graphical Models Image Process. 53 (1991)
[2] M. Irani and S. Peleg, “Motion analysis for image enhancement: resolution, occlusion and transparency,” JVCIP, (1993)
[3] Farsiu, S., Robinson, M., Elad, M., Milanfar, P.: Fast and robust multiframe super resolution. IEEE Trans. Image Process. 13 (2004)
[4] Lin, Z., Shum, H.Y.: Fundamental limits of reconstruction-based super resolution algorithms under local translation. IEEE Trans. Pattern Anal. Mach. (2004)
[5] Freeman, W.T., Pasztor, E.C., Carmichael, O.T.: Learning low-level vision. Int. J. Comp. Vis. 40 (2000)
[6] Freeman, W.T., Jones, T.R., Pasztor, E.C.: Example-based super-resolution. IEEE Comp. Graph. Appl. 22 (2002)
[7] Efros, A.A., Leung, T.K.: Texture synthesis by non-parametric sampling. In: IEEE Int. Conf. Computer Vis. (1999)
[8] Wei, L.Y., Levoy, M.: Fast texture synthesis using tree-structured vector quantization. In: ACM Comp. Graphics Interactive Tech. (2000)
[9] Ashikhmin, M.: Synthesizing natural textures. In: ACM Symp. Interactive 3D Graph. (2001)
[10] Hertzmann, A., Jacobs, C.E., Oliver, N., Curless, B., Salesin, D.H.: Image analogies. In: ACM Comp. Graphics Interactive Tech. (2001)
[11] Criminisi, A., Perez, P., Toyama, K.: Region _lling and object removal by examplar-based image inpainting. IEEE Trans. Image Process. 13 (2004)
[12] Sugimoto, K., Kobayashi, M., Suzuki, Y., Kato, S., Boon, C.S.: Inter frame coding with template matching spatio-temporal prediction. In: IEEE Int. Conf. Image Process. (2004)
[13] S. Roweis and L. Saul, “Nonlinear dimensionality reduction by locally linear embedding”, Science, vol. 290, (2000).

Claims (15)

1. 入力画像の階層的超解像を実行する方法であって、
   前記入力画像を複数のパッチに分割するステップと、
   前記入力画像の、少なくとも２つの下位分解レベルへの空間的分解を実行するステップであって、少なくとも２つの下位分解レベル画像が得られるステップと、
   アップサンプルされた空のフレームを生成するステップであって、前記入力画像の各パッチについて、アップサンプルされたフレーム中の対応するアップサンプルされたパッチが生成されるステップと、
   前記入力画像の各現在パッチについて、
   前記下位分割レベル画像において、前記現在のパッチと同じサイズの一以上の類似パッチを検索するステップと、
   前記検索ステップにおいて見つかった類似パッチのそれぞれについて、次の高位分割レベル中のペアレントパッチを決定するステップであって、ペアレントパッチは現在パッチより大きいステップと、
   前記決定されたペアレントパッチを加重するステップであって、決定され加重されたペアレントパッチが得られるステップと、
   前記決定され加重されたペアレントパッチを集積するステップであって、アップサンプルされた高解像度パッチが得られるステップと、
   前記アップサンプルされたフレームにおいて、前記現在パッチに対応するアップサンプルされたパッチを、前記アップサンプルされた高解像度パッチで置換するステップとを実行する、
   方法。
2. 前記下位分解レベル画像において一以上の類似パッチを検索するステップにおいて、各現在パッチの平均と各類似パッチの平均とを計算し、それぞれのパッチの各画素値から減算し、前記パッチを置換するステップにおいて、各現在パッチの平均を、その現在パッチに対応するアップサンプルされたパッチの各画素値に加算する、
   請求項１に記載の方法。
3. 前記下位分解レベル画像において、一以上の類似パッチを検索し、そのパッチ中の画素の輝度値に応じて類似性を決定する、
   請求項１または２に記載の方法。
4. 前記下位分解レベル画像において、一以上の類似パッチを検索し、そのパッチ中の画素の輝度値により類似性を決定する、
   請求項１または２に記載の方法。
5. 前記加重に用いる加重値はパッチのスパース性から決定され、スパース性は前記パッチの非ゼロＤＣＴ係数の数に対応する、
   請求項１ないし４いずれか一項に記載の方法。
6. 前記入力画像のパッチは部分的にオーバーラップし、対応するアップサンプルされたパッチは部分的にオーバーラップしている、
   請求項１ないし５いずれか一項に記載の方法。
7. 前記加重するステップと集積するステップは、加重された組み合わせを計算するステップを有し、前記加重された組み合わせの加重値は制約下の最小二乗問題を解くことにより決定される、
   請求項１ないし６いずれか一項に記載の方法。
8. 前記ピラミッド型超解像アルゴリズムは近傍エンベディングアルゴリズムである、
   請求項１ないし７いずれか一項に記載の方法。
9. 後方投影を実行する追加的ステップをさらに有する、
   請求項１ないし８いずれか一項に記載の方法。
10. 前記次の上位分解レベルのペアレントパッチはその相対座標により決定される、
    請求項１ないし９いずれか一項に記載の方法。
11. ブロックベース予測を用いることにより超解像を実行するときに画素をアベレージングする、ローカルリニアエンベディングを用い、前記画素はオーバーラップしているソースブロックからのものである方法は、
    前記ソースブロックのスパース性係数を決定するステップと、
    加重係数により前記ソースブロックからの画素を結合する、各ソースブロックのスパース性係数がその画素の加重係数として用いられるステップとを有する、
    方法。
12. 複数のパッチに分割された入力画像の階層的超解像を実行する装置であって、
    前記入力画像の、少なくとも２つの下位分解レベルへの空間的分解を実行する、少なくとも２つの下位分解レベル画像が得られる空間的分解ユニットと、
    アップサンプルされた空のフレームを生成する、入力画像の各パッチについて、アップサンプルされたフレーム中の対応するアップサンプルされたパッチが生成されるアップサンプリングユニットと、
    前記入力画像の各現在パッチについて、
    検索ユニットにおいて、前記下位分割レベル画像において、前記現在のパッチと同じサイズの一以上の類似パッチを検索するステップと、
    前記検索ステップにおいて見つかった類似パッチのそれぞれについて、ペアレントパッチ決定ユニットにおいて、次の高位分割レベル中のペアレントパッチを決定するステップであって、ペアレントパッチは現在パッチより大きいステップと、
    加重ユニットにおいて、前記決定されたペアレントパッチを加重するステップであって、決定され加重されたペアレントパッチが得られるステップと、
    集積ユニットにおいて、前記決定され加重されたペアレントパッチを集積するステップであって、アップサンプルされた高解像度パッチが得られるステップと、
    挿入ユニットにおいて、前記アップサンプルされたフレームにおいて、前記現在パッチに対応するアップサンプルされたパッチを、前記アップサンプルされた高解像度パッチで置換するステップとを実行する、処理ユニットとを有する、
    装置。
13. 前記下位分解レベル画像において一以上の類似パッチを検索する検索ユニットにおいて、各現在パッチの平均と各類似パッチの平均とを計算し、それぞれのパッチの各画素値から減算し、前記挿入ユニットにおいて、各現在パッチの平均を、その現在パッチに対応するアップサンプルされたパッチの各画素値に加算する、
    請求項１２に記載の装置。
14. ブロックベース予測を用いることにより超解像を実行するときに画素をアベレージングする、ローカルリニアエンベディングを用い、前記画素はオーバーラップしているソースブロックからのものである装置であって、
    前記ソースブロックのスパース性係数を決定する第１の処理ユニットと、
    加重係数により前記ソースブロックからの画素を結合する、各ソースブロックのスパース性係数がその画素の加重係数として用いられる、第２の処理ユニットとを有する、
    装置。
15. プロセッサ上で実行されると、請求項１ないし１１いずれか一項に記載の方法を前記プロセッサに実行させるプログラムデータを有するコンピュータ読み取り可能記憶媒体。

Images