JP2013235594A - 低解像度の入力データ構造の超解像度バージョンを生成する方法及び装置 - Google Patents

Abstract

【課題】所望の非整数の画像のアップスケーリングファクタにより１Ｄ，２Ｄ又は３Ｄデジタル入力データ構造の高解像度の表現を生成する。
【解決手段】本発明は、単一の低解像度信号が利用可能である場合、規則的にサンプリングされた多次元信号の解像度のアップサンプリングにおける改善されたロバスト性に関する。これらの方法は、用例に基づく超解像度又は単一画像の超解像度と呼ばれる。単一画像を超解像度にする方法は、３つのステージを含む。入力画像の補間に基づくアップスケーリングが実行され、続いて、輪郭領域における局所的なノイズの除去が行われる。第二のステージは、クロススケールブロックマッチングを通した外挿を含み、同じ輪郭領域における正規化を通してノイズが除去された外挿された高周波帯域が得られる。第三のステージは、高解像度画像の低周波帯域と外挿された高周波帯域の寄与を加えることを含む。
【選択図】図１２

Description

本発明は、低解像度の入力データ構造の超解像度バージョンを生成する方法、及び対応する装置に関する。

超解像度（SR：Super Resolution）処理は、規則的にサンプリングされた多次元信号の解像度の改善として知られる。特別の関心は、低解像度信号のみが利用可能な場合である。単一の低解像度信号が利用可能であるか、又は複数の類似の低解像度信号が利用可能であるかは重要な違いである。これは、後者の場合には、幾つかの利用可能な信号の寄与を結合することで、リッチなデータ値を利用することが可能であるからである。画像処理の文献では、これらの方法は、用例ベースの超解像度又はより詳細には単一画像の超解像度と呼ばれる。以下の説明は一般的且つ異なる次元の信号に適用することができるが、２Ｄ画像の超解像度の場合に焦点が当てられる。

画像超解像度技術は、M.Irani及びS.Pelegによる“Super Resolution from Image Sequences”をはじめとして何年にもわたって知られている。通常、これらの技術は、画像形成モデルを逆転する再構成プロセスを使用して、ビデオ系列における連続する画像のような、雑音が多く、ぼやけた低解像度の観測を考えると、高解像度画像の推定に関連する。従って、画像間のサブピクセルの動き、カメラ及び後処理のぼやけ、並びにサブサンプリングは、利用可能なデータを結合し、超解像度画像を得るために逆転される。幾つかの全体的に最適な繰返し技法が利用可能であり、これらの繰返し技法は、想定される画像の事前確率モデルにおいて基本的に異なる。これは、不良設定問題に対して固有の解を与える。

一般に、これらの技法の制限因子は、画像のぼけ修正及び位置合わせの点拡がり関数（PSF：Point Spread Function）の推定、すなわち画像間のサブピクセルの動きの決定においてである。一般に、文献におけるＳＲ技法は、位置合わせを得る古典的なオプティカルフロー（OF：Optical Flow）の推定技法を示す。これらは、擬似合成の例において良好に機能するが、実際には、ＯＦ推定における既知の解は、より一般的な動きが現れるとき、ビデオ系列における連続するフレームを十分な精度でロバストに位置合わせすることができない。

広範囲の自然条件下で、局所変換の下での再構成に基づくＳＲアルゴリズムは、１.６Ｘ前後の解像度で最大の増加において基本的な制限を有し、利用可能な刊行物の大部分で一般に利用される合成のシナリオでは、５.７Ｘまでの解像度の増加が可能である。これは、サブピクセルのシフトが画素サイズの正確な分数であるとき、位置合わせの観点で好ましい状態のためである。

代替的なタイプのＳＲアルゴリズムは、高解像度の事前の既知の例により入力ビジュアルデータ（低解像度画像）を適切に強化することで画像の解像度を高めることを試みる。これらの技法は、用例ベースの超解像度（EBSR：Example-Based Super-Resolution）と呼ばれる。「用例ベースの超解像度」では、W.T.Freeman，T.R.Jones及びE.C.Pasztorは、十分に包括的なイメージパッチのデータベースから適切な高解像度の例を取得し、その高周波コンテンツは、平均化され、入力画像の低周波コンテンツと都合よく結合される。しかし、（既知のパッチの何れもが入力画像のそれと実際に類似するとき）ターゲットシーンが例示的なデータベースに含まれるケースから逸脱するので、アルゴリズムのパフォーマンスは悪化する。実際に、データベースのサイズを拡大することは、最良に整合するトレーニングパッチのサーチにおいて過度の計算上のコストを被る。従って、この技術は、一般的に使用可能ではなく、所定のクラスの超解像度画像に焦点を当てる。

この問題に対処し、拡大されるコンテンツに適応的に動作するため、他のＥＢＳＲアルゴリズムは、単一の入力画像内から高解像度の例を抽出し、単一の入力画像について、異なる解像度にある画像のピラミッド表現が小さなダウンスケーリングファクタで得ることができる。次いで、入力画像における各パッチ（例えば５×５画素）について、再構成に基づく超解像度と同様にパッチ毎のデータ結合を行うため、異なる解像度（ピラミッドにおけるレベル）で画像の全部又は位置にわたり整合するパッチがサーチされる。この技術は、D.Glasner，S.Bagon及びM.Iraniによる“Super-Resolution from a Single Image”及びO.Shahar，A.Factor及びM.Iraniによる“Space-Time Super-Resolution from a Single Video”により最良に表現されており、映像長解像度についてフォローアップとなる。著者は、幾つかの空間及び時間スケールでビデオフレームにわたる３Ｄ空間−時間サーチによる計算上の複雑さの増加という代償を払って、一時的なエリアシングの除去を含めて、画像解像度及びフレームレートにおける同時の増加を得ている。これは、アプローチを、現在の計算能力によりリアルタイムの処理について使用不可能にする。

また、他の既知のアプローチは、効果であること、一般にリアルタイムのアプローチについて示されていないこと、又は過度のコントラストを課すことで幾つかの非現実的なエッジを生成する傾向、又は一般的なケースにおいて不自然に見える画像を生成するテクスチャ領域において過度のスムージングを生成する傾向に苦しむ。

G.Freedman及びR.Fattalによる“Image and Video Upscaling from Local Self-Examples”では、提案される方法は、それぞれの画像パッチの局所的な近傍における自己相似性を利用することである。これは、低減された計算時間の恩恵を受けて、“Super-Resolution from a Single Image”で使用されるフルイメージサーチに近い結果を提供することが示される。このアプローチの問題は、画像における低周波から高周波を分離するために使用される空間−可変フィルタの高度に洗練された設計は、オンザフライで行われず、結果として制限されたセットの選択可能なアップスケーリングファクタが得られることである。

特にＳＲ画像であるＳＲデータ構造を生成することに関連して生じる特定の問題は、（例えば輪郭のエリアジングのような）空間的なアーチファクトは、低解像度データ構造に既に含まれており、ＳＲ処理は、これら望まれない構造を通常強調することである。

本発明は、上述された問題の少なくとも幾つかを解決する。
本発明は、単一の低解像度信号が利用可能である、規則的にサンプリングされた多次元信号の解像度を改善する方法に関するものである。画像処理の文献では、これらの方法は、用例ベースの超解像度、又はより詳細には、単一画像の超解像度と一般に呼ばれる。本明細書で開示される方法は、一般的なものであって、異なる次元の信号に適用することができ、以下では、２Ｄ画像の超解像度のケースに焦点を当てる。

本発明によれば、超解像度の単一画像は、３つのステージを含む。第一に、入力画像の補間に基づくアップスケーリングが実行され、続いて低解像度（LR）画像への等価な低域通過フィルタリングが行われ、これにより高解像度（HR）画像の低周波（LF）帯域が得られる。第二のステージは、例えばクロススケールブロックマッチングといった、高解像度画像の高周波（HF）帯域を外挿することを含む。後者は、ＨＲ画像において調査されたパッチと（部分的にオーバラップするパッチをも含む）ＬＲ−ＬＦ画像における局所的な近傍におけるパッチとの間のＬＦの整合のサーチ、及びＬＲ画像から得られた対応するＨＦの寄与を蓄積することを含む。さらに、潜在的に雑音が覆いか又は分散された領域を含むノイズ除去マスクが生成され、ノイズ除去マスクにより定義されるように、ＨＲ画像のＨＦ帯域及びＨＲ画像のＬＦ帯域の少なくとも１つの画素に局所的なノイズ除去が適用される。幾つかの実施の形態では、ＬＦ帯域及びＨＦ帯域の少なくとも１つのノイズ除去は、局所的な調整により達成される。第三のステージは、ＨＲ画像の局所的にノイズ除去されたＬＦ帯域とＨＲ画像の局所的にノイズ除去された外挿されたＨＦ帯域との寄与を加算することを含む。局所的なノイズ除去は、中和作用、又は少なくとも入力画像から到来する少なくともエリアシング効果の伝搬を低減する作用を有する。

本発明の１つの態様は、入力画像からのアーチファクトに対するロバスト性である。このロバスト性は、ノイズ除去マスクを生成し、ＨＲ画像のＬＦ帯域とＨＦ帯域の少なくとも１つに対して、ノイズ除去マスクに従って局所的なノイズ除去を適用することで達成され、これにより１実施の形態では、ＨＲ画像の少なくとも外挿されたＨＦ帯域のノイズ除去は、ノイズ除去マスクに従う局所的な調整により達成される。局所的な調整は、ノイズ除去作用を達成する。

ノイズ除去マスクは、超解像度画像のスケールにおいて、他の領域よりもエリアシングが生じる可能性が高い領域を示す。また、ノイズ除去マスクは、本明細書において「インジケータファンクション」又は「潜在的なエリアシングで影響される画素のマスク」とも呼ばれる。様々なアルゴリズムは、ノイズ除去マスクを生成するために使用される。実施の形態では、ノイズ除去マスクは、以下のように生成される。（例えばSobel方法といった）急勾配の検出器は、入力のＬＲ画像に適用され、輪郭の画素の周りの領域は、輪郭検出器から得られるバイナリマスクに（例えば膨張といった）形態論を適用することで拡張される。次いで、拡張された輪郭は、超解像度画像のサイズに整合するためにサイズ変更される。一般に、たとえばエリアシングが生じる可能性が高い領域を検出するために異なるアルゴリズムが使用されるとしても、エリアシングの高い可能性を有するとしてノイズ除去マスクにより示される領域は、本明細書では「輪郭領域」と呼ばれる。ノイズ除去及び／又は正規化は輪郭領域においてのみ適用されるので、これらは、本明細書において「局所的なノイズ除去」及び／又は「局所的な正規化」と呼ばれる。

更に、幾つかの実施の形態では、局所的なノイズ除去を適用することは、ノイズ除去マスクにより示される輪郭領域に全変動（TV：Total Variation）レギュラライザを適用することを含む。ＴＶレギュラライザの正規化は、入力のＬＲ画像におけるＨＦエリアシングの存在から導出されるアーチファクトを除く。最終的に、超解像度画像の輪郭領域において、ＨＦ帯域は、オーバラップする局所的なパッチの寄与の平均として生成される。他の領域において、エネルギー関数を最小にする画素値のセットとして生成される。エネルギー関数は、データコストの項及びＴＶプライアを考慮する。このノイズ除去の技術の利点は、アンチエリアシング効果が達成されること、すなわち超解像度画像が、高いコントラストの輪郭をもつ領域のような、エリアシングが生じる可能性があるゾーンにおけるアーチファクトから解放されることである。

原理上は、本発明に係る単一の低解像度のデジタル入力データ構造Ｓ₀の超解像度バージョンを生成する方法は、ノイズ除去マスクを生成するステップ、アップスケーリングするステップ、単一の低解像度のデジタル入力データ構造Ｓ₀を低域通過フィルタリング及び局所的にノイズ除去し、アップスケールされた高解像度のデータ構造の局所的にノイズ除去された低周波部分Ｌ₁を取得するステップ、低解像度のデジタル入力データ構造Ｓ₀を低周波部分Ｌ₀及び高周波部分Ｈ₀とに分離するステップを含む。はじめに空である（すなわち全ての画素がゼロに設定される）、アップスケールされた高解像度のデータ構造の高周波部分Ｈ_1,initが作成され、次いで、その画素は、外挿により計算される。例えば、幾つかの実施の形態では、アップスケールされたＨＲデータ構造の局所的にノイズ除去されたＬＦ部分Ｌ₁の複数のパッチのそれぞれについて、ＬＲのデジタル入力データ構造のＬＦ部分Ｌ₀における最良の整合するブロックがサーチされ、ＬＲデジタル入力データ構造のＨＦ部分Ｈ₀におけるその対応するブロックが決定される。これらの実施の形態では、ＬＲのデジタル入力データ構造のＨＦ部分Ｈ₀からの決定されたブロックは、アップスケールされたＨＲデータ構造のＬＦ部分Ｌ₁における上述されたパッチが有する位置で、アップスケールされたＨＲデータ構造のＨＦ部分Ｈ_1,accに加えられる。最終的に、アップスケールされたＨＲデータ構造の結果として得られる外挿されたＨＦ部分Ｈ_1,accは、正規化され、局所的にノイズ除去され、１実施の形態では、高域通過フィルタリングされる。アップスケールされたＨＲデータ構造の正規化され、局所的にノイズ除去されて高域通過フィルタリングされたＨ₁は、アップスケールされたＨＲデータ構造の局所的にノイズ除去されたＬＦ部分Ｌ₁に加えられ、これにより単一のＬＲデジタル入力データ構造Ｓ₀の改善されたノイズ除去された超解像度バージョンＳ₁が得られる。

良好な読みやすさのため、用語「ブロック」は、本明細書では、低解像度データ構造における隣接する値のグループについて使用され、用語「パッチ」は、高解像度データ構造における隣接する値のグループについて使用される。しかし、ブロック及びパッチは、同じサイズ（すなわち隣接する値の数及び形状）を有し、実質的に同じである。

また、本発明は、デジタルデータの低解像度の入力データ構造Ｓ₀の超解像度の処理を実行する装置に関し、１実施の形態では、ノイズ除去マスクを生成するノイズ除去マスク生成手段、入力データ構造Ｓ₀をＬＦ入力データ構造Ｌ₀及びＬＦ入力データ構造に相補的なＨＦ入力データ構造Ｈ₀に分割する分割モジュールを備える。分割モジュールは、１実施の形態では、入力データ構造Ｓ₀をフィルタリングして、ＬＦ入力データ構造Ｌ₀を得る低域通過フィルタを有する。本装置は、入力データ構造Ｓ₀とＬＦ入力データ構造Ｌ₀との間の差を計算し、ＨＦ入力データ構造Ｈ₀を生成する減算ユニット（例えば加算器、減算器、比較器又は微分器）を有する。本装置は、入力データ構造Ｓ₀をアップサンプルするアップサンプラ、アップサンプルされた入力データ構造をフィルタリングする第二の低域通過フィルタＦ_l,1、及びノイズ除去マスクに従って、フィルタリングされたアップサンプルされた入力データ構造を局所的にノイズ除去して、局所的にノイズ除去されたＬＦアップサンプルデータ構造Ｌ₁を得る局所的ノイズ除去手段を有する。本装置は、ＨＦ入力データ構造Ｈ₀を外挿し、外挿されたＨＦアップスケールされたデータ構造を正規化することで、正規化されたＨＦアップスケールデータ構造Ｈ_1,nを生成する。１実施の形態では、クロススケールブロックマッチングモジュールは、局所的にノイズ除去されたＬＦアップスケールされたデータ構造Ｌ₁において、第一の位置で第一のパッチを決定する第一の決定ユニット、ＬＦ入力データ構造Ｌ₀において、第一のパッチと最良に整合する第一のブロックをサーチするサーチユニット、ＬＦ入力データ構造Ｌ₀内で前記第一のブロックの位置を決定する第二の決定ユニット、及び決定された位置でＨＦ入力データ構造Ｈ₀における第二のブロックを選択するセレクタ、選択された第二のブロックの画素データを、第一の位置でのＨＦアップスケールされたデータ構造Ｈ_1,accにおけるパッチである第二のパッチに蓄積するアキュムレータ、局所的にノイズ除去されたＬＦアップスケールされたデータ構造Ｌ₁において複数のパッチについて処理の繰返しを制御する制御ユニット、及びＨＦアップスケールされたデータ構造Ｈ_1,accにおける蓄積された画素値を正規化する正規化ユニットを備える。本装置は、輪郭の領域内で正規化された蓄積された（すなわち平均された）画素値を局所的にノイズ除去して、局所的にノイズ除去された正規化されたＨＦアップサンプルされたデータ構造Ｈ₁を得る局所的な正規化手段、ノイズ除去された正規化されたＨＦアップスケールされたデータ構造Ｈ₁を局所的にノイズ除去されたＬＦアップサンプルされたデータ構造Ｌ₁と結合（例えば加算）して、ノイズ除去された超解像度データ構造Ｓ₁を得る結合ユニットを更に備える。

また、本発明は、コンピュータに上述された方法を実行させる実行可能な命令を有するコンピュータ読み取り可能な記録媒体に関する。１実施の形態では、本発明は、デジタルデータの低解像度入力データ構造Ｓ₀の超解像度処理を実行する方法をコンピュータに実行させる実行可能な命令を有するコンピュータ読み取り可能な記録媒体に関し、上記方法は、ノイズ除去マスクを生成する段階、第一の低域通過フィルタにより入力データ構造Ｓ₀をフィルタリングして、ＬＦ入力データ構造Ｌ₀を得る段階、入力データ構造Ｓ₀とＬＦ入力データ構造Ｌ₀との間を計算して、ＨＦ入力データ構造Ｈ₀を生成する段階、入力データ構造Ｓ₀をアップスケールする段階、第二の低域通過フィルタ及び局所的なノイズ除去手段により、アップスケールされた入力データ構造をフィルタリング及び局所的にノイズ除去して、局所的にノイズ除去されたＬＦアップスケールされたデータ構造Ｌ₁を得る段階、ＨＦアップスケールされたデータ構造を外挿及び正規化して、正規化された高周波のアップスケールされたデータ構造Ｈ₁を得る段階、局所的な正規化を使用して、正規化された高周波のアップスケールされたデータ構造を局所的にノイズ除去し、局所的にノイズ除去された正規化されたＨＦアップスケールされたデータ構造Ｈ₁を得る段階、局所的にノイズ除去されたＨＦアップスケールされたデータ構造Ｈ₁を局所的にノイズ除去されたＬＦアップスケールされたデータ構造Ｌ₁と加算して、ノイズ除去された超解像度のデータ構造Ｓ₁を得る段階を含む。

前記実行可能な命令をもつコンピュータ読み取り可能な記録媒体の１実施の形態では、ＨＦアップスケールされたデータ構造を外挿することは、局所的にノイズ除去されたＬＦアップスケールされたデータ構造Ｌ₁において第一の位置で第一のパッチを決定する段階、ＬＦ入力データ構造Ｌ₀において第一のパッチと最良に整合する第一のブロックをサーチする段階、ＬＦ入力データ構造Ｌ₀内で前記第一のブロックの位置を決定する段階、決定された位置でＨＦ入力データ構造Ｈ₀における第二のブロックを選択する段階、選択された第二のブロックの画素データを、第一の位置でのＨＦアップスケールされたデータ構造におけるパッチである第二のパッチに蓄積する段階、ＬＦアップスケールされたデータ構造Ｌ₁において新たなパッチを決定するステップを繰り返す段階、ＬＦ入力データ構造Ｌ₀において、選択されたパッチに最良に整合するブロックをサーチする段階、ＨＦ入力データ構造Ｈ₀における対応するブロックを選択する段階、選択された対応するブロックの画素データを、前記新たなパッチの位置にあるＨＦアップスケールされたデータ構造におけるパッチに蓄積する段階、ＨＦアップスケールされたデータ構造における蓄積された画素値を正規化して、正規化された高周波のアップサンプルされたデータ構造Ｈ₁を得る段階により達成される。

本発明の利点は、（少なくとも１つの実施の形態において）所望の非整数の画像のアップスケーリングファクタにより（例えばデジタル画像といった）１Ｄ，２Ｄ又は３Ｄデジタル入力データ構造の高解像度のレンダリングを生成することができることにある。更に、輪郭領域の少なくとも外側で、これは一般的なやり方で行われ、任意の画像の事前確率モデル（image prior）の導入がなく、一般的な画像ついて当てはまると証明されている、画像は異なる解像度レベルで局所的な自己相似性を示す必要があるという想定を越える。

本発明の別の利点は、採用される自己平均性のため、従来の方法よりも少ない雑音がアップスケールされたデータ構造に導入される。本発明の更なる利点は、従来の単一画像の方法が高周波の例のトレーニングされた検索のためにデータベースを必要とする一方、単一の画像と共に機能するが、データベース、コードブック又は同様のものを必要とせず、トレーニング又はトレーニングデータを必要としないことである。本発明のなお更なる利点は、画像における雑音だけでなく、空間的なエリアシングのようなアーチファクトも低減されることである。

本発明の有利な実施の形態は、従属の請求項、以下の説明及び図面において開示される。

本発明の例示的な実施の形態は、添付図面を参照して記載される。
超解像度処理を行う方法のフローチャートである。 オリジナルの解像度のスケールで同様のパッチの高周波情報の外挿により超解像度画像の高周波帯域を合成する図である。 サーチウィンドウの例示的な使用及び位置を示す図である。 オーバラップを含む２Ｄ入力データ構造における連続するパッチの選択、及び連続するパッチの整合するブロックを決定する原理を示す図である。 オーバラップを含む１Ｄ入力データ構造における連続するパッチの選択、及び連続するパッチの整合するブロックを決定する原理を示す図である。 高解像度画像のアップサンプルされた低周波帯域Ｌ₁の形成、及び低解像度入力画像Ｓ₀の２つの帯域（Ｌ₀，Ｈ₀）の分析を示す図である。 超解像度画像の高周波帯域Ｈ₁を合成するプロセスの概念的なブロック図を示す図である。 超解像度画像Ｓ₁を生成するための、補間された低周波帯域Ｌ₁と外挿された高周波帯域Ｈ₁との融合を示す図である。 装置のブロック図である。 従来のアップスケールされた画像のスペクトルと比較される、本発明に従ってアップスケールされた画像のスペクトルを示す図である。 本発明の３つの原理のなるステージを示す図である。 超解像度処理を行う方法においてエリアシングに対するロバスト性を改善する方法のフローチャートである。 エイリアス入力画像及びその対応するノイズ除去マスクを示す図である。

図１は、本発明の実施の形態における、デジタル１Ｄ、２Ｄ又は３Ｄデータの低解像度の入力データ構造Ｓ₀の超解像度処理を行う方法のフローチャートを示す。この実施の形態では、本方法は、以下の段階を含む。

輪郭を検出する段階Ｆ１．１と拡張及びスケーリングする段階Ｆ１．２を含むノイズ除去マスクを生成する段階。第一の低域通過フィルタＦ_l,0により入力データ構造Ｓ₀をフィルタリングして、ＬＦの入力データ構造Ｌ₀を得る段階（１７０）。加算器／減算器において、入力データ構造Ｓ₀とＬＦの入力データ構造Ｌ₀との間の差を計算して、ＨＦの入力データ構造Ｈ₀を得る段階（１８０）。入力データ構造Ｓ₀をアップスケールし（１２０）、第二の低域通過フィルタＦ_l,1によりアップスケールされた入力データ構造をフィルタリングして、ＬＦのアップスケールされたデータ構造を得る段階（１３０）。ノイズ除去マスクＭにより示される領域においてＬＦのアップスケールされたデータ構造を局所的にノイズ除去し、局所的にノイズ除去されたＬＦのアップスケールされたデータ構造Ｌ₁を得る段階。低周波のアップスケールされたデータ構造Ｌ₁において、第一の位置にある第一のパッチＰ_n,L1を決定する段階。低周波の入力データ構造Ｌ₀において、第一のパッチＰ_n,L1と最良に整合する第一のブロックＢ_n,L0をサーチし（１５１，１５２，１５４）、低周波の入力データ構造Ｌ₀における前記第一のブロックＢ_n,L0の位置を決定する段階。決定された位置にある高周波の入力データ構造Ｈ₀における第二のブロックＢ_n,H0を選択する段階（１５５）。選択された第二のブロックＢ_n,H0のデータ値（例えば画素値）を、（第一のパッチＰ_n,L1について先に決定された）第一の位置にある高周波のアップスケールされたデータ構造Ｈ_1,accにおけるパッチである第二のパッチＰ_n,H1に累積する段階（１５７）。低周波のアップスケールされたデータ構造Ｌ₁において新たなパッチＰ_n,L1を決定する段階、低周波の入力データ構造Ｌ₀において、選択されたＰ_n,L1に最良に整合するブロックＢ_n,L0をサーチする段階（１５１，１５２，１５４）、高周波の入力データ構造Ｈ₀において対応するブロックＢ_n,H0を選択する段階（１５５）、及び選択された対応するブロックＢ_n,H0をの画素データを、前記新たなパッチＰ_n,L1の位置にある高周波のアップスケールされたデータ構造Ｈ_1,accにおけるパッチＰ_n,H1に累積する段階（１５７）、を繰り返す段階（１５０）。高周波のアップスケールされたデータ構造Ｈ_1,accにおいて累積された画素値を正規化して（１９０）、正規化された高周波のアップスケールされたデータ構造Ｈ₁を得る段階。

正規化されたＨＦのアップスケールされたデータ構造Ｈ₁の輪郭領域において局所的な正規化Ｆ３を行い、局所的に正規化された（regularized）、正規化された（normalized）ＨＦのアップスケールされたデータ構造Ｈ_1,ufを得る段階。局所的な正規化は、局所的に正規化されたＨＦの合成により行うことができる。輪郭の領域は、ノイズ除去マスクＭから決定される。局所的に正規化された、正規化されたＨＦのアップスケールされたデータ構造Ｈ_1,ufは、高域通過フィルタＦ_h,1でフィルタリングされ（１９５）、フィルタリングされた局所的に規則化された正規化されたＨＦのアップスケールされたデータ構造Ｈ₁が得られる。最終的に、フィルタリングされた局所的に正規化された正規化されたＨＦのアップスケールされたデータ構造Ｈ₁をＬＦのアップスケールされたデータ構造Ｌ₁に加えることで（１９９）、超解像度データ構造Ｓ₁が得られる。

幾つかの実施の形態では、第二の低域通過フィルタＦ_l,1によるフィルタリング（１３０）の後、アップスケールされた入力データ構造は、ｎ＞ｄとしてダウンスケーリングファクタｄによりダウンスケールされる。従って、低周波のアップスケールされたデータ構造Ｌ₁について、全体で非整数のアップスケーリングファクタｎ／ｄが得られる。ノイズ除去マスクのアップスケーリングのために同じアップスケーリングファクタが使用され、同じ方法が使用される。高周波のアップスケールされたデータ構造Ｈ_1,init（又はＨ₁のそれぞれ）は、低周波のアップスケールされたデータ構造Ｌ₁と同じサイズを有する。Ｈ₁のサイズは、予め定義されているか又はＬ₁から導出される。Ｈ₁は、初期化段階１６０において、このサイズの空のデータ構造Ｈ_1,initに初期化される。

図２は、オリジナルの解像度スケールＨ₀での類似のパッチのＨＦ情報の外挿による、超解像度（すなわち高解像度）画像のＨＦ帯域Ｈ₁の合成の原理の実施の形態を示す。なお、以下の記載では、図２〜図７に関して、高周波の高解像度のデータ構造Ｈ₁が言及される場合、実際にフィルタリングされていない、正規化されていないＨＦの高解像データ構造Ｈ_1,acc（ノイズ除去の前）が意味される。

高解像度画像Ｌ₁の低周波帯域は、はじめに、所定のオーバラップにより小さいパッチＰ_n,L1（例えば５×５画素）に分割される。オーバラップの量の選択は、（より多くのオーバラップの場合に）高周波のアーチファクトに対するロバスト性を犠牲にし、（より少ないオーバラップの場合に）計算速度を犠牲にする。１実施の形態では、それぞれの方向における２０〜３０％のオーバラップが選択される。すなわち例えば５の値をもつ隣接するパッチについて、２の値がオーバラップする。他の実施の形態では、例えば３０〜４０％、４０〜５０％、５０％前後（例えば４５〜５５％）、又は９０％までといった、オーバラップは、より高い。パッチサイズの２０％以下のオーバラップについて、本発明の以下に記載される効果は通常低い。

上述されたように、そして以下に更に記載されるように、最終的な高周波帯域は、それぞれの画素に寄与するパッチ数により正規化した後に得られる。パッチ間のオーバラップが多くなると、高周波の外挿プロセスから生じる高周波のアーチファクトの抑圧は良好になり、より多くの値が累積される。

次いで、それぞれの低周波の高解像度パッチＰ_n,L1について、低解像度画像の低周波帯域Ｌ₀を通しての局所的なサーチ窓（例えば１１×１１画素）における包括的なサーチの後に、平均絶対差（動き予測から知られているＭＡＤ）の観点での最良の整合が得られる。最良のサーチは、低周波の高解像度パッチＰ_n,L1（例えば５×５画素）と同じサイズを有する低周波の高解像度画像Ｌ₀からのブロックＰ_n,L0である。サーチ窓に関する更なる詳細は、図４に関して以下に記載される。

次のステップを理解するため、図２に示されるように、低解像度の低周波のデータ構造Ｌ₀は、低解像度の高周波のデータ構造Ｈ₀と同じ大きさを有し、高解像度の低周波のデータ構造Ｌ₁は、高解像度の高周波のデータ構造Ｈ₁と同じ大きさを有することを述べることは重要である。それぞれのパッチについて、（Ｌ₀における）整合された低周波の解解像度のパッチＰ_n,L0の位置が決定され、整合された低周波の低解像度のパッチＰ_n,L0の位置にある（Ｈ₀における）対応する低解像度の高周波パッチＰ_n,H0が抽出される。Ｈ₀からの抽出された低解像度の高周波のパッチＰ_n,H0は、次いで、高解像度の低周波のデータ構造Ｌ₁における現在のパッチＰ_n,L1が有する同じ位置で、高解像度画像Ｈ₁の高周波帯域で累積される。詳細には、Ｈ₀からの抽出された低解像度の高周波のパッチＰ_n,H0のそれぞれの値（例えば画素）は、高解像度画像Ｈ₁の高周波帯域のそれぞれのパッチにおける対応する値（例えば画素）に関して累積される。このように、高解像度画像Ｈ₁の高周波帯域は、パッチ毎の累積により合成される。オーバラップするパッチにおける高解像度画像Ｌ₁の低周波帯域を分割し、最良の低周波の整合を発見し、対応する高周波の寄与を累積するプロセスは、図３に例示されており、以下に記載される。

結果として、高解像度のデータ構造Ｈ₁の結果として得られる（予備の）高周波帯域におけるそれぞれの値は、複数の寄与しているパッチからの値の合計である。Ｌ₁（及び両者は同じ大きさを有するので、結果的にＨ₁）におけるパッチのオーバラップのため、少なくとも２つのパッチからの値は、Ｈ₁における多くの値又は全ての値に寄与する。従って、高解像度のデータ構造Ｈ₁の結果として得られる（予備の）高周波帯域は、正規化される（１９０）。このため、高周波の高解像度のデータ構造Ｈ₁におけるそれぞれの値についてＨ₀からの寄与している値の数は、合成プロセスの間にカウントされ、Ｈ_1,accにおけるそれぞれ累積された値は、寄与の数により最終的に除算される。

図３は、低解像度の低周波のデータ構造Ｌ₀におけるサーチ窓の使用及び位置合わせを例示する。Ｌ₁における第一のパッチＰ_11,L1について、第一の最良に整合するブロックＰ_11,L0は、第一のサーチ窓Ｗ₁₁内で、Ｌ₀においてサーチされる。両方のパッチは、同じサイズを有する。サーチ窓は、（第一のパッチに関して、エッジを除いて）それぞれの方向において少なくとも１つの値だけパッチよりも大きい。この例では、第一の最良に整合するブロックＰ_11,L0は、第一のサーチ窓Ｗ₁₁の左上コーナにおけるＬ₀で発見される。このパッチ及びブロックの更なるプロセスは、上述されたとおりである。次いで、後続するパッチは、水平方向及び／又は垂直方向にシフトされる。それぞれのパッチは、前のパッチとオーバラップする。

例において、第二のパッチＰ_12,L1は、所与のパッチのアドバンスだけ水平方向にシフトされた位置で選択される。パッチのアドバンスは、パッチサイズとオーバラップとの間の差である。（例えば２Ｄデータ構造について水平方向及び垂直方向といった）異なる大きさにおけるパッチのアドバンスは、異なる場合があり、これは、高解像度の出力データ構造の大きさにおける異なる作用又は品質に繋がる場合があるが、通常は等しい。新たなサーチ窓Ｗ₁₂は、新たなパッチ位置に従って決定される。原理的に、サーチ窓は、パッチと同じ方向で進むが、低速である。従って、現在のサーチ窓は、ここでの場合のように、前のサーチ窓と同じ位置である。しかし、別のパッチＰ_12,L1はサーチ窓でサーチされるので、最良の整合するパッチＰ_12,L0の位置は、通常は異なる場合がある。次いで、最良の整合するパッチＰ_12,L0は、上述されたように、低周波の高解像度のパッチＰ_12,L1の位置で、高解像度の高周波のデータ構造Ｈ₁に累積される。後続するパッチＰ_13,L1，Ｐ_14,L1が決定され、それらの最良の整合は、同様にしてサーチされる。図３に示されるように、サーチ窓における最良の整合するブロックの位置は任意であり、（例えば画像コンテンツといった）入力データに依存する。

先の記載は、１次元（1D）データ構造について十分である。２Ｄデータ構造について、更なる後続するパッチの位置は、垂直方向のパッチのアドバンスにより発見される（これは、水平方向のパッチのアドバンスと組み合わされるか、又は組み合わされない）。また、垂直方向のパッチのアドバンスは、上述されたように、Ｐ_21,L1,．．．,Ｐ_23,L1について図３に示される。

サーチ窓の位置は、現在のパッチの位置に従って決定される。図３に示されるように、異なるパッチのサーチ窓Ｗ₁₁,．．．,Ｗ₂₂はオーバラップする。Ｌ₀はＬ₁よりも小さいデータ構造であるので、それぞれの次元におけるサーチ窓のアドバンスは、非常に小さい。１実施の形態では、それらの対応するパッチがＬ₁のエッジ上にある場合、サーチ窓はＬ₀のエッジ上にあり、サーチ窓は、これらのエッジ間で一様及び／又は比例して移動する。

（図３に示されない）１実施の形態では、サーチ窓の中央は、パッチの中央に実質的に比例する位置に設定される。例えば、パッチの中央が高解像度のデータ構造Ｌ₁の３％である場合、サーチ窓の中央は、低解像度のデータ構造Ｌ₀の約３％（丸められる）となるように設定される。この場合、エッジ近くのパッチについて、サーチ窓のサイズが低減されるか、又はサーチ窓は、低解像度のデータ構造Ｌ₀に完全にシフトされる。

一般に、サーチ窓が大きくなると、非常に類似したパッチを発見する可能性が高くなる。しかし、実際、サーチ窓を大いに増加することで、精度における差が小さくなることが期待される。これは、局所的なパッチ構造は、一般的な自然画像における非常に局所的な領域においてのみ発見される可能性が高いからである。さらに、大きなサーチ窓は、サーチの間により多くの処理を必要とする。

図４は、画像（すなわち２Ｄ入力データ構造）における連続するパッチの選択、オーバラップ及び連続するパッチについて整合するブロックを決定する原理の詳細を示す。例として、パッチ及びブロックは、５×５画素を有し、サーチ窓は、１２×１２画素を有する。Ｌ₁における第一のパッチＰ_1,L1について、サーチ窓Ｗ₁は、上述されたように、Ｌ₀において決定される。サーチ窓Ｗ₁において、異なるブロック位置での第一のパッチの比較が行われ、最小平均絶対差（ＭＡＤ）を有するブロックＢ_1,L0が決定される。これは、最良の整合するブロックである。低解像度の低周波のデータ構造Ｌ₀におけるその位置が決定され、例えばその左上コーナは、第三の列及び第三の行にある。次いで、高周波の低解像度画像Ｈ₀において同じ位置にある対応するパッチが決定される。従って、対応するパッチは、５×５画素のパッチであり、その左上コーナは、第三の列及び第三の行にある。このパッチは、Ｈ₀から抽出され、現在の低周波の高解像度のパッチＰ_1,L1の位置で、すなわちＨ₁の左上コーナで（図４ａを参照）、Ｈ₁に加えられる。

第二のパッチＰ_2,L1は、図４ｂに示されるように、最小されるパッチのアドバンスに従って選択される。パッチのアドバンスは、このケースでは、両方の次元において２画素であり、５×５画素のパッチサイズのため、オーバラップが３であることを意味する。従って、この例では、垂直方向のオーバラップｖ_v及び水平方向のオーバラップｖ_hは等しい。低速のサーチ窓のアドバンスのため、サーチ窓Ｗ₂は、前のパッチについてのサーチ窓と同じである。しかし、（任意の画像コンテンツに従って）異なる画素値のため、サーチ窓における別の最良に整合するブロックＢ_2,L0が発見される。上述されたのと同じやり方で、（例えば７番目の列、２番目の行における左上コーナといった）その位置が決定される。（７番目の列、２番目の行における左上コーナによる）対応する５×５ブロックは、Ｈ₀から抽出され、Ｈ₀から抽出されたブロックは、第二のパッチＰ_2,L1の位置で、すなわち第一の行、第三の列にあるその左上コーナにより、高周波の高解像度画像Ｈ₁に加算される。従って、２以上の異なるパッチに属する特定の画素は、最良の整合するブロックの対応する画素から累積される。すなわち、例として、（図４に示されるＬ₁における位置に対応する）高解像度の高周波画像Ｈ₁の４番目の列、５番目の行における特定の画素は、記載されたプロセスの現在のステージで、（第一のパッチの最良に整合するブロックＢ_1,L0からの）６番目の列、７番目の行から、及び（第二のパッチの最良に整合するブロックＢ_2,L0からの）８番目の列、６番目の行から累積される値を有する。

上述されたように、サーチ窓は、複数のパッチが処理された後にのみ通常前に進む。上述されたコンフィギュレーションについて図４ｃで例示されたように、サーチ窓Ｗ₃が水平方向に１画素だけシフトされる前に３つのパッチのアドバンス（すなわち４番目のパッチ）を要する。さらに、パッチのアドバンス（及び従ってサーチ窓のアドバンス）の様々な次元の起こった順序は、違いがないことに留意されたい。従って、図４ｄに示されるパッチは、前のパッチがＬ₁の右手のエッジにまでシフトされた後に処理されるが、図４ａに示されるように第一のパッチの直後に処理される場合もある。

図５は、１Ｄデータ構造について対応する例を示す。また、この場合において、低周波の高解像度のデータ構造Ｌ₁の位置＃１．．．＃４での（Ｘで示される値をもつ）第一のパッチは、例えば位置＃２．．．＃５での値といった、低周波の低解像度のデータ構造Ｌ₀においてサーチ窓Ｗ₁で発見される。従って、位置＃２．．．＃５での対応するＨ₀の値は、位置＃１．．．＃４でのＨ₁に加算される。第二のステップでは、位置＃３．．．＃６での第二のパッチは、Ｌ₀における第二のサーチ窓Ｗ₂、例えばＬ₀の位置＃３．．．＃６（サーチ窓の位置＃２．．．＃５）で発見される。従って、位置＃３．．．＃６での対応するＨ₀（図示せず）の値は、位置＃２．．．＃５等でＨ₁（図示せず）に加算される。

１Ｄ及び２Ｄデータ構造について上述されたのと同じ原理は、３Ｄデータ構造を含めて、多次元のデータ構造に適用することもできる。

上述されたように、単一の画像を超解像度にする開示された方法は、２つのステージから構成される。本発明の第一のステージとして、図６は、高解像度画像のアップスケールされた低周波帯域Ｌ₁の形成、低解像度の入力画像Ｓ₀の２つの帯域の解析（Ｌ₀，Ｈ₀）について、１実施の形態の原理を示す。本方法のこの第一ステージの目標は、１実施の形態では分数であるアップスケーリングファクタによる、高解像度画像の低周波帯域Ｌ₁、同じ正規化された帯域幅をもつ低解像度画像Ｌ₀、低解像度画像の残差の高周波成分Ｈ₀を得ることである。低解像度の入力画像Ｓ₀の低周波部分Ｌ₀及び高周波成分Ｈ₀への２つの帯域への解析が行われる。低解像度画像の遮断正規化周波数は、高解像度画像のそれと等価である。１実施の形態では、平方点拡がり関数（ＰＳＦ）との大きな畳み込み演算を回避するために、個別のフィルタが使用される。これは、補間高解像度フィルタＦ_l,1及び低域通過低解像度フィルタＦ_l,0の両者は、１次元フィルタとして完全に表現され、望まれる場合、ＰＳＦは、対応する係数ベクトル（Ｆ_l,1 ^2D＝Ｆ_l,1Ｆ_l,1 ^T及びＦ_l,0について相応に）のテンソル積として計算される。

以下では、フィルタの設計の１実施の形態が記載される。

図６に示される２つのフィルタの設計は、有理数のスケーリングファクタｎ／ｄ、及び低解像度のＦＩＲフィルタＦ_l,0の次数Ｎ₀の任意の選択により主に決定される。従来どおり、次数の選択は、畳み込みの利用可能な計算時間により決定される。一般に、８．．．１６の次数における値は、十分に急勾配の遷移帯域を設けるために十分である。次数Ｎについて偶数値を選択することで、Ｎ＋１個のフィルタ係数が得られ、更なる位相シフトが回避され、より正確な高周波帯域が得られる。低域通過フィルタＦ_l,1及びＦ_l,0の両者は、実数であって、線形位相を有し、すなわち有限インパルス応答（ＦＩＲ）フィルタである。対応する遮断周波数での各フィルタの正規化された利得は、−６ｄＢとして定義される。係数は、長さＮ＋１のハミングウィンドウをもつ離散ｓｉｎｃ関数として定義される。フィルタの振幅は、ウィンドウイングの後に低域通過帯域の中心でのスケーリングとして一般に定義される。

「高解像度補間フィルタ」
これらのルールを念頭において、設計すべき第一のフィルタは、高解像度の補間フィルタＦ_l,1である。低解像度フィルタＦ_l,0について所望の次数Ｎ、有理数のアップスケーリングファクタｎ／ｄ、及び前のパラグラフからの設計ルールが与えられると、不足しているパラメータは、（既知のサンプル間で挿入されるｎ個のゼロに対処するため）スケーリングσ₁、高解像度フィルタの次数Ｎ₁及びその遮断正規化周波数Ω₁である。これらのパラメータは、σ₁＝ｎ，Ｎ₁＝Ｎ₀ｎ及びΩ₁＝ｍｉｎ（１/ｎ，１/ｄ）＝１/ｎである。遮断周波数は、既存のサンプル間のゼロの挿入により生じるスペクトルレプリカを除去する要件に従う。

「低解像度の等価な低域通過フィルタ」
この場合、既存のサンプル間にゼロが導入されず、このフィルタの振幅はσ₀＝１である。フィルタの次数は、任意に定義され、遮断周波数は、Ω₀＝ｄ/ｎに設定される。この値は、高解像度画像に適用される補間フィルタ後の間引きを補償する。

このフィルタ設計により、低解像度の入力画像の解析された低周波成分は、正規化された帯域幅の観点で、所望の高解像度画像の低周波成分に整合する。逆に、低解像度画像の解析された高周波成分は、高解像度画像の欠けている高周波帯域を推定するために使用される。

本発明の第二のステージの目的は、入力画像における局所的な自己相似性を利用することで、高解像度画像の高周波帯域を合成することである。これは、小さなパッチ毎に行われ、本方法は、一般に、類似の低周波成分をもつ画像のパッチについて良好な選択性を提供する、低解像度画像の解析された低周波成分についてより広い周波数帯域（増加された情報）の可用性のため、より小さな拡大係数を使用することから利益を得る。これは、図７に例示される。本方法の更なる詳細は、以下の図７で説明される。図７は、低解像度画像Ｈ₀の高周波帯域を外挿することで原理的に行われる、超解像度画像（Ｈ₁、はじめに０に設定される）の高周波帯域を合成するプロセスの概念図７００を例示する。信号Ｗ₁(t)及びＷ₀(t)は、処理されている現在の画像のパッチに従って時間的に変化する位置をもつ空間窓であり、パッチのアドバンス及びサーチ窓のアドバンスをそれぞれ記号で表す。すなわち、例えば、高解像度画像Ｌ₁の低周波帯域が分割された小さなパッチ（例えば５×５）のアドバンス及びオーバラップは、低周波の高解像度データ構造Ｌ₁内の第一の速度で進み、高解像度のデータ構造Ｈ₁の高周波帯域内で同じ速度で進む窓Ｗ₁(t)として理解される。低解像度画像Ｌ₀の低周波帯域を通したサーチ窓のアドバンスは、低解像度画像Ｈ₀の高周波帯域に同じやり方で適用される時間変化する窓Ｗ₀(t)によりモデル化される。サーチユニット７１０は、サーチ窓における最良の整合するブロック（すなわち最小のＳＡＤを有するブロック）について包括的なサーチを行う。その位置は、上述されたように、低解像度画像Ｈ₀の高周波帯域に適用される。サーチは所定の持続期間を通常有するので、この遅延は、遅延補償ユニット７２０，７３０により補償される。低解像度の高周波データ構造Ｈ₀における対応するパッチは、抽出ユニット７４０で抽出され、累積ユニット７５０において高解像度の高周波データ構造Ｈ₁に累積される。類似の実施の形態は、１Ｄ又は３Ｄのような２Ｄとは異なる次元をもつデータ構造について導出することができる。

第三のステージは、最終的な高解像度画像の形成である。このステージの目標は、高解像度画像Ｌ₁の低周波帯域と高解像度画像Ｈ₁の正規化された高周波帯域とを適切に結合させることである。正規化された高周波の高解像度の帯域Ｈ₁は、低周波の高解像度の帯域Ｌ₁との加算の前に高域通過フィルタリングが施される。高域通過フィルタリングは、スペクトルの互換性を保証するために有効であるが、Ｌ₁及びＨ₁がオーバラップする周波数が実質的に有さないとき（図８参照）、省略することができる。

図８は、超解像度画像Ｓ₁を生成するため、低周波の高解像度帯域Ｌ₁と正規化された高周波の高解像度の帯域Ｈ₁との結合を例示する。正規化された高周波の帯域Ｈ₁は、低周波帯域とのスペクトルの互換性を保証するため、高域通過フィルタ８００を使用してフィルタリングされる。

「高解像度の高域通過フィルタ」
フィルタＦ_h,1は、第一のステージにおけるフィルタＦ_l,0，Ｆ_l,1と同じやり方で設計される。この場合、目標は、遮断周波数Ω_1,h＝ｄ／ｍａｘ（ｎ，ｄ）＝ｄ／ｎをもつ高域通過フィルタを得ることである。その次数は、低解像度のフィルタの次数Ｎ_1,h＝ｒｏｕｎｄ（Ｎ₀ｎ／ｄ）及びその振幅σ_1,h＝１のスケーリングされたバージョンに設定される。個別の高域通過フィルタの最終的な係数は、同じ遮断周波数をもつ相補的な低域通過フィルタの係数をハミング窓の中央から引いて揃えられるクロネッカーデルタに設定される。すなわち、高域通過フィルタは、全域通過フィルタ（係数のセットはクロネッカーデルタに等しい）から、所望の高域通過フィルタと同じ遮断周波数を持つ低域通過フィルタを引いたものとして定義される。これは、図８ｂにグラフで示されており、この場合、左手側は、高域通過フィルタの所望の周波数応答ＨＰであり、右手側は、全域通過フィルタＡＰ及び上述された低域通過フィルタＬＰの応答の差である。

先の記載から明らかであるように、高解像度画像Ｌ₁の低周波帯域は、補間により原理的に得られ、高解像度画像Ｈ₁の高周波帯域は、外挿により原理的に得られる。

図９は、デジタルデータの低解像度の入力データ構造Ｓ₀の超解像度処理を行う装置を示す。この装置は、以下を備える。ノイズ除去マスクＭを生成するノイズ除去マスク生成器Ｆ１ｂ。入力データ構造Ｓ₀を低周波の入力データ構造Ｌ₀及び高周波の入力データ構造Ｈ₀に分割する第一の低域通過フィルタ９７０を有する分割モジュール９７５。入力データ構造Ｓ₀をアップスケールするアップスケーラ９２０。アップスケールされた入力データ構造をフィルタリングする第二の低域通過フィルタ９３０。ノイズ除去マスクＭに従ってアップスケールされた入力データ構造を局所的にノイズ除去して、局所的にノイズが除去された低周波のアップスケールされたデータ構造Ｌ₁を得る局所的ノイズ除去器Ｆ２ｂ。局所的にノイズ除去された低周波のアップスケールされたデータ構造Ｌ₁と低周波の入力データ構造Ｌ₀との間の対応を使用して、高周波の入力データ構造Ｈ₀を外挿し、外挿された高周波のアップスケールされたデータ構造を正規化することで、正規化された高周波のアップスケールされたデータ構造Ｈ_1,nを生成するクロススケールブロックマッチングモジュール９５。輪郭領域における正規化された累積された（すなわち平均された）画素値を局所的にノイズ除去して、局所的にノイズが除去された正規化された高周波のアップスケールされたデータ構造Ｈ_1,ufを得るローカル正規化手段Ｆ３ｂ。局所的にノイズ除去された正規化された高周波のアップスケールされたデータ構造Ｈ_1,ufをフィルタリングする高域通過フィルタ９９５。高域通過フィルタリングされた局所的にノイズ除去された正規化された高周波のアップスケールされたデータ構造Ｈ₁を、局所的にノイズ除去された低周波のアップスケールされたデータ構造Ｌ₁に結合（例えば画素毎に加算）して、ノイズ除去された超解像度データ構造Ｓ₁を得る結合ユニット９９９。適切なサイズをもつ様々なメモリＭｅｍＬ₀，ＭｅｍＬ₁，ＭｅｍＨ₀，ＭｅｍＨ₁は、中間的な記憶のために使用することができるが、１以上の物理的なメモリとして実現される場合がある。

１実施の形態では、分割モジュールは、以下を有する。入力データ構造Ｓ₀をフィルタリングして、低周波の入力データ構造Ｌ₀を得る低域通過フィルタ９７０。入力データ構造Ｓ₀と低周波の入力データ構造Ｌ₀との間の差を計算し、高周波の入力データ構造Ｈ₀を生成する加算器、減算器又は微分器９８０。

１実施の形態では、クロススケールブロックマッチングモジュール９５は、以下を有する。局所的にノイズ除去された低周波のアップスケールされたデータ構造Ｌ₁において、第一の位置での第一のパッチを決定する第一の決定ユニット９５１。低周波の入力データ構造Ｌ₀において、第一のパッチに最良に整合する第一のブロックをサーチするサーチユニット９５２。低周波の入力データ構造Ｌ₀における前記第一のブロックの位置を決定する第二の決定ユニット９５４。決定された位置での高周波の入力データ構造Ｈ₀において第二のブロックを選択する選択ユニット９５５。選択された第二のブロックの画素データを、第一の位置で高周波のアップスケールされたデータ構造Ｈ_1,accにおけるパッチである第二のパッチに累積する累積ユニット９５７。局所的にノイズ除去された低周波のアップスケールされたデータ構造Ｌ₁において複数のパッチについて処理の繰返しを制御する制御ユニット９５０。ＨＦのアップスケールされたデータ構造Ｈ_1,accにおける累積された画素値を正規化する正規化ユニット９９０。

ノイズ除去マスク生成器Ｆ１ｂ（領域選択ブロックとして考えられる）は、高いコントラスト（すなわち輪郭領域）を持つ画素を発見し、局所的な近傍における全ての画素を輪郭領域の部分として選択する。１実施の形態では、ノイズ除去マスク生成器Ｆ１ｂは、ハイコントラスト輪郭検出モジュールＦ１．１ｂ並びに、拡張及びスケーリングモジュールＦ１．２ｂを有する。ハイコントラスト輪郭検出モジュールＦ１．１ｂは、（例えば２つのSobel一次微分係数推定器により）画像の微分係数に対する高い一次近似を検出することで、高いコントラストを測定し、１画素幅の輪郭を提供する。拡張及びスケーリングモジュールＦ１．２ｂは、（例えば輪郭画素の両サイドに向かって３画素といった）それぞれの輪郭について予め定義された幅を設定するため、輪郭に形態学的膨張を適用する。

そのうちの幾つかは図１及び図９に示されている更なる実施の形態は、以下に記載される。

１実施の形態では、本方法は、低周波の入力データ構造Ｌ₀において、第一のサーチ窓Ｗ₁を決定する段階（１５１，１５２）を更に含む。第一のサーチ窓Ｗ₁は、高周波のアップスケールされたデータ構造Ｌ₁において前記第一の位置に対応する位置にあるブロックの周囲の領域をカバーする。低周波の入力データ構造Ｌ₀におけるサーチ１５２，１５４は、第一のサーチ窓Ｗ₁においてのみ行われる。低周波の入力データ構造Ｌ₀におけるサーチ窓Ｗ₁を決定する段階（１５１，１５２）は、低周波のアップスケールされたデータ構造Ｌ₁においてそれぞれ新たなパッチについて繰り返される。

１実施の形態では、サーチ窓によりカバーされる領域は、高周波のアップサンプルされたデータ構造Ｌ₁において前記第一の位置に対応する位置にあるブロックの周りの、低周波のアップスケールされたデータ構造Ｌ₀のそれぞれの方向において複数の値を備える。

１実施の形態では、低周波のアップスケールされたデータ構造Ｌ₁におけるそれぞれの新たなパッチＰ_n,L1は、少なくとも１つの前に処理されたパッチとオーバラップする。

１実施の形態では、低周波のアップスケールされたデータ構造Ｌ１は、アップスケーリングファクタｎにより入力データ構造Ｓ₀をアップスケーリング（１２０）し、前記第二の低域通過フィルタＦ_l,1によりアップスケールされた入力データ構造をフィルタリング（１３０）し、ｎ＞ｄとして、ダウンサンプリングファクタｄによりダウンスケーリングユニット９４０でフィルタリングされたアップスケールされた入力データ構造をダウンスケール（１４０）することで得られる。従って、最終的な非整数のアップサンプリングファクタｎ／ｄが得られる。

１実施の形態では、第一の低域通過フィルタＦ_l,0及び第二の低域通過フィルタＦ_l,1は、（正規化された遮断周波数に関して）同等のフィルタである。

１実施の形態では、第一の低域通過フィルタＦ_l,0は、次数Ｎ₀、振幅σ₀＝１、及び正規化された遮断周波数Ω₀＝ｄ/ｎの特性を有し、第二の低域通過フィルタＦ_l,1は、次数Ｎ₁＝ｎＮ₀、振幅σ₁＝ｎ、及び正規化された遮断周波数Ω₁＝１/ｎの特性を有する。

１実施の形態では、本方法は、高周波のアップサンプルされたデータ構造Ｈ_1,accを高域通過フィルタＦ_h,1でフィルタリングするステップを更に有する。高域通過フィルタＦ_h,1は、正規化された遮断周波数Ω_1,h＝ｄ/ｍａｘ{ｄ，ｎ}＝ｄ/ｎ、次数Ｎ_1,h＝ｒｏｕｎｄ(Ｎ₀*ｎ/ｄ)及び振幅σ_1,h＝１を有する。

１実施の形態では、本方法は、以下の段階を更に含む。低周波のアップスケールされたデータ構造Ｌ₁における新たなパッチＰ_n,L1を決定する段階。低周波の入力データ構造Ｌ₀において、選択されたパッチＰ_n,L1に最良に整合するブロックＢ_n,L0をサーチする段階（１５２，１５４）。高周波の入力データ構造Ｈ₀において対応するブロックＢ_n,H0を選択する段階（１５５）。前記新たなパッチＰ_n,L1の位置にある高周波のアップスケールされたデータ構造Ｈ_1,accにおけるパッチＰ_n,H1に、選択された対応するブロックＢ_n,H0の画素データを累積する段階（１５７）。これらの段階は、完全な低周波のアップスケールされたデータ構造Ｌ₁がカバーされるまで、全てのパッチについて繰り返される。

１実施の形態では、本方法は、高周波のアップスケールされたデータ構造Ｈ_1,accにおける画素当たりの寄与の数、高周波のアップサンプルされたデータ構造Ｈ_1,accの画素に寄与する高周波の入力データ構造Ｈ₀からのブロックの数をカウントする段階。正規化する段階１９０は、寄与の数によりＨ_1,accにおける画素当たりの累積された値を割る段階を含む。

１実施の形態では、入力データ構造は、２Ｄデジタル画像である。別の実施の形態では、入力データ構造は、３Ｄデジタル画像である。デジタル画像は、デジタルビデオ系列の一部である。

１実施の形態では、入力データ構造は、デジタル２Ｄデータを含み、それぞれブロック及びそれぞれのパッチは、少なくとも５×５の値を含み、サーチ窓は、少なくとも９×９の値をカバーし、それぞれのパッチは、少なくとも２つの値により少なくとも１つの前に処理されたパッチをオーバラップする。

１実施の形態では、本装置は、ＬＦの入力データ構造Ｌ₀、ＬＦのアップサンプルされたデータ構造Ｌ₁、ＨＦの入力データ構造Ｈ₀及びＨＦのアップサンプルされたデータ構造Ｈ₁の少なくとも１つの中間的な記憶のための少なくとも１つのメモリＭｅｍＬ₀、ＭｅｍＬ₁、ＭｅｍＨ₀、ＭｅｍＨ₁を更に有する。

１実施の形態では、本装置は、サーチユニット９５２において更に以下を備える。低周波の入力データ構造Ｌ₀においてサーチ窓Ｗ₁を決定するサーチ窓決定ユニット。サーチ窓Ｗ₁は、高周波のアップスケールされたデータ構造Ｌ₁における前記第一の位置に対応する位置にあるブロックの周りの領域をカバーする。サーチユニット９５２は、第一のサーチ窓Ｗ₁においてのみ低周波の入力データ構造Ｌ₀においてサーチする。

１実施の形態において、本装置は、以下を備える。高周波のアップサンプルされたデータ構造Ｈ_1,accにおける画素当たりの寄与の数をカウントするカウンタ９５３。正規化ユニット９９０は、寄与の数により画素毎に累積された数を割る処理を行う。

図１０は、ａ）及びｂ）において、画像及びそのオリジナルのスペクトルを示す。さらに、図１０ｃは、本発明に従ってアップスケールされた後の画像のスペクトルを示し、図１０ｄは、既知のバイキュービック補間を使用して従来のとおりにアップスケールされた後の画像のスペクトルを示す。認識することができるように、従来通りにアップスケールされた画像のクリップされたスペクトルは改善され、この例では、斜め線に沿って更なる値で目に見ることができる。言い換えれば、本発明に従ってアップスケールされたデータ構造のスペクトルは、従来の方法を使用してアップスケールされたデータ構造のスペクトルよりもオリジナルのスペクトルに近づくことが本発明の利点である。周波数スペクトルは、開示された方法が、アップスケールされた画像の不足している高周波を、どのようにもっともらしく推定することができるかを明らかに示し（周波数スペクトルは、アップスケールされた画像においてシャープな輪郭において観察することができ）、バイキュービック補間は、大量のエリアシングアーチファクトを導入する。

開示される方法は、高い解像度のバージョンが推定されることとなる多数の公的に利用可能な低解像度の入力画像に関して実現され、テストされる。１実施の形態では、入力画像の輝度チャネルにのみ適用され、カラーアップスケーリングをバイキュービック補間のような高速アルゴリズムのままにする。図１０の例では、超解像度画像は、入力画像の３倍の１．５Ｘ（ｎ＝３，ｄ＝２）の小さなアップスケーリングファクタを繰返し適用することで得られる。

図１１は、超解像度の単一画像におけるロバスト性を改善する開示された方法の１実施の形態に含まれる３つの原理的なステージを示す。第一のステージ１１１０では、入力画像の補間に基づくアップスケーリングが行われ、低解像度画像に関する等価な低域通過フィルタリング及び低解像度画像に関する第一のノイズ除去処理が続く。第二のステージ１１２０では、部分的にオーバラップするパッチを含めて、高解像度画像における検査されたパッチと低解像度の低周波画像における局所的な近傍におけるパッチとの間の低周波の整合のサーチ、及び、低解像度画像から得られた高周波の寄与を累積することを含む。第三のステージ１１３０は、正規化及び高域通過フィルタリング、第二のノイズ除去処理の実行、高解像度画像の低周波帯域、及び外挿された、高域通過フィルタリングされた正規化された高周波帯域の寄与の加算を含む。

図１３は、エイリアス入力画像（左手側）及びその対応するノイズ除去マスク（右手側）を例示する。明らかに、雑音の多い領域は、画像におけるエッジ又は輪郭近くで主に決定される。

図１２は、デジタル１Ｄ，２Ｄ又は３Ｄデータの低解像度の入力データ構造Ｓ₀の超解像度処理を行う方法において、エリアシングに対するロバスト性を改善する方法のフローチャートを示す。この実施の形態では、本方法１２００は、以下の段階を含む。輪郭検出段階１２６０並びに拡張及びスケーリング段階１２７０を含むノイズ除去マスクＭを領域セレクタで生成する段階１２０５。入力データ構造Ｓ₀を、低周波の入力データ構造Ｌ₀と、低周波の入力データ構造Ｌ₀に相補的な高周波の入力データ構造Ｈ₀とに分離又は分割する段階１２７０。入力データ構造Ｓ₀から、雑音の多い低周波のアップスケールされたデータ構造Ｌ_l,nを補間する段階１２１０。ノイズ除去Ｍにより輪郭領域として示される領域において雑音の多い低周波のアップサンプルされたデータ構造Ｌ_l,nを局所的にノイズ除去して、局所的にノイズ除去された低周波のアップサンプルされたデータ構造Ｌ₁を得る段階１２２０。上述された正規化を含めて、局所的にノイズ除去されたＬＦのアップスケールされたデータ構造Ｌ₁にクロススケールブロックマッチング１２４０を実行して、正規化された高周波のアップスケールされたデータ構造Ｈ_l,nを得る段階。局所的に規則化されたＨＦの合成段階１２５０において、正規化された高周波のアップスケールされたデータ構造Ｈ_l,nを局所的にノイズ除去する段階。局所的なノイズ除去は、ノイズ除去マスクＭにより輪郭領域として示される領域（すなわち、雑音が多い低周波のアップスケールされたデータ構造Ｌ_l,nを局所的にノイズ除去するために使用されたのと同じ領域）で実行され、局所的にノイズ除去された正規化された高周波のアップスケールされたデータ構造Ｈ_1,ufが得られる。（上述されたように）高域通過フィルタＦ_h,1において局所的にノイズ除去された正規化された高周波のアップスケールされたデータ構造Ｈ_l,ufをフィルタリングして、高域通過フィルタリングされた局所的にノイズ除去された正規化された高周波のアップスケールされたデータ構造Ｈ₁を得る段階１２８０。局所的に除去された正規化された高周波のアップスケールされたデータ構造Ｈ₁を、局所的にノイズ除去された低周波のアップスケールされたデータ構造Ｌ₁に加算して１２９０、超解像度のデータ構造Ｓ₁を得る段階。様々な実施の形態では、本方法のステップ又はエレメントの一部又は全部は、図１〜図１１に関して先に記載された。

本発明の類似の実施の形態では、デジタル１Ｄ、２Ｄ又は３Ｄデータの低解像度の入力データ構造Ｓ₀の超解像度処理を行うアプリケーションにおいてエリアシングに対するロバスト性を改善する装置は、以下を備える。輪郭検出ユニット並びに拡張及びスケーリングユニットを有するノイズ除去マスクの生成ユニット。入力データ構造Ｓ₀をＬＦの入力データ構造Ｌ₀とＬＦの入力データ構造Ｌ₀に相補的なＨＦの入力データ構造Ｈ₀とを分離又は分割する分離又は分割ユニット。（潜在的に雑音が多い）低周波のアップスケールされたデータ構造Ｌ_l,nを入力データ構造Ｓ₀から補間する補間ユニット。ノイズ除去マスクにより輪郭領域として示された領域において雑音の多い低周波のアップスケールされたデータ構造Ｌ_l,nを局所的にノイズ除去して、局所的にノイズ除去されたＬＦのアップスケールされたデータ構造Ｌ₁を得る局所的なノイズ除去ユニット。上述された正規化のための正規化ユニットを含み、局所的にノイズ除去されたＬＦのアップスケールされたデータ構造Ｌ₁にクロススケールブロックマッチングを行い、正規化されたＨＦのアップスケールされたデータ構造Ｈ_l,nを得るクロススケールブロックマッチングユニット。局所的に正規化されたＨＦの合成において、正規化された高周波のアップスケールされたデータ構造Ｈ_l,nを局所的にノイズ除去する局所的に正規化されたＨＦ合成ユニット。局所的なノイズ除去は、ノイズ除去マスクにより輪郭領域として示された領域において行われ、局所的にノイズ除去された正規化されたＨＦのアップスケールされたデータ構造Ｈ_l,ufが得られる。局所的にノイズ除去された正規化されたＨＦのアップサンプルされたデータ構造Ｈ^l,ufをフィルタリングして、高域通過フィルタリングされた局所的にノイズ除去された正規化されたＨＦのアップスケールされたデータ構造Ｈ₁を得る（上述された）高域通過フィルタＦ_h,1。局所的にノイズ除去された正規化されたＨＦのアップスケールされたデータ構造Ｈ₁を局所的にノイズ除去されたＬＦのアップスケールされたデータ構造Ｌ₁に（１Ｄ，２Ｄ又は３Ｄで）加算して、超解像度のデータ構造Ｓ₁を得る加算ユニット。様々な実施の形態では、本方法のステップ又はエレメントの一部又は全部が上述された。

図１２に示されるように、ハイコントラスト輪郭検出ブロック１２６０並びに拡張及びスケーリングブロック１２７０の連結は、領域選択ブロック１２０５を形成し、局所的ノイズ除去ブロック１２２０及び局所的な正規化ＨＦ合成ブロック１２５０は、入力の低解像度画像に潜在的に存在するエリアシングの伝搬を防止する。１実施の形態では、局所的ノイズ除去ブロック１２２０は、領域選択ブロック１２０５により選択された領域における望まれない高周波のテクスチャ（すなわち雑音）を除去する正規化されたメカニズムを実行する。最終的に、局所的な正規化ＨＦ合成ブロック１２５０は、少なくともＬＲの入力画像におけるエリアシングの存在から生じるアーチファクトについて、アーチファクトのない高解像度のＨＦ帯域を生成する。

以下では、ハイコントラスト輪郭検出ブロック１２６０並びに拡張及びスケーリングブロック１２７０をもつ領域セレクタ１２０５、局所的ノイズ除去ブロック１２２０並びに局所的正規化ＨＦ合成ブロック１２５０の実施の形態は、更に詳細に記載される。

［領域セレクタ］
このステージの目標は、高いコントラストをもつ画素を発見して、輪郭領域の一部として局所的な近傍における全ての画素を選ぶことである。１実施の形態では、高いコントラストは、画像の微分係数に対する一次近似として測定される。領域セレクタブロック１２０５は、後続のステージにノイズ除去マスクＭを提供する。

［ハイコントラスト輪郭検出ブロック］
このステージでは、垂直方向及び水平方向の画像の微分係数を得るために、２つのSobel一次微分係数推定器が使用される。次いで、所定の閾値（例えば０．１）を超える水平又は垂直の微分係数をもつ全ての画素は、輪郭画素として選択され、後部細線化ステージは、１画素幅の輪郭を提供する。この技術は、画像処理において標準的である。他の実施の形態では、このステージは、専用のエリアシング検出器として実現されるか、又は両方法の組み合わせとして実現される。

全てのケースにおいて、目標は、エリアシングアーチファクトにより影響される傾向がある画像における領域を選択することである。

［拡張及びスケーリングブロック１２７０］
別の標準的な技術として、（例えば輪郭画素の両側に向かって３画素といった）輪郭について予め定義された幅を設定するため、形態学的膨張が適用される。これは、後続のステージにおいて処理されることとなる、潜在的なアーチファクトをもつ領域を定義し、特にエリアシングが導出したアーチファクトをもつ領域を定義する。残りの計算は、最終的な超解像度画像に対応するスケールをもつ画像（又はサブ画像）において行われるので、拡張された輪郭は、超解像度画像の解像度に整合するようにアップスケーリングされる。

［局所的なノイズ除去ブロック１２２０］
以下の計算では、Ｘ₁を入力の低解像度画像Ｉ₀により得られる超解像度画像の補間されたＬＦ帯域とする（すなわち、図１２においてＸ₁はＬ_l,nに対応し、Ｉ₀はＳ₀に対応する）。次いで、ＳＲ画像のＬＦ帯域のエリアシングのない推定を得ることが望まれる。エリアシングアーチファクトの構造、すなわち小スケールの高周波の変動を知ることで、エリアシング除去の問題を、領域セレクタ１２０５において選択された関心のある領域におけるノイズ除去の問題に変換する。モデルは、以下のように定義される。

言い換えれば、全変動（TV：Total Variation）レギュラライザは、バイナリマスク（又はシグナリング関数）Ｍにより定義される関心のある領域に課される。正規化ファクタλの値は、詳細を保持しつつ、望まれないアーチファクトを除去するように設定される。これは、正規化された相互相関アプローチにより解決される。０．０５（例えば０．０３．．．０．０７）前後の値は、実際に良好に機能する。このタイプのレギュラライザの目的は、エリアシングを含む潜在的なリスクをもつ領域における望まれないＨＦの構造を除去することである。Ｌ₁の残りの画素（輪郭領域ではないことをマスクＭが示す画素）は、Ｘ₁に含まれる値に設定される。

上述された機能の最小を発見するため、最適値に収束するため、十分な数（例えば１００）の繰返しを必要とする反復的な勾配方法が適用される。スーパーインデックスｔ及びｔ＋１が繰返しを示す場合に、繰返しの解は、以下のように発見される。

ステップμ^tは、例えば０．１（±１０％）といった比較的高い値に初期化され、問題が収束とは程遠いときに、第一の繰返しの間に大きな変動を可能にする。μの選択の現実的な例は、μ_ini＝０．１、μ_end＝０．０１であり、ｎｍａｘを繰返しの最大数として、以下の関係がある。

次いで、μは、最後の繰り返しにおいて、問題が収束に近づいたとき、最適に近い解における少しの変化が許容されるように、それぞれの繰返しにおいて指数関数的に減少する。本方法は、勾配の大きさ
＜外１＞

が所定の所与の閾値以下になったとき又は繰り返しの最大数に到達したときは何時でも終了する。

局所的ノイズ除去ブロック１２２０の出力で、超解像度画像のＬＦ帯域の新たなバージョンが得られ、この新たなバージョンでは、少なくとも、領域セレクタ１２０５において検出された領域における入力画像における空間的なエリアシングから生じるアーチファクトの存在が大いに低減されている。

［局所的に正規化されたＨＦ合成ブロック１２５０］
局所的なノイズ除去ブロック１２２０に類似して、エリアシングは、輪郭の周辺で高いコントラストをもつ領域におけるＨＦ情報の存在としてモデル化される。従って、非輪郭領域では、高周波帯域におけるそれぞれの画素の値は、上述されたように、Ｎ_c個のオーバラップするパッチからの寄与の平均として生成され、この寄与は、超解像度画像におけるエリアシングの伝搬を中和させるか、又は少なくとも低減するため、選択された領域（すなわち輪郭領域）で正規化される。

以下における表記を簡略化するため、（このことは、例えば輪郭に近い画素について当てはまらないが）同量のオーバラップする寄与が得られること、及び固定された距離にある画像ブロックから到来するそれぞれの画素の寄与がｉ＝｛１,．．．，Ｎ_c｝について完全に雑音の多い高周波帯域Ｘ_iにおいて結合されることが想定される。

Ｈ₁をクロススケール自己相似性を利用することで合成される（高域通過フィルタリング前の）ＳＲ画像の所望のＨＦ帯域とする。次いで、関心のある領域のＨＦ帯域は、局所的ノイズ除去ブロック１２２０においても使用されるインジケータ関数（すなわちノイズ除去マスク）Ｍにより指示されたとき、以下のように定式化される。

同じ勾配降下アプローチは、この関数を最小にし、潜在的なエリアシングに影響される画素のマスク（すなわちノイズ除去マスク）Ｍにより指示される領域における高周波帯域のコンテンツを定義するために使用される。残りの画素は、上述されたように、寄与の平均に設定される。画像の何処であってもＭ＋Ｎ＝１のように、ＮをＭに相補的なマスクとして定義した場合、完全に合成された高周波帯域は、以下のように構成される。

改善されたロバスト性の利点は、得られた超解像度画像は、エリアシングが生じる可能性が高い輪郭である、高いコントラストの輪郭をもつゾーンにおいてアーチファクトがないことである。従って、通常の超解像度処理が入力画像におけるエイリアシングをもつ高いコントラストの輪郭にわたり望まれない変動につながる画像において、改善されたロバスト性のため、知覚的に現実的であって且つ鮮鋭な超解像度が得られる。さらに、本方法は、ＧＰＵ又は他のパラレルプロセッサで効果的に実現することができる。ＧＰＵ又は他のパラレルプロセッサは、唯一の画像が利用可能であるときに、エリアシングをもつ入力データを正しく超解像度化するマルチコアプロセッサを含む超解像度アルゴリズムの画像形成システムで使用することができる。

別の利点として、開示される方法は、比較的ぶ計算上効率的であり（単一の画像のみを必要とし、メインの処理ステップは、小スケールの局所的なサーチである）、アップサンプリングファクタの定義においてフレキシブルであり（有理数のアップスケーリングファクタ及び簡単なＦＩＲフィルタの設計を可能にする）、異なる性質の信号を処理するために一般化することができる（局所的な自己相似性を越えた、信号モデルに関する推測的仮定が必要とされない）。

本発明の更なる利点は、入力データ構造の単一のアップスケーリング手順が採用され、そのオリジナルの解像度での入力データ構造から外挿が行われる。従って、アップスケーリングにより導入されるアーチファクトの量は最小化され、これは、有理数のアップスケーリングファクタについて特に有効であり、広い高周波帯域は、高周波の高解像度のデータ構造における情報を増加するために利用可能である。

本発明の更なる利点は、フィルタを設計するための明示的で簡単なルールが提供され、フィルタは、空間不変であるので、一度だけ設計されることである。

本発明の更なる利点は、空間平均化のため、高周波の高解像度のデータ構造Ｈ₁は、従来の方法で得られるものよりも雑音及び他のアーチファクトに対してロバストである。

本発明の更なる利点は、補間された低周波の高解像度帯域Ｌ₁及び外挿された高周波の高解像度帯域Ｈ₁を結合する手順は、両者間の空間的なコヒーレンスを考慮する。これは、高周波の高解像度のデータ構造について高域通過フィルタの適切な設計により達成される。

上記において、サブインデックス０は、低解像度画像を示すために使用され、サブインデックス１は、超解像度画像を示す。大文字Ｌ及びＨは、低周波及び高周波帯域にそれぞれ対応する。インデックスａｃｃ，ｎ及びｕｆは、“accumulated”、“normalized/noisy”及び“un-filtered”を示す。

デジタル画像としてシンプルに示されているが、当業者にとって明らかであるように、デジタル画像以外の他のタイプのデジタルデータ構造が構築される場合があり、それらの全ては、本発明において予期される。類似の原理は、画像診断又は他の復元手順のような他の画像処理タスクに適用することができ、例えば音声信号といった、異なる性質及び次元の超解像度信号を得るために適用することができる。さらに、本明細書で記載される実施の形態では、局所的なノイズ除去は、ノイズ除去マスクにより定義される領域において、ＨＲ画像のＨＦ帯域及びＨＲ画像のＬＦ帯域の両者の画素に対して個別に適用されるが、有利な効果は、局所的なノイズ除去がＨＲ画像のＨＦ帯域とＬＦ帯域の少なくとも１つに適用されるときに達成される。

開示される方法及び装置は、単一の画像と共に機能するが、有利なことに高周波部分（すなわち詳細）を含む適切な例を回復するためのデータベースを必要としない。

本発明の好適な実施の形態に適用されたとき、本発明の基本的な新たな特性が図示、記載及び指摘されたが、開示される装置の形式及び詳細において、及びそれらの動作において、記載される装置及び方法における様々な省略及び置換及び変形が、本発明の精神から逸脱することなしに当業者により行われることを理解されたい。例として、本発明は正方形のブロック及びパッチに関して説明されたが、本明細書で記載される方法及び装置は、例えば矩形の形状又は４×４，．．．，１６×１６の正方形等のフリーフォームの形状といった他の形状及び／又はサイズのブロック及びパッチに適用される場合がある。更に、本発明は空間解像度に関して開示されたが、当業者であれば、本明細書で記載された方法及び装置は、変更すべきところは変更して、時間分解能にも適用される場合があることを認識されるであろう。同じ結果を得るために実質的に同じやり方で実質的に同じ機能を実行するエレメントの全ての組み合わせは、本発明の範囲に含まれる。また、ある記載された実施の形態から別の記載された実施の形態へのエレメントの置換えが十分に意図され、予期される。

本発明は例を通して完全に記載され、詳細の変更は本発明の範囲から逸脱することなしに行われることを理解されたい。発明の詳細な説明及び（必要に応じて）特許請求の範囲及び図面で開示されるそれぞれの特徴は、独立して提供されるか又は適切な組み合わせで提供される。特徴は、必要に応じて、例えばグラフィックスハードウェア（ＧＰＵ）で、ハードウェア、ソフトウェア、又は２つの組み合わせで実現される。請求項に現れる参照符号は、例示を目的とするものであって、請求項の範囲を限定する影響を有しない。

［引用文献］
M.Irani及びS.Peleg“Super Resolution from Image Sequences”（Int. Conf. on Pattern Recognition, 1990）
Z.Lin及びH.Y.Shum“Fundamental Limits of Recognition-Based Superresolution Algorithm under Local Translation”（IEEE Trans. On Pattern Analys is and Machine Intelligence, 2004）
W.T.Freeman，T.R.Jones及びE.C.Pasztor“Example-based super-resolution”（IEEE Computer Graphics and Applications, 2002）
D.Glasner，S.Bagon及びM.Irani“Super-Resolution from a Single Image”（IEEE Int. Conf. on Computer Vision, 2009）
O.Shahar，A.Faktor及びM.Irani“Space-Time Super-Resolution from a Single Video”（IEEE Conf. on Computer Vision and Pattern Recognition, 2011）
G.Freeman及びR.Fatal“Image and Video Upscaling from Local Self-Examples”（ACM Trans. On Graphics, 2010）

１２００：エリアシングに対するロバスト性を改善する方法
１２０５：ノイズ除去マスクＭを領域セレクタで生成する段階
１２６０：輪郭検出段階
１２７０：拡張及びスケーリング段階
１２１０：入力データ構造Ｓ₀から、雑音の多い低周波のアップスケールされたデータ構造Ｌ_l,nを補間する段階
１２２０：ノイズ除去Ｍにより輪郭領域として示される領域において雑音の多い低周波のアップサンプルされたデータ構造Ｌ_l,nを局所的にノイズ除去して、局所的にノイズ除去された低周波のアップサンプルされたデータ構造Ｌ₁を得る段階
１２４０：正規化された高周波のアップスケールされたデータ構造Ｈ_l,nを得る段階
１２５０：正規化された高周波のアップスケールされたデータ構造Ｈ_l,nを局所的にノイズ除去する段階
１２７０：入力データ構造Ｓ₀を、低周波の入力データ構造Ｌ₀と、低周波の入力データ構造Ｌ₀に相補的な高周波の入力データ構造Ｈ₀とに分離又は分割する段階
１２８０：高域通過フィルタリングされた局所的にノイズ除去された正規化された高周波のアップスケールされたデータ構造Ｈ₁を得る段階
１２９０：超解像度のデータ構造Ｓ₁を得る段階

Claims (16)

1. デジタル１次元、２次元又は３次元データの低解像度の入力データ構造の超解像度処理を行う方法であって、
   エリアシングが生じる可能性が高い低解像度の入力データ構造における１以上の領域を検出して、前記低解像度の入力データ構造において検出された１以上の領域を示すノイズ除去マスクを生成する段階と、
   第一の低域通過フィルタを使用して、前記入力データ構造を、低周波の入力データ構造と、前記低周波の入力データ構造に相補的な高周波の入力データ構造に分割する段階と、
   前記入力データ構造をアップスケールし、アップスケールされた入力データ構造を第二の低域通過フィルタを使用してフィルタリングして、低周波のアップスケールされたデータ構造を得る段階と、
   前記ノイズ除去マスクに従って前記低周波のアップスケールされたデータ構造における１以上の領域に局所的にノイズの除去を行い、局所的にノイズが除去された低周波のアップスケールされたデータ構造を得る段階と、
   前記局所的にノイズが除去された低周波のアップスケールされたデータ構造と、前記低周波の入力データ構造との間の対応を使用し、クロススケールブロックマッチング及び正規化を実行して、前記高周波の入力データ構造を外挿することで、正規化された高周波のアップスケールされたデータ構造を生成する段階と、
   局所的な正規化において正規化された高周波のアップスケールされたデータ構造を局所的にノイズ除去する段階と、局所的なノイズの除去は、前記ノイズ除去マスクに従って前記１以上の領域において実行され、局所的にノイズが除去された正規化された高周波のアップサンプルされたデータ構造が得られ、
   高域通過フィルタリングが施された正規化された高周波のアップスケールされたデータ構造を前記局所的にノイズが除去された低周波のアップスケールされたデータ構造に加えて、超解像度のデータ構造を得る段階と、
   を含む方法。
2. 前記正規化された高周波のアップスケールされたデータ構造を生成する前記段階は、
   前記局所的にノイズが除去された低周波のアップスケールされたデータ構造において、第一の位置にある第一のパッチを決定する段階と、
   前記低周波の入力データ構造において、前記第一のパッチに最良に整合する第一のブロックをサーチし、前記低周波の入力データ構造における前記第一のブロックの位置を決定する段階と、
   決定された位置にある前記高周波の入力データ構造における第二のブロックを選択する段階と、
   選択された第二のブロックの画素データを、前記第一の位置にある高周波のアップスケールされたデータ構造におけるパッチである第二のパッチに累積する段階と、
   前記局所的にノイズが除去された低周波のアップスケールされたデータ構造において新たなパッチを決定する段階、前記選択されたパッチに最良に整合するブロックを前記低周波の入力データ構造においてサーチする段階、前記高周波の入力データ構造における対応するブロックを選択する段階、及び、選択された対応するブロックの画素データを、前記新たなパッチの位置にある前記高周波のアップスケールされたデータ構造におけるパッチに累積する段階、を繰り返す段階と、
   前記高周波のアップスケールされたデータ構造における累積された画素値を正規化して、正規化された高周波のアップスケールされたデータ構造を得る段階と、
   を含む請求項１記載の方法。
3. 前記局所的にノイズが除去された低周波のアップスケールされたデータ構造におけるそれぞれの新たなパッチは、少なくとも１つの前に処理されたパッチとオーバラップする、
   請求項２記載の方法。
4. 前記低周波の入力データ構造において第一のサーチ窓を決定する段階を更に含み、
   前記第一のサーチ窓は、前記高周波のアップスケールされたデータ構造における前記第一の位置に対応する位置にあるブロックの周りの領域をカバーし、
   前記低周波の入力データ構造においてサーチする前記段階は、前記第一のサーチ窓においてのみ実行され、
   前記低周波の入力データ構造においてサーチ窓を決定する前記段階は、前記局所的にノイズが除去された低周波のアップスケールされたデータ構造におけるそれぞれのパッチについて繰り返される、
   請求項２又は３記載の方法。
5. 前記高周波のアップスケールされたデータ構造における画素当たりの寄与の数をカウントする段階を更に含み、
   正規化する前記段階は、前記寄与の数により画素当たりの前記累積された値を割ることを含む、
   請求項２乃至４の何れか記載の方法。
6. エリアシングが生じる可能性がある前記低解像度の入力データ構造における１以上の領域を検出する前記段階は、輪郭を検出する段階を含む、
   請求項１乃至５の何れか記載の方法。
7. 前記低解像度の入力データ構造における１以上の領域を検出する前記段階は、拡張及びスケーリングの段階を更に含み、
   前記輪郭の検出において検出された少なくとも１つの輪郭は拡大され、
   拡大された輪郭は、超解像度のデータ構造のスケールにスケーリングされる、
   請求項６記載の方法。
8. 前記低周波のアップスケールされたデータ構造における前記１以上の領域に局所的にノイズの除去を行う前記段階は、エリアシングが生じる可能性がある領域として前記ノイズ除去マスクにより示された前記１以上の輪郭の領域に全変動の正規化を適用する段階を含む、
   請求項１乃至７の何れか記載の方法。
9. 前記低周波のアップスケールされたデータ構造における前記１以上の領域に局所的なノイズの除去を行う前記段階、前記正規化された高周波のアップスケールされたデータ構造に局所的なノイズの除去を行う前記段階の少なくとも１つは、エリアシングが生じる可能性がある領域として前記ノイズ除去マスクにより示された前記１以上の輪郭の領域に全変動の正規化を適用する段階を含む、
   請求項１乃至８の何れか記載の方法。
10. 前記低周波のアップスケールされたデータ構造における前記１以上の領域に局所的なノイズ除去を行う前記段階では、全変動の正規化は、前記低解像度の入力データ構造の画素からの前記局所的にノイズが除去された正規化された高周波のアップスケールされたデータ構造の画素を合成する、
    請求項１乃至９の何れか記載の方法。
11. 前記低周波のアップスケールされたデータ構造は、アップスケーリングファクタｎにより前記入力データ構造をアップスケーリングし、アップスケールされた入力データ構造を前記第二の低域通過フィルタによりフィルタリングし、ｎ＞ｄとして、フィルタリングされたアップスケールされた入力データ構造をダウンスケーリングファクタｄによりダウンスケールすることで得られ、最終的な非整数のアップスケーリングファクタｎ／ｄが得られる、
    請求項１乃至１０の何れか記載の方法。
12. 前記正規化された高周波のアップスケールされたデータ構造をフィルタリングする前記段階は、正規化された遮断周波数Ω_1,h＝ｄ/ｎ、次数Ｎ_1,h＝ｒｏｕｎｄ（Ｎ₀*ｎ/ｄ）及び振幅σ_1,h＝１を有する高域通過フィルタにより実行される、
    請求項１乃至１１記載の方法。
13. 前記入力データ構造は、デジタル２Ｄデータを有し、それぞれのブロック及びそれぞれのパッチは、少なくとも５×５の値を有し、サーチ窓は、少なくとも９×９の値をカバーし、それぞれのパッチは、少なくとも２つの値だけ少なくとも前に処理されたパッチにオーバラップする、
    請求項１乃至１２の何れか記載の方法。
14. デジタルデータの低解像度の入力データ構造の超解像度処理を行う装置であって、
    エリアシングが生じる可能性がある低解像度の入力データ構造における１以上の領域を示すノイズ除去マスクを生成するノイズ除去マスク生成手段と、
    第一の低域通過フィルタを使用して、前記入力データ構造を、低周波の入力データ構造と、前記低周波の入力データ構造に相補的な高周波の入力データ構造に分割する分割モジュールと、
    前記入力データ構造をアップスケールするアップスケール手段と、
    アップスケールされた入力データ構造をフィルタリングして、低周波のアップスケールされたデータ構造を得る第二の低域通過フィルタと、
    前記低周波のアップスケールされたデータ構造における、前記ノイズ除去マスクにより示される前記１以上の領域に局所的にノイズの除去を行い、局所的にノイズが除去された低周波のアップスケールされたデータ構造を得る局所的なノイズ除去手段と、
    前記局所的にノイズが除去された低周波のアップスケールされたデータ構造と、前記低周波の入力データ構造との間の対応を使用して、前記高周波の入力データ構造を外挿し、外挿された高周波のアップスケールされたデータ構造を正規化することで、正規化された高周波のアップスケールされたデータ構造を生成するクロススケールブロックマッチングモジュールと、
    前記正規化された高周波のアップスケールされたデータ構造における、前記ノイズ除去マスクにより示される前記１以上の領域に局所的なノイズの除去を行い、局所的にノイズが除去された正規化された高周波のアップサンプルされたデータ構造を得る局所的な正規化手段と、
    前記局所的にノイズが除去された正規化された高周波のアップスケールされたデータ構造をフィルタリングして、高域通過フィルタリングが施された正規化された高周波のアップスケールされたデータ構造を得る高域通過フィルタと、
    高域通過フィルタリングが施された正規化された高周波のアップスケールされたデータ構造を前記局所的にノイズが除去された低周波のアップスケールされたデータ構造に加えて、超解像度のデータ構造を得る結合手段と、
    を備える装置。
15. 前記クロススケールブロックマッチングモジュールは、
    前記局所的にノイズが除去された低周波のアップスケールされたデータ構造において、第一の位置にある第一のパッチを決定する第一決定ユニットと、
    前記低周波の入力データ構造において、前記第一のパッチに最良に整合する第一のブロックをサーチするサーチユニットと、
    前記低周波の入力データ構造における前記第一のブロックの位置を決定する第二決定ユニットと、
    決定された位置にある前記高周波の入力データ構造における第二のブロックを選択する選択ユニットと、
    選択された第二のブロックの画素データを、前記第一の位置にある高周波のアップスケールされたデータ構造におけるパッチである第二のパッチに累積する累積ユニットと、
    前記低周波のアップスケールされたデータ構造において複数のパッチの処理の繰り返しを制御する制御ユニットと、
    前記高周波のアップスケールされたデータ構造における累積された画素値を正規化して、正規化された高周波のアップサンプルされたデータ構造を得る正規化ユニットとを備え、
    前記ノイズ除去マスク生成手段は、高いコントラストの輪郭を検出するモジュールと、拡張及びスケーリングモジュールとを有する、
    請求項１４記載の低解像度の入力データ構造の超解像度処理を実行する装置。
16. コンピュータで実行されたとき、コンピュータに、請求項１乃至１３の何れか記載の方法を実行させる実行可能な命令を記録したコンピュータ読み取り可能な記録媒体。

Images