JP2015507273A - 低解像入力データ構造の超解像バージョンを生成する方法及び装置 - Google Patents

Abstract

本発明は、単一の低分解能信号が利用可能である場合に、定期的にサンプリングされた多次元信号の分解能の改善に関する。かかる方法は、一般的に、学習型超解像又は単一像超解像と呼ばれる。単一像を超解像化する方法は３つの段階を有する。第１に、入力画像の補間に基づくアップスケーリングが行われ、低解像画像に対する等価ローパスフィルタリング動作が続く。第２の段階は、高解像画像における被検パッチと、部分的に重なり合うパッチを含む低解像低周波画像における局所的に隣接したパッチとの間の低周波整合の検索、及び低解像画像から取得される高周波寄与を累算することを有する。第３の段階は、高解像画像の低周波バンド及び外挿された高周波バンドの寄与を加算することを有する。

Description

本発明は、低解像入力データ構造の超解像バージョンを生成する方法及び対応する装置に関する。

超解像（super-resolution；ＳＲ）処理は、定期的にサンプリングされた多次元信号の分解能の改善として知られている。それは、低解像信号しか利用可能でない場合にことさら重要である。単一の低解像信号が利用可能であるのか、それとも、複数の同様の低解像信号が利用可能であるのかは、後者の場合には幾つかの利用可能な信号の寄与を結合することでより豊かなデータ値を利用することが可能であることから、有意な違いである。画像処理の文献において、かかる方法は、一般的に、学習型超解像（example-based super-resolution）又は、より正確に、単一像超解像（single-image super-resolution）と呼ばれている。下記の見解は概要であり、異なる次元の信号に適用可能であるが、２Ｄ画像超解像の場合に焦点が合わせられる。

画像超解像技術は、Ｍ．Ｉｒａｎｉ及びＳ．Ｐｅｌｅｇ著“Super Resolution from Image Sequences”（非特許文献１）から始まって、長年にわたってよく知られている。通常、かかる技術は、像形成モデルを反転した再構成処理を用いて、ビデオシーケンスに含まれる連続画像のような、ノイジーで、不鮮明で、低解像度のオブザベーションの組を前提として、高解像画像の推定に関する。このように、画像間のサブピクセルモーション、カメラ及び後処理ブラー並びにサブサンプリングは、利用可能なデータを融合させて超解像画像を取得するために、反転される。幾つかの大域的に最適な反復技法が利用可能であり、それらは、基本的に、推定される画像の事前確率モデルにおいて異なる。これは、別の不良設定モデルに独特な解決法を提供する。

一般に、かかる技術の限定因子は、画像のデブラー処理のための点広がり関数（Point Spread Function；ＰＳＦ）の推定（しばしば、ガウス分布と考えられる）及びレジストレーション（画像間のサブピクセルモーションの決定）にある。一般的に、文献におけるＳＲ技術、例えば、Ｌｕｃａｓ−Ｋａｎａｄｅ法又はＨｏｒｎ−Ｓｃｈｕｎｃｋ法は、レジストレーションを得るための古典的なオプティカルフロー（Optical Flow；ＯＦ）推定を指す。それらは、疑似的な作り事の例では有効に働くが、実際には、ＯＦ推定における既知の解決法は、より大域的な動きが現れる場合に、十分な精度を有してビデオシーケンスに含まれる連続フレームを確実にレジストレーションすることができない。

“Fundamental Limits of Reconstruction-Based Superresolution Algorithms under Local Translation”（非特許文献２）において、Ｚ．Ｌｉｎ及びＨ．−Ｙ．Ｓｈｕｍは、幅広い自然条件の下で、このような再構成に基づくＳＲアルゴリズムが約１．６倍の解像度における最大増加の本質的限界を有することを示す。しかし、論文は、利用可能な刊行物のほとんどにおいて共通して探求されている人工的シナリオにおいて、極めてより緩い限界が存在し、これは、最大で５．７倍の解像度増大を可能にすることを証明する。これは、サブピクセルシフトが一般にピクセルサイズの厳密な分数である場合に、レジストレーションに関する有利な条件に起因する。

代替のタイプのＳＲアルゴリズムは、より高い解像度の先験的に知られている標本を用いて、入力された視覚データ（低解像画像）の質を十分に高めることによって、画像の解像度を増大させようと試みる。かかる技術は、通常、学習型超解像（ＥＢＳＲ）と呼ばれている。“Example-based super-resolution”（非特許文献３）において、Ｗ．Ｔ．Ｆｒｅｅｍａｎ、Ｔ．Ｒ．Ｊｏｎｅｓ及びＥ．Ｃ．Ｐａｓｚｔｏｒは、十分に包括的な画像パッチデータベースから適切な高解像度の標本を得、それらの高周波コンテンツは平均化され、入力画像の低周波コンテンツと融合される。しかし、アルゴリズムの性能は、標本データベースに含まれるケースから目標シーンが外れるにつれて（既知のパッチのいずれもが入力画像のパッチに実際に似ていない場合）、悪化する。実際に、データベースのサイズを大きくすることは、最も良く整合するトレーニングパッチの検索において必要以上の計算費用を負う。故に、この技術は、一般的に使用可能でなく、特定のクラスの超解像画像に焦点を合わせられている。

この問題をうまく処理し且つ拡大されるべきコンテンツに適応して動くために、他のＥＢＳＲアルゴリズムは、単一入力画像内から高解像標本を取り出し、そのために、異なる解像度での画像のピラミッド表示が、小さいダウンスケーリング係数で取得され得る。次いで、入力画像におけるパッチ（例えば、５×５ピクセル）ごとに、整合するパッチが、再構成に基づく超解像と同様にパッチ毎のデータ融合を実行するために、異なる解像度（ピラミッドにおける階層）にある画像の全て又は部分にわたって検索される。この技術は、Ｄ．Ｇｌａｓｎｅｒ、Ｓ．Ｂａｇｏｎ及びＭ．Ｉｒａｎｉ，“Super-Resolution from a Single Image”（非特許文献４）と、ビデオ超解像のためのフォローアップであるＯ．Ｓｈａｈａｒ、Ａ．Ｆａｃｔｏｒ及びＭ．Ｉｒａｎｉ，“Space-Time Super-Resolution from a Single Video”（非特許文献５）とによって、最もよく説明されている。それらの著者は、幾つかの空間的及び時間的スケールでのビデオフレームにわたる３Ｄ時空間探索による計算複雑性の増大を犠牲にして、時間的なエイリアシングの除去を含めて、画像解像度及びフレームレートにおける同時的増大を得る。これは、アプローチを現在の計算能力による実時間演算のために使用不能にする。このアプローチはまた、国際公開第２０１０／１２２５０２（Ａ１）号パンフレット（特許文献１）において使用されている。

他の既知のアプローチは、やはり費用がかかり且つ概して実時間アプローチに用いられず、あるいは、過度のコントラストを強いることで何らかの非現実的な態様のエッジを生じさせる傾向があり、あるいは、テクスチャード加工の範囲において過度のスムージングを生成する傾向があり、これは一般的な場合において不自然に見える画像を生成するという欠点を伴う。

Ｇ．Ｆｒｅｅｄｍａｎ及びＲ．Ｆａｔｔａｌ，“Image and Video Upscaling From Local Self-Examples”（非特許文献６）において、提案されている方法は、夫々の画像パッチの局所的隣接における自己相似性を利用することである。これは、計算時間の削減という利点を有しながら、非特許文献４において使用される全画像探索に近い結果を提供することが示されている。このアプローチの欠点は、画像において高周波を低周波から分離するために使用されるスペースバリアント・フィルタの高度な設計がオンザフライで行われず、結果として、選択可能なアップスケーリング係数の組が限られることである。

国際公開第２０１０／１２２５０２（Ａ１）号パンフレット

Ｍ．Ｉｒａｎｉ及びＳ．Ｐｅｌｅｇ，"Super Resolution from Image Sequences"，Int. Conf. on Pattern Recognition，１９９０年 Ｚ．Ｌｉｎ及びＨ．−Ｙ．Ｓｈｕｍ，"Fundamental Limits of Reconstruction-Based Superresolution Algorithms under Local Translation"，IEEE Trans. On Pattern Analysis and Machine Intelligence，２００４年 Ｗ．Ｔ．Ｆｒｅｅｍａｎ、Ｔ．Ｒ．Ｊｏｎｅｓ及びＥ．Ｃ．Ｐａｓｚｔｏｒ，"Example-based super-resolution"，IEEE Computer Graphics and Applications，２００２年 Ｄ．Ｇｌａｓｎｅｒ、Ｓ．Ｂａｇｏｎ及びＭ．Ｉｒａｎｉ，"Super-Resolution from a Single Image"，IEEE Int. Conf. on Computer Vision，２００９年 Ｏ．Ｓｈａｈａｒ、Ａ．Ｆａｃｔｏｒ及びＭ．Ｉｒａｎｉ，"Space-Time Super-Resolution from a Single Video"，IEEE Conf. on Computer Vision and Pattern Recognition，２０１１年 Ｇ．Ｆｒｅｅｄｍａｎ及びＲ．Ｆａｔｔａｌ，"Image and Video Upscaling From Local Self-Examples"，ACM Trans. On Graphics，２０１０年

本発明は、上記の問題のうちの少なくとも幾つかを解消する。本発明は、単一の低分解能信号が利用可能である場合に、定期的にサンプリングされた多次元信号の分解能の改善に関する。画像処理の文献において、かかる方法は、一般的に、学習型超解像又は、より正確には、単一像超解像と呼ばれる。ここで開示される方法論は概要であり、異なる次元の信号に適用され得るが、下記は、２Ｄ画像超解像の場合に焦点を当てる。

本発明に従って、単一像を超解像化することは、３つの段階を有する。第１に、入力画像の補間に基づくアップスケーリングが行われ、低解像画像に対する等価ローパスフィルタリング動作が続く。第２の段階は、高解像画像における被検パッチと、低解像低周波画像における局所的に隣接したパッチ（部分的に重なり合うパッチを含む）との間の低周波整合の検索、及び低解像画像から取得される対応する高周波寄与を累算することを有する。第３の段階は、高解像画像の低周波バンド及び外挿された高周波バンドの寄与を加算することを有する。

原理上、本発明に従う、単一の低解像デジタル入力データ構造Ｓ_０の超解像バージョンを生成する方法は、アップスケールド高解像データ構造の低周波部分Ｌ_１を取得するよう前記単一の低解像デジタル入力データ構造Ｓ_０をアップスケーリング及びローパスフィルタリングするステップと、前記低解像デジタル入力データ構造Ｓ_０を低周波部分Ｌ_０と高周波部分Ｈ_０とに分けるステップとを有する。前記アップスケールド高解像データ構造の高周波部分Ｈ_{１，ｉｎｔ}が生成され、これは最初、空である。次いで、前記アップスケールド高解像データ構造の低周波部分Ｌ_１の複数のパッチの夫々について、前記低解像デジタル入力データ構造の低周波部分Ｌ_０における最も良く整合するブロックが探索され、前記低解像デジタル入力データ構造の高周波部分Ｈ_０におけるその対応するブロックが決定される。前記低解像デジタル入力データ構造の高周波部分Ｈ_０からの前記決定されたブロックは、次いで、前記アップスケールド高解像データ構造の低周波部分Ｌ_１における前記パッチが有する位置で、前記アップスケールド高解像データ構造の高周波部分Ｈ_{１，ｉｎｔ}に加えられる。最後に、前記アップスケールド高解像データ構造の結果として得られる高周波部分Ｈ_{１，ａｃｃ}は、寄与ピクセルの平均値へ正規化され、一実施形態では、ハイパスフィルタリングされる。前記アップスケールド高解像データ構造の前記正規化されハイパスフィルタリングされた高周波部分Ｈ_１は、前記アップスケールド高解像データ構造の前記低周波部分Ｌ_１に加えられ、これにより、前記単一の低解像デジタル入力データ構造Ｓ_０の改善された超解像バージョンＳ_１が得られる。

より良い読みやすさのために、語「ブロック」は、低解像データ構造における隣接する値のグループのためにここでは使用され、一方、語「パッチ」は、高解像データ構造における隣接する値のグループのために使用されることが留意される。なお、ブロック及びパッチは同じサイズ（すなわち、隣接する値の数及び形状）を有し、実質的に同じである。

本発明はまた、デジタルデータの低解像入力データ構造Ｓ_０の超解像処理を実行する装置であって、低周波入力データ構造Ｌ_０が取得されるように前記低解像入力データ構造Ｓ_０をフィルタリングする第１のローパスフィルタＦ_ｌ，０と、高周波入力データ構造Ｈ_０が生成されるように前記低解像入力データ構造Ｓ_０と前記低周波入力データ構造Ｌ_０との間の差を計算する減算ユニット（例えば、加算器、減算器又は微分器）と、前記低解像入力データ構造Ｓ_０をアップスケーリングするアップスケーラと、低周波アップスケールドデータ構造Ｌ_１が取得されるように前記アップスケーリングされた入力データ構造をフィルタリングする第２のローパスフィルタＦ_ｌ，１と、前記低周波アップスケールドデータ構造Ｌ_１において、第１の位置にある第１のパッチを決定する第１の決定ユニットと、前記第１のパッチに最も良く整合する第１のブロックを前記低周波入力データ構造Ｌ_０において探すサーチユニットと、前記低周波入力データ構造Ｌ_０内の前記第１のブロックの位置を決定する第２の決定ユニットと、前記決定された位置にある（すなわち、前記低周波入力データ構造Ｌ_０内の前記第１のブロックについて決定された位置にある）前記高周波入力データ構造Ｈ_０における第２のブロックを選択するセレクタユニットと、前記選択された第２のブロックのピクセルデータを、前記第１の位置で、高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算（例えば、加算）する累算器と、前記低周波アップスケールドデータ構造Ｌ_１及びＨ_{１，ａｃｃ}における複数のパッチについての処理の繰り返しを制御する制御ユニットと、正規化された高周波アップスケールドデータ構造Ｈ_１が取得されるように前記高周波アップスケールドデータ構造における前記累算されたピクセル値を正規化（すなわち、平均化）する正規化ユニットと、超解像データ構造Ｓ_１が取得されるように前記正規化された高周波アップスケールドデータ構造Ｈ_１を前記低周波アップスケールドデータ構造Ｌ_１と結合（例えば、加算）する結合ユニットとを有する装置に関する。前記高周波アップスケールドデータ構造（Ｈ_{１，ａｃｃ}）は、最初は空である。実施形態において、正規化は、現在のピクセルについて、該現在のピクセルの累算された値に寄与しているピクセルの数によって前記現在のピクセルの前記累算された値を割ることを含む。

本発明はまた、デジタルデータの低解像入力データ構造Ｓ_０の超解像処理を行う方法をコンピュータに実行させる実行可能命令を有するコンピュータ可読媒体であって、前記方法は、低周波入力データ構造Ｌ_０が取得されるように第１のローパスフィルタによって前記低解像入力データ構造Ｓ_０をフィルタリングするステップと、高周波入力データ構造Ｈ_０が取得されるように前記低解像入力データ構造Ｓ_０と前記低周波入力データ構造Ｌ_０との間の差を計算するステップと、低周波アップスケールドデータ構造Ｌ_１が取得されるように、前記低解像入力データ構造Ｓ_０をアップスケーリングし、該アップスケーリングされた入力データ構造を第２のローパスフィルタによってフィルタリングするステップと、前記低周波アップスケールドデータ構造Ｌ_１において、第１の位置にある第１のパッチを決定するステップと、前記第１のパッチに最も良く整合する第１のブロックを前記低周波入力データ構造Ｌ_０において探し、前記低周波入力データ構造Ｌ_０内の前記第１のブロックの位置を決定するステップと、前記決定された位置にある（すなわち、前記低周波入力データ構造Ｌ_０内の前記第１のブロックについて決定された位置にある）前記高周波入力データ構造Ｈ_０における第２のブロックを選択するステップと、前記選択された第２のブロックのピクセルデータを、前記第１の位置で、最初は空である高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算（例えば、加算）するステップと、前記低周波アップスケールドデータ構造Ｌ_１において新しいパッチを決定するステップ、該決定されたパッチに最も良く整合するブロックを前記低周波入力データ構造Ｌ_０において探すステップ、前記高周波入力データ構造Ｈ_０における対応するブロックを選択するステップ、及び前記新しいパッチの位置にある前記高周波アップスケールドデータ構造におけるパッチに前記選択された対応するブロックのピクセルデータを累算するステップを繰り返すステップと、正規化された高周波アップスケールドデータ構造Ｈ_１が取得されるように前記高周波アップスケールドデータ構造における前記累算されたピクセル値を正規化（平均化）し、超解像データ構造Ｓ_１が取得されるように前記正規化された高周波アップスケールドデータ構造Ｈ_１を前記低周波アップスケールドデータ構造Ｌ_１に加えるステップとを有する、コンピュータ可読媒体に関する。

本発明の利点は、（少なくとも一実施形態において）何らかの望ましい非整数の画像アップスケーリング係数により、何らかの１Ｄ、２Ｄ又は３Ｄデジタル入力データ構造（例えば、何らかのデジタル画像）のより高解像度の再現を生成することができる点である。更に、これは、一般的な方法において、任意の画像の事前確率の導入なしに、画像が異なる解像度で局所的な自己相似性を示すべきであるとの前提を超えてなされる。これは、一般の画像に適用できると証明されている。

本発明の他の利点は、利用される自己平均化により、従来の方法に比べて、アップスケーリングされたデータ構造において導入されるノイズが少ない点である。本発明の更なる利点は、単一像とともに働くが、有利に、データベース、コードブック又は同様のものを必要とせず、如何なるトレーニング又はトレーニングデータも必要としない点であり、一方、従来の単一像による方法は、高周波標本のトレーニングされたリトリービングのためのデータベースを必要とする。

本発明の有利な実施形態は、従属請求項、下記の説明、及び図面において開示される。

超解像処理を実行する方法のフローチャートである。 原の解像スケールでの類似するパッチの高周波情報の外挿による超解像画像の高周波バンドの合成を示す。 サーチ窓の例となる使用及び位置付けを示す。 オーバーラップを含む２Ｄ入力データ構造における連続するパッチの選択と、連続するパッチのための整合ブロックを決定する原理とを示す。 オーバーラップを含む１Ｄ入力データ構造における連続するパッチの選択と、連続するパッチのための整合ブロックを決定する原理とを示す。 高解像画像のアップスケールド低周波バンドＬ_１の形成と、低解像入力画像Ｓ_０の２バンド解析（Ｌ_０，Ｈ_０）とを示す。 超解像画像の高周波バンドＨ_１を合成する処理の概念的ブロック図である。 超解像画像Ｓ_１を生成するための補間された低周波バンドＬ_１及び外挿された高周波バンドＨ_１の融合を示す。 装置のブロック図である。 従来の方法でアップスケーリングされた画像のスペクトルと、本発明に従ってアップスケーリングされた画像のスペクトルとの比較を示す。 本発明の３つの主たる段階を示す。

本発明の実例となる実施形態は、添付の図面を参照して記載される。

図１は、本発明の実施形態に従って、デジタル１Ｄ、２Ｄ又は３Ｄデータの低解像入力データ構造Ｓ_０の超解像処理を行う方法のフローチャートを示す。この実施形態において、方法は、
低周波入力データ構造Ｌ_０が取得されるように第１のローパスフィルタＦ_ｌ，０によって入力データ構造Ｓ_０をフィルタリングするステップ１７０と、
加算器／減算器１８０において、高周波入力データ構造Ｈ_０が取得されるように入力データ構造Ｓ_０と低周波入力データ構造Ｌ_０との間の差を計算するステップと、
低周波アップスケールドデータ構造Ｌ_１が取得されるように、入力データ構造Ｓ_０をアップスケーリング１２０し、このアップスケーリングされた入力データ構造を第２のローパスフィルタＦ_ｌ，１によってフィルタリング１３０するステップと、
低周波アップスケールドデータ構造Ｌ_１において、第１の位置にある第１のパッチＰ_ｎ，Ｌ１を決定するステップと、
第１のパッチＰ_ｎ，Ｌ１に最も良く整合する第１のブロックＢ_ｎ，Ｌ０を低周波入力データ構造Ｌ_０において探し１５１，１５２，１５４、低周波入力データ構造Ｌ_０内の第１のブロックＢ_ｎ，Ｌ０の位置を決定するステップと、
決定された位置にある高周波入力データ構造Ｈ_０における第２のブロックＢ_ｎ，Ｈ０を選択するステップ１５５と、
選択された第２のブロックＢ_ｎ，Ｈ０のデータ値（例えば、ピクセルデータ）を、（第一のパッチＰ_ｎ，Ｌ１について先に決定された）第１の位置で、高周波アップスケールドデータ構造Ｈ_{１，ａｃｃ}におけるパッチである第２のパッチＰ_ｎ，Ｈ１に累算するステップ１５７と、
低周波アップスケールドデータ構造Ｌ_１において新しいパッチＰ_ｎ，Ｌ１を決定するステップ、この決定されたパッチＰ_ｎ，Ｌ１に最も良く整合するブロックＢ_ｎ，Ｌ０を低周波入力データ構造Ｌ_０において探すステップ１５１，１５２，１５４、高周波入力データ構造Ｈ_０における対応するブロックＢ_ｎ，Ｈ０を選択するステップ１５５、及び新しいパッチＰ_ｎ，Ｌ１の位置にある高周波アップスケールドデータ構造Ｈ_{１，ａｃｃ}におけるパッチＰ_ｎ，Ｈ１に選択された対応するブロックＢ_ｎ，Ｈ０のピクセルデータを累算するステップ１５７を繰り返すステップ１５０と、
正規化された高周波アップスケールドデータ構造Ｈ_１が取得されるように高周波アップスケールドデータ構造Ｈ_{１，ａｃｃ}における累算されたピクセル値を正規化するステップ１９０と
を有する。最終的に、超解像データ構造Ｓ_１は、正規化された高周波アップスケールドデータ構造Ｈ_１を低周波アップスケールドデータ構造Ｌ_１に加えることによって得られる。

幾つかの実施形態において、第２のローパスフィルタＦ_ｌ，１によるフィルタリング１３０後のアップスケーリングされた入力データ構造は、ｎ＞ｄとして、ダウンスケーリング係数ｄによってダウンスケーリング１４０される。このようにして、全体の非整数アップスケーリング係数ｎ／ｄは、低周波アップスケールドデータ構造Ｌ_１について求められる。高周波アップスケールドデータ構造Ｈ_{１，ｉｎｉｔ}（又はＨ_１）は、低周波アップスケールドデータ構造Ｌ１と同じサイズを有する。Ｈ_１のサイズは、予め定義されても、又はＬ_１から導出されてもよい。Ｈ_１は、初期化ステップ１６０で、このサイズの空のデータ構造Ｈ_{１，ｉｎｉｔ}へ初期化される。

図２は、原の解像スケールＨ_０での類似するパッチの高周波情報の外挿による超解像（すなわち、高解像）画像の高周波バンドＨ_１の合成の原理を示す。図２乃至７に関する下記の説明において高周波高解像データ構造Ｈ_１が記述される場合に、実際には、フィルタリング及び正規化をなされていない高周波高解像データ構造Ｈ_{１，ａｃｃ}が言及されている点に留意されたい。

高解像画像Ｌ_１の低周波バンドは、最初に、幾らかのオーバーラップを有して小さいパッチＰ_ｎ，Ｌ１（例えば、５×５ピクセル）に分けられる。オーバーラップの量の選択は、高周波アーティファクトへのロバスト性（より多いオーバーラップの場合）と計算速度（より少ないオーバーラップの場合）とのトレードオフを伴う。一実施形態では、夫々の方向における２０〜３０％のオーバーラップが選択される。すなわち、例えば５つの値を有する隣接パッチに関しては、２つの値が重なり合う。他の実施形態では、オーバーラップはより大きく、例えば、３０〜４０％、４０〜５０％、約５０％（例えば、４５〜５５％）又は最大で９０％であってよい。パッチサイズの２０％を下回るオーバーラップに関して、本発明の下記の効果は、通常、より低い。

先に及び以下で更に述べられているように、最終的な高周波バンドＨ_１は、夫々のピクセルに寄与するパッチの数によって正規化後に得られ、よって、結果として、平均値が得られる。パッチ間のオーバーラップが大きくなればなるほど、高周波外挿処理から得られる高周波アーティファクトの抑制はますます良くなり、累算される値はますます多くなる。

次いで、夫々の低周波高解像パッチＰ_ｎ，Ｌ１について、平均絶対差（mean absolute difference；ＭＡＤ，モーション推定から知られる）に関する最良の整合（best matching）は、低解像画像の低周波バンドＬ_０にわたる局所的なサーチ窓（例えば、１１×１１ピクセル）における全数検索後に得られる。最良の整合は、低周波高解像パッチＰ_ｎ，Ｌ１（例えば、５×５ピクセル）と同じサイズを有する低周波低解像画像Ｌ_０からのブロックＰ_ｎ，Ｌ０である。サーチ窓に関する更なる詳細は、図４に関して以下で記載される。

次のステップを理解するために、図２に示されるように、低解像低周波データ構造Ｌ_０は低解像高周波データ構造Ｈ_０と同じ次元を有し、高解像低周波データ構造Ｌ_１は高解像高周波データ構造Ｈ_１と同じ次元を有することが留意されるべきである。パッチ毎に、整合した低周波低解像パッチＰ_ｎ，Ｌ０（Ｌ_０内）の位置が決定され、整合した低周波低解像パッチＰ_ｎ，Ｌ０のその位置にある対応する低解像高周波パッチＰ_ｎ，Ｈ０（Ｈ_０内）が取り出される。Ｈ_０からの取り出された低解像高周波パッチＰ_ｎ，Ｈ０は、次いで、高解像低周波データ構造Ｌ_１における現在のパッチが有する同じ位置で、高解像画像の高周波バンドＨ_１に累算される。詳細には、Ｈ_０からの取り出された低解像高周波パッチＰ_ｎ，Ｈ０の各値（例えば、ピクセル）は、高解像画像の高周波バンドＨ_１の夫々のパッチにおける対応する値（例えば、ピクセル）に累算される。このように、高解像画像の高周波バンドＨ_１は、パッチに基づく累算によって合成される。重なり合ったパッチにおいて高解像画像の低周波バンドＬ_１を分割し、最良の低周波整合を見つけ、対応する周波寄与を累算する処理は、図３において図解されており、以下で記載される。

結果として、高解像データ構造の結果として得られる（予備的な）高周波バンドＨ_１における各値は、複数の寄与するパッチからの値の和である。Ｌ_１における（結果として、更に、Ｈ_１における（両者は同じ次元を有するため。））パッチのオーバーラップにより、少なくとも２つのパッチからの値がＨ_１における多数又は全ての値に寄与する。従って、高解像データ構造の結果として得られる（予備的な）高周波バンドＨ_１は正規化１９０される。このために、高周波高解像データ構造Ｈ_１における各値についてのＨ_０からの寄与値の数は、合成処理の間にカウントされ、Ｈ_{１，ａｃｃ}における各累算値は、最終的に寄与の数によって割られる。

図３は、低解像低周波データ構造Ｌ_０内のサーチ窓の使用及びポジショニングを例示する。Ｌ_１における第１のパッチＰ_{１１，Ｌ１}に関し、第１の最も良く整合するブロックＰ_{１１，Ｌ０}は、第１のサーチ窓Ｗ_１１内でＬ_０において検索される。両パッチは同じサイズを有する。サーチ窓は、夫々の方向において少なくとも１つの値だけパッチよりも大きい（第１のパッチに関しては、エッジ上を除く）。この例では、第１の最も良く整合するブロックＰ_{１１，Ｌ０}は、第１のサーチ窓Ｗ_１１の左上角において、Ｌ_０において見つけられる。このパッチ及びブロックのための更なる処理は、上述されたとおりである。次いで、次のパッチは水平方向及び／又は垂直方向でシフトされ、夫々のパッチは前のパッチと重なり合う。

例において、第２のパッチＰ_{１２，Ｌ１}は、所与のパッチ前進によって水平方向にシフトされる位置で選択される。パッチ前進は、パッチサイズとオーバーラップとの間の差である。異なる次元（例えば、２Ｄ構造に関して水平方向及び垂直方向）におけるパッチ前進は異なってよく、これにより、高解像出力データ構造の次元において異なる効果又は品質がもたらされ得るが、それらは、通常は等しい。新しいサーチ窓Ｗ_１２は、新しいパッチ位置に従って決定される。原理上、サーチ窓は、パッチと同じ方向であるがよりゆっくりと前進する。よって、現在のサーチ窓は、ここでの場合のように、前のサーチ窓と同じ位置にあってよい。しかし、他のパッチＰ_{１２，Ｌ１}がそのサーチ窓において検索されるので、最も良く整合するパッチＰ_{１２，Ｌ０}の位置は、通常は異なる。次いで、最も良く整合するパッチＰ_{１２，Ｌ０}は、上述されたように、低周波高解像パッチＰ_{１２，Ｌ１}の位置で、高解像高周波データ構造Ｈ_１に累算される。次のパッチＰ_{１３，Ｌ１}、Ｐ_{１４，Ｌ１}が決定され、それらの最良の整合が同じように検索される。図３に示されるように、サーチ窓内の最も良く整合するブロックの位置は任意であり、入力データ（例えば、画像コンテンツ）に依存する。上記の説明は、１次元（１Ｄ）のデータ構造については十分である。２Ｄデータ構造に関し、更なる後のパッチの位置は、垂直方向のパッチ前進によって見つけられる（これは、水平方向のパッチ前進と組み合わされてもされなくてもよい。）。また、垂直方向のパッチ前進は、上述され且つＰ_{２１，Ｌ１}、・・・、Ｐ_{２３，Ｌ１}に関して図３に示されるように、オーバーラップを含む。

サーチ窓の位置は、現在のパッチの位置に従って決定される。図３に示されるように、異なるパッチのサーチ窓Ｗ_１１、・・・、Ｗ_２２は重なり合う。Ｌ_０はＬ_１に類似するデータ構造であるから、夫々の次元におけるサーチ窓の前進は極めて小さい。一実施形態では、サーチ窓は、それらの対応するパッチがＬ_１のエッジ上にある場合はＬ_０のエッジ上にあり、それは、それらのエッジの間で一様に及び／又は比例的に動かされる。

一実施形態（図３には図示せず。）では、サーチ窓の中心は、パッチの中心に略比例する位置に設定される。例えば、パッチの中心が高解像データ構造Ｌ_１の３％にある場合に、サーチ窓の中心は、低解像データ構造Ｌ_０のおよそ３％（端数切り捨て）にあるよう設定される。この場合に、エッジ近くのパッチに関し、サーチ窓のサイズは小さくされてよく、あるいは、サーチ窓は低解像データ構造Ｌ_０内に完全にシフトされてよい。

概して、サーチ窓が大きければ大きいほど、非常に類似したパッチを見つける可能性はますます高くなる。しかし、実際には、局所的なパッチ構造は大域的な自然画像における極めて局所的な領域においてしか見つけられない可能性が高いので、サーチ窓を大いに増大させることによる精度の差はほとんど期待されない。更に、より大きいサーチ窓は、検索の間、より多くの処理を要する。

図４は、画像（すなわち、２Ｄ入力データ構造）における連続するパッチの選択、オーバーラップ、及び連続するパッチのための整合ブロックを決定する原理の詳細を示す。代表的に、パッチ及びブロックは５×５ピクセルを有し、サーチ窓は１２×１２ピクセルを有する。Ｌ_１における第１のパッチＰ_１，Ｌ１に関し、サーチ窓Ｗ_１は、上述されたように、Ｌ_０において決定される。サーチ窓Ｗ_１内で、異なるブロック位置での第１のパッチの比較が行われ、最小平均絶対差（ＭＡＤ）を有するブロックＢ_１，Ｌ０が決定される。これは、最も良く整合するブロックである。低解像低周波データ構造Ｌ０内のその位置が決定される。例えば、その左上角は、３行目第３列にある。

次いで、高周波低解像画像Ｈ_０における同じ位置にある対応するパッチが決定される。よって、それは、その左上角が３行目第３列にある５×５ピクセルパッチである。このパッチは、Ｈ_０から取り出され、現在の低周波高解像パッチＰ_１，Ｌ１の位置で、すなわち、Ｈ_１の左上角で、Ｈ_１に加えられる（図４ａ参照）。

第２のパッチＰ_２，Ｌ１は、図４ｂ）に示されるように、用いられるパッチ前進に従って選択される。パッチ前進は、この場合に、両方の方向において２ピクセルであり、これは、５×５ピクセルのパッチサイズにより、オーバーラップが３であることを意味する。よって、この例では、垂直オーバーラップｖ_ｖ及び水平オーバーラップｖ_ｈは等しい。よりゆっくりとしたサーチ窓の前進により、サーチ窓Ｗ_２は、前のパッチに対するものと同じである。しかし、異なるピクセル値（任意の画像コンテンツに従う）により、サーチ窓内の他の最も良く整合するブロックＢ_２，Ｌ０が見つけられる。上述されたのと同じように、その位置が決定され（例えば、２行目第７列にある左上角）、対応する５×５ブロック（左上角が２行目第７列にある）がＨ_０から取り出され、Ｈ_０からの取り出されたブロックは、第２のパッチＰ_２，Ｌ１の位置で、すなわち、１行目第３列にあるその左上角により、高周波高解像画像Ｈ_１に加えられる。よって、２又はそれ以上の異なるパッチに属する特定のピクセルは、最も良く整合するブロックの対応するピクセルから累算される。すなわち、代表的に、高解像高周波画像Ｈ_１の５行目第４列にある特定のピクセル（図４に示されるＬ_１における位置に対応）は、記載されている処理の目下の段階で、７行目第６列にあるピクセルから（第１のパッチの最も良く整合するブロックＢ_１，Ｌ０から）及び６行目第８列にあるピクセルから（第２のパッチの最も良く整合するブロックＢ_２，Ｌ０から）累算される値を有する。

上述されたように、サーチ窓は、通常、複数のパッチが処理された後にのみ前進する。上記の構成に関して図４ｃ）で例示されるように、それは、サーチ窓Ｗ_３が水平方向において１ピクセルだけシフトされる前に、三度のパッチ前進（すなわち、４番目のパッチ）を要する。更に、パッチ前進（及び、よって、サーチ窓前進）の様々な次元の順次的な順序は違いがないことがここでは留意される。よって、図４ｄ）に表されるパッチは、前のパッチがＬ_１の右側エッジまでシフトされた後に処理されてよいが、それはまた、図４ａ）に示されるような第１のパッチの後に直接処理されてもよい。

図５は、１Ｄデータ構造のための対応する例を示す。この場合にも、低周波高解像データ構造Ｌ_１の位置＃１・・・＃４にある第１のパッチ（Ｘで表される値を有する）は、低周波低解像データ構造Ｌ_０サーチ窓ｗ_１内で見つけられる。例えば、位置＃２・・・＃５にある値。よって、位置＃２・・・＃５での対応するＨ_０（図示せず。）の値は、位置＃１・・・＃４でＨ_１（図示せず。）へ加えられる。第２のステップで、Ｌ_１の位置＃３・・・＃６での第２のパッチは、Ｌ_０において、例えば、Ｌ_０の位置＃３・・・＃６（サーチ窓の位置＃２・・・＃５）で、第２のサーチ窓ｗ_２内で見つけられる。よって、位置＃３・・・＃６での対応するＨ_０（図示せず。）の値は、位置＃２・・・＃５でＨ_１（図示せず。）へ加えられ、以降続く。

１Ｄ及び２Ｄデータ構造に関して上述されたのと同じ原理は、３Ｄデータ構造を含むあらゆる多次元データ構造にも適用可能である。

上述されたように、単一像を超解像化するための開示される方法は、３つの段階から成る。本発明の第１の段階として、図６は、高解像画像のアップスケーリングされた低周波バンドＬ_１の形成、及び低解像入力画像Ｓ_０の２バンド解析（Ｌ_０，Ｈ_０）の原理を示す。方法のこの第１の段階の目的は、一実施形態において分数であるアップスケーリング係数により高解像画像の低周波バンドＬ_１と、同じ正規化されたバンド幅を有する低解像画像Ｌ_０と、低解像画像の残りの高周波成分Ｈ_０とを得ることである。低周波部分Ｌ_０及び高周波部分Ｈ_０への低解像入力画像Ｓ_０の２バンド解析が実行される。低解像画像のカットオフ正規化周波数は、高解像画像のそれと等しい。一実施形態では、可分なフィルタが、平方点広がり関数（ＰＳＦ）による大規模な畳み込みを回避するために使用される。これは、補間高解像フィルタＦ_ｌ，１及びローパス低解像フィルタＦ_ｌ，０の両方が十分に１次元フィルタとして表され得ることを意味する。このために、必要に応じて、ＰＳＦは、対応する係数ベクトルのテンソル積として計算され得る（Ｆ_ｌ，１ ^２Ｄ＝Ｆ_ｌ，１Ｆ_ｌ，１ ^Ｔ及びＦ_ｌ，０に関して同様）。

以下で、フィルタの設計のための一実施形態が記載される。

図６に示される２つのフィルタの設計は、主に、低解像ＦＩＲフィルタＦ_ｌ，０の次数Ｎ_０の任意の選択及び有理数のアップスケーリング係数ｎ／ｄによって決定される。常のごとく、次数の選択は、畳み込みのための利用可能な計算時間によって決定される。概して、８・・・１６の次数における値は、急峻な十分な遷移バンドを提供するのに十分であるべきである。次数Ｎのために偶数値を選択し、これによりＮ＋１個のフィルタ係数が得られることによって、更なる位相シフトは回避され、より正確な高周波バンドが得られる。ローパスフィルタＦ_ｌ，１及びＦ_ｌ，０はいずれも実数であり、直線位相を有する。すなわち、それらは有限インパルス応答（finite impulse response；ＦＩＲ）フィルタである。対応するカットオフ周波数での各フィルタの正規化ゲインは、−６ｄＢと定義される。係数は、長さＮ＋１のハミング窓を用いる離散ｓｉｎｃ関数として定義される。フィルタ振幅は、概して、ウィンドウイング後のローパスバンドの中心でのスケーリングとして定義される。

高解像補間フィルタ
それらの規則を念頭に置いて、設計すべき第１のフィルタは、高解像補間フィルタＦ_ｌ，１である。低解像フィルタＦ_ｌ，０のための所望の次数Ｎ、有理数のアップスケーリング係数ｎ／ｄ、及び前の段落からの設計規則を鑑み、残りの欠けているパラメータは、スケーリング係数σ_１（既知のサンプル間に挿入されているｎ個のゼロに対処するため）、高解像フィルタＦ_ｌ，１のための次数Ｎ_１、及びそのカットオフ正規化周波数Ω_１である。それらのパラメータは、σ_１＝ｎ、Ｎ_１＝Ｎ_０ｎ、及びΩ_１＝ｍｉｎ（１／ｎ，１／ｄ）＝１／ｎである。カットオフ周波数は、既存のサンプル間へのゼロの挿入によって生じるスペクトルレプリカを削除する要件に従う。

低解像等価ローパスフィルタ
この場合に、ゼロは既存のサンプル間に導入されず、従って、このフィルタの振幅はσ_０＝１である。このフィルタの次数は予め任意に定義されており、カットオフ周波数はΩ_０＝ｄ／ｎに設定される。この値は、高解像画像に適用される補間フィルタ後のデシメーションを補償する。

このフィルタ設計によれば、低解像入力画像の解析された低周波成分は、正規化されたバンド幅に関して、所望の高解像画像の低周波成分に整合する。反対に、低解像画像の解析された高周波成分は、高解像画像の欠けている高周波バンドを推定するために使用される。

本発明の第２の段階の目的は、入力画像における局所的な自己相似性を利用することによって、高解像画像の高周波バンドを合成することである。これは、小さいパッチ毎に基づく。方法は、概して、低解像画像の解析された低周波成分のためのより幅広い周波数バンド幅（増大された情報）の利用可能性により、より小さい倍率係数を用いることが有効である。これは、類似する低周波コンテンツを有する画像パッチのためのより良い選択性を提供する。これは、図７において概略的に図解される。方法の更なる詳細は、以下で論じられる。

図７は、超解像画像の高周波バンドを合成する処理の概念的ブロック図７００を例示する。これは、原理上、低解像画像の高周波バンドＨ_０を外挿することによって行われる。信号Ｗ_１（ｔ）及びＷ_０（ｔ）は、処理されている現在の画像パッチに応じて時間において変化する位置を有する空間窓であり、パッチ前進及びサーチ窓前進を夫々象徴する。すなわち、例えば、高解像画像の低周波バンドＬ_１が分割される小さいパッチ（例えば、５×５ピクセル）の前進及びオーバーラップは、低周波高解像データ構造Ｌ_１内を、及び、同時に、高解像データ構造の高周波バンドＨ_１内を第１の速度で進む窓Ｗ_１（ｔ）として理解され得る。低解像画像の低周波バンドＬ_０にわたるサーチ窓の前進は、時間変化する窓Ｗ_０（ｔ）によってモデル化され、これは、同じように低解像画像の高周波バンドＨ_０に適用される。サーチユニット７１０は、サーチ窓内で最も良く整合するブロック（すなわち、最小ＳＡＤを有するもの）のための全数検索を実行する。その位置は、上述されたように、低解像画像の高周波バンドＨ_０に適用される。検索は、通常、ある存続期間を有するので、この遅延は、遅延補償ユニット７２０，７３０によって補償される。低解像高周波データ構造Ｈ_０における対応するパッチは、抽出ユニット７４０で取り出され、累算ユニット７５０で高解像高周波データ構造Ｈ_１へ累算される。同様の実施形態は、１Ｄ又は３Ｄのような、２Ｄとは異なる次元を有するデータ構造のために導出され得る。

第３の段階は、最終的な高解像画像の形成である。この段階の目的は、高解像画像の低周波バンドＬ_１を高解像画像の正規化された高周波バンドＨ_１と適切に融合することである。正規化された高周波高解像バンドＨ_１は、低周波高解像バンドＬ_１による加算の前に、ハイパスフィルタリングされ得る。このハイパスフィルタリングは、スペクトル適合性を確かにするために有利であるが、Ｌ_１及びＨ_１が実質的に重なり合った周波数を有さない場合に省略され得る（図８ｂ参照）。

図８は、超解像画像Ｓ_１を生成するための低周波高解像バンドＬ_１と正規化された高周波高解像バンドＨ_１との融合を例示する。正規化された高周波バンドＨ_１は、低周波バンドとのスペクトル適合性を確かにするために、ハイパスフィルタ８００を用いてフィルタリングされる。

高解像ハイパスフィルタ
フィルタＦ_ｈ，１は、第１の段階におけるフィルタＦ_ｌ，０、Ｆ_ｌ，１と同じように設計される。この場合に、目的は、カットオフ周波数Ω_１，ｈ＝ｄ／ｍａｘ（ｎ，ｄ）＝ｄ／ｎを有するハイパスフィルタを得ることである。その次数は、低解像フィルタの次数のスケーリングされたもの、すなわち、Ｎ_１，ｈ＝ｒｏｕｎｄ（Ｎ_０ｎ／ｄ）に設定され、その振幅はσ_１，ｈ＝１である。可分なハイパスフィルタの最終的な係数は、同じカットオフ周波数を有する相補的なローパスフィルタの係数を差し引いた、ハミング窓の中心と整列されたクロネッカーのデルタ（Kronecker delta）に設定される。すなわち、ハイパスフィルタは、所望のハイパスフィルタと同じカットオフ周波数を有するローパスフィルタを差し引いた全パスフィルタ（係数の組はクロネッカーのデルタと等しい）として定義される。これは、図８ｂ）に図表を用いて示されている。図８ｂ）において、左側は、ハイパスフィルタの所望の周波数応答ＨＰであり、右側は、全パスフィルタＡＰと上記のローパスフィルタＬＰとの応答の差である。

上記の説明から明らかになったように、高解像画像の低周波バンドＬ_１は、原理上、補間によって得られ、一方、高解像画像の高周波バンドＨ_１は、原理上、外挿によって得られる。

図９は、デジタルデータの低解像入力データ構造Ｓ_０の超解像処理を行う装置であって、低周波入力データ構造Ｌ_０が取得されるように入力データ構造Ｓ_０をフィルタリングする第１のローパスフィルタ９７０と、高周波入力データ構造Ｈ_０が生成されるように入力データ構造Ｓ_０と低周波入力データ構造Ｌ_０との間の差を計算する加算器、減算器又は微分器９８０と、入力データ構造Ｓ_０をアップスケーリングするアップスケーラ９２０と、低周波アップスケールドデータ構造Ｌ_１が取得されるように、アップスケーリングされた入力データ構造をフィルタリングする第２のローパスフィルタ９３０と、低周波アップスケールドデータ構造Ｌ_１において、第１の位置にある第１のパッチを決定する第１の決定ユニット９５１と、第１のパッチに最も良く整合する第１のブロックを低周波入力データ構造Ｌ_０において探すサーチユニット９５２と、低周波入力データ構造Ｌ_０内の第１のブロックの位置を決定する第２の決定ユニット９５４と、決定された位置にある（すなわち、低周波入力データ構造内の第１のブロックについて決定された位置にある）高周波入力データ構造Ｈ_０における第２のブロックを選択するセレクタユニット９５５と、選択された第２のブロックのピクセルデータを、最初は空である第１の位置での高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算（すなわち、加算）する累算器９５７と、低周波アップスケールドデータ構造Ｌ_１における複数のパッチについての処理の繰り返しを制御する制御ユニット９５０と、正規化された高周波アップスケールドデータ構造Ｈ_１が取得されるように高周波アップスケールドデータ構造における累算されたピクセル値を正規化（すなわち、平均化）する正規化ユニット９９０と、正規化された高周波アップスケールドデータ構造Ｈ_１をフィルタリングするハイパスフィルタ９９５と、超解像データ構造Ｓ_１が取得されるように、ハイパスフィルタによりフィルタリングされた正規化された高周波アップスケールドデータ構造Ｈ_１を低周波アップスケールドデータ構造Ｌ_１と結合する結合ユニット９９９とを有する装置を示す。適切なサイズを有する様々なメモリＭｅｍＬ_０、ＭｅｍＬ_１、ＭｅｍＨ_０、ＭｅｍＨ_１は、中間記憶のために使用され得る。なお、これらは、１又はそれ以上の物理メモリとして実施されてよい。原理上、正規化（すなわち、平均化）は、現在のピクセルについて、その現在のピクセルの累算された値に寄与しているピクセルの数によって現在のピクセルの累算された値を割ることを含む。なお、実質的に同等の結果をもたらす如何なる正規化方法も使用され得る。

更なる実施形態は、それらの幾つかが図１及び／又は図９においても示されており、以下で記載される。

一実施形態では、方法は、低周波入力データ構造Ｌ_０において第１のサーチ窓Ｗ_１を決定するステップ１５１，１５２を更に有し、第１のサーチ窓Ｗ_１は、高周波アップスケールドデータ構造Ｌ_１において第１の位置に対応する位置にあるブロックの周りの領域をカバーし、前記低周波入力データ構造Ｌ_０において探すステップ１５２，１５４は、第１のサーチ窓Ｗ_１内でのみ実行される。低周波入力データ構造Ｌ_０においてサーチ窓Ｗ_１を決定するステップ１５１，１５２は、低周波アップスケールドデータ構造Ｌ_１において新しいパッチごとに繰り返される。

一実施形態では、サーチ窓によってカバーされる領域は、高周波アップスケールドデータ構造Ｌ_１において第１の位置に対応する位置にあるブロックの周りの低周波アップスケールドデータ構造Ｌ_０の夫々の方向における複数の値を有する。

一実施形態では、低周波アップスケールドデータ構造Ｌ_１における夫々の新しいパッチＰ_ｎ，Ｌ１は、少なくとも１つの前に処理されたパッチと重なり合う。

一実施形態では、低周波アップスケールドデータ構造Ｌ_１は、入力データ構造Ｓ_０をアップスケーリング係数ｎによってアップスケーリング１２０し、アップスケーリングされた入力データ構造を第２のローパスフィルタＦ_ｌ，１によってフィルタリング１３０し、フィルタリングされたアップスケーリングされた入力データ構造をダウンスケーリングユニット９４０においてダウンスケーリング係数ｄによってダウンスケーリング１４０することによって取得され、ｎ＞ｄである。このようにして、最終の非整数スケーリング係数ｎ／ｄが取得される。

一実施形態では、第１のローパスフィルタＦ_ｌ，０及び第２のローパスフィルタＦ_ｌ，１は、同等のフィルタである（すなわち、正規化されたカットオフ周波数に係る）。

一実施形態では、第１のローパスフィルタＦ_ｌ，０は、次数Ｎ_０、σ_０＝１の大きさ、及びΩ_０＝ｄ／ｎの正規化されたカットオフ周波数の特性を備え、第２のローパスフィルタＦ_ｌ，１は、Ｎ_１＝ｎＮ_０の次数、σ_１＝ｎの大きさ、及びΩ_１＝１／ｎの正規化されたカットオフ周波数の特性を備える。

一実施形態では、方法は、ハイパスフィルタＦ_ｈ，１により高周波アップスケールドデータ構造Ｈ_{１，ａｃｃ}をフィルタリングするステップを更に有する。ハイパスフィルタＦ_ｈ，１は、Ω_１，ｈ＝ｄ／ｎの正規化されたカットオフ周波数、Ｎ_１，ｈ＝ｒｏｕｎｄ（Ｎ_０×ｎ／ｄ）の次数、及びσ_１，ｈ＝１の大きさを有する。

一実施形態では、低周波アップスケールドデータ構造Ｌ_１において新しいパッチＰ_ｎ，Ｌ１を決定するステップ、該決定されたパッチＰ_ｎ，Ｌ１に最も良く整合するブロックを低周波入力データ構造Ｌ_０において探すステップ１５２，１５４、高周波入力データ構造Ｈ_０における対応するブロックＢ_ｎ，Ｈ０を選択するステップ１５５、及び新しいパッチＰ_ｎ，Ｌ１の位置にある高周波アップスケールドデータ構造Ｈ_{１，ａｃｃ}におけるパッチＰ_ｎ，Ｈ１にその選択された対応するブロックＢ_ｎ，Ｈ０のピクセルデータを累算するステップ１５７は、低周波アップスケールドデータ構造Ｌ_１の全体がカバーされるまで全てのパッチについて繰り返される。

一実施形態では、方法は、高周波アップスケールドデータ構造Ｈ_{１，ａｃｃ}においてピクセルごとの寄与の数、すなわち、高周波アップスケールドデータ構造Ｈ_{１，ａｃｃ}のピクセルに寄与した高周波入力データ構造Ｈ_０からのブロックの数をカウントするステップを更に有する。その場合に、正規化するステップ１９０は、カウントするステップによって取得された寄与の数によってＨ_{１，ａｃｃ}におけるピクセルごとの累算値を割ることを含む。

一実施形態では、入力データ構造Ｓ_０は、２Ｄデジタル画像である。他の実施形態では、入力データ構造Ｓ_０は、３Ｄデジタル画像である。デジタル画像は、一般的に、デジタルビデオシーケンスの部分であってよい。

一実施形態では、入力データ構造Ｓ_０は、デジタル２Ｄデータを有し、夫々のブロック及び夫々のパッチは、少なくとも５×５個の値を有し、サーチ窓は、少なくとも９×９個の値をカバーし、夫々のパッチは、少なくとも２個の値だけ少なくとも１つの先に処理されたパッチと重なり合う。

一実施形態では、装置は、低周波入力データ構造Ｌ_０、低周波アップスケールドデータ構造Ｌ_１、高周波入力データ構造Ｈ_０、及び高周波アップスケールドデータ構造Ｈ_１のうちの少なくとも１つの中間記憶のための少なくとも１つのメモリＭｅｍＬ_０、ＭｅｍＬ_１、ＭｅｍＨ_０、ＭｅｍＨ_１を更に有する。

一実施形態では、装置は、低周波入力データ構造Ｌ_０においてサーチ窓Ｗ_１を決定するサーチ窓決定ユニットをサーチユニット９５２内で更に有し、サーチ窓Ｗ_１は、高周波アップスケールドデータ構造Ｌ_１において第１の位置に対応する位置にあるブロックの周りの領域をカバーし、サーチユニット９５２は、第１のサーチ窓Ｗ_１内でのみ低周波入力データ構造Ｌ_０において探す。

一実施形態では、装置は、高周波アップスケールドデータ構造Ｈ_{１，ａｃｃ}においてピクセルごとの寄与の数をカウントするカウンタ９５３を更に有する。正規化ユニット９９０は、寄与の数によってピクセルごとの累算値を割る動作を実行する。

図１０は、ａ）及びｂ）において、画像及びその原のスペクトルを示す。更に、図１０ｃ）は、本発明に従って画像がアップスケーリングされた後のその画像のスペクトルを示し、図１０ｄ）は、既知の双三次補間を用いて従来手法でアップスケーリングされた後の画像のスペクトルを示す。認識され得るように、従来手法でアップスケーリングされた画像のクリッピングされたスペクトルは改善され、本例では、対角線沿いの付加的な値において可視的である。つまり、本発明に従ってアップスケーリングされたデータ構造のスペクトルは、従来手法によりアップスケーリングされたデータ構造のスペクトルよりも原のスペクトルに近づくことが、本発明の利点である。周波数スペクトルは、開示されている方法が如何にして、アッスケーリングされた画像の欠けている高周波をもっともらしく外挿することができるのかを明示し（それらは、アップスケーリングされた画像におけるより鮮明な輪郭に見られ、より視覚的に魅力的な画像が得られる。）、一方、双三次補間は、多大なエイリアシング・アーティファクトを導入する。

開示されている方法は、より高い解像度のバージョンが推定されるべきである多数の公に利用可能な低解像入力メッセージに対して実施及びテストされてきた。一実施形態では、それは、概して、入力画像の輝度チャネルにのみ適用され、色アップスケーリングを双三次補間のようなより高速なアルゴリズムに任せる。図１０の例では、超解像画像は、１．５倍（ｎ＝３，ｄ＝２）の小さいアップスケーリング係数を三回入力画像に繰り返し適用することによって取得された。

図１１は、単一像を超解像化するための開示される方法に含まれる３つの基本的な段階を示す。第１の段階１１１０で、入力画像の補間に基づくアップスケーリングが行われ、低解像画像に対する等価ローパスフィルタリング動作が続く。第２の段階１１２０は、高解像画像における被検パッチと、部分的に重なり合うパッチを含む低解像低周波画像における局所的に隣接したパッチとの間の低周波整合の検索、及び低解像画像から取得される高周波寄与を累算することを有する。第３の段階１１３０は、正規化及びハイパスフィルタリングと、高解像画像の低周波バンド及び外挿されるハイパスフィルタリング及び正規化された高周波バンドの寄与の加算と有する。

デジタル画像として簡単に示されているが、他のタイプのデジタルデータ構造が、当業者に明らかなように、デジタル画像以外に構成されてよいことが留意されるべきであり、それらのデジタルデータ構造の全ては本発明の範囲内に包含される。同様の原理は、画像ノイズ除去又は他の復元プロシージャのような他の画像処理タスクに、更には、オーディオ信号のような異なる性質及び次元の超分解能信号を取得するために、適用され得る。

開示されている方法は、単一像とともに働くが、有利に、高周波部分（すなわち、詳細）を含む十分な標本を取り出すためのデータベースを必要としない。

他の利点として、開示されている方法は、比較的計算的に効率的であり（それは単一像しか必要とせず、メインの処理ステップは小規模の局所検索である。）、アップスケーリング係数の定義が柔軟であり（それは有理数のアップスケーリング係数及び簡単なＦＩＲフィルタ設計を可能にする。）、更には、異なる性質の信号を処理するために一般化され得る（信号モデルにおける事前の推定は、局所的な自己相似性を超えて、必要とされない。）。

本発明の更なる利点は、入力データ構造の単一のアップスケーリングプロシージャしか用いられず、且つ、外挿がその原の解像度で入力データ構造からなされることである。よって、アップスケーリングによって導入されるアーティファクトの量は最小限にされ、これは、特に、有理数のアップスケーリング係数にとって有利であり、広い高周波バンドが、高周波高解像データ構造における情報を増強するために利用可能である。

本発明の更なる利点は、フィルタを設計するための明確且つ単純な規則が提供されること、及びフィルタが空間不変であることから一度しか設計される必要がないことである。

本発明の更なる利点は、空間平均化により、高周波高解像データ構造Ｈ_１が、従来手法により得られるものよりもノイズ及び他のアーティファクトに対してロバストであることである。

本発明の更なる利点は、補間される低周波高解像バンドＬ_１と外挿される高周波高解像バンドＨ_１とを融合するプロシージャがそれらの間のコヒーレンスを考慮することである。これは、高周波高解像データ構造のためのハイパスフィルタの適切な設計によって達成される。

本発明の好ましい実施形態に適用される本発明の基本的な新規の特徴が図示、記載及び指摘されてきたが、記載されている装置及び方法における様々な省略及び置換及び変更は、開示されている装置の形態及び詳細において並びにそれらの動作において、本発明の技術的範囲から逸脱することなしに当業者によってなされてよいことが理解されるであろう。代表的に、本発明は平方なブロック及びパッチに関して開示されてきたが、当業者は、ここで記載されている方法及び装置が他の形状及び／又はサイズのブロック及びパッチ、例えば、長方形形状又は自由造形の形状、４×４，・・・，１６×１６の正方形、等に適用されてよいことを認識するであろう。更に、本発明は空間分解能に関して開示されてきたが、当業者は、ここで記載されている方法及び装置が必要な変更を加えて時間分解能にも適用されてよいことを認識するであろう。同じ結果を達成するよう実質的に同じ方法において実質的に同じ機能を実行するそれらの要素の全ての組み合わせは、本発明の技術的範囲にあることが明示的に意図される。１つの記載されている実施形態から他への要素の置換がまた、十分に意図され且つ考慮される。本発明は、単に一例として記載されており、詳細の変更は、本発明の技術的範囲から逸脱することなしになされ得ることが理解されるであろう。

明細書並びに（必要に応じて）特許請求の範囲及び図面において開示されている夫々の特徴は、独立して又は何らかの適切な組み合わせにおいて提供されてよい。特徴は、必要に応じて、ハードウェア、ソフトウェア、又はそれらの組み合わせにおいて、例えば、グラフィクスハードウェア（ＧＰＵ）において実施されてよい。特許請求の範囲において現れる参照符号は、単に例示であり、特許請求の範囲の適用範囲に対する制限効果を有すべきではない。

Claims (16)

1. デジタル１Ｄ、２Ｄ又は３Ｄデータの低解像入力データ構造の超解像処理を行う方法であって、
   低周波入力データ構造が取得されるように第１のローパスフィルタによって前記低解像入力データ構造をフィルタリングするステップと、
   高周波入力データ構造が生成されるように前記低解像入力データ構造と前記低周波入力データ構造との間の差を計算するステップと、
   低周波アップスケールドデータ構造が取得されるように、前記低解像入力データ構造をアップスケーリングし、該アップスケーリングされた入力データ構造を第２のローパスフィルタによってフィルタリングするステップと、
   前記低周波アップスケールドデータ構造において、第１の位置にある第１のパッチを決定するステップと、
   前記第１のパッチに最も良く整合する第１のブロックを前記低周波入力データ構造において探し、前記低周波入力データ構造内の前記第１のブロックの位置を決定するステップと、
   前記低周波入力データ構造内の前記第１のブロックについて決定された位置にある前記高周波入力データ構造における第２のブロックを選択するステップと、
   前記選択された第２のブロックのピクセルデータを、加算によって、前記第１の位置で、最初は空である高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算するステップと、
   前記低周波アップスケールドデータ構造において新しいパッチを決定するステップ、該決定されたパッチに最も良く整合するブロックを前記低周波入力データ構造において探すステップ、前記高周波入力データ構造における対応するブロックを選択するステップ、及び前記新しいパッチの位置にある前記高周波アップスケールドデータ構造におけるパッチに前記選択された対応するブロックのピクセルデータを累算するステップを繰り返すステップと、
   正規化された高周波アップスケールドデータ構造が取得されるように前記高周波アップスケールドデータ構造における前記累算されたピクセル値を正規化するステップであって、現在のピクセルについて、該現在のピクセルの累算された値に寄与しているピクセルの数によって前記現在のピクセルの前記累算された値を割ることを含むステップと、
   超解像データ構造が取得されるように前記正規化された高周波アップスケールドデータ構造を前記低周波アップスケールドデータ構造に加えるステップと
   を有する方法。
2. 前記低周波入力データ構造において、前記高周波アップスケールドデータ構造において前記第１の位置に対応する位置にあるブロックの周りの領域をカバーする第１のサーチ窓を決定するステップを更に有し、
   前記低周波入力データ構造において探すステップは、前記第１のサーチ窓内でのみ実行され、
   前記低周波入力データ構造においてサーチ窓を決定するステップは、前記低周波アップスケールドデータ構造において新しいパッチごとに繰り返される、
   請求項１に記載の方法。
3. 前記サーチ窓によってカバーされる領域は、前記高周波アップスケールドデータ構造において前記第１の位置に対応する位置にあるブロックの周りの前記低周波アップスケールドデータ構造の夫々の方向における複数の値を有する、
   請求項２に記載の方法。
4. 前記低周波アップスケールドデータ構造における夫々の新しいパッチは、少なくとも１つの前に処理されたパッチと重なり合う、
   請求項１乃至３のうちいずれか一項に記載の方法。
5. 前記低周波アップスケールドデータ構造は、前記低解像入力データ構造をアップスケーリング係数ｎによってアップスケーリングし、該アップスケーリングされた入力データ構造を前記第２のローパスフィルタによってフィルタリングし、該フィルタリングされたアップスケーリングされた入力データ構造をダウンスケーリング係数ｄによってダウンスケーリングすることによって取得され、ｎ＞ｄであり、
   最終の非整数スケーリング係数ｎ／ｄが取得される、
   請求項１乃至４のうちいずれか一項に記載の方法。
6. 前記第１のローパスフィルタ及び前記第２のローパスフィルタは、同等のフィルタである、
   請求項１乃至５のうちいずれか一項に記載の方法。
7. 前記第１のローパスフィルタは、次数Ｎ_０、σ_０＝１の大きさ、及びΩ_０＝ｄ／ｎの正規化されたカットオフ周波数の特性を備え、前記第２のローパスフィルタは、Ｎ_１＝ｎＮ_０の次数、σ_１＝ｎの大きさ、及びΩ_１＝１／ｎの正規化されたカットオフ周波数の特性を備える、
   請求項１乃至６のうちいずれか一項に記載の方法。
8. Ω_１，ｈ＝ｄ／ｎの正規化されたカットオフ周波数、Ｎ_１，ｈ＝ｒｏｕｎｄ（Ｎ_０×ｎ／ｄ）の次数、及びσ_１，ｈ＝１の大きさを有するハイパスフィルタにより前記高周波アップスケールドデータ構造をフィルタリングするステップを更に有する
   請求項１乃至７のうちいずれか一項に記載の方法。
9. 前記低周波アップスケールドデータ構造において新しいパッチを決定するステップ、該決定されたパッチに最も良く整合するブロックを前記低周波入力データ構造において探すステップ、前記高周波入力データ構造における対応するブロックを選択するステップ、及び前記新しいパッチの位置にある前記高周波アップスケールドデータ構造におけるパッチに前記選択された対応するブロックのピクセルデータを累算するステップは、前記低周波アップスケールドデータ構造の全体がカバーされるまで全てのパッチについて繰り返される、
   請求項１乃至７のうちいずれか一項に記載の方法。
10. 前記高周波アップスケールドデータ構造においてピクセルごとの寄与の数をカウントするステップを更に有し、
    前記正規化するステップは、前記カウントするステップによって取得された前記寄与の数によってピクセルごとの累算値を割ることを含む、
    請求項１乃至８のうちいずれか一項に記載の方法。
11. デジタル２Ｄデータの前記低解像入力データ構造は、デジタル画像である、
    請求項１乃至９のうちいずれか一項に記載の方法。
12. 前記低解像入力データ構造は、デジタル２Ｄデータを有し、
    夫々のブロック及び夫々のパッチは、少なくとも５×５個の値を有し、前記サーチ窓は、少なくとも９×９個の値をカバーし、夫々のパッチは、少なくとも２個の値だけ少なくとも１つの先に処理されたパッチと重なり合う、
    請求項１乃至１０のうちいずれか一項に記載の方法。
13. デジタルデータの低解像入力データ構造の超解像処理を行う装置であって、
    低周波入力データ構造が取得されるように前記低解像入力データ構造をフィルタリングする第１のローパスフィルタと、
    高周波入力データ構造が生成されるように前記低解像入力データ構造と前記低周波入力データ構造との間の差を計算する加算器、減算器又は微分器と、
    前記低解像入力データ構造をアップスケーリングするアップスケーラと、
    低周波アップスケールドデータ構造が取得されるように前記アップスケーリングされた入力データ構造をフィルタリングする第２のローパスフィルタと、
    前記低周波アップスケールドデータ構造において、第１の位置にある第１のパッチを決定する第１の決定ユニットと、
    前記第１のパッチに最も良く整合する第１のブロックを前記低周波入力データ構造において探すサーチユニットと、
    前記低周波入力データ構造内の前記第１のブロックの位置を決定する第２の決定ユニットと、
    前記低周波入力データ構造内の前記第１のブロックについて決定された位置にある前記高周波入力データ構造における第２のブロックを選択するセレクタユニットと、
    前記選択された第２のブロックのピクセルデータを、加算によって、前記第１の位置で、最初は空である高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算する累算器と、
    前記低周波アップスケールドデータ構造における複数のパッチについての処理の繰り返しを制御する制御ユニットと、
    正規化された高周波アップスケールドデータ構造が取得されるように前記高周波アップスケールドデータ構造における前記累算されたピクセル値を正規化し、該正規化が、現在のピクセルについて、該現在のピクセルの累算された値に寄与しているピクセルの数によって前記現在のピクセルの前記累算された値を割ることを含む正規化ユニットと、
    前記正規化された高周波アップスケールドデータ構造をフィルタリングするハイパスフィルタと、
    超解像データ構造が取得されるように、前記ハイパスフィルタによりフィルタリングされた前記正規化された高周波アップスケールドデータ構造を前記低周波アップスケールドデータ構造と結合する結合ユニットと
    を有する装置。
14. 前記低周波入力データ構造において、前記高周波アップスケールドデータ構造において前記第１の位置に対応する位置にあるブロックの周りの領域をカバーするサーチ窓を決定するサーチ窓決定ユニットを更に有し、
    前記サーチユニットは、前記サーチ窓内でのみ前記低周波入力データ構造において探す、
    請求項１３に記載の装置。
15. 前記高周波アップスケールドデータ構造においてピクセルごとの寄与の数をカウントするカウンタを更に有し、
    前記正規化ユニットは、前記寄与の数によってピクセルごとの累算値を割る動作を実行する、
    請求項１３又は１４に記載の装置。
16. デジタルデータの低解像入力データ構造の超解像処理を行う方法をコンピュータに実行させる実行可能命令を有するコンピュータ可読媒体であって、
    前記方法は、
    低周波入力データ構造が取得されるように第１のローパスフィルタによって前記低解像入力データ構造をフィルタリングするステップと、
    高周波入力データ構造が生成されるように前記低解像入力データ構造と前記低周波入力データ構造との間の差を計算するステップと、
    低周波アップスケールドデータ構造が取得されるように、前記低解像入力データ構造をアップスケーリングし、該アップスケーリングされた入力データ構造を第２のローパスフィルタによってフィルタリングするステップと、
    前記低周波アップスケールドデータ構造において、第１の位置にある第１のパッチを決定するステップと、
    前記第１のパッチに最も良く整合する第１のブロックを前記低周波入力データ構造において探し、前記低周波入力データ構造内の前記第１のブロックの位置を決定するステップと、
    前記低周波入力データ構造内の前記第１のブロックについて決定された位置にある前記高周波入力データ構造における第２のブロックを選択するステップと、
    前記選択された第２のブロックのピクセルデータを、加算によって、前記第１の位置で、最初は空である高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算するステップと、
    前記低周波アップスケールドデータ構造において新しいパッチを決定するステップ、該決定されたパッチに最も良く整合するブロックを前記低周波入力データ構造において探すステップ、前記高周波入力データ構造における対応するブロックを選択するステップ、及び前記新しいパッチの位置にある前記高周波アップスケールドデータ構造におけるパッチに前記選択された対応するブロックのピクセルデータを累算するステップを繰り返すステップと、
    正規化された高周波アップスケールドデータ構造が取得されるように前記高周波アップスケールドデータ構造における前記累算されたピクセル値を平均化することで正規化するステップと、
    超解像データ構造が取得されるように前記正規化された高周波アップスケールドデータ構造を前記低周波アップスケールドデータ構造に加えるステップと
    を有する、コンピュータ可読媒体。

Images