JP2017505951A - 画像の品質を高める方法及びデバイス - Google Patents

Abstract

画像の品質を高める方法は、最初の低解像度画像（ＬＲＩ）からアップサンプリング（Ｓ２，Ｓ３）によって最初の高解像度画像（ＩＨＲＩ）を得るステップと、最初の低解像度画像に基づき、より低い解像度を有する少なくとも１つのダウンサンプリングされたフィルタ処理した画像（ＡＩｉｊ，ＡＩｉ’ｊ’）を与えるステップ（Ｓ４）と、最初の低解像度画像に基づき、ダウンサンプリングされたフィルタ処理した画像と同じ解像度を有するフィルタ処理されていない画像（ＬＲＩ，ＵＩｉ’ｊ’）を与えるステップ（Ｓ６）と、最初の高解像度画像からパッチ（ＰＩ）を選択するステップと、ダウンサンプリングされたフィルタ処理した画像において、選択されたパッチに類似した子パッチ（ＰＡｋ）を見つけるステップ（Ｓ８）と、子パッチと局所的に関連する親パッチを、フィルタ処理されていない画像において見つけるステップと、品質を高められたパッチ（ＥＰ）を形成するよう親パッチ（ＰＰｋ）を線形結合するステップ（Ｓ１４）とを有する。最後に、上記のステップ繰り返し実施することによって得られる品質を高められたパッチが結合されて（Ｓ１５）、品質を高められた高解像度画像（ＥＩｐ）が形成される。

Description

本発明は、画像の品質を高めるための、特に、所与の低解像度（ＬＲ；Low-Resolution）画像において欠けている高周波ディテールを回復するための、技術に関係がある。そのような技術は、それらが、縮減された記憶空間において画像情報を記憶することを可能にするとともに、画像情報を処理及び／又は送信するのに必要なバンド幅を低減するので、相当な商業的利益を有する。

ピクチャが有することができるディテールの程度には物理的制限がある。これは、その最も高い空間周波数成分が、画像の単位長さごとのピクセルの数の半分よりも高いことができないからである。この制限を下回ると、画像のディテールの程度は、示されている対象や、処理の品質などに応じて、変化し得る。以下の記載で、我々は、上記の物理的上限に関連した語「解像度」と、特定の画像において見る者によって認知されるディテールの量に関連した語「画像品質」とを使用することによって、それら２つの側面を区別する。

例えば、下記の非特許文献１乃至３において記載されている、従来の画像品質向上技術は、ビデオデータにおいて、連続する画像の内容は部分的に繰り返しであり、且つ、所与の画像において欠けている高周波情報は、前の又はその後の画像から（それらで十分であるという条件で）取り出され得る、という事実に依存する。従って、再構成された高解像（ＨＲ；High-Resolution）画像の品質は、ＬＲ画像において利用可能なデータの量に大いに依存する。しかし、実際には、十分でない数のＬＲ観測、動き推定（レジストレーション）の誤差、及び未知の点拡がり関数（ＰＳＦ；Point Spread Function）は、それらのマルチ画像ＳＲメソッドの利用可能性を、一般的な条件の下で２に満たない小さいアップスケーリング比に制限する。

Irani, M.，Peleg, S.，"Improving resolution by image registration"，CVGIP: Graphical Models Image Process. 53 (1991) 231-239 Irani, M.，Peleg, S.，"Motion analysis for image enhancement"，Resolution, occlusion, and transparency，J. Vis. Comm. Image Repres. 4 (1993) 324-335 Farsiu, S.，Robinson, M.，Elad, M.，Milanfar, P.，"Fast and robust multiframe superresolution"，IEEE Trans. Image Process. 13 (2004) 1327-1344

本発明の目的は、画像シーケンスにおける前の又はその後の画像に頼ることなしに、個々の画像の品質が高められ得る方法及びデバイスを提供することである。

目的は、一方で、
ａ）最初の低解像度画像から、アップサンプリングによって最初の高解像度画像を得るステップと、
ｂ）前記最初の低解像度画像に基づき、前記最初の高解像度画像の解像度よりも低い解像度を有する補助画像として、少なくとも１つのダウンサンプリングされたフィルタ処理した画像を与えるステップと、
ｃ）前記最初の低解像度画像に基づき、前記少なくとも１つのダウンサンプリングされたフィルタ処理した画像と同じ解像度を有するフィルタ処理されていない画像を与えるステップと、
ｄ）前記最初の高解像度画像からパッチを選択するステップと、
ｅ）前記少なくとも１つのダウンサンプリングされたフィルタ処理した画像において、前記選択されたパッチに類似した２つ以上の子パッチを見つけるステップと、
ｆ）前記子パッチと局所的に関連する親パッチを、前記フィルタ処理されていない画像において見つけるステップと、
ｇ）品質を高められたパッチを形成するために前記親パッチを線形結合するステップと、
ｈ）品質を高められた高解像度画像を形成するよう、ステップｄ）乃至ｆ）を繰り返し実施することによって得られる品質を高められたパッチを結合するステップと
を有する方法によって、達成される。

本発明は、２つの異なった親パッチが通常は同じオブジェクト（又はオブジェクトの同じ部分）を示さないとはいえ、それらは、複数の思慮深く選択された親パッチを結合することによってディテールが再構成されることを可能にするほど十分に類似し得る、という考えに基づく。言い換えると、画像において示されているものが２つの異なった色の領域（例えば、白色領域及び黒色領域）の間の境界である場合に、この境界は、グレーの異なる陰影でピクセルによって画像において表現される。陰影は、ピクセルが白色又は黒色側に多い傾向がある場合に、ピクセル内で境界が実際にどこにあるかに依存する。ピクセル内の境界の位置は、境界が境界ピクセルに対して異なるように位置するので、境界ピクセルのグレー陰影が異なっている境界の他の領域を示すパッチに基づき、より正確に判断され得る。

少なくとも１つの前記補助画像のうちの第１の補助画像が前記最初の低解像度画像と同じ解像度を有する場合に、当該第１の補助画像と関連する前記フィルタ処理されていない画像は、前記最初の高解像度画像自体であってよい。

実際にしばしば現れる実施形態において、同じ最初の低解像度画像から形成される補助画像は、通常、１つよりも多い。その場合に、前記補助画像のうちの第２の補助画像は、前記最初の高解像度画像の解像度よりも低い解像度を有してよく、当該第２の補助画像と関連する第２のフィルタ処理されていない画像は、前記最初の低解像度画像を当該第２の補助画像の解像度へとダウンサンプリングすることによって得られる。

実施形態において、夫々の補助画像は、前記最初の高解像度画像をダウンサンプリングすることによって得られる。

アップサンプリングは、前記最初の低解像度画像の２つの隣接ピクセルの間に所定数のピクセルを挿入し、それらに標準値（例えば、０）又は隣接ピクセルのうちの１つの値を割り当てることを単に有してよい。その場合に、ローパスフィルタリングステップは、前記補助画像が、前記最初の低解像度画像の解像度へダウンサンプリングすることによって得られるならば、それらの補助画像が元の低解像度画像と及び互いと異なることができることを確かにする。

ローパスフィルタリングは、アップサンプリングされた画像の空間スペクトルにおける高周波成分を弱めることによって、又は補間によって、実施されてよい。

一実施形態において、ステップｅ）において、前記選択されたパッチとの類似の程度は、少なくとも１つの前記補助画像においてパッチごとに評価され、最も高い類似度を有する所定数のパッチのみが、前記子パッチとして保持される。

２つのパッチの類似は、様々な方法で定義されてよい。従来の１つの方法は、２つのパッチの相互相関をそれらの類似の指標として使用することである。

ステップｇ）において、前記品質が高められたパッチは、一実施形態において、
ｇ１）夫々の子パッチに線形係数を割り当てることによって前記子パッチの線形結合を形成し、前記選択されたパッチとの前記線形結合の類似が最も類似した単一の子パッチの類似よりも良いようにするサブステップと、
ｇ２）夫々の子パッチに割り当てられている線形係数を用いて前記親パッチの線形結合を形成するサブステップと
によって得られる。

ステップｇ）において、前記線形係数は、前記子パッチのうちの１つを選択することと、仮パッチと該選択された子パッチとの線形結合を形成することと、重ね合わせの類似が前記仮パッチの類似よりも良い場合に前記仮パッチを該仮パッチと前記子パッチとの線形結合により置換することとを反復的に実施することによって、決定されてよい。

最初の反復において、前記仮パッチは任意に選択されてよく、望ましくは、前記子パッチのうちの１つが前記仮パッチとして選択される。

ステップｇ１）の線形結合において、前記仮パッチの及び前記子パッチの線形係数は、前記選択されたパッチとのそれらの線形結合の類似を最適化するように設定される。

子パッチの線形結合の類似が前記仮パッチの類似よりも良くない場合に、最適化が見つけられたと推測され得、前記反復は中止（すなわち、終了）され得る。前記仮パッチの又は前記子パッチの線形結合の線形係数は、その場合に、ステップｇ）での前記親パッチの線形係数とされ得る。

代替的に、第１の暫定的な品質を高められたパッチは、前記仮パッチの線形係数を用いて前記親パッチを線形結合することによって形成され得、第２の暫定的な品質を高められたパッチは、前記仮パッチと前記選択された子パッチとの線形結合の線形係数を用いて前記親パッチを線形結合することによって形成され得る。前記反復は、前記第２の暫定的な品質を高められたパッチとステップｄ）で選択されたパッチとの類似が、前記第１の暫定的な品質を高められたパッチとステップｄ）で選択されたパッチとの類似よりも良くない場合に、中止される。

反復の回数を最小限とするために、ステップｇ１）で、前記子パッチは、類似の降順において選択されるべきである。

画像品質は、ステップｂ）乃至ｈ）が、ステップｈ）の前の実施で得られた前記品質を高められた高解像度画像を、その後のステップｂ）における前記最初の高解像度画像として用いて繰り返される場合に、更に改善されてよい。

ステップｂ）乃至ｈ）の繰り返しの回数は、望ましくは３から５の間であるべきである。これは、繰り返しの回数がより多くなると、品質を高められた高解像度画像のそれ以上の実質的な改善は達成されないからである。

本発明の更なる特徴及び利点は、その実施形態の以下の記載から、添付の図面を参照して明らかになるであろう。

本発明の方法のフローチャートである。 請求項１の方法で使用される様々な画像どうしの関係を表す。 請求項１５のデバイスのブロック図である。

図１を参照して後述される、品質を高められた高解像度画像を最初の低解像度画像から形成する方法は、望ましくは、マイクロプロセッサ上で、あるいは、多数の並列プロセッサを有するマイクロプロセッサシステム内で、実行される。

ステップＳ１で、システムは、例えば、ｎ行及びｍ列のピクセルから形成されている、最初の低解像度画像ＬＲＩを受け取る。簡潔さのために、画像ＬＲＩは黒色及び白色のみであって、夫々のピクセルはその陰影を指定する１つの整数に対応する、とここでは考えられる。カラー画像への一般化は、当業者にとって容易である。

ステップＳ２で、画像ＬＲＩは、ＬＲＩのいずれか２つの隣接した行の間に（ｉ−１）個の追加の行を挿入することによって、そして、ＬＲＩのいずれか２つの隣接した列の間に（ｊ−１）個の追加の列を挿入することによって、係数ｉ、ｊによってアップサンプリングされて、（ｉ×ｎ）行×（ｊ×ｍ）列の画像が得られる。ｉ及びｊは小さい整数であり、それらのうちの少なくとも一方は１よりも大きく、ほとんどの実際の実施形態では、ｉ＝ｊが成り立つ。

挿入されたピクセルは、Ｓ２で得られた画像に空間的にローパスフィルタをかけることによって、あるいは、双一次又は双三次補間によって、それらに割り当てられているデータを有する。このようにして、最初の高解像度画像ＩＨＲＩがＳ３で得られる。この画像の物理的解像度は、最初の低解像度画像ＬＲＩの解像度よりも相当に高いが、ディテールの程度は、より良いわけではなく、場合によってはＬＲＩのそれに満たないことさえある点が留意されるべきである。

ステップＳ４で、最初の高解像度画像ＩＨＲＩを係数ｉ，ｊによってダウンサンプリングすることによって、補助画像ＡＩ_ｉｊが得られる。そのような補助画像ＡＩ_ｉｊの解像度は、最初の低解像度画像ＬＲＩのそれと同じであり、ｉ×ｊ個の異なる補助画像ＡＩ_ｉｊが導出され得る。図１では、ｉ＝ｊ＝２であり、それにより、４つの異なる補助画像ＡＩ_２２が存在する。最初の高解像度画像ＩＨＲＩが補間によって得られ、それにより、最初の低解像度画像ＬＲＩからの元のピクセルのピクセルデータが不変なままであるならば、それらのｉ×ｊ個の補助画像のうちの１つはＬＲＩと同じであってよい。

更には、補助画像ＡＩ_ｉ’ｊ’が生成されてよい。それらのダウンサンプリング係数ｉ’、ｊ’はｉ、ｊよりも大きい。例えば、図１では、ｉ’＝ｊ’＝３である。それらの補助画像ＡＩ_ｉ’ｊ’は、ＩＨＲＩを直接にダウンサンプリングすることによって、あるいは、補助画像ＡＩ_ｉｊを係数ｉ’／ｉ、ｊ’／ｊによって夫々ダウンサンプリングするによって、取得され得る。ダウンサンプリング係数ｉ’、ｊ’及びｉ’／ｉ、ｊ’／ｊは、望ましくは、１から２の間の有理数である点が留意されるべきである。非整数の有理係数ｉ’＝ｒ／ｍによるダウンサンプリングは、最初に整数係数ｍによって補間し、次いで整数係数ｒによってダウンサンプリングすることによって、実施され得る。

ＩＨＲＩから導出され得る異なる補助画像ＡＩ_ｉｊの数はｉ×ｍ個である。従って、ダウンサンプリング係数が高い場合に、特に、係数ｉ’、ｊ’の場合において、それらの補助画像の一部のみを生成すれば十分であり得る。

エイリアシング効果を回避するために、補助画像ＡＩ_ｉｊ、ＡＩ_ｉ’ｊ’は、ステップＳ５で、空間ローパスフィルタリングを受ける。

全てのそのような補助画像ＡＩ_ｉｊ、ＡＩ_ｉ’ｊ’は、夫々の補助画像の生成をマイクロプロセッサシステムの異なるプロセッサ又はプロセッサの組に割り当てることによって、同時に取得され得る。

夫々の補助画像ＡＩ_ｉ’ｊ’について、同じ解像度を有するフィルタ処理されていないダウンサンプリングされた画像ＵＩ_ｉ’ｊ’は、ステップＳ６で最初の低解像度画像ＬＲＩを係数ｉ’／ｉ、ｊ’／ｊによってダウンサンプリングすることによって得られる。

ステップＳ７で、パッチＰＩ、ＰＡは、最初の高解像度画像ＩＨＲＩにおいて及び補助画像ＡＩ_ｉｊ、ＡＩ_ｉ’ｊ’において定義される。実際に、パッチＰＩ、ＰＡは、少数の行及び列（例えば、６×６）を含む長方形であるべきである。行及び列の数は、最初の高解像度画像ＩＨＲＩの及び補助画像ＡＩ_ｉｊ、ＡＩ_ｉ’ｊ’のパッチについて、それらの夫々のダウンサンプリング係数にかかわらず同じである。ＩＨＲＩの夫々のピクセルは少なくとも１つのパッチＰＩに属する。パッチＰＩは、互いに重なり合ってよく、望ましくは重なり合っている。

ステップＳ８で、パッチＰＩごとに最近傍探索が実施される。すなわち、補助画像ＡＩ_ｉｊ、ＡＩ_ｉ’ｊ’の全てのパッチＰＡについて、パッチＰＩとの類似の程度が評価される。夫々のパッチＰＩについて、所与のパッチＰＩとの類似が最も高いＫ個のパッチＰＡを含む組ＮＮ（ＰＩ）が保持される。

数学的視点から、パッチＰＩ、ＰＡはベクトルと見なされ得る。ここで考えられている場合において、それらのベクトルは６×６＝３６個の成分ｐｉ_ｉ，ｊ、ｐａ_ｉ，ｊを有し、それらのベクトル空間は３６個の次元を有する。

２つのパッチの類似Ｓは、例えば、そのようなベクトルの正規化されたスカラー積として評価されてよい：

Ｓは、０から１の間の値をとることができる。ステップＳ８で保持されたパッチは、１に最も近いＳを有するパッチである。夫々の入力画像ＬＲＩの処理は、膨大な数の類似Ｓを計算することを伴うので、処理時間は、マイクロプロセッサシステムのプロセッサの間でそれらの計算を分配することによって、短縮されてよい。

元の入力画像ＬＲＩと同じ解像度を有するそれらの補助画像ＡＩ_ｉｊのうちの１つにおける夫々のパッチＰＡは、同じ内容を表す元の入力画像ＬＲＩにおけるパッチＰＰに関連し（図２におけるパッチＰＡ_１、ＰＰ_１を参照。）、それにより、上記の連続したアップ及びダウンサンプリング動作によって導出されると言うことができる。従って、パッチＰＰはここでは親パッチと、パッチＰＡはその子パッチと呼ばれる。同様に、補助画像ＡＩ_ｉ’ｊ’における及び同じ解像度を有するフィルタ処理されていないダウンサンプリングされた画像ＵＩ_ｉ’ｊ’における同じ内容を表すパッチ（すなわち、図２におけるＰＡ_２、ＰＰ_２）も、子パッチ及び親パッチと呼ばれる。

ＮＮ（ＰＩ）におけるパッチＰＡ_０乃至ＰＡ_{（Ｋ−１）}は、ＰＩとの類似の減少により順序付けられる、と考えられる。すなわち、

Ｓ（ＰＡ_０，ＰＩ）≧Ｓ（ＰＡ_１，ＰＩ）≧・・・≧Ｓ（ＰＡ_{（Ｋ−１）}，ＰＩ）。

ステップＳ９で、パッチＰＩに対して最も高い類似Ｓを有する子パッチＰＡ_０は、組ＮＮ（ＰＩ）の中から仮パッチＨＰとして選択される。

パッチＰＩに対して次に高い類似Ｓを有する子パッチＰＡ_ｋ、この例ではＰＡ_１は、ステップＳ１０で選択される。

ステップＳ１１で、線形結合

ＬＣ＝ｃ_ｋ１ＨＰ＋ｃ_ｋ２ＰＡ_ｋ （２）

の線形係数ｃ_ｋ１、ｃ_ｋ２（この場合に、ｋ＝１）は、一方で、ｃ_ｋ１＋ｃ_ｋ２＝１のような正規化条件が満たされ、他方で、ＬＣ及びＰＩの類似Ｓ（ＬＣ，ＰＩ）が最大になるように、選択される。ステップＳ１２は、この類似Ｓ（ＬＣ，ＰＩ）がＰＩと仮パッチＨＰとの間の類似Ｓ（ＨＰ，ＰＩ）よりも良いかどうかを確認し、そうであるならば、ステップＳ１３で、線形結合ＬＣは仮パッチＨＰを置換し、プロセスはステップＳ１０へ戻り、これより、ＮＮ（ＰＩ）の残りのパッチの中で最も類似するもの（ＰＡ_２である。）を選択する。ステップＳ１０で、線形結合ＬＣ＝ｃ_２１ＨＰ＋ｃ_２２ＰＡ_２（すなわち、ｋは２に等しい。）の線形係数は、正規化条件が満たされ且つＬＣ及びＰＩの類似Ｓ（ＬＣ，ＰＩ）が最大になるように、選択される。

パッチＰＡ、ＰＩがベクトルと見なされる場合に、それらのベクトル空間は３６個の次元を有し、ＰＩは、３６個の基本ベクトルの線形結合と見なされ得る。従って、ＮＮ（ＰＩ）におけるパッチＰＡ_ｋの個数Ｋがパッチ内のピクセルの個数（すなわち、パッチベクトルの次元）よりも相当に大きい場合に、それらのパッチＰＡ_ｋの多くは冗長であり、プロシージャの最終結果を改善しない。従って、ＮＮ（ＰＩ）におけるパッチの個数Ｋは、パッチ内のピクセルの個数の０．５倍から２倍の間の何らかの値に制限され得る。

明らかに、ステップＳ１０、Ｓ１１は、ＮＮ（ＰＩ）のＫ個のパッチの全てが処理されていない限りは、何度も行われ得る。実際に、より早く反復を中止（すなわち、終了）することは、処理時間を節約するのみならず、中止条件が思慮深く選択される場合には、最終のＨＲ画像の品質も改善する。

第１の実施形態に従って、反復は、Ｓ１２において、類似Ｓ（ＬＣ，ＰＩ）がＳ（ＨＰ，ＰＩ）よりも良くない（これは、Ｓ１１でｃ_ｋ２＝０について見つけられる最適な類似と等価である。）と直ぐに、中止される。

その段階で、ＨＰに寄与するＮＮ（ＰＩ）の中のパッチＰＡ_０乃至ＰＡ_Ｋ−１の全て及びそれらの夫々の線形係数は知られている。反復がｋ＝３で中止すると考えられる場合に、ＨＰは、

ＨＰ＝ｃ_２１（ｃ_１１ＰＡ_０＋ｃ_１２ＰＡ_１）＋ｃ_２２ＰＡ_２ （３）

である。

一般に：

反復が中止される場合に、方法はＳ１４へ枝分かれし、増強されたパッチＥＰは、式（４）において子パッチをそれらの夫々の親パッチＰＰにより置換することによって得られる：

第２の実施形態に従って、増強されたパッチＥＰ_ｋは、この同じステップにおいて求められる最適化された線形結合

ＬＣ＝ｃ_ｋ１ＨＰ＋ｃ_ｋ２ＰＡ_ｋ

に基づき、既にステップＳ１１で式（５）を用いて計算されている。最初の低解像度画像ＬＲＩにおいて同じ内容を表すパッチＬＰとのこのパッチＥＰ_ｋの類似が、計算される。パッチＥＰ_ｋ及び画像ＬＲＩにおけるパッチＬＰは、同数のピクセルを有さず、従って、双方の間の類似が、式（１）で見られたように、正規化されたスカラー積によって計算される場合には、パッチＥＰ_ｋは最初にダウンサンプリングされるべきであり、それにより、両方のパッチＥＰ、ＬＰは同じ解像度を有する。ここで、ステップＳ１２は、ステップＳ１０、Ｓ１１の反復ｋにおいて得られたＬＰとＥＰ_ｋとの間の類似が、前の反復（ｋ−１）で得られた類似よりも良いかどうかを判断する。そうでないならば、反復は中止し、ステップＳ１４で出力される増強されたパッチＥＰはＥＰ_ｋ−１である。

ステップＳ１０乃至Ｓ１４は、ループにおいて、あるいは、マルチプロセッサの間で分配されて同時に、最初の高解像度画像ＩＨＲＩの全てのパッチＰＩについて実施される。ステップＳ１５で全ての増強されたパッチＥＰを結合することは、よって、完成した品質を高められた画像ＥＩ_１をもたらす。増強されたパッチＥＰが重なり合う場合に、それらは、品質を高められた画像ＥＩ_１におけるパッチ間の滑らかな遷移を確かにするために、Ｓ１６で平均化される。

方法は、画像ＥＩ_１が出力されることで終了することができる。なお、好適な実施形態に従って、最初の高解像度画像ＩＨＲＩは、Ｓ１７で画像ＥＩ_１によって上書きされ、プロシージャはステップＳ４に戻って、それにより、第２の品質を高められた画像ＥＩ_２がＳ１６で得られる。

ステップＳ４乃至Ｓ１６は、前のステップＳ１６で得られた画像ＥＩ_ｐによって画像ＥＩ_ｐ−１（ｐ＝２，３，・・・）をステップＳ４で上書きするたびに、ステップＳ１８で３、４又は５のようなｐの何らかの所定の値が達成されるまで、あるいは、画像ＥＩ_ｐ−１、ＥＩ_ｐの類似が、これ以上の実質的な改善が期待されないほど高くなるまで、１回以上繰り返されてよい。

図３を参照すると、一実施形態において、画像の品質を高めるデバイス３０は、
ａ）最初の低解像度画像から、アップサンプリングによって最初の高解像度画像ＩＨＲＩを得るアップサンプリング手段３１と、
ｂ）最初の低解像度画像に基づき、最初の高解像度画像ＩＨＲＩの解像度よりも低い解像度を有する少なくとも１つの補助画像を与える手段３２と、
ｃ）最初の低解像度画像に基づき、少なくとも１つの補助画像と同じ解像度を有するフィルタ処理されていない画像ＵＩを与える手段３３と、
ｄ）最初の高解像度画像からパッチを選択する手段３４と、
ｅ）少なくとも１つの補助画像において、選択されたパッチに類似した子パッチを見つける手段３５と、
ｆ）子パッチと局所的に関連する親パッチを、フィルタ処理されていない画像において見つける手段３６と、
ｇ）品質を高められたパッチを形成するために親パッチを線形結合する手段３７と、
ｈ）品質を高められた高解像度画像を形成するよう、手段ｄ）乃至ｆ）によって得られる複数の品質を高められたパッチを結合する手段３８と
を有する。

デバイスの一実施形態において、少なくとも１つの補助画像は、最初の高解像度画像をダウンサンプリングすることによって得られる。

デバイスの一実施形態において、前記少なくとも１つの補助画像のうちの第１のダウンサンプリングされたフィルタ処理した画像は、最初の低解像度画像と同じ解像度を有し、当該第１のダウンサンプリングされたフィルタ処理した画像と関連するフィルタ処理されていない画像は、最初の低解像度画像である。

デバイスの一実施形態において、補助画像のうちの第２の補助画像は、最初の低解像度画像の解像度よりも低い解像度を有し、第２のフィルタ処理されていない画像は、最初の低解像度画像を当該第２の補助画像の解像度へとダウンサンプリングすることによって得られる。

デバイスの一実施形態において、最初の高解像度画像を得る手段３１は、ローパスフィルタ３０１、特に補間フィルタ、を更に有する。

一実施形態において、デバイス３０は、少なくとも１つの補助画像においてパッチごとに、選択されたパッチとの類似の程度を評価し、最も高い類似度を有する所定数Ｋ個のパッチを前記子パッチとして保持するよう構成される比較手段３１０を更に有する。

デバイスの一実施形態において、親パッチを線形結合する手段３７は、
ｇ１）夫々の子パッチに線形係数を割り当てることによって前記子パッチの線形結合を形成し、選択されたパッチとの線形結合の類似が最も類似した単一の子パッチの類似よりも良いようにする第１の結合手段３７１と、
ｇ２）夫々の子パッチに割り当てられている線形係数を用いて親パッチの線形結合を形成する第２の結合手段３７２と
を有する。

一実施形態において、第１の結合手段３７１は、前記子パッチのうちの１つを選択することと、仮パッチと該選択された子パッチとの線形結合を形成することと、重ね合わせの類似が仮パッチの類似よりも良い場合に仮パッチを仮パッチと子パッチとの線形結合により置換することとを反復的に実施することによって、線形係数を決定するよう更に構成される。

デバイスの一実施形態において、仮パッチの及び子パッチの線形係数は、それらの線形結合の類似を最適化するように設定される。

一実施形態において、デバイスは、子パッチの線形結合の類似が仮パッチの類似よりも良くない場合に反復を中止するよう構成される終了制御手段３９を更に有する。

デバイスの一実施形態において、仮パッチは、子パッチの線形結合であり、第１の暫定的な品質を高められたパッチは、仮パッチの線形係数を用いて親パッチを線形結合することによって形成され、第２の暫定的な品質を高められたパッチは、仮パッチと選択された子パッチとの線形結合の線形係数を用いて親パッチを線形結合することによって形成され、終了制御手段３９は、第２の暫定的な品質を高められたパッチとステップｄ）で選択されたパッチとの類似が、第１の暫定的な品質を高められたパッチとステップｄ）で選択されたパッチとの類似よりも良くない場合に、反復を中止する。

デバイスの一実施形態において、手段ｇ）は、類似の降順において子パッチを選択するよう構成される。

一実施形態において、デバイスは、手段ｂ）乃至ｈの繰り返される動作周期を制御するよう構成される繰り返し制御手段３１１を更に有し、手段ｈ）からある動作周期において得られる品質を高められた高解像度画像は、手段ｂ）のその後の動作周期において最初の高解像度画像として使用される。

デバイスの一実施形態において、繰り返し制御手段３１１は、手段ｂ）乃至ｈ）の動作周期を３〜５回実行するようデバイスを制御する。

上記の手段の夫々は、１つ以上のハードウェア処理要素又はプロセッサによって実施されてよい。このとき、上記の手段のうちの２つ以上は、単一のハードウェア処理要素又はプロセッサによって実施されてよい。

一実施形態において、コンピュータプログラムは、コンピュータが、
ａ）最初の低解像度画像から、アップサンプリングによって最初の高解像度画像を得るステップと、
ｂ）前記最初の低解像度画像に基づき、前記最初の高解像度画像の解像度よりも低い解像度の少なくとも１つの補助画像を与えるステップと、
ｃ）前記最初の低解像度画像に基づき、前記少なくとも１つの補助画像と同じ解像度を有するフィルタ処理されていない画像を与えるステップと、
ｄ）前記最初の高解像度画像からパッチを選択するステップと、
ｅ）前記少なくとも１つの補助画像において、前記選択されたパッチに類似した子パッチを見つけるステップと、
ｆ）前記子パッチと局所的に関連する親パッチを、前記フィルタ処理されていない画像において見つけるステップと、
ｇ）品質を高められたパッチを形成するために前記親パッチを線形結合するステップと、
ｈ）品質を高められた高解像度画像を形成するよう、ステップｄ）乃至ｆ）を繰り返し実施することによって得られる品質を高められたパッチを結合するステップと
を実施することを可能にするソフトウェアコードを有する。

様々な実施形態において、コンピュータプログラムは、コンピュータが上記の更なる機能を実行することを可能にするソフトウェアコードを有する。

本発明は単に一例として記載されており、詳細の変更が行われてよく、暗黙的に組み込まれている点が理解されるであろう。明細書並びに（必要に応じて）特許請求の範囲及び図面に開示されている夫々の特徴は、独立して、又は如何なる適切な組み合わせにおいても、提供されてよい。特徴は、必要に応じて、ハードウェア、ソフトウェア、又はそれらの組み合わせにおいて実施されてよい。特許請求の範囲において現れる参照符号は、単なる例示であって、特許請求の範囲の適用範囲を制限する効果を有するべきではない。

ＬＲＩ 最初の低解像度画像
ＩＨＲＩ 最初の高解像度画像
ＡＩ_ｉｊ，ＡＩ_ｉ’ｊ’ 補助画像
ＵＩ_ｉ’ｊ’ フィルタ処理されていないダウンサンプリングされた画像
ＰＩ ＩＨＲＩにおけるパッチ
ＰＡ，ＰＡ_ｋ 補助画像における子パッチ
ＰＰ，ＰＰ_ｋ ＬＲＩ又はＵＩｉ’ｊ’における親パッチ
ＥＰ 増強されたパッチ
ＥＩ 増強された画像

Claims (21)

1. 画像の品質を高める方法であって、
   ａ）最初の低解像度画像から、アップサンプリングによって最初の高解像度画像を得るステップと、
   ｂ）前記最初の低解像度画像に基づき、前記最初の高解像度画像の解像度よりも低い解像度を有する補助画像として、少なくとも１つのダウンサンプリングされたフィルタ処理した画像を与えるステップと、
   ｃ）前記最初の低解像度画像に基づき、前記少なくとも１つのダウンサンプリングされたフィルタ処理した画像と同じ解像度を有するフィルタ処理されていない画像を与えるステップと、
   ｄ）前記最初の高解像度画像からパッチを選択するステップと、
   ｅ）前記少なくとも１つのダウンサンプリングされたフィルタ処理した画像において、前記選択されたパッチに類似した２つ以上の子パッチを見つけるステップと、
   ｆ）前記子パッチと局所的に関連する親パッチを、前記フィルタ処理されていない画像において見つけるステップと、
   ｇ）品質を高められたパッチを形成するために前記親パッチを線形結合するステップと、
   ｈ）品質を高められた高解像度画像を形成するよう、ステップｄ）乃至ｆ）を繰り返し実施することによって得られる品質を高められたパッチを結合するステップと
   を有する方法。
2. 少なくとも１つの前記補助画像は、前記最初の高解像度画像をダウンサンプリングすることによって得られる、
   請求項１に記載の方法。
3. 少なくとも１つの前記補助画像のうちの第１のダウンサンプリングされたフィルタ処理した画像は、前記最初の低解像度画像と同じ解像度を有し、
   前記第１のダウンサンプリングされたフィルタ処理した画像と関連する前記フィルタ処理されていない画像は、前記最初の低解像度画像である、
   請求項１又は２に記載の方法。
4. 前記補助画像のうちの第２の補助画像は、前記最初の低解像度画像の解像度よりも低い解像度を有し、
   第２のフィルタ処理されていない画像は、前記最初の低解像度画像を前記第２の補助画像の解像度へとダウンサンプリングすることによって得られる、
   請求項３に記載の方法。
5. 前記最初の高解像度画像を得るステップは、ローパスフィルタリングステップ、特に補間、を更に有する、
   請求項１乃至４のうちいずれか一項に記載の方法。
6. ステップｅ）において、前記選択されたパッチとの類似の程度は、少なくとも１つの前記補助画像においてパッチごとに評価され、
   最も高い類似度を有する所定数のパッチが前記子パッチとして保持される、
   請求項１乃至５のうちいずれか一項に記載の方法。
7. ステップｇ）は、
   ｇ１）夫々の子パッチに線形係数を割り当てることによって前記子パッチの線形結合を形成し、前記選択されたパッチとの前記線形結合の類似が最も類似した単一の子パッチの類似よりも良いようにするサブステップと、
   ｇ２）夫々の子パッチに割り当てられている線形係数を用いて前記親パッチの線形結合を形成するサブステップと
   を有する、請求項６に記載の方法。
8. ステップｇ１）において、前記線形係数は、前記子パッチのうちの１つを選択することと、仮パッチと該選択された子パッチとの線形結合を形成することと、重ね合わせの類似が前記仮パッチの類似よりも良い場合に前記仮パッチを該仮パッチと前記子パッチとの線形結合により置換することとを反復的に実施することによって、決定される、
   請求項７に記載の方法。
9. 前記仮パッチの及び前記子パッチの線形係数は、それらの線形結合の類似を最適化するように設定される、
   請求項８に記載の方法。
10. 前記反復は、子パッチの線形結合の類似が前記仮パッチの類似よりも良くない場合に中止される、
    請求項８又は９に記載の方法。
11. 前記仮パッチは、子パッチの線形結合であり、
    第１の暫定的な品質を高められたパッチは、前記仮パッチの線形係数を用いて前記親パッチを線形結合することによって形成され、
    第２の暫定的な品質を高められたパッチは、前記仮パッチと前記選択された子パッチとの線形結合の線形係数を用いて前記親パッチを線形結合することによって形成され、
    前記反復は、前記第２の暫定的な品質を高められたパッチとステップｄ）で選択されたパッチとの類似が、前記第１の暫定的な品質を高められたパッチとステップｄ）で選択されたパッチとの類似よりも良くない場合に、中止される、
    請求項８又は９に記載の方法。
12. ステップｇ１）において、前記子パッチは、類似の降順において選択される、
    請求項８乃至１１のうちいずれか一項に記載の方法。
13. ステップｂ）乃至ｈ）は、ステップｈ）の前の実施において得られた前記品質を高められた高解像度画像を、その後のステップｂ）における前記最初の高解像度画像として用いて、繰り返される、
    請求項２乃至１２のうちいずれか一項に記載の方法。
14. ステップｂ）乃至ｈ）は、３乃至５回繰り返される、
    請求項１３に記載の方法。
15. 画像の品質を高めるデバイスであって、
    ａ）最初の低解像度画像から、アップサンプリングによって最初の高解像度画像を得るアップサンプリング手段と、
    ｂ）前記最初の低解像度画像に基づき、前記最初の高解像度画像の解像度よりも低い解像度の少なくとも１つの補助画像を与える手段と、
    ｃ）前記最初の低解像度画像に基づき、前記少なくとも１つの補助画像と同じ解像度を有するフィルタ処理されていない画像を与える手段と、
    ｄ）前記最初の高解像度画像からパッチを選択する手段と、
    ｅ）前記少なくとも１つの補助画像において、前記選択されたパッチに類似した子パッチを見つける手段と、
    ｆ）前記子パッチと局所的に関連する親パッチを、前記フィルタ処理されていない画像において見つける手段と、
    ｇ）品質を高められたパッチを形成するために前記親パッチを線形結合する手段と、
    ｈ）品質を高められた高解像度画像を形成するよう、前記手段ｄ）乃至ｆ）によって得られる複数の品質を高められたパッチを結合する手段と
    を有するデバイス。
16. 子パッチの線形結合の類似が仮パッチの類似よりも良くない場合に反復を中止するよう構成される終了制御手段を更に有する
    請求項１５に記載のデバイス。
17. 前記少なくとも１つの補助画像においてパッチごとに前記選択されたパッチとの類似の程度を評価し、最も高い類似度を有する所定数のパッチを前記子パッチとして保持するよう構成される比較手段を更に有する
    請求項１５又は１６に記載のデバイス。
18. 前記親パッチを線形結合する手段は、
    ｇ１）夫々の子パッチに線形係数を割り当てることによって前記子パッチの線形結合を形成し、前記選択されたパッチとの前記線形結合の類似が最も類似した単一の子パッチの類似よりも良いようにするよう構成される第１の結合手段と、
    ｇ２）夫々の子パッチに割り当てられている線形係数を用いて前記親パッチの線形結合を形成するよう構成される第２の結合手段と
    を有する、請求項１５乃至１７のうちいずれか一項に記載のデバイス。
19. 手段ｂ）乃至ｈ）の繰り返される動作周期を制御するよう構成される繰り返し制御手段を更に有し、
    手段ｈ）からある動作周期において得られる前記品質を高められた高解像度画像は、手段ｂ）のその後の動作周期において前記最初の高解像度画像として使用される、
    請求項１５乃至１８のうちいずれか一項に記載のデバイス。
20. 前記最初の高解像度画像を得る手段は、ローパスフィルタ又は補間フィルタを更に有する、
    請求項１５乃至１９のうちいずれか一項に記載のデバイス。
21. コンピュータが、
    ａ）最初の低解像度画像から、アップサンプリングによって最初の高解像度画像を得るステップと、
    ｂ）前記最初の低解像度画像に基づき、前記最初の高解像度画像の解像度よりも低い解像度の少なくとも１つの補助画像を与えるステップと、
    ｃ）前記最初の低解像度画像に基づき、前記少なくとも１つの補助画像と同じ解像度を有するフィルタ処理されていない画像を与えるステップと、
    ｄ）前記最初の高解像度画像からパッチを選択するステップと、
    ｅ）前記少なくとも１つの補助画像において、前記選択されたパッチに類似した子パッチを見つけるステップと、
    ｆ）前記子パッチと局所的に関連する親パッチを、前記フィルタ処理されていない画像において見つけるステップと、
    ｇ）品質を高められたパッチを形成するために前記親パッチを線形結合するステップと、
    ｈ）品質を高められた高解像度画像を形成するよう、ステップｄ）乃至ｆ）を繰り返し実施することによって得られる品質を高められたパッチを結合するステップと
    を実施することを可能にするソフトウェアコードを有するコンピュータプログラム。

Images