JP2005317011A - 高解像度画像を発生する方法、デジタル画像編集ツールおよび媒体 - Google Patents

Abstract

【課題】一群のソース低解像度画像から高解像度画像を発生する。
【解決手段】高解像度画像を一群の低解像度画像に基づいて推定するステップを含む。該推定された高解像度画像は、次いで、一群の推定された低解像度画像に変換される。前記一群のソース低解像度画像は該推定された低解像度画像と比較されて、一群の低解像度エラーを発生する。該一群の低解像度エラーは、一群の高解像度エラーに変換される。該一群の高解像度エラーに基づく高解像度エラー画像が発生される。該高解像度エラー画像は前記の推定された高解像度画像と組み合わされて、更新された推定高解像度画像を生じる。これらステップは、上記更新された推定高解像度画像が所望の品質のもととなるまで繰り返される。
【選択図】図１

Description

本発明は、広くは画像処理に係り、更に詳細には一群の低解像度画像から高解像度画像を発生する方法及びシステムに関する。

通常、超解像と呼ばれる低解像度画像の群からの高解像度画像の生成は従来知られており、このような高解像度画像を発生する多くの技術が考察されている。例えば、Patti他の米国特許第5,696,848号は一連の低解像度画像から高解像度画像を生成する方法を開示している。該方法においては、或る低解像度画像が高解像度画像へ再構築されるべき基準画像として選択される。動きベクトルを使用して各低解像度画像におけるピクセルを高解像度画像のロケーションにマッピングするために、マッピング変換が作成される。精度マップを作成するために、各低解像度画像のための動きベクトルに対する動き検出推定の精度が検出される。ぼけＰＳＦを計算するために、マッピング変換、精度マップ、開口時間、センサ幾何構造、光学的ぼけ点像分布関数（ＰＳＦ）及び高解像度サンプリング幾何構造が使用される。次いで、高解像度画像を生成するために精度マップ、ぼけＰＳＦ、マッピング変換からの動き情報及び低解像度画像が使用される。

Bender他の米国特許第5,657,402号及び同第5,920,657号は、複数の低解像度画像フレームから高解像度静止画像を作成する方法を開示している。該方法において、各画像フレームは拡大され、変換データが高解像度画像を表す一層大きなデータ空間にマッピングされる。動きベクトルが計算されて、或る低解像度画像フレームにおけるピクセルが他の低解像度画像フレームにおけるピクセルにマッピングされるのを可能にする。次いで、或る低解像度画像フレームからのピクセルが次の低解像度画像フレームのピクセルにマッピングされ、該マッピングされた画像フレームにおける点間の空間を満たすように補間がなされる。画像フレーム間に一層大きな変位が生じる場合、ピラミッドデータ構造が使用される。

Crinon他の米国特許第6,285,804号は複数の低解像度画像から高解像度画像を作成する方法を開示している。該方法においては、高解像度サンプリング格子点を低解像度画像上のピクセル間位置にマッピングする動きベクトルが導出される。各ピクセル間位置への最短距離を持つような低解像度画像内のピクセルが識別される。各高解像度格子点における識別された低解像度ピクセルのうちの１つが選択される。高解像度格子点に対して、ピクセル輝度値が、選択された低解像度ピクセルに従い補間によりマッピングされる。

上述した文献は低解像度画像の群から高解像度画像を発生する種々の技術を開示しているが、改善された方法が望まれている。

従って、本発明の目的は一群の低解像度画像から高解像度画像を発生する新規な方法及びシステムを提供することにある。

本発明の一態様によれば、一群の低解像度画像から高解像度画像を生成する方法であって、
（ａ）一群のソース低解像度画像に基づいて高解像度画像を推定するステップと、
（ｂ）前記推定された高解像度画像を一群の推定された低解像度画像に変換するステップと、
（ｃ）前記一群のソース低解像度画像を前記一群の推定された低解像度画像と比較して、一群の低解像度エラーを生成するステップと、
（ｄ）前記一群の低解像度エラーを一群の高解像度エラーに変換するステップと、
（ｅ）前記一群の高解像度エラーに基づいて高解像度エラー画像を発生するステップと、
（ｆ）前記高解像度エラー画像を前記推定された高解像度画像と組み合わせて、更新された推定高解像度画像を生じるステップと、
（ｇ）ステップ（ｂ）ないし（ｆ）を、前記更新された推定高解像度画像が所望の品質のものとなるまで繰り返すステップと、
を有するような方法が提供される。

一実施例においては、前記発生するステップの間に、前記高解像度エラーが平均化されて前記高解像度エラー画像を発生する。他の実施例においては、前記高解像度エラーにおける対応するピクセルの中央値（median）が決定され、これら中央値が前記高解像度エラー画像を発生するために使用される。更に他の実施例では、前記高解像度エラーにおける対応するピクセルがソートされ、選択されたソートされたピクセルが破棄され、残りの対応するピクセルが平均化されて前記高解像度エラー画像を発生する。

一実施例においては、前記推定するステップの間に、前記ソース低解像度画像が重ね合わされ、平均化され、次いで高解像度空間に拡大され、これにより前記推定された高解像度画像を生じる。上記拡大は双線形伸張方法（bilinear stretching method）を用いて実行される。上記重ね合わせの間において、前記群における各ソース低解像度画像に対して、当該ソース低解像度画像を当該群における指定されたソース低解像度画像に投影するような変換マトリクスが発生される。該変換マトリクスは、前記推定された高解像度画像の推定された低解像度画像への変換の間、及び前記低解像度エラーの高解像度エラーへの変換の間に使用される。

本発明の他の態様によれば、高解像度画像を生成する方法であって、
整合された（aligned）ソース低解像度画像の平均を補間することにより初期高解像度画像を推定するステップと、
前記初期高解像度画像からダウンサンプリングされた推定された低解像度画像を発生するステップと、
前記推定された低解像度画像を前記ソース低解像度画像と比較して、帰還エラーデータを生成するステップと、
前記帰還エラーデータを使用して、前記推定された高解像度画像を更新するステップと、
を有し、前記推定する、発生する及び比較するステップが、前記推定された高解像度画像が所望の解像度のものになるまで反復的に実行されるような方法が提供される。

本発明の更に他の態様によれば、一群のソース低解像度画像から高解像度画像を生成するデジタル画像編集ツールであって、
前記一群のソース低解像度画像に基づいて高解像度画像を推定する手段と、
前記推定された高解像度画像を一群の推定された低解像度画像に変換する第１の変換する手段と、
前記一群のソース低解像度画像を前記一群の推定された低解像度画像と比較して、一群の低解像度エラーを生成する手段と、
前記一群の低解像度エラーを一群の高解像度エラーに変換する第２の変換する手段と、
前記一群の高解像度エラーに基づいて高解像度エラー画像を発生する手段と、
前記高解像度エラー画像を前記推定された高解像度画像と組み合わせて、更新された推定高解像度画像を生じる手段と、
を有し、前記第１の変換する手段、比較する手段、第２の変換する手段、発生する手段及び組み合わせる手段が、前記更新された推定高解像度画像が所望の品質のものとなるまで反復的に動作されるようなツールが提供される。

本発明の更に他の態様によれば、一群のソース低解像度画像から高解像度画像を生成するようなコンピュータプログラムを具現化するコンピュータ読み取り可能な媒体であって、
前記一群のソース低解像度画像に基づいて高解像度画像を推定するコンピュータプログラムコードと、
前記推定された高解像度画像を一群の推定された低解像度画像に第１に変換するコンピュータプログラムコードと、
前記一群のソース低解像度画像を前記一群の推定された低解像度画像と比較して、一群の低解像度エラーを生成するコンピュータプログラムコードと、
前記一群の低解像度エラーを一群の高解像度エラーに第２に変換するコンピュータプログラムコードと、
前記一群の高解像度エラーに基づいて高解像度エラー画像を発生するコンピュータプログラムコードと、
前記高解像度エラー画像を前記推定された高解像度画像と組み合わせて、更新された推定高解像度画像を生じるコンピュータプログラムコードと、
前記第１に変換する、比較する、第２に変換する、発生する及び組み合わせるコンピュータプログラムコードを、前記更新された推定高解像度画像が所望の品質のものとなるまで反復的に実行するコンピュータプログラムコードと、
を有するようなコンピュータ読み取り可能な媒体が提供される。

本発明は、種々の品質の一群のソース低解像度画像から高品質の高解像度画像を高速且つ効率的に発生することができるという利点を提供する。

以下、本発明の実施例を添付図面を参照して更に詳細に説明する。

本発明は、広くは、一群の重ね合わされた（registered）又は整合された（aligned）低解像度画像から高品質の高解像度画像を発生する、一般的に超解像と呼ばれる方法及びシステムに関するものである。本方法においては、整合された入力ソース低解像度画像の平均を補間することにより、初期高解像度画像が推定される。次いで、該初期高解像度推定画像から、シミュレーションされた低解像度画像が発生される。該シミュレーションされた低解像度画像は前記入力ソース低解像度画像と比較されて、帰還エラーデータを発生する。次いで、該帰還エラーデータは上記初期高解像度推定画像を更新するために使用される。上記ステップは、所望の品質の推定された高解像度画像が生成されるまで、反復的に実行される。

本発明は、パーソナルコンピュータ等の処理ユニットにより実行されるソフトウェアアプリケーションにおいて具現化することができる。斯かるソフトウェアアプリケーションは、自立型のデジタル画像編集ツールとして実行することができるか、又は他の利用可能なデジタル画像編集アプリケーションに組み込んで斯かるデジタル画像編集アプリケーションに拡張された機能を付与することもできる。

ここで図１を参照すると、一群の又は一連のソース低解像度画像から高解像度画像を発生する間に実行されるステップを示すフローチャートが示されている。各低解像度画像は、[Ｌ_１ｘＬ_２]なる寸法のピクセルマトリクスＬを含む。最初に、所望の高解像度画像が発生されるべき上記群のソース低解像度画像は重ね合わされる（ステップ１００）。上記ソース低解像度画像が重ね合わされたら、該重ね合わされたソース低解像度画像に基づいて高解像度画像が推定される（ステップ１０２）。該推定された高解像度画像は[Ｈ_１ｘＨ_２]なる寸法のピクセルマトリクスＨを含む。次いで、該推定された高解像度画像は一群の推定された低解像度画像に変換される（ステップ１０４）。次に、該一連の推定された低解像度画像は前記ソース低解像度画像と比較されて、各々がピクセルマトリクスＥ_Ｌを含むような一群の低解像度エラーを発生する（ステップ１０６）。次いで、上記一群の低解像度エラーは、各々がピクセルマトリクスＥ_Ｈを含むような一群の高解像度エラーに変換される（ステップ１０８）。次いで、上記一群の高解像度エラーから、推定された高解像度エラー画像が発生される（ステップ１１０）。該高解像度エラー画像はピクセルマトリクスＥＩ_Ｈを含む。該推定された高解像度エラー画像は、ステップ１０２において推定された高解像度画像と組み合わされ、結果として更新された推定高解像度画像が得られる（ステップ１１２）。ステップ１０４ないし１１２は、所望の解像度を示すような推定高解像度画像が発生されるまで反復的に実行される。上述した方法の更なる詳細を図１〜図３を参照して説明する。

ステップ１００におけるソース低解像度画像の重ね合わせの間においては、当該郡内の“左端”画像から開始して、各低解像度画像Ｉが順番的に右側の次の隣接する低解像度画像Ｉ’と、特徴型（feature-based）重ね合わせ方法を用いて重ね合わされる。一対の低解像度画像の特徴型重ね合わせの間において、隣接する低解像度画像Ｉ及びＩ’における高曲率点に対応する特徴部が抽出され、斯かる特徴部内の角（コーナ）が検出される。グレイスケールハリス角検出法が採用され、下記の演算子、

に基づくものであるが、ここで、
ｃ(x,y)は検出される角であり、
ｙ及びｘは、当該低解像度画像の左上角が座標(0,0)にあると仮定した場合の該低解像度画像におけるピクセルの座標であり、
Ｉ_ｘ及びＩ_ｙは方向微分（directional derivative）を各々示し、
εは、オーバーフローを防止するための小さな数であり、

はＩ_ｘ及びＩ_ｙに対するボックスフィルタ平滑化演算子である。

各特徴部を囲む小さな近傍内の閉じた角をフィルタ除去するために、７ｘ７ピクセルのウインドウが使用される。隣接する低解像度画像Ｉ及びＩ’の各々において検出される最初の３００の角ｃ(x,y)が使用される。隣接する低解像度画像Ｉ及びＩ’における検出された角の数が３００より少ない場合は、検出された角の全てが使用される。

低解像度画像Ｉにおける各角ｃに関し、低解像度画像Ｉ’における全ての角ｃ’に対して相関がなされる。これは、低解像度画像Ｉ’全体において低解像度画像Ｉの各角ｃを探索することと等価である。角ｃと角ｃ’との間の相関を決定するために、角ｃ及びｃ’に中心を合わされたウインドウが使用される。低解像度画像Ｉにおける角ｃ(u,v)と低解像度画像Ｉ’における角ｃ’(u’,v’)との間の相関スコアを計算するために、正規化された相互相関ＮＣＣが使用される。正規化された相互相関ＮＣＣは、

と表される。

相関スコアは、全く似ていない２つの相関ウインドウに対する−１から、同一である２つの相関ウインドウに対する１までの範囲となる。角の一致する対を選択するために閾が適用される。本例では０．６に等しい閾値が使用されるが、閾値は特定のアプリケーションに対して変化してもよい。最初の角の突き合わせの後、低解像度画像Ｉにおける各角ｃが低解像度画像Ｉ’における一群の候補となる一致する角ｃ’を有するような角のリストが得られる。本例では、候補一致角の最大許容数は２０に設定されるので、低解像度画像Ｉにおける各角ｃは、可能性として低解像度画像Ｉ’において０ないし２０の候補一致角を有する。

低解像度画像Ｉにおける各角ｃが低解像度画像Ｉ’における一群の候補一致角と一致されたら、一致する角を明確にするために緩和技術が使用される。緩和の目的で、ｃが低解像度画像Ｉにおける角であり、ｃ’が低解像度画像Ｉ’における角であるような候補となる一致する角の対(c,c’)が存在すると仮定する。Ψ(c)及びΨ(c’)を、ＭｘＮピクセルの近傍内における角ｃ及びｃ’の近隣の角であるとする。候補となる一致する角の対(c,c’)が良好な一致であれば、ｇがΨ(c)の角であり、ｇ’がΨ(c’)の角であるとした場合、角ｃに対する角ｇの位置が角ｃ’に対する角ｇ’の位置に類似しているような他の多くの角対(g,g’)が当該近傍内に見られるであろう。反対に、候補一致角対(c,c’)が悪い一致であれば、当該近傍内には僅かの一致する角しか、又は全く一致する角は見られないであろう。

一致のスコアＳＭが、

に従い、候補一致角ｃ及びｃ’が実際に同一の角である確度を測定するために使用され、ここで、
ＮＣＣ(g,g’)は前述した相関スコアであり、
Ｋ＝５．０は一定の重みであり、

であって、d(c,g_i)は角ｃと角g_iとの間のユークリッド距離である一方、d(c’,g’_j)は角ｃ’と角g’_jとの間のユークリッド距離であり、
(g,g’)が候補となる一致であるならば、

となり、それ以外ではｒ＜λとなり、ここで、

である一方、λ＝０．３は相対的距離差に基づく閾である。

画像面内における回転角度は６０度未満であると仮定される。ベクトル

と、ベクトル

との間の角度がチェックされて、該角度が６０度より大きいかを判定し、もしそうなら、δ(c,c’;g,g’)は零なる値をとる。当該群における最大の一致スコアＳＭを生じるような候補一致角ｃ’が、一致する角として選択される。

上記緩和技術の実行の結果、一致する角のリストが、低解像度画像Ｉの或る角ｃが低解像度画像Ｉ’における１つの角ｃ’のみに対応する如くに曖昧さなしで存在することになり、これにより、各低解像度画像Ｉに対して低解像度画像Ｉにおける角ｃを隣接する低解像度画像Ｉ’における対応する角ｃ’に重ね合わせるような整合マトリクスを生じる。

重ね合わされた隣接する低解像度画像Ｉ及びＩ’における角ｃ及びｃ’を用いて、隣接する低解像度画像の各対に対する一致する角のリストに基づく変換が推定され、これにより変換マトリクスＭを生じる。特に２つの隣接する低解像度画像Ｉ及びＩ’が小さな重なり部分しか有さない場合には多数の誤った角の一致が存在するかも知れないから、強力な変換推定技術が使用される。

本例では、各対の隣接する低解像度画像の間の変換を詳述するような変換を推定する射影変換が使用される。他の例として、ソース低解像度画像の当該郡内に非投影的動きしか存在しない場合には、変換を推定するためにアフィン変換又は平行移動を使用することができる。理解されるように、アフィン変換又は平行移動を推定することは容易であり、従って射影変換を推定するより高速である。

射影変換推定の間では、ランダムサンプル一致アルゴリズム（random sample consensus algorithm: RANSAC）型技術が使用される。最初に、Ｎ対の一致する角が整合マトリクスから選択され、斯かる一致する角の間の変換を詳述するような射影変換が、該射影変換をモデル化する一群の線形方程式を解くことにより推定される。次いで、該推定された射影変換は他の対の一致する角からの支持を調査することにより評価される。この処理は、他の群のランダムに選択されたＮ対の一致する角を使用して実行される。最大数の角の一致を支持する射影変換が選択される。特に、上述した処理は、下記の手順に従い実行される。
１．MaxM←０
２．Iteration←１
３．ランダムに選択されたＮ対の一致する角の各群に対して、ステップ４ないし１０を実行する
４．Iteration←Iteratrion+1
５．(Iteration>MaxIteration)なら、ステップ１１に進む
６．適切な群の線形方程式を解くことにより、射影変換を推定する
７．該射影変換を支持する一致された角の対の数Ｎを計算する
８．(N>MaxN)ならステップ９及び１０を実行し、それ以外ならステップ３に進む
９．MaxN←Ｎ
１０．最適変換←現変換
１１．(MaxN>5)なら成功裏に戻り、それ以外なら失敗で戻る。

理論的には、射影変換を推定するためには、４対のみの一致する角が必要とされる。或る対の一致する角が依存的である可能性があり、これは当該マトリクスを特異にさせてしまう。これを防止するために、成功裏の射影変換推定が決定されるには、少なくとも５対の一致する角が必要とされる。上記一群の線形方程式を解くために最小自乗LSQRソルバが使用され、発見的制約が適用される。即ち、推定された射影変換マトリクスが発見的制約により満足されなかった場合、当該射影変換推定は悪く、該推定を支持する一致する角は存在しないと仮定される。変換マトリクスＭが、

なる形を持つ場合、Ｍは下記の条件を満足しなければならない：

ここで、Ｗ及びＨは、各々、当該画像の幅及び高さである。

最大反復数（MaxIteration）も発見的に付与される。本例では、最大反復数は、

なる式に従い、ここで、
Ｐは、正しい解が存在することを保証する確率であり、
Χは、誤った一致する角の対の割合であり、
ηは、解に必要な一致する角の数（アフィンの場合は８、射影の場合は１０）であり、
ｍはランダム反復の最大数である。

当該方法を高速化するために、２ステップ式推定が使用される。最初に、射影変換推定のための２５０なる最大数の反復が実行される。該推定が失敗したら、射影変換推定のために２０００の反復が実行される。該推定処理が依然として成功しない場合、以下に述べるように平行移動が推定される。

平行移動推定の間においては、一対の一致する角しか必要としない２つのパラメータdx及びdyを決定する必要がある。多数の誤った角の一致が存在し得ることを考慮して、平行移動を決定するために下記のルーチンが実行される：
１．MaxN←0
２．一致された角の各対に対して、ステップ２ないし７を実行する
３．一致された角の間の平行移動を計算する
４．該平行移動を支持するような一致された角の対の数Ｎを計算する
５．(N>MaxN)なら、ステップ５ないし７を実行し、それ以外の場合はステップ２に進む
６． MaxN←Ｎ
７．最適平行移動←現平行移動
８．(MaxN>3)なら成功裏に戻り、それ以外なら失敗で戻る。

上述した手順は、最大数の一致された角により支持されるような平行移動を推定する。一致された角の対は、低解像度画像Ｉ’内の平行移動された角が低解像度画像Ｉにおける対応する角の３ｘ３ピクセルの近傍内に入る場合にのみ当該平行移動を支持する。

アフィン変換が推定されるべき場合は、射影変換推定に関して説明したものと同様の手順が、該アフィン変換をモデル化するような適切な群の線形方程式を用いて実行される。理論的に、アフィン変換を推定するには、３対の一致する角のみが必要とされる。或る対の一致する角が依存的で、結果として特異なマトリクスとなるような状況を防止するためには、成功裏のアフィン変換推定が決定されるために少なくとも４対の一致する角が必要とされる。２ステップ式方法の間においては、最初に１００なる最大数の反復が実行される。当該推定が失敗した場合、１０００の反復が実行される。当該推定が依然として成功しない場合は、平行移動が推定される。

ソース低解像度画像が重ね合わされると、ステップ１０２の間において、該重ね合わされたソース低解像度画像は平均され、結果としての平均された画像が双線形伸張方法を用いて高解像度空間に拡大され（ステップ１２０）、これにより初期推定高解像度画像を生じる（ステップ１２２）。

双線形伸張の間において、上記の結果的平均画像は双線形補間により不定なピクセルを満たすことにより伸張される。双線形補間の間においては、上記結果的平均画像の各ピクセル行に沿って線形補間がなされ、続いて、該結果的平均画像の各列に沿って線形補間がなされる。従って、当該初期推定高解像度画像における各推定ピクセルは、上記結果的平均画像における４つの最も近い近隣ピクセルの加重組合せである。例えば、補間されるべきピクセルｐ(x,y)に関しては、双線形補間によるピクセルｐ(x,y)の輝度Ｚは：

のように補間され、ここで、
ａ及びｂは、図３に示した距離であり、
Ｚ₀₀、Ｚ₀₁、Ｚ₁₀及びＺ₁₁は、補間されているピクセルｐ(x,y)の４つの最も近い近隣ピクセルの輝度である。

ステップ１０４の間において、上記の推定された高解像度画像は、先ず該推定高解像度画像のマトリクスＨに対して前記画像重ね合わせの間に発生された変換マトリクスＭを乗算して、変換された画像を発生し、次いで該変換された画像を低解像度空間にダウンサンプリング（ステップ１２４）し、これにより一群の推定された低解像度画像を生じる（ステップ１２６）ことによって、該一群の推定低解像度画像に変換される。

ステップ１０６において、各推定低解像度画像は、対応するソース低解像度画像から減算されて（ステップ１２８）、当該推定低解像度画像に対する低解像度エラーを生じる（ステップ１３０）。

ステップ１０８において、各低解像度エラーは高解像度空間にアップサンプリングされる。次いで、このアップサンプリングされた低解像度エラーは、該アップサンプリングされた低解像度エラーに対して画像重ね合わせの間に発生された前記変換マトリクスＭの逆を適用することにより一群の高解像度エラーに変換され（ステップ１３２）、これにより該一群の高解像度エラーを生じる（ステップ１３４）。

ステップ１１０において、上記高解像度エラーは組み合わされると共に平均化されて（ステップ１３６）、高解像度エラーにおけるピクセルの平均を決定し、これにより推定された高解像度エラー画像を生じる（ステップ１３８）。次いで、該推定された高解像度エラー画像は前記推定された高解像度画像に加算され（ステップ１４０）、これにより該推定された高解像度画像を更新する。

所望なら、高解像度エラーの上記組合せ及び平均化は変更することができる。例えば、所望なら、高解像度エラーにおける対応するピクセルの中央値を計算することができ、該中央値が使用されて、推定された高解像度エラー画像を生じる。他の例として、高解像度エラーにおける対応するピクセルを順番に並び替える（ソートする）ことができ、最高及び最低のピクセルが破棄され、当該高解像度エラーにおける中間のピクセルのみが平均化されて、推定された高解像度エラー画像を生じる。

図４ないし１１は、高解像度画像を発生するための４つのソース低解像度画像の群（図４参照）の処理の間における、当該高解像度画像を発生する方法の種々のステップでの結果を示している。図５は、上記低解像度が重ね合わされ、次いで高解像度空間に拡大された（ステップ１００及び１２０）後の、図４のソース低解像度画像から推定された高解像度画像を示している。図６は、上記の推定された高解像度画像を変換及びダウンサンプリングすることにより（ステップ１２４）発生された、推定された低解像度画像１２６の結果としての群を示している。図７は、図６の推定低解像度画像を図４のソース低解像度画像から減算する（ステップ１２８）ことにより発生された低解像度エラー１３０を示している。図８は、図７の低解像度エラーをアップサンプリング及び変換する（ステップ１３２）ことにより発生された高解像度エラー１３４を示している。図９は、図８の高解像度エラーから発生される（ステップ１３６）推定された高解像度エラー画像１３８を示し、図１０は、図９の推定された高解像度エラー画像を図５の推定された高解像度画像と組み合わせることにより発生された、更新された推定高解像度画像を示す。図１１は、ステップ１０２ないし１１２の５回の反復の後の更新された推定高解像度画像を示している。

図１２は、高解像度エラーにおけるピクセルの中央値が計算され平均化される場合の、ステップ１３６において図８の高解像度エラーから発生された推定された高解像度エラー画像を示している。図１３は、図１２の高解像度エラー画像を図５の推定された高解像度画像と組み合わせることにより発生された更新された推定高解像度画像を示している。図１４は、ステップ１０２ないし１１２の５回の反復の後の更新された推定高解像度画像を示している。

図１５は、高解像度エラーにおけるピクセルが順番にソートされ、最高及び最低のピクセルが破棄されて、当該高解像度エラーにおける中間のピクセルのみが平均化される場合の、ステップ１３６において図８の高解像度エラーから発生された推定された高解像度エラー画像を示している。図１６は、図１５の高解像度エラー画像を図５の推定された高解像度画像と組み合わせることにより発生された更新された推定高解像度画像を示している。図１７は、ステップ１０２ないし１１２の５回の反復の後の更新された推定高解像度画像を示している。

理解されるように、本発明は、高品質な高解像度画像が一群の低解像度画像から迅速且つ効率的に発生されるのを可能にする。反復の回数を制御することにより、所望の品質の高解像度画像を得ることができる。

本発明は、コンピュータ読み取り可能な媒体上に記憶されたコンピュータ読み取り可能なプログラムコードとして具現化することができる。上記コンピュータ読み取り可能な媒体は、後にコンピュータシステムにより読み取ることができるようにデータを記憶することができる如何なるデータ記憶装置とすることもできる。コンピュータ読み取り可能な媒体の例は、読取専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、磁気テープ及び光データ記憶ディスクを含む。上記コンピュータ読み取り可能なプログラムコードは、該コンピュータ読み取り可能なプログラムコードを分散態様で記憶及び実行することができるように結合されたコンピュータシステムを含むようなネットワーク上で配信することができる。

以上、本発明の実施例を説明したが、当業者であれば、変形例及び変更例を、添付請求項に記載した本発明の趣旨及び範囲から逸脱すること無しに実行することができることが分かるであろう。

図１は、一群のソース低解像度画像から高解像度画像を発生する間に実行される概略ステップを示すフローチャートである。 図２は、一群のソース低解像度画像から高解像度画像を発生する間に実行されるステップを示す説明図である。 図３は、ピクセルｐ(x,y)の双線形補間を示す。 図４は、一群のソース低解像度画像から高解像度画像を発生する間のステップにおける結果を示す。 図５も、一群のソース低解像度画像から高解像度画像を発生する間のステップにおける結果を示す。 図６も、一群のソース低解像度画像から高解像度画像を発生する間のステップにおける結果を示す。 図７も、一群のソース低解像度画像から高解像度画像を発生する間のステップにおける結果を示す。 図８も、一群のソース低解像度画像から高解像度画像を発生する間のステップにおける結果を示す。 図９も、一群のソース低解像度画像から高解像度画像を発生する間のステップにおける結果を示す。 図１０も、一群のソース低解像度画像から高解像度画像を発生する間のステップにおける結果を示す。 図１１も、一群のソース低解像度画像から高解像度画像を発生する間のステップにおける結果を示す。 図１２は、高解像度エラー画像を発生するために他の高解像度エラー処理方法が使用された場合の結果を示す。 図１３も、高解像度エラー画像を発生するために他の高解像度エラー処理方法が使用された場合の結果を示す。 図１４も、高解像度エラー画像を発生するために他の高解像度エラー処理方法が使用された場合の結果を示す。 図１５は、高解像度エラー画像を発生するために更に他の高解像度エラー処理方法が使用された場合の結果を示す。 図１６も、高解像度エラー画像を発生するために更に他の高解像度エラー処理方法が使用された場合の結果を示す。 図１７も、高解像度エラー画像を発生するために更に他の高解像度エラー処理方法が使用された場合の結果を示す。

Claims (35)

1. 一群のソース低解像度画像から高解像度画像を発生する方法において、
   （ａ）前記一群のソース低解像度画像から高解像度画像を推定するステップと、
   （ｂ）前記推定された高解像度画像を一群の推定された低解像度画像に変換するステップと、
   （ｃ）一群の低解像度エラーを発生するために、前記一群のソース低解像度画像を前記一群の推定された低解像度画像と比較するステップと、
   （ｄ）前記一群の低解像度エラーを一群の高解像度エラーに変換するステップと、
   （ｅ）前記一群の高解像度エラーに基づいて高解像度エラー画像を発生するステップと、
   （ｆ）更新された推定高解像度画像を生じさせるために、前記高解像度エラー画像を前記推定された高解像度画像と組み合わせるステップと、
   （ｇ）ステップ（ｂ）ないし（ｆ）を、前記更新された推定高解像度画像が所望の品質のものとなるまで繰り返すステップと、
   を有することを特徴とする方法。
2. 請求項１に記載の方法において、前記発生するステップの間において、前記高解像度エラーが平均化されて前記高解像度エラー画像を発生することを特徴とする方法。
3. 請求項１に記載の方法において、前記高解像度エラーにおける対応するピクセルの中央値が決定され、該中央値が前記高解像度エラー画像を発生するために使用されることを特徴とする方法。
4. 請求項２に記載の方法において、前記高解像度エラーにおける対応するピクセルがソートされ、選択されたソートされたピクセルが破棄され、残存する対応するピクセルが平均化されて前記高解像度エラー画像を発生することを特徴とする方法。
5. 請求項４に記載の方法において、前記選択されたソートされたピクセルが、最高の及び最低のソートされたピクセルであることを特徴とする方法。
6. 請求項１に記載の方法において、前記推定するステップの間において、前記ソース低解像度画像は重ね合わされ、平均化され、次いで高解像度空間に拡大され、これにより前記推定された高解像度画像を生じることを特徴とする方法。
7. 請求項６に記載の方法において、前記拡大が双線形伸張方法を用いて実行されることを特徴とする方法。
8. 請求項６に記載の方法において、前記重ね合わせの間に、前記一群のソース低解像度画像の各々に対して、当該ソート低解像度画像を前記一群の低解像度画像のうちの指定されたものに射影する変換マトリクスが発生されることを特徴とする方法。
9. 請求項８に記載の方法において、ステップ（ｂ）の前記変換するステップが、
   前記推定された高解像度画像を、前記変換マトリクスを用いて変換するステップと、
   該変換された推定された高解像度画像をダウンサンプリングし、これにより前記一群の推定された低解像度画像を生じるステップと、
   を有することを特徴とする方法。
10. 請求項９に記載の方法において、ステップ（ｄ）の前記変換するステップが、
    前記低解像度エラーをアップサンプリングするステップと、
    前記アップサンプリングされた低解像度エラーを前記変換マトリクスの逆を用いて変換し、これにより前記一連の高解像度エラーを生じるステップと、
    を有することを特徴とする方法。
11. 請求項１０に記載の方法において、前記発生するステップの間に、前記高解像度エラーが平均化されて前記高解像度エラー画像を発生することを特徴とする方法。
12. 請求項１０に記載の方法において、前記高解像度エラーにおける対応するピクセルの中央値が決定され、該中央値が前記高解像度エラー画像を発生するために使用されることを特徴とする方法。
13. 請求項１０に記載の方法において、前記高解像度エラーにおける対応するピクセルがソートされ、選択されたソートされたピクセルが破棄され、残存する対応するピクセルが平均化されて前記高解像度エラー画像を発生することを特徴とする方法。
14. 請求項１３に記載の方法において、前記選択されたソートされたピクセルが、最高の及び最低のソートされたピクセルであることを特徴とする方法。
15. 請求項６に記載の方法において、前記低解像度画像の重ね合わせの間に、隣接する低解像度画像Ｉ及びＩ’における一致する角が決定され、前記一致する角に基づく各隣接する対の低解像度画像の間の変換が推定されることを特徴とする方法。
16. 請求項１５に記載の方法において、各対の隣接する低解像度画像Ｉ及びＩ’を重ね合わせるステップが、
    前記低解像度画像Ｉ及びＩ’の各々における高曲率点に対応する特徴部を抽出するステップと、
    前記特徴部に隣接する角を決定するステップと、
    前記低解像度画像Ｉ及びＩ’を重ね合わせるために、前記低解像度画像Ｉの角を前記低解像度画像Ｉ’の対応する角に一致させるステップと、
    を有することを特徴とする方法。
17. 請求項１６に記載の方法において、前記決定するステップの間に、前記特徴部を囲む近傍内の角が検出されることを特徴とする方法。
18. 請求項１７に記載の方法において、前記決定するステップが、閾数の角が検出されるまで実行されることを特徴とする方法。
19. 請求項１８に記載の方法において、前記一致させるステップの間に、前記低解像度画像Ｉ及びＩ’における一致する角を決定するために、前記低解像度画像Ｉ’における検出された各角を前記低解像度画像Ｉにおける検出された各角と比較することを特徴とする方法。
20. 請求項１９に記載の方法において、前記比較するステップが、
    前記低解像度画像Ｉにおける各角が前記低解像度画像Ｉ’における一群の候補となる一致する角を有するような角のリストを生じさせるために、前記低解像度画像Ｉ’における検出された各角と前記低解像度画像Ｉにおける検出された各角との間の相関を決定するステップと、
    前記群における候補となる一致する角の各々が前記低解像度画像Ｉにおける関連する角に対応する確度を測定するステップと、
    前記群における候補となる一致する角のうちの１つを選択するステップと、
    を有することを特徴とする方法。
21. 請求項２０に記載の方法において、前記相関を決定するステップの間に、前記低解像度画像Ｉ’における検出された各角と前記低解像度画像Ｉにおける検出された各角との間の相関スコアを計算するために正規化された相互相関が使用され、閾レベルより高い前記相関スコアが候補となる一致する角を意味することを特徴とする方法。
22. 請求項２１に記載の方法において、前記相関を決定するステップは閾数の候補となる一致する角が決定されるまで実行され、これにより前記群を形成することを特徴とする方法。
23. 請求項２２に記載の方法において、前記測定するステップの間に、一致のスコアが、突き合わされている角を囲む近傍内の他の一致する角の対に基づいて前記群の候補となる一致する角の各々が前記低解像度画像Ｉにおける関連する角に対応する確度を測定するために使用されることを特徴とする方法。
24. 高解像度画像を生成する方法において、
    整合されたソース低解像度画像の平均を補間することにより初期高解像度画像を推定するステップと、
    前記初期高解像度画像からダウンサンプリングされた推定された低解像度画像を発生するステップと、
    前記推定された低解像度画像を前記ソース低解像度画像と比較すると共に、帰還エラーデータを発生するステップと、
    前記帰還エラーデータを使用して、前記推定された高解像度画像を更新するステップと、
    を有し、前記推定する、発生する及び比較するステップが、前記推定された高解像度画像が所望の解像度のものとなるまで反復的に実行されることを特徴とする方法。
25. 請求項２４に記載の方法において、前記ソース低解像度画像が特徴一致型技術を使用して整合されることを特徴とする方法。
26. 請求項２５に記載の方法において、前記帰還エラーデータが、前記推定された高解像度画像を更新するために使用される前にアップサンプリングされ且つ平均化されることを特徴とする方法。
27. 請求項２６に記載の方法において、前記推定された高解像度画像を更新するために使用される前に前記アップサンプリングされた帰還エラーデータを変更するために、変更された平均化技術が使用されることを特徴とする方法。
28. 一群のソース低解像度画像から高解像度画像を発生するデジタル画像編集ツールにおいて、
    前記一群のソース低解像度画像に基づいて高解像度画像を推定する手段と、
    前記推定された高解像度画像を一群の推定された低解像度画像に変換する第１の変換する手段と、
    一群の低解像度エラーを発生するために、前記一群のソース低解像度画像を前記一群の推定された低解像度画像と比較する手段と、
    前記一群の低解像度エラーを一群の高解像度エラーに変換する第２の変換する手段と、
    前記一群の高解像度エラーに基づいて高解像度エラー画像を発生する手段と、
    更新された推定高解像度画像を生じるために、前記高解像度エラー画像を前記推定された高解像度画像と組み合わせる手段と、
    を有し、前記第１の変換する手段、比較する手段、第２の変換する手段、発生する手段及び組み合わせる手段は、前記前記更新された推定高解像度画像が所望の品質のものとなるまで反復的に動作されることを特徴とするデジタル画像編集ツール。
29. 請求項２８に記載のデジタル画像編集ツールにおいて、前記発生する手段が前記高解像度エラーを平均化して前記高解像度エラー画像を発生することを特徴とするデジタル画像編集ツール。
30. 請求項２８に記載のデジタル画像編集ツールにおいて、前記発生する手段は、前記高解像度エラーにおける対応するピクセルの中央値を決定すると共に、該中央値を使用して前記高解像度エラー画像を発生することを特徴とするデジタル画像編集ツール。
31. 請求項２９に記載のデジタル画像編集ツールにおいて、前記発生する手段は、前記高解像度エラーにおける対応するピクセルをソートし、選択されたソートされたピクセルを破棄し、残存する対応するピクセルを平均化して前記高解像度エラー画像を発生することを特徴とするデジタル画像編集ツール。
32. 請求項２８に記載のデジタル画像編集ツールにおいて、前記推定する手段は、前記一群のソース低解像度画像を重ね合わせ、平均化し、次いで高解像度空間に拡大し、これにより前記推定された高解像度画像を生じさせることを特徴とするデジタル画像編集ツール。
33. 請求項３２に記載のデジタル画像編集ツールにおいて、前記拡大が双線形伸張方法を用いて実行されることを特徴とするデジタル画像編集ツール。
34. 一群のソース低解像度画像から高解像度画像を発生するためのコンピュータプログラムを具現化するコンピュータ読み取り可能な媒体において、
    前記一群のソース低解像度画像に基づいて高解像度画像を推定するコンピュータプログラムコードと、
    前記推定された高解像度画像を一群の推定された低解像度画像に第１に変換するコンピュータプログラムコードと、
    一群の低解像度エラーを発生するために、前記一群のソース低解像度画像を前記一群の推定された低解像度画像と比較するコンピュータプログラムコードと、
    前記一群の低解像度エラーを一群の高解像度エラーに第２に変換するコンピュータプログラムコードと、
    前記一群の高解像度エラーに基づいて高解像度エラー画像を発生するコンピュータプログラムコードと、
    更新された推定高解像度画像を生じさせるために、前記高解像度エラー画像を前記推定された高解像度画像と組み合わせるコンピュータプログラムコードと、
    前記第１に変換する、比較する、第２に変換する、発生する及び組み合わせるコンピュータプログラムコードを、前記前記更新された推定高解像度画像が所望の品質のものとなるまで反復的に実行するコンピュータプログラムコードと、
    を有することを特徴とするコンピュータ読み取り可能な媒体。
35. 複数のソース低解像度画像に基づいて高解像度画像を生成する高解像度画像生成方法であって、
    前記高解像度画像を、前記複数の低解像度画像に基づいて推定するステップと、
    前記推定された高解像度画像を、低解像度画像に変換するステップと、
    前記ソース低解像度画像と前記低解像度画像とに基づき、高解像度画像の推定誤差を求めるステップと、
    前記推定誤差に基づいて、前記高解像度画像を更新するステップと、
    を有することを特徴とする高解像度画像生成方法。
    

Images