JP2017500651A - 入力低解像度（ｌｒ）画像を処理して出力高解像度（ｈｒ）画像にする方法 - Google Patents

Abstract

方法が、回帰関数を用いて低解像度(ＬＲ)から高解像度(ＨＲ)画像を生成する。トレーニング段階中、トレーニングＨＲ画像がＬＲ画像にダウンサンプリングされる。ローカル３値パターン(ＬＴＰ)に基づいてＬＲ−ＨＲパッチ対ごとにシグネチャが決定される。シグネチャは、パッチ対特徴の抽象化として用いられる低次元記述子である。次に、同じシグネチャを有するパッチ対がクラスタリングされ、ＬＲパッチをＨＲパッチにマッピングする回帰関数が決定される。いくつかの場合、決定された単一の回帰関数を学習するために、同様のシグネチャのパッチ対を組み合わせることができ、これによって必要な回帰関数の数が減少する。実際のアップスケーリング中、入力画像のＬＲパッチが同様に処理され、シグネチャ及び回帰関数が得られる。次に、ＬＲパッチを、トレーニング回帰関数を用いてアップスケーリングすることができる。

Description

この発明は、包括的には画像処理に関し、より詳細には、高解像度画像を生成することに関する。

高解像度(ＨＲ)表示デバイスにおける表示のために、移動電話、ラップトップ、ウェブカメラ及び他のハンドヘルドデバイス等のデバイスを用いて低解像度(ＬＲ)画像を取得することが一般的である。通常、ＬＲ対ＨＲの変換はアップスケーリング又はアップサンプリングによって行われ、これは、ＨＲ画像内の未知のピクセルの数が、ＬＲ画像内の既知のピクセルの数を数桁超える可能性があるため、不良設定逆問題である。この問題は、自然シーンの画像をモデル化する際に遭遇する独自の難題、並びにＬＲ画像における不可避なカメラのぼけ及びノイズによって悪化する。

アップスケーリング方法は、パラメトリック又は非パラメトリックとすることができる。パラメトリック方法は、ＨＲ画像を、例えば双三次補間を用いてモデル化する。その方法は、ＬＲ画像内の帯域制限構造を想定する。総変動最小化方法は、ＬＲ画像が有界の総変動ノルムを有すると想定する。確率モデルは、画像の勾配プロファイルにおける事前確率を想定し、事前確率のハイパーパラメーターから指定又は推定する。スパースモデルは、画像パッチが基底辞書又は学習済み辞書においてスパースであると想定する。

非パラメトリック方法は、画像又は画像パッチのための明示的なモデルを想定しない。代わりに、この方法は、スケール不変性、並進不変性等の自然画像不変性を利用する。そのような場合、ＨＲ解像度未知画像パッチの事前確率は、データベースに記憶されたパッチ又はスケール空間入力画像からのパッチから得られる。この方法は、ＬＲパッチとＨＲパッチとの対応を「学習する」。再構成中、ＬＲ解像度パッチの全ての発生が、対応するＨＲパッチに置き換えられる。パラメトリック方法及び非パラメトリック方法の双方が欠点を有する。

いずれの方法も、中程度のアップスケール係数であっても現実的なテクスチャの詳細を再現しない。結果として得られる画像は、ぼやけたエッジ、増大したノイズ、ハロ、リンギング及びエイリアシング等の様々なアーチファクトを被る。全ての従来技術のアップスケーリング方法は、かなりの計算リソースを必要とし、例えば、小さい画像を１６倍アップスケーリングするのに数分又は数時間かかる可能性があり、これにより、この方法はリアルタイム用途には役立たない。

この発明の実施の形態は、低解像度(ＬＲ)画像から高解像度(ＨＲ)画像を生成する方法を提供する。本方法は、シグネチャに基づいて、クラスタ内のＨＲパッチ及びＬＲパッチの対から導出された回帰関数を用いる。シグネチャは、ローカルｎ変数パターン(ＬｎＰ)を用いて、同様の外観のパッチをグループ化し、このグループから、ＬＲパッチに対応する出力ＨＲパッチを推定する回帰関数を学習する。例えば、ＬｎＰは、ローカル２値パターン又はローカル３値パターンとすることができる。

本方法は、２つの主要な段階、すなわち、オフライントレーニング及びリアルタイムアップスケーリングを用いる。オフライントレーニング中、トレーニングＬＲ−ＨＲパッチの対が生成される。パッチは重複している可能性がある。例えば、ＨＲパッチは或る所定のサイズであり、ＬＲパッチは、或る所定のスケールパラメーターについてのＨＲパッチのダウンサンプリングされたバージョンである。回帰関数は、ＬＲ−ＨＲパッチ対内のＬＲパッチのＬｎＰに基づく。リアルタイムアップスケーリング中、ＨＲ画像は、パッチごとの形式でＬｎＰに基づいて回帰関数を適用することによって入力ＬＲ画像から生成される。パッチが重複するとき、重複領域内のピクセル値は、平均をとること、中央値を計算すること等によって、複数の推定値から得ることができる。
本方法は、顕著なエッジをぼやけさせることなく、かつ精細なテクスチャの詳細を失うことなく、ＨＲ画像を生成する。

この発明の実施の形態によるトレーニング段階及びアップスケーリング段階の流れ図である。 この発明の実施の形態によるトレーニング段階の流れ図である。 この発明の実施の形態によるアップスケーリング段階の流れ図である。 この発明の幾つかの実施の形態によるアップサンプリングの概略図である。

この発明の実施の形態は、入力低解像度(ＬＲ)画像から出力高解像度(ＨＲ)画像を生成する方法を提供する。入力ＬＲ画像は、低ノイズ分散及び詳細なテクスチャパターンを有する自然画像又は合成画像のいずれかとすることができる。本方法は、一連の画像、例えばビデオを処理することができることを理解するべきである。いずれの場合にも処理をリアルタイムで行うことができることが更に理解される。

図１は、対応するトレーニングＬＲ及びＨＲ画像２０１の対からの１組の回帰関数１０９のトレーニング２００を示す。アップスケーリング３００は、回帰関数を用いて、入力ＬＲ画像３０５から出力ＨＲ画像３０９を生成する。トレーニング２００及びアップスケーリング３００は、当該技術分野において既知のバスによってメモリ及び入出力インタフェースに接続されたプロセッサ１００によって実行することができる。

図２に示すように、トレーニングは、ＬＲ−ＨＲ画像対に基づく。そのような対は、当該技術分野において通常行われているように、ＨＲ画像をダウンサンプリングしてＬＲ画像を得ることによって得ることができる。ＬＲ−ＨＲ画像２０１は、次に、対応するＬＲ−ＨＲパッチ２１０の対に分割される。１つの実施の形態では、パッチは部分的に重複している。ＨＲパッチは所定のサイズとすることができ、ＬＲパッチは、何らかの所定のスケールパラメーターのためのダウンサンプリングされたバージョンである。例えば、ＨＲパッチは、５×５のピクセルであり、ＬＲパッチは３×３のピクセルである。他のサイズも可能であることが理解される。

パッチの対ごとに、シグネチャが決定される。シグネチャは、対内のＬＲパッチから抽出されたローカルｎ値パターン(ＬｎＰ)２２１の形態とすることができる。ＬｎＰは、ローカル３値パターン(ＬＴＰ)又はローカル２値パターン(ＬＢＰ)とすることができる。ＬＴＰはＬＢＰの拡張である。ＬＢＰと異なり、ＬＴＰは、ピクセルを０及び１に閾値処理するのではなく、３つの値(−１，０，＋１)を可能にする閾値定数を用いる。図２の以下の説明はＬＴＰを想定するが、ＬＢＰも用いることができる。

次のステップは、ＬＲ−ＨＲパッチ対２１０を含む、幅広く揃ったサンプルパッチを取得する。これは、ＬＲ−ＨＲパッチのランダム選択又は一様格子上のサンプリング等の任意の方法によって行うことができる。パッチ対の各メンバーは、同じピクセルを中心とする。このとき、ＬＲ−ＨＲパッチ対ごとにシグネチャを決定する。ＬｎＰシグネチャは、パッチ対内のＬＲ画像から決定される(２２０)。通常、用いられる手順に依拠して、シグネチャは、ＬＲ画像、双三次アップサンプリングされたＬＲパッチ又はＨＲパッチから決定することができる。

シグネチャは低次元の記述子である。記述子は、パッチ対の外観の抽象化として用いられる。１つの実施の形態におけるシグネチャとして、ＬＴＰを用いる。しかし、他にも、ローカル２値パターン(ＬＢＰ)及び他の拡張が可能である。

１つの実施の形態では、ＬＲパッチを９個のピクセル輝度の３×３のセルに分割することによってＬＴＰ特徴を決定する。ＬＴＰ値を決定するために、中心ピクセルの輝度を、８個の近傍ピクセルの各々の輝度と比較する。左上のセルから開始して、中心セルの回りを時計回りに移動する。輝度が中心セルの輝度に閾値を加えたもの以上である場合、＋１を割り当てる。輝度が中心輝度から閾値を減算したもの以下である場合、以下のように、−１を割り当て、そうでない場合、０を割り当てる。

１：ｐ≧ｃ＋ｋの場合
０：ｐ＞ｃ−ｋおよびｐ＜ｃ＋ｋの場合
−１：ｐ＜ｃ−ｋの場合

ここで、ｐはセルの輝度であり、ｃは中心セルの輝度であり、ｋは閾値である。

ＬＴＰ値を用いる場合、８ディジットベクトルにおいて３つの別個の値を有する。このため、この発明のシグネチャの場合、ｎ^８個の別個のＬＴＰベクトル２４０が存在し得る。ここで、ＬＢＰの場合、ｎは２であり、ＬＴＰの場合、ｎは３である。

ＬＲ−ＨＲパッチ対ごとにシグネチャを決定した後、同じシグネチャを有する対を同じグループにクラスタリングする(２３０)。次に、グループごとに回帰関数を学習する(２４０)。

学習を行うために、各ＬＲパッチ及びＨＲパッチをベクトル化することができる。すなわち、パッチを形成する２Ｄ行列内のピクセル輝度は、パッチの行を隣合わせに単一の行に書き込むことによって、１Ｄベクトルに再構成される。例えば、３×３のＬＲパッチは、１×９ベクトルになるように形成することができる。ｎ個のパッチが存在すると想定して、Ｌ_ｋを、ｎ個のＬＲベクトルを(例えば)ｎ×９の行列にスタッキングすることにより得られる行列とし、Ｈ_ｋを、ｎ個のＨＲベクトルを、ｎ行と、ベクトル化されたＨＲパッチのサイズによって決まる列数との同様の行列(例えば、５×５＝２５)にスタッキングすることにより得られる行列とする。

次に、各ＬＲパッチを取得し、ＬＲパッチをその対応するＨＲパッチに最適にマッピングする回帰関数が学習される。マッピングを最適化するコスト関数が二乗誤差(Ｌ２)となるように取得され、ＨＲモデルが線形である場合、この学習は、シグネチャグループごとに線形回帰関数(行列)を用いて行うことができる。

Ｆ_ｋ＝ｉｎｖ(Ｌ_ｋ ^Ｔ＊Ｌ_ｋ)＊Ｌ^Ｔ＊Ｈ_ｋ

ここで、Ｆ_ｋはシグネチャグループについて学習される回帰関数であり、ｉｎｖは逆関数を示し、Ｌ_ｋはベクトル化されたＬＲパッチのアレイである。Ｔは行列転置であり、Ｈ_ｋはグループのためのベクトル化されたＨＲパッチのアレイである。結果はＬＴＰグループごとの単純な線形回帰関数１０９である。線形回帰の代わりに、指数関数、対数関数、三角関数、冪関数及びガウス関数等の非線形回帰関数を用いることもできる。

１つの実施の形態では、ＬＲ画像の双三次アップサンプリングを用いて拡大ＬＲ(ＥＬＲ)画像を形成することができる。次に、ベクトル化後、同じ入出力アレイサイズに取り組む。例えば、スケール係数１．２５及びＬＲパッチサイズ４×４の場合、ＨＲパッチサイズは５×５となる。シグネチャグループのための３００個のパッチが存在すると仮定する。このとき、双三次アップサンプリングされたＥＬＲパッチを用いると、Ｌ_ｋは３００×２５の行列であり、Ｈ_ｋは３００×２５の行列であり、Ｆ_ｋは２５×２５の行列であり、すなわち、２５は、５×５のパッチを２５×１のベクトルにベクトル化したことによる。

グループごとに回帰関数を個々に学習する代わりに、シグネチャ類似度判断基準に基づいて、単一の回帰関数を学習するために選択されたグループのパッチ対を組み合わせることができる。例えば、類似度判断基準は、ＬｎＰの回転バージョン、対称バージョン又は回転対称バージョンに基づくことができる。回転された、すなわち循環シフトされたＬｎｐは、回転されたパッチに対応する。同様に、対称なＬｎＰは対称なパッチに属する。回帰関数学習段階中、対称及び回転(循環シフト)操作によって互いにマッピングすることができるＬｎＰのパッチ対を、対応するパッチ対に同様の変換を加えた後に組み合わせて同じグループにする。同じグループのＬｎＰに基準ＬｎＰを割り当てる。ここでもまた、これらのＬｎＰは、単純な循環シフト及び対称操作によって基準ＬｎＰに変換することができる。グループごとに、そのグループの基準ＬｎＰ、そのグループに含まれるＬｎＰ、及びまたグループ内のＬｎＰをグループの基準ＬｎＰに変換するときにパッチに適用される操作の順序を指定するルックアップテーブルを学習する。これらから、同じグループ内の他のＬｎＰに対応する回帰関数を得るために、基準ＬｎＰの回帰関数係数を再構成する操作を決定する。結果として、回帰関数の数が減少し、関数を記憶するのに必要なメモリ量が最小限にされる。

別の可能性は、共有回帰関数が、２つの独立した回帰関数よりも、生成するコストがそれほど高くないという観測に基づいて、類似の回帰関数を可能にするシグネチャをグループ化することである。加えて、選択されたシグネチャを組み合わせて汎用回帰関数にすることができる。なぜなら、シグネチャは非常に稀であり、例えば、関数が発生するのが或る所定のしきい値未満であるためである。したがって、汎用回帰関数を用いることは、画像内の幾つかのピクセルにしか影響を与えず、出力ＨＲ画像の全体外観にほとんど影響を与えない。

アップスケーリング
図３に示すように、アップスケーリング３００は、トレーニングと同じ、ＬＲパッチへの画像分割に従う。アップスケーリング３００は、入力ＬＲ画像３０５から始まり、入力ＬＲ画像３０５はＬＲパッチ３０１に分割され、ＬＲパッチ３０１についてＬｎＰが計算３１０される。この実施の形態において、ＬＲ画像は、パッチを処理する前にまずアップサンプリングされる。なぜなら、図４について以下で説明するように、３×３のパッチは５×５のパッチに対するサポートが不十分なであるためである。トレーニング中と同様に、重複するパッチにおいて入力特徴を決定することができる(３３０)。隣接するパッチ間の重複量は、アプリケーション固有又は適応的とすることができる。次に、ＬＴＰ値に基づいて各パッチに回帰関数を適用することができる(３４０)。複数の予測値は出力ＨＲ画像３０９を構築するように平均するか又は中央値を計算する(３５０)ことができる。

図４はアップサンプリングの別の例を示す。ここで、オリジナルＬＲピクセルは、２倍のアップサンプリング後にＨＲパッチ内に間隔をあけて配置される。長方形４０１は、５×５のＨＲパッチ及び対応する３×３のＬＲパッチ４０２を示す。一方、各ＨＲパッチはＬＲ画像内の４×４のパッチの関数であり、このため、３×３のＬＲパッチから開始し、５×５のＨＲパッチを導出することは不可能であることに留意されたい。なぜなら、５×５のパッチ内の値は、ＬＲ内の３×３の近傍を用いたためである。実際にＨＲ内の５×５のパッチ４０１のためのサポートは、ＬＲ内の５×５のパッチ４０３全体を必要とする。

換言すれば、拡大されたＬＲ(ＥＬＲ)パッチから開始する場合、ＬＴＰは、図４に示すＥＬＲのスパースなサンプリングから決定することができる。ＥＬＲ内に４つのタイプのピクセル、すなわち、オリジナル、右、下及び対角の近傍が存在する。各タイプのピクセルは、オリジナルピクセルと同じＬＴＰを有することができるか、又は各々が独自の個々のＬＴＰを有することができる。この場合、操作は対称である。この場合、本方法は、ＥＬＲ画像のみでなく任意の画像に対し操作を行うことができるので、適応画像鮮明化に類似している。

トレーニング及び係数２によるアップスケーリングの別の実施の形態では、ＥＬＲの使用を以下のように回避する。ここでもまた、ＬＲ画像から得られたＬｎＰ値に基づいてパッチ対クラスタを収集する。ここでもまた、回帰関数は、ＬｎＰ値クラスタごとに学習される。この実施の形態では、学習される回帰関数は、ＬＲ画像内の５×５のパッチを、ＨＲ画像内の５×５のパッチに直接マッピングする。前の実施の形態における各ＥＬＲは、通常、トレーニングパッチにおいて用いられるＬＲ画像内の同じ５×５のパッチの線形関数であったため、この実施の形態において、出力ＨＲ画像は同じとすることができ、ＥＬＲ計算が回避される。

この実施の形態の変形形態において、ＨＲとＥＬＲとの間の差分を出力するように回帰関数をトレーニングすることができる。この差分又は近似は、双三次アップサンプリングによって得られるＨＲとＥＬＲとの間の誤差である。このため、回帰関数の出力をＥＬＲに加えて、ＨＲの良好な近似を生成することができる。

双方の実施の形態の別の変形形態において、各ＬＲピクセルにおける５×５のパッチを予測する代わりに、各ピクセルにおいて３×３のパッチのみを予測することができ、これにより、計算が減ることに起因して時間が節減され、かつ、このとき、回帰関数は９×２５の行列であることしか必要としないので、メモリが節減される。

この発明の方法は、多くの種類の分野における画像処理に適用可能である。

Claims (20)

1. 入力低解像度(ＬＲ)画像を処理して出力高解像度(ＨＲ)画像にする方法であって、
   前記入力ＬＲ画像をパッチに分割することと、
   パッチごとにローカルｎ値パターン(ＬｎＰ)を決定することと、
   前記ＬＲ画像を拡大して、拡大ＬＲ画像(ＥＬＲ)を生成することと、
   前記ＬｎＰに基づいて前記ＥＬＲ画像パッチに回帰関数を適用して、前記出力ＨＲ画像を生成することであって、前記回帰関数は、トレーニングＥＬＲ画像とトレーニングＨＲ画像との対から学習されることと、
   を含み、各ステップはプロセッサにおいて実行される、方法。
2. 前記ＬｎＰはローカル２値パターンである、請求項１に記載の方法。
3. 前記ＬｎＰはローカル３値パターンである、請求項１に記載の方法。
4. 処理は一連の画像に対し操作を行う、請求項１に記載の方法。
5. 前記パッチは重複する、請求項１に記載の方法。
6. 前記拡大は双三次アップサンプリングを用いる、請求項１に記載の方法。
7. ＥＬＲパッチを分割して、９個のピクセルの３×３のセルにすることと、
   左上セルから開始して、中心セルの輝度を８個の近傍セルの輝度と比較し、中心ピクセルの回りを時計回りに移動し、以下の式に従って、前記輝度が前記中心セルの輝度に閾値を加えたもの以上である場合、＋１を割り当て、前記輝度が前記中心セルの輝度から前記閾値を減算したもの以下である場合、−１を割り当て、そうでない場合、０を割り当て、
   １：ｐ≧ｃ＋ｋの場合
   ０：ｐ＞ｃ−ｋおよびｐ＜ｃ＋ｋの場合
   −１：ｐ＜ｃ−ｋの場合
   ここで、ｐは前記セルの輝度であり、ｃは前記中心セルの輝度であり、ｋは前記閾値であることと、
   同じシグネチャを有するパッチ対を同じグループにクラスタリングすることと、
   グループごとに前記回帰関数を学習することと、
   を更に含む、請求項２に記載の方法。
8. 類似度判断基準に基づいて選択されたグループの前記パッチ対を組み合わせることと、
   前記組み合わされたパッチ対から単一の関数を学習することと、
   を更に含む、請求項７に記載の方法。
9. 前記類似度判断基準は、前記ＬｎＰの回転バージョン、対称バージョン又は回転対称バージョンに基づく、請求項８に記載の方法。
10. 選択されたグループを組み合わせて汎用回帰関数がトレーニングされ、前記選択されたグループが発生するのは或る所定の閾値未満である、請求項７に記載の方法。
11. 入力低解像度(ＬＲ)画像を処理して出力高解像度(ＨＲ)画像にする方法であって、
    前記入力ＬＲ画像をパッチに分割することと、
    パッチごとにローカルｎ値パターン(ＬｎＰ)を決定することと、
    前記ＬｎＰに基づいて前記ＬＲ画像内の各パッチに回帰関数を適用し、重複するＨＲパッチを生成することと、
    前記パッチ内のピクセルの輝度を平均することによって前記出力ＨＲ画像を取得することであって、前記回帰関数は、トレーニングＬＲ画像とトレーニングＨＲ画像との対から学習されることと、
    を含み、各ステップはプロセッサにおいて実行される、方法。
12. 前記ＬｎＰはローカル２値パターンである、請求項１１に記載の方法。
13. 前記ＬｎＰはローカル３値パターンである、請求項１１に記載の方法。
14. 処理は一連の画像に対し操作を行う、請求項１１に記載の方法。
15. 処理はリアルタイムである、請求項１１に記載の方法。
16. 前記パッチは重複する、請求項１１に記載の方法。
17. 前記回帰関数は、前記ＨＲと拡大ＬＲ(ＥＬＲ)との間の差分を出力するようにトレーニングされ、前記差分を前記ＥＬＲに加えて前記出力ＨＲを生成する、請求項１１に記載の方法。
18. 前記回帰関数は線形回帰関数である、請求項１に記載の方法。
19. 前記パッチ対を前記同じグループ内の対称ＬｎＰと組み合わせることと、
    前記パッチ対を前記同じグループ内の回転ＬｎＰと組み合わせることと、
    前記パッチ対を前記同じグループ内の回転対称ＬｎＰと組み合わせることと、
    グループごとに基準ＬｎＰを選択することと、
    前記ＬｎＰから前記同じグループ内の前記基準ＬｎＰまでのルックアップテーブルを決定することと、
    空間回転及びミラーリング操作により、前記同じグループ内のパッチ対を、前記基準ＬｎＰを有する全ての対に変換することと、
    グループごとに前記回帰関数を学習することと、
    を更に含む、請求項７に記載の方法。
20. 入力低解像度(ＬＲ)画像を処理して出力高解像度(ＨＲ)画像にする方法であって、
    前記入力ＬＲ画像をパッチに分割することと、
    パッチごとにローカルｎ値パターン(ＬｎＰ)を決定することと、
    ルックアップテーブルから前記ＬｎＰのための基準ＬｎＰを決定することと、
    前記ルックアップテーブルに従って前記基準ＬｎＰの回帰関数係数を再構成することと、
    前記ＬＲ画像内の各パッチの前記基準ＬｎＰに基づいて再構成された回帰関数を適用し、重複するＨＲパッチを生成することと、
    前記パッチ内のピクセルの輝度を平均することによって前記出力ＨＲ画像を得ることであって、前記回帰関数は、トレーニングＬＲ画像とトレーニングＨＲ画像との対から学習されることと、
    を含み、各ステップはプロセッサにおいて実行される、方法。

Images