JP2013532878A - 超解像度画像を生成する方法及びこれを実施するための非線形デジタルフィルター - Google Patents

Abstract

本発明は、写真及びビデオ画像の分野に関し、且つ、電子シャッターを有するセンサーを具備したカメラ又はビデオカメラを使用して視覚的に近接した被写体の高品質画像を生成するために使用することができる。技術的な結果は、高解像度の１つのフレームを生成するために低解像度の複数のフレームを使用する際の画像の解像度の向上（即ち、超解像度）と、センサーの一部のみをスキャニングしつつ画像の複数のフレームを高速キャプチャする可能性と、を有する。この結果は、複数のフレームを露光させ、スキャニングされるセンサーの光感知領域の部分の大きさにフレームの周波数が逆比例している高速キャプチャによるフレームの連続したシーケンスの形態におけるセンサーからの読出しによって初期画像を生成し、前記初期画像をアライメントさせ、向上した画像を生成し、且つ、この画像を半径方向及び正弦波試験チャート並びに基準点を有する試験画像を使用して事前トレーニングされたニューラルネットワークを有する非線形フィルターを使用してフィルターリングすることにより、実現される。更には、フィルターリングは、事前変更されたデジタル化データをニューラルネットワークに供給するステップを有し、この場合に、前記データの変更は、低周波数成分を隔離するステップと、ピクセルを要素ごとに配列するステップと、配列されたピクセルから低周波数成分を読み取るステップと、この後に、前記ピクセルを標準化するステップと、を有する。次いで、ニューラルネットワークの出力におけるデータに逆標準化を適用し、且つ、低周波数成分をニューラルネットワークの出力の値に加算する。

Description

本発明は、写真及びビデオ画像の分野に関し、且つ、電子シャッターを有するセンサーを具備する写真及びビデオカメラによって視覚的に拡大された被写体の高品質画像を生成するために使用することができる。

最近のモバイル装置は、通常、写真及びビデオカメラを具備することにより、非常に高品質の画像をキャプチャすることができる。但し、視覚的に拡大された画像をキャプチャするために、可変焦点距離を有する光学系（レンズ）を使用することは（可変倍率ズームレンズ）、モバイル装置の移動性要件に起因して不可能であり、その理由は、これらの光学系の大きなサイズにある。従って、これらのモバイル装置は、デジタルズーム法を頼りとしている。

当技術分野においては、以下の解決策が知られている。

デジタルズーム法を使用して低解像度の拡大画像を取得する。この視覚的な拡大法を使用する際には、センサーの中心部分のみが有効である。従って、センサーのピクセルの合計数に等しいピクセル数を有する画像を取得するために、センサーの中央部分からの縮小画像を既知の２次元補間法（双線形又は双三次）のうちの１つによって補間している。

デジタルズーム法の制限は、次のとおりである。
露光の際の運動によって生じる線形の画像ぶれの拡大が補間の際に発生する。従来の安定化システム（Ｄａｖｉｄ Ｓａｃｈｓ、Ｓｔｅｖｅｎ Ｎａｓｉｒｉ、Ｄａｎｉｅｌ Ｇｏｅｈｌによる“Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｏｖｅｒｖｉｅｗ”）の使用は、移動性要件に起因して困難である。
補間された信号が高周波数成分を含んでおらず、これが、不明瞭なエッジと細部の欠如をもたらす。

フレームの間にわずかな空間シフトを有する、いくつかのフレームを使用して解像度を向上させる又は超解像度を得る画像向上法が存在している（Ｍｉｃｈａｌ Ｉｒａｎｉ、Ｓｈｍｕｅｌ Ｐｅｌｅｇによる“Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ Ｆｒｏｍ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅｓ”、ＩＣＰＲ、２：１１５−１２０、１９９０年６月）。この方法においては、高解像度の最適な画像への収束を反復的に実行している。反復は、高解像度画像の初期（未加工）バージョンを生成するステップによって始まる。通常、このような初期バージョンは、低解像度の補間画像の単純な加算によって生成される。反復の第２のステップは、高解像度画像のバージョンを低解像度の初期画像とマッチングさせることによる高解像度画像のバージョンからの低解像度画像の再生成と、補正要因の評価と、を含む。更なる反復において、以前の反復の補正を考慮して高解像度画像の新しいバージョンを評価する。

この方法の制限は、多数回に及ぶ反復に起因した非常に低い速度にある。別の制限は、必要な反復回数の予測不能性にある。

解像度を向上させることによる別の画像向上法（Ａ．Ｖ．Ｎａｓｏｎｏｖ及びＡ．Ｓ．Ｋｒｙｌｏｖによる“Ｆａｓｔ ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ ｕｓｉｎｇ ｗｅｉｇｈｔｅｄ ｍｅｄｉａｎ ｆｉｌｔｅｒｉｎｇ”、Ｐｒｏｃ． Ｉｎｔｅｒｎ． Ｃｏｎｆ． ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｉｓｔａｎｂｕｌ， Ｔｕｒｋｅｙ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ、２２３０〜２２３３頁、２０１０年）も知られており、この場合には、Ｔｉｋｈｏｎｏｖによる正則化法を使用し、高解像度を有する結果への反復方法の収束を保証している。この方法は、いくつかの画像フレームを撮影して向上した解像度を有する視覚的に拡大された画像を取得する際に有効である。

制限は、従来の方法を使用した撮影の際に写真の間に出現する不可避な休止に起因し、フレーム内の運動する（安定していない）物体が、ぼけた状態において又はゴーストを伴ってキャプチャされるという点にある。この方法は、カメラの光学系の歪（ぼけ／不明瞭性）を補正する機会を提供しない。更には、この方法において使用されるメディアンフィルターリングは、エッジの鋭さは、保持するが、その向上が超解像度の目的の１つである小さな画像の細部を破壊してしまう。

単一の２Ｄ画像を上回る量の情報を含む画像のシーケンスの解像度向上のその他の既知の方法の１つが、（Ｊｕｎｇ−Ｈｙｕｎ Ｈｗａｎｇ、Ｈｗｅｉｈｎ Ｃｈｕｎｇ、Ｓｕｎｇ−Ｉｉ Ｓｕ、Ｙｏｎｇ−Ｃｈｕｌ Ｐａｒｋ、Ｃｈｕｌ−Ｈｏ Ｌｅｅによる“Ｈｉｇｈ−ｒｅｓｏｌｕｔｉｏｎ ｄｉｇｉｔａｌ−ｚｏｏｍｉｎｇ ｕｓｉｎｇ ｔｅｍｐｏｒａｌ ＩＩＲ ｆｉｌｔｅｒ”ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ、第４２巻、第３号、１９９６年８月）に記述されている。高解像度を実現する視覚的な画像拡大のために、且つ、デジタル画像の安定化のために、サブピクセルレベルにおける運動の検出及び時間スケールに沿ったＩＩＲフィルターリングを導入している。実際の画像のシーケンスに基づいた実験結果が示されている。

この方法の処理ステップにおいては、センサーからのデータの取得、アライメント、拡大、線形フィルターによる画像の多重化／フィルターリングが実行され、同時に、異なる重みを使用し、それぞれの到来するフレームを以前の結果に加算している。画像の拡大の後に、矩形ウィンドウとの更なる畳み込み（即ち、ポストフィルターリング）を実行しているが、このように多重化する前に、サブピクセル分の距離だけシフトされた画像を以前の結果のピクセルに対して直接的に加算（ＩＩＲフィルターによってフィルターリング）することができる。

この方法の第１の制限は、出力フィルターの単純さに起因し、最適な鋭さを有する最終画像が実現されないという事実にある。更には、このフィルターは、隣接した近傍の画像ピクセルを使用しておらず、これにより、カメラの光学系内における歪（ぼやけ／不明瞭性）の補正が妨げられる。センサーからのデータの取得は、標準的な低速の方法によって実行されており、これが、ぼけた画像と、二重になった不安定な被写体（ゴースト）と、をもたらす。

画像の鮮明さを向上させる方法（Ｍａｓａａｋｉ Ｈａｙａｓｈｉによる“Ｎｅｕｒｏｆｉｌｔｅｒ， ａｎｄ ｍｅｔｈｏｄ ｏｆ ｔｒａｉｎｉｎｇ ｔｏ ｏｐｅｒａｔｅ ｏｎ ｉｍａｇｅ ｄａｔａ ｓｏ ａｓ ｔｏ ｄｉｓｃｒｉｍｉｎａｔｅ ｂｅｔｗｅｅｎ ｔｅｘｔ ａｎｄ ｉｍａｇｅ ｒｅｇｉｏｎｓ ｏｆ ａｎ ｉｍａｇｅ ｗｈｉｃｈ ｉｓ ｅｘｐｒｅｓｓｅｄ ｂｙ ｉｍａｇｅ ｄａｔａ”、米国特許第６，３０１，３８１号明細書）が知られており、この場合には、画像をテキストを含むエリアと図を含むエリアに分割するために、ニューラルネットワークを使用して実現された１つの非線形フィルターを使用し、且つ、画像の鋭さを向上させるために、こちらもニューラルネットワークを使用して実現されたもう１つの非線形フィルターを使用している。両方のフィルターは、次のように設計される。
フィルターリングの実行対象であるピクセルのデータを含む画像エリアから、このピクセルの値及び近傍のピクセルの値を読み取り、
選択されたピクセルの値を事前にトレーニングされたニューラルネットワークの入力に転送し、
−鋭さ向上フィルターの場合には、ニューラルネットワークは、鋭い画像を形成するためのピクセルの値を付与し、
−テキストを図と識別するために使用されるフィルターの場合には、ニューラルネットワークは、この画像エリア内に存在するテキストの確率に比例したレベルを有する信号を付与する。

この方法の制限は、次のとおりである。
１つのフレームのみを入力として使用しており、入力と比較した場合、最終画像内のノイズのレベルの低減が実現されず；
ピクセル値の大きなダイナミックレンジがニューラルネットワークの効果的な動作を妨げ；
処理の結果として、画像の鮮明さは向上するが、画像の解像度が向上しない。

更に別の画像解像度向上法（Ｌｉｎ、その他による“Ｍｅｔｈｏｄ ｆｏｒ ｉｍａｇｅ ｒｅｓｏｌｕｔｉｏｎ ｅｎｈａｎｃｅｍｅｎｔ”、米国特許第７，１８７，８１１号明細書）も知られており、この場合には、１つの画像フレームを入力として使用する。この方法を使用する際には、入力画像のエリアを、エッジを有する画像のエリアとそうではないエリアという２つのグループに分類する。エッジを有していない画像のエリアは、単純な双線形補間によって補間する。エッジを有するエリアは、ニューラルネットワークによって補間する。このような２つのカテゴリへの分割とそれらの分離された補間は、画像の傾いたエッジの「階段（ｓｔａｉｒｃａｓｅ）」現象などの従来の補間法（双線形及び双三次）に共通する制限を回避するのに有用である。

このような方法においては、ニューラルネットワークによって設計された非線形デジタルフィルター（インターポレータ）をエッジを有する画像のために使用している。ニューラルネットワークは、「フィールド」自然画像（“ｆｉｅｌｄ” ｎａｔｕｒａｌ ｉｍａｇｅ）を使用して事前トレーニングされている。インターポレータ用の入力データは、エリア座標、エッジの「品質」、エッジの下降（ｄｅｃｌｉｎａｔｉｏｎ）、処理中のピクセルの値、及び近傍のピクセルを含む。エッジの「品質」及び下降は、エリア内に含まれるピクセルのデータに基づいて算出する。これらのデータは、ニューラルネットワークの入力層に転送される。ニューラルネットワークは、入力データをニューラルネットワークの事前トレーニングの際に判定された重みに対して乗算し、且つ、既定の非線形伝達関数を適用する。補間されたピクセルの値がニューラルネットワークの出力結果を構成する。この方法においては、その入力層に対して、エリア座標、エッジの「品質」、エッジの下降、処理中のピクセルの値、及び近傍のピクセルが直接転送される非線形フィルターの機能をニューラルネットワークが実行している。ニューラルネットワークは、補間されたピクセルの値を即座に付与する。

この方法の制限は、次のとおりである。
１つのフレームのみを入力として使用しており、入力と比較した場合、最終画像内におけるノイズレベルの低減が実現されず；
ニューラルネットワークをトレーニングして既定の限られたパターン（エッジの向きの変形）のセットを識別（ｄｉｓｔｉｎｃｔ）しており、これが、画像の不正確な補間をもたらし、これらの画像は、トレーニングセットのものに似ておらず；
ピクセル値の大きなダイナミックレンジがニューラルネットワークの効果的な動作を妨げ；
処理の際に画像を２つのグループに分割することが必要であり；追加の演算リソースが必要である。

入手可能なすべての情報を分析した際に、本発明者は、本発明に記述されている方法によって画像を視覚的に拡大しつつ高解像度画像を得るという課題を解決することができる技術的な解決策を見出すことができなかった。

本発明の目的は、静止した被写体と動いている被写体の両方の写真及びビデオ撮影の際に高品質及び高解像度の視覚的に拡大された画像をキャプチャできるようにする方法を生成することにある。

提案されている解決策は、画像の解像度向上の実現に基づいており、これは、いくつかの低解像度のフレームを使用して１つの高解像度のフレーム（即ち、超解像度）を取得しており、且つ、センサーの一部のみをスキャニングしつついくつかの画像フレームの高速撮影をも提供している。課題の解決策（即ち、必要とされる技術的な効果の達成）は、この目的のために特別に設計された非線形フィルターを使用して実現されている。

本発明の本質は、
いくつかのフレームの露光と、
センサーからの入力画像の読取りと、
アライメントと、
拡大された画像の形成と、
そのフィルターリングと、
を含む既知の画像向上法において、
入力画像が高速撮影フレームの連続したシーケンスの形態においてデジタルセンサーから読み取られ、その際に、フレームレートが、スキャニングされるセンサーの面積と反比例しているという事実にある。同時に、低解像度の入力フレームを融合し、且つ、最も明瞭な（又は、最も鮮明な）フレームを識別することにより、拡大画像を形成し、非線形フィルターを入力フレームの融合の拡大された結果に対して適用することにより、画像の向上を非線形フィルターによって実行している。超解像度を得るべく、フィルターリングのために、その入力データが処理中の画像のピクセルであると共に基準画像を使用して事前トレーニングされたニューラルネットワークを含む非線形デジタルフィルターを使用している。変更されたデジタル化データをニューラルネットワークに転送しており、この変更は、低周波数成分の選択と、要素ごとのピクセルのグループ分けと、グループ分けされたピクセルからの低周波数成分の減算と、それらの更なる正規化と、を含む。次いで、出力されたニューラルネットワークのデータを逆正規化によって処理し、且つ、低周波数成分をニューラルネットワークの出力値に加算している。フィルターリングしなければならないピクセルの、且つ、拡大された画像から水平及び垂直に数ポイント以下に位置しているピクセルの、データのみを使用し、フィルターの値を取得している。

図１は、電子シャッターを有するセンサーを使用してビデオモードにおいてフレームを撮影する標準的な方法を示す。フレームの露光の間に休止が存在している。時間スケール上の垂直線１、２、３は、フレームの露光の開始時点を表しており、同時に、これらの間の距離は、フレームレートに等しい。シェードが付与された領域は、センサーの走査線露光の実際の時間を示す（センサーが電子シャッターと共に使用されるのに伴い、すべての走査線の開始時点と終了時点の実際の露光がわずかにずれている）。 図２は、電子シャッターを有するセンサーを使用する休止を伴わないフレームの撮影である。時間スケール上の垂直線１、２、３、４は、フレームの露光の開始時点を表している。次のフレームの露光が現在のフレームのラインのデータを読み取った直後に始まっており、休止は存在していない。 図３は、センサーの図であり、この場合に、３０１は、センサーの光感知エリアであり、３０２は、その中央部分であって、これが、視覚的に拡大された画像を取得するために使用される。 図４は、拡大されたサイズの１つの画像内におけるいくつかのフレームのアライメント及びそれらの融合を示しており、更なる解像度の向上を伴っており（ブロックダイアグラム）、この場合に、 ４０１（上部列）は、初期フレームであり、 ４０２（第２列）は、アライメントされたフレームであり、 ４０３は、フレーム融合ブロックであって、これは、入力されたアライメント済みのフレームを取得し、且つ、拡大されたサイズの融合されたフレームを付与し、 ４０４は、初期の「ぼけた」画像であり、 ４０５は、非線形フィルターであり、 ４０６は、超解像度を有する拡大された画像である。 図５は、解像度の向上のための非線形フィルターの適用を示しており、この場合に、 ５０１は、初期の拡大された画像であり、 ５０２は、フィルターの図であって、データの事前トレーニング（５０３）、ニューラルネットワーク（５０４）、及び加算（５０５）を含み、 ５０６は、超解像度を有する拡大された最終画像である。 図６は、ニューラルネットワークの事前トレーニングの際に使用される基準画像である。

提案されている方法によるフレームのキャプチャは、以下のように実行される：最近のモバイル装置においてセンサーから読み出される取得データの最大速度は、データ転送インターフェイスの最大可能速度によって制限されており、且つ、視覚的に拡大された画像の撮影の際には、センサーのエリア全体をスキャニングする必要がないことから、フレームキャプチャのフレームレートを比例して増大させることができる。いくつかのフレームは、固定フレームレートによって露光され、且つ、露光及びフレームレートは、露光の間の休止を排除することができるように選択される。被写体の照明が不良である場合には、それぞれのフレームの露光を増大させるか、或いは、（更に好ましくは）、露光されるフレームの数を増大させることができる。

従って、撮影被写体の３倍の視覚的な拡大の際には、センサー表面の１／９のみがスキャニングされ、最大フレームレートが、それぞれ、９倍だけ、向上することになろう。これは、標準的な方法を使用した際に、例えば、９個のフレームの撮影が、１つのフレームの撮影と同一の時間を所要することを意味している。このような撮影の際には、静止した被写体と動いている被写体の両方が、フレームのそれぞれにおいて鮮明となり、且つ、ノイズレベルは、その他の類似の方法による撮影の際よりも低くなるが、その理由は、異なるフレームのノイズ成分の振幅は、フレームの合計数の平方根に比例して増大し、且つ、価値ある成分（画像自体）の振幅は、フレームの数と正比例するからである。

この方法によって取得されるフレームのシーケンスにおいては、それらのフレームのいくつかは、手で保持するタイプの撮影の際のカメラの不可避な振動に起因して、相互にわずかにシフトしている。更には、いくつかのフレーム内の画像は、その他のフレーム内のものよりも鮮明さが乏しい場合がある。この理由から、処理の次のステップは、最も鮮明なフレームの検出と、相互の関係におけるそれらのアライメントと、である。例えば、（Ｘｉｎ Ｗａｎｇ、Ｂａｏｆｅｎｇ Ｔｉａｎ、Ｃｈａｏ Ｌｉａｎｇ、Ｄｏｎｇｃｈｅｎｇ Ｓｈｉによる“Ｂｌｉｎｄ Ｉｍａｇｅ Ｑｕａｌｉｔｙ Ａｓｓｅｓｓｍｅｎｔ ｆｏｒ Ｍｅａｓｕｒｉｎｇ Ｉｍａｇｅ Ｂｌｕｒ”Ｃｏｎｇｒｅｓｓ ｏｎ Ｉｍａｇｅ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、 ２００８年、ＣＩＳＰ’０８、第１巻、ＩＳＢＮ： ９７８−０−７６９５−３１１９−９）に記述されている方法などのフレームの明瞭性を評価するための多数の方法が存在しており、この場合には、フレームの明瞭性を規定するために、最も微細なエッジのサブセットを選択し、選択されたエッジの平均明瞭度を規定し、且つ、平均値をフレーム全体の明瞭性の尺度として使用している。

提案されている視覚的な拡大のための画像の超解像度法においては、以前のステップのフレームのアライメント及び融合によって得られた拡大されたサイズの１つのフレーム（４０４）を使用する（図４）。フレームの拡大は、補間（例えば、双三次補間）によって実行する。フレームの融合は、拡大されたフレームのマッチングしたピクセルを単純に平均することにより、或いは、重み係数を使用した更に複雑な加算により、実行される。例えば、運動する被写体の場合には、運動する被写体の位置（配置）が一致するフレームから選択されたデータを収容するフレームを選択的に平均するステップが実行される。単一フレーム内のノイズレベルに違いが存在する場合には、融合されたフレーム内の合計ノイズレベルを低減するために、そのノイズレベルが低いフレームに対してより重みを付与することにより、融合を実行する。

非線形フィルターを拡大されたフレームのそれぞれのピクセルに対して順番に適用することにより、超解像度を有する画像が得られる。同時に、このフィルターは、解像度を向上させる対象であるピクセルに近接して位置するピクセルのエリアを使用している（図５）。

固定パラメータを有する非線形フィルターは、レンズ及びセンサーを含む特定の光学系のために予め設計されている。これにより、この特定の光学系における最大解像度の向上と、最適なノイズブランキングと、が保証される。このフィルターは、人工ニューラルネットワークを使用して設計される。超解像度を目的として、様々なタイプのニューラルネットワークを使用することができる。提案されている解決策においては、非線形の多層パーセプトロンを使用している。課された課題用のニューラルネットワークの最適なアーキテクチャは、１つの隠蔽層、すべての層内の活性化のシグマ又は正接関数、及び隠蔽層内の４つのニューロンを有するパーセプトロンであることが経験的に判定されている。モノクロ画像に対して、或いは、画像の１つの輝度成分のみに対して、フィルターを適用する場合には、１つのニューロンを出力層において使用する。多色チャネルを有する画像に対してフィルターを適用する場合には、出力層は、画像の色チャネルの数に等しい数のニューロンを収容してもよく、或いは、単一のフィルターがそれぞれの色層に対して独立的に適用される。

非線形フィルターは、
デジタル化された画像データの変更と、
事前トレーニングされたニューラルネットワークの入力へのそれらの転送と、
逆正規化と、
デジタル化されたデータの事前変更のステップにおいて受け取った低周波数データとのニューラルネットワークの出力の更なる加算と、
を含む。

デジタル化されたデータの事前変更は、次のステップを含む。

１．フィルターリング成分の隔離。画像の輝度成分のみ又は単一の色チャネルのフィルターリングためにフィルターを使用する場合には、この成分を画像から隔離する。

２．低周波数の分離。これは、共通線形フィルターの使用によって実行される（例えば、所与のものとの関係において８ピクセルの半径内のすべてのピクセルの平均値を演算する）。低周波数の分離により、入力データのダイナミックレンジを低減することができる。

３．非線形フィルターリングの実行対象であるピクセルを取り囲むピクセルのアレイへの要素ごとのグループ分け。従って、所与のものから左右／上下に３ピクセル以下の距離にあるすべてのピクセルを使用する場合には、このアレイは、７×７＝４９個の要素を含むことになる。

４．アレイのすべての要素からの低周波数成分の値の減算。これを実行するために、第２ステップにおいて分離された成分から、フィルターリングの実行対象であるピクセルにマッチングした座標を有する値を選択する。

５．正規化。ニューラルネットワークは、入力値のダイナミックレンジが広くない場合に、最も好ましいモードにおいて機能し、且つ、正規化により、ダイナミックレンジを更に低減することができる。ピクセル値が特定の範囲（例えば、［０．．１］）に納まるように、すべてのピクセルアレイを正規化する。

この変更済みのデータをニューラルネットワークの入力に転送する。データの変更は、ニューラルネットワークの事前トレーニングの際と非線形フィルターの一部としてニューラルネットワークを使用する際の両方において使用される。

ニューラルネットワークの事前トレーニングのために、基準画像を使用する（図６）。この画像は、フィルターを使用する対象であるレンズ−センサー光学系によって撮影される。

基準画像の要件は、次のとおりである。

ニューラルネットワークは、「一般化」する（即ち、限られた量のデータに基づいて共通的な規則及び依存性の結論を導出する）能力を有していることから、ニューラルネットワークの事前トレーニングにおいて画像の可能な変形のすべてを使用する必要はない。但し、事前トレーニングにおいて使用される画像は、ニューラルネットワークの最小限の要件を満足することにより、結果としてすべての画像と共に十分良好に機能することを要する。画像は、次のものを収容しなければならない。
様々な方向の輝度における滑らかな変化と輝度勾配値、
様々な向きの輝度（エッジ）における突然の変化、
色成分を処理するネットを事前トレーニングする際の様々な向きに伴う色成分の滑らかな及び突然の変化と勾配値、
様々な厚さ及び向きのダーク及びライトストローク、
ライン及び正弦波ターゲット（チャート）、
撮影画像の更なるアライメントを容易にするための制御点。

提案されている方法は、撮影画像のフレームのアライメントを容易にするために、制御点（交差）を使用することにより、基準画像撮影のフレーム及びそれらのアライメント及び融合を実行している。例えば、図６の基準画像上に示されているように、５×５の制御点のパターンである。高周波数及び低周波数がそれから事前にフィルターリングされる基準画像の正規化されたピクセルをネットワーク事前トレーニングにおいてターゲットデータとして使用する。最終的な画像の明瞭性及びその内部の許容可能なノイズ／歪レベルの要件に基づいて、高周波数の遮断周波数を経験的に判定する。低周波数の遮断周波数は、低周波数フィルターの周波数に基づいて選択され、且つ、入力されたデジタル化データの変更のために使用される。中程度のサイズ及び小さなサイズのニューラルネットワークにおいて最良の結果を付与する周知のＬｅｖｅｎｂｅｒｇ−Ｍａｒｋｑａｒｄｔアルゴリズムをニューラルネットワークの事前トレーニングのために使用する。

出力されたニューラルネットワークのデータを受け取った後に、それらの逆正規化を実行する。例えば、事前変更のステップ５において、定数に対する簡単な乗算によって正規化を実行している場合には、ニューラルネットワークの出力から受け取ったデータを同一の定数によって除算することにより、逆正規化を実行する。

従って、非線形フィルターによるデータ処理は、次のものを含む。
１．デジタル化された画像データの事前変更。
２．事前トレーニングされたニューラルネットワークによるデータ処理。
３．ステップ５におけるデジタル化された画像データの事前変更に対する逆処理。
４．ニューラルネットワークを使用して演算された結果に対するデジタル化画像データの事前変更のステージ２におけるフィルターリングされた低周波数データの加算。

提案されている電子シャッターを有するセンサーによる視覚的に拡大された画像の超解像度法は、高解像度の高品質画像を得る機会を付与し、且つ、近年製造されている様々なモバイル装置において適用することができる。高解像度を得るために必要とされるセンサーが取得したデータの事後処理は、装置の演算リソースに対して厳しい要件を強いることがなく、従って、直接、装置上に設置してもよい。これは、（既知のものと比べた場合に）次の利点を有する：
多数のフレームの露光が可能である。但し、それぞれのフレームの露光は、デジタルズーム法において使用されるものよりも、相当に小さい。この結果、画像のぼけが低減される。
同一のシーンを示す多数のフレームの存在により、事実上、様々なノイズのフィルターが許容される。
この超解像度法は、画像内の鮮明なエッジや小さな細部の再現に有用である。
この超解像度法は、その高速処理に起因し、モバイル装置において使用することが可能であり、その主な需要の１つは、撮影した際の即座の結果の取得である。
その他の方法とは異なり、いくつかのフレームを組み合わせて１つの高品質画像を得ることにより、動いている被写体の撮像と関連した問題が存在しない。

参照文献
１． Ｍｉｃｈａｌ Ｉｒａｎｉ， Ｓｈｍｕｅｌ Ｐｅｌｅｇ “Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ Ｆｒｏｍ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅｓ”， ＩＣＰＲ， ２：１１５−−１２０， Ｊｕｎｅ １９９０．
２． Ａ．Ｖ．Ｎａｓｏｎｏｖ， Ａ．Ｓ．Ｋｒｙｌｏｖ “Ｆａｓｔ ｉｍａｇｅ ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ ｕｓｉｎｇ ｍｉｘｅｄ ｍｅｄｉａｎ ｆｉｌｔｅｒｉｎｇ”， труды １２ｔｈ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ａｎｄ ｅｘｈｉｂｉｔｉｏｎ“Ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎ” （ＤＳＰＡ’ ２０１０）， ｖｏｌ．２， ｐ．１０１−１０４．
３． Ａ．Ｖ．Ｎａｓｏｎｏｖ， Ａ．Ｓ．Ｋｒｙｌｏｖ， Ａ．Ｌｕｋｉｎ “Ｉｍａｇｅ ｒｅｓｏｌｕｔｉｏｎ ｉｎｃｒｅａｓｅ ｕｓｉｎｇ Ｔｉｋｈｏｎｏｖ ｒｅｇｕｌａｒｉｚａｔｉｏｎ” ／／ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ “Ｔｉｋｈｏｎｏｖ ａｍｄ ｍｏｄｅｒｎ ｍａｔｈｅｍａｔｉｃｓ”， Ｍｏｓｃｏｗ， ２００６．
４． Ｒｅｚａ Ｓａｆａｅｅ−Ｒａｄ， Ｍｉｌｉｖｏｊｅ Ａｌｅｋｓｉｃ “Ｈａｎｄｓｈａｋｅ Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ａｎｄ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ ｆｏｒ Ｃｅｌｌ−Ｐｈｏｎｅ Ｃａｍｅｒａｓ”， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｏｆ Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ （２００９）， Ｖｏｌｕｍｅ： ７２４１， Ｉｓｓｕｅ： １４， Ｐｕｂｌｉｓｈｅｒ： Ｓｐｉｅ， Ｐａｇｅｓ： ７２４１０Ｖ−７２４１０Ｖ−１５， ＤＯＩ： １０．１１１７／１２．８０６１１８
５． Ｄａｖｉｄ Ｓａｃｈｓ， Ｓｔｅｖｅｎ Ｎａｓｉｒｉ， Ｄａｎｉｅｌ Ｇｏｅｈｌ “Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｏｖｅｒｖｉｅｗ”， ｈｔｔｐ：／／ｉｎｖｅｎｓｅｎｓｅ．ｃｏｍ／ｍｅｍｓ／ｇｙｒｏ／ｄｏｃｕｍｅｎｔｓ／ｗｈｉｔｅｐａｐｅｒｓ／ＩｍａｇｅＳｔａｂｉｌｉｚａｔｉｏｎＷｈｉｔｅｐａｐｅｒ＿０５１６０６．ｐｄｆ
６． Ｍｏｈａｍｍａｄ Ｓ． Ａｌａｍ， Ｊｏｈｎ Ｇ． Ｂｏｇｎａｒ， Ｒｕｓｓｅｌｌ Ｃ． Ｈａｒｄｉｅ， ａｎｄ Ｂｒｉａｎ Ｊ． Ｙａｓｕｄａ “Ｉｎｆｒａｒｅｄ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ ａｎｄ Ｈｉｇｈ−Ｒｅｓｏｌｕｔｉｏｎ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｕｓｉｎｇ Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｌａｔｉｏｎａｌｌｙ Ｓｈｉｆｔｅｄ Ａｌｉａｓｅｄ Ｖｉｄｅｏ Ｆｒａｍｅｓ ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ ａｎｄ ｍｅａｓｕｒｅｍｅｎｔ， Ｖｏｌｕｍｅ： ４９， Ｉｓｓｕｅ： ５， Ｏｃｔｏｂｅｒ ２０００
７． Ｍｅｄｖｅｄｅｖ Ｖ．Ｓ．， Ｐｏｔｅｍｋｉｎ Ｖ．Ｇ．， “Ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ． ＭＡＴＬＡＢ ６”， Ｍｏｓｃｏｗ， Ｄｉａｌｏｇ−ＭＩＦＩ， ２００２
８． Ｘｉｎ Ｗａｎｇ， Ｂａｏｆｅｎｇ Ｔｉａｎ， Ｃｈａｏ Ｌｉａｎｇ， Ｄｏｎｇｃｈｅｎｇ Ｓｈｉ “Ｂｌｉｎｄ Ｉｍａｇｅ Ｑｕａｌｉｔｙ Ａｓｓｅｓｓｍｅｎｔ ｆｏｒ Ｍｅａｓｕｒｉｎｇ Ｉｍａｇｅ Ｂｌｕｒ”， Ｃｏｎｇｒｅｓｓ ｏｎ Ｉｍａｇｅ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， ２００８． ＣＩＳＰ ’０８． Ｖｏｌｕｍｅ： １， ＩＳＢＮ： ９７８−０−７６９５−３１１９−９
９． Ａ． Ｓｃｈａｕｍ ａｎｄ Ｍ． ＭｃＨｕｇｈ， “Ａｎａｌｙｔｉｃ ｍｅｔｈｏｄｓ ｏｆ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ： Ｄｉｓｐｌａｃｅｍｅｎｔ ｅｓｔｉｍａｔｉｏｎ ａｎｄ ｒｅｓａｍｐｌｉｎｇ，” Ｎａｖａｌ Ｒｅｓ． Ｒｅｐ． ９２９８， Ｆｅｂ． ２８ １９９２．
１０． Ｅ． Ａ． Ｋａｌｔｅｎｂａｃｈｅｒ ａｎｄ Ｒ． Ｃ． Ｈａｒｄｉｅ， “Ｈｉｇｈ ｒｅｓｏｌｕｔｉｏｎ ｉｎｆｒａｒｅｄ ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｕｓｉｎｇ ｍｕｌｔｉｐｌｅ ｌｏｗ ｒｅｓｏｌｕｔｉｏｎ ａｌｉａｓｅｄ ｆｒａｍｅｓ，” ｉｎ １９９６ Ｎａｔ． Ａｅｒｏｓｐ． Ｅｌｅｃｔｒｏｎ． Ｃｏｎｆ． （ＮＡＥＣＯＮ）， Ｄａｙｔｏｎ， ＯＨ， Ｍａｙ １９９６， ｐｐ． ７０２–７０９．
１１． ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｄｉｇｉｔａｌ＿ｚｏｏｍ
１２． Ｊｕｎｇ−Ｈｙｕｎ Ｈｗａｎｇ， Ｈｗｅｉｈｎ Ｃｈｕｎｇ， Ｓｕｎｇ−Ｉｉ Ｓｕ， Ｙｏｎｇ−Ｃｈｕｌ Ｐａｒｋ， Ｃｈｕｌ−Ｈｏ Ｌｅｅ “Ｈｉｇｈ ｒｅｓｏｌｕｔｉｏｎ ｄｉｇｉｔａｌ ｚｏｏｍ ｕｓｉｎｇ ｔｅｍｐｏｒａｌ ＩＩＲ ｆｉｌｔｅｒ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ， Ｖｏｌ． ４２， Ｎｏ．３， Ａｕｇｕｓｔ １９９６ （プロットタイプ１）．
１３．Ｍａｓａａｋｉ Ｈａｙａｓｈｉ， “Ｎｅｕｒｏｆｉｌｔｅｒ， ａｎｄ ｍｅｔｈｏｄ ｏｆ ｔｒａｉｎｉｎｇ ｓａｍｅ ｔｏ ｏｐｅｒａｔｅ ｏｎ ｉｍａｇｅ ｄａｔａ ｓｕｃｈ ａｓ ｔｏ ｄｉｓｃｒｉｍｉｎａｔｅ ｂｅｔｗｅｅｎ ｔｅｘｔ ａｎｄ ｐｉｃｔｕｒｅ ｒｅｇｉｏｎｓ ｊｆ ａｎ ｉｍａｇｅ ｗｈｉｃｈ ｉｓ ｅｘｐｒｅｓｓｅｄ ｂｙ ｉｍａｇｅ ｄａｔａ” Ｕｎｉｔｅｄ Ｓｔａｔｅｓ Ｐａｔｅｎｔ ６，３０１，３８１
１４． Ｌｉｎ， ｅｔ ａｌ． “Ｍｅｔｈｏｄ ｆｏｒ ｉｍａｇｅ ｒｅｓｏｌｕｔｉｏｎ ｅｎｈａｎｃｅｍｅｎｔ” Ｕｎｉｔｅｄ Ｓｔａｔｅｓ Ｐａｔｅｎｔ ７，１８７，８１１
（プロットタイプ２）

Claims (5)

1. 画像の超解像度法において、
   センサーから読み出された複数のフレームの露光と、前記複数のフレームのアライメントと、拡大された画像の形成と、拡大された画像のフィルターリングと、を有し、
   前記複数のフレームは、高フレームレートのフレームの連続したシーケンスの形態において前記デジタルセンサーから読み取られ、前記フレームレートは、スキャニングされるセンサーの光感知部分の値に反比例しており、前記拡大された画像は、低解像度の入力フレームを合成することによって形成され、且つ、分解能の向上が、非線形フィルターを前記拡大された画像に適用することによって実現されることを特徴とする方法。
2. 請求項１に記載の方法において、前記拡大された画像は、前記複数のフレームのうちの最も鋭いフレームのみの組合せによって形成されることを特徴とする方法。
3. 画像の超解像度のための非線形デジタルフィルターにおいて、
   その入力データは、前記超解像度処理が適用される前記画像のピクセルであり、前記フィルターは、基準画像を使用して事前トレーニングされたニューラルネットワークを更に含み、変更されたデジタル化ピクセルデータが前記ニューラルネットワークに転送され、前記変更は、低周波数成分の選択と、要素ごとのピクセルのグループ分けと、データの正規化によって後続されるグループ分けされたピクセルからの低周波数成分の減算と、を含み、前記ニューラルネットワークの出力データは、逆正規化され、且つ、前記低周波数成分を前記ニューラルネットワークの出力の値に加算してフィルターの最終的な出力を生成することを特徴とするフィルター。
4. 請求項３に記載の方法において、フィルターリングしなければならない前記ピクセルの、且つ、水平及び垂直の両方において３ピクセル以内の距離にあるピクセルのデータのみを使用して前記フィルターの前記出力値を取得することを特徴とする方法。
5. 請求項３に記載の方法において、前記基準画像は、ライン及び正弦波ターゲット、並びに、制御点を含むことを特徴とする方法。

Images