JP2015510705A - 解像度向上のためのシステム及び方法 - Google Patents

Abstract

本発明は、ジンバルを使用することなく深度解像度を向上させることを可能にして、高解像度において照明条件及びカメラパラメータから独立した深度記述を実行する、解像度向上のためのシステム（１）及び方法（１００）に関する。

Description

本発明は、画像処理技術において深度解像度（深さ解像度、ｄｅｐｔｈ ｒｅｓｏｌｕｔｉｏｎ）を増加させることを可能にする、解像度向上のためのシステム及び方法に関する。

物体モーション解析を取り扱うモーション技術からの構造（ｓｔｒｕｃｔｕｒｅ）は、深度情報（ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ）の取得において高い頻度で使用される。上述の技術は、異なる複数の角度から撮影された複数の画像を関連付けることによる、深度分析（ｄｅｐｔｈ ａｎａｌｙｓｉｓ）の実施に基づく。しかしながら、位置（点、ｐｏｉｎｔ）の関連付け（ａｓｓｏｃｉａｔｉｏｎ）は、テクスチャのない（ｔｅｘｔｕｒｅｌｅｓｓ）領域においては煩雑なタスクであり、また時間を費やすタスクである。

構造化された照明（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔｅｎｉｎｇ）、立体映像（ｓｔｅｒｅｏ ｖｉｓｉｏｎ）、及びレーザースキャニング（ｌａｓｅｒ ｓｃａｎｎｉｎｇ）などの複数の最新の再構築技術（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｔｅｃｈｎｉｑｕｅ）は、それらが使用されるシステムの配備を複雑にする、いくつかの部分又は可動ジンバル（ｍｏｖｉｎｇ ｇｉｍｂａｌ）を含む。上述の複数のシステムよりもコンパクトな飛行時間（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、ＴｏＦ）カメラシステムの需要は、徐々に増加している。深度撮像（ｄｅｐｔｈ ｉｍａｇｉｎｇ）及び再構築技術において進展はあるが、現存のシステムは、限定された解像度を用いて作業ボリューム（ｗｏｒｋｉｎｇ ｖｏｌｕｍｅ）内における深度の限定された部分を取得できるのみである。しかしながら、使用されるべき複数のシステムは、照明条件及びカメラパラメータから独立した深度記述を実行して、高解像度出力を生成することが期待される。

従来技術において既知の出願である米国特許文献第ＵＳ６１３７５６６号（特許文献１）は、複数のレーザーレーダー受信機のための信号を処理する方法及び装置を開示する。当該装置は、光検出器の出力を、調整可能なしきい値レベルと比較する、複数の比較器を備える。

従来技術において既知の出願である米国特許文献第ＵＳ７５１１８０１号（特許文献２）は、複数の飛行時間システムにおける複数のセンサの自動的なゲイン制御（ｇａｉｎ ｃｏｎｔｒｏｌ）のためのシステム及び方法を開示する。上記方法において、露光過度のピクセルと露光不足のピクセルとは比較され、また光の到達（ｌｉｇｈｔ ｒｅａｃｈｉｎｇ）に従って、複数のピクセルは少なくとも１つのパラメータを変更することによって調整される。

従来技術において既知の出願である米国特許文献第ＵＳ２００９０７３４１９号（特許文献３）は、二重の解像度及び二重の範囲センサ（ｒａｎｇｅ ｓｅｎｓｏｒ）のシステム及び方法を開示する。上記文献において、システムの動作モードにおいて、スキャンされることが望まれる領域の低解像度（ｌｏｗ ｒｅｓｏｌｕｔｉｏｎ）プロファイルが開発され、高解像度（ｈｉｇｈ ｒｅｓｏｌｕｔｉｏｎ）スキャニングがこのプロファイルを用いて実行されることが開示されている。

米国特許第６１３７５６６号公報 米国特許第７５１１８０１号公報 米国特許出願公開第２００９０７３４１９号公報

本発明の目的は、画像処理技術において深度解像度を増加させることを可能にする、解像度向上のためのシステム及び方法を実現することにある。

本発明のさらなる目的は、ジンバル（ｇｉｍｂａｌ）又は機械的な部分（ｍｅｃｈａｎｉｃａｌ ｐａｒｔ）を使用することなく、解像度向上のためのシステム及び方法を実現することにある。

本発明のもう１つの目的は、作業ボリュームの異なる複数の部分からくる深度情報が、異なる複数のカメラ積分時間（ｃａｍｅｒａ ｉｎｔｅｇｒａｔｉｏｎ ｔｉｍｅ）を用いて組み合わせられる、解像度向上のためのシステム及び方法を実現することにある。

本発明のさらにもう１つの目的は、高解像度において照明条件及びカメラパラメータから独立した深度記述（ｄｅｐｔｈ ｄｅｓｃｒｉｐｔｉｏｎ）を実行する、解像度向上のためのシステム及び方法を実現することにある。

本発明の解像度向上システム（１）は、
画像を取得することが可能な少なくとも１つの撮像ユニット（２）と、
異なる複数の露光時間が、取得されるべき複数の画像のために生成されることを可能にする少なくとも１つの露光生成モジュール（３１）と、撮像ユニット（２）のオフセットに関するデータが生成されることを可能にする少なくとも１つのオフセット生成モジュール（３２）と、データが受信されて転送されることを可能にする少なくとも１つのデータ転送モジュール（３３）と、を有する少なくとも１つのデータ転送ユニット（３）と、
取得された複数の画像が格納されることを可能にする少なくとも１つのデータベース（４）と、
オフセット生成モジュール（３２）によって取得されるデータに従って、三次元における撮像ユニット（２）の移動を可能にする少なくとも１つのモーションユニット（５）と、
取得された複数の画像が処理されることを可能にする少なくとも制御ユニット（６）と、
複数の画像の間の複数の差分が格納される、少なくとも１つの勾配バッファ（７）と、
高解像度深度画像が格納される、少なくとも１つの画像バッファ（８）と、
を備える。

本発明の解像度向上方法（１００）は、
勾配バッファ（７）及び画像バッファを初期化するステップ（１０１）と、
露光生成モジュール（３１）及びオフセット生成モジュール（３２）から受信されるデータを用いて、撮像ユニット（２）から低解像度画像を取得するステップ（１０２）と、
受信された画像をデータベース（４）に登録するステップ（１０３）と、
解像度向上処理を実施するステップ（１０４）と、
最終の画像をユーザに対して表示するステップ（１０５）と、
を含む。

本発明の好ましい実施形態において、解像度向上処理を実施するステップ（１０４）は、
先の低解像度画像に従って、撮像ユニット（２）から最後に受信される低解像度画像のサブピクセルモーションを決定するステップ（１２０）と、
１２０番目のステップにおいて決定されるモーション量データを用いて、最後の低解像度画像を先の低解像度画像と空間的に並べるステップ（１２１）と、
１２０番目のステップにおいて決定されるサブピクセルレベルモーションを用いて、画像バッファ（８）上の最後の画像を先の画像と並べるステップ（１２２）と、
１２０番目のステップにおいて推定されたモーション量を用いて、勾配バッファ（７）上の最後の画像を先の画像と並べるステップ（１２３）と、
ステップ１２３において取得された並べられた画像における飽和され且つ雑音の多いデータを用いて、荷重関数を決定するステップ（１２４）と、
勾配バッファ（７）を計算して、バッファ（８）における複数の画像の間の差分を発見するステップ（１２５）と、
ステップ１２３において並べられる画像に対するある複数の部分において、ステップ１２５において発見される複数の差分の平均値を求めるステップ（１２６）と、
ステップ１２６において取得された画像を勾配バッファ（７）に格納するステップ（１２７）と、
ある含有比率で、ステップ１２１において取得された画像と勾配バッファ（７）における画像とを組み合わせるステップ（１２８）と、
取得された画像における複数の高周波数成分を抑制するステップ（１２９）と、
ステップ１２９において取得された画像を画像バッファ（８）に登録するステップ（１３０）と、
の複数の下位のステップを含む。

本発明の好ましい実施形態において、画像バッファ（８）における複数の画像の間の差分を発見して勾配バッファ（７）を計算するステップ（１２５）は、
撮像ユニット（２）から低解像度画像を取得するステップ（１５０）と、
画像バッファ（８）における画像及びステップ１５０において取得された画像の測光調整（ｐｈｏｔｏｍｅｔｒｉｃ ａｄｊｕｓｔｍｅｎｔ）のステップ（１５１）と、
画像バッファ（８）における画像をステップ１５０において取得される画像のサイズにダウンスケーリングするステップ（１５２）と、
ステップ１５２において取得された画像と、ステップ１５０において取得された画像との間の深度差分（ｄｅｐｔｈ ｄｉｆｆｅｒｅｎｃｅ）を決定するステップ（１５３）と、
ステップ１５３において決定された差分を、再び画像バッファ（８）における画像のサイズにアップスケーリングするステップ（１５４）と、
ステップ１５４において取得された画像を、ステップ１２４において取得された荷重関数と乗算するステップ（１５５）と、
の複数の下位のステップを含む。

解像度向上システムの概略図である。 時間インデックスを用いた、積分時間変化の１つの可能なシーケンスである。 解像度向上方法のフローチャートである。 解像度向上方法の１０４番目のステップの複数の下位のステップのフローチャートである。 解像度向上方法の１２５番目のステップの複数の下位のステップのフローチャートである。

本発明の目的を達成するために開発された解像度向上のためのシステム及び方法は、添付の図面に示される。

本発明の解像度向上システム（１）は、それが起動されるときに画像情報を有しないため、勾配バッファ（７）及び画像バッファ（８）は、値０に初期化される（１０１）。次いで、モーションユニット（５）はオフセット生成モジュール（３２）によって生成されるデータを使用することによって撮像ユニット（２）を移動させて、それと同時に、撮像ユニット（２）は露光生成モジュール（３１）によって生成されるデータに従って複数の低解像度画像を取得する（１０２）。これらの画像はデータベース（４）に記録される（１０３）。取得される複数の画像は、解像度向上処理を用いて処理される（１０４）。次いで、解像度向上の処理によって生成される最終の複数の画像は、ユーザに対して表示される（１０５）。

本発明の好ましい実施形態において、露光生成モジュール（３１）及びオフセット生成モジュール（３２）から受信されるデータを使用することによって撮像ユニット（２）から低解像度画像を取得するステップ（言い換えると、ステップ１０２）は、露光生成モジュール（３１）及びオフセット生成モジュール（３２）によってそれぞれ生成される異なる露光及びオフセット情報を使用することによって反復される。

本発明の好ましい実施形態において、解像度向上処理の実施のステップ（言い換えると、ステップ１０４）において、以下の複数の処理が実施される。

制御ユニット（６）は、撮像ユニット（２）から受信される最後の低解像度画像と、データベース（４）における最後の登録された低解像度画像とを比較して、サブピクセルレベルにおけるこれらの画像の間のモーション量を決定する（１２０）。受信された最後の低解像度画像及びデータベース（４）における最後の低解像度画像は、推定されたモーションを使用して並べられる（１２１）。バッファ（８）に格納される高解像度画像は、ステップ１２０において決定されるオフセット量情報を使用して先に取得された画像と並べられる（１２２）。勾配バッファ（７）に格納される画像は、ステップ１２０において決定されるオフセット量情報を使用して先に取得された画像と並べられる（１２３）。次いで、ステップ１２３において取得された画像における飽和され且つ雑音の多い複数の点は抽出されて、これらの品質の低下した複数のピクセルを使用して荷重関数が決定される（１２４）。次いで、勾配バッファ（７）における画像と、画像バッファ（８）における画像との間の差分は計算される（１２５）。ステップ１２５において発見される複数の差分は、ステップ１２３において並べられる画像に対するある複数の部分において実施される（１２６）。これらの差分を実施することによって取得された画像は、勾配バッファ（７）に格納される（１２７）。次いで、勾配バッファ（７）に格納された画像とステップ１２１において取得された画像とは、ステップサイズ（ｓｔｅｐ ｓｉｚｅ）を用いて組み合わせられる（１２８）。そして次に、ステップ１２８において取得された複数の高周波数成分は抑制される（１２９）。次に、ステップ１２９において取得された画像は、画像バッファ（８）に登録される（１３０）。

本発明の好ましい実施形態において、勾配バッファ（７）における画像と、画像バッファ（８）における画像との間の差分を発見するステップ（言い換えると、ステップ１２５）において、以下の複数のステップが実行される：
最初の低解像度画像は撮像ユニット（２）から取得される（１５０）。取得された画像は画像バッファ（８）における画像と測光的（ｐｈｏｔｏｍｅｔｒｉｃａｌｌｙ）に並べられる（１５１）。次いで、画像バッファ（８）に現れる画像は、ステップ１５０において取得される画像のサイズにダウンスケーリングされる（１５２）。その後、ステップ１５２において取得された画像とステップ１５０において取得された画像との間の深度差分は決定される（１５３）。取得された深度差分情報（ｄｅｐｔｈ ｄｉｆｆｅｒｅｎｃｅ ｉｎｆｏｒｍａｔｉｏｎ）は、再び画像バッファ（８）における画像のサイズにアップスケーリングされる（１５４）。次いで、画像バッファ（８）における画像のサイズにアップスケーリングされたこれらの差分は、ステップ１２４において取得される荷重関数と乗算される（１５５）。

本発明の好ましい実施形態において、ステップ１５２におけるダウンスケーリング処理は、画像バッファ（８）に現れる画像から取得される各ピクセルの後ろに位置づけられたある数量のピクセルだけ読み飛ばす（スキップ、ｓｋｉｐｐｉｎｇ）することによって実現される。上記実施形態において、読み飛ばされるべきピクセルの数は、画像バッファ（８）における画像サイズと深度差分情報のサイズとの比率である解像度向上係数（ｒｅｓｏｌｕｔｉｏｎ ｅｎｈａｎｃｅｍｅｎｔ ｆａｃｔｏｒ）に対応する。

本発明の好ましい実施形態において、ステップ１５４におけるにアップスケーリング処理は、画像バッファ（８）における画像の比率及び深度差分情報における２つのピクセル間の深度差分情報の複数のサイズと同程度の数量のゼロビット（ｚｅｒｏ−ｂｉｔ）を挿入することによって実現される。上記処理は、「ゼロ挿入を用いたアップスケーリング（ｕｐｓｃａｌｉｎｇ ｗｉｔｈ ｚｅｒｏ ｉｎｓｅｒｔｉｏｎ）」と呼ばれる。

本発明の解像度向上システム（１）は、複数の深度再構築の目的のための画像取得を可能にする、少なくとも１つの撮像ユニット（２）を備える。撮像ユニット（２）が上記複数の画像の取得の間に用いることとなる露光時間は、データ転送ユニット（３）が有する露光生成モジュール（３２）によって生成される露光情報に従って決定される。３次元における撮像ユニット（２）のモーションを生成するモーションユニット（５）は、オフセット生成モジュール（３２）によって生成される情報を使用することによって、撮像ユニット（２）を移動させる。この手段によって、撮像ユニット（２）は、種々の露光時間で、且つ異なる複数の視点から、複数の画像を取得する。取得される複数の画像は、データベース（４）に記録される。解像度向上方法（１００）の複数のステップに従って画像を処理することによって取得される高解像度画像は、スクリーンを介してユーザに対して表示される（図示せず）。

制御ユニット（６）は撮像ユニット（２）によって取得される複数の画像をデータベース（４）に転送して、これらの画像はデータベース（４）に格納される。

本発明の好ましい実施形態において、先の低解像度画像と比較される、撮像ユニット（２）から最後に受信される低解像度画像のモーション量を決定するステップ（言い換えると、ステップ１２０）において、画像は、ピクセル強度集合（ｐｉｘｅｌ ｉｎｔｅｎｓｉｔｙ ｓｅｔ）に従ったコントラストストレッチング処理（ｃｏｎｔｒａｓｔ ｓｔｒｅｔｃｈｉｎｇ ｐｒｏｃｅｓｓ）が施されて、次いで、ハリスコーナー検出器アルゴリズム（Ｈａｒｒｉｓ Ｃｏｒｎｅｒ Ｄｅｔｅｃｔｏｒ ａｌｇｏｒｉｔｈｍ）などのコーナー（特徴）検出アルゴリズムは、３次元コーナー応答マップ（ｃｏｒｎｅｒ ｒｅｓｐｏｎｓｅ ｍａｐ）を生成するために、上記画像に対して適用される。この実施形態において、空間の位置付けにおける相関行列は、以下の通り計算される：

ここで、

はそれぞれ、垂直方向及び水平方向における勾配作用素（ｇｒａｄｉｅｎｔ ｏｐｅｒａｔｏｒ）である。そして次に、コーナー性応答（ｃｏｒｎｅｒｎｅｓｓ ｒｅｓｐｏｎｓｅ）は公式

に従って計算される。ここにおいて、「ｋ」はコーナー性応答係数（ｃｏｒｎｅｒｎｅｓｓ ｒｅｓｐｏｎｓｅ ｃｏｅｆｆｉｃｉｅｎｔ）であり、当該係数ｋは一般的には近似的に０．０４が選択される。ここにおいて、（ｘ，ｙ）はそれぞれ、特性（ａｔｔｒｉｂｕｔｅ）のために計算される、点の水平座標及び垂直座標である。また、（ｍ，ｎ）は、特徴点の周囲において取得される窓近傍（ウィンドウ近傍、ｗｉｎｄｏｗ ｎｅｉｇｈｂｏｒｈｏｏｄ）（Ｎ）内の水平インデックス及び垂直インデックスである。この実施形態において、コントラストストレッチング処理は、以下の公式に従って決定される：

ｌ_ｃはコントラストストレッチングが適用される画像であり、ｌは原画像（ｒａｗ ｉｍａｇｅ）であり、そして、ｆ_ｃはコントラストストレッチング関数（ｃｏｎｔｒａｓｔ ｓｔｒｅｔｃｈｉｎｇ ｆｕｎｃｔｉｏｎ）を記号で表す。ここで、当該関数ｆ_ｃの傾き（ｓｌｏｐｅ）はγによって決定され、中心は［０，１］の範囲内に位置するｃで示される。

本発明の好ましい実施形態において、複数のコーナーの類似性（ｓｉｍｉｌａｒｉｔｙ）は、正規化された相互相関公式

を用いて決定される。Ａ及びＢは、並べられるべき画像における特徴の周囲で取得されるブロックを表現する。ｎは複数のブロックの内側のピクセルの数に対応する。

本発明の好ましい実施形態において、少なくとも２つの画像は、撮像ユニット（２）から取得されて、当該複数の画像はデータベース（４）に格納される。制御ユニット（６）は、上記複数の画像のうちの前者を幾何学的基準（ｇｅｏｍｅｔｒｉｃ ｒｅｆｅｒｅｎｃｅ）として使用して、後者を上記基準と並べることによって残余（ｒｅｓｉｄｕｅ）を計算する。この実施形態において、複数の画像の平均深度はステップ１５３において以下の公式に従って計算される：

ここで、ｉは画像インデックス（ｉｍａｇｅ ｉｎｄｅｘ）であり、ｌ_１及びｌ_２は低解像度画像の空間インデックス（ｓｐａｔｉａｌ ｉｎｄｅｘ）であり、ｎ_１及びｎ_２は高解像度画像における空間インデックスであり、

は、正規化された照射値（ｉｒｒａｄｉａｎｃｅ ｖａｌｕｅ）である。次いで、残余計算（ｒｅｓｉｄｕａｌ ｃｏｍｐｕｔａｔｉｏｎ）は、平均深度情報及び原深度（ｒａｗ ｄｅｐｔｈ）Ｄ_ｉを用いることによって、以下の公式に従って実行される。

本発明の好ましい実施形態において、勾配バッファは、公式

に従って、健忘の平均（ａｍｎｅｓｉｃ ｍｅａｎ）を使用して累積される。本公式において、

は、勾配バッファに格納される、結果として得られる勾配値（ｒｅｓｕｌｔａｎｔ ｇｒａｄｉｅｎｔ ｖａｌｕｅ）であり、ｌは値ｌ＝λｍに従って計算される値である。ｍは時間インデックス（ｔｉｍｅ ｉｎｄｅｘ）であり、λは忘却因子（ｆｏｒｇｅｔｔｉｎｇ ｆａｃｔｏｒ）を決定する健忘の係数（ａｍｎｅｓｉｃ ｆａｃｔｏｒ）である。健忘の平均は勾配の経時変化に適合し、複数の勾配が画像平均（ｉｍａｇｅ ｍｅａｎ）を支配（ｄｏｍｉｎａｔｅ）しないことを確実にする。

本発明の好ましい実施形態において、ステップ１２３において並べられる画像に対するある複数の比率においてステップ１２５において発見される複数の差分の平均値を求めるステップ（言い換えると、ステップ１２６）において、説明された複数の比率は、従来技術において既知の「最急降下（ｓｔｅｅｐｅｓｔ ｄｅｓｃｅｎｔ）」又は「共役勾配（ｃｏｎｊｕｇａｔｅ ｇｒａｄｉｅｎｔ）」の方法を用いて計算されるステップサイズを使用して取得される。この実施形態において、画像バッファは、公式

に従って更新される（言い換えると、ステップ１２８）。本公式において、αはステップサイズであり、ｘ_ｍ＋１は時刻（ｍ＋１）における超解像度画像（ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ）であり、ｘ_ｍは時刻ｍにおける超解像度画像である。

本発明の好ましい実施形態において、取得された画像における複数の高周波数成分を押し下げるステップ（言い換えるとステップ１２９）において、抑制処理は、以下の公式に従って実現される。

本公式において、ｑは照射値であり、ｎ１及びｎ２は平面座標であり、αはカメラ積分時間（ｃａｍｅｒａ ｉｎｔｅｇｒａｔｉｏｎ ｔｉｍｅ）であり、そしてｆは、ステップ１２４において計算される加重関数をも包含して雑音の多い且つ飽和した複数のセンサ値を抑制する複数の光電気回路関数（ｏｐｔｏｅｌｅｃｔｒｉｃ ｃｉｒｃｕｉｔ ｆｕｎｃｔｉｏｎ）である。

解像度向上のための、本発明のシステム（１）及び方法（１００）の幅広い種々の実施形態を開発することが可能である。本発明は、本明細書において説明される複数の例に限定されることはできず、本発明は本質的に特許請求の範囲に従う。

図面に見られる複数の部分はそれぞれ参照符号が与えられ、これらの符号は以下を参照する。

画像取得の間に使用される異なる複数の露光時間（ｅｘｐｏｓｕｒｅ ｔｉｍｅ）は「積分時間（ｉｎｔｅｇｒａｔｉｏｎ ｔｉｍｅ）」とも呼ばれる。

１． 解像度向上システム
２． 撮像ユニット
３． データ転送ユニット
３１．露光生成モジュール
３２．オフセット生成モジュール
３３．データ転送モジュール
４． データベース
５． モーションユニット
６． 制御ユニット
７． 勾配バッファ
８． 画像バッファ

従来技術において既知の出願である米国特許文献第ＵＳ２００９０７３４１９号（特許文献３）は、二重の解像度及び二重の範囲センサ（ｒａｎｇｅ ｓｅｎｓｏｒ）のシステム及び方法を開示する。上記文献において、システムの動作モードにおいて、スキャンされることが望まれる領域の低解像度（ｌｏｗ ｒｅｓｏｌｕｔｉｏｎ）プロファイルが開発され、高解像度（ｈｉｇｈ ｒｅｓｏｌｕｔｉｏｎ）スキャニングがこのプロファイルを用いて実行されることが開示されている。
“Ｄｅｐｔｈ Ｍａｐ Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ”（Ｇｅｖｒｅｋｃｉ ｅｔ ａｌ）なるタイトルの論文と、“Ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ ｕｎｄｅｒ Ｐｈｏｔｏｍｅｔｒｉｃ Ｄｉｖｅｒｓｉｔｙ ｏｆ Ｉｍａｇｅｓ”（Ｇｅｖｒｅｋｃｉ ｅｔ ａｌ）なるタイトルの論文と、“Ｈｉｇｈ ｒｅｓｏｌｕｔｉｏｎ ａｎｄ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｆｒｏｍ Ｄｉｆｆｅｒｅｎｔｌｙ Ｅｘｐｏｓｅｄ Ｉｍａｇｅｓ” （Ｎａｋａｉ ｅｔ ａｌ）なるタイトルの論文は従来技術において既知であり、低解像度画像を使用することによって複数の高解像度画像を取得することに関して開示している。

Claims (16)

1. 勾配バッファ（７）及び画像バッファを初期化するステップ（１０１）と、
   露光生成モジュール（３１）及びオフセット生成モジュール（３２）から受信されるデータを用いて、撮像ユニット（２）から低解像度画像を取得するステップ（１０２）と、
   受信された画像をデータベース（４）に記録するステップ（１０３）と、
   解像度向上処理を実施するステップ（１０４）と、
   最終の画像をユーザに対して表示するステップ（１０５）と、
   の複数のステップによって特徴付けられる、低解像度において取得される画像を高解像度にすることを可能にする解像度向上方法（１００）。
2. 解像度向上処理を実施するステップ（１０４）は、
   先の低解像度画像に関して、前記撮像ユニット（２）から最後に受信される低解像度画像のモーション量を決定するステップ（１２０）と、
   １２０番目のステップにおいて推定されたモーション量を用いて、最後の低解像度画像を先の低解像度画像と並べるステップ（１２１）と、
   １２０番目のステップにおいて推定されたモーションを用いて、前記画像バッファ（８）上の最後の画像を先の画像と並べるステップ（１２２）と、
   １２０番目のステップにおいて推定されたモーションを用いて、前記勾配バッファ（７）上の最後の画像を先の画像と並べるステップ（１２３）と、
   ステップ１２３において取得された並べられた画像における飽和され且つ雑音の多いデータを用いて、荷重関数を決定するステップ（１２４）と、
   前記画像バッファ（８）における複数の画像の間の差分を発見して、前記勾配バッファ（７）を計算するステップ（１２５）と、
   ステップ１２３において並べられた画像に対するある複数の部分において、ステップ１２５において発見される前記複数の差分の平均値を求めるステップ（１２６）と、
   ステップ１２６において取得された画像を勾配バッファ（７）に格納するステップ（１２７）と、
   ある含有比率で、ステップ１２１において取得された画像と、前記勾配バッファ（７）における画像と、を組み合わせるステップ（１２８）と、
   前記取得された画像における複数の高周波数成分を抑制するステップ（１２９）と、
   ステップ１２９において取得された画像を前記画像バッファ（８）に登録するステップ（１３０）と、
   の複数の下位のステップを備える、
   ことを特徴とする、請求項１記載の解像度向上方法（１００）。
3. ステップ１２６において取得された画像を前記勾配バッファ（７）に格納するステップ（言い換えると、ステップ１２７）において、前記勾配バッファは公式
   

   

   に従って更新される、
   ことを特徴とする請求項２記載の解像度向上方法（１００）。
4. 抑制及び測光正規化処理は、前記取得された画像における複数の高周波数成分を抑制するステップ（言い換えると、ステップ１２９）において、
   

   

   に従って実現される、
   ことを特徴とする請求項２又は３記載の解像度向上方法（１００）。
5. 前記画像バッファ（８）における画像と前記勾配バッファ（７）における画像との間の差分を発見するステップ（１２５）は、
   前記撮像ユニット（２）から低解像度画像を取得するステップ（１５０）と、
   ステップ１５０において取得された画像に関する、前記画像バッファ（８）における画像のトーン調整（ｔｏｎａｌ ａｄｊｕｓｔｍｅｎｔ）のステップ（１５１）と、
   前記画像バッファ（８）における画像をステップ１５０において取得される画像のサイズにダウンスケーリングするステップ（１５２）と、
   ステップ１５２において取得された画像と、ステップ１５０において取得された画像との間の深度差分を決定するステップ（１５３）と、
   ステップ１５３において決定された差分を、再び前記画像バッファ（８）における画像のサイズにアップスケーリングするステップ（１５４）と、
   ステップ１５４において取得された画像を、ステップ１２４において取得された荷重関数と乗算するステップ（１５５）と、
   の複数の下位のステップを備えることを特徴とする、請求項２〜４のうちのいずれか一項記載の解像度向上方法（１００）。
6. 前記露光生成モジュール（３１）及び前記オフセット生成モジュール（３２）から受信されるデータを用いて前記撮像ユニット（２）から低解像度画像を取得するステップ（言い換えると、ステップ１０２）は、前記露光生成モジュール（３１）及び前記オフセット生成モジュール（３２）によって生成される、異なる露光及びオフセット情報を用いて反復される、
   ことを特徴とする、請求項１〜５のうちのいずれか一項記載の解像度向上方法（１００）。
7. 前記先の低解像度画像に関して、前記撮像ユニット（２）から最後に受信される低解像度画像のモーション量を決定するステップ（言い換えると、ステップ１２０）において、前記画像はピクセル強度集合に従ってコントラストストレッチング処理が施される、
   ことを特徴とする請求項２〜６のうちのいずれか一項記載の解像度向上方法（１００）。
8. 前記コントラストストレッチング処理は、
   

   

   に従って実行される、
   ことを特徴とする請求項７記載の解像度向上方法（１００）。
9. コーナー検出アルゴリズムは、測光変動（ｐｈｏｔｏｍｅｔｒｉｃ ｖａｒｉａｔｉｏｎ）に対して不変な３次元コーナー応答マップを生成するために、前記取得された画像に対して適用される、
   ことを特徴とする、請求項２〜８のうちのいずれか一項記載の解像度向上方法（１００）。
10. 複数のコーナーの類似性は、
    

    

    に従って計算される、
    ことを特徴とする、請求項９記載の解像度向上方法（１００）。
11. ステップ１５２において取得された画像と、ステップ１５０において取得された画像との間の深度差分を決定するステップ（言い換えると、ステップ１５３）において、複数の画像の間の差分は、前記複数の画像の平均深度情報を計算して、計算された差分に従って残余計算を実行することで決定される、ことを特徴とする請求項５〜１０のうちのいずれか一項記載の解像度向上方法（１００）。
12. 平均深度計算は、公式
    

    

    に従って実行される、
    ことを特徴とする請求項１１記載の解像度向上方法（１００）。
13. 残余計算は、公式
    

    

    に従って実行される、
    ことを特徴とする請求項１１又は１２記載の解像度向上方法（１００）。
14. 画像を取得することが可能な少なくとも１つの撮像ユニット（２）と、
    異なる複数の露光時間が、取得されるべき複数の画像のために生成されることを可能にする少なくとも１つの露光生成モジュール（３１）と、前記撮像ユニット（２）のオフセットに関するデータが生成されることを可能にする少なくとも１つのオフセット生成モジュール（３２）と、前記データが受信されて転送されることを可能にする少なくとも１つのデータ転送モジュール（３３）と、を有する少なくとも１つのデータ転送ユニット（３）と、
    取得された複数の画像が格納されることを可能にする少なくとも１つのデータベース（４）と、
    オフセット生成モジュール（３２）によって取得されたデータに従って、三次元における前記撮像ユニット（２）の移動を可能にする少なくとも１つのモーションユニット（５）と、
    取得された複数の画像が処理されることを可能にする少なくとも制御ユニット（６）と、を備え、
    複数の画像の間の複数の差分が格納される、少なくとも１つの勾配バッファ（７）
    によって特徴付けられる解像度向上システム（１）。
15. 高解像度深度画像が格納される、少なくとも１つの画像バッファ（８）
    によって特徴付けられる請求項１４記載の解像度向上システム（１）。
16. 請求項１〜１３のうちのいずれか一項記載の方法に従って動作する制御ユニット（６）
    によって特徴付けられる請求項１４又は１５記載の解像度向上システム（１）

Images