JP2013117969A - 多重解像度手順を利用してロバストな深度マップを生成するためのシステム及び方法 - Google Patents

Abstract

【課題】多重解像度手順を利用してロバストな深度マップを生成するためのシステム及び方法を開示する。
【解決手段】ロバストな深度マップを生成するためのシステム及び方法が、各々が異なる解像度特性を有する複数の深度マップレベルを含む深度マップピラミッド構造を作成する深度推定器を含む。１つの実施形態では、これらの深度マップレベルが、微細スケールの深度マップ、中間スケールの深度マップ及び粗いスケールの深度マップを含む。深度推定器は、微細スケールの信頼特性を利用することにより微細スケールの深度マップからの深度値を評価し、粗いスケールの信頼特性を利用することにより中間スケールの深度マップ及び粗いスケールの深度マップからの深度値を評価する。その後、深度推定器は、異なる深度マップレベルからの最適な深度値を融合して最適な深度マップを生成する。
【選択図】図１

Description

〔関連出願との相互参照〕
本出願は、２０１１年１２月１日に出願された「多重解像度アプローチを利用してロバストな深度マップを生成するための方法及び装置（Ｍｅｔｈｏｄ Ａｎｄ Ａｐｐａｒａｔｕｓ Ｔｏ Ｇｅｎｅｒａｔｅ Ｒｏｂｕｓｔ Ｄｅｐｔｈ Ｍａｐ Ｕｓｉｎｇ Ｍｕｌｔｉ−Ｒｅｓｏｌｕｔｉｏｎ Ａｐｐｒｏａｃｈ）」という名称の米国仮特許出願第６１／５６５，８３９号に関するとともに、この出願の優先権を主張するものである。上述した関連出願は同一出願人によるものであり、引用により本明細書に組み入れられる。

本発明は、一般に画像データの解析技術に関し、より詳細には、深度推定手順においてシーン検出を利用するためのシステム及び方法に関する。

画像データを解析するための効率的な方法を実施することは、現代の電子装置の設計者及び製造者とって重要な検討課題である。しかしながら、電子装置を使用して画像データを効率的に解析することにより、システム設計者にとっては多くの課題が生じる可能性がある。例えば、さらなる装置の機能及び性能を求める要求が高まることにより、より大きなシステム処理能力が必要となり、追加のソフトウェアリソースが必要となる可能性がある。処理要件又はハードウェア要件が高まることにより、生産コスト及び経営の非効率性の増加に起因して、対応する不利益な経済的影響がもたらされる可能性もある。

さらに、様々な高度な動作を行うように高められた装置の能力は、システムユーザに付加的な利点をもたらすこともあるが、様々な装置の構成要素の制御及び管理にさらなる負担を強いることもある。例えば、デジタル画像データを効果的に解析する高度な電子装置は、関連するデジタルデータの量の多さと複雑性により、効果的な実施から恩恵を受けることができる。

米国特許第８，０４５，０４６号明細書

システムリソースに対する需要の伸び及び大幅に増加しているデータの大きさにより、画像データを解析するための新しい技術を開発することが、関連する電子技術にとっての懸案事項であることは明らかである。従って、全ての上述の理由から、画像データを解析するための効果的なシステムを開発することは、現代の電子装置の設計者、製造者及びユーザにとって依然として重要な検討課題のままとなっている。

本発明では、多重解像度手順を利用してロバストな深度マップを生成するためのシステム及び方法を開示する。１つの実施形態では、深度推定器が、あらゆる効果的な技術を利用することにより、最初にレベル２深度マップを生成する。例えば、このレベル２深度マップは、比較的微細なスケールの解像度を生じる圧縮比で実現することができる。深度推定器は、あらゆる効果的な技術を利用することにより、このレベル２深度マップからのそれぞれの深度値に対応するロバストな信頼値を計算する。次に、深度推定器は、これらのそれぞれの信頼値に従って、深度値を高信頼深度値、中信頼深度値及び低信頼深度値に分類する。

深度推定器は、あらゆる効果的な技術を利用することにより、レベル１深度マップ及びレベル０深度マップも生成する。例えば、レベル１深度マップは、中間スケールの解像度を生じる圧縮比で実現することができ、レベル０深度マップは、比較的粗いスケールの解像度を生じる圧縮比で実現することができる。深度推定器は、あらゆる効果的な技術を利用することにより、レベル１深度マップ及びレベル０深度マップからのそれぞれの深度値に対応するロバストな信頼値を計算する。次に、深度推定器は、この計算した信頼値を利用して、所定の信頼性基準に従って、レベル０深度マップ及びレベル１深度マップからのいずれかの信頼できる深度値候補を識別する。

次に、深度推定器は、あらゆる効果的な技術を利用することにより、レベル１深度マップ及びレベル０深度マップからのブロックに対し、レベル２深度マップのブロックサイズに一致させるためのサイズ変更手順を実行する。深度推定器は、あらゆる効果的な技術を利用することにより、レベル１深度マップ及びレベル０深度マップからの深度値を、レベル２深度マップの深度値範囲に一致するようにスケール調整するためのマグニチュードスケーリング手順も実行する。

次に、深度推定器は、レベル１深度マップ又はレベル０深度マップからいずれかのさらなる信頼できる深度値候補が識別されたかどうかを判定する。深度推定器は、あらゆる信頼できない深度値に、最終的な最適化深度マップに投入するのに適さない外れ値としてマーキングする。深度推定器は、あらゆる効果的な技術により、あらゆる信頼できる深度値候補を利用して、最終的な最適化深度マップの最適な深度値の更新も行う。例えば、最適な信頼基準の深度値を選択してもよく、或いは重み付けした又は重み付けしてない平均化法を利用して、いくつかの異なる信頼できる深度値を組み合わせてもよい。

深度推定器は、異なるレベルの深度マップからの最適な深度値を有利に融合して最終的な最適化深度マップを生成する。最後に、深度推定器は、この最終的な最適化深度マップの最適な深度値に対応する信頼値に基づいて信頼マップを作成することができる。その後、処理は終了することができる。従って、本発明は、多重解像度手順を利用して深度マップを生成するための改善されたシステム及び方法を提供する。

本発明によるカメラ装置の１つの実施形態を示すブロック図である。 本発明による、図１の取り込みサブシステムの１つの実施形態を示すブロック図である。 本発明による、図１の制御モジュールの１つの実施形態を示すブロック図である。 本発明による、図３のメモリの１つの実施形態を示すブロック図である。 本発明による、単純化した深度マップの１つの実施形態を示す図である。 焦点ずれしたブレ画像を取り込むための１つの例示的な実施形態を示す図である。 例示的な照合曲線の１つの実施形態のグラフである。 本発明の１つの実施形態による多重解像度ピラミッド構造の図である。 本発明の１つの実施形態による、多重解像度手順を利用して深度マップを生成するための方法ステップのフローチャートである。 本発明の１つの実施形態による、多重解像度手順を利用して深度マップを生成するための方法ステップのフローチャートである。 本発明の１つの実施形態による、多重解像度手順を利用して深度マップを生成するための方法ステップのフローチャートである。 本発明の１つの実施形態による微細スケールの信頼特性の図である。 本発明の１つの実施形態による粗いスケールの信頼特性の図である。 本発明の１つの実施形態によるＳＡＤ収束技術を示すグラフである。 本発明の１つの実施形態による単純化した信頼マップの図である。

本発明は、画像データ解析技術の改善に関する。以下の説明は、当業者が本発明を実施及び使用できるようにするために提供し、特許出願及びその要件との関連において行うものである。当業者には、開示する実施形態の様々な修正例が容易に明らかになるであろうし、本明細書における一般的な原理を他の実施形態に適用することもできる。従って、本発明は、図示の実施形態に限定されることは意図されておらず、本明細書で説明する原理及び特徴に従う最も広い範囲を許容すべきものである。

本発明は、ロバストな深度マップを生成するためのシステム及び方法を含み、また各々が異なる解像度特性を有する複数の深度マップレベルを含む深度マップピラミッド構造を作成する深度推定器を含む。１つの実施形態では、これらの深度マップレベルが、微細スケールの深度マップ、中間スケールの深度マップ及び粗いスケールの深度マップを含む。深度推定器は、微細スケールの信頼特性を利用することによって微細スケールの深度マップからの深度値を評価し、粗いスケールの信頼特性を利用することによって中間スケールの深度マップ及び粗いスケールの深度マップからの深度値を評価する。その後、深度推定器は、異なる深度マップレベルからの最適な深度値を融合して最適な深度マップを生成する。

ここで図１を参照すると、本発明によるカメラ装置１１０の１つの実施形態のブロック図を示している。図１の実施形態では、カメラ装置１１０が、以下に限定されるわけではないが、取り込みサブシステム１１４、システムバス１１６、及び制御モジュール１１８を含むことができる。図１の実施形態では、取り込みサブシステム１１４が、被写体１１２に光学的に結合することができ、またシステムバス１１６を介して制御モジュール１１８に電気的に結合することもできる。

別の実施形態では、カメラ装置１１０が、図１の実施形態に関連して説明する構成要素に加え又はこれらの代わりに、他の様々な構成要素を容易に含むことができる。また、いくつかの実施形態では、図１のカメラ装置１１０以外のあらゆる適当な種類の電子装置において本発明を別様に具体化することができる。例えば、カメラ装置１１０を、撮像装置、コンピュータ装置、又は消費者向け電子装置として別様に実装することができる。

図１の実施形態では、カメラ１１０の取り込みサブシステム１１４が被写体１１２に自動的に合焦すると、カメラユーザは、この被写体１１２に対応する画像データを取り込むようにカメラ装置１１０に要求することができる。この時、制御モジュール１１８が取り込みサブシステム１１４に、被写体１１２を表す画像データを取り込むようにシステムバス１１６を介して命令できることが好ましい。次に、この取り込んだ画像データを、システムバス１１６を介して制御モジュール１１８へ転送することができ、これに応答して、制御モジュール１１８は、この画像データを用いて様々な処理及び機能を実行することができる。システムバス１１６は、取り込みサブシステム１１４と制御モジュール１１８の間で、様々な状態信号及び制御信号を双方向に渡すことができる。

ここで図２を参照すると、本発明による図１の取り込みサブシステム１１４の１つの実施形態のブロック図を示している。図２の実施形態では、取り込みサブシステム１１４が、以下に限定されるわけではないが、シャッタ２１８、レンズ２２０、画像センサ２２４、赤色、緑色及び青色（Ｒ／Ｇ／Ｂ）増幅器２２８、アナログデジタル（Ａ／Ｄ）変換器２３０、及びインターフェイス２３２を含むことが好ましい。別の実施形態では、取り込みサブシステム１１４が、図２の実施形態に関連して説明する構成要素に加え又はこれらの代わりに、他の様々な構成要素を容易に含むことができる。

図２の実施形態では、取り込みサブシステム１１４が、光路２３６に沿って画像センサ２２４に衝突する反射光を介して、被写体１１２に対応する画像データを取り込むことができる。これに応答して、好ましくは電荷結合素子（ＣＣＤ）を含むことができる画像センサ２２４が、被写体１１２を表す画像データの組を生成することができる。次に、この画像データは、増幅器２２８、Ａ／Ｄ変換器２３０、及びインターフェイス２３２を経由することができる。この画像データは、インターフェイス２３２からシステムバス１１６を介して制御モジュール１１８に渡され、しかるべく処理されて記憶される。本発明に関連する画像データの取り込みには、ＣＭＯＳ又はリニアアレイなどの他の種類の画像取り込みセンサも想定される。以下、図３〜図９に関連して、カメラ１１０の利用及び機能についてさらに説明する。

ここで図３を参照すると、本発明による図１の制御モジュール１１８の１つの実施形態のブロック図を示している。図３の実施形態では、制御モジュール１１８が、以下に限定されるわけではないが、ファインダ３０８、中央処理装置（ＣＰＵ）３４４、メモリ３４６、及び１又はそれ以上の入出力インターフェイス（Ｉ／Ｏ）３４８を含むことが好ましい。ファインダ３０８、ＣＰＵ３４４、メモリ３４６及びＩ／Ｏ３４８の各々は、取り込みサブシステム１１４とも通信する共通システムバス１１６に結合され、この共通システムバス１１６を介して通信することが好ましい。別の実施形態では、制御モジュール１１８が、図３の実施形態に関連して説明する構成要素に加え又はこれらの代わりに、他の様々な構成要素を容易に含むことができる。

図３の実施形態では、ＣＰＵ３４４を、あらゆる適当なマイクロプロセッサ装置を含むように実装することができる。或いは、他のあらゆる適当な技術を使用してＣＰＵ３４４を実装することもできる。例えば、ＣＰＵ３４４を、いくつかの特定用途向け集積回路（ＡＳＩＣ）又はその他の適当な電子装置を含むように実装することができる。メモリ３４６は、以下に限定されるわけではないが、リードオンリメモリ、ランダムアクセスメモリ、及びフロッピー（登録商標）ディスク装置、ハードディスク装置又はフラッシュメモリなどの様々な種類の不揮発性メモリを含む１又はそれ以上の適当な記憶装置として実装することができる。Ｉ／Ｏ３４８は、カメラ装置１１０と、システムユーザ又は別の電子装置を含むあらゆる外部エンティティとの間の双方向通信を容易にするための１又はそれ以上の効果的なインターフェイスを提供することができる。Ｉ／Ｏ３４８は、あらゆる適当な入出力装置を使用して実装することができる。以下、図４〜図９に関連して、制御モジュール１１８の動作及び利用についてさらに説明する。

ここで図４を参照すると、本発明による図３のメモリ３４６の１つの実施形態のブロック図を示している。図４の実施形態では、メモリ３４６が、以下に限定されるわけではないが、カメラアプリケーション４１２、オペレーティングシステム４１４、深度推定器４１６、画像データ４１８、推定データ４２０、深度値４２２、及び信頼値４２４を含むことができる。別の実施形態では、メモリ３４６が、図４の実施形態に関連して説明する構成要素に加え又はこれらの代わりに、他の様々な構成要素を含むことができる。

図４の実施形態では、カメラアプリケーション４１２が、カメラ装置１１０の様々な機能及び動作を実行するための、好ましくはＣＰＵ３４４（図３）により実行されるプログラム命令を含むことができる。カメラアプリケーション４１２の特定の性質及び機能は、対応するカメラ装置１１０の種類及び特定の用途などの要因に応じて異なることが好ましい。

図４の実施形態では、オペレーティングシステム４１４が、カメラ装置１１０の低水準機能を制御及び調整することが好ましい。本発明によれば、深度推定器４１６が、カメラ１１０内で深度マップを生成できるように深度推定手順を制御及び調整することができる。図４の実施形態では、画像データ４１８が、カメラ装置１１０が取り込んだ被写体１１２の１又はそれ以上の画像を含むことができる。評価データ４２０は、深度マップ生成手順を実行するためのあらゆる種類の情報又はデータを含むことができる。

図４の実施形態では、深度値４２２が、カメラ１１０と、被写体又はシーンの様々な部分との間の距離を表すことができる。この深度値４２２を利用して、以下で図５Ａに関連して説明するような深度マップを埋めることができる。信頼値４２４は、それぞれの深度値４２２が正確である相対的確立を表す。以下、図５〜図９に関連して、深度推定器４１６の動作に関するさらなる詳細について説明する。

ここで図５Ａを参照すると、本発明による単純化した深度マップ５２２の１つの実施形態の図を示している。図５Ａの深度マップ５２２は例示目的で示すものであり、別の実施形態では、深度マップが、図５Ａの実施形態に関連して説明する構成要素及び構成に加え又はこれらの代わりに、他の様々な構成要素及び構成を含むことができる。例えば、単純にするために、図５Ａの深度マップ５２２は４つの深度値のみで示している。しかしながら、本発明では、あらゆる数の深度値を有する深度マップが同様に想定される。

図５Ａの実施形態では、深度マップ５２２が、個々の深度値がカメラ１１０（図１）と被写体又はシーンの様々な部分との間の距離を表す特定の画像データの組に対応する。いくつかの実施形態では、原画像データから初期深度マップの初期深度値をあらゆる効果的な方法で直接求めることができる。図５Ａの例では、深度マップ５２２が、深度値Ａ５２６（ａ）、深度値Ｂ５２６（ｂ）、深度値Ｃ５２６（ｃ）及び深度値Ｄ５２６（ｄ）を含む。深度マップの生成に関する追加の詳細については、以下で図６〜図９に関連してさらに説明する。

ここで図５Ｂを参照すると、本発明による、焦点ずれしたブレ画像５１８を取り込むための１つの例示的な実施形態の図を示している。図５Ｂの実施形態は例示目的で示すものであり、別の実施形態では、本発明は、他の様々な構成及び要素を利用して、焦点ずれしたブレ画像５１８を取り込むことができる。

図５Ｂの実施形態では、カメラ１１０のセンサ２２４（図２を参照）が、深度推定手順を実行するための被写体又はシーン１１２の焦点ずれしたブレ画像５１８を取り込むことができる。この焦点ずれしたブレ画像５１８は、被写体１１２、レンズ２２０及びセンサ２２４の相対位置に依存する正しく焦点が合ったレンズ位置以外の位置にレンズ２２０を調整することによって作成することができる。

１つの実施形態では、２つの異なる焦点ずれしたブレ画像５１８を比較して深度推定を得ることができる。例えば、互いに被写界深度が１つ離れた２つのブレ画像５１８のブレ差を計算することができる。既知の照合曲線の傾き及びブレ差を利用して、所与の被写体１１２の深度を求めることができる。

ここで図５Ｃを参照すると、本発明の１つの実施形態による例示的な照合曲線７１４のグラフを示している。図５Ｃの実施形態は例示目的で示すものであり、別の実施形態では、図５Ｃの実施形態に関連して説明する構成及びパラメータの一部に加え又はこれらの代わりに、様々な構成及びパラメータの照合曲線を利用するように本発明を実現することができる。

いくつかの実施形態では、ブレ画像１及びより焦点がずれたブレ画像２を取り込み、鮮明な方の画像１をガウスカーネル（例えば、分散の少ない３×３のガウス行列）で畳み込んで畳み込み画像１を生成することができる。この畳み込み画像１をブレ画像２と比較する。この処理を、２つのブレ画像が一致するまで繰り返す。次に、この反復回数を被写界深度（すなわち、１ＤＯＦきざみの画像番号）に対してグラフ化してブレ画像の照合曲線を生成し、これを使用していずれかの焦点が外れた位置から焦点が合った位置までの距離を推定することができる。上述した深度推定技術に関するさらなる詳細は、Ｌｉ他による米国特許第８，０４５，０４６号にさらに記載されており、この特許は引用により本明細書に組み入れられる。

ここで図６を参照すると、本発明の１つの実施形態による多重解像度ピラミッド構造６１４の図を示している。図６のピラミッド６１４は例示目的で示すものであり、別の実施形態では、多重解像度ピラミッド６１４が、図６の実施形態に関連して説明する構成要素及び構成に加え又はこれらの代わりに、他の様々な構成要素及び構成を含むことができる。

図６の実施形態では、多重解像度ピラミッド６１４が、各々が異なる解像度レベルを有するレベル２深度マップ６１８、レベル１深度マップ６２２及びレベル０深度マップ６２８を含む。他の実施形態では、他のあらゆる効果的な数又は構成の解像度レベルを同様に利用することができる。図６の実施形態では、解像度レベル６１８、６２２及び６２８は、全て同じ画像データの組から圧縮したものであるが、各レベルで圧縮比は異なる。例えば、いくつかの実施形態では、レベル０が１／１６の圧縮比を有することができ、レベル１が１／８の圧縮比を有することができ、レベル２が１／４の圧縮比を有することができる。圧縮比は、あらゆる効果的な方法で実現することができる。例えば、サブサンプリング圧縮技術を利用してもよい。

図６の実施形態では、各レベル６１８、６２２及び６２８が、１又はそれ以上のブロックを含む。例えば、レベル０は、単一のブロック６３２を有し、レベル１は、２×２の行列で配列された４つのブロックを有し、レベル２は、４×４の行列で配列された１６個のブロックを有する。各ブロックは、所定数の画素を表すことができる。例えば、いくつか実施形態では、各ブロックが１６×１６の深度値を表すことができる。圧縮比が異なることにより、３つの異なるレベル６２８、６２２及び６１８は、各々が原画像データからの同じ領域を表している。例えば、レベル０の単一のブロック６３２は、レベル１のブロック６３６、６４０、６４４及び６４８に相当する。同様に、レベル１の各ブロックは、レベル２からの４つのブロックに相当する。例えば、レベル１のブロック６３６は、レベル２からのブロック６５２、６５６、６６０及び６６４に相当する。

図６の実施形態では、全ての３つのレベルの各ブロックが関連する深度値を有する。従って、レベル０は１つの深度値を有し、レベル１は４つの深度値を有し、レベル２は１６個の深度値を有する。別のいくつかの実施形態では、これらの３つのレベルを、図６の実施形態に示す特定の構成とは異なる数量の深度値／ブロックを含むように実現することができる。本発明は、ロバストな信頼基準技術を使用してこれらの様々な深度値を有利に評価し、その後最適な深度値を融合して最終的な深度マップ生成する。以下、図７〜図９に関連して、多重解像度ピラミッドの利用に関するさらなる詳細についてさらに説明する。

ここで図７Ａ〜図７Ｃを参照すると、本発明の１つの実施形態による、多重解像度手順を利用して深度マップを生成する方法ステップのフローチャートを示している。図７の実施形態は例示目的で示すものであり、別の実施形態では、本発明は、図７の実施形態に関連して説明するステップ及び順序以外の様々なステップ及び順序を容易に利用することができる。

図７Ａの実施形態では、ステップ７１４において、深度推定器４１６（図４）又はその他の適切なエンティティが、あらゆる効果的な技術を利用することによってレベル２深度マップ６１８を生成する。例えば、レベル２深度マップ６１８を、比較的微細なスケールの解像度を生じる圧縮比で実現することができる。次に、ステップ７１８において、深度推定器４１６が、あらゆる効果的な技術を利用することにより、レベル２深度マップ６１８からのそれぞれの深度値に対応するロバストな信頼値を計算することができる。ステップ７２２において、深度推定器４１６は、これらのそれぞれの信頼値に従って、深度値を高信頼深度値７３４、中信頼深度値７３０及び低信頼深度値７２６に分類する。その後、図７Ａの処理は、連結文字「Ａ」及び「Ｂ」を介して図７Ｃのステップ９４６へ進む。

図７Ｂの実施形態では、ステップ７３８において、深度推定器４１６（図４）又はその他の適当なエンティティが、あらゆる効果的な技術を利用することにより、レベル１深度マップ６２２及びレベル０深度マップ６２８を生成する。例えば、レベル１深度マップ６２２は、中間スケールの解像度を生じる圧縮比で実現することができ、レベル０深度マップ６２８は、比較的粗いスケールの解像度を生じる圧縮比で実現することができる。

次に、ステップ７４２において、深度推定器４１６が、あらゆる効果的な技術を利用することにより、レベル１深度マップ６２２及びレベル０深度マップ６２８からのそれぞれの深度値に対応するロバストな信頼値を計算することができる。次に、ステップ７５０において、深度推定器４１６は、この計算した信頼値を利用して、レベル０深度マップ６２６及びレベル１深度マップ６２２からのいずれかの信頼できる深度値候補を所定の信頼性基準に従って識別する。

ステップ７５０において、深度推定器４１６は、あらゆる効果的な技術を利用することにより、レベル１深度マップ６２２及びレベル０深度マップ６２８からのブロックに対し、レベル２深度マップ６１８のブロックサイズに一致させるためのサイズ変更手順を実行する。例えば、バイキュービック法又はスプライン法などの様々な空間的補間技術を利用することができる。いくつかの実施形態では、エッジ保存補間アルゴリズムを利用して、フィルタ行列とともにマスクベースの２Ｘ補間カーネルを使用するサイズ変更を実行することができる。以下に、エッジ保存アルゴリズムの公式の１例を示す。

ステップ７５４において、深度推定器４１６は、あらゆる効果的な技術を利用することにより、レベル１深度マップ６２２及びレベル０深度マップ６２８からの深度値をレベル２深度マップ６１８の深度値範囲に一致するようにスケール調整するためのマグニチュードスケーリング手順を実行する。例えば、このスケーリング手順は、理論的アプローチ又はデータ駆動型アプローチを利用することができる。その後、図７Ｂの処理は、連結文字「Ａ」を介して図７Ｃのステップ７５８へ進む。

ステップ７５８において、深度推定器４１６は、レベル１深度マップ６２２又はレベル０深度マップ６２８からいずれかのさらなる信頼できる深度値候補が識別されたかどうかを判定する。ステップ７６２において、深度推定器４１６は、あらゆる信頼できない深度値に、最終的な最適化深度マップに投入するのに適さない外れ値としてマーキングする。ステップ７６６において、深度推定器４１６は、あらゆる効果的な技術により、あらゆる信頼できる深度値候補を利用して、最終的な最適化深度マップの最適な深度値を更新する。例えば、最適な信頼基準の深度値を選択してもよく、或いは重み付けした又は重み付けしてない平均化法を利用して、いくつかの異なる信頼できる深度値を組み合わせてもよい。この時点で、深度推定器４１６は、信頼値の信頼マップを更新することもできる。

ステップ７７０において、深度推定器４１６は、異なるレベルの深度マップ６１８、６２２及び６２８からの最適な深度値を有利に融合して最終的な最適化深度マップを生成する。最後に、ステップ７７４において、深度推定器４１６は、この最終的な最適化深度マップの最適な深度値に対応する信頼値に基づいて信頼マップを作成することができる。その後、図７の処理は終了することができる。従って、本発明は、多重解像度手順を利用して深度マップを生成するための改善されたシステム及び方法を提供する。

ここで図８Ａを参照すると、本発明の１つの実施形態による微細スケールの信頼特性の図を示している。図８Ａの実施形態は例示目的で示すものであり、別の実施形態では、本発明は、図８Ａの実施形態に関連して説明する信頼特性以外の信頼特性を容易に利用することができる。

図８Ａの実施形態では、信頼特性８１２が、特定のカメラ１１０（図１）のあらゆる動作特性又は動作制限を含むことができるカメラモデル／レンズ位置特性８１８を含む。例えば、カメラモデル／レンズ位置特性８１８は、以下に限定されるわけではないが、光学特性、レンズ位置、ズーム位置、カメラ較正などを含むことができる。１つの実施形態では、カメラモデル／レンズ位置特性８１８が、所与のカメラ１１０がサポートするズーム範囲を含むことができる。

図８Ａの実施形態では、信頼特性８１２が、深度マップを生成するために使用する特定のアルゴリズムのあらゆるパラメータ又は特性を含むことができる実装特性８２２をさらに含む。例えば、実装特性８２２は、以下に限定されるわけではないが、利用するブロックサイズ及び利用する照合カーネルを含むことができる。図８Ａの実施形態では、深度推定器４１６が、信頼特性８１２を重み付けした形又は重み付けしない形で選択的に組み合わせて、レベル２深度マップ６１８（図６）などの微細スケールの深度マップの対応する深度値が正確である可能性を表す信頼値を生成することができる。

ここで図８Ｂを参照すると、本発明の１つの実施形態による粗いスケールの信頼特性８１４の図を示している。図８Ｂの実施形態は例示目的で示すものであり、別の実施形態では、本発明は、図８Ｂの実施形態に関連して説明する信頼特性以外の信頼特性を容易に利用することができる。

図８Ｂ実施形態では、粗いスケールの信頼特性８１４が、図８Ａに関連して説明した同名の特性と同様のカメラモデル／レンズ位置特性８１８及び実装特性８２２を含む。また、粗いスケールの信頼特性８１４は、統計特性８２６及び測定特性８３０を含むこともできる。図８Ｂの実施形態では、測定特性８３０が、適当な測定データに基づくあらゆる特性を含むことができる。例えば、測定特性８３０は、以下に限定されるわけではないが、動きベクトルの測定値及び画素強度の測定値を含むことができる。

図８Ｂの実施形態では、統計特性８２６が、適当な統計解析手順から導出されるあらゆる効果的な特性を含むことができる。例えば、統計特性８２６は、以下に限定されるわけではないが、最適化率統計値、又は図８Ｃに関連して以下でさらに説明する絶対差の総和（ＳＡＤ）収束技術を含むことができる。図８Ｂの実施形態では、深度推定器４１６が、信頼特性８１４を重み付けした形又は重み付けしていない形で選択的に組み合わせて、レベル０深度マップ６２６及びレベル１深度マップ６２２（図６を参照）などの比較的粗いスケール深度マップの対応する深度値が正確である可能性を表す信頼値を生成することができる。

ここで図８Ｃを参照すると、本発明の１つの実施形態による絶対差の総和（ＳＡＤ）収束技術を示すグラフを示している。図８Ｃの実施形態は例示目的で示すものであり、別の実施形態では、本発明は、図８Ｃの実施形態に関連して説明する構成及びパラメータのいくつかに加えた又はこれらの代わりの構成及びパラメータでＳＡＤ収束技術を実施することができる。

図８Ｃのグラフは、図５Ｂ〜図５Ｃに関連して説明したブレ画像を用いた深度推定手順から導出される統計情報に関する。図８Ｃグラフでは、横軸に焦点ずれしたブレ画像の対のＳＡＤ値を示し、縦軸に深度推定手順（図５Ｂ〜図５Ｃを参照）の反復の収束速度を示している。図８Ｃのグラフは、いずれの深度値が信頼できていずれの深度値が信頼できないかを示す、あらゆる効果的な方法で導出できる分類曲線８３４をさらに含む。いくつかの実施形態では、以下の数式に従って分類曲線８３４を導出することができる。

いくつかの実施形態では、観察される深度値データの経験的統計に基づいて分類曲線８３４を生成することができる。図８Ｃの実施形態では、分類曲線８３４よりも上方の深度値は信頼性できると見なすことができ、分類曲線８３４よりも下方の深度値は信頼できないと見なすことができる。

ここで図９を参照すると、本発明による単純化した信頼マップ９２２の１つの実施形態の図を示している。図９の信頼マップ９２２は例示目的で示すものであり、別の実施形態では、信頼マップが、図９の実施形態に関連して説明する構成要素及び構成に加え又はこれらの代わりに、他の様々な構成要素及び構成を含むことができる。例えば、単純にするために、図９の信頼マップ９２２は４つの信頼値のみで示している。図９の信頼マップ９２２のこれらの４つの信頼値は、上述した図５Ａの深度マップ５２２の４つの深度値に対応することができる。しかしながら、本発明では、あらゆる数の信頼値を含む信頼マップも同様に想定される。

図９の実施形態では、信頼マップ９２２をあらゆる効果的な方法で生成することができる。例えば、上述した図７Ｃのステップ７７４中に信頼マップ９２２を生成することができる。図９の例では、信頼マップ９２２が、信頼値Ａ ９２６（ａ）、信頼値Ｂ ９２６（ｂ）、信頼値Ｃ ９２６（ｃ）及び信頼値Ｄ ９２６（ｄ）を含む。いくつかの実施形態では、信頼マップ９２２を、所定の閾値よりも低い信頼値を有する深度値をノイズとして処理するように選択できる様々なノイズ低減モジュールに提供することができる。

以上、いくつかの実施形態を参照しながら本発明について説明した。当業者には本開示に照らして他の実施形態も明らかであろう。例えば、上記の実施形態で説明したもの以外の構成及び技術を使用して本発明を容易に実施することができる。また、上述した以外のシステムとともに本発明を効果的に使用することもできる。従って、説明した実施形態に対するこれらの及びその他の変形も本発明の対象であることが意図され、本発明は添付の特許請求の範囲によってのみ限定される。

Claims (20)

1. ロバストな深度マップを生成するためのシステムであって、
   各々が異なる解像度特性を有する複数の深度マップレベルを含む深度マップ構造と、
   前記深度マップレベルからの深度値を評価して、最適な深度マップに投入するための最適な深度値を識別する深度推定器と、
   を備えることを特徴とするシステム。
2. 前記深度マップレベルが、微細スケールの深度マップ、中間スケールの深度マップ及び粗いスケールの深度マップを含む、
   ことを特徴とする請求項１に記載のシステム。
3. 前記深度推定器が、微細スケールの信頼特性を利用することにより前記微細スケールの深度マップからの前記深度値を評価する、
   ことを特徴とする請求項２に記載のシステム。
4. 前記微細スケールの信頼特性が、光学特性、レンズ位置、ズーム位置及びカメラ較正パラメータを含むカメラモデル／レンズ位置特性と、ブロックサイズ及び照合カーネルタイプを含む実装特性とを含む、
   ことを特徴とする請求項３に記載のシステム。
5. 前記深度推定器が、前記カメラモデル／レンズ位置特性、前記実装特性及び粗いスケールの信頼特性を利用することにより、前記中間スケールの深度マップ及び前記粗いスケールの深度マップからの前記深度値を評価する、
   ことを特徴とする請求項４に記載のシステム。
6. 前記粗いスケールの信頼特性が、最適化率統計及び絶対差の総和収束技術を含む統計特性と、動きベクトルの測定値及び画素強度の測定値を含む測定値特性とを含む、
   ことを特徴とする請求項５に記載のシステム。
7. 前記絶対差の総和収束技術が、観察される深度値データの経験的統計に基づいて生成される分類曲線を利用して、前記深度値のいずれが信頼でき、いずれが信頼できないかを示す、
   ことを特徴とする請求項６に記載のシステム。
8. 前記深度推定器が、初期画像データに第１の圧縮比を適用することにより前記微細スケールの深度マップを生成する、
   ことを特徴とする請求項２に記載のシステム。
9. 前記第１の圧縮比が１／４であり、前記微細スケールの深度マップが４×４ブロックの構成を有する、
   ことを特徴とする請求項８に記載のシステム。
10. 前記深度推定器が、選択した微細スケールの信頼特性を用いて前記微細スケールの深度マップを評価する、
    ことを特徴とする請求項８に記載のシステム。
11. 前記深度推定器が、前記微細スケールの深度マップからの深度値を、低信頼深度値、中信頼深度値及び高信頼深度値のうちの１つとして分類する、
    ことを特徴とする請求項１０に記載のシステム。
12. 前記深度推定器が、前記初期画像データに第２の圧縮比を適用することにより前記中間スケールの深度マップを生成し、また前記初期画像データに第３の圧縮比を適用することにより前記粗いスケールの深度マップも生成する、
    ことを特徴とする請求項１１に記載のシステム。
13. 前記第２の圧縮比が１／８であり、前記中間スケールの深度マップが２×２ブロックの構成を有し、前記第３の圧縮比が１／１６であり、前記粗いスケールの深度マップが単一ブロックの構成を有する、
    ことを特徴とする請求項１２に記載のシステム。
14. 前記深度推定器が、選択した粗いスケールの信頼特性を用いて前記中間レベルの深度マップ及び前記粗いレベルの深度マップを評価して、あらゆる信頼できる深度値候補を求める、
    ことを特徴とする請求項１２に記載のシステム。
15. 前記深度推定器が、前記粗いスケールの深度マップ及び中間スケールの深度マップのブロックサイズを前記微細スケールの深度マップに一致させるための空間的サイズ変更手順を実行する、
    ことを特徴とする請求項１４に記載のシステム。
16. 前記深度推定器が、前記粗いスケールの深度マップ及び中間スケールの深度マップの深度値範囲を前記微細スケールの深度マップに一致させるためのマグニチュードスケーリング手順を実行する、
    ことを特徴とする請求項１５に記載のシステム。
17. 前記深度推定器が、選択技術及び平均化技術の一方を利用することにより、前記信頼できる深度値候補による更新手順を実行する、
    ことを特徴とする請求項１６に記載のシステム。
18. 前記深度推定器が、前記微細スケールの深度マップ、前記中間スケールの深度マップ及び前記粗いスケール深度マップの前記最適な深度値から前記最適化深度マップを作成するための融合手順を実行する、
    ことを特徴とする請求項１７に記載のシステム。
19. 前記深度推定器が、前記最適化深度マップに対応する最終的な信頼マップを生成する、
    ことを特徴とする請求項１８に記載のシステム。
20. ロバストな深度マップを生成する方法であって、
    各々が異なる解像度特性を有する複数の深度マップレベルを含む深度マップ構造を作成するステップと、
    深度推定器を利用して前記深度マップレベルからの深度値を評価し、最適な深度マップに投入するのに最適な深度値を識別するステップと、
    を実行することによって行われる、
    ことを特徴とする方法。

Images