JP2015521394A - 適応的カーネルを利用することにより深度推定を実行するためのシステム及び方法 - Google Patents

Abstract

適応的カーネルを利用することにより深度推定手順を支援するためのシステム及び方法が、写真ターゲットの画像を取り込むための取り込みサブシステムを含む。この取り込みサブシステムは、写真ターゲットからの反射光をセンサ装置に入れることについて調整可能な絞りを含む。適応的カーネルは、絞りの対称特性に基づきカーネル設計手順で設計される。適応的カーネルは、周波数領域カーネル設計手順又は空間領域カーネル設計手順のいずれかで設計することができる。この適応的カーネルを深度推定器が利用して深度推定手順を実行する。【選択図】図１

Description

本発明は、一般に画像データを解析するための技術に関し、具体的には、適応的カーネルを利用することにより深度推定手順を実行するためのシステム及び方法に関する。

画像データを解析するための効率的な方法を実装することは、現代の電子装置の設計者及び製造者にとって重要な検討課題である。しかしながら、電子装置を用いて画像データを効率的に解析することにより、システム設計者にとっては多くの課題が生じる可能性がある。例えば、装置の機能及び性能を高める要求が増えることにより、より高いシステム処理能力、及び追加のハードウェアリソースが必要になる可能性がある。処理要件又はハードウェア要件が高まることにより、生産コスト及び経営の非効率性の増加に起因して、対応する不利益な経済的影響がもたらされる可能性もある。

さらに、様々な高度な動作を行うように装置の能力を高めると、システムユーザにさらなる利点がもたらされることもあるが、様々な装置の構成要素の制御及び管理にかかる負担が増える可能性もある。例えば、デジタル画像データを効果的に解析する高度な電子装置は、関連するデジタルデータの量の多さと複雑性により、効果的な実装から恩恵を受けることができる。

米国特許第８０４５０４６号明細書

システムリソースに対する需要の伸び、及びデータの大きさの大幅な増加により、画像データを解析するための新たな技術を開発することが、関連する電子技術にとっての懸案事項であることは明らかである。従って、上述した全ての理由から、画像データを解析するための効果的なシステムを開発することは、現代の電子装置の設計者、製造者及びユーザにとって依然として重要な検討課題のままとなっている。

本発明では、適応的カーネルを利用することにより深度推定手順を実行するためのシステム及び方法を開示する。深度推定手順を利用して、対応する写真ターゲット又はシーンの深度マップを作成することができる。カメラの非対称的な絞り形状により、深度マップの非一様性を引き起こすことができる。１つの代表的な深度マップ生成技術に、畳み込みカーネルを用いて２つの画像の焦点ずれしたボケを整合させて深度の間接的推定値を求めるｄｅｐｔｈ−ｆｒｏｍ−ｄｅｆｏｃｕｓ技術がある。従って、畳み込みカーネルは、正確な深度値を得る上で重要な役割を果たす。

本発明の一実施形態では、いずれかの効果的な方法でカメラ絞りデータを取得する。カメラ絞りデータは、以下に限定されるわけではないが、絞りの形状、絞りの寸法、及び絞りの対称特性を含むいずれかの適切な情報を含むことができる。このカメラ絞りデータを、いずれかの効果的な技術を利用して解析することができる。例えば、絞り情報解析は、１又はそれ以上の設計者が手動で行うことも、或いは１又はそれ以上のコンピュータ装置が自動的に行うこともできる。

この結果、絞りが対称又は非対称のいずれであるかを判定する。絞りが対称である場合、カメラのローカルメモリに対称カーネル係数を記憶することができる。一方、絞りが非対称である場合、いずれかの効果的な方法で適切な非対称畳み込みカーネルを設計することができる。例えば、非対称畳み込みカーネルは、１又はそれ以上の設計者が手動で作成することも、或いは１又はそれ以上のコンピュータ装置が自動的に作成することもできる。いくつかの実施形態では、周波数領域カーネル設計法を利用して非対称畳み込みカーネルを設計することができる。他の実施形態では、空間領域カーネル設計法を利用して非対称畳み込みカーネルを設計することができる。結果として得られた非対称カーネル係数を、カメラのローカルメモリに記憶することができる。

カメラは、その後の動作時に、特定の現在のカメラ絞り特性に応じて、メモリから適切な畳み込みカーネルを選択することができる。最後に、カメラは、選択した畳み込みカーネルを利用して畳み込み手順を実行し、確実に深度推定手順を支援することができる。従って、本発明は、適応的畳み込みカーネルを利用することにより深度推定手順を実行するための改善されたシステム及び方法を提供する。

本発明による、カメラ装置の一実施形態のブロック図である。 本発明による、図１の取り込みサブシステムの一実施形態のブロック図である。 本発明による、図１の制御モジュールの一実施形態のブロック図である。 本発明による、図３のメモリの一実施形態のブロック図である。 本発明による、焦点ずれしたボケ画像を取り込むための１つの例示的な実施形態を示す図である。 本発明の一実施形態による、カーネル畳み込み手順を示す図である。 本発明の一実施形態による、例示的な整合曲線のグラフである。 本発明の一実施形態による、適応的カーネルを用いて深度推定手順を実行する方法ステップのフローチャートである。 本発明の一実施形態による、適応的カーネルを用いて深度推定手順を実行する方法ステップのフローチャートである。 本発明の一実施形態による、周波数領域カーネル設計手順を示す図である。 本発明の一実施形態による、周波数領域カーネル設計手順を示す図である。 本発明の一実施形態による、空間領域カーネル設計手順を示す図である。 本発明の一実施形態による、空間領域カーネル設計手順を示す図である。 本発明の一実施形態による、空間領域カーネル設計手順を示す図である。

本発明は、画像データ解析技術の改善に関する。以下の説明は、当業者が本発明を実施して使用できるようにするために提供し、特許出願及びその要件との関連で行うものである。当業者には、開示する実施形態の様々な修正例が容易に明らかになるであろうし、本明細書における一般的な原理を他の実施形態に適用することもできる。従って、本発明は、図示の実施形態に限定されることは意図されておらず、本明細書で説明する原理及び特徴に従う最も広い範囲を許容すべきものである。

本発明は、適応的カーネルを利用することにより深度推定手順を支援するためのシステム及び方法を含み、写真ターゲットの画像を取り込むための取り込みサブシステムを含む。この取り込みサブシステムは、写真ターゲットからの反射光をセンサ装置に入れることについて調整可能な絞りを含む。適応的カーネルは、絞りの対称特性に基づきカーネル設計手順で設計される。適応的カーネルは、周波数領域カーネル設計手順又は空間領域カーネル設計手順のいずれかで設計することができる。この適応的カーネルを深度推定器が利用して深度推定手順を実行する。

ここで図１を参照すると、本発明によるカメラ装置１１０の一実施形態のブロック図を示している。図１の実施形態では、カメラ装置１１０が、以下に限定されるわけではないが、取り込みサブシステム１１４、システムバス１１６、及び制御モジュール１１８を含むことができる。図１の実施形態では、取り込みサブシステム１１４を写真ターゲット１１２に光学的に結合することができ、またシステムバス１１６を介して制御モジュール１１８に電気的に結合することもできる。

別の実施形態では、カメラ装置１１０が、図１の実施形態に関連して説明する構成要素に加え又はこれらの代わりに、他の様々な構成要素を容易に含むことができる。また、いくつかの実施形態では、図１のカメラ装置１１０以外のいずれかの適当なタイプの電子装置内で本発明を具体化することもできる。例えば、カメラ装置１１０を、イメージング装置、コンピュータ装置又は消費者電子装置として実装することもできる。

図１の実施形態では、カメラ装置１１０の取り込みサブシステム１１４がターゲット１１２に自動的に焦点を合わせると、カメラユーザは、ターゲット１１２に対応する画像データを取り込むようにカメラ装置１１０に要求することができる。この時、制御モジュール１１８が、システムバス１１６を介して取り込みサブシステム１１４に、ターゲット１１２を表す画像データを取り込むように指示できることが好ましい。その後、この取り込んだ画像データを、システムバス１１６を介して制御モジュール１１８に送信し、これに応答して、制御モジュール１１８は、この画像データを用いて様々な処理及び機能を実行することができる。システムバス１１６は、取り込みサブシステム１１４と制御モジュール１１８の間で様々な状態信号及び制御信号を双方向に受け渡すこともできる。

図２を参照すると、本発明による図１の取り込みサブシステム１１４の一実施形態のブロック図を示している。図２の実施形態では、取り込みサブシステム１１４が、以下に限定されるわけではないが、絞り２１８、レンズ２２０、画像センサ２２４、赤色、緑色及び青色（Ｒ／Ｇ／Ｂ）増幅器２２８、アナログ−デジタル（Ａ／Ｄ）変換器２３０、及びインターフェイス２３２を含むことが好ましい。別の実施形態では、取り込みサブシステム１１４が、図２の実施形態に関連して説明するこれらの構成要素に加え又はこれらの代わりに、他の様々な構成要素を容易に含むことができる。

図２の実施形態では、取り込みサブシステム１１４が、光路２３６に沿って画像センサ２２４に衝突する反射光を介して、ターゲット１１２に対応する画像データを取り込むことができる。いくつかの実施形態では、絞り２１８が、画像センサ２２４に到達する反射光の量を調整するように制御可能なシャッター機構を含む。画像センサ２２４は、電荷結合素子（ＣＣＤ）を含むことが好ましく、これに応答して、ターゲット１１２を表す画像データの組を生成することができる。

その後、この画像データは、増幅器２２８、Ａ／Ｄ変換器２３０及びインターフェイス２３２を経由することができる。画像データは、インターフェイス２３２からシステムバス１１６を介して制御モジュール１１８に受け渡され、適切に処理されて記憶される。本発明との関連では、画像データを取り込むために、ＣＭＯＳ又は線形アレイなどの他のタイプの画像取り込みセンサも企図される。カメラ１１０の利用及び機能については、図３〜図８Ｃに関連してさらに後述する。

ここで図３を参照すると、本発明による図１の制御モジュール１１８の一実施形態のブロック図を示している。図３の実施形態では、制御モジュール１１８が、以下に限定されるわけではないが、ファインダ３０８、中央処理装置（ＣＰＵ）３４４、メモリ３４６、及び１又はそれ以上の入力／出力インターフェイス（Ｉ／Ｏ）３４８を含むことが好ましい。ファインダ３０８、ＣＰＵ３４４、メモリ３４６及びＩ／Ｏ３４８の各々は、取り込みサブシステム１１４と通信する共通システムバス１１６を介してやはり取り込みサブシステム１１４に結合され、これと通信することが好ましい。別の実施形態では、制御モジュール１１８が、図３の実施形態に関連して説明するこれらの構成要素に加え又はこれらの代わりに、他の様々な構成要素を容易に含むことができる。

図３の実施形態では、ＣＰＵ３４４を、いずれかの適当なマイクロプロセッサ装置を含むように実装することができる。或いは、他の適当な技術を用いてＣＰＵ３４４を実装することもできる。例えば、特定用途向け集積回路（ＡＳＩＣ）又はその他の適当な電子装置を含むようにＣＰＵ３４４を実装することができる。メモリ３４６は、以下に限定されるわけではないが、リードオンリメモリ、ランダムアクセスメモリ、及びフロッピー(登録商標)ディスク装置、ハードディスク装置又はフラッシュメモリなどの様々なタイプの不揮発性メモリを含む１又はそれ以上の適当な記憶装置として実装することができる。Ｉ／Ｏ３４８は、カメラ装置１１０と、システムユーザ又は別の電子装置を含むいずれかの外部エンティティとの間の双方向通信を容易にするための１又はそれ以上の効果的なインターフェイスを提供することができる。Ｉ／Ｏ３４８は、いずれかの適当な入力装置及び／又は出力装置を用いて実装することもできる。制御モジュールの動作及び利用については、図４〜図８Ｃに関連してさらに後述する。

ここで図４を参照すると、本発明による図３のメモリ３４６の一実施形態のブロック図を示している。図４の実施形態では、メモリ３４６が、以下に限定されるわけではないが、カメラアプリケーション４１２、オペレーティングシステム４１４、深度推定器４１６、画像データ４１８、推定データ４２０、オートフォーカスモジュール４２２、及び雑情報４２４を含むことができる。別の実施形態では、メモリ３４６が、図４の実施形態に関連して説明するこれらの構成要素に加え又はこれらの代わりに、他の様々な構成要素を容易に含むことができる。

図４の実施形態では、カメラアプリケーション４１２が、好ましくはＣＰＵ３４４（図３）により実行されてカメラ装置１１０の様々な機能及び動作を実行するプログラム命令を含むことができる。カメラアプリケーション４１２の特定の性質及び機能は、対応するカメラ装置１１０のタイプ及び特定の使用法などの因子によって異なることが好ましい。

図４の実施形態では、オペレーティングシステム４１４がカメラ装置１１０の低レベル機能を制御し、調整することが好ましい。本発明によれば、深度推定器４１６は、深度推定手順を制御し、調整して、カメラ装置１１０のオートフォーカス機能を容易にすることができる。図４の実施形態では、画像データ４１８が、カメラ装置１１０が取り込んだ写真ターゲット１１２の１又はそれ以上の画像を含むことができる。推定データ４２０は、深度推定手順を実行するためのあらゆるタイプの情報又はデータを含むことができる。例えば、推定データ４２０は、後述する１又はそれ以上の対称又は非対称畳み込みカーネルを含むことができる。図４の実施形態では、オートフォーカスモジュール４２２が、深度推定手順の結果を利用してカメラ装置１１０のオートフォーカス手順を実行することができる。雑情報４２４は、カメラ装置１１０の動作に関する他のあらゆる適当な情報を含む。深度推定器４１６の動作に関するさらなる詳細については、図５Ａ〜図８Ｃに関連してさらに後述する。

ここで図５Ａを参照すると、本発明による、焦点ずれしたボケ画像５１８を取り込むための１つの例示的な実施形態の図を示している。図５Ａの実施形態は例示目的で示すものであり、別の実施形態では、本発明は、他の様々な構成及び要素を利用して、焦点ずれしたボケ画像５１８を取り込むことができる。

図５Ａの実施形態では、カメラ装置１１０のセンサ２２４（図２を参照）が、深度推定手順を実行するための写真ターゲット又はシーン１１２の焦点ずれしたボケ画像５１８を取り込むことができる。焦点ずれしたボケ画像５１８は、レンズ２２０を、ターゲット１１２、レンズ２２０及びセンサ２２４の相対的な位置に依存する焦点が合った正しいレンズ位置以外の位置に調整することによって生成することができる。

一実施形態では、２つの異なる焦点ずれしたボケ画像５１８を比較して深度推定を得ることができる。互いに１被写界深度だけ離れた２つのボケ画像５１８のボケ差を計算することができる。既知の整合曲線の傾き及びボケ差を利用して、所与のターゲット１１２の深度を求めることができる。深度推定のための焦点ずれしたボケ画像の生成及び利用については、図６〜図８Ｃに関連してさらに後述する。

ここで図５Ｂを参照すると、この図には、本発明の一実施形態によるカーネル畳み込み手順を示している。図５Ｂの実施形態は例示目的で示すものであり、別の実施形態では、本発明は、他の様々な構成及び技術を利用してカーネル畳み込み手順を実行することができる。

図５Ｂの実施形態では、いずれかの効果的な形で実装されるガウス畳み込みカーネル５２２でオリジナル画像５２０を畳み込んで、畳み込み画像５２６を作成することができる。いくつかの実施形態では、カーネル５２２を、オリジナル画像５２０の様々な対応するそれぞれの画素値に各々適用される個々のカーネル係数を有するフィルタ行列として実装することができる。次に、結果として得られた値を組み合わせて、畳み込み画像５２６の畳み込み中心画素値を生成することができる。その後、オリジナル画像５２０の画素毎に畳み込み手順を繰り返して、畳み込み画像５２６を完全に読み込むことができる。深度推定のための畳み込みカーネルの生成及び利用については、図５Ｃ〜図８Ｃに関連してさらに後述する。

ここで図５Ｃを参照すると、本発明の一実施形態による例示的な整合曲線７１４のグラフを示している。図５Ｃの実施形態は例示目的で示すものであり、別の実施形態では、図５Ｃの実施形態に関連して説明するこれらの構成及びパラメータの一部に加え又はこれらの代わりに、様々な構成及びパラメータの整合曲線を利用するように本発明を実装することができる。

いくつかの実施形態では、ボケ画像１と、より焦点ずれの大きなボケ画像２とを取り込み、鮮明な方の画像１をガウス畳み込みカーネル（例えば、分散の少ない３×３のガウス行列）で畳み込んで、畳み込み画像１を生成することができる。この畳み込み画像１をボケ画像２と比較する。この処理を、２つのボケ画像が一致するまで繰り返す。次に、この繰り返し回数を被写界深度（すなわち、１ＤＯＦきざみの画像番号）に対してグラフ化してボケの整合曲線を生成し、これを用いていずれかの焦点ずれした位置から焦点が合った位置までの距離を推定することができる。畳み込みカーネル及び上述した深度推定技術に関するさらなる詳細は、Ｌｉ他に付与された米国特許第８，０４５，０４６号にさらに記載されており、この特許は引用により本明細書に組み入れられる。

ここで図６Ａ〜図６Ｂを参照すると、本発明の一実施形態による、適応的カーネルを用いて深度推定手順を実行する方法ステップのフローチャートを示している。図６の実施形態は例示目的で示すものであり、別の実施形態では、本発明は、図６の実施形態に関連して説明するステップ及びシーケンス以外の様々なステップ及びシーケンスを容易に利用することができる。

深度推定手順を利用して、対応する写真ターゲット又はシーンの深度マップを作成することができる。カメラの非対称的な絞り形状により、深度マップの非一様性を頻繁に引き起こすことができる。ほとんどの場合、非対称的な絞り形状は、カメラの点像分布関数（ＰＳＦ）も非対称にする。この結果、これらのカメラを使用して得られる深度マップは、画像方向依存性を示す。本発明を有利に利用して、様々なカメラ絞りの非対称特性を適切に処理できる深度マップアルゴリズムを設計することができる。

実際には、様々な異なる技術を用いて単一の又は複数の画像から深度マップを生成することができる。例えば、ｄｅｐｔｈ ｆｒｏｍ ｄｅｆｏｃｕｓ、立体撮像、ｄｅｐｔｈ ｆｒｏｍ ｓｈａｄｉｎｇなどから深度情報を回復することができる。１つの代表的な受動的深度マップ生成技術に、ｄｅｐｔｈ ｆｒｏｍ ｄｅｆｏｃｕｓ技術（ＤＦＤ）がある。ＤＦＤでは、畳み込みカーネルを用いて２つの画像領域のボケを整合させ、深度の間接的推定値を求める。従って、畳み込みカーネルは、深度値を得る上で重要な役割を果たす。

従来は、カメラ設定に関わらず、対称的かつ一様な畳み込みカーネルが画像全体に適用されていた。カメラのＰＳＦは、例えば絞り設定などのカメラパラメータに依存するので、通常はこれにより問題が生じる。非対称的な絞り形状はＰＳＦを非対称にし、また対称的な畳み込みカーネルは正しい深度を取り込むことができない。本発明は、カメラ絞り情報などの因子に基づく適応的カーネルの設計及び利用を効果的に支援し、従って一様な、整合性のある、信頼性の高い深度マップが得られるようになる。

図６Ａの実施形態では、ステップ６１４において、いずれかの効果的な方法でカメラ絞りデータを取得する。カメラ絞りデータは、以下に限定されるわけではないが、絞りの形状、絞りの寸法、及び絞りの対称特性を含むいずれかの適切な情報を含むことができる。ステップ６１８において、いずれかの効果的な技術を用いてカメラ絞りデータを解析することができる。例えば、絞り情報の解析は、１又はそれ以上の設計者が手動で行うことも、或いは１又はそれ以上のコンピュータ装置が自動的に行うこともできる。

ステップ６２２において、絞りが対称又は非対称のいずれであるかを判定する。絞りが対称である場合、カメラ装置１１０のメモリ３４６（図３）に対称カーネル係数を記憶し、図６Ａの処理は、接続文字「Ｂ」を通じて図６Ｂのステップ６４２に進む。一方、絞りが非対称である場合、図６Ａの処理は、接続文字「Ａ」を通じて図６Ｂのステップ６３０に進む。

ステップ６３０において、いずれかの効果的な方法で適切な非対称畳み込みカーネルを設計することができる。例えば、非対称畳み込みカーネルは、１又はそれ以上の設計者が手動で作成することも、或いは１又はそれ以上のコンピュータ装置が自動的に作成することもできる。いくつかの実施形態では、周波数領域カーネル設計法を利用して非対称畳み込みカーネルを設計することができる。また、他の実施形態では、空間領域カーネル設計法を利用して非対称畳み込みカーネルを設計することもできる。ステップ６３４において、結果として得られた非対称カーネル係数をカメラ装置１１０のメモリ３４６（図３）に記憶することができる。

次に、ステップ６３８において、カメラ装置１１０は、特定の現在のカメラ絞り特性に応じて、メモリ３４６から適切な畳み込みカーネルを選択することができる。最後に、ステップ６４２において、カメラ装置１１０は、選択した畳み込みカーネルを利用して適切な畳み込み手順を実行し、深度推定手順を支援することができる。図６の処理は終了することができる。従って、本発明は、適応的畳み込みカーネルを利用することにより深度推定手順を実行するための改善されたシステム及び方法を提供する。

ここで図７Ａ〜図７Ｂを参照すると、これらの図には、本発明の一実施形態による周波数領域カーネル設計手順を示している。図７の実施形態は例示目的で示すものであり、別の実施形態では、本発明は、図７の実施形態に関連して説明する要素及び構成以外の要素及び構成を用いてカーネル設計手順を実行することができる。

図７Ａの実施形態では、非対称的な絞り７１２のグラフを空間領域で示している。図７Ａの実施形態では、垂直軸Ｙ上に第１の絞り寸法を示し、水平軸Ｘ上に第２の絞り寸法を示す。図７Ａの実施形態では、絞り７１２が、水平寸法「ａ」７１８及び垂直寸法「ｂ」７１４を含む。図７Ａに示すように、水平寸法「ａ」７１８と垂直寸法「ｂ」７１４は等しくなく、絞り７１２を非対称にしている。

図７Ｂの実施形態では、図７Ａの非対称絞り７１２の周波数領域における表現７２２を示している。いくつかの実施形態では、図７Ａの空間領域絞り７１２に適切な高速フーリエ変換（ＦＦＴ）を適用することにより、図７Ｂの表現７２２を生成することができる。図７Ａの実施形態では、垂直軸Ｆｖ上に垂直周波数を示し、水平軸Ｆｕ上に水平周波数を示す。図７Ｂの実施形態では、表現７２２が、水平帯域幅「Ｂｕ」７３０及び垂直帯域幅「Ｂｖ」７２６を含む。

図７Ｂの実施形態では、水平帯域幅「Ｂｕ」７３０が図７Ａの水平寸法「ａ」７１８に対応し、垂直帯域幅「Ｂｖ」７２６が図７Ａの垂直寸法「ｂ」７１４に対応する。図７Ｂの実施形態では、水平帯域幅「Ｂｕ」７３０が水平遮断周波数７３８により制限され、垂直帯域幅「Ｂｖ」７２６は垂直遮断周波数７３４により制限される。周波数変数「Ｂｕ」及び「Ｂｖ」は、帯域幅特性（絞りがどれほどの周波数をサポートできるか）を表す。これらの遮断周波数を利用して、これら２つの帯域幅に合わせたフィルタカーネルを設計することができる。あらゆる標準的な又は高度なフィルタ設計技術を利用することができる。次に、これらの情報を組み合わせて、非対称畳み込みカーネルを生成しなければならない。

実際には、最初に絞り７１２（図７Ａ）の点像分布関数（ＰＳＦ）にＦＦＴを適用する。次に、水平遮断周波数及び垂直遮断周波数に基づいて水平フィルタ及び垂直フィルタを設計することができる。その後、水平フィルタと垂直フィルタを組み合わせて組み合わせフィルタを生成する。組み合わせフィルタに逆ＦＦＴを実行して非対称畳み込みカーネルを生成する。いくつかの実施形態では、元々のカーネルが一定のカーネルサイズを超える場合、縮小サイズのカーネルを用いて畳み込みカーネルを近似させることが必要となり得る。

ここで図８Ａ〜図８Ｃを参照すると、これらの図には、本発明の一実施形態による空間領域カーネル設計手順を示している。図８の実施形態は例示目的で示すものであり、別の実施形態では、本発明は、図８の実施形態に関連して説明する要素及び技術以外の要素及び技術を利用してカーネル設計手順を実行することができる。

図８Ａの実施形態には、水平テストページ画像８１６を示している。また、画像８１６に対応する空間領域の非対称絞り８１２のグラフも示している。同様に、図８Ｂの実施形態には、垂直テストページ画像８２４を示している。また、画像８２６に対応する空間領域の非対称絞り８２０のグラフも示している。垂直テストページ画像８２４は、水平テストページ画像８１６を９０度回転させたものである。

水平テストページ画像８１６を使用する場合、焦点ずれしたボケは垂直方向（Ｙ）に存在し、繰り返し回数は垂直方向のＰＳＦ分散に比例する。垂直テストページ画像８２４を使用する場合、焦点ずれしたボケは水平方向（Ｘ）に存在し、繰り返し回数は水平方向のＰＳＦ分散に比例する。本発明によれば、図８Ｃに関連してさらに後述するように、図８Ａ及び図８Ｂの実施形態の空間解析を行って非対称畳み込みカーネルを生成することができる。

図８Ｃの実施形態は例示目的示すものであり、別の実施形態では、本発明は、図８の実施形態に関連して説明する要素及び技術以外の要素及び技術を利用してカーネル設計手順を実行することができる。例えば、図８Ｃの例に示す様々な特定の計算値又は実装値は、他のいずれかの効果的な又は適切な計算値又は実装値に置き換えることができる。

図８Ｃの例は、水平フィルタカーネル８２８、垂直フィルタカーネル８３２、水平−垂直フィルタ組み合わせ処理８３６、及び最終的非対称畳み込みカーネル８４０を含む。本発明の一実施形態によれば、上述した図８Ａ及び図８Ｂの実施形態に対して空間領域解析を行い、以下の変数に従って非対称畳み込みカーネル８４０を定義するための表現式（以下の式１を参照）を生成することができる。

式中、

＝水平テストページ及び［１６１］カーネルを用いた繰り返し回数

＝垂直テストページ及び［１６１］カーネルを用いた繰り返し回数

＝［１６１］カーネルの分散

＝水平（Ｘ）方向に沿ったボケのガウス近似

＝垂直（Ｙ）方向に沿ったボケのガウス近似

［式１］

従って、図８の例では、式１により、垂直分散値と水平分散値の間にほぼ２対１の関係が存在すべきであることが示される。従って、本発明の一実施形態によれば、図８Ｃの例では、水平−垂直フィルタ組み合わせ処理８３６において水平フィルタカーネル８２８と垂直フィルタカーネル８３２を組み合わせて、最終的非対称畳み込みカーネル８４０が生成される。

以上、いくつかの実施形態を参照しながら本発明を説明した。当業者には、本開示に照らして他の実施形態が明らかであろう。例えば、上記の実施形態で説明した構成及び技術以外の構成及び技術を用いて本発明を容易に実装することもできる。また、上記に説明したシステム以外のシステムと共に本発明を効果的に使用することもできる。従って、添付の特許請求の範囲によってのみ限定される本発明には、説明した実施形態に対するこれらの及びその他の変形形態も含まれることが意図されている。

１１０ カメラ装置
１１２ ターゲット
１１４ 取り込みサブシステム
１１６ システムバス
１１８ 制御モジュール

Claims (20)

1. 深度推定手順を支援するためのシステムであって、
   写真ターゲットからの反射光をセンサ装置に入れることについて調整可能な絞りを含む、前記写真ターゲットの画像を取り込むための取り込みサブシステムと、
   前記絞りの対称特性に基づきカーネル設計手順で設計される適応的カーネルと、
   前記適応的カーネルを用いて前記深度推定手順を実行する深度推定器と、
   を備えることを特徴とするシステム。
2. 前記深度推定器及び前記取り込みサブシステムは、デジタルカメラ装置に実装される、
   ことを特徴とする請求項１に記載のシステム。
3. 前記深度推定手順から得られる深度値は、前記デジタルカメラのオートフォーカス手順で利用される、
   ことを特徴とする請求項２に記載のシステム。
4. 前記画像は、前記写真ターゲットの焦点ずれしたボケ画像を含む、
   ことを特徴とする請求項１に記載のシステム。
5. 前記深度推定器は、前記深度推定手順の実行中に、前記適応的カーネルを利用して１又はそれ以上の畳み込み手順を実行する、
   ことを特徴とする請求項４に記載のシステム。
6. 前記適応的カーネルは、周波数領域カーネル設計手順で設計される、
   ことを特徴とする請求項１に記載のシステム。
7. 前記適応的カーネルは、空間領域カーネル設計手順で設計される、
   ことを特徴とする請求項１に記載のシステム。
8. 前記絞りの対称特性は絞りの形状を含む、
   ことを特徴とする請求項１に記載のシステム。
9. 前記絞りの対称特性は絞りの寸法を含む、
   ことを特徴とする請求項１に記載のシステム。
10. 前記絞りの対称特性は、前記絞りの水平特性を前記絞りの垂直特性と比較することにより解析される、
    ことを特徴とする請求項１に記載のシステム。
11. 前記カーネル設計手順は、絞りの形状及び絞りの寸法を含むカメラ絞りデータを取得するステップと、該カメラ絞りデータを解析して前記対称特性を判定するステップとを含む、
    ことを特徴とする請求項１に記載のシステム。
12. 前記対称特性が、前記絞りが対称であることを示す場合、ローカル記憶装置に対称カーネル係数が記憶される、
    ことを特徴とする請求項１１に記載のシステム。
13. 前記カーネル設計手順において非対称カーネル係数が設計され、前記対称特性が、前記絞りが非対称であることを示す場合、前記ローカル記憶装置に前記非対称カーネル係数が記憶される、
    ことを特徴とする請求項１２に記載のシステム。
14. 前記非対称カーネル係数は、周波数領域カーネル設計手順で設計される、
    ことを特徴とする請求項１３に記載のシステム。
15. 前記周波数領域カーネル設計手順は、
    前記絞りの点像分布関数に高速フーリエ変換を適用するステップと、
    前記高速フーリエ変換の水平遮断周波数及び垂直遮断周波数に基づいて水平フィルタ及び垂直フィルタを設計するステップと、
    を含み、その後、前記水平フィルタと前記垂直フィルタとを組み合わせて組み合わせフィルタが生成され、該組み合わせフィルタに逆高速フーリエ変換を行って前記適応的カーネルが生成される、
    ことを特徴とする請求項１４に記載のシステム。
16. 前記非対称カーネル係数は、空間領域カーネル設計手順で設計される、
    ことを特徴とする請求項１３に記載のシステム。
17. 前記空間領域カーネル設計手順は、
    前記絞りの水平点像分布関数及び垂直点像分布関数に対し空間領域解析を行って、前記絞りの垂直分散値と水平分散値の間の数学的関係を定めるステップと、
    前記数学的関係に基づいて、水平フィルタカーネル及び垂直フィルタカーネルを生成するステップと、
    を含み、前記水平フィルタカーネルと前記垂直フィルタカーネルをフィルタ組み合わせ処理で組み合わせて前記適応的カーネルが生成される、
    ことを特徴とする請求項１６に記載のシステム。
18. 前記深度推定器は、前記絞りの前記対称特性に応じて前記ローカル記憶装置から最適なカーネルを選択する、
    ことを特徴とする請求項１３に記載のシステム。
19. 前記深度推定器は、前記最適なカーネルを利用して前記深度推定手順を実行する、
    ことを特徴とする請求項１８に記載のシステム。
20. 写真ターゲットからの反射光をセンサ装置に入れることについて調整可能な絞りを含む、前記写真ターゲットの画像を取り込むための取り込みサブシステムを利用するステップと、
    前記絞りの対称特性に基づきカーネル設計手順で適応的カーネルを設計するステップと、
    前記適応的カーネルを利用して前記深度推定手順を実行する深度推定器を用意するステップと、
    を実行することにより深度推定手順を実行する方法。

Images