JP2016122198A - 立体カメラのためのオートフォーカス - Google Patents

Abstract

【課題】立体画像キャプチャ・デバイスに適した焦点深度を決定するための方法、装置、およびシステムを提供する。
【解決手段】第１の視点に関連付けられた第１の画像９００ａを受信し、第２の視点に関連付けられた第２の画像９００ｂを受信し、第１の画像９００ａに基づいて第１の複数のキーポイント９０１を決定し、第１の複数のキーポイント９０１からのキーポイント９０１を第２の画像９００ｂにおける位置と相関させ、第１の複数のキーポイント９０１の各々に関連付けられた複数の視差を決定し、複数の視差、第１の視点の位置、および第２の視点の位置に基づいて焦点深度を決定する。
【選択図】図９

Description

関連出願に対する相互参照

本願は、２０１１年３月２３日に出願された、「立体画像のためのオートフォーカス（AUTOFOCUS FOR STEREO IMAGES）」と題された、米国特許仮出願番号第６１／４８９，２３１号、および、２０１０年８月９日に出願された、「立体画像からの瞬時オートフォーカス（INSTANTANEOUS AUTOFOCUS FROM STEREO IMAGES）」と題された、米国特許仮出願番号第６１／３７１，９７９号、の利益を主張する、２０１１年８月８日に出願された、米国特許出願第１３／２０５，４８１号に対する優先権を主張し、それらの出願はここでの参照により組み込まれる。

本実施形態は、立体画像キャプチャ（stereoscopic image capture）に関し、特に、立体画像キャプチャ・デバイスに適した焦点深度（focal depth）を決定するための方法、装置、およびシステムに関する。

立体視（Stereopsis）は、人間の脳が左目および右目から見られるようなオブジェクトの相対的変位（relative displacement）に基づいて、オブジェクトの深度を解釈する処理である。立体感（stereoscopic effect）は、第１および第２の横方向オフセットの視聴位置（laterally offset viewing positions）から第１および第２のシーンの画像をとることによって、および、左および右目の各々に画像を別々に表示することによって、人為的に引き起こされ得る。時間内に一連の立体画像ペア（stereoscopic image pairs）をキャプチャすることによって、画像ペアは、ユーザに３次元を有しているように見える立体ムービーを形成するように、目に連続的に表示され得る。

２つの従来のカメラは、立体画像ペアの画像の各々を取得するために使用されることができる。従来のカメラは、異なる焦点深度で複数の画像をキャプチャするオートフォーカス手順を使用して適切に焦点を合わせることができる。最も高い頻度容量（the highest frequency content）に対応する焦点深度は、次に、次の画像キャプチャのために使用される。従来のムービー・カメラは、ビデオ・キャプチャの間、オートフォーカスするために、この方法を使用することができる。しかしながら、オートフォーカス機能が行われる間、フレームのキャプチャは、定期的に遅らせられる必要があるだろう。このオートフォーカス技術は、従来の単一カメラで２Ｄ画像をキャプチャすることに適しているが、立体画像キャプチャに対しては不適当であり得る。特に、前記技術は、ビデオ・ストリームを中断し、カメラの動き、たとえば、ユーザの手の動き、によって影響を受け得る。

ある特定の実施形態は、画像センサのための焦点深度を決定するための電子デバイスにおける方法について考察する。それら方法は、第１の視点に関連付けられた第１の画像を受信することと、第２の視点に関連付けられた第２の画像を受信することと、第１の画像に基づいて第１の複数のキーポイントを決定することと、第１の複数のキーポイントからのキーポイントを第２の画像における位置と相関させることと、第１の複数のキーポイントの各々に関連付けられた複数の視差（disparities）を決定することと、複数の視差、第１の視点の位置、および第２の視点の位置に基づいて焦点深度を決定することを含むことができる。

ある特定の実施形態において、前記方法は、第２の画像に基づいて第２の複数のキーポイントを決定することをさらに含むことができる。いくつかの実施形態において、第１の複数のキーポイントからのキーポイントを第２の画像における位置と相関させることは、第１の複数のキーポイントからのキーポイントを第２の複数のキーポイントからのキーポイントと相関させることを含む。いくつかの実施形態において、第１の複数のキーポイントからのキーポイントを第２の画像における位置と相関させることは、第２の画像における検索範囲内のピクセルを介して繰り返すことを含む。いくつかの実施形態において、第１の複数のキーポイントからのキーポイントを第２の画像における位置と相関させることは、第１の画像および第２の画像におけるピクセル間の平均２乗誤差を決定することを含む。いくつかの実施形態において、第１の画像に基づいて第１の複数のキーポイントを決定することは、第１の画像に基づいてスケール不変特徴変換（ＳＩＦＴ：Scale Invariant Feature Transform）キーポイントを決定することを含む。いくつかの実施形態において、第１の画像に基づいて第１の複数のキーポイントを決定することは、第１の画像をサブサンプリングすることと、第１の画像に高域フィルタ（high-pass filter）を適用することと、第１の画像の累乗（power）を計算することと、第１の画像を閾値処理することを含む。いくつかの実施形態において、第１の複数のキーポイントからのキーポイントを第２の画像における位置と相関させることは、リアルタイムで生じる。いくつかの実施形態において、電子デバイスは、携帯電話を含む。

ある特定の実施形態は、コンピュータに、第１の視点に関連付けられた第１の画像を受信し、第２の視点に関連付けられた第２の画像を受信し、第１の画像に基づいて第１の複数のキーポイントを決定し、第１の複数のキーポイントからのキーポイントを第２の画像における位置と相関させ、第１の複数のキーポイントの各々に関連付けられた複数の視差を決定し、複数の視差、第１の視点の位置、および第２の視点の位置に基づいて焦点深度を決定するステップを行わせるように構成される命令を含むコンピュータ可読媒体について考察する。

いくつかの実施形態において、前記命令は、また、プロセッサに、第２の画像に基づいて第２の複数のキーポイントを決定させるように構成される。いくつかの実施形態において、第１の複数のキーポイントからのキーポイントを第２の画像における位置と相関させることは、第１の複数のキーポイントからのキーポイントを第２の複数のキーポイントからのキーポイントと相関させることを含む。いくつかの実施形態において、第１の複数のキーポイントからのキーポイントを第２の画像における位置と相関させることは、第２の画像における検索範囲内のピクセルを介して繰り返すことを含む。いくつかの実施形態において、第１の複数のキーポイントからのキーポイントを第２の画像における位置と相関させることは、第１の画像および第２の画像におけるピクセル間の平均２乗誤差を決定することを含む。いくつかの実施形態において、第１の画像に基づいて第１の複数のキーポイントを決定することは、第１の画像に基づいてスケール不変特徴変換（ＳＩＦＴ）キーポイントを決定することを含む。いくつかの実施形態において、第１の画像に基づいて第１の複数のキーポイントを決定することは、第１の画像をサブサンプリングすることと、第１の画像に高域フィルタ（high-pass filter）を適用することと、第１の画像の累乗を計算することと、第１の画像を閾値処理することを含む。いくつかの実施形態において、第１の複数のキーポイントからのキーポイントを第２の画像における位置と相関させることは、リアルタイムで生じる。いくつかの実施形態において、コンピュータは、携帯電話に位置する。

ある特定の実施形態は、立体キャプチャ・デバイスの焦点を合わせるためのシステムについて考察する。前記システムは、第１の視点に関連付けられた第１の画像を生成するように構成される第１の画像センサと、第２の視点に関連付けられた第２の画像を生成するように構成される第２の画像センサと、第１の画像に基づいて第１の複数のキーポイントを決定するように構成される特徴生成モジュールと、第１の複数のキーポイントからのキーポイントを第２の画像における位置と相関させるように構成されるキーポイント相関性モジュールと、第１の複数のキーポイントの各々に関連付けられた複数の視差を決定するように構成される視差決定モジュールと、複数の視差、第１の視点の位置、および第２の視点の位置に基づいて焦点深度を決定するように構成される深度決定モジュールを含むことができる。

いくつかの実施形態において、特徴生成モジュールは、第２の画像に基づいて第２の複数のキーポイントを決定するように構成され得る。いくつかの実施形態において、キーポイントを相関させるように構成されるソフトウェア・モジュールは、第１の複数のキーポイントからのキーポイントを第２の複数のキーポイントからのキーポイントと相関させるように構成される。いくつかの実施形態において、キーポイントを相関させるように構成されるソフトウェア・モジュールは、第２の画像における検索範囲内のピクセルを介して繰り返すように構成される。いくつかの実施形態において、第１の複数のキーポイントからのキーポイントを第２の画像における位置と相関させることは、第１の画像および第２の画像におけるピクセル間の平均２乗誤差を決定することを含む。

いくつかの実施形態において、特徴生成モジュールは、第１の画像に基づいてスケール不変特徴変換（ＳＩＦＴ）キーポイントを決定するように構成される。いくつかの実施形態において、特徴生成モジュールは、第１の画像をサブサンプリングし、第１の画像に高域フィルタを適用し、第１の画像の累乗を計算し、第１の画像を閾値処理するように構成される。

いくつかの実施形態において、キーポイントを相関させるように構成されるソフトウェア・モジュールは、第１の複数のキーポイントからのキーポイントをリアルタイムで前記第２の画像における位置と相関させる。いくつかの実施形態において、立体キャプチャ・デバイスは、携帯電話に位置する。いくつかの実施形態において、焦点深度を決定するように構成されるソフトウェア・モジュールは、視差ヒストグラム（disparity histogram）を含む。

ある特定の実施形態は、立体キャプチャ・デバイスの焦点を合わせるためのシステムを考察し、前記システムは、第１の視点に関連付けられた第１の画像を受信するための手段と、第２の視点に関連付けられた第２の画像を受信するための手段と、第１の画像に基づいて第１の複数のキーポイントを決定するための手段と、第１の複数のキーポイントからのキーポイントを第２の画像における位置と相関させるための手段と、第１の複数のキーポイントの各々に関連付けられた複数の視差を決定するための手段と、複数の視差、第１の視点の位置、および第２の視点の位置に基づいて焦点深度を決定するための手段を含む。

いくつかの実施形態において、第１の画像を受信するための手段は、第１のセンサを含み、第２の画像を受信するための手段は、第２のセンサを含み、第１の複数のキーポイントを決定するための手段は、特徴生成モジュールを含み、相関させるための手段は、キーポイント相関性モジュールを含み、複数の視差を決定するための手段は、視差決定モジュールを含み、焦点深度を決定するための手段は、深度決定モジュールを含む。いくつかの実施形態において、第１の複数のキーポイントを決定するための手段は、第２の画像に基づいて第２の複数のキーポイントを決定するように構成される。いくつかの実施形態において、第１の複数のキーポイントからのキーポイントを第２の画像における位置と相関させるための手段は、第１の複数のキーポイントからのキーポイントを第２の複数のキーポイントからのキーポイントと相関させるように構成される。いくつかの実施形態において、第１の複数のキーポイントからのキーポイントを第２の画像における位置と相関させるための手段は、第２の画像における検索範囲内のピクセルを介して繰り返すように構成される。いくつかの実施形態において、第１の複数のキーポイントからのキーポイントを第２の画像における位置と相関させるための手段は、第１の画像および第２の画像におけるピクセル間の平均２乗誤差を決定するように構成される。いくつかの実施形態において、第１の複数のキーポイントを決定するための手段は、第１の画像に基づいてスケール不変特徴変換（ＳＩＦＴ）キーポイントを決定するように構成される。いくつかの実施形態において、第１の複数のキーポイントを決定するための手段は、第１の画像をサブサンプリングし、第１の画像に高域フィルタを適用し、第１の画像の累乗を計算し、第１の画像を閾値処理するように構成される。いくつかの実施形態において、キーポイントを相関させるための手段は、第１の複数のキーポイントからのキーポイントをリアルタイムで第２の画像における位置と相関させる。いくつかの実施形態において、立体キャプチャ・デバイスは、携帯電話に位置する。

開示される態様は、以下において、同一符号が同一要素を示す添付図面と連携して説明され、開示された観点を限定することなく例示するために提供される。
図１は、立体画像のキャプチャを容易にするセンサ配置（sensor arrangement）を含む１つの可能なモバイル・デバイスを図示する一般化されたブロック図である。 図２は、図１のモバイル・デバイスのような、モバイル・デバイス中のある特定のコンポーネントのブロック図である。 図３は、キャプチャ・デバイスの立体写真（stereo pair）を使用して第１および第２の位置でオブジェクトをキャプチャすることを図示する。 図４は、特定のカメラ配置のためのオブジェクトの距離とピクセル視差（pixel disparity）の関係を図示するグラフである。 図５Ａは、立体感を得るために位置付けられた２つの画像キャプチャ・センサおよび任意のシーンのトップダウン・ビュー（top-down view）を図示するブロック図である。 図５Ｂは、オーバーレイされた（overlaid）シーンにおけるオブジェクト視差の方向および規模（magnitude）を備えた図５Ａのシーンが撮影された立体画像ペアのうちの１つを図示する。 図６は、図４のグラフを図示するが、オブジェクト視差ヒストグラムおよびオーバーレイされた対応するオブジェクト深度ヒストグラムを備える。 図７は、ある特定の実施形態が新しい焦点深度を決定する処理のためのフローチャートを図示する。 図８は、ある特定の実施形態がキーポイントを決定する処理のためのフローチャートを図示する。 図９は、キーポイントが画像の各々の間と相関している領域および立体画像ペアを図示する。

詳細な説明

実施形態は、立体カメラにおける構成データを決定または設定するシステムおよび方法に関する。一実施形態において、構成データは、立体カメラの２つのレンズの適切な焦点距離に関する。一実施形態において、第１のカメラはシーンから第１の画像を受信し、第２のカメラは同一のシーンの第２の画像を受信する。キーポイントのセットは、第１の画像の分析から決定されている。キーポイントは、たとえば、画像の一部から一貫して再現されることができる任意のデータ構造を含むことができ、これにより画像部分の固有の識別を許可する。いくつかの実施形態において、キーポイントは、画像の一部に対応する複数のピクセルを含むことができる。キーポイントは、画像における位置に関連付けられ得る。第１の画像におけるキーポイントを決定した後、システムは、第２の画像において類似した位置を探す。一度、第２の画像において類似した位置が識別されると、システムは、第１の画像におけるキーポイントと、第２の画像における対応する位置との間の違いを計算する。これは、システムに、立体レンズの位置に加えて、両方のフレームにおける同一のキーポイントの位置の間の視差を周知することでシーンの焦点深度を決定することを可能にする。

本実施形態は、少なくとも立体画像ペアに基づいてセンサに適した焦点深度を決定するためのシステム、装置、および方法について考察する。特に、ある特定の実施形態は、各画像のためのキーポイントを決定することと、キーポイント間の相関性を識別することと、相関性からオブジェクトの距離を引き出すことについて考察する。当業者は、これらの実施形態がハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実現され得ることを理解するだろう。立体視システム（stereoscopic system）は、モバイル・ワイヤレス通信デバイス、携帯情報端末（ＰＤＡｓ）、ラップトップ・コンピュータ、デスクトップ・コンピュータ、デジタル・カメラ、デジタル記録デバイス、および同類のものを含む、広範囲の電子デバイスで実現され得る。

図１は、立体画像のキャプチャ、および画像を受信するための他の手段を容易にするセンサ配置を含むモバイル・デバイス１００を図示する。そのようなデバイスは、携帯電話、携帯情報端末、ゲーミング・デバイス、または同様のものであり得る。デバイス１００は、距離ｄによって分離された第１のセンサ１０１ａおよび第２のセンサ１０１ｂを含むことができる。デバイスは、また、ユーザ入力制御１０２およびディスプレイ１０３を含むことができる。いくつかの実施形態において、ユーザが立体画像またはムービーをキャプチャするためにデバイス１００を手に持つ場合、センサ１０１ａおよび１０１ｂは、それらは垂直ではなく、水平オフセットのように位置することができる。

この特定のデバイスは２つのセンサ１０１ａおよび１０１ｂを図示するが、当業者は、おおよそ２つの画像センサを含む立体画像キャプチャ・デバイスを容易に想像することができる。たとえば、単一センサのみを備えたデバイスは、すばやく連続してセンサ１０１ａおよび１０１ｂの位置で２つの画像を得るために、一連のレンズまたは反射面との組み合わせで動作することができる。この配置は、同様に、下記に説明される方法で使用するための立体画像ペアを得ることができ、単一センサはそれに従って焦点を合わせられることができる。従って、本願において議論される方法およびシステムは、これらの視点が画像シーンの立体描写を容易にする限り、第１および第２の視点から２つの画像を得る任意のシステムに適応できるだろう。従って、画像センサのペアへの言及は、２つの視点から画像を受信する単一画像センサの可能性を除外すると考えられるべきではない。

図２は、図１に図示されたモバイル・デバイス１００のような、モバイル・デバイス中のある特定のコンポーネントのブロック図である。センサ１０１ａは、立体画像ペアの第１の画像を受信し、センサ１０１ｂは、立体画像ペアの第２の画像を受信する。いくつかの実施形態において、センサは画像を同時に受信することができる。デバイスは、ビデオ・フロント・エンド１０２およびメモリ１０３を含むことができる。ビデオ・フロント・エンド１０２は、センサ１０１ａおよび１０１ｂから入ってくる生データ（incoming raw image data）を処理し、データをメモリ１０３に記憶することができる。メモリ１０３は、また、モバイル・デバイス１００のためのさまざまなアプリケーションおよびソフトウェア・ドライバを含むことができる。たとえば、ディスプレイ・ドライバ・モジュール１０４は、ディスプレイ１０３と通信することができる。ユーザ入力モジュール１０６は、同様にユーザ・インタフェース１０２と通信することができる。ワイヤレス通信ドライバ・モジュール１０７は、ワイヤレス通信ハードウェア１１２と通信することができる。

メモリは、また、汎用プロセッサ１１３と通信することができる。汎用プロセッサ１１３は、アドバンストＲＩＳＣマシン（ＡＲＭ：Advanced RISC Machine）、デジタル・シグナル・プロセッサ（ＤＳＰ）、またはグラフィカル処理ユニット（ＧＰＵ）のような、サブ処理ユニットまたはサブプロセッサを含むことができる。これらのプロセッサは、さまざまな動作を処理するとき、ローカル・メモリと通信することができる。

ある特定の本実施形態は、システム・アーキテクチャへの「焦点深度分析モジュール（Focal Depth Analysis Module）」１１５ａ、１１５ｂの追加について考察する。いくつかの実施形態において、モジュールは、専用プロセッサ１１５ａ、または汎用プロセッサに位置するプロセッサの一部の形をとることができる。いくつかの実施形態において、モジュールは、メモリ１０３のようなコンピュータ可読媒体に記憶されるソフトウェア・コード１１５ｂを含むことができる。いくつかの実施形態は、ファームウェア、またはソフトウェア−ハードウェアの組み合わせとしてのメモリ１１５ｂおよび専用プロセッサ１１５ａにおいて、モジュールの一部を設置することができる。いくつかの実施形態において、モジュールは、ＳＩＦＴ特徴生成システムのような特徴生成システム、およびセンサ１０１ａおよび１０１ｂへのアクセスを許可する図２において任意の位置に存在することができる。従って、モジュールは、特徴生成および／または検出のために構成される既存のハードウェアまたはソフトウェアを活用することができる。当業者は、下記に説明される実施形態が汎用プロセッサ１１３におけるサブプロセッサを使用して実現されることができ、メモリ１０３において分離したアプリケーションとして記憶されることができることを理解するだろう。いくつかの実施形態において、ＳＩＦＴ特徴生成システムがソフトウェアにおいて発見されることができるのに対して、他の実施形態において、ＳＩＦＴ特徴生成システムはハードウェアにおいて発見されることができる。

ある特定の本実施形態は、立体画像キャプチャの幾何学的特性（geometric properties）を活用するオートフォーカス機能を提供する。図３は、トップダウン・ビューを経由して、立体カメラ配置を使用した第１の位置３００ａ、および第２の位置３００ｂにおけるオブジェクト３０４の立体画像キャプチャを図示する。第１の画像キャプチャ・デバイス３０１ａは、第２の位置に位置する第２のキャプチャ・デバイス３０１ｂから横方向に分離される第１の位置に位置することができる。第１のキャプチャ・デバイス３０１ａは、第１の位置から第１のシーンの画像をキャプチャすることができ、第２のキャプチャ・デバイス３０１ｂは、第２の位置から第２のシーンの画像をキャプチャすることができる。第１および第２の画像は、それに応じて、キャプチャ・デバイス３０１ａおよび３０１ｂの位置、および方位に基づいて、第１および第２のシーンの視点に関連付けられるだろう。オブジェクト３０４は、両方の画像に現れ得る。いくつかの実施形態において、キャプチャ・デバイス３０１ａおよびキャプチャ・デバイス３０１ｂは、図１のセンサ１０１ａおよび１０１ｂとそれぞれ同一であり得る。キャプチャ・デバイス３０１ａ、３０１ｂは、垂直視差(vertical disparity)を有さず、かなり近い焦点距離を所持すると較正され（calibrated）得る。

デバイス３０１ａの視点の中心は、線３０２ａに沿っていく。同様に、デバイス３０１ｂの視点の中心は、線３０２ｂに沿っていく。これら２つの中心線は、位置３０３で交差する。述べたように、オブジェクト３０４は第１および第２の画像の各々で現れる。しかしながら、位置３００ａに関して、オブジェクト３０４は、量（amount）３０５ａによって中心線３０２ａの右に現れ、量３０５ｂによって中心線３０２ｂの左に現れる。反対に、位置３００ｂにおいて、オブジェクト３０４は、量３０６ａによって中心線３０２ａの左に現れ、量３０６ｂによって中心線３０２ｂの右に現れる。この方法において、ｚ方向におけるオブジェクトの相対的位置は、左および右の画像の各々における相対的変位によって反映される。

オブジェクト視差は、第２の画像におけるオブジェクトの位置と比較して第１の画像におけるオブジェクトの位置との間の違いとして定義され得る。キャプチャ・デバイス間の垂直視差がないところでは、視差は、１つの画像における位置から別の位置への横方向オフセットのみを含むことができる。当業者（one）は、左と右、または右と左の画像の間の違いとして視差を任意にとることができる。本明細書の目的について、視差は、（図３に示されるようなｘ方向の正（x-direction positive）を備えた）センサ３０１ａからの画像におけるオブジェクトの位置を引いた、センサ３０１ｂからの画像におけるオブジェクトの位置として定義される。従って、負の視差（negative disparity）は、位置３００ａにおけるオブジェクト３０４の描写によりもたらされ、正の視差は、位置３００ｂにおけるオブジェクト３０４の描写によりもたらされる。

センサの位置および相対的方位の知識を用いて、当業者は、カメラ配置から観測される視差、およびオブジェクトの距離、または深度の関係のグラフを構成することができる。たとえば、図４は、この１つの特定のセンサ配置のための関係のグラフである。視差４０１が増加するにつれて、オブジェクトの距離４０２も増加する。初期の負の視差は、非常にカメラ配置に近いオブジェクトのために存在することができ、すなわち、これらは図３のｚ方向における深度４０２をほとんど有していない。オブジェクトがカメラ配置からさらに移動する（すなわち、深度が増加する）につれて、視差は次第に正になり、相当な距離でオブジェクトのために横ばい状態となり始める。当業者は、図４のチャートがセンサ３０１ａ、３０１ｂが垂直である角度に依存し得るということを理解することができる。同様に、センサは図１および３のように互いに平行であり得るが、センサ間のｚおよびｙ方向における変位は、また、グラフへの修正をもたらす。そのようなグラフは、デバイスにおけるメモリ、またはクイック・リファレンス（quick reference）に類似した記憶構造において記憶されることができる。

図５ａは、いくつかのオブジェクトを含むシーンのトップダウン・ビューである。また、画像キャプチャ・デバイス３０１ａおよび３０１ｂは、画像５０１ａおよび５０１ｂをそれぞれ得るために、使用され得る。オブジェクト５０２−５０４は、シーン内のさまざまな深度に位置する。その結果、画像５０１ａおよび５０１ｂにおけるオブジェクトの位置の間の視差が観測されるだろう。図５Ｂは、それらが生じるピクセル位置で示されるある特定の視差の規模および方向を用いて画像５０１ａを図示する。たとえば、複数の正の視差５１０は、遠くのオブジェクト５０４に対して出現し、複数の負の視差５１１は、より近いオブジェクト５０２に対して現れる。図４のグラフを参照して、自動システムは、各視差に関連付けられた深度を決定することができる。たとえば、図６に示されるように、同一の規模の視差は、視差ヒストグラム６０１を形成するために、蓄積され、プロット（plotted）されてきた。深度ヒストグラム６０２を生成するために、対応する深度６０２は、センサの関係から導出されることができる。深度ヒストグラム６０２は、示された深度で各最大の領域における１つ以上のオブジェクトの存在を示唆するだろう。

オートフォーカス動作は、センサ１０１ａ、１０１ｂのうちの１つまたは両方に適した焦点深度の決定を含む。いくつかの実施形態において、適切な焦点深度は、オブジェクト深度ヒストグラム（object depth histogram）（または図４のようなグラフに関連したオブジェクト視差ヒストグラム）の平均値（mean）、中央値（median）、または類似した統計値をとることによって決定されることができる。特殊な順序統計フィルタ（special order statistic filter）が特定のアプリケーションを収容するために使用されることができる一方で、中央統計値は、かけ離れた値（outlying value）に対していくつかのロバスト性（robustness）を提供することができる。選択された統計値は、非常に遠くの、および非常に近くのオブジェクトが与えられる相対的な重みに依存し得る。たとえば、焦点の質は、１つの深度の範囲を通しておおよそ同じであり得るが、第２の範囲において劇的に変化する。これらの変化は、下記でより詳しく議論されている。

当業者は、第１および第２の画像の各々において発見されたオブジェクトごとのすべてのピクセルの視差を決定することによって視差ヒストグラム６０１を生成することができるが、これは、モバイル・デバイスでは計算的に費用がかかり、実用的ではない。すべてのピクセルの相関性が相当な数のピクセルを通して繰り返すことを必要とするだけでなく、各画像は、個別のピクセルの識別および各画像におけるオブジェクトへのその相関性を難解（difficult）にする、同一の値の複数のピクセルを含み得る。

すべてのピクセルを分析する代わりに、ある特定の本実施形態は、画像内容の「疎な（sparse）」対応する深度マップまたは「疎な」視差マップを作り出することを考察する。ある特定の実施形態において、キーポイントは、画像の各々において決定されることができ、画像におけるピクセルのすべてまたは大部分の間ではなく、キーポイント間、またはキーポイントとピクセル間の視差が、オブジェクトの深度を推測するために使用されることができる。ピクセルよりも少ないキーポイントがあるので、結果として生じる視差または深度のマップは「疎」である。キーポイントは、画像の一部から一貫して再現されることができ、これにより画像部分の固有の識別を許可する任意のデータ構造を含むことができる。キーポイントは、画像における位置に関連付けられ得る。キーポイントの固有の決定は、第２の画像に類似した、または同一部分から識別されるべきキーポイントを許可する。いくつかの実施形態において、キーポイントは、スケール不変特徴変換（ＳＩＦＴ）キーポイント、または、類似した特徴生成モジュールのキーポイントを含むことができる。いくつかの実施形態において、システムは、キーポイントを決定するためのサブプロセッサまたは汎用プロセッサ１１３において前から存在しているマシン・ビジョン・コンポーネント（machine vision components）を再利用することができる。たとえば、高域フィルタ・ブロックがキーポイント検出のために再利用されることができる。あるいは、メモリ１０３に記憶されるマシン・ビジョン動作を行うためのソフトウェア・ライブラリは、キーポイントを生成するために使用されることができる。この方法において、ある特定の実現は、オートフォーカスを行うためのキーポイントを生成するために他のアプリケーションに関連付けられた機能を無駄なく活用することができる。ＳＩＦＴ以外のアルゴリズムを適用する特徴生成モジュールのような複数のキーポイントを決定するための代替の手段が、下記でより詳しく説明されている。

図７は、立体画像キャプチャのためのオートフォーカス処理７００を図示するフローチャートであり、それは、ある特定の本実施形態によって実現されることができる。処理は、少なくとも立体画像ペアを得ること、または受信すること７０２によって、開始する７０１。ある特定の実施形態は、計算時間を減らすために、画像の各々から関心領域（region of interest）をトリミングする（cropping）ことを考察する。一度、画像が受信されると、システムは、第１の画像からキーポイントを決定する７０３。述べたように、いくつかの実施形態において、これらのキーポイントは、ＳＩＦＴまたは他の特徴検出ハードウェア、ファームウェア、またはソフトウェアを使用して決定されることができる。いくつかの実施形態において、システムは、また、第２の画像においてキーポイントを決定することができる。システムは、次に、第１の画像からのキーポイントを第２の画像における（特定のピクセル位置のような）ピクセル領域と相関させることができる７０４。「キーポイント相関性」ソフトウェア、ファームウェア、またはハードウェア・モジュールは、この動作を行うように構成されることができる。動作のある一部は、キーポイントを相関させるための他の手段を作り出し、他のモジュール（ファームウェア、ハードウェア、またはソフトウェア）にわたって分散されることができる。この動作は、第２の画像における第１の画像における同一の画像領域を識別するためにサーブ（serve）することができる。

視差Ｄは、次に、第１の画像の各キーポイントの位置と第２の画像の相関ピクセル位置との間で計算されることができる７０５。キーポイントが両方の画像のために計算されたところで、キーポイント間の視差は、相関キーポイントの各々の相対的位置を減算することによって決定されることができる。視差は、次に、図６の６０１に類似した視差ヒストグラムとして編成され、ヒストグラム６０２に類似した対応する深度ヒストグラムが決定されることができる。深度ヒストグラムは、次に、選択された統計値に基づいて、センサのための最大焦点深度を決定するために使用されることができる。「視差決定」ソフトウェア、ファームウェア、またはハードウェア・モジュールは、この動作を行うように構成されることができる。動作のある一部は、視差を決定するための他の手段を作り出す、他のモジュール（ファームウェア、ハードウェア、またはソフトウェア）にわたって分散されることができる。

処理７００を実現する実施形態において、計算効率を改善するために、処理７００は、各視差のための深度に変換し、次に、深度の平均を決定するのではなく、視差の統計値（このケースでは、平均）を決定する７０６。次に、単一の統計値の深度のみが、図４のそれと類似したグラフに関して決定される必要がある７０７。この深度は、次に、その次の画像キャプチャの間、新しいカメラの焦点深度として使用されること７０８ができる。

述べられたように、他の実施形態は、その代わりに、視差の各々を深度に変換することができ、次に、深度を平均する。他の実施形態は、所望の焦点深度を決定するために、平均値、中央値、またはいくつかの他の統計値を代わりにとることができる。「深度決定」ソフトウェア、ファームウェア、またはハードウェア・モジュールは、この動作を行うように構成されることができる。モジュールは、視差ヒストグラムと連動して動作することができる。動作のある一部は、焦点深度を決定するための他の手段を作り出し、他のモジュール（ファームウェア、ハードウェア、またはソフトウェア）にわたって分散されることができる。一度、焦点深度が決定されたとすると、画像センサ１０１ａは調整され得る。センサ１０１ｂは、また、プロセッサ１１３によって調整されることができる、または、センサ１０１ｂはセンサ１０１ａの焦点深度を独自に追尾することができる。上記に述べられたように、ある特定の実施形態において、単一のセンサのみが、決定された焦点深度に基づいて調整されることができる。

これらの実施形態の変化において、システムは、単に視差の平均をとるのではなく、深度を決定するために、シーンからの情報を代わりに使用することができる。たとえば、平均をとる代わりに、キーポイント視差は、単一のオブジェクトにおけるそれらの存在、および照明条件に基づいて、重み付けされ得る。たとえば、ヒストグラムは、ある特定の焦点距離に関連付けられた焦点の質（focal quality）によるヒストグラムから各ポイントを重み付けることによって向上されることができる。ある特定のカメラ配置において、焦点が３メートルにセットされた場合、２メートルと無限大（infinity)との間のオブジェクトは、良質な焦点を有することができ、１メートルから２メートル間のオブジェクトは、相当の焦点を有することができ、０．５から１メートル間のオブジェクトは劣った焦点を有し得る。図６のヒストグラムは、他の範囲よりも頻繁に優先焦点範囲が選択されるように、それに応じて重み付けされる。これは、ある特定の実施形態において、「領域の重み付け特性（region weighted saliency）」と称されることができる。他の変化において、画像からの頻度情報（frequency information）が、キーポイント選択に組み込まれることができる。テクスチャを含むオブジェクトは、テクスチャなしで、またはわずかなテクスチャで、オブジェクトよりも多くのキーポイントを生成することができ、それにより平均に影響を及ぼす。従って、テクスチャ・オブジェクトに関連付けられたキーポイントは、非テクスチャ・オブジェクトから異なる重みを受信することができる。一変化において、テクスチャ内の領域が検出されることができ、これらの領域は、次に、その領域におけるキーポイントの重みを少なくするために使用される。

立体ムービーをキャプチャする場合、処理７００が、単一フレーム、すなわち、単一の立体画像ペアに適用され得る。次に、カメラ配置またはシーンが適切な焦点の再評価を必要とするように修正されるまで、決定された焦点深度は、次の画像キャプチャの間、画像センサによって使用され得る。従って、動作７００は、任意の状態依存である必要はないというメリットを有する。すなわち、従来のオートフォーカス・システムは、ムービー・キャプチャ処理を定期的にタイムアウトする必要があり、焦点を再評価するために複数の焦点深度をキャプチャするだろう。対照的に、処理７００は、それがフレーム遅延を生じさせないという点で「瞬時の」であり得る。これは、シームレス・フォーカス・トラッキング（seamless focus tracking）を容易にする。処理は、現在の焦点位置と焦点位置推定（focus position estimation）との間にフィードバック（または、依存性）はないので、システムの安定性をさらに保証することができる。さらに、焦点動作は単一フレームで達成され得るので、ユーザの手の動きが、任意のぶれ（blur）を生成する可能性は高くないだろう。

述べられたように、処理７００のステップ７０３および７０４において生成されたキーポイントは、第２の画像に適用された場合、画像の一部にアイデンティティを割り当てることができ、一貫して理解される任意のデータ構造を含むことができる。述べられたように、いくつかの実施形態において、キーポイントは、ＳＩＦＴ特徴生成モジュールから生成されるスケール不変特徴変換（ＳＩＦＴ）キーポイントを含むことができる。図８は、特徴生成モジュールにおけるキーポイントを生成するための別の可能な処理を図示する。

処理８００は、生の立体画像ペアのうちの１つを受信すること８０２によって開始する８０１。次に、画像は、できる限り雑音に対するアルゴリズムのロバスト性を改善するため、および、計算要求を減らすために、サブサンプルされる８０３。次に、画像は、水平な高域フィルタを通過し得る８０４。いくつかの実施形態において、フィルタは、

によって与えられた応答を備えた３ｘ４カーネル（kernel）を含むことができる。

次に、処理は、すなわち、各値を２乗することによって、画像の累乗を計算すること８０５ができる。最終的に、処理は、雑音および低電力値（low-power values）を除去するために、値を閾値処理すること８０６ができる。システムは、閾値を上回る残りの値の中から、「極大値（maximum values）」を識別するだろう。いくつかの実施形態において、極大値が、閾値を上回るそれらの画像部分であり得るのに対して、他の実施形態において、極大値は、それらの局地的な隣接値（local neighbors）に関連して定義され得る。たとえば、閾値を上回る隣接ピクセル間のデルタ（delta）は、極大値を識別するために使用されることができる。識別された極大値は、上記に説明された視差決定ステップのために使用され得るキーポイントの位置を示す。システムは、終了する８０８前に、これらのキーポイントの位置を記憶すること８０７ができる。この方法で画像をサブサンプリングおよび閾値処理をすることによって、キーポイントとしてサーブされ得るピクセル位置を決定することが必要とされる計算時間が、削減され得る。これらの実施形態におけるキーポイントがピクセル位置を含むので、ピクセル位置は、時折「キーポイント」と称されることができる。しかしながら、当業者は、変化を容易に理解するだろう。ここにおいて、キーポイントは、位置と、数多くの隣接ピクセル値および位置との両方を含む。キーポイントは、また、ピクセル値またはピクセル位置ではなく、画像部分の頻度容量またはピクセル値のグラディエント（gradients）を直接言及することができる。たとえば、ＳＩＦＴキーポイントは、ピクセル・グラディエントを示すベクトルを含むことができる。

一度、第１の画像におけるキーポイントが決定されたとすると、それは、画像部分の間の視差が決定され得るように、キーポイントを第２の画像における位置と相関させるために依然として残り得る。図８の処理８００によって生成されたキーポイントのようなキーポイントかどうかを決定するための可能な方法は、画像における位置と相互に関連付けられ、図９に関して説明されるだろう。図９は、立体画像ペア９００ａおよび９００ｂを図示する。画像９００ａおよび９００ｂの画像ペアをキャプチャするために使用される２つのセンサの構成に基づいて、各キーポイント９０１周囲の検索領域９０２を決定することができる。探索領域９０２は、キャプチャ・デバイス構成の結果として、キーポイントが左右の画像において変位され得る最大距離（すなわち、最大予測視差（maximum expected disparity））を、指定することができる。いくつかの実施形態において、画像センサは垂直な視差が欠如しているので、キーポイント９０１は、一般に、シーンにおける垂直エッジ（vertical edges）に位置することができる。

検索領域９０２は、画像９００ａおよび９００ｂの各々の同一の絶対位置（absolute position）に位置する。図９において、検索領域９０２は、画像９００ａおよび９００ｂの間に垂直な視差が存在しないと仮定される（すなわち、同列におけるピクセルのみが考慮される）ので、単一ピクセルの高さを有する長方形（rectangle）を含む。領域９０２の高さは、画像９００ａおよび９００ｂの間に存在し得る垂直な視差の量に関して増加され得る。システムは、第２の画像９００ｂの検索領域９０２における各ピクセルを通して繰り返すことができ、キーポイント９０１を囲む画像９００ａの一部とのピクセルの対応を決定することができる。これは、下記にさらに詳しく説明される相関メトリック（correlation metric）を使用していくつかの実施形態において達成され得る。

ある特定の実施形態において、キーポイントは、単に画像９００ａのためではなく、画像９００ａと画像９００ｂの両方のために決定され得る。画像間のキーポイントを相関させることを試みる場合、システムは、第２の画像９００ｂにおける検索領域９０２内でキーポイントを識別することができる。画像９００ｂのうちの１つのキーポイントのみが検索領域９０２において発見された場合、このキーポイントは、第１の画像からのキーポイントと相互に関連付けられることができる。画像９００ｂの２つ以上のキーポイントが領域９０２に存在するところで、システムは、どのキーポイントが第１の画像からのキーポイント９０１に最も良く対応するかを決定するために、検索領域９０２における画像９００ｂの各キーポイントに対して相関メトリックを適用することができる。キーポイントが１つの画像のみのためにとられる場合、メトリックが適用されるのと同様に、メトリックは、キーポイント９０１および９０１ｂが、画像９００ａおよび９００ｂの各々における同一のシーンの一部を参照する可能性が高いことを確認するために、キーポイント９０１および９０１ｂのピクセル位置に隣接するピクセル値を考慮し得る。キーポイントが両方の画像のために作り出されているところで、領域内の各ピクセル間ではなく、領域９０２におけるキーポイント間で繰り返すことのみが必要であり得る。

上記説明された実施形態において、システムは、決定されたキーポイント９０１に対応する検索領域９０２のある特定のピクセルを通して繰り返す。システムは、領域９０２における各ピクセルに相関メトリックを適用することができる。キーポイント９０１の位置を囲む領域との最大相関性を有する領域９０２におけるピクセルは、次に、キーポイント９０１と相互に関連付けられ得る。領域９０２における画像９００ｂの各ピクセルを通して繰り返すための計算コスト（computational cost）は、画像９００ｂのすべてのためのキーポイントを計算し、各キーポイント間の相関性を決定するためのコストよりも少ない。しかしながら、いくつかの実施形態において、ほんのわずかなキーポイントのみが生成されたところで、システムは、１つの画像のキーポイントに関連付けられた領域９０２の間で繰り返すのではなく、すべてのキーポイント間の相関性を直接決定することができる。

ある特定の実施形態において、９００ａにおけるキーポイントに対応する画像９００ｂにおけるキーポイントまたはピクセル位置を識別するために使用される相関性メトリックは、考慮中の画像９００ｂにおける位置を囲むピクセル、および画像９００ａにおけるキーポイントの位置を囲むピクセルための平均２乗誤差の計算を含むことができる。すなわち、画像９００ｂにおける検索領域９０２における位置のための隣接ピクセルおよび第１画像のピクセル隣接キーポイント９０１の平均２乗誤差は、相関性メトリックとして使用されることができる。平均２乗誤差は、

として計算されることができ、ここで、Ｒは、平均２乗誤差であり、Ｓ_ｌｅｆｔは、画像９００ａにおけるピクセル値を含み、Ｓ_{ｒｉｇｈｔ}は、画像９００ｂにおけるピクセル値を含み、ＭおよびＮは、検査中の領域９０２のピクセル位置または現在のキーポイントのための領域９０２に対する画像の中に、水平および垂直オフセットを含み、Δは、検索領域９０２における現在の位置のために適用された水平偏移（horizontal shift）を含む（Ｓ_ｌｅｆｔおよびＳ_{ｒｉｇｈｔ}に対する第１のパラメータは、列の位置（column position）／ｘ軸、および第２の行の位置（row position）／ｙ軸である）。平均２乗誤差は上記例の７ｘ７ウィンドウ（window）内であるが、当業者は、画像解像度および適用されたサブサンプリングによって、ウィンドウ寸法（window dimensions）の範囲を容易に思い描くことできる。さらに、センサ１０１ａおよび１０１ｂは、上記の例において１つも垂直な視差を有することがないと推定されるので、検索領域９０２は、水平にのみ拡大し、Δは、ｘ軸／列の方向（column direction）にのみ現れる。より多くのロバスト・システムは、検索領域９０２の高さを増加させること、および垂直方向のΔを含むことによって、センサの位置付け（sensor positioning）におけるエラーを補償することができる。画像がダウンサンプルされる（downsampled）につれて、サブピクセル解像度は、キーポイント９０１と相互に関連付けられた画像９００ｂの領域９０２におけるピクセルのより正確な決定を容易にするために、いくつかの実施形態において、多項式補間（polynomial interpolation）のような、補間を使用して決定されることができる。すなわち、センサ１０１ａに関連するセンサ１０１ｂの変位は、正確なピクセルの整数であることができない。したがって、特にサブサンプリング後、正確なキーポイント９０１の相関性は、検索領域９０２におけるピクセル間の位置を含むことを必要とし得る。キーポイント９０１と最大限に相互に関連付けられた画像９００ｂの領域９０２における位置は、補間されたポイントにおいて、ピクセル位置の中間に位置する（fall between）。

ここに開示された実現に関連して記載されたさまざまな例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）または他のプログラマブル論理デバイス、離散ゲートまたはトランジスタ論理、離散ハードウェア・コンポーネント、または、ここに説明される機能を実行するように設計されたこれら任意の組み合わせとともに実現または実行されることができる。汎用プロセッサは、マイクロ・プロセッサであることができるが、あるいは、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械（state machine）であることができる。プロセッサは、また、たとえばＤＳＰとマイクロ・プロセッサの組み合わせ、複数のマイクロ・プロセッサ、ＤＳＰコアと連動する１つ以上のマイクロ・プロセッサ、または任意の他のこのような構成であるコンピューティング・デバイスの組み合わせとして実現されることができる。

ここで開示された実現に関連して説明された方法または処理のステップは、ハードウェアで直接的に、プロセッサによって実行されるソフトウェア・モジュールで、または両者の組み合わせで具現化されることができる。ソフトウェア・モジュールは、ＲＡＭメモリ、フラッシュ・メモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、ハード・ディスク、リムーバブル・ディスク、ＣＤ−ＲＯＭ、または当該技術で周知の任意の他の形態の非一時的な記憶媒体に存在することができる。例示的なコンピュータ可読記憶媒体は、プロセッサがコンピュータ可読記憶媒体から情報を読み出し、コンピュータ可読記憶媒体に情報を書き込むことができるように、プロセッサに結合される。あるいは、記憶媒体は、プロセッサと一体化されることができる。プロセッサおよび記憶媒体は、ＡＳＩＣに存在することができる。ＡＳＩＣは、ユーザ端末、カメラ、または他のデバイスに存在することができる。あるいは、プロセッサおよび記憶媒体は、ユーザ端末、カメラ、または他のデバイスに離散コンポーネントとして存在することができる。

見出し（headings）は、参考のために、およびさまざまなセクションの位置を特定することを支援するために、ここに含まれる。これらの見出しは、それについて説明された概念の範囲を限定するように意図されてはいない。そのような概念は、明細書全体を通して適用性を有することができる。

開示の実現の先の説明は、いずれの当業者でも本発明を作り出し、使用することを可能にさせるために提供されている。これらの実現に対するさまざまな変更は、当業者に容易に理解され、ここで定義される一般的な原理は、本発明の精神または範囲から逸脱することなく、他の実現に適応することができる。このように、本発明は、ここに説明された実現に限定されることは意図しておらず、ここに開示される原理および新規な特徴と一致する可能性がある最も広い範囲が付与されるべきである。

開示の実現の先の説明は、いずれの当業者でも本発明を作り出し、使用することを可能にさせるために提供されている。これらの実現に対するさまざまな変更は、当業者に容易に理解され、ここで定義される一般的な原理は、本発明の精神または範囲から逸脱することなく、他の実現に適応することができる。このように、本発明は、ここに説明された実現に限定されることは意図しておらず、ここに開示される原理および新規な特徴と一致する可能性がある最も広い範囲が付与されるべきである。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
第１の視点に関連付けられた第１の画像を受信することと、
第２の視点に関連付けられた第２の画像を受信することと、
前記第１の画像に基づいて第１の複数のキーポイントを決定することと、
前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させることと、
前記第１の複数のキーポイントの各々に関連付けられた複数の視差を決定することと、
前記複数の視差、前記第１の視点の前記位置、および前記第２の視点の前記位置に基づいて焦点深度を決定することと
を含む、画像センサのための焦点深度を決定するための電子デバイスにおける方法。
［Ｃ２］
前記第２の画像に基づいて第２の複数のキーポイントを決定することをさらに含む、Ｃ１に記載の方法。
［Ｃ３］
前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させることは、前記第１の複数のキーポイントからのキーポイントを前記第２の複数のキーポイントからのキーポイントと相関させることを含む、Ｃ２に記載の方法。
［Ｃ４］
前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させることは、前記第２の画像における検索範囲内のピクセルを介して繰り返すことを含む、Ｃ１に記載の方法。
［Ｃ５］
前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させることは、前記第１の画像および前記第２の画像におけるピクセル間の平均２乗誤差を決定することを含む、Ｃ４に記載の方法。
［Ｃ６］
前記第１の画像に基づいて第１の複数のキーポイントを決定することは、前記第１の画像に基づいてスケール不変特徴変換（ＳＩＦＴ）キーポイントを決定することを含む、Ｃ１に記載の方法。
［Ｃ７］
前記第１の画像に基づいて第１の複数のキーポイントを決定することは、前記第１の画像をサブサンプリングすることと、前記第１の画像に高域フィルタを適用することと、前記第１の画像の累乗を計算することと、前記第１の画像を閾値処理することを含む、Ｃ１に記載の方法。
［Ｃ８］
前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させることは、リアルタイムで生じる、Ｃ１に記載の方法。
［Ｃ９］
前記電子デバイスは、携帯電話を含む、Ｃ１に記載の方法。
［Ｃ１０］
コンピュータに、
第１の視点に関連付けられた第１の画像を受信する、
第２の視点に関連付けられた第２の画像を受信する、
前記第１の画像に基づいて第１の複数のキーポイントを決定する、
前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させる、
前記第１の複数のキーポイントの各々に関連付けられた複数の視差を決定する、
前記複数の視差、前記第１の視点の前記位置、および前記第２の視点の前記位置に基づいて焦点深度を決定するステップを行わせるように構成される命令を含む、コンピュータ可読媒体。
［Ｃ１１］
前記第２の画像に基づいて第２の複数のキーポイントを決定することをさらに含む、Ｃ１０に記載のコンピュータ可読媒体。
［Ｃ１２］
前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させることは、前記第１の複数のキーポイントからのキーポイントを前記第２の複数のキーポイントからのキーポイントと相関させることを含む、Ｃ１１に記載のコンピュータ可読媒体。
［Ｃ１３］
前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させることは、前記第２の画像における検索範囲内のピクセルを介して繰り返すことを含む、Ｃ１０に記載のコンピュータ可読媒体。
［Ｃ１４］
前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させることは、前記第１の画像および前記第２の画像におけるピクセル間の平均２乗誤差を決定することを含む、Ｃ１３に記載のコンピュータ可読媒体。
［Ｃ１５］
前記第１の画像に基づいて第１の複数のキーポイントを決定することは、前記第１の画像に基づいてスケール不変特徴変換（ＳＩＦＴ）キーポイントを決定することを含む、Ｃ１０に記載のコンピュータ可読媒体。
［Ｃ１６］
前記第１の画像に基づいて第１の複数のキーポイントを決定することは、前記第１の画像をサブサンプリングすることと、前記第１の画像に高域フィルタを適用することと、前記第１の画像の累乗を計算することと、前記第１の画像を閾値処理することを含む、Ｃ１０に記載のコンピュータ可読媒体。
［Ｃ１７］
前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させることは、リアルタイムで生じる、Ｃ１０に記載のコンピュータ可読媒体。
［Ｃ１８］
前記コンピュータは、携帯電話に位置する、Ｃ１０に記載のコンピュータ可読媒体。
［Ｃ１９］
立体キャプチャ・デバイスの焦点を合わせるためのシステムであって、前記システムは、
第１の視点に関連付けられた第１の画像を生成するように構成される第１の画像センサと、
第２の視点に関連付けられた第２の画像を生成するように構成される第２の画像センサと、
前記第１の画像に基づいて第１の複数のキーポイントを決定するように構成される特徴生成モジュールと、
前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させるように構成されるキーポイント相関性モジュールと、
前記第１の複数のキーポイントの各々に関連付けられた複数の視差を決定するように構成される視差決定モジュールと、
前記複数の視差、前記第１の視点の前記位置、および前記第２の視点の前記位置に基づいて焦点深度を決定するように構成される深度決定モジュールと
を含む、システム。
［Ｃ２０］
前記特徴生成モジュールは、前記第２の画像に基づいて第２の複数のキーポイントを決定するように構成される、Ｃ１９に記載のシステム。
［Ｃ２１］
キーポイントを相関させるように構成される前記モジュールは、前記第１の複数のキーポイントからのキーポイントを前記第２の複数のキーポイントからのキーポイントと相関させるように構成される、Ｃ２０に記載のシステム。
［Ｃ２２］
キーポイントを相関させるように構成される前記モジュールは、前記第２の画像における検索範囲内のピクセルを介して繰り返すように構成される、Ｃ１９に記載のシステム。
［Ｃ２３］
前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させることは、前記第１の画像および前記第２の画像におけるピクセル間の平均２乗誤差を決定することを含む、Ｃ２２に記載のシステム。
［Ｃ２４］
前記特徴生成モジュールは、前記第１の画像に基づいてスケール不変特徴変換（ＳＩＦＴ）キーポイントを決定するように構成される、Ｃ１９に記載のシステム。
［Ｃ２５］
前記特徴生成モジュールは、前記第１の画像をサブサンプリングし、前記第１の画像に高域フィルタを適用し、前記第１の画像の累乗を計算し、前記第１の画像を閾値処理するように構成される、Ｃ１９に記載のシステム。
［Ｃ２６］
キーポイントを相関させるように構成される前記モジュールは、前記第１の複数のキーポイントからのキーポイントをリアルタイムで前記第２の画像における位置と相関させる、Ｃ１９に記載のシステム。
［Ｃ２７］
前記立体キャプチャ・デバイスは、携帯電話に位置する、Ｃ１９に記載のシステム。
［Ｃ２８］
前記モジュールは、視差ヒストグラムを含む焦点深度を決定するように構成される、Ｃ１９に記載のシステム。
［Ｃ２９］
立体キャプチャ・デバイスの焦点を合わせるためのシステムであって、前記システムは、
第１の視点に関連付けられた第１の画像を受信するための手段と、
第２の視点に関連付けられた第２の画像を受信するための手段と、
前記第１の画像に基づいて第１の複数のキーポイントを決定するための手段と、
前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させるための手段と、
前記第１の複数のキーポイントの各々に関連付けられた複数の視差を決定するための手段と、
前記複数の視差、前記第１の視点の前記位置、および前記第２の視点の前記位置に基づいて焦点深度を決定するための手段と
を含む、システム。
［Ｃ３０］
第１の画像を受信するための前記手段は、第１のセンサを含み、第２の画像を受信するための前記手段は、第２のセンサを含み、第１の複数のキーポイントを決定するための前記手段は、特徴生成モジュールを含み、相関させるための前記手段は、キーポイント相関性モジュールを含み、複数の視差を決定するための前記手段は、視差決定モジュールを含み、焦点深度を決定するための前記手段は、深度決定モジュールを含む、Ｃ２９に記載のシステム。
［Ｃ３１］
第１の複数のキーポイントを決定するための前記手段は、前記第２の画像に基づいて第２の複数のキーポイントを決定するように構成される、Ｃ２９に記載のシステム。
［Ｃ３２］
前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させるための前記手段は、前記第１の複数のキーポイントからのキーポイントを前記第２の複数のキーポイントからのキーポイントと相関させるように構成される、Ｃ３１に記載のシステム。
［Ｃ３３］
前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させるための前記手段は、前記第２の画像における検索範囲内のピクセルを介して繰り返すように構成される、Ｃ２９に記載のシステム。
［Ｃ３４］
前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させるための前記手段は、前記第１の画像および前記第２の画像におけるピクセル間の平均２乗誤差を決定するように構成される、Ｃ３３に記載のシステム。
［Ｃ３５］
第１の複数のキーポイントを決定するための前記手段は、前記第１の画像に基づいてスケール不変特徴変換（ＳＩＦＴ）キーポイントを決定するように構成される、Ｃ２９に記載のシステム。
［Ｃ３６］
第１の複数のキーポイントを決定するための前記手段は、前記第１の画像をサブサンプリングし、前記第１の画像に高域フィルタを適用し、前記第１の画像の累乗を計算し、前記第１の画像を閾値処理するように構成される、Ｃ２９に記載のシステム。
［Ｃ３７］
キーポイントを相関させるための前記手段は、前記第１の複数のキーポイントからの前記キーポイントをリアルタイムで前記第２の画像における位置と相関させる、Ｃ２９に記載のシステム。
［Ｃ３８］
前記立体キャプチャ・デバイスは、携帯電話に位置する、Ｃ２９に記載のシステム。

Claims (38)

1. 第１の視点に関連付けられた第１の画像を受信することと、
   第２の視点に関連付けられた第２の画像を受信することと、
   前記第１の画像に基づいて第１の複数のキーポイントを決定することと、
   前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させることと、
   前記第１の複数のキーポイントの各々に関連付けられた複数の視差を決定することと、
   前記複数の視差、前記第１の視点の前記位置、および前記第２の視点の前記位置に基づいて焦点深度を決定することと
   を含む、画像センサのための焦点深度を決定するための電子デバイスにおける方法。
2. 前記第２の画像に基づいて第２の複数のキーポイントを決定することをさらに含む、請求項１に記載の方法。
3. 前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させることは、前記第１の複数のキーポイントからのキーポイントを前記第２の複数のキーポイントからのキーポイントと相関させることを含む、請求項２に記載の方法。
4. 前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させることは、前記第２の画像における検索範囲内のピクセルを介して繰り返すことを含む、請求項１に記載の方法。
5. 前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させることは、前記第１の画像および前記第２の画像におけるピクセル間の平均２乗誤差を決定することを含む、請求項４に記載の方法。
6. 前記第１の画像に基づいて第１の複数のキーポイントを決定することは、前記第１の画像に基づいてスケール不変特徴変換（ＳＩＦＴ）キーポイントを決定することを含む、請求項１に記載の方法。
7. 前記第１の画像に基づいて第１の複数のキーポイントを決定することは、前記第１の画像をサブサンプリングすることと、前記第１の画像に高域フィルタを適用することと、前記第１の画像の累乗を計算することと、前記第１の画像を閾値処理することを含む、請求項１に記載の方法。
8. 前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させることは、リアルタイムで生じる、請求項１に記載の方法。
9. 前記電子デバイスは、携帯電話を含む、請求項１に記載の方法。
10. コンピュータに、
    第１の視点に関連付けられた第１の画像を受信する、
    第２の視点に関連付けられた第２の画像を受信する、
    前記第１の画像に基づいて第１の複数のキーポイントを決定する、
    前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させる、
    前記第１の複数のキーポイントの各々に関連付けられた複数の視差を決定する、
    前記複数の視差、前記第１の視点の前記位置、および前記第２の視点の前記位置に基づいて焦点深度を決定するステップを行わせるように構成される命令を含む、コンピュータ可読媒体。
11. 前記第２の画像に基づいて第２の複数のキーポイントを決定することをさらに含む、請求項１０に記載のコンピュータ可読媒体。
12. 前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させることは、前記第１の複数のキーポイントからのキーポイントを前記第２の複数のキーポイントからのキーポイントと相関させることを含む、請求項１１に記載のコンピュータ可読媒体。
13. 前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させることは、前記第２の画像における検索範囲内のピクセルを介して繰り返すことを含む、請求項１０に記載のコンピュータ可読媒体。
14. 前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させることは、前記第１の画像および前記第２の画像におけるピクセル間の平均２乗誤差を決定することを含む、請求項１３に記載のコンピュータ可読媒体。
15. 前記第１の画像に基づいて第１の複数のキーポイントを決定することは、前記第１の画像に基づいてスケール不変特徴変換（ＳＩＦＴ）キーポイントを決定することを含む、請求項１０に記載のコンピュータ可読媒体。
16. 前記第１の画像に基づいて第１の複数のキーポイントを決定することは、前記第１の画像をサブサンプリングすることと、前記第１の画像に高域フィルタを適用することと、前記第１の画像の累乗を計算することと、前記第１の画像を閾値処理することを含む、請求項１０に記載のコンピュータ可読媒体。
17. 前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させることは、リアルタイムで生じる、請求項１０に記載のコンピュータ可読媒体。
18. 前記コンピュータは、携帯電話に位置する、請求項１０に記載のコンピュータ可読媒体。
19. 立体キャプチャ・デバイスの焦点を合わせるためのシステムであって、前記システムは、
    第１の視点に関連付けられた第１の画像を生成するように構成される第１の画像センサと、
    第２の視点に関連付けられた第２の画像を生成するように構成される第２の画像センサと、
    前記第１の画像に基づいて第１の複数のキーポイントを決定するように構成される特徴生成モジュールと、
    前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させるように構成されるキーポイント相関性モジュールと、
    前記第１の複数のキーポイントの各々に関連付けられた複数の視差を決定するように構成される視差決定モジュールと、
    前記複数の視差、前記第１の視点の前記位置、および前記第２の視点の前記位置に基づいて焦点深度を決定するように構成される深度決定モジュールと
    を含む、システム。
20. 前記特徴生成モジュールは、前記第２の画像に基づいて第２の複数のキーポイントを決定するように構成される、請求項１９に記載のシステム。
21. キーポイントを相関させるように構成される前記モジュールは、前記第１の複数のキーポイントからのキーポイントを前記第２の複数のキーポイントからのキーポイントと相関させるように構成される、請求項２０に記載のシステム。
22. キーポイントを相関させるように構成される前記モジュールは、前記第２の画像における検索範囲内のピクセルを介して繰り返すように構成される、請求項１９に記載のシステム。
23. 前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させることは、前記第１の画像および前記第２の画像におけるピクセル間の平均２乗誤差を決定することを含む、請求項２２に記載のシステム。
24. 前記特徴生成モジュールは、前記第１の画像に基づいてスケール不変特徴変換（ＳＩＦＴ）キーポイントを決定するように構成される、請求項１９に記載のシステム。
25. 前記特徴生成モジュールは、前記第１の画像をサブサンプリングし、前記第１の画像に高域フィルタを適用し、前記第１の画像の累乗を計算し、前記第１の画像を閾値処理するように構成される、請求項１９に記載のシステム。
26. キーポイントを相関させるように構成される前記モジュールは、前記第１の複数のキーポイントからのキーポイントをリアルタイムで前記第２の画像における位置と相関させる、請求項１９に記載のシステム。
27. 前記立体キャプチャ・デバイスは、携帯電話に位置する、請求項１９に記載のシステム。
28. 前記モジュールは、視差ヒストグラムを含む焦点深度を決定するように構成される、請求項１９に記載のシステム。
29. 立体キャプチャ・デバイスの焦点を合わせるためのシステムであって、前記システムは、
    第１の視点に関連付けられた第１の画像を受信するための手段と、
    第２の視点に関連付けられた第２の画像を受信するための手段と、
    前記第１の画像に基づいて第１の複数のキーポイントを決定するための手段と、
    前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させるための手段と、
    前記第１の複数のキーポイントの各々に関連付けられた複数の視差を決定するための手段と、
    前記複数の視差、前記第１の視点の前記位置、および前記第２の視点の前記位置に基づいて焦点深度を決定するための手段と
    を含む、システム。
30. 第１の画像を受信するための前記手段は、第１のセンサを含み、第２の画像を受信するための前記手段は、第２のセンサを含み、第１の複数のキーポイントを決定するための前記手段は、特徴生成モジュールを含み、相関させるための前記手段は、キーポイント相関性モジュールを含み、複数の視差を決定するための前記手段は、視差決定モジュールを含み、焦点深度を決定するための前記手段は、深度決定モジュールを含む、請求項２９に記載のシステム。
31. 第１の複数のキーポイントを決定するための前記手段は、前記第２の画像に基づいて第２の複数のキーポイントを決定するように構成される、請求項２９に記載のシステム。
32. 前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させるための前記手段は、前記第１の複数のキーポイントからのキーポイントを前記第２の複数のキーポイントからのキーポイントと相関させるように構成される、請求項３１に記載のシステム。
33. 前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させるための前記手段は、前記第２の画像における検索範囲内のピクセルを介して繰り返すように構成される、請求項２９に記載のシステム。
34. 前記第１の複数のキーポイントからのキーポイントを前記第２の画像における位置と相関させるための前記手段は、前記第１の画像および前記第２の画像におけるピクセル間の平均２乗誤差を決定するように構成される、請求項３３に記載のシステム。
35. 第１の複数のキーポイントを決定するための前記手段は、前記第１の画像に基づいてスケール不変特徴変換（ＳＩＦＴ）キーポイントを決定するように構成される、請求項２９に記載のシステム。
36. 第１の複数のキーポイントを決定するための前記手段は、前記第１の画像をサブサンプリングし、前記第１の画像に高域フィルタを適用し、前記第１の画像の累乗を計算し、前記第１の画像を閾値処理するように構成される、請求項２９に記載のシステム。
37. キーポイントを相関させるための前記手段は、前記第１の複数のキーポイントからの前記キーポイントをリアルタイムで前記第２の画像における位置と相関させる、請求項２９に記載のシステム。
38. 前記立体キャプチャ・デバイスは、携帯電話に位置する、請求項２９に記載のシステム。

Images