JP2012506066A - ディザフォーカス評価 - Google Patents

Abstract

本発明は、フォーカシングシステムのフォーカス範囲の相対的に狭い部分にわたってフォーカスを非常に高速に変化できるオートフォーカスシステム８０６を利用する。プレビューモードまたはビデオ捕捉などにおいて見られるような、繰り返す一連の画像またはフレームにおいて連続的に操作すると、各ビデオフレームの前および後にオートフォーカス画像が捕捉される。オートフォーカス画像は、一連の画像とは異なるフォーカス設定を有する。オートフォーカス画像は、次いで、フォーカス調整が必要かどうかを決定するために、フォーカス品質について評価される。

Description

本発明は、デジタルカメラのオートフォーカスシステムの分野に関する。特に、本発明は、一連のビデオ画像、バースト捕捉および静止画像を捕捉するために使用可能なデジタルカメラなどの画像捕捉デバイスのためのオートフォーカスの分野に関する。

一般に、デジタルカメラのオートフォーカスシステムでは、静止画像またはビデオを捕捉するために、異なるフォーカシング位置において可動可能なフォーカスレンズを用いて撮影された５〜２０またはそれを上回る一連のオートフォーカス画像を捕捉する「スルーザレンズ」オートフォーカスシステムを使用する。フォーカシング用に可変焦点距離または可変光パワーを有する可変フォーカスレンズ含むオートフォーカスシステムでは、可変フォーカスレンズは、フォーカスレンズを移動する代わりに、オートフォーカス画像のために５〜２０またはそれを上回る、異なる焦点距離または光パワーを提供するように電子的に調整される。

捕捉後、５〜２０またはそれを上回るオートフォーカス画像は、コントラストについて分析され、最良フォーカス条件であると考えられる最大コントラストの画像を提供するフォーカスレンズの条件が決定される。分析では、存在するコントラストのレベルに基づき各オートフォーカス画像のフォーカス値が生成される。フォーカスレンズは、次いで、最大コントラスト（最大フォーカス値）を有するオートフォーカス画像を生成したフォーカス条件または２つ以上のオートフォーカス画像の間、最終画像が捕捉および保存される前の、補間位置に戻る。このオートフォーカシングの方法は、「ヒルクライム法」として公知である。なぜならその方法は、ピーク、すなわち「丘」を通過するまでレベルが増加するフォーカス値のシーケンスを生成するからである。

「スルーザレンズ」オートフォーカスシステムは、最終画像を捕捉するために使用されるのと同一の高品質レンズで捕捉されたオートフォーカス画像から直接フォーカス品質を測定するため、非常に正確になりうる。しかしながら、また、「スルーザレンズ」オートフォーカスシステムは、フォーカシングレンズに必要とされる多数の動作ならびに捕捉および分析しなければならない多数のオートフォーカス画像のため、非常に遅くなりうる。このフォーカスの時間の遅さは、捕捉ボタンが押されるときと、画像が実際に捕捉されるときとの間に使用者によって認識される不快な遅延となり、シャッタラグとして公知である。シャッタラグを軽減することが望まれる。

ビデオ捕捉中、オートフォーカス画像は、一般に、ビデオセグメントを構成するのと同一の一連の静止画像またはフレームから得る。結果として、オートフォーカシングの工程により、光景が変化する毎にビデオに５〜２０またはそれを上回る離焦フレームが生成されることとなる。その結果、光景が連続的に変化するカメラのパン動作を伴うビデオ捕捉中は、ビデオの大部分が実際にはフォーカスが合わない。理想的には、オートフォーカスシステムは、ビデオおよび静止画像を捕捉する場合はより高速に、かつ、ビデオ捕捉の場合においては、フォーカスが合わないフレームの数が減少するように各フレームがフォーカスされる。これは特に、ビデオから画像の印刷または他の様式での使用を可能にする際に重要となる。

デュアルレンズレンジファインダモジュールはまた、フォーカス条件の高速評価を提供可能にする。レンジファインダモジュールは富士電機（ＦｕｊｉＥｌｅｃｔｒｉｃ）からＦＭ６２６０Ｗなどのいくつかのモデルを購入可能である。デュアルレンズレンジファインダモジュールは、低解像度の画像の一致した対が捕捉されるのを可能にするための２つの一致するセンサ領域とともに、ある距離によって離隔された２つのレンズを含む。低解像度の画像の一致した対は、次いで、２つのレンズ間の離隔に起因する２つの画像間のオフセットを決定するために、２つの画像間の相関が分析される。オフセット情報は、次いで、レンズの離隔距離とともに、三角測量によって光景までの距離を算定するために使用される。光景までの算定距離は、デュアルレンズレンジファインダモジュールによって測定される光景までの距離と、スルーザレンズオートフォーカスシステムによって生成される一連の最良フォーカス画像との間に規定された較正曲線に基づき、フォーカスレンズの使用を案内するために使用される。富士電機ホールディングス株式会社のＦＭ６２６０Ｗモジュールの応答時間は、高感度モードでは０．００４秒と公表されており、これは十分に、ビデオオートフォーカスに必要な１／３０秒の範囲内である。しかしながら、デュアルレンズレンジファインダモジュールの精度は、一般に、温度および／または湿度の変化などの環境条件の変化に影響される。そのため、一般に、これらのデュアルレンズレンジファインダモジュールは、デジタルカメラのオートフォーカスに単独で使用されないが、代わりに、スルーザレンズコントラストベースのオートフォーカスシステムによって補われる、粗いフォーカスの調整として使用される。デュアルレンズレンジファインダモジュールの課題は、デジタルカメラの通常の動作環境内において、デュアルレンズレンジファインダモジュールと、フォーカスレンズ設定との間の較正が安定しないことである。温度および湿度の変化などの環境条件が起因し、デュアルレンズレンジファインダモジュールによって生成される光景までの算定距離が１０％を超えて変化することがあり、かつ、加えて、可動可能なレンズ制御システム内の可動可能なレンズの測定位置もまた、環境誘因により変化しやすい。加えて、デュアルレンズレンジファインダモジュール自体が、デュアルレンズレンジファインダモジュールのカメラに追加コストを加算する。

特許文献１に記載されるように、スルーザレンズ分割開口デバイスにおいては、レンズシステムの分割開口部が、フォーカス情報とみなされうる画像を生成するために使用される。分割開口部は、レンズを透過する光のために２つの光路を生成し、センサにおいて、少なくとも２つのオートフォーカス画像を生成する。レンズシステムの開口部において光路を分割することによって、各２つの光路はシェーディングのないフル画像を生成するが、イメージセンサにおける光強度は減少する。開口部の２つの異なる部分を順次部分的にブロックし、これにより開口部を分割することによって、異なる遠近を有する２つの光路が生成される。２つの光路間の遠近の差が起因し、オートフォーカス画像は、画像の対象物のデフォーカスの度合いおよびデフォーカスの方向に応じて側方へずれる。しかしながら、可検出フォーカスゾーンの数によって測定される分割開口法のフォーカス解像度は、レンズ開口部の約４０％である、生成される２つの光路間において得られる有効な離隔によって限定される。レンズ開口部が小さくなるにつれて、この技術のフォーカス精度は、フォーカス解像度の不足が理由で低下する。これは特に、コンパクトデジタルカメラ、セルラー電話、ラップトップコンピュータおよび他の通信デバイスなどに見られる小型の画像捕捉デバイスに当てはまる。

したがって、正確なフォーカシングを可能にするフォーカス解像度を提供しつつ、静止捕捉のシャッタラグの低減およびビデオの離焦フレームの減少を提供するために、オートフォーカスシステムを改良することが必要とされている。

米国特許出願公開第２００８／０００２９５９号明細書

本発明の目的は、上述の明らかな問題を改善する画像捕捉のためのオートフォーカスシステムを提供することである。

一実施形態において、フォーカシングシステムのフォーカス範囲の少なくとも相対的に狭い部分にわたってフォーカスを非常に高速に変化できるオートフォーカスシステムが利用されている。プレビューモードまたはビデオ捕捉などにおいて見られるような、繰り返す一連の画像またはフレームにおいて連続的に操作すると、一連の各画像の前および後にオートフォーカス画像が捕捉される。ここで、オートフォーカス画像は、一連の画像とは異なるフォーカス設定を有する。オートフォーカス画像は、次いで、フォーカス品質について評価され、かつ、フォーカス品質データは、一連の後続の画像にフォーカス調整が必要かどうかを決定するために、オートフォーカス画像間において比較される。次いで、より良いフォーカス品質を有するオートフォーカス画像のフォーカス設定に基づき、フォーカス調整が必要に応じて実行される。このようにして、光景のフォーカス条件が変化する際に生成される離焦フレーム数の大幅な減少を伴い、フォーカス評価およびフォーカス調整がフレーム毎に達成可能である。

種々のオートフォーカス画像の組が開示される。一実施形態では、一連の画像の捕捉の両側において、第１の組のオートフォーカス画像および第２の組のオートフォーカス画像のフォーカスレンズの光パワーを増加および減少する交互の単一ステップを使用する。さらに別の実施形態では、一連の画像の捕捉の両側において、第１の組のオートフォーカス画像および第２の組のオートフォーカス画像のフォーカスレンズの光パワーを増加および減少する交互の複数のステップを使用する。別の実施形態では、一連の画像の組の捕捉の両側において、第１の組のオートフォーカス画像および第２の組のオートフォーカス画像のフォーカスレンズの光パワーを増加および減少する、交互の第１のステップおよび第２のステップを使用する。

本発明の方法の実施形態を使用した、フォーカスレンズの光パワー対時間の図である。 カメラまたは他の画像捕捉デバイスがプレビューモードにて使用される際に使用される本発明の方法のフローチャートである。 カメラまたは他の画像捕捉デバイスが、ビデオ捕捉のための連続的なモードにおいて使用される際に使用される本発明の方法のフローチャートである。 本発明の方法の別の実施形態を使用した、フォーカスレンズの光パワー対時間の図である。 本発明の方法のさらに別の実施形態を使用した、フォーカスレンズの光パワー対時間の図である。 本発明の方法のまたさらに別の実施形態を使用した、フォーカスレンズの光パワー対時間の図である。 本発明のシステム実施形態の画像捕捉デバイスの概略横断面図である。 本発明の実施形態によるディザフォーカス評価を利用可能な画像捕捉デバイスの簡易ブロック図である。

本発明の実施形態は、捕捉された多数の画像の離焦を招くことなく、ビデオなどにおける一連の画像の捕捉中にフォーカス評価およびフォーカス調整を行うことができる、カメラまたは他のデジタル画像捕捉デバイスの高速オートフォーカスシステムを提供しようとするものである。

本発明はビデオ捕捉の観点から記載されているが、本発明は、例えば、バースト捕捉モードまたは画像捕捉デバイス等におけるプレビュー表示の画像の捕捉などにおいて行われる一連の画像のあらゆる捕捉に等しく適用可能である。この目的のため、本発明の実施形態では、各ビデオ画像の捕捉間に１つ以上のオートフォーカス画像の捕捉を追加し、ここで、オートフォーカス画像（１つまたは複数）は、ビデオ画像とは異なるフォーカス設定にて捕捉される。フォーカス品質は、各ビデオフレーム間において評価されるため、光景内の条件はフレーム毎に大きく変化せず、そのため本発明のフォーカス評価は少数のオートフォーカス画像にて行うことが可能である。

オートフォーカスが、一般的なビデオフレーム速度である３０フレーム／秒またはそれよりも高速にてフレームバイフレームオートフォーカスに近づくほど十分に高速になるよう、オートフォーカスシステム全体にわたっていくつかの改良が必要とされる。第１に、１／３０秒以内またはそれよりも高速にて完了可能なフォーカス品質の測定を提供することを可能にするフォーカス測定システムが必要である。また、フォーカス測定は、所望のフォーカス品質を１／３０秒以内に達成するためにフォーカスレンズのフォーカスの変化を正確に案内するのに十分な情報も提供しなければならない。第２に、フォーカスレンズ制御システムは、フレーム間において利用可能な１／３０秒以内にフォーカス調整を行うのに十分高速でなければならない。１／３０秒以内にフォーカス調整を行うために使用できる高速フォーカスシステムが多数利用可能である。本発明のフォーカスレンズに使用可能な、適切な高速フォーカスシステムの例には、限定はされないが、その内容をすべて本願に引用して援用する、２００８年９月２５日出願のジョン Ｎ．ボーダーらによる「Ｄｕａｌ Ｒａｎｇｅ Ｆｏｃｕｓ Ｅｌｅｍｅｎｔ」という名称の同時係属米国特許出願に記載されるように、フォーカスレンズを動かすための圧電モータ、フォーカスレンズの可変光パワーのための液体レンズ、フォーカスレンズの可変光パワーのための流体レンズ、フォーカスレンズの可変光パワーのための電気活性ポリマーレンズおよびフォーカスレンズの可変光パワーのためのデュアルレンジ液晶レンズを含む。

一実施形態において、ビデオ画像のフォーカス設定とオートフォーカス画像のフォーカス設定との間でフォーカスレンズを交互に迅速に調整するための高速フォーカスシステムが使用される。オートフォーカス画像の捕捉は、ビデオ画像の捕捉を妨げないよう十分に迅速でなければならないが、同時に、オートフォーカス画像は、ビデオ画像の捕捉のためのフォーカス調整の決定がなされるように、フォーカス品質の決定を可能とするのに十分な画像の品質を有しなければならない。

図１は、本発明の一実施形態の方法を使用したフォーカスレンズの光パワーの動作の図を示す。この場合、オートフォーカス画像１２０（ＡＦ１と名称がつけられている）および１２５（ＡＦ２と名称がつけられている）がビデオ画像１０５（ビデオと名称がつけられている）の捕捉間に捕捉され、ここでオートフォーカス画像は、第１の組１２０に続いて第２の組１２５において捕捉される。各オートフォーカス画像の捕捉の前に、フォーカスレンズは、ビデオ捕捉と異なるフォーカス設定に変更される。図１が示すように、第１のオートフォーカス画像の組１２０は、より低い光パワーのフォーカス設定を有し、かつ、第２のオートフォーカス画像の組１２５は、より高い光パワーのフォーカス設定を有する。オートフォーカス画像１２０および１２５のフォーカス設定と、ビデオ画像１０５のフォーカス設定との間の変化は、同一の量のデフォーカスだが、オートフォーカス画像を離隔するビデオ画像のフォーカス設定と比較して反対方向のデフォーカスとなるように選択される。

簡略化のため、ビデオフレームのフォーカス設定から第１の組のオートフォーカス画像および第２の組のオートフォーカス画像への光パワーの変化が、図１、図４、図５、図６において同一のものとして示されているが、第１の組のオートフォーカス画像および第２の組のオートフォーカス画像において、フォーカスレンズのフォーカシング特性およびレンズアセンブリに基づき、同一の量のデフォーカスを生成する実際の光パワーの変化は異なることがある。オートフォーカス画像１２０およびオートフォーカス画像１２５のフォーカス設定は、ビデオ画像１０５のフォーカス設定を一括にするため、ビデオ画像が十分にフォーカスされている場合、オートフォーカス画像１２０およびオートフォーカス画像１２５は等しくデフォーカスされる。結果として、１２０および１２５の２つの組のオートフォーカス画像がフォーカス品質において互いに比較されるとき、オートフォーカス画像１２０および１２５間に捕捉されたビデオ画像１０５のフォーカスが合っていると、オートフォーカス画像１２０およびオートフォーカス画像１２５の２つの組のフォーカス品質は同一になる。

逆に、ビデオ画像１０５が十分にフォーカスされていない場合、オートフォーカス画像の組１２０またはオートフォーカス画像の組１２５のうち１つのフォーカス品質が、他方のオートフォーカス画像の組のフォーカス品質よりも良くなる。本発明において、次のビデオ画像１０５が捕捉される前にフォーカス調整が必要かどうかを決定するために使用されるのは、この、オートフォーカス画像１２０およびオートフォーカス画像１２５の２つの組間のフォーカス品質の差である。加えて、オートフォーカス画像１２０およびオートフォーカス画像１２５の２つの組間のフォーカス品質の差の度合いが、次のビデオ画像１０５のフォーカス品質を向上するために適用されるフォーカス調整の量を決定するのに使用される。ビデオフレーム捕捉１０５のフォーカス調整が必要かどうかの判断は、第１の組のオートフォーカス画像１２０の１つの組、第２の組のオートフォーカス画像１２５の１つの組および１つのビデオフレーム１０５が捕捉された後に、図１に示される工程を使用して行うことが可能である。

ビデオフレーム捕捉１０５にフォーカス調整が必要かどうかを判断した後、フォーカス調整は、光パワー変化１１０がビデオフレーム捕捉１０５中に示される図１に示されるように、次のビデオフレーム捕捉１０５中に実行することが可能である。代わりに、フォーカス調整は、オートフォーカス画像の光パワー変化と併せて実行することが可能である。フォーカス調整１１０に後続するオートフォーカス画像の組１３０のフォーカス変化は、フォーカス調整の前と同一の量だが、変化は、目下、直前に捕捉されたビデオ画像１０５の最後の新しいフォーカス設定と比較されるため、オートフォーカス画像の組１３０の光パワーは、以前のオートフォーカスの組１２５と異なる。

図２は、カメラが、画像が捕捉され、即座に表示されるプレビューモードにあるときに使用される、本発明の方法の一実施形態のフローチャートを示す。工程は、カメラがデフォルトのフォーカス設定の状態で、カメラまたはデジタル捕捉デバイスの電源がオンにされる、２００にて開始される。２１０にて、ビデオフレームが捕捉され、表示部に送られる。２２０にて、フォーカス設定が、第１の組のオートフォーカス画像の捕捉のために、ある量（例えば１ジオプターまたは、レンズの被写界深度に相当する量、例えばそのフォーカス設定における１フォーカスゾーン）だけ変化する。２３０にて、第１の組のオートフォーカス画像が捕捉され、一時的に保存される。フォーカスシステムは、次いで、２４０にて、ビデオフレーム捕捉の設定に戻る。２５０にて、別のビデオフレームが捕捉され、表示部に送られる。フォーカス設定は、次いで、２５５にて、第２の組のオートフォーカス画像の捕捉のために、第２の量だけ変化する。

第２の組のオートフォーカス画像が、次いで、ステップ２６０にて捕捉され、一時的に保存される。フォーカスシステムは、次いで、２６５にて、ビデオフレーム捕捉の設定に戻る。２７０にて、別のビデオフレームが捕捉され、表示部に送られる。２７０にて、ビデオフレームを捕捉するが、第１の組のフォーカス品質および第２の組のオートフォーカス画像が評価され、各オートフォーカス画像についてフォーカス値が生成される。一連のオートフォーカス画像を評価してフォーカス値を生成する技術は、当該技術分野において周知であり、技術例が、米国特許第５８７７８０９号、米国特許第６４４１８５５号、米国特許第６８８５８１９号および米国特許出願第２００３／０１６０８８６号にある。２７５にて、第１のオートフォーカスの組のフォーカス値および第２のオートフォーカスの組のフォーカス値が、選択された閾値内において同一かどうかに基づき決断がなされる。第１のオートフォーカスの組のフォーカス値と、第２のオートフォーカスの組のフォーカス値との間の差が、選定された閾値よりも小さい場合、工程は２２０に進む。第１の組のオートフォーカス画像または第２の組のオートフォーカス画像のどちらかのフォーカス値が、他方より高く（より良いフォーカス品質）、かつ、閾値の範囲外の場合、デフォーカス条件が検出され、後続するビデオフレーム捕捉のフォーカス設定が、２８０にて、より良いフォーカス品質を有するオートフォーカス画像の組のフォーカス設定の側へ調整され、工程は２２０に進む。

フォーカス設定調整の工程において、検出されたデフォーカス条件を補正するためのフォーカス設定調整の速度が、高速フォーカスシステムのフォーカス特性およびカメラの画像化システムに基づき選択される。フォーカス設定調整の速度は、製造中に実施される較正工程に基づきオートフォーカスシステムにプログラムすることが可能である。代わりに、フォーカス設定調整の速度は、安定して良好なフォーカス品質の度合いを得るのに必要なフォーカス設定調整の数に基づき、使用時に、徐々にオートフォーカスシステムに学ばせることが可能である。

バースト捕捉のオートフォーカスの一実施形態における本発明の工程は、ビデオ画像が代わりにバースト画像である図２に示されている工程フローと類似する工程フローに従うことに留意されたい。加えて、バースト画像は表示部に送られる代わりに記憶装置に送られる。

プレビューモードにおけるフォーカシングの別の実施形態における本発明の工程は、図２に記載されるように、静止画像の捕捉のためのフォーカシングにも適用されることにも留意されたい。この場合、カメラは、静止画像の捕捉の前にプレビューモードに設定され、かつ、カメラ自体も、光景の内容が変化するにつれて、プレビューモードにてフォーカスを継続する。カメラは、操作者が捕捉ボタンを押すときにはすでにフォーカスされており、それによってカメラに静止画像の捕捉を指示する。

図３は、進行中の連続的なビデオ捕捉についての本発明の方法の別の実施形態のフローチャートを示す。工程は、３００に示すように、ビデオモードにてすでに動作中のカメラにて開始される。３１０にて、フォーカス設定は、第１の組のオートフォーカス画像の捕捉の量だけ変化する。第１の組のオートフォーカス画像は、次いで、３２０にて捕捉され、一時的に保存される。フォーカスシステムは、次いで、３３０にて、ビデオフレーム捕捉の設定に戻る。３４０にて、ビデオフレームは捕捉され、保存され、一般に表示部に送られる。だが、ビデオフレームの表示部への送信は、本発明には必要ない。３５０にて、第１の組のオートフォーカス画像のフォーカス値および第２の組のオートフォーカス画像のフォーカス値を通じて決定される、相対的なフォーカス品質が、決定される。次いで、３６０にて、第１の組のオートフォーカス画像および第２の組のオートフォーカス画像が、閾値内にて、同一のフォーカス値（相対的なフォーカス品質）を有するかどうかに基づき決断がなされる。第１の組のオートフォーカス画像および第２の組のオートフォーカス画像の相対的なフォーカス品質が選択された閾値内の場合、工程は３７０に続く。３７０にて、フォーカス設定は、第２の組のオートフォーカス画像の捕捉の量だけ変化する。第２の組のオートフォーカス画像は３７５にて捕捉される。フォーカスシステムは、次いで、３８０にて、ビデオフレーム捕捉のフォーカス設定に戻る。３８５にて、ビデオフレームが捕捉され、保存され、一般に表示部に送られる。

相対的なフォーカス品質は、３９０にて、第１の組のオートフォーカス画像の最後の組の決定されたフォーカス値および第２の組のオートフォーカス画像の最後の組の決定されたフォーカス値を通じて評価される。３９２にて、第１の組のオートフォーカス画像の最後の組および第２の組のオートフォーカス画像の最後の組が、選択された閾値内にて同一のフォーカス値（相対的なフォーカス品質）を有するかどうかに基づき、工程の方向の決断を得る。第１の組のオートフォーカス画像の最後の組および第２の組のオートフォーカス画像の最後の組が選択された閾値内にて同一のフォーカス値を有する場合、工程はステップ３１０に戻る。第１の組のオートフォーカス画像または第２の組のオートフォーカス画像のどちらかが、より高いフォーカス値（より良い相対的なフォーカス品質）を有し、選択された閾値を超える場合、工程は３９５に進む。３９５にて、ビデオフレーム捕捉のフォーカスシステム設定は、より良いフォーカス品質を有するオートフォーカス画像の組のフォーカス設定の側へ調整され、工程は３１０に戻る。

３６０にて、第１のオートフォーカス画像の組または第２のオートフォーカス画像の組のどちらかの相対的なフォーカス品質が、閾値を超えるより高いフォーカス値（より良いフォーカス品質）を有することが決定した場合は、工程はステップ３６５に進む。３６５にて、フォーカスシステム設定は、より良いフォーカス品質を生成したオートフォーカス画像の組のフォーカス設定の側へ調整され、前述のように、工程は３７０に進む。

図４は、複数のオートフォーカス画像が第１の組のオートフォーカス画像および第２の組のオートフォーカス画像の両方に含まれる、本発明の方法の別の実施形態の図を示す。この実施形態において、第１の組のオートフォーカス画像４２０（ＡＦ１と名称がつけられている）は、光パワーを減少するステップを伴う複数の画像を含み、第２の組のオートフォーカス画像４２５（ＡＦ２と名称がつけられている）は、光パワーを増加するステップを伴う複数の画像を含む。この実施形態は、第１の組のオートフォーカス画像４２０の１つの組、第２の組のオートフォーカス画像４２５の１つの組および１つのビデオフレーム４０５が捕捉された後、ビデオフレーム４０５（ビデオと名称がつけられている）の捕捉にフォーカス調整が必要かどうかについて決断することを可能にする。加えて、第１の組のオートフォーカス画像４２０および第２の組のオートフォーカス画像４２５内に異なるフォーカス設定を有する複数のオートフォーカス画像が捕捉されるため、生成されるフォーカス値（相対的フォーカス品質）の測定は正確性が増す。

図５は、オートフォーカス画像の光パワーの変化の量が組毎に変化する、本発明の方法のさらに別の実施形態の図を示す。この場合、第１の組のオートフォーカス画像５２０およびオートフォーカス画像５２１（ＡＦ１と名称がつけられている）の２つの組ならびに第２の組のオートフォーカス画像５２５およびオートフォーカス画像５２６（ＡＦ２と名称がつけられている）の２つの組ならびに２つのビデオフレーム５０５（ビデオと名称がつけられている）が捕捉される後まで、フォーカス品質の決断に達しない。ビデオフレーム捕捉のフォーカス調整を行う必要は、次いで、第１の組のオートフォーカス画像５２０およびオートフォーカス画像５２１の２つの組の相対的なフォーカス品質と、第２の組のオートフォーカス画像５２５およびオートフォーカス画像５２６の２つの組を比較することによって決定される。この実施形態ではさらに離焦ビデオフレームを生成するが、第１の（５２０および５２１）組のオートフォーカス画像および第２の（５２５および５２６）組のオートフォーカス画像が、各ビデオ捕捉間に１つのオートフォーカス画像のみを捕捉するため、オートフォーカス画像内のノイズを軽減するために各オートフォーカス画像の露光時間を長くすることができ、さらに、ビデオフレーム捕捉にフォーカス調整が必要かどうかを決定するために、複数のオートフォーカス画像が評価され、したがって、より高いフォーカスの正確性が得られる。

図６に、第１の組のオートフォーカス画像６２０（ＡＦ１と名称がつけられている）および第２の組のオートフォーカス画像６２５（ＡＦ２と名称がつけられている）が同一で、かつ、それぞれが光パワーを減少するステップおよび増加するステップを含む、本発明の方法のさらに別の実施形態の図を示す。図６の図は、１つの減少するステップおよび１つの増加するステップを示すが、オートフォーカス画像６２０またはオートフォーカス画像６２５の各組における、減少するステップおよび増加するステップの数は、それぞれにおいておそらく１つより多い。この実施形態において、ビデオフレーム６０５（ビデオと名称がつけられている）の捕捉にフォーカス調整が必要かどうかについての決断は、オートフォーカス画像６２０またはオートフォーカス画像６２５の１つの組が捕捉された後に達することが可能である。フォーカス調整は、次いで、後続のビデオフレーム６０５の捕捉中に実施可能である。このアプローチは、生成される離焦ビデオフレーム６０５の数をさらに低減する。なぜならデフォーカス条件がより高速に検出されるからである。

静止画像の捕捉前のフォーカスの検証のために、図６に示す工程に類似する工程を使用するフォーカス評価が可能であることに留意されたい。この場合、図２のフローチャートに記載されるように、カメラ自体をプレビューモードにフォーカスし、次いで、操作者が捕捉ボタンを押してカメラに静止画像を捕捉するよう指示すると、フォーカス品質の最終評価が、フォーカスレンズの増加および減少する光パワーとともに、いくつかのオートフォーカス画像を捕捉することによって達成されうる。オートフォーカス画像は、次いで、相対的なフォーカス品質について評価され、かつ、静止画像の捕捉前に最終フォーカス調整が必要かどうかについて決断がなされる。

本発明のまたさらに別の実施形態において、前述の方法を支持するため、短い露光時間およびオートフォーカス画像の迅速な読み出しを提供するフォーカスシステムが開示される。図７は、本発明の特徴を含む画像捕捉デバイスの図を示す。本発明は、異なるタイプのオートフォーカス画像の迅速な捕捉を含む。オートフォーカス画像の迅速な捕捉には、短い露光時間およびイメージセンサからの高速読み出しが必要である。したがって、本発明のフォーカスシステムは、光パワーの迅速な変化が可能なフォーカスレンズ７２０を含むレンズアセンブリ７００を含み、例示として、１ジオプターの変化は０．０１秒またはそれより短い。フォーカスレンズ７２０は、開口停止部７１０の背後に配置されることが示されるが、それはその位置が、一般に、画像捕捉デバイスの全体の長さが最短になる位置だからである。本発明の範囲内で、光が入射するレンズの端部などの、フォーカスレンズ７２０または開口停止部７１０の他の位置が可能である。

その内容全体を本願に引用して援用する、２００５年７月２８日出願の「Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ Ｉｍｐｒｏｖｅｄ Ｌｉｇｈｔ Ｓｅｎｓｉｔｉｖｉｔｙ」という名称の米国特許出願２００７／００２４９３１号に記載されるように、イメージセンサ７３０による集光の効率を上げるため、可視光スペクトル全域にわたって光を集めるパンクロマティック画素を有するイメージセンサが使用される。より高い光感度およびより高速の捕捉時間のため、オートフォーカス画像は、サブサンプル方式で読み出しされたパンクロマティック画素のみを含むことが可能である。加えて、センサは、各画像において読み出しされる画素数を低減するため、センサの一部の読み出しを可能にすべきである。これにより、オートフォーカス画像は、映し出される光景内の顔または同定される対象物などの検出した関心領域を含むことが可能である。センサはまた、画素のビニングされた読み出しを可能にすべきである。ビニングは隣り合う画素を電気的にともに連結することによって行われ、ビニングされた画素間で蓄積された電荷が共有され、それによって有効な画素のサイズが増え、かつ、光に対する画素の感度が上がる。

図８を参照すると、デジタル静止カメラ、ビデオカメラ等などの画像捕捉デバイス８００の簡易ブロック図を示している。カメラ８００は、レンズ７００などのフォーカスレンズシステムを含む。当該技術分野において周知であるＣＭＯＳまたはＣＣＤイメージセンサの形態をとることが可能なセンサ、例えば本発明においてはイメージセンサ７３０を利用することができる。オートフォーカスシステム８０６は、前述のようなフォーカス評価を実行可能なフォーカス評価のセクション／回路および前述のようなフォーカス調整を実行するフォーカス調整のセクション／回路を含む。セクション８０８およびセクション８１０は、意図した設計要件によって、ハードウェア、ソフトウェアまたは両方の組合せを包含可能である。

カメラ８００のコントローラとしての役割を果たすプロセッサ８１２は、多数のマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ等のうちのいかなるものでも包含することが可能である。一実施形態におけるコントローラ８１２は、オートフォーカスシステム８０６と協働し、上述のオートフォーカス技術のすべてを実行する。揮発性および不揮発性メモリの両方を含むことが可能なメモリ８１４は、データはもとより、カメラ８００を操作するのに使用される必要なプログラムも保存する。当該技術分野において周知のように、液晶ディスプレイ（ＬＣＤ）８１６を包含可能な表示部８１６は、現在捕捉されている画像はもとより、以前捕捉された画像も提示することが可能である。

本発明は、その特定の好ましい実施形態を参照して詳述されたが、本発明の範囲および精神の中で変更および変形を施すことが可能であることが理解されるであろう。

１０５ ビデオフレーム、 １１０ ビデオフレーム中のフォーカス調整、 １２０ 第１の組のオートフォーカス画像のオートフォーカス画像、 １２５ 第２の組のオートフォーカス画像のオートフォーカス画像、 １３０ 第１の組のオートフォーカス画像の、ビデオ捕捉のフォーカス調整後のオートフォーカス画像、 ２００ 工程ブロック、 ２１０ 工程ブロック、 ２２０ 工程ブロック、 ２３０ 工程ブロック、 ２４０ 工程ブロック、 ２５０ 工程ブロック、 ２５５ 工程ブロック、 ２６０ 工程ブロック、 ２６５ 工程ブロック、 ２７０ 工程ブロック、 ２７５ 工程ブロック、 ２８０ 工程ブロック、 ３００ 工程ブロック、 ３１０ 工程ブロック、 ３２０ 工程ブロック、 ３３０ 工程ブロック、 ３４０ 工程ブロック、 ３５０ 工程ブロック、 ３６０ 工程ブロック、 ３６５ 工程ブロック、 ３７０ 工程ブロック、 ３７５ 工程ブロック、 ３８０ 工程ブロック、 ３８５ 工程ブロック、 ３９０ 工程ブロック、 ３９２ 工程ブロック、 ３９５ 工程ブロック、 ４０５ ビデオフレーム、 ４２０ 第１の組のオートフォーカス画像のオートフォーカス画像、 ４２５ 第２の組のオートフォーカス画像のオートフォーカス画像、 ５０５ ビデオフレーム、 ５２０ 第１の組のオートフォーカス画像の第１のオートフォーカス画像、 ５２１ 第１の組のオートフォーカス画像の第２のオートフォーカス画像、 ５２５ 第２の組のオートフォーカス画像の第１のオートフォーカス画像、 ５２６ 第２の組のオートフォーカス画像の第２のオートフォーカス画像、 ６０５ ビデオフレーム、 ６２０ 第１の組のオートフォーカス画像のオートフォーカス画像、 ６２５ 第２の組のオートフォーカス画像のオートフォーカス画像、 ７００ レンズアセンブリ、 ７１０ 開口停止部、 ７２０ フォーカスレンズ、 ７３０ イメージセンサ、 ８００ 画像捕捉デバイス、 ８０２ レンズ、 ８０４ センサ、 ８０６ オートフォーカスセクション、 ８０８ フォーカス評価セクション、 ８１０ フォーカス調整セクション、 ８１２ プロセッサ、 ８１４ メモリ、 ８１６ 表示部。

Claims (20)

1. 保存される一連の画像を捕捉可能な画像捕捉デバイスをオートフォーカシングする方法であって、
   フォーカス評価において使用される画像を捕捉するステップであって、前記画像が保存される前記一連の画像のうちの１つではなく、保存される前記一連の画像のうちの２つの前記画像間に捕捉される、ステップと、
   前記フォーカス評価において使用される前記画像を評価するステップと、
   前記フォーカスに調整が必要であることが決定した場合に、前記フォーカス評価において使用される前記画像に基づき前記フォーカスを調整し、前記調整されたフォーカスを、保存される前記一連の画像のうちの少なくとも１つに対して使用するステップと、
   を含むことを特徴とする、方法。
2. 請求項１に記載の方法であって、フォーカス評価のために使用される前記画像が、保存される前記一連の画像とは異なるフォーカス設定を有することを特徴とする方法。
3. 請求項１に記載の方法であって、前記フォーカス評価において使用される前記画像の前記評価が、保存される複数の前記一連の画像間に行われることを特徴とする方法。
4. 請求項２に記載の方法であって、フォーカス評価のために使用される前記画像が、保存される前記一連の画像の画像間に捕捉されるフォーカス評価のための２つ以上の画像の組を含み、フォーカス評価のために使用される前記画像の前記フォーカス設定が、フォーカス評価のための第１の組の画像について前記フォーカスを１つの方向に調整するステップと、フォーカス評価のための第２の組の画像について前記フォーカスを反対方向に調整するステップと、を含むことを特徴とする方法。
5. 請求項４に記載の方法であって、前記フォーカスを１つの方向に調整する前記ステップが、複数ステップの工程であることを特徴とする方法。
6. 請求項５に記載の方法であって、前記フォーカスを１つの方向に調整する前記ステップが、前記光パワーを周期的で段階的な方式で減少するステップを含むことを特徴とする方法。
7. 請求項５に記載の方法であって、前記フォーカスを１つの方向に調整する前記ステップが、前記光パワーを周期的で段階的な方式で増加するステップを含むことを特徴とする方法。
8. 請求項２に記載の方法であって、前記フォーカスを調整するステップが複数ステップの工程であり、前記工程の前記ステップのうちのいくつかが光パワーを増加するステップであり、前記工程の前記ステップのうちのいくつかが光パワーを減少するステップであることを特徴とする方法。
9. レンズと、
   前記レンズの前記光路内に位置するセンサと、
   前記レンズの前記フォーカスを調整するために前記レンズに連結されるオートフォーカスシステムとを含む画像捕捉デバイスであって、前記オートフォーカスシステムが、
   フォーカス評価に使用される画像を評価することに使用されるフォーカス評価セクションであって、前記画像が、前記画像捕捉デバイスによって保存される一連の画像のうちの１つではなく、保存される前記一連の画像のうちの２つの前記画像間に捕捉される、フォーカス評価セクションと、
   前記フォーカスに調整が必要であると決定された場合に、前記フォーカス評価に使用される前記画像に基づき前記レンズの前記フォーカスを調整するための前記評価回路に応動するフォーカス調整セクションであって、前記調整されたフォーカスを、保存される少なくとも１つの前記一連の画像に対して使用するフォーカス調整セクションと、
   を含むことを特徴とする、画像捕捉デバイス。
10. 請求項９に記載の画像捕捉デバイスであって、前記イメージセンサが、パンクロマティック画素を含むことを特徴とする画像捕捉デバイス。
11. 請求項９に記載の画像捕捉デバイスであって、前記オートフォーカスシステムが圧電アクチュエータ、液体レンズ、流体レンズ、電気活性ポリマーレンズまたは液晶レンズのうちの１つを含むことを特徴とする画像捕捉デバイス。
12. 請求項９に記載の画像捕捉デバイスであって、前記オートフォーカスシステムが、デュアルレンジフォーカスシステムを含み、前記デュアルレンジフォーカスシステムの一部が、他の部分よりも高速に変化可能であることを特徴とする画像捕捉デバイス。
13. 請求項９に記載の画像捕捉デバイスであって、前記イメージセンサが、前記イメージセンサにおけるウインドウ処理またはビニングを含むことを特徴とする画像捕捉デバイス。
14. 請求項９に記載の画像捕捉デバイスであって、フォーカス評価のために使用される前記画像が、捕捉される前記一連の画像とは異なるフォーカス設定を有することを特徴とする画像捕捉デバイス。
15. 請求項９に記載の画像捕捉デバイスであって、前記フォーカス評価セクションによって前記フォーカス評価に使用される前記画像の前記評価が、保存される複数の前記一連の画像間で行われることを特徴とする画像捕捉デバイス。
16. 請求項１４に記載の画像捕捉デバイスであって、前記フォーカス評価セクションによって前記フォーカス評価に使用される前記画像の前記評価が、保存される２つ以上の前記一連の画像間で実施され、前記評価が、保存される前記２つ以上の前記一連の画像のうちの１つにおいて前記フォーカスを１つの方向に、保存される前記２つ以上の前記一連の画像のもう一方において反対方向に調整するステップを含むことを特徴とする画像捕捉デバイス。
17. 請求項１６に記載の画像捕捉デバイスであって、前記フォーカスを１つの方向に調整する前記ステップが、複数ステップの工程であることを特徴とする画像捕捉デバイス。
18. 請求項１７に記載の画像捕捉デバイスであって、前記フォーカスを１つの方向に調整する前記ステップが、前記光パワーを周期的で段階的な方式で減少するステップを含むことを特徴とする画像捕捉デバイス。
19. 請求項１７に記載の画像捕捉デバイスであって、前記フォーカスを１つの方向に調整する前記ステップが、前記光パワーを周期的で段階的な方式で増加するステップを含むことを特徴とする画像捕捉デバイス。
20. 請求項１４に記載の画像捕捉デバイスであって、前記フォーカスを調整するステップが複数ステップの工程であり、前記工程の前記ステップのいくつかが光パワーを増加するステップであり、前記工程の前記ステップのいくつかが光パワーを減少するステップであることを特徴とする画像捕捉デバイス。

Images