JP2009516448A - 調節可能な光学系を有する撮像システム - Google Patents

Abstract

本発明は、取得する画像に影響を及ぼすことなく撮像光学系を調節することができる非露出時間を決定するソリューションを提供する。このソリューションにおいて、少なくとも一つが測定画像として使用されるとともに少なくとも一つが最終画像として使用される少なくとも二つの画像を備えた画像シーケンスを取得する。測定画像に対する露出時間及び最終画像に対する露出時間を決定する。測定画像に対する露出時間及び最終画像に対する露出時間によって、非露出時間を決定することができる。この結果、撮像光学系を非露出時間中に調節することができる。

Description

本発明は、一般に、撮像の分野に関し、特に、調節可能な光学系を有する撮像システムを用いた撮像に関する。

この数年で、デジタルカメラのようなデジタル撮像システムは、撮像技術において注目に値する役割を果たしてきた。デジタルカメラは、一つ以上のビルトインプロセッサによって特徴付けられ、画像をデジタル形式で記録する。デジタルカメラの電子的な性質により、デジタルカメラ（又はデジタルカメラモジュール）を他の電子装置に簡単に統合することができ、他の電子装置のうちの移動体通信装置（移動体端末）は、今日では一般的な例である。マスタ装置（すなわち、カメラモジュールが統合された装置）に応じて、カメラモジュールは、マスタ装置の他の複数の素子及びシステムと通信を行うことができる。例えば、カメラ付電話機において、カメラモジュールは、典型的には、一つ以上のプロセッサと通信を行い、デジタルカメラの場合、マスタ装置は、他のタイプの専用の信号処理素子を備えることができる。

デジタル撮像システムに関連する調節可能な光学系は、取得すべき画像の特性を調節するためにオートフォーカシングのような電子的に制御された画像フォーカシング機能や光学的なズーム機能を使用できることに関する。これらの動作は撮像装置においてますます重要になってきている。オートフォーカシング及びズーミングを、移動するレンズ部品を有する従来のレンズ光学系によって行うことができ、今日では、調節可能な形状を有するレンズ又は屈折力に影響を及ぼす他の調節可能な手段に基づく光学系を用いて行うことができる。

撮像システムは、シーンの画像を形成するために光を収束するレンズ系を備える。光は、光を電気的に記録する半導体装置上に収束される。この半導体装置を、典型的には、例えば、ＣＭＯＳ（相補性金属酸化膜半導体）センサ又はＣＣＤ（電荷結合素子）センサとすることができる。ＣＭＯＳセンサ又はＣＣＤセンサは、主に、光を電荷に変換する感光画素の集合から構成され、電荷は、更にデジタル画像データに変換される。ＣＭＯＳセンサ又はＣＣＤセンサにおいて、ビニングと称される技術を用いることができる。ビニングは、撮像システムの有効感度を増大するとともに画像中の画素数を減少するために隣接画素の電荷を組み合わせる。

撮像システムは、シャッタ手段も備える。主要なタイプのシャッタは、グローバルシャッタ及びローリングシャッタである。現在、ローリングシャッタはＣＭＯＳセンサとともに用いられ、グローバルシャッタはＣＣＤセンサとともに用いられているが、これらグローバルシャッタ及びローリングシャッタを異なる方法で用いることもできる。シャッタ手段は、イメージセンサの露出を制限するために用いられる。シャッタ動作は、少なくともリセットや、露出や、読出しのような動作からなるが、開閉のような動作も生じうる。グローバルシャッタとローリングシャッタとの両方のシャッタ手段を、電子的又は機械的に実現することができるが、機械的な実現において、可変開口又はニュートラルデンシティ（ＮＤ）フィルタを用いることもできる。ローリングシャッタは、実質的にラインごとに画像を露出する特徴によって知られており、グローバルシャッタは、実質的に同時に画像中の全ての画素を露出することを目的とする。

撮像システムは、典型的には画像の一つ以上の領域から現在のフォーカス値を測定する焦点検出器も備え、その結果は、撮像システムに含まれる制御機能において用いられる。焦点の測定は、典型的には、画像の隣接するエリア間のコントラストに基づき、したがって、制御機能は、画像のコントラストを最大にすることによって画像の最適な焦点を見つけることを試みる。

撮像システムは、画素の光露出の現在のレベルを測定する露出検出器も備え、その結果は、制御機能においても用いられる。制御機能は、露出の現在のレベルを利用し、露出の現在のレベルと、ターゲット露出レベルとを比較する。この比較に基づいて、露出時間、アナログ利得、デジタル利得、開口及びＮＤフィルタを制御する。制御機能は、ユーザインタフェースから受信した情報も利用する。例えば、ユーザが画像をズームすることを所望する場合、制御機能は、レンズ位置を変更し始める。レンズ系を移動するときに光学系ドライバが用いられ、光学系ドライバは、典型的にはＩ２Ｃ(Inter-Integrated Circuit)コマンドにより又はパルス幅変調（ＰＷＭ）信号を用いることにより制御される。

撮像システムは、入力装置（例えば、ズーム、シーン選択及びシャッタ制御用の制御ボタン）を備え又は入力装置に接続することができる。撮像システムにおいて典型的にはフラッシュも用いられる。焦点検出器、露出検出器、制御機能及び実際の画像処理を含む全ての画像処理を、カメラモジュール、カメラプロセッサ、アプリケーションエンジン、ベースバンドエンジン又はこれらの任意の組合せにおいて行うことができる。処理を、ソフトウェア処理ブロック又はハードウェア処理ブロックを用いることによって実現することもできる。画像処理の少なくとも検出器機能及び制御機能はリアルタイムで動作する必要がある。

本明細書中、撮像は、スチル撮像、ビデオ撮像又はファインダ撮像をいう。スチル撮像は、動きのないことによって特徴付けられる視覚情報を生成する。スチル画像は、撮影直後にメモリに記憶される。ビデオ撮像は、時間とともに変化する動きのある視覚表示を生成する。ビデオ撮像において、連続して示すときに動きの印象を与えるために一連の視覚表示が取り出される。ファインダ撮像は、ファインダディスプレイに画像を提供する。デジタル撮像システムのファインダは、典型的には、ユーザが取得するシーンのプレビューを提供する統合されたカラーディスプレイである。ディスプレイ上で見られるファインダ画像は、典型的には、イメージセンサでスケールダウンした後にイメージセンサから取り出され、又は、プロセッサにおいてファインダディスプレイに表示された元の解像度から取得される。典型的には、ファインダ画像を記憶する必要がない。好適には、良好なリアルタイムの感覚及び応答をユーザに与えるために、ファインダ画像を、最小の遅延で即座にファインダディスプレイ上で更新すべきである。

撮像中の焦点合わせを、自動（オートフォーカス）又はユーザインタラクションを伴うマニュアルで行うことができる。さらに、オートフォーカス（ＡＦ）機能を、シングルショットオートフォーカス又は連続的なオートフォーカスを用いることによって実現することができる。典型的には、静止画像を取得するときにシングルショットオートフォーカスが適用され、ビデオ撮像において連続オートフォーカスが適用される。

典型的には、レンズが一定増分を用いてレンズの範囲を移動するようにシングルショットオートフォーカスが実現され、焦点検出値が記録される。走査が終了したとき、レンズを、コントラストが最大であると見出された位置に移動する。シングルショットオートフォーカスを、例えば、撮影ボタンを途中まで押すことによって行うことができる。したがって、撮影ボタンを押し続けるとき、撮像光学系は既に適切に調整され、したがって、良好なユーザ感覚を与えた直後に画像を取得することができる。フォーカシングシステムのパフォーマンスを、最適な焦点を見つけるのに要する時間及び焦点を合わせた画像の精度によって特徴付けることができる。

連続オートフォーカシングにおいて、焦点検出値は、実質的に連続して取得した画像から決定され、フォーカシングを、焦点検出値が撮像光学系の調整の必要を表すときには常に撮像光学系を調節することによって向上する。典型的には、特にビデオ撮像において、取得した画像が、ファインダディスプレイにもリアルタイムで表示される。連続オートフォーカスの利点は、光学系を連続的に焦点合わせし続けることであり、したがって、ファインダ画像もその間ずっと焦点が合わされた状態となる。ビデオ記録において、これは、明らかに必要であるが、静止画像を記録するときにも、これは非常に有用であり、単一の静止画像を、迅速なシングルショットフォーカシング手順を用いて基本的な連続フォーカシングをファインチューニングすることによって遅延なく又は短い遅延の後に取得することができる。

これまで説明したように、静止画像に対するフォーカシング、ビデオ撮像に対するフォーカシング及びファインダディスプレイに対するフォーカシングは、幾分異なる要求を有する。ローリングシャッタタイプの露出制御を用いるかグローバルシャッタタイプの露出制御を用いるかに応じて、露出中のオートフォーカス（又はズーミング）の際のレンズ移動によって、異なるタイプのアーティファクトが生じる。特に、ローリングシャッタを用いるとき、（光学的な画像情報がイメージセンサによって集められないときの）画像間のブランキング時間は、通常非常に短く、したがって、画像にアーティファクトが生じることなくブランキング時間中にレンズを移動するのに利用できる十分な時間がない。最近の高解像度センサを用いるときにも、カメラモジュールと画像処理チェーンの次のパーツとの間のインタフェースのバンド幅の制限のために、ファインダ画像を通常サブサンプリングし、ビニングし及びダウンスケールする必要があり、したがって、オートフォーカス検出の品質は、ファインダ画像の解像度の制限のために画像処理チェーンの後方のパーツにおいて制限される。

大抵のタイムクリティカルアプリケーションにおいて、ローリングシャッタが用いられる場合、オートフォーカス検出情報を、検出領域からの画像情報が焦点検出器で利用できるときになるとすぐに専用のハードウェア又はソフトウェアによって計算することができる。換言すれば、オートフォーカシングは、サブサンプルされ、ビニングされ又はダウンスケールされたファインダ画像に基づく必要がないが、オートフォーカシングは、選択された部分の全解像度を用いて画像の選択された部分で実行されることがある。典型的には、焦点検出の領域は、画像領域の中間に位置する。この場合、次のフレームに対するレンズ移動の決定を、現在の画像の全てのラインが十分に露出され及び送信される前に利用することができる。その場合、オートフォーカス処理が画像の中央部分に対して行われた直後にレンズを移動する場合、現在の画像の最後のラインが移動中のレンズによって露出され、それによって生じたアーティファクトが、取得され又は観察される画像中で簡単に見られることがある。

レンズ移動が終わる前に次の画像フレームの露出を開始する場合、同種のアーティファクトが生じうる。この状況は、集束レンズの移動と光学ズームレンズの移動の両方によって生じうる。この場合、ローリングシャッタによって、画像の最初のラインが破損し、グローバルシャッタによって、画像全体が破損する。ズームレンズを、イメージセンサが露出されないとき、すなわち、画像フレーム間でしか移動することができない。コマンドのタイミングが非常に重要である。専用のハードウェアが用いられる場合にも、レンズが実際に移動する前に遅延が生じうる。

特にシングルショットオートフォーカスを用いた画像のフォーカシングは、非常に長い時間を要し、急速に変化する状況において、カメラシステムが最終的な準備ができて画像をフォーカシングするときに、取得しようとするシーンが既に利用できなくなることがある。そのような状況は、例えば、スポーツ又は他の活動を撮像するときに典型的であり、この場合、シーンは、迅速に動くオブジェクト及び急速に変化する状況を含む。

調節可能な光学系を有するローリングシャッタの使用の実現を、関連技術から見つけることができる。例えば、レンズ移動のコマンドを、取得する画像の影響を考慮することなくレンズ移動の決定を行った直後に与えることができる。これらの場合、典型的には、画像の最後のラインが破損し始める。他の例において、レンズ移動のコマンドは、全体画像を取得した後にのみ与えられる。この場合、レンズ移動の開始は、画像全体を取得するまで十分に遅延され、ブランキングの長さ及び露出時間に応じて、レンズは、ブランキング期間中に移動される。しかしながら、ブランキング期間がしばしば短いために、次の画像の最初のラインが破損し始める。その理由は、レンズの移動が非常に長く継続するからである。

オートフォーカス検出は、オートフォーカス検出値をフレームごとに測定することによって従来行われている。このタイプの検出は、フォーカス検出を行う際に画像全体のフレーム又はサブサンプリングされた画像フレームをＡＤ変換する必要があることを要求する。適切なフォーカス検出又は適切な画像観察の時間がないために、しばしば一部のフレームがスキップされ始める。これによって、収束時間が更に長くなる。ビデオ画像を用いると、フレームは通常スキップされないが、露出及びレンズ移動によって生じるアーティファクトが、記録されたビデオシーケンスから見えることがある。

従来技術の欠点を克服するために、フォーカシング又はズーミング目的でレンズを移動する必要があるときに取得画像を損傷することなく画像を適切に露出するソリューションを見つける必要がある。

出願人の理解によれば、フォーカシング又はズーミングの際の撮像光学系の調節のタイミングを取るときにイメージセンサ状態の知識がまだ十分に利用されていない。本発明の目的は、光学系の調節に利用できる時間を最大にするとともに取得した画像に生じるアーティファクトを最小にするソリューションを提供することである。また、本発明の目的は、応答時間を最小にして向上したユーザ経験を与えることである。

本発明の目的は、取得した画像に生じるアーティファクトを最小にするとともに光学系の調節動作を行いながら画像を適切に露出するソリューションを提供することである。

本発明の他の目的は、画像フォーカシングプロセスにおける応答時間を最小にする種々の方法を提供することである。

これらの目的は、少なくとも一つが測定画像として用いられるとともに少なくとも一つが最終画像として用いられる少なくとも二つの画像を備えた画像シーケンスを取得し、測定画像露出時間及び最終画像露出時間を決定し、測定画像露出時間と最終画像露出時間との間の非露出時間を決定し、前記非露出時間中に撮像光学系の調節を許容する撮像方法、撮像装置、撮像モジュール及びコンピュータプログラムプロダクトによって達成することができる。

これらの目的を、請求項３２，３３，３４，３６，３７，３８の特徴部分に記載したように非露出時間を決定する方法、モジュール及びコンピュータプログラムプロダクトによって達成することもできる。

本発明の第１例は、光学系の調節に対するいわゆるタイミングソリューションである。この例において、適切なタイミングがオートフォーカス検出値によって決定される。このタイミングは、どの程度フォーカス及び／又はズーム光学系を調整する必要があるかを表す。

本発明の第１例は、フォーカス又はズーム光学系を調節できる正確な時点を規定するので、画像のアーティファクトを回避することができる。所定の状況に対するフレームブランキング時間が小さい場合、本発明は、ブランキング時間を超える光学系制御のタイミングマージンをもたらす。

上記第１例は、制御ループのレイテンシーを最小にするとともに、リアルタイムパフォーマンスを向上する。その理由は、オートフォーカスの統計値計算を前フレームで終了するとともに光学的な調整が次のフレーム前に容易に適用されることが保証されるからである。

オートフォーカス／ズームハードウェアに対する設定時間、すなわち、光学系の移動を開始した後に光学系の位置を最終的に固定するのに必要な合計時間は、ブランキング時間と同一範囲にある。したがって、関心のある画素を露出する前に設定時間を十分長くできることは重要である。設定時間を長くすることによって、オートフォーカス／ズームアクチュエータコントローラの起動電流を小さくすることができ、これは、制限された容量の電池しか利用できない携帯アプリケーションにおいて特に有利である。全部の非露出時間を光学系の調節に用いることができるとき、アクチュエータを極めて高速にする必要がなく、このことは、更に少ない電力を光学系の調整に用いることができることを意味する。

本発明の第２例は、１フレーム内で複数の光学系の位置からオートフォーカスを検出する。これを、検出領域の画素が露出されないときであるが全体の画像フレームを露出する間に光学系を調節することによって行うことができる。検出領域は、画像中の関心のある領域であり、焦点検出に用いられる。

この第２例によって、焦点を見つける時間を更に短くすることができる。さらに、連続的な焦点を常に必要としないので、消費電力を更に小さくすることもできる。本例は、有用性を向上することもできる。

本発明の第３例は、ブランキング時間又は露出時間及びレンズ移動時間を制御する。

本例は、破損されないビデオ画像及びファインダ画像を提供し、その画像を、当該光及び制御条件における最大繰り返し周波数で提供することもできる。しかしながら、最大イメージ周波数が所望されない場合、固定されたイメージ周波数による光学系の調節が可能となり、光学系の調節（多い、少ない、全く）に関係なく最大の露出時間を保証する。同様に、露出時間が短い場合、ズーミングを加速することができ、又は、光学系を低速で調節するときに一時的なピーク効果を減少することができる。第３例は、柔軟性のある自動的な夜／昼モードも可能にし、これによって、イメージ周波数を、露出時間に従うが露出時間を超えない範囲で低減することができる。

この明細書の一部に組み込まれるとともにこの明細書の一部を構成する添付図面は、本発明に関連する例を示し、この明細書とともに、本発明の目的、利点及び原理を説明する。

本発明は、調節可能な光学系を有する撮像システムに関する。撮像システムを、デジタルスチルカメラ、デジタルビデオカメラ、静止画撮影、ビデオ撮影若しくはその両方を行うことができる移動体端末、又は撮像を行うことができる他の任意の電子装置とすることができる。撮像システムは、移動させることができる調節可能な光学系（例えば、オートフォーカスレンズ又は光学ズームレンズ）と、センサ（例えば、ＣＣＤセンサ又はＣＭＯＳセンサ）とを備える。撮像システムは、イメージセンサに関連するとともにカメラモジュール、個別の処理回路、モバイルデバイスのアプリケーションエンジン又はこれらの組合せに配置することができる画像処理手段を更に備える。処理動作は、少なくとも画像の形成と、画像の加工と、照明（ＥＣ）、ホワイトバランス（ＷＢ）、鮮明さ（Ｆ）等のリアルタイム制御からなる。リアルタイム処理を自動的に実現することができ、ユーザからの動作を必要としない。撮像システムは、入力装置も備え又は入力装置に接続され、これによって、カメラの動作を制御できる。これらの動作を、例えば、ズーム制御、オブジェクト選択、モード選択、及び画像の取得又はビデオ撮影を行うランチャーとすることができる。以下の説明でレンズを言及するとき、例えば、通常のレンズ、液体レンズ又はそれと同様なものを備えた光学系を意味する。したがって、「レンズ移動」又は「レンズの移動」を明細書中で記載した場合、当業者は、移動が通常のレンズの実際の操作であることを理解するが、例えば、液体レンズを用いるときは、移動は、他の調節操作であり、これによって、光をイメージセンサに投影することができ、かつ、画像の輪郭を描くことができる。

さらに、発明の背景で説明したように、撮像システムは、グローバルシャッタやローリングシャッタのようなシャッタ手段も備える。以下の説明において、特定の用語を用いるが、かかる用語は、明瞭のために用いることを意図したものである。これらの用語は、発明の範囲を不必要に規定し又は限定することを意図したものではなく、特徴又は本発明に対するよりよい概念を形成することを意図したものである。

図１は、少なくとも二つのフレームＦ１，Ｆ２を備えた「画像シーケンス」の例を示す。フレームの一方を測定画像Ｆ１とし、他方を最終画像Ｆ２とする。測定画像を、例えば収束時間又は露出時間を測定するのに用いることができる。測定エリアＭ１を、測定画像Ｆ１に対して規定することができ、測定エリアＭ１は測定に用いられる。最終画像を、センサから取得された未加工の画像とすることができる。したがって、デジタル画像処理又は他のアルゴリズムを、実際に記憶する前にそのような最終画像に対して行うことができる。１画像フレーム内に複数の測定画像が存在してもよい。測定画像は、典型的には最終画像より小さく、測定画像は記憶されない。しかしながら、画像シーケンスがビデオ画像シーケンスであるとき、典型的には、測定画像も最終画像と称され、記憶される。

「ブランキング時間」は、フレーム／ライン若しくは画素リセット又は他の任意のセンサアーキテクチャに起因する理由又はユーザが規定した制御によりセンサが有意義な画像データを記録することができない時間に関する。「ブランキング時間」は、必ずしも画像が露出されない時間に対応せず、画素がセンサから前に送り出されないときに対応する。ブランキング時間を、図１において二つのフレームＦ１，Ｆ２間に示す。ローリングシャッタにおいて、光を継続的に受光するが、実際の読出し前において、画素及びラインは露出時間の前にリセットされる。センサの画素が露出されない時間は、垂直ブランキング期間内である。センサを、ブランキング期間中にそれぞれ露出することができる（例えば、少なくとも次のラインをラインブランキング中に露出する。）。ブランキング時間は、画像フレーム間、ライン間及び画素間に生じる。

両方の画像は、図１に示すようにそれ自体の露出時間を有する。最終画像Ｆ２の露出は、ブランキング時間に部分的に重なる。しかしながら、測定画像Ｆ１の露出を、最終画像Ｆ２とは全く異なるように行うことができる。測定画像Ｆ１の露出は、測定エリアＭ１の読出し前に開始する。図１からわかるように、最終画像Ｆ２の露出は、最終画像Ｆ２に続くブランキング時間まで続かない。

フレームＦ１とフレームＦ２との間の「非露出時間」は、ブランキング時間の開始からの時間の長さを規定し、その間、露出が少なくとも次の画素、ライン又は画像に対して行われず、レンズを移動することができる。図１において、非露出時間は、測定画像Ｆ１の露出が終了したときから開始する。非露出時間を、レンズ移動に必要な時間に応じて延長することができる。ビデオの場合、非露出時間を、ファインダ画像又は測定画像と同程度に延長することができない。

非露出時間の延長を、チャネルレートを増大することによって実現することができ、これによって、画像の読出しが更に迅速になる。そのような実現において、画像が更に迅速に読み出されるので、レンズ移動に用いることができるブランキング時間が更に長くなる。従来技術がチャネルレートの増大に反する教示を行っていることに注意されたい。この理由は、コストのためであり、チャネルレートを増大するとＥＭＣ雑音が生じるからである。しかしながら、より少ないプロセス及び差動シリアルインタフェースを用いることによって、この種の増大が可能である。

ファインダ画像の場合において、収束及び測定は、より小さい画像を対象とし、したがって、画像は、サブサンプリングされ、ビニングされ又はダウンロードされ、画像のサイズが小さくなる。画像が小さくなるに従って読出しを速くすることができ、これによって、残りの非露出時間が更に長くなる。静止画像の場合、測定画像は、実際の最終画像より小さく、したがって、自動的に非露出時間が残る。

基本的な方法は、一連の画像フレーム又は一連の画像セクション、例えば、ラインから構成された画像シーケンスを取得するステップを備える。画像シーケンスの少なくとも一部を、レンズを制御するのに用いる。ブランキング時間は、画像間、ライン間又は画素間の画像シーケンスに規定される。さらに、非露出時間が規定される。レンズは、非露出時間中に移動を終了し、非露出時間は、ブランキング時間の少なくとも一部を備えることができる。ソリューションの目的は、露出の際にレンズ移動（オートフォーカス、ズーム）を行うことではない。したがって、露出が行われないレンズ移動の期間、すなわち、非露出時間が規定される。非露出時間を、基本的には連続的な画像間及び露出間の時間間隔として規定することができる。

撮像システムは、非露出時間中に動作を可能にする手段を備える。これらの動作は、例えば、露出時間の規定及び情報が取り出される画像の位置の規定を含む。非露出時間中に加えて、撮像システムは、画素セルの動作及び以前に行われた動作を知る必要がある。さらに、上記手段は、各動作に対する全ての遅延、例えば、種々のレンズ移動量によってどの程度の遅延が得られるのかを知るように配置される。さらに、上記手段は、収束が行われたか収束が誤って行われているかを知ることができる。

以下の説明は、本発明の種々の例を開示する。

１）レンズ移動のタイミングソリュージョン
図２は、レンズ移動の適切なタイミングを達成するソリュージョンを示す。画素データが露出されるとともにセンサ１００から送信される（１）。プロセッサ１１０は、測定画像である画像データを受信し、例えば、オートフォーカス検出が行われるオートフォーカス論理１１２を有する。検出ブロック１１２がオートフォーカス統計を計算し、又は、オートフォーカス統計が、イメージングセンサで既に計算されているとともに（例えば、Ｉ２Ｃを通じて若しくはイメージフレーム内で）ＣＰＵ１１３に送信される。計算後、オートフォーカス統計の情報が制御ＣＰＵ１１３に提供される（３）。制御ＣＰＵ１１３は、オートフォーカス統計を読み出し、必要な非露出時間、すなわち、どの程度オートフォーカス及び／又はズームレンズを変更する必要があるかについての必要な決定を行う。制御ＣＰＵ１１３は、レンズ移動が必要であると決定すると、ユーザインタフェースから受信した情報も用いることができる。本例において、センサ１００から画像データを受信する受信器論理１１１のラインカウンタを用いることができる。制御ＣＰＵ１１３は、オートフォーカス統計を計算した後に受信器１１１のラインカウンタレジスタを読み出し（５）、イメージセンサの画素数、送信クロック周波数及びズームハードウェアのあり得る遅延を知ることによって、レンズを移動することができるか否か決定することができる。一例において、１６００×１２００センサからの画像フレームを、２０フレーム／秒（ｆ／ｓ）のレートで受信する。５０ブランキングライン／フレームである場合、送信時間は４０マイクロ秒／ラインとなる。１０２０のライン数を受信したときにレンズ調節の決定の準備ができている場合、画像のエンドに１８０ライン（１２００−１０２０）が残ったままであり、画像送信を完了するのに７．２マイクロ秒を要する。これは、ズームハードウェアの遅延が１ミリ秒である場合を意味し、これによって、遅延は、２５ライン（１０００マイクロ秒／４０マイクロ秒）の時間を要し、ズームハードウェア（１１４，１１５）にコマンドを与える（６，７）前に、１１７５のライン数（１２００−２５）を受信するまで待機する必要があり、その結果、ズーム光学系は、現在の画像の完了後にしか移動し始めない。

レンズの移動が現在の画像の露出に影響を及ぼさないことを保証できるようになるまで、レンズドライバ１１４に対するコマンド（６）が与えられない。制御ＣＰＵ１１３は、露出値及びブランキング期間も制御し、その結果、レンズの移動によって次の画像フレームが破損されない。現在又は次の画像フレームが必要とされないとき、制御ＣＰＵ１１３は、例えば、できるだけ迅速にシングルショットフォーカスを行うことを試みるときに次の焦点検出領域がレンズ移動によっては損しないよう注意する。グローバルシャッタを用いる場合、レンズ移動をできるだけ迅速に開始するためにグローバルシャッタのタイミングを知る必要がある。

図３は、測定画像フレーム内のオートフォーカスロケーションを示す。オートフォーカスロケーションを測定領域と考えることができ、センサアレイ１００において参照番号１０１〜１０８を付して示す。３ライン露出時間を用いた（ＣＭＯＳ）センサの最初の５ラインに関連する（ローリングシャッタを用いた）一つの露出例を、以下の表１に示す。

本例を説明するために、表のステップ４を考察する。ステップ４において、第１ライン（ライン１）が読み出され、次の２行（行２，３）が露出され、第４ライン（ライン４）がリセットされる。この後、第５ライン（ライン５）がステップ８で読み出されるまで次のステップが続く。以前のステップ１〜３は露出動作を開始し、これは、典型的には垂直ブランキング期間中に生じる。ステップ１〜４におけるライン１の動作を追跡する場合、当該ラインが、先ずリセットされ、その後２ライン中に露出され、最後に読み出されることがわかる。それに対して、リセットを追跡する場合、ステップ５の間にリセットがライン５に存在するようになるまで、リセットがステップ１においてライン１から１ライン前に進むことがわかる。本例において、次のライン又はブランキング時間を示さず、ブランキング時間は露出時間より長いと仮定され、これによって、現在の画像の最後のラインが読み出されるまでライン１を次の画像に対してリセットする必要がない。

本例において、ラインカウンタを、イメージングセンサの状態を評価する受信器論理１１１に関連して説明する。さらに、ラインカウンタを、時間測定に用いることもできる。本例は、露出時間が非常に短く、かつ、レンズ移動が非常に迅速である状況において作動する。短い露出時間は、露出時間が垂直ブランキング時間より短いことを意味し、これによって、レンズ移動の時間がブランキング時間内となる。典型的には、短い露出時間を、例えば、５０／（２０＊（１２００＋５０））秒＝１／５００秒＝２ミリ秒より小さくすることができ、この場合、５０をブランキングラインの量（本例では最大露出時間）とし、２０を、１秒間に読み出されたフレームの量とする（２Ｍｐｉｘ画像は１２００ラインを備える。）。したがって、露出時間がこれより短い場合、ブランキング期間内にレンズを移動するのに十分な時間が存在する。その理由は、十分な時間が存在いしない場合には次の画像の最初のラインが現在の画像の最後のラインが読み出される前に露出されるからである。ブランキングラインの量が例えば２倍である場合、ブランキング時間は正確には２倍にはならない。その理由は、（１００／（２０＊（１２００＋１００））秒＝１／２６０秒≒３．８５秒となるからである。同時に、センサ画素の読出しも速度を増す。その理由は、速度を増さない場合にはセンサから２０フレーム／秒を有することができないからである。典型的には、ローリングシャッタによって生じた画像の歪みが許容されうるようにするために、少なくとも１５フレーム／秒が必要とされる。静的なブランキング時間をできるだけ増大することもできる。その理由は、画像の実際の読出しが短時間で行われるからであり、したがって、画像の歪みが減少する。また、露出及びレンズ移動に更に多くの時間が与えられる。ブランキング時間を短く維持するとともに２倍の量のフレームをセンサから取得することもできるが、実際には、レンズの移動が撮像に影響を及ぼし、最大露出時間も減少する。他の状況において、後に説明する例（３．ブランキング時間を利用することによるレンズの移動及び画像の露出）を使用すべきであり、この場合、ブランキング時間は、静的（３．１）又は動的（３．２）に増加する。

表１は、例えば１２００の可視の画像ライン及び５０のブランキングラインを有するセンサの最初の５ラインの例を示す。第１ラインの読出しをステップ４で開始し、ステップ１〜３はブランキング時間中に行われる。露出時間は３ライン中であり、センサが１２００ライン及び５０ブランキングラインを有する例及びラインの読出しが４０マイクロ秒で行われる例に露出時間を関連させることによって、１２０マイクロ秒の露出時間となる。したがって、レンズの移動（＝非露出時間）に対して４７ラインが残り、これは、４７＊４０＝１．８８ミリ秒を意味する。本例におけるセンサの全体のブランキング時間は、５０＊４０マイクロ秒＝２ミリ秒となる。

２）高速フォーカス検出ソリューション
図４は、オートフォーカスシステムの例を示す。オートフォーカスシステムは、センサ３００と、フォーカス検出モジュール３１２と、オートフォーカス制御モジュール３１４と、光学系ドライバ３１５と、光学系３１６とを少なくとも備える。基本的な方法は、レンズをレンズ範囲を通じて移動するとともにコントラスト値を記録し、レンズを最適なコントラストの位置に移動する。本発明の本例によって、関連技術を用いて焦点を迅速に見つけることができる。本発明の概念は、一つ以上のフレーム内で一つ以上のレンズ位置から焦点を測定することであり、したがって、焦点の探索が更に短くなる。本例を以下の方法によって説明する。これらの方法において、レンズの位置を一定量増大する必要がなく、オートフォーカス制御が、測定のための新たなレンズ位置の選択を行う。

２．１ １フレーム内の一つのレンズ位置の測定
図５は、一つのレンズ位置を１フレーム読出し時間Ｔ_f内で測定する例を示す。画像フレームの測定領域Ｍからコントラストが検出される。レンズ位置の測定値は、測定領域Ｍのサブ領域から高周波成分（及び／又は帯域通過成分）を収集することによって取得される。測定されたサブ領域のセットのみを評価段階で用いることもできる。測定領域Ｍの最後のラインの読出しと（図５に示さない）次のフレームＮ＋１の測定領域Ｍの最初のラインの露出の開始との間のレンズ移動時間Ｔ_LENS中に、レンズを位置Ｐ_nと位置Ｐ_n+1との間で移動する。レンズをこれら時間窓外で移動させる場合、測定領域のラインは、混合データを取得し、測定領域は、もはや一つのレンズ位置のみに対応しない。位置Ｐ_n+1は、次のフレームＮ＋１で測定される。

レンズ移動に割り当てられた時間、すなわち、非露出時間は、

となる。この場合、Ｔ_expは露出時間を表す。

２．２ １フレーム内のＮ個のレンズ位置の測定
図６において、露出された１フレーム内で二つのレンズ位置を測定する。画像フレームＩの領域Ｍ１及びＭ２からコントラストが検出される。測定値は、高周波成分（及び／又は帯域通過成分）をサブ領域から収集することによって取得される。測定されたサブ領域のセットのみを評価段階で用いることもできる。領域Ｍ１の第１ラインの露出は、ラインＬ_readの読出し時に開始される。これは、領域Ｍ１の第１ラインがラインＬ_readの読出し露出を開始することを意味する。画像フレームＮの領域Ｍ１の最後のラインの読出しと領域Ｍ２の最初のラインの露出の開始との間の時間Ｔ_LensM1-M2中に、レンズを位置Ｐ_nと位置Ｐ_n+1との間で移動させる。画像フレームＮの領域Ｍ２の最後のラインの読出しと次のフレームＮ＋１の領域Ｍ１の最初のラインの露出の開始との間の時間Ｔ_LensM2-M1（画像中に示さず。）中に、レンズを位置Ｐ_n+1と位置Ｐ_n+2との間で移動させる。レンズをこれら時間窓外で移動させる場合、測定領域のラインは、混合データを取得し、測定領域は、もはや一つのレンズ位置のみに対応しない。位置Ｐ_n+1及びＰ_n+2は、次のフレームで測定される。露出時間Ｔ_expは、典型的には１フレームで一定であるが、当業者は、露出時間Ｔ_expが１フレームで変化しうることを理解する。

図７は、レンズ移動範囲の走査後の結果を示す。図７は、図６に関連し、二つの個別の測定領域に関連する曲線を示し、この場合、一方の測定領域が他方の測定領域より多くの情報を有する。曲線を組み合わせることによってピーク焦点位置を推定することができる。

露出時間Ｔ_expは、１フレーム内で測定を行うことができる回数を規定するのに用いられる。レンズ特性値、例えば、ＭＴＦ／ＰＳＦ（変調伝達関数／点像分布関数）を、焦点の決定を評価するときに利用することができる。

例２．２は、二つの測定領域を説明するが、当業者は、二つの数に限定されないことを理解する。同様に、上記例において、レンズ位置が連続的であるが、レンズ位置が異なることもできる。レンズ間の距離は、常に同一である必要がない。領域のサイズ及び位置は、露出時間及びレンズ移動に必要な時間に応じて変化することができる。

２．３ １フレーム（又は２フレーム）内の連続的な瞬時
本例（図８参照）は、例２．１と同様であるが、本例において、レンズは、特定のレンズ位置で停止する。領域Ｍのサブ領域は、全レンズ移動範囲の部分区間からのデータを有する。フォーカス値の解釈はこれを考慮する必要がある。露出時間もこれらの計算内で考慮する必要がある。本例は、書類や名刺のような平坦なオブジェクトの画像を取り出すときに有用である。

本例において、レンズを一定速度で移動させることができるが、レンズを、可変速度及び奇跡、例えば、フレーム中の複数サイクルの範囲で移動させることができる。他の実現において、レンズを第１フレーム間で最小から最大まで移動させることができ、レンズを第２フレーム間で最大から最小まで移動させることができる。このようにして、二つの曲線を形成することができ、その結果、画像の異なる部分の異なるコントラスト領域の影響を減少することができる。焦点の決定を評価するときにレンズ特性値（例えば、ＭＴＦ／ＰＳＦ）を利用することもできる。

２．４ グローバルシャッタを用いた高速フォーカシング
既に説明したように、従来、グローバルシャッタがＣＣＤセンサとともに用いられている。しかしながら、ＣＭＯＳセンサがグローバルリセット及びグローバルシャッタを有することもできる。図９は、オートフォーカスの計測にクロップ画像８１０が用いられるとともにフル画像８００をファインダ画像として用いることができる例を示す。第１タイミングチャート８０１は、フレームレート及び収束速度が通常ＡＤＣ（アナログ−デジタル変換）速度によって制限される通常動作モードを有する。当然、露出時間が非常に長い場合、露出時間が制限要因になりうる。第２タイミングチャート８０２は、収束速度を最大にするがファインダ画像が全く取得されない系を示す。この場合、収束速度は、レンズ移動、リセット及び露出時間によって制限される。第３タイミングチャート８０３は、高速フォーカシングを達成することができるがプレビュー画像を理想的なフレームレートで示すことができる例を示す。クロップが行われるとき、クロップ領域ウィンドウの外側の全ての変化を無視することができ、ＡＤ変換が行われない。

高速焦点検出ソリューションは、焦点を見つけるのに必要な時間となる重要な利点を有する。例えば、Ｘが必要な測定量に対応する場合、例２．１により、時間を、（露出時間を制限することによって）Ｘフレームまで短縮することができ、例２．２により、時間をＸ／Ｎまで短縮することができ、例２．３により、時間を１フレームによって短縮することができ、例２．４により、時間を、測定用のフレームレートを増大することによって短縮することができる。例２．３は消費電力も低減する。その理由は、連続的な収束を必要としないからである。

３）ブランキング時間を利用することによるレンズの移動及び画像の露出
本例は、ブランキング期間が制御され（動的に変化するブランキング期間）又は露出時間及びレンズ移動時間が制御される（静的なブランキング期間）方法を説明する。動的に変化するブランキング期間を用いるとき、画像情報を損なうことなく既知の露出時間及びレンズ移動時間内で最大画像フレームレートを達成することができる。レンズ移動を用いて又はレンズ移動を用いることなく最大画像フレームレート内で自動的な昼夜の光のシーン変動を用いることができる。動的に変化するブランキング期間を用いるとき、フレームレートは一定でない。しかしながら、静的なブランキング期間によって一定のフレームレートが可能になる。

両方のブランキング時間のシナリオでローリングシャッタ及びグローバルシャッタを用いることができる。グローバルシャッタを用いることによって、全体画像がセンサから送信されなくてもシャッタを閉じた直後にレンズ移動を開始することができる。イメージセンサのシステムクロックを変更することなく両方のブランキングソリューションを実現できることを覚えておくことも重要である。これは大きな利点である。その理由は、そのような状況において位相同期ループ（ＰＬＬ）をセットアップするときに画像フレームをスキップし又は悪い品質の画像フレームを送信する必要がないからである。

３．１ 静的なブランキング期間
本例の一つの実現（図１０）において、所望のイメージ周波数は、バスを使用したレートに基づく最大ブランキング時間によって達成され、その後、露出時間は、レンズを移動させる方法に応じて規定されたブランキング時間の制限内でレンズの移動を可能にするよう最大に制限される。露出時間を、短縮された露出時間をアナログ又はデジタル利得に置換するように制限することができる。参照符号９６ａ，９６ｂは、完全な可視画像フレームの非露出時間を表し、それに対して、参照符号９７ａ，９７ｂは、ＡＦ統計ブロックの非露出時間を表す。図１０において、フレームブランキング９２ａ，９２ｂ，９２ｃ、ラインブランキング９１ａ，９１ｂ及び埋め込み／補助データ９４ａ，９４ｂ，９４ｃ，９４ｄを示す。ラインの読出しは、参照符号９８によって参照され、この場合、露出時間を参照符号９５によって参照するとともに、可視データを参照符号９９によって参照する。

このシステムにより、ラインの総数を一定に設定することによってイメージ周波数が一定に維持されると仮定される。しかしながら、利得を増大し、したがって、ダイナミックエリアを減少する以外に画像を損なうことなく、バスのレートの制限内及び読出し速度の制限内で、制限された露出に対する十分な時間及びレンズ移動に必要な十分な制限時間がある。

静的なブランキング期間が用いられる場合、露出時間及びレンズ移動時間は、画像中にアーティフェクトなく画像を取得できるよう制限される。これは、ブランキング期間をできるだけ長くする必要があることを意味し、これは、必要なフレームレート内でインタフェースによって可能になる。さらに、長い露出時間及び長いレンズ移動時間が要求される場合、一方又は両方を制限する必要がある。これは、例えばアナログ利得によって露出時間を補償する必要があることを意味し、ズーミングの速度が減少する。

３．２ 動的なブランキング期間
ローリングシャッタに対する現在の例の他の実現において、レンズ移動及び次の画像の最初のラインの露出に必要なフレームブランキング時間１０２ａ，１０２ｂ，１０２ｃが各画像に対して用いられ、その露出量は、露出時間１０５ａ，１０５ｂによって規定される。したがって、フレームブランキング時間１０２ａ，１０２ｂ，１０２ｃは、画像に従って変動し、完全な画像に対して十分な非露出時間を有するために、対応する露出時間１０５ａ，１０５ｂより大きくなる必要がある。この例を図１１に示す。

レンズ移動を、以前の画像（フレームＮ−１）の最後の可視ラインが露出された直後に開始することができる。したがって、レンズ移動の制御を、レンズがどの方向に移動することになっているか（ズーム制御又はオートフォーカス制御）及びレンズ移動を開始するのに必要な遅延が最後の可視画素（ライン）の露出から残されているときを知ってから開始することができる。さらに、レンズを所定の位置に配置した後、最初の画素（ライン）の露出を、当該ラインの画素をリセットすることによって開始することができる。次の画像（フレームＮ＋１）に対して行われるレンズ移動及びそれに必要な時間（１０６ａ，１０７ａ，１０６ｂ，１０７ｂ）は、どの動作−ズーミング制御又はオートフォーカス制御−が行われるか並びにレンズ移動の量及び方向を知る場合には現在の画像（フレームＮ）を露出する前に既に知られている。ファインダ画像の場合、フォーカシングのみが重要であり、したがって、レンズ移動の時間（１０７ａ，１０７ｂ）は、静止画像又はビデオ画像のレンズ移動の時間（１０６ａ，１０６ｂ）とは異なる。ズーム制御はユーザによるものであり、レンズが極めて頻繁に連続的に前後に移動しないようにするために連続的なオートフォーカス制御に十分なヒステリシスが存在す必要がある。さらに、次の画像（フレームＮ＋１）の露出（１０５ｂ）が既に知られており、これによって、現在の画像（フレームＮ）のブランキング領域（１０２ｂ）の必要なブランキングラインの量を計算するのが容易になる。

本例において、センサの読出し速度は変化せず、したがって、センサのシステムクロックに影響を及ぼす必要がなく、送信されるとともに画像中に存在する可視ライン及びブランキングラインの量にしか影響が及ぼされない。ラインブランキング領域（１０１ａ，１０１ｂ）のブランキング画素は、表示される画像すなわち可視画像１０９ａ，１０９ｂに含まれない画素である。他の不可視画像領域、例えば、垂直ブランキング、補助／組込みデータ、ダミー画素、暗画素、黒画素及び製造者特有のデータが存在してもよい。可視ラインの量の変化は、画像をデジタル的にズームするときに通常行われる画像クロップに対応する。

図１１は、ブランキングラインを挿入することによるフレームブランキングの変更を示すが、少なくともＳＭＩＡ(Standard Mobile Imaging Architecture)仕様のセンサにより、画素をラインの端に挿入することによってラインブランキングを変更することもできる（１０１ａ，１０１ｂ）。ＳＭＩＡセンサは、本来、システムクロックを変更することなくイメージ周波数を一定に制御するように意図されている。同様に、これらセンサは、画像限界に亘る画像のレート又は連続的な露出を読み出す必要なく長い露出時間を実現するよう設計される。本例の制御構造を用いることによって、できるだけ大きな画像レートを達成することができる。さらに、レンズ移動が画像のあらゆる段階で示されない。したがって、このシステムは、画像を損なうことなく所望のときにレンズを移動できるよう画像を露出することによる所望の露出時間でできるだけ大きなイメージ周波数を提供する。更に適切なファインダフレーム更新を全く必要とせずブランキング領域を動的に増大できることにも注意されたい。例えば、現在のフレームの開始から次のフレームの開始までが１，２，．．．，ｎ／６０秒となるようにブランキングラインを追加する。

３．３ 概要
図１０及び１１は、静的なブランキング期間ソリューション及び動的なブランキング期間ソリューションをそれぞれ示す。図１０及び１１の両方において、レンズ移動の時間、露出時間及びフォーカシングデータエリアを記載する。図１０と図１１との間の最も大きな差は、図１０において、ブランキング期間が等しいとともにレンズ移動の時間（９６ａ，９７ａ，９６ｂ，９７ｂ）が必要な露出時間（９５ａ，９５ｂ）に基づいて変動する（逆もまた同様）。図１１において、レンズ移動の時間（１０６ａ，１０７ａ，１０６ｂ，１０７ｂ）及び露出時間（１０５ａ，１０５ｂ）が既知であり、ブランキング期間がこれらの時間に基づいて変動する。

上記プロセス（３．１，３．２）がグローバルシャッタを用いて以下のように行われる。画像の露出がグローバルシャッタによって閉じられ、その後、レンズ移動を開始することができる。レンズ移動は、当該画像のセンサからの読出しがどれだけ続くかに関係なく開始される。同様に、画素のグローバルリセット（すなわち、グローバルシャッタの開放）、したがって、新しい画像の露出は、レンズを正確な位置に移動するとともに以前の可視画像をセンサから読み出し、読出し後にグローバルシャッタを開放した直後に開始される。この場合、非露出時間は、シャッタを閉じた後にセンサが読み出される時間であり、次の画像の最初に使用されるライン前のブランキング時間がリセットされる（典型的には、グローバルリセット）。非露出時間中、センサは、最後の画像において目に見える画素又は測定に用いられる画素に対する光を受光しない。

最大イメージ周波数を対象にするプロセス（３．２）を用いるか否かに関係なく、レンズ移動に用いることができる時間が長くなるに従って、露出時間が短くなる。このために、光学的なズーム／オートフォーカスレンズは、通常より迅速に又は通常より少ない一時的な容量で同一経路を移動する。

ある状況において、ファインダ画像の一時的な破損を防止することが所望されない。その理由は、そのような画像が後の使用のために記憶されないからである。したがって、できるだけ迅速で長い露出時間のオートフォーカスを、フォーカス制御に属しない画素／画素ラインの露出中のレンズ移動により両方のプロセス（３．１，３．２）に対して達成することができる。この移動は、ファインダ画像で見えるが、最終画像及び格納された静止画像には見えない。ビデオ画像に対しても、できるだけ迅速に最初のオートフォーカス制御を実現するのが好ましく、したがって、統計に用いられる領域が損なわれない限り画像が破損されない。

制限値に従った読出し速度でほぼ毎回露出時間を制御することができるので、レンズを制御する必要がほとんどない。したがって、最大イメージ周波数を対象とした実行（３．２）において、ブランキング時間をしばしば零（又はセンサリミット）にセットすることができる。さらに、最大イメージ周波数を対象とした実現は、（レンズ移動を用いて又はレンズ移動を用いることなく）夜／昼モードの自動制御において良好に行われ、これによって、ブランキングが照明状態に応じて増大するが、ファインダ画像は、必要以上に遅くならない。

このような実現によって、損傷のない画像が得られ、所望の場合には、当該照明状態及び制御状態で最大イメージ周波数の画像が得られる。さらに、最大イメージ周波数を対象としない場合、一定のイメージ周波数のレンズ移動を行うことができ、レンズ移動方法に従って最大露出アイテムを確保することができる。同様に、露出時間が短い場合、レンズ移動が遅くなるときにズーミングを迅速にし又は一時的なピーク効果を減少することができる。

実現
上記例を、移動体装置、デジタルカメラ、ウェブカメラ等の電子装置の一部である撮像システムの制御ＣＰＵ上で実現することができる。更に迅速かつ更に正確なタイミングを有するようにするために、専用のハードウェアの実現がイメージセンサ又は受信器ブロックにおいて必要となりうる。図１２は、電子装置のあり得る形態を示す。図１２の装置１２００は、送信器１２２１及び受信器１２２２を有する通信手段１２２０を備え又はそのような通信手段１２２０に接続される。送信器１２８１及び受信器１２８２を有する他の通信手段１２８０が存在してもよい。第１の通信手段１２２０を、遠隔通信に適合させることができ、他の通信手段１２８０を、ブルートゥース（登録商標）システム、ＷＬＡＮシステム（無線ローカルエリアネットワーク）又はローカル使用に適するとともに他の装置と通信を行う他のシステムのような種類の狭域通信手段とすることができる。図１２の例による装置１２００は、視覚的な情報及びイメージデータを表示するディスプレイ１２４０も備える。さらに、装置１２００は、データを入力するキーパッド１２５０のようなインタラクション手段を備えることができる。さらに、ディスプレイがタッチスクリーンディスプレイであるか否かに関係なく、装置１２００は、キーパッド１２５０の代わりにスタイラスペンを有することができる。装置１２００は、イヤホン１２６１やマイクロホン１２６２のようなオーディオ手段１２６０を備え、オーディオ情報を符号化する（必要な場合には復号を行う）コーデックを選択的に備える。装置１２００は、撮像システム１２１０を備え又は撮像システム１２１０に接続される。装置１２００において機能を制御するとともにアプリケーションを実行するために制御ユニット１２３０を装置１２００に組み込むことができる。制御ユニット１２３０は、一つ以上のプロセッサ（ＣＰＵ，ＤＳＰ）を備えることができる。さらに、装置１２００は、例えば、データ、アプリケーション及びコンピュータプログラムコードを記憶するメモリ１２７０を備える。当業者は、撮像システムがシステムの効率を適切に向上する任意の数の性能及び機能を組み込むこともできることを理解する。

上記詳細な説明は、理解の明瞭のためにのみ与えられたものであり、必ずしも請求の範囲を限定するためのものではない。

画像シーケンスの例を示す。 光学系の調節に対するタイミングソリューションの例を示す。 オートフォーカス窓を備えた画像フレームの例を示す。 オートフォーカスシステムの例を示す。 フレーム期間中の一つの光学系の位置及び調節の例を示す。 １フレーム内でＮ個の光学系の位置の測定の例を示す。 光学系の位置の関数としての焦点測定の例を示す。 １フレーム中の全焦点走査の例を示す。 グローバルシャッタによる焦点走査の例を示す。 静的なブランキング期間ソリューションの例を示す。 動的なブランキング期間ソリューションの例を示す。 本発明による装置の例を示す。

Claims (38)

1. 少なくとも一つが測定画像として用いられるとともに少なくとも一つが最終画像として用いられる少なくとも二つの画像を備えた画像シーケンスを取得するステップと、
   測定画像露出時間及び最終画像露出時間を決定するステップと、
   前記測定画像露出時間と前記最終画像露出時間との間の非露出時間を決定するステップと、
   前記非露出時間中に撮像光学系の調節を許容するステップと、を備えた撮像方法。
2. 前記画像シーケンスの小さい画像を前記測定画像として使用し、大きい画像を前記最終画像として使用する請求項１に記載の撮像方法。
3. ビデオ画像又はファインダ画像の場合に前記測定画像を前記最終画像として使用する請求項１に記載の撮像方法。
4. 少なくとも前記最終画像を記憶する請求項１に記載の撮像方法。
5. 前記非露出時間を、前記測定画像のサイズの制御、前記測定画像のサブサンプリング、前記画像シーケンスの読出しに用いられるチャネルレートの変更、及び、前記測定画像露出時間と前記最終画像露出時間の一方又は両方の制御のうちの一つ又はその組合せによって延長する請求項１に記載の撮像方法。
6. 前記測定画像を測定画像フレームと画像フレームの測定エリアのうちの一方とする請求項１に記載の撮像方法。
7. オートフォーカス統計を前記測定画像から計算する請求項１に記載の撮像方法。
8. 前記非露出時間を、前記オートフォーカス統計、イメージセンサの画素量を含む情報及びズームハードウェアにおける送信クロック周波数のあり得る遅延によって決定する請求項７に記載の撮像方法。
9. 少なくとも一つの測定領域を少なくとも測定画像において規定して、オートフォーカスを、前記少なくとも一つの測定領域において少なくとも一つのレンズ位置から測定する請求項１に記載の撮像方法。
10. フォーカス測定値を、前記少なくとも一つの測定領域のサブ領域から高周波成分及び通過帯域周波数成分を収集することによって取得する請求項９に記載の撮像方法。
11. 前記撮像光学系を、同一画像における第１の測定領域の最後のラインの読出しと第２の測定領域の最初のラインの露出との間、第１の画像の第１の測定領域の露出と第２の画像の第２の測定領域の露出との間、又は常に撮像中に調節する請求項１０に記載の撮像方法。
12. 前記非露出時間を決定するときにブランキング時間を利用する請求項１に記載の撮像方法。
13. 前記撮像光学の調節の際に前記非露出時間を規定するために最大ブランキング時間を用いる請求項１２に記載の撮像方法。
14. 前記非露出時間を規定するために前記ブランキング時間を露出時間に従って制御する請求項１２に記載の撮像方法。
15. 前記画像シーケンスを、静止画像、ビデオ画像、ファインダ画像又はこれらの組合せによって形成する請求項１に記載の撮像方法。
16. 撮像光学系の調節に用いられる非露出時間を決定する方法であって、
    少なくとも一つの測定画像及び少なくとも一つの最終画像を備えた画像シーケンスを取得するステップと、
    前記測定画像からオートフォーカス統計を計算するステップと、
    前記最終画像に対して用いられる非露出時間を前記オートフォーカス統計によって決定するステップと、を備えた方法。
17. 撮像光学系の調節に用いられる非露出時間を決定する方法であって、
    少なくとも一つの測定画像及び少なくとも一つの最終画像を備えた画像シーケンスを取得するステップと、
    少なくとも前記測定画像において少なくとも一つの測定領域を規定するステップと、
    前記測定領域において少なくとも一つのレンズ位置からオートフォーカスを測定するステップと、
    前記測定領域の最後のラインの読出しと次の測定領域の最初のラインの露出の開始との間で非露出時間を規定するステップと、を備えた方法。
18. 前記撮像光学系を、連続的な画像において一つの画像の前記測定領域の最後のラインの読出しと前記測定画像の最初のラインの露出の開始との間、一つの画像の一つの測定領域の露出と同一画像の次の測定領域の露出との間の時間中、又は常に撮像中に調節する請求項１７に記載の方法。
19. 撮像光学系の調節に用いられる非露出時間を決定する方法であって、
    少なくとも一つの測定画像及び少なくとも一つの最終画像を備えた画像シーケンスを取得するステップと、
    前記画像シーケンス中に生じる少なくとも一つのブランキング時間を規定するステップと、
    前記ブランキング時間内で前記撮像光学系の調節を制御し又は前記ブランキング時間を制御することによって前記非露出時間を規定するステップと、を備えた方法。
20. 調節可能な撮像光学系と、少なくとも一つを測定画像とするとともに少なくとも一つを最終画像とした少なくとも二つの画像を備えた画像シーケンスとしてプロセッサに供給される光を収集する少なくとも一つのイメージセンサと、画像の露出を制御する露出制御手段とを備え、
    測定画像露出時間及び最終画像露出時間を決定し、
    前記測定画像露出時間と前記最終画像露出時間との間の非露出時間を決定し、
    前記非露出時間中に撮像光学系の調節を許容することができる撮像装置。
21. 前記画像シーケンスの小さい画像を前記測定画像として使用し、大きい画像を前記最終画像として使用することができる請求項２０に記載の撮像装置。
22. ビデオ画像又はファインダ画像の場合に前記測定画像を前記最終画像として使用する請求項２０に記載の撮像装置。
23. 前記最終画像を記憶することができる請求項２０に記載の撮像装置。
24. オートフォーカス統計を前記測定画像から計算することができる請求項２０に記載の撮像装置。
25. 前記非露出時間を、前記オートフォーカス統計、イメージセンサの画素量を含む情報及びズームハードウェアにおける送信クロック周波数のあり得る遅延によって決定することができる請求項２４に記載の撮像装置。
26. 少なくとも一つの測定領域を少なくとも測定画像において規定するとともに、オートフォーカスを、前記少なくとも一つの測定領域において少なくとも一つのレンズ位置から測定することができる請求項２０に記載の撮像装置。
27. 前記非露出時間を規定するために最大ブランキング時間を用いることができる請求項２０に記載の撮像装置。
28. 前記非露出時間を規定するためにブランキング時間を露出時間に従って制御することができる請求項２０に記載の撮像装置。
29. 前記画像シーケンスを、静止画像、ビデオ画像、ファインダ画像又はこれらの組合せによって形成した請求項２０に記載の撮像装置。
30. シャッタ手段がローリングシャッタ又はグローバルシャッタである請求項２０に記載の撮像装置。
31. 非露出時間を決定する撮像モジュールであって、請求項１から１５のうちのいずれか１項による方法を実施することができる撮像モジュール。
32. 非露出時間を決定する撮像モジュールであって、
    少なくとも一つの測定画像及び少なくとも一つの最終画像を備えた画像シーケンスを取得し、
    前記測定画像からオートフォーカス統計を計算し、
    前記最終画像に対して用いられる非露出時間を前記オートフォーカス統計によって決定することができる撮像モジュール。
33. 非露出時間を決定する撮像モジュールであって、
    少なくとも一つの測定画像及び少なくとも一つの最終画像を備えた画像シーケンスを取得し、
    少なくとも前記測定画像において少なくとも一つの測定領域を規定し、
    前記測定領域において少なくとも一つのレンズ位置からオートフォーカスを測定し、
    前記測定領域の最後のラインの読出しと次の測定領域の最初のラインの露出の開始との間で非露出時間を規定することができる撮像モジュール。
34. 非露出時間を決定する撮像モジュールであって、
    少なくとも一つの測定画像及び少なくとも一つの最終画像を備えた画像シーケンスを取得し、
    前記画像シーケンス中に生じる少なくとも一つのブランキング時間を規定し、
    前記ブランキング時間内で前記撮像光学系の調節を制御し又は前記ブランキング時間を制御することによって前記非露出時間を規定することができる撮像モジュール。
35. 撮像を行うためのコンピュータプログラムプロダクトであって、読出し可能な媒体に記憶されるとともにコンピュータ上での実行の際に請求項１から１５のうちの１項に記載された方法を実施するように適合したコード手段を備えたコンピュータプログラムプロダクト。
36. 撮像を行うためのコンピュータプログラムプロダクトであって、読出し可能な媒体に記憶されるとともにコンピュータ上での実行の際に請求項１６に記載された方法を実施するように適合したコード手段を備えたコンピュータプログラムプロダクト。
37. 撮像を行うためのコンピュータプログラムプロダクトであって、読出し可能な媒体に記憶されるとともにコンピュータ上での実行の際に請求項１７又は１８に記載された方法を実施するように適合したコード手段を備えたコンピュータプログラムプロダクト。
38. 撮像を行うためのコンピュータプログラムプロダクトであって、読出し可能な媒体に記憶されるとともにコンピュータ上での実行の際に請求項１９に記載された方法を実施するように適合したコード手段を備えたコンピュータプログラムプロダクト。

Images