JP2010523015A - 多様なモードにおいて操作可能なマルチレンズカメラ - Google Patents

Abstract

エレクトロニックカメラが、1つのシーンの別々のイメージを取得するための第1及び第2イメージング段を含み、それらの段の1つがデフォルトイメージング段として指定される。プロセッサは、該別々のイメージの取得及び表示を可能にし、さらに、デジタルカメラに保存されたシーンのイメージを取得するために主に使用されるイメージング段の1つを選択するオペレータ選択に反応する。該オペレータ選択が所定期間内に生じなかった場合、又はカメラが、該時間が切れる前に作動した場合、該プロセッサはデフォルトイメージング段を主要取得ユニットとして自動的に選択する。

Description

本発明は、デジタルイメージファイルを形成するデジタルカメラに関し、さらに詳しくは、広角及び望遠イメージングモードなどの多様なイメージングモードを提供するために、マルチレンズ及びイメージセンサーを使用したデジタルカメラに関する。

ほぼ全てのデジタルカメラは、現在、ズーム撮像レンズ及びシングルカラー・イメージセンサーを使用して、静止画及び動画を取得する。その取得されたイメージは、次に、デジタルイメージファイルを形成するために処理され、そのカメラの中のデジタルメモリーに保存される。そのデジタルイメージファイルは次に、コンピューターに転送され、インターネットを通して表示、印刷及び共有される。

動作する対象物のシャープなイメージを取得するためには、デジタルカメラは、精度の高い自動レンズ調節システム（すなわち、オートフォーカスシステム）を備えている必要がある。オートフォーカスシステムは、シャッターボタンが押される時と静止画が取得される間に、「シャッター遅延」を最小限に抑えるため、素早く正確な焦点を獲得しなければならない。また、そのオートフォーカスシステムは、ビデオイメージが取得される連続的なイメージ取得モードで作動しなければいけない。例えば、ビデオモードでは、ビデオイメージが連続的に取得されている間に、リアルタイムで焦点が合わせられるべきである。

多くのデジタルカメラ及びスキャナーは、イメージセンサー及び調節可能な焦点を持つ撮像レンズシステムを使用することによって、イメージを取得する。通常、そのような焦点調節撮像レンズシステムの焦点距離は、感知、制御及び駆動システムによる複数の異なる設定のうちの１つに自動的に設定することができ、それらのシステムは、１つのシーンにおける対象領域であると決定された領域の最適な焦点を提供する。焦点測定及び焦点調節レンズに基づいた、自動的な焦点調節が可能な設定を備えるレンズシステムは、ここではオートフォーカスシステムとして呼ばれる。デジタルカメラは、通常、2種類のオートフォーカスシステムを使用する：距離計システム及び「スルー・ザ・レンズ（through-the-lens）」フォーカスシステムである。

距離計システムは、音響距離計又は2重レンズ距離計などの距離計センサーを使用し、カメラからその距離計システムの視野の中のシーンの1つ又は複数の部分への距離を決定する。音響距離計は、投影された音響信号及び反射した音響信号との間の位相オフセットを測定し、そのシーンにおける物体への距離を推定する。2重レンズ距離計は、適合するイメージのペアを取得する、2つの対応するセンサー領域と同様に、ある距離で間隔が置かれた２つのレンズを含む。2重レンズ距離計は、一般的に、2重レンズ距離計モジュールの形でデジタルカメラに使用され、該モジュールは、対応する2つのセンサー領域と同様に、ある距離で間隔が置かれた、低解像度のイメージのペアを取得する2つのレンズを含む。

一般的な2重レンズ距離計に基づくオートフォーカスシステムは、アクティブ及びパッシブシステムを含む。アクティブシステムは、光をアクティブにシーンに投影し、一方、パッシブシステムは、そのシーンから得られる光によって作動する。2重レンズ距離計モジュールは、FM6260Wなどの2、3のモードによってFuji Electricから購入が可能である。カメラなどの光学機器用の2重レンズ距離計モジュールは、1986年8月19日にHaruki et al.に発行された（また、Fuji Electricに割り当てられた）特許文献１に記載されている。該特許における従来技術の記載によると、低解像度の整合したイメージのペアは、その2つのレンズ間の距離によって生じる2つのイメージ間のオフセットを決定するために、その2つのイメージの相互関係に関して解析される。

従来型の距離計の動作の原理を説明する略図は、ここでは図27において示されている。その略図では、物体151からの光が、2つの小型レンズ152及び153に入射する。それらのレンズは、十分に小さい焦点距離を持ち、物体151から、異なった間隔の光路154及び155を通して受けられる光線が、それらに共通する焦点面156において、対応する間隔のイメージ157及び158を形成する。物体151が無限の距離に位置する場合、イメージ157及び158の中心は図27に示される基準点170及び180に位置するが、物体151がより近くに位置する場合、イメージの中心は、171及び181の位置に別々にシフトされる。イメージ157及び158が基準位置170及び180からシフトされる距離が、それぞれx₁及びx₂として指定される場合、シフトの合計xは次のように表わされる：
x＝x₁＋x₂＝b・f/d
従って、物体151への距離は、d= b・f/xによって測定することができる。この場合、bが小型レンズの光軸間の距離であり、基線長のことである。シフトされた量、x₁及びx₂、又は両xの和を取得するためには、図27に示されるように、2つの光学センサーアレイ190及び191が、焦点面156において提供される。これらの光学センサーアレイはそれぞれ、例えばCCDデバイスなど、複数の光学センサーを含み、それぞれの光学センサーに入射するイメージ部分における光度に対応するアナログの光電子信号が、該センサーによって発せられる。Haruki et al.は、従来型の回路を示す。また、左側及び右側の光学センサーアレイからのデジタルイメージング信号を含む2つのイメージング信号列を比較することによって、シフトされた距離であるxの和を取得するために、該特許に従った、より高スピードの距離測定回路も示す。

基本的に、オフセット情報xは、レンズの間隔距離b及び焦点距離fと共に使用され、三角測量によってシーンへの距離を計算する。計算されたシーンへの距離dは、最も高質なイメージを形成するように、焦点調節レンズの配置をガイドするために使用される。従来技術で知られているように、この調節は、2重レンズ距離計モジュールによって測定されたシーンへの距離と「スルー・ザ・レンズ」オートフォーカスシステムによって形成された最も焦点が合ったイメージのシリーズとの間に設定されたキャリブレーション曲線に基づいていてもよい。そのキャリブレーション曲線は、数式又はカメラのマイクロプロセッサにおけるルックアップ・テーブルとして保存される。

距離計に基づくオートフォーカスシステムは、非常に速いという利点を持ち、いくつかのレスポンスタイムは、0.01-0.05秒の範囲にある。しかし、いくつかの距離計に基づくオートフォーカスシステムは、異なった動作条件において使用される場合、変化することがある。例えば、音響オートフォーカスシステムは、ガラス窓を通して焦点合わせをすることができなく、それはガラスが投射された音響信号を止めるためであり、従ってオートフォーカスシステムはガラス上で焦点合わせをする。2重レンズ距離計オートフォーカスシステムの場合、2重レンズ距離計の精度は、通常、温度及び／又は湿度など環境条件の変化によって影響を受ける。2重レンズ距離計モジュールの問題は、2重レンズ距離計モジュールと焦点調節レンズの位置との間のキャリブレーションが、デジタルカメラの普通の動作環境内において安定していないことである。温度及び湿度の変化などの環境条件は、2重レンズ距離計モジュールによって測定されるシーンの対象部分への距離が、10%を上回って変化する原因となり得る。さらに、焦点調節撮像レンズシステムにおける焦点調節撮像レンズは、環境的に誘導された変化も起こしやすく、その結果不正確さが、その焦点調節レンズの制御システムにおいて発生する。その結果、2重レンズ距離計モジュールは、通常、デジタルカメラのオートフォーカスに個別には使用されないが、その代わりに「スルー・ザ・レンズ」オートフォーカスシステムによって補充される大まかな焦点調節に使用される。

その代わりに、その「スルー・ザ・レンズ」オートフォーカスシステムは、複数の異なった焦点距離に位置された焦点調節レンズシステムで取得した、オートフォーカスイメージのシリーズの解析を通して焦点状態を決定する。例えば、典型的な「スルー・ザ・レンズ」オートフォーカスシステムでは、複数のオートフォーカスイメージ（例えば5-20）が、いわゆる「ヒル・クライム（hill-climb）」法で、異なった位置のシリーズにおいて焦点調節レンズで取得される。この種類のオートフォーカスは、例えばヒル（hill）などのピーク（peak）を越えるまでレベルが増加する値のシリーズを発生させるため、「ヒル・クライミング（hill-climbing）」オートフォーカスとして知られている。言い換えれば、レンズ焦点位置は、イメージ又はそのイメージの特定の領域における端の詳細のコントラストが最大になるまで、自動的に調節される。例えば、それぞれのオートフォーカスイメージに存在するコントラストが比較され、最大コントラストを持つイメージは、最も良い焦点条件で取得されることになっている（最も良い焦点レンズ位置は、さらにイメージ間におけるコントラスト値を補間することによって改善される）。

焦点合わせの精度を犠牲にせずに焦点レスポンスタイムを縮小するためには、ビデオ信号のより高い周波数成分だけでなく、より低い周波数成分を隔離するフィルターを使用するのが一般的である。例えば、レンズは最大焦点から最も遠い低周波数範囲において大まかな調節段階で素早く駆動し、次に最大焦点に最も近い高周波数範囲で細かい段階で駆動してもよい。従来の「ヒル・クライミング」コントラスト・オートフォーカス法のアルゴリズムのフロー図が図28に表わされている。このアルゴリズムは、上記で説明され図29に表わされる「ヒル・クライミング」コントラスト・オートフォーカス法を使用し、フィルターから取得された焦点値及びレンズ位置との間の関係を説明する。図29では、横座標は距離軸に沿ったレンズの焦点位置を示し、縦座標は、焦点合わせの評価値を示し、A及びBの曲線は、特定の焦点位置Pに関して、高周波数及び低周波数成分での焦点合わせの評価値をそれぞれ示す。

図28のフロー図を参照すると、そのアルゴリズムの最も良い開始点が、現在のレンズ設定の過焦点距離に依存しており、過焦点距離は焦点距離及びf値の関数である。約2mの距離は、通常、良い開始点である。そして、低周波数バンドパスフィルターが搭載され（段階197）、焦点値が読み込まれる。アルゴリズムは比較段階198を利用し、増加する焦点値に向けてレンズ調節の方向を設定し、また、そのレンズが「ヒル（hill）」の上にかかるかを決定する。現時点の焦点距離及びf値に依存する被写界深度は、段階数（すなわち、次の短焦点位置）を設定し、それは、焦点位置低周波数バンドパスフィルターを使用する場合、次のフレームを取得する前に設定されるべきである。一度そのヒルのピークを過ぎると（図29、曲線B）、高周波数バンドパスフィルターが搭載され（段階199）、そのレンズは、より高いヒルのピークが見つかるまで反対方向に動かされる（図29、曲線A）。そのピーク焦点値は、多数のピクセルの加重平均又はピーク値のどちらを使用してもよい。

「スルー・ザ・レンズ」オートフォーカスシステムは、高画質撮像レンズで取得されたオートフォーカス・イメージから、直接、焦点合わせの質を測定するため、非常に正確である。残念ながら、「スルー・ザ・レンズ」オートフォーカスシステムは、取得及び比較されなければいけないオートフォーカス・イメージが多数あるため、焦点設定を決定するのが比較的遅い。例えば、「スルー・ザ・レンズ」オートフォーカスシステムは、焦点の条件を決定するのに0.5-2.0秒もかかる。

従って、いくつかのデジタルカメラでは、2種類のオートフォーカスシステムがハイブリッド・システムにおいて一緒に使用され、そのシステムでは、距離計に基づくオートフォーカスシステムが使用され、焦点調節レンズの位置の迅速な推定を提供し、次に、焦点の設定を改善するのに「スルー・ザ・レンズ」オートフォーカスシステムが使用される。例えば、「Focus Apparatus for Adjusting Focus of an Optical Instrument」と題する、2005年3月8日にMisawaの名で発行された特許文献２は、距離計に基づくオートフォーカスシステムの「スルー・ザ・レンズ」オートフォーカスシステムと共に使用する組織的な使用について記載している。Misawaでは、焦点調節撮像レンズの焦点位置は、距離計に基づくオートフォーカスシステム及び「スルー・ザ・レンズ」オートフォーカスシステムの両方によって決定される。その距離計に基づくオートフォーカスシステムによって決定される焦点調節撮像レンズの位置と「スルー・ザ・レンズ」オートフォーカスシステムによって決定される焦点調節撮像レンズの位置との違いは、その後の参考のために保存される。それに続くイメージ取得のエピソードでは、その保存された違いの情報が、「ヒル・クライム」法において「スルー・ザ・レンズ」オートフォーカスシステムによって取得及び解析されたオートフォーカスイメージの数を改善することに使用される。従って、距離計システムが正確な場合には、取得及び処理されたオートフォーカスイメージの数は低減し、距離計が不正確な場合には、取得及び処理されたオートフォーカスイメージの数は増加する。しかし、Misawaに記載された方法は、距離計、焦点調節撮像レンズシステム及び制御システムのパフォーマンスは一定しており、環境条件のばらつきによって変動せず、また、その他の場合も時間と共に変化又はドリフトしない。

一度イメージの焦点が合わせられると、「ヒル・クライム」法は通常、現在焦点が合わせられている対象物の近くの徐々に増加する距離において動作する。そして、イメージを再度焦点合わせする際に、「ヒル・クライム」法は、どのレンズの動作も「ヒル」を上がる方向又は下がる方向にまたがっていないか決定し、新しい最大値のためにそのレンズをリセットする。実際には、これは、レンズの動作が「ヒル」を下がる方向にかかる場合、そのレンズの動作は、存在する対象物の新しい最大値を探すために、すぐに逆になる。これは、現在の対象物からいくらか先の距離にある新しい対象物がイメージの中に入り、たとえその新しい対象物が、コントラスト値においてさらに高い「ヒル」を表わしても、「ヒル・クライム」法では二度と検出されないという、ビデオの焦点調節における独特の問題である。この問題に対応する1つの方法は、「ホール・ウェイ（whole way）」オートフォーカスと呼ばれており、オートフォーカス・モジュールが、焦点値を決める前に、撮像レンズによって認識可能な全ての距離を検分する。

同一出願人による特許文献３は「ホール・ウェイ」オートフォーカス法を記載しており、焦点調節デバイスが、焦点範囲の全体を通して異なった方向に動かされるようになっている動作可能な焦点レンズ、焦点レンズに入射し、それを通る光を1つの信号に変換する変換要素、及び焦点レンズを動かすためのレンズ駆動機構を含む。その焦点デバイスは、さらに、その変換要素からの信号に基づいて、焦点レンズの各位の焦点評価値を計算するための焦点評価値計算ユニットを含む。焦点評価値計算ユニットは、定義された焦点領域（すなわち、イメージの中心で）における複数のピクセルに対応する信号だけを抽出し、その領域はさらに9つの「タイル」に分割される。それらはつまり、焦点領域を観測領域として使用する、小数の行及び列に分割することによって取得されるブロックのことである。

焦点評価値を計算する際に、焦点評価値の計算が、異なる距離設定で特定の回数分（例えば10回）繰り返されたか否かを最初に決定する。その決定が否定である場合、焦点レンズは常に無限に遠い位置から最も近い位置まで段階的に動かされ、各段階では焦点評価値が各タイトルに計算される。これらの計算は関連するタイルに実施され、従って9個のタイルそれぞれにおいて10個のレンズ位置の焦点評価値を取得し、それは全体の距離に渡って見つかった全てのピークを含む。関連するレンズ位置のために取得された10個の合計を焦点評価値として使用し、最大ピークを形成する焦点調節レンズ位置が、焦点レンズ位置として決定される。次に、レンズ駆動出力が、そのレンズが決められた焦点位置に動くようにレンズ駆動機構に加えられる。

小型のデジタルカメラに大きな「光学ズーム範囲」を提供するためには、「Digital Camera Using Multiple Lenses and Image Sensors to Provide an Improved Zoom Range」と題し、Labaziewicz et al.の名で2005年2月18日に提訴された、同一出願人の特許文献４に記載されているように、デジタルカメラは、異なった焦点距離レンズを持つ多数のイメージセンサーを使用することができる。該特許出願の開示は参考として以下に取り入れられている。例えば、Kodak Easyshare V610 2重レンズは、10x光学ズーム範囲を提供するために、38-114mm（35mmに等しい）f/3.9-f/4.4レンズ及び130-380mm（35mmに等しい）f/4.8レンズを含む。しかし、この特許出願及び製品の両方では、2つのイメージセンサーの一方だけが一度に使用される。その2つのイメージセンサーは、同時にはイメージを取得しない。

2003年1月30日に発行された特許文献５は、複数の取得光学システムを持つイメージ取得装置を開示しており、各装置はCCDイメージセンサーに結合され、より短い焦点距離を持つ第1システム及びより長い焦点距離を持つ第2システムを含む。この開示に記載されている様々な実施形態では、2つのレンズが異なった焦点距離範囲を提供し、固定焦点レンズを持つ1つのシステム及びズームレンズを持つもう１つのシステムを含み、又は、それらの両方は、2つの異なる焦点距離に設定されている固定焦点レンズであってもよい。それぞれの場合、ユーザーのインプットを取得するよりも、むしろ、選択ユニットが、自動的に取得条件確保ユニットによって決定される、測定された距離又は輝度などの取得条件に基づいて、複数の取得光学システムの1つから取得信号を選択する。これらのシステムのオートフォーカスは別々の距離センサーを使用して提供される。その2つのCCDイメージセンサーのいずれも、オートフォーカス操作には使用されない。

2003年8月23日に発行された特許文献６は、お互いに独立した撮影システムを持つデジタルカメラを開示している。1つの実施形態は、単焦点「通常モード（ordinary mode）」レンズを含む１つのシステム及びズーム「望遠モード（telescopic mode）」レンズを含むもう1つのシステムを示し、各システムがイメージを作り出す。オペレータ作動のスイッチの変化はどちらのイメージを録画するかを決定する。オートフォーカスはまた、別々の撮影システムに関連して開示されており、1つのシステムにおいて使用される「ヒル・クライム」コントラスト比較技術は、もう1つのシステムで使用される「ヒル・クライム」コントラスト比較技術を補充する。望遠モードの光学システムからイメージを取得するのが望まれる場合、大まかなオートフォーカス検索（ステッピング・モーターは数段階の間隔で駆動されてもよい）は、通常モード光学システム（焦点距離が比較的大きい）によって実行される。この大まかな検索は、焦点位置を含んだ縮小した焦点距離範囲をもたらす。通常モードの光学システムによって提供される焦点距離範囲情報を使用し、望遠モードの光学システムが、その縮小した焦点距離範囲の一端の、オートフォーカス検索開始位置まで駆動される。そして、微細なオートフォーカス検索が望遠モード光学システムによって実行されるが（焦点深度は比較的短い）、それは、通常モード光学システムによって決定された縮小した焦点距離範囲においてのみである。（通常モード光学システムからイメージを取得することが望ましい場合、オートフォーカス検索は通常モード光学システムによってのみ実行され、望遠モード光学システムはオートフォーカス検索ではどの役割も果たさない。）
特許文献６の、上記の細かいか大まかであるかの検索に依存しないもう1つの実施形態では、「ヒル・クライム」コントラスト比較検索が、第1光学システムの焦点レンズが、無限の距離から最も近い位置まで動くように段階的に駆動される間に実施され、第2の「ヒル・クライム」コントラスト比較検索は、第2光学システムの焦点レンズが最も近い位置から無限に遠い環境まで段階的に駆動される間に、実施される。どのシステムも通常は全体の範囲を通して進む必要は無いが、この方法は、最大コントラスト位置が置かれるまで連続する。この実施形態においてそれぞれの光学システムは、イメージを取得するため及び焦点調節に使用することができ、もう一方のシステムは、イメージ取得光学システムの焦点調節にだけ専念する。もう1つの実施形態では、取得用でない光学システムが焦点位置を最初に決定する場合、取得光学システムはその位置に駆動され、微細な調節が、次にその取得光学システムによってされる。

これらの従来技術の問題は、個別のオートフォーカスセンサーが使用されなければいけないこと（従ってコストを増加させる）、又はその他の場合は、通常、イメージを取得するのに使用した同じセンサーを使用してオートフォーカスが実施されると、大幅な「シャッター遅延」が起こる。さらに、その個別のオートフォーカスセンサーは、大抵、上記で述べたように距離計であり、2重レンズ距離計モジュールと焦点調節レンズ位置との間のキャリブレーションは、デジタルカメラの通常動作環境内では安定していない。オートフォーカスが「スルー・ザ・レンズ」撮像システムに実施される場合、その処理は、取得及び比較されなければいけない多数のオートフォーカスイメージによる焦点設定を決定するのに比較的時間がかかる。その問題は、前記の特許文献６によれば、幾分かは弱まっているが、対象物が変化又は動作するため、迅速な焦点合わせを達成すること、又はオペレータが、取得機能を1つの撮影システムから他のシステムに変えるように選択するときに、光学システムの焦点合わせの必要条件を、素早く入れ替えることにおいて難題が残る。

ビデオ取得の間に特別な問題が生じ、オートフォーカスイメージが、ビデオイメージを構成する静止画又はフレームの同じシリーズから来る。それに続き、オートフォーカスの処理は、シーンが変わる度に5−20又はそれより多くの焦点が外れたビデオイメージが形成される原因となる。その結果、カメラのパン動作でビデオイメージを取得するためシーンが連続的に変化する間に、オートフォーカスシステムが適切な焦点を模索し、ビデオの大部分は、実際、焦点が外れている。ビデオ取得のさらなる問題は、多くのフレームが焦点合わせをするために、「ヒル・クライム」法を使用したオートフォーカスシステムを使用することによって焦点が外れることである。

同時帰属の同一出願人による「Camera Using Multiple Lenses and Image Sensors to Provide Improved Focusing Capability」と題し、本願と同日にJohn Border et alの名で出願された米国特許出願（整理番号93231）において、1つのイメージ取得段がオートフォーカスに使用され、一方、もう１つのイメージ取得段が静止画又は動画の取得に使用されるように、2つの（又はそれよりも多い）イメージ取得段が同じシーンのイメージを別々に取得するように使用されるマルチレンズデジタルカメラにおいて、前述の問題が述べられている。これは、そのデジタルカメラのサイズ及び費用を極度に増やさずに、静止画及び動画モードの両方において、正確で素早いオートフォーカスを提供する。

その出願で開示されている実施形態において、デジタルカメラは、多様なイメージングモードを提供するために、広角及び望遠イメージングモードなどの、複数のレンズ及びイメージセンサーを使用する。しかし、カメラがオンになったその時に、どのモードを使用するべきかを知ることは、ユーザーにとってしばしば不便である。従って、ユーザーにはそれぞれのモードの取得機能のプレビューが与えられるべきである。しかし、カメラは、ユーザーがイメージングモードの選択を間違えた場合を許容して設定されるべきである。従って、2重イメージ取得段からの写真のプレビュー・スナップショットを提供する2重取得システムを持ち、なおかつユーザーの選択が無い場合に所定のイメージングモードにデフォルト設定をするための改善された機能を持つデジタルカメラが必要である。

米国特許第4,606,630号明細書 米国特許第6,864,474号明細書 米国特許第6,441,855号明細書 米国特許出願公開第11/062,174号明細書 米国特許出願公開第2003/0020814号明細書 米国特許出願公開第2003/0160886号明細書

本発明の目的は、2重レンズカメラからの両方のイメージをユーザーが選択するように方向付けること、及びユーザー選択が無い場合に自動的にデフォルト選択としての1つにシフトすることである。

上記の問題の1つ又はそれ以上を克服するように方向付けられている本発明は、1つのシーンの別々のイメージを形成するための第1及び第2イメージ取得段を持つデジタルカメラの方法に関する。簡潔にまとめると、本発明の第1実施形態によると、本発明は：
イメージング段の1つをデフォルトイメージング段として指定する段階；
第1及び第2イメージング段から、第1及び第2イメージをそれぞれ取得及び表示する段階；
所定期間の間にイメージの表示時間を計る段階；及び
該イメージング段の1つを、デジタルカメラによって保存されたシーンのイメージを取得するために主に使用される主要取得ユニットとするオペレータ選択を可能にし、そのオペレータ選択が所定期間中に生じない場合、デフォルトイメージング段が自動的に主要取得ユニットとして選択される段階；
を含む。

本発明のさらなる態様では、第1及び第2イメージング段は複数のズームレンズを含んでもよく、その方法は、さらに、その第1及び第2イメージング段をそれぞれのデフォルトズーム位置に設定する段階を含んでもよく、さらに、イメージを取得及び表示する段階は、それらの、対応するデフォルトズーム位置で得られたイメージを表示する。

本発明のもう1つの態様では、主要取得ユニットとして選択されていないイメージング段は、主要取得ユニットによって形成されたイメージを制御、調節、解析及び拡大するための第2取得ユニットとして指定されてもよい。例えば、第2段が主要取得ユニットに対して取得パラメータを設定するためのシーン解析を提供する又はその第2取得ユニットが主要取得ユニットによって取得されたイメージを増大・拡大（augmenting）するためのイメージデータを提供してもよい。

デフォルト機能を手配する１つの方法では、カメラが、イメージ露出を開始するためのシャッターボタンを含み、オペレータ選択がそのシャッターボタンが作動する時に生じていない場合に、デフォルトイメージング段が自動的に選択される。

本発明はまた、1つのシーンの複数のイメージを別々に取得するための第1及び第2イメージング段を持つエレクトロニックカメラに関し、それらの段階の1つがデフォルトイメージング段として指定される。プロセッサが別々のイメージの取得及び表示を可能にし、デジタルカメラによって保存されるシーンのイメージを取得するために主に使用されるべき主要取得ユニットとして、オペレータ選択であるイメージング段の1つに反応する。オペレータ選択が所定期間内に実行されない場合、又はカメラが、時間が切れる前に作動される場合、そのプロセッサは自動的にデフォルトイメージング段を主要取得ユニットとして選択する。

簡潔にまとめると、本発明は、一般的に、カメラユーザーが各段のイメージングの利点を簡単に感知することができ、従って選択ができるように2重イメージ取得段からの両方の写真のプレビュー・スナップショットを提供する2重取得カメラシステムの利点を提供する。しかし、これは、所定期間内にオペレータ選択が無い場合、あるいは、カメラの取得機能が、時間切れになる前にユーザーによって作動される場合に、所定のイメージングモードにデフォルト設定をする利点に結合されている。

本発明のこれら及び他の態様、目的、特徴及び利点は、以下の好ましい実施形態及び添付の請求項の詳細な説明のレビュー及びそれらに伴う図面を参照することによってさらに明確に理解及び認識されるはずである。

本発明に従った第1イメージセンサーを持つ第1ズームレンズ及び第2イメージセンサーを持つ第2ズームレンズを使用したデジタルカメラの第1実施形態のブロック図である。 図1に示されるデジタルカメラの2つの投射図のうちの１つである。 図1に示されるデジタルカメラの2つの投射図のうちの１つである。 図1に示されるデジタルカメラを使用し、本発明の第1実施形態に従ってオートフォーカスを実施しデジタル静止画を取得するための方法を示すフロー図である。 2つのイメージ取得段で距離計の方法を使用し、オートフォーカスを実施するための方法を示すフロー図である。 2つのイメージ取得段で「ヒル・クライム」法を使用し、オートフォーカスを実施するための方法を示すフロー図である。 オートフォーカス距離計キャリブレーション曲線を形成するための方法を示すフロー図である。 オートフォーカス「ヒル・クライム法」キャリブレーション曲線を形成するための方法を示すフロー図である。 図1に示されたデジタルカメラを使用し、本発明の第2実施形態に従ってオートフォーカスを実施し、デジタルビデオイメージを取得する方法を示すフロー図である。 2つのイメージ取得段で、距離計法でオートフォーカスを実施する方法を示すフロー図である。 2つのイメージ取得段で「ヒル・クライム法」でオートフォーカスを実施する方法を示すフロー図である。 2つのイメージ取得段で範囲マップを形成するための方法を示すフロー図である。 本発明のもう１つの実施形態に従って、第1イメージセンサーを用いた第1固定焦点距離レンズを持ち、第2イメージセンサーを用いた第2（ズーム）レンズを使用するデジタルカメラのフロー図である。 本発明のもう1つの実施形態に従って、第1イメージセンサーを用いた第1固定焦点距離レンズ、第2イメージセンサーを用いた第2（ズーム）レンズ及び第3イメージセンサーを用いた第3（ズーム）レンズを使用したデジタルカメラのフロー図である。 両方のイメージ取得段からのイメージを使用することによって、イメージの被写界深度を改善する方法を示すフロー図である。 本発明のもう1つの実施形態に従った、2つのイメージ取得段を持つ携帯電話カメラの概略図である。 本発明のもう1つの実施形態に従った、2つのイメージ取得段を持つ携帯電話カメラの概略図である。 携帯電話カメラの単一段における、2つのイメージ取得段を含む概略図である。 携帯電話カメラの単一段における、2つのイメージ取得段を含む概略図である。 シーンの複数部分への距離を決定するのに使用される2つのイメージ間のオフセットを示す、2つのイメージ取得段で取得されたイメージの描写である。 シーンの複数部分への距離を決定するのに使用される2つのイメージ間のオフセットを示す、2つのイメージ取得段で取得されたイメージの描写である。 シーンの複数部分のGPS位置を決定する方法を示すフロー図である。 2重レンズカメラシステムにおけるイメージング段の1つを、主要取得ユニットとして選択し、他のイメージング段は、シーン解析などの他の機能に格下げし、ユーザー選択が無い場合に所定の取得ユニットにデフォルト設定する、全てが本発明に従ったフロー図である。 シーン解析の主要でない取得ユニットの使用を描くフロー図である。 シーンの状態変化がしきい値を超えた場合における、シーン解析の主要でない取得ユニットの使用を描くフロー図である。 シーン解析の主要取得ユニット及び主要でない取得ユニットの両方の使用を描くフロー図である。 取得ユニットの機能の逆転を描くフロー図であり、すなわち、現在のシーン解析及び主要取得ユニットが、それぞれ主要取得ユニット及びシーン解析取得ユニットにリセットされる機能を描くフロー図である。 主要取得段の取得ユニットパラメータを設定するために、主要取得段によって撮像されたプレビュー・イメージの、具体的には取得プロセス間の、使用を示すフロー図である。 主要取得段の取得ユニットパラメータを設定するために、主要取得段によって撮像されたプレビュー・イメージ及び主要でない取得段によって撮像されたシーン解析イメージの、具体的には取得プロセス間の、使用を示すフロー図である。 拡張イメージを形成するために、主要取得段によって撮像された主要イメージの使用及び主要でない取得段によって撮像された増大イメージのフロー図である。 従来型の2重レンズ距離計の動作を説明する概略図である。 従来型の「ヒル・クライミング」コントラスト・オートフォーカス・アルゴリズムのフロー図である。 イメージの要素を隔離するのに使用されるフィルターから取得された焦点値と「ヒル・クライミング」オートフォーカス法のレンズ位置との間の関係を説明する。

イメージングデバイス及び信号処理に関連する回路を利用したデジタルカメラは既知であるため、本記載は特に、本発明に従った装置の部分を形成する又はより直接協同する要素に向けられる。ここにおいて具体的に示されない又は説明されない要素は、既知の技術から選択されてもよい。記載すべき実施形態のある一定の態様は、ソフトウェアに備えられていてもよい。以下において、本発明に従って示され、記載されているシステムを考えると、ここでは具体的に表示、記載又は提案がされていない、本発明の実施に実用的であるソフトウェアは従来型であり、それらの技術の通常スキルの範囲内である。

ここにおいて記載された数個の実施形態のそれぞれは、複数のイメージ取得段を持ったデジタルカメラなどのイメージ取得アセンブリ‐静止画又は動画‐又はデジタルスキャナを含み、それぞれがレンズ及びイメージセンサーで構成される。該複数のイメージ取得段の複数のレンズは、異なった焦点距離を持ち、イメージ取得アセンブリのために拡張された光学ズーム範囲を提供する。本記載は、拡大されたオートフォーカス機能をさらに提供するために、複数のイメージ取得段の使用について熟考する。イメージ取得及びオートフォーカスのためにイメージ取得段を使用することによって、専用のオートフォーカスモジュールは取り除かれ、従って、イメージ取得アセンブリのサイズ及び費用を低減する一方、取得された静止画及び動画の鮮鋭度を改善するとともにそのオートフォーカスシステムの反応速度を増加させる。

本発明のいくつかの実施形態があるが、1つのイメージ取得段が、デジタル静止画又は動画を取得するのに使用されてもよく、一方、もう1つのイメージ取得段が、拡張されたオートフォーカス、第2イメージの形成、範囲マップの形成及びそれらに似た形成など、もう１つの目的のために同時に使用されてもよい。ここで説明される本発明の第1実施形態において、ユーザーがズーム位置を第1光学ズーム範囲内で設定したとき、第1レンズを含む第1イメージング段（例えばズーム）が、静止画又はビデオ・シーケンスにあるようなイメージのシリーズを取得するのに使用され、一方、第2イメージング段が、該第1イメージング段のオートフォーカスの目的で、同時にイメージを提供する。第2イメージング段はイメージ取得に使用されていないため、該第2イメージング段におけるレンズの焦点条件は、ピーク・コントラスト位置の周りの、より幅広い範囲で調節する（例えば「ヒル・クライム」オートフォーカス）ことができ、あるいは近い焦点位置から無限の焦点位置まで調節する（例えば「ホール・ウェイ（whole way）」オートフォーカス）ことができ、第1イメージング段によって取得されたイメージの焦点合わせの質を不利に影響せずに、レンズの新しい最適な設定を決定する。第2イメージング段を使用して新しく最適な焦点条件が決められると、第1イメージング段の焦点条件は、以前の最適な条件から新しい最適な焦点条件に変更される。

ユーザーが、イメージ取得アセンブリのズーム位置を第2光学ズーム範囲に調節するとき、カメラは自動的に第2イメージング段（例えば第2ズームレンズを含む）の使用に切り替え、該第2イメージング段のオートフォーカスのために第1イメージング段の使用を開始する。2つのレンズは異なった焦点距離を持つため、異なった倍率を持つ。従って、オートフォーカスを決定するために使用されたデジタルフィルターは、この倍率における差の関数として、倍率における違いを補充するために調節されてもよい。

この実施形態の変形形態では、2つのイメージ取得段が2重レンズ距離計に似た高解像度距離計を形成するために、一緒に使用されるが、より高い解像度では、2つの高解像度のイメージ取得段及び2つのイメージ取得段における２つのレンズ間のより大きな間隔が提供される。この変形形態では、第1イメージ取得段は、「ヒル・クライム」コントラスト比較法を用いて、初回の正確なオートフォーカスを提供するのに使用され；それに続いて、該第1イメージ取得段は、異なったモードで動作する高解像度の距離計として第2イメージ取得段と共に使用されてもよく、静止画の取得の前又は動画の取得の前若しくは間に再焦点調節を必要とする、シーンへの距離のいかなる変化も検出する。その距離計を異なったモードで使用することにより、すなわち、既に焦点が合わせられた位置から近くの変更された焦点位置までの距離の変化を識別するために、環境的な変化の距離計の精度への影響が、縮小される。

ここで説明されるもう1つの実施形態では、第1イメージ取得段によるデジタル静止画の取得又は動画の取得の前に、「ヒル・クライム」コントラスト比較法を使用して、2つのイメージ取得段の両方に、同時にオートフォーカスが実行される。第2イメージ取得段は、次に、イメージのコントラストを測定することによって焦点をチェックし続ける；コントラストの変化が検出されたとき、「ヒル・クライム」コントラスト比較法を使用した第2オートフォーカス操作が、第2イメージ取得段を使用して実施され、焦点位置の変化を決定する。第1イメージ取得段の焦点は、次に、その第2イメージ取得段を使用することによって、決定された焦点における変化に比例する量によって変更される。この場合もまた、微分焦点変化測定は、オートフォーカスのプロセスの精度を改善するために、「ヒル・クライム」オートフォーカスによって確立された位置から実施される。

発明項の背景において説明されたように、複数のオートフォーカス・イメージが、同じシリーズの静止画または動画を構成するフレームから発生するビデオ取得の間には、特別な問題が発生する。例えば、シーンが連続的に変化するカメラのパン動作でのビデオ取得の間に、そのビデオの大部分は、オートフォーカス・システムが適切な焦点を模索するため、実際には焦点が合っていない。さらに、フレームの多くは、焦点合わせに「ヒル・クライム」法を使用するオートフォーカスシステムを使用するため、焦点が合っていなくてもよく、上記で説明されたように、興味の対象物が、突然そのシーンにおいてシフトするという特定の条件下では、変化する焦点を識別することはできない。

従って、前述の実施形態の変形形態において、ユーザーが、ズーム位置を第1光学ズーム範囲内に設定するとき、第1ズームレンズ及びそれに付属するイメージセンサーを含んだ第1イメージング段が、動画などのイメージを撮像するための最初の焦点を設定するのに使用され、一方、第2ズームレンズ及びそれに付属するイメージセンサーを含んだ第2イメージング段は、同時に、連続的な「ホール・ウェイ」オートフォーカス入力イメージを提供し、第1ズームレンズの焦点を対象物の動作の結果として調節されるべきかを決定する。第2ズームレンズ及びそれに付属するイメージセンサーは、動作イメージを取得するのに使用されないため、その焦点距離は短焦点から無限の位置まで調節することができる。ユーザーが、そのズーム位置を第1ズーム範囲外に調節するとき、そのカメラは、自動的に第2イメージング段に切り替え、第2ズームレンズ及びそれに付属するセンサーを使用して動作シーケンスを取得し、第1イメージング段を、第1レンズ及びそれに付属するイメージセンサーと一緒に開始し、第2ズームレンズの焦点が対象物の動作の結果、調節されるべきかどうかを同時に決定する。

ここで説明されるもう1つの実施形態では、2つのイメージ取得段が、範囲マップの形でシーンの異なった部分への距離を決定するために、高解像度距離計として構成されている。その範囲マップは次に、取得されたイメージング信号又は出力イメージを、様々な目的で修正するために使用され、該目的は：イメージ処理を改善すること及びイメージの画質の向上を可能にすること；イメージからの対象物の抽出を可能にすること；複数のイメージの中で物体の動作追跡を可能にすること； 望ましい被写界深度の外の物体のぼやけにより、減少した被写体深度のイメージを可能にすること；イメージ内においてダイナミックレンジを改善すること；フラッシュの使用によって生じる露出の問題を低減すること；及びイメージ内においてシーンのバランスを改善すること；などであるが、それらに限定されない。

ここで説明されるもう１つの実施形態では、第1ズームレンズ及び第1イメージセンサーを含む第1イメージング段が、第1（すなわち主要）焦点距離で第1（すなわち主要）静止画を取得するのに使用され、一方、第2ズームレンズ及び第2イメージセンサーを含む第2イメージング段は、第2（すなわち2次）焦点距離で第2（すなわち2次）静止画を同時に取得するのに使用される。第2イメージング段からのセンサー出力は、第2出力イメージとして主要出力イメージを修正するために使用され、従って拡張された主要イメージング信号を形成する。例えば、その2次静止画は拡張信号を提供するために使用され、それはすなわち、2次焦点距離の近くに位置する主要静止画の複数部分をシャープにし、主要静止画のダイナミックレンジを修正する。

上記で述べたように、両方のイメージング段からのイメージは、そのシーンの異なった部分への距離を識別する範囲マップを形成するのに使用してもよい。ここで説明するもう１つの実施形態では、カメラは、そのカメラの位置のGPS座標を提供するために、GPSユニット及びそのカメラのポイント方向を提供するために、電子コンパスをさらに含む。従って、そのカメラの位置のGPS座標、ポイント方向及び範囲マップからのオフセット距離は、そのシーンの複数部分のGPS座標を形成するのに使用してもよい。

ここで説明される本発明の実施形態では、エレクトロニックカメラは、あるシーンの別々のイメージを取得するための第1及び第2イメージング段を持ち、それらの1つがデフォルトイメージング段として指定されている。プロセッサが、該別々のイメージを取得及び表示し、さらに、イメージング段の1つを、デジタルカメラによって保存されるシーンのイメージを取得するために主に使用される主要取得ユニットとして選択するオペレータ選択に反応する。オペレータ選択が所定期間内に実行されない場合、又はそのカメラが時間切れの前に作動する場合、プロセッサは自動的にデフォルトイメージング段を主要取得ユニットとして選択する。

図1は、本発明の第1実施形態に従ったイメージ取得アセンブリ10Aのブロック図を示す。本発明の基本的な形態ではないが、イメージ取得アセンブリ10Aは、好ましくは携帯用電池式デバイスであり、イメージを取得及びレビューするとき、ユーザーが簡単に手に持つには十分に小さい。好ましい実施形態では、そのイメージ取得アセンブリ10Aは、リムーバブル・メモリーカード54に保存される静止画及び動画の両方を形成するデジタルカメラである。代わりに、そのデジタルカメラは、動画又は静止画のみを形成してもよい。

イメージ取得アセンブリ10Aは、2つのイメージング段1及び2を含み、両段はズームレンズ3及び4を含む。（これらの段は、ほぼ全部のケースでは、1度に1つのイメージング段だけが、リムーバブル・メモリーカード54に保存されているイメージを取得するが、以下明細書ではイメージ取得段として呼ばれる。）第1ズームレンズ3は、第1レンズ焦点調節器（すなわちズーム及び焦点モーター5b）によって制御され、第2イメージセンサー14にイメージを提供する。各ズームレンズ（非表示）における調節可能な開口及びシャッター・アセンブリがイメージセンサー12及び14への露出を制御するのに使用される。

図2A及び2Bは、図1に関して説明されたイメージ取得アセンブリ10Aの投射図を示す。図2Aは、イメージ取得アセンブリ10Aの前面図であり、第1ズームレンズ3、第2ズームレンズ4及びフラッシュ48を示す。図2Bは、カメラ10Aの背面図であり、カラーLCDイメージディスプレイ70及び多数のユーザー・コントロール42を示し、イメージ取得シーケンスを可能にするためにシャッターボタン42a、ズーム設定の選択を可能にするためのズームボタン42c及びイメージをナビゲートするための複数位置セレクタ42d、カラーLCDイメージディスプレイ70に表示されるメニュー選択及びその他を含む。

イメージ取得段1及び2は、図1に示されるようにズームレンズ3及び4並びにイメージセンサー12及び14を含む。ズームレンズ3及び4は、図2に示されるように垂直方向にオフセットされる一方、それらは水平方向など他の方向にオフセットされてもよい。さらに、本発明のもう1つの実施形態によると、ズームレンズ3及び4の1つ（又は両方）が、固定焦点距離レンズに置き換えられてもよい。全てのケースにおいて、ズームレンズ3及び4の光軸とセンサー12及び14は、一般的に、通常異なる視野でも実質的に同じシーンを見るように、お互いに整列している。光学要素の構成は、さらに、前述の同一出願人による米国特許出願11/062,174号に記載されており、その開示はここでは参考として取り入れられ、2つより多くのイメージ取得段が使用されるいくつかの実施形態を含む。イメージ取得段1及び2におけるズームレンズ3及び4の構成は、そのイメージ取得段1及び2の全体の寸法を変更するために、複数の折りたたまれた光路を含んでもよい；しかし、複数の折りたたまれた光路は、本発明の実施には必要ない。

好ましい実施形態では、イメージセンサー12及び14はシングルチップ・カラー・メガピクセルCCDセンサーであり、カラーイメージを取得するために周知のBayerカラーフィルター模様を使用するが、本発明に従って、CMOSセンサーなどの他のセンサー及びストライプ・フィルターなどの他のカラーフィルター・アレイなどが、限度なく同等に使用されてもよい。イメージセンサー12及び14は、例えば4：3などの様々なアスペクト比を持っていてもよく、例えば合計6.1MP有効メガピクセル（100万ピクセル）などの様々な解像度を持ってもよく、特にこの場合、2848アクティブピクセル列x2144アクティブピクセル行を持つ。当然のことながら、イメージセンサー12及び14は同じ明細事項を持っていなくてもよい。例えば、前述の同一出願人による米国特許出願11/062,174号で開示されているいくつかの実施形態では、イメージセンサー12及び14のサイズ、解像度、カラーフィルター・アレイ、スペクトル感度及びアスペクト比は異なっていてもよい。

制御プロセッサ及びタイミング発生器40は、クロックドライバー13に信号を供給することによって第1イメージセンサーを制御し、クロックドライバー15に信号を供給することによって第2イメージセンサーを制御する。その制御プロセッサ及びタイミング発生器40は、また、ズーム及び焦点モーター5a及び5bも制御し、自動露出検出器46、ユーザーコントロール42、第1及び第2デジタル・マルチプレクサ制御エレメント34及び36並びにシーンを照射するために発光するためのフラッシュ48を制御する。ユーザーコントロール42は、図2Bを参照して上記で説明したように、デジタルカメラ10Aの動作を制御するのに使用される。

第1イメージセンサー12からのアナログ出力信号12eは増幅され、第1アナログ・信号プロセッサ22によって第1デジタルイメージング信号に変換される。デジタル化された第1デジタルイメージング信号は、第1デジタル・マルチプレクサ制御要素34の第1入力及び第2デジタル・マルチプレクサ制御要素36の第1入力に提供される。第2イメージセンサー14からのアナログ出力信号14eは増幅され、第2アナログ・信号プロセッサ24によって第2デジタルイメージング信号に変換される。デジタル化された第2デジタルイメージング信号は、デジタル・マルチプレクサ制御要素34の第2入力及び第2デジタル・マルチプレクサ制御要素36の第2入力に提供される。第1マルチプレクサ34の機能は、第1イメージセンサー12からの第1センサー出力12e又は第2イメージセンサー14からの第2センサー出力14eのいずれかを選択することである。第2マルチプレクサ36の機能は、第2イメージセンサー14からの第2センサー出力14e又は第1イメージセンサー12からの第1センサー出力12eのいずれかを、イメージプロセッサ50に提供されるオートフォーカス・イメージング信号として選択することである。

制御プロセッサ及びタイミング発生器40は、センサー出力（12e又は14e）の１つを選択するためにデジタル・マルチプレクサ34及び36を、取得されたイメージング信号として制御し、他のセンサー出力（14e又は12e）を、オートフォーカス・イメージング信号として選択する。第1デジタル・マルチプレクサ制御要素34によって提供されたデジタルデータは、一時的にDRAMバッファメモリー38に保存され、それに続いて、イメージプロセッサ50によって処理され、静止画又は動画を含んだ処理されたデジタルイメージファイルを形成する。第2デジタル・マルチプレクサ制御要素36によって提供されるデジタルデータは、イメージプロセッサ50に提供され、図4、5、6及び7に参照して後ほど説明されるように、オートフォーカス計算を実施する。

簡潔にまとめると、イメージプロセッサ50は、第1及び第2焦点調節器を駆動させる焦点検出信号を形成し、それはすなわち、ズーム及び焦点モーター5a及び5bである。制御プロセッサ及びタイミング発生器40は、そのイメージプロセッサ50と一緒に、（a）第1イメージング段からのセンサー出力12eを取得されたイメージング信号として選択し、第2イメージング段からのセンサー出力14eを、その選択されたイメージング段１の焦点検出信号を発生させる、あるいは（b）第2イメージング段からのセンサー出力14eを取得されたイメージング信号として選択し、その選択されたイメージング段2の焦点検出信号を発生させるかのいずれかを実行する。そのような方法では、焦点検出信号は、取得されたイメージング信号のセンサー出力を提供するイメージの焦点を調節するために、選択されたイメージング段のズーム及び焦点モーター5a及び5bに適用する。

イメージプロセッサ50によって実施される処理は、ファームウェアメモリー58に保存されているファームウェアによって制御され、それはフラッシュEPROMメモリー又は如何なる適切なメモリーの他の形であってもよい。プロセッサ50は、RAMメモリー56を使用して、処理段階の間に即座の結果を保存し、DRAMバッファメモリー38からのデジタル入力イメージを処理する。そのデジタルイメージファイルは、メモリーカード・インターフェース52に提供され、そのインターフェースが、リムーバブル・メモリーカード54上にデジタルイメージファイルを保存する。リムーバブル・メモリーカード54は、1種のリムーバブル・デジタルイメージ保存媒体であり、数個の異なる物理的フォーマットにおいて入手可能である。例えば、そのリムーバブル・メモリーカード54は、CompactFlash、SmartMedia、MemoryStick、MMC、SD又はXDメモリーカードのフォーマットなどの周知のフォーマットに適合されているメモリーカードを含むが、それだけに限定されない。磁気ハードドライブ、磁気テープ、又はオプティカルディスクなど、他種のリムーバブル・デジタルイメージ保存媒体は、代替として静止画及び動画を保存するのに使用されてもよい。その代わりに、デジタルカメラ10Aは、内部のフラッシュEPROMメモリーなどの内部の不揮発性のメモリー（非表示）を使用し、処理されたデジタル・イメージファイルを保存することができる。そのような実施形態では、メモリーカード・インターフェース52及びリムーバブル・メモリーカード54は、必要ない。

イメージプロセッサ50は、また、グローバル・ポジショニング・システム（GPS）ユニット57から入力を受け、それは、イメージプロセッサ50が、適切な時間に（例えばイメージが取得されるとき）カメラのGPS座標を決定することを可能にする。イメージプロセッサはまた、電子コンパス59から方向の入力を受けとり、それは、イメージプロセッサ50がカメラの向けられる方向を決定することを可能にする。そのイメージプロセッサ50は、レンダリングされたsRGBイメージデータを形成するため、カラー及びトーン補正の前のカラー補間などの、多種の他のイメージ処理機能を実施する。そのレンダリングされたsRGBイメージデータは次に、JPEG圧縮され、リムーバブル・メモリーカード54上にJPEGイメージファイルとして保存される。レンダリングされたsRGBイメージは、また、ホストインターフェース62を経由してホストPC66に提供され、SCSI接続、USB接続又はファームウェア接続などの適切な相互接続64上でコミュニケーションをはかってもよい。そのJPEGファイルは好ましくは、東京に拠点を置く、JEITA（社団法人 電子情報産業協会）による「Digital Still Camera Image File Format （Exif）」2.2版で定義されている、いわゆる「Exif」イメージフォーマットを使用する。このフォーマットは、特定のイメージのメガデータを保存するExifアプリケーション・セグメントを含み、メガデータはそのイメージが取得された日時及びレンズのｆ値、GPS位置及びイメージが取得されたときのポイント方向及びその他の設定を含む。

注目すべきは、イメージプロセッサ50は、通常プログラム可能なイメージプロセッサである一方、代わりに例えば配線カスタム集積回路（IC）プロセッサ、汎用マイクロプロセッサ、又は配線カスタムICとプログラム可能なプロセッサとの組み合わせなどでもよいということである。さらに、図1の別のブロックとして示されている、デジタル・マルチプレクサ制御要素34及び36、DRAMバッファメモリー38及びRAMメモリー58などの、1つ又はそれより多い機能が、ICを含んだイメージプロセッサ50に組み込まれることができる。また、制御プロセッサ40及びイメージプロセッサ50の少なくともある一定部分の機能は、この記載及び請求項のある部分における処理段階に参照すると解るように、ある一定のアプリケーション及び考察の目的のため、必要に応じて併合されてもよいことに注目すべきである。それはすなわち、センサー出力の選択（制御プロセッサ40による）及び焦点信号の発生（イメージプロセッサ50による）を指す。言い換えれば、処理段階の列挙は、その列挙されている機能を、それらが1つ又は複数の実際の処理要素、回路又は似た要素に見られるかどうかを、含むように意図されている。

本発明の追加の実施形態では、デジタルカメラ10Aが、カメラ付き電話の一部分として含まれている。そのような実施形態では、イメージプロセッサ50がセル（cell）プロセッサ90にインターフェースで接続し、そのセルプロセッサはセルラー（cellular）モデム92を使用し、デジタルイメージをセルラーネットワーク（非表示）に、アンテナ94を経由した無線通信を使用して送信する。本発明のいくつかの実施形態では、2つのイメージ取得段1及び2、並びにズーム及び焦点モーター5a及び5bが総合アセンブリの一部分であってもよい。さらに、クロックドライバー13及び15、アナログ・信号プロセッサ22及び24、及びすぐ後に含まれるアナログ／デジタル変換器も総合アセンブリの一部分であってもよい。

図3は、図1のイメージ取得アセンブリを使用したデジタルイメージの取得方法を示すフロー図である。ブロック100では、カメラ10Aがパワースイッチ（非表示）を使用してONになっているとき、ズームレンズ3及び4がデフォルト位置に設定され、それは好ましくは、ユーザーが取得されるイメージ構成を可能にするように、第1イメージセンサー12の出力が、カラーLCDイメージディスプレイ70に表示するためにプレビューモードでイメージを取得するのに使用される広角位置にある。イメージ構成の一部分としてブロック102では、ユーザーが通常、デジタルカメラ10Aの望ましい視野を設定するためにズームボタン42cを押す。

ブロック102では、ズーム位置設定は値Xに比較され、その値においてイメージ取得機能が、第1イメージ取得段から第2イメージ取得段に切り替わる。ブロック104では、ズーム位置がX（ブロック102に応答してネガティブ）よりも低い場合、第1イメージ取得段1はプレビューモードでイメージを取得するのに使用され、一方、第2イメージ取得段2は、オートフォーカスイメージを取得するのに使用される。第1イメージ取得段は、ディスプレイ70（ブロック110）上でのプレビューのためにイメージを取得し続け、一方、ブロック106では、第2イメージ取得段が、第1イメージ取得段のオートフォーカスのためにオートフォーカスイメージを取得するために使用され、それらのオートフォーカスイメージは、イメージプロセッサ50によって処理され、ブロック108において第1イメージ取得段1の焦点合わせをするために使用される。

ブロック112においてズームボタン42cが押されていない場合、及びブロック114において取得ボタンが押された場合、デジタルイメージがブロック116において第1イメージ取得段で取得される。代わりに、ズームボタンがブロック112において押された場合、コントロールはブロック102に戻され、ブロック114において取得ボタンが押されない場合、コントロールはブロック106に戻される。

ブロック124において、ズーム位置設定がX（ブロック102に応答してポジティブ）よりも大きい場合、第2イメージ取得段2がプレビューモードでイメージを取得するのに使用され、一方、第1イメージ取得段1がオートフォーカスイメージを取得するのに使用される。第2イメージ取得段2はディスプレイ70（ブロック130）上でのプレビューのためにイメージを取得し続け、一方、ブロック126では、第1イメージ取得段1が第2イメージ取得段2のオートフォーカスのためにオートフォーカスイメージを取得するのに使用され、それは、第2イメージ取得段2を焦点合わせするためブロック128において使用される焦点検出信号を発生させるためにイメージプロセッサ50によって処理される。

ブロック132において、ズームボタン42cが押されない場合、及びブロック134において取得ボタンが押される場合、デジタルイメージはブロック136において第2イメージ取得段で取得される。その代わりに、ブロック132においてズームボタンが押される場合、コントロールはブロック102に戻され、取得ボタンが押されない場合、コントロールはブロック126に戻される。

図3に示された距離計の構成における2つのイメージ取得段を使用したオートフォーカス処理のフローチャートは、図4に示されており、距離計の方法は図3のブロック108及び128に使用され、第1及び第2イメージ取得段からのイメージをオートフォーカスする。ブロック250において、ユーザーは、ズームコントロール42cをカメラ上で調節することによってズーム位置を決定し、その代わりに、上記で述べたように、どのイメージが最終イメージを取得するのに使用されるか、及びどのイメージがオートフォーカスイメージだけに使用されるかを命令する（ブロック252）。最終イメージの取得に使用されないイメージ取得段は、2つのイメージ取得段における（ブロック254）2つのズームレンズ・システムの間のトランジションズーム位置に最も近い位置にズームされる。その2つのイメージ段の焦点レンズは、それぞれの過焦点距離に動かされ、最大の焦点範囲（ブロック256）が作成される。ブロック258において、ユーザーが取得ボタン42aを、位置S0から位置S1 まで押し、オートフォーカスシーケンスを開始する（及び自動露出シーケンス）。（取得ボタンは3つの位置を持つ：S0 は、オペレータが取得ボタンを触る前に保持されるニュートラル位置であり、S1は、カメラがオートフォーカス及び自動露出を実施する中間の位置であり、S2 は、カメラが最終自動露出及び最終イメージの取得を実施する最終位置である。）
オートフォーカスイメージは、そして、イメージ段（ブロック260）によって、それぞれのズーム位置にあるズームレンズとともに取得される。ズームのより低い位置にあるイメージ段からのオートフォーカスイメージは（すなわち、ズーム位置がX（図3ブロック102参照）よりも低い）、2つのオートフォーカスイメージにおいて対応する特徴が同じ数のピクセル（ブロック262）に及ぶように、クロップ（crop）及びアップサンプル（upsample）される。そのクロップ及びアップサンプルされたオートフォーカスイメージは、次に、その２つのオートフォーカスイメージ間のピクセルシフトを識別するために（ブロック264）、他のオートフォーカスイメージに相互的に関連付けられる。図17Aは、より高いズーム位置のイメージ段から取得されたオートフォーカスイメージ350の描写である。図17Bは、より低いズーム位置において、イメージ段からアップサンプル及びクロップされたオートフォーカスイメージ352の描写である。これらの描写は2つのイメージ間のオフセットを示し、そのシーンへの距離を決定するのに使用される。ブロック266では、キャリブレーション係数が次に焦点検出信号に適用され、その焦点レンズが、イメージ取得のための最適な焦点条件を形成するように動かされなければいけない。ブロック268において、焦点検出信号は、ズーム及び焦点モーター5aに適用され、焦点レンズは次に、最も良い焦点268のための条件を作成するための最終イメージの取得に使用されるイメージ取得段において、距離を決定するのに動かされる。ユーザーが取得ボタンをS1からS2へ押すとき、そのイメージ取得段は最終イメージを取得する。

図3に、周知の「ヒル・クライム」コントラスト比較法において示される、2つのイメージ取得段を使用したオートフォーカス処理のフローチャートが図5に示されており、「ヒル・クライム」コントラスト比較法は、図3のブロック108及び128に使用され、第1及び第2イメージ取得段のイメージをオートフォーカスする。ブロック250において、ユーザーはズーム位置を選択する。そのズーム位置は、どのイメージング段が取得段（ブロック252）として使用されるかを決定する。次に、ブロック254において、取得に使用されないイメージ取得段が、ブロック250からユーザーが選択したズーム位置に最も近い点にズームされる。ブロック258において、ユーザーは取得ボタン42aをS0位置からS1位置に押し、オートフォーカスシーケンスを開始する。そして、ブロック272において、両方のイメージ取得段が「ヒル・クライム」法によってオートフォーカスされる。ユーザーが取得ボタンをS1位置からS2位置に押すとき（ブロック274）、ビデオイメージが連続的に、取得段によって取得される（ブロック276）。

最小限の模索で焦点を維持するために、ブロック278において、焦点は、イメージ取得段が「ヒル・クライム」比較法を使用した取得には使用されていない状態で、連続的にチェックされる。そして、決定ブロック280では、焦点が合っていると、コントロールはブロック276に戻され、動画イメージは、取得段によって連続的に取得される。もし、決定ブロック180において焦点が合っていない場合、取得に使用されていないイメージ取得段での最適な焦点を形成するために必要ではない焦点レンズ調節が識別される（ブロック282）。ブロック284において、オートフォーカス「ヒル・クライム」キャリブレーション曲線及び識別された焦点レンズ調節は、最適な焦点を形成するために、取得段において必要とされる焦点レンズの動作を決定するのに使用され、従って、焦点変化検出信号を形成する。最後に、ブロック286において、焦点変化検出信号がズーム及び焦点モーター5a及び5bに適用され、取得段における焦点レンズは新しい最適な焦点に動かされ、コントロールはブロック276に戻され、ビデオイメージは連続的に取得段によって取得される。

その代わりに、また最小限の検索で焦点を維持するために、焦点はブロック278において、イメージ取得段が「ホール・ウェイ」オートフォーカス法を使用した取得に使用されていない状態で、連続的にチェックされる。それに応じて、ブロック284において、オートフォーカス「ホール・ウェイ」キャリブレーション曲線及び識別された焦点レンズ調節が取得段において、最適な焦点を形成するために、必要とされる焦点レンズの動作を決定し、従って、焦点変化検出信号を形成する。最後に、ブロック286において、焦点変化検出信号が、ズーム及び焦点モーター5a及び5bに適用され、取得段にある焦点レンズは新しい最適な焦点位置に動かされ、コントロールはブロック276に戻され、動画イメージは取得段によって連続的に取得される。

キャリブレーション曲線が図4及び5の両方に使用され、取得段において最適な焦点を形成するために必要とされる焦点レンズの動作を決定する。図6及び7はこれらの曲線を計算するためのフロー図を描く。さらに具体的には、図6は、図4のブロック266に使用されたオートフォーカス距離計キャリブレーション曲線の計算を表わす。図6のブロック300において、イメージセットのシリーズが、既知の距離にある物体と一緒に取得され、それには、より短い焦点距離の第1イメージ取得段及びより長い焦点距離の第2イメージ取得段が、複数の焦点レンズ位置のシリーズにおいて使用される。そして、ブロック302において、図17A及び17Bに示されるように、より短い焦点距離の第1イメージ取得段からのオートフォーカスイメージが、2つのオートフォーカスイメージにおいて対応する特徴が同じピクセル数に及ぶように、クロップ及びアップサンプルされる。ブロック304において、第2イメージ取得段からのイメージは、第1イメージ取得段からクロップ及びアップサンプルされたイメージから、対応するイメージの部分に関連付けられ、各イメージセットにおけるイメージ間のピクセルオフセットのデータを決定する。その結果、ブロック306において、各イメージセットのピクセルオフセット対物体への既知の距離のデータが、図4のブロック266で使用されるオートフォーカス距離計キャリブレーション曲線として保存される。

図7は、図5のブロック284で使用される「ヒル・クライム」キャリブレーション曲線の計算を表わす。図7のブロック400において、イメージセットのシリーズが、第1イメージ取得段及び第2イメージ取得段を使用して、既知の距離にある物体と一緒に取得される。そこでは、オートフォーカスは、それぞれのイメージの「ヒル・クライム」法によって実行される。そして、ブロック402において、焦点レンズ位置は2つのイメージ取得段のために、イメージセットにおける、焦点が合わせられた物体と比較される。そして、イメージの焦点が合わせられた物体への同じ距離で取られた、第1イメージ取得段の焦点レンズ位置対第2イメージ取得段の焦点レンズ位置のデータが、図5のブロック284で使用するためのオートフォーカス「ヒル・クライム」キャリブレーション曲線として保存される。

図8は図1のイメージ取得アセンブリを使用したビデオイメージの取得方法を示すフロー図を描く。フロー図のほとんどは、図3に示される機能要素の複製であり、同じ機能及び参照文字が示されている本文献では、繰り返されない。ズーム位置設定がX（ブロック12に応答してネガティブ）よりも小さい場合、第1イメージ取得段1が動画イメージを取得するのに使用され、一方、第2イメージ取得段2はオートフォーカスイメージを取得するのに使用される。第1イメージ取得段の焦点合わせが、図3において説明されるように実施されるが、この場合はビデオイメージのケースである。それに続いて、図8のブロック112において、ズームボタン42cが押されない場合、及びブロック114において、取得ボタンが押される場合、ビデオイメージがブロック118において、第1イメージ取得段１によって取得される。そのビデオイメージはブロック118において、第1イメージ取得段1によって取得される。ビデオイメージはブロック119において、焦点合わせの質がチェックされ、再焦点合わせの必要がある場合、コントロールがブロック106に戻され、焦点変化検出信号が発せられ、それは、第1イメージ取得段1で焦点モーター5aを駆動するためにブロック108で使用される。再焦点合わせの必要が無い場合、コントロールはブロック112に戻される。

ズーム位置設定がX（ブロック102に応答してポジティブ）よりも大きい場合、第2イメージ取得段2がビデオイメージを取得するのに使用され、一方、第1イメージ取得段がオートフォーカスイメージを取得するのに使用される。第2イメージ取得段の焦点合わせが図3で説明されているように実施されるが、この場合、ビデオイメージの場合である。それに続いて、ブロック132において、ズームボタン42cが押されていない場合、及びブロック134において取得ボタンが押された場合、ビデオイメージがブロック138において第2イメージ取得段で取得される。ビデオイメージが、ブロック139において焦点合わせの質に関してチェックされ、再焦点合わせが必要な場合、コントロールがブロック126に戻され、焦点変化検出信号が発せられ、それは第2イメージ取得段の焦点モーター5bを駆動するためにブロック128で使用される。再焦点合わせの必要が無い場合、コントロールはブロック132に戻される。

図8に示される距離計の構成における、2つのイメージ取得段を使用したオートフォーカス処理のフローチャートが図9に示されており、距離計法が図8のブロック108及び128において使用され、第1及び第2イメージ取得段からのイメージをオートフォーカスする。図9のブロック440において、第1オートフォーカスイメージがより短い焦点距離のイメージ取得段で取得される。そして、ブロック442において、より短い焦点距離のイメージ段からのオートフォーカスイメージが、2つのオートフォーカスイメージにおいて対応する特徴が同じピクセル数に及ぶように、クロップ及びアップサンプルされる。その間、ブロック448において、第2オートフォーカスイメージが、より長い焦点距離のイメージ取得段で取得される。その第2オートフォーカスイメージは、ブロック444においてクロップ及びアップサンプルされたイメージに関連付けられ、イメージ郡の異なる部分においてイメージ間のピクセルオフセットを決定する。そして、ブロック446で必要とされる焦点補正は、そのオフセット及びオートフォーカス距離計キャリブレーション曲線から決定される（図6で計算されている）。

図8に示されている2つのイメージ取得段を使用した「ヒル・クライム」コントラスト比較法におけるオートフォーカス処理のフローチャートが、図10に示されており、「ヒル・クライム」コントラスト比較法が図8のブロック108及び128において、第1及び第2イメージ取得段からのイメージをオートフォーカスするために使用されている。図10のブロック460では、第1イメージが第1イメージ取得段で取得され、オートフォーカスは、「ヒル・クライム」法によって実行される。そして、ブロック468において、もう1つのそれに続くイメージが第2イメージ取得段で取得され、オートフォーカスは同様に、「ヒル・クライム」法によって実行される。ブロック470において、第2イメージの焦点条件は、それに続くイメージの焦点条件に比較される。そして、焦点条件が変わっている場合（ブロック472に対応してポジティブ）、その焦点条件は、第2イメージ取得段における焦点条件の変化及びオートフォーカス「ヒル・クライム」法キャリブレーション曲線（図7で計算されている）に基づいて、第1イメージ取得段で変更される。焦点条件が変化していない場合（ブロック472に対応してネガティブ）、コントロールはブロック468に戻され、もう1つのイメージが第2イメージ取得段で取得される。

その代わりに、最小限の検索で焦点を維持するために、焦点は、ブロック470において「ホール・ウェイ」オートフォーカス法を使用した第2イメージ取得段で、連続的にチェックされる。それに応じて、焦点条件が変化している場合（ブロック472に応答しポジティブ）、焦点条件は、第2イメージ取得段における焦点条件の変化及び「ホール・ウェイ」オートフォーカス法キャリブレーション曲線に基づいて、第1イメージ取得段での焦点条件が変更される。焦点条件が変わっていない場合、（ブロック472に応答しネガティブ）コントロールはブロック468に戻され、もう1つのイメージが、第2イメージ取得段で取得される。

図11は、図3又は8のイメージ取得アセンブリを使用して取得されたイメージの処理方法を示すフロー図であり、範囲マップが、そこで形成される。（略図のある一定の部分は、図9で使用されたように同じ機能及び参照文字を持つ）範囲マップを作成する方法は当業者にとって周知である。例えば、イメージのセットにおけるピクセルオフセット情報から作成された視差マップから、範囲マップ又は深度マップを作成する方法の説明は、米国特許出願2006／0193509号明細書に記載されており（2006年8月31日に、Antonio Criminisi et al.の名で「Stereo-based Image Processing」として発行）、ここでは参考として取り入れられる。本特許出願において説明されたケースでは、2つ又はそれよりも多くのイメージ取得デバイスが、単一のデジタルカメラに含まれている。該2つ又はそれよりも多くのイメージ取得デバイスは、異なった焦点距離を持つため、少なくとも1つのイメージは、ピクセルオフセットを決定することを可能にするために、２つ又はそれよりも多くのイメージが比較可能になるように修正されなければいけない。ここで図11を参照すると、ブロック440において、より短い焦点距離のイメージ取得段で第1オートフォーカスイメージが取得され、ブロック442では、より低いズーム位置にあるイメージ取得段からのオートフォーカスイメージが、その２つのオートフォーカスイメージにおいて対応する特徴が同じピクセル数に及ぶように、クロップ及びアップサンプルされる。その間、ブロック448では、第2オートフォーカスイメージがクロップ及びアップサンプルされたイメージと関連付けられ、イメージ郡の異なった部分でのイメージ間のピクセルオフセットを決定する。そのピクセルオフセットは、次に、ブロック482において、オートフォーカス距離計キャリブレーション曲線を使用してイメージ取得デバイスからの距離に変換される。次に、イメージ郡の異なる部分への距離を表示するマップが、ブロック484において形成される。

イメージ取得デバイスからシーンの複数部分への距離は、第1及び第2オートフォーカスイメージの対応する部分の間で測定されたピクセルオフセットから算出される。それはすなわち、ブロック448から取得された第1オートフォーカスイメージ及び第2オートフォーカスイメージから、ブロック442において取得された、クロップ及びアップサンプルされたイメージの対応する部分の間のことである。イメージセンサーpで感知されたピクセルオフセット、ピクセルサイズm、レンズ間の距離s、レンズfの有効焦点距離及びシーンの複数部分への距離dの間での関係は、
d＝s・f/(p・m)
によって与えられる。
表1は、説明されたようなイメージ取得デバイスの、典型的なピクセルオフセットを表わす。好ましい実施形態では、ピクセルオフセットとシーンの複数部分への距離との間の関係は、予想されない寸法の変動及び2つのレンズ・アセンブリ間の角度の傾きを補充するために、既知の距離でシーンの中の物体に対してキャリブレートされる。

上記で述べたように、範囲マップが次に、様々な目的で取得されたイメージング信号又は出力イメージを修正するのに使用され、それらの目的は：
(a)対象物の形が定められるように、その対象物の連続的な境界線を識別することによって、イメージ内での対象物の識別を改善すること；
(b) イメージ内で対象物を小グループに分割できるように、その対象物の連続的な境界線を識別することによって、そのイメージからの対象物の抽出を可能にすること；
(c)イメージ間で同じ対象物として追跡できるように、対象物を識別することによって、多数のイメージ内で対象物の動作追跡を可能にすること；
(d)望ましい被写界深度の外側にあるシーンの複数の領域に対応するイメージの複数部分のぼやけ（blurring）によるフィールドイメージ（視野像）の動的な深度を可能にすること；
(e)イメージの対象物をまとめてゲイン調整することによってイメージ内のダイナミックレンジを改善すること；
(f) 前景にある対象物に対応するイメージ部分のゲインを低減し背景の対象物のゲインを増やすことによって、フラッシュの使用によって生じる露出の問題を低減すること；
(g)前景にある対象物を強調することを可能にすることによってイメージ内におけるシーン・バランスを改善すること；
を含むが、それらに限定されない。

上記で指摘された目的のために、範囲マップの使用を理解するためには、例を考慮してみるのがよい。ユーザー／フォトグラファーが、アラスカ山脈−美しい曇り空に白く覆われた山々がもっとも遠い範囲に広がり、花畑が真ん中の範囲に広がり、黒い犬がおよそ5フィート先の前景に座っている−のすばらしい写真を持っていると仮定する。しかし、それらの雲は吹き飛ばされ（露出オーバー）、白く覆われた山々もそうである。黒い犬は、色が濃すぎ（露出不足）、焦点がずれている（例えば、カメラがランドスケープモードに設定されているため）。様々なロケーションの露出は、ゲイン調整をイメージの選択された対象物の部分に適用することによって改善できる。特に、例えば雲の細部、雪の細部、及び黒い犬の毛皮などである。さらに一般的には、その範囲マップは、出力イメージ内のダイナミックレンジを改善するのに使用でき、範囲マップのそれらの位置において個別にできる。その上、被写界深度は、例えば、犬に焦点が合い、山にも焦点が合い、また、花畑にも焦点が合うように、調整することができる。又は、ユーザーがそのきれいな景色よりも犬を強調したい場合、範囲データがその山々及び花をぼかすことができ、さらに犬を隔離させてシャープにし、感じの良いシャープなイメージを得る。明確であるように、本発明による範囲マップの利用可能性を与えられると、イメージの人工的な最適化に数々の他の使用がある。例えば、ユーザーは動的な被写界深度を作り出すことができ、それは焦点が合っている範囲の複数の混合された領域である。さらに一般的に、範囲マップはその出力イメージのぼやけている部分による動的な被写界深度のイメージを可能にするのに使用でき、それはその範囲マップ内のそれらの位置に個別にでき、そのイメージの対象部分において望ましい被写界深度の外側にあるシーンの領域に対応する。例えば、犬及び山脈は、お互いに範囲の反対側の極端にあるが、それらが対象物であり、中間の範囲の花畑はスムーズにぼかすことができるため、焦点を合わせることができる。

図12及び13は、光学イメージ取得段の異なる形を使用したデジタルカメラのブロック図を表わす。イメージ取得段に続くほとんどの要素は、図1に関連して説明された要素と同一であり、ここでは詳細な説明はされない。図12は、第1イメージ取得段71及び第2イメージ取得段2にあるデジタルカメラのブロック図を表わす。第1段71は、第1固定焦点距離レンズ73及び第1イメージセンサー12を含み、第2段2は、第2（ズーム）レンズ4及び第2イメージセンサー14を含む。焦点合わせは、第1及び第2イメージ取得段71と2との間に実施される。

固定焦点距離レンズの焦点距離は通常、超広角視野（例えば22mに等しい）を形成するため、例えば8フィートのレンズ過焦点距離の近くの距離に固定焦点を設定してもよい。そうすることによって、4フィートから無限の距離にある物体に焦点が合わせられる。従って、その固定焦点距離レンズは、焦点調節を含む必要がない。固定焦点距離レンズは、調節可能な開口及びシャッターアセンブリ（非表示）を含み、イメージセンサーの露出を制御する。

図13は、第1イメージ取得段71、第2イメージ取得段2及び第3イメージ取得段74を有するデジタルカメラのブロック図である。第1イメージ取得段71は、第1イメージセンサー12を持つ固定焦点距離レンズ73を含み、第2イメージセンサー14を持つ第2イメージ取得段2は第2（ズーム）レンズを含み、第3イメージ取得段74は、第3イメージセンサー16を持つ第3（ズーム）レンズ75を含む。この構成によると、第1レンズ73は、通常、超広角レンズであり、第2（ズーム）レンズは通常、広角レンズであり、第3（ズーム）レンズ75は通常、望遠ズームレンズである。前段落で説明したように、超広角レンズである第1固定焦点距離レンズ73は、通常焦点が合わせられていなく、焦点合わせは、第2イメージ取得段2と第3イメージ取得段74との間で実施される。

図14は、図1からの両方のイメージ取得段からのイメージを使用したイメージの被写界深度を拡大する方法を示す、ブロック図である。図14のブロック500では、ズーム位置が、カメラがオンの時のデフォルト位置に設定されている。ブロック502では、ズーム位置設定が、イメージ取得機能が第1イメージ取得段から第2イメージ取得段に切り替わる値、Xに比較されている。ブロック504では、そのズーム位置設定がXよりも小さい場合（ブロック502に反応してネガティブ）、第1イメージ取得段はプレビューモードでイメージを取得するのに使用され、第2イメージ取得段は、オートフォーカスイメージを取得するのに使用される。第1イメージ取得段1がディスプレイ70上のプレビューのためにイメージを取得し（ブロック506）、一方、第2イメージ取得段2は、イメージプロセッサ50によって処理され、第1イメージ取得段の焦点合わせに使用される複数のオートフォーカスイメージを、第1イメージ取得段1のオートフォーカスのために取得する。ズームボタンが押されない場合（ブロック508に対してネガティブレスポンス）、及び、シャッターボタン42aが押されるとき、第1静止画は、ブロック510において、第1焦点位置に設定された第1イメージ取得段を使用して取得される。そして、ブロック512では、第2静止画が、第2焦点位置に設定された第2イメージ取得段を使用して取得される。そして、ブロック514では、第2静止画が主要イメージの被写界深度を拡張するのに使用され、例えば、第2静止画は、第2焦点距離の近くに位置された第1静止画の複数部分をシャープにするために使用される拡張信号を提供するために使用される。

ブロック524では、ズーム位置がX（ブロック502に対してポジティブレスポンス）よりも大きい場合、第2イメージ取得段2は、ディスプレイ70上のプレビューモードにおいてイメージを取得するのに使用され、一方、第1イメージ取得段は、オートフォーカスイメージを取得するのに使用される。第2イメージ取得段2は、ディスプレイ70上でのプレビューのためにイメージを取得し続け（ブロック526）、一方、第1イメージ取得段1は、複数のオートフォーカスイメージを、第2イメージ取得段2のオートフォーカスのために取得し、それらは、イメージプロセッサ50によって処理され、第2イメージ取得段2の焦点合わせをするために使用される。ズームボタンが押された場合（ブロック528に対してポジティブレスポンス）、及び、シャッター42aが押された場合、第1静止画は、第1焦点位置に設定された第2イメージ取得段を使用してブロック530において取得される。次に、ブロック532では、第2静止画が、第2焦点位置に設定された第1イメージ取得段を使用して取得される。そして、ブロック534では、第2静止画が、第1イメージの被写界深度を拡張するのに使用され、例えば、第2静止画は、第2焦点距離の近くに位置された第1静止画の複数部分をシャープにするために使用される。

上記で示されたように、拡張信号は、第2焦点位置の近くに位置された第1静止画の複数部分をシャープにするために、カメラによって形成される。しかし、第1及び第2静止画は図1のホストPC66などの外部のプロセッサに提出されなければいけなく、その拡張信号は、第2焦点位置の近くに位置された複数の第1静止画をシャープにするために、外部のプロセッサによって形成される。

マルチレンズ及びマルチセンサーのコンセプト、及び総合イメージ取得アセンブリは、写真撮像機能を持つタイプの携帯電話においての使用に、適合されてもよい。それに応じて、図15Aに示されるように、携帯電話600が、呼び出し側のボイスを取得するマイクロホン602を含む電話段、呼び出し側及び受取り側のボイス信号を処理するために、関連するエレクトロニクス（非表示）及び呼び出された側のボイスを再生成するためのスピーカー604を含む。キーパッド606が、電話番号及びイメージ取得コマンドを入力するために提供され、電話に関するデータを示すため及び電話で取得された又は携帯ネットワーク上で受信されたイメージを再形成するための（LCD）ディスプレイ608が、提供されている。図15Bに示されている携帯電話の背面図は、イメージプロセッサ50を通して（図1に表示）セルプロセッサ90及びモデム92を含む携帯処理段階に接続されている携帯イメージ取得アセンブリ610を含む要素のいくつかを識別する。そのセルプロセッサ90は、イメージプロセッサ50からイメージデータを受信及び処理し、マイクロホン602によって取得されたボイスデータは、該イメージ及びボイスデータを携帯モデム92に移送する。携帯モデム92は、そのデジタルイメージ及びボイスデータを、アンテナ94による携帯ネットワーク送信のための適切なフォーマットに変換する。

携帯イメージ取得アセンブリ610が図16A及び16Bに示され、図16Aが該アセンブリ610の図16Bの2つの線24Bの方向から見た上面図であるように、アセンブリ610は光学及びイメージング要素を共通の基板620上に含む。さらに具体的に、アセンブリ610は、固定焦点距離レンズ612及び第1イメージセンサー614、及び第2固定焦点距離レンズ612及び第2イメージセンサー618を含む。望ましくは固定焦点距離広角レンズ（40mmに等しいレンズなど）である第1レンズ612は、第1イメージセンサー614上にイメージを形成し、望ましくは固定焦点距離望遠レンズ（100mmに等しいレンズなど）である第2レンズ616は、第2イメージセンサー618上にイメージを形成する。両方のレンズは、視野は異なるが、それらの前の全体のシーンの同じ部分のイメージを形成するために、同じ方向に配列される。

レンズ612及びレンズ616の各レンズ及びそれぞれに付属する各イメージセンサー614及び618は、イメージピクセルに入射するIR放射を低減するために真ん中に置かれたIRカットフィルター622を持つ基板620上に置かれる。抵抗器、キャパシタ及びパワー・マネジメント要素などのエレクトロニック要素624もまた、基板620上に置かれている。イメージング信号は、フレックス・コネクタ626を通してその基板620から取られる。そのアセンブリ610から取ったデータは、原画像データでもよく、適切なプロセッサ（非表示）がその基板上にある場合、そのデータはYUVイメージデータ又はJPEGイメージデータであってもよい。さらに、イメージプロセッサ50は、広角焦点距離と望遠焦点距離との間のデジタルズーミングを提供してもよい；ユーザーは、そのようなズーミングを、ユーザーインターフェースを通して（LCD）ディスプレイ608上で開始してもよく、キーパッド606上の適切なボタンから入力して開始してもよい。さらに、広角イメージセンサー614は、デジタルズーミングのための高画質なソースイメージを提供するために、高分解能、すなわち望遠イメージセンサー618よりも高い分解能を持っていてよい。

本発明に従った両レンズ612及び616が焦点調節レンズである実施形態では、イメージプロセッサ50は、(a)広角レンズ612からのセンサー出力を、取得されたイメージング信号として選択し、望遠レンズ616からのセンサー出力を使用して、広角レンズ612に対して焦点検出信号を発生させる、又は(b)望遠レンズ616からのセンサー出力を、取得したイメージング信号として選択し、広角レンズ612からのセンサー出力を使用して、望遠レンズ616に対して焦点検出信号を発生させる、のいずれかを実行する。焦点検出信号は、次に、取得されたイメージング信号のためにセンサー出力を提供するイメージの焦点を調節するために、望遠レンズ616のオートフォーカスサブシステム628に適用される。この実施形態では、広角レンズ612は、代わりに、広角から普通角ズームレンズなどのズームレンズであってもよい。

もう1つの実施形態では、広角レンズ612は過焦点距離に設定され、それは、ユーザーによる焦点調節の必要なしに2、3フィートから無限の距離まで焦点が合っていることを意味する。望遠レンズ616が、オートフォーカスサブシステム628によって自動的に焦点合わせがされている。これは、過焦点距離が、焦点距離が増加するとともに増えるために必要であり、従って、その焦点は、典型的な距離（例えば4から12フィート）において、物体に適切に焦点が合っているように、調節される必要がある。望遠レンズ616に焦点合わせのサブシステム628を1つだけ使用することによって、費用及びサイズが低減できる。

この実施形態における重要な拘束は、「z」寸法630であり、それは携帯電話のレイアウト及び構造に一定した、非常に小さな形状に収められなければいけない。これは、望遠焦点距離及びセンサーのサイズによって取得される。例えば、センサー616のサイズ、及びその結果として、そのセンサーを充填するために形成されるイメージのサイズは、焦点距離を許容可能なz寸法630に減らすのに十分小さくてもよい。

追加の実施形態では、２つのレンズが、およそ同じ焦点距離を持ち、イメージングアレイのサイズは異なっていてもよい。異なるサイズの複数のイメージングアレイにおいて、それぞれのレンズは、それらのイメージングアレイの領域を充填するように設計されてもよく、各レンズアレイの組み合わせは、実質的に同じ実焦点距離を持つ。すなわち、レンズからアレイまでの距離が同じである。しかし、35mmに相当する各レンズは異なり、その結果、各レンズは異なった視野を持つ。

図16A及び16Bに示されていないが、図1に関連して説明されたように、第1イメージセンサー614からのアナログ出力信号は、第1アナログ・信号プロセッサによって増幅され、制御要素の第1入力に提供される。例えば、基板620上にエレクトロニック要素624の1つとして提供されているアナログ・マルチプレクサ制御要素がある。第2イメージセンサー618からのアナログ出力信号は、第2アナログ・信号プロセッサによって増幅され、制御要素の第2入力に提供される。制御要素の機能は、第1イメージセンサー614からの第1センサー出力又は第2イメージセンサー618からの第2センサー出力のいずれかを選択することであり、それは、ズーム選択に関してはユーザーのキーパッド606からの入力に依存し、従って、携帯イメージ取得アセンブリ600から選択されたセンサー出力をイメージプロセッサ50に提供する。

範囲マップ（図11に従って形成された）を使用して、GPSユニット57及びカメラの電子コンパス59によって提供されたGPS位置及びポインティング方向が、カメラからシーンの複数部分までの距離及び方向に組み合わされ、そのシーンの複数部分のGPS位置を決定する。図18はそのシーンの複数部分のGPS位置を決定する方法のフローチャートを示す。ブロック750において、カメラのGPS位置は、そのカメラにおけるGPSユニット57によって決定される。そのカメラのポインティング方向はブロック752においてカメラの中の電子コンパス59によって決定される。カメラからシーンの複数部分までのオフセット距離は範囲マップによって提供され、それはブロック754において、図11に示された方法などから取得される。ポインティング方向からのオフセット角度（電子コンパス59によって提供される）は、ブロック756においてイメージの視野におけるシーンの複数部分の位置から決定される。そのシーンの複数部分のGPS位置は、ブロック758において、GPS位置及びカメラのポインティング方向にオフセット距離及びオフセット角度を足すことによって決定される。そのシーンの複数部分のGPS位置は、次に、ブロック760において、そのイメージのメタデータに保存されるか、あるいは、GPS位置マップの形でイメージ上にラベルとして表示される。代わりに、そのイメージの複数部分のGPS位置は、エレクトロニック・カメラ上に表示することもできる。当業者は、そのシーンの複数部分のGPS位置は：物体のアイデンティティーを決定する；シーンにおいて１つの位置へのナビゲーション方向を提供する；マップ又は他の地理データベースに関連したカメラの視野を識別する；などを含むがそれらに限定されない多様な目的に使用することができる。

図19は、2重レンズカメラシステムにおいて、最初に両イメージング段を、それぞれのデフォルトズーム位置に設定し、次に、ユーザーがその2重レンズカメラシステムにおいてそれらのイメージング段の1つを、主要取得ユニットとして選択することを可能にし、一方、他のイメージング段を他の機能に分類するという本発明に従ったプロセスを説明するフロー図を示す。本発明に従って、図19のフロー図はさらに、オペレータ選択が所定期間内にされなかった場合、又はカメラの取得機能が時間の切れる前に作動した場合、イメージング段の1つをデフォルト段として選択することを明確に説明する。さらに具体的に、カメラのパワーがオンにされ、初期化プロセスが開始する（ブロック1100）。初期化プロセスが完了すると、第1及び第2イメージング段はそれらのデフォルトのズーム位置に設定され（ブロック1102）、それらは初期段階で取得及び表示された複数のイメージを決定する所定の初期ズーム位置である。従って、第1及び第2イメージング段は、第1及び第2プレビューイメージを取得し、イメージ表示デバイス70に表示（ブロック1104）する。この区間の間にシャッターボタンが押された場合、又はオペレータがこの区間の間に決断をしなかった場合（ブロック1110）、イメージング段の所定の１つが（デフォルトのイメージング段）自動的に主要取得ユニット（ブロック1112）として設定される。（デフォルトのイメージング段は様々な理由で事前に選択され、そのうちの1つは、シーンの総合的及びより広角である視野を初期イメージとして提供する）。その他の場合は、オペレータがそれらの1つを選択すると（ブロック1106に対してyes）、その選択されたイメージング段は主要取得ユニットとして設定される（ブロック1124）。いずれの状況においても、他の（選択されない）イメージング段は、シーン解析取得ユニットとして指定される（ブロック1114）。従って、主要取得ユニットは、図20‐22に関連して引き続き説明されているように、プレビューモードで操作される。

図20‐22及び24‐26は、もう1つのイメージング段によって形成されたイメージを修正するために、2重（又はそれよりも多い）レンズカメラシステムにおける1つのイメージング段からのイメージの使用又は解析を説明するフロー図であり、つまり、他のイメージング段によって形成されたイメージを制御、解析、拡大するため又はその他の場合変更するためである。例えば、図20において、一度主要取得ユニットがプレビューモードに設定されると（図9に示されるように）、シーン解析取得ユニットはそのシーンを解析し（ブロック1200）、イメージプロセッサ50は、シーン解析取得ユニットによって取得されたシーン解析データを使用し、主要取得ユニットのパラメータを設定する（ブロック1202）。そのようなシーン解析データは露出データ、ダイナミックレンジデータ、被写界深度データ、カラーバランス、顔、芝生、夕日、雪などを含むシーンの異なる形態の識別を含むがそれらには限定されていなく、取得ユニットパラメータは、開口値、露出時間、焦点位置、ホワイトバランス、ISO設定などを含むが、それらに限定されない。プレビューイメージは、次に、主要取得ユニットによって取得され、ディスプレイ70に表示される（ブロック1204）。シーン解析取得ユニットは、次に、シーンを解析し続け（ブロック1206）、シーン状況が変わっていない場合（ブロック1208に対してno）、プロセスがブロック1202に戻り、イメージプロセッサ50は主要取得ユニットパラメータを、シーン解析取得ユニットによって取得されたシーン解析データを使用してリセットし、それに続くプロセスが以前のように繰り返される。

図21において、主要取得ユニットパラメータが、シーン状況における変化がしきい値Xを超えたときにだけ変更される。従って、プレビューモードをしきい値と一緒に使用する際に、シーン解析取得ユニットは、イメージを取得し、シーンを解析する（ブロック1300）。そして、イメージプロセッサ50が主要取得ユニットパラメータを、シーン解析取得ユニットによって取得されたシーン解析データを使用して設定する（ブロック1302）。プレビューイメージが次に、主要取得ユニットによって取得され、ディスプレイ70に表示される（ブロック1304）。そして、もう１つのイメージが、シーン解析取得ユニットから取得される（ブロック1306）。もしこの後のイメージのシーン状況が、xに等しいしきい値によって変わる場合（ブロック1308）、つまり、シーン状況が多くのイメージにおいて一定であると考えられる場合、そのプロセスはブロック1304に戻り、もう1つのプレビューイメージが主要取得ユニットによって取得され、ディスプレイ70に（取得パラメータを変えることなしに）表示される。そして、もう1つのイメージがシーン解析取得ユニットから取得される（ブロック1306）。その他の場合、シーン状況の変化がしきい値xよりも大きくその状況が不安定と考えられる場合（ブロック1308に対してyes）、そのプロセスはブロック1302に戻り、イメージプロセッサ50が主要取得ユニットパラメータを、シーン解析取得ユニットによって取得されたシーン解析データを使用して、リセットする。そして、そのプロセスは以前のように繰り返される。

図22において、しきい値であるシーン状況を考慮することは、取得ユニットの相対的なズームを考慮することによって強化され、取得ユニットの両方で取得されたイメージからのシーン情報を使用することによって強化される。この拡大されたプレビューモードを使用することにおいて、シーン解析取得ユニットのズーム位置は、主要取得ユニットのズーム位置に関連して設定される（ブロック1400）。そして、シーン解析取得ユニットがイメージを取得し（ブロック1402）、イメージプロセッサ50が主要取得ユニットによって取得されたシーン解析データを使用して、主要取得ユニットパラメータを設定する（ブロック1404）。プレビューイメージが次に、主要取得ユニットによって取得され（ブロック1406）、そのシーンが取得したプレビューイメージ及びシーン解析データを使用して、解析される（ブロック1408）。そして、イメージプロセッサ50が、上記のシーン解析の結果を使用して主要取得ユニットパラメータを設定する（ブロック1410）。つまり、両方の取得ユニットからのイメージを解析することによって得られた結果を使用する。次に、プレビューイメージが主要取得ユニットによって取得され、ディスプレイ70に表示され（ブロック1412）、もう１つのイメージがシーン解析ユニットから取得される（ブロック1414）。そのシーンは次に、取得されたプレビューイメージデータ及びシーン解析データを使用して解析される（1416）。シーン状況がxに等しいしきい値によって変化できない場合（ブロック1418に対してno）、つまり、シーン状況が一定であると考えられる場合、プロセスはブロック1412に戻り、もう1つのプレビューイメージ及びシーン解析イメージが、それぞれ主要取得ユニット及びシーン解析取得ユニットによって取得され（ブロック1412及び1414）、前記のプロセスが続く。その他の場合、シーン状況の変化がしきい値よりも大きく（ブロック1400に対してyes）、その状況が不安定だと考えられる場合、そのプロセスはブロック1410に戻り、イメージプロセッサ50が主要取得ユニットパラメータを、新しいシーン解析データ（ブロック1416におけるシーン解析取得ユニットによって取得された）の結果を使用して変更し、そのプロセスが繰り返される。

前記の図19‐22に示された操作の間に、プレビュープロセスが、シャッターボタン42a又はズームボタン42cのいずれか一方が押されなければ、示されているように継続する。図23に示されるように、ズームボタン42cが押された場合（ブロック1500）、及びそのリクエストされたズーム位置が主要取得ユニットのズーム範囲内に無い場合（ブロック1502）、取得ユニットの機能は逆になり、つまり、図20‐23に示されるように、現在のシーン解析及び主要取得ユニットは、主要取得ユニット及びシーン解析ユニットにそれぞれリセットされる。そして、主要取得ユニットのズーム位置は、選択されたズーム位置に設定され（ブロック1506）、そのプロセスはプレビューモードに戻る。しかし、ズームボタン42cが押された場合（ブロック1500に対してyes）、及び、リクエストされたズーム位置が主要取得ユニットのズーム範囲内にある場合（ブロック1502に対してno）、関連する取得ユニットの機能は以前と同じに維持され、主要取得ユニットのズーム位置は選択されたズーム位置に設定され（ブロック1506）、そのプロセスはプレビューモードに戻る。

図24‐26は、2重（又はそれよりも多い）レンズシステムにおいて、１つのイメージング段からのイメージを、もう1つのイメージング段によって形成されたイメージを修正するために、使用又は解析することについて説明するフロー図を示す。つまり、特に、取得プロセスの間に、その他のイメージング段によって形成されたイメージを制御、解析、拡大又はその他の場合変更することである。図24を参照すると、第1取得実施形態に従って取得モードに入るために（ブロック1600）、シャッターボタン42aが半分だけ押される（S1）‐その他の場合、そのプロセスはプレビューモードに戻る。取得モードにおいて、プレビューイメージが主要取得ユニットから取得される（ブロック1602）。そのシーンは次に、取得されたプレビューイメージを使用して解析される（ブロック1604）。その解析が完了すると（ブロック1606に対してyes）、イメージプロセッサ50が主要取得ユニットのパラメータを、シーン解析の結果を使用して（ブロック1608）設定する。そして、設定パラメータを使用して、主要取得ユニットからプレビューイメージが取得及び表示される（ブロック1610）。シャッターボタン42aが、イメージ取得を開始するために（ブロック1612に対してyes）完全に押された場合（S2）、主要イメージが、主要取得ユニットから設定パラメータを使用して取得され（ブロック1614）、プロセスはプレビューモードに戻る。シャッターボタン42aが完全に押されなかった場合（ブロック1612に対してno）、カメラは、焦点又は露出ロックが設定されているかをチェックする（ブロック1616）。もしそうであれば（ブロック1616に対してyes）、プロセスはブロック1610に戻り、もう１つのプレビューイメージが主要取得ユニットから取得及び表示され、シャッターボタン42aの状態が再度チェックされ（ブロック1612）、そのプロセスは以前のように継続する。焦点又は露出ロックが設定されていない場合（ブロック1616に対してno）、そのプロセスはブロック1602に戻り、プレビューイメージが主要取得ユニットから取得され、そのシーンが取得されたプレビューイメージを使用して解析される（ブロック1604）。そして、そのプロセスは以前のように継続する。

図25を参照すると、第2実施形態に従って取得モードに入るために（ブロック1700）、シャッターボタン42aが半分だけ押される（S1）。そして、プレビューイメージが主要取得ユニットから取得される（ブロック1702）。次に、イメージが、シーン解析取得ユニットによって取得され（ブロック1704）、そのシーンは、取得されたプレビューイメージ及び取得されたシーン解析イメージの両方を使用して解析される（ブロック1706）。イメージプロセッサ50は、次に、組み合わされたシーン解析の結果を使用して、取得ユニットパラメータを解析する（ブロック1708）。そして、設定パラメータを使用して、プレビューイメージが主要取得ユニットから取得され表示される（ブロック1710）。次に、図24に以前示されたように、シャッターボタン42aが完全に押されるとき（S2）（ブロック1712に対してyes）、主要イメージが、設定パラメータを使用して主要取得ユニットから取得され（ブロック1714）、そのプロセスはプレビューモードに戻る。シャッターボタン42aが完全に押されなかった場合、カメラが、焦点又は露出ロックが設定されているかをチェックする（ブロック1716）。もし設定されている場合、そのプロセスはブロック1710に戻り、もう1つのプレビューイメージが主要取得ユニットから取得及び表示され（ブロック1716）、そのプロセスは以前のように継続する。焦点又は露出ロックが設定されていない場合、（ブロック1716に対してno）、そのプロセスは、ブロック1702に戻り、そのシーンは取得されたプレビューイメージを使用して解析される。そして、そのプロセスは以前のように継続する。

図26を参照すると、第3実施形態に従って取得モードに入るために、シャッターボタン42aが半分押され（S1）（ブロック1802）、イメージがシーン解析取得ユニットから取得される（ブロック1804）。そのシーンは次に、取得されたプレビューイメージ及び取得されたシーン解析イメージを使用して解析され（ブロック1806）、イメージプロセッサ50が、組み合わされたシーン解析の結果を使用して、主要取得ユニットパラメータを設定する（1808）。シーン解析取得ユニットが次に、第2取得ユニットとして指定され（ブロック1810）、イメージプロセッサ50が、組み合わされたシーン解析の結果を使用して、第2取得ユニットパラメータを設定する（ブロック1812）。次に、シャッターボタン42aが完全に押された場合（ブロック1814に対してyes）、主要イメージが、現在第2取得ユニットとして指定されている主要取得ユニットから、設定パラメータを使用して取得される（ブロック1818）。そして、強化されたイメージがイメージプロセッサ50によって主要及び拡大イメージを使用して形成され（ブロック1820）、そのプロセスはプレビューモードに戻る。シャッターボタン42aが完全に押されなかった場合（ブロック1814）、そのプロセスはブロック1802に戻り、それは再び、主要取得ユニット及びシーン解析取得ユニットから取得されたイメージによって再開される（ブロック1802及び1804）。

拡大又は修正の異なったタイプが図26に関連して熟考される。拡大又は修正の第1タイプは、図14に関連して示されたように、イメージが主要取得ユニットから、１つの焦点位置において取得され、もう1つのイメージがシーン解析取得ユニットから、もう1つの焦点位置において取得される（第2イメージ取得ユニット）。そして、その2つのイメージは、拡大された被写界深度で修正されたイメージに組み合わされる。利点は、より大きい被写界深度を得るために主要レンズの開口を絞る必要が無くできることであり、それは特に、大きな開口が好ましい微光の取得に役立つ。

拡大又は修正のもう1つのタイプでは、イメージが、イメージプロセッサ50によってそのダイナミックレンジで調査される。そのダイナミックレンジが所定のしきい値を超える場合、シーン解析取得ユニットが、主要イメージとは異なるダイナミックレンジで第2イメージを形成する。例えば、主要イメージが、通常の露出で取得することができる一方、第2イメージは、むしろ極端な露出で取得することができる。すなわち、露出不足又は露出オーバーのいずれか一方である。そして、例えば、ハイライトが主要露出において取り消されている場合、第2露出はそのハイライトの詳細を取得するために露出不足であってもよい。そして、修正されたイメージが、主要イメージの部分を第2イメージの部分によって取り替えることにより、広がったダイナミックレンジで形成される。

当然のことながら、主要及び第2取得ユニットによって取得されたイメージは、静止画又は動画であってよく、動画である場合、それはイメージのシリーズであってもよい。いずれの場合も、ビデオ信号で構成された静止画又はイメージのシリーズは、拡大方法のある特定の形状に従って修正されてもよい。例えば、取得ユニットを組み入れたエレクトロニックカメラは、ビデオ信号を形成し、第2出力イメージが、少なくとも、例えばビデオ信号で構成されたイメージのシリーズの被写界深度及び／又はダイナミックレンジを修正するために使用される。

図14に示されるフロー図は、特にダイナミックレンジのために拡張された主要イメージを取得するために修正することができる。例えば、図14を参照すると、シャッターボタン42aが押されると、主要静止画が主要露出レベルに設定された第1（又は第2）イメージ取得段を使用して取得される（ブロック510又は530に類似）。そして、（ブロック512又は532に類似して）第2静止画が第2露出レベルに設定された第2（又は第1）イメージ取得段を使用して取得される。そして、（ブロック534又は536に類似して）第2静止画が、主要イメージのダイナミックレンジを拡張するのに使用され、例えば、ハイライトの詳細を取得するために露出不足である第2露出が主要イメージに組合わされ、拡張されたダイナミックレンジの主要イメージを取得する。

修正されたイメージを形成するための好ましい方法では、同一出願人による同時係属中の米国特許出願第11/450,364号（John Border及びEfrain Moralesの名で2006年7月27日に「Produced an Extended Dynamic Range Digital Image」と題して発行されており、ここでは参考として取り入れられる）に記載されているように、ピクセル値が、主要及び第2イメージの両方のピクセル値を考慮することによって決定され、スライド制が、修正されたイメージを形成するのに使用される。当然のことながら、ダイナミックレンジの修正を可能にするために2つの露出レベルを持つことは、露出オーバーをしばしば起こすフラッシュを使用するときには特に重要である。それに続いて、取得段の1つの露出時間は、非常に短い露出に設定され、あるいは露出のタイミングは、フラッシュの直前又は直後にシフトされる。

拡大プロセスは、異なった解像度を持つ対のイメージに関連して適用することもできる。例えば、同一出願人による同時帰属中の米国特許出願第11/461,574号（2006年8月1日にJohn Border、Scott Cahall及びJohn Griffithの名で「Producing Digital Image with Different Resolution Portions」と題して発行されており、ここで参考として取り入れられる）では、シーンの第1広角デジタルイメージ及び実質的に同じシーンの部分の第2望遠デジタルイメージが、2つの取得段によって取得される。複合イメージが次に、第1広角デジタルイメージの一部分及び望遠デジタルイメージの一部分を組み合わせることによって形成され、デジタルズーミングの間に改善された解像度を形成する。さらに具体的に、その複合イメージのデジタルズーミングは、改善した画質を持つズーム範囲の全体において、高解像度を有するズームされたイメージを形成する。

拡大機能のさらなる実施形態では、主要取得段及び第2取得段が、異なったレベルのノイズ及び動作によるぼやけが関連するイメージに存在するように、異なった露出時間に設定される。例えば、主要取得段は、デジタルノイズが低くなるため、比較的長い露出に設定されるが、カメラの動作又はシーンの中の物体の動作のいずれかによる、現存する如何なる動作も、動作によるぼやけをもたらす。同時に、第2取得段は、デジタルノイズをより高くするために、比較的速い露出に設定されるが、動作によるぼやけはより少ない。主要イメージ及び第2イメージは、次に、動作のぼやけを識別するためにお互いに比較される。第2イメージのゲインは、第2イメージにおける平均ピクセル値が主要イメージのそれに一致するように、増やされる。修正されたイメージは、そして、主要イメージの複数部分を第2イメージの複数部分で取り替えることによって形成される。実質上、主要イメージの複数部分（ノイズはより低いが、動作によるぼやけがいくらか存在する領域）は、対応する第2イメージの複数部分（ノイズはより高いが動作によるぼやけがほとんど存在しない領域）によって取り替えられ、比較的低いノイズ及び良い鮮鋭度を持つ、修正されたイメージが得られる。

本発明は、従って、ある特定の望ましい実施形態を特に参考にしながら、詳しく説明されたが、当然のことながら、本発明の精神及び範囲内において、変形及び修正が実施可能である。

1…第1イメージング段
2…第2イメージング段
3…第1ズームレンズ
4…第2ズームレンズ
5a…ズーム及び焦点モーター
5b…ズーム及び焦点モーター
10A…デジタルカメラ
12…第1イメージセンサー
12e…第1センサー出力
13…クロックドライバー
14…第2イメージセンサー
14e…第2イメージ出力
15…クロックドライ
16…第3イメージセンサー
17…クロックドライバー
22…第1アナログ・信号プロセッサ（ASP1）＆A／D変換器
24…第2アナログ・信号プロセッサ（ASP2）＆A／D変換器
25…第3アナログ・信号プロセッサ（ASP3）＆A／D変換器
34…第1デジタル・マルチプレクサ制御要素
36…第2デジタル・マルチプレクサ制御要素
37…第3デジタル・マルチプレクサ制御要素
38…DRAMバッファメモリー
40…制御プロセッサ及びタイミング発生器
42…ユーザーコントロール
42a…シャッターコントロール
42b…ズームボタン
42c…マルチ位置セレクタ
46…自動露出検出器
48…エレクトロニックフラッシュ
50…イメージプロセッサ
52…メモリーカード・インターフェース
54…リムーバブル・メモリーカード
56…RAMメモリー
57…GPSカード
58…ファームウェアメモリー
59…電子コンパス
62…ホストインターフェース
64…相互接続
66…ホストPC
70…カラーLCDイメージディスプレイ
71…第1イメージ取得段
73…第3固定焦点レンズ
75…第3（ズーム）レンズ
90…セルプロセッサ
92…セルラーモデム
94…アンテナ
100…ズームレンズ設定ブロック
101…入力ズーム位置ブロック
102…ズーム位置チェックブロック
104…取得段設定ブロック
106…第2段オートフォーカスイメージ取得段
108…第1段焦点合わせブロック
110…第1段プレビュー取得および表示ブロック
112…ズームボタンチェックブロック
114…取得ボタンチェックブロック
116…第1段取得ブロック
118…第1段ビデオ取得ブロック
119…焦点合わせ質チェックブロック
120…再焦点合わせチェックブロック
124…取得段設定ブロック
126…第1段オートフォーカスイメージ取得ブロック
128…第2段焦点合わせブロック
130…第2段プレビュー取得及び表示ブロック
132…ズームボタンチェックブロック
134…取得ボタンチェックブロック
136…第2段ビデオ取得ブロック
138…焦点合わせ質チェックブロック
139…再焦点合わせチェックブロック
140…対象物
151…第1レンズ
152…第2レンズ
153…第1光路
154…第2光路
155…焦点面
156…第1イメージ
157…第2イメージ
158…第1基準位置
180…第1シフト位置
181…第2基準位置
190…第2シフト位置
191…第1センサーアレイ
197…第2センサーアレイ
198…低周波数バンドパスフィルター取り付け段階
199…比較段階
250…高周波数バンドパスフィルター取り付け段階
252…ズーム位置選択ブロック
254…イメージ取得段決定ブロック
256…非取得段ズームブロック
258…過焦点オートフォーカスシーケンスブロック
260…取得オートフォーカスイメージブロック
262…クロップ及びアップサンプルブロック
264…イメージ相関ブロック
266…最適焦点決定ブロック
268…焦点レンズ動作ブロック
270…取得イメージブロック
272…「ヒル・クライム」オートフォーカスブロック
274…取得ボタン作動ブロック
276…取得ビデオブロック
278…連続的な「ヒル・クライム」焦点チェックブロック
280…焦点合わせチェックブロック
282…最適焦点決定ブロック
284…焦点レンズ動作ブロック
286…取得段再焦点合わせブロック
300…イメージセット取得ブロック
302…クロップ及びアップサンプルブロック
304…相関イメージブロック
306…オートフォーカス距離計キャリブレーション曲線形成ブロック
350…オートフォーカスイメージの表示
352…ズーム及びクロップされたイメージの表示
400…イメージセット取得ブロック
402…位置対取得比較ブロック
404…オートフォーカス「ヒル・クライム」キャリブレーション曲線形成ブロック
440…より短い焦点距離取得ブロック
442…より短い焦点距離のイメージをクロップ及びアップサンプルするブロック
444…相関イメージブロック
446…焦点相関決定ブロック
448…より長い焦点取得ブロック
460…第1段「ヒル・クライム」イメージブロック
462…第1段プレビューイメージブロック
464…第2段再焦点合わせブロック
468…第2段のもう1つのイメージ取得ブロック
470…第2段焦点位置比較ブロック
472…焦点変化チェックブロック
480…ピクセルオフセットを決定する、相関イメージブロック
482…距離計キャリブレーション曲線を使用したピクセルオフセット変換ブロック
484…距離計マップ形成ブロック
500…デフォルトズーム位置ブロック
502…ズーム位置チェックブロック
504…取得段設定ブロック
506…第2段プレビュー取得、表示及びオートフォーカスブロック
508…ズームボタンチェックブロック
510…主要焦点ブロックで第1段主要イメージ取得
512…第2焦点ブロックで第2段第2イメージ取得
514…第2イメージを使用した主要イメージ拡大ブロック
524…取得段設定ブロック
526…第1段拡大ブロック、表示及びオートフォーカスブロック
528…ズームボタンチェックブロック
530…主要焦点ブロックで第2段主要イメージ取得
532…第2焦点ブロックで第1段第2イメージ取得
534…第2イメージを使用した主要イメージ拡大ブロック
600…携帯電話
602…マクロホン
604…スピーカー
606…キーパッド
608…（LCD）ディスプレイ
610…携帯電話取得アセンブリ
612…第1固定焦点距離レンズ
614…第1イメージセンサー
616…第2固定焦点距離レンズ
618…第2イメージセンサー
620…基板
622…IRカットフィルター
624…エレクトロニック要素
626…フレックス・コネクタ
628…オートフォーカスサブシステム
630…z寸法
750…カメラGPS位置ブロック
752…カメラポインティング方向ブロック
754…オフセット距離ブロック
756…角度オフセットブロック
758…シーンGPS位置ブロック
760…GPS位置保存ブロック
1100…パワーオンブロック
1102…デフォルト設定ブロック
1104…取得及び表示ブロック
1106…プレビュー選択ブロック
1108…シャッターチェックブロック
1110…表示時間チェックブロック
1112…デフォルト取得設定ユニットブロック
1114…シーン解析取得設定ユニットブロック
1124…選択された主要取得設定ユニットブロック
1200…シーン解析ブロック
1202…取得パラメータ設定ブロック
1204…取得及び表示プレビューイメージブロック
1206…シーン解析ブロック
1208…シーン状況しきい値チェックブロック
1300…取得シーン解析イメージブロック
1302…取得パラメータ設定ブロック
1304…取得及び表示プレビューイメージブロック
1306…シーン解析ブロック
1308…シーン状況しきい値チェックブロック
1400…ズーム位置設定ブロック
1402…取得シーン解析イメージブロック
1404…取得パラメータ設定ブロック
1406…プレビューイメージ取得ブロック
1408…プレビュー及びシーン解析データを使用したシーン解析ブロック
1410…主要取得パラメータ設定ブロック
1412…プレビューイメージ取得及び表示ブロック
1414…シーン解析イメージ取得ブロック
1416…プレビュー及びシーン解析データを使用したシーン解析ブロック
1418…シーン状況しきい値チェックブロック
1500…ズームボタンチェックブロック
1502…ズーム位置チェックブロック
1504…逆取得ユニット割り当てブロック
1506…主要取得ユニットズーム位置設定ブロック
1600…シャッターボタンチェックブロック
1602…プレビューイメージ取得ブロック
1604…プレビューイメージを使用したシーン解析ブロック
1606…解析完了チェックブロック
1608…主要取得パラメータ設定ブロック
1610…プレビューイメージ取得及び表示ブロック
1612…シャッターボタンチェックブロック
1614…主要イメージ取得ブロック
1616…焦点合わせ／露出ロックチェックブロック
1700…シャッターボタンチェックブロック
1702…プレビューイメージ取得ブロック
1704…シーン解析イメージ取得ブロック
1706…プレビュー及びシーンイメージを使用したシーン解析ブロック
1708…主要取得パラメータ設定ブロック
1710…プレビューイメージ取得及び表示ブロック
1712…シャッターボタンチェックブロック
1714…主要イメージ取得ブロック
1716…焦点合わせ／露出ロックチェックブロック
1800…シャッターボタンチェックブロック
1802…プレビューイメージ取得ブロック
1804…シーン解析イメージ取得ブロック
1806…プレビュー及びシーンイメージを使用したシーン解析ブロック
1808…主要取得パラメータ設定ブロック
1810…第2取得ユニットとしてシーン解析取得ユニットを設定するブロック
1812…第2取得パラメータ設定ブロック
1814…シャッターボタンチェックブロック
1816…主要イメージ取得ブロック
1818…拡大イメージ取得ブロック
1820…拡張イメージ形成ブロック

Claims (10)

1. １つのシーンの別々のイメージを形成するための第1及び第2イメージング段を有するデジタルカメラを操作する方法であり：
   前記イメージング段の1つをデフォルトイメージング段として指定する段階；
   前記第1及び第2イメージング段からの第1及び第2イメージを、それぞれ取得及び表示する段階；
   所定期間の間に、前記イメージの表示時間を計る段階；及び
   前記イメージング段の1つを、主に前記デジタルカメラに保存されるシーンのイメージを取得するために使用されることになっている主要取得ユニットとして選択するオペレータ選択を可能にする段階であり、前記オペレータ選択が前記所定期間内に生じなかった場合、前記デフォルトイメージング段が、前記主要取得ユニットとして自動的に選択されることを特徴とする段階；
   を含む方法。
2. 前記第1及び第2イメージング段がズームレンズを含み、該第1及び第2イメージング段をそれぞれのデフォルトズーム位置に設定する段階をさらに含み、前記イメージを取得及び表示する段階が、前記それぞれのデフォルトズーム位置で前記イメージを表示する、請求項1に記載された方法。
3. 前記主要取得ユニットとして選択されていないイメージング段が、該主要取得ユニットによって形成されたイメージを制御、調整、解析及び拡大するための第2取得ユニットとして指定される、請求項1に記載された方法。
4. 前記第2段が、前記主要取得ユニットに対する取得パラメータを設定するためのシーン解析データを提供する、請求項3に記載された方法。
5. 前記第2取得ユニットが、前記主要取得ユニットによって取得されたイメージを拡大するためのイメージデータを提供する、請求項3に記載された方法。
6. 前記カメラが、イメージ露出を開始するためのシャッターボタンを含み、前記オペレータ選択が、前記シャッターボタンが作動するときに生じていない場合、前記デフォルトイメージング段が前記主要取得ユニットとして選択される、請求項1に記載された方法。
7. 1つのシーンの別々のイメージを取得するための第1及び第2イメージング段を有するエレクトロニックカメラであり、前記段の1つがデフォルトイメージング段として指定され：
   第1センサー出力を発生させるための第1イメージセンサー及び該第1イメージセンサー上のシーンの第1イメージを形成するための第1レンズを含む第1イメージング段；
   第2センサー出力を発生させるための第2イメージセンサー及び該第2イメージセンサー上のシーンの第2イメージを形成するための第2レンズを含む第2イメージング段；
   前記第1及び第2イメージを表示するためのディスプレイ；及び
   前記ディスプレイ上の前記第1及び第2イメージの取得及び表示を可能にするためのプロセッサであり、該プロセッサは、さらに、前記デジタルカメラに保存されているシーンのイメージを取得するために主に使用される主要取得ユニットとして、前記イメージング段の1つを選択するオペレータ選択に反応し、前記オペレータ選択が所定期間内に生じなかった場合、前記デフォルトイメージング段が、前記主要取得ユニットとして自動的に選択されることを特徴とするプロセッサ；
   を含むエレクトロニックカメラ。
8. 前記第1及び第2イメージング段がズームレンズを含み、初期段階においてそれぞれのデフォルトズーム位置に設定され、前記プロセッサがそれぞれのデフォルトズーム位置での取得及び表示を可能にする、請求項7に記載されたカメラ。
9. イメージ露出を開始するためのシャッターボタンを含み、前記オペレータ選択が、前記シャッターボタンが作動されるときに生じていない場合、前記プロセッサが、前記デフォルトイメージング段を前記主要取得ユニットとして自動的に選択する、請求項7に記載されたカメラ。
10. 1つのシーンの別々のイメージを取得するための第1及び第2イメージング段を有するエレクトロニックカメラにおいて、前記段の1つがデフォルトイメージング段として指定され、前記カメラが、前記別々のイメージの取得及び表示を可能にするためのプロセッサを含み、該プロセッサが、さらに、前記デジタルカメラによって保存されているシーンのイメージを取得するために主に使用される主要取得ユニットとして、前記イメージング段の1つを選択するオペレータ選択に反応し、該オペレータ選択が所定期間内に生じない場合又は前記カメラが、前記所定期間が切れる前に作動される場合、前記プロセッサが、前記デフォルトイメージング段を前記主要取得ユニットとして自動的に選択することを特徴とする改善。

Images