JP2007041046A - 撮像装置 - Google Patents

Abstract

【課題】複数の撮像光学系を備えたデジタルカメラにおいて、オートフォーカスを迅速に行う。
【解決手段】デジタルカメラ１０Ａは、レンズ２及び第１イメージセンサ１２からなる第１撮像光学系と、レンズ３及び第２イメージセンサ１４からなる第２撮像光学系を備える。画像プロセッサ５０は、位相差ＡＦを実行するために、同一被写体の第１イメージセンサ１２に形成される画像と第２イメージセンサ１４で形成される画像の位相差を検出する。レンズ２とレンズ３の焦点距離が異なるため、画像プロセッサ５０は、第１イメージセンサ１２と第２イメージセンサ１４の画像の倍率を一致させる変換処理を行った後に相関演算を実行し、位相差を検出する。
【選択図】図１

Description

本発明は撮像装置、特に２つの撮像光学系で被写体を撮影して得られる視差に基づいて被写体までの距離を検出する技術に関する。

デジタルカメラ等の撮像装置におけるオートフォーカス（ＡＦ）技術として、コントラストＡＦと位相差ＡＦが知られている。コントラストＡＦは、撮影レンズを通して入射される被写体像が結像される予定焦点面付近とその前後に受光センサを配置し、被写体像の隣接する画素の光量差によりデフォーカス量を検出し、この検出結果に基づいてレンズを駆動し、被写体像に合焦させる方式である、位相差ＡＦは、分割された２つの光束による被写体の再結像の位相差によりデフォーカス量及びその方向を検出して、レンズを駆動して被写体像に合焦させる方式である。

下記の特許文献１には、位相差ＡＦにより粗調を行い、コントラストＡＦにより微調を行ってレンズを合焦動作させる技術が開示されている。

また、下記の特許文献２にも、位相差ＡＦとコントラストＡＦを併用する技術が開示されている。

特開平７−４３６０５号公報 特許第３６３４２３２号公報

コントラストＡＦでは、コントラストのピークを「山登り動作」等で検出するため合焦までに時間を要する問題がある。また、位相差ＡＦでは、撮影光学系とは別に距離検出用のモジュールが必要となり、構成の複雑化を招く。したがって、コントラストＡＦと位相差ＡＦには一長一短があり、デジタルカメラの構成に合致した適当な方式を選択する必要がある。

ところで、小さなサイズと大きな光学ズーム範囲がデジタルカメラの特質である。ユーザは、限定されたズーム範囲よりも大きなズーム範囲を好む。しかしながら、撮影画像の画質を犠牲にすることなく大きなズーム範囲レンズを備えるとデジタルカメラのサイズが増大してしまう。光学一眼レフカメラのような高価なカメラにおいては、例えば２８ｍｍ−７０ｍｍズームレンズと７０ｍｍ−２１０ｍｍズームレンズのような複数の交換レンズを用いることが可能であるが、コンパクトなデジタルカメラではユーザにとり不便である。

そこで、互いに焦点距離の異なる複数の撮像光学系を備えたデジタルカメラが想定され得るが、このようなデジタルカメラにおいていかに迅速かつ正確にＡＦを実行するかが問題となる。

本発明の目的は、互いに画角（あるいは焦点距離）の異なる複数の撮像光学系を備えた撮像装置において、被写体までの距離を迅速かつ正確に検出し、これによりＡＦ動作を迅速に実行することができる撮像装置を提供することにある。

本発明は、第１撮像光学系と、前記第１撮像光学系と所定距離だけ離間して配置され、かつ、前記第１撮像光学系と画角の異なる第２撮像光学系と、前記第１撮像光学系で得られた第１画像と前記第２撮像光学系で得られた第２画像の相関演算を行うことで被写体までの距離を演算する演算手段であって、前記第１画像と前記第２画像の倍率を互いに一致させる変換演算を実行した後に前記相関演算を実行する演算手段とを有することを特徴とする。

本発明の１つの実施形態では、前記演算手段は、前記第１画像あるいは前記第２画像の少なくともいずれかの解像度を変換することで一致させる。

本発明によれば、互いに画角の異なる複数の撮像光学系を備えることで広いズーム範囲を有するとともに、これら複数の撮像光学系を用いて迅速にＡＦを実行して被写体を撮影することができる。

以下、図面に基づき本発明の実施形態について説明する。

図１に、本実施形態にかかるデジタルカメラ１０Ａの構成ブロック図を示す。デジタルカメラ１０Ａはポータブルなバッテリ駆動のカメラである。デジタルカメラ１０Ａは着脱自在（リムーバブル）なメモリカード５４に記憶される静止画（スチル）デジタル画像を生成する。デジタルカメラ１０Ａは静止画に加え、あるいは静止画と択一的に動画デジタル画像を生成してもよく、動画デジタル画像も同様にメモリカード５４に記憶される。

デジタルカメラ１０Ａは撮像アセンブリ１を含み、撮像アセンブリ１は第１イメージセンサ１２上にシーンの画像を結像する固定焦点距離レンズ２と、第２イメージセンサ１４上にそのシーンの画像を結像するズームレンズ３を含む。撮像アセンブリ１は第１イメージセンサ１２からの第１画像出力１２ｅと、第２イメージセンサ１４からの第２画像出力１４ｅを提供する。イメージセンサ１２、１４はアスペクト比及び画素サイズが同一のイメージセンサであり、レンズ２は３５ｍｍフィルム換算で２２ｍｍの超広角レンズで、ズームレンズ３は同４０ｍｍ−１２０ｍｍ相当のズームレンズである。

３５ｍｍフィルム換算の焦点距離（ｆ．ｌ．）は、次の式で算出される。３５ｍｍフィルム換算焦点距離＝（実焦点距離（ｍｍ）×４３．２７ｍｍ）／（対角線上のセンサ焦点面距離（ｍｍ））。

固定レンズ２の焦点距離は２２ｍｍの超広角視野を提供し、４フィートから無限遠までの被写体に合焦する。従って、固定レンズ２はフォーカス調整を必要としない。固定焦点距離レンズ２はイメージセンサ１２の露光を制御する絞り及びシャッタアセンブリを含む。ズームレンズ３はズーム及びフォーカスモータ５ａにより駆動され、イメージセンサ１４の露光を制御する絞り及びシャッタアセンブリを含む。

イメージセンサ１２、１４はシングルチップのカラーメガピクセルＣＣＤセンサであり、カラー画像を撮影するための公知のベイヤー（Ｂａｙｅｒ）カラーフィルタを用いる。イメージセンサ１２、１４は４：３イメージアスペクト比を有し、３．１有効メガピクセル、２０４８ピクセル×１５３６ピクセルを有する。

制御プロセッサ及びタイミングジェネレータ４０はクロックドライバ１３に信号を供給することで第１イメージセンサ１２を制御し、クロックドライバ１５に信号を供給することで第２イメージセンサ１４を制御する。制御プロセッサ及びタイミングジェネレータ４０はズーム及びフォーカスモータ５ａ並びにシーンを照射するためのフラッシュ４８も制御する。制御プロセッサ及びタイミングジェネレータ４０は自動フォーカス及び自動露出検出器４６からの信号を受信する。自動焦点及び自動露出検出器４６の代わりに、イメージセンサ１４を露出検出及びＴＴＬ自動焦点に用いることができる。ユーザコントロール４２はデジタルカメラ１０Ａの操作制御に用いられる。

第１イメージセンサ１２からのアナログ出力信号１２ｅは第１アナログ信号プロセッサ（ＡＳＰ１）２２で増幅され、コントロール要素３４、すなわちアナログマルチプレクサコントロール要素の第１入力に供給される。第２イメージセンサ１４からの第２アナログ出力信号１４ｅは第２アナログ信号プロセッサ（ＡＳＰ２）２４で増幅され、コントロール要素３４の第２入力に供給される。コントロール要素３４の機能は第１イメージセンサ１２からの第１センサ出力１２ｅあるいは第２イメージセンサ１４からの第２センサ出力１４ｅのいずれかを選択することであり、これにより撮像アセンブリ１からの選択されたセンサ出力を後段の部品に供給する。

制御プロセッサ及びタイミングジェネレータ４０は、アナログデジタル（Ａ／Ｄ）変換回路３６に（ＡＳＰ１）２２あるいは（ＡＳＰ２）２４のいずれかの出力を供給するためにアナログマルチプレクサコントロール要素３４を制御する。Ａ／Ｄ変換器３６から供給されたデジタルデータはＤＲＡＭバッファメモリ３８に記憶され、さらに画像プロセッサ５０で処理される。画像プロセッサ５０で実行される処理は、フラッシュＥＰＲＯＭメモリで構成されるファームウェアメモリ５８に記憶されたファームウェアで制御される。プロセッサ５０は入力デジタル画像ファイルを処理し、処理ステージにおいて入力デジタル画像ファイルはＲＡＭメモリ５６に記憶される。

２つのＡ／Ｄ変換回路がそれぞれ（ＡＳＰ１）２２及び（ＡＳＰ２）２４の出力に接続される構成でもよく、この場合にはアナログＭＵＸ３４は不要となる。代わりに、デジタルマルチプレクサがＡ／Ｄ変換回路の出力のいずれかを選択するために用いられる。

画像プロセッサ５０で処理されたデジタル画像ファイルはメモリカードインタフェース５２に供給され、インタフェース５２はデジタル画像ファイルをリムーバブルメモリカード５４に記憶する。メモリカード５４はデジタル画像記憶媒体の一種であり、いくつかの異なる物理フォーマットで利用できる。例えば、メモリカード５４は公知のフォーマット、例えばコンパクトフラッシュ（登録商標）、スマートメディア、メモリスティック、ＭＭＣ、ＳＤ、ＸＤメモリカードフォーマットに適用できる。他の形式、例えば磁気ハードドライブ、磁気テープ、光ディスクも使用し得る。あるいは、デジタルカメラ１０ＡはフラッシュＥＰＲＯＭ等の内蔵不揮発性メモリを用いてもよい。このような場合、メモリカードインタフェース５２やメモリカード５４は不要である。

画像プロセッサ５０は種々のハウスキーピング及び画像処理機能を実行し、この中にはｓＲＧＢ画像データを生成するためにカラー及びトーン補正によるカラー補間を含む。ｓＲＧＢ画像データは次にＪＰＥＧ圧縮され、ＪＰＥＧ画像データとしてメモリカード５４に記憶される。ｓＲＧＢ画像データは、ＳＣＳＩ接続、ＵＳＢ接続、ＦｉｒｅＷｉｒｅ接続等のホストインタフェース６２を介してホストＰＣ６６にも供給される。ＪＰＥＧファイルはいわゆる「Ｅｘｉｆ」画像フォーマットを用いる。

画像プロセッサ５０は、典型的にはプログラマブル画像プロセッサであるが、ハード結線されたカスタム集積回路プロセッサ、汎用マイクロプロセッサ、ハード結線カスタムＩＣとプログラマブルプロセッサの混合でもよい。

画像プロセッサ５０は低解像度サムネイル画像も生成する。画像が撮影された後、サムネイル画像はカラーＬＣＤ７０に表示される。カラーＬＣＤ７０に表示されるグラフィカルユーザインタフェースはユーザコントロール４２で制御される。

デジタルカメラ１０Ａはカメラ電話（カメラフォン）の一部に含まれていてもよい。このような実施形態では、画像プロセッサ５０はセルラープロセッサ９０に接続し、セルラープロセッサ９０はアンテナ９４を介した無線送信を用いてセルラーネットワークにデジタル画像を送信すべくセルラーモデム９２を使用する。撮像アセンブリ１はレンズ２，３、イメージセンサ１２，１４、ズーム及びフォーカスモータ５ａを含む集積アセンブリでもよい。加えて、クロックドライバ１３，１５、アナログ信号プロセッサ２２，２４、アナログＭＵＸ３４、Ａ／Ｄ変換器３６も集積アセンブリの一部としてもよい。

図２Ａ及び図２Ｂに、デジタルカメラ１０Ａの斜視図を示す。図２Ａはデジタルカメラ１０Ａの正面からみた図であり、固定焦点距離レンズ２、ズームレンズ３、フラッシュ４８を示す。固定焦点距離レンズ２は超広角レンズであり、２２ｍｍ焦点距離、ｆ／２最大絞りである。ズームレンズ３は超薄レンズ、すなわちプリズムレンズであり、４０ｍｍ−１２０ｍｍ換算ズームレンズである。プリズムレンズは屈曲光路のためのプリズムを有し、これにより非常に薄い光学構成を生み出している。図２Ｂはデジタルカメラ１０Ａを背面から見た図であり、カラーＬＣＤ７０及び複数のユーザコントロール４２を示す。ユーザコントロール４２は、撮像シーケンスを可能とするシャッタボタン４２ａ、パノラマモードを可能とするパノラマボタン４２ｂ、ズーム設定を可能とするズームボタン４２ｃ、カラーＬＣＤ７０に表示される画像、メニュー選択を介して操作するためのマルチポジションセレクタ４２ｄを含む。

固定焦点距離レンズ２とイメージセンサ１２で得られる画像のアスペクト比はズームレンズ３とイメージセンサ１４で得られる画像のアスペクト比と異なっていてもよい。例えば、イメージセンサ１２は１６：９のアスペクト比を有し、２７３０ピクセル×１５３０ピクセル、４．２有効メガピクセルとできる。ＬＣＤ７０はワイドアスペクト比（例えば１６：９）とすることができる。イメージセンサ１２のアスペクト比はパノラマ画像（１６：９のパノラマ画像）を表し、イメージセンサ１４のアスペクト比は典型的なテレビジョンアスペクト比画像（４：３の画像）を表す。この場合、ユーザコントロール４２は制御プロセッサ及びタイミングジェネレータ４０にユーザコマンドを入力し、固定焦点距離レンズ（広角レンズ）２からズームレンズ３の４：３アスペクト比まで狭めていく可変パノラマ効果を得るために、イメージセンサ１２により供給され記憶された画像のアスペクト比を変化させる。これは、ＤＲＡＭバッファメモリ３８に記憶された画像データを切り取ることで達成され、イメージセンサ１２からの画像データの中央部分のみが画像プロセッサ５０で処理されメモリカード５４に記憶される。例えば、ズームボタン４２ｃのワイド制御部を押すことにより、画像の垂直方向マージンはノーマルの１６：９アスペクト比からよりワイドなアスペクト比に連続的に調整される。これに応じ、ＤＲＡＭバッファメモリ３８内の画像の上端と下端は画像プロセッサ５０により切り取られ、１７：９、１８：９（２：１）、１９：９等のようによりワイドなアスペクト比を生成する。あるいは、画像の水平方向マージンは、ズームボタン４２ｃの望遠制御部を押すことにより１６：９のアスペクト比からより狭いアスペクト比に調整される。これに応じ、ＤＲＡＭバッファメモリ３８内の画像の左端及び右端は画像プロセッサ５０により切り取られ、１５：９、１４：９、３：２等のようにより狭いアスペクト比を生成する。このように、第１イメージセンサ１２からの画像データを用いて可変パノラマ効果がデジタル的に得られる。

図３に、デジタルカメラ１０Ａの内部配置図を示す。図３は、デジタルカメラ１０Ａの正面図であり、どのように固定焦点距離レンズサブアセンブリ１ａとズームレンズサブアセンブリ１ｂがレンズ２，３の一方側に位置し電子フラッシュ４８の下部に位置するかを示す。バッテリ部２０４は、レンズ２，３の他方側に位置する。

このように、固定焦点距離レンズ２とズームレンズ３を備えるデジタルカメラ１０Ａにおいて、固定焦点距離レンズ２及びズームレンズ３で同一被写体を撮影した場合、第１イメージセンサ１２及び第２イメージセンサ１４には視差により同一被写体の画像がイメージセンサ上の異なる位置に結像する。したがって、本実施形態におけるデジタルカメラ１０Ａでは、位相差ＡＦ用の距離検出モジュールを新たに設ける必要がなく、既存の固定焦点距離レンズ２及び第１イメージセンサ１２からなる第１撮像光学系と、ズームレンズ３及び第２イメージセンサ１４からなる第２撮像光学系とを用いて位相差ＡＦを実行することが可能となる。

図４に、本実施形態における距離検出方法を模式的に示す。被写体７からの光は固定焦点距離レンズ２で集光され、第１イメージセンサ１２上に被写体像が形成される。被写体像のうち着目する一部分の像を像１００とする。固定焦点距離レンズ２は被写界深度が深いので、比較的焦点の合った明瞭な像１００が得られる。一方、被写体７からの光はズームレンズ３でも集光され、第２イメージセンサ１４上に被写体像が形成される。被写体像のうち着目する同一部分の像を像２００とする。ズームレンズ３は未だ合焦状態にないため、像２００はボケているおそれがあるが、第２イメージセンサ１４に結像した像のうち、像１００に対応する像を決定できる程度に明瞭であればよく、合焦状態にある必要はない。第１イメージセンサ１２における像１００の位置と、第２イメージセンサ１４における像２００の位置は、被写体７までの距離及び２つのレンズ２，３の離間距離、つまり基線長Ｔに応じて変化する。したがって、既知の基線長Ｔを用い、像１００と像２００の位置の相違を周知の相関演算で検出することで被写体７までの距離を検出することができる。

但し、固定焦点距離レンズ２の焦点距離ｆ１と、ズームレンズ３の焦点距離ｆ２は異なるので、像１００と像２００では倍率が異なり、そのままでは相関演算を実行することが困難である。図４において、像１００と像２００とは倍率が異なるため、像１００の形状と像２００の形状が異なっていることに留意されたい。

そこで、画像プロセッサ５０は第１イメージセンサ１２からの第１画像と、第２イメージセンサ１４からの第２画像の相関演算を行う際に、相関演算に先立って第１画像と第２画像の倍率を一致させる変換処理を実行する。具体的には、第２画像に対してｆ１／ｆ２を乗じる変換処理（解像度変換処理）を実行して像２００を像３００に変換する。像２００を像３００に変換した後、像１００と像３００の相関演算処理を実行し、位相差を検出して被写体７までの距離を演算する。画像プロセッサ５０は第１画像に対してｆ２／ｆ１を乗じることで像１００の倍率を像２００に一致させてもよい。また、必要であれば、画像プロセッサ５０は第１画像と第２画像のいずれに対しても変換処理を実行して両画像の倍率を一致させてもよい。例えば第１画像にｆ３／ｆ１を乗じ、第２画像にｆ３／ｆ２を乗じる等である。但し、２つの画像にともに変換処理を施すのは煩雑となるので、いずれか一方の画像のみに変換処理を施すのが好適である。制御プロセッサ及びタイミングジェネレータ４０は、撮影時には第１イメージセンサ１２からの第１画像あるいは第２イメージセンサ１４からの第２画像のいずれかを画像プロセッサ５０に供給するが、位相差ＡＦを実行する際には第１画像及び第２画像をともに画像プロセッサ５０に供給する。被写体７までの距離が演算されるまではレンズ２，３のフォーカス位置（デフォルトのフォーカス位置）は任意の位置に設定され得るが、像１００及び像２００を明瞭に得るためには適切な位置に設定することが好適である。レンズ２，３ともデフォルトのフォーカス位置は同一の値に設定することができ、フォーカス移動範囲内の中間値に設定することで任意の距離にある被写体に対応することができる。

図５に、本実施形態の全体処理フローチャートを示す。デジタルカメラ１０Ａの電源がＯＮされると、制御プロセッサ及びタイミングジェネレータ４０は、ズーム及びフォーカスモータ５ａを駆動し、レンズ２及びレンズ３のフォーカス位置を規定値に移動させる（Ｓ１０１）。規定値は例えばフォーカスレンズの移動範囲内の中間に設定される。

レンズ２，３のフォーカス位置をそれぞれ規定値（デフォルト位置）に設定した後、ユーザがシャッタボタン４２ａを半押し（Ｓ１状態）したか否かを判定する（Ｓ１０２）。ユーザがシャッタボタン４２ａを半押し（Ｓ１）した場合、後述のＡＦ動作が実行される（Ｓ１０３）。このＡＦ動作は、第１イメージセンサ１２からの第１画像と第２イメージセンサ１４からの第２画像の位相差を用いたＡＦであり、画像プロセッサ５０における変換演算及び相関演算が含まれる。変換演算及び相関演算で被写体７までの距離が算出された場合、ＡＦＯＫのフラグが「１」にセットされ、何らかの原因で距離が算出されない場合（例えば２つの像の相関がとれない場合）、ＡＦＯＫフラグは「０」にセットされる。ＡＦＯＫフラグが「０」にセットされた場合、画像プロセッサ５０、あるいは制御プロセッサ及びタイミングジェネレータ４０はＬＣＤ７０に合焦できない旨の「フォーカスＮＧ」メッセージを表示する（Ｓ１０５）。一方、ＡＦＯＫフラグが「１」にセットされた場合、ＬＣＤ７０に「フォーカスＯＫ」メッセージを表示し（Ｓ１０７）、現在のフォーカス位置をロックする（Ｓ１０７）。フォーカスがロックされた状態でユーザがシャッタボタン４２ａを全押し（Ｓ２状態）したか否かを判定する（Ｓ１０８）。ユーザがシャッタボタン４２ａを全押しした場合、ロックされたフォーカスで被写体７を撮影する（Ｓ１０９）。レンズ２及び第１イメージセンサ１２からなる第１撮像光学系と、レンズ３及び第２イメージセンサ１４からなる撮像光学系のいずれを用いて撮影するかはユーザのズームボタン４２ｃの操作に応じて決定される。ユーザがズームボタン４２ｃを「テレ」側に操作してレンズ３及び第２イメージセンサ１４が選択された場合、Ｓ１０３のＡＦ動作でズーム及びフォーカスモータ５ａがレンズ３のフォーカス位置を調整して撮影する。第２イメージセンサ１４で形成された第２画像は画像プロセッサ５０で処理され、メモリカード５４に記憶される。

図６に、図５の処理ステップＳ１０３でのＡＦ動作の詳細フローチャートを示す。画像プロセッサ５０は、第１イメージセンサ１２及び第２イメージセンサ１４の画像データを取得し（Ｓ２０１）、第２イメージセンサ１４の画像データ（第２画像データ）をｆ１／ｆ２に解像度変換する（Ｓ２０２）。具体的には、第２画像データを水平方向にｆ１／ｆ２だけ圧縮する。ｆ１は既知であり、ｆ２はレンズ３に設けられたズームエンコーダから取得する。もちろん、ユーザが操作したズームボタン４２ｃから取得してもよい。第２画像に変換処理を実行した後、第１画像と変換後の第２画像の相関演算を実行して位相差を算出する（Ｓ２０３）。相関演算は、第１画像の像１００を構成するｎ画素と第２画像の像３００を構成するｎ画素に対して対応画素毎に相関値を演算する。次に、第１画像の像１００のｎ画素を１画素だけシフトさせて再び第２画像の像３００のｎ画素に対して対応画素毎に相関値を演算する。以上の処理を繰り返し実行し、相関値が極値となるシフト量が像１００と像３００の位相差となる。相関値は、例えば対応する画素の差の絶対値の総和として定義される。

以上のようにして位相差が検出されたか否かが判定され（Ｓ２０４）、位相差が検出できない場合にはレンズ２，３を規定値に移動させた上で（Ｓ２０５）、ＡＦＯＫフラグを「０」にセットする（Ｓ２０６）。この場合、図５で説明したように、ＬＣＤ７０にフォーカスＮＧのメッセージが表示される。一方、位相差が検出された場合、画像プロセッサ５０は検出された位相差から被写体７までの距離を演算する（Ｓ２０７）。演算された距離情報は制御プロセッサ及びタイミングジェネレータ４０に供給される。もちろん、画像プロセッサ５０で変換演算及び相関演算を実行するのではなく、制御プロセッサ及びタイミングジェネレータ４０で実行してもよい。制御プロセッサ及びタイミングジェネレータ４０は距離情報に基づいてレンズ２，３のフォーカス位置を移動する（Ｓ２０８）。そして、ＡＦＯＫフラグを「１」にセットする（Ｓ２０９）。以上のようにして、２つの撮像光学系を用いて位相差ＡＦが実行される。

図７に、他の実施形態の全体処理フローチャートを示す。図５の例ではレンズ２，３のフォーカスレンズ位置を規定値に移動させて位相差ＡＦを実行しているが、フォーカスレンズのレンズ位置は被写体７までの距離に応じた適正なレンズ位置に近いほど高精度に距離を算出できることは言うまでもない。そこで、図７では、図６に示すＡＦ動作を繰り返し実行してＳ１０１における既定値を更新する。すなわち、まずレンズ２，３のフォーカスレンズを既定値に移動させ（Ｓ３０１）、図６に示すＡＦ動作を繰り返し実行するコンティニュアスＡＦ動作を実行する（Ｓ３０２）。次に、ユーザがシャッタボタン４２ａを半押し（Ｓ１の状態）したか否かを判定し（Ｓ３０３）、半押しされた時点でＡＦＯＫフラグが既に「１」にセットされているか否かを判定する（Ｓ３０４）。コンティニュアスＡＦで被写体７を既に捕らえている場合にはＬＣＤ７０にフォーカスＯＫメッセージが表示され（Ｓ３０６）、フォーカスがロックされる（Ｓ３０７）。一方、コンティニュアスＡＦでＡＦＯＫフラグが「１」にセットされなかった場合、ＬＣＤ７０にフォーカスＮＧが表示される（Ｓ３０５）。そして、ユーザがシャッタボタン４２ａを全押し（Ｓ２の状態）したか否かを判定し（Ｓ３０８）、全押しした場合にはロックされたフォーカスで被写体７を撮影する（Ｓ３０９）。コンティニュアスＡＦでシャッタボタン４２ａが半押しされる前にＡＦを常に実行しているため、シャッタボタン４２ａが半押しされてからの処理が高速化する。すなわち、撮影のタイムラグがなく、シャッタチャンスを逃さない撮影が可能となる。

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されるものではなく、他の実施形態も可能である。

例えば、本実施形態では、レンズ２を固定焦点距離レンズ、レンズ３をズームレンズとしたが、レンズ２，３を互いに可変焦点距離範囲の異なるズームレンズとすることもできる。

また、本実施形態では、上記のとおりズームレンズ３は未だ合焦状態にないため像２００はボケているおそれがあるものの第２イメージセンサ１４に結像した画像のうち像１００に対応する像を決定できる程度に明瞭であればよいとしているが、より確実に相関演算を行うためにある程度の焦点調節を実行してもよい。例えば、第２イメージセンサ１４に結像した画像がフォーカスはずれによりコントラストが低い場合に、周知の山登りＡＦを実行して相関演算を実行できる程度までフォーカスを粗調節してもよい。

図８に、山登りＡＦと相関演算とを組み合わせた場合の処理を示す。図中、横軸はフォーカス位置、縦軸は第２イメージセンサ１４に結像する画像のコントラスト評価値である。処理開始時において、第２イメージセンサ１４のフォーカス位置がＰ１である場合、相関演算可能なコントラスト評価値ＦＶｔｈに達していないため、山登りＡＦを実行してフォーカスを粗調節する。具体的には、まず第２イメージセンサ１４の画像のエッジ検出を実行し、得られたコントラスト評価値と所定の既定値ＦＶｔｈとを比較する。そして、検出されたコントラスト評価値が既定値ＦＶｔｈに達していない場合に山登りＡＦ処理を実行してフォーカスを粗調節する。撮影及びコントラスト評価を繰り返し実行し（ＴＴＬ−山登りＡＦ）、コントラスト評価値が既定値ＦＶｔｈに達した時点で（図における位置Ｐ２）、山登りＡＦを中止し、以後は上記の相関演算を実行して被写体までの距離を演算して合焦位置（図における位置Ｐ３）に制御する。

また、本実施形態では、横方向の位相差を相関演算により算出しているが、２次元のエリアに分割して相関演算を行ってもよい。これにより、位相差方式で算出することが困難である繰り返しパターン等のシーンにおいても画像の特徴を捉えることで正確な測距が可能となる。

図９に、縦線のシャツを着用している人物を被写体とした場合を示す。このようなシーンにおいて、例えば図中エリアＡにおいて横方向に相関をとる場合、縞による繰り返しが発生しているため差分検出による位相差の検出に誤認識が生じてしまう。この場合、相関値としては差の絶対値の極点が複数ある状態となり、被写体に繰り返しパターンが存在しているとみなすことができる。そこで、図中エリアＢのように測距エリアを２次元として横方向及び縦方向に相関をとる。図９は２つの撮像光学系の一方のみを示しているが、同時に他方の画像も同時にエリアＢを検出し、エリアの相関演算を横方向及び縦方向について実行する。パターンマッチング処理を行うことによりエリアＢが２つの撮像光学系でどれだけずれているか検出してもよい。

また、２次元の相関演算を行う場合において、被写体が複数の距離に存在する場合には測距エリアを画面内で複数個設けることで最適な撮影が可能となる。

図１０に、複数の被写体が存在するシーンの例を示す。全エリアからコントラスト評価値を算出し、コントラスト評価値が規定値より大きいか否かの判定を行う。コントラスト評価値が規定値よりも大きく相関演算が可能と判定されたエリアを選択し、選択したエリアについて相関演算により被写体までの距離を算出する。図１０ではエリアＣとエリアＤが測距可能と判定された場合であり、選択されたエリアＣとエリアＤについて２つの撮像光学系からコントラストデータを算出し、その上で相関演算及び被写体距離演算を行う。そして、これらの演算値から最も近距離のものを撮影距離として設定することで、撮影者の意図に合った撮影が可能となる。

さらに、画面内に特徴領域が存在する場合にはこの特徴領域を利用することも好適である。特徴領域として人物、特に人物の顔部を例にとり説明すると、ポートレート撮影時のように被写体に人物が含まれていることが明らかな場合、第１イメージセンサ１２の第１画像あるいは第２イメージセンサ１４の第２画像の少なくともいずれかから人物の顔部を検出する。顔部を認識するアルゴリズムは周知であり、肌色、髪の色、眼部の位置等から顔部を検出する。顔部を検出した後、顔部の倍率として最も適していると考えられる所定倍率となるように第１画像及び第２画像の倍率を変換し、変換後の画像に対して相関演算を行ってもよい。また、クローズアップ撮影時の被写体に花が含まれている場合には花を特徴領域とすればよい。

デジタルカメラの構成ブロック図である。 デジタルカメラの正面から見た斜視図である。 デジタルカメラの背面から見た斜視図である。 デジタルカメラの正面図である。 ２つの撮像光学系を用いた距離検出の説明図である。 実施形態の全体処理フローチャートである。 図５におけるＡＦ動作の詳細処理フローチャートである。 他の実施形態の全体処理フローチャートである。 山登りＡＦと相関演算との組み合わせを示す説明図である。 ２次元エリアでの相関演算を示す説明図である。 複数の２次元エリアでの相関演算を示す説明図である。

符号の説明

２ 固定焦点距離レンズ、３ ズームレンズ、１２ 第１イメージセンサ、１４ 第２イメージセンサ、４０ 制御プロセッサ及びタイミングジェネレータ、４２ ユーザコントロール、４８ フラッシュ、５０ 画像プロセッサ、５４ リムーバブルメモリカード、７０ カラーＬＣＤ。

Claims (9)

1. 第１撮像光学系と、
   前記第１撮像光学系と所定距離だけ離間して配置され、かつ、前記第１撮像光学系と画角の異なる第２撮像光学系と、
   前記第１撮像光学系で得られた第１画像と前記第２撮像光学系で得られた第２画像の相関演算を行うことで被写体までの距離を演算する演算手段であって、前記第１画像と前記第２画像の倍率を互いに一致させる変換演算を実行した後に前記相関演算を実行する演算手段と、
   を有することを特徴とする撮像装置。
2. 請求項１記載の装置において、
   前記演算手段は、前記第１画像あるいは前記第２画像の少なくともいずれかの解像度を変換することで一致させることを特徴とする撮像装置。
3. 請求項１記載の装置において、
   前記第１撮像光学系は固定焦点距離レンズを含み、前記第２撮像光学系はズームレンズを含むことを特徴とする撮像装置。
4. 請求項１記載の装置において、
   前記第１撮像光学系及び前記第２撮像光学系はともにズームレンズを含むことを特徴とする撮像装置。
5. 請求項１記載の装置において、
   前記演算手段は、
   前記第１画像あるいは前記第２画像の少なくともいずれかのコントラストを検出するコントラスト検出手段と、
   検出された前記コントラストを規定値と大小比較する比較手段と、
   を有し、前記装置はさらに、
   前記コントラストが前記規定値未満である場合に前記コントラストが前記既定値に達するまでフォーカスを調節するフォーカス調節手段
   を有し、前記演算手段は前記コントラストが前記既定値に達した後に前記相関演算を実行することを特徴とする撮像装置。
6. 請求項１記載の装置において、
   前記演算手段は、前記相関演算として２次元の相関演算を実行することを特徴とする撮像装置。
7. 請求項１記載の装置において、
   前記演算手段は、
   前記第１画像あるいは前記第２画像の少なくともいずれかを複数のエリアに分割し、各エリアのコントラストを検出するコントラスト検出手段と、
   検出された前記コントラストを既定値と大小比較する比較手段と、
   検出された前記コントラストが前記既定値以上となるエリアを選択する選択手段と、
   を有し、前記選択手段で選択されたエリアを対象として前記相関演算を実行することを特徴とする撮像装置。
8. 請求項１記載の装置において、
   前記演算手段は、
   前記第１画像あるいは前記第２画像の少なくともいずれかから被写体の特徴領域を検出する検出手段
   を有し、前記被写体の特徴領域の倍率に適した倍率となるように前記第１画像と前記第２画像の倍率を互いに一致させる変換演算を実行することを特徴とする撮像装置。
9. 請求項８記載の装置において、
   前記特徴領域は人物であることを特徴とする撮像装置。

Images