JP2005250401A - 焦点距離検出方法及び合焦装置 - Google Patents

Abstract

【課題】色情報を用い、正確に焦点距離を検出して合焦する。
【解決手段】撮影した画像データから、画像処理回路15で輝度及びＲ(赤)，Ｇ(緑)，Ｂ(青)の各色の画像データを生成する。自動的にあるいは撮影者の操作に応じ、輝度及び各色の画像データの中から、合焦に用いる画像データを選択するとともに、各画像データに対する重み付け量を設定する。光学系11を駆動し、焦点距離を変化させながら、複数の画像データを撮影する。選択した画像データごとに、それぞれ焦点距離を算出する。算出した焦点距離にそれぞれ重み付けを行い、最終的な焦点距離を算出する。適切な色の画像データを用いることにより、輝度のみでは測距できない被写体についても測距が可能になり、苦手とする被写体を減らし、正確に距離を測定して合焦できる。
【選択図】図１

Description

本発明は、画像データから焦点距離を検出する焦点距離検出方法及び合焦装置に関する。

従来、ビデオカメラあるいは電子スチルカメラなどの撮像装置において、撮影された画像データの高周波成分を抽出してレンズの焦点を合わせる構成が知られている。この構成は、レンズを駆動して焦点を移動させながら撮影を行い、レンズの各位置において画像データの高周波成分を抽出してコントラストの評価値(以下、コントラストと称する)を算出する。そして、コントラストが大きくなる方向へレンズの位置を移動させ、このコントラストが最大となる位置を、レンズの合焦位置としている。

この点、輝度信号の高周波成分を用いる構成において、被写体が人物である場合に、色差信号を用いて画像データから肌色部分を検出し、この肌色部分で輝度信号の高周波成分の重み付けを大きくして、人物への確実な合焦を図った構成が知られている(例えば、特許文献１参照。)。

また、画像信号から肌色部分を検出する回路を備え、肌色部分が存在し、かつ、この肌色部分に合焦している場合には、この肌色部分が適正露出となるように露出を制御する構成が知られている。そして、この構成では、輝度信号の高周波成分が所定のレベルに達しているかにより、合焦を検出している。(例えば、特許文献２参照。)。

さらに、画像信号から肌色部分を検出して、主被写体が人物か否かを判別し、主被写体が人物であると判定した場合には、自動合焦の際のレンズの駆動速度を低くし、レンズを精度良く停止させることを図った構成が知られている(例えば、特許文献３参照。)。
特開平２−２１４２７２号公報（第１−２頁） 特開平４−１５０６９２号公報（第１−３頁） 特開平５−５３０４１号公報（第２頁、図５）

上記のように、肌色部分に注目する構成は、人物撮影のみに適用可能であり、また、人物の肌は一般にコントラストが低く、焦点距離を誤って検出しやすいとともに、人物以外に肌色の物体が存在する場合には、焦点距離を誤って検出しやすい。すなわち、これら文献の構成は、単一の輝度情報あるいは、輝度情報に近い単一の情報を基に合焦を行っており、特定の条件でのみ正確な合焦が可能になる。

本発明は、このような点に鑑みなされたもので、種々の被写体や撮影環境に対応して正確に焦点距離を検出できる焦点距離検出方法及び合焦装置を提供することを目的とする。

請求項１記載の焦点距離検出方法は、輝度情報及び複数の色情報の画像データの中から選択された画像データを光学系の焦点距離を変化させながら複数取得し、取得した前記複数の画像データから、コントラストの評価値のピーク値を用いて焦点距離を算出するものである。

そして、この構成では、輝度情報及び複数の色情報の中からコントラストの検出に適した情報を選択した画像データで焦点距離を算出することにより、種々の色情報を有する被写体に対し、種々の撮影環境下において、正確に焦点距離が検出される。

請求項２記載の焦点距離検出方法は、請求項１記載の焦点距離検出方法において、選択した複数の色情報の画像データの評価値に対して、それぞれ条件に応じて自動的に重み付けを行うものである。

そして、この構成では、評価値に自動的に重み付けを行うため容易に正確に焦点距離の検出が可能になる。

請求項３記載の焦点距離検出方法は、請求項１記載の焦点距離検出方法において、選択した複数の色情報の画像データの評価値に対して、それぞれ操作者が任意に重み付けを行うものである。

そして、この構成では、操作者の意図に応じて、特定の色の被写体などに対し正確な焦点距離の検出が可能になる。

請求項４記載の焦点距離検出方法は、請求項１記載の焦点距離検出方法において、被写体に応じて、所定の色情報の画像データのみを用いて焦点距離を算出する撮影モードを備えるものである。

そして、この構成では、所定の色情報の画像データのみを用いることにより、他の色情報に影響されずに、操作者が意図する被写体に容易に合焦する。

請求項５記載の焦点距離検出方法は、請求項１ないし４いずれか一記載の焦点距離検出方法において、画像データの取得時に、所定の色情報の光を発光するとともに、発光した補助光の色情報に応じて、色情報の画像データの評価値に重み付けを行うものである。

そして、この構成では、コントラストの検出に適した補助光を発光し、さらに、発光した補助光の色情報に応じて、色情報の画像データの評価値に重み付けを行うことにより、補助光を効率良く利用し正確に焦点距離が検出される。

請求項６記載の焦点距離検出方法は、請求項１ないし５いずれか一記載の焦点距離検出方法において、取得した複数の画像データについて、それぞれ互いに隣接する複数の画像検出領域を設定し、各画像検出領域に、それぞれコントラストの評価値のピーク値がいずれの画像データで記録されたかにより部分焦点距離を算出するとともに、それぞれ前記ピーク値を記録した位置の前記複数の画像データ間における移動に応じた信頼度を算出し、前記信頼度及び前記評価値に応じて、前記部分焦点距離及び所定の焦点距離の中から焦点距離を選択するものである。

そして、この構成では、コントラストの評価値のピーク値を記録した位置の画像データ間における移動に応じた信頼度を算出したため、被写体が相対的に移動した信頼度の低い画像検出領域の部分焦点距離は選択の対象から外し、正確な焦点距離の検出が可能になる。

請求項７記載の合焦装置は、撮像素子と、この撮像素子に被写体を結像させる光学系と、この光学系の焦点距離を変化させる光学系駆動手段と、前記撮像素子から出力された画像データを処理するとともに前記光学系駆動手段を制御する画像処理手段とを具備し、この画像処理手段は、輝度情報及び複数の色情報の中から選択して画像データを光学系の焦点距離を変化させながら複数取得し、取得した前記複数の画像データから、コントラストの評価値のピーク値を用いて焦点距離を算出するものである。

そして、この構成では、輝度情報及び複数の色情報の中からコントラストの検出に適した情報を選択した画像データで焦点距離を算出することにより、種々の色情報を有する被写体に対し、種々の撮影環境下において、正確な合焦が可能になる。

請求項８記載の合焦装置は、請求項７記載の合焦装置において、選択した複数の色情報の画像データの評価値に対して、それぞれ操作者が任意に重み付けを行う操作手段を備えたものである。

そして、この構成では、操作者の意図に応じて、特定の色の被写体などに正確に合焦することが可能になる。

請求項９記載の合焦装置は、請求項７記載の合焦装置において、画像処理手段は、選択した複数の色情報の画像データの評価値に対して、それぞれ条件に応じて自動的に重み付けを行うものである。

そして、この構成では、評価値に自動的に重み付けを行うため容易に正確に合焦することが可能になる。

請求項１０記載の合焦装置は、請求項７ないし９いずれか一記載の合焦装置において、所定の色情報の光を発光する補助光装置を備えるものである。

そして、この構成では、補助光を効率良く利用し正確に合焦することが可能になる。

請求項１１記載の合焦装置は、請求項７ないし１０いずれか一記載の合焦装置において、画像処理手段は、取得した複数の画像データについて、それぞれ互いに隣接する複数の画像検出領域を設定し、各画像検出領域に、それぞれコントラストの評価値のピーク値がいずれの画像データで記録されたかにより部分焦点距離を算出するとともに、それぞれ前記ピーク値を記録した位置の前記複数の画像データ間における移動に応じた信頼度を算出し、前記信頼度及び前記評価値に応じて、前記部分焦点距離及び所定の焦点距離の中から焦点距離を選択するものである。

そして、この構成では、コントラストの評価値のピーク値を記録した位置の画像データ間における移動に応じた信頼度を算出したため、被写体が相対的に移動した信頼度の低い画像検出領域の部分焦点距離は選択の対象から外し、正確な合焦が可能になる。

本発明によれば、コントラストの検出に適した情報が選択された画像データを用いて焦点距離を算出することにより、種々の被写体や撮影環境に対応して正確に焦点距離を検出できる。

以下、本発明の焦点距離検出方法及び合焦装置の一実施の形態を図面を参照して説明する。

図１において、10は撮像装置で、この撮像装置10は、合焦装置を備え、静止画あるいは動画を撮影するためのデジタルカメラであり、レンズ及び絞りなどを備えた光学系11、撮像素子としてのＣＣＤ12、このＣＣＤ12の出力が順次入力されるアナログ回路13、Ａ／Ｄ変換器14、情報選択手段及び画像処理手段を構成する画像処理回路15、記憶手段としてのＲＡＭなどのメモリ16、画像処理手段を構成する制御手段を構成するＣＰＵ17、このＣＰＵ17に制御されてＣＣＤ12を駆動するＣＣＤ駆動回路18、このＣＰＵ17に制御される光学系駆動手段を構成するモータ駆動回路19、このモータ駆動回路19に駆動されて光学系11のフォーカスレンズすなわち焦点レンズなどのレンズなどを前後に駆動して焦点距離を変化させる光学系駆動手段を構成するモータ20、液晶ディスプレイなどの画像表示装置21、メモリカードなどの画像記録媒体22、情報選択手段を構成する補助光装置23、及び、図示しない筐体、撮影ボタンや切替スイッチあるいは撮影モード選択手段などを構成する操作手段、電源装置、入出力端子などを備えている。

そして、ＣＣＤ12は、電荷結合素子(ＣＣＤ : charge coupled device)を用いたイメージセンサである電荷結合素子型の固体撮像素子である。また、ＣＰＵ17は、いわゆるマイクロプロセッサであり、システムの制御を司っている。そして、この実施の形態では、ＣＰＵ17は、光学系11の絞り制御及び焦点距離変倍制御(フォーカス制御)を行い、特に、モータ駆動回路19を介してモータ20により光学系11を駆動し、すなわち、単数あるいは複数の焦点レンズの位置を前後に変化させ、フォーカスの制御を行う。さらに、このＣＰＵ17は、ＣＣＤ駆動回路18の制御を介してのＣＣＤ12の駆動制御、アナログ回路13の制御、画像処理回路15の制御、メモリ16に記録されるデータの処理、画像表示装置21の制御、画像記録媒体22への画像データの記録及び読み出し、及び補助光装置23による補助光の投光などを行う。さらに、メモリ16は、安価なＤＲＡＭなどで構成され、ＣＰＵ17のプログラム領域、ＣＰＵ17及び画像処理回路15のワーク領域、画像記録媒体22への入出力バッファ、画像表示装置21用のビデオバッファ、その他画像データの一時記録領域として共用される。

そして、ＣＣＤ12に入射する被写体光は、ＣＰＵ17が光学系11の絞りなどを制御することにより光量調整される。そして、ＣＣＤ12は、ＣＣＤ駆動回路18により駆動され、被写体光が光電変換された結果のアナログ映像信号をアナログ回路13へ出力する。また、ＣＰＵ17はＣＣＤ駆動回路18を介してＣＣＤ12の電子シャッタの制御なども行う。また、アナログ回路13は、相関２重サンプリング及びゲインコントロールアンプからなり、ＣＣＤ12から出力されるアナログ映像信号のノイズ除去、及び画像信号の増幅などを行う。また、例えば、アナログ回路13のゲインコントロールアンプの増幅度などが、ＣＰＵ17により制御される。

そして、アナログ回路13の出力は、Ａ／Ｄ変換器14へ入力され、このＡ／Ｄ変換器14でデジタル映像信号へと変換される。そして、変換された映像信号は、そのままメモリ16へ一時記録され、以後の処理を待つか、あるいは、画像処理回路15へ入力されて画像処理を施された後、メモリ16を介して画像表示装置21により表示され、あるいは使用者の意図により、画像記録媒体22へ動画像あるいは静止画像として記録される。また、メモリ16へ一時記録された処理前の画像データは、ＣＰＵ17か、あるいは画像処理回路15により、あるいはこれら両者により処理される。

さらに、本実施の形態の画像処理回路15は、図２に示すように、マトリクス補完回路27、スイッチ28、エリア判定回路31、コントラスト検出手段としてのフィルタ回路32、ピーク判定回路33、ピーク位置判定回路34、及び演算回路35を備えている。

所定のレンズ位置で、すなわち、光学系11が適宜の焦点距離に設定された状態で、光学系11に入射した被写体像は、ＣＣＤ12を通じてアナログ画像信号化され、アナログ回路13とＡ／Ｄ変換器14を通してデジタルの画像データに変換される。そして、Ａ／Ｄ変換器14から出力されたデジタルの画像データは、メモリ16に記憶され、同時に、合焦及び露出などの制御のためのデータ処理が、画像処理回路15にて行なわれる。すなわち、Ａ／Ｄ変換器14によりデジタルの画像データに変換された画像データは、マトリクス補完回路27に入力され、このマトリクス補完回路27で、色変換あるいは補完処理を受け、合焦制御あるいは露出制御に対応した画像データとして、ＹＣＣ形式の輝度データ(以下、輝度情報と称する)及びＲＧＢ形式の信号データ(以下、色情報と称する)が出力される。なお、この変換処理の設定は、プログラムに応じてＣＰＵ17により変更可能である。そして、これらマトリクス補完回路27から出力された輝度情報及び色情報は、ＣＰＵ17により制御されるスイッチ28に入力され、撮影条件などに応じて制御用の画像データとして選択されて出力される。すなわち、通常のＹＣＣ形式の輝度データの画像データの他、ＲＧＢ形式の画像データのＲ(赤)信号、Ｇ(緑)信号、及びＢ(青)信号を画像データとして出力可能になっている。

そして、このスイッチ28から出力された画像データは、エリア判定回路31に入力され、図３などに示す合焦のための画像エリアである合焦画像範囲Ｗの判定のため、このエリア判定回路31でエリア判定処理を行う。この合焦画像範囲Ｗは、２個以上の複数の画像検出領域Ｗhを有するが、ここでは、画像検出領域ＷhはウインドウＷ1〜Ｗ9により構成され、各ウインドウＷ1〜Ｗ9において、すなわち、被写体Ｔの複数部分の範囲において光学系11から被写体Ｔまでの距離(以下、被写体距離と称する)を算出する手段を有しているものとして説明する。すなわち、合焦画像範囲Ｗの各ウインドウＷ1〜Ｗ9のコントラストの大小の検出のため、フィルタ回路32により高周波成分が解析され、各ウインドウＷ1〜Ｗ9についてコントラストの評価値が算出される。なお、このフィルタ回路32は、比較的コントラストの高いハイパスフィルタ(ＨＰＦ)を用いると良い。

さらに、本実施の形態では、各ウインドウＷ1〜Ｗ9毎の画像に対して、各水平方向のフィルタ回路32から算出された評価値の内、ピーク判定回路33により、最も高い評価値が、各ウインドウＷ1〜Ｗ9の評価値として出力される。また、同時に、ピーク判定回路33で最も高い評価値が得られた画像データ上の位置(以下、ピーク位置と称する)を、算出中のウインドウＷ1〜Ｗ9の起点となる位置から算出するピーク位置判定回路34を備えている。そして、これらピーク判定回路33とピーク位置判定回路34の出力は、すなわち、各ウインドウＷ1〜Ｗ9の水平ライン毎のコントラストの評価値のピーク値とこのピーク値を記録したピーク位置とは、それぞれメモリ16に一時的に格納して保持される。

そして、これらＣＣＤ12の各水平ライン毎に算出されたピーク値とピーク位置とは、演算手段として加算器である演算回路35により各ウインドウＷ1〜Ｗ9内で加算され、各ウインドウＷ1〜Ｗ9毎の加算ピーク値とピーク位置の水平ライン方向の平均位置である加算ピーク位置として出力され、これら加算ピーク値と加算ピーク位置とが各ウインドウＷ1〜Ｗ9の値としてＣＰＵ17に送られる。なお、各ウインドウＷ1〜Ｗ9毎の加算ピーク値の算出に当たる演算回路35は、規定の範囲以上のピーク値のみを対象として演算する構成とすることもできる。

そして、光学系11を駆動し、設定された範囲(駆動範囲)内でレンズ位置を変化させ、各レンズ位置における加算ピーク値と加算ピーク位置とを算出し、メモリ16に保存していく。なお、この駆動範囲すなわち合焦処理用の撮影枚数は、レンズ倍率、撮影される距離情報、撮影者が指定する撮影条件などにより適宜の値を設定することもできる。また、この駆動範囲については、以下に示すように、評価値の演算結果から、評価値が予め設定した図３(b)のFVTHn以上ある場合など、被写体距離が小さい場合には、数を減らし、合焦時間を短くすることもできる。

そして、この駆動範囲で、各ウインドウＷ1〜Ｗ9毎にピーク値を比較し、レンズの駆動方向に対してピーク値にピークがある場合、各ウインドウＷ1〜Ｗ9のピークとする。

そして、このピークの近傍で被写体Ｔに合焦することが推定できる。このピークの値から推定される焦点距離を、各ウインドウＷ1〜Ｗ9の部分焦点距離とする。

ここで、合焦画像範囲Ｗには、複数のウインドウＷ1〜Ｗ9を設定しているため、例えば、ピークの近傍で被写体Ｔが移動しているウインドウが存在する一方、ピークの近傍でブレなく確実に被写体Ｔをとらえているウインドウも存在する。

すなわち、各ウインドウＷ1〜Ｗ9の部分焦点距離には、信頼度の高いもの(有効であるもの)と、信頼度の低いもの(無効であるもの)が存在する。そこで、ＣＰＵ17は、ピーク値とピーク位置との演算結果を用いて、各ウインドウＷ1〜Ｗ9毎に、信頼度を判断し、すなわち、合焦位置特定手段に重み付けを行う。

例えば、部分焦点距離の近傍で、ピーク位置の平均位置が急激に移動している場合や、あるいは、各ウインドウＷ1〜Ｗ9の水平方向に隣接したウインドウＷ1〜Ｗ9のピーク位置の平均位置が急激に移動している場合は、被写体Ｔが移動するブレなどが生じていると推定できるため、当該ウインドウＷ1〜Ｗ9の重み付けは小さくする。一方、ピーク位置の平均位置があまり変化していない場合は、被写体Ｔが移動していないと判断し、重み付けを小さくしない。

また、ウインドウの被写体Ｔのピーク位置が他のウインドウに移動した場合は、ピーク値及びピーク位置が大きく変化する。そこで、このようにピーク値及びピーク位置が大きく変化したウインドウは、重み付けを小さくし、すなわち、ウインドウの信頼度を下げて、結果的に、被写体Ｔをとらえているウインドウの部分焦点距離を優先させる。

なお、各ウインドウＷ1〜Ｗ9内での水平方向のコントラストのピークを評価するため、当該ウインドウＷ1〜Ｗ9内に被写体Ｔのコントラストのピークが存在すれば、被写体Ｔが移動したとしても、評価値としては変化がない。

また、ピーク値のピーク位置がレンズ位置を移動させるごとにばらついている場合は、ノイズなどウインドウ内にコントラストがない場合などが多いため、被写体Ｔがないと判断し、重み付け量を小さくする。

なお、この重み付け量は、予め設定する他、輝度情報や焦点倍率などの撮影条件に基づく画像データの評価値などから算出することもできる。

そして、ＣＰＵ17は、各ウインドウＷ1〜Ｗ9毎に、評価値に重み付けを乗算し、重み付けを行った評価値を得る。

また、ここで、判断手段としてのＣＰＵ17は、重み付けを行った評価値が所定の値以下であると、その評価値は無効とし、以後利用しない。

そして、選択手段としてのＣＰＵ17は、重み付けを行った評価値をレンズ駆動の位置毎に加算し、コントラストが最大になる最終的な合焦位置を算出する。すなわち、評価値の演算結果がＣＰＵ17に送られると、ＣＰＵ17は、各ウインドウＷ1〜Ｗ9で得られた各評価値(加算ピーク値と加算ピーク位置)を加算し、現在のレンズ位置での被写体位置を一つの評価値として演算を行う。この演算の際、ピーク位置は各ウインドウＷ1〜Ｗ9内の垂直方向ライン数で割った値とすると、ピーク位置の重心がわかる。その変化量の大きいものや、水平方向のウインドウから重心がウインドウ隅へ移動したものなどは、そのウインドウ評価値の重み付けを減らした上で加算を行い、最終評価値を得る。

そして、有効とされた評価値の中で最小の部分被写体距離を選び、この部分被写体距離を合焦距離として選択する。すなわち、ＣＰＵ17は、最終評価値の大きさを基に、モータ駆動回路19とモータ20により、最終評価値が最も高い位置まで、光学系11のレンズの移動を指示する。もし、最終評価値に変化がない場合は、モータ駆動回路19を介してモータ20の停止を指示する。

すなわち、重み付けをしているため、被写体Ｔのブレによる誤ったピークを選択することを回避できるため、複数領域を有する複数の焦点距離算出においても、被写体Ｔをブレと間違えずに選択できる。このため、一般的に有効とされる近距離を優先する手法により、正確に合焦位置を選択して撮影できる。

なお、光学系11を構成するレンズのピント位置、すなわち、所定の距離に合焦するレンズの位置は、設計上の撮影距離範囲に対して、焦点倍率による変動や絞り口径位置による変化、及びレンズを支持する鏡筒の温度条件や姿勢差などの条件により変化する。そこで、光学系11には、設計上のピント位置で計算された駆動範囲に加え、さらに、これら条件の変動による変化量を考慮し、近距離側と遠距離側とに変化量分の移動可能範囲すなわちオーバーストローク領域を設けているとともに、ＣＰＵ17などからなる制御手段は、このオーバーストローク領域にレンズを駆動可能にレンズ位置を駆動可能に設定されている。

例えば、設計上の撮影距離範囲を５０cmから無限遠までとしたときのレンズのピント位置の移動量の総量が１０mmであり、上記の変化量の積算最大値が１mmであったとすると、それぞれ近距離側に１mm、遠距離側に１mmのオーバーストローク領域を設け、レンズのピント位置の移動量の総量すなわち駆動範囲を１０＋１＋１より１２mmに設定する。このようにオーバーストローク領域を設け、このオーバーストローク領域にレンズ位置を駆動可能としたため、設計上規定した撮影距離範囲を満足できるようになっている。

また、補助光装置23は、焦点合わせ処理の補助として、撮影環境すなわち被写体が暗い場合に、被写体の輝度に応じて発光する複数の、本実施の形態では、互いに色の異なる２個の光源である補助光Ｌ1，Ｌ2を備えている。そして、各補助光Ｌ1，Ｌ2は、それぞれ光源回路43，44に接続され、さらに、これら光源回路43，44は、第１及び第２のスイッチ45，46を介してＣＰＵ17に接続されている。そして、各補助光Ｌ1，Ｌ2は、光源回路43，44で制御されて発光し、さらに、補助光Ｌ1，Ｌ2の発光が必要か否かの指示や点灯タイミングの制御はＣＰＵ17が行う。また、第１のスイッチ45は、ＣＰＵ17の制御により、２個の補助光Ｌ1，Ｌ2のいずれを制御するかを切り替える。また、第２のスイッチ46は、ＣＰＵ17の制御により、２個の補助光Ｌ1，Ｌ2の両者を同時に制御するか否かを切り替える。

なお、補助光Ｌ1，Ｌ2は、２個に限られず、３個以上の複数(Ｎ個)の補助光Ｌ1，Ｌ2，…ＬNを用いることもできる。そして、これら複数の補助光Ｌ1，Ｌ2，…ＬNは、互いに異なる色で発光する他、互いに同じ色で発光するものとしても良い。また、これら補助光Ｌ1，Ｌ2，…ＬNは、それぞれ単独で制御して発光する構成の他、複数の補助光Ｌ1，Ｌ2，…ＬNを組み合わせて制御し、同時に複数の補助光Ｌ1，Ｌ2，…ＬNを発光させることにより、単独で発光させたときとは異なる色の光を発光することもできる。

次に、本実施の形態による撮影動作の自動合焦動作を図３ないし図１６を参照して説明する。

本実施の形態は、レンズの位置を確定するため、すなわち、正確に合焦するため、撮影者が、通常の輝度情報を用いる他、色情報及び補助光を用いることができるとともに、画像データを複数のウインドウに分割することにより、被写体にブレが生じても正確に合焦できるものである。

まず、図３を参照して、画像データを複数のウインドウに分割する構成について、手振れなどによる被写体ブレがない場合の動作を説明する。

本実施の形態では、図３(a)に示すように、合焦画像範囲ＷがＣＣＤ12の画面の中央部に配置され、さらに、この合焦画像範囲Ｗを、水平方向に３個、垂直方向に３個の合計９個に分割してウインドウＷ1〜Ｗ9が設定されている。なお、このようなウインドウは、隣り合ったエリア部分が複数存在するように構成すれば、個数は適宜の数に設定できる。被写体ブレのない場合の被写体Ｔは、各ウインドウＷ1〜Ｗ9内で十分コントラストがとれるような配置に設定されている。

そして、図３(a)に示す状態で、コントラストを評価した結果を、図３(b)の曲線Ｔcに示す。この例は、モータ20により焦点を近(NEAR)から遠(FAR)に駆動された光学系11により被写体Ｔを撮影した複数の画像データを評価した場合の評価値を加算した最終評価値を示しており、被写体距離Ｔdが、評価値のピークＰに明確に示される。

次に、図４ないし図６を参照して、手振れなどによる被写体のブレがある場合の動作を説明する。

まず、図４を参照して、複数領域を有する方式の被写体移動または手振れなどのブレについて説明する。

図４は、合焦動作中に、手振れ、すなわち撮影中に意に反して撮像装置10が被写体Ｔに対して相対的に移動してしまった場合を示し、時系列に沿ってシーンＳ(H-1)からシーンＳ(H)を経てシーンＳ(H+1)に至る過程で、光学系11のレンズ位置を移動させながら画像データを入力した状態の合焦画像を示している。すなわち、被写体移動あるいは手振れの現象が起こると、例えば、シーンＳ(H-1)ではウインドウＷ1に存在した被写体Ｔのコントラストの大きい部分は、移動によりシーンＳ(H)ではウインドウＷ5に相対的に移動し、シーンＳ(H+1)ではウインドウＷ9に相対的に移動している。そこで、この状態でウインドウＷ1など特定のウインドウのみでコントラストの評価値を評価すると、正しい評価が行われない。

また、図５も、合焦動作中に手振れが生じた場合を示している。そして、図５(a)は、図３(a)と同様の合焦画像範囲Ｗが設定されているが、被写体Ｔが破線Ｔ4に示す位置から実線Ｔ5に示す位置まで相対的に移動する被写体ブレが発生し、被写体Ｔのコントラストの大きい部分が例えばウインドウＷ4からウインドウＷ5まで相対的に移動した状態を示している。そして、この被写体ＴのＴ4からＴ5への移動の間に、光学系11のレンズを駆動する合焦動作が行われると、図５(b)に示すように、ウインドウＷ4のコントラストを評価した結果である評価値は、曲線Ｔc4で示され、また、ウインドウＷ5の評価の結果は曲線Ｔc5で示され、例えばウインドウＷ4の評価値である曲線Ｔc4に注目すると、被写体距離Ｔdとは異なる位置Ｔd4が評価値のピークＰ4となり、被写体が距離毎に複数存在する場合などに区別できないなど、誤作動の原因となる。

また、図６に、ウインドウＷ1〜Ｗ9を相対的に移動するピーク位置について示す。被写体Ｔが水平方向に相対的に移動する場合、ピーク位置の範囲は、各ウインドウＷ1〜Ｗ9の水平方向の画素数で決まり、ピーク位置Ｘ1は、図５(a)のウインドウＷ4でピーク位置の基準点をＡ、ピーク位置Ｘ2は、図５(a)のウインドウＷ5でピーク位置の基準点をＢとした場合を示している。そして、光学系11の焦点距離すなわちレンズ位置をＮとしたとき、このＮに対して近(NEAR)方向をＮ−１、遠(FAR)方向をＮ＋１とする。ここで、光学系11のレンズ位置がＮ−１から遠方向にＮ＋１まで移動した時点で、ピーク位置がウインドウＷ4からウインドウＷ5に移動している。この状態では、ピーク位置は明らかに変化するので、合焦動作の実行中であっても被写体ブレの検出は容易にできる。

しかしながら、このような被写体ブレが生じている場合でも、例えば、ウインドウＷ9のように、複数のウインドウにまたがってコントラストの大きい部分が移動しなければ、正しい評価値をもつウインドウも存在する。従って、このような複数のウインドウにまたがるピーク位置変化部分の検出を行うと同時にその変化のあったウインドウに対する評価値を重み付けによって小さくすることにより、正しい評価値のピークの位置を算出できる。

まず、説明を容易にするため、本実施の形態の前提として、図７ないし図１０のフローチャートを参照して、上記の重み付け処理を行う合焦制御方法について説明する。図７は合焦処理の全体を示し、図８ないし図１０は図７の合焦処理の一部の処理を詳細に示すものである。

図７に示すように、合焦処理では、複数の画像データを用いるが、まず、初期位置あるいは現状のレンズ位置で、１画面の合焦処理用撮影を行い、合焦画像範囲Ｗの画像データを得る（ステップ101）。次いで、撮影された画像データについて、合焦画像範囲Ｗの各ウインドウＷ1〜Ｗ9毎にコントラストの評価値を算出する（ステップ102）。この算出に当たっては、各ウインドウＷ1〜Ｗ9毎に全ラインのピーク値を加算する。次いで、各ウインドウＷ1〜Ｗ9毎の全ラインのピーク値の各基準となる位置からの相対位置を求め、各ウインドウＷ1〜Ｗ9毎に加算し、被写体Ｔの平均位置を算出する（ステップ103）。そして、撮影枚数Ｎの算出を行い（ステップ104）、このＮ回が終了するまで（ステップ105）、光学系11のレンズを移動しながら撮影を行い（ステップ106）、すなわちレンズの移動及び合焦処理用撮影をＮ回繰り返し（ステップ101〜106）、連続した画像データの評価値を取得する。

そして、ステップ106で駆動されたレンズ位置が被写体Ｔの距離に比較的近い場合は、ステップ101で合焦処理用撮影した画像データからステップ103で算出した平均位置には、被写体Ｔの主となるコントラストの特徴が十分に反映される。従って、特にレンズ位置が被写体Ｔの距離に近いウインドウで、手振れなどによる被写体移動があった場合は、ピーク位置の平均位置が変化することになる。

ここで、合焦動作時の画像データの撮影枚数Ｎの算出部分（ステップ104）について、図８のフローチャートを参照して説明する。

この撮影枚数Ｎの設定は、光学系11のレンズの倍率や、撮影される被写体Ｔの距離情報、あるいは、撮影者が指定する撮影条件などに応じて、撮影枚数Ｎを変化させることにより、必要十分な画像データを取得するものである。

まず、図７のステップ102で算出した各ウインドウＷ1〜Ｗ9の評価値FVを、所定の基準値FVTHnと比較し（ステップ201）、評価値FVが基準値FVTHnより大きい場合は、ＮにＮ0を入力する（ステップ202）。なお、このステップ201の工程は設けないこともできあるいは、Ｎ0は、焦点倍率に応じた変数としてＮに入力することもできる。また、評価値FVが基準値FVTHn以下であり（ステップ201）、撮像装置10の操作者である撮影者の設定などにより近距離撮影とされ（ステップ203）、あるいは焦点倍率が比較的大きい、例えば２倍以上の場合は（ステップ204）、ＮにＮ2を入力する（ステップ205）。一方、上記の条件から外れる場合、すなわち、評価値FVが基準値FVTHn以下であり（ステップ201）、近距離撮影でなく（ステップ203）、かつ焦点倍率が比較的小さい、例えば２倍未満の場合は（ステップ204）、ＮにＮ1を入力する（ステップ206）。ここで、値Ｎ0，Ｎ1，Ｎ2については、Ｎ0＜Ｎ1＜Ｎ2の関係があり、近距離撮影や焦点倍率が大きい場合には、撮影枚数Ｎを大きくして光学系11のレンズ駆動を設定を細かく設定し、詳細な評価を可能にするとともに、算出した評価値FVが所定の基準値FVTHn以上である場合など、被写体Ｔが光学系11に近接している場合などは、撮影枚数Ｎを少なくして、合焦時間を短縮することができる。すなわち、レンズ駆動範囲を評価値により選択設定する手段を設けることにより、合焦の精度を低下させずに合焦時間を短縮できる。

そして、図７に示すように、Ｎ回の撮影を行って取得したピーク位置の平均位置に対し、手振れなどを判定し、各ウインドウＷh(Ｗ1〜Ｗ9)毎の信頼度である重み付け量を算出する（ステップ111）。以下、図９のフローチャートを参照して、この判定手段による重み付け量の算出について詳細に説明する。

この処理では、まず、ピーク値平均位置移動量ＰTHの初期値Ｋp＝ＰTH(base)を予め設定し（ステップ301）、各シーンを撮影した合焦画像範囲ＷのウインドウＷhのそれぞれについて、ステップ102で算出した評価値から最も高い評価値を示した単数あるいは複数のシーンＳ(H)Whを求める（ステップ302）。

また、このピーク値平均位置移動量ＰTHは、各ウインドウＷhの重み付け量を選択する最終的な判定値として用いるもので、撮影条件、例えば輝度や焦点距離などに応じて変化する変数となっている。

すなわち、撮影シーンの輝度が比較的高い場合は（ステップ303）、シャッタスピードが比較的速くなるため、一つのウインドウＷh内の移動量は小さくなる傾向がある。そこで、ピーク値平均位置移動量ＰTHの値の割合を予め設定した初期値Ｋp＝ＰTH(base)より小さくし、すなわち、ピーク値平均位置移動量ＰTHに乗算する割合Ｋ(L)を例えば８０％とする（ステップ304）。一方、撮影シーンの輝度がそれ以外、例えば比較的低い場合は（ステップ303）、割合Ｋ(L)を例えば１００％とする（ステップ305）。続いて、焦点倍率が比較的高い場合は（ステップ306）、焦点倍率が低い場合に較べて手振れの可能性が高いことから、ピーク値平均位置移動量ＰTHの値の割合を予め設定した初期値ＰTH(base)より小さくし、すなわち、ピーク値平均位置移動量ＰTHに乗算する割合Ｋ(f)を例えば８０％とする（ステップ307）。一方、焦点倍率がそれ以外、例えば比較的低い場合は（ステップ306）、割合Ｋ(f)を例えば１００％とする（ステップ308）。

そして、予め設定した初期値ＰTH(base)に対して、求めた輝度及び焦点倍率に対する割合Ｋ(L)，Ｋ(f)を乗じて、撮影シーンに最適な判定値としての、ピーク値平均位置移動量ＰTHを算出する（ステップ309）。すなわち、ＰTH＝Ｋp×Ｋ(L)×Ｋ(f) の演算を行う。なお、ここでは、輝度及び焦点倍率に応じて、ピーク値平均位置移動量ＰTHを算出したが、予め最適判定値を求めることができれば、ピーク値平均位置移動量ＰTHの初期値ＰTH(base)をそのままピーク値平均位置移動量ＰTHとして用いることもできる。

次いで、各ウインドウＷhの信頼度を算出する動作として、まず、重み付け量である重み付け係数を初期化する（ステップ310）。この重み付け係数は、１００％に対する割合で示され、例えば１００％に初期化される。同時に、求めたピーク値平均位置移動量ＰTHに応じて、重み付け係数を変数として設定できるように変数ｍを設ける。例えば、重み付け係数を４段階に設ける場合は、ｍは初期値を４として、４，３，２，１の値が与えられる。

そして、重み付けの判定を行う際は、求めたピーク値平均位置移動量ＰTHに対しその割合を、変数ｍを使ってピーク値平均位置移動量ＰTH(m)と変化可能に設定する（ステップ311）。具体的には、求めたピーク値平均位置移動量ＰTHを変数ｍで除して、ピーク値平均位置移動量ＰTH(m)を求める。

そして、シーンＳ(H)Whで表されるピーク値平均位置ΔPS(H)Whと、前シーンＳ(H-1)Whで表されるピーク値平均位置ΔPS(H-1)Whとの差の絶対値が、ピーク値平均位置移動量ＰTH(m)より大きい場合には、判定手段であるＣＰＵ17は、手振れなどにより被写体ＴがウインドウＷ1〜Ｗ9間を移動し、あるいは評価値演算に影響があると判断する（ステップ312）。また、同様に、シーンＳ(H)Whで表されるピーク値平均位置ΔPS(H)Whと、後シーンＳ(H+1)Whで表されるピーク値平均位置ΔPS(H+1)Whとの差の絶対値が、ピーク値平均位置移動量ＰTH(m)より大きい場合には、判定手段は、手振れなどにより被写体ＴがウインドウＷ1〜Ｗ9間を移動し、あるいは評価値演算に影響があると判断する（ステップ313）。一方、これらの差の絶対値が両者ともピーク値平均位置移動量ＰTH(m)以下である場合は、手振れはない、または、評価値演算に影響がないものとして、当該ウインドウＷhの重み付け係数は下げない。そして、変数ｍが大きいほど、比較するピーク値平均位置移動量ＰTH(m)は小さくなるが、ピーク値平均位置移動量の判定は厳しくなり、重み付け係数は、そのピーク値平均位置移動量ＰTH(m)に応じて決定する（ステップ315）。そして、ステップ312あるいはステップ313において、いずれかの差の絶対値が設定したピーク値平均位置移動量ＰTH(m)より大きい場合は、手振れがあるものとして、当該ウインドウＷhの重み付けを下げ、重み付け係数を例えば最大２５％まで下げる（ステップ315）。そして、この比較演算を、変数ｍを初期値例えば４から１つずつ減算し（ステップ316）、変数が０になるまで繰り返し（ステップ311〜317）、各変数に応じて重み付け量を決定する（ステップ314，315）。なお、この重み付け係数は、例えば最小２５％としたが、この構成に限られず、例えば最小０％とすることもできる。また、ピーク値平均位置移動量ＰTH(m)は、前工程で求めたピーク値平均位置移動量ＰTHに対する割合として設定したが、可能であれば、予め設定した複数の最適判定値を用いることもできる。

そして、このように、手振れがあったか否かを複数の判定基準を設けて判断することにより、信頼度のレベルをより細かく複数設定することが可能になる。

さらに、全てのウインドウＷ1〜Ｗ9について演算が終了するまで、この動作を繰り返す（ステップ301〜318）。この重み付けにより、各ウインドウＷ1〜Ｗ9の信頼度を重み付け係数として数値化できる。

そして、ウインドウＳ(H)Whに隣り合ったウインドウについて、前記の処理を行うことにより、手振れなどピークとなる被写体の移動の影響があったか否かを知ることができる。すなわち、図７に示すように、各ウインドウＷhの重み付け係数(信頼度)を算出した後、まず、Eval FLGを０にセットする（ステップ112）。この後、重み付け係数すなわち信頼度が１００％であるウインドウＷhの数が所定値以上、例えば５０％以上ある場合（ステップ113）、あるいは、互いに隣り合ったウインドウＷhの信頼度が共に所定値以上、例えば共に１００％のウインドウＷhが存在する場合（ステップ114）は、シーンに被写体Ｔの移動がないと判断し、以下説明する評価重み付けは行わず、評価値が予め決められた判定値より大きいか否かを比較して（ステップ117）有効か無効かの判定を行う。

一方、ステップ113及びステップ114の条件をいずれも満たさなかった場合は、以下に示すように、重み付け係数を加味した演算処理を行う。すなわち、各ウインドウＷ1〜Ｗ9の重み付け係数を算出した後、求めた重み付け係数を各ウインドウＷ1〜Ｗ9毎の各評価値全体に乗算し、評価値の重み付けを各評価値自身に反映させる（ステップ115）。このとき、重み付けを加味した演算処理を行ったことを示すため、Eval FLGを１にセットする（ステップ116）。

次いで、重み付けされた各評価値について、予め決められた判定値ＶTHより大きいか比較して（ステップ117）、評価対象として有効か（ステップ118）、無効か（ステップ119）を判断する動作を全てのウインドウＷ1〜Ｗ9について行う（ステップ117〜120）。

そして、複数のウインドウが有効となった場合は、ＣＰＵ17は、有効とされたウインドウの合焦位置すなわち部分合焦位置のなかから、合焦距離演算を行い（ステップ121）、合焦距離を求める。

このステップ121の合焦距離演算の詳細を図１０に示す。ここでは、まず、評価値の演算で重み付けを加味したか否かをEval FLGの状態から判定し（ステップ401）、重み付けをしている場合は、それらの評価値を距離毎に加算し（ステップ402）、重み付けをしていない場合は、加算を行わない。そして、これら評価値から、ピーク合焦位置(ピーク位置)を求める（ステップ403）。そして、これらピーク合焦位置が全て設定された撮影範囲外にあった場合（ステップ404）、または、全てのピーク合焦位置の信頼度が所定値以下、例えば２５％以下の場合（ステップ405）は、被写体距離の算出が不能と判断し、予め設定した所定距離を合焦位置(合焦焦点位置)として強制的に設定する（ステップ406）。この時、合焦距離判定がＮＧであると判定する（ステップ407）。

また、上記以外の場合、すなわち設定された撮影範囲内にあるピーク合焦位置(ピーク位置)が少なくとも一つ存在し（ステップ404）、かつ、この設定された撮影範囲内にあるピーク合焦位置が所定値より大きい、例えば２５％より大きい信頼度を有する場合（ステップ405）は、被写体距離の算出が可能と判断し、有効とされたウインドウＷ1〜Ｗ9の中から、ピーク位置が最至近の部分合焦位置を選択し、この位置を合焦位置とする（ステップ408）。この時、合焦距離判定がＯＫであると判定する（ステップ409）。

なお、この合焦距離演算において、重み付けした場合は、ステップ402にて、それぞれの評価値を加算して算出するため、評価値は一つとなり、ピーク位置は複数の評価値を含んだ重心の位置となるが、この構成に限られず、ピーク位置が近距離のウインドウのみを選択し、ウインドウ毎に加算した上で、部分焦点位置を算出し、この位置を合焦位置とすることもできる。また、重み付けしない場合は、評価値が有効なウインドウＷ1〜Ｗ9から最至近の部分焦点位置を選んで、合焦位置とすることもできる。

そして、このように合焦距離演算（ステップ121）から求められた合焦距離判定の結果（ステップ407，409）に応じて、図７に示すように、合焦距離判定がＯＫかＮＧかの判定を行い（ステップ122）、ＯＫの場合には算出した合焦位置に光学系11のレンズを移動させ（ステップ123）、ＮＧの場合には予め設定した所定の合焦位置に光学系11のレンズを移動させ（ステップ124）ることにより、最終合焦位置にレンズを配置することができる。

このように、この構成によれば、デジタルカメラ、ビデオカメラなどの撮像装置に用いる画像データ利用の自動合焦装置であって、画面を複数の領域に分割し、各領域でそれぞれ合焦位置を判定する方式の自動合焦動作において、被写体の移動や手振れなど、測距に障害があるシーンにおいても、ブレを検出し、最適データのみを用いて適正に距離を測定し光学系11を合焦できる。

すなわち、複数の領域でそれぞれ評価値のピークが算出された場合に、最も高い評価値を示した合焦位置である部分焦点距離を単に合焦位置とする構成に較べ、信頼度を加味した評価重み付けの手法により、手振れなどによる信頼度の低いウインドウから得られる部分焦点距離を除外し、評価値が最も高くなくとも、信頼できる評価値のみを利用して判断し、有効とされた評価値のなかで最至近の部分焦点距離を用いることにより、正確に合焦する確率を向上し、合焦位置を正確に判断して焦点の合った撮影をすることができる。特に、光学系11のズームの倍率の大きいいわゆる高倍率モデルで有効に機能させることができる。

また、ノイズなどの影響による評価値や有効な被写体が当該ウインドウ内にない場合の評価値など、重み付け前の評価値自体が低い場合にも、当該ウインドウを無効とすることにより、焦点距離を正確に検出できる。

すなわち、複数領域を有する複数の焦点距離算出において、一般的に有効とされる近距離を優先とした場合、従来の方法では、被写体移動や手振れなどにより誤ったピークが被写体より近距離にあると、被写体を合焦位置と判断できず、誤ったピークを合焦位置と判断し、合焦位置を正しく設定できない場合があるが、本実施の形態では、被写体移動や手振れによる誤ったピークが近距離にあっても、被写体移動や手振れを検出して、最適データのみを用いて適正でかつ近距離を優先した合焦位置を正しく設定できる。

また、従来の、画像検出領域を変更することにより被写体の画像ブレや手振れの補正を行い、画像検出領域を変更した後に再度焦点の評価を行う方法では、合焦位置を算出するまでに時間がかかり、シャッターチャンスを逃すおそれがあるが、この構成では、予め設定された画像検出領域から与えられた情報のみから合焦位置を算出するため、迅速な処理が可能になり、シャッターチャンスをとらえることができる。

また、被写体の画像ブレや手振れなどを検出する加速度センサなどの特別な機器を備える必要がなく、構成を簡略化して、製造コストを低減できる。

また、算出された複数の被写体距離の信頼性が高くなるので、その他のアルゴリズムを組むことが可能になる。

また、予め設定された画像検出領域内で評価値を取得して焦点位置を算出するため、意図しない被写体に合焦することによる撮影者の違和感を抑制できる。

また、蛍光灯などによるフリッカーのある画像の輝度変化に影響されず、画像の評価値のピーク位置が変動しないため、評価値の大きさに係わらず、複数領域毎の信頼性を評価できる。

なお、上記の実施の形態では、光学系11の動作を伴いながら複数の位置の評価値を取得し、評価値が増加から減少に転じた時点でピークを判定するいわゆる山登り方式の測距方式を採用しているが、被写体ブレの場合には、ピーク位置が各ウインドウ内を移動し、やがて隣接するウインドウＷ1〜Ｗ9に移動する。そして、被写体Ｔのコントラストのピーク部分が一つのウインドウから他のウインドウに移動する際には、評価値のピーク値も急激に小さくなる。このように、前後に撮影されたシーンに対して評価値が急激に変化したウインドウは、重み付けを小さくすることにより、手振れのあるデータを排除し、最適データのみを用いて適正に測距し合焦できる。

また、この構成では、評価値のピーク位置を加算しており、比較的ぼけた画像のピーク位置はばらつく。そこで、ばらつきの大きいものは重み付けを低くすることができ、また、もともとピーク値も低い場合は評価値の重み付けを小さくすることができる。

このように、光学系11のレンズ位置の移動毎に、同一のウインドウの評価値のピーク値の差を測定し、または、互いに隣接したウインドウのピーク位置の平均位置の移動量の差を測定し、あるいはこれらの両者を測定することにより、当該ウインドウの評価値に対する信頼度を判定し、信頼度を高めることができる。従って、最終合焦位置を決める際に、複数領域に対する焦点位置から近距離を選択する場合、手振れの場合や被写体が移動する場合にも測距の信頼度を向上できる。

このようにして、被写体ブレなどがある場合にも、合焦信頼性を向上できる。

なお、この構成では、水平方向の被写体Ｔの移動に対応する構成について説明したが、この構成に加え、あるいは、この構成とともに、垂直方向あるいは斜め方向についても、同様に適用することができる。

また、図１及び図２に示す画像処理回路15は、例えばＣＰＵ17など他の回路と同一のチップで構成し、あるいは、ＣＰＵ17のソフトウェア上で実現し、回路を簡素化して製造コストを低減することもできる。また、この画像処理回路15のフィルタ回路32は、コントラストの検出ができれば、どのような構成でも実現できる。

また、測距方式は、いわゆる山登り方式に限られず、自動合焦装置の動作可能な範囲を全てスキャンすることもできる。

また、各ウインドウ毎の評価値を、図９に示す重み付けの処理の後に、互いに隣接する複数のウインドウについて加算し、あるいは、選択した複数のウインドウの評価値を加算した後に、重み付けの処理を行うこともできる。

また、図７及び図９に示す処理においては、ピーク値平均位置移動量ＰTH値及び判定値ＶTHは予め一つ設定したが、複数設定した中から選択可能とし、また、評価値の大小、あるいは輝度情報やシャッタスピード、焦点倍率などの光学系11の情報などの撮影条件などに応じて可変とし、最適値を選択可能とし、あるいは、これら条件を変数として演算を行い最適値を求めることにより、シーンに応じた評価を行うことができる。

さらに、ストロボを使用する場合の撮影においては、合焦処理用撮影に同期してストロボを発光させ、各シーンに対する画像データを得ることにより、上記の焦点距離検出方法を用いて合焦距離を検出できる。そして、このストロボを用いる構成においては、合焦距離に応じたストロボの発光制御と、カメラの絞りやシャッタスピードなどの光量制御とに基づいて、撮影を行うことができる。

また、この構成においては、有効とされた評価値のなかで最至近の部分焦点距離を用い、すなわち、ピーク位置が最至近の部分合焦位置を選択し、この位置を合焦位置とした（ステップ408）が、この構成に限られず、使用者すなわち撮影者の意図すなわち撮影モードを選択する操作に応じて、撮影者の操作により直接的に、あるいは撮影者の操作に応じた制御手段の選択により自動的に、最至近以外の部分合焦位置を選択して合焦位置とすることもできる。また、上記の実施の形態においては、合焦距離判定がＮＧの場合（ステップ122）、予め設定した所定の合焦位置に光学系11のレンズを移動させ（ステップ124）たが、予め複数の所定の合焦位置を設定し、撮影者の意図すなわち撮影モードを選択する操作に応じて、いずれかの所定の合焦位置に光学系11のレンズを移動させることができる。

このように、本実施の形態の焦点距離検出方法では、互いに隣接する複数の画像検出領域を設定し、光学系の焦点距離を変化させながら複数の画像データを取得し、取得した前記複数の画像データから、各画像検出領域毎に、それぞれコントラストの評価値のピーク値がいずれの画像データで記録されたかにより部分焦点距離を算出するとともに、それぞれ前記ピーク値を記録した位置の前記複数の画像データ間における移動に応じた信頼度を算出し、前記信頼度及び前記評価値に応じて、前記部分焦点距離及び所定の焦点距離の中から焦点距離を選択するものである。そして、この構成では、コントラストの評価値のピーク値を記録した位置の画像データ間における移動に応じた信頼度を算出したため、被写体が相対的に移動した信頼度の低い画像検出領域の部分焦点距離は選択の対象から外し、正確な焦点距離の検出が可能になる。

また、本実施の形態の焦点距離検出方法では、算出した信頼度に応じて、評価値に重み付けを行い、重み付けを行った評価値に応じて、画像検出領域の部分焦点距離の中から焦点距離を選択するものである。そして、この構成では、算出した信頼度に応じて重み付けを行った評価値を用いることにより、信頼度の低い画像検出領域の部分焦点距離は選択の対象から外し、正確な焦点距離の検出が可能になる。

また、本実施の形態の焦点距離検出方法では、ピーク値を記録した位置が前記ピーク値を記録した位置のある少なくとも一つの画像検出領域から他の少なくとも一つの画像検出領域に移動した場合に、信頼度を下げるものである。そして、この構成では、被写体が相対的に移動した信頼度の低い画像検出領域の部分焦点距離は選択の対象から外し、正確な焦点距離の検出が可能になる。

また、本実施の形態の焦点距離検出方法では、ピーク値を記録した位置が前記ピーク値を記録した位置のある複数の画像データ間で所定の距離を超えて移動した場合に、信頼度を下げるものである。そして、この構成では、被写体が相対的に移動した信頼度の低い画像検出領域の部分焦点距離は選択の対象から外し、正確な焦点距離の検出が可能になる。

また、本実施の形態の焦点距離検出方法では、ピーク値が大きい画像データを取得した場合には、取得する画像データの数を減少させるものである。そして、この構成では、必要十分な画像データのみを取得することにより、合焦時間の短縮が可能となる。

また、本実施の形態の焦点距離検出方法では、信頼度の算出の際に、ピーク値を記録した位置が移動したか否かを判定するピーク位置移動判定値は、撮影条件に応じて求められる変数であるものである。そして、この構成では、撮影条件に応じてピーク位置移動判定値を設定することにより、撮影条件に応じたより適切な信頼度が算出され、適切な焦点距離の検出が可能になる。

また、本実施の形態の焦点距離検出方法では、信頼度の算出の際に、ピーク値を記録した位置が移動したか否かを判定するピーク位置移動判定値は、複数設定され、順次画像データと比較されるものである。そして、この構成では、ピーク位置移動判定値を複数設定し、順次画像データと比較することにより、段階的な信頼度の設定が可能になり、適切な焦点距離の検出が可能になる。

また、本実施の形態の合焦装置では、撮像素子と、この撮像素子に被写体を結像させる光学系と、この光学系の焦点距離を変化させる光学系駆動手段と、前記撮像素子から出力された画像データを処理するとともに前記光学系駆動手段を制御する画像処理手段とを具備し、この画像処理手段は、前記光学系駆動手段を制御し前記光学系の焦点距離を変化させながら複数の画像データを取得し、取得した前記複数の画像データに、互いに隣接する複数の画像検出領域を設定し、各画像検出領域毎に、それぞれコントラストの評価値のピーク値がいずれの画像データで記録されたかにより部分焦点距離を算出するとともに、それぞれ前記ピーク値を記録した位置の前記複数の画像データ間における移動に応じた信頼度を算出し、前記信頼度及び前記評価値に応じて、前記部分焦点距離及び所定の焦点距離の中から焦点距離を選択するものである。そして、この構成では、コントラストの評価値のピーク値を記録した位置の画像データ間における移動に応じた信頼度を算出したため、被写体が相対的に移動した信頼度の低い画像検出領域の部分焦点距離は選択の対象から外し、正確な焦点距離の選択及び合焦が可能になる。

次に、図１１ないし図１６を参照して、本実施の形態を説明する。

この実施の形態では、上記の図７ないし図１０に示す構成を前提とし、撮影者は、レンズ位置を確定するため、すなわち、最終的な焦点距離の決定のために用いる画像データとして、輝度情報すなわち通常のＹＣＣ形式の輝度データの他、色情報すなわちＲＧＢ形式の画像データのＲ(赤)信号、Ｇ(緑)信号、及びＢ(青)信号を自動あるいは手動で選択可能になっている。さらに、撮影者は、通常の撮影モードである通常モードすなわち近距離優先モードに加え、遠距離優先モードを選択して設定可能であり、さらに遠景モードあるいは無限モードと称しうるモードにより撮影距離範囲を指定することができる。なお、図１ないし図１０などに示す実施の形態の構成と同一の部分については、説明を省略する。

すなわち、この構成では、撮影者が焦点距離の決定のために用いる画像データとして、輝度情報か色情報かを自動的に選択するかあるいは手動で選択するかを決定する操作手段と、手動の場合に、何色の光を用いるかを設定する操作手段とを備えているとともに、撮影者が遠距離優先モードや遠景モードを選択できる撮影モード選択手段である操作手段を備えている。そこで、図７に示す合焦装置の動作のフローチャートに対し、図１１に示すように、合焦処理用撮影（ステップ101）の前に、撮影モードの設定処理（ステップ11）と画像信号判定処理（ステップ12)とが行われるとともに、画像信号判定処理で選択された画像データに対して、焦点距離の演算に用いる評価値の重み付け量を決定するため、各ウインドウの信頼度算出処理（ステップ111）と合焦距離演算（ステップ121）との内容が変更されている。

すなわち、撮影モードの設定処理については、撮影距離範囲を指定する場合、焦点合わせ処理では、まず、焦点合わせの条件として、撮像装置10の撮影モードに合わせて、レンズの駆動範囲に伴う撮影距離範囲を把握する必要がある。もし、撮像装置10の撮影モードが、例えば通常モードで５０cmから無限位置までであれば、レンズの駆動範囲をこれに応じて設定する。また、撮像装置10が、通常モード以外に、遠景モード(無限モード)、マクロモードなどを設定可能であれば、これらモードを撮影者が選択可能な操作手段、すなわち、撮影者が撮影距離範囲すなわちレンズの駆動範囲を指定できる操作手段を備える。

また、焦点合わせ処理では、焦点合わせの条件として、最終焦点距離の決定方法について、近距離優先とするか、遠距離優先とするか、撮影者が撮像装置10に備えた操作手段を操作し、撮影モードを選択する。そして、撮像装置10の撮影モードが遠距離優先モードであれば、撮影画像の中の一番遠距離が合焦距離となるようにレンズを駆動する最遠距離選択モードを設定する。また、近距離優先モードでは、撮影画像の中から一番近距離が合焦距離となる最至近距離選択モードが設定され、一般的に用いられる近距離優先の撮影が可能になる。

すなわち、図１１に示す撮影モードの設定処理（ステップ11）は、図１２に示すように、まず、撮影者が撮影距離範囲を指定しているかを判断する（ステップ1201）。そして、撮影距離範囲を選択するモードが選択されていると、さらに、遠景モードが選択されているかを判断する（ステップ1202）。さらに、遠景モードが選択されている場合は、最遠距離選択モードを設定し（ステップ1203）、遠景モードが選択されていない場合すなわち通常モードあるいはマクロモードの場合は、最至近距離選択モードを選択する（ステップ1204）。すなわち、ここでは、撮影距離範囲に応じて、近距離を優先するか、遠距離を優先するかの撮影モードが自動的に決定される。

一方、ステップ1201において、撮影距離範囲を選択するモードが選択されていない場合は、さらに、遠距離優先モードが選択されているかを判断する（ステップ1205）。ここで、撮影者が遠距離優先モードを選択している場合は、最遠距離選択モードを設定し（ステップ1203）、遠距離優先モードが選択されていない場合は、最至近距離選択モードを設定する（ステップ1204）。すなわち、ここでは、撮影者の意図に従い最終的な合焦距離を優先的に決定できる撮影モードが決定される。

次に、図１１に示す画像信号判定処理（ステップ12）は、図１１のステップ11からステップ106までの焦点合わせ処理について、撮影者が被写体などに応じて輝度情報か色情報かを手動で設定するか、あるいは、撮像装置10側で自動的に設定するかの選択を行うものである。そして、この画像信号判定処理では、図１３に詳細に示すように、まず、画像データが有している情報の内、輝度情報と色情報とのいずれを使用するかについて、撮影者が手動モードを選択しているかを判断する（ステップ1301）。そして、予め手動モードが設定されている場合は、さらに撮影者が色情報を利用するモードを選択しているかを判断する（ステップ1302）。そして、色情報を利用しない場合は、単一の輝度情報のみを利用するモードとし（ステップ1303）、ＲＧＢの色情報は選択しないため、変数ＣＮを１(ＣＮ＝１)として記憶する（ステップ1304）。また、ステップ1302で、焦点合わせのために輝度情報ではなく色情報を利用するモードを選択していた場合には、焦点距離演算に対するＲＧＢの各色の色情報の重み付け量をそれぞれ設定値として任意に数値化して設定可能となる（ステップ1305）。例えば、ＲＧＢの３個の色情報を選択した場合は、色情報の数を示す変数ＣＮを３(ＣＮ＝３)として記憶する（ステップ1306）。そして、これら変数ＣＮなど、色情報及び輝度情報の設定に応じて、図２に示すマトリクス補完回路27及びスイッチ28が設定される。

一方、ステップ1301で手動モードが選択されていない場合は、色情報及び輝度情報を自動的に選択する自動モードとなる。この自動モードでは、まず、撮影環境の輝度値を見る（ステップ1307）。もし、予め設定された輝度値ＬＶTHよりも現在の輝度値ＬＶが低い場合は、色情報が不足しているため、輝度情報のみで焦点合わせ用の画像データとする方が良いと判断し、ステップ1303に移行する。また、ステップ1307で、色情報を用いることが可能であると判断した場合は、ステップ11で設定された撮影モードなどの各種の設定に基づき、ＲＧＢの色情報の重み付けがそれぞれ自動的に設定される。

まず、ホワイトバランス追従モードに設定されている場合は（ステップ1308）、現在の被写体の色情報やホワイトバランスＷＢなどの情報に基づいてＲＧＢの色情報の重み付け量がそれぞれ自動的に設定される（ステップ1309）。例えば、Ｒ(赤)の被写体が多いと判断した場合は、評価値の重み付け量を演算する場合、Ｒの重み付け量を大きくし、Ｇ(緑)やＢ(青)の重み付け量を小さくするように設定する。

なお、図示しないが、複数の画像エリアを設定可能な場合においては、設定された複数の画像エリアの色情報をそれぞれ検出し、一番値の大きい色の重み付け量を大きくすることもできる。

さらに、ステップ11で設定される以外の複数の撮影モードに対応して、評価値の重み付量を設定できる（ステップ1310）。

例えば、補助光装置23を備えた本実施の形態では、補助光装置23による補助光Ｌ1，Ｌ2の発光の制御についての設定に基づき（ステップ1311）、予め定められたＲＧＢの色情報の重み付け量がそれぞれ自動的にあるいは手動により設定される（ステップ1312，1305）。これら補助光Ｌ1，Ｌ2の制御である補助光判定処理について、図１４を用いて詳細に説明する。撮影者は、補助光Ｌ1，Ｌ2を自動で発光させるか、手動で発光させるかを撮影モードとして選択することができる（ステップ1401）。このステップ1401で、手動モードが選択されていた場合は、撮影者の選択に従い、撮像装置10の補助光装置23の複数の補助光Ｌ1，Ｌ2の中から、発光させる補助光Ｌ1，Ｌ2を単独であるいは複数の組み合わせとして設定する（ステップ1402）。一方、ステップ1401で手動モードが選択されていなかった場合は、自動モードとなり、必要に応じて自動的に補助光Ｌ1，Ｌ2を発光させる（ステップ1403）。ここで、補助光Ｌ1，Ｌ2の発光が必要かどうかは、輝度情報などを用いてＣＰＵ17が判断する。さらに、補助光Ｌ1，Ｌ2を自動的に発光させる場合は、被写体の輝度情報や色情報などを用いて演算を行い（ステップ1404）、どのような色の補助光Ｌ1，Ｌ2が適しているか判断する。そして、この演算の結果、あるいは手動の設定に基づき、複数の補助光Ｌ1，Ｌ2を発光させる必要があるか否かを判断する（ステップ1405）。そして、いずれか１個の補助光Ｌ1，Ｌ2を発光すれば良い場合は、さらに、選択された第１の補助光Ｌ1（ステップ1406）あるいは第２の補助光Ｌ2（ステップ1407）の色情報に応じて、最適な重み付け量を、すなわち、評価値が最大となるように、ＲＧＢの各色情報の評価値に対する重み付け量を選択する（ステップ1408，1409）。

さらに、３個以上のＮ個の補助光Ｌ1，Ｌ2，…ＬNを用い、これら補助光Ｌ1，Ｌ2，…ＬNにそれぞれ応じた重み付け量を設定することもできる（ステップ1410，1411）。なお、各補助光Ｌ1，Ｌ2，…ＬNの色情報が不定の場合には、エラーとして処理する必要があるが、このエラーの場合の設定値は、一般的な補助光である第１の補助光Ｌ1と仮定して重み付け量を設定する（ステップ1408）。また、自動あるいは手動により複数の補助光Ｌ1，Ｌ2を発光させる場合は（ステップ1405）、例えば、第１の補助光Ｌ1と第２の補助光Ｌ2とを同時に発光させる場合は（ステップ1412）、これら補助光Ｌ1，Ｌ2が同時に発光した状態での色情報に応じて、最適な重み付け量を、すなわち、評価値が最大となるように、ＲＧＢの各色情報の評価値に対する重み付け量を選択する（ステップ1413）。また、Ｎ個の補助光Ｌ1，Ｌ2，…ＬNを組み合わせて発光させる場合には（ステップ1414）、２個の補助光Ｌ1，Ｌ2を組み合わせて発光させる場合と同様に、補助光Ｌ1，Ｌ2，…ＬNの組み合わせに応じて最適な重み付け量を選択する（ステップ1415）。なお、組み合わせた状態の補助光Ｌ1，Ｌ2，…ＬNの色情報が不定の場合には、単独の補助光Ｌ1，Ｌ2，…ＬNを発光させる場合と同様に、エラーとして処理する必要があるが、このエラーの場合の設定値は、一般的な補助光の組み合わせとして第１の補助光Ｌ1と第２の補助光Ｌ2の組み合わせと仮定して重み付けを設定する（ステップ1413）。そして、この補助光判定処理で、最終的にいずれかの補助光Ｌ1，Ｌ2，…ＬNを発光させる場合には、変数LWeightFlgを１として記憶し（ステップ1416）、いずれの補助光Ｌ1，Ｌ2，…ＬNをも発光させない場合には、変数LWeightFlgを０として記憶し（ステップ1417）、図１３に示すフローチャートに復帰する。なお、この変数LWeightFlgは、図１３に示すフローチャートの撮影モード（ステップ1304）で、補助光Ｌ1，Ｌ2，…ＬNを発光させる場合に、上記の重み付け量の設定が終了しているか否かの判断のために用いる。

また、ステップ1311で補助光Ｌ1，Ｌ2，…ＬNの発光を設定せず、撮影する範囲が近距離、すなわち、マクロ撮影の場合は（ステップ1313）、被写体は比較的鮮やかな色情報と推定できるため、ＲＧＢの色情報の重み付け量はＲＧＢ全ての色情報について大きくなるように設定する（ステップ1314）。

さらに、被写体が特定のものに限定される場合は、当該被写体の色に合焦しやすいように、また、当該被写体に近接して配置されることが予想される被写体以外の部材の色に合焦しにくいように、重み付け量を設定する。例えば、被写体を明確に花と指定するモードに設定された場合は（ステップ1315）、花に合焦したいのに緑色の葉に合焦してしまうことがないように、緑(Ｇ)の重み付けを小さくする（ステップ1316）。

また、上記いずれの条件にも該当しない場合、すなわち、色温度やホワイトバランスなどに追従するモードに設定されておらず（ステップ1308）、また、撮影モードが特に指定されていない、いわば設定なしモードの場合は（ステップ1310）、予め定めた所定の重み付け量を設定し（ステップ1317）、色情報の数を示す変数ＣＮを３(ＣＮ＝３)として記憶する（ステップ1306）。なお、この設定なしモードの場合は、例えば、人物の肌色に合焦しやすい重み付け量を設定することもできる。

このようにして、図１３及び図１４に示す画像信号判定処理及び補助光判定処理において、ステップ1309，1312，1314，1316，1317，1408，1409，1411，1413，1415において、予め決められた重み付け量を設定する。そして、このように設定された色情報あるいは輝度情報に応じて、手動モード及び自動モードにおいて、図２に示すマトリクス補完回路27及びスイッチ28に色情報あるいは輝度情報が設定される。

次いで、図１１のステップ101からステップ120の処理を行った後、設定された撮影モードに従い、合焦処理での最終合焦処理が決定される。

ここで、ステップ11からステップ106の処理を繰り返し、１組の連続した画像データの評価値を取得するが、色情報の数が複数ある場合などには、複数組の評価値が取得される。そして、これら複数組の評価値を処理するため、ステップ111の各ウインドウの信頼度算出の処理及びステップ115の評価値の重み付け乗算の処理が、図７に示す実施の形態の構成と異なっている。

すなわち、選択された輝度情報あるいは色情報の画像データから得られた評価値は、図１１のステップ111すなわち図１５に示す処理で重み付け量が得られるが、画像データの色情報が複数ある場合は、予め記憶した色情報数ＣＮを用いて、各ウインドウ毎の評価値Window(Wh)を求める。まず、図９に示す処理と同様に、図１５のステップ301からステップ318の一連の処理を行う。ついで、ＣＮB＝ＣＮ−１の値を求める（ステップ319）。この後、求めた評価値Window(Wh)の値を、重み付け量Window(Wh)(ＣＮB)に置き換える（ステップ320）。そして、ＣＮBの演算結果が０となっている場合は（ステップ321）、輝度情報のみか、１色の色情報のみの対応で良いことがわかるため、ステップ320で置き換えた重み付け量Window(Wh)(ＣＮB)の値を信頼度算出の結果としてストックする（ステップ322）。また、ＣＮ＝３の場合には、３個の色情報について処理が終わるまで、重み付け量Window(Wh)(ＣＮB)を求める。そして、全ての組すなわち全ての色の演算結果をそれぞれ算出したのち、各ウインドウの評価値Window(Wh)の色情報に応じた重み付け量Window(Wh)(ＣＮB)がストックされる（ステップ322）。

そして、図１１に示すフローチャートのステップ112からステップ114の処理の後、各ウインドウのWindow(Wh)の色情報に応じた重み付け量Window(Wh)(ＣＮB)を用い、評価値に重み付け乗算を行う演算処理を行う（ステップ115）。そして、この演算処理は、評価値に重み付け量すなわち信頼度を乗算する処理であるが、この実施の形態では、それぞれのウインドウ毎に色情報毎の評価値と信頼度とが得られているため、各色情報に合わせて演算処理を行う。すなわち、この重み付け演算は、一つのウインドウの評価値Window(Wh)に対して、
評価値(Wh)＝Σ { FocusValue(ＣＮB) × Window(ＣＮB)} / ＣＮB
となる。但し、ＣＮ=１の場合は、図７に示すステップ115と同様の演算処理となる。

そして、この評価値(Wh)は、各ウインドウＷ1〜Ｗ9の各評価値全体に乗算される。

さらに、図１１のステップ117からステップ120の処理を行った後、ステップ121では、図１０に示す構成に代えて、図１６に示す合焦距離演算を行う。

ここでは、まず、図１０の処理と同様に、評価値の演算で重み付けを加味したか否かをEval FLGの状態から判定し（ステップ1601）、重み付けをしている場合は、それらの評価値を距離毎に加算し（ステップ1602）、重み付けをしていない場合は、加算を行わない。そして、これら評価値から、ピーク合焦位置(ピーク位置)を求める（ステップ1603）。そして、図１１のステップ11で決定された撮影モードに基づいて、連動範囲選択が設定されていれば（ステップ1604）、これらピーク合焦位置が設定された撮影距離範囲に対して全て範囲外にあった場合（ステップ1605）、または、全てのピーク合焦位置の信頼度が所定値以下、例えば２５％以下の場合（ステップ1606）は、被写体距離の算出が不能と判断する（ステップ1607）。この場合、ステップ11で予め設定した撮影モードに応じて、所定距離を合焦位置(合焦焦点位置)として強制的に設定する。ここで、撮影モードは、最至近距離選択モードか最遠距離選択モードであるから、被写体距離の算出が不能と判断した場合、最遠距離選択モードであるか否かを判断し（ステップ1607）、最遠距離選択モードの場合は所定距離１を設定し（ステップ1608）を設定し、最遠距離選択モードでない場合は所定距離２を設定する（ステップ1609）。ここで、所定距離１は所定距離２より遠距離に設定されている(所定距離１＞所定距離２)。そして、合焦距離判定がＮＧであると判定する（ステップ1610）。

また、図１１のステップ11で決定された撮影モードに基づいて、連動範囲選択が設定されていない場合についても（ステップ1604）、全てのピーク合焦位置の信頼度が所定値以下、例えば２５％以下の場合（ステップ1606）は、被写体距離の算出が不能と判断し（ステップ1607）、同様に処理する（ステップ1608〜1610）。

一方、ステップ1604〜1605において、上記以外の場合、すなわち、連動範囲選択が設定されており（ステップ1604）、設定された撮影モードで与えられる撮影モードに対応した撮影距離範囲内にあるピーク合焦位置(ピーク位置)が少なくとも一つ存在し（ステップ1605）、かつ、この設定された撮影範囲内にあるピーク合焦位置が所定値より大きい、例えば２５％より大きい信頼度を有する場合（ステップ1606）は、被写体距離の算出が可能と判断する。そして、ピーク位置を決定するにあたり、ステップ11の撮影モードで決定された選択モードの内の、最遠距離選択モードの場合は（ステップ1611）、有効とされたウインドウＷ1〜Ｗ9の中から、ピーク位置が最遠の部分合焦位置を選択し、この位置を合焦位置とし（ステップ1612）最遠距離選択モードでない場合は（ステップ1611）、すなわち、最至近距離選択モードの場合は、有効とされたウインドウＷ1〜Ｗ9の中から、ピーク位置が最至近の部分合焦位置を選択し、この位置を合焦位置とする（ステップ1613）。そして、合焦距離判定がＯＫであると判定する（ステップ1614）。

また、図１１のステップ11で決定された撮影モードに基づいて、連動範囲選択が設定されていない場合についても（ステップ1604）、所定値より大きい信頼度を有するピーク合焦位置が少なくとも一つ存在し（ステップ1606）、例えば２５％より大きい信頼度を有するピーク合焦位置が存在する場合（ステップ1606）は、被写体距離の算出が可能と判断し、同様に処理する（ステップ1611〜1614）。

そして、このような合焦距離演算（ステップ121）から求められた合焦距離判定の結果（ステップ1610，1614）に応じて、図７に示すように、合焦距離判定がＯＫかＮＧかの判定を行い（ステップ122）、ＯＫの場合には算出した合焦位置に光学系11のレンズを移動させ（ステップ123）、ＮＧの場合には予め設定した所定の合焦位置である所定距離１または所定距離２に光学系11のレンズを移動させる（ステップ124）ことにより、最終合焦位置にレンズを配置することができる。

このように、本実施の形態によれば、画像データを用いて焦点距離を検出するにあたり、色情報を用いることにより、種々の色情報を有する被写体に対し、種々の撮影環境下において、正確に焦点距離を検出できる。すなわち、画像信号の色信号のコントラストの評価値に重み付け演算を行い、最適データのみを用いる測距方法および合焦装置により、合焦精度を向上できる。そして、画像データから得られる輝度信号の高周波成分のみを抽出して得た評価値に応じて焦点合わせを行う構成に比べ、色情報など輝度情報以外の情報を用いることにより、輝度差のみの高周波成分による評価値では測距できない被写体についても測距が可能になり、合焦制御において苦手とする被写体を減らすことができる。

すなわち、本実施の形態の合焦装置は、複数の色情報について、いわば少なくとも２個の互いに異なる色のカラーフィルタを通して得られるそれぞれの画像データについて、それぞれコントラストの評価値を検出する手段を有し、これら複数の画像データ毎に合焦処理を行うとともに、これら複数の画像データを選択及び演算処理する手段(マトリクス補完回路27、スイッチ28参照)及び処理工程(図１１におけるステップ12参照)を備え、さらに、これら選択及び演算処理で得られた画像データ毎に評価値へ重み付け演算処理を行い、被写体に合焦する手段を有している。

また、本実施の形態では、各画像データに設定された複数の画像検出領域毎に、複数の画像データに応じて得られた評価値それぞれに、信頼度の重み付け量を算出している(図１５のステップ319〜322参照)。

さらに、撮影モードに応じて、得られた評価値(図１１のステップ11〜12、図１２、図１３参照)に重み付け(図１１のステップ111参照)加算(図１１のステップ115参照)を行い、この評価値に応じて、画像検出領域の部分焦点距離の中から撮影モードに応じた所定の焦点距離を選択している。

また、色情報あるいはホワイトバランスの出力に応じて、ＣＰＵ17などで構成される画像処理回路15が、得られた評価値に重み付け(図１１のステップ111、図１３のステップ1309など参照)加算(図１１のステップ115参照)を行い、この重み付けされた評価値を用いて画像検出領域の部分焦点距離の中から撮影モードに応じた所定の焦点距離を選択する。

そして、焦点距離を算出するための複数の画像データ(マトリクス補完回路27，スイッチ28、図１１のステップ12参照)を自動(図１３のステップ1301のＮＯ以降参照)で切り替える手段を有している。

また、焦点距離を算出するための複数の画像データ(マトリクス補完回路27，スイッチ28、図１１のステップ12参照)を手動(図１３のステップ1301のＹＥＳ以降参照)で切り替える手段を有している。

また、焦点距離を算出するための色情報の画像データ(マトリクス補完回路27参照)を被写体の輝度値に応じて(図１３のステップ1307参照)自動的に切り替える手段を有している。

また、焦点距離を算出するための画像データ(マトリクス補完回路27，スイッチ28、図１１のステップ12参照)から得られるコントラストの評価値のそれぞれの重み付けを撮影者が任意に設定可能(図１１のステップ１２参照)とする手段(図１３のステップ1301〜1305参照)を備えている。

さらに、重み付けに基づいた評価(図１１のステップ111参照)を行い、画像検出領域の部分焦点距離の中から撮影モードに応じた所定の焦点距離を選択する。

このように、本実施の形態では、複数の異なる画像データの中から、単数あるいは複数の異なる画像信号を選択し、かつ、演算する手段を備えているため、コントラストの評価値を用いて合焦を行う手段として、より広い状況で、すなわち、種々の色情報を有する被写体に対し、種々の撮影環境下において、画像のコントラストの認識を可能にするとともに、撮影した複数の異なる画像データごとに評価値に重み付け演算を行うため、被写体の特徴に適した合焦演算が可能になる。

そして、色情報あるいはホワイトバランスに応じて複数の画像データ毎にコントラストの評価値へ重み付けすることにより、被写体に最適な条件でコントラストの評価を行うことができる。

また、複数の画像データの選択を、被写体に応じて自動的に選択する自動モードを備えたため、この自動モードの利用により、撮影者は撮影に専念することができる。

一方、複数の画像データの選択を、手動で設定できる手動モードを備えたため、この手動モードの利用により、撮影者の意図を直接的に合焦処理に反映できる。また、手動による設定は、画像データの選択のみならず、合焦処理の重み付け演算に欠かせない重み付け量を直接設定できるため、従来の構成では合焦が困難であった特殊な撮影条件においても、合焦させることができる。

また、この手動による設定については、撮影モードなど被写体の撮影条件の選択などに合わせて、合焦の画像データの選択や重み付け量を設定できるモードを備えたため、撮影者の意図に合わせた合焦位置を選択できる。

言い換えれば、本実施の形態では、従来、複数領域を有する複数の焦点距離算出及び最終焦点距離決定において、輝度情報のみか、あるいは、輝度情報に近い単一の情報などを用いて行われている合焦処理について、互いに異なる色情報に基づく評価値を用い、さらに、これら評価値に対し、撮影モードの設定などにより撮影者の意図を反映させた状態で重み付けを行い、精度良く焦点合わせできるとともに、自動モードの場合は、被写体の色情報による特徴を判断し、自動的に評価値を重み付けできるため、簡単かつ精度良く焦点合わせできる。

また、人間の目で見ると色情報にてコントラストを認識できる場合でも、単一の色情報あるいは輝度情報のみを用いる構成では、輝度が同じ場合はコントラストを検出できない場合があり得る。この点、本実施の形態では、さらに、暗い環境で、手振れや被写体の移動などがある悪条件であっても、複数の色情報または輝度情報を用いて、コントラストのエッジを検出するとともに、間違った評価値のピークを認識することがなく、従来合焦しにくかった被写体に精度良く合焦できる。

また、撮影者が被写体の特定の色情報のみに合焦させるために手動モードを利用する場合、合焦に用いる画像データの分光色情報あるいは輝度情報に応じて、撮影者が評価値の重み付け量を設定可能としたため、例えば、被写体の特定の色に合わせて色情報の選択及び各色情報の重み付け量を任意に設定でき、撮影者の意図に合った合焦制御ができる。例えば、人物の顔などは、コントラストが比較的低いが、他の色に影響されないように、肌色を特定色として色情報あるいは輝度情報を選択し、かつ、肌色のみに評価値演算時の重み付け量を大きく設定することができる。

また、植物の花などを撮影する状況において、撮影者が花びらに合焦したい場合、輝度情報のみで評価を行うと、花びらの周辺の緑色の葉が評価値のピークとなってしまい、花びら合焦しない場合があり得る。この点、本実施の形態では、例えば、花びらが青い場合は、青の色情報のみを用いて評価することにより、合焦装置が確実に花びらを被写体として認識でき、野外で風などによる多少の揺れがあっても、確実に青い花びらに合焦することができる。このように、被写体に応じて、所定の色情報の画像データのみを用いて焦点距離を算出する撮影モードを備えることにより、所定の色情報の画像データのみを用いることにより、他の色情報に影響されずに、操作者が意図する被写体に容易に合焦できる。

また、本実施の形態では、輝度を測定するためのＣＰＵ17などからなる輝度検出回路と、輝度に応じて焦点距離検出用の画像データの撮影を補助するための複数の光源である補助光Ｌ1，Ｌ2と、それぞれの補助光Ｌ1，Ｌ2を制御するための光源回路43，44とを備え、輝度情報あるいは色情報(図１４のステップ1403，1404参照)に応じて、補助光Ｌ1，Ｌ2の発光の制御(図１４のステップ1406，1407，1410，1412，1414参照)及び重み付け(図１４のステップ1408，1409，1411，1413，1415参照)演算を行っている。

また、補助光Ｌ1，Ｌ2を１灯で発光させ、あるいは補助光Ｌ1，Ｌ2を複数同時に発光させることができる、いわば選択制御可能回路(図２に示す光源回路43，44、スイッチ45，46参照)を備えている。

さらに、補助光Ｌ1，Ｌ2の選択のための補助光判定処理手段は、自動または手動で制御するための選択手段(図１４のステップ1401参照)を備えている。

そして、手動で補助光Ｌ1，Ｌ2の選択を行う際は(図１４のステップ1402参照)、複数の補助光Ｌ1，Ｌ2の色情報に応じて(図１４のステップ1406，1407，1410，1412，1414参照)、重み付け演算を行う(図１４のステップ1408，1409，1411，1413，1415参照)ことが可能になっている。

そこで、暗い環境で撮影を行う際に、合焦を補助するための複数の補助光Ｌ1，Ｌ2を有し、使用時には、補助光Ｌ1，Ｌ2の色温度などの特性に応じて、最適な画像データを複数の画像データの中から選択し、重み付けを行うことにより、合焦を最適化できる。

すなわち、焦点合わせのための補助光源である補助光Ｌ1，Ｌ2を少なくとも１個備え、かつ、これら補助光Ｌ1，Ｌ2の中から最適な色情報を有する補助光Ｌ1，Ｌ2を用いて発光させるとともに、各補助光Ｌ1，Ｌ2の色温度などに応じて色情報を選択し、評価値に重み付けするため、補助光Ｌ1，Ｌ2を効率良く利用しつつ、精度良く合焦できる。例えば、補助光として、赤色(Ｒ)の発光ダイオード(ＬＥＤ)を用いる場合は、赤色の画像データから評価値を得るとともに、赤色の色情報に重み付けを大きくすることにより、他の色より安価にかつ遠くまで補助光で照らすことができ、暗い場所に位置する被写体についても精度良く合焦できる。

また、補助光Ｌ1，Ｌ2を複数備えた場合は、被写体の特徴に応じて、補助光Ｌ1，Ｌ2を選択して発光させることにより、合焦の確率を向上できる。ここで、被写体の特徴とは、例えば、図示しないが、３個の補助光Ｌ1，Ｌ2，Ｌ3を備える場合は、それぞれ赤色、青色、緑色に発光するものとして、撮影した画像データの中から被写体の色情報に基づいて最も評価値として有効と認識される色を選択して発光させることが有効である。

さらに、いずれの補助光Ｌ1，Ｌ2を発光させるかの選択を手動か自動か設定可能としたため、撮影者が補助光源の知識がある場合、被写体の条件に応じて最適な補助光Ｌ1，Ｌ2を任意に設定できるとともに、知識がない場合には、自動で選択させることができ、被写体に対して簡単にかつ最適な光源を使用して合焦できる。

なお、上記の実施の形態では、画像信号から評価値を得る情報として、ＹＣＣ輝度あるいはＲＧＢ形式の画像データを用いたが、例えば、図２に示すマトリクス補完回路27を用いて、シアン(Ｃ)、マゼンダ(Ｍ)、イエロー(Ｙ)の色差形式や特定の色情報の画像データを生成し、処理に用いることもできる。そして、各色情報に応じて、重み付けの変数を適切に設定し、正確に焦点距離を検出できる。

さらに、本実施の形態によれば、撮影者の意図に応じて、遠距離側にも合焦可能にしたため、撮影者の意図に応じて遠距離側に合焦した撮影が容易にできる。すなわち、撮影距離の範囲に応じて、通常モードなる撮影距離範囲、及び、遠景モードあるいは無限モードなどの遠距離の撮影を目的とするモード、あるいは、撮影距離範囲をレンズの全撮影距離範囲としつつ、近距離優先または遠距離優先の撮影をするモードを選択できるため、撮影者は意図した撮影を容易にできる。そして、これらの合焦位置の判定は、複数の画像領域から被写体の急激な移動などによる影響を受けていないと評価できるいわば合焦が有効と判断されたデータを用いるため、撮影者の意図を反映した撮影が可能になる。すなわち、画面を複数の領域に分割し、各領域でそれぞれ合焦位置を判定する方式の自動合焦動作において、被写体の移動や手振れなど、測距に障害があるシーンにおいて、ブレを検出し、最適データのみを用いて適正に距離を測定し光学系11を合焦できるため、遠距離モードでの合焦精度を向上できる。

すなわち、複数領域を有する複数の焦点距離算出及び最終焦点距離決定において、一般的に有効とされる近距離を優先した場合、従来の方法では、被写体移動や手ぶれによって誤ったピークが被写体より近距離にあると、被写体を合焦位置と判断できず、誤ったピークを合焦位置と判断してしまい、合焦位置を正しく設定できない場合がある。また、近距離の被写体の撮影でなく、遠距離の被写体の撮影を意図している場合には、反対に被写体移動や手ぶれによって、近距離側のピークを合焦位置として誤った判断をしてしまい、あるいは、撮影者が意図している遠距離よりもさらに遠距離側(例えば、撮影された画像の最も遠距離の被写体よりもさらに遠距離)のピークを合焦位置として誤った判断を行い、撮影者の意図に反する場合がある。この点、本実施の形態によれば、被写体移動や手ぶれによる誤ったピークが近距離あるいは遠距離のいずれに存在しても、被写体の移動や手ぶれを検出し、正しい評価値のみを用いて適正に判断し、かつ、撮影モードに応じて近距離優先あるいは遠距離優先で正しい合焦位置を設定できる。

また、撮影距離範囲について、通常モードが設定されている場合は、自動的に最至近距離選択モードとなるとともに、撮影距離範囲が遠距離に設定されている場合は、自動的に最遠距離選択モードとなるため、遠距離モードで選択される撮影距離範囲の中の最至近を最終合焦位置としてしまうことがなく、複数の画像領域の中から最遠距離の被写体を最終合焦位置にでき、撮影者の意図に合致した撮影が可能になる。

また、全撮影距離範囲で遠距離優先モードと近距離優先モードとを選択可能とする構成では、撮影者は遠距離優先モードを選択するのみで良く、目測などによりマクロ領域なのか通常領域なのかといった、撮影者が目測で撮影距離範囲を予め決定する煩雑な作業の必要がなく、信頼性を評価した後に最終焦点距離を決定する正確な合焦動作と相まって、撮影者の意図に合致して正確に合焦した撮影が可能になる。

さらに、遠距離優先モードを利用することにより、無限以外の遠距離にも正確に合焦させることができる。

また、複数領域でそれぞれ被写体距離を算出し評価する構成のため、被写体が移動しあるいは背景がぶれてしまった場合にも、誤動作の心配を抑制できるとともに、合焦位置の評価を正確にできない厳しい条件の場合、すなわち、全ての画像領域でコントラストのよる評価値が低く、有効な合焦位置が得られずに測距が不能になった場合にも、撮影モードに応じた所定距離を合焦距離とすることにより、撮影者の意図を反映した撮影が可能になる。

また、本実施の形態では、近距離優先か遠距離優先かで明確に示されている撮影者の意図に従うため、近距離優先あるいは遠距離優先に加え画像から経験則を使ってカメラが自動認識して焦点距離を決定する構成に比べ、焦点距離の確認が撮影前に直感的に可能であり、複雑なアルゴリズムを用いる必要がないとともに、一眼レフの光学ファインダーや演算部品を用いた液晶パネルによる拡大表示などの装置を備える必要もなく、構成を簡略化して製造コストを低減できる。

また、レンズの駆動範囲は、設計上の撮影距離範囲に対して、焦点倍率による変動や絞り口径位置による変化、及びレンズを支持する鏡筒の温度条件や姿勢差などの条件により変化する。そこで、光学系11には、設計上のピント位置で計算された駆動範囲に加え、さらに、これら条件の変動による変化量を考慮し、近距離側と遠距離側とに変化量分の移動可能範囲すなわちオーバーストローク領域を設けているとともに、ＣＰＵ17などからなる制御手段は、このオーバーストローク領域に合焦用レンズ部のレンズ位置を駆動可能に設定されている。

そこで、最遠距離選択モードの場合は、ピント位置がレンズ駆動範囲の遠距離端付近にあり、さらに、例えば姿勢差が遠距離側にあっても、遠距離側のオーバーストローク領域に合焦用レンズ部のレンズ位置を駆動することにより、撮影距離範囲を満足できる。

また、最至近距離選択モードの場合は、ピント位置がレンズ駆動範囲の最至近距離端付近にあり、さらに、例えば姿勢差が至近距離側にあっても、近距離側のオーバーストローク領域に合焦用レンズ部のレンズ位置を駆動することにより、撮影距離範囲を満足できる。

このように、近距離側端部及び遠距離側端部において、焦点のずれ分を考慮した撮影が可能になり、容易に設計上の撮影距離範囲を満足できるため、機械(メカ)的あるいは制御(ソフトウェア)的な高精度の距離補正作業を必要とせず、製造コストを低減できる。

なお、上記の実施の形態では、撮影距離範囲と、遠距離優先モードとを、撮影者がいずれも設定できる構成としたが、いずれか一方のみを設定できる構成とし、構成及び操作を簡略化することもできる。

このように、本実施の形態の焦点距離検出方法は、操作者の選択に応じ、画像検出領域の部分焦点距離の中の最近の部分焦点距離と最遠の部分焦点距離とのをいずれかを焦点距離として選択するものである。そして、この構成では、操作者の意図に応じて近距離あるいは遠距離の正確な焦点距離が選択される。

また、本実施の形態の焦点距離検出方法は、操作者の撮影距離範囲の選択に応じ、制御手段が、画像検出領域の部分焦点距離の中の最近の部分焦点距離と最遠の部分焦点距離とのをいずれかを焦点距離として選択するものである。そして、この構成では、操作者の撮影距離範囲の選択に応じて、制御手段が、画像検出領域の部分焦点距離の中の最近の部分焦点距離と最遠の部分焦点距離とのをいずれかを焦点距離として選択することにより、操作者の意図に応じた正確な焦点距離が選択される。

また、本実施の形態の焦点距離検出方法は、信頼度に応じて、画像検出領域の部分焦点距離の中から選択した部分焦点距離と、所定の焦点距離とのいずれかを焦点距離として選択するものである。そして、この構成では、信頼度の高い部分焦点距離の中から、焦点距離を選択する構成を前提とし、正確な焦点距離が選択される。また、信頼度の高い部分焦点距離がない場合、あるいは全体として部分焦点距離の信頼度が低い場合は、所定の焦点距離を用いることにより、不正確な焦点距離の選択が回避される。

また、本実施の形態の焦点距離検出方法は、信頼度に応じて、画像検出領域の部分焦点距離の中から選択した部分焦点距離と、操作者の選択に応じて選択された所定の焦点距離とのいずれかを焦点距離として選択するものである。

そして、この構成では、信頼度の高い部分焦点距離の中から、焦点距離を選択する構成を前提とし、操作者の意図に応じて近距離あるいは遠距離の正確な焦点距離が選択される。また、信頼度の高い部分焦点距離がない場合、あるいは全体として部分焦点距離の信頼度が低い場合は、操作者の選択に応じた所定の焦点距離を用いることにより、操作者の意図を反映しつつ不正確な焦点距離の選択が回避される。

また、本実施の形態の合焦装置は、近距離優先モードと遠距離優先モードとを選択する撮影モード選択手段を備え、画像処理手段は、前記撮影モード選択手段の操作に応じて、最近距離の部分焦点距離と最遠の部分焦点距離とのいずれかを優先して焦点距離を選択するものである。そして、この構成では、操作者の意図に応じて近距離あるいは遠距離の正確な焦点距離が選択される。構成を複雑化することなく、製造コストが抑制される。

また、本実施の形態の合焦装置は、光学系駆動手段は、設計上の合焦可能な焦点距離の範囲を超えたオーバーストローク領域に光学系を駆動可能に設定されたものである。そして、この構成では、温度条件や姿勢による光学系の焦点のずれに関わらず、近距離あるいは遠距離において容易に正確な合焦が可能になる。

本発明は、デジタルカメラ、ビデオカメラなどの撮像装置に適用できる。

本発明の合焦装置の一実施の形態を示す構成図である。 同上合焦装置の画像処理回路を詳細に示す説明図である。 同上合焦装置のブレがない状態の動作を示す説明図であり、(a)はウインドウと被写体との関係を示す説明図、(b)はコントラストの評価値の変化を示す説明図である。 同上合焦装置のブレがある状態のウインドウと被写体との関係を示す説明図である。 同上合焦装置のブレがある状態の動作を示す説明図であり、(a)はウインドウと被写体との関係を示す説明図、(b)はウインドウＷ4，Ｗ5におけるコントラストの評価値の変化を示す説明図である。 同上合焦装置のブレがある状態のウインドウと被写体との関係を示す説明図である。 同上合焦装置の動作を示すフローチャートである。 同上合焦装置の取得する画像データの数を算出する動作を示すフローチャートである。 同上合焦装置の重み付けの動作を示すフローチャートである。 同上合焦装置の合焦距離演算の動作を示すフローチャートである。 本発明の合焦装置の他の実施の形態の動作を示すフローチャートである。 同上合焦装置の動作を示すフローチャートである。 同上合焦装置の動作を示すフローチャートである。 同上合焦装置の動作を示すフローチャートである。 同上合焦装置の動作を示すフローチャートである。 同上合焦装置の合焦距離演算の動作を示すフローチャートである。

符号の説明

11 光学系
12 撮像素子としてのＣＣＤ
15 画像処理手段を構成する画像処理回路
17 画像処理手段を構成するＣＰＵ
19 光学系駆動手段を構成するモータ駆動回路
20 光学系駆動手段を構成するモータ
23 補助光装置
Ｌ1，Ｌ2 補助光
Ｔ 被写体
Ｗ1〜Ｗ9 画像検出領域を構成するウインドウ
Ｗh 画像検出領域

Claims (11)

1. 輝度情報及び複数の色情報の画像データの中から選択された画像データを光学系の焦点距離を変化させながら複数取得し、
   取得した前記複数の画像データから、コントラストの評価値のピーク値を用いて焦点距離を算出する
   ことを特徴とする焦点距離検出方法。
2. 選択した複数の色情報の画像データの評価値に対して、それぞれ条件に応じて自動的に重み付けを行う
   ことを特徴とする請求項１記載の焦点距離検出方法。
3. 選択した複数の色情報の画像データの評価値に対して、それぞれ操作者が任意に重み付けを行う
   ことを特徴とする請求項１記載の焦点距離検出方法。
4. 被写体に応じて、所定の色情報の画像データのみを用いて焦点距離を算出する撮影モードを備える
   ことを特徴とする請求項１記載の焦点距離検出方法。
5. 画像データの取得時に、所定の色情報の光を発光するとともに、発光した補助光の色情報に応じて、色情報の画像データの評価値に重み付けを行う
   ことを特徴とする請求項１ないし４いずれか一記載の焦点距離検出方法。
6. 取得した複数の画像データについて、それぞれ互いに隣接する複数の画像検出領域を設定し、各画像検出領域に、それぞれコントラストの評価値のピーク値がいずれの画像データで記録されたかにより部分焦点距離を算出するとともに、それぞれ前記ピーク値を記録した位置の前記複数の画像データ間における移動に応じた信頼度を算出し、
   前記信頼度及び前記評価値に応じて、前記部分焦点距離及び所定の焦点距離の中から焦点距離を選択する
   ことを特徴とする請求項１ないし５いずれか一記載の焦点距離検出方法。
7. 撮像素子と、
   この撮像素子に被写体を結像させる光学系と、
   この光学系の焦点距離を変化させる光学系駆動手段と、
   前記撮像素子から出力された画像データを処理するとともに前記光学系駆動手段を制御する画像処理手段とを具備し、
   この画像処理手段は、
   輝度情報及び複数の色情報の中から選択して画像データを光学系の焦点距離を変化させながら複数取得し、
   取得した前記複数の画像データから、コントラストの評価値のピーク値を用いて焦点距離を算出する
   ことを特徴とする合焦装置。
8. 選択した複数の色情報の画像データの評価値に対して、それぞれ操作者が任意に重み付けを行う操作手段を備えた
   ことを特徴とする請求項７記載の合焦装置。
9. 画像処理手段は、選択した複数の色情報の画像データの評価値に対して、それぞれ条件に応じて自動的に重み付けを行う
   ことを特徴とする請求項７記載の合焦装置。
10. 所定の色情報の光を発光する補助光装置を備える
    ことを特徴とする請求項７ないし９いずれか一記載の合焦装置。
11. 画像処理手段は、
    取得した複数の画像データについて、それぞれ互いに隣接する複数の画像検出領域を設定し、各画像検出領域に、それぞれコントラストの評価値のピーク値がいずれの画像データで記録されたかにより部分焦点距離を算出するとともに、それぞれ前記ピーク値を記録した位置の前記複数の画像データ間における移動に応じた信頼度を算出し、
    前記信頼度及び前記評価値に応じて、前記部分焦点距離及び所定の焦点距離の中から焦点距離を選択する
    ことを特徴とする請求項７ないし１０いずれか一記載の合焦装置。

Images