JP2007003655A - 撮像レンズの合焦位置決定装置およびその方法 - Google Patents

Abstract

【目的】 顔にピントがあうように撮像レンズの位置決めをする。
【構成】 撮像レンズを光軸方向に所定距離ずつ移動させながら被写体を撮像し，被写体像の合焦の程度を表す全体合焦評価値のグラフＧ１を得る。全体合焦評価値が所定のしきい値以上となるような撮像レンズの位置Ｚ１〜Ｚ４，Ｚ５〜Ｚ８において顔の検出処理が行われる。撮像レンズの位置Ｚ１〜Ｚ４において得られた被写体像から顔が検出されると，その位置Ｚ１〜Ｚ４の間が合焦範囲と決定され，その合焦範囲内において撮像レンズを所定距離ずつ移動させながら被写体が撮像される。得られた被写体像の中から検出された顔の合焦の程度を表す顔領域合焦評価値のグラフＧ２が最大である位置Ｚｆが撮像レンズの合焦位置として決定される。
【選択図】 図８

Description

この発明は，撮像レンズの合焦位置決定装置およびその方法に関する。

被写体像の中に含まれている肌色の領域を検出して，その検出された肌色の領域を合焦エリアとするものがある（特許文献１）。
特開平11−146405号公報

しかしながら，肌色の領域を検出する場合であってもその肌色を検出すべき被写体像自体のピントが極端にぼけているときには肌色の領域を正確に検出することは難しい。このために肌色の領域を合焦エリアとしても正確に合焦させることができないことがある。また，色情報を使わずに明暗（濃淡）情報のみから対象物を検出する場合も同様で，極端にピントがぼけているときには，正確に対象物を検出することは難しい。

この発明は，比較的正確に合焦させることができるようにすることを目的とする。

第１の発明による撮像レンズの合焦位置決定装置は，被写体を撮像し，被写体像を表す画像データを出力する固体電子撮像装置，上記固体電子撮像装置の前方に配置されている撮像レンズを光軸方向に第１の所定距離ごとに移動して移動位置ごとに被写体像の合焦の程度を表す合焦データを出力する第１の合焦データ出力手段，上記合焦データ出力手段から出力された合焦データのレベルが所定のしきい値以上となる上記撮像レンズの位置のうち少なくとも一つの位置において上記固体電子撮像装置から出力される画像データによって表される被写体像に含まれている対象物の画像を第１の所定距離以下の第２の所定距離（上記撮像レンズのそれぞれの位置）ごとに検出する対象物画像検出手段，ならびに上記固体電子撮像装置から出力される画像データのうち，上記対象物画像検出手段によって検出された対象物画像を表す画像データにもとづいて，上記撮像レンズの位置を合焦位置として決定する合焦位置決定手段を備えていることを特徴とする。

第１の発明は，上記撮像レンズの合焦位置決定装置に適した方法も提供している。すなわち，この方法は，固体電子撮像装置を用いて，被写体を撮像し，被写体像を表す画像データを得，上記固体電子撮像装置の前方に配置されている撮像レンズを光軸方向に第１の所定距離ごとに移動して移動位置ごとに被写体像の合焦の程度を表す合焦データを得，得られた合焦データのレベルが所定のしきい値以上となる上記撮像レンズの位置のうち少なくとも一つの位置において上記固体電子撮像装置から出力される画像データによって表される被写体像に含まれている対象物の画像を第１の所定距離以下の第２の所定処理ごとに検出し，上記固体電子撮像装置から出力される画像データのうち，検出された対象物画像を表す画像データにもとづいて，上記撮像レンズの位置を合焦位置として決定するものである。

第１の発明によると，撮像レンズが光軸方向に第１の所定距離ごとに移動させられ，それぞれの移動位置ごとに被写体像の合焦の程度を表す合焦データが得られる。合焦データのレベルが所定のしきい値以上となる撮像レンズのうち少なくとも一つの位置において上記固体電子撮像装置から得られる画像データによって表される被写体像に含まれている対象物の画像が，第１の所定距離以下の第２の所定距離ごとに検出される。検出された対象物の画像を表す画像データにもとづいて，撮像レンズの位置が合焦位置として決定される。

合焦データが所定のしきい値以上の場合に得られる被写体像の中から対象物を検出しようとするため対象物の検出を正確に行いやすくなる。ここで検出された対象物の画像を表す画像データにもとづいて撮像レンズの位置が決定されるから，対象物の画像が合焦するように撮像レンズの位置を決定することができる。

上記対象検出手段によって検出された対象物にもとづいて１または複数の合焦対象領域を決定する合焦対象領域決定手段，および上記合焦対象領域決定手段によって決定された１または複数の合焦対象領域に，対象物部分の重み付け係数が大きくなるように重み付け係数を決定する重み付け係数決定手段をさらに備えてもよい。この場合，上記合焦位置決定手段が，上記固体電子撮像装置から出力される画像データのうち，上記合焦対象領域決定手段によって決定された合焦対象領域から得られる画像データにもとづいて，上記撮像レンズの位置を合焦位置として決定するものとなろう。

第２の発明による撮像レンズの合焦位置決定装置は，被写体を撮像し，被写体像を表す画像データを出力する固体電子撮像装置，上記固体電子撮像装置の前方に配置されている撮像レンズを光軸方向に第１の所定距離ごとに移動して移動位置ごとに被写体像の合焦の程度を表す第１の合焦データを出力する第１の合焦データ出力手段，上記第１の合焦データ出力手段から出力された第１の合焦データのレベルが所定のしきい値以上となる上記撮像レンズの位置のうち少なくとも一つの位置において上記固体電子撮像装置から出力される画像データによって表される被写体像に対象物の画像が含まれているかどうかを判定する対象物画像判定手段，上記第１の合焦データ出力手段から出力された第１の合焦データのレベルが連続して所定のしきい値以上となるように上記撮像レンズが位置する範囲のうち，上記対象物判定手段によって対象物の画像が含まれていると判定されるときの上記撮像レンズの位置が含まれる合焦範囲を決定する合焦範囲決定手段，上記合焦範囲決定手段において決定された合焦範囲内において，上記撮像レンズを光軸方向に第１の所定距離以下の第２の所定距離ごとに移動して移動位置ごとに被写体像の合焦の程度を表す第２の合焦データを出力する第２の合焦データ出力手段，および上記第２の合焦データ出力手段から出力された第２の合焦データにもとづいて被写体像が合焦する上記撮像レンズの位置を合焦位置として決定する合焦位置決定手段を備えていることを特徴とする。

第２の発明は，上記撮像レンズの合焦位置決定装置に適した方法も提供している。すなわち，この方法は，固体電子撮像装置を用いて，被写体を撮像し，被写体像を表す画像データを得，上記固体電子撮像装置の前方に配置されている撮像レンズを光軸方向に第１の所定距離ごとに移動して移動位置ごとに被写体像の合焦の程度を表す第１の合焦データを得，得られた第１の合焦データのレベルが所定のしきい値以上となる上記撮像レンズの位置のうち少なくとも一つの位置において上記固体電子撮像装置から出力される画像データによって表される被写体像に対象物の画像が含まれているかどうかを判定し，得られた第１の合焦データのレベルが連続して所定のしきい値以上となるように上記撮像レンズが位置する範囲のうち，対象物の画像が含まれていると判定されるときの上記撮像レンズの位置が含まれる合焦範囲を決定し，決定された合焦範囲内において，上記撮像レンズを光軸方向に第１の所定距離以下の第２の所定距離ごとに移動して移動位置ごとに被写体像の合焦の程度を表す第２の合焦データを得，得られた第２の合焦データにもとづいて被写体像が合焦する上記撮像レンズの位置を合焦位置として決定するものである。

第２の発明によると，撮像レンズが光軸方向に第１の所定距離ごとに移動させられ，それぞれの移動位置ごとに被写体像の合焦の程度を表す第１の合焦データが得られる。第１の合焦データのレベルが所定のしきい値以上となる撮像レンズのうち少なくとも一つの位置において上記固体電子撮像装置から得られる画像データによって表される被写体像に対象物の画像が含まれているかどうかが判定される。第１の合焦データのレベルが連続して所定のしきい値以上となるように撮像レンズが位置する範囲のうち，対象物の画像が含まれていると判定されたときの撮像レンズの位置が含まれている合焦範囲が決定される。決定された範囲内において，撮像レンズが光軸方向に第１の所定距離以下の第２の所定距離ごとに移動させられ，移動位置ごとに第２の合焦データが得られる。得られた第２の合焦データにもとづいて被写体像が合焦する撮像レンズの位置が合焦位置として決定される。

第２の発明によると，第１の合焦データが所定のしきい値以上の場合に得られる被写体像の中から対象物領域が検出される。対象物が含まれる被写体像を撮像するような合焦範囲が決定され，決定された合焦範囲において撮像レンズが所定距離ずつ移動させられて第２の合焦データが得られ，撮像レンズの合焦位置が決定される。対象物に合焦するように撮像レンズ位置が決定されることとなる。

上記対象物判定手段は，上記第１の合焦データ出力手段から出力された第１の合焦データのレベルが所定のしきい値以上となる上記撮像レンズの位置において上記固体電子撮像装置から出力される画像データによって表される被写体像に含まれている対象物を上記撮像レンズのそれぞれの位置ごとに検出して判定するものでもよい。この場合，上記第２の合焦データ出力手段が，上記合焦範囲決定手段において決定された合焦範囲内において，上記撮像レンズを光軸方向に移動して，被写体像のうち対象物判定手段によって検出された対象物の合焦の程度を表す第２の合焦データを移動位置ごとに出力するものとなろう。

上記第２の合焦データ出力手段は，上記合焦範囲決定手段において決定された合焦範囲内において，上記撮像レンズを光軸方向に移動して，被写体像のうち対象物判定手段によって検出されたすべての対象物にもとづいて決定される対象物領域内の画像の合焦の程度を表す第２の合焦データを移動位置ごとに出力するものでもよい。

上記すべての対象物にもとづいて１または複数のサブ対象物領域を決定するサブ対象物領域決定手段，および上記サブ対象物領域決定手段によって決定された１または複数のサブ対象物領域に，対象物領域の重み付け係数が大きくなるように，重み付け係数決定する重み付け係数決定手段をさらに備えてもよい。この場合，上記第２の合焦データ出力手段が，上記合焦範囲決定手段において決定された合焦範囲内において，上記撮像レンズを光軸方向に移動（再び移動）して，被写体像のうち上記対象物判定手段によって検出された対象物の合焦の程度を表す第２の合焦データを上記重み付け係数決定手段により決定された重み付け係数にもとづいてレベルを調整して移動位置ごとに出力するものとなろう。

上記第１の合焦データ出力手段における撮像レンズの移動をNEAR側から行うようにしてもよい。この場合，上記対象物判定手段は，上記撮像レンズが移動される度に上記対象物判定手段における被写体像に対象物が含まれているかどうかを判定する処理を行うものとなろう。そして，対象物が検出されたことにより，撮像レンズの移動を停止するように上記第１の合焦データ出力手段を制御する撮像レンズ移動制御手段をさらに備える。重要な対象物は，撮像装置の近くにあると考えられる。そのような重要な対象物が検出されたことにより，撮像レンズの移動が停止させられるから，比較的迅速に撮像レンズの位置を決定できる。

もちろん，上記第１の合焦データ出力手段における撮像レンズの移動をINF側（無限遠側）から行うものでもよいし，上記第１の合焦データ出力手段における撮像レンズの移動を，設定に応じてNEAR側またはINF側から行うようにしてもよい。また，上記第１の合焦データ出力手段における撮像レンズの移動方向を設定する設定手段をさらに備えてもよい。この場合，上記設定手段による設定に応じて，上記第１の合焦データ出力手段における撮像レンズの移動をNEAR側またはINF側から行うものとなろう。

さらに，近距離撮像モードが設定されているか遠距離撮像モードが設定されているかを判定する撮像モード判定手段，および上記撮像モード判定手段によって近距離撮像モードが設定されていると判定されたことに応じてNEAR側から行うように，上記撮像モード判定手段によって遠距離撮像モードが設定されていると判定されたことに応じてINF側から行うように，上記第１の合焦データ出力手段における撮像レンズの移動を設定する手段を設けてもよい。

さらに，上記撮像レンズがズーム・レンズの場合には，上記ズーム・レンズのズーム倍率に応じて，上記第１の合焦データ出力手段における撮像レンズの移動をNEAR側またはINF側から行うように設定するものでもよい。

上記対象物画像判定手段は，上記第１の合焦データ出力手段から出力された第１の合焦データのうち所定のしきい値以上の第１の極大値（合焦データから得られるエンベロープ信号の極大値）に対応する上記撮像レンズの位置において，上記固体電子撮像装置から出力される画像データによって表される被写体像に対象物が含まれるかどうかを判定するものとなろう。

上記第１の合焦データ出力手段における撮像レンズの移動距離は，上記第２の合焦データ出力手段における撮像レンズの移動距離よりも長いものでもよい。

上記対象物の検出は，たとえば，対象物領域内の対象物らしさ，対象物の大きさ，対象物の明るさ，および対象物領域の位置の少なくとも一つにもとづいて行われる。

上記固体電子撮像装置から出力された画像データによって表される被写体像を表示画面に表示する表示装置，および検出された上記対象物の領域を上記被写体像上に表示するように上記表示装置を制御する表示制御手段をさらに備えてもよい。

上記固体電子撮像装置から出力された画像データによって表される被写体像を表示画面に表示する表示装置，および上記対象物領域を上記被写体像上に表示するように上記表示装置を制御する表示制御手段をさらに備えてもよい。対象物領域および合焦対象領域がどこかがユーザに一見して分かる。

対象物は，たとえば顔または目である。

図１は，この発明の実施例を示すもので，ディジタル・スチル・カメラの電気的構成を示すブロック図である。

この実施例によるディジタル・スチル・カメラは，被写体のうち顔の部分が適切に合焦するようにするものである。

ディジタル・スチル・カメラの全体の動作は，制御回路１によって統括される。この制御回路１には，ＣＰＵ２，ディジタル・スチル・カメラの動作プログラム，所定のデータなどが記憶されているＲＯＭ３およびデータを一時的に記憶するＲＡＭ４が含まれている。

ディジタル・スチル・カメラには，二段ストローク・タイプのシャッタ・レリーズ・ボタンなどのボタン，スイッチが含まれる操作装置５が設けられており，この操作装置５から出力される操作信号は，制御回路１に与えられる。

ＣＣＤ12の前方には絞り10および撮像レンズ８が設けられている。撮像レンズ８は，その光軸方向に移動自在に支持されており（ＣＣＤ12側をNEAR側，その反対側をINF側）レンズ駆動回路７によって被写体像（後述のように被写体像の中に顔の画像が含まれている場合には，その顔の画像）がＣＣＤ12の受光面上に合焦して結像するようにレンズ位置が制御される。絞り10は，絞り駆動回路９によって適正な露光量となるように絞り値が制御される。被写体が撮像されると，ＣＣＤ12の受光面上に結像した被写体像を表す映像信号が撮像素子制御回路11の制御のもとに出力される。ＣＣＤ12から出力した映像信号はアナログ信号処理回路13に入力する。レンズ駆動回路７，絞り駆動回路９および撮像素子制御回路11は，それぞれ制御回路１によって制御される。

映像信号は，アナログ信号処理回路13において白バランス調整などの所定のアナログ信号処理が行われる。アナログ信号処理回路13から出力した映像信号は，アナログ／ディジタル変換回路14においてディジタル画像データに変換されてディジタル信号処理回路15および制御回路１に入力する。

制御回路１において，入力したディジタル画像データから高周波数成分が抽出されることにより合焦データが得られる。得られた合焦データが，画像全体または画像の一部分の領域内において積算されることにより合焦評価値が得られる。得られた合焦評価値にもとづいて，ＣＣＤ12の受光面上に被写体像が合焦するような位置に撮像レンズ８がレンズ駆動回路７によって制御される。

また，ディジタル画像データはディジタル信号処理回路15においてガンマ補正などの所定のディジタル信号処理が行われる。ディジタル信号処理回路15から出力された画像データは，メモリ16を介して表示装置17に与えられる。表示装置17の表示画面上に被写体像が表示される。ディジタル信号処理回路15から出力された画像データは顔抽出処理回路６にも入力する顔抽出処理回路６において，ディジタル信号処理回路15から出力された画像データによって表される被写体像の中に含まれる顔の画像が抽出される。抽出された顔の画像を表すデータおよび抽出された顔の領域を示す位置，大きさなどのデータは，制御回路１に与えられる。詳しくは，後述するように，顔の画像を表すデータを用いて合焦制御が行われる。顔を抽出する方法は問わない。明るさを使用する方法，色を使用する方法，明るさおよび色を使用する方法などいずれでもよい。

シャッタ・レリーズ・ボタンの第一段階の押し下げがあると，後述するように合焦制御が行われる。シャッタ・レリーズ・ボタンの第二段階の押し下げがあると，上述のようにしてディジタル信号処理回路15から出力した画像データは，メモリ16に与えられ，一時的に記憶される。画像データは，メモリ16から読み取られインターフェイス18を介してメモリ・カード19に与えられることにより記録される。

図２は，被写体とディジタル・スチル・カメラとの関係を示している。

被写体21および被写体22に向かってディジタル・スチル・カメラ20が配置されている。被写体21は人物であり，被写体22は自動車である。

この実施例においては，ディジタル・スチル・カメラ20の撮像レンズが撮像レンズの光軸に沿って移動する方向がＺ軸方向に規定されている。Ｚ軸が法線となる平面がＸＹ平面に規定されている。

図３および図４は，ディジタル・スチル・カメラの記録処理手順を示すフローチャートである。

ＣＣＤ12により被写体の撮像が続けられており，被写体像を表す画像データが上述のようにして得られている。シャッタ・レリーズ・ボタンの第一段階の押し下げがあると（ステップ31でＹＥＳ），得られた画像データから輝度成分が抽出されるＡＥ処理が行われる（ステップ32）。抽出された輝度成分にもとづいて適正な露出量が算出される（ステップ33）。算出された露出量となるように，絞り10およびＣＣＤ12のシャッタ速度（いわゆる電子シャッタ）が制御される。

つづいて，ＡＦ用のプリ・サーチが行われる（ステップ34）。

図５は，ＡＦ用のプリ・サーチの処理手順を示すフローチャートである。

撮像レンズ８は，Ｚ方向に所定の範囲内で移動自在であり，初期位置に位置決めされている。撮像レンズ８が初期位置にある状態で被写体が撮像され，図９（Ａ）にハッチングで示すように被写体像全体Ｉを表す画像データが得られる。得られた画像データから高周波数成分が抽出されて積算されることにより，全体合焦評価値が得られる（ステップ51）。

得られた全体合焦評価値が所定のしきい値以上であれば（ステップ52でＹＥＳ），その全体合焦評価値が得られたときの撮像レンズ８の位置において得られた被写体像は比較的ピントが合っているものと考えられる。そのために，撮像レンズ８のその位置が顔検出実行位置として記憶させられる（ステップ53）。顔検出実行位置において後述のように，被写体像の中から顔を検出する処理が行われ，顔が検出されると，その検出された顔から高周波数成分が抽出されて顔領域合焦評価値が得られる。顔領域合焦評価値が最大となる顔検出実行位置が被写体像の顔がもっとも合焦する撮像レンズ８の位置として位置決めされる。得られた全体合焦評価値がしきい値未満であれば（ステップ52でＮＯ），ステップ53の処理はスキップされる。

撮像レンズが移動範囲の最終位置でなければ（ステップ54でＮＯ），撮像レンズ８が所定距離だけ移動させられ次の位置に位置決めさせられる（ステップ55）。撮像レンズ８が移動範囲の最終位置となるまで（ステップ54でＹＥＳ），ステップ51〜53の処理が繰り返される。

図８（Ａ）は，ＡＦ用プリ・サーチの処理によって得られた合焦評価値と顔検出実行位置とを示している。

図８（Ａ）の横軸は撮像レンズ８の移動方向（Ｚ方向）であり，縦軸は全体合焦評価値である。

上述のように撮像レンズ８を所定距離ずつ移動させながら全体合焦評価値（第１の合焦データ）を得ることにより，全体合焦評価値のグラフＧ１が得られる。このグラフＧ１において，しきい値以上の部分に対応する撮像レンズ８の位置は，Ｚ１，Ｚ２，Ｚ３，Ｚ４，Ｚ５，Ｚ６，Ｚ７およびＺ８である。これらの撮像レンズの位置Ｚ１，Ｚ２，Ｚ３，Ｚ４，Ｚ５，Ｚ６，Ｚ７およびＺ８が顔検出実行位置として記憶される位置である。

図３に戻って，ＡＦ用のプリ・サーチが終了すると，ＡＦ用のプリ・サーチにおいて得られた顔検出実行位置において顔検出処理（目を検出する処理でもよい）が行われる（ステップ35）。

図６は，顔検出処理手順を示すフローチャートである。

記憶されている顔検出実行位置のうち，最初の顔検出実行位置に撮像レンズ８が位置決めされて被写体が撮像される。被写体像を表す画像データが顔抽出処理回路６に入力し，被写体像の中に含まれている顔が検出される（ステップ61）。顔が検出されると（ステップ62でＹＥＳ），撮像レンズ８が位置する顔検出実行位置に対応して顔検出処理の結果（検出された顔領域の位置，大きさなど）が記憶される（ステップ63）。顔が検出されないと（ステップ62でＮＯ），ステップ63の処理はスキップされる。

撮像レンズが最後の顔検出実行位置でなければ（ステップ64でＮＯ），撮像レンズ８が次の顔検出実行位置に移動させられる（ステップ65）。撮像レンズ８が最後の顔検出実行位置となるまで（ステップ64でＹＥＳ），ステップ61〜63の処理が繰り返される。

図10の左側は，顔検出処理により得られる全体画像とそれらの全体画像のそれぞれの全体画像の中に含まれる顔の一例である。

上述したように，撮像レンズ８が顔検出実行位置Ｚ１，Ｚ２，Ｚ３，Ｚ４，Ｚ５，Ｚ６，Ｚ７およびＺ８にそれぞれ位置決めさせられて，被写体が撮像されることにより，被写体像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５，Ｉ６，Ｉ７およびＩ８が得られる。図10においては，撮像によって得られた被写体像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５，Ｉ６，Ｉ７およびＩ８のうち，被写体像Ｉ２，Ｉ３およびＩ４の中に顔ｆ２，ｆ３およびｆ４がそれぞれ含まれている。

顔検出処理においては，顔検出実行位置Ｚ２，Ｚ３およびＺ４にそれぞれ対応して顔ｆ２，ｆ３およびｆ４が記憶されることとなる。

図３に戻って，顔検出処理が行われると検出された顔領域を撮像レンズの位置にかかわらず顔情報に登録する処理（ＸＹ平面処理）（ステップ36）および顔が検出された顔検出実行位置を含む合焦範囲を決定する処理（Ｚ方向処理）（ステップ37）が行われる。

図７は，顔領域登録処理手順を示すフローチャートである。

まず，記憶されている顔検出処理の結果が読み出される（ステップ71）。読み出された顔検出処理の結果が顔情報に登録される（ステップ72）。これらの顔検出処理の結果の読み出しおよび顔検出処理の結果の顔情報への登録が最後の顔検出処理の結果まで続けられる（ステップ73）。

図10の右側は，顔情報の一例である。

上述したように，顔検出実行位置Ｚ２，Ｚ３およびＺ４に撮像レンズ８が位置決めされて被写体が撮像されることにより得られる被写体像Ｉ２，Ｉ３およびＩ４の中に顔ｆ２，ｆ３およびｆ４が含まれている。これらの顔の画像の位置，大きさなどが顔検出処理の結果として一駒の同一の顔情報Ｉfaceに登録される。

顔情報Ｉfaceには，撮像レンズ８が異なる位置において得られた被写体像に含まれている顔が登録されることとなる。この結果，顔情報Ｉfaceには，撮像レンズ８が顔検出実行位置Ｚ２，Ｚ３およびＺ４のそれぞれの位置にあるときに得られる顔の画像ｆ２，ｆ３およびｆ４が重ね合わされてできる顔領域Ａ１が顔が含まれる領域として登録される。

図３に戻って，顔情報登録処理（ステップ36）と並行して顔が検出された顔検出実行位置を含む合焦範囲が決定される（ステップ37）。

図８（Ａ）および図10の左側を参照して，全体合焦評価値がしきい値以上である撮像レンズ８の位置Ｚ１〜Ｚ４およびＺ５〜Ｚ８のうち，撮像レンズ８が顔検出実行位置Ｚ２，Ｚ３およびＺ４にあるときに顔が検出されているから，全体合焦評価値がしきい値以上である撮像レンズ８の位置Ｚ５〜Ｚ８が合焦範囲として決定される。

図４を参照して，顔情報Ｉfaceに登録された顔領域Ａ１およびＡ２について，決定された合焦範囲内で本サーチが行われ（ステップ38），被写体像の中に含まれている顔の画像が合焦する撮像レンズ８の位置（合焦位置）が決定する（ステップ39）。

図８（Ｂ）を参照して，合焦範囲は，撮像レンズ８の位置がＺ１からＺ４で規定する範囲となる。この合焦範囲Ｚ１〜Ｚ４の間において，撮像レンズ８が所定距離ずつ移動させられて，それぞれの移動位置ごとに被写体像が撮像される。撮像された被写体像の中から顔領域Ａ１内（図９（Ｂ）においてハッチングで示されている）を表す画像データから合焦データ（第２の合焦データ）が抽出される。抽出された合焦データの評価値が顔領域合焦評価値として得られる。撮像レンズ８が合焦範囲Ｚ１〜Ｚ４内を移動させられながら顔領域合焦評価値が得られることにより，その顔領域合焦評価値のグラフＧ２が得られる。これが上述した本サーチである。本サーチにより得られたグラフＧ２のうち，顔領域合焦評価値が最大となる撮像レンズ８の位置Ｚｆが合焦位置Ｚｆとして決定される。

図４に戻って，合焦位置が決定すると，決定された合焦位置に位置決めされるように撮像レンズ８が移動させられる（ステップ40）。撮像レンズ８が移動させられた位置は，被写体像の中の顔がもっとも合焦するような位置である。

シャッタ・レリーズ・ボタンの第二段階の押し下げがあると（ステップ41でＹＥＳ），本撮影が行われる。本撮影によって得られた画像データがメモリ・カード19に記録される。

シャッタ・レリーズ・ボタンの第二段階の押し下げがなく（ステップ41でＮＯ），シャッタ・レリーズ・ボタンの第一段階の押し下げが維持されていると（ステップ42でＹＥＳ），シャッタ・レリーズ・ボタンの第二段階の押し下げの有無判定が繰り返される。シャッタ・レリーズ・ボタンの第二段階の押し下げがなく（ステップ41），シャッタ・レリーズ・ボタンの第一段階の押し下げが解放されると（ステップ42でＮＯ），ステップ31の処理に戻る。

上述の実施例において，ＡＦ用のプリ・サーチ（ステップ34）における撮像レンズ８の移動距離を本サーチ（ステップ38）における撮像レンズ８の移動距離よりも大きくしてもよい。ＡＦ用のプリ・サーチの要する時間を短縮できる。

図11は，顔を検出する他の処理手順を示すフローチャートである。この図において図６に示すものと同一の処理については同一符号を付している。

図11に示す顔検出処理においては，撮像レンズ８がNEAR側からINF側に光軸方向に所定距離ずつ移動させられ，顔の検出処理が行われる（ステップ66）。顔が検出されると（ステップ62でＹＥＳ），その時の顔検出実行位置に対応して顔検出処理の結果が記憶されて（ステップ63）顔画像の検出処理が終了する。

撮像レンズ８を移動させながら得られる被写体像のうち初めて顔が検出されることにより，顔の検出処理が終了する。初めて検出される顔はディジタル・スチル・カメラ20にもっとも近い顔のものである。そのような顔の画像に合焦するように撮像レンズ８を位置決めできる。また，顔が初めて検出されることにより顔の画像検出処理が終了するので，顔の画像検出処理を迅速に終了させることができる。

図12は，顔の領域を顔情報に登録する他の処理手順を示すフローチャートである。この処理において図７に示す処理と同一の処理については同一符号を付して説明を省略する。

この顔領域登録処理おいては，上述のようにして顔情報画像に登録された顔画像領域に重み付けがつけられる（ステップ74）。

図13から図15は，重み付けの付け方を説明するためのものである。

図13を参照して，上述のようにして撮像レンズ８の位置を変えながら被写体を撮像することにより，被写体像Ｉ11，Ｉ12およびＩ13が得られたものとする。被写体像Ｉ11には顔ａ11およびａ12が含まれ，被写体像Ｉ12には顔ａ21およびａ22が含まれ，被写体像Ｉ13には顔画像ａ31が含まれているものとする。

これらの顔ａ11，ａ12，ａ21，ａ22およびａ31が顔情報Ｉface1に登録されると図13の右側に示すようになる。

顔情報Ｉface1に登録された顔領域（対象物領域）Ａ11は３つの領域（サブ対象物画像領域）81，82および83に分けることができる。領域81は顔ａ11およびａ31の２つの顔に含まれている領域である。領域82は顔ａ11，ａ21およびａ31の３つの領域すべてに含まれている領域である。領域83は顔ａ11およびａ21の２つの顔画像に含まれている領域である。

また，顔情報Ｉface1に登録された顔領域Ａ21も３つの領域84，85および86に分けることができる。領域84は顔ａ22に含まれている領域であり，領域85は顔ａ12およびａ22に含まれている領域であり，領域86は顔ａ12に含まれている領域である。

このような場合において重み付けを，顔が検出された顔検出実行位置の個数×定数k1とする。これらの領域81，82，83，84，85および86の重み付け係数はそれぞれ２k1，３k1，２k1，k1，２k1およびk1となる。

これらの重み付け係数が本サーチにおいて得られる顔領域評価値に乗じられることにより顔領域評価値が修正されて上述の顔領域評価値についてのグラフＧ２が得られる。

図14を参照して，顔ａ11，ａ12，ａ21，ａ22およびａ31が顔情報Ｉface2に登録されると図14の右側に示すようになる。

顔情報Ｉface2に登録された顔領域Ａ31は，図13に示した顔領域Ａ11の上下に領域87および88が付加されているものである。同様に，顔情報Ｉface2に登録された顔領域Ａ41は，図３に示した顔領域Ａ21の上下に領域89および90が付加されているものである。

重み付けを，顔が検出された顔検出実行位置の個数×定数k1＋顔領域からの距離×定数k2とする。領域81，82，83，84，85，86，87，88，89および90の重み付け係数はそれぞれ２k1＋k2，３k1＋k2，２k1＋k2，k1＋k2，２k1＋k2，k1＋k2，k2，k2，k2およびk2となる。

図15を参照して，顔ａ11，ａ12，ａ21，ａ22およびａ31が顔情報Ｉface2に登録されると図15の右側に示すＩface3となる。

顔情報Ｉface3に登録された顔領域Ａ51は，図14に示した顔領域Ａ31に含まれる領域87および88のそれぞれの領域が領域91および92と分かれている。同様に，図14に示した顔領域Ａ41に含まれる領域89および90のそれぞれの領域が領域93および94とに分かれている。

重み付けを，顔が検出された顔検出実行位置の個数×定数k1×顔画像領域からの距離×定数k2とする。領域81，82，83，84，85，86，87，88，89，90，91，92，93および94の重み付け係数はそれぞれ２k1，３k1，２k1，k1，２k1，k1，k2/2，k2，k2/2およびk2となる。

図16（Ａ）〜（Ｃ）は，他の実施例を示すものである。

上述した実施例においては，しきい値以上の全体合焦評価値の範囲の中から顔が含まれている範囲を合焦範囲と決定し，その合焦範囲内において本サーチが行われている。これに対して，図16（Ａ）〜（Ｃ）においては全体合焦評価値のグラフＧ１から極大値を求め，その極大値に対応する撮像レンズ８の位置において顔の検出処理が行われる。顔が検出された極大値の近傍の撮像レンズ８の位置が合焦範囲と決定される。決定された合焦範囲で本サーチが行われる。

（Ａ）を参照して，ＡＦプリ・サーチにより全体合焦評価値のグラフ（エンベロープ信号のグラフ）Ｇ１が得られる。グラフＧ１の極大値Ｍ１およびＭ２が検出され，それらの極大値Ｍ１およびＭ２に対応する撮像レンズ８の位置Ｚ11およびＺ13が検出される。これらの位置Ｚ11およびＺ13おいて撮像レンズ８がそれぞれ位置決めされて，被写体が撮像されることにより，被写体像Ｉ21およびＩ23が得られる。得られた被写体像Ｉ21およびＩ23の中に顔が含まれているかどうかの顔検出処理が行われる。ここでは，被写体像Ｉ21に顔ａ41が含まれているものとする。

（Ｂ）を参照して，撮像レンズ８が位置Ｚ11に位置決めされたときに得られる被写体像Ｉ21に顔ａ41が含まれていると，その極大値Ｍ１の全体合焦評価値ｐ１から所定レベルｑだけ下がったときの全体合焦積算値ｐ２とグラフＧ１との交差する点によって規定される範囲であり，かつ極大値Ｍ１が含まれている範囲Ｚ10〜Ｚ12が合焦範囲として決定される。

（Ｃ）を参照して，合焦範囲が決定されると，上述したように，その合焦範囲において本サーチが行われ，顔領域合焦評価値のグラフＧ２が得られる。得られたグラフＧ２から撮像レンズ８の合焦位置Ｚ1fが決定される。

図17（Ａ）および（Ｂ）は，さらに他の実施例を示すものである。

上述した図16（Ａ）〜（Ｃ）においては極大値Ｍ１の全体合焦評価値ｐ１から所定レベルｑだけ下がったときの全体合焦積算値ｐ２とグラフＧ１との交差する点にわよって規定される範囲が合焦範囲として決定されているが，図17（Ａ）および（Ｂ）においては，（Ａ）に示すように，極大値Ｍ１に対応する撮像レンズ位置Ｚ11からNEAR側およびINF側にそれぞれΔＺの位置に撮像レンズ８を移動した位置Ｚ15およびＺ16で規定される範囲Ｚ15〜Ｚ16が合焦範囲として決定される。

（Ｂ）を参照して，合焦範囲が決定されると，図17（Ｃ）と同じように，その合焦範囲において本サーチが行われ，顔領域合焦評価値のグラフＧ３が得られる。得られたグラフＧ３から撮像レンズ８の合焦位置Ｚ2fが決定される。

上述の実施例においては，撮像レンズをNEAR側の初期位置にセットして合焦評価値を得，撮像レンズを次の位置に移動して再び合焦評価値を得ているが，撮像レンズをINF（無限遠側）の初期位置にセットして合焦評価値を得，撮像レンズの次の位置に移動して再び合焦評価値を得るようにしてもよい。撮像レンズの初期位置をNEAR側とするかINF側とするかは，あらかじめ設定されていてもよいし，ユーザが設定できるようにしてもよい。ユーザが設定できるようにする場合には，上述したディジタル・スチル・カメラの操作装置５にNEAR側かINF側か設定するボタン，スイッチなど設定器を設けることとなる。設定された信号が制御回路１に与えられることにより，撮像レンズ８の初期位置がNEAR側またはINF側に設定される。

さらに，ディジタル・スチル・カメラの撮像モードとして，人物撮像モード，マクロ撮像モードなどの近距離撮像モードと風景撮像モード，夜景撮像モードなどの遠距離撮像モードとを設定できる場合には，それらの撮像モードに応じて，撮像レンズ８の初期位置を設定するようにしてもよい。たとえば，近距離撮像モードが設定されている場合には，主要被写体はディジタル・スチル・カメラに近い場所にあると考えられるので，撮像レンズ８はNEAR側の初期位置にセットされる。遠距離撮像モードが設定されている場合には，主要被写体はディジタル・スチル・カメラから遠い場合にあると考えられるので，撮像レンズ８はINF側の初期位置にセットされる。撮像レンズの移動に応じて主要被写体が検出されるまでの時間が，それぞれの撮像モードに応じて短くなる。

さらに，撮像レンズ８がズーム・レンズの場合には，ズーム・レンズのズーム倍率に応じて撮像レンズ（ズーム・レンズ）８の初期位置をNEAR側またはINF側に設定してもよい。たとえば，ズーム・レンズのズーム倍率が高く（望遠側）に設定されている場合には，主要被写体は遠くにあると考えられるから，初期位置はINF側とされ。ズーム・レンズのズーム倍率が低く（近距離側）に設定されている場合には，主要被写体は近くにあると考えられるから，初期位置はNEAR側とされる。もちろん，ズーム・レンズのズーム倍率が高い場合に初期位置を必ずINF側にし，ズーム倍率が低い場合に必ずNEAR側にしなければならないというわけではなく，その逆にズーム・レンズのズーム倍率が低い場合に初期位置をINF側にし，ズーム倍率が高い場合にNEAR側にしてもよい。

ディジタル・スチル・カメラの電気的構成を示すブロック図である。 ディジタル・スチル・カメラと被写体との関係を示している。 記録処理手順を示すフローチャートである。 記録処理手順を示すフローチャートである。 ＡＦ用のプリ・サーチ処理手順を示すフローチャートである。 顔検出処理手順を示すフローチャートである。 顔領域登録処理手順を示すフローチャートである。 （Ａ）は，撮像レンズの位置と全体合焦評価値と関係を示し，（Ｂ）は，撮像レンズの位置と顔領域合焦評価値との関係を示している。 （Ａ）は，全体合焦評価値が得られるときの被写体像の領域を示し，（Ｂ）は，顔領域合焦評価値が得られるときの領域を示している。 顔情報の顔を登録するものである。 顔検出処理の他の処理手順を示すフローチャートである。 顔領域登録処理の他の処理手順を示すフローチャートである。 重み付けの決定の仕方を示している。 重み付けの決定の仕方を示している。 重み付けの決定の仕方を示している。 （Ａ）および（Ｂ）は，撮像レンズの位置と全体合焦評価値との関係を示し，（Ｃ）は，撮像レンズの位置と顔領域合焦評価値との関係を示している。 （Ａ）は，撮像レンズの位置と合焦評価値との関係を示し，（Ｂ）は撮像レンズの位置と顔領域の合焦評価値との関係を示している。

符号の説明

１ 制御回路
６ 顔抽出処理回路
７ レンズ駆動回路
８ 撮像レンズ
12 ＣＣＤ
20 ディジタル・スチル・カメラ

Claims (20)

1. 被写体を撮像し，被写体像を表す画像データを出力する固体電子撮像装置，
   上記固体電子撮像装置の前方に配置されている撮像レンズを光軸方向に第１の所定距離ごとに移動して移動位置ごとに被写体像の合焦の程度を表す合焦データを出力する第１の合焦データ出力手段，
   上記合焦データ出力手段から出力された合焦データのレベルが所定のしきい値以上となる上記撮像レンズの位置のうち少なくとも一つの位置において上記固体電子撮像装置から出力される画像データによって表される被写体像に含まれている対象物を第１の所定距離以下の第２の所定距離ごとに検出する対象物検出手段，
   ならびに
   上記対象物検出手段によって検出された対象物に対応するデータにもとづいて，上記撮像レンズの位置を合焦位置として決定する合焦位置決定手段，
   を備えた撮像レンズの合焦位置決定装置。
2. 上記対象画像検出手段によって検出された対象物にもとづいて１または複数の合焦対象領域を決定する合焦対象領域決定手段，および
   上記合焦対象領域決定手段によって決定された１または複数の合焦対象領域に，対象物部分の重み付け係数が大きくなるように重み付け係数を決定する重み付け係数決定手段をさらに備え，
   上記合焦位置決定手段が，上記合焦対象領域決定手段によって決定された合焦対象領域に対応するデータにもとづいて，上記撮像レンズの位置を合焦位置として決定するものである，
   請求項１に記載の撮像レンズの合焦位置決定装置。
3. 被写体を撮像し，被写体像を表す画像データを出力する固体電子撮像装置，
   上記固体電子撮像装置の前方に配置されている撮像レンズを光軸方向に第１の所定距離ごとに移動して移動位置ごとに被写体像の合焦の程度を表す第１の合焦データを出力する第１の合焦データ出力手段，
   上記第１の合焦データ出力手段から出力された第１の合焦データのレベルが所定のしきい値以上となる上記撮像レンズの位置のうち少なくとも一つの位置において上記固体電子撮像装置から出力される画像データによって表される被写体像に対象物が含まれているかどうかを判定する対象物判定手段，
   上記第１の合焦データ出力手段から出力された第１の合焦データのレベルが連続して所定のしきい値以上となるように上記撮像レンズが位置する範囲のうち，上記対象物判定手段によって対象物が含まれていると判定されるときの上記撮像レンズの位置が含まれる合焦範囲を決定する合焦範囲決定手段，
   上記合焦範囲決定手段において決定された合焦範囲内において，上記撮像レンズを光軸方向に第１の所定の距離以下の第２の所定距離ごとに移動して移動位置ごとに被写体像の合焦の程度を表す第２の合焦データを出力する第２の合焦データ出力手段，および
   上記第２の合焦データ出力手段から出力された第２の合焦データにもとづいて被写体像が合焦する上記撮像レンズの位置を合焦位置として決定する合焦位置決定手段，
   を備えた撮像レンズの合焦位置決定装置。
4. 上記対象物画像判定手段が，上記第１の合焦データ出力手段から出力された第１の合焦データのレベルが所定のしきい値以上となる上記撮像レンズの位置において上記固体電子撮像装置から出力される画像データによって表される被写体像に含まれている対象物の画像を第１の所定距離以下の第３の所定処理ごとに検出して判定するものであり，
   上記第２の合焦データ出力手段が，上記合焦範囲決定手段において決定された合焦範囲内において，上記撮像レンズを光軸方向に再び移動して，被写体像のうち対象物判定手段によって検出された対象物の画像の合焦の程度を表す第２の合焦データを移動位置ごとに出力するものである，
   請求項３に記載の撮像レンズの合焦位置決定装置。
5. 上記第２の合焦データ出力手段が，上記合焦範囲決定手段において決定された合焦範囲内において，上記撮像レンズを光軸方向に移動して，被写体像のうち対象物判定手段によって検出されたすべての対象物にもとづいて決定される対象物画像領域内の画像の合焦の程度を表す第２の合焦データを移動位置ごとに出力するものである，
   請求項４に記載の撮像レンズの合焦位置決定装置。
6. 上記すべての対象物にもとづいて１または複数のサブ対象物領域を決定するサブ対象物領域決定手段，および
   上記サブ対象物領域決定手段によって決定された１または複数のサブ対象物領域に，対象物部分の重み付け係数が大きくなるように，重み付け係数決定する重み付け係数決定手段をさらに備え，
   上記第２の合焦データ出力手段が，上記合焦範囲決定手段において決定された合焦範囲内において，上記撮像レンズを光軸方向に再び移動して，被写体像のうち上記対象物判定手段によって検出された対象物の合焦の程度を表す第２の合焦データを上記重み付け係数決定手段により決定された重み付け係数にもとづいてレベルを調整して移動位置ごとに出力するものである，
   請求項５に記載の撮像レンズの合焦位置決定装置。
7. 上記第１の合焦データ出力手段における撮像レンズの移動をNEAR側から行うものであり，
   上記対象物判定手段は，上記撮像レンズが移動される度に上記対象物判定手段における被写体像に対象物が含まれているかどうかを判定する処理を行うものであり，
   対象物画像が検出されたことにより，撮像レンズの移動を停止するように上記第１の合焦データ出力手段を制御する撮像レンズ移動制御手段，
   をさらに備えた請求項３に記載の撮像レンズの合焦位置決定装置。
8. 上記第１の合焦データ出力手段における撮像レンズの移動をINF側から行うものである，請求項３に記載の撮像レンズの合焦位置決定装置。
9. 上記第１の合焦データ出力手段における撮像レンズの移動を，設定に応じてNEAR側またはINF側から行うものである，請求項３に記載の撮像レンズの合焦位置決定装置。
10. 上記第１の合焦データ出力手段における撮像レンズの移動方向を設定する設定手段をさらに備え，
    上記設定手段による設定に応じて，上記第１の合焦データ出力手段における撮像レンズの移動をNEAR側またはINF側から行うものである，請求項９に記載の撮像レンズの合焦位置決定装置。
11. 近距離撮像モードが設定されているか遠距離撮像モードが設定されているかを判定する撮像モード判定手段，および
    上記撮像モード判定手段によって近距離撮像モードが設定されていると判定されたことに応じてNEAR側から行うように，上記撮像モード判定手段によって遠距離撮像モードが設定されていると判定されたことに応じてINF側から行うように，上記第１の合焦データ出力手段における撮像レンズの移動を設定する手段，
    をさらに備えた請求項９に記載の撮像レンズの合焦位置決定装置。
12. 上記撮像レンズがズーム・レンズであり，
    上記ズーム・レンズのズーム倍率に応じて，上記第１の合焦データ出力手段における撮像レンズの移動をNEAR側またはINF側から行うように設定するものである，
    請求項９に記載の撮像レンズの合焦位置決定装置。
13. 上記対象物画像判定手段が，上記第１の合焦データ出力手段から出力された第１の合焦データのうち所定のしきい値以上の極大値に対応する上記撮像レンズの位置において，上記固体電子撮像装置から出力される画像データによって表される被写体像に対象物の画像が含まれるかどうかを判定するものである，
    請求項３に記載の撮像レンズの合焦位置決定装置。
14. 上記第１の合焦データ出力手段における撮像レンズの移動距離が，上記第２の合焦データ出力手段における撮像レンズの移動距離よりも長いものである，
    請求項３から請求項６のうちいずれか１項に記載の撮像レンズの合焦位置決定装置。
15. 上記対象物画像の検出が，対象物画像領域内の対象物らしさ，対象物の大きさ，対象物の明るさ，および対象物領域の位置の少なくとも一つにもとづいて行われるものである，
    請求項４に記載の撮像レンズの合焦位置決定装置。
16. 上記固体電子撮像装置から出力された画像データによって表される被写体像を表示画面に表示する表示装置，および
    検出された上記対象物画像の領域を上記被写体像上に表示するように上記表示装置を制御する表示制御手段，
    をさらに備えた請求項４に記載の撮像レンズの合焦位置決定装置。
17. 上記固体電子撮像装置から出力された画像データによって表される被写体像を表示画面に表示する表示装置，および
    上記対象物画像領域を上記被写体像上に表示するように上記表示装置を制御する表示制御手段，
    をさらに備えた請求項５に記載の撮像レンズの合焦位置決定装置。
18. 上記対象物が顔または目である，請求項１または３に記載の撮像レンズの合焦位置決定装置。
19. 固体電子撮像装置を用いて，被写体を撮像し，被写体像を表す画像データを得，
    上記固体電子撮像装置の前方に配置されている撮像レンズを光軸方向に第１の所定距離ごとに移動して移動位置ごとに被写体像の合焦の程度を表す合焦データを得，
    得られた合焦データのレベルが所定のしきい値以上となる上記撮像レンズの位置のうち少なくとも一つの位置において上記固体電子撮像装置から出力される画像データによって表される被写体像に含まれている対象物の画像を第１の所定距離以下の第２の所定距離ごとに検出し，
    検出された対象物に対応するデータにもとづいて，上記撮像レンズの位置を合焦位置として決定する，
    撮像レンズの合焦位置決定方法。
20. 固体電子撮像装置を用いて，被写体を撮像し，被写体像を表す画像データを得，
    上記固体電子撮像装置の前方に配置されている撮像レンズを光軸方向に第１の所定距離ごとに移動して移動位置ごとに被写体像の合焦の程度を表す第１の合焦データを得，
    得られた第１の合焦データのレベルが所定のしきい値以上となる上記撮像レンズの位置のうち少なくとも一つの位置において上記固体電子撮像装置から出力される画像データによって表される被写体像に対象物の画像が含まれているかどうかを判定し，
    得られた第１の合焦データのレベルが連続して所定のしきい値以上となるように上記撮像レンズが位置する範囲のうち，対象物の画像が含まれていると判定されるときの上記撮像レンズの位置が含まれる合焦範囲を決定し，
    決定された合焦範囲内において，上記撮像レンズを光軸方向に第１の所定処理以下の第２の所定距離ごとに移動して移動位置ごとに被写体像の合焦の程度を表す第２の合焦データを得，
    得られた第２の合焦データにもとづいて被写体像が合焦する上記撮像レンズの位置を合焦位置として決定する，
    撮像レンズの合焦位置決定方法。
    
    

Images