JP2013140270A - 焦点調節装置 - Google Patents

Abstract

【課題】顔等の主被写体の大きさ変化を用いたＡＦ制御において、主被写体切り替わり時に、合焦でないのに主被写体の大きさ変化を用いたＡＦ制御に移行したり、この移行が遅くなったりしてピントがボケることを抑制する技術を提供する。
【解決手段】焦点調節装置は、撮像手段１０７と、被写体検出手段１１３と、主被写体選択手段１１４、１１７と、焦点信号生成手段１１２と、簡易合焦判別手段１１４と、焦点調節部材１０５を駆動制御して焦点調節を行う制御手段１１４を有する。制御手段は、主被写体選択手段により主被写体が変更された場合に、焦点調節部材を駆動制御する際に、簡易合焦判別手段の判別結果に基づいて、主被写体の大きさの変化に基づいて焦点調節部材の移動方向を決定して焦点調節を行う追従駆動動作による焦点調節を制限する。
【選択図】図１

Description

本発明は、撮像対象に人物などの予め定められた被写体を含む場合に、人物などの特徴部（顔部など）を抽出し、その結果を考慮して焦点調節を行う撮像装置における自動焦点調節装置及び方法に関する。

近年のデジタルビデオカメラ等の撮像装置では、撮像素子から出力された撮影信号に含まれる画像から、人物の顔など特定の被写体を検出し、検出した被写体に対してオートフォーカス（ＡＦ）制御を行う機能が搭載されたものがある。ＡＦ制御では、撮像素子を用いて生成された映像信号の鮮鋭度（コントラスト）に基づいて合焦位置を検出するＴＶ−ＡＦ方式が広く用いられている。具体的には、フォーカスレンズを移動させながら順次撮影して得られた映像信号について、コントラストの程度を示すＡＦ評価値を生成し、ＡＦ評価値に基づいて、コントラストが最大となるフォーカスレンズの位置を合焦位置として探索する。ここで、被写体である人物が近づいてくる場合など、被写体距離が変化した場合には合焦位置を再度探索する必要がある。しかしながら、被写体が近付いているか遠ざかっているかが不明であると合焦位置の方向検出に時間がかかってしまい、ピントがボケてしまう。

このような問題を解決するため、人物の顔の大きさの変化を検出することで被写体距離の増減の方向を推測し、合焦位置の方向検出に用いる手法が提案されている（例えば、特許文献１、２参照）。すなわち、顔の大きさが増大していれば被写体距離が近づいていると判定し、至近方向にフォーカスレンズを移動して合焦位置を探索する。これにより、合焦までの時間を短縮し、ピントがボケることを防止することができる。

特開２００９−３１７６０号公報 特開２００９−２５１４６４号公報

顔などの被写体を検出してＡＦ制御を行うカメラでは、例えば、撮影画面内に複数の顔がある場合、カメラが自動的に主被写体となる顔（主顔）を選択したり、主顔を選択する設定手段により撮影者が主顔を選択できたりする等の機能が備えられている。そして、これらの機能により、撮影中に主顔が変更される場合が発生する。しかし、主顔が変更される際に前記した顔の大きさ変化によるＡＦ制御を行っていると、以下のような事態が発生してしまうことがあり得る。

図２（ａ）は、画面内に被写体ＡとＢの２つの顔が存在し、主顔として被写体Ａが選択されている状態である。点線で示した枠内の顔が主顔を表している。ＡＦ制御により、主顔である被写体Ａは合焦しているが、被写体Ｂは被写体Ａより遠方にいる（被写体距離が大きい）ためピントはボケている。ここで図２（ｂ）のように、被写体Ａが画面外に移動したり、撮影者が被写体Ｂを主顔に選択したりすることで、主顔が被写体Ａから被写体Ｂに変更されたとする。被写体Ｂは被写体Ａより被写体距離が大きいため、合焦させるためにはフォーカスレンズを無限方向に移動する必要がある。しかし、被写体Ｂがカメラに近づく方向に移動していると、顔の大きさは増大するので、顔の大きさ変化によるＡＦ制御によりフォーカスレンズが至近方向に移動してしまい、図２（ｃ）のように被写体Ｂがさらにボケてしまう。以上に述べたような事態を回避する手段として、主顔が変更された場合には、まず変更後の主顔（被写体Ｂ）に合焦させ、その後に顔の大きさ変化によるＡＦ制御を実行することが考えられるが、この場合でも以下のような事態が発生することがある。

ＴＶ−ＡＦのＡＦ評価値は映像信号から生成しているために、被写体Ｂが移動中であるとＡＦ評価値は映像信号変化によって変動する。被写体Ｂに合焦させるためにＡＦ評価値が最大となるフォーカスレンズ位置を探索している際に、ＡＦ評価値が変動して増減が生じると、その位置が最大であると誤検出して合焦と判定してしまう可能性がある。その結果、被写体Ｂに合焦していない状態で、顔の大きさ変化によるＡＦ制御を実行し、ピントがボケてしまうことがある。本発明の目的は、顔などの大きさ変化によるＡＦ制御において、前記したように主被写体（主顔など）が変更された場合であっても、主被写体に的確に合焦できる焦点調節装置及び方法を提供することである。

本発明の焦点調節装置は、撮像手段と、被写体検出手段と、主被写体選択手段と、焦点信号生成手段と、簡易合焦判別手段と、焦点調節部材を駆動制御して焦点調節を行う制御手段と、を有する。撮像手段は、撮像用の光学系の焦点調節のための焦点調節部材を通して被写体を撮影して映像信号を出力する。被写体検出手段は、前記撮像手段から得られる映像信号に基づいて撮影画面内の１つ以上の所定の被写体を検出する。主被写体選択手段は、前記被写体検出手段により検出された１つ以上の被写体のうち焦点調節の対象となる主被写体を自動または手動的に選択する。焦点信号生成手段は、前記主被写体選択手段により選択された主被写体の位置を含む撮影画面内の領域から焦点信号を生成する。簡易合焦判別手段は、主被写体が略合焦であるかどうかを判別する。そして、前記制御手段は、前記主被写体選択手段により主被写体が変更された場合に、焦点調節部材を駆動制御する際に、前記簡易合焦判別手段の判別結果に基づいて、主被写体の大きさの変化に基づいて焦点調節部材の移動方向を決定して焦点調節を行う追従駆動動作による焦点調節を制限する。
また、本発明の自動焦点調節方法は、出力ステップと、被写体検出ステップと、主被写体選択ステップと、焦点信号生成ステップと、簡易合焦判別ステップと、焦点調節部材を駆動制御して焦点調節を行う制御ステップと、を有する。出力ステップでは、撮像用の光学系の焦点調節のための焦点調節部材を通して被写体を撮影して映像信号を出力する。被写体検出ステップでは、前記出力ステップで得られる映像信号に基づいて撮影画面内の１つ以上の所定の被写体を検出する。主被写体選択ステップでは、前記被写体検出ステップで検出された１つ以上の被写体のうち焦点調節の対象となる主被写体を自動または手動的に選択する。焦点信号生成ステップでは、前記主被写体選択ステップで選択された主被写体の位置を含む撮影画面内の領域から焦点信号を生成する。簡易合焦判別ステップでは、主被写体が略合焦であるかどうかを判別する。そして、前記制御ステップにおいて、前記主被写体選択ステップにおいて主被写体が変更された場合に、焦点調節部材を駆動制御する際に、前記簡易合焦判別ステップでの判別結果に基づいて、主被写体の大きさの変化に基づいて焦点調節部材の移動方向を決定して焦点調節を行う追従駆動動作による焦点調節を制限する。

以上説明したように、本発明によれば、被写体の移動によりＡＦ評価値が変動している場合においても、主被写体（主顔など）に略合焦しているかを簡易的に判別し、簡易合焦の判別結果に基づいて、主被写体の大きさ変化による追従駆動動作のＡＦ制御を制限する。これにより、主被写体が変更された場合であっても、主被写体の大きさ変化によるＡＦ制御が誤動作してピントがボケてしまうことを抑制し、主被写体に的確に合焦させることができる。一方で、ＡＦ評価値が変動して厳密に合焦であるかを判別できない場合にも、略合焦であるかどうかを判別することで、主被写体の大きさ変化によるＡＦ制御を過度に制限することなく、被写体移動中における合焦までの時間を短縮することができる。

本発明の一実施例であるビデオカメラの構成を示すブロック図。 従来技術における、主顔が変更された場合のＡＦ制御の誤動作を示す図。 ＴＶ−ＡＦ制御の全体的な動作を示すフローチャート図。 ＴＶ−ＡＦ制御における微小駆動モードの動作を示すフローチャート図。 ＴＶ−ＡＦ制御における山登りモードの動作を示すフローチャート図。 微小駆動モードのフォーカスレンズ動作を示した図。 山登り駆動モードのフォーカスレンズ動作を示した図。。 本発明の一実施例における簡易合焦判別によるＡＦ制御動作を示すフローチャート図。 本発明の一実施例における簡易合焦判定処理動作を示すフローチャート図。 本発明の一実施例における、顔の大きさ変化によるＡＦ制御動作を示すフローチャート図。

本発明の特徴は、主被写体の大きさ変化を用いたＡＦ制御において、主被写体の切り替わり時に簡易合焦判定を行い、簡易合焦の判別結果に基づいて、主被写体の大きさ変化を用いたＡＦ制御を制限することにある。この考え方に基づき、本発明の焦点調節装置及び方法は、課題を解決するための手段のところで述べた様な基本的な構成を有する。

以下、本発明の実施例を説明する。図１は、本発明の実施例である自動焦点調節装置を含むビデオカメラ（撮像装置）の構成を示す。以下の実施例では、ビデオカメラについて説明するが、本発明はデジタルスチルカメラ等の他の撮像装置にも適用できる。

図１において、１０１は第１固定レンズ、１０２は光軸方向に移動して変倍を行う変倍レンズ、１０３は絞りである。１０４は第２固定レンズである。１０５は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えた、撮像用の光学系の焦点調節のためのフォーカスコンペンセータレンズ（以下、フォーカスレンズまたは焦点調節部材ともいう）である。第１固定レンズ１０１、変倍レンズ１０２、絞り１０３、第２固定レンズ１０４及びフォーカスレンズ１０５により撮像光学系が構成される。１０６は、ＣＣＤセンサやＣＭＯＳセンサにより構成される光電変換素子としての撮像素子である。１０７は、撮像素子１０６の出力をサンプリング、ゲイン調整、デジタル化するＣＤＳ／ＡＧＣ／ＡＤコンバータである。１０８は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１０７からの出力信号に対して各種の画像処理を施し、映像信号を生成するカメラ信号処理回路（撮像手段を構成する）である。１０９は、カメラ信号処理回路１０８からの映像信号を表示する表示装置、１１０は、カメラ信号処理回路１０８からの映像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する記録装置である。１１１は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１０７からの全画素の出力信号のうち焦点検出に用いられる領域の信号のみを通すＡＦゲートであり、後述のカメラ／ＡＦマイコン１１４で設定された領域（ＡＦ枠）について焦点信号を生成できるように構成されている。

１１２は、焦点信号生成手段を構成する焦点信号処理回路であり、ＡＦゲート１１１を通過した信号から高周波成分を抽出して焦点信号を生成する。この焦点信号は、撮像素子１０６からの出力信号に基づいて生成される映像の鮮鋭度（コントラスト状態）を表す値であるが、合焦状態の映像の鮮鋭度は高く、ボケた映像の鮮鋭度は低いので、撮像光学系の焦点状態を表す値として利用できる。焦点信号処理回路１１２は、前記焦点信号のほか、輝度差信号（ＡＦゲート１１１を通過した信号の輝度レベルの最大値と最小値の差分）等の信号も生成する。１１３は、画像信号に対して公知の顔認識処理を施し、撮影画面内の人物の顔領域の位置及び大きさを検出する顔検出処理回路（被写体検出手段を構成する）である。公知の顔認識処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法や、抽出された目、鼻、口等の顔の特徴点からパターン認識を行う方法等が開示されている。顔検出処理回路１１３は、その検出結果を後述のカメラ／ＡＦマイコン１１４に送信する。

カメラ／ＡＦマイコン１１４は、上記検出結果に基づき、撮影画面内の顔領域を含む位置にＡＦ枠を設定するようにＡＦゲート１１１へ情報を送信する。ここで、顔検出処理回路１１３にて複数の顔領域が検出された場合は、その中から焦点調節の対象となる主顔をカメラ／ＡＦマイコン１１４にて自動で選択する。主顔を選択する処理方法としては、顔の大きさや位置に基づいて、大きさが大きく、位置が画面中央に近い顔を自動的に主顔とする等の公知の手法がある。また、後述する主顔選択操作部１１７により撮影者が主顔を指定した場合は、その情報に基づいてカメラ／ＡＦマイコン１１４は撮影者が指定した顔を主顔として選択する。なお、主顔として選択されている被写体が撮影画面外となった場合は、撮影画面内にある他の顔領域の中から再度主顔が選択される。

１１４は、焦点信号処理回路１１２の出力信号に基づいて、後述のフォーカスレンズ駆動源１１６を制御しフォーカスレンズ１０５を駆動するとともに、記録装置１１０へ画像記録命令を出力するカメラ／ＡＦマイコンである。前記したＡＦ枠の設定や主顔の選択処理、及び後述する本実施例の各種ＡＦ制御処理もカメラ／ＡＦマイコン１１４で実行される。なお、これらの処理はカメラ／ＡＦマイコン１１４にて、所定の周期（例えば映像信号の垂直同期信号の発生周期）毎に繰り返し実行される。

１１５は、変倍レンズ１０２を移動させるためのアクチュエータ及びその駆動回路を含む変倍レンズ駆動源、１１６は、フォーカスレンズ１０５を移動させるためのアクチュエータ及びその駆動回路を含むフォーカスレンズ駆動源である。変倍レンズ駆動源１１５及びフォーカスレンズ駆動源１１６は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。

１１７は、撮影者が主顔を指定したい場合に手動で操作する主被写体選択手段である主顔選択操作部であり、タッチパネルやスイッチ、操作レバーなどの操作部材が用いられる。撮影者は例えば、表示装置１０９上に配置されたタッチパネルにて、撮影画面上の顔領域のうち主顔としたい領域をタッチすることで主顔を指定することができる。また、操作部材としてスイッチや操作レバーなどを備えている場合は、これらを操作して撮影画面上の顔領域の中から主顔を順番に切り替えていくことで主顔を指定することができる。

次に、ＴＶ−ＡＦ制御について説明する。図３は、ＴＶ−ＡＦ制御の全体的な動作を示すフローチャートである。以下の処理もカメラ／ＡＦマイコン１１４にて、所定の周期（例えば映像信号の垂直同期信号の発生周期）毎に繰り返し実行される。図３において、Ｓｔｅｐ３０１では、後述の微小駆動モードであるかを判別し、そうである場合はＳｔｅｐ３０２へ、そうでない場合はＳｔｅｐ３０８へ進む。Ｓｔｅｐ３０２では、微小駆動動作を行い、フォーカスレンズを所定の振幅で駆動し、合焦しているか、あるいはどちらの方向に合焦点が存在するかを判別する。この詳細な動作は図４で説明する。Ｓｔｅｐ３０３では、Ｓｔｅｐ３０２の微小駆動動作によって合焦判別が行われたかどうかを判別し、そうである場合はＳｔｅｐ３０６、そうでない場合はＳｔｅｐ３０４へ進む。Ｓｔｅｐ３０４では、Ｓｔｅｐ３０２の微小駆動動作によって方向判別ができたかどうかを判別し、そうである場合はＳｔｅｐ３０５へ遷移して山登り動作へ移行し、そうでない場合はＳｔｅｐ３０１へ戻り微小駆動モードを継続する。Ｓｔｅｐ３０６では、合焦時の焦点信号レベルをメモリに格納した後、Ｓｔｅｐ３０７へ進んで再起動判定モードへ移行する。

Ｓｔｅｐ３０８では、後述する山登り駆動モードであるかを判別し、そうである場合はＳｔｅｐ３０９へ、そうでない場合はＳｔｅｐ３１３へ進む。Ｓｔｅｐ３０９では、山登り駆動動作を行い、焦点信号が大きくなる方向へ所定の速度でフォーカスレンズを山登り駆動する。この詳細な動作は図５で説明する。Ｓｔｅｐ３１０では、Ｓｔｅｐ３０９の山登り駆動動作によって焦点信号のピーク位置が発見されたかどうかを判別し、そうである場合はＳｔｅｐ３１１へ進み、そうでない場合はＳｔｅｐ３０１へ戻り山登り駆動モードを継続する。Ｓｔｅｐ３１１では、焦点信号がピークとなったフォーカスレンズ位置を目標位置に設定した後、Ｓｔｅｐ３１２へ進んで停止モードへ移行する。

Ｓｔｅｐ３１３では、停止モードであるかを判別し、そうである場合はＳｔｅｐ３１４へ、そうでない場合はＳｔｅｐ３１６へ進む。Ｓｔｅｐ３１４では、フォーカスレンズが焦点信号のピークとなる位置に戻ったかどうかを判別し、そうである場合はＳｔｅｐ３１５へ進んで微小駆動（合焦判別）モードへ移行し、そうでない場合はＳｔｅｐ３０１へ戻り停止モードを継続する。Ｓｔｅｐ３１６では、現在の焦点信号レベルとＳｔｅｐ３０６で保持した焦点信号レベルを比較し、その変動量が所定値より大きいかどうかを判別する。ここで、変動量が大きいと判断された場合はＳｔｅｐ３１７へ進んで微小駆動（方向判別）モードへの移行を行い、そうでない場合はＳｔｅｐ３０１へ戻り再起動判定モードを継続する。

次に、ＴＶ−ＡＦ制御における微小駆動モードの動作について説明する。図４は微小駆動モードの動作を示すフローチャートである。図４において、Ｓｔｅｐ４０１では、微小駆動の動作状態を示すカウンタが現在０であるかを判別し、そうである場合はＳｔｅｐ４０２へ、そうでない場合はＳｔｅｐ４０３へ進む。Ｓｔｅｐ４０２では、フォーカスレンズ１０５が至近側にある場合の処理として、現在の焦点信号レベルを保持する。ここでの焦点信号は、後述のＳｔｅｐ４１０でフォーカスレンズ１０５が無限側にあるときに撮像素子１０６に蓄積された電荷から生成された映像信号によるものである。Ｓｔｅｐ４０３では、現在のカウンタが１であるかを判別し、そうである場合はＳｔｅｐ４０４へ、そうでない場合はＳｔｅｐ４０９へ進む。

Ｓｔｅｐ４０４では、後述のＳｔｅｐ４０８でフォーカスレンズ１０５を駆動するための振動振幅、中心移動振幅を演算する。通常、これらの振幅は焦点深度内に設定されるのが一般的である。Ｓｔｅｐ４０５では、Ｓｔｅｐ４０２で保持した無限側の焦点信号レベルと後述のＳｔｅｐ４１０で保持した至近側の焦点信号レベルを比較し、前者が大きい場合はＳｔｅｐ４０６へ、後者が大きい場合はＳｔｅｐ４０７へ進む。Ｓｔｅｐ４０６では、振動振幅と中心移動振幅を加算し、駆動振幅とする。Ｓｔｅｐ４０７では、振動振幅を駆動振幅とする。Ｓｔｅｐ４０８では、Ｓｔｅｐ４０６またはＳｔｅｐ４０７で求めた駆動振幅に基づき、無限方向へ駆動する。

Ｓｔｅｐ４０９では、現在のカウンタが２であるかを判別し、そうである場合はＳｔｅｐ４１０へ、そうでない場合はＳｔｅｐ４１１へ進む。Ｓｔｅｐ４１０では、フォーカスレンズ１０５が無限側にある場合の処理として、現在の焦点信号レベルを保持する。ここでの焦点信号は、Ｓｔｅｐ４０２でフォーカスレンズ１０５が至近側にあるときに撮像素子１０６に蓄積された電荷から生成された映像信号によるものである。Ｓｔｅｐ４１１では、後述のＳｔｅｐ４１５でフォーカスレンズ１０５を駆動するための振動振幅、中心移動振幅を演算する。通常、これらの振幅は焦点深度内に設定されるのが一般的である。Ｓｔｅｐ４１２では、Ｓｔｅｐ４１０で保持した至近側の焦点信号レベルとＳｔｅｐ４０２で保持した無限側の焦点信号レベルを比較し、前者が大きい場合はＳｔｅｐ４１３へ、後者が大きい場合はＳｔｅｐ４１４へ進む。Ｓｔｅｐ４１３では、振動振幅と中心移動振幅を加算し、駆動振幅とする。Ｓｔｅｐ４１４では、振動振幅を駆動振幅とする。Ｓｔｅｐ４１５では、Ｓｔｅｐ４１３またはＳｔｅｐ４１４で求めた駆動振幅に基づき、至近方向へ駆動する。

Ｓｔｅｐ４１６では、現在、方向判別モードであるかを判別し、そうである場合はＳｔｅｐ４１７へ、そうでない場合はＳｔｅｐ４１９へ進む。Ｓｔｅｐ４１７では、所定回数連続して同一方向に合焦点が存在しているかを判別し、そうである場合はＳｔｅｐ４１８へ、そうでない場合はＳｔｅｐ４２１へ進む。Ｓｔｅｐ４１８では、方向判別ができたものと判断する。Ｓｔｅｐ４１９では、フォーカスレンズの移動状態が所定の同一エリア内（所定の幅の範囲内）で往復した回数がしきい値ＴＨ１以上であるかを判別する。フォーカスレンズが合焦位置すなわち焦点信号が最大となる位置付近にあれば、焦点信号レベルはフォーカスレンズが無限方向・至近方向のどちらに駆動されても減少するので、微小駆動においてフォーカスレンズは合焦位置付近で往復を繰り返す。したがって前記のように、所定の同一エリア内で往復した回数によってフォーカスレンズが合焦位置付近にあるかどうかを判別できる。所定回数以上反転を繰り返して往復回数がしきい値ＴＨ１以上である場合はＳｔｅｐ４２０へ、そうでない場合はＳｔｅｐ４２１へ進む。Ｓｔｅｐ４２０では合焦判別できたものと判断する。Ｓｔｅｐ４２１では、微小駆動の動作状態を示すカウンタが３であれば０に戻し、その他の値であればカウンタを加算する。

この微小駆動におけるフォーカスレンズ動作の時間経過を図６に示す。同図上部は映像信号の垂直同期信号であり、下部では、横軸は時間、縦軸はフォーカスレンズ１０５の位置を表している。ラベルＡの時刻に撮像素子１０６に蓄積された電荷に対する焦点信号ＥＶＡは、時刻ＴＡでカメラ／ＡＦマイコン１１４に取り込まれ、ラベルＢの時刻に撮像素子１０６に蓄積された電荷に対する焦点信号ＥＶＢは、時刻ＴＢでカメラ／ＡＦマイコン１１４に取り込まれる。時刻ＴＣでは焦点信号ＥＶＡとＥＶＢを比較し、ＥＶＢが大きい場合のみ振動中心を移動する。なお、ここでのフォーカスレンズ１０５の移動は焦点深度を基準とし、画面で認識できない移動量に設定する。

次に、ＴＶ−ＡＦ制御における山登りモードの動作について説明する。図５は山登りモードの動作を示すフローチャートである。図５において、Ｓｔｅｐ５０１では、フォーカスレンズ１０５の駆動速度を設定する。Ｓｔｅｐ５０２では、現在の焦点信号レベルが前回より増加しているかを判別し、そうである場合はＳｔｅｐ５０３へ、そうでない場合はＳｔｅｐ５０４へ進む。Ｓｔｅｐ５０３では、Ｓｔｅｐ５０１で設定した速度に基づき、フォーカスレンズ１０５を前回と同じ方向に山登り駆動する。

Ｓｔｅｐ５０４では、焦点信号レベルがピークを越えて減少しているかどうかを判別し、そうである場合はＳｔｅｐ５０５へ、そうでない場合はＳｔｅｐ５０６へ進む。Ｓｔｅｐ５０５では、ピーク位置を発見したものと判断する。Ｓｔｅｐ５０６では、Ｓｔｅｐ５０１で設定した速度に基づき、フォーカスレンズ１０５を前回と逆の方向に山登り駆動する。なお、山登り駆動モードでこのＳｔｅｐ５０６を繰り返している場合、被写体の焦点信号の変化量が十分に得られないためにフォーカスレンズ１０５がハンチング状態にあることを意味する。

この山登り駆動におけるフォーカスレンズ動作を図７に示す。同図において、フォーカスレンズ１０５がＡのように駆動している場合は焦点信号が増加しているため、同じ方向への山登り駆動を継続する。ここで、フォーカスレンズ１０５をＢの範囲で駆動すると焦点信号はピーク位置を越えて減少する。このとき、合焦点が存在するとして山登り駆動動作を終了し、フォーカスレンズ１０５をピーク位置まで戻した後、微小駆動動作に移行する。一方、Ｃのようにピーク位置を越えずに焦点信号が減少した場合は、駆動すべき方向を間違えたものとして反転し、山登り駆動動作を継続する。このように、ＴＶ−ＡＦ方式による焦点調節制御では、再起動判定→微小駆動→山登り駆動→停止→微小駆動→再起動判定を繰り返しながらフォーカスレンズ１０５を移動させることで、焦点信号が常に最大となるようにして合焦状態を維持する。

次に、本発明の特徴であるところの、主被写体（ここでは主顔）に略合焦しているかを簡易合焦判別手段により簡易的に判別し、略合焦と判別されていない場合は顔の大きさ変化によるＡＦ制御を制限する処理について説明する。図８は処理の全体的な動作を示すフローチャートである。まずＳｔｅｐ８０１にて、顔検出処理回路１１３から出力される顔検出処理結果（顔の数、大きさ及び位置）を取得する。次にＳｔｅｐ８０２で、顔検出処理結果から撮影画面内に顔領域が存在するかを判別する。顔領域が存在していない場合はＳｔｅｐ８１２に進み、ＡＦ枠をデフォルト領域（画面中央）に設定し、Ｓｔｅｐ８１３で主顔の合焦状態を表す主顔合焦フラグをクリアする。そしてＳｔｅｐ８１４に進んで、図３〜図７で説明したＴＶ−ＡＦ制御を実行して処理を終了する。こうした処理は、焦点信号に応じて焦点調節部材を駆動制御して焦点調節を行う第１の焦点調節手段と、主被写体の大きさの変化に基づき焦点調節部材の移動方向を決定し焦点調節を行う第２の焦点調節手段を備える制御手段を含むカメラ／ＡＦマイコン１１４で行われる。制御手段は、第１及び第２の焦点調節手段を組み合わせて主被写体に合焦させる焦点調節制御手段を備えることもできる。

一方、Ｓｔｅｐ８０２で顔領域が存在すると判定された場合はＳｔｅｐ８０３に進み、前記した主顔選択処理を実行し主顔を選択する。そしてＳｔｅｐ８０４に進み、ＡＦ枠を主顔を含む領域に設定する。次にＳｔｅｐ８０５では、今回の処理で選択された主顔が前回処理時の主顔と異なっているか、すなわち主顔が変更されたかどうかを判別する。なお前回処理で顔領域が存在していなかった場合（今回の処理で初めて顔領域が検出された場合）についても、主顔が前回の処理と異なっていると判別するものとする。主顔が前回と同じである場合はＳｔｅｐ８０７に進む。一方、主顔が前回と異なっていると判別された場合は、主顔が変更され非合焦となっていると考えられるので、Ｓｔｅｐ８０６で、主顔の合焦状態を表す主顔合焦フラグをクリアし、Ｓｔｅｐ８０７に進む。

Ｓｔｅｐ８０７では、後述する顔の大きさ変化によるＡＦ制御を実行する。続いてＳｔｅｐ８０８では、図３〜図７で説明したＴＶ−ＡＦ制御を実行し、Ｓｔｅｐ８０９に進む。Ｓｔｅｐ８０９では、本発明の特徴である簡易合焦判定処理を行う。ここでの処理の詳細については後述する。Ｓｔｅｐ８０９にて簡易合焦判定処理を行った後、Ｓｔｅｐ８１０に進み、簡易合焦判定にて略合焦と判定されたかどうかを判別する。略合焦と判定された場合はＳｔｅｐ８１１に進み、主顔の合焦状態を表す主顔合焦フラグをセットして処理を終了する。略合焦でないと判定された場合はそのまま処理を終了する。以上の処理により、主顔が変更（または初めて顔領域が検出）された場合に、簡易合焦判定処理において略合焦と判定されるまでは、主顔合焦フラグはクリアされた状態となっている。そして主顔変更後、ＴＶ−ＡＦ制御により主顔に略合焦して以降は、主顔合焦フラグはセットされた状態となる。ここでの主顔合焦フラグの状態は、後述するように、顔の大きさ変化によるＡＦ制御を制限するかどうかの判定に用いられる。

次に、本発明の特徴である簡易合焦判定処理について、図９のフローチャートを用いて説明する。Ｓｔｅｐ９０１ではまず、前記したＴＶ−ＡＦ制御において、図４のＳｔｅｐ４２０で微小駆動での合焦判別ができたかどうかを判別する。合焦と判別されている場合は主顔に合焦しているのでＳｔｅｐ９０５に進み、略合焦であると判定して処理を終了する。そうでない場合はＳｔｅｐ９０２に進む。Ｓｔｅｐ９０２では、ＴＶ−ＡＦ制御にて微小駆動モードになっているかを判別する。微小駆動モードでない場合は山登りモード等、合焦位置を探索中であるのでＳｔｅｐ９０６に進み、略合焦していないと判定して処理を終了する。一方、微小駆動モードであると判別された場合はＳｔｅｐ９０３に進む。

Ｓｔｅｐ９０３では、焦点信号処理回路１１２の出力から簡易合焦度を算出し、簡易合焦度がしきい値Ｔｈ２より大きいかどうかを判別する。簡易合焦度としては、映像の鮮鋭度を表す焦点信号（映像信号の高周波成分に基づく第１の焦点信号）のレベルが大きい場合に略合焦と判別することも考えられるが、焦点信号のレベルは撮影された画像のコントラストの大小によっても変わることに注意する必要がある。合焦度をより適切に判別するには、例えば前記焦点信号と前記焦点信号処理回路１１２で抽出された輝度差信号（映像信号の輝度レベルの最大値と最小値の差に基づく第２の焦点信号）との比を用いるなどの手段を用いることがより望ましい。この輝度差信号は、撮影された画像のコントラストの最大値に相当することから、焦点信号を輝度差信号で割ることで、焦点信号を、撮影された画像のコントラストの大小に対して正規化することができ、簡易的な合焦度の指標として用いることができる。そして、この簡易合焦度が高いほど合焦に近いことから、その大小で合焦度を判別することができる。Ｓｔｅｐ９０３で簡易合焦度がＴＨ２以下と判別された場合は、合焦度が低いためＳｔｅｐ９０６に進み、略合焦していないと判定して処理を終了する。

一方、簡易合焦度がＴＨ２より大きいと判別された場合はＳｔｅｐ９０４に進む。Ｓｔｅｐ９０４では、フォーカスレンズが、所定の同一エリア内で往復した回数がしきい値ＴＨ３以上であるかを判別する。ここでの判別内容は前記した図４のＳｔｅｐ４１９と同じであるが、閾値が異なっている。ＴＶ−ＡＦ制御では厳密に合焦判定を行うために、往復回数の閾値ＴＨ１を大きく設定しているが、被写体が移動中であるとＡＦ評価値が映像信号変化によって変動するため、略合焦であっても厳密に合焦であると判定されない場合がある。そこでＳｔｅｐ９０４では、閾値ＴＨ３を前記ＴＨ１より小さい値に設定し、厳密に合焦していなくても略合焦であると判別されるようにする。往復回数がＴＨ３以下と判別された場合はＳｔｅｐ９０６に進み、略合焦していないと判定して処理を終了する。一方、往復回数がＴＨ３より大きいと判別された場合は、フォーカスレンズが合焦位置付近にあると考えられるので、Ｓｔｅｐ９０５に進んで略合焦であると判定し処理を終了する。

以上の簡易合焦判定処理により、被写体移動中などＡＦ評価値が変動している場合に、ＡＦ評価値の最大位置を誤検出して合焦と判定してしまい、非合焦状態で顔の大きさ変化によるＡＦ制御を実行してピントがボケてしまう問題を防止することができる。なおかつ、ＡＦ評価値が変動して厳密に合焦であるかどうかを判別できない場合にも、略合焦であるかどうかを判別できるので、顔の大きさ変化によるＡＦ制御を過度に制限することなく、被写体移動中における合焦までの時間を短縮することができる。

なお、以上の説明では、簡易合焦度と、フォーカスレンズの往復回数の両方から略合焦であるかを判別しているが、どちらか一方のみを用いて判別することもできる。また、例えば特開２００３−７５７１７号公報に開示されているフォーカスレンズの制御手法を略合焦判定に応用して判定条件に加えてもよい。すなわち、レンズの焦点距離と画像上の顔の大きさから被写体距離を演算し、演算した被写体距離をフォーカスレンズの位置に換算する。ここで得られたフォーカスレンズ位置と、現在のフォーカスレンズ位置との差が所定値以下であれば、略合焦と判定するようにしてもよい。

以下に、顔の大きさ変化によるＡＦ制御、及び、本発明の特徴である顔の大きさ変化によるＡＦ制御を制限する処理について、図１０のフローチャートを用いて説明する。Ｓｔｅｐ１００１では、前記したＴＶ−ＡＦ制御にて微小駆動モードになっているかを判別する。微小駆動モードでない場合は、山登りモード等、既に合焦位置を探索中であるか、または合焦して停止している状態である。よって、Ｓｔｅｐ１０１０に進み、図８のＳｔｅｐ８０１で取得された現在の主顔の大きさの情報を内部メモリなど（不図示）に記憶して処理を終了する。一方、微小駆動モードであると判定された場合はＳｔｅｐ１００２に進む。Ｓｔｅｐ１００２、Ｓｔｅｐ１００３では順次、ＴＶ−ＡＦ制御にて合焦判別できたか、方向判別できたかを判別する。合焦判別または方向判別ができている場合はＳｔｅｐ１０１０に進み、現在の主顔の大きさの情報を前記内部メモリに記憶して処理を終了する。一方、合焦判別も方向判別もできていない場合はＳｔｅｐ１００４に進む。

Ｓｔｅｐ１００４では、主顔の顔領域が連続して検出されているかを判別する。連続して顔検出されていない（主顔が変更されたか、前回の処理で顔が検出されなかった）場合は、主顔の大きさ変化が判別できないため、Ｓｔｅｐ１０１０に進んで現在の主顔の大きさの情報を前記内部メモリに記憶し、処理を終了する。一方、連続して顔検出が行われている場合はＳｔｅｐ１００５に進む。

Ｓｔｅｐ１００５では、前記内部メモリに記憶されている直近の顔検出結果と、今回の処理で取得された顔検出結果とを比較し、顔領域の大きさが有意に変化しているかを判定する。ここでの判定は、顔領域の大きさの差（画素数）、または大きさの比率（％）の絶対値が、所定の閾値ＴＨｆ（画素数または％）より大きいかどうかにより行うことができる。顔領域の大きさ変化がしきい値ＴＨｆ未満の場合は、被写体距離の増減の方向が判別できないため、Ｓｔｅｐ１０１０に進んで現在の主顔の大きさの情報を前記内部メモリに記憶し、処理を終了する。一方、顔領域の大きさ変化がしきい値ＴＨｆ以上の場合はＳｔｅｐ１００６に進む。

Ｓｔｅｐ１００６では、前記した主顔合焦フラグがセットされているかを判別する。主顔合焦フラグがセットされていない場合は、主顔が変更（または初めて顔領域が検出）され、主顔がまだ非合焦状態である。そのため、Ｓｔｅｐ１００７以降の、顔の大きさ変化によるＡＦ制御を行わず、Ｓｔｅｐ１０１０に進み、現在の主顔の大きさの情報を前記内部メモリに記憶して処理を終了する。一方、主顔合焦フラグがセットされている場合は、既に変更後の主顔が略合焦となった後であるので、Ｓｔｅｐ１００７に進む。

Ｓｔｅｐ１００７では、顔領域の大きさが大きくなったかを判定する。大きくなっていると判定された場合は被写体である人物が近付いているので、Ｓｔｅｐ１００８に進み、図３〜図７で説明したＴＶ−ＡＦ制御処理を山登り駆動に設定し、駆動方向を至近方向に設定する。一方、顔領域の大きさが大きくなっていない（小さくなっている）と判定された場合は、Ｓｔｅｐ１００９に進み、ＴＶ−ＡＦ制御処理を山登り駆動に設定し、駆動方向を無限方向に設定する。Ｓｔｅｐ１００８及びＳｔｅｐ１００９の処理後はＳｔｅｐ１０１０に進んで現在の主顔の大きさの情報を前記内部メモリに記憶し、処理を終了する。

このように顔領域の大きさが有意に変化している際に、大きくなっている場合には至近方向に山登り駆動、小さくなっている場合には無限方向に山登り駆動を行うように、ＴＶ−ＡＦ制御の動作を設定する。このことで、ＴＶ−ＡＦ制御における微小駆動による方向判別動作を短縮し、合焦までの時間を短くすることができる。なお、以上の説明では、顔の大きさが変化した場合にＴＶ−ＡＦ制御を山登り駆動に設定しているが、例えば顔の大きさが大きくなっている場合には微小駆動の中心を至近方向に移動する等、フォーカスレンズが全体として合焦方向に移動するようにＴＶ−ＡＦ制御を行ってもよい。

以上に説明したように、本発明によれば、主被写体（主顔など）に略合焦しているかを簡易的に判別し、略合焦と判別されていない場合は主被写体の大きさ変化によるＡＦ制御（追従駆動動作）を制限する。これにより、主被写体の大きさ変化によるＡＦ制御が誤動作してピントがボケてしまうことを防止することができる。一方で、被写体移動中等にＡＦ評価値が変動して厳密に合焦であるかを判別できない場合にも、略合焦であるかどうかを判別することで、主被写体の大きさ変化によるＡＦ制御を過度に制限することなく、合焦までの時間を短縮することができる。以上の説明では、被写体の検出手段として人物の顔を検出するものとしている。しかし、映像に含まれる被写体領域の位置と大きさが検出できるものであれば、例えば、人体など顔以外の部位を検出したり、特定の色やパターンの領域を検出したりすることで人物以外の被写体を検出する手段などを用いても構わない。

上述した実施例における処理のために、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施例の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリーカード、ＲＯＭなどを用いることもできる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれている。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリーに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現される場合も含むものである。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

１０５‥‥フォーカスコンペンセータレンズ（フォーカスレンズ、焦点調節部材）、１０６‥‥撮像素子（撮像手段）、１０８‥‥カメラ信号処理回路（撮像手段）、１１２‥‥焦点信号処理回路（焦点信号生成手段）、１１３‥‥顔検出処理回路（被写体検出手段）、１１４‥‥カメラ／ＡＦマイコン（主被写体選択手段、簡易合焦判別手段、制御手段）、１１７‥‥主顔選択操作部（主被写体選択手段）

Claims (7)

1. 撮像用の光学系の焦点調節のための焦点調節部材を通して被写体を撮影して映像信号を出力する撮像手段と、
   前記撮像手段から得られる映像信号に基づいて撮影画面内の１つ以上の所定の被写体を検出する被写体検出手段と、
   前記被写体検出手段により検出された１つ以上の被写体のうち焦点調節の対象となる主被写体を自動または手動で選択するための主被写体選択手段と、
   前記主被写体選択手段により選択された主被写体の位置を含む撮影画面内の領域から焦点信号を生成する焦点信号生成手段と、
   前記主被写体が略合焦であるかどうかを判別する簡易合焦判別手段と、
   焦点調節部材を駆動制御して焦点調節を行う制御手段であって、前記主被写体選択手段により主被写体が変更された場合に、焦点調節部材を駆動制御する際に、前記簡易合焦判別手段の判別結果に基づいて、主被写体の大きさの変化に基づいて焦点調節部材の移動方向を決定して焦点調節を行う追従駆動動作による焦点調節を制限する制御手段と、
   を有することを特徴とする自動焦点調節装置。
2. 前記被写体検出手段は、前記撮像手段から得られる映像信号に基づいて撮影画面内の１つ以上の所定の被写体の位置及び大きさを検出し、
   前記制御手段は、前記焦点信号に応じて焦点調節部材を移動して焦点調節を行う第１の焦点調節手段と、前記追従駆動動作を行う第２の焦点調節手段と、前記第１及び第２の焦点調節手段を組み合わせて前記主被写体に合焦させる焦点調節制御手段を備えることを特徴とする自動焦点調節装置。
3. 前記制御手段は、前記簡易合焦判別手段により主被写体が略合焦ではないと判別された場合に、前記第２の焦点調節手段による焦点調節を制限することを特徴とする請求項２に記載の自動焦点調節装置。
4. 前記簡易合焦判別手段は、前記焦点信号生成手段により生成された焦点信号に基づいて、主被写体が略合焦かどうかを判別することを特徴とする請求項１から３の何れか１項に記載の自動焦点調節装置。
5. 前記簡易合焦判別手段は、前記焦点信号生成手段により生成された、映像信号の高周波成分に基づく第１の焦点信号と、映像信号の輝度レベルの最大値と最小値の差に基づく第２の焦点信号との比に基づいて、主被写体が略合焦かどうかを判別することを特徴とする請求項４に記載の自動焦点調節装置。
6. 前記簡易合焦判別手段は、前記第１の焦点調節手段による焦点調節部材の移動状態が、所定の幅の範囲内で所定回数以上反転を繰り返している場合に主被写体が略合焦であると判別することを特徴とする請求項１から５の何れか１項に記載の自動焦点調節装置。
7. 撮像用の光学系の焦点調節のための焦点調節部材を通して被写体を撮影して映像信号を出力する出力ステップと、
   前記出力ステップで得られる映像信号に基づいて撮影画面内の１つ以上の所定の被写体を検出する被写体検出ステップと、
   前記被写体検出ステップで検出された１つ以上の被写体のうち焦点調節の対象となる主被写体を自動または手動的に選択する主被写体選択ステップと、
   前記主被写体選択ステップで選択された主被写体の位置を含む撮影画面内の領域から焦点信号を生成する焦点信号生成ステップと、
   主被写体が略合焦であるかどうかを判別する簡易合焦判別ステップと、
   焦点調節部材を駆動制御して焦点調節を行う制御ステップと、
   を含む自動焦点調節方法であって、
   前記制御ステップにおいて、前記主被写体選択ステップにおいて主被写体が変更された場合に、焦点調節部材を駆動制御する際に、前記簡易合焦判別ステップでの判別結果に基づいて、主被写体の大きさの変化に基づいて焦点調節部材の移動方向を決定して焦点調節を行う追従駆動動作による焦点調節を制限することを特徴とする自動焦点調節方法。

Images