JP2012048156A - 撮像装置及びその制御方法、プログラム、並びに記憶媒体 - Google Patents

Abstract

【課題】撮影者の撮影意図や撮影シーンに適応したピント合わせを行うことができるＡＦ制御技術を実現する。
【解決手段】被写体検出手段により検出された被写体から主被写体を選択する主被写体選択手段と、主被写体選択手段により選択された主被写体、若しくは主被写体が撮影画面内に存在しない場合には当該撮影画面内の所定の被写体の合焦状態を検出し焦点調節動作を実行する焦点調節手段と、主被写体が存在するか否かに関わらず焦点調節動作を実行する第１の焦点調節モードと主被写体が存在する場合にのみ焦点調節動作を実行する第２の焦点調節モードとを有するモード切替手段と、主被写体が撮影画面内に存在するか否か、若しくは主被写体が変わったか否かを判定する判定手段と、第２の焦点調節モードにおいて判定手段により主被写体が撮影画面内に存在しないか、若しくは主被写体が変わったと判定された場合には焦点調節動作を禁止する制御手段と、を有する。
【選択図】図２

Description

本発明は、撮像装置におけるオートフォーカス制御に関する。

ビデオカメラ等の撮像装置のオートフォーカス（ＡＦ）制御では、撮像素子によって生成された映像信号の鮮鋭度（コントラスト状態）を示すＡＦ評価値信号を生成し、ＡＦ評価値が最大となるフォーカスレンズの位置を探索するＴＶ−ＡＦ方式が主流である。

また、被写体として人物を撮影する場合に、主被写体に安定したピント合わせを行うために、顔検出機能を有する撮像装置が知られている。例えば、顔と認識された領域を含む焦点検出領域を設定し、焦点検出を行う撮像装置（例えば、特許文献１参照）や、人物の目を検出し、その検出された目により焦点検出を行う撮像装置が提案されている（例えば、特許文献２参照）。

特開２００６−２２７０８０号公報 特開２００１−２１５４０３号公報

上記顔検出機能を利用した焦点検出は、認識された顔（主被写体）に対してピント合わせを行うが、主被写体が画面上から存在しなくなった（フレームアウトした）場合等、主被写体が認識されない場合も存在する。そこで、主被写体が認識されない場合には、主に画面中央の被写体に対してピント合わせを行うことが考えられるが、映画やドラマ等の映像作品を制作するプロカメラマン等が撮影した映像を編集する場合、編集カット点は画像の動きのないシーンにしたい。例えば、意図的に主被写体がフレームアウトするシーンを撮影したい場合に、認識された主被写体に追従していたピント面が、主被写体がフレームアウトし、すぐに背景にピント面が動いてしまうと、編集時にカットしにくい映像になってしまう。

そこで、主被写体が画面内に存在する場合は、主被写体に対してピント合わせを行い、主被写体が画面内に存在しなくなった場合には、画面中央の被写体に対してピント合わせを行う第１のモードに加えて、画面内に主被写体が存在する場合にのみピント合わせを行う第２のモードを設定することも考えられる。ところが、第２のモードで、画面内に複数の被写体が存在していると、主被写体がフレームアウトしてすぐに主被写体が他の被写体に切り替わってピント合わせが行われてしまうと、ピント面が動いてしまい、やはり編集時にカットしにくい映像になってしまう。

本発明は、上記課題に鑑みてなされ、その目的は、撮影者の撮影意図や撮影シーンに適応したピント合わせを行うことができるＡＦ制御技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、撮影光学系を介して入射した被写体像を光電変換して撮像信号を生成する撮像手段と、前記撮像手段によって生成された前記撮像信号から撮影画面内の被写体を検出する被写体検出手段と、前記被写体検出手段により検出された被写体から主被写体を選択する主被写体選択手段と、前記主被写体選択手段により選択された主被写体、若しくは前記主被写体が撮影画面内に存在しない場合には当該撮影画面内の所定の被写体の合焦状態を検出する焦点検出手段と、前記焦点検出手段により検出された合焦状態から焦点調節動作を実行する焦点調節手段と、前記主被写体が存在するか否かに関わらず焦点調節動作を実行する第１の焦点調節モードと、前記主被写体が存在する場合にのみ前記焦点調節動作を実行する第２の焦点調節モードとを有するモード切替手段と、前記主被写体が撮影画面内に存在するか否か、若しくは前記主被写体が変わったか否かを判定する判定手段と、前記第２の焦点調節モードにおいて、前記判定手段により前記主被写体が撮影画面内に存在しないか、若しくは前記主被写体が変わったと判定された場合には、前記焦点調節動作を禁止する制御手段と、を有する。

本発明によれば、撮影者の撮影意図や撮影シーンに適応したピント合わせを行うことができるＡＦ制御技術を実現することである。

本発明に係る実施形態１の撮像装置の主要な構成を示すブロック図。 実施形態１のＡＦ制御処理を示すフローチャート。 図２のＴＶ−ＡＦ制御処理を示すフローチャート。 図２のＴＶ−ＡＦ再起動処理を示すフローチャート。 第１及び第２の顔検出ＡＦモードの各動作内容を説明する図。 図３のＴＶ−ＡＦ制御処理において実行されるフォーカスレンズの微小駆動を説明する図。 図３のＴＶ−ＡＦ制御処理において実行されるフォーカスレンズの山登り駆動を説明する図。 実施形態１の主顔判定処理を示すフローチャート。 図８において実行される顔相関判定処理を示すフローチャート。 実施形態２のＡＦ制御処理を示すフローチャート。 パンニング検出を行うための振れ検出部及びマイクロコンピュータのブロック図。 パンニング判定閾値を示す図。

以下に、本発明を実施するための最良の形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

［実施形態１］以下、本発明の撮像装置をデジタルビデオカメラに適用した例を説明するが、これに限られず、デジタルスチルカメラ等に適用しても良い。

＜装置構成＞まず、図１を参照して、本実施形態のビデオカメラの主要な構成について説明する。

図１において、１０１は第１の固定レンズ群、１０２は光軸方向に移動して変倍を行い、焦点距離を可変な変倍レンズ、１０３は絞りである。また、１０４は第２の固定レンズ群、１０５は変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えたフォーカスコンペンセータレンズ（以下、フォーカスレンズと略称する）である。第１の固定レンズ群１０１、変倍レンズ１０２、絞り１０３、第２の固定レンズ群１０４及びフォーカスレンズ１０５により撮影光学系が構成される。

１０６はＣＣＤセンサやＣＭＯＳセンサにより構成される光電変換素子としての撮像素子である。撮像素子１０６は撮影光学系により形成された被写体像を撮像して映像信号を出力する。１０７は撮像素子１０６の出力をサンプリングし、ゲイン調整するＣＤＳ／ＡＧＣ回路である。

１０８はカメラ信号処理部であり、ＣＤＳ／ＡＧＣ回路１０７からの出力信号に対して各種の画像処理を施し、映像信号を生成する。１０９はＬＣＤ等により構成される表示部であり、カメラ信号処理部１０８からの映像信号を表示する。１１５は記録部であり、カメラ信号処理部１０８からの映像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する。

１１０は変倍レンズ１０２を移動させるためのズーム駆動部である。１１１はフォーカスレンズ１０５を移動させるためのフォーカシング駆動部である。ズーム駆動部１１０及びフォーカシング駆動部１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。

１１２はＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち焦点検出に用いられる領域の信号のみを通すＡＦ検出部である。

ＡＦ信号処理部１１３は、ＡＦ検出部１１２を通過した信号から高周波成分や輝度差成分（ＡＦ検出部１１２を通過した信号の輝度レベルの最大値と最小値の差分）等を抽出してＡＦ評価値信号を生成する。ＡＦ評価値信号は、マイクロコンピュータ（以下、マイコンと略称する）１１４に出力される。ＡＦ評価値信号は、撮像素子１０６からの出力信号に基づいて生成される映像信号の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮影光学系の合焦状態によって変化するので、結果的にＡＦ評価値信号は撮影光学系の合焦状態を表す信号となる。

マイコン１１４は本発明の制御手段を構成し、ビデオカメラ全体の動作の制御を司ると共に、フォーカシング駆動部１１１を制御してフォーカスレンズ１０５を移動させる焦点調節動作を実行する。マイコン１１４は、上記焦点調節動作として、ＴＶ−ＡＦ方式でのＡＦ制御（以下、ＴＶ−ＡＦと略称する）を実行する。

顔検出部１１６は本発明の被写体検出手段を構成し、映像信号に対して公知の顔検出処理を施して、撮影画面内の人物の顔領域を検出する。その検出結果をマイコン１１４に送出する。マイコン１１４は、上記検出結果に基づき、撮影画面内の顔領域を含む位置に焦点検出に用いられる領域を追加するようにＡＦ検出部１１２へ情報を送出する。ここで、顔検出１１６から複数の人物の顔領域を検出した場合には、顔領域の位置、大きさに応じて優先順位をつける主顔判定処理部があり、主顔判定処理部によって優先順位が第１位となった顔を主顔とする。

なお、顔検出処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法や、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法等が開示されている。本実施形態では、顔検出処理の方法については、上述した方法に限られず、どのような方法であっても良い。

また、ビデオカメラ１００にはズームキー１１７が設けられており、撮影者はズームキー１１７を操作することができる。ズームキー１１７の操作に対応して、コンピュータ１１４がズーム駆動部１１０を制御することにより変倍レンズ１０２が移動し、これによりズーム倍率が変倍される。

顔検出ＡＦモード切替部１１８は、後述する顔検出処理を利用したＡＦ制御を切り替える機能を有する。ここで、撮影者により選択された顔検出ＡＦモードに応じて、マイコン１１４は、顔検出処理の結果に応じたＡＦ制御及びＡＥ制御を行う。

振れ検出部１１９はビデオカメラの撮影等の際における手ブレを検出するものであり、ジャイロセンサ等の角速度センサが用いられる。振れ検出部の出力である手ブレ信号はマイコン１１４へ入力され、所定のフィルタリング処理、積分処理を行い、ビデオカメラの角変位として不図示の振れ補正系の制御信号として用いる。

なお、振れ補正系としては撮像素子に入射される撮像光の光路途中に、光軸偏向が可能なプリズムやレンズ部材を配置し、手ブレに応じて光軸の偏向を行う光学式の方式がある。また、電子式の方式では、撮像素子で受光された画像の一部を切り出す位置を制御し、制御された位置での画像の切り出しを行って振れ補正する方式がある。他の電子式の方式として、フィールド間での映像信号の変化からカメラの動き量を算出し、この算出された動き量を手ブレ量とする動きベクトル検出方式と併用される場合も多い。この場合には、動きベクトル検出用のフィールドメモリの蓄積画像における動きを除去するように対応する画像をメモリから抽出することにより補正が行われる。

＜ＡＦ制御処理＞次に、図２を参照して、マイコン１１４が実行するＡＦ制御処理について説明する。図２のＡＦ制御処理は、マイコン１１４内に格納されたコンピュータプログラムに従って実行され、例えば１フィールド画像を生成するための撮像素子１０６からの撮像信号の読み出し周期にて繰り返し実行される。

図２において、まず、最新の映像信号に対して顔検出処理を実行した後の顔検出部１１６から顔領域の有無を示す情報を取得する（Ｓ２０１）。

次いで、ステップＳ２０２で顔検出ＡＦモード切替部１１８により、撮影者が選択されている顔検出ＡＦモードを取得する。

本実施形態では、顔検出ＡＦモードとして、図３に示す２つの顔検出ＡＦモードを選択できる。第１の焦点調節モードとしての第１の顔検出ＡＦモードは、撮影画面内に顔が存在する場合には顔に対して、顔が存在しない場合には、画面中央の被写体に対して常にピント合わせを行う。第２の焦点調節モードとしての第２の顔検出ＡＦモードは、撮影画面内に顔が存在する場合にのみ顔に対してピント合わせを行う。つまり、第１の顔検出ＡＦモードは、顔が存在する場合には、顔に対して追従してピント合わせを行い、顔が存在しない場合には、画面中央に対してピント合わせを行うことで、常に画面内のいずれかの被写体に対して素早くピント合わせを行うことが可能である。また、第２の顔検出ＡＦモードは、撮影画面内に顔が存在する場合にのみ、顔に追従して安定してピント合わせを行い、顔が存在しなくなった場合には、ピント合わせを禁止する。これにより、顔がフレームアウトした場合に素早く背景にピント合わせを行ってしまい、ピント面が動くことにより編集時にカットしにくい映像となってしまうことを防ぐことができる。このように、撮影者の意図に適した第１及び第２の顔検出ＡＦモードを有し、撮影者が自ら撮影シーンに合わせて選択することにより、撮影者に最適なＡＦ制御を提供することができる。

そして、ここで第２の顔検出ＡＦモードか否かを判定し、第２の顔検出ＡＦモードでない場合はステップＳ２０３へ移行し、第２の顔検出ＡＦモードである場合には、ステップＳ２１３へ移行する。

ステップＳ２０３では、ステップＳ２０１で取得した結果から、顔領域が存在するか否かを判定する。顔領域が存在しない場合にはステップＳ２０４へ移行し、画面上の中央位置へＡＦ枠を設定し、ステップＳ２１２で後述するＴＶ−ＡＦ制御を行う。顔領域が存在する場合にはステップＳ２０５へ移行し、後述するマイコン１１４内の主顔判定処理部で判定された主顔位置にＡＦ枠を設定する。

次に、ステップＳ２０６で今回の主顔が前回の主顔と変わったか否かを判定する。主顔が変わっていない場合にはステップＳ２０７へ移行し、主顔が変わった場合にはステップＳ２１０へ移行する。ここで、主顔が変わったか否かは、後述する主顔判定処理部で判定される際に主顔に付随されている顔番号が変わったか否かによって判断する。

ステップＳ２０７では、主顔切り替わりカウンタをカウントアップする。そして、ステップＳ２０８へ移行し主顔切り替わりカウンタが第１のカウント値以上か否かを判定する。第１のカウント値以下の場合は、ステップＳ２１１へ移行し振幅大フラグをセットする。第１のカウント値より大きい場合には振幅大フラグをクリアする。ここで、第１のカウント値は例えば１秒とする。

ステップＳ２１０では、主顔が変わったことにより主顔切り替わりカウンタをクリアし、ステップＳ２１１で振幅大フラグをセットする。

ここで、振幅大フラグのセット／クリアに関しては、振幅大フラグをセットした場合、後述するステップＳ２１１ＴＶ−ＡＦ処理における微小駆動時のフォーカスレンズ１０５を移動させる振幅量を大きくする。例えば、振幅量を振幅大フラグがクリアされている場合の２倍に設定する。

本実施形態において、主顔が変わった場合に微小駆動時の振幅量を大きくするのは、主顔に対して迅速にピント合わせを行うためである。つまり、次の主顔がボケた状態ではフォーカスレンズ１０５を移動させる方向が判別しにくくピント合わせに時間がかかってしまう。そのため、振幅量を増やすことによりフォーカスレンズ１０５を移動させる方向を判別しやすくし、次の主顔にピント合わせを行う時間を短くする。但し、ピントが合ってから振幅を増やすと、フォーカスレンズ１０５を動かすことによってデフォーカスしている被写体の見えが悪くなる。このため、第１のカウント値をおおよそピントが合うまでの時間、若しくは、主顔が大ボケになっている時間を想定して設定すれば良い。

次に、ステップＳ２０２で第２の顔検出ＡＦモードが設定されている場合、ステップＳ２１３へ移行する。ここで、後述する焦点検出禁止モードか否かを判定する。焦点検出禁止モードの場合はステップＳ２１６へ移行し、焦点検出禁止モードでない場合はステップＳ２１４へ移行する。

ステップＳ２１４では、ステップＳ２０１で取得した結果から、ステップＳ２０３、Ｓ２０６と同様に、顔領域が存在するか否か、若しくは主顔が変わったか否かを判定する。顔領域が存在しない、若しくは主顔が変わった場合にはステップＳ２１５へ移行し、焦点検出禁止モードに設定する。顔領域が存在し、主顔も変わってない場合には、ステップＳ２１９へ移行する。ここで、焦点検出禁止モードとは、顔領域が存在するがＡＦ制御を禁止する状態を示しており、後述する所定の条件により解除され、ＡＦ制御を実行する。

ステップＳ２１６では、ウエイトカウント値が第２のカウント値より大きいか否かを判定する。ウエイトカウント値が第２のカウント値よりも小さい場合にはステップＳ２２３へ移行し、ウエイトカウント値をカウントアップし、ステップＳ２２４でフォーカスレンズ１０５を停止させておく。ウエイトカウント値が第２のカウント値よりも大きい場合にはステップＳ２１７へ移行し、焦点検出禁止モードの設定を解除し、ステップＳ２１８へ移行する。

ステップＳ２１８では、顔領域が存在するかを判定し、顔領域が存在しない場合にはステップＳ２２４へ移行しフォーカスレンズ１０５を停止させておく。一方、顔領域が存在する場合にはステップＳ２１９へ移行し、ステップＳ２０５と同様に主顔位置にＡＦ枠を設定する。

次に、ステップＳ２２０では、振幅大フラグをクリアしておき、ステップＳ２２１でステップＳ２１２と同様のＴＶ−ＡＦ制御を行い、ステップＳ２２２でウエイトカウント値をクリアする。

本実施形態では、主顔が切り替わった際に焦点検出禁止モードに設定し、所定時間フォーカスレンズ１０５を停止させている。これは、主顔がフレームアウトした際に、背景に他の顔が存在していた場合、第１の顔検出ＡＦモードのように、素早く次の主顔に対してピント合わせを行ってしまうと、ピント面が動くことにより編集時にカットしにくい映像となってしまうからである。これでは、第２の顔検出ＡＦモードの利点を活用できなくなり、撮影者の意図に反し、編集しにくい映像となってしまう。つまり、第２の顔検出ＡＦモードでは、ＡＦ制御の対象となっている主被写体が存在している場合は、ピント合わせを主被写体に追従するように行い、主被写体が存在しなくなった場合には、ピント面を動かさずに背景等がボケた状態にしておくことが望ましい。第２の顔検出ＡＦモードは、映像を編集しやすい撮影シーンを撮影でき、撮影者の意図した安定した撮影シーンを提供するものであるのに、他の被写体が存在しているからといって、ピント面を即座に動かしてしまっては撮影者の意図に反し不快感を与えてしまう。

また、本実施形態では、顔領域が存在しない場合にも、ウエイトカウント値をカウントアップしている。これは、顔領域が存在しなくなった直後には、他の顔領域は存在していなかったが、新たに他の顔領域がピント面を止めておきたい第２のカウント値を満たすよりも前に現れるかもしれない。その場合に、ピント面が動いてしまうのを防ぐためである。また、第２のカウント値は、上述したように編集する際にカット可能な時間が確保できれば良いという設定から、全くピント面を動かさないという無限に続くカウント値としても良い。無限に続くカウント値とした場合は、第２の顔検出ＡＦモード以外になった場合に、ウエイトカウント値をクリアするようにすれば良い。

＜ＴＶ−ＡＦ制御処理＞図３及び図４は、図２のステップＳ２１２及びＳ２２１で実行されるＴＶ−ＡＦ制御処理を示すフローチャートである。

図３において、まず、ＡＦ評価値を取得する（Ｓ３０１）。そして、図４で後述に説明するＴＶ−ＡＦ再起動判定処理を行う（Ｓ３０２）。

次いで、ＴＶ−ＡＦモードが微小駆動モードであるか否かを判定する（Ｓ３０３）。微小駆動モードについては後述する。

ステップＳ３０１での判定の結果、モードが微小駆動モードであるときは（Ｓ３０３でＹＥＳ）、フォーカスレンズ１０５を微小駆動する（Ｓ３０４）。微小駆動については、後に図１０を用いて説明する。

次いで、合焦状態であるか否かを判定する（Ｓ３０５）。ステップＳ３０５での判定の結果、合焦状態であるときは（Ｓ３０５でＹＥＳ）、フォーカスレンズ１０５の駆動を停止する（Ｓ３０９）。

次いで、フォーカスレンズ１０５の合焦位置におけるＡＦ評価値をマイコン１１４のメモリ（図示しない）に記憶させる（Ｓ３１０）。

次いで、現在のモードを再駆動判定モードに移行させる（Ｓ３１１）。

ステップＳ３０５での判定の結果、合焦状態でないときは（Ｓ３０５でＮＯ）、現在のフォーカスレンズ１０５の位置に対して合焦位置がいずれの方向にあるかを判別する（Ｓ３０６）。

次いで、ステップＳ３０７において合焦位置の方向（以下、合焦方向と略称する）を判別できたか否かを判定する（Ｓ３０７）。

ステップＳ３０７での判定の結果、合焦方向を判別できたときは（Ｓ３０７でＹＥＳ）、ＴＶ−ＡＦのモードを山登り駆動モードに移行させる（Ｓ３０８）。

ステップＳ３０３での判定の結果、モードが微小駆動モードでないときは（Ｓ３０３でＮＯ）、モードが山登り駆動モードであるか否かを判定する（Ｓ３１２）。

ステップＳ３１２での判定の結果、モードが山登り駆動モードであるときは（Ｓ３１２でＹＥＳ）、所定の速度でフォーカスレンズ１０５を山登り駆動（合焦位置検出制御）する（Ｓ３１３）。

次いで、フォーカスレンズ１０５の山登り駆動においてＡＦ評価値がピークを超えたか否かを判定する（Ｓ３１４）。

ステップＳ３１４での判定の結果、ＡＦ評価値がピークを超えたときは（Ｓ３１４でＹＥＳ）、フォーカスレンズ１０５の山登り駆動においてＡＦ評価値がピークとなった位置（以下、ピーク位置という）にフォーカスレンズ１０５を戻す（Ｓ３１５）。

次いで、フォーカスレンズ１０５がピーク位置に戻ったか否かを判定する（Ｓ３１６）。

ステップＳ３１６での判定の結果、ピーク位置に戻ったときは（Ｓ３１６でＹＥＳ）、ＴＶ−ＡＦのモードを微小駆動モードへ移行させる（Ｓ３１７）。

ステップＳ３１２での判定の結果、モードが山登り駆動モードでないときは（Ｓ３１２でＮＯ）、現在のモードが再駆動判定モードであり、ステップＳ３１８に移行する。ステップＳ３１８では、後述するステップＳ３０２のＴＶ−ＡＦ再起動判定処理によって、再起動フラグがセットされているか否かを判定する。ステップＳ３１８で再起動フラグがセットされていないときは（Ｓ３１８でＮＯ）、フォーカスレンズ１０５の駆動を停止する（Ｓ３１９）。

ステップＳ３１８での判定の結果、再起動フラグがセットされているときは（Ｓ３１８でＹＥＳ）、ＴＶ−ＡＦのモードを微小駆動モードへ移行させる（Ｓ３２０）。そして、再起動フラグをクリアする（Ｓ３２１）。

＜ＴＶ−ＡＦ再起動判定処理＞図４は、図３のステップＳ３０２におけるＴＶ−ＡＦ再起動判定処理を示すフローチャートである。

まず、マイコン１１４のメモリ（図示しない）に記憶されているＡＦ評価値と最新のＡＦ評価値とを比較して、これらの差が所定の値よりも大きいか否か、すなわちＡＦ評価値の変動が大きいか否かを判定する（Ｓ４０１）。

ステップＳ４０１の判定の結果、ＡＦ評価値の変動が大きいときは（Ｓ４０１でＹＥＳ）、山登り駆動モードか否か判定する（Ｓ４０２）。

ステップＳ４０２の判定の結果、山登り駆動モードでないときは（Ｓ４０２でＮＯ）、再起動処理を実行する、若しくは微小駆動モードであるならば、微小駆動を再度初期状態からやり直すために、ＴＶ−ＡＦ処理で使用するデータを初期化する（Ｓ４０３）。そして、ステップＳ４０４へ移行する。

ステップＳ４０２の判定の結果、山登り駆動モードであるときは（Ｓ４０２でＹＥＳ）、ステップＳ４０４へ移行する。

次に、ステップＳ４０４では、再起動モードであるか否かを判定する。ステップＳ４０４での判定の結果、再起動モードであるとき（Ｓ４０４でＹＥＳ）、再起動フラグをセットする（Ｓ４０５）。そして、処理を終了する。ステップＳ４０４の判定の結果、再起動モードでないとき（Ｓ４０４でＮＯ）、処理を終了する。

ステップＳ４０１の判定の結果、ＡＦ評価値の変動が小さいときは（Ｓ４０１でＮＯ）、そのまま処理を終了する。

図６は、図３のＴＶ−ＡＦ処理におけるステップＳ３０４で実行されるフォーカスレンズ１０５の微小駆動を説明する図である。

図６において、横軸は時間を、縦軸はフォーカスレンズ１０５の位置を示している。また、図中上方において、映像信号の垂直同期信号を示している。

図６に示すように、期間Ａの間に撮像素子１０６に蓄積された電荷（図中、斜線楕円で示す）に対するＡＦ評価値ＥＶＡが時刻ＴＡで取り込まれ、期間Ｂの間に撮像素子１０６に蓄積された電荷に対するＡＦ評価値ＥＶＢが時刻ＴＢで取り込まれる。また、時刻ＴＣでは、ＡＦ評価値ＥＶＡ，ＥＶＢを比較して、ＥＶＢ＞ＥＶＡであれば、微小駆動の駆動（振動）中心を移動させる。一方、ＥＶＡ＞ＥＶＢであれば、振動中心を移動させない。このように、フォーカスレンズ１０５を移動させながらＡＦ評価値が増加する方向を判定したり、ＡＦ評価値が最も大きくなるフォーカスレンズ１０５の位置（ピーク位置）を探すのが微小駆動である。

なお、ＡＦ評価値の変化から合焦状態か否かを判定するためにフォーカスレンズ１０５を微小駆動させる制御は、合焦確認制御ということもできる。

また、ＡＦ評価値の変化から合焦方向を判定するためにフォーカスレンズ１０５を微小駆動させる制御は、合焦方向判定制御ということもできる。

図７は、図３のＴＶ−ＡＦ処理におけるステップＳ３１３で実行されるフォーカスレンズ１０５の山登り駆動を説明するための図である。

図７において、横軸はフォーカスレンズ１０５の位置を、縦軸はＡＦ評価値を示している。

図７に示すように、Ａの動きでは、ＡＦ評価値がピークを超えてから減少するので、ピーク位置（合焦位置）の存在を確認することができる。この場合、フォーカスレンズ１０５をピーク位置近傍に戻してから山登り駆動を終了して、微小駆動に移行する。一方、Ｂの動きでは、ピークが無く、ＡＦ評価値が単調に減少するので、フォーカスレンズ１０５の駆動方向が誤りであると判定することができる。この場合、フォーカスレンズ１０５の駆動方向を反転して山登り駆動を継続する。このように、フォーカスレンズ１０５を駆動して、その間に得られたＡＦ評価値がピークとなるピーク位置又はその近傍を判定するのが山登り駆動である。

＜主顔判定処理＞図８は、マイコン１１４による主顔判定処理を示すフローチャートである。この主顔判定処理が本発明の主被写体選択手段を構成する。

まず、ステップＳ８０１で、顔検出部１１６により取得された顔検出結果から後述する顔相関判定処理を行う。この処理により、各検出された顔に対して顔番号を任意に割り当てる。

そして、ステップＳ８０２で、検出された顔の位置、大きさ等から、優先順位付けを行い、第１優先となったものを主顔とする。この場合の優先順位付けの決定は、例えば、位置が画面中央に近い程、大きさが大きくなる程優先順位が高くなるように決定する。さらには、頻繁に検出された顔が切り替らなくするために、前回も検出されていた顔に対しては優先順位を高くしても良く、撮影者が主顔として相応しく感じられる優先順位付け方法であれば、上述した限りではない。

ステップＳ８０３では、不図示ではあるが主顔固定モードが有効か無効かを判定する。ここで、主顔固定モードの有効／無効は、設定メニュー等で撮影者が選択可能な入力手段があれば良い。また、十字キーやタッチパネルを用いて、撮影者が操作することにより、撮影者が意図的に顔を選択できる操作を可能にできる入力手段を撮像装置が持っていれば良い。そして、主顔固定モードとは、自動的に主顔を決定するのではなく、撮影者が選択して設定した顔が画面上に存在する限り、常に撮影者が選択した顔を主顔とする機能である。

主顔固定モードが無効である場合には処理を終了し、主顔固定モードが有効である場合には、ステップＳ８０４へ移行する。

ステップＳ８０４では、今回の顔検出結果によって取得した顔に割り当てた顔番号と記憶されている主顔固定顔番号とを比較し、主顔固定されている顔が存在するか否かを判定する。主顔固定されている顔が存在する場合にはステップＳ８０５へ移行し、主顔固定されている顔が存在しない場合には、ステップＳ８０６へ移行する。

ステップＳ８０５では、主顔固定されている顔を第１優先（主顔）にステップＳ８０２で決定された優先順位を変更し、処理を終了する。

ステップＳ８０６では、記憶されている主顔固定顔番号をクリアする。そして、ステップＳ８０７へ移行し、主顔固定モードを無効にし、自動的に主顔を決定する状態へ移行し、処理を終了する。

＜顔相関判定処理＞次に、図９を参照して、図８の顔相関判定処理について説明する。この処理は、検出された顔数分処理を繰り返して行う。

まず、ステップＳ９０１で、顔検出部１１６により取得された前回と今回の顔検出結果を比較する。具体的には、顔の位置と大きさを各々比較し、前回の位置と今回の位置が近い程、前回の大きさと今回の大きさが同等である程、同じ顔であると判断できる。このように同じ顔を検索していき、顔の位置及び大きさの差から同じ顔が否かを判定するための相関量を算出し、相関が高い場合に同じ顔であると判定する。

そして、ステップＳ９０２で同じ顔であるか否かを判定し、前回と同じ顔に対しては前回と同じ顔番号を設定し（Ｓ９０３）、前回と同じ顔であると判定されなかった顔に対しては、新たに検出された顔と判断し、新しい任意の顔番号を設定する（Ｓ９０４）。

＜実施形態１による効果＞第１の顔検出ＡＦモードの場合には、主顔がフレームアウトした等、主被写体が存在しなくなった場合、他の被写体が存在している場合には素早く他の被写体へピント合わせを行えば良い。しかしながら、第２の顔検出ＡＦモードの場合には、他の被写体が存在しているからといって、他の被写体に即座にピント合わせを行ってしまうと、ピント面が動いてしまい編集しにくい映像になってしまう。このため、第２の顔検出ＡＦモードの場合には、主顔が存在しなくなった、若しくは、主顔が変わってしまった場合に、焦点検出禁止モードを設定し、所定時間ＡＦ制御を禁止する。これにより、撮影者の意図に適した撮影シーンを撮影することが可能となり、撮影者の意図に反して不快感を与えることを軽減することができる。

また、第１の顔検出ＡＦモードの場合には、常にＡＦ制御を行うため、常にピントが合っている被写体が存在することが望ましい。そのため、主顔が変わった場合に、第２の顔検出ＡＦモードの場合と比較して、微小駆動時のフォーカスレンズ１０５の移動量を大きくすることで、次の主顔がボケている状態でも素早く合焦方向が判別でき、次の主顔に対して素早いピント合わせが可能となる。これにより、ＡＦ制御の応答性を向上させ、次の主顔に対して素早いピント合わせを行うことができ、撮影者に不快感を与えないようにできる。

反対に、第２の顔検出ＡＦモードの場合には、常にピントが合っている被写体が存在しているのではなく、次の主顔に対して素早くＡＦ制御を行うこともなく、また、次の主顔が撮影者の撮影したい被写体であるとも限らない。さらに、フォーカスレンズ１０５の移動量を大きくすることで、背景等のデフォーカス被写体のピント面の動きが見えやすくなる。そのため、一度フレームアウトした顔が再度フレームインしたときに、顔が存在していない場合にはピント面が動いていなかった状態から、背景等のデフォーカス被写体のピント面の動きが急に見えて、撮影者に違和感を与えてしまうことも考えられる。よって、主顔が変わった場合に、第１の顔検出ＡＦモードと比較して、微小駆動時のフォーカスレンズ１０５の移動量を小さくし、ＡＦ制御の応答性よりも安定した撮影シーンを優先した制御にすることにより撮影者に不快感を与えることを軽減することができる。

このように、第１及び第２の顔検出ＡＦモードに応じてＡＦ制御を切り替えることにより、撮影者の意図に適したＡＦ制御を実現できる。

［実施形態２］次に、実施形態２について説明する。本実施形態のハードウェア構成は、前述の実施形態１において図１で説明したものと同様である。

＜ＡＦ制御処理＞図１０を参照して、実施形態２のＡＦ制御処理について説明する。図１０は、図１のマイコン１１４が実行するＡＦ制御処理を示すフローチャートである。

本処理は実施形態１のＡＦ制御処理と基本的に同じであるので、図２と共通する動作については下２桁を図２と同数字で示すことで説明を省略し、異なる動作についてのみ説明する。

本実施形態では、第２の顔検出ＡＦモードにおいて、主顔が存在しなくなった場合に、他の顔が存在している、若しくは他の顔が現れた場合に、ピント合わせを実行するか否かを他の顔の大きさ、位置、又は、カメラ動作によって変更するものである。

つまり、第２の顔検出ＡＦモードにおいて、ステップＳ１０１４で顔領域が存在しなくなった、若しくは主顔が変わってしまったときに、ステップＳ１０１５焦点検出禁止モードに設定する。そして、ステップＳ１０１６ではウエイトカウント値が第２のカウント値以上になったか否かを判定する。ここで、ウエイトカウント値が第２のカウント値未満である場合に、ステップＳ１０３１へ移行する。

ステップＳ１０３１では、顔検出部１１６で検出した結果、顔領域が存在しているか否かを判定する。顔領域が存在していない場合には、ピント合わせを行う対象が存在しないということでステップＳ１０２３へ移行し、ウエイトカウント値をカウントアップし、フォーカスレンズ１０５を停止させておく。

反対に、ステップＳ１０３１で、顔領域が存在している場合、前回の主顔とは異なる他の顔が存在していることになるので、ステップＳ１０３２へ移行する。

次いで、ステップＳ１０３２で、前回の主顔と今回の主顔の大きさの差が所定の差未満か否か、及び前回の主顔の位置と今回の主顔の位置の差が所定の差未満か否かを判定する。ここでは、顔の大きさ、及び顔の位置を比較したが、いずれか一方だけでも良い。また、顔の特徴量を判定基準に用いても良い。その場合、顔の特徴量がどれだけ類似するかを比較し、類似度が所定の差未満か否かを判定すれば良い。例えば、主顔が横を向いてしまったり、誤って一時的にフレームアウトしてしまった場合等で、撮影者がピント合わせを行う対象の主顔であるにも関わらず、一時的に顔検出が不可能な状態になってしまう場合も考えられる。この場合、主顔が存在しなくなったからといって、ピント合わせを第２のカウント値以上も禁止していたら、撮影者がピント合わせを行いたい対象の主顔が再び現れてもピント合わせを追従させることができなくなってしまい、撮影者に不快感を与えてしまう。そのため、前回まで追従していた顔の大きさとほぼ同等、若しくは、前回まで追従していた顔の位置とほぼ同じ位置に主顔が存在した場合には、焦点検出禁止モードの設定を解除し、主顔位置にＡＦ枠を設定し、ＴＶ−ＡＦ制御を実行しピント合わせを行う。

反対に、前回の主顔と今回の主顔の大きさの差が所定の差以上であり、又は、前回の主顔の位置と今回の主顔の位置の差が所定の差以上である場合、別の顔であると判定し、ステップＳ１０３３へ移行する。

ステップＳ１０３３では、撮影者がズームスイッチ１１７を操作することによりズーム操作が行われたか否かを判定する。ズーム操作が行われた場合には、焦点検出禁止モードの設定を解除し（Ｓ１０３５）、主顔位置にＡＦ枠を設定し（Ｓ１０１９）、ＴＶ−ＡＦ制御を実行しピント合わせを行う（Ｓ１０２１）。ズーム操作が行われていない場合には、ステップＳ１０３４へ移行する。

ステップＳ１０３４では、振れ検出部１１９によってパンニングを検出したか否かを判定する。パンニングを検出した場合には、焦点検出禁止モードの設定を解除し（Ｓ１０３５）、主顔位置にＡＦ枠を設定し（Ｓ１０１９）、ＴＶ−ＡＦ制御を実行しピント合わせを行う（Ｓ１０２１）。パンニングを検出していない場合には、ステップＳ１０２３へ移行し、ウエイトカウント値をカウントアップし、ステップＳ１０２４でフォーカスレンズ１０５を停止させておく。

ここで、図１１及び図１２を参照して、振れ検出部１１９で検出される手ブレ信号によるビデオカメラのパンニング検出判定処理について説明するが、この手法に限るものではなく、撮影者によりカメラが振られたことが判定できれば良い。

図１１において、１１９はビデオカメラの振れ検出部である。１１９ａはビデオカメラの振れを検出する角速度センサである。１１９ｂは角速度センサ１１９ａの出力から直流成分を除去する高域通過フィルタ（以下、ＨＰＦ）である。１１９ｃはＨＰＦ１１９ｂの出力を所定量増幅させる増幅器である。

次に、振れ検出部１１９の出力はマイコン１１４に入力され、１１４ａはアナログ出力をデジタル信号に変換するＡ／Ｄ変換器である。１１４ｂはＡ／Ｄ変換器１１４ａの出力から直流成分を除去するＨＰＦ、１１４ｃはＨＰＦ１１４ｂの出力を積分し、角変位信号へと変換する積分器である。１１４ｄは積分器１１４ｃの出力が不図示の振れ補正系に対して制御信号として出力される振れ状態判定部である。振れ状態判定部１１４ｄには、所定のパニング判定閾値が設定されており、積分器１１４ｃの出力が閾値以上か否かに応じてビデオカメラがパンニング動作となっているか否かを判定し、この判定結果がステップＳ１０３４のパンニング判定処理に適用される。撮影者の手ブレ量等により一時的にパンニングが検出されることもあるため、パンニング判定の条件に積分器１１４ｃの出力が所定の閾値以上となってからの時間を含めても良い。

なお、説明の簡略化のために、角速度センサ１１９ａ、ＨＰＦ１１９ｂ、増幅器１１９ｃ、Ａ／Ｄ変換器１１４ａ、ＨＰＦ１１４ｂ、積分器１１４ｃ、振れ状態判定部１１４ｄは２系統あるが１系統のみを図示している。

次に、ビデオカメラが撮影者によってパンニングされている場合の積分器１１４ｃの出力を模式的に図１２に示す。図１２において、縦軸は積分器１１４ｃの出力、横軸は時間を表している。１２０１は積分器１１４ｃの出力である。１２０２，１２０２’はパンニング判定閾値である。１２０３，１２０３’はパンニング終了判定の閾値である。積分器１１４ｃの出力がパンニング判定閾値１２０２，１２０２’以上となり、閾値１２０２，１２０２’以上の出力が所定時間継続した場合にパンニングされたと判定される。

また、閾値１２０２，１２０２’以上で所定時間経過後、積分器１１４ｃの出力がパンニング終了判定の閾値１２０３，１２０３’以下になった場合は、パンニングが終了したと判定される。

ここで、ステップＳ１０３３でズーム操作、若しくはステップＳ１０３４でパンニングを検出しているのは、撮影者が意図的に画角を変えて異なる被写体に注目したり、カメラを振ることによって異なる被写体に向けたと考えられるからである。つまり、撮影者が意図的に異なる被写体を撮影しようと考えているため、ＡＦ制御が禁止されたままでは、次の被写体へのピント合わせに時間がかかってしまい、撮影者に不快感を与えてしまう。そのため、ズーム操作やパンニングを検出した場合には、撮影者が意図的に他の被写体へ切り替えたと判断し、ピント合わせを実行することにより、撮影者に不快感を与えることを軽減することができる。

＜実施形態２による効果＞第２の顔検出ＡＦモードにおいて、主顔が存在しなくなった、若しくは主顔が切り替わったと判定された場合には、焦点検出禁止モードを設定しＡＦ制御を禁止する。焦点検出禁止モードの設定時に、主顔が存在し、顔の大きさや位置がほぼ同等であると判定された場合には、撮影者が撮影する対象としている被写体と同じ被写体であると判断し、焦点検出禁止モードの設定を解除し、ＡＦ制御を実行する。また、ズーム操作やパンニングを検出した場合には、撮影者が意図的に被写体を切り替えたと判断し、焦点検出禁止モードの設定を解除し、ＡＦ制御を実行する。これにより、撮影者の意図に適した撮影シーンを撮影することが可能となり、撮影者の意図に反して不快感を与えることを軽減することができる。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

また、本発明は、複数の機器（例えば、画像処理装置を構成するホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用してもよい。また、１つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。

Claims (11)

1. 撮影光学系を介して入射した被写体像を光電変換して撮像信号を生成する撮像手段と、
   前記撮像手段によって生成された前記撮像信号から撮影画面内の被写体を検出する被写体検出手段と、
   前記被写体検出手段により検出された被写体から主被写体を選択する主被写体選択手段と、
   前記主被写体選択手段により選択された主被写体、若しくは前記主被写体が撮影画面内に存在しない場合には当該撮影画面内の所定の被写体の合焦状態を検出する焦点検出手段と、
   前記焦点検出手段により検出された合焦状態から焦点調節動作を実行する焦点調節手段と、
   前記主被写体が存在するか否かに関わらず焦点調節動作を実行する第１の焦点調節モードと、前記主被写体が存在する場合にのみ前記焦点調節動作を実行する第２の焦点調節モードとを有するモード切替手段と、
   前記主被写体が撮影画面内に存在するか否か、若しくは前記主被写体が変わったか否かを判定する判定手段と、
   前記第２の焦点調節モードにおいて、前記判定手段により前記主被写体が撮影画面内に存在しないか、若しくは前記主被写体が変わったと判定された場合には、前記焦点調節動作を禁止する制御手段と、を有することを特徴とする撮像装置。
2. 前記制御手段は、前記撮影画面内に主被写体が存在しなくなり、他の被写体が存在している場合に、所定の時間が経過するまで前記焦点調節動作を禁止することを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段は、前記撮影画面内に主被写体が存在しなくなった場合に、前記被写体検出手段により検出された被写体の中に、前記撮影画面内に存在しなくなった主被写体と同じ被写体が再び現れたか否かを判定し、
   前記同じ被写体が現れたと判定された場合は、前記制御手段は、前記焦点調節動作の禁止を解除することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記判定手段は、前記撮影画面内に存在しなくなった主被写体と他の被写体の大きさ、位置、若しくは特徴の類似度とを比較し、当該大きさ、位置、若しくは類似度の差が所定の差未満である場合に、前記撮影画面内に存在しなくなった主被写体と同じ被写体が再び現れたと判定することを特徴とする請求項３に記載の撮像装置。
5. 前記撮像装置のズーム操作、若しくはパンニングを検出する検出手段を更に有し、
   前記制御手段は、前記撮影画面内に主被写体が存在しなくなり、他の被写体が存在している場合に、前記撮像装置のズーム操作、若しくはパンニングが検出されたならば、前記焦点調節動作の禁止を解除することを特徴とする請求項１又は２に記載の撮像装置。
6. フォーカスレンズを含む撮影光学系を介して入射した被写体像を光電変換して撮像信号を生成する撮像手段と、
   前記撮像手段によって生成された前記撮像信号から撮影画面内の被写体を検出する被写体検出手段と、
   前記被写体検出手段により検出された被写体から主被写体を選択する主被写体選択手段と、
   前記主被写体選択手段により選択された主被写体、若しくは前記主被写体が撮影画面内に存在しない場合には当該撮影画面内の所定の被写体の合焦状態を検出する焦点検出手段と、
   前記焦点検出手段により検出された合焦状態から焦点調節動作を実行する焦点調節手段と、
   前記主被写体が存在するか否かに関わらず焦点調節動作を実行する第１の焦点調節モードと、前記主被写体が存在する場合にのみ前記焦点調節動作を実行する第２の焦点調節モードとを有するモード切替手段と、
   前記主被写体が撮影画面内に存在するか否か、若しくは前記主被写体が変わったか否かを判定する判定手段と、
   前記判定手段により前記主被写体が撮影画面内に存在しないか、若しくは前記主被写体が変わったと判定された場合には、前記第２の焦点調節モードと比較して、前記第１の焦点調節モードの前記フォーカスレンズの移動量を大きくする制御手段と、を有することを特徴とする撮像装置。
7. 前記制御手段は、前記撮影画面内に主被写体が存在しなくなり、他の被写体が存在している場合に、所定時間が経過するまで前記第２の焦点調節モードと比較して、前記第１の焦点調節モードの前記フォーカスレンズの移動量を大きくすることを特徴とする請求項６に記載の撮像装置。
8. 撮影光学系を介して入射した被写体像を光電変換して撮像信号を生成する撮像手段を有する撮像装置の制御方法であって、
   前記撮像手段によって生成された前記撮像信号から撮影画面内の被写体を検出する被写体検出工程と、
   前記被写体検出工程により検出された被写体から主被写体を選択する主被写体選択工程と、
   前記主被写体選択工程により選択された主被写体、若しくは前記主被写体が撮影画面内に存在しない場合には当該撮影画面内の所定の被写体の合焦状態を検出する焦点検出工程と、
   前記焦点検出工程により検出された合焦状態から焦点調節動作を実行する焦点調節工程と、
   前記主被写体が存在するか否かに関わらず焦点調節動作を実行する第１の焦点調節モードと、前記主被写体が存在する場合にのみ前記焦点調節動作を実行する第２の焦点調節モードとを有するモード切替工程と、
   前記主被写体が撮影画面内に存在するか否か、若しくは前記主被写体が変わったか否かを判定する判定工程と、
   前記第２の焦点調節モードにおいて、前記判定工程により前記主被写体が撮影画面内に存在しないか、若しくは前記主被写体が変わったと判定された場合には、前記焦点調節動作を禁止する制御工程と、を有することを特徴とする制御方法。
9. フォーカスレンズを含む撮影光学系を介して入射した被写体像を光電変換して撮像信号を生成する撮像手段を有する撮像装置の制御方法であって、
   前記撮像手段によって生成された前記撮像信号から撮影画面内の被写体を検出する被写体検出工程と、
   前記被写体検出工程により検出された被写体から主被写体を選択する主被写体選択工程と、
   前記主被写体選択工程により選択された主被写体、若しくは前記主被写体が撮影画面内に存在しない場合には当該撮影画面内の所定の被写体の合焦状態を検出する焦点検出工程と、
   前記焦点検出工程により検出された合焦状態から焦点調節動作を実行する焦点調節工程と、
   前記主被写体が存在するか否かに関わらず焦点調節動作を実行する第１の焦点調節モードと、前記主被写体が存在する場合にのみ前記焦点調節動作を実行する第２の焦点調節モードとを有するモード切替工程と、
   前記主被写体が撮影画面内に存在するか否か、若しくは前記主被写体が変わったか否かを判定する判定工程と、
   前記判定工程により前記主被写体が撮影画面内に存在しないか、若しくは前記主被写体が変わったと判定された場合には、前記第２の焦点調節モードと比較して、前記第１の焦点調節モードの前記フォーカスレンズの移動量を大きくする制御工程と、を有することを特徴とする制御方法。
10. コンピュータを、請求項１乃至７のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
11. コンピュータを、請求項１乃至７のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。

Images