JP2010044210A - 焦点調節装置及び焦点調節方法 - Google Patents

Abstract

【課題】 顔などの対象物の検出結果を用いて、精度良く、安定して対象物に焦点調節を行えるようにすること。
【解決手段】 撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する顔検出部（１１６）と、対象物を表す領域が検出された場合に、対象物を含む領域を焦点検出領域として設定する設定手段（１１４）と、焦点検出領域の画像信号からＡＦ評価値を生成するＡＦ信号処理回路（１１３）と、ＡＦ評価値を用いて焦点調節を行う自動焦点調節手段（１１４）と、パン及びチルトの動作の有無を判定する判定手段（１１４）とを有し、前記設定手段は、対象物を表す領域が検出されず、且つ、パン及びチルトの少なくともいずれか一方の動作が検出された場合に、焦点検出領域を設定せず、パン及びチルトの何れも検出されなかった場合に、先に得られた画像に基づいて焦点検出領域が設定されていれば、該設定を保持する。
【選択図】 図１

Description

本発明は、撮像装置で用いられる焦点調節装置及び焦点調節方法に関し、更に詳しくは、動画撮影時に得られる画像に基づいて自動焦点調節を行う焦点調節装置及び焦点調節方法に関する。

ビデオカメラ等のオートフォーカス（ＡＦ）制御では、撮像素子を用いて生成された映像信号の鮮鋭度（コントラスト状態）を示すＡＦ評価値信号を生成し、該ＡＦ評価値信号が最大となるフォーカスレンズの位置を探索するＴＶ−ＡＦ方式が主流である。

しかしながら、人物を撮影する場合において、主被写体である人物とその背景のコントラストの関係から、人物にピントが合わず、背景に合ってしまうという問題があった。

このような問題を解決するために、顔検出機能を有する撮像装置が知られている。例えば、認識された顔領域を含む焦点検出エリアを設定し、焦点検出を行う撮像装置や（例えば、特許文献１参照）、人物の目を検出し、その目に基づいて焦点検出を行う撮像装置（例えば、特許文献２参照）が提案されている。

さらに、撮影時の被写体の動きやパンニング及びチルティング（以下、簡略的に「パンニング」と呼ぶ。）等のカメラワークによるカメラの動きがあるときは焦点検出のエリアを拡大して焦点検出を行う撮像装置（例えば、特許文献３参照）が提案されている。

特開２００６−２２７０８０号公報 特開２００１−２１５４０３号公報 特開２００４−２１２５５６号公報

しかしながら、動画を撮影するビデオカメラにおいては、静止画を撮影する場合と異なり、常に人物が動いている可能性が高いため、人物の顔の認識が安定せずにＡＦが不安定となることがある。つまり、人物の顔が常に認識されるのであれば、人物の顔領域を焦点を検出する領域に指定して焦点調節を行えば、人物への合焦状態は安定する。しかし、例えば、人物が横を向いたり目を閉じてしまった場合など、被写体の絵柄が変化した場合や、撮影者が手ブレした場合などには顔を認識するのが難しい。このような、顔が認識されたりされなかったりする撮影条件の下では、焦点を検出する領域を顔の認識／非認識で変更すると、ＡＦ評価値信号も変動してしまい、安定した焦点調節を行うことができない。

また、動画撮影の場合、様々な被写体が画面内に出入りする。通常、撮影者は画面の中央に被写体を配置させるように撮影する場合が多いが、例えば、画面の端に別の顔が認識された場合にその顔に合焦してしまうと、撮影者が意図した被写体に合焦しなくなってしまうことがある。

さらに、被写体の移動や、パンニング等のカメラワークにより顔が検出されにくい場合もあり、顔検出の領域を拡大しても主被写体の動きには追従しないため、その領域から得られる動画撮影のＡＦ評価値信号は安定性を損なうことにもなる。

本発明は上記問題点を鑑みてなされたものであり、顔などの対象物の検出結果を用いて、精度良く、安定して対象物に焦点調節を行えるようにすることを目的とする。

上記目的を達成するために、本発明の焦点調節装置は、撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する検出手段と、前記検出手段により前記対象物を表す領域が検出された場合に、当該対象物を含む領域を焦点検出領域として設定する設定手段と、前記焦点検出領域の画像信号から、高周波成分を取り出してＡＦ評価値を生成するＡＦ評価値生成手段と、前記ＡＦ評価値を用いて焦点調節を行う自動焦点調節手段と、パン及びチルトの動作の有無を判定する判定手段とを有し、前記設定手段は、前記検出手段により対象物を表す領域が検出されず、且つ、前記判定手段によりパン及びチルトの少なくともいずれか一方の動作が検出された場合に、焦点検出領域を設定せず、パン及びチルトの何れも検出されなかった場合に、先に得られた画像に基づいて焦点検出領域が設定されていれば、該設定を保持する。

また、本発明の焦点調節方法は、撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する検出工程と、前記検出工程で前記対象物を表す領域が検出された場合に、当該対象物を含む領域を焦点検出領域として設定する設定工程と、前記焦点検出領域の画像信号から、高周波成分を取り出してＡＦ評価値を生成するＡＦ評価値生成工程と、前記ＡＦ評価値を用いて焦点調節を行う自動焦点調節工程と、パン及びチルトの動作の有無を判定する判定工程とを有し、前記設定工程では、前記検出工程で対象物を表す領域が検出されず、且つ、前記判定工程でパン及びチルトの少なくともいずれか一方の動作が検出された場合に、焦点検出領域を設定せず、パン及びチルトの何れも検出されなかった場合に、先に得られた画像に基づいて焦点検出領域が設定されていれば、該設定を保持する。

本発明によれば、顔などの対象物の検出結果を用いて、精度良く、安定して対象物に焦点調節を行えるようにすることができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

＜第１の実施形態＞
図１は、本発明の第１の実施形態における撮像装置の一例として、ビデオカメラの構成を示すブロック図である。なお、本実施の形態では、ビデオカメラについて説明するが、本発明はデジタルスチルカメラ等の画像を取得することのできる他の撮像装置にも適用することができる。

図１において、１０１は第１固定レンズ、１０２は光軸方向に移動して変倍を行う変倍レンズ、１０３は絞りである。また、１０４は第２固定レンズ、１０５は変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えたフォーカスコンペンセータレンズ（以下、「フォーカスレンズ」という。）である。第１固定レンズ１０１、変倍レンズ１０２、絞り１０３、第２固定レンズ１０４及びフォーカスレンズ１０５により撮像光学系が構成される。

１０６は、ＣＣＤセンサやＣＭＯＳセンサにより構成される光電変換素子としての撮像素子である。１０７は撮像素子１０６の出力をサンプリングし、ゲイン調整するＣＤＳ／ＡＧＣ回路である。１０８はカメラ信号処理回路であり、ＣＤＳ／ＡＧＣ回路１０７からの出力信号に対して各種の画像処理を施し、映像信号を生成する。

１０９はＬＣＤ等により構成されるモニタであり、カメラ信号処理回路１０８からの映像信号を表示する。１１５は記録部であり、カメラ信号処理回路１０８からの映像信号を磁気テープ、光ディスク、ハードディスク、半導体メモリ等の記録媒体に記録する。

１１０は変倍レンズ１０２を移動させるためのズーム駆動源、１１１はフォーカスレンズ１０５を移動させるためのフォーカシング駆動源である。ズーム駆動源１１０及びフォーカシング駆動源１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。

１１２はＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち、焦点検出に用いられる領域（焦点検出領域）の信号のみを通すＡＦゲートである。ＡＦ信号処理回路１１３（ＡＦ評価値生成手段）は、ＡＦゲート１１２を通過した信号から高周波成分や輝度差成分（ＡＦゲート１１２を通過した信号の輝度レベルの最大値と最小値の差分）等を抽出して、ＡＦ評価値信号を生成する。生成されたＡＦ評価値信号は、カメラ／ＡＦマイコン１１４に出力される。ＡＦ評価値信号は、撮像素子１０６からの出力信号に基づいて生成される映像の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的に撮像光学系の焦点状態を表す信号となる。

カメラ／ＡＦマイコン１１４（制御手段）は、ビデオカメラ全体の動作の制御を司るとともに、ＡＦ評価値信号に基づいて、フォーカシング駆動源１１１を制御してフォーカスレンズ１０５を移動させるフォーカス制御を行う。カメラ／ＡＦマイコン１１４は、フォーカス制御として、ＴＶ−ＡＦ方式でのフォーカス制御（以下、単にＴＶ−ＡＦという。）を行う。

顔検出部１１６は、画像信号に対して公知の顔認識処理を施し、撮影画面内の人物の顔領域を検出し、検出結果をカメラ／ＡＦマイコン１１４に送信する。カメラ／ＡＦマイコン１１４は、後述するようにして、送信された顔領域の検出結果に基づいて撮影画面内の顔領域を含む位置に焦点検出領域（顔枠）を設定し、ＡＦゲート１１２へ情報を送信する。なお、顔認識処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法が知られている。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔を検出する方法等があるが、本願発明は顔認識処理により限定されるものではなく、どのような方法を用いても構わない。

振れ検出部１１７はビデオカメラの撮影時の手ブレを検出するものであり、ジャイロセンサ等の角速度センサが用いられる。振れ検出部１１７の出力である振れ信号はカメラ／ＡＦマイコン１１４へ入力され、所定のフィルタリング処理、積分処理を行い、ビデオカメラの角変位として不図示の振れ補正系の制御信号として用いる。

なお、振れ補正系としては撮像素子に入射される撮像光の光路途中に、光軸偏向が可能なプリズムやレンズ部材を配置し、手ブレに応じて光軸の偏向を行う光学式の方式が知られている。また、電子式の方式では、撮像素子で受光された画像の一部を切り出す位置を制御し、制御された位置での画像の切り出しを行って振れ補正する方式が知られている。また、他の電子式の方式として、フィールド間での映像信号の変化からカメラの動き量を算出し、この算出された動き量を手ブレ量とする動きベクトル検出方式と併用する場合が多い。この場合には、動きベクトル検出用のフィールドメモリの蓄積画像における動きを除去するように対応する画像を該メモリから抽出することにより補正が行われるものなどが提案され、開示されている。

次に、カメラ／ＡＦマイコン１１４で行われる焦点調節制御（ＡＦ制御）について、図２〜図６を用いて説明する。なお、このＡＦ制御は、カメラ／ＡＦマイコン１１４内に格納されたコンピュータプログラムに従って実行される。

先ず、カメラ／ＡＦマイコン１１４内で実行されるＡＦ制御を、図２のフローチャートに従って説明する。

まず、ステップＳ２０１で処理が開始されると、ステップＳ２０２において顔検出部１１６により、得られた被写体画像に対して顔検出処理を行って、ステップＳ２０３に進む。なお、ステップＳ２０２の顔検出処理は、公知の方法を用いて行われる。そして、ステップＳ２０３では顔検出が成功したか否かを判断し、成功していればステップＳ２０４へ、失敗していればステップＳ３０１へ進む。

顔検出が成功した場合、ステップＳ２０４では焦点検出領域を特定するＡＦ枠として、顔を含む領域を特定する顔枠と、通常の焦点検出領域を特定する通常枠とを設定し、ステップＳ２０５へ進む。ステップＳ２０４で設定されたＡＦ枠の一例を図３に示す。ステップＳ２０５では、ステップＳ２０４で設定された顔枠及び通常枠内の画素から得られる画像信号から各々ＡＦ評価値を取得し、ステップＳ２０６へと進む。

次に、ステップＳ２０６では、画面内の所定座標からの距離に基づき顔検出領域の画面上の位置情報を取得し、ステップＳ２０７へ進む。なお、画面内の所定座標は、画面の中心座標でも構わないが、人物撮影をする場合を考えると、画角にもよるが人の顔は画面の中心より上側に来ることが多いため、画面の上部寄りの設定にするのが好ましい。

次に、ステップＳ２０７では、ステップＳ２０６で求められた顔枠の位置情報に基づき、画面上の位置に応じた所定比率をかけて、加重加算により顔枠のＡＦ評価値を再演算する。例えば、撮影中に画面の外側から人物が撮影画角内に入ってきたときなど、顔枠の位置が画面上の隅にある場合と、中心近傍にある場合とで、ＡＦ制御に用いる重みを変える。図４に位置が異なる複数の顔枠が設定されている場合の一例を示す。顔枠のＡＦ評価値の再演算が完了すると、ステップＳ２０８へ進む。

ステップＳ２０８では、ステップＳ２０７で再演算（加重加算）された顔枠のＡＦ評価値と、通常枠のＡＦ評価値を加算し、最終的なＡＦ評価値を算出し、ステップＳ２０９へと進む。

次に、ステップＳ２０９では、従来からあるＴＶ−ＡＦ方式の焦点調節処理を行ってから、ステップＳ２０２へ戻り、上述したＡＦ制御の処理を繰り返す。 ＴＶ−ＡＦ制御処理については、図５を参照して後述する。

次に、ステップＳ２０３で顔検出が失敗し、ステップＳ３０１に進んだ場合について説明する。

ステップＳ３０１では、振れ検出部１１７によって検出されたビデオカメラの振れ信号に基づくカメラの振れ状態判定によって、撮影者のカメラワークによるパンニング動作が行われたかどうかを判定する。ビデオカメラの振れ状態判定がパンニングでなければステップＳ２０４に進み、ステップＳ２０３で顔検出が成功した場合と同じ処理を行うこととなる。ステップＳ３０１に進んだ時点で顔検出は失敗しているが、顔検出によるＡＦ枠である顔枠は、パンニング動作であることが判定されるまでは保持し、ＡＦ評価値の変動を低減させ安定した合焦状態を維持させるのである。

一方、ステップＳ３０１でパンニング動作であることが検出された場合はステップＳ２１０に進み、ＡＦ枠として通常枠のみを設定する。このとき設定される通常枠には通常枠内の中央位置に小枠が同時に設定されている。

次に、ステップＳ２１０で通常枠が設定されたので、ステップＳ２１１では通常枠のＡＦ評価値を取得し、ステップＳ２０８、ステップＳ２０９へと進み、ＴＶ−ＡＦ制御によって焦点調節処理が行われる。

次に、カメラ／ＡＦマイコン１１４によりステップＳ２０９で行われるＴＶ−ＡＦ方式のＡＦ制御について、図５を用いて説明する。

図５において、ステップＳ５０１でＴＶ−ＡＦ制御処理を開始すると、まず、フォーカスレンズ１０５を微小駆動し（ステップＳ５０２）、その微小駆動により合焦したか否かを判別する（ステップＳ５０３）。合焦していなければ、上記の微小駆動により合焦方向を判別できたか否かを判別する（ステップＳ５０４）。合焦方向を判別できなかった場合はステップＳ５０２に戻り、合焦方向を判別できた場合は、ステップＳ５０５に進んで、山登り駆動により、ＡＦ評価値が大きくなる方向へ高速でフォーカスレンズ１０５を移動させる。

次に、山登り駆動を行った結果、ＡＦ評価値がピークを越えたか否かを判別する（ステップＳ５０６）。ピークを越えていなければ、ステップＳ５０５に戻って山登り駆動を継続し、ピークを越えた場合は、山登り駆動中のＡＦ評価値のピークに戻すために、フォーカスレンズ１０５を逆方向に駆動する（ステップＳ５０７）。

そして、ＡＦ評価値がピークに戻ったか否かを判別する（ステップＳ５０８）。その結果、ピークに戻っていない場合は、ステップＳ５０７に戻り、ＡＦ評価値のピークに戻す動作を継続する。一方、ピークに戻った場合は、ステップＳ５０２に戻り、フォーカスレンズ１０５を微小駆動することにより、次の動画の合焦位置をサーチする。

一方、ステップＳ５０３にて、合焦したと判別された場合は、フォーカスレンズ１０５を停止し（ステップＳ５０９）、合焦した際のＡＦ評価値を記憶しておき（ステップＳ５１０）、再起動判定の処理部分に入る。ステップＳ５１０で格納した前回のＡＦ評価値とステップＳ５１１で取得した今回のＡＦ評価値とを比較し、所定レベル以上の差があれば、ＴＶ−ＡＦ制御を再起動する必要があると判定する（ステップＳ５１２）。

再起動する必要があると判定された場合は、ステップＳ５０２に戻り、微小駆動動作を再開する。一方、再起動する必要がないと判定された場合は、フォーカスレンズ１０５をそのまま停止した状態で維持し（ステップＳ５１３）、以後の処理に対応するため、ステップＳ５１１へ戻り、再起動判定処理を継続する。

このように、ＴＶ−ＡＦ方式は、再起動判定→微小駆動→山登り駆動→…→微小駆動→再起動判定を繰り返しながら、フォーカスレンズ１０５を駆動制御することにより、ＡＦ評価値を常に最大にするように制御する。図６は、ＡＦ評価値が最大となる点が合焦位置であることを示す図である。

次に、振れ検出部１１７によって検出される振れ信号に基づくビデオカメラの振れ状態の判定について図７から図８を用いて説明する。

図７はビデオカメラの振れ検出を行う振れ検出部１１７とその出力に基づきカメラの振れ状態を判断するためのブロック図である。

図７において、１１７ａはビデオカメラの振れを検出する角速度センサ、１１７ｂは角速度センサ１１７ａの出力から直流成分を除去する高域通過フィルタ（以下ＨＰＦ）、１１７ｃはＨＰＦ１１７ｂの出力を所定量増幅させる増幅器である。

振れ検出部１１７の出力はカメラ／ＡＦマイコン１１４に入力される。１１４ａは、アナログ出力をデジタル信号に変換するＡ／Ｄ変換器、１１４ｂはＡ／Ｄ変換器１１４ａの出力から直流成分を除去するＨＰＦ、１１４ｃはＨＰＦ１１４ｂの出力を積分する積分器である。積分器１１４ｃの出力は不図示の振れ補正系に対して制御信号として出力される。また、これらの出力は、ビデオカメラの振れ状態判定部１１４ｄにも出力される。振れ状態判定部１１４ｄには所定の閾値が設定されており、積分器１１４ｃの出力が閾値以上か否かの条件で、ビデオカメラがパンニングされているかどうかを判断する（図２のステップＳ３０１）。上述したように、判断結果は顔検出の判断処理が失敗した場合に用いられる。パンニングの検出は撮影者の手ブレ量等により一時的に行われる事もあるため、パンニングを判断する条件として、積分器１１４ｃの出力が所定の閾値以上となってからの時間も含めるとよい。

なお、上記構成において、角速度センサ１１７ａ、ＨＰＦ１１７ｂ、増幅器１１７ｃ、マイコン１１４内のＡ／Ｄ変換器１１４ａ、ＨＰＦ１１４ｂ、積分器１１４ｃ、振れ状態判定部１１４ｄは２系統（パン用とチルト用）ある。しかしながら、説明の簡略化のために１系統のみを図示している。

次に、カメラ／ＡＦマイコン１１４内で行われるパンニング検出について、図８のフローチャートを用いて説明する。

まずステップＳ８０１では、振れ検出部１１７の出力をＡ／Ｄ変換器１１４ａによりＡ／Ｄ変換処理をして取り込み、ステップＳ８０２へ進む。ステップＳ８０２では、ＨＰＦ１１４ｂによりＨＰＦ処理を行う。つまりステップＳ８０１で取り込んだ振れ検出信号をＡ／Ｄ変換することで生じた直流成分を除去し、ステップＳ８０３へ進む。

ステップＳ８０３では、ＨＰＦ処理後の振れ検出信号に対して、積分器１１４ｃにより積分演算を行い、角変位信号へと変換し、不図示の振れ補正系の制御信号として用いると共に、ビデオカメラの振れ状態の判断にも用いられる。

次のステップＳ８０４では、積分器１１４ｃの出力が所定値以上であるか否かを判断し、所定値以上であればステップＳ８０５へ進み、所定値以下であればステップＳ８０７へ進む。

積分器１１４ｃの出力が所定値以下の場合は、パンニングが行われていないと判断し（パンニング非検出状態）、顔検出部１１６で顔検出が失敗していても顔枠をすぐに解除せず、保持するように顔枠保持情報を出力する（ステップＳ８０７）。

一方、ステップＳ８０５では、ステップＳ８０４で積分器１１４ｃの出力が所定値以上と判断されたため、(積分出力≧所定値)の状態が所定時間継続しているか否かの判断を行う。これは、撮影者の手ブレ量等により一時的にステップＳ８０５の判断条件に合致する場合があるため、パンニング検出の安定性を保つための処理である。所定時間継続していた場合はステップＳ８０６へ進み、所定時間継続していない場合はステップＳ８０７へ進む。

ステップＳ８０６では、ステップＳ８０４及びＳ８０５から、積分器１１４ｃの出力が所定値以上で、且つ所定時間経過しているため、ビデオカメラがパンニングされていると判断する（パンニング検出状態）。ビデオカメラが動いている（パンニングされている）ため、顔検出部１１６による顔検出が失敗しているので、顔枠をすぐに解除するように顔枠解除情報を出力する。

次に、ビデオカメラが撮影者によってパンニングされている場合の積分器１１４ｃの出力を模式的に図９に示す。同図において、縦軸は積分器の出力、横軸は時間を表している。９０１は積分器１１４ｃの出力、９０２、９０２’はパンニング検出の閾値、９０３、９０３’はパンニング終了判定の閾値である。積分器１１４ｃの出力がパンニング検出の閾値９０２、９０２’以上となり、閾値９０２、９０２’以上の出力が所定時間継続された場合にパンニング検出がされたことになる。

また、積分器１１４ｃの出力が閾値９０２，９０２’以上で所定時間経過後、パンニング終了判定の閾値９０３、９０３’以下になった場合は、パンニングが終了したと判断される。

次に前述した処理によって行われれる顔枠と通常枠の設定状態の遷移について、図１０を用いて説明する。

図１０（ａ）、（ｂ）、（ｃ）は本第１の実施形態のビデオカメラで撮影する時のＡＦ制御に用いる顔枠と通常枠の設定状態の遷移を表している。

まず、図１０（ａ）では、顔枠と通常枠をＡＦ制御に用いる撮影画面である。図１０（ｂ）は、撮影中に、主被写体である人物が横を向いたりして、一時的に顔検出に失敗した場合の顔枠及び通常枠を示す図である。従来は、顔検出に失敗すると、顔枠のＡＦ評価値を採用し無かったが、すぐに顔枠のＡＦ評価値を採用しなくするとＡＦの安定性が損なわれることになる。そのため、本第１の実施形態では、ビデオカメラのパンニングを検出していなければ、顔枠を保持したまま、ＡＦ制御を行う。そのため、顔検出がされなくても、図１０（ａ）と同じ撮影画面である。

しかし、顔検出が失敗し、更にパンニングが検出されると、撮影画面が変わると考えられるため、顔枠を削除し、通常枠のみでのＡＦ制御を行う。従って、図１０（ｃ）の撮影画面となる。

以上説明したように本第１の実施形態によれば、顔検出機能を用いて、特に動画撮影において、顔検出が失敗した場合に、ビデオカメラの振れ状態からパンニングが行われていないと判断されていれば、顔枠を保持してＡＦ評価値を算出する。そして、算出したＡＦ評価値を用いて、ＡＦ処理を行う。これにより、顔検出機能を用いて、撮影者が意図する主被写体に対して、精度良く安定した焦点調節を行うことが可能となる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

上述した第１の実施形態においては、顔検出部１１６による顔検出が失敗した場合に、ビデオカメラに加わる振れ検出部１１７の出力状態に基づき、振れ状態判定部１１４ｄによってパンニングの有無を検出し、その結果に応じてＡＦ処理を行った。これに対し、本第２の実施形態においては、ビデオカメラの振れ検出及び振れ状態判定を動きベクトルで行う。

図１１は、本発明の第２の実施形態におけるビデオカメラの構成を示すブロック図である。図１１に示すように、動きベクトルの検出はカメラ／ＡＦマイコン１１４内のベクトル検出部７で行われるため、振れ検出部１１７が不要となるが、それ以外の構成は第１の実施形態で説明した図１と同様であるため、同じ参照番号を付し、説明を省略する。

ここで、ベクトル検出部７について図１２を用いて説明する。

カメラ信号処理回路１０８からの出力信号（輝度信号）は、フィルタ７１を通過する。フィルタ７１は、入力した出力信号から動きベクトルの検出に適した空間周波数成分を抽出し、高域周波数成分を除去する。フィルタ７１を通過した信号は、２値化部７２によって所定の閾値を基準として２値化される。２値化部７２により２値化された信号（以下、「２値化画像」という）は、フィールドメモリ７６に一時的に記憶され、１フィールド遅延部７７により１フィールド遅延して読み出される。

相関演算部７３は、フィールドメモリ７６に記憶された前フィールドの２値化画像を１画素ずつ動かして、２値化部７２を介して得られた現フィールドの２値化画像との間で、所定範囲において画素値が一致する面積が最も大きくなる場所を検索する。実際の検出では、このような操作を、図１３に示すように１フィールドの２値化画像（動きベクトルサーチエリア）１２０１を複数に分割して得られた検出エリア１２０２単位で行う。そして、動きベクトル抽出部７４は、連続した２つのフィールド画像（２値化画像）間で検出エリア毎に動きベクトルを抽出（算出）する。なお、動きベクトルの検出はフレーム画像間で行ってもよい。

動きベクトルの抽出（算出）方法例としては、相関値が最小となる前フィールドのブロックを探索し、その相対的なずれを動きベクトルとしている。

各検出エリアで得られた動きベクトルは、動きベクトル決定部７５に与えられる。動きベクトル決定部７５は、１フィールド間（連続した２つのフィールド画像間）に対して１つの動きベクトルを決定し、これを該１フィールド間を代表する動きベクトルとする。この動きベクトル決定部７５での操作の例としては、１フィールド間の各検出エリアの動きベクトルをヒストグラム化して、中央値を１フィールド間の代表動きベクトルとして決定する方法などがある。

動きベクトル決定部７５によって決定された動きベクトルは、振れ状態判定部７８に入力され、ベクトルの大きさ、方向によってビデオカメラがパンニングになっているか否かを判定し、顔検出部１１６の顔枠の表示に用いられる。

次にベクトル検出によってパンニングを検出する処理を図１４のフローチャートを用いて説明する。

まず、ステップＳ１４０１で、動きベクトルの検出処理を行い、ステップＳ１４０２へ進む。ベクトルの検出は、上述したように従来からあるブロックマッチング法を用いたものであり、入力画像信号を複数の適当な大きさのブロック（例えば、８画素×８ライン）に分割し、そのブロック単位で行う。各ブロックについて、前のフィールド（またはフレーム）の一定範囲の画素との差を計算し、この差の絶対値の和が最小となる前のフィールド（またはフレーム）のブロックを探索する。そして、探索したブロックとの相対的なずれが、そのブロックの動きベクトルを表わす。

次に、ステップＳ１４０２では、ステップＳ１４０１で検出された動きベクトルに基づき、ビデオカメラがパンニング状態であるか否かの判定を行う。パンニングであるか否かの判断条件としては各検出エリアの検出ベクトルの多数が（例えば９０％以上）同方向のベクトルであることを条件として設定すればよく、検討によって最適な値を設定することで問題ない。

図１５は、ベクトル検出部７によって決定された動きベクトルを示した図である。この例では各ベクトル検出エリアで等倍の同一方向のベクトルが検出されているため、パンニング状態であるといえる。そのため振れ状態判定部７８ではビデオカメラがパンニング状態であると判断する。

パンニングの判断条件に該当する場合、ステップＳ１４０３に進み、該当しなければステップＳ１４０６へ進む。

次に、ステップＳ１４０３では、ステップＳ１４０１の判定がパンニング状態であったため、ステップＳ１４０１でのパンニング判定条件が所定時間継続しているかを判断する。所定時間とは、ビデオカメラの制御周期の基本となる周期（例えばＶ同期期間）を基本に最適となる値を設定すればよい。次に、ベクトル検出エリアの検出ベクトルの方向、同方向のベクトルが検出されている時間共に所定値以上であればステップＳ１４０４に進み、更にパンニング状態の判定を継続する。ベクトル検出エリアの検出ベクトルの方向、同方向のベクトルが検出されている時間の一方もしくは両方が所定値以上で無い場合は、ステップＳ１４０６へ進む。

ステップＳ１４０４では、振れ補正を行う補正系の補正方向がパンニング方向と同じ方向か否かを判定している。動きベクトルによる振れ補正は、検出された動きベクトルを打ち消す方向に補正系を動かすため、パンニングが長く続くと補正系が補正端に近づいていくこととなるので、位置方向にビデオカメラが動いていると判断する事が可能である。

振れ補正系がパンニング方向と同じ方向であるときはパンニング状態であると判断して、ステップＳ１４０５へ進み、振れ補正系がパンニング方向と同じ方向ではない場合はステップＳ１４０６へと進む。

ステップＳ１４０５ではステップＳ１４０２、ステップＳ１４０３、ステップＳ１４０４で、判定が全て（ＹＥＳ）であるため、ビデオカメラがパンニングされていると判断する（パンニング検出状態）。ビデオカメラが動いている（パンニングされている）ため、顔検出部１１６による顔検出が失敗しているので、顔枠をすぐに解除するように顔枠解除情報を出力する。

また、ステップＳ１４０２、ステップＳ１４０３、ステップＳ１４０４のいずれかでＮＯと判断された場合は、パンニングが行われていないと判断する（パンニング非検出状態）。そして、顔検出部１１６で顔検出が失敗していても顔枠をすぐに解除せず、保持するように顔枠保持情報を出力する（ステップＳ８０７）。

以上説明したように本第２の実施形態によれば、動きベクトルによりパンニングの検有無の検出を行うことで、第１の実施形態と同様の効果を得ることができる。また、振れ検出部が不要であるため、装置構成を簡素化することができる。

なお、上述した実施の形態では、顔検出部１１６により人の顔を検出の対象物としているが、例えば、動物、車など、人の顔以外の特定の対象物を検出するようにしても構わない。更に、外部入力手段から撮像画面内の位置を入力したり、ファインダーを見ている撮影者の視線を検出して撮像画面内の位置を決定して、対象物を検出するようにしてもよい。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルビデオカメラ、デジタルスチルカメラなど）に適用してもよい。

また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

本発明の第１の実施形態におけるビデオカメラの構成を示すブロック図である。 本発明の第１の実施形態におけるＡＦ制御を説明するフローチャートである。 本発明の第１の実施形態におけるＡＦ枠として設定される顔枠と通常枠の設定例を示す図である。 本発明の第１の実施形態におけるＡＦ枠として設定される顔枠と通常枠の別の設定例を示す図である。 本発明の第１の実施形態におけるＴＶ−ＡＦ制御処理を示すフローチャートである。 ＴＶ−ＡＦ方式におけるオートフォーカスの原理を示す図である。 振れ検出部及び振れ状態を判断するための構成を示すブロック図である。 本発明の第１の実施形態におけるパンニング検出処理を説明するフローチャートである。 本発明の第１の実施形態におけるパンニング検出のための閾値の概念を示す図である。 本発明の第１の実施形態におけるパンニング検出結果に基づく、ＡＦ枠として設定される顔枠と通常枠の設定状態の遷移を示す図である。 本発明の第２の実施形態におけるビデオカメラの構成を示すブロック図である。 本発明の第２の実施形態におけるベクトル検出部の構成を示すブロック図である。 本発明の第２の実施形態における動きベクトルを検出するエリアの概念図である。 本発明の第２の実施形態における動きベクトルによるパンニング検出処理を説明するフローチャートである。 本発明の第２の実施形態における動きベクトルによるパンニング検出の条件を説明するための図である。

符号の説明

１０１ 第１固定レンズ
１０２ 変倍レンズ
１０３ 絞り
１０４ 第２固定レンズ
１０５ フォーカスレンズ
１０６ 撮像素子
１０７ ＣＤＳ／ＡＧＣ回路
１０８ カメラ信号処理回路
１０９ モニタ
１１０ ズーム駆動源
１１１ フォーカシング駆動源
１１２ ＡＦゲート
１１３ ＡＦ信号処理回路
１１４ カメラ／ＡＦマイコン
１１５ 記録部
１１６ 顔検出部
１１７ 振れ検出部

Claims (8)

1. 撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する検出手段と、
   前記検出手段により前記対象物を表す領域が検出された場合に、当該対象物を含む領域を焦点検出領域として設定する設定手段と、
   前記焦点検出領域の画像信号から、高周波成分を取り出してＡＦ評価値を生成するＡＦ評価値生成手段と、
   前記ＡＦ評価値を用いて焦点調節を行う自動焦点調節手段と、
   パン及びチルトの動作の有無を判定する判定手段とを有し、
   前記設定手段は、前記検出手段により対象物を表す領域が検出されず、且つ、前記判定手段によりパン及びチルトの少なくともいずれか一方の動作が検出された場合に、焦点検出領域を設定せず、パン及びチルトの何れも検出されなかった場合に、先に得られた画像に基づいて焦点検出領域が設定されていれば、該設定を保持することを特徴とする焦点調節装置。
2. 前記ＡＦ評価値生成手段は、更に、前記画像の予め設定された領域の画像信号から高周波成分を取り出してＡＦ評価値を生成し、
   前記設定手段により焦点検出領域が設定されている場合に、該設定された焦点検出領域の画像信号に基づいて生成されたＡＦ評価値と、前記画像の予め設定された領域の画像信号に基づいて生成されたＡＦ評価値とを加重加算して、前記焦点調節に用いるＡＦ評価値を生成し、
   前記設定手段により焦点検出領域が設定されていない場合に、前記画像の予め設定された領域の画像信号に基づいて前記焦点調節に用いるＡＦ評価値を生成する
   ことを特徴とする請求項１に記載の焦点調節装置。
3. 前記判定手段は、
   角速度センサと、
   前記角速度センサによる検出結果に応じて、振れの大きさを判定する振れ判定手段と、
   前記判定された振れの大きさと、振れが継続する時間とに応じて、パン及びチルトの動作の有無を判断する判断手段と
   を含むことを特徴とする請求項１または２に記載の焦点調節装置。
4. 前記判定手段は、連続して撮影して得られた連続するフレーム画像間で画像信号を比較して、振れ状態を判定し、前記判定された揺れ状態に応じて、パン及びチルトの動作の有無を判断することを特徴とする請求項１または２に記載の焦点調節装置。
5. 前記予め決められた対象物は、人の顔であることを特徴とする請求項１乃至４のいずれか１項に記載の焦点調節装置。
6. 撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する検出工程と、
   前記検出工程で前記対象物を表す領域が検出された場合に、当該対象物を含む領域を焦点検出領域として設定する設定工程と、
   前記焦点検出領域の画像信号から、高周波成分を取り出してＡＦ評価値を生成するＡＦ評価値生成工程と、
   前記ＡＦ評価値を用いて焦点調節を行う自動焦点調節工程と、
   パン及びチルトの動作の有無を判定する判定工程とを有し、
   前記設定工程では、前記検出工程で対象物を表す領域が検出されず、且つ、前記判定工程でパン及びチルトの少なくともいずれか一方の動作が検出された場合に、焦点検出領域を設定せず、パン及びチルトの何れも検出されなかった場合に、先に得られた画像に基づいて焦点検出領域が設定されていれば、該設定を保持することを特徴とする焦点調節方法。
7. コンピュータに、請求項６に記載の焦点調節方法の各工程を実行させるためのプログラム。
8. 請求項６に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。

Images