JP2009020190A - 焦点調節装置、撮像装置、及びその制御方法 - Google Patents

Abstract

【課題】 動画において主被写体に安定してピントを合わせ続けることを可能とする。
【解決手段】 撮像画像から合焦すべき被写体像を検出し、撮像光学系の合焦状態を検出する際の焦点検出エリアを設定し、前記焦点検出エリアにおける信号出力に基づいて前記撮像光学系を移動させて焦点調節を行よう制御する制御方法であって、前記焦点検出エリアの設定では、前記撮像画像から検出された合焦すべき被写体に応じた第１の焦点検出エリアの他に前記第１の焦点検出エリアよりも大きい第２の焦点検出エリアを設定し、前記焦点調節では、前記設定された第１、第２の焦点検出エリアにおける信号出力に基づいて前記撮像光学系を移動させるよう制御する。
【選択図】 図１

Description

本発明は焦点調節機能を備えた焦点調節装置、この焦点調節装置を備えた撮像装置、及びその制御方法に関するものである。

ビデオカメラ等のオートフォーカス（ＡＦ）制御では、撮像素子により生成された映像信号の鮮鋭度（コントラスト状態）を示すＡＦ評価値を生成し、ＡＦ評価値が最大となるフォーカスレンズの位置を探索するいわゆるＴＶ−ＡＦ方式が主流である。しかしながら、コントラストの関係から、例えば人物を撮影する場合において、主被写体である人物にピントが合わず、背景にピントが合ってしまうという問題があった。

このような問題を解決するために、顔認識機能を有する撮像装置が知られている。例えば、認識された顔エリアを含むエリアに焦点状態を検出するための焦点検出エリアを設定し、焦点検出を行う撮像装置（例えば、特許文献１参照）や、人物の目を検出し、その目に基づいて焦点検出を行う撮像装置（例えば、特許文献２参照）が提案されている。
特開２００６−２２７０８０号公報 特開２００１−２１５４０３号公報

しかしながら、上述した顔認識機能を用いた焦点検出では、例えば、人物が横を向いたり、目を閉じてしまった場合などの被写体の絵柄の変化による影響や撮影者の手ブレの影響等によっては、顔が安定して認識されない。そしてピント合わせの安定性が低下してしまう場合があった。また、被写体像の大きさの変化や被写体像の大きさが小さい場合に、ピント合わせの安定性が低下してしまう場合があった。特に動画の場合、常に人物が動いている可能性が高いため、その影響は顕著に表れる。人物の顔が常に認識される場合には、人物の顔エリアを焦点を検出するエリアに指定しピント合わせを行えば、人物へのピント合わせは安定する。しかし、顔が認識されたりされなかったりする撮影条件のもとでは、焦点を検出するエリアを顔の認識・非認識で変更していては、ＡＦ評価値も変動してしまい、安定したピント合わせを行うことができない。また被写体像の大きさの変化でＡＦ評価値を取り込むエリアが変化したり、被写体像が小さい場合にＡＦ評価値取り込みエリアが小さすぎて、ＡＦ評価値信号を安定して得ることができずピント合わせを行うのが困難な場合がある。

また、主被写体が人物でなくとも、被写体検出した結果に基づいて焦点検出エリアを設定し、焦点検出を行う場合、同様の問題が発生する。

本発明は、上記問題点を鑑みてなされたものであり、動画において被写体検出機能を用いて合焦すべき被写体にピントを合わせる場合でも、安定した合焦を維持させることのできる焦点調節装置、撮像装置及びその制御方法を提供することを目的の１つとする。

このような課題を解決するために、本発明の技術的特徴として、撮像光学系の合焦状態を示すＡＦ評価値を取得する際、撮像画像から検出された合焦すべき被写体像に応じた第１のＡＦ評価値検出エリアの他に前記第１のＡＦ評価値検出エリアを含み前記第１のＡＦ評価値検出エリアよりも大きい第２のＡＦ評価値検出エリアを設定し、前記第１のＡＦ評価値検出エリア及び第２のＡＦ評価値検出エリアにおける信号出力を用いて演算して前記撮像光学系の焦点状態を調節するためのＡＦ評価値を取得することを特徴とする。

また、他の技術的特徴として、撮像光学系の合焦状態を示すＡＦ評価値を取得する際、撮像画像から検出された合焦すべき被写体像に追従した第１のＡＦ評価値検出エリアと、前記撮像画像から検出された被写体像に追従しない第２のＡＦ評価値検出エリアを設定し、前記第１のＡＦ評価値検出エリア及び第２のＡＦ評価値検出エリアにおける信号出力を用いて演算して前記撮像光学系の焦点状態を調節するためのＡＦ評価値を取得することを特徴とする。

以上説明したように、本発明によれば、動画において安定した合焦状態を維持させることができる。

以下、図面を参照しながら本発明の一実施形態を説明する。

[実施形態]
＜装置の説明＞
図１には、本発明の一実施形態であるビデオカメラの構成を示している。なお、本実施形態では、ビデオカメラについて説明するが、本発明は、デジタルスチルカメラや顕微鏡等の他の装置にも適用することができる。

図１において、１０１は第１固定レンズ、１０２は光軸方向に移動して変倍を行う変倍レンズ、１０３は絞りである。また、１０４は第２固定レンズ、１０５は変倍に伴う焦点面の移動を補正する機能とフォーカシング（焦点調節）の機能とを兼ね備えたフォーカスコンペンセータレンズ（以下、フォーカスレンズという）である。第１固定レンズ１０１、変倍レンズ１０２、絞り１０３、第２固定レンズ１０４及びフォーカスレンズ１０５により撮像光学系が構成される。

１０６は、ＣＣＤセンサやＣＭＯＳセンサにより構成される光電変換素子としての撮像素子である。撮像光学系により結像された被写体像を撮像素子１０６により光電変換する。１０７は撮像素子１０６の信号出力をサンプリングし、ゲイン調整するＣＤＳ／ＡＧＣ回路である。

１０８はカメラ信号処理回路であり、ＣＤＳ／ＡＧＣ回路１０７からの信号出力に対して各種の画像処理を施し、映像信号を生成する。１０９はＬＣＤ等により構成されるモニタであり、カメラ信号処理回路１０８からの映像信号を表示する。１１５は記録装置であり、カメラ信号処理回路１０８からの映像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する。

１１０は変倍レンズ１０２を移動させるためのズーム駆動源である。１１１はフォーカスレンズ１０５を移動させるためのフォーカシング駆動源である。ズーム駆動源１１０及びフォーカシング駆動源１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。

１１２はＣＤＳ／ＡＧＣ回路１０７からの全画素の信号出力のうち焦点検出に用いられるエリアの信号のみを通すＡＦゲートである。

ＡＦ信号処理回路１１３は、ＡＦゲート１１２を通過した信号から高周波成分や輝度差成分（ＡＦゲート１１２を通過した信号の輝度レベルの最大値と最小値の差分）等を抽出して第１の情報としてのＡＦ評価値を生成する。ＡＦ評価値は、カメラ／ＡＦマイコン１１４に出力される。ＡＦ評価値は、撮像素子１０６からの信号出力に基づいて生成される映像の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的に撮像光学系の焦点状態を表す信号となる。

制御手段としてのカメラ／ＡＦマイコン１１４は、ビデオカメラ全体の動作の制御を司るとともに、ＡＦ評価値に基づいて、フォーカシング駆動源１１１を制御してフォーカスレンズ１０５を移動させ焦点調節を行うＡＦ制御を実行する。

顔検出部１１６は、撮像画像に対して公知の顔認識処理を施し、撮像画面内の人物の顔情報を検出する。その検出結果をカメラ／ＡＦマイコン１１４に送信する。カメラ／ＡＦマイコン１１４は、上記検出結果に基づき、撮像画面内の顔エリアを含む位置に焦点検出に用いられるエリアを追加するようにＡＦゲート１１２へ情報を送信する。

なお、顔認識処理としては、例えば、画像データで表される各画素の階調色から、肌色エリアを抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法がある。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法等が開示されている。

＜ＡＦ制御のフロー＞
次に、カメラ／ＡＦマイコン１１４で行われるＡＦ制御について、図２を用いて説明する。このＡＦ制御は、カメラ／ＡＦマイコン１１４内に格納されたコンピュータプログラムに従って実行される。

Ｓｔｅｐ２０１は処理の開始を表している。Ｓｔｅｐ２０２では顔検出部１１６から顔情報（顔の位置、顔の大きさ、顔の信頼度）を取り込む。Ｓｔｅｐ２０３では顔検出部１１６で顔検出が成功していれば、Ｓｔｅｐ２０４へ進み、そうでなければ、Ｓｔｅｐ２０８へ進む。

Ｓｔｅｐ２０４ではＡＦ枠（ＡＦ評価値検出エリア）として、顔検出部１１６により検出された顔情報に対応する顔枠と、中央を固定して大きさを拡大した通常枠とを設定する。ここで、画像内の顔枠の中心は、検出した主被写体である主顔の中心でも、両目の中心でもどちらでもよく、垂直方向及び水平方向の大きさＷＩＤは検出した主顔の大きさに基づいて決定する。顔枠は顔情報に応答して、随時更新され、顔を追従して枠設定がなされる。また、通常枠は顔枠を含むように大きさを拡大し設定する。Ｓｔｅｐ２０５では、顔枠と通常枠におけるＡＦ評価値を取得する。Ｓｔｅｐ２０６では、各ＡＦ評価値を所定の比率で加算（演算）してＡＦ評価値とする。Ｓｔｅｐ２０７ではＳｔｅｐ２０６で生成したＡＦ評価値を使ってＡＦ制御（つまり、ＡＦ枠内において、常に合焦状態となるようにフォーカスレンズを移動させる制御）を行う。

一方、Ｓｔｅｐ２０８では顔認識失敗が一定時間経過したかを見て、一定時間経過していなければＳｔｅｐ２０９へ進む。また、一定時間経過していればＳｔｅｐ２１１へ進む。Ｓｔｅｐ２０９では通常枠を以前、顔検出が成功していたときのサイズに維持し、Ｓｔｅｐ２１０では通常枠のＡＦ評価値を取得する。そして、Ｓｔｅｐ２０７ではＳｔｅｐ２１０で取得したＡＦ評価値を使ってＡＦ制御を行う。

一方、Ｓｔｅｐ２１１では通常枠を初期サイズに設定する。Ｓｔｅｐ２１２では通常枠のＡＦ評価値を取得する。そして、Ｓｔｅｐ２０７ではＳｔｅｐ２１２で取得したＡＦ評価値を使ってＡＦ制御を行う。

＜ＡＦ枠の設定＞
次にＡＦ枠の設定について図３を用いて説明する。図３（ａ）のように通常枠は画面中心付近に設定される。これは撮影者が一般的に被写体を画面中央に置くことから決められている。次に図３（ｂ）のように顔枠は前記の顔認識処理で検出された撮像画面上の顔位置に設定する。さらに通常枠を中心位置は固定して拡大し、顔枠が含まれるようにする。このように枠を重ね、顔枠を通常枠に内包させることにより、顔枠が無くなり通常枠だけになった時のＡＦ評価値の変動が小さくなる。

次に図３（ｃ）のように顔が検出されなくなった場合、顔枠を使用することを中止する。通常枠はそのまま維持することで、顔枠があったエリアも通常枠に含まれるので、使用するＡＦ評価値が急に変動することが少ない。次に図３（ｄ）のように一定時間顔が検出されない状態が続いたら、通常枠を顔検出前の初期の大きさに設定し直す。これにより中央優先ＡＦが実現できる。

このように枠を設定して、動画において通常は中央の被写体優先とする。そして、顔認識された場合は通常枠の大きさを設定し、設定された通常枠と顔枠のＡＦ評価値を所定の比率で加算して、このＡＦ評価値に基づいてＡＦ制御を行う。これにより、顔認識された人物にピント合わせを行うとともに、顔認識がされない場合にも、安定した合焦状態を維持することができる。具体的には、通常枠と顔枠を設定して両方のＡＦ評価値を加算して用いることにより、顔枠におけるＡＦ評価値が無限遠など顔に対するピント位置とは異なる結果を示す場合でも、通常枠で捕らえた被写体にピントを合わせることができる。

[その他の実施形態]
上述の実施形態では、通常枠を設定する際、中心位置を変えずに大きさを拡大し顔枠が含まれるように設定した。しかしながら、これに限らず、例えば下記のＡＦ枠設定例（１）〜（３）のように通常枠、顔枠を設定して、両枠のＡＦ評価値に基づいて、ＡＦ制御を行うことによっても、動画において安定した合焦状態を維持することができる。

（１）通常枠は顔が検出されうる全範囲を含むように設定する。この通常枠は固定されたエリアであり、顔検出結果とは無関係に設定する。一方、顔枠は前述の顔認識処理で検出された撮像画面上の顔位置に設定する。つまり、顔に追従して刻々と変化する顔枠と、顔に追従しない通常枠を設定する。これにより、通常枠に対する顔枠の大きさが撮影シーンに応じて異なる。主被写体の顔の大きさが小さい場合には、通常枠に対する顔枠の大きさの割合が小さくなるので、通常枠のＡＦ評価値と顔枠のＡＦ評価値を加算した場合には顔枠のＡＦ評価値の影響が少なくなる。言い換えると、主被写体の動きに対して反応が遅くなる。一方、主被写体の顔の大きさが大きい場合には、通常枠に対する顔枠の大きさの割合が大きくなるので、通常枠のＡＦ評価値と顔枠のＡＦ評価値を加算した場合には顔枠のＡＦ評価値の影響が大きくなる。言い換えると、主被写体の動きに対して反応が早くなる。

（２）通常枠は複数段階（例えば大枠と小枠）の大きさに変化するものとする。この通常枠の大きさは、顔検出結果（顔の位置や大きさ等）に応じて、検出された顔が枠に含まれるように切り換わる。また、顔枠は前記の顔認識処理で検出された撮像画面上の顔位置に設定する。これにより、撮影者の所望する主被写体の顔を顔枠においてとらえるとともに、もし顔枠において顔に対する合焦状態を示す情報を取得できなかった場合でも、主被写体を通常枠においてとらえられるのでピントが背景に抜けてしまうような失敗が少なくなる。

（３）顔枠は前記の顔認識処理で検出された撮像画面上の顔位置に設定する。この顔枠は検出された顔に追従して随時位置及び大きさが更新されるものとする。そして、通常枠は顔枠よりも大きく、顔枠を含むように設定する。これにより、撮影者の所望する主被写体の顔を顔枠においてとらえるとともに、もし顔枠において顔に対する合焦状態を示す情報を取得できなかった場合でも、主被写体を通常枠においてとらえられるのでピントが背景に抜けてしまうような失敗が少なくなる。

＜実施形態のまとめ、効果など＞
以上のように、動画において顔認識を用いて被写体の人物にピントを合わせるとともに、顔認識が安定しない場合や、顔エリアが変化する場合、顔エリアが小さい場合でも、合焦状態を維持させることができる。

なお、上述の実施形態では、検出された顔は通常枠にすっぽり含まれる構成としたが、これに限るものではない。例えば、顔の一部が通常枠に含まれるようにすることにより、顔における鮮鋭度（コントラスト状態）を取得できるので、撮影者の所望する顔にピントを合わせることができる。

また、本実施形態において移動するＡＦ評価値生成エリアは、本実施形態では撮像画面内の検出された顔の位置にしているが、その他画像検出により特定の被写体を検出しても構わない。例えば、背景から被写体像を切り出して検出したりすることも考えられる。その他、外部入力手段から撮像画面内の位置を入力したり、ファインダーを見ている撮影者の視線を検出して撮像画面内の位置を決定しても構わない。

また、図４に示したように撮像光学系が交換可能のレンズであってもよい。図４の例ではＡＦ信号処理回路１１３により生成されたＡＦ評価値は、レンズ／ＡＦマイコン４０１に出力される。制御手段としてのレンズ／ＡＦマイコン４０１は、ＡＦ評価値に基づいて、フォーカシング駆動源１１１を制御してフォーカスレンズ１０５を移動させ焦点調節を行うＡＦ制御を実行する。また、カメラマイコン４０２は、顔検出部１１６からの撮像画面内の人物の顔情報を受信し、上記検出結果に基づき、撮像画面内の顔エリアを含む位置に焦点検出に用いられるエリアを追加するようにＡＦゲート１１２へ情報を送信する。このときのＡＦ制御のフローは、以下のようになる。

レンズ／ＡＦマイコン４０１及びカメラマイコン４０２で行われるＡＦ制御について、以下に説明する。このＡＦ制御は、レンズ／ＡＦマイコン４０１、及び、カメラマイコン４０２内に格納されたコンピュータプログラムに従って実行される。

まず、カメラマイコン４０２は、顔検出部１１６から顔情報（顔の位置、顔の大きさ、顔の信頼度）を取り込む。

顔検出部１１６で顔検出が成功していれば、ＡＦ枠（焦点検出エリア）として、顔検出部１１６により検出された顔情報に対応する顔枠と、中央を固定して大きさを拡大して通常枠を設定する。そして、ＡＦ信号処理回路１１３により顔枠と通常枠におけるＡＦ評価値を取得する。そして、各ＡＦ評価値は所定の比率で加算してＡＦ評価値とされる。そして、このＡＦ評価値はレンズ／ＡＦマイコン４０１に送信される。レンズ／ＡＦマイコン４０１は、受信したＡＦ評価値を使ってＡＦ制御を行う。

一方、顔検出部１１６で顔検出が成功していなければ、顔認識失敗が一定時間経過したかを見て、一定時間経過していなければ通常枠を以前、顔検出が成功していたときのサイズに維持し、ＡＦ信号処理回路１１３にて通常枠のＡＦ評価値が取得される。また、一定時間経過していれば通常枠が初期サイズに設定され通常枠のＡＦ評価値が取得される。そして、このＡＦ評価値はレンズ／ＡＦマイコン４０１に送信される。レンズ／ＡＦマイコン４０１は、受信したＡＦ評価値を使ってＡＦ制御を行う。

なお、図４では、図１と同じ構成要件については同じ符号を付し説明を省略している。

本発明の一実施形態であるビデオカメラの構成を示すブロック図である。 本発明の一実施形態のカメラＡＦマイコンの処理を示すフローチャートである。 本発明の一実施形態のＡＦ枠の設定制御を示す図である。 レンズ交換式ビデオカメラの構成を示すブロック図である。

符号の説明

１０１ 固定レンズ
１０２ 変倍レンズ
１０３ 絞り
１０４ 固定レンズ
１０５ フォーカスレンズ
１０６ ＣＣＤ
１０７ ＣＤＳ／ＡＧＣ
１０８ カメラ信号処理回路
１０９ モニタ装置
１１０ ズーム駆動源
１１１ フォーカス駆動源
１１２ ＡＦゲート
１１３ ＡＦ信号処理回路
１１４ カメラ／ＡＦマイコン
１１５ 記録装置
１１６ 顔検出部

Claims (10)

1. 撮像画像から合焦すべき被写体像を検出する検出手段と、
   前記撮像画像におけるＡＦ評価値検出エリアを設定する設定手段と、
   前記ＡＦ評価値検出エリアからの信号出力に基づいて撮像光学系の焦点状態を調節するためのＡＦ評価値を取得する焦点検出手段とを有する焦点調節装置であって、
   前記設定手段は、前記検出手段により検出された被写体像に応じた第１のＡＦ評価値検出エリアの他に前記第１のＡＦ評価値検出エリアを含み前記第１のＡＦ評価値検出エリアよりも大きい第２のＡＦ評価値検出エリアを設定し、
   前記焦点検出手段は、前記第１のＡＦ評価値検出エリア及び第２のＡＦ評価値検出エリアにおける信号出力を用いて演算して前記撮像光学系の焦点状態を調節するためのＡＦ評価値を取得することを特徴とする焦点調節装置。
2. 撮像画像から合焦すべき被写体像を検出する検出手段と、
   前記撮像画像におけるＡＦ評価値検出エリアを設定する設定手段と、
   前記ＡＦ評価値検出エリアからの信号出力に基づいて撮像光学系の焦点状態を調節するためのＡＦ評価値を取得する焦点検出手段とを有する焦点調節装置であって、
   前記設定手段は、前記検出手段により検出された被写体像に追従した第１のＡＦ評価値検出エリアと、前記検出手段により検出された被写体像に追従しない第２のＡＦ評価値検出エリアを設定し、
   前記焦点検出手段は、前記第１のＡＦ評価値検出エリア及び第２のＡＦ評価値検出エリアにおける信号出力を用いて演算して前記撮像光学系の焦点状態を調節するためのＡＦ評価値を取得することを特徴とする焦点調節装置。
3. 前記検出手段により合焦すべき被写体像が検出されない場合は前記第２のＡＦ評価値検出エリアにおける信号出力を用いて前記撮像光学系の焦点状態を調節するためのＡＦ評価値を取得し、前記検出手段により合焦すべき被写体像が検出されない状態から前記検出手段により合焦すべき被写体像が検出された場合は前記第１のＡＦ評価値検出エリア及び第２のＡＦ評価値検出エリアにおける信号出力を用いて演算して前記撮像光学系の焦点状態を調節するためのＡＦ評価値を取得することを特徴とする請求項１又は請求項２に記載の焦点調節装置。
4. 前記第２のＡＦ評価値検出エリアはエリアの中心位置が固定されていることを特徴とする請求項１乃至３のいずれか１項に記載の焦点調節装置。
5. 前記焦点検出手段は、前記第１のＡＦ評価値検出エリアにおける信号出力に基づいて生成されたＡＦ評価値と、前記第２のＡＦ評価値検出エリアにおける信号出力に基づいて生成されたＡＦ評価値を所定の比率で加算して前記撮像光学系の焦点状態を調節するためのＡＦ評価値を取得することを特徴とする請求項１乃至４のいずれか１項に記載の焦点調節装置。
6. 前記検出手段は、撮像画像から顔情報を検出することを特徴とする請求項１乃至５のいずれか１項に記載の焦点調節装置。
7. 前記撮像光学系と、
   前記撮像光学系の焦点状態を調節するためのＡＦ評価値に基づいて、前記撮像光学系の移動を制御する制御手段とを有することを特徴とする請求項１乃至６のいずれか１項に記載の焦点調節装置。
8. 前記撮像光学系により結像された被写体像を光電変換して撮像画像を出力する撮像手段と、
   前記撮像手段を用いて得られた前記撮像画像を記録媒体に記録するよう制御する記録手段と、
   請求項１乃至７のいずれか１項に記載の焦点調節装置とを有することを特徴とする撮像装置。
9. 撮像光学系の合焦状態を示すＡＦ評価値を取得する際、撮像画像から検出された合焦すべき被写体像に応じた第１のＡＦ評価値検出エリアの他に前記第１のＡＦ評価値検出エリアを含み前記第１のＡＦ評価値検出エリアよりも大きい第２のＡＦ評価値検出エリアを設定し、
   前記第１のＡＦ評価値検出エリア及び第２のＡＦ評価値検出エリアにおける信号出力を用いて演算して前記撮像光学系の焦点状態を調節するためのＡＦ評価値を取得することを特徴とする焦点調節装置の制御方法。
10. 撮像光学系の合焦状態を示すＡＦ評価値を取得する際、撮像画像から検出された合焦すべき被写体像に追従した第１のＡＦ評価値検出エリアと、前記撮像画像から検出された被写体像に追従しない第２のＡＦ評価値検出エリアを設定し、
    前記第１のＡＦ評価値検出エリア及び第２のＡＦ評価値検出エリアにおける信号出力を用いて演算して前記撮像光学系の焦点状態を調節するためのＡＦ評価値を取得することを特徴とする焦点調節装置の制御方法。

Images