JP2010015035A - 焦点調節装置及び方法 - Google Patents

Abstract

【課題】 顔などのコントラストの低い対象物に焦点を合わせる場合に、合焦制御を安定的に行えるようにすること。
【解決手段】 画像から所定の対象物を表す領域を検出する検出手段（１１６）と、フォーカスレンズ（１０５）を所定量ずつ光軸方向に駆動する駆動手段（１１１）と、前記所定量を設定する設定手段（１１４）と、ＡＦ制御において、対象物が検出された場合には上記画像の該対象物を表す画像信号から、対象物が検出されない場合には画像の予め設定された領域内の画像信号から、高周波成分を取り出してＡＦ評価値を生成するＡＦ評価値生成手段（１１３、１１４、１１６）と、生成されたＡＦ評価値に基づいて、駆動手段を制御して焦点調節を行う自動焦点調節手段（１１４）とを有し、設定手段は、対象物が検出された場合に、検出されなかった場合よりも所定量を小さい値に設定する。
【選択図】 図１

Description

本発明は、撮像装置で用いられる焦点調節装置及び焦点調節方法に関し、更に詳しくは、撮影して得られた画像に基づいて自動焦点調節を行う焦点調節装置及び焦点調節方法に関する。

ビデオカメラ等のオートフォーカス（ＡＦ）制御では、撮像素子を用いて生成された画像信号の鮮鋭度（コントラスト状態）を示すＡＦ評価値信号を生成し、該ＡＦ評価値信号が最大となるフォーカスレンズの位置を探索するＴＶ−ＡＦ方式が主流である。

しかしながら、人物を撮影する場合において、主被写体である人物とその背景のコントラストの関係から、人物にピントが合わず、背景に合ってしまうという問題があった。

このような問題を解決するために、顔認識機能を有する撮像装置が知られている。例えば、認識された顔領域を含む焦点検出エリアを設定し、ＡＦを行う撮像装置や（例えば、特許文献１参照）、また人物の目を検出し、その目に基づいてＡＦを行う撮像装置（例えば、特許文献２参照）が提案されている。

特開２００６−２２７０８０号公報 特開２００１−２１５４０３号公報

これまでのＴＶ−ＡＦ方式では、被写体が特定できないため多くの被写体で望ましい合焦動作が実現できるように、次のような制御を行っていた。即ち、焦点評価値が大きい場合は合焦である場合が多いとして応答性を落とすように、焦点評価値が小さい場合は非合焦である場合が多いとして応答速度を高めるような制御を行っていた。このため、例えば人間の顔のようなコントラストの低い被写体は、図７に示すように合焦であっても焦点評価値が低いため、合焦であっても応答速度を高めるような制御を行ってしまい安定性が損なわれる場合があった。このような問題はこれまでもあったが、顔検出を行う撮像装置においては、ＡＦ評価値の取り込みエリアが顔に限定され他の被写体を含まないため、特に顕著に表れるようになった。

本発明は上記問題点を鑑みてなされたものであり、顔などのコントラストの低い対象物に焦点を合わせる場合に、合焦制御を安定的に行えるようにすることを目的とする。

上記目的を達成するために、本発明の焦点調節装置は、撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する検出手段と、フォーカスレンズを所定量ずつ光軸方向に駆動する駆動手段と、前記フォーカスレンズを駆動する所定量を設定する設定手段と、ＡＦ制御において、前記検出手段により前記対象物が検出された場合には、該対象物を表す前記画像信号から高周波成分を取り出してＡＦ評価値を生成し、前記対象物が検出されない場合には、前記画像の予め設定された領域内の前記画像信号から高周波成分を取り出してＡＦ評価値を生成するＡＦ評価値生成手段と、前記ＡＦ評価値に基づいて、前記駆動手段を制御して焦点調節を行う自動焦点調節手段とを有し、前記設定手段は、前記対象物が検出された場合に、検出されなかった場合よりも前記所定量を小さい値に設定する。

また、本発明の焦点調節方法は、撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する検出工程と、ＡＦ制御においてフォーカスレンズを所定量ずつ光軸方向に駆動する駆動工程と、前記フォーカスレンズを駆動する所定量を設定する設定工程と、前記対象物が検出された場合には、該対象物を表す前記画像信号から高周波成分を取り出してＡＦ評価値を生成し、前記対象物が検出されない場合には、前記画像の予め設定された領域内の前記画像信号から高周波成分を取り出してＡＦ評価値を生成するＡＦ評価値生成工程と、前記ＡＦ評価値を用いて焦点調節を行う自動焦点調節工程とを有し、前記設定工程では、前記対象物が検出された場合に、検出されなかった場合よりも前記所定量を小さい値に設定する。

本発明によれば、顔などのコントラストの低い対象物に焦点を合わせる場合にも、合焦制御を安定的に行うことができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

図１は、本発明の実施の形態における撮像装置の一例として、ビデオカメラの構成を示すブロック図である。なお、本実施の形態では、ビデオカメラについて説明するが、本発明はデジタルスチルカメラ等、連続的に画像を取得することのできる他の撮像装置にも適用することができる。

図１において、１０１は第１固定レンズ、１０２は光軸方向に移動して変倍を行う変倍レンズ、１０３は絞りである。また、１０４は第２固定レンズ、１０５は変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えたフォーカスコンペンセータレンズ（以下、「フォーカスレンズ」という。）である。第１固定レンズ１０１、変倍レンズ１０２、絞り１０３、第２固定レンズ１０４及びフォーカスレンズ１０５により撮像光学系が構成される。

１０６は、ＣＣＤセンサやＣＭＯＳセンサにより構成される光電変換素子としての撮像素子である。１０７は撮像素子１０６の出力をサンプリングし、ゲイン調整するＣＤＳ／ＡＧＣ回路である。１０８はカメラ信号処理回路であり、ＣＤＳ／ＡＧＣ回路１０７からの出力信号に対して各種の画像処理を施し、画像信号を生成する。

１０９はＬＣＤ等により構成されるモニタであり、カメラ信号処理回路１０８からの画像信号を表示する。１１５は記録部であり、カメラ信号処理回路１０８からの画像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する。

１１０は変倍レンズ１０２を移動させるためのズーム駆動源、１１１はフォーカスレンズ１０５を移動させるためのフォーカシング駆動源である。ズーム駆動源１１０及びフォーカシング駆動源１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。

１１２はＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち、焦点検出に用いられる領域（焦点検出領域）の信号のみを通すＡＦゲートである。ＡＦ信号処理回路１１３は、ＡＦゲート１１２を通過した画像信号から高周波成分を抽出して、ＡＦ評価値を生成する。ＡＦ評価値は、カメラ／ＡＦマイコン１１４に出力される。ＡＦ評価値は、撮像素子１０６からの出力信号に基づいて生成される映像の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的に撮像光学系の焦点状態を表す信号となる。

カメラ／ＡＦマイコン１１４は、ビデオカメラ全体の動作の制御を司るとともに、ＡＦ評価値に基づいて、フォーカシング駆動源１１１を制御してフォーカスレンズ１０５を移動させるＡＦ制御を行う。

顔検出部１１６は、画像信号に対して公知の顔認識処理を施し、撮影画面内の顔領域を検出し、検出結果をカメラ／ＡＦマイコン１１４に送信する。カメラ／ＡＦマイコン１１４は、送信された顔領域の検出結果に基づき、焦点検出領域が検出された顔領域を含むように焦点検出領域を設定し、ＡＦゲート１１２へ情報を送信する。なお、顔認識処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法が知られている。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔を検出する方法等があるが、本願発明は顔認識処理により限定されるものではなく、どのような方法を用いても構わない。

次に、カメラ／ＡＦマイコン１１４で行われるＡＦ制御について、図２を用いて説明する。このＡＦ制御は、カメラ／ＡＦマイコン１１４内に格納されたコンピュータプログラムに従って実行される。

ステップＳ２０１で処理が開始されると、ステップＳ２０２で微小駆動動作を行う。微小駆動動作において、合焦か、合焦でないならどちらの方向に合焦点があるか（フォーカスレンズ１０５の駆動方向）を判別するが、詳細な動作は、図３を参照して後述する。

ステップＳ２０３においては、ステップＳ２０２で合焦と判別された場合はステップＳ２０９へ進んで合焦処理を行い、合焦と判別されなかった場合はステップＳ２０４へ進む。

ステップＳ２０４においては、ステップＳ２０２で合焦点が存在する方向の判別ができているかどうかを判断する。判別できている場合はステップＳ２０５へ進んで山登り駆動動作を行い、方向判別ができていない場合はステップＳ２０２へ戻って微小駆動動作を継続する。ステップＳ２０５では、ＡＦ評価値が大きくなる方向へ高速でレンズを山登り駆動する。なお、ステップＳ２０５における山登り駆動の詳細は、図５を参照して後述する。

ステップＳ２０６において、ステップＳ２０５でＡＦ評価値のピークを越えたかどうかを判断し、超えたと判別された場合はステップＳ２０７へ進み、越えたと判別されない場合はステップＳ２０５へ戻って山登り駆動を継続する。

ステップＳ２０７では、山登り駆動中のＡＦ評価値がピークとなるレンズ位置にフォーカスレンズ１０５を戻す。そして、ステップＳ２０８においては、ステップＳ２０７の処理によりピークのレンズ位置に戻ったかどうかを判断し、戻ったと判断された場合はステップＳ２０２へ戻って再び微小駆動動作を行う。一方、ピークのレンズ位置に戻っていないと判断された場合はステップＳ２０７へ戻ってピークのレンズ位置にフォーカスレンズ１０５を戻す動作を継続する。

次に、ステップＳ２０９からの合焦動作について説明する。ステップＳ２０９では、ステップＳ２０２の微小駆動動作で得られたＡＦ評価値を保持し、続くステップＳ２１０で、最新のＡＦ評価値を取得する。ステップＳ２１１では、ステップＳ２０９で保持したＡＦ評価値とステップＳ２１０で新たに取得したＡＦ評価値とを比較し、所定レベル以上差があれば再起動と判定し、ステップＳ２０２へ戻って微小駆動動作を再開する。ステップＳ２１１でＡＦ評価値の差が所定レベルより少ないと判定されていなければステップＳ２１２へ進み、レンズを停止してステップＳ２１０へ戻り、上述した処理を繰り返す。

次に、微小駆動動作について図３を参照して説明する。

ステップＳ３０１で処理が開始されると、ステップＳ３０２において最新の顔検出位置及び大きさを取得すると共に、それらの情報に基づいてＡＦ枠を設定する。ここでは、顔が検出されている場合には顔の領域を表す顔枠を、また、顔が検出されていない場合には画面の予め設定された領域を、ＡＦ枠として設定し、ＡＦ枠内（領域内）の画像信号のＡＦ評価値を取得する。ステップＳ３０３では、ＡＦ枠として顔枠を使用しているかどうか判別する。顔枠を使用していればステップＳ３０６へ進み、顔枠を使用していなければステップＳ３０４へ進む。

ステップＳ３０４においては、フォーカスレンズ１０５の１回当りの駆動量を設定する。駆動量は、通常、レンズ位置や絞りの状態、ＡＦ評価値に応じて決められる。被写界深度が深い時や、ＡＦ評価値が小さくボケていると考えられるときは駆動量を大きくするようにしている。ステップＳ３０５ではＡＦ評価値が予め設定された閾値Ｔｈ１より小さいかどうかを判断する。小さい場合はこのまま方向判別を続けてもＡＦ評価値のピーク位置の方向を検出するのは困難と判断し、ステップＳ３１４へ進む。閾値Ｔｈ１以上であればステップＳ３０８へ進む。

一方、ステップＳ３０６においては、顔枠用のフォーカスレンズ１０５の１回当りの駆動量を設定する。顔枠用の駆動量も、通常、レンズ位置や絞りの状態、ＡＦ評価値に応じて決められる。ただし、一般的に顔は低コントラストなのでＡＦ評価値は小さい傾向があるため、ステップＳ３０６では、ＡＦ評価値に対する駆動量は、ステップＳ３０４で決められる駆動量よりも小さくなるように設定する。ステップＳ３０７ではＡＦ評価値が閾値Ｔｈ２より小さいかどうかを判断する。ここで、閾値Ｔｈ２は、閾値Ｔｈ１より小さくしておくのであるが、これは、上述したように顔のＡＦ評価値が小さい傾向があるためである。ステップＳ３０７で閾値Ｔｈ２より小さいと判断された場合はこのまま方向判別を続けてもＡＦ評価値のピーク位置の方向を検出するのは困難と判断し、ステップＳ３１４へ進む。閾値Ｔｈ２以上であれば、ステップＳ３０８へ進む。

ステップＳ３０８では、ステップＳ３０２で取り込んだＡＦ評価値が前回のＡＦ評価値より大きいかどうかを判断し、大きければステップＳ３０９へ進み、小さければステップＳ３１０へ進む。ステップＳ３０９では、前回フォーカスレンズ１０５を動かした方向（順方向）に、ステップＳ３０４またはＳ３０６で設定された駆動量、フォーカスレンズ１０５を駆動する。一方、ステップＳ３１０では前回フォーカスレンズ１０５を動かした方向と逆方向に、ステップＳ３０４またはＳ３０６で設定された駆動量、フォーカスレンズ１０５を所定量駆動する。

次に、ステップＳ３１１において、所定回数連続して合焦方向と判断される方向が同一かどうかを判断し、同一であればステップＳ３１５へ進み、所定回数連続して同一方向に進んでいなければステップＳ３１２へ進む。ステップＳ３１２においては、所定回数フォーカスレンズ１０５が所定範囲で往復を繰り返していればステップＳ３１６へ進み、所定時間フォーカスレンズが所定範囲にいなければ、微小駆動処理を抜けて、図２のステップＳ２０３に進む。

ステップＳ３１５ではフォーカスレンズ１０５を動かす方向が判別できたと判断し、また、ステップＳ３１６では合焦判別できたと判断して、微小駆動処理を抜けて、図２のステップＳ２０３へ進む。

図３で説明したレンズ動作の時間経過を図４に示す。図４において、Ａの間に撮像素子１０６に蓄積された電荷に対するＡＦ評価値ＡをＴ_Ａで取り込み、Ｂの間に撮像素子１０６に蓄積された電荷に対するＡＦ評価値ＢをＴ_Ｂで取り込む。Ｔ_Ｂでは、ＡＦ評価値Ａ、Ｂを比較し、Ａ＜Ｂであればそのまま順方向に移動し、一方Ａ≧Ｂであれば逆方向にする。

次に、山登り駆動動作について図５を用いて説明する。

ステップＳ５０１で処理が開始されると、ステップＳ５０２において最新の顔検出位置及び大きさを取得すると共に、それらの情報に基づいてＡＦ枠を設定し、ＡＦ評価値を取得する。ステップＳ５０３では、ＡＦ枠として顔枠を使用しているかどうか判別する。顔枠を使用していればステップＳ５０５へ進み、顔枠を使用していなければステップＳ５０４へ進む。

ステップＳ５０４においては、フォーカスレンズ１０５の山登りスピードを設定する。山登りスピードは、通常、レンズ位置や絞りの状態、ＡＦ評価値に応じて決められる。被写界深度が深い時や、ＡＦ評価値が小さくボケていると考えられるときは山登りスピードを大きくするようにしている。その後、ステップＳ５０６へ進む。

一方、ステップＳ５０５においては、顔枠用のフォーカスレンズ１０５の山登りスピードを設定する。顔枠用の山登りスピードも、通常、レンズ位置や絞りの状態、ＡＦ評価値に応じて決められる。ただし、一般的に顔は低コントラストなのでＡＦ評価値は小さい傾向があるため、ステップＳ５０４で決められる山登りスピードより遅くなるように設定する。その後、ステップＳ５０６へ進む。

ステップＳ５０６においては、ステップＳ５０２で取り込んだＡＦ評価値が前回のＡＦ評価値より大きいかどうか判断し、大きければステップＳ５０７へ進み、同じか小さければステップＳ５０９へ進む。ステップＳ５０７ではフォーカスレンズ１０５を動かした方向（順方向）に、ステップＳ５０４またはＳ５０５で設定された山登りスピードでフォーカスレンズ１０５を駆動して、処理を終了する。一方、ステップＳ５０９においては、ＡＦ評価値がピークを越えて減少しているかどうかを判断し、減少していればステップＳ５１１へ進んでピークを越えたとして、処理を終了する。ステップＳ５０９で、ＡＦ評価値がピークを越えて減っていなければステップＳ５１０へ進み、前回と逆方向に所定の速度でフォーカスレンズを駆動し、処理を終了する。

図５で説明したレンズ動作を図６に示す。図６において、ＡではＡＦ評価値がピークを越えて減少しているので合焦点があるとして山登り駆動動作を終了し、微小駆動動作に移行する。一方、ＢではＡＦ評価値がピークが無く減少しているので方向を間違えたものとして反転し、山登り動作を続ける。なお、一定時間あたりの移動量は微小駆動時よりも大きな移動量となる。

以上説明したように、カメラ／ＡＦマイコン１１４は、再起動判定→微小駆動→山登り駆動→微小駆動→再起動判定を繰り返しながらフォーカスレンズ１０５を移動させ、ＡＦ評価値を大きくするように制御している。

以上のように本実施の形態によれば、顔検出を行う撮像装置においてフォーカスレンズ１０５の駆動量を、顔枠を用いる場合と、顔枠を用いない場合とで変更することで、特に顔枠使用時のＡＦ性能を向上させることができる。

また、本実施の形態では、検出手段の一例として、顔検出部１１６により人の顔を検出の対象物としているが、例えば、動物、車など、人の顔以外の特定の対象物を検出するようにしても構わない。更に、外部入力手段から撮像画面内の位置を入力したり、ファインダーを見ている撮影者の視線を検出して撮像画面内の位置を決定して、対象物を検出するようにしてもよい。また、本実施の形態においてはＡＦ評価値生成エリアは顔検出枠と通常枠の切替になっているが、同時に顔検出枠と通常枠との間で選択されたＡＦ枠に応じて制御特性を変えても構わない。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルビデオカメラ、デジタルスチルカメラなど）に適用してもよい。

また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

本発明の実施の形態におけるビデオカメラの構成を示すブロック図である。 本発明の実施の形態におけるＡＦ制御を示すフローチャートである。 本発明の実施の形態における微小駆動動作の処理を示すフローチャートである。 本発明の実施の形態における微小駆動動作を示す図である。 本発明の実施の形態における山登り駆動動作の処理を示すフローチャートである。 本発明の実施の形態におけるの山登り動作を示す図である。 顔と、通常の被写体のＡＦ評価値をそれぞれ示す概念図である。

符号の説明

１０１ 第１固定レンズ
１０２ 変倍レンズ
１０３ 絞り
１０４ 第２固定レンズ
１０５ フォーカスレンズ
１０６ 撮像素子
１０７ ＣＤＳ／ＡＧＣ回路
１０８ カメラ信号処理回路
１０９ モニタ
１１０ ズーム駆動源
１１１ フォーカシング駆動源
１１２ ＡＦゲート
１１３ ＡＦ信号処理回路
１１４ カメラ／ＡＦマイコン
１１５ 記録部
１１６ 顔検出部

Claims (7)

1. 撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する検出手段と、
   フォーカスレンズを所定量ずつ光軸方向に駆動する駆動手段と、
   前記フォーカスレンズを駆動する所定量を設定する設定手段と、
   ＡＦ制御において、前記検出手段により前記対象物が検出された場合には、該対象物を表す前記画像信号から高周波成分を取り出してＡＦ評価値を生成し、前記対象物が検出されない場合には、前記画像の予め設定された領域内の前記画像信号から高周波成分を取り出してＡＦ評価値を生成するＡＦ評価値生成手段と、
   前記ＡＦ評価値に基づいて、前記駆動手段を制御して焦点調節を行う自動焦点調節手段とを有し、
   前記設定手段は、前記対象物が検出された場合に、検出されなかった場合よりも前記所定量を小さい値に設定することを特徴とする焦点調節装置。
2. 前記焦点調節装置は、前記ＡＦ評価値に基づいて前記フォーカスレンズの駆動方向を決定するための微小駆動と、前記決定された駆動方向に前記フォーカスレンズを駆動する山登り駆動とを行い、
   前記設定手段は、前記微小駆動のための前記所定量を、前記山登り駆動のための前記所定量よりも小さい値に設定することを特徴とする請求項１に記載の焦点調節装置。
3. 前記微小駆動において、前記ＡＦ評価値生成手段により生成されたＡＦ評価値を閾値と比較し、前記閾値よりも小さい場合に、前記山登り駆動に移行するように制御する制御手段を更に有し、
   前記制御手段は、前記対象物が検出された場合に、検出されなかった場合よりも小さい値の前記閾値を前記比較に用いることを特徴とする請求項２に記載の焦点調節装置。
4. 前記予め決められた対象物は、人の顔であることを特徴とする請求項１乃至３のいずれか１項に記載の焦点調節装置。
5. 撮影して得られた画像信号により表される画像から、予め決められた対象物を表す領域を検出する検出工程と、
   ＡＦ制御においてフォーカスレンズを所定量ずつ光軸方向に駆動する駆動工程と、
   前記フォーカスレンズを駆動する所定量を設定する設定工程と、
   前記対象物が検出された場合には、該対象物を表す前記画像信号から高周波成分を取り出してＡＦ評価値を生成し、前記対象物が検出されない場合には、前記画像の予め設定された領域内の前記画像信号から高周波成分を取り出してＡＦ評価値を生成するＡＦ評価値生成工程と、
   前記ＡＦ評価値を用いて焦点調節を行う自動焦点調節工程とを有し、
   前記設定工程では、前記対象物が検出された場合に、検出されなかった場合よりも前記所定量を小さい値に設定することを特徴とする焦点調節方法。
6. コンピュータに、請求項５に記載の焦点調節方法の各工程を実行させるためのプログラム。
7. 請求項６に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。

Images