JP2013251780A - 撮像装置 - Google Patents

Abstract

【課題】自動的にフォーカス移動を制御することができる撮像装置を提供すること。

【解決手段】撮像光学系と、撮像手段と、フォーカス移動を制御する制御手段と、前記撮像手段を介して生成された画像データから第１の被写体をフォーカス対象領域として検出する被写体検出手段と、該フォーカス対象領域内にいる第１の被写体の顔の特徴点の位置を時系列に計測する被写体計測手段と、を備えた撮像装置において、前記制御手段は、前記被写体計測手段によって計測された第１の被写体の特徴点の位置から算出された第１の被写体の向きの時系列変化量に応じて、フォーカス移動速度を制御し、前記被写体検出手段で検出された第２の被写体へフォーカス移動することを特徴とする。
【選択図】図１

Description

本発明はオートフォーカス機能を有する撮像装置に関する。

オートフォーカス機能を有するデジタルカメラ等の撮像装置においては、被写体が人間である場合にその人間の顔を検出し、この検出した顔の位置にピントを合わせる技術が知られている。また、近年では、顔だけでなく、目や鼻、口等の特徴点を抽出し、被写体である人間が笑顔等の撮影に好適な表情を見せているタイミングを自動的に認識することによって撮影を行う技術も知られている。

さらに発展して被写体間でのコミュニケーションが発生している場合を抽出する技術が特許文献１に記載されている。

特許文献１では、画像信号中の複数の人物の目線を推定し、目線を推定した複数の人物までの距離をそれぞれ算出することで、これらの目線推定結果および距離算出結果を用いることで複数の人物の目線のターゲットが画像信号中に含まれる他の人物であるか否かを判定する。

特開２００９-２６０６３０号公報

特許文献１に記載された技術においては、撮影者の意図に応じて他の人物へゆっくりフォーカスを移動させたり、速くフォーカス移動させたりするためには、撮影者自身がマニュアルフォーカスを操作してフォーカス移動させなければならなかった。

本発明は、上記に鑑みてなされたものであって、自動的にフォーカス移動を制御することができる撮像装置を提供することを目的とする。

上記目的を達成する為の、本発明の一様態による撮像装置は以下の構成を備える。すなわち、
撮像光学系と、撮像手段と、フォーカス移動を制御する制御手段と、前記撮像手段を介して生成された画像データから第１の被写体をフォーカス対象領域として検出する被写体検出手段と、該フォーカス対象領域内にいる第１の被写体の特徴点の位置を時系列に計測する被写体計測手段と、を備えた撮像装置において、
前記制御手段は、前記被写体計測手段によって計測された第１の被写体の特徴点の位置から算出された第１の被写体の向きの時系列変化量に応じてフォーカス移動速度を制御し、前記被写体検出手段で検出された第２の被写体へフォーカス移動することを特徴とする撮像装置を構成する。

本発明によれば、自動的にフォーカス移動を制御することが可能となる。

実施形態における撮像装置のブロック図 本実施例の被写体計測方法を説明する図 本実施例の被写体計測方法を説明する図 本実施例の被写体計測方法を説明する上面図 本実施例のフォーカス移動制御を説明するフローチャート

以下、添付の図面を参照して、本発明の好適な実施形態を説明する。

［第１実施形態］
図１は本発明の第１実施形態における撮像装置の図であり、１１はカメラ本体、１２は撮像光学系、撮像手段１３、信号処理部１４、記憶部１５、表示部１６、被写体検出手段としての被写体検出部１７、被写体計測手段としての被写体計測部１８、制御手段としての制御部１９、操作部２０で構成される。

撮像光学系１２はレンズ群１２ａ、絞り１２ｂ、シャッター１２ｃ、フォーカスレンズの駆動部１２ｄから構成され、制御部１８により制御される。

撮像手段１３はＣＣＤまたはＣＭＯＳで構成され、撮像光学系からの入射光を受光し、光電変換することでアナログ信号を生成する。

信号処理部１４は、撮像手段１３からのアナログ信号に対してノイズ除去等の信号処理をし、Ａ／Ｄ変換によってデジタル変換することで画像データを生成する。

記憶部１５は、フラッシュメモリなどで構成され、信号処理部１４で生成された画像データを記録する。

表示部１６は、モニタまたはビューファインダ（ＥＶＦ）などで構成され、信号処理部１４で生成された画像データを表示する。表示部１６には、撮影の有無に関わらず、撮像光学系を介する画像がスルー画として表示される。

被写体検出部１７は、信号処理部１４で生成された画像データの解析を行い、画像データ内にある被写体の顔を検出する。検出方法は予め記憶されている一般的な人の顔のあらゆる方向からの特徴点（目、鼻、口、耳、眉毛、顔の輪郭等）のデータと画像データを比較し、照合することにより、特徴点データと一致する領域を顔であると検出し、表示部１６に領域を表示する。

被写体計測部１８は、被写体検出部１７で検出された領域内の特徴点（例えば、目、鼻、口、耳、眉毛）の時系列変化量を計測する。例えば、計測する特徴点を目とした場合を考えると、顔が正面のときには、目と目の間隔が大きく、顔が横を向いた場合には、目と目の間隔が小さくなる。また、特徴点として鼻も計測することで、目と目の間隔と鼻の位置変化の関係から、被写体がどちらの方向を向いたかを計測することができる。特徴点の変化を時系列的に計測することで、被写体の特徴点の時系列変化と、被写体の向いている方向を計測し、制御部１９へ出力する。

制御部１９は、被写体計測部１８が計測したデータを基に、フォーカス移動速度と移動する領域を設定する。フォーカス移動速度は、被写体計測部１８で計測した被写体の特徴点の時系列データを基に決定し、速度を高速または低速等の複数の速度に設定できる。

操作部２０は、撮影者がレリーズスイッチ等の各種操作情報と動画撮影モード、静止画撮影モードを設定する操作部であり、撮影者が直接操作可能である。

次に本実施例での被写体計測方法について図２、図３を用いて説明する。図２は第１の被写体の向きの変化が９０度以下である場合を示し、図３は第１の被写体の向きの変化が９０度以上である場合を示している。

図２（ａ）では、第１の被写体２０と第２の被写体２４２０、２４があり、被写体検出部１７により左側の被写体２０にフォーカス対象領域３０（以下、測距枠）が設定され、フォーカスが合っている状態を示している。さらに、測距枠３０には被写体検出部１７で検出された特徴点を抽出されている。特徴点は第１の被写体２０の右目２１、左目２２、鼻２３である。被写体計測部１８での特徴点の計測は、右目２１と左目２２は黒目の中心座標、鼻２３は輪郭の重心座標を計測点として計測する。

目の座標は、黒目の中心座標なので、人物が見ている方向である目線の座標となる。各座標は右目２１（ｘ１，Ｙ１）、左目２２（ａ１，ｂ１）、鼻２３（ｍ１，ｎ１）とする。

被写体計測部１８で特徴点を計測する時間間隔は、撮像手段１３でのフレームレートに依存する。撮像手段１３は３０fpsまたは６０fpsのフレームレートで信号を読み出すため、１／３０秒または１／６０秒が計測可能な最小の時間間隔となる。本実施例では、第１の被写体２０の特徴点の変化量（被写体の向きの変化量）を計測して、それに応じてフォーカス移動（フォーカス移動を開始する）するため、特徴点の変化量を計測しなければならない。そこで、特徴点の変化量を計測する箇所として、目の間隔を計測する。図２（ａ）での目の間隔Ｔ１を第１の被写体２０の向きが時系列にどのように変化するかを計測するため、目の間隔Ｔ１は、右目２１と左目２２との距離から
となる。目の間隔Ｔ１とともに、同時に時間ｔ１も記憶しておく。また、被写体２０がどちらの方向を向くのかを判断するために、鼻２３の座標（ｍ１，ｎ１）も計測しておく。

次に図２（ｂ）のように第１の被写体２０が正面から左を向いた場合に、第１の被写体２０の特徴点の座標は、右目２１が（ｘ２，Ｙ２）、左目が（ａ２，ｂ２）、鼻２３が（ｍ２，ｎ２）となる。このときの目の間隔Ｔ２は、図２（ａ）の場合と同様に、
となる。同時に時間ｔ２も記憶しておく。時間ｔ２は図２（ａ）を計測したフレームから何フレーム経過したかを記憶してもよい。鼻２３の座標（ｍ２，ｎ２）の座標も計測し、図２（ａ）のときに対して、どちらの方向に鼻２３が移動しているかを推定する。例えば、図２（ａ）と図２（ｂ）の鼻のｘ座標を比較して、ｍ２＞ｍ１であったら、第１の被写体２０の顔は左に向き、ｍ１＞ｍ２であったら、第１の被写体２０の顔は右に向いていると判断できる。

図２（ａ）から（ｂ）の変化において、フォーカス移動の可否の判断は第１の被写体２０の向きの角度変化が所定量以上であるかどうかを制御部１９で判断する。第１の被写体２０の向きの角度変化を目の間隔の変化量から算出する方法は図４を用いて説明する。図４（ａ）は第１の被写体２０が正面を向いているときの撮影状態を上から見た図である。カメラ本体１１により、第１の被写体２０にフォーカスを合わせている状態のため、フォーカスレンズの合焦位置から被写体距離Ｌが求まり、第１の被写体２０が正面のときの目の間隔Ｔ１とする。図４（ｂ）で第１の被写体２０が左を向いた場合には、表示部１６に表示される目の間隔はＴ２となり、Ｔ１に対して小さくなる。ここで、図４（ａ）と（ｂ）の目の間隔の変化から被写体の向きの角度変化θは
となる。このように被写体の向きの角度変化θを推定できる。

上記方法により、フォーカス移動の可否の判断は被写体の向きの角度変化が例えば、６０度以上とする。

被写体２０の向きの角度変化が所定以上になったら、制御部１９から被写体検出部１７へ第１の被写体２０の向いている側の別の被写体を検出する。図２（ｃ）のように別の被写体２４が検出された場合には、フォーカス移動し、第２の被写体２４に焦点を合わせる。このときのフォーカス移動速度は、第１の被写体２２の目の間隔の時間変化量から設定する。例えば、目の間隔が所定量以上変化するまでの時間が５秒以上のときには、第２の被写体２４へフォーカスレンズを低速で駆動する。これは、第１の被写体がゆっくり向きを変えたと判断し、その意図に応じてフォーカスレンズも低速に移動させる。反対に、目の間隔が所定量以上変化するまでの時間が１秒以内のときには、フォーカスレンズを高速で駆動させる。フォーカスレンズを移動させる方向は、式（３）で示したように図４（ａ）から（ｂ）での第１の被写体の向きの角度変化が９０度未満のときには、第２の被写体２４は至近側にいると仮定し、フォーカスを至近側に移動させ、測距枠３１内のコントラスト評価値が最大になる位置にフォーカスレンズを移動させる。

次に図３を用いて、第１の被写体２０の向きの変化が９０度以上である場合を示している。図３（ａ）は図２（ａ）と同様に第１の被写体２０が正面を向いている場合を示し、被写体の特徴点も同様に右目２１（ｘ３，ｙ３）、左目２２（ａ３，ｂ３）、鼻２３（ｍ３，ｎ３）とする。

図３（ｂ）を用いて、第１の被写体２０が正面から９０度以上左を向いた場合を示している。図３（ｂ）では、９０度以上むいているため、左目２２は被写体２０の裏側に隠れ、右目２１座標（ｘ４，ｙ４）だけ計測する。この状態でのフォーカス移動の可否を判断は、第１の被写体２０の特徴点の抽出が片目になった場合とする。

被写体検出部１７で第１の被写体２０の向いている側に対して別の被写体の検出を行い、検出できた場合には、第２の被写体２４に測距枠３２を設定し、へフォーカスを移動する（図３（ｃ））。

フォーカス移動速度は、前記と同様に第１の被写体２０の目の間隔の時間変化量から設定する。フォーカス移動の方向は、第１の被写体２０が正面を向いたときから９０度以上向きを変化しているため、第２の被写体２４は無限側にいると推定し、無限側に移動する。フォーカスは測距枠３２内のコントラスト評価値が最大となる位置にフォーカスレンズを停止させる。

次に図５を用いて本実施例のフローチャートを説明する。

まず、動画撮影モードまたは静止画撮影用のスルー画像を表示している状態にする。

Ｓ１０１では、被写体検出部１７によりスルー画像から複数の被写体を検出し、表示部１６にそれぞれの領域を表示させて、Ｓ１０２へ進む。Ｓ１０２では表示部１６に表示された複数の領域からユーザーが第１の被写体を含む所望の領域を１つ選択し、Ｓ１０３へ進む。Ｓ１０３では、被写体計測部１８によりＳ１０２で選択された所定の領域から第１の被写体の特徴点（目、鼻、口等）の変化を時系列に計測する。Ｓ１０４では、被写体計測部１８で計測している第１の被写体の特徴点の変化が所定量変化したかを判断する。変化していない場合にはＳ１０３に戻り、被写体計測を継続する。所定量変化した場合には、Ｓ１０５へ進む。Ｓ１０５では、被写体検出部１７により第１の被写体が向いた方向に別に被写体がいるかどうかを判断する。被写体検出手部１７により第２の被写体が検出されない場合には、Ｓ１０７へ進む。Ｓ１０７では、フォーカスを移動せず、Ｓ１０３に戻り、再度被写体計測を行う。被写体検出手部１７により第２の被写体が検出された場合には、Ｓ１０６に進む。Ｓ１０６では、被写体計測部１８の計測結果をもとに制御部１９でフォーカス移動速度を設定し、Ｓ１０８へ進む。Ｓ１０８では制御部１９で設定されたフォーカス移動速度で、第２の被写体へ移動し、合焦させる。

以上説明した様に本発明においては撮像光学系１２と、撮像手段１３と、フォーカス移動を制御する制御部１９と、前記撮像手段を介して生成された画像データからフォーカス対象領域を検出する被写体検出部１７と、該フォーカス対象領域内にいる第１の被写体の特徴点の位置を時系列に計測する被写体計測手段１８と、を備えた撮像装置において、
前記制御部１９は、前記被写体計測手段１８によって計測された第１の被写体の特徴点の位置から算出された第１の被写体の向きの時系列変化量に応じてフォーカス移動速度を制御し、前記被写体検出手段で検出された別の第２の被写体へフォーカス移動することを特徴とする撮像装置を構成する。

これにより、自動的にフォーカス移動を制御することが可能となる。

１１ カメラ本体
１２ 撮影光学系
１３ 撮像手段
１７ 被写体検出部
１８ 被写体計測部
１９ 制御部

Claims (5)

1. 撮像光学系と、撮像手段と、フォーカス移動を制御する制御手段と、前記撮像手段を介して生成された画像データから第１の被写体を被写体のフォーカス対象領域として検出する被写体検出手段と、該フォーカス対象領域内にいる第１の被写体の特徴点の位置を時系列に計測する被写体計測手段と、を備えた撮像装置において、
   前記制御手段は、前記被写体計測手段によって計測された第１の被写体の特徴点の位置から算出された第１の被写体の向きの時系列変化量に応じてフォーカス移動速度を制御し、前記被写体検出手段で検出された第２の被写体へフォーカス移動することを特徴とする撮像装置。
2. 前記制御手段は、前記被写体計測手段によって計測された第１の被写体の特徴点の位置から算出された第１の被写体の向きの変化量が所定量以上となったときに、フォーカス移動を開始する制御することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は前記被写体計測手段によって計測された第１の被写体の特徴点の位置から算出された第１の被写体の向きの時系列変化量が所定量以上のとき、フォーカス移動速度を高速にし、所定量未満のときに低速にする制御することを特徴とする請求項１に記載の撮像装置。
4. 前記制御手段は、前記被写体計測手段がよって計測された第１の被写体の特徴点の位置から算出された第１の被写体の向きの変化量から、フォーカス移動する方向を制御することを特徴とする請求項１に記載の撮像装置。
5. 撮像光学系と、撮像手段と、フォーカス移動を制御する制御手段と、前記撮像手段を介して生成された画像データから第１の被写体のフォーカス対象領域として検出する被写体検出手段と、該フォーカス対象領域内にいる第１の被写体の特徴点の位置を時系列に計測する被写体計測手段と、を備えた撮像装置において、
   前記制御手段は、前記被写体計測手段によって計測された第１の被写体の位置から算出された第１の被写体の向きの方向に、前記被写体検出手段により、第２の被写体が検出されない場合には、フォーカス移動をしないことを特徴とする撮像装置。