JP2019212966A - 撮像装置及びその制御方法、プログラム - Google Patents

Abstract

【課題】 被写体が動いている場合でも、タッチ操作により所望の被写体を容易に選択することが可能な撮像装置及びその制御方法、プログラムを提供する。【解決手段】 本発明の撮像装置は、撮像画像内の複数の被写体を検出する被写体検出手段と、ユーザのタッチ操作を検出する操作検出手段と、検出されたタッチ操作の動きと、検出された前記複数の被写体のそれぞれの動きとの一致度に基づいて、前記複数の被写体から主被写体を選択する制御を行う制御手段と、を備える。【選択図】 図１

Description

本発明は、被写体を撮像する撮像装置及びその制御方法、プログラムに関する。

従来から、デジタルカメラやビデオカメラ等の撮像装置において、自動的に被写体にフォーカス（焦点）を合わせるオートフォーカス（ＡＦ）制御技術が知られている。例えば、コントラストＡＦ制御方式は、撮像素子を用いて生成された映像信号の鮮鋭度（コントラスト状態）を示すＡＦ評価値信号を生成し、該ＡＦ評価値信号が最大となるフォーカスレンズの位置を探索するＡＦ制御方式である。

また、画像から特定の被写体パターンを自動的に検出する被写体検出技術が知られている。例えば、画像内の人物の顔の領域を検出する顔検出処理を行うことで、検出した顔に対して明るさやフォーカスの制御を行うことができる。

ここで、画像内に複数の被写体が存在する場合、カメラがＡＦ制御で自動的に選択した被写体と、ユーザが撮影したい被写体とが一致しないことがある。

下記の特許文献１には、撮影者がタッチパネル上でタッチパネルを押圧したときに、フォーカス枠を押圧した位置で固定させるか、押圧した位置にある被写体に追尾させるかを選択させる手間を省くことを可能にした撮像装置が提案されている。

特開２０１１−０３０００８号広報

しかしながら、上述した従来の技術では、被写体が動いている場合に、タッチ操作により所望の被写体を選択しにくいことがあった。

そこで、本発明は、被写体が動いている場合でも、タッチ操作により所望の被写体を容易に選択することが可能な撮像装置及びその制御方法、プログラムを提供することを目的とする。

上述した課題を解決するために、本発明の一実施形態に係る撮像装置は、撮像画像内の複数の被写体を検出する被写体検出手段と、ユーザのタッチ操作を検出する操作検出手段と、検出されたタッチ操作の動きと、検出された前記複数の被写体のそれぞれの動きとの一致度に基づいて、前記複数の被写体から主被写体を選択する制御を行う制御手段と、を備える。

また、本発明の一実施形態に係る撮像装置の制御方法は、撮像画像内の複数の被写体を検出する被写体検出ステップと、ユーザのタッチ操作を検出する操作検出ステップと、検出されたタッチ操作の動きと、検出された前記複数の被写体のそれぞれの動きとの一致度に基づいて、前記複数の被写体から主被写体を選択する制御を行う制御ステップと、を備える。

本発明によれば、被写体が動いている場合でも、タッチ操作により所望の被写体を容易に選択することが可能となる。

本発明に係る撮像装置の構成を示すブロック図である。 ＡＦ枠決定処理について説明するためのフロー図である。 実施の形態１におけるユーザのタッチ操作に基づく主顔決定処理について説明するためのフロー図である。 図３のＳｔｅｐ２０３の顔の動きとタッチ操作の動きとの一致判定処理について説明するための図である。 実施の形態１における時刻ｔｎのＯＰｘ［ｎ］、Ａｘ［ｎ］、Ｂｘ［ｎ］の数値の例を示す表である。 実施の形態１におけるＥＶＦの画面表示について説明するための図である。 実施の形態２における顔の動きとタッチ操作との動きの一致判定処理について説明するための図である。 実施の形態２における時刻ｔｎのＯＰｘ［ｎ］、Ａｘ［ｎ］、Ｂｘ［ｎ］の具体的な数値の例を示す表である。 相対位置制御と絶対位置制御の自動設定処理について説明するためのフロー図である。 一致判定処理を行う前の段階でタッチ位置と顔位置との距離を条件に加えて追加処理を行う例について説明するためのフロー図である。

以下、図面を用いて本発明の実施の形態について説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定され、以下に例示する実施形態によって限定されるものではない。また、実施形態の中で説明されている特徴の組み合わせすべてが本発明に必須とは限らない。本明細書および図面に記載の内容は例示であって、本発明を制限するものと見なすべきではない。本発明の趣旨に基づき種々の変形（各実施形態の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、各実施形態及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

（実施の形態１）
図１は、本発明に係る撮像装置の構成を示すブロック図である。図１において、第１固定レンズ１０１、変倍レンズ１０２、絞り１０３、第２固定レンズ１０４、及びフォーカスコンペンセータレンズ（フォーカスレンズ）１０５により被写体からの光を結像するための撮像光学系が構成される。変倍レンズ１０２を光軸方向に移動することにより、ズーム倍率が調整（変倍）される。フォーカスレンズ１０５を光軸方向に移動することにより、変倍に伴う焦点面の移動の補正とフォーカシングが行われる。

撮像素子１０６は、ＣＣＤセンサやＣＭＯＳセンサにより構成される光電変換素子である。撮像素子１０６は、被写体像を光電変換して撮像信号を生成する。ＣＤＳ／ＡＧＣ回路１０７は、撮像素子１０６から出力される撮像信号をサンプリングしてゲイン調整する。画像信号処理回路１０８は、ＣＤＳ／ＡＧＣ回路１０７から出力される撮像信号に対して各種の画像処理を施し、画像信号を生成する。背面表示部１０９は、ＬＣＤ等の表示パネルにより構成され、画像信号処理回路１０８で生成された画像信号に基づく画像を表示する。また、電子ビューファインダ（ＥＶＦ）１１９は、同じく、画像信号処理回路１０８で生成された画像信号に基づく画像を表示する。

記録部１１５は、画像信号処理回路１０８で生成された画像信号を、磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する。背面表示部１０９の画面上に配置されるタッチパネル１１２は、ユーザの指の接触を検知可能なタッチ操作検出部である。タッチパネル１１２と背面表示部１０９とは一体的に構成することができる。例えば、タッチパネル１１２を背面表示部１０９の表示面上層に取り付け、背面表示部１０９の表示を妨げないように構成する。タッチパネル１１２におけるタッチ入力座標と、背面表示部１０９の画面上の座標とを対応づけることにより、あたかもユーザが背面表示部１０９の画面を直接的に操作するようなＧＵＩを構成することができる。ＧＵＩは、Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅを表す。

ズーム制御部１１０は、マイコン１１４からの指示に応じて、変倍レンズ１０２を移動させる。フォーカシング制御部１１１は、マイコン１１４からの指示に基づいて、フォーカスレンズ１０５を移動させる。ズーム制御部１１０及びフォーカシング制御部１１１は、夫々、ステッピングモータ、ＤＣモータ、振動型モータ、及びボイスコイルモータ等のアクチュエータにより構成される。

ＡＦ信号処理回路１１３は、ＣＤＳ／ＡＧＣ回路１０７から出力される撮像信号のうち、焦点検出に用いられる部分領域（使用するＡＦ枠を含む周辺の部分領域）の信号から高周波成分を抽出して、ＡＦ評価値を示すＡＦ評価値信号（焦点信号）を生成する。つまり、ＡＦ信号処理回路１１３は、設定されたＡＦ枠に対応する撮像信号の成分から、ＡＦ評価値信号を生成する生成手段を構成する。ＡＦ評価値は、マイコン１１４に出力される。ＡＦ評価値は、撮像信号に基づいて生成される画像（映像）の鮮鋭度（コントラスト状態）を表すものである。撮像光学系の焦点状態（合焦の度合い）によって鮮鋭度は変化するので、ＡＦ評価値信号は撮像光学系の焦点状態を表す信号となる。

マイコン１１４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）としてマイクロプロセッサを使用したマイクロコンピュータ（Ｍｉｃｒｏｃｏｍｐｕｔｅｒ）である。マイコン１１４は、不図示のＲＯＭからプログラムを読み出して実行することにより、撮像装置全体の動作を制御する。マイコン１１４は、ＡＦ評価値に基づいてフォーカシング制御部１１１を制御することで、フォーカスレンズ１０５を移動し、焦点調節制御を行う。

顔検出部１１６は、ＣＤＳ／ＡＧＣ回路１０７から出力された撮像信号に対して顔検出処理を施し、撮像画像内の人物や動物の顔領域を検出する。例えば、撮像中の撮像画像（ライブビュー画像）内の人物や動物の顔領域を検出する。顔検出部１１６は、顔以外の予め定められた被写体（例えば、人物全体、車・飛行機・列車等の移動体等）を検出する被写体検出部であってもよい。顔検出部１１６による顔検出結果は、マイコン１１４に送信される。マイコン１１４は、顔検出結果に基づき、主被写体（主顔）を決定する。マイコン１１４は、撮像画像内の主顔領域を含む位置にＡＦ枠を設定するように、ＡＦ信号処理回路１１３へコマンドを送信する。顔検出処理としては、画像の各画素の階調色から肌色領域を抽出して予め用意した顔の輪郭プレートとのマッチング度で顔検出を行う方法や、パターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法等がある。画像中に複数の人物が存在する場合は、その人数分の顔領域が検出される。ＡＦ信号処理回路１１３は、マイコン１１４から受信したコマンドに基づいて、主被写体（主顔）領域のＡＦ評価値のみを出力する。

絞り制御部１１７は、絞り機構１０３を駆動させるためのアクチュエータ及びそのドライバを含む。輝度情報検波・演算回路１１８は、ＣＤＳ／ＡＧＣ回路１０７によって読み出された撮像信号から、画面内の測光枠の輝度値（測光値）を取得し、演算により正規化する。マイコン１１４は、輝度情報検波・演算回路１１８で取得された測光値と、適正な露出が得られるように設定された目標値との差分を算出する。そして、マイコン１１４は、算出した差分から、絞りの補正駆動量を算出し、絞り制御部１１７の駆動を制御する。

次に、図２のフロー図を用いてＡＦ枠決定処理について説明する。Ｓｔｅｐ１０１で、ＡＦ枠決定処理を開始する。一定周期毎に、ＡＦ枠決定処理が開始されるものとする。図２の各ステップは、マイコン１１４により実行される。

Ｓｔｅｐ１０２において、マイコン１１４は、撮像装置に設定されているＡＦ制御モードが「顔＋追尾優先」モードであるか判断する。ここで「顔＋追尾優先」モードとは、顔が検出された場合はＡＦ枠位置を主顔位置に優先的に設定する方式である。さらに、主顔位置が移動した場合、ＡＦ枠もそれに追従して自動的に移動させる。撮像装置に設定されているＡＦ制御モードが「顔＋追尾優先」モードである場合は、Ｓｔｅｐ１０２からＳｔｅｐ１０３へ進み、それ以外のＡＦ制御モードの場合は、Ｓｔｅｐ１０２からＳｔｅｐ１１０に進む。

Ｓｔｅｐ１０３では、顔検出部１１６の顔検出処理の結果に基づき、撮像画像内で顔が検出できたかを判断する。顔とみなせる顔領域が検出できた場合は、Ｓｔｅｐ１０３からＳｔｅｐ１０４へ進み、顔領域が検出できなかった場合は、Ｓｔｅｐ１０３からＳｔｅｐ１１１に進む。

Ｓｔｅｐ１０４では、タッチパネル１１２のタッチ操作の検出結果に基づき、ユーザによるタッチ操作の有無を判断する。タッチ操作が検出された場合は、Ｓｔｅｐ１０４からＳｔｅｐ２０１に進む。タッチ操作が検出されない場合は、Ｓｔｅｐ１０４からＳｔｅｐ１０５に進む。なお、今回のタイミングでタッチ操作が検出できなかった場合でも、前回のＡＦ枠決定処理でタッチ操作が検出された場合は、Ｓｔｅｐ１０４からＳｔｅｐ２０１に進むようにしてもよい。

Ｓｔｅｐ２０１では、タッチ操作に基づいて、撮像画像内の主顔を決定する処理を行う。詳細は後述する。主顔決定処理が完了したら、Ｓｔｅｐ２０１からＳｔｅｐ１０６に進める。

Ｓｔｅｐ１０６では、主顔が確定したかを判断する。主顔が確定している場合は、Ｓｔｅｐ１０６からＳｔｅｐ１０７に進む。主顔が確定していない場合は、Ｓｔｅｐ１０６からＳｔｅｐ１０５に進む。

ここまで、タッチ操作によって主顔位置を確定し、その主顔位置をＡＦ枠位置に設定する処理を説明した。タッチ操作がなかった場合、あるいはタッチ操作と一致する顔が検出できなかった場合は、Ｓｔｅｐ１０５以降の処理となる。

Ｓｔｅｐ１０５では、顔検出部１１６の顔検出処理の結果、前回のＡＦ枠決定処理で主顔として判断していた領域と相関がある顔検出領域があるに基づいて、同一人物の顔検出結果があるか否かを判断する。相関がある顔検出領域がある場合、すなわち今回の処理においても前回の主顔と同一人物の顔が継続して検出できている場合は、Ｓｔｅｐ１０５からＳｔｅｐ１０８へ進む。Ｓｔｅｐ１０８では、前回の主顔位置を選択して、ＡＦ枠位置に設定する。前回の主顔と相関のある顔が検出できなかった場合は、Ｓｔｅｐ１０５からＳｔｅｐ１０９に進む。

Ｓｔｅｐ１０９では、顔検出部１１６の顔検出処理の結果に基づいて、主顔を決定する処理を行う。撮像画像から検出された顔が１つの場合は、その顔を主顔として決定する。撮像画像から複数の顔が検出された場合は、例えば、撮像画像内の顔の位置に基づいて、画像中央に最も近い顔を主顔として決定する。ただし、大きい顔を主顔として決定してもよく、撮像画像から主顔を決定する方法は限定されない。Ｓｔｅｐ１０９の処理が完了したら、Ｓｔｅｐ１０７に進む。

Ｓｔｅｐ１０７では、決定された主顔位置にＡＦ枠を設定し、ＡＦ枠決定処理を終了する。

ここまで、撮像装置に設定されているＡＦ制御モードが「顔＋追尾優先」モードである場合の処理を説明した。次に、ＡＦ制御モードが「顔＋追尾優先」モード以外の方式である場合の処理について説明する。他のＡＦ制御モードの例として、「タッチ位置優先」モードがある。この方式は、ユーザによるタッチ位置をＡＦ枠として設定する方式である。自動追尾せず、タッチ位置を優先してＡＦ枠を設定するため、タッチした顔位置にＡＦ枠が設定された状態で顔位置が移動しても、ＡＦ枠の位置はタッチ位置に固定されたままとなる。

Ｓｔｅｐ１１０において、マイコン１１４は、撮像装置に設定されているＡＦ制御モードが「タッチ位置優先」モードであるか判断する。撮像装置に設定されているＡＦ制御モードが「タッチ位置優先」モードである場合は、Ｓｔｅｐ１１０からＳｔｅｐ１１１へ進み、それ以外のＡＦ制御モードの場合は、Ｓｔｅｐ１１０からＳｔｅｐ１１５に進む。

Ｓｔｅｐ１１１では、タッチパネル１１２のタッチ操作の検出結果に基づき、ユーザによるタッチ操作の有無を判断する。タッチ操作が検出された場合は、Ｓｔｅｐ１１１からＳｔｅｐ１１２に進む。Ｓｔｅｐ１１２では、タッチ操作が検出されたタッチ位置にＡＦ枠を設定し、ＡＦ枠決定処理を終了する。Ｓｔｅｐ１１１で、タッチ操作が検出されない場合は、Ｓｔｅｐ１１１からＳｔｅｐ１１３に進む。

Ｓｔｅｐ１１３では、前回のＡＦ枠決定処理でＡＦ枠が設定されているか判断する。前回のＡＦ枠決定処理でＡＦ枠が設定されていると判断した場合は、Ｓｔｅｐ１１３からＳｔｅｐ１１４に進む。Ｓｔｅｐ１１４ではＡＦ枠を前回設定した位置に設定する。この処理が完了したら、ＡＦ枠決定処理を終了する。Ｓｔｅｐ１１３で、前回のＡＦ枠決定処理でＡＦ枠が設定されていないと判断した場合は、Ｓｔｅｐ１１３からＳｔｅｐ１１５に進む。

Ｓｔｅｐ１１５は、撮像装置に設定されているＡＦ制御モードが「顔＋追尾優先」モードでもなく、「タッチ位置優先」モードでもない場合の処理である。一例として、「固定エリア」モードがある。この方式では、例えば、撮像画像の中央の固定位置にＡＦ枠を設定する。この処理が完了したら、ＡＦ枠決定処理を終了する。ただし、ＡＦ制御モードが「顔＋追尾優先」モードでもなく、「タッチ位置優先」モードでもない場合に、他のＡＦ制御モードがあれば、Ｓｔｅｐ１１５処理は必ずしもＡＦ枠を固定エリアにする方法でなくてもよい。

次に、図３のフロー図を用いて、実施の形態１におけるユーザのタッチ操作に基づく主顔決定処理について説明する。Ｓｔｅｐ２０１で、タッチ操作に基づく主顔決定処理を開始する。図２で説明したとおり、この処理は、撮像装置に設定されているＡＦ制御モードが「顔＋追尾優先」モードであり、顔が検出され、かつタッチ操作が検出された場合に開始される。図３の各ステップは、マイコン１１４により実行される。

Ｓｔｅｐ２０２では、タッチパネル１１２のタッチ操作の検出結果に基づき、ユーザによるドラッグ操作の有無を判断する。Ｓｔｅｐ２０２で、ドラッグ操作が検出された場合は、Ｓｔｅｐ２０３に進み、ドラッグ操作が検出されない場合は、Ｓｔｅｐ２０６に進む。ここでは、タッチパネル１１２に対するタッチダウン操作後、所定期間のタッチ操作（長押し）中にタッチ位置を変更するような操作が行われた場合に、ドラッグ操作として検出される。例えば、短時間のタッチ操作（短押し）が行われた場合は、ドラッグ操作として検出されない。

Ｓｔｅｐ２０３では、撮像画像内で検出されている顔の動きとタッチ操作の動きとの一致判定処理を行う。例えば、ドラッグ操作の移動方向、移動量、移動速度によって一致度を判定する。所定期間の顔位置の移動方向、移動量、移動速度と、所定期間のドラッグ操作の移動方向、移動量、移動速度と、との一致度を判定する。ただし、移動方向、移動量、移動速度のいずれか１つまたは２つのみを用いて、一致度の判定を行ってもよい。

Ｓｔｅｐ２０４では、ドラッグ操作と一致する動きの顔の有無を判断する。具体的には、所定期間の顔位置の移動方向、移動量、移動速度と、所定期間のドラッグ操作の移動方向、移動量、移動速度との一致度が閾値以上である顔が撮像画像内に存在するかを判定する。ドラッグ操作と一致する動きの顔が検出された場合は、Ｓｔｅｐ２０４からＳｔｅｐ２０５に進み、ドラッグ操作と一致する動きの顔が検出されない場合は、Ｓｔｅｐ２０４からＳｔｅｐ２０７に進む。

Ｓｔｅｐ２０５では、ドラッグ操作と一致する動きの顔を主顔の候補とし、Ｓｔｅｐ２０６に進む。所定期間の顔位置の移動方向、移動量、移動速度と、所定期間のドラッグ操作の移動方向、移動量、移動速度との一致度が閾値以上である顔が撮像画像内に複数存在する場合は、一致度が最も高い顔を主顔候補とする。

ここで、主顔候補は、主顔と確定する前の未確定状態である。主顔候補となった時点で、主顔候補位置に枠表示を行い、主顔候補があることをユーザに通知する。例えば、確定した主顔は実線の顔枠、主顔候補は点線の顔枠というように枠形状を変える。確定した主顔の顔枠と、主顔候補の顔枠と枠の色等の表示形態を変える。主顔候補が存在する状態で、ユーザがタッチアップ操作を行うと、主顔候補が正式に主顔と確定される。ユーザのタッチ操作が検出されるまでは、主顔は未確定の状態である。

Ｓｔｅｐ２０７では、撮像画像内のユーザのタッチ位置の顔の有無を判断する。タッチ位置と重なる位置に顔がある場合は、Ｓｔｅｐ２０７からＳｔｅｐ２０８へ進み、タッチ位置と重なる位置に顔が無い場合は、Ｓｔｅｐ２０７からＳｔｅｐ２０９へ進む。

Ｓｔｅｐ２０８では、撮像画像内のユーザのタッチ位置にある顔を主顔候補とし、Ｓｔｅｐ２０６に進む。Ｓｔｅｐ２０９では、主顔候補なしとして、Ｓｔｅｐ２０６に進む。

Ｓｔｅｐ２０６では、ユーザによるタッチアップ操作があるかを検出し、タッチアップ操作が検出されたらＳｔｅｐ２１０に進む。タッチアップ操作が検出されるまでは、Ｓｔｅｐ２０６からＳｔｅｐ２０２に戻り、ドラッグ操作の検出を繰り返し行う。タッチアップ操作とは、タッチパネル１１２をタッチダウンした後、タッチした指をタッチパネル１１２から離して、タッチを解除する操作である。

Ｓｔｅｐ２１０では、主顔候補の有無を判断する。主顔候補がある場合は、Ｓｔｅｐ２１１に進み、主顔候補がない場合は、Ｓｔｅｐ２１２に進む。

Ｓｔｅｐ２１１では、主顔候補を正式に主顔として確定し、タッチ操作に基づく主顔決定処理を終了する。Ｓｔｅｐ２１２では、主顔が未確定の状態を維持し、タッチ操作に基づく主顔決定処理を終了する。

次に、図４を用いて、図３のＳｔｅｐ２０３の顔の動きとタッチ操作の動きとの一致判定処理について詳しく説明する。ここで、タッチパネルのタッチ検出位置、および撮像画像内の顔位置は、Ｘ−Ｙ座標の２軸で定義される。ただし、Ｘ座標とＹ座標とで処理が同じ場合は、Ｘ座標における処理のみ記載し、Ｙ座標における処理の説明は省略する。また、ここでは、顔Ａと顔Ｂの２人の顔領域が検出された場合の説明を行うが、顔が検出される人数は２人に限定されるものではなく、２人より多い場合も同様の処理が適用される。

図４（ａ）は、検出された顔位置とタッチ操作位置の軌跡を示す図である。具体的には、横軸を時間、縦軸をＸ軸上の位置として、顔検出部１１６で検出された顔Ａと顔ＢのＸ軸上の位置の軌跡を示している。また、同様に、横軸を時間、縦軸をＸ軸上の位置として、タッチパネル１１２により検出されたタッチ操作位置のＸ軸上の位置の軌跡を示している。実線がタッチ操作（ドラッグ操作）の位置変化（移動）の軌跡を示し、点線が顔Ａと顔ＢのＸ軸上の位置変化（移動）の軌跡を示す。

図４（ｂ）は、検出された顔位置とタッチ操作位置の軌跡をサンプリングする様子を示す図である。具体的には、図４（ａ）で示したＸ軸上のタッチ操作位置、および顔Ａと顔Ｂの位置の変化を、所定時間間隔でサンプリングする様子を示している。時刻ｔ０、ｔ１、ｔ２、ｔ３、ｔ４、ｔ５がサンプリング時刻を示している。ここでは、Ｘ軸上のサンプリング時のタッチ操作位置を●印、顔Ａの位置を◆印、顔Ｂの位置を塗りつぶし△印で示している。サンプリング回数は、ｔ０〜ｔ５の６回だけ示しているが、サンプリング回数はこれに限定されるものではなく、より長時間にわたってサンプリングを行ってもよい。長時間にわたって一致状態を判定する場合は、サンプリング回数を増やせばよい。

また、ＡＦ枠決定処理が所定周期で実施されることを説明したが、本処理におけるサンプリング周期は、ＡＦ枠決定処理の周期と一致させる必要はない。より詳細な移動軌跡を取得する場合には、サンプリング周期が短い方がよい。また、処理負荷を軽減した場合は、サンプリング周期が長い方がよい。さらに、顔の位置変化またはタッチ操作の位置変化の大きさや速さによって、サンプリング周期を変更してもよい。この場合、顔の位置変化あるいはタッチ操作の位置変化が大きい場合、または速い場合は、サンプリング周期を短くして、位置変化の検出漏れがないようにすればよい。また、サンプリング周期を一定にしないで、動的に変更してもよい。顔の位置変化あるいはタッチ操作の位置変化の特徴点を検出し、方向変化あるいは速度変化のタイミングで、サンプリングを行ってもよい。

図４（ｃ）は、サンプリング時の顔位置およびタッチ操作位置のＸ座標を示す図である。具体的には、図４（ｂ）で示したサンプリング時における顔位置とタッチ操作位置のＸ座標を示している。タッチ操作のＸ座標は配列ＯＰｘ［ｎ］に格納され、顔ＡのＸ座標は配列Ａｘ［ｎ］に格納され、顔ＢのＸ座標は配列Ｂｘ［ｎ］に格納される。

図５は、実施の形態１における時刻ｔｎ（ｎ＝０，１，２，３，４，５）のＯＰｘ［ｎ］、Ａｘ［ｎ］、Ｂｘ［ｎ］の具体的な数値の例を示す表である。また、表の中段には、時刻ｔｎ〜ｔｎ−１のＯＰｘ［ｎ］、Ａｘ［ｎ］、Ｂｘ［ｎ］の変化量ΔＯＰｘ［ｎ］、ΔＡｘ［ｎ］、ΔＢｘ［ｎ］を算出した数値を示している。例えば、ＯＰｘ［０］とＯＰｘ［１］とから、Ｘ軸上での変化量１が算出される。なお、表の数値は、例えば画素単位としても、撮像画像を０〜１００等の数値で正規化した単位でもよい。表の下段には、時刻ｔｎ〜ｔｎ−１のＯＰｘ［ｎ］、Ａｘ［ｎ］、Ｂｘ［ｎ］の変化量ΔＯＰｘ［ｎ］、ΔＡｘ［ｎ］、ΔＢｘ［ｎ］に基づき算出される、顔Ａとタッチ操作の位置変化量の差分、顔Ｂとタッチ操作の位置変化量の差分を示している。この数値は、単位時間あたりの顔Ａ，Ｂとタッチ操作の位置変化量の一致度合いに関する数値である。この数値が大きいほど、タッチ操作と顔の動きの一致度が低く（不一致度が高く）、この数値が小さいほど、タッチ操作と顔の動きの一致度が高い（不一致度が低い）ことを示している。例えば、時刻ｔ３〜ｔ４では、顔Ａとタッチ操作の位置変化量の方が、顔Ｂとタッチ操作の位置変化量よりも一致度が高く、時刻ｔ３〜ｔ４以外では、顔Ｂとタッチ操作の位置変化量の方が、顔Ａとタッチ操作の位置変化量よりも一致度が高い。つまり、全体的に顔Ｂとタッチ操作の動きの方が一致度が高い（差分の数値が小さい）。不一致度または一致度は、変化量の総和で示すことができる。例えば、顔Ａに関するタッチ操作の位置変化との不一致度は、式１で表すことができる。
Σ｜ΔＡｘ［ｎ］―ΔＯＰｘ［ｎ］｜・・・（式１）

式１で算出される数値が大きいほど、タッチ操作と顔の動きの一致度が低く（不一致度が高く）、この数値が小さいほど、タッチ操作と顔の動きの一致度が高い（不一致度が低い）ことを示している。顔Ａに関するタッチ操作の位置変化との一致度は、式２のように、式１の逆数で表される。
１／（Σ｜ΔＡｘ［ｎ］―ΔＯＰｘ［ｎ］｜）・・・（式２）

図５に示した例では、顔Ａとタッチ操作の動きの不一致度（式１の演算結果）は４６であり、顔Ｂとタッチ操作の動きの不一致度（式１の演算結果）は１６であり、顔Ｂの方が顔Ａよりタッチ操作と近い動きをしている。

なお、ここまでＸ軸上での一致度について言及したが、Ｙ軸を含めた２次元座標上の一致度を算出する場合は、式３を用いて算出することができる。
１／（Σ（｜ΔＡｘ［ｎ］―ΔＯＰｘ［ｎ］｜＋｜ΔＡｙ［ｎ］―ΔＯＰｙ［ｎ］｜）・・・（式３）

ここで、ΔＯＰｙ、ΔＡｙは、それぞれＹ軸上のタッチ操作の位置変化量、顔Ａの位置変化量を示す。

次に、図６を用いて、実施の形態１におけるＥＶＦ１１９の画面表示について説明する。ユーザは、撮像中の撮像画像（ライブビュー画像）をＥＶＦ１１９の表示画面で確認しながら、タッチパネル１１２を見ないでタッチ操作して、主顔を決定することができる。図６（ａ）〜（ｄ）では、撮像画像内には２人の人物の顔Ａ、顔Ｂがある。ＥＶＦ１１９には、タッチ位置を示す丸枠、顔Ａの四角枠、顔Ｂの四角枠が、撮像画像に重畳された表示画像が表示されている。図６（ａ）〜（ｄ）では、タッチパネル１１２と一体構成された背面表示部１０９の画面上には撮像画像が表示されていない。タッチパネル１１２と一体構成された背面表示部１０９の画面上には撮像画像が表示されるが、ユーザがＥＶＦ１１９に接近していることが検知され、ユーザがＥＶＦ１１を覗いていると判断すると、背面表示部１０９は撮像画像の表示を停止する。ＥＶＦ１１９には、被写体の近接を検知する近接センサを設けるものとする。図６（ａ）〜（ｄ）において、タッチパネル１１２と一体構成された背面表示部１０９の画面上には撮像画像が表示されていてもよい。

図６（ａ）は、ユーザがタッチパネル１１２に対してタッチ操作した直後の表示画面を示している。ここでは、今回タッチ操作する前の状態において、図２で示したＡＦ枠決定処理によって、Ｓｔｅｐ１０９で撮像画像に基づく主顔決定処理が行われ、画面中央付近の顔Ａが主顔として決定されたものとする。主顔決定後の顔Ａの領域は二重枠線、主顔でない顔Ｂの領域は一重枠線で表示されている。タッチ操作直後は、タッチアップ操作前であるため、図３で説明したタッチ操作に基づく主顔決定処理は完了していない状態である。

図６（ｂ）は、ユーザがドラッグ操作中のタッチ枠位置および顔位置を示す表示画面である。タッチパネル１１２へのタッチ操作の初期位置からの相対位置変化に応じて、ＥＶＦ１１９の表示画面に表示されるタッチ枠の位置が変化する（相対位置制御）。また、顔Ａ、顔Ｂの移動軌跡は、図示のとおりである。ただし、実際には、顔Ａ、顔Ｂ移動軌跡は、ＥＶＦ１１９の表示画面上には表示されないものとする。

図６（ｃ）は、ユーザがドラッグ操作を完了したときのタッチ枠位置および顔位置を示す表示画面を示す図である。ドラッグ操作を完了したときとは、例えば、ドラッグ操作によるタッチ位置の移動が停止したときである。ここで、図３を用いて説明したＳｔｅｐ２０３の一致判定処理により、顔Ｂの動きとドラッグ操作の動きが一致すると判定されたものとする。そして、Ｓｔｅｐ２０５で顔Ｂが主顔候補として決定され、ＥＶＦ１１９の表示画面上で顔Ｂが主顔候補となったことがユーザに通知される。図６（ｃ）では、主顔候補となった顔枠が、一重枠線の点滅表示で通知される場合を例示している。

図６（ｄ）は、ユーザがタッチアップ操作した直後のタッチ枠位置および顔位置を示す表示画面を示す図である。主顔候補が存在している状態でタッチアップ操作が行われると、Ｓｔｅｐ２１１の処理により主顔候補の顔Ｂが主顔として確定される。そして、顔Ｂの顔枠が二重枠線に変更され、顔Ａの顔枠が一重枠線に変更されることで、主顔が顔Ａから顔Ｂに変更されたことが通知される。

以上のように、本実施の形態では、撮像画像内で検出されている顔の動きとタッチ操作の動きに基づいて、主顔が決定される。したがって、被写体が動いている場合でも、タッチ操作により所望の被写体を容易に選択することが可能となる。従来は、ＥＶＦ１１９で撮像画像を確認しながら、タッチパネル１１２のタッチ操作により所望の被写体を選択しようとしても、被写体が動いている場合には、所望の被写体を選択しにくいことがあった。

しかし、本実施の形態のように、顔の動きとタッチ操作の動きから、主顔候補を推定することで、所望の被写体を容易に選択することが可能になる。

なお、本発明はタッチパネルへのタッチ操作に限定されず、例えば、十字キーや上下左右カーソルキー等の操作部材へのユーザ操作に応じて、ユーザの指定位置の枠を移動させてもよい。

（実施の形態２）
本実施の形態２に係る撮像装置の構成及び動作を、実施の形態１との差異を中心に説明する。実施の形態２では、タッチ操作に基づく主顔決定処理の判定条件に、タッチ位置と顔位置との距離に関する条件を追加する。実施の形態２に係る撮像装置の構成は、図１と同様であるため、同一の符号を用いて説明する。なお、本実施の形態２において、実施の形態１と同様に、ユーザが選択する対象の被写体として人物の顔を例示するが、動物の顔であってもよいし、顔以外の被写体（例えば、人物全体、車・飛行機・列車等の移動体等）であってもよい。

図７は、実施の形態２における顔の動きとタッチ操作との動きの一致判定処理について説明するための図である。実施の形態１の図４と同様の点については説明を繰り返さない。図４では、全体的に顔Ｂとタッチ操作の動きの方が一致度が高い場合を示したが、図７では、全体的に顔Ａとタッチ操作の動きの方が一致度が高い。ただし、Ｘ座標上では、顔Ａの位置よりも顔Ｂの位置の方が、タッチ操作位置に近い。

図８は、実施の形態２における時刻ｔｎ（ｎ＝０，１，２，３，４，５）のＯＰｘ［ｎ］、Ａｘ［ｎ］、Ｂｘ［ｎ］の具体的な数値の例を示す表である。実施の形態１の図５と同様の点については説明を繰り返さない。表の最下段には、時刻ｔｎにおける顔Ａ，Ｂの座標位置とタッチ操作の座標位置との差分を記載している。この数値から、タッチ操作位置と顔位置とがどれだけ離れているか（近いか）が分かる。

実施の形態１で説明した式１を用いた演算結果では、顔Ａとタッチ操作の動きの不一致度（式１の演算結果）は５となり、顔Ｂとタッチ操作の動きの不一致度（式１の演算結果）は３５となり、顔Ａの方が顔Ｂよりタッチ操作と近い動きをしていると判断できる。

本実施の形態２では、タッチ位置と顔位置との距離も考慮し、下記の式４を用いて顔とタッチ操作の動きの不一致度を計算する。
Σ｜ΔＡｘ［ｎ］―ΔＯＰｘ［ｎ］｜＋Σ｜Ａｘ［ｎ］―ＯＰｘ［ｎ］｜・・・（式４）

式４を用いて算出すると、顔Ａとタッチ操作の動きの不一致度（式４の演算結果）は２０７となり、顔Ｂとタッチ操作の動きの不一致度（式４の演算結果）は６８であり、顔Ｂの方が顔Ａよりタッチ操作と近い動きをしていると判断できる。

ただし、重み付け係数ｋを用いた下記の式５を用いて、算出してもよい。係数ｋは、任意の値に設定できるものとする。
Σ｜ΔＡｘ［ｎ］―ΔＯＰｘ［ｎ］｜＋ｋ＊Σ｜Ａｘ［ｎ］―ＯＰｘ［ｎ］｜・・・（式５）

実施の形態１では、ユーザは、撮像中の撮像画像（ライブビュー画像）をＥＶＦ１１９の表示画面で確認しながら、タッチパネル１１２を見ないでタッチ操作することを想定していた。このため、タッチパネル１１２へのユーザのタッチ位置は、ＥＶＦ１１９で表示中の撮像画像内の選択したい顔の位置と異なることがあった。したがって、タッチパネル１１２へのタッチ操作の初期位置からの相対位置変化に応じて、ＥＶＦ１１９の表示画面に表示されるタッチ枠の位置が変化するようにした（相対位置制御）。

一方、実施の形態２では、ユーザが、タッチパネル１１２と一体構成された背面表示部１０９の画面に表示された撮像画像を確認しながらタッチパネル１１２をタッチ操作することも想定している。この場合、タッチパネル１１２へのユーザのタッチ位置は、背面表示部１０９の画面に表示された撮像画像内の選択したい顔の位置付近であると考えられる。したがって、タッチパネル１１２へのタッチ操作の絶対位置に応じて、ＥＶＦ１１９の表示画面に表示されるタッチ枠の位置が変化するようにする（絶対位置制御）。従来、顔が速く動いている場合は、タッチ操作により所望の顔（被写体）を選択しにくいことがあった。そこで、顔（被写体）にある程度近い位置をタッチ操作し、顔（被写体）の動きにある程度近い軌跡でタッチ操作ができれば、所望の顔（被写体）を選択できるようにする。

図９は、相対位置制御と絶対位置制御の自動設定処理について説明するためのフロー図である。図９の各ステップは、マイコン１１４により実行される。ＥＶＦ１１９に被写体の近接を検知する近接センサを設け、マイコン１１４は近接センサによる検知結果を受け取る。

Ｓｔｅｐ３０１において、マイコン１１４が、ＥＶＦ１１９にユーザが近接していると判断した場合は、Ｓｔｅｐ３０２に進み、タッチ操作に応じた相対位置制御に設定する。一方、Ｓｔｅｐ３０１において、マイコン１１４が、ＥＶＦ１１９にユーザが近接していないと判断した場合は、Ｓｔｅｐ３０３に進み、タッチ操作に応じた絶対位置制御に設定する。

ユーザが、撮像中の撮像画像（ライブビュー画像）をＥＶＦ１１９の表示画面で確認しながら、タッチパネル１１２を見ないでタッチ操作する場合には、式５の係数ｋの値を比較的小さい値に設定し、タッチ操作に応じた相対位置制御を行う（Ｓｔｅｐ３０２）。この場合、絶対的なタッチ位置と顔位置との差分の一致度算出への影響度合いが小さくなる。

ユーザが、タッチパネル１１２と一体構成された背面表示部１０９に表示された撮像画像を確認しながらタッチパネル１１２をタッチ操作する場合には、式５の係数ｋの値を比較的大きい値に設定し、タッチ操作に応じた絶対位置制御を行う（Ｓｔｅｐ３０３）。この場合、絶対的なタッチ位置と顔位置との差分の一致度算出への影響度合いが大きくなる。

したがって、ユーザが、ＥＶＦを使用した撮影方法を行う場合と、ＥＶＦを使用した撮影方法を行う場合とで、タッチ操作に応じた相対位置制御と、タッチ操作に応じた絶対位置制御とが自動的に切り替えられる。これにより、それぞれの撮影方法において、ユーザは所望の被写体を容易に選択することができる。

以上の説明では、顔の動きとタッチ操作の動きとの一致判定処理において、タッチ位置と顔位置との距離を条件に加えたが、顔の動きとタッチ操作の動きとの一致判定処理を行う前の段階で、タッチ位置と顔位置との距離を条件に加えて追加処理をしてもよい。

図１０は、顔の動きとタッチ操作の動きとの一致判定処理を行う前の段階で、タッチ位置と顔位置との距離を条件に加えて追加処理を行う例について説明するためのフロー図である。図１０のＳｔｅｐ２０１〜Ｓｔｅｐ２１２の処理は、図３のＳｔｅｐ２０１〜Ｓｔｅｐ２１２の処理と同じであり、詳細な説明は繰り返さない。図１０では、Ｓｔｅｐ２０２とＳｔｅｐ２０３との間に、Ｓｔｅｐ４０１〜Ｓｔｅｐ４０４が追加されている。

Ｓｔｅｐ４０１では、タッチ操作に応じた絶対位置制御と、タッチ操作に応じた相対位置制御とのどちらに設定されているかを判断する。タッチ操作に応じた絶対位置制御に設定されている場合は、Ｓｔｅｐ４０２に進み、タッチ操作位置と顔位置の差の判断に用いる閾値ＰＯＳ＿ＴＨをＰＯＳ１に設定する。一方、タッチ操作に応じた相対位置制御に設定されている場合は、Ｓｔｅｐ４０３に進み、タッチ操作位置と顔位置の差の判断に用いる閾値ＰＯＳ＿ＴＨをＰＯＳ２に設定する。ここで、ＰＯＳ１＜ＰＯＳ２の関係が成り立っているものとする。

次に、Ｓｔｅｐ４０４では、タッチ操作位置と顔位置の差が、ＰＯＳ＿ＴＨの数値より大きい場合は、その顔は一致度判定対象から除外する。これにより、ユーザが選択する意図がない顔を、主顔の選択対象から除外することができる。これにより、例えば、検出した顔の数が多い場合に、処理を軽減させつつ、撮影方法に適した顔選択を行うことが可能となる。

（その他の実施の形態）
以上の説明では、オートフォーカス（ＡＦ）制御の対象領域として主顔領域を用いたが、これに限定されない。他の用途の例として、輝度情報検波・演算回路１１８で輝度値を検出する領域を、上述のようにして決定した主顔位置にすることで、主顔位置が適正露出になるようなオート露出（ＡＥ）制御に用いてもよい。また、画像信号処理回路１０８が行う画像処理に特定領域の切出し処理を含み、本実施形態を用いて決定した顔位置に基づいて領域切出しした画像信号を生成することで、主顔位置を画角中心位置に保持するような被写体追尾制御に用いてもよい。

本発明は、上述の実施の形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。上記コンピュータは、例えば、ＣＰＵやＭＰＵ等のプロセッサーで構成される。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。上述の実施形態の１以上の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１０９ 表示部
１１２ タッチパネル
１１４ マイコン
１１６ 顔検出部
１１９ ＥＶＦ

Claims (13)

1. 撮像画像内の複数の被写体を検出する被写体検出手段と、
   ユーザのタッチ操作を検出する操作検出手段と、
   検出されたタッチ操作の動きと、検出された前記複数の被写体のそれぞれの動きとの一致度に基づいて、前記複数の被写体から主被写体を選択する制御を行う制御手段と、を備える撮像装置。
2. 前記タッチ操作の動きは、タッチ位置の移動方向、移動量、移動速度の少なくとも一つを含むことを特徴とする請求項１に記載の撮像装置。
3. 前記タッチ操作は、ドラッグ操作であることを特徴とする請求項１または２に記載の撮像装置。
4. 前記被写体は、顔であることを特徴とする請求項１から３までのいずれか１項に記載の撮像装置。
5. 前記制御手段は、追尾優先のＡＦ制御モードに設定されているか否かを判断し、追尾優先のＡＦ制御モードに設定されている場合に、検出されたタッチ操作の動きと、検出された前記複数の被写体のそれぞれの動きとの一致度に基づいて、前記複数の被写体から主被写体を選択する制御を行うことを特徴とする請求項１から４までのいずれか１項に記載の撮像装置。
6. 前記撮像画像と、前記タッチ操作に係るタッチ位置を示すタッチ枠とを表示する電子ビューファインダをさらに備えることを特徴とする請求項１から５までのいずれか１項に記載の撮像装置。
7. 前記操作検出手段は、前記電子ビューファインダとは異なる位置に配置された表示部に設けられることを特徴とする請求項６に記載の撮像装置。
8. 前記制御手段は、検出されたタッチ操作の動きと、検出された前記複数の被写体のそれぞれの動きとの一致度が最も高い被写体を、主被写体として選択することを特徴とする請求項１から７までのいずれか１項に記載の撮像装置。
9. 前記制御手段は、検出されたタッチ操作の動きと、検出された前記複数の被写体のそれぞれの動きとの一致度と、検出されたタッチ操作の位置と前記複数の被写体のそれぞれとの距離とに基づいて、前記複数の被写体から主被写体を選択する制御を行うことを特徴とする請求項１から７までのいずれか１項に記載の撮像装置。
10. 前記電子ビューファインダには近接センサが設けられ、
    前記制御手段は、
    ユーザが前記電子ビューファインダに近接していると判断した場合は、前記操作検出手段へのユーザのタッチ操作の初期位置からの相対位置変化に応じて、前記電子ビューファインダに表示される前記タッチ枠の位置を変化される相対位置制御を行い、
    ユーザが前記電子ビューファインダに近接していないと判断した場合は、前記操作検出手段へのユーザのタッチ操作の相対位置に応じて、前記電子ビューファインダに表示される前記タッチ枠の位置を変化される絶対位置制御を行うことを特徴とする請求項６に記載の撮像装置。
11. 前記制御手段は、前記電子ビューファインダに表示された前記撮像画像内の複数の被写体のうち、前記操作検出手段へのユーザのタッチ操作に係るタッチ位置と閾値より離れた位置の被写体を、主被写体の選択対象から除外することを特徴とする請求項６に記載の撮像装置。
12. 撮像装置の制御方法であって、
    撮像画像内の複数の被写体を検出する被写体検出ステップと、
    ユーザのタッチ操作を検出する操作検出ステップと、
    検出されたタッチ操作の動きと、検出された前記複数の被写体のそれぞれの動きとの一致度に基づいて、前記複数の被写体から主被写体を選択する制御を行う制御ステップと、を備える撮像装置の制御方法。
13. コンピュータを請求項１から請求項１１までのいずれか１項に記載の撮像装置の前記制御手段として機能させるためのプログラム。

Images