JP2011109502A - 画像追尾装置、撮像装置、及び、画像追尾方法 - Google Patents

Abstract

【課題】画像追尾装置、撮像装置、及び、画像追尾方法を提供する。
【解決手段】画像追尾装置（１）は、光学系による像を撮像して画像信号を出力する撮像部（８）と、撮像部（８）によって撮像された特定の対象の大きさに応じて設定される基準値に基づいて、画像信号のうちの一部の画像信号を抽出する抽出部（２４）と、撮像部（８）から出力された画像信号による画像のうち、抽出部(２４)によって抽出された一部の画像信号を含む画像の範囲を、基準画像として設定する設定部（２５）と、撮像部（８）によって繰り返し撮像して得られた画像信号による画像のうち、基準画像に対応する画像の位置を認識することにより、特定の対象を追尾する追尾部（２６）と、を備える。
【選択図】図１

Description

本発明は、特定の被写体の像を追尾する画像追尾装置、撮像装置、及び、画像追尾方法に関する。

追尾すべき主要被写体の最も特徴的な部分を初期追尾領域として設定し、この部分の情報に基づいて追尾枠を拡大して設定し、被写体を追尾するカメラが知られている。（例えば、特許文献１参照）。

特許第３６５３７３９号公報

しかしながら、特許文献１のカメラでは、拡大して設定された追尾枠の中に被写体の背景が入ってしまい、検出したい被写体と背景の測光データが近似する状況では、被写体を正確に追尾できなくなるという問題がある。

本発明は、上記問題を解決すべくなされたもので、その目的は、被写体に応じた追尾の基準画像を設定することのできる画像追尾装置、撮像装置、及び、画像追尾方法を提供することにある。

上記問題を解決するために、本発明は、光学系による像を撮像して画像信号を出力する撮像部と、前記撮像部によって撮像された特定の対象の大きさに応じて設定される基準値に基づいて、前記画像信号のうちの一部の画像信号を抽出する抽出部と、前記撮像部から出力された画像信号による画像のうち、前記抽出部によって抽出された前記一部の画像信号を含む画像の範囲を、基準画像として設定する設定部と、前記撮像部によって繰り返し撮像して得られた画像信号による画像のうち、前記基準画像に対応する画像の位置を認識することにより、前記特定の対象を追尾する追尾部と、を備えたことを特徴とする画像追尾装置である。

また、本発明は、上記の発明において、前記画像信号は、複数の色ごとに対応した第１画像信号と第２画像信号とを含み、前記抽出部は、前記第１画像信号と第２画像信号のそれぞれから前記基準値に基づいて抽出した画像信号の、前記画像内でのばらつきに基づいて前記一部の画像信号を抽出することを特徴とする。

また、本発明は、上記の発明において、前記設定部は、前記光学系の情報から導かれる被写体までの距離情報の信頼度が所定の値より高いと判定された場合に前記特定の対象の大きさに応じて前記基準値を設定し、前記信頼度が前記所定の値より低いと判定された場合にユーザーの操作によって選択された位置の周りの画素の信号を平均化した平均信号強度に応じて前記基準値を設定することを特徴とする。

また、本発明は、上記の発明において、前記被写体までの距離情報の信頼度は、前記光学系の焦点距離ｆと距離環によって示される距離情報ＬＤとによって示される演算式（（距離情報ＬＤ）／（焦点距離ｆ））から導かれることを特徴とする。

また、本発明は、上記の発明において、前記被写体までの距離情報の信頼度は、前記光学系の種類に応じて設定されることを特徴とする。

また、本発明は、上記の発明において、前記一部の画像信号を含む画像を抽出する範囲は、前記撮像された画像信号を構成する画素数に応じて定められることを特徴とする。

また、本発明は、上記の発明において、前記一部の画像信号を含む画像を抽出する範囲は、縦横の２辺が等しい奇数の画素数で示されることを特徴とする。

また、本発明は、上記の発明において、前記基準値は、前記一部の画像信号を含む画像を抽出する範囲を構成する画素の各色成分に応じて定められることを特徴とする。

また、本発明は、上記の発明において、前記基準値は、前記一部の画像信号を含む画像を抽出する範囲の中心の画素の各色成分、前記中心の画素の周りの画素の各色成分の平均値、或いは、前記一部の画像信号を含む画像を抽出する範囲の画素の各色成分の平均値のいずれかに応じて定められることを特徴とする。

また、本発明は、上記の発明において、前記抽出部は、一又は複数の前記基準値に基づいて画像信号を判定する判定範囲を定めることを特徴とする。

また、本発明は、上記の発明において、前記抽出部は、前記一又は複数の基準値と、該基準値に対する偏差とを加算した値に基づいて前記判定範囲を定めることを特徴とする。

また、本発明は、上記の発明において、前記設定部は、前記一部の画像信号を含む画像を抽出する範囲において前記判定範囲として判定される画像の占める面積が予め定められる所定の値より広いと判定される場合に前記基準画像の範囲を広くするように前記偏差を設定し、前記所定の値より狭いと判定される場合に前記基準画像の範囲を狭くするように前記偏差を設定することを特徴とする。

また、本発明は、上記の発明に記載の画像追尾装置を含んで構成することを特徴とする撮像装置である。

また、本発明は、光学系による像を撮像して画像信号を出力する撮像ステップと、撮像された特定の対象の大きさに応じて設定される基準値に基づいて、前記画像信号のうちの一部の画像信号を抽出する抽出ステップと、前記出力された画像信号による画像のうち、前記抽出された一部の画像信号を含む画像の範囲を、基準画像として設定する設定ステップと、繰り返し撮像して得られた前記画像信号による画像のうち、前記基準画像に対応する画像の位置を認識することにより、前記特定の対象を追尾する追尾ステップと、を備えたことを特徴とする画像追尾方法である。

本発明によれば、画像追尾装置では、撮像部が、光学系による像を撮像して画像信号を出力する。抽出部は、撮像部によって撮像された特定の対象の大きさに応じて設定される基準値に基づいて、画像信号のうちの一部の画像信号を抽出する。設定部は、撮像部から出力された画像信号による画像のうち、抽出部によって抽出された前記一部の画像信号を含む画像の範囲を、基準画像として設定する。追尾部は、撮像部によって繰り返し撮像して得られた画像信号による画像のうち、基準画像に対応する画像の位置を認識することにより、特定の対象を追尾する。
これにより、画像追尾装置は、撮像された特定の対象の大きさに応じて設定される基準値に基づいて、画像信号のうちの一部の画像信号を抽出し、抽出された一部の画像信号を含む画像の範囲に基づいて基準画像を設定することができ、特定の対象を正確に追尾することが可能となる。

本発明の一実施形態による撮像装置の構成を示すブロック図である。 本実施形態による撮像された被写体の像を示す図である。 本実施形態によるテンプレートを取得する処理を示すフローチャートである。 本実施形態による撮像部の撮像面上を移動する被写体の像をモデル化して示す図である。

（第１実施形態）
以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態による撮像装置の構成を示すブロック図である。この図に示される撮像装置１は、カメラボディ１００及びカメラボディ１００に取り付けられるレンズ鏡筒２００を備える。
撮像装置１においてレンズ鏡筒２００は、光学系２１０、光学系駆動部２２０、光学系制御部２３０を備える。
レンズ鏡筒２００における光学系２１０は、撮像部８への光の出力を調整する光学素子と、その光学素子などを保護する構造を備えている。例えば、光学系２１０は、被写体距離に応じて焦点を調整する焦点調整機構、焦点距離を調整し撮影画角を変更するズーム機構、通過する光量を調整する絞り機構などを有し、それぞれの設定状態を検出する各種センサー、エンコーダなどが設けられる。焦点調整機構には、ユーザーの操作に応じた距離を設定して連動させるとともに、設定された距離を示す距離環が設けられる。光学系駆動部２２０は、制御部２０からの制御信号に応じて光学系２１０をモーターなどのアクチュエータによって駆動して、撮像部８への光の出力を調整する。光学系制御部２３０は、光学系２１０に設けられた各種センサー、エンコーダの情報を収集し、制御部２０に通知する。光学系制御部２３０から通知される情報には、レンズ鏡筒２００の種別を示すレンズ鏡筒種別情報、レンズ鏡筒２００の距離環に設定された距離情報、レンズ鏡筒２００固有又はズーム機能で設定された焦点距離情報、絞り機能によって設定された絞り値などがある。

撮像装置１においてカメラボディ１００は、ミラー３、ファインダ４、測距部５、撮像部８、不揮発メモリー１１、バッファメモリー１２、操作検出回路１３、モニター制御回路１４、モニター１５、メモリー制御回路１６、メモリー１７及び制御部２０を備える。

カメラボディ１００におけるミラー３は、メインミラー３ａとサブミラー３ｂを備える。撮像準備中の場合のミラー３は、カメラ鏡筒２００から出力される光をファインダ４に向けてメインミラー３ａが反射する。メインミラー３ａを透過した一部の光は、測距部５に向けてサブミラー３ｂによって反射される。撮像時には、メインミラー３ａは、上部に跳ね上げられ、カメラ鏡筒２００から出力される光が撮像部８の受光面で結像する。
ファインダ４は、プリズム４ａ、フォーカスポイント表示手段４ｂ、及びスクリーン４ｃを備える。プリズム４ａは、メインミラー３ａによって反射された光をユーザー画確認できる正立像にして出力する。フォーカスポイント表示手段４ｂは、制御部２０からの制御に基づいてフォーカスポイント（焦点調整を行う領域）の表示を行う。スクリーン４ｃは、ユーザーにレンズ鏡筒２００における焦点距離設定のずれを視覚的に判定できるように変換して出力する。また、ファインダ４内には、測光センサー１８が設けられ、プリズム４ａに入力された光の一部を集光し、その光の光量を変換して制御部２０に照度情報を供給する。

測距部５は、ミラー３からの光が照射され、その照射された光によって示される被写体の像に基づいて、フォーカスの調整状態を検出して制御部２０に被写体までの距離に応じて変化する検出情報を供給する。
測距部５に照射された光によって示される被写体の像が、レンズ鏡筒２００に設定された焦点に応じて結像状態が変化する。測距部５は、その結像状態からフォーカスの調整状態を検出し、被写体までの距離に応じて変化する検出情報を制御部２０に供給する。
撮像部８は、ＣＣＤ（Charge Coupled Device）或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーなどの撮像素子を含んで構成され、光学系２１０から出力され、その受光部に結像された像を電気信号に変換して画像信号を出力する。撮像部８には、その受光部が出力する画像信号を増幅し、デジタル信号に変換する変換部と、制御部２０からの制御信号に応じて撮像素子を駆動させ、撮像素子により結像された像の画像信号への変換や、変換された画像信号の出力などの制御する撮像素子制御部が含まれる。

不揮発メモリー１１には、制御部２０を動作させるプログラムや、撮像され生成された画像データ、撮影時に検出された位置情報、ユーザーから入力された各種設定や撮像条件などの情報が記憶される。また、記憶される情報には、撮像装置１の動作状態を定める設定情報、条件判定のための基準値、条件判定結果の情報などの各種制御情報などが記録される。
バッファメモリー１２は、制御部２０の制御処理に用いられる一時的な情報の記憶領域であり、例えば、制御部２０が撮像部８から出力される画像信号や、特定の被写体の像を追尾する画像追尾処理によって検出された特定の被写体像の位置情報などを一時的に記録して、記憶させる。

操作検出回路１３は、入力部に入力されたユーザーの操作を検出し、検出した操作情報を制御信号として制御部２０に供給する。入力部は、例えば、電源スイッチ１３ａ、レリーズスイッチ１３ｂ、位置情報取得スイッチ１３ｃ、位置情報補正スライドスイッチ１３ｄ、撮影モードの設定を行うセレクタスイッチ１３ＳＥＬなどがある。制御部２０は、入力部における入力操作に基づく操作情報を取得して、その操作情報に基づいた制御指示を出力するとともに、操作情報を不揮発メモリー１１に記憶する。

モニター制御回路１４は、例えば、モニター１５の点灯、消灯や明るさ調整などの表示制御や、制御部２０から出力される画像データをモニター１５に表示させる処理を行う。モニター１５は、画像データを表示し、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）で構成される。

メモリー制御回路１６は、制御部２０とメモリー１７との情報の入出力を制御し、例えば、制御部２０によって生成された画像データ、位置情報などの情報をメモリー１７に記憶させる処理や、メモリー１７に記憶されている画像データ、位置情報などの情報を読み出して制御部２０に出力する処理などを行う。メモリー１７は、例えば、メモリーカードなどカメラボディ１００から抜き差し可能な記憶媒体であり、制御部２０によって生成される画像データ、位置情報などが記憶される。

制御部２０は、不揮発メモリー１１に記憶されたプログラムに基づいてカメラボディ１００の各部の動作を制御するＣＰＵ（Central Processing Unit）などからなる。例えば、制御部２０は、操作検出回路１３から供給されるユーザーの操作入力に基づく操作情報に応じて、カメラボディ１００への電源の投入、光学系駆動部２２０を介した光学系２１０の駆動制御、撮像部８の駆動制御、モニター制御回路１４を介したモニター１５の表示制御、撮像部８で検出した被写体の撮影処理の制御、及び、特定の被写体像の位置情報の取得に必要な制御を行う。

制御部２０は、画像処理部２１、表示制御部２２、撮影制御部２３、操作入力部２４、画像抽出部２４、テンプレート設定部２５及び画像追尾部２６を備える。
制御部２０における画像処理部２１は、撮像部８の駆動制御を行うとともに、撮像素子の撮像領域内に捉えられ出力された画像信号を読み出し、読み出した画像信号に基づいて画像データを生成する画像処理を行う。画像処理部２１は、画像処理により生成した画像データをバッファメモリー１２に記憶させる。表示制御部２２は、画像処理部２１によって生成されバッファメモリー１２に記憶された画像データを一定時間間隔毎に読み出し、読み出した画像データをリアルタイムにモニター１５に出力する。ここで、一定時間間隔とは、例えば１／６０秒であり、この場合、表示制御部２２によって１秒間に６０フレームの画像データがスルー画としてモニター１５に表示され、動画像としてメモリー１７に記録される。

撮影制御部２３は、ユーザーの操作入力に基づいた撮影処理を制御するための撮影処理開始指令又は撮影処理終了指令などの制御信号を操作検出回路１３から取得して、各部に対して必要な制御信号を出力する。撮影制御部２３は、撮像処理開始命令を検出すると光学系２１０を駆動させ、画像データを生成する撮像処理を行う。撮影制御部２３は、光学系駆動部２２０を介して光学系２１０のフォーカシング、露出制御、ズーミングなどの制御を行う。
撮影制御部２３は、操作検出回路１３に接続されるレリーズスイッチ１３ｂの操作が検出されると、オートフォーカス（ＡＦ）制御の処理を行う。ＡＦ制御の処理では、撮影制御部２３は、光学系２１０を駆動させながら測距部５によって行われた測定結果に基づいて被写体との距離を判定し、判定結果に基づいて光学系２１０の焦点調整機構を調整する。また、ＡＦ制御の処理で測距処理の対象とされた被写体は、ファインダ４で確認できるように、フォーカスポイント表示手段４ｂに表示する。
また、撮影制御部２３は、撮影を行う前に、各種設定の設定処理を行う。撮影制御部２３は、例えば操作検出回路１３のセレクタスイッチ１３ＳＥＬの操作が検出されると、入力された設定情報を不揮発メモリー１１に記録する。記録される情報には、撮影モードを選択する選択情報、レンズ鏡筒の距離情報などがある。

画像抽出部２４は、撮像部８によって撮像された特定の被写体の像（対象）の大きさに応じて設定される基準値に基づいて、画像信号のうちの一部の画像信号（以下、仮テンプレートという。）を抽出する。この仮テンプレートを設定することにより、画像抽出部２４が行う抽出処理の対象範囲をこの仮テンプレートの範囲に限定することができ演算処理の負荷を軽減し、判定処理時間を短縮できる。

また、画像抽出部２４は、画像信号を構成する複数の色成分を示す信号に応じて、それぞれの基準値に基づいて抽出した画像信号の、画像内でのばらつきに基づいて仮テンプレートを抽出してもよい。画像抽出部２４は、画像信号の輝度信号に限らず色成分を示す信号を抽出処理の対象とすることにより、特定の被写体と背景の輝度の値が近い場合でも、特定の被写体と背景の色の差を検出することができる。
この抽出処理によって抽出する際に判定に用いられる基準値は、仮テンプレートを構成する画素の各色成分に応じて定めることができる。
より具体的に示すと、その基準値は、仮テンプレートの中心の画素の各色成分、仮テンプレートの中心の画素の周りの画素の各色成分の平均値、或いは、仮テンプレートの画素の各色成分の平均値のいずれかに応じて定めることができる。

画像抽出部２４は、一又は複数の基準値に基づいて画像信号を判定する判定範囲を定め、画像信号の範囲を制限することができる。例えば、複数の基準値を用いることにより、露光量が多くハイライト階調として撮像された領域を判定範囲から除くことができ、画像信号の判定を適切に行うことができる。
さらに、画像抽出部２４は、一又は複数の基準値と、その基準値に対する偏差とを加算した値に基づいて判定範囲を定めることとしてもよい。
また、画像抽出部２４は、仮テンプレートを撮像された画像信号を構成する画素数に応じて定めることとしてもよい。例えば、撮像部８の画素数を基準に、その縦方向の画素数の１／２の値を設定することにより、領域を容易に制限することができる。
また、画像抽出部２４は、仮テンプレートを縦横の２辺が等しい奇数の画素数で示される範囲を設定することにより、その中心の画素を容易に選択することができる。

テンプレート設定部２５は、撮像部８から出力された画像信号による画像のうち、画像抽出部２４によって抽出された仮テンプレートに含まれる領域から一部の画像信号を含む範囲を基準画像（テンプレート）として設定する。
テンプレート設定部２５は、レンズ鏡筒２００の種別から導かれる被写体までの距離情報の信頼度がその種別に応じて予め定められる所定の値より高いと判定された場合に、特定の被写体の像の大きさに応じて基準値を設定し、被写体までの距離情報の信頼度が所定の値より低いと判定された場合にユーザーの操作によって選択された位置の周りの画素の信号を平均化した平均信号強度に応じて基準値を設定する。
その被写体までの距離情報の信頼度は、レンズ鏡筒２００の種類に応じて設定される。具体的に示すと、レンズ鏡筒２００の種類から導かれる被写体までの距離情報の信頼度は、レンズ鏡筒２００の焦点距離ｆと距離環によって示される距離情報ＬＤとによって示される式（１）から導くことができる。

例えば、実際の被写体距離が１ｍであったときに、焦点距離が１８ｍｍ、距離環によって示される距離情報ＬＤの値が７８である場合の信頼度は、式（２）となる。

一方、実際の被写体距離が同じ１ｍであったときに、焦点距離が２００ｍｍ、距離環によって示される距離情報ＬＤの値が８０である場合の信頼度は、式（３）となる。

この信頼度は、その値が小さいほど信頼できることを示す指標として用いられる。
また、信頼度によって示される信頼性を判定するときに基準とする信頼度閾値は、レンズ鏡筒２００の種類に応じて定める。この信頼度閾値は、レンズ鏡筒２００から提供される固有の値であってもよく、或いは、レンズ鏡筒２００が有する情報に基づいて設定してもよい。
例えば、信頼度閾値は、式（４）に示す演算式を用いて導いてもよい。

画像追尾部２６は、撮像部８によって繰り返し撮像して得られた画像信号による画像のうち、テンプレート（基準画像）に対応する画像の位置を認識することにより、特定の被写体の像（対象）を追尾する。

図を参照し、特定の被写体の像の位置を検出する方法について具体的に示す。
図２は、本実施形態における撮像された被写体の像を示す図である。
この図に示される範囲は、撮像部８によって撮像された画像信号の一部から抽出された仮テンプレートの範囲を示す。この図に示される仮テンプレートは、一例として縦横がそれぞれ１３画素で構成された場合を示す。仮テンプレート内の位置を特定するため、左下の画素を基準に、横方向にＸ軸、縦方向にＹ軸を定義する。この座標は、抽出された仮テンプレートに基づいた座標であり、画像信号から抽出された範囲の位置を示す。すなわち、画素の位置を（ｘ，ｙ）座標で示すとすれば、左下の画素の座標は（１，１）であり、右上の画素の座標は（１３，１３）であり、その中心の位置（ＴＰＧ１）の座標は（７，７）である。

図２（ａ）では、仮テンプレートの中央に撮像された人物の顔が被写体の像として示されている。座標（７，８）近傍を中心として描かれる円が人物の顔を示し、顔の下部に上半身が示される。
また、図中の四角は、抽出されたテンプレートＴＰ１を示す。テンプレートＴＰ１の位置は、左下と右上の画素を用いて、（４，５）−（１０，１１）として示すこととする。
このテンプレートＴＰ１は、その画素として検出された画像信号の色成分によって示される特徴量（例えば、色の濃さ、モノクロ画像であれば輝度）に基づいて抽出された範囲を示す。以下、輝度を例として説明するが、色成分の特徴量として読み替えることができる。
図２（ａ）では、仮テンプレートに設定された範囲の約１／４の面積に人物の顔の大きさが撮像された状態にある。その顔の部分の画素では、背景に比べ輝度が高い画像信号が得られたものとする。画像信号の輝度情報について、予め定められる基準値を用いて判定する。ここでの判定では、１つの基準値を用いて画素の輝度情報を２値化して示す。輝度が高いと判定された画素は、２値化され白く示される画素で示し、輝度が低いと判定された画素は、濃度を濃くして示す。顔の部分の画素では、白く示される画素が集中して示される。

図２（ｂ）では、仮テンプレートに設定された範囲の約１／２０の面積に人物の顔の大きさが撮像された状態にあり、その分背景部分の面積が広くなる。図２（ａ）の場合と同じ基準値を設定すると、その顔の部分の画素では、図２（ａ）と同様に顔の部分は背景に比べ輝度が高い画像信号が得られるが、背景においても輝度が高い画素が検出され、顔以外の白画素も一緒に検出される。
そのため、顔以外で検出された白画素が影響して、白画素の重心ＷＧ２が顔の位置からずれるとともに、検出された白画素の数が多くなることから所望の大きさより大きなテンプレートＴＰ２が導かれる。この状態で導かれたテンプレートＴＰ２は、所望の人物の顔を抽出するテンプレートとして位置も大きさも適さないものとなる。

次に、同じ画像信号に対して、基準値を変更し、白画素の数が少なくなるように定める。
図２（ｃ）では、基準値を変更することにより、図２（ｂ）に示した人物の顔の周辺以外の白画素の数が少なくなり、抽出されたテンプレートＴＰ３の大きさも小さくなるとともに、テンプレートＴＰ３の位置も顔の位置に適する位置が選択される。この状態で導かれたテンプレートＴＰ３は、所望の人物の顔を抽出するテンプレートとして適するものとなる。

次に、テンプレートの位置を特定する方法をより具体的に示す。
上記のように２値化された白の画素に注目し、仮テンプレート内の白く示される画素（白画素）の重心を式（５）として示される演算式により導く。白画素の重心の位置は、Ｘ軸、Ｙ軸それぞれにおいて左右、上下にバランスされる位置として示される。

式（５）において、ｘ_ｗが白画素の重心のｘ座標、ｙ_ｗが白画素の重心のｙ座標、ｘ_ｉが各白画素のｘ座標、ｙ_ｉが各白画素のｙ座標、ｋが白画素の数を示す。
式（５）により導かれた重心を、各白画素と重心との距離に対して重み付けを設定して補正する。その重み付けは、仮テンプレートの白画素の重心に近い画素に対する重み係数を高め優先度を上げたり、評価対象から除く画素に対する重み係数を０と定義してもよい。

続いて、導かれた白画素の重心の位置に基づいて、白画素の重心周りの慣性モーメントを導く。白画素の重心の慣性モーメントの算出方法は、公知のため詳細な説明は省略するが、例えば、（白画素の重心からの画素の距離の２乗）と（白画素（または黒画素）の濃度値）との積の和により導くことができる。白画素と黒画素の濃度値は、１と０の値を代表値とすることにより演算量を減らすことができる。この関係を式（６）に示す。

式（６）において、ｍが白画素の重心の慣性モーメント、ｗ_ｉが白画素（または黒画素）の濃度値を示す。
次に、テンプレートの大きさを特定する方法を示す。
テンプレートの大きさは、検出された白画素数、算出された重心周りの慣性モーメントに基づいて、評価値を式（７）を用いて算出する。

式（７）において、αが係数を示す。
算出した評価値が一番大きいマスクを選択し、そのマスクにおける白画素数からテンプレートサイズを決定する。テンプレートサイズは、白画素数の平方根として、式（８）によって導かれる。

以上の演算処理により、導かれたテンプレートサイズに基づいて、白画素の重心を中心とするテンプレートを取得することができる。
このように、仮テンプレートの領域を、基準値を用いて２値化したマスクを生成するマスク処理の基準値を変えることにより、そのマスク処理の結果が変わり、白画素の数も変わる。白画素数から、テンプレートのサイズを決定するため、白画素を抽出する基準値を変更することにより最終的なテンプレートサイズの変化しやすさを調整することができる。
すなわち、被写体の像の大きさが大きい場合には、白画素数を多くして、テンプレートサイズが大きくなるように基準値を設定して、被写体の像の大きさが小さい場合には、白画素数を少なくして、テンプレートサイズが小さくなるように基準値を設定する。
なお、上記のテンプレートの取得処理は、各色成分を示す信号ごとにそれぞれ行い、最も評価値が大きい値を示す色成分を選択することにより、背景と異なる色成分を用いて被写体の情報を所得することができる。

図３は、本実施形態におけるテンプレートを取得する処理を示すフローチャートである。
ステップＳａ１において、画像抽出部２４は、仮テンプレートの大きさ（仮テンプレートサイズ）を決定する。仮テンプレートサイズは、撮像部８の有効画素数に応じて設定する。例えば、有効画素の縦方向の画素数の１／２を選択しても良い。
ステップＳａ２において、画像抽出部２４は、仮テンプレートを取得する。仮テンプレートは、ユーザ選択エリアに対応した座標を、仮テンプレートの中心に設定し、ステップＳａ１において定められた仮テンプレートサイズにしたがって設定される。
ステップＳａ３において、撮影制御部２３は、レンズ鏡筒２００からレンズ情報を取得する。取得されたレンズ情報には、レンズ鏡筒２００の種類、焦点距離、距離環に基づいた距離の情報が含まれる。
ステップＳａ４において、テンプレート設定部２５は、レンズ情報に基づいた距離情報の信頼性が定められた値より高いか否かを判定する。信頼性が定められた値より高くないと判定された場合は、ステップＳａ６からの処理を行う。

ステップＳａ５において、ステップＳａ４における判定の結果、信頼性が定められた値より高いと判定された場合は、テンプレート設定部２５は、被写体の大きさの算出を行う。算出される被写体の大きさは、撮像部８の撮像面に映る被写体の像の大きさとする。撮像面に映る被写体の像の大きさは、実際の被写体の大きさと、レンズ鏡筒２００の光学系の倍率によって導かれる。ただし、実際の被写体の大きさは、測定することが困難であることから、被写体の種類に応じた代表的な大きさをモデル化して、標準的な大きさを設定する。例えば、人物であれば顔判別処理に用いられているように顔の大きさなどを予め定められた値から選択する。

ステップＳａ６において、テンプレート設定部２５は、被写体の大きさに基づいて、基準値を決定する。導かれた被写体の大きさに対応する画素数が抽出されるように基準値の値を調整し、適した画素数が抽出される値を基準値として設定する。
なお、ステップＳａ４における判定の結果、距離情報の信頼性が定められた値より高くないと判定された場合には、演算によって導かれる被写体の大きさの精度が低下している状態になる。その場合の基準値は、ユーザーが指定した選択画素周辺の画素の平均値を採用する。
ステップＳａ７において、テンプレート設定部２５は、仮テンプレートマスクを選択する。例えば、仮テンプレートマスクの選択は、撮像部８によって検出される各色成分（Ｇ，ＧＢ，ＧＲ，Ｇ補色）のそれぞれにおいて２値化処理を行い白画素の重心、評価値を算出する。
ステップＳａ８において、テンプレート設定部２５は、算出された評価値に基づいて評価値の大きい色成分のマスクを選択し、テンプレートサイズを決定する。
ステップＳａ９において、テンプレート設定部２５は、評価値が大きいとして選択されたマスクの白画素の重心を中心として設定し、ステップＳａ８において決定された大きさのテンプレートを決定し、テンプレートを取得する処理を終える。
選択されたテンプレートを用いて、画像追尾部２６は、撮像部８によって繰り返し撮像して得られた画像信号による画像のうち、そのテンプレートに対応する画像の位置を識別することにより、特定の被写体の像を追尾する。

（第２実施形態）
図を参照し、第１実施形態におけるフローチャートのステップＳａ５における撮像部８の撮像面に映る被写体の大きさの検出方法と異なる検出方法を示す。図１に示した構成と同じ構成を用いて行われる。
図４は、撮像部の撮像面上を移動する被写体の像をモデル化して示す図である。
この図は、繰り返し撮像された画像をフレーム単位で示したものである。フレームＦＬ１は、撮像部８によって撮像された所定の時刻の画像を示し、取得された被写体ＯＢ１の像が示される。また、フレームＦＬ１から数フレーム分の時間が経過したフレームＦＬｋは、同じく撮像部８によって撮像された画像であり、フレームＦＬｋとして取得された被写体ＯＢ１の像が示される。

ここで、フレームＦＬ１とフレームＦＬｋとの間で、大きな差のある領域を抽出するフレーム間差分処理を行って、差分情報をもとにしたフレームＦＬｄｅｆを導く。フレームＦＬｄｅｆでは、数フレーム分の時間差で同じ画角で撮影した画像に基づいて導かれることから、背景領域の差が小さく、移動する被写体の領域の差が大きく異なる領域（被写体ＯＢ１と被写体ＯＢｋ）として得られる。
移動する被写体の領域として得られた被写体ＯＢ１と被写体ＯＢｋの面積を加算して、１／２とすることにより、被写体ＯＢ１と被写体ＯＢｋの面積の平均を導くことができる。導かれた面積に基づいて被写体の大きさを決定することが可能となる。

なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。

１ 撮像装置
８ 撮像部
２４ 画像抽出部
２５ テンプレート設定部
２６ 画像追尾部
２１０ 光学系

Claims (14)

1. 光学系による像を撮像して画像信号を出力する撮像部と、
   前記撮像部によって撮像された特定の対象の大きさに応じて設定される基準値に基づいて、前記画像信号のうちの一部の画像信号を抽出する抽出部と、
   前記撮像部から出力された画像信号による画像のうち、前記抽出部によって抽出された前記一部の画像信号を含む画像の範囲を、基準画像として設定する設定部と、
   前記撮像部によって繰り返し撮像して得られた画像信号による画像のうち、前記基準画像に対応する画像の位置を認識することにより、前記特定の対象を追尾する追尾部と、
   を備えたことを特徴とする画像追尾装置。
2. 請求項１に記載の画像追尾装置において、
   前記画像信号は、複数の色ごとに対応した第１画像信号と第２画像信号とを含み、
   前記抽出部は、前記第１画像信号と第２画像信号のそれぞれから前記基準値に基づいて抽出した画像信号の、前記画像内でのばらつきに基づいて前記一部の画像信号を抽出する
   ことを特徴とする画像追尾装置。
3. 請求項１又は請求項２に記載の画像追尾装置において、
   前記設定部は、
   前記光学系の情報から導かれる被写体までの距離情報の信頼度が所定の値より高いと判定された場合に前記特定の対象の大きさに応じて前記基準値を設定し、前記信頼度が前記所定の値より低いと判定された場合にユーザーの操作によって選択された位置の周りの画素の信号を平均化した平均信号強度に応じて前記基準値を設定する
   ことを特徴とする画像追尾装置。
4. 請求項３に記載の画像追尾装置において、
   前記被写体までの距離情報の信頼度は、前記光学系の焦点距離ｆと距離環によって示される距離情報ＬＤとによって示される演算式（（距離情報ＬＤ）／（焦点距離ｆ））から導かれる
   ことを特徴とする画像追尾装置。
5. 請求項３又は請求項４に記載の画像追尾装置において、
   前記被写体までの距離情報の信頼度は、前記光学系の種類に応じて設定される
   ことを特徴とする画像追尾装置。
6. 請求項１から請求項５のいずれかに記載の画像追尾装置において、
   前記一部の画像信号を含む画像を抽出する範囲は、
   前記撮像された画像信号を構成する画素数に応じて定められる
   ことを特徴とする画像追尾装置。
7. 請求項１から請求項６のいずれかに記載の画像追尾装置において、
   前記一部の画像信号を含む画像を抽出する範囲は、
   縦横の２辺が等しい奇数の画素数で示される
   ことを特徴とする画像追尾装置。
8. 請求項１から請求項７のいずれかに記載の画像追尾装置において、
   前記基準値は、
   前記一部の画像信号を含む画像を抽出する範囲を構成する画素の各色成分に応じて定められる
   ことを特徴とする画像追尾装置。
9. 請求項１から請求項８のいずれかに記載の画像追尾装置において、
   前記基準値は、
   前記一部の画像信号を含む画像を抽出する範囲の中心の画素の各色成分、前記中心の画素の周りの画素の各色成分の平均値、或いは、前記一部の画像信号を含む画像を抽出する範囲の画素の各色成分の平均値のいずれかに応じて定められる
   ことを特徴とする画像追尾装置。
10. 請求項１から請求項９のいずれかに記載の画像追尾装置において、
    前記抽出部は、
    一又は複数の前記基準値に基づいて画像信号を判定する判定範囲を定める
    ことを特徴とする画像追尾装置。
11. 請求項１から請求項９のいずれかに記載の画像追尾装置において、
    前記抽出部は、
    前記一又は複数の基準値と、該基準値に対する偏差とを加算した値に基づいて前記判定範囲を定める
    ことを特徴とする画像追尾装置。
12. 請求項１１に記載の画像追尾装置において、
    前記設定部は、
    前記一部の画像信号を含む画像を抽出する範囲において前記判定範囲として判定される画像の占める面積が予め定められる所定の値より広いと判定される場合に前記基準画像の範囲を広くするように前記偏差を設定し、前記所定の値より狭いと判定される場合に前記基準画像の範囲を狭くするように前記偏差を設定する
    ことを特徴とする画像追尾装置。
13. 請求項１から請求項１２のいずれかに記載の画像追尾装置を含んで構成する
    ことを特徴とする撮像装置。
14. 光学系による像を撮像して画像信号を出力する撮像ステップと、
    撮像された特定の対象の大きさに応じて設定される基準値に基づいて、前記画像信号のうちの一部の画像信号を抽出する抽出ステップと、
    前記出力された画像信号による画像のうち、前記抽出された一部の画像信号を含む画像の範囲を、基準画像として設定する設定ステップと、
    繰り返し撮像して得られた前記画像信号による画像のうち、前記基準画像に対応する画像の位置を認識することにより、前記特定の対象を追尾する追尾ステップと、
    を備えたことを特徴とする画像追尾方法。

Images