JP2006270274A

JP2006270274A - 被写体認識装置、および被写体認識方法

Info

Publication number: JP2006270274A
Application number: JP2005082834A
Authority: JP
Inventors: Hiroshi Matsuzaki; 弘松崎
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2005-03-22
Filing date: 2005-03-22
Publication date: 2006-10-05

Abstract

【課題】
撮影装置に適用可能で、正確に被写体の認識を行い効果的な追尾を行う装置、および方法を提供する。
【解決手段】
本被写体認識装置は、被写体に装着され、被写体の位置を報知する位置報知手段と、位置報知手段からの信号を直接、または間接的に受信する受信手段と、撮像装置で撮影された画像内で前記被写体に装着された上記位置報知手段の上記画像内の像位置を特定する位置特定手段と、該像位置特定手段で特定された上記位置報知手段の上記画像内の像位置に基づいて、上記画像から被写体内の少なくとも１つの特徴位置、または特徴領域を探索する探索手段と、上記位置報知手段の像位置と探索された特徴位置または領域との位置関係を算出する位置関係算出手段と、該位置関係算出手段で算出された位置関係から上記被写体の画像上での大きさ、および被写体までの距離を推定する推定手段とを備えている。
【選択図】図１

Description

本発明は、映像を撮影する際に対象となる被写体を認識し、その大きさと被写体までの距離を推定すると共にズーム制御および追尾制御を行い、良好な映像を得る被写体認識装置、および被写体認識方法に関する。

デジタルカメラやデジタルビデオカメラの普及に伴い、様々な対象物の撮影が行われるようになってきている。

従来、デジタルカメラ、またはビデオカメラ等の撮影装置で撮影を行う際に、被写体が良好な条件で視野範囲内に存在するように撮影を行ったり、適切な構図を設定したりするためには、撮影者の経験や技能に大きく依存する状況であったが、簡易に被写体の追尾を行い、良好な構図を設定する要望に応じた自動被写体追尾装置の提案がなされてきている。

例えば、特許文献１に示されるように、被写体に装着する発信器からの信号をカメラ側の受信機により受信し、この信号に基づいてカメラ雲台の方向とズーム制御信号を調整することによりダイナミックかつ観やすい映像を提供する装置が提案されている。

同様に、特許文献２に示されるように、光ビーコンからの信号を利用し、そのＩＤ情報や、移動体の制御に用いる情報も合わせて利用して被写体の追尾を行うことを述べられている。

さらに、特許文献３では、被写体に装着したＧＰＳにより被写体、および撮影装置の位置を検出し、撮影装置から被写体の方向を算出することにより撮影方向を自動制御するビデオカメラシステムに関し述べられている。

また、撮影された映像を画像処理の手法を用いて被写体の特徴量域を検出すし、この軌跡を追跡することにより被写体の追尾を行う方法が特許文献４には述べられている。ここでは、映像における複数の時系列画像から背景差分法と動的２値化法、またはテンプレートマッチングの処理による移動物体検出と、検出された物体の特徴量を算出し、時系列的に同一物体であるか否かを判別することにより被写体の追尾処理を行うものである。
特開２００３−２７４２５７号公報特開２００４−１０１６１６号公報特開２００４−１１２６１５号公報特開２００２−１５７５９９号公報

しかしながら、上記従来例においては、受信信号のみからでは被写体の位置の情報は得られるが、撮影された画像上での発信器の正確な位置を特定することは困難であり、そのため正確な方向制御やズーム制御を行うことも困難であるという課題がある。

また、画像認識のみによる被写体領域探索による方法は、一般的に、画像のノイズ等の影響によりロバスト性に乏しい場合が多いため認識精度の面において被写体からのアクティブな信号受信による方法に対して劣るため、精度の良い被写体認識ができないということと、画像全体の処理を行う必要があるため処理速度が遅くなる可能性があるという課題がある。

さらに被写体の画像上での大きさや撮影装置から被写体までの距離が考慮されておらず、視野内での被写体の適切な大きさを保つということが考えられていないという課題がある。

本発明は、上述の問題を解決するためになされたもので、正確に被写体の認識を行い効果的な追尾を行う装置、および方法を提供することを目的とするものである。

本発明の請求項１記載の被写体認識装置は、
上記被写体に装着され、上記被写体の位置を報知する位置報知手段と、
上記被写体に装着された位置報知手段からの信号を直接、または間接的に受信する受信手段と、
上記撮像装置で撮影された画像内で前記被写体に装着された上記位置報知手段の上記画像内の像位置を特定する位置特定手段と、
該像位置特定手段で特定された上記位置報知手段の上記画像内の像位置に基づいて、上記画像から被写体内の少なくとも１つの特徴位置、または特徴領域を探索する探索手段と、
上記位置報知手段の像位置と探索された特徴位置または領域との位置関係を算出する位置関係算出手段と、
該位置関係算出手段で算出された位置関係から上記被写体の画像上での大きさ、および被写体までの距離を推定する推定手段とを備えている。

また、本発明の請求項１２記載の被写体認識方法は、
被写体に装着され、上記被写体の位置を報知する位置報知手段からの信号を直接、または間接的に受信するステップと、
撮像装置で撮影された画像内で前記被写体に装着された上記位置報知手段の上記画像内の像位置を特定するステップと、
上記特定された上記位置報知手段の上記画像内の像位置に基づいて、上記画像から被写体内の少なくとも１つの特徴位置、または特徴領域を探索するステップと、
上記位置報知手段の像位置と上記探索された特徴位置または領域との位置関係を算出するステップと、
該算出された位置関係から上記被写体の画像上での大きさ、および被写体までの距離を推定するステップとを備えている。

本発明の被写体認識装置、および被写体認識方法によれば、正確に被写体の認識を行い効果的な追尾を行うことができる。

以下、図面を参照して本発明の実施例を説明する。

図１から図７は本発明の実施例１を示したものであり、図１は被写体追尾システムの構成を示すブロック図、図２は被写体、および被写体上の信号発信装置と、撮影装置との方向角を示す図、図３は被写体認識処理の流れを示すフローチャート、図４は被写体を基準位置に配置して撮影された画像を示す図、図５は被写体が任意の位置にあるときに撮影された画像を示す図、図６はキャリブレーション処理の流れを示すフローチャート、図７は連続的に撮影装置の姿勢制御とズーム制御を行う処理の流れを示すフローチャートである。

図１に本発明の全体の構成図を示す。この被写体追尾システムは、図１に示すように、撮影装置１と、雲台２（制御雲台）と、信号受信装置３と、撮影装置１が取り付けられた雲台２と、被写体４の位置を報知する位置報知手段である信号発信装置５とで構成されている。雲台２は電子制御により方向を制御することが可能なものとなっている。撮影装置１は被写体像を結像するためのズームレンズ等の光学系１４と、上記光学系１４を介して結像される光学的な被写体像を光電変換して電気的な画像信号を出力するものであり例えば原色系の色フィルタが前面に配置された単板ＣＣＤ等でなる撮像素子８とを備えている。

撮影装置１は雲台２（制御雲台）に取り付けられており、被写体４内の信号発信装置５からの情報を信号受信装置３により検出する。演算装置６は、信号受信装置３からの受信信号を受け取り、信号位置・方向演算部７で信号発信装置の位置や方向を検出する。検出された信号発信装置５の位置や方向に係る情報信号は、撮像装置１内の撮像素子８からの画像信号とあわせて、画像内信号位置・方向特定演算部９で処理され、信号発信装置５の画像内での位置を特定する。特定領域位置算出部１０では被写体４内の特徴量域Ｆの位置１１の検出を行い信号発信装置５の位置との関係において被写体距離算出部１２で被写体位置までの距離の算出を行い、被写体４の方向を示す信号発信装置５の方向に撮影装置１の撮影方向を向けるために、必要に応じて雲台制御信号発信部１３で雲台方向制御信号を発生させて雲台２の方向を変更して撮像装置１の方向制御を行う。なお、演算装置６は撮像装置１、或いは制御雲台２、信号受信装置３の何れかに内蔵されていてもよく、別体でもよい。

信号受信装置３は図２に示すように、撮影装置１、雲台２、信号受信装置３とともに、三脚１０４等の固定台に設置されている。信号受信装置３は、この図のように独立して配置とすることも、撮像装置１内、或いは雲台２に組み込んでおくことも可能であり、撮影装置１の位置、姿勢情報を制御するための信号が受信できる位置であれば限定されることはない。信号受信装置３は、被写体４に装着した信号発信装置５からの信号を直接、或いは不図示の衛星通信手段、携帯電話等の公共無線通信手段等の中継機器を経由して間接的に受信する。尚、信号受信装置３は、撮影装置１や雲台２から独立した配置とすることも、撮影装置１、または雲台２に含まれる配置とすることも可能であり、撮影装置１の位置、姿勢情報を制御するための信号が受信できる位置であれば限定されることはない。

信号送受信の方法としては、電波、光線等の電磁波や音波等を信号発信装置５より送信し、信号受信装置３により信号を検出する。信号検出方向を計測することにより、信号発信装置５からの信号方向と雲台２の方向との角度の差が算出され、被写体４或いは信号発信装置５が撮像装置１の視野内、または視野外であっても、雲台２の方向を制御することにより、被写体４或いは信号発信装置５を上記視野内の任意の位置に設定することが可能となる。雲台２の不図示の方向制御回路とのフィードバックによる最適方向制御を行う手法を利用することも可能である。

画像上での被写体４に装着した信号発信装置５から送出される発信信号位置、または方向が特定されれば、画像内での被写体４は、この信号発信装置５の周辺領域であることが判明するため、画像処理的に被写体４を構成する各部品（例えば人間の場合、頭部、顔部、胸部、腹部、左右の手、足、左右の目、口、鼻等）の検出を行う場合に、信号発信装置５の位置を中心とした探索を行うことにより検出精度、または検出確度の良い特徴領域探索を行うことが可能となる。

ここで画像内での信号発信装置５の位置の特定方法を以下に示す。
被写体４、および被写体上の信号発信装置５と、撮影装置１との方向角を表す関係としては、図２に示す通りであり、信号受信機３で検出された信号の方向θ0、φ0を計測することにより、信号発信装置５の画像上での位置が算出されることになるが、撮像素子上での信号発信装置５の位置は、撮像装置１への入射角θ，φと撮影装置１の光学系１４の焦点距離ｆから以下の数式１のように算出される。

更に、撮像素子８の大きさｘ₀×ｙ₀ 、画素数ｗ×ｈを考慮すると、数式２となり、画像上での信号発信装置５の位置が決定される。

尚、上記数式１，数式２は、基本的には信号受信装置３と撮像装置１とは十分近い位置に配置されており、同一鉛直線上に配置されているか、または被写体位置までの距離は信号受信装置３と撮像装置１との距離に対して十分大きな値をとることとして、θ≒θ₀、φ＝φ₀が成り立つと仮定している。
また、信号受信装置３と撮像装置１とが離れている場合には、撮像装置１に搭載されている不図示のオートフォーカス用の測距装置から得られる被写体４までの距離情報を用いる必要があり、その値がdであり、信号受信装置３と、撮像装置１との距離がDである場合は、下記の数式３で表わされる関係式によりθを算出した上で、画像内の信号発信装置５の位置を特定することが可能となる。

図２に示すように被写体４が人物である場合、例えば、信号発信装置５をベルトに装着し、被写体４の特徴領域１１（Ｆ）を頭部、または顔領域として利用することを考える。

信号発信装置５からの信号が発信される方向がわかれば、撮影装置１の左右、上下の振り角が決められる。顔領域は通常ベルトより上方にあるため、通常、探索の領域は、画像内信号位置・方向特定演算部９で算出されて設定された信号発信装置５の画像内の位置より上側のみで十分である。但し、上部のみの探索で見つからなかった場合には、画像領域全体に拡大する必要がある。

頭部の探索方法としては、画像の色情報を利用して、例えば、顔領域は肌色の色を探索し、さらに、顔部品、即ち、目、眉、口、鼻等をそれぞれテンプレートマッチングの手法等により検出し、それらの位置関係を既知とした上で、位置関係が適合した場合に顔、または頭部として認識する手法や、顔全体のテンプレートマッチングの手法を用いる方法等、任意の認識方法を利用することが可能である。

または、特徴として、識別マーカを被写体４に取り付けておき、そのマーカをテンプレートマッチング等の手法により検出する方法を利用することも可能である。

さらに、動画像として撮影を行っている場合には、被写体４の動き情報により画像列の時間変化による画像差分をとることにより被写体４として特定する方法もある。

ここで本発明の被写体認識処理の流れを図３のフローチャートを用いて説明する。

まず、被写体４に装着された信号発信装置５からの信号を受信する（Ｓ３０１）。

次に、信号発信装置５の位置、および方向の算出を行なう（Ｓ３０２）。

更に上記Ｓ３０２にて算出した上記信号発信装置５の位置、方向情報に基づいて雲台２の方向制御を行い、撮像装置１の視野内のユーザにより指定された位置に信号発信装置５が写るように設定する（Ｓ３０３）。

その後、例えばユーザーからのレリーズ等の撮影指示に従って撮像装置１内の撮像素子８から演算装置６に映像信号が入力され、撮影された画像における各画素値が入力される（Ｓ３０４）。

次に、Ｓ３０２で算出した信号発信装置５の位置、および方向とＳ３０４で入力した画像情報を用いて、信号発信装置５の画像上での位置の対応付けを行なう（Ｓ３０５）。

更に、Ｓ３０５で対応付けられた画像上の信号発信装置５の位置に基づいて基準位置を設定し、この設定された基準位置より、被写体４の特徴部１１の領域または特徴部１１の位置の探索を行なうための探索領域の設定を行なう（Ｓ３０６）。

このステップは、信号発信装置５の位置に基づいて被写体４の特徴部１１の領域または特徴部１１の位置、即ち特徴位置を探索する探索範囲を設定するステップであり、信号発信装置５の位置が予めわかっているため、画像全体の探索を行う必要がなくなり結果として特徴探索の時間が短縮される。

次いで、Ｓ３０６で設定した探索領域の範囲内で被写体４の特徴位置の探索を行なう（Ｓ３０７）。

被写体４の特徴位置の探索が終了すると、特徴探索が成功したか否かを判定する（Ｓ３０８）。

判定の結果、特徴探索が成功したと判定された場合、特徴位置の決定がなされる（Ｓ３０９）。

一方、判定の結果、特徴探索が失敗と判定された場合、すなわちＳ３０６で設定された特徴探索範囲内で特徴が探索できなかった場合には、Ｓ３０６で設定された探索範囲外を探索する（Ｓ３１０）。

次いでＳ３０９に進み特徴位置に決定がなされる。

ここで、画像上での信号発信装置５と特徴位置とがわかるため撮影装置１から被写体までの距離が算出される（Ｓ２１１）。

なお、画像上での信号発信装置５の位置と、被写体４内の特徴領域１１の位置とが検出されたとき、予め、キャリブレーション処理が行われている環境下ではＳ２１１における撮影装置１と被写体４との距離、および大きさが推定できる。即ち、予め、設定された位置においてキャリブレーションのための撮影を行うことにより被写体４の任意の位置における撮影装置１からの距離や被写体４の大きさを三角測量の原理により算出することが可能である。

図４、図５、および図６のフローチャートを用いてキャリブレーションの方法を説明する。

先ず、被写体４を基準位置Ｄ₀の位置で撮影を行う（Ｓ６０１）。
撮影された画像は図４のようになる。

次に、画像上での信号発信装置５の位置Ｓ₀（座標で表現するとＳ₀（ｘ_S0，ｙ_S0）、以下同様）を認識する（Ｓ６０２）。

その後、Ｓ₀を基準として画像上での被写体特徴位置Ｆ₀（座標で表現するとＦ₀ （ｘ_F0，ｙ_F0）、以下同様）を探索する（Ｓ６０３）。

そして、例えば距離等、上記画像上での信号発信装置５の位置Ｓ₀と被写体特徴位置Ｆ₀ との関係を算出する（Ｓ６０４）。

次に被写体４の画像上での大きさを指定する（Ｓ６０５）。
指定する方法としては、例えば撮影装置１に設置されたダイヤル、方向キー等で、ファインダ画面上に表示した枠の位置と大きさを選択することで画像上で指定する、或いはバストショットモード、アップモード、全身撮影モード、等予め撮影画面に対する被写体の占める割合を決めておき、モード設定で選択する等の方法が考えられる。

その後、被写体４の実際の大きさを下記の数式４を用いて算出する（Ｓ６０６）。
このとき、撮影装置１の光学系４の焦点距離がｆ、撮像素子８の大きさがｘ₀×ｙ₀ 、各画素のサイズがｄｘ×ｄｙ、画素数がｗ×ｈ、実被写体上の信号発信装置５の位置Ｓ（ｘ_S，ｙ_S）から特徴位置Ｆ（ｘ_F，ｙ_F）との距離をｌ（エル）とすると、下記の数式４で算出される。

信号発信装置５の位置と、被写体特徴位置のみからでは、被写体全体の大きさはわからないため、このキャリブレーション作業のときに被写体全体の大きさを設定する作業も行うことにする。図３に示すように上端Ｔ₀、下端Ｂ₀、左端Ｌ₀、右端Ｒ₀を指定することにより、Ｆ₀とＳ₀との間の距離ｌ₀ （エルゼロ）と数式４で算出したｌ（エル）との関係により実際の被写体４の大きさを算出することが可能となる。また、被写体４が人物等の実際に大きさの計測が可能な場合には計測しておいて、それらの値を利用することも可能である。

次に、被写体４が任意の位置にあるときに撮影装置１から被写体４までの距離Ｄ₁ を算出することを考える。図５に被写体４が任意の位置にあるときに撮影された画像を示す。このとき、画像上での信号発信装置５の位置をＳ₁、特徴位置をＦ₁とすると、下記の数式５で算出される。

但し、この算出式は光学系１４、すなわち撮影レンズに歪曲収差が無いと仮定した場合のものであり、歪曲収差が存在する場合には、歪曲収差の影響を考慮の上、補正を行う必要がある。

補正の方法としては、歪曲収差曲線により画像上の各点での歪曲収差量を考慮に入れて座標値の変換を行い上記数式４、数式５を適用する。

また、被写体４が有限の位置に存在する場合、被写体４の結像位置は焦点距離ｆとは一致せず、実際のフォーカス位置ｆ’に置き換えられ、ピント合わせ位置のオートフォーカス信号等による計測から値を得ることができるが、光学系１４に起因する被写界深度の影響の考慮を考えたときｆ’は誤差を持つことになる。この誤差の影響が本発明の被写体認識位置精度にも影響を与えることとなるので、ここで議論を行っておくことにする。光学系１４の絞り値をＦ_N0 、最小錯乱円直径をδ、被写体４までの距離をＤとすれば、後方被写界深度Ｄ_R、および前方被写界深度Ｄ_Fは、それぞれ、下記の数式６、数式７で表される。

このとき、被写体４がＤ_Rの位置から、Ｄ_Fの位置にある間で合焦されることになるが、この場合、この被写界深度内での位置の違いにより、信号発信装置５の位置や特徴位置は撮像素子８上でずれを生じることとなり、このずれが誤差として発生する。距離Ｄの位置にある物体上の特徴点Ｐの光軸からの距離がＲ_Pであるとき、撮像素子８上の結像位置の被写界深度の上限、下限にあったときの値をそれぞれ、ｒ_F、ｒ_Rとすれば、ｒ_F、ｒ_Rはそれぞれ下記の数式８、数式９であるため、最大ｒ_R−ｒ_Fの誤差が生じることとなる。

従って、この誤差を考慮した上で、被写体４が撮影範囲からはみ出ないように撮影装置１の方向制御や、光学系１４のズーム制御の際に余裕を見込むことにより適切な制御を行うことが可能となる。

さらに、利用者は、被写体位置設定手段により撮影装置１で撮影される被写体４が視野内のどの位置に配置したいかを設定することができるようになっており、利用者の設定した位置に前述の被写体認識方法により探索された被写体４が配置されるように、雲台２内の不図示の雲台制御装置により撮影装置１の姿勢の制御を行う。

また、前述のごとく、被写体４の画像内での画像サイズに対する相対的大きさも算出できるため、拡大・縮小率を最適化し被写体４が画面内で適切な大きさになるように光学系１４のズーム値を設定することが可能となる。映像の撮影において、連続的に撮影装置１の姿勢制御とズーム制御を行うことが可能となるがその方法に関し、図７のフローチャートにより説明する。

まず、で被写体４が撮影範囲内のどの位置に配置されるように撮影を行うかの指定を行う（Ｓ７０１）。

次に被写体４に装着された信号発信装置５からの信号を基に被写体４の位置を求める（Ｓ７０２）。

その後、信号発信装置５の位置に基づいた被写体４の特徴部１１の位置の認識を行う（Ｓ７０３）。

更に、信号発信装置５の位置と認識された被写体４の特徴部１１の位置とから被写体４までの距離を求める（Ｓ７０４）。

その後、Ｓ７０１で設定された位置に被写体１が配置されるように雲台２の制御を行う（Ｓ７０５）とともに、被写体１の大きさが画像内で適切な大きさになるように光学系１４のズーム制御を行う（Ｓ７０６）。

上記のフローではＳ７０５の後、Ｓ７０６を行なっているが、Ｓ７０６を先に行い、その後Ｓ７０５を行なってもよく、或いはＳ７０５と、Ｓ７０６とを並行して行なってよい。

被写体４内で認識する特徴１１としては、１つに限ったことではなく、複数の特徴位置を探索し、画像面上での特徴間距離も、信号発信装置５の位置と特徴部１１の位置との距離の他、探索された複数の特徴位置間の距離を利用して被写体４までの距離や大きさの算出に利用し、さらに精度を向上させることも可能である。

図８は本発明の実施例２を示したものであり、本実施例の撮像システムの構成を示すブロック図である。

この実施例２において、上述の実施例１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この実施例２の撮像システムは、上述した実施例１の構成に対して、被写体４の位置特定のために被写体４に装着された信号発信装置５と、撮影装置１、および被写体４の位置計測のための受信機、および計測された位置情報を送信するための送信機を装着している場面を考える。例えば、図８に示すようにＧＰＳを利用して位置計測を行うことを考えると、撮影装置１はＧＰＳ受信機８０２と信号送受信機８０３が装備されており、被写体４にはＧＰＳ受信機８０５と情報送信機８０６が装着されている。ＧＰＳ受信機８０２，８０５は衛星８０７から発信されるＧＰＳ信号を受信することにより各々の位置情報をそれぞれ独立に計測することができる。

ところで、被写体４を撮影装置１の撮影範囲内に導入するためには、撮影装置１に対する被写体４の相対的位置が必要になるため、ＧＰＳ受信機８０５で計測された被写体４の位置を撮影装置１側に送信する必要がある。そのために、送信機８０６が必要となり、位置情報を撮影装置１の情報受信機８０３に送信する。

または、撮影装置１や、被写体４とは独立した信号管理装置８０８を配置しておき、各ＧＰＳ信号を管理装置８０８に送信した上で管理装置８０８により撮影装置１に対する被写体４の位置を算出した上でその結果の信号を撮影装置１側の受信機８０３に送信することにより撮影装置１が被写体４の位置を認識させる手段を用いることも可能である。この信号を受信した上で、雲台９を制御し、被写体４を撮影範囲内に導入し、映像信号を処理することにより被写体４内の特徴部１１の位置の認識処理を行う。

図９から図１０は本発明の実施例３を示したものであり、図９は複数の被写体が任意の位置にあるときに撮影された画像を示す図、図１０は被写体が複数ある場合に指定された複数の被写体が適切な間隔で撮影されるように設定する処理を示すフローチャートである。

この実施例３において、上述の実施例１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施例では、被写体が複数ある場合について図９を用いて説明する。被写体が複数ある場合、どの被写体を撮影するかを決定しておく必要があるため、個々の被写体に対してそれぞれ独立な識別信号を有する信号を発信する必要がある。従って、各被写体に装着された信号発信装置にはそれぞれ被写体識別情報（ＩＤ）を割り振り、信号を解析することにより、どの信号発信装置から発信された信号であるかを特定できるようにしておく。

図９では被写体が２つのときの撮影画像を示している。図９のように被写体９０１，９０２を撮影範囲に配置させるためには、各被写体９０１，９０２の距離と大きさが必要になるが、実施例１で述べたような手法を用いることにより各被写体９０１，９０２の距離と大きさに関する情報が取得できる。

撮影時には、利用者は、不図示の被写体設定手段により撮影範囲に収めたい少なくとも１つの被写体を設定する。利用者は少なくとも一つの被写体を指定することにより対応するＩＤを付与された信号発信装置を装着した被写体に対して画像処理による被写体内特徴領域の探索を行う。

複数の被写体９０１，９０２を同時に視野内に配置するためには各ＩＤの認識、認識されたＩＤを持つ信号発信装置９０３，９０４の画像上での位置の算出、さらに各信号発信装置９０３，９０４を基準とした各被写体９０１，９０２の特徴部の位置の探索が必要となる。各被写体９０１，９０２の位置がわかると被写体９０１，９０２間の位置関係も算出することが可能であり、撮影装置１の視野範囲を考慮に入れて光学系１４のズーム量を変化させることにより、指定された複数の被写体９０１，９０２が適切な間隔で撮影されるように設定することができる。

図１０に本実施例に関する処理のフローチャートを示す。

複数の被写体には信号発信装置がそれぞれ装着されており、そのうち、ユーザが設定した被写体（例えば被写体９０１，９０２）について同一撮影範囲内に配置できるような撮影を行うため、まず被写体９０１，９０２に取り付けられた信号発信装置９０３，９０４からの信号を順次検出するためのループ処理を開始する（Ｓ１００１）。

次に順次異なるＩＤをもった信号発信装置９０３，９０４からの信号を受信する（Ｓ１００２）。

そして、予めユーザが指定した被写体からの信号であるかどうかの判別を行う（Ｓ１００３）。

Ｓ１００３で予めユーザが指定した被写体からの信号であると判断されると、指定された被写体に装着された信号発信装置であると認識された信号発信装置の画像上での位置を認識する（Ｓ１００４）。

その後、各被写体の信号発信器の位置に基づいた特徴位置探索領域の設定を行う（Ｓ１００５）。

特徴位置探索領域の設定が終わると、設定された特徴位置探索領域内で被写体の特徴位置の探索処理を行い（Ｓ１００６）、各被写体に対する特徴位置の決定を行う（Ｓ１００７）。

次いで、各被写体に対して信号発信装置の位置と、少なくとも１つの画像処理による被写体の特徴位置から被写体の大きさ、および撮影装置１からの距離を算出する（Ｓ１００８）。

設定された被写体全てに対して上述の処理が終わると、指定された被写体がすべて撮影視野内に配置されるように光学系１４のズーム量の制御を行い（Ｓ１０１０）、更に雲台による撮影装置の姿勢の制御を行う（Ｓ１０１１）。

ここでズーム量としては、被写体全体が視野内で、最大の大きさになるように設定するようにすれば適切であるが、ユーザの意図によっては、被写体の配置を視野内でずらしたり、ズームアウトしたりして映像効果を狙うことも考えられるため、ユーザは背景等を考慮に入れた場面ごとに適応的なズーム量、および姿勢方向に設定を指示することも可能なシステムとなっている。

図１１は本発明の実施例４を示したものであり、複数の被写体の撮影画像に各被写体の情報を重畳して表示する例を示す図である。

この実施例４において、上述の実施例１から３と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施例では、対象となる被写体が撮影されている映像上に、被写体の情報を重畳して表示する方法について図１１を用いて説明する。なお、図１１では被写体が２つのときに撮影画像のと各被写体の情報を重畳して撮影装置１のファインダ１１００内に表示する例を示している。無論被写体は１つでも、或いは３つ以上の任意の数でもよい。

上述の実施例１から３の手法を用いると、図１１に示すように、各被写体１１０７，１１０８に対して、信号発信装置１１０９，１１１０の位置と探索された各被写体の特徴部（１１０１，１１０２，１１０３，１１０４）の位置が画像上でわかる。従って、その位置を画像上で指示して表示する手段を有するものである。すなわち「被写体１；頭部」１１０１、「被写体１；腰部」１１０２、「被写体２；頭部」１１０３、被写体２；腰部」１１０４で示すように、撮影装置１のファインダ１１００内に認識された特徴部の位置に加えてそれらの属性情報１１０１〜１１０４が表示される。さらに、例えば枠１１０５，１１０６に示すように、被写体全体の領域を示すことも可能である。各情報表示は、常に表示されている必要はなく、撮像装置１に設置されている不図示のスイッチ等により、ＯＮ、ＯＦＦの切り替えを行うことができる手段を有してもよい。また、一部の表示情報のみ選択して表示させてもよい。

本実施例のように、認識された被写体をファインダ内で視覚的に認識するためには被写体に対する情報表示を行うための標識をファインダ内に重畳して表示することが有効である。表示する情報としては、被写体に装着された信号発信装置の位置や画像処理的に探索された被写体の特徴部の位置、或いは特徴部の領域、さらには被写体全体の領域を示すような表示方法もあり、これらの情報が表示されることにより撮影における構図の調整を行う際にも効果的となる。

図１２は本発明の実施例５を示したものであり、複数の被写体の撮影画像に各被写体の動きに対する情報を重畳して表示する例を示す図である。

この実施例５において、上述の実施例１から４と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施例では、被写体の動き情報も合わせて計測、または推定し、その動きに対する情報を撮像装置１のファインダ１１００等のような表示装置内に表示する方法を実施することも可能である。なお、図１２では被写体が２つのときに撮影画像のと各被写体の動きに対する情報を重畳して撮影装置１のファインダ１１００内に表示する例を示している。無論被写体は１つでも、或いは３つ以上の任意の数でもよい。

上述の実施例１から３の手法を用いると、各被写体およびその特徴部、信号発信装置等の画像内の位置が判る。そこで、図１２に示すように、被写体の移動方向を表すベクトルによる情報表示を行う。図１２では２つの被写体１１０７、１１０８の移動方向を表すベクトル１２０１、１２０２による情報表示を行っている。

さらに、ベクトルの長さにより、被写体の移動速度の大きさも合わせて表示することも可能となる。

被写体の動き情報表示に関しては、上述の実施例１から３の手法を用いて求まる各被写体およびその特徴部，信号発信装置等の画像内の位置の、時間経過に伴う移動を基にした被写体の動きの履歴情報から求める方法の他、カルマンフィルタによる動き推定の方法による動きベクトル表示を行う方法等を用いることも可能である。図１２に示すように被写体１１０７、１１０８の動きの方向を表示装置内に同時に表示することによりユーザはファインダ１１００内で視野内の被写体１１０７，１１０８の動き情報を知ることができるようになり、自動的な被写体追尾に加えてユーザによる撮影装置１の姿勢の調整の判断が容易となる。

以上、発明の実施形態例について夫々説明してきたが、前述の各実施例では、被写体が信号発信装置５を装着するという手法を用いたが、ＧＰＳを利用することを考えれば、発信機が内蔵或いは別体のＧＰＳ受信機によりＧＰＳ信号を受信し、位置情報を計測し、計測された位置情報を撮影装置側に送信することや、または、中継手段の一形態として被写体、撮影装置と独立した位置に配置された管理送受信装置を配置しておき、被写体に装着された発信機からの情報と撮影装置側からの情報を基に被写体と、撮影装置との位置関係を算出した上で撮影装置へ発信することにより、撮影装置が被写体位置を認識するということも考えられる。

尚、上述の各実施例から以下の１．から２０．の発明が導かれる。

１．撮影装置で撮影を行う対象である被写体を認識するための被写体認識装置であって、上記被写体に装着され、上記被写体の位置を報知する位置報知手段と、上記被写体に装着された位置報知手段からの信号を直接、または間接的に受信する受信手段と、上記撮像装置で撮影された画像内で前記被写体に装着された上記位置報知手段の上記画像内の像位置を特定する位置特定手段と、該像位置特定手段で特定された上記位置報知手段の上記画像内の像位置に基づいて、上記画像から被写体内の少なくとも１つの特徴位置、または特徴領域を探索する探索手段と、上記位置報知手段の像位置と探索された特徴位置または領域との位置関係を算出する位置関係算出手段と、該位置関係算出手段で算出された位置関係から上記被写体の画像上での大きさ、および被写体までの距離を推定する推定手段を有することを特徴とする被写体認識装置。

上記１．の発明によれば、被写体に装着された信号発信装置５により電波や光線等の電磁波を送信し、送信された信号を撮影装置側に被写体側より発信された信号を受信する手段を持つことにより受信された信号により、被写体の位置や方向を検出することが可能となる。被写体の位置、方向が検出されれば撮影装置で撮影された画像内で被写体に装着された信号発信装置５の位置を特定することが可能となる。信号発信装置５は被写体に装着されているため、画像上で被写体内部、または接して位置することとなる。また、検出された信号と画像上での対応付けに誤差があったとしても、被写体は対応付けされた画像上での位置から大きくずれることはないと考えられる。或いは、画像認識の手法により被写体を検出する方法が知られており、被写体内の特徴位置、または領域の検出処理を行うが、上記画像認識の手法に本発明を用いることで、上記の被写体に装着された信号発信装置５の位置が画像上で確定され、被写体の内部、または接する位置、または近傍の位置にあるという条件下での特徴領域、または位置の探索を行うことが可能となり、より被写体の特徴位置の探索を容易に行うことが可能となるとともに検出精度としても向上する結果となる。或いは、被写体内での特徴位置が複数検出されることとなるため、予めキャリブレーション処理を行うか、または信号発信装置５の位置と検出すべき特徴との間隔や、被写体の大きさを計測しておくことにより、画像上での信号発信装置５の位置と探索された特徴位置との距離を計測することにより撮影装置から被写体までの距離が算出できることになり、撮影装置と被写体との位置関係が詳細にわかり、撮影における構図の設定をより適切に行うことが可能となる。

２．上記探索手段は、被写体内の特徴位置検索または特徴領域検索を行う際に、探索の領域を画像内で特定された上記位置報知手段の像位置に基づいて設定する手段をさらに有することを特徴とする１．に記載の被写体認識装置。

上記２．の発明によれば、画像上で特定された信号発信装置の位置を基準とした被写体特徴位置を探索するときに、信号発信装置と探索すべき特徴位置との位置関係は予め決められているため、画像全体を探索する必要はなく、一定の範囲内に設定しておくことが可能である。そのため、画像全体を探索するより処理時間が短縮するという効果を持つ。例えば、被写体上の装着位置が腰部のベルトであるときでは、顔の位置は信号発信装置よりも上部にあり、かつ、被写体が人物であるという限定条件において、信号発信装置の位置として対応付けられた画像上の位置より上部で、かつ推定された人物の大きさに基づいた人物幅と推定される幅に対して誤差を考慮して一定の量だけ大きくした幅内の探索を行えばよく、探索範囲は大幅に減少できる。

３．上記撮影装置は、認識された被写体に関する情報をファインダ内に表示可能なファインダ内表示手段を有することを特徴とする１．または２．に記載の被写体認識装置。

上記３．の発明によれば、認識された被写体をファインダ内で視覚的に認識するためには被写体に対する情報表示を行うための標識をファインダ内に重畳して表示することが有効となる。表示する情報としては、被写体に装着された信号発信装置の位置や画像処理的に探索された被写体の特徴部、或いは特徴領域の位置、さらには被写体全体の領域を示すような表示方法もあり、これらの情報が表示されることにより撮影における構図の調整を行う際にも効果的となる。

４．上記ファインダ内表示手段に表示される情報は被写体の動きの情報であることを特徴とする３．に記載の被写体認識装置。

上記４．の発明によれば、被写体の動きは撮影装置の方向を設定する際に重要な要素となるが、映像を撮影する際に信号発信装置の位置や、画像処理的に探索される被写体の特徴部の位置は時間的に変化していくため、移動の軌跡がわかり、また、移動の速さに従ってズーム量の制御に対しても適切な情報を与えることができるため、この被写体の移動情報をファインダ内で表示することにより効果的な撮影を行うことが可能となる。

５．上記撮影装置は、ズームレンズを備え、上記推定手段により推定された撮影装置から被写体までの距離、および被写体の大きさに基づいて上記ズームレンズのズーム量の制御を行うズーム制御手段を有することを特徴とする１．乃至４．の何れか一つに記載の被写体追尾装置。

上記５．の発明によれば、被写体上で信号発信装置５の位置と特徴位置と、既知の特徴位置が２つ以上求められることにより予め被写体の大きさのキャリブレーションがなされている場合、画像上での被写体の大きさも求めることが可能となる。被写体の大きさと、被写体までの距離が求められれば被写体の大きさが画像上で設定された大きさになるようにズーム量を設定することが可能となり、構図の適切な設定を行うことができる。画面内での被写体の大きさは、システムが自動的に適切な大きさを設定する方法をとることも、または、ユーザが予め設定しておき、その設定された大きさになるようにズーム料を制御することも可能である。ユーザに撮る設定においては、一定の大きさに設定するのみならず、背景等、環境条件による適応的なズーム量の制御を行うことも可能である。

６．上記撮影装置は方向制御可能な雲台に搭載され、更に上記画像内における被写体を配置する位置を設定する被写体位置設定手段と、該被写体位置設定手段からの設定情報と、上記位置報知手段からの情報を基に、探索された被写体が前記設定された位置に配置されるように前記雲台の方向を制御する雲台制御手段とを有することを特徴とする１．乃至４．の何れか一つに記載の被写体認識装置。

上記６．の発明によれば、映像の撮影を行う際に被写体の画像内での位置を設定することも構図設定に置いて重要な事項であり、被写体を常に中央に設定するということはないため、被写体の位置の設定機能も必要となる。したがって、画像上での被写体の位置の指定を行う手段を有することにより、適切な構図の映像を撮影することが可能となる。さらに、認識された特徴位置に基づいて、自動的に被写体に対して設定された位置に写るように雲台の方向制御を行うことにより、自動的に適切な構図での映像の撮影が行える。

７．上記撮影装置は方向制御可能な雲台に搭載され、更に上記画像内における被写体を配置する位置を設定する被写体位置設定手段と、該被写体位置設定手段からの設定情報と、上記位置報知手段からの情報を基に、探索された被写体が前記設定された位置に配置されるように前記雲台の方向を制御する雲台制御手段とを有することを特徴とする請求項５に記載の被写体認識装置。

上記７．の発明によれば、映像の撮影を行う際に被写体の画像内での位置を設定することも構図設定に置いて重要な事項であり、被写体を常に中央に設定するということはないため、被写体の位置の設定機能も必要となる。したがって、画像上での被写体の位置の指定を行う手段を有することにより、適切な構図の映像を撮影することが可能となる。さらに、認識された特徴位置に基づいて、自動的に被写体に対して設定された位置に写るように雲台の方向制御を行うことにより、自動的に適切な構図での映像の撮影が行える。

８．上記位置報知手段は、該位置報知手段から発信する信号に被写体識別情報が付与されており、上記被写体認識装置は更に、上記被写体識別情報を基に撮影範囲内に配置しようとする少なくとも１つの被写体を指定する被写体指定手段を有し、該被写体指定手段で指定された被写体が視野内に配置されるように、上記雲台制御手段と上記ズーム制御手段により、前記雲台の方向と、ズーム量とを制御することを特徴とする７．に記載の被写体認識装置。

上記８．の発明によれば、被写体が複数ある場合に各被写体を同時に撮影視野範囲に配置する必要があるときには各被写体に信号発信装置を装着しておき、各信号発信装置が独立の被写体識別情報（ＩＤ）を持つような信号を発信することにより信号受信側の撮影装置により各被写体の位置、および方向の特定を行うことが可能となる。

ここで、ユーザは、複数の被写体の内、撮影範囲に配置しようとする被写体を指定する手段により対象被写体を設定し、撮影装置側では設定された被写体について各信号発信装置からの信号を認識し、各々の被写体に関してその各信号発信装置の位置を基準として特徴位置を探索し、各々の被写体の大きさ、撮影装置からの距離を算出し、同一撮影範囲内に配置できるように方向制御、およびズーム制御を行う。

９．上記ズーム制御手段並びに上記雲台制御手段は、画像内の被写体と該被写体の周囲画像との関係に基づいて、各々適応的にズーム量、および方向の指定と制御を行う手段を有することを特徴とする請求項８に記載の被写体認識装置。

上記９．の発明によれば、被写体の配置を設定する際に、指定された被写体がすべて撮影視野内に配置され、各被写体の大きさが画面上で最大になるようにズーム量、および方向の制御を行うことが初期設定となるが、構図の効果等を考慮した場合必ずしも初期設定の通りに制御することが適当とは言えない。背景と被写体との関連性も合わせて考慮する方が効果的な構図を設定することが可能となる場合もあるため、このような状況への対応も含めて、ズーム量、方向の制御を行う必要がある。従って、ユーザは被写体の位置のみならず、背景等も考慮の上、適応的な被写体位置、大きさの指定を行うことが可能であり、効果的な構図の映像が撮影できることとなる。

１０．上記ズーム制御手段並びに上記雲台制御手段は、被写体に装着した上記位置報知手段の位置、または、被写体上の特徴位置の画像上での探索誤差に関連した範囲を考慮して、夫々撮影装置の方向の制御、およびズーム量の制御を行うことを特徴とする７．乃至９．の何れか一つに記載の被写体認識装置。

上記１０．の発明によれば、被写体に対してピント合わせを行う際には被写界深度の影響を考慮する必要があり、最大で、被写界深度の上限から下限までの撮像素子上の位置の差に相当する誤差を生じることとなり、この値は光学系の各種パラメータより算出することができる。この誤差を考慮に入れることにより、被写体の位置や大きさの誤差を算出することが可能となり、撮影装置の方向制御やズーム量制御の際に、誤差に相当する量だけの余裕を見込んで制御を行うことにより被写体が、撮影範囲よりはみ出ることなく適切な制御を行うことが可能となる。

１１．上記探索手段は、上記被写体が人物であり且つ上記探索する位置が顔領域のとき、顔テンプレートと、顔部品の特徴情報と、顔の色情報の少なくとも何れかの情報を利用して探索を行うことを特徴とする１．乃至１０．の何れか一つに記載の被写体認識装置。

上記１１．の発明によれば、撮影を行う際に被写体が人物であることは比較的頻度の高い撮影である。従って、人物に特化した特徴探索とすることにより、顔の色、目、鼻、口等の比較的認識しやすい特徴を探索特徴として利用できる。また、顔画像の標準的なテンプレートを利用し、テンプレートマッチングの手法を用いて顔領域を探索することも可能である。顔領域と限定することにより、さらに精度の良い特徴領域の探索を行うことが可能となる。

１２．撮影装置で撮影を行う対象である被写体を認識するための被写体認識方法であって、上記被写体に装着され、上記被写体の位置を報知する位置報知手段からの信号を直接、または間接的に受信するステップと、上記撮像装置で撮影された画像内で前記被写体に装着された上記位置報知手段の上記画像内の像位置を特定するステップと、上記特定された上記位置報知手段の上記画像内の像位置に基づいて、上記画像から被写体内の少なくとも１つの特徴位置、または特徴領域を探索するステップと、上記位置報知手段の像位置と上記探索された特徴位置または領域との位置関係を算出するステップと、該算出された位置関係から上記被写体の画像上での大きさ、および被写体までの距離を推定するステップとを有することを特徴とする被写体認識方法。

上記１２．の発明によれば、上記１．の発明と同様の効果が得られる。

１３．上記探索するステップは、被写体内の特徴位置検索または特徴領域検索を行う前に、探索の領域を画像内で特定された上記位置報知手段の上記画像内の像位置に基づいて設定するステップをさらに有することを特徴とする請求項１２に記載の被写体認識方法。

上記１３．の発明によれば、上記２．の発明と同様の効果が得られる。

１４．上記撮影装置は、認識された被写体に関する情報をファインダ内に表示可能なファインダ内表示手段を有し、上記被写体認識方法は、被写体の動きの情報を上記ファインダ内表示手段に表示するステップを更に有することを特徴とする１２．または１３．に記載の被写体認識方法。

上記１４．の発明によれば、上記４．の発明と同様の効果が得られる。

１５．上記撮影装置は、ズームレンズを備え、上記被写体認識方法は、上記推定手段により推定された、撮影装置から被写体までの距離、および被写体の大きさに基づいて上記ズームレンズのズーム量の制御を行うステップを有することを特徴とする請求項１２乃至請求項１４の何れか一つに記載の被写体認識方法。

上記１５．の発明によれば、上記５．の発明と同様の効果が得られる。

１６．上記撮影装置は方向制御可能な雲台に搭載され、上記被写体認識方法は、更に上記画像内における被写体を配置する位置を設定するステップと、該設定された位置情報と、上記位置報知手段からの情報を基に、探索された被写体が前記設定された位置に配置されるように前記雲台の方向を制御するステップとを有することを特徴とする１２．乃至１４．の何れか一つに記載の被写体認識方法。

上記１６．の発明によれば、上記６．の発明と同様の効果が得られる。

１７．上記撮影装置は方向制御可能な雲台に搭載され、上記被写体認識方法は、更に上記画像内における被写体を配置する位置を設定するステップと、該設定された位置情報と、上記位置報知手段からの情報を基に、探索された被写体が前記設定された位置に配置されるように前記雲台の方向を制御するステップとを有することを特徴とする１５．に記載の被写体認識方法。

上記１７．の発明によれば、上記７．の発明と同様の効果が得られる。

１８．上記位置報知手段から発信する信号は被写体識別情報が付与されており、上記被写体認識方法は更に、上記被写体識別情報を基に撮影範囲内に配置しようとする少なくとも１つの被写体を指定するステップを有し、前記被写体を指定するステップで指定された被写体が視野内に配置されるように、上記雲台を制御するステップと上記ズームを制御手するステップにより、前記雲台の方向と、ズーム量とを制御することを特徴とする１７．に記載の被写体認識方法。

上記１８．の発明によれば、上記７．の発明と同様の効果が得られる。

１９．上記ズームを制御するステップ並びに上記雲台を制御するステップは、画像内の被写体と該被写体の周囲画像との関係に基づいて、各々適応的にズーム量の制御、および方向の指定と制御を行うことを特徴とする１８．に記載の被写体認識方法。

上記１９．の発明によれば、上記９．の発明と同様の効果が得られる。

２０．上記ズームを制御するステップ並びに上記雲台を制御するステップは、被写体に装着した上記位置報知手段の位置、または、被写体上の特徴位置の画像上での探索誤差に関連した範囲を考慮して、夫々ズーム量の制御、および撮影装置の方向の制御を行うことを特徴とする請求項１７乃至１９の何れか一つに記載の被写体認識方法。

上記２０．の発明によれば、上記１０．の発明と同様の効果が得られる。

本発明による被写体認識装置及び被写体認識方法は被写体撮影システムに適用される。

被写体追尾システムの構成を示すブロック図。被写体、および被写体上の信号発信装置と、撮影装置との方向角を示す図。被写体認識処理の流れを示すフローチャート。被写体を基準位置に配置して撮影された画像を示す図。被写体が任意の位置にあるときに撮影された画像を示す図。キャリブレーション処理の流れを示すフローチャート連続的に撮影装置の姿勢制御とズーム制御を行う処理の流れを示すフローチャート。撮像システムの構成を示すブロック図である。複数の被写体が任意の位置にあるときに撮影された画像を示す図である。被写体が複数ある場合に指定された複数の被写体が適切な間隔で撮影されるように設定する処理を示すフローチャートである。複数の被写体の撮影画像に各被写体の情報を重畳して表示する例を示す図である。複数の被写体の撮影画像に各被写体の動きに対する情報を重畳して表示する例を示す図である。

符号の説明

１…撮像装置
２…雲台（制御雲台）
３、８０２、８０３…信号受信装置
４、９０１、９０２、１１０５、１１０６…被写体
５、８０５、８０６、９０３、９０４、１１０９、１１１０…信号発信装置（位置報知手段）
６…演算装置
７…信号位置・方向演算部
８…撮像素子
９…画像内信号位置・方向特定演算部
１０…特定領域位置算出部
１１、８１０、１１０１、１１０２、１１０３、１１０４…被写体の特徴領域
１２…被写体距離算出部
１３…雲台制御信号発信部

Claims

撮影装置で撮影を行う対象である被写体を認識するための被写体認識装置であって、
上記被写体に装着され、上記被写体の位置を報知する位置報知手段と、
上記被写体に装着された位置報知手段からの信号を直接、または間接的に受信する受信手段と、
上記撮像装置で撮影された画像内で前記被写体に装着された上記位置報知手段の上記画像内の像位置を特定する位置特定手段と、
該像位置特定手段で特定された上記位置報知手段の上記画像内の像位置に基づいて、上記画像から被写体内の少なくとも１つの特徴位置、または特徴領域を探索する探索手段と、
上記位置報知手段の像位置と探索された特徴位置または領域との位置関係を算出する位置関係算出手段と、
該位置関係算出手段で算出された位置関係から上記被写体の画像上での大きさ、および被写体までの距離を推定する推定手段を有することを特徴とする被写体認識装置。
上記探索手段は、被写体内の特徴位置検索または特徴領域検索を行う際に、探索の領域を画像内で特定された上記位置報知手段の像位置に基づいて設定する手段をさらに有することを特徴とする請求項１に記載の被写体認識装置。
上記撮影装置は、認識された被写体に関する情報をファインダ内に表示可能なファインダ内表示手段を有することを特徴とする請求項１または請求項２に記載の被写体認識装置。
上記ファインダ内表示手段に表示される情報は被写体の動きの情報であることを特徴とする請求項３に記載の被写体認識装置。
上記撮影装置は、ズームレンズを備え、上記推定手段により推定された撮影装置から被写体までの距離、および被写体の大きさに基づいて上記ズームレンズのズーム量の制御を行うズーム制御手段を有することを特徴とする請求項１乃至請求項４の何れか一つに記載の被写体追尾装置。
上記撮影装置は方向制御可能な雲台に搭載され、
更に上記画像内における被写体を配置する位置を設定する被写体位置設定手段と、
該被写体位置設定手段からの設定情報と、上記位置報知手段からの情報を基に、探索された被写体が前記設定された位置に配置されるように前記雲台の方向を制御する雲台制御手段とを有することを特徴とする請求項１乃至請求項４の何れか一つに記載の被写体認識装置
上記撮影装置は方向制御可能な雲台に搭載され、
更に上記画像内における被写体を配置する位置を設定する被写体位置設定手段と、
該被写体位置設定手段からの設定情報と、上記位置報知手段からの情報を基に、探索された被写体が前記設定された位置に配置されるように前記雲台の方向を制御する雲台制御手段とを有することを特徴とする請求項５に記載の被写体認識装置
上記位置報知手段は、該位置報知手段から発信する信号に被写体識別情報が付与されており、
上記被写体認識装置は更に、上記被写体識別情報を基に撮影範囲内に配置しようとする少なくとも１つの被写体を指定する被写体指定手段を有し、
該被写体指定手段で指定された被写体が視野内に配置されるように、上記雲台制御手段と上記ズーム制御手段により、前記雲台の方向［撮影装置の姿勢］と、ズーム量とを制御することを特徴とする請求項７に記載の被写体認識装置。
上記ズーム制御手段並びに上記雲台制御手段は、画像内の被写体と該被写体の周囲画像との関係に基づいて、各々適応的にズーム量、および方向の指定と制御を行う手段を有することを特徴とする請求項８に記載の被写体認識装置。
上記ズーム制御手段並びに上記雲台制御手段は、被写体に装着した上記位置報知手段の位置、または、被写体上の特徴位置の画像上での探索誤差に関連した範囲を考慮して、夫々撮影装置の方向の制御、およびズーム量の制御を行うことを特徴とする請求項７乃至９の何れか一つに記載の被写体認識装置。
請求項１〜９に記載の被写体追尾装置において、上記探索手段は、上記被写体が人物であり且つ上記探索する位置が顔領域のとき、顔テンプレートと、顔部品の特徴情報と、顔の色情報の少なくとも何れかの情報を利用して探索を行うことを特徴とする請求項１乃至請求項１０の何れか一つに記載の被写体認識装置。
撮影装置で撮影を行う対象である被写体を認識するための被写体認識方法であって、
上記被写体に装着され、上記被写体の位置を報知する位置報知手段からの信号を直接、または間接的に受信するステップと、
上記撮像装置で撮影された画像内で前記被写体に装着された上記位置報知手段の上記画像内の像位置を特定するステップと、
上記特定された上記位置報知手段の上記画像内の像位置に基づいて、上記画像から被写体内の少なくとも１つの特徴位置、または特徴領域を探索するステップと、
上記位置報知手段の像位置と上記探索された特徴位置または領域との位置関係を算出するステップと、
該算出された位置関係から上記被写体の画像上での大きさ、および被写体までの距離を推定するステップとを有することを特徴とする被写体認識方法。
上記探索するステップは、被写体内の特徴位置検索または特徴領域検索を行う前に、探索の領域を画像内で特定された上記位置報知手段の上記画像内の像位置に基づいて設定するステップをさらに有することを特徴とする請求項１２に記載の被写体認識方法。
上記撮影装置は、認識された被写体に関する情報をファインダ内に表示可能なファインダ内表示手段を有し、
被写体の動きの情報を上記ファインダ内表示手段に表示するステップを更に有することを特徴とする請求項１２または請求項１３に記載の被写体認識方法。
上記撮影装置は、ズームレンズを備え、
上記被写体認識方法は上記推定手段により推定された、撮影装置から被写体までの距離、および被写体の大きさに基づいて上記ズームレンズのズーム量の制御を行うステップを有することを特徴とする請求項１２乃至請求項１４の何れか一つに記載の被写体認識方法。
上記撮影装置は方向制御可能な雲台に搭載され、
上記被写体認識方法は、更に上記画像内における被写体を配置する位置を設定するステップと、
該設定された位置情報と、上記位置報知手段からの情報を基に、探索された被写体が前記設定された位置に配置されるように前記雲台の方向を制御するステップとを有することを特徴とする請求項１２乃至請求項１４の何れか一つに記載の被写体認識方法。
上記撮影装置は方向制御可能な雲台に搭載され、
上記被写体認識方法は、更に上記画像内における被写体を配置する位置を設定するステップと、
該設定された位置情報と、上記位置報知手段からの情報を基に、探索された被写体が前記設定された位置に配置されるように前記雲台の方向を制御するステップとを有することを特徴とする請求項１５に記載の被写体認識方法。
上記位置報知手段から発信する信号は被写体識別情報が付与されており、
上記被写体認識方法は更に、上記被写体識別情報を基に撮影範囲内に配置しようとする少なくとも１つの被写体を指定するステップを有し、
前記被写体を指定するステップで指定された被写体が視野内に配置されるように、上記雲台を制御するステップと上記ズームを制御手するステップにより、前記雲台の方向と、ズーム量とを制御することを特徴とする請求項１７に記載の被写体認識方法。
上記ズームを制御するステップ並びに上記雲台を制御するステップは、画像内の被写体と該被写体の周囲画像との関係に基づいて、各々適応的にズーム量の制御、および方向の指定と制御を行うことを特徴とする請求項１８に記載の被写体認識方法。
上記ズームを制御するステップ並びに上記雲台を制御するステップは、被写体に装着した上記位置報知手段の位置、または、被写体上の特徴位置の画像上での探索誤差に関連した範囲を考慮して、夫々ズーム量の制御、および撮影装置の方向の制御を行うことを特徴とする請求項１７乃至１９の何れか一つに記載の被写体認識方法。