JP2017060135A - 電子機器、被写体特定システム、被写体特定方法及びプログラム - Google Patents

Abstract

【課題】予め被写体の顔情報を登録することなく、プライバシーを保護して被写体を特定すること。【解決手段】撮像装置は、オブジェクト認識部と、行動解析部と、通信制御部と、対象オブジェクト特定部と、を備え、オブジェクト認識部は、画像を取得して取得した画像内の被写体をオブジェクトとして認識し、行動解析部は、オブジェクト認識部によって認識された被写体の行動を解析し、通信制御部は、被写体の動きをセンシングしたセンサ情報を取得するように通信部を制御し、対象オブジェクト特定部は、行動解析部によって解析された被写体の行動と通信制御部によって取得されたセンサ情報とに基づいて、画像内において動きをセンシングした被写体を特定する。【選択図】図４

Description

本発明は、電子機器、被写体特定システム、被写体特定方法及びプログラムに関する。

従来、撮像装置によって撮像を行う際に、画像内に人が含まれているか否かを特定するために、顔画像の認識を利用する方法が知られている。このような方法では、顔と関連づけて予め記憶された顔情報と一致する被写体が撮影画像内に存在するか否かを判定することによって、特定の個人を特定する方法がある（特許文献１参照）。

特開２０１３−０８５２００号公報

しかしながら、特許文献１に記載された技術では、撮像装置に予め顔情報を登録しておかなければならず、顔情報の登録の手間や個人情報である顔情報の漏洩等のプライバシーの観点から望ましくないといった問題があった。

本発明は、このような状況に鑑みてなされたものであり、予め被写体の顔情報を登録することなく、プライバシーを保護して被写体を特定することを目的とする。

上記目的を達成するため、本発明の一態様の電子機器は、
画像を取得する第１の取得手段と、
前記第１の取得手段によって取得された前記画像内の被写体の行動を解析する行動解析手段と、
前記被写体の動きをセンシングしたセンサ情報を取得する第２の取得手段と、
前記行動解析手段によって解析された前記被写体の行動と、前記第２の取得手段によって取得された前記センサ情報と、に基づいて、前記画像内において動きをセンシングした前記被写体を特定する特定手段と、
を備える、
ことを特徴とする。
また、上記目的を達成するため、本発明の一態様の被写体特定システムは、
被写体を撮像する撮像装置と、前記被写体に装着するセンサ装置と、を備える被写体特定システムであって、
前記センサ装置は、
前記被写体の動きを測定する測定手段と、
前記測定手段が測定した前記被写体の動きに基づいて、センサ情報を生成する生成手段と、
前記生成手段によって生成された前記センサ情報を前記撮像装置に送信するように送信手段を制御する送信制御手段と、を有し、
前記撮像装置は、
撮像手段と、
前記撮像手段によって撮像された画像内の前記被写体の行動を解析する行動解析手段と、
前記センサ装置から送信された前記センサ情報を取得する取得手段と、
前記行動解析手段によって解析された前記被写体の行動と、前記取得手段によって取得された前記センサ情報と、に基づいて、前記画像内において動きをセンシングした前記被写体を特定する特定手段と、を有する、
ことを特徴とする。
また、上記目的を達成するため、本発明の一態様の被写体特定方法は、
画像を取得する第１の取得ステップと、
前記第１の取得ステップによって取得された前記画像内の被写体の行動を解析する行動解析ステップと、
前記被写体の動きをセンシングしたセンサ情報を取得する第２の取得ステップと、
前記行動解析ステップによって解析された前記被写体の行動と、前記第２の取得ステップによって取得された前記センサ情報と、に基づいて、前記画像内において動きをセンシングした前記被写体を特定する特定ステップと、
を含む、
ことを特徴とする。
また、上記目的を達成するため、本発明の一態様のプログラムは、
コンピュータを、
画像を取得する第１の取得手段、
前記第１の取得手段によって取得された前記画像内の被写体の行動を解析する行動解析手段、
前記被写体の動きをセンシングしたセンサ情報を取得する第２の取得手段、
前記行動解析手段によって解析された前記被写体の行動と、前記第２の取得手段によって取得された前記センサ情報と、に基づいて、前記画像内において動きをセンシングした前記被写体を特定する特定手段、
として機能させる、
ことを特徴とする。

本発明によれば、予め被写体の顔情報を登録することなく、プライバシーを保護して被写体を特定することができる。

本発明の一実施形態に係るオブジェクト追尾システムのシステム構成を示す模式図である。 オブジェクト追尾システムにおける撮像装置のハードウェアの構成を示すブロック図である。 オブジェクト追尾システムにおけるセンサ装置のハードウェア構成を示すブロック図である。 図２の撮像装置及び図３のセンサ装置の機能的構成のうちの、オブジェクト追尾処理を実行するための機能的構成を示す機能ブロック図である。 図４の機能的構成を有する図２の撮像装置及び図３のセンサ装置が実行するオブジェクト追尾処理の流れを説明するフローチャートである。 センサ情報による行動解析結果の表示例を示す図である。 オブジェクト追尾システムにおける被写体特定のための他の変形例を示す図である。

以下、本発明の実施形態について、図面を用いて説明する。

［オブジェクト追尾システムのシステム構成］
図１は、本発明の一実施形態に係る被写体特定システムとしてのオブジェクト追尾システムのシステム構成を示す模式図である。
オブジェクト追尾システムＳは、図１に示すように、被写体を撮影する撮像装置１と、被写体となる測定対象に装着し、センシング結果を撮像装置１に送信するセンサ装置２と、を含む。
オブジェクト追尾システムＳでは、オブジェクト認識機能・行動解析機能によって撮像装置１で撮影した画像を画像解析して被写体の動きを間接的に取得する。センシング機能・行動解析機能によってセンサ装置２を装着した対象者の動きを直接的に取得する。そして、オブジェクト追尾システムＳでは、撮像装置１及びセンサ装置２から取得した行動解析結果の比較を行って、比較結果が一致したものを被写体として特定し、特定した被写体をその後追尾する。
この際、撮像装置１では、特定された被写体が画面上に表示され、その後も、特定された被写体が追尾されて表示される。なお、図１の例では、オブジェクト認識機能により、単にオブジェクトとして認識された被写体に関しては、破線枠で示し、センサ装置２を装着したオブジェクトとして特定された被写体に関しては、実線枠として識別可能に表示される。
このため、オブジェクト追尾システムＳでは、ユーザは撮像装置１の画面において特定した被写体を確認しながら、特定の被写体を画角内に収めつつ撮影を行うことができる。

［撮像装置のハードウェア構成］
図２は、オブジェクト追尾システムＳにおける撮像装置１のハードウェアの構成を示すブロック図である。
撮像装置１は、例えば、デジタルカメラにより構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、地磁気センサ部２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する際において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、地磁気センサ部２２と、が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号が画像のデータとして出力される。画像のデータは、ＣＰＵ１１等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。

出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。

記憶部１９は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。

通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。また、通信部２０は、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）、ｉＢｅａｃｏｎ等の無線通信によって、センサ装置２との間で直接通信を制御することもできる。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

地磁気センサ部２２は、地磁気の向きを検出し、装置における絶対方位を特定可能とし、センサ情報として取得可能に構成される。

［センサ装置のハードウェア構成］
図３は、オブジェクト追尾システムＳにおけるセンサ装置２のハードウェアの構成を示すブロック図である。
センサ装置２は、撮像装置１とは撮像部１６を除く、ＣＰＵ１１乃至地磁気センサ部２２までの構成を同じくする。センサ装置２は、さらに、ＧＰＳ部２３、加速度センサ部２４、ジャイロセンサ部２５の構成を備える。以下においては、撮像装置１と異なる構成のみ説明する。

ＧＰＳ部２３は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星から受信したＧＰＳ信号に基づいて、現在位置及び現在時刻を位置情報及び時刻情報として取得可能に構成される。

加速度センサ部２４は、センサ装置２における３軸方向の加速度をそれぞれ検出して、センサ情報として取得可能に構成される。

ジャイロセンサ部２５は、回転が生じた時に発生する角速度を検出し、センサ情報として取得可能に構成される。

なお、以下において、撮像装置１とセンサ装置２とのハードウェアの別を説明する場合には、撮像装置１は、符号の末尾に「−１」を付し、センサ装置２は、符号の末尾に「−２」を付す。即ち、撮像装置１の場合には、ＣＰＵ１１−１乃至地磁気センサ部２２−１とし、センサ装置２の場合には、ＣＰＵ１１−２乃至ジャイロセンサ部２５−２とする。

［撮像装置の機能的構成］
図４は、図２の撮像装置１及び図３のセンサ装置２の機能的構成のうちの、オブジェクト追尾処理を実行するための機能的構成を示す機能ブロック図である。
オブジェクト追尾処理とは、センサ装置２で取得されたセンサ情報と、撮像装置１で撮影された動画像から解析された行動解析結果と、からセンサ情報に対応する動画像内のオブジェクトを特定して、追尾する一連の処理である。

撮像装置１側のオブジェクト追尾処理を実行する場合には、図４に示すように、ＣＰＵ１１−１において、撮像制御部５１と、オブジェクト認識部５２と、行動解析部５３と、対象オブジェクト特定部５４と、通信制御部５５と、表示制御部５６と、が機能する。
また、記憶部１９−１の一領域には、画像記憶部７１が設定される。
画像記憶部７１には、動画像のデータが記憶される。

撮像制御部５１は、静止画像又は動画像を撮像するように撮像部１６−１を制御する。撮像制御部５１の制御により、撮像部１６−１から静止画像として、ライブビュー画像が逐次出力されたり、動画像が出力されたりする。

オブジェクト認識部５２は、撮像部１６−１から取得した動画像を解析して、動画像内において被写体（本実施形態においては、人）のオブジェクトを認識する。オブジェクトの認識は、周知のオブジェクト認識技術を用いて行う。

行動解析部５３は、オブジェクト認識部５２によって動画像において認識されたオブジェクトの各々の行動（動き）を解析して、行動解析結果を算出する。
行動解析部５３による行動解析は、画像解析による周知の行動解析技術を用いて行うが、具体的には、歩行リズム、歩行・走行、ジャンプ、体勢（姿勢）、動く方向、速さの行動を解析結果とする。
「歩行リズム」は、オブジェクトの中心点の軌跡（上下動）を解析することにより行う。
「歩行・走行」は、オブジェクトの移動速度を解析することにより行う。
「ジャンプ」は、既存技術により、オブジェクトに対する地面の位置が推定できるため、オブジェクトの下端が一定時間を超えて地面から離れている場合、ジャンプしているとして解析する。
「体勢（姿勢）」は、オブジェクトの傾きと地面の傾きとを解析する。
「動く方向、速さ」は、オブジェクトの動画上での移動方向と地磁気センサ部２２からのセンサ情報等からオブジェクトの絶対移動方向を解析する。

また、行動解析部５３は、撮像装置１で撮影された画像に基づく行動解析結果（以下、「撮像装置１側行動解析結果」という。）と、センサ装置２のセンサ情報に基づく行動解析結果（以下、「センサ装置２側行動解析結果」という。）と、を比較する。
比較による一致・不一致は、例えば、撮像装置１側行動解析結果と、センサ装置２側行動解析結果と、において、左右どちらかの足をついたタイミングが一致していたり、被写体の移動速度、移動の向きが一致していたりで判断する。

対象オブジェクト特定部５４は、比較の結果、撮像装置１側行動解析結果と、センサ装置２側行動解析結果と、が一致している場合には、画像内のオブジェクトがセンサ装置２を装着している対象であるとして、被写体を特定する。なお、以下において、センサ装置２を装着している対象として特定されたオブジェクトを、「対象オブジェクト」ともいう。

また、対象オブジェクト特定部５４は、対象オブジェクトに対して、対応するセンサ装置２の装置識別番号を紐付けデータとして保持する。そして、対象オブジェクト特定部５４は、対象オブジェクトが画像内に存在しなくなった場合（画角から外れた場合）には、紐付けデータである装置識別番号を破棄する。即ち、対象オブジェクト特定部５４が紐付けデータを保持し続けている間は、対象オブジェクトを追尾し続けているということになる。

通信制御部５５は、センサ装置２から、時刻情報や各種センサ情報を受信するように通信部２０−１を制御する。また、通信制御部５５は、センサ装置２との通信にあたり、ユーザの接続操作によってペアリング等を行って、センサ装置２との接続状態を確立するように通信部２０−１を制御する。

表示制御部５６は、動画像を表示させるように出力部１８−１を制御する。また、表示制御部５６は、特定された対象オブジェクトを枠等で囲んで他のオブジェクト等と判別可能に表示させるように出力部１８−１を制御する。その結果、出力部１８−１では、図１に示すように、対象オブジェクトが実線枠で表示されて、ユーザがセンサ装置２を装着している対象を認識することができ、センサ装置２を装着している対象（対象オブジェクト）を追尾して撮影を行うことができる。

［センサ装置の機能的構成］
これに対して、センサ装置２側のオブジェクト追尾処理を実行する場合には、図４に示すように、ＣＰＵ１１−２において、センサ情報取得部９１と、行動解析部９２と、通信制御部９３と、が機能する。

センサ情報取得部９１は、ＧＰＳ部２３−２からセンサ情報として測位結果から時刻情報を取得し、地磁気センサ部２２−２、加速度センサ部２４−２及びジャイロセンサ部２５−２から、各種センサ情報を取得する。

行動解析部９２は、地磁気センサ部２２−２、加速度センサ部２４−２及びジャイロセンサ部２５−２から取得した各種センサ情報を解析してセンサ装置２の装着者の行動を推定する。
行動解析部９２による行動解析は、画像解析による周知の行動解析技術を用いて行うが、具体的には、撮像装置１での行動解析に対応して、歩行リズム、歩行・走行、ジャンプ、体勢（姿勢）、動く方向、速さの行動を解析する。

通信制御部９３は、時刻情報及び行動解析結果（センサ装置２側行動解析結果）を撮像装置１に送信するように通信部２０−２を制御する。

［オブジェクト追尾処理の流れ］
図５は、図４の機能的構成を有する図２の撮像装置１及び図３のセンサ装置２が実行するオブジェクト追尾処理の流れを説明するフローチャートである。
以下において、まず、センサ装置２側のオブジェクト追尾処理の流れを説明し、次いで、撮像装置１側のオブジェクト追尾処理の流れを説明する。

（センサ装置側のオブジェクト追尾処理の流れ）
センサ装置２側のオブジェクト追尾処理は、ユーザによる入力部１７−２へのセンサ装置２側のオブジェクト追尾処理開始の操作により開始される。

ステップＳ１１において、通信制御部９３は、連携する撮像装置１と、無線接続を確立するように通信部２０−２を制御する。

ステップＳ１２において、センサ情報取得部９１は、ＧＰＳ部２３−２における測位の結果から時刻情報を取得する。

ステップＳ１３において、通信制御部９３は、自機の装置識別番号と、時刻情報と、を撮像装置１に送信するように通信部２０−２を制御する。

ステップＳ１４において、センサ情報取得部９１は、加速度センサ部２４−２、ジャイロセンサ部２５−２、地磁気センサ部２２−２よりセンサ情報を取得する。なお、センサ情報取得部９１は、測定手段として機能する。

ステップＳ１５において、行動解析部９２は、取得したセンサ情報から行動解析結果（センサ装置２側行動解析結果）を算出する。なお、センサ情報取得部９１は、生成手段として機能する。

ステップＳ１６において、行動解析部９２は、行動解析結果（センサ装置２側行動解析結果）を算出できたか否かを判定する。
行動解析結果を算出できなかった場合には、ステップＳ１６においてＮＯと判定されて、処理はステップＳ１４に戻り、行動解析結果の算出が可能になるまで、センサ情報を取得し、行動解析結果の算出を行う。
行動解析結果を算出できた場合には、ステップＳ１６においてＹＥＳと判定されて、処理はステップＳ１７に進む。

ステップＳ１７において、通信制御部９３は、算出された行動解析結果（センサ装置２側行動解析結果）を撮像装置１に送信するように通信部２０−２を制御する。その後、処理は、ステップＳ１４に戻り、次の行動解析結果を算出する。なお、通信制御部９３は、送信制御手段として機能する。なお、通信部２０−２は、送信手段として機能する。

（撮像装置側のオブジェクト追尾処理の流れ）
撮像装置１側のオブジェクト追尾処理は、ユーザによる入力部１７−１への撮像装置１側のオブジェクト追尾処理開始の操作により開始される。

ステップＳ３１において、通信制御部５５は、連携するセンサ装置２と、無線接続を確立するように通信部２０−１を制御する。

ステップＳ３２において、通信制御部５５は、センサ装置２から時刻情報と装置識別番号とを受信するように通信部２０−１を制御する。

ステップＳ３３において、ＣＰＵ１１−２は、受信した時刻情報で自己の時刻を補正する。

ステップＳ３４において、撮像制御部５１は、動画像を撮影するように撮像部１６−１を制御し、オブジェクト認識部５２は、撮像部１６−１から取得した動画像からオブジェクトを認識する。なお、撮像部１６−１は、画像を取得する第１の取得手段または撮像手段として機能する。なお、オブジェクト認識部５２は、認識手段として機能する。

ステップＳ３５において、行動解析部５３は、認識したオブジェクトの行動解析結果（撮像装置１側行動解析結果）を算出する。なお、行動解析部５３は、行動解析手段として機能する。

ステップＳ３６において、行動解析部５３は、行動解析結果（撮像装置１側行動解析結果）を算出できたか否かを判定する。
行動解析結果を算出できなかった場合には、ステップＳ３６においてＮＯと判定されて、処理はステップＳ３４に戻り、行動解析結果の算出が可能になるまで、行動解析結果の算出を行う。
行動解析結果を算出できた場合には、ステップＳ３６においてＹＥＳと判定されて、処理はステップＳ３７に進む。

ステップＳ３７において、通信制御部５５は、センサ装置２から行動解析結果（センサ装置２側行動解析結果）を受信するように通信部２０−１を制御する。なお、通信部２０−１は、第２の取得手段又は取得手段として機能する。

ステップＳ３８において、対象オブジェクト特定部５４は、撮像装置１側行動解析結果と、センサ装置２側行動解析結果と、を比較する。なお、対象オブジェクト特定部５４は、比較手段として機能する。

ステップＳ３９において、対象オブジェクト特定部５４は、撮像装置１側行動解析結果と、センサ装置２側行動解析結果と、が一致しているか否かを判定する。
結果が一致していない場合には、ステップＳ３９においてＮＯと判定されて、処理はステップＳ３４に戻り、オブジェクト認識部５２は、撮像部１６−１から取得した動画像から異なるオブジェクトを認識し、行動解析部５３は、認識した異なるオブジェクトの行動解析結果を算出して、対象オブジェクト特定部５４は、認識した異なるオブジェクトに対する撮像装置１側行動解析結果と、センサ装置２側行動解析結果と、が一致しているか否かを判定する。
結果が一致している場合には、ステップＳ３９においてＹＥＳと判定されて、処理はステップＳ４０に進む。

ステップＳ４０において、対象オブジェクト特定部５４は、行動解析結果（撮像装置１側行動解析結果と、センサ装置２側行動解析結果と、）が一致している対象オブジェクトと、装置認識番号と、を紐付けて保持する。なお、対象オブジェクト特定部５４は、特定手段として機能する。

ステップＳ４１において、対象オブジェクト特定部５４は、対象オブジェクトを追尾する。表示制御部５６は、図１の例に示すように、追尾している対象オブジェクトを表示するように出力部１８−１を制御する。これにより、出力部１８−１では、対象オブジェクトが他のオブジェクトと異なる表示となる。なお、表示制御部５６は、表示制御手段として機能する。なお、出力部１８−１は、表示手段として機能する。

ステップＳ４２において、対象オブジェクト特定部５４は、例えば、対象オブジェクトが画角から外れる等があり、追尾している対象オブジェクトをロストしたか否かを判定する。
追尾している対象オブジェクトをロストしていない場合には、ステップＳ４２においてＮＯと判定されて、処理はステップＳ４１に戻り、再び追尾を行う。
追尾している対象オブジェクトをロストした場合には、ステップＳ４２においてＹＥＳと判定されて、処理はステップＳ４３に進む。

ステップＳ４３において、対象オブジェクト特定部５４は、対象オブジェクトと装置認識番号との紐付けの保持を削除する（紐付けの解除）。その後、処理は、ステップＳ３４に戻り、再び対象オブジェクトの特定と追尾とを行う。

なお、上述した実施形態では、センサ装置２側で各種センサから取得したセンサ情報（センサ値）を解析して、行動解析結果を算出するように構成したがこれに限られない。例えば、センサ値を取得したら撮像装置１に転送して、撮像装置１側でセンサ情報（センサ値）を解析し、行動解析結果を算出するように構成してもよい。これにより、センサ装置２側では、行動解析に係る処理を行わないようになるため、処理能力や記憶容量等を行動解析に係る処理のために備える必要がなくなる。

また、上述した実施形態では、被写体が特定できた場合、動画像のデータに特定した被写体を含んでいるデータであることがわかるようにデータにＩＤを付加したりするように構成することができる。
これにより、動画像を閲覧して確認等しなくても簡単に特定の被写体が撮影された動画像のデータを特定することができる。

したがって、オブジェクト追尾システムでは、事前に被写体を自動で検出するための情報として、顔や体型を設定することなく、各種センサを搭載したセンサ装置２と撮像装置１との行動解析結果の一致を見ることで自動的に被写体を特定することができる。
よって、オブジェクト追尾システムでは、事前に顔、体型データ等の被写体を特定するための情報を登録することなく自動的に被写体を特定することができる。

＜変形例＞
上述した実施形態では、画像による行動解析ができない場合に、センサ装置２からのセンサ情報による行動解析結果を表示するように構成することができる。
図６は、センサ情報による行動解析結果の表示例を示す図である。
本例では、図６の例に示すように、ライブビュー画像と共に、センサ装置２からのセンサ情報による行動解析結果を、人を模したアニメーション１００をリアルタイムで表示するように構成する。この際、表示するアニメーション１００は、例えば、向き、移動速度、行動内容（歩く、走る等）を示すアニメーション１００を表示する。なお、向きはセンサ装置２と撮像デバイスに搭載している地磁気センサ部２２−１とから推測することが可能となる。
センサ装置２を装着する者はセンサ装置２のセンサ情報により、所定の方向に走っていることが行動解析結果となるため、画角の方向において、対応する向きで走っている動作をしているアニメーション１００を表示する。ユーザは、ライブビュー表示において、同一の動きをする被写体がセンサ装置２を装着している対象者であることがわかる。
したがって、センサ装置２を装着する者と同じ動きをするアニメーション１００を表示することで、ユーザが被写体を特定しやすくなり、撮影をサポートすることができる。

なお、上述した実施形態において重畳して、対象オブジェクトの識別表示に加えて、行動解析結果の動きを模したアニメーション等を表示するように構成してもよい。ユーザがセンサ装置２を装着した被写体の特定のサポートを行う。

したがって、オブジェクト追尾システムＳでは、事前に被写体を自動で検出するための情報として、顔や体型を設定することなく、各種センサを搭載したセンサ装置２と撮像装置１との行動解析結果の一致を見ることで自動的に被写体を特定することができる。また、オブジェクト追尾システムＳでは、自動でユーザを特定し、特定を試みた画像のデータにＩＤ等を付加することで、撮影後に簡単に特定のユーザが撮影された画像データを検索することができる。
また、オブジェクト追尾システムＳでは、複数の被写体の中から撮影したい所望の被写体を特定できる。

以上のように構成される撮像装置１は、オブジェクト認識部５２と、行動解析部５３と、通信制御部５５と、対象オブジェクト特定部５４と、を備える。
オブジェクト認識部５２は、画像を取得する。
行動解析部５３は、オブジェクト認識部５２によって取得された画像内の被写体の行動を解析する。
通信制御部５５は、被写体の動きをセンシングしたセンサ情報を取得するように通信部２０−１を制御する。
対象オブジェクト特定部５４は、行動解析部５３によって解析された被写体の行動と、通信制御部５５によって取得されたセンサ情報と、に基づいて、画像内において動きをセンシングした被写体を特定する。
したがって、撮像装置１では、特定したい被写体から直接的に取得したセンサ情報と画像から取得した間接的な行動解析結果とに基づいて、被写体を特定できるために、予め被写体の顔情報を登録することなく、プライバシーを保護して被写体を特定することができる。

オブジェクト認識部５２は、オブジェクト認識部５２によって取得された画像内の被写体をオブジェクトとして認識する。
行動解析部５３は、オブジェクト認識部５２によって認識された被写体の行動を解析する。
したがって、撮像装置１では、画像から認識されたオブジェクトから被写体の行動を解析するために、確実に被写体を特定することができる。

対象オブジェクト特定部５４は、行動解析部５３によって解析された被写体の行動と、取得されたセンサ情報と、を比較する。
また、対象オブジェクト特定部５４は、被写体の行動と、センサ情報に基づいた行動と、が一致した場合に、この被写体を画像内において動きをセンシングした被写体として特定する。
したがって、撮像装置１では、解析された被写体の行動と、取得したセンサ情報との一致又は不一致で被写体を特定するために、簡単に被写体を特定することができる。

センサ情報は、被写体となる測定対象に装着した外部装置において行動解析された行動解析情報である。
したがって、撮像装置１では、外部装置で行動解析された行動解析情報を用いるために、より簡単に被写体を特定することができる上に、行動解析に係る処理負担が軽減される。

行動解析部５３は、通信部２０−１によって取得されたセンサ情報に基づいて、被写体となる測定対象の行動を解析する。
したがって、撮像装置１では、センサ情報を取得するだけでよいため、センシング機能のみを有する外部装置等を用いるだけで、被写体を特定することができる。

撮像装置１は、被写体を撮像する撮像部１６−１を備える。
行動解析部５３は、撮像部１６−１によって撮像された画像内の被写体の行動を解析する。
したがって、撮像装置１では、撮像部１６−１によって撮像された画像を用いて、被写体の特定を行うことができる。

撮像装置１は、撮像画像を逐次表示すると共に、対象オブジェクト特定部５４によって特定された被写体を判別可能に表示するように出力部１８−１を制御する表示制御部５６を備える。
したがって、撮像装置１では、特定された被写体を出力部１８−１に表示するために、ユーザは特定された被写体を容易に確認することができる。

表示制御部５６は、被写体の行動を模した画像を表示させることで、被写体を判別可能に表示するように出力部１８−１を制御する。
したがって、撮像装置１では、被写体の行動を模した画像を確認することで、被写体を容易に探し出すことができるために、ユーザの撮影のサポートを行うことができる。

以上のように構成されるオブジェクト追尾システムＳは、被写体を撮像する撮像装置１と、被写体となる測定対象に装着するセンサ装置２と、を含む。
センサ装置２は、加速度センサ部２４−２・ジャイロセンサ部２５−２・地磁気センサ部２２−２と、センサ情報取得部９１と、通信制御部９３と、を有する。
加速度センサ部２４−２・ジャイロセンサ部２５−２・地磁気センサ部２２−２は、被写体となる測定対象の動きを測定する。
センサ情報取得部９１は、加速度センサ部２４−２・ジャイロセンサ部２５−２・地磁気センサ部２２−２が測定した被写体となる測定対象の動きに基づいて、センサ情報を取得する。
通信制御部９３は、センサ情報取得部９１によって取得されたセンサ情報を撮像装置１に送信するように通信部２０−２を制御する。
撮像装置は、撮像部１６−１と、オブジェクト認識部５２と、行動解析部５３と、通信制御部５５と、対象オブジェクト特定部５４と、を有する。
撮像部１６−１は、被写体を撮像する。
オブジェクト認識部５２は、撮像部１６−１によって撮像された画像内の被写体をオブジェクトとして認識する。
行動解析部５３は、オブジェクト認識部５２によって認識された被写体の行動を解析する。
通信制御部５５は、センサ装置から送信されたセンサ情報を取得するように通信部２０−１を制御する。
対象オブジェクト特定部５４は、行動解析部５３によって解析された被写体の行動と、取得手段によって取得されたセンサ情報と、に基づいて、画像内において動きをセンシングした被写体を特定する。
したがって、オブジェクト追尾システムＳでは、特定したい被写体から直接的に取得したセンサ情報と画像から取得した間接的な行動解析結果とに基づいて、被写体を特定できるために、予め被写体の顔情報を登録することなく、プライバシーを保護して被写体を特定することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、画角内にある被写体を特定するように構成したが、例えば、特定した被写体が画角から外れた場合に、現在のライブビュー画面を正面として、被写体が正面方向に対してどの方向にいるかを示すように構成してもよい。これにより、ユーザが特定した被写体を追尾するガイドを表示することができる。

また、上述の実施形態では、被写体の特定をリアルタイムに行っていたが、センサ装置２で取得したＧＰＳからの時刻情報で、センサ装置２及び撮像装置１の時刻が同期されているために、センサ値に一致する時刻の動画像であれば、事後的に被写体の特定を行うように構成することができる。

また、上述の実施形態では、対象オブジェクトを特定した後は、オブジェクト認識で同一の対象オブジェクトを補足し続けるように構成してもよい。都度、対象オブジェクトを特定する処理を行わなくて済み、処理負担を軽減することができる。この場合、所定のタイミングで、定期的に対象オブジェクトの特定を行うことで、特定精度を高めることができる。

また、上述の実施形態では、撮像装置１において撮影を行って、オブジェクト認識及び行動解析を行うように構成したが、これに限られない。例えば、外部装置で撮影された画像を用いて、オブジェクト認識及び行動解析を行うように構成してもよい。

また、上述の実施形態では、撮影した画像に対して、装置識別番号を対応付けて記憶させることができ、事後的にセンサ装置２と画像内の対象オブジェクトとの対応関係を確認することができる。

また、上述の実施形態では、動画像を解析対象としたがこれに限られず、静止画像や連写した静止画像を解析対象として構成してもよい。

また、上述する実施形態では、複数のセンサ装置２を用いて、特定のセンサ装置２を装着する被写体を特定するように構成してもよい。
図７は、オブジェクト追尾システムＳにおける被写体特定のための他の変形例を示す図である。
図７の例に示すように、本例のオブジェクト追尾システムＳでは、複数のセンサ装置２−１，２−２，２−３と、撮像装置１と、から、例えば、特定のセンサ装置２−２の相対的な位置を特定する。
センサ装置２を装着した複数の被写体によって、特定の被写体のセンサ装置２を特定して、互いのセンサ装置２の位置関係から被写体を特定する。なお、センサ装置２が３台以上あることが好ましい。
（１）まず、特定したい被写体以外のセンサ装置２−１，２−３において、ＧＰＳ部２３−２によって位置情報を取得し、位置を特定した状態とする。
（２）次に、特定する被写体以外の２台のセンサ装置２−１，２−３から特定する被写体との距離を、例えば、センサ装置２−２との電波強度から算出して、撮像装置１に距離情報を送信する。
（３）取得した距離情報（Ｄ１，Ｄ２）と、センサ装置２−２との電波強度等から算出した撮像装置１と特定するセンサ装置２との間の距離（Ｄ３）と、から、特定するセンサ装置２−２の位置を推定する。
（４）推定したセンサ装置２−２の位置が撮像装置１の画角内に収まっているか否かを判定する。
具体的には、オブジェクト追尾システムＳは、複数のセンサ装置２，２，２・・・を備える。
オブジェクト追尾システムＳにおける被写体の特定は、行動解析手法に替えて、特定したいセンサ装置２と他のセンサ装置２，２・・・との距離と、特定したセンサ装置２と撮像装置１との距離と、で推定して行う。
具体的には、オブジェクト追尾システムＳは、複数の被写体にそれぞれ装着するセンサ装置２を備える。被写体の特定は、行動解析手法に代えて、特定したいセンサ装置２と他のセンサ装置２との距離と、特定したいセンサ装置２と撮像装置１との距離と、で推定して行うように構成することができる。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、オブジェクト追尾処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図４の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図４の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図２及び図３のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図２及び図３のＲＯＭ１２や、図２及び図３の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等により構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これらの実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲とに含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
画像を取得する第１の取得手段と、
前記第１の取得手段によって取得された前記画像内の被写体の行動を解析する行動解析手段と、
前記被写体の動きをセンシングしたセンサ情報を取得する第２の取得手段と、
前記行動解析手段によって解析された前記被写体の行動と、前記第２の取得手段によって取得された前記センサ情報と、に基づいて、前記画像内において動きをセンシングした前記被写体を特定する特定手段と、
を備える、
ことを特徴とする電子機器。
［付記２］
前記第１の取得手段によって取得された前記画像内の前記被写体をオブジェクトとして認識する認識手段と、をさらに備え、
前記行動解析手段は、前記認識手段によって認識された前記被写体の行動を解析する、
ことを特徴とする付記１に記載の電子機器。
［付記３］
前記行動解析手段によって解析された前記被写体の行動と、前記第２の取得手段によって取得された前記センサ情報と、を比較する比較手段を更に備え、
前記特定手段は、前記比較手段により、前記被写体の行動と、前記センサ情報に基づいた行動と、が一致した場合に、前記被写体を前記画像内において動きをセンシングした前記被写体を特定する、
ことを特徴とする付記１又は２に記載の電子機器。
［付記４］
前記センサ情報は、前記被写体に装着した外部装置において行動解析された行動解析情報である、
ことを特徴とする付記１乃至３の何れか１つに記載の電子機器。
［付記５］
前記行動解析手段は、前記第２の取得手段によって取得された前記センサ情報に基づいて、前記被写体の行動を解析する、
ことを特徴とする付記１乃至４の何れか１つに記載の電子機器。
［付記６］
前記被写体を撮像する撮像手段を備え、
前記行動解析手段は、前記撮像手段によって撮像された前記画像内の前記被写体の行動を解析する、
ことを特徴とする付記１乃至５の何れか１つに記載の電子機器。
［付記７］
撮像画像を逐次表示すると共に、前記特定手段によって特定された前記被写体を判別可能に表示するように表示手段を制御する表示制御手段を更に備える、
ことを特徴とする付記１乃至６の何れか１つに記載の電子機器。
［付記８］
前記表示制御手段は、前記被写体の行動を模した画像を表示させることで、前記被写体を判別可能に表示するように前記表示手段を制御する、
ことを特徴とする付記７に記載の電子機器。
［付記９］
被写体を撮像する撮像装置と、前記被写体に装着するセンサ装置と、を備える被写体特定システムであって、
前記センサ装置は、
前記被写体の動きを測定する測定手段と、
前記測定手段が測定した前記被写体の動きに基づいて、センサ情報を生成する生成手段と、
前記生成手段によって生成された前記センサ情報を前記撮像装置に送信するように送信手段を制御する送信制御手段と、を有し、
前記撮像装置は、
撮像手段と、
前記撮像手段によって撮像された画像内の前記被写体の行動を解析する行動解析手段と、
前記センサ装置から送信された前記センサ情報を取得する取得手段と、
前記行動解析手段によって解析された前記被写体の行動と、前記取得手段によって取得された前記センサ情報と、に基づいて、前記画像内において動きをセンシングした前記被写体を特定する特定手段と、を有する、
ことを特徴とする被写体特定システム。
［付記１０］
前記撮像装置は、
前記撮像手段によって撮像された画像内の前記被写体をオブジェクトとして認識する認識手段と、さらに有し、
前記行動解析手段は、前記認識手段によって認識された前記被写体の行動を解析する、
ことを特徴とする付記９に記載の被写体特定システム。
［付記１１］
複数の前記被写体にそれぞれ装着する前記センサ装置を備え、
前記被写体の特定は、行動解析手法に代えて、特定したいセンサ装置と他のセンサ装置との距離と、前記特定したいセンサ装置と前記撮像装置との距離と、で推定して行う、
ことを特徴とする付記９又は１０に記載の被写体特定システム。
［付記１２］
画像を取得する第１の取得ステップと、
前記第１の取得ステップによって取得された前記画像内の被写体の行動を解析する行動解析ステップと、
前記被写体の動きをセンシングしたセンサ情報を取得する第２の取得ステップと、
前記行動解析ステップによって解析された前記被写体の行動と、前記第２の取得ステップによって取得された前記センサ情報と、に基づいて、前記画像内において動きをセンシングした前記被写体を特定する特定ステップと、
を含む、
ことを特徴とする被写体特定方法。
［付記１３］
前記第１の取得ステップによって取得された前記画像内の被写体をオブジェクトとして認識する認識ステップと、
をさらに含み、
前記行動解析ステップでは、前記認識ステップによって認識された前記被写体の行動を解析する、
ことを特徴とする付記１２に記載の被写体特定方法。
［付記１４］
コンピュータを、
画像を取得する第１の取得手段、
前記第１の取得手段によって取得された前記画像内の被写体の行動を解析する行動解析手段、
前記被写体の動きをセンシングしたセンサ情報を取得する第２の取得手段、
前記行動解析手段によって解析された前記被写体の行動と、前記第２の取得手段によって取得された前記センサ情報と、に基づいて、前記画像内において動きをセンシングした前記被写体を特定する特定手段、
として機能させる、
ことを特徴とするプログラム。
［付記１５］
前記コンピュータを、
前記第１の取得手段によって取得された前記画像内の被写体をオブジェクトとして認識する認識手段、
としてさらに機能させ、
前記行動解析手段は、前記認識手段によって認識された前記被写体の行動を解析する、
ことを特徴とする付記１４に記載のプログラム。

１・・・撮像装置，２・・・センサ装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，２２・・・地磁気センサ部，２３・・・ＧＰＳ部，２４・・・加速度センサ部，２５・・・ジャイロセンサ部，３１・・・リムーバブルメディア，５１・・・撮像制御部，５２・・・オブジェクト認識部，５３・・・行動解析部，５４・・・対象オブジェクト特定部，５５・・・通信制御部，５６・・・表示制御部，７１・・・画像記憶部，９１・・・センサ情報取得部，９２・・・行動解析部，９３・・・通信制御部，Ｓ・・・被写体特定システム

Claims (15)

1. 画像を取得する第１の取得手段と、
   前記第１の取得手段によって取得された前記画像内の被写体の行動を解析する行動解析手段と、
   前記被写体の動きをセンシングしたセンサ情報を取得する第２の取得手段と、
   前記行動解析手段によって解析された前記被写体の行動と、前記第２の取得手段によって取得された前記センサ情報と、に基づいて、前記画像内において動きをセンシングした前記被写体を特定する特定手段と、
   を備える、
   ことを特徴とする電子機器。
2. 前記第１の取得手段によって取得された前記画像内の前記被写体をオブジェクトとして認識する認識手段と、をさらに備え、
   前記行動解析手段は、前記認識手段によって認識された前記被写体の行動を解析する、
   ことを特徴とする請求項１に記載の電子機器。
3. 前記行動解析手段によって解析された前記被写体の行動と、前記第２の取得手段によって取得された前記センサ情報と、を比較する比較手段を更に備え、
   前記特定手段は、前記比較手段により、前記被写体の行動と、前記センサ情報に基づいた行動と、が一致した場合に、前記被写体を前記画像内において動きをセンシングした前記被写体を特定する、
   ことを特徴とする請求項１又は２に記載の電子機器。
4. 前記センサ情報は、前記被写体に装着した外部装置において行動解析された行動解析情報である、
   ことを特徴とする請求項１乃至３の何れか１項に記載の電子機器。
5. 前記行動解析手段は、前記第２の取得手段によって取得された前記センサ情報に基づいて、前記被写体の行動を解析する、
   ことを特徴とする請求項１乃至４の何れか１項に記載の電子機器。
6. 前記被写体を撮像する撮像手段を備え、
   前記行動解析手段は、前記撮像手段によって撮像された前記画像内の前記被写体の行動を解析する、
   ことを特徴とする請求項１乃至５の何れか１項に記載の電子機器。
7. 撮像画像を逐次表示すると共に、前記特定手段によって特定された前記被写体を判別可能に表示するように表示手段を制御する表示制御手段を更に備える、
   ことを特徴とする請求項１乃至６の何れか１項に記載の電子機器。
8. 前記表示制御手段は、前記被写体の行動を模した画像を表示させることで、前記被写体を判別可能に表示するように前記表示手段を制御する、
   ことを特徴とする請求項７に記載の電子機器。
9. 被写体を撮像する撮像装置と、前記被写体に装着するセンサ装置と、を備える被写体特定システムであって、
   前記センサ装置は、
   前記被写体の動きを測定する測定手段と、
   前記測定手段が測定した前記被写体の動きに基づいて、センサ情報を生成する生成手段と、
   前記生成手段によって生成された前記センサ情報を前記撮像装置に送信するように送信手段を制御する送信制御手段と、を有し、
   前記撮像装置は、
   撮像手段と、
   前記撮像手段によって撮像された画像内の前記被写体の行動を解析する行動解析手段と、
   前記センサ装置から送信された前記センサ情報を取得する取得手段と、
   前記行動解析手段によって解析された前記被写体の行動と、前記取得手段によって取得された前記センサ情報と、に基づいて、前記画像内において動きをセンシングした前記被写体を特定する特定手段と、を有する、
   ことを特徴とする被写体特定システム。
10. 前記撮像装置は、
    前記撮像手段によって撮像された画像内の前記被写体をオブジェクトとして認識する認識手段と、さらに有し、
    前記行動解析手段は、前記認識手段によって認識された前記被写体の行動を解析する、
    ことを特徴とする請求項９に記載の被写体特定システム。
11. 複数の前記被写体にそれぞれ装着する前記センサ装置を備え、
    前記被写体の特定は、行動解析手法に代えて、特定したいセンサ装置と他のセンサ装置との距離と、前記特定したいセンサ装置と前記撮像装置との距離と、で推定して行う、
    ことを特徴とする請求項９又は１０に記載の被写体特定システム。
12. 画像を取得する第１の取得ステップと、
    前記第１の取得ステップによって取得された前記画像内の被写体の行動を解析する行動解析ステップと、
    前記被写体の動きをセンシングしたセンサ情報を取得する第２の取得ステップと、
    前記行動解析ステップによって解析された前記被写体の行動と、前記第２の取得ステップによって取得された前記センサ情報と、に基づいて、前記画像内において動きをセンシングした前記被写体を特定する特定ステップと、
    を含む、
    ことを特徴とする被写体特定方法。
13. 前記第１の取得ステップによって取得された前記画像内の被写体をオブジェクトとして認識する認識ステップと、
    をさらに含み、
    前記行動解析ステップでは、前記認識ステップによって認識された前記被写体の行動を解析する、
    ことを特徴とする請求項１２に記載の被写体特定方法。
14. コンピュータを、
    画像を取得する第１の取得手段、
    前記第１の取得手段によって取得された前記画像内の被写体の行動を解析する行動解析手段、
    前記被写体の動きをセンシングしたセンサ情報を取得する第２の取得手段、
    前記行動解析手段によって解析された前記被写体の行動と、前記第２の取得手段によって取得された前記センサ情報と、に基づいて、前記画像内において動きをセンシングした前記被写体を特定する特定手段、
    として機能させる、
    ことを特徴とするプログラム。
15. 前記コンピュータを、
    前記第１の取得手段によって取得された前記画像内の被写体をオブジェクトとして認識する認識手段、
    としてさらに機能させ、
    前記行動解析手段は、前記認識手段によって認識された前記被写体の行動を解析する、
    ことを特徴とする請求項１４に記載のプログラム。

Images