JP2018042190A - 被写体判定装置、および、被写体判定方法 - Google Patents

Abstract

【課題】撮影映像の被写体のデバイスが確かにそのデバイスであるか否かを容易に判定する。【解決手段】デバイス１０からデバイス１０の動きを示す第１のセンサデータを取得するセンサデータ取得部と、カメラ２０による被写体の撮影データを取得する撮影データ取得部と、撮影データから、被写体の動きを示す時系列データを作成する時系列データ作成部と、所定期間における第１のセンサデータおよび時系列データの一致率が所定値を超える場合、撮影データの被写体はデバイス１０であると判定する判定部とを備える。【選択図】図１

Description

本発明は、被写体判定装置、および、被写体判定方法に関する。

近年、ＩＴ技術の進歩に伴ってオンラインで対応可能な手続きが増えている。例えば、ネットバンキングにおける金融取引、電子投票、電子行政手続等、枚挙にいとまがない。オンラインで対応可能な手続きにおいては、その性質から、特定の会場に出向いて実施される形式だけでなく、自宅などの極めて自由度の高い空間で実施される形式の増加が予想される。

一方で、他人による操作・閲覧はもとより、本人であっても規定の画面以外を参照することが許されない手続きがある。その典型的な例が、自宅で受験可能な検定試験（遠隔検定試験）である。遠隔検定試験においては、他人による操作は替え玉受験となるため厳に排除されるべきであるし、他人による試験問題の閲覧や本人による規定画面以外の参照は不正に解答を有利にするカンニング行為を助長する恐れがあるため排除されるべきである。

こうした遠隔検定試験における不正に対し、受験中の様子をカメラにより撮影し録画する方法がある。この撮影映像によって、試験開始から終了までの間に受験者の入れ替わりがないことや、他人の介在、受験者の規定画面以外の参照がないことを確認することはある程度可能であると考えられる。しかし、受験者が撮影映像を故意にすり替えて提出することも考えられるため、映像が受験時のものであるか否かを検証できるようにする必要がある。

一方、他人による試験問題の閲覧や本人による規定画面以外の参照を防止する効果を高めるために、遠隔検定試験におけるヘッドマウントディスプレイ（ＨＭＤ）の導入が検討されつつある。そこで、ＨＭＤ等のデバイスを装着して行われている遠隔検定試験の様子を撮影した映像において、被写体が確かにそのデバイスであるか否かを判定する技術が提案されている。

例えば、点滅光源によりＩＤを発信するビーコンを被写体となるデバイスに装備し、高精度カメラを用いてデバイスを撮影し、ビーコンの点滅パターンから被写体のＩＤを認識する技術がある（非特許文献１参照）。また、カメラからの発光指示に基づき発光する素子をデバイスに装備し、カメラからの発光指示に基づく発光の有無でデバイスを認識する技術もある（特許文献１参照）。

特許第４４２３３０２号公報

ＩＤ Ｃａｍ:シーンとＩＤを同時に取得可能なイメージセンサ、電子情報通信学会、信学技報、IT2001-92、pp.105-110、2002年3月

しかし、前記した従来技術のいずれも、被写体を撮影する際、被写体の光源を遮ることのない安定した環境のもとで撮像する必要がある。つまり、被写体の撮影条件（例えば、明るさや撮影角度等）が厳しいという問題がある。そこで、本発明は、前記した問題を解決し、撮影映像の被写体のデバイスが確かにそのデバイスであるか否かを容易に判定できるようにすることを課題とする。

前記した課題を解決するため、本発明は、デバイスから前記デバイスの動きを示す第１のセンサデータを取得するセンサデータ取得部と、前記デバイスを撮影するカメラから撮影データを取得する撮影データ取得部と、前記撮影データから、前記撮影データの被写体の動きを示す時系列データを作成する時系列データ作成部と、所定期間における前記第１のセンサデータおよび前記時系列データの一致率が所定値を超える場合、前記被写体は前記デバイスであると判定する判定部とを備えることを特徴とする。

本発明によれば、撮影映像の被写体のデバイスが確かにそのデバイスであるか否かを容易に判定することができる。

図１は、第１の実施形態の被写体判定システム（システム）の概要を説明するための図である。 図２は、デバイスのセンサデータの例と、撮影データから推定した被写体のセンサデータの例とを示す図である。 図３は、第１の実施形態および第２の実施形態の被写体判定装置の構成例を示す図である。 図４は、第１の実施形態のシステムの処理手順例を示すシーケンス図である。 図５は、第２の実施形態のシステムの概要を説明するための図である。 図６は、デバイスのセンサデータの例と、カメラのセンサデータの例と、撮影データおよびカメラのセンサデータから推定した被写体のセンサデータの例とを示す図である。 図７は、第２の実施形態のシステムの処理手順例を示すシーケンス図である。 図８は、撮影データにおける被写体のＸ軸、Ｙ軸の動きに基づく合成加速度Ｇ_２の作成を説明する図である。 図９は、被写体判定プログラムを実行するコンピュータを示す図である。

（第１の実施形態）
以下、図面を参照しながら、本発明を実施するための形態（実施形態）を第１の実施形態および第２の実施形態に分けて説明する。

第１の実施形態では被写体判定システム（システム）のカメラが固定して用いられる場合について説明し、第２の実施形態ではシステムのカメラが手持ちで用いられる等、移動する可能性がある場合について説明する。

（概要）
まず、図１および図２を用いて、第１の実施形態の被写体判定システム（システム）の概要を説明する。システムは、例えば、図１に示すように、デバイス１０と、カメラ２０と、被写体判定装置３０とを備える。

デバイス１０は、例えば、タブレット端末や携帯電話機、ヘッドマウントディスプレイ等である。このデバイス１０は、当該デバイス１０のユーザの携行等により移動する可能性のあるものとする。このデバイス１０は、加速度センサ、ジャイロセンサ、地磁気センサ等、当該デバイス１０自体の動きを取得するセンサを備える。

カメラ２０は、デバイス１０を撮影する。このカメラ２０は、例えば、三脚等で固定され、デバイス１０が移動する可能性のある範囲を撮影範囲として撮影する。

被写体判定装置３０は、カメラ２０により撮影された被写体が、確かにデバイス１０であるか否かを判定する。

例えば、デバイス１０を携行するユーザが図１に示すようにカメラ２０の撮影範囲の右から左へ移動（進行）した場合を考える。この場合、被写体判定装置３０は、カメラ２０から、被写体（デバイス１０）の撮影データを取得し、また、デバイス１０から当該デバイス１０の動きを示すセンサデータ（例えば、加速度データ）を取得する。なお、以下、デバイス１０の動きを示すセンサデータは、当該デバイス１０の加速度データである場合を例に説明するが、これに限定されない。

その後、被写体判定装置３０は、所定期間におけるカメラ２０の撮影データから、撮影中の被写体の動きを推定する。例えば、被写体判定装置３０は、所定期間における撮影データから、時刻ｔ−２、ｔ−１、ｔにおいて被写体（デバイス１０）が図１に示す位置に動いたと推定する。そして、被写体判定装置３０は、この被写体の動きの推定結果（時系列データ）と、デバイス１０から取得した第１のセンサデータとを照合することにより、撮影データの被写体がデバイス１０であるか否かを判定する。

例えば、デバイス１０の３次元（Ｘ軸、Ｙ軸、Ｚ軸）での動き（第１のセンサデータ）が図２の符号２０１に示す値であり、撮影データから推定した被写体の３次元での動き（センサデータ）が図２の符号２０２に示す値である場合、被写体判定装置３０は、これらの値を照合することにより、撮影データの被写体がデバイス１０であるか否かを判定する。

このようにすることで、システムは、撮影データの被写体のデバイスが確かにそのデバイスであるか否かを容易に判定することができる。

（構成）
次に、図３を用いて、被写体判定装置３０の構成を説明する。被写体判定装置３０は、入出力部３１と、記憶部３２と、制御部３３とを備える。

入出力部３１は、外部装置との入出力インタフェースを司る。この入出力部３１は、例えば、無線通信により、外部装置（例えば、デバイス１０やカメラ２０）から第１のセンサデータや撮影データの入力を受け付けたり、制御部３３における処理結果を外部装置（例えば、サーバ４０）に出力したりする。

記憶部３２は、制御部３３における処理に用いる各種情報を記憶する。また、記憶部３２は、デバイス１０の第１のセンサデータやカメラ２０の撮影データ等を一時的に記憶する。

制御部３３は、被写体判定装置３０全体の制御を司る。制御部３３は、例えば、第１のセンサデータ取得部３３１と、撮影データ取得部３３２と、時系列データ作成部３３３と、判定部３３４と、データ出力部３３５とを備える。破線で示す第２のセンサデータ取得部３３６と、補正部３３７は装備される場合と、装備されない場合とがあり、装備される場合については第２の実施形態で説明する。

第１のセンサデータ取得部３３１は、入出力部３１経由でデバイス１０から当該デバイス１０の動きを示す第１のセンサデータを取得する。この第１のセンサデータは、例えば、デバイス１０の加速度データである。

撮影データ取得部３３２は、入出力部３１経由でカメラ２０から被写体の撮影データを取得する。時系列データ作成部３３３は、撮影データ取得部３３２で取得された撮影データから、各時刻における撮影データの被写体の動きを推定した時系列データを作成する。

判定部３３４は、第１のセンサデータ取得部３３１で取得した第１のセンサデータと、時系列データ作成部３３３で作成された時系列データとを用いて、撮影データの被写体がデバイス１０であるか否かを判定する。

例えば、判定部３３４は、所定期間における第１のセンサデータと時系列データとの一致率が所定値を超える場合、被写体はデバイス１０であると判定する。

一例を挙げると、第１のセンサデータが、３軸（３次元）加速度データである場合、判定部３３４は、まず、この３軸加速度データを合成し、１次元の加速度データ（合成加速度Ｇ）に加工する。なお、３軸（Ｘ軸、Ｙ軸、Ｚ軸）それぞれの加速度をＸ、Ｙ、Ｚとすると、その合成加速度Ｇは、以下の式（１）により求めることができる。

Ｇ＝√（Ｘ^２＋Ｙ^２＋Ｚ^２）…式（１）

その後、判定部３３４は、１次元の加速度データに加工された第１のセンサデータと時系列データ、それぞれからデバイス１０または被写体の動きが所定値以上の点である特徴点を抽出する。そして、判定部３３４は、第１のセンサデータおよび時系列データそれぞれの特徴点の一致率が所定値を超える場合、被写体はデバイス１０であると判定する。

データ出力部３３５は、判定部３３４による判定結果、撮影データ、撮影ＩＤ、当該撮影データの取得元のカメラ２０の識別情報、第１のセンサデータ、当該第１のセンサデータの取得元のデバイス１０の識別情報等を入出力部３１経由で外部装置（例えば、サーバ４０）へ送信する。

（処理手順）
次に、図４を用いて、システムの処理手順の例を説明する。ここでは、第１のセンサデータは、デバイス１０の３軸加速度データである場合を例に説明するが、これに限定されない。

まず、カメラ２０と被写体判定装置３０はそれぞれ互いに通信可能な状態を確立し（Ｓ１：通信確立）、また、被写体判定装置３０とデバイス１０それぞれも互いに通信可能な状態を確立する（Ｓ２：通信確立）。その後、ユーザ操作等により、カメラ２０が処理の開始指示を受信すると（Ｓ３：処理開始指示受信）、被写体の撮影を開始し（Ｓ５）、撮影ＩＤを付与した撮影データを記録（録画）する。その後、カメラ２０は、被写体の撮影データに機器（カメラ２０）の署名等を付与して被写体判定装置３０へ送信する（Ｓ２１：撮影データ送信）。

また、ユーザ操作によりデバイス１０が処理の開始指示を受信すると（Ｓ４：処理開始指示受信）、機器（デバイス１０）の署名等を付与したデバイス１０の３軸加速度データを被写体判定装置３０へ送信する（Ｓ７：３軸加速度データ送信）。

Ｓ７の後、被写体判定装置３０の第１のセンサデータ取得部３３１が、デバイス１０の３軸加速度データを受信すると、判定部３３４は、前記した式（１）等を用いて当該３軸加速度データの合成加速度ａを算出する（Ｓ８）。また、撮影データ取得部３３２が、Ｓ２１で送信された被写体の撮影データを受信すると、時系列データ作成部３３３は、撮影データの被写体の時系列で３軸加速度（時系列データ）を推定する（Ｓ２２）。その後、ユーザ操作等により、被写体判定装置３０が処理の終了の指示を受信すると、判定部３３４は、Ｓ８で算出した合成加速度ａと、Ｓ２２で推定した３軸加速度との同一性判定を行う（Ｓ３１）。つまり、判定部３３４は、デバイス１０の合成加速度ａの示す動きと被写体の３軸加速度の示す動きとが同じか否かを判定する。

例えば、判定部３３４は、所定期間における合成加速度ａおよび３軸加速度それぞれの特徴点（動きが所定値以上の点）を抽出し、合成加速度ａと３軸加速度とで特徴点がどの程度一致するかを判定する。そして、判定部３３４は、合成加速度ａと３軸加速度との特徴点の一致率が所定値を超える場合、合成加速度ａと３軸加速度とは同一である、つまり、撮影データにおける被写体はデバイス１０であると判定する。

その後、被写体判定装置３０のデータ出力部３３５は、例えば、判定部３３４による判定結果、撮影データ、撮影ＩＤ、各種機器の署名（カメラ２０およびデバイス１０の署名）、その他のデータ（例えば、デバイス１０の計測値等）等の各種情報をサーバ４０へ送信し、サーバ４０は、上記の各種情報を受信すると（Ｓ３２）、記憶部（図示省略）に記録する。

このようにすることで、システムは、カメラ２０の撮影データの被写体が確かにデバイス１０であるか否かを容易に判定することができる。つまり、システムは、被写体の撮影時における、照明や撮影角度等に特に厳しい制約を設けることなく、被写体が確かにデバイス１０（例えば、所定のユーザが所有するデバイス１０）であるか否かを判定することができる。また、システムは、被写体の撮影データについて、当該被写体が確かにデバイス１０であることの証跡（上記の判定結果）とともに記録することができる。

（第２の実施形態）
次に、第２の実施形態のシステムを説明する。第２の実施形態のシステムは、カメラ２０が移動する場合であっても、被写体が確かにデバイス１０であるか否かを精度よく判定することを特徴とする。

（概要）
まず、図５および図６を用いて、第２の実施形態のシステムの概要を説明する。前記した第１の実施形態と同じ構成は、同じ符号を付して説明を省略する。

第２の実施形態のシステムは、例えば、図５に示すように、デバイス１０と、カメラ２０ａと、被写体判定装置３０ａとを備える。

カメラ２０ａは、加速度センサ、ジャイロセンサ、地磁気センサ等、当該カメラ２０ａの動きを取得するセンサを備える。このカメラ２０ａは、例えば、撮影者により手持ち撮影されるものとする。

被写体判定装置３０ａは、カメラ２０ａから、被写体（デバイス１０）の動きを示す撮影データと、デバイス１０の動きを示すセンサデータ（第１のセンサデータ）に加え、カメラ２０ａ自体の動きを示すセンサデータ（第２のセンサデータ）を取得する。

そして、被写体判定装置３０ａは、取得した撮影データの示す被写体の動きから、第２のセンサデータの示すカメラ２０ａ自体の動きを除去する。つまり、被写体判定装置３０ａは、カメラ２０ａ自体が動いたことによる被写体のブレを補正する。

例えば、被写体判定装置３０ａが、デバイス１０の加速度センサにより取得した、当該デバイス１０の時系列での３次元の動き（第１のセンサデータ）が図６の符号６０１に示す値であり、カメラ２０ａ自体の３次元の動き（第２のセンサデータ）が図６の符号６０２に示す値である場合を考える。

この場合、被写体判定装置３０ａは、撮影データから推定した被写体の時系列での３次元の動きから、符号６０２に示すカメラ２０ａ自体の３次元の動きを除去し、図６の符号６０３に示す値（推定した被写体のセンサデータ）を求める。例えば、被写体判定装置３０ａは、カメラ２０ａのブレがない状態ならば、被写体（デバイス１０）が、図５の時刻ｔ−２、ｔ−１、ｔに示す位置に動いたと推定する。そして、被写体判定装置３０ａは、符号６０１に示す値と、符号６０３に示す値とを照合することにより、撮影データの被写体がデバイス１０であるか否かを判定する。

このようにすることで、撮影者がカメラ２０ａを手で持って動きながら被写体（デバイス１０）を撮影したりする等、カメラ２０ａ自体が移動する可能性がある場合であっても、被写体判定装置３０ａは撮影データの被写体がデバイス１０であるか否かを精度よく判定することができる。

（構成）
次に、図３を用いて、被写体判定装置３０ａの構成を説明する。被写体判定装置３０ａは、第２のセンサデータ取得部３３６と、補正部３３７とをさらに備える。また、被写体判定装置３０ａは、判定部３３４に代えて、判定部３３４ａを備える。

第２のセンサデータ取得部３３６は、入出力部３１経由でカメラ２０ａから当該カメラ２０ａの動きを示す第２のセンサデータを取得する。補正部３３７は、第２のセンサデータ取得部３３６で取得された第２のセンサデータを用いて、時系列データ作成部３３３で作成した時系列データにおけるカメラ２０ａが動いたことによるブレを補正する。

判定部３３４ａは、所定期間における第１のセンサデータと、ブレの補正後の時系列データとを用いて、撮影データにおける被写体がデバイス１０であるか否かを判定する。

なお、第２のセンサデータの示すカメラ２０ａの動きが所定の閾値を超えている場合、判定部３３４ａは、当該カメラ２０ａの動きが所定の閾値を超えている時間（被写体デバイス特定不可能時間）における、第１のセンサデータおよび補正部３３７による補正後の時系列データについては、被写体がデバイス１０であるか否かの判定対象外としてもよい。

つまり、判定部３３４ａは、被写体デバイス特定不可能時間がある場合、この被写体デバイス特定不可能時間以外の時間における、第１のセンサデータおよび補正部３３７による補正後の時系列データを対象として、被写体がデバイス１０であるか否かを判定する。このようにすることで、判定部３３４ａは、補正部３３７によるカメラ２０ａが動いたことによるブレの補正の許容範囲を超えた時系列データについて、被写体がデバイス１０であるか否かの判定対象外とすることができる。

（処理手順）
次に、図７を用いて、第２の実施形態のシステムの処理手順の例を説明する。なお、以下の説明において、判定部３３４ａは、上記の被写体デバイス特定不可能時間がある場合、この被写体デバイス特定不可能時間以外の時間における、第１のセンサデータおよび補正部３３７による補正後の時系列データを対象として、被写体がデバイス１０であるか否かを判定する場合を例に説明する。

図７のＳ１〜Ｓ８の処理は、図４のＳ１〜Ｓ８の処理と同様なので説明を省略し、図７のＳ１１の処理から説明する。カメラ２０ａは、例えば、ユーザ操作による処理開始指示を受信し（Ｓ３）、被写体の撮影を開始すると（Ｓ５）、カメラ２０ａ自体の動きを示す３軸加速度データ（第２のセンサデータ）を被写体判定装置３０ａへ送信する（Ｓ１１）。

Ｓ１１の後、被写体判定装置３０ａの第２のセンサデータ取得部３３６が、カメラ２０ａの３軸加速度データを取得すると、判定部３３４ａは、前記した式（１）等を用いて、３軸加速度データの１次元の加速度データ（合成加速度ｂ）を算出する（Ｓ１２）。そして、判定部３３４ａは、Ｓ１２で算出したカメラ２０ａの合成加速度ｂを参照し、カメラ２０ａの動きが所定の閾値を超えている時間がある場合、当該時間（被写体デバイス特定不可能時間）を記憶部３２に記録する（Ｓ１３）。

図７のＳ２１およびＳ２２は、図４のＳ２１およびＳ２２と同様なので説明を省略し、Ｓ２３から説明する。被写体判定装置３０ａの補正部３３７は、Ｓ１２で算出されたカメラ２０ａの合成加速度ｂを用いて、Ｓ２２で推定した被写体の３軸加速度における、カメラ２０ａ自体が動いたことによるブレを補正した推定合成加速度ｃを算出する（Ｓ２３）。

Ｓ２３の後、ユーザ操作等により、被写体判定装置３０ａが処理の終了の指示を受信すると、判定部３３４ａは、Ｓ８で算出した合成加速度ａと、Ｓ２３で推定した推定合成加速度ｃとの同一性判定を行う（Ｓ３３）。つまり、判定部３３４ａは、デバイス１０の合成加速度ａの示す動きと被写体の推定合成加速度ｃの示す動きとが同じか否かを判定する。

なお、判定部３３４ａは、Ｓ１３で被写体デバイス特定不可能時間が記録されていた場合、所定期間のうち、被写体デバイス特定不可能時間以外の時間における、合成加速度ａの示す動きと推定合成加速度ｃの示す動きが同じか否かを判定する。

例えば、判定部３３４ａは、所定期間のうち、被写体デバイス特定不可能時間以外の時間における、合成加速度ａおよび推定合成加速度ｃそれぞれの特徴点（動きが所定値以上の点）を抽出し、合成加速度ａと推定合成加速度ｃとで特徴点がどの程度一致するかを判定する。そして、判定部３３４ａが、合成加速度ａと推定合成加速度ｃとの特徴点の一致率が所定値を超えると判定した場合、合成加速度ａと３軸加速度とは同一である、つまり、撮影データの被写体はデバイス１０であると判定する。

その後、被写体判定装置３０ａのデータ出力部３３５は、例えば、判定部３３４ａによる判定結果、撮影データ、撮影ＩＤ、各種機器の署名（カメラ２０およびデバイス１０の署名）、上記の被写体デバイス特定不可能時間、その他のデータ（例えば、デバイス１０の計測値等）等の各種情報をサーバ４０へ送信する。そして、サーバ４０は、上記の各種情報を受信（Ｓ３４）すると、記憶部（図示省略）に記録する。

このようにすることで、システムは、カメラ２０ａが移動する場合であっても、被写体が確かにデバイス１０であるか否かを精度よく判定することができる。また、システムは、カメラ２０ａの撮影データとともに、被写体デバイス特定不可能時間を記録する。これにより、システムのユーザは、記録された撮影データのうち、どの時間帯の撮影データについて被写体が確かにデバイス１０であることが保証できるかを確認することができる。

（その他の実施形態）
なお、前記した各実施形態のシステムにおいて、デバイス１０やカメラ２０ａが内蔵する加速度センサの軸に対して、本体（デバイス１０やカメラ２０ａ）がどのような傾きで保持されるかは不明である。したがって、例えば、デバイス１０が、図８に示すような状態でユーザに保持され、携行された場合、デバイス１０の奥行きであるＺ軸方向の動きをカメラ２０，２０ａの撮影データから推定することが困難な場合もある。

このような場合、被写体判定装置３０，３０ａはデバイス１０の３軸（３次元）加速度データから１次元の加速度データ（合成加速度Ｇ）を算出する際、３軸（Ｘ軸、Ｙ軸、Ｚ軸）のうち、Ｘ軸、Ｙ軸の値を用いて算出すればよい。この場合の合成加速度Ｇ_２は、以下の式（２）により算出する。

Ｇ_２＝√（Ｘ^２＋Ｙ^２）…式（２）

このようにすることで被写体判定装置３０，３０ａは、カメラ２０，２０ａの撮影データから、被写体の奥行き方向（Ｚ軸方向）の動きを推定することが困難な場合であっても、被写体の動きを示すデータ（合成加速度Ｇ_２）を作成することができる。

なお、前記した各実施形態のシステムは、例えば、遠隔検定試験を行うデバイスと、当該デバイスを用いた遠隔検定試験の様子を撮影するカメラとを備えるシステムにおいて、遠隔検定試験を行うデバイスが確かにそのデバイスか否かを判定する際に用いてもよい。また、遠隔医療等の分野において、患者の医療計測データを計測し、医師の元へ送信するデバイスと、当該デバイスを用いている様子を撮影するカメラとを備えるシステムにおいて、当該デバイスが確かにそのデバイスか否かを判定する際に用いてもよい。また、各実施形態のシステムは、上記以外にも、遠隔地から映像による監視を行う際に、重要なデータを送信するデバイスが確かにそのデバイスであることを判定する必要のある様々なシステムに適用可能である。

（プログラム）
また、上記の実施形態で述べた被写体判定装置３０，３０ａは、被写体判定装置３０，３０ａの機能を実現する被写体判定プログラムを所望の情報処理装置（コンピュータ）にインストールすることによって実装できる。例えば、パッケージソフトウェアやオンラインソフトウェアとして提供される上記の被写体判定プログラムを情報処理装置に実行させることにより、情報処理装置を被写体判定装置３０，３０ａとして機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）等の移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistants）等がその範疇に含まれる。また、被写体判定装置３０，３０ａを、クラウドサーバに実装してもよい。

以下に、上記の被写体判定プログラムを実行するコンピュータの一例を説明する。図９は、被写体判定プログラムを実行するコンピュータを示す図である。図９に示すように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ（Central Processing Unit）１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ（Random Access Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。ディスクドライブ１１００には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１１１０およびキーボード１１２０が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１１３０が接続される。

ここで、図９に示すように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。前記した各実施形態で説明した各種データや情報は、例えばハードディスクドライブ１０９０やメモリ１０１０に記憶される。

そして、ＣＰＵ１０２０が、ハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

１０ デバイス
２０，２０ａ カメラ
３０，３０ａ 被写体判定装置
３１ 入出力部
３２ 記憶部
３３ 制御部
４０ サーバ
３３１ 第１のセンサデータ取得部
３３２ 撮影データ取得部
３３３ 時系列データ作成部
３３４，３３４ａ 判定部
３３５ データ出力部
３３６ 第２のセンサデータ取得部
３３７ 補正部

Claims (6)

1. デバイスから前記デバイスの動きを示す第１のセンサデータを取得するセンサデータ取得部と、
   前記デバイスを撮影するカメラから撮影データを取得する撮影データ取得部と、
   前記撮影データから、前記撮影データの被写体の動きを示す時系列データを作成する時系列データ作成部と、
   所定期間における前記第１のセンサデータおよび前記時系列データの一致率が所定値を超える場合、前記被写体は前記デバイスであると判定する判定部とを備えることを特徴とする被写体判定装置。
2. 前記判定部は、
   前記第１のセンサデータおよび前記時系列データそれぞれから前記デバイスまたは前記被写体の動きが所定値以上の点である特徴点を抽出し、前記所定期間における前記第１のセンサデータおよび前記時系列データの間で前記特徴点の一致率が所定値を超える場合、前記被写体は前記デバイスであると判定することを特徴とする請求項１に記載の被写体判定装置。
3. 前記被写体判定装置は、さらに、
   前記カメラの動きを示す第２のセンサデータを取得する第２のセンサデータ取得部と、
   前記第２のセンサデータを用いて、前記時系列データにおける前記カメラが動いたことによるブレを補正する補正部とを備え、
   前記判定部は、
   所定期間における前記第１のセンサデータと、前記ブレの補正後の前記時系列データとを用いて、前記被写体が前記デバイスであるか否かを判定することを特徴とする請求項１に記載の被写体判定装置。
4. 前記判定部は、
   前記第２のセンサデータの示す前記カメラの動きが所定の閾値を超える時間がある場合、前記所定期間のうち、前記時間以外の期間における、前記第１のセンサデータおよび前記被写体のブレの補正後の前記時系列データを用いて、前記被写体が前記デバイスであるか否かを判定することを特徴とする請求項３に記載の被写体判定装置。
5. 前記被写体判定装置は、さらに、
   前記被写体の撮影データと、前記カメラの動きが所定の閾値を超える時間とを出力するデータ出力部を備えることを特徴とする請求項４に記載の被写体判定装置。
6. デバイスから前記デバイスの動きを示す第１のセンサデータを取得するステップと、
   前記デバイスを撮影するカメラから撮影データを取得するステップと、
   前記撮影データから、前記撮影データの被写体の動きを示す時系列データを作成するステップと、
   所定期間における前記第１のセンサデータおよび前記時系列データの一致率が所定値を超える場合、前記被写体は前記デバイスであると判定するステップとを含んだことを特徴とする被写体判定方法。

Images