JP2016212675A - 物体認識システム - Google Patents

Abstract

【課題】移動体によって保有されている通信端末と、コンピュータが検出している移動体とを対応づける物体認識システムにおいて、移動体の姿勢に起因して対応付けができなくなってしまう恐れを低減できる物体認識システムを提供する。
【解決手段】各携帯端末１は、自端末に作用する加速度等の種々の状態量を逐次検出するとともに、現在から一定時間分の検出結果を時系列順に並べたデータを端末挙動データとしてサーバ２に送信する。サーバ２は、カメラ３から入力される映像信号に基づいて撮影範囲３１に存在する移動体の挙動を監視し、各移動体の挙動に関する状態量の時間変化を示すデータを推定結果履歴データとしてサーバ側記憶部に格納する。そして、携帯端末１から送信された端末挙動データと、移動体毎の推定結果履歴データとを比較することで、撮影範囲３１に存在する移動体と、携帯端末１との対応関係を特定する。
【選択図】図１

Description

本発明は、カメラなどの所定範囲の環境を認識するための装置を介してコンピュータシステムが認識している物体と、コンピュータシステムが通信している通信端末を携行又は搭載している移動体とを対応づける物体認識システムに関する。

特許文献１には、所定の範囲を撮影するカメラと、実世界における物体に付帯された付帯素子と、付帯素子と無線通信を実施するとともにカメラの撮影画像を取得するコンピュータと、を備える物体認識システムが開示されている。

この特許文献１における付帯素子は、コンピュータから発せられる発光指示命令に応答して発光する。また、コンピュータは、カメラの撮影画像を逐次解析し、発光指示信号に応答して付帯素子から発せられる発光を検出する。そして、コンピュータは、撮影画像内の発光の位置から、その付帯素子が付帯された物体の位置を特定する。これによって、コンピュータは、カメラによって撮影されている物体と、実世界に存在し、コンピュータと無線通信を実施している付帯素子が付帯された物体との対応関係を特定する。

特許第３９２７１６８号公報

近年、所定の検出エリアに存在する歩行者や、軽車両、自動車等といった種々の移動体を検出し、その検出した移動体に対して、その移動体の位置や、挙動、周辺状況に応じた情報を提供するサービスが求められている。例えば、検知エリア内に存在する各移動体の詳細な位置情報を特定し、その位置情報を各移動体に提供するサービスや、複数の移動体の位置関係に基づいて衝突が生じそうな移動体を検出し、それらの移動体に対して衝突の可能性があることを知らせるサービスなどである。

そのようなサービスの提供を実現するためには、コンピュータが通信している通信端末を携行又は搭載している移動体と、コンピュータがカメラ等によって検出している移動体とが、互いに対応付けられている必要がある。

ここで、上記サービスの実現に向けて、仮に特許文献１の技術を援用することができれば、コンピュータは、検出している移動体と、通信端末との対応関係を特定できる。しかしながら、特許文献１に開示の構成では、物体の位置及び姿勢が、その物体に付帯された付帯素子の発光部分がカメラによって撮影される状態となっていなければ、当該物体と、カメラが撮影している物体との対応関係を特定することが出来ない。したがって、仮に種々の移動体のそれぞれに付帯素子を取り付けた場合であっても、上述したように検出対象の姿勢によっては、コンピュータは対応関係を特定できなくなってしまう。

本発明は、この事情に基づいて成されたものであり、その目的とするところは、移動体によって保有されている通信端末と、コンピュータが検出している移動体とを互いに対応づける物体認識システムにおいて、移動体の姿勢によってコンピュータによる対応付けができなくなってしまう恐れを低減できる物体認識システムを提供することにある。

その目的を達成するための第１の物体認識システムの発明は、動体によって携行され、又は、移動体に搭載される第１端末（１、４）と、第１端末の外部に設けられ、第１端末と無線通信を実施する第２端末（２）と、を備え、第１端末は、第１端末を携行又は搭載している移動体の挙動に起因して変化する所定の状態量を取得する状態量取得部（１２、１３、１４、１６、４２、４３、４４）と、状態量取得部が取得した状態量の履歴を表す第１時系列データを記憶する第１状態量履歴記憶部（１１２、４２）と、第２端末と通信する第１端末側通信部（１５、４３）と、を備え、第１端末側通信部は、第１状態量履歴記憶部が記憶している第１時系列データを第２端末に送信し、第２端末は、第１端末と通信し、少なくとも第１端末から送信されてくる第１時系列データを取得する第２端末側通信部（２５）と、所定の検出エリアに存在する物体を検出するためのデータである検出用データを取得する検出用データ取得部（２１）と、検出用データ取得部が取得した検出用データを解析することで、検出エリア内に存在する移動体を検出する移動体検出部（２２１）と、検出用データ取得部が取得した検出用データに基づいて、移動体検出部が検出している移動体である検出済み移動体の挙動に関する所定の状態量を推定する状態量推定部（２２２）と、状態量取得部が取得した検出済み移動体の状態量を時系列順に並べたデータである第２時系列データを、検出済み移動体と対応付けて記憶する第２状態量履歴記憶部（２４）と、第２端末側通信部が受信した第１時系列データと、第２状態量履歴記憶部が記憶している検出済み移動体毎の第２時系列データとに基づいて、当該第１時系列データの送信元に相当する第１端末と、検出済み移動体との対応関係を特定する対応関係特定部（２７）と、を備えることを特徴とする。

以上の構成では、第２端末の対応関係特定部は、或る第１端末（特定対象端末とする）から送信された第１時系列データと、第２端末自身が推定している検出済み移動体毎の第２時系列データとに基づいて、特定対象端末を携行している（又は搭載している）移動体と、検出エリア内に存在する移動体との対応関係を特定する。すなわち、種々の検出済み移動体の中から、特定対象端末に対応する検出済み移動体を特定する。

つまり、以上の構成において、検出済み移動体と特定対象端末とを対応付けるためには、特定対象端末から送信された第１時系列データが、第２端末で受信されればよい。一般的に、無線通信信号は放射方向だけでなく、反射や回折によって種々の方向に伝搬する。したがって、第１端末から送信された第１時系列データが、第１端末に対応する移動体の姿勢に起因して、第２端末で受信されなくなってしまう可能性は相対的に小さい。

したがって、以上の構成によれば、特許文献１に構成に比べて、移動体の姿勢に起因して、第２端末が、検出済み移動体と第１端末との対応付けができなくなってしまう恐れを低減できる。

また、上記目的を達成するための第２の物体認識システムの発明は、移動体によって携行され、又は、移動体に搭載される複数の第１端末（１、４）と、第１端末の外部に設けられ、第１端末と無線通信を実施する第２端末（２）と、を備え、第１端末は、移動体の挙動に起因して変化する所定の状態量を取得する状態量取得部（１１１、４１）と、状態量取得部が取得した状態量の履歴を表す第１時系列データを記憶する第１状態量履歴記憶部（１１２、４２）と、第２端末と通信する第１端末側通信部（１５、４３）と、を備え、第２端末は、第１端末と通信する第２端末側通信部（２５）と、所定の検出エリアに存在する物体を検出するためのデータである検出用データを取得する検出用データ取得部（２１）と、検出用データ取得部が取得した検出用データを解析することで、検出エリア内に存在する移動体を検出する移動体検出部（２２１）と、検出用データ取得部が取得した検出用データに基づいて、移動体検出部が検出している移動体である検出済み移動体の状態量を推定する状態量推定部（２２２）と、状態量推定部が推定した検出済み移動体の状態量を時系列順に並べたデータである第２時系列データを、検出済み移動体と対応付けて記憶する第２状態量履歴記憶部（２４）と、第２状態量履歴記憶部が記憶している検出済み移動体毎の状態量に基づいて、検出エリアに存在する検出済み移動体が、予め定められた要警告状況となっているか否かを判定する状況判定部（２７）を備え、第２端末側通信部は、状況判定部によって要警告状況に該当すると判定された検出済み移動体に対応する第２時系列データを第１端末に送信し、第１端末は、さらに、第１端末側通信部が受信した第２時系列データと、第１状態量履歴記憶部が取得している第１時系列データとを比較することで、受信した第２時系列データに対応する移動体が、当該第１端末を携行又は搭載している移動体であるか否かを判定する第１端末側対応関係判定部（１１６）と、第１端末側対応関係判定部が、その受信した第２時系列データに対応する移動体が、当該第１端末を携行又は搭載している移動体であると判定した場合に、ユーザに対して警告を行う警告処理部（１１４）を備えることを特徴とする。

以上の構成では、第２端末の状態量推定部は、検出エリア内に存在する移動体（つまり検出済み移動体）毎の状態量を逐次推定するとともに、状況判定部が、状態量推定部が推定している検出済み移動体毎の状態量に基づいて、検出エリアに存在する移動体が、要警告状況となっているか否かを判定する。そして、要警告状況となっている移動体が存在する場合には、その移動体に対して推定した状態量の履歴を表す第２時系列データを、複数の第１端末のそれぞれに配信する。

一方、複数の第１端末のそれぞれが備える状態量取得部は、第２端末が推定する状態量と同じ種別の状態量を逐次取得しており、その取得された複数時点における状態量の履歴は第１時系列データとして第１状態量履歴記憶部に格納される。そして、各第１端末の対応関係判定部は、第２端末から第２時系列データを受信した場合には、第１時系列データと第２時系列データとを比較することで、自分自身（自端末とする）を携行又は搭載している移動体が、第２時系列データに対応する移動体であるか否かを判定する。

以上の構成によれば、第１端末が、第２端末によって要警告状況であると判定されている移動体と、自端末との対応関係を特定するためには、第２端末から送信された第２時系列データを受信できればよい。したがって、以上の構成によれば、第１端末を携行又は搭載している移動体の姿勢に起因して、第１端末が、第２端末によって要警告状況となっていると認識されている移動体と自端末を携行又は搭載する移動体との対応付けができなくなってしまう恐れを低減できる。

なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

本発明に係る物体認識システム１００の概略的な構成を示す概念図である。 第１実施形態における携帯端末１の概略的な構成を示すブロック図である。 検出結果履歴格納部１１２に格納されているデータの概略的な構成を説明するための概念図である。 第１実施形態におけるサーバ２の概略的な構成の一例を示すブロック図である。 サーバ側記憶部２４に格納されているデータの概略的な構成を説明するための概念図である。 対応関係特定部２７の作動を説明するための概念図である。 第２実施形態における携帯端末１の概略的な構成の一例を示すブロック図である。 第２実施形態におけるサーバ２の概略的な構成の一例を示すブロック図である。 第３実施形態におけるサーバ２の概略的な構成の一例を示すブロック図である。 第４実施形態における車載端末４の概略的な構成の一例を示すブロック図である。 第５実施形態におけるサーバ２の概略的な構成の一例を示すブロック図である。 第５実施形態における携帯端末１の概略的な構成の一例を示すブロック図ある。

［第１実施形態］
以下、本発明の第１実施形態について図を用いて説明する。図１は、本実施形態に係る物体認識システム１００の概略的な構成の一例を示す図である。本実施形態に係る物体認識システム１００は、複数のユーザのそれぞれ（例えばユーザＡ）によって携帯される携帯端末１と、サーバ２と、予め定められた範囲（撮影範囲とする）３１を逐次撮影するカメラ３とを備えている。

携帯端末１としては、周知のスマートフォンや、タブレット端末、ウェアラブルデバイス、携帯型ゲーム機、携帯型音楽プレーヤなどを用いることができる。ただし、携帯端末１には、物体認識システム１００が備える通信端末として動作させるためのアプリケーションプログラムがインストールされているものとする。

携帯端末１とサーバ２とは、電話回線網やインターネット等といった、広域通信網を介した無線通信（広域通信）を実施可能な構成となっている。また、サーバ２とカメラ３とは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）によって接続されてあって、カメラ３が撮影した映像信号は逐次サーバ２に出力されている。なお、サーバ２とカメラ３は、広域通信網を介して通信可能に接続されてあってもよい。

なお、本実施形態では一例として、物体認識システム１００が備える通信端末として、ユーザによって携帯される携帯端末１を備える態様を例示するが、これに限らない。物体認識システム１００が備える通信端末は、歩行者や、軽車両、原動機付き自転車、自動車、トロリーバス、路面電車等といった種々の移動体で用いられている通信端末であればよい。

例えば、物体認識システム１００が備える通信端末は、自動車に搭載された通信端末（車載端末とする）であってもよい。そのような態様においては車載端末もまた、以降で述べる携帯端末１と同様の機能を備えているものとする。携帯端末１や車載端末が請求項に記載の第１端末に相当し、サーバ２が請求項に記載の第２端末に相当する。

なお、図１では、携帯端末１を１つしか図示していないが、物体認識システム１００は、複数のユーザのそれぞれによって携帯される複数の携帯端末１や、複数の車両のそれぞれに搭載された車載端末を備えている。各通信端末には、固有の識別子（端末ＩＤとする）が割り当てられてあって、当該端末ＩＤによって、サーバ２や各通信端末は、通信相手を識別することができる。

＜携帯端末１の構成＞
まずは、携帯端末１の概略的な構成について図２を用いて説明する。携帯端末１は、図２に示すように、携帯側制御部１１、加速度センサ１２、ジャイロセンサ１３、地磁気センサ１４、携帯側通信部１５を備えている。なお、スマートフォンなどの一般的な携帯端末が有している種々の機能に関する構成のうち、本実施形態の説明に不要なものについては省略している。

携帯側制御部１１は、通常のコンピュータとして構成されており、ＣＰＵや、メモリ、ストレージ、Ｉ／Ｏ、及びこれらの構成を接続するバスラインなどを備えている。ストレージには、前述のアプリケーションプログラム等のソフトウェアや、携帯端末１に割り当てられている端末ＩＤ等が格納されている。

携帯側制御部１１は、携帯端末１全体の作動を制御する役割を担う。携帯側制御部１１は、加速度センサ１２や、ジャイロセンサ１３、地磁気センサ１４から出力されるデータを逐次取得する。また、携帯側制御部１１は携帯側通信部１５と相互通信可能に構成されている。この携帯側制御部１１が備える機能については別途後述する。

加速度センサ１２は、携帯端末１を携行するユーザの挙動に伴って、携帯端末１に作用する加速度を検出するセンサである。ここでは一例として、加速度センサ１２は、互いに直交する３つの軸（Ｘ軸、Ｙ軸、Ｚ軸）方向のそれぞれにおける加速度を検出する３軸加速度センサとする。加速度センサ１２の検出結果は、逐次携帯側制御部１１に提供される。なお、加速度センサ１２は、２軸センサであってもよい。

ジャイロセンサ１３は、互いに直交する３つの軸（ピッチ軸、ロール軸、ヨー軸）のそれぞれの軸周りの回転角速度を検出する３軸ジャイロセンサである。ジャイロセンサ１３の検出結果は、逐次携帯側制御部１１に提供される。なお、ジャイロセンサ１３は、２軸ジャイロセンサであってもよい。

地磁気センサ１４は、磁界の向きを計測し、携帯端末１が向いている方位角を検出するためのセンサである。ここでは一例として地磁気センサ１４は、地磁気を互いに直交する３つの軸方向成分に分解して検出（推定を含む）する３軸地磁気センサとする。地磁気センサ１４の検出結果は逐次、携帯側制御部１１に提供される。なお、地磁気センサ１４は、２軸地磁気センサであっても良い。

ここでは一例として加速度センサ１２とジャイロセンサ１３とを別々のブロック図で表しているが、加速度センサ１２とジャイロセンサ１３は、３軸加速度センサと３軸ジャイロセンサとを組み合わせた１つの６軸センサ（いわゆるモーションセンサ）として備えられていても良い。モーションセンサは、携帯端末１の挙動に伴って変化する種々の状態量を検出（算出や推定を含む）センサである。

なお、携帯端末１は、加速度センサ１２、ジャイロセンサ１３、地磁気センサ１４の全てを備えている必要はない。また、もちろん、携帯端末１は上述したセンサ以外のセンサを備えていても良い。

携帯側通信部１５は、広域通信網に接続し、広域通信網を介して受信した信号を復調して携帯側制御部１１に提供するとともに、携帯側制御部１１から入力されたベースバンド信号を変調して、サーバ２に送信する。つまり、携帯側通信部１５は、サーバ２とのデータの送受信を実施する。この携帯側通信部１５が請求項に記載の第１端末側通信部に相当する。

携帯側制御部１１は、上述のソフトウェアを実行することによって実現される機能ブロックとして、図２に示すように検出結果管理部１１１、検出結果履歴格納部１１２、携帯側通信処理部１１３、及び報知処理部１１４を備える。なお、検出結果管理部１１１、携帯側通信処理部１１３、及び報知処理部１１４のそれぞれは、一つあるいは複数のＩＣ等によりハードウェア的に実現されてもよい。検出結果履歴格納部１１２は、携帯側制御部１１が備えるメモリの一部を利用することによって実現されればよい。検出結果履歴格納部１１２が請求項に記載の第１状態量履歴記憶部に相当する。

検出結果管理部１１１は、種々のセンサから提供される検出結果を逐次取得する。具体的には、検出結果管理部１１１は、３つの軸方向毎の加速度（Ａｘ，Ａｙ，Ａｚ）と、３つの軸周りの回転角速度（Ｇｐ，Ｇｒ，Ｇｙ）と、方位角を示す地磁気の３軸方向成分（Ｈａ、Ｈｂ、Ｈｃ）のそれぞれを逐次取得する。なお、ＡｘはＸ軸方向の加速度を、ＡｙはＹ軸方向の加速度を、ＡｚはＺ軸方向の加速度をそれぞれ表している。また、Ｇｐはピッチ軸周りの回転角速度を、Ｇｒはロール軸周りの回転角速度を、Ｇｙはヨー軸周りの回転角速度をそれぞれ表している。Ｈａ、Ｈｂ、Ｈｃのそれぞれは、互いに直交する３つの軸方向における地磁気の大きさを表している。この検出結果管理部１１１が請求項に記載の状態量取得部に相当する。

そして、その取得した検出結果を、取得した時刻（≒検出時刻）と対応付けて検出結果履歴格納部１１２に保存する。図３は、検出結果履歴格納部１１２に格納されるデータ構成の一例を示す図であり、各時点における種々の状態量は、その検出された時刻を示す時刻情報の他、サンプルＩＤと対応付けられて保存される。サンプルＩＤは、有る時点における検出結果と、別の時点における検出結果とを区別するための識別番号であって、検出時刻順に連番で付与されればよい。検出結果履歴格納部１１２において、複数時点における検出結果は、新しいものが先頭となるように時系列順にソートされて記憶されている。

この加速度や、回転角速度、携帯端末１の方位角などが、ユーザの挙動に起因して変化する携帯端末１の種々の状態量の一例に相当する。なお、検出結果管理部１１１は、種々のセンサから取得した種々の状態量に基づいて、例えば、携帯端末１の移動方向や、移動距離、移動速度、姿勢の変化量を推定し、時刻情報と対応付けて保存してもよい。

加速度や回転角速度、方位角等から移動距離や移動速度、携帯端末１の姿勢を求める方法は周知であるため、ここでの詳細な説明は省略する。そのように、種々のセンサから推定される携帯端末１の移動方向や、移動距離、移動速度、姿勢の変化量、姿勢なども、請求項に記載の状態量に該当する。

さらに検出結果管理部１１１は、或る起算時点における位置を原点とする相対位置を、種々のセンサから取得した種々の状態量に基づいて推定し、検出結果履歴格納部１１２に時刻情報と対応付けて保存してもよい。起算時点は、所定の周期的な時点としてもよいし、外部からの所定のトリガ信号が入力された場合としてもよい。さらに、ユーザによる所定の操作が行われた場合としてもよい。

携帯側通信処理部１１３は、携帯側通信部１５の動作を制御し、サーバ２から送信されて携帯側通信部１５が受信したデータの取得や、サーバ２へのデータ送信を携帯側通信部１５に実行させる。例えば携帯側通信処理部１１３は、所定のトリガを検出した場合に、検出結果履歴格納部１１２にアクセスし、最新の検出結果から一定時間分の検出結果を時系列に並べたデータを抽出する。そして、携帯側通信部１５と協働し、そのデータを、端末挙動データとしてサーバ２に送信する。端末挙動データは、現時点から一定時間内における携帯端末１を携行するユーザの挙動の履歴を表すデータである。この端末挙動データが請求項に記載の第１時系列データに相当する。ここでの挙動とは、移動や、ジャンプ、姿勢の変化、手振り等を意味するものである。

なお、携帯側通信処理部１１３は、一定時間おきに端末挙動データを送信する態様としてもよいし、ユーザからの所定の操作入力を受け付けた場合に、端末挙動データを送信する態様としてもよい。

さらに、携帯端末１が、後述するエリア内外判定部１１５を備えている場合には、エリア内外判定部１１５によって、撮影範囲３１に存在していると判定されている間のみ、一定時間間隔で端末挙動データを送信する態様としてもよい。なお、前述の通り、携帯端末１からサーバ２に送信されるデータには、送信元としての携帯端末１を示す端末ＩＤが含まれている。

報知処理部１１４は、携帯端末１が備えるディスプレイやスピーカ、バイブレータ（何れも図示略）を介して、ユーザに対して種々の情報を報知する処理を実施する。

＜サーバ２の構成＞
次に、サーバ２の構成について述べる。サーバ２は、図４に示すように、機能ブロックとして、画像取得部２１、画像解析部２２、解析結果管理部２３、サーバ側記憶部２４、サーバ側通信部２５、通信相手管理部２６、及び対応関係特定部２７を備える。

サーバ２が備える、サーバ側記憶部２４以外の機能ブロックは、ソフトウェアによって実現されても良いし、一つあるいは複数のＩＣ等を用いてハードウェア的に実現してもよい。また、サーバ側記憶部２４は、書き換え可能な記憶媒体によって実現される。サーバ側記憶部２４は種々のデータを記憶するためのデータベースである。なお、サーバ２は、周知のクラウドコンピューティング技術を援用して実現されてもよい。

画像取得部２１は、カメラ３が撮影している映像信号を逐次取得する。また、取得した映像信号に対して所定のエンコード処理を施すことで、映像信号に含まれる各フレームデータを、周知の画像解析処理を適用可能な形式のデータ（画像データとする）に変換する。そして、映像信号から生成された各フレームに対応する画像データを逐次画像解析部２２に提供する。この画像データは後述するように、撮影範囲３１に存在する移動体を検出するために用いられる。すなわち、画像取得部２１が取得する画像データが請求項に記載の検出用データの一例に相当し、撮影範囲３１が請求項に記載の検出エリアに相当する。また、画像取得部２１が請求項に記載の検出用データ取得部に相当する。

画像解析部２２は、画像取得部２１から提供される画像データを解析する機能ブロックである。画像解析部２２は、より細かい機能ブロックとして、移動体検出部２２１と、状態量推定部２２２を備える。

移動体検出部２２１は、画像取得部２１から逐次入力される画像データを解析し、検出対象として予め設定されている移動体を検出する。画像データから所定の検出対象を抽出する方法としては、パターンマッチングやハフ（Ｈｏｕｇｈ）変換等といった、公知の画像認識処理を援用すればよい。

例えば画像解析部２２は、画像データに対してエッジ検出などの公知の画像処理を行い、画像に含まれている全ての物体の輪郭を抽出する。そして、画像処理を施した画像データに対して、パターンマッチング処理を行うことによって、検出対象となっている移動体を検出する。なお、画像処理としては、エッジ検出の他にも、例えば鏡像に変換する鏡像変換やレンズの特性で画像周辺部に生じる歪みを補正する歪み補正等も行う構成としてもよい。

本実施形態において検出対象とする移動体は、歩行者や軽車両（その運転者を含む）、自動車等である。これらの検出対象とする移動体を画像データから検出するための画像認識処理に用いられるデータ（画像認識用データとする）は、図示しない記憶媒体に格納されていればよい。画像認識用データとは、例えば検出対象とする移動体の形状パターンを表すデータなどが該当する。

また、移動体検出部２２１は、検出対象となっている移動体を画像データ内に検出すると、その検出した移動体に対して、他の移動体と識別するための管理番号としての移動体ＩＤを付与する。移動体ＩＤは、画像データ内（言い換えれば撮影範囲３１内）に存在する移動体毎に異なる番号であればよく、例えば検出した順番に設定される番号であってもよい。

一度検出した移動体は、周知の物体追跡（トラッキング）手法を用いて追尾する。これにより、同一の移動体に対しては、１つの移動体ＩＤが割り当てられることとなる。便宜上、移動体ＩＤが既に割り当てられている移動体を検出済み移動体とも称する。

状態量推定部２２２は、移動体検出部２２１が検出した移動体を追尾することで、カメラ３が捉えている移動体毎に、その移動体の挙動を示す種々の状態量を推定する。ここでの状態量とは、絶対位置や、空間的相対位置、時間的相対位置、移動速度、移動方向、移動軌跡、姿勢の変化量（向きの変化角度）などが該当する。

絶対位置は、緯度や経度によって表される位置であり、空間的相対位置は、撮影範囲３１内において基準とする地点（例えば撮影範囲３１の中心）に対する相対的な位置である。また、時間的相対位置は、或る基準とする時点（例えば追跡を開始した時点）におけるその移動体の位置に対する現時点の相対的な位置である。

例えば絶対位置は、画像データ内におけるその移動体の位置と、カメラ３の設定位置及び撮像方向とに基づいて、算出されればよい。或いは、画像データ内の座標と、撮影範囲３１における各地点の座標（緯度、経度）との対応関係を示す座標変換データを用意しておき、当該座標変換データと、画像データ内におけるその移動体の位置ちから、その移動体の絶対位置を推定してもよい。

また、空間的相対位置や、時間的相対位置は、例えば移動体の絶対位置を逐次算出し、基準とする地点の座標と比較することで求めることができる。移動軌跡は、追跡を開始した時点から現在までの絶対位置の時系列データとすればよい。移動体の移動速度や移動方向は、複数の連続するフレーム間における移動体の位置の変化量などから算出することができる。

また、状態量推定部２２２は、移動体の移動速度を時間微分することで、移動体に作用している加速度を推定してもよいし、移動方向の単位時間当りの変化量（つまり向きの変化量）を時間微分することで、路面に鉛直な軸周りの回転角速度を推定してもよい。つまり、状態量推定部２２２は、或る移動体の状態量として、絶対位置や、空間的相対位置、時間的相対位置、移動速度、移動方向、移動軌跡の他、加速度や、移動体の向きの変化量、回転角速度などを推定してもよい。

もちろん、状態量推定部２２２は、これらの全ての状態量を推定する必要はなく、以上で例示した状態量のうちの一部を推定すればよい。また、以上で例示していない種類の状態量を推定してもよい。

本実施形態では一例として、状態量推定部２２２は、移動体の絶対位置を推定するものとする。また、絶対位置を推定するための機能ブロックとして、状態量推定部２２２は位置推定部２２２１を備えるものとする。状態量推定部２２２が推定した移動体毎の種々の状態量（つまり推定結果）は、移動体ＩＤと対応付けて解析結果管理部２３に提供される。

また、本実施形態では状態量推定部２２２は、１フレーム毎に移動体の状態量を推定する態様とするが、他の態様として、３フレーム毎や１０フレーム毎など、一定時間毎に状態量の推定を行う態様としてもよい。

解析結果管理部２３は、画像解析部２２から提供される、カメラ３が捉えている移動体についての情報を管理する。具体的には、移動体ＩＤと、その移動体ＩＤが付与されている移動体に対して状態量推定部２２２が推定した状態量とを対応付けてサーバ側記憶部２４に格納する。

例えば、解析結果管理部２３は、撮影範囲３１内に存在する移動体をリスト化した移動体リストによって管理すればよい。図５は、記憶部に格納されている移動体毎の情報を示すデータ構成の一例である。図５に示すように各移動体の情報は、移動体ＩＤによって区別されるとともに、或る移動体ＩＤが割り当てられている移動体についての、複数時点における種々の状態量は、その状態量を検出した時刻を表す時刻情報と、サンプルＩＤと対応付けられて保存されている。

ここでのサンプルＩＤとは、その移動体の状態量の推定結果を、他の時点における推定結果と区別するためのＩＤである。或る移動体についての状態量を時系列順に並べたデータを以降では、推定結果履歴データと称する。推定結果履歴データが請求項に記載の第２時系列データに相当する。また、サーバ側記憶部２４が備える記憶領域のうち、推定結果履歴データを格納している記憶領域が請求項に記載の第２状態量履歴記憶部に相当する。

サーバ側通信部２５は、広域通信網に接続し、携帯端末１とデータの送受信を実施する。具体的には、サーバ２が備える機能ブロック（例えば対応関係特定部２７）から入力されたデータを変調し、所定の携帯端末１へ送信する。また、サーバ側通信部２５は、広域通信網を介して受信した信号を復調することで受信信号に対応するデータを取得する。例えば、携帯端末１から送信された端末挙動データを受信した場合には、そのデータの送信元を示す端末ＩＤと端末挙動データとを対応付けて通信相手管理部２６及び対応関係特定部２７に提供する。このサーバ側通信部２５が請求項に記載の第２端末側通信部に相当する。

なお、携帯端末１だけでなく、車載端末もまたサーバ２の通信相手となりうる。車載端末から送信されたデータを受信した場合も、携帯端末１からのデータを受信した場合と同様に処理されればよい。

通信相手管理部２６は、サーバ側通信部２５から提供される端末挙動データを、そのデータの送信元を示す端末ＩＤとともに取得し、それらを互いに対応付けてサーバ側記憶部２４に保存する。

対応関係特定部２７は、サーバ側通信部２５から提供される端末挙動データと、サーバ側記憶部２４に格納されている検出済み移動体毎の推定結果履歴データとに基づいて、当該端末挙動データを送信した携帯端末１（又は車載端末）と、移動体検出部２２１によって検出されている移動体との対応関係を特定する。以降では端末挙動データの送信元に相当する携帯端末１を特定対象端末と称し、対応関係特定部２７の作動について図６を用いながら説明する。

まず、端末挙動データに含まれている種々の状態量から、特定対象端末に対応する移動体の挙動履歴を推定する。ここでは一例として、挙動履歴として移動の軌跡を採用することとし、端末挙動データに示される軸方向毎の加速度や、回転角速度、方位角情報に基づいて、図６の上段に示すように、特定対象端末の移動軌跡Ｔｒａを特定する。なお、移動軌跡Ｔｒａは、挙動履歴データに含まれる或る時刻における検出結果から次の時刻における検出結果までの微小な単位時間における位置の変化量を積み重ねることで形成されればよい。

また、対応関係特定部２７は、検出済み移動体毎の推定結果履歴データに示される絶対位置の履歴から、検出済み移動体毎の移動軌跡Ｔｒｂを取得する。図６中に示すＴｒｂ（１），Ｔｒｂ（２），Ｔｒｂ（３），…，Ｔｒｂ（ｍ）はそれぞれ移動体ＩＤが１，２，３，…，ｍとなっている移動体の移動軌跡を表している。この移動軌跡Ｔｒｂが請求項に記載の第２挙動履歴の一例に相当する。

次に、特定対象端末の移動軌跡と、検出済み移動体毎の移動軌跡を比較し、それぞれとの一致度合いＣを算出する。一致度合いＣの算出方法は周知のパターンマッチング法などを援用すればよい。そして、一致度合いＣが最も高い検出済み移動体を、特定対象端末に対応する移動体であると判定し、特定対象端末の端末ＩＤと検出済み移動体に割り当てられている移動体ＩＤとを紐付ける。

例えば、図６に示す例においては、Ｔｒｂ（２）が最も一致度合いが高くなるため、移動体ＩＤ＝２となっている移動体と、特定対象端末とを対応付ける。なお、図中のＣ（１），Ｃ（２），Ｃ（３），…，Ｃ（ｍ）は、ＴｒａとＴｒｂ（１），Ｔｒｂ（２），Ｔｒｂ（３），…，Ｔｒｂ（ｍ）のそれぞれとの一致度合いＣを表している。

なお、一致度合いＣの算出に際して、各検出済み移動体の移動軌跡のうち、Ｔｒａと比較する部分は、Ｔｒａの始点に対応するサンプルの取得時刻から、終端に対応するサンプルの取得時刻までの区間とする。したがって、Ｔｒｂ（３）が、Ｔｒａとの一致度合いＣがＴｒｂ（２）と同程度となる区間Ｔｒｘ（３）を有している場合であっても、移動体ＩＤ＝３となっている移動体を特定対象端末に対応する移動体であるとは判定しない。

以上のようにして、特定対象端末と検出済み移動体との対応付けを実施すると、対応関係特定部２７は、サーバ側通信部２５と協働し、検出済み移動体の現在の絶対位置を示す位置情報を特定対象端末としての携帯端末１に送信する。

＜第１実施形態のまとめ＞
以上の構成では、サーバ２は、携帯端末１から送信された端末挙動データから定まる移動軌跡と、検出済み移動体毎の推定結果履歴から定まる移動軌跡とを比較することで、その携帯端末１を携行している検出済み移動体と、携帯端末１の端末ＩＤとの対応付けを実施する。

つまり、検出済み移動体と携帯端末１とを対応付ける上で、携帯端末１から送信された端末挙動データがサーバ２で受信されればよく、携帯端末１を携行するユーザの姿勢の影響は受けにくい。したがって、特許文献１に構成に比べて、移動体の姿勢に起因して、検出済み移動体と携帯端末１との対応付けができなくなってしまう恐れを低減できる。

また、上記態様によれば、携帯端末１は、サーバ２から自端末の正確な位置を示す情報を取得することができる。一般的に、測位衛星からの電波を受信することによる測位結果は、マルチパスの影響等によって、数メートル程度の誤差を有する。そのような数メートルの誤差は、移動体が歩行者である場合、歩行者が歩道を歩いているか否かといった判断を不確かなものにしてしまう。

一方、本実施形態の構成によれば、実際の撮影画像に基づいて携帯端末１の位置を推定するため、測位衛星からの電波に基づいた測位結果よりも携帯端末１の位置を精度良く特定することができる。これによって、携帯端末１は、自端末を携行するユーザが歩道内に存在するか否かをより精度よく判定することができ、種々のサービスに応用できるようになる。なお、サービスの例としては、携帯端末１の携行するユーザが車道を歩行している際に、背後から接近する車両の存在を警告するサービスなどがある。

また、サーバ２はより好ましい態様として、携帯端末１を携行している移動体が、歩行者や軽車両である場合、サーバ２は歩道内を移動しているか、車道上を移動しているか否かといった情報を携帯端末１に送信してもよい。移動体が歩行者であるか否かは、周知の画像認識技術を援用することで、移動体検出部２２１が移動体を画像データが抽出する際に判定されればよい。また、移動体としての歩行者が歩道を歩いているか否かも、周知の画像認識技術を援用することで特定されればよい。

そのような構成によれば、携帯端末１が歩道領域と車道領域の境界部分を示すような詳細な地図データを備えていなくても、携帯端末１は、自端末に対応する移動体が歩道上に存在するか車道上に存在するかを判定することができる。

また、以上の構成によれば、実際の撮影画像に基づいて携帯端末１に対応する移動体が歩道内に存在するか否かを判定するため、位置情報を用いて判定する場合よりも精度を向上させることができると期待される。

［変形例１］
以上では、端末挙動データに含まれる状態量の種類と、状態量推定部２２２によって推定される状態量の種類とが異なっている態様を例示したが、これに限らない。端末挙動データに含まれる状態量の種類と、状態量推定部２２２によって推定される状態量の種類とは同じ種類の状態量であって、それらを直接比較可能なデータとなっていても良い。

例えば、端末挙動データは、携帯端末１は現在時刻から過去一定時間における移動の軌跡を表すデータであってもよい。そのような態様によれば端末挙動データと、検出済み移動体毎の推定結果履歴データとを比較することができる。

なお、そのような態様における端末挙動データは、微小な単位時間当りの携帯端末１の位置の変化量を時系列に並べたデータとなる。微小な単位時間とは、例えば１００ミリ秒など、種々のセンサが検出結果を出力する間隔に応じた値とすればよい。

また、端末挙動データは、携帯端末１の水平面における向きの変化量の時間変化を表すデータとし、推定結果履歴データもまた、単位時間当りの路面に平行な平面における検出済み移動体の向きの時間変化を表すデータとしてもよい。路面が略水平となっている場合には、それらを直接的に比較することで、特定対象端末と検出済み移動体との対応付けることができる。

［変形例２］
また、上述した第１実施形態では、特定対象端末と検出済み移動体との対応付けを、移動軌跡の一致度合いＣに基づいて行う態様を例示したが、これに限らない。他の態様として、対応関係の判断材料として用いる挙動履歴は、移動体に作用している加速度の大きさの履歴であってもよいし、移動体の移動速度の履歴であってもよい。また、携帯端末１の向きの変化の履歴であってもよい。その他の物理状態量の時間変化を示す履歴であってもよい。

［変形例３］
第１実施形態において、サーバ２から携帯端末１に提供する情報は、絶対位置（緯度、経度）や、歩道内に存在するか否かといった情報に限らない。例えば、移動体が向いている方位角や、移動速度、移動軌跡といった、移動体の挙動に関する情報を送信してもよい。また、携帯端末１の周辺に存在する移動体についての情報を送信してもよい。

［変形例４］
また、携帯端末１（及び車載端末）とサーバ２とは、道路沿いに設けられた、周知の路車間通信を実施するための通信設備（いわゆる路側機）を介して通信を実施する態様としてもよい。路車間通信に供される路側機とは、路側機が設置されている位置を基準として定まる所定範囲内に存在する通信端末と、例えば７００ＭＨｚ帯や５．８ＧＨｚ帯などといった予め定められた周波数帯の電波を用いて、広域通信網を介さない通信（すなわち路車間通信）を実施する通信設備である。

このような態様によれば、携帯端末１は、路側機を介してサーバ２に端末挙動データを送信することができるとともに、サーバ２もまた路側機を介して、携帯端末１に対応する移動体に応じた種々の情報を提供することができる。

なお、そのような態様においては撮影範囲３１と路側機の路車間通信が可能な範囲とは略一致していることが好ましい。また、路側機とサーバ２とは通信可能に接続されているものとする。

［第２実施形態］
次に本発明の第２実施形態について、図を用いて説明する。なお、以降において前述の第１実施形態の構成の部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、構成の一部のみに言及している場合、他の部分については先に説明した第１実施形態や種々の変形例を適用することができる。

第２実施形態における物体認識システム１００の概略的な構成は、前述の第１実施形態と同様であって、ユーザによって携行される携帯端末１や、カメラ３の撮影信号を取得するサーバ２を備える。

第１実施形態と第２実施形態との主たる相違点は、サーバ２が、検出済み移動体の位置関係や挙動から、その移動体が予め定められた状況（要警告状況とする）となっているか否かを判定し、要警告状況となっている場合には、その移動体に対応する携帯端末１に対して警告指示信号を送信する点にある。

ここでの要警告状況とは、その移動体に対応するユーザに対して、注意を促すべき状況であって、例えば、他の検出済み移動体と接触する可能性が所定の閾値以上となっている状況を指す。また、警告指示信号とは、携帯端末１のユーザに対して注意を促す警告処理（警告音の出力など）を実施させるための信号である。以下、この第２実施形態における携帯端末１及びサーバ２の構成について説明する。

第２実施形態における携帯端末１は、図７に示すように、第１実施形態で言及した機能に加えて、ＧＮＳＳ受信機１６、及びエリア内外判定部１１５を備える。また、検出結果管理部１１１は位置情報取得部１１１１を備える。

ＧＮＳＳ受信機１６は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）で用いられる衛星（ＧＮＳＳ衛星とする）からの電波を受信することで、携帯端末１の現在位置を示す情報を取得する。ＧＮＳＳ受信機１６が取得した現在位置は、例えば、緯度、経度で表されれば良い。ＧＮＳＳ受信機１６が取得した位置情報は逐次（例えば１００ミリ秒毎に）、携帯側制御部１１に提供される。

検出結果管理部１１１が備える位置情報取得部１１１１は、ＧＮＳＳ受信機１６から提供される位置情報を取得する機能ブロックである。検出結果管理部１１１は、位置情報取得部１１１１が取得した位置情報を時刻情報と対応付けて検出結果履歴格納部１１２に保存する。

エリア内外判定部１１５は、自端末としての携帯端末１が、撮影範囲３１（境界線上を含む）に存在するか否かを判定する。ここでは一例として、ＧＮＳＳ受信機１６から提供される現在位置と、撮影範囲３１となっている領域を表すデータ（エリアデータとする）とを比較して、撮影範囲３１内に存在するか否かを判定する。

より具体的には、エリア内外判定部１１５は、自端末の現在位置がエリアデータに示される領域内（境界線上を含む）となっている場合には、携帯端末１が撮影範囲３１内に存在すると判定する。また、現在位置がエリアデータに示される領域外となっている場合には、携帯端末１が撮影範囲３１の内部に存在しないと判定する。なお、エリアデータは、緯度や経度によって表されていればよく、予め携帯側制御部１１が備える不揮発性の記憶媒体に格納されていればよい。ＧＮＳＳ受信機１６の最新の受信結果は、検出結果履歴格納部１１２にアクセスして取得すれば良い。

そして、エリア内外判定部１１５は、携帯端末１が撮影範囲３１内に存在すると判定している場合には、その旨を携帯側通信処理部１１３に通知する。携帯側通信処理部１１３は、エリア内外判定部１１５によって撮影範囲３１に存在していると判定されている間、一定時間間隔で端末挙動データを送信する。

なお、本実施形態では、エリアデータを用意しておき、エリア内外判定部１１５は、ＧＮＳＳ受信機１６が受信する現在位置とエリアデータとを比較することで、携帯端末１が撮影範囲３１内に存在するか否かを判定する態様とするが、これに限らない。例えば、変形例４で言及したように、携帯端末１とサーバ２とが路側機を介して通信する場合には、路側機からの信号を受信していることに基づいて、携帯端末１が撮影範囲３１に存在すると判定してもよい。そのような態様とする場合には、携帯端末１はＧＮＳＳ受信機１６を備えている必要はない。

また、第２実施形態におけるサーバ２は、図８に示すように、第１実施形態で言及した機能に加えて、状況判定部２８を備える。

状況判定部２８は、検出済み移動体毎の推定結果履歴データに基づいて、検出済み移動体毎に、予め定められた要警告状況となっているか否かを判定する。具体的には、或る検出済み移動体（第１移動体とする）の位置、移動速度、移動方向と、他の検出済み移動体（第２移動体とする）の位置、移動速度、移動方向とに基づいて、第１移動体と第２移動体とが衝突する可能性を演算する。そして、衝突する可能性が所定の閾値以上である場合に、第１移動体及び第２移動体のそれぞれは要警告状況であると判定する。

なお、状況判定部２８は、第１移動体と第２移動体の衝突の可能性が所定の閾値以上となっている場合には、衝突までの残り時間（ＴＴＣ：Ｔｉｍｅ ｔｏ Ｃｏｌｌｉｓｉｏｎ）を算出し、そのＴＴＣが所定の閾値以下となっている場合に、それらの移動体が要警告状況となっていると判定してもよい。

第１移動体と第２移動体のそれぞれの位置、移動速度、移動方向に基づいて、それらが衝突する可能性を演算する方法や、ＴＴＣを算出する方法については周知であるため、ここでは詳細な説明を省略する。なお、状況判定部２８は、検出済み移動体の全ての組み合わせに対して上記判定を実施すればよい。

そして、状況判定部２８は、要警告状況にあると判定した検出済み移動体に対して、警告指示信号を送信するようにサーバ側通信部２５に要求する。サーバ側通信部２５は、状況判定部２８からの要求に基づき、状況判定部２８によって要警告状況にあると判定されている検出済み移動体に対応する携帯端末１（又は車載端末）に対して、警告指示信号を送信する。

携帯端末１は、携帯側通信処理部１１３が警告指示信号を取得すると、報知処理部１１４が、警告音やユーザの注意を促す音声メッセージをスピーカから音声出力したり、バイブレータを振動させたりすることで、ユーザに対して要警告状況であることを報知する。このようにユーザに対して、要警告状況であることを報知する一連の処理が前述の警告処理に相当する。なお、警告処理として報知処理部１１４は、ディスプレイにユーザに対して要警告状況であることを表す画像やテキストを表示してもよい。報知処理部１１４が請求項に記載の警告処理部の一例に相当する。

＜第２実施形態のまとめ＞
この第２実施形態では、前述の第１実施形態と同様にして、撮影範囲３１内に存在する移動体と、携帯端末１との対応関係を逐次特定する。また、サーバ２は、撮影範囲３１内に存在する移動体の状況を監視し、要警告状況となっている移動体が存在する場合には、その移動体に対応する携帯端末１に対して警告指示信号を送信する。警告指示信号を受信した携帯端末１は、ユーザに対して要警告状況となっている旨を報知する。このような態様によれば、種々の移動体が、より安全に撮影範囲３１内を通過できるようになる。

なお、以上では、複数の移動体が衝突しそうな状況（衝突予知状況とする）を要警告状況として採用する態様を例示したが、これに限らない。移動体の種別として車両に属する検出済み移動体が、急な加速や、急な減速、急ハンドル、信号無視、一時停止無視といった、予め定められた運転操作をしている状況を、要警告状況として採用してもよい。

［第３実施形態］
次に本発明の第３実施形態について、図を用いて説明する。なお、以降において前述の第１、第２実施形態の構成の部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、構成の一部のみに言及している場合、他の部分については先に説明した実施形態や種々の変形例を適用することができる。

第３実施形態における物体認識システム１００の概略的な構成は、前述の第１、第２実施形態と同様であって、ユーザによって携行される携帯端末１や、カメラ３の撮影信号を取得するサーバ２を備える。前述の種々の実施形態と本実施形態との主たる相違点は、サーバ２が、それぞれ異なる範囲を撮影するカメラ３を複数備えている点にある。以下、この第３実施形態における携帯端末１及びサーバ２の構成について説明する。

本実施形態における携帯端末１は、第２実施形態における携帯端末１と同様にＧＮＳＳ受信機１６を備えてあって、自端末の現在位置（緯度、経度）を取得できる構成となっている。そして、携帯側通信処理部１１３は、現在位置を示す位置情報を含む端末挙動データをサーバ２に送信する。

また、本実施形態におけるサーバ２は、図９に示すように前述のカメラ３として、それぞれ異なる範囲を撮影範囲とする第１カメラ３Ａ、第２カメラ３Ｂ、第３カメラ３Ｃと接続されている。なお、ここでは一例として３つのカメラ３と接続されている態様としているが、サーバ２に接続されるカメラ３の数は３に限らず、２つや４つ以上であってもよい。各カメラ３には、他のカメラと識別するための識別子であるカメラＩＤが割り当てられている。

便宜上、第１カメラ３Ａ、第２カメラ３Ｂ、及び第３カメラ３Ｃのそれぞれの撮影範囲３１を区別する場合には、それぞれの撮影範囲３１の符号を３１Ａ、３１Ｂ、３１Ｃと記載する。サーバ側記憶部２４には、各カメラの撮影範囲３１となっている領域を表すデータ（すなわちエリアデータ）が格納されているものとする。

画像取得部２１は各カメラ３で撮影された映像信号に対応する画像データを逐次取得し、その画像データに対応する映像信号の提供元であるカメラ３毎に区別して画像解析部２２に提供する。画像解析部２２は、各カメラ３に由来する画像データに対して画像解析処理を実施して、撮影範囲３１毎に、移動体の検出や種々の状態量の推定を行う。例えば第１カメラ３Ａに由来する画像データから、撮影範囲３１Ａに存在する移動体を検出するとともに、その移動体の状態量を推定する。

解析結果管理部２３は、撮影範囲３１毎の移動体の情報を、撮影範囲３１毎に区別して管理する。例えば、第１カメラ３Ａに由来する画像データから検出できた移動体については、第１カメラ３Ａの撮影範囲３１Ａと対応付けて保存する。第１カメラ３Ａに由来する画像データから検出できた移動体とは、第１カメラ３Ａの撮影範囲３１Ａに存在する移動体である。第２カメラ３Ｂ、第３カメラ３Ｃのそれぞれに由来する画像データから検出できた移動体についても同様に、それぞれの移動体が存在する撮影範囲３１Ｂ、３１Ｃと対応付けて保存する。

また、本実施形態における対応関係特定部２７は、端末挙動データに含まれる位置情報から、複数の撮影範囲３１Ａ〜３１Ｃのうち、特定対象端末が存在する撮影範囲３１を特定するエリア判定部２７１を備えている。このエリア判定部２７１は、端末挙動データに含まれる位置情報と、複数の撮影範囲３１Ａ〜Ｃのそれぞれに対応するエリアデータを比較することで、特定対象端末が存在する撮影範囲３１を特定する。エリア判定部２７１が請求項に記載のエリア特定部に相当し、特定対象端末が存在する撮影範囲（滞在撮影範囲とする）３１が請求項に記載の端末滞在エリアに相当する。

そして対応関係特定部２７は、滞在撮影範囲３１に存在する検出済み移動体毎の挙動履歴と、端末挙動データから定まる挙動履歴とを比較して、特定対象端末に対応する検出済み移動体を特定する。

なお、滞在撮影範囲３１を特定した後の処理は、前述の種々の実施形態や変形例と同様である。例えば、より正確な現在位置を示す位置情報などを特定対象端末に送信する。また、要警告状況となっている移動体が存在する場合には、その移動体に対応する携帯端末１に警告指示信号を送信してもよい。なお、複数のカメラ３の撮影範囲３１は、部分的に重畳していてもよい。

［第４実施形態］
次に本発明の第４実施形態について、図を用いて説明する。なお、以降において前述の第１〜第３実施形態の構成の部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、構成の一部のみに言及している場合、他の部分については先に説明した実施形態や種々の変形例を適用することができる。

第４実施形態における物体認識システム１００は、ユーザによって携行される携帯端末１と、カメラ３の撮影信号を取得するサーバ２に加えて、車両外の所定範囲を撮影する車載カメラを備える車両に搭載された車載端末４を備える。

本実施形態の車載端末４は、上述した携帯端末１と同様の機能を備えるものであり、自端末が用いられている移動体としての自車両の挙動を示す種々の状態量を検出するとともに、その検出結果の時系列データである端末挙動データをサーバ２に送信する。また、車載端末４は、車載カメラが撮影した撮影画像をサーバ２に送信する機能を備える。

この車載端末４の概略的な構成を図１０に示す。車載端末４は、図１０に示すように、ＧＮＳＳ受信機４０１、車速センサ４０２、操舵角センサ４０３、車両側通信部４０４、及び車載カメラ４０５のそれぞれと接続されている。

ＧＮＳＳ受信機４０１は、携帯端末１が備えるＧＮＳＳ受信機１６と同様のものである。車速センサ４０２は車両の走行速度を検出し、操舵角センサ４０３は車両の駆動輪に付与されている操舵角を検出する。ＧＮＳＳ受信機４０１、車速センサ４０２、操舵角センサ４０３の検出結果は逐次車載端末４に提供される。車両側通信部４０４は、携帯側通信部１５と同様に、サーバ２とのデータの送受信を実施するための通信装置であって、車載端末４と相互通信可能に接続されている。車両側通信部４０４は車載端末４に内蔵されていても良い。

車載カメラ４０５は、車両外部の所定範囲を撮影するカメラである。ここでは一例として車載カメラ４０５は、車両前方の所定範囲（前方撮影範囲とする）を撮影する前方カメラとする。車載カメラ４０５としての前方カメラは、例えば、ウインドシールドの上端部付近において、上述の前方撮影範囲を撮影する姿勢で取り付けられていればよい。車載カメラ４０５が撮影した映像信号は逐次車載端末４に提供される。この車載カメラ４０５が請求項に記載の物体検出装置の一例に相当し、映像信号が請求項に記載の外部環境データに相当する。

なお、車載カメラ４０５の設置位置を示す設置位置データ、及び、車両における予め設定された基準点に対し、前方撮影範囲となる領域を示す前方撮影範囲データは、車載端末４が備えるストレージに格納されている。車両における基準点は適宜設計されればよく、例えば車両の現在位置として用いる位置や、車両の中心などとすれば良い。

車載端末４は、通常のコンピュータとして構成されており、ＣＰＵや、メモリ、ストレージ、Ｉ／Ｏ、及びこれらの構成を接続するバスラインなどを備えている。ストレージには、前述のアプリケーションプログラム等のソフトウェアや端末ＩＤ等が格納されている。

車載端末４は、ストレージに格納されているソフトウェアを実行することによって実現される機能ブロックとして、検出結果管理部４１、検出結果履歴格納部４２、車両側通信処理部４３、報知処理部４４、サービス提供判定部４５、及び車両側画像取得部４６を備える。

なお、検出結果管理部４１、車両側通信処理部４３、及び報知処理部４４、サービス提供判定部４５、及び車両側画像取得部４６のそれぞれは、一つあるいは複数のＩＣ等によりハードウェア的に実現されてもよい。検出結果履歴格納部４２は、車載端末４が備えるメモリの一部を利用することによって実現されればよい。

車載端末４が備える検出結果管理部４１、検出結果履歴格納部４２、車両側通信処理部４３、報知処理部４４は、携帯端末１が備える同じ名称の部材と同様の機能を有するものである。そのため、重複する説明は省略する。また、検出結果管理部４１は、ＧＮＳＳ受信機４０１から提供される自車両の位置情報を取得する位置情報取得部４１１を備える。なお、位置情報取得部４１１は、周知のデッドレコニング技術を援用し、車速センサ４０２の検出結果や、操舵角センサ４０３の検出結果に基づいて自車両の現在位置を特定するものであってもよい。

サービス提供判定部４５は、ＧＮＳＳ受信機４０１や、車速センサ４０２、操舵角センサ４０３の検出結果に基づいて、予め定められているサービス提供エリア内に自車両が存在しているか否かを判定する。サービス提供エリアは、後述するように、車載カメラ４０５が撮影した映像信号に対応する画像データをサーバ２に提供する処理を行うエリアであって、適宜、サーバ２の管理者によって設計されれば良い。サービス提供エリアは、撮影範囲３１を示すエリアデータと同様に、緯度・経度によって定義されていればよく、そのサービス提供エリアとなっている領域を示すデータは、車載端末４が備えるストレージに格納されていればよい。

車両側画像取得部４６は、車載カメラ４０５が撮影した映像信号を取得し、所定の画像データに変換して車両側通信処理部４３に提供する。車両側画像取得部４６が請求項に記載の外部環境データ取得部に相当する。また、車両側画像取得部４６は、携帯端末１の現在位置を示す位置情報や前方撮影範囲データに基づいて、車載カメラ４０５が撮影している範囲（車両側検出エリアに相当する）を特定し、その範囲を表す情報を撮影範囲情報として車両側通信処理部４３に提供する。撮影範囲情報が請求項に記載の車両側検出エリアデータに相当する。

車両側通信処理部４３は、サービス提供判定部４５によって自車両がサービス提供エリア内に存在すると判定している場合、車両側画像取得部４６から提供される画像データに、その撮影範囲を示す撮影範囲情報を付与した車両画像データをサーバ２に送信する。

本実施形態におけるサーバ２は、車載端末４から車両画像データを取得すると、その車両撮影データに含まれている撮影範囲情報に基づいて、その車載端末４が備える車載カメラ４０５の撮影範囲を特定する。また、その車両画像データに含まれる画像データに対して画像解析部２２が画像解析処理を施すことで、移動体の検出を行う。そして、検出した移動体の画像データ内における位置及び大きさと、特定した撮影範囲とに基づいて、検出した移動体の位置を推定する。

ここで画像解析部２２が推定する位置は、緯度及び経度を示す絶対位置であっても良いし、画像データを提供した車両の現在位置に対する相対位置であってもよい。なお、ここでは簡単のため、車載端末４から提供される画像から推定する検出済み移動体の状態量は、位置情報とするが、これに限らない。その他、移動速度や移動方向などを推定してもよい。この画像解析部２２の解析結果は、解析結果管理部２３によってサーバ側記憶部２４に、検出済みＩＤと対応付けて保存される。

そして、対応関係特定部２７は、携帯端末１や車載端末４から送信されてくる端末挙動データから定まる挙動履歴と、検出済み移動体毎の推定結果履歴データから定まる挙動履歴とを比較することで、対応関係を特定する。

また、状況判定部２８は、サーバ２と接続されているカメラ３が撮影した画像データから抽出されている検出済み移動体や、車載カメラ４０５が撮影した画像データから抽出されている検出済み移動体を母集団として、要警告状況となっている移動体がいるか否かを判定する。そして、要警告状況となっている移動体が存在する場合には、その移動体に関連する全ての移動体のそれぞれに対応する通信端末（携帯端末１及び車載端末４）に対して警告指示信号を送信する。

このような態様によれば、サーバ２は、自身と接続されている設置位置が固定されているカメラ３の他に、サービス提供エリアへの進入に伴って動的に追加される車載カメラ４０５の撮影映像を用いて、サービス提供エリアに要警告状況となっている移動体が存在するか否かを監視することができる。そして、要警告状況となっている移動体が存在する場合には、その移動体に関連する全ての移動体に対応する通信端末に警告指示信号を送信することで、移動体がサービス提供エリア内をより安全に移動できるようにすることができる。

［第５実施形態］
次に本発明の第５実施形態について、図を用いて説明する。なお、以降において前述の第１〜第４実施形態の構成の部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、構成の一部のみに言及している場合、他の部分については先に説明した実施形態や種々の変形例を適用することができる。

第５実施形態における物体認識システム１００は、携帯端末１、及びサーバ２を備える。これまでの実施形態との主たる相違点は、携帯端末１が、端末挙動データをサーバ２に送信せず、サーバ２もまた対応関係特定部２７を備えている必要がない点にある。以下、この第５実施形態における携帯端末１及びサーバ２の構成について説明する。

本実施形態におけるサーバ２は、図１１に示すように画像取得部２１、画像解析部２２、解析結果管理部２３、サーバ側記憶部２４、サーバ側通信部２５、及び状況判定部２８を備えている。画像取得部２１、画像解析部２２、解析結果管理部２３、サーバ側記憶部２４、サーバ側通信部２５のそれぞれは、これまでに述べたものと同様である。

本実施形態における状況判定部２８は、検出済み移動体毎の推定結果履歴データに基づいて、検出済み移動体毎に、予め定められた要警告状況となっているか否かを判定する。或る検出済み移動体が要警告状況となっているか否かの判定方法は第２実施形態で述べた方法と同様とすれば良い。

そして、状況判定部２８は、要警告状況にあると判定した検出済み移動体が存在する場合には、その要警告状況となっている移動体の、現在時刻から一定時間分の推定結果履歴データを、警告対象挙動データとして取得する。警告対象挙動データは、言い換えれば、注意すべき移動体の挙動の履歴を示すデータである。そして、状況判定部２８は、その警告対象挙動データをサーバ側通信部２５に提供し、物体認識システム１００が備える携帯端末１に対して送信させる。

なお、警告対象挙動データの送信対象とする携帯端末１は、サーバ２が備える携帯端末１の全ての携帯端末１であってもよい。しかし、撮影範囲３１外に存在する携帯端末１にとって、警告対象挙動データは自端末と関係ないデータである。すなわち、警告対象データの送信対象とする携帯端末１は、撮影範囲３１内に存在する携帯端末１に限定することが好ましい。

例えば各携帯端末１が、自端末の現在位置をサーバ２に送信する態様となっている場合には、サーバ２は、携帯端末１から送信されてくる位置情報に基づいて、その携帯端末１が撮影範囲３１内に存在するか否かを判定する。そして、撮影範囲３１内に存在している携帯端末１に対して、警告対象データを送信する態様とすればよい。

また、本実施形態における携帯側制御部１１は、図１２に示すように、検出結果管理部１１１、検出結果履歴格納部１１２、携帯側通信処理部１１３、及び報知処理部１１４に加えて、対応関係判定部１１６を備える。

本実施形態における携帯側通信処理部１１３は、端末挙動データをサーバ２に送信する必要はない。少なくとも、サーバ２から送信され、携帯側通信部１５が受信した警告対象挙動データを取得する機能を備えていればよい。携帯側通信処理部１１３は、警告対象挙動データを取得すると、当該データを対応関係判定部１１６に提供する。

携帯側制御部１１が備える対応関係判定部１１６は、携帯側通信処理部１１３から警告対象挙動データを取得すると、その警告対象挙動データに基づいて、要警告状況となっている移動体の挙動履歴（例えば移動軌跡）を推定する。また、対応関係判定部１１６は、検出結果履歴格納部１１２に格納されている検出結果のうち、警告対象挙動データに対応する時間帯における検出結果から、その時間帯における自端末の挙動履歴（ここでは移動軌跡）を推定する。そして、自端末の移動軌跡と、要警告状況となっている移動体の移動軌跡とを比較して、その一致度合いＣを算出する。

そして、その一致度合いＣが所定の閾値以上となっている場合に、当該要警告状況となっている移動体は、自端末を携行又は搭載している移動体であると判定し、報知処理部１１４に対して、警告処理を実施するように要求する。報知処理部１１４は対応関係判定部１１６からの要求に基づいて、警告処理を実施する。対応関係判定部１１６が請求項に記載の第１端末側対応関係判定部に相当する。

［変形例５］
以上では、あるエリアに存在する移動体を検出するための物体検出装置として、サーバ２はカメラ３と接続されている態様を例示したが、これに限らない。サーバ２は、カメラ３の代わりに、周知のＬＩＤＡＲ（Light Detection and Ranging/Laser Imaging Detection and Ranging）と接続されていてもよい。すなわち、ＬＩＤＡＲの出力データに基づいて、所定のエリアに存在する移動体の存在を検出するとともに、その検出済み移動体の種々の状態量を推定してもよい。また、物体認識システム１００は、カメラ３とＬＩＤＡＲとを組みあわせて備えていてもよい。

さらに、第４実施形態において車載端末４は、車載カメラ４０５が撮影している映像信号ではなく、車両に搭載されているミリ波レーダやＬＩＤＡＲの検出結果を取得する構成としてもよい。そのような態様において、車載端末４は、サービス提供判定部４５によって自車両がサービス提供エリアに存在していると判定されている場合には、ミリ波レーダやＬＩＤＡＲの検出結果をサーバ２に提供すればよい。ミリ波レーダやＬＩＤＡＲの検出結果もまた、外部環境データに相当する。

［変形例６］
上述した第１〜第４実施形態におけるサーバ２が備える機能を、車載端末４や携帯端末１に備えさせて、車載端末４や携帯端末１を上述したサーバ２（すなわち第２端末）として機能させても良い。なお、携帯端末１をサーバ２として機能させる場合には、携帯端末１はカメラを備えているものとする。

１００ 物体認識システム、１ 携帯端末（第１端末）、２ サーバ（第２端末）、３・３Ａ・３Ｂ・３Ｃ カメラ、３１ 撮影範囲（検出エリア）、１１ 携帯側制御部、１５ 携帯側通信部（第１端末側通信部）、１６ ＧＮＳＳ受信機、１１１ 検出結果管理部（状態量取得部）、１１２ 検出結果履歴格納部（第１状態量履歴記憶部）、１１３ 携帯側通信処理部、１１４ 報知処理部（警告処理部）、１１５ エリア内外判定部、１１６ 対応関係判定部（第１端末側対応関係判定部）、１１１１ 位置取得部、２１ 画像取得部（検出用データ取得部）、２２ 画像解析部、２３ 解析結果管理部、２４ サーバ側記憶部（第２状態量履歴記憶部）、２５ サーバ側通信部（第２端末側通信部）、２６ 通信相手管理部、２７ 対応関係特定部、２８ 状況判定部、２２１ 移動体検出部、２２２ 状態量推定部、２７１ エリア判定部（エリア特定部）、２２２１ 位置推定部、４ 車載端末、４１ 検出結果管理部（状態量取得部）、４２ 検出結果履歴格納部（第１状態量履歴記憶部）、４３ 車両側通信処理部（第２端末側通信部）、４４ 報知処理部（警告処理部）、４５ サービス提供判定部、４６ 車両側画像取得部（外部環境データ取得部）、４０５ 車載カメラ（物体検出装置）

Claims (10)

1. 移動体によって携行され、又は、移動体に搭載される第１端末（１、４）と、前記第１端末の外部に設けられ、前記第１端末と無線通信を実施する第２端末（２）と、を備え、
   前記第１端末は、
   前記第１端末を携行又は搭載している前記移動体の挙動に起因して変化する所定の状態量を取得する状態量取得部（１１１、４１）と、
   前記状態量取得部が取得した前記状態量の履歴を表す第１時系列データを記憶する第１状態量履歴記憶部（１１２、４２）と、
   前記第２端末と通信する第１端末側通信部（１５、４３）と、を備え、
   前記第１端末側通信部は、前記第１状態量履歴記憶部が記憶している前記第１時系列データを前記第２端末に送信し、
   前記第２端末は、
   前記第１端末と通信し、少なくとも前記第１端末から送信されてくる前記第１時系列データを取得する第２端末側通信部（２５）と、
   所定の検出エリアに存在する物体を検出するためのデータである検出用データを取得する検出用データ取得部（２１）と、
   前記検出用データ取得部が取得した前記検出用データを解析することで、前記検出エリア内に存在する前記移動体を検出する移動体検出部（２２１）と、
   前記検出用データ取得部が取得した前記検出用データに基づいて、前記移動体検出部が検出している前記移動体である検出済み移動体の挙動に関する所定の状態量を推定する状態量推定部（２２２）と、
   前記状態量取得部が取得した前記検出済み移動体の前記状態量を時系列順に並べたデータである第２時系列データを、前記検出済み移動体と対応付けて記憶する第２状態量履歴記憶部（２４）と、
   前記第２端末側通信部が受信した前記第１時系列データと、前記第２状態量履歴記憶部が記憶している前記検出済み移動体毎の前記第２時系列データとに基づいて、当該第１時系列データの送信元に相当する前記第１端末と、前記検出済み移動体との対応関係を特定する対応関係特定部（２７）と、を備えることを特徴とする物体認識システム。
2. 請求項１において、
   前記第１時系列データと前記第２時系列データは、同じ種類の状態量の時間変化を表すデータであって、
   前記対応関係特定部は、前記第１時系列データが表す前記状態量の時間変化の軌跡と、前記検出済み移動体毎の前記第２時系列データが表す前記状態量の時間変化の軌跡とを比較して、最も一致度合いが高い前記第２時系列データに対応する前記検出済み移動体を、当該第１時系列データの送信元に相当する前記第１端末に対応する前記移動体であると判定することを特徴とする物体認識システム。
3. 請求項１において、
   前記第１時系列データは、前記第２端末が前記第１端末の移動軌跡を推定するためのデータであり、
   前記第２時系列データは、前記検出済み移動体の移動軌跡を表すものであって、
   前記対応関係特定部は、
   前記第２端末側通信部が受信した前記第１時系列データに基づいて、その第１時系列データの送信元に相当する前記第１端末の移動軌跡を推定し、
   その推定した前記第１端末の移動軌跡と、前記検出済み移動体毎の移動軌跡とを比較して、最も一致度合いが高い前記検出済み移動体を、当該第１時系列データの送信元に相当する前記第１端末に対応する前記移動体であると判定することを特徴とする物体認識システム。
4. 請求項１から３の何れか１項において、
   前記第２端末側通信部は、前記検出済み移動体に対して前記状態量推定部が推定している前記状態量に基づいて定まる情報を、前記対応関係特定部によって特定されている当該検出済み移動体に対応する前記第１端末に送信することを特徴とする物体認識システム。
5. 請求項４において、
   前記状態量推定部は、前記検出用データに基づいて、前記検出済み移動体の位置を特定する位置推定部（２２２１）を備え、
   前記第２端末側通信部は、前記検出済み移動体に対して前記位置推定部が推定している位置を示す位置情報を、前記対応関係特定部によって特定されている当該検出済み移動体に対応する前記第１端末に送信することを特徴とする物体認識システム。
6. 請求項１から５の何れか１項において、
   前記第２端末は、前記第２状態量履歴記憶部が記憶している前記検出済み移動体毎の前記状態量に基づいて、前記検出エリアに存在する前記検出済み移動体が、予め定められた要警告状況となっているか否かを判定する状況判定部（２８）を備え、
   前記第２端末側通信部は、前記状況判定部によって前記要警告状況となっていると判定された前記検出済み移動体に対応する前記第１端末に対し、所定の警告指示信号を送信し、
   前記第１端末は、
   前記第１端末側通信部が前記警告指示信号を受信した場合に、ユーザに対し前記要警告状況となっていることを認識させるための警告を行う警告処理部（１１４、４４）を備えることを特徴とする物体認識システム。
7. 請求項６において、
   前記状態量推定部は、前記状態量として前記検出済み移動体の位置、移動方向、及び移動速度を推定し、
   前記状況判定部は、前記検出エリアに複数の移動体を検出している場合には、複数の前記検出済み移動体の位置関係とそれぞれの移動方向及び移動速度とに基づいて、前記検出済み移動体のそれぞれに対して、前記要警告状況として、他の前記検出済み移動体と衝突する恐れが有る衝突予知状況となっているか否かを判定し、
   前記第２端末側通信部は、前記状況判定部によって前記衝突予知状況となっていると判定された前記検出済み移動体に対応する前記第１端末に対して、前記警告指示信号を送信することを特徴とする物体認識システム。
8. 請求項１から７の何れか１項において、
   前記第１端末において、
   前記状態量取得部は、前記状態量として現在位置を示す位置情報を取得し、
   前記第１端末側通信部は、現在位置を示す位置情報を前記第２端末に送信し、
   前記第２端末において、
   前記検出用データ取得部は、複数の検出エリアのそれぞれに対応する前記検出用データを取得するものであって、
   前記第２端末は、さらに、
   前記第１端末から送信された前記位置情報を受信した場合、その位置情報に基づいて、複数の前記検出エリアのうち、その位置情報の送信元に相当する前記第１端末が存在する前記検出エリアである端末滞在エリアを特定するエリア特定部（２７１）を備え、
   前記対応関係特定部は、前記端末滞在エリアに対応する前記検出用データに基づいて前記移動体検出部が検出した前記検出済み移動体の中から、前記第１端末に対応する前記検出済み移動体を特定することを特徴とする物体認識システム。
9. 請求項１から８の何れか１項において、
   前記第１端末は、車両に搭載された車載端末であって、
   前記車両は、前記車両の周辺の所定範囲に存在する物体を検出するための装置であって、前記所定範囲に存在する物体についての情報を含むデータである外部環境データを出力する物体検出装置（４０５）を備え、
   前記第１端末は、
   前記外部環境データを取得する外部環境データ取得部（４６）と、
   所定のサービス提供エリアに前記車両が存在するか否かを判定するサービス提供判定部（４５）と、を備え、
   前記状態量取得部は、前記車両の現在位置、及び前記車両の向きを取得し、
   前記外部環境データ取得部は、前記状態量取得部が取得している前記車両の現在位置と前記車両の向きに基づき、前記物体検出装置が物体を検出する範囲となっている領域である車両側検出エリアを特定し、
   前記第１端末側通信部は、前記サービス提供判定部によって前記車両が前記サービス提供エリアに存在すると判定されている場合には、前記外部環境データ取得部が取得した前記外部環境データを、前記車両側検出エリアを示す車両側検出エリアデータと対応付けて前記第２端末に送信し、
   前記第２端末は、
   前記第１端末から送信された前記外部環境データ及びそれに対応する前記車両側検出エリアデータを取得し、
   前記移動体検出部は、前記車載端末から提供された前記外部環境データに基づいて、前記車両側検出エリア内に存在する前記移動体を検出するとともに、
   前記状態量取得部は、前記車載端末から提供された前記外部環境データに基づいて、前記移動体検出部が検出している前記移動体の前記状態量を推定することを特徴とする物体認識システム。
10. 移動体によって携行され、又は、移動体に搭載される複数の第１端末（１、４）と、前記第１端末の外部に設けられ、前記第１端末と無線通信を実施する第２端末（２）と、を備え、
    前記第１端末は、
    前記移動体の挙動に起因して変化する所定の状態量を取得する状態量取得部（１１１、４１）と、
    前記状態量取得部が取得した前記状態量の履歴を表す第１時系列データを記憶する第１状態量履歴記憶部（１１２、４２）と、
    前記第２端末と通信する第１端末側通信部（１５、４３）と、を備え、
    前記第２端末は、
    前記第１端末と通信する第２端末側通信部（２５）と、
    所定の検出エリアに存在する物体を検出するためのデータである検出用データを取得する検出用データ取得部（２１）と、
    前記検出用データ取得部が取得した前記検出用データを解析することで、前記検出エリア内に存在する前記移動体を検出する移動体検出部（２２１）と、
    前記検出用データ取得部が取得した前記検出用データに基づいて、前記移動体検出部が検出している前記移動体である検出済み移動体の前記状態量を推定する状態量推定部（２２２）と、
    前記状態量推定部が推定した前記検出済み移動体の前記状態量を時系列順に並べたデータである第２時系列データを、前記検出済み移動体と対応付けて記憶する第２状態量履歴記憶部（２４）と、
    前記第２状態量履歴記憶部が記憶している前記検出済み移動体毎の前記状態量に基づいて、前記検出エリアに存在する前記検出済み移動体が、予め定められた要警告状況となっているか否かを判定する状況判定部（２８）を備え、
    前記第２端末側通信部は、前記状況判定部によって前記要警告状況に該当すると判定された前記検出済み移動体に対応する前記第２時系列データを前記第１端末に送信し、
    前記第１端末側通信部は、前記第２端末から送信される前記第２時系列データを受信するものであって、
    前記第１端末は、さらに、
    前記第１端末側通信部が受信した前記第２時系列データと、前記第１状態量履歴記憶部が取得している前記第１時系列データとを比較することで、受信した前記第２時系列データに対応する移動体が、当該第１端末を携行又は搭載している前記移動体であるか否かを判定する第１端末側対応関係判定部（１１６）と、
    前記第１端末側対応関係判定部が、その受信した前記第２時系列データに対応する移動体が、当該第１端末を携行又は搭載している前記移動体であると判定した場合に、ユーザに対して警告を行う警告処理部（１１４）を備えることを特徴とする物体認識システム。

Images