JP2017184157A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】複数の情報処理装置から受信した複数種別のデータを関連付けて処理を行う装置における、時間情報に基づく関連付けに係る処理負荷を低減する。【解決手段】情報処理装置は、第１種別のデータを取得する。そして情報処理装置は、第１種別のデータとは異なる第２種別のデータの時間情報に従った形式の時間情報を、取得される第１種別のデータの時間情報として生成する。さらに情報処理装置は、第１種別のデータ及び第２種別のデータを複数の装置から受信した上で関連付けて処理を行うサーバ装置へ、取得した第１種別のデータと生成した第１種別のデータの時間情報とを送信する。【選択図】図５

Description

本発明は、取得したデータの時間情報を生成する技術に関する。

従来、ネットワークカメラがサーバ装置へ撮像画像を送信し、サーバ装置が撮像画像の録画、表示及び解析などの処理を実行するシステムがある。さらに、センサーがサーバ装置へ測定値等の検知結果を送信し、サーバ装置がセンサーによる検知結果とネットワークカメラによる撮像画像とを関連付けて処理を行うシステムもある。

特許文献１では、サーバ装置が撮像画像の解析結果及びセンサーの検知結果のそれぞれについて時間軸上の特徴点を抽出し、それらの特徴点をマッチングすることで撮像画像と検知結果とを関連付けることが記載されている。また、特許文献１には、複数のカメラが撮像画像を送信し、複数のセンサーが検知結果を送信して、サーバ装置がそれらの撮像画像と検知結果とを関連付けることも記載されている。

特開２０１３−２５１８００号公報

しかしながら、複数の装置から受信した複数種別のデータを関連付けて処理を行うサーバ装置において、時間情報に基づく関連付けに係る処理負荷が大きくなる虞がある。例えば、サーバ装置が複数の装置から受信したセンサーによる検知結果と撮像された撮像画像とを関連付けて処理を行う場合を考える。この場合に、撮像画像に付与される時間情報の形式とセンサーの検知結果に付与される時間情報の形式が異なると、サーバ装置は関連付けのためにそれらの時間情報の対応関係を判断する処理を行うことが考えられる。特に、サーバ装置が多数の装置から撮像画像と検知結果を受信し、多くの撮像画像と検知結果との間での関連付けに係る処理を行う場合には、サーバ装置の処理負荷が大きくなると考えられる。

本発明は上記課題に鑑みてなされたものであり、複数の装置から受信した複数種別のデータを関連付けて処理を行う装置における、時間情報に基づく関連付けに係る処理負荷を低減することを目的とする。

上記の課題を解決するため、本発明に係る情報処理装置は、例えば以下の構成を有する。すなわち、第１種別のデータを取得する取得手段と、前記第１種別のデータとは異なる第２種別のデータの時間情報に従った形式の時間情報を、前記取得手段により取得される前記第１種別のデータの時間情報として生成する生成手段と、前記第１種別のデータ及び前記第２種別のデータを複数の装置から受信した上で当該受信した前記第１種別のデータと前記第２種別のデータとを関連付けて処理を行う外部装置へ、前記取得手段が取得した前記第１種別のデータと前記生成手段が生成した前記第１種別のデータの時間情報とを送信する送信手段とを有する。

本発明によれば、複数の装置から受信した複数種別のデータを関連付けて処理を行う装置における、時間情報に基づく関連付けに係る処理負荷を低減することができる。

実施形態に係る情報処理システム１００の構成を示す図である。 情報処理システム１００内における通信のパターンを説明するための図である。 実施形態に係る情報処理装置１０１のハードウェア構成を示すブロック図である。 情報処理装置１０１がセンサーデータの転送処理に用いる管理テーブルの例を表す図である。 情報処理装置１０１の転送処理に係る動作を説明するためのフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態で説明する特徴の組み合わせの全てが本発明に必須のものとは限らない。

［システム構成］
本実施形態に係る情報処理システム１００の構成を図１に示す。情報処理システム１００は、センサー１０３、１０４、１０５及び１０６を有するＷＳＮ（Ｗｉｒｅｌｅｓｓ Ｓｅｎｓｏｒ Ｎｅｔｗｏｒｋ）、情報処理装置１０１、ＬＡＮ／ＷＡＮ１０７、及びサーバ装置１０２を備える。なお、本実施形態においては、センサー１０３、１０４、１０５、及び１０６をまとめて呼称する場合は、センサー１０３−１０６と記載する。また、センサー１０３−１０６の少なくとも１つを指す場合には、センサー１０３、あるいは単にセンサーと記載する。

情報処理装置１０１は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）及びＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を有するネットワークであるＬＡＮ／ＷＡＮ１０７に接続する。情報処理装置１０１とＬＡＮ／ＷＡＮ１０７との接続は、例えばイーサネット（登録商標）などの有線接続であってもよいし、無線ＬＡＮやモバイル通信回線などの無線接続であってもよい。なお、本実施形態では情報処理装置１０１がＬＡＮ／ＷＡＮ１０７を介してサーバ装置１０２と接続する場合について説明するが、情報処理装置１０１はＷＡＮ又はＬＡＮの何れかによってサーバ装置１０２と接続してもよい。また、本実施形態では、単一のサーバ装置１０２に対して複数の情報処理装置１０１がＬＡＮ／ＷＡＮ１０７を介して接続されているものとし、それら複数の情報処理装置１０１のうちの一つに注目して説明を行う。

本実施形態において、情報処理装置１０１はネットワークカメラであって、撮像した動画をＬＡＮ／ＷＡＮ１０７を介してサーバ装置１０２へストリーミング伝送する。ストリーミング伝送プロトコルには、ＲＴＰ（Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）が使用されるものとする。ＲＴＰは、ライブ画像配信など、リアルタイムな画像配信に利用されるプロトコルである。なお、情報処理装置１０１からサーバ装置１０２への撮像画像の送信に用いられるプロトコルはＲＴＰに限定されない。また、撮像画像の送信はストリーミング伝送に限定されず、例えばダウンロード配信であってもよい。また、情報処理装置１０１が送信する撮像画像は動画でなく静止画であってもよい。さらに情報処理装置１０１は、例えばＰＣやスマートフォン、ルータ、サーバ装置などであってもよく、自身は撮像部を持たずに外部から受信した撮像画像を送信してもよい。

サーバ装置１０２は、情報処理装置１０１からストリーミング伝送される撮像画像を受信し、画像の解析や蓄積、表示などの処理を実行する。なお、サーバ装置１０２は、例えばＰＣやスマートフォンなどでもよく、また一般的にクラウドと呼ばれる仮想化基盤上にサーバ機能を構築したものであってもよい。

また情報処理装置１０１は、ＷＳＮ１０８にも接続する。ＷＳＮに含まれるセンサー１０３―１０６は、それぞれ例えばジャイロ、加速度、方位、距離、振動、温度、照度、ＵＶ、気圧、ガス、放射能、におい、ドアや窓の開閉、侵入検知など、何らかの値の測定やイベント検知を行うことができる装置である。これらのセンサー１０３―１０６は、所定のイベントが検知されたことを示す情報及び測定から得られた数値の少なくとも何れかを含む検知結果を情報処理装置１０１に送信する。他にも例えば、センサー１０３−１０６は、設置場所の気温が閾値以上である等の所定の環境条件が満たされているか否かを示す情報を定期的に送信してもよい。実際の送信処理においては、センサー１０３−１０６は、検知結果に加えて宛先アドレス等を含むセンサーデータをパケットにして送信する。

検知結果には、サーバ装置１０２において撮像画像に関連付けて処理されるものと、そうでないものが有り得る。サーバ装置１０２が撮像画像と検知結果とを関連付けて行う処理は、例えば、サーバ装置１０２が受信した検知結果の時間情報と一致又は近似する時間情報を有する撮像画像が表示されるよう制御する処理である。検知結果に関する時間情報とは、例えばセンサーが測定を行ったタイミングや所定のイベントを検知したタイミング、検知結果を送信したタイミング等を示す情報である。サーバ装置１０２がこのような関連付けの処理を行うことにより、センサーが何らかのイベントの発生を検知した際に、ユーザーはそのイベントの発生時の状況を撮像した撮像画像を確認することができる。具体的には、サーバ装置１０２が、ドアの開閉をセンサーが検知したことを示す検知結果を受信した場合に、その検知のタイミングの前後におけるドア付近を撮像した撮像画像を表示部に表示させる処理などがある。またこれに限らず、サーバ装置１０２が撮像装置と検知結果とを関連付けて行う処理は、例えば検知結果に関する時間情報に応じて選択された撮像画像を録画したり、検知結果と撮像画像とに基づいて画像解析を行ったりする処理などであってもよい。

センサー１０３−１０６からの検知結果のうち、どの検知結果を撮像画像に関連付けるかについては、例えばサーバ装置１０２が情報処理装置１０１に対して指定してもよい。また、ユーザーが指定してもよいし、情報処理装置１０１のアプリケーションが自動で指定してもよい。情報処理装置１０１は、これらの指定に応じて、受信した検知結果が撮像画像に関連付けされるか否かの判定を行う。例えば、振動や侵入検知など特定の種別の検知結果は撮像画像に関連付けされると指定され、それ以外の種別の検知結果は撮像画像に関連付けされないと指定されてもよい。また例えば、情報処理装置１０１が撮像する対象物あるいは撮像対象エリア内に設置されたセンサーによる検知結果は撮像画像に関連付けされると指定され、それ以外の位置に設置されたセンサーによる検知結果は撮像画像に関連付けされないと指定されてもよい。

情報処理装置１０１とセンサー１０３―１０６は、無線ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信により、メッシュネットワークであるＷＳＮ１０８を構築する。ただし、ＷＳＮ１０８はメッシュ型のネットワークトポロジーに限定されるものではなく、スター型のようなネットワークであってもよい。また、情報処理装置１０１を中心とするスター型のネットワークが構築される場合に、情報処理装置１０１との通信に用いられる通信規格がセンサーごとに異なっていてもよい。あるセンサーはＺｉｇｂｅｅ（登録商標）に基づいて通信し、別のセンサーはＷｉ−ＳＵＮ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）に基づいて通信してもよい。また、ＷＳＮ１０８を構成する装置は情報処理装置１０１とセンサー１０３−１０６だけでなくともよく、中継装置など他の装置を含むものであってもよい。さらに、ＷＳＮ１０８はＬＡＮやＷＡＮを有していてもよい。

センサー１０３―１０６のそれぞれは、ＷＳＮ１０８を介して、検知結果を含むセンサーデータのパケットを情報処理装置１０１へ送信する。情報処理装置１０１は、ＷＳＮ１０８のＬＡＮ／ＷＡＮ１０７に対するゲートウェイとしての役割を担う。そのため、情報処理装置１０１は、ＷＳＮ１０８の内部からＬＡＮ／ＷＡＮ１０７側へ送信されるデータパケットの転送を行う。また本実施形態では、撮像画像とセンサーデータの関連付けがサーバ装置１０２によって行われる。そこで情報処理装置１０１は、ＷＳＮ１０８から受信したパケットがサーバ装置１０２にストリーミング伝送される撮像画像に関連付けされる検知結果を含むセンサーデータのパケットであるか否かを判定する。そして、受信パケットが関連付けされるパケットであると判定され、そのパケットの宛先が情報処理装置１０１である場合、情報処理装置１０１はそのパケットの宛先をサーバ装置１０２に書き換えて転送する。なお、情報処理装置１０１がセンサーを備え、自身のセンサーによる検知結果を取得してサーバ装置１０２へ送信してもよい。本実施形態では、サーバ装置１０２により受信される撮像画像及びセンサーデータが情報処理装置１０１を経由するため、サーバ装置１０２における関連付け処理の前処理を情報処理装置１０１が行うことができる。

本実施形態において情報処理システム１００は、ＬＡＮ／ＷＡＮ１０７とＷＳＮ１０８の両方においてＩＰｖ６（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ ｖｅｒｓｉｏｎ６）に基づく通信を行う。また、ＷＳＮ１０８では、ＩＰｖ６をベースとした無線ＰＡＮ通信のプロトコルである６ＬｏＷＰＡＮ（ＩＰｖ６ ｏｖｅｒ Ｌｏｗ ｐｏｗｅｒ Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋｓ）を利用するものとする。６ＬｏＷＰＡＮは、無線ＰＡＮのように送受信フレームの最大ユニットサイズが小さいネットワークに適したＩＰｖ６通信プロトコルである。センサー１０３―１０６は、６ＬｏＷＰＡＮプロトコルに基づいてパケットの送信を実行する。そして、情報処理装置１０１は、ＷＳＮ１０８から受信した６ＬｏＷＰＡＮ形式のパケットを通常のＩＰｖ６パケットに変換し、ＬＡＮ／ＷＡＮ１０７側へ転送する。ただし、情報処理システム１００内における通信に利用されるプロトコルはこれに限らず、例えばＩＰｖ４などが利用されてもよい。

［通信パターン］
次に、図２を参照しながら情報処理システム１００内における通信のパターンについて説明する。図２では情報処理装置１０１と通信するセンサーの代表としてセンサー１０３を示しているが、ＷＳＮ１０８内の他のセンサー（センサー１０４―１０６）のいずれかであってもよい。前述したとおり、情報処理装置１０１は、センサー１０３とはＷＳＮ１０８を介した通信を行い、サーバ装置１０２とはＬＡＮ／ＷＡＮ１０７を介した通信を行う。図２では、情報処理装置１０１が検知結果を含むセンサーデータを送信または転送する３つのパターンを示している。

まず１つ目（２０１〜２０３）は、情報処理装置１０１自身がセンシングを行ってセンサーデータを生成しサーバ装置１０２へ送信する場合の、通信のパターンである。このパターンでは、情報処理装置１０１がセンサーデータの送信元２０１であり、サーバ装置１０２を宛先２０３とするパケットがＩＰｖ６に基づく通信２０２により送信される。

そして２つ目（２０４〜２０８）は、情報処理装置１０１がセンサー１０３から受信したセンサーデータを転送する場合の通信のパターンである。このパターンでは、センサー１０３が送信元２０４であって、最終的な宛先２０８がサーバ装置１０２であるパケットが通信２０５により送信される。通信２０５はセンサー１０３と情報処理装置１０１との間で行われる６ＬｏＷＰＡＮによるＩＰｖ６通信である。情報処理装置１０１は、ＷＳＮ１０８からパケットを受信すると、６ＬｏＷＰＡＮ形式から通常のＩＰｖ６形式へパケット形式の変換をし、ＬＡＮ／ＷＡＮ側への転送処理２０６を行う。この転送処理２０６に応じて、パケットが通信２０７により送信される。通信２０７は情報処理装置１０１とサーバ装置１０２との間で行われる通常のＩＰｖ６通信である。

そして３つ目（２０９〜２１４）は、情報処理装置１０１がセンサー１０３から受信したセンサーデータの宛先を変更してサーバ装置１０２へ転送する場合の通信のパターンである。このパターンでは、センサー１０３が送信元２０９であり、宛先２１１が情報処理装置１０１であるパケットが６ＬｏＷＰＡＮに基づく通信２１０により送信される。情報処理装置１０１は、６ＬｏＷＰＡＮに基づく通信２１０で送られたセンサーデータを受信し、自身が送信元２１２、サーバ装置１０２が宛先２１４となるようにセンサーデータを変更する。そしてこのセンサーデータがＩＰｖ６に基づく通信２１３によって送信されることにより、センサーデータ転送が行われる。

情報処理装置１０１は、他のセンサー（センサー１０４―１０６）から送信されたセンサーデータについても、前述の２つ目もしくは３つ目のパターンで、サーバ装置１０２へ転送することができる。なお、通信２０２、２０５、２０７、２１０及び２１３は、その少なくとも何れかがＩＰｖ４に基づく通信であってもよい。

［情報処理装置１０１のハードウェア構成］
次に、本実施形態に係る情報処理装置１０１のハードウェア構成について、図３を参照して説明する。情報処理装置１０１は、そのハードウェア構成として、主に、システム部３０２と撮像処理部３０３と通信処理部３０４とを有する。

システム部３０２は、システムバス３０５、ＣＰＵ３０６、ＲＡＭ３０７、ＲＯＭ３０８、及び画像符号化処理部３０９（以下、符号化部３０９）を備える。システムバス３０５は、ＣＰＵ３０６、ＲＡＭ３０７、ＲＯＭ３０８、及び符号化部３０９を接続して情報を伝達する。ＣＰＵ３０６は、ＲＡＭ３０７やＲＯＭ３０８に格納されているコンピュータプログラムやデータを用いて情報処理装置１０１全体の制御を行う。ＲＡＭ３０７は、情報処理装置１０１の主記憶部であり、ＣＰＵ３０６によるプログラムの実行や通信処理部３０４及び撮像処理部３０３への入出力のための一時記憶領域として使用される。ＲＯＭ３０８は、ＣＰＵ３０６が実行するＯＳやアプリケーションのソフトウェアプログラムが格納される不揮発性の記憶部である。ＲＯＭ３０８に格納されるプログラムは、ＲＡＭ３０７に転送され、ＣＰＵ３０６によって読み出されて実行される。符号化部３０９は、撮像処理部３０３によって生成されるデジタル画像信号データを、ＪＰＥＧやＨ．２６４などの圧縮形式の動画データに符号化する。

撮像処理部３０３は、レンズ群３１６、ＣＣＤ３１７、ＣＣＤ制御部３１８、及び画像処理部３１９を含んでいる。レンズ群３１６は被写体像を光学的にＣＣＤ３１７へ投影するために複数枚のレンズで構成されている。ＣＣＤ（光電変換素子）３１７は、レンズ群３１６によって投影された像をアナログ電気信号に変換するための素子である。ＣＣＤ制御部３１８は、ＣＣＤ３１７に転送クロック信号やシャッター信号を供給するためのタイミングジェネレータやＣＣＤ３１７の出力信号のノイズ除去やゲイン処理を行うための回路を含む。また、ＣＣＤ制御部３１８は、アナログ信号をデジタル信号に変換するためのＡ／Ｄ変換回路なども含んでいる。また、画像処理部３１９は、ＣＣＤ制御部３１８から出力されたデジタル信号に対してガンマ変換、色空間変換、ホワイトバランス、及び、露出補正等の画像処理を行う。画像処理が行われたデジタル信号は、符号化部３０９において符号化可能なデジタル画像信号データとしてＲＡＭ３０７へ出力される。

通信処理部３０４は、ローカルバス３１０、プロトコル処理部３１１、ローカルＲＡＭ３１２、ＬＡＮ制御部３１３、及びＰＡＮ制御部３１４を備える。ローカルバス３１０は、プロトコル処理部３１１、ローカルＲＡＭ３１２、ＬＡＮ制御部３１３、及びＰＡＮ制御部３１４を接続し情報を伝達する。ローカルＲＡＭ３１２は、システム部３０２との間で入出力されるデータや通信処理部３０４内において処理されるデータを一時記憶する。

ＬＡＮ制御部３１３は、ＬＡＮ／ＷＡＮ１０７に含まれるＬＡＮ３１５に接続する通信インターフェースであり、ＬＡＮ３１５との間における伝送パケットの送受信を実行する。また、ＬＡＮ制御部３１３には、伝送メディアのＰＨＹおよびＭＡＣ（伝送メディア制御）ハードウェア回路が含まれる。例えば情報処理装置１０１が接続するＬＡＮがイーサネット（登録商標）である場合、ＬＡＮ制御部３１３は、イーサネットＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）に相当する。あるいは情報処理装置１０１が無線ＬＡＮに接続するように構成される場合には、ＬＡＮ制御部３１３にはＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ａｃ等の無線ＬＡＮ制御を実行するコントローラおよびＲＦ回路が含まれる。

ＰＡＮ制御部３１４は、ＷＳＮ１０８に接続する無線ＰＡＮ規格の通信インターフェースであり、ＷＳＮ１０８との間における伝送パケットの送受信を実行する。また、ＰＡＮ制御部３１４は、例えばＺｉｇＢｅｅ、Ｗｉ−ＳＵＮ等の無線通信規格に対応した接続制御を実行する。本実施形態では、情報処理装置１０１がメッシュネットワーク構成のＷＳＮ１０８に接続するものとしているが、情報処理装置１０１は各センサーとピアツーピア接続で通信してもよい。特にこのようなケースにおいて、ＰＡＮ制御部３１４はＢｌｕｅｔｏｏｔｈ規格に対応するものであってもよい。

プロトコル処理部３１１は、通信プロトコル処理専用のハードウェア回路装置、あるいは通信プロトコル処理用に設計されたマイクロプロセッサであり、ＬＡＮ３１５やＷＳＮ１０８との間で送受信するパケットの上位層のプロトコル処理を実行する。例えば、ＩＰｖ４（ＩＰ ｖｅｒｓｉｏｎ４）、ＩＰｖ６（ＩＰ ｖｅｒｓｉｏｎ６）、ＩＣＭＰ（Ｉｎｔｅｒｎｅｔ Ｃｏｎｔｒｏｌ Ｍｅｓｓａｇｅ Ｐｒｏｔｏｃｏｌ）、ＩＣＭＰｖ６（ＩＣＭＰ ｆｏｒ ＩＰｖ６）、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）、及びＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）などにおける、送信フロー制御や輻輳制御や通信エラー制御等の処理が実行される。また、ＷＳＮ１０８に対する通信では、６ＬｏＷＰＡＮのＩＰｖ６プロトコル処理や、ＲＰＬ（ＩＰｖ６ Ｒｏｕｔｉｎｇ Ｐｒｏｔｏｃｏｌ ｆｏｒ Ｌｏｗ−Ｐｏｗｅｒ ａｎｄ Ｌｏｓｓｙ Ｎｅｔｗｏｒｋｓ）の経路制御プロトコルの処理も実行される。
なお、本実施形態では情報処理装置１０１が撮像処理部３０３を内部に備えるハードウェア構成であるものとするが、撮像処理部３０３が情報処理装置１０１の外部に別の装置として存在していてもよい。例えば、別体の撮像装置が画像信号ケーブル等で情報処理装置１０１に接続され、ＬＡＮ制御部３１３又はＰＡＮ制御部３１４が撮像装置から撮像画像データを取得するような構成であってもよい。

［センサーデータの転送］
以上までにおいて、本実施形態に係る情報処理システム１００及び情報処理装置１０１の構成について説明した。次に、情報処理装置１０１によるセンサーデータの転送機能について説明する。この転送機能はＣＰＵ３０６及びプロトコル処理部３１１により実現されるものである。

まず、情報処理装置１０１によりセンサーデータの転送処理に用いられる管理情報について、図４を参照しながら説明する。図４は、撮像画像に関連付けされるセンサーデータの管理情報をまとめた管理テーブルを示している。管理情報は、情報処理装置１０１が受信したセンサーデータのパケットをサーバ装置１０２に転送する転送処理に必要となるパラメータ集合である。図４の各列は管理情報の内容の一例であって、センサーデータ識別子４０１、通信遅延時間４０２、タイムスタンプ有無４０３、及びタイムスタンプ処理種別４０４の４種のパラメータを管理情報が含むことを示している。そして、各行のエントリ４０５―４０７は、それぞれセンサー１０３―１０６が送信するセンサーデータに対応するエントリデータである。各エントリの管理情報は、どのセンサーデータ（検知結果）が撮像画像に関連付けされるかについてのサーバ装置１０２やユーザーによる上述した指定に基づいて、情報処理装置１０１により作成される。情報処理装置１０１は、撮像画像に関連付けされないセンサーデータに対応するエントリは作成しない。なお、管理情報の内容は図４に示すものに限らない。

センサーデータ識別子４０１は、撮像画像に関連付けされるセンサーデータのパケットと関連付けされないセンサーデータのパケットとを識別するための識別情報である。情報処理装置１０１は、受信したパケットのうちセンサーデータ識別子４０１に合致するパケットを、撮像画像に関連付けされるセンサーデータのパケットであると判定する。本実施形態では、送信元のＩＰｖ６アドレスのみがセンサーデータ識別子４０１として用いられる。但し、パケットの宛先のＩＰｖ６アドレスや、センサーデータの通信に使用される上位プロトコルの種別や、その他センサーデータの形式に依存するパラメータなどの組合せがセンサーデータ識別子４０１として用いられてもよい。

通信遅延時間４０２は、パケットがＷＳＮ１０８内のセンサーにより送信されてから情報処理装置１０１に到着するまでの遅延時間を表す。このパラメータは一定値ではなく、遅延時間はＷＳＮ１０８の状況等により変動する。このため、情報処理装置１０１は、各センサーとの間の通信に係る遅延時間を適宜計測して、管理テーブル内の通信遅延時間４０２を更新する。

タイムスタンプ有無４０３は、情報処理装置１０１により受信されるセンサーデータパケットに時間情報であるタイムスタンプが設定されるかどうかを示すフラグである。図４では、“Ｙ”でタイムスタンプが存在すること表し、“Ｎ”でタイムスタンプが存在しないことを表している。タイムスタンプ処理種別４０４は、情報処理装置１０１がパケットを転送する際にタイムスタンプに対してどのような処理を実行するかを表す。受信時にセンサーデータのパケットにタイムスタンプが存在する場合の処理は、ｍｏｄｉｆｙ（修正）もしくはｎｏｎｅ（何もしない）の何れかである。例えば、撮像画像のタイムスタンプと異なる形式のタイムスタンプが存在するセンサーデータに対応するエントリのタイムスタンプ処理種別４０４はｍｏｄｉｆｙとなる。一方、撮像画像のタイムスタンプと同じ形式のタイムスタンプが存在するセンサーデータに対応するエントリのタイムスタンプ処理種別４０４はｎｏｎｅとなる。また、受信時にタイムスタンプが存在しない場合の処理は、ａｐｐｅｎｄ（付加）である。これらの情報は、上述したように、情報処理装置１０１によりエントリ４０５―４０７の作成時にサーバ装置１０２やユーザーによる指定に基づいて予め決定される。

ここで、タイムスタンプの処理について説明するために、情報処理装置１０１が送信する撮像画像に所定の時点からの経過時間を示す時間情報が設定される場合を考える。上記の所定の時点としては、例えば撮像開始時刻や送信開始時刻などが考えられる。この場合に、情報処理装置１０１がＵＴＣ（Ｃｏｏｒｄｉｎａｔｅｄ Ｕｎｉｖｅｒｓａｌ Ｔｉｍｅ）のような時刻を示す情報が設定されたセンサーデータを送信すると、サーバ装置１０２の処理負荷が大きくなる虞がある。具体的には、受信したセンサーデータと撮像画像とを関連付けて処理を行うサーバ装置１０２が、関連付けのために形式の異なる２種類の時間情報（経過時間を示す時間情報と、時刻を示す時間情報）の対応関係を判断する処理を行うことが考えられる。特に、サーバ装置１０２が複数の情報処理装置１０１から撮像画像とセンサーデータを受信して処理を行う場合には、例えば撮像画像ごとに上記の所定の時点（撮像開始時刻や送信開始時刻など）が異なることも考えられる。この場合、複数の関連付けに係る大きな処理負荷が発生する虞がある。

そこで、情報処理装置１０１は、受信したセンサーデータのタイムスタンプ処理種別４０４がｍｏｄｉｆｙである場合には、その時間情報を撮像画像に関する時間情報に従った形式になるように修正してパケットを転送する。なお、本実施形態では情報処理装置１０１がセンサーデータの時間情報を撮像画像の時間情報と同一形式になるように修正する場合を中心に説明するが、これに限らない。例えば、センサーデータの時間情報が時刻を示す情報であり、撮像画像の時間情報が経過時間を示す情報である場合には、情報処理装置１０１はセンサーデータの時間情報を、経過時間を示す情報に修正すればよい。この修正により生成された時間情報は、撮像画像の時間情報と単位（例えばクロックレートなど）が異なっていてもよい。

一方、情報処理装置１０１は、受信したセンサーデータのタイムスタンプ処理種別４０４がｎｏｎｅである場合には、タイムスタンプの処理を何も行わずにパケットを転送する。また、情報処理装置１０１は、受信したセンサーデータのタイムスタンプ処理種別４０４がａｐｐｅｎｄである場合には、撮像画像に関する時間情報と同形式の時間情報を付加してパケットを転送する。なお、例えば時間情報の付加ができない場合や必要ない場合などには、情報処理装置１０１は時間情報が設定されていないパケットに対してタイムスタンプ処理を何も行わずに転送してもよい。また、情報処理装置１０１は、時間情報が設定されているパケットに対して、設定されている時間情報とは異なる情報（パケット受信時刻など）に基づく時間情報を新たに付加してもよい。

このように、センサーデータに関する時間情報と撮像画像に関する時間情報との形式を合わせる処理を情報処理装置１０１が行うことで、サーバ装置１０２における撮像画像とセンサーデータを関連付けるための処理が簡略化される。これにより、サーバ装置１０２における時間情報に基づく関連付けに係る処理負荷を低減することができる。また、時間情報の形式を合わせる処理を情報処理システム１００内の複数の情報処理装置１０１それぞれが行うことで、情報処理システム１００内の単一の装置に処理負荷が集中する可能性を低減することができる。情報処理装置１０１による時間情報の修正や付加の具体的な方法は後述する。

［動作フロー］
次に、情報処理装置１０１の動作フローについて説明する。まず、情報処理装置１０１による撮像画像に関する処理について説明する。撮像処理部３０３は、撮像を行うことで撮像画像を取得する。なお、通信処理部３０４が外部の装置から撮像画像を受信して取得してもよい。通信処理部３０４はサーバ装置１０２へ、撮像処理部３０３が取得した撮像画像と当該撮像画像の時間情報とを送信する。本実施形態において、通信処理部３０４は、ＲＴＰに基づくストリーミングにより撮像画像と時間情報とをサーバ装置１０２へ送信する。ＲＴＰパケットのヘッダにはタイムスタンプフィールドが存在し、情報処理装置１０１はこのフィールドに値を書き込むことで、時間情報を撮像画像に付与して送信することができる。なお、情報処理装置１０１は例えばＨＴＴＰなどＲＴＰ以外の方式により撮像画像を送信してもよい。また、撮像画像と当該撮像画像に関する時間情報は、一つのデータとして同時に送信されてもよいし、別々に送信されてもよい。

次に、情報処理装置１０１によるセンサーデータの転送処理に係る動作フローについて、図５を参照しながら説明する。図５に示す処理は、ＣＰＵ３０６及びプロトコル処理部３１１が、ＲＯＭ３０８に記憶されたプログラムを実行することにより実現される。
図５に示す処理は、Ｓ５０１において通信処理部３０４がＷＳＮ１０８からパケットを受信したタイミングで開始される。本実施形態において通信処理部３０４がＷＳＮ１０８から受信するパケットは、外部のセンサーから送信された６ＬｏＷＰＡＮのユニキャストパケットであり、センサーによる検知結果を含むセンサーデータのパケットである。このパケットを受信することで、通信処理部３０４は、センサーによる検知結果を取得する。なお、情報処理装置１０１がセンサーを備えている場合には、情報処理装置１０１自身が備えるセンサーの検知結果を取得してもよい。また、通信処理部３０４はセンサーデータ以外のパケットを受信してもよい。

Ｓ５０２において、通信処理部３０４は、Ｓ５０１でのパケットの受信時刻、即ちセンサーによる検知結果を取得したタイミングを取得し記憶する。Ｓ５０３において通信処理部３０４は、受信した６ＬｏＷＰＡＮパケットの形式を、６ＬｏＷＰＡＮに基づく圧縮などが行われていない通常のＩＰｖ６パケットの形式に変換する。なお、本実施形態において情報処理装置１０１は受信したパケットを一旦ＩＰｖ６形式に変換するが、例えばＩＰｖ４など他の形式で扱ってもよい。Ｓ５０４において、通信処理部３０４は、Ｓ５０１で取得した検知結果が撮像処理部３０３により取得される撮像画像に関連付けされる検知結果であるか否かを判定する。具体的には、通信処理部３０４は、図４に例を示した管理テーブルにおいて、受信パケットにマッチするセンサーデータ識別子４０１を有するエントリを検索する。検索の結果、エントリが見つかった場合には、通信処理部３０４は、該受信パケットが撮像画像に関連付けされる検知結果を含むセンサーデータのパケットであると判定し、Ｓ５０５へ進む。そうでない場合はＳ５０６へ進む。

Ｓ５０５では、Ｓ５０４の処理で見つかったエントリのタイムスタンプ処理種別４０４に応じて処理が分岐する。タイムスタンプ処理種別４０４が“ｍｏｄｉｆｙ”の場合はＳ５０８へ進み、“ａｐｐｅｎｄ”の場合はＳ５０９へ進み、“ｎｏｎｅ”の場合はタイムスタンプ処理を何も実行せずにＳ５１０へと進む。

Ｓ５０８に進んだ場合、Ｓ５０１で通信処理部３０４が取得した検知結果は時間情報としてタイムスタンプを有する。そして通信処理部３０４は、その検知結果の時間情報を、サーバ装置１０２に送信される撮像画像の時間情報に従った形式に変換する。この変換により、撮像画像の時間情報に従った形式の時間情報が、検知結果の時間情報として生成される。Ｓ５０８の処理の詳細については後述する。一方、Ｓ５０９へ進んだ場合は、通信処理部３０４は、Ｓ５０２で取得した受信時刻、即ちセンサーによる検知結果を取得したタイミングに基づいて、検知結果の時間情報を生成する。このとき、通信処理部３０４は、検知結果の時間情報として、送信される撮像画像の時間情報に従った形式の時間情報を生成する。生成された時間情報は、タイムスタンプとしてセンサーデータのパケットに付与される。Ｓ５０９の処理の詳細についても後述する。

Ｓ５１０において、通信処理部３０４は、センサーデータをＩＰｖ６通信により転送するか別の方式により転送するかを決定する。撮像画像の送信がＩＰｖ６通信であればセンサーデータの転送もＩＰｖ６通信により行われ、そうでなければ別の方式により転送が行われる。本実施形態では、ＩＰｖ６とは別の方式としてＩＰｖ４通信を用いる場合について説明する。ＩＰｖ４での転送が行われる場合はＳ５１２へ進み、ＩＰｖ６での転送が行われる場合はＳ５１１へ進む。ただし、通信方式の決定方法はこれに限らない。

Ｓ５１１において、通信処理部３０４は、Ｓ５０１で受信したパケットの宛先アドレスが自装置のアドレスであるか否かを確認する。宛先アドレスが自装置のアドレス、すなわち情報処理装置１０１のアドレスであるならば、Ｓ５１２へ進む。そうでなければ、宛先アドレスは通信処理部３０４が送信する撮像画像の宛先アドレスと同じであり、言い換えると宛先はサーバ装置１０２である。この場合はＳ５１３へ進む。

Ｓ５１２において、通信処理部３０４は、Ｓ５０１においてＷＳＮ１０８経由でセンサー１０３−１０６から受信したセンサーデータのパケットのペイロードを運ぶためのパケットを作成する。Ｓ５１１で受信パケットの宛先アドレスが自装置のアドレスであった場合には、送信元を情報処理装置１０１、宛先をサーバ装置１０２に指定したＩＰｖ６パケットを作成する。また、Ｓ５１０でＩＰｖ４通信による転送を行うように決定していた場合は、Ｓ５０１で受信したＩＰｖ６パケットをＩＰｖ４形式に変換したパケットを作成する。そして、Ｓ５１２からＳ５１３に進む。ここで、Ｓ５１２を経ずにＳ５１１からＳ５１３へ進む場合が図２の２つ目の通信パターンに該当し、Ｓ５１２からＳ５１３へ進む場合が図２の３つ目の通信パターンに該当する。

Ｓ５１３において、通信処理部３０４は、ＩＰｖ６パケットの転送処理を実行する。Ｓ５１３における転送処理は、ＩＰパケット転送の一般的なルーティング処理を含む。なお、Ｓ５１１またはＳ５１２からＳ５１３に至った場合、転送先はサーバ装置１０２である。この転送処理により、通信処理部３０４は、Ｓ５０１で取得した検知結果と当該検知結果の時間情報とをサーバ装置１０２へ送信する。ここで、Ｓ５０８において通信処理部３０４が検知結果に付与された時間情報を変換した時間情報を生成していた場合には、検知結果と変換された時間情報とがサーバ装置１０２へ送信される。また、Ｓ５０９で通信処理部３０４が検知結果に関する時間情報を受信時刻に基づいて生成していた場合には、検知結果とその生成された時間情報とがサーバ装置１０２へ送信される。

以上で説明したＳ５０５からＳ５１３までの処理が、Ｓ５０１で受信されたパケットが撮像画像に関連付けされる検知結果のパケットであるとＳ５０４において判定された場合の処理である。上述のように、通信処理部３０４は、センサーから取得される検知結果であって撮像画像に関連付けされる検知結果であると判定されたデータの時間情報として、撮像画像の時間情報に従った形式の時間情報を生成し、サーバ装置１０２へ送信する。

一方、Ｓ５０４からＳ５０６へ進む場合は、Ｓ５０１で受信されたパケットが撮像画像に関連付けされる検知結果のパケットでないと判定された場合である。判定結果に応じて処理を行うことにより、情報処理装置１０１は、関連付けの必要ない検知結果に係る処理を削減することができる。なお、各検知結果が関連付けされるか否かを情報処理装置１０１が判断できないような場合には、情報処理装置１０１が取得した全ての検知結果に対してタイムスタンプ処理種別４０４のａｐｐｅｎｄに対応する処理やｎｏｎｅに対応する処理が行われてもよい。

Ｓ５０６において、通信処理部３０４は、Ｓ５０１で受信したパケットの宛先アドレスが自装置のアドレスであるかどうかを確認する。パケットが自装置宛てだったならばＳ５０７に進み、通信処理部３０４は受信処理を実行する。自装置宛てではない場合、Ｓ５１３に進んで、通信処理部３０４はＩＰｖ６パケットの転送処理を実行する。なお、Ｓ５０６からＳ５１３へ進んだ場合の転送処理においては、通信処理部３０４が受信したＩＰｖ６パケットを実際にＬＡＮ／ＷＡＮ１０７へ送信するかどうかは、Ｓ５１３で実行するルーティング処理によって決定される。Ｓ５１３の処理が終了すると、Ｓ５１４に進み本処理フローは完了する。

［タイムスタンプ処理］
次に、Ｓ５０８及びＳ５０９におけるタイムスタンプ処理の詳細について説明する。前述の通り、Ｓ５０８において通信処理部３０４は、センサーによる検知結果のタイムスタンプの形式を、撮像画像のタイムスタンプの形式に変換する。本実施形態では、検知結果を含むセンサーデータが有するタイムスタンプは時刻を表す形式の時間情報であり、撮像画像に設定されるタイムスタンプは所定の時点からの経過時間を表す形式の時間情報である場合を中心に説明する。具体例として、以下では特に、撮像画像とその時間情報はＲＴＰに基づいてストリーミング伝送されるものとし、上記の所定の時点は通信処理部３０４がストリーミングによる撮像画像の送信を開始した時点であるものとする。

ＲＴＰに基づく通信におけるＲＴＰパケットは、ヘッダに３２ビットのタイムスタンプフィールドを持つ。このＲＴＰのタイムスタンプは時刻ではなく、ＲＴＰパケットのペイロードが運ぶメディアデータの伝送開始からの経過時間を示すものである。またＲＴＰにおけるタイムスタンプは、経過時間をそのペイロードのメディア種類毎に規定されたクロックレートに換算した値である。クロックレートは１秒間を示す数値である。例えばＲＴＰによりＨ．２６４やモーションＪＰＥＧなどのビデオデータを送信する場合、クロックレートが９００００であるため、伝送開始からの経過時間がちょうど５秒後のデータを運ぶＲＴＰパケットは、タイムスタンプが４５００００である。

Ｓ５０８において、通信処理部３０４は、センサーデータのタイムスタンプの値を、下記の計算式を用いて撮像画像のタイムスタンプの形式に変換する。

［数１］
Ｔｔ＝ＣＬＫＲ÷１０００×（Ｔｓｍｓ−Ｔｖｍｓ）
上記の式において、Ｔｔは変換後のタイムスタンプの値であり、ＣＬＫＲはストリーミング伝送のプロトコルと撮像画像のメディア種類とにより定まるクロックレートである。Ｔｓｍｓはセンサーデータのタイムスタンプである時刻をミリ秒精度に丸めた値であり、Ｔｖｍｓは撮像画像のストリーミング伝送の開始時点の時刻をミリ秒精度に丸めた値である。通信処理部３０４は、この計算の結果得られた値Ｔｔをセンサーデータのパケットのタイムスタンプに設定する。情報処理装置１０１がこの変換後の時間情報をサーバ装置１０２に送信することにより、サーバ装置１０２はセンサーが検知結果に付与した時間情報の内容を知ることができ、且つ撮像画像とセンサーデータを関連付ける処理が簡潔になる。

一方、Ｓ５０９においては、センサーデータにタイムスタンプが付与されていないため、通信処理部３０４は、下記の計算式を用いてタイムスタンプを生成する。

［数２］
Ｔｇ＝ＣＬＫＲ÷１０００×（Ｔｒｍｓ−Ｄｍｓ−Ｔｖｍｓ）
ここで、Ｔｇは生成されたタイムスタンプの値であり、ＴｒｍｓはＳ５０２で取得された受信時刻をミリ秒精度に丸めた値である。また、ＤｍｓはＳ５０４における検索で見つかったエントリに記載された通信遅延時間である。通信処理部３０４は、この計算の結果得られた値Ｔｇをセンサーデータのパケットへ付与する。情報処理装置１０１がこのように生成された時間情報をサーバ装置１０２へ送信することにより、サーバ装置１０２は、検知結果にタイムスタンプを付与しないセンサーによる検知結果を簡潔な処理により時間情報に基づいて撮像画像と関連付けることができる。

以上、通信処理部３０４がＲＴＰによる撮像画像のストリーミング伝送を行う場合を例に挙げて、センサーデータのタイムスタンプ値を変換または付与する処理について説明した。ただし、ＲＴＰに限らず他のプロトコルが利用される場合でも、通信処理部３０４はその時間情報の形式に従って変換を行えばよい。また例えば、検知結果に付与されるタイムスタンプと撮像画像に付与されるタイムスタンプは、それぞれが異なる時点からの経過時間を表す形式の時刻情報であって、情報処理装置１０１がそれらの形式をあわせる制御を行ってもよい。なお通信処理部３０４は、ＵＤＰヘッダのチェックサム等、上位プロトコルのヘッダのフィールド値に修正が必要となる場合には、タイムスタンプの変換に加えてその補正計算も行う。

なお、情報処理装置１０１は、送信される複数の撮像画像の時間情報から何れかを選択し、当該選択した時間情報をセンサーによる検知結果の時間情報として生成してもよい。以下、この場合の処理について説明する。

通信処理部３０４は、時間情報を有する検知結果を取得した場合に、送信される複数の撮像画像の時間情報から、取得した検知結果が有する時間情報に基づいて何れかを選択する。そして通信処理部３０４は、当該選択した時間情報を、Ｓ５１３において送信される検知結果の時間情報として生成する。具体的には、Ｓ５０８において通信処理部３０４は、上述したタイムスタンプ値Ｔｔを計算する。さらに、通信処理部３０４は、ＲＴＰに基づいて送信される動画である撮像画像の各フレームに対応するタイムスタンプのうち、Ｔｔとの時間差分が最も小さいタイムスタンプを選択し、検知結果に付与されたタイムスタンプをその選択された値に変更する。

例えば、撮像画像がＨ．２６４のビデオデータであって、そのフレームレートが３０ｆｐｓである場合を考える。上述したように、ビデオデータのクロックレートは９００００であるので、各フレームに対応するタイムスタンプ値は例えば３０００の倍数になる。そこで通信処理部３０４は、計算したＴｔの値が１５００以上４５００未満であれば、検知結果に付与されたタイムスタンプの値を３０００に変更する。同様に、Ｔｔの値が４５００以上７５００未満であれば、検知結果に付与されたタイムスタンプの値を６０００に変更する。

一方、通信処理部３０４は、センサーにより時間情報が付与されていない検知結果を取得した場合、送信される複数の撮像画像の時間情報から、検知結果を取得したタイミングに基づいて何れかを選択する。そして通信処理部３０４は、当該選択した時間情報を、Ｓ５１３において送信される検知結果の時間情報として生成する。具体的には、Ｓ５０９において通信処理部３０４は、上述したタイムスタンプ値Ｔｇを計算する。さらに、通信処理部３０４は、撮像画像の各フレームに対応するタイムスタンプのうち、Ｔｇとの時間差分が最も小さいタイムスタンプを選択し、その選択された値のタイムスタンプを生成して検知結果に付与する。

以上のように、検知結果に関する時間情報が撮像画像に関する時間情報の何れかと一致するように情報処理装置１０１が制御する。その結果、検知タイミングと撮像タイミングの差が最も小さい検知結果と撮像画像とを関連付けるサーバ装置１０２は、同じ時間情報を持つ検知結果と撮像画像とを関連付ければよく、タイミングの差の大小を判定しなくてよい。これによりサーバ装置１０２は、受信した撮像画像と検知結果との関連性をより容易に判断でき、関連付けに関する処理負荷がより低減される。

以上説明したように、本実施形態に係る情報処理装置１０１は、第１種別のデータ（例えばセンサーによる検知結果）を取得する。そして情報処理装置１０１は、第１種別のデータとは異なる第２種別のデータ（例えば撮像画像）の時間情報に従った形式の時間情報を、取得される第１種別のデータの時間情報として生成する。さらに情報処理装置１０１は、第１種別のデータ及び第２種別のデータを複数の装置から受信した上で関連付けて処理を行うサーバ装置１０２へ、取得した第１種別のデータと生成した第１種別のデータの時間情報とを送信する。これにより、複数の装置から受信したセンサーによる検知結果と撮像された撮像画像とを関連付けて処理を行う装置における、時間情報に基づく関連付けに係る処理負荷を低減することができる。

なお、本実施形態では、情報処理装置１０１が撮像画像に関する時間情報の形式と検知結果に関する時間情報の形式を合わせる制御として、撮像画像に関する時間情報に応じて検知結果に関する時間情報を生成する場合を中心に説明した。ただしこれに限らず、情報処理装置１０１は同様の方法により、検知結果に関する時間情報に応じて撮像画像に関する時間情報を生成してもよい。また、サーバ装置１０２における関連付けの対象となるデータはセンサーによる検知結果と撮像画像に限定されない。例えば、サーバ装置１０２はセンサーによる検知結果と録音されたオーディオデータなどを関連付けて処理してもよい。即ち、サーバ装置１０２は第１種別のデータ（例えばセンサーデータ）と第２種別のデータ（例えば撮像画像やオーディオデータ等のコンテンツ）を関連付けて処理する。そして、情報処理装置１０１はサーバ装置１０２が受信する第１種別のデータの時間情報と第２種別のデータの時間情報の形式を合わせるように制御を行えばよい。

また、本実施形態では情報処理装置１０１が撮像画像とセンサーによる検知結果の両方をサーバ装置１０２に送信する場合について説明したが、これに限らず、撮像画像と検知結果の何れか一方を送信する構成であってもよい。例えば、情報処理装置１０１はセンサーによる検知結果をサーバ装置１０２に送信し、情報処理装置１０１とは異なる送信装置が撮像画像をサーバ装置１０２に送信する。この場合に、情報処理装置１０１は、サーバ装置１０２が上記の送信装置から受信する撮像画像に付与される時間情報の形式を特定する特定情報を取得する。この特定情報は、例えばサーバ装置１０２から情報処理装置１０１へ送信されてもよいし、ユーザーが情報処理装置１０１に入力してもよい。そして情報処理装置１０１は、取得した特定情報に基づいて、自身が送信する検知結果に関する時間情報の形式を、サーバ装置１０２により受信される撮像画像に付与される時間情報の形式に合わせる制御を行う。このような構成によっても、サーバ装置１０２における関連付けに係る処理負荷を低減することができる。なお同様に、情報処理装置１０１は撮像画像をサーバ装置１０２に送信し、送信する撮像画像に関する時間情報の形式を、サーバ装置１０２により受信される検知結果に付与される時間情報の形式に合わせる制御を行ってもよい。

また、本実施形態では、撮像画像に関連付けされるセンサーデータの管理情報だけが図４に例を示した管理テーブルに記載され、情報処理装置１０１は受信したパケットが関連付けの対象であるか否かを対応するエントリの有無に基づいて判定する。ただしこれに限らず、関連付けされないデータの管理情報も全て管理テーブルに記載されていてもよい。この場合、関連付けされないデータのタイムスタンプ処理種別はｎｏｎｅとなる。そして情報処理装置１０１は、受信したパケットが関連付けの対象であるか否かを判定せず、全ての受信パケットを管理テーブルに記載された管理情報に応じて処理してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

１０１ 情報処理装置
１０２ サーバ装置
３０２ システム部
３０３ 撮像処理部
３０４ 通信処理部

Claims (18)

1. 第１種別のデータを取得する取得手段と、
   前記第１種別のデータとは異なる第２種別のデータの時間情報に従った形式の時間情報を、前記取得手段により取得される前記第１種別のデータの時間情報として生成する生成手段と、
   前記第１種別のデータ及び前記第２種別のデータを複数の装置から受信した上で当該受信した前記第１種別のデータと前記第２種別のデータとを関連付けて処理を行う外部装置へ、前記取得手段が取得した前記第１種別のデータと前記生成手段が生成した前記第１種別のデータの時間情報とを送信する送信手段とを有することを特徴とする情報処理装置。
2. 前記第２種別のデータを取得する第２取得手段と、
   前記第２取得手段が取得した前記第２種別のデータと当該データの時間情報とを前記外部装置へ送信する第２送信手段とを有し、
   前記生成手段は、前記第２送信手段により送信される前記第２種別のデータの時間情報に従った形式の時間情報を、前記取得手段により取得される前記第１種別のデータの時間情報として生成することを特徴とする請求項１に記載の情報処理装置。
3. 前記生成手段は、前記第２送信手段により送信される複数の前記第２種別のデータの時間情報から何れかを選択し、当該選択した時間情報を前記取得手段により取得される前記第１種別のデータの時間情報として生成することを特徴とする請求項２に記載の情報処理装置。
4. 前記取得手段は、時間情報を有する前記第１種別のデータを取得し、
   前記生成手段は、前記第２送信手段により送信される複数の前記第２種別のデータの時間情報から、前記取得手段が取得した前記第１種別のデータが有する時間情報に基づいて何れかを選択し、当該選択した時間情報を前記取得手段により取得される前記第１種別のデータの時間情報として生成することを特徴とする請求項３に記載の情報処理装置。
5. 前記生成手段は、前記第２送信手段により送信される複数の前記第２種別のデータの時間情報から、前記取得手段が前記第１種別のデータを取得したタイミングに基づいて何れかを選択し、当該選択した時間情報を前記取得手段により取得される前記第１種別のデータの時間情報として生成することを特徴とする請求項３に記載の情報処理装置。
6. 前記取得手段は、外部のセンサーによる検知結果を前記第１種別のデータとして取得し、
   前記第２取得手段は、撮像を行うことで前記第２種別のデータとして撮像画像を取得することを特徴とする請求項２乃至５の何れか１項に記載の情報処理装置。
7. 前記取得手段は、時間情報を有する前記第１種別のデータを取得し、
   前記生成手段は、前記取得手段が取得した前記第１種別のデータが有する時間情報を前記第２種別のデータの時間情報に従った形式に変換することで、前記取得手段により取得される前記第１種別のデータの時間情報を生成することを特徴とする請求項１又は２に記載の情報処理装置。
8. 前記生成手段は、前記取得手段が取得した前記第１種別のデータが有する時間情報を、時刻を表す形式の時間情報から、所定の時点からの経過時間を表す形式の時間情報へ変換することで、前記取得手段により取得される前記第１種別のデータの時間情報を生成することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記生成手段は、前記取得手段により取得される前記第１種別のデータの時間情報として、前記第２種別のデータの時間情報に従った形式の時間情報を、前記取得手段が前記第１種別のデータを取得したタイミングに基づいて生成することを特徴とする請求項１又は２に記載の情報処理装置。
10. 前記取得手段が取得した前記第１種別のデータが前記外部装置により受信される前記第２種別のデータに関連付けされるデータであるか否かを判定する判定手段を有し、
    前記生成手段は、前記取得手段により取得される前記第１種別のデータであって前記関連付けされるデータであると前記判定手段により判定されたデータの時間情報として、前記第２種別のデータの時間情報に従った形式の時間情報を生成することを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
11. 前記生成手段は、前記第２種別のデータの時間情報と同一形式の時間情報を、前記取得手段により取得される前記第１種別のデータの時間情報として生成することを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
12. 前記第１種別のデータはセンサーによる検知結果であり、
    前記第２種別のデータは撮像画像であり、
    前記外部装置が前記第１種別のデータと前記第２種別のデータとを関連付けて行う処理は、前記外部装置が受信した前記第１種別のデータの時間情報と一致又は近似する時間情報を有する前記第２種別のデータが表示されるよう制御する処理を含むことを特徴とする請求項１乃至１１の何れか１項に記載の情報処理装置。
13. 前記取得手段により取得される前記第１種別のデータは、所定のイベントがセンサーにより検知されたことを示す情報及びセンサーによる測定から得られた数値の少なくとも何れかを含むことを特徴とする請求項１乃至１２の何れか１項に記載の情報処理装置。
14. 前記第２送信手段は、前記第２取得手段が取得した前記第２種別のデータと当該データの時間情報とを、ＲＴＰ（Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）に基づくストリーミングにより前記外部装置へ送信することを特徴とする請求項２乃至６の何れか１項に記載の情報処理装置。
15. 第１種別のデータを取得する取得工程と、
    前記第１種別のデータとは異なる第２種別のデータの時間情報に従った形式の時間情報を、前記取得工程において取得される前記第１種別のデータの時間情報として生成する生成工程と、
    前記第１種別のデータと前記第２種別のデータとを複数の装置から受信した上で当該受信した前記第１種別のデータと前記第２種別のデータとを関連付けて処理を行う外部装置へ、前記取得工程において取得された前記第１種別のデータと前記生成工程において生成された前記第１種別のデータの時間情報とを送信する送信工程とを有することを特徴とする情報処理方法。
16. 前記第２種別のデータを取得する第２取得工程と、
    前記第２取得工程において取得された前記第２種別のデータと当該データの時間情報とを前記外部装置へ送信する第２送信工程とを有し、
    前記生成工程は、前記第２送信工程において送信される前記第２種別のデータの時間情報に従った形式の時間情報を、前記取得工程において取得される前記第１種別のデータの時間情報として生成することを特徴とする請求項１５に記載の情報処理方法。
17. 前記取得工程は、時間情報を有する前記第１種別のデータを取得し、
    前記生成工程は、前記取得工程において取得された前記第１種別のデータが有する時間情報を前記第２種別のデータの時間情報に従った形式に変換することで、前記取得工程において取得される前記第１種別のデータの時間情報を生成することを特徴とする請求項１５又は１６に記載の情報処理方法。
18. コンピュータを請求項１乃至１４の何れか１項に記載の情報処理装置として動作させるためのプログラム。

Images