JP2005115571A - 情報検索システム、情報検索装置、検索情報利用装置、情報検索用プログラムおよび検索情報利用プログラム - Google Patents

Abstract

【課題】 複数の映像情報等の蓄積された情報を効率良く検索する。
【解決手段】 対象領域Ｒを時系列的に撮像して得られた対象領域Ｒの複数の映像情報をそれぞれの撮像時刻に係る時間情報に対応付けて蓄積する映像情報蓄積手段１３と、付帯素子５ａ_０〜５ａ_ｎから発せられた付帯素子情報を時系列的に取得し、それぞれの取得時刻に係る時間情報に対応付けて蓄積する付帯素子情報蓄積手段１４と、利用者装置２０から送信されてきた検索条件に応じて映像情報蓄積手段１３、付帯素子情報蓄積手段１４を検索し、検索条件に適合する映像情報、付帯素子情報を読み出す検索手段１５と、その映像情報、付帯素子情報を検索結果として利用者装置２０に配信する映像情報配信手段１７、付帯素子情報配信手段１６と、を備えた情報提供者側装置１０である。
【選択図】 図１

Description

本発明は、対象となる領域内のオブジェクトを撮像して得られた映像情報、および該オブジェクトに付帯され無線情報通信機能を有する付帯素子から得られた付帯素子情報に基づいて情報を検索するための情報検索システム、情報検索装置、検索情報利用装置、情報検索用プログラムおよび検索情報利用プログラムに関する。

映像を蓄積しながら配信する蓄積型の映像配信システムにおいて、利用者側が過去の映像情報を検索するシステムには、利用者側から送信された時間情報を検索キーとして蓄積された映像情報を検索するシステムや、利用者側から送信された視聴したいシーンに対応するＩＤを検索キーとして蓄積された映像情報を検索するシステム等がある（例えば、特許文献１参照）。
特開２００３−２３４９８９号公報

上述した蓄積型映像配信システムは、検索キーとして独立した時間情報や視聴したいシーンのＩＤを検索キーとして用いるものであるため、映像情報中に存在する人や物品等のオブジェクト自体に関連する情報、例えば、「現在視聴しているオブジェクトがＡ地点にいた時」等の具体的な情報を用いて映像情報を検索することが困難であり、利用者にとって映像情報等の蓄積された情報を効率良く検索することが困難であった。

本発明は上述した事情に鑑みてなされたものであり、オブジェクト自体に関連する具体的な情報を用いて、複数の映像情報等の蓄積された情報を効率良く検索することができる情報検索システム、情報検索装置、検索情報利用装置、情報検索用プログラムおよび検索情報利用プログラムを提供することをその目的とする。

上述した目的を達成するため、本発明の第１の態様は、対象となる領域に存在するオブジェクトに付帯され、一意の識別情報を含む該オブジェクトに関連する情報を付帯素子情報として発することができる機能および無線通信機能をそれぞれ有する付帯素子、および利用者装置に対してそれぞれ通信可能な情報検索装置であって、前記対象領域を時系列的に撮像して得られた該対象領域の複数の映像情報を取得する映像情報取得手段と、取得された複数の映像情報を、該複数の映像情報それぞれの撮像時刻に係る時間情報に対応付けて蓄積する映像情報蓄積手段と、前記付帯素子から発せられた付帯素子情報を時系列的に取得する付帯素子情報取得手段と、取得された複数の付帯素子情報を、該複数の付帯素子情報それぞれの取得時刻に係る時間情報に対応付けて蓄積する付帯素子情報蓄積手段と、前記利用者装置から送信されてきた検索対象となる時間を表す時間情報および該検索対象となる付帯素子情報の内の少なくとも一方を有する検索条件を受信し、受信した検索条件に応じて前記映像情報蓄積手段および付帯素子情報蓄積手段の内の少なくとも一方を検索し、該検索条件に適合する映像情報および付帯素子情報の内の少なくとも一方を、対応する映像情報蓄積手段および付帯素子情報蓄積手段の内の少なくとも一方から読み出す検索手段と、読み出された映像情報および付帯素子情報の内の少なくとも一方を検索結果として前記利用者装置に対して配信する配信手段と、を備えている。

上述した目的を達成するため、本発明の第２の態様は、対象となる領域に存在するオブジェクトに付帯され、一意の識別情報を含む該オブジェクトに関連する情報を付帯素子情報として発することができる機能および無線通信機能をそれぞれ有する付帯素子、および利用者装置に対してそれぞれ通信可能なコンピュータが実行可能な情報検索用プログラムであって、前記コンピュータに、前記対象領域を時系列的に撮像して得られた該対象領域の複数の映像情報を、該複数の映像情報それぞれの撮像時刻に係る時間情報に対応付けて該コンピュータが通信できる第１の記憶部に蓄積する処理と、前記付帯素子から発せられ時系列的に取得された前記複数の付帯素子情報を、該複数の付帯素子情報それぞれの取得時刻に係る時間情報に対応付けて該コンピュータが通信できる第２の記憶部に蓄積する処理と、前記利用者装置から送信されてきた検索対象となる時間を表す時間情報および該検索対象となる付帯素子情報の内の少なくとも一方を有する検索条件を受信し、受信した検索条件に応じて前記第１の記憶部および第２の記憶部の内の少なくとも一方を検索し、該検索条件に適合する映像情報および付帯素子情報の内の少なくとも一方を、対応する第１の記憶部および第２の記憶部の内の少なくとも一方から読み出す処理と、読み出された映像情報および付帯素子情報の内の少なくとも一方を検索結果として前記利用者装置に対して配信する処理と、をそれぞれ実行させる。

上述した目的を達成するため、本発明の第３の態様は、対象となる領域に存在するオブジェクトに付帯され、一意の識別情報を含む該オブジェクトに関連する情報を付帯素子情報として発することができる機能および無線通信機能をそれぞれ有する付帯素子に通信可能であり、前記対象領域を時系列的に撮像して得られた該対象領域の複数の映像情報が、該複数の映像情報それぞれの撮像時刻に係る時間情報に対応付けられて蓄積された第１の記憶部と、前記付帯素子から発せられ時系列的に取得された前記複数の付帯素子情報が、該複数の付帯素子情報それぞれの取得時刻に係る時間情報に対応付けられて蓄積された第２の記憶部とを含む情報検索装置に対して通信可能な検索情報利用装置であって、検索対象となる時間を表す時間情報および該検索対象となる付帯素子情報の内の少なくとも一方を有する検索条件を前記情報検索装置に対して送信する検索条件送信手段と、前記情報検索装置により前記検索条件に適合する映像情報および付帯素子情報の内の少なくとも一方が対応する第１の記憶部および第２の記憶部の内の少なくとも一方から読み出され、読み出された映像情報および付帯素子情報の内の少なくとも一方が検索結果として該情報検索装置から配信されてきた際に、前記検索結果である映像情報および付帯素子情報の内の少なくとも一方を受信する検索結果受信手段と、受信された検索結果である映像情報および付帯素子情報の内の少なくとも一方を表示する表示手段と、を備えている。

上述した目的を達成するため、本発明の第４の態様は、対象となる領域に存在するオブジェクトに付帯され、一意の識別情報を含む該オブジェクトに関連する情報を付帯素子情報として発することができる機能および無線通信機能をそれぞれ有する付帯素子に通信可能であり、前記対象領域を時系列的に撮像して得られた該対象領域の複数の映像情報が、該複数の映像情報それぞれの撮像時刻に係る時間情報に対応付けられて蓄積された第１の記憶部と、前記付帯素子から発せられ時系列的に取得された前記複数の付帯素子情報が、該複数の付帯素子情報それぞれの取得時刻に係る時間情報に対応付けられて蓄積された第２の記憶部とを含む情報検索装置に対して通信可能なコンピュータが実行可能な検索情報利用プログラムであって、前記コンピュータに、検索対象となる時間を表す時間情報および該検索対象となる付帯素子情報の内の少なくとも一方を有する検索条件を前記情報検索装置に対して送信する処理と、前記情報検索装置により前記検索条件に適合する映像情報および付帯素子情報の内の少なくとも一方が対応する第１の記憶部および第２の記憶部の内の少なくとも一方から読み出され、読み出された映像情報および付帯素子情報の内の少なくとも一方が検索結果として該情報検索装置から配信されてきた際に、前記検索結果である映像情報および付帯素子情報の内の少なくとも一方を受信する処理と、受信された検索結果である映像情報および付帯素子情報の内の少なくとも一方を表示する処理と、をそれぞれ実行させる。

上述した目的を達成するため、本発明の第５の態様は、対象となる領域に存在するオブジェクトに付帯され、一意の識別情報を含む該オブジェクトに関連する情報を付帯素子情報として発することができる機能および無線通信機能をそれぞれ有する付帯素子に対して通信可能な情報検索装置と、この情報検索装置に対して通信可能な検索情報利用者装置とを備えた情報検索システムであって、前記情報検索装置は、前記対象領域を時系列的に撮像して得られた該対象領域の複数の映像情報を取得する映像情報取得手段と、取得された複数の映像情報を、該複数の映像情報それぞれの撮像時刻に係る時間情報に対応付けて蓄積する映像情報蓄積手段と、前記付帯素子から発せられた付帯素子情報を時系列的に取得する付帯素子情報取得手段と、取得された複数の付帯素子情報を、該複数の付帯素子情報それぞれの取得時刻に係る時間情報に対応付けて蓄積する付帯素子情報蓄積手段と、前記利用者装置から送信されてきた検索対象となる時間を表す時間情報および該検索対象となる付帯素子情報の内の少なくとも一方を有する検索条件を受信し、受信した検索条件に応じて前記映像情報蓄積手段および付帯素子情報蓄積手段の内の少なくとも一方を検索し、該検索条件に適合する映像情報および付帯素子情報の内の少なくとも一方を、対応する映像情報蓄積手段および付帯素子情報蓄積手段の内の少なくとも一方から読み出す検索手段と、読み出された映像情報および付帯素子情報の内の少なくとも一方を検索結果として前記利用者装置に対して配信する配信手段と、をそれぞれ備え、前記検索情報利用者装置は、前記検索対象となる時間を表す時間情報および該検索対象となる付帯素子情報の内の少なくとも一方を有する検索条件を前記情報検索装置に対して送信する検索条件送信手段と、前記情報検索装置の配信手段から、前記検索結果として前記映像情報および付帯素子情報の内の少なくとも一方が配信されてきた際に、その映像情報および付帯素子情報の内の少なくとも一方を受信する検索結果受信手段と、受信された検索結果である映像情報および付帯素子情報の内の少なくとも一方を表示する表示手段と、を備えている。

なお、第１の記憶部、第２の記憶部とは、異なる構成要素に加えて、同一の構成要素の異なる記憶領域も含む概念である。

本発明によれば、オブジェクトが存在する対象領域を時系列的に撮像して取得された複数の映像情報がそれぞれの撮像時刻に係る時間情報に対応付けられて情報検索装置に蓄積され、かつ対象となる領域に存在するオブジェクトに付帯された付帯素子から発せられた時系列的の複数の付帯素子情報がそれぞれの取得時刻に係る時間情報に対応付けられて情報検索装置に蓄積されているため、情報利用者装置からの検索条件として、検索対象となる時間を表す時間情報に加えて、オブジェクトに付帯された付帯素子から発せられたオブジェクトに関連する情報である付帯素子情報を含めることが可能になる。

この結果、例えば付帯素子情報を検索条件として用いた場合、蓄積された複数の映像情報から、検索条件としての付帯素子情報に対応付けられた映像情報を検索することができ、かつ蓄積された複数の付帯素子情報から、検索条件の付帯素子情報に対応付けられた付帯素子情報を検索することができ、蓄積された複数の映像情報および／または複数の付帯素子情報に対する検索効率を向上させることができる。

以下、本発明に係る情報検索システム、情報検索装置、検索情報利用装置、情報検索用プログラムおよび検索情報利用プログラムの実施の形態について図面を参照して説明する。

図１は、本発明の実施の形態に係る情報検索システム１の概略構成を示す図である。

図１に示すように、情報検索システム１は、情報提供者（個人、あるいは法人等を含む概念である）により構築され、情報提供の対象となる例えば室内空間等の空間領域（対象領域）Ｒ内に存在する人、物品等の複数のオブジェクトＯ_０〜Ｏ_ｎ（ｎは１以上）に関連する情報を取得して提供するための情報提供者側装置１０と、この情報提供者側装置１０から提供された情報を利用するための検索情報利用装置に相当する利用者装置２０とを備えている。

情報提供者側装置１０および利用者装置２０間は、ネットワークＮで通信可能に接続されている。このネットワークＮとしては、インターネット、電話網、パケット網、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、専用網等、何れのネットワークが利用可能である。

なお、利用者装置２０は、図１の二点鎖線（仮想線）で示したように、情報提供者側装置１０とネットワークを介さず通信ケーブル等により直結で接続してもよい。また、オブジェクトとしては、人、物品等の有体物であれば、どのようなものでもよい。

オブジェクトＯ_０〜Ｏ_ｎは、対応するオブジェクトに関連する情報をそれぞれ発することができる付帯素子５ａ_０〜５ａ_ｎを付帯している。ここで、付帯とは、取りつけられていること、貼りつけられていること、設けられていること、携帯されていること等の意味である。

すなわち、各付帯素子５ａ_０〜５ａ_ｎは、自付帯素子を一意に識別する識別ＩＤ等の識別情報を有しており、この識別情報を電気的なデータとして発信する機能（必要なハードウェア要素を含む）および情報提供者側装置１０に対する無線通信機能（必要なハードウェア要素を含む）を備えている。

また、各付帯素子５ａ_０〜５ａ_ｎは、自付帯素子（言い換えれば、対応するオブジェクト）の周囲の環境に関連する情報（例えば温度、湿度等）をセンサ情報として検出して発信する機能、ハードウェア要素として発光素子を有し、例えば情報提供者側装置１０からの発光指示に応じて、その発光素子を自付帯素子の位置情報として発光させる機能等を備えている。

さらに、各付帯素子５ａ_０〜５ａ_ｎは、情報提供者側装置１０からの自付帯素子の識別情報を含む動作指示情報を受信した際に、その動作指示情報に基づいて所定の動作を行う機能（例えば、ハードウェア要素としてアクチュエータを有し、そのアクチュエータを駆動させて所定の動作を発動させる機能、ハードウェア要素としてバイブレータを有し、そのバイブレータを振動させる機能、上記発光素子を発光させる機能等）を備えている。

各付帯素子５ａ_０〜５ａ_ｎの例としては、ＩＣ（Integration Circuit）タグやＲＦＩＤ（Radio Frequency ID）タグ等を用いることができる。また、各付帯素子５ａ_０〜５ａ_ｎは、上記発光素子の代わり、あるいは発光素子と併用してＧＰＳ（Global Positioning System）等のような自付帯素子の位置情報を検出する機能を有していても良い。

情報提供者側装置１０は、対象領域Ｒ内に存在するオブジェクトＯ_０〜Ｏ_ｎと通信可能な位置に配置されている。

情報提供者側装置１０は、ネットワークＮに対して通信する機能と付帯素子５ａ_０〜５ａ_ｎに対する無線通信機能とを有するインタフェース部、このインタフェース部に通信可能に接続されたコンピュータ、ＣＤ（Compact Disk）−ＲＯＭ（Read Only memory）、ＤＶＤ（Digital Versatile Disk）等の外部メモリをコンピュータが読取可能にセットできる外部記憶装置、映像情報および付帯素子情報蓄積用のハードディスク等の大容量記憶装置、およびコンピュータのワークエリアとしての機能を有する内部メモリをそれぞれ含むコンピュータシステムと、このコンピュータシステムに電気的に接続されており、コンピュータからの指示により動作するハードウェア機器（例えば、後述するカメラ／赤外線カメラ等）とから構成されている。

すなわち、情報提供者側装置１０は、対象領域Ｒから各オブジェクトＯ_０〜Ｏ_ｎに関する情報を取得し、かつ対象領域Ｒの各オブジェクトＯ_０〜Ｏ_ｎに対し情報を与えることができる対象領域対応手段１１を備えている。

対象領域対応手段１１は、対象領域Ｒ内を時系列的に撮像して映像情報を取得する映像情報取得手段１１１と、各オブジェクトＯ_０〜Ｏ_ｎが付帯する付帯素子５ａ_０〜５ａ_ｎに関する情報である付帯素子情報｛各付帯素子５ａ_０〜５ａ_ｎから得られる情報（識別情報、位置情報およびセンサ情報の内の少なくとも１つの情報を含む）として定義される情報、本実施の形態では、上記識別情報、位置情報およびセンサ情報の全てを含むものとする｝を時系列的に取得する付帯素子情報取得手段１１２と、対象領域Ｒ内の各オブジェクトＯ_０〜Ｏ_ｎが付帯する付帯素子５ａ_０〜５ａ_ｎに対し所定の動作をさせるための指示を行う動作指示通知手段１１３とを備えている。

また、情報提供者側装置１０は、リアルタイムの時刻（時間情報）を取得する時間情報取得手段１２と、映像情報取得手段１１１により取得された映像情報を蓄積する映像情報蓄積手段１３と、付帯素子情報取得手段１１２により取得された付帯素子情報を蓄積する付帯素子情報蓄積手段１４とを備えている。

さらに、情報提供者側装置１０は、利用者装置２０から送信されてきた検索条件に従って映像情報蓄積手段１３および／または付帯素子情報蓄積手段１４を検索するための検索手段１５と、付帯素子情報取得手段１１２により時系列的に取得された付帯素子情報を順次利用者装置２０に配信すると共に、検索手段１５により検索された付帯素子情報を利用者装置２０に配信するための付帯素子情報配信手段１６と、映像情報取得手段１１１により時系列的に取得された映像情報を順次利用者装置２０に配信すると共に、検索手段１５により検索された映像情報を利用者装置２０に配信するための映像情報配信手段１７とを備えている。

対象領域対応手段１１の映像情報取得手段１１１は、対象領域Ｒ内の各オブジェクトＯ_０〜Ｏ_ｎを撮像した映像情報を、時間情報取得手段１２により取得された例えば撮像時の時間情報を付加して取得する。

また、映像情報取得手段１１１による映像情報の取得と並行して、付帯素子情報取得手段１１２は、各オブジェクトＯ_０〜Ｏ_ｎが付帯する付帯素子５ａ_０〜５ａ_ｎが時系列的に発する各オブジェクトＯ_０〜Ｏ_ｎに関連する情報である付帯素子情報を、所定のタイミング（例えば一定間隔）で取得し、時間情報取得手段１２により取得された例えば付帯素子情報取得時、あるいは取得時近傍の時間情報を付加する。

本実施の形態において、付帯素子情報は、付帯素子５ａ_０〜５ａ_ｎの識別情報、付帯素子５ａ_０〜５ａ_ｎのセンサが取得したセンサ情報、および付帯素子５ａ_０〜５ａ_ｎの位置情報を含んでおり、付帯素子情報取得手段１１２は、付帯素子情報（識別情報、センサ情報および位置情報）の内、必要な情報を取得する。なお、本実施の形態では、付帯素子情報を全て取得するものとする。

すなわち、付帯素子情報取得手段１１２は、付帯素子５ａ_０〜５ａ_ｎの識別情報の取得処理として、各オブジェクトＯ_０〜Ｏ_ｎが付帯する付帯素子５ａ_０〜５ａ_ｎが常時（あるいは定期的）送出する識別情報を受信する処理、付帯素子５ａ_０〜５ａ_ｎに識別情報を取得する旨の指示を送信し、その指示に応じた付帯素子５ａ_０〜５ａ_ｎからの上記識別情報送出処理により送出された識別情報を受信する処理等を行うようになっている。

同様に、付帯素子情報取得手段１１２は、付帯素子５ａ_０〜５ａ_ｎのセンサ情報の取得処理として、各オブジェクトＯ_０〜Ｏ_ｎが付帯する付帯素子５ａ_０〜５ａ_ｎが常時（あるいは定期的）に送出するセンサ情報を受信する処理、付帯素子５ａ_０〜５ａ_ｎにセンサ情報を取得する旨の指示を送信し、その指示に応じた付帯素子５ａ_０〜５ａ_ｎからの上記センサ情報送出処理により送出されたセンサ情報を受信する処理等を行うようになっている。

さらに、付帯素子情報取得手段１１２は、各オブジェクトＯ_０〜Ｏ_ｎが付帯する各付帯素子５ａ_０〜５ａ_ｎが位置情報検出手段として発光素子を有している場合には、付帯素子５ａ_０〜５ａ_ｎの位置情報の取得処理（取得手段）として、各オブジェクトＯ_０〜Ｏ_ｎが付帯する付帯素子５ａ_０〜５ａ_ｎを含む領域を可視光、あるいは赤外光等により照射して付帯素子５ａ_０〜５ａ_ｎを発光動作させる。なお、発光動作させるトリガとしては、付帯素子５ａ_０〜５ａ_ｎに信号受信部が搭載されていれば、この信号受信部にトリガとしての信号を送信することにより付帯素子５ａ_０〜５ａ_ｎを発光動作させてもよい。

そして、付帯素子情報取得手段１１２は、映像情報取得手段１１１により取得された、発光した付帯素子５ａ_０〜５ａ_ｎを含む映像情報を、例えば２値化処理等の画像処理技術を用いて解析して付帯素子５ａ_０〜５ａ_ｎの発光位置、すなわち、対象領域Ｒ内の付帯素子５ａ_０〜５ａ_ｎの位置情報を検出して取得している。例えば、本実施形態においては、位置情報として、映像情報の撮像位置から対象領域Ｒを見た場合の２次元位置座標｛（ｘ、ｙ）座標｝を検出して取得している。

なお、付帯素子５ａ_０〜５ａ_ｎを発光させる際に、同時には何れか一つの付帯素子が発光するようにしたり、各付帯素子５ａ_０〜５ａ_ｎで発光させる色や発光間隔を変えたりすることにより、より効率的に発光位置を検出することが可能となる。また、付帯素子情報取得手段１１２におけるハードウェア要素として、複数台の通常のカメラや赤外線カメラを対象領域Ｒ撮像用に設置し、発光した付帯素子５ａ_０〜５ａ_ｎの３次元位置座標を上記複数台のカメラや赤外線カメラにより撮像された複数の映像情報により求める等、通常用いられている３次元位置検出方法を用いて３次元の位置情報を取得するようにしてもよい。

また、各付帯素子５ａ_０〜５ａ_ｎにおける位置情報検出機能としては、上記発光素子の代わり、あるいは発光素子と併用して、超音波や電波を発する機能を搭載しておき、各付帯素子５ａ_０〜５ａ_ｎから発せられた超音波や電波の強度を複数の基地局により検出して三角測量の手法を用いて各付帯素子５ａ_０〜５ａ_ｎの位置情報を検出し、検出した位置情報を情報検索装置１０に送信するように構成してもよい。

さらに、付帯素子情報取得手段１１２は、各付帯素子５ａ_０〜５ａ_ｎが位置情報検出手段としてＧＰＳのような位置検出手段を有している場合には、付帯素子５ａ_０〜５ａ_ｎの位置情報の取得処理として、付帯素子５ａ_０〜５ａ_ｎに位置情報を取得する旨の指示を送信し、その指示に応じた付帯素子５ａ_０〜５ａ_ｎからの上記位置情報送出処理により送出された位置情報を受信する処理等を行うようになっている。

映像情報蓄積手段１３は、対象領域Ｒ内の各オブジェクトＯ_０〜Ｏ_ｎを撮像した映像情報を、付加された撮像時の時間情報と共に互いに関連付けられた状態で例えば大容量記憶装置に蓄積しており、検索手段１５は、検索条件に対応する時間帯の映像情報を検索することが可能となる。

例えば、映像情報蓄積手段１３は、図２に示すように、例えば映像情報取得手段１１１から時系列的に入力されるフレーム単位の映像情報Ｉ_０、Ｉ_１、Ｉ_２、Ｉ_３、・・・を、対応する撮像時、あるいは撮像時の近傍の時間を表す時間情報Ｔ_０、Ｔ_１、Ｔ_２、Ｔ_３、・・・と対応付けて例えばテーブル形式の映像情報ファイルＦ１として大容量記憶装置に蓄積する。なお、映像情報Ｉ_０、Ｉ_１、Ｉ_２、Ｉ_３、・・・の時間情報との関連付けは、上記構成に限定されるものではなく、例えば適当な間隔で、時間情報と映像情報とを対応付けて蓄積することにより、所定の時間帯の映像情報を出力することが可能となる。

付帯素子情報蓄積手段１４は、付帯素子情報取得手段１１２により取得された付帯素子情報を、付加された取得時の時間情報と共に互いに対応付けて例えば大容量記憶装置に蓄積する。

例えば、図３は、付帯素子情報蓄積手段１４により大容量記憶装置に蓄積された付帯素子情報ファイルＦ２を示した図である。

図３に示すように、付帯素子情報蓄積手段１４は、取得した時間情報Ｔ_０、Ｔ_１、Ｔ_２、Ｔ_３、・・・毎に、各付帯素子（例えば、付帯素子５ａ_０〜５ａ_ｎがｎ＝３（４個）で、それぞれＩＤ_０、ＩＤ_１、ＩＤ_２、ＩＤ_３の識別情報を有しているものとする）の識別情報と位置情報と取得したセンサ情報とを互いに対応付けてテーブル形式の付帯素子情報ファイルＦ２として大容量記憶装置に蓄積しており、検索手段１５は、検索条件に適合する時間帯の付帯素子情報を容易に検索することが可能となる。

例えば、図３に示す付帯素子情報ファイルＦ２が付帯素子情報蓄積手段１４により大容量記憶装置に蓄積されている場合には、時間情報がＴ_０とＴ_１とで対象領域Ｒ内に存在した識別情報ＩＤ_２の付帯素子５ａ_２を付帯したオブジェクトＯ２が時間情報Ｔ_２では対象領域Ｒからいなくなっており、識別情報ＩＤ_２が存在した時間帯はＴ₀〜Ｔ₁であることを検索結果として得ることができる。

また、図３に示す付帯素子情報ファイルＦ２が付帯素子情報蓄積手段１４により大容量記憶装置に蓄積されている場合には、時間情報がＴ_０とＴ_１との間では、識別情報ＩＤ_１の付帯素子を付帯した付帯素子の位置情報｛座標位置：（Ｘ_１０，Ｙ_１０）｝で変わらないが、時間情報Ｔ_１とＴ_２との間で別の位置（Ｘ_１１，Ｙ_１１）に移動しており、付帯素子が（Ｘ_１０，Ｙ_１０）にいた時間帯はＴ_０〜Ｔ_１であること、センサ情報については、時間情報がＴ_０とＴ_１との間では、Ｓ_１０のままであるが、時間情報Ｔ_１とＴ_２との間でＳ_１１に変化しており、センサ情報がＳ_１０である時間帯はＴ_０〜Ｔ_１であること、等を検索結果として得ることができる。

上述した情報提供者側装置１０を構成するコンピュータシステムは、例えば外部メモリから内部メモリにロードされた情報検索用プログラムに基づく処理により、上記ハードウェア機器と協働して上記対象領域対応手段１１、時間情報取得手段１２、映像情報蓄積手段１３、付帯素子情報蓄積手段１４、検索手段１５、付帯素子情報配信手段１６および映像情報配信手段１７に対応する機能をそれぞれ実現するようになっている。

なお、検索手段１５は、その検索手段１５に対応する機能を有するハードウェア装置として、図１の二点鎖線で示したように、情報提供者側装置１０とネットワークを介して通信可能に接続されていてもよい。

一方、利用者装置２０は、映像情報等表示用のディスプレイ、このディスプレイに表示された映像情報等を例えばマーカＭにより指定可能なマウス等のポインティングデバイスおよびテキスト情報を入力可能なキーボード等を含む操作入力部、コンピュータ（ＣＰＵ）、このコンピュータのワークエリアを構成するメモリ、ネットワークＮとコンピュータとの間の通信インタフェース機能を有する通信インタフェース部、およびハードディスク、ＤＶＤ等の外部メモリをコンピュータが読取可能にセットできる外部記憶装置等をそれぞれ含むコンピュータシステムから構成されており、利用者が利用可能なコンピュータシステムであれば、携帯型およびデスクトップ型の何れの形態でもよい。

この利用者装置２０は、図１に示すように、検索手段１５に対する検索条件を生成する検索条件生成手段２１と、映像情報配信手段１７により配信されてきたリアルタイムの映像情報および／または検索手段１５により検索され配信されてきた映像情報を受信する映像情報受信手段２２と、付帯素子情報配信手段１６により配信されてきた付帯素子情報および／または検索手段１５により検索され配信されてきた付帯素子情報を受信する付帯素子情報受信手段２３とを備えている。

また、利用者装置２０は、映像情報受信手段２２により受信された映像情報等をディスプレイに表示する表示手段２４と、利用者の操作入力部の操作に応じて対象領域Ｒ内の各オブジェクトＯ_０〜Ｏ_ｎを指定するためのオブジェクト指定手段２５と、オブジェクト指定手段２５により指定されたオブジェクトが付帯する付帯素子に対し、利用者の操作入力部の操作に基づく動作指示情報に対応する所定の動作を要求するための動作要求を情報提供者側装置１０に対して送信するための動作要求手段２６と、オブジェクト指定手段２５により指定されたオブジェクトが付帯する付帯素子に関する付帯素子情報の取得を要求するための第１の付帯素子情報取得要求手段２７および第２の付帯素子情報取得要求手段２８とを備えている。

利用者装置２０を構成するコンピュータシステムは、例えば外部メモリから内部メモリにロードされた検索情報利用プログラムに基づく処理により、上記検索条件生成手段２１、映像情報受信手段２２、付帯素子情報受信手段２３、表示手段２４、オブジェクト指定手段２５、動作要求手段２６、第１の付帯素子情報取得要求手段２７および第２の付帯素子情報取得要求手段２８に対応する機能をそれぞれ実現するようになっている。

次に、本実施形態に係る情報検索システム１の全体動作について、情報提供者側装置１０および利用者装置２０の動作を中心に説明する。なお、本実施形態における以下の動作説明においては、付帯素子情報蓄積手段１４には、図３に示すデータが蓄積されているものとする。

今、現在時刻（現在時間情報）Ｔ_ｘにおいて情報提供者側装置１０の映像情報取得手段１１１により取得された、現在の対象領域Ｒ内に存在するオブジェクト（例えば、オブジェクトＯ_０〜Ｏ_２が存在するものとする）を含む映像情報Ｉ_ｘは、上記時間情報Ｔ_ｘに対応付けられて映像情報蓄積手段１３により大容量記憶装置に蓄積される。

同様に、現在時間情報Ｔ_ｘにおいて情報提供者側装置１０の付帯素子情報取得手段１１２により取得された、オブジェクトＯ_０〜Ｏ_２にそれぞれ付帯された付帯素子５ａ_０〜５ａ_２により得られた付帯素子情報｛識別情報ＩＤ_０〜ＩＤ_２、位置情報（Ｘ_Ｘ０,Ｙ_Ｘ０）〜（Ｘ_Ｘ２,Ｙ_Ｘ２）、センサ情報（Ｓ_Ｘ０〜Ｓ_Ｘ２）｝は、上記時間情報Ｔ_ｘに対応付けられて付帯素子情報蓄積手段１４により大容量記憶装置に蓄積される。

このとき、映像情報Ｉ_ｘおよび付帯素子情報｛識別情報ＩＤ_０〜ＩＤ_２、位置情報（Ｘ_Ｘ０,Ｙ_Ｘ０）〜（Ｘ_Ｘ２,Ｙ_Ｘ２）、センサ情報（Ｓ_Ｘ０〜Ｓ_Ｘ２）｝は、それぞれ映像情報配信手段１７および付帯素子情報配信手段１６によりネットワークＮを介して利用者装置２０に配信される。

利用者装置２０の映像情報受信手段２２および付帯素子情報受信手段２３は、ネットワークＮを介して配信されてきた映像情報Ｉ_ｘおよび付帯素子情報｛識別情報ＩＤ_０〜ＩＤ_２および位置情報（Ｘ_Ｘ０,Ｙ_Ｘ０）〜（Ｘ_Ｘ２,Ｙ_Ｘ２）｝をそれぞれ受信する。

表示手段２４は、受信された映像情報Ｉ_ｘおよび付帯素子情報間において、それぞれに付け加えれらた時間情報Ｔ_ｘにより時間同期をとり、時間同期された付帯素子情報における識別情報ＩＤ_０〜ＩＤａ_２および位置情報（Ｘ_Ｘ０,Ｙ_Ｘ０）〜（Ｘ_Ｘ２,Ｙ_Ｘ２）に基づいて、映像情報Ｔ_ｘ上におけるオブジェクトＯ_０〜Ｏ_２を識別するためのオブジェクト識別情報（予め、あるいは映像情報と同時に情報提供者側装置１０から利用者装置２０に対して送信されている）と、映像情報Ｔ_ｘ上におけるオブジェクトＯ_０〜Ｏ_２にそれぞれ付帯された付帯情報５ａ_０〜５ａ_２の識別情報ＩＤ_０〜ＩＤ_２および位置情報（Ｘ_Ｘ０,Ｙ_Ｘ０）〜（Ｘ_Ｘ２,Ｙ_Ｘ２）とを対応付ける。

そして、表示手段２４は、映像情報Ｔ_ｘ上における位置情報（Ｘ_Ｘ０,Ｙ_Ｘ０）〜（Ｘ_Ｘ２,Ｙ_Ｘ２）を基準としてその近傍にオブジェクト識別情報を重畳し、映像情報Ｔ_ｘにおけるオブジェクト識別情報の重畳位置の周囲の領域、および映像情報Ｔ_ｘにおける位置情報（Ｘ_Ｘ０,Ｙ_Ｘ０）〜（Ｘ_Ｘ２,Ｙ_Ｘ２）の周囲の領域をそれぞれクリック可能領域、言い換えれば、操作入力部の操作（クリック）により表示手段２４が反応する領域として設定する。なお、オブジェクト識別情報としては、オブジェクトが人の場合にはその人の氏名や所属、顔写真等を表すテキスト／画像データであり、オブジェクトが物品の場合には、物品名や物品の写真等を表すテキスト／画像データであり、オブジェクトが識別できるものならどのようなものでもよい。

そして、表示手段２４は、クリック可能領域がそれぞれ設定された映像情報Ｉ_ｘをディスプレイに表示する。

図４は、表示手段２４によりディスプレイに表示された映像情報Ｉ_ｘを示す図である。

図４に示すように、映像情報Ｉ_ｘにおけるオブジェクトＯ_０〜Ｏ_２の近傍には、そのオブジェクトＯ_０〜Ｏ_２識別用のオブジェクト識別情報Ａ_０〜Ａ_２が表示されている。また、オブジェクト識別情報Ａ_０〜Ａ_２それぞれの周囲、および付帯素子５ａ_０〜５ａ_２それぞれの周囲には、クリック可能領域がそれぞれ設定されている。なお、符号Ｍは、操作入力部の操作によりディスプレイに表示された映像情報上の任意の位置に移動でき、操作入力部の操作により映像情報上の所定箇所をクリック（指定）できるマーカである。

利用者は、利用者装置２０のディスプレイに表示された現在の映像情報Ｉ_ｘを見ながら、過去の特定の時間または特定の時間帯の映像情報および付帯素子情報を検索したいと思った場合、利用者装置２０の操作入力部を操作し、過去の特定の時間（例えば、時間Ｔ_１）、あるいは時間帯（時間範囲；例えば、時間帯Ｔ_１〜Ｔ_２）を入力する。以下、過去の特定の時間帯Ｔ_１〜Ｔ_２が入力された場合について説明する。なお、時間の入力は、絶対時間（過去の特定の時間それ自体）および相対時間（現在の時間からの差；例えば、現在から１時間前等）の何れでもよい。

このとき、利用者装置２０は、検索情報利用プログラムに従って動作する。

すなわち、利用者装置２０は、検索条件生成手段により、入力された過去の特定の時間帯Ｔ_１〜Ｔ_２に基づいて、その過去の特定の時間帯Ｔ_１〜Ｔ_２の映像情報および付帯素子情報の検索要求を表す検索条件(条件データ）を作成し、作成した検索条件をネットワークＮを介して情報提供者側装置１０に対して送信する（図５；ステップＳ１）。

一方、情報提供者側装置１０は、情報検索用プログラムに従って動作している。

すなわち、情報提供者側装置１０は、検索手段１５により、利用者装置２０から送信されてきた検索条件を受信し（ステップＳ２）、受信した検索条件（過去の特定の時間帯Ｔ_１〜Ｔ_２）に基づいて大容量記憶装置に蓄積された映像情報ファイルＦ１および付帯素子情報ファイルＦ２をそれぞれ検索し、その過去の特定の時間帯Ｔ_１〜Ｔ_２に対応付けられた映像情報Ｉ_１〜Ｉ_２および付帯素子情報｛識別情報ＩＤ_１、ＩＤ_２、ＩＤ_３、位置情報（ｘ_１０,ｙ_１０）〜（ｘ_１１,ｙ_１１）、（ｘ_２１,ｙ_２１）、（ｘ_３０,ｙ_３０）〜（ｘ_３１,ｙ_３１）、センサ情報（Ｓ_１０〜Ｓ_１１、Ｓ_２１、Ｓ_３０〜Ｓ_３０）｝を映像情報ファイルＦ１および付帯素子情報ファイルＦ２からそれぞれ読み出す（ステップＳ３）。

そして、情報提供者側装置１０は、映像情報配信手段１７および付帯素子情報配信手段１６により、読み出した検索条件（過去の特定の時間帯Ｔ_１〜Ｔ_２）に対応する映像情報Ｉ_１〜Ｉ_２および付帯素子情報｛識別情報ＩＤ_１、ＩＤ_２、ＩＤ_３、位置情報（ｘ_１０,ｙ_１０）〜（ｘ_１１,ｙ_１１）、（ｘ_２１,ｙ_２１）〜（Φ,Φ）、（ｘ_３０,ｙ_３０）〜（ｘ_３１,ｙ_３１）、センサ情報（Ｓ_１０〜Ｓ_１１、Ｓ_２１、Ｓ_３０〜Ｓ_３０）｝を検索結果としてネットワークＮを介して利用者装置２０に配信する（ステップＳ４）。

利用者装置２０は、その映像情報受信手段２２により、ネットワークＮを介して配信されてきた映像情報Ｉ_１〜Ｉ_２を受信して例えば外部記憶装置に格納し、また、利用者装置２０は、その付帯素子情報受信手段２３により、配信されてきた付帯素子情報｛識別情報（ＩＤ_１、ＩＤ_２、ＩＤ_３）〜（ＩＤ_１、Φ_２、ＩＤ_３）、位置情報（ｘ_１０,ｙ_１０）〜（ｘ_１１,ｙ_１１）、（ｘ_２１,ｙ_２１）〜（Φ,Φ）、（ｘ_３０,ｙ_３０）〜（ｘ_３１,ｙ_３１）、センサ情報（Ｓ_１０、Ｓ_２１、Ｓ_３０）〜（Ｓ_１１、Φ、Ｓ_３０）｝を受信して例えば外部記憶装置に格納する(ステップＳ５）。なお、Φは取得不可、すなわち、対応オブジェクトが対象領域Ｒに存在しない状態であったことを表す。

このとき、検索条件に該当する映像情報Ｉ_１〜Ｉ_２を検索結果として表示出力する場合には、利用者装置２０の表示手段２４は、映像情報受信手段２２により受信された映像情報Ｉ_１〜Ｉ_２をディスプレイに更新表示、あるいは現在の映像情報Ｉ_ｘと併せて（重畳、並列して）表示する（ステップＳ６）。

この結果、利用者は、ディスプレイに表示された、自ら要求した過去の特定時間帯Ｔ_１〜Ｔ_２における映像情報Ｉ_１〜Ｉ_２を視認することにより、上記過去の特定時間帯Ｔ_１〜Ｔ_２におけるオブジェクトの状況を映像情報Ｉ_１〜Ｉ_２から把握することが可能となる。

また、現在の映像情報Ｉ_ｘと過去の映像情報Ｉ_１〜Ｉ_２とを併せて表示した場合には、利用者は、その現在の映像情報Ｉ_ｘと過去の映像情報Ｉ_１〜Ｉ_２とを比較することにより、過去の特定時間帯Ｔ_１〜Ｔ_２から現在の時間Ｔ_ｘまでのオブジェクトの移動状況を容易に把握することができる。

さらに、検索条件に該当する付帯素子情報を検索結果として出力する場合には、利用者装置２０の表示手段２４は、付帯素子情報受信手段２３により受信された付帯素子情報に基づいて付帯素子情報表示データを生成してディスプレイに更新表示、あるいは映像情報Ｉ_１〜Ｉ_２および／または映像情報Ｉ_ｘと併せて表示する（ステップＳ７）。

例えば、表示手段２４は、付帯素子情報における過去の特定時間帯Ｔ_１〜Ｔ_２のセンサ情報（Ｓ_１０、Ｓ_２１、Ｓ_３０）〜（Ｓ_１１、Φ、Ｓ_３０）から、付帯素子情報表示データとしてセンサ情報（Ｓ_１０、Ｓ_２１、Ｓ_３０）〜（Ｓ_１１、Φ、Ｓ_３０）の時系列的な変化を表すグラフを生成してディスプレイに表示する。また、表示手段２４は、付帯素子情報における識別情報（ＩＤ_１、ＩＤ_２、ＩＤ_３）〜（ＩＤ_１、Φ_２、ＩＤ_３）から、付帯素子情報表示データとして、識別情報の数の変化、すなわち、過去の特定の時間帯Ｔ_１〜Ｔ_２における対象領域Ｒ内に存在するオブジェクトの数の時系列的な変化を表すデータを生成してディスプレイに表示する。

さらに、表示手段は、付帯素子情報における位置情報（ｘ_１０,ｙ_１０）〜（ｘ_１１,ｙ_１１）、（ｘ_２１,ｙ_２１）〜（Φ,Φ）、（ｘ_３０,ｙ_３０）〜（ｘ_３１,ｙ_３１）から、過去の特定の時間Ｔ_１〜Ｔ_２において対象領域Ｒ内に存在する付帯素子（言い換えればオブジェクト）の移動状況を表すデータを生成してディスプレイに表示する。

この結果、利用者は、ディスプレイに表示された、自ら要求した過去の特定の時間帯Ｔ_１〜Ｔ_２における付帯素子情報表示データを視認することにより、上記過去の特定時間帯Ｔ_１〜Ｔ_２における付帯素子から得られた付帯素子情報の変化状況を容易に把握することができる。

なお、過去の特定の時間帯ではなく、過去の特定の時間のみ検索条件として入力した場合でも同様であり、過去の特定時間に対応する映像情報および付帯素子情報表示データをそれぞれディスプレイに表示させることができる。

次に、利用者が利用者装置２０のディスプレイに表示された現在の映像情報Ｉ_ｘを見ながら、少なくとも１つの特定のオブジェクト（例えば、オブジェクトＯ_１）の過去の特定の時間帯の付帯素子情報を検索したいと思った場合、利用者は、利用者装置２０の操作入力部を操作してマーカＭを検索対象のオブジェクトＯ_１に対応するクリック可能領域（付帯素子５ａ_１の周囲のクリック可能領域、あるいはオブジェクト識別情報Ａ_１の周囲のクリック可能領域）上に移動させ、操作入力部を操作してオブジェクトＯ_１を指定（クリック）する。そして、利用者は、操作入力部を操作し、例えば過去の特定の時間帯（例えば、時間帯Ｔ_０〜Ｔ_１）を入力する。

このとき、利用者装置２０は、そのオブジェクト指定手段２５により、操作入力部を介して指定されたクリック可能領域に対応するオブジェクトＯ_１の識別情報ＩＤ_１を求め、第１の付帯素子情報取得要求手段２７により、求めたオブジェクトＯ_１の識別情報ＩＤ_１および過去の特定の時間帯Ｔ_０〜Ｔ_１を含む付帯素子情報の取得要求（要求データ）を作成し、作成した付帯素子情報取得要求をネットワークＮを介して情報提供者側装置１０に対して送信する（図６；ステップＳ１０）。

情報提供者側装置１０は、その検索手段１５により、利用者装置２０から送信されてきた付帯素子情報取得要求を受信し（ステップＳ１１）、受信した付帯素子情報取得要求（識別情報ＩＤ_１、過去の特定の時間帯Ｔ_０〜Ｔ_１）に基づいて大容量記憶装置に蓄積された映像情報ファイルＦ１および付帯素子情報ファイルＦ２をそれぞれ検索し、識別情報ＩＤ_１および過去の特定の時間帯Ｔ_０〜Ｔ_１に対応付けられた付帯素子情報｛位置情報（ｘ_１０,ｙ_１０）〜（ｘ_１０,ｙ_１０）、センサ情報（Ｓ_１０〜Ｓ_１０）｝を映像情報ファイルＦ１および付帯素子情報ファイルＦ２からそれぞれ読み出す（ステップＳ１２）。

そして、情報提供者側装置１０は、付帯素子情報配信手段１６により、読み出した付帯素子情報取得要求｛識別情報ＩＤ_１および過去の特定の時間帯Ｔ_０〜Ｔ_１｝に対応する付帯素子情報｛位置情報（ｘ_１０,ｙ_１０）〜（ｘ_１０,ｙ_１０）、センサ情報（Ｓ_１０〜Ｓ_１０）｝を検索結果としてネットワークＮを介して利用者装置２０に配信する（ステップＳ１３）。

利用者装置２０は、その付帯素子情報受信手段により、配信されてきた付帯素子情報｛位置情報（ｘ_１０,ｙ_１０）〜（ｘ_１０,ｙ_１０）、センサ情報（Ｓ_１０〜Ｓ_１０）｝を受信して例えば外部記憶装置に格納する(ステップＳ１４）。

このとき、付帯素子情報取得要求に該当する付帯素子情報を検索結果として出力する場合には、利用者装置２０の表示手段２４は、ステップＳ７の処理と同様の処理を行うことにより、付帯素子情報受信手段２３により受信された付帯素子情報｛位置情報（ｘ_１０,ｙ_１０）〜（ｘ_１０,ｙ_１０）、センサ情報（Ｓ_１０〜Ｓ_１０）｝に基づいて付帯素子情報表示データを生成してディスプレイに更新表示、あるいは映像情報Ｉ_ｘと併せて表示する（ステップＳ１５）。

この結果、利用者は、ディスプレイに表示された、自ら指定したオブジェクトＯ_１の過去の特定の時間帯Ｔ_０〜Ｔ_１における付帯素子情報表示データを視認することにより、上記オブジェクトＯ_１の過去の特定時間帯Ｔ_０〜Ｔ_１における付帯素子５ａ_１から得られた付帯素子情報の変化状況を容易に把握することができる。

なお、上述した映像情報上のオブジェクト指定による付帯素子情報検索処理の場合でも、過去の特定の時間帯ではなく、過去の特定の時間のみ検索条件として入力してもよいのは当然である。

また、上述した映像情報上のオブジェクト指定による付帯素子情報検索処理の場合においては、現在の映像情報Ｉ_ｘ上においてオブジェクトを指定して場合について説明したが、ステップＳ１〜Ｓ７の処理により得られた検索結果である過去の映像情報（例えば、Ｉ_１あるいはＩ_２）上においてオブジェクトを指定し、指定オブジェクトの過去の映像情報よりさらに遡った過去の時間帯（時間）および／または指定オブジェクトの過去の映像情報よりも未来（現在、あるいは現在よりも過去）の付帯素子情報を検索することも、上記ステップＳ１０〜Ｓ１５の処理により可能である。

この場合、例えば、過去の映像情報上において、複数のオブジェクトを指定し、指定した各オブジェクト毎に時間情報をそれぞれ指定することにより、それぞれの指定オブジェクトにおける指定時間情報に対応する映像情報（表示されている過去の映像情報よりも過去および／または未来）の映像情報および／または付帯素子情報を検索することも、上記ステップＳ１０〜Ｓ１５の処理により可能である。

また、過去の映像情報上において、その過去の映像情報からさらに過去を表示する過去モードか、過去の映像情報から未来を表示する未来モードかを利用者側において入力指定し、情報提供者側装置１０が指定された未来モードおよび／または過去モードに応じて、現在表示されている過去の映像情報の時間を基点として、未来および／または過去の映像情報および／または付帯素子情報を検索して利用者装置２０へ提供することもできる。

さらに、利用者が利用者装置２０のディスプレイに表示された現在の映像情報Ｉ_ｘを見ながら、現在の少なくとも１つの特定のオブジェクト（例えば、オブジェクトＯ_２）に対して何らかのアクションを起こさせたいと考えた場合、利用者は、利用者装置２０の操作入力部を操作してマーカＭを動作指示対象のオブジェクトＯ_２に対応するクリック可能領域（付帯素子５ａ_２の周囲のクリック可能領域、あるいはオブジェクト識別情報Ａ_２の周囲のクリック可能領域）上に移動させ、操作入力部を操作してオブジェクトＯ_２を指定（クリック）する。そして、利用者は、操作入力部を操作し、付帯素子が実行可能な動作（例えば、付帯素子に搭載されたハードウェア要素であるバイブレータを振動させる動作とする）を指示する情報を入力する。

このとき、利用者装置２０は、そのオブジェクト指定手段２５により、操作入力部を介して指定されたクリック可能領域に対応するオブジェクトＯ_２に対応する付帯素子５ａ_２の識別情報ＩＤ_２を求め、動作要求手段２６により、求めたオブジェクトＯ_２の識別情報ＩＤ_２および入力された動作指示情報（バイブレータを動作させる指示情報）を含む動作要求（要求データ）を作成し、作成した動作要求をネットワークＮを介して情報提供者側装置１０に対して送信する（図７；ステップＳ２０）。

情報提供者側装置１０は、その動作指示通知手段１１３により、利用者装置２０から送信されてきた動作要求を受信し（ステップＳ２１）、受信した動作要求（識別情報ＩＤ_２および動作指示情報）を対象領域Ｒ内の各オブジェクトＯ_０〜Ｏ_２に付帯された各付帯素子５ａ_０〜５ａ_２に対して送信する（ステップＳ２２）。

このとき、各付帯素子５ａ_０〜５ａ_２は、送信されてきた動作要求を受信し（ステップＳ２３）、受信した動作要求に含まれる識別情報（識別情報ＩＤ_２）が自付帯素子の識別情報と一致するか否か判断する（ステップＳ２４）。

このステップＳ２４の判断の結果、ＮＯ（不一致）の場合（本実施の形態の場合、付帯素子５ａ_０および５ａ_１は不一致）、付帯素子５ａ_０および５ａ_１は、受信した動作要求を無視する（ステップＳ２５）。

一方、ステップＳ２４の判断の結果、ＹＥＳ（一致）の場合（本実施の形態の場合、付帯素子５ａ_２のみが一致）、付帯素子５ａ_２は、受信した動作要求に対応する動作、すなわち、その付帯素子５ａ_２に搭載されたバイブレータを動作させる（ステップＳ２６）。

このとき、付帯素子５ａ_２が付帯されたオブジェクトＯ_２は、そのバイブレータの動作により利用者からのアクション要求を検知し、例えば利用者との間で図示しない音声通話器により音声通話を行う等の予め設定された何らかのアクションを行う。

この結果、利用者は、利用者装置２０のディスプレイに表示された現在の映像情報Ｉ_ｘを見ながら、アクションを起こさせたいオブジェクトを指定する操作のみを行うことにより、対象領域Ｒ内のオブジェクトに対して遠隔からアクションの要求を行うことができる。

なお、上記付帯素子の動作は、搭載されたハードウェア要素によって異なる。例えば、ハードウェア要素としてアクチュエータが搭載され、そのアクチュエータに対する動作指示であれば、そのアクチュエータを動作させ、また、ハードウェア要素として発光素子が搭載され、その発光素子に対する動作指示であれば、発光素子を発光動作（点滅等でもよい）させる。さらに、ハードウェア要素としてベルが搭載されていれば、そのベルを鳴動させる。

また、付帯素子に、例えばアクチュエータとして電話送受信器が搭載されている場合には、そのアクチュエータにより予め設定されている電話番号の内の何れか一方に対して自動的、あるいは対応するオブジェクトが人の場合、その人の操作により電話をかけるようにしてもよい。上記電話送受信機がメール送受信機能を搭載している場合には、メールの送信でもよい。

ところで、厳密に言えば、現在時刻（現在時間情報）Ｔ_ｘにおいて情報提供者側装置１０の映像情報取得手段１１１により取得された映像情報Ｉ_ｘを利用者が利用者装置２０のディスプレイを介して見ている時、上記映像情報Ｉ_ｘが利用者装置２０に対して配信されディスプレイに表示されるまでの間に若干のタイムラグが存在する。

今、仮にこのタイムラグをΔＴとすると、利用者が利用者装置２０のディスプレイを介して時刻Ｔ_ｘにおいて取得された映像情報Ｉ_ｘを見ている時、対象領域Ｒ内のオブジェクトＯ_０〜Ｏ_２は、上記時刻Ｔ_ｘを基準としてΔＴ進んだ時刻Ｔ_ｘ１（＝Ｔ_ｘ＋ΔＴ）となっている。

言い換えれば、利用者の映像情報Ｉ_ｘ上におけるオブジェクトの指定は、上記時刻Ｔ_ｘ１を基準とした場合、ΔＴだけ過去の時間情報における映像情報に基づいて行われているため、指定したオブジェクトが上記時刻Ｔ_ｘ１において対象領域Ｒに存在するとは限らない。

このような場合、情報提供者側装置１０は、上記ステップＳ２１〜Ｓ２２の処理と並行して、動作指示通知手段１１３により、動作要求として指定されたオブジェクトに対応する付帯素子（例えば、本実施の形態の場合、オブジェクトＯ_２の付帯素子５ａ_２）が動作要求を受信したか否かを、例えば映像情報取得手段１１１により取得された映像情報に基づいて監視し（ステップＳ２７）、この監視の結果、例えば上記時刻Ｔ_ｘ１においてオブジェクトＯ_２が対象領域Ｒに存在せず、付帯素子５ａ_２が動作要求を受信できないと判断した場合（ステップＳ２７→ＹＥＳ）、情報提供者側装置１０は、動作指示通知手段１１３により、動作要求が受信不可の付帯素子５ａ_２の識別情報および受信不可の内容を含む受信不可情報を利用者装置２０に返送する（ステップＳ２８）。

利用者装置２０は、返送されてきた受信不可情報を表示手段２４により受信し、ディスプレイに例えば上記付帯素子５ａ_２の識別情報および受信不可の内容をテキスト情報として表示する（ステップＳ２９）。この結果、利用者は、ディスプレイに表示された受信不可のテキスト情報を視認することにより、利用者の映像情報Ｉ_ｘ上におけるオブジェクトの指定時（時刻Ｔ_ｘ１）において対象領域Ｒに存在しないオブジェクトを容易に把握することができる。

なお、上述した映像情報上のオブジェクト指定による動作要求処理の場合においては、現在の映像情報Ｉ_ｘ上においてオブジェクトを指定して場合について説明したが、ステップＳ１〜Ｓ７の処理により得られた検索結果である過去の映像情報（例えば、Ｉ_１あるいはＩ_２）上においてオブジェクトを指定し、現在（あるいは未来）の指定オブジェクトをアクションさせるための動作要求を送信することも、上記ステップＳ２０〜Ｓ２９の処理により可能である。ただ、この変形例の場合、ΔＴは、過去の映像情報（例えば、Ｉ_１あるいはＩ_２）に対応する時刻から時刻Ｔ_ｘ１までの時間差である。

この結果、現在（あるいは未来）の指定オブジェクトに付帯された付帯素子は、受信した動作要求に対応する動作、すなわち、その付帯素子に搭載されたハードウェアに対応する動作（例えば、バイブレータ動作、ベルの鳴動等）を行い、その付帯素子が付帯されたオブジェクトに対して、何らかのアクションを促すことも可能である。

このとき、対応する付帯素子が付帯されたオブジェクトは、そのバイブレータの動作により利用者からのアクション要求を検知し、例えば利用者との間で図示しない音声通話器により音声通話を行う等の予め設定された何らかのアクションを行う。

この結果、利用者は、利用者装置２０のディスプレイに表示された過去の映像情報を見ながら、アクションを起こさせたいオブジェクトを指定する操作のみを行うことにより、対象領域Ｒ内のオブジェクトに対して遠隔からアクションの要求を行うことができる。

また、上述したステップＳ２０〜Ｓ２９の処理においては、利用者装置２０により指定された現在の少なくとも１つの特定のオブジェクトに対して何らかのアクションを起こさせたい場合におけるオブジェクト指定による動作要求処理について説明したが、指定されたオブジェクトが付帯している付帯素子からのオブジェクト指定時（時刻Ｔ_ｘ１）における付帯素子情報の状況を把握することも可能である。

すなわち、利用者は、利用者装置２０のディスプレイに表示された現在の映像情報Ｉ_ｘを見ながら、現在の少なくとも１つの特定のオブジェクト（例えば、オブジェクトＯ_２）の最新の付帯素子情報を検索したいと思った場合、操作入力部を操作してオブジェクトＯ_２を指定（クリック）し、最新の付帯素子情報の取得要求を入力する。

利用者装置２０は、オブジェクト指定手段２５により、操作入力部を介して指定されたクリック可能領域に対応するオブジェクトＯ_２に対応する付帯素子５ａ_２の識別情報ＩＤ_２を求め、第２の付帯素子情報取得要求手段２８により、求めた識別情報ＩＤ_２を含む最新の付帯素子情報取得要求をネットワークＮを介して情報提供者側装置１０に対して送信する（図８；ステップＳ３０）。

情報提供者側装置１０は、その付帯素子情報取得手段１１２により、利用者装置２０から送信されてきた最新付帯素子情報取得要求を受信し（ステップＳ３１）、受信した最新付帯素子情報取得要求に基づいて、その時点における識別情報ＩＤ_２に対応する付帯素子５ａ_２に対して無線通信可能であるか否か判断し（ステップＳ３２）、この判断の結果ＹＥＳ（無線通信可能）の場合、その付帯素子５ａ_２により得られた付帯素子情報を取得する（ステップＳ３３）。

そして、情報提供者側装置１０は、付帯素子情報配信手段１６により、得られた最新の付帯素子情報をネットワークＮを介して利用者装置２０に配信する（ステップＳ３４）。

利用者装置２０は、その付帯素子情報受信手段により、配信されてきた最新の付帯素子情報を受信して例えば外部記憶装置に格納し(ステップＳ３５）、表示手段２４によりディスプレイに表示する（ステップＳ３６）。

この結果、利用者は、ディスプレイに表示された、最新の付帯素子情報を視認することにより、指定オブジェクトＯ_２の最新の付帯素子情報を容易に把握することができる。

なお、上述した最新付帯素子情報取得処理の場合においても、利用者の映像情報Ｉ_ｘ上におけるオブジェクトの指定は、最新のオブジェクトの時刻Ｔ_ｘ１を基準とした場合、ΔＴだけ過去の時間情報における映像情報に基づいて行われているため、指定したオブジェクトが上記時刻Ｔ_ｘ１において対象領域Ｒに存在するとは限らない。

指定したオブジェクトが上記時刻Ｔ_ｘ１において対象領域Ｒに存在しない場合、情報提供者側装置１０のステップＳ３２の処理はＮＯ（無線通信不可）となり、情報提供者側装置１０は、付帯素子情報取得手段１１２により、付帯素子情報を取得できない付帯素子５ａ_２の識別情報および取得不可の内容を含む取得不可情報を利用者装置２０に返送する（ステップＳ３７）。

利用者装置２０は、返送されてきた取得不可情報を表示手段２４により受信し、ディスプレイに例えば上記付帯素子５ａ_２の識別情報および取得不可の内容をテキスト情報として表示する（ステップＳ３８）。この結果、利用者は、ディスプレイに表示された取得不可のテキスト情報を視認することにより、利用者の映像情報Ｉ_ｘ上におけるオブジェクトの指定時（時刻Ｔ_ｘ１）において対象領域Ｒに存在しないオブジェクトを容易に把握することができる。

なお、上述した実施の形態においては、利用者は、現在の映像情報Ｉ_ｘを見ながら、検索条件として過去の特定の時間、あるいは過去の特定の時間帯等の時間情報を入力する場合について説明したが、本発明はこの構成に限定されるものではなく、現在の映像情報Ｉ_ｘを見ることなく、単に時間情報を入力してもよい。

また、各付帯素子情報（識別情報、位置情報、センサ情報）の何れかを検索条件として用いたり、各付帯素子情報（識別情報、位置情報、センサ情報）内の少なくとも１つ以上を組み合わせて検索条件としてもよい。また、各付帯素子情報（識別情報、位置情報、センサ情報）の内の少なくとも１つ以上を時間情報と組み合わせて検索条件にしてもよい。

以上をまとめると、付帯素子情報を用いた検索条件の例としては以下のようなものがある。

（１）少なくとも１つの付帯素子の識別情報を入力
（２）少なくとも１つの付帯素子の位置情報の範囲（１点でも可）を入力
（３）少なくとも１つの付帯素子のセンサ情報の範囲を入力
（４）上記（１）〜（３）の２以上の組み合わせ
（５）上記（１）〜（４）と時間情報の組み合わせ
すなわち、利用者は、上記（１）〜（５）の何れかに対応する付帯素子情報を入力し、利用者装置２０は、その検索条件生成手段により、入力された付帯素子情報を含む検索要求を表す検索条件(条件データ）を作成し、作成した検索条件をネットワークＮを介して情報提供者側装置１０に対して送信する（図９；ステップＳ４０）。

情報提供者側装置１０は、その検索手段１５により、利用者装置２０から送信されてきた検索条件を受信し（ステップＳ４１）、受信した検索条件｛（１）〜（５）の内の何れかの付帯素子情報および／または時間情報｝に基づいて付帯素子情報ファイルＦ２を参照して、その検索条件を満足する時間帯を抽出する（ステップＳ４２）。

例えば、（１）の場合では、付帯素子情報ファイルＦ２において、入力された識別情報に対応付けられた時間帯が抽出され、（２）の場合では、付帯素子情報ファイルＦ２において、入力された位置情報範囲に含まれる位置情報に対応付けられた時間帯が抽出される。また、（３）の場合では、付帯素子情報ファイルＦ２において、入力されたセンサ情報範囲に含まれるセンサ情報に対応付けられた時間帯が抽出され、（４）の場合では、付帯素子情報ファイルＦ２において、（１）〜（３）の時間帯において重なっている時間帯が抽出される。そして、（５）の場合では、（４）において抽出された時間帯と入力された時間帯とにおいて重なる時間帯が抽出される。

そして、情報提供者側装置１０は、大容量記憶装置に蓄積された映像情報ファイルＦ１および付帯素子情報ファイルＦ２をそれぞれ検索し、抽出した時間帯に対応付けられた映像情報および付帯素子情報を映像情報ファイルＦ１および付帯素子情報ファイルＦ２からそれぞれ読み出す（ステップＳ４３）。なお、付帯素子情報ファイルＦ２に対しては、入力された付帯素子情報から直接検索してもよい。

そして、情報提供者側装置１０は、映像情報配信手段１７および付帯素子情報配信手段１６により、読み出した検索条件に対応する映像情報および付帯素子情報を検索結果としてネットワークＮを介して利用者装置２０に配信する（ステップＳ４４）。

利用者装置２０側においては、ステップＳ５〜Ｓ７と同様の処理が実行される。

以上述べたように、付帯素子情報を含んだ検索条件の場合においても、時間情報による検索条件の場合と同様に、情報提供者側装置１０の検索手段１５により検索条件を満足する時間帯の映像情報および／または付帯素子情報を映像情報ファイルＦ１および付帯素子情報ファイルＦ２から取得することができ、取得した映像情報および／または付帯素子情報を利用者装置２０に配信することができる。

例えば、（１）の具体例として、利用者は、例えば操作入力部を操作して少なくとも１つの付帯素子の識別情報を入力することにより、上記情報提供者側装置１０におけるステップＳ４２〜ステップＳ４３の処理により、検索結果として、映像情報ファイルＦ１および付帯素子情報ファイルＦ２から、入力した少なくとも１つの付帯素子の識別情報に対応付けられた全ての映像情報および／または他の付帯素子情報を取得することができる。

このとき、（５）の具体例として、表示映像より過去あるいは未来の時間（時間帯）を合わせて検索条件として入力しておけば、上記少なくとも１つの付帯素子の識別情報に対応付けられた全ての映像情報および他の付帯素子情報の中から、上記入力された付帯素子の識別情報に対応する時間帯および入力された過去あるいは未来の時間（時間帯）との間で重なる時間（時間帯）に対応付けられた映像情報および他の付帯素子情報を抽出することもできる。

また、（２）の具体例として、利用者は、例えば図４に示すディスプレイに表示された現在の現在の映像情報Ｉ_ｘ（過去の映像情報でもよい）上における所定の位置（１点、あるいは矩形等の所定形状の領域）を指定することにより、検索結果として、上記情報提供者側装置１０におけるステップＳ４２〜ステップＳ４３の処理により、その指定位置の位置情報に対応付けられた全ての映像情報および他の付帯素子情報を取得することができる。

このとき、（５）の具体例として、表示映像より過去あるいは未来の時間（時間帯）を合わせて検索条件として入力しておけば、上記少なくとも１つの付帯素子の指定位置の位置情報に対応付けられた全ての映像情報および他の付帯素子情報の中から、上記入力された付帯素子の位置情報に対応する時間帯および入力された過去あるいは未来の時間（時間帯）との間で重なる時間（時間帯）に対応付けられた映像情報および／または他の付帯素子情報を抽出することもできる。

さらに、（３）の具体例として、利用者は、例えば操作入力部を操作して少なくとも１つの付帯素子で検出されたセンサ情報の検出範囲を入力することにより、検索結果として、上記情報提供者側装置１０におけるステップＳ４２〜ステップＳ４３の処理により、映像情報ファイルＦ１および付帯素子情報ファイルＦ２から、入力した少なくとも１つの付帯素子の検出範囲に該当するセンサ情報に対応付けられた全ての映像情報および／または他の付帯素子情報を取得することができる。

このとき、（５）の具体例として、表示映像より過去あるいは未来の時間（時間帯）を合わせて検索条件として入力しておけば、上記少なくとも１つの付帯素子の検出範囲に該当するセンサ情報に対応付けられた全ての映像情報および他の付帯素子情報の中から、上記入力された付帯素子の検出範囲に該当するセンサ情報に対応する時間帯および入力された過去あるいは未来の時間（時間帯）との間で重なる時間（時間帯）に対応付けられた映像情報および／または他の付帯素子情報を抽出することもできる。

そして、例えば、（４）の具体例として、利用者は、例えば図４に示すディスプレイに表示された現在の現在の映像情報Ｉ_ｘ（過去の映像情報でもよい）上における所定の位置（例えば、所定の位置から所定位置までの位置範囲）を指定し、かつ例えば操作入力部を操作して少なくとも１つの付帯素子の識別情報を入力することにより、検索条件として、「上記位置範囲内において入力した少なくとも１つの付帯素子の識別情報が存在した映像情報および／または他の付帯素子情報の検索要求」を入力することができる。

このとき、検索結果として、上記情報提供者側装置１０におけるステップＳ４２〜ステップＳ４３の処理により、その指定位置範囲の位置情報に対応付けられ、かつ入力された指定識別情報を有する全ての映像情報および他の付帯素子情報を取得することができる。

また、例えば、（４）の具体例として、利用者は、例えば図４に示すディスプレイに表示された現在の現在の映像情報Ｉ_ｘ（過去の映像情報でもよい）上における所定の位置（例えば、所定の位置から所定位置までの位置範囲）を指定し、例えば操作入力部を操作して少なくとも１つの付帯素子の識別情報を入力し、かつその少なくとも１つの付帯素子で検出されたセンサ情報の検出範囲を入力することにより、検索条件として、「上記位置範囲内において入力された識別情報に対応する少なくとも１つの付帯素子が上記検出範囲内のセンサ情報を検出しているときの映像情報および／または他の付帯素子情報の検索要求」を入力することができる。

このとき、検索結果として、上記情報提供者側装置１０におけるステップＳ４２〜ステップＳ４３の処理により、その指定位置範囲の位置情報に対応付けられ、入力された指定識別情報を有し、かつ入力された検出範囲内のセンサ情報を検出している時に該当する全ての映像情報および／または他の付帯素子情報を取得することができる。

但し、付帯素子情報を含んだ検索条件の場合には、ステップＳ４２の処理において検索条件に該当する時間帯が複数抽出される場合があり、ステップＳ４３の処理においては、検索条件に該当する各時間帯毎に上述した映像情報および付帯素子情報を検索する処理が行われる。

このように、本実施の形態の情報検索システム１では、付帯素子情報を用いた上記（１）〜（５）のより詳細な検索条件に対応する映像情報および／または付帯素子情報を検索することができ、情報検索効率を向上させることができる。

そして、本実施形態において、オブジェクトを指定する場合、少なくとも１つのオブジェクトを検索対象として指定する場合について説明したが、本発明はこの構成に限定されるものではなく、複数のオブジェクトを検索対象として指定し、それぞれの検索条件を入力することもできる。

この場合、情報提供者側装置１０においては、複数のオブジェクトそれぞれにおいて入力された複数の検索条件を全て満たす映像情報および／または付帯素子情報と、入力された複数の検索条件の何れか一方を満たす映像情報および／または付帯素子情報との内の少なくとも方を検索することができる。

以下、本発明の実施の形態に係る情報検索システム１のシステム構成例をより具体的に示した実施例について、図１０および図１１を参照して説明する。

図１０に示す実施例は、情報検索システム１における上述の検索条件により検索された過去の時間帯の特定な時間の付帯素子情報を検索する場合（図６、図９参照）の動作を説明するための図である。対象領域Ｒ内のオブジェクト（人）Ｏ_０には、付帯素子５ａ_０として、識別情報であるＩＤ、発光動作機能および無線通信機能をそれぞれ有する通信端末であるスティックオンコミュニケータ｛ＳｔｉＣ（Stick On Communicator）｝５ｂ_０１（ＩＤ、発光素子）、および識別情報（ＩＤ）、センサ情報取得機能および無線通信機能をそれぞれ有するＳｔｉＣ５ｂ_０２（ＩＤ、センサ情報）がそれぞれ付帯され、また、対象領域Ｒ内のオブジェクト（物：植木）Ｏ_１には、付帯素子５ａ_１に対応する付帯素子（ＳｔｉＣ）として、識別情報（ＩＤ）、センサ情報取得機能および無線通信機能をそれぞれ有するＳｔｉＣ５ｂ_１（ＩＤ、センサ情報）が付帯されている。

図１０に示すように、情報提供側装置１０は、対象領域Ｒから、時間Ｔ＝Ｔ_ｘにおいて映像情報Ｉ_ｘと付帯素子情報を取得し、それぞれを映像情報ファイルＦ１および付帯素子情報ファイルＦ２にそれぞれ蓄積し（図１０；Ｋ１、Ｋ２参照）、さらに映像情報Ｉ_ｘおよび付帯素子情報を時間同期をとって、ディスプレイＤＳ（なお、便宜上、ディスプレイＤＳを利用者装置２０と別個に示している）に表示する（図１０：Ｋ３およびＫ４参照）。

利用者Ｕは、付帯素子情報を取得したいオブジェクト（例えば、オブジェクトＯ_０）を指定し（図１０；Ｋ５参照）、時間情報、付帯素子情報（識別情報、センサ情報、位置情報）のいずれか、あるいはこれらの内の２以上の組み合わせによる検索条件を生成し、情報提供者側装置１０に送信する（図１０；Ｋ６および図９；ステップＳ４０参照）。

情報提供者側装置１０の検索手段１５は、受信した検索条件に基づき、映像情報ファイルＦ１と付帯素子情報ファイルＦ２とをそれぞれ検索し、その検索結果を利用者装置２０に配信する（図１０；Ｋ７〜Ｋ１０および図９；ステップＳ４２〜Ｓ４４参照）。

利用者装置２０は、配信されてきた検索結果をディスプレイＤＳに表示する（図１０；Ｋ１１および図９；ステップＳ５およびＳ７参照）。

この結果、利用者Ｕは、自ら指定したオブジェクトＯ_０および検索条件に対応する付帯素子情報を視認することができる。

また、図１１に示す実施例は、情報検索システム１における最新の付帯素子情報を取得する動作（図８参照）を説明するための図である。対象領域Ｒ内のオブジェクト（人）Ｏ_０には、図１０の構成に加えて、付帯素子５ａ_０として、識別情報（ＩＤ）、アクチュエータ駆動機能および無線通信機能をそれぞれ有するＳｔｉＣ５ｂ_０３（アクチュエータ）がさらに付帯されている。

図１１においては、図１０におけるＫ１〜Ｋ６までは、その図１０に示す動作と同様であり、上記映像情報Ｉ_ｘの取得時Ｔ_ｘからΔＴ経過した時刻Ｔ_ｘ１においてオブジェクトＯ_０が指定されており、この時刻Ｔ_ｘ１では、オブジェクトＯ_０は、映像情報Ｉ_ｘの取得時Ｔ_ｘから、オブジェクトＯ_０Ａとして表される位置まで移動している。

このとき、情報提供者側装置１０の付帯素子情報取得手段１１２は、受信した検索条件に基づき、最新（時刻Ｔ_ｘ１）のオブジェクトＯ_０Ａに付帯されたＳｔｉＣ５ｂ_０１〜ＳｔｉＣ５ｂ_０３から得られた付帯素子情報を取得し（図１０；Ｋ２１、Ｋ２２および図８；ステップＳ３３）、取得した最新付帯素子情報を利用者装置２０に配信する（図１０；Ｋ２３および図８；ステップＳ３４参照）。

利用者装置２０は、配信されてきた最新付帯素子情報をディスプレイＤＳに表示する（図１０；Ｋ２４および図８；ステップＳ３５およびＳ３６参照）。

この結果、利用者Ｕは、自ら指定したオブジェクトＯ_０に付帯されたＳｔｉＣ５ｂ_０１〜ＳｔｉＣ５ｂ_０３により得られた最新（時刻Ｔ_ｘ１）の付帯素子情報を視認することができる。

なお、図１１において、最新（時刻Ｔ_ｘ１）のオブジェクトＯ_０Ａに何らかのアクションを起こさせるには、動作指示通知手段１１３により、そのオブジェクトＯ_０Ａに付帯されたＳｔｉＣ５ｂ_０３のＩＤを含む動作指示要求を対象領域Ｒ内の各オブジェクトに送信し（図１１；Ｋ２５および図７；Ｓ２２）、対応するＳｔｉＣ５ｂ_０３に所定の動作をさせてオブジェクトＯ_０Ａに何らかのアクション要求を行えばよい。

また、本実施の形態では、情報提供者側装置１０をハードウェア機器およびプログラムで動作するコンピュータシステムとして構成したが、本発明はこの構成に限定されるものではなく、ハードウェア機器およびこのハードウェア機器の動作制御を行う専用のハードウェア装置として構成することも可能である。

なお、本発明は、上述した実施の形態、実施例および変形例に限定されるものではなく、本発明に属する範囲内において、上記実施の形態、実施例および変形例を様々に変形して実施することが可能である。

本発明の実施の形態に係る情報検索システムの概略構成を示す図である。 図１に示す情報提供者側装置に蓄積された映像情報ファイルのデータ構造の一例を示す図である。 図１に示す情報提供者側装置に蓄積された付帯素子情報ファイルのデータ構造の一例を示す図である。 図１に示す利用者装置の表示手段によりディスプレイに表示された映像情報を示す図である。 図１に示す情報検索システムの全体動作を説明するための概略フローチャート。 図１に示す情報検索システムの全体動作を説明するための概略フローチャート。 図１に示す情報検索システムの全体動作を説明するための概略フローチャート。 図１に示す情報検索システムの全体動作を説明するための概略フローチャート。 図１に示す情報検索システムの全体動作を説明するための概略フローチャート。 本発明の実施の形態に係る情報検索システムのシステム構成例をより具体的に示した実施例の構成および動作を説明するための図である。 本発明の実施の形態に係る情報検索システムのシステム構成例をより具体的に示した実施例の構成および動作を説明するための図である。

符号の説明

１…情報検索システム
５ａ０〜５ａｎ…付帯素子
１０…情報提供者側装置
１１…対象領域対応手段
１２…時間情報取得手段
１３…映像情報蓄積手段
１４…付帯素子情報蓄積手段
１５…検索手段
１６…付帯素子情報配信手段
１７…映像情報配信手段
２０…利用者側装置
２０…利用者装置
２１…検索条件生成手段
２２…映像情報受信手段
２３…付帯素子情報受信手段
２４…表示手段
２５…オブジェクト指定手段
２６…動作要求手段
２７…第１の付帯素子情報取得要求手段
２８…第２の付帯素子情報取得要求手段
１１１…映像情報取得手段
１１２…付帯素子情報取得手段
１１３…動作指示通知手段

Claims (19)

1. 対象となる領域に存在するオブジェクトに付帯され、一意の識別情報を含む該オブジェクトに関連する情報を付帯素子情報として発することができる機能および無線通信機能をそれぞれ有する付帯素子、および利用者装置に対してそれぞれ通信可能な情報検索装置であって、
   前記対象領域を時系列的に撮像して該対象領域の複数の映像情報を取得する映像情報取得手段と、
   取得された複数の映像情報を、該複数の映像情報それぞれの撮像時刻に係る時間情報に対応付けて蓄積する映像情報蓄積手段と、
   前記付帯素子から発せられた付帯素子情報を時系列的に取得する付帯素子情報取得手段と、
   取得された複数の付帯素子情報を、該複数の付帯素子情報それぞれの取得時刻に係る時間情報に対応付けて蓄積する付帯素子情報蓄積手段と、
   前記利用者装置から送信されてきた検索対象となる時間を表す時間情報および該検索対象となる付帯素子情報の内の少なくとも一方を有する検索条件を受信し、受信した検索条件に応じて前記映像情報蓄積手段および付帯素子情報蓄積手段の内の少なくとも一方を検索し、該検索条件に適合する映像情報および付帯素子情報の内の少なくとも一方を、対応する映像情報蓄積手段および付帯素子情報蓄積手段の内の少なくとも一方から読み出す検索手段と、
   読み出された映像情報および付帯素子情報の内の少なくとも一方を検索結果として前記利用者装置に対して配信する配信手段と、
   を備えたことを特徴とする情報検索装置。
2. 前記オブジェクトは複数であり、該複数のオブジェクトそれぞれに前記付帯素子が付帯されており、
   前記付帯素子情報は、前記付帯素子の位置を表す位置情報を含んでいる一方、
   前記検索手段は、受信した検索条件に応じて前記映像情報蓄積手段および付帯素子情報蓄積手段をそれぞれ検索し、該検索条件に適合する映像情報および付帯素子情報を、対応する映像情報蓄積手段および付帯素子情報蓄積手段からそれぞれ読み出す手段を備え、
   前記配信手段は、
   前記検索手段により読み出された映像情報および付帯素子情報を前記検索結果として配信する検索結果配信手段と、
   前記対象領域を時系列的に撮像して該対象領域の複数の映像情報を前記利用者装置へ順次配信する映像情報配信手段と、
   前記対象領域に存在している複数のオブジェクトそれぞれに付帯された複数の付帯素子から発せられた前記付帯素子情報を前記利用者装置へ順次配信する付帯素子情報配信手段とを備えており、
   前記検索条件は、前記検索結果配信手段と前記映像情報配信手段および前記映像情報配信手段との内の少なくとも一方から前記利用者装置へ配信された映像情報および付帯素子情報がそれぞれの時間情報により互いに時間同期がとられ、かつ前記複数のオブジェクトをそれぞれ指定するための複数のオブジェクト指定可能領域が前記時間同期が取られた映像情報における前記複数の付帯素子情報の複数の位置情報それぞれに対応付けられて設定された状態で前記利用者装置により表示されている際に、該利用者装置から送信されることを特徴とする請求項１記載の情報検索装置。
3. 前記利用者装置により前記複数のオブジェクト指定可能領域の内の少なくとも１つの領域が指定され、指定された少なくとも１つのオブジェクト指定可能領域に対応する少なくとも１つの付帯素子の識別情報および前記所定の時間情報が前記検索条件として送信されてきたとき、
   前記検索手段は、前記検索条件として送信されてきた前記少なくとも１つの付帯素子の識別情報および前記所定の時間情報を受信し、受信した少なくとも１つの付帯素子の識別情報および所定の時間情報に応じて前記付帯素子情報蓄積手段を検索し、該少なくとも１つの付帯素子の識別情報および前記所定の時間情報それぞれに対応付けられた付帯素子情報を前記付帯素子情報蓄積手段から読み出す手段とを備えたことを特徴とする請求項２記載の情報検索装置。
4. 前記各付帯素子は、外部からの動作要求に応じて所定の動作を行う機能を有しており、
   前記利用者装置により前記複数のオブジェクト指定可能領域の内の少なくとも１つの領域が指定され、指定された少なくとも１つのオブジェクト指定可能領域に対応する少なくとも１つの付帯素子の識別情報を含む動作要求が前記利用者装置から送信されてきたとき、該利用者装置から送信されてきた少なくとも１つの付帯素子の識別情報を含む動作要求を受信し、受信した少なくとも１つの付帯素子の識別情報を含む動作要求を前記対象領域内に存在する複数の付帯素子に対して送信する動作要求送信手段と、
   をさらに備えたことを特徴とする請求項２記載の情報検索装置。
5. 前記少なくとも１つの付帯素子が前記動作要求を受信したか否かを監視し、この監視の結果、該少なくとも１つの付帯素子が前記動作要求を受信することができないと判断した場合、その受信不可の少なくとも１つの付帯素子の識別情報および該受信不可の内容を表す受信不可情報を前記利用者装置へ送信する受信不可情報送信手段をさらに備えたことを特徴とする請求項４記載の情報検索装置。
6. 前記利用者装置により前記複数のオブジェクト指定可能領域の内の少なくとも１つの領域が指定され、指定された少なくとも１つのオブジェクト指定可能領域に対応する少なくとも１つの付帯素子の識別情報を含む最新の付帯素子情報の取得要求が送信されてきたとき、該利用者装置から送信されてきた少なくとも１つの付帯素子の識別情報を含む最新付帯素子情報取得要求を受信し、受信した最新付帯素子情報取得要求に対応する少なくとも１つの付帯素子に対して無線通信が可能か否か判断する判断手段と、
   この判断手段により、無線通信可能であると判断された場合、前記最新付帯素子情報取得要求に対応する少なくとも１つの付帯素子から前記最新付帯素子情報取得要求受信タイミングに応じて前記付帯素子情報取得手段により取得された付帯素子情報を前記利用者装置へ配信する最新付帯素子情報配信手段と、
   をさらに備えたことを特徴とする請求項２記載の情報検索装置。
7. 前記判断手段により、無線通信不可であると判断された場合、前記最新付帯素子情報取得要求に対応する少なくとも１つの付帯素子の識別情報および最新付帯素子情報取得不可の内容を表す取得不可情報を前記利用者装置へ送信する取得不可情報送信手段をさらに備えたことを特徴とする請求項６記載の情報検索装置。
8. 前記付帯素子は、該付帯素子の周囲の環境に関連する情報をセンサ情報として検出する機能を有しており、
   前記付帯素子情報は、前記付帯素子により検出されたセンサ情報を含んでいることを特徴とする請求項１乃至７の内の何れか１項記載の情報検索装置。
9. 前記付帯素子は、自付帯素子の位置情報を発する機能を有し、
   前記付帯素子情報取得手段は、前記付帯素子から発せられた位置情報を検出する位置情報検出手段を備えたことを特徴とする請求項１乃至８の内の何れか１項記載の情報検索装置。
10. 前記付帯素子は、発光素子を有し、前記位置情報を発する機能として外部からの発光指示に応じて前記発光素子を発光させる機能を備えており、
    前記位置情報検出手段は、前記付帯素子に対して前記発光指示を与えて前記付帯素子の発光機能により該発光素子を発光させる手段と、
    前記発光素子が発光した状態において、前記映像情報取得手段により取得された映像情報を画像処理して該映像情報中の発光位置を前記付帯素子の位置情報として検出する手段と、
    を備えたことを特徴とする請求項９記載の情報検索装置。
11. 前記利用者装置から、前記検索対象となる時間情報として時間範囲を表す時間帯情報および該検索対象となる付帯素子情報が前記検索条件として送信されてきた際、前記検索手段は、送信されてきた前記時間帯情報および付帯素子情報をそれぞれ受信し、前記付帯素子情報蓄積手段を検索して、前記検索対象となる付帯素子情報に対応付けられた時間情報を抽出し、抽出した時間情報と前記検索条件の時間帯情報との間で重なり合う時間帯を抽出し、抽出した時間帯情報に応じて前記映像情報蓄積手段および付帯素子情報蓄積手段の内の少なくとも一方を検索し、該時間帯情報に適合する映像情報および付帯素子情報の内の少なくとも一方を、対応する映像情報蓄積手段および付帯素子情報蓄積手段の内の少なくとも一方から読み出す手段を備えたことを特徴とする請求項１記載の情報検索装置。
12. 対象となる領域に存在するオブジェクトに付帯され、一意の識別情報を含む該オブジェクトに関連する情報を付帯素子情報として発することができる機能および無線通信機能をそれぞれ有する付帯素子、および利用者装置に対してそれぞれ通信可能なコンピュータが実行可能な情報検索用プログラムであって、
    前記コンピュータに、
    前記対象領域を時系列的に撮像して得られた該対象領域の複数の映像情報を、該複数の映像情報それぞれの撮像時刻に係る時間情報に対応付けて該コンピュータが通信できる第１の記憶部に蓄積する処理と、
    前記付帯素子から発せられ時系列的に取得された前記複数の付帯素子情報を、該複数の付帯素子情報それぞれの取得時刻に係る時間情報に対応付けて該コンピュータが通信できる第２の記憶部に蓄積する処理と、
    前記利用者装置から送信されてきた検索対象となる時間を表す時間情報および該検索対象となる付帯素子情報の内の少なくとも一方を有する検索条件を受信し、受信した検索条件に応じて前記第１の記憶部および第２の記憶部の内の少なくとも一方を検索し、該検索条件に適合する映像情報および付帯素子情報の内の少なくとも一方を、対応する第１の記憶部および第２の記憶部の内の少なくとも一方から読み出す処理と、
    読み出された映像情報および付帯素子情報の内の少なくとも一方を検索結果として前記利用者装置に対して配信する処理と、
    をそれぞれ実行させることを特徴とする情報検索用プログラム。
13. 対象となる領域に存在するオブジェクトに付帯され、一意の識別情報を含む該オブジェクトに関連する情報を付帯素子情報として発することができる機能および無線通信機能をそれぞれ有する付帯素子に通信可能であり、前記対象領域を時系列的に撮像して得られた該対象領域の複数の映像情報が、該複数の映像情報それぞれの撮像時刻に係る時間情報に対応付けられて蓄積された第１の記憶部と、前記付帯素子から発せられ時系列的に取得された前記複数の付帯素子情報が、該複数の付帯素子情報それぞれの取得時刻に係る時間情報に対応付けられて蓄積された第２の記憶部とを含む情報検索装置に対して通信可能な検索情報利用装置であって、
    検索対象となる時間を表す時間情報および該検索対象となる付帯素子情報の内の少なくとも一方を有する検索条件を前記情報検索装置に対して送信する検索条件送信手段と、
    前記情報検索装置により前記検索条件に適合する映像情報および付帯素子情報の内の少なくとも一方が対応する第１の記憶部および第２の記憶部の内の少なくとも一方から読み出され、読み出された映像情報および付帯素子情報の内の少なくとも一方が検索結果として該情報検索装置から配信されてきた際に、前記検索結果である映像情報および付帯素子情報の内の少なくとも一方を受信する検索結果受信手段と、
    受信された検索結果である映像情報および付帯素子情報の内の少なくとも一方を表示する表示手段と、
    を備えたことを特徴とする検索情報利用装置。
14. 対象となる領域に存在するオブジェクトに付帯され、一意の識別情報を含む該オブジェクトに関連する情報を付帯素子情報として発することができる機能および無線通信機能をそれぞれ有する付帯素子に通信可能であり、前記対象領域を時系列的に撮像して得られた該対象領域の複数の映像情報が、該複数の映像情報それぞれの撮像時刻に係る時間情報に対応付けられて蓄積された第１の記憶部と、前記付帯素子から発せられ時系列的に取得された前記複数の付帯素子情報が、該複数の付帯素子情報それぞれの取得時刻に係る時間情報に対応付けられて蓄積された第２の記憶部とを含む情報検索装置に対して通信可能なコンピュータが実行可能な検索情報利用プログラムであって、
    前記コンピュータに、
    検索対象となる時間を表す時間情報および該検索対象となる付帯素子情報の内の少なくとも一方を有する検索条件を前記情報検索装置に対して送信する処理と、
    前記情報検索装置により前記検索条件に適合する映像情報および付帯素子情報の内の少なくとも一方が対応する第１の記憶部および第２の記憶部の内の少なくとも一方から読み出され、読み出された映像情報および付帯素子情報の内の少なくとも一方が検索結果として該情報検索装置から配信されてきた際に、前記検索結果である映像情報および付帯素子情報の内の少なくとも一方を受信する処理と、
    受信された検索結果である映像情報および付帯素子情報の内の少なくとも一方を表示する処理と、
    をそれぞれ実行させることを特徴とする検索情報利用プログラム。
15. 前記オブジェクトは複数であり、該複数のオブジェクトそれぞれに前記付帯素子が付帯されており、
    前記付帯素子情報は、前記付帯素子の位置を表す位置情報を含んでいる一方、
    前記情報検索装置により、前記検索条件に適合する映像情報および付帯素子情報それぞれが前記第１の記憶部および第２の記憶部から読み出され、読み出された映像情報および付帯素子情報が検索結果として該情報検索装置からそれぞれ配信されてきた際、あるいは前記対象領域を時系列的に撮像して得られた該対象領域の複数の映像情報と前記対象領域に存在している複数のオブジェクトそれぞれに付帯された複数の付帯素子から発せられた前記付帯素子情報とが該情報検索装置からそれぞれ配信されてきた際、
    前記表示処理は、配信されたきた映像情報および付帯素子情報を受信し、受信した映像情報および付帯素子情報をそれぞれの時間情報により互いに時間同期をとり、かつ前記複数のオブジェクトをそれぞれ指定するための複数のオブジェクト指定可能領域を前記時間同期が取られた映像情報における前記複数の付帯素子情報の複数の位置情報それぞれに対応付けて設定し、該複数のオブジェクト指定可能領域がそれぞれ設定された映像情報を表示する処理であることを特徴とする請求項１４記載の検索情報利用プログラム。
16. 前記検索条件送信処理は、前記複数のオブジェクト指定可能領域の内の少なくとも１つの領域を指定し、指定された少なくとも１つのオブジェクト指定可能領域に対応する少なくとも１つの付帯素子の識別情報および前記所定の時間情報を前記検索条件として前記情報検索装置に送信する処理を含み、
    前記検索結果受信処理は、前記情報検索装置により前記少なくとも１つの付帯素子の識別情報および所定の時間情報それぞれに対応付けられた付帯素子情報が対応する第２の記憶部から読み出され、読み出された付帯素子情報が検索結果として該情報検索装置から配信されてきた際に、前記検索結果である付帯素子情報を受信する処理を含むことを特徴とする請求項１５記載の検索情報利用プログラム。
17. 前記各付帯素子は、外部からの動作要求に応じて所定の動作を行う機能を有しており、
    前記複数のオブジェクト指定可能領域の内の少なくとも１つの領域を指定し、指定された少なくとも１つのオブジェクト指定可能領域に対応する少なくとも１つの付帯素子の識別情報を含む動作要求を前記情報検索装置に対して送信する動作要求送信手段と、
    前記情報検索装置から、前記少なくとも１つの付帯素子の識別情報および該少なくとも１つの受信素子が前記動作要求を受信できないことを表す受信不可情報が送信されてきた際に、該受信不可情報を受信して表示する受信不可情報受信表示手段と、
    を備えたことを特徴とする請求項１５記載の検索情報利用プログラム。
18. 前記複数のオブジェクト指定可能領域の内の少なくとも１つの領域を指定し、指定された少なくとも１つのオブジェクト指定可能領域に対応する少なくとも１つの付帯素子の識別情報を含む最新の付帯素子情報の取得要求を前記情報検索装置に対して送信する取得要求送信手段と、
    前記情報検索装置から、前記最新付帯素子情報取得要求に対応する少なくとも１つの付帯素子の識別情報および前記最新付帯素子情報が取得できないことを表す取得不可情報が送信されてきた際に、該取得不可情報を受信して表示する取得不可情報受信表示手段と、
    を備えたことを特徴とする請求項１５記載の検索情報利用プログラム。
19. 対象となる領域に存在するオブジェクトに付帯され、一意の識別情報を含む該オブジェクトに関連する情報を付帯素子情報として発することができる機能および無線通信機能をそれぞれ有する付帯素子に対して通信可能な情報検索装置と、この情報検索装置に対して通信可能な検索情報利用者装置とを備えた情報検索システムであって、
    前記情報検索装置は、
    前記対象領域を時系列的に撮像して該対象領域の複数の映像情報を取得する映像情報取得手段と、
    取得された複数の映像情報を、該複数の映像情報それぞれの撮像時刻に係る時間情報に対応付けて蓄積する映像情報蓄積手段と、
    前記付帯素子から発せられた付帯素子情報を時系列的に取得する付帯素子情報取得手段と、
    取得された複数の付帯素子情報を、該複数の付帯素子情報それぞれの取得時刻に係る時間情報に対応付けて蓄積する付帯素子情報蓄積手段と、
    前記利用者装置から送信されてきた検索対象となる時間を表す時間情報および該検索対象となる付帯素子情報の内の少なくとも一方を有する検索条件を受信し、受信した検索条件に応じて前記映像情報蓄積手段および付帯素子情報蓄積手段の内の少なくとも一方を検索し、該検索条件に適合する映像情報および付帯素子情報の内の少なくとも一方を、対応する映像情報蓄積手段および付帯素子情報蓄積手段の内の少なくとも一方から読み出す検索手段と、
    読み出された映像情報および付帯素子情報の内の少なくとも一方を検索結果として前記利用者装置に対して配信する配信手段と、
    をそれぞれ備え、
    前記検索情報利用者装置は、
    前記検索対象となる時間を表す時間情報および該検索対象となる付帯素子情報の内の少なくとも一方を有する検索条件を前記情報検索装置に対して送信する検索条件送信手段と、
    前記情報検索装置の配信手段から、前記検索結果として前記映像情報および付帯素子情報の内の少なくとも一方が配信されてきた際に、その映像情報および付帯素子情報の内の少なくとも一方を受信する検索結果受信手段と、
    受信された検索結果である映像情報および付帯素子情報の内の少なくとも一方を表示する表示手段と、
    を備えたことを特徴とする情報検索システム。

Images