JP2016066125A - 情報検索システム、計測情報取得端末、画像情報取得端末、検索サーバ、情報検索方法及びプログラム - Google Patents

Abstract

【課題】情報検索を行う際により適確な検索結果をより容易に取得すること。
【解決手段】情報検索システム１００において、画像取得部１０１は、検索対象を含む画像を取得する。計測情報取得部２０２は、計測情報を取得する。検索サーバ３の受信制御部３０１は、計測情報取得端末２が計測情報取得部２０２によって取得した計測情報と、画像情報取得端末１が画像取得部１０１によって取得した画像又は画像に関する情報とを、計測情報取得端末２又は画像情報取得端末１の少なくともいずれか一方から受信する。検索実行部３０３は、受信制御部３０１によって受信した計測情報と画像又は画像に関する情報とに基づいて、検索対象に関連する関連情報を検索する。関連情報送信部３０４は、検索実行部３０３による検索の結果としての関連情報を、計測情報取得端末２又は画像情報取得端末１の少なくともいずれか一方に送信する。
【選択図】図３

Description

本発明は、情報検索システム、計測情報取得端末、画像情報取得端末、検索サーバ、情報検索方法及びプログラムに関する。

現在、一般的に普及している情報検索サイトにおける検索方法は、文字列のみのキーワード検索、複数の文字列からなるキーワードにＡＮＤやＯＲ等の論理条件を組み合わせた検索又はキーワードに代えて画像を用いた検索等がある。
例えば、特許文献１には、画像データ並びに撮影時刻、撮影位置及び撮影対象までの距離を送信することにより検索結果を得る技術が開示されている。

特開２００３−３２３４４０号公報

しかしながら、一般的な情報検索サイトや特許文献１に記載の技術においては、ユーザが検索対象に応じた適切な検索条件を設定しなければ、ユーザの期待するページが上位に表示されない可能性が高い。一方、検索対象に応じた適切な検索条件を設定することは必ずしも容易ではない。
即ち、従来の情報検索技術においては、適確な検索結果を容易に取得することは困難であった。

本発明は、このような状況に鑑みてなされたものであり、情報検索を行う際により適確な検索結果をより容易に取得することを目的とする。

上記目的を達成するため、本発明の一態様の情報検索システムは、
計測情報取得端末と画像情報取得端末とを備え、該計測情報取得端末又は該画像情報取得端末の少なくともいずれか一方とネットワークを介して接続される検索サーバとを含む情報検索システムにおいて、
前記画像情報取得端末は、
検索対象を含む画像を取得する画像取得手段を備え、
前記計測情報取得端末は、
計測情報を取得する計測情報取得手段を備え、
前記検索サーバは、
前記計測情報取得端末が前記計測情報取得手段によって取得した前記計測情報と、前記画像情報取得端末が前記画像取得手段によって取得した前記画像又は前記画像に関する情報とを、前記計測情報取得端末又は前記画像情報取得端末の少なくともいずれか一方から受信する受信手段と、
前記受信手段によって受信した前記計測情報と前記画像又は前記画像に関する情報とに基づいて、前記検索対象に関連する関連情報を検索する検索手段と、
前記検索手段による検索の結果としての前記関連情報を、前記計測情報取得端末又は前記画像情報取得端末の少なくともいずれか一方に送信する関連情報送信手段と、
を備えることを特徴とする。

本発明によれば、情報検索を行う際により適確な検索結果をより容易に取得することができる。

本発明の一実施形態に係る情報検索システムのシステム構成を示す図である。 本発明の一実施形態に係る情報検索システムのハードウェアの構成を示すブロック図である。 図２の情報処理装置の機能的構成のうち、情報検索処理を実行するための機能的構成を示す機能ブロック図である。 検索属性情報の一例を示す概念図である。 検索実行情報の一例を示す概念図である。 図３の機能的構成を有する図２の情報検索システムのうち画像情報取得端末が実行する情報検索処理の流れを説明するフローチャートである。 図３の機能的構成を有する図２の情報検索システムのうち計測情報取得端末が実行する情報検索処理の流れを説明するフローチャートである。 図３の機能的構成を有する図２の情報検索システムのうち検索サーバが実行する情報検索処理の流れを説明するフローチャートである。 本発明の第１の具体的適用例を示す情報検索システム１００ａを示す概念図である。 本発明の第２の具体的適用例を示す情報検索システム１００ｂを示す概念図である。

以下、本発明の実施形態について、図面を用いて説明する。

［システム構成］
図１は、本発明の一実施形態に係る情報検索システム１００のシステム構成を示す図である。

図１に示すように、情報検索システム１００は、画像情報取得端末１と、計測情報取得端末２と、検索サーバ３とを含んで構成される。

画像情報取得端末１と計測情報取得端末２とは、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）等の無線通信あるいはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の有線通信によって、相互に通信可能に構成される。画像情報取得端末１と計測情報取得端末２とが、別体の装置として構成されていることにより、検索対象を含む画像を撮影するために適した画像情報取得端末１及び計測情報を取得するために適した計測情報取得端末２を構成することが容易となる。
検索サーバ３と画像情報取得端末１又は計測情報取得端末２とは、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ−Ｆｉ等の無線通信あるいはＵＳＢ等の有線通信によって、インターネットを介して、相互に通信可能に構成されている。

画像情報取得端末１は、被写体として検索対象を含む画像データを取得して、画像の種別（例えば、人物の顔、建物あるいは食品等、被写体に応じて定義される種別）を特定する。また、画像情報取得端末１は、特定した画像の種別に応じた計測情報の種類（例えば、温度、位置情報あるいは移動履歴等、計測によって得られる情報の種類）を選択し、選択した計測情報の種類を計測情報取得端末２に送信する。
また、画像情報取得端末１は、計測情報取得端末２から受信した計測情報が検索実行条件（計測情報に設定された所定条件）に合致するか否かを判定し、検索実行条件に合致する場合、画像の種別及び計測情報を含む検索要求を、検索サーバ３に送信する。
さらに、画像情報取得端末１は、検索サーバ３から検索結果を受信し、受信した検索結果を表示する。
計測情報取得端末２は、画像情報取得端末１によって選択された計測情報の種類に基づいて、計測情報を新たに取得するか、又は既に取得しておいた計測情報を画像情報取得端末１に送信する。

検索サーバ３は、画像情報取得端末１から検索要求を受信し、受信した検索要求に基づいて、検索のためのキーワード（検索クエリ）、検索する情報のカテゴリや検索を行うデータベース等の検索条件を設定する。検索サーバ３は、設定した検索条件に基づいて検索を実行し、取得した検索結果を画像情報取得端末１に送信する。

なお、画像の種別の特定を画像情報取得端末１が行う場合の他、計測情報取得端末２又は検索サーバにおいて行うこととしてもよい。また、検索サーバ３は、画像情報取得端末１との間で検索要求及び検索結果を送受信する他、計測情報取得端末２との間で検索要求及び検索結果を送受信することとしてもよい。

このような情報検索システム１００では、画像情報取得端末１によって検索対象を含む画像を撮影することにより、画像の種別が特定され、計測情報取得端末２によって画像の種別に関連する計測情報が取得される。さらに、計測情報が検索実行条件に合致している場合、検索サーバ３によって画像の種別及び計測情報に関連する検索結果が取得され、画像情報取得端末１によって検索結果が表示される。そのため、ユーザは、検索対象を含む画像と、その画像に対応する計測情報とに基づいて、適確な検索結果を容易に取得することができる。
以下、具体的な構成について説明する。

［ハードウェア構成］
図２は、本発明の一実施形態に係る画像情報取得端末１、計測情報取得端末２及び検索サーバ３のハードウェアの構成を示すブロック図である。
画像情報取得端末１は、例えば、ユーザの視界に相当する画像を撮影可能なメガネ型端末として構成される。計測情報取得端末２は、例えば、ユーザが腕等に装着可能なリスト端末として構成される。検索サーバ３は、例えば、サーバコンピュータとして構成される。

画像情報取得端末１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。
また、計測情報取得端末２は、ＣＰＵ３１と、ＲＯＭ３２と、ＲＡＭ３３と、バス３４と、入出力インターフェース３５と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）部３６と、センサ部３７と、入力部３８と、出力部３９と、記憶部４０と、通信部４１と、ドライブ４２と、を備えている。
また、検索サーバ３は、ＣＰＵ５１と、ＲＯＭ５２と、ＲＡＭ５３と、バス５４と、入出力インターフェース５５と、入力部５８と、出力部５９と、記憶部６０と、通信部６１と、ドライブ６２と、を備えている。
本実施形態において、画像情報取得端末１、計測情報取得端末２及び検索サーバ３の構成のうち、同様の名称を有する部分は、同様の機能を備えている。
まず、画像情報取得端末１のハードウェア構成について説明する。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４は、入出力インターフェース１５に接続されている。入出力インターフェース１５には、撮像部１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。

撮像部１７は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
このような撮像部１７の出力信号を、以下、「画像のデータ」と呼ぶ。画像のデータは、ＣＰＵ１１等に適宜供給される。

入力部１８は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。入力部１８は、例えば、画像情報取得端末１においてシャッター操作を受け付けるシャッターキーやズーム操作を受け付けるズーム操作キーとして構成される。
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部２０は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う無線又は有線による通信を制御する。

ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、図示しないリムーバブルメディアが適宜装着される。ドライブ２２によってリムーバブルメディアから読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディアは、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。

次に、計測情報取得端末２のハードウェアの構成について説明する。
計測情報取得端末２のハードウェアの構成のうち、ＧＰＳ部３６及びセンサ部３７以外の部分については、画像情報取得端末１において同様の名称を有する各部分と同様の機能を有している。
ＧＰＳ部３６は、アンテナを含み複数のＧＰＳ衛星から送信されるＧＰＳ信号を受信して、画像情報取得端末１の位置情報を取得する。
センサ部３７は、３軸加速度センサ、地磁気センサ及び温度センサ等の各種センサを備えている。
なお、検索サーバ３のハードウェアの構成における各部分は、画像情報取得端末１において同様の名称を有する各部分と同様の機能を有している。

［機能的構成］
次に、情報検索システム１００の機能的構成のうち、情報検索処理を実行するための機能的構成を、図３を参照して説明する。
図３は、このような図２の情報検索システム１００の機能的構成のうち、情報検索処理を実行するための機能的構成を示す機能ブロック図である。
情報検索処理とは、画像情報取得端末１によって取得された画像のデータ及び計測情報取得端末２によって取得された計測情報に基づいて、検索サーバ３において検索を行い、その検索結果を画像情報取得端末１に送信する一連の処理をいう。

情報検索処理が行われる場合、図３に示すように、画像情報取得端末１のＣＰＵ１１において、画像取得部１０１と、検索対象特定部１０２と、計測情報選択部１０３と、送信制御部１０４と、受信制御部１０５と、検索実行判定部１０６と、表示制御部１０７とが機能する。また、画像情報取得端末１の記憶部２０の一領域には、属性情報記憶部１２１が設定される。
また、計測情報取得端末２のＣＰＵ３１において、受信制御部２０１と、計測情報取得部２０２と、送信制御部２０３とが機能する。
また、検索サーバ３のＣＰＵ５１において、受信制御部３０１と、検索条件設定部３０２と、検索実行部３０３と、関連情報送信部３０４とが機能する。また、検索サーバ３の記憶部６０の一領域には、クエリ情報記憶部３２１と、検索インデックス記憶部３２２とが設定される。

属性情報記憶部１２１には、画像のデータに基づいて検索を行うために必要な情報（以下、「検索属性情報」と呼ぶ。）が記憶されている。具体的には、属性情報記憶部１２１には、検索属性情報として、情報の検索を行うための被写体の分類である「画像の種別」と、画像の種別に関連付けて設定された「計測情報の種類」と、計測情報の特徴を表し、検索を実行する条件として設定された「検索実行条件」とが対応付けて記憶されている。
図４は、検索属性情報の一例を示す概念図である。
図４に示すように、検索属性情報として、画像の種別と、計測情報の種類と、検索実行条件とが対応付けられている。例えば、検索属性情報には、画像の種別として「人物の顔」が設定されており、「人物の顔」に対応する計測情報の種類として、「温度（体温）・位置情報」、「温度（体温・皮膚温）・顔のろう」及び「顔の色情報の時間変化・脈拍間隔の時間変化・心理的免疫度」が設定されている。また、「温度（体温）・位置情報」に対応する検索実行条件として、「体温≧発熱温度（４０度）」が設定されている。
即ち、図４に示す検索属性情報の第１行のエントリは、画像の種別「人物の顔」に対して、「計測情報の種類」として「温度（体温）・位置情報」が設定され、「温度（体温）・位置情報」の計測情報について、「検索実行条件」が「体温≧発熱温度（４０度）」であることを示している。

図３に戻り、クエリ情報記憶部３２１には、検索要求に含まれる情報に対応して設定される検索を実行するための情報（以下、「検索実行情報」と呼ぶ。）が記憶されている。具体的には、クエリ情報記憶部３２１には、検索実行情報として、検索要求に含まれる画像の種別及び計測情報の種類に対応して設定されるキーワードからなる「検索クエリ」と、検索対象とするカテゴリを示す「検索する関連情報」とが対応付けて記憶されている。なお、図３においては、検索結果である関連情報の出力例を併せて示している。
図５は、検索実行情報の一例を示す概念図である。
図５に示すように、検索実行情報として、検索要求に含まれる画像の種別及び計測情報と、検索クエリと、検索する関連情報とが対応付けられている。例えば、検索実行情報には、画像の種別として「人物の顔」、計測情報として「温度（体温）・位置情報」を含む検索要求に対応して、「病院・発熱・○○市」（ただし、「○○市」は現在位置から設定される所在地を意味する）のキーワードからなる検索クエリ、「発熱に関する医療健康情報」として示されるカテゴリが設定されている。
即ち、図５に示す検索実行情報の第１行のエントリは、「人物の顔」及び「温度（体温）・位置情報」を含む検索要求である場合、「検索クエリ」として「病院・発熱・○○市」が設定されることを示している。また、この場合に、「検索する関連情報」で示されたカテゴリに限定して検索を行うことや、一般の情報を「検索クエリ」で検索することに加えて、「検索する関連情報」で示されたカテゴリに限定した検索を行うことが可能である。

図３に戻り、検索インデックス記憶部３２２は、Ｗｅｂページのアドレスと、Ｗｅｂページのキーワード等、Ｗｅｂページを検索するためのインデックスが記憶される。

画像情報取得端末１において、画像取得部１０１は、撮像部１７によって撮像された画像のデータを取得する。

検索対象特定部１０２は、画像取得部１０１によって取得された画像のデータに基づいて、検索対象を特定する。
具体的には、検索対象特定部１０２は、画像の領域のうち特定の領域（ここでは中央の領域とする）に含まれる被写体（対象物）を検索対象として特定する。

計測情報選択部１０３は、検索対象特定部１０２によって特定された検索対象に基づいて画像の種別を特定し、特定した画像の種別に対応する計測情報の種類を選択する。なお、画像の種別に対して、複数の計測情報の種類が対応付けられている場合、ユーザによって設定された計測情報の種類が選択される。

送信制御部１０４は、計測情報選択部１０３によって選択された計測情報の種類に対応する計測情報の送信要求を、計測情報取得端末２に送信する。また、送信制御部１０４は、計測情報取得端末２から受信した計測情報と、計測情報選択部１０３によって特定された画像の種別とを含む検索要求を検索サーバ３に送信する。
なお、送信制御部１０４が、画像の種別に代えて、画像のデータを検索サーバ３に送信することとしてもよい。この場合、検索サーバ３において、画像の種別を特定して検索クエリを設定したり、画像の類似度に基づいて画像の検索を行ったりすることができる。

受信制御部１０５は、計測情報取得端末２から計測情報を受信する。また、受信制御部１０５は、検索サーバ３から検索結果を受信する。

検索実行判定部１０６は、受信した計測情報に基づいて、検索を実行するか否か（即ち、検索要求を検索サーバ３に送信するか否か）の判定を行う。
具体的には、検索実行判定部１０６は、計測情報選択部１０３において特定した画像の種別と、受信した計測情報とに基づいて、属性情報記憶部１２１の検索実行条件を参照して、計測情報が検索実行条件に合致しているか否かの判定を行う。
例えば、画像の種別が人物の顔であり、計測情報の種類が温度（体温）であって、得られた計測情報が４０．５度である場合には、体温が発熱温度である４０度以上という検索実行条件に合致するため、検索を実行すると判定される。

表示制御部１０７は、検索サーバ３から受信した検索結果を出力部１９のディスプレイに表示する。

計測情報取得端末２において、受信制御部２０１は、画像情報取得端末１から計測情報の送信要求を受信する。

計測情報取得部２０２は、設定された所定の計測時刻（又は所定の計測時間間隔の経過）ごとに計測情報を、ＧＰＳ部３６、センサ部３７や入力部３８等から取得する。
ここで、取得される計測情報は、例えば、ＧＰＳ部３６から取得される位置情報、センサ部３７の加速度センサから取得される加速度、センサ部３７の温度センサから取得される温度、入力部３８のマイクから取得される音声等を含む。
なお、取得される計測情報は、体温や心拍等を含む身体の状態を示す身体情報、位置や気温等を含む計測情報取得端末２の置かれた環境の状態を示す環境情報、あるいは、計測情報取得端末２周辺の音を示す音声情報等に分類される。

送信制御部２０３は、画像情報取得端末１によって要求された計測情報を画像情報取得端末１に送信する。

検索サーバ３において、受信制御部３０１は、計測情報取得端末２の計測情報取得部２０２が取得した計測情報と、画像情報取得端末１の計測情報選択部１０３が特定した画像の種別とを含む検索要求を画像情報取得端末１から受信する。

検索条件設定部３０２は、受信した画像の種別と計測情報とに基づいて、検索を実行するためのキーワードである検索クエリをクエリ情報記憶部３２１から読み出して特定する。

検索実行部３０３は、計測情報と画像の種別とに基づいて特定された検索クエリをキーとして関連情報を検索する。このとき、検索要求に示されるユーザの設定に応じて、「検索する関連情報」で示されたカテゴリに限定して検索を行うことや、一般の情報を「検索クエリ」で検索することに加えて、「検索する関連情報」で示されたカテゴリに限定した検索を行うことが可能である。

関連情報送信部３０４は、検索実行部３０３の検索により得られた検索結果を画像情報取得端末１に送信する。例えば、図５の検索実行情報における第１行のエントリであれば、検索実行部３０３が「お子さんが４０℃の発熱のようです。この症状は、インフルエンザの疑いがあります。〇〇市においては、夜間も対応する□□病院があります。急いで連れて行きましょう。」といった検索結果を生成し、関連情報送信部３０４が画像情報取得端末１に送信することができる。

［動作］
［画像情報取得端末１の処理］
次に、動作を説明する。
図６は、図３の機能的構成を有する図２の情報検索システムのうち、画像情報取得端末１が実行する情報検索処理の流れを説明するフローチャートである。
画像情報取得端末１における情報検索処理は、ユーザによる情報検索処理の開始操作を受け付けたことに応じて開始され、終了が指示されるまで繰り返し実行される。

ステップＳ１１において、ＣＰＵ１１は、検索属性情報の内容を変更する指示があるか否かの判定を行う。
検索属性情報の内容を変更する指示がある場合、ステップＳ１１においてＹＥＳと判定されて、処理はステップＳ１２に移行する。
一方、検索属性情報の内容を変更する指示がない場合、ステップＳ１１においてＮＯと判定されて、処理はステップＳ１３に移行する。

ステップＳ１２において、ＣＰＵ１１は、検索属性情報の内容を変更する指示に応じて、検索属性情報の内容を変更する。

ステップＳ１３において、画像取得部１０１は、撮像部１７によって撮像された画像のデータを取得する。

ステップＳ１４において、検索対象特定部１０２は、ステップＳ１３において、画像取得部１０１が取得した画像のデータに基づいて、検索対象を特定する。

ステップＳ１５において、計測情報選択部１０３は、ステップＳ１４において、検索対象特定部１０２が特定した対象物に基づいて、画像の種別を特定する。なお、ステップＳ１５において画像の種別が特定されない場合には、画像の種別が特定されない旨をユーザに通知して、ステップＳ１１の処理に移行すること等が可能である。

ステップＳ１６において、計測情報選択部１０３は、ステップＳ１５において特定した画像の種別に基づいて属性情報記憶部１２１から画像の種別に関連する計測情報の種類を選択する。

ステップＳ１７において、送信制御部１０４は、ステップＳ１６において、選択された計測情報の種類に対応する計測情報の送信要求を、計測情報取得端末２に送信する。

ステップＳ１８において、受信制御部１０５は、計測情報取得端末２から計測情報を受信する。

ステップＳ１９において、検索実行判定部１０６は、ステップＳ１８において受信した計測情報が検索実行条件に合致するか否かの判定を行う。
計測情報が検索実行条件に合致する場合、ステップＳ１９においてＹＥＳと判定されて、処理はステップＳ２０に移行する。
一方、計測情報が検索実行条件に合致しない場合、ステップＳ１９においてＮＯと判定されて、情報検索処理が繰り返される。

ステップＳ２０において、送信制御部１０４は、ステップＳ１５において特定された画像の種別とステップＳ１８において受信した計測情報とを含む検索要求を検索サーバ３に送信する。

ステップＳ２１において、受信制御部１０５は、検索サーバ３から検索結果を受信する。

ステップＳ２２において、表示制御部１０７は、ステップＳ２１において受信した検索結果を出力部１９のディスプレイに出力する。
ステップＳ２２の後、情報検索処理が繰り返される。

［計測情報取得端末２の処理］
図７は、図３の機能的構成を有する図２の情報検索システムのうち、計測情報取得端末２が実行する情報検索処理の流れを説明するフローチャートである。
計測情報取得端末２における情報検索処理は、ユーザによる情報検索処理の開始操作を受け付けたことに応じて開始され、終了が指示されるまで繰り返し実行される。

ステップＳ３１において、入力部１８は、各センサによる計測機能のＯＮ／ＯＦＦ、定期的な計測の時刻（又は計測時間間隔）、計測情報の定期的な送信のＯＮ／ＯＦＦ等の計測条件の設定を受け付ける。ここで受け付けられた計測条件の設定は、計測情報取得部２０２における処理の設定として登録される。

ステップＳ３２において、計測情報取得部２０２は、ステップＳ３１において設定された計測時刻になったか（又は計測時間間隔が経過したか）否かの判定を行う。
設定された計測時刻になった（又は計測時間間隔が経過した）場合、ステップＳ３２においてＹＥＳと判定されて、処理はステップＳ３３に移行する。
一方、設定された計測時刻になっていない（又は計測時間間隔が経過していない）場合、ステップＳ３２においてＮＯと判定されて、ステップＳ３２の処理が繰り返される。

ステップＳ３３において、計測情報取得部２０２は、ＧＰＳ部３６、センサ部３７あるいは入力部３８から計測情報を取得する。

ステップＳ３４において、計測情報取得部２０２は、ステップＳ３３において取得した計測情報をＲＡＭ３３に記憶する。

ステップＳ３５において、受信制御部２０１は、画像情報取得端末１から計測情報の送信要求を受信したか否かの判定を行う。
計測情報の送信要求を受信した場合、ステップＳ３５においてＹＥＳと判定されて、処理はステップＳ３６に移行する。
一方、計測情報の送信要求を受信していない場合、ステップＳ３５においてＮＯと判定されて、ステップＳ３７に移行する。

ステップＳ３６において、送信制御部２０４は、ステップＳ３４において記憶した計測情報のうち、画像情報取得端末１からの計測情報の送信要求に合致する計測情報を、画像情報取得端末１に送信する。

ステップＳ３７において、送信制御部２０４は、ユーザによる計測情報の計測終了指示の操作を受け付けたか否かの判定を行う。
計測終了指示の操作を受け付けていない場合、ステップＳ３７においてＮＯと判定されて、処理はステップＳ３２に移行する。
一方、計測終了指示の操作を受け付けている場合、ステップＳ３７においてＹＥＳと判定されて、情報検索処理は終了となる。

［検索サーバ３の処理］
図８は、図３の機能的構成を有する図２の情報検索システムのうち、検索サーバ３が実行する情報検索処理の流れを説明するフローチャートである。
検索サーバ３における情報検索処理は、サーバ管理者による開始操作を受け付けたことに応じて開始され、サーバ管理者による終了操作が行われるまで繰り返し実行される。

ステップＳ５１において、受信制御部１０５は、画像の種別と計測情報とを含む検索要求を画像情報取得端末１から受信する。

ステップＳ５２において、検索条件設定部３０２は、受信した検索要求に含まれる画像の種別と計測情報とに基づいて、検索を実行するための検索クエリをクエリ情報記憶部３２１から読み出して特定する。

ステップＳ５３において、検索実行部３０３は、ステップＳ５２において特定された検索クエリをキーとして関連情報を検索する。

ステップＳ５４において、関連情報送信部３０４は、ステップＳ５３により得られた検索結果を画像情報取得端末１に送信する。
ステップＳ５４の処理の後、情報検索処理が繰り返される。

以上のような処理により、画像情報取得端末１において、検索対象を含む画像を撮影すると、検索対象の画像の種別を特定して情報検索のために必要な計測情報の種類が特定される。そして、画像情報取得端末１は、特定された計測情報の種類に対応する計測情報を計測情報取得端末２から受信して、計測情報が検索実行条件に合致する場合に、画像の種別と計測情報とを含む検索要求を送信する。検索サーバ３は、受信した検索要求に応じて、検索クエリを特定して検索を実行し、得られた検索結果を画像情報取得端末１に送信する。
したがって、画像を撮影することにより、自動的に必要な計測情報を特定して、検索が行われるため、情報検索を行う際により適確な検索結果をより容易に取得することができる。

［情報検索システム１００の具体的適用例］
本発明の情報検索システム１００の具体的な適用例を、図９及び図１０を参照して説明する。
図９は、本発明の第１の具体的適用例を示す情報検索システム１００ａを示す概念図である。
情報検索システム１００ａは、画像情報取得端末１ａと、計測情報取得端末２ａと、計測情報取得端末２ｂと、計測情報取得端末２ｃと、計測情報取得端末２ｄと、計測情報取得端末２ｅと、検索サーバ３ａと、検索サーバ３ｂと、携帯通信端末４と、ライフログサーバ５とを含んで構成される。
画像情報取得端末１ａと計測情報取得端末２ａ〜２ｅとは、携帯通信端末４を介してＢｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ−Ｆｉ等の無線通信で接続され、画像情報取得端末１ａ及び計測情報取得端末２ａ〜２ｅと検索サーバ３ａ，３ｂとは、無線通信及び有線通信により携帯通信端末４及びインターネット回線を介して接続されている。
画像情報取得端末１ａは、ユーザの視界に相当する画像を撮影可能なメガネ型端末として構成される。計測情報取得端末２ａは、ユーザが腕等に装着可能なリスト端末として構成され、加速度情報やユーザの位置情報等を計測情報として取得する。計測情報取得端末２ｂは、自転車の車載コンピュータとして構成され、自転車の位置情報等を計測情報として取得する。計測情報取得端末２ｃは、ベルト装着型端末として構成され、ユーザの体温や心拍情報等を計測情報として取得する。計測情報取得端末２ｄは、足首装着型端末として構成され、加速度や角速度等を計測情報として取得する。計測情報取得端末２ｅは、車輪速計測端末として構成され、車輪の回転数や走行距離を計測情報として取得する。
画像情報取得端末１ａは、ユーザの視線の方向にある検索対象（即ち、画像の中央にある被写体）を特定し、計測情報取得端末２ａ〜２ｅにより取得された計測情報を選択する。画像情報取得端末１ａは、特定した検索対象から特定した画像の種別及び選択した計測情報を含む検索要求を、画像の種別に応じて選択される検索サーバ３ａ又は検索サーバ３ｂのいずれかに携帯通信端末４を介して送信する。検索サーバ３ａ又は検索サーバ３ｂは、受信した検索要求に基づいて、検索結果を取得して画像情報取得端末１ａに検索結果を送信し、画像情報取得端末１ａにおいて、検索結果が表示される。
なお、計測情報取得端末２ａ〜２ｅにおいて取得された計測情報（選択されなかった計測情報を含む）、検索要求及び検索結果は、ライフログサーバ５に送信されユーザのライフログとして蓄積される。
このような具体的適用例によれば、スポーツを行うユーザが認識した対象物を検索対象として、その検索対象の画像の種別に対応する計測情報を反映した情報の検索を行うことができる。
したがって、ユーザの興味と、ユーザの行動から取得される情報とに適合した情報を容易に検索することができる。

図１０は、本発明の第２の具体的適用例を示す情報検索システム１００ｂを示す概念図である。
情報検索システム１００ｂは、画像情報取得端末１ｂと、計測情報取得端末２ｆと、計測情報取得端末２ｇと、計測情報取得端末２ｈと、検索サーバ３ｃと、携帯通信端末４を含んで構成される。
画像情報取得端末１ｂは、デジタルカメラとして構成される。計測情報取得端末２ｆは、リスト端末として構成され、加速度情報やユーザの位置情報等を計測情報として取得する。計測情報取得端末２ｇは、バッジ型端末として構成され、装着者の体温や脈拍等を計測情報として取得する。計測情報取得端末２ｈは、携帯電話として構成され、加速度情報やユーザの位置情報等を計測情報として取得する。
画像情報取得端末１ｂは、撮影された画像から検索対象を特定し、計測情報取得端末２ｆ，２ｇにより取得された計測情報を選択する。画像情報取得端末１ｂは、選択した計測情報のうち、検索実行条件に合致する計測情報を特定する。例えば、画像情報取得端末１ｂは、取得した計測情報のうち、温度（体温）について、体温が４０度以上であることから、検索実行条件に合致すると判定する。画像情報取得端末１ｂは、取得した体温（計測情報）、位置情報（計測情報）及び画像の種別を含む検索要求を、携帯通信端末４を介して検索サーバ３ｃに送信する。検索サーバ３ｃは、受信した検索要求に基づいて、「病院、発熱、〇〇市」のキーワードを含む検索クエリを生成し、検索を実行して検索結果を取得する。検索サーバ３ｃは、取得した検索結果を画像情報取得端末１ａに送信し、画像情報取得端末１ａにおいて、検索結果に基づいて、「お子さんが４０℃の発熱のようです。この症状は、インフルエンザの疑いがあります。〇〇市においては、夜間も対応する□□病院があります。急いで連れて行きましょう。」とのメッセージが表示される。
このような具体的適用例によれば、看視対象であるユーザの画像を検索対象として、そのユーザの生体情報を計測情報として反映した情報の検索を行うことができる。
したがって、特定のユーザの身体の状態に対応する適確な情報を容易に検索することができる。

以上のように構成される情報検索システム１００は、画像情報取得端末１と、計測情報取得端末２と、検索サーバ３とを含む。検索サーバ３は計測情報取得端末２又は画像情報取得端末１の少なくともいずれか一方とネットワークを介して接続される。
画像情報取得端末１は画像取得部１０１を備える。
画像取得部１０１は、検索対象を含む画像を取得する。
計測情報取得端末２は、計測情報取得部２０２を備える。
計測情報取得部２０２は、計測情報を取得する。
検索サーバ３は、受信制御部３０１と、検索実行部３０３と、関連情報送信部３０４とを備える。
受信制御部３０１は、計測情報取得端末２が計測情報取得部２０２によって取得した計測情報と、画像情報取得端末１が画像取得部１０１によって取得した画像又は画像に関する情報とを、計測情報取得端末２又は画像情報取得端末１の少なくともいずれか一方から受信する。
検索実行部３０３は、受信制御部３０１によって受信した計測情報と画像又は画像に関する情報とに基づいて、検索対象に関連する関連情報を検索する。
関連情報送信部３０４は、検索実行部３０３による検索の結果としての関連情報を、計測情報取得端末２又は画像情報取得端末１の少なくともいずれか一方に送信する。
これにより、検索サーバ３は、画像又は画像に関する情報及び計測情報を受信し、受信した画像又は画像に関する情報及び計測情報に基づいて検索が実行され、計測情報取得端末２又は画像情報取得端末１の少なくともいずれかに検索結果である関連情報が送信される。
したがって、画像を撮影することにより、自動的に必要な計測情報を特定して、検索が行われるため、情報検索を行う際により適確な検索結果をより容易に取得することができる。

また、計測情報取得部２０２は、検索対象を含む画像と関連付けられた計測情報を取得する。
これにより、検索対象を含む画像と関連性の高い計測情報が取得され、情報検索に用いられるため、情報検索を行う際により適確な検索結果をより容易に取得することができる。

また、計測情報取得部２０２により取得される計測情報は、身体情報、環境情報及び音声情報の少なくともいずれかを含むことを特徴とする。
これにより、検索サーバ３は、身体情報、環境情報あるいは音声情報と、画像とに基づいて、検索を実行する。
したがって、画像を撮影することにより、身体情報、環境情報あるいは音声情報と、画像とに基づいて、検索を実行することができる。そのため、より適切な計測情報を検索に用いることで検索結果の精度を高めることができる。
即ち、情報検索を行う際により適確な検索結果をより容易に取得することができる。

また、計測情報取得端末２は、送信制御部２０３を備える。
計測情報取得部２０２によって取得される計測情報は、画像情報取得端末１の計測情報選択部１０３によって選択された計測情報の種類に対応する計測情報である。
送信制御部２０３は、計測情報と、画像情報取得端末１から受信した画像又は当該画像に関する情報と、を検索サーバ３に送信する。
これにより、画像又は当該画像に関する情報と、計測情報選択部１０３によって選択された計測情報とに基づいて、検索が実行される。
したがって、より適切な計測情報を選択して検索を実行することができる。そのため、より適切な計測情報を検索に用いることで検索結果の精度を高めることができる。

画像情報取得端末１は、計測情報選択部１０３と、受信制御部１０５とを備える。
計測情報選択部１０３は、画像取得部１０１により取得した画像に基づいて、画像に関連する計測情報の種類を選択する。
受信制御部１０５は、計測情報選択部１０３により選択された計測情報の種類に対応する計測情報を計測情報取得端末２から受信する。
これにより、画像及び計測情報選択部１０３によって選択された画像に適した計測情報に基づいて、検索が実行される。
したがって、より適切な計測情報を検索に用いることで検索結果の精度を高めることができる。

また、計測情報取得端末２は、計測情報取得部２０２と、送信制御部２０３とを備える。
計測情報取得部２０２は、取得された計測情報に基づいて、計測情報に関連する画像の種類を特定する。
送信制御部２０３は、計測情報取得部２０２により特定された画像の取得を要求することを報知する。
これにより、計測情報を基に、必要な画像を撮影して情報を検索することができ、より適切な検索結果を取得することが可能となる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、画像情報取得端末１と検索サーバ３との間において、検索要求及び検索結果の送受信を行ったが、これに限られない。
例えば、計測情報取得端末２と検索サーバ３との間において、検索要求及び検索結果の送受信を行ってもよいし、通信端末が画像情報取得端末１及び計測情報取得端末２から必要な情報を受信して後に、通信端末と検索サーバ３との間において、検索要求及び検索結果の送受信を行ってもよい。

また、上述の実施形態では、検索サーバ３は、画像の種別と計測情報とに基づいて、検索クエリを特定して、検索クエリにより検索を実行したが、これに限られない。
例えば、検索クエリではなく、画像及び計測情報自体により検索してもよい。画像及び計測情報そのものにより、検索する場合には、画像及び計測情報自体をキーとして検索可能に設計された検索対象のデータベースを用いることができる。

また、上述の実施形態では、画像情報取得端末１の検索対象特定部１０２は、ユーザの視線が向けられている方向（即ち、画像の中央の領域）に基づいて、検索対象を特定したが、これに限られない。
例えば、画像において、対象物の占める領域の面積が大きいものを検索対象として特定してもよいし、画像を参照してユーザが選択操作した対象物に基づいて、検索対象を特定してもよい。

また、上述の実施形態では画像情報取得端末１によって取得される画像を撮影された画像としたが、これに限られたものではなく、記憶部に記憶された画像、メールなどによって送付された画像、あるいはダウンロードされた画像であってもよい。

また、上述の実施形態では計測情報取得端末２は、画像情報取得端末１が取得した画像と関連付けられた計測情報を取得するとしたが、これに限られたものではなく、計測情報取得端末２が取得した計測情報に基づいて、画像情報取得端末１がその計測情報に関連した画像をユーザに要求するようにしてもよい。例えば、体温の上昇を検出した場合に、顔の画像の取得を要求するようにするなどである。この場合、計測情報取得部２０２が、検索属性情報を参照する等により、計測情報に関連する画像の種類を特定し、送信制御部２０３が、計測情報及び取得を要求する画像の種類を画像情報取得端末１に送信（報知）し、画像情報取得端末１の画像取得部１０１によってその画像が取得される。すると、検索実行判定部１０６が検索サーバ３に検索要求を送信し、その結果、関連情報が画像情報取得端末１において取得可能となる。

また、上述の実施形態では画像情報取得端末１と計測情報取得端末２とは、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ−Ｆｉ等の無線通信あるいはＵＳＢ等の有線通信によって、相互に通信可能に構成されることとしたが、これに限られたものではなく、例えば検索サーバ３を介して相互に通信したり、検索サーバが両装置各々にアクセスしたりするようにしてもよい。

また、上述の実施形態では、本発明が適用される情報検索システム１００は、画像情報取得端末１はメガネ型端末を例として、計測情報取得端末２はリスト端末を例として、検索サーバ３はサーバコンピュータを例として説明したが、特にこれに限定されない。
例えば、画像情報取得端末１は、撮像する機能を有する電子機器一般に適用することができ、計測情報取得端末２は、センサ、ＧＰＳやマイク等により端末外の情報を取得可能な機能を有する電子機器一般に適用することができる。具体的には、例えば、画像情報取得端末１は、スマートフォン、携帯電話機、デジタルカメラ、ポータブルゲーム機、カメラ付きのパーソナルコンピュータ等に適用可能であり、計測情報取得端末２は、歩数計、ウェアラブル端末、スマートフォン、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報検索システム１００に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されず、例えば、計測情報取得端末２や検索サーバ３が画像情報取得端末１の有する機能的構成を備えてもよい。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図２のリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図２のＲＯＭ１２や、図２の記憶部２０に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
計測情報取得端末と画像情報取得端末とを備え、該計測情報取得端末又は該画像情報取得端末の少なくともいずれか一方とネットワークを介して接続される検索サーバとを含む情報検索システムにおいて、
前記画像情報取得端末は、
検索対象を含む画像を取得する画像取得手段を備え、
前記計測情報取得端末は、
計測情報を取得する計測情報取得手段を備え、
前記検索サーバは、
前記計測情報取得端末が前記計測情報取得手段によって取得した前記計測情報と、前記画像情報取得端末が前記画像取得手段によって取得した前記画像又は前記画像に関する情報とを、前記計測情報取得端末又は前記画像情報取得端末の少なくともいずれか一方から受信する受信手段と、
前記受信手段によって受信した前記計測情報と前記画像又は前記画像に関する情報とに基づいて、前記検索対象に関連する関連情報を検索する検索手段と、
前記検索手段による検索の結果としての前記関連情報を、前記計測情報取得端末又は前記画像情報取得端末の少なくともいずれか一方に送信する関連情報送信手段と、
を備えることを特徴とする情報検索システム。
［付記２］
計測情報取得端末と画像情報取得端末とを備え、該計測情報取得端末又は該画像情報取得端末の少なくともいずれか一方とネットワークを介して接続される検索サーバとを含み、前記計測情報取得端末が計測情報を取得する計測情報取得手段によって取得した前記計測情報と、前記画像情報取得端末が検索対象を含む画像を取得する画像取得手段によって取得した前記画像又は前記画像に関する情報とに基づいて、前記検索対象に関連する関連情報を検索する情報検索システムにおける計測情報取得端末において、
計測情報を取得する計測情報取得手段、
を備えることを特徴とする計測情報取得端末。
［付記３］
前記計測情報取得手段は、検索対象を含む画像と関連付けられた計測情報を取得することを特徴とする請求項１又は２記載の情報検索システム。
［付記４］
前記計測情報取得手段によって取得される計測情報は身体情報、環境情報及び音声情報の少なくともいずれかを含むことを特徴とする付記２又は３に記載の計測情報取得端末。
［付記５］
前記計測情報取得手段によって取得される計測情報は、前記画像情報取得端末が備える計測情報選択手段によって選択された計測情報の種類に対応する計測情報であって、
前記計測情報と、前記画像情報取得端末から受信した画像又は当該画像に関する情報と、を前記検索サーバに送信することを特徴とする付記２から４のいずれか１つに記載の計測情報取得端末。
［付記６］
計測情報取得端末と画像情報取得端末とを備え、該計測情報取得端末又は該画像情報取得端末の少なくともいずれか一方とネットワークを介して接続される検索サーバとを含み、前記計測情報取得端末が前記計測情報取得手段によって取得した前記計測情報と、前記画像情報取得端末が前記画像取得手段によって取得した前記画像又は前記画像に関する情報とに基づいて、前記検索対象に関連する関連情報を検索する情報検索システムにおける画像情報取得端末において、
検索対象を含む画像を取得する画像取得手段、
を備えることを特徴とする画像情報取得端末。
［付記７］
前記画像取得手段により取得した画像に基づいて、前記画像に関連する計測情報の種類を選択する計測情報選択手段と、
前記計測情報選択手段により選択された計測情報の種類に対応する計測情報を前記計測情報取得端末から受信する受信制御手段と、
をさらに備えることを特徴する付記６に記載の画像情報取得端末。
［付記８］
前記計測情報取得手段によって取得された計測情報に基づいて、前記計測情報に関連する画像の種類を特定する画像特定手段と、
前記画像特定手段により特定された画像の取得を要求することを報知する報知手段と、
をさらに備えることを特徴とする請求項６記載の画像情報取得端末。
［付記９］
前記計測情報と前記画像又は前記画像に関する情報とを前記検索サーバに送信することを特徴とする付記７又は８記載の画像情報取得端末。
［付記１０］
計測情報取得端末と画像情報取得端末とを備え、該計測情報取得端末又は該画像情報取得端末の少なくともいずれか一方とネットワークを介して接続される検索サーバとを含む情報検索システムにおける検索サーバにおいて、
前記計測情報取得端末が計測情報取得手段によって取得した、計測情報と、前記画像情報取得端末が画像取得手段によって取得した、検索対象を含む画像又は前記画像に関する情報とを、前記計測情報取得端末又は前記画像情報取得端末の少なくともいずれか一方から受信する受信手段と、
前記受信手段によって受信した前記計測情報と前記画像又は前記画像に関する情報とに基づいて、前記検索対象に関連する関連情報を検索する検索手段と、
前記検索手段による検索の結果としての前記関連情報を、前記計測情報取得端末又は前記画像情報取得端末の少なくともいずれか一方に送信する関連情報送信手段と、
を備えることを特徴とする検索サーバ。
［付記１１］
計測情報取得端末と画像情報取得端末とを備え、該計測情報取得端末又は該画像情報取得端末の少なくともいずれか一方とネットワークを介して接続される検索サーバとを含む情報検索システムにおいて実行される情報検索方法であって、
前記計測情報取得端末に、
計測情報を取得する計測情報取得ステップ、
前記画像情報取得端末に、
画像を取得する画像取得ステップ、
前記検索サーバに、
前記計測情報取得端末が前記計測情報取得ステップによって取得した前記計測情報と、前記画像情報取得端末が前記画像取得ステップによって取得した前記画像とを、前記計測情報取得端末又は前記画像情報取得端末のいずれか一方から受信する受信ステップと、
前記受信ステップによって受信した前記計測情報と前記画像とに基づいて、関連情報を検索する検索ステップと、
前記検索ステップによる検索の結果としての前記関連情報を、前記計測情報取得端末又は前記画像情報取得端末のいずれか一方に送信する関連情報送信ステップと、
を実行させることを含む情報検索方法。
［付記１２］
計測情報取得端末と画像情報取得端末とを備え、該計測情報取得端末又は該画像情報取得端末の少なくともいずれか一方とネットワークを介して接続される検索サーバとを含み、前記計測情報取得端末が前記計測情報取得手段によって取得した前記計測情報と、前記画像情報取得端末が前記画像取得手段によって取得した前記画像又は前記画像に関する情報とに基づいて、前記検索対象に関連する関連情報を検索する情報検索システムにおける計測情報取得端末を制御するコンピュータに、
検索対象を含む画像と関連付けられた計測情報を取得する計測情報取得機能、
を実現させることを特徴とするプログラム。
［付記１３］
計測情報取得端末と画像情報取得端末とを備え、該計測情報取得端末又は該画像情報取得端末の少なくともいずれか一方とネットワークを介して接続される検索サーバとを含み、前記計測情報取得端末が前記計測情報取得手段によって取得した前記計測情報と、前記画像情報取得端末が前記画像取得手段によって取得した前記画像又は前記画像に関する情報とに基づいて、前記検索対象に関連する関連情報を検索する情報検索システムにおける画像情報取得端末を制御するコンピュータに、
検索対象を含む画像を取得する画像取得機能、
を実現させることを特徴とするプログラム。
［付記１４］
計測情報取得端末と画像情報取得端末とを備え、該計測情報取得端末又は該画像情報取得端末の少なくともいずれか一方とネットワークを介して接続される検索サーバとを含む情報検索システムにおける検索サーバを制御するコンピュータに、
前記計測情報取得端末が計測情報取得手段によって取得した、検索対象を含む画像と関連付けられた計測情報と、前記画像情報取得端末が画像取得手段によって取得した、検索対象を含む画像又は前記画像に関する情報とを、前記計測情報取得端末又は前記画像情報取得端末の少なくともいずれか一方から受信する受信機能と、
前記受信機能によって受信した前記計測情報と前記画像又は前記画像に関する情報とに基づいて、前記検索対象に関連する関連情報を検索する検索機能と、
前記検索機能による検索の結果としての前記関連情報を、前記計測情報取得端末又は前記画像情報取得端末の少なくともいずれか一方に送信する関連情報送信機能と、
を実現させることを特徴とするプログラム。

１００・・・情報検索システム，１・・・画像情報取得端末，２・・・計測情報取得端末，３・・・検索サーバ，１１，３１，５１・・・ＣＰＵ，１２，３２，５２・・・ＲＯＭ，１３，３３，５３・・・ＲＡＭ，１４，３４，５４・・・バス，１５，３５，５５・・・入出力インターフェース，１７・・・撮像部，１８，３８，５８・・・入力部，１９，３９，５９・・・出力部，２０，４０，６０・・・記憶部，２１，４１，６１・・・通信部，２２，４２，６２・・・ドライブ，３６・・・ＧＰＳ部，３７・・・センサ部，１０１・・・画像取得部，１０２・・・検索対象特定部，１０３・・・計測情報選択部，１０４・・・送信制御部，１０５・・・受信制御部，１０６・・・検索実行判定部，１０７・・・表示制御部，２０１・・・受信制御部，２０２・・・計測情報取得部，２０３・・・送信制御部，３０１・・・受信制御部，３０２・・・検索条件設定部，３０３・・・検索実行部，３０４・・・関連情報送信部，１２１・・・属性情報記憶部，３２１・・・クエリ情報記憶部，３２２・・・検索インデックス記憶部

Claims (14)

1. 計測情報取得端末と画像情報取得端末とを備え、該計測情報取得端末又は該画像情報取得端末の少なくともいずれか一方とネットワークを介して接続される検索サーバとを含む情報検索システムにおいて、
   前記画像情報取得端末は、
   検索対象を含む画像を取得する画像取得手段を備え、
   前記計測情報取得端末は、
   計測情報を取得する計測情報取得手段を備え、
   前記検索サーバは、
   前記計測情報取得端末が前記計測情報取得手段によって取得した前記計測情報と、前記画像情報取得端末が前記画像取得手段によって取得した前記画像又は前記画像に関する情報とを、前記計測情報取得端末又は前記画像情報取得端末の少なくともいずれか一方から受信する受信手段と、
   前記受信手段によって受信した前記計測情報と前記画像又は前記画像に関する情報とに基づいて、前記検索対象に関連する関連情報を検索する検索手段と、
   前記検索手段による検索の結果としての前記関連情報を、前記計測情報取得端末又は前記画像情報取得端末の少なくともいずれか一方に送信する関連情報送信手段と、
   を備えることを特徴とする情報検索システム。
2. 計測情報取得端末と画像情報取得端末とを備え、該計測情報取得端末又は該画像情報取得端末の少なくともいずれか一方とネットワークを介して接続される検索サーバとを含み、前記計測情報取得端末が計測情報を取得する計測情報取得手段によって取得した前記計測情報と、前記画像情報取得端末が検索対象を含む画像を取得する画像取得手段によって取得した前記画像又は前記画像に関する情報とに基づいて、前記検索対象に関連する関連情報を検索する情報検索システムにおける計測情報取得端末において、
   計測情報を取得する計測情報取得手段、
   を備えることを特徴とする計測情報取得端末。
3. 前記計測情報取得手段は、検索対象を含む画像と関連付けられた計測情報を取得することを特徴とする請求項１又は２記載の情報検索システム。
4. 前記計測情報取得手段によって取得される計測情報は身体情報、環境情報及び音声情報の少なくともいずれかを含むことを特徴とする請求項２又は３に記載の計測情報取得端末。
5. 前記計測情報取得手段によって取得される計測情報は、前記画像情報取得端末が備える計測情報選択手段によって選択された計測情報の種類に対応する計測情報であって、
   前記計測情報と、前記画像情報取得端末から受信した画像又は当該画像に関する情報と、を前記検索サーバに送信することを特徴とする請求項２から４のいずれか１項に記載の計測情報取得端末。
6. 計測情報取得端末と画像情報取得端末とを備え、該計測情報取得端末又は該画像情報取得端末の少なくともいずれか一方とネットワークを介して接続される検索サーバとを含み、前記計測情報取得端末が計測情報を取得する計測情報取得手段によって取得した前記計測情報と、前記画像情報取得端末が検索対象を含む画像を取得する画像取得手段によって取得した前記画像又は前記画像に関する情報とに基づいて、前記検索対象に関連する関連情報を検索する情報検索システムにおける画像情報取得端末において、
   検索対象を含む画像を取得する画像取得手段、
   を備えることを特徴とする画像情報取得端末。
7. 前記画像取得手段により取得した画像に基づいて、前記画像に関連する計測情報の種類を選択する計測情報選択手段と、
   前記計測情報選択手段により選択された計測情報の種類に対応する計測情報を前記計測情報取得端末から受信する受信制御手段と、
   をさらに備えることを特徴する請求項６に記載の画像情報取得端末。
8. 前記計測情報取得手段によって取得された計測情報に基づいて、前記計測情報に関連する画像の種類を特定する画像特定手段と、
   前記画像特定手段により特定された画像の取得を要求することを報知する報知手段と、
   をさらに備えることを特徴とする請求項６記載の画像情報取得端末。
9. 前記計測情報と前記画像又は前記画像に関する情報とを前記検索サーバに送信することを特徴とする請求項７又は８記載の画像情報取得端末。
10. 計測情報取得端末と画像情報取得端末とを備え、該計測情報取得端末又は該画像情報取得端末の少なくともいずれか一方とネットワークを介して接続される検索サーバとを含む情報検索システムにおける検索サーバにおいて、
    前記計測情報取得端末が計測情報取得手段によって取得した、計測情報と、前記画像情報取得端末が画像取得手段によって取得した、検索対象を含む画像又は前記画像に関する情報とを、前記計測情報取得端末又は前記画像情報取得端末の少なくともいずれか一方から受信する受信手段と、
    前記受信手段によって受信した前記計測情報と前記画像又は前記画像に関する情報とに基づいて、前記検索対象に関連する関連情報を検索する検索手段と、
    前記検索手段による検索の結果としての前記関連情報を、前記計測情報取得端末又は前記画像情報取得端末の少なくともいずれか一方に送信する関連情報送信手段と、
    を備えることを特徴とする検索サーバ。
11. 計測情報取得端末と画像情報取得端末とを備え、該計測情報取得端末又は該画像情報取得端末の少なくともいずれか一方とネットワークを介して接続される検索サーバとを含む情報検索システムにおいて実行される情報検索方法であって、
    前記計測情報取得端末に、
    計測情報を取得する計測情報取得ステップ、
    前記画像情報取得端末に、
    画像を取得する画像取得ステップ、
    前記検索サーバに、
    前記計測情報取得端末が前記計測情報取得ステップによって取得した前記計測情報と、前記画像情報取得端末が前記画像取得ステップによって取得した前記画像とを、前記計測情報取得端末又は前記画像情報取得端末のいずれか一方から受信する受信ステップと、
    前記受信ステップによって受信した前記計測情報と前記画像とに基づいて、関連情報を検索する検索ステップと、
    前記検索ステップによる検索の結果としての前記関連情報を、前記計測情報取得端末又は前記画像情報取得端末のいずれか一方に送信する関連情報送信ステップと、
    を実行させることを含む情報検索方法。
12. 計測情報取得端末と画像情報取得端末とを備え、該計測情報取得端末又は該画像情報取得端末の少なくともいずれか一方とネットワークを介して接続される検索サーバとを含み、前記計測情報取得端末が計測情報を取得する計測情報取得手段によって取得した前記計測情報と、前記画像情報取得端末が検索対象を含む画像を取得する画像取得手段によって取得した前記画像又は前記画像に関する情報とに基づいて、前記検索対象に関連する関連情報を検索する情報検索システムにおける計測情報取得端末を制御するコンピュータに、
    検索対象を含む画像と関連付けられた計測情報を取得する計測情報取得機能、
    を実現させることを特徴とするプログラム。
13. 計測情報取得端末と画像情報取得端末とを備え、該計測情報取得端末又は該画像情報取得端末の少なくともいずれか一方とネットワークを介して接続される検索サーバとを含み、前記計測情報取得端末が計測情報を取得する計測情報取得手段によって取得した前記計測情報と、前記画像情報取得端末が検索対象を含む画像を取得する画像取得手段によって取得した前記画像又は前記画像に関する情報とに基づいて、前記検索対象に関連する関連情報を検索する情報検索システムにおける画像情報取得端末を制御するコンピュータに、
    検索対象を含む画像を取得する画像取得機能、
    を実現させることを特徴とするプログラム。
14. 計測情報取得端末と画像情報取得端末とを備え、該計測情報取得端末又は該画像情報取得端末の少なくともいずれか一方とネットワークを介して接続される検索サーバとを含む情報検索システムにおける検索サーバを制御するコンピュータに、
    前記計測情報取得端末が計測情報取得手段によって取得した、検索対象を含む画像と関連付けられた計測情報と、前記画像情報取得端末が画像取得手段によって取得した、検索対象を含む画像又は前記画像に関する情報とを、前記計測情報取得端末又は前記画像情報取得端末の少なくともいずれか一方から受信する受信機能と、
    前記受信機能によって受信した前記計測情報と前記画像又は前記画像に関する情報とに基づいて、前記検索対象に関連する関連情報を検索する検索機能と、
    前記検索機能による検索の結果としての前記関連情報を、前記計測情報取得端末又は前記画像情報取得端末の少なくともいずれか一方に送信する関連情報送信機能と、
    を実現させることを特徴とするプログラム。

Images