JP2017130978A - 情報取得システム、携帯情報機器、サーバ、及びプログラム - Google Patents

Abstract

【課題】ユーザの活動を充実させることが可能な情報取得システムを提供する。
【解決手段】情報取得システムは、画像センサと、位置情報を取得する位置情報取得部と、画像センサによって生成された対象物のリアルタイム画像と対象物に関する関連情報とを同時に表示する表示部と、位置情報及びリアルタイム画像を外部へ送信する制御部とを備える携帯情報機器と、対象物の位置情報、関連情報、及び対象物に関する画像を記憶しているデータベースと、リアルタイム画像に対する画像認識の結果に基づいてデータベースから関連情報を取得するサーバとを備える情報検索システムと、を備え、サーバは、位置情報の示す位置又は該位置から近い位置に基づく対象物を検索し、検索された対象物の画像とリアルタイム画像とを比較した結果をもとに関連情報を取得する。
【選択図】図１

Description

本発明は、情報取得システム、携帯情報機器、サーバ、及びプログラムに関する。

従来より、撮像機能を有する撮像装置（例えば、デジタルカメラ）などの携帯情報機器などにおいて、当該携帯情報機器の位置する位置情報を検出し、検出した位置情報に対応させて撮像した画像データを処理する機能を有するものがある（例えば、特開２００４−１５１８７号公報参照）。

本発明の態様は、ユーザの活動を充実させることが可能な情報取得システム、携帯情報機器、サーバ、及びプログラムを提供することを目的とする。

本発明の態様に従えば、画像センサと、位置情報を取得する位置情報取得部と、前記画像センサによって生成された対象物のリアルタイム画像と前記対象物に関する関連情報とを同時に表示する表示部と、前記位置情報及び前記リアルタイム画像を外部へ送信する制御部とを備える携帯情報機器と、前記対象物の位置情報、前記関連情報、及び前記対象物に関する画像を記憶しているデータベースと、前記リアルタイム画像に対する画像認識の結果に基づいて前記データベースから前記関連情報を取得するサーバとを備える情報検索システムと、を備え、前記サーバは、前記位置情報の示す位置又は該位置から近い位置に基づく前記対象物を検索し、検索された前記対象物の画像と前記リアルタイム画像とを比較した結果をもとに前記関連情報を取得する、情報取得システムが提供される。

本発明の別の態様に従えば、画像センサと、位置情報を取得する位置情報取得部と、前記画像センサによって生成された対象物のリアルタイム画像と前記対象物に関する関連情報とを同時に表示する表示部と、前記リアルタイム画像に対する画像認識の結果と前記位置情報とに基づく前記関連情報を取得する制御部と、を備える携帯情報機器が提供される。

本発明の別の態様に従えば、画像センサと、前記画像センサによって生成された対象物のリアルタイム画像と前記対象物に関する関連情報とを同時に表示する表示部と、前記リアルタイム画像に対する画像認識の結果に基づく前記関連情報を取得する制御部と、を備える携帯情報機器が提供される。

本発明の別の態様に従えば、上記のいずれかに記載の携帯情報機器と、サーバと、を備える情報取得システムが提供される。

本発明の別の態様に従えば、画像センサと、位置情報を取得する位置情報取得部と、前記画像センサによって生成された対象物のリアルタイム画像と前記対象物に関する関連情報とを同時に表示する表示部と、前記位置情報及び前記リアルタイム画像を外部へ送信する制御部とを備える携帯情報機器と通信を行うサーバは、前記対象物の位置情報、前記関連情報、及び前記対象物に関する画像を記憶しているデータベースと、前記リアルタイム画像に対する画像認識の結果に基づいて前記データベースから前記関連情報を取得し、前記位置情報の示す位置又は該位置から近い位置に基づく前記対象物を検索し、検索された前記対象物の画像と前記リアルタイム画像とを比較した結果をもとに前記関連情報を取得する、サーバが提供される。

本発明の別の態様に従えば、画像センサと、位置情報を取得する位置情報取得部と、前記画像センサによって生成された対象物のリアルタイム画像と前記対象物に関する関連情報とを同時に表示する表示部と、前記リアルタイム画像に対する画像認識の結果と前記位置情報とに基づく前記関連情報を取得する制御部と、を備える携帯情報機器と通信を行うサーバは、前記対象物の位置情報、前記関連情報、及び前記対象物に関する画像を記憶しているデータベースと、前記リアルタイム画像に対する画像認識の結果に基づいて前記データベースから前記関連情報を取得し、前記位置情報の示す位置又は該位置から近い位置に基づく前記対象物を検索し、検索された前記対象物の画像と前記リアルタイム画像とを比較した結果をもとに前記関連情報を取得する、サーバが提供される。

本発明の別の態様に従えば、画像センサを備えた携帯情報機器のコンピュータに、位置情報を取得させるステップと、前記画像センサによって生成された対象物のリアルタイム画像と前記対象物に関する関連情報とを同時に表示部に表示させるステップと、前記リアルタイム画像に対する画像認識の結果と前記位置情報とに基づく前記関連情報を取得させるステップと、を実行させるためのプログラムが提供される。

本発明の別の態様に従えば、画像センサを備える携帯情報機器のコンピュータに、前記画像センサによって生成された対象物のリアルタイム画像と前記対象物に関する関連情報とを同時に表示部に表示させるステップと、前記リアルタイム画像に対する画像認識の結果に基づく前記関連情報を取得させるステップと、を実行させるためのプログラムが提供される。

本発明の態様によれば、ユーザの活動を充実させることが可能な情報取得システム、携帯情報機器、サーバ、及びプログラムが提供される。

本発明の一実施形態による情報取得システムの構成例を示すブロック図である。 図１におけるデータベースに記憶されている建造物テーブルの構成例を示す概念図である。 本実施形態におけるデジタルカメラで撮像している画像の情報検索の処理の流れを示すフローチャートである。 本実施形態におけるデジタルカメラに表示される表示画像の一例を示す概念図である。 本実施形態におけるデジタルカメラに表示される表示画像の一例を示す概念図である。 本実施形態におけるデジタルカメラに表示される表示画像の一例を示す概念図である。 本実施形態におけるデジタルカメラで撮像した後における画像の情報検索の処理の流れを示すフローチャートである。 本実施形態におけるデジタルカメラに入力した店舗情報からの情報検索の処理の流れを示すフローチャートである。

以下、本発明の一実施形態について図面を参照して説明する。図１は同実施形態による携帯情報機器（撮像装置）及び情報取得システムの構成例を示すブロック図である。
図１において、情報取得システムは、撮像装置の一例であるデジタルカメラ１と、情報検索システム２とを備える。デジタルカメラ１は無線通信により無線基地局３とデータ通信を行うことにより、この無線基地局３及びインターネットなどの情報通信網４を介して、情報検索システム２（或いは、後述する情報検索サーバ２１）とデータの送受信を行う。なお、本実施形態における撮像装置とは、上述のデジタルカメラ１やカメラ付携帯電話などのような撮像機能付の携帯型端末である。
デジタルカメラ１は、ブラウザ機能を有しており、制御部１１、送受信部１２、撮像部１３、ＧＰＳ（Global Positioning System）(位置情報取得部）１４、記憶部１５、方位
センサ１６、表示部１７及びタイマ１８を有している。ここで、本実施形態における無線通信とは、伝送路として線を使わなく、電波、光や音波などによる通信を含むものである。

撮像部１３は、ＣＣＤ（Charge Coupled Device）あるいはＣＭＯＳ（Complementary M
etal Oxide Semiconductor）イメージセンサと、レンズと等を有しており、被写体（撮像
する対象物）を撮像して画像データを、上記制御部１１に対して出力する。以下の説明において、本実施形態においては被写体は建造物（店舗を含む商用ビル、学校及び病院を含む公共の建物、工場、マンションを含む住宅、鉄塔、橋、ダム、遊園地、銅像等の人工的に建造された物、など）を示している。
ＧＰＳ１４は、ユーザからの撮像を指示する制御信号（例えば、撮像ボタンＢ１押下を検出した図示しない周辺回路が出力する制御信号）、あるいは情報検索を指示する制御信号（例えば、ユーザによって検索などを示すアイコン（標識）がタッチされることによりアイコンが選択されたことを検出した図示しない周辺回路が出力する制御信号）が入力されると、デジタルカメラ１の緯度・経度の情報を取得し、制御部１１に対して出力する。

方位センサ１６は、電子コンパス（地磁気センサ）などで構成され、ユーザからの撮像を指示する制御信号（例えば、撮像ボタンＢ１押下を検出した図示しない周辺回路が出力する制御信号）、あるいは情報検索を指示する制御信号（例えば、ユーザによって検索などを示すアイコン（標識）がタッチされることによりアイコンが選択されたことを検出した図示しない周辺回路が出力する制御信号）が入力されると、撮像部１３において例えば直列に配置されたＣＣＤ及びレンズにおいて、この直列方向の方位を検出し、方位情報として制御部１１に出力する。なお、方位センサ１６は、ユーザから見た被写体の方向（すなわち撮像方向）の方位を検出し、方位情報として制御部１１に出力してもよい。ここで、方位情報として方位角を採用する場合、例えば、位置情報の緯度経度を中心点とし、北を基準（０度）として、時計廻りに東（９０度）、南（１８０度）、西（２７０度）として、度・分・秒の単位で方位角を表現する。

制御部１１は、ユーザが撮像ボタンＢ１を押下する等の撮像を指示する制御信号が図示しない周辺回路から入力されると、撮像した画像データに画像識別情報を付し、この画像識別情報毎に撮像した画像データと、タイマ１８から取得した時刻データ、位置情報及び方位情報とを対応させて記憶部１５に撮像順に書き込む。
表示部１７は、撮像部１３が撮像している画像データ、またはユーザにより表示する画像として選択されて制御部１１が記憶部１５から読み出した画像データを表示する。
また、表示部１７は、後述するように、情報検索システム２から受信した画像データ、あるいはユーザが入力した文字データなどの表示を、上記制御部１１の制御により行う。
送受信部１２は、無線通信により無線基地局３と送受信を行い、情報通信網４を介して、情報検索システム２との間にて、画像データ、文字データあるいは制御信号などのデータの送受信を行う。

次に、情報検索システム２は、図１に示すように情報検索サーバ２１と、データベース２２とを有している。なお、データベース２２は、情報検索サーバ２１内の記憶媒体（例えば、メモリやＨＤＤなど）に設けられてもよいし、外付けの記憶媒体あるいは別の端末の記憶媒体に設けられてもよい。
データベース２２には、図２に示す建造物テーブルのように、建造物を識別するための建造物識別情報と、建造物の名称である建造物名称と、建造物情報（住所、電話番号、種別、建造物を中心とした周辺画像データなどの情報）と、建造物の緯度経度などによる位置情報と、建造物の説明（店舗であれば店が記載する情報）と、投稿情報（訪れたユーザの評価などのコメント、及びユーザの投稿した画像データ等）とが記憶されている。

また、データベース２２には、緯度経度を２次元平面の座標軸とし、登録されている各建造物が配置された地図データを記憶している。ここで、この地図データにおいては、各建造物が上記建造物識別情報により対応する緯度経度の位置に示されている。
情報検索サーバ２１は、入力される上記位置情報及び上記方位情報を用い、位置情報の示した緯度経度の位置から、方位情報の示す方向において、最も近い距離にある建造物を探索し、探索された建造物の建造物識別情報を取得する。
また、情報検索サーバ２１は、探索して取得した建造物の建造物識別情報に対応する建造物を、上記建造物テーブルから検索し、検索された建造物の各情報（建造物名称、建造物情報、など）をデジタルカメラ１に送信する。なお、情報検索サーバ２１は、デジタルカメラ１に送信する上記の建造物の各情報を、例えば送受信データ容量などの必要に応じて、選択的に送信するようにしてもよい。その場合、情報検索サーバ２１は、上記の建造物の各情報のうち残りの情報を、所定の操作（例えば、デジタルカメラ１からの要求など）などによって再度デジタルカメラ１に送信するようにしてもよい。

＜デジタルカメラ１で撮像している画像の情報検索＞
次に、図１及び図３、並びに図４から図６を用いて本実施形態の動作を説明する。図３はデジタルカメラ１を建造物に向けて撮像している状態で情報検索を行いたい場合の本実施形態における情報検索処理の動作例を示すフローチャートである。図４から図６は、デジタルカメラ１の表示部１７に表示される画面及びデジタルカメラの撮像ボタンＢ１の配置を示した図である。
以下の説明において、例えば、ユーザが繁華街を歩きながら、夕食を食べるレストランを探索している状態にて説明する。
ユーザは繁華街を徘徊しつつ、気に入った外観のレストランに対し、デジタルカメラ１のレンズを向け（ステップＳ１）、情報を得たい外観のレストランを見つけた場合、図４に示されるように、デジタルカメラ１の画像表示欄ＭＰに設けられているブラウズアイコンＩ１をタッチする（押下する）ことによりブラウズアイコンＩ１が選択される（ステップＳ２）。
このとき、制御部１１は、上記撮像状態において、撮像部１３から入力される、撮像部１３が撮像している画像データを、図４に示すように、画像表示欄ＭＰに撮像しているレストランの画像データを表示部１７を介して表示する。なお、本実施形態における画像表示欄ＭＰ（画像表示部）は、タッチパネル（例えば、感圧タイプ、静電タイプや音波タイプなどを含む）で構成されている。
なお、上述のステップＳ２は、デジタルカメラ１の撮像ボタンＢ１を押下した後に、撮像された上記レストランの画像が表示される画像表示欄ＭＰを見ながらブラウズアイコンＩ１をタッチして選択するようにしてもよい。

ブラウズアイコンＩ１がタッチされることにより、図示しない周辺回路から制御部１１に対してブラウズアイコンＩ１が選択されたことを示す信号が出力される。
そして、制御部１１は、入力されるブラウズアイコンＩ１が選択されたことを示す信号により、ブラウズアイコンＩ１が選択されたことを検出し、撮像部１３の撮像している上記レストランの画像データに画像識別情報を付与し、この画像識別情報に対応させ、画像データと撮像した時刻とを記憶部１５に対して書き込み、この画像データを記憶させる（ステップＳ３）。

また、制御部１１は、ブラウズアイコンＩ１がタッチされた際、ＧＰＳ１４が取得した位置情報と、方位センサ１６が取得した方位情報とを、関連情報として上記画像識別情報に対応させ、記憶部１５に書き込み、記憶させる（ステップＳ４）。
そして、制御部１１は、画像データ及び上記関連情報を記憶部１５に書き込んだ後、デジタルカメラ１を識別するためのカメラ識別情報（ユーザに付与されたユーザの識別情報あるいはデジタルカメラ１に付与された識別情報）と、上記位置情報と、上記方位情報とを含む検索依頼信号を、送受信部１２を介して情報検索システム２へ送信する（ステップＳ５）。なお、制御部１１は、上述のステップＳ３〜ステップＳ５において、上記画像データ及び上記関連情報などを記憶部１５に書き込まずに送受信部１２を介して上記検索依頼信号を情報検索システム２へ送信するようにしてもよい。

次に、情報検索システム２において、サーバ２１は、デジタルカメラ１から上記検索依頼信号を受信すると、検索依頼信号に含まれる位置情報及び方位情報をもとにデータベース２２の地図データから検索対象の建造物を抽出する。そして、サーバ２１は、この建造物識別情報により図２の建造物テーブルから、当該建造物のテーブルにおける各情報を、建造物識別情報を含めて検索結果情報としてデジタルカメラ１に対して送信する（ステップＳ７）。このとき、一例として、サーバ２１は、検索依頼信号が送受信部１２を介してデジタルカメラ１から送信される場合に付加されるデジタルカメラ１のネットワーク上のアドレスを読み出し、このアドレスに対して検索結果情報を送信する。なお、上述のステップＳ７においては、サーバ２１は、データベース２２に記憶されるユーザ登録テーブルにおいて、検索依頼信号に含まれるカメラ識別情報が上記ユーザ登録テーブルに登録されていることが検出された場合のみ、検索依頼信号に含まれる位置情報及び方位情報をもとにデータベース２２の地図データから検索対象の建造物を抽出するようにしてもよい。この場合、サーバ２１は、検索依頼信号に含まれるカメラ識別情報が上記ユーザ登録テーブルに登録されていないことを検出した場合、例えば、カメラ識別情報に基づくユーザ登録が必要であることの情報をデジタルカメラ１に対して送信するようにすればよい。

そして、デジタルカメラ１において、制御部１１は、送受信部１２を介して上記検索結果情報を情報検索システム２から受信すると、図５に示すように、表示部１７を介して情報表示欄ＳＰに建物情報(対象物に関する情報)を表示する（ステップＳ８）。例えば、建造物がレストランの場合、どのような種類（中華、和風、フレンチ、イタリアンなど）のレストランかの情報と、レストランの電話番号と、住所となどが表示される。なお、図５に示す情報表示欄ＳＰは、本実施形態における一例であって、上記レストランの画像に情報表示欄ＳＰの一部が重なるように表示してもよい。また、情報表示欄ＳＰは、上記の画像表示欄ＭＰの一部であって、例えば上述のブラウズアイコンＩ１や後述のＣＭアイコンＩ２などがタッチされて選択されることにより表示される。
また、ユーザがＣＭアイコンＩ２をタッチすると、上記周辺回路はＣＭアイコンＩ２が選択されたことを示す信号を制御部１１に出力する。
これにより、制御部１１は、ＣＭアイコンＩ２が選択されたことを、上記ＣＭアイコンＩ２が選択されたことを示す信号が入力されることにより検出し、検索結果情報に含まれるレストランのコマーシャル情報（メニューや、席数や、店内画像や、シェフの今日のおすすめ料理など）を、表示部１７を介して情報表示欄ＳＰに表示する。また、このコマーシャル情報に店内画像などの画像データが含まれている場合、制御部１１は、その画像データを情報表示欄ＳＰに表示する。

また、ユーザが投稿閲覧アイコンＩ３をタッチすると、上記周辺回路は投稿閲覧アイコンＩ３が選択されたことを示す信号を制御部１１に出力する。
これにより、制御部１１は、投稿閲覧アイコンＩ３が選択されたことを、上記投稿閲覧アイコンＩ３が選択されたことを示す信号が入力されることにより検出し、検索結果情報に含まれる他のユーザの書き込んだ投稿情報（コメント）を、情報表示欄ＳＰに表示部１７を介して表示する。
そして、上記の投稿情報が複数ある場合、制御部１１は、例えば、投稿された日付順に複数の投稿情報を情報表示欄ＳＰに表示する。

この投稿情報には画像データも含まれ、他のユーザの撮像した各料理の写真や店の内部の画像データが含まれている場合、制御部１１は、この画像データを表示部１７を介して情報表示欄ＳＰに表示する。
そして、例えば、制御部１１は、図５において、情報表示欄ＳＰの左端から右方向にスライドするようにタッチされたことを示す信号を検出した場合、情報表示欄ＳＰの表示を終了して、図４のように画像表示欄ＭＰに上記レストランの画像を表示部１７を介して表示する。なお、例えば、制御部１１は、情報表示欄ＳＰに投稿情報を表示中で、投稿閲覧アイコンＩ３が選択されたことを示す信号を検出した場合に、情報表示欄ＳＰの表示又は投稿情報の表示を終了するようにしてもよい。

また、例えば、制御部１１は、情報表示欄ＳＰに建物情報を表示した後にコマーシャル情報（又は投稿情報）を表示させる際に、建物情報と一緒にコマーシャル情報を表示してもよいし、建物情報を情報表示欄ＳＰから消した後にコマーシャル情報を表示するようにしてもよい。
なお、制御部１１は、情報表示欄ＳＰに表示されたその店内画像などをタッチされたことを示す信号を検出すると、その店内画像の拡大画像又は縮小画像を情報表示欄ＳＰ（又は画像表示欄ＭＰ）に表示する。

また、ユーザがメールアイコンＩ４をタッチすると、上記周辺回路はメールアイコンＩ４が選択されたことを示す信号を制御部１１に出力する。
これにより、制御部１１は、メールアイコンＩ４が選択されたことを、上記メールアイコンＩ４が選択されたことを示す信号が入力されることにより検出し、図６に示すような入力欄ＩＰを、表示部１７を介して画像表示欄ＭＰの一部に表示する。ここで、入力欄ＩＰは、ユーザが情報などを入力するテキスト欄Ｔと、タッチ画面型キーボード部Ｋと、で構成されている。この入力欄ＩＰは、ユーザが、後述する投稿情報、店舗名や年度を入力する際などに使用される。
ユーザは入力欄ＩＰのテキスト欄Ｔに自身の食べた料理や、店内の雰囲気、あるいは店員のサービスの質などの投稿情報をタッチ画面型キーボード部Ｋを用いて記入する。そして、ユーザが、再度メールアイコンＩ４をタッチすることにより、制御部１１は、メールアイコンＩ４が選択されたことを検出し、テキスト欄Ｔに記載されている文字情報及び画像表示欄Ｐに表示されている画像データを、カメラ識別情報及び建造物識別情報とともに投稿情報とし、その投稿情報を含む検索依頼信号を送受信部１２を介して情報検索システム２に送信する。
そして、サーバ２１は、デジタルカメラ１から上記検索依頼信号を受信すると、データベース２２の建造物テーブルの投稿欄に対して、建造物識別情報に対応させて入力された新たな投稿情報を書き込む。なお、サーバ２１は、投稿記入欄Ｇ３に記入された投稿情報をデータベース２２の建造物テーブルの投稿欄に書き込む前に、データベース２２におけるユーザ登録テーブルにおいて、検索依頼信号に含まれるカメラ識別情報の有無を検出し、カメラ識別情報が登録されていることが検出された場合にのみ、上述の投稿情報をデータベース２２の建造物テーブルの投稿欄に書き込むようにしてもよい。

次に、制御部１１は、終了アイコンＥが選択されたか否かの検出を行う（ステップＳ９）。ここで、ユーザが上記終了アイコンＥをタッチすると、上記周辺回路は終了アイコンＥが選択されたことを示す信号を制御部１１に出力する。
そして、制御部１１は、終了アイコンＥが選択されたことを示す信号が入力されることにより、終了アイコンＥが選択されたことを検出した場合、情報検索の処理を終了する。
一方、制御部１１は、終了アイコンＥが選択されたことを示す信号が入力されず、終了アイコンＥが選択されたことを検出しない場合、処理をステップＳ１に戻し、デジタルカメラ１の撮像処理及び情報検索処理を継続する。

また、制御部１１は、ブラウズアイコンＩ１が選択された際に、情報検索システム２に送信する検索依頼信号に対して、撮像した画像データを含めるようにしても良い。
そして、サーバ２１は、地図データから抽出された建造物の建造物識別情報により、建造物テーブルから検索された建造物情報の周辺画像データと、送信される画像データとを、画像認識により比較し、画像データから特徴量を抽出し、記憶されている周辺画像データの特徴量と比較し、類似度が設定された数値以上であるか否かの検出により、撮像した建造物に対応しているか否かの判定を行うように構成しても良い。
この際、比較結果として周辺画像データの建造物と、画像データの建造物とが同様でないと判定した場合、サーバ２１は、位置情報及び方位情報により次に距離的に近い建造物を地図データから抽出し、再度特徴量の比較を行い、新たに抽出された建造物の周辺画像データが撮像している画像データと類似性の評価を行うようにしても良い。

なお、本実施形態におけるブラウズアイコンＩ１は、上述の撮像ボタンＢ１と同様に、ブラウズボタン（不図示）として撮像装置１に設けられてもよい。この場合、上記ブラウズボタンの機能は、上述のブラウズアイコンＩ１の機能と同様である。また、本実施形態における撮像ボタンＢ１は、不図示のスイッチ部を操作することによって、ブラウズボタンとして機能するようにしてもよい。この場合、ブラウズアイコンＩ１又はブラウズボタンは不要である。

＜デジタルカメラ１で撮像した後における画像の情報検索＞
次に、図１及び図７、並びに図４から図６を用いて本実施形態の動作を説明する。図７はデジタルカメラ１により、建造物を撮像した後、記憶部１５に記憶されている画像データを読み出し、その画像データに対する情報検索を行う場合において、本実施形態における情報検索処理の動作例を示すフローチャートである。
以下の説明において、例えば、ユーザが新宿の繁華街を徘徊しつつ、夕食を食べるレストランを探索し、いくつかのレストランの画像データを撮像してから、そのなかから食事をするレストランを探す状態を示す例を示す。

ユーザは繁華街を徘徊しつつ、気に入った外観のレストランに対してデジタルカメラ１を向け（ステップＳ１１）、後に情報検索を行いたい外観のレストランを見つけると、デジタルカメラ１に設けられている撮像ボタンＢ１（シャッター）を押下する（ステップＳ１２）。ここで、制御部１１は、撮像部１３の撮像している画像データを、図４に示すように表示部１７の画像表示欄Ｐに撮像しているレストランの画像データを表示する。

次に、ユーザにより撮像ボタンＢ１が押下されることにより、周辺回路は撮像ボタンが押下されたことを示す信号を制御部１１に対して出力する。
そして、制御部１１は、撮像ボタンＢ１が押下されたことを示す信号が入力されることにより、撮像ボタンＢ１が押下されたことを検出し、撮像部１３の撮像している上記レストランの画像データに画像識別情報を付与し、この画像識別情報に対応させ、画像データと撮像した時刻とを記憶部１５に対して書き込んで記憶させる（ステップＳ１３）。
そして、制御部１１は、撮像ボタンＢ１が押下された時点において、ＧＰＳ１４が取得した位置情報と、方位センサ１６が取得した方位情報とを、上記画像識別情報に対応させ、記憶部１５に書き込み、記憶させる（ステップＳ１４）。

次に、ユーザが撮像したレストランの情報収集を行う場合、ユーザは、撮像した画像の読み出しアイコンＲをタッチする。これにより、周辺回路は、読み出しアイコンＲが選択されたことを示す信号を制御部１１に対して出力する。
ここで、制御部１１は、読み出しアイコンＲが選択されたことを示す信号が入力されるか否かにより、記憶部１５に画像が記憶されているか否かの判定を行う（ステップＳ１５）。
このとき、読み出しアイコンＲが選択されたことを示す信号が入力されると、制御部１１は、読み出しアイコンＲが選択されたことを検出し、情報の探索を開始するため、処理をステップＡ１６へ進める。なお、読み出しアイコンＲは、読み出しボタン（不図示）としてもよい。その場合、読み出しボタンは、撮像ボタンＢ１のようにデジタルカメラ１本体に設ければよい。
一方、読み出しアイコンＲが選択されたことを示す信号が入力されない場合又は記憶部１５に画像が記憶されていない場合、制御部１１は、新たな撮像処理を行うため、処理をステップＳ１１の状態に戻す。

そして、制御部１１は、ユーザが読み出しアイコンＲをタッチして、周辺回路から読み出しアイコンＲが選択されたこと示す信号が入力されると、記憶部１５から時系列に撮像した順番に、画像データを順次読み出し（ステップＳ１６）、画像データをサムネイル画像として予め設定した枚数毎に（又は画像データを１枚ずつ）、表示部１７を介して画像表示欄ＭＰに表示する。
また、１ページにサムネイル画像が入りきらない場合（或いは１枚ずつ表示する場合）、ユーザが画像表示欄ＭＰに表示された画像を所定の方向にスライドさせるようにタッチすると、前ページ又は次ページのサムネイル画像を画像表示欄ＭＰに表示する。この時、制御部１１は、画像表示欄ＭＰに表示された画像が所定の方向にスライドさせるようにタッチされたことを示す信号を検出することで、前ページ又は次ページのサムネイル画像を画像表示欄ＭＰに表示部１７を介して表示する。

次に、ユーザが例えばサムネイル画像のなかから興味あるレストランの画像をタッチにより選択し、さらに、ブラウズアイコンＩ１をタッチすると、周辺回路は選択された画像識別信号とともに、ブラウズアイコンＩ１が選択されたことを示す信号を制御部１１に対して出力する。
これにより、制御部１１は、ブラウズアイコンＩ１が押下されたことを示す信号が入力されると、選択された画像データの画像識別情報により、記憶部１５からこの画像識別情報に対応する位置情報及び方位情報を読み出し、カメラ識別情報、位置情報及び方位情報とを含む検索依頼信号を、送受信部１２を介して情報検索システム２へ送信する（ステップＳ５）。

以下の、ステップＳ６〜ステップＳ８の処理については、図３におけるステップＳ６〜ステップＳ８の処理と同様のため、説明を省略する。
次に、制御部１１は、終了アイコンＥが選択されたか否かの検出を行う（ステップＳ１８）。このとき、制御部１１は、ユーザにより終了アイコンＥがタッチされて、周辺回路から終了アイコンＥが選択されたことを示す信号が入力された場合、ブラウズの処理を終了する。一方、制御部１１は、終了アイコンＥが選択されたことを示す信号が入力されない場合、処理をステップＳ１６に戻し、サムネイル画像からの画像の選択処理を継続する。

＜デジタルカメラ１に入力した店舗情報からの情報検索＞
次に、図１及び図８、並びに図４から図６を用いて本実施形態の動作を説明する。図８はデジタルカメラ１に対して、ユーザが店舗名を入力することにより、データベース２２に記憶されている対応する店舗名の図２の建造物テーブルから、入力した店舗名のレストランなどの情報検索を行いたい場合において、本実施形態における情報検索処理の動作例を示すフローチャートである。
以下の説明において、例えば、原宿にて夕食を行う場合、知人から聞いたレストランの情報を確認する状態を示す。
ユーザが検索アイコンＩ５をタッチにより選択すると、上記周辺回路は検索アイコンＩ５が選択されたことを示す信号を制御部１１に出力する。
これにより、制御部１１は、検索アイコンＩ５が選択されたことを、上記検索アイコンＩ５が選択されたことを示す信号が入力されることにより検出し、図６に示すような入力欄ＩＰを、表示部１７を介して画像表示欄ＭＰの一部に表示する。
そして、ユーザが入力欄ＩＰのテキスト欄Ｔに対し、タッチ画面型キーボード部Ｋを用いて検索を行いたいレストランの店舗名を書き込み（ステップＳ２１）、ユーザが検索アイコンＩ５を再度タッチする（ステップＳ２２）。

これにより、周辺回路は検索アイコンＩ５が選択されたことを示す信号とともに、テキスト欄Ｔに入力された店舗名の文字データを制御部１１に対して出力する。
そして、制御部１１は、検索アイコンＩ５が選択されたことを示す信号の入力により、検索アイコンＩ５が選択されたことを検出し、上記テキスト欄Ｔに入力された店舗名の文字データを読み込み、自身のカメラ識別情報とともに、検索依頼信号として、情報検索システム２に対して、この検索依頼信号を送受信部１２を介して送信する（ステップＳ２３）。
次に、サーバ２１は、上記検索依頼信号を入力すると、データベース２２における建造物テーブルから、上記店舗名に対応する建造物（店舗）の情報（店舗情報、図２のテーブルにおける各情報）を読み出す（ステップＳ２４）。

上記店舗情報を読み込んだ後、サーバ２１は、この取得した上記店舗情報をデジタルカメラ１へ送信する（ステップＳ２５）。
店舗情報が送受信部１２を介して受信されると、制御部１１は、表示部１７を介して、図５の画像表示欄ＭＰに建造物情報に含まれる店舗周辺の画像データを表示するとともに、情報表示欄ＳＰに建物情報を表示する（ステップＳ２６）。例えば、レストランが、どのような種類（中華、和風、フレンチ、イタリアンなど）であるかの情報と、電話番号となどが表示される。
また、ユーザがＣＭアイコンＩ２をタッチにより選択すると、制御部１１は、ＣＭアイコンＩ２が選択されたことを検出し、検索結果情報に含まれるレストランのコマーシャル情報（メニューや、シェフの今日のおすすめ料理など）を、情報表示欄ＳＰに表示部１７を介して表示する。

また、ユーザが投稿閲覧アイコンＩ３をタッチにより選択すると、周辺回路は投稿閲覧アイコンＩ３が選択されたことを示す信号を制御部１１に対して出力する。
制御部１１は、投稿閲覧アイコンＩ３が選択されたことを示す信号が入力されることにより、投稿閲覧アイコンＩ３が選択されたことを検出し、検索結果情報に含まれる他のユーザの書き込んだ投稿情報を、情報表示欄ＳＰに表示部１７を介して表示する。

なお、制御部１１は、複数の投稿情報がある場合、その複数の投稿情報を順次、情報表示欄ＳＰに表示部１７を介して表示する。また、制御部１１は、投稿情報に画像データも含まれる場合、この画像データを情報表示欄ＳＰに表示部１７を介して表示する。

そして、制御部１１は、終了アイコンＥが選択されたか否かの検出を行う（ステップＳ２７）。この終了アイコンＥの選択の検出は、＜デジタルカメラ１で撮像している画像の情報検索＞におけるステップＳ９の処理と同様であるため、説明を省略する。
このとき、制御部１１は、ユーザが終了アイコンＥをタッチにより終了アイコンＥが選択されたこと示す信号が周辺回路から入力された場合、ブラウズの処理を終了する。一方、制御部１１は、終了アイコンＥが選択されたことを示す信号が入力されない場合、処理をステップＳ２１に戻し、店舗の情報の検索を継続する。

＜データベース２２に登録してある店舗に対する課金処理＞
データベース２２の建造物テーブルは、上述した建造物が店舗（レストランや会社も含む）である場合、この店舗毎に割引クーポンのデータが記憶されている構成としてもよい。
そして、サーバ２１は、検索結果情報に割引クーポン情報を付加し、デジタルカメラ１へ送信する。
ユーザが上記割引クーポン情報を用いて、食事をしたり、買い物をしたりすると、サーバ２１は、割引クーポン情報の使用の有無からユーザが食事あるいは買い物をしたかの有無を検出する。例えば、上記割引クーポン情報がデジタルカメラ１の情報表示欄ＳＰに表示されるバーコード（２次元バーコードを含む）などの場合、店舗の読み取り機がそのバーコードを読み取り、デジタルカメラ１から送信されるカメラ識別情報、及び買い物（または食事）の料金ととともに、割引クーポン情報が使用されたことを示す利用情報を情報検索システム２へ送信する。

これにより、サーバ２１は、上記利用情報を受信すると、この利用情報に付加されたカメラ識別情報に対応する履歴情報を、データベース２２から読み出し、情報検索をして店舗を利用したのか、また店舗の提供する情報を見て店舗を利用したのか、あるいは投稿情報をみて店舗を利用したのかの情報の利用段階において、すなわち、データベース２２の情報をどの程度利用したかに応じた情報提供料として、ユーザが利用した店舗に対して異なる課金を行う。また、サーバ２１は、カメラ識別情報毎に、情報検索を行った段階、及び割引クーポン情報を利用した履歴を、データベース２２に記憶される履歴テーブルに書き込む。

このバーコードには店舗を示す建造物識別情報が含まれている。データベース２２には、この建造物識別情報に対応させた、各店舗に対応する課金の履歴と、課金の積算値とを記憶する課金テーブルが設けられている。
そして、サーバ２１は、建造物識別情報に対応して、利用した金額及び上記情報の利用段階とに対応する課金を、上記課金テーブルに履歴として書き込み、積算値に新たな課金を加算して積算値の更新を行う。

＜ユーザに対するポイントの付加処理＞
サーバ２１は、ユーザが割引クーポン情報を店舗で利用する毎に、割引クーポン情報を用いた際の利用金額に応じた（例えば、利用金額にポイント係数を乗して計算した）ポイントを求め、データベース２２におけるユーザ登録テーブルにおいて、求めたポイントを、カメラ識別情報に対応して積算する。
また、サーバ２１は、投稿情報を送信してきたユーザに対し、予め設定された値のポイントを、上記ユーザ登録テーブルに、カメラ識別情報に対応して積算する。
上記ポイントはお金の代わりに、代金支払いにおいて割引クーポン情報とともに使用することができる。

＜投稿情報の表示順番＞
ここで、サーバ２１は、デジタルカメラ１に対して、最初の段階において投稿情報として、ニックネームと表題とを、投稿識別情報とともに送信するようにしてもよい。
そして、制御部１１は、最初に情報表示欄ＳＰにニックネームと表題のみを複数表示する。そして、ユーザは、その複数表示されたなかから、気になる投稿情報のニックネームと表題とをタッチして選択する。これにより、周辺回路は、ニックネームと表題とが選択されたことを示す信号と、選択された投稿情報の投稿識別情報を制御部１１に対して送信する。
これにより、制御部１１は、情報検索システム２に対して、投稿識別情報とともに投稿情報送信依頼を送信する。

これにより、サーバ２１は、送信された投稿識別情報に対応する文字データ及び画像データ（投稿情報の全体）をデジタルカメラ１に対して送信する。
ここで、サーバ２１は、各投稿情報に対して、識別のための投稿識別情報を付与し、カメラ識別情報と対応させて、ユーザ登録テーブルに書き込んで記憶させている。
なお、本実施形態においては、制御部１１は、情報検索システム２からの文字データ及び画像データを、送受信部１２を介して受信すると、情報表示欄ＳＰに文字データを表示し、画像データを画像表示欄ＭＰに表示してもよい。

また、サーバ２１は、ユーザ登録テーブルにおいて、参照された投稿情報に対応する投稿識別情報をユーザ登録テーブルから検索し、この投稿識別情報に対応したカメラ識別情報の参照回数をインクリメントする。
そして、サーバ２１は、ユーザに投稿情報を選択させる、最初のニックネーム及び表題の表示段階において、投稿情報の選択された回数の多い順に、すなわち参照回数の多いユーザのニックネームと表題とを、情報表示欄ＳＰに表示する順位を上位とした表示リストを、デジタルカメラ１へ送信する。
これにより、制御部１１は、上記表示リストに従い、情報表示欄ＳＰにニックネームと表題を順次表示する。

＜過去の画像データの表示処理＞
また、本実施形態においては、データベース２２は、各緯度経度における建物及び風景が年度ごとに撮影された画像データが、緯度経度毎に対応して記憶された過去画像テーブルを有するようにしてもよい。
ユーザが過去画像アイコンＩ６をタッチにより選択すると、上記周辺回路は過去画像アイコンＩ６が選択されたことを示す信号を制御部１１に出力する。
これにより、制御部１１は、過去画像アイコンＩ６が選択されたことを、上記過去画像アイコンＩ６が選択されたことを示す信号が入力されることにより検出し、図６に示すような入力欄ＩＰを、表示部１７を介して画像表示欄ＭＰの一部に表示する。
そして、ユーザは、テキスト欄Ｔにタッチ画面型キーボード部Ｋを用いて年度（例えば、西暦）を記入した後、過去画像アイコンＩ６（又はブラウズアイコンＩ１）をタッチする。

これにより、周辺回路は、過去画像アイコンＩ６が選択されたことを示す信号とともに、上記年度の文字データを制御部１１へ送信する。
制御部１１は、過去画像アイコンＩ６が選択されたことを示す信号を検出すると、テキスト欄Ｔに記入された年度を示す文字データを読み込む。
年度のデータを読み込んだ後、制御部１１は、過去画像検索要求を、読み込んだ年度と、位置情報と、方位情報と、カメラ識別情報とともに、情報検索システム２へ送信する。

次に、情報検索システム２において、サーバ２１は、画像表示欄Ｐに表示されているデジタルカメラ１から受信した建造物の位置情報に基づく緯度経度に対応する過去画像テーブルを選択する。そして、サーバ２１は、この選択された過去画像テーブルにおける方位情報及び年度に対応する画像データを読み込み、読み出した画像データをデジタルカメラ１に送信する。デジタルカメラ１は、サーバ２１から受信した上記年度に対応する画像データを画像表示欄ＭＰに表示部１７を介して表示する。なお、サーバ２１は、上記読み出した画像に対する情報などを付加されている場合には、読み出し画像データとともに、その情報もデジタルカメラ１に送信する。
これにより、ユーザは、過去の各年度にどのような建造物があったのか、あるいは何もなく風景のみであったのかなどの情報を得ることができる。

ここで、サーバ２１は、対応する緯度経度の過去画像テーブルが検索できない場合、方位情報の方向にある緯度経度であり、かつ最も近い緯度経度の過去画像テーブルを検索し、これから画像データの抽出を行う。
また、写真が無い時代であれば、その時代にかかれた風景画、あるいは想像して作成されたＣＧ（Computer Graphics）の画像データを、写真の画像データに代えて、年度に対
応して、記憶部１５の上記過去画像テーブルに記憶させておいても良い。

一実施形態は、被写体を撮像する際に、被写体を撮像する位置の情報を取得し、被写体と位置の情報とを対応付ける機能を有する携帯情報機器、撮像装置、及びその情報を用いて被写体の情報を取得する情報取得システムに関する。
一実施形態において、ユーザが撮影位置からいずれの方向にある被写体を撮影したかを知るための方位情報（例えば、方位角）を得ることができる。
一実施形態において、ユーザが撮影している被写体、例えば建造物がどのようなものであるかの情報を、容易に得ることができる。
一実施形態において、ユーザが被写体を撮影した撮影位置の位置情報だけではなく、上記位置情報取得部の取得した位置情報の示す位置からいずれの方向を向いて撮像しているかを示す方位情報を得ることができるため、撮像した被写体の方角、すなわちユーザが撮像装置を、向けている方向を特定することが可能となる。
一実施形態において、被写体を撮像した位置情報と、方位情報とを得ることができるため、ユーザが撮像装置により撮像した被写体としての建造物の情報を、撮像した位置情報及び方位情報からデータベースを検索することにより容易に得ることが可能となる。

１…デジタルカメラ
２…情報検索システム
３…無線基地局
４…情報通信網
１１…制御部
１２…送受信部
１３…撮像部
１４…ＧＰＳ
１５…記憶部
１６…方位センサ
１７…表示部
１８…タイマ
２１…サーバ
２２…データベース

Claims (36)

1. 画像センサと、位置情報を取得する位置情報取得部と、前記画像センサによって生成された対象物のリアルタイム画像と前記対象物に関する関連情報とを同時に表示する表示部と、前記位置情報及び前記リアルタイム画像を外部へ送信する制御部とを備える携帯情報機器と、
   前記対象物の位置情報、前記関連情報、及び前記対象物に関する画像を記憶しているデータベースと、前記リアルタイム画像に対する画像認識の結果に基づいて前記データベースから前記関連情報を取得するサーバとを備える情報検索システムと、を備え、
   前記サーバは、前記位置情報の示す位置又は該位置から近い位置に基づく前記対象物を検索し、検索された前記対象物の画像と前記リアルタイム画像とを比較した結果をもとに前記関連情報を取得する、
   情報取得システム。
2. 前記サーバは、前記リアルタイム画像が前記表示部に表示されている間に、前記リアルタイム画像の画像認識を実行し、前記画像認識によって抽出した前記リアルタイム画像の特徴量をもとに前記関連情報を取得する、
   請求項１に記載の情報取得システム。
3. 前記制御部は、前記サーバから取得した前記関連情報を前記表示部の情報表示欄に表示させる、
   請求項１又は請求項２に記載の情報取得システム。
4. 前記サーバは、前記携帯情報機器の前記表示部に表示されたアイコンが選択されたことを示す信号に基づいて、前記関連情報を取得する、
   請求項１から請求項３のいずれか一項に記載の情報取得システム。
5. 前記データベースは、ユーザを識別する識別情報が登録されたユーザ登録テーブルを含み、
   前記サーバは、前記携帯情報機器から受信する前記識別情報が前記ユーザ登録テーブルに登録されている場合、前記関連情報を取得する、
   請求項１から請求項４のいずれか一項に記載の情報取得システム。
6. 前記サーバは、前記関連情報とは異なる新たな第２の関連情報を取得して、前記第２の関連情報を前記携帯情報機器へ送信する、
   請求項１から請求項５のいずれか一項に記載の情報取得システム。
7. 前記関連情報は、クーポン情報、投稿情報、過去情報、又はコマーシャル情報を含む、
   請求項１から請求項６のいずれか一項に記載の情報取得システム。
8. 前記関連情報は、他のユーザからの投稿情報を含む、
   請求項１から請求項７のいずれか一項に記載の情報取得システム。
9. 前記関連情報に投稿情報が含まれる場合、
   前記制御部は、前記関連情報のうちの前記投稿情報の一部を取得し、取得した当該一部を前記表示部に表示する、
   請求項１から請求項８のうちいずれか一項に記載の情報取得システム。
10. 前記制御部は、取得した前記一部がユーザにより選択された場合、前記一部に対応する前記投稿情報の全部を取得し、取得した前記投稿情報を前記表示部に表示する、
    請求項９に記載の情報取得システム。
11. 前記サーバは、取得した前記関連情報をそのデータ容量に基づき選択的に送信する、
    請求項１から請求項１０のいずれか一項に記載の情報取得システム。
12. 画像センサと、
    位置情報を取得する位置情報取得部と、
    前記画像センサによって生成された対象物のリアルタイム画像と前記対象物に関する関連情報とを同時に表示する表示部と、
    前記リアルタイム画像に対する画像認識の結果と前記位置情報とに基づく前記関連情報を取得する制御部と、
    を備える携帯情報機器。
13. 前記制御部は、前記画像認識によって抽出した前記リアルタイム画像の特徴量をもとに前記関連情報を取得する、
    請求項１２に記載の携帯情報機器。
14. 前記制御部は、前記位置情報の示す位置又は該位置から近い位置に基づく前記対象物の画像と前記リアルタイム画像とを比較した結果をもとに検索された前記関連情報を取得する、
    請求項１２又は請求項１３に記載の携帯情報機器。
15. 前記制御部は、前記リアルタイム画像の画像認識から前記リアルタイム画像の特徴量を算出し、前記特徴量をもとに前記関連情報を取得する、
    請求項１２から請求項１４のいずれか一項に記載の携帯情報機器。
16. 前記制御部は、前記関連情報を前記表示部に表示している間に、ユーザが選択可能な複数のアイコンを前記表示部に表示させる、
    請求項１２から請求項１４のいずれか一項に記載の携帯情報機器。
17. 前記制御部は、前記アイコンのうちユーザにより選択されたアイコンに基づく前記関連情報を取得する、
    請求項１６に記載の携帯情報機器。
18. 前記表示部は、タッチパネルを備え、
    前記制御部は、前記タッチパネルに対する操作によって選択された前記アイコンに基づく関連情報を取得する、
    請求項１６又は請求項１７に記載の携帯情報機器。
19. 画像センサと、
    前記画像センサによって生成された対象物のリアルタイム画像と前記対象物に関する関連情報とを同時に表示する表示部と、
    前記リアルタイム画像に対する画像認識の結果に基づく前記関連情報を取得する制御部と、
    を備える携帯情報機器。
20. 前記制御部は、前記関連情報を前記表示部の情報表示欄に表示させる、
    請求項１２から請求項１９のいずれか一項に記載の携帯情報機器。
21. 前記表示部は、タッチパネルを備え、
    前記制御部は、前記表示部においてユーザによる当該タッチパネルに対するスライド操作を示す信号を検出した場合、前記情報表示欄の表示を終了させる、請求項２０に記載の携帯情報機器。
22. 前記制御部は、前記関連情報を表示することを示す信号を検出した場合、前記関連情報を前記表示部に表示させる、請求項１２から請求項２１のいずれか一項に記載の携帯情報機器。
23. 前記制御部は、前記表示部に表示されている前記関連情報をユーザが選択したことを示す信号を検出した場合、前記関連情報とは異なる情報を前記表示部に表示させる、請求項１２から請求項２２のいずれか一項に記載の携帯情報機器。
24. 前記制御部は、複数の前記関連情報がある場合、前記リアルタイム画像を前記表示部に表示している間に前記複数の前記関連情報を順次、前記表示部に表示する、
    請求項１２から請求項２３のいずれか一項に記載の携帯情報機器。
25. 方位情報を取得する方位情報取得部を備え、
    前記制御部は、前記方位情報と前記画像認識の結果とに基づく前記関連情報を取得する、
    請求項１２から請求項２４のいずれか一項に記載の携帯情報機器。
26. 方位情報を取得する方位情報取得部と、
    位置情報を取得する位置情報取得部と、
    を備え、
    前記制御部は、前記方位情報と前記位置情報とに基づく前記関連情報を取得する、
    請求項１９から請求項２４のいずれか一項に記載の携帯情報機器。
27. 前記制御部は、前記方位情報と前記位置情報とに基づいて、前記方位情報が示す方位において最も近い距離にある前記対象物の前記関連情報を取得する、
    請求項２５又は請求項２６に記載の携帯情報機器。
28. 前記関連情報は、クーポン情報、投稿情報、過去情報、又はコマーシャル情報を含む、
    請求項１２から請求項２７のいずれか一項に記載の携帯情報機器。
29. 前記関連情報は、他のユーザからの投稿情報を含む、
    請求項１２から請求項２８のいずれか一項に記載の携帯情報機器。
30. 前記対象物の前記リアルタイム画像を表示している間にユーザが前記対象物に対して投稿情報を入力する入力部を備える、
    請求項１２から請求項２９のいずれか一項に記載の携帯情報機器。
31. 前記対象物は、店舗であり、
    前記関連情報には、前記店舗の利用の有無を示す利用情報が含まれており、
    前記制御部は、前記利用情報に基づく課金処理を行う、
    請求項１２から請求項３０のいずれか一項に記載の携帯情報機器。
32. 請求項１２から請求項３１のいずれか一項に記載の携帯情報機器と、
    サーバと、
    を備える情報取得システム。
33. 画像センサと、位置情報を取得する位置情報取得部と、前記画像センサによって生成された対象物のリアルタイム画像と前記対象物に関する関連情報とを同時に表示する表示部と、前記位置情報及び前記リアルタイム画像を外部へ送信する制御部とを備える携帯情報機器と通信を行うサーバは、
    前記対象物の位置情報、前記関連情報、及び前記対象物に関する画像を記憶しているデータベースと、前記リアルタイム画像に対する画像認識の結果に基づいて前記データベースから前記関連情報を取得し、
    前記位置情報の示す位置又は該位置から近い位置に基づく前記対象物を検索し、
    検索された前記対象物の画像と前記リアルタイム画像とを比較した結果をもとに前記関連情報を取得する、
    サーバ。
34. 画像センサと、位置情報を取得する位置情報取得部と、前記画像センサによって生成された対象物のリアルタイム画像と前記対象物に関する関連情報とを同時に表示する表示部と、前記リアルタイム画像に対する画像認識の結果と前記位置情報とに基づく前記関連情報を取得する制御部と、を備える携帯情報機器と通信を行うサーバは、
    前記対象物の位置情報、前記関連情報、及び前記対象物に関する画像を記憶しているデータベースと、前記リアルタイム画像に対する画像認識の結果に基づいて前記データベースから前記関連情報を取得し、
    前記位置情報の示す位置又は該位置から近い位置に基づく前記対象物を検索し、
    検索された前記対象物の画像と前記リアルタイム画像とを比較した結果をもとに前記関連情報を取得する、
    サーバ。
35. 画像センサを備えた携帯情報機器のコンピュータに、
    位置情報を取得させるステップと、
    前記画像センサによって生成された対象物のリアルタイム画像と前記対象物に関する関連情報とを同時に表示部に表示させるステップと、
    前記リアルタイム画像に対する画像認識の結果と前記位置情報とに基づく前記関連情報を取得させるステップと、
    を実行させるためのプログラム。
36. 画像センサを備える携帯情報機器のコンピュータに、
    前記画像センサによって生成された対象物のリアルタイム画像と前記対象物に関する関連情報とを同時に表示部に表示させるステップと、
    前記リアルタイム画像に対する画像認識の結果に基づく前記関連情報を取得させるステップと、
    を実行させるためのプログラム。

Images