JP2009251774A - 物体関連情報提供システム，物体関連情報提供方法 - Google Patents

Abstract

【課題】撮像した角度を特定し、撮像した画像データに写された物体を識別し、その物体に関連する情報を提示する。
【解決手段】特定の撮像条件で撮像した物体１０１の撮像画像から求めた画像特徴量と、物体１０１を識別する物体識別子と撮像した際の撮像角度データを組み合わせた物体特徴識別子と、を管理する管理部１２５と、該物体識別子と物体１０１に関連する情報を管理する管理部１２７と、を予め準備する。サーバ装置１２０が、前記特定の撮像条件で撮像した撮像画像を受信し（１２１）、その受信した撮像画像の特徴量を計算する（１２３）。その撮像画像の特徴量と合致する画像特徴量を管理部１２５で探索し、物体特徴識別子を検出する（１２４）。その物体特徴識別子から物体識別子と撮像角度データを取り出し、管理部１２７で、該物体に関連する情報を抽出し、該物体識別子，該撮像角度データ，該物体に関連する情報を含むデータを作成する（１２６）。
【選択図】図１

Description

本発明は、画像認識技術を応用した物体関連情報提供システムに関するものである。

従来、屋外などの外界に存在する物体（即ち、外界物）に関する情報（例えば、位置情報）を提示する技術には、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎ（Ｐｏｓｉｔｉｏｎｉｎｇ） Ｓｙｓｔｅｍ）等の位置情報取得手段を端末装置に搭載し、現在位置と目的地までの道順を地図情報と該位置情報取得手段から取得した位置情報を連携させて利用者に提示する技術（例えば、特許文献１）が知られている。

ここで、従来技術における一般的な経路地図提示システムの構成を図１０に示すブロック図に基づいて説明する。

図１０中の経路地図提示システムは、ユーザ側端末装置１０３からネットワーク（例えば、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワーク）１０２を介して送信される位置情報及び目的地情報に対して、情報提供サーバ装置１４０がその位置情報及び目的地情報に基づいた経路情報を算出し、該経路情報を地図情報に重畳させた経路地図情報を提示するシステムである。

ユーザ側端末装置１０３は、予め備えられたＧＰＳ等の機能を用いてユーザ側端末装置１０３自体の位置を取得する位置情報取得部１１５，ユーザが目的地の位置（例えば住所等）の情報を、入力部（後述する）を使って入力する目的地入力部１１７，画像やテキストなどの情報をネットワーク１０２を介してサーバ装置等に転送（送信）するデータ送信部１１２，情報提供サーバ装置１４０から送信された経路地図情報を受信する画像情報受信部１１３，受信した経路地図情報を表示部（後述する）を使って表示する画像情報表示部１１４，キーボード装置などを含み、情報を入力する入力部（図示省略），表示装置（例えば、ディスプレイ装置）を含み、情報を表示する表示部，メモリやハードディスクドライブ装置などの一般的な記憶装置を含み、情報を記憶する記憶部（図示省略），各部を制御する制御部（図示省略；例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を含む制御部）を備え、例えば、コンピュータ，携帯情報端末装置，携帯電話などである。

情報提供サーバ装置１４０は、ユーザ側端末装置１０３から送信された位置情報及び目的地情報を受信するデータ受信部１２１，地図情報を格納し管理する地図ＤＢ（データベース）１４１，位置情報と目的地情報，地図ＤＢ１４１に格納された地図情報に基づいて、ユーザ側端末装置１０３の現在位置から目的地までの経路を示す経路情報を求める経路情報生成部１４２，地図情報上に前記経路情報を重畳させた経路地図情報を生成する画像情報管理部１２６，生成された経路地図情報をユーザ側端末装置１０３に対し送信する画像情報送信部１２８，記憶部（図示省略），各部を制御する制御部を備え、例えば、コンピュータである。

ユーザ側端末装置に目的地までの経路を提示する処理の流れ（即ち、従来技術を構成する各機能部における処理概要および処理の流れ）を図１１に基づいて説明する。

まず、ユーザ側端末装置１０３の位置情報取得部１１５が、位置情報、目的地入力部１１７が目的地情報を取得する（Ｓ２４１）。例えば、予め備えられた入力部から位置情報や目的地情報を入力し取得しても良い。

次に、ユーザ側端末装置１０３の制御部が得られた位置情報及び目的地情報を、データ送信部１１２を使って、情報提示サーバ装置１４０宛てにネットワーク１０２を介して送付する（Ｓ２２２）。

次に、情報提示サーバ装置１４０は、ユーザ側端末装置１０３から送信された情報（位置情報及び目的地情報）をデータ受信部１２１を使って受信し、受信した情報を経路情報生成部１４２に転送する（Ｓ２２３）。

次に、経路情報生成部１４２は、転送されたユーザ側端末装置１０３の位置情報と目的地情報，地図ＤＢ（Ｄａｔａｂａｓｅ；データベース）１４１に格納された地図情報に基づいて、ユーザ側端末装置１０３の現在位置から目的地までの経路を求め、その求めた結果（経路情報）を画像情報管理部１２６に転送する（Ｓ２４２）。

次に、画像情報管理部１２６は、地図情報上に、転送された現在地から目的地までの経路情報を重畳させたデータ（経路地図情報）を生成する（Ｓ２４３）。

次に、画像情報送信部１２８は、ネットワーク１０２を介してユーザ側端末装置１０３に画像情報管理部１２６で生成された経路地図情報を送信する（Ｓ２２６）。

次に、ユーザ側端末装置１０３の画像情報受信部１１３は、画像情報送信部１２８から送信されたデータ（経路地図情報）を受信する（Ｓ２２７）。

そして、画像情報表示部１１４は、受信したデータ（経路地図情報）を表示する（Ｓ２２８）。
特開平１０−２８９３９８号公報（段落［００１７］〜［００４４］等）。

しかしながら、上述の従来技術における経路地図提示システムには、以下のような課題があった。

地図情報と連動させて現在位置から目的地までの経路を提示する際、地図の上方向（例えば、北の方角）が、ユーザの向きと一致していない場合には、ユーザに混乱を生じさせてしまう可能性を有していた。

本発明は、前記課題に基づいてなされたものであって、撮像した方向あるいは角度あるいは方角（例えば、その画像データを撮像した撮像装置を持って、撮像しているユーザの向いている方向）を特定し、撮像した画像データに写された（あるいは、含まれる）物体（例えば、ランドマークとなるような建造物である外界構造物）を識別し、その物体に関連する情報を提示する物体関連情報提供システム，物体関連情報提供方法を提供することにある。

前記課題の解決を図るために、請求項１記載の発明は、特定の撮像条件に従って撮像した物体撮像画像から求めた画像特徴量と、該物体を識別する物体識別子と該物体を撮像した際の撮像角度を示す撮像角度データを組み合わせた物体特徴識別子と、を有する画像特徴量データを格納し管理する画像特徴量管理部と、前記物体識別子と該物体に関連する情報を有する画像関連情報データを格納し管理する画像関連情報管理部と、を備える画像認識処理サーバ装置に対し、端末装置が、前記特定の撮像条件と同じ撮像条件となるように、物体を撮像した撮像画像データを送信し、該画像認識処理サーバ装置から該撮像画像データに撮像された物体に関連する情報を受信させる物体関連情報提供システムであって、前記画像認識処理サーバ装置が、前記撮像画像データを受信するデータ受信部と、前記物体撮像画像から画像特徴量を求めたときと同じ方法で、前記受信した撮像画像データの画像特徴量を計算する特徴量計算部と、前記計算された前記撮像画像データの画像特徴量と合致もしくは類似する画像特徴量を前記画像特徴量管理部を使って探索し、その探索結果に応じた物体特徴識別子を検出する物体検出部と、前記検出された物体特徴識別子から物体識別子と撮像角度データを取り出し、前記画像関連情報管理部を使って、該物体識別子に対応づけられた物体に関連する情報を抽出し、該物体識別子，該撮像角度データ，該物体に関連する情報を含む外界構造物表示データを作成する画像情報管理部と、前記作成した外界構造物表示データを送信する画像情報送信部と、を備えることを特徴とする。

請求項２記載の発明は、特定の撮像条件に従って撮像した物体撮像画像から求めた画像特徴量と、該物体を識別する物体識別子と該物体を撮像した際の撮像角度を示す撮像角度データを組み合わせた物体特徴識別子と、を有する画像特徴量データを格納し管理する画像特徴量管理部と、前記物体識別子と、該物体に関連する情報と、該物体において時刻変化に関する追加関連情報の有無を示す時刻変化関連情報フラグと、その追加関連情報を格納した情報管理サーバ装置へアクセスするためのネットワーク情報を有する画像関連情報データを格納し管理する画像関連情報管理部と、を備える画像認識処理サーバ装置に対し、時刻情報取得部を備える端末装置が、前記特定の撮像条件と同じ撮像条件となるように、物体を撮像した撮像画像データと時刻情報取得部を使って取得した時刻情報を送信し、該画像認識処理サーバ装置から該撮像画像データに撮像された物体に関連する情報を受信させる物体関連情報提供システムであって、前記画像認識処理サーバ装置が、前記撮像画像データと時刻情報を受信するデータ受信部と、前記物体撮像画像から画像特徴量を求めたときと同じ方法で、前記受信した撮像画像データの画像特徴量を計算する特徴量計算部と、前記計算された前記撮像画像データの画像特徴量と合致もしくは類似する画像特徴量を前記画像特徴量管理部を使って探索し、その探索結果に応じた物体特徴識別子を検出する物体検出部と、前記検出された物体特徴識別子から物体識別子と撮像角度データを取り出し、前記画像関連情報管理部を使って、該物体識別子に対応づけられた物体に関連する情報と時刻変化関連情報フラグを抽出し、該時刻変化関連情報フラグに応じて、該物体識別子に対応した前記ネットワーク情報を使って、追加関連情報を作成し、該物体識別子，該撮像角度データ，該物体に関連する情報，該追加関連情報を含む外界構造物表示データを作成する画像情報管理部と、前記作成した外界構造物表示データを送信する画像情報送信部と、を備えることを特徴とする。

請求項３記載の発明は、請求項１または２に記載の発明において、前記撮像角度が、撮像した方角である、ことを特徴とする。

請求項４記載の発明は、特定の撮像条件に従って撮像した物体撮像画像から求めた画像特徴量と、該物体を識別する物体識別子と該物体を撮像した際の撮像角度を示す撮像角度データを組み合わせた物体特徴識別子と、を有する画像特徴量データを格納し管理する画像特徴量管理部と、前記物体識別子と該物体に関連する情報を有する画像関連情報データを格納し管理する画像関連情報管理部と、画像データを受信するデータ受信部と、画像データの画像特徴量を計算する特徴量計算部と、画像データから物体を識別し検出する物体検出部と、画像データから識別された物体に関する情報を抽出する画像情報管理部と、その抽出された情報を送信する画像情報送信部と、を備える画像認識処理サーバ装置に対し、端末装置が、前記特定の撮像条件と同じ撮像条件となるように、物体を撮像した撮像画像データを送信し、該画像認識処理サーバ装置から該撮像画像に撮像された物体に関連する情報を受信させるシステムに使用する物体関連情報提供方法であって、前記画像認識処理サーバ装置のデータ受信部が、前記撮像画像データを受信するステップと、前記画像認識処理サーバ装置の特徴量計算部が、前記物体撮像画像から画像特徴量を求めたときと同じ方法で、前記受信した撮像画像データの画像特徴量を計算するステップと、前記画像認識処理サーバ装置の物体検出部が、前記計算された前記撮像画像データの画像特徴量と合致もしくは類似する画像特徴量を前記画像特徴量管理部を使って探索し、その探索結果に応じた物体特徴識別子を検出するステップと、前記画像認識処理サーバ装置の画像情報管理部が、前記検出された物体特徴識別子から物体識別子と撮像角度データを取り出し、前記画像関連情報管理部を使って、該物体識別子に対応づけられた物体に関連する情報を抽出し、該物体識別子，該撮像角度データ，該物体に関連する情報を含む外界構造物表示データを作成するステップと、前記画像認識処理サーバ装置の画像情報送信部が、前記作成した外界構造物表示データを送信するステップと、を有することを特徴とする。

請求項５記載の発明は、特定の撮像条件に従って撮像した物体撮像画像から求めた画像特徴量と、該物体を識別する物体識別子と該物体を撮像した際の撮像方角を示す撮像方角データを組み合わせた物体特徴識別子と、を有する画像特徴量データを格納し管理する画像特徴量管理部と、前記物体識別子と該物体に関連する情報を有する画像関連情報データを格納し管理する画像関連情報管理部と、画像データを受信するデータ受信部と、画像データの画像特徴量を計算する特徴量計算部と、画像データから物体を識別し検出する物体検出部と、画像データから識別された物体に関する情報を抽出する画像情報管理部と、その抽出された情報を送信する画像情報送信部と、を備える画像認識処理サーバ装置に対し、端末装置が、前記特定の撮像条件と同じ撮像条件となるように、物体を撮像した撮像画像データを送信し、該画像認識処理サーバ装置から該撮像画像に撮像された物体に関連する情報を受信させるシステムに使用する物体関連情報提供方法であって、前記画像認識処理サーバ装置のデータ受信部が、前記撮像画像データを受信するステップと、前記画像認識処理サーバ装置の特徴量計算部が、前記物体撮像画像から画像特徴量を求めたときと同じ方法で、前記受信した撮像画像データの画像特徴量を計算するステップと、前記画像認識処理サーバ装置の物体検出部が、前記計算された前記撮像画像データの画像特徴量と合致もしくは類似する画像特徴量を前記画像特徴量管理部を使って探索し、その探索結果に応じた物体特徴識別子を検出するステップと、前記画像認識処理サーバ装置の画像情報管理部が、前記検出された物体特徴識別子から物体識別子と撮像方角データを取り出し、前記画像関連情報管理部を使って、該物体識別子に対応づけられた物体に関連する情報を抽出し、該物体識別子，該撮像方角データ，該物体に関連する情報を含む外界構造物表示データを作成するステップと、前記画像認識処理サーバ装置の画像情報送信部が、前記作成した外界構造物表示データを送信するステップと、を有することを特徴とする。

請求項６記載の発明は、特定の撮像条件に従って撮像した物体撮像画像から求めた画像特徴量と、該物体を識別する物体識別子と該物体を撮像した際の撮像角度を示す撮像角度データを組み合わせた物体特徴識別子と、を有する画像特徴量データを格納し管理する画像特徴量管理部と、前記物体識別子と、該物体に関連する情報と、該物体において時刻変化に関する追加関連情報の有無を示す時刻変化関連情報フラグと、その追加関連情報を格納した情報管理サーバ装置へアクセスするためのネットワーク情報を有する画像関連情報データを格納し管理する画像関連情報管理部と、画像データを受信するデータ受信部と、画像データの画像特徴量を計算する特徴量計算部と、画像データから物体を識別し検出する物体検出部と、画像データから識別された物体に関する情報を抽出する画像情報管理部と、その抽出された情報を送信する画像情報送信部と、を備える画像認識処理サーバ装置に対し、時刻情報取得部を備える端末装置が、前記特定の撮像条件と同じ撮像条件となるように、物体を撮像した撮像画像と時刻情報取得部を使って取得した時刻情報を送信し、該画像認識処理サーバ装置から該撮像画像に撮像された物体に関連する情報を受信させるシステムに使用する物体関連情報提供方法であって、前記画像認識処理サーバ装置のデータ受信部が、前記撮像画像と時刻情報を受信するステップと、前記画像認識処理サーバ装置の特徴量計算部が、前記物体撮像画像から画像特徴量を求めたときと同じ方法で、前記受信した撮像画像の画像特徴量を計算するステップと、前記画像認識処理サーバ装置の物体検出部が、前記計算された前記撮像画像の画像特徴量と合致もしくは類似する画像特徴量を前記画像特徴量管理部を使って探索し、その探索結果に応じた物体特徴識別子を検出するステップと、前記画像認識処理サーバ装置の画像情報管理部が、前記検出された物体特徴識別子から物体識別子と撮像角度データを取り出し、前記画像関連情報管理部を使って、該物体識別子に対応づけられた物体に関連する情報と時刻変化関連情報フラグを抽出し、該時刻変化関連情報フラグに応じて、該物体識別子に対応した前記ネットワーク情報を使って、追加関連情報を作成し、該物体識別子，該撮像角度データ，該物体に関連する情報，該追加関連情報を含む外界構造物表示データを作成するステップと、前記画像認識処理サーバ装置の画像情報送信部が、前記作成した外界構造物表示データを送信するステップと、を有することを特徴とする。

請求項７記載の発明は、特定の撮像条件に従って撮像した物体撮像画像から求めた画像特徴量と、該物体を識別する物体識別子と該物体を撮像した際の撮像方角を示す撮像方角データを組み合わせた物体特徴識別子と、を有する画像特徴量データを格納し管理する画像特徴量管理部と、前記物体識別子と、該物体に関連する情報と、該物体において時刻変化に関する追加関連情報の有無を示す時刻変化関連情報フラグと、その追加関連情報を格納した情報管理サーバ装置へアクセスするためのネットワーク情報を有する画像関連情報データを格納し管理する画像関連情報管理部と、画像データを受信するデータ受信部と、画像データの画像特徴量を計算する特徴量計算部と、画像データから物体を識別し検出する物体検出部と、画像データから識別された物体に関する情報を抽出する画像情報管理部と、その抽出された情報を送信する画像情報送信部と、を備える画像認識処理サーバ装置に対し、時刻情報取得部を備える端末装置が、前記特定の撮像条件と同じ撮像条件となるように、物体を撮像した撮像画像と時刻情報取得部を使って取得した時刻情報を送信し、該画像認識処理サーバ装置から該撮像画像に撮像された物体に関連する情報を受信させるシステムに使用する物体関連情報提供方法であって、前記画像認識処理サーバ装置のデータ受信部が、前記撮像画像と時刻情報を受信するステップと、前記画像認識処理サーバ装置の特徴量計算部が、前記物体撮像画像から画像特徴量を求めたときと同じ方法で、前記受信した撮像画像の画像特徴量を計算するステップと、前記画像認識処理サーバ装置の物体検出部が、前記計算された前記撮像画像の画像特徴量と合致もしくは類似する画像特徴量を前記画像特徴量管理部を使って探索し、その探索結果に応じた物体特徴識別子を検出するステップと、前記画像認識処理サーバ装置の画像情報管理部が、前記検出された物体特徴識別子から物体識別子と撮像方角データを取り出し、前記画像関連情報管理部を使って、該物体識別子に対応づけられた物体に関連する情報と時刻変化関連情報フラグを抽出し、該時刻変化関連情報フラグに応じて、該物体識別子に対応した前記ネットワーク情報を使って、追加関連情報を作成し、該物体識別子，該撮像方角データ，該物体に関連する情報，該追加関連情報を含む外界構造物表示データを作成するステップと、前記画像認識処理サーバ装置の画像情報送信部が、前記作成した外界構造物表示データを送信するステップと、を有することを特徴とする。

前記請求項１，２，４，６に記載の発明は、撮像画像データから物体を識別し、その物体に応じた撮像角度データを取得できる。

前記請求項３，５，７に記載の発明は、ユーザの撮像時における方角を取得できる。

以上示したように請求項１，４の発明によれば、識別できた物体に関連する情報を取得し、その物体に応じた撮像角度データを（ユーザが）撮像画像データを撮像した際の撮像角度と見做し、その関連する情報とユーザの撮像時における撮像角度を提示できる。

請求項２，６の発明によれば、識別できた物体に関連する情報と、その物体において時刻変化に関する追加関連情報を取得し、その物体に応じた撮像角度データを（ユーザが）撮像画像を撮像した際の撮像角度と見做し、その関連する情報と追加関連情報とユーザの撮像時における撮像角度を提示できる。

請求項３，５，７の発明によれば、ユーザの撮像時における撮像した方角を提示できる。

これらを以って画像認識応用技術分野に貢献できる。

［第１実施形態］
以下、本発明の第１実施形態を図面等に基づいて説明する。なお、以下の説明で、図１０及び図１１中の符号と同じ符号のものは、説明を省略する。

図１は、第１実施形態における外界物関連情報提供システムの構成図である。図１中の外界物関連情報提供システムは、撮像した画像データをネットワーク（通信回線；例えば、ＩＰネットワーク）１０２を介して、送信する携帯端末装置１１０、ネットワーク１０２を介して受信した画像データを処理し、該画像データに含まれる（あるいは、撮像された）外界構造物を識別し、該外界構造物に対するユーザの視線方向を特定し、該外界構造物に関連する情報（外界構造物に関連する静的な情報であって、時刻変化による影響をあまり受けない情報）を提示する画像認識処理サーバ装置１２０を備える。

携帯端末装置（即ち、ユーザ端末装置）１１０は、予め備えられたデジタルカメラ機能等を使って撮像した画像データを取得するデータ取得部１１１，撮像した画像データを画像認識処理サーバ装置１２０へ送信するデータ送信部１１２，画像認識処理サーバ装置１２０から送信された外界物に関する情報を表示するための外界構造物表示データを受信する画像情報受信部１１３，受信した外界構造物表示データを表示部を使って表示する画像情報表示部１１４，ネットワークインタフェース装置などを含む通信部（図示省略），キーボード装置などを含み、情報を入力する入力部（図示省略），表示装置（例えば、ディスプレイ装置）を含み、情報を表示する表示部（図示省略），メモリやハードディスクドライブ装置などの一般的な記憶装置を含み、情報（即ち、本実施形態で使用する情報）を記憶する記憶部（図示省略），各部を制御する制御部（図示省略；例えば、ＣＰＵやＯＳを含む制御部）を備え、例えば、デジタルカメラ機能付き携帯電話もしくは携帯端末装置である。なお、携帯端末装置（即ち、ユーザ端末装置）１１０は、例えば、データ送信部１１２，画像情報受信部１１３，画像情報表示部１１４を含むインターネットブラウザを備えていても良い。

画像認識処理サーバ装置１２０は、携帯端末装置１１０から送信された画像データを受信するデータ受信部１２１，予め作成された外界構造物を撮像した構造物撮像画像（物体撮像画像）データ，その撮像した際の方向を示す撮像方向データ，外界構造物を識別する外界構造物識別子を入力する画像入力部１２２，画像データの特徴量を計算する特徴量計算部１２３，計算された撮像画像の特徴量と合致もしくは類似する特徴量に応じた外界構造物特徴識別子を探索し検出する外界構造物検出部１２４，撮像方向データと外界構造物識別子を含む外界構造物特徴識別子と特徴量の組み合わせを格納し管理する画像特徴量ＤＢ（以下、単に、特徴量ＤＢという）１２５，画像情報ＤＢ１２７から外界構造物識別子に対応づけられた外界構造物に関連する情報を抽出し、外界構造物識別子，撮像方向データ，外界構造物に関連する情報を含み、それらを表示するための外界構造物表示データを作成する画像情報管理部１２６，外界構造物識別子と外界構造物に関連する情報の組み合わせを格納し管理する画像情報ＤＢ１２７，作成された外界構造物表示データを携帯端末装置１１０へ送信する画像情報送信部１２８，画像特徴量管理部（図示省略；後述する），画像関連情報管理部（図示省略；後述する），入力部（図示省略），通信部（図示省略），記憶部（図示省略），各部を制御する制御部を備え、例えば、コンピュータである。

なお、画像認識処理サーバ装置１２０は、例えば、データ受信部１２１，画像情報送信部１２８を含むＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）サーバ装置機能を備えていても良い。

また、画像特徴量ＤＢ１２５は、直接的には、画像特徴量管理部（図示省略）に管理され、画像特徴量管理部を使って、画像特徴量ＤＢにアクセスするものとする。同様に、画像情報ＤＢ１２７も、直接的には、画像関連情報管理部（図示省略）に管理され、画像関連情報管理部を使って、画像情報ＤＢ１２７にアクセスするものとする。

次に、第１実施形態における携帯端末装置のデータ取得部によって取得した画像データを撮像した際の撮像方向を特定し、その画像に撮像された外界構造物に関連する情報を提示する情報提示処理の流れを図２に基づいて説明する。

なお、その情報提示処理の流れは、画像特徴量データベース（データ）および画像情報データベース（データ）を作成するデータベース作成段階と、デジタルカメラ機能を備えた携帯端末装置１１０から送信された画像データを対象に、画像特徴量ＤＢおよび画像情報ＤＢに格納されている情報との照合（探索）を行って外界構造物表示データ（後述する）を返答する関連情報提示段階と、２段階から構成される。図２中のステップＳ２２１〜Ｓ２２２、ステップＳ２２７〜Ｓ２２８は、携帯端末装置１１０の処理である。図２中のステップＳ２２３〜Ｓ２２６は、画像認識処理サーバ装置１２０の処理である。

データベース作成段階における画像特徴量のデータベース（データ）を作成する手順を図２（ａ）に基づいて説明する。

事前に、外界構造物を撮像した構造物撮像画像データ，撮像時の方向（もしくは方位もしくは方角）データ（以下、撮像方向データという）を準備する。

例えば、１つの外界構造物を撮像する地点を、該外界構造物（の外観の中心もしくは重心）が撮像画像の中心（もしくは中央もしくは重心）に来て、さらに、該外界構造物の外観全体が写るように撮像地点Ｐ_i（ｉ＝１〜ｎ）を特定の間隔（例えば、３ｍ（メートル））を置いて選択する。次に、撮像地点Ｐ_iで外界構造物をデジタルカメラなどの撮像装置で撮像し、その撮像した際の方位（もしくは方向もしくは方角）をデータとして記録する。

なお、方位をデータとして記録する方法としては、撮像装置にジャイロコンパスなどを連動させて、撮像時の撮像方向を記録する方法でも良いし、撮像時に人間が方位磁針などで方向（方位）を測定し記録する方法でも良いし、状況に応じた方法を採用してよい。

本実施形態では、構造物撮像画像の撮像条件を上記のように、「外界構造物（の外観の中心）が撮像画像の中心（もしくは中央もしくは重心）に来て、さらに、該外界構造物の外観全体が写るように撮像する」としているが、特に、この撮像条件でなくても良く、画像における外界構造物の領域位置（座標）と外界構造物の撮像される部分（もしくは全部）に関する撮像条件が、構造物撮像画像とユーザが撮像した撮像画像の撮像条件が一致するような撮像条件であればよい。

また、撮像方向データの表現方法は、例えば、図３のようになる。図３（ａ）は、北の方角を０度として、時計回りで方角に対応する角度で表現する方法を示しており、例えば、矢印Ｖは４５度を示す。撮像方向データは、例えば、「４５」になる。

図３（ｂ）は、方角Ｃ１１とその方角を識別する数値Ｃ１２から構成された対応表Ｔ１であって、この対応表Ｔ１に基づいて撮像方向データを表現する。例えば、方角Ｃ１１が「北北東」であれば、撮像方向データは「２」となる。

そして、画像認識処理サーバ装置１２０は、上述の構造物撮像画像データ，撮像方向データ及び外界構造物を識別する外界構造物識別子（例えば、建物の名前）を入力されることになり、次のような処理を行う。

まず、画像認識処理サーバ装置１２０は、画像入力部１２２を使って、被写体１０１（即ち、外界構造物；例えば、図４中の外界構造物Ｏ_A〜Ｏ_Fのそれぞれ）を撮像した構造物撮像画像データ，撮像方向データ，外界構造物識別子を入力する。そして、画像入力部１２２から得られた構造物撮像画像データ（以下、構造物撮像画像という）を特徴量計算部１２３へ転送する。（Ｓ２０１）。

次に、構造物撮像画像を受け取った特徴量計算部１２３は、その構造物撮像画像から特徴量（即ち、画像特徴量）を求める（Ｓ２０２）。特徴量計算部１２３で求められる特徴量は、例えば、画像の全体もしくは一部の領域の平均や分散等の統計量、画像全体もしくは一部の領域の空間周波数特性等、画像の画素値から得られる情報である。

そして、特徴量計算部１２３は、撮像方向データと外界構造物識別子を含む外界構造物特徴識別子を作成し、ステップＳ２０２で求められた特徴量と該外界構造物特徴識別子を組み合わせて画像特徴量データを作成し、特徴量ＤＢ１２５へ格納する（Ｓ２０３）。

なお、外界構造物特徴識別子は、外界構造物識別子と撮像方向を分離し易いように、例えば、「：（コロン）」などのセパレータを挟んで、構成する。外界構造物特徴識別子の一例としては、例えば、「○○ビル：１（図３（ｂ）中で「北」を示す）」，「××ショップ：２（図３（ｂ）中で「北北東」を示す）」などである。

データベース作成段階における画像情報のデータベース（データ）を作成する手順を図２（ｂ）に基づいて説明する。

まず、画像認識処理サーバ装置１２０は、予め備えられた入力部を使って、被写体１０１（即ち、外界構造物；例えば、図４中の外界構造物Ｏ_A〜Ｏ_Fのそれぞれ）に関連する情報（例えば、その関連する情報を示すテキストや画像（もしくは映像），該テキストや画像（もしくは映像）等の格納先を示す参照子（例えば、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ））等）を作成する（Ｓ２１１）。なお、画像入力部１２２は、予め備えられた入力部によって、テキストを入力しても良いし、ネットワーク越しにテキストを入力しても良い。

画像情報ＤＢ１２７に格納する外界構造物に関連する情報の意味内容は、例えば、画像中に含まれる外界構造物の設計者や建築年等の情報や店舗の情報（例えば、住所）、建築構造等の情報の他、撮影者から見て外界構造物の先にあるランドマーク等の案内情報など、外界構造物自体およびその位置に関連する情報をテキストや画像、映像、音声である。

そして、外界構造物に関連する情報を外界構造物識別子と対応付けて、画像関連情報データを作成し、画像情報ＤＢ１２７に格納する（Ｓ２１２）。

なお、画像情報ＤＢ１２７は、外界構造物識別子，関連情報のＵＲＬを、例えば、ＲＤＢ（Ｒｅｌａｔｉｏｎａｌ ＤａｔａＢａｓｅ）における表形式で格納する。ＤＢへの格納方式は、表形式に限らず、画像ファイル名、特徴量と関連情報が対応付け（リンク付け）されていればどのような方式であっても構わない。

次に、携帯端末装置１１０から送信された画像データを画像特徴量ＤＢおよび画像情報ＤＢに格納されている情報と照合し外界構造物表示データを返答する関連情報提示段階を図２（ｃ）に基づいて説明する。

まず、携帯端末装置１１０のデータ取得部１１１によって画像データを撮像し取得し、携帯端末装置１１０の記憶部に該撮像された画像データ（以後、撮像画像という）を蓄積する（Ｓ２２１）。なお、予め撮像した撮像画像が携帯端末装置１１０の記憶部に蓄積してあっても良い。データ取得部１１１は、一般的な携帯端末装置（例えば、デジタルカメラ付携帯電話）に搭載されている機能である。撮像画像は、関連する情報を所望する外界構造物が中央（中心）に位置するように撮像する。

次に、データ送信部１１２は、前記撮像画像をネットワーク１０２を介して画像認識処理サーバ装置１２０に送信する（Ｓ２２２）。例えば、ＨＴＴＰを使って、前記撮像画像を画像認識処理サーバ装置１２０にポストする。

次に、画像認識処理サーバ装置１２０は、データ受信部１２１によって撮像画像を受信し、その受信した撮像画像を特徴量計算部１２３に転送する（Ｓ２２３）。なお、画像認識処理サーバ装置１２０は、ＨＴＴＰサーバ装置の機能も備え、その機能を使って撮像画像を受信しても良い。

次に、特徴量計算部１２３は、上述の画像特徴量のデータベース（即ち、特徴量ＤＢ１２５内のデータ）を作成する手順における特徴量を求める処理と同様に撮像画像の特徴量を計算し、その計算結果である撮像画像の特徴量を外界構造物検出部１２４に渡す（Ｓ２０２）。

次に、外界構造物検出部１２４は、特徴量計算部１２３から渡された撮像画像の中心付近の領域の特徴量と合致もしくは類似する特徴量を特徴量ＤＢ１２５から探索し検出し、その探索結果を画像情報管理部１２６に転送する（Ｓ２２４）。即ち、外界構造物検出部１２４が出力する探索結果は、特徴量ＤＢ１２５において、撮像画像に含まれる外界構造物に応じた外界構造物特徴識別子である。なお、撮像画像の中心付近の領域とは、例えば、その中心を含む領域、その中心と同じ点を中心（あるいは重心）とする領域（例えば、矩形領域）などである。また、探索結果で、合致もしくは類似しないような場合に、その領域を徐々に広げつつ認識を行っても良い。

特徴量ＤＢ１２５から撮像画像の中心付近の領域の特徴量と合致もしくは類似する特徴量を探索する具体的な方法の一例を以下に説明する。なお、特徴量ＤＢ１２５において、合致もしくは類似する特徴量の探索方法及び合致もしくは類似する特徴量が存在しない場合の処理は、以下の方法に限るものではない。

特徴量がベクトルで表される場合には、ベクトルのなす角で判定する。より具体的には、ベクトルのなす角θが閾値ｔｈ１以下（θ＜＝ｔｈ１）ならば合致、ベクトルのなす角θが閾値ｔｈ１より大きく、かつ、閾値ｔｈ２より小さい（ｔｈ１＜θ＜ｔｈ２）ならば類似と判断する。なお、閾値ｔｈ１，ｔｈ２はサービスに合わせて実験により決定するものとする。

また、特徴量ＤＢ１２５中に合致、類似する特徴量が存在しなければ、サービス依存の処理を行う。例えば、再確認としてユーザにメッセージを出して再トライさせても良いし、あるいは、外界構造物不明である旨のメッセージを出す等の処理を行う。

ここで、外界構造物検出部１２４が、外界構造物特徴識別子を検出する様子を図４に基づいて説明する。

図４（ａ）は、外界構造物を上から俯瞰した図であって、斜線部が道路Ｈ、符号Ｏ_A〜Ｏ_Fは異なる外界構造物を示す。符号Ｐ_Xは、画像撮像時の位置情報を地図上に示した撮像地点である。

図４（ｂ）および（ｃ）は、撮像地点Ｐ_Xから撮像した撮像画像のイメージを表す図であって、図４（ｂ）では撮像者が図４（ａ）中の矢印α方向（例えば、北方向）を撮像した撮像画像Ｂ₁、図４（ｃ）では撮像者が図４（ａ）中の矢印β方向（例えば、東北東方向）を撮像した撮像画像Ｂ₂である。これら図４（ｂ）及び（ｃ）のように、撮像地点が同一であっても撮像方向（例えば、撮像者の向き）によって得られる撮像画像が異なる。

図４（ｂ）では、外界構造物検出部１２４は、特徴量計算部１２３から渡された撮像画像の特徴量に合致もしくは類似する特徴量ＤＢ１２５の特徴量に応じた外界構造物は、撮像画像の中心付近に位置する外界構造物Ｏ_Aであって、その外界構造物Ｏ_Aの外界構造物特徴識別子を特徴量ＤＢ１２５から探索（取得）でき、それを出力する。

同様に、図４（ｃ）では、外界構造物検出部１２４は、特徴量計算部１２３から渡された撮像画像の特徴量に合致もしくは類似する特徴量ＤＢ１２５の特徴量に応じた外界構造物は、外界構造物Ｏ_Dであって、その外界構造物Ｏ_Dの外界構造物特徴識別子を特徴量ＤＢ１２５から探索（取得）でき、それを出力する。

次に、画像情報管理部１２６は、外界構造物検出部１２４から転送された外界構造物特徴識別子から外界構造物識別子と撮像方向データを取り出し、画像情報ＤＢ１２７から外界構造物識別子に対応づけられた被写体（外界構造物）１０１に関連する情報を抽出する。さらに、画像情報管理部１２６は、外界構造物識別子，撮像方向データ，被写体（外界構造物）１０１に関連する情報を含む外界構造物表示データを作成する（Ｓ２２５）。なお、外界構造物表示データは、画像データとして作成しても良いが、ＵＲＬなども含めるために、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）データとしても良い。

図５に基づいて外界構造物表示データの一例を説明する。図５は図４に対応し、図５（ａ）は図４（ａ）と同じである。図５（ｂ）は図４（ｂ）に対応し、撮像画像Ｂ₁に対応する外界構造物表示データＤ₁を示している。外界構造物表示データＤ₁は、外界構造物Ｏ_Aに関連する各情報Ｋ₁₁、外界構造物Ｏ_Aに対応する撮像方向データに応じた撮像方向表示Ｇ₁₁を含む。同様に、図５（ｃ）は図４（ｃ）に対応し、撮像画像Ｂ₂に対応する外界構造物表示データＤ₂を示している。外界構造物表示データＤ₂は、外界構造物Ｏ_Dに関連する各情報Ｋ₂₁、外界構造物Ｏ_Dに対応する撮像方向データに応じた撮像方向表示Ｇ₂₁を含む。

次に、画像情報送信部１２８が、ネットワーク１０２を介して携帯端末装置１１０に抽出され作成した外界構造物表示データを送信する（Ｓ２２６）。

次に、携帯端末装置１１０の画像情報受信部１１３が、画像認識処理サーバ装置１２０からの外界構造物表示データを受信する（Ｓ２２７）。

そして、その受信した外界構造物表示データを、画像情報表示部１１４を使って表示する（Ｓ２２８）。なお、外界構造物表示データがＨＴＭＬデータであった場合、画像情報表示部１１４は、ＨＴＭＬデータを表示可能なインターネットブラウザなどを含んでも良い。

表示された外界構造物表示データには、図５（ｂ）及び（ｃ）のように撮像方向表示（即ち、撮像方向データを示す表示）が携帯端末装置１１０で撮像画像を撮像した時の外界構造物の存在する方向と見做され、ユーザは、携帯端末装置１１０で撮像画像を撮像した時の向きと見做すこともできる。

なお、第１実施形態では、特徴量の計算（Ｓ２０２）から外界構造物検出（Ｓ２２４）までの処理をネットワークで接続された画像認識処理サーバ装置１２０で処理するシステムとして、説明したが、これらの処理を携帯端末装置１１０で実行しても構わない。特徴量の計算（Ｓ２０２）から外界構造物検出（Ｓ２２４）までの処理を携帯端末装置１１０で行う場合は、携帯端末装置１１０が特徴量ＤＢ１２５を備えることになる。

また、ステップＳ２２１〜Ｓ２２２、ステップＳ２２７〜Ｓ２２８を携帯端末装置で行う処理としたが、画像認識処理サーバ装置に撮像画像を送信し、受信した外界構造物表示データを表示できれば、通常の端末装置（例えば、インターネットブラウザを搭載したパーソナルコンピュータ）でも良い。

［第２実施形態］
以下、本発明の第２実施形態を図６に示すブロック図および図７に示すフローチャートに基づいて説明する。図７中のステップＳ２２１〜Ｓ２２２、ステップＳ２２７〜Ｓ２２８は、携帯端末装置１１０の処理である。図７中のステップＳ２２３〜Ｓ２２６は、画像認識処理サーバ装置１２０の処理である。

図６中の外界物関連情報提供システムは、第１実施形態と同様に、携帯端末装置１１０、画像認識処理サーバ装置１２０を備える。

また、画像認識処理サーバ装置１２０は、必要に応じて、ネットワーク１０２に接続された情報管理サーバ装置群（図６中では、情報管理サーバ装置１３０Ａ，情報管理サーバ装置１３０Ｂ）にアクセスする。

携帯端末装置１１０は、図１で示した構成の他に、時刻情報取得部１１６を備える。

情報管理サーバ装置１３０Ａ，情報管理サーバ装置１３０Ｂは、情報ＤＢ１３２を管理する情報管理部１３１，外界構造物において時刻変化に関する追加関連情報（後述する）を格納し管理する情報ＤＢ１３２を備える。なお、情報管理サーバ装置１３０Ａ，情報管理サーバ装置１３０Ｂのそれぞれの情報ＤＢに格納されるデータは異なるが、基本的に同じものと考えてもよい。また、情報管理部１３１は、ＨＴＴＰサーバ装置機能を備えていても良い。

また、図６では、情報管理サーバ装置を２台として構成しているが、外界構造物や外界構造物に関連する情報の内容に応じて、情報管理サーバ装置の台数は変動しても良い。

図６中の画像情報ＤＢ１２７は、図１中の画像情報ＤＢ１２７に格納される情報に加えて、外界構造物において時刻変化に関する追加関連情報（例えば、立体駐車場の空き情報など）の有無を示す時刻変化関連情報フラグ，その追加関連情報を格納した情報管理サーバ装置へアクセスするためのネットワーク情報（例えば、ネットワークアドレス）もしくはその追加関連情報を格納する場所を示す参照子（例えば、ＵＲＬ；なお、参照子もネットワーク情報に含めても良い）を予め格納されるものとする。

第２実施形態における携帯端末装置のデータ取得部によって取得した画像データを撮像した際の撮像方向を特定し、その画像に撮像された外界構造物に関連する情報を提示する情報提示処理の流れを図７に示すフローチャートに基づいて説明する。

上述の第１実施形態と同様に、その情報提示処理の流れは、画像特徴量データベースおよび画像情報データベース（データ）を作成するデータベース作成段階と、デジタルカメラ機能を備えた携帯端末装置１１０から送信された画像データを対象に、画像特徴量ＤＢおよび画像情報ＤＢに格納されている情報との照合を行って外界構造物表示データを返答する関連情報提示段階と、２段階から構成されるため、と第１実施形態と同じ部分は説明を省略し、第１実施形態との差分である処理の流れ（具体的には、携帯端末装置１１０から送信された撮像画像をデータベースと照合し、その撮像画像に撮像された外界構造物に関連する情報を提示するまでの処理の流れ）を説明する。

まず、携帯端末装置１１０のデータ取得部１１１で撮像画像を取得するまでの流れ（Ｓ２２１）は、第１実施形態と同一である。

次に、携帯端末装置１１０の制御部が、時刻情報取得部１１６から時刻情報を取得し、該時刻情報をデータ送信部１１２に渡す（Ｓ２３１）。なお、時刻情報取得部１１６から得られる時刻情報は、例えば、「１９時２３分」のように、画像取得時の時刻を時間単位と分単位で表現したものとする。

データ送信部１１２は、第１実施形態と同様に、ネットワーク１０２を介して、撮像画像，時刻情報を画像認識処理サーバ装置１２０に送信する（Ｓ２２２）。

画像認識処理サーバ装置１２０のデータ受信部１２１は、受信したデータのうち、時刻情報を画像情報管理部１２６に、撮像画像自体を特徴量計算部１２３にそれぞれ転送する（Ｓ２２３）。以降のステップＳ２０２〜Ｓ２２４までの処理は、第１実施形態と同様であるため、説明を省略する。

画像情報管理部１２６では、画像情報ＤＢ１２７に格納されている外界構造物に関連する情報で十分か否か（即ち、外部の情報ＤＢへのアクセスが必要か否か）を判断し、必要に応じてネットワーク１０２を介して情報管理サーバ装置内の情報ＤＢ（例えば、情報管理サーバ装置１３０Ａ内の情報ＤＢ１３２）から追加関連情報を取得する（Ｓ２３２）。

情報管理サーバ装置１３０へのアクセスが必要な場合とは、例えば、画像情報ＤＢ１２７から外界構造物識別子に対応づけられた外界構造物に関連する情報と時刻変化関連情報フラグを抽出し、その時刻変化関連情報フラグが「有」に設定されていた場合である。例えば、外界構造物である「立体駐車場」の空き情報や周辺で開催されるイベントスケジュールの最新情報等、時刻に応じて変化する情報が情報管理サーバ装置によって予め提供される場合に、時刻変化関連情報フラグが「有」に設定される。

次に、時刻変化関連情報フラグを「有」に設定された外界構造物識別子が、画像情報管理部１２６によって検出された場合、次の２つの追加関連情報提示処理方法が考えられる。

１つ目の追加関連情報提示処理方法は、次の通り。検出された外界構造物を識別する外界構造物識別子に応じた、追加関連情報を格納した情報管理サーバ装置へアクセスするためのネットワーク情報（画像情報ＤＢ１２７に予め格納されているものとする）に基づいて、外界構造物識別子と時刻情報を含む追加関連情報取得指示を情報管理サーバ装置に送信し、その追加関連情報取得指示に応じた追加関連情報を情報管理サーバ装置から取得する。そして、外界構造物表示データに、その追加関連情報を追加する。

２つ目の追加関連情報提示処理方法は、その追加関連情報を格納する場所を示すＵＲＬ（画像情報ＤＢ１２７に予め格納されているものとする）を外界構造物表示データ（例えば、ＨＴＭＬデータ）に、リンク（即ち、リンク自体が追加関連情報）として追加する。

そして、その外界構造物表示データを画像情報送信部１２８に転送する。なお、ステップＳ２２５〜Ｓ２２８までの処理の流れは、第１実施形態と同様であるため、説明を省略する。

図８に基づいて、外界構造物の時刻変化に関する追加関連情報表示の例を説明する。図８は図４に対応し、図８（ａ）は図４（ａ）と同じである。

図８（ｂ）は図４（ｂ）に対応し、撮像画像Ｂ₁に対応する外界構造物表示データＤ₃を示している。外界構造物表示データＤ₃は、外界構造物Ｏ_Aに関連する各情報Ｋ₃₁、外界構造物Ｏ_Aに対応する撮像方向データに応じた撮像方向表示Ｇ₃₁を含む。関連情報Ｋ₃₁に追加関連情報が表示されていることが判る。

図８（ｃ）は図４（ｃ）に対応し、撮像画像Ｂ₂に対応する外界構造物表示データＤ₄を示している。外界構造物表示データＤ₄は、外界構造物Ｏ_Dに関連する各情報Ｋ₄₁、外界構造物Ｏ_Dに対応する撮像方向データに応じた撮像方向表示Ｇ₄₁を含む。さらに、外界構造物表示データＤ₄は、外界構造物Ｏ_Dの追加関連情報を格納する場所を示すリンクＬ₁も含むため、それらを選択（もしくは、予め備えられたポインティングデバイスで押下）すると、追加関連情報が表示されることになる。

上述のように、第２実施形態は、携帯端末装置１１０で撮像画像を撮像した時の向きをユーザに連想させる表示に加え、撮像画像を撮像した時の時刻情報を取得し、該時刻情報を画像認識処理サーバ装置１２０に送信することによって、時刻に連動した情報を提供できる。

また、第１実施形態および第２実施形態において、外界構造物特徴識別子に応じた関連情報を画像情報ＤＢに格納すれば、外界構造物に対して特定の方角から見た情報を提供することもできる。

また、第１実施形態および第２実施形態において、携帯端末装置から画像を取得する場合について説明したが、画像認識処理サーバ装置１２０に、関連する情報を得たい外界構造物を別の撮像装置（例えば、デジタルカメラ）で、画像の中心に入るように撮像した撮像画像を送信（例えば、パーソナルコンピュータで送信）できれば、同様に、その外界構造物に関連する情報を取得できる。

また、第１実施形態および第２実施形態は、ＧＰＳを利用していないため、ＧＰＳ電波の届かない地下街などでも、ネットワークにアクセスできる手段さえあれば、あるいは、特徴量ＤＢと画像情報ＤＢを利用できる状態であれば、外界構造物に関連する情報を取得できる。

また、第１実施形態および第２実施形態では、撮像したままの撮像画像を対象としているが、撮像画像中で関連する情報を取得したい外界構造物を中心付近に置いて、かつ、該外界構造物を囲む領域を指定し（あるいは切り抜き）、その領域に対して画像認識処理サーバ装置１２０で外界構造物を識別させて、該外界構造物に関連する情報を取得できる。その一例を図９に基づいて説明する。

図９は、領域で指定した外界構造物に関連する情報を表示した例を示す。図９（ａ）は図４（ａ）に対応する。図９（ｂ）は図４（ｂ）に対応し、撮像画像中で、外界構造物Ｏ_Aを含む領域Ｒ₁を指定し、撮像画像を画像認識処理サーバ装置１２０に送信し、外界構造物Ｏ_Aに関連する情報を得ることもできるし、領域Ｒ₁の部分を切り抜いた画像を画像認識処理サーバ装置１２０に送信し、外界構造物Ｏ_Aに関連する情報Ｋ₅₁や撮像方向表示Ｇ₅₁を得ることもできる。

図９（ｃ）は図４（ｃ）に対応し、撮像画像中で、外界構造物Ｏ_Fを含む領域Ｒ₂を指定し、撮像画像を画像認識処理サーバ装置１２０に送信し、外界構造物Ｏ_Fに関連する情報を得ることもできるし、領域Ｒ₂の部分を切り抜いた画像を画像認識処理サーバ装置１２０に送信し、外界構造物Ｏ_Fに関連する情報Ｋ₆₁や撮像方向表示Ｇ₆₁を得ることもできる。

また、別々の地点に存在し、別の方角を向いている同一形状（外観）や同一の特徴を有する外界構造物を特定する場合には、第１実施形態および第２実施形態において、特徴量ＤＢに外界構造物特徴識別子に対応づけた位置情報（外界構造物を撮像した際の位置情報）を格納し、さらに、携帯端末装置に一般的に備えられているＧＰＳ機能を用いて取得した、撮像画像を撮像した際の位置情報を画像認識処理サーバ装置に送信すれば、画像認識処理サーバ装置で特徴量ＤＢを探索する際に、携帯端末装置のＧＰＳ機能で取得した位置情報を用いて、探索する情報を絞り込んでも良い。

第１実施形態および第２実施形態において、外界構造物を対象とし、該外界構造物を撮像した方角（即ち、水平角の表現方法の一つ）に対応する特徴量に基づいて識別し、その外界構造物の関連情報を提供しているが、より一般的に、物体を撮像した際の角度（例えば、水平角，仰角，俯角など）に対応する特徴量に基づいて識別し、その物体に関連する情報を提示しても良い。

例えば、自動車や自動車の部品（例えば、外から見えるタイヤ）を識別する対象とし、その自動車や自動車の部品を撮像した水平角に対応する特徴量を特徴量ＤＢで管理し、特徴量ＤＢを使って自動車や自動車の部品を識別し、その自動車や自動車の部品に関連する情報を提示しても良い。

また、飛行機や飛行機の部品を識別する対象とし、その飛行機や飛行機の部品を撮像した際の仰角及び水平角の組み合わせに対応する特徴量を特徴量ＤＢで管理し、特徴量ＤＢを使って飛行機や飛行機の部品を識別し、その飛行機や飛行機の部品に関連する情報を提示しても良い。

同様に考えると、外界構造物は、町の部品と考えることもできる。即ち、第１実施形態および第２実施形態における外界物関連情報提供システムは、より一般化した物体関連情報提供システムと考えて良い。

また、第１実施形態および第２実施形態において、携帯端末装置から画像（静止画）を取得する場合について説明したが、映像（動画）を入力した場合であっても構成および処理フローは同様に拡張可能であることは自明である。

なお、第１及び第２実施形態の外界物関連情報提供システム（物体関連情報提供システム）における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、第１及び第２実施形態の外界物関連情報提供システム（物体関連情報提供システム）に関する方法（手順）をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体（記憶媒体）、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

さらに、上述の第１及び第２実施形態の外界物関連情報提供システム（物体関連情報提供システム）に関する方法を記述したコンピュータプログラムを、その方法に必要とされる入出力データを格納したメモリや外部記憶部等にアクセスするように実装してもよい。

以上、本発明の実施形態について説明したが、本発明は説明した実施形態に限定されるものでなく、各請求項に記載した範囲において各種の変形を行うことが可能である。

例えば、第１実施形態及び第２実施形態では、特徴量ＤＢと画像情報ＤＢを個別に管理に備えているが、それぞれのＤＢの管理するデータをテーブルで表現し、一つのデータベースで管理しても良い。

第１実施形態における外界物関連情報提供システムの構成図。 取得した画像データを撮像した際の撮像方向を特定し、その画像に撮像された外界構造物に関連する情報を提示する情報提示処理の流れを示し、図２（ａ）はデータベース作成段階における画像特徴量のデータベース（データ）を作成する手順を示す図、図２（ｂ）はデータベース作成段階における画像情報のデータベース（データ）を作成する手順を示す図、図２（ｃ）は携帯端末装置１１０から送信された画像データを画像特徴量ＤＢおよび画像情報ＤＢに格納されている情報と照合し外界構造物表示データを返答する関連情報提示段階を示す図。 撮像方向データの表現方法を示し、図３（ａ）は方角に対応する角度で表現する方法を示す図、図３（ｂ）は方角とその方角を識別する数値から構成された対応表を示す図。 外界構造物特徴識別子を検出する様子を示し、図４（ａ）は外界構造物を上から俯瞰した図、図４（ｂ）および（ｃ）は撮像地点から撮像した撮像画像のイメージを表す図。 外界構造物表示データの一例を示し、図５（ａ）はは外界構造物を上から俯瞰した図、図５（ｂ）及び（ｃ）外界構造物表示データを示す図。 第２実施形態における外界物関連情報提供システムの構成図。 取得した画像データを撮像した際の撮像方向を特定し、その画像に撮像された外界構造物に関連する情報を提示する情報提示処理の流れを示す図。 外界構造物の時刻変化に関する追加関連情報表示の例を示し、図８（ａ）は外界構造物を上から俯瞰した図、図８（ｂ）及び（ｃ）追加関連情報表示を示す図。 指定した外界構造物に関連する情報を表示した例を示し、図９（ａ）は外界構造物を上から俯瞰した図、図９（ｂ）及び（ｃ）指定した外界構造物に関連する情報を表示した状態を示す図。 一般的な経路地図提示システムの構成図。 目的地までの経路を提示する処理の流れを示す図。

符号の説明

１０１…被写体（外界構造物）
１０２…ネットワーク
１０３…ユーザ側端末装置
１１０…携帯端末装置
１１１…データ取得部
１１２…データ送信部
１１３…画像情報受信部
１１４…画像情報表示部
１１５…位置情報取得部
１１６…時刻情報取得部
１１７…目的地入力部
１２０…画像認識処理サーバ装置
１２１…データ受信部
１２２…画像入力部
１２３…特徴量計算部
１２４…外界構造物検出部
１２５…画像特徴量ＤＢ
１２６…画像情報管理部
１２７…画像情報ＤＢ
１２８…画像情報送信部
１３０Ａ，１３０Ｂ…情報管理サーバ装置
１３１…情報管理部
１３２…情報ＤＢ
１４０…情報提供サーバ装置
１４１…地図ＤＢ
１４２…経路情報生成部
Ｂ₁，Ｂ₂…撮像画像
Ｃ１１…方角
Ｃ１２…方角を識別する数値
Ｄ₁，Ｄ₂，Ｄ₃，Ｄ₄，Ｄ₅，Ｄ₆…外界構造物表示データ
Ｇ₁₁，Ｇ₂₁，Ｇ₃₁，Ｇ₄₁，Ｇ₅₁，Ｇ₆₁…撮像方向データに応じた撮像方向表示
Ｈ…道路
Ｋ₁₁，Ｋ₂₁，Ｋ₃₁，Ｋ₄₁，Ｋ₅₁，Ｋ₆₁…外界構造物関連する情報
Ｌ₁…外界構造物の追加関連情報を格納する場所を示すリンク
Ｏ_A〜Ｏ_F…外界構造物
Ｐ_X…撮像地点
Ｒ₁，Ｒ₂…領域
Ｔ１…対応表
Ｖ…撮像方向
α，β…携帯端末装置で撮像した方向

Claims (7)

1. 特定の撮像条件に従って撮像した物体撮像画像から求めた画像特徴量と、該物体を識別する物体識別子と該物体を撮像した際の撮像角度を示す撮像角度データを組み合わせた物体特徴識別子と、を有する画像特徴量データを格納し管理する画像特徴量管理部と、
   前記物体識別子と該物体に関連する情報を有する画像関連情報データを格納し管理する画像関連情報管理部と、
   を備える画像認識処理サーバ装置に対し、
   端末装置が、前記特定の撮像条件と同じ撮像条件となるように、物体を撮像した撮像画像データを送信し、該画像認識処理サーバ装置から該撮像画像データに撮像された物体に関連する情報を受信させる物体関連情報提供システムであって、
   前記画像認識処理サーバ装置が、
   前記撮像画像データを受信するデータ受信部と、
   前記物体撮像画像から画像特徴量を求めたときと同じ方法で、前記受信した撮像画像データの画像特徴量を計算する特徴量計算部と、
   前記計算された前記撮像画像データの画像特徴量と合致もしくは類似する画像特徴量を前記画像特徴量管理部を使って探索し、その探索結果に応じた物体特徴識別子を検出する物体検出部と、
   前記検出された物体特徴識別子から物体識別子と撮像角度データを取り出し、
   前記画像関連情報管理部を使って、該物体識別子に対応づけられた物体に関連する情報を抽出し、
   該物体識別子，該撮像角度データ，該物体に関連する情報を含む外界構造物表示データを作成する画像情報管理部と、
   前記作成した外界構造物表示データを送信する画像情報送信部と、
   を備える
   ことを特徴とする物体関連情報提供システム。
2. 特定の撮像条件に従って撮像した物体撮像画像から求めた画像特徴量と、該物体を識別する物体識別子と該物体を撮像した際の撮像角度を示す撮像角度データを組み合わせた物体特徴識別子と、を有する画像特徴量データを格納し管理する画像特徴量管理部と、
   前記物体識別子と、該物体に関連する情報と、該物体において時刻変化に関する追加関連情報の有無を示す時刻変化関連情報フラグと、その追加関連情報を格納した情報管理サーバ装置へアクセスするためのネットワーク情報を有する画像関連情報データを格納し管理する画像関連情報管理部と、
   を備える画像認識処理サーバ装置に対し、
   時刻情報取得部を備える端末装置が、前記特定の撮像条件と同じ撮像条件となるように、物体を撮像した撮像画像データと時刻情報取得部を使って取得した時刻情報を送信し、該画像認識処理サーバ装置から該撮像画像データに撮像された物体に関連する情報を受信させる物体関連情報提供システムであって、
   前記画像認識処理サーバ装置が、
   前記撮像画像データと時刻情報を受信するデータ受信部と、
   前記物体撮像画像から画像特徴量を求めたときと同じ方法で、前記受信した撮像画像データの画像特徴量を計算する特徴量計算部と、
   前記計算された前記撮像画像データの画像特徴量と合致もしくは類似する画像特徴量を前記画像特徴量管理部を使って探索し、その探索結果に応じた物体特徴識別子を検出する物体検出部と、
   前記検出された物体特徴識別子から物体識別子と撮像角度データを取り出し、
   前記画像関連情報管理部を使って、該物体識別子に対応づけられた物体に関連する情報と時刻変化関連情報フラグを抽出し、
   該時刻変化関連情報フラグに応じて、該物体識別子に対応した前記ネットワーク情報を使って、追加関連情報を作成し、
   該物体識別子，該撮像角度データ，該物体に関連する情報，該追加関連情報を含む外界構造物表示データを作成する画像情報管理部と、
   前記作成した外界構造物表示データを送信する画像情報送信部と、
   を備える
   ことを特徴とする物体関連情報提供システム。
3. 請求項１または２に記載の物体関連情報提供システムにおいて、
   前記撮像角度が、撮像した方角である、
   ことを特徴とする物体関連情報提供システム。
4. 特定の撮像条件に従って撮像した物体撮像画像から求めた画像特徴量と、該物体を識別する物体識別子と該物体を撮像した際の撮像角度を示す撮像角度データを組み合わせた物体特徴識別子と、を有する画像特徴量データを格納し管理する画像特徴量管理部と、
   前記物体識別子と該物体に関連する情報を有する画像関連情報データを格納し管理する画像関連情報管理部と、
   画像データを受信するデータ受信部と、
   画像データの画像特徴量を計算する特徴量計算部と、
   画像データから物体を識別し検出する物体検出部と、
   画像データから識別された物体に関する情報を抽出する画像情報管理部と、
   その抽出された情報を送信する画像情報送信部と、
   を備える画像認識処理サーバ装置に対し、
   端末装置が、前記特定の撮像条件と同じ撮像条件となるように、物体を撮像した撮像画像データを送信し、該画像認識処理サーバ装置から該撮像画像に撮像された物体に関連する情報を受信させるシステムに使用する物体関連情報提供方法であって、
   前記画像認識処理サーバ装置のデータ受信部が、前記撮像画像データを受信するステップと、
   前記画像認識処理サーバ装置の特徴量計算部が、前記物体撮像画像から画像特徴量を求めたときと同じ方法で、前記受信した撮像画像データの画像特徴量を計算するステップと、
   前記画像認識処理サーバ装置の物体検出部が、前記計算された前記撮像画像データの画像特徴量と合致もしくは類似する画像特徴量を前記画像特徴量管理部を使って探索し、その探索結果に応じた物体特徴識別子を検出するステップと、
   前記画像認識処理サーバ装置の画像情報管理部が、前記検出された物体特徴識別子から物体識別子と撮像角度データを取り出し、
   前記画像関連情報管理部を使って、該物体識別子に対応づけられた物体に関連する情報を抽出し、
   該物体識別子，該撮像角度データ，該物体に関連する情報を含む外界構造物表示データを作成するステップと、
   前記画像認識処理サーバ装置の画像情報送信部が、前記作成した外界構造物表示データを送信するステップと、
   を有することを特徴とする物体関連情報提供方法。
5. 特定の撮像条件に従って撮像した物体撮像画像から求めた画像特徴量と、該物体を識別する物体識別子と該物体を撮像した際の撮像方角を示す撮像方角データを組み合わせた物体特徴識別子と、を有する画像特徴量データを格納し管理する画像特徴量管理部と、
   前記物体識別子と該物体に関連する情報を有する画像関連情報データを格納し管理する画像関連情報管理部と、
   画像データを受信するデータ受信部と、
   画像データの画像特徴量を計算する特徴量計算部と、
   画像データから物体を識別し検出する物体検出部と、
   画像データから識別された物体に関する情報を抽出する画像情報管理部と、
   その抽出された情報を送信する画像情報送信部と、
   を備える画像認識処理サーバ装置に対し、
   端末装置が、前記特定の撮像条件と同じ撮像条件となるように、物体を撮像した撮像画像データを送信し、該画像認識処理サーバ装置から該撮像画像に撮像された物体に関連する情報を受信させるシステムに使用する物体関連情報提供方法であって、
   前記画像認識処理サーバ装置のデータ受信部が、前記撮像画像データを受信するステップと、
   前記画像認識処理サーバ装置の特徴量計算部が、前記物体撮像画像から画像特徴量を求めたときと同じ方法で、前記受信した撮像画像データの画像特徴量を計算するステップと、
   前記画像認識処理サーバ装置の物体検出部が、前記計算された前記撮像画像データの画像特徴量と合致もしくは類似する画像特徴量を前記画像特徴量管理部を使って探索し、その探索結果に応じた物体特徴識別子を検出するステップと、
   前記画像認識処理サーバ装置の画像情報管理部が、前記検出された物体特徴識別子から物体識別子と撮像方角データを取り出し、
   前記画像関連情報管理部を使って、該物体識別子に対応づけられた物体に関連する情報を抽出し、
   該物体識別子，該撮像方角データ，該物体に関連する情報を含む外界構造物表示データを作成するステップと、
   前記画像認識処理サーバ装置の画像情報送信部が、前記作成した外界構造物表示データを送信するステップと、
   を有することを特徴とする物体関連情報提供方法。
6. 特定の撮像条件に従って撮像した物体撮像画像から求めた画像特徴量と、該物体を識別する物体識別子と該物体を撮像した際の撮像角度を示す撮像角度データを組み合わせた物体特徴識別子と、を有する画像特徴量データを格納し管理する画像特徴量管理部と、
   前記物体識別子と、該物体に関連する情報と、該物体において時刻変化に関する追加関連情報の有無を示す時刻変化関連情報フラグと、その追加関連情報を格納した情報管理サーバ装置へアクセスするためのネットワーク情報を有する画像関連情報データを格納し管理する画像関連情報管理部と、
   画像データを受信するデータ受信部と、
   画像データの画像特徴量を計算する特徴量計算部と、
   画像データから物体を識別し検出する物体検出部と、
   画像データから識別された物体に関する情報を抽出する画像情報管理部と、
   その抽出された情報を送信する画像情報送信部と、
   を備える画像認識処理サーバ装置に対し、
   時刻情報取得部を備える端末装置が、前記特定の撮像条件と同じ撮像条件となるように、物体を撮像した撮像画像と時刻情報取得部を使って取得した時刻情報を送信し、該画像認識処理サーバ装置から該撮像画像に撮像された物体に関連する情報を受信させるシステムに使用する物体関連情報提供方法であって、
   前記画像認識処理サーバ装置のデータ受信部が、前記撮像画像と時刻情報を受信するステップと、
   前記画像認識処理サーバ装置の特徴量計算部が、前記物体撮像画像から画像特徴量を求めたときと同じ方法で、前記受信した撮像画像の画像特徴量を計算するステップと、
   前記画像認識処理サーバ装置の物体検出部が、前記計算された前記撮像画像の画像特徴量と合致もしくは類似する画像特徴量を前記画像特徴量管理部を使って探索し、その探索結果に応じた物体特徴識別子を検出するステップと、
   前記画像認識処理サーバ装置の画像情報管理部が、前記検出された物体特徴識別子から物体識別子と撮像角度データを取り出し、
   前記画像関連情報管理部を使って、該物体識別子に対応づけられた物体に関連する情報と時刻変化関連情報フラグを抽出し、
   該時刻変化関連情報フラグに応じて、該物体識別子に対応した前記ネットワーク情報を使って、追加関連情報を作成し、
   該物体識別子，該撮像角度データ，該物体に関連する情報，該追加関連情報を含む外界構造物表示データを作成するステップと、
   前記画像認識処理サーバ装置の画像情報送信部が、前記作成した外界構造物表示データを送信するステップと、
   を有することを特徴とする物体関連情報提供方法。
7. 特定の撮像条件に従って撮像した物体撮像画像から求めた画像特徴量と、該物体を識別する物体識別子と該物体を撮像した際の撮像方角を示す撮像方角データを組み合わせた物体特徴識別子と、を有する画像特徴量データを格納し管理する画像特徴量管理部と、
   前記物体識別子と、該物体に関連する情報と、該物体において時刻変化に関する追加関連情報の有無を示す時刻変化関連情報フラグと、その追加関連情報を格納した情報管理サーバ装置へアクセスするためのネットワーク情報を有する画像関連情報データを格納し管理する画像関連情報管理部と、
   画像データを受信するデータ受信部と、
   画像データの画像特徴量を計算する特徴量計算部と、
   画像データから物体を識別し検出する物体検出部と、
   画像データから識別された物体に関する情報を抽出する画像情報管理部と、
   その抽出された情報を送信する画像情報送信部と、
   を備える画像認識処理サーバ装置に対し、
   時刻情報取得部を備える端末装置が、前記特定の撮像条件と同じ撮像条件となるように、物体を撮像した撮像画像と時刻情報取得部を使って取得した時刻情報を送信し、該画像認識処理サーバ装置から該撮像画像に撮像された物体に関連する情報を受信させるシステムに使用する物体関連情報提供方法であって、
   前記画像認識処理サーバ装置のデータ受信部が、前記撮像画像と時刻情報を受信するステップと、
   前記画像認識処理サーバ装置の特徴量計算部が、前記物体撮像画像から画像特徴量を求めたときと同じ方法で、前記受信した撮像画像の画像特徴量を計算するステップと、
   前記画像認識処理サーバ装置の物体検出部が、前記計算された前記撮像画像の画像特徴量と合致もしくは類似する画像特徴量を前記画像特徴量管理部を使って探索し、その探索結果に応じた物体特徴識別子を検出するステップと、
   前記画像認識処理サーバ装置の画像情報管理部が、前記検出された物体特徴識別子から物体識別子と撮像方角データを取り出し、
   前記画像関連情報管理部を使って、該物体識別子に対応づけられた物体に関連する情報と時刻変化関連情報フラグを抽出し、
   該時刻変化関連情報フラグに応じて、該物体識別子に対応した前記ネットワーク情報を使って、追加関連情報を作成し、
   該物体識別子，該撮像方角データ，該物体に関連する情報，該追加関連情報を含む外界構造物表示データを作成するステップと、
   前記画像認識処理サーバ装置の画像情報送信部が、前記作成した外界構造物表示データを送信するステップと、
   を有することを特徴とする物体関連情報提供方法。

Images