JP2013222447A - 情報提示システム - Google Patents

Abstract

【課題】認識対象が多い場合であっても、高速に認識し且つ認識した撮像対象の位置及び姿勢に基づく正確な制御を行う。
【解決手段】
端末1側では、撮像部11で撮像した画像より算出部12が特徴量及び特徴点座標を算出し、測位部13の取得した端末1の測位情報と共にサーバー2に渡し、サーバー2が認識した撮像対象の位置及び姿勢を更新部15で更新したものに基づいて制御部15が付随情報を制御した上で、出力部16において画像と重畳させる。サーバー2側では記憶部22が複数の撮像対象の特徴量、特徴点座標、基準配置及び測位情報などを保持しておき、渡された情報のうち測位情報を用いた検索によって抽出部22が候補の撮像対象を抽出し、認識部21が特徴量等の比較処理によって実際の撮像対象がいずれであるかと、その位置及び姿勢とを認識し、端末1側へと返信する。
【選択図】図2

Description

本発明は、情報を提示する情報提示システムに関し、特に、撮像部と撮像対象の相対的位置関係の変化によって表示部での表示情報を制御できる情報提示システムに関する。

撮像対象との相対的な位置関係に応じて情報を提示する装置は、提示する情報を直感的に変化させることが可能であり、利用者の利便性を向上させることができる。

上記を実現する従来技術の例として特許文献1及び2に開示のものがあり、ここでは以下のような手法が公開されている。

特許文献１では、ジャイロセンサと、加速度センサと、撮像手段とを備えた入力装置から操作データを取得し、ジャイロセンサが検出する角速度に基づいて入力装置の姿勢を算出した後に、加速度センサが検出する加速度データ及び撮像手段が撮像する所定の撮像対象の画像に基づいて入力装置の姿勢を補正する手法が提案されている。

特許文献２では、撮像手段を備えた入力装置から画像を取得し、直線の交点等のコーナー周辺から拡大縮小や回転等の変換に不変な特徴情報を算出した後に、特徴情報の組み合わせに基づいて入力装置の姿勢を推定する手法が提案されている。

特開2010-5332号公報 特開2010-517129号公報

特許文献１の姿勢算出装置では、まずジャイロセンサから逐次出力される角速度を積分し、初期状態からの姿勢の変化量を積分結果から算出することによって、現在の姿勢を算出する。このとき、ジャイロセンサの誤差が蓄積する問題を解決するため、加速度センサが示す向きが重力加速度方向であることを仮定して補正する。

しかし、動きによっては装置が移動している最中に重力加速度方向以外に加速度が発生すること、及び加速度センサから算出される姿勢の誤差を想定していないために、特許文献１では姿勢を正確に算出することができないおそれがある。また、加速度センサのなかには重力加速度を計測できないものもあるため、利用できる加速度センサは限定される。一方、撮像手段を補正に利用する実施例では、赤外線を照射する装置を別途設置しておく必要があるため、特許文献１の装置を利用できる場所が限定されるという課題がある。

特許文献２の装置では、平面状の画像から抽出した特徴量の組み合わせを評価することにより、該平面画像と撮像部との相対的な姿勢を算出する。取得する画像としてありふれた平面画像を利用すれば、予め設置する手間を省略できるため、特許文献１の問題を一部解決できる。

しかし、複数の異なる平面画像に対応させたい場合、認識対象の数に応じて特徴情報の対応関係に関する評価回数が増加するため、処理時間がかかるという問題がある。特に、非力な端末で処理する場合は、認識対象数が少ない場合でも、実用的な速度を維持することは難しい。

本発明の目的は、上記課題を解決し、認識対象数が多い場合であっても撮像対象がいずれの認識対象であるかを高速で認識するとともに、撮像部を用いて端末の位置及び姿勢を正確に算出し、表示部で表示する情報を制御できる情報提示システムを提供することにある。

上記目的を達成するため、本発明は、撮像対象を撮像する撮像部を含む端末と、該端末と通信するサーバーとを備え、該端末において撮像対象に関連した付加情報を提示する情報提示システムであって、前記端末は、当該端末の位置を含む測位情報を取得する測位部と、前記撮像された画像より回転及び拡大縮小に対して不変な所定の特徴量及びその特徴点座標を算出する算出部と、前記取得した測位情報並びに前記算出された特徴量及び特徴点座標を前記サーバーに送信する端末側送信部と、前記サーバーが認識する前記端末の撮像対象に対する位置及び姿勢と、付加情報と、を前記サーバーより受信する端末側受信部と、前記認識された位置及び姿勢を更新する更新部と、前記サーバーより受信した付加情報を前記更新された位置及び姿勢に従って制御する制御部と、前記制御された付加情報を前記撮像された画像において撮像対象に対して所定配置をなして重畳させて表示する出力部とを含み、前記サーバーは、前記端末側送信部より送信された測位情報並びに特徴量及び特徴点座標を受信するサーバー側受信部と、所定の複数の撮像対象の各々につき、所定配置で撮像した際の特徴量及びその特徴点座標と、測位情報と、付加情報と、を対応付けて保持する記憶部と、前記記憶部を検索することにより、前記取得された測位情報との距離が所定範囲に収まる測位情報を有する撮像対象を、前記撮像部が撮像している撮像対象の候補として、その特徴量及び特徴点座標と共に抽出する抽出部と、前記抽出された各候補における特徴量及び特徴点座標を前記受信した特徴量及び特徴点座標と比較することで、いずれの候補が前記撮像部が撮像している撮像対象に該当するかと、当該撮像対象の前記端末に対する位置及び姿勢と、を認識する認識部と、前記認識された位置及び姿勢と、前記該当すると認識された撮像対象に対して前記記憶部で保持されている付加情報と、を前記端末に送信するサーバー側送信部とを含むことを特徴とする。

本発明によれば、端末を持つユーザが撮像部と撮像対象との相対的位置及び姿勢を変化させるだけで、当該位置及び姿勢が認識及び更新されて、撮像画像における撮像対象に当該位置及び姿勢に基づいて制御された付加情報を付随表示させることができる。従って、ユーザは直感的な操作によって出力部における表示情報を制御することができる。

また、当該表示情報の制御に際して、撮像部に入力される画像を端末で解析して得られた特徴量及び特徴点座標をもとに、端末ではなくサーバーが撮像対象を認識するので、端末の性能によって制約を受けることなく撮像対象数を増加させることができるとともに、認識精度を高く維持することができる。

さらに、あらかじめ抽出部にて測位情報を利用して検索を行うため、候補となる撮像対象を限定することができ、認識部における認識速度及び認識精度を同時に向上できる。また、端末において姿勢情報を更新することで、遅延無く処理速度を高めることができ、したがって、表示情報を確実に制御できる。

情報提示システムの構成概要を説明するための図である。 情報提示システムが備える端末及びサーバーの機能ブロック図である。 表示情報を撮像対象の推定姿勢で制御する例を示す図である。 表示情報を撮像対象の推定位置で制御する例を示す図である。 記憶部の保持している情報の例を表形式で示すものである。 特徴情報を概念的に説明するための図である。 撮像対象の候補を検索する際に測位情報を利用することを概念的に説明する図である。 出力部における表示情報を説明するための図である。 更新処理に関連する端末とサーバーとの情報のやりとりのタイミングの各種の態様を説明する図である。 更新部の機能ブロック図である。

図1は、本発明の一実施形態に係る情報提示システムの構成概要を説明するための図である。情報提示システム3は、複数の端末1-1, ...,1-Nと、サーバー2とを備える。以下、これら複数の端末1-1, ...,1-Nを代表する任意の１つを端末1とする。端末1とサーバー2とは、インターネット等のネットワークNを介して互いに通信する。

図2は情報提示システム3が備える端末1及びサーバー2の一実施形態に係る機能ブロック図である。端末1は、撮像部11、算出部12、測位部13、制御部14、更新部15、出力部16、(端末側)送信部17及び(端末側)受信部18を含む。サーバー2は、認識部21、記憶部22、抽出部23、(サーバー側)送信部24及び(サーバー側)受信部25を含む。

例えば、携帯端末によってこのような構成の端末1を実現することができるが、その他のコンピュータなどによってもよい。また、サーバー2の構成についても、このような構成によって物理的に単一のサーバーに限られず、認識部21ないし受信部25の各部(複数の各部でもよい)の機能別に複数のサーバーに分離してもよい。

なお、図2における各部を結ぶ線は、各部の間にやりとりが存在することを示しているが、当該線は主要なやりとりのみを示しており、詳細を適宜説明するように、線が描かれてなくともやりとりが存在する場合もある。

図3及び図4は本発明が実現する出力部16における制御された表示情報の例を示す図であり、図3が姿勢による制御の一例を、図4が位置による制御の一例を示している。なお、制御は姿勢及び位置の両者によって同時に行われるが、ここでは説明のために両者を分けて説明する。なおまた、正確には制御部14が付加情報を位置及び姿勢によって撮像部11からの入力画像に連動させて制御したうえで出力部16において当該入力画像に重畳することで表示情報が得られるが、これについては図8等を用いて後述することとし、ここでは表示情報の制御として説明する。

本発明では、例えば看板といったような概ね平面状で且つ静止している撮像対象を端末1が撮像し、当該撮像した画像をサーバー2と連携して解析することで撮像対象が何であるかを認識すると共に、ユーザが端末1を手で動かす等することによって変化している端末1に対する撮像対象の姿勢及び位置を推定し、当該推定された姿勢及び位置によって端末1に表示される表示情報を制御する。

位置及び姿勢の推定は具体的には、認識された撮像対象が端末1に対して所定配置にある際に撮像される画像と、実際に撮像された画像と、を平面射影変換の関係で結びつけて、当該平面射影変換における並進成分によって位置を、所定配置にあった際の位置との関係で推定し、当該平面射影変換における回転成分によって姿勢を、所定配置にあった際の姿勢との関係で推定する。表示情報の制御は、当該平面射影変換の関係を直接用いて、あるいは並進成分及び回転成分毎に定数倍などの所定の関係を施したうえで用いて、制御することが可能である。

例えば図3では、(A)に示すように撮像対象の例として看板が、端末1によって撮像されている。ここで、端末1がA10に示す所定配置において看板を正面から撮像している際に、表示情報の例としての平面状の模様が(B)のP10に示すような状態にあるものとする。

(B)に示すP11、P12、P13及びP14はそれぞれ、配置A10より各軸に示す方向A11、A12、A13及びA14に端末1を回転させた場合の、表示情報が制御される例である。ここでは、撮像される看板の画像上での見え方に連動させて、表示情報が制御されている。

すなわち、回転A11によると看板の右側が近づいて見えるようになるので、表示情報も同様にP10の状態から回転変化してP11のような方向に回転して制御される。回転A12は当該回転A11の逆であり、表示情報はP10の状態から回転変化してP12に示すように回転される。

回転A13では看板が上側からのぞき込んで見えるようになるので、表示情報も同様にP10の状態から変化してP13のような方向に回転して制御される。回転A14は当該回転A13の逆であり、表示情報はP10の状態から変化してP14に示すように回転される。

また例えば図4では、図3と同様に(A)に示すように撮像対象の例としての看板が、所定配置A20として正面から端末1に撮像されている際の表示情報の例が、(B)のP20に示す平面状の模様である。また、当該所定配置A20において看板と平行な平面で端末1上にある仮想的な平面がそのxy軸によって示されている。

当該xy平面上でA21に示す方向へと端末1が移動すると、撮像される看板は逆に左下側へと移動して見えるようになるので、表示情報は同様にP20の状態から移動してP21に示すように左下へ移動するよう制御される。当該xy平面に垂直な方向で且つ看板から遠ざかる奥行き方向A22へと端末1が移動すると、撮像される看板は縮小されて見えるようになるので、表示情報は同様にP20の状態から変化してP22に示すように縮小するように制御される。

図2に戻り、このような制御を実現する端末1及びサーバー2の各部について順次説明する。まず、端末1の各部は次の通りである。

撮像部11は所定のサンプリング周期で撮像対象を連続的に撮像して、その撮影画像を算出部12及び制御部14へ出力する。撮像部11としては携帯端末に標準装備されるデジタルカメラを用いることができる。

算出部12は、撮像部11から入力される画像から特徴情報を算出し、特徴情報を送信部17及び更新部15へ出力する。特徴情報としては周知のSIFT特徴量又はSURF特徴量等のような、回転及び拡大縮小に対して不変な性質を有し、画像の局所領域における相対的な輝度勾配に基づいて算出される局所特徴量を用いることができる。あるいは同性質を有する周知のFERN特徴量を用いてもよい。

こうして、特徴情報は例えば次のような形式として得られる。
(d_i, x_i) [i=1,2, ..., n]
ここで、d_iは特徴量であってベクトル等の形式からなる量であり、x_iは当該特徴量d_iが算出された画像上の位置(特徴点座標)であり、nは当該画像から算出された特徴点座標x_i及び特徴量d_iのペアの個数である。

なお、算出部12による特徴情報の算出は、端末1からサーバー2へ送信するデータ量の削減及び削減に伴うレスポンス短縮を図る目的で実施される。よって算出部12は、特徴情報のデータ量が入力画像のデータ量を上回る場合に、特徴情報の代わりに入力画像を送信部17よりサーバー2へと送信し、サーバー2が算出部12と同様にして特徴情報の算出を行うようにしてもよい。

この場合、算出部12と同様の機能ブロック(不図示)をサーバー2は具備するものとする。なおまたこの場合、端末1側の算出部12は、後述の端末1単独での位置及び姿勢の推定を行う場合には特徴情報の算出を行うこととなる。

なお、SIFT特徴量は「D.G.Lowe, ―Distinctive image features from scale-invariant key points, Proc. of Int. Journal of Computer Vision (IJCV), 60(2) pp.91-110 (2004)」に、SURF特徴量は「H.Bay,T.Tuytelaars, and L.V.Gool,SURF:Speed Up Robust Features, Proc. of Int. Conf. of ECCV, (2006)」に、FERN特徴量は「M.Ozuysal, M.Calonder, V.Lepetit, P.Fua, ―Fast Keypoint Recognition using Random Ferns, IEEE PAMI, 2009」に、開示されている。

測位部13は、端末1の座標、方位若しくは仰角又はこれらの一部若しくは全てからなる組み合わせを取得して測位情報とし、該測位情報を送信部17へ出力する。座標は緯度、経度及び高度並びに建築物の階数等を含んで構成することができる。なお、方位及び仰角については、端末1における撮像部11が撮像する際の正面の方向を特定するための方位及び仰角として取得する。

測位部13には携帯端末に標準装備され、座標を取得するGPS(Global Positioning System；全地球測位システム)や屋内測位方式のIMES(Indoor Messaging System)及びNFC(Near Field Communication；近距離通信)並びに方位や仰角を取得する電子コンパス等を用いることができる。建築物及びその階数についてはIMESやNFC等、特定用途AP(アクセスポイント)からの情報にて取得すればよい。

送信部17は、算出部12で得られた特徴情報及び測位部13で得られた測位情報をサーバー2へ送信する。また、必要に応じて端末1を特定する端末情報を送信することもできる。端末情報にはユーザによる端末1の利用履歴等が含まれていてもよい。

受信部18は、送信部17で送信した特徴情報及び測位情報並びに端末情報に対する応答としての撮像対象の認識情報(撮像対象が何であるかを認識した結果の情報)、認識された撮像対象の位置及び姿勢の情報並びに付加情報をサーバー2から受信する。

更新部15は、撮像対象に対する端末1の位置及び姿勢の情報を現在時点での情報へと更新し、当該更新した位置及び姿勢の情報によって図3や図4の例で説明したように表示情報を制御させるべく、当該更新した情報を制御部14へと出力する。

なお、サーバー2との間で新たにデータの送受信があった場合さらに、更新部15は認識情報より撮像対象が何であるかの認識結果を得て、その時点までの撮像対象とは別の撮像対象であるとの認識結果であった場合には、その時点以降の位置及び姿勢の更新を、当該新たに認識された撮像対象に即した方式に変更して行うようにする。当該更新の詳細は後述する。

制御部14は、サーバー2から受信した付加情報を更新部15で得られた位置及び姿勢の情報に応じて制御し、制御された付加情報を出力部16へ出力する。制御処理としては平面射影変換を用いることができ、付加情報の出力部16における表示の加工制御が行われる。撮像対象の位置又は当該位置から所定量シフトした位置に、撮像対象の姿勢と同じ姿勢又は所定の変化が加わった姿勢を取った付加情報として撮像部11で得られた画像に出力部16において重畳させるよう、当該制御を行う。すなわち、撮像部11の取得した画像において撮像対象に対して所定配置をなして付加情報を重畳させた表示が行われるように、当該制御が行われる。当該重畳処理によって、出力部16における表示情報は、付加情報があたかも平面状の撮像対象に最初から貼り付けられているかのように制御されることとなる。

出力部16は、制御された付加情報を撮像画像において撮像対象に対して所定配置をなして重畳させた表示情報を端末1から出力する。出力部16には携帯端末に標準装備されるディスプレイを用いることができる。

一方、サーバー2の各部は次の通りである。

受信部25は、送信部17の送信した情報すなわち、端末1の算出部12で得られた特徴情報と、端末1の測位部13で得られた測位情報と、必要に応じて送信された利用履歴等を含む端末情報と、を受信する。これら受信した情報は抽出部23へと出力される。

記憶部22は、端末1での位置及び姿勢に基づく表示情報の制御のために供する情報として、各種の所定の撮像対象を認識するための特徴情報と、撮像対象が存在する座標等を表す測位情報と、を保持する。なお、記憶部22の保持する測位情報は、測位部13の取得する測位情報と同形式にて構成されるものとする。

記憶部22はまた、端末1での表示情報において利用ユーザに特化した制御を施すために供する情報として、受信部18にて受信するのと同種の利用履歴等を含む端末情報と、撮像対象及び端末情報に関連した付加情報と、を保持する。

図5に、記憶部22の保持している情報の例を表形式にて示す。複数(M個)の所定の撮像対象である撮像対象_1〜撮像対象_Mのそれぞれにつき、特徴情報、測位情報、付加情報及び端末情報を記憶部22は保持しておく。撮像対象_1〜撮像対象_Mは例えば各種の店舗の看板であり、概ね平面状である。

例えば撮像対象_1については、その特徴情報として算出部12にて算出するのと同種の特徴量及び特徴点座標のペア(特徴量_1_i, 特徴点座標_1_i)がインデクスi=1,2, ..., n1によりn1個、あらかじめ記憶されている。また、当該記憶されている撮像対象_1の特徴量及び特徴点座標の複数ペアが、撮像対象_1をどのような配置で撮像した際の画像から得られたものであるかを特定する情報として、基準配置_1も特徴情報に含まれ、記憶されている。

図6は特徴情報を概念的に示す図である。B1が図5の撮像対象_1の例としての看板であり、局所領域R1, R2, R3, ..., Rn1は特徴量及び特徴点座標のペア(特徴量_1_i, 特徴点座標_1_i)[i＝1, 2, 3, ..., n1]がそれぞれ算出された領域の例である。看板B1は所定配置_1として、正面から所定距離離して撮像された状態であり、特に、特徴点座標は当該撮像画像上の座標として与えられる。

なお、算出部12にて算出されると共に当該記憶部22にも保持されている特徴量は回転や拡大縮小に対して理論上不変な性質があるので、撮像対象_1が見える配置である限り、基準配置_1等がどのようなものであってもほぼ一定である。基準配置_1等の情報は、特徴点座標の組から位置及び姿勢を求める際に認識部21に利用されることとなる。

図5に戻り、撮像対象_1についてはまた、その測位情報すなわち撮像対象_1のフィールド上の存在箇所の情報として測位情報_1が記憶され、付加情報として付加情報_1が記憶され、端末情報として端末情報_1が記憶されている。付加情報_1は、その詳細は図5には示していないが、利用履歴等を含む端末情報に応じたそれぞれの内容を有する情報として記憶されている。

例えば撮像対象_1がある喫茶店の看板である場合で、端末情報としての端末1の利用履歴などより当該ユーザの当該喫茶店での選択メニュー履歴が得られる場合、特定種類のメニューが履歴内の所定期間に存在することに応じた当該喫茶店の特定種類のクーポン券情報を含んで付加情報_1が構成されていてもよい。結果としてユーザは、各自の履歴に応じた内容の付加情報を出力部16にて提示されることとなる。

また図5において、端末情報_1のような端末情報は、端末を特定する情報の他に利用者の属性、嗜好、操作履歴、利用回数等が含まれ、当該端末情報に該当する場合のみに当該撮像対象を抽出部23での検索対象とするために利用される。具体例については「端末情報における嗜好(趣味)にダンスがある場合」として後述する通りである。

抽出部23は、受信部25から得られた端末1の測位情報に所定範囲で近い測位情報を有する撮像対象を記憶部22から検索し、端末1で実際に撮像している撮像対象に対する候補として抽出する。例えば、測位情報に含まれる位置から得られる、端末1と撮像対象との距離が所定範囲内に収まる撮像対象を候補として抽出する。

あるいは、当該得られた測位情報に方位に関する情報が存在する場合は、測位情報が所定範囲で近いという条件に加えてさらに、該方位を中心に端末1の撮像部11の画角に収まる範囲内に測位情報を有する撮像対象を、候補として記憶部22から抽出する。

なおまた、測位情報に所定建築物の階数が含まれる場合、当該所定建築物において階数が一致するものに候補を予め絞り込んだのち、緯度及び経度などから当該建築物の当該階のフロア内にて平面的な距離を求めて所定範囲内に収まる候補を抽出してもよい。

図7は当該測位情報による検索を概念的に示す図である。(A)では端末1の測位情報で指定される位置Pを中心とする所定半径rの円C内が検索対象であり、当該円C内に測位情報を有する撮像対象すなわち当該円C内に存在する撮像対象が候補として抽出される。(B)では(A)の条件にさらに、端末1の方位を中心として画角θ内に収まるという条件を課すことで、扇形F内が検索対象となる。

なお、画角θについては端末情報に含めてサーバー２に通知することで、各種の端末1における各種異なる構成の撮像部11についても当該条件検索を可能とすることができる。

抽出部23はまた、このような記憶部22から候補として抽出する際の測位情報による絞り込みに加えてさらに、受信部25から得られた端末情報によって絞り込みを行ってもよい。

例えば、撮像対象の中にダンススクールないしダンス用品店の看板がある場合には、端末情報における嗜好(趣味)にダンスがある場合のみ候補として抽出させるようにすることで、当該嗜好を有するユーザのみを対象として表示情報の制御によるサービス提供などを可能とすることができる。こうして、撮像対象が大量にある場合でも、各ユーザに有益な撮像対象のみを表示情報の制御の利用に供するようにすることができる。

また、上記のように嗜好などの特定項目として端末情報を利用する代わりに、所定のサービスの契約者リストを端末IDのリストに変換したうえで、当該サービスに関連する撮像対象における端末情報として記憶部22で保持しておき、関連ユーザのみに表示情報の提示を可能とするようにしてもよい。

抽出部23はこうして抽出した撮像対象の各候補を、その特徴情報と共に認識部21へと出力する。さらに、認識部21が後述のようにして撮像対象の候補の中から実際に撮像部11が画像上で捉えているのがどれであるかを特定した後、抽出部23は受信部25から得られた端末情報に応じて記憶部22から当該特定された撮像対象における付加情報を選択し、該付加情報を送信部24へ出力する。

なお、当該特定された撮像対象における付加情報の記憶部22からの選択は抽出部23ではなく送信部24が行って、該付加情報を送信するようにしてもよい。

端末情報には、前述のように端末を特定する情報の他に利用者の属性、嗜好、操作履歴、利用回数等が含まれ、付加情報は前述のように当該端末情報などに応じた各種の内容を含むように構成されているので、端末情報等に応じて付加情報の内容を変えつつ、出力部16において表示情報と重畳させるようにすることができる。

例えば、前述の撮像対象_1の例では、同じ喫茶店の看板であっても異なる端末1を利用しているユーザAとユーザBとでは、当該ユーザの利用履歴や嗜好などに応じて異なるクーポン情報を重畳させるようにすることができる。

認識部21は、抽出部23から得られた撮像対象の各候補における特徴情報と、受信部25から得られ端末1において実際の撮像対象より算出部12より算出された特徴情報と、を比較し、実際の撮像対象が候補のうちのいずれであるかを認識し、さらに、当該認識された撮像対象の端末1に対する相対的な位置関係(位置及び姿勢)を認識する。

当該認識処理については後述するが、端末1から送信された測位情報及び端末情報によって抽出部23が予め撮像対象の候補を絞り込んでいるので、特徴情報の探索空間が限定され、認識処理の高速化を図ることができる。撮像対象の認識結果としての認識情報並びに当該認識された撮像対象の位置及び姿勢の情報は、抽出部23及び送信部24へ出力される。なお、付加情報の選択を送信部24が行う場合は、当該出力は送信部24のみへ向けてなされる。

送信部24は、認識部21で得られた認識情報並びに位置及び姿勢の情報と、抽出部23又は送信部24が記憶部22より選択した当該認識情報及び端末情報等に対応する付加情報と、を端末へ送信する。

図8は、以上のような各部の処理によって得られる、制御部14によって加工された付加情報が重畳された出力部16における表示情報を説明するための図である。ここで(1)に示すように、撮像対象の例B10は看板であって、正面から撮像したものを示している。当該(1)の状態において付加情報を重畳した表示情報の例が(2)であり、当該看板B10と同一平面上の所定領域B11に看板を拡張している。

当該所定領域B11上には、前述のクーポン券情報など、端末情報に応じた各内容の付加情報が記載されていてもよい。当該所定領域B11は端末情報毎の内容を有してよいので、端末情報に応じて当該所定領域の配置及び／又は形状などが変更されてもよい。また当該所定領域の例B11は、看板B10の外部に拡張して存在しているが、看板B10の内部にB11が存在してもよいし、内部と外部とにB11が存在してもよい。

なお、(2)に示すように、撮像対象の領域B10に対して所定配置の領域B11が定められるように、付加情報には撮像対象に対する相対的な位置及び姿勢並びに占有領域の情報が含まれているものとする。ただし、撮像対象と付加情報とは画像上にて基本的には同一平面上に構成させるので、この場合、相対的な姿勢については同姿勢とする。あるいは、表示情報を眺めるユーザの注意を喚起するために、撮像対象に対する付加情報の相対的な姿勢を平面同士が直角をなすなどの、同姿勢以外の所定の姿勢としてもよい。

図8にて、撮像対象である看板の端末1に対する位置及び姿勢が変動して、画像における見え方が変わることで、(1)の状態から(3)の状態になった際の、付加情報を重畳した表示情報が(4)である。すなわち、看板が正面から見たB10の状態から斜めから見たB20の状態になったのに応じて、付加情報も正面から見たB11の状態から斜めから見たB21の状態へとなって、表示情報が得られる。

この際、B10に対するB20の位置及び姿勢の関係すなわち平面射影変換の関係を、B11に対して適用することで、すなわち、領域B11に対して当該平面射影変換を施すことで、B21が得られる。表示情報を眺めるユーザにとっては、看板B10を閲覧可能な任意の位置及び姿勢において、看板B10がB11の領域まで拡張されて最初から存在しているように見えることとなる。こうして、図3や図4に示すような姿勢及び位置による制御の際も、図3のP10の模様及び図4のP20の模様をB10及びB11の領域で置き換えたようにして表示情報が制御されることとなる。

認識部21の処理の詳細は次の通りである。特徴情報の比較処理には、周知の手法であるRANSAC やPROSAC 等を利用することができ、例えばRANSACの場合であれば認識部21は以下の(1)〜(3)のようにして比較及び認識を行うことができる。

(1)特徴量の対応づけ
実際の撮像対象から算出された特徴量と、候補cの撮像対象における特徴量と、の間にて特徴量の対応付けを行う。実際の撮像対象から算出された特徴量をd_i(i=1,2, ..., n)とし、撮像対象の候補cに対して記憶部22で記憶されている特徴量をD_cj(j=1, 2, ..., m)とすると、各特徴量D_cjに対応する特徴量d_i[i]を、特徴量間の距離が最小となるものとして定める。さらに、特徴量d_iのうち対応する特徴量D_cjが定まっていないものが残っている場合、当該特徴量d_iとの距離が最小となる特徴量D_cj[i]に対応付ける。

なお当該対応づけにおいては、特徴量間の距離が最小の条件にさらに、特徴量間の距離が所定の閾値以内である条件を課してもよい。また別実施例として、特徴量間の距離が所定の閾値以内であるもの同士を全て対応づけるようにしてもよい。

(2)誤対応の部分の除外と正対応の部分による平面射影変換関係の算出
実際の撮像対象から算出された特徴量のうち、撮像対象における特徴点とは違う部分において誤算出された等の理由から、(1)の対応づけのうち誤対応であったと判定されるものを除外し、正対応の特徴量に対する特徴点によって平面射影変換の関係を求める。

具体的には、(1)にて対応付けられた特徴量d_iと特徴量D_cjとを用いて、特徴量D_cjから所定数(ただし、平面射影変換を求めるために少なくとも4つ必要)を選び、これに対応する特徴量diの全組み合わせにつき、所定数の特徴量D_cjのそれぞれの特徴点座標からなる特徴点座標の組Xから、対応する特徴量diにおける特徴点座標の組xへの平面射影変換Hを、次式に示す当該変換の誤差eを最小にするように求める。
e＝|HX − x|

当該変換関係を特徴量D_cjから所定数を選ぶ全ての組み合わせにつき求める。変換関係Hを求めたこれら全ての組み合わせの中で、変換関係を求める際に利用しなかった特徴量D_cj'及び対応する特徴量d_i'における特徴点座標X'及びx'を、当該求められた変換関係Hで結びつけた際の次式に示す誤差Eが、所定の閾値に収まるような特徴点座標X'及びx'のペア数が最大のものを求める。
E＝|HX' − x'|

当該ペア数最大の際のHを求めた特徴点座標の組X及びxと、当該X及びxに対して誤差Eが上記の所定の閾値内に収まった特徴点座標X'及びx'のペアと、を当該候補cに対して(1)における特徴量の対応が正しく行われたものに対応する特徴点座標(正対応の特徴点座標)であると判定すると共に、当該正しく対応付けられた特徴量における特徴点座標を用いて再度平面射影変換Hを求め、当該候補cにおける位置及び姿勢の推定結果となす。

なお、当該平面射影変換Hは記憶部22で保持されている特徴点座標から入力画像における特徴点座標への変換であるので、記憶部22で保持されている基準配置の情報をさらに加味することによって、端末1に対する撮像対象の位置及び姿勢の推定結果を求めることができる。

(3)実際の撮像対象が候補のうちのいずれであるかの決定
各候補cにつき上記(1)及び(2)を実行し、(2)にて正しく対応づけられた特徴量における特徴点座標で平面射影変換Hを求めた際に、当該Hにて正対応の特徴点座標を変換した誤差が最小となるような候補cを、実際の撮像対象に対応するものであると決定する。また当該候補cに対する(2)における位置及び姿勢の推定結果(すなわち当該再度求められた平面射影変換Hに対応する推定結果)を、実際の撮像対象の位置及び姿勢の推定結果となす。

更新部15による更新処理の詳細を関連する処理と共に説明する。更新部15は、端末1とサーバー2との間での情報のやりとりのタイミングの各種の態様に応じた更新処理を行う。図9は当該タイミングの各種の態様を<A>及び<B>として説明するための図である。

<A>及び<B>において(1)〜(6)等はサーバー2側での処理を、[1]〜[6]等は端末1側での処理を順次表している。特に、[1]〜[6]はそれぞれ、端末1側にて所定のタイミング間隔で順次繰り返される位置及び姿勢の各回の更新処理及び当該更新に基づく表示情報の制御を含んでいる。なお、図5においては(1)や[1]等の各処理は複数のステップを含み、ある程度の時間幅をもって行われることを想定している。

<A>の場合、端末1が位置及び姿勢を更新する各回[i](i＝1,2, ...)につき、サーバー2とやりとりを行い、サーバー2が各回の処理(i)によって得た最新の認識情報その他を常に端末1で利用する。

すなわち、例えば1回目であれば端末1は処理[1]においてa1で示すように当該時点で得た特徴情報及び測位情報を送信部17及び受信部25を介してサーバー2に渡す。なお、端末情報については端末1とサーバー2とがやりとりを開始した時点でサーバー2に渡せばよい。

サーバー2は対応する処理(1)において当該特徴情報及び測位情報を利用して、前述の一連の処理を行う。すなわち、抽出部23にて記憶部22より撮像対象の候補を抽出し、認識部21にて候補の中から実際の撮像対象がいずれであるかを認識情報として認識すると共にその位置及び姿勢を認識する。

そして、当該認識情報と、位置及び姿勢の情報と、当該認識された撮像対象に対して記憶部22に保持されている付加情報のうち当該端末情報に対応する内容と、をb1に示すように送信部24及び受信部18を介して端末1に返信する。当該返信された情報によって、端末1は当該[1]の時点での表示情報の制御を行う。2回目以降についても全く同様である。

このように、<A>の場合は端末1における表示情報の制御を、常にサーバー2からの当該時点に対応する最新の情報を利用して行う。互いにやりとりするデータの送受信を含めた端末1及びサーバー2の各処理が十分に高速に行える場合、<A>によって所定精度を確保した表示情報の制御が可能となる。

一方、一部分の処理の速度が確保できず、撮像部11で撮像される及び／又は出力部16で出力する所定のサンプリングレートに追従して表示情報の制御を行うに際してボトルネックが存在する場合、例えば<B>のようにして所定精度を確保しつつサンプリングレートに追従した速度で表示情報の制御を可能とする。

すなわち<B>の場合において、1回目における端末1の処理[1]及びサーバー2の処理(1)並びにデータの送受信a1及びb1については、<A>の場合で説明したのと同様である。一方、ボトルネックに対応すべく2回目における端末1の表示情報の制御処理[2]は、既にb1によって得られた情報と、処理[1]から[2]までの間にサーバー2を利用せず端末1自身が単独で取得した情報c2と、によって行うようにする。情報c2には後述するように、所定のサンプリングレートに追従して取得できるような各種のものを利用する。これによって、処理[2]は場合<A>におけるようなデータ送信a2の後のサーバー2からのデータ受信b2を待たずして可能となる。

同様に、3回目の表示情報の制御処理[3]は処理[1]から[3]までの間に取得した情報c3(c2と同種の情報)とb1とによって行い、4回目の表示情報の制御処理[4]は処理[1]から[4]までの間に取得した情報c4(c2と同種)とb1とによって行う。

一方、情報c2〜c4は高速に取得可能な代わりに長期間に渡って精度を確保するのが困難である(又は困難となる可能性がある)ため、所定タイミング毎にサーバー2側の認識処理を利用することで精度を維持する。当該所定タイミングの例として、例えば5回目の表示情報の制御処理は当該<B>の1回目又は<A>の場合と同様に、端末1の処理[5]、サーバー2の処理(5)並びにデータの送受信a5及びb5によって行われる。

こうして、6回目の表示情報の制御処理[6]はb5によって得られた情報と、処理[5]から[6]までの間に端末1が単独で取得した情報c6(c2と同種)と、によって行われる。以降は図示していないが、同様である。

情報c2〜c6等は具体的には、サーバー2が位置および姿勢の認識を行い認識結果を端末1に通知した直近の過去時点から現在時点までの間の、端末1の位置及び姿勢の変化を推定した情報である。当該直近の過去にサーバー2が認識して端末1に通知した端末1に対する撮像対象の位置及び姿勢に対して当該推定された変化を加味することで、各時点での撮像対象の位置及び姿勢が得られる。平面射影変化の関係を行列の形で与えると、直近の過去にサーバー2が認識した位置及び姿勢の平面射影変換の行列に、当該推定された変化の分の平面射影変換の行列を掛けることで、各時点の位置及び姿勢に対応する平面射影変換の行列が得られる。

あるいは情報c2〜c6等は、現在時点での撮像対象の位置及び姿勢を直接的に推定した情報であってもよいが、この場合も直近の過去にサーバー2が認識した位置及び姿勢を基準の位置及び姿勢として利用することによって、現在時点での位置及び姿勢の推定が可能となる。

なお、<B>の場合であってもサーバー2側で所定頻度にて認識処理のみ並行して実行するようにしてもよい。すなわち例えば<B>の[2]において<A>のようなa2の情報を送信し、(2)において認識処理を行うが、b2の情報は送信しないようにしてもよい。この場合、サーバー2側の認識処理において撮像対象が切り替ったことが判明した場合、ただちに端末1に通知して撮像対象を切り替えての制御に移行させるようにしてもよい。

図10は更新部15の機能ブロック図である。更新部15は、算出更新部51、センサ更新部52、別算出更新部53、外挿更新部54及びカメラワーク更新部55を含む。当該各部は情報c2〜c6等を推定する各実施形態を担う。なお、センサ更新部52及びカメラワーク更新部55が位置及び姿勢の変化を推定し、その他は全て位置及び姿勢そのものを推定する。

更新部15は当該各部のうちのいずれかを利用することで位置及び姿勢を推定することができる。更新部15はユーザからの指示等に従って当該各部のうちいずれを利用するかを変更可能なように構成されていてもよい。

算出更新部51は、算出部12で算出しているのと同種の特徴情報より撮像対象の位置及び姿勢を推定する。すなわち、サーバー2とのやりとりにて特徴情報のうち撮像対象の部分を捉えた正対応の部分を把握することができるので、算出更新部51は以降、特徴情報のうち当該正対応の部分のみを画像上において追従することによって、画像全体から特徴情報を算出する場合と比べて計算量を削減しつつ、撮像対象の端末1に対する位置及び姿勢を推定することができる。

例えば、ある正対応の特徴量がある時点にてある特徴点座標において算出されている場合、次の時点では当該特徴量を当該特徴点座標の近傍の所定領域を探索することによって算出するようにすればよい。当該近傍はオプティカルフロー等に基づいて定めてもよい。

センサ更新部52は、端末1に加わる加速度及び端末1の傾きをそれぞれ取得する加速度センサ及び傾きセンサを含み、加速度センサの出力の累計(積分)を端末1の並進移動量すなわち位置の変化として推定し、傾きセンサの出力の変化から端末1の回転量すなわち姿勢の変化を推定する。当該各センサ出力は十分なサンプリングレートを確保できる代わりに、時間と共に誤差が累積する性質を有する。なお、当該各センサ出力は平面射影変換の形式に変換されたうえで、制御部14へと出力される。

別算出更新部53は、算出部12で算出している特徴情報よりも計算負荷の少ない別種類の特徴量を画像から算出することで、位置及び姿勢を推定する。例えば撮像対象には予め所定のマーカーを設けておき、当該マーカーを検出することで位置及び姿勢を推定する。

当該マーカーは例えば、所定の色特徴でマーカーを囲む領域を画像上で絞り込み可能とした上で、当該領域の内部に対して一般に計算負荷の少ないエッジ検出を行うことによって互いに識別可能な4つ以上の特徴線分及び／又は特徴点(互いに識別可能な4つ以上の特徴箇所)を検出できるように構成することができる。特徴箇所を4つ以上とすることで、位置及び姿勢に対応する平面射影変換が算出可能となる。撮像対象が看板であれば外枠部分又は内部にこのようなマーカーを設けておくことができる。例えば看板が長方形であれば４本の特徴線分からなる外枠部分としてマーカーを構成することができる。

なお、マーカーの情報は図5で説明したような記憶部22の保持データに追加データとして含ませておくものとし、端末1はサーバー2とのやりとりがあった際に当該マーカーの情報を入手することで、認識された撮像対象におけるマーカーの検出が可能になるものとする。また、マーカーが所定の位置及び姿勢にある際の特徴点の座標も基準配置の情報として記憶部22で保持しておき、端末1にて検出された特徴点との間で平面射影変換を求められるようにしておくものとする。

外挿更新部54は、端末1とサーバー2とのやりとりによってサーバー2が認識した位置及び姿勢の所定の過去に渡る履歴に対して所定のフィッティング関数を適用することによって、当該時点での位置及び姿勢をその外挿値によって推定する。

例えば、直近の過去に認識した位置及び姿勢と、その１つ前の過去に認識した位置及び姿勢と、を履歴として、時間軸上の線形関数でフィッティングすることで当該時点での位置及び姿勢を推定する。フィッティング関数は位置及び姿勢の各々に設けることができる。姿勢の線形フィッティング関数によれば、固定された回転軸の回りに等しい角速度で動くように姿勢が推定されることとなる。

カメラワーク更新部55は、画像に対して特開2007-087049号公報などに開示されたカメラワーク推定処理を行い、所定のカメラワークパラメータを抽出することによって位置及び姿勢を推定する。すなわち、カメラワークは、パラメータとして抽出可能なパン、チルト、ズーム、ロールなどに分類でき、こうした所定のカメラワークパラメータより構成されるカメラワークは平面射影変換の特別な場合であるアフィン変換でモデル化できるので、当該パラメータより平面射影変換すなわち位置及び姿勢が推定できる。

また、サーバー2の認識処理を利用する所定タイミングの各実施例は次のとおりである。図9でも説明したように、以上のような更新部15による更新は当該所定タイミングで区切られる区間の内部毎に継続して実施されることとなる。

一実施例では、更新部15による位置及び姿勢の更新の回数が所定回数に達する毎に、サーバー2の認識処理の結果を利用する。更新部15がセンサ更新部52によって位置及び姿勢の変化を推定している場合、当該一実施例によってセンサ誤差の累積を所定タイミング毎に解消することができるため好ましい。また更新部15が外挿更新部54によって位置及び姿勢を推定している場合、当該一実施例によって外挿の精度を保つことができるため好ましい。

一実施例では、更新部15では算出更新部51又は別算出更新部53によって位置及び姿勢を推定しておき、当該推定に用いる平面射影変換を求める際の誤差が一定値を超えた場合に、サーバー2の認識結果を利用する。なお、当該一定値を超えた次の回の処理をサーバー2の認識結果利用としてもよい。

一実施例では、更新部15では算出更新部51(又は別算出更新部53)によって位置及び姿勢を推定しておき、当該推定に用いる特徴点(又はマーカーの特徴箇所)が所定個数以上検出不能になった場合に、サーバー2の認識結果を利用する。なお、当該検出不能となった次の回の処理をサーバー2の認識結果利用としてもよい。なお、算出更新部51及び別算出更新部53は、特徴点(又はマーカーの特徴箇所)が所定個数未満検出不能である間は、検出可能な特徴点(ただし、4点以上)によって平面射影変換を求め、位置及び姿勢を推定するものとする。

上記2つの実施例では特に、それまで画像上に捉えていた撮像対象が、撮像部11の向きの変化又は移動などで画像内から消えてしまった場合に、再度サーバー2にアクセスして、現在の入力画像において別の撮像対象を認識させるようにすることができる。

3…情報提示システム、1…端末、2…サーバー、11…撮像部、12…算出部、13…測位部、14…制御部、15…更新部、16…出力部、17…(端末側)送信部、18…(端末側)受信部、21…認識部、22…記憶部、23…抽出部、24…(サーバー側)送信部、25…(サーバー側)受信部、51…算出更新部、52…センサ更新部、53…別算出更新部、54…外挿更新部、55…カメラワーク更新部

Claims (10)

1. 撮像対象を撮像する撮像部を含む端末と、該端末と通信するサーバーとを備え、該端末において撮像対象に関連した付加情報を提示する情報提示システムであって、
   前記端末は、
   当該端末の位置を含む測位情報を取得する測位部と、
   前記撮像された画像より回転及び拡大縮小に対して不変な所定の特徴量及びその特徴点座標を算出する算出部と、
   前記取得した測位情報並びに前記算出された特徴量及び特徴点座標を前記サーバーに送信する端末側送信部と、
   前記サーバーが認識する前記端末の撮像対象に対する位置及び姿勢と、付加情報と、を前記サーバーより受信する端末側受信部と、
   前記認識された位置及び姿勢を更新する更新部と、
   前記サーバーより受信した付加情報を前記更新された位置及び姿勢に従って制御する制御部と、
   前記制御された付加情報を前記撮像された画像において撮像対象に対して所定配置をなして重畳させて表示する出力部とを含み、
   前記サーバーは、
   前記端末側送信部より送信された測位情報並びに特徴量及び特徴点座標を受信するサーバー側受信部と、
   所定の複数の撮像対象の各々につき、所定配置で撮像した際の特徴量及びその特徴点座標と、測位情報と、付加情報と、を対応付けて保持する記憶部と、
   前記記憶部を検索することにより、前記取得された測位情報との距離が所定範囲に収まる測位情報を有する撮像対象を、前記撮像部が撮像している撮像対象の候補として、その特徴量及び特徴点座標と共に抽出する抽出部と、
   前記抽出された各候補における特徴量及び特徴点座標を前記受信した特徴量及び特徴点座標と比較することで、いずれの候補が前記撮像部が撮像している撮像対象に該当するかと、当該撮像対象の前記端末に対する位置及び姿勢と、を認識する認識部と、
   前記認識された位置及び姿勢と、前記該当すると認識された撮像対象に対して前記記憶部で保持されている付加情報と、を前記端末に送信するサーバー側送信部とを含むことを特徴とする情報提示システム。
2. 前記測位部は、経度、緯度、高度若しくは建築物の階数又は方位若しくは仰角、又はこれらの一部若しくは全てからなる組み合わせを含んで前記測位情報を取得することを特徴とする請求項１に記載の情報提示システム。
3. 前記端末側送信部は前記端末を特定する情報を含む端末情報を送信し、前記サーバー側受信部は当該端末情報を受信し、前記記憶部は前記付加情報を端末情報に応じた内容を有するようにして保持し、
   前記記憶部は、付加情報を端末情報に応じた各内容を有するような構成によって保持し、
   前記サーバー側送信部は、前記該当すると認識された撮像対象に対して前記記憶部で保持されている付加情報の前記各内容のうち、前記受信した端末情報に応じた内容を前記端末に送信することを特徴とする請求項１または２に記載の情報提示システム。
4. 前記記憶部は、前記所定の複数の撮像対象の各々につき、端末情報をさらに対応づけて保持し、
   前記抽出部は、前記記憶部で保持された端末情報の中に前記受信した端末情報が存在するような撮像対象の中より前記抽出を行うことを特徴とする請求項１ないし３のいずれかに記載の情報提示システム。
5. 前記測位部は前記撮像部の撮像する方位を含んで前記測位情報を取得し、
   前記抽出部は、前記記憶部を検索することにより、前記取得された測位情報との距離が所定範囲に収まり、且つ前記測位情報における位置より前記測位情報における方位へ向けて前記撮像部が撮像する際の所定の画角内に収まる測位情報を有する撮像対象を、前記撮像部が撮像している撮像対象の候補として、その特徴量及び特徴点座標と共に抽出することを特徴とする請求項１ないし４のいずれかに記載の情報提示システム。
6. 前記認識部は、前記抽出された各候補における特徴量と前記受信した特徴量との間で似たものを対応づけ、当該対応付けられた特徴量に対する特徴点座標の間でRANSAC又はPROSACによって仮の平面射影変化の関係を求めて誤対応を除外してから正対応の特徴点座標間で平面射影変化の関係を再度求めると共にその変換誤差を求め、各候補のうち当該変換誤差が最小となる候補を前記撮像部が撮像している撮像対象に該当するものとして認識し、当該候補に対して前記再度求められた平面射影変化の関係に基づいて当該撮像対象の前記端末に対する位置及び姿勢を認識することを特徴とする請求項１ないし５のいずれかに記載の情報提示システム。
7. 前記更新部が、
   前記認識部で得られた正対応の特徴量及び特徴点座標を追従して算出し、前記認識された際の平面射影変換の関係を更新することによって、前記認識された位置及び姿勢を更新する算出更新部と、
   前記端末に加わる加速度を取得する加速度センサ及び前記端末の傾きを取得する傾きセンサを含み、前記加速度センサの取得した加速度の累計に基づいて前記端末の位置の変化を推定し、前記傾きセンサの取得した傾きの変化から前記端末の姿勢の変化を推定することによって、前記認識された位置及び姿勢を更新するセンサ更新部と、
   撮像対象に予め設けられている所定のマーカーをエッジ検出によって検出することによって前記認識された位置及び姿勢を更新する別算出更新部と、
   前記認識された位置及び姿勢の所定の履歴に所定のフィッティング関数を適用して現在時点での位置及び姿勢を外挿により求めることで前記認識された位置及び姿勢を更新する外挿更新部と、
   前記撮像された画像から所定のカメラワークパラメータを抽出することによって前記認識された位置及び姿勢を更新するカメラワーク更新部と、のいずれかを含むことを特徴とする請求項６に記載の情報提示システム。
8. 前記認識部は所定のタイミング毎に撮像対象並びにその位置及び姿勢を前記認識し、
   前記所定のタイミングが、
   前記更新部が所定回数前記更新すること、
   前記算出更新部又は前記別算出更新部にて位置及び姿勢を更新するために当該位置及び姿勢を求める際の誤差が一定値を超えること、
   前記算出更新部が追従して算出する正対応の特徴点座標又は前記別算出更新部が検出する所定のマーカーにおける特徴箇所が、所定個数以上算出不能又は検出不能となること、のいずれかによって定まることを特徴とする請求項７に記載の情報提示システム。
9. 前記算出部は、画像の局所領域における相対的な輝度勾配に基づいて前記特徴量及び特徴点座標を算出することを特徴とする請求項１ないし８のいずれかに記載の情報提示システム。
10. 前記算出部が算出する特徴量及びその特徴点座標のデータ量が前記撮像された画像のデータ量よりも多い場合に、前記端末側送信部は前記測位情報並びに前記特徴量及び特徴点座標に代えて前記測位情報及び前記撮像された画像を前記サーバーに送信し、前記サーバーが前記算出部の機能を担うことを特徴とする請求項１ないし９のいずれかに記載の情報提示システム。