JP2015207168A - 情報提示システム、方法及びプログラム - Google Patents

Abstract

【課題】情報提示端末等の限られたリソースにおいて、広域かつ緻密な対象認識と、これに基づく情報提示を実現する。【解決手段】提示部6は、ユーザに情報を提示する。記憶部5は、認識対象に紐付いた画像特徴量、位置情報及び提示情報を記憶する。計測部1は、ユーザの位置情報を計測する。撮像部2は、ユーザが見ている情景を撮像して撮像画像を得る。認識部3は、撮像画像より認識対象を認識する。制御部4は、認識部3が認識を行うための辞書としての画像特徴量を、記憶部5より、計測された位置情報の近傍領域に位置情報を有する認識対象から検索して認識部3に渡すと共に、当該渡して認識部3により認識された認識対象に対応する提示情報を、記憶部5から検索して、提示部6に提示させるよう制御する。【選択図】図１

Description

本発明は、携帯情報端末などのリソースが限られた端末であっても、広域かつ精緻に撮像画像から認識対象を認識することで、拡張現実等によって対応する情報提示を行うことのできる情報提示システム、方法及びプログラムに関する。

撮像画像に関連する情報を提示することができる技術として、拡張現実がある。拡張現実を提供する方法としては、以下の特許文献１〜３のような方法が公開されている。

特許文献１では、物体の色に近似した色が付され、かつその外形及び配置の組み合わせにより識別情報を構成する複数のマーカエレメントで構成されるマーカユニットを物体に配置し、該物体のカメラ映像を解析することによって、現実環境における物体に仮想情報を重畳表示する際の位置合わせを行う複合現実感システムが開示されている。

特許文献２では、位置姿勢センサが配置された現実空間の実写画像に、位置姿勢センサとカメラの計測範囲を重ね合わせた合成画像を生成する画像合成装置が開示されている。

特許文献３では、サーバとクライアントで構成され、クライアントの位置及び方位、速度に応じて、拡張現実の表示情報を表示させる領域を決定するシステムが開示されている。

特開2009-020614号公報（複合現実感システムに用いるマーカユニット、複合現実感システム、マーカユニット作成支援システム、及び、マーカユニット作成支援プログラム） 特開2007-233971号公報（画像合成方法及び装置） 特開2011-123807号公報（アノテーション表示システム、方法及びサーバ装置）

特許文献１の複合現実感システムでは、カメラ画像におけるマーカユニットの位置により現実環境に重畳表示する仮想情報の位置が制御されるが、物体に予め人工的なマーカエレメントを配置しておく必要がある。このため、この複合現実感システムでの手法を利用できる場所が限定されるという課題がある。

特許文献２，３のシステムでは広域で利用できるため、特許文献１の問題を解決できる。しかし、位置姿勢センサの精度に依存するため、電波の隠蔽や干渉、磁場の影響による外乱が存在する場合は、正確な現在位置を計測することが困難であるという課題がある。

特許文献２，３のシステムではまた、マーカエレメントを利用しないため広域利用が可能な代わりに、利用者がカメラで撮像することが想定される様々な物体を活用して拡張現実表示を行うことができないという問題がある。例えば、同一場所に存在する個別の商品等のひとつひとつを区別して拡張現実の情報を提示することができないという課題がある。

本発明は上記実情に鑑みて提案されたもので、広域かつ緻密な対象認識を行うことにより拡張現実等の情報提示を可能とする情報提示システム、方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明は、ユーザに情報を提示する提示部と、認識対象に紐付いた画像特徴量、位置情報及び提示情報を記憶する記憶部と、を有する情報提示システムであって、ユーザの位置情報を計測する計測部と、ユーザが見ている情景を撮像して撮像画像を得る撮像部と、前記撮像された撮像画像より認識対象を認識する認識部と、前記認識部が認識を行うための辞書としての画像特徴量を、前記記憶部より前記計測された位置情報の近傍領域に位置情報を有する認識対象から検索して前記認識部に渡すと共に、当該渡して前記認識部により認識された認識対象に対応する提示情報を、前記記憶部から検索して、前記提示部に提示させるよう制御する制御部と、を備えることを特徴とする。

また、本発明は、ユーザに情報を提示する提示部と、認識対象に紐付いた画像特徴量、位置情報及び提示情報を記憶する記憶部と、ユーザの位置情報を計測する計測部と、ユーザが見ている情景を撮像して撮像画像を得る撮像部と、前記撮像された撮像画像より認識対象を認識する認識部と、制御部と、を備える情報提示システムによる情報提示方法であって、前記制御部が、前記認識部が認識を行うための辞書としての画像特徴量を、前記記憶部より前記計測された位置情報の近傍領域に位置情報を有する認識対象から検索して前記認識部に渡すと共に、当該渡して前記認識部により認識された認識対象に対応する提示情報を、前記記憶部から検索して、前記提示部に提示させるよう制御する手順を備えることを特徴とする。

さらに、本発明は、コンピュータを上記情報提示システムとして機能させる情報提示プログラムであることを特徴とする。

本発明によれば、計測した位置情報の近傍領域に該当するような認識対象のみに候補を予め絞り込んで、撮像画像からの認識対象の認識を行い、認識結果に基づいて情報提示を行う。従って、当該絞り込みにより広域かつ緻密な対象認識が実現され、これに基づく拡張現実等の情報提示が可能となる。

一実施形態に係る情報提示システムの機能ブロック図である。 既知の情報として利用される、アクセスポイントの配置等の情報の模式的な例を示す図である。 電波到達範囲が重複しない場合に好適な近傍領域の設定の一例を模式的に示す図である。 各認識対象につき階層構造を取る辞書の例を模式的に示す図である。 提示部による情報提示の例を示す図である。 一実施形態に係る情報提示システムの動作のフローチャートである。 別の一実施形態に係る情報提示システムの動作のフローチャートである。 近傍領域の管理を模式的に示す図である。 予備領域を模式的に示す図である。

図１は、一実施形態に係る情報提示システムの機能ブロック図である。情報提示システム10は、計測部1、撮像部2、認識部3、制御部4、記憶部5及び提示部6を備える。

情報提示システム10は、その全体を本発明による情報提示を受けるユーザが有する情報端末装置（携帯電話、スマートフォン、あるいはシースルー型ヘッドマウントディスプレイ端末など）によって実現してもよいし、その一部の機能部、例えば認識部3及び／又は記憶部5をサーバ（１台以上のサーバ）によって実現するようにしてもよい。サーバに機能を分担させる場合は、ユーザが有する情報端末装置と当該サーバとの間ではネットワーク経由で情報のやりとりを行えばよい。複数ユーザが各自の情報端末装置でそれぞれ情報提示を受ける場合は、記憶部5の一部または全ての機能をサーバに設置し、複数のユーザ間で情報を共有するようにしてもよい。

各部1〜6の処理の概要は次の通りである。

計測部1は、ユーザの位置情報を計測して制御部4に渡す。撮像部2は、認識対象が含まれる情景を撮像して撮像画像を得て、当該画像を認識部3へと、また必要に応じて提示部6へと渡す。認識部3は、制御部4から得られる辞書を用いて撮像画像より認識対象を認識してその結果を制御部4に返す。

制御部4は、計測部1で得た位置情報に基づき記憶部5より辞書を得て認識部3に渡し、その結果として認識部3から返された認識結果に基づき記憶部5から提示情報等を得て提示部6に渡して提示させる。記憶部5は認識対象に紐付いた辞書（画像特徴量）、位置情報及び提示情報等を格納し、制御部4からの参照に供する。提示部6は制御部4の制御のもと、現在位置及び／又は撮像画像に関連する情報をユーザに提示する。

ここで、制御部4では、計測部1で得た位置情報に対応する第一辞書を記憶部5から取得して認識部3に渡して第一認識結果を得てから、さらに、当該第一認識結果に対応する第二辞書を記憶部5から取得して認識部3に渡して第二認識結果を得て、当該第二認識結果に基づき記憶部5から提示情報等を得て、提示部6に提示を行わせるようにすることができる。

この場合、認識部3では広域的な認識結果として第一認識結果を得て、その結果をさらに絞り込む形で、局所的な認識結果として第二認識結果を得ることで、階層的な認識処理を行い、その結果に基づき提示部6の提示処理が行われる。当該認識処理の階層の数は２階層よりもさらに深めるようにしてもよいし、階層的な認識処理を行わずに１階層のみの認識処理を行うようにしてもよい。

以下、説明の流れとして、まず当該各部1〜6の個別の具体的な処理内容をそれぞれ説明してから、情報提示システム10の全体的な動作を説明する。

計測部1は、無線を用いて位置情報を定期的に計測し、計測結果を位置情報として制御部4へ出力する。無線には、周知の各種を利用できる。例えば、GPS（全地球測位システム）、IMES（インドア・メッセージング・システム；屋内GPS）や無線基地局、WiFi（登録商標）、Bluetooth（登録商標）等の一部または全てを利用できる。

本発明においては、当該利用する無線のアクセスポイントの配置等の情報が予め既知であるものとする。図２は、当該既知のアクセスポイントの配置等の情報の模式的な例を示す図である。図２では、右側の凡例の欄に示すように、道路や通路をグレー領域で示し、店舗内外等に設置されたアクセスポイントを黒丸で、電波の到達範囲を大円で表している。また、移動可能な経路はアクセスポイント（を表す黒丸）同士を線分で連結し図示している。当該表記のもとで図２の左側のマップ例に示すように、各アクセスポイントは設置場所の位置情報及び電波到達範囲、移動可能な経路が事前に登録されている。

ここで、その電波到達範囲に関してアクセスポイントは離散的に配置することも、重複して配置することもできる。前者によれば設置コストが抑えられ、後者によれば計測部1にて計測する位置精度が向上する。また、電波到達範囲の広さはアクセスポイント毎に設定することができる。後述するように、認識部3で認識する対象の数に反比例して設定することが認識性能の向上の観点（後述する読み込み時間の平準化の観点）で望ましい。

以上のような既知のアクセスポイントにより、計測部1では次のような周知手法によって位置情報を求めることができる。まず、無線種類に応じて能動的若しくは受動的に受信した電波からアクセスポイントを示す一意なIDを得る。単一のIDを利用する場合は、最も電波強度が大きいIDのアクセスポイントの電波到達範囲内部に位置していると判断し、当該IDのアクセスポイントの設置座標を位置情報として出力する。一方、複数のIDを利用する場合は、ID毎の電波強度をもとに三角測量を用いて計測する。あるいは、事前に場所ごとの電波強度を計測しておくことで得られる事前電波強度分布と照合することで、位置を計測してもよい。いずれも計測結果の座標を位置情報として制御部4へと出力する。

撮像部2は、ユーザ操作を受けることにより、予め記憶部5に登録された認識対象を含む情景を撮像し、撮像画像を認識部3へ出力する。またさらに、提示部6で拡張現実表示等による情報提示に利用する際は、撮像画像を提示部6へも出力する。認識対象には、空間、店舗、商品等の場所に紐付いた対象の一部あるいは全てを利用できる。撮像部2には、携帯端末等に標準装備されるデジタルカメラ等を用いることができる。

認識部3は、制御部4から入力された現在位置に対応する辞書を用いて、撮像部2で撮像された認識対象を含む撮像画像を解析することによって認識対象を認識し、認識結果を制御部4へと出力する。ここで、辞書とは、事前に認識対象から抽出した画像特徴量その他の情報であって、予め記憶部5に格納されており、現在位置に対応する辞書が制御部4により選別されて認識部3に渡され、認識処理のレファレンスとして利用される。

当該辞書にはさらに、認識対象の種類に応じて、認識対象が存在する若しくは設置されている位置情報を予め紐付けておくことも可能である。従って、認識部3では認識対象を認識した結果、当該認識対象に位置情報が紐付いていた場合には、当該紐付けられた位置情報も取得することができ、当該位置情報も制御部4へと出力する。なお、所定の認識対象につき、その画像特徴量を抽出し、位置情報その他の付随する情報も紐付けて辞書とし、記憶部5に格納することを、辞書への「登録」と呼ぶ。登録は管理者等が行う。

位置情報が一意に定まり、紐付けが可能な認識対象として、街並みや道路、通路等の情景を辞書に登録しておき、認識部3において撮像部2が撮像する画像と照合することでユーザの位置情報を推定し、計測部1が計測する位置情報よりも精度が向上した位置情報を制御部4に出力することができる。

さらに、辞書には認識対象の種類に応じて、位置情報及び見える方位を紐付けておき、位置情報及び方位を制御部4に出力するようにしてもよい。例えば、位置情報としてある交差点の位置情報を有し、当該交差点に立って東西南北それぞれの方位に見えるランドマークをその方位と共に辞書に登録しておくことができる。

一方、位置情報が必ずしも一意には定まらず、紐付けができない認識対象についても、計測部1で得た位置情報を用いることで、提示情報を豊富に提示するために活用することが可能である。

例えば、位置情報を紐付けられない認識対象として、汎用品である看板（同一のものが各地に複数存在する系列店舗の看板など）や商品等の物体を辞書に登録しておき、撮像部2が撮像する画像より認識部3が認識した結果（位置情報は得られない）を制御部4に出力する。制御部4では、当該認識結果と、計測部1で計測された位置と、を関係付けることによって、特定の提示情報を記憶部5から読み出し、提示部6に情報提示を行わせる。

こうして、汎用品等の同一形状、同一内容の物体であっても位置毎に区別し、提示部6において異なる提示情報を提示することができる。例えば、同一商品であっても、当該商品を扱っている店舗ごとに、あるいは当該店舗の存在する地域ごとに、異なる情報を提示するようにすることができる。

また、方位や時間、天候等の変動しうる条件によって同一の認識対象であっても画像特徴量が変化する場合（特に、位置情報が一意に定まる情景などの場合）は、適宜それぞれに対応した画像特徴量を用意することで、辞書登録を行うようにしておいてもよい。この場合、制御部4では現在の条件に対応する画像特徴量を記憶部5から読み出して認識部3に渡すことで、認識部3では現在環境に対応する画像特徴量を用いて認識を実施することができる。

なお、以上のように認識部3が認識に用いる辞書については、後述の記憶部5の説明の際に再度、詳述する。

辞書を用いての認識部3による認識処理については、次のように、周知の処理を用いればよい。まず、撮像部2で撮像された撮像画像から抽出した画像特徴量と記憶部5に辞書として格納され制御部4から渡された画像特徴量とを照合する。画像特徴量は、画像の拡大縮小、回転等に頑強な性質を持つことが望ましい。例えば、SIFT(Scale Invariant Feature Transform)やSURF(Speeded Up Robust Features)、Ferns などを利用することができる。

ここで、画像特徴量の照合は、撮像画像の画像特徴量と記憶部の画像特徴量の組み合わせにおいて、差異が最小となる最適な組み合わせを選択する。例えば、SIFTでは特徴量同士のドット積を求め、最も類似する特徴量と2番目に類似する特徴量を選択する。前者との類似度と後者との類似度との比が予め設定した閾値を超えた場合、前者を対応関係にある画像特徴量として推定する。こうして、一定数以上の対応関係が得られた画像特徴量に紐付いた認識対象が、撮像されたものであるとの認識結果を得て、認識処理が完了する。

なお、制御部4の制御のもとで提示部6において提示情報を拡張現実として提示する場合は、認識部3において認識処理の際に併せて、画像特徴量の対応関係から撮像部と認識対象との相対的な姿勢及び位置を推定し、推定結果を制御部4に渡すことで拡張現実として提示させることができる。この場合、辞書には追加情報として、認識対象の画像特徴量に紐付ける形で、その立体モデル情報を登録しておき、拡張現実表示において周知の平面射影変換行列等の算出を行うことで、相対的な姿勢及び位置を推定することができる。ここで、立体モデル情報は、周知の平面状のARマーカの座標情報として登録してもよい。

なおまた、認識部3の全機能または一部の機能をユーザの情報端末装置とは別途のサーバで実現する場合、撮像画像若しくは当該撮像画像の画像特徴量をサーバへ送信し、サーバで認識した結果を情報端末装置において受信するようにすればよい。前者の場合はユーザの情報端末装置において画像特徴量を抽出する処理を行いサーバで照合処理を行うが、後者の場合は当該抽出処理もサーバが担う。

制御部4は、計測部1で計測された位置情報又は認識部3で認識された認識結果を入力し、当該位置を含む近傍領域に存在する認識対象の辞書又は/及び認識結果に関連する辞書、提示情報を記憶部5から取得し、辞書を認識部3へ出力し、提示情報を提示部6へ出力する。

制御部4の当該機能は、２種類に分けることができる。具体的には、以下の第一機能及び第二機能である。

第一機能は、認識部3に対して用いる辞書を指定することで、認識結果を受け取る処理である。すなわち、制御部4は、認識部3が撮像画像の認識処理を行うためにレファレンスとして用いる辞書を記憶部5に格納されている中から選択して、認識部3に提供し、認識結果を受け取る。

当該第一機能は、前述のように階層的に繰り返し実施することが可能である。

最初（第一階層処理）は、計測部1から得たユーザの現在の位置情報を用いて、当該位置情報の近傍領域にその位置情報が含まれるような撮像対象の辞書を記憶部5から検索して求め、当該近傍領域に該当する一連の撮像対象の辞書を認識部3に渡し、認識結果を受け取る。これにより、位置情報の近傍のみの辞書が選別されるので、本発明が実施されるエリアが広域に渡る場合であっても、ユーザの情報端末装置の制限されたリソース内において、当該エリア内全域で本発明の実施が可能となる。

なお、近傍領域は、現在位置から所定距離内にある領域として定めることができる。

そして、第二階層処理以降においては、認識部3から既に得られている認識結果や、ユーザの移動履歴といったようなその他の情報を用いることで、ユーザの現在状況に応じたより詳細な認識を可能とさせるための辞書を記憶部5からさらに検索して求め、認識部3に渡し、さらなる認識結果を受け取る。詳細は後述する。

ここで、第一階層処理における近傍領域（第二階層処理以降で利用してもよい）は、図２で説明したような電波到達範囲と独立して設定することができるが、ユーザの情報端末装置におけるメモリ等リソース制約範囲内において、無線により計測部1で取得される位置情報を適切に補って情報提示が実現されるように設定することが好ましい。

例えば、電波発信源（図２で説明したアクセスポイント）が疎に配置され、電波到達範囲が重複しない場合は、電波発信源の位置を中心とした近傍領域が重複するように設定することが望ましい。すなわち、計測部1で取得された現在位置に対して、対応する電波発信源を中心として、電波到達範囲を拡張する形で近傍領域を設定することで、電波発信源同士の間で電波到達範囲は重複していなくとも、設定される近傍領域は重複させる。

図３に、近傍領域の当該設定を模式的に示す。図２と同様の表記で、アクセスポイントAP11及びAP12の電波到達範囲がそれぞれ範囲R11及びR12である。このように重複しない電波到達範囲R11,R12に対して設定する近傍領域がそれぞれN11及びN12であり、互いに重複している。そして、ユーザの現在位置がR11,R12内のいずれかの位置であった場合に近傍領域がそれぞれN11,N12として設定される。こうして、ユーザがその後、R11,R12内から逸脱して電波が到達しない範囲へと移動した場合も、認識部3による認識処理やこれに基づく情報提示処理が継続して実施可能となる。

逆に、電波発信源が密に配置され、電波到達範囲が重複する場合は、計測部1で計測された位置の信頼度を評価して信頼度に反比例するように近傍領域を設定することができる。

すなわち、電波状況が悪く、得られた位置の信頼度が低い場合は広い近傍領域を設定し、逆に電波状況が良く、得られた位置の信頼度が高い場合は狭い近傍領域を設定する。なお、電波状況からの信頼度算出は周知技術を用いればよい。こうして、実際の現在位置が含まれないような近傍領域が設定されてしまい、提示部6において間違った情報提示がなされることや情報提示不可能となることを極力防止しつつも、近傍領域をできる限り狭く設定することで、記憶部5から読み込む辞書のサイズを抑制し、認識部3その他での処理負荷を抑制することができる。

制御部4における第二機能は、以上の第一機能によって認識部3から得られた認識結果に基づき、適切な提示情報を記憶部5から読み出して、提示部6に提示させる機能である。第一機能において階層処理で認識がなされた場合は、最も深い階層における最も詳細な認識結果に対応する提示情報を用いればよい。具体例は提示部6の説明の際に紹介する。

記憶部5は、辞書及び提示情報を格納し、制御部4からの参照に供する。当該辞書及び提示情報の具体的なデータは、管理者等によって予め用意される。

辞書には、認識部3の説明の際にも述べたように、各々の認識対象より抽出した画像特徴量が互いに区別して一意に判別できるようにして、登録されている。同一の認識対象につきさらに、方位や時間、天候等の変動しうる条件ごとに画像特徴量を登録しておいてもよい。また、位置情報が一意に定まるような認識対象については、当該認識対象が設置又は存在している位置情報がさらに紐付けられて登録されている。位置情報は、例えば、緯度、経度、フロア（高度）、方位の組み合わせで構成することができる。さらに、提示部6においてユーザに対して経路案内等の情報提示を実現すべく、位置情報同士に空間的又は平面的な配置を表すグラフ構造を与えておくことようにしてもよい。

辞書における各認識対象は、認識部3における階層的な認識処理を実現するために、周知のツリー構造によって、階層的な構造で登録しておくことができる。各階層は何らかのカテゴリに対応するものであってもよい。

例えば、第一階層は「街並みの空間」カテゴリの認識対象であって、街並みや通路等の辞書が設定されている。第二階層は「個別建物」カテゴリの認識対象であって、特定の店舗や看板等の辞書が設定されている。さらに、第三階層は「個別商品」カテゴリの認識対象であって、店舗内の商品やPOP等の辞書が設定されている、といった構造が可能である。

図４は、階層構造の辞書の例を模式的に示す図である。ここでは、左側に示すアクセスポイントAP1の電波到達範囲R1内の位置P1〜P3に第一階層の認識対象が設定されている。第一階層は[1]に示すように、各位置P1, P2, P3での情景画像としてそれぞれ、コンビニエンスストアAの看板の画像G1、薬局Bの看板の画像G2、書店Cの画像G3から特徴量F1, F2, F3が登録されている。そして、[2],[3]に示すように、第二階層、第三階層についても、位置Piにあるそれぞれの認識対象iの画像Gi（内容例は図中描くのを省略している）から特徴量Fiが登録されている。

[2]では画像G1の下位構成として、画像G11〜G13がその位置情報及び特徴量を登録されている。例えば、コンビニエンスストアA内の商品や展示物を登録することができる。画像G2,G3についても同様である。画像G3の下位構成を作る画像G31,G32についてはさらに、[3]に示す第三階層が登録されている。例えば、第二階層として書店Cにおけるブース1、ブース2の画像をG31,G32として登録を行い、当該ブース内の商品や展示物をそれぞれの下位構成G311,G312及びG321,G322に登録することができる。

なお、図４の例では、階層構造の辞書内の全ての認識対象につき、位置情報が登録されているが、下位構成の認識対象については位置情報が登録されないものがあってもよい。例えば店舗内で移動しうる商品は、位置情報を登録しないようにしてもよい。

一方、記憶部5に記憶される提示情報は、以上のような認識対象のそれぞれについて、所定の情報を用意しておくことができ、辞書と関連させて記憶させておく。図４のように認識対象に階層構造がある場合は、各階層で提示情報を用意しておいてもよいし、最も下位の認識対象についてのみ提示情報を用意しておいてもよい。

また、位置情報がない認識対象についても、認識部3の説明の際にも述べたように、位置で区別した提示情報を用意しておくことができる。例えば認識対象としてある商品について、該当地域や該当店舗ごとに異なるクーポン情報として、提示情報を用意するといったことが可能である。

さらに、提示情報については、同一の認識対象であっても、ユーザ属性等に応じて異なった情報を用意しておくこともできる。例えば、同一商品について、より効果的な広告用途等を実現するために、ユーザの性別や購買履歴等ごとに異なった提示情報を用意しておくことができる。

提示部6は、制御部4からの指示に従い、制御部4から渡された提示情報をユーザに提示する。提示の態様としては、撮像部2の撮像画像を利用してもよいし、利用しなくてもよい。提示に際しては、種々のフォーマットが利用可能であり、画像形式の他、テキストや音声の形式あるいはこれらの組み合わせで情報提示を行ってもよい。撮像画像を利用する場合、提示情報を重畳させることができる。重畳の際には、撮像画像内において認識部3によって認識された認識対象と、当該認識対象に対応する提示情報と、を紐付けるようにしてよい。この場合において、周知の拡張現実表示を利用してもよい。

図５は、提示部6による提示の例を示す図であり、[1]のような建物が並ぶ街並みをユーザが撮像した撮像画像G100に重畳表示を行って情報提示した例が[1-1]及び[1-2]に、また、ユーザが[1]とは別の状況にある例として、例えば各フロアからなる百貨店内にユーザがいる場合に、撮像画像は用いずに情報提示した例が[2]に示されている。

図５にて[1-1]では、撮像画像G100より図４で例示したコンビニエンスストアAの看板G1と薬局Bの看板G2とが認識された結果を利用して、それぞれA100,B100に示すような各店舗でのキャンペーンの情報が提示情報として重畳されている。[1-2]では、撮像画像G100の現在位置からユーザが到達したい目的位置への経路の途中がどのようになっているかを提示情報として示すために、右折すべき旨の矢印C100が提示情報として重畳されている。[2]では、同じく経路案内の情報提示を行うが、G100のような撮像画像は利用せずに、個別に用意される画像D100で情報提示が行われている。当該画像D100は、人形型アイコンで示すユーザの現在位置から星印で示す目的位置への経路を、模式的なフロアマップ上に一連の矢印によって示す画像である。

なお、撮像画像を主な入力として用いて図５における[1-2]や[2]のような経路案内を実現する場合には、本発明者による特願2014-001622号（経路案内システム、方法、プログラム及びそのデータ構造）を利用してもよい。

以上、情報提示システム10の各部1〜6の処理を個別に説明した。以下、情報提示システム10の全体的な動作を説明する。

図６は、一実施形態に係る情報提示システム10の動作のフローチャートである。当該フローによれば、ユーザが撮像したある1枚の撮像画像を用いて、当該時点におけるユーザの位置を判定し、対応する情報提示を行うことが可能である。

ステップS10では、ユーザ操作あるいはユーザ指示を受けて撮像部2が、ユーザの見ている情景を撮像し、その撮像画像を得てからステップS11へ進む。

ステップS11では、計測部1がユーザの当該撮像した時点における位置情報を取得してから、ステップS12へ進む。

ステップS12では、制御部4が、ステップS11で取得された位置情報より近傍領域を定め、記憶部5に格納された辞書を検索して、位置情報が当該近傍領域の内部に該当するような認識対象を見つけてから、ステップS13へ進む。

ステップS12では、一実施形態では、辞書が図４で説明したような階層構造を取っている場合には、その最上位の階層（第一階層）にあるような認識対象のみを、検索の対象とする。図４の例では、[1]に示す第一階層の認識対象G1~G3のみが検索の対象となる。この場合、第一階層の認識対象には全て、予め位置情報を紐付けておく必要がある。

ステップS13では、ステップS12で検索された認識対象の辞書を用いて、認識部3が、ステップS10で取得した撮像画像より、撮像されている認識対象を認識して、ステップS14へ進む。

ステップS14では、制御部4が、ステップS13で得られた認識結果に応じて再取得の必要性の有無を判断し、必要な場合は記憶部5を再度検索して辞書の再取得を行い、対応する新たな辞書をさらに認識部3に提供して再度、ステップS10で取得しステップS13で解析した撮像画像を対象として階層的な認識処理を実施させることを継続して、階層的な認識結果を得る。階層的な認識処理が完了した場合には、ステップS15へ進む。

ステップS14における新たに取得される辞書は、次の通りである。まず、辞書が階層構造を取っていることが前提である。そして、ステップS13で得られた認識結果（ツリー構造の最上位での認識結果）に含まれる認識対象に対して、下位の認識対象が存在する場合に、再取得が必要であると判断して、当該下位の認識対象の辞書を新たに取得し、階層的な認識処理のレファレンスとする。そして、同様の処理が、ツリー構造の最下位の認識対象に到達するまで、継続して実施される。なお、下位に至る途中で対応する認識対象が1つも認識されなくなった場合には、その時点で階層処理を完了する。

図４の辞書の例であれば、ステップS13において認識対象G1が認識結果として得られた場合には、その下位の認識対象G11,G12,G13の辞書が新たに取得され、認識部3に渡されてG11,G12,G13を対象とした認識処理が行われる。認識対象G11,G12,G13よりも下位の認識対象は存在しないので、これらについては再取得は実施されず、階層処理は完了する。同様にして、ステップS13において認識対象G2が認識されていれば、さらにG21,G22,G23を対象とした認識処理が行われ、認識対象G3が認識されていれば、さらにG31,G32を対象とした認識処理が行われる。そしてさらに、G31及び／又はG32が認識された場合には、それぞれG311,G312及び／又はG321, G322を対象とした認識処理が行われる。

本発明においては、ステップS12において現在位置の近傍領域に認識対象を絞り込んだうえでさらに、このような階層的な認識処理が行われることにより、各回の認識処理を計算負荷を適切に抑制して実施しながらも、全体として、広域なエリアに存在する膨大な認識対象をそれぞれ区別して精密に認識することが可能となる。仮に近傍領域への絞り込みも階層構造の認識処理も行わないものとすると、広域なエリアに存在する膨大な認識対象の全ての画像特徴量を読み込み、全数探索によって認識部3で個別に認識結果を確認する必要があるため、計算負荷が膨大なものとなってしまう。

ステップS15では、制御部4が、ステップS14で得られた一連の認識結果に含まれた認識対象に対応する提示情報を記憶部5から取得して、提示部6に提示させ、フローは終了する。なお、撮像画像に対して重畳する形で情報提示を行う場合は、ステップS10で取得した撮像画像が重畳させる対象となる。

図７は、別の一実施形態に係る情報提示システム10の動作のフローチャートである。図６の実施形態では、ある1時点においてユーザが撮像した撮像画像（ステップS10で取得した撮像画像）のみをトリガとして情報提示を行うことを想定していた。これに対して、図７の実施形態では、ユーザは例えば経路案内の情報提示を受ける等で、徐々に移動しながらも概ね連続的に撮像画像を得ることで、概ね連続的に情報提示を受ける場合を想定している。このような場合も、撮像された各回についてそれぞれ個別に図６のフローを実施することによって対処することも可能ではある。

しかし、図７のフローでは、徐々に移動していることから得られる履歴を活用することにより、実際に情報提示を行うためのトリガとなる撮像画像が得られた時点で図６のフローを開始したとした場合よりも、速やかに認識処理等を実施して、迅速な情報提示を実現する。具体的には、後述するステップS31,S32において、移動履歴等に基づいて認識処理等に用いるべき辞書等のデータを予め予測して、計算負荷等の観点から適切なデータサイズに抑制する形で準備しておくことにより、迅速な処理が実現される。これに対して図６のフローを個別適用した場合は、移動履歴等を利用せず、撮像画像が得られた時点で、いわば「ゼロ」から辞書等のデータを記憶部5から検索する分、迅速性は確保されないこととなる。

図７のフローにおいても、フロー開始時点は履歴のない状態であるので、まず初回に得られる撮像画像をトリガとして認識及び情報提示の処理を行う必要があり、当該初回の処理がステップS20〜S25である。当該ステップS20〜S25は、対応する符号を付してある図６のステップS10〜S15と同一であるので、その説明は省略する。初回のステップS25までが完了すると、以降は図示するようなステップS31〜S34の繰り返しにより、それまでの履歴を活用しての継続処理が実施される。

ステップS31では、当該時点までのユーザの移動履歴等に基づき、辞書等のデータが更新可能であるかを判断し、移動履歴等に変化があり更新可能と判断された場合はステップS32へ進んで更新処理を行った後にステップS33へ進み、そうではないと判断された場合、すなわち移動履歴等には変化がなく更新は不要と判断された場合は、ステップS32をスキップしてステップS33へ進む。

当該ステップS31で更新必要性を判断してステップS32で更新するデータは、後述のステップS34で認識部3が認識を行うための辞書と、その結果に基づいて提示部6に提示させる対象としての提示情報である。記憶部5には、辞書及び提示情報の全データが格納されているが、そのうち実際に認識処理及び提示処理で用いるものがどれであるかの区別を、制御部4が当該ステップS31,S32において更新しながら管理しておく。当該更新管理処理の詳細は後述する。

ステップS33では、情報提示を行うためのトリガとして、ユーザ操作又は指定により撮像部2において撮像がなされたか否かが判断され、撮像がなされていればステップS34へ進み、なされていなければステップS31へ戻って、更新管理処理を継続する。

ステップS34では、当該時点において制御部4により管理されている辞書を用いて、認識部3がステップS33で得られた撮像画像から認識対象を認識し、さらに、当該認識結果に基づき、当該時点において制御部4により管理されている、当該認識結果に含まれる認識対象に対応する提示情報を、提示部6が提示する。

ステップS34における認識処理及び提示処理における処理内容は、図６で説明したのと共通であるが、この際に用いるべき辞書及び提示情報の候補を予め制御部4が管理して指定している点が異なる。

以下、ステップS31,S32における制御部4による辞書及び提示情報の管理を説明する。当該管理においては、計測部1において常時、ユーザの位置情報を取得させておき、リアルタイムで更新される位置情報によって、対応する近傍領域も更新しながら管理し、当該近傍領域内のその位置情報が含まれているような認識対象の辞書及び提示情報が、管理対象となる。

なお、辞書が図４のような階層構造を取っている場合、最上位の認識対象が近傍領域内にある場合、当該認識対象に付属する下位の全ての認識対象も、管理対象とする。ただし、認識部3において認識処理を実施する際には、図６で説明したように階層構造を考慮して認識処理を実施する。

ここで、近傍領域が少しでも変化すると、その都度、新たに近傍領域内に位置情報が含まれるようになった認識対象の辞書及び提示情報を管理対象に加えると共に、近傍領域から逸脱した認識対象の辞書及び提示情報を管理対象外として管理することができる。

図８に当該管理を模式的に示す。ある時刻t20のユーザ位置がP20であり、その近傍領域がN20であって、N20内の認識対象が管理対象となる。矢印に示すようにユーザは移動して、次の時刻t21でユーザ位置がP21であり、その近傍領域がN21であってN21内の認識対象が管理対象となる。この場合、時刻t20からt21へ移行する際に、領域D20内にある認識対象が管理対象外となり、領域A21内にある認識対象が新たな管理対象となって、管理更新の処理がなされる。

なお、管理対象外とする領域D20は、時刻t21にて近傍領域N21内に含まれなくなった時点でただちに管理対象外とするのではなく、近傍領域の外部にあることが一定時間以上継続してから、管理対象外とするようにしてもよい。

しかしながら以上のようにすると、その都度、制御部4では記憶部5の検索処理を行う必要があり、相応の負荷が伴うこととなる。当該負荷を低減するために、各実施形態が可能である。

一実施形態では、ユーザの移動距離が閾値を超える都度、管理対象の更新を行うようにすることができる。図８の例では、位置P20,P21間の距離が閾値を超えている場合に、D20を管理対象外とし、A21を新たな管理対象とする。なお、移動距離は、直線で測定すればよい。

一実施形態では、移動可能な経路に基づいて近傍領域を限定してよい。すなわち、距離としては近接していても、現在位置から真っすぐに移動して到達することができないような領域は、近傍領域から排除することで、近傍領域内のデータサイズを抑制する。移動可能な経路の情報は、図２で説明したように、予め既知のアクセスポイント間の移動可能な経路の情報を利用することができる。

一実施形態では、近傍領域の範囲を利用者の移動軌跡から予測される領域に限定するようにして、同様にデータサイズの抑制を図るようにしてもよい。ここで、移動軌跡は、計測部1によって継続的に取得されている。移動先の予測には、各種の周知手法が利用できる。

一実施形態では、近傍領域を拡張して、データ更新のための予備領域に相当するものを設けるようにして、管理更新処理は当該拡張された予備領域内で実施するが、実際に認識処理及び提示処理を行うのに用いるのは、当初の近傍領域内のデータに限定するようにしてもよい。

図９に当該予備領域を模式的に示す。ユーザ位置がP13である際の近傍領域がN13であり、灰色で示されるように当該領域N13を拡張した外側に予備領域NP13を設定する。制御部4において記憶部5から取得して保持しておく辞書及び提示情報は、近傍領域N13及び予備領域NP13内にある認識対象に関するものとする。一方、実際に認識処理及び提示処理に提供するための辞書及び提示情報は、近傍領域N13内にある認識対象に関するものとする。

こうして、予備領域の利用により、ユーザが移動した際に、新たに必要となる辞書及び提示情報が既に用意されているので、迅速な認識及び提示処理が可能となる。図８の例であれば、時刻t21で新たに管理対象とする領域A21は、直前の時刻t20で既に予備領域として読み込まれている。従って、認識及び提示処理に必要な情報を突然、新たに記憶部5から検索せねばならない、といった事態の発生を防止できる。

なお、予備領域における辞書及び提示情報の管理には、近傍領域の管理と同様の実施形態を利用することができる。

以上の予備領域の利用は、記憶部5がユーザの情報端末装置とは別途のサーバで提供される場合や、記憶部5から辞書等の情報を読み込むのに時間を要する場合に好適である。記憶部5から読み込む時間（サーバの場合、ネットワーク遅延等も含む）が大きいほど、予備領域は広く設定することが好ましい。

また、管理更新のため、記憶部5から必要な辞書及び提示情報読み込むのには一定の時間を要することを前提に、ユーザ位置が変化しても当該必要な一定の時間が極端に変動せず、平準化されるようにする実施形態として、次のようなものが可能である。

すなわち、近傍領域を辞書や提示情報の密度に応じて設定すればよい。密度が高い場合は近傍領域を狭く、密度が低い場合は近傍領域を広く設定することで、対応する辞書及び提示情報を読み込む時間を平準化し、読み込みに伴う待ち時間の極端な変動を抑制する。

この場合の近傍領域は、電波到達範囲と一致させるように設定してもよい。すなわち、ユーザ位置に最も近いアクセスポイントの電波到達範囲を、この場合の近傍領域として設定してもよい。当該設定によれば、近傍領域と合致する電波到達範囲のそれぞれは、当該範囲内にある認識対象のデータサイズの総和が一定範囲内に収まることとなる。

なお、ここで密度とは、所定のデータサイズを有している辞書や提示情報を、そのデータサイズを有する点としてその位置情報に該当する位置に配置したマップにおける、データサイズ分布密度のことをいう。

以下、本発明における補足的事項を説明する。

（１）ユーザ属性を利用して処理負荷低減を実現する実施形態として、次が可能である。制御部4において、認識対象の優先順位及び／又は認識回数に応じて、基本辞書と拡張辞書とを区別して設定する。前者は位置に依らず常時、記憶部5から取得し（すなわち、一度取得後は常に保持しておき）、後者は位置に応じて取得することで、取得処理回数および処理時間の短縮と端末の計算リソースに応じたスケーラビリティとを実現できる。

すなわち、後者については、以上述べた実施形態と同様である。前者については、常時取得する（一度取得したらそのまま常に保持しておく点）点で以上述べた実施形態とは異なるが、実際に認識部3に対して認識候補として提示するか否かについては、位置情報が合致したときのみ、候補として提示する。当該扱いは、図９で説明した予備領域内に含まれる認識対象と概ね同様である。

また、基本辞書と拡張辞書とを区別するための、認識対象の優先順位及び／又は認識回数について、優先順位はユーザ属性等からマニュアルで設定し、認識回数は認識部3での認識結果の履歴から求めることができる。

認識回数を用いる場合、履歴に応じて各認識対象は、基本辞書と拡張辞書との区別が変化することとなる。例えば、ある系列のコンビニエンスの看板が認識対象として記憶部5に記憶されており、ユーザが頻繁に出かけるようになり頻繁に認識されるようになれば、当該看板は基本辞書として扱われるようになる。逆に認識頻度が下がると、拡張辞書に戻ることとなる。

（２）制御部4は、以上の説明では、近傍領域を設定するための位置情報として計測部1から得たものを利用した。これに代わる実施形態として、認識部3で認識された認識対象に位置情報が紐付いている場合は、当該認識対象から得られた位置情報によって、近傍領域を設定するようにしてもよい。当該実施形態は、計測部1の位置情報の精度が低い場合に好適である。

（３）計測部1の説明の際に述べた事前電波強度分布は一般に、その後の環境変化、すなわち、アクセスポイントの設置・稼働状況等の変化（管理外にある未知の新規なアクセスポイントが設けられる場合を含む）によって変化する。当該変化する電波強度分布の情報を、情報提示システム10の運用により得られる情報から取得することが可能である。すなわち、上記（２）の認識対象から得られた位置情報に、当該時点において計測部1が取得した電波強度分布があるものとして、最新の分布を取得することができる。当該得られた最新の分布を、以降の計測部1での位置計測の際に参照するようにしてもよい。

（４）本発明の情報提示システム10は、中央演算装置、メモリ及び入出力インターフェースといった周知のハードウェア構成を有する通常のコンピュータで実現可能である。この場合、図１の各部の処理内容に対応するような命令に従って中央演算装置が稼働することで、各部が実現されることとなる。本発明は当該命令を定義したプログラム、すなわち、コンピュータを情報提示システム10として機能させるプログラムとして提供することもできる。また本発明は、情報提示システム10の動作方法としても提供可能である。

10…情報提示システム、1…計測部、2…提示部、3…認識部、4…制御部、5…記憶部、6…提示部

Claims (19)

1. ユーザに情報を提示する提示部と、認識対象に紐付いた画像特徴量、位置情報及び提示情報を記憶する記憶部と、を有する情報提示システムであって、
   ユーザの位置情報を計測する計測部と、
   ユーザが見ている情景を撮像して撮像画像を得る撮像部と、
   前記撮像された撮像画像より認識対象を認識する認識部と、
   前記認識部が認識を行うための辞書としての画像特徴量を、前記記憶部より前記計測された位置情報の近傍領域に位置情報を有する認識対象から検索して前記認識部に渡すと共に、当該渡して前記認識部により認識された認識対象に対応する提示情報を、前記記憶部から検索して、前記提示部に提示させるよう制御する制御部と、を備えることを特徴とする情報提示システム。
2. 前記計測部は、その配置及び電波到達範囲が既知の無線発信源より無線を受信し、当該受信した無線発信源のIDを特定することによって位置情報を計測することを特徴とする請求項１に記載の情報提示システム。
3. 前記電波到達範囲は、当該範囲内おいて、前記記憶部で記憶され前記認識部により認識される候補としての認識対象のデータサイズの総和が一定範囲に収まるように設定されていることを特徴とする請求項２に記載の情報提示システム。
4. 前記記憶部は、認識対象に紐付いた画像特徴量を、認識対象における方位、時間及び天候などの変動しうる条件ごとに記憶していることを特徴とする請求項１ないし３のいずれかに記載の情報提示システム。
5. 前記制御部は、前記認識部により認識された認識対象に紐付いた位置情報を、前記計測部で取得された位置情報に代わるものとして取得することを特徴とする請求項１ないし４のいずれかに記載の情報提示システム。
6. 前記計測部は、その配置及び電波到達範囲が既知の無線発信源より無線を受信し、当該受信した無線発信源のIDを特定することによって位置情報を計測し、
   前記制御部は、前記代わるものとして取得された位置情報と、前記計測部により計測された各無線発信源の電波強度分布を紐付けることで、当該時点の当該位置情報に該当する位置の電波強度分布を取得することを特徴とする請求項５に記載の情報提示システム。
7. 前記記憶部はさらに、画像特徴量及び提示情報のみが紐付き、位置情報が紐付かない認識対象も記憶しており、
   当該位置情報が紐付かない認識対象が前記認識部によって認識された場合には、前記制御部は、当該認識対象につき、前記計測された位置情報に応じた提示情報を前記提示部に提示させるように制御することを特徴とする請求項１ないし６のいずれかに記載の情報提示システム。
8. 前記制御部は、前記認識部が認識を行うための辞書としての画像特徴量を前記検索して前記認識部に渡すに際して、前記計測された位置情報に依らずに、前記記憶部より一度その辞書としての画像特徴量を検索して取得した後は継続して保持する基本辞書と、前記計測された位置情報に応じて、その辞書としての画像特徴量を検索して取得する拡張辞書と、を用いることを特徴とする請求項１ないし７のいずれかに記載の情報提示システム。
9. 前記制御部は、認識対象における所定の優先順位及び／又は認識対象が前記認識部において認識された回数に基づいて、各認識対象が基本辞書及び拡張辞書のいずれに該当するかを設定することを特徴とする請求項８に記載の情報提示システム。
10. 前記計測部は、その配置及び電波到達範囲が既知の無線発信源より無線を受信し、当該受信した無線発信源のIDを特定することによって位置情報を計測し、
    前記制御部は、前記近傍領域を、前記計測された位置情報に対応する無線発信源の電波到達範囲を拡張した領域として設定し、
    無線発信源ごとに、当該拡張した領域が互いに重複していることを特徴とする請求項１ないし９のいずれかに記載の情報提示システム。
11. 前記制御部は、前記近傍領域を、前記計測された位置情報の信頼度が高いほど狭く、当該信頼度が低いほど広く、設定することを特徴とする請求項１ないし１０のいずれかに記載の情報提示システム。
12. 前記制御部は、前記近傍領域を、ユーザが移動可能な領域に限定することを特徴とする請求項１ないし１１のいずれかに記載の情報提示システム。
13. 前記制御部は、前記近傍領域を、ユーザの移動軌跡から予測される領域に限定することを特徴とする請求項１ないし１２のいずれかに記載の情報提示システム。
14. 前記制御部は、前記近傍領域を拡張した外側に予備領域を設定し、当該予備領域内に位置情報を有する認識対象の情報を予め記憶部から検索して読み込むことで、前記計測された位置情報が変化した際に、当該認識対象の情報を前記記憶部から検索することを省略させることを特徴とする請求項１ないし１３のいずれかに記載の情報提示システム。
15. 前記制御部は、前記近傍領域を、各近傍領域において、前記記憶部で記憶され前記認識部により認識される候補としての認識対象のデータサイズの総和が一定範囲に収まるように設定することを特徴とする請求項１ないし１４のいずれかに記載の情報提示システム。
16. 前記計測部は継続的にユーザの位置情報を取得し、
    前記撮像部は継続的に撮像画像を撮像し、
    当該継続的に撮像される撮像画像の各々につき、前記認識部が認識を行い、前記制御部が検索を行うことで前記提示部が情報を提示し、
    前記制御部は、各時点にて前記取得された位置情報の近傍領域内に位置情報を有する認識対象についての情報を、前記記憶部から取得して、前記認識部に渡す対象及び前記提示部に渡す対象として管理することで、近傍領域から逸脱した認識対象についての情報は当該管理される対象からは削除することを特徴とする請求項１ないし１５のいずれかに記載の情報提示システム。
17. 前記記憶部では、認識対象同士の間にツリー状の階層構造を設けて各認識対象の情報を記憶し、
    前記制御部では、当該階層構造の最上位にある認識対象から順次、その辞書を前記認識部に渡して認識させ、認識された撮像対象については逐次的に、下位側の認識対象の辞書を前記認識部に渡して認識を継続させることを特徴とする請求項１ないし１６のいずれかに記載の情報提示システム。
18. ユーザに情報を提示する提示部と、認識対象に紐付いた画像特徴量、位置情報及び提示情報を記憶する記憶部と、ユーザの位置情報を計測する計測部と、ユーザが見ている情景を撮像して撮像画像を得る撮像部と、前記撮像された撮像画像より認識対象を認識する認識部と、制御部と、を備える情報提示システムによる情報提示方法であって、
    前記制御部が、前記認識部が認識を行うための辞書としての画像特徴量を、前記記憶部より前記計測された位置情報の近傍領域に位置情報を有する認識対象から検索して前記認識部に渡すと共に、当該渡して前記認識部により認識された認識対象に対応する提示情報を、前記記憶部から検索して、前記提示部に提示させるよう制御する手順を備えることを特徴とする情報提示方法。
19. コンピュータを請求項１ないし１７のいずれかに記載の情報提示システムとして機能させることを特徴とする情報提示プログラム。