JP2012073920A - 拡張現実感提示装置、情報処理システム、拡張現実感提示方法及びプログラム - Google Patents

Abstract

【課題】人に不快感を与えることなく物品の識別情報を取得するとともに、その物品に係る情報が誰の物品に関するものであるのか容易に認識できるようにする。
【解決手段】ＨＭＤ１０４は、物品１０２に付された情報送信装置１０６から、物品１０２を識別するための識別情報を読み取り、その識別情報に対応する物品に係る情報を取得する。そして、ＨＭＤ１０４は、現実空間における物品１０２の位置を特定し、物品に係る情報を示すコンピュータグラフィックス画像データを、特定した位置と整合する位置に配置するように、コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する。
【選択図】図１

Description

本発明は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な技術に関するものである。

近年、高性能なＲＦＩＤタグが比較的安価に得られるようになり、普段の生活においても、例えば入退室管理、電子決済、カード型の定期券等、幅広い分野において利用されている。また、在庫管理においては、ＲＦＩＤタグを在庫に付しておき、ロケーション毎に設置されたリーダによって、在庫の入出庫を検知した場合、システムの在庫データを自動的に更新できるようにすることで、リアルタイムに正確な在庫の状況を把握することができるようになる。

さらに、ＲＦＩＤを食品のトレーサビリティに利用する試み等も行われており、野菜等に添付されたＲＦＩＤタグを、ユーザがリーダ機能付きの端末機器で読み取ると、ＲＦＩＤタグに記憶されている識別情報に基づいて生産履歴や流通履歴を記憶したデータベースが検索され、ユーザは端末機器で、その野菜の生産履歴や流通履歴等を確認することができる。将来的に、ＲＦＩＤタグのさらなる低価格やリーダの普及が進めば、今後、その用途はさらに広がるものと期待されている。

例えば、特許文献１には、識別子が格納されて商品に付されたＲＦＩＤタグを、その商品を販売する上での広告宣伝媒体として活用するための商品宣伝方法が提案されている。より具体的には、商品を識別子で記憶したＲＦＩＤタグ付きの商品の購入者と販売店との間で宣伝契約が結ばれると、宣伝契約を結んだ購入者（宣伝契約者）がＲＦＩＤタグ付きの商品を身に付けて移動した際、宣伝契約者の身に付けている商品に興味をもった第三者が携帯端末等によってＲＦＩＤタグに記憶されている識別子を読み取る。識別子を読み取った第三者は、識別子に基づいてネットワーク経由で販促情報（商品名、定価、販売店、商品の品質）を取得し、商品の詳細を知ることができるというシステムが開示されている。

また、特許文献２には、人によって使用される様々な物品にＲＦＩＤタグが設けられており、タグ情報を読み取るために、携帯端末を物品に近づけたり、タグ情報読み取りアンテナの受信範囲とほぼ同じ視野範囲のビデオカメラで物品を捉えたりして、読み取ったタグ情報に基づいて取得されるタグ管理情報から商品情報が携帯端末に提供されるシステムが開示されている。

特開２００６−７２６４５号公報 特開２００３−１５７４７７号公報

しかしながら、特許文献１に開示される構成では、周囲に大勢の人がいるような混雑した場所において、第三者が携帯端末でＲＦＩＤタグから識別子を取得したとしても、第三者はあくまで識別子を表す文字列を携帯端末上で確認することができるに過ぎず、一体、周囲にいる誰が身に付けている商品の識別子なのか、直ぐに認識することができないという問題が生じる。このため、第三者は、商品を直接目で見て確認することができない場合も少なくないため、販売店にとっては十分な宣伝効果が得られない。また、第三者は、自分にとって必要のない商品の識別子を含めて取得する可能性があるが、直接商品を見ることができなければ、取得した識別子の要否を瞬時に判断することができない。

特許文献２に開示される構成では、見ず知らずの人が身に付けているものに自身の携帯端末を近づけたり、タグ情報を読み取るためにビデオカメラで捉えたりしようとした場合、ＲＦＩＤタグの付された商品を身に付けていない人にとっては非常に不快に感じられ、トラブルにも発展しかねないという問題が生じる。また、タグ情報を読み取る側にとっても、ＲＦＩＤタグが付されているか否か不明な物品に携帯端末を接近させたり、ビデオカメラを向けたりするのは気軽にできることではない。

そこで、本発明の目的は、人に不快感を与えることなく物品の識別情報を取得するとともに、その物品に係る情報が誰の物品に関するものであるのか容易に認識できるようにすることにある。

本発明の拡張現実感提示装置は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置であって、物品に付された情報送信装置から、当該物品を識別するための識別情報を読み取る読取手段と、前記識別情報に対応する前記物品に係る情報を取得する取得手段と、現実空間における前記物品の位置を特定する特定手段と、前記物品に係る情報を示すコンピュータグラフィックス画像データを前記特定手段により特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示手段とを有することを特徴とする。
本発明の情報処理システムの第１の態様は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、物品に係る情報を管理する管理装置とを有する情報処理システムであって、前記拡張現実感提示装置は、前記物品に付された情報送信装置から、前記物品を識別するための識別情報を読み取る読取手段と、前記識別情報に対応する前記物品に係る情報を前記管理装置から取得する取得手段と、現実空間における前記物品の位置を特定する特定手段と、前記物品に係る情報を示すコンピューグラフィックス画像データを前記特定手段により特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示手段とを有することを特徴とする。
本発明の情報処理システムの第２の態様は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、物品に係る情報を管理する管理装置と、前記所定のエリアに設置され、前記所定のエリア内に位置する前記物品に付された情報送信装置から前記物品を識別するための識別情報を受信する読取装置と、前記読取装置による前記識別情報の受信強度に基づいて前記所定のエリアにおける前記物品の位置情報を算出する位置特定装置とを有する情報処理システムであって、前記位置特定装置は、前記読取装置から前記識別情報の受信強度情報を受信する受信手段と、前記受信強度情報に基づいて、前記所定のエリア内における前記物品の位置情報を算出する位置算出手段と、前記位置算出手段により算出された前記物品の位置情報を前記管理装置に送信する送信手段とを有し、前記拡張現実感提示装置は、前記情報送信装置から前記識別情報を読み取る読取手段と、前記識別情報に対応する前記物品に係る情報及び前記物品の位置情報を前記管理装置から取得する取得手段と、前記物品の位置情報に基づいて、現実空間における前記物品の位置を特定する特定手段と、前記物品に係る情報を示すコンピューグラフィックス画像データを前記特定手段により特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示手段とを有することを特徴とする。
本発明の拡張現実感提示方法は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法であって、物品に付された情報送信装置から、当該物品を識別するための識別情報を読み取る読取ステップと、前記識別情報に対応する前記物品に係る情報を取得する取得ステップと、現実空間における前記物品の位置を特定する特定ステップと、前記物品に係る情報を示すコンピュータグラフィックス画像データを前記特定ステップにより特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示ステップとを有することを特徴とする。
本発明のプログラムは、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法をコンピュータに実行させるためのプログラムであって、物品に付された情報送信装置から、当該物品を識別するための識別情報を読み取る読取ステップと、前記識別情報に対応する前記物品に係る情報を取得する取得ステップと、現実空間における前記物品の位置を特定する特定ステップと、前記物品に係る情報を示すコンピュータグラフィックス画像データを前記特定ステップにより特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示ステップとをコンピュータに実行させることを特徴とする。

本発明によれば、人に不快感を与えることなく物品の識別情報を取得するとともに、その物品に係る情報が誰の物品に関するものであるのか容易に認識することが可能となる。

本発明の実施形態に係る街中広告システムの構成を概略的に示す図である。 ＨＭＤのレンズ部分において、現実空間の映像にコンピュータグラフィックス画像データが合成表示された状態の例を示す図である。 本発明の実施形態に係るＨＭＤのハードウェア構成を示す図である。 本発明の実施形態におけるＨＭＤの処理の流れを示すフローチャートである。 本発明の実施形態に係る街中広告システムの構成を概略的に示す図である。 本発明の実施形態におけるＨＭＤの処理の流れを示すフローチャートである。 本発明の実施形態に係る街中広告システムの構成を概略的に示す図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る街中広告システムの構成を概略的に示す図である。図１に示すように、本実施形態に係る街中広告システムは、通行人が所持するＧＰＳ機能を備えた携帯端末１０１と、通行人が身に着けているＲＦＩＤタグ１０６付きの商品（ここでは、シャツ）１０２に係る情報（以下、商品情報と称す）を管理する商品サーバ１０３と、ユーザの頭部に装着される眼鏡型のＨＭＤ（Head Mounted Display）１０４とで構成される。なお、図１においては、説明の簡便のため、携帯端末１０１、商品サーバ１０３及びＨＭＤ１０４をそれぞれ一つずつ示しているが、実際には、それぞれが任意数あって構わない。また、以下の説明において、ＲＦＩＤタグ付きの商品を身に着けている通行人とは、当該商品の販売店と宣伝契約を結んだ購入者を想定している。

ＨＭＤ１０４は、商品情報を示すコンピュータグラフィックス画像データを、現実空間の映像と合成して表示する。即ち、ＨＭＤ１０４は、光学的に透過してＨＭＤのレンズ１０４ａに映し出される現実空間の映像に整合する位置にコンピュータグラフィックス画像データを表示することにより、拡張された現実感を演出する。以下の説明では、このように拡張された現実感を与えるコンピュータグラフィックス画像データの合成表示を、ＡＲ（Augmented Reality）表示と称することがある。なお、ＨＭＤ１０４には、非透過型、ビデオ透過型、光学透過型等の様々な方式がある。合成表示（ＡＲ表示）とは、いずれかの方式によってＨＭＤのレンズ１０４ａに映し出される現実空間の映像に対し、その映像に整合する位置にコンピュータグラフィックス画像データを合成表示することであって、例えば、光学透過型方式であれば、シースルーで見る現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データが合成表示され、ビデオ透過型であれば、ビデオカメラで撮影した現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データが合成表示される。

なお、本実施形態においては、ＡＲ表示を行うデバイスであるＡＲ表示デバイスの例として眼鏡型のＨＭＤ１０４を挙げているが、これに限られない。例えば、カメラによって撮影された現実空間の映像を液晶ディスプレイ等に表示し、表示された現実空間の映像にコンピュータグラフィックス画像データを合成表示するような携帯端末型のＡＲ表示デバイスでもよいし、移動車両の運転席の視線方向に設置され、光学的に透過して映し出される現実空間の映像にコンピュータグラフィックス画像データを合成表示するようなヘッドアップディスプレイ型のＡＲ表示デバイスであってもよい。また、現実空間の映像に整合させてコンピュータグラフィックス画像データを表示させる際に、現実空間の映像中のオブジェクトとコンピュータグラフィックス画像データとの座標合わせが行われる。座標合わせの手法としては、本実施形態においては、ＨＭＤ１０４の位置（緯度、経度）と姿勢（方向、仰角）とに基づいてＨＭＤ１０４を装着したユーザが現実空間のどこを見ているかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成する。

通行人が所持するＧＰＳ機能付きの携帯端末１０１は、ＧＰＳ衛星１０５ａ、１０５ｂから受信するデータに基づいて当該携帯端末１０１の位置情報（ここでは、緯度、経度）を算出する。また、携帯端末１０１内には、現在通行人が身に着けている商品１０２のＩＤ情報が格納されている。ＩＤ情報は、商品１０２に取り付けられているＲＦＩＤタグ１０６から携帯端末１０のリーダ機能によって読み取ってもよいし、通行人が携帯端末１０１を操作することにより商品１０２のＩＤ情報を入力してもよい。携帯端末１０１は、算出した最新の位置情報を商品１０２のＩＤ情報とともに商品サーバ１０３に対して送信する。なお、携帯端末１０１から商品サーバ１０３に対して最新の位置情報を送信する処理は、所定の時間間隔毎に行ってもよいし、携帯端末１０１が最新の位置情報を算出する度に行ってもよい。

商品サーバ１０３は、商品毎（ＩＤ情報毎）に商品情報１０３ａを管理する。商品サーバ１０３は、携帯端末１０１から位置情報及びＩＤ情報を受信すると、当該ＩＤ情報の商品情報内における位置情報を、携帯端末１０１から受信した最新の位置情報に更新する。なお、商品情報は、位置情報のほか、当該商品の商品名、ブランド、販売店、価格、在庫情報等によって構成される。

ユーザが装着するＨＭＤ１０４は、ＲＦＩＤリーダの機能を備えており、ＲＦＩＤタグ１０６付きの商品１０２を身に着けた通行人がユーザの近くにくると、ＨＭＤ１０４の通信Ｉ／Ｆコントローラ１０４ｂの制御により自動的にＲＦＩＤタグ１０６から商品１０２のＩＤ情報を読み取る。これにより、通行人に不快感を与えることなく、商品１０２のＩＤ情報を取得することができる。また、ＨＭＤ１０４の通信Ｉ／Ｆコントローラ１０４ｂは、ＲＦＩＤタグ１０６からＩＤ情報を読み取ると、商品サーバ１０３に対して当該ＩＤ情報を送信する。

商品サーバ１０３は、ＨＭＤ１０４からＩＤ情報を受信すると、当該ＩＤ情報の商品情報をＨＭＤ１０４に対して返信する。ＨＭＤ１０４は、商品情報を受信すると、ＨＭＤ１０４の位置及び姿勢に基づいてユーザが現実空間のどこを見ているかを推定し、推定した位置が商品情報内の位置情報で示される位置と合致する場合、ユーザが商品１０２を見ていると判定する。

ＨＭＤ１０４は、ユーザが商品１０２を見ていると判定すると、その商品１０２の位置に整合するように、現実空間の映像に商品情報を示すコンピュータグラフィックス画像データを合成する。

図２は、ＨＭＤのレンズ部分１０４ａにおいて、現実空間の映像にコンピュータグラフィックス画像データが合成表示された状態の例を示す図である。図２に示すように、ＨＭＤ１０４は、現実空間における商品１０２の映像に整合する位置、即ち、当該商品１０２の近傍に商品情報を示すコンピュータグラフィックス画像データ２０１を合成表示する。これにより、ユーザは、どの商品の商品情報が表示されているかを容易に認識することができる。ここでは、商品１０２の近傍にコンピュータグラフィックス画像データ２０１を合成させているが、商品１０２に重畳する位置に半透明のコンピュータグラフィックス画像データ１０２を合成させ、コンピュータグラフィックス画像データ２０１を通して商品１０２が見えるように表示してもよい。

図３は、本実施形態に係るＨＭＤ１０４のハードウェア構成を示す図である。図３において、ＣＰＵ３０１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ３０２には、ＨＭＤ１０４が実行する例えば図４に示す処理のプログラム等が記憶されている。通信Ｉ／Ｆコントローラ１０４ｂは、無線通信回線と接続し、外部との通信を制御するものである。

ディスプレイコントローラ３０４は、レンズ１０４ａにおける画像表示を制御する。本実施形態では、光学透過型のヘッドマウントディスプレイを採用しており、レンズ１０４ａはハーフミラーで構成され、装着したユーザはレンズ１０４ａを介して外の様子を見ることができる。

図４は、本実施形態におけるＨＭＤ１０４の処理の流れを示すフローチャートである。以下、図１及び図４を参照しながら、本実施形態におけるＨＭＤ１０４の処理について説明する。

ＨＭＤ１０４は、商品１０２に取り付けられたＲＦＩＤタグ１０６からＩＤ情報を受信したか否かを判定する（ステップＳ１０１）。ＩＤ情報を受信していない場合、ＨＭＤ１０４はＩＤ情報を受信するまで待機する。一方、ＩＤ情報を受信すると、ＨＭＤ１０４は、ＩＤ情報を商品サーバ１０３に送信することにより、当該ＩＤ情報に対応する商品情報を商品サーバ１０３に対して問い合わせる（ステップＳ１０２）。

続いて、ＨＭＤ１０４は、当該ＩＤ情報に対応する商品情報を商品サーバ１０３から取得したか否かを判定する（ステップＳ１０３）。商品情報を取得していない場合、ＨＭＤ１０４は商品情報を受信するまで待機する。一方、商品情報を受信すると、ＨＭＤ１０４は、当該商品をユーザが見ているか否かを判定する（ステップＳ１０４）。

ユーザが当該商品１０２を見ていないと判定された場合、ＨＭＤ１０４は、ユーザが当該商品１０２を見ていると判定するまでステップＳ１０４の判定を繰り返す。一方、ユーザが当該商品１０２を見ていると判定された場合、ＨＭＤ１０４は、レンズ１０４ａ上において、商品情報を示すコンピュータグラフィックス画像データを当該商品１０２の映像の近傍に合成表示する（ステップＳ１０５）。

次に、本発明の第２の実施形態について説明する。第１の実施形態において、通行人が所持する携帯端末１０１は、当該携帯端末１０１の位置情報を算出すると、位置情報を商品サーバ１０３に対して送信し、商品サーバ１０３内において位置情報を管理させている。これに対し、第２の実施形態では、通行人が所持する携帯端末１０１の位置情報を商品サーバ１０３ではなく、ＲＦＩＤタグ１０６内で管理する。即ち、第２の実施形態では、通行人が所持する携帯端末１０１は、当該携帯端末１０１の位置情報を算出すると、ＲＦＩＤタグ１０６に対してその位置情報を送信する。ＲＦＩＤタグ１０６では、受信した位置情報を内部に記録する。ユーザが当該通行人の近くを通ると、ユーザが装着するＨＭＤ１０４は、ＲＦＩＤタグ１０６から商品のＩＤ情報とともに位置情報を読み取る。ＨＭＤ１０４は、ＲＦＩＤタグ１０６からＩＤ情報及び位置情報を読み取ると、商品サーバ１０３に対して当該ＩＤ情報を送信する。

商品サーバ１０３は、ＨＭＤ１０４からＩＤ情報を受信すると、当該ＩＤ情報の商品情報をＨＭＤ１０４に対して送信する。ＨＭＤ１０４は、商品情報を受信すると、ＨＭＤ１０４の位置及び姿勢に基づいてユーザが現実空間のどこを見ているかを推定し、推定した位置がＨＭＤ１０４内に記録されている商品１０２の位置情報で示される位置と合致する場合、ユーザが商品１０２を見ていると判定する。

ＨＭＤ１０４は、ユーザが商品１０２を見ていると判定すると、その商品１０２の位置に整合するように、現実空間の映像に商品情報を示すコンピュータグラフィックス画像データを合成する。これにより、第２の実施形態で説明した手法によっても、人に不快感を与えることなく商品１０２のＩＤ情報を取得するとともに、合成表示された商品情報が誰の商品に関するものであるのか容易に認識することができる。

なお、第１、第２の実施形態においては、携帯端末１０１がＧＰＳ機能により当該携帯端末１０１の位置情報を算出し、それを商品１０２の位置情報と看做しているが、ＲＦＩＤタグ１０６自体がＧＰＳ機能により自らの位置情報を算出することができれば、第１、第２の実施形態における携帯端末１０１の役割をＲＦＩＤ１０６に代替させることが可能となる。

次に、本発明の第３の実施形態について説明する。図５は、本発明の第３の実施形態に係る街中広告システムの構成を概略的に示す図である。図５に示すように、本実施形態に係る街中広告システムは、通行人が身に着けている商品５０２の商品情報５０３ａを管理する商品サーバ５０３と、ユーザの頭部に装着されるＨＭＤ５０４とで構成される。ＨＭＤ５０４には、ユーザの視界に近い画角で画像データを撮影することができるように小型カメラ５０４ｃが取り付けられている。即ち、本実施形態では、図３に示すハードウェア構成に小型カメラ５０４ｃが追加されたＨＭＤ５０４をユーザが装着する。なお、図５においては、説明の簡便のため、商品サーバ５０３及びＨＭＤ５０４をそれぞれ一つずつ示しているが、実際には、それぞれが任意数あって構わない。

また、本実施形態においても商品サーバ５０３は、商品毎（ＩＤ情報毎）に商品情報５０３ａを管理するが、本実施形態における商品情報５０３ａには、商品の位置情報の代わりに商品の画像データが含まれる。

図６は、本実施形態におけるＨＭＤ５０４の処理の流れを示すフローチャートである。以下、図５及び図６を参照しながら、本実施形態におけるＨＭＤ５０４の処理について説明する。

ＨＭＤ５０４は、商品に取り付けられたＲＦＩＤタグ５０６からＩＤ情報を受信したか否かを判定する（ステップＳ２０１）。ＩＤ情報を受信していない場合、ＨＭＤ５０４はＩＤ情報を受信するまで待機する。一方、ＩＤ情報を受信すると、ＨＭＤ５０４は、ＩＤ情報を商品サーバ５０３に対して送信することにより、当該ＩＤ情報に対応する商品情報を商品サーバ５０３に対して問い合わせる（ステップＳ２０２）。

続いてＨＭＤ５０４は、当該ＩＤ情報に対応する商品情報を商品サーバ５０３から取得したか否かを判定する（ステップＳ２０３）。商品情報を取得していない場合、ＨＭＤ５０４は商品情報を受信するまで待機する。一方、商品情報を受信すると、ＨＭＤ５０４は、商品情報に含まれる商品の画像データと小型カメラ５０４ｃによって撮影されている画像データとを照合する（ステップＳ２０４）。続いてＨＭＤ５０４は、商品の画像データと合致する画像が小型カメラ５０４ｃによって撮影されている画像データ内に存在するか否かを判定する（ステップＳ２０５）。

商品の画像データと合致する画像が存在しない場合、ＨＭＤ５０４は、商品の画像データと合致する画像が検出するまでステップＳ２０５の判定処理を繰り返す。一方、商品の画像データと合致する画像が存在する場合、ＨＭＤ５０４は、レンズ１０４ａ上において、商品の画像データと合致する画像（当該商品の画像）の近傍に商品情報を示すコンピュータグラフィックス画像データを合成表示する（ステップＳ２０６）。このとき、商品情報に含まれる当該商品の画像データは、表示するコンピュータグラフィックス画像データに含めてもよいし、除外してもよい。

以上により、第３の実施形態で説明した手法によっても、人に不快感を与えることなく商品５０２のＩＤ情報を取得するとともに、合成表示された商品情報が誰の商品に関するものであるのか容易に認識することができる。

次に、本発明の第４の実施形態について説明する。図７は、本発明の第４の実施形態に係る街中広告システムの構成を概略的に示す図である。図７に示すように、本実施形態に係る街中広告システムは、通行人が身に着けている商品の商品情報を管理する商品サーバ７０３と、ユーザの頭部に装着されるＨＭＤ７０４と、通行人が身に着けている商品７０２に取り付けられているＲＦＩＤタグ７０６からのＩＤ情報を受信するとともに、ＩＤ情報の受信強度を測定するＲＦＩＤリーダ７０７ａ〜ｄと、ＲＦＩＤリーダ７０７ａ〜ｄによって測定されたＩＤ情報の受信強度からＲＦＩＤタグ７０６の位置を特定する位置特定サーバ７０３とを備える。なお、本実施形態におけるＨＭＤ７０４のハードウェア構成は、図３に示した第１の実施形態におけるＨＭＤ１０４のハードウェア構成と同様であり、小型カメラは省いた構成となっている。また、図７においては、説明の簡便のため、位置特定サーバ７０８、商品サーバ７０３及びＨＭＤ７０４をそれぞれ一つずつ示しているが、実際には、それぞれが任意数あって構わない。

図７に示すように、本実施形態においては、或るエリアＡには４本のＲＦＩＤリーダ７０７ａ〜ｄが配置されている。図７では、一つのエリアＡにつき４本のＲＦＩＤリーダは配置された例を示しているが、ＲＦＩＤリーダの数量に制限はなく、一つのエリアＡにつき任意数のＲＦＩＤリーダを設置することができる。ここでは、エリアＡとして或る駅前の広場やイベント会場等の一定範囲のエリアを想定している。

各ＲＦＩＤリーダ７０７ａ〜ｄは、ＲＦＩＤタグ７０６付きの商品７０２を身に着けた通行人がエリアＡに侵入すると、ＲＦＩＤタグ７０６からＩＤ情報を読み取る。そして各ＲＦＩＤリーダ７０７ａ〜ｄは、ＩＤ情報の受信強度を夫々測定し、ＩＤ情報とともに受信強度情報を位置特定サーバ７０８に対して送信する。

位置特定サーバ７０８は、各ＲＦＩＤリーダ７０７ａ〜ｄから受信強度情報を受信すると、それらの受信強度情報に基づいてＲＦＩＤタグ７０６のエリアＡ内における座標情報を算出する。即ち、位置特定サーバ７０８は、例えば、受信強度情報により示される受信強度に応じて、ＲＦＩＤリーダ７０７ａ〜ｄ毎に、ＲＦＩＤリーダからＲＦＩＤタグ７０６までの距離を算出し、各ＲＦＩＤリーダ７０７ａ〜ｄからの距離の組み合わせに該当する座標情報を、エリアＡ内におけるＲＦＩＤタグ７０６の座標情報として算出する。位置特定サーバ７０８は、エリアＡ内における座標情報を算出すると、当該ＩＤ情報とともに座標情報及びエリアＡを示すエリア情報を商品サーバ７０３に対して送信する。

また、本実施形態においては、ＨＭＤ７０４には、ＲＦＩＤタグが備えられており、各ＲＦＩＤリーダ７０７ａ〜ｄは、ＨＭＤ７０４のＲＦＩＤタグについても、当該ＲＦＩＤタグを識別可能なＩＤ情報を読み取ると共に、受信強度を夫々測定し、ＩＤ情報とともに受信強度情報を位置特定サーバ７０８に対して送信する。そして、位置特定サーバ７０８は、ＨＭＤ７０４のＲＦＩＤタグのエリアＡ内における座標情報（すなわち、ＨＭＤ７０４の位置座標）を算出し、算出した座標情報をＨＭＤ７０４に対して送信する。

なお、ＲＦＩＤタグ７０６の座標情報を算出する方法は上述の方法に限定されない。例えば、ＲＦＩＤリーダをエリアＡの床や天井などに細かい間隔で格子状に設置しておけば、受信強度から距離を算出する代わりに、受信強度の大小関係を用いて、位置や方向を絞り込むことで座標情報を算出することができる。

あるいは、受信強度の代わりに、ＲＦＩＤタグ７０６からＩＤ情報を読み取ったときの時刻を用いて座標情報を算出する構成であってもよい。すなわち、各ＲＦＩＤリーダ７０７ａ〜ｄは、ＲＦＩＤタグ７０６からＩＤ情報を読み取るときに、ＩＤ情報の受信時刻を夫々記憶し、ＩＤ情報とともに受信時刻情報を位置特定サーバ７０８に対して送信する。そして、位置特定サーバ７０８は、各ＲＦＩＤリーダ７０７ａ〜ｄから受信時刻情報を受信すると、それらの受信時刻情報に基づいて、受信時刻の差からＲＦＩＤタグ７０６のエリアＡ内における座標情報を算出することができる。

商品サーバ７０３は、ＩＤ情報、座標情報及びエリア情報を位置特定サーバ７０８から受信すると、当該ＩＤ情報の商品情報において、座標情報及びエリア情報を記録する。

本実施形態において、ユーザが装着するＨＭＤ７０４は、ＲＦＩＤタグ７０６付きの商品７０２を身に着けた通行人がユーザの近くにくると、ＨＭＤ７０４の通信Ｉ／Ｆコントローラ１０４ｂの制御によって自動的にＲＦＩＤタグ７０６から商品７０２のＩＤ情報を読み取る。ＨＭＤ７０４は、ＲＦＩＤタグ７０６からＩＤ情報を読み取ると、商品サーバ７０３に対して当該ＩＤ情報を送信する。

商品サーバ７０３は、ＨＭＤ７０４からＩＤ情報を受信すると、当該ＩＤ情報の商品情報をＨＭＤ７０４に対して返信する。ＨＭＤ７０４は、商品情報を受信すると、ＨＭＤ７０４の位置（すなわち、ＨＭＤ７０４のＲＦＩＤタグのエリアＡ内における座標情報）及び姿勢に基づいてユーザが現実空間のどこを見ているかを推定し、それが商品情報内のエリア情報及び座標情報で示される位置と合致する場合、ユーザが当該商品を見ていると判定する。

ＨＭＤ７０４は、ユーザが当該商品を見ていると判定すると、ユーザが見ていると推定される商品７０２の位置に整合するように、現実空間の映像に商品情報を示すコンピュータグラフィックス画像データを合成する。

なお、ＲＦＩＤタグ７０６のエリアＡ内における座標情報を、緯度・経度情報に変換すれば、エリアＡ内におけるＨＭＤ１０４の座標を特定することなく、実施形態１〜３と同様にして、ＨＭＤ１０４の位置（緯度、経度）と姿勢（方向、仰角）とに基づいてＨＭＤ１０４を装着したユーザが現実空間のどこを見ているかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成することは可能である。

これにより、第４の実施形態で説明した手法によっても、人に不快感を与えることなく商品７０２のＩＤ情報を取得するとともに、合成表示された商品情報が誰の商品に関するものであるのか容易に認識することができる。

なお、第１〜第４の実施形態において表示するコンピュータグラフィックス画像データには、商品の画像データは含まれていないが、コンピュータグラフィックス画像データに商品の画像データを含めてもよい。これにより、ユーザは商品の画像データと現実空間における商品の映像とを比較し、どの商品の商品情報が表示されているかを更に容易に認識することができる。

なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１０１：携帯端末、１０２、５０２、７０２：商品、１０３、５０３、７０３：商品サーバ、１０４、５０４、７０４：ＨＭＤ、１０５：ＧＰＳ衛星、１０６、５０６、７０６：ＲＦＩＤタグ、７０７：ＲＦＩＤリーダ、７０８：位置特定サーバ

Claims (13)

1. 現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置であって、
   物品に付された情報送信装置から、当該物品を識別するための識別情報を読み取る読取手段と、
   前記識別情報に対応する前記物品に係る情報を取得する取得手段と、
   現実空間における前記物品の位置を特定する特定手段と、
   前記物品に係る情報を示すコンピュータグラフィックス画像データを前記特定手段により特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示手段とを有することを特徴とする拡張現実感提示装置。
2. 前記特定手段は、前記物品の位置を示す位置情報を取得することにより、前記物品の位置を特定することを特徴とする請求項１に記載の拡張現実感提示装置。
3. 前記特定手段は、前記物品に係る情報を管理する管理装置から前記位置情報を取得することを特徴とする請求項２に記載の拡張現実感提示装置。
4. 前記特定手段は、前記情報送信装置から前記位置情報を取得することを特徴とする請求項２に記載の拡張現実感提示装置。
5. 前記特定手段は、前記物品の画像情報を取得し、前記物品の画像情報と撮影により得られた現実空間の画像情報とを照合することにより、前記物品の位置を特定することを特徴とする請求項１に記載の拡張現実感提示装置。
6. 現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、物品に係る情報を管理する管理装置とを有する情報処理システムであって、
   前記拡張現実感提示装置は、
   前記物品に付された情報送信装置から、前記物品を識別するための識別情報を読み取る読取手段と、
   前記識別情報に対応する前記物品に係る情報を前記管理装置から取得する取得手段と、
   現実空間における前記物品の位置を特定する特定手段と、
   前記物品に係る情報を示すコンピューグラフィックス画像データを前記特定手段により特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示手段とを有することを特徴とする情報処理システム。
7. 前記特定手段は、前記物品の位置を示す位置情報を取得することにより、前記物品の位置を特定することを特徴とする請求項６に記載の情報処理システム。
8. 前記管理装置は、前記位置情報を計測する計測装置から前記位置情報を受信する受信手段を有し、前記特定手段は、前記管理装置から前記位置情報を取得することを特徴とする請求項７に記載の情報処理システム。
9. 前記情報送信装置は、前記位置情報を計測する計測装置から前記位置情報を受信する受信手段を有し、前記特定手段は、前記情報送信装置から前記位置情報を取得することを特徴とする請求項７に記載の情報処理システム。
10. 前記特定手段は、前記管理装置から前記物品の画像情報を取得し、前記物品の画像情報と撮影により得られた現実空間の画像情報とを照合することにより、前記物品の位置を特定することを特徴とする請求項６に記載の情報処理システム。
11. 現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、物品に係る情報を管理する管理装置と、前記所定のエリアに設置され、前記所定のエリア内に位置する前記物品に付された情報送信装置から前記物品を識別するための識別情報を受信する読取装置と、前記読取装置による前記識別情報の受信強度に基づいて前記所定のエリアにおける前記物品の位置情報を算出する位置特定装置とを有する情報処理システムであって、
    前記位置特定装置は、
    前記読取装置から前記識別情報の受信強度情報を受信する受信手段と、
    前記受信強度情報に基づいて、前記所定のエリア内における前記物品の位置情報を算出する位置算出手段と、
    前記位置算出手段により算出された前記物品の位置情報を前記管理装置に送信する送信手段とを有し、
    前記拡張現実感提示装置は、
    前記情報送信装置から前記識別情報を読み取る読取手段と、
    前記識別情報に対応する前記物品に係る情報及び前記物品の位置情報を前記管理装置から取得する取得手段と、
    前記物品の位置情報に基づいて、現実空間における前記物品の位置を特定する特定手段と、
    前記物品に係る情報を示すコンピューグラフィックス画像データを前記特定手段により特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示手段とを有することを特徴とする情報処理システム。
12. 現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法であって、
    物品に付された情報送信装置から、当該物品を識別するための識別情報を読み取る読取ステップと、
    前記識別情報に対応する前記物品に係る情報を取得する取得ステップと、
    現実空間における前記物品の位置を特定する特定ステップと、
    前記物品に係る情報を示すコンピュータグラフィックス画像データを前記特定ステップにより特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示ステップとを有することを特徴とする拡張現実感提示方法。
13. 現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置によって実行される拡張現実感提示方法をコンピュータに実行させるためのプログラムであって、
    物品に付された情報送信装置から、当該物品を識別するための識別情報を読み取る読取ステップと、
    前記識別情報に対応する前記物品に係る情報を取得する取得ステップと、
    現実空間における前記物品の位置を特定する特定ステップと、
    前記物品に係る情報を示すコンピュータグラフィックス画像データを前記特定ステップにより特定された位置と整合する位置に配置するように、前記コンピュータグラフィックス画像データと現実空間の映像とを合成して提示する提示ステップとをコンピュータに実行させるためのプログラム。

Images