JP2019057057A - 情報処理装置、情報処理システム及びプログラム - Google Patents

Abstract

【課題】予め定められた場所において、ある組織に属するグループが共通する人との間で情報を共有することが可能な情報処理装置、情報処理システム及びプログラムを提供する。【解決手段】情報処理装置は、現実空間（壁１００）に仮想画像１１０ａが重なるように表示するＨＭＤ装置２Ａから、当該ＨＭＤ装置２Ａの使用者のユーザＩＤ、及び予め定められた場所を示す位置情報を受け付ける受付手段と、位置情報に紐付けられた公開情報を、使用者のユーザＩＤが公開相手に含まれている場合に、予め定められた場所又はその近傍に仮想画像１１０ａとして表示するようＨＭＤ装置２Ａに指示する指示手段とを備える。【選択図】図８

Description

本発明は、情報処理装置、情報処理システム及びプログラムに関する。

近年、カメラ付きの携帯端末等において、撮影した映像に文字や画像等の他の情報を重畳して表示させる拡張現実（ＡＲ：Augmented Reality）のシステムが提案されている（例えば、特許文献１参照。）。

特許文献１に記載された拡張現実システムは、カメラを有する携帯端末と通信可能なサーバーを有する拡張現実システムにおいて、前記サーバーは、故人に関する情報を記憶する故人情報記憶部と、慰霊場所の位置情報を記憶する位置情報記憶部と、前記携帯端末との情報の送受信を行う制御部とを有し、前記携帯端末は、自機の位置を検出する位置検出部と、該位置検出部で検出した位置の情報を含む情報を送信すると共に前記サーバーからの情報を受信する送受信部を有し、前記サーバーの制御部は、前記携帯端末が前記位置検出部で検出した自機の位置が、前記位置情報記憶部に記憶された慰霊場所の位置情報と合致する場合には、前記故人情報記憶部に記憶された故人に関する情報を前記携帯端末に送信し、前記故人に関する情報を受信した携帯端末に、該故人に関する情報を前記カメラで撮影した映像に重畳して、画面に表示させるものである。

特許第５７８０３７２号公報

本発明の課題は、予め定められた場所において、ある組織に属するグループが共通する人との間で情報を共有することが可能な情報処理装置、情報処理システム及びプログラムを提供することにある。

［１］現実空間に仮想空間の画像が重なるように表示する表示装置から、当該表示装置の使用者の識別情報、及び予め定められた場所の位置を示す位置情報を受け付ける受付手段と、
前記位置情報に紐付けられた公開情報を、前記使用者の識別情報がある組織に属するグループとして公開相手に含まれている場合に、前記予め定められた場所又はその近傍に前記仮想空間の画像として表示するよう前記表示装置に指示する指示手段と、を備えた情報処理装置。
［２］前記表示装置は、撮影機能を有し、
前記受付手段は、前記表示装置により前記予め定められた場所を撮影した画像を受け付けし、
前記画像に含まれるコード画像から前記位置情報を取得する取得手段、をさらに備えた前記［１］に記載の情報処理装置。
［３］前記公開情報は、前記使用者と同じグループに属している者が付加した情報を含む、前記［１］又は［２］に記載の情報処理装置。
［４］前記公開情報は、前記使用者と同じグループに属している者の閲覧回数を含む、前記［１］から［３］のいずれかに記載の情報処理装置。
［５］前記表示装置は、前記仮想空間の画像を仮想的に撮影する仮想カメラを備え、
前記閲覧回数は、前記仮想カメラによって撮影された仮想カメラ画像の歪み率及び面積により求められた関心度が閾値以上の場合に１回として計数する、前記［４］に記載の情報処理装置。
［６］前記表示装置は、前記仮想空間の画像を仮想的に撮影する仮想カメラを備え、
前記閲覧回数は、前記仮想カメラによって撮影された仮想カメラ画像の撮影時間が予め定められた時間以上連続する場合に１回として計数する、前記［４］に記載の情報処理装置。
［７］前記公開情報は、前記位置情報及び対象物の特徴情報に紐付けられ、
前記指示手段は、前記公開情報を前記対象物又はその近傍に前記仮想空間の画像として表示するよう前記表示装置に指示する、前記［１］から［６］のいずれかに記載の情報処理装置。
［８］前記対象物は、前記予め定められた場所を移動可能な物である、前記［６］又は［７］に記載の情報処理装置。
［９］前記受付手段は、前記表示装置の位置を示す位置情報を受け付けし、
前記指示手段は、前記表示装置の位置が前記予め定められた場所から予め定められた距離以下の場合に、前記公開情報を前記仮想空間の画像として表示するよう指示する、前記［１］から［８］のいずれかに記載の情報処理装置。
［１０］現実空間に仮想空間の画像が重なるように表示する表示装置と、
前記表示装置から当該表示装置の使用者の識別情報、及び予め定められた場所の位置を示す位置情報を受け付ける受付手段と、
前記位置情報に紐付けられた公開情報を、前記使用者の識別情報がある組織に属するグループとして公開相手に含まれている場合に、前記予め定められた場所又はその近傍に前記仮想空間の画像として表示するよう前記表示装置に指示する指示手段と、を備えた情報処理システム。
［１１］コンピュータを、現実空間に仮想空間の画像が重なるように表示する表示装置から、当該表示装置の使用者の識別情報、及び予め定められた場所の位置を示す位置情報を受け付ける受付手段と、
前記位置情報に紐付けられた公開情報を、前記使用者の識別情報がある組織に属するグループとして公開相手に含まれている場合に、前記予め定められた場所又はその近傍に前記仮想空間の画像として表示するよう前記表示装置に指示する指示手段、として機能させるためのプログラム。

請求項１、１０、１１に係る発明によれば、予め定められた場所において、ある組織に属するグループが共通する人との間で情報を共有することが可能になる。
請求項２に係る発明によれば、予め定められた場所にコード画像を設けなくても予め定められた場所を特定することができる。
請求項３に係る発明によれば、表示装置の使用者と同じグループに属している者が付加した情報を共有することができる。
請求項４に係る発明によれば、表示装置の使用者と同じグループに属している者の公開情報に対する関心度を知ることができる。
請求項５、６に係る発明によれば、仮想カメラ画像から関心度を知ることができる。
請求項７〜９に係る発明によれば、位置情報が広い範囲を示す場合にその広い範囲に複数の対象物が存在する場合でも対象物ごとに公開情報を表示することができる。

図１は、本発明の第１の実施の形態に係る情報処理システムの構成例を示す図である。 図２は、ヘッドマウントディスプレイ装置の一例を示す外観図である。 図３は、ＨＭＤ装置の制御系の一例を示す図である。 図４（ａ）、（ｂ）は、仮想カメラ画像生成手段の機能を説明するための図である。 図５は、情報処理装置の制御系の一例を示すブロック図である。 図６は、ユーザ属性テーブルの一例を示す図である。 図７は、コンテンツテーブルの一例を示す図である。 図８は、仮想画像の表示例を示す図である。 図９は、第１の実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。 図１０は、仮想画像の表示例を示す図である。 図１１は、閲覧回数を説明するための図である。 図１２は、本発明の第２の実施の形態に係る情報処理システムの構成例を示す図である。 図１３は、第２の実施の形態に係るＨＭＤ装置の制御系の一例を示す図である。 図１４は、第２の実施の形態に係る情報処理装置の制御系の一例を示すブロック図である。 図１５は、ユーザ属性テーブルの一例を示す図である。 図１６は、対象物テーブルの一例を示す図である。 図１７は、対象物の近傍に仮想的に表示された仮想画像の一例を示す図である。 図１８は、第２の実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。 図１９（ａ）〜（ｅ）は、第２の実施の形態の変形例を示す図である。

以下、本発明の実施の形態について図面を参照して説明する。なお、各図中、実質的に同一の機能を有する構成要素については、同一の符号を付してその重複した説明を省略する。

［実施の形態の要約］
本実施の形態に係る情報処理装置は、現実空間に仮想空間の画像が重なるように表示する表示装置から、当該表示装置の使用者の識別情報、及び予め定められた場所の位置を示す位置情報を受け付ける受付手段と、前記位置情報に紐付けられた公開情報を、前記使用者の識別情報が公開相手に含まれている場合に、前記予め定められた場所又はその近傍に前記仮想空間の画像として表示するよう前記表示装置に指示する指示手段とを備える。

「表示装置」には、使用者の頭部に装着され、使用者が公開情報を仮想空間の画像として視認すると同時に現実空間（外景）も直接視認可能な光透過方式の頭部装着型表示装置、外景を撮影した画像に公開情報を仮想空間の画像として重ねて表示する携帯型情報端末等が含まれる。光透過方式の頭部装着型表示装置は、ゴーグル型でもメガネ型でもよい。携帯型情報端末は、頭部装着型でもよい。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る情報処理システムの構成例を示す図である。

この情報処理システム１は、第１の者が使用するヘッドマウントディスプレイ装置（以下「ＨＭＤ装置」という。）２Ａと、第２の者が使用するＨＭＤ装置２Ｂと、各ＨＭＤ装置２Ａ、２Ｂ（これらを総称するときは、以下「ＨＭＤ装置２」という。）を制御する情報処理装置３とを備える。ＨＭＤ装置２と情報処理装置３とは、互いに無線によって通信可能に接続されている。ＨＭＤ装置２は、表示装置の一例である。

第１の者及び第２の者は、例えば、同一の組織に属しているが、当該組織を構成するグループが異なる者である。「組織」とは、人の集まりをいい、例えば、企業、企業に属する組織（部門、チーム、グループ等）、団体等が該当する。グループは、組織の下位の層を構成するものの一例である。第１の者及び第２の者を総称するときは、以下、使用者又はユーザともいう。

このような情報処理システム１は、例えば、オフィス、公共施設、病院等の食堂、会議室、多目的室、談話室等で用いられ得る。これらの場所は、予め定められた場所の一例である。

図１は、例えば、オフィスの食堂で第１の者がＨＭＤ装置２Ａを装着し、第２の者がＨＭＤ装置２Ｂを装着している状態を示す。食堂の壁１００には、食堂の壁１００の位置情報を示すコード画像１０１が形成されている。コード画像１０１を印刷したシートを壁１００に貼り付けてもよく、コード画像１０１を壁１００に直接印刷してもよい。食堂の壁１００は、予め定められた場所（特定の場所ともいう。）の一例である。

コード画像１０１は、例えば、予め定められた場所の位置を示す位置情報が暗号化されたＱＲコード（登録商標）である。なお、コード画像１０１は、ＱＲコード（登録商標）に限られず、PDF417、Data Matrix、Maxi Code等の２次元コードでもよく、バーコード等の１次元コードや独自コード、ドットパターンでもよい。また、目的に応じて複数種のコードを組み合わせてもよい。

ＨＭＤ装置２は、現実空間（外景）に仮想空間の画像（以下「仮想画像」ともいう。）が重なるように表示するもの、すなわち仮想画像を仮想的に表示するものである。具体的には、ＨＭＤ装置２は、使用者の頭部に装着されるものであり、使用者が仮想画像を視認すると同時に外景も直接視認可能な光透過方式の頭部装着型表示装置である。

図２は、ＨＭＤ装置２の一例を示す外観図である。ＨＭＤ装置２は、表示部２２と、外向きカメラ２３Ａとを備える。表示部２２は、耳に装着されるフレーム２２０と、右側透過型ディスプレイ２２１ａ及び左側透過型ディスプレイ２２１ｂ（これらを総称するときは「透過型ディスプレイ２２１」ともいう。）とを備える。

透過型ディスプレイ２２１は、例えば、透過型液晶ディスプレイ、透過型有機ＥＬディスプレイ、透過型無機ＥＬディスプレイ等を用いることができる。右側透過型ディスプレイ２２１ａは、右眼用の表示画像を表示し、左側透過型ディスプレイ２２１ｂは、左眼用の表示画像を表示する。右眼用の表示画像及び左眼用の表示画像は、外景に重なって仮想画像として当該ＨＭＤ装置２の使用者に視認される。

（ＨＭＤ装置の構成）
図２は、ＨＭＤ装置２の制御系の一例を示す図である。ＨＭＤ装置２は、ＨＭＤ装置２の各部を制御する制御部２０と、各種の情報を記憶する記憶部２１と、上記の表示部２２と、上記の外向きカメラ２３Ａと、内向きカメラ２３Ｂと、センサ部２４と、音声入力部２５と、位置検出部２６と、処理部２７と、無線通信部２８とを備える。

制御部２０は、ＣＰＵ（Central Processing Unit）、インターフェース等から構成されている。ＣＰＵは、記憶部２１に記憶されたプログラム２１０に従って動作することにより送信手段２００、受信手段２０１、表示制御手段２０２、仮想カメラ画像生成手段２０３等として機能する。各手段２００〜２０３の詳細は後述する。

記憶部２１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等から構成され、プログラム、データ等が記憶されている。

外向きカメラ２３Ａは、外景や対面する者の顔、当該ＨＭＤ装置２の使用者の手等を撮影し、撮影した画像を制御部２０に送る。内向きカメラ２３Ｂは、当該ＨＭＤ装置２の使用者の眼を撮影し、撮影した画像を制御部２０に送る。外向きカメラ２３Ａ及び内向きカメラ２３Ｂが撮影する画像は、静止画でも動画でもよい。対面する者を顔画像により特定する場合は、静止画でもよいが、使用者の手等を撮影してジェスチャーを検出する場合や視線を検出する場合は、動画又は１秒間に複数枚撮影する連続的な静止画が好ましい。

センサ部２４は、距離画像センサと、加速度センサと、ジャイロセンサとを備える。距離画像センサは、例えば、赤外線距離センサ、レーザ距離センサ、超音波距離センサ等を用いることができる。距離画像センサは、赤外線、レーザ又は超音波等を照射し、その反射の時間差から画素ごとに距離を読み取って距離画像を得る。加速度センサは、ＨＭＤ装置２に加わる加速度を検出する。ジャイロセンサは、ＨＭＤ装置２に加わる角速度を検出する。

音声入力部２５は、マイクロフォンで構成され、当該ＨＭＤ装置２の使用者が発声した音声を電気信号である音声信号に変換して入力する。

処理部２７は、外向きカメラ２３Ａ、内向きカメラ２３Ｂ、センサ部２４及び音声入力部２５により入力された情報を処理するものであり、ジェスチャー検出部２７０と、視線検出部２７１と、音声認識部２７２と備える。

ジェスチャー検出部２７０は、使用者の動きを示すジェスチャーを検出する。具体的には、ジェスチャー検出部２７０は、センサ部２４の距離画像センサが検出した距離画像から、使用者の手の動き（例えば、２本指によるピンチ動作等）により予め定められた手のジェスチャーを検出する。また、ジェスチャー検出部２７０は、センサ部２４の加速度センサが検出したＨＭＤ装置２の加速度と、ジャイロセンサが検出したＨＭＤ装置２の角速度とに基づいて、使用者の頭部の動き（例えば、左右に振る等）により予め定められた頭部のジェスチャーを検出する。ジェスチャー検出部２７０は、検出したジェスチャーに対応するコマンドを制御部２０に送信する。

視線検出部２７１は、内向きカメラ２３Ｂが使用者の眼を撮影した画像から使用者の視線方向を検出し、検出した視線方向や視線方向に対応するコマンドを制御部２０に送信する。視線検出技術としては、例えば、内向きカメラ２３Ｂに可視光カメラを用いて、目頭の位置に対する虹彩の位置に基づいて視線を検出してもよく、内向きカメラ２３Ｂに赤外線カメラと赤外線ＬＥＤを用いて、角膜反射の位置に対する瞳孔の位置に基づいて視線方向を検出してもよい。なお、ジェスチャーの代わりに視線方向を用いてもよい。

音声認識部２７２は、音声入力部２５が入力した音声信号をデジタルの音声データに変換し、音声データを制御部２０に送信する。

無線通信部２８は、例えば、Ｗｉ−Ｆｉ（Wireless Fidelity）、Ｗｉ−Ｆｉダイレクト等の無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信等の近距離無線通信を用いて情報処理装置３と通信する。なお、無線通信部２８は、ＨＭＤ装置２同士で通信してもよい。

位置検出部２６は、自装置２の位置を示す位置情報をＧＰＳ（Global Positioning System）等を用いて定期的に検出し、検出した位置情報を制御部２０に送信する。なお、自装置２の位置をビーコン信号を用いて検出してもよい。すなわち、位置検出部２６は、ビーコン発信機を識別するビーコンＩＤを含むビーコン信号を検出し、ビーコンＩＤ及びビーコン信号の強度情報を情報処理装置３に送信する。情報処理装置３は、ビーコンＩＤに対応するビーコン発信機の位置の情報及びビーコン信号の強度からＨＭＤ装置２の位置情報を取得する。

次に、ＨＭＤ装置２の各手段２００〜２０３について説明する。

送信手段２００は、外向きカメラ２３Ａにより撮影された画像、処理部２７による処理結果（例えば、ジェスチャー検出部２７０が検出したジェスチャーに対応するコマンド、視線検出部２７１が検出した視線方向や視線方向に対応するコマンド、又は音声認識部２７２により認識された音声データ）、位置検出部２６が検出した位置情報、又は後述する仮想カメラ画像を、当該ＨＭＤ装置２の使用者を識別するユーザＩＤとともに無線通信部２８により情報処理装置３に送信する。

受信手段２０１は、情報処理装置３の送信手段３０４から送信された表示画像、及び表示画像を仮想画像として視認させるべき位置を示す位置情報を受信する。

表示制御手段２０２は、受信手段２０１が受信した表示画像及び位置情報に基づいて表示部２２を制御する。すなわち、表示制御手段２０２は、受信手段２０１が受信した表示画像及び位置情報に基づいて右眼用の表示画像及び左眼用の表示画像を生成し、右眼用の表示画像を右側透過型ディスプレイ２２１ａに表示し、左眼用の表示画像を左側透過型ディスプレイ２２１ｂに表示して位置情報に対応する位置に仮想画像が当該ＨＭＤ装置２の使用者に視認されるよう制御する。

図４（ａ）、（ｂ）は、仮想カメラ画像生成手段２０３の機能を説明するための図である。仮想カメラ画像生成手段２０３は、情報処理装置３から送信された表示画像及び位置情報に基づいて、図４に示すように、ＨＭＤ装置２の使用者の眼の位置に仮想的に配置した仮想カメラ２９により仮想画像１１０ａ（図４（ａ）参照）を仮想的に撮影して得られる仮想カメラ画像１１０ｂ（図４（ｂ）参照）を生成する。

制御部２０は、視線検出部２７１により検出された視線方向が壁１００に仮想的に表示された仮想画像１１０ａに向くと、仮想カメラ画像生成手段２０３により仮想カメラ画像１１０ｂを生成させる。仮想カメラ画像生成手段２０３は、制御部２０の制御の下で、仮想カメラ２９により仮想画像１１０ａを仮想的に撮影して仮想カメラ画像１１０ｂを生成する。視線方向が仮想画像１１０ａに向いたとき仮想カメラ画像１１０ｂを生成することで、視線方向とは無関係に仮想カメラ画像を生成する場合と比べて後述する閲覧判定手段３０５により仮想画像への関心度を正確に算出できる。なお、関心度の精度が落ちるが、視線方向とは無関係に仮想カメラ画像を定期的に生成してもよい。

例えば、仮想カメラ２９が仮想画像１１０ａの中心線から水平方向に角度α傾いた方向から仮想画像１１０ａを仮想的に撮影した場合、仮想カメラ画像生成手段２０３により生成された仮想カメラ画像１１０ｂは、元の仮想画像１１０ａよりも細長い画像となり、元の仮想画像１１０ａの歪み率（Ｈａ／Ｗａ）に対して仮想カメラ画像１１０ｂの歪み率（Ｈｂ／Ｗｂ）が大きくなる。

（情報処理装置の構成）
図５は、情報処理装置３の制御系の一例を示すブロック図である。情報処理装置３は、情報処理装置３の各部を制御する制御部３０と、各種の情報を記憶する記憶部３１と、各ＨＭＤ装置２と無線通信を行う無線通信部３２とを備える。

無線通信部３２は、例えば、Ｗｉ−Ｆｉ（Wireless Fidelity）、Ｗｉ−Ｆｉダイレクト等の無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信等の近距離無線通信を用いてＨＭＤ装置２と通信する。

制御部３０は、ＣＰＵ（Central Processing Unit）、インターフェース等から構成されている。ＣＰＵは、プログラム３１０に従って動作することにより受信手段３０１、取得手段３０２、表示画像生成手段３０３、送信手段３０４、閲覧判定手段３０５等として機能する。表示画像生成手段３０３及び送信手段３０４は、指示手段の一例である。各手段３０１〜３０５の詳細は後述する。

記憶部３１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等から構成され、プログラム３１０、ユーザ属性テーブル３１１（図５参照）、コンテンツテーブル３１２（図６参照）等が記憶されている。なお、本明細書において、テーブルに情報を書き込む場合に記録又は登録を用い、記憶部に情報を書き込む場合に記憶を用いる。

（ユーザ属性テーブルの構成）
図６は、ユーザ属性テーブル３１１の一例を示す図である。ユーザ属性テーブル３１１には、ユーザの属性情報が予め記録されている。ユーザ属性テーブル３１１は、ユーザＩＤが記録された「ユーザＩＤ」欄と、ユーザ名が記録された「ユーザ名」欄と、ユーザが所属する部署が記録された「所属部署」欄と、ユーザが正社員か派遣社員か、管理職か一般職か等の種別が記録された「ユーザ種別」欄と、コンテンツを識別するコンテンツＩＤが記録される「コンテンツＩＤ」欄と、当該ユーザのコンテンツの閲覧回数が記録される「閲覧回数」欄とを有する。ユーザＩＤ、ユーザ名、所属部署及びユーザ種別は、人の属性情報の一例である。所属部署は、グループの一例である。コンテンツデータ及びコメント情報は、公開情報の一例である。

（コンテンツテーブルの構成）
図７は、コンテンツテーブル３１２の一例を示す図である。コンテンツテーブル３１２は、コンテンツＩＤが記録される「コンテンツＩＤ」欄と、コンテンツ名が記録される「コンテンツ名」欄と、コンテンツを公開する相手（例えば部署等）が記録される「公開相手」欄と、コンテンツを作成したユーザのユーザＩＤが記録される「コンテンツ作成者のユーザＩＤ」欄と、コンテンツを仮想画像として公開する位置を示す位置情報が記録される「位置情報」欄と、コンテンツの閲覧が有効な期間が記録される「有効期間」欄と、コンテンツデータが記録される「コンテンツデータ」欄と、コンテンツに対するコメント情報が記録される「コメント情報」欄とを有する。「コメント情報」欄は、コメントを付加したユーザのユーザＩＤが記録される「ユーザＩＤ」欄と、付加されたコメントの内容が記録される「コメント内容」欄とを有する。

「公開相手」欄に記録される公開相手は、個人が属する組織又は組織の下位の層のグループ、組織又はグループに属する個人、組織又はグループに属さない個人でもよい。「位置情報」欄には、例えば、仮想画像の中心の座標として、例えば、経度、緯度、高度を示す座標（ｘ、ｙ、ｚ）が記録される。なお、高さを仮想画像の大きさに応じて定めるとした場合は、例えば、経度、緯度を示す座標（ｘ、ｙ）を位置情報として記録してもよい。同図に「位置情報」欄には、コンテンツＩＤが「Ｃ１」に対して、食堂の特定の壁の位置を示す（ｘ_１、ｙ_１、ｚ_１）が記録され、コンテンツＩＤが「Ｃ２」に対して、ロビーの特定の壁の位置を示す（ｘ_２、ｙ_２、ｚ_２）が記録されている場合を示す。また、「位置情報」欄に記録される位置情報は、コード画像１０１に含まれる位置情報と同じである。「コメント情報」欄に記録されるユーザＩＤ及びコメントは、コメント情報の一例である。コンテンツデータ及びコメント情報は、位置情報に紐付けられて予め登録された公開情報の一例である。食堂の特定の壁、及びロビーの特定の壁は、予め定められた場所の一例である。

次に、情報処理装置３の各手段３０１〜３０５について説明する。

受信手段３０１は、ＨＭＤ装置２から送信されるユーザＩＤ、仮想カメラ画像、顔画像、音声データ、位置情報及び各種のコマンド等を受信する。

取得手段３０２は、受信手段３０１がログインの要求を示すコマンド、ユーザＩＤ及びコード画像１０１を受信すると、ユーザＩＤに対応する所属部署をユーザ属性テーブル３１１から取得し、受信手段３０１が受信したコード画像１０１を復号して位置情報を取得する。取得手段３０２は、取得した所属部署を公開相手として含み、現在が有効期間に含まれ、かつ、取得した位置情報に対応するコンテンツデータ及びコメント情報をコンテンツテーブル３１２から取得する。

表示画像生成手段３０３は、ＨＭＤ装置２の表示部２２に表示させる表示画像、例えば、取得手段３０２により取得されたコンテンツデータ及びコメント情報を含む表示画像を生成する。

送信手段３０４は、生成された表示画像を仮想画像として表示するようにＨＭＤ装置２に指示する。具体的には、送信手段３０４は、表示画像生成手段３０３が生成した表示画像、及び表示画像を仮想画像として視認させるべき位置情報をＨＭＤ装置２に送信する。

閲覧判定手段３０５は、ＨＭＤ装置２から送信された仮想カメラ画像１１０ｂ（図３参照）に基づいて仮想画像１１０ａに対する関心度を算出する。具体的には、仮想カメラ画像１１０ｂの面積をＳ、長辺の長さをＨｂ、短辺の長さをＷｂ、歪み率をｋｂ（＝Ｈｂ／Ｗｂ）とするとき、閲覧判定手段３０５は、ＨＭＤ装置２の使用者の仮想画像１１０ａに対する関心度Ｉを次の式（１）により算出する。
Ｉ＝ｋｂ×Ｓ ・・・（１）
すなわち、関心度Ｉは、歪み率ｋｂが小さいほど大きくなり、面積Ｓが大きいほど大きくなる。換言すれば、ＨＭＤ装置２の使用者が仮想画像１１０ａを近くで正面から見ている場合は、関心度Ｉが大きくなり、仮想画像１１０ａに関心があることを示している。閲覧判定手段３０５は、関心度Ｉが閾値以上の場合に仮想画像１１０ａを閲覧していると判定し、閲覧回数をカウントする。これにより仮想画像１１０ａを斜めから見た場合や遠くから見た場合は、仮想画像１１０ａへの関心が低く関心度が閾値未満の場合は、仮想画像１１０ａを閲覧したとは判定されず、閲覧回数はカウントされない。

なお、関心度は歪み率及び面積の一方のみで算出してもよく、次の式（２）により算出してもよい。
Ｉ＝Ａ・ｋｂ＋Ｂ・Ｓ ・・・（２）
ただし、Ａ、Ｂは正の係数である。

また、仮想画像１１０ａを見ている時間、すなわち仮想カメラ画像１１０ｂの撮影時間に基づいて関心度を算出してもよい。この場合、撮影時間が長いほど関心度が大きくなり、撮影時間が短いほど関心度が小さくなる。

（第１の実施の形態の動作）
次に、情報処理システム１の動作の一例について、図８を参照し、図９のフローチャートに従って説明する。

（１）ログイン
例えば、ＨＭＤ装置２Ａを使用する第１の者が手を動かし、図１に示すコード画像１０１の撮影を指示するジェスチャー（第１のジェスチャー）を行うと、ＨＭＤ装置２Ａのジェスチャー検出部２７０は、センサ部２４の距離画像センサが取得した距離画像から第１のジェスチャーを検出し、それに対応する第１のコマンドを制御部２０に送信する。

制御部２０は、ジェスチャー検出部２７０からの第１のコマンドに基づいて、外向きカメラ２３Ａを制御してコード画像１０１を撮影する。制御部２０は、撮影したコード画像１０１を記憶部２１に記憶する。

次に、ＨＭＤ装置２Ａを使用する第１の者が手を動かし、ログインを指示するジェスチャー（第２のジェスチャー）を行うと、ＨＭＤ装置２Ａのジェスチャー検出部２７０は、センサ部２４の距画像センサが取得した距離画像から第２のジェスチャーを検出し、それに対応する第２のコマンドを制御部２０に送信する。

ＨＭＤ装置２Ａの送信手段２００は、ログインの要求を、コード画像１０１及び自己を識別するユーザＩＤとともに情報処理装置３に送信する。

情報処理装置３の受信手段３０１は、ＨＭＤ装置２Ａから送信されたログインの要求、コード画像１０１及びユーザＩＤを受信する（Ｓ１：Ｙｅｓ）。

（２）コンテンツの取得
取得手段３０２は、受信手段３０１が受信したユーザＩＤに対応する所属部署をユーザ属性テーブル３１１から取得し、受信手段３０１が受信したコード画像１０１を復号して位置情報を取得する。

取得手段３０２は、取得した所属部署を公開相手として含み、現在が有効期間含まれ、かつ、取得した位置情報に対応するコンテンツがコンテンツテーブル３１２に含まれているか否かを判断する（Ｓ２）。

取得した所属部署を公開相手として含み、現在が有効期間に含まれ、かつ、取得した位置情報に対応するコンテンツがコンテンツテーブル３１２に含まれている場合は（Ｓ２：Ｙｅｓ）、対応するコンテンツデータ及びコメント情報をコンテンツテーブル３１２から取得する。例えば、ログインした第１の者のユーザＩＤが「user002」の場合、ユーザ属性テーブル３１１から所属部署の「知財」を取得する。コード画像１０１が示す位置情報が「食堂の特定の壁」の場合は、図７に示すように、公開相手として「知財」を含み、かつ、位置情報が「食堂の特定の壁」のコンテンツＩＤが「コンテンツａ」、コンテンツ名が「××プロジェクト参加募集」のコンテンツがコンテンツテーブル３１２に含まれているので、取得手段３０２は、このコンテンツデータとコメント情報をコンテンツテーブル３１２から取得する。

（３）表示画像の生成
表示画像生成手段３０２は、取得手段３０２が取得したコンテンツデータ及びコメント情報から表示画像を生成する（Ｓ７）。表示画像は、コンテンツ及びコメント情報を含む２次元の画像である。

（４）表示画像及び位置情報の送信
送信手段３０３は、表示画像生成手段３０２が生成した表示画像、及び取得手段３０２が取得した位置情報を第１の者が使用するＨＭＤ装置２Ａに送信する（Ｓ４）。

ＨＭＤ装置２Ａの表示制御手段２０２は、表示画像及び位置情報に基づいて表示画像が食堂の壁１００に仮想画像１１０ａが視認されるよう表示部２２を制御する。

図８は、仮想画像の表示例を示す図である。図８に示す仮想画像１１０ａは、例えば、コンテンツデータとして、提案者の氏名、募集の概要、募集人数、及び募集期間を含み、コメント情報として、コンテンツに対するコメントを記載した者の名前、及びコメントの内容を含む。

例えば、ＨＭＤ装置２Ａを装着した第１の者には、図８に示すように、食堂の特定の壁１００に表示された「××プロジェクト参加者募集」のコンテンツデータ及びコメント情報を含む仮想画像１１０ａが視認されるが、例えば、第１の者とは同一の組織に属するが、グループが異なるＨＭＤ装置２Ｂを装着した第２の者には、この仮想画像１１０ａは視認されない。したがって、特定の場所においてグループが共通する特定の人との間で情報の共有が可能になる。また、公開相手としてグループを指定できるので、公開相手として個人を個々に指定する場合と比較して公開相手の指定が容易になる。なお、仮想画像は、特定の場所の近傍に表示してもよい。この場合、特定の場所と仮想画像を同時に視認すること可能になる。

図１０は、仮想画像の他の表示例を示す図である。図１０に示すように、食堂の壁１００に、コンテンツデータを含む第１の仮想画像１１０Ａと、コメント情報を含む第２の仮想画像１１０Ｂとを表示してもよい。

同図に示す場合は、第１の仮想画像１１０Ａは、例えば、コンテンツ名、募集の概要、募集人数、募集期間を含む。第２の仮想画像１１０Ｂは、例えば、当該コンテンツを閲覧した者の属性情報、当該コンテンツを閲覧した者の現在の位置、閲覧回数及びコメント内容を含む。コンテンツを閲覧した者の現在の位置は、当該者が使用するＨＭＤ装置２からＨＭＤ装置２の位置情報を情報処理装置３が取得すればよい。

（５）閲覧回数の記録
次に、受信手段３０１は、ログインした第１の者が使用するＨＭＤ装置２Ａから仮想カメラ画像１１０ｂを受信したか否かを判断する（Ｓ５）。ＨＭＤ装置２Ａを使用する第１の者は、壁１００に仮想的に表示された仮想画像１１０ａを視認すると、視線検出部２７１が仮想画像１１０ａへの視線方向を検出し、視線方向を制御部２０に送信する。

制御部２０は、視線検出部２７１により検出された視線方向が壁１００に仮想的に表示された仮想画像１１０ａに向くと、仮想カメラ画像生成手段２０３により仮想カメラ画像１１０ｂを生成させる。仮想カメラ画像生成手段２０３は、当該ＨＭＤ装置２Ａを使用する第１の者の眼に仮想カメラ２９を仮想的に配置し、仮想カメラ２９により仮想画像１１０ａを仮想的に撮影した仮想カメラ画像１１０ｂを生成する。

ＨＭＤ装置２の送信手段２００は、仮想カメラ画像生成手段２０３により生成された仮想カメラ画像１１０ｂをユーザＩＤとともに情報処理装置３に送信する。

情報処理装置３の受付手段３０１は、仮想カメラ画像１１０ｂをユーザＩＤとともに受信すると（Ｓ５：Ｙｅｓ）、閲覧判定手段３０５は、前述したように仮想カメラ画像１１０ｂに基づいて仮想画像１１０ａを閲覧したか否かを判定する（Ｓ６）。閲覧判定手段３０５は、仮想画像１１０ａを閲覧したと判定すると（Ｓ６：Ｙｅｓ）、ユーザＩＤ及びコンテンツＩＤに基づいて、ユーザ属性テーブル３１１の「閲覧回数」欄の当該ユーザに対応する閲覧回数を更新する（Ｓ７）。

上記ステップＳ５において、予め定められた時間を経過しても仮想カメラ画像１１０ｂを受信しなければ（Ｓ８：Ｙｅｓ）、当該ＨＭＤ装置２Ａを強制的にログアウトする（Ｓ９）。

（閲覧回数の算出例）
図１１は、閲覧判定手段３０５による閲覧回数の算出例を説明するための図である。同図中、１１１ａ〜１１６ａは、ユーザのＡさんが使用するＨＭＤ装置２により仮想的に撮影された仮想カメラ画像を示す。また、同図中、１１１ｂ〜１１４ｂは、ユーザのＢさんが使用するＨＭＤ装置２により仮想的に撮影された仮想カメラ画像を示す。閲覧判定手段３０５は、以下のように閲覧を判定する。

ユーザのＡさん及びＢさんは、仮想画像１１０ａが表示されている場所の前を図１０において左側から右側に通過している。ユーザのＡさんは、仮想画像１１０ａが表示されている場所の前を通過する間に仮想画像１１０ａに３回接近し、ユーザのＢさんは、Ａさんほど接近していないが、仮想画像１１０ａに１回接近している。

Ａさんが仮想画像１１０ａに最初に接近したときの仮想カメラ画像１１２ａは、歪み率が大きく、面積も小さいため、閲覧したとは判定されない。Ａさんが仮想画像１１０ａに２回目に接近したときの仮想カメラ画像１１３ａは、歪み率が小さく、面積も大きいため、閲覧したと判定される。Ａさんが仮想画像１１０ａに３回目に接近したときは、仮想カメラ画像１１５ａは、面積は大きいが、歪み率が大きいため、閲覧したとは判定されない。Ｂさんが仮想画像１１０ａに最も接近したときの仮想カメラ画像１１２ｂは、面積も小さく、歪み率が大きいため、閲覧したとは判定されない。

（位置情報の変形例）
上記実施の形態では、予め定められた場所を示すものとしてコード画像１０１を用いたが、ＨＭＤ装置２の位置を示す位置情報を用いてもよい。すなわち、コンテンツテーブル３１２の「位置情報」欄に記録された位置情報が示す位置と、ＨＭＤ装置２の位置との間の距離が予め定められた値（例えば、３ｍ）以下の場合に、対応するコンテンツデータ及びコメント情報コンテンツテーブル３１２から取得し、仮想画像を生成し表示してもよい。この変形例によれば、コード画像を省くことができる。

［第２の実施の形態］
図１２は、本発明の第２の実施の形態に係る情報処理システムの構成例を示す図である。第１の実施の形態では、公開情報は予め定められた場所の位置を示す位置情報に紐付けられているが、本実施の形態は、公開情報は予め定められた場所の位置を示す位置情報、及び当該場所に置かれた対象物の特徴情報に紐付けられたものである。対象物は、例えば、飲料ボトル、携帯型情報端末装置等の移動可能な物である。以下、第１の実施の形態と異なる点を中心に説明する。

この情報処理システム１は、第１の実施の形態と同様に、第１の者が使用するＨＭＤ装置２Ａ、第２の者が使用するＨＭＤ装置２Ｂ、及び情報処理装置３を備える。

図１２は、例えば、オフィスの談話室で第１の者がＨＭＤ装置２Ａを装着し、第２の者がＨＭＤ装置２Ｂを装着している状態を示す。談話室には、複数のテーブル１２１、１２２が配置され、一方のテーブル１２１の上面１２１ａに対象物１２０が置かれているが他方のテーブル１２２の上面１２２ａには何も置かれていない。対象物１２０が置かれたテーブル１２１は、予め定められた場所（特定の場所ともいう。）の一例である。

図１３は、第２の実施の形態に係るＨＭＤ装置２の制御系の一例を示す図である。本実施の形態のＨＭＤ装置２は、制御部２０が仮想カメラ画像生成手段２０３を備えていないが、抽出手段２０４を備えている点が第１の実施の形態のＨＭＤ装置２とは異なる。

ＨＭＤ装置２の制御部２０は、ＣＰＵ（Central Processing Unit）、インターフェース等から構成されている。ＣＰＵは、記憶部２１に記憶されたプログラムに従って動作することにより送信手段２００、受信手段２０１、表示制御手段２０２、抽出手段２０４等として機能する。

抽出手段２０４は、メッセージの登録モードにおいて、外向きカメラ２３Ａにより撮影された対象物１２０の画像から対象物１２０の特徴情報（形状、色等）を抽出し、抽出した特徴情報を記憶部２１に記憶する。

送信手段２００は、メッセージの登録モードにおいて、音声認識部２７２により認識された音声データ、及び記憶部２１に記憶した特徴情報をユーザＩＤとともに情報処理装置３に送信する。情報処理装置３に送信した音声データ、特徴情報及びユーザＩＤは、対象物テーブル３１３に登録される。

図１４は、第２の実施の形態に係る情報処理装置の制御系の一例を示すブロック図である。本実施の形態の情報処理装置３は、閲覧判定手段３０５を備えていないが、登録手段３０６を備えている点が第１の実施の形態の情報処理装置３とは異なる。

情報処理装置３は、第１の実施の形態と同様に、制御部３０、記憶部３１、無線通信部３２を備える。

制御部３０は、ＣＰＵ（Central Processing Unit）、インターフェース等から構成されている。ＣＰＵは、プログラム３１０に従って動作することにより受信手段３０１、取得手段３０２、表示画像生成手段３０３、送信手段３０４、登録手段３０６等として機能する。

登録手段３０６は、第１の者が使用するＨＭＤ２Ａから送信された特徴情報、音声データ及びユーザＩＤに基づいて、必要な情報を対象物テーブル３１３（図１６参照）に登録する。登録の方法の詳細については、後述する。

記憶部３１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等から構成され、プログラム３１０、ユーザ属性テーブル３１１ａ（図１５参照）、対象物テーブル３１３（図１６参照）、地図データ３１４等が記憶されている。

ユーザ属性テーブル３１１ａは、第１の実施の形態のユーザ属性テーブル３１１と同様に、「ユーザＩＤ」欄、「ユーザ名」欄、「所属部署」欄、及び「ユーザ種別」欄を有するが、「コンテンツＩＤ」欄、及び「閲覧回数」欄を有していない。

地図データ３１４は、ＨＭＤ装置２が移動可能な空間、例えば、建物内の空間であって、対象物が置かれる複数の場所の名称と、当該場所の位置を示す位置情報とを含む。なお、当該場所は１つでもよい。

（対象物テーブルの構成）
図１６は、対象物テーブル３１３の一例を示す図である。対象物テーブル３１３は、対象物を識別する対象物ＩＤが記録される「対象物ＩＤ」欄と、対象物の特徴情報が記録される「特徴情報」欄と、対象物が置かれる場所の位置を示す位置情報が記録される「位置情報」欄と、メッセージを公開する有効期間が記録される「有効期間」欄と、公開相手が記録される「公開相手」欄と、メッセージ付与者のユーザＩＤが記録される「メッセージ付与者のユーザＩＤ」欄と、付与されたメッセージが記録される「メッセージ」欄とを有する。付与されたメッセージは、テキスト、音声信号、画像又は動画でもよく、これらの組合せでもよい。図１２に示す場合は、対象物１２０は、テーブル１２１の上面１２１ａに置かれているため、「位置情報」欄には、テーブル１２１の上面１２１ａの位置情報が記録される。メッセージを位置情報及び対象物１２０の特徴情報と紐付けることで、同一の場所（例えば、テーブル１２１）に複数の対象物が存在していても対象物ごとにメッセージを仮想画像として表示することが可能になる。

（第２の実施の形態の動作）
次に、情報処理システム１の動作の一例について、図１７を参照し、図１８のフローチャートに従って説明する。

（１）メッセージの登録
例えば、ＨＭＤ装置２Ａを使用する第１の者が手を動かし、対象物１２０に紐付けてメッセージの登録を指示するジェスチャー（第３のジェスチャー）を行うと、ＨＭＤ装置２Ａのジェスチャー検出部２７０は、センサ部２４の距離画像センサが取得した距離画像から第３のジェスチャーを検出し、それに対応する第３のコマンドを制御部２０に送信する。

制御部２０は、ジェスチャー検出部２７０からの第３のコマンドに基づいて、メッセージの登録モードに移行する。メッセージの登録モードにおいて、制御部２０は、外向きカメラ２３Ａを制御して、例えば、テーブル１２１の上面１２１ａに置かれている対象物１２０を撮影する。制御部２０の抽出手段２０４は、撮影した対象物１２０の画像から対象物１２０の特徴情報を抽出する。抽出手段２０４は、抽出した特徴情報を記憶部２１に記憶する。

次に、第１の者は、対象物１２０に紐付けて登録するメッセージ、有効期間、テーブル１２１の位置、及び公開相手を音声により音声入力部２５に入力する。音声入力部２５は、第１の者の音声を音声信号として入力する。音声認識部２７２は、入力された音声信号を音声データに変換し、記憶部２１に記憶する。例えば、図１７に示すように、「これは私のです。飲まないでください。」と話すと、そのメッセージが情報処理装置３の対象物テーブル３１３に登録される。

送信手段２００は、記憶部２１に記憶した対象物１２０の特徴情報、及び音声データを、自己を識別するユーザＩＤとともに情報処理装置３に送信する。

情報処理装置３の登録手段３０６は、第１の者が使用するＨＭＤ２Ａから送信された特徴情報、音声データ及びユーザＩＤを対象物テーブル３１３に登録する。具体的には、登録手段３０６は、対象物ＩＤを発行し、対象物ＩＤを「対象物ＩＤ」欄、特徴情報を「特徴情報」欄、ユーザＩＤを「メッセージ付与者のユーザＩＤ」欄に登録し、音声データに含まれる有効期間、公開相手、メッセージをそれぞれ「有効期間」欄、「公開相手」欄、「メッセージ」欄に登録する。音声データに含まれる場所に対応する位置情報を地図データ３１４から取得し、取得した位置情報を「位置情報」欄に登録する。

（２）対象物の画像の受信
メッセージを登録した第１の者と同じグループに所属する第１の者がＨＭＤ装置２Ａを装着して手を動かし、テーブル１２１の上面１２１ａに置かれている対象物１２０の撮影を指示するジェスチャー（第４のジェスチャー）を行うと、ＨＭＤ装置２Ａのジェスチャー検出部２７０は、センサ部２４の距離画像センサが取得した距離画像から第４のジェスチャーを検出し、それに対応する第４のコマンドを制御部２０に送信する。

制御部２０は、ジェスチャー検出部２７０からの第４のコマンドに基づいて、外向きカメラ２３Ａを制御して対象物１２０を撮影する。抽出手段２０４は、対象物１２０の画像から対象物１２０の特徴情報を抽出し、記憶部２１に記憶する。制御部２０の送信手段２００は、記憶部２１が記憶する特徴情報を、当該ＨＭＤ装置２Ａの位置情報及びユーザＩＤとともに情報処理装置３に送信する。

情報処理装置３の受信手段３０１は、ＨＭＤ装置２Ａから送信された対象物１２０の特徴情報、位置情報、ユーザＩＤを受信する（Ｓ１：Ｙｅｓ）。

（３）付与されたメッセージの取得
取得手段３０２は、受信手段３０１が受信した対象物１２０の特徴情報、位置情報が対象物テーブル３１３に記録されているか否かを判断する（Ｓ１２）。対象物テーブル３１３に記録されている位置情報が示す位置と、ＨＭＤ装置２から送信された位置情報が示す位置との間の距離が予め定められた距離（例えば、３ｍ）以下の場合は、取得手段３０２は、ＨＭＤ装置２から送信された位置情報は、対象物テーブル３１３に記録されていると判断する。

対象物１２０の特徴情報が対象物テーブル３１３に記録されている場合は（Ｓ１２：Ｙｅｓ）、取得手段３０２は、仮想画像を生成するのに必要な情報を対象物テーブル３１３から取得する（Ｓ１３）。すなわち、取得手段３０２は、現在が有効期間に含まれている場合には、対象物テーブル３１３から位置情報、公開相手、メッセージ付与者のユーザＩＤ及びメッセージを取得する。

（４）表示画像の生成
表示画像生成手段３０２は、取得手段３０２が取得した情報から表示画像を生成する（Ｓ１４）。図１７に示す場合は、表示画像には、メッセージの他に、公開相手の情報として、例えば「ｔｏ ○○グループのメンバ」と、メッセージの発信者の情報「ｆｒｏｍ ××」が含まれる。表示画像は、２次元の画像である。

（５）表示画像及び位置情報の送信
送信手段３０３は、表示画像生成手段３０２が生成した表示画像及び位置情報を公開相手のＨＭＤ装置２に送信する（Ｓ１５）。

ＨＭＤ装置２の表示制御手段２０２は、表示画像及び位置情報に基づいて表示画像が対象物の近傍に仮想画像１１０ａが視認されるよう表示部２２を制御する。

例えば、第１の者には、図１７に示すように、対象物の近傍に仮想的に表示された「ｔｏ ○○グループのメンバ“これは私のです。飲まないで下さい。ｆｒｏｍ ××」の情報を含む仮想画像１１０ａが視認されるが、第１の者とは同一の組織に属するが、グループが異なる第２の者には、この仮想画像１１０ａは視認されない。したがって、特定の場所を介して特定の人との間で情報の共有が可能になる。

（変形例１）
図１９（ａ）〜（ｅ）は、変形例を説明するための図である。第２の実施の形態では、メッセージを登録する際に、ジェスチャーでメッセージの登録モードに移行し、メッセージの登録モードの中で特徴情報の抽出、音声の入力を行ったが、この変形例１は、ＨＭＤ装置２の使用者の手が対象物１２０に触れるごとに処理を逐次行うものである。なお、テーブル１２１の天板１２１ａに対象物１２０が置かれているものとする。

図１９（ａ）に示すように、ＨＭＤ装置２Ａの使用者であるＡさんの手が対象物１２０に触れたら、対象物１２０を撮影し、撮影した画像から特徴情報を抽出する。

すなわち、ＨＭＤ装置２Ａのジェスチャー検出部２７０は、センサ部２４の距離画像センサが取得した距離画像から対象物１２０に手が触れたことを示すジェスチャーを検出し、それに対応するコマンドを制御部２０に送信する。制御部２０は、ジェスチャー検出部２７０からのコマンドに基づいて、外向きカメラ２３Ａを制御して対象物１２０の画像を撮影する。抽出手段２０４は、外向きカメラ２３Ａにより撮影された対象物１２０の画像から対象物１２０の特徴情報を抽出し、記憶部２１に記憶する。

次に、図１９（ｂ）に示すように、ＨＭＤ装置２Ａの使用者であるＡさんの手が対象物１２０に触れたら、メッセージ（例えば、「お疲れ様でした。」）１４０等を音声入力する。

すなわち、ＨＭＤ装置２Ａのジェスチャー検出部２７０は、センサ部２４の距離画像センサが取得した距離画像から対象物１２０に手が触れたことを示すジェスチャーを検出し、それに対応するコマンドを制御部２０に送信する。制御部２０は、ジェスチャー検出部２７０からのコマンドに基づいて、音声入力部２５により当該使用者の音声を入力し、音声認識部２７２により音声データに変換し、音声データを記憶部２１に記憶する。

次に、図１９（ｃ）に示すように、ＨＭＤ装置２Ａの使用者であるＡさんの手が対象物１２０に触れたら、特徴情報、メッセージ等の音声データ、及びユーザＩＤを情報処理装置３に送信する。

すなわち、ＨＭＤ装置２Ａのジェスチャー検出部２７０は、センサ部２４の距離画像センサが取得した距離画像から対象物１２０に手が触れたことを示すジェスチャーを検出し、それに対応するコマンドを制御部２０に送信する。制御部２０の送信手段２００は、記憶部２１に記憶された特徴情報及び音声データをユーザＩＤとともに情報処理装置３に送信する。

情報処理装置３の登録手段３０６は、ＨＭＤ装置２Ａから送信された特徴情報、音声データ及びユーザＩＤを対象物テーブル３１３に記録する。

次に、図１９（ｄ）に示すように、Ｂさんが使用するＨＭＤ装置２Ｂで対象物１２０を撮影して特徴情報を抽出する。

すなわち、ＨＭＤ装置２Ｂの使用者であるＢさんが手を動かして対象物１２０の撮影を指示する動作を行うと、ＨＭＤ装置２Ｂのジェスチャー検出部２７０は、センサ部２４の距離画像センサが取得した距離画像から対象物１２０の撮影を指示するジェスチャーを検出し、それに対応するコマンドを制御部２０に送信する。

制御部２０は、ジェスチャー検出部２７０からのコマンドに基づいて、外向きカメラ２３Ａを制御して対象物１２０の画像を撮影する。抽出手段２０４は、外向きカメラ２３Ａにより撮影された対象物１２０の画像から対象物１２０の特徴情報を抽出する。送信手段２００は、抽出された特徴情報をＢさんのユーザＩＤとともに情報処理装置３に送信する。

次に、図１９（ｅ）に示すように、表示画像生成手段３０３は、表示画像を生成する。送信手段３０４は、表示画像及び位置情報をＢさんが使用するＨＭＤ装置２Ｂに送信する。

ＨＭＤ装置２Ｂの表示制御手段２０２は、仮想画像１４１がＢさんに視認されるように表示部２２を制御する。図１９（ｅ）に示す場合は、メッセージの付与者の名前及びメッセージを含む「Ａさんより お疲れ様でした。」の仮想画像１４１がＢさんに視認される。

なお、第２の実施の形態において、移動可能な対象物が予め定められた場所から消えた場合、対象物が消えたことを示すＨＭＤ装置２からの音声データに基づいて、情報処理装置３の制御部３０が当該場所に紐付けられているメッセージ等を対象物テーブル３１３から削除してもよい。また、同じ特定の場所に移動可能な対象物であって特徴情報が同一の対象物が複数存在する場合は、移動可能な対象物の相対的な位置関係に基づいて当該対象物を特定してもよい。

また、第２の実施の形態は、対象物の特徴情報をＨＭＤ装置２が抽出したが、情報処理装置３が抽出してもよい。この場合、ＨＭＤ装置２が対象物の画像を情報処理装置３に送信し、情報処理装置３の制御部３０が対象物１２０の画像から対象物１２０の特徴情報を抽出する。

以上、本発明の実施の形態を説明したが、本発明の実施の形態は上記実施の形態に限定されるものではなく、本発明の要旨を変更しない範囲内で種々の変形、実施が可能である。例えば、各実施の形態では、表示装置として光透過方式の頭部装着型表示装置について説明したが、本発明は、現実空間（外景）を撮影した画像に表示画像を仮想画像として重ねて表示するスマートフォン等の携帯型情報端末にも同様に適用することができる。

また、情報処理装置３が有する機能の一部をＨＭＤ装置２に移してもよく、ＨＭＤ装置２が有する機能の一部を情報処理装置３に移してもよい。例えば、ＨＭＤ装置２が有する音声認識機能を情報処理装置３に移し、ＨＭＤ装置２から音声信号を情報処理装置３に送信し、情報処理装置３の音声認識機能により音声信号を音声データに変換してもよい。

制御部２０、３０の各手段は、それぞれ一部又は全部を再構成可能回路（ＦＰＧＡ：Field Programmable Gate Array）、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）等のハードウエア回路によって構成してもよい。

また、本発明の要旨を変更しない範囲内で、上記実施の形態の構成要素の一部を省くことや変更することが可能である。また、本発明の要旨を変更しない範囲内で、上記実施の形態のフローにおいて、ステップの追加、削除、変更、入替え等が可能である。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録して提供することができる。また、上記実施の形態で用いたプログラムをクラウドサーバ等の外部サーバに格納しておき、ネットワークを介して利用することができる。

１…情報処理システム、２、２Ａ、２Ｂ…ＨＭＤ装置、３…情報処理装置、２０…制御部、２１…記憶部、２２…表示部、２３Ａ…外向きカメラ、２３Ｂ…内向きカメラ、２４…センサ部、２５…音声入力部、２６…位置検出部、２７…処理部、２８…無線通信部、３０…制御部、３１…記憶部、３２…無線通信部、１００…壁、１０１…コード画像、１１０ａ…仮想画像、１１０ｂ、１１１ａ〜１１６ａ、１１１ｂ〜１１４ｂ…仮想カメラ画像、１２０…対象物、１２１、１２２…テーブル、１２１ａ、１２２ａ…上面、１４０…メッセージ、１４１…仮想画像、２００…送信手段、２０１…受信手段、２０２…表示制御手段、２０３…仮想カメラ画像生成手段、２０４…抽出手段、２２０…フレーム、２２１…透過型ディスプレイ、２２１…透過型ディスプレイ、２２１ａ…右側透過型ディスプレイ、２２１ｂ…左側透過型ディスプレイ、２７０…ジェスチャー検出部、２７１…視線検出部、２７２…音声認識部、３０１…受信手段、３０２…取得手段、３０３…表示画像生成手段、３０４…送信手段、３０５…閲覧判定手段、３０６…登録手段、３１０…プログラム、３１１、３１１ａ…ユーザ属性テーブル、３１２…コンテンツテーブル、３１３…対象物テーブル、３１４…地図データ

Claims (11)

1. 現実空間に仮想空間の画像が重なるように表示する表示装置から、当該表示装置の使用者の識別情報、及び予め定められた場所を示す位置情報を受け付ける受付手段と、
   前記位置情報に紐付けられた公開情報を、前記使用者の識別情報がある組織に属するグループとして公開相手に含まれている場合に、前記予め定められた場所又はその近傍に前記仮想空間の画像として表示するよう前記表示装置に指示する指示手段と、を備えた情報処理装置。
2. 前記表示装置は、撮影機能を有し、
   前記受付手段は、前記表示装置により前記予め定められた場所を撮影した画像を受け付けし、
   前記画像に含まれるコード画像から前記位置情報を取得する取得手段、
   をさらに備えた請求項１に記載の情報処理装置。
3. 前記公開情報は、前記使用者と同じグループに属している者が付加した情報を含む、
   請求項１又は２に記載の情報処理装置。
4. 前記公開情報は、前記使用者と同じグループに属している者の閲覧回数を含む、
   請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記表示装置は、前記仮想空間の画像を仮想的に撮影する仮想カメラを備え、
   前記閲覧回数は、前記仮想カメラによって撮影された仮想カメラ画像の歪み率及び面積により求められた関心度が閾値以上の場合に１回として計数する、
   請求項４に記載の情報処理装置。
6. 前記表示装置は、前記仮想空間の画像を仮想的に撮影する仮想カメラを備え、
   前記閲覧回数は、前記仮想カメラによって撮影された仮想カメラ画像の撮影時間が予め定められた時間以上連続する場合に１回として計数する、
   請求項４に記載の情報処理装置。
7. 前記公開情報は、前記位置情報及び対象物の特徴情報に紐付けられ、
   前記指示手段は、前記公開情報を前記対象物又はその近傍に前記仮想空間の画像として表示するよう前記表示装置に指示する、
   請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記対象物は、前記予め定められた場所を移動可能な物である、
   請求項６又は７に記載の情報処理装置。
9. 前記受付手段は、前記表示装置の位置を示す位置情報を受け付けし、
   前記指示手段は、前記表示装置の位置が前記予め定められた場所から予め定められた距離以下の場合に、前記公開情報を前記仮想空間の画像として表示するよう指示する、
   請求項１から８のいずれか１項に記載の情報処理装置。
10. 現実空間に仮想空間の画像が重なるように表示する表示装置と、
    前記表示装置から当該表示装置の使用者の識別情報、及び予め定められた場所を示す位置情報を受け付ける受付手段と、
    前記位置情報に紐付けられた公開情報を、前記使用者の識別情報がある組織に属するグループとして公開相手に含まれている場合に、前記予め定められた場所又はその近傍に前記仮想空間の画像として表示するよう前記表示装置に指示する指示手段と、
    を備えた情報処理システム。
11. コンピュータを、
    現実空間に仮想空間の画像が重なるように表示する表示装置から、当該表示装置の使用者の識別情報、及び予め定められた場所を示す位置情報を受け付ける受付手段と、
    前記位置情報に紐付けられた公開情報を、前記使用者の識別情報がある組織に属するグループとして公開相手に含まれている場合に、前記予め定められた場所又はその近傍に前記仮想空間の画像として表示するよう前記表示装置に指示する指示手段、
    として機能させるためのプログラム。