JP2014197348A - サーバ装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】ユーザが妥当な量の自然特徴点を得ることができる場所を判断しなければいけない手間を軽減する。【解決手段】第１の携帯端末装置により撮像された第１の画像と、第２の携帯端末装置により撮像された第２の画像とを受信し、受信した第１の画像と、第２の画像との夫々の画像から複数の特徴点を抽出し、第１の画像から抽出した複数の特徴点と、第２の画像から抽出した複数の特徴点とのうち、同一の特徴点を示す特徴点のペアである特徴点ペアとして対応付けられる特徴点があるか否かを判断し、対応付けられる特徴点がないと判断した場合、特徴点ペアとして対応付けられる特徴点を抽出可能な画像を撮像することができる撮像条件情報を含む誘導要求を第１の携帯端末装置と、第２の携帯端末装置とに送信することによって課題を解決する。【選択図】図５

Description

本発明は、サーバ装置、情報処理方法及びプログラムに関する。

Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ）技術は、カメラで撮影した画像にコンピュータで生成した仮想データを重畳表示する技術である。近年では、スマートフォン等のモバイル端末を始め、開発が盛んに行われている。
このＡＲ技術は、仮想データが現実空間中に実在するような感覚をユーザに与えるため、ユーザの視点の変化に合わせて、重畳する仮想データの位置を正確に整合させる必要がある。そこで、画像中のマーカ、エッジ又はコーナー点といった自然特徴点（単に特徴点ともいう）を抽出し、追従する技術が提案されている。特許文献１では、ステレオカメラにて撮像した複数の画像間で特徴点をペア化したものを使用し、３Ｄ表示する技術が開示されている。

特開２０１２−０６８８６１号公報

最近では、ＡＲ技術のオフィス環境への適用が検討されている。一例として、被写体に関する仮想データの重畳表示だけでなく、オフィス内の任意の場所で会議資料等のデジタルコンテンツを撮像画像に重畳表示（以後、ＡＲ表示という）することで、ユーザ同士の打ち合わせ等を可能とする技術が挙げられる。
また、ＡＲ表示を行うデバイスとして、タブレット等に加えてＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）といったディスプレイを常時携帯できるデバイスがある。これらのデバイスを使用したオフィス業務へのＡＲ技術の適用により、ユーザの業務効率向上が期待される。
しかしながら、オフィス環境の業務にＡＲ表示技術を適用する場合、ユーザが行う準備が煩雑になることがある。例えば、ＨＭＤによるＡＲ表示のためにマーカが使用される場合、ユーザは、ＨＭＤが撮像した画像中にマーカが含まれるようにオフィス環境内にマーカを貼り付ける必要がある。また、ＨＭＤによるＡＲ表示のために撮像した画像から得られる自然特徴点が使用される場合、ユーザは、デジタルコンテンツを表示できるだけの十分な量の自然特徴点が画像中から抽出できるような場所を判断する必要がある。
本発明は、上記課題を鑑みてなされたものであり、ユーザが妥当な量の自然特徴点を得ることができる場所を判断しなければならない手間を軽減することを目的とする。

そこで、本発明のサーバ装置は、第１の携帯端末装置により撮像された第１の画像と、第２の携帯端末装置により撮像された第２の画像とを受信する受信手段と、前記受信手段により受信された第１の画像と、第２の画像との夫々の画像から複数の特徴点を抽出する抽出手段と、前記抽出手段により第１の画像から抽出された複数の特徴点と、第２の画像から抽出された複数の特徴点とのうち、同一の特徴点を示す特徴点のペアである特徴点ペアとして対応付けられる特徴点があるか否かを判断する判断手段と、前記判断手段により対応付けられる特徴点がないと判断された場合、特徴点ペアとして対応付けられる特徴点を抽出可能な画像を撮像することができる撮像条件情報を含む誘導要求を前記第１の携帯端末装置と、前記第２の携帯端末装置とに送信する送信手段と、を有する。

本発明によれば、ユーザが妥当な量の自然特徴点を得ることができる場所を判断しなければいけない手間を軽減することができる。

システム構成の一例を示す図である。 各デバイスのモジュール構成の一例を示す図である。 ＨＭＤの座標及び自然特徴点の管理テーブルの一例を示す図である。 ＨＭＤの座標及び自然特徴点の管理に係るデータの一例を示す図である。 実施形態１の処理の一例を示すフローチャートである。 モード変更通知の一例を示す図である。 ＡＲ共有の準備状態の画面表示の一例を示す図である。 ＡＲ共有の状態遷移通知の一例を示す図である。 ＡＲ共有の状態管理テーブルの一例を示す図である。 座標更新処理及び自然特徴点蓄積処理の一例を示すフローチャートである。 ＡＲ共有の準備処理の一例を示すフローチャートである。 自然特徴点ペア決定依頼通知及び誘導依頼通知の一例を示す図である。 ＡＲ共有の実行処理の一例を示すフローチャートである。 ＡＲ共有の実行状態の画面表示の一例を示す図である。 ＡＲ共有の誘導処理の一例を示すフローチャートである。 ＡＲ共有の誘導状態（回転方向）の画面表示の一例を示す図である。 ＡＲ共有の誘導状態（座標移動）の画面表示の一例を示す図である。

以下、本発明の実施形態について図面に基づき説明する。

＜実施形態１＞
図１は、本実施形態のシステムのシステム構成の一例を示す図である。
本システムは、オフィス内で使用するシステムであるものとする。また、オフィス環境の一例として、ユーザがＨＭＤ１３０ａからＨＭＤ１３０ｅまで（以後、ＨＭＤ１３０ａからＨＭＤ１３０ｅまでを総称する場合、ＨＭＤ１３０という）を装着し、フロア１４１からフロア１４３までを自由に移動するような環境を想定する。なお、ＨＭＤ１３０は、携帯端末装置の一例である。
本システムは、サーバ装置１２０と、ＨＭＤ１３０と、ネットワークカメラ１４０とを含む。サーバ装置１２０、ＨＭＤ１３０及びネットワークカメラ１４０は、ＬＡＮ１０１や無線ＬＡＮアクセスポイント１０２によって相互に接続され通信可能であり、互いにデータを送受信することができる。

ネットワークカメラ１４０は、ＨＭＤ１３０の座標を計算し、サーバ装置１２０に送信し続ける。
ＨＭＤ１３０は、オフィス内の自然特徴点の抽出、ＡＲ表示及び画像を撮像する際の位置情報や向き情報を含む誘導情報の表示等を行う。
サーバ装置１２０は、ＨＭＤ１３０と、ネットワークカメラ１４０とから受信するデータを管理する。また、サーバ装置１２０は、複数のＨＭＤ１３０間でＡＲ表示を共有する（以後、単にＡＲ共有という）ために使用する特徴点のペアである自然特徴点のペア（以後、単に自然特徴点ペアという）の決定を行う。更に、サーバ装置１２０は、ＨＭＤ１３０を装着するユーザをＡＲ共有することができる位置（向きを含む）に誘導するための誘導依頼通知（誘導要求）をＨＭＤ１３０に送信する。サーバ装置１２０は、これらを連携することにより、オフィス内の同位置でのＡＲ共有を実現する。

図２は、サーバ装置１２０、ＨＭＤ１３０及びネットワークカメラ１４０のモジュール構成の一例を示す図である。
まず、サーバ装置１２０のモジュール構成について説明する。
サーバ装置１２０内の各モジュールは、システムバス３００で相互に接続されている。
メモリ３０２は、サーバ装置１２０の制御プログラムを格納している。
ＣＰＵ３０１は、メモリ３０２に格納されているプログラムを実行することにより、サーバ装置１２０の機能（ソフトウェア構成）及びフローチャートに係るサーバ装置１２０の処理を実現する。なお、ＣＰＵ３０１が実行するフローチャートの処理は、情報処理の一例である。

ＨＤＤ３０３は、図３に示される管理テーブルを保持している。ここで、図３は、ＨＭＤ１３０の座標管理テーブル（図３（ａ））と、自然特徴点の管理テーブル（図３（ｂ））との一例を示す図である。図３の詳細については、後述する。なお、自然特徴点の管理テーブルの情報は、管理情報の一例である。
テーブル処理部３０４は、ＨＤＤ３０３に格納されている管理テーブルのデータを読み出す。また、テーブル処理部３０４は、ＨＤＤ３０３に格納されている管理テーブルにデータを書き出す。なお、管理テーブルには、図３（ａ）に示されるＨＭＤ１３０の座標管理テーブルや、図３（ｂ）に示される自然特徴点の管理テーブルや、デジタルコンテンツ等の管理テーブルがある。
通信処理部３０５は、ネットワークインターフェース３０６を介してＬＡＮ１０１に接続し、ＨＭＤ１３０や、ネットワークカメラ１４０とデータの送受信を行う。なお、サーバ装置１２０と、ＨＭＤ１３０と、ネットワークカメラ１４０との通信プロトコルには、ＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）が用いられる。また、サーバ装置１２０と、ＨＭＤ１３０と、ネットワークカメラ１４０とのデータフォーマットには、ＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ（登録商標） Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）等が用いられる。

通信処理部３０５は、ＨＭＤ１３０やネットワークカメラ１４０から受信したデータを解析し、管理テーブルやメモリ３０２への書き出しを行う。また、通信処理部３０５は、管理テーブルやメモリからデータを読み出し、送信データを作成し、ＨＭＤ１３０へ送信する。
自然特徴点管理部３０７は、ＡＲ共有に必要な自然特徴点ペアの決定や、管理テーブルを検索しＡＲ共有することができる誘導先の決定等を行う。より具体的には、自然特徴点管理部３０７は、サーバ装置１２０がＨＭＤ１３０から受信した画像に対して画像処理を行い、その処理画像から自然特徴点と呼ばれる画像中の角や線の交わる特徴点を抽出する。更に、自然特徴点管理部３０７は、複数のＨＭＤ１３０で撮像された画像内における画素で対応付けられるものを計算し、対応付けた点を自然特徴点ペアとして決定する。なお、自然特徴点管理部３０７は、複数画像において全ての画素を対応付けると計算コストが非常にかかるため、対応の取りやすい点として自然特徴点を使用する。
なお、テーブル処理部３０４、通信処理部３０５及び自然特徴点管理部３０７は、ハードウェアで構成されていてもよいし、ソフトウェアで構成されていてもよい。

次に、ＨＭＤ１３０の構成について説明する。なお、ＨＭＤ１３０ａからＨＭＤ１３０ｅまでの構成は、全て同様であるものとする。
ＨＭＤ１３０内の各モジュールは、システムバス３２０で相互に接続されている。
メモリ３２２は、ＨＭＤ１３０の制御プログラムを格納している。
ＣＰＵ３２１は、メモリ３２２に格納されているプログラムを実行することにより、ＨＭＤ１３０の機能及びフローチャートに係るＨＭＤ１３０の処理を実現する。

加速度センサ３２５は、ＨＭＤ１３０の３軸の回転方向（Ｙａｗ、Ｒｏｌｌ、Ｐｉｔｃｈ）の値を計測する。ＣＰＵ３２１は、加速度センサが計測した値をメモリ３２２に書き出す。
自然特徴点処理部３２７は、ＲＧＢカメラ３２８で取得された画像をメモリ３２２へ保存し、その撮像画像に対して画像処理をして自然特徴点を抽出し、メモリ３２２に書き出す。
通信処理部３２４は、ネットワークインターフェース３２３を介してＬＡＮ１０１に接続し、サーバ装置１２０とデータの送受信を行う。また、通信処理部３２４は、メモリ３２２に保存されたデータを読み出して送信データを作成し、サーバ装置へ送信したり、サーバ装置１２０から受信したデータをメモリ３２２へ書き出したりする。
ＡＲデータ処理部３２９は、サーバ装置１２０から受信したデジタルコンテンツのＡＲデータへの変換や、デジタルコンテンツを表示する位置候補の作成を行う。
透過型ディスプレイ３２６は、ＡＲデータ処理部３２９で作成されたデータをＡＲ表示したり、誘導情報を表示したりする。なお、透過型ディスプレイ３２６は、表示装置の一例である。
赤外カメラ３３０は、ＨＭＤ１３０の装着者であるユーザの手や指のジェスチャーを認識することで、透過型ディスプレイ３２６上のコンテンツに対する操作指示を受け付ける。
なお、通信処理部３２４、自然特徴点処理部３２７及びＡＲデータ処理部３２９は、ハードウェアで構成されていてもよいし、ソフトウェアで構成されていてもよい。

最後に、ネットワークカメラ１４０の構成について説明する。
ネットワークカメラ１４０内の各モジュールは、システムバス３４０で相互に接続されている。
メモリ３４２は、ネットワークカメラ１４０の制御プログラムを格納している。
ＣＰＵ３４１は、メモリ３４２に格納されているプログラムを実行することにより、ネットワークカメラ１４０の機能及びフローチャートに係るネットワークカメラ１４０の処理を実現する。
座標計算部３４３は、カメラ３４４から取得した画像を解析して人物の動線解析を行い、算出した各ＨＭＤ１３０の座標値をメモリ３４２に書き出す。座標計算部３４３は、動線解析により、オフィス内において人物が存在する座標を算出する。また、座標計算部３４３は、オフィス内の座席等の障害物等に対する配置に関する配置情報も算出する。なお、座標計算部３４３による解析結果に関する人物の動線情報や、物の配置情報等は、環境情報の一例である。
通信処理部３４６は、メモリ３４２から各ＨＭＤ１３０の座標値を読み出し、ネットワークインターフェース３４５を介し、図４（ａ）に示されるようなデータ形式でサーバ装置１２０に一定時間間隔で送信する。なお、図４（ａ）は、ＨＭＤ１３０の座標管理に関する送受信データのデータ構成の一例を示す図である。図４の詳細な説明については、後述する。
なお、通信処理部３４６は、ハードウェアで構成されていてもよいし、ソフトウェアで構成されていてもよい。

図５は、本システム全体における処理の一例を示すフローチャートである。
サーバ装置１２０は、ＡＲ共有及び誘導処理を行うために、ＨＭＤ１３０の座標更新処理と、自然特徴点の蓄積処理とを行う（Ｓ３０１）。より具体的には、サーバ装置１２０は、ネットワークカメラ１４０と、ＨＭＤ１３０とから、オフィス内の自然特徴点の位置と、オフィス内のＨＭＤ１３０の座標とのデータを収集し、管理テーブルに蓄積する。ここで、サーバ装置１２０は、管理テーブルとして、上述したＨＭＤ１３０の座標管理テーブル（図３（ａ））と、自然特徴点の管理テーブル（図３（ｂ））とを用いる。なお、Ｓ３０１の処理の詳細については、図１０を用いて後述する。
ＨＭＤ１３０は、ＡＲ共有に関するモードとして、"ＡＲ共有許可"と、"ＡＲ共有拒否"とをユーザの操作により随時切り替えることができる（Ｓ３０２）。ユーザは、ＨＭＤ１３０のモードが"ＡＲ共有許可"である場合、ＡＲ共有による打ち合わせ等を行うことができる。逆に、ユーザは、ＨＭＤ１３０のモードが"ＡＲ共有拒否"である場合、ＡＲ共有をせずに、１人で作業等を行うことができる。なお、この場合、サーバ装置１２０は、Ｓ３０１の処理のみを実行し続ける。
ＨＭＤ１３０は、ユーザによりＨＭＤ１３０のモードが変更された場合、モード変更された旨を、図６（ａ）、（ｂ）に示されるようなデータ形式でサーバ装置１２０に送信する。なお、図６は、ＨＭＤ１３０のモード変更通知のデータ構成の一例を示す図である。図６の詳細な説明については、後述する。これにより、サーバ装置１２０は、各々のＨＭＤ１３０のモードを、ＨＭＤ１３０の座標と合わせて常に把握することができる。

サーバ装置１２０は、ＨＭＤ１３０の座標管理テーブルを参照し、予め定められた距離以内にある"ＡＲ共有許可"となっている複数のＨＭＤ１３０を検知する（Ｓ３０３）。
サーバ装置１２０は、Ｓ３０３で"ＡＲ共有許可"となっている複数のＨＭＤ１３０を検知した場合、ＨＭＤ１３０間に関連するデジタルコンテンツ（共有情報）があるか検索する（Ｓ３０４）。
サーバ装置１２０は、Ｓ３０４で関連するデジタルコンテンツを検索できた場合、ＨＭＤ１３０にＡＲ共有の準備開始通知を図４（ｃ）に示されるようなデータ形式で送信する。なお、図４（ｃ）は、ＡＲ共有の準備開始通知に関する送受信データのデータ構成の一例を示す図である。
そして、ＨＭＤ１３０は、ＡＲ共有の準備開始通知を受信する（Ｓ３０５）。このサーバ装置１２０からＨＭＤ１３０への返信（準備開始通知）は、Ｓ３０１で繰り返し実行されたＨＭＤ１３０からサーバ装置１２０への送信に対応する返信である。

ＨＭＤ１３０は、ＡＲ共有の準備開始通知を受信した場合、透過型ディスプレイ３２６に、図７に示されるようなＡＲ共有の準備開始を受け付けるアイコン１４０１の表示を行う。なお、図７は、ＡＲ共有の準備状態の表示に関する画面構成の一例を示す図である。図７の詳細な説明については、後述する。更に、ＨＭＤ１３０は、赤外カメラ３３０を介してユーザからＡＲ共有の準備開始指示を受け付けた場合、"ＡＲ共有の準備状態"に遷移した旨を図８（ａ）に示されるようなデータ形式でサーバ装置１２０に通知する（Ｓ３０６）。なお、図８は、ＡＲ共有の状態遷移通知のデータ構成の一例を示す図である。図８の詳細な説明については、後述する。

ＨＭＤ１３０は、モードが"ＡＲ共有許可"である場合に、ＡＲ共有するための状態遷移を行う。ここでいう状態とは、"ＡＲ共有の準備状態"、"ＡＲ共有の誘導状態"又は"ＡＲ共有の実行状態"のことである。より具体的にいうと、各々の状態は、ＨＭＤ１３０がＡＲ共有の準備処理（Ｓ３０７）、ＡＲ共有の誘導処理（Ｓ３０９）又はＡＲ共有の実行処理（Ｓ３０８）を実行する際のＨＭＤ１３０の状態のことである。
ＨＭＤ１３０は、これらの状態遷移が発生した場合、状態遷移が発生した旨（ＨＭＤ１３０の状態遷移通知）を図８に示されるようなデータ形式でサーバ装置１２０に送信する。ここで、図８（ａ）は、ＡＲ共有の準備状態であることを示すデータである。図８（ｂ）は、ＡＲ共有の実行状態であることを示すデータである。図８（ｃ）は、ＡＲ共有の誘導状態であることを示すデータである。図８（ｄ）は、ＡＲ共有の終了状態であることを示すデータである。
これより、サーバ装置１２０は、ＡＲ共有に関わる処理を実行中のＨＭＤ１３０の状態を把握する。その際に、サーバ装置１２０は、上述した状態を図９に示されるようなデータを用いて把握する。なお、図９は、ＡＲ共有の状態管理に用いられるデータ構成の一例を示す図である。図９の詳細な説明については、後述する。
なお、サーバ装置１２０は、上記の処理（Ｓ３０３、Ｓ３０４、Ｓ３０５）の条件が満たされない場合、Ｓ３０１の処理を定常的に繰り返す。

サーバ装置１２０と、ＨＭＤ１３０とは、ＨＭＤ１３０がＡＲ共有の準備状態モードへ移行後、ＡＲ共有の準備処理を実行する（Ｓ３０７）。より具体的には、ＨＭＤ１３０は、撮像した画像をサーバ装置１２０に送信する。そして、サーバ装置１２０は、複数のＨＭＤ１３０間で使用する自然特徴点ペアを決定できるか否かを判断して、その旨をＨＭＤ１３０に送信する。Ｓ３０７の処理の詳細については、図１１を用いて後述する。
サーバ装置１２０は、Ｓ３０７の処理により、自然特徴点ペアを決定できたか判断する（Ｓ３０８）。Ｓ３０８の処理の詳細については、図１１等を用いて後述する。
サーバ装置１２０は、Ｓ３０８で自然特徴点ペアを決定できた場合、ＨＭＤ１３０に自然特徴点ペアに関する自然特徴点ペア情報を送信する（特徴点ペア情報送信処理）。そして、ＨＭＤ１３０は、"ＡＲ共有の実行状態"へ移行し、ＡＲ共有の実行処理を行う（Ｓ３１０）。より具体的には、ＨＭＤ１３０は、打ち合わせ等においてＡＲ共有を実行する。即ち、ＨＭＤ１３０は、サーバ装置１２０が自然特徴点ペアを決定できた場合、受信した自然特徴点ペアの情報に基づいて、ＡＲ共有を実行することができる。Ｓ３１０の処理の詳細については、図１３を用いて後述する。

サーバ装置１２０は、Ｓ３０８で自然特徴点ペアを決定できなかったと判断された場合、ＨＭＤ１３０に誘導依頼通知を送信する。そして、サーバ装置１２０と、ＨＭＤ１３０とは、ＡＲ共有の誘導処理を実行する（Ｓ３０９）。より具体的には、ＨＭＤ１３０は、"ＡＲ共有の誘導状態"へ移行する。そして、サーバ装置１２０は、Ｓ３０１で蓄積した自然特徴点を参照し、ＨＭＤ１３０を適切な場所へ誘導する誘導処理を行う。即ち、サーバ装置１２０は、自然特徴点ペアを決定することができる自然特徴点を抽出可能な画像を撮像できる妥当な場所へ、ＨＭＤ１３０を誘導する。Ｓ３０９の処理の詳細については、図１５を用いて後述する。
以上の処理により、サーバ装置１２０は、予め定められた距離以内に存在する複数のＨＭＤ１３０に対して、ＡＲ共有を実行させることができる。より具体的には、サーバ装置１２０は、決定した自然特徴点ペアに関する情報をＨＭＤ１３０に送信する。そして、ＨＭＤ１３０は、受信した自然特徴点ペアに関する情報に基づいてＡＲ共有処理を実行する。また、サーバ装置１２０は、自然特徴点ペアを決定することができない場合は、後述する誘導処理（Ｓ３０９）を実行する。これにより、ＨＭＤ１３０は、ＡＲ共有処理を実行することができるようになる。

図１０は、Ｓ３０１におけるＨＭＤ１３０の座標更新処理と、自然特徴点の蓄積処理との一例を示すフローチャートである。より具体的には、図１０の処理は、サーバ装置１２０が、ＡＲ共有を行うために、オフィス内のＨＭＤ１３０の座標を管理及び更新する処理と、オフィス内の自然特徴点の場所の情報を蓄積する処理とを示している。サーバ装置１２０は、ＡＲ共有を行うために、これらの２つの処理を併せて実行する。
まず、ＨＭＤ１３０の座標更新処理について説明する。
ネットワークカメラ１４０は、座標計算部３４３にてカメラ３４４の撮像画像を解析してＨＭＤ１３０の座標を計算し、通信処理部３４６にて図４（ａ）に示されるようなデータ形式でサーバ装置１２０へ送信する（Ｓ４０１）。ここでは、この送信データをネットワークカメラ１４０の定常データとする。この際、ネットワークカメラ１４０は、ＨＭＤ識別子（ｈｍｄ＿ｉｄ）、フロア識別子（ｆｌｏｏｒ＿ｉｄ）、ＨＭＤの座標値（ｃｏｏｒｄｉｎａｔｅ）及び時刻（ｔｉｍｅｓｔｅｍｐ）の値を設定したデータを送信する。

サーバ装置１２０は、通信処理部３０５にてネットワークカメラ１４０から受信した上記データを解析する。そして、サーバ装置１２０は、解析したデータをテーブル処理部３０４にてＨＭＤ１３０の座標管理テーブル（図３（ａ））と、自然特徴点の管理テーブル（図３（ｂ））とに書き出す（Ｓ４０２）。
サーバ装置１２０は、ＨＭＤ１３０の座標管理テーブル（図３（ａ））に、受信データに対応する情報を書き出す。より具体的には、サーバ装置１２０は、ＨＭＤ識別子（ｈｍｄ＿ｉｄ）、フロア識別子（ｆｌｏｏｒ＿ｉｄ）、ＨＭＤの座標値（ｃｏｏｒｄｉｎａｔｅ）及び時刻（ｔｉｍｅｓｔｅｍｐ）の値を書き出す。
一方、サーバ装置１２０は、受信データに含まれるフロア識別子（ｆｌｏｏｒ＿ｉｄ）と一致するフロア識別子を含む自然特徴点の管理テーブル（図３（ｂ））に、以下の値を書き出す。より具体的には、サーバ装置１２０は、ＨＭＤ識別子（ｈｍｄ＿ｉｄ）、ＨＭＤの座標値（ｃｏｏｒｄｉｎａｔｅ）及び時刻（ｔｉｍｅｓｔｅｍｐ）の値を書き出す。サーバ装置１２０は、自然特徴点の管理テーブルの同じ行に対しては、後述のＨＭＤ１３０の定常データからの値をマージする。

次に、自然特徴点の蓄積処理について説明する。
ＨＭＤ１３０は、自然特徴点処理部３２７にてＲＧＢカメラ３２８の撮像画像を画像処理し自然特徴点を抽出する（Ｓ４０３）。ここで、ユーザは、自然特徴点を使用したＡＲ表示を安定して実行することができる自然特徴点の数を、抽出した自然特徴点の数（以後、単に自然特徴点数という）の閾値として予め設定する。
ＨＭＤ１３０は、抽出した自然特徴点数が予め定められた閾値以上であるか否かを判断する（Ｓ４０４）。
ＨＭＤ１３０は、抽出した自然特徴点数が閾値より少ない場合、自然特徴点数のデータに無効値を設定してサーバ装置１２０に送信する（Ｓ４０５）。
ＨＭＤ１３０は、抽出した自然特徴点数が閾値以上の場合、通信処理部３２４にて自然特徴点数のデータと、加速度センサ３２５により計測されたＨＭＤ１３０の回転方向の値のデータとをサーバ装置１２０に送信する（Ｓ４０６）。この際、ＨＭＤ１３０は、図４（ｂ）に示されるデータ形式で上述のデータをサーバ装置１２０に送信する。ここでは、この送信データをＨＭＤ１３０の定常データとする。なお、ＨＭＤ１３０は、データとして、ＨＭＤ識別子（ｈｍｄ＿ｉｄ）、回転方向（ｒｏｔａｔｉｏｎ）、自然特徴点数（ｎｕｍ＿ｏｆ＿ｆｅａｔｕｒｅ＿ｐｏｉｎｔ）及び時刻（ｔｉｍｅｓｔａｍｐ）の値を設定したデータを送信する。
サーバ装置１２０は、Ｓ４０６でＨＭＤ１３０が送信したデータを受信する（Ｓ４０７）。

ここで、サーバ装置１２０が自然特徴点の管理テーブル（図３（ｂ））に追加で書き出す項目について説明する。
サーバ装置１２０は、受信データに含まれるＨＭＤ識別子（ｈｍｄ＿ｉｄ）と同じ値のＨＭＤ識別子（ｈｍｄ＿ｉｄ）を自然特徴点の管理テーブル（図３（ｂ））から検索する。そして、サーバ装置１２０は、時刻（ｔｉｍｅｓｔａｍｐ）が最近の行における、回転方向（ｒｏｔａｔｉｏｎ）及び自然特徴点数（ｎｕｍ＿ｏｆ＿ｆｅａｔｕｒｅ＿ｐｏｉｎｔ）の項目に対してデータを書き出す。即ち、サーバ装置１２０は、回転方向のデータと、自然特徴点数のデータとを座標と紐付けて自然特徴点の管理テーブルに保存する（Ｓ４０８）。
これより、サーバ装置１２０は、自然特徴点の管理テーブルを参照することで、オフィスフロア内のＨＭＤ１３０の座標と、回転方向とに対する抽出実績のある自然特徴点数のデータを蓄積することができる。更に、サーバ装置１２０は、それらを後述するＡＲ共有の誘導処理に使用することができる。

図１１は、ＡＲ共有の準備処理の一例を示すフローチャートである。
図１１の処理は、サーバ装置１２０が、ＡＲ共有を行うために必要な自然特徴点ペアを決定できるか否かを判断する処理である。サーバ装置１２０は、決定できた場合、自然特徴点ペアに関するデータをＨＭＤ１３０に送信し、決定できなかった場合、ＡＲ共有の誘導処理を実行する。
ＨＭＤ１３０は、ＡＲ表示の準備指示を受け付けた場合、ＡＲ表示の準備状態へ移行し、図８（ａ）に示される状態遷移通知をサーバ装置１２０に送信する（Ｓ５０１）。
ＨＭＤ１３０は、サーバ装置１２０からの返信を受信する。そして、ＨＭＤ１３０は、受信した返信から撮像画像のアップロード用のパスを取得する。更に、ＨＭＤ１３０は、図１２（ｂ）に示される自然特徴点ペア決定依頼のデータ（以後、単に自然特徴点ペア決定依頼という）と併せて、その時点での撮像画像をサーバ装置１２０に送信する（Ｓ５０２）。なお、図１２（ｂ）は、自然特徴点ペア決定依頼のデータ構成の一例を示す図である。図１２の詳細な説明については、後述する。

サーバ装置１２０は、自然特徴点ペア決定依頼を受信すると、自然特徴点管理部３０７にて、受信した撮影画像間でペアを対応付けられる自然特徴点があるか否かを判断する（Ｓ５０３）。より具体的には、サーバ装置１２０は、複数のＨＭＤ１３０から受信した撮影画像に対して、画像処理を行い、画像中の角や線の交わりがある画素を自然特徴点として抽出する。そして、サーバ装置１２０は、複数のＨＭＤ１３０の座標と、回転方向とを合わせて計算し、複数画像間で対応付けられる自然特徴点（画素）があるか否かを判断する。即ち、サーバ装置１２０は、前記計算した座標と、回転方向との値により、複数のＨＭＤ１３０が撮像した複数の画像間に同一の自然特徴点があるか否かを判定する。Ｓ５０３の処理のより詳細な説明については、図９の詳細な説明と共に後述する。
サーバ装置１２０は、Ｓ５０３で自然特徴点のペアの対応付けができた場合、それらを自然特徴点ペアとして図１２（ｃ）に示されるようなデータ形式でＨＭＤ１３０に送信する（Ｓ５０８）。なお、図１２（ｃ）は、自然特徴点ペアの決定通知に関する送受信データのデータ構成の一例を示す図である。
サーバ装置１２０は、Ｓ５０３で自然特徴点のペアの対応付けができなかった場合、自然特徴点の管理テーブルを走査し、少なくとも一方のＨＭＤ１３０の回転方向の変更で、閾値以上の自然特徴点数を得られる回転方向があるかを検索する（Ｓ５０４）。自然特徴点の管理テーブルの走査方法については、図３（ｂ）の詳細な説明と共に後述する。

サーバ装置１２０は、Ｓ５０４で検索できた場合、誘導依頼通知として検索結果の回転方向のデータを図１２（ｄ）に示されるようなデータ形式でＨＭＤ１３０に送信する（Ｓ５０７）。なお、図１２（ｄ）は、誘導情報（回転方向）の通知に関する送受信データのデータ構成の一例を示す図である。
サーバ装置１２０は、Ｓ５０４で検索できなかった場合、自然特徴点の管理テーブルを走査し、ＨＭＤ１３０の現在座標から一番近い座標で、予め定められた閾値以上の自然特徴点数を得ることができる座標と、回転方向とを検索する（Ｓ５０５）。なお、その際、サーバ装置１２０は、ネットワークカメラ１４０から受信した上述の動線情報や、障害物の配置情報等を含む環境情報に基づいて、障害物の多い位置を避けて前記検索を実行するようにしてもよい。これにより、サーバ装置１２０は、オフィス内の座席や、人通りの多い通路等を避けて安定してＡＲ共有することができる位置にＨＭＤ１３０を装着するユーザを誘導することができる。なお、サーバ装置１２０がネットワークカメラ１４０から環境情報を受信する処理は、環境情報受信処理の一例である。自然特徴点の管理テーブルの走査方法については、図３（ｂ）の詳細な説明と共に後述する。
サーバ装置１２０は、Ｓ５０５の処理を完了した後に、誘導依頼通知として検索結果の座標と、回転方向の値とのデータを図１２（ｅ）に示されるデータ形式でＨＭＤ１３０に送信する（Ｓ５０６）。なお、図１２（ｅ）は、誘導情報（座標）の通知に関する送受信データのデータ構成の一例を示す図である。
以上の処理により、サーバ装置１２０は、自然特徴点ペアを決定できない場合であっても、ＨＭＤ１３０を、自然特徴点ペアを決定することができる画像を撮像可能な位置（向きを含む）に誘導することができる。即ち、ＨＭＤ１３０は、サーバ装置１２０から受信した誘導依頼通知に基づいてＨＭＤ１３０を装着するユーザをＡＲ共有することができる位置に移動させる。これにより、ＨＭＤ１３０のユーザは、自身でＡＲ共有することができる位置を判断する必要がなくなる。

図１３は、ＡＲ共有の実行処理の一例を示すフローチャートである。
ＨＭＤ１３０は、サーバ装置１２０から自然特徴点ペアの決定通知を受信すると"ＡＲ共有の実行状態"に移行し、その旨をサーバ装置１２０に送信する（Ｓ６０１）。
ＨＭＤ１３０は、受信した自然特徴点ペアを使用し、打ち合わせ資料等のデジタルコンテンツの表示候補を決定し、図１４（ａ）に示されるように表示候補をＡＲ表示する（Ｓ６０２）。なお、図１４は、ＡＲ共有の実行状態において表示される画面構成の一例を示す図である。図１４の詳細な説明については、後述する。
ＨＭＤ１３０は、赤外カメラ３３０を介してユーザから表示候補の選択指示を受け付ける（Ｓ６０３）。

ＨＭＤ１３０は、選択位置にデジタルコンテンツをＡＲ表示する（Ｓ６０４）。この際、ＨＭＤ１３０は、受信した自然特徴点ペアを常に追従しながら、重畳するデジタルコンテンツの位置を計算し続け、ＡＲ表示を実現する。これにより、ユーザは、同位置にＡＲ表示されたコンテンツを使用することで、ＡＲを使用ながらも紙やホワイトボードの様な物理的な媒体を利用した場合のように、一体感のある打ち合わせを行うことができる。
サーバ装置１２０は、ＡＲ共有表示中のＨＭＤ１３０が互いに予め定められた規定の距離以上離れたか否かを判断する（Ｓ６０５）。
ＡＲ共有表示中のＨＭＤ１３０は、規定値以上の距離を離れたと判断された場合、デジタルコンテンツのＡＲ表示を終了する（Ｓ６０７）。
ＡＲ共有表示中のＨＭＤ１３０は、規定値以上の距離を離れていないと判断された場合、赤外カメラ３３０を介してユーザからの終了指示を受け付けると（Ｓ６０６）、デジタルコンテンツのＡＲ表示を終了する（Ｓ６０７）。一方、ＨＭＤ１３０は、ユーザからの終了指示を受け付けなければ、処理をＳ６０４に戻す。
以上の処理により、ＨＭＤ１３０は、サーバ装置１２０から受信した自然特徴点ペアに関するデータに基づいて、予め定められた距離以内にある複数のＨＭＤ１３０間でＡＲ共有を実行することができる。

図１５は、ＡＲ共有の誘導処理の一例を示すフローチャートである。
ＨＭＤ１３０は、サーバ装置１２０から誘導依頼通知を受信する（Ｓ７０１）。なお、Ｓ７０１の処理は、要求受信処理の一例である。
ＨＭＤ１３０は、"ＡＲ共有の誘導状態"に遷移し、その旨をサーバ装置に送信する。そして、ＨＭＤ１３０は、誘導依頼通知を解析し、回転方向の変更依頼であるか、座標の移動依頼であるかを判断する（Ｓ７０２）。ＨＭＤ１３０は、誘導依頼通知の内容によって、表示する誘導情報を切り替える。
ＨＭＤ１３０は、受信した誘導依頼通知が回転方向に対するものである場合、受信した回転方向への誘導情報を図１６（ａ）に示されるように透過型ディスプレイ３２６に表示する（Ｓ７０５）。なお、図１６（ａ）は、ＡＲ共有の誘導状態（回転方向の変更）の画面構成の一例を示す図である。図１６の詳細な説明については、後述する。

ＨＭＤ１３０は、誘導依頼通知にて指定された回転方向にユーザが向くまで誘導情報を表示する（Ｓ７０６）。そして、ＨＭＤ１３０は、ユーザが指定された回転方向を向くと、処理をＳ７０７に進める。一方、ＨＭＤ１３０は、ユーザが指定された回転方向を向かなければ、誘導情報を表示し続ける。
ＨＭＤ１３０は、ユーザが指定された回転方向を向いた時点で誘導情報の表示を終了する（Ｓ７０７）。
ＨＭＤ１３０は、受信した誘導依頼通知が座標に対するものである場合、オフィス内の指定座標への誘導情報を表示する（Ｓ７０３）。ＨＭＤ１３０は、移動先が視界内にある場合は、受信した座標までを図１７（ａ）に示されるように透過型ディスプレイ３２６に矢印で表示する。なお、図１７は、ＡＲ共有の誘導状態（座標の移動）の画面構成の一例を示す図である。図１７の詳細な説明については、後述する。
ＨＭＤ１３０は、移動先が視界内に無い場合は、移動先までの道順を図１７（ｂ）に示されるように透過型ディスプレイ３２６に俯瞰図にて表示する。ＨＭＤ１３０は、受信した誘導依頼通知にて指定された座標にユーザが移動するまで図１７に示される誘導情報を表示する（Ｓ７０４）。
ＨＭＤ１３０は、ユーザが指定された座標に移動した時点で図１６に示されるような回転方向への誘導情報に表示を切り替える（Ｓ７０５）。

ＨＭＤ１３０は、ユーザが誘導依頼通知にて指定された回転方向又は座標に移動した後に、ＡＲ表示の準備状態に移行し、その旨をサーバ装置１２０に送信する。ＨＭＤ１３０は、その返信を受けた後に自然特徴点ペア決定依頼として、その時点での撮像画像をサーバ装置１２０に送信する（Ｓ７０８）。
サーバ装置１２０は、自然特徴点ペア決定依頼を受信すると、撮影画像間でペアとして対応付けられる自然特徴点ペアを決定し、決定した自然特徴点ペアに関するデータをＨＭＤ１３０に返信する（Ｓ７０９）。
この後、ＨＭＤ１３０は、上述したＡＲ共有の表示処理（Ｓ３１０）に進む。
以上の処理により、ＨＭＤ１３０は、サーバ装置１２０から受信した誘導依頼通知に応じた誘導情報を表示することができる。即ち、サーバ装置１２０は、状況に応じて、ＡＲ共有することができる妥当な位置（向きを含む）にＨＭＤ１３０を誘導することができる。

以下、上述した図４、６、８、１２に示されるデータ構成について、より詳細に説明する。
まず、上述した図４に示されるＨＭＤ１３０の座標管理と、自然特徴点の蓄積処理とに関する送受信データのデータ構成について、より詳細に説明する。
データ９０１は、ＨＴＴＰ Ｈｅａｄｅｒ部９０２と、ＨＴＴＰ Ｂｏｄｙ部９０３とから構成される。データ９１１は、ＨＴＴＰ Ｈｅａｄｅｒ部９１２と、ＨＴＴＰ Ｂｏｄｙ部９１３とから構成される。データ９２１は、ＨＴＴＰ Ｈｅａｄｅｒ部９２２と、ＨＴＴＰ Ｂｏｄｙ部９２３とから構成される。
図４（ａ）は、ネットワークカメラ１４０からサーバ装置１２０へ送信されるＨＭＤ１３０の座標管理に使用されるデータであり、ネットワークカメラ１４０の定常データとされるデータである。
図４（ｂ）は、ＨＭＤ１３０からサーバ装置１２０へ送信される自然特徴点の蓄積処理に使用されるデータであり、ＨＭＤ１３０の定常データとされるデータである。
図４（ｃ）は、サーバ装置１２０からＨＭＤ１３０へ送信されるＡＲ共有の準備開始通知のデータであり、ＨＭＤ１３０の定常データ（図６（ｂ））に対する返信に使用されるデータである。

ＨＴＴＰ Ｈｅａｄｅｒ部９０２、９１２について説明する。ＨＴＴＰ Ｈｅａｄｅｒ部９０２、９１２は、図４（ａ）と、図４（ｂ）とで共通である。
ネットワークカメラ１４０は、ＨＴＴＰメソッドに"ＰＯＳＴ"を指定し、パスにサーバ装置側のプログラム（ＨＭＤ座標更新処理、又は、自然特徴点の蓄積処理を実行）（／ｈｍｄ／ｆｅａｔｕｒｅ＿ｐｏｉｎｔ／ａｄｄ）を指定する。ネットワークカメラ１４０は、Ｈｏｓｔにサーバ装置のＵＲＬ（ａｒ＿ｍｅｅｔｉｎｇ．ｓｅｃｔｉｏｎ．ｃｏｍ）を指定する。ネットワークカメラ１４０は、Ｃｏｎｔｅｎｔ−ＴｙｐｅにＢｏｄｙ部のデータ形式であるＪＳＯＮ（ａｐｐｌｉｃａｔｉｏｎ／ｊｓｏｎ）を指定する。

次に、図４（ａ）に示されるＨＭＤ１３０の座標更新処理のデータ構成のＨＴＴＰ Ｂｏｄｙ部９０３について説明する。
ＨＴＴＰ Ｂｏｄｙ部９０３は、ＪＳＯＮ形式で記載される。
ネットワークカメラ１４０は、ＨＭＤ識別子（ｈｍｄ＿ｉｄ）、フロア識別子（ｆｌｏｏｒ＿ｉｄ）、座標値（ｃｏｏｒｄｉｎａｔｅ）及び時刻（ｔｉｍｅｓｔａｍｐ）を指定する。ネットワークカメラ１４０は、ＨＭＤ識別子（ｈｍｄ＿ｉｄ）として、ネットワークカメラ１４０が座標計算中のＨＭＤ１３０のＩＤ（ｈｍｄ０００１３０）を指定する。ネットワークカメラ１４０は、フロア識別子（ｆｌｏｏｒ＿ｉｄ）として、ネットワークカメラ１４０が設置されているフロアのＩＤ（２０１）を指定する。ネットワークカメラ１４０は、座標値（ｃｏｏｒｄｉｎａｔｅ）として、ネットワークカメラ１４０が座標計算した（ｘ、ｙ、ｚ）の３軸情報を指定する。ネットワークカメラ１４０は、時刻（ｔｉｍｅｓｔａｍｐ）として、送信時刻（"２０１２−０９−０１Ｔ１１：１５：３０"）を指定する。

次に、図４（ｂ）に示される自然特徴点の蓄積処理のデータ構成のＨＴＴＰ Ｂｏｄｙ部９１３について説明する。
ＨＴＴＰ Ｂｏｄｙ部９１３は、ＪＳＯＮ形式で記載される。
ＨＭＤ１３０は、ＨＭＤ識別子（ｈｍｄ＿ｉｄ）、回転方向（ｒｏｔａｔｉｏｎ＿ｄｉｒｅｃｔｉｏｎ）、自然特徴点数（ｎｕｍ＿ｏｆ＿ｆｅａｔｕｒｅ＿ｐｏｉｎｔ）及び時刻（ｔｉｍｅｓｔａｍｐ）を指定する。ＨＭＤ１３０は、ＨＭＤ識別子（ｈｍｄ＿ｉｄ）として、送信元であるＨＭＤ１３０の識別子（ｈｍｄ０００１３０）を指定する。ＨＭＤ１３０は、回転方向（ｒｏｔａｔｉｏｎ＿ｄｉｒｅｃｔｉｏｎ）として、ＨＭＤ１３０の加速度センサ３２５が計測しメモリに格納された（Ｙａｗ、Ｒｏｌｌ、Ｐｉｔｃｈ）の３軸の回転方向を指定する。ＨＭＤ１３０は、自然特徴点数（ｎｕｍ＿ｏｆ＿ｆｅａｔｕｒｅ＿ｐｏｉｎｔ）として、ＲＧＢカメラ３２８の撮像画像に対して画像処理して抽出した自然特徴点数を指定する。ＨＭＤ１３０は、時刻（ｔｉｍｅｓｔａｍｐ）として、送信時刻（"２０１２−０９−０１Ｔ１１：１５：３０"）を指定する。

次に、図４（ｃ）に示されるＨＭＤ１３０へのＡＲ共有の準備開始通知のデータ構成について説明する。
まず、ＨＴＴＰ Ｈｅａｄｅｒ部９２２について説明する。
図４（ｃ）に示されるＡＲ共有の準備開始通知は、ＨＭＤ１３０の定常データ（図４（ｂ））に対する返信で使用されるため、サーバ装置１２０は、ＨＴＴＰ Ｈｅａｄｅｒ部９２２に返信結果としてＨＴＴＰのステータスコードを指定する。更に、サーバ装置１２０は、Ｂｏｄｙ部のデータ長（Ｃｏｎｔｅｎｔ−Ｌｅｎｇｔｈ）等を指定する。

次に、ＨＴＴＰ Ｂｏｄｙ部９２３について説明する。
ＨＴＴＰ Ｂｏｄｙ部９２３は、ＪＳＯＮ形式で記載される。
サーバ装置１２０は、サーバ装置のＨＭＤ定常データの受信に関する成功・失敗（ｓｕｃｃｅｓｓ）及びＡＲ共有の準備開始指示（ａｒ＿ｍｅｅｅｔｉｎｇ＿ｎｏｔｉｆｉｃａｔｉｏｎ）を指定する。サーバ装置１２０は、サーバ装置のＨＭＤ定常データの受信に関する成功・失敗（ｓｕｃｃｅｓｓ）として、成功時にはｔｒｕｅを、失敗時にはｆａｌｓｅを指定する。サーバ装置１２０は、ＡＲ共有の準備開始指示（ａｒ＿ｍｅｅｅｔｉｎｇ＿ｎｏｔｉｆｉｃａｔｉｏｎ）を、上述したＳ３０３と、Ｓ３０４とを満たす場合に指定する。

より具体的には、サーバ装置１２０は、ＡＲ共有の準備開始指示を、"ＡＲ共有許可"にあるＨＭＤ１３０が互いに予め定められた一定距離以内に近づいたことを検知した場合、かつ、ＨＭＤ１３０間に関連するデジタルコンテンツを検索した場合に指定する。
サーバ装置１２０は、それ以外のＨＭＤ１３０の定常データに対する返信には、ＡＲ共有の準備開始指示（ａｒ＿ｍｅｅｅｔｉｎｇ＿ｎｏｔｉｆｉｃａｔｉｏｎ）の属性を指定せず、成功・失敗（ｓｕｃｃｅｓｓ）のみを指定する。
サーバ装置１２０は、ＡＲ共有の準備開始指示（ａｒ＿ｍｅｅｅｔｉｎｇ＿ｎｏｔｉｆｉｃａｔｉｏｎ）には、ＨＭＤ１３０共有の識別子（ｓｈａｒｅ＿ｉｄ）を指定する。更に、サーバ装置１２０は、一定距離以下に近づいた相手のＨＭＤ１３０のＨＭＤ識別子（ｈｍｄ＿ｉｄ）及びその座標値（ｃｏｏｒｄｉｎａｔｅ）を指定する。

次に、上述した図６に示されるＨＭＤ１３０のモード変更通知に関するデータ構成について、より詳細に説明する。
ＨＭＤ１３０は、モード通知の設定として、図６（ａ）に示される許可と、図６（ｂ）に示される拒否との２つの設定を指定することができる。
まず、図６（ａ）に示される許可設定のモード通知と、図６（ｂ）に示される拒否設定のモード通知との共通部分について説明する。
データ８０１は、ＨＴＴＰ Ｈｅａｄｅｒ部８０２と、ＨＴＴＰ Ｂｏｄｙ部８０３とから構成される。
データ８１１は、ＨＴＴＰ Ｈｅａｄｅｒ部８１２と、ＨＴＴＰ Ｂｏｄｙ部８１３とから構成される。

以下、ＨＴＴＰ Ｈｅａｄｅｒ部８０２、８１２について説明する。
ＨＭＤ１３０は、ＨＴＴＰメソッドにＰＯＳＴを指定し、パスにサーバ装置１２０側のプログラム（ＨＭＤ１３０のモード変更を実行）（／ｈｍｄ／ｍｏｄｅ）を指定する。また、ＨＭＤ１３０は、Ｈｏｓｔにサーバ装置１２０のＵＲＬ（ａｒ＿ｍｅｅｔｉｎｇ．ｓｅｃｔｉｏｎ．ｃｏｍ）を指定する。更に、ＨＭＤ１３０は、Ｃｏｎｔｅｎｔ−ＴｙｐｅにＢｏｄｙ部のデータ形式であるＪＳＯＮ（ａｐｐｌｉｃａｔｉｏｎ／ｊｓｏｎ）を指定する。

次に、ＨＴＴＰ Ｂｏｄｙ部８０３、８１３について説明する。
ＨＴＴＰ Ｂｏｄｙ部８０３、８１３は、ＪＳＯＮ形式で記載される。
ＨＭＤ１３０は、ＨＭＤ識別子（ｈｍｄ＿ｉｄ）、変更するモード（ｍｏｄｅ）、ＡＲ共有する相手のＨＭＤ１３０のＨＭＤ識別子（ｅｎｔｒｙ）及び時刻（ｔｉｍｅｓｔａｍｐ）を指定する。
ＨＭＤ１３０は、ＨＭＤ識別子（ｈｍｄ＿ｉｄ）として送信元のＨＭＤ１３０の識別子（ｈｍｄ０００１３０）を指定する。また、ＨＭＤ１３０は、時刻（ｔｉｍｅｓｔａｍｐ）に送信時刻を設定する。図６に示される時刻フォーマット（"２０１２−０９−０１Ｔ１１：１５：３０"）は、ＩＳＯ８６０１を使用しているが、一意に年、月、日、時、分、秒を記述するフォーマットであればこれに限る必要はない。

次に、個別部分について説明する。ＨＭＤ１３０は、変更するモード（ｍｏｄｅ）に以下の値を指定する。
ＡＲ共有の許可モード（ａｃｃｅｐｔ＿ａｒ＿ｍｅｅｅｔｉｎｇ＿ｎｏｔｉｆｉｃａｔｉｏｎ）（図６（ａ））：ＨＭＤ１３０は、サーバ装置１２０からＡＲ共有の準備開始通知を受信する。
ＡＲ共有の拒否モード（ｒｅｊｅｃｔ＿ａｒ＿ｍｅｅｅｔｉｎｇ＿ｎｏｔｉｆｉｃａｔｉｏｎ）（図６（ｂ））：ＨＭＤ１３０は、サーバ装置１２０からＡＲ共有の準備開始通知を受信しない。

次に、上述した図８に示されるＨＭＤ１３０のＡＲ共有の状態遷移通知のデータ構成について、より詳細に説明する。
ＨＭＤ１３０は、ＡＲ共有の処理を進める際に必要な状態遷移を、ＡＲ共有の状態変更通知としてサーバ装置１２０に送信する。ＨＭＤ１３０が指定できる状態は、"ＡＲ共有の準備状態"（図８（ａ））、"ＡＲ共有の実行状態"（図８（ｂ））、"ＡＲ共有の誘導状態"（図８（ｃ））、"ＡＲ共有の終了通知"（図８（ｄ））の４つとする。
図８（ａ）のデータ１００１は、ＨＴＴＰ Ｈｅａｄｅｒ部１００２と、ＨＴＴＰ Ｂｏｄｙ部１００３とから構成される。
図８（ｂ）のデータ１０１１は、ＨＴＴＰ Ｈｅａｄｅｒ部１０１２と、ＨＴＴＰ Ｂｏｄｙ部１０１３とから構成される。
図８（ｃ）のデータ１０２１は、ＨＴＴＰ Ｈｅａｄｅｒ部１０２２と、ＨＴＴＰ Ｂｏｄｙ部１０２３とから構成される。
図８（ｄ）のデータ１０３１は、ＨＴＴＰ Ｈｅａｄｅｒ部１０３２と、ＨＴＴＰ Ｂｏｄｙ部１０３３とから構成される。

まず、ＨＴＴＰ Ｈｅａｄｅｒ部１００２、１０１２、１０２２、１０３２について説明する。
ＨＴＴＰ Ｈｅａｄｅｒ部１００２、１０１２、１０２２、１０３２は、図８（ａ）から図８（ｄ）までで共通とする。ＨＭＤ１３０は、ＨＴＴＰメソッドにＰＯＳＴを指定し、パスにサーバ装置１２０側のプログラム（ＡＲ共有の状態変更を実行）（／ｈｍｄ／ｓｔａｔｅ）を指定する。ＨＭＤ１３０は、Ｈｏｓｔにサーバ装置１２０のＵＲＬ（ａｒ＿ｍｅｅｔｉｎｇ．ｓｅｃｔｉｏｎ．ｃｏｍ）を指定する。ＨＭＤ１３０は、Ｃｏｎｔｅｎｔ−ＴｙｐｅにＢｏｄｙ部のデータ形式であるＪＳＯＮ（ａｐｐｌｉｃａｔｉｏｎ／ｊｓｏｎ）を指定する。

次に、ＨＴＴＰ Ｂｏｄｙ部について説明する。
ＨＴＴＰ Ｂｏｄｙ部は、ＪＳＯＮ形式で記載される。
ＨＭＤ１３０は、ＨＭＤ識別子（ｈｍｄ＿ｉｄ）、遷移する状態（ｓｔａｔｅ）、ペア識別子（ｐａｉｒｉｎｇ＿ｉｄ）及び時刻（ｔｉｍｅｓｔａｍｐ）を指定する。
ＨＭＤ１３０は、ＨＭＤ識別子（ｈｍｄ＿ｉｄ）として、送信者であるＨＭＤ１３０の識別子を指定する（ｈｍｄ０００１３０）。ＨＭＤ１３０は、ペア識別子（ｐａｉｒｉｎｇ＿ｉｄ）として、サーバ装置１２０から指定されたペア識別子（ｐ０００１）を指定する。ＨＭＤ１３０は、時刻（ｔｉｍｅｓｔａｍｐ）として、送信時刻を設定する。また、ＨＭＤ１３０は、遷移する状態（ｓｔａｔｅ）に以下の値を指定する。
ＡＲ共有の準備状態（ｐｒｅｐａｒｅ＿ａｒ＿ｍｅｅｅｔｉｎｇ）：図８（ａ）
ＡＲ共有の実行状態（ｅｘｅｃｕｔｉｎｇ＿ａｒ＿ｍｅｅｅｔｉｎｇ）：図８（ｂ）
ＡＲ共有の誘導状態（ｇｕｉｄｅ＿ａｒ＿ｍｅｅｅｔｉｎｇ）：図８（ｃ）
ＡＲ共有の終了通知（ｅｘｉｔ＿ａｒ＿ｍｅｅｅｔｉｎｇ）：図８（ｄ）

次に、上述した図１２に示される自然特徴点ペア決定に使用されるデータ構成について、より詳細に説明する。
サーバ装置１２０は、ＨＭＤ１３０の抽出中の撮影画像を使用し、ＡＲ共有に必要な自然特徴点ペアの決定を行う。説明するデータは５つあり、撮影画像のアップロード先の指定通知（図１２ａ）、自然特徴点ペアの決定依頼（図１２ｂ）、自然特徴点ペアの決定通知（図１２ｃ）、誘導情報の通知（回転方向）（図１２ｄ）及び誘導情報の通知（座標）（図１２ｅ）である。
データ１１０１は、ＨＴＴＰ Ｈｅａｄｅｒ部１１０２と、ＨＴＴＰ Ｂｏｄｙ部１１０３とから構成される。
データ１１１１は、ＨＴＴＰ Ｈｅａｄｅｒ部１１１２と、ＨＴＴＰ Ｂｏｄｙ部１１１３とから構成される。
データ１１２１は、ＨＴＴＰ Ｈｅａｄｅｒ部１１２２と、ＨＴＴＰ Ｂｏｄｙ部１１２３とから構成される。
データ１１３１は、ＨＴＴＰ Ｈｅａｄｅｒ部１１３２と、ＨＴＴＰ Ｂｏｄｙ部１１３３とから構成される。
データ１１４１は、ＨＴＴＰ Ｈｅａｄｅｒ部１１４２と、ＨＴＴＰ Ｂｏｄｙ部１１４３とから構成される。

図１２（ａ）は、サーバ装置１２０からＨＭＤ１３０に送信される撮影画像のアップロード先の指定情報のデータ構成である。サーバ装置１２０は、ＡＲ共有するＨＭＤ１３０は毎回異なる可能性があるため、ＡＲ共有の準備処理において撮影画像のアップロード先をＨＭＤ１３０に通知する。より具体的には、サーバ装置１２０は、ＨＭＤ１３０から受信したサーバ装置１２０に対する状態遷移通知（ＡＲ共有の準備状態）に対する返信にアップロード先の情報を付加する。
サーバ装置１２０は、撮影画像のアップロード先の指定通知（図１２（ａ））のＨＴＴＰ Ｈｅａｄｅｒ部１１０２に、返信結果としてＨＴＴＰのステータスコードを指定する。サーバ装置１２０は、その他にＢｏｄｙ部のデータ長（Ｃｏｎｔｅｎｔ−Ｌｅｎｇｔｈ）等を指定する。

ＨＴＴＰ Ｂｏｄｙ部１１０３について説明する。
Ｂｏｄｙ部はＪＳＯＮ形式で記載される。
サーバ装置１２０は、サーバ装置１２０の状態遷移通知の受信に関する成功・失敗（ｓｕｃｃｅｓｓ）及び撮影画像のアップロード関連の情報（ｕｐｌｏａｄ＿ｈｅａｄｅｒ）を指定する。なお、撮影画像のアップロード関連の情報は、アップロードを実行するプログラムのパス（ｕｐｌｏａｄ＿ｕｒｌ）、アップロードデータのフォーマット（Ｃｏｎｔｅｎｔ−Ｔｙｐｅ）及びアップロードファイル名（Ｆｉｌｅ＿Ｎａｍｅ）である。

サーバ装置１２０は、状態遷移通知の受信に関する成功・失敗（ｓｕｃｃｅｓｓ）に対して、成功時にはｔｒｕｅ、失敗時にはｆａｌｓｅの値を指定する。
サーバ装置１２０は、撮影画像のアップロード関連の情報（ｕｐｌｏａｄ＿ｈｅａｄｅｒ）におけるアップロードを実行するプログラムのパス（ｕｐｌｏａｄ＿ｕｒｌ）として例えば以下のＵＲＬを指定する。
（ｈｔｔｐ：／／ａｒ＿ｍｅｅｔｉｎｇ．ｓｅｃｔｉｏｎ．ｃｏｍ／ｘｘｘ／ｐａｒｅ／ｐ００００１／ｄｅｃｉｓｉｎ）
サーバ装置１２０は、アップロードデータのフォーマット（Ｃｏｎｔｅｎｔ−Ｔｙｐｅ）として、アップロードに対応しているＪＰＥＧ等の画像フォーマット（ｉｍａｇｅ／ｊｐｅｇ）を指定する。
サーバ装置１２０は、アップロードファイル名（Ｆｉｌｅ＿Ｎａｍｅ）として、サーバ装置１２０がアップロード後に管理するファイル名（ｈｍｄ０００１３０＿０１．ｊｐｇ）を指定する。

図１２（ｂ）は、ＨＭＤ１３０がサーバ装置１２０に送信する自然特徴点ペアの決定依頼のデータ構成である。
ＨＭＤ１３０は、サーバ装置１２０から受信した撮影画像のアップロード先の指定情報に従い、自然特徴点ペアの決定依頼として、撮影画像を指定してサーバ装置１２０へ送信する（Ｓ５０２）。
ＨＴＴＰ Ｈｅａｄｅｒ部１１１２について説明する。
ＨＭＤ１３０は、ＨＴＴＰメソッドにＰＯＳＴを指定する。また、ＨＭＤ１３０は、パスにサーバ装置１２０側のプログラム（撮影画像のアップロードを実行）のパス（ｈｔｔｐ：／／ａｒ＿ｍｅｅｔｉｎｇ．ｓｅｃｔｉｏｎ．ｃｏｍ／ｘｘｘ／ｐａｒｅ／ｐ００００１／ｄｅｃｉｓｉｎ）を指定する。ＨＭＤ１３０は、アップロードデータのフォーマット（Ｃｏｎｔｅｎｔ−Ｔｙｐｅ）として、サーバ装置１２０から指定されたＪＰＥＧ等の画像フォーマット（ｉｍａｇｅ／ｊｐｅｇ）を指定する。ＨＭＤ１３０は、アップロードファイル名（Ｆｉｌｅ＿Ｎａｍｅ）として、サーバ装置１２０から指定されたファイル名（ｈｍｄ０００１３０＿０１．ｊｐｇ）を指定する。

ＨＴＴＰ Ｂｏｄｙ部１１１３には、撮影画像の情報が格納されている。
自然特徴点ペアの決定通知（図１２（ｃ））、誘導情報の通知（回転方向）（図１２（ｄ））及び誘導情報の通知（座標）（図１２（ｅ））について説明する。
自然特徴点ペアの決定通知（図１２（ｃ））、誘導情報の通知（回転方向）（図１２（ｄ））及び誘導情報の通知（座標）（図１２（ｅ））は、自然特徴点ペアの決定依頼（図１２（ｂ））に対するサーバ装置１２０からの返信に関する情報で構成される。
ＨＴＴＰ Ｈｅａｄｅｒ部１１２２、１１３２、１１４２は、自然特徴点ペアの決定通知（図１２（ｃ））、誘導情報の通知（回転方向）（図１２（ｄ））及び誘導情報の通知（座標）（図１２（ｅ））で共通である。
サーバ装置１２０は、ＨＴＴＰ Ｈｅａｄｅｒ部には、返信結果としてＨＴＴＰのステータスコードを指定する。サーバ装置１２０は、その他にＢｏｄｙ部のデータ長（Ｃｏｎｔｅｎｔ−Ｌｅｎｇｔｈ）等を指定する。

ＨＴＴＰ Ｂｏｄｙ部１１３３、１１４３について説明する。
ＨＴＴＰ Ｂｏｄｙ部は、ＪＳＯＮ形式で記載される。
サーバ装置１２０は、サーバ装置１２０の自然特徴点ペアの決定処理に関する成功・失敗（ｓｕｃｃｅｓｓ）と、自然特徴点ペアの情報（ｆｅａｔｕｒｅ＿ｐｏｉｎｔ＿ｐｅａｒ）又は誘導情報（ｇｕｉｄｅ＿ａｒ＿ｍｅｅｔｉｎｇ）を指定する。サーバ装置１２０は、自然特徴点ペアの決定処理が成功した場合には、自然特徴点ペアの情報（ｆｅａｔｕｒｅ＿ｐｏｉｎｔ＿ｐｅａｒ）（図１２（ｃ））を指定する。一方、サーバ装置１２０は、失敗した場合には、誘導情報（ｇｕｉｄｅ＿ａｒ＿ｍｅｅｔｉｎｇ）（図１２（ｄ）、図１２（ｅ））を指定する。

サーバ装置１２０は、図１２（ｃ）の自然特徴点ペアの決定通知の自然特徴点ペアの情報（ｆｅａｔｕｒｅ＿ｐｏｉｎｔ＿ｐｅａｒ）には、撮影画像における自然特徴点ペアの座標（Ｃｏｏｄｉｎａｔｅ）をＸＹ座標で指定する。
サーバ装置１２０は、図１２（ｄ）及び図１２（ｅ）の誘導情報の通知の誘導情報（ｇｕｉｄｅ＿ａｒ＿ｍｅｅｔｉｎｇ）には、誘導先の回転情報（ｒｏｔａｔｉｏｎ）又は座標（ｃｏｏｒｄｉｎａｔｅ）を指定する。サーバ装置１２０は、回転情報に対する誘導依頼通知（Ｓ５０７）では、誘導情報（ｇｕｉｄｅ＿ａｒ＿ｍｅｅｔｉｎｇ）に回転情報（ｒｏｔａｔｉｏｎ）のみを指定する（図１２（ｄ））。サーバ装置１２０は、座標に対する誘導依頼通知（Ｓ５０８）では、誘導情報（ｇｕｉｄｅ＿ａｒ＿ｍｅｅｔｉｎｇ）に回転情報（ｒｏｔａｔｉｏｎ）と、座標（ｃｏｏｒｄｉｎａｔｅ）とを指定する（図１２（ｅ））。

以下、上述した図３、９に示されるデータテーブルについて、より詳細に説明する。
まず、上述した図３に示される管理テーブルについて、より詳細に説明する。
サーバ装置１２０は、ＨＭＤ１３０の座標管理テーブル（図３（ａ））と、自然特徴点の管理テーブル（図３（ｂ））とを管理している。
図３（ａ）に示されるＨＭＤ１３０の座標管理テーブル１２０１について説明する。この管理テーブルは、サーバ装置１２０がＨＭＤ１３０の座標と、モードとを管理するために使用するテーブルデータである。
ＨＭＤ１３０の座標管理テーブル１２０１は、ＨＭＤ識別子１２０２、モード１２０３、フロア識別子１２０４、座標１２０５及び時刻１２０６の情報を含む。
サーバ装置１２０は、ネットワークカメラ１４０から受信した定常データ（図４（ａ））と、ＨＭＤ１３０から受信したモード変更通知（図６）とを解析し、座標管理テーブルに書き出す。
より具体的には、サーバ装置１２０は、通信処理部３０５にて、ネットワークカメラ１４０から受信した定常データ（図４（ａ））を解析する。そして、サーバ装置１２０は、ＨＭＤ識別子１２０２、フロア識別子１２０４、座標１２０５及び時刻１２０６の値を、テーブル処理部３０４を介して管理テーブル（図３（ａ））に書き出す。

サーバ装置１２０は、ＨＭＤ識別子（ｈｍｄ＿ｉｄ：１２０２）として、受信データのＨＭＤ１３０の識別子（９０３のｈｍｄ＿ｉｄ：ｈｍｄ０００１３０）を書き出す。サーバ装置１２０は、フロア識別子（ｆｌｏｏｒ＿ｉｄ：１２０４）として、受信データのフロア識別子（９０３のｆｌｏｏｒ＿ｉｄ：２０１）を書き出す。サーバ装置１２０は、ＨＭＤの座標（ｃｏｏｒｄｉｎａｔｅ：１２０５）として、受信データの座標値（９０３のｃｏｏｒｄｉｎａｔｅ）の三軸座標（ｘ、ｙ、ｚ）を書き出す。サーバ装置１２０は、時刻（ｔｉｍｅｓｔａｍｐ：１２０６）として、受信データの時刻（９０３のｔｉｍｅｓｔａｍｐ：２０１２−０９−０１Ｔ１１：１５：３０）を書き出す。
サーバ装置１２０は、モード（ｍｏｄｅ：１２０３）の項目に対する書き出しにおいては、以下の処理を実行する。サーバ装置１２０は、通信処理部３０５にて、ＨＭＤ１３０から受信したモード変更通知（図６）を解析する。そして、サーバ装置１２０は、受信データのＨＭＤ識別子（９１３のｈｍｄ＿ｉｄ）と同じ識別子を座標管理テーブル１２０１から検索する。更に、サーバ装置１２０は、検索したその行に、受信データのモード（８０３、８１３のｍｏｄｅ）値から、許可（ａｃｃｅｐｔ）又は拒否（ｒｅｊｅｃｔ）を書き出す。サーバ装置１２０は、モード（ｍｏｄｅ：１２０３）の値として、次のモード通知を受信するまでその値を維持する。
以上より、サーバ装置１２０は、ＨＭＤ１３０の座標管理テーブル（図３（ａ））を使用し、オフィスフロア内のＨＭＤ１３０の座標を把握する。そして、サーバ装置１２０は、"ＡＲ共有の許可"モードにあるＨＭＤ１３０のうち、予め定められた一定距離以下になった複数のＨＭＤ１３０を検知することができる（Ｓ３０３）。

図３（ｂ）に示される自然特徴点の管理テーブル１２１１について説明する。このテーブルは、オフィスのフロア毎に自然特徴点数に関する情報（画像が撮像された座標及び回転方向の値を含む）を蓄積する処理（図１０）と、誘導処理おける誘導先の決定処理（Ｓ５０４、Ｓ５０５）とにおいて使用されるテーブルである。
自然特徴点の管理テーブル１２１１は、自然特徴点数１２１４、自然特徴点を抽出したＨＭＤの座標１２１２、ＨＭＤの回転方向１２１３、ＨＭＤ識別子１２１５及び時刻１２１６の情報から構成する。サーバ装置１２０は、これらをフロア識別子毎に分けて蓄積する。ここでは、サーバ装置１２０は、フロア識別子２０１、２０２、２０３として管理テーブル１２１１、１２２１、１２３１を管理する。なお、自然特徴点数１２１４の情報は、自然特徴点数情報の一例である。また、ＨＭＤの座標１２１２と、ＨＭＤの回転方向１２１３との情報は、画像の撮像条件に関する撮像条件情報の一例である。
サーバ装置１２０は、これらの項目に、ネットワークカメラ１４０から受信した定常データ（図４（ａ））と、ＨＭＤ１３０から受信した定常データ（図４（ｂ））とを解析して格納する。

サーバ装置１２０は、これらの項目のうち、ＨＭＤ識別子１２０２、座標１２０５、時刻１２０６に対しては、通信処理部３０５がネットワークカメラ１４０から受信した定常データ（図４（ａ））を解析し、テーブル処理部３０４を介して書き出す。
より具体的には、サーバ装置１２０は、通信処理部３０５にてネットワークカメラ１４０から受信した定常データ（図４（ａ））を解析し、受信したフロア識別子（９０３のｆｌｏｏｒ＿ｉｄ）を判断する。そして、サーバ装置１２０は、それに対応する管理テーブル１２１１のＨＭＤ識別子１２１５、座標１２１２、時刻１２１６の値を、テーブル処理部３０４を介して管理テーブル（図３（ｂ））に書き出す。
サーバ装置１２０は、ＨＭＤ識別子（ｈｍｄ＿ｉｄ：１２１５）として、受信データにおけるＨＭＤ１３０の識別子（９０３のｈｍｄ＿ｉｄ、ｈｍｄ０００１３０）を書き出す。サーバ装置１２０は、ＨＭＤの座標（ｃｏｏｒｄｉｎａｔｅ：１２０５）として、受信データの座標値（９０３のｃｏｏｒｄｉｎａｔｅ）の三軸座標（ｘ、ｙ、ｚ）を書き出す。サーバ装置１２０は、時刻（ｔｉｍｅｓｔａｍｐ、１２１６）として、受信データの時刻（９０３のｔｉｍｅｓｔａｍｐ、２０１２−０９−０１Ｔ１１：１５：３０）を書き出す。

サーバ装置１２０は、他の項目の自然特徴点数（１２１４）及び回転方向（１２１３）に関しては、通信処理部３０５にてＨＭＤ１３０から受信した定常データ（図４（ｂ））を解析する。そして、サーバ装置１２０は、受信データのＨＭＤ識別子（９１３のｈｍｄ＿ｉｄ）と同じ識別子を管理テーブルのＨＭＤ識別子１２１５から検索する。更に、サーバ装置１２０は、受信データの時刻（９１３のｔｉｍｅｓｔａｍｐ）と最も誤差の小さい管理テーブルの時刻（１２１６）を検索する。そして、サーバ装置１２０は、その行に、受信データの自然特徴点数（９１３のｎｕｍ＿ｏｆ＿ｆｅａｔｕｒｅ＿ｐｏｉｎｔ）を管理テーブルの自然特徴点数１２１４に格納する。また、サーバ装置１２０は、受信データの回転方向（９１３のｒｏｔａｔｉｏｎ）を管理テーブルの回転方向１２１３に書き出す。更に、サーバ装置１２０は、受信データの自然特徴点数（９１３のｎｕｍ＿ｏｆ＿ｆｅａｔｕｒｅ＿ｐｏｉｎｔ）に無効値が入っている場合は、管理テーブルの自然特徴点数１２１４に無効値（−）を書き出す。

以上より、サーバ装置１２０は、自然特徴点の管理テーブル（図３（ｂ））を使用し、オフィスフロア内の有効な自然特徴点の位置と、回転方向とを検索することができる（Ｓ５０４、Ｓ５０５）。
サーバ装置１２０は、ＨＭＤ１３０が現在位置において回転方向のみを変更し、取得可能な自然特徴点があるかを検索する場合（Ｓ５０４）、以下の処理を実行する。
サーバ装置１２０は、ＨＭＤ１３０から通知されたＨＭＤ１３０の現在座標が、管理テーブル上の座標（１２１２：Ｃｏｏｒｄｉｎａｔｅ）に一致し、かつ、自然特徴点数が予め定められた閾値以上のものを検索する。サーバ装置１２０は、Ｓ５０４で検索できた場合、その行にある回転方向（１２１３：ｒｏｔａｔｉｏｎ）の値を、回転方向に対する誘導情報（１１３１のｒｏｔａｔｉｏｎ＿ｄｉｒｅｃｔｉｏｎ）に設定し、ＨＭＤに送信する（Ｓ５０７）。

サーバ装置１２０は、Ｓ５０４で検索できなかった場合、ＨＭＤ１３０の現在位置に近い順で取得可能な自然特徴点を検索する（Ｓ５０５）。この処理は、サーバ装置１２０が、ＨＭＤ１３０から通知されたＨＭＤ１３０の現在座標から、管理テーブル上の座標（１２１２：Ｃｏｏｒｄｉｎａｔｅ）に最も近い、自然特徴点数が閾値以上のものを検索する処理である。サーバ装置１２０は、検索終了後、同行にある座標（１２１２：ｃｏｏｒｄｉｎａｔｅ）と、回転方向（１２１３：ｒｏｔａｔｉｏｎ）との値を座標に対する誘導情報（１１４１のｒｏｔａｔｉｏｎ＿ｄｉｒｅｃｔｉｏｎとｃｏｏｒｄｉｎａｔｅ）に設定する。そして、サーバ装置１２０は、前記誘導情報をＨＭＤに送信する（Ｓ５０６）。

次に、上述した図９に示されるＡＲ共有の管理テーブルのデータ構成について、より詳細に説明する。
ＡＲ共有の管理テーブルとは、サーバ装置１２０が自然特徴点ペアの決定又は誘導先の決定を行う場合に使用するテーブルデータである。
サーバ装置１２０は、ＨＭＤ１３０よりＡＲ共有の準備状態への移行通知（Ｓ５０１）を受信した場合に、ＡＲ共有の識別子（ｓｈａｒｅ＿ｉｄ：ｓ０００１等）を付与し、図９のようなＡＲ共有の管理テーブルをメモリ３０２に展開する。サーバ装置１２０は、ＡＲ共有の終了通知を受信すると、メモリ３０２上のＡＲ共有の管理テーブルを解放し、動的に使用する。

ＡＲ共有の管理テーブルの項目について説明する。
ＡＲ共有の識別子は、複数のＨＭＤ１３０で実行するＡＲ共有を一意に識別するための識別子である。また、サーバ装置１２０は、ＡＲ共有の管理テーブル１３０１、１３０２、１３０３も、同識別子にて識別する。サーバ装置１２０は、ＡＲ共有の管理テーブルを、ＨＭＤ１３０にＡＲ共有の準備開始指示を送信する際（Ｓ３０５）に作成し、ＡＲ共有の識別子を割り振る。
ＡＲ共有の管理テーブルは、ＡＲ共有するＨＭＤ識別子（ｈｍｄ＿ｉｄ）１３０４と、ＨＭＤの状態（ｓｔａｔｕｓ）１３０５と、時刻（ｔｉｍｅｓｔａｍｐ）１３０６とから構成される。
サーバ装置１２０は、ＨＭＤ１３０から受信した状態遷移通知（図１２）に応じて、ＨＭＤ１３０のＡＲ共有状態（ｓｔａｔｕｓ）１３０５を更新する。サーバ装置１２０は、ＡＲ共有状態（ｓｔａｔｕｓ）１３０５に、状態遷移通知（図１２）に応じて、以下の４つの値を格納する。サーバ装置１２０がＡＲ共有状態（ｓｔａｔｕｓ）１３０５に格納する値は、ｐｒｅｐａｒｅ（ＡＲ共有の準備状態）、ｅｘｃｅｃｕｔｅ（ＡＲ共有の実行状態）、ｇｕｉｄｅ（ＡＲ共有の誘導状態）及びｅｘｉｔ（ＡＲ共有の終了通知）の４つである。

また、サーバ装置１２０は、ＨＭＤ識別子１３０４に応じて、撮影画像１３１４、１３２４と、回転方向１３１３、１３２３と、座標１３１２、１３２２とをＡＲ共有の管理テーブル１３１１、１３２１に紐付ける。撮影画像１３１４、１３２４は、サーバ装置１２０がＨＭＤ１３０から自然特徴点ペアの決定依頼として受信して保存した画像である（Ｓ５０２、図１２（ｂ））。
サーバ装置１２０は、ＡＲ共有の管理テーブルから引き出した複数のＨＭＤ１３０の撮影画像１３１５、１３２５に対して、画像処理を行い、画像中の角や線の交わりがある画素を自然特徴点として抽出する。そして、サーバ装置１２０は、ＨＭＤ１３０の座標１３１２、１３２２と、回転方向１３１３、１３２３とを合わせて計算し、複数画像間で対応付けられる自然特徴点（画素）を自然特徴点ペア１３１６、１３２６として決定する（Ｓ５０３）。
サーバ装置１２０は、決定した自然特徴点ペアの情報を撮像画像に対する２次元座標（１１２３のｃｏｏｒｄｉｎａｔｅ）として自然特徴点ペア決定通知（図１２（ｃ））に格納しＨＭＤ１３０に送信する。
ＨＭＤ１３０は、受信した自然特徴点ペア（対応付けられた画素）を常に追従しながら、重畳するデジタルコンテンツの位置を正確に計算し続け、図１３に示されるようなＡＲ共有の実行処理を実現する。

以下、上述した図７、１４、１６、１７に示される画面構成について、より詳細に説明する
まず、上述した図７に示されるＡＲ共有の準備状態において表示されるＨＭＤ１３０の画面構成について、より詳細に説明する。
サーバ装置１２０は、互いに予め定められた一定距離以下に近づいたＨＭＤ１３０を検知し（Ｓ３０３）、ＨＭＤ１３０間に関連する情報を検索する（Ｓ３０４）。その際に、ＨＭＤ１３０は、サーバ装置１２０から関連情報有りの旨を受信した場合に図７に示される画面を表示する。
このとき、ＨＭＤ１３０は、図７に示されるように透過型ディスプレイ３２６に、関連するデジタルコンテンツ有りの情報として、ＡＲ表示の開始指示を示すアイコン１４０１を表示する。
ＨＭＤ１３０は、ＡＲ表示の開始指示を示すアイコン１４０１を、ＡＲ共有する相手（他のＨＭＤ１３０）の名前や所属部門等を示す表示情報１４０２の付近に表示する。ＨＭＤ１３０は、ＡＲ表示の開始指示を示すアイコン１４０１における選択指示を受け付けた場合（Ｓ３０５）、"ＡＲ共有の準備状態"に移行し、サーバ装置１２０にモード変更通知を送信する（Ｓ５０１）。
ＨＭＤ１３０は、その他の情報として時間やスケジュール情報１４０３、現在の位置情報１４０４等を透過型ディスプレイ３２６に表示することができる。

次に、上述した図１４に示されるＡＲ共有の実行状態において表示されるＨＭＤ１３０の画面構成について、より詳細に説明する。
ＨＭＤ１３０は、サーバ装置１２０から自然特徴点ペアに関する情報を受信すると、"ＡＲ共有の実行表示"に移行し、デジタルコンテンツのＡＲ表示を行う（Ｓ６０１）際に図１４に示される画面を透過型ディスプレイ３２６に表示する。
ＨＭＤ１３０は、受信した自然特徴点ペアを使用してデジタルコンテンツの表示候補を決定し、表示候補１７１１、１７１２、１７１３をＡＲ表示する。
ＨＭＤ１３０は、赤外カメラ３３０を介してユーザから表示候補の選択指示を受け付け（Ｓ６０３）、選択位置にデジタルコンテンツ１７０１をＡＲとして共有表示する（Ｓ６０４）。
ＡＲ共有表示中のＨＭＤ１３０は、他のＨＭＤ１３０に対して予め定められた規定値以上の距離を離れた場合（Ｓ６０５）又はユーザからの終了指示を受け付けた場合（Ｓ６０６）、デジタルコンテンツ１７０１のＡＲ表示を終了する（Ｓ６０７）。
次に、上述した図１６に示されるＡＲ共有の誘導状態（回転方向）において表示されるＨＭＤ１３０の画面構成について、より詳細に説明する。
ＨＭＤ１３０は、サーバ装置１２０から誘導依頼通知を受信（Ｓ５０７、Ｓ７０１）し、受信した誘導依頼通知が回転方向に対する内容であると判別（Ｓ７０２）し、"ＡＲ共有の誘導状態"に移行した場合に図１６に示される画面を表示する。
ここで、図１６（ａ）は、ＨＭＤ１３０が誘導を開始する際に透過型ディスプレイ３２６に表示する画面である。一方、図１６（ｂ）は、ＨＭＤ１３０が誘導終了時に透過型ディスプレイ３２６に表示する画面である。
ＨＭＤ１３０は、誘導を開始する際に透過型ディスプレイ３２６に中心領域１５０１と、回転方向を示す誘導情報（矢印）１５０２とを表示する。中心領域１５０１は、ユーザの回転方向への向き合わせを支援するガイド幅である。回転方向を示す誘導情報（矢印）１５０２は、例えば矢印でＨＭＤ１３０に向くべき方向を示す矢印である。ＨＭＤ１３０は、誘導を開始する際に、その他の表示情報１４０２、１４０３、１４０４を、中心領域１５０１と、回転方向を示す誘導情報（矢印）１５０２とに干渉しない表示位置に移動させる。
ＨＭＤ１３０は、ＨＭＤ１３０を装着したユーザが頭の向きを変更させ、透過型ディスプレイ３２６の中心領域１５０１に、サーバ装置１２０から指示された回転方向に合った画像が含まれると、中心領域１５０３を点灯させる。そして、ＨＭＤ１３０は、誘導情報の表示を終了する（Ｓ７０７）。

次に、上述した図１７に示されるＡＲ共有の誘導状態（座標）において表示されるＨＭＤ１３０の画面構成について、より詳細に説明する。
ＨＭＤ１３０は、サーバ装置１２０から誘導依頼通知を受信（Ｓ５０６、Ｓ７０１）し、受信した誘導依頼通知が座標に対する内容であると判別（Ｓ７０２）し、"ＡＲ共有の誘導状態"に移行した場合に図１７に示される画面を表示する。
ＨＭＤ１３０は、移動先によって、図１７（ａ）や図１７（ｂ）に示されるように透過型ディスプレイ３２６に表示する画面構成を変更する。
ＨＭＤ１３０は、移動先が視界に既にある場合は、透過型ディスプレイ３２６に図１７（ａ）に示されるような画面を表示する。ＨＭＤ１３０は、移動方向を矢印１６０１で、サーバ装置１２０から指定された座標を矩形１６０２等で表示する。ＨＭＤ１３０は、ＨＭＤ１３０を装着したユーザが矢印１６０１の先まで移動すると（Ｓ７０４）、図１６（ａ）に示されるような回転方向への誘導情報の表示に切り替える（Ｓ７０５）。
ＨＭＤ１３０は、移動先が視界に無い場合は、透過型ディスプレイ３２６に図１７（ｂ）に示される画面を表示する。この場合、ＨＭＤ１３０は、視界に誘導先が入る位置までＨＭＤ１３０を装着したユーザを誘導する必要があるため、オフィスのレイアウト図の強調１６１２、誘導先への矢印１６１１を表示する。ＨＭＤ１３０は、視界に誘導先が入る位置まで移動すると、図１７（ａ）に示される画面を透過型ディスプレイ３２６に表示する。

以上、本実施形態によれば、サーバ装置１２０は、ＨＭＤ１３０から受信した画像から自然特徴点を抽出し、抽出した特徴点を特徴点ペアとして関連付けられるか否か判断する。そして、サーバ装置１２０は、特徴点ペアとして関連付けられると判断した場合、前記特徴点ペアに関する情報をＨＭＤ１３０に送信する。これにより、ＨＭＤ１３０は、受信した自然特徴点ペアの情報に基づいてＡＲ共有を実行する。
一方、サーバ装置１２０は、特徴点ペアとして関連付けることができないと判断した場合、管理している自然特徴点管理テーブル（図３（b））に基づいて、ＨＭＤ１３０を装着しているユーザをＡＲ共有することができる位置に誘導する。より具体的には、サーバ装置１２０は、複数のＨＭＤ１３０（例えば第１のＨＭＤと、第２のＨＭＤとする）が撮像する画像から抽出した自然特徴点から自然特徴点ペアを決定することができる位置に第１のＨＭＤと、第２のＨＭＤとを誘導する。その際、サーバ装置１２０は、ＨＭＤに誘導依頼通知を送信する。そして、ＨＭＤは、誘導情報を画面に表示し、サーバ装置１２０が指定する位置にユーザを誘導する。これにより、サーバ装置１２０は、ＨＭＤ１３０を装着しているユーザが自然特徴点ペアを得ることができない位置にいる場合においても、ＡＲ共有することができる位置にユーザを誘導することができる。なお、第１のＨＭＤは、第１の携帯端末装置の一例である。また、第１のＨＭＤが撮像した画像は、第１の画像の一例である。同様に、第２のＨＭＤは、第２の携帯端末装置の一例である。また、第２のＨＭＤが撮像した画像は、第２の画像の一例である。

＜その他の実施形態＞
また、本実施形態は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、デジタルコンテンツ等のデータを異なる端末（例えばＨＭＤ１３０）の表示部にＡＲ表示をする際に、ユーザを誘導することにより、ユーザ自身が自然特徴点を十分に得られる場所を判断する必要がなくなる。即ち、ＨＭＤ１３０を装着したユーザが妥当な量の自然特徴点を得ることができる場所を判断しなければいけない手間を軽減することができる。

以上、本発明の好ましい形態について詳述したが、本実施形態は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

Claims (13)

1. 第１の携帯端末装置により撮像された第１の画像と、第２の携帯端末装置により撮像された第２の画像とを受信する受信手段と、
   前記受信手段により受信された第１の画像と、第２の画像との夫々の画像から複数の特徴点を抽出する抽出手段と、
   前記抽出手段により第１の画像から抽出された複数の特徴点と、第２の画像から抽出された複数の特徴点とのうち、同一の特徴点を示す特徴点のペアである特徴点ペアとして対応付けられる特徴点があるか否かを判断する判断手段と、
   前記判断手段により対応付けられる特徴点がないと判断された場合、特徴点ペアとして対応付けられる特徴点を抽出可能な画像を撮像することができる撮像条件情報を含む誘導要求を前記第１の携帯端末装置と、前記第２の携帯端末装置とに送信する送信手段と、
   を有するサーバ装置。
2. 前記判断手段は、前記第１の携帯端末装置及び前記第２の携帯端末装置の位置情報と、向き情報とに基づいて、前記抽出手段により第１の画像から抽出された複数の特徴点と、第２の画像から抽出された複数の特徴点とのうち、特徴点ペアとして対応付けられる特徴点があるか否かを判断する請求項１記載のサーバ装置。
3. 前記第１の携帯端末装置及び前記第２の携帯端末装置が撮像した画像の特徴点数を示す特徴点数情報と、前記画像の撮像条件情報とを関連付けた管理情報を管理する管理手段と、
   前記判断手段により対応付けられる特徴点がないと判断された場合、特徴点数が予め定められた閾値以上となる特徴点数情報を前記管理手段により管理されている前記管理情報から検索する検索手段と、
   を更に有し、
   前記送信手段は、前記検索手段により検索された特徴点数情報と関連付けられた撮像条件情報を含む誘導要求を前記第１の携帯端末装置と、前記第２の携帯端末装置とに送信する請求項１又は２記載のサーバ装置。
4. 前記検索手段は、前記撮像条件情報に含まれる携帯端末装置の位置情報に基づいて、特徴点数が予め定められた閾値以上である特徴点数情報のうち、現在位置に最も近い位置の位置情報に対応する特徴点数情報を前記管理情報から検索する請求項３記載のサーバ装置。
5. ネットワークを介して通信可能な撮像装置から、前記第１の携帯端末装置及び前記第２の携帯端末装置の環境における環境情報を受信する環境情報受信手段を更に有し、
   前記検索手段は、前記環境情報受信手段により受信された環境情報と、前記撮像条件情報に含まれる携帯端末装置の位置情報とに基づいて、特徴点数が予め定められた閾値以上である特徴点数情報のうち、障害物と干渉しない位置の位置情報に対応する特徴点数情報を前記管理情報から検索する請求項３又は４記載のサーバ装置。
6. 前記環境情報受信手段は、人物の位置を示す動線情報と、物の配置を示す配置情報とを含む情報である環境情報を受信する請求項５記載のサーバ装置。
7. 前記送信手段により送信された前記誘導要求に基づいて移動した前記第１の携帯端末装置と、前記第２の携帯端末装置との距離が予め定められた距離以内となると、前記第１の携帯端末装置及び前記第２の携帯端末装置に共有情報がある旨を通知する通知手段を更に有する請求項１乃至６何れか１項記載のサーバ装置。
8. 前記撮像条件情報には、前記第１の携帯端末装置及び前記第２の携帯端末装置の位置情報と、向き情報とが含まれ、
   前記送信手段は、前記撮像条件情報を含む誘導要求を前記第１の携帯端末装置と、前記第２の携帯端末装置とに送信する請求項１乃至７何れか１項記載のサーバ装置。
9. 前記判断手段により対応付けられる特徴点があると判断された場合、前記特徴点を特徴点ペアとして関連付ける関連付け手段と、
   前記関連付け手段により関連付けられた特徴点ペアに関する特徴点ペア情報を前記第１の携帯端末装置と、前記第２の携帯端末装置とに送信する特徴点ペア情報送信手段と、
   を更に有する請求項１記載のサーバ装置。
10. 第１の携帯端末装置により撮像された第１の画像と、第２の携帯端末装置により撮像された第２の画像とを受信する受信手段と、
    前記受信手段により受信された第１の画像と、第２の画像との夫々の画像から複数の特徴点を抽出する抽出手段と、
    前記抽出手段により第１の画像から抽出された複数の特徴点と、第２の画像から抽出された複数の特徴点とのうち、同一の特徴点を示す特徴点のペアである特徴点ペアとして対応付けられる特徴点があるか否かを判断する判断手段と、
    前記判断手段により対応付けられる特徴点がないと判断された場合、特徴点ペアとして対応付けられる特徴点を抽出可能な画像を撮像することができる撮像条件情報を含む誘導要求を前記第１の携帯端末装置と、前記第２の携帯端末装置とに送信する送信手段と、
    前記送信手段により送信された前記誘導要求を受信する要求受信手段と、
    前記要求受信手段により受信された前記誘導要求に基づいて、表示装置に誘導情報を表示する表示手段と、
    を有するシステム。
11. サーバ装置が実行する情報処理方法であって、
    第１の携帯端末装置により撮像された第１の画像と、第２の携帯端末装置により撮像された第２の画像とを受信する受信ステップと、
    前記受信ステップにより受信された第１の画像と、第２の画像との夫々の画像から複数の特徴点を抽出する抽出ステップと、
    前記抽出ステップにより第１の画像から抽出された複数の特徴点と、第２の画像から抽出された複数の特徴点とのうち、同一の特徴点を示す特徴点のペアである特徴点ペアとして対応付けられる特徴点があるか否かを判断する判断ステップと、
    前記判断ステップにより対応付けられる特徴点がないと判断された場合、特徴点ペアとして対応付けられる特徴点を抽出可能な画像を撮像することができる撮像条件情報を含む誘導要求を前記第１の携帯端末装置と、前記第２の携帯端末装置とに送信する送信ステップと、
    を含む情報処理方法。
12. システムが実行する情報処理方法であって
    第１の携帯端末装置により撮像された第１の画像と、第２の携帯端末装置により撮像された第２の画像とを受信する受信ステップと、
    前記受信ステップにより受信された第１の画像と、第２の画像との夫々の画像から複数の特徴点を抽出する抽出ステップと、
    前記抽出ステップにより第１の画像から抽出された複数の特徴点と、第２の画像から抽出された複数の特徴点とのうち、同一の特徴点を示す特徴点のペアである特徴点ペアとして対応付けられる特徴点があるか否かを判断する判断ステップと、
    前記判断ステップにより対応付けられる特徴点がないと判断された場合、特徴点ペアとして対応付けられる特徴点を抽出可能な画像を撮像することができる撮像条件情報を含む誘導要求を前記第１の携帯端末装置と、前記第２の携帯端末装置とに送信する送信ステップと、
    前記送信ステップにより送信された前記誘導要求を受信する要求受信ステップと、
    前記要求受信ステップにより受信された前記誘導要求に基づいて、表示装置に誘導情報を表示する表示ステップと、
    を含む情報処理方法。
13. コンピュータに、
    第１の携帯端末装置により撮像された第１の画像と、第２の携帯端末装置により撮像された第２の画像とを受信する受信ステップと、
    前記受信ステップにより受信された第１の画像と、第２の画像との夫々の画像から複数の特徴点を抽出する抽出ステップと、
    前記抽出ステップにより第１の画像から抽出された複数の特徴点と、第２の画像から抽出された複数の特徴点とのうち、同一の特徴点を示す特徴点のペアである特徴点ペアとして対応付けられる特徴点があるか否かを判断する判断ステップと、
    前記判断ステップにより対応付けられる特徴点がないと判断された場合、特徴点ペアとして対応付けられる特徴点を抽出可能な画像を撮像することができる撮像条件情報を含む誘導要求を前記第１の携帯端末装置と、前記第２の携帯端末装置とに送信する送信ステップと、
    を実行させるためのプログラム。

Images