JP2020086628A - 制御装置、プログラムおよびシステム - Google Patents

Abstract

【課題】ユーザーによって装着される表示装置によってＭＲの表示が行われる場合に、データ検索のキーを受け付けることを、ユーザーにとって簡易に行うことができる制御装置、プログラム及びシステムを提供する。【解決手段】制御装置は、ユーザーに装着されて実空間の光を表示部に透過させ、仮想的な画像を表示部に表示することが可能な表示装置の周囲の情報を取得する、周囲情報取得装置によって取得された情報に基づいて空間を認識する空間認識部と、空間認識部によって認識された空間と所定の地図情報とを対応付ける対応付け部と、対応付け部による対応付けの結果および表示装置の状況に基づいてキーワードを取得するキーワード取得部と、キーワード取得部によって取得されたキーワードを表示装置によって表示させる表示制御部と、を備える。【選択図】図４

Description

本発明は、制御装置、プログラムおよびシステムに関する。

複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の技術が知られている。ＭＲの技術は、現実の空間に仮想的なデジタルの３次元情報を重ね合わせて、現実の物体と仮想的な３次元情報とを相互に作用させつつ可視化する技術である。

ＭＲの技術では、例えば、物体に仮想的な３次元情報のデータを重ねて描画すること、あるいは、ユーザーの手で直感的に操作することを可能とすることなどが行われる。このようなＭＲの技術の使用法は、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）とを融合させた使用法とも言える。ここで、ＡＲの技術は、現実の空間に情報を重ねて拡張する技術である。また、ＶＲの技術は、デジタル空間で仮想の世界を体験することを可能とする技術である。

ＭＲの技術では、ユーザーの身に装着可能（ウェアラブル）な装置が用いられる。当該装置として、例えば、ヘッドマウントディスプレイである表示装置がある。当該表示装置は、眼鏡のような装置であり、ユーザーの頭部に装着される。当該表示装置は、ユーザーの頭部に装着された場合に当該ユーザーの両目に対向する位置に透過型の表示部を備えており、制御装置によって制御されて、当該表示部に仮想的な情報を表示する。これにより、当該表示装置は、当該ユーザーの両目に、現実の物体と仮想的な３次元情報とを相互に作用させた視覚情報を与える。

ＭＲの技術の一例として、特許文献１に記載された溶接検査方法では、ＭＲ画像を提示する情報処理装置を用いており、当該情報処理装置によって現実の空間の金属加工品と仮想空間の３次元モデルとを位置合わせすることが行われている（特許文献１参照。）。

特開２０１７−４４４９６号

しかしながら、上記のようなウェアラブルな表示装置の制御装置では、当該表示装置を装着したユーザーの動きに応じてデータ検索のキーを受け付けることが行われるため、当該ユーザーの労力が多大になる場合があった。
例えば、当該制御装置では、仮想的なキーボードおよび仮想的なマウスによって文字などの入力を受け付ける。この際、当該制御装置では、当該表示装置を装着したユーザーの頭部の向きの変化に応じて仮想的なキーボードあるいは仮想的なマウスに対する動作を判定し、当該動作に応じて文字などの入力を受け付ける。このように、当該ユーザーは頭部を動かして文字などを入力するため、多大な労力を要する場合があった。

また、このような制御装置では、当該表示装置を装着したユーザーの音声を認識し、当該音声の認識結果に応じてデータ検索のキーを受け付ける入力手法も考えられるが、当該ユーザーの音声が十分な精度で検出されない場所で当該表示装置が使用される場合が考えられる。例えば、当該ユーザーが所定の作業場において作業を行う場合、当該ユーザーおよび当該表示装置の周囲の機械動作音が大きいとき、あるいは、当該作業場におけるノイズが大きいときなどがあり得る。

本発明は、このような事情を考慮してなされたもので、ユーザーによって装着される表示装置によってＭＲの表示が行われる場合に、データ検索のキーを受け付けることを、当該ユーザーにとって簡易に、行うことができる制御装置、プログラムおよびシステムを提供することを課題とする。

一構成例として、ユーザーに装着されて実空間の光を表示部に透過させて仮想的な画像を前記表示部に表示することが可能な表示装置の周囲の情報を取得する周囲情報取得装置によって取得された前記情報に基づいて空間を認識する空間認識部と、前記空間認識部によって認識された前記空間と所定の地図情報とを対応付ける対応付け部と、前記対応付け部による対応付けの結果および前記表示装置の状況に基づいてキーワードを取得するキーワード取得部と、前記キーワード取得部によって取得された前記キーワードを前記表示装置によって表示させる表示制御部と、を備える制御装置である。

一構成例として、制御装置において、前記表示装置の状況は、前記表示装置の位置、前記表示装置の姿勢、あるいは、前記周囲情報取得装置によって取得される前記情報のうちの１以上を含む。
一構成例として、制御装置において、前記キーワードは、前記表示装置の状況に応じて、階層的に変化する。
一構成例として、制御装置において、前記キーワードを用いて検索を行う検索部を備え、前記表示制御部は、前記検索部によって検索された情報を前記表示装置によって表示させる。
一構成例として、制御装置において、前記表示制御部は、前記ユーザーによって行われる指示に応じて、前記キーワードまたは前記検索部によって検索された情報のうちの少なくとも一方を所定の箇所に貼り付けた表示を行う。

一構成例として、ユーザーに装着されて実空間の光を表示部に透過させて仮想的な画像を前記表示部に表示することが可能な表示装置の周囲の情報を取得する周囲情報取得装置によって取得された前記情報に基づいて空間を認識する機能と、認識された前記空間と所定の地図情報とを対応付ける機能と、前記対応付けの結果および前記表示装置の状況に基づいてキーワードを取得する機能と、取得された前記キーワードを前記表示装置によって表示させる機能と、をコンピュータに実現させるためのプログラムである。

一構成例として、ユーザーに装着されて実空間の光を表示部に透過させて仮想的な画像を前記表示部に表示することが可能な表示装置と、サーバ装置と、を有するシステムであって、前記表示装置の周囲の情報を取得する周囲情報取得装置によって取得された前記情報に基づいて空間を認識する空間認識部と、前記空間認識部によって認識された前記空間と所定の地図情報とを対応付ける対応付け部と、前記対応付け部による対応付けの結果および前記表示装置の状況に基づいてキーワードを取得するキーワード取得部と、前記キーワード取得部によって取得された前記キーワードを前記表示装置によって表示させる表示制御部と、を備える。

本発明によれば、ユーザーによって装着される表示装置によってＭＲの表示が行われる場合に、データ検索のキーを受け付けることを、当該ユーザーにとって簡易に、行うことができる。

本発明の一実施形態に係るＭＲシステムの概略的な構成を示す図である。 本発明の一実施形態に係る表示装置の概略的な構成を示す図である。 本発明の一実施形態に係る携帯装置の概略的な構成を示す図である。 本発明の一実施形態に係る制御装置の概略的な構成を示す図である。 本発明の一実施形態に係るフロアの配置の例を示す図である。 （Ａ）〜（Ｅ）は、本発明の一実施形態に係るキーワードの絞り込みの例を示す図である。 （Ａ）〜（Ｅ）は、本発明の一実施形態に係るキーワードの絞り込みの他の例を示す図である。 本発明の一実施形態に係る表示装置において表示される情報の一例を示す図である。 本発明の一実施形態に係る選択情報の貼り付けの例を示す図である。 本発明の一実施形態に係る検索結果情報の例を示す図である。 本発明の一実施形態に係る制御装置において行われる処理の手順の例を示す図である。 本発明の一実施形態に係る制御装置において行われる処理の手順の例を示す図である。

以下、図面を参照し、本発明の実施形態について説明する。

［第１実施形態］
第１実施形態を説明する。
＜ＭＲシステム＞
図１は、本発明の一実施形態に係るＭＲシステム１の概略的な構成を示す図である。
ＭＲシステム１は、表示装置１１と、携帯装置１２と、サーバ装置２１と、情報処理装置２２と、ディスプレイ装置２３と、データベース２４と、ルータ装置２５と、ネットワーク３１を備える。
また、図１には、ユーザー５１およびオペレーター６１を示してある。本実施形態では、ユーザー５１およびオペレーター６１は、それぞれ、人間である。

表示装置１１は、ウェアラブルな装置であり、本実施形態では、ヘッドマウントディスプレイ装置であって、ユーザー５１の頭部に着脱可能である。本実施形態では、表示装置１１は、ユーザー５１の頭部に装着されている。
また、表示装置１１は、例えば、透過型の表示機能を有する。透過型の表示機能では、外界の光をユーザー５１の両目の部分を覆う表示部に透過させつつ、仮想的な画像を当該表示部に表示させることが可能である。これにより、透過型の表示機能では、現実の世界と仮想的な画像とが組み合わされた視覚情報をユーザー５１に与えることが可能である。仮想的な画像は、例えば、ホログラム画像と呼ばれてもよい。
このように、表示装置１１は、ユーザー５１に装着されて、実空間の光を表示部に透過させて、仮想的な画像を当該表示部に表示することが可能である。

携帯装置１２は、ユーザー５１によって携帯されることが可能である。携帯装置１２は、例えば、携帯電話機、スマートフォン、あるいは、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などである。本実施形態では、携帯装置１２は、ユーザー５１によって携帯されている。

サーバ装置２１は、制御装置４１を備える。サーバ装置２１および制御装置４１は、それぞれ、例えば、コンピュータである。なお、サーバ装置２１と制御装置４１は、例えば、共通のコンピュータを用いて構成されてもよく、あるいは、異なるコンピュータであってもよい。
情報処理装置２２は、例えば、コンピュータである。
情報処理装置２２は、ディスプレイ装置２３を備える。

ここで、本実施形態では、情報処理装置２２とディスプレイ装置２３とが通信可能に接続されている。この接続は、例えば、有線の回線を用いて行われてもよく、あるいは、無線の回線を用いて行われてもよい。
また、情報処理装置２２とサーバ装置２１とが接続されている。この接続は、例えば、有線の回線を用いて行われてもよく、あるいは、無線の回線を用いて行われてもよい。

また、サーバ装置２１と、データベース２４と、ルータ装置２５は、それぞれ、ネットワーク３１と接続されており、ネットワーク３１を介して互いに通信可能である。この接続は、例えば、有線の回線を用いて行われてもよく、あるいは、無線の回線を用いて行われてもよい。つまり、ネットワーク３１は、有線のネットワークであってもよく、無線のネットワークであってもよく、あるいは、有線と無線とが組み合わされたネットワークであってもよい。
また、ルータ装置２５は、例えば、Ｗｉ−Ｆｉ（登録商標）に対応している。

表示装置１１と、携帯装置１２は、それぞれ、ルータ装置２５との間で無線により通信可能に接続される。
本実施形態では、この接続は、無線の回線を介して行われるが、他の例として、この接続は、有線の回線を介して行われてもよい。

＜ＭＲシステムの動作の概要＞
本実施形態では、サーバ装置２１において、制御装置４１は、ネットワーク３１およびルータ装置２５を介して、表示装置１１および携帯装置１２と通信する。制御装置４１は、表示装置１１を制御して、表示装置１１によってＭＲの表示を行わせる。制御装置４１は、表示装置１１あるいは携帯装置１２から受信された情報をＭＲの表示に使用することが可能である。
また、制御装置４１は、ネットワーク３１を介して、データベース２４と通信する。データベース２４は、各種の情報を記憶する。制御装置４１は、データベース２４に記憶された情報を検索して、得られた情報を受信する。制御装置４１は、検索により得られた情報をＭＲの表示に使用することが可能である。
データベース２４に記憶される情報は、任意の情報であってもよく、例えば、監視対象が監視された結果の情報であってもよい。監視対象は、例えば、所定の設備あるいは機器などの温度あるいは圧力などであってもよい。

ルータ装置２５は、制御装置４１から送信される信号を中継して表示装置１１あるいは携帯装置１２に送信する。また、ルータ装置２５は、表示装置１１から送信される信号および携帯装置１２から送信される信号を中継して制御装置４１に送信する。
情報処理装置２２は、サーバ装置２１の制御装置４１と通信する。情報処理装置２２は、制御装置４１に指示などの信号を送信し、制御装置４１から送信される信号を受信する。情報処理装置２２は、ディスプレイ装置２３の画面に情報を表示する。本実施形態では、中央管理場所にいるオペレーター６１が、情報処理装置２２を操作し、ディスプレイ装置２３の画面に表示される情報を見る。本実施形態では、例えば、オペレーター６１が情報処理装置２２を操作することで制御装置４１を制御し、これにより、表示装置１１から遠隔に離れた場所で遠隔制御を行い、表示装置１１が存在する現場を支援することが行われてもよい。また、情報処理装置２２は、例えば、ディスプレイ装置２３の画面に、表示装置１１を装着したユーザー５１によって見られる実空間の画像と仮想的な画像とのうちの一方または両方を表示させてもよく、これにより、ユーザー５１によって行われる作業の監視が行われてもよい。
なお、それぞれの信号には、各種の情報が含まれてもよい。

表示装置１１は、制御装置４１によって制御されて、ユーザー５１に対してＭＲの表示を行う。
携帯装置１２は、当該携帯装置１２の位置を検出して、検出された位置の情報を制御装置４１に送信する。
本実施形態では、表示装置１１はユーザー５１によって装着されており、携帯装置１２はユーザー５１によって携帯されており、表示装置１１の位置と携帯装置１２の位置とユーザー５１の位置とが同じであるとみなす。つまり、実際には、表示装置１１の位置と携帯装置１２の位置とユーザー５１の位置とは異なり得るが、本実施形態では、これらがほぼ同じ位置に存在する状態が維持されるとしている。このため、以下の説明では、表示装置１１の位置と携帯装置１２の位置とユーザー５１の位置はいずれも同じ位置であるとみなすが、他の例として、それぞれの位置が区別される処理（本実施形態では詳細な説明を省略する。）が行われる場合には、それぞれの位置が別の位置として検出される。
なお、表示装置１１と携帯装置１２とは、例えば、直接的に有線または無線で通信してもよく、あるいは、ルータ装置２５を介して通信してもよい。

ここで、情報処理装置２２とディスプレイ装置２３とは、必ずしも別体でなくてもよく、一体化されていてもよい。
また、情報処理装置２２、データベース２４、およびルータ装置は、必ずしもサーバ装置２１と別体でなくてもよく、情報処理装置２２、データベース２４、およびルータ装置のうちの任意の１以上の装置が、サーバ装置２１と一体化されていてもよい。
また、本実施形態に係るＭＲシステム１では、オペレーター６１により使用される情報処理装置２２およびディスプレイ装置２３が備えられるが、他の例として、これらの装置が備えられなくてもよい。

また、本実施形態では、携帯装置１２が位置を検出する機能を有する場合を示すが、他の例として、表示装置１１が位置を検出する機能を有してもよく、この場合、携帯装置１２は備えられなくてもよい。本実施形態では、携帯装置１２は、主に、位置を検出するために使用されている。
また、本実施形態では、制御装置４１がＭＲの表示のための画像を生成して当該画像を表示装置１１に送信し、表示装置１１は当該情報を受信して表示する。

＜表示装置＞
図２は、本発明の一実施形態に係る表示装置１１の概略的な構成を示す図である。
表示装置１１は、通信部１１１と、記憶部１１２と、表示部１１３と、検出部１１４と、制御部１１５を備える。
通信部１１１は、ルータ装置２５およびネットワーク３１を介して、サーバ装置２１の制御装置４１と通信する。
記憶部１１２は、各種の情報を記憶する。
表示部１１３は、情報を表示する。表示部１１３は、例えば、ユーザー５１の右目用の表示部分と左目用の表示部分を有していてもよい。

検出部１１４は、所定の情報を検出する。
本実施形態では、検出部１１４は、周囲の情報を取得する周囲情報取得装置を備えており、当該周囲情報取得装置によって、表示装置１１の周囲の情報を検出して、当該情報を取得する。
また、本実施形態では、周囲情報取得装置は、撮像装置を含んでおり、当該撮像装置によって、表示装置１１の外界の画像を撮像して、当該画像の情報を取得する。
本実施形態では、表示装置１１において、当該撮像装置は、表示装置１１を装着したユーザー５１の視線の方向の周囲の画像を外界の画像として撮像する位置に備えられている。具体的には、当該撮像装置は、表示装置１１がユーザー５１によって装着された状態において、ユーザー５１の両目の中央にあたる位置に備えられており、ユーザー５１の頭部とは反対方向の画像を撮像するように配置されている。

また、本実施形態では、周囲情報取得装置は、画像以外の情報を取得する装置を含んでもよい。例えば、周囲情報取得装置は、表示装置１１の周囲の超音波を検出して当該超音波の情報を取得する装置、あるいは、表示装置１１の周囲の温度を検出して当該温度の情報を取得する装置などを含んでもよい。超音波を検出して当該超音波の情報を取得する装置としては、例えば、ソナーが用いられてもよい。温度を検出して当該温度の情報を取得する装置としては、例えば、温度センサが用いられてもよい。

また、本実施形態では、周囲情報取得装置に含まれる撮像装置によって撮像された画像の情報を使用するに際して、さらに超音波あるいは温度などの情報を使用して、全体の精度を向上させることが図られるが、必ずしも、周囲情報取得装置によって画像の情報が取得されなくてもよい。
例えば、周囲情報取得装置は、画像を撮像する撮像装置を含まずに、画像以外の超音波あるいは温度などのうちの１以上の情報を取得する装置を含んでもよい。この場合、周囲の情報としては、画像以外の情報が用いられる。

ここで、検出部１１４は、周囲情報取得装置以外に、任意の情報を検出するセンサを備えていてもよい。つまり、本実施形態では、検出部１１４が周囲情報取得装置とともに他のセンサを備える構成も含んでおり、当該他のセンサによる検出結果が任意に利用される構成も含んでいる。なお、検出部１１４が周囲情報取得装置のみを備える場合には、検出部１１４は周囲情報取得装置であると捉えられてもよい。
また、他の例として、検出部１１４は、表示装置１１とは別体で備えられてもよい。例えば、検出部１１４が複数の情報取得装置を含む場合、これら複数の情報取得装置のうちの一部が別体で備えられてもよい。なお、情報取得装置としては、例えば、周囲情報取得装置に含まれる各種の情報を取得する装置（例えば、画像の情報を取得する撮像装置、超音波の情報を取得する装置、温度の情報を取得する装置など）であると捉えられてもよく、または、周囲情報取得装置の全体であると捉えられてもよく、あるいは、その他の各種のセンサであると捉えられてもよい。

制御部１１５は、表示装置１１における各種の制御を行う。
制御部１１５は、機能部の例として、表示制御部１３１と、検出情報送信制御部１３２を備える。
表示制御部１３１は、表示部１１３による画像の表示を制御する。本実施形態では、表示装置１１では、制御装置４１から送信される画像の情報を通信部１１１によって受信し、表示制御部１３１が受信された画像の情報に基づいて表示部１１３によって当該画像を表示させる制御を行う。
検出情報送信制御部１３２は、検出部１１４によって検出された情報を通信部１１１によって制御装置４１に対して送信する。本実施形態では、当該情報は、検出部１１４が有する周囲情報取得装置によって取得された情報を含む。

＜携帯装置＞
図３は、本発明の一実施形態に係る携帯装置１２の概略的な構成を示す図である。
携帯装置１２は、入力部２１１と、出力部２１２と、通信部２１３と、記憶部２１４と、位置検出部２１５と、制御部２１６を備える。
入力部２１１は、ユーザー５１によって行われる操作の内容を受け付けて入力する機能、および有線で接続された外部の装置から出力される情報を入力する機能を有する。
出力部２１２は、情報を表示画面に出力する機能、および有線で接続された外部の装置に情報を出力する機能を有する。
ここで、外部の装置は、例えば、ＵＳＢメモリなどの携帯可能な記録媒体であってもよい。

通信部２１３は、外部の装置と無線により通信する。本実施形態では、通信部２１３は、ルータ装置２５およびネットワーク３１を介して、サーバ装置２１の制御装置４１と通信する。
記憶部２１４は、各種の情報を記憶する。
位置検出部２１５は、携帯装置１２の位置を検出する。本実施形態では、位置検出部２１５は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）の機能を有しており、ＧＰＳ衛星から無線送信される信号を受信し、受信された信号に基づいて位置を検出する。

制御部２１６は、携帯装置１２における各種の制御を行う。
制御部２１６は、機能部の例として、位置情報送信制御部２３１を備える。
位置情報送信制御部２３１は、位置検出部２１５によって検出された位置の情報を通信部２１３によって制御装置４１に対して送信する。

＜制御装置＞
図４は、本発明の一実施形態に係る制御装置４１の概略的な構成を示す図である。
制御装置４１は、入力部３１１と、出力部３１２と、通信部３１３と、記憶部３１４と、制御部３１５を備える。
入力部３１１は、制御装置４１を操作する者によって行われる操作の内容を受け付けて入力する機能、および有線で接続された外部の装置から出力される情報を入力する機能を有する。
出力部３１２は、情報を表示画面に出力する機能、および有線で接続された外部の装置に情報を出力する機能を有する。

通信部３１３は、外部の装置と無線により通信する。本実施形態では、通信部３１３は、ルータ装置２５およびネットワーク３１を介して、表示装置１１および携帯装置１２と通信する。また、本実施形態では、通信部３１３は、ネットワーク３１を介して、データベース２４と通信する。
記憶部３１４は、各種の情報を記憶する。本実施形態では、記憶部３１４は、地図情報３３１を記憶する。

ここで、地図情報３３１は、少なくとも、表示装置１１の撮像装置によって撮像されることが想定されている場所の地図の情報を含む。
地図情報３３１には、様々な領域の情報、設備あるいは機器などの情報が含まれてもよい。
なお、「設備」あるいは「機器」といった語は、例示であって、他の任意の名称で呼ばれてもよい。また、「設備」と「機器」は、必ずしも区別されなくてもよく、両者が同様なものを表すと捉えられてもよい。

例えば、本実施形態では、地図情報３３１には、あらかじめ定められた１個以上の領域の識別情報および当該領域を特定する情報が含まれている。領域の識別情報としては、例えば、当該領域の名称などの情報が用いられる。領域は、例えば、設備あるいは機器などと対応付けられていてもよい。
例えば、本実施形態では、地図情報３３１には、あらかじめ定められた１個以上の設備あるいは機器などの識別情報および当該設備あるいは機器などの配置の情報が含まれている。当該設備あるいは機器などの識別情報としては、例えば、当該設備あるいは機器などの名称などの情報が用いられる。

地図情報３３１は、例えば、作業員であるユーザー５１が作業を行う現場の図面の情報を含んでもよい。
また、地図情報３３１において、設備あるいは機器などは、例えば、直方体あるいは円柱などのように、簡易化された立体を用いて表されてもよい。仮想空間における簡易化された立体と、実空間における該当する箇所とが、位置合わせされてもよい。

本実施形態では、地図情報３３１に含まれる情報に基づいて領域あるいは機器などに関連するキーワードを取得することが可能である。このようなキーワードは、例えば、１個以上のキーワードのリストとして地図情報３３１に含まれてもよく、あるいは、機器などの説明文などのように、機器などに関連する情報として地図情報３３１に含まれてもよい。このように、本実施形態では、地図情報３３１において、機器などと、キーワードを取得することが可能な情報とが、対応付けられている。
地図情報３３１は、例えば、あらかじめ人間または装置によって作成されて記憶部３１４に記憶させられる。一例として、地図情報３３１は、情報処理装置２２あるいはサーバ装置２１において生成されてもよい。
なお、本実施形態では、制御装置４１が地図情報３３１に基づいてキーワードを取得することが可能な場合を示すが、他の例として、制御装置４１が領域あるいは機器などに関連するキーワードを取得するための情報が、地図情報３３１とは別の情報として記憶部３１４に記憶されてもよい。

制御部３１５は、制御装置４１における各種の制御を行う。
制御部３１５は、機能部の例として、空間認識部３５１と、地図取得部３５２と、機器配置対応付け部３５３と、位置姿勢取得部３５４と、キーワード取得部３５５と、検索部３５６と、表示制御部３５７を備える。

空間認識部３５１は、表示装置１１から送信されて通信部３１３によって受信された表示装置１１の周囲の情報を取得する。空間認識部３５１は、取得された情報に基づいて、３次元の空間を認識する。例えば、表示装置１１の周囲の情報に表示装置１１の外界の画像の情報が含まれる場合、空間認識部３５１は、当該画像に写された３次元の空間を認識してもよい。空間を認識する手法としては、特に限定は無く、例えば、３次元点群を用いて空間を認識する手法が用いられてもよい。

地図取得部３５２は、記憶部３１４に記憶された地図情報３３１を取得する。
本実施形態では、地図取得部３５２は、表示装置１１から送信されて通信部３１３によって受信された情報に含まれる所定のマーカーの情報を検出する。例えば、表示装置１１の周囲の情報に表示装置１１の外界の画像の情報が含まれる場合、当該マーカーの情報としては、当該画像に含まれる視覚的に認識可能な情報であってもよい。当該マーカーとしては、例えば、ＡＲマーカーが用いられてもよい。
本実施形態では、地図情報３３１には、空間認識部３５１によって認識された空間の地図の情報が含まれている。
本実施形態では、地図情報３３１は、所定のマーカーと対応付けられている。そして、地図取得部３５２は、検出されたマーカーに対応付けられた地図情報３３１を取得する。
なお、空間認識部３５１によって認識される空間があらかじめ定められていて、当該空間に対応する地図情報３３１があらかじめ特定されている場合には、所定のマーカーは用いられなくてもよい。

また、地図取得部３５２は、例えば、携帯装置１２から送信されて通信部３１３によって受信された位置の情報に基づいて、表示装置１１の位置の情報を取得してもよい。
一例として、地図取得部３５２は、所定のマーカーが検出された空間においては当該マーカーに基づいて当該空間に対応する地図情報３３１を取得し、所定のマーカーが検出されない空間においては位置の情報に基づいて当該位置に対応する地図情報３３１を取得してもよい。

なお、制御部３１５では、例えば、取得された表示装置１１の位置の情報に基づいて、移動する表示装置１１の位置を追従すること、あるいは、移動する表示装置１１の速度を検出すること、などを行ってもよい。
また、例えば、携帯装置１２により検出される位置の情報が使用されない場合には、ＭＲシステム１に携帯装置１２が備えられなくてもよく、また、制御装置４１に当該位置の情報を取得する機能が備えられなくてもよい。

機器配置対応付け部３５３は、空間認識部３５１によって認識された空間と、地図取得部３５２によって取得された地図の情報に含まれる機器の配置の情報に基づいて、当該空間と機器の配置とを対応付ける。
ここで、機器の配置の情報では、それぞれの機器の寸法の情報が設定されている。当該寸法としては、例えば、３次元直交座標系であるＸＹＺ座標系のうちの１個、２個、または３個の軸方向の寸法が用いられてもよい。一例として、寸法が幅、奥行き、および高さで規定される場合に、例えば、幅のみ、幅と奥行き、幅と高さ、または、幅と奥行きと高さ、などが用いられてもよい。

また、機器配置対応付け部３５３は、例えば、さらに、空間と機器の配置との対応付けの精度を向上させる処理を行ってもよい。
一例として、機器配置対応付け部３５３は、表示装置１１を装着したユーザー５１が所定の機器の所定の位置を指したときの指の位置を検出して、その検出結果に基づいて、空間と機器の配置との対応付けを微調整してもよい。

位置姿勢取得部３５４は、表示装置１１の位置の情報および姿勢の情報を取得する。
ここで、位置姿勢取得部３５４は、例えば、機器配置対応付け部３５３によって行われた対応付けの結果と、表示装置１１から送信されて通信部３１３によって受信された情報に基づいて、表示装置１１の位置の情報を取得する。
また、位置姿勢取得部３５４は、表示装置１１から送信されて通信部３１３によって受信された情報に基づいて、表示装置１１の姿勢の情報を取得する。つまり、ユーザー５１の頭部の姿勢の変化によって表示装置１１の姿勢が変化する。

本実施形態では、制御部３１５において、空間認識部３５１と地図取得部３５２と機器配置対応付け部３５３の処理結果に基づいて、実空間に対応する仮想空間を生成する。そして、位置姿勢取得部３５４は、当該仮想空間における表示装置１１の位置および姿勢を検出することで、その検出結果を実空間での位置および姿勢とみなす。
ここで、実空間とは現実の空間のことであり、仮想空間とは現実の空間に基づいて捉えられた仮想的な空間のことである。

また、位置姿勢取得部３５４は、例えば、取得された姿勢の情報に基づいて、ユーザー５１の視線の方向を検出すること、ユーザー５１の視線の方向の変化を検出すること、あるいは、ユーザー５１の頭部の動きを検出すること、などが可能である。
例えば、制御部３１５では、ユーザー５１の視線の方向、当該方向の変化、あるいはユーザー５１の頭部の動きに基づいて、文字あるいは指示などの情報の入力の受け付けなどを行ってもよい。
また、本実施形態では、表示装置１１において取得された情報に基づいて表示装置１１の姿勢を判定する。一例として、表示装置１１において撮像された画像に基づいて表示装置１１の姿勢を判定する構成が用いられてもよい。他の例として、表示装置１１にジャイロセンサなどのように姿勢を検出することが可能なセンサを備えて、当該センサの検出結果に基づいて表示装置１１の姿勢を判定する構成が用いられてもよい。

表示装置１１においてユーザー５１から文字あるいは指示などを受け付ける構成として、例えば、仮想的なキーボードあるいは仮想的なマウスなどを表示装置１１によって表示して、ユーザー５１の動きなどに応じて文字あるいは指示などを受け付ける構成が用いられてもよい。
なお、表示装置１１の姿勢の情報が使用されない場合には、制御装置４１に当該姿勢の情報を取得する機能が備えられなくてもよい。

また、表示装置１１においてユーザー５１から文字あるいは指示などを受け付ける構成として、例えば、検出部１１４に音声を検出するマイクなどを備え、当該マイクなどによってユーザー５１から発せられた音声を検出し、検出された音声を音声認識して文字あるいは指示などを受け付ける構成が用いられてもよい。

キーワード取得部３５５は、位置姿勢取得部３５４によって検出された位置および姿勢と地図情報３３１に基づいて、キーワードを取得する。つまり、本実施形態では、キーワード取得部３５５は、表示装置１１を装着したユーザー５１がいる位置および姿勢と地図情報３３１に基づいて、自動的に、キーワードを検出する。
なお、キーワード取得部３５５は、位置姿勢取得部３５４によって検出された位置と地図情報３３１に基づいて、キーワードを取得してもよい。つまり、キーワードを取得するために、姿勢の情報が用いられなくてもよい。

ここで、キーワード取得部３５５は、例えば、表示装置１１を装着しているユーザー５１が存在する位置に対応する領域あるいは機器に関するキーワードを取得する。また、キーワード取得部３５５は、例えば、表示装置１１を装着しているユーザー５１が存在する位置および姿勢に基づいて、表示装置１１を装着しているユーザー５１の視線の周囲に存在する機器に関するキーワードを取得してもよい。ユーザー５１の視線の周囲としては、例えば、ユーザー５１の視界が用いられてもよい。ユーザー５１の視界は、表示装置１１の位置および姿勢に基づいて特定される。例えば、キーワード取得部３５５は、ユーザー５１の視界に入っていると判定される機器などに関するキーワードを取得してもよく、あるいは、ユーザー５１の視界に入っているか否かとは無関係にユーザー５１の近傍にある機器などに関するキーワードを取得してもよい。
また、キーワード取得部３５５は、領域の名称あるいは機器の名称などを用いて、キーワードを取得してもよい。

このように、キーワード取得部３５５は、例えば、表示装置１１を装着しているユーザー５１が所定の領域に存在する場合には、ユーザー５１の視線あるいは視界とは無関係に、当該所定の領域に関連するキーワードを取得してもよく、あるいは、表示装置１１を装着しているユーザー５１が所定の領域に存在する場合であっても、必ずしも当該所定の領域に存在する機器などに関連するキーワードを取得するとは限られず、ユーザー５１の視線あるいは視界の向きに存在する機器などに関連するキーワードを取得してもよい。
他の例として、キーワード取得部３５５は、表示装置１１を装着しているユーザー５１が所定の領域に存在するか否かを判定することなく、ユーザー５１の視線あるいは視界の向きに存在する機器などに関連するキーワードを取得してもよい。
他の例として、キーワード取得部３５５は、表示装置１１を装着しているユーザー５１の位置と所定の機器などの位置との距離が所定の閾値以下である場合に、当該所定の機器などに関連するキーワードを検出してもよい。

本実施形態では、キーワード取得部３５５は、例えば、表示装置１１の状況に基づいて、キーワードを取得する。表示装置１１の状況としては、例えば、表示装置１１の位置、表示装置１１の姿勢、あるいは、表示装置１１の周囲の情報（周囲情報取得装置によって取得される情報）のうちの１以上を含んでもよい。

検索部３５６は、キーワード取得部３５５によって取得されたキーワードのうちの一部または全部を用いて、情報を検索する。
ここで、検索部３５６は、キーワード取得部３５５によって取得されたキーワードのなかから、ユーザー５１によって選択されたキーワードを検索用のキーワードとして受け付けてもよい。この場合、例えば、キーワード取得部３５５によって取得されたキーワードが表示装置１１によって表示されて、表示されたキーワードのなかから、ユーザー５１の動作などに応じて１個以上のキーワードの選択を受け付ける。
本実施形態では、検索部３５６は、通信部３１３によってネットワーク３１を介して、キーワードを用いてデータベース２４に記憶された情報を検索する。
そして、検索部３５６は、検索された結果の情報を取得する。

表示制御部３５７は、表示装置１１におけるＭＲの表示を制御する。具体的には、表示制御部３５７は、表示装置１１によって表示させる画像の情報を生成し、当該画像の情報を通信部３１３によって表示装置１１に送信する。
表示制御部３５７は、例えば、地図情報３３１、キーワード取得部３５５によって取得されたキーワード、あるいは、検索部３５６によって検索された結果などのうちの１以上に基づいて、表示装置１１によって表示させる画像の情報を生成する。つまり、表示制御部３５７は、例えば、地図、キーワード、検索結果などのうちの任意の１以上の情報を表示装置１１に表示させる機能を有する。

ここで、本実施形態では、説明を簡易化するために、１個の制御装置４１によって１個の表示装置１１を制御して監視する場合を示す。
他の例として、１個の制御装置４１によって複数の異なる表示装置１１を監視する場合には、例えば、それぞれの表示装置１１に識別情報が設定され、制御装置４１とそれぞれの表示装置１１とはそれぞれの識別情報を用いて通信する。また、情報処理装置２２およびサーバ装置２１では、例えば、それぞれの表示装置１１に関する情報を、それぞれの識別情報を用いて、管理する。

また、本実施形態では、地図情報３３１が制御装置４１の記憶部３１４に記憶される場合を示したが、他の例として、地図情報３３１は、制御装置４１以外の任意の装置の記憶部に記憶されてもよい。この場合、地図取得部３５２は、制御装置４１から外部の装置にアクセスして当該装置に記憶されている地図情報３３１を取得する。当該装置は、例えば、データベースであってもよく、一例として、データベース２４であってもよい。

＜ＭＲシステムにおける動作の例＞
図５〜図１０を参照して、ＭＲシステム１における動作の例を示す。
図５は、本発明の一実施形態に係るフロア４１１の配置の例を示す図である。
フロア４１１は、発電所がある建物の２階のフロアを表している。図５の例では、１つの階のフロア４１１を示すが、建物が２以上の階数を有する場合には、それぞれの階についても同様なフロアが認識されてもよい。

図５の例では、フロア４１１には、８号機の機器群が配置されている。ここで、８号機は一例であり、他の場所に１号機〜７号機および９号機以降のうちの１以上が配置されていてもよい。また、「号機」は名称の例であり、他の任意の名称であってもよい。
８号機には、３個の軸である１軸４３１、２軸４３２、３軸４３３が配置されている。ここで、１軸４３１〜３軸４３３は一例であり、軸の数は１、２、あるいは、４以上であってもよい。また、「軸」は名称の例であり、他の任意の名称であってもよい。
１軸４３１の領域には、２個の機器４５１、４５２が配置されている。２軸４３２の領域には１個の機器４５３が配置されている。３軸４３３の領域には２個の機器４５４、４５５が配置されている。なお、各軸に配置される機器の数あるいは種類は任意であってもよい。

フロア４１１の８号機には、８号機の領域であると判定される号機領域４２１が設定されている。
１軸４３１には、１軸４３１の領域であると判定される１軸領域４４１が設定されている。
２軸４３２には、２軸４３２の領域であると判定される２軸領域４４２が設定されている。
３軸４３３には、３軸４３３の領域であると判定される３軸領域４４３が設定されている。
それぞれの機器４５１〜４５５には、それぞれの機器４５１〜４５５の領域であると判定される機器領域４６１〜４６５が設定されている。

ここで、フロア４１１、１軸４３１、２軸４３２、３軸４３３、および各機器４５１〜４５５は、実空間に存在するものであるが、本実施形態では、説明の便宜上、制御装置４１が実空間に対応付けた仮想空間におけるものも、同じ符号を用いて説明する。
また、号機領域４２１、１軸領域４４１、２軸領域４４２、３軸領域４４３、機器領域４６１〜４６５は、制御装置４１が実空間に対応付けた仮想空間におけるものである。
これらの仮想空間におけるものは、地図情報３３１によって規定されている。

フロア４１１には、ＡＲマーカー４７１が設置されている。ＡＲマーカー４７１は、例えば、３次元のマーカーであってもよく、あるいは、２次元のマーカーであってもよい。
図５の例では、表示装置１１を装着したユーザー５１がフロア４１１に入ったときにいる位置に近いところに、ＡＲマーカー４７１が設置されている。
制御装置４１では、ＡＲマーカー４７１を検出したことに基づいて、フロア４１１の空間に地図情報３３１を重ねることで、フロア４１１の状況を把握する。

本実施形態では、階層的な領域が規定されている。具体的には、フロア４１１のなかに８号機が含まれている。８号機の号機領域４２１のなかに、１軸領域４３１、２軸領域４３２、および３軸領域４３３が含まれている。１軸領域４４１のなかに２個の機器領域４６１、４６２が含まれている。２軸領域４４２のなかに１個の機器領域４６３が含まれている。３軸領域４４３のなかに２個の機器領域４６４、４６５が含まれている。
つまり、階層の大きい方から小さい方へ向かって、「号機」、「軸」、「機器」といった順に階層化されている。

本実施形態では、具体例として、表示装置１１の周囲情報取得装置が、表示装置１１の外界の画像を撮像する撮像装置を含む場合を示す。このため、具体例として、表示装置１１の周囲の情報の例として表示装置１１の周囲の画像の情報が用いられる場合を示すが、例えば、超音波あるいは温度などのように画像以外の検出情報がさらに用いられて精度の向上が図られてもよい。また、他の例として、表示装置１１の周囲の情報として、画像の情報が用いられずに、超音波あるいは温度などのように画像以外の検出情報が用いられる構成であってもよい。

表示装置１１を装着したユーザー５１がフロア４１１のＡＲマーカー４７１の付近に来ると、表示装置１１によってＡＲマーカー４７１の画像が撮像される。そして、制御装置４１は、当該画像に基づいて、ＡＲマーカー４７１を認識し、フロア４１１に、図５に示されるような仮想空間を設定する。この段階で、制御装置４１は、ユーザー５１の位置が８号機の号機領域４２１に存在することを判定し、「８号機」またはそれに関する語句をキーワードとして設定する。

その後、ユーザー５１が移動して１軸領域４４１に入ったとする。この段階で、制御装置４１は、ユーザー５１の位置が８号機の号機領域４２１に存在するとともに１軸領域４４１に存在することを判定し、「８号機」と「１軸」とでＡＮＤ条件としたときに関する語句、または、これらに関する語句をキーワードとして設定する。

その後、ユーザー５１が移動して機器領域４６１に入ったとする。この段階で、制御装置４１は、ユーザー５１の位置が８号機の号機領域４２１に存在するとともに１軸領域４４１に存在し、かつ機器領域４６１に存在することを判定し、「８号機」と「１軸」と機器４５１の「機器」とでＡＮＤ条件としたときに関する語句、または、これらに関する語句をキーワードとして設定する。

このように、ユーザー５１が、フロア４１１に存在してそれよりも詳細な領域には存在しない状態から、フロア４１１における８号機の号機領域４２１に存在してそれよりも詳細な領域には存在しない状態へ移行し、次に、号機領域４２１と１軸領域４４１に存在してそれよりも詳細な領域には存在しない状態へ移行し、そして、号機領域４２１と１軸領域４４１と機器４５１に存在する状態へ移行するにしたがって、より詳細な領域に関するキーワードが自動的に絞り込まれて設定されていく。
ここで、本実施形態では、広い領域から次第に詳細な領域に行く場合に、ＡＮＤ条件でキーワードを絞り込むことが行われるが、他の条件でキーワードが設定されてもよい。

なお、ここではユーザー５１が広い領域から次第に詳細な領域に移動する場合を示したが、逆に、ユーザー５１が詳細な領域からより広い領域へ移動していく場合には、次第に、キーワードの絞り込みが解除されていく。つまり、この場合、キーワードが詳細に絞り込まれた状態から、それほど絞り込まれていない状態へ移行していく。
また、ここではユーザー５１の移動を規定したが、ユーザー５１がどのように移動するかに関わらず、ユーザー５１が存在する位置に応じて、当該位置を含む領域に応じてキーワードが絞り込まれた状態となる。

ここで、それぞれの状態におけるキーワードとしては、種々なキーワードが用いられてもよい。
例えば、ユーザー５１がフロア４１１に存在してそれよりも詳細な領域には存在しない状態では、制御装置４１は、地図情報３３１に基づいて、フロア４１１に関するキーワードを設定する。
例えば、ユーザー５１が、フロア４１１における８号機の号機領域４２１に存在してそれよりも詳細な領域には存在しない状態では、制御装置４１は、地図情報３３１に基づいて、フロア４１１にある８号機に関するキーワードを設定する。なお、この状態において、制御装置４１は、より広い領域であるフロア４１１に関するキーワードについても設定してもよく、あるいは、設定しなくてもよい。

例えば、ユーザー５１が、号機領域４２１と１軸領域４４１に存在してそれよりも詳細な領域には存在しない状態では、制御装置４１は、地図情報３３１に基づいて、フロア４１１にある８号機にある１軸４３１に関するキーワードを設定する。なお、この状態において、制御装置４１は、より広い領域であるフロア４１１に関するキーワードあるいはフロア４１１にある８号機に関するキーワードのうちの１以上についても設定してもよく、あるいは、設定しなくてもよい。
例えば、ユーザー５１が、号機領域４２１と１軸領域４４１と機器領域４６１に存在する状態では、制御装置４１は、地図情報３３１に基づいて、フロア４１１にある８号機にある１軸４３１にある機器４５１に関するキーワードを設定する。なお、この状態において、制御装置４１は、より広い領域であるフロア４１１に関するキーワード、フロア４１１にある８号機に関するキーワード、あるいはフロア４１１にある８号機にある１軸４３１に関するキーワードのうちの１以上についても設定してもよく、あるいは、設定しなくてもよい。

図６（Ａ）〜（Ｅ）は、本発明の一実施形態に係るキーワードの絞り込みの例を示す図である。
図６（Ａ）は、フロアに関するキーワードを示してある。本例では、１階を表す「１ＦＬ」、２階を表す「２ＦＬ」、および３階を表す「３ＦＬ」がある。
図６（Ｂ）は、２階にある号機に関するキーワードを示してある。本例では、２階の７号機を表す「２ＦＬ ７号機」、および２階の８号機を表す「２ＦＬ ８号機」がある。
図６（Ｃ）は、軸に関するキーワードを示してある。本例では、「１軸」、「２軸」、「３軸」、およびすべての軸に共通であることを表す「共通」がある。
図６（Ｄ）は、機器に関するキーワードを示してある。本例では、「グランド蒸気コンデンサのファン」、「ＳＴ主要弁」、「電源盤」、「その他」がある。

図６（Ｅ）は、フロア、号機、軸、機器といった階層が次第に特定されていった結果としてキーワードが得られた後に、任意のキーワードを用いて検索された情報が表示される状態を示してある。
本実施形態では、制御装置４１は、表示装置１１を装着したユーザー５１の位置および姿勢に基づいてキーワードを自動的に設定して、設定されたキーワードの情報を表示装置１１によって表示させる。このようなキーワードの情報は、例えば、ユーザー５１が空間に階層的に設けられた領域あるいは機器などのところを移動していくことなどに応じて、階層的に変化していく。
また、制御装置４１は、表示装置１１によって検出されたユーザー５１の頭部の動きなどに基づいて、ユーザー５１によって選択されたキーワードを取得する。そして、制御装置４１は、取得されたキーワードを用いてデータベース２４を検索し、検索された結果の情報を表示装置１１によって表示させる。

ここで、本実施形態では、制御装置４１は、ユーザー５１の頭部の動きなどによってキーワードの選択を受け付けるが、他の例として、ユーザー５１の位置および姿勢によって、自動的に、検索に用いるキーワードを設定（選択）してもよい。

図７（Ａ）〜（Ｅ）は、本発明の一実施形態に係るキーワードの絞り込みの他の例を示す図である。
本例では、ユーザー５１が、表示装置１１によって表示されたキーワードとは別のキーワードを選択する場合を示す。

図７（Ａ）は、軸に関するキーワードを示してある。本例では、「１軸」、「２軸」、「３軸」、およびすべての軸に共通であることを表す「共通」がある。
例えば、このとき、ユーザー５１が、図７（Ａ）に表示されたキーワードとは異なるキーワードを設定することを希望したとする。本例では、ユーザー５１は、頭部の動きなどによって、図７（Ｂ）に示される情報を表示させることを指示する。
図７（Ｂ）は、ユーザー５１の指示に応じて表示されるキーワードを示してある。本例では、「タービン建屋」、「ＨＲＳＧ」、「屋外」がある。

例えば、このとき、ユーザー５１が「タービン建屋」を選択することを指示したとする。
図７（Ｃ）は、ユーザー５１の指示に応じて表示されるキーワードを示してある。本例では、１階のタービンを表す「１ＦＬ タービン」、１階の他のものを表す「１ＦＬ その他」、２階のタービンを表す「２ＦＬ タービン」、２階の他のものを表す「２ＦＬ その他」、３階のタービンを表す「３ＦＬ タービン」、３階の他のものを表す「３ＦＬ その他」がある。

例えば、このとき、ユーザー５１が「２ＦＬ タービン」を選択することを指示したとする。
図７（Ｄ）は、ユーザー５１の指示に応じて表示されるキーワードを示してある。本例では、「グランド蒸気コンデンサのファン」、「ＳＴ主要弁」、「電源盤」、「その他」がある。

例えば、このとき、ユーザー５１が所望のキーワードによる検索を行うことを指示したとする。
図７（Ｅ）は、指示されたキーワードを用いて検索された情報が表示される状態を示してある。
本実施形態では、制御装置４１は、表示装置１１を装着したユーザー５１の頭部の動きなどによってキーワードの選択が行われた場合には、選択されたキーワードを用いてデータベース２４を検索し、検索された結果の情報を表示装置１１によって表示させる。

図８は、本発明の一実施形態に係る表示装置１１において表示される情報（表示情報１０１１）の一例を示す図である。
表示情報１０１１は、例えば、キーワードが絞り込まれていく場合に、任意の時点で表示されてもよい。
本例では、説明の便宜上、図面を見たときの上下左右を用いて、説明する。
表示情報１０１１では、最も左の上下の欄には、各種の指示に対応付けられたワードが表示されている。図８の例では、所望の情報を選択することを指示する「えらぶ」、別の装置を選択することを指示する「別の装置」、所望の情報の選択を解除することを指示する「はがす」、１つ前の状態に戻ることを指示する「もどる」、最初の状態に戻ることを指示する「さいしょへ」がある。
ここで、ユーザー５１によって「別の装置」が選択されると、例えば、図７に示されるように、制御装置４１は、表示情報１０１１に含まれるキーワード以外のキーワードをユーザー５１によって設定することを可能とする。

また、表示情報１０１１では、左から２番目以降の上下の欄に、各種の特性値に関する情報が表示されている。
本例では、識別子と、名称と、数値と、単位とが一組になった情報が、上下方向に、複数格納されている。具体的には、識別子である「１Ａ００００」と、名称である「給水温度」と、数値である「４０」と、単位である「°Ｃ」とが一組になった情報、識別子である「１Ａ０００１」と、名称である「給水圧力」と、数値である「４」と、単位である「ＭＰａ」とが一組になった情報、などがある。

図９は、本発明の一実施形態に係る選択情報の貼り付けの例を示す図である。
図９には、給水管２０１１と、選択情報２０２１を示してある。
まず、表示装置１１を装着しているユーザー５１には、現実世界に存在する給水管２０１１が見えているとする。なお、給水管２０１１は、現実世界に存在するものでなくてもよく、他の例として、仮想世界に存在するものであってもよい。

図８に示される表示情報１０１１が表示されている場合に、ユーザー５１によって「えらぶ」が選択されて、さらに、ユーザー５１によって「１Ａ０００ 給水温度 ４０ °Ｃ」という一組の情報が選択されたとする。すると、制御装置４１は、図９に示されるように、選択された一組の情報の内容を有する選択情報２０２１を表示装置１１によって表示させる。

ユーザー５１は、頭部の動きなどによって、選択情報２０２１を給水管２０１１あるいはその付近に貼り付けることを指示することができる。制御装置４１は、このような指示を受け付けたことに応じて、選択情報２０２１を給水管２０１１あるいはその付近に貼り付ける。本例では、選択情報２０２１を給水管２０１１あるいはその付近に貼り付けることは、選択情報２０２１と給水管２０１１との相対的な配置を維持したまま表示することを表す。
なお、選択情報２０２１を給水管２０１１あるいはその付近に貼り付けるためにユーザー５１によって行われる動作としては、任意の動作が用いられてもよい。

また、ユーザー５１は、頭部の動きなどによって、給水管２０１１あるいはその付近に貼り付けられた選択情報２０２１をはがすことを指示することができる。本例では、図８に示される表示情報１０１１が表示されている場合に、ユーザー５１によって「はがす」が選択されて、さらに、ユーザー５１によって選択情報２０２１が選択されたとする。すると、制御装置４１は、給水管２０１１あるいはその付近に貼り付けられた選択情報２０２１を消去して表示装置１１によって表示されないように制御する。

図１０は、本発明の一実施形態に係る検索結果情報１０２１の例を示す図である。
本例では、説明の便宜上、図面を見たときの上下左右を用いて、説明する。
検索結果情報１０２１は、あるキーワードを用いて検索された結果の情報を表す。
本例では、識別子と、名称と、単位と、日付および数値とが一組になった情報が、左右方向に、複数格納されている。
具体的には、識別子である「２Ｂ００００」と、名称である「ファン入口流量」と、単位である「％」と、日付である「２０１８／８／２６ １７：００」および数値である「７０．１」のように日付と数値とが対応付けられた１以上の上下方向の欄が含まれる一組になった情報などがある。

ここで、本実施形態では、表示装置１１においてユーザー５１によって指示される内容に応じて、様々な処理が行われてもよい。例えば、表示されたキーワードのうちの一部または全部を消去する処理、表示されるキーワードの数あるいは文字数などを増減する調整を実行する処理、検索結果の情報の一部または全部を新たなキーワードとして検索を実行させる処理、キーワードの一覧が表示される状態と表示されない状態とを切り替える処理などが行われてもよい。

＜ＭＲシステムにおいて行われる処理の手順の例＞
図１１は、本発明の一実施形態に係る制御装置４１において行われる処理の手順の例を示す図である。
本フローでは、空間認識および機器配置との対応付けの処理を行う。

（ステップＳ１）
制御装置４１は、空間認識部３５１によって、表示装置１１によって取得された周囲の情報に基づいて、表示装置１１の周囲の３次元空間を認識する。そして、ステップＳ２の処理へ移行する。
なお、表示装置１１によって撮像された３次元空間の画像の情報が周囲の情報として用いられる場合には、例えば、空間認識部３５１によって、当該３次元空間を認識することが行われる。

（ステップＳ２）
制御装置４１は、地図情報３３１に基づいて、機器配置対応付け部３５３によって、認識された３次元空間と機器の配置とを対応付ける。そして、本フローの処理を終了する。

図１２は、本発明の一実施形態に係る制御装置４１において行われる処理の手順の例を示す図である。
本フローでは、キーワードを用いた処理を行う。

（ステップＳ１１）
制御装置４１は、位置姿勢取得部３５４によって、表示装置１１を装着しているユーザー５１の位置と姿勢を取得する。そして、ステップＳ１２の処理へ移行する。

（ステップＳ１２）
制御装置４１は、ユーザー５１の位置と姿勢に基づいて、キーワード取得部３５５によって、キーワードを取得する。そして、ステップＳ１３の処理へ移行する。
ここで、取得されたキーワードは、表示制御部３５７によって、表示装置１１によって表示させてもよい。また、検索部３５６によって、表示されたキーワードのなかから、ユーザー５１によって選択されたキーワードを検索用のキーワードとして受け付けてもよい。

（ステップＳ１３）
制御装置４１は、取得されたキーワードを用いて、検索部３５６によって、データベース２４を検索する。そして、ステップＳ１４の処理へ移行する。

（ステップＳ１４）
制御装置４１は、検索の結果に基づいて、表示制御部３５７によって、情報を表示する。そして、ステップＳ１５の処理へ移行する。

（ステップＳ１５）
制御装置４１は、表示された情報に関して、所定の処理を実行する。そして、本フローの処理を終了する。
ここで、当該所定の処理は、任意の処理であってもよい。また、当該所定の処理は、例えば、あらかじめ定められた処理であってもよく、あるいは、ユーザー５１によって指示された処理であってもよい。

＜第１実施形態について＞
以上のように、本実施形態に係るＭＲシステム１では、例えば、ユーザー５１によって装着される表示装置１１によってＭＲの表示が行われる場合に、データ検索のキー（本実施形態では、キーワード）を受け付けることを、当該ユーザー５１にとって簡易に、行うことができる。本実施形態に係るＭＲシステム１では、例えば、広大な領域などにＭＲ技術が適用される場合に、監視用の情報などの検索を簡素化することが可能である。

本実施形態に係るＭＲシステム１では、制御装置４１は、表示装置１１によって取得された周囲の情報に基づいて、フロアなどの空間認識を実行しておく。次に、制御装置４１は、空間認識で得られたフロアなどに、機器などの配置を対応付ける。そして、制御装置４１は、フロアなどの内部の基準点と、空間認識の結果とを照合することで、フロアなどの内部におけるユーザー５１の位置を判定する。そして、制御装置４１は、このようなユーザー５１の位置に基づいて、キーワードの情報を表示装置１１によって表示させる。この場合、ユーザー５１が特定の機器などに近付くと、制御装置４１は、当該機器などに関連するキーワードなどの情報を表示装置１１によって表示させる。制御装置４１は、ユーザー５１によって行われる指示などに基づいて、キーワードを用いて検索を行い、検索の結果の情報を表示装置１１によって表示させる。

具体例として、本実施形態に係るＭＲシステム１では、表示装置１１を装着したユーザー５１が、中央監視場所などを出発して、所定のフロアに到着し、所定の領域あるいは所定の機器などに近付いていくにしたがって、近傍にある機器などに関連するキーワードが自動的に絞り込まれていく。
また、本実施形態に係るＭＲシステム１では、表示装置１１を装着したユーザー５１によって簡易な操作が行われるだけで、自動的なキーワードの絞り込み、および、キーワードを用いた自動的な検索などが可能である。また、本実施形態に係るＭＲシステム１では、表示装置１１を装着したユーザー５１によって操作が行われなくても、自動的にキーワードを絞り込んで検索を行うように構成することも可能である。
また、本実施形態に係るＭＲシステム１では、例えば、機器などのそれぞれごとにＡＲマーカーを設置しなくてもよいため、ＡＲマーカーの数を低減させることができる。

また、本実施形態に係るＭＲシステム１では、表示装置１１を装着したユーザー５１によって行われる操作に応じて、表示装置１１によって表示されるキーワードなどの情報の一部または全部を所定の機器などのように所定の箇所に貼り付けること、あるいは、所定の箇所に貼り付けられた情報をはがすこと、が可能である。したがって、本実施形態に係るＭＲシステム１では、例えば、ユーザー５１によって所定の作業が行われる場合に、当該作業に関する情報が作業場の関連する所定の機器などに貼り付けられてユーザー５１によって視認される状態とすることで、ユーザー５１にとって作業をし易くすることが可能である。

［第２実施形態］
第２実施形態を説明する。
本実施形態では、説明の便宜上、第１実施形態に係る図１に示される符号と同じ符号を用いて説明する。

＜表示装置＞
第１実施形態では、表示装置１１と制御装置４１とを別体で備え、制御装置４１が表示装置１１を制御することで、表示装置１１においてＭＲの表示が行われるＭＲシステム１を示した。
本実施形態では、第１実施形態に係る制御装置４１の機能の一部または全部と同様な機能を表示装置１１に備えることで、表示装置１１が単独でＭＲの表示を行うことが可能な構成とする。

概略的には、本実施形態に係る表示装置１１は、第１実施形態において有していた機能に加えて、第１実施形態に係る制御装置４１の制御部３１５と同様な機能を備える。
また、本実施形態に係る表示装置１１では、地図情報３３１と同様な情報を記憶部１１２に記憶している。他の例として、地図情報３３１は、表示装置１１以外の場所の記憶部（図示せず）に記憶されてもよく、この場合、表示装置１１は、必要に応じて、当該記憶部に記憶された情報を取得する。
ただし、第１実施形態において行われる表示装置１１と制御装置４１との通信を行う機能は、本実施形態では、表示装置１１に備えられなくてよい。

以上のように、本実施形態に係る表示装置１１では、第１実施形態の場合と同様に、例えば、ユーザー５１によって装着される表示装置１１によってＭＲの表示が行われる場合に、データ検索のキー（本実施形態では、キーワード）を受け付けることを、当該ユーザー５１にとって簡易に、行うことができる。本実施形態に係る表示装置１１では、例えば、広大な領域などにＭＲ技術が適用される場合に、監視用の情報などの検索を簡素化することが可能である。

［第３実施形態］
第３実施形態を説明する。
本実施形態では、説明の便宜上、第１実施形態に係る図１に示される符号と同じ符号を用いて説明する。

＜ＭＲシステム＞
本実施形態に係るＭＲシステム１では、全体としては、第１実施形態に係るＭＲシステム１と同様な処理が行われる。
本実施形態では、第１実施形態に係る表示装置１１、携帯装置１２、およびサーバ装置２１の制御装置４１などのそれぞれに備えられた機能部のそれぞれが、ＭＲシステム１における任意の装置に備えられてもよい。つまり、ＭＲシステム１において、それぞれの機能部が任意のところに備えられていても、全体として、第１実施形態に係るＭＲシステム１と同様な処理を行うことができればよい。なお、複数の異なる装置に備えられた機能部の間で通信を行うことが必要であれば、これら複数の異なる装置の間で必要な情報を通信する。

以上のように、本実施形態に係るＭＲシステム１では、第１実施形態の場合と同様に、例えば、ユーザー５１によって装着される表示装置１１によってＭＲの表示が行われる場合に、データ検索のキー（本実施形態では、キーワード）を受け付けることを、当該ユーザー５１にとって簡易に、行うことができる。本実施形態に係るＭＲシステム１では、例えば、広大な領域などにＭＲ技術が適用される場合に、監視用の情報などの検索を簡素化することが可能である。

＜以上の実施形態に関する構成例＞
一構成例として、制御装置４１は、ユーザー５１に装着されて実空間の光を表示部に透過させて仮想的な画像を当該表示部に表示することが可能な表示装置１１の周囲の情報を取得する周囲情報取得装置（本実施形態では、検出部１１４に含まれる周囲情報取得装置）によって取得された情報に基づいて空間を認識する空間認識部３５１と、空間認識部３５１によって認識された空間と所定の地図情報３３１とを対応付ける対応付け部（本実施形態では、機器配置対応付け部３５３）と、対応付け部による対応付けの結果および表示装置１１の状況に基づいてキーワードを取得するキーワード取得部３５５と、キーワード取得部３５５によって取得されたキーワードを表示装置１１によって表示させる表示制御部３５７と、を備える。

一構成例として、制御装置４１では、表示装置１１の状況は、表示装置１１の位置（本実施形態では、位置姿勢取得部３５４によって取得される位置）、表示装置１１の姿勢（本実施形態では、位置姿勢取得部３５４によって取得される姿勢）、あるいは、周囲情報取得装置によって取得される情報のうちの１以上を含む。
一構成例として、制御装置４１では、キーワードは、表示装置１１の状況に応じて、階層的に変化する。
一構成例として、制御装置４１では、キーワードを用いて検索を行う検索部３５６を備え、表示制御部３５７は、検索部３５６によって検索された情報を表示装置１１によって表示させる。
一構成例として、制御装置４１では、表示制御部３５７は、ユーザー５１によって行われる指示に応じて、キーワードまたは検索部３５６によって検索された情報（図９の例では、選択情報２０２１）のうちの少なくとも一方を所定の箇所（図９の例では、給水管２０１１）に貼り付けた表示を行う。

一構成例として、プログラムを提供することが可能である。
すなわち、プログラムは、ユーザー５１に装着されて実空間の光を表示部に透過させて仮想的な画像を当該表示部に表示することが可能な表示装置１１の周囲の情報を取得する周囲情報取得装置によって取得された情報に基づいて空間を認識する機能と、認識された空間と所定の地図情報３３１とを対応付ける機能と、対応付けの結果および表示装置１１の状況に基づいてキーワードを取得する機能と、取得されたキーワードを表示装置１１によって表示させる機能と、をコンピュータに実現させるためのプログラムである。

一構成例として、システム（本実施形態では、ＭＲシステム１）は、ユーザー５１に装着されて実空間の光を表示部に透過させて仮想的な画像を当該表示部に表示することが可能な表示装置１１と、サーバ装置２１と、を有する。
当該システムは、表示装置１１の周囲の情報を取得する周囲情報取得装置によって取得された情報に基づいて空間を認識する空間認識部（本実施形態では、空間認識部３５１）と、空間認識部によって認識された空間と所定の地図情報３３１とを対応付ける対応付け部（本実施形態では、機器配置対応付け部３５３）と、対応付け部による対応付けの結果および表示装置１１の状況に基づいてキーワードを取得するキーワード取得部（本実施形態では、キーワード取得部３５５）と、キーワード取得部によって取得されたキーワードを表示装置１１によって表示させる表示制御部（本実施形態では、表示制御部３５７）と、を備える。
なお、当該システムに備えられる各機能部は、例えば、表示装置１１とサーバ装置２１とのいずれに備えられてもよい。例えば、一部の機能部が表示装置１１に備えられて、他の機能部がサーバ装置２１に備えられてもよい。

＜以上の実施形態について＞
ここで、以上に示した実施形態に係る各装置（例えば、表示装置１１、携帯装置１２、サーバ装置２１、情報処理装置２２、ルータ装置２５、制御装置４１など）の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録（記憶）して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、オペレーティング・システム（ＯＳ：Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）あるいは周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
また、コンピュータ読み取り可能な記録媒体は、例えば、非一時的記録媒体である。

さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークあるいは電話回線等の通信回線を介してプログラムが送信された場合のサーバあるいはクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）あるいは電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１…ＭＲシステム、１１…表示装置、１２…携帯装置、２１…サーバ装置、２２…情報処理装置、２３…ディスプレイ装置、２４…データベース、２５…ルータ装置、３１…ネットワーク、５１…ユーザー、６１…オペレーター、１１１、２１３、３１３…通信部、１１２、２１４、３１４…記憶部、１１３…表示部、１１４…検出部、１１５、２１６、３１５…制御部、１３１、３５７…表示制御部、１３２…検出情報送信制御部、２１１、３１１…入力部、２１２、３１２…出力部、２１５…位置検出部、２３１…位置情報送信制御部、３３１…地図情報、３５１…空間認識部、３５２…地図取得部、３５３…機器配置対応付け部、３５４…位置姿勢取得部、３５５…キーワード取得部、３５６…検索部、４１１…フロア、４２１…号機領域、４３１…１軸、４３２…２軸、４３３…３軸、４４１…１軸領域、４４２…２軸領域、４４３…３軸領域、４５１〜４５５…機器、４６１〜４６５…機器領域、１０１１…表示情報、１０２１…検索結果情報、２０１１…給水管、２０２１…選択情報

Claims (7)

1. ユーザーに装着されて実空間の光を表示部に透過させて仮想的な画像を前記表示部に表示することが可能な表示装置の周囲の情報を取得する周囲情報取得装置によって取得された前記情報に基づいて空間を認識する空間認識部と、
   前記空間認識部によって認識された前記空間と所定の地図情報とを対応付ける対応付け部と、
   前記対応付け部による対応付けの結果および前記表示装置の状況に基づいてキーワードを取得するキーワード取得部と、
   前記キーワード取得部によって取得された前記キーワードを前記表示装置によって表示させる表示制御部と、
   を備える制御装置。
2. 前記表示装置の状況は、前記表示装置の位置、前記表示装置の姿勢、あるいは、前記周囲情報取得装置によって取得される前記情報のうちの１以上を含む、
   請求項１に記載の制御装置。
3. 前記キーワードは、前記表示装置の状況に応じて、階層的に変化する、
   請求項１または請求項２のいずれか１項に記載の制御装置。
4. 前記キーワードを用いて検索を行う検索部を備え、
   前記表示制御部は、前記検索部によって検索された情報を前記表示装置によって表示させる、
   請求項１から請求項３のいずれか１項に記載の制御装置。
5. 前記表示制御部は、前記ユーザーによって行われる指示に応じて、前記キーワードまたは前記検索部によって検索された情報のうちの少なくとも一方を所定の箇所に貼り付けた表示を行う、
   請求項４に記載の制御装置。
6. ユーザーに装着されて実空間の光を表示部に透過させて仮想的な画像を前記表示部に表示することが可能な表示装置の周囲の情報を取得する周囲情報取得装置によって取得された前記情報に基づいて空間を認識する機能と、
   認識された前記空間と所定の地図情報とを対応付ける機能と、
   前記対応付けの結果および前記表示装置の状況に基づいてキーワードを取得する機能と、
   取得された前記キーワードを前記表示装置によって表示させる機能と、
   をコンピュータに実現させるためのプログラム。
7. ユーザーに装着されて実空間の光を表示部に透過させて仮想的な画像を前記表示部に表示することが可能な表示装置と、サーバ装置と、を有するシステムであって、
   前記表示装置の周囲の情報を取得する周囲情報取得装置によって取得された前記情報に基づいて空間を認識する空間認識部と、
   前記空間認識部によって認識された前記空間と所定の地図情報とを対応付ける対応付け部と、
   前記対応付け部による対応付けの結果および前記表示装置の状況に基づいてキーワードを取得するキーワード取得部と、
   前記キーワード取得部によって取得された前記キーワードを前記表示装置によって表示させる表示制御部と、
   を備える、
   システム。

Images