JP2022098268A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】仮想の画像が表示デバイスの手前側に並べて配置される場合における仮想の画像と表示デバイスとの連携を実現する。【解決手段】情報処理装置は、仮想の画像を現実の空間内に配置するデバイスを制御するプロセッサを有し、プロセッサは、物理的な表示デバイスを有する外部の端末と自装置とが接続している場合において、表示デバイスの手前側に仮想の画像が配置されるとき、仮想の画像として、端末の動作を指示するボタンを配置する。【選択図】図７

Description

本発明は、情報処理装置及びプログラムに関する。

今日、現実の世界と仮想の視覚情報とが合成された仮想の世界を視認させる技術がある。この種の技術は、拡張現実（すなわちＡＲ：Augmented Reality）や複合現実（すなわちＭＲ：Mixed Reality）と呼ばれる。

特許第５２６３０４９号公報

拡張現実や複合現実等の体験を可能とするデバイス（以下「ｘＲデバイス」という）の普及に伴い、今後は、物理的な表示デバイスに表示される画面（以下「実画面」という）とｘＲデバイスにより表示される仮想の画像の両方を同時に見る機会も増えると予想される。例えば仮想の画像を、表示デバイスの手前側に並べて表示する使い方も予想される。

本発明は、仮想の画像が表示デバイスの手前側に並べて配置される場合における仮想の画像と表示デバイスとの連携を実現することを目的とする。

請求項１に記載の発明は、仮想の画像を現実の空間内に配置するデバイスを制御するプロセッサを有し、前記プロセッサは、物理的な表示デバイスを有する外部の端末と自装置とが接続している場合において、当該表示デバイスの手前側に前記仮想の画像が配置されるとき、前記仮想の画像として、前記端末の動作を指示するボタンを配置する情報処理装置である。
請求項２に記載の発明は、前記ボタンは、選択ボタンである、請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記選択ボタンは、前記端末による動作の実行の可否の選択用である、請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記実行の可否の対象は、前記端末のシステム構成に変更を伴う動作である、請求項３に記載の情報処理装置である。
請求項５に記載の発明は、前記選択ボタンは、前記表示デバイスに表示されている情報に対する同意又は不同意の選択用である、請求項２に記載の情報処理装置である。
請求項６に記載の発明は、前記ボタンは、決定ボタンである、請求項１に記載の情報処理装置である。
請求項７に記載の発明は、前記決定ボタンは、動作の開始を指示する、請求項６に記載の情報処理装置である。
請求項８に記載の発明は、前記プロセッサは、開始した動作の進行の状況を表す情報を、前記仮想の画像として現実の空間内に配置する、請求項３、４又は７に記載の情報処理装置である。
請求項９に記載の発明は、前記プロセッサは、前記表示デバイス上に複数のコンテンツが表示されている場合、前記ボタンが関連する特定のコンテンツを特定する情報を、前記仮想の画像として現実の空間内に配置する、請求項１に記載の情報処理装置である。
請求項１０に記載の発明は、前記情報は、前記特定のコンテンツの上空の現実の空間内に配置される、請求項９に記載の情報処理装置である。
請求項１１に記載の発明は、前記ボタンは、アプリケーションに紐付けられたアイコンである、請求項１に記載の情報処理装置である。
請求項１２に記載の発明は、前記アプリケーションは、メッセージアプリであり、前記アイコンは、メッセージの受信の通知用である、請求項１１に記載の情報処理装置である。
請求項１３に記載の発明は、前記プロセッサは、予め定めた第１の条件を満たす場合、前記端末の前記表示デバイスに表示されているカーソルを、前記仮想の画像としての現実の空間内への配置に切り替える、請求項１に記載の情報処理装置である。
請求項１４に記載の発明は、前記プロセッサは、予め定めた第２の条件を満たす場合、前記仮想の画像として現実の空間内に配置されている前記カーソルを、前記表示デバイスによる表示に切り替える、請求項１３に記載の情報処理装置である。
請求項１５に記載の発明は、前記プロセッサは、前記ボタンの操作が確認されない状態で予め定めた事象が検知された場合、アラームを出力する請求項１に記載の情報処理装置である。
請求項１６に記載の発明は、前記予め定めた事象は、自装置の電源をオフする操作、前記端末の電源をオフする操作、装着されている自端末を身体から取り外す操作、接続を解除する操作、自端末と当該端末との距離が閾値を超える場合、及び、現実の空間内に配置されている前記仮想の画像が前記表示デバイスの手前側の位置から外れた場合のうちのいずれか１つである、請求項１５に記載の情報処理装置である。
請求項１７に記載の発明は、前記プロセッサは、前記ボタンの操作が確認されない状態のまま解除された前記端末との接続が再開された場合、当該ボタンを前記仮想の画像として現実の空間内に再配置する、請求項１に記載の情報処理装置である。
請求項１８に記載の発明は、前記プロセッサは、現実の空間内に配置される前記仮想の画像と前記表示デバイスとの位置関係が予め定めた条件を満たさない場合、現実の空間内への前記仮想の画像の配置を停止する、請求項１に記載の情報処理装置である。
請求項１９に記載の発明は、現実の空間内への前記仮想の画像の配置を停止する場合、前記プロセッサは、現実の空間内から当該仮想の画像を徐々にフェードアウトする、請求項１８に記載の情報処理装置である。
請求項２０に記載の発明は、現実の空間内への前記仮想の画像の配置を停止する場合、前記プロセッサは、当該仮想の画像の配置を停止する前に停止を示唆するアラームを出力する、請求項１８又は１９に記載の情報処理装置である。
請求項２１に記載の発明は、前記プロセッサは、現実の空間内に配置される前記仮想の画像と前記表示デバイスとの位置関係が予め定めた条件を満たさない場合でも、事前の設定があるときは、現実の空間内への当該仮想の画像の配置を継続する、請求項１８に記載の情報処理装置である。
請求項２２に記載の発明は、前記プロセッサは、現実の空間内に配置される前記仮想の画像と前記表示デバイスとの位置関係が予め定めた条件を満たした場合、現実の空間内への前記仮想の画像の配置を再開させる、請求項１に記載の情報処理装置である。
請求項２３に記載の発明は、現実の空間内への前記仮想の画像の配置を再開する場合、前記プロセッサは、現実の空間内に当該仮想の画像を徐々にフェードインする、請求項２２に記載の情報処理装置である。
請求項２４に記載の発明は、現実の空間内への前記仮想の画像の配置を再開する場合、前記プロセッサは、当該仮想の画像の配置を再開する前に再開を示唆するアラームを出力する、請求項２２又は２３に記載の情報処理装置である。
請求項２５に記載の発明は、前記プロセッサは、現実の空間内への配置が停止されている前記仮想の画像と前記表示デバイスとの位置関係が予め定めた条件を満たす場合でも、事前の設定があるときは、現実の空間内への当該仮想の画像の配置の停止を継続する、請求項２２に記載の情報処理装置である。
請求項２６に記載の発明は、カメラを更に有し、前記プロセッサは、前記カメラが撮像する範囲に前記表示デバイスが含まれる場合、予め定めたタイミングで、当該表示デバイスに表示されている画面を撮像して保存する、請求項１に記載の情報処理装置である。
請求項２７に記載の発明は、仮想の画像を現実の空間内に配置するデバイスを制御するコンピュータに、物理的な表示デバイスを有する外部の端末と自端末とが接続している状態において、当該表示デバイスの手前側に前記仮想の画像を配置する機能と、前記仮想の画像として、前記端末の動作を指示するボタンを配置する機能と、を実現させるためのプログラムである。

請求項１記載の発明によれば、仮想の画像が表示デバイスの手前側に並べて配置される場合における仮想の画像と表示デバイスとの連携を実現できる。
請求項２記載の発明によれば、選択ボタンの表示をユーザに気付き易くできる。
請求項３記載の発明によれば、選択を要する操作の存在にユーザを気付き易くできる。
請求項４記載の発明によれば、重要性の高い操作の存在にユーザを気付き易くできる。
請求項５記載の発明によれば、重要性の高い操作の存在にユーザを気付き易くできる。
請求項６記載の発明によれば、決定ボタンの表示をユーザに気付き易くできる。
請求項７記載の発明によれば、決定を要する操作の存在をユーザに気付き易くできる。
請求項８記載の発明によれば、開始した動作の進行の状況の確認を容易にできる。
請求項９記載の発明によれば、表示デバイス上に複数のコンテンツが表示されていても、ボタンに関連するコンテンツの特定が容易になる。
請求項１０記載の発明によれば、ユーザの誤解を低減できる。
請求項１１記載の発明によれば、操作が可能なアイコンの存在をユーザに気付き易くできる。
請求項１２記載の発明によれば、受信されたメッセージの存在をユーザに気付き易くできる。
請求項１３記載の発明によれば、表示デバイス上から仮想の画像としてのカーソルを移動することで、ユーザによるボタン操作を促進できる。
請求項１４記載の発明によれば、ボタンが操作されない場合にも、表示デバイス上の操作を可能にできる。
請求項１５記載の発明によれば、操作が終わっていないボタンの存在をユーザに気付き易くできる。
請求項１６記載の発明によれば、操作が終わっていないボタンの操作を促すことができる。
請求項１７記載の発明によれば、操作が終わっていないボタンの存在をユーザに気付き易くできる。
請求項１８記載の発明によれば、表示デバイスとの連携が不要な状況では仮想の画像の配置を停止できる。
請求項１９記載の発明によれば、仮想の画像の配置の停止を現実の空間内で視認される態様の変化から予告できる。
請求項２０記載の発明によれば、仮想の画像の配置の停止を予告できる。
請求項２１記載の発明によれば、ボタンの存在をユーザに気付き易くできる。
請求項２２記載の発明によれば、表示デバイスとの連携が可能な状況では仮想の画像の配置を再開できる。
請求項２３記載の発明によれば、仮想の画像の配置の再開を現実の空間内で視認される態様の変化から予告できる。
請求項２４記載の発明によれば、仮想の画像の配置の再開を予告できる。
請求項２５記載の発明によれば、重要性が低いボタンや即時性が高いイベントの存在については再開させない設定にできる。
請求項２６記載の発明によれば、情報処理装置に設けられているカメラを活用して表示デバイスの画面を記録できる。
請求項２７記載の発明によれば、仮想の画像が表示デバイスの手前側に並べて配置される場合における仮想の画像と表示デバイスとの連携を実現できる。

実施の形態１で想定する情報処理システムの使用例を説明する図である。 コンピュータのハードウェア構成の一例を説明する図である。 ｘＲデバイスのハードウェア構成の一例を説明する図である。 ＡＲモジュールの概念的な構成の一例を説明する図である。 実施の形態１におけるコンピュータとｘＲデバイスとの連携により実行される処理動作の一例を説明する図である。 ディスプレイの手前側にＡＲ画像を配置するモードがオフの場合における見え方の一例を説明する図である。 ディスプレイの手前側にＡＲ画像を配置するモードがオンの場合における見え方の一例を説明する図である。 ディスプレイの手前側にＡＲ画像を配置するモードがオンの場合における見え方の他の例を説明する図である。 ディスプレイの手前側にＡＲ画像を配置するモードがオンの場合における見え方の他の例を説明する図である。 ダウンロードに関連して配置されるＡＲ画像の一例を説明する図である。 ディスプレイの手前側にＡＲ画像を配置するモードがオンの場合における見え方の他の例を説明する図である。 ディスプレイの手前側にＡＲ画像を配置するモードがオンの場合における見え方の他の例を説明する図である。 ディスプレイの手前側にＡＲ画像を配置するモードがオンの場合における見え方の他の例を説明する図である。 ディスプレイの手前側にＡＲ画像を配置するモードがオンの場合における見え方の他の例を説明する図である。 コンピュータの作業中にユーザがディスプレイの左外側に顔を向けた場合のＡＲ画像の配置の変化を説明する図である。（Ａ）はユーザがディスプレイを見ている場合の配置を示し、（Ｂ）はユーザがディスプレイの左外側を見ている場合の配置を示す。 コンピュータの作業中にユーザがディスプレイの上方に顔を向けた場合のＡＲ画像の配置の変化を説明する図である。（Ａ）はユーザがディスプレイを見ている場合の配置を示し、（Ｂ）はユーザがディスプレイの上方を見ている場合の配置を示す。 実施の形態２で使用する処理動作とＡＲ画像の変化の一例を説明する図である。（Ａ）はコンピュータとｘＲデバイスの連携により実行される処理動作の一例を示し、（Ｂ）はＡＲ画像の移動等を示す。 実施の形態３で使用する処理動作とＡＲ画像の変化の一例を説明する図である。（Ａ）はＡＲ画像内のカーソルをディスプレイ側に移動させる処理動作の一例を示し、（Ｂ）はユーザの操作例を示す。 実施の形態３で使用する処理動作とＡＲ画像の変化の一例を説明する図である。（Ａ）はディスプレイに表示されているカーソルをＡＲ画像内に移動させる処理動作の一例を示し、（Ｂ）はユーザの操作例を示す。 実施の形態３で使用する処理動作とＡＲ画像の変化の一例を説明する図である。（Ａ）はＡＲ画像内のカーソルをディスプレイ側に移動させる手法の他の例を示し、（Ｂ）はユーザの操作例を示す。 実施の形態４で想定する指示の一例を説明する図である。 実施の形態５で想定する指示の一例を説明する図である。 実施の形態６におけるコンピュータとｘＲデバイスとの連携により実行される処理動作の一例を説明する図である。 ステップ４２で否定結果が得られた場合のユーザインタフェースの例を示す図である。 ステップ４２で肯定結果が得られた場合のユーザインタフェースの例を示す図である。 実施の形態７で使用する処理動作の一例を説明する図である。（Ａ）はｘＲデバイスの電源がオフされる場合に実行される処理動作の例を示し、（Ｂ）はアラームの出力例を示す。 実施の形態８で使用する処理動作の一例を説明する図である。（Ａ）はｘＲデバイスがユーザから取り外される場合に実行される処理動作の例を示し、（Ｂ）はアラームの出力例を示す。 実施の形態９で使用する処理動作の一例を説明する図である。（Ａ）はｘＲデバイスとコンピュータとの位置の関係が予め定めた条件を満たす場合に実行される処理動作の例を示し、（Ｂ）はアラームの出力例を示す。 実施の形態９におけるＡＲ画像の出力の変化を説明する図である。（Ａ）はｘＲデバイスとコンピュータとの距離が閾値より短い場合におけるＡＲ画像の出力例を示し、（Ｂ）～（Ｄ）はｘＲデバイスとコンピュータとの距離が遠ざかるのに伴い徐々にフェードアウトされる様子を示す。 実施の形態９におけるＡＲ画像の出力の変化の他の例を説明する図である。（Ａ）はｘＲデバイスとコンピュータとの距離が閾値より長い場合におけるＡＲ画像の出力例を示し、（Ｂ）～（Ｄ）はｘＲデバイスとコンピュータとの距離が近づくにつれて徐々にフェードインされる様子を示す。 実施の形態１０で使用する処理動作の一例を説明する図である。（Ａ）はｘＲデバイスの接続が再開される場合に実行される処理動作の例を示し、（Ｂ）は想定する場面を説明する図である。 実施の形態１１におけるコンピュータとｘＲデバイスとの連携により実行される処理動作の一例を説明する図である。 実施の形態１２におけるダイアログボックスの見え方の一例を説明する図である。 実施の形態１３におけるダイアログボックスの見え方の一例を説明する図である。 実施の形態１４におけるｘＲデバイスの使用例を説明する図である。（Ａ）は時点Ｔ１におけるスクリーンショットＴ１の撮像例を示し、（Ｂ）は時点Ｔ２におけるスクリーンショットＴ２の撮像例を示す。 実施の形態１５で使用する情報処理システムの使用例を説明する図である。 実施の形態１６で使用する情報処理システムの使用例を説明する図である。 実施の形態１７で使用する情報処理システムの使用例を説明する図である。 実施の形態１８におけるｘＲデバイスの使用例を説明する図である。（Ａ）はＡさんがＢさんに出会う前の状態を示し、（Ｂ）はＡさんがＢさんに出会った後の状態を示す。 実施の形態１９におけるｘＲデバイスの使用例を説明する図である。 実施の形態１９で使用するｘＲデバイスの概念的な構成の一例を説明する図である。 実施の形態２０で使用する情報処理システムの構成例を説明する図である。

以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜システムの全体構成＞
図１は、実施の形態１で想定する情報処理システム１の使用例を説明する図である。
図１に示す情報処理システム１は、相互に接続されたコンピュータ１０とｘＲデバイス２０とで構成されている。ここで「接続された」とは、通信が可能な状態をいう。

図１の場合、コンピュータ１０には、１台のｘＲデバイス２０が接続されているが、複数台のｘＲデバイス２０が接続されていてもよい。また、複数台のコンピュータ１０に１台のｘＲデバイス２０が接続されてもよいし、複数台のコンピュータ１０と複数台のｘＲデバイス２０が接続されてもよい。

図１の場合、コンピュータ１０は、ノート型であるが、デスクトップ型でも、タブレット型でもよく、スマートフォンでもよい。ここでのコンピュータ１０は、ｘＲデバイス２０に対する「外部の端末」の一例である。
コンピュータ１０には、ディスプレイ１１と、キーボード１２と、カメラ１３と、タッチパッド１４とが設けられている。ディスプレイ１１は、物理的な表示デバイスの一例であり、様々な情報が表示される。

図１の場合、ディスプレイ１１には文書Ｄが表示されている。また、ポインティングデバイスとしてのマウス３０が用いられる。
図１の場合、ｘＲデバイス２０は、ユーザＵが頭部に装着するメガネ型のデバイスである。本実施の形態におけるｘＲデバイス２０はカメラを有し、撮像される画像を通じて現実の空間を認識する機能を有している。
カメラ付きのｘＲデバイス２０は、ＡＲグラスやＭＲグラスとも呼ばれる。本実施の形態におけるｘＲデバイス２０は、カメラを有していないスマートグラスでもよい。

ｘＲデバイス２０は、現実の空間には実在していない仮想の画像（以下「ＡＲ画像」ともいう）を現実の空間内に配置する「情報処理装置」の一例である。
ＡＲ画像は、２次元の画像でも、３次元の画像でもよい。図１の場合、１つのＡＲ画像が空中に配置されているが、複数のＡＲ画像を空中に配置してもよい。複数のＡＲ画像を空中に配置する場合、各ＡＲ画像は、ユーザＵから見て左右に並べて配置してもよいし、奥行方向に並べて配置してもよい。

因みに、ＡＲ画像は、現実の空間内の任意の位置に配置が可能である。例えばＡＲ画像は、ディスプレイ１１と同一面上に配置することも可能であれば、ディスプレイ１１よりも手前側、ディスプレイ１１よりも奥側、ディスプレイ１１の外側にも配置が可能である。本実施の形態の場合、ディスプレイ１１の外側とは、ユーザＵの視線の方向について、ディスプレイ１１と重ならい空間をいう。
本実施の形態では、ディスプレイ１１の手前側にＡＲ画像を配置する。換言すると、ユーザＵから見ると、ＡＲ画像とディスプレイ１１とが少なくとも一部で重なるように視認される。

図１では、破線で囲んだ吹き出しにより、ｘＲデバイス２０を装着しているユーザＵが認識している空間の状態を表現する。ユーザＵには、ディスプレイ１１と重なるように配置されたＡＲ画像が視認されている。
本実施の形態では、ｘＲデバイス２０として、メガネ型のデバイスについて説明するが、帽子のように頭部に被るヘッドマウント型のデバイスでもよい。

＜コンピュータの構成＞
図２は、コンピュータ１０のハードウェア構成の一例を説明する図である。
図２に示すコンピュータ１０は、データ処理部１００と、ディスプレイ１１と、キーボード１２と、カメラ１３と、タッチパッド１４と、ハードディスクドライブ（すなわち「ＨＤＤ」）１５と、マイク１６と、スピーカ１７と、通信モジュール１８とを有している。

ディスプレイ１１には、例えば有機ＥＬ（＝Electro Luminescent）ディスプレイや液晶ディスプレイが用いられる。
ディスプレイ１１の表面には、ディスプレイ１１の視認を妨げない透光性を有するタッチセンサが取り付けられていてもよい。タッチセンサを取り付けたディスプレイ１１は、タッチパネルとも呼ばれる。タッチセンサには、例えば静電容量式のフィルムセンサが用いられる。

キーボード１２は、コンピュータ１０に対する操作の入力に用いられる。
カメラ１３は、ディスプレイ１１の枠体等に取り付けられており、コンピュータ１０を操作するユーザＵやディスプレイ１１の前方の風景の撮像に使用される。もっとも、カメラ１３は、コンピュータ１０に対して着脱が可能でもよい。
カメラ１３には、例えばＣＭＯＳ（＝Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（＝Charge-Coupled Device）イメージセンサを使用する。

ユーザＵが装着するｘＲデバイス２０がスマートグラスの場合でも、カメラ１３で撮像された画像を処理して、ユーザＵがコンピュータ１０の前方に位置すること、ディスプレイ１１を見ていること等を検出することが可能である。ユーザＵの視線の方向は、例えば眼を撮像した画像内の白眼や黒眼の位置により推定することが可能である。

タッチパッド１４は、ポインティングデバイスであり、マウス３０と同じく、カーソル等の移動に使用される。
ハードディスクドライブ１５は、磁気ディスクを記録媒体とする補助記憶装置である。本実施の形態では、補助記憶装置としてハードディスクドライブ１５を使用するが、不揮発性の書き換えが可能な半導体メモリを使用してもよい。ハードディスクドライブ１５には、オペレーションシステムやアプリケーションプログラムがインストールされる。

以下では、オペレーションシステムやアプリケーションプログラムを区別せずプログラムという。
また、アプリケーションプログラムを「アプリケーション」や「アプリ」ともいう。
また、ハードディスクドライブ１５には、コンピュータ１０で処理するデータファイルが記憶される。

マイク１６は、音を電気信号に変換するデバイスである。マイク１６を通じて取得されたオーディオデータは、ハードディスクドライブ１５等に記録される他、音声による操作や入力にも使用される。
スピーカ１７は、電子信号を音に変換するデバイスである。スピーカ１７は、例えばアラーム音やガイダンスの出力にも使用される。
通信モジュール１８は、例えばＷｉｆｉ（登録商標）、Bluetooth（登録商標）、イーサネット（登録商標）等により外部の機器と通信する。本実施の形態におけるコンピュータ１０とｘＲデバイス２０は、Bluetoothにより接続されている。

データ処理部１００は、プロセッサ１０１と、ＲＯＭ（＝Read Only Memory）１０２と、ＲＡＭ（＝Random Access Memory）１０３とを有している。
プロセッサ１０１は、例えばＣＰＵ（＝Central Processing Unit）で構成される。プロセッサ１０１は、プログラムの実行を通じて各種の機能を実現する。
ＲＯＭ１０２とＲＡＭ１０３は、いずれも半導体メモリである。ＲＯＭ１０２には、ＢＩＯＳ（＝Basic Input Output System）等が記憶されている。ＲＡＭ１０３は、プログラムの実行に使用される主記憶装置として用いられる。

＜ｘＲデバイスの構成＞
図３は、ｘＲデバイス２０のハードウェア構成の一例を説明する図である。
図３に示すｘＲデバイス２０は、データ処理部２００と、ＡＲモジュール２１と、カメラ２２と、マイク２３と、スピーカ２４と、慣性センサ２５と、測位センサ２６と、バイブレータ２７と、通信モジュール２８とを有している。
ＡＲモジュール２１は、現実には存在しないＡＲ画像をユーザＵに視認させる体験を実現するモジュールであり、光学部品と電子部品で構成される。

ＡＲモジュール２１の代表的な方式には、ユーザＵの眼の前方にハーフミラーを配置する方式、ユーザＵの眼の前方に体積ホログラムを配置する方式、ユーザＵの眼の前方にブレーズド回折格子を配置する方式がある。
この他、ＡＲモジュール２１には、ユーザＵの眼の前方に小型のディスプレイを配置し、カメラ２２で撮像された画像とＡＲ画像を合成した画像をディスプレイに表示する方式がある。

この方式では、微細なピンホールが多数形成された透光性のフィルムを貼り付けたディスプレイに、専用のアルゴリズムで処理した画像を表示する。すなわち、専用のアルゴリズムによる画像の処理と調光との組み合わせにより、鮮明な画像をユーザＵに視認させる。この技術は、視力を矯正する技術としても、既に実用化されている。また、メガネ型のｘＲデバイス２０での使用の予定が、一部のベンダーにおいて公表されている。

カメラ２２には、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサを使用する。カメラ２２の個数は単数でも複数でもよい。例えば２つのカメラ２２を使用する場合、２つのカメラ２２は、フレームのフロント部分の両端に配置する。２つのカメラ２２を用いることでステレオ撮像が可能になり、被写体までの距離の測定や被写体間の前後関係の推定が可能になる。

マイク２３は、ユーザの音声や周囲の音を電気信号に変換するデバイスである。
スピーカ２４は、電気信号を音に変換して出力するデバイスである。なお、スピーカ２４は、骨伝導スピーカや軟骨伝導スピーカでもよい。
なお、スピーカ２４は、ワイヤレスイヤホンのように、ｘＲデバイス２０とは独立したデバイスでもよい。
慣性センサ２５は、例えば６軸センサで構成される。６軸センサは、３軸の加速度センサと３軸の角速度センサで構成される。慣性センサ２５の出力により、ｘＲデバイス２０を装着しているユーザＵの頭部の動きが推定される。

測位センサ２６は、例えば３つ以上のＧＰＳ（＝Global Positioning System）衛星から発信されたＧＰＳ信号の受信により、自端末の位置を測位するＧＰＳモジュールである。
また、測位センサ２６として、屋内用の測位モジュールを別途設けてもよい。屋内用の測位モジュールには、例えばＢＬＥ（＝Bluetooth Low Energy）ビーコンを受信して自端末の位置を測位するモジュール、ＷｉＦｉ（登録商標）信号を受信して自端末の位置を測位するモジュール、自律航法により自端末の位置を測位するモジュール、ＩＭＥＳ信号を受信して自端末の位置を測位するモジュールがある。

バイブレータ２７は、連続した振動又は断続した振動を発生するデバイスである。バイブレータ２７の振動は、ユーザＵに対するアラーム等の通知に使用される。
通信モジュール２８には、例えばＷｉｆｉ（登録商標）、Bluetooth（登録商標）、イーサネット（登録商標）等により外部の機器と通信する。本実施の形態におけるコンピュータ１０とｘＲデバイス２０は、Bluetoothにより接続されている。

データ処理部２００は、プロセッサ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、フラッシュメモリ２０４とを有している。
プロセッサ２０１は、例えばＣＰＵで構成される。プロセッサ２０１は、プログラムの実行を通じて各種の機能を実現する。
ＲＯＭ２０２とＲＡＭ２０３は、いずれも半導体メモリである。ＲＯＭ２０２には、ＢＩＯＳ等が記憶される。ＲＡＭ２０３は、プログラムの実行に使用される主記憶装置である。
フラッシュメモリ２０４は、オペレーティングシステムやファームウェア、プログラムやデータファイルの記録に用いられる。フラッシュメモリ２０４は、補助記憶装置として用いられる。

図４は、ＡＲモジュール２１の概念的な構成の一例を説明する図である。図４に示すＡＲモジュール２１は、ユーザＵの眼の前方にブレーズド回折格子を配置する方式に対応する。
図４に示すＡＲモジュール２１は、導光板２１１と、マイクロディスプレイ２１２と、映像光Ｌ２が入力される回折格子２１３Ａと、映像光Ｌ２が出力される回折格子２１３Ｂとを有している。

導光板２１１は、メガネのレンズに相当する。導光板２１１は、例えば８５％以上の透過率を有する。このため、ユーザＵは、導光板２１１を透過して前方の景色を直接視認することができる。外光Ｌ１は、導光板２１１及び回折格子２１３Ｂを透過するように直進し、ユーザＵの眼Ｅに入射する。

マイクロディスプレイ２１２は、ユーザＵに視認させるＡＲ画像が表示される表示デバイスである。マイクロディスプレイ２１２に表示されたＡＲ画像の光は、映像光Ｌ２として導光板２１１に投影される。映像光Ｌ２は、回折格子２１３Ａにより屈折され、導光板２１１の内部を反射しながら回折格子２１３Ｂに達する。回折格子２１３Ｂは、映像光Ｌ２をユーザＵの眼Ｅの方向に屈折する。
これにより、ユーザＵの眼Ｅには、外光Ｌ１と映像光Ｌ２が同時に入射される。その結果、ユーザＵは、図４に吹き出しで示すように、コンピュータ１０の手前側にＡＲ画像が存在するように視認する。

＜処理動作＞
図５は、実施の形態１におけるコンピュータ１０とｘＲデバイス２０との連携により実行される処理動作の一例を説明する図である。
本実施の形態で使用するコンピュータ１０とｘＲデバイス２０は、それぞれ単独で動作することが可能である。

従って、コンピュータ１０は、ｘＲデバイス２０と連携していない場合にも、単独での動作が可能である。例えばユーザは、ｘＲデバイス２０を装着しないまま、コンピュータ１０の操作が可能である。
ｘＲデバイス２０についても、コンピュータ１０と連携していない場合にも、単独での動作が可能である。例えばｘＲデバイス２０を装着したユーザは、コンピュータ１０がオフ状態でも、現実の空間内にＡＲ画像を視認することが可能である。
図５に示す処理動作は、それぞれが単独でも動作可能であることを前提としている。

図５の場合、ｘＲデバイス２０は、ユーザＵの視線の方向に、接続を開始しているコンピュータ１０のディスプレイ１１（図１参照）があるか否かを判定する（ステップ１）。なお、実際には、ｘＲデバイス２０のプロセッサ２０１（図３参照）が判定等を実行する。
本実施の形態の場合、ユーザＵの視線の方向は、装着されたｘＲデバイス２０に設けられているカメラ２２（図３参照）が撮像する範囲の中央が位置する方向と仮定する。もっとも、「中央」は、点ではなく予め定めた面積を有してよい。ユーザＵは、関心がある方向に顔を向ける傾向があるためである。

ｘＲデバイス２０に、ユーザの視線を追跡するセンサが設けられている場合には、そのセンサが検知した視線の方向を用いてもよい。視線を追跡する技術には、角膜上に光の反射点を生じさせ、その画像を撮像する「角膜反射法」や角膜上に生成された反射パターンを撮像し、専用の画像処理アルゴリズムと生理学的な３次元モデルを使用する「アイトラッキングシステム」等がある。
ｘＲデバイス２０の装着は、例えば側頭部や鼻の部分に配置した接触センサにより検知が可能である。

ステップ１で否定結果が得られている間、ｘＲデバイス２０は、ステップ１の判定を繰り返す。図５の場合、ＡＲ画像は、現実の空間内の特定の座標に固定的に配置されるのではなく、視線の方向の変化に応じて配置される座標が変化する。このため、ｘＲデバイス２０を装着したユーザがコンピュータ１０とは別の方向に視線を向けている場合、ステップ１で否定結果が得られる。

ステップ１で肯定結果が得られた場合、続いて、ｘＲデバイス２０は、ディスプレイ１１の手前側にＡＲ画像を配置するモードがオンか否かを判定する（ステップ２）。
ステップ２で否定結果が得られた場合、ｘＲデバイス２０は、ステップ１の判定に戻る。
なお、ステップ２の判定とステップ１の判定の順番を入れ替えてもよい。ステップ２の判定をステップ１よりも先に実行する場合、ｘＲデバイス２０は、ステップ２で否定結果が得られている間、ステップ２の判定が繰り返される。

ステップ２においても肯定結果が得られた場合、ｘＲデバイス２０は、コンピュータ１０に対し、コンピュータ１０の動作を指示するボタンの表示の移動を要求する（ステップ３）。例えばブラウザの画像がディスプレイ１１に表示されている場合、動作を指示するボタンには、ウェブページを閉じる、ウェブページを進む、ページを戻る、リンクボタン等がある。

また例えば文書Ｄの作成や編集に使用するアプリ（以下「オフィスソフト」ともいう）がコンピュータ１０で実行されている場合、動作を指示するボタンには、ツールバーに配置されるボタンやメニュー等がある。
この他、動作を指示するボタンには、デスクトップ、タスクバー、スタートメニュー等に表示される特定のファイルやアプリケーションに紐付けられたショートカットアイコン、通知用のアイコン等がある。

例えばショートカットアイコンを操作すると、特定のファイルが開かれる。また、ショートカットアイコンを操作すると、紐付けられているアプリケーションが起動される。
また、通知用のアイコンには、電子メールやショートメッセージ（以下「メッセージアプリ」ともいう）等がメッセージの受信時にディスプレイ１１に表示するアイコン等がある。

本実施の形態では、コンピュータ１０の動作の指示に使用するためにユーザが操作するボタンやアイコン等を総称して「ボタン」と呼ぶ。
もっとも、ディスプレイ１１による表示からＡＲ画像による提示に移動するボタンは、動作を指示するボタンの全てではなく、予め定めた種類のボタンに限定してもよい。
例えば選択に用いるボタン（以下「選択ボタン」ともいう）や決定に用いるボタン（以下「決定ボタン」ともいう）だけを移動の対象とし、他のボタンはディスプレイ１１による表示を継続してもよい。なお、ボタンの移動は、該当するボタンを含むダイアログボックスの移動を含む。

選択に用いるボタンには、「はい／いいえ」、「同意／不同意」、「実行する／実行しない」、「進む／戻る」等のように２者択一の他、複数の選択肢の中から一つを選択するボタンも含まれる。複数の選択肢には、「任意の場所のアプリケーションを許可する／ストア以外のアプリケーションをインストールする前に警告する／ストアのアプリケーションのみ許可する」、「保存する／保存しない／キャンセル」等がある。記号の「／」は「又は」の意味で使用する。

また、選択ボタンには、動作の実行の可否の選択に用いるボタンが含まれる。例えばインストール、アンインストール、ダウンロード、アップロード、起動、終了、送信、受信、開く、閉じる等の動作に関する選択に使用される。
本実施の形態の場合、「実行の可否」の選択には、コンピュータ１０のシステム構成に変更を伴う動作が含まれる。この例には、プログラムのインストール、アンインストール、ダウンロード、アップロードがある。

決定ボタンには、例えば「処理を開始します。ＯＫを押してください」とのガイダンスと組で表示される「ＯＫ」ボタンがある。この他、例えば「認証コードを入力してください」とのガイダンスと組で表示される「認証」ボタンがある。
本実施の形態の場合、決定ボタンには、確認用のボタン（以下「確認ボタン」ともいう）も含む。なお、確認ボタンでも選択肢を含む場合は、選択ボタンに含まれる。

ステップ３の要求を受信したコンピュータ１０は、移動の対象とするボタンのディスプレイ１１上における表示を停止し、表示を停止したボタンの画像をｘＲデバイス２０に送信する（ステップ４）。
次に、ｘＲデバイス２０は、受信したボタンの画像をＡＲ画像としてディスプレイ１１の手前側の空間に配置する（ステップ５）。
「手前側」とは、図１に例示したように、コンピュータ１０のディスプレイ１１とｘＲデバイス２０の間の空間をいう。本実施の形態では、同空間のうち、ｘＲデバイス２０を装着しているユーザＵから見たＡＲ画像が、ディスプレイ１１と重なって見える範囲をいう。

本実施の形態の場合、ＡＲ画像内におけるカーソルＣの移動やボタンに対する操作は、コンピュータ１０に接続しているマウス３０（図１参照）を用いて行われる。すなわち、本実施の形態では、ＡＲ画像の表示中も、カーソルＣの操作はマウス３０を通じて実行される。
因みに、ディスプレイ１１のうちユーザＵから見てＡＲ画像と重ならない領域にはカーソルＣの表示を可能にしてもよい。

また、ディスプレイ１１による表示の範囲の外にカーソルＣを移動させる操作が行われると、ＡＲ画像内にカーソルＣが移動される設定としてもよい。この設定の場合、ディスプレイ１１に表示されているカーソルＣをディスプレイ１１の表示の範囲を超えるようにユーザＵが移動すると、ＡＲ画像内のボタンの位置にカーソルＣが移動される。この設定により、ディスプレイ１１に表示されている画像とＡＲ画像の両方に対する操作をマウス３０だけで行える。

キーボード１２（図１参照）やタッチパッド１４（図１参照）等に対する操作は、ＡＲ画像がユーザＵに提示されている間も有効である。
従って、ＡＲ画像がユーザＵに提示されている場合も、キーボード１２等を操作して、テキストの入力やウェブ画像の閲覧等を行える。
本実施の形態のｘＲデバイス２０とコンピュータ１０は、ＡＲ画像が配置される現実の空間内の座標を共有している。

以上の前提の下、本実施の形態におけるコンピュータ１０は、カーソルＣのディスプレイ１１上への表示を停止した後も、カーソルＣを通じたユーザＵの指示の監視を継続する。
すなわち、コンピュータ１０は、ディスプレイ１１に対するボタンの表示を停止した後も、ＡＲ画像に含まれるボタンに対するユーザの指示を検知したか否かを判定する（ステップ６）。

ステップ６で否定結果が得られている間、コンピュータ１０は、ステップ６の判定を繰り返す。もっとも、ＡＲ画像の側に移動されていないボタン等に対する操作を検知した場合には、検知された操作が実行される。
ステップ６で肯定結果が得られた場合、コンピュータ１０は、操作の検知をｘＲデバイス２０に通知する（ステップ７）。

ステップ７の通知を受信したｘＲデバイス２０は、ＡＲ画像の配置を停止する（ステップ８）。すなわち、ディスプレイ１１の手前側からコンピュータ１０の動作を指示するボタンを含むＡＲ画像の配置が停止される。
もっとも、検知された指示とは関係のないボタンについては、ＡＲ画像としての提示を継続してもよい。この他、受け付けた動作の実行に伴う情報の提示、各種のアラームの提示に関係するＡＲ画像の提示は継続してもよい。

一方、ステップ７を実行したコンピュータ１０は、ボタンの操作を通じて受け付けた指示を実行する（ステップ９）。必要に応じ、コンピュータ１０は、ディスプレイ１１へのカーソルＣの表示を再開する。

＜見え方の例＞
＜例１＞
図６は、ディスプレイ１１の手前側にＡＲ画像を配置するモードがオフの場合における見え方の一例を説明する図である。
図６には、図１との対応部分に対応する符号を付して示している。なお、図６に示す見え方は、ｘＲデバイス２０とコンピュータ１０とが接続されていない場合も同じである。

図６に示す見え方は、ステップ１（図５参照）やステップ２（図５参照）で否定結果が得られている場合に相当する。
図中の吹き出しは、ｘＲデバイス２０を装着しているユーザが脳内で認識している空間の様子を表している。ユーザが脳内で認識している空間の様子は、物理的に実在する現実の空間と同じである。
因みに、ディスプレイ１１上には、文書ＤとカーソルＣが表示されている。文書Ｄはコンテンツの一例である。

図７は、ディスプレイ１１の手前側にＡＲ画像を配置するモードがオンの場合における見え方の一例を説明する図である。図７には、図６との対応部分に対応する符号を付して示している。
図７に示す見え方は、ステップ１（図５参照）及びステップ２（図５参照）の両方で肯定結果が得られた場合に相当する。
図中の吹き出しは、ｘＲデバイス２０を装着しているユーザＵが脳内で認識している空間の様子を表している。図７の場合、現実の空間には存在しないＡＲ画像が存在するように認識される。

図７の場合、ＡＲ画像には、「この内容に合意しますか？」のテキストと、「はい」ボタンと、「いいえ」ボタンと、カーソルＣが含まれている。図７に示すＡＲ画像は、選択ボタンを含むダイアログボックスである。
図７に示すダイアログボックスは、例えば当事者間での合意が求められる文書Ｄがディスプレイ１１に表示されている場合を想定する。

図７の場合、カーソルＣは、ＡＲ画像側に移動しているので、コンピュータ１０のディスプレイ１１にカーソルＣは表示されていない。
図７の場合、ユーザＵがマウス３０を操作すると、ＡＲ画像内のカーソルＣが移動し、「はい」又は「いいえ」のボタンに位置を合わせた状態で左クリックの操作があると、「はい」又は「いいえ」に対応する処理がコンピュータ１０で実行される。

また、図７の場合、ＡＲ画像の透過の度合いが高いので、ユーザから見て奥側に位置するディスプレイ１１の表示の内容が透けて見えている。このため、文書Ｄが透けて見えている。
もっとも、ＡＲ画像の透過の度合いを低くして、ディスプレイ１１の表示の内容が透けて見えないようにすることも、ＡＲモジュール２１（図３参照）の方式によっては可能である。
このＡＲ画像の配置は、ユーザが「はい」又は「いいえ」のボタンを操作するまで継続される。

ＡＲ画像が、ディスプレイ１１の表示面よりも手前側に配置されることで、ダイアログボックスへのユーザの注意を引くことが可能になる。換言すると、ダイアログボックスを見落とすリスクが低くなる。
特に、本実施の形態の場合におけるＡＲ画像は、ディスプレイ１１よりもユーザＵに近い空中に配置されるので、ダイアログボックスの出現に気づきやすい。

また、ボタンの操作が検知されるまで、ディスプレイ１１の手前側にＡＲ画像の配置が継続されるので、ボタンの操作の前に別の作業が行われる場合でも、ボタンの操作忘れが少なくなる。例えばディスプレイ１１にダイアログボックスを表示する場合には、別の作業を行う際に、ボタンの操作が必要なダイアログボックスが作業中の画面の背後に隠れることがあり、そのままボタンの操作が残っていることを忘れる可能性がある。
また、ＡＲ画像がディスプレイ１１の手前側に配置され続けると、ＡＲ画像が配置される位置やサイズによっても、ディスプレイ１１の視認性が低下するので、心理的にもボタンの操作をユーザに促すことが可能になる。

＜例２＞
図８は、ディスプレイ１１の手前側にＡＲ画像を配置するモードがオンの場合における見え方の他の例を説明する図である。図８には、図７との対応部分に対応する符号を付して示している。
図８の場合も、図中の吹き出しは、ｘＲデバイス２０を装着しているユーザＵが脳内で認識している空間の様子を表している。

図８の場合、ＡＲ画像には、「このファイルを開きますか？」のテキストと、「ＡＢＣ．ｄｏｃ」のテキストと、「はい」ボタンと、「いいえ」ボタンと、カーソルＣが含まれている。図８に示すＡＲ画像も、選択に用いるボタンを含むダイアログボックスの例である。
図８に示すダイアログボックスは、コンピュータ１０で処理の対象となる文書Ｄのファイルを開く処理を実行する前に、ユーザＵに提示される。

本実施の形態における文書Ｄには、いわゆるテキストの他、作図アプリケーションにより描画された２次元の図面、ＣＡＤ（＝Computer Aided Design）アプリケーションを用いて作図された２次元や３次元の図面、写真、スキャナで読み取った画像などの静止画像、映像等の動画像、ＦＡＸ、電子メール、ログデータ、機器の設定に関するデータ等がある。
また、文書Ｄは、レントゲンやＣＴ画像等の医療系のデータ、ゲーム系のアプリケーションのデータ、地図データでもよい。

＜例３＞
図９は、ディスプレイ１１の手前側にＡＲ画像を配置するモードがオンの場合における見え方の他の例を説明する図である。図９には、図７との対応部分に対応する符号を付して示している。
図９の場合も、図中の吹き出しは、ｘＲデバイス２０を装着しているユーザＵが脳内で認識している空間の様子を表している。

図９の場合、ＡＲ画像には、「次のプログラムのダウンロードを開始しますか？」のテキストと、「プログラム名： ＸＹＺ」のテキストと、「はい」ボタンと、「いいえ」ボタンと、カーソルＣが含まれている。図９に示すＡＲ画像も、選択に用いるボタンを含むダイアログボックスの例である。
図９に示すダイアログボックスは、プログラムのダウンロードが開始される前に、ユーザＵに提示される。

なお、プログラムのダウンロードは、ダンロード後にコンピュータ１０へのインストールを前提とする動作である点で、システム構成に変更を伴う動作の予備的な動作の一例でもある。
ダウンロードの実行中も、ユーザＵは、コンピュータ１０を用いて他の作業が可能である。従って、ダウンロードの開始に必要なボタンを含むＡＲ画像をディスプレイ１１の手前側に配置してユーザＵに操作を促すことにより、ダウンロード中の時間を他の作業に割り当てることが可能になる。
なお、他の作業の終了後に、ダウンロードが開始されていなかったことに気づく場合、その時点からダウンロードを開始する必要があり、時間の無駄が発生する。

図１０は、ダウンロードに関連して配置されるＡＲ画像の一例を説明する図である。図１０には、図９との対応部分に対応する符号を付して示している。
図１０の場合、ボタンの操作は終わっているので、カーソルＣがディスプレイ１１上に表示されている。
図１０の場合、ＡＲ画像には、「ダウンロードしています」とのテキスト、ダウンロードの進捗の状態を示す棒グラフ、「約５分かかります」とのテキストが含まれている。ここでの時間は、残り時間でもダウンロードに要する全体の時間でもよい。なお、時間は目安でもよい。回線の混み具合によって通信の速度が変化するためである。また、残り時間は、進捗の状況や通信の速度に応じて逐次変更される。

図１０に示すダイアログボックスで提示される情報は、開始した動作の進行の状況を表す情報の一例である。
図１０に示すＡＲ画像は、ディスプレイ１１上にも専用のダイアログボックスとして表示が可能であるが、ＡＲ画像としてユーザＵに提示することで、ディスプレイ１１上での画像の重なりが少なくなり、ディスプレイ１１に表示される画像の視認性や作業性が向上される。
また、ダウンロードに関連する情報がＡＲ画像としてディスプレイ１１の手前側に配置されることで、ダウンロードの進行の確認が容易になる。

＜例４＞
図１１は、ディスプレイ１１の手前側にＡＲ画像を配置するモードがオンの場合における見え方の他の例を説明する図である。図１１には、図９との対応部分に対応する符号を付して示している。
図１１の場合も、図中の吹き出しは、ｘＲデバイス２０を装着しているユーザＵが脳内で認識している空間の様子を表している。

図９とは異なり、図１１に示す例は、プログラムのインストールの実行の可否を問い合わせる例である。なお、プログラムのインストールは、コンピュータ１０のシステム構成に変更を伴う動作の一例である。

図１１の場合、ＡＲ画像には、「次のプログラムのインストールを開始しますか？」のテキストと、「プログラム名： ＸＹＺ」のテキストと、「はい」ボタンと、「いいえ」ボタンと、カーソルＣが含まれている。図１１に示すＡＲ画像も、選択に用いるボタンを含むダイアログボックスの例である。

図１１に示すダイアログボックスは、プログラムのインストールが開始される前に、ユーザＵに提示される。
プログラムのインストールの場合も、ダウンロードの場合と同じく、インストールの開始後にインストールの進捗の状態を示す棒グラフやインストールに要する残り時間等の情報を提示してもよい。

＜例５＞
図１２は、ディスプレイ１１の手前側にＡＲ画像を配置するモードがオンの場合における見え方の他の例を説明する図である。図１２には、図７との対応部分に対応する符号を付して示している。
図１２の場合も、図中の吹き出しは、ｘＲデバイス２０を装着しているユーザＵが脳内で認識している空間の様子を表している。

図１２の場合、ＡＲ画像には、「処理を開始します。ＯＫを押してください。」のテキストと、「ＯＫ」ボタンと、カーソルＣが含まれている。
図１２に示すＡＲ画像に含まれるボタンは１つだけである。換言すると、ここでのＡＲ画像は、決定ボタンを含むダイアログボックスの一例である。
図１２に示すダイアログボックスは、コンピュータ１０で処理の対象となる文書Ｄのファイルを開く処理を実行する前等に、ユーザＵに提示される。

図１２に示すＡＲ画像も、対象とする動作の実行前にユーザに確認を求めるダイアログボックスである点で、例４と共通する。
ただし、本例の場合には、動作の開始の指示に用いるボタンが１つだけである点で、「はい」ボタンと「いいえ」ボタンが用意される例４とは異なる。

＜例６＞
図１３は、ディスプレイ１１の手前側にＡＲ画像を配置するモードがオンの場合における見え方の他の例を説明する図である。図１３には、図７との対応部分に対応する符号を付して示している。
図１３の場合も、図中の吹き出しは、ｘＲデバイス２０を装着しているユーザＵが脳内で認識している空間の様子を表している。

図１３の場合、ＡＲ画像には、「使用許諾契約書」のタイトルと「お客様への注意」を含む本文と、「同意する」に対応付けられたボタンと、「同意しない」に対応付けられたボタンと、「キャンセル」ボタンと、「戻る」ボタンと、「次へ」ボタンと、カーソルＣが含まれている。
換言すると、図１３に示すＡＲ画像は、文書Ｄの内容への同意と不同意を選択するための選択肢に対応するボタンと、その選択後の動作の実行を選択するための選択肢に対応するボタンとを含んでいる。

なお、図１３では、文書Ｄとして「使用許諾契約書」を例示しているが、同意が必要になる文書Ｄには、いわゆる同意書、回覧される文書、決裁を要する文書等も含まれる。
また、本実施の形態における「同意」には、承認や承諾も含まれる。

＜例７＞
図１４は、ディスプレイ１１の手前側にＡＲ画像を配置するモードがオンの場合における見え方の他の例を説明する図である。図１４には、図７との対応部分に対応する符号を付して示している。
図１４の場合も、図中の吹き出しは、ｘＲデバイス２０を装着しているユーザＵが脳内で認識している空間の様子を表している。

図１４に示す事例は、ディスプレイ１１に複数の文書Ｄが表示されている状態で、同意を求めるＡＲ画像が表示される場合を想定する。
多くの場合、システム側からの同意の要求は、ユーザが特定の文書Ｄに対して特定の操作を行うことで発生するが、類似する文書Ｄが複数表示されている場合、同意が要求される文書Ｄの区別がつかなくなる可能性がある。
本例は、そのような場合を想定し、同意が要求される文書Ｄを指し示す矢印をＡＲ画像として配置する。矢印は、例えば対象とする文書Ｄの上空に配置される。

なお、矢印の配置を可能とするために、本例におけるｘＲデバイス２０には、ディスプレイ１１に表示されている複数の文書Ｄに関する情報が、コンピュータ１０から与えられる。文書Ｄの位置を特定する方法には、例えばディスプレイ１１内における並び順により特定する方法、ディスプレイ１１内の領域により特定する方法、ディスプレイ１１内における座標により特定する方法等がある。

例えば並び順により特定する方法であれば、「右端の文書」、「右から１番目の文書」、「真ん中の文書」等により位置が特定される。
また、領域により特定する方法であれば、「ディスプレイ１１が上下２段に分割され、各段が３つの領域に分割される場合、上段真ん中の領域の文書」等により位置が特定される。
また、座標により特定する方法であれば、「左上隅がｘ＝○○、ｙ＝△△で特定される文書」等により位置が特定される。

なお、矢印の向きは、下向きに限らず、上向き、横方向、斜め方向のいずれでもよい。
また、矢印以外の方法で、対象とする文書Ｄを指し示すことも可能である。例えば星や二重丸等の記号を配置してもよいし、対象とする文書Ｄを枠で囲んでもよい。
この他、矢印は、ディスプレイ１１の外側の空間に配置してもよい。図１４では、ディスプレイ１１の枠に重なるように矢印が配置されている。

ＡＲ画像は、ディスプレイ１１の表示面に配置することも可能である。この場合、ＡＲ画像は、実際には表示されていないにも関わらず、ディスプレイ１１に表示されるようにユーザＵに視認される。
なお、同意の対象である文書Ｄを明示する方法は、ＡＲ画像を用いる場合だけでなく、ｘＲデバイス２０と連携するコンピュータ１０によるディスプレイ１１への表示を通じて実現することも可能である。例えば図１４の例であれば、ディスプレイ１１のうち右端の文書Ｄの上の領域に矢印を表示することも可能である。
本例のように、同意が要求される文書Ｄを明示する情報を、別途、ＡＲ画像として提示することにより、ディスプレイ１１上に複数の文書Ｄが表示されている状態でも、ユーザＵは、同意が求められている文書Ｄを容易に特定することが可能である。

＜例８＞
本例では、ｘＲデバイス２０を装着したユーザが、作業中に顔の向きを変更した場合におけるＡＲ画像の配置の変化について説明する。
図１５は、コンピュータ１０の作業中にユーザがディスプレイ１１の左外側に顔を向けた場合のＡＲ画像の配置の変化を説明する図である。（Ａ）はユーザＵがディスプレイ１１を見ている場合の配置を示し、（Ｂ）はユーザＵがディスプレイ１１の左外側を見ている場合の配置を示す。
図１５には、図６との対応部分に対応する符号を付して示す。

本実施の形態の場合、ＡＲ画像を配置する位置は固定されておらず、ユーザＵの視線方向に依存する。このため、作業中に顔の向きを変化させると、顔を向けた方向にＡＲ画像も移動する。
図１５の場合、ＡＲ画像は、ディスプレイ１１と重ならない位置に移動する。換言すると、ディスプレイ１１が存在しない空気中に、ＡＲ画像が浮かぶように視認される。

図１６は、コンピュータ１０の作業中にユーザがディスプレイ１１の上方に顔を向けた場合のＡＲ画像の配置の変化を説明する図である。（Ａ）はユーザＵがディスプレイ１１を見ている場合の配置を示し、（Ｂ）はユーザＵがディスプレイ１１の上方を見ている場合の配置を示す。
図１６の場合も、ＡＲ画像は、ディスプレイ１１と重ならない位置に移動する。換言すると、ディスプレイ１１が存在しない空気中に、ＡＲ画像が浮かぶように視認される。

図１５及び図１６に示すように、ユーザＵの視線の方向に追従してＡＲ画像の配置が移動すると、ユーザＵがＡＲ画像に気づき易くなり、選択や同意等を要する操作の実行漏れが少なくなる。
換言すると、ＡＲ画像の寸法が小さい等の理由で、作業中にはＡＲ画像の存在に気づかなかった場合や作業中に操作の必要性を失念した場合にも、顔の向きを変えた時点に、ＡＲ画像の存在に気づき易くなる。結果的に、選択や同意の操作等の実行漏れが少なくなる。

＜実施の形態２＞
本実施の形態では、特定の条件を満たすことを条件に、ＡＲ画像の配置の停止や他の位置への移動を許可する場合について説明する。
なお、実施の形態２で使用する情報処理システム１の構成は図１と同じである。
図１７は、実施の形態２で使用する処理動作とＡＲ画像の変化の一例を説明する図である。（Ａ）はコンピュータ１０とｘＲデバイス２０の連携により実行される処理動作の一例を示し、（Ｂ）はＡＲ画像の移動等を示す。図１７には、図６との対応部分に対応する符号を付して示している。

図１７（Ａ）に示す処理動作は、図５に示す処理動作とは独立に実行される。もっとも、ステップ６（図５参照）で否定結果が得られている場合に実行してもよい。
コンピュータ１０は、ボタンの操作を受け付けない状態が予め定めた時間以上経過したか否かを判定する（ステップ１１）。ここでのボタンは、ＡＲ画像に含まれるボタンである。

ステップ１１で否定結果が得られた場合、コンピュータ１０は、ステップ１１の判定を繰り返す。なお、ステップ６で否定結果が得られた場合に実行される例では、ステップ１１で否定結果が得られた場合、ステップ６に戻る。
予め定めた時間は、初期値として与えられてもよいし、ユーザＵが自由に設定してもよい。予め定めた時間として例えば３分を用いる。

図１７の場合、ステップ１１において予め定めた時間の経過を判定しているが、ユーザＵが選択等の操作を保留したい場合には、予め定めた操作の入力の有無を判定の条件としてもよい。予め定めた操作には、例えばディスプレイ１１に表示されている特定のアイコン等の操作がある。
ステップ１１で肯定結果が得られた場合、コンピュータ１０は、ＡＲ画像の配置の停止を指示する（ステップ１２）。もっとも、図１７（Ｂ）に示すように、コンピュータ１０は、ディスプレイ１１の背後へのＡＲ画像の移動を指示してもよい。
指示を受け付けたｘＲデバイス２０は、ＡＲ画像の配置を停止する（ステップ１３）。この場合、ディスプレイ１１の手前側の現実の空間からはＡＲ画像が消滅する。この結果、ディスプレイ１１の観察が容易になる。

ステップ１２において、ＡＲ画像の移動が指示されている場合、図１７（Ｂ）に示すように、ＡＲ画像はディスプレイ１１の背面側に移動する。このとき、ＡＲ画像の全部がディスプレイ１１と重なると、ユーザＵからはＡＲ画像を見えなくなる。その分、作業への集中が容易になる。
もっとも、図１７（Ｂ）に示す例では、ＡＲ画像の上部が、ディスプレイ１１の上辺よりも上方に位置している。このため、ユーザＵは、作業に集中しつつも、選択や同意等を要するボタンを含むＡＲ画像の存在を忘れずに済む。
結果的に、作業が一段落した時点で、ＡＲ画像に対する操作の再開が可能になる。

なお、ディスプレイ１１の背面に位置したままでは、ＡＲ画像内のボタンの操作が難しい。そこで、ユーザＵが予め定めた操作を入力すると、ＡＲ画像の再表示やＡＲ画像をディスプレイ１１の手前側への移動が実行されるようにしてもよい。
予め定めた操作には、例えばディスプレイ１１に表示される再表示用のアイコン又は移動用のアイコンの操作、文書Ｄが表示されている領域上にカーソルＣを移動させた状態でのマウスのダブルクリック等を使用する。

図１７（Ａ）に示す処理動作では、ＡＲ画像の配置が停止した場合やディスプレイ１１の背後にＡＲ画像の全体が隠れている場合には、ＡＲ画像の配置に気づき難くなる。
そこで、ＡＲ画像の配置を停止等した後も、その処理の実行から予め定めた時間が経過すると、ユーザＵの指示がなくても、ディスプレイ１１の手前側にＡＲ画像が再配置されるようにしてもよい。
また、ユーザＵによる文書Ｄへの作業が終了すると、例えば保存が指示されると、ディスプレイ１１の手前側にＡＲ画像が再配置されるようにしてもよい。

＜実施の形態３＞
本実施の形態では、ユーザＵの指示により、ＡＲ画像とディスプレイ１１の間で、カーソルＣの配置を切り替える場合について説明する。
図１８は、実施の形態３で使用する処理動作とＡＲ画像の変化の一例を説明する図である。（Ａ）はＡＲ画像内のカーソルＣをディスプレイ１１側に移動させる処理動作の一例を示し、（Ｂ）はユーザＵの操作例を示す。図１８には、図６との対応部分に対応する符号を付して示している。

図１８（Ａ）に示す処理動作は、図５に示す処理動作とは独立に実行される。
図１８（Ａ）の場合、コンピュータ１０は、左ボタンを押しながら、マウス３０を前進させたか否かを判定する（ステップ２１）。前進とは、ＡＲ画像が配置されている位置からディスプレイ１１が設けられている方向を表し、ユーザＵを基準とした表現では奥方向となる。換言すると、前進とは、ユーザＵから遠ざかる方向である。

ステップ２１では、ディスプレイ１１に表示されている文書への操作と区別するため、マウス３０の左ボタンを押した状態で、マウス３０が前進されることを条件としている。
なお、左ボタンを押す操作は一例であり、特定のキー操作とマウス３０の前進とを条件としてもよい。
また、キーボード１２（図１参照）に配置された特定のキーの操作を条件としてもよい。例えばシフトキーを押しながら上向きの矢印キーの操作を条件としてもよい。
この他、ステップ２１では、ユーザＵがＡＲ画像に含まれるボタンに対応する選択等の保留や再検討を指示したことを条件として判定してもよい。
ステップ２１の判定で使用する条件は、予め定めた第２の条件の一例である。

ステップ２１で否定結果が得られている間、コンピュータ１０は、ステップ２１の判定を繰り返す。
ステップ２１で肯定結果が得られた場合、コンピュータ１０は、ｘＲデバイス２０に対し、ディスプレイ１１へのカーソルＣの移動を指示する（ステップ２２）。
また、コンピュータ１０は、ディスプレイ１１にカーソルＣを表示する（ステップ２３）。
一方、ｘＲデバイス２０は、コンピュータ１０からの指示に基づいて、ＡＲ画像からカーソルＣを消去する（ステップ２４）。

図１８（Ｂ）に示す処理は、ステップ２３及びステップ２４に対応する。
カーソルＣがＡＲ画像からディスプレイ１１側に移動することで、ユーザＵは、ディスプレイ１１に表示されている文書Ｄに対する操作を再開することが可能になる。例えばＡＲ画像に含まれるボタンに対する操作を保留にしたまま、文書Ｄに対する操作が可能になる。

図１９は、実施の形態３で使用する処理動作とＡＲ画像の変化の一例を説明する図である。（Ａ）はディスプレイ１１に表示されているカーソルＣをＡＲ画像内に移動させる処理動作の一例を示し、（Ｂ）はユーザＵの操作例を示す。図１９には、図６との対応部分に対応する符号を付して示している。
図１９（Ａ）に示す処理動作は、図５に示す処理動作とは独立に実行される。

図１９（Ａ）の場合、コンピュータ１０は、左ボタンを押しながら、マウス３０を後進されたか否かを判定する（ステップ３１）。後進とは、ディスプレイ１１が設けられている位置からＡＲ画像が配置されている方向を表し、ユーザＵを基準とした表現では手前方向となる。換言すると、後進とは、ユーザＵに近づく方向である。

ステップ３１では、ディスプレイ１１に表示されている文書Ｄへの操作と区別するため、マウス３０の左ボタンを押した状態で、マウス３０が後進されることを条件としている。
なお、左ボタンを押す操作は一例であり、特定のキー操作とマウス３０の後進とを条件としてもよい。
また、キーボード１２（図１参照）に配置された特定のキーの操作を条件としてもよい。例えばシフトキーを押しながら下向きの矢印キーの操作を条件としてもよい。
この他、ステップ３１では、ユーザＵがＡＲ画像に含まれるボタンに対応する選択等の再開を指示したことを条件として判定してもよい。
ステップ３１の判定で使用する条件は、予め定めた第１の条件の一例である。

ステップ３１で否定結果が得られている間、コンピュータ１０は、ステップ３１の判定を繰り返す。
ステップ３１で肯定結果が得られた場合、コンピュータ１０は、ディスプレイ１１上からカーソルＣを消去する（ステップ３２）。
続いて、コンピュータ１０は、ｘＲデバイス２０に対し、ＡＲ画像へのカーソルの移動を指示する（ステップ３３）。

一方、ｘＲデバイス２０は、コンピュータ１０からの指示に基づいて、ＡＲ画像にカーソルＣを配置する（ステップ３４）。
図１９（Ｂ）に示す処理は、ステップ３３及びステップ３４に対応する。
カーソルＣがディスプレイ１１からＡＲ画像側に移動することで、ユーザＵは、ＡＲ画像に含まれるボタンの操作を自分の意思で再開することが可能になる。

ところで、カーソルＣの移動は、図１８や図１９に示すように、ユーザＵによる指示に限らない。
図２０は、実施の形態３で使用する処理動作とＡＲ画像の変化の一例を説明する図である。（Ａ）はＡＲ画像内のカーソルＣをディスプレイ１１側に移動させる手法の他の例を示し、（Ｂ）はユーザＵの操作例を示す。図２０には、図１８との対応部分に対応する符号を付して示している。図２０には、図６との対応部分に対応する符号を付して示している。

図２０（Ａ）の場合、ステップ２１（図１８参照）に代えて、ステップ２１Ａを実行する。ステップ２１Ａでは、ＡＲ画像上へのカーソルＣの配置から予め定めた時間が経過したか否かが判定される。
予め定めた時間には、例えば３分がある。因みに、実施の形態２の場合には、ＡＲ画像自体の配置を停止等しているが、本実施の形態では、カーソルＣの移動のみを想定する。

ＡＲ画像がポップアップ的に出現した後も、長時間に亘ってユーザの操作が検知されない場合には、ＡＲ画像に含まれるボタンの操作の可能性が低いためである。このような事例は、例えばユーザがいずれのボタンを操作するか迷っている場合、より優先度の高い作業がある場合等に起こり得る。
カーソルＣがコンピュータ１０のディスプレイ１１側に移動することで、ユーザは、ＡＲ画像に含まれるボタンの操作を保留した状態のまま、ディスプレイ１１に表示されている画面に対する操作が可能になる。

＜実施の形態４＞
本実施の形態では、ＡＲ画像に含まれるボタンの操作を音声により行う場合について説明する。
図２１は、実施の形態４で想定する指示の一例を説明する図である。図２１には、図６との対応部分に対応する符号を付して示している。
図２１の場合、ユーザＵは、「合意します。」と声を出している。この音声は、コンピュータ１０のマイク１６（図２参照）やｘＲデバイス２０のマイク２３（図３参照）により取得される。既存の音声認識の技術により、指示の内容が解析される。

音声による電子機器への指示の入力は、人工知能（すなわちＡＩ）アシスタント機能を持つスピーカ（いわゆるスマートスピーカ）やスマートフォン等で既に実用化されている。音声による指示であれば、カーソルＣをボタンの位置に移動させる操作が不要であり、実行中の作業を中断する必要もない。
また、本実施の形態の場合に、ディスプレイ１１上に表示されているカーソルＣをＡＲ画像側に移動させる操作を行わなくても、指示を入力することが可能である。

＜実施の形態５＞
本実施の形態では、ＡＲ画像に含まれるボタンをジェスチャにより操作する場合について説明する。
図２２は、実施の形態５で想定する指示の一例を説明する図である。図２２には、図６との対応部分に対応する符号を付して示している。

図２２の場合、ユーザＵは、空中に浮かぶように配置されたボタンを操作するように指を動かす。具体的には、空中に配置されたボタンをシングルタップするように、右手の人差し指を動かしている。換言すると、ユーザＵは、自身から離れる方向に右手の指先を動かしている。
なお、ジェスチャによる操作を受け付ける条件として、右手の人差指が指定されていない場合には、他の指を用いて操作してもよいし、鉛筆やボールペン等の筆記具、指示棒その他の棒状の部材によるボタンの操作を検知してもよい。言うまでもないが、指示に用いる物体は、例示の物体に限らない。

また、ボタンの操作の受付は、シングルタップに限らず、例えばボタンの位置で予め定めた時間以上静止することでもよいし、ダブルタップでもよいし、特定の方向へのスワイプでもよいし、複数本の指を用いたジェスチャでもよい。
本実施の形態では、ｘＲデバイス２０に設けられているカメラ２２で撮像された画像の解析により、空中における指先の座標と空中に配置したボタンの座標との関係を特定したり、ボタンの操作を検知する。もっとも、ＬｉＤＡＲに代表される三次元スキャナを用いて、ｘＲデバイス２０から指先までの距離や座標を測定し、その測定の結果を使用してボタンの操作を検知してもよい。

なお、ユーザＵのジェスチャと特定のボタンとの紐付けが可能であれば、厳密な意味での座標の検知や座標の一致は必要とされない。
また、空中に配置されるＡＲ画像やＡＲ画像に含まれるボタンの位置の情報がｘＲデバイス２０からコンピュータ１０に与えられている場合には、コンピュータ１０に設けられているカメラ１３で撮像された画像の解析により、空中における指先の座標と空中に配置したボタンの座標との関係を特定し、ボタンの操作を検知してもよい。
本実施の形態の場合、空中に配置されたボタンの多様な操作が実現される。

＜実施の形態６＞
本実施の形態では、コンピュータ１０（図１参照）の動作を指示するボタンが、メッセージアプリによるメッセージの受信を通知するアイコンである場合について説明する。
図２３は、実施の形態６におけるコンピュータ１０とｘＲデバイス２０との連携により実行される処理動作の一例を説明する図である。

まず、コンピュータ１０のプロセッサ１０１（図２参照）は、事象が検知された時点で、ディスプレイ１１（図２参照）に通知用のアイコン等を表示する（ステップ４１）。前述したように、本実施の形態では、通知用のアイコンとして、メッセージアプリによるメッセージの受信を通知するアイコンを想定する。換言すると、メッセージの未開封を示すアイコンである。なお、アイコン等とあるように、ポップアップ形式で表示されるテキストでもよい。本実施の形態では、メッセージの受信に使用されるテキストもアイコンの一例とする。

次に、コンピュータ１０は、予め定めた時間が経過しても通知に関連するアプリケーションが未操作か否かを判定する（ステップ４２）。本実施の形態では、メッセージアプリが操作されない時間の長さが計測され、計測された時間の長さについて、ステップ４２の判定が実行される。
ステップ４２で否定結果が得られた場合、コンピュータ１０は、通知用のアイコン等に対応するアプリケーションの画像をディスプレイ１１に展開する（ステップ４９）。この場合、通知用のアイコン等はＡＲ画像として空中に配置されることはないので、ユーザＵは、ディスプレイ１１上に展開されたメッセージアプリでメッセージの内容を確認する。

一方、ステップ４２で肯定結果が得られた場合、コンピュータ１０は、通知用のアイコン等の移動をｘＲデバイス２０に指示する（ステップ４３）と共に、通知用のアイコン等の表示を停止する（ステップ４４）。
コンピュータ１０から通知を受けたｘＲデバイス２０は、通知用のアイコン等の画像をＡＲ画像としてディスプレイ１１の手前側の空間に配置する（ステップ４５）。
経験的にも、作業に集中している場合や通知用のアイコン等がポップアップ表示された時にディスプレイ１１を見ていない場合、通知用のアイコン等が表示されたことに気づかないことがある。
しかし、ＡＲ画像が空中に出現することで、ディスプレイ１１に表示されていたときよりも目立ち、ユーザＵに気づかれ易くなる。

その後、コンピュータ１０は、通知用のアイコン等に対応するアプリケーションの操作を検知したか否かを判定する（ステップ４６）。
ステップ４６で否定結果が得られている間、コンピュータ１０は、ステップ４６の判定を繰り返す。
一方、ステップ４６で肯定結果が得られた場合、コンピュータ１０は、操作の検知をｘＲデバイス２０に通知する（ステップ４７）と共に、通知用のアイコン等に対応するアプリケーションの画像をディスプレイ１１に展開する（ステップ４９）。
なお、通知を受けたｘＲデバイス２０は、ＡＲ画像の配置を停止する（ステップ４８）。

ところで、図２３の例では、コンピュータ１０は、メッセージの受信を検知した場合に、ステップ４１とステップ４２の処理を実行しているが、メッセージの受信を検知すると、即座にステップ４３を実行してもよい。すなわち、メッセージの受信と同時に、ＡＲ画像としてメッセージの受信を示すアイコン等が空中に配置されてもよい。因みに、その場合は、ステップ４４も不要になる。
この場合、ユーザＵは、メッセージの受信と同時に、メッセージの受信に気づくことが可能になる。

図２４及び図２５に、本実施の形態におけるユーザインタフェースの変化を示す。
図２４は、ステップ４２（図２３参照）で否定結果が得られた場合のユーザインタフェースの例を示す図である。図２５は、ステップ４２（図２３参照）で肯定結果が得られた場合のユーザインタフェースの例を示す図である。図２４と図２５のいずれも、図６との対応部分に対応する符号を付して示している。

図２４の例は、ユーザＵが紙飛行機や封筒の形状を模したアイコンに気づいていない状態であるので、ｘＲデバイス２０を装着しているユーザＵが認識している画像とディスプレイ１１に表示されている画像は一致する。
一方、図２５の例では、ディスプレイ１１の前方にＡＲ画像が飛び出して配置されるため、ユーザＵは、アイコンの出現に気づき易くなる。結果的に、ユーザＵは、アイコンの出現を見落とさずに済む。

＜実施の形態７＞
本実施の形態では、ＡＲ画像が空中に配置されている状態で電源をオフする操作があった場合に使用されるユーザインタフェースについて説明する。
図２６は、実施の形態７で使用する処理動作の一例を説明する図である。（Ａ）はｘＲデバイス２０の電源がオフされる場合に実行される処理動作の例を示し、（Ｂ）はアラームの出力例を示す。

図２６（Ａ）の場合、ｘＲデバイス２０は、自装置の電源をオフする操作を検知したか否かを判定している（ステップ５１）。ここでの電源をオフする操作は、予め定めた事象の一例である。
なお、図２６の例では、ｘＲデバイス２０の電源をオフする操作を検知の対象としているが、連携中のコンピュータ１０の電源をオフする操作を検知の対象としてもよいし、ｘＲデバイス２０とコンピュータ１０のうちいずれか一方の電源をオフする操作を検知の対象としてもよい。

ステップ５１で否定結果が得られている間、ｘＲデバイス２０は、ステップ５１の判定を繰り返す。
ステップ５１で肯定結果が得られた場合、ｘＲデバイス２０は、コンピュータとの連携を伴うＡＲ画像に対する操作の待機中か否かを判定する（ステップ５２）。換言すると、ｘＲデバイス２０は、コンピュータ１０の動作を指示するボタンを含むＡＲ画像の表示中か否かを判定する。

ステップ５２で否定結果が得られた場合、ｘＲデバイス２０は、そのまま電源をオフする。
一方、ステップ５２で肯定結果が得られた場合、ｘＲデバイス２０は、アラームを出力する（ステップ５３）。
ここでのアラームは、処理待ちのイベントの存在をユーザに通知し、電源オフの操作を取り消す機会を与える目的で実行される。
アラームの出力は、音を用いる方法、振動を用いる方法、音声を用いる方法、新たなＡＲ画像を追加で配置する方法、既存のＡＲ画像中にテキストを追加する方法、既存のＡＲ画像の輝度や色調を変化させる方法、これらの任意の複数を組み合わせる方法等が考えられる。

図２６（Ｂ）は、音声によりアラームを出力する例を表しており、ｘＲデバイス２０のスピーカ２４（図３参照）からは「操作が終わっていません。電源のオフを実行しますか？」との音声が再生されている。
この種のアラームが出力されることにより、操作待ちのイベントが残っている状態で電源をオフする操作が実行された場合でも、操作待ちのイベントの存在をユーザＵに気づかせることが可能になる。また、間に合えば、電源をオフする操作を取り消すことが可能になる。
図２６の場合には、ｘＲデバイス２０が、ステップ５１及び５２の両方を判定しているが、ステップ５１とステップ５２の両方又はいずれか一方を、コンピュータ１０が判定してもよい。

＜実施の形態８＞
本実施の形態では、アラームが出力される他の使用例について説明する。
図２７は、実施の形態８で使用する処理動作の一例を説明する図である。（Ａ）はｘＲデバイス２０がユーザＵから取り外される場合に実行される処理動作の例を示し、（Ｂ）はアラームの出力例を示す。
図２７（Ａ）の場合、ｘＲデバイス２０は、自装置の取り外しか否かを判定している（ステップ６１）。本実施の形態の場合、ｘＲデバイス２０の取り外しは、ユーザＵの頭部からの取り外しである。自装置の取り外しは、予め定めた事象の一例である。

ステップ６１で否定結果が得られた場合、ｘＲデバイス２０は、ステップ６１の判定を繰り返す。ステップ６１で否定結果が得られる場合とは、ｘＲデバイス２０がユーザＵの頭部に装着されており、ＡＲ画像がユーザＵに認識される状態である。
なお、ｘＲデバイス２０の装着は、ユーザＵの側頭部や鼻根部に接触する部分に配置されたセンサにより検知する。なお、ここでのセンサには、例えば圧力を検知する感圧センサ、体温を検知する温度センサを使用する。

ステップ６１で肯定結果が得られた場合、ｘＲデバイス２０は、コンピュータ１０との連携を伴うＡＲ画像に対する操作の待機中か否かを判定する（ステップ６２）。ステップ６１で肯定結果が得られる場合とは、ｘＲデバイス２０がユーザＵの頭部から取り外され、ＡＲ画像がユーザＵに認識されない状態である。
ステップ６２の内容は、図２６におけるステップ５２と同じである。
ステップ６２で否定結果が得られた場合、ｘＲデバイス２０は、アラームを出力しない。なお、コンピュータ１０とｘＲデバイス２０の接続は維持される。もっとも、取り外した段階で、接続を一時的に解除することも可能である。

一方、ステップ６２で肯定結果が得られた場合、ｘＲデバイス２０は、アラームを出力する（ステップ６３）。ここでのアラームは、処理待ちのイベントの存在をユーザに通知し、ｘＲデバイス２０の装着を促す目的で実行される。
アラームの出力は、音を用いる方法、振動を用いる方法、音声を用いる方法、新たなＡＲ画像を追加で配置する方法、既存のＡＲ画像中にテキストを追加する方法、既存のＡＲ画像の輝度や色調を変化させる方法、これらの任意の複数を組み合わせる方法等が考えられる。

図２７（Ｂ）には、「ブブー」等のアラーム音を出力する例を表している。出力するアラームには、アラーム音の他、音声を用いてもよい。また、ｘＲデバイス２０やコンピュータ１０と接続している他のウェアラブル端末をユーザＵが装着している場合には、他のウェアラブル端末を振動させることにより、アラームを通知してもよい。

なお、ワイヤレスイヤホンをユーザＵが装着している場合には、ワイヤレスイヤホンを通じてユーザＵにアラーム音が再生されてもよい。この種のアラームを出力することにより、操作待ちのまま、誤ってｘＲデバイス２０が取外されても、操作待ちのイベントの存在をユーザＵに気づかせることが可能になる。
図２７の場合には、ｘＲデバイス２０が、ステップ６１及び６２の両方を判定しているが、ステップ６１とステップ６２の両方又はいずれか一方を、コンピュータ１０が判定してもよい。

＜実施の形態９＞
本実施の形態では、アラームが出力される他の使用例について説明する。
図２８は、実施の形態９で使用する処理動作の一例を説明する図である。（Ａ）はｘＲデバイス２０とコンピュータ１０との位置の関係が予め定めた条件を満たす場合に実行される処理動作の例を示し、（Ｂ）はアラームの出力例を示す。
図２８（Ａ）の場合、自装置とディスプレイ１１との距離が閾値を超えたか否かを判定している（ステップ７１）。

ここでの距離は、コンピュータ１０との距離でもよい。ｘＲデバイス２０とコンピュータ１０のディスプレイ１１との距離は、カメラ２２（図３参照）で撮像された画像の解析やＬｉＤＡＲを用いて測定された距離を使用すればよい。もっとも、厳密な意味での距離の測定は不要である。

なお、距離の測定には、コンピュータ１０にカメラ１３（図２参照）で撮像された画像を用いることも可能である。
閾値は、予め定められており、ユーザＵによる指定や調整も可能である。ディスプレイ１１の寸法にも依存するが、例えば閾値として１ｍを使用する。

自装置とコンピュータ１０との距離が閾値を超えることは、予め定めた事象の一例である。もっとも、ステップ７１の判定において、図１５や図１６に例示したように、ＡＲ画像が配置される空間がディスプレイ１１の手前側の位置から外れるか否かを判定してもよい。ＡＲ画像がディスプレイ１１の手前側から外れることも、予め定めた事象の一例である。

ステップ７１で否定結果が得られた場合、ｘＲデバイス２０は、ステップ７１の判定を繰り返す。ステップ７１で否定結果が得られる場合とは、ｘＲデバイス２０とコンピュータ１０のディスプレイ１１との距離が閾値以内の場合である。
ステップ７１で肯定結果が得られた場合、ｘＲデバイス２０は、コンピュータ１０との連携を伴うＡＲ画像に対する操作の待機中か否かを判定する（ステップ７２）。

ステップ７２の内容は、図２６におけるステップ５２と同じである。
ステップ７２で否定結果が得られた場合、ｘＲデバイス２０は、アラームを出力しない。なお、コンピュータ１０とｘＲデバイス２０の接続は維持される。
一方、ステップ７２で肯定結果が得られた場合、ｘＲデバイス２０は、アラームを出力する（ステップ７３）。ここでのアラームは、処理待ちのイベントの存在をユーザに通知し、ディスプレイ１１に近づく機会を与える目的で実行される。

アラームの出力は、音を用いる方法、振動を用いる方法、音声を用いる方法、新たなＡＲ画像を追加で配置する方法、既存のＡＲ画像中にテキストを追加する方法、既存のＡＲ画像の輝度や色調を変化させる方法、これらの任意の複数を組み合わせる方法等が考えられる。
図２８（Ｂ）は、「ブブー」等のアラーム音を出力する例を表している。出力するアラームは、アラーム音を用いる他、振動を用いる場合、音声を用いる場合、新たなＡＲ画像を追加で配置する場合、既存のＡＲ画像中にテキストを追加する場合、既存のＡＲ画像の輝度や色調を変化させる場合、これらの任意の複数を組み合わせる場合等が考えられる。

この種のアラームを出力することにより、操作待ちのイベントの存在をユーザＵに気づかせることが可能になる。
図２８の場合には、ｘＲデバイス２０が、ステップ７１及び７２の両方を判定しているが、ステップ７１とステップ７２の両方又はいずれか一方を、コンピュータ１０が判定してもよい。

図２９は、実施の形態９におけるＡＲ画像の出力の変化を説明する図である。（Ａ）はｘＲデバイス２０とコンピュータ１０との距離が閾値より短い場合におけるＡＲ画像の出力例を示し、（Ｂ）～（Ｄ）はｘＲデバイス２０とコンピュータ１０との距離が遠ざかるのに伴い徐々にフェードアウトされる様子を示す。
ｘＲデバイス２０がコンピュータ１０から１ｍ以内の距離で使用される図２９（Ａ）の場合、ＡＲ画像は、設定の範囲内で最も明確に視認される状態である。なお、最も明確に視認される状態は、ｘＲデバイス２０の性能上の上限の意味ではない。あくまでも、設定の範囲内における上限の意味である。

ｘＲデバイス２０がコンピュータ１０から１ｍ以上離れると、図２９（Ｂ）に示すように、徐々にＡＲ画像の透過率が上昇する又は出力が低下する。すなわちｘＲデバイス２０がコンピュータ１０から離れるほど、徐々にＡＲ画像は薄くなる。
さらに、ｘＲデバイス２０とコンピュータ１０との距離が２ｍを超えると、図２９（Ｃ）に示すように、ＡＲ画像の透過率は更に上昇する又は出力が更に低下する。これにより、ＡＲ画像の視認性は徐々に低下する。
その後、ｘＲデバイス２０とコンピュータ１０との距離が２ｍを超えると、図２９（Ｄ）に示すように、アラームの出力後にＡＲ画像の出力が停止される。なお、図２９（Ｄ）では、アラームの例として、「ＡＲ画像の出力を終了します。」との音声が例示されている。ここでのアラームは、ＡＲ画像の配置の停止を示唆する。

図２９の例では、ｘＲデバイス２０がコンピュータ１０との距離に応じて、ユーザに視認されるＡＲ画像が徐々にフェードアウトしているが、段階的に見え方が切り替わってもよい。
また、図２９の例では、ＡＲ画像の寸法が同じであるが、距離が遠ざかるほど、ＡＲ画像の寸法が小さくなってもよい。
また、図２９に示すように、ＡＲ画像を徐々にフェードアウトするのではなく、予め定めた距離を超えると、ＡＲ画像の配置を停止してもよい。

図２９に例示した距離の関係は、予め定めた条件の一例である。なお、ＡＲ画像の配置を停止する前におけるアラームの出力は任意である。すなわち、アラームの出力なしに、ＡＲ画像の配置を停止してもよい。
また、予め定めた条件を満たす場合でも、ユーザがフェードアウトの機能を用いない設定としている場合やフェードアウトの対象から除外する設定がある場合等においては、ＡＲ画像の配置を継続してもよい。これらの例には、合意やインストールなどの重要度が高いと設定された情報や特定の相手からのメッセージや着信の受信の通知がある。

ところで、図２９に例示したＡＲ画像の出力の形態は、図１５や図１６の場合のように、ユーザＵの視線の方向がディスプレイ１１から離れる場合にも採用が可能である。具体的には、ＡＲ画像がディスプレイ１１に対して上下方向又は水平方向に離れるほど、ＡＲ画像がフェードアウトしてもよい。
また、表示されているＡＲ画像の表示のサイズが徐々に小さくなる効果を組み合わせてもよいし、ＡＲ画像の表示の濃さはそのままに、ＡＲ画像の表示のサイズが徐々に小さくなる効果だけを採用してもよい。さらに、ＡＲ画像の表示のサイズが徐々に小さくなる場合には、表示中のＡＲ画像の中心位置に向かって表示のサイズを徐々に小さくしてもよいし、表示中のＡＲ画像の１つの端部に向かって表示のサイズを徐々に小さくしてもよい。ここでの中心位置は、ディスプレイ１１の中心位置と同じでもよい。

図３０は、実施の形態９におけるＡＲ画像の出力の変化の他の例を説明する図である。（Ａ）はｘＲデバイス２０とコンピュータ１０との距離が閾値より長い場合におけるＡＲ画像の出力例を示し、（Ｂ）～（Ｄ）はｘＲデバイス２０とコンピュータ１０との距離が近づくにつれて徐々にフェードインされる様子を示す。
ｘＲデバイス２０がコンピュータ１０から２ｍ以上の距離で使用される図３０（Ａ）の場合、ＡＲ画像は空中には出力されていない。

ｘＲデバイス２０がコンピュータ１０から２ｍ以内に近づくと、ＡＲ画像の提示が再開される。図３０（Ｂ）の例では、「画像の提示を再開します。」とのアナウンスの後にＡＲ画像の出力が再開されている。なお、図３０（Ｂ）の段階では、ＡＲ画像の存在が認識されるものの、透過率が高いため又は出力レベルが低い。
その後、ｘＲデバイス２０がコンピュータ１０から２ｍ以内１ｍ以上に近づくと、図３０（Ｃ）に示すように、ＡＲ画像の透過率が徐々に降下する又は出力レベルが徐々に上昇する。すなわち、ｘＲデバイス２０がコンピュータ１０との距離が近づくに連れて、徐々にＡＲ画像は濃くなる。

最後に、ｘＲデバイス２０がコンピュータ１０との距離が１ｍ以内になると、ＡＲ画像は、図３０（Ｄ）に示すように、設定の範囲内で最も明確に視認される状態になる。なお、最も明確に視認される状態は、前述したように、ｘＲデバイス２０の性能上の上限の意味ではない。あくまでも、設定の範囲内における上限の意味である。
図３０の例では、ｘＲデバイス２０がコンピュータ１０との距離に応じて、ユーザに視認されるＡＲ画像が徐々にフェードインしているが、段階的に見え方が切り替わってもよい。

また、図３０の例では、ＡＲ画像の寸法が同じであるが、距離が近づくほど、ＡＲ画像の寸法が大きくなってもよい。
また、図３０に示すように、ＡＲ画像を徐々にフェードインするのではなく、予め定めた距離を超えると、ＡＲ画像が出現してもよい。
図３０に例示した距離の関係は、予め定めた条件の一例である。なお、ＡＲ画像を配置する前におけるアナウンスの出力は任意である。すなわち、アナウンスの出力なしに、ＡＲ画像を配置してもよい。

また、予め定めた条件を満たす場合でも、ユーザがフェードインの機能を用いない設定としている場合やフェードインの対象から除外する設定がある場合等においては、ＡＲ画像の配置の停止を継続してもよい。これらの例には、メッセージの受信の通知など重要度の低いと設定された情報や着信の受信など即時性が高いイベントの通知がある。

ところで、図３０に例示したＡＲ画像の出力の形態は、図１５や図１６の場合のように、ユーザＵの視線の方向がディスプレイ１１から離れた位置からディスプレイ１１に近づく場合にも採用が可能である。
具体的には、ＡＲ画像がディスプレイ１１に対して上下方向又は水平方向について近づくほど、ＡＲ画像がフェードインするように変化してもよい。

また、消えていたＡＲ画像を点又は小さいサイズで空中に出現させた後、その表示のサイズを徐々に大きくする効果を組み合わせてもよいし、ＡＲ画像の表示の濃さはそのままに、消えていたＡＲ画像を点又は小さいサイズで空中に出現させた後、その表示のサイズを徐々に大きくする効果だけを採用してもよい。さらに、消えていたＡＲ画像を点又は小さいサイズで空中に出現させた後、その表示のサイズを徐々に大きくする場合には、最初にＡＲ画像を出現させた位置を中心として、表示のサイズを徐々に周囲に広げてもよいし、最初にＡＲ画像を出現させた位置を４隅のうちの１つとして固定し、この位置を起点として表示のサイズを対角線方向に広げてもよい。このとき、ＡＲ画像を最初に出現させる位置をディスプレイ１１の４隅の１つに合わせてもよい。

＜実施の形態１０＞
本実施の形態では、コンピュータ１０とｘＲデバイス２０との接続が再開される場合に、ＡＲ画像に含まれるボタンの操作待ちのイベントが検知される場合に使用されるユーザインタフェースについて説明する。
因みに、本実施の形態の前提である接続の解除は、例えばコンピュータ１０とｘＲデバイス２０のいずれかの電源がオフされた場合、ユーザＵの指示で接続が切断された場合、コンピュータ１０とｘＲデバイス２０の距離が通信可能な範囲を超えた場合、通信可能な範囲内でもコンピュータ１０とｘＲデバイス２０とが予め定めた条件を満たさなくなった場合がある。電源のオフには、スリープ状態への移行も含まれるものとする。

図３１は、実施の形態１０で使用する処理動作の一例を説明する図である。（Ａ）はｘＲデバイス２０の接続が再開される場合に実行される処理動作の例を示し、（Ｂ）は想定する場面を説明する図である。
図３１（Ａ）の場合、ｘＲデバイス２０は、コンピュータとの接続の再開か否かを判定している（ステップ８１）。

コンピュータ１０との接続の再開は、接続が解除される場合とは反対に、コンピュータ１０とｘＲデバイス２０のいずれかの電源がオンされることで両方とも電源がオンになった場合、コンピュータ１０とｘＲデバイス２０のいずれかがスリープ状態から復帰した場合、ユーザＵの指示でコンピュータ１０とｘＲデバイス２０が再接続された場合、コンピュータ１０とｘＲデバイス２０の距離が通信可能な範囲に復帰した場合、通信可能な範囲内においてコンピュータ１０とｘＲデバイス２０とが予め定めた条件を再び満たした場合がある。

ステップ８１で否定結果が得られている間、ｘＲデバイス２０は、ステップ８１の判定を繰り返す。もっとも、電源がオフからオンに切り替わる場合やスリープ状態から復帰する場合には、本実施の機能を担当するアプリケーションの実行が可能になった段階で、イベントの内容が判定される。
一方、ステップ８１で肯定結果が得られた場合、ｘＲデバイス２０は、待機中のままコンピュータとの接続が解除された操作の履歴があるか否かを判定する（ステップ８２）。
ステップ８２で否定結果が得られた場合、ｘＲデバイス２０は、接続の再開に伴う本処理を終了する。

ステップ８２で肯定結果が得られた場合、ｘＲデバイス２０は、該当する操作は、コンピュータ側でも未完了か否かを判定する（ステップ８３）。この判定は、ｘＲデバイス２０側の操作の履歴とコンピュータ１０側の操作の履歴の不一致を発見する目的で実行される。例えば接続が解除されている間に、ユーザＵがコンピュータ１０を用いてボタン操作を完了している可能性もあるためである。
ステップ８３で否定結果が得られた場合、ｘＲデバイス２０は、接続の再開に伴う本処理を終了する。

一方、ステップ８３で肯定結果が得られた場合、ｘＲデバイス２０は、操作待ちのボタンを含むＡＲ画像を空中に再配置する（ステップ８４）。
図３１（Ｂ）の場合、実施の形態１で説明したように、ＡＲ画像がディスプレイ１１に対して手前側に再配置される。換言すると、接続が再開すると同時に、空中にＡＲ画像が出現する。このＡＲ画像の出現により、ユーザＵは、操作待ちの処理が残っていることに気づき、処理を完了させることが可能になる。

＜実施の形態１１＞
本実施の形態では、コンピュータ１０（図１参照）の動作を指示するボタンを、ディスプレイ１１（図１参照）への表示を行うことなく、最初からＡＲ画像として提示する場合について説明する。
図３２は、実施の形態１１におけるコンピュータ１０とｘＲデバイス２０との連携により実行される処理動作の一例を説明する図である。図３２には、図５との対応部分に対応する符号を付して示している。

図３２の場合も、ｘＲデバイス２０によりステップ１～ステップ３の処理が実行される。すなわち、ｘＲデバイス２０は、接続中のコンピュータ１０がユーザの視線の方向にあり、コンピュータ１０との連携によりＡＲ画像を配置するモードがオンであることを最初に確認する。次に、ｘＲデバイス２０は、コンピュータ１０の動作を指示するボタンの表示の移動を指示する。

ステップ３の指示を受け付けたコンピュータ１０は、該当するボタンを出力するイベントを検知したか否かを判定する（ステップ９１）。ここでのイベントは、例えばユーザＵに選択を求めるイベントや同意を求めるイベントである。
ステップ９１で否定結果が得られている間、コンピュータ１０は、ステップ９１の判定を繰り返す。

一方、ステップ９１で肯定結果が得られると、コンピュータ１０は、該当するボタンを含む画像をｘＲデバイス２０に転送する（ステップ９２）。
本実施の形態の場合、コンピュータ１０は、ディスプレイ１１にボタンを表示することを要しないので、図５の場合のように、ボタンの表示を停止することはない。
以後の処理は、図５と同じである。

＜実施の形態１２＞
本実施の形態では、予め定めたボタンを含むダイアログボックスをディスプレイ１１（図１参照）とＡＲ画像の両方によりユーザＵに提示する場合について説明する。
図３３は、実施の形態１２におけるダイアログボックスの見え方の一例を説明する図である。図３３には、図６との対応部分に対応する符号を付して示している。

図３３の場合、ディスプレイ１１には、文書Ｄに重ねるようにダイアログボックスが表示され、同時に、同じダイアログボックスがＡＲ画像として空中に配置されている。
図３３の例では、ディスプレイ１１に表示されるダイアログボックスの寸法とＡＲ画像の寸法とが同等であるが、ディスプレイ１１上に表示されるダイアログボックスが他の画像の背後に隠れる場合等においては、ダイアログボックスがＡＲ画像としても空中に配置されることで、ユーザＵによるダイアログボックスの見落としのリスクが少なく済む。

＜実施の形態１３＞
本実施の形態では、予め定めたボタンをＡＲ画像として常時空中に配置する場合について説明する。
図３４は、実施の形態１３におけるダイアログボックスの見え方の一例を説明する図である。図３４には、図６との対応部分に対応する符号を付して示している。
図３４の場合、予め定めたボタンで構成されるＡＲ画像が、ディスプレイ１１を用いた作業を妨げない位置に常に配置される。

予め定めたボタンは、例えば使用の頻度が高いアプリケーションの呼び出しに使用されるアイコンや起動中のアプリケーションを表すアイコンである。アプリケーションの呼び出しに使用されるアイコンは、ショートカットキーとも呼ばれる。
図３４の場合には、ディスプレイ１１の下辺に沿うようにＡＲ画像としてのアイコンが配列されている。もっとも、ＡＲ画像としてのアイコンを配置する位置は、ディスプレイ１１の外縁部に限らず、ディスプレイ１１の外側の空間でもよい。

＜実施の形態１４＞
本実施の形態では、ｘＲデバイス２０のカメラ２２（図３参照）を使用した機能について説明する。
図３５は、実施の形態１４におけるｘＲデバイス２０の使用例を説明する図である。（Ａ）は時点Ｔ１におけるスクリーンショットＳＴ１の撮像例を示し、（Ｂ）は時点Ｔ２におけるスクリーンショットＳＴ２の撮像例を示す。

ｘＲデバイス２０では、ディスプレイ１１との位置の関係を特定するために、カメラ２２がユーザＵの前方を撮像している。本実施の形態では、このカメラ２２による画像を撮像する機能を、ディスプレイ１１に表示されている画像のスクリーンショットの取得に活用する。
例えば図３５（Ａ）の場合、ディスプレイ１１に表示されている文書Ｄ１の画像がスクリーンショットＳＴ１として撮像され、コンピュータ１０に転送される。もっとも、スクリーンショットＳＴ１はｘＲデバイス２０に記憶されるようにしてもよい。

また図３５（Ｂ）の場合、ディスプレイ１１に表示されている文書Ｄ１と文書Ｄ２の画像がスクリーンショットＳＴ２として撮像され、コンピュータ１０に転送される。
ここで、スクリーンショットの撮像は、例えば１分毎のように予め定めた周期で実行してもよいし、ユーザＵにより指示されたタイミングで実行してもよいし、ディスプレイ１１に表示されている文書Ｄの変化が検知された場合でもよい。
コンピュータ１０による文書Ｄのバックアップは、文書毎に実行されるが、スクリーンショットであれば、複数の文書Ｄが関連する作業の様子も記録される。

＜実施の形態１５＞
本実施の形態では、複数台のコンピュータ１０とｘＲデバイス２０の連携について説明する。
図３６は、実施の形態１５で使用する情報処理システム１Ａの使用例を説明する図である。図３６には、図１との対応部分に対応する符号を付して示している。
図３６の場合、ＡさんがｘＲデバイス２０を装着してコンピュータ１０Ａを操作している。また、サポートスタッフ等であるＢさんがコンピュータ１０Ｂを操作している。
図３６の場合、コンピュータ１０Ａとコンピュータ１０Ｂは、ネットワーク５０を通じて接続されている。

ここでのネットワーク５０は、例えばインターネット、ＬＡＮ（＝Local Area Network）である。
図３６の場合、Ａさんは、ディスプレイ１１に表示されている画面の操作についてＢさんから指導を受けている。図３６の場合、コンピュータ１０Ａのディスプレイ１１の表示は、Ｂさんが操作するコンピュータ１０Ｂと同期していない。
Ｂさんがコンピュータ１０Ｂのディスプレイ１１上でカーソルＣを移動させると、その様子は、Ａさんが装着しているｘＲデバイス２０により、Ａさんが操作するコンピュータ１０の手前側にＡＲ画像として提示される。すなわち、ＡＲ画像内のカーソルＣは、Ｂさんの操作の通り移動する。

このカーソルＣの移動を、Ａさんは、自身が行うべき操作の手本として認識する。その後、Ａさんは、自分でマウス３０等を操作してコンピュータ１０Ａ上でカーソルＣを移動させる。
この手法は、ＢさんによるカーソルＣの移動を受動的に確認する場合に比して学習効果の向上が期待される。なぜなら、コンピュータ１０Ａに対する操作は、あくまでもＡさんの主体的な行動を伴うためである。
また、コンピュータ１０Ａに対するＡさんの操作の内容は、ネットワーク５０を通じて、コンピュータ１０Ｂを操作するＢさんにより確認されるので、Ａさんの操作に対するＢさんからのフィードバックも可能である。例えば間違った操作の指摘を受けることが可能である。このフィードバックもＡさんの学習効果を高めるのに効果的である。

＜実施の形態１６＞
本実施の形態も、複数台のコンピュータ１０とｘＲデバイス２０の連携について説明する。
図３７は、実施の形態１６で使用する情報処理システム１Ｂの使用例を説明する図である。図３７には、図３６との対応部分に対応する符号を付して示している。

図３７に示す例は、屋外にいるＡさんが、オフィスＡ内のコンピュータ１０Ａの操作をオフィスＢにいるＢさんに許可する場合を想定している。Ｂさんは、コンピュータ１０Ｂを操作してＡさんのコンピュータ１０Ａを操作する。
図３７のＡさんは、装着しているｘＲデバイス２０により空中に浮かぶように提示されるＡＲ画像を通じてコンピュータ１０Ａで行われている作業の様子を確認する。

＜実施の形態１７＞
本実施の形態は、ｘＲデバイス２０と遠隔地のコンピュータ１０との連携について説明する。
図３８は、実施の形態１７で使用する情報処理システム１Ｃの使用例を説明する図である。図３８には、図３６との対応部分に対応する符号を付して示している。

図３８に示す例は、Ｂさんが遠隔地からＡさんを道案内する場合である。本実施の形態の場合、Ｂさんが操作するコンピュータ１０Ｂのディスプレイ１１のうち左半分には、ｘＲデバイス２０で撮像されている画像がリアルタイムで表示され、右半分にはＡさんの周辺の地図が表示される。
なお、Ａさんの位置は、ｘＲデバイス２０の測位センサ２６（図３参照）の出力がネットワーク５０を通じてコンピュータ１０Ｂに与えられている。

この場合、Ｂさんがコンピュータ１０Ｂに対して「１０ｍ先を右折してください」とテキストを入力すると、Ａさんの前方にはＡＲ画像として同じテキストが出現する。なお、テキストはコンピュータ１０Ｂで実行されるナビゲーションソフトから出力されてもよい。同様に、Ｂさんの指示やナビゲーションソフトからの指示による矢印がＡＲ画像としてＡさんに視認される。

図３８の例では、ｘＲデバイス２０で撮像されている画像がＢさんの操作するコンピュータ１０Ｂのディスプレイ１１に表示されているが、地図と地図上におけるユーザの位置を示すマーカだけがコンピュータ１０Ｂに表示されてもよい。
なお、実施の形態１５～実施の形態１７のいずれの場合も、Ｂさんはコンピュータ１０Ｂを操作しているが、いずれの場合もＢさんがｘＲデバイス２０を装着していてもよい。

＜実施の形態１８＞
図３９は、実施の形態１８におけるｘＲデバイス２０の使用例を説明する図である。（Ａ）はＡさんがＢさんに出会う前の状態を示し、（Ｂ）はＡさんがＢさんに出会った後の状態を示す。図３９には、図１との対応部分に対応する符号を付して示している。
図３９（Ａ）の場合、Ａさんは、ＡＲ画像を視認している。ＡさんがＢさんと出会った後もＡＲ画像の出力を続ける設定では、ＡＲ画像がＢさんの顔に重なって邪魔になる場合やＢさんとの会話に集中できない場合がある。また、Ｂさんとの会話中もＡＲ画像が提示されることがＢさんに対して失礼になる場合もある。

そこで、本実施の形態の場合には、Ｂさんと出会った後は、ＡＲ画像の出力を停止する機能をｘＲデバイス２０に設けている。
なお、本実施の形態におけるＢさんは、対面して会話する相手を想定する。従って、カメラ２２（図３参照）で撮像された画像やマイク２３（図３参照）で取得された音声より対面して会話する相手に該当しないと判定された場合には、眼の前を通行人が横切る等してもＡＲ画像の出力は停止されないようにする。

＜実施の形態１９＞
図４０は、実施の形態１９におけるｘＲデバイス２０Ａの使用例を説明する図である。
図４０の場合、ＡさんがｘＲデバイス２０Ａを装着し、ＢさんがＡさんと会話している。図４０に示すｘＲデバイス２０Ａは、会話の相手方であるＢさんに見えるように、Ａさんの自己紹介文等の表示が可能になっている。

図４１は、実施の形態１９で使用するｘＲデバイス２０Ａの概念的な構成の一例を説明する図である。図４１には、図４との対応部分に対応する符号を付して示している。
本実施の形態で使用するｘＲデバイス２０Ａの場合、導光板２１１の面上に、光の透過率を画素単位で制御可能なフィルム状のデバイスが貼り付けられている。ここでのフィルム状のデバイスは、一対の透明電極膜の間に液晶物質を封入した構造を有している。液晶物質の配向を画素単位で制御することにより、光の透過率が画素単位で変化する。この特性により文字を表示する。

図４０に示すように自己紹介文等の表示は、Ａさんの指示により実行されてもよいし、ｘＲデバイス２０Ａが「はじめまして。」や「どのようなお仕事をされていますか？」等の事前に登録したキーワードを含む音声が検知された場合に実行されるようにしてもよい。因みに、ｘＲデバイス２０Ａは、マイク２３（図３参照）で取得された音声を音声認識エンジンで解析することにより、キーワードの出現を検知する。

＜実施の形態２０＞
図４２は、実施の形態２０で使用する情報処理システム１Ｄの構成例を説明する図である。図４２には、図１との対応部分に対応する符号を付して示している。
本実施の形態の場合、ＡＲ画像は、空中画像として現実の空間中に提示される。空中画像も現実の空間に配置される仮想の画像の一例である。空中画像は、空中に浮かび上がるように形成される。空中画像の形成には、空中画像形成装置６０が用いられる。

空中画像形成装置６０は、空中に空中画像を直接形成する装置であり、既に様々な方法が提案され、一部は実用化されている。
例えば空中像の形成にハーフミラーを用いる方法、ビームスプリッタを用いる方法、微小なミラーアレイを用いる方法、微小なレンズアレイを用いる方法、視差バリアを用いる方法、プラズマ発光を用いる方法等がある。これらの方式によって生成される空中画像は、通り抜けることが可能である。

なお、通り抜けができない空中画像を形成する空中画像形成装置６０には、現実の空間に存在するスクリーンに画像を投影するプロジェクタがある。この他、空中画像形成装置６０には、発光素子のアレイを実空間で高速に移動させ、残像現象を用いて空中像を視認させる装置もある。

空中画像の形状は任意であり、立体形状でも平面形状でもよい。立体形状の例には、球形、多面体、円柱その他の曲面体、人の形、動物の形、電化製品の形、果物の形等がある。
平面形状の例には、円形、多角形、人の形、動物の形、電化製品の形、果物の形等がある。ここでの人や動物は、仮想のキャラクタや生物でもよい。
空中に形成される空中画像は、立体の表面を規定する像に限らず、立体の表面を規定する像とその内部に対応する像の両方で構成されてもよい。換言すると、空中画像は、ボクセルデータにより表現されてもよい。
本実施の形態における空中画像は、静止画像でもよいし、動画像でもよい。

＜他の実施の形態＞
（１）以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

（２）前述の実施の形態では、ＡＲ画像がディスプレイ１１（図１参照）の手前側の空間中に配置されているが、ＡＲ画像は、ディスプレイ１１よりも奥側に配置されてもよい。もっとも、その場合には、現実の空間では見えないディスプレイ１１の背後にＡＲ画像が存在するように配置される。

（３）前述の実施の形態において、ｘＲデバイス２０（図１参照）で実行すると説明した処理はコンピュータ１０（図１参照）で実行してもよい。反対に、コンピュータ１０で実行すると説明した処理はｘＲデバイス２０で実行してもよい。

（４）前述の実施の形態においては、ノート型のコンピュータ１０（図１参照）のディスプレイ面の手前側にＡＲ画像を配置しているが、前述したデスクトップ型のコンピュータ等に限らず、コンピュータに外付けするモニタ、いわゆるテレビ受像機、ＩｏＴ家電、手首等に装着して使用するスマートウォッチに代表されるウェアラブル端末でもよい。

（５）前述の実施の形態においては、ｘＲデバイス２０が連携するコンピュータ１０によるダウンロード等の進捗に関する情報をＡＲ画像として空中に配置しているが、連携するコンピュータ１０と接続されている外部機器が実行中の進捗をＡＲ画像としてディスプレイ１１の前方に提示してもよい。
例えば外部機器が画像を用紙に印刷するプリンタや立体像を形成する３次元プリンタである場合、各プリンタによる出力が終了するまでの時間等をＡＲ画像として提示してもよい。また、各プリンタによるスプールが終了するまでの時間等をＡＲ画像として提示してもよい。

（６）前述した各実施の形態におけるプロセッサは、広義的な意味でのプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ等）の他、専用的なプロセッサ（例えばＧＰＵ（＝Graphical Processing Unit）、ＡＳＩＣ（＝Application Specific Integrated Circuit）、ＦＰＧＡ（＝Field Programmable Gate Array）、プログラム論理デバイス等）を含む。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、個別に変更してもよい。

１、１Ａ、１Ｂ、１Ｃ、１Ｄ…情報処理システム、１０、１０Ａ、１０Ｂ…コンピュータ、１１…ディスプレイ、２０、２０Ａ…ｘＲデバイス、２１…ＡＲモジュール、６０…空中画像形成装置

Claims (27)

1. 仮想の画像を現実の空間内に配置するデバイスを制御するプロセッサを有し、
   前記プロセッサは、
   物理的な表示デバイスを有する外部の端末と自装置とが接続している場合において、当該表示デバイスの手前側に前記仮想の画像が配置されるとき、
   前記仮想の画像として、前記端末の動作を指示するボタンを配置する
   情報処理装置。
2. 前記ボタンは、選択ボタンである、
   請求項１に記載の情報処理装置。
3. 前記選択ボタンは、前記端末による動作の実行の可否の選択用である、
   請求項２に記載の情報処理装置。
4. 前記実行の可否の対象は、前記端末のシステム構成に変更を伴う動作である、
   請求項３に記載の情報処理装置。
5. 前記選択ボタンは、前記表示デバイスに表示されている情報に対する同意不同意の選択用である、
   請求項２に記載の情報処理装置。
6. 前記ボタンは、決定ボタンである、
   請求項１に記載の情報処理装置。
7. 前記決定ボタンは、動作の開始を指示する、
   請求項６に記載の情報処理装置。
8. 前記プロセッサは、開始した動作の進行の状況を表す情報を、前記仮想の画像として現実の空間内に配置する、
   請求項３、４又は７に記載の情報処理装置。
9. 前記プロセッサは、前記表示デバイス上に複数のコンテンツが表示されている場合、前記ボタンが関連する特定のコンテンツを特定する情報を、前記仮想の画像として現実の空間内に配置する、
   請求項１に記載の情報処理装置。
10. 前記情報は、前記特定のコンテンツの上空の現実の空間内に配置される、
    請求項９に記載の情報処理装置。
11. 前記ボタンは、アプリケーションに紐付けられたアイコンである、
    請求項１に記載の情報処理装置。
12. 前記アプリケーションは、メッセージアプリであり、前記アイコンは、メッセージの受信の通知用である、請求項１１に記載の情報処理装置。
13. 前記プロセッサは、予め定めた第１の条件を満たす場合、前記端末の前記表示デバイスに表示されているカーソルを、前記仮想の画像としての現実の空間内への配置に切り替える、
    請求項１に記載の情報処理装置。
14. 前記プロセッサは、予め定めた第２の条件を満たす場合、前記仮想の画像として現実の空間内に配置されている前記カーソルを、前記表示デバイスによる表示に切り替える、
    請求項１３に記載の情報処理装置。
15. 前記プロセッサは、前記ボタンの操作が確認されない状態で予め定めた事象が検知された場合、アラームを出力する
    請求項１に記載の情報処理装置。
16. 前記予め定めた事象は、自装置の電源をオフする操作、前記端末の電源をオフする操作、装着されている自端末を身体から取り外す操作、接続を解除する操作、自端末と当該端末との距離が閾値を超える場合、及び、現実の空間内に配置されている前記仮想の画像が前記表示デバイスの手前側の位置から外れた場合のうちのいずれか１つである、
    請求項１５に記載の情報処理装置。
17. 前記プロセッサは、前記ボタンの操作が確認されない状態のまま解除された前記端末との接続が再開された場合、当該ボタンを前記仮想の画像として現実の空間内に再配置する、
    請求項１に記載の情報処理装置。
18. 前記プロセッサは、現実の空間内に配置される前記仮想の画像と前記表示デバイスとの位置関係が予め定めた条件を満たさない場合、現実の空間内への前記仮想の画像の配置を停止する、
    請求項１に記載の情報処理装置。
19. 現実の空間内への前記仮想の画像の配置を停止する場合、前記プロセッサは、現実の空間内から当該仮想の画像を徐々にフェードアウトする、
    請求項１８に記載の情報処理装置。
20. 現実の空間内への前記仮想の画像の配置を停止する場合、前記プロセッサは、当該仮想の画像の配置を停止する前に停止を示唆するアラームを出力する、
    請求項１８又は１９に記載の情報処理装置。
21. 前記プロセッサは、現実の空間内に配置される前記仮想の画像と前記表示デバイスとの位置関係が予め定めた条件を満たさない場合でも、事前の設定があるときは、現実の空間内への当該仮想の画像の配置を継続する、
    請求項１８に記載の情報処理装置。
22. 前記プロセッサは、現実の空間内に配置される前記仮想の画像と前記表示デバイスとの位置関係が予め定めた条件を満たした場合、現実の空間内への前記仮想の画像の配置を再開させる、
    請求項１に記載の情報処理装置。
23. 現実の空間内への前記仮想の画像の配置を再開する場合、前記プロセッサは、現実の空間内に当該仮想の画像を徐々にフェードインする、
    請求項２２に記載の情報処理装置。
24. 現実の空間内への前記仮想の画像の配置を再開する場合、前記プロセッサは、当該仮想の画像の配置を再開する前に再開を示唆するアラームを出力する、
    請求項２２又は２３に記載の情報処理装置。
25. 前記プロセッサは、現実の空間内への配置が停止されている前記仮想の画像と前記表示デバイスとの位置関係が予め定めた条件を満たす場合でも、事前の設定があるときは、現実の空間内への当該仮想の画像の配置の停止を継続する、
    請求項２２に記載の情報処理装置。
26. カメラを更に有し、
    前記プロセッサは、前記カメラが撮像する範囲に前記表示デバイスが含まれる場合、予め定めたタイミングで、当該表示デバイスに表示されている画面を撮像して保存する、
    請求項１に記載の情報処理装置。
27. 仮想の画像を現実の空間内に配置するデバイスを制御するコンピュータに、
    物理的な表示デバイスを有する外部の端末と自端末とが接続している状態において、当該表示デバイスの手前側に前記仮想の画像を配置する機能と、
    前記仮想の画像として、前記端末の動作を指示するボタンを配置する機能と、
    を実現させるためのプログラム。

Images