JP2023017615A - 情報処理システム及びプログラム - Google Patents

Abstract

【課題】仮想のオブジェクトの表示を停止することなく、周囲の物体との衝突の回避を実現する。【解決手段】情報処理システムは、仮想のオブジェクトを、現実の空間の情報に重ねた視覚情報をユーザに視認させるデバイスと、現実の空間に存在する物体の位置を取得する取得部と、デバイスから予め定められた範囲内に物体が位置する場合、仮想のオブジェクトを、物体から離れる方向に移動させるプロセッサと、を有する。【選択図】図１４

Description

本発明は、情報処理システム及びプログラムに関する。

仮想のオブジェクトを、現実の空間の情報に重ねた視覚情報をユーザに視認させるデバイスには、ＡＲ（＝Augmented Reality）グラス、ＭＲ（＝Mixed Reality）グラス等と呼ばれるデバイスがある。以下では、これらを総称して「ｘＲデバイス」と呼ぶ。
今日では、仮想のオブジェクトを高輝度かつ高解像度で表示可能なｘＲデバイスも存在する。仮想のオブジェクトの表示の高輝度化や高解像度化に伴い、ｘＲデバイスを装着したユーザの没入感も高まっている。

特開２０１９－０４６３６６号公報

没入感が高くなると、周囲の物体との衝突が懸念されるようになる。例えば仮想のオブジェクトに触れる、タップする場合に、見えていないが存在していた飲み物に衝突し、倒してしまう可能性がある。また、周囲の人には、仮想のオブジェクトが表示されている位置が分からないので、仮想のオブジェクトの裏側を通り過ぎる人と衝突する可能性がある。
なお、周囲の物体との衝突の可能性が生じた時点で仮想のオブジェクトの表示を停止することで、周囲の物体との衝突を回避するための時間を設けることも可能であるが、操作の中断が発生する。

本発明は、仮想のオブジェクトの表示を停止することなく、周囲の物体との衝突の回避を実現することを目的とする。

請求項１に記載の発明は、仮想のオブジェクトを、現実の空間の情報に重ねた視覚情報をユーザに視認させるデバイスと、現実の空間に存在する物体の位置を取得する取得部と、プロセッサと、を有し、前記プロセッサは、前記デバイスから予め定められた範囲内に前記物体が位置する場合、前記仮想のオブジェクトを、当該物体から離れる方向に移動させる、情報処理システムである。
請求項２に記載の発明は、前記範囲は、前記ユーザが前記仮想のオブジェクトに対するジェスチャ操作に使用する領域を規定する、請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記範囲は、前記デバイスを使用するユーザの登録情報に基づいて設定される、請求項２に記載の情報処理システムである。
請求項４に記載の発明は、前記登録情報は、ジェスチャ操作に使用する体の部位を指定する、請求項３に記載の情報処理システムである。
請求項５に記載の発明は、前記プロセッサは、可動域の登録に関するジェスチャ操作の測定を通じ、前記範囲を設定する、請求項２に記載の情報処理システムである。
請求項６に記載の発明は、前記プロセッサは、前記取得部による測定の結果に応じ、前記範囲を修正する、請求項５に記載の情報処理システムである。
請求項７に記載の発明は、前記プロセッサは、ジェスチャ操作に使用する頻度が高い体の部位に応じて前記範囲を修正する、請求項５又は６に記載の情報処理システムである。
請求項８に記載の発明は、前記プロセッサは、ユーザの視線方向に対応する前記範囲を広げる、請求項５又は６に記載の情報処理システムである。
請求項９に記載の発明は、前記プロセッサは、前記仮想のオブジェクトとしてアイコンが配置されている場合、当該アイコンの方向についての前記範囲を広げる、請求項５又は６に記載の情報処理システムである。
請求項１０に記載の発明は、前記プロセッサは、ユーザによるジェスチャ操作が可能な位置に、前記仮想のオブジェクトを移動させる、請求項１に記載の情報処理システムである。
請求項１１に記載の発明は、ユーザから見て前記仮想のオブジェクトが前記物体の手前に表示されている場合、前記プロセッサは、前記仮想のオブジェクトを前記デバイスに更に近づける方向に移動させる、請求項１０に記載の情報処理システムである。
請求項１２に記載の発明は、前記プロセッサは、移動後の前記仮想のオブジェクトを前記物体に対して予め定めた第１の距離だけ離す、請求項１１に記載の情報処理システムである。
請求項１３に記載の発明は、移動後の前記仮想のオブジェクトと前記デバイスとの距離が予め定めた第２の距離より短い場合、前記プロセッサは、前記第２の距離を超える前記仮想のオブジェクトの接近を禁止する、請求項１２に記載の情報処理システムである。
請求項１４に記載の発明は、前記予め定められた範囲内に複数の物体が存在する場合、前記プロセッサは、移動後の前記仮想のオブジェクトを、前記複数の物体のいずれに対しても予め定めた第１の距離だけ離す、請求項１に記載の情報処理システムである。
請求項１５に記載の発明は、前記物体が予め定めた時間以上、前記予め定められた範囲内に存在する場合、前記プロセッサは、前記仮想のオブジェクトを、前記物体から離れる方向に移動させる、請求項１０～１４のいずれか１項に記載の情報処理システムである。
請求項１６に記載の発明は、前記仮想のオブジェクトが予め定めた条件を満たす場合、前記プロセッサは、前記仮想のオブジェクトを、前記物体から離れる方向に移動させない、請求項１０～１４のいずれか１項に記載の情報処理システムである。
請求項１７に記載の発明は、ユーザの生体データを検出するセンサを更に有し、前記センサの検出信号を通じ、前記仮想のオブジェクトに対する操作が予測されない場合、前記プロセッサは、前記物体が前記範囲内に位置していても、前記仮想のオブジェクトを移動させない、請求項１６に記載の情報処理システムである。
請求項１８に記載の発明は、前記プロセッサは、前記仮想のオブジェクトが操作の対象であるアイコンを含まない場合、当該仮想のオブジェクトを前記物体から離れる方向に移動させない、請求項１６に記載の情報処理システムである。
請求項１９に記載の発明は、ユーザから見て前記物体の手前側に表示される複数の前記仮想のオブジェクトが前記範囲内に位置する場合、前記プロセッサは、複数の前記仮想のオブジェクトを一体的に移動させる、請求項１０に記載の情報処理システムである。
請求項２０に記載の発明は、複数の前記仮想のオブジェクトが前記範囲内に位置する場合、前記プロセッサは、ユーザから見て前記物体の最も手前側に表示される前記仮想のオブジェクトだけを移動させる、請求項１０に記載の情報処理システムである。
請求項２１に記載の発明は、複数の前記仮想のオブジェクトのうちの一部が、ユーザから見て前記物体の手前側に表示され、残りが当該物体の奥側に別々に表示される場合に、前記物体の奥側に位置する前記仮想のオブジェクトに対する操作が検知されたとき、前記プロセッサは、操作の対象に指定された前記仮想のオブジェクトの表示位置を、ユーザから見て前記物体の手前側に移動させる、請求項１０に記載の情報処理システムである。
請求項２２に記載の発明は、表示中の前記仮想のオブジェクトとは別の仮想のオブジェクトの表示が指示された場合、前記プロセッサは、前記別の仮想のオブジェクトを、ユーザから見て前記物体よりも手前の最前列に表示する請求項１０に記載の情報処理システムである。
請求項２３に記載の発明は、前記物体が可動物である場合、前記プロセッサは、前記可動物の動きの予測に基づいて前記仮想のオブジェクトの移動を制御する、請求項１に記載の情報処理システムである。
請求項２４に記載の発明は、前記可動物は、周囲にいる人であり、前記プロセッサは、人の動きの検出を通じて人の移動先を予測する、請求項２３に記載の情報処理システムである。
請求項２５に記載の発明は、現実の空間内の同じ位置に紐付けられている前記仮想のオブジェクトを複数人のユーザで視認している場合、前記プロセッサは、前記仮想のオブジェクトの視認を共有する他のユーザの存在を前記範囲内に検出しても、当該仮想のオブジェクトを移動させない、請求項２３に記載の情報処理システムである。
請求項２６に記載の発明は、前記プロセッサは、前記可動物の移動に関する情報が取得された場合、当該可動物の移動先を予測する、請求項２３に記載の情報処理システムである。
請求項２７に記載の発明は、前記プロセッサは、前記範囲内に衝突の可能性がある前記物体を検知した場合、事前に通知する、請求項１に記載の情報処理システムである。
請求項２８に記載の発明は、前記プロセッサは、前記仮想のオブジェクトとして、前記物体を表示する、請求項２７に記載の情報処理システムである。
請求項２９に記載の発明は、前記プロセッサは、前記仮想のオブジェクトの形状の変形により前記物体の存在を通知する、請求項２７に記載の情報処理システムである。
請求項３０に記載の発明は、前記プロセッサは、前記仮想のオブジェクトのうち操作の対象である部分を分離して移動させる、請求項１に記載の情報処理システムである。
請求項３１に記載の発明は、前記プロセッサは、前記仮想のオブジェクトをユーザによる視認が可能な範囲内で移動させる、請求項１に記載の情報処理システムである。
請求項３２に記載の発明は、前記仮想のオブジェクトが立体形状である場合、前記プロセッサは、ユーザのジェスチャ操作に応じて向きを変更する、請求項１に記載の情報処理システムである。
請求項３３に記載の発明は、前記仮想のオブジェクトの寸法が予め定めた基準を超える場合、前記プロセッサは、前記仮想のオブジェクトの表示上の寸法を前記基準以内に縮小する、請求項１に記載の情報処理システムである。
請求項３４に記載の発明は、前記仮想のオブジェクトの寸法が予め定めた基準より小さい場合、前記プロセッサは、前記仮想のオブジェクトの表示上の寸法を前記基準以上に拡大する、請求項１に記載の情報処理システムである。
請求項３５に記載の発明は、前記デバイスと連携する表示デバイスが前記範囲内に位置する場合、前記プロセッサは、前記仮想のオブジェクトを前記表示デバイスの並び位置に移動させる、請求項１に記載の情報処理システムである。
請求項３６に記載の発明は、ユーザの視野内に前記表示デバイスが検出された場合、前記プロセッサは、前記仮想のオブジェクトと前記表示デバイスとを連携させる、請求項３５に記載の情報処理システムである。
請求項３７に記載の発明は、仮想のオブジェクトを、現実の空間の情報に重ねた視覚情報をユーザに視認させるデバイスと、現実の空間に存在する物体の位置を取得する取得部とを有する情報処理装置のコンピュータに、前記デバイスから予め定められた範囲内に前記物体が位置する場合、前記仮想のオブジェクトを、当該物体から離れる方向に移動させる機能、を実現させるためのプログラムである。
請求項３８に記載の発明は、仮想のオブジェクトを、現実の空間の情報に重ねた視覚情報をユーザに視認させるデバイスと、現実の空間に存在する物体の位置を取得する取得部とを有する情報処理装置と連携するコンピュータに、前記デバイスから予め定められた範囲内に前記物体が位置する場合、前記仮想のオブジェクトを、当該物体から離れる方向に移動させる機能、を実現させるためのプログラムである。

請求項１記載の発明によれば、仮想のオブジェクトの表示を停止することなく、周囲の物体との衝突の回避を実現できる。
請求項２記載の発明によれば、ジェスチャ操作時に衝突する懸念性が高い範囲内に物体が位置する場合に限り、仮想のオブジェクトの移動を実行できる。
請求項３記載の発明によれば、仮想のオブジェクトの移動が必要になる範囲を、ユーザ毎に設定できる。
請求項４記載の発明によれば、ユーザが操作に使用する体の部位に応じた範囲を設定できる。
請求項５記載の発明によれば、登録情報を入力しなくても、ユーザ専用の範囲を設定できる。
請求項６記載の発明によれば、操作上の特徴に応じ、登録された範囲を修正できる。
請求項７記載の発明によれば、使用する頻度の傾向に応じ、登録された範囲を修正できる。
請求項８記載の発明によれば、物体との接触の可能性がある方向について範囲を拡大できる。
請求項９記載の発明によれば、物体との接触の可能性がある方向について範囲を拡大できる。
請求項１０記載の発明によれば、ジェスチャ操作と衝突の可能性の低減とを両立できる。
請求項１１記載の発明によれば、衝突の可能性を一段と低減できる。
請求項１２記載の発明によれば、仮想のオブジェクトの操作時における物体との衝突の可能性を低減できる。
請求項１３記載の発明によれば、仮想のオブジェクトの操作性を確保できる。
請求項１４記載の発明によれば、仮想のオブジェクトと物体との距離を広げることができ、衝突の可能性を低減できる。
請求項１５記載の発明によれば、仮想のオブジェクトと物体とが衝突の可能性がある場合にだけ、仮想のオブジェクトの移動を実行できる。
請求項１６記載の発明によれば、仮想のオブジェクトと物体とが衝突の可能性がない場合には、仮想のオブジェクトを移動させない制御を実現できる。
請求項１７記載の発明によれば、周囲の物体との衝突のおそれがない場合には、視認性を優先できる。
請求項１８記載の発明によれば、仮想のオブジェクトと物体とが衝突の可能性がない場合には、仮想のオブジェクトを移動させない制御を実現できる。
請求項１９記載の発明によれば、複数の仮想のオブジェクトの全てを物体から離すことができる。
請求項２０記載の発明によれば、複数の仮想のオブジェクトのうち衝突の可能性がある仮想のオブジェクトだけを物体から離すことができる。
請求項２１記載の発明によれば、操作の対象である仮想のオブジェクトの操作に際して物体と衝突する可能性を低減できる。
請求項２２記載の発明によれば、操作の可能性が高い仮想のオブジェクトの操作性と周囲の物体との衝突の回避を両立できる。
請求項２３記載の発明によれば、周囲を移動する物体との衝突を回避できる。
請求項２４記載の発明によれば、周囲にいる人との衝突を回避できる。
請求項２５記載の発明によれば、現実の空間の同じ位置に配置された仮想のオブジェクトを複数人で共用する場合には、衝突の可能性があっても仮想のオブジェクトを移動させない運用を可能にできる。
請求項２６記載の発明によれば、周囲を移動する可動物と衝突する可能性を低減できる。
請求項２７記載の発明によれば、ユーザの注意を喚起できる。
請求項２８記載の発明によれば、周囲の物体との衝突の可能性を低減できる。
請求項２９記載の発明によれば、周囲の物体との衝突の可能性を低減できる。
請求項３０記載の発明によれば、周囲の物体との衝突の可能性を低減できる。
請求項３１記載の発明によれば、操作と周囲の物体との衝突の回避とを両立できる。
請求項３２記載の発明によれば、周囲の物体との衝突の回避を実現できる。
請求項３３記載の発明によれば、周囲の物体との衝突の回避を実現できる。
請求項３４記載の発明によれば、周囲の物体との衝突の回避を実現できる。
請求項３５記載の発明によれば、周囲の物体との衝突の回避と作業性とを両立できる。
請求項３６記載の発明によれば、周囲の物体との衝突の回避と作業性とを両立できる。
請求項３７記載の発明によれば、仮想のオブジェクトの表示を停止することなく、周囲の物体との衝突の回避を実現できる。
請求項３８記載の発明によれば、仮想のオブジェクトの表示を停止することなく、周囲の物体との衝突の回避を実現できる。

実施の形態１で想定する情報処理システムの使用例を説明する図である。 ｘＲデバイスをフロント側から観察する場合の外観例を説明する図である。 ｘＲデバイスのハードウェア構成の一例を説明する図である。 仮想画面がユーザに視認される原理を説明する図である。 情報端末のハードウェア構成の一例を説明する図である。 ジェスチャ操作に用いる第１の範囲の設定例と、第１の範囲内に位置する物体と仮想画面との間に確保する第１の距離の設定例を説明する図である。（Ａ）はユーザを上空から見た図であり、（Ｂ）はユーザを側方から見た図である。 ジェスチャ操作に用いる第１の範囲の他の設定例を説明する図である。（Ａ）はユーザが仰向けで寝ている状態における第１の範囲の設定例を示し、（Ｂ）はユーザが横向きに寝ている状態における第１の範囲の設定例を示している。 ジェスチャ操作に使用しない第２の範囲の設定例を説明する図である。（Ａ）はユーザを上空から見た図であり、（Ｂ）はユーザを側方から見た図である。 基本パラメータの設定画面の一例を説明する図である。 各閾値の設定に使用する設定画面の一例を説明する図である。 ジェスチャによる第１の範囲の設定を説明する図である。（Ａ）は第１の範囲を設定する様子をユーザの背方から見た図である。（Ｂ）は第１の範囲を設定する様子をユーザＵの側方から見た図である。 第１の範囲の設定例を説明する図である。（Ａ）は第１の範囲の基本例であり、（Ｂ）は利き手側の範囲を他方に比べて広く設定する例であり、（Ｃ）はマージン分だけ第１の範囲を拡大する例であり、（Ｄ）は利き手とは反対側の範囲を狭める例である。 基本パラメータの設定動作例を説明するフローチャートである。 実施の形態１における仮想画面の退避動作例を説明するフローチャートである。 仮想画面の表示位置を物体からユーザに近づける方向に退避させる例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面とユーザとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面とユーザとの位置関係を示す。 仮想画面の背後に、事後的に物体が置かれる場合の退避例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面とユーザとの位置関係を示し、（Ｂ１）及び（Ｂ２）は物体としての飲み物がテーブルに置かれた状態を示し、（Ｃ１）及び（Ｃ２）は退避後の仮想画面とユーザとの位置関係を示す。 退避位置の候補が第２の距離よりもユーザに近い場合の退避例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面とユーザとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面とユーザとの位置関係を示す。 複数の仮想画面が奥行方向に配列されている場合の退避例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面とユーザＵとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面とユーザとの位置関係を示す。 仮想画面を上向きに退避する例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面とユーザとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面とユーザとの位置関係を示す。 仮想画面を横方向に退避する例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面とユーザとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面とユーザとの位置関係を示す。 ユーザの前方のテーブルに複数の飲み物が置かれている場合における仮想画面の退避例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面とユーザと飲み物との位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面とユーザと飲み物との位置関係を示す。 仮想画面の表示位置をユーザから見て物体の奥方向に退避させる例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面とユーザとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面とユーザとの位置関係を示す。 仮想画面が周囲の物体と空間上で重なる場合の退避例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面とユーザとの位置関係を示し、（Ｂ１）及び（Ｂ２）はユーザの顔の向きが変化した直後の仮想画面とユーザとの位置関係を示し、（Ｃ１）及び（Ｃ２）は退避後の仮想画面とユーザとの位置関係を示す。 実施の形態２における仮想画面の退避動作例を説明するフローチャートである。 仮想画面が操作用のアイコンを含まない場合の処理動作を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面とユーザとの位置関係を示し、（Ｂ１）及び（Ｂ２）は仮想画面に操作用のアイコンが含まれない場合における仮想画面とユーザとの位置関係を示す。 実施の形態３における仮想画面の退避動作例を説明するフローチャートである。 ユーザに向かって接近する人がいる場合の退避例を説明する図である。（Ａ）は人が第１の範囲の外側をユーザに向かって移動している状態を示し、（Ｂ）は人が第１の範囲に入った状態を示す。 ２人のユーザのそれぞれが仮想画面を見ている場合の退避例を説明する図である。（Ａ）はユーザの第１の範囲とユーザの第１の範囲の一部が互いに重なっているが互いのジェスチャ操作が可動物と認識されない状態を示し、（Ｂ）はユーザのジェスチャ操作がユーザ側の第１の範囲内の可動物として認識された場合を示す。 移動型のロボットの移動スケジュールの取得が可能な場合における退避例を説明する図である。（Ａ）はロボットが第１の範囲の外に存在している状態を示し、（Ｂ）はロボットが第１の範囲に近づいた状態を示す。 退避の例外を説明する図である。（Ａ）は窓際のカーテンが下方に垂れ下がっている場合の仮想画面の表示位置を示し、（Ｂ）は窓際のカーテンが風に吹かれて仮想画面の付近まで広がった場合の仮想画面の表示位置を示す。 実施の形態４における仮想画面の退避動作例を説明するフローチャートである。 ２つの仮想画面がユーザから見て奥方向に配列されている場合の退避動作を説明する図である。（Ａ１）及び（Ａ２）は初期位置における２つの仮想画面とユーザとの位置関係を示し、（Ｂ１）及び（Ｂ２）は手前側の仮想画面だけが退避された様子を示す。 実施の形態５における仮想画面の退避動作例を説明するフローチャートである。 仮想画面の操作に使用するカーソルの一例を説明する。（Ａ）は右手の指先が仮想画面から遠い場合のカーソルを示し、（Ｂ）は右手の指先が仮想画面に近づいた場合のカーソルを示し、（Ｃ）は右手の指先が仮想画面に接触した場合のカーソルを示す。 ２つの仮想画面のうち奥側に位置する仮想画面を、物体からユーザに近づける方向に退避させる例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における２つの仮想画面とユーザとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避処理が実行された後の２つの仮想画面とユーザとの位置関係を示す。 実施の形態６における仮想画面の退避動作例を説明するフローチャートである。 ２つの仮想画面の表示中に３つ目の仮想画面の追加が指示された場合の退避例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における２つの仮想画面とユーザとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避処理が実行された後の３つの仮想画面とユーザとの位置関係を示す。 実施の形態７における仮想画面の退避動作例を説明するフローチャートである。 １つの仮想画面が複数人で共用されている場合を説明する図である。（Ａ）は２人のユーザがジェスチャ操作する前の状態を示し、（Ｂ）は２人のユーザがジェスチャ操作を開始した後の状態を示す。 仮想画面を視認するユーザに対して物体の存在を通知する手法の一例を説明する図である。（Ａ）は音声による通知例を示し、（Ｂ）は合成画像による通知例を示す。 仮想画面を視認するユーザに対して物体の存在を通知する他の手法の一例を説明する図である。（Ａ１）及び（Ａ２）は仮想画面の変形による方法を示し、（Ｂ１）及び（Ｂ２）は仮想画面に対する注意を喚起する画像を合成する方法を示す。 仮想画面のジェスチャ操作時における右手の可動域を測定した履歴による第１の範囲を規定する閾値の調整を説明する図である。（Ａ）は初期設定時の第１の範囲を示し、（Ｂ）はユーザのジェスチャ操作の可動域に応じて調整された第１の範囲を示す。 実施の形態１０における仮想画面の退避例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面とユーザとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面とユーザとの位置関係を示す。 実施の形態１０における仮想画面の別の退避例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面とユーザとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面とユーザとの位置関係を示す。 実施の形態１０における仮想画面の他の退避例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面とユーザとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面とユーザとの位置関係を示す。 実施の形態１０における仮想画面の他の退避例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面とユーザとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面とユーザとの位置関係を示す。 実施の形態１０における仮想画面の他の退避例を説明する図である。（Ａ１）及び（Ａ２）は縮小変換前の仮想画面とユーザとの位置関係を示し、（Ｂ１）及び（Ｂ２）は縮小変換後の仮想画面とユーザとの位置関係を示す。 実施の形態１０における仮想画面の他の退避例を説明する図である。（Ａ１）及び（Ａ２）は拡大変換前の仮想画面とユーザとの位置関係を示し、（Ｂ１）及び（Ｂ２）は拡大変換後の仮想画面とユーザとの位置関係を示す。 ユーザが視認している仮想画面が実在するモニタの表示画面と連携する場合を説明する図である。（Ａ）は連携前の仮想画面とモニタの表示画面を示し、（Ｂ）は連携直後の仮想画面とモニタの表示画面を示し、（Ｃ）は仮想画面の退避により仮想画面とモニタが並列に配置された状態を示す。 第１の範囲の形状を仮想画面に含まれるアイコンが位置する方向に拡張する機能を説明する図である。（Ａ１）及び（Ａ２）は仮想画面にアイコンが含まれない場合の第１の範囲を示し、（Ｂ１）及び（Ｂ２）は仮想画面にアイコンが含まれる場合の第１の範囲を示す。 ユーザの視線の方向について第１の範囲を拡大する機能を説明する図である。（Ａ１）及び（Ａ２）はユーザの視線の方向が右斜め前方である場合の第１の範囲の形状を示し、（Ｂ１）及び（Ｂ２）はユーザの視線の方向が左斜め前方である場合の第１の範囲の形状を示す。 実施の形態１３で使用するｘＲデバイスの外観例を説明する図である。（Ａ）はｘＲデバイスをフロント側から観察する場合の外観例を示し、（Ｂ）はｘＲデバイスをユーザ側から観察する場合の外観例を示す。 実施の形態１３で使用するｘＲデバイスのハードウェア構成の一例を説明する図である。 視線検知に関する機能部の構成を説明する図である。 実施の形態１４で使用するｘＲデバイスの外観例を説明する図である。（Ａ）はｘＲデバイスをフロント側から観察する場合の外観例を示し、（Ｂ１）及び（Ｂ２）はテンプルに取り付けられるイヤホンチップの構成例を示し、（Ｃ１）及び（Ｃ２）はテンプルに取り付けられるイヤホンチップの構成例を示す。 実施の形態１４で使用するｘＲデバイスのハードウェア構成の一例を説明する図である。 脳波を用いてジェスチャ操作の予兆を検知する機能部の構成を説明する図である。 実施の形態１４における仮想画面の退避動作例を説明するフローチャートである。 ジェスチャ操作が予想される場合と予想されない場合の退避処理の違いを説明する図である。（Ａ１）及び（Ａ２）はジェスチャ操作が予想されない場合の仮想画面とユーザとの位置関係を示し、（Ｂ１）及び（Ｂ２）はジェスチャ操作が予想される場合の仮想画面とユーザとの位置関係を示す。 実施の形態１５で想定する情報処理システムの使用例を説明する図である。（Ａ）は情報システムの外観例を示し、（Ｂ）は装着状態を説明する図である。 実施の形態１６で想定する情報処理システムの使用例を説明する図である。（Ａ）はヘッドセットの装着例であり、（Ｂ）はヘッドセットの内側に配置する脳波に対応する電気信号の測定用の電極の配置例を示す。

以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
＜システムの全体構成＞
図１は、実施の形態１で想定する情報処理システム１の使用例を説明する図である。
図１に示す情報処理システム１は、相互に接続されたｘＲデバイス１０と情報端末２０とで構成されている。ここで「接続された」とは、通信が可能な状態をいう。
図１に示すｘＲデバイス１０は、ユーザＵが頭部に装着する眼鏡型のデバイスである。

ｘＲデバイス１０には、仮想のオブジェクトを表示するモードと仮想のオブジェクトを表示しないモードが用意されている。仮想のオブジェクトを表示しないモードが有効である場合、ｘＲデバイス１０は、いわゆる眼鏡と同じである。
図１の場合、仮想のオブジェクトを表示するモードが有効である。このため、ユーザＵには、テーブル３の手前に仮想のオブジェクトとしての仮想の画面（以下「仮想画面」という）ＶＤが視認されている。図１では、吹き出しにより、ｘＲデバイス１０を装着しているユーザＵが認識している空間の状態を表現している。

なお、ユーザＵには、仮想画面ＶＤの背後に隠れて見えないが、現実のテーブル３には飲み物５が置かれている。
図１では、ユーザＵが、右手７で、仮想画面ＶＤをタップする様子を表現している。前述したように、昨今のｘＲデバイス１０は、高輝度かつ高解像で仮想画面ＶＤの表示が可能である。このため、テーブル３上の飲み物５に気づかないまま、仮想画面ＶＤをタップする可能性があり、その際に、飲み物５を倒してしまう可能性がある。

図１は、現実の空間における右手７と飲み物５の位置関係と、ユーザＵが視認している空間内の右手７と仮想画面ＶＤの位置関係を表している。
図１の場合、仮想画面ＶＤは２次元画像であるが、３次元画像でもよい。また、図１の場合、仮想画面ＶＤは１つであるが、複数でもよい。また、仮想画面ＶＤは、静止画でも動画像でもよい。仮想画面ＶＤは、仮想のオブジェクトの一例である。

本実施の形態で使用する情報端末２０は、ｘＲデバイス１０との連携により、仮想画面ＶＤのジェスチャ操作中における周辺の物体との衝突を回避する機能（以下「衝突回避機能」という）を提供する。
図１では、情報端末２０の一例としてスマートフォンを描いている。もっとも、情報端末２０は、スマートフォンに限らず、ノート型のコンピュータでも、デスクトップ型のコンピュータでも、タブレット型のコンピュータでも、ネットワーク上のサーバでもよい。また、情報端末２０は、スマートウォッチに代表されるウェアラブル端末でもよい。
図１の場合、情報端末２０には、１台のｘＲデバイス１０が接続されているが、複数台のｘＲデバイス１０が接続されていてもよい。また、複数台の情報端末２０に１台のｘＲデバイス１０が接続されてもよい。

本実施の形態におけるｘＲデバイス１０と情報端末２０は、情報処理システムの一例である。
本実施の形態では、ユーザＵによる仮想画面ＶＤの操作を「ジェスチャ操作」と表現する。仮想画面ＶＤを操作するユーザＵの現実の空間における動きは、身振り手振り等のジェスチャと認識されるためである。本実施の形態では、操作に用いるジェスチャの意味で「ジェスチャ操作」という。

＜各端末の装置構成＞
＜ｘＲデバイスの構成＞
図２は、ｘＲデバイス１０をフロント側から観察する場合の外観例を説明する図である。
眼鏡フレームは、レンズが嵌め込まれる左右のリム１１Ｌ、１１Ｒと、ブリッジ１２で構成される。眼鏡フレームの左右には、テンプル１３Ｌ、１３Ｒが丁番を介して取り付けられている。

図２の場合、左側のリム１１Ｌの丁番付近には、マイク１０１とスピーカ１０２が取り付けられている。一方、右側のリム１１Ｒの丁番付近には、慣性センサ１０３と測位センサ１０４が取り付けられている。
また、ブリッジ１２には、カメラ１０５が取り付けられている。
この他、左側のテンプル１３Ｌには、ｘＲモジュール１０６が取り付けられ、右側のテンプル１３Ｒには、プロセッサ１０７とＲＡＭ（＝Random Access Memory）１０８とフラッシュメモリ１０９で構成される制御ユニットと、通信モジュール１１０が取り付けられている。

図３は、ｘＲデバイス１０のハードウェア構成の一例を説明する図である。
図３に示すｘＲデバイス１０は、制御ユニットを構成するプロセッサ１０７に、マイク１０１と、スピーカ１０２と、慣性センサ１０３と、測位センサ１０４と、カメラ１０５と、ｘＲモジュール１０６と、ＲＡＭ１０８と、フラッシュメモリ１０９と、通信モジュール１１０が接続されている。
マイク１０１は、ユーザＵの音声や周囲の音を電気信号に変換するデバイスである。

スピーカ１０２は、電気信号を音に変換して出力するデバイスである。なお、スピーカ１０２は、骨伝導スピーカや軟骨伝導スピーカでもよい。
なお、スピーカ１０２は、ワイヤレスイヤホンのように、ｘＲデバイス１０とは独立したデバイスでもよい。
慣性センサ１０３は、例えば６軸センサで構成される。６軸センサは、３軸の加速度センサと３軸の角速度センサで構成される。慣性センサ１０３の出力により、ｘＲデバイス１０を装着しているユーザＵの頭部の動きが推定される。

測位センサ１０４は、例えばＬｉＤＡＲ（＝Light Detection And Ranging）モジュールである。ＬｉＤＡＲモジュールは、レーザ光をパルス状に発光し、対象物からの反射光が検出されるまでの時間により、対象物までの距離を算出するモジュールである。
本実施の形態における測位センサ１０４は、ｘＲデバイス１０の前方を含むユーザＵの周辺を測位の対象とする。測位センサ１０４の測位データにより、ユーザＵの周囲の３次元マップが作成される。

本実施の形態におけるｘＲデバイス１０は、少なくともユーザＵがジェスチャ操作に使用する体の部位の他、筆記具や指し棒等の文房具、杖、義手、義足等の補助具が動く範囲（すなわち「可動域」）を測位可能な性能を有している。
もっとも、測位センサ１０４を複数配置し、ユーザＵの前方だけでなく、例えばユーザＵの後方や側方に存在する物体までの距離を測定してもよい。
本実施の形態の場合、測位センサ１０４は、ｘＲデバイス１０に取り付けられているが、ネックレス、ペンダント、ブローチ、帽子、髪飾り、衣服等に取り付けられていてもよい。
ここでの測位センサ１０４は、現実の空間に存在する物体の位置を取得する取得部の一例である。

カメラ１０５は、例えばＣＭＯＳ（＝Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（＝Charge Coupled Device）イメージセンサを使用する。カメラ１０５で撮像された画像データを処理することにより、ユーザＵの周辺に位置する物体の内容の特定が可能になる。
図２の場合、眼鏡フレームには１個のカメラ１０５を取り付けているが、２つ以上のカメラ１０５を取り付けてもよい。

２つのカメラ１０５を用いてユーザＵの周囲をステレオ撮像すれば、被写体までの距離や被写体間の前後関係の推定が可能になる。ここでの２つのカメラ１０５は、取得部の一例である。また、２つのカメラ１０５を用いて測距する場合、測位センサ１０４を設けない構成も可能である。
なお、ｘＲデバイス１０には、カメラ１０５を取り付けない構成も可能である。この構成のｘＲデバイス１０は、スマートグラスとも呼ばれる。

ｘＲモジュール１０６は、現実の空間には存在しないｘＲ画像をユーザＵに視認させる機能を集約したモジュールであり、光学部品と電子部品で構成される。
ｘＲモジュール１０６の代表例には、ユーザＵの眼の前方にハーフミラーを配置する方式、ユーザＵの眼の前方に体積ホログラムを配置する方式、ユーザＵの眼の前方にブレーズド回折格子を配置する方式がある。
ここでのｘＲモジュール１０６は、狭義には、仮想のオブジェクトを現実の空間の情報に重ねた視覚情報をユーザに視認させるためのデバイス部分をいう。なお、ｘＲモジュール１０６は、広義には、仮想のオブジェクトを現実の空間の情報に重ねた視覚情報をユーザに視認させるための仕組みをいう。

プロセッサ１０７は、例えばＣＰＵ（＝Central Processing Unit）やＭＰＵ（＝Micro Processing Unit）で構成される。プロセッサ１０７は、プログラムの実行を通じて各種の機能を実現する。
ＲＡＭ（＝Random Access Memory）１０８とフラッシュメモリ１０９は、いずれも半導体メモリである。ＲＡＭ１０８は、プログラムの実行に使用される主記憶装置である。フラッシュメモリ１０９は、ＢＩＯＳ（＝Basic Input Output System）やファームウェア等の記録に用いられる不揮発性の補助記憶装置である。
本実施の形態の場合、制御ユニットを、プロセッサ１０７と、ＲＡＭ１０８と、フラッシュメモリ１０９で構成するが、ＡＳＩＣ（＝Application Specific Integrated Circuit）やＦＰＧＡ（＝Field Programmable Gate Array）等により構成してもよい。

通信モジュール１１０は、情報端末２０との通信を実現するデバイスである。本実施の形態の場合、通信モジュール１１０には、例えばＷｉｆｉ（登録商標）やBluetooth（登録商標）を使用する。本実施の形態の場合、計算負荷が大きい処理は、プロセッサ１０７ではなく、情報端末２０で実行する。
なお、図２や図３で説明したデバイス以外にも、例えばバイブレータや照度センサを備えてもよい。連続した振動又は断続した振動を発生するバイブレータは、ユーザＵに対するアラーム等の通知に使用が可能である。照度センサは、眼鏡フレームやテンプル１３Ｌ、１３Ｒの内側に配置することにより、ｘＲデバイス１０の装着や取り外しの検知に使用が可能である。

図４は、仮想画面ＶＤがユーザＵに視認される原理を説明する図である。図４に示すｘＲデバイス１０は、ユーザＵの眼の前方にブレーズド回折格子を配置する方式に対応する。
図４に示すｘＲデバイス１０は、眼鏡のレンズに相当する導光板１１１と、マイクロディスプレイ１１２と、映像光Ｌ１２が入力される回折格子１１３Ａと、映像光Ｌ１２が出力される回折格子１１３Ｂとを有している。
導光板１１１は、例えば８５％以上の透過率を有している。このため、ユーザＵは、導光板１１１を透過して前方の景色を直接視認することが可能である。外光Ｌ１１は、導光板１１１及び回折格子１１３Ｂを透過するように直進し、ユーザＵの眼Ｅに入射する。

マイクロディスプレイ１１２は、ユーザＵに視認される仮想画面ＶＤが表示される小型のディスプレイである。マイクロディスプレイ１１２に表示された画像の光は、映像光Ｌ１２として導光板１１１に投影される。映像光Ｌ１２は、回折格子１１３Ａにより屈折され、導光板１１１の内部を反射しながら回折格子１１３Ｂに達する。回折格子１１３Ｂは、映像光Ｌ１２をユーザＵの眼Ｅの方向に屈折する。
これにより、ユーザＵの眼Ｅには、外光Ｌ１１と映像光Ｌ１２が同時に入射される。その結果、ユーザＵは、図４に吹き出しで示すように、テーブル３の手前に仮想画面ＶＤが存在するように視認する。

＜情報端末の構成＞
図５は、情報端末２０のハードウェア構成の一例を説明する図である。
図５に示す情報端末２０は、制御デバイスを構成するプロセッサ２０１、ＲＡＭ２０２、フラッシュメモリ２０３と、ディスプレイ２０４と、静電容量式タッチセンサ２０５と、カメラ２０６と、マイク２０７と、スピーカ２０８と、通信モジュール２０９と、これらを接続する信号線２１０とを有している。

プロセッサ２０１は、例えばＣＰＵやＭＰＵで構成される。プロセッサ２０１は、プログラムの実行を通じて各種の機能を実現する。
ＲＡＭ２０２とフラッシュメモリ２０３は、いずれも半導体メモリである。ＲＡＭ２０２は、プログラムの実行に使用される主記憶装置として用いられる。フラッシュメモリ２０３は、ＢＩＯＳやファームウェア等の記録に用いられる不揮発性の補助記憶装置である。本実施の形態におけるプロセッサ２０１は、プログラムの実行を通じ、仮想画面ＶＤのジェスチャ操作中における周辺の物体ＲＯとユーザＵとの衝突を回避する機能を提供する。

ディスプレイ２０４には、例えば有機ＥＬ（＝Electro Luminescent）ディスプレイや液晶ディスプレイが用いられる。
静電容量式タッチセンサ２０５は、ディスプレイ２０４の表面に取り付けられるフィルム状のセンサである。静電容量式タッチセンサ２０５は、ディスプレイ２０４の視認を妨げない透光性を有しており、ユーザＵの指先等が触れた位置を静電容量の変化として検知する。ディスプレイ２０４と静電容量式タッチセンサ２０５が一体化されたデバイスは、タッチパネルと呼ばれる。

カメラ２０６は、情報端末２０の装置本体に取り付けられている。情報端末２０がスマートフォンの場合、カメラ２０６は、ディスプレイ２０４と同じ面と反対側の面とに複数設けられている。カメラ２０６には、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサが使用される。
マイク２０７は、音を電気信号に変換するデバイスである。
スピーカ２０８は、電子信号を音に変換するデバイスである。
通信モジュール２０９は、例えばＷｉｆｉ（登録商標）やBluetooth（登録商標）等であり、ｘＲデバイス１０との通信に使用される。

＜基本パラメータ＞
以下では、図６～図１２を使用して、仮想画面ＶＤ（図１参照）のジェスチャ操作中におけるユーザＵと周辺の物体との衝突を回避する又は衝突の可能性を低減する機能を実現する上で事前設定が求められる基本パラメータについて説明する。
図６は、ジェスチャ操作に用いる第１の範囲ＲＡの設定例と、第１の範囲ＲＡ内に位置する物体ＲＯと仮想画面ＶＤ（図１参照）との間に確保する第１の距離ＬＴ１の設定例を説明する図である。（Ａ）はユーザＵを上空から見た図であり、（Ｂ）はユーザＵを側方から見た図である。

ジェスチャ操作に用いる第１の範囲ＲＡは、ユーザＵが仮想画面ＶＤに対するジェスチャ操作に使用する範囲を与える。具体的には、第１の範囲ＲＡは、ユーザＵがジェスチャ操作に使用する体の部位の他、筆記具や指し棒等の文房具、杖、義手、義足等の補助具が動く範囲を測位の範囲の最大範囲を与える。
もっとも、本実施の形態における第１の範囲ＲＡは、仮想画面ＶＤを物体ＲＯから退避させる機能による仮想画面ＶＤの退避を実行するか否かの判定に使用する便宜上の範囲である。このため、設定された第１の範囲ＲＡが、ユーザＵがジェスチャ操作に使用する体の部位等が可動する範囲の最大範囲と一致するとは限らない。

ただし、ユーザＵがジェスチャ操作に手を使用する場合、第１の範囲ＲＡは、ユーザＵの手が届く範囲内に設定すればよい。ユーザＵの手が届かない範囲に物体ＲＯが存在しても、ユーザＵの手が物体ＲＯと衝突する可能性は、例外的な場合を除き、存在しないためである。
もっとも、ジェスチャ操作時に、体が前方等に移動するユーザＵも存在する。この場合には、静止状態で規定した第１の範囲ＲＡを拡張する意味がある。

図６（Ａ）の場合、第１の範囲ＲＡは、ｘＲデバイス１０を装着するユーザＵの正面方向であるＹ軸を挟んで左右対称の扇型として定義されている。
因みに、図６（Ａ）におけるユーザＵは、現実の空間で立っている場合を想定している。このため、図中のＺ軸の矢印の方向は、鉛直上向きを表している。また、Ｙ軸の矢印の方向は、ユーザＵの正面方向を表し、Ｘ軸の矢印の方向はユーザＵの右方向を表している。
実際の範囲ＲＡは、立体形状で定められる。図６（Ｂ）では、手の可動域を想定して、範囲ＲＡの上限を目の高さ付近とし、下限を腰の高さ付近としている。
ここでの第１の範囲ＲＡは、ｘＲデバイス１０から予め定められた範囲の一例である。

図６（Ａ）及び図６（Ｂ）では、第１の距離ＬＴ１も規定している。ここでの第１の距離ＬＴ１は、物体ＲＯと仮想画面ＶＤとの間に確保する最小距離を与える。この第１の距離ＬＴ１は、物体ＲＯを中心とした概略球形状で与えられる。
もっとも、測位センサ１０４（図３参照）が物体ＲＯの表面形状を把握可能なのは、測位センサ１０４と対面する側の面だけであり、物体ＲＯの全体形状は不明である。
従って、図６（Ａ）及び図６（Ｂ）に例示した物体ＲＯの背後側の位置は、測位センサ１０４から測定が可能な物体ＲＯの表面側を基準に与えられる。簡易型のシステムでは、ユーザＵから見て物体ＲＯの背後側の第１の距離ＬＴ１は管理しない設定も可能である。

因みに、第１の距離ＬＴ１は、ジェスチャ操作中のユーザＵが物体ＲＯと衝突しないための距離の目安である。
従って、第１の距離ＬＴ１は、ジェスチャ操作中のユーザＵの体の部位等と物体ＲＯとの衝突回避を保証しない。
この第１の距離ＬＴ１は、例えば初期値として与えてもよいし、ユーザＵが個別に設定したり調整したりしてもよい。

図７は、ジェスチャ操作に用いる第１の範囲ＲＡの他の設定例を説明する図である。（Ａ）はユーザＵが仰向けで寝ている状態における第１の範囲ＲＡの設定例を示し、（Ｂ）はユーザが横向きに寝ている状態における第１の範囲ＲＡの設定例を示している。
図７（Ａ）及び（Ｂ）では、省略しているが、ユーザＵの頭頂側から見た第１の範囲ＲＡは、図６（Ａ）と同じく扇型となる。
なお、図７（Ａ）及び（Ｂ）では、ユーザＵが寝る面をＸ軸とＹ軸で規定している。
いずれの場合も、ユーザＵに装着されたｘＲデバイス１０を基準として、第１の範囲ＲＡの形状や方向が規定される。

例えば図７（Ａ）では、Ｚ軸の矢印の方向が、ユーザＵから見て奥側となる。また、図７（Ｂ）では、Ｙ軸の矢印の方向が、ユーザＵから見て奥側となる。
図７（Ｂ）の場合、ユーザＵが横向きに寝ているので、第１の範囲ＲＡは、ｘＲデバイス１０に向かって非対称の形状に設定される。
なお、図６及び図７においては、第１の範囲ＲＡの最大範囲を、ユーザＵの体の部位等の可動域で規定しているが、ｘＲデバイス１０の最大視野角で規定してもよい。
そもそも、ｘＲデバイス１０の最大視野角を超えては、仮想画面ＶＤを表示し得ない。このため、最大視野角の外側に存在する物体ＲＯについては、仮想画面ＶＤの背後に隠れることもない。すなわち、仮想画面ＶＤを退避しなくても、ユーザＵは、物体ＲＯに事前に気づくことが可能である。

図８は、ジェスチャ操作に使用しない第２の範囲ＲＢの設定例を説明する図である。（Ａ）はユーザＵを上空から見た図であり、（Ｂ）はユーザＵを側方から見た図である。図８には、図６との対応部分に対応する符号を付して示している。
図８に示す第２の範囲ＲＢは、ユーザＵが操作に使用しない範囲を与える。換言すると、仮想画面ＶＤを表示させない範囲を与える。仮想画面ＶＤがユーザＵに近すぎると、仮想画面ＶＤの視認性が低下する上に、ジェスチャ操作が困難になるためである。

図８では、第２の範囲ＲＢを第２の距離ＬＴ２で規定する。第２の距離ＬＴ２は、ｘＲデバイス１０からの距離として与えられる。第２の距離ＬＴ２は、ｘＲデバイス１０と仮想画面ＶＤ（図１参照）との間に確保する最小距離を規定する。以下では、第２の距離ＬＴ２を「最接近位置」ともいう。
以下では、第１の範囲ＲＡを規定する情報と、退避距離を規定する第１の距離ＬＴ１と、第２の範囲ＲＢを規定する第２の距離ＬＴ２等を総称して基本パラメータという。

＜基本パラメータ等の設定＞
図９は、基本パラメータの設定画面３００の一例を説明する図である。
図９に示す設定画面３００は、ユーザに関する情報と、第１の範囲ＲＡを規定する情報等の具体的な設定方法の選択に用いられる。
設定された情報は、登録情報の一例として、ｘＲデバイス１０（図１参照）や情報端末２０に記憶される。

設定画面３００の場合、「設定（１／２）」とのタイトルの下段に、案内文３０１が配置されている。図９では、案内文３０１として、「周辺の物体との衝突回避に使用します。」、「以下の項目に入力をお願いします。」と記載され、各項目の設定を促している。なお、各項目の設定は必須でも任意でもよい。

設定画面３００の場合、入力を求める項目として、年齢３０２、性別３０３、身長３０４、操作に使用する部位等３０５、利き手等３０６、マージン設定３０７が配置され、その下段に、第２の案内文３０８と、選択用のボタン３０９～３１３が配置されている。
図９の場合、年齢３０２、性別３０３、身長３０４、操作に使用する部位等３０５、利き手等３０６には、プルダウンメニューが用意されている。これら項目のうち年齢や身長は数値による入力欄を用意してもよい。

操作に使用する部位等３０５のプルダウンメニューには、例えば指、手、肘、足、膝、足首等の体の部位の他、筆記具や杖等の補助具が選択可能に列記される。
利き手等３０６の設定では、仮想画面ＶＤの操作に右手側を主に使用するのか、左手側を主に使用するのか、両手を使用するのかの選択が可能である。
マージン設定３０７は、第１の距離ＬＴ１により設定された第１の範囲ＲＡの拡張の「あり」と「なし」の設定が可能である。

マージン設定３０７が「あり」の場合、第１の範囲ＲＡは、第１の距離ＬＴ１から更に遠方に拡張される。なお、拡張される距離は、予め定められていてもよく、サブ設定によりユーザが具体的に設定又は調整してもよい。また、拡張される方向は、利き手等３０６の設定を参照する。例えば利き手等３０６の設定が右手の場合、第１の範囲ＲＡを右手側に広くする。
マージン設定３０７が「なし」の場合、第１の範囲ＲＡは、第１の距離ＬＴ１で与えられる。

第２の案内文３０８には、「判定用の閾値を設定します。」、「以下のいずれかのボタンを選択してください。」と記載されている。
ボタン３０９には、「画面で設定」とのラベルが付されている。ボタン３０９が操作された場合、各閾値の設定画面に切り替わる。ここでの閾値は、例えばユーザの手が届く距離、第１の距離ＬＴ１、第２の距離ＬＴ２である。
ボタン３１０には、「ジェスチャで設定」とのラベルが付されている。ボタン３１０が操作された場合、操作に使用する手足等の可動域等の測定値により、各閾値が設定される。

ボタン３１１には、「音声で設定」とのラベルが付されている。ボタン３１１が操作された場合、問い合わせに従って、ユーザが音声により各閾値を設定する。
ボタン３１２には、「推定値で設定」とのラベルが付されている。ボタン３１２が操作された場合、プルダウンメニューで選択された年齢、性別、身長等に基づいて各閾値が推定され、推定された値で各閾値が設定される。推定時には、例えば年齢、性別、身長等に対応する標準体型について用意されたテーブルから各閾値が読み出される。
なお、ボタン３１３が操作されると、設定画面３００は、ホーム画面等に切り替わる。

図１０は、各閾値の設定に使用する設定画面３２０の一例を説明する図である。
図１０に示す設定画面３２０の場合、「設定（２／２）」とのタイトルの下段に、案内文３２０Ａが配置されている。図１０では、案内文３２０Ａとして、「周辺の物体との衝突回避の機能を設定します。」、「以下の項目に入力をお願いします。」と記載されている。
図１０には、設定対象の項目として、「手が届く距離」３２１、「周辺の物体から退避する距離」３２２、「仮想画面を表示する最接近位置」３２３が示されている。

「手が届く距離」３２１は、第１の範囲ＲＡの設定に必要な距離である。図１０には、ユーザから奥行方向への水平距離であることが挿絵により示されている。ユーザＵが地面や床に立っている場合、水平距離は地面等に平行な距離である。
なお、第１の範囲ＲＡの規定には、奥行方向だけでなく、水平方向の角度や上下方向の角度を与える必要があるので、それらの数値の設定欄を設けてもよい。図１０の場合、距離の単位はセンチメートルであるが、インチでもよい。

「周辺の物体から退避する距離」３２２は、第１の距離ＬＴ１を与える距離である。図１０では、物体ＲＯと仮想画面ＶＤとの間に確保する距離であることが挿絵により示されている。図１０の場合、距離の単位はセンチメートルであるが、インチでもよい。
「仮想画面を表示する最接近位置」３２３は、第２の距離ＬＴ２を与える距離である。図１０では、ユーザと仮想画面ＶＤとの間に確保する距離であることが挿絵により示されている。図１０の場合、距離の単位はセンチメートルであるが、インチでもよい。

このうち、「手が届く距離」３２１は、仮想画面ＶＤの退避が必要か否かの判定に使用され、「周辺の物体から退避する距離」３２２と「仮想画面を表示する最接近位置」３２３は、は、仮想画面ＶＤを物体ＲＯから退避させる場合に使用される。仮想画面ＶＤと物体ＲＯとの距離が第１の距離ＬＴ１以内の場合、仮想画面ＶＤの退避が実行される。ただし、退避後の位置（以下「退避位置」という）とユーザとの距離は、第２の距離ＬＴ２以上に設定される。

この他、設定画面３２０には、「戻る」のラベルが付されたボタン３２４と、「設定」のラベルが付されたボタン３２５が配置されている。
ボタン３２４が操作されると、設定画面３２０は、設定画面３００（図９参照）に切り替わる。この場合、設定画面３２０で入力された数値は設定には至らない。
ボタン３２５が操作されると、設定画面３２０で入力された数値が設定される。

図１１は、ジェスチャによる第１の範囲ＲＡの設定を説明する図である。（Ａ）は第１の範囲を設定する様子をユーザＵの背方から見た図である。（Ｂ）は第１の範囲を設定する様子をユーザＵの側方から見た図である。
ジェスチャによる第１の範囲ＲＡの設定はボタン３１０（図９参照）が操作された場合に実行される。
ジェスチャによる設定は、仮想画面ＶＤに表示される案内文やスピーカ１０２（図２参照）から再生される音声ガイドに従って実行される。

図１１（Ａ）の場合、ｘＲデバイス１０からは「可動囲を登録します。」、「正面を向いたまま、操作に使用する手や足を大きく動かしてください。」、「操作時に器具を使用する場合は、器具を用いてください。」との音声ガイドが再生されている。
図１１（Ａ）のユーザＵは、空中に大きな円を描いている。円で囲まれた範囲が第１の範囲ＲＡとして設定される。
図１１（Ｂ）では、第１の範囲ＲＡがｘＲデバイス１０からの距離Ｌ（ｔ）で規定される様子を表している。括弧内のｔｎは、時点ｔｎに測定された距離Ｌ（ｔ）を表している。

ジェスチャを用いる場合、ユーザＵが実際に操作に使用する可能性がある第１の範囲ＲＡを正確に設定することが可能である。
なお、第１の距離ＬＴ１や第２の距離ＬＴ２も、ジェスチャによる設定が可能である。例えば左手と右手の間の距離として設定することが可能である。もっとも、第１の距離ＬＴ１や第２の距離ＬＴ２は、音声により設定することも可能である。例えば「５ｃｍに設定してください」との発話により設定が可能である。

＜第１の範囲の設定例＞
図１２は、第１の範囲ＲＡの設定例を説明する図である。（Ａ）は第１の範囲ＲＡの基本例であり、（Ｂ）は利き手側の範囲を他方に比べて広く設定する例であり、（Ｃ）はマージン分だけ第１の範囲ＲＡを拡大する例であり、（Ｄ）は利き手とは反対側の範囲を狭める例である。
図１２は、図６（Ａ）との対応部分に対応する符号を付して示している。すなわち、図１２（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）は、いずれもユーザＵを上空から見た図を表している。

図１２（Ａ）は、第１の範囲ＲＡの基本形状であり、ユーザＵの正面方向に対して左右対称となる。
図１２（Ｂ）～（Ｄ）は、利き手として右手が設定された場合における第１の範囲ＲＡの設定例である。
図１２（Ｂ）の場合、第１の範囲ＲＡの形状は、図１２（Ａ）に示す基本形状のまま、ユーザＵの上空から見て時計回りに回転されている。

図１２（Ｃ）に示す第１の範囲ＲＡは、利き手として右手が設定され、かつ、マージン設定が「あり」の場合である。図１２（Ｃ）に示す第１の範囲ＲＡは、図１２（Ｂ）に示す第１の範囲ＲＡよりもマージン分だけ広くなっている。
図１２（Ｄ）に示す第１の範囲ＲＡは、図１２（Ａ）に示す基本形状のうち右手が届きにくいユーザＵの左前方が削除されている。
図１２に示すように、第１の範囲ＲＡは、利き手の設定の有無やマージンの設定の有無に応じて様々な形状をとる。すなわち、利き手側に範囲を広げるだけでなく、利き手との反対側の範囲だけを狭めることもある。

＜処理動作＞
以下では、仮想画面ＶＤの退避機能が実行される情報端末２０（図１参照）で実行される処理動作について説明する。以下に示す処理動作や機能は、プロセッサ２０１（図５参照）によるプログラムの実行を通じて実現される。

＜基本パラメータの設定動作＞
図１３は、基本パラメータの設定動作例を説明するフローチャートである。図中に示す記号のＳは、ステップを意味する。
まず、プロセッサ２０１は、衝突回避機能の設定か否かを判定する（ステップ１）。
ステップ１で否定結果が得られた場合、プロセッサ２０１は、処理を終了する。
ステップ１で肯定結果が得られた場合、プロセッサ２０１は、ユーザに関する情報を受け付ける（ステップ２）。この処理は、設定画面３００（図９参照）による情報の入力に対応する。

次に、プロセッサ２０１は、各閾値の個別設定か否かを判定する（ステップ３）。
ステップ３で肯定結果が得られた場合、プロセッサ２０１は、ユーザＵの選択した手法に基づいて閾値を設定する（ステップ４）。ステップ４は、「画面で設定」、「ジェスチャで設定」、「音声で設定」のいずれかによる設定が選択された場合に実行される。
ステップ３で否定結果が得られた場合、プロセッサ２０１は、ユーザＵに関する情報を用いて閾値を推定し、推定された閾値を設定する（ステップ５）。
ステップ４又はステップ５の実行により、閾値の初期設定は終了する。

＜仮想画面の退避動作＞
図１４は、実施の形態１における仮想画面ＶＤの退避動作例を説明するフローチャートである。図中に示す記号のＳは、ステップを意味する。
まず、プロセッサ２０１（図５参照）は、衝突回避機能がオンか否かを判定する（ステップ１１）。
ステップ１１で否定結果が得られている間、プロセッサ２０１は、ステップ１１の判定を繰り返す。
ステップ１１で肯定結果が得られた場合、プロセッサ２０１は、ユーザＵの周囲に存在する物体ＲＯまでの距離を測定する（ステップ１２）。

ユーザＵの周囲の物体ＲＯまでの距離の測定が終了すると、プロセッサ２０１は、仮想画面ＶＤの初期位置が第１の範囲ＲＡ内にあるか否かを判定する（ステップ１３）。
ステップ１３で否定結果が得られた場合、プロセッサ２０１は、初期位置に仮想画面ＶＤを表示する（ステップ１４）。初期位置は、例えばｘＲデバイス１０（図１参照）の正面方向に５０ｃｍの位置として規定される。勿論、ここでの初期位置は一例であり、ユーザＵが個別に調整することも可能である。

ステップ１３で肯定結果が得られた場合、プロセッサ２０１は、第１の範囲ＲＡ内に物体ＲＯがあるか否かを判定する（ステップ１５）。
ステップ１５で否定結果が得られた場合、仮想画面ＶＤの衝突回避は不要であるので、プロセッサ２０１は、ステップ１２に戻る。
ステップ１５で肯定結果が得られた場合、プロセッサ２０１は、第１の範囲ＲＡ内の物体は単数か否かを判定する（ステップ１６）。

対象とする物体ＲＯが１つの場合、プロセッサ２０１は、ステップ１６で肯定結果を得る。この場合、プロセッサ２０１は、退避位置の候補が最接近位置より近いか否かを判定する（ステップ１７）。ここでの退避位置は、仮想画面ＶＤを第１の距離ＬＴ１だけ予め定めた方向に移動させた後の位置である。退避の方向は、例えばユーザＵに近づく方向に設定される。なお、仮想画面ＶＤの退避に使用する距離は、第１の距離ＬＴ１と同じである必要はない。
ただし、仮想画面ＶＤの退避に使用する距離を第１の距離ＬＴ１に設定することで、退避位置が、物体ＲＯから第１の距離ＬＴ１以上離れる可能性が高くなる。

もっとも、仮想画面ＶＤの退避に使用する距離が第１の距離ＬＴ１より短くても、退避位置が第１の距離ＬＴ１以上離れるまで退避を繰り返せばよい。
また、退避の距離は、退避の方向の違いにより異なってもよい。例えばユーザＵに近づく方向に退避する場合と、ユーザＵから遠ざかる方向に退避する場合とで距離が異なってもよい。例えばユーザＵから遠ざかる方向に対する距離は、ユーザＵに近づく方向に退避する距離よりも短くしてもよい。ユーザＵから遠ざかる方向にも、ユーザＵに近づく方向と同じ距離だけ退避させることで、ユーザＵの体の部位等が仮想画面ＶＤに届かなくなる可能性が生じるためである。また、物体ＲＯの奥側への退避であれば、仮想画面ＶＤの手前に物体ＲＯが位置するため、ユーザＵが物体ＲＯとの接触を未然に回避できるためである。

ステップ１７で肯定結果が得られた場合、プロセッサ２０１は、最接近位置に仮想画面ＶＤを表示する（ステップ１８）。すなわち、ユーザＵに接近可能な最小距離の位置に仮想画面ＶＤが表示される。この場合、退避後の仮想画面ＶＤと物体ＲＯとの距離が第１の距離ＬＴ１だけ確保されない可能性が残るが、仮想画面ＶＤは、初期位置よりもユーザＵに近づく方向に退避される。このため、ジェスチャ操作中に体の部位等が物体ＲＯと衝突する可能性は初期位置よりも少なくなる。

ステップ１７で否定結果が得られた場合、プロセッサ２０１は、退避位置の候補を退避位置に確定し、仮想画面ＶＤを表示する（ステップ１９）。この表示により、仮想画面ＶＤに対するジェスチャ操作に際し、ユーザＵの周辺に存在する物体ＲＯとの衝突の可能性は低減される。
ステップ１６の説明に戻る。
ステップ１６で否定結果が得られた場合、プロセッサ２０１は、退避位置の候補が最接近位置より近い場合が１つでもあるか否かを判定する（ステップ２０）。

ここでの退避位置の候補は、ユーザＵの周辺に存在する複数の物体ＲＯ毎に複数存在する。
例えば第１の範囲ＲＡ内に存在する物体ＲＯの数が３つの場合、退避位置の候補は３つ存在する。プロセッサ２０１は、これら３つの候補のうちの１つでも最接近位置よりもユーザＵに近い場合、ステップ２０で肯定結果を得る。この場合、プロセッサ２０１は、ステップ１８に移行する。

一方、ステップ２０で否定結果が得られた場合、プロセッサ２０１は、ユーザＵに最も近い退避位置の候補を退避位置に確定し、仮想画面ＶＤを表示する（ステップ２１）。この退避により、もっとも、衝突の可能性があるユーザＵに最も近い位置の物体ＲＯからも可能な限り仮想画面ＶＤを退避することが可能になる。勿論、より遠くに位置する物体ＲＯと衝突する可能性は、仮想画面ＶＤの初期位置からの退避により、衝突の可能性は一段と低下される。

図１４の場合、ステップ１８、ステップ１９又はステップ２１の実行後、プロセッサ２０１は、図１４に示す一連の処理を一旦終了する。この場合、プロセッサ２０１は、再びステップ１１の判定を実行する。もっとも、プロセッサ２０１は、ステップ１８、ステップ１９又はステップ２１の実行後にステップ１２に戻ってもよい。
図１４に示す仮想画面ＶＤの退避動作とは別に、プロセッサ２０１は、仮想画面ＶＤに対するジェスチャ操作の受け付け処理、受け付けた処理の実行等を実行する。

ところで、プロセッサ２０１による仮想画面ＶＤの退避位置は、以下の条件を満たすことが必要である。
条件の１つは、退避位置がユーザＵの視野内に含まれることである。仮想画面ＶＤの視認性が維持されることが前提だからである。
同様の条件として、退避位置がｘＲデバイス１０（図１参照）の視野角内に含まれることである。仮想画面ＶＤの表示は、ｘＲデバイス１０の物理的な性能の制約を受けるためである。仮想画面ＶＤの退避位置がユーザＵの視野内でも、ｘＲデバイス１０の視野外ではユーザＵに仮想画面ＶＤを視認させることは無理である。

他の条件は、退避位置がユーザＵによるジェスチャ操作が可能な範囲内であることである。ここでのジェスチャ操作が可能な範囲とは、ユーザＵの体の部位等が届く範囲内の意味である。すなわち、退避位置は、第１の範囲ＲＡ内に設定される。
本実施の形態では、仮想画面ＶＤに仮想的に触れる操作をジェスチャ操作とみなすためである。例えば仮想画面ＶＤをユーザＵから２ｍ先に退避させる場合、補助具等を使用しても、仮想画面ＶＤの表面を触れられない可能性が高くなる。
また、図１４に示す退避動作は、ｘＲデバイス１０により空中に表示される仮想画面ＶＤが１つの場合を想定しているが、複数の仮想画面ＶＤが表示される場合にも適用が可能である。この場合、仮想画面ＶＤの退避は、複数の仮想画面ＶＤを一体として実行するものとして読み替える。

＜仮想画面の退避例＞
以下、図１５～図２３を使用して、仮想画面ＶＤの具体的な退避例について説明する。
＜退避例１＞
図１５は、仮想画面ＶＤの表示位置を物体ＲＯからユーザＵに近づける方向に退避させる例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面ＶＤとユーザＵとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面ＶＤとユーザＵとの位置関係を示す。

図１５（Ａ１）の場合、テーブル３の天板上に仮想画面ＶＤが見えているが、その背後に位置する飲み物５は見えていない。図１５（Ａ２）によれば、ｘＲデバイス１０から仮想画面ＶＤまでの距離はＬ０、ｘＲデバイス１０から飲み物５までの距離はＬ１である。そして、距離Ｌ０と距離Ｌ１との差はＬ２である。
因みに、Ｌ２＜ＬＴ１である。この位置関係では、仮想画面ＶＤの表面に配置されたボタンのタップや仮想画面ＶＤのスワイプ等の際に飲み物５と接触する可能性が高い。また、この例では、仮想画面ＶＤの背後に隠れている物体ＲＯが比較的軽量で容易に移動する飲み物５であるが、硬質の固着物であると、物体ＲＯとの接触によりユーザＵが怪我を負う可能性もある。

一方、図１５（Ｂ１）及び（Ｂ２）では、仮想画面ＶＤの表示位置が、ユーザＵの方向に退避されている。この例では、飲み物５から第１の距離ＬＴ１だけ離れる位置に仮想画面ＶＤの表示位置が移動されている。第１の距離ＬＴ１は、ジェスチャ操作に使用する指先等が仮想画面ＶＤの背面側を移動する距離を考慮して定められるため、飲み物５と接触する可能性は、仮想画面ＶＤが初期位置に表示される場合よりも少なくなる。
なお、図１５（Ｂ２）の場合、仮想画面ＶＤは、ユーザＵの方向にＬＴ１－Ｌ２の距離だけ移動されているが、仮想画面ＶＤを第１の距離ＬＴ１だけ移動させることも可能である。その場合、仮想画面ＶＤと飲み物５との距離は、ＬＴ１＋Ｌ２となる。

＜退避例２＞
図１６は、仮想画面ＶＤの背後に、事後的に物体ＲＯが置かれる場合の退避例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面ＶＤとユーザＵとの位置関係を示し、（Ｂ１）及び（Ｂ２）は物体ＲＯとしての飲み物５がテーブル３に置かれた状態を示し、（Ｃ１）及び（Ｃ２）は退避後の仮想画面ＶＤとユーザＵとの位置関係を示す。図１６には、図１５との対応部分に対応する符号を付して示している。

退避例１の場合は、テーブル３に飲み物５が置かれている状態で、仮想画面ＶＤの表示位置が事後的に近接する場合を想定していたが、退避例２では、仮想画面ＶＤが表示されている位置に、飲み物５等の物体ＲＯが置かれる場合である。
この場合でも、新たな物体ＲＯが検知された時点で、仮想画面ＶＤが衝突の可能性が少ない位置へと退避される。図１６（Ｃ１）及び（Ｃ２）は、飲み物５等の物体ＲＯが検知された後の退避である。
一方で、ユーザＵのジェスチャ操作に基づかない仮想画面ＶＤの移動は、ユーザＵに戸惑いを与える可能性がある。

このため、仮想画面ＶＤの表示中に衝突退避機能により仮想画面ＶＤの表示位置が移動される場合には、その旨をユーザＵに通知してもよい。
ここでの通知は、例えばスピーカ１０２（図３参照）からの再生音や音声を用いてもよいし、バイブレータによる振動を用いてもよいし、表示中の仮想画面ＶＤに注意文等を表示してもよいし、表示中の仮想画面ＶＤとは別に注意喚起用の仮想画面ＶＤを表示してもよい。

＜退避例３＞
図１７は、退避位置の候補が第２の距離ＬＴ２よりもユーザＵに近い場合の退避例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面ＶＤとユーザＵとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面ＶＤとユーザＵとの位置関係を示す。図１７には、図１５との対応部分に対応する符号を付して示している。
退避例３で使用する第１の距離ＬＴ１は、退避例１で使用する第１の距離ＬＴ１よりも長い場合を想定する。この場合、飲み物５から第１の距離ＬＴ１だけユーザＵに近い位置は、仮想画面ＶＤの表示が禁止される第２の距離ＬＴ２に含まれてしまう。換言すると、退避位置の候補が、第２の範囲ＲＢに含まれてしまう。

そこで、退避例３では、ユーザＵから第２の距離ＬＴ２の位置を仮想画面ＶＤの退避位置とする。この場合、退避後の仮想画面ＶＤと飲み物５との距離は、第１の距離ＬＴ１よりも短くなる。ただし、初期位置よりは、仮想画面ＶＤと飲み物５との距離が長くなる。
このため、退避例１よりはジェスチャ操作中に飲み物５等の物体ＲＯとの衝突の可能性が高くなるが、初期位置の場合に比べると、衝突の可能性が低くなる。

＜退避例４＞
図１８は、複数の仮想画面ＶＤ１及びＶＤ２が奥行方向に配列されている場合の退避例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面ＶＤ１及びＶＤ２とユーザＵとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面ＶＤ１及びＶＤ２とユーザＵとの位置関係を示す。図１８には、図１５との対応部分に対応する符号を付して示している。

退避例４の場合、２つの仮想画面ＶＤ１及びＶＤ２が表示されており、ユーザＵから見て後方に位置する仮想画面ＶＤ２の表示位置が、飲み物５と重なっている。もっとも、後方側の仮想画面ＶＤ２の手前側には、別の仮想画面ＶＤ１が表示されているので、後方側に位置する仮想画面ＶＤ２が飲み物５と重なっていることは、ユーザＵには分からない。
ただし、２つの仮想画面ＶＤ１及びＶＤ２のうち後方側の仮想画面ＶＤ２が表示される高さは、手前側の仮想画面ＶＤ１が表示される高さよりも上方にオフセットされている。このため、手前に表示された仮想画面ＶＤ１の背後に、別の仮想画面ＶＤ２が存在することのユーザＵによる認識は可能である。

退避例の４の場合、ジェスチャ操作の対象は、ユーザＵに対して手前側に位置する仮想画面ＶＤ１である。このため、ユーザＵに対して手前側に位置する仮想画面ＶＤ１が飲み物５に対して退避される。すなわち、仮想画面ＶＤ１が、飲み物５から第１の距離ＬＴ１だけ離れる方向に退避される。この退避により、ジェスチャ操作に伴う飲み物５との接触の可能性が低減される。
なお、図１８（Ｂ１）及び（Ｂ２）の例では、仮想画面ＶＤ１の退避に連動して、奥側に位置する仮想画面ＶＤ２も、仮想画面ＶＤ１と一体的に退避されている。このため、仮想画面ＶＤ２と飲み物５との重なりが解消されている。
もっとも、ジェスチャ操作の対象は、手前側の仮想画面ＶＤ１であるので、仮想画面ＶＤ１の表示位置だけを退避させ、仮想画面ＶＤ２は初期位置のままでもよい。

また、仮想画面ＶＤ１及びＶＤ２の表示位置を一体的に退避させる場合、後方側に位置する仮想画面ＶＤ２と飲み物５との距離を第１の距離ＬＴ１だけ離してもよい。この場合、手前側の仮想画面ＶＤ１と飲み物５との距離は、第１の距離ＬＴ１よりも更に広くなる。そのため、手前側の仮想画面ＶＤ１のジェスチャ操作中に体の部位等が飲み物５と衝突する可能性は、図１８（Ｂ１）及び（Ｂ２）の場合よりも更に低くなる。
もっとも、手前側に位置する仮想画面ＶＤ１は、ユーザＵにより近づくことになる。このため、手前側に位置する仮想画面ＶＤ１とユーザＵとの距離が第２の距離ＬＴ２より短くなる可能性は、手前側に位置する仮想画面ＶＤ１を飲み物５から第１の距離ＬＴ１だけ離す場合よりも高くなる。

＜退避例５＞
図１９は、仮想画面ＶＤを上向きに退避する例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面ＶＤとユーザＵとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面ＶＤとユーザＵとの位置関係を示す。図１９には、図１５との対応部分に対応する符号を付して示している。
退避例５の場合、図１９（Ｂ２）に示すように、仮想画面ＶＤの退避の前後で、ユーザＵと仮想画面ＶＤとの水平距離は変化しない。ただし、仮想画面ＶＤは、飲み物５の上端部から上方に第１の距離ＬＴ１だけ離れるので、仮想画面ＶＤのジェスチャ操作の際に、ユーザＵの体の部位等が飲み物５と衝突する可能性が低減される。

退避例５の場合、図１９（Ｂ１）に示す仮想画面ＶＤの退避により、その背後に位置していた飲み物５がユーザＵから見える状態になる。
もっとも、図１９（Ｂ２）では、飲み物５の上端部を基準として第１の距離ＬＴ１だけ仮想画面ＶＤを移動させているが、単純に初期位置から上方に、第１の距離ＬＴ１だけ仮想画面ＶＤを移動させることも可能である。

ただし、初期位置から上方に仮想画面ＶＤを移動させる場合には、仮想画面ＶＤの背後に位置する飲み物５等の物体ＲＯの高さ方向の寸法が長い場合、移動後も仮想画面ＶＤと飲み物５等の物体ＲＯとの重複が残る可能性がある。その場合には、仮想画面ＶＤをｘＲデバイス１０から見て上方に移動させるだけでなく、手前側に予め定めた距離、例えば第１の距離ＬＴ１だけ移動させてもよい。
もっとも、上方への仮想画面ＶＤの移動により背後に隠れていた飲み物５に気づける状況では、退避後の仮想画面ＶＤと飲み物５の距離が近くても、初期位置に仮想画面ＶＤを表示し続ける場合に比して、衝突の可能性は低減される。
なお、仮想画面ＶＤの退避の方向は上方に限らず、下方でも構わない。

＜退避例６＞
図２０は、仮想画面ＶＤを横方向に退避する例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面ＶＤとユーザＵとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面ＶＤとユーザＵとの位置関係を示す。図２０には、図１５との対応部分に対応する符号を付して示している。
退避例６の場合、仮想画面ＶＤは、図２０（Ｂ１）に示すように、ユーザＵから見て飲み物５の左方向に移動されている。このため、図２０（Ｂ２）に示すように、仮想画面ＶＤの退避の前後で、ユーザＵと仮想画面ＶＤとの水平距離は変化しない。

ただし、仮想画面ＶＤは、飲み物５の左端部から左方向に第１の距離ＬＴ１だけ離れるだけでなく、初期位置では仮想画面ＶＤの背後に隠れていた飲み物５の全体が見える状態になる。
このため、ユーザＵは、飲み物５の存在を意識した上で、仮想画面ＶＤをジェスチャ操作することが可能である。すなわち、ユーザＵの体の部位等が飲み物５と衝突する可能性が低減される。

なお、図２０（Ｂ２）では、飲み物５の左端部を基準として第１の距離ＬＴ１だけ仮想画面ＶＤを移動させているが、単純に初期位置から左方に、仮想画面ＶＤを第１の距離ＬＴ１だけ移動させることも可能である。
ただし、初期位置から左方に仮想画面ＶＤを移動させる場合には、仮想画面ＶＤの背後に位置する飲み物５等の物体ＲＯの左方向の寸法が長い場合、移動後も仮想画面ＶＤと飲み物５等の物体ＲＯとの重複が残る可能性がある。その場合には、仮想画面ＶＤをｘＲデバイス１０から見て左方に移動させるだけでなく、手前側に予め定めた距離、例えば第１の距離ＬＴ１だけ移動させてもよい。

もっとも、左方への仮想画面ＶＤの移動により背後に隠れていた飲み物５に気づける状況では、退避後の仮想画面ＶＤと飲み物５の距離が近くても、初期位置に仮想画面ＶＤを表示し続ける場合に比して、衝突の可能性は低減される。
なお、仮想画面ＶＤの退避の方向は左方に限らず、右方でも構わない。
この他、退避の方向は、斜め左上、斜め左下、斜め右上、斜め右下のいずれでもよい。また、他の退避例との組み合わせにより、斜め左前方、斜め左後方、斜め手前上方、斜め奥上方、斜め右前方、斜め右奥後方、斜め手前下方、斜め奥下方など、任意の方向への移動が可能である。

＜退避例７＞
図２１は、ユーザＵの前方のテーブル３に複数の飲み物５Ａ及び５Ｂが置かれている場合における仮想画面ＶＤの退避例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面ＶＤとユーザＵと飲み物５Ａ及び５Ｂとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面ＶＤとユーザＵと飲み物５Ａ及び５Ｂとの位置関係を示す。図２１には、図１５との対応部分に対応する符号を付して示している。

図２１（Ａ２）及び（Ｂ２）の場合、２つの飲み物５Ａ及び５Ｂは、ユーザＵから見て奥方向に並んでいる。この並びの場合、ジェスチャ操作で衝突する可能性が高いのは、手前側に位置する飲み物５Ａである。このため、退避例１と同様、手前側に位置する飲み物５Ａと仮想画面ＶＤとの距離Ｌ２が第１の距離ＬＴ１以下の場合、仮想画面ＶＤを表示する位置の退避が実行される。図２１（Ｂ１）及び（Ｂ２）に示す仮想画面ＶＤの退避は、退避の原因となる物体ＲＯの個数以外は、退避例１と同じである。
なお、ユーザＵと飲み物５Ａの距離Ｌ１とユーザＵと飲み物５Ｂの距離Ｌ１が同じ場合、仮想画面ＶＤの退避位置の候補は、飲み物５Ａと飲み物５Ｂの両方に対して基準を満たすか否かが判定される。

＜退避例８＞
図２２は、仮想画面ＶＤの表示位置をユーザＵから見て物体ＲＯの奥方向に退避させる例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面ＶＤとユーザＵとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面ＶＤとユーザＵとの位置関係を示す。図２２には、図１５との対応部分に対応する符号を付して示している。
退避例８では、図２２（Ｂ２）に示すように、仮想画面ＶＤが、飲み物５までの距離Ｌ１を基準に、さらに奥方向に第１の距離ＬＴ１だけ移動される。勿論、他の退避例と同じく、仮想画面ＶＤの初期位置を基準に第１の距離ＬＴ１だけ移動させてもよい。

図２２（Ｂ１）及び（Ｂ２）の場合、飲み物５の全体が、仮想画面ＶＤの手前側に現れる。このため、ユーザＵは、飲み物５の存在に気づいた状態でジェスチャ操作の実行が可能である。
ただし、退避後の仮想画面ＶＤの表示位置と飲み物５の距離Ｌ２が近い場合や退避後の仮想画面ＶＤの表示位置が飲み物５と重なっている場合、ユーザＵによる仮想画面ＶＤの視認性が低下する可能性がある。しかし、その場合には、ユーザＵが顔の向きを変えて仮想画面ＶＤが表示される位置を変更することで、仮想画面ＶＤの見えづらさを解消することが可能である。

また、退避後の仮想画面ＶＤにおける操作ボタン等がユーザＵから見て飲み物５のすぐ後ろに位置する場合、ジェスチャ操作の際における飲み物５に気づかずに衝突することはなくても、操作ボタン等の操作は難しい。この場合も、ユーザＵが顔の向きを変えて仮想画面ＶＤが表示される位置を変更することで、仮想画面ＶＤの操作ボタン等を安全にジェスチャ操作すること可能である。
なお、ユーザＵの身体的な制約やｘＲデバイス１０を使用する環境等によっては、ユーザＵが自由に顔の向きを変更すること自体が難しい場合も考えられる。

しかし、その場合には、仮想画面ＶＤの表示位置を、ユーザＵの指示により初期位置から移動可能にしてもよい。例えば音声により仮想画面ＶＤの移動距離を増やしてもよく、表示位置の変更を指示してもよい。また、仮想画面ＶＤのうち飲み物５と重なっていない領域部分を奥行方向に押し下げるジェスチャ操作、飲み物５と重なっていない領域部分の側部を反対方向に払うジェスチャ操作、摘んで別の場所に移動させるジェスチャ操作等により、仮想画面ＶＤの表示位置を初期位置から変更してもよい。勿論、移動後の表示位置は、ユーザＵのジェスチャ操作が可能な範囲内に移動させる。

＜退避例９＞
図２３は、仮想画面ＶＤが周囲の物体ＲＯと空間上で重なる場合の退避例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面ＶＤとユーザＵとの位置関係を示し、（Ｂ１）及び（Ｂ２）はユーザＵの顔の向きが変化した直後の仮想画面ＶＤとユーザＵとの位置関係を示し、（Ｃ１）及び（Ｃ２）は退避後の仮想画面ＶＤとユーザＵとの位置関係を示す。図２３には、図１５との対応部分に対応する符号を付して示している。
なお、図２３（Ａ２）、（Ｂ２）及び（Ｃ２）は、いずれもユーザＵを上空から見た図を表している。

図２３では、ユーザＵが２枚のパーテーション９Ａ及び９Ｂで囲まれた角に位置する場合を想定している。もっとも、パーテーション９Ａ及び９Ｂは一例であり、部屋等の壁際でも同じ状況が発生する。また、仮想画面ＶＤの表示位置の一部又は全部が周辺の物体ＲＯと重なる場合は、前述した他の退避例でも生じ得る。
図２３（Ａ１）及び（Ａ２）の場合、ユーザＵはパーテーション９Ａと正対しており、仮想画面ＶＤもパーテーション９Ａよりも手前側に位置している。なお、ユーザＵの右手側には別のパーテーション９Ｂが存在するが、ユーザＵには見えているので、支障なく、仮想画面ＶＤに対するジェスチャ操作が可能である。

図２３（Ｂ１）及び（Ｂ２）は、ユーザＵが上空から見て時計回りに体の向きを変更した場合を表している。この場合でも、仮想画面ＶＤの表示は、現実空間の制約を受けないので、ユーザＵの正面に表示される。そのため、図２３（Ｂ２）に示す例では、仮想画面ＶＤの一部がパーテーション９Ｂを突き抜ける位置にある。現実のディスプレイでは、図２３（Ｂ２）の配置は起こり得ないが、仮想画面ＶＤはユーザＵの脳が認識している仮想のオブジェクトであるので、パーテーション９Ｂの内側に仮想画面ＶＤが存在するように視認される。

没入感が高い場合、ユーザＵは、実在するパーテーション９Ｂの存在を忘れ、パーテーション９Ｂと重なる領域の仮想画面９Ｂをジェスチャ操作しようとして、体の部位等をパーテーション９Ｂ衝突させてしまう可能性がある。
しかし、図２３（Ｃ１）及び（Ｃ２）のように、仮想画面ＶＤが、パーテーション９Ａ及び９Ｂの双方から第１の距離ＬＴ１だけ水平方向に退避されれば、ユーザＵは、顔の向きを変えることなく、仮想画面ＶＤの視認とジェスチャ操作を支障なく続けることが可能になる。

もっとも、図２３（Ｃ１）及び（Ｃ２）の場合、仮想画面ＶＤの表示位置は、パーテーション９Ａ及び９Ｂの双方から第１の距離ＬＴ１だけ離れることが求められる。結果的に退避位置の候補が第２の範囲ＲＢ内に位置する可能性がある。その場合、退避例３と同じく、ユーザＵから第２の距離ＬＴ２の位置を退避位置として仮想画面ＶＤを表示してもよい。その場合、仮想画面ＶＤとパーテーション９Ａ及び９Ｂの両方又はいずれか一方との距離が第１の距離ＬＴ１より短くなる可能性もあるが、少なくとも初期位置よりは、ユーザＵによるジェスチャ操作中の周辺の物体ＲＯとの衝突の可能性が低減される。

また、ユーザＵから第２の距離ＬＴ２の位置に仮想画面ＶＤを表示しても、仮想画面ＶＤの一部領域とパーテーション９Ａ及び９Ｂの両方又はいずれか一方との重なりが解消されない可能性がある。この場合には、ユーザＵに対して音声等で位置の移動を推奨することが望ましい。例えば「あと５ｃｍだけ後ろに下がれませんか？」や「もう少し反時計回りの方向に顔を向けられませんか？」等の音声を出力することで、ジェスチャ操作中の周辺の物体ＲＯとの衝突の可能性が低減される。

なお、仮想画面ＶＤのうち周辺の物体ＲＯと重なる部分の輝度や色調を変更して、ユーザＵに注意を喚起してもよい。例えば輝度を低下させて視認性を低下させ、ジェスチャ操作の対象として認識されないようにしてもよい。また、該当領域を赤系統の色調で表示し、ジェスチャ操作には適しない領域であることをユーザＵに通知してもよい。
もっとも、仮想画面ＶＤの表示に適した退避位置が見つからない場合には、仮想画面ＶＤの表示を停止させる機能を設けてもよい。なお、ユーザＵの姿勢の変化や位置の変化等により、仮想画面ＶＤの表示が可能になれば、即座に、仮想画面ＶＤの表示が再開される。

＜実施の形態２＞
本実施の形態では、衝突回避機能による仮想画面ＶＤの退避を実行しない機能を追加する場合について説明する。
図２４は、実施の形態２における仮想画面ＶＤの退避動作例を説明するフローチャートである。図２４には、図１４との対応部分に対応する符号を付して示している。
本実施の形態の場合、プロセッサ２０１（図５参照）は、ステップ１１で肯定結果が得られると、仮想画面ＶＤは操作用のアイコンを含むか否かを判定する（ステップ３１）。

操作用のアイコンには、例えばスライダバー、テンキー、ファンクションキー、キーボードの各キー、操作パネル、機能ボタン、プルダウンメニュー、タスクバー、ファイルアイコン、フォルダアイコン、サムネイル、アバター、キャラクタがある。アイコンは、仮想のオブジェクトの一部の場合もあれば、単独で仮想のオブジェクトの場合もある。
例示したアイコンの例の呼び名は様々であるが、操作用のアイコンには、コンピュータに対する入出力、機能の呼び出し、データファイルの違いを表現するユーザインターフェースに関する表示が含まれる。

従って、表示上の模様や画像の一部のように、操作上の機能に紐付けられていないアイコンは、操作用のアイコンとはみなさない。
なお、ステップ３１の判定は、換言すると、仮想画面ＶＤが表示専用か否かの判定とみなすことも可能である。表示専用とは、例えば仮想画面ＶＤに映像コンテンツだけが表示される場合、編集機能がオフである場合である。

ステップ３１で肯定結果が得られた場合、プロセッサ２０１は、図１４におけるステップ１２以降の処理を実行する。
一方、ステップ３１で否定結果が得られた場合、プロセッサ２０１は、初期位置に仮想画面ＶＤを表示する（ステップ３２）。すなわち、ステップ３１で否定結果が得られた場合、プロセッサ２０１は、仮想画面ＶＤの退避は行わない。結果的に、仮想画面ＶＤは、ｘＲデバイス１０（図１参照）の前方の特定の位置に表示され続ける。
なお、表示位置の退避は実行されないが、例えばユーザＵの顔の向きが変化すると、ｘＲデバイス１０に対して予め定めた位置に仮想画面ＶＤが移動する。

図２５は、仮想画面ＶＤが操作用のアイコンを含まない場合の処理動作を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面ＶＤとユーザＵとの位置関係を示し、（Ｂ１）及び（Ｂ２）は仮想画面ＶＤに操作用のアイコンが含まれない場合における仮想画面ＶＤとユーザＵとの位置関係を示す。図２５には、図１５との対応部分に対応する符号を付して示している。
図２５（Ａ１）及び（Ａ２）の場合、仮想画面ＶＤと飲み物５の距離Ｌ２は、第１の距離ＬＴ１以下である。ただし、仮想画面ＶＤには、操作用のアイコンが含まれていない。このため、図２５（Ｂ１）及び（Ｂ２）における仮想画面ＶＤの表示位置は、図２５（Ａ１）及び（Ａ２）と同じである。

＜実施の形態３＞
本実施の形態では、衝突回避の対象となる物体が可動物である場合に特有の機能について説明する。
図２６は、実施の形態３における仮想画面ＶＤの退避動作例を説明するフローチャートである。図２６には、図１４との対応部分に対応する符号を付して示している。
本実施の形態の場合も、プロセッサ２０１（図５参照）は、衝突回避機能がオンである場合（すなわち、ステップ１１で肯定結果の場合）、ユーザの周囲に存在する物体までの距離を測定する（ステップ１２）。

次に、プロセッサ２０１は、仮想画面ＶＤの初期位置が第１の範囲ＲＡ内にあるか否かを判定する（ステップ１３）。
ステップ１３で肯定結果が得られた場合、プロセッサ２０１は、第１の範囲ＲＡ内に物体ＲＯがあるか否かを判定する（ステップ１５）。
ステップ１５で否定結果が得られた場合、プロセッサ２０１は、ステップ１２に戻る。
一方、ステップ１５で肯定結果が得られると、本実施の形態におけるプロセッサ２０１は、検知された物体ＲＯは予め定めた時間以上同じ場所に存在するか否かを判定する（ステップ４１）。

ここでの判定は、おおよそ静止物か否かの判定に相当する。閾値として用いられる時間は、初期値でもよいし、ユーザＵが与えてもよい。また、閾値の時間は、事後的に修正が可能である。
ステップ４１で肯定結果が得られた場合、例えば物体ＲＯが飲み物５（図１参照）の場合、プロセッサ２０１は、図１４におけるステップ１６以降の処理を実行する。ここでの処理は、物体ＲＯが静止物の場合であるので、実施の形態１と共通である。

ステップ４１で否定結果が得られた場合、プロセッサ２０１は、ステップ４２に移行する。ステップ４１で否定結果が得られる場合とは、第１の範囲ＲＡ内に存在する物体ＲＯが可動物と判定される場合である。もっとも、可動物の範囲は広く、例えば図１６で説明した退避例２のように、テーブル３に置かれた直後の飲み物５は可動物に含まれる。ただし、テーブル３に置かれたまま、ある時間以上同じ場所に位置する飲み物５は静止物として判定される。
また、お掃除ロボット、風にそよぐカーテンや木の枝等も可動物に含まれる。このように、可動物と判定される物体ＲＯの範囲は広い。

ステップ４２に移行したプロセッサ２０１は、物体ＲＯの移動スケジュールの取得が可能か否かを判定する。
移動スケジュールとは、移動の経路や各地点を通過する目安の時間を定めた情報である。もっとも、広義の移動スケジュールは、移動の経路だけを与える情報でもよい。
移動スケジュールの取得が可能な場合とは、可動物と判定された物体ＲＯに紐付けられた移動スケジュールの存在を前提として、対象とする物体ＲＯとの直接又は他の端末経由での通信を通じて取得できる場合、又は、移動スケジュールを管理するサーバ等から取得が可能な場合をいう。

また、移動スケジュールの取得には、移動スケジュールを有する可動物が複数存在する場合には、可動物と判定された物体ＲＯの識別が可能であることが要求される。
これらの条件が１つでも満たされない場合、プロセッサ２０１は、ステップ４２で否定結果を得る。
なお、ステップ４２で肯定結果が得られた場合、プロセッサ２０１は、物体ＲＯの移動範囲を移動スケジュールから予測する（ステップ４３）。

予測であるので、物体ＲＯの位置は、ある程度の広がりをもった範囲として予測される。ステップ４４やステップ４７の予測についても同様である。
一方、ステップ４２で否定結果が得られた場合、プロセッサ２０１は、物体ＲＯの動きから物体ＲＯの移動範囲を予測する（ステップ４４）。例えばカーテンや木の枝の動きから移動範囲が予測される。

ステップ４３又はステップ４４の実行により移動範囲が予測されると、プロセッサ２０１は、予測された移動範囲を物体ＲＯの位置とみなしてステップ１６（図１４参照）以降の処理を実行する（ステップ４５）。
なお、可動物と判定された物体ＲＯが複数の場合、それぞれについて、ステップ４２以降の処理が実行される。

ステップ１３の説明に戻る。
ステップ１３で否定結果が得られた場合、プロセッサ２０１は、移動スケジュールの取得が可能な物体ＲＯがあるか否かを判定する（ステップ４６）。
ここでの物体ＲＯは、第１の範囲ＲＡの外側に位置する物体ＲＯであればよく、測位センサ１０４（図２参照）で測位可能な位置に存在することやカメラ１０５（図２参照）で撮像可能な位置に存在することとは無関係である。
ステップ４６で肯定結果が得られた場合、プロセッサ２０１は、物体ＲＯの移動範囲を移動スケジュールから予測する（ステップ４７）。

その後、プロセッサ２０１は、予想された移動範囲に仮想画面ＶＤの初期位置が含まれるか否かを判定する（ステップ４８）。ここでは初期位置としているが、判定時点における表示位置を含む。
ステップ４８で肯定結果が得られた場合、プロセッサ２０１は、ステップ４５に移行する。すなわち、プロセッサ２０１は、予測された移動範囲を物体の位置とみなしてステップ１６以降の処理を実行する。
なお、ステップ４６又はステップ４８で否定結果が得られた場合、プロセッサ２０１は、初期位置に仮想画面ＶＤを表示する（ステップ１４）。

＜退避例１＞
図２７は、ユーザＵに向かって接近する人Ｈがいる場合の退避例を説明する図である。（Ａ）は人Ｈが第１の範囲ＲＡの外側をユーザＵに向かって移動している状態を示し、（Ｂ）は人Ｈが第１の範囲ＲＡに入った状態を示す。図２７には、図１５との対応部分に対応する符号を付して示す。
図２７（Ａ）の場合、ジェスチャ操作中に人Ｈとの衝突の可能性はない。このため、仮想画面ＶＤは初期位置に表示される。なお、図２７（Ａ）に示す場合は、ステップ４６（図２６参照）で否定結果が得られ、ステップ１４（図２６参照）が実行される場合に対応する。

一方、図２７（Ｂ）の場合、人Ｈは、第１の範囲ＲＡの内側に入っている。この場合、プロセッサ２０１は、人Ｈを可動物として検知する。すなわち、ステップ４１（図２６参照）で否定結果を得る。人Ｈの移動スケジュールは存在しないので、人Ｈの動きから移動範囲を予測し、仮想画面ＶＤの退避が実行される。この場合は、ステップ４２（図２６参照）で否定結果が得られる場合に対応する。
図２７（Ｂ）では、仮想画面ＶＤが人Ｈから遠ざかる方向に退避されている。図２７（Ｂ）では、仮想画面ＶＤがユーザＵの左側に退避する結果、仮想画面ＶＤの背後から接近していた人Ｈの視認が可能になる。
なお、退避例１では、人ＨがユーザＵに近づいて来る場合を想定したが、人ＨがユーザＵの傍を通り過ぎる場合にも、同様の退避処理が実行される。

＜退避例２＞
図２８は、２人のユーザＵ１及びＵ２のそれぞれが仮想画面ＶＤ１及びＶＤ２を見ている場合の退避例を説明する図である。（Ａ）はユーザＵ１の第１の範囲ＲＡ１とユーザＵ２の第１の範囲ＲＡ２の一部が互いに重なっているが互いのジェスチャ操作が可動物と認識されない状態を示し、（Ｂ）はユーザＵ２のジェスチャ操作がユーザＵ１側の第１の範囲ＲＡ１内の可動物として認識された場合を示す。図２８には、図１５との対応部分に対応する符号を付して示している。

図２８（Ａ）に示すように、ユーザＵ１とユーザＵ２はそれぞれｘＲデバイス１０Ａ及び１０Ｂを装着しており、それぞれ別の仮想画面ＶＤ１及びＶＤ２を視認している。ユーザＵ１は仮想画面ＶＤ１を視認し、ユーザＵ２は仮想画面ＶＤ２を視認している。すなわち、ユーザＵ１は仮想画面ＶＤ２の存在を認識しておらず、ユーザＵ２は仮想画面ＶＤ１の存在を認識していない。
図２８（Ａ）の場合、ユーザＵ１もユーザＵ２もジェスチャ操作をしていない。このため、図２８（Ａ）では、仮想画面ＶＤ１及びＶＤ２は初期位置に表示されたままである。この場合は、ステップ１５（図２６参照）で否定結果が得られる場合に対応する。

図２８（Ｂ）では、ユーザＵ２の右手がジェスチャ操作中にユーザＵ１側の第１の範囲ＲＡ１に含まれた結果、可動物として認識され、仮想画面ＶＤ１の退避処理が実行された様子を表している。
図２８（Ｂ）には、ユーザＵ１が視認している仮想画面ＶＤ１の退避前の位置が破線で示されている。仮想画面ＶＤ１を退避しなかった場合、ユーザＵ１の右手とユーザＵ２の右手の可動範囲が重なるため、互いの手が衝突する可能性がある。しかし、ユーザＵ１のジェスチャ操作が開始する前に仮想画面ＶＤ１の表示位置を初期位置から退避させることで、ユーザＵ１の右手とユーザＵ２の右手の衝突は未然に回避される。この場合は、ステップ４２（図２６参照）で否定結果が得られる場合に対応する。
勿論、ユーザＵ１のジェスチャ操作が、ユーザＵ２側の第１の範囲ＲＡ２内に入ることがあれば、仮想画面ＶＤ２についての退避処理が実行される。

＜退避例３＞
図２９は、移動型のロボット３０の移動スケジュールの取得が可能な場合における退避例を説明する図である。（Ａ）はロボット３０が第１の範囲ＲＡの外に存在している状態を示し、（Ｂ）はロボット３０が第１の範囲ＲＡに近づいた状態を示す。図２９には、図１５との対応部分に対応する符号を付して示す。
図２９（Ａ）に示すロボット３０は、移動機能を備える印刷装置である。本体３１の底面には車輪３１Ａが複数配置され、それらの少なくとも１つには駆動用のモータが取り付けられている。本体３１の内部には、印刷エンジンとなる機構部の他、制御基板や通信デバイスが配置されている。

本体３１の上面には、ユーザインターフェースとして使用するディスプレイ３２と、印刷物の排出口３３が配置されている。また、本体３１の上部には、移動経路上の障害物の検知等に使用するＬｉＤＡＲユニット３４が設置されている。
制御基板に設けられたプロセッサは、ＬｉＤＡＲユニット３４からの情報に基づいて移動経路を決定し、移動スケジュールに従って自律的に移動する。なお、本体３１では、移動スケジュールだけでなく、印刷スケジュールも管理している。

図２９（Ａ）に示すロボット３０は、ｘＲデバイス１０と連携している情報端末２０と通信可能である。このため、情報端末２０は、ロボット３０から移動スケジュールを取得可能である。なお、情報端末２０は、ロボット３０の移動スケジュールを管理するサーバ４０とも通信が可能である。このため、情報端末２０は、サーバ４０から移動スケジュールのデータを取得することも可能である。
図２９（Ａ）に示すロボット３０の位置は、１０：００時点における位置である。移動スケジュールによると、ロボット３０は、１０：１６にユーザＵの付近に移動することになっている。

図２９（Ｂ）の例は、１０：１５におけるロボット３０の位置と、仮想画面ＶＤの退避処理の様子を表している。移動スケジュールによると、ロボット３０は、１０：１５にユーザＵの付近に移動し、その際に、仮想画面ＶＤの表示位置と接近する可能性がある。
そこで、図２９（Ｂ）では、ロボット３０の接近を予測して仮想画面ＶＤを退避させている。なお、予定より早くロボット３０が、ユーザＵの第１の範囲ＲＡに侵入した場合には、ロボット３０の動きから移動範囲が予測され、仮想画面ＶＤの退避が実行される。この場合は、ステップ４２（図２６参照）で否定結果が得られる場合に対応する。

＜退避例４＞
図３０は、退避の例外を説明する図である。（Ａ）は窓際のカーテン５０が下方に垂れ下がっている場合の仮想画面ＶＤの表示位置を示し、（Ｂ）は窓際のカーテン５０が風に吹かれて仮想画面ＶＤの付近まで広がった場合の仮想画面ＶＤの表示位置を示す。図３０には、図１５との対応部分に対応する符号を付して示している。
図２６で説明した処理動作では、可動物と判定された場合、動きから予測された移動範囲に基づいて仮想画面ＶＤの退避動作が実行される。

しかし、仮想画面ＶＤのジェスチャ操作中にカーテン５０に触れたとしてもユーザＵが怪我することもなく、カーテン５０を損傷することもない。屋外の細い木の枝や葉っぱに触れた場合も同様である。
そこで、事前に退避の例外とする物体の登録があり、カメラ１０５（図３参照）で撮像された画像の認識処理により、可動物が例外対象の物体と確認された場合には、仮想画面ＶＤの退避機能を無効化する。
図３０（Ｂ）では、可動物が例外対象のカーテン５０であるので、仮想画面ＶＤの周辺にカーテン５０が近づいても、仮想画面ＶＤの表示位置はそのままである。

＜実施の形態４＞
本実施の形態では、複数の仮想画面ＶＤがユーザＵから見て奥方向に並んでいる場合に特有の機能について説明する。
図３１は、実施の形態４における仮想画面ＶＤの退避動作例を説明するフローチャートである。図３１には、図１４との対応部分に対応する符号を付して示している。
本実施の形態の場合も、プロセッサ２０１（図５参照）は、衝突回避機能がオンであるか否かを判定する（ステップ１１）。

ステップ１１で肯定結果が得られた場合、プロセッサ２０１は、複数の仮想画面ＶＤがユーザＵから見て奥方向に配列中か否かを判定する（ステップ５１）。
本実施の形態において、奥方向に配列中とは、概略一列に並んでいる状態をいう。従って、複数の仮想画面ＶＤは同じ形状である必要はなく、複数の仮想画面ＶＤ間の距離も同じである必要はない。
ステップ５１で否定結果が得られた場合、プロセッサ２０１は、ステップ１２（図１４参照）以降の処理を実行する。すなわち、仮想画面ＶＤの初期位置が第１の範囲ＲＡ内にあるか、第１の範囲ＲＡ内に物体ＲＯがあるか等を判定し、必要に応じて仮想画面ＶＤを退避する。ステップ５１で否定結果が得られる場合には、例えば仮想画面ＶＤが１つだけの場合や複数の仮想画面ＶＤが並列に配置される場合がある。

ステップ５１で肯定結果が得られた場合、プロセッサ２０１は、最も手前に位置する仮想画面ＶＤを衝突回避の対象に設定し（ステップ５２）、設定された仮想画面ＶＤについてステップ１２（図１４参照）以降の処理を実行する。
ユーザＵは、最も手前側に位置する仮想画面ＶＤに対してジェスチャ操作するので、２列目以降の仮想画面ＶＤと周辺の物体ＲＯとの位置関係を判定する必要がないためである。また、２列目以降に配列される仮想画面ＶＤと周辺の物体ＲＯとの位置関係を考慮しないことで計算上の負荷の低減が実現される。

＜退避例＞
図３２は、２つの仮想画面ＶＤ１及びＶＤ２がユーザＵから見て奥方向に配列されている場合の退避動作を説明する図である。（Ａ１）及び（Ａ２）は初期位置における２つの仮想画面ＶＤ１、ＶＤ２とユーザＵとの位置関係を示し、（Ｂ１）及び（Ｂ２）は手前側の仮想画面ＶＤ１だけが退避された様子を示す。図３２には、図１５との対応部分に対応する符号を付して示している。

図３２（Ａ１）及び（Ａ２）の場合、仮想画面ＶＤ１は飲み物５よりも距離Ｌ２だけユーザＵに近く、仮想画面ＶＤ２は飲み物５と重なっている。
本実施の形態における機能を有しない場合、仮想画面ＶＤ１及びＶＤ２のそれぞれについて、飲み物５に対する退避処理が必要になる。
しかし、本実施の形態では、２つの仮想画面ＶＤ１及びＶＤ２が一列に並んでいることを認識した時点で、退避の対象を手前側に位置する仮想画面ＶＤ１だけに限定する。

その結果、図３２（Ｂ１）及び（Ｂ２）に示すように、奥側に位置する仮想画面ＶＤ２は飲み物５と重なっているが、手前側に位置する仮想画面ＶＤ１は飲み物５から第１の距離ＬＴ１だけ手前側に退避されている。このため、ユーザＵは、飲み物５との衝突を気にすることなく仮想画面ＶＤ１をジェスチャ操作することが可能である。
なお、仮想画面ＶＤが３つ以上配列されている場合も同様である。

＜実施の形態５＞
本実施の形態では、複数の仮想画面ＶＤがユーザＵから見て奥方向に並んでいる場合に２列目以降に位置する仮想画面ＶＤが指定されたときに実行される機能について説明する。
図３３は、実施の形態５における仮想画面ＶＤの退避動作例を説明するフローチャートである。図３３には、図３１との対応部分に対応する符号を付して示している。
本実施の形態の場合も、プロセッサ２０１（図５参照）は、衝突回避機能がオンであるか否かを判定する（ステップ１１）。

ステップ１１で肯定結果が得られた場合、プロセッサ２０１は、複数の仮想画面ＶＤがユーザＵから見て奥方向に配列中か否かを判定する（ステップ５１）。
ステップ５１で否定結果が得られた場合、プロセッサ２０１は、ステップ１２（図１４参照）以降の処理を実行する。
一方、ステップ５１で肯定結果が得られた場合、プロセッサ２０１は、２列目以降の仮想画面ＶＤを操作の対象に指定したか否かを判定する（ステップ６１）。
本実施の形態の場合、ジェスチャ操作による仮想画面ＶＤの指定には、例えばマイクロソフト（登録商標）社が仮想画面ＶＤ用に提案しているカーソルを使用する。

図３４は、仮想画面ＶＤの操作に使用するカーソル６０の一例を説明する。（Ａ）は右手７の指先が仮想画面ＶＤから遠い場合のカーソル６０を示し、（Ｂ）は右手７の指先が仮想画面ＶＤに近づいた場合のカーソル６０を示し、（Ｃ）は右手７の指先が仮想画面ＶＤに接触した場合のカーソル６０を示す。
なお、仮想画面ＶＤと右手７の指先との距離は、測位センサ１０４（図３参照）とカメラ１０５（図３参照）が使用される。カメラ１０５で撮像された画像の認識処理により、プロセッサ２０１（図３参照）は、測位センサ１０４の測定結果を用いて生成される３次元地図の中からユーザＵの指先の位置を特定する。

勿論、仮想画面ＶＤの表示位置は、測位センサ１０４を用いても測定されないし、カメラ１０５を用いても撮像されない。しかし、プロセッサ２０１は、仮想画面ＶＤの３次元地図内における表示位置を認識しているので、指先と仮想画面ＶＤとの位置関係を認識し、認識された結果をカーソル６０の表示位置や大きさに反映する。
図３４（Ａ）の場合、右手７の指先は仮想画面ＶＤから遠いため、カーソル６０の直径は他の２つよりも大きい。なお、図３４（Ａ）では、指先付近の拡大図を円内に表している。

図３４（Ｂ）では、右手７の指先が仮想画面ＶＤに近づいた状態を、カーソル６０の直径の縮小とカーソル６０の輝度を高めることで表している。
図３４（Ｃ）では、右手７の指先が仮想画面ＶＤに接触した状態を、カーソル６０の直径の一段の縮小化とカーソル６０の輝度を高めることで表している。
ユーザＵは、カーソル６０の表示位置とカーソル６０の直径等により、自身のジェスチャ操作が、どの仮想画面ＶＤに紐付けられているか等の認識が可能である。

図３３の説明に戻る。
ステップ６１で肯定結果が得られた場合、プロセッサ２０１は、操作の対象に指定された仮想画面ＶＤを、最も手前に位置する別の仮想画面ＶＤと入れ替える（ステップ６２）。
この後、又は、ステップ６１で否定結果が得られた場合、プロセッサ２０１は、最も手前に位置する仮想画面ＶＤを衝突回避の対象に設定し（ステップ６３）、ステップ１２（図１４参照）以降の処理を実行する。

＜退避例＞
図３５は、２つの仮想画面ＶＤ１及びＶＤ２のうち奥側に位置する仮想画面ＶＤ２を、物体ＲＯからユーザＵに近づける方向に退避させる例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における２つの仮想画面ＶＤ１、ＶＤ２とユーザＵとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避処理が実行された後の２つの仮想画面ＶＤ１、ＶＤ２とユーザＵとの位置関係を示す。図３５には、図１５との対応部分に対応する符号を付して示す。
図３５（Ａ１）及び（Ａ２）の場合、ユーザＵは、奥側に位置する仮想画面ＶＤ２に右手７の指先を近づけている。指先と仮想画面ＶＤ２との距離が予め定めた距離以下になると、プロセッサ２０１は、奥側に位置する仮想画面ＶＤ２が指定されたと認識する。

図３５（Ｂ１）及び（Ｂ２）では、初期位置では手前側に位置していた仮想画面ＶＤ１が奥側に移動し、初期位置では奥側に位置していた仮想画面ＶＤ２が手前側に移動している。すなわち、初期位置とは、並びの順が入れ替わっている。その上で、手前側に移動した仮想画面ＶＤ２についてだけ飲み物５から第１の距離ＬＴ１だけ離れるように退避処理が実行される。因みに、入れ替え後に奥側に位置する仮想画面ＶＤ１の表示位置は、初期位置のままである。
本実施の形態で説明する機能の採用により、指定された仮想画面ＶＤ２に対するジェスチャ操作中に周辺に存在する飲み物５等の物体ＲＯとの衝突の可能性が低減される。また、退避処理に要する計算上の負荷が低減される。

＜実施の形態６＞
本実施の形態では、新たに表示する仮想画面ＶＤを既存の仮想画面に追加する場合に実行される機能について説明する。
図３６は、実施の形態６における仮想画面ＶＤの退避動作例を説明するフローチャートである。図３６には、図１４との対応部分に対応する符号を付して示している。
本実施の形態の場合も、プロセッサ２０１（図５参照）は、衝突回避機能がオンであるか否かを判定する（ステップ１１）。

ステップ１１で肯定結果が得られた場合、プロセッサ２０１は、仮想画面ＶＤの追加の指示か否かを判定する（ステップ７１）。追加の指示には、例えば音声による特定の画面の表示の指示、ポップアップ画面やダイアログボックス等の別ウィンドウの表示を伴う操作の受け付けがある。
ステップ７１で否定結果が得られた場合、プロセッサ２０１は、ステップ１２（図１４参照）以降の処理動作を実行する。
ステップ７１で肯定結果が得られた場合、プロセッサ２０１は、追加後の仮想画面ＶＤの総数は複数か否かを判定する（ステップ７２）。

例えば表示中の仮想画面ＶＤがない状態で仮想画面ＶＤの表示が指示された場合、プロセッサ２０１は、ステップ７２で否定結果を得る。ステップ７２で否定結果が得られた場合も、プロセッサ２０１は、ステップ１２（図１４参照）以降の処理動作を実行する。
ステップ７２で肯定結果が得られた場合、プロセッサ２０１は、追加する仮想画面ＶＤを最も手前に配置し、衝突回避の対象に設定する（ステップ７３）。本実施の形態の場合、追加される仮想画面ＶＤは、表示中の仮想画面ＶＤよりも手前に配置される。このため、現在表示中の仮想画面ＶＤの表示位置は、新たに追加される仮想画面ＶＤの表示位置を基準に調整される。ステップ７３の後、プロセッサ２０１は、ステップ１２（図１４参照）以降の処理動作を実行する。

＜退避例＞
図３７は、２つの仮想画面ＶＤ１及びＶＤ２の表示中に３つ目の仮想画面ＶＤ３の追加が指示された場合の退避例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における２つの仮想画面ＶＤ１、ＶＤ２とユーザＵとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避処理が実行された後の３つの仮想画面ＶＤ１、ＶＤ２、ＶＤ３とユーザＵとの位置関係を示す。図３７には、図１５との対応部分に対応する符号を付して示す。

図３７（Ａ１）及び（Ａ２）の場合、ユーザＵの前方には２つの仮想画面ＶＤ１及びＶＤ２が表示されている。因みに、手前側に位置する仮想画面ＶＤ１の表示位置は、飲み物５から第１の距離ＬＴ１だけユーザＵ側に退避されている。
図３７（Ａ１）及び（Ａ２）のユーザＵは、「仮想画面ＶＤ３を表示して」と音声でｘＲデバイス１０に指示している。ここでの仮想画面ＶＤ３は、表示中の仮想画面ＶＤ１及びＶＤ２のいずれとも異なる。このため、ここでの音声による指示は、仮想画面ＶＤの追加の指示と判定される。

指示を受け付けたｘＲデバイス１０は、第３の仮想画面ＶＤ３を仮想の空間内に配置する。
図３７（Ｂ１）及び（Ｂ２）は、仮想の空間内における配置例の１つである。図３７（Ｂ１）及び（Ｂ２）の場合、最も手前側に配置される仮想画面ＶＤ３は、飲み物５から第１の距離ＬＴ１だけユーザＵ側に退避された位置に表示される。ただし、この位置は、追加の指示の受け付け前に仮想画面ＶＤ１が表示されていた位置である。

このため、既存の仮想画面ＶＤ１の表示位置は、初期位置における仮想画面ＶＤ１と仮想画面ＶＤ２の間のいずれかの位置に調整される。
２列目以降の仮想画面ＶＤ１及びＶＤ２の表示位置と飲み物５の距離が第１の距離ＬＴ１未満となっても、ジェスチャ操作時における衝突の心配はない。
ユーザＵは、最も手前に位置する仮想画面ＶＤ３をジェスチャ操作の対象とするし、仮に仮想画面ＶＤ１や仮想画面ＶＤ２を操作の対象とする場合には、表示の位置の入れ替えを行うためである。

＜実施の形態７＞
本実施の形態では、複数人で１つの仮想画面ＶＤを共用している場合について説明する。
図３８は、実施の形態７における仮想画面ＶＤの退避動作例を説明するフローチャートである。図３８には、図１４との対応部分に対応する符号を付して示している。
本実施の形態の場合も、プロセッサ２０１（図５参照）は、衝突回避機能がオンであるか否かを判定する（ステップ１１）。

ステップ１１で肯定結果が得られた場合、プロセッサ２０１は、仮想画面ＶＤは他のデバイスと共用中か否かを判定する（ステップ８１）。本実施の形態の場合、仮想画面ＶＤの共用とは、複数人が同じ仮想画面ＶＤを視認可能であるだけでは足りず、実空間内に単一のディスプレイが存在するかのように仮想画面ＶＤの表示位置が紐付けられている状態をいう。
従って、全く別の場所で共通の仮想画面ＶＤが閲覧されている場合には、ステップ８１で否定結果が得られることになる。

ステップ８１で否定結果が得られた場合、プロセッサ２０１は、ステップ１２（図１４参照）以降の処理を実行する。
ステップ８１で肯定結果が得られた場合、プロセッサ２０１は、仮想画面ＶＤが共用されている間、退避機能を一次的にオフする（ステップ８２）。すなわち、退避処理の例外処理が実行される。
図３９は、１つの仮想画面ＶＤが複数人で共用されている場合を説明する図である。（Ａ）は２人のユーザＵ１とユーザＵ２がジェスチャ操作する前の状態を示し、（Ｂ）は２人のユーザＵ１とユーザＵ２がジェスチャ操作を開始した後の状態を示す。図３９には、図１との対応部分に対応する符号を付して示している。

図３９（Ａ）では、１つの仮想画面ＶＤをユーザＵ１とユーザＵ２が共用している。ただし、２人は、仮想画面ＶＤに対するジェスチャ操作を行っていない。このため、ユーザＵ１が装着しているｘＲデバイス１０Ａにも、ユーザＵ２が装着しているｘＲデバイス１０Ｂにも、仮想画面ＶＤの周辺に退避すべき物体ＲＯは検知されていない。
図３９（Ｂ）では、ユーザＵ１とユーザＵ２の両方がジェスチャ操作を開始している。この場合、ユーザＵ１の側から見たユーザＵ２の右手７は、第１の範囲ＲＡ内に存在する物体ＲＯとして認識される。同様に、ユーザＵ２の側から見たユーザＵ１の右手７は、第１の範囲ＲＡ内に存在する物体ＲＯとして認識される。

前述した他の実施の形態であれば、この場合、ユーザＵ１が視認している仮想画面ＶＤの表示位置はユーザＵ２の右手７から離れる方向に退避され、ユーザＵ２が視認している仮想画面ＶＤの表示位置はユーザＵ１の右手７から離れる方向に退避されるはずである。ユーザ毎に異なる方向への退避も、仮想画面ＶＤは実在していないので技術的に可能である。
しかし、図３９の例では、仮想画面ＶＤがユーザＵ１とユーザＵ２により共用されているので、退避機能を強制的にオフに制御されている。このため、ユーザＵ１とユーザＵ２は、互いに相手が指差している場所を視認しながら会話や議論を進められることが可能である。すなわち、実空間には物理的なディスプレイは存在しないが、同等の体験を複数人の間で共有できる。

＜実施の形態８＞
本実施の形態では、ジェスチャ操作時に注意すべき物体ＲＯの存在を事前に通知する手法について説明する。
図４０は、仮想画面ＶＤを視認するユーザＵに対して物体ＲＯの存在を通知する手法の一例を説明する図である。（Ａ）は音声による通知例を示し、（Ｂ）は合成画像による通知例を示す。

図４０（Ａ）の場合、仮想画面ＶＤの背後に飲み物５が存在することを「画像の背後のコップに注意してください。」等の音声ガイダンスによりユーザＵに通知している。この音声ガイダンスは、退避処理の実行とは関係なく実行される。例えば仮想画面ＶＤの退避処理と組み合わせて音声ガイダンスも出力する。もっとも、仮想画面ＶＤと飲み物５との距離が第１の距離ＬＴ１未満でも退避処理を実行することなく音声ガイダンスを出力してもよい。

図４０（Ｂ）の場合、仮想画面ＶＤには、カメラ１０５（図２参照）で撮像された飲み物５の画像が合成されている。合成時には、カメラ１０５で撮像されたままの画像を合成することも可能であるが、飲み物５の存在が分かる程度に加工した画像を合成してもよい。例えば飲み物５の輪郭線を抽出した画像を仮想画面ＶＤに合成してもよいし、飲み物５の画像の透過率を高めた後、仮想画面ＶＤに合成してもよい。勿論、これらは加工の一例である。

図４１は、仮想画面ＶＤを視認するユーザＵに対して物体ＲＯの存在を通知する他の手法の一例を説明する図である。（Ａ１）及び（Ａ２）は仮想画面ＶＤの変形による方法を示し、（Ｂ１）及び（Ｂ２）は仮想画面ＶＤに対する注意を喚起する画像を合成する方法を示す。図４１には、図１５との対応部分に対応する符号を付して示している。
図４１（Ａ１）では、ユーザＵの右手７は仮想画面ＶＤの表面から離れている。このため、仮想画面ＶＤは初期状態のままである。一方、図４１（Ａ２）では、ユーザＵの右手７が仮想画面ＶＤの表面に近づいている。このとき、右手７と仮想画面ＶＤの距離が予め定めた閾値以下になると、仮想画面ＶＤは初期状態から変形し、ユーザＵに対して異変又は違和感を与える。

また、図４１（Ａ２）の変形は一例であり、例えば仮想画面ＶＤを左右に割れた形状に変形することも可能である。この場合、割れ目から、仮想画面ＶＤの背後に隠れている物体ＲＯが見えれば、ユーザＵは、物体ＲＯを右手７で倒さずに済む。勿論、仮想画面ＶＤの変形により、背後の物体ＲＯの存在に事前に気づけば、物体ＲＯとの衝突が未然に回避される。
図４１（Ｂ１）の場合も、ユーザＵの右手７は仮想画面ＶＤの表面から離れている。このため、仮想画面ＶＤは初期状態のままである。一方、図４１（Ｂ２）では、ユーザＵの右手７が仮想画面ＶＤの表面に近づいている。ただし、図４１（Ｂ２）の場合には、仮想画面ＶＤの中央に危険を表す絵や画像が合成されている。この場合も、ユーザＵは、仮想画面ＶＤに触れることの危険性に事前に気づくことが可能になる。

＜実施の形態９＞
本実施の形態では、ユーザＵによる仮想画面ＶＤのジェスチャ操作の測定履歴に基づいて、第１の範囲ＲＡを規定する閾値等を変更又は調整する機能について説明する。
図４２は、仮想画面ＶＤのジェスチャ操作時における右手７の可動域を測定した履歴による第１の範囲ＲＡを規定する閾値の調整を説明する図である。（Ａ）は初期設定時の第１の範囲ＲＡを示し、（Ｂ）はユーザＵのジェスチャ操作の可動域に応じて調整された第１の範囲ＲＡを示す。図４２には、図６との対応部分に対応する符号を付して示している。なお、図４２（Ａ）及び（Ｂ）は、いずれもユーザＵを上空から見た図である。

図４２（Ａ）の場合、第１の範囲ＲＡは、ユーザＵの正面方向に対して左右対称である。
ところで、ｘＲデバイス１０（図１参照）には、測位センサ１０４とカメラ１０５が取り付けられており、ユーザＵの周辺に存在する物体ＲＯまでの距離を常に測位している。この際の測位の対象には、ｘＲデバイス１０を装着するユーザＵのジェスチャ操作中の体の部位等も含まれる。
このため、ジェスチャ操作に伴う体の部位等の可動域を継続的に測定し、測定履歴として蓄積することが可能である。なお、ユーザＵの体の部位等であることは、カメラ１０５による画像処理により識別が可能である。

図４２（Ｂ）に示す第１の範囲ＲＡは、蓄積された測定データの履歴を解析した結果を用いて変更又は調整した第１の範囲ＲＡである。この例では、ユーザＵの左前方部分と右側方部分が縮小されている。その結果、変更後の第１の範囲ＲＡの水平面内の面積は、初期状態の半分程度に縮小される。第１の範囲ＲＡの水平面内の面積、換言すると３次元での体積が小さくなると、測位センサ１０４による測位の範囲が狭くなり、その分、計算負荷が低減し、使用時間の延長が期待される。
なお、測定履歴についての第１の範囲ＲＡの変更又は調整は水平面内に限らず、任意の方向における高さ方向の範囲について実行される。すなわち、第１の範囲ＲＡの変更又は調整は立体的に実行される。

ところで、第１の範囲ＲＡの変更又は調整は、初期状態に比して水平面内の面積が縮小される場合に限らない。
例えば仮想画面ＶＤのジェスチャ操作を受け付けた位置が、初期設定された第１の範囲ＲＡの外側の場合、第１の範囲ＲＡを拡大してもよい。この拡大は、第１の範囲ＲＡの変更又は調整は、範囲外の受け付けを１回でも検出すれば実行してもよいし、同一地点について複数回検出することを条件に実行してもよい。

また、ジェスチャ操作中にユーザＵの体の部位等と物体ＲＯとの衝突が検知される可能性もある。この場合、衝突前の物体ＲＯまでの距離は測定されているので、衝突した物体ＲＯまではユーザＵの体の部位等の可動域に含まれるとの推定が可能である。物体ＲＯとの衝突が検知された位置の情報を用いて第１の範囲ＲＡの形状を変更又は調整すると、以後、仮想画面ＶＤとの退避が可能になる。

＜実施の形態１０＞
本実施の形態では、仮想画面ＶＤ内のアイコンだけを周辺の物体ＲＯから退避させる機能について説明する。
図４３は、実施の形態１０における仮想画面ＶＤの退避例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面ＶＤとユーザＵとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面ＶＤとユーザＵとの位置関係を示す。図４３には、図１５との対応部分に対応する符号を付して示している。

図４３（Ａ１）及び（Ａ２）に示す仮想画面ＶＤには、ジェスチャ操作の対象であるアイコン７０が含まれている。前述までの実施の形態の場合、仮想画面ＶＤの全体を対象として飲み物５に対する退避が実行される。
ただし、ジェスチャ操作では、基本的に、アイコン７０以外の部位をタップすることはない。このため、本実施の形態では、アイコン７０だけを仮想画面ＶＤの他の領域から分離し、又は、アイコン７０を複製したアイコン７０の仮想画面ＶＤを飲み物５から第１の距離ＬＴ１だけ退避させる。

図４３（Ｂ１）及び（Ｂ２）に示す例では、アイコン７０の部分が仮想画面ＶＤから切り出され、ユーザＵに近づく方向に第１の距離ＬＴ１だけ退避されている。
この場合、ユーザＵは、仮想画面ＶＤから浮き上がったアイコン７０をジェスチャ操作するので、体の部位等が飲み物５に衝突する可能性は、他の実施の形態と同じく低下する。
また、仮想画面ＶＤの全体の移動は、ユーザＵに与える違和感も大きいが、アイコン７０のみの移動であれば、ジェスチャ操作を目立たせる効果もあり、ユーザＵに与える違和感は少なく済む。

＜退避例２＞
図４４は、実施の形態１０における仮想画面ＶＤの別の退避例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面ＶＤとユーザＵとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面ＶＤとユーザＵとの位置関係を示す。図４４には、図１５との対応部分に対応する符号を付して示している。
図４４の場合、仮想画面ＶＤは、心臓の図である。ユーザＵによるジェスチャ操作の対象が動脈である。

そこで、図４４（Ｂ１）及び（Ｂ２）では、ジェスチャ操作の対象である大動脈７５Ａ、左冠動脈主幹部７５Ｂ、左回旋枝７５Ｃ、左前下行枝７５Ｄ、右冠動脈７５Ｅに対応する部分が、心臓を表す仮想画面ＶＤの他の領域から切り出され、ユーザＵに近づく方向に第１の距離ＬＴ１だけ退避されている。
この場合も、ジェスチャ操作の際に仮想画面ＶＤの背後にある飲み物５を倒さずに済む。また、動脈部分がユーザＵに近づくので、ジェスチャ操作の対象である細部の確認も容易になる。

本実施の形態における動脈は、アイコンの一例である。なお、動脈の全てを退避させるのではなく、カーソル６０（図３４参照）が位置する部分の動脈だけを退避させてもよい。カーソル６０が位置する動脈がジェスチャ操作の対象である可能性が高い一方、それ以外の部位はジェスチャ操作の対象とはならない可能性が高いためである。

＜退避例３＞
図４５は、実施の形態１０における仮想画面ＶＤの他の退避例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面ＶＤとユーザＵとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面ＶＤとユーザＵとの位置関係を示す。図４５には、図１５との対応部分に対応する符号を付して示している。
図４５（Ａ１）及び（Ａ２）は、初期位置の仮想画面ＶＤであるので、飲み物５のすぐ手前に位置している。この状態のままジェスチャ操作が行われると、体の部位等で飲み物５を倒す可能性もある。

ただし、仮想画面ＶＤ上には、ユーザＵの右手７の指先が指し示す位置にカーソル６０が表示されている。また、仮想画面ＶＤと右手７の指先との距離は、カーソル６０の寸法の変化で表現される。
図４５（Ａ１）の場合、カーソル６０は、前輪部分に位置している。カーソル６０の径が予め定めた閾値より小さくなると、プロセッサ２０１は、前輪部分を独立したオブジェクトとして切り出し、新たな仮想画面ＶＤ２として退避処理の対象に設定する。

この結果、図４５（Ｂ１）及び（Ｂ２）に示すように、前輪部分に対応する仮想画面ＶＤ２が飲み物５から第１の距離ＬＴ１だけ離れた位置に退避される。この点は、図４４における動脈と同じである。
ただし、図４５（Ｂ１）の場合、前輪部分に対応するオブジェクトは拡大表示されている。このため、単なる退避とは異なり、退避されたオブジェクトの観察がより容易になる視覚上の効果が加えられる。

＜退避例４＞
図４６は、実施の形態１０における仮想画面ＶＤの他の退避例を説明する図である。（Ａ１）及び（Ａ２）は初期位置における仮想画面ＶＤとユーザＵとの位置関係を示し、（Ｂ１）及び（Ｂ２）は退避後の仮想画面ＶＤとユーザＵとの位置関係を示す。図４６には、図１５との対応部分に対応する符号を付して示している。
図４６の場合、仮想画面ＶＤは、航空機の縮小形状である。すなわち、仮想画面ＶＤは、３次元形状である。このため、図４６（Ａ２）では、仮想画面ＶＤを示す破線を直線ではなく、長方形状で表している。

なお、図４６（Ａ２）においては、立体的な仮想画面ＶＤのうちユーザＵに最も近い部分が、飲み物５から第１の距離ＬＴ１だけ離れている。基本的に、ユーザＵに最も近い部位がジェスチャ操作の対象になるとの考えによる。図４６（Ａ１）では、飛行機の左側の翼の先端に右手７の指先を触れ、水平面内での回転を指示している。なお、このジェスチャ操作において、ユーザＵの指先は、飲み物５から第１の距離ＬＴ１だけ離れた空間を移動する。このため、ジェスチャ操作で飲み物５が倒される可能性は低い。

図４６（Ｂ１）及び（Ｂ２）は、飛行機の回転が終わり、飛行機の機首がユーザＵと正対する状態である。この場合、ユーザＵは、自身の正面に位置し、自身との距離が最も近い機首をジェスチャ操作するので、飲み物５との間に第１の距離ＬＴ１の確保が可能である。
図４６（Ｂ２）に示すように、仮想画面ＶＤを構成する飛行機の胴体部分は飲み物５を含んでいるが、胴体部分や尾翼をジェスチャ操作する場合には、それらがユーザＵの正面に位置するように飛行機の向きを変更することで、ジェスチャ操作中の飲み物５との衝突の回避が可能である。

＜退避例５＞
図４７は、実施の形態１０における仮想画面ＶＤの他の退避例を説明する図である。（Ａ１）及び（Ａ２）は縮小変換前の仮想画面ＶＤとユーザＵとの位置関係を示し、（Ｂ１）及び（Ｂ２）は縮小変換後の仮想画面ＶＤとユーザＵとの位置関係を示す。図４７には、図１５との対応部分に対応する符号を付して示している。
図４７の場合も、仮想画面ＶＤは、航空機の縮小形状である。すなわち、仮想画面ＶＤは、３次元形状である。このため、図４７（Ａ２）では、仮想画面ＶＤを示す破線を直線ではなく、長方形状で表している。

図４７（Ａ１）及び（Ａ２）は、仮想画面ＶＤの表示寸法が大きすぎる場合である。表示寸法が大きすぎると、かえってジェスチャ操作に不便なことがある。そこで、図４７（Ａ１）では、ユーザＵが両手を狭めるジェスチャ操作により、仮想画面ＶＤの表示寸法の縮小を指示している。なお、図４７（Ａ２）の場合、仮想画面ＶＤは縮小前なので、仮想画面ＶＤを表す破線の範囲は大きい。
ちなみに、仮想画面ＶＤのうち最も手前側の位置が、飲み物５に対して第１の距離ＬＴ１だけ離れている。
図４７（Ｂ１）は、縮小変換後の仮想画面ＶＤの見え方を示している。縮小変換後なので、図４７（Ｂ２）で仮想画面ＶＤを表す破線の範囲は小さくなっている。この場合も、仮想画面ＶＤのうち最も手前側の位置が、飲み物５に対して第１の距離ＬＴ１だけ離れている。

＜退避例６＞
図４８は、実施の形態１０における仮想画面ＶＤの他の退避例を説明する図である。（Ａ１）及び（Ａ２）は拡大変換前の仮想画面ＶＤとユーザＵとの位置関係を示し、（Ｂ１）及び（Ｂ２）は拡大変換後の仮想画面ＶＤとユーザＵとの位置関係を示す。図４８には、図１５との対応部分に対応する符号を付して示している。
図４８の場合も、仮想画面ＶＤは、航空機の縮小形状である。すなわち、仮想画面ＶＤは、３次元形状である。このため、図４８（Ａ２）では、仮想画面ＶＤを示す破線を直線ではなく、長方形状で表している。

図４８（Ａ１）及び（Ａ２）は、仮想画面ＶＤの表示寸法が小さすぎる場合である。表示寸法が小さすぎても、ジェスチャ操作に不便なことがある。そこで、図４８（Ａ１）では、ユーザＵが両手を広げるジェスチャ操作により、仮想画面ＶＤの表示寸法の拡大を指示している。なお、図４８（Ａ２）の場合、仮想画面ＶＤは拡大前なので、仮想画面ＶＤを表す破線の範囲は小さい。
ちなみに、仮想画面ＶＤのうち最も手前側の位置が、飲み物５に対して第１の距離ＬＴ１だけ離れている。
図４８（Ｂ１）は、拡大変換後の仮想画面ＶＤの見え方を示している。拡大変換後なので、図４８（Ｂ２）で仮想画面ＶＤを表す破線の範囲は大きくなっている。この場合も、仮想画面ＶＤのうち最も手前側の位置が、飲み物５に対して第１の距離ＬＴ１だけ離れている。

＜実施の形態１１＞
本実施の形態では、仮想画面ＶＤと実在するモニタとの連携に伴う退避機能を追加する場合について説明する。
図４９は、ユーザが視認している仮想画面ＶＤが実在するモニタ８０の表示画面と連携する場合を説明する図である。（Ａ）は連携前の仮想画面ＶＤとモニタ８０の表示画面を示し、（Ｂ）は連携直後の仮想画面ＶＤとモニタ８０の表示画面を示し、（Ｃ）は仮想画面ＶＤの退避により仮想画面ＶＤとモニタ８０が並列に配置された状態を示す。ここでのモニタ８０は、表示デバイスの一例である。

図４９（Ａ）では、ユーザＵとモニタ８０との距離が遠い。このため、ｘＲデバイス１０とモニタ８０に画像を表示するコンピュータとは連携していない。このため、仮想画面ＶＤとモニタ８０に表示される画面の内容は互いに独立である。
なお、図４９（Ａ）におけるモニタ８０は、ノート型のコンピュータのディスプレイである。
図４９（Ｂ）では、ユーザＵがモニタ８０の概略正面に近づいている。このため、ユーザＵから見てモニタ８０の手前側に仮想画面ＶＤが表示される。

ｘＲデバイス１０とモニタ８０との距離が予め定めた距離未満になると、モニタ８０に画像を表示するコンピュータとｘＲデバイス１０との間で画像連携が実行される。図４９（Ｂ）では、画像連携後の画面であるので、モニタ８０の表示の内容が、仮想画面ＶＤとの連携画面に切り替わっている。
図４９（Ｂ）を見て分かるように画面連携しても、２つの画面が重なった状態では、モニタ８０の視認性が低下するとともに、ジェスチャ操作時にモニタ８０との接触が懸念される。

本実施の形態では、仮想画面ＶＤがモニタ８０から第１の距離ＬＴ１だけ手前に位置することを条件とした退避の方向がモニタ８０の並び方向に設定される。
このため、図４９（Ｃ）の仮想画面ＶＤは、ユーザＵから見てモニタ８０の左隣の位置に退避されている。このため、ユーザＵは、２画面を見ながら作業を行うことが可能になる。なお、画像連携の開始後は、例えばユーザＵの顔がモニタ８０の方向を向いても、仮想画面ＶＤの位置は退避位置に固定される。このため、ユーザＵが顔の向きを変えるたびに、仮想画面ＶＤの表示位置が変動せずに済み、安定した作業環境が実現される。

＜実施の形態１２＞
図５０は、第１の範囲ＲＡの形状を仮想画面ＶＤに含まれるアイコンが位置する方向に拡張する機能を説明する図である。（Ａ１）及び（Ａ２）は仮想画面ＶＤにアイコン７０が含まれない場合の第１の範囲ＲＡを示し、（Ｂ１）及び（Ｂ２）は仮想画面ＶＤにアイコン７０が含まれる場合の第１の範囲ＲＡを示す。図５０には、図１５との対応部分に対応する符号を付して示している。
なお、図５０（Ａ２）及び（Ｂ２）は、ユーザＵを上空から見た図である。

図５０（Ａ１）に示す仮想画面ＶＤにはアイコン７０が含まれていない。このため、図５０（Ａ２）に示す第１の範囲ＲＡは初期形状である扇型のままである。なお、図５０（Ａ２）の場合、物体ＲＯは、第１の範囲ＲＡの外に位置している。本実施の形態における仮想画面ＶＤの退避は、第１の範囲ＲＡに含まれる物体ＲＯに対して実行される。このため、図５０（Ａ２）の場合、仮想画面ＶＤと物体ＲＯが近くても、退避処理は実行されない。結果的に、ジェスチャ操作の際に体の部位等が物体ＲＯに衝突する可能性がある。

図５０（Ｂ１）に示す仮想画面ＶＤにはアイコン７０が含まれており、アイコン７０が存在する方向について第１の範囲ＲＡが拡大されている。図５０（Ｂ２）の場合、物体ＲＯは、拡大された第１の範囲ＲＡに含まれている。このため、仮想画面ＶＤは、物体ＲＯから第１の距離ＬＴ１だけ退避されている。仮想画面ＶＤが退避された結果、アイコン７０のジェスチャ操作時に、体の部位等が物体ＲＯに誤って衝突する可能性の低減が可能になる。

＜実施の形態１３＞
図５１は、ユーザＵの視線の方向について第１の範囲ＲＡを拡大する機能を説明する図である。（Ａ１）及び（Ａ２）はユーザＵの視線の方向が右斜め前方である場合の第１の範囲ＲＡの形状を示し、（Ｂ１）及び（Ｂ２）はユーザＵの視線の方向が左斜め前方である場合の第１の範囲ＲＡの形状を示す。図５１には、図１５との対応部分に対応する符号を付して示している。
なお、図５１（Ａ２）及び（Ｂ２）は、ユーザＵを上空から見た図である。
ジェスチャ操作は、ユーザＵの視線の方向の領域について実行される可能性が高いためである。

本実施の形態の場合、ユーザＵの視線の方向は、ｘＲデバイス１０Ｃ（図５２参照）で測定される眼電位を用いて推定される。
図５２は、実施の形態１３で使用するｘＲデバイス１０Ｃの外観例を説明する図である。（Ａ）はｘＲデバイス１０Ｃをフロント側から観察する場合の外観例を示し、（Ｂ）はｘＲデバイスをユーザＵ側から観察する場合の外観例を示す。図５２には、図２との対応部分に対応する符号を付して示している。

図５２（Ａ）に示す外観構成は、図２に示す外観構成と同じである。図５２（Ｂ）の場合、ｘＲデバイス１０Ｃの左側の鼻パッドに左電極１２１が設けられ、右側の鼻パッドに右電極１２２が設けられ、眉間の皮膚に接触する中央電極１２３が設けられている。左電極１２１は、ｘＲデバイス１０Ｃを装着したユーザＵの鼻の左側に接触する。右電極１２２は、ｘＲデバイス１０Ｃを装着したユーザＵの鼻の右側に接触する。ユーザＵの左眼から左電極１２１までの距離は、ユーザＵの右眼から右電極１２２までの距離と実質的に等しい。中央電極１２３は、左電極１２１と右電極１２２の中央付近に設けられる。

図５３は、実施の形態１３で使用するｘＲデバイス１０Ｃのハードウェア構成の一例を説明する図である。図５３には、図３との対応部分に対応する符号を付して示している。
図５３に示すｘＲデバイス１０Ｃの場合、左電極１２１、右電極１２２及び中央電極１２３がプロセッサ１０７に接続される点で、図３で説明したハードウェア構成と異なっている。
左電極１２１、右電極１２２、中央電極１２３では、左右の眼球運動に応じた眼電位が計測される。

図５４は、視線検知に関する機能部の構成を説明する図である。本実施の形態では、ｘＲデバイス１０Ｃと連携する情報端末２０のプロセッサ２０１が視線検知を実行する。
プロセッサ２０１は、プログラムの実行を通じて視線検知に関する機能を実現する。
眼電位測定部１３１には、左電極１２１で測定された電位値、右電極１２２で測定された電位値、中央電極１２３で測定された電位値が入力される。
眼電位測定部１３１は、例えば中央電極１２３の電位値を基準とする左電極１２１の電位値を左眼電位として取得し、中央電極１２３の電位値を基準とする右電極１２２の電位値を右眼電位として取得する。眼電位測定部１３１は、これら左右の眼電位を時系列データとして、眼球運動検出部１３２と瞬き検出部１３３に与える。

眼球運動検出部１３２は、眼電位測定部１３１から取得した左右の眼電位の時系列データに基づいて、ユーザの眼球運動を検出する。眼球運動検出部１３２は、左右の眼電位の時系列データに現れる特徴波形に基づいて、眼球の向き、すなわち視線の方向を特定する。
瞬き検出部１３３は、左右の眼電位の時系列データに基づいて、瞬きの区間を特定する。
較正値計算部１３４は、瞬き検出部１３３で検出された瞬きに伴う眼電位の値に基づき、眼球運動の較正値を計算する。計算された較正値は、視線方向決定部１３５に与えられる。
視線方向決定部１３５は、眼球運動検出部１３２で検出された視線方向を較正値で較正し、較正済みの視線方向を出力する。なお、この種の技術については、例えば特開２０１８-７５２５４号公報に記載されている。

＜実施の形態１４＞
本実施の形態では、ユーザＵの耳道で測定される脳波信号を用いてユーザＵによるジェスチャ操作を予測し、仮想画面ＶＤの退避に役立てる機能について説明する。
図５５は、実施の形態１４で使用するｘＲデバイス１０Ｄの外観例を説明する図である。（Ａ）はｘＲデバイス１０Ｄをフロント側から観察する場合の外観例を示し、（Ｂ１）及び（Ｂ２）はテンプル１３Ｌに取り付けられるイヤホンチップ１４Ｌの構成例を示し、（Ｃ１）及び（Ｃ２）はテンプル１３Ｒに取り付けられるイヤホンチップ１４Ｒの構成例を示す。
図５５には、図２との対応部分に対応する符号を付して示している。

図５５（Ａ）に示すイヤホンチップ１４Ｌ、１４Ｒは、外耳孔に挿入して使用される概筒状の部材である。筒状のイヤホンチップ１４Ｌ、１４Ｒの中心軸付近には貫通孔が形成されている。このため、イヤホンチップ１４Ｌ、１４Ｒを外耳孔に挿入しても、外部の音を聞くことが可能である。すなわち、外耳孔を塞がない開放型の部材である。
図５５（Ｂ１）及び（Ｂ２）に示すイヤホンチップ１４Ｌには、外耳孔の内側に接触されるドーム状の電極１４Ｌ１と、耳甲介腔に接触されるリング状の電極１４Ｌ２が設けられている。電極１４Ｌ１、電極１４Ｌ２、電極１４Ｒ１は、いずれも導電性ゴムで構成される。皮膚に現れる電気信号を測定するためである。なお、電極１４Ｌ１と電極１４Ｌ２とは、絶縁体により電気的に分離されている。

電極１４Ｌ１は、脳波（ＥＥＧ：Electro Encephalo Gram）に起因する電位変動の測定に用いられる端子（以下「ＥＥＧ測定用端子」という）である。電極１４Ｌ２は、接地電極の測定に用いられる端子（以下「ＧＮＤ端子」ともいう）である。
一方、イヤホンチップ１４Ｒには、外耳孔の内側に接触されるドーム状の電極１４Ｒ１が設けられている。電極１４Ｒ１は、基準電位（ＲＥＦ：REFerence）の測定に用いられる端子（以下「ＲＥＦ端子」という）である。本実施の形態の場合、電極１４Ｒ１と電極１４Ｌ１は電気的に短絡されている。

脳波に起因する電位変動は、電極１４Ｌ１と電極１４Ｌ２で測定された電気信号の差分信号として測定される。
脳科学の分野において、脳波以外に由来する全ての電位変動は、アーチファクトと呼ばれる。脳科学の分野では、脳波を測定した電気信号には、アーチファクトが必ず含まれると考えられている。本実施の形態では、電位変動の由来を区別せず、イヤホンチップ１４Ｌ、１４Ｒで測定される電位変動を、脳波を測定した電気信号という。

因みに、アーチファクトに含まれる成分は、生体に由来する成分、電極等の測定系に由来する成分、外部の機会や環境に由来する成分に分類される。これら３つの成分のうち生体に由来する成分以外は、イヤホンチップ１４Ｌ、１４Ｒで測定される雑音として測定することが可能である。雑音は、電極１４Ｒ１と電極１４Ｌ１を電気的に短絡した状態における電気信号として測定することが可能である。
なお、イヤホンチップ１４Ｌ、１４Ｒにより脳波の測定が可能なことは、例えば特開２０２１－９０１３６号公報等に記載されている。

図５６は、実施の形態１４で使用するｘＲデバイス１０Ｄのハードウェア構成の一例を説明する図である。図５６には、図３との対応部分に対応する符号を付して示している。
図５６に示すｘＲデバイス１０Ｄの場合、イヤホンチップ１４Ｌ、１４Ｒに設けられた電極１４Ｌ１、１４Ｌ２、１４Ｒ１で測定された電気信号が、プロセッサ１０７に与えられる。
なお、本実施の形態では、脳波に起因する電気信号をイヤホンチップ１４Ｌ、１４Ｒで測定しているが、耳付近の側頭部と接するテンプル１３Ｌ、１３Ｒの内側部分に電極１４Ｌ１、１４Ｌ２、１４Ｒ１に対応する電極を配置することで、イヤホンチップ１４Ｌ、１４Ｒの代用とすることも可能である。

図５７は、脳波を用いてジェスチャ操作の予兆を検知する機能部の構成を説明する図である。本実施の形態では、ｘＲデバイス１０Ｄと連携する情報端末２０のプロセッサ２０１が視線検知を実行する。
プロセッサ２０１は、プログラムの実行を通じてジェスチャ操作の予兆を検知する機能を実現する。

脳波測定部１４１には、イヤホンチップ１４Ｌの電極１４Ｌ１、１４Ｌ２で測定された電位値、イヤホンチップ１４Ｒの電極１４Ｒ１で測定された電位値が入力される。
脳波測定部１４１は、電極１４Ｌ１と電極１４Ｌ２の電位差により脳波に対応する電気信号を測定する。一方、脳波測定部１４１は、電極１４Ｌ１と電極１４Ｒ１の電位差により雑音信号を測定する。
脳波分析部１４２は、脳波に対応する電気信号から雑音信号の影響を取り除き、ユーザによるジェスチャ操作の可能性を予測する。ジェスチャ操作の可能性の予測には、例えば人工知能を使用する。脳波分析部１４２には、例えばジェスチャ操作の発生直前に現れる電気信号又はそのパターンを教師データとして学習し、直後にジェスチャ操作が実行される可能性を表す数値を出力する関係を学習した学習済みモデルを使用する。

図５８は、実施の形態１４における仮想画面ＶＤの退避動作例を説明するフローチャートである。図５８には、図１４との対応部分に対応する符号を付して示している。
本実施の形態の場合も、プロセッサ２０１（図５参照）は、衝突回避機能がオンであるか否かを判定する（ステップ１１）。
ステップ１１で肯定結果が得られた場合、プロセッサ２０１は、脳波に対応する電気信号に基づいてユーザのジェスチャ操作の可能性を予測する（ステップ９１）。
次に、プロセッサ２０１は、ジェスチャ操作が予測されるか否かを判定する（ステップ９２）。

ステップ９２で肯定結果が得られた場合、プロセッサ２０１は、ステップ１２（図１４参照）以降の処理を実行する。
一方、ステップ９２で否定結果が得られた場合、プロセッサ２０１は、初期位置に仮想画面ＶＤを表示して処理を終了する（ステップ９３）。
この処理動作により、ジェスチャ操作が予測されない間は、仮想画面ＶＤの退避を判定するための処理を実行せずに済む。このため、その分、計算負荷が低減し、使用時間の延長が期待される。

図５９は、ジェスチャ操作が予想される場合と予想されない場合の退避処理の違いを説明する図である。（Ａ１）及び（Ａ２）はジェスチャ操作が予想されない場合の仮想画面ＶＤとユーザＵとの位置関係を示し、（Ｂ１）及び（Ｂ２）はジェスチャ操作が予想される場合の仮想画面ＶＤとユーザＵとの位置関係を示す。
図５９（Ａ１）及び（Ａ２）では、ジェスチャ操作が予想されないので、仮想画面ＶＤと飲み物５の距離Ｌ２が第１の距離ＬＴ１未満の場合でも、仮想画面ＶＤの退避は実行されない。

一方、図５９（Ｂ１）及び（Ｂ２）では、ジェスチャ操作が予想されるため、仮想画面ＶＤと飲み物５の距離Ｌ２と第１の距離ＬＴ１等との関係に基づいて仮想画面ＶＤが退避される。
なお、本実施の形態では、電極１４Ｌ１、１４Ｌ２、１４Ｒ１を使用して脳波を測定しているが、筋電、心拍、心電、脈拍、脈波等を測定してもよい。すなわち、筋電、心拍、心電、脈拍、脈波等を頭部で測定してもよい。脳波を含め、筋電等は生体データの一例である。

＜実施の形態１５＞
実施の形態１～１４では、現実の空間を透過的に観察が可能なメガネ型のｘＲデバイス１０（図１参照）等を想定する場合について説明したが、本実施の形態では、非透過性のｘＲデバイスについて説明する。
図６０は、実施の形態１５で想定する情報処理システム９０の使用例を説明する図である。（Ａ）は情報処理システム９０の外観例を示し、（Ｂ）は装着状態を説明する図である。図６０には、図３、図４、図５との対応部分に対応する符号を付して示している。
図６０（Ａ）及び（Ｂ）で説明する情報処理システム９０は、ヘッドマウントデバイス９１に、スマートフォン等の情報端末２０Ａを取り付けて使用する。本実施の形態の場合、ディスプレイ２０４に、カメラ２０６で撮像されたユーザＵの前方の画像に仮想画面ＶＤが合成されて表示される。

図６０（Ａ）及び（Ｂ）に示す情報端末２０Ａには、カメラ２０６の他、測位センサ１０４が取り付けられている。ここでの測位センサ１０４は、ｘＲデバイス１０（図１参照）に使用した測位センサ１０４と同じである。測位センサ１０４により、ユーザＵの周辺に位置する物体ＲＯまでの距離が測定される。
すなわち、本実施の形態における情報端末２０Ａは、実施の形態１におけるｘＲデバイス１０と情報端末２０のハードウェアと機能を合体したデバイスである。
ここでの情報端末２０Ａは、情報処理システムの一例であると共に情報処理装置の一例である。

＜実施の形態１６＞
本実施の形態では、ヘッドマウント型の他の構成例を説明する。
図６１は、実施の形態１６で想定するヘッドセット９５の使用例を説明する図である。図６１には図３、図５、図５５との対応部分に対応する符号を付して示している。（Ａ）はヘッドセット９５の装着例であり、（Ｂ）はヘッドセット９５の内側に配置する脳波に対応する電気信号の測定用の電極１４Ｌ１、１４Ｒ１、１４Ｒ２の配置例を示す。図６１に示すヘッドセット９５も、透過型のｘＲデバイスの一形態である。

図６１に示すヘッドセット９５は、例えばマイクロソフト（登録商標）社のhololens（登録商標）に、電極１４Ｌ１、１４Ｒ１、１４Ｒ２を取り付けた構成をイメージしている。電極１４Ｌ１、１４Ｒ１、１４Ｒ２は、ユーザＵの頭部に装着されるリング状の部材のうち耳部に接触する部位に取り付けられている。
なお、ヘッドセット９５の前方部には、測位センサ１０４とカメラ２０６が設けられている。
ここでのヘッドセット９５は、情報処理システムの一例であると共に情報処理装置の一例である。

＜他の実施の形態＞
（１）以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

（２）例えば前述の実施の形態では、ｘＲデバイス１０の具体例として眼鏡型のデバイス、頭部に装着するヘッドセット型のデバイス等を例示したが、ｘＲデバイス１０は、コンタクトレンズ型のデバイスでもよい。コンタクトレンズ型のデバイスの場合、測位センサ１０４は、ユーザＵのネックレス等に装着する。なお、コンタクトレンズ型のデバイスは、情報処理システムの一例である。

（３）前述の実施の形態１では、ｘＲデバイス１０と連携する情報端末２０において、仮想画面ＶＤを実在する物体ＲＯから予め定めた距離だけ退避させる機能を実行しているが、ｘＲデバイス１０単独で同等の機能を実現してもよいし、ネットワーク上のサーバによるサービスとして実現してもよい。ここでのサーバとｘＲデバイス１０は、情報処理システムの一例である。

（４）前述の実施の形態においては、前述した各実施の形態におけるプロセッサは、広義的な意味でのプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ等）の他、専用的なプロセッサ（例えばＧＰＵ（＝Graphical Processing Unit）、ＡＳＩＣ（＝Application Specific Integrated Circuit）、ＦＰＧＡ（＝Field Programmable Gate Array）、プログラム論理デバイス等）を含む。

また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、個別に変更してもよい。

１、９０…情報処理システム、１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ…ｘＲデバイス、２０、２０Ａ…情報端末、３０…ロボット、４０…サーバ、９５…ヘッドセット

Claims (38)

1. 仮想のオブジェクトを、現実の空間の情報に重ねた視覚情報をユーザに視認させるデバイスと、
   現実の空間に存在する物体の位置を取得する取得部と、
   プロセッサと、
   を有し、
   前記プロセッサは、
   前記デバイスから予め定められた範囲内に前記物体が位置する場合、前記仮想のオブジェクトを、当該物体から離れる方向に移動させる、
   情報処理システム。
2. 前記範囲は、前記ユーザが前記仮想のオブジェクトに対するジェスチャ操作に使用する領域を規定する、
   請求項１に記載の情報処理システム。
3. 前記範囲は、前記デバイスを使用するユーザの登録情報に基づいて設定される、
   請求項２に記載の情報処理システム。
4. 前記登録情報は、ジェスチャ操作に使用する体の部位を指定する、
   請求項３に記載の情報処理システム。
5. 前記プロセッサは、可動域の登録に関するジェスチャ操作の測定を通じ、前記範囲を設定する、
   請求項２に記載の情報処理システム。
6. 前記プロセッサは、前記取得部による測定の結果に応じ、前記範囲を修正する、
   請求項５に記載の情報処理システム。
7. 前記プロセッサは、ジェスチャ操作に使用する頻度が高い体の部位に応じて前記範囲を修正する、
   請求項５又は６に記載の情報処理システム。
8. 前記プロセッサは、ユーザの視線方向に対応する前記範囲を広げる、
   請求項５又は６に記載の情報処理システム。
9. 前記プロセッサは、前記仮想のオブジェクトとしてアイコンが配置されている場合、当該アイコンの方向についての前記範囲を広げる、
   請求項５又は６に記載の情報処理システム。
10. 前記プロセッサは、ユーザによるジェスチャ操作が可能な位置に、前記仮想のオブジェクトを移動させる、
    請求項１に記載の情報処理システム。
11. ユーザから見て前記仮想のオブジェクトが前記物体の手前に表示されている場合、
    前記プロセッサは、前記仮想のオブジェクトを前記デバイスに更に近づける方向に移動させる、
    請求項１０に記載の情報処理システム。
12. 前記プロセッサは、移動後の前記仮想のオブジェクトを前記物体に対して予め定めた第１の距離だけ離す、
    請求項１１に記載の情報処理システム。
13. 移動後の前記仮想のオブジェクトと前記デバイスとの距離が予め定めた第２の距離より短い場合、
    前記プロセッサは、前記第２の距離を超える前記仮想のオブジェクトの接近を禁止する、
    請求項１２に記載の情報処理システム。
14. 前記予め定められた範囲内に複数の物体が存在する場合、
    前記プロセッサは、移動後の前記仮想のオブジェクトを、前記複数の物体のいずれに対しても予め定めた第１の距離だけ離す、
    請求項１に記載の情報処理システム。
15. 前記物体が予め定めた時間以上、前記予め定められた範囲内に存在する場合、
    前記プロセッサは、前記仮想のオブジェクトを、前記物体から離れる方向に移動させる、
    請求項１０～１４のいずれか１項に記載の情報処理システム。
16. 前記仮想のオブジェクトが予め定めた条件を満たす場合、
    前記プロセッサは、前記仮想のオブジェクトを、前記物体から離れる方向に移動させない、
    請求項１０～１４のいずれか１項に記載の情報処理システム。
17. ユーザの生体データを検出するセンサを更に有し、
    前記センサの検出信号を通じ、前記仮想のオブジェクトに対する操作が予測されない場合、
    前記プロセッサは、前記物体が前記範囲内に位置していても、前記仮想のオブジェクトを移動させない、
    請求項１６に記載の情報処理システム。
18. 前記プロセッサは、前記仮想のオブジェクトが操作の対象であるアイコンを含まない場合、当該仮想のオブジェクトを前記物体から離れる方向に移動させない、
    請求項１６に記載の情報処理システム。
19. ユーザから見て前記物体の手前側に表示される複数の前記仮想のオブジェクトが前記範囲内に位置する場合、
    前記プロセッサは、複数の前記仮想のオブジェクトを一体的に移動させる、
    請求項１０に記載の情報処理システム。
20. 複数の前記仮想のオブジェクトが前記範囲内に位置する場合、
    前記プロセッサは、ユーザから見て前記物体の最も手前側に表示される前記仮想のオブジェクトだけを移動させる、
    請求項１０に記載の情報処理システム。
21. 複数の前記仮想のオブジェクトのうちの一部が、ユーザから見て前記物体の手前側に表示され、残りが当該物体の奥側に別々に表示される場合に、
    前記物体の奥側に位置する前記仮想のオブジェクトに対する操作が検知されたとき、
    前記プロセッサは、操作の対象に指定された前記仮想のオブジェクトの表示位置を、ユーザから見て前記物体の手前側に移動させる、
    請求項１０に記載の情報処理システム。
22. 表示中の前記仮想のオブジェクトとは別の仮想のオブジェクトの表示が指示された場合、
    前記プロセッサは、前記別の仮想のオブジェクトを、ユーザから見て前記物体よりも手前の最前列に表示する
    請求項１０に記載の情報処理システム。
23. 前記物体が可動物である場合、
    前記プロセッサは、前記可動物の動きの予測に基づいて前記仮想のオブジェクトの移動を制御する、
    請求項１に記載の情報処理システム。
24. 前記可動物は、周囲にいる人であり、
    前記プロセッサは、人の動きの検出を通じて人の移動先を予測する、
    請求項２３に記載の情報処理システム。
25. 現実の空間内の同じ位置に紐付けられている前記仮想のオブジェクトを複数人のユーザで視認している場合、
    前記プロセッサは、前記仮想のオブジェクトの視認を共有する他のユーザの存在を前記範囲内に検出しても、当該仮想のオブジェクトを移動させない、
    請求項２３に記載の情報処理システム。
26. 前記プロセッサは、前記可動物の移動に関する情報が取得された場合、当該可動物の移動先を予測する、
    請求項２３に記載の情報処理システム。
27. 前記プロセッサは、前記範囲内に衝突の可能性がある前記物体を検知した場合、事前に通知する、
    請求項１に記載の情報処理システム。
28. 前記プロセッサは、前記仮想のオブジェクトとして、前記物体を表示する、
    請求項２７に記載の情報処理システム。
29. 前記プロセッサは、前記仮想のオブジェクトの形状の変形により前記物体の存在を通知する、
    請求項２７に記載の情報処理システム。
30. 前記プロセッサは、前記仮想のオブジェクトのうち操作の対象である部分を分離して移動させる、
    請求項１に記載の情報処理システム。
31. 前記プロセッサは、前記仮想のオブジェクトをユーザによる視認が可能な範囲内で移動させる、
    請求項１に記載の情報処理システム。
32. 前記仮想のオブジェクトが立体形状である場合、
    前記プロセッサは、ユーザのジェスチャ操作に応じて向きを変更する、
    請求項１に記載の情報処理システム。
33. 前記仮想のオブジェクトの寸法が予め定めた基準を超える場合、
    前記プロセッサは、前記仮想のオブジェクトの表示上の寸法を前記基準以内に縮小する、
    請求項１に記載の情報処理システム。
34. 前記仮想のオブジェクトの寸法が予め定めた基準より小さい場合、
    前記プロセッサは、前記仮想のオブジェクトの表示上の寸法を前記基準以上に拡大する、
    請求項１に記載の情報処理システム。
35. 前記デバイスと連携する表示デバイスが前記範囲内に位置する場合、
    前記プロセッサは、前記仮想のオブジェクトを前記表示デバイスの並び位置に移動させる、
    請求項１に記載の情報処理システム。
36. ユーザの視野内に前記表示デバイスが検出された場合、
    前記プロセッサは、前記仮想のオブジェクトと前記表示デバイスとを連携させる、
    請求項３５に記載の情報処理システム。
37. 仮想のオブジェクトを、現実の空間の情報に重ねた視覚情報をユーザに視認させるデバイスと、現実の空間に存在する物体の位置を取得する取得部とを有する情報処理装置のコンピュータに、
    前記デバイスから予め定められた範囲内に前記物体が位置する場合、前記仮想のオブジェクトを、当該物体から離れる方向に移動させる機能、
    を実現させるためのプログラム。
38. 仮想のオブジェクトを、現実の空間の情報に重ねた視覚情報をユーザに視認させるデバイスと、現実の空間に存在する物体の位置を取得する取得部とを有する情報処理装置と連携するコンピュータに、
    前記デバイスから予め定められた範囲内に前記物体が位置する場合、前記仮想のオブジェクトを、当該物体から離れる方向に移動させる機能、
    を実現させるためのプログラム。

Images