JP2012108577A - ３ｄ−ｕｉ操作空間協調装置 - Google Patents

Abstract

【課題】複合現実における３Ｄ−ＵＩにおいて直接操作のための自機器の操作空間と他機器の操作空間が重複しないよう自機器の操作空間を調整すること。
【解決手段】自機器に隣接する他の３Ｄ−ＵＩ操作空間協調装置を検出した場合に、他の３Ｄ−ＵＩ操作空間協調装置の自機器に対する相対位置と、他の３Ｄ−ＵＩ操作空間協調装置と自機器との相対角とに基づき、他機器の３Ｄ−ＵＩの操作空間と重複しないように自機器の３Ｄ−ＵＩの操作空間を調整する。
【選択図】図１

Description

本発明はヘッド・マウント・ディスプレイ（以降ＨＭＤと称す）使用における手による直接操作を主体とする３次元ユーザ・インタフェース（以降３Ｄ−ＵＩと称す）に関するものであり、特に、ＨＭＤを装着した複数のユーザの近接による３Ｄ−ＵＩ操作空間の干渉状況における３Ｄ−ＵＩ操作空間の適切な調整に関するものである。

近年、次世代のユーザ・インタフェースとして拡張現実が脚光を浴びている。また、３Ｄテレビが発売され３Ｄ立体視が一般に浸透し始めている。将来、ＨＭＤ使用による拡張現実が３Ｄ−ＵＩの普及を促進する。

３Ｄ−ＵＩとは拡張現実のユーザ・インタフェースの方式であり、３Ｄ立体視による３Ｄ仮想オブジェクトへの手による直接操作を意味する。３Ｄ仮想オブジェクトをあたかも掴んだり触ったりしているかの様なジェスチャで操作可能とするものである。

従来の３Ｄ−ＵＩ装置としては、３Ｄ立体視による仮想現実像の形成される空間に指が存在することを検出するものがあった（例えば、特許文献１参照）。

また、従来の仮想オブジェクト配置調整装置としては、拡張現実空間にエージェント・キャラクタを表示する際に、ユーザとの距離とユーザの視線方向を配慮してエージェント・キャラクタを配置するものがあった（例えば、特許文献２参照）。

特開平０６−２７４２７０号公報 特開２０００−２７６６１０号公報

しかしながら、直接操作は携帯電話のボタンやスマートフォンのタッチパネルと違いユーザの眼前の現実の空間を操作空間として使ってしまう。通勤電車の車内で携帯電話やスマートフォンを利用する人はかなり多い。例えば通勤電車の車内で従来の３Ｄ−ＵＩ装置による操作空間の直接操作を行うような場合、３Ｄ−ＵＩを操作する手が他人にぶつかってしまうという課題があった。

また、３Ｄ−ＵＩの操作空間の配置を調整するために従来の仮想オブジェクト配置調整装置を適用しても他人の３Ｄ−ＵＩの操作空間を何ら考慮しないので、やはり３Ｄ−ＵＩを操作する手が他人にぶつかってしまうという課題があった。

本発明は、前記従来の課題を解決するもので、特に、ＨＭＤを装着した複数のユーザの近接による３Ｄ−ＵＩ操作空間の重複によって生じる他人への手の衝突事故を防ぐことを目的とする。

前記従来の課題を解決するために、本発明の３Ｄ−ＵＩ操作空間協調装置は、複合現実における３Ｄ−ＵＩの直接操作のための操作空間を調整する３Ｄ−ＵＩ操作空間協調装置であって、他機器である他の前記３Ｄ−ＵＩ操作空間協調装置の自機器に対する相対位置と前記他機器の相対角とに基づき、前記他機器の３Ｄ−ＵＩの操作空間と重複しないように自機器の３Ｄ−ＵＩの操作空間を調整する操作空間調整部を備える。

本構成によって、自機器の操作空間と他機器の３Ｄ−ＵＩ操作空間が重複しないよう自機器の３Ｄ−ＵＩ操作空間を調整することができる。

本発明の３Ｄ−ＵＩ操作空間協調装置によれば、拡張現実における自機器の操作空間と他機器の操作空間を把握することにより、ＨＭＤを装着した複数のユーザの近接による３Ｄ−ＵＩ操作空間の重複によって生じる他人への手の衝突事故を防ぐことが可能となる。

本発明の実施の形態１における３Ｄ−ＵＩ操作空間協調装置の機能ブロック図 本発明の実施の形態１における３Ｄ−ＵＩ操作空間協調装置を内蔵したＨＭＤおよびマーカカメラセットの外見図 本発明の実施の形態１における３Ｄ−ＵＩ操作空間協調装置のメインの動作の流れを示したフローチャート 本発明の実施の形態１における３Ｄ−ＵＩ操作空間協調装置の相対位置算出処理の動作の流れを示したフローチャート 本発明の実施の形態１における３Ｄ−ＵＩ操作空間協調装置の相対角取得処理の動作の流れを示したフローチャート 本発明の実施の形態１における３Ｄ−ＵＩ操作空間協調装置の操作空間調整処理の動作の流れを示したフローチャート 本発明の実施の形態１における他機器情報の説明図 本発明の実施の形態１における各々のマーカカメラセットが受け持つ領域の説明図 本発明の実施の形態１における操作空間の重複状況の説明図 本発明の実施の形態１における操作空間調整基準の基となる角度域の説明図 本発明の実施の形態１における操作空間の調整後状況の説明図 本発明の実施の形態１における操作空間の別の重複状況の説明図 本発明の実施の形態１における操作空間の別の調整後状況の説明図 本発明の実施の形態１における３Ｄ−ＵＩ操作空間協調装置の相対角応答部１１２の動作の流れを詳しく示したフローチャート 本発明の実施の形態１における操作空間の説明図 本発明の実施の形態２における３Ｄ−ＵＩ操作空間協調装置の機能ブロック図 本発明の実施の形態２における他機器情報の説明図 本発明の実施の形態２における３Ｄ−ＵＩ操作空間協調装置の相対角身体情報取得処理の動作の流れを示したフローチャート 本発明の実施の形態１における操作空間情報の説明図

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１５は、本発明の実施の形態１における操作空間の説明図である。

図１５において、操作空間３０は、３Ｄ−ＵＩ操作空間協調装置による操作空間である。なお、操作空間３０は地面に対して直立した角柱としたが、説明を簡単にするため以降はこの角柱の地面に対して平行な断面である２次元の矩形領域を操作空間と称して説明を行う。なお、操作空間３０は地面に平行な２次元の矩形領域に限定されるものではない。例えば、操作空間３０は５角形以上の多角形であっても円形であっても良いし、３次元の多面体であっても球形であっても良い。ＨＭＤ筐体２０は３Ｄ−ＵＩ操作空間協調装置を内蔵したＨＭＤである。３Ｄ仮想オブジェクト３１は、ＨＭＤを装着したユーザが見ている３Ｄ−ＵＩの３Ｄ仮想オブジェクトのイメージである。実際の３Ｄ仮想オブジェクトはＨＭＤを装着したユーザにしか見えない。ユーザ３２は３Ｄ−ＵＩ操作空間協調装置を内蔵したＨＭＤを装着したユーザである。

図１は、本発明の実施の形態１における３Ｄ−ＵＩ操作空間協調装置の構成図である。ここで、３Ｄ−ＵＩ操作空間協調装置は複数の３Ｄ−ＵＩ操作空間協調装置が協調して動作するため説明の主体となる３Ｄ−ＵＩ操作空間協調装置を内蔵したＨＭＤを以降自機器と称し、協調する相手の３Ｄ−ＵＩ操作空間協調装置を内蔵した他のＨＭＤを以降他機器と称す。なお、自機器は１台であるが他機器は複数台であっても良い。また、それぞれの３Ｄ−ＵＩ操作空間協調装置には、自機器と複数の他機器のそれぞれを一意に識別するためにＩＤが付与されているものとする。

図１において、撮影部１０１は自機器に隣接する他機器を検出するために周囲を撮影する。撮影部１０１は、例えば光学カメラである。他機器検出部１０２は撮影部１０１の画像を解析し隣接する他機器が位置する方向と距離を求める。相対位置算出部１０３は他機器検出部１０２が求めた他機器の方向と距離から自機器を中心とする２次元座標系での他機器の相対座標を求める。通信部１０４は隣接する他機器と例えば機器ＩＤ、相対角などの情報の送受信を行う。相対角取得部１０５は通信部１０４を介して隣接する他機器にどの方向を向いているか問い合わせて他機器の相対角を取得する。他機器情報管理部１０６は相対位置算出部１０３が求めた他機器の相対位置と相対角取得部１０５が取得した他機器の方向を対応付けて他機器情報として記憶する。他機器情報管理部１０６に格納される他機器情報の詳細については後述する。操作空間調整部１０７は他機器情報管理部１０６に格納された他機器の相対位置と他機器の方向とから自機器と他機器の操作空間の重なりを検査して自機器と他機器の操作空間が重ならないよう調整する。再描画部１０８は操作空間調整部１０７からの指示に基づき表示中の３Ｄ−ＵＩを最新の操作空間に合わせて再描画する。グラフィクス生成部１０９は再描画部１０８からの描画命令に従い３Ｄ−ＵＩを形成するグラフィクスを生成する。画像重畳表示部１１０はグラフィクス生成部が生成したグラフィクスを現実空間を撮影した画像に重畳して表示する。機器情報通知部１１１は自機器のＩＤと位置を示すためのものであり、例えばＬＥＤから発光する光に変調を加えてＬＥＤを発光させる。相対角応答部１１２は他機器からの相対角取得の要求に対して他機器の機器ＩＤをキーとして他機器情報管理部１０６から方向を取得し、相対角を算出して通信部１０４を介して応答する。このとき、相対角は、例えば、１８０°から他機器情報を参照して取得した方向を差し引くことで得ることができる。操作空間情報管理部１１３は操作空間調整部１０７が調整した操作空間の情報を操作空間情報として記憶する（実施の形態１の構成）。

なお、図１に示す３Ｄ−ＵＩ操作空間協調装置は、これらの機能を全て内蔵したＨＭＤとして実現することができる。また、撮影部１０１、機器情報通知部１１１、画像重畳表示部１１０をＨＭＤに内蔵し、他機器検出部１０２、相対位置算出部１０３、通信部１０４、相対角取得部１０５、他機器情報管理部１０６、操作空間調整部１０７、再描画部１０８、グラフィクス生成部１０９、相対角応答部１１２、操作空間情報管理部１１３をコンピュータに機能させ、ＨＭＤとコンピュータとを通信させることによって実現することもできる。以下の説明は、全ての機能を内蔵したＨＭＤを例として行う。

図２は、本発明の実施の形態１における３Ｄ−ＵＩ操作空間協調装置を内蔵したＨＭＤおよびマーカカメラセットの外見図である。

図２（ａ）において、ＨＭＤ筐体２０に、前方撮影カメラ左２０１Ｌ、前方撮影カメラ右２０１Ｒ、マーカカメラセット２０２Ａ、２０２Ｂ、２０２Ｃ、２０２Ｄ、２０２Ｅが内蔵されている。前方撮影カメラ左２０１Ｌ、前方撮影カメラ右２０１Ｒは前方の現実空間を立体的に撮影する左右２眼構成のカメラであり、撮影部１０１に相当する。マーカカメラセット２０２Ａ〜２０２Ｅは自機器の存在を示し、機器情報通知部１１１に相当するマーカと他機器を検出するためのカメラがセットになったマーカカメラセットである。マーカカメラセットを複数配置することにより、マーカカメラセットごとに異なる領域を受け持たせ、より広い領域からの情報に基づく操作空間協調を実現することができる。本発明の実施の形態１においてはＨＭＤ筐体の右、右斜め前、前、左斜め前、左の５箇所に配置されているものとする。

図２（ｂ）において、マーカ撮影カメラ上２０２Ｃ１とマーカ撮影カメラ下２０２Ｃ３は他機器のマーカを撮影しマーカの方向と距離を求めるための上下２眼構成のカメラであり、撮影部１０１に相当する。マーカ２０２Ｃ２は、機器情報通知部１１１に相当する、他機器へ自機器のＩＤと位置を示すためのマーカであり、光通信方式の発光デバイスであるＬＥＤである。

なお、距離を求める方式は２眼構成のカメラを用いる方式以外に単眼方式や超音波等のレンジセンサを用いる方式があるのでカメラは２眼構成に限定されるものではない。また、マーカの発光デバイスはＬＥＤに限定されるものではないし、光通信方式以外に２次元バーコード方式があるので光通信方式に限定されるものではない。

図３は、本発明の実施の形態１における３Ｄ−ＵＩ操作空間協調装置のメインの動作の流れを示したフローチャートである。

相対位置算出部１０３は他機器情報管理部１０６に格納された他機器情報を初期化する（Ｓ１０１０）。

相対位置算出部１０３は撮影部１０１から取得した画像より検出した他機器のマーカを基にすべての他機器に関して自機器を中心にして相対位置を算出し他機器の機器ＩＤと共に他機器情報管理部１０６に記憶する（Ｓ１０２０）。他機器情報の詳細は後述する。

相対角取得部１０５は他機器情報管理部１０６に記憶されているすべての機器ＩＤに関して通信部１０４を介して他機器の方向を取得し他機器情報管理部１０６に記憶する（Ｓ１０３０）。

操作空間調整部１０７は他機器情報管理部１０６に記憶されているすべての機器ＩＤに関して自機器と他機器の操作空間が重複しないよう両方の操作空間を調整し、その結果を操作空間情報管理部１１３に操作空間情報として記憶し、操作空間が更新された事を再描画部１０８へ通知する（Ｓ１０４０）。

再描画部１０８は操作空間調整部１０７から操作空間が更新された旨の通知を受けると操作空間情報に基づき３Ｄ−ＵＩを再描画する（Ｓ１０５０）。再描画の処理は低レベルの描画コマンドをグラフィクス生成部１０９に指示する。

所定時間スリープした後、Ｓ１０１０へ戻る（Ｓ１０６０）。なお、このステップは、Ｓ１０１０からＳ１０５０までの処理を定期的な間隔で行うことができるようにするためのものであり、省略してもかまわない。

図４は、相対位置算出処理Ｓ１０２０の動作の流れを詳しく示したフローチャートである。

他機器検出部１０２は撮影部１０１の画像をサンプリングしバッファ（図示せず）に記憶する（Ｓ２０１０）。

他機器検出部１０２はバッファの画像を分析し、他機器のマーカの有無を検索する（Ｓ２０２０）。

他機器検出部１０２は検索にヒットした他機器のマーカに関してさらにバッファの画像を分析し、他機器のマーカに含まれる機器ＩＤを取得し、処理中の他機器ＩＤの指示に用いる変数である変数ｉｄに代入する（Ｓ２０３０）。

他機器検出部１０２は検索にヒットした他機器のマーカに関してさらにバッファの画像を分析し、自機器から他機器のマーカまでの距離を計測する。本発明の実施の形態１においては２眼カメラを用いているので視差から生じる二つの画像のマーカの位置のずれ幅から算出する（Ｓ２０４０）。ここで、算出アルゴリズムは例えば三角測量のアルゴリズムとして公知であり本願の主眼ではないので説明を省略する。なお、距離の計測方法は２眼カメラを用いるこの方法に限定されるものではない。

他機器検出部１０２は検索にヒットした他機器のマーカに関してさらにバッファの画像を分析し、他機器のマーカが存在する方向を算出する（Ｓ２０５０）。この方向は、例えば画像内の他機器のマーカの座標から三角関数を用いて方向を算出することができるが、算出アルゴリズムは公知であり本願の主眼ではないので説明を省略する。

他機器検出部１０２は求めた距離と求めた方向を基に検索にヒットした他機器のマーカの相対位置を算出する。算出アルゴリズムは三角関数を用いた行列演算であるが公知であり本願の主眼ではないので説明を省略する（Ｓ２０６０）。

他機器検出部１０２は検索にヒットした他機器のマーカが新たに検出されたものである場合、新たに求めた相対位置をｉｄをキーにして他機器情報管理部１０６に保存する。検索にヒットした他機器のマーカがすでに検出済みのものである場合、新たに求めた相対位置が他機器情報管理部１０６［ｉｄ］に格納されたすでに検出済みの他機器の相対位置よりも近いか否かを判定し、近い場合に限って他機器情報管理部１０６［ｉｄ］の相対位置を新たに求めた相対位置で置換する（Ｓ２０７０）。

他機器検出部１０２はすべての他機器のマーカを処理したかどうか判定し、結果が未だであればＳ２０２０へ進み、結果が処理済みであればリターンする。

図５は、相対角取得処理Ｓ１０３０の動作の流れを詳しく示したフローチャートである。

相対角取得部１０５はポインタ変数ｐに他機器情報の先頭アドレスを代入する（Ｓ３０１０）。ここで、ポインタ変数ｐは、テーブルを成す他機器情報の任意の１エントリを示すものである。

相対角取得部１０５は変数ｉｄにｐ．機器ＩＤを代入する（Ｓ３０２０）。ここで、ｐ．機器ＩＤは他機器情報の任意の１エントリ内の機器ＩＤを示すものである。

相対角取得部１０５はｉｄで識別される他機器に対して通信部１０４を介して方向を要求する（Ｓ３０３０）。

相対角取得部１０５はｉｄで識別される他機器から通信部１０４を介して方向を取得する（Ｓ３０４０）。

相対角取得部１０５はｐ．方向に取得した方向を代入する（Ｓ３０５０）。ここで、ｐ．方向は、他機器情報の任意の１エントリ内の方向を示すものである。

相対角取得部１０５はｐをインクリメントする（Ｓ３０６０）。

相対角取得部１０５はすべての機器ＩＤを処理したかどうか判定し、結果が未だであればＳ３０２０へ進み、結果が処理済みであればリターンする。

図６は、操作空間調整処理Ｓ１０４０の動作の流れを詳しく示したフローチャートである。

操作空間調整部１０７はポインタ変数ｐに他機器情報の先頭アドレスを代入し、自機器の操作空間を初期値のサイズに初期化する（Ｓ４０１０）。ここで、初期値のサイズとは、他機器との間で操作空間調整されていない場合に表示される操作空間のサイズを意味する。

操作空間調整部１０７は変数ｉｄにｐ．機器ＩＤを代入する（Ｓ４０２０）。

操作空間調整部１０７は自機器とｉｄで識別される他機器の操作空間が重複しているかどうか判定する（Ｓ４０３０）。判定の結果が重複であればＳ４０４０へ進み、判定の結果が重複していないであればＳ４０５０へ進む。重複の判定アルゴリズムは操作空間が地面と平行な２次元の矩形領域の場合、自機器の操作空間を２次元座標で示した矩形領域内に他機器の操作空間である矩形領域の角である４頂点の何れかが入っているか否かで判定すればよい。なお、操作空間は地面に平行な２次元の矩形領域に限定されるものではないし、判定アルゴリズムは種々の変形が可能であり矩形領域内に他方の頂点が入るか否かの判定アルゴリズムに限定されるものではない。例えば、操作空間は５角形以上の多角形であっても円形であっても良いし、３次元の多面体であっても球形であっても良い。また、判定アルゴリズムは二つの領域のＡＮＤ演算に基づいても良い。

操作空間調整部１０７は自機器とｉｄで識別される他機器の操作空間が重複しないよう自機器の操作空間を調整する（Ｓ４０４０）。調整アルゴリズムの詳細は後記する。

操作空間調整部１０７はｐをインクリメントする（Ｓ４０５０）。

操作空間調整部１０７はすべての機器ＩＤを処理したかどうか判定し、結果が未だであればＳ４０２０へ進み、結果が処理済みであればリターンする。

図７は、本発明の実施の形態１における他機器情報管理部１０６に格納される他機器情報の説明図である。

図７において、７０１は機器ＩＤ、方向、相対位置（Ｘ成分、Ｙ成分）、相対角が複数並んだ他機器情報を示す。１行目を例に説明すると、機器ＩＤがＩＤ１、方向が１０°相対位置のＸ成分が５００、相対位置のＹ成分が７００、相対角が２０°である。７０２はポインタ変数ｐが示す要素を示す。ｐはメンバとして機器ＩＤ、相対位置、方向にアクセスする。相対位置はメンバとしてさらにＸ成分とＹ成分を持つ。ｐは値を変えて他機器情報のすべての要素にアクセスする。

図１９は、本発明の実施の形態１における操作空間情報管理部１１３が格納する操作空間情報の説明図である。

図１９において、操作空間情報はメンバとして左端Ｘ成分、右端Ｘ成分、前端Ｙ成分を持つ。これにより、操作空間である矩形領域の４頂点を定義する。なお、ｘｙ座標の原点が自機器の中心位置であり、ｙ軸のプラスの方向（矢印の方向）が自機器の前方である。図１９の値の例では、右前方の角が（４００，６００）、左前方の角が（−４００，６００）、左後方の角が（−４００，０）、右後方の角が（４００，０）である。

図８は、本発明の実施の形態１における各々のマーカカメラセットが受け持つ領域の説明図である。

図８において、ｘｙ座標の原点が自機器の中心位置であり、ｙ軸のプラスの方向（矢印の方向）が自機器の前方である。２０２Ａ、２０２Ｂ，２０２Ｃ、２０２Ｄ，２０３Ｅは自機器のマーカカメラセットである。Ｒ１はＲ１の半径より近い領域にマーカが入ったとしてもそのマーカを無視する境界線を定義する円弧である。Ｒ１より近い領域を無視する理由はカメラの死角を減らすためにカメラが広角となり解像度が低下するといった課題を回避するためである。また、実用面においてもあまり近づき過ぎると操作空間が小さく成り過ぎて操作し難くなるため３Ｄ−ＵＩの操作を中断したほうが良いからである。Ｒ２はＲ２の半径より遠い領域にマーカが入ったとしてもそのマーカを無視する境界線を定義する円弧である。Ｒ２より遠い領域を無視する理由は自機器と他機器の操作空間が重複しないことが明確であり無駄な処理を削減するためである。８０Ａはマーカカメラセット２０２Ａが受け持つ領域であり、８０Ｂはマーカカメラセット２０２Ｂが受け持つ領域であり、８０Ｃはマーカカメラセット２０２Ｃが受け持つ領域であり、８０Ｄはマーカカメラセット２０２Ｄが受け持つ領域であり、８０Ｅはマーカカメラセット２０２Ｅが受け持つ領域である。各領域は原点を中心に４５°ずつ角度を変えて隣り合わせに並んだ扇形の領域である。例えば８０Ａは原点を中心に−２２．５°〜２２．５°である。なお、マーカカメラセットの数は５に限定されるものではなく１以上任意であるし、一つのマーカカメラセットが受け持つ角度も４５°に限定されるものではなく任意である。

次に、図９、図１０、図１１、図１２、図１３を用いて調整アルゴリズムの詳細を説明する。

図９は、本発明の実施の形態１における操作空間の重複状況の説明図である。

図９において、ｘｙ座標の原点が自機器の中心位置であり、ｙ軸のプラスの方向（矢印の方向）が自機器の前方である。２０２Ａ、２０２Ｂ，２０２Ｃ、２０２Ｄ，２０３Ｅは自機器のマーカカメラセットである。Ｍは他機器の中心位置であり自機器を基準にすると他機器は角度θで反時計回りに回転している。９０は自機器の操作空間でありＰは操作空間が調整されていないとき、すなわち操作空間が最大の大きさで表示されているときの自機器の操作空間の中心位置である。９１は他機器の操作空間でありＱは操作空間が調整されていないとき、すなわち操作空間が最大の大きさで表示されているときの他機器の操作空間の中心位置である。座標（ｘ１，ｙ１）は自機器の調整されていないときの自機器の操作空間の右前方の角である。座標（ｘ２，ｙ１）は自機器の調整されていないときの自機器の操作空間の左前方の角である。図９は自機器と他機器の操作空間が調整されずに重複している状態の一例である。

図１０は、本発明の実施の形態１における操作空間調整基準の基となる角度域の説明図である。ここで、操作空間調整基準とは、操作空間の調整を行う際の基準となる情報を意味する。

図１０において、ｘｙ座標の原点が自機器の中心位置であり、ｙ軸のプラスの方向（矢印の方向）が自機器の前方である。９０は自機器の操作空間でありＰは操作空間が調整されていないとき、すなわち操作空間が最大の大きさで表示されているときの自機器の操作空間の中心位置である。Ｑは他機器の操作空間が調整されていないとき、すなわち操作空間が最大の大きさで表示されているときの他機器の操作空間の中心位置である。Ａ、Ｂ、Ｃ、Ｄ、ＥはＰを中心に４５°ずつ角度を変えて隣り合わせに角度域を定めている。例えばＡはＰを中心に−２２．５°〜２２．５°である。座標（ｘ１，ｙ１）は自機器の調整されていないときの操作空間の右前方の角である。座標（ｘ２，ｙ１）は自機器の調整されていないときの操作空間の左前方の角である。

次に図１０を用いて本発明の実施の形態１における操作空間調整基準を説明する。ＰＱベクトルの方向がＡ、Ｂ、Ｃ、Ｄ、Ｅのどの角度域に入っているかで以降に示すように操作空間の角の座標を調整する。Ａの場合はｘ１を調整する。Ｂの場合はｘ１とｙ１を調整する。Ｃの場合はｙ１を調整する。Ｄの場合はｘ２とｙ１を調整する。Ｅの場合はｘ２を調整する。このような調整により他機器の操作空間と重複している自機器の操作空間の一部を縮小して重複を回避することが可能となる。図１０の例ではＰＱベクトルがＡの角度域に入っていることを示している。よって、操作空間の右前方の角のＸ座標であるｘ１を調整することになる。

なお、操作空間調整基準は自機器と他機器の操作空間の重複部分を無くすという目的を達成するもので、操作空間の矩形の重複している辺に基づくもの、重複領域の重心に基づくものなどの種々の変形が可能である。

図１１は、本発明の実施の形態１における操作空間の調整後の状況を示す図である。

図１１において、９２は自機器の調整後の操作空間でありＰは操作空間が調整されていないとき、すなわち操作空間が最大の大きさで表示されているときの自機器の操作空間の中心位置である。９３は他機器の調整後の操作空間でありＱは操作空間が調整されていないときすなわち操作空間が最大の大きさで表示されているときの他機器の操作空間の中心位置である。座標（ｘ３，ｙ１）は自機器の調整後の操作空間の右前方の角であり、ｘ座標が調整されていないときのｘ１から減少したｘ３に変わっている。座標（ｘ２，ｙ１）は自機器の調整されていないときの操作空間の左前方の角であり、操作空間の調整の前後で何ら変化していない。調整後の座標（ｘ３、ｙ１）の求め方は調整対象のｘ１に対して一定の値を減じ仮のｘ３を求め重複の判定を行い重複が無くなるまで仮のｘ３の値を減じる処理を繰り返せば良い。

なお、自機器の操作空間が最大となっているとは、図６で説明したように他機器情報管理部１０６に記憶されているすべての他機器の操作空間との調整の前の初期化時の値で操作空間が表示されている状態をいう。すべての他機器の操作空間と調整を済ませた後はすべての他機器の操作空間と重複しない領域に自機器の操作空間が調整されている。

図１２は、本発明の実施の形態１における操作空間の別の重複状況の説明図である。

図１２において、ｘｙ座標の原点が自機器の中心位置であり、ｙ軸のプラスの方向（矢印の方向）が自機器の前方である。９０は自機器の操作空間でありＰは操作空間が調整されていないとき、すなわち操作空間が最大の大きさで表示されているときの自機器の操作空間の中心位置である。９４は他機器の操作空間でありＲは操作空間が調整されていないとき、すなわち操作空間が最大の大きさで表示されているときの他機器の操作空間の中心位置である。Ｂ座標（ｘ１，ｙ１）は自機器の調整されていないときの操作空間の右前方の角である。座標（ｘ２，ｙ１）は自機器の調整されていないときの操作空間の左前方の角である。図１２はＰＲベクトルがＢの角度域に入っていることを示している。したがって、前述した操作空間調整基準に基づきｘ１とｙ１を調整する。

図１３は、本発明の実施の形態１における操作空間の別の調整後の状況を示す図である。

図１３において、ｘｙ座標の原点が自機器の中心位置であり、ｙ軸のプラスの方向（矢印の方向）が自機器の前方である。９５は自機器の調整後の操作空間でありＰは操作空間が調整されていないとき、すなわち操作空間が最大の大きさで表示されているときの自機器の操作空間の中心位置である。９６は他機器の調整後の操作空間でありＲは操作空間が調整されていないとき、すなわち操作空間が最大の大きさで表示されているときの他機器の操作空間の中心位置である。座標（ｘ３，ｙ２）は自機器の調整後の操作空間の右前方の角であり、ｘ座標が調整されていないときのｘ１から減少したｘ３に変わっていて、ｙ座標が調整されていないときのｙ１から減少したｙ２に変わっている。座標（ｘ２，ｙ２）は自機器の調整後の操作空間の左前方の角であり、ｙ座標が調整されていないときのｙ１から減少したｙ２に変わっている。

次に、相対角の取得に関して説明する。

図１４は、本発明の実施の形態１における３Ｄ−ＵＩ操作空間協調装置の相対角応答部１１２の動作の流れを詳しく示したフローチャートである。

次に図１４を用いて相対角応答部１１２の動作の流れを説明する。なお、相対角応答部１１２はマルチタスクＯＳ等の並列処理技術によりメインの動作と並列に動作するものとして説明する。

相対角応答部１１２は他機器からの相対角の要求を待つ（Ｓ１４０１０）。

相対角応答部１１２は要求元の他機器の機器ＩＤをキーとして他機器情報管理部１０６から方向を取得する（Ｓ１４０２０）。

相対角応答部１１２は１８０°から取得した角度を減じて要求元の他機器との相対角を求めθに代入する（Ｓ１４０３０）。

相対角応答部１１２は求めたθを要求元の他機器に応答し、Ｓ１４０１０に進む（Ｓ１４０４０）。

かかる構成によれば、センサからの情報に基づき算出した自機器に対する他機器の相対位置と他機器から通信で取得した他機器の相対角が把握可能な構成で、３Ｄ−ＵＩの操作空間を重複しないよう調整するので、ＨＭＤを装着した複数のユーザの近接による３Ｄ−ＵＩ操作空間の重複によって生じる他人への手の衝突事故を防ぐことが可能となる。

（実施の形態２）
実施の形態２において、実施の形態１と同じ構成要素については同じ符号を用い、説明を省略し、異なる点に関してのみ説明する。

図１６は、本発明の実施の形態２における３Ｄ−ＵＩ操作空間協調装置の構成図である。

図１６において、相対角身体情報取得部４０５は通信部１０４を介して隣接する他機器の方向と身体情報を取得する。なお、身体情報とは、自機器を使用するユーザの身体的特徴に関する情報である。本実施の形態においては、身体情報は、自機器のユーザの腕の長さと他機器のユーザの腕の長さに基づいて操作空間を好適に調整するために、それぞれのユーザの腕の長さを推定するための設定値とする。このような設定値として、例えば、人間の平均的な腕の長さに対するユーザの腕の長さの比率を身体情報とすることができる。この場合、身体情報は、例えば、あるユーザが３Ｄ−ＵＩ操作空間協調装置を始めて使用する際にユーザの腕の長さを入力させ、この値と、３Ｄ−ＵＩ操作空間協調装置に予め格納された人間の平均的な腕の長さの比率を算出することにより得ることができる。このようにして得られた身体情報は、身体情報管理部４１４に格納される。他機器情報管理部４０６は相対位置算出部１０３が求めた他機器の相対位置と相対角身体情報取得部４０５が取得した他機器の方向と身体情報を対応付けて他機器情報として記憶する。他機器情報管理部４０６に格納される情報の詳細については後述する。操作空間調整部４０７は他機器情報管理部４０６から取得した他機器の相対位置と他機器の方向と他機器の身体情報から自機器と他機器の操作空間の重なりを検査して重ならないよう調整する。相対角身体情報応答部４１２は他機器からの相対角と身体情報の要求に対して他機器の機器ＩＤをキーとして他機器情報管理部４０６から方向を取得し、１８０°から取得した方向を差し引いて得られた相対角と身体情報を通信部１０４を介して応答する（実施の形態２の構成）。

図１７は、本発明の実施の形態２における他機器情報管理部４０６に格納される他機器情報の説明図である。

図１７において、５０１は機器ＩＤ、方向、相対位置（Ｘ成分、Ｙ成分）、相対角、身体情報が複数並んだ他機器情報を示す。１行目を例に説明すると、機器ＩＤがＩＤ１、方向が１０°相対位置のＸ成分が５００、相対位置のＹ成分が７００、相対角が２０°、身体情報が１．２である。５０２はポインタ変数ｐが示す要素を示す。ｐはメンバとして機器ＩＤ、方向、相対位置、相対角、身体情報にアクセスする。相対位置はメンバとしてさらにＸ成分とＹ成分を持つ。ｐは値を変えて他機器情報のすべての要素にアクセスする。

実施の形態２において、実施の形態１と同じ構成要素については動作の流れの説明を省略し、異なる点に関してのみ説明する。

図１８は、本発明の実施の形態２における３Ｄ−ＵＩ操作空間協調装置の相対角身体情報応答部４１２の動作の流れを詳しく示したフローチャートである。

なお、相対角身体情報応答部４１２はマルチタスクＯＳ等の並列処理技術によりメインの動作と並列に動作するものとして説明する。

相対角身体情報応答部４１２は他機器からの相対角身体情報の要求を待つ（Ｓ１８０１０）。

相対角身体情報応答部４１２は要求元の他機器の機器ＩＤをキーとして他機器情報管理部４０６から方向を取得する（Ｓ１８０２０）。

相対角身体情報応答部４１２は１８０°から取得した方向を減じて要求元の他機器との相対角を求めθに代入する（Ｓ１８０３０）。

相対角身体情報応答部４１２は求めたθと身体情報管理部４１４に格納された身体情報とを要求元の他機器に応答し、Ｓ１８０１０に進む（Ｓ１８０４０）。

次に、調整アルゴリズムの詳細に関して実施の形態１と異なる点に関して説明する。なお、同じ点に関しては同じ符号を流用する。

操作空間の右前方の角と左前方の角の調整前の座標成分（ｘ１，ｙ１）、（ｘ２，ｙ１）に関して実施の形態１と同じ基準でどの成分を増減するか決定した後、増減する一定の値に調整対象としている他機器の身体情報を掛けてから増減する。これにより互いの身体情報の値の比率が座標の調整に反映される。具体的には自機器の身体情報が１よりも大きいと他機器の操作空間を多く狭め、自機器の身体情報が１よりも小さいと他機器の操作空間を少なく狭める。

かかる構成によれば、センサからの情報に基づき算出した自機器に対する他機器の相対位置と他機器から通信で取得した他機器の相対角と他機器の身体情報が把握可能な構成で、３Ｄ−ＵＩの操作空間を重複しないよう調整するので、ＨＭＤを装着した複数のユーザの近接による３Ｄ−ＵＩ操作空間の重複によって生じる他人への手の衝突事故を防ぐことが可能となる。

なお、本実施の形態において、撮影部１０１が光学カメラの場合について説明したが、自機器に対する他機器の相対位置と相対角の把握において、電波、磁力、音波をセンシングしその情報から相対位置と相対角を算出するその他のセンサであっても良い。

なお、本実施の形態において、自機器に対する他機器の相対位置は自機器に搭載された他機器検出部１０２において他機器の位置を計測し算出する場合について説明したが、３Ｄ−ＵＩ操作空間協調装置においてさらに他機器と通信するための通信部を備え、各機器に搭載された他機器検出部１０２が各機器自身の位置を計測しておき、それを通信部を介して交換し相対位置を算出するようにしても良い。

なお、本実施の形態において、自機器に対する他機器の相対角は他機器に搭載された他機器検出部１０２が他機器に対する自機器の方向を算出して相対角を算出する場合について説明したが、３Ｄ−ＵＩ操作空間協調装置においてさらに他機器と通信するための通信部を備え、各機器に搭載された他機器検出部１０２が各機器自身の方位を計測しておき、それを通信部を介して交換し相対角を算出するようにしても良い。

なお、本実施の形態において、身体情報をユーザの入力に基づいて取得する場合について説明したが、他機器検出部１０２を用いて逐次身体の一部（腕の長さ、身長、肩幅、頭の大きさ等）を計測し、計測された値を用いて身体情報を算出しても良い。

なお、本実施の形態において、操作空間の座標が自機器を基準に定義された場合について説明したが、ユーザが頭を動かすと自機器も同じ方向に動いてしまうので、例えばユーザが胴体の方向を固定したまま頭だけを動かしたような場合に、必要以上に操作空間の調整が行われ得る。これを解消するために、頭の動作を検出するセンサを用いてユーザの肩や胴体を計測してユーザの頭の動きを打ち消すように操作空間の座標を補正して定義しても良い。

なお、本実施の形態において、他機器が自機器と同じ機能を有しているとして説明したが、他機器が操作空間の調整に関わる機能の一部又は全部を有していない場合、自機器が単独で他機器の操作空間を推定して自機器の操作空間を調整しても良い。

以上、本発明にかかわる３Ｄ−ＵＩ操作空間協調装置について、実施の形態に基づいて説明したが、本発明は上記の実施の形態に限られる訳ではない。

なお、各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてあり得る。

本発明にかかる３Ｄ−ＵＩ操作空間協調装置は、特に、ＨＭＤを装着した複数のユーザの近接による３Ｄ−ＵＩ操作空間の重複によって生じる他人への手の衝突事故防止に有用である。

１０１ 撮影部
１０２ 他機器検出部
１０３ 相対位置算出部
１０４ 通信部
１０５ 相対角取得部
１０６，４０６ 他機器情報管理部
１０７，４０７ 操作空間調整部
１０８ 再描画部
１０９ グラフィクス生成部
１１０ 画像重畳表示部
１１１ 機器情報通知部
１１２ 相対角応答部
１１３ 操作空間情報管理部
２０ ＨＭＤ筐体
３０ 操作空間
３１ ３Ｄ仮想オブジェクト
３２ ユーザ
４０５ 相対角身体情報取得部
４１２ 相対角身体情報応答部
４１４ 身体情報管理部

Claims (14)

1. 複合現実における３Ｄ−ＵＩの直接操作のための操作空間を調整する３Ｄ−ＵＩ操作空間協調装置であって、
   他機器である他の前記３Ｄ−ＵＩ操作空間協調装置の自機器に対する相対位置と前記他機器の相対角とに基づき、前記他機器の３Ｄ−ＵＩの操作空間と重複しないように自機器の３Ｄ−ＵＩの操作空間を調整する操作空間調整部を備えた３Ｄ−ＵＩ操作空間協調装置。
2. 前記３Ｄ−ＵＩ操作空間協調装置は、さらに、
   少なくとも自機器の位置を特定するための情報を通知する機器情報通知部と、
   前記機器情報通知部が通知した情報を検出する他機器検出部とを備え、
   前記他機器検出部は、前記他機器検出部が検出した情報に基づき前記他機器との相対位置及び相対角を算出することを特徴とする、請求項１記載の３Ｄ−ＵＩ操作空間協調装置。
3. 前記３Ｄ−ＵＩ操作空間協調装置は、さらに、
   自機器の周囲の映像を撮影するための撮影部を備えることを特徴とする、請求項２記載の３Ｄ−ＵＩ操作空間協調装置。
4. 前記機器情報通知部はマーカであり、
   前記他機器検出部は、前記撮影部が撮影した自機器の周囲の映像において検出された前記マーカの距離と方向に基づき前記他機器との相対位置及び相対角を算出することを特徴とする、請求項３記載の３Ｄ−ＵＩ操作空間協調装置。
5. 前記３Ｄ−ＵＩ操作空間協調装置は、さらに、
   前記他機器と通信を行うための通信部を備え、
   前記通信部は、前記他機器から、少なくとも前記他機器の位置を特定するための情報を受信し、
   前記他機器検出部は、前記通信部が受信した情報に基づき前記他機器との相対位置及び相対角を算出することを特徴とする、請求項２記載の３Ｄ−ＵＩ操作空間協調装置。
6. 前記操作空間は角柱形状の空間であることを特徴とする、請求項１記載の３Ｄ−ＵＩ操作空間協調装置。
7. 複合現実における３Ｄ−ＵＩの直接操作のための操作空間を調整する３Ｄ−ＵＩ操作空間協調装置であって、
   他機器である他の前記３Ｄ−ＵＩ操作空間協調装置の自機器に対する相対角と、自機器を使用するユーザの身体的特徴を示す情報である身体情報とに基づき３Ｄ−ＵＩの操作空間を調整する操作空間調整部を備えた３Ｄ−ＵＩ操作空間協調装置。
8. 前記３Ｄ−ＵＩ操作空間協調装置は、さらに、
   少なくとも自機器の位置を特定するための情報を通知する機器情報通知部と、
   前記機器情報通知部が通知した情報を検出する他機器検出部とを備え、
   前記他機器検出部は、前記他機器検出部が検出した情報に基づき前記他機器との相対位置及び相対角を算出することを特徴とする、請求項７記載の３Ｄ−ＵＩ操作空間協調装置。
9. 前記３Ｄ−ＵＩ操作空間協調装置は、さらに、
   自機器の周囲の映像を撮影するための撮影部を備えることを特徴とする、請求項８記載の３Ｄ−ＵＩ操作空間協調装置。
10. 前記機器情報通知部はマーカであり、
    前記他機器検出部は、前記撮影部が撮影した自機器の周囲の映像において検出された前記マーカの距離と方向に基づき前記他機器との相対位置及び相対角を算出することを特徴とする、請求項９記載の３Ｄ−ＵＩ操作空間協調装置。
11. 前記３Ｄ−ＵＩ操作空間協調装置は、さらに、
    前記他機器と通信を行うための通信部を備え、
    前記通信部は、前記他機器から、少なくとも前記他機器の位置を特定するための情報を受信し、
    前記他機器検出部は、前記通信部が受信した情報に基づき前記他機器との相対位置及び相対角を算出することを特徴とする、請求項８記載の３Ｄ−ＵＩ操作空間協調装置。
12. 前記操作空間は角柱形状の空間であることを特徴とする、請求項７記載の３Ｄ−ＵＩ操作空間協調装置。
13. 複合現実における３Ｄ−ＵＩの直接操作のための操作空間を調整する３Ｄ−ＵＩ操作空間協調装置における３Ｄ−ＵＩ操作空間協調方法であって、
    他機器である他の前記３Ｄ−ＵＩ操作空間協調装置の自機器に対する相対位置と前記他機器の相対角とに基づき、前記他機器の３Ｄ−ＵＩの操作空間と重複しないように自機器の３Ｄ−ＵＩの操作空間を調整する操作空間調整ステップを含む３Ｄ−ＵＩ操作空間協調方法。
14. コンピュータを、複合現実における３Ｄ−ＵＩの直接操作のための操作空間を調整する３Ｄ−ＵＩ操作空間協調装置として機能させるためのプログラムであって、
    前記コンピュータに、
    他機器である他の前記３Ｄ−ＵＩ操作空間協調装置の自機器に対する相対位置と前記他機器の相対角とに基づき、前記他機器の３Ｄ−ＵＩの操作空間と重複しないように自機器の３Ｄ−ＵＩの操作空間を調整する操作空間調整ステップを実行させるプログラム。

Images