JP2019532444A - 仮想光線を用いたオブジェクト制御 - Google Patents

Abstract

オブジェクトを制御する技術は、仮想光線を生成する出力を与える携帯用コントローラを含む。この仮想光線は、位置および方向を有する。仮想光線の位置は、周囲空間のセンサからの入力に基づき、携帯用コントローラの位置として測定される。ユーザが携帯用コントローラを移動および／または回転させると、仮想光線が空間内を通過し、様々なオブジェクトと交差する。仮想光線が身元と位置がわかっている制御可能オブジェクトの位置と交差すると、携帯用コントローラは、そのオブジェクトを識別し、ユーザからのオブジェクト制御のための遠隔制御入力を受け付ける。この携帯用コントローラを用いることで、ユーザは、身元と空間内の位置がわかっている任意の制御可能オブジェクトを制御することができ、仮想および物理オブジェクトを制御することができる。【選択図】図１

Description

［関連出願の相互参照］
以下の出願済みの仮特許出願に基づき、優先権を主張する。
・米国仮出願第６２／３７８，４８６号、２０１６年８月２３日出願、「多因子認証強度可変型の均一認証方法を用いた権利付与および身元確認のためのセキュアハブ」
・米国仮出願第６２／３７８，４９４号、２０１６年８月２３日出願、「仮想機密情報隔離施設」
・米国仮出願第６２／３７８，４９８号、２０１６年８月２３日出願、「三次元空間における実オブジェクトおよび仮想オブジェクト用のユニバーサル・コントローラ」
・米国仮出願第６２／３９７，２２６号、２０１６年９月２０日出願、「独立した物理スペース間での仮想オブジェクトの制御および移動方法を含む、実三次元空間における共通座標系に参照された拡張現実のシステム」
・米国仮出願第６２／４９１，０４８号、２０１７年４月２７日出願、「同延現実システム」
上記の各仮特許出願の内容および教示は、その全体を参照により本明細書に援用する。

遠隔制御は、多くの家庭用電子機器にとって不可欠な部分となっている。赤外線（ＩＲ）リモコン装置は、ほとんどあらゆるテレビ受像機、ブルーレイ・ディスク・プレイヤー、オーディオシステム、またはそのほかの電子娯楽製品において、標準装備である。ＩＲリモコン装置を使用する際、ユーザはリモコン装置を機器に向けてボタンを押下する。リモコン装置は、ユーザによるボタン押下をＩＲ信号へと変換し、このＩＲ信号は空中を移動して、当該機器のＩＲ検出器に到達する。機器は、検出したＩＲ信号を対応するコマンドに変換し、これを実行して状態や設定に所望の変更を行う。

家庭用機器の中には、無線周波数（ＲＦ）遠隔制御を用いるものもある。ＲＦリモコン装置は、ユーザによるボタン押下をＲＦ通信信号へと変換し、このＲＦ通信信号は空中を移動して、当該機器のＲＦ対応機器のアンテナに到達する。機器内部の回路は、ＲＦ信号を復号してコマンドに変換し、これを実行して所望の変更を行う。

また、各種のユニバーサル・リモコン装置が当技術分野で知られている。ユーザは、制御対象の機器の製造者および型式を識別するコードを入力することにより、ユニバーサル・リモコン装置をプログラムすることができる。ユニバーサル・リモコン装置は、入力された機器の製造者および型式用のコマンドを（例えばオンボードのデータベースから）取得し、ユーザがボタンを押下すると制御コマンドの実行を開始する。ＩＲおよびＲＦのユニバーサル・リモコン装置が知られており、ＩＲおよびＲＦ技術を組み合わせたユニバーサル・リモコン装置もある。

遠隔制御のその他の周知のソリューションとして、スマートホーム・ソフトウェアポータルや音声操作システムがある。また、従来のスマートフォンにアプリをダウンロードして、スマートフォンをリモコン装置として使えるようにすることもできる。

しかしながら、リモコン装置は急速に増加しやすく、リモコン装置がたくさんある代表的な家庭では、その数が非常に多いために管理が難しい。リモコン装置の中にはめったに使われないものもある。よく置き忘れられるものもある。ユニバーサル・リモコン装置は、家庭内のリモコン装置の数を減らすために役立つが、そのプログラムや使用が難しい人もいる。

リモコン装置の従来のソリューションに対して、オブジェクトを制御する改良された技術は、仮想光線を生成する出力を与える携帯用コントローラを含む。この仮想光線は、位置および方向を有する。仮想光線の位置は、周囲空間のセンサからの入力に基づき、携帯用コントローラの位置として測定される。ユーザが携帯用コントローラを移動および／または回転させると、仮想光線が空間内を通過し、様々なオブジェクトと交差する。仮想光線が身元と位置がわかっている制御可能オブジェクトの位置と交差すると、携帯用コントローラは、そのオブジェクトを識別し、ユーザからのオブジェクト制御のための遠隔制御入力を受け付ける。この携帯用コントローラを用いることで、ユーザは、身元と空間内の位置がわかっている任意の制御可能オブジェクトを制御することができる。

好都合には、多数の別々のリモコン装置を単一の携帯用コントローラに置き換えて、広範囲にわたる機器や電化製品に単一の制御パラダイムを与えることができる。この制御パラダイムは、多くの利便性や利点を可能とし、仮想オブジェクトおよび物理オブジェクトに拡張可能なものである。

ある例では、携帯用コントローラの位置測定は、携帯用コントローラからの無線信号の送信を含む。無線信号は空間内を伝播して複数のアンテナに到達し、これらのアンテナは無線信号を処理して対応する出力を生成する。この出力が処理されて、携帯用コントローラの位置となる。

ある例では、携帯用コントローラはクリック・トゥ・キャプチャ機能を備えており、これによってユーザはボタンをクリックして、空間内で仮想光線が現在交差している任意のオブジェクトの身元をキャプチャすることができる。身元がキャプチャされると、ユーザは、携帯用コントローラを快適な角度に自由に向けなおし、もはや携帯用コントローラがキャプチャされたオブジェクトに向けられていない状態であってもキャプチャされたオブジェクトの選択および制御を行うことができる。

ある例では、携帯用コントローラは、以前に制御したオブジェクトの履歴を格納する。ユーザは、この履歴から制御可能オブジェクトを選択し、携帯用コントローラをそのオブジェクトにむけずに、また同じ部屋にいることなく、オブジェクトに制御インストラクションを送信することができる。

ある例では、制御可能オブジェクトの制御位置は、３Ｄ空間内のユーザ定義領域として規定される。制御位置は、オブジェクトの一部または全部と交差していてもよく、ユーザに定義されたようにオブジェクトからオフセットしてもよい。

ユーザは、制御可能オブジェクトのユーザ定義位置をトレーニング手続きによって規定してもよい。ある例では、トレーニング手続きは、携帯用コントローラを空間内の複数のトレーニング位置からオブジェクトの所望の制御位置へ向け、この所望の制御位置をトレーニング位置から伸びる仮想光線の交差点の領域として識別することを含んでもよい。別の例では、トレーニング手続きは、携帯用コントローラで所望の制御位置にタッチして、制御位置を携帯用コントローラの現在の位置として確立することを含む。ある例では、トレーニングは、例えば範囲の全体が制御位置となるようにオブジェクトの頂点をトレーニングすることによる二次元または三次元空間の範囲の定義を含んでもよい。別の例では、トレーニングは、それぞれオブジェクトの制御位置を提供する複数の独立領域の識別を含んでもよい。

ある例では、制御可能オブジェクトは仮想オブジェクトである。例えば、携帯用コントローラは、仮想オブジェクトをホログラムとして周囲の空間の既知の位置に表示する３Ｄヘッドセットと通信して動作してもよい。３Ｄヘッドセットを使用する際、ユーザは、携帯用コントローラを操作して、３Ｄヘッドセットを介して目に見えるホログラムを選択して操作してもよい。ある例では、３Ｄヘッドセットと通信して動作する携帯用コントローラは、ホログラフィック・ポインティング・デバイスを設けてもよく、ユーザは、これを操作して、３Ｄヘッドセットを介して目に見えるホログラムを選択して操作することができる。

ある実施形態は、携帯用コントローラを用いて３Ｄ（三次元）空間のオブジェクトを制御する方法に関する。この方法は、複数の制御可能オブジェクトと前記３Ｄ空間における前記制御可能オブジェクトの制御位置とをそれぞれ関連付けるオブジェクトデータベースを格納することを含む。各制御位置は前記３Ｄ空間における対応する領域を表し、当該領域に前記携帯用コントローラを向けて対応する制御可能オブジェクトを制御することができる。この方法は、さらに、前記３Ｄ空間における前記携帯用コントローラの位置を測定し、前記３Ｄ空間における前記携帯用コントローラの方向を測定することを含む。この方法は、さらに、前記携帯用コントローラの測定された位置と前記携帯用コントローラの測定された方向とを結合して、原点が前記携帯用コントローラの測定された位置におかれ、方向が前記携帯用コントローラの測定された方向に基づく仮想光線を構成することを含む。前記仮想光線が前記オブジェクトデータベースの制御可能オブジェクトの制御位置と交差するように前記携帯用コントローラが向けられることに応えて、この方法は、さらに（ｉ）前記制御可能オブジェクトを制御するユーザ入力を前記携帯用コントローラによって受け付け、（ｉｉ）前記ユーザ入力に基づく前記制御可能オブジェクトを制御する制御インストラクションを前記携帯用コントローラから送信することを含む。

別の実施形態は、オブジェクトを制御する携帯用コントローラに関する。この携帯用コントローラは、ユーザインターフェースと、無線通信インターフェースと、３Ｄ（三次元）空間における前記携帯用コントローラの方向を測定するよう構成された測定回路とを含む。携帯用コントローラは、さらに、プロセッサのセットおよびメモリを含む。前記プロセッサのセットと前記メモリとは合わせて制御回路を形成し、前記制御回路は、前記測定回路に前記携帯用コントローラの方向の測定を行うよう指示し、前記無線インターフェースに前記携帯用コントローラの方向の測定を伝達する信号を含む無線信号を複数のセンサに送信して、（ｉ）前記複数のセンサによって受信される前記無線信号に基づいて、測定される前記携帯用コントローラの位置を有効化し、（ｉｉ）それぞれ、原点が前記携帯用コントローラの測定された位置におかれ、方向が前記携帯用コントローラの測定された方向に基づく、複数の仮想光線を生成するよう指示する。制御回路は、さらに、前記仮想光線の一つと交差する制御可能オブジェクトを識別し、前記無線インターフェースに前記識別された制御可能オブジェクトを制御する制御インストラクションを送信するよう指示するよう構成されている。

上記の概要は、読み手が本明細書に提示の例示的特徴を容易に理解するための手助けとして説明のために提示されるものであるが、決して本明細書の必須要素を定めたり実施形態を限定したりすることを意図するものではない。言うまでもなく、上記の特徴は技術的に意味を成す方法で組み合わせることが可能であり、またそのような組み合わせは、明確に認識されるか否かにかかわらず、全て本明細書において開示されることが意図されている。

上記およびその他の特徴ならびに利点は、添付の図面に示すように、以下に述べる本発明の具体的な実施形態の説明から明らかになろう。図面において、いずれの図においても同様の参照符号は同一または類似の要素を示すものである。図面は必ずしも縮尺通りではなく、各種の実施形態の原理を図示することに重点が置かれている。
図１は、改良された技術の実施形態を実施することができる例示的環境の上平面図である。 図２は、図１の電子環境に関連して用いることのできる例示的電子構成部品のブロック図である。 図３は、例示的携帯用コントローラの正面図である。 図４は、図３の例示的携帯用コントローラのある電子的機能のブロック図である。 図５Ａおよび図５Ｂは、図３および図４の携帯用コントローラの図であり、テレビを選択するための携帯用コントローラの使用を示す図である。 図６Ａおよび図６Ｂは、図３および図４の携帯用コントローラの図であり、複数のオブジェクトの一つを選択するための携帯用コントローラの使用を示す図である。 図７Ａ〜図７Ｃは、特定の制御位置において携帯用コントローラをトレーニングする各種の例示的様態を示す図である。 図８は、空間内の特定の範囲において携帯用コントローラをトレーニングする例示的構成の正面図である。 図９は、複数の独立した領域として制御位置を認識するよう携帯用コントローラをトレーニングする構成の上面図である。 図１０は、図３および図４の携帯用コントローラで使用されるよう構成されたレガシー電子機器の正面図である。 図１１は、図１の環境の上平面図であり、ユーザが３Ｄヘッドセットを装着し携帯用コントローラを用いてホログラムを制御する図である。 図１２は、図１の環境の一部を示す図であり、ユーザが携帯用コントローラを用いてホログラムを選択して操作する図である。 図１３は、ナイフに似せてみせた例示的携帯用コントローラの側面図である。 図１４は、銃に似せてみせた例示的携帯用コントローラの側面図である。 図１５は、３Ｄ空間においてオブジェクトを制御する例示的方法を示すフローチャートである。

以下に、本発明の実施形態を説明する。これらの実施形態は本発明の特徴と原理を説明するための例として提示されているが、本発明が特定の実施形態に限定されるわけではないことは言うまでもない。

オブジェクトを制御する改良された技術は、別のサーバと通信して仮想光線を生成する携帯用コントローラを含む。仮想光線が身元と位置がわかっている制御可能オブジェクトの位置と交差すると、携帯用コントローラは、そのオブジェクトを識別し、ユーザからのオブジェクト制御のための遠隔制御入力を受け付ける。この携帯用コントローラを用いることで、ユーザは、身元と空間内の位置がわかっている任意の制御可能オブジェクトを制御することができる。ある例では、この制御可能オブジェクトは仮想オブジェクトであり、携帯用コントローラはホログラフィック・ポインティング・デバイスとしての役割を果たす。

図１に、本明細書の改良された技術の実施形態を実施することができる例示的環境１００を示す。ここで、ユーザ１１０は３Ｄ（三次元）物理空間１１２に位置しており、物理空間１１２においてオブジェクトを制御するための携帯用コントローラ１２０を操作する。このようなオブジェクトの例としては、テレビ受像機１５０、スピーカー１５２（例えば、１５２ａ〜１５２ｄ）、ブルーレイ・ディスク・プレイヤー１５４がある。携帯用コントローラ１２０は、３Ｄ空間１１２における自身の向きを測定する測定回路を含む。また、携帯用コントローラ１２０は、Ｗｉ−Ｆｉ（ＩＥＥＥ８０２．１１）および／またはＢｌｕｅｔｏｏｔｈ（登録商標）信号などの無線信号を用いてサーバ装置１６０と通信する無線インターフェースを含む。

物理空間１１２内の各位置に配置されるセンサ１４０（例えば、１４０ａ〜１４０ｃ）は、携帯用コントローラ１２０の存在を検出し、検出情報を出力として送信する。センサ１４０からの出力は、有線または無線接続を用いてサーバ装置１６０に伝達される。サーバ装置１６０は、この出力を処理してそこから物理空間１１２における携帯用コントローラ１２０の３Ｄ位置を測定するよう構成される。

図に示すように、サーバ装置１６０は、マップデータ１６２と、オブジェクトデータベース１６４と、レイトレーサ１６６とを含む。マップデータ１６２は、壁、床、天井、家具、階段、扉、窓、その他の位置、サイズ、向きなどの、物理空間１１２の物理的特徴を記述するものである。マップデータ１６２は、任意の適切な３Ｄ座標系に従ってこれらの特徴の位置を表現することができる。オブジェクトデータベース１６４は、テレビ受像機１５０、スピーカー１５２、およびブルーレイ・ディスク・プレイヤー１５４などの物理空間１１２における制御可能オブジェクトについての情報を格納する。このような情報の例としては、各制御可能オブジェクトの一意識別子、当該制御可能オブジェクトのエイリアス（ニックネーム）、携帯用コントローラ１２０でオブジェクトを制御するユーザインターフェース画面のライブラリ、オブジェクトの状態および／または設定を変更するための制御インストラクションおよび対応するコードのセット、および所望または関係のある情報がある。また、オブジェクトデータベース１６４は、各オブジェクトと関連して制御位置を格納してもよく、上述のようにこの制御位置は同じ３Ｄ座標系に基づいて表現することができる。本明細書において、「制御位置」は、制御可能オブジェクトのために定義された３Ｄ空間１１２内の物理的範囲であり、ここに携帯用コントローラ１２０を向けて制御可能オブジェクトを制御することができる。

例示的操作では、ユーザ１１０は携帯用コントローラ１２０を物理空間１１２のどこかに向ける。ユーザ１１０が携帯用コントローラ１２０を移動し回転させると、携帯用コントローラ１２０の測定回路が新たに方向測定１２２を生成し、例えば無線信号によって新たな測定をサーバ装置１６０へ送信する。同時に、センサ１４０は、（例えば、パス１４２ａ〜１４２ｃによって）携帯用コントローラ１２０の存在を検出し、出力を生成し、これらの出力をサーバ装置１６０へ送信する。サーバ装置１６０は、センサ１４０からの出力を受信し、３Ｄ空間１１２内の携帯用コントローラ１２０の位置の更新された測定を生成する。そして、サーバ装置１６０のレイトレーサ１６６は、携帯用コントローラ１２０から受信した方向測定と対応する位置測定とを結合することによって仮想光線を生成する。各仮想光線１３０は、携帯用コントローラ１２０の測定位置であってもよい「原点」と、同時に測定される携帯用コントローラ１２０の向きに基づいた対応する「方向」とを有する。ある例では、サーバ１６０は、測定回路からの出力を、ＩＲビームが従来のＩＲリモコンの端部から伸びるのと同様に、仮想光線１３０の方向が常に携帯用コントローラ１２０に平行に伸びるよう、既知の角度だけ調整することができる。ただし、言うまでもなく、仮想光線は全く物理的なものではなく、むしろ３Ｄ空間１１２を参照する幾何学的実体である。例えば、各仮想光線１３０の原点は、座標のセットを有する３Ｄ空間内の点である。各仮想光線１３０の方向は、３Ｄ座標系内でこの座標のセットに対して形成される角度である。

ユーザ１２０が携帯用コントローラ１２０を移動し回転させると、仮想光線１３０が物理空間１１２内を通過し、様々なオブジェクトの位置と交差する。仮想光線１３０がオブジェクトデータベース１６４にリストされる制御可能オブジェクトの制御位置と交差すると、サーバ装置１６０は、交差点を検出し、例えば無線信号を用いて携帯用コントローラ１２０に交差点コンテント１２４を送り返す。

交差点コンテント１２４の例としては、固有の名称および／またはエイリアスなど、オブジェクトデータベース１６４に交差したオブジェクトと関連して格納された情報がある。また、交差点コンテント１２４は、交差したオブジェクトを制御する制御セット、交差したオブジェクトと相互作用を行うユーザインターフェース画面、および／またはその他の情報を含んでもよい。

携帯用コントローラ１２０は、交差点コンテント１２４を受信し、ユーザ１１０に対して交差したオブジェクトの警告を出す。例えば、携帯用コントローラ１２０は、タッチスクリーンに交差したオブジェクトの識別子を表示する。そして、ユーザ１１０は、携帯用コントローラ１２０と相互作用して交差したオブジェクトを制御するユーザ入力を与えることができる。例えば、携帯用コントローラ１２０は、タッチスクリーンおよび／または物理的なボタンまたはその他の制御を介してユーザ入力を受信し、交差したオブジェクトを制御するインストラクションを送信する。ある例では、携帯用コントローラ１２０は、例えばＷｉ−ＦｉまたはＢｌｕｅｔｏｏｔｈ信号を用いて、インストラクションを交差したオブジェクトに直接送信する。別の例においては、携帯用コントローラ１２０はインストラクションをサーバ装置１６０に送信し、次にサーバ装置１６０がユーザに指定された状態および／または設定の変更をもたらすインストラクションを交差したオブジェクトに送信する。

一例において、センサ１４０は、携帯用コントローラ１２０および近傍にあるその他の無線機器からのＷｉ−Ｆｉ（ＩＥＥＥ８０２．１１）信号を検出するアンテナとして実現される。アンテナによるＷｉ−Ｆｉパケットなどの無線信号検出に応じて、アンテナは、検出に関する情報をサーバ装置１６０に送信し、サーバ装置１６０は、この情報を他のアンテナからの類似の検出情報とともに処理して無線信号の発信元を特定する。この種のアプローチの例が２０１７年３月７日出願の米国特許出願第１５／４５２，４５１号「測定された装置位置を用いたコンピュータネットワークへのアクセス制御」に記載されているが、これは本明細書に参照により援用されるものである。援用文書に開示されるアプローチを用いることにより、サーバ装置１６０は、携帯用コントローラ１２０の位置を１センチ単位の正確さで測定することができる。言うまでもなく、アンテナは、様々な技術を用いてオブジェクトを見つける際に用いることができるものであり、本発明は援用文書に開示される特定の技術に限定されるものではない。また、各種の実施形態においては、カメラや音響変換器など、アンテナ以外のセンサを用いることもできる。

援用文書に開示されるアプローチ（および類似のアプローチ）を用いることにより、携帯用コントローラ１２０が十分な数（一般的には３以上）のアンテナの範囲にあるならば、携帯用コントローラ１２０によって送信された各Ｗｉ−Ｆｉパケットがそれぞれの位置測定の基礎としての機能を果たす。また、位置測定の基礎としての機能を果たす同一のＷｉ−Ｆｉパケットが、携帯用コントローラ１２０の方向の伝達に用いられる方向情報１２２を伝達してもよい。

仮想光線１３０を生成するための位置および方向測定は、時間軸における同一の時点またはほぼ同一の時点を指す。ただし、言うまでもなく、方向のサンプリングとパケットの送信との時間差がヒューマン・スケールの観点からみて極めて小さいならば、厳密な同時性は求められない。本明細書において、対応する方向および位置の測定は、数ミリ秒以下の差であれば同時と考えるものとする。

すでに述べたように、サーバ装置１６０は、仮想光線１３０がオブジェクトの制御位置と交差したとき、制御可能オブジェクトを検出する。制御可能オブジェクトの制御位置は、二次元領域であっても三次元領域であってもよい。例えば、ユーザ１１０がテレビ受像機１５０を側面から制御したいと思うようなことは考えられないため、テレビ受像機１５０用の制御位置は二次元とすることができる。しかしながら、ユーザ１１０がスピーカーを複数の角度から制御する機会はより多いため、スピーカー１５２用の制御位置は三次元とすることができる。一般に、オブジェクトの制御位置は、ユーザ１１０がオブジェクトを制御するときに見るオブジェクトの視認可能な面または体積に一致する。ただし、ユーザ１１０が制御位置を制御されているオブジェクトからオフセットしたいと考えることもあるため、厳密に求められるわけではない。例えば、ランプ（不図示）の制御位置は、そのランプが置かれているテーブルと一致するものとすることができる。実際、制御位置は、ユーザの利便性を念頭に置いて柔軟に設定することができ、制御されているオブジェクトの物理的位置との関係の必要性もない。

同様に、オブジェクトの制御位置は、オブジェクトの電子コントローラの位置から空間的に分離されていることも多い。例えば、スピーカー１５２の制御はどこか別の場所にある増幅器によって行うことができるが、スピーカー１５２の制御位置は空間内のその物理的体積に対応してもよい。一例では、ユーザ１１０は、携帯用コントローラ１２０を任意のスピーカー１５２に向けてボリュームを上下することができる。この例が示唆するように、ユーザ１１０がいずれのスピーカーに向けても４個のスピーカー全てのボリュームを制御できるため、オブジェクトの制御位置を複数の独立した領域として設けることができる。

本明細書において、携帯用コントローラ１２０に対するあるアクティビティを説明し、サーバ装置１６０に対する別のアクティビティを説明したが、あるアクティビティがどちらか一方によって行われてもよいし両方によって行われてもよいことは言うまでもない。例えば、サーバ装置１６０ではなく携帯用コントローラ１２０に、マップ１６２および／またはオブジェクトデータベース１６４を格納してもよい。携帯用コントローラ１２０の位置を測定する際、サーバ装置１６０はセンサ１４０の前処理出力用のハブとしてのみ機能し、前処理の結果が位置測定を行うことのできる携帯用コントローラ１２０へ送信される。ただし、携帯用コントローラ１２０にマップまたはオブジェクト情報を格納しつづけることを避けることによってセキュリティを向上させることができる。

図２は、サーバ装置１６０および関連する要素の例をより詳細に示すものである。ここで、サーバ装置１６０は、ＬＰＳ（ローカルポジショニングサービス）基地局２１０、ボールト装置２２０、アプリケーションサーバ２３０、およびスイッチ／ルーター２４０を含む。各種の例において、これらの要素は、個別に、または単一の統合ユニットとして、または物理ユニットの任意の組み合わせとして設けることができる。

ＬＰＳ基地局２１０は、センサ（例えばアンテナ）１４０からの入力を受信して、そこから携帯用コントローラ１２０の位置および近傍のＷｉ−Ｆｉ装置の位置を生成する。一例では、ＬＰＳ基地局２１０は、装置がその通常の通信の一部として発信する無線パケット（例えば、イーサネット（登録商標）Ｗｉ−Ｆｉパケット）を用いて装置の位置を測定する。ＬＰＳ基地局２１０は、センサ１４０の範囲内にある保護領域２１２の３Ｄマップを維持する。保護領域２１２は、スイッチ／ルーター２４０とのＷｉ−Ｆｉ通信が許可される物理空間１１２に対する領域を定義する。一例では、ＬＰＳ基地局２１０が受信するパケットは、保護領域２１２にあることが確認されている装置からこのパケットが発せられた場合に限り、スイッチ／ルーター２４０を通過することができるようになっている。アンテナおよびＬＰＳ基地局２１０を用いた位置測定のさらに詳細は、上記の米国特許出願第１５／４５２，４５１に記載されている。

ボールト装置２２０は、権利を格納し発信するセキュアハブである。こうした権利の例として、特定のコンテンツにアクセスするためのコンテンツ権、他の当事者との通信を確立するための通信権、および特定の装置および要素でアクションを実行するためのアクション権がある。例えば、ボールト装置２２０は、マップデータ１６２およびオブジェクトデータベース１６４、またはその一部をセキュアに格納することができ、またコンテンツ権および／または通信権を用いてこれらのマップおよびオブジェクトデータの公開をセキュアに制御することができる。ボールト装置２２０のさらに詳細は、２０１６年１１月９日に出願された米国特許出願第１５／３４７，５５１号「身元確認およびセキュアな権利付与のためのボールト装置」に記載されており、その内容および教示は参照により本明細書に援用される。

ＬＰＳ基地局２１０およびボールト装置２２０の機能は、セキュリティを高め、そのほかにも利点があるが、その具体的詳細については別段の指定がない限り任意と考える。

アプリケーションサーバ２３０は、アプリケーション２３２などのソフトウェア・アプリケーションを実行するよう構成されたコンピュータ装置である。アプリケーションサーバ２３０は、汎用コンピュータとして実施されてもよく、ゲームハブなどの専用のシステムとして実施されてもよい。

スイッチ／ルーター２４０は、従来の設計とすることができる。例えば、スイッチ／ルーター２４０は、ＬＰＳ基地局２１０、ボールト装置２２０、およびアプリケーションサーバ２３０に接続し、物理空間１１２内に有線ＬＡＮ１７０を広げるＬＡＮ（ローカルエリア・ネットワーク）ポートを有する。スイッチ／ルーター２４０は、ＷＡＮ／インターネット２５０に接続するＷＡＮ（広域ネットワーク）ポートを有してもよい。ある例では、スイッチ／ルーター２４０は有線装置のみであり、無線サービスはＬＰＳ基地局２１０によって例えばアンテナのうち１以上を用いて行われる。別の例では、スイッチ／ルーター２４０は、直接的に優先および無線通信をサポートする。

スイッチ／ルーター２４０は、ＷＡＮポートを用いて、１以上のパブリックサーバ２６０に接続することができる。これらは、オンラインショップ（例えば、ソフトウェアの購入、ゲームの購入、制御可能オブジェクトの制御ソフトウェアのダウンロードなど）や、ボールトに基づく通信をサポートする各種のサーバを含んでもよい。また、スイッチ／ルーター２４０は、ＷＡＮ／インターネット２５０を介してその他のユーザの同様に構成されたネットワークと通信し、例えば様々なローカルネットワークや位置にわたるマルチプレイヤーゲームまたは別のアプリケーションをサポートする。

具体的には示さないが、言うまでもなく、ＬＰＳ基地局２１０、ボールト装置２２０、およびアプリケーションサーバ２３０は、それぞれに処理回路とメモリとを備えている。各メモリは、対応する処理回路によって実行されると処理回路に本明細書に説明されるような各種の処理およびアクティビティを実行させるインストラクションを格納することができる。特に指定のない限り、サーバ装置１６０による任意のアクティビティは、任意の要素またはこれら要素の任意の組み合わせによって行うことができることは言うまでもない。

一例では、携帯用コントローラ１２０は、援用される米国特許出願第１５／３４７，５５１号に記載される種類のボールトネットワーク要素である。また、制御可能な物理オブジェクトもボールトネットワーク要素または装置、すなわち、ボールト装置２２０に登録しボールトプロトコルに準拠した要素または装置であってもよい。ボールト要素として、携帯用コントローラ１２０は、保護領域２１２内でのみ動作する。例えば、サーバ装置１６０は、携帯用コントローラ１２０の位置が保護領域２１２にあることを確認できない場合は携帯用コントローラ１２０から受信されるパケットを全て無視するよう構成されてもよい。

ある例では、ボールトプロトコルは、携帯用コントローラ１２０が別のボールトネットワークで用いられることを許可することができる。例えば、ユーザ１１０は、携帯用コントローラ１２０を（異なる物理空間内の）異なるボールトネットワークに持ち込み、別の空間内で携帯用コントローラ１２０を限定的な目的で用いることができる。

図３は、携帯用コントローラ１２０の物理的構成の例を示す。携帯用コントローラ１２０の制御およびインターフェースの例としては、以下のものがある。
・タッチスクリーン３１０：プログラム可能なタッチスクリーン。
・共通アクション・ダイナミックバックライトパッド３１２：選択されたオブジェクトのほとんどの共通アクションの制御。
・左多機能ボタン３２０ａ：選択／ナビゲーションボタン。
・右多機能ボタン３２０ｂ：選択／ナビゲーションボタン。
・狭視野カメラ３３０：写真、ビデオ、マッピング、またはゲーム用の光ファイバー、光導体、またはそのほかの狭視野カメラ。
・自撮りカメラ３３２：生体認証に用いることができる。
・通信用スピーカー３４０：電話またはそのほかのオーディオ機能用のスピーカー。
・マイク３４２：音声コマンド、音声ＩＤ（認証）、電話、および／またはそのほかのオーディオ用途。
・面一接続ローカルインターフェース３５０：双方向性ビデオゲーム装置のインターフェース。
・指紋センサ３６０：生体認証入力。

図３の物理的構成は、説明のためのものである。例えば、携帯用コントローラ１２０は、ボタン、制御、およびインターフェースをさらに備えてもよい。代替的に、ボタン、制御、およびインターフェースの数はもっと少なくてもよいし、図示されるものとは異なるものであってもよい。

ある例では、ユーザ１１０は、使用前に携帯用コントローラ１２０に認証される必要がある。自撮りカメラ３３２、マイク３４２、および指紋センサ３６０は、様々な種類の生体認証に対応している。また、ある例では、携帯用コントローラ１２０は、複数のユーザに対応することができ、各ユーザが使用前に携帯用コントローラ１２０に認証される必要がある。

図４は、以下を含む携帯用コントローラ１２０の追加要素の構成例を示す。
・無線インターフェース４１０：Ｗｉ−Ｆｉおよび／またはＢｌｕｅｔｏｏｔｈインターフェース。
・ユーザインターフェース４２０：図３に示すタッチスクリーン３１０、各種のボタン、および制御のハードウェアおよびソフトウェア対応。
・測定回路４３０：慣性計測装置（ＩＭＵ）など、携帯用コントローラ１２０の方向を測定する方向測定回路。
・加速度計（１以上）４４０：携帯用コントローラ１２０の加速度を測定する。加速度計（１以上）は、測定回路４３０の一部として設けてもよく、または別途設けてもよい。
・プロセッサ４５０：関連する処理ハードウェアと合わせてデータ処理を行う１以上のマイクロプロセッサおよび／またはマイクロコントローラ。
・メモリ４６０：１以上のＲＯＭ（リードオンリーメモリ）などの不揮発性メモリ、フラッシュドライブ、および／または磁気ディスクドライブ、ならびにＲＡＭ（ランダムアクセスメモリ）などの揮発性メモリ。
・バッテリ４７０：携帯用コントローラ１２０に電力を供給するバッテリ。再充電可能であってもよいし、使い捨てであってもよい。

プロセッサ４５０とメモリ４６０とは、合わせて制御回路を形成し、本明細書に記載するような各手法方法および機能を実行するよう構成されている。また、メモリ４６０は、実行可能なインストラクションの形で実現された各種のソフトウェア構成を含む。実行可能なインストラクションがプロセッサ４５０によって実行されると、プロセッサ４５０はこのソフトウェア構成の動作を行う。

ある例では、加速度計４４０は、携帯用コントローラ１２０の位置の変化を測定する局所機構となってもよい。プロセッサ４５０は、加速度計から出力を受け取り、無線インターフェース４２０がパケットを送信する速度の変化にこの出力を適用する。例えば、プロセッサ４５０は、携帯用コントローラ１２０の移動速度の増加の検出にこたえて、無線インターフェース４１０がパケットを送信するレートを高くするようにしてもよい。同様に、プロセッサ４５０は、携帯用コントローラ１２０の移動速度の減少の検出にこたえて、無線インターフェース４１０がパケットを送信するレートを低くするようにしてもよい。パケットをより高いレートで送信することにより、サーバ装置１６０は、携帯用コントローラ１２０が急に移動したときにその位置をうまく追跡することができるようになる。パケットをより低いレートで送信することにより、携帯用コントローラ１２０が移動していないまたはゆっくりと移動するときに電力を（バッテリ寿命）を節約することができる。位置測定を開始する目的で送信されるパケットは、空であっても良いし、ほぼ空のペイロードであってもよい。携帯用コントローラ１２０は、新しく位置測定を行いたいときにはいつでもこの「位置表示パケット」を送信することができる。

ある例では、バッテリ４７０は再充電可能なバッテリであり、携帯用コントローラ１２０はさらに充電コネクタ（不図示）を含む。ある変更例では、携帯用コントローラ１２０には充電器（不図示）が設けられてもよい。充電器は、携帯用コントローラ１２０の充電とこれを直立方向に保持するという二つの目的を果たすことができる。ある例では、携帯用コントローラ１２０は、自身が充電器に置かれていることを検出し、測定回路４３０の直立位置への較正を開始する。

ある例では、メモリ４６０は、先に携帯用コントローラ１２０によって制御されたオブジェクトの履歴４６２を格納する。ユーザ１１０は、履歴をナビゲートして先に制御されたオブジェクトを選択し、新しい制御インストラクションをそのオブジェクトに発行することができる。こうして、履歴４６２は、携帯用コントローラ１２０をオブジェクトに向けることなく、または同じ部屋にいることなく、オブジェクトを制御する方法を提供する。

図５Ａおよび図５Ｂは、物理空間１１２における制御可能オブジェクトの検出の例を示す。図５Ａにおいて、ユーザは携帯用コントローラ１２０をテレビ受像機１５０に向け、仮想光線１３０がテレビ受像機１５０の制御位置と交差するようにする（図１）。図５Ｂに示すように、携帯用コントローラ１２０は、タッチスクリーン３１０に交差した要素（「ＴＶ」）を識別するスクリーン要素５１０を表示する。例えば、サーバ装置１６０は、オブジェクトデータベース１６４内のオブジェクトの制御位置にアクセスし、仮想光線１３０とテレビ受像機１５０の制御位置との交差点を検出する。その後、サーバ装置１６０は、携帯用コントローラ１２０にタッチスクリーン３１０に交差した要素の識別子（この場合はエイリアス）を表示させる。そして、ユーザ１１０は、スクリーン要素５１０をクリックしてテレビ受像機１５０を選択し、ユーザインターフェース制御を開始してテレビ受像機１５０に対して所望の設定を行うことができる。例えば、ユーザがコマンドを入力すると、携帯用コントローラ１２０はエンコードされたコマンドをテレビ受像機１５０に送信し、テレビ受像機１５０は、エンコードされたコマンドを受信し復号化して、具体的な設定を有効にする。一例では、携帯用コントローラ１２０は、テレビ受像機１５０に送信されるすべての通信において、例えば、ボールトネットワークプロトコルに従って、ローリング暗号化キーを用いる。この例において、テレビ受像機１５０は、ボールトネットワーク装置または要素でもあり、ボールトプロトコルに準拠して動作し、携帯用コントローラ１２０から受信するエンコードされたインストラクションの復号に必要なキーを含む。

ある例では、携帯用コントローラ１２０は、クリック・トゥ・キャプチャ機能５２０を含み、ユーザは、携帯用コントローラ１２０の左多機能ボタン３２０ａ（図示）や任意のボタンなどのボタンを押下して、または制御により、これを呼び出すことができる。ユーザ１１０は、携帯用コントローラ１２０をテレビ受像機１５０に向けている間、すなわち仮想光線１３０がテレビ受像機１５０に定義された制御位置と交差している間に、クリック・トゥ・キャプチャ機能５２０を呼び出す。呼び出されると、クリック・トゥ・キャプチャ機能５２０は、テレビ受像機の検出をキャプチャして保持し、これによりユーザ１１０は携帯用コントローラ１２０をテレビ受像機１５０に向けるのをやめることができる。むしろ、ユーザ１１０は、携帯用コントローラ１２０を任意の快適または便利な角度にむけてテレビ受像機１５０を制御するユーザ入力を入力することができる。こうして、クリック・トゥ・キャプチャ機能５２０は、携帯用コントローラ１２０を向けることによる特定性と、携帯用コントローラ１２０を向け続けることなくオブジェクトを制御することができる快適さを組み合わせる。

図６Ａおよび図６Ｂは、物理空間１１２における複数の制御可能オブジェクトの検出の例を示す。図６Ａにおいて、携帯用コントローラ１２０は、テレビ受像機１５０、増幅器６２０、およびサブウーファ６３０という三つの異なる要素と仮想光線１３０が交差するように向けられている。検出は上述のように開始されるが、今回は、仮想光線１３０がこれら三つ全ての制御位置と交差するため、三つのオブジェクト全てが検出される。

図６Ｂにおいて、携帯用コントローラ１２０は、タッチスクリーン３１０に交差した要素（「ＴＶ」、「Ａｍｐ」、および「Ｓｕｂ」）を識別するスクリーン要素６１０を表示する。ユーザ１１０は、タッチスクリーン３１０を操作して表示されたオブジェクトのいずれかを選択し、すでに述べたように、選択したオブジェクトを制御するユーザ入力を行う。ユーザ１１０が携帯用コントローラ１２０を三つのオブジェクト全てに向けている間にクリック・トゥ・キャプチャ機能５２０を呼び出す場合、携帯用コントローラ１２０は、ユーザが所望のオブジェクトを選択して任意の快適な角度で設定を行うユーザ入力を行うことができるように、三つのオブジェクト全ての検出をキャプチャして保持する。

ある例では、サーバ装置１６０は、仮想光線１３０が交差したオブジェクトを検出する際に、マップ情報１６２を適用する。例えば、サーバ装置１６０は、壁の後ろや別の部屋にあるオブジェクトなど、携帯用コントローラ１２０の視点で見た場合に隠れることがわかっているオブジェクトをフィルタリングすることができる。このようにフィルタリングすることにより、ユーザ１１０に対して、ユーザの現在の位置においては関連性があるとは考えられない選択肢の提示の回避を手助けすることができる。ある変更例においては、現在見えないオブジェクトを制御する選択肢が望まれることもあるため、現在見えないオブジェクトをフィルタリングするか否かはオブジェクト単位で割り当てる属性とすることができる。

図７Ａ〜図７Ｃは、ユーザ１１０が制御可能オブジェクト７１０の制御位置を確立するために採用可能な各種の技術を示す。図７Ａにおいて、ユーザ１１０は、携帯用コントローラ１２０を例えば適切な制御の操作を行うことにより、トレーニングモードにし、携帯用コントローラ１２０をオブジェクト７１０に向ける。この例においては、オブジェクト７１０は、ボールトネットワークに登録された制御位置が特定されていない制御可能オブジェクトとする。

トレーニングモードでは、携帯用コントローラ１２０は、狭視野カメラ３３０によってキャプチャされた画像を表示することができる（図３）。好ましくは、カメラ３３０は、その光軸７３０が仮想光線１３０の方向に揃うように携帯用コントローラ１２０に搭載されている。例えば、光軸７３０と仮想光線１３０とは平行に構成される。ある例では、光軸７３０と仮想光線１３０とは同一線上にあってもよい。いずれの構成においても、カメラ３３０の視野の中心は、視覚化されたオブジェクト上の仮想光線１３０の交差点に密接に対応する。携帯用コントローラ１２０は、正確にセンタリングできるよう、十字線７２２を表示してもよい。携帯用コントローラ１２０は、オブジェクト７１０に向けられたとき、このモードでの特定のボタン押下を仮想光線１３０の現在の値（例えば、その位置および方向）を登録するインストラクションとして翻訳することができる。

一般に、制御可能オブジェクトの制御位置の識別には単一の視線では不十分である。例えば、図７Ａに示す仮想光線１３０の値は、オブジェクト７１０の制御位置が仮想光線１３０上のどこかにあることを示すだけである。少なくとも、もう一つ別の視線が必要である。

図７Ｂにおいて、ユーザ１１０は、異なる視線でオブジェクト７１０を見て、仮想光線の三つの値１３０ａ、１３０ｂ、および１３０ｃを登録する。仮想光線１３０ａ、１３０ｂ、および１３０ｃの交差点は、オブジェクト７１０の位置を一意に識別する。

図７Ｂにおいて、ユーザは、携帯用コントローラ１２０でオブジェクト７１０またはオブジェクト７１０の一部にタッチするのみである。ユーザ１１０は、このタッチを識別するためにボタンを押下してもよく、また、例えば加速度計（１以上）４４０の出力をモニタすることにより、携帯用コントローラ１２０がこのタッチを自動的に検出してもよい。接触点７１０ａは、接触の時点で、携帯用コントローラ１２０の位置とされてもよい。例えば、プロセッサ（１以上）４５０は、ユーザのボタン押下するまたは加速度計（１以上）４４０をモニタすることにより接触が検出されると、無線インターフェース４１０に位置表示パケットを送信させてもよい。

オブジェクトの制御位置が単に空間内の地点となる場合、サーバ装置１６０は、この「点」に対して、携帯用コントローラ１２０を苦労なく制御位置に向けることができるよう、例えば数センチ四方などの一定のデフォルトのサイズを与える。他の例では、この点は単独で用いられることはなく、オブジェクトの制御位置の定義に用いられる複数の点の一つである。

図８は、ユーザ１１０がオブジェクト８１０の制御位置の識別に採用することのできる範囲トレーニングの例を示す。ここで、オブジェクト８１０は、四つの前頂点８２０ａ〜８２０ｄと四つの後頂点８３０ａ〜８３０ｄを含む８つの頂点を有する底面が長方形の角柱の形状をしている。複数の視線および／またはタッチトレーニング（図７Ｂおよび／または図７Ｃ）を用いて、ユーザ１１０は、８つの頂点それぞれまたは、任意のサブセットで携帯用コントローラ１２０のトレーニングを行うことができる。また、ユーザ１１０は、頂点ではない点でトレーニングを行ってもよい。その後、システム（携帯用コントローラ１２０およびサーバ装置１６０）は、オブジェクト８１０の制御位置をトレーニングされた頂点の全てを含む最小の凸範囲として生成する。範囲トレーニングを用いる場合、トレーニングされる点は合わせて形状を形成することになるため、有限の大きさである必要はない。

言うまでもなく、オブジェクト８１０の制御位置は、二次元であっても、三次元であってもよい。例えば、オブジェクト８１０が壁にかけられたフラットスクリーンＴＶである場合には、制御の際にはユーザ１１０が常にオブジェクトの前にいることになるため、その位置を３Ｄ範囲としてトレーニングすることには恩恵が少ないかもしれない。このような場合には、（斜線で示すように）２Ｄ平面領域で十分である。代替的に、オブジェクト８１０が部屋の中心にある擬石暖炉である場合、オブジェクト８１０を３Ｄ範囲でトレーニングすることは、３Ｄ範囲によりユーザ１１０が携帯用コントローラ１２０をどの角度からでも簡単に制御位置に向けることができるようになるため、もっと効果が出るかもしれない。

図９に、関連するポイントトレーニングの例を示す。図に示すのは天井である（見上げた状態）。天井は、埋め込み照明９１０ａ〜９１０ｄおよびシーリングファン９２０を有していてもよい。この例では、照明９１０ａ〜９１０ｄおよびシーリングファン９２０は、それぞれがボールトネットワーク要素または装置である電子コントローラ（不図示）を有していると仮定される。

シーリングファン９２０の存在については、長方形一つが四つの照明全てを含むことができる。照明９１０ａ〜９１０ｄの制御位置の確立に範囲トレーニングを使用することがかなっているかもしれない。ユーザ１１０は、単に携帯用コントローラ１２０を真上に向けて、特に狙いをつけることなく、クリック・トゥ・キャプチャボタンを押下することができる。ただし、照明９１０ａ〜９１０ｄの範囲トレーニングは、携帯用コントローラ１２０が照明９１０ａ〜９１０ｄに向けられていたのかシーリングファン９２０に向けられていたのかについて曖昧さが生じることになる。

オブジェクト選択における曖昧さ回避のため、ユーザ１１０は、照明９１０ａ〜９１０ｄの関連ポイントトレーニングを採用することができる。このトレーニングは、各照明について個別にトレーニングを行うものであるが、グループの一部として照明の定義を行うものである。個々の照明の位置のトレーニングは、すでに述べたアプローチのうち任意のものを用いて開始することができる（個々の照明に対する複数の視線、タッチ、または範囲）。そして、オブジェクトデータベース１６４は、携帯用コントローラ１２０を任意のトレーニング位置に向けることにより、ユーザが照明９１０ａ〜９１０ｄすべてを合わせて制御できるように、照明９１０ａ〜９１０ｄをトレーニングされた位置全てと関連付ける。

本明細書において、制御可能オブジェクトの検出は仮想光線１３０とオブジェクトの制御位置との厳密な交差点に基づいて説明されているが、本明細書の実施形態が近似の交差点を含んでもよいことは言うまでもない。例えば、携帯用コントローラ１２０は、仮想光線１３０が正確にオブジェクトの制御位置と交差していなくてもオブジェクト（図５Ｂ）を表示することができる。そのため、システムが、特にオブジェクト間に曖昧さがほとんどまたは全くない場合のポインティングエラーを許容することができる。また、システムは、時間とともにユーザの癖を学習することができ、癖によってユーザが通常行う具体的選択が示唆される場合には、制御対象のオブジェクトについて複数の選択肢をユーザに提示することが回避できるようになる。

図１０は、携帯用コントローラ１２０を用いて本質的にはボールト装置または要素ではないオブジェクトを制御する構成例を示す。例えば、オブジェクト１０１０は、自然にはボールトネットワーク対応していない古いテレビである。ただし、テレビ１０１０は、遠隔制御コマンドを従来のＩＲリモコンから受信するＩＲ（赤外線）検出器１０２０を有する。

ここで、アダプタ１０３０が、ボールトネットワーク対応装置または要素として設けられている。アダプタ１０３０は、例えば無線インターフェースを用いてボールトネットワークと通信し、テレビ１０１０のＩＲ検出器１０２０の前に取り付けることのできるＩＲ源１０３２を含む。オブジェクトデータベース１６２は、アダプタ１０３０に関する情報を格納し、この情報はテレビ１０１０を制御するインストラクションを含んでもよい。ユーザ１１０は、例えばテレビ１０１０本体を含む立方体としてアダプタ１０３０の制御位置を定義する。そして、ユーザ１１０は、携帯用コントローラ１２０を向けて、他のボールトネットワーク対応オブジェクトと同様に、テレビ１０１０を制御することができる。アダプタ１０３０は、テレビ１０１０のＩＲ検出器１０２０が受信することのできるＩＲ信号に変換するようＩＲ源１０３２に命令するコマンドを携帯用コントローラ１２０から受信し、本来のＩＲ遠隔制御／リモコン装置に反応するときのようにテレビ１０１０に設定を変更させる。

携帯用コントローラ１２０は、プログラマが各種のオリジナルで有用な方法で利用することのできるプラットフォームを提供する。例えば、狭視野カメラ３３０は、物理空間の正確なマッピングと特性評価を可能とする。ユーザ１１０は、物理空間１１２を通過して、カメラ３３０を壁、天井、床、家具、その他に向けることができる。サーバ装置１６０は、カメラからの画像と方向および位置情報を組み合わせることにより、物理空間１１２の正確なマップを生成することができる。

携帯用コントローラ１２０は、この物理空間におけるどの制御可能オブジェクトでも制御することができ、様々な制御可能オブジェクトの間のアクティビティを制御するためにソフトウェア・アプリケーションを開発してもよい。例えば、ユーザ１１０は、第１コンピュータなど、あるオブジェクトに携帯用コントローラ１２０を向け、第２コンピュータなど、別のオブジェクトにポインタをドラッグすることができる。携帯用コントローラ１２０は、第１コンピュータから第２コンピュータへあるファイルを移動させたりコンピュータ間にネットワーク接続を確立したりするなど、適切なアクションをユーザ１１０が選択することができるようにするための状況依存メニューを表示してもよい。別の例として、ユーザ１１０は、コンピュータに格納された画像が電子写真立てに表示されるよう、携帯用コントローラ１２０をあるコンピュータに向けて電子写真立てにドラッグすることができる。実際、携帯用コントローラ１２０を用いた制御可能オブジェクト間のアクション制御には、ほぼ無限の可能性がある。

図１１は、携帯用コントローラ１２０のさらに別の適用例を示し、ここでは仮想オブジェクトを制御する。この例では、ユーザは、拡張現実（ＡＲ）ヘッドセットや複合現実（ＭＲ）ヘッドセットなど、３Ｄヘッドセット１１１０を装着する。ＡＲヘッドセットの例としてはグーグルグラスがあり、ＭＲヘッドセットの例としてはマイクロソフト・ホロレンズがある。３Ｄヘッドセット１１１０は、３Ｄ画像を生成することができる。例えば、３Ｄヘッドセット１１１０は、ユーザの目の前に配置された一対の透明または半透明の表示要素（それぞれの目に一つの表示要素）を含む。３Ｄヘッドセット１１１０は、さらに、ローカルの環境をスキャンしてユーザの周囲の特徴を識別する１以上のカメラを含む。３Ｄヘッドセットのコンピュータは、左右の目それぞれに仮想画像を生成し、ユーザ１１０が見た時に、物理空間に３Ｄオブジェクトがあるように見える。本明細書において、これらの仮想オブジェクトを「ホログラム」と呼び、二つのホログラム１１２０および１１３０を図示する。ホログラム１１２０および１１３０は、ユーザ１１０からは物理空間１１２内の固定位置にあるように見えて、ユーザが移動しても正しい視点と大きさを維持することができ、あたかも自然な環境の一部であるかのように見える。一例では、３Ｄヘッドセット１１１０は携帯用コントローラ１２０と対をなしており、付近で動作しているかもしれない他の３Ｄヘッドセットまたはほかの携帯用コントローラの干渉なしに通信できるようになっている。

一例では、ホログラム１１２０および１１３０は、オブジェクトデータベース１６４に入力されてそれぞれ制御位置を有する制御可能オブジェクトである。仮想オブジェクトの場合、制御位置は、ユーザ１１０によるトレーニングではなく、ソフトウェア（例えば、ゲームやそのほかのアプリケーション）によって割り当てることができる。また、仮想オブジェクトの制御位置は、例えば仮想オブジェクトが空間１１２内で移動することが可能となるため、時間とともに変化してもよい。

ユーザ１１０は、ユーザが物理オブジェクトを選択するのとほぼ同じやり方で、すなわち携帯用コントローラ１２０を仮想オブジェクトの見かけ上の位置に向けることにより、仮想オブジェクトを選択することができる。仮想光線１３０が仮想オブジェクトの制御位置と交差すると、仮想オブジェクトの識別子がタッチスクリーン３１０に表示される。代替的に、タッチスクリーン３１０に通常表示されている要素が、代わりに３Ｄヘッドセット１１１０に表示される（または両方の位置に表示される）。ユーザ１１０は、携帯用コントローラ１２０での制御、および／または３Ｄヘッドセット１１１０を通して目に見える制御を用いて仮想オブジェクトと相互作用することができる。

言うまでもなく、携帯用コントローラ１２０を用いて仮想オブジェクトを制御することは、創造的応用へのいくつもの新しい道を開くことになる。そのような応用例の一つを図１２に示す。

図１２に、仮想オブジェクトに対するポインティングデバイスとしての携帯用コントローラ１２０の使用例を示す。この文脈における携帯用コントローラ１２０は、ホログラフィック・ポインタまたは「ホログラフィック・マウス」の一種として考えることができる。

図に示す例において、ユーザ１１０は、携帯用コントローラ１２０をホログラム１２１０と相互作用するホログラフィック・マウスとして操作する。ホログラム１２１０は、従来のホログラムであってもよく、またはユーザが有効化して既定の動作を行うことができるホログラフィック・アイコンであってもよい。３Ｄヘッドセット１１１０は、ホログラム１２１０を投影して、環境１１２内の対応する位置にあらわれるようにする。一例では、３Ｄヘッドセット１１１０は、ユーザ１１０に対して目に見える特徴として仮想光線１３０を射出し、仮想光線１３０の長さに沿ったどこかにホログラフィック・カーソル１２２０（「Ｘ」で示す）を投影する。

一例では、携帯用コントローラ１２０は、携帯用コントローラ１２０がホログラフィック・マウスとして用いられたとき、特定の制御へのユーザアクセスを提供する。これらの制御は、図３に示すような物理的なボタンもしくは制御装置またはその組み合わせを用いることにより、（タッチスクリーン３１０または３Ｄヘッドセット１１１０を介した）ソフト制御を用いて実施される。ホログラフィック制御の例としては、以下のものがある。
・十字キー：方向パッド。用途によって一次元または二次元モードで用いられる。一次元モードでは、十字キーは、仮想光線１３０に沿ってホログラフィック・カーソル１２２０までの距離を定義することができる。例えば、このモードで十字キーを操作することで、ホログラフィック・カーソル１２２０を、方向１２３０、すなわち仮想光線１３０に沿って前後に移動させることができる。二次元モードでは、十字キーは、クリック・トゥ・キャプチャ機能５２０（図５）と関連して用いて、二次元平面でホログラフィック・カーソル１２２０を動かすことができる。
・選択ボタン：選択ボタンは、オブジェクトの選択および選択解除に用いられる。
・スライス平面ボタン：スライス平面の定義に用いられる。スライス平面は、仮想光線１３０に直交する。矢印１２４０は、スライス平面の例を示す。一例では、３Ｄヘッドセット１１１０は、ユーザ１１０とスライス平面１２４０との間にある仮想コンテンツをユーザの視線から隠すよう構成される。スライス平面１２４０と交差するホログラムは、可視状態にされ、現在選択可能となる。通常、スライス平面の背後のホログラムも可視状態にあるが、通常は選択できない。
・回転ボタン：ユーザ１１０は、一つのホログラムを、そのホログラムがユーザが望むように物理空間にフィットするよう、またはユーザがそのホログラムの特定の部分を見ることができるよう、回転することができる。ユーザ１１０は、ホログラムの集まりを、その集まりをよく見ることができるように、回転しようとしてもよい。
・メタデータボタン：メタデータボタンは、通常のウィンドウズ（登録商標）ＯＳ（オペレーティング・システム）マウスの右ボタンに対する３Ｄで類似したものである。ホログラムがメタデータ制御ポイントを有することにより、同様の効果を実現することができる。

以下に、ホログラフィック・マウスとして採用された場合の携帯用コントローラ１２０の一般的な使用例を示す。
・オブジェクトの選択：仮想光線１３０上にある現実または仮想の第１オブジェクトにホログラフィック・カーソル１２２０を置く。カーソル１２２０がホログラフィック・アイコンの上に来ると、アイコンにフォーカスが合う。アイコンにフォーカスが合っている間にユーザが選択ボタンを押すと、フォーカスが固定される。これは、カーソル１２２０がオブジェクトから外れてもアイコンにフォーカスが合ったままになることを意味する。
・オブジェクト群の選択：境界ボックスを生成することによりオブジェクト群が選択される。
・オブジェクト群へまたはオブジェクト群からオブジェクトを追加または削除：ここで、任意のオブジェクト群へのフォーカスが固定されている。そして、ユーザ１１０が、別のオブジェクトまたはオブジェクト群に固定フォーカスを追加または削除したいと考えることができる。ウィンドウズＯＳでは、アイコンまたはアイコン群をオブジェクト群へのまたはオブジェクト群からの追加削除を可能にする選択を行う間、制御キーを押下してホールドする。キーボードを使用可能な場合、この方法が機能し続ける。ただし、ユーザ１１０はキーボードを使用可能でないこともあるため、別のオプションが必要となる。メタデータボタンは、機能的オプションおよびメタデータのドロップダウン・リストを提示する。これらのオプションの一つには「制御」という名前がつけられる。メタデータボタンがもう一度押下されると、制御オプションだったものには「制御解除」という名前がつけられる。これにより、余分なボタンまたは別の物理インターフェースを追加することなく、アイコンの追加および削除についてなじみのある経験がもたらされる。
・選択対象を移動する：ユーザ１１０は、一般に、二つの異なる理由から３Ｄ空間でアイコンを移動させたいと考える。まず一つはアイコンの再配置である。二つ目は、ユーザ操作のために一つを選択することができるようにするため、アイコン群を移動させることである。ウィンドウズＯＳでは、全てのアイコンがユーザに同じように見えるように２Ｄ平面上に配置されるため、この二つ目の概念は必要でない。３Ｄ空間では、ユーザがアイコンを差別化することができるようにするためだけにアイコンを移動させる必要が出てきてもよい。一例では、選択の移動は十字キーを押すことにより、行われる。十字キーは、スライスボタンが押下されない限り、一次元的である。この選択（すなわち、フォーカス固定されたアイコン群）は、選択時の距離に等しい距離で仮想光線１３０までジャンプする。そして、携帯用コントローラ１２０を動かすことにより、３Ｄ空間内でこの選択が仮想光線１３０に追従することになる。十字キーを用いることにより、選択を仮想光線１３０の光路上を遠近方向に移動させることになる。選択をもう一度押下することにより、移動プロセスが終了し、選択されたオブジェクトはフォーカスが固定されたままとなる。
・選択対象を回転：ユーザは、回転ボタンをまず押下してホールドすることにより選択を回転させる。回転ボタンが押下されている間、３Ｄ空間内での携帯用コントローラ１２０の回転が、選択の回転を制御する。回転ボタンを押下するとき、携帯用コントローラ１２０が選択の方を向いている必要はない。手首は全方向に３６０度自由に回転することはできないため、ユーザは、選択を所望の方向に向けるため、回転解除を数回押下することになる。選択の回転に対するマウスの回転の度数の割合は、ユーザまたは用途の必要要件によって柔軟性がある。
・選択対象を配置：ホログラムを移動させる理由が二つあるため、一般に、ホログラムの新しい位置への配置は自動的に行うことができない。ユーザ１１０が、選択を配置せずにこの選択から固定フォーカスを外す場合、選択は元の位置に戻る。ユーザは、メタデータボタンを用いてドロップダウンメニューの位置選択を選択することって選択を配置する。
・スライス平面：スライス平面は、オブジェクトを３Ｄ空間内でサーチする方法である。ユーザは、スライス平面ボタンを押下する。ユーザは、携帯用コントローラ１２０を向けて仮想光線１３０の方向を選択する。スライス平面１２４０は、カーソル１２２０がある場所に仮想光線１３０に直交して形成される。また、ユーザは、十字キーを用いてユーザからスライス平面１２４０までの仮想光線１３０上の距離を決定する。ユーザがスライス平面１２４０の配置に満足すれば、ユーザはスライス平面ボタンを押下して平面をロックする。選択が行われない場合、スライス平面１２４０は全てのアイコン（ホログラム）と相互作用を行う。選択が行われる場合、スライス平面１２４０は選択に含まれるオブジェクトとのみ相互作用を行う。スライス平面１２４０の動作は以下の通りである。スライス平面１２４０とユーザとの間のアイコンは表示されない。スライス平面１２４０と交差するアイコンは、フォーカスが明るく，または強調されて表示される。スライス平面の背後のアイコンは、フォーカスが弱くなる。スライス平面がロックされた後、ユーザは、携帯用コントローラ１２０をスライス平面上の選択に向ける、または二次元モードで十字キーを使用することにより、平面の範囲にかかるカーソルを制御することができる。
・有効化：これは、ウィンドウズＯＳにより、ファイルを開いたりアプリケーションを開始したりすることと同義である。標準のマウスとの一貫性のために、選択ボタンのダブルクリックとなる。
・表示の変更：ユーザは、選択の表示を３Ｄ表示から他のフォーマットでのアイコン群の表示に変更することができる。これは、メタデータボタンの押下により実現する。このアクションを起こすために、マウスにより、選択をポイントする必要はない。ユーザは、選択肢のリストから別の表示を選択する。選択されると、適切な表示が現われる。例としては、標準的なファイル名のウィンドウのようなラベル付きリスト、および平面上のホログラムのグリッドがある。

携帯用コントローラ１２０の仮想コンテンツへの適用により、携帯用コントローラ１２０をゲームで使用する機会が生じる。例えば、携帯用コントローラ１２０は、複合現実ゲームのゲームコントローラとして設けられてもよい。ＡＲまたはＭＲヘッドセットとともに用いられる場合、ヘッドセットが透明であるため、ユーザはヘッドセットを通して携帯用コントローラ１２０を見ることができる。

よりリアルなゲーム体験をもたらすために、携帯用コントローラ１２０は、疑似的なナイフ（図１３）または疑似的な銃（図１４）の形で実現されてもよい。このようにして、ゲーム中でナイフとして用いられる場合、ユーザには携帯用コントローラ１２０ａがナイフに見えることになる。同様に、ゲーム中で銃として用いられる場合、ユーザには携帯用コントローラ１２０ｂが銃に見えることになる。言うまでもなく、多種多様な携帯用コントローラの物理的な実施形態を生み出すことができ、このような実施形態には具体的な使用例に合わせたボタンおよびその他の制御装置が含まれる。

図１５に、環境１００との関連で実行することのできる例示的方法１５００を示す。方法１５００は、通常、例えば携帯用コントローラ１２０およびサーバ装置１６０に実現されたソフトウェア構成によって行われる。方法１５００の各種の動作は任意の適切なやり方により、指示することができる。よって、説明されたものとは異なる順序により、動作が行われる実施形態を構成することができ、これはある動作を同時に行うことも含まれている。

１５１０において、オブジェクトデータベース１６４は、複数の制御可能オブジェクト（例えば、オブジェクト１５０、１５２、１５４）と３Ｄ空間１１２における制御可能オブジェクトの制御位置とをそれぞれ関連付けて格納される。各制御位置は、３Ｄ空間１１２における対応する領域を表し、ここに携帯用コントローラ１２０を向けて対応する制御可能オブジェクトを制御することができる。

１５２０において、３Ｄ空間１１２における携帯用コントローラ１２０の位置が測定される。例えば、携帯用コントローラ１２０は、空間１１２内をセンサ１４０へ進むＷｉ−Ｆｉパケットを発信し、センサ１４０はパケットを検出して出力を生成し、この出力は制御回路１６０へと送られる。制御回路１６０は、出力を処理し、携帯用コントローラ１２０の位置の測定を生成する。

１５３０において、３Ｄ空間１１２における携帯用コントローラ１２０の方向が測定される。例えば、携帯用コントローラ１２０は、携帯用コントローラ１２０の方向を測定する測定回路４３０を含む。

１５４０において、携帯用コントローラ１２０の測定された位置と携帯用コントローラ１２０の測定された方向とが結合されて、仮想光線１３０が構成される。この仮想光線は、その原点が携帯用コントローラ１２０の測定された位置におかれ、方向は携帯用コントローラ１２０の測定された方向に基づいている。

１５５０において、仮想光線１３０がオブジェクトデータベース１６４の制御可能オブジェクトの制御位置と交差するように携帯用コントローラ１２０を向けるのに応えて、（ｉ）制御可能オブジェクトを制御するユーザ入力が携帯用コントローラ１２０によって受け付けられ、（ｉｉ）ユーザ入力に基づいて制御可能オブジェクトを制御する制御インストラクションが携帯用コントローラ１２０から送信される。

以上、オブジェクトを制御する改良された技術を説明した。本技術は、仮想光線１３０を生成する出力を与える携帯用コントローラ１２０を含む。仮想光線１３０は、位置および方向を有する。仮想光線１３０の位置は、周囲の空間１１２内のセンサ１４０からの入力に基づいて、携帯用コントローラ１２０の位置として測定される。ユーザ１１０が携帯用コントローラ１２０を移動および／または回転させると、仮想光線１３０が空間内を通過し、各種のオブジェクトと交差する。仮想光線１３０が身元と位置とがわかっている制御可能オブジェクトの位置と交差すると、携帯用コントローラ１２０はオブジェクトを識別してユーザ１１０からのオブジェクト制御のための遠隔制御入力を受け付ける。携帯用コントローラ１２０を用いることにより、ユーザは、身元と空間内の位置がわかっている任意の制御可能オブジェクトを制御することができ、仮想および物理オブジェクトを制御することができる。

いくつかの実施形態を説明したが、無数の代替的な実施形態または変形例が可能である。例えば、携帯用コントローラ１２０は、ボールトネットワーク要素として説明された。しかしながら、携帯用コントローラ１２０はボールトネットワークを含まない状況で用いることができるため、これは単なる例である。

また、本明細書の具体的な実施形態を参照して特徴を説明したが、このような特徴は開示された実施形態およびその変形例のいずれに含まれてもよく、またこれによって含まれる。よって、ある実施形態との関連により、開示された特徴は、別の実施形態の変形例として含まれることも言うまでもない。

さらにまた、本改良またはその一部は、１以上の非一時的なコンピュータ読み取り可能な記憶媒体を含むコンピュータプログラム製品として実現することができ、記憶媒体の霊として、磁気ディスク、磁気テープ、コンパクトディスク、ＤＶＤ、光ディスク、フラッシュドライブ、半導体ドライブ、ＳＤ（セキュア・デジタル）チップもしくは装置、特定用途向け集積回路（ＡＳＩＣ）、および／またはフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）など（図１５の媒体１５６０として例示される）がある。コンピュータ読み取り可能媒体の数はいくつであってもよい。媒体は、携帯用コントローラ１２０および／またはサーバ装置１６０の１以上のコンピュータまたはその他のプロセッサにより、実行されると、本明細書により説明した１以上の処理を行うインストラクションによって、エンコードされてもよい。このような媒体は製造品または機械と考えられ、ある機械から別の機械へと輸送することができる。

本明細書において、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｃｏｎｔａｉｎｉｎｇ）」、および「有する（ｈａｖｉｎｇ）」という用語は、何かのある項目、工程、要素、または局面を、非限定的に説明することを意図したものである。また、本明細書において、特にそうではないことが明記されない限り、「セット」という用語は１以上の何かを意味する。これは、「のセット」という語句が単数もしくは複数のオブジェクトに続くか否か、または単数もしくは複数の動詞と対になっているかどうかとは関係なく当てはまる。また、「第１」、「第２」、「第３」などの通常の表現は、本明細書では形容詞として用いることができるが、このような通常の表現は識別のために用いられ、特に明記されない限り、順番や序列を意味するものではない。よって、例えば、「第２」のイベントは「第１のイベント」の前に起こっても後に起こってもよく、また第１のイベントが起こらなくてもよい。加えて、本明細書における「第１」の要素、特徴、または作用とされる特定の要素、特徴、または作用の識別は、「第２」またはその他の要素、特徴、または作用の存在が必要であると解釈されるべきものではない。むしろ、「第１」のアイテムは一つだけであてもよい。本明細書においてある実施形態を説明したが、これらは例としてのみ提示されたものであり、本発明が特定の実施形態に限定されるものではないことは言うまでもない。

したがって、本発明の範囲を逸脱することなく本明細書の実施形態の形状や細部について様々な変更が可能であることは、当業者には言うまでもない。

Claims (24)

1. 携帯用コントローラを用いて３Ｄ（三次元）空間のオブジェクトを制御する方法であって、
   複数の制御可能オブジェクトと前記３Ｄ空間における前記制御可能オブジェクトの制御位置とをそれぞれ関連付けるオブジェクトデータベースを格納し、各制御位置は前記３Ｄ空間における対応する領域を表し、当該領域に前記携帯用コントローラを向けて対応する制御可能オブジェクトを制御することができ、
   前記３Ｄ空間における前記携帯用コントローラの位置を測定し、
   前記３Ｄ空間における前記携帯用コントローラの方向を測定し、
   前記携帯用コントローラの測定された位置と前記携帯用コントローラの測定された方向とを結合して、原点が前記携帯用コントローラの測定された位置におかれ方向が前記携帯用コントローラの測定された方向に基づく仮想光線を構成し、
   前記仮想光線が前記オブジェクトデータベースの制御可能オブジェクトの制御位置と交差するように前記携帯用コントローラが向けられることに応えて、（ｉ）前記制御可能オブジェクトを制御するユーザ入力を前記携帯用コントローラによって受け付け、（ｉｉ）前記ユーザ入力に基づく前記制御可能オブジェクトを制御する制御インストラクションを前記携帯用コントローラから送信する方法であって、
   前記方法はさらに、
   前記３Ｄ空間の物理的特徴を表すマップ情報を格納し、
   前記仮想光線が制御位置と交差するオブジェクトのセットの識別子を前記携帯用コントローラによって表示する方法であって、
   前記方法は、さらに、前記識別子を表示するとき、前記仮想光線が制御位置と交差するが前記マップ情報により前記携帯用コントローラの視線から隠れることが示されるオブジェクトの識別子をフィルタリングする方法。
2. 前記携帯用コントローラの位置の測定は、
   前記携帯用コントローラによって、空間内を伝播して複数のアンテナに到達する無線信号を送信し、前記アンテナはそれぞれ前記無線信号を処理して対応する出力を生成し、
   前記複数のアンテナからの前記出力を処理して、前記３Ｄ空間における前記携帯用コントローラの位置を生成することを含む請求項１に記載の方法。
3. さらに、
   前記仮想光線が前記制御可能オブジェクトの制御位置と交差する間、前記携帯用コントローラによって、前記携帯用コントローラに前記制御可能オブジェクトの身元をキャプチャするよう指示するキャプチャコマンドを前記携帯用コントローラのユーザから受信し、前記キャプチャコマンドの受信後は前記携帯用コントローラがどこを向いていようと、前記携帯用コントローラを用いたその後の前記制御可能オブジェクトの制御を可能とし、
   その後、前記仮想光線が前記制御可能オブジェクトの制御位置と交差しなくなると、前記携帯用コントローラが、前記制御可能オブジェクトを制御するユーザ入力を受信し、前記制御可能オブジェクトを制御する制御インストラクションを送信する請求項２に記載の方法。
4. さらに、
   前記仮想光線が前記オブジェクトデータベースにおいて識別される複数の前記制御可能オブジェクトの制御位置と交差することに応えて、
   前記携帯用コントローラによって、前記複数の制御可能オブジェクトに対して定義された指標のリストを表示し、
   前記仮想光線が前記複数の制御可能オブジェクトの制御位置と交差する間、前記携帯用コントローラによって、前記携帯用コントローラに前記複数の制御可能オブジェクトの指標のリストをキャプチャするよう指示する別のキャプチャコマンドを受信し、前記別のキャプチャコマンドの受信後は前記携帯用コントローラがどこを向いていようと、その後の前記複数の制御可能オブジェクトのいずれかの制御を可能とし、
   その後、前記仮想光線が前記選択された制御可能オブジェクトの制御位置と交差しなくなると、前記携帯用コントローラが、前記複数の制御可能オブジェクトの一つを選択するユーザ入力を受信し、前記選択された制御可能オブジェクトを制御する請求項３に記載の方法。
5. さらに、
   （Ａ）前記携帯用コントローラによって以前に制御した制御可能オブジェクトの履歴を格納し、
   （Ｂ）前記携帯用コントローラにより、前記履歴から選択された制御可能オブジェクトを制御するユーザ入力を受信し、
   （Ｃ）前記携帯用コントローラから、前記選択された制御可能オブジェクトを制御する制御インストラクションを送信する方法であって、
   前記（Ｂ）および（Ｃ）は、前記仮想光線が前記選択された制御可能オブジェクトの制御位置と交差することなく行われる請求項３に記載の方法。
6. さらに、
   前記３Ｄ空間内のユーザ定義領域に特定の制御可能オブジェクトの制御位置を規定し、前記特定の制御可能オブジェクトの制御位置は、前記携帯用コントローラを向けて前記特定の制御可能オブジェクトを制御する位置である請求項３に記載の方法。
7. 前記特定の制御可能オブジェクトは、前記３Ｄ空間内の位置を占める電子コントローラに電気的に接続され、
   前記特定の制御可能オブジェクトの制御位置は前記電子コントローラの位置と交差しない請求項６に記載の方法。
8. 前記特定の制御可能オブジェクトの制御位置の規定は、前記３Ｄ空間における前記特定の制御可能オブジェクトの制御位置と前記特定の制御可能オブジェクトとを関連付けるトレーニング手続きを前記携帯用コントローラが実行することを含む請求項６に記載の方法。
9. 前記トレーニング手続きの実行は、
   前記携帯用コントローラによって、トレーニングする前記特定の制御可能オブジェクトのユーザ選択を受信し、
   前記携帯用コントローラが前記３Ｄ空間内の複数の異なる位置から前記特定の制御可能オブジェクトの制御位置に向けられると、前記携帯用コントローラによって前記仮想光線の値を取得し、
   前記特定の制御可能オブジェクトの制御位置を、前記仮想光線の前記取得された値の３Ｄ空間内で交差する領域として計算することを含む請求項８に記載の方法。
10. 前記トレーニング手続きの実行は、
    前記携帯用コントローラによって、トレーニングする前記特定の制御可能オブジェクトのユーザ選択を受信し、
    前記携帯用コントローラが前記特定の制御可能オブジェクトの制御位置に物理的に配置されることにより、前記携帯用コントローラによって、前記３Ｄ空間における現在の位置を前記特定の制御可能オブジェクトの制御位置として前記携帯用コントローラに割り当てるよう指示するユーザ入力を受信することを含む請求項８に記載の方法。
11. 前記特定の制御可能オブジェクトの制御位置は、空間内の特定の領域にわたり、
    前記トレーニング手続きの実行は、
    前記携帯用コントローラによって、空間内の前記特定の領域複数の頂点の前記３Ｄ空間における位置を取得し、
    前記制御位置の３Ｄ領域を前記複数の頂点を含む最小の凸形として計算することを含む請求項８に記載の方法。
12. 前記特定の制御可能オブジェクトの制御位置は、前記３Ｄ空間における対応する位置に複数の独立領域を含み、
    前記トレーニング手続きの実行は、
    前記携帯用コントローラによって、前記３Ｄ空間における前記複数の独立領域のそれぞれの位置を取得し、
    前記独立領域の前記取得された３Ｄ位置を、前記制御可能オブジェクトの前記制御位置が３Ｄ空間における前記複数の独立領域のいずれにも対応するように、前記特定の制御可能オブジェクトの制御位置として統合することを含む請求項８に記載の方法。
13. 携帯用コントローラを用いて３Ｄ（三次元）空間のオブジェクトを制御する方法であって、
    複数の制御可能オブジェクトと前記３Ｄ空間における前記制御可能オブジェクトの制御位置とをそれぞれ関連付けるオブジェクトデータベースを格納し、各制御位置は前記３Ｄ空間における対応する領域を表し、当該領域に前記携帯用コントローラを向けて対応する制御可能オブジェクトを制御することができ、
    前記３Ｄ空間における前記携帯用コントローラの位置を測定し、
    前記３Ｄ空間における前記携帯用コントローラの方向を測定し、
    前記携帯用コントローラの測定された位置と前記携帯用コントローラの測定された方向とを結合して、原点が前記携帯用コントローラの測定された位置におかれ方向が前記携帯用コントローラの測定された方向に基づく仮想光線を構成し、
    前記仮想光線が前記オブジェクトデータベースの制御可能オブジェクトの制御位置と交差するように前記携帯用コントローラが向けられることに応えて、（ｉ）前記制御可能オブジェクトを制御するユーザ入力を前記携帯用コントローラによって受け付け、（ｉｉ）前記ユーザ入力に基づく前記制御可能オブジェクトを制御する制御インストラクションを前記携帯用コントローラから送信する方法であって、
    前記オブジェクトデータベースは、前記３Ｄ空間における仮想制御可能オブジェクトの制御位置を格納し、
    前記方法は、さらに、
    前記携帯用コントローラと前記仮想制御可能オブジェクトをホログラムとして描画するよう構成された３Ｄヘッドセットとの間の電子通信を確立し、
    前記仮想光線が前記仮想制御可能オブジェクトの制御位置と交差するように前記携帯用コントローラが向けられることに応えて、前記仮想制御可能オブジェクトを制御するユーザ入力を前記携帯用コントローラによって受け付ける方法。
14. さらに、
    前記仮想光線の値を前記３Ｄヘッドセットに送信し、前記３Ｄヘッドセットが前記仮想光線上に現れるよう投影されたホログラフィック・カーソルを描画できるようにする請求項１３に記載の方法。
15. さらに、
    前記携帯用コントローラによって、前記３Ｄヘッドセットによって前記仮想光線上に描画された前記ホログラフィック・カーソルの奥行を調整するユーザ入力を受信する請求項１４に記載の方法。
16. さらに、
    前記携帯用コントローラによって、前記ホログラフィック・カーソルがポイントするホログラムを選択するユーザ入力を受信する請求項１４に記載の方法。
17. さらに、
    前記携帯用コントローラによって、前記選択されたホログラムを回転するユーザ入力を受信する請求項１６に記載の方法。
18. さらに、
    前記携帯用コントローラによって、前記選択されたホログラムを移動させるユーザ入力を受信する請求項１６に記載の方法。
19. さらに、
    前記携帯用コントローラによって、前記選択されたホログラムと相互作用を行う選択肢のリストを表示するユーザ入力を受信する請求項１６に記載の方法。
20. さらに、
    前記携帯用コントローラによって、前記仮想光線に直交するスライス平面を生成するユーザ入力を受信し、前記スライス平面が前記携帯用コントローラに前記スライス平面に対するホログラムの位置に基くホログラムの選択を可能とする請求項１６に記載の方法。
21. 前記携帯用コントローラの方向の測定が、前記携帯用コントローラ１２０内の測定回路によって行われ、前記携帯用コントローラの方向の測定が、前記携帯用コントローラから分離したサーバ装置によって行われる請求項１に記載の方法。
22. オブジェクトを制御する携帯用コントローラであって、
    ユーザインターフェースと、
    無線通信インターフェースと、
    ３Ｄ（三次元）空間における前記携帯用コントローラの方向を測定するよう構成された測定回路と、
    プロセッサのセットと、
    メモリと、
    を備え、
    前記プロセッサのセットと前記メモリとは合わせて制御回路を形成し、前記制御回路は、
    前記測定回路に前記携帯用コントローラの方向の測定を行うよう指示し、
    前記無線インターフェースに前記携帯用コントローラの方向の測定を伝達する信号を含む無線信号を複数のセンサに送信して、（ｉ）前記複数のセンサによって受信される前記無線信号に基づいて、測定される前記携帯用コントローラの位置を有効化し、（ｉｉ）それぞれ、原点が前記携帯用コントローラの測定された位置におかれ方向が前記携帯用コントローラの測定された方向に基づく、複数の仮想光線を生成するよう指示し、
    前記仮想光線の一つと交差する制御可能オブジェクトを識別し、
    前記無線インターフェースに前記識別された制御可能オブジェクトを制御する制御インストラクションの送信を指示するよう構成される制御回路であって、
    前記無線信号を送信するよう構成された前記制御回路は、さらに、無線パケットのセットを送信するよう構成され、前記無線パケットのセットは、それぞれ、（ｉ）前記携帯用コントローラの対応する位置測定の基礎としての役割を果たし、（ｉｉ）前記対応する無線パケットの送信から数ミリ秒以内に行われた対応する前記携帯用コントローラの方向の測定を含む、携帯用コントローラ。
23. さらに、
    加速度計のセットを備え、
    前記制御回路は、さらに、
    前記加速度計のセットからの出力に基づいて、前記無線インターフェースに無線パケットの送信を指示するレートを変化させ、加速度のレベルが高い場合は前記レートが高く、加速度のレベルが低い場合は前記レートが低くなるよう構成される請求項２２に記載の携帯用コントローラ。
24. 前記携帯用コントローラは、（ｉ）銃、（ｉｉ）剣のうち、一つに類似した外見を有する請求項２３に記載の携帯用コントローラ。

Images