JP2017511943A5

JP2017511943A5 -

Info

Publication number: JP2017511943A5
Application number: JP2016565099A
Authority: JP
Filing date: 2015-01-13
Publication date: 2018-05-24
Anticipated expiration: 2035-01-13

Description

モバイルコンピューティングデバイスの計算能力の拡張、かつこれらのデバイス人気の上昇に伴い、モバイルコンピューティングデバイスは、実質的に、さまざまなアプリケーションにアクセスしてそれとインタラクトするための最適なデバイスに次第になってきている。これらのアプリケーションとして、例えば、インタラクティブソーシャルメディアアプリケーション、インタラクティブゲームアプリケーション、検索アプリケーション、電子メールアプリケーションなどがある。

テレビゲーム産業の発展及びモバイルデバイスを含むさまざまなコンピューティングデバイスの計算能力の拡張に伴い、ユーザは、ますます、モバイルコンピューティングデバイスを使用してテレビゲームとインタラクトすることができるようになった。その結果、テレビゲームの開発者は、ユーザがゲーム機において局所で実行するまたはクラウドゲームシステムを通じてアクセスするゲームサーバにおいて遠隔で実行するテレビゲームにアクセスしてそれとインタラクトできる、モバイルコンピューティングデバイス（または、単に「モバイルデバイス」）内の計算能力の増大を生かすゲームソフトまたはゲームインターフェースをますます開発している。今日のモバイルデバイスは、ユーザがさまざまなアプリケーションとインタラクトできるような、単一デバイスに組み込まれるいくつかの異なるタイプのハードウェアを含む。例えば、モバイルデバイスの多くは、そのようなインタラクションを可能にするための、カラーディスプレイ、カメラ、スピーカ、及び例えば、ボタン、タッチ画面またはスタイラスなどの入力機構を含む。

一実施形態において、方法が開示される。この方法は、プライマリディスプレイを有するプライマリコンピューティングデバイスに近接するメガネコンピューティングデバイスの存在を検出することを含む。プライマリコンピューティングデバイスのプライマリディスプレイは、コンテンツを表示するように構成される。メガネコンピューティングデバイスは、セカンダリディスプレイを含む。メガネコンピューティングデバイスは、プライマリコンピューティングデバイスにリンクされる。プライマリディスプレイと相対的なメガネコンピューティングデバイスのビュー方向が検出される。プライマリディスプレイに表示されるコンテンツに加えて、追加のコンテンツが、セカンダリディスプレイに表示される。セカンダリディスプレイは、プライマリディスプレイに表示されたコンテンツの範囲を越えたコンテンツをビューするための、プライマリディスプレイの拡張部としての役目を果たす。

一実施形態において、メガネは、コンピューティングデバイスとインタラクトするためのプロセッサ及びネットワーク接続インターフェースを含む。

一実施形態において、メガネのネットワーク接続インターフェースは、コンピューティングデバイスとインタラクトするための無線接続プロトコルを使用する。

一実施形態において、同期化によって、セカンダリディスプレイ画面内に移動したウィンドウとインタラクトするための、コンピューティングデバイスの入力及び出力デバイスの使用が可能になる。

一実施形態において、セカンダリディスプレイ画面に表示されているウィンドウの選択が検出され、それに応答して、選択されたウィンドウが、ユーザのインタラクションのために、セカンダリディスプレイ画面から外に移動して、コンピューティングデバイスのメインディスプレイ画面に戻される。

一実施形態において、セカンダリディスプレイ画面に提示されているウィンドウの選択が検出される。検出に応答して、選択されたウィンドウに表示されたアプリケーションによって、選択されたウィンドウのセカンダリディスプレイ画面内での表示を継続しつつのインタラクションが可能になる。

一実施形態において、ペアリングによって、セカンダリディスプレイ画面に表示されたコンテンツとインタラクトするための、コンピューティングデバイスの入力及び出力デバイスの使用が可能になる。

以下の実施形態は、コンピューティングデバイスによって表示のために選択された別個のウィンドウ内にアプリケーションのコンテンツ及びアイコンを表示するためのメガネ内部の追加のディスプレイ領域を提供することによって、ディスプレイデバイスの表示領域を拡張するための方法及びシステムを記述する。本発明の一実施形態において、メガネには、コンピューティングデバイスと接続するためのプロセッサ及びネットワーク相互接続性が装備される。コンピューティングデバイスは、コンピューティングデバイスのユーザによって実行または表示するために選択されたアプリケーションのコンテンツまたはアイコンを表示するためのメインディスプレイ画面を有するモニタを含む。コンテンツは、別個のウィンドウに表示される。接続によって、コンピューティングデバイスに付随するモニタのメインディスプレイ画面と、メガネにおいて画定されたセカンダリディスプレイ画面との同期化が可能になる。選択された一つのウィンドウがコンピューティングデバイスのメインディスプレイ画面から外に移動したときに、コンピューティングデバイスによってその動きが検出され、それに応答して、コンピューティングデバイスは、モニタのメインディスプレイ画面における選択されたウィンドウの表示を停止する。メガネは、モニタのディスプレイ領域から出たウィンドウの動きを検出し、移動したウィンドウをメガネのディスプレイ領域に表示する。メガネ内部に画定されたセカンダリディスプレイ画面は、ユーザのための追加のビューイング及びインタラクション領域を提供することによって、メインディスプレイ画面の仮想拡張部としての役目を果たす。それ故に、本発明の実施形態による方法及び装置を、図面を参照してここに記述する。

内蔵プロセッサ（図示せず）及び無線相互接続性を持つメガネ１０２が、ペアリングによってコンピューティングデバイス１０に通信可能に接続される。メガネは、セカンダリディスプレイ画面１０２Ａなどのディスプレイ領域を含む。メガネには、メガネ外部の環境を捕捉するためのカメラも装備される。一実施形態において、メガネは、ヘッドアップディスプレイ（ＨＵＤ）であってもよい。別の実施形態では、メガネは、ヘッドマウントディスプレイ（ＨＭＤ）であってもよい。なおも別の実施形態では、メガネの代わりに、メガネコンピューティングデバイスを使用して、本明細書に記述するさまざまな実施形態と同じ機能性を提供することができる。
メガネのディスプレイ領域は、レンズ部の一つまたは両方の一部分の範囲にわたることができる。いくつかの実施形態において、メガネのその一部分は、メガネの全体領域の範囲にわたることができる。図１Ａ〜図１Ｄは、セカンダリディスプレイ画面１０２Ａが配置されるメガネ１０２内のさまざまな位置を図示する。例えば、図１Ａに図示するように、セカンダリディスプレイ画面１０２Ａは、ユーザが装着したときに右眼の範囲にわたるレンズ部の右上隅に配置される。代わりに、図１Ｂに図示するように、ディスプレイ領域１０２Ａは、一つの眼（すなわち、右眼）の範囲にわたるレンズ部の中心に、図１Ｃに図示するように、左右のレンズ部（図示せず）の左上隅に、または図１Ｄに図示するように、メガネ１０２の全表面の範囲にわたって配置することができる。
図１Ｄの場合は、ディスプレイ領域は、ユーザが、あるモードにおいて、第二のモードに切り替えることによって、ユーザがその視点から目をそらす必要なく、種々のアプリケーションまたはアイコンウィンドウが提供する画像を視認できる、データを提示する透明なディスプレイであってもよい。この場合は、ユーザは、現実世界と仮想世界との間を移行することによって、メガネのプロセッサによって投影された適切なデータを視認することができる。メガネは、ユーザがあるモードから別のモードに切り替えるまたは移行することができる、メガネの側面に取り付けられたタッチパッドなどの一つ以上の入力デバイスを含むことができる。
タッチパッドは、他のユーザインタラクションにも使用することができる。例えば、タッチパッドを使用して、メガネとコンピューティングデバイスとをペアリングし、メガネとコンピューティングデバイス１０とを同期化することができる。一実施形態において、同期化は、メガネコンピューティングデバイスまたはメガネと、プライマリコンピューティングデバイスとをペアリングして、モニタ１００のメインディスプレイ画面と、メガネにおいて画定されたセカンダリディスプレイ画面１０２Ａとを同期化することを含む。ディスプレイ画面の同期化に加えて、一実施形態において、同期化によって、メガネのセカンダリディスプレイ画面に表示されたコンテンツとのインタラクションのために、コンピューティングデバイス１０の入力デバイスの使用が可能になる。別の実施形態では、同期化は、コンピューティングデバイス１０の入力デバイスとメガネの入力デバイスとの同期化を含むことができる。

コンピューティングデバイス１０に付随する入力デバイスが、実行するための一つ以上のインタラクティブアプリケーション、または表示するためのアイコンを選択するために使用される。アプリケーションの選択または実行に応答して、ユーザがアプリケーションウィンドウに表示されたアプリケーションまたはアイコンのいずれかとインタラクトできるように、一つ以上のアプリケーションのコンテンツまたはアイコンを、モニタ１００のメインディスプレイ画面における別個の「アプリケーション」ウィンドウに表示することができる。各アプリケーションウィンドウは、コンピューティングデバイス１０において実行するために選択されるアイコンのコンテンツまたはアプリケーションのコンテンツを表示するように設計される。
インタラクティブアプリケーションまたはアイコンは、コンピューティングデバイス１０において局所で利用できる、またはクラウドサーバにおいて利用できる。クラウドにおいてアプリケーションを利用できる場合には、コンピューティングデバイス１０は、アプリケーションのコピーを取得し、コンピューティングデバイス内部の局所でそれを実行することができる。代わりに、アプリケーションをクラウドにおいて実行し、そしてコンテンツを表示し、アプリケーションインターフェースを使用したアプリケーションとのインタラクションを可能にするために、アプリケーションウィンドウを、コンピューティングデバイスによってモニタのメインディスプレイ画面に提供することができる。同様に、コンピューティングデバイスは、アイコンのコピーを取得し、モニタのメインディスプレイ画面にそれを表示することができる。

インタラクションの一部として、ユーザは、モニタ１００に表示されたアプリケーションウィンドウを選択し、それをモニタのディスプレイ画面から外に移動させることができる。コンピューティングデバイスは、その動きを検出し、選択されたインタラクティブアプリケーションのアプリケーションウィンドウを、モニタ１００のメインディスプレイ画面から自動的に削除する。同時に、メガネが、メガネのディスプレイ領域（すなわち、セカンダリディスプレイ画面）内へのアプリケーションウィンドウの動きを検出する。セカンダリディスプレイ画面は、アプリケーションウィンドウを表示するための追加のディスプレイ領域を提供することによって、モニタの表示領域の拡張部としての役目を果たす。

モニタのメインディスプレイ画面領域は、主に、実行するためにまたはメガネを装着しているユーザのために選択されたアプリケーションのアイコン及びコンテンツを表示するための別個のアプリケーションウィンドウを提示するのに使用される。ユーザが、ますます多くのアプリケーションを実行し、複数のアイコンを選択すると、アプリケーションの各々のコンテンツ及び／またはアイコンが、モニタのメインディスプレイ画面領域上の別個のウィンドウに提示され、その結果、モニタのメインディスプレイ画面領域でアイコン等が過密となる。
これを緩和するために、ユーザは、メインディスプレイ画面領域から外に出すウィンドウの一つ以上を選択して移動させることができる。その動きに応答して、コンピューティングデバイスが、選択された一つ以上のウィンドウのモニタのメインディスプレイ画面領域における表示を停止し、ペアリングによって、メガネが、その停止動作を検出し、そのウィンドウを、メガネのディスプレイ部において画定されたセカンダリディスプレイ画面に表示する。ユーザは、アプリケーションウィンドウがモニタのメインディスプレイ画面領域に表示されたときのインタラクションと同様の方法で、コンピューティングデバイスに付随する入力デバイスを使用してメガネのセカンダリディスプレイ画面にシフトされたアプリケーションウィンドウとインタラクトすることができる。

図２Ａ〜図２Ｃは、本発明の一実施形態における、モニタのメインディスプレイ画面領域の簡易化したサンプルの画面表示、及びメガネのセカンダリディスプレイ画面を図示する。図２Ａに図示するように、複数のウィンドウ１２０ａ、１２０ｂ、１２０ｃなどが、コンピューティングデバイス１０のモニタ１００のメインディスプレイ画面領域１００Ａに表示される。各ウィンドウは、コンピューティングデバイス１０において局所、またはコンピューティングデバイスによってクラウドサーバにおいてもしくはアイコンのコンテンツにおいて遠隔のいずれかにおいて実行するために選択されたアプリケーションのコンテンツを表示する。
アプリケーションの遠隔実行の場合は、コンピューティングデバイスは、ネットワーク接続性を使用して、インターネットなどのネットワークを通じてクラウドサーバに通信可能に接続される。コンピューティングデバイス１０は、セカンダリディスプレイ画面が配置された、ユーザによって使用されるメガネにも通信可能に接続される。このメガネは、コンピューティングデバイス１０とペアリングするためのプロセッサ及びネットワーク接続性を含む。通信接続の一部として、メガネのディスプレイ部において画定されたセカンダリディスプレイ画面は、コンピューティングデバイスのモニタのメインディスプレイ画面領域と同期化され、これによりそれぞれのディスプレイ画面領域におけるユーザインタラクションが可能になる。

図２Ａに図示するように、ユーザインタラクションの一部として、ウィンドウ１２０ｂが、モニタ１００のメインディスプレイ画面領域１００Ａから外に移動される。コンピューティングデバイス１０において実行されるプログラミング論理が、モニタのメインディスプレイ画面領域から出るウィンドウ１２０ｂの動きを検出し、それに応答して、図２Ｂに図示するように、自動的に、モニタ１００のメインディスプレイ画面領域１００Ａからのウィンドウ１２０ｂの一部分の移動を開始する。同時に、図２Ｂに図示するように、メインディスプレイ画面領域から外に移動したウィンドウの一部分が、メガネ内部の論理によってセカンダリディスプレイ画面に表示するために捕捉される。図２Ｃは、メインディスプレイ画面領域１００Ａにおけるウィンドウ１２０ｂのレンダリングを終了し、同時に、セカンダリディスプレイ画面１０２Ａにおいてウィンドウ１２０ｂをレンダリングすることによる、モニタ領域から出たウィンドウ１２０ｂの動きの完了を図示する。残りのウィンドウ１２０ａ及び１２０ｃは、モニタ１００のメインディスプレイ画面領域１００Ａにおける表示を継続する。

一実施形態において、ユーザの継続的なインタラクションの一部として、ユーザは、メガネのセカンダリディスプレイ画面に表示される特定のウィンドウを選択する。この実施形態では、ユーザ選択によって、選択されたウィンドウは、セカンダリディスプレイ画面における表示を停止し、代わりに、モニタのメインディスプレイ画面領域内での表示を開始する。ウィンドウがモニタのメインディスプレイ画面領域に移動すると、その後のユーザインタラクションは、選択されたウィンドウにおいて実行されるアプリケーション、またはコンテンツ、ディスプレイもしくはその両方に対して変更されるアイコンに対する入力として使用される。別の実施形態では、ユーザの継続的なインタラクションの一部として、特定のアプリケーションまたはアイコンウィンドウのユーザ選択によって、選択されたウィンドウはメガネのセカンダリディスプレイ画面に留まり、ユーザインタラクションは、選択されたウィンドウにおいて実行されるアプリケーション、または選択されたウィンドウにおけるコンテンツ、ディスプレイもしくはその両方における変更を提示するアイコンに対する入力として使用される。

図３は、本発明の一実施形態による、別個のアプリケーションウィンドウにおけるセカンダリディスプレイ画面において実行するために選択されたアイコンまたはアプリケーションのコンテンツを表示するためのメインディスプレイ画面領域を提示するためにレンダリング領域プロセッサモジュール１５０が実行するコンピューティングデバイスを図示する。別の実施形態では、レンダリング領域プロセッサモジュール１５０は、コンピューティングデバイスに付随するディスプレイデバイスの表示領域を拡張するために、メガネ内部に配置することができる。レンダリング領域プロセッサ１５０は、デバイスシンクロナイザーモジュール１５２、インタラクション検出モジュール１５８、及び視野角計算モジュール１６６などの追加のモジュールを含む。

デバイスシンクロナイザー１５２は、ディスプレイ画面シンクロナイザー１５４、及び入力デバイスシンクロナイザーモジュール１５６を含む。デバイスシンクロナイザー１５２は、第一に、コンピューティングデバイスとメガネとを同期化するのに使用される。メガネにおけるプロセッサ及びインターネット接続性が、コンピューティングデバイスとペアリングするのに使用され、それとの無線通信が可能になる。メガネは、レンズ部範囲の一つまたは両方の一部分において画定されたディスプレイ領域（すなわち、セカンダリディスプレイ画面領域）を含む。ディスプレイ画面シンクロナイザー１５２は、メガネにおいて画定されたセカンダリディスプレイ画面領域と、コンピューティングデバイスに付随するモニタのメインディスプレイ画面領域とを同期化するための必須の構成論理を提供する。同様に、入力デバイスシンクロナイザー１５６は、コンピューティングデバイスの入力デバイスとメガネとを同期化またはペアリングするための構成論理を含む。入力デバイス同期化の一部として、一実施形態において、コンピューティングデバイスの入力デバイスは、メガネのセカンダリディスプレイ画面領域に表示されるウィンドウとインタラクトするために使用することができる。別の実施形態では、同期化またはペアリングの一部として、メガネの入力デバイスは、コンピューティングデバイスの入力デバイスと同期化またはペアリングされる。メガネとコンピューティングデバイスとが同期化またはペアリングされると、レンダリング領域プロセッサが、コンピューティングデバイスのメインディスプレイ画面に関するメガネのビュー位置を計算することによって、メガネを装着しているユーザについての通常視野角を確定する。

ユーザは、コンピューティングデバイス内部において局所で、またはクラウドサーバにおいて遠隔で利用できる複数のアプリケーションを実行することを選択できる。各々の選択されたアプリケーションは、モニタのメインディスプレイ画面領域における別個のインタラクティブアプリケーションウィンドウに提示される。ユーザが、実行するためのますます多くのアプリケーションを選択すると、対応するアプリケーションウィンドウが、ユーザのインタラクションのためにメインディスプレイ画面領域に提示される。インタラクションの過程中、ユーザは、アプリケーションウィンドウのいくつかをメインディスプレイ画面領域から外に移動させることを選択できる。この移動によって、選択されたアプリケーションウィンドウのいくつかが、メインディスプレイ画面領域における表示を中断し、代わりに、メガネにおいて画定されたセカンダリディスプレイ画面内での表示を開始する。一実施形態において、図４Ａ−３に図示するように、セカンダリディスプレイ画面は、アプリケーションウィンドウを表示するための、ほぼ３６０度の角度ビュー画面をユーザに提供するレンダリング領域の無限円ループを画定する仮想画面としての役目を果たす。セカンダリディスプレイ画面によって画定された仮想画面のサイズは、メインディスプレイ領域から外に移動したアプリケーションウィンドウに対応するように動的に調節される。実行するために選択されたアプリケーションに加えて、ユーザは、一つ以上のアイコンを表示することも選択できる。選択されたアイコンは、モニタのメインディスプレイ画面領域における別個のアプリケーションウィンドウに表示され、メインディスプレイ画面から外に移動したときに、セカンダリディスプレイ画面領域内での表示を開始する。

図４Ｂは、インタラクティブアプリケーションウィンドウを表示するのに使用されるメインディスプレイ画面領域１００Ａ及びセカンダリディスプレイ画面１０２Ａの単純な表示を図示する。メインディスプレイ画面領域１００Ａは、例えば、視野角「α」を包含するユーザの通常初期設定角によって画定された領域を包含する。ユーザの頭部が通常初期設定角「α」から角度「β」、「θ」、「γ」などによって画定されたビューオフセット角度に移動すると、それぞれのビューオフセットに対応する仮想画面が提供するコンテンツが、セカンダリディスプレイ画面においてユーザに提示される。
図４Ｂに図示する実施例において、ビューオフセット「β」では、メインモニタのディスプレイ領域から外に移動したアプリケーションウィンドウ１２０ａを含む仮想画面の一部分を識別することができる。その結果、アプリケーションウィンドウ１２０ａは、ユーザの頭部がビューオフセット「β」の範囲にわたって移動したときには、メガネのディスプレイ画面（すなわち、セカンダリディスプレイ画面領域）においてユーザに提示される。同様に、ユーザの頭部がビューオフセット「θ」の範囲にわたってシフトしたときには、アプリケーションウィンドウ１２０ｂをメガネのディスプレイ画面に表示することができ、以降も同様である。
ユーザの頭部の動きによって確立された視野角に基づいて、適切なアプリケーションウィンドウが、メガネにおいて画定されたディスプレイ画面においてユーザに提示される。実施例として、各々のビューオフセットにおいて一つのみのアプリケーションウィンドウが識別されても、各々のビューオフセットにおいて追加のアプリケーションウィンドウを提示できることに留意すべきである。
対応するディスプレイ領域において表示されたアプリケーションウィンドウは、一つ以上のインタラクティブアプリケーションまたはアイコンが提供するコンテンツを提示する。その結果、適切なアプリケーションウィンドウの表示に加えて、ユーザのインタラクションのために、一つ以上の入力デバイスを利用することができる。例えば、コンピューティングデバイスに関連する、カーソル１２１によって図示されるようなマウス、キーボード（図示せず）などの入力デバイスを、ユーザ選択及びインタラクションのために提供することができる。

ユーザインタラクションは、メインディスプレイ領域または仮想画面領域のいずれかに表示されたアプリケーションウィンドウのユーザ選択を含むことができる。一実施形態において、仮想画面領域におけるアプリケーションウィンドウのユーザ選択によって、矢印１６０に図示するように、選択されたアプリケーションウィンドウが、仮想画面領域からメインモニタのディスプレイ領域に戻るように移動する。選択されたアプリケーションウィンドウにおけるその後のユーザインタラクションは、そこにおいて実行され、コンテンツ及び／またはディスプレイを更新するアプリケーションに対する入力として使用される。そのような更新は、メインモニタのディスプレイ領域においてアプリケーションウィンドウに表示される。

別の実施形態では、ユーザインタラクションによって、選択されたアプリケーションウィンドウを仮想画面領域に維持することができる。この実施形態では、仮想画面領域における特定のアプリケーションウィンドウのユーザ選択及びインタラクションによって、ユーザのプライベートビューイングのために、選択されたアプリケーションウィンドウ（複数可）を保持することができる。その結果、仮想画面領域は、ユーザのためのプライベート画面領域としての役目を果たし、その一方で、メインディスプレイ領域は、公的に見ることができる画面としての役目を果たす。この実施形態では、選択されたアプリケーションウィンドウにおけるさらなるユーザインタラクションが、コンテンツ及び／またはディスプレイを結果として更新する、対応するアプリケーションに対する入力として使用され、そのような更新は、ビューオフセットがそれぞれのアプリケーションウィンドウの位置に対応するときに、メインモニタのディスプレイ領域に表示され、セカンダリディスプレイ画面に提示される。アプリケーションウィンドウは、仮想画面領域における表示を継続し、ユーザインタラクションは、そこにおいて実行されるアプリケーションに対する入力として使用される。更新を含む、アプリケーションまたはアイコンのコンテンツは、メガネのビューオフセットがアプリケーションウィンドウのレンダリング位置に一致したときに、メガネにおいて画定されたセカンダリ画面領域に提示される。

図４Ｃは、一実施形態における、ユーザの頭部の動きに対応するさまざまな視野角における、メインディスプレイ領域及び仮想画面領域の簡易化した画面表示の一つのそのような実施例を図示する。この実施形態では、メガネがユーザの頭部に装着されるように構成され、メガネのビュー方向が、メインディスプレイ画面に付随するコンピューティングデバイスのカメラを使用した頭部追跡によって決定される。仮想画面領域は、ユーザによってメインディスプレイ画面領域から移動された複数のアプリケーションウィンドウを含み、仮想ディスプレイとして提示される。実施形態をインタラクティブアプリケーションの実行に関して記述するが、本教示が、メインまたは仮想ディスプレイ画面領域に表示できるアイコンまたは任意の他のコンテンツに拡大適用できることに留意すべきである。
図４Ｃに図示する実施形態では、例えば、それぞれのアプリケーションウィンドウに表示されるアプリケーションの各々は、テレビゲームに対応する。代わりに、アプリケーションは、ドキュメントレンダリングアプリケーションであってもよい。ユーザ「Ｐ１」は、ユーザの視野角が角度「α」によって画定された初期設定角に対応するときには、ゲーム参加者Ｐ２とテレビゲーム１をプレイする。テレビゲーム１は、コンピューティングデバイスのモニタにおいて画定されたメインディスプレイ領域内のアプリケーションウィンドウ１２０ａに表示される。ユーザの頭部が視野角「β」にシフトすると、ユーザには、テレビゲーム２に対応するアプリケーションウィンドウ１２０ｂが提示され得る。アプリケーションウィンドウ１２０ｂにおいて、ユーザは、ゲーム参加者Ｐ３とテレビゲーム２をプレイし続けることができる。
ユーザの頭部が視野角「θ」にシフトすると、ユーザには、テレビゲーム３を実行しているアプリケーションウィンドウ１２０ｃが提示され得、ユーザは、ゲーム参加者Ｐ４とテレビゲーム３をプレイし続けることができる。テレビゲーム１、２、３などが別個のテレビゲームであってもよいし、種々のプレイヤに対してプレイする同じテレビゲームの異なる事例であってもよいことに留意すべきである。代わりに、各アプリケーションウィンドウが別個のテレビゲームまたは単一のテレビゲームの異なる事例を提示し、ユーザが、一人でインタラクティブテレビゲーム（複数可）をプレイしてもよい。テレビゲーム２、３、４などを仮想画面領域に表示し、その一方で、テレビゲーム１をモニタのメインディスプレイ画面領域に表示することができる。この実施形態では、ユーザは、ゲームが表示される対応するディスプレイ画面領域内部から、（可能な場合は）それぞれのゲーム参加者とインタラクトする。

一実施形態において、ユーザの頭部の動きに基づいてユーザの視野角が変化すると、適切なアプリケーションウィンドウが、メガネのディスプレイ画面領域においてユーザに提示される。一実施形態において、メガネのディスプレイ画面領域は、モニタに提示され、その上、仮想画面領域に移動したアプリケーションウィンドウを提示するのに使用される。ユーザは、例えば、コンピューティングデバイスに付随するマウス、キーボード、コントローラなどの入力デバイスを使用してさまざまなアプリケーションウィンドウとのインタラクトを継続することができる、またはメガネにおいて特徴づけられた入力デバイスを使用することができる。

図３を再度参照するように、一実施形態において、インタラクション検出モジュール１５８が、アプリケーションウィンドウの特定の一つについてのユーザインタラクションを検出し、モニタのメインディスプレイ画面領域または仮想画面領域のいずれかに表示される特定のアプリケーションウィンドウを更新するのに使用される。選択順序検出器モジュール１６２が、モニタのメインディスプレイ画面領域から仮想画面領域へのアプリケーションウィンドウの動きの順序を識別し、仮想画面領域に移動したアプリケーションウィンドウを動きの順序に従い組織化する。一実施形態において、モニタのメインディスプレイ画面領域から出たアプリケーションウィンドウの動きの順序に基づいて、アプリケーションウィンドウを、古い順に従い仮想画面領域において組織化することができる。別の実施形態では、アプリケーションウィンドウは、新しい順に仮想画面領域内において組織化することができる。

動きの順序に加えて、動きの方向も、アプリケーション仮想画面領域においてウィンドウを組織化及び提示するのに使用できる。インタラクション検出モジュール１５８内の方向検出器モジュール１６０を、動きの方向に基づいて古い順または新しい順のいずれかにおいてアプリケーションウィンドウを組織化するのに使用することができる。
例えば、図４Ｂに図示するように、アプリケーションウィンドウ１２０ａ、１２０ｂ、１２０ｃ、１２０ｋなどは、右側からモニタのメインディスプレイ画面領域から外に移動し、アプリケーションウィンドウ１２０ｆ、１２０ｊ及び１２０ｘは、左側から外に移動し、さらに、アプリケーションウィンドウ１２０ｍ及び１２０ｎは、モニタのメインディスプレイ画面領域内に維持される。それ故に、アプリケーションウィンドウは、横に移動した古い順または新しい順のいずれかに従い、仮想画面領域において組織化され、組織化されたウィンドウが、ビューオフセットに基づいてセカンダリ画面領域に提示される。

仮想画面領域に表示された、及びセカンダリ画面領域にビューされたそれぞれのアプリケーションウィンドウにおけるユーザインタラクションは、ウィンドウ選択検出器モジュール１６４によって検出される。一実施形態において、ユーザインタラクションは、セカンダリディスプレイ画面に提供されたジェスチャの形態であってもよい。例えば、ジェスチャは、１回だけのクリック、ダブルクリック、ドラッグ・アンド・ドロップ・ジェスチャ、音声命令、眼のジェスチャ、視線検出及び選択、またはそれらの二つ以上の組み合わせを含むことができる。ジェスチャのリストは、例示的なものであり、限定的とはみなされないはずである。
追加の選択ジェスチャを、アプリケーション仮想画面領域におけるウィンドウにおいて使用することができる。一実施形態において、ウィンドウ選択検出器モジュール１６４は、ユーザインタラクションに応答して、仮想画面領域における選択されたアプリケーションウィンドウの表示を停止し、モニタのメインディスプレイ画面領域におけるアプリケーションウィンドウの表示を開始し、内部で実行されるアプリケーションに対する入力として、選択されたアプリケーションウィンドウにおけるさらなるインタラクションを使用して、アプリケーションウィンドウに表示されたコンテンツ及び／またはディスプレイを変更するように構成できる。
別の実施形態では、ウィンドウ選択検出器モジュール１６４は、仮想画面領域における特定のアプリケーションウィンドウの選択を検出し、特定のアプリケーションウィンドウに表示されたアプリケーションに対する入力として、その後のユーザインタラクションを使用して、そこに提示されたコンテンツ及び／またはディスプレイを更新するように構成される。この実施形態では、アプリケーションウィンドウは、仮想画面領域内に留まり、モニタのメインディスプレイ画面領域に移動しない。

仮想画面領域内に提示されたアプリケーションウィンドウの各々は、位置インジケータに関連する。位置インジケータは、仮想画面領域について事前に規定された動き順序または位置配置を示すことができる。位置インジケータは、仮想画面領域からメインディスプレイ画面領域にアプリケーションが動いている最中に使用することができる。
例えば、音声認識アプリケーションなどの入力ツールをユーザインタラクションの一部として使用して、位置インジケータを用いて、アプリケーションウィンドウを、仮想画面領域とモニタのメインディスプレイ画面領域との間で移動させることができる。従って、さまざまな実施形態は、ユーザが、メガネの画面領域を最適に使用して、モニタのディスプレイ領域を補完できるように、モニタのメインディスプレイ画面領域の表示領域を拡張するシームレス方式を提供する。

初期設定によって、プライマリディスプレイに関して定められた一つ以上の仮想基準点を使用して、プライマリコンピューティングデバイスのプライマリディスプレイの方を向いているときのメガネコンピューティングデバイスの初期視野角またはビュー位置が決定される。次に、ビュー方向が、一つ以上の仮想基準点に関して決定される。
ビュー方向は、メガネコンピューティングデバイスを装着しているユーザの頭部追跡に基づいて、メガネコンピューティングデバイスのビューオフセットを特定する。決定されたビュー方向に基づいて、追加のコンテンツが、メガネコンピューティングデバイスのセカンダリディスプレイに表示され、その一方で、元々のコンテンツは、プライマリコンピューティングデバイスのプライマリディスプレイ内での表示を継続する。
セカンダリ画面は、コンテンツを表示するための増大した領域を提供する、プライマリディスプレイの仮想拡張部としての役目を果たす。いくつかの実施形態において、追加のコンテンツは、ユーザインタラクションを通じてプライマリディスプレイから移動したコンテンツであってもよい。いくつかの実施形態において、セカンダリディスプレイは、ユーザのためのプライベート画面領域としての役目を果たすことができ、追加のコンテンツは、ユーザが公衆の目から隔離されたプライベートを保持することを所望するコンテンツであってもよい。
これらの実施形態では、追加のコンテンツは、プライベート仮想ディスプレイとして表示される。そのコンテンツがプライマリディスプレイまたはセカンダリディスプレイに表示されるアプリケーションは、プライマリコンピューティングデバイス内において局所で、またはアプリケーションサーバにおいて遠隔で実行することができる。アプリケーションサーバは、クラウドシステムの一部であるクラウドサーバであってもよい。いくつかの実施形態において、ビュー方向が連続的な頭部追跡によって更新され、ビュー方向の変化（すなわち、オフセット）を使用して、セカンダリディスプレイに表示する必要がある追加のコンテンツの範囲を決定することができる。頭部追跡は、プライマリコンピューティングデバイスに提供された一つ以上のカメラを使用して実行することができる。

図５は、本発明の実施形態による、インタラクティブアプリケーションのための追加の表示領域を提供するための方法を例証する。この方法は、メガネをコンピューティングデバイスと同期化またはペアリングする工程５１０において開始する。メガネには、コンピューティングデバイスと通信可能に接続するように構成されたプロセッサ及びコネットワーク相互接続性が装備される。コンピューティングデバイスは、別個のアプリケーションウィンドウに表示するための、複数のアイコンまたは他のコンテンツを識別及び選択するように構成される。
コンピューティングデバイスは、コンピューティングデバイス内の局所で利用できる、またはクラウドサーバにおいて遠隔で利用できる複数のアプリケーションであって、その各々が別個のアプリケーションウィンドウに表示されるアプリケーションを実行するようにも構成される。このような目的で、コンピューティングデバイスには、インターネットを通じてクラウドサーバにアクセスするためのインターネット接続性が装備され、そのようなアクセスは、ルータなどのインターネットアクセスポイントを使用して有効にすることができる。
デバイスの同期化またはペアリングは、コンピューティングデバイスのモニタのメインディスプレイ画面領域と、レンズ部の少なくとも一つの一部分において画定されたセカンダリディスプレイ画面とを同期化することを含む。同期化またはペアリングは、モニタのディスプレイ領域またはメガネのセカンダリディスプレイ画面のいずれかに表示される対応するアプリケーションウィンドウ内において実行されるアプリケーションとのインタラクトにコンピューティングデバイスの入力デバイスを使用できるように、入力デバイスを同期化することも含むことができる。

工程５２０において、一つ以上のウィンドウにおけるユーザインタラクションを検出する。ユーザインタラクションは、コンピューティングデバイスのモニタのメインディスプレイ画面から出た一つ以上のウィンドウ領域の動きを含むことができる。一実施形態において、ウィンドウの動きについて、ウィンドウがモニタから移動した動きの順序及び方向または側面も特定することができる。例えば、ユーザインタラクションは、モニタの右側または左側から出た一つ以上のウィンドウの動きを特定することができる。

Claims

プライマリディスプレイを有するプライマリコンピューティングデバイスに近接するメガネコンピューティングデバイスの存在を検出し、前記プライマリコンピューティングデバイスの前記プライマリディスプレイがコンテンツを表示するように構成されており、前記メガネコンピューティングデバイスがセカンダリディスプレイを含み、
前記メガネコンピューティングデバイスを前記プライマリコンピューティングデバイスにリンクし、
前記プライマリディスプレイと相対的な前記メガネコンピューティングデバイスのビュー方向を検出し、
前記プライマリディスプレイに表示された前記コンテンツに加えて、前記セカンダリディスプレイに追加のコンテンツを表示し、前記セカンダリディスプレイが、前記プライマリディスプレイに表示された前記コンテンツの範囲を越えたコンテンツをビューするための前記プライマリディスプレイの拡張部であり、
プロセッサによって実行される、方法。
追加のコンテンツの選択を検出することをさらに含み、前記検出によって、前記選択された追加のコンテンツが前記メガネディスプレイ画面から前記メインディスプレイ画面に移動することによって、前記コンピューティングデバイスに提供されたコントロールを使用した前記メインディスプレイ画面における前記選択された追加のコンテンツとのインタラクションを可能にする、請求項８に記載の方法。
前記メガネが、前記コンピューティングデバイスに通信可能に接続するためのプロセッサ及びネットワーク接続インターフェースを含み、前記メガネの前記ネットワーク接続インターフェースが、前記コンピューティングデバイスとインタラクトするための無線接続プロトコルを使用する、請求項１５に記載の方法。
前記同期化によって、前記セカンダリディスプレイ画面内に移動した前記ウィンドウとインタラクトするための、前記コンピューティングデバイスの入力及び出力デバイスの使用が可能になる、請求項１５に記載の方法。
前記セカンダリディスプレイ画面に提示されているウィンドウの選択を受信することをさらに含み、前記選択によって、前記セカンダリディスプレイ画面上の表示を継続しつつの、前記選択されたウィンドウに表示された前記アプリケーションとのインタラクションを可能にする、請求項１５に記載の方法。
前記ペアリングによって、前記セカンダリディスプレイ画面に表示された前記コンテンツとインタラクトするための、前記コンピューティングデバイスの入力及び出力デバイスの使用を可能にする、請求項２７に記載の方法。