JP2017526030A - 仮想環境内の相互作用を提供するための方法とシステム - Google Patents

Abstract

本発明は装置上に表示される仮想環境内の相互作用を提供する方法に関する。本方法は、仮想カメラを仮想環境内で配向するための入力をユーザから受信する工程であって、仮想環境が複数のオブジェクトを含み、複数のオブジェクトの少なくともいくつかはタグ付けされる、工程と、タグ付きオブジェクトが仮想カメラの規定視野範囲内に存在する場合に、タグ付きオブジェクトに関連付けられた１つまたは複数の行為をトリガする工程とを含む。システムとコンピュータプログラムコードもまた開示される。

Description

本発明は仮想環境の分野のものである。より具体的には、限定しないが、本発明は仮想環境内の相互作用に関する。

計算システムは様々なタイプの視覚化システムを提供する。使用される１つの視覚化システムは仮想環境である。仮想環境は、仮想環境内で配向される仮想カメラからの視野をユーザへ表示する。仮想カメラの配向を変更するための入力がユーザから受信される。

仮想環境は娯楽、教育、医療、および科学を含む多くの分野において使用される。

仮想環境を表示するための技術は、デスクトップ／ラップトップコンピュータ、タブレットおよびスマートフォンなどの携帯装置、Ｏｃｕｌｕｓ Ｒｉｆｔ（商標）などの仮想現実ヘッドセットを含み得る。

内部ジャイロスコープを有するいくつかの携帯装置では、ユーザは携帯装置を動かすことにより仮想カメラを配向し得、携帯装置はそのジャイロスコープから導出されるその配向を利用して仮想カメラを仮想環境内に配置する。

ユーザは、頭を回転および傾斜することにより仮想現実ヘッドセット内の仮想カメラを配向する。

１つのこのような仮想環境はＧｏｏｇｌｅ Ｓｐｏｔｌｉｇｈｔ Ｓｔｏｒｉｅｓ（商標）により提供される。Ｓｐｏｔｌｉｇｈｔ Ｓｔｏｒｉｅｓ（商標）はスマートフォン用に提供される３６０度アニメ映画（ａｎｉｍａｔｅｄ ｆｉｌｍ）である。ユーザは、スマートフォンを動かすことにより仮想カメラを仮想環境内で配向し得る。内部ジャイロスコープを介し、スマートフォンはスマートフォンの配向を仮想カメラの配向へ変換する。次に、ユーザは、選択した視野から線形アニメーションを見、同アニメーション中に視野を変更し得る。

いくつかのアプリケーションでは、仮想環境内の相互作用を可能にすることが望ましいだろう。相互作用は通常、デスクトップ／ラップトップコンピュータのタッチパッドまたはポインティング装置（例えばマウス）を介し、携帯型装置のタッチスクリーンを介し、および仮想現実ヘッドセット上のボタンを介し提供される。

従来技術により提供される相互作用の性質およびアプリケーションは、仮想環境の利用を介し提供され得る様々なタイプの双方向経験において制限される。例えば、ユーザは、特定入力を与えることにより相互作用を意識的にトリガしなければならなく、携帯型装置および仮想現実ヘッドセットの入力を受信するためのユーザインターフェースは厄介であり得る。すなわち、タッチスクリーン上の指が携帯型装置のディスプレイの一部を遮断し、ユーザは仮想現実ヘッドセット内で押さなければならないボタンを見ることができない。

したがって、仮想環境内の相互作用を提供するための改良された方法およびシステムの要望がある。

本発明の目的は、仮想環境内の相互作用を提供するための方法およびシステムであって従来技術の欠点を克服するまたは少なくとも役立つ代替案を提供する方法およびシステムを提供することである。

本発明の第１の態様によると、装置上に表示される仮想環境内の相互作用を提供する方法が提供される。本方法は、仮想カメラを仮想環境内に配向するための入力をユーザから受信する工程であって、仮想環境は複数のオブジェクトを含み、複数のオブジェクトの少なくともいくつかはタグ付けされる、工程と、タグ付きオブジェクトが仮想カメラの規定視野範囲内に存在するとタグ付きオブジェクトに関連付けられた１つまたは複数の行為をトリガする工程とを含む。

本発明の別の態様によると、仮想環境内の相互作用を提供するためのシステムが提供される。本システムは、複数のオブジェクトを含む仮想環境を定義するためのデータを格納するように構成されたメモリであって、複数のオブジェクトの少なくともいくつかはタグ付けされる、メモリと、仮想カメラを仮想環境内で配向するための入力をユーザから受信するように構成された入力手段と、仮想カメラからの視野をユーザへ表示するように構成されたディスプレイと、上記入力に従って仮想カメラを配向するように、および仮想カメラの視野範囲内のタグ付きオブジェクトに関連付けられた１つまたは複数の行為をトリガするように構成されたプロセッサとを含む。

本発明の別の態様によると、仮想環境内の相互作用を提供するためのコンピュータプログラムコードが提供される。本コンピュータプログラムコードは、実行されると、仮想環境内の複数のタグ付きオブジェクトを生成し、各タグ付きオブジェクトと１つまたは複数の行為とを関連付けるように構成された生成モジュールと、実行されると、仮想カメラから仮想環境内への投射を生成し、投射と可視タグ付きオブジェクト間の交差点を検知し、交差したタグ付きオブジェクトに関連付けられた行為をトリガするように構成されたトリガモジュールとを含む。

本発明の別の態様によると、仮想環境内の相互作用を提供するためのシステムが提供される。本システムは、生成モジュールと、トリガモジュールと、複数のオブジェクトを含む仮想環境を定義するためのデータとを格納するように構成されたメモリと；複数のタグ付きオブジェクトと、仮想環境内の各タグ付きオブジェクトに関連付けられた１つまたは複数の行為とを生成するための入力をアプリケーション開発者から受信するように構成されたユーザ入力と；仮想環境内の複数のタグ付きオブジェクトと、各タグ付きオブジェクトに関連付けられた１つまたは複数の行為とを生成するために生成モジュールを実行するように、およびトリガモジュールを取り込むアプリケーションプログラムをコンパイルするように構成されたプロセッサとを含む。

本発明の他の態様は特許請求の範囲に記載される。

本発明の実施形態について、一例として、以下の添付図面を参照し次に説明する。

本発明の実施形態によるシステムを示すブロック図を示す。 本発明の実施形態による方法を示す流れ図を示す。 本発明の実施形態によるコンピュータプログラムコードを示すブロック図を示す。 本発明の実施形態によるシステムを示すブロック図を示す。 本発明の様々な実施形態による方法を示すブロック図を示す。 本発明の実施形態による方法を示す流れ図を示す。 本発明の実施形態による、仮想環境に対して物理的装置を配向することを示す図を示す。 本発明の実施形態による、ユーザが仮想シーン内の仮想カメラを配向することを示す図を示す。 本発明の実施形態による、ユーザがタブレット装置を配向することを示す図を示す。 本発明の実施形態による、ユーザが仮想現実ヘッドセット装置を配向することを示す図を示す。 本発明の実施形態による、「ＧａｚｅＯｂｊｅｃｔｓ」における事象をトリガすることを示す図を示す。 本発明の実施形態による、近接ゾーン内の「ＧａｚｅＯｂｊｅｃｔｓ」における事象をトリガすることを示す図を示す。 本発明の実施形態によるトリガ方法を示す流れ図を示す。 本発明の実施形態に従ってトリガされる様々な事象を示す図を示す。 本発明の実施形態による仮想シーン内の他のどこかで事象をトリガする「凝視された」オブジェクトを示す図を示す。 本発明の実施形態による立体音響（ｓｐａｔｉａｌｉｓｅｄ ｓｏｕｎｄ）を示す図を示す。 本発明の実施形態と共に使用するタブレットおよびヘッドフォンを示す。

本発明は仮想環境内の相互作用を提供するための方法とシステムを提供する。

本発明者らは、仮想３Ｄ環境内のユーザによる仮想カメラの配向がユーザの凝視としたがって当該仮想空間内のそれらの関心事とを近似することを発見した。これに基づき、本発明者らは仮想環境内の「凝視された」オブジェクトへ結び付けられた行為をトリガするためにこの「凝視」を単独で利用し得るということを理解した。この「凝視」可能環境は相互作用を提供または拡張する。本発明者らは、３Ｄ仮想世界内の相互作用ナレーティブ経験はユーザによりスクリプトされ得るがトリガされ得ないのでこの「凝視」可能環境は同経験を提供するのに特に有用であり得るということを発見した。

図１に、本発明の実施形態によるシステム１００が示される。

システム１００はディスプレイ１０１、入力１０２、プロセッサ１０３およびメモリ１０４を含む。

システム１００はまた、音声出力１０５を含み得る。音声出力１０５はステレオスピーカまたはヘッドフォン、またはサラウンド音声システムなどの多チャンネル音声出力であり得る。

ディスプレイ１０１は仮想カメラの視野からの仮想環境を表示するように構成され得る。ディスプレイ１０１は、例えばＬＥＤ／ＬＣＤディスプレイ、携帯装置上のタッチスクリーンまたは仮想現実ヘッドセットのデュアル左右眼ディスプレイであり得る。

入力１０２は仮想カメラを仮想環境内で配向するための入力をユーザから受信するように構成され得る。入力１０２は、例えばジャイロスコープ、コンパスおよび／または加速度計のうちの１つまたは複数のものであり得る。

仮想環境は複数のオブジェクトを含み得る。複数のオブジェクトのいくつかはタグ付けされ得るまたは１つまたは複数の行為に関連付けられ得る。

プロセッサ１０３は、ユーザに表示するための仮想カメラの視野を生成し、仮想カメラを仮想環境内で配向するための入力を受信および処理し、仮想カメラの視野範囲内に存在するタグ付きオブジェクトに関連付けられた１つまたは複数の行為をトリガするように構成され得る。

これらの行為は、仮想環境内の視覚または音声変化、ディスプレイ１０１を介した他のユーザ出力、音声出力１０５、または任意の他のタイプのユーザ出力（例えば振動モータを介した振動）、別の装置における活動、またはネットワーク活動であり得る。

これらの行為は、任意のオブジェクトではなく、タグ付きオブジェクト、仮想環境内の他のオブジェクトに関係し得る。

視野範囲は、仮想カメラの全視野、または仮想カメラからの投射により生成される視野であり得る。投射は、光線、または別のタイプの投射（例えば円錐投射）であり得る。投射は、仮想カメラの中心から仮想環境内へ向けられ得る。

メモリ１０４は、複数のオブジェクトを含む仮想環境を定義するデータ、複数のオブジェクトのうちのどれがタグ付けされているかを識別するデータ、行為をタグ付きオブジェクトへマッピングするデータ、および行為を定義するデータを格納するように構成され得る。

ディスプレイ１０１、入力１０２、メモリ１０４および音声出力１０５は、プロセッサ１０３へ独立に、組み合わせて、または通信バスを介し接続され得る。

システム１００は好適には、デスクトップ／ラップトップコンピュータなどの個人用ユーザ装置、タブレットなどの携帯計算装置、スマートフォン、またはスマートウォッチ、仮想現実ヘッドセットまたは特注装置である。システム１００は１つまたは複数の通信システムを介しリンクされる複数の装置全体にわたって分散され得るということが理解される。例えば、ディスプレイ１０１および入力１０２は、通信ネットワーク（例えばｗｉｆｉまたはＢｌｕｅｔｏｏｔｈ(登録商標)）を介しプロセッサ１０３へ、およびタブレットまたはスマートフォンなどの計算装置内のメモリ１０４へリンクされる仮想現実ヘッドセットの一部であり得る。

一実施形態では、携帯計算装置は、Ｇｏｏｇｌｅ Ｃａｒｄｂｏａｒｄ（商標）、Ｓａｍｓｕｎｇ Ｇｅａｒ（商標）またはＨＴＣ Ｖｉｖｅ（商標）などのヘッドセットを介しユーザに対し適所に保持され得る。

ここで、入力１０２およびディスプレイ１０１は携帯計算装置の一部を形成し、入力１０２はジャイロスコープ、コンパス、および／または加速度計のうちの１つまたは複数であり、したがって、装置全体の運動が仮想カメラを仮想環境内で配向し得る。入力１０２は、装置の配向が仮想カメラの配向と１対１で対応するように仮想カメラの配向へ直接関連付けられ得る。

図２を参照して、本発明の実施形態による方法２００について説明する。

方法２００は、例えばＵｎｉｔｙなどの仮想環境開発プラットホームを使用することにより１人または複数のアプリケーション開発者により少なくとも部分的に定義または生成された仮想環境を利用し得る。仮想環境の生成中、アプリケーション開発者はタグ付きオブジェクトを生成または定義し、これらのタグ付きオブジェクトのそれぞれと１つまたは複数の行為とを関連付け得る。

いくつかの実施形態では、タグ付きオブジェクトおよび／または関連付けられた行為は、完全にまたは部分的に、プログラム的に、およびアプリケーション開発者からの入力に応答してまたは一実施形態ではユーザによる仮想環境との相互作用中に動的に、または別の実施形態ではユーザ以外の１つまたは複数のパーティからの入力に応答して生成され得る。

仮想環境は１つまたは複数のシーンから構成され得る。シーンは３Ｄ空間内に配置された複数のオブジェクトから構成され得る。シーンは、初期仮想カメラ配向により定義され得、仮想カメラの再配向に対する制限（例えば、回転運動だけ、または水平運動だけ等）を含み得る。シーン内のオブジェクトは静的であり得る（すなわち、オブジェクトの状態または位置が変わらない）または動的であり得る（例えば、オブジェクトは、３Ｄ空間内でアニメーション化されるまたは並進運動を受け得る）。スクリプトまたは規則がオブジェクトに対する修正を定義し得る。

工程２０１では、仮想カメラから仮想環境内への視野がユーザへ（例えばディスプレイ１０１上に）表示される。視野は、仮想カメラに「可視」である１つまたは複数のオブジェクトの少なくとも一部の表示を含み得る。オブジェクトは境界により仮想環境内に境界を定められ得る。境界は、仮想環境内の３Ｄオブジェクトを規定し得る。境界は静的または動的であり得る。「可視」オブジェクトは、仮想カメラから仮想環境内への投射と交差するオブジェクトであり得る。

工程２０２では、ユーザは、仮想カメラを仮想環境内で配向するための入力を（例えば入力１０２を介し）提供する。仮想カメラを再配向することで、工程２０３により示されるようにユーザへ表示される視野を変更し得る。

工程２０４では、仮想カメラの規定視野範囲内のタグ付きオブジェクトに関連付けられた１つまたは複数の行為が（例えばプロセッサ１０３により）トリガされる。視野範囲は、仮想カメラからの投射により形成される複数の視野の１つとして定義され得る。様々な投射の例が図５ａ〜５ｃに示される。様々な投射の例は、仮想カメラから仮想環境内へ投射する光線、仮想カメラから仮想環境内へ投射する円錐、または仮想カメラの全視野（例えば仮想環境内へ投射された、ユーザへ表示される視野の寸法の直角投射）を含み得る。次に、別の入力が、工程２０５により示されるようにユーザから受信され得る。

規定トリガ期間は、行為に、タグ付きオブジェクトに、またはグローバルに関連付けられ得る。１つまたは複数の行為は、タグ付きオブジェクトが全規定期間の間規定視野範囲内に存在するとトリガされ得る。トリガ期間の代替実施形態が可能であるということが理解される。例えば、タグ付きオブジェクトは、トリガ期間をリセットすることにより視野範囲外の閾値以下の期間を許可され得る。または、タグ付きオブジェクトは視野範囲内の反復発生によりトリガ期間を累積し得る。

行為は、以下の発生のうちの１つまたは複数を明示し得る：
ａ）オブジェクトのアニメーションなどの視覚的変化（例えばスプライトアニメーション、スケルトンアニメーション、３Ｄアニメーション、パーティクルアニメーション）、視環境内のアニメーション（天候アニメーションなど）、または他の視覚的修正（視野を明るくする／暗くする、またはユーザインターフェース要素の外観を変更する等）、
ｂ）特定／すべてのオーディオトラックの再生または停止、特定オーディオトラックのダッキング、および特定／すべてのオーディオトラックに対する他のボリューム変更などの音声変更、
ｃ）ユーザインターフェース機能を追加、除去、またはそうでなければ修正するなどのプログラム的変更、
ｄ）振動などの任意の他のユーザ出力、
ｅ）ネットワークメッセージ（例えば、ローカル接続された装置へのｗｉｆｉまたはＢｌｕｅｔｏｏｔｈメッセージ、またはサーバへのインターネットメッセージ）、
ｆ）装置上で実行する他のアプリケーションへのメッセージ、
ｇ）装置におけるデータの修正、
ｈ）視野変更（例えば、仮想カメラはシーン内の別の位置および配向へジャンプし得る、または全シーンは変わり得る）、
ｉ）シーンに関して定義されたスクリプト内の分岐の選択またはシーンに関して定義されたスクリプトの修正（例えば、分岐ナレーティブが仮想環境に関して定義された場合、一方の分岐は他方の分岐上で活性化または選択され得る）。

発生は、行為に関連付けられたタグ付きオブジェクト、シーン内の他のオブジェクト、または別のシーン内のオブジェクトに関係し得る。

いくつかの実施形態では、行為が音声変更を明示すると、音声変更のうちの少なくともいくつかは「音声が仮想環境内の特定オブジェクトを起源とするように出現する」ということをユーザが識別し得るように３Ｄ空間内に局地化され得る。特定オブジェクトはタグ付きオブジェクトであり得る。音声は、タグ付きオブジェクトが規定視野範囲内に存在するかどうかに基づきそのボリュームが変わり得る（例えば、ボリュームはタグ付きオブジェクトが規定視野範囲外に存在する場合には下げられ得る）。

いくつかの実施形態では、タグ付きオブジェクトに関連付けられた行為もまた、視野範囲内に入ることなく他の因子によりトリガされ得る。例えば、シーンの開始により始動されるカウントダウンタイマ、別の行為をトリガすること、ネットワーク信号を受信すること、別の入力を受信すること、および／または仮想環境に関係する事象（例えば、特定のオーディオ再生条件、表示状態など）の発生による。

規定遅延時間は、行為に、タグ付きオブジェクトに、またはグローバルに関連付けられ得る。一回トリガされた１つまたは複数の行為は、発生が明示される前に規定遅延時間が経過するまで待ち得る。

いくつかの実施形態では、１つまたは複数の行為は、関連付けられたタグ付きオブジェクトがもはや規定視野範囲内に存在しない場合に停止または変化するためにトリガされ得る。

いくつかの実施形態では、行為の少なくともいくつかだけが一回トリガされ得る。

いくつかの実施形態では、行為の少なくともいくつかは、行為をトリガするために満足されなければならない追加条件を含む。追加条件は、タグ付きオブジェクト内への投射からの入射角、タグ付きオブジェクトに対する投射の動き、カメラ、湿度センサなどの他の装置入力、時刻、天気予報などのうちの１つまたは複数を含み得る。

一実施形態では、特定行為が各タグ付きオブジェクトと直接関連付けられる。別の実施形態では、タグ付きオブジェクトは（例えば等級に）分類され得、等級は、当該等級のすべてのタグ付きオブジェクトがそれらの等級の関連行為に関連付けられるように特定行為に関連付けられ得る。

いくつかの実施形態では、オブジェクトに関連付けられた行為は、仮想カメラがまたオブジェクトに近接するとトリガされる。近接性は、グローバルベースまたはオブジェクト／オブジェクトタイプ固有ベースで規定され得る。オブジェクトの近接性閾値は、仮想カメラがオブジェクトまで所定距離内に存在する場合または仮想カメラが、オブジェクトを囲む規定周囲内に存在する場合に満足するように定義され得る。

図３を参照して、本発明の実施形態によるコンピュータプログラムコード３００について説明する。

生成モジュール３０１が示される。生成モジュール３０１は、プロセッサ上で実行されると仮想環境において使用される複数のタグ付きオブジェクトのアプリケーション開発者による生成と、各タグ付きオブジェクトと１つまたは複数の行為との関連付けとを可能にするコードを含む。

トリガモジュール３０２が示される。トリガモジュール３０２は、プロセッサ上で実行されると仮想カメラから仮想環境内への投射と交差するタグ付きオブジェクトに関連付けられた１つまたは複数の行為をトリガするコードを含む。

コンピュータプログラムコード３００は、フラッシュメモリまたはハードドライブなどの非一時的コンピュータ可読媒体（例えば装置またはサーバー内の）またはダイナミックメモリなどの一時的コンピュータ可読媒体上に格納され、通信信号などの一時的コンピュータ可読媒体を介し（例えば、サーバから装置までのネットワーク全体にわたって）送信され得る。

コンピュータプログラムコード３００の少なくとも一部は、複数のユーザ装置への配備のための実行可能形式にコンパイルされ得る。例えば、トリガモジュール３０２は、仮想環境生成コードおよび他のアプリケーションコードと共に、ユーザ装置上の使用のための実行可能アプリケーションにコンパイルされ得る。

図４に、本発明の実施形態によるシステム４００が示される。

システム４００は、メモリ４０１、プロセッサ４０２およびユーザ入力４０３を含む。

メモリ４０１は、図３に関して説明したコンピュータプログラムコードと、Ｕｎｉｔｙなどの仮想環境開発ソフトウェアプラットフォームとを格納するように構成される。仮想環境開発プラットホームは、仮想環境内の複数のオブジェクトを生成する能力を含む。これらのオブジェクトは、静止オブジェクト、仮想環境内で動くオブジェクト、またはアニメーションオブジェクトであり得る。オブジェクトは、表示されると立体形状を形成する閉じたポリゴンで構成され得る、または、１つまたは複数の透明／半透明ポリゴンを含み得る、または一定容積の煙または霧、火、プラズマ、水などの視覚効果であり得る、または任意の他のタイプのオブジェクトであり得る。

アプリケーション開発者は、仮想環境開発ソフトウェアプラットフォームを使用することにより、双方向仮想環境を生成するための入力をユーザ入力４０３を介し提供し得る。

アプリケーション開発者は、複数のタグ付きオブジェクトを生成し同タグ付きオブジェクトと１つまたは複数の行為とを関連付けるために生成モジュールへ情報を提供するための入力をユーザ入力４０３を介し提供し得る。

プロセッサ４０２は、仮想環境を装置上に表示する命令、仮想カメラを配向するためのユーザ入力を受信する命令、および仮想カメラからの投射と交差するタグ付きオブジェクトに関連付けられた１つまたは複数の行為をトリガする命令を含むコンピュータプログラムコードを生成するように構成され得る。

図５ａ〜５ｃは、本発明の実施形態による、投射により形成される様々な視野範囲を示す。

図５ａは、仮想カメラから仮想環境内に投射された光線により規定される視野範囲を示す。仮想環境は複数のオブジェクトＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇを含む。これらオブジェクトのいくつかはタグ付きである（Ａ、Ｃ、Ｆ、Ｇ）。オブジェクトＡは光線がオブジェクトＡと交差するので光線の投射により規定された視野範囲内に存在するということがわかる。オブジェクトが不透明でありかつ非反射性であれば、投射は終了し得る。したがって、オブジェクトＢは視野範囲内に存在しない。次に、Ａに関連付けられた行為がトリガされ得る。

図５ｂは、仮想カメラから仮想環境内へ投射された円錐により規定された視野範囲を示す。オブジェクトＡ、Ｃ、Ｄは光線の投射により規定された視野範囲内に入るということがわかる。したがって、ＡおよびＣに関連付けられた行為がトリガされ得る。

図５ｃは、仮想カメラの全視野により規定された視野範囲を示す。全視野を形成する投射はＡ、Ｃ、Ｄ、Ｅ、Ｆと交差するということがわかる。したがって、Ａ、Ｃ、Ｆに関連付けられた行為がトリガされ得る。

次に、本発明のいくつかの実施形態について図６〜図１２を参照して説明する。本発明のこれらの実施形態は「凝視（Ｇａｚｅ）」と呼ばれる。

凝視実施形態は、携帯装置、仮想現実ヘルメットおよびデプスタブレット（ｄｅｐｔｈ ｔａｂｌｅｔ）などの任意のジャイロスコープ使用可能装置を使用する双方向経験の生成システムを提供する。凝視はまた、ユーザと仮想環境間の複雑なトリガベース相互作用コンテンツの開発および生成を簡単化し得る。

凝視実施形態は、図６に示すように仮想環境内の様々な行為をユーザが仮想カメラで見るだけでそれらをトリガできるようにする。相互作用要素は、時間、他の相互作用要素のトリガおよびオブジェクト衝突などの複数の要因に基づきトリガされ得る。凝視実施形態はまた、オブジェクトがトリガされると同オブジェクトが他のオブジェクトもまたトリガし得るように連鎖反応を設定できるようにし得る。

凝視実施形態のいくつかは、その内部ライブラリおよびグラフィックユーザインターフェース（ＧＵＩ）機能のいくつかを使用することによりＵｎｉｔｙ３Ｄソフトウェア環境内に配備され得る。代替の３Ｄソフトウェア開発環境が使用され得るということが理解される。

凝視実施形態のほとんどの要素は、チェックボックス、テキストフィールドまたはボタンを含むコンポーネントプロパティを介し標準的Ｕｎｉｔｙ編集者において直接設定され得る。

カメラ
Ｕｎｉｔｙにおいて利用可能な標準的カメラは、以下のように記述されるコードの２つのスクリプトの追加により強化される。

１．ジャイロスクリプトは、アプリケーションを実行する物理的装置の運動に応じてカメラを移動できるようにする。タブレット装置が仮想環境に対して回転される例を図７ａに示す。タブレット装置は、仮想カメラと物理的装置間の空間的運動を３次元軸上で１対１に翻訳する。仮想シーン内の仮想カメラの３次元運動を図７ｂに示す。

装置は、ゴーグルヘルメット（ゴーグルヘルメットを装着するユーザの頭の運動が図７ｂに示す運動へ変換される図７ｃに示す）、タブレットのような方位センサを有する携帯装置（物理的世界内のタブレットの配向が図７ｂに示す運動へ変換される図７ｄに示す）または配向センサ（例えばジャイロスコープ、コンパス）を有するスマートフォンまたは任意の他のシステムを含み得る。

２．光線放射器スクリプト（ｒａｙ ｃａｓｔｅｒ ｓｃｒｉｐｔ）は、カメラにカメラが見ているものを気付かせるようにする。光線放射器は、光線をカメラからその見る角度に向けて真っすぐに発射する。これにより、光線放射器は、どのオブジェクトがカメラの前に存在し直接見られているかをスクリプトに知らしめる。次に、スクリプトは、このような情報を知ることに興味を持つコンポーネントに通知する。光線スクリプトを実行する例を、仮想カメラから放出された光線が「ＧａｚｅＯｂｊｅｃｔ」と衝突する図８ａに示す。衝突は、ＧａｚｅＯｂｊｅｃｔにおける事象と、同じおよび異なる仮想シーン内の他のＧａｚｅＯｂｊｅｃｔｓにおける事象とをトリガする。

スクリプトは、Ｕｎｉｔｙ編集者ウィンドウ内のテキストフィールド内に数字（光線が放たれる前の数秒の時間を表す）を入力することにより上述のプロセスの活性化を遅らせる選択肢を有する。

光線は、無限遠点に放たれ得、交差する任意数の凝視可能オブジェクトを検知し、それらと相互作用することができる。

凝視可能オブジェクト
Ｕｎｉｔｙ内のあらゆるＧａｍｅＯｂｊｅｃｔは「ＧａｚｅｄＯｂｊｅｃｔ」と呼ばれるものに変えられ得る。このことは、Ｕｎｉｔｙのシーンビュー（ｓｃｅｎｅ ｖｉｅｗ）内のあらゆるオブジェクトが潜在的に凝視相互作用システムの一部であり得るということを意味する。ＧａｚｅｄＯｂｊｅｃｔを生成するために、Ｕｎｉｔｙプレファブ（ｐｒｅｆａｂ）が生成される。このオブジェクトはシーンビュー内に投入され、以下の３つの個別部分を含む。

ルート−ＧａｚｅｄＯｂｊｅｃｔの階層内の最上位要素。シーンビュー内のＧａｚｅｄＯｂｊｅｃｔプレファブ構造全体を動かすためのアニメータ（ａｎｉｍａｔｏｒ）を含む。

「トリガ」チャイルド−ＧａｚｅｄＯｂｊｅｃｔに関連付けられたすべてのトリガ（トリガはさらに説明される）を含む。「トリガ」チャイルドはまた、ＧａｚｅｄＯｂｊｅｃｔがカメラにより凝視されていることを通知する責任を負うコライダー（ｃｏｌｌｉｄｅｒ）を含む。

「スロット」チャイルド−ＧａｚｅｄＯｂｊｅｃｔに関連付けられたすべてのＧａｍｅＯｂｊｅｃｔ（スプライト、３Ｄモデル、音声等）を含む。「スロット」ペアレントへ加えられる各スロットは全ＧａｍｅＯｂｊｅｃｔの１つまたは複数のコンポーネントを表す。例えば、Ｈｕｍａｎ ＧａｚｅｄＯｂｊｅｃｔのスロットコンポーネントは６つのチャイルド（ボディに１つ、各腕に１つ、各脚に１つ、頭に１つ）を含む可能性がある。スロットチャイルドはまた、自身が含むチャイルドコンポーネントをアニメ―ション化する責任を負うアニメータを有する。

トリガ
ＧａｚｅｄＯｂｊｅｃｔプレファブ内の「トリガ」と名付けられたチャイルドは１つまたは複数のチャイルドを含む。各チャイルドはトリガ自体である。トリガは、以下の事象のうちの１つにより発射され得る：
・２つのＧａｍｅＯｂｊｅｃｔ（Ｕｎｉｔｙ内のコライダーオブジェクト）間の衝突。
・（凝視技術を介し）カメラにより凝視されるＧａｍｅＯｂｊｅｃｔ。
・シーンのロードから始まる期間（秒）またはＧａｚｅｄＯｂｊｅｃｔ内に含まれる別のトリガに対する期間（秒）のいずれか。

Ｔｒｉｇｇｅｒ ＧａｍｅＯｂｊｅｃｔは、４つのコンポーネント、すなわち標準的Ｕｎｉｔｙの一部としての「音源」コンポーネント、「トリガアクティベータ（Ｔｒｉｇｇｅｒ Ａｃｔｉｖａｔｏｒ）」スクリプト、「オーディオプレイヤー」スクリプトおよびカスタムスクリプトを含む。各スクリプトの説明は次のとおりである。

「トリガアクティベータ」は、トリガチャイルドＧａｍｅＯｂｊｅｃｔが活性状態になる時間と、他のトリガとの潜在的依存性とを規定するスクリプトである。「トリガアクティベータ」は、それらの様々な値を設定するためにユーザへ以下のグラフィック領域を表示する。

「自律的（Ａｕｔｏｎｏｍｏｕｓ）」は、トリガが別のＧａｚｅｄＯｂｊｅｃｔのトリガに依存するかどうかまたは自律的であるかどうかを規定する編集可能チェックボックスである。チェックボックスがチェックされれば、「活性化継続（Ａｃｔｉｖａｔｉｏｎ Ｄｕｒａｔｉｏｎ）」および「待ち時間（Ｗａｉｔ Ｔｉｍｅ）」はＵｎｉｔｙシーンの開始により設定される時間から相対的となる。そうでなければ、これらは別のＧａｚｅｄＯｂｊｅｃｔのトリガの開始時刻に依存することになる。

「待ち時間」は、そのトリガが活性化された時間から、カスタムスクリプト（さらに説明される）内に規定された行為を立ち上げる前の所望時間量（秒）を設定するために使用される編集可能テキストフィールドである。

「自動トリガ」は、いかなるトリガ（衝突、凝視、または時間関連）も発生しなかったとしてもチェックされれば、規定「待ち時間」へ加えられた「活性化継続」時間の終わりに達するとトリガが発射されなければならないかどうかを規定する任意選択ボックスである。チェックされなければ、いかなる行為も、この時間窓中にいかなるトリガも発生しなければなされない。

「再ロード」は、トリガが再度トリガされ得るようにトリガされた後にリセットされるようにする任意選択ボックスである。

「インフィニット（ｉｎｆｉｎｉｔｅ）」は活性化の期間が無限かどうかを規定するために使用される選択肢である。

「近接性（ｐｒｏｘｉｍｉｔｙ）」は、行為をトリガすることができるためにカメラが規定距離まで接近していなければならないかどうかを規定する選択肢である。カメラが十分に近いと見なされるように入らなければならないこの距離はコライダ（非可視の立方体）により規定される（図８ｂ、８ｃ、８ｄに示すように）。

ＧａｚｅＯｂｊｅｃｔｓにおける事象をトリガすることを示す流れ図が図９に示される。

ユーザが仮想カメラを制御する能力を有する完全没入型（３次元軸ｘ／ｙ／ｚ上３６０°）仮想環境内の双方向経験はこれまで決してなされなかった。

見られたときに環境内の音源を優先させるのを助けるために、音声もまた凝視システムにより提供され得る。

凝視実施形態は、従来技術を越える以下の改善を提供する：ユーザはトリガに気付かなくても良く、これらのトリガは前記環境内のユーザの焦点合わせだけにより活性化され得る。したがって、いかなる物理的または仮想的ジョイスティックも必要無い。

ユーザ装置は、スマートフォン、ディジタルタブレット、携帯ゲームコンソールまたは仮想現実ヘッドセットなどの装置、または仮想カメラの配向により様々な事象をトリガすることができる他の装置を含み得る。さらに、空間的アプリケーションはｉＯＳ、Ｍａｃ、Ａｎｄｒｏｉｄ、Ｗｉｎｄｏｗｓを含む様々なオペレーティングシステム上でアクセスされ得る。

１つまたは複数の実施形態では、本システムは、ジャイロスコープ可能装置（例えば、スマートフォン、ディジタルタブレット、携帯ゲームコンソール、または仮想現実ヘッドセット）を使用しそして仮想カメラの配向により様々な事象をトリガすることにより（ユーザにより意図的にまたは無意識に）、ユーザが３Ｄ環境内で仮想カメラによりナビゲートできるようにする。一例として、装置のスクリーンは、仮想世界の像を含み得る。さらに、仮想カメラは、仮想世界内のすべての要素の可能トリガとして働く光線を放ち得る。一実施形態では、この光線が仮想世界内の要素に当たると、図１０ａに示すように様々なタイプの事象、例えばアニメーション（仮想世界内の既存要素１０００または任意の新しい要素の任意の種類の変換を含む）、音声１００１、映像、シーン、パーティクルシステム１００２、スプライトアニメーション、配向の変更１００３、または任意の他のトリガ可能要素が活性化され得る。

具体的には、これらの事象は、光線のフィールド内だけでなく、図１０ｂに示すようにそのシーンまたは別のシーンの任意の他の角度に配置され得る。特に、各事象は下記条件のうちの任意の組み合わせによりトリガされ得る：光線の角度、事象が活性化され得る時間窓、光線が特定の角度であれば継続時間、光線の運動、装置（例えば、カメラ、湿度センサ、物理的装置）の様々な入力、時刻、天気予報、他のデータ、またはこれらの任意の組み合せ。

具体的には、この新しい双方向視聴覚技術は、３６０°環境が必要な任意の種類のアプリケーション：すなわち音声ベースナレーティブ、双方向映画、双方向グラフィック小説、ゲーム、教育プロジェクト、または任意の模擬環境（すなわち、自動車、シミュレータ、飛行機シミュレータ、船シミュレータ、医学またはヘルスケアシミュレータ、格闘シミュレータのような環境シミュレータ、危機シミュレータ等）を生成するために使用され得る。

凝視実施形態のうちのいくつかは、凝視技術が実時間でユーザの配向へそしてユーザにより見られる３Ｄシーンの要素へ適応化するので音声はより動的であり得るので、サラウンド３Ｄ音声の改善を提供する。立体音響を図１１に示す。立体音響は図１２に示すようなステレオヘッドフォン１２０１を有するタブレット１２００などのユーザ装置を介し送出され得る。

上記実施形態はハードウェア、ソフトウェアまたはその両方の組み合わせで配備され得るということが理解される。ソフトウェアは、１つまたは複数のプロセッサによる実行のために、フラッシュメモリなどの非一時的コンピュータ可読媒体上に格納されてもよいしネットワーク信号などの一時的コンピュータ可読媒体を介し送信されてもよい。

本発明のいくつかの実施形態の潜在的利点は、双方向仮想環境を提供するためにより簡単な装置が使用され得ること、相互作用を提供する機構は従来技術のシステムより使用するのがより容易であること、アプリケーション開発者が仮想環境とのアプリケーション内の可変相互作用をより容易に配備し得ること、および、新規な双方向経験（例えば、ユーザが相互作用を意識しない）が可能であることである。

本発明はその実施形態の説明により示され、実施形態はかなり詳細に説明されたが、添付特許請求範囲をこのような詳細に限定するまたはそれらにいかなるやり方でも制限することは本出願人の意図するものではない。追加の利点および修正は当業者には容易に思いつくであろう。したがって、より広い態様における本発明は、特定の詳細、代表的装置および方法、示され説明された例示的実施例に限定されない。したがって、出願人の一般的発明概念の精神または範囲から逸脱することなくこのような詳細からの逸脱がなされ得る。

Claims (41)

1. 装置上に表示される仮想環境内の相互作用を提供する方法であって、
   仮想カメラを前記仮想環境内で配向するための入力をユーザから受信する工程であって、前記仮想環境は複数のオブジェクトを含み、前記オブジェクトの少なくともいくつかはタグ付けされる、工程と、
   前記タグ付きオブジェクトが前記仮想カメラの規定視野範囲内に存在する場合に、前記タグ付きオブジェクトに関連付けられた１つまたは複数の行為をトリガする工程とを含む方法。
2. 前記仮想カメラから前記ユーザへの視野を前記装置上に表示する工程をさらに含む請求項１に記載の方法。
3. 前記行為の少なくとも１つは前記オブジェクトに関する、請求項１乃至２のいずれか一項に記載の方法。
4. 前記行為の少なくとも１つは前記仮想環境内の視覚的変化である、請求項１乃至３のいずれか一項に記載の方法。
5. 前記視覚的変化はアニメーションである、請求項４に記載の方法。
6. 前記行為の少なくとも１つは前記仮想環境内の音声変更である、請求項１乃至５のいずれか一項に記載の方法。
7. 前記音声変更は音声サンプルの再生である、請求項６に記載の方法。
8. 前記音声変更は現在再生中の音声サンプルの修正である、請求項６に記載の方法。
9. 前記修正は前記現在再生中の音声サンプルのボリュームを下げることである、請求項８に記載の方法。
10. 前記音声変更は、前記音声が前記仮想環境内の特定位置を起源として前記ユーザへ出現するように３Ｄ空間内で局地化される、請求項６乃至９のいずれか一項に記載の方法。
11. 前記行為の少なくとも１つは前記仮想カメラの配向を変更する、請求項１乃至１０のいずれか一項に記載の方法。
12. 前記行為の少なくとも１つはユーザ出力を生成する、請求項１乃至１１のいずれか一項に記載の方法。
13. 前記ユーザ出力は音声出力、視覚出力、触覚出力の組から選択される、請求項１２に記載の方法。
14. 前記ユーザ出力は振動である、請求項１３に記載の方法。
15. 前記行為の少なくとも１つは前記装置外で発生する、請求項１乃至１４のいずれか一項に記載の方法。
16. 前記仮想環境は双方向ナレーティブ娯楽に関する、請求項１乃至１５のいずれか一項に記載の方法。
17. 前記双方向ナレーティブ娯楽は分岐ナレーティブから構成され、分岐は、前記１つまたは複数の行為のうちの少なくとも１つをトリガすることにより前記ユーザにより選択される、請求項１６に記載の方法。
18. 前記視野範囲は前記仮想カメラから前記仮想環境内へ投射された光線により形成される視野として定義される、請求項１乃至１７のいずれか一項に記載の方法。
19. 前記タグ付きオブジェクトは前記光線がタグ付きオブジェクトと交差すると前記視野範囲内に存在する、請求項１８に記載の方法。
20. 前記視野範囲は、前記仮想カメラから前記仮想環境内へ投射された円錐により形成される視野として定義される、請求項１乃至１９のいずれか一項に記載の方法。
21. 前記視野範囲は前記仮想カメラの全視野として定義される、請求項１乃至２０のいずれか一項に記載の方法。
22. 前記装置は仮想現実ヘッドセットである、請求項１乃至２１のいずれか一項に記載の方法。
23. 前記装置は携帯装置である、請求項１乃至２２のいずれか一項に記載の方法。
24. 前記携帯装置はスマートフォン、タブレットまたはスマートウォッチである、請求項２３に記載の方法。
25. 前記ユーザは前記装置内の加速度計および／またはジャイロスコープを使用することにより前記仮想カメラを配向する、請求項１乃至２４のいずれか一項に記載の方法。
26. 前記装置の配向は前記仮想カメラの配向に対応する、請求項２５に記載の方法。
27. 前記１つまたは複数の行為は前記タグ付きオブジェクトがトリガの所定待ち時間の間前記仮想カメラの視野範囲内に存在するとトリガされる、請求項１乃至２６のいずれか一項に記載の方法。
28. 前記トリガの所定待ち時間はタグ付きオブジェクト毎に定義される、請求項２７に記載の方法。
29. 少なくとも１つの行為が所定活性化時間に関連付けられ、トリガされると前記少なくとも１つの行為は前記活性化時間の経過後に活性化される、請求項１乃至２８のいずれか一項に記載の方法。
30. 前記１つまたは複数の行為のうちの少なくとも１つのトリガは、次には別の行為をトリガする、請求項１乃至２９のいずれか一項に記載の方法。
31. 前記タグ付きオブジェクトのうちの少なくともいくつかに関連付けられた前記１つまたは複数の行為は前記仮想カメラがタグ付きオブジェクトに関係する近接性閾値内に存在するときのみトリガされる、請求項１乃至３０のいずれか一項に記載の方法。
32. 仮想環境内の相互作用を提供するシステムであって、
    複数のオブジェクトを含む仮想環境を定義するためのデータを格納するように構成されたメモリであって、前記複数のオブジェクトの少なくともいくつかはタグ付けされる、メモリと、
    仮想カメラを前記仮想環境内で配向するための入力をユーザから受信するように構成された入力手段と、
    前記仮想カメラからの視野を前記ユーザへ表示するように構成されたディスプレイと、
    前記入力に従って前記仮想カメラを配向するように、および前記仮想カメラの前記視野範囲内のタグ付きオブジェクトに関連付けられた１つまたは複数の行為をトリガするように構成されたプロセッサとを含むシステム。
33. 前記入力手段は加速度計および／またはジャイロスコープである、請求項３２に記載のシステム。
34. 前記表示手段と前記入力手段とを含む装置を含む請求項３２乃至３３のいずれか一項に記載のシステム。
35. 前記装置は仮想現実ヘッドセットである、請求項３４に記載のシステム。
36. 前記装置は携帯装置である、請求項３４に記載のシステム。
37. 仮想環境内の相互作用を提供するコンピュータプログラムコードであって、
    実行されると、仮想環境内の複数のタグ付きオブジェクトを生成し、各タグ付きオブジェクトと１つまたは複数の行為とを関連付けるように構成された生成モジュールと、
    実行されると、仮想カメラから仮想環境内への投射を生成し、前記投射と可視タグ付きオブジェクト間の交差点を検知し、前記交差したタグ付きオブジェクトに関連付けられた行為をトリガするように構成されたトリガモジュールとを含むシステム。
38. 請求項３７に記載のコンピュータプログラムコードを格納するように構成されたコンピュータ可読媒体。
39. 仮想環境内の相互作用を提供するシステムであって、
    生成モジュールと、トリガモジュールと、複数のオブジェクトを含む仮想環境を定義するためのデータとを格納するように構成されたメモリと、
    複数のタグ付きオブジェクトと、前記仮想環境内の各タグ付きオブジェクトに関連付けられた１つまたは複数の行為とを生成するための入力をアプリケーション開発者から受信するように構成されたユーザ入力と、
    前記仮想環境内の複数のタグ付きオブジェクトと、各タグ付きオブジェクトに関連付けられた１つまたは複数の行為とを生成するために前記生成モジュールを実行するように、および前記トリガモジュールを取り込むアプリケーションプログラムをコンパイルするように構成されたプロセッサとを含むシステム。
40. ディスプレイと入力とを有する装置のプロセッサによりに実行されると請求項１乃至３１のいずれか一項に記載の方法の工程を前記装置に実行させる命令を格納したコンピュータ可読記憶媒体。
41. 添付図面を参照して本明細書に説明したような仮想環境内の相互作用を提供する方法またはシステム。

Images