JP2016126766A - 仮想環境における仮想センサ - Google Patents

Abstract

【課題】触覚効果を生成するシステムを提供すること。【解決手段】触覚効果を生成するシステムは、環境特性、仮想物体及び物体特性情報を有する仮想環境を含む。プログラム式仮想センサを仮想環境内の仮想物体上に設置する。仮想環境のためのレンダリング・エンジンは、仮想環境をレンダリングする。仮想センサ用モジュールは、センサに関する位置及び時間を含む仮想センサ・データを受信し、仮想センサに関する加速度データ及び物体相互作用データを含むセンサ出力データを計算する。触覚トラック生成器は、センサ出力データに基づき触覚トラックを生成する。【選択図】図１

Description

一実施形態は、仮想センサを対象とする。より詳細には、一実施形態は、仮想環境内に触覚を生成するための仮想センサを対象とする。

触覚センサは、触覚効果を迅速に現実的に生成するために使用できる。例えば、センサは、現実世界の物体に追加でき、物体同士がそれらの環境内でどのように相互作用するかという物理的特性についてデータを収集できる。センサ・データは、映画環境又はオーサリング環境に付随する触覚効果をオーサリングするために使用でき、これらの触覚効果は、センサ・データで捕捉したものと同様の相互作用を有する。

触覚の設計者は、センサ・データに基づき、１つ又は複数の触覚出力デバイス上で再生するための触覚情報を開発できる。３次元（「３Ｄ」）アニメーション映画若しくは番組又は３Ｄ風景ゲームのようなオーサリング環境では、触覚の設計者は、触覚効果の開発時にセンサ・データを組み込むことができる。触覚効果は、触覚の設計者の専門的知識及び経験と共にセンサ・データを使用して決定できる。触覚の設計者は触覚トラックを生成でき、この触覚トラックは、触覚出力デバイス上で再生する際、触覚効果を生成することになる。

一実施形態は、環境特性、仮想物体及び物体特性情報を有する仮想環境内に触覚効果を生成するシステムである。プログラム式仮想センサを仮想環境内の仮想物体上に設置する。仮想環境のためのレンダリング・エンジンは、仮想環境をレンダリングする。仮想センサ用モジュールは、センサに関する位置及び時間を含む仮想センサ・データを受信し、仮想センサに関する加速度データ及び物体相互作用データを含むセンサ出力データを計算する。触覚トラック生成器は、センサ出力データに基づき触覚トラックを生成する。

一実施形態に従ったコンピュータ・サーバ／システムのブロック図である。 一実施形態に従った触覚効果を生成するために仮想センサを使用するシステムのフローチャートである。 一実施形態に従った仮想環境内で触覚効果を生成するために仮想物体情報を使用するシステムのフローチャートである。 一実施形態に従った仮想環境内で触覚効果を生成するために仮想物体情報又はセンサを使用するシステムのフローチャートである。 一実施形態に従った仮想環境内で触覚効果を生成するために仮想物体情報又はセンサを使用するシステムのフローチャートである。 一実施形態に従った仮想環境において仮想物体情報又はセンサ及び既存の触覚効果情報を使用して既存の触覚効果を修正するシステムのフローチャートである。 一実施形態に従った仮想環境内で衝突する２つの物体の図である。

実施形態により、設計者は、オーサリングする環境内に実際のセンサではなく１つ又は複数の仮想センサを設置することが可能になる。これらの仮想センサは、環境内でデータを収集でき、収集データの使用により触覚トラックを生成し、触覚デバイス上で再生又は更なる編集ができる。いくつかの実施形態では、既存の触覚効果トラックは、向上した触覚再生情報をもたらすように修正できる。

ビデオ・ゲーム又は他の仮想環境において、仮想センサを使用する物理的性質エンジンのレベルで触覚効果を自動生成することにより、空間化エンジンによって変更される別の複雑さの触覚効果のレイヤーを提供できる。更に、仮想センサは、完全に新しい触覚効果をリアルタイム・レンダリング環境（又は実行時間）内に即時に生成できるか、又は後の再生のために、生成したレンダリング環境内に生成できる。実施形態は、物体及び環境のコンピュータ・シミュレーションを実行する適用例を更に含む。他の使用法は、３Ｄ長編アニメーション映画等の映画アニメーションも含む。アニメーション映画内の全ての動作は、オーサリング・ツール又はフレームワーク内で設計しなければならないので、実施形態に従って衝突又は物理的特性を検出するシミュレーション・センサは、触覚トラックの自動生成を可能にし、動作をオーサリングする必要性を低減又は除去する。

図１は、一実施形態に従ったコンピュータ・サーバ／システム１０のブロック図である。単一システムとして示すが、システム１０の機能は、分散型システムとして実装できる。システム１０は、バス１２又は他の情報通信用通信機構、及びバス１２に結合した情報処理用プロセッサ２２を含む。プロセッサ２２は、あらゆる種類の汎用プロセッサ又は専用プロセッサとすることができる。システム１０は、プロセッサ２２が実行すべき情報及び命令を記憶するメモリ１４を更に含む。メモリ１４は、ランダム・アクセス・メモリ（「ＲＡＭ」）、読取り専用メモリ（「ＲＯＭ」）、磁気若しくは光学ディスク等の静的記憶装置、又はあらゆる他の種類のコンピュータ可読媒体の任意の組合せから構成できる。システム１０は、ネットワークへのアクセスを提供するネットワーク・インターフェース・カード等の通信デバイス２０を更に含む。したがって、ユーザは、システム１０と直接接続できるか、又はネットワーク若しくはあらゆる他の公知の方法を通じてリモートに接続できる。

コンピュータ可読媒体は、プロセッサ２２がアクセスできるあらゆる利用可能な媒体であってもよく、揮発性媒体及び不揮発性媒体の両方、取り外し可能取媒体及び取り外し不可能媒体並びに通信媒体を含む。通信媒体は、コンピュータ可読命令、データ構造、プログラム・モジュール、又は搬送波又は他の搬送機構等の被変調データ信号内の他のデータを含むことができ、あらゆる情報配信媒体を含む。

プロセッサ２２は、バス１２を介して液晶ディスプレイ（「ＬＣＤ」）等の表示装置２４に更に結合される。キーボード２６、及びコンピュータ・マウス等のカーソル制御デバイス２８は、バス１２に更に結合され、ユーザがシステム１０に接続するのを可能にする。

一実施形態では、メモリ１４は、プロセッサ２２の実行時に機能を実現するソフトウェア・モジュールを記憶する。モジュールは、システム１０のためのオペレーティング・システム機能を実現するオペレーティング・システム１５を含む。モジュールは、以下でより詳細に説明するように、仮想センサ１９からのデータを提供、処理する仮想センサ制御部１６を更に含む。システム１０は、触覚出力システム、触覚再生システム又は触覚作成システム等、より大きなシステムの一部であってもよい。したがって、システム１０は、典型的には、更なる機能を含む１つ又は複数の更なる機能モジュール１８を含むことになる。データベース１７は、バス１２に結合され、モジュール１６及び１８のための集中型記憶装置を実現し、１つ又は複数のデータ・セットを記憶してコンテンツ・データ処理等を支持する。いくつかの実施形態では、図１の要素の全てを含まないことがある。

触覚出力システム（図示せず）は、アクチュエータ、又は触覚効果を出力する他の触覚出力デバイスを含むことができる。例えば、アクチュエータは、限定はしないが、偏心回転マス（「ＥＲＭ」）、リニア共鳴アクチュエータ振動モータ（「ＬＲＡ」）、圧電モータ又はソレノイド・アクチュエータを含むあらゆる種類のモータとすることができる。他の種類の触覚出力デバイスは、静電摩擦（「ＥＳＦ」）、超音波表面摩擦（ＵＳＦ」）を使用するデバイス、超音波触覚変換器により音響放射圧力を誘起するデバイス、触覚基体を使用するデバイス、及び可撓性若しくは変形可能な表面又は形状を変更するデバイス、並びにユーザの体に取り付けできるデバイス、空気噴射の使用により空気を吹き出す等、放出型触覚出力をもたらすデバイス、筋肉に電気刺激をもたらすデバイス等、非機械的デバイス又は非振動デバイスであってもよい。

触覚出力デバイスは、電話、タブレット又はコントローラ等の手持ち式デバイス、ストラップ、グローブ又は衣類品等の装着可能デバイス内に収容できるか、或いは接着デバイス又は機械的デバイスを通じてユーザの皮膚に直接取り付けることができる。触覚出力システムは、どの触覚効果を再生すべきか、及び高いレベルのパラメータに基づき効果を再生する順番を判断できる。一般に、特定の触覚効果を定義する高いレベルのパラメータには、大きさ、頻度及び継続時間を含む。運動指令のストリーミング等の低いレベルのパラメータも特定の触覚効果の決定に使用できる。触覚効果は、触覚効果が、触覚効果の生成時にパラメータの何らかの変動を含む場合又はユーザの相互作用に基づくパラメータの変動を含む場合に「動的」とみなすことができる。

図２は、一実施形態に従った触覚効果を生成するために仮想センサを使用するシステムのフローチャートである。一実施形態では、図２（及び以下の図３〜図５）の流れ図の機能は、メモリ又は他のコンピュータ可読媒体若しくは有形媒体内に記憶したソフトウェアによって実装され、プロセッサによって実行される。他の実施形態では、機能は、ハードウェア（例えば特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブル・ゲート・アレイ（「ＰＧＡ」）、フィールド・プログラマブル・ゲート・アレイ（「ＦＰＧＡ」）等の使用により）、又はハードウェアとソフトウェアとのあらゆる組合せによって実施できる。

２０５で、仮想センサ１９等の仮想センサを仮想環境内に設置する。仮想環境は、例えば、２次元（「２Ｄ」）若しくは３Ｄビデオ・ゲーム・エンジン、ビデオ・オーサリング・プログラム、３Ｄモデリング環境又はワークスペース、仮想現実環境等とすることができる。仮想センサ１９は、仮想環境内の１つの物体上に設置できる。仮想センサは、プラグインに基づくオーサリング・フレームワーク内の特殊な物体であってもよい。仮想センサは、仮想センサを設置する物体又は場所にセンサをドラッグ・アンド・ドロップすることによって設置できる。環境内の物体が移動するにつれて、仮想センサを設置した物体に対する固定位置を維持しながら仮想センサも移動することになる。いくつかの実施形態では、仮想センサ１９は、オーサリング・ソフトウェア環境で見ることができるが、レンダリング・ソフトウェア環境では見ることができない。

２１０で、仮想環境をレンダリングできる。環境の種類に応じて、レンダリングは、キャラクタがコントローラによって制御されるビデオ・ゲーム等の場合、リアルタイムに行い得るか、又はコンピュータ生成インタラクティブ・グラフィクスを有する映画等の場合、作製できる。仮想環境をレンダリングすると、仮想センサ１９は、スクリプトに従って又はコントローラによる入力により環境内を動き回ることになる。仮想センサ１９を設置した物体は、レンダリングの間、キャラクタ、壁、床等の他の仮想物体と接触できる。

２１５で、仮想センサ・データを収集する。データは、位置データ（３つの軸上のロケーション・データ等）、他の物体のデータ（特に、仮想センサの一定近接度内にある物体からの物体データ）、時間データ（第４の軸）及び重力、温度等の環境データ等を含むことができる。このデータから触覚効果を生成できる。２２０で、触覚効果を生成する。例えば、仮想センサ１９等の仮想センサがある時間期間にわたって一方向に移動し、次に一定の短時間にわたり方向を変更するか又は停止した場合、このことを、特定種類の触覚効果の条件を満たす急な減速として計算できる。

いくつかの実施形態では、仮想センサ１９等の仮想センサは、仮想センサと特定の触覚効果とを関連付けることができる。例えば、開発者は、ある点に、ゴロゴロとした触覚効果をもたらす仮想センサを設置でき、同じ点（又は異なる点）に、突くような触覚効果をもたらす別の仮想センサを設置できる、等である。

２２０における触覚効果の生成の一部として、仮想センサ・モジュール１６は、触覚効果をより具体的に調整するために、環境内で利用可能な他の情報を使用できる。例えば、重力特性が地球の重力の３分の１であるように設定してある仮想環境内では、センサが下向き運動の変化を検出したときに触覚効果をそれほど強力ではなくすることができる。というのは、重力加速力は、地球の重力環境と比較すると、その環境ではより小さいからである。環境内で利用可能な情報の種類の別の例として、床は、粗い特性を有することができ、床に極めて近接して移動するセンサは、床上で「擦れる」ことを決定でき、適切な触覚効果の生成を引き起こし、粗面を擦る感覚をより現実的に模倣する。

図３は、一実施形態に従った仮想環境内で触覚効果を生成するために仮想物体情報を使用するシステムのフローチャートである。仮想センサ１９等の仮想センサに加えて、仮想環境内の物体は、大型の仮想センサと同様にすることを目標とすることがあり、物体全体にわたる検知が可能になる。仮想環境は、２Ｄ又は３Ｄとすることができ、リアルタイムでレンダリングするか又は作製できる。

３０５で、仮想環境の場面に対する包括的な触覚の好みを設定できる。これらは、重力、湿度、空中対水中等、上記した環境特性を含むことができる。これらの特性は、ソフトウェア内の触覚プラグイン・モジュールを介してオーサリング環境内に入力できる。３１０で、仮想環境内のモデル又は物体を選択できる。３１５で、３１０で選択した物体のパラメータ内で触覚の生成が可能になる。物体の他のパラメータは、重量、密度、材料等、（既定に基づくことができる）あらゆる種類の物理的特性を含むことができる。３２０で、相互作用の物体又はパラメータを特定できる。例えば、相互作用のパラメータは、物体の縁部の監視を含むことができ、それにより、物体の縁部が別の物体の縁部に接触したときに触覚効果を生成する。パラメータは、２つの物体同士の接触から知覚又は計算した強度に応じて、触覚効果の強度がどのように変化できるかを更に指定できる。

３２５で、出力触覚トラックを特定でき、この出力触覚トラックは、場面をレンダリングする際に触覚効果を保存すべき場所又は触覚効果を再生すべき場所を指定する。例えば、触覚トラックは、レンダリングがビデオ・ゲームのようにリアルタイムで行われた場合、触覚出力デバイスに対応できるか、又は触覚トラックは、レンダリングによりビデオ・ファイルを作製する場合、触覚出力デバイス上の触覚情報の再生用保存フォーマットとすることができる。

３３０で、場面における触覚効果の優先順位を指定できる。例えば、ある種類の触覚効果が、場面で好まれる場合がある。ゴロゴロとした感覚は、押される感覚よりも低い優先順位を有することができ、それにより、物体の縁部が別の物体と接触した場合、押される感覚は、同時に発生するゴロゴロとした感覚よりも明確に感じることができる。別の例では、床物体等との実質的に一定の接触から生じ得る触覚効果は、より低い優先順位を受けることができる。というのは、そのような接触による一定の触覚効果は、場面において他の接触に関連して生成した効果を減らすことがあるためである。仮想センサ１９等の仮想センサを用いる実施形態では、複数のセンサを用いる場合、センサのそれぞれは、より低い優先順位を有するセンサはより小さな触覚効果しか生成できないように割り当てた様々な優先順位を有することができる。さもなければ、仮想センサ・データに基づき生成した触覚効果を減衰するおそれがある。

３３５で、場面をレンダリングする。レンダリングは、レンダリングを行いビデオ・ファイルに保存する映画若しくはテレビ番組等の場合、作製作業とすることができるか、又はレンダリングは、レンダリングをビデオ表示装置に直接出力するビデオ・ゲーム等の場合、リアルタイム・レンダリング・エンジンからのレンダリングであってもよい。

３４０で、前のフローで説明した優先順位及び好みに基づき触覚効果を生成する。ここで、物体を検出し、場面を通じてトラック（追跡）する。物体の縁部（又は適切な場合、ワイヤフレーム縁部点）は、場面を通じて追跡できる。触覚効果は、場面を通じた物体の追跡及び移動に基づき生成できる。例えば、１つのアルゴリズムは、第１の物体上のワイヤフレーム縁部及び第２の物体上のワイヤフレーム縁部を追跡できる。次に、アルゴリズムは、第１の物体縁部及び第２の物体縁部がＸ−Ｙ−Ｚ軸のほぼ同じ点内にあることを留意できる。次に、アルゴリズムは、同じ近接度内にある間に、第１の物体縁部が第２の物体縁部から離れ急速に加速することを留意できる。アルゴリズムは、触覚効果を運動に対して生成すべきであることを決定できる。当業者は、物体（又は仮想センサ）の加速度及び減速度、物体（又は仮想センサ）の他の物体への近接度並びに環境要因に基づき、様々な触覚効果を生成するアルゴリズムを開発できる。ちょうど現実世界のセンサと類似するように、アルゴリズムは、場面における加速度及び位置に主に基づくことになる。これがどのように機能できるかという一例を以下で更に詳細に説明する。

３４５で、生成した触覚を特定トラックに出力する。触覚効果は、触覚出力デバイス上で再生できるか、又は触覚再生ファイルに保存できる。特定の触覚出力デバイスに生成した触覚効果は、ファイルにも適宜保存できる。

図２及び図３のフローをどのように仮想環境で使用できるかという一例は、仮想ゴムボール物体が環境内にある場合である。ゴムボールは、弾み方、手ざわり、握り方、弾力等、ボールをどのように感じ、且つ重量、質量、体積、密度、加速度等に関連する特性等の標準重力内でどのように挙動するかを表す１組の触覚特性と関連付けることができる。同様に、同じ環境内の仮想壁は、手ざわり、堅さ、向き等、壁をどのように感じ、標準重力内でどのように挙動するかを表す別の組の触覚特性を有することができる。触覚効果は、ボールと壁との衝突に基づき生成できる。次に、重力を変更でき、同様に触覚効果も、環境特性（即ち重力）の変化、及び（ボールの壁に対する運動がある場合に）運動で得られた変化の全てに基づき変更できる。

図２及び図３のフローを仮想環境内でどのように使用できるかという別の例では、ゲームコントローラは、ファースト・パーソン・シューター型ゲームのゲーム・プレイ用ライフル銃コントローラを含むことができる。仮想センサは、ゲームにおける銃の台尻、握り及び引き金及び／又はキャラクタ又はアバタのそれぞれの肩、手及び指に設置できる。銃を発砲したときの反動等、ゲーム内で銃を撃つ際の物理的特性は、銃及びキャラクタに位置する仮想センサによって捕捉できる。台尻、握り及び引き金のコントローラに位置する触覚出力デバイスに送信する触覚効果を生成し、触覚効果を特にオーサリングする必要なしに、ユーザに触覚のフィードバックを与えることができる。

図４は、一実施形態に従った仮想環境内で触覚効果を生成するために仮想物体情報又はセンサを使用するシステムのフローチャートである。４０５で、環境を生成又は作成できる。このシステムは、３Ｄゲーム・エンジン、３Ｄモデリング／アニメーション・プラットフォーム、２Ｄゲーム・エンジン、又は仮想物体が他の仮想物体と相互作用するあらゆる他のプラットフォームとすることができる。４１０で、環境特性及びパラメータを設定できる。これらには、物理的特性、次元性、重力、放射／放出等、現実世界と類似する特性を含むことができる。

４１５で、仮想物体を仮想環境内に作成又は生成できる。４２０で、仮想物体は、割り当てられた物体特性及びパラメータを有することができ、これらには、重量、弾み方、質量、大きさ、放射／放出等、現実世界と類似の特性を含む。

４２５で、環境は、仮想物体を含めて実行又はレンダリングできる。仮想物体及び環境は、衝突の検出、速度、運動、方向、向き及び見え方等、物体の相互作用を認識する。仮想センサ１９等の仮想センサを使用する実施形態では、センサは、実際の物体のプロキシ又は物体に対する特定の注目点として作用できる。４３０で、物体及び環境に対するレンダリング又は実行処理の一部として、環境及び物体のレンダリング又は実行に関する設定を使用できる。設定には、フレーム率、解像度、物体中の三角形の数等の特性を含むことができる。

４３５で、レンダリング又は実行する環境内の作用に基づく適切な触覚効果を生成するために、触覚エンジンを使用できる。このエンジンは、形式又は他のオプションに基づく１つ又は複数のアルゴリズムによって駆動できる。例えば、設定の一部として、場面の見方、例えば、閲覧者／プレーヤ又は別のカメラ角度の見方を設定でき、生成する効果の種類を変更できる。他のオプションには、対象とする触覚プラットフォーム及び任意選択の触覚効果の優先順位付けエンジン又はミキサを含むことができる。

４４０で、触覚効果は、触覚エンジン４３５によって物体又は環境特性に基づき生成できる。例えば、触覚の生成は、レンダリングの際、場面のカメラ、及び触覚効果のミックス内で表示するように指定した要素の数及びその優先順位によって決定できる。いくつかの実施形態では、触覚効果をレンダリングし、レンダリング中にプレビューできる。４４５で、触覚効果を編集又は再生可能なフォーマットに出力できる。触覚出力デバイス等の生成した触覚効果をレンダリングできるデバイスへの生成及び出力は、ゲーム・プレイ中、アニメーション再生中又は衝突検出時等の実行時間で行うことができる。生成及び出力は、特定のオーディオ要素を１つのトラックに隔離するオーディオ・ステム・ファイルと同様に、触覚トラックを保存するファイル内に保存できる。

図４のフローを使用できる一例は、仮想ゲーム環境の中であり、ここでは、特定の触覚効果を事前にオーサリングできるが、環境効果は、全ての物体が複数の仮想センサを装着したかのようにゲーム内で動的に生成される。触覚効果は、生成され、優先順位付けエンジンによって優先順位付けされ、生成した触覚効果を再生するかどうか又はその触覚効果が別の効果に取って代わるかどうかを決定できる。触覚効果は、（例えば表面強度、弾力又は手ざわり及び時間（速度／加速度）に対する位置の決定による）環境内の物体の動作、並びに世界の特性（例えば重力、プレーヤの相対的見方等）に基づき要領良く生成できる。

図４のフローを使用できる別の例は、マシニマ（即ち、動作を作成、レンダリングするためにゲーム・エンジンを使用する３Ｄアニメーション）を作成する間の触覚効果の自動生成にある。

図４のフローを使用できる別の例は、複雑な３Ｄアニメーション（Ｐｉｘａｒ（登録商標）が映画及び短編映画用に用いるもの等）の作成に使用するコンテンツ作成ツールの一部としての例である。衝突検出等のパラメータは、包括的に設定し、オーディオ・ファイルの形態又は触覚ファイルの形態のいずれかで特定のトラックに書き込むことができる。代替的に、個々の物体は、キャラクタの足／靴が別の物体（地上の雪等）との衝突に基づき効果を生成できる等、特定の触覚効果を放出／生成可能であってもよい。雪は、キャラクタの衝撃の速度、角度及び大きさによって修正できる触覚特性を有することができる。別の触覚特性は、生成する効果の優先順位／重要性を決定する値、並びにどのファイルに触覚トラックを書き込むことができるかを決定する設定とすることができる。アニメーションをレンダリングする際、触覚効果の生成は、場面のカメラ角度、触覚効果の生成時に含めるように指定した要素の数及びその優先順位によって更に決定できる。いくつかの実施形態では、環境及びカメラ角度に応じて複数の触覚トラックを出力できる。トラックは、環境内で使用する仮想カメラに基づくことができ、映画編集者は、最終編集のレンダリング時に適切な触覚コンテンツを含むように未加工場面を編集することが可能になる。

図５は、一実施形態に従った仮想環境内で触覚効果を生成するために仮想物体情報又はセンサを使用するシステムのフローチャートである。図５のフローは、触覚効果を生成する目的で、仮想物体同士の仮想相互作用をどのようにモデル化できるかに関する更なる詳細を含む。５０５で、仮想物体の特性を決定する。物体特性には、質量、重量、材料、加速度、密度、手ざわり等の事項を含むことができる。

５１０で、第２の物体、第３の物体等の物体（複数可）の特性を包括的特性又は環境特性と共に決定する。包括的特性又は環境特性は、重力、光源（複数可）／光強度、大気条件、物体のデフォルト値等の事項を含むことができる。

５１５で、物体及び環境の特性に基づき、環境内の物体の物理的特性をシミュレートする。例えば衝突検出は、物体同士が互いに接触した際、仮想空間における物体の相互作用を決定できる。物理的特性エンジン及び衝突検出アルゴリズムは、ゲーム及びコンピュータ生成グラフィックスにおいて確立された技術であることを留意されたい。しかし、物体同士が衝突したときの個々の物体の物理的特性は、適切な触覚応答を決定できる。例えば、物体の一方がゴム状材料を有するデバイスである場合、ちょうど実生活と同じように、ゴムは衝撃を吸収し、触覚応答を小さくすることになる。物理的特性の観点から説明すると、ゴムは、物体の加速度の絶対値を低減するように働き、これにより衝突力を減少させる。ボウリングのボール等の硬い物体との衝撃と比較すると、その衝突力は、同じ質量の物体として考えても衝突はより大きくなる。というのは、加速度の絶対値（又はボールが速度を落とし止まるまでの速度）がより小さいためである。

５２０で、衝撃（複数可）の強度、頻度、攻撃及び減衰に関する値等、物体の物理的相互作用の数値を決定する。例えば、力は、質量と加速度の積に等しい（Ｆ＝ｍａ）。したがって、強度の数値は、衝突データから得ることができる。同様に、頻度の数値も衝突データから得ることができる。攻撃及び減衰は、面積当たりの衝突力等、物体の衝突データ及び物理的特性から得ることができる。数値の導き方の一例として、高い力の値は、高い衝撃強度につながることになる。２つの物体が互いに沿って摺動し本質的に多くの衝撃を迅速にもたらす等といった高い頻度の衝撃、又はボールが上下に弾む等といった低い頻度の衝撃は、決定する触覚効果が高頻度触覚出力デバイス（高頻度効果に適したＬＲＡ又は圧電アクチュエータ等）の対象であるか又は低頻度触覚出力デバイス（低頻度効果に適したＥＲＭ等）の対象であるかどうかに影響を与えることができる。

５２５で、数値をマッピングしてレンダリング設定に基づく触覚効果を生成する。レンダリング設定は、ゲーム等におけるリアルタイム・レンダリング設定、又は作製に基づくレンダリングに関連する設定を含むことができる。設定は、所期出力型の触覚出力デバイス及び／又は利用可能若しくは対象とする触覚出力デバイスを含むこともできる。例えば、触覚効果は、対象とする触覚出力デバイスのための考慮事項を含むことができるか、又は対象とする触覚可能デバイスが既知である（ユーザのスマートフォン又はゲーム・システムのブランド／モデル）場合、適応させた触覚効果／トラックを作成できる。いくつかの実施形態では、複数の触覚トラックは、各トラック内に一種類の触覚可能デバイスに特有の情報を含むことができる。

触覚効果に対する数値のマッピングは、利用可能な触覚出力デバイスに依存でき、衝突衝撃をモデル化できる。例えば、ゴムボールが手に当たる数値を計算すれば、その数値を触覚効果にマッピングできる。触覚効果は、１つ又は複数の出力デバイスに対する大きさ、頻度、継続時間及び減衰速度を含むことができる。

５３０で、生成した触覚効果及びパラメータ（例えばリアルタイムでの出力、触覚出力トラックへの書込み等）に基づき、触覚信号を出力するか又はレンダリングできる。５３５で、適用可能な場合、優先順位付けオプションを、触覚効果の再生の際に利用可能な触覚効果（又は触覚トラック内に含まれる優先順位付け情報）に適用できる。例えば、いくつかの実施形態では、触覚効果は、カメラ角度又は他の環境要因に基づき変更できる。

図６は、一実施形態に従った仮想環境内で既存の触覚効果を修正するために仮想物体情報又はセンサ及び既存の触覚効果情報を使用するシステムのフローチャートである。触覚効果作成の一部として、既存のオーサリング触覚効果を変更できる。開発者が、オーサリングした触覚効果を変更する可能性がある１つの理由は、触覚効果をより現実的にすることである。別の理由は、対象とする触覚出力デバイスを変更する、アニメーションの見方を変更する、世界の物理的特性を変更する、等のためであり得る。図６のフローは、図２〜図５のいずれかのフローにより生成した触覚効果に対し実施できる。

６０５で、第１の触覚効果を読み出す。第１の触覚効果は、エンジン・パラメータによりオーサリングしたか又は以前に自動生成した触覚効果であるか、或いはオーディオ・トラックから得た触覚効果である。６１０で、図２の流れ要素２１５、図３の３３５、図４の４３５及び図５の５１５〜５２５等内の仮想センサ・データ（又は仮想物体データ）を収集する。仮想センサ・データは、アクター／物体上の場所、アクター／物体の動き、環境特性（重力、代替的な触覚放出体等）等に基づくことができる。

６１５で、センサ・データに基づく第１の触覚効果を修正して第２の触覚効果を作成する。修正は、元の効果の頻度をずらした、仮想加速度計からのセンサ・データ等に基づく第１の触覚効果の変形形態とすることができる。別の修正は、適切な場合に効果の強度を変更する衝突検出センサとすることができる。第１の触覚効果の修正は、現実世界センサに基づく触覚効果情報のライブラリに基づくことができる。いくつかの実施形態では、第２の触覚効果を出力して第１の触覚効果と置き換えることができ、いくつかの実施形態では、第２の触覚効果を個別の触覚トラックとして出力して、環境又はカメラ角度の変化に応じて選択できる複数の利用可能な触覚効果トラックを提供できる。当然、第３の触覚効果は、第１の触覚効果又は第２の触覚効果等を修正することによって作成できることを当業者は理解するであろう。６２０で、（上記した触覚トラックの出力と同様に）第２の効果を出力及び／又は再生する。

図７は、一実施形態に従った仮想環境内で衝突する２つの物体の図である。仮想環境７００は、第１の物体７０５及び第２の物体７１０を備える。仮想センサ７１５は、第２の物体７１０に位置する。センサに適した他の可能な場所は、とりわけ、物体上の場所７２０を含む。物体７１０は、物体７０５に向かって下方に移動し、物体７０５と衝突する。仮想センサ７１５は、衝突に関するデータを収集し、このデータには、加速度（減速度）、衝突強度、物体７０５と７１０との間の表面摩擦等のデータ、及び時間が衝突時点から経過するにつれての２つの物体の位置データを含む。センサ・データに基づき、本明細書の実施形態に従った触覚効果を生成できる。センサ７１５が別の場所７２０に設置されているとき、生成される触覚効果は異なるものになる。

開示するように、実施形態は、環境内及びレンダリング中又は実行時間中の物体（又はセンサ）についてのデータを収集するために、仮想環境内にトラックした仮想センサ又は仮想物体を組み込む。センサ・データ並びに環境及び物体の特性に基づき、触覚効果を生成して相互作用の雰囲気をユーザにもたらす。

いくつかの実施形態を本明細書で具体的に例示及び／又は説明している。しかし、開示する実施形態の修正形態及び変形形態は、本発明の趣旨及び意図する範囲から逸脱することなく、上記の教示及び添付の特許請求の範囲内に含まれることは了解されよう。

Claims (20)

1. 触覚効果を生成するシステムであって、
   仮想物体を含む仮想環境と、
   前記仮想環境内の少なくとも１つの仮想物体上に設置される少なくとも１つのプログラム式仮想センサと、
   前記仮想環境をレンダリングするように構成されたレンダリング・エンジンと、
   前記少なくとも１つの仮想センサから仮想センサ・データを受信し、前記仮想センサ・データに基づきセンサ出力データを計算するように構成された仮想センサ・モジュールと、
   前記センサ出力データに基づき触覚トラックを生成するように構成された触覚トラック生成器と、
   を備えるシステム。
2. 前記仮想センサ・データは、位置及び時間データを少なくとも含み、計算した前記センサ出力データは、前記仮想センサの加速度データを少なくとも含む、請求項１に記載のシステム。
3. 前記触覚トラック生成器は、前記センサ出力データに基づき前記触覚トラックを修正するように更に構成される、請求項１に記載のシステム。
4. 利用可能な触覚効果及び利用可能な仮想センサに対する優先順位情報を受信するように構成された優先順位付けモジュールを更に備える、請求項１に記載のシステム。
5. 前記触覚トラック生成器は、前記触覚トラックのためのトラック送信先を受信するように更に構成される、請求項１に記載のシステム。
6. 触覚効果を生成する方法であって、
   仮想環境内の少なくとも１つの仮想物体上に設置される少なくとも１つのプログラム式仮想センサを設置するステップと、
   前記仮想環境をレンダリング・エンジンを介してレンダリングするステップと、
   前記少なくとも１つの仮想センサから仮想センサ・データを受信するステップと、
   前記仮想センサ・データに基づきセンサ出力データを計算するステップと、
   前記センサ出力データに基づき触覚トラックを生成するステップと、
   を含む方法。
7. 前記仮想センサ・データは、位置及び時間データを少なくとも含み、前記計算したセンサ出力データは、前記仮想センサの加速度データを少なくとも含む、請求項６に記載の方法。
8. 前記生成するステップにより、前記センサ出力データに基づく前記触覚トラックを修正する、請求項６に記載の方法。
9. 利用可能な触覚効果及び利用可能な仮想センサのための優先順位情報を受信するステップを更に含む、請求項６に記載の方法。
10. 前記触覚トラックを生成するトラック送信先を受信するステップを更に含む、請求項６に記載の方法。
11. 触覚効果を生成するシステムであって、
    仮想物体を含む仮想環境と、
    ２つの仮想物体同士の少なくとも１つの衝突に関する衝突情報を収集するように構成された衝突検出エンジンと、
    前記仮想環境をレンダリングするように構成したレンダリング・エンジンと、
    前記衝突の情報を分析し、前記衝突の物理的特性の数値を決定するように構成された物理的特性エンジンと、
    前記触覚効果に前記数値をマッピングするように構成された触覚効果マッピング器と、
    前記マッピングした触覚効果に基づき触覚トラックを生成するように構成された触覚トラック生成器と、
    を備えるシステム。
12. 前記物理的特性は、特定の時間における物体の速度及び加速度データを含む、請求項１１に記載のシステム。
13. 前記触覚トラック生成器は、前記数値に基づく前記触覚トラックを修正するように更に構成される、請求項１１に記載のシステム。
14. 前記マッピングした触覚効果のための優先順位情報を受信するように構成された優先順位付けモジュールを更に備える、請求項１１に記載のシステム。
15. 前記触覚トラック生成器は、前記触覚トラックのためのトラック送信先を受信するように更に構成される、請求項１１に記載のシステム。
16. 触覚効果を生成する方法であって、
    仮想環境内の２つの仮想物体同士の少なくとも１つの衝突に関する衝突情報を収集するステップと、
    前記仮想環境をレンダリングするステップと、
    前記衝突情報に基づき、前記衝突の物理的特性の数値を計算するステップと、
    前記触覚効果に前記数値をマッピングするステップと、
    前記マッピングした触覚効果に基づき触覚トラックを生成するステップと、
    を含む方法。
17. 前記物理的特性は、特定の時間における物体の速度及び加速度データを含む、請求項１６に記載の方法。
18. 前記生成するステップにより、数値データに基づく前記触覚トラックを修正する、請求項１６に記載の方法。
19. 前記マッピングした触覚効果のための優先順位情報を受信するステップを更に含む、請求項１６に記載の方法。
20. 前記触覚トラックを生成するトラック送信先を受信するステップを更に含む、請求項１６に記載の方法。

Images