JP2020201926A - 視覚的特性に基づいて触覚効果を生成するためのシステムおよび方法 - Google Patents

Abstract

【課題】視覚的特性触覚に基づいて触覚効果を設計するためのシステムおよび方法を提供する。【解決手段】システムは、ユーザ入力装置と、メモリと、触覚出力装置と、ユーザ入力装置およびメモリと通信するプロセッサとを含む。プロセッサは、複数の特性のうちの少なくとも１つが第１の形状と関連付けられた、複数の特性を有する入力を受け取り、第１の形状と関連付けられた画像またはラベルを識別し、画像またはラベルと関連付けられた触覚効果を識別するように構成される。プロセッサは、触覚効果を第１の形状と関連付けて、触覚効果と関連付けられた触覚信号を触覚出力装置に伝達するようにさらに構成され、触覚信号は、触覚出力装置に触覚効果を出力させる。【選択図】図２

Description

[0001]本出願はユーザインタフェース装置の分野に関する。より具体的には、本出願は視覚的特性に基づいて触覚効果を生成することに関する。

[0002]ゲームおよびビデオアプリケーションにおけるものを含む、より没入型の視覚的体験を作り出すために、コンテンツ作成者は、より複雑で、より高画質のビデオおよびオーディオシステムを利用した。コンテンツ作成者は、ゲーム愛好家または視聴者の体験をさらに強化するために同様に触覚効果を含めた。しかしながら、視覚的オブジェクトを認識しそれらの画像に個々の触覚効果を割り当てるための従来のシステムは、難しく、かつ時間がかかることがあり、次善の結果につながる場合がある。ビデオ画像に触覚効果を割り当てる触覚デザイナの能力を強化するためのシステムおよび方法が必要とされる。

[0003]１つの実施形態で、視覚的特性に基づいて触覚効果を設計するためのシステムは、ユーザ入力装置と、メモリと、触覚出力装置と、ユーザ入力装置およびメモリと通信するプロセッサとを含む。プロセッサは、複数の特性のうちの少なくとも１つが第１の形状と関連付けられた、複数の特性を有する入力を受け取り、第１の形状と関連付けられた画像またはラベルを識別し、画像またはラベルと関連付けられた触覚効果を識別するように構成される。プロセッサは、触覚効果を第１の形状と関連付けて、触覚効果と関連付けられた触覚信号を触覚出力装置に伝達するようにさらに構成され、触覚信号は、触覚出力装置に触覚効果を出力させる。

[0004]別の実施形態で、視覚的特性に基づいて触覚効果を設計するための方法は、複数の特性のうちの少なくとも１つが第１の形状と関連付けられた、複数の特性を有する入力を受け取ることと、第１の形状と関連付けられた画像またはラベルを識別することと、画像またはラベルと関連付けられた触覚効果を識別することと、触覚効果を第１の形状と関連付けることとを含む。

[0005]さらに別の実施形態で、コンピュータ可読媒体は、プロセッサによって実行されるときこのような方法を行なうように構成される、プログラムコードを含み得る。

[0006]これらの例示的な実施形態は、本主題の範囲を限定し、または定義するためにではなく、その理解を助けるための実施例を提供するために言及される。例示的な実施形態が発明を実施するための形態で論じられ、さらなる説明がそこで提供される。さまざまな実施形態によって提示される利点は、本明細書を考察することによって、および／または特許請求された主題の１つまたは複数の実施形態を実践することによって、さらに理解することができる。

[0007]完全かつ有効な開示が明細書の残りの部分でより詳細に明らかにされる。明細書は、以下の付加された図を参照する。

視覚的特性に基づいて触覚効果を設計するための例示的なシステムを示す。 視覚的特性に基づいて触覚効果を設計するための１つの実施形態例のための方法ステップのフローチャートである。 視覚的特性に基づいて触覚効果を設計するための別の実施形態例のための方法ステップのフローチャートである。

[0011]ここで、さまざまな、および代替の例示的な実施形態、ならびに添付図面を詳細に参照する。各実施例は、限定としてではなく、解説として提供される。修正形態および変形形態がなされ得ることは当業者に明らかであろう。例えば、１つの実施形態の一部として例示または説明された特徴は、なおさらなる実施形態をもたらすために別の実施形態で使用され得る。したがって、本開示は、添付の特許請求の範囲およびそれらの均等物の範囲内に入るような修正形態および変形形態を含むことが意図される。
視覚的特性に基づいて触覚効果を生成するためのシステムの例示的な実施例

[0012]１つの例示的な実施形態で、触覚デザイナがビデオゲームのために触覚を設計している。デザイナは、ゲーム内の発砲に効果を追加することを望む。例えば、テキスト入力を使用して検索を行なうよりむしろ、デザイナは、自身のラップトップの中のデジタルカメラの前で自身の指で銃の形状をまねる。システムは、デザイナの指の形状が銃と関連付けられた視覚的特性を有することを識別する。システムはそれから、発砲と関連付けられたものを含む、それらの同じまたは類似の視覚的特性が含まれる銃の画像と関連付けられた触覚効果を識別するためにデータベースを検索して、ユーザにリストを提供する。デザイナはそれから、自身が発砲に対してかけることを望む効果を選択することができる。

[0013]いくつかの実施形態で、システムは同様に、ラベルを視覚的特性と関連付けて、触覚効果を検索するためにラベルを使用することが可能であり得る。例えば、システムは、デザイナの指の形状と関連付けられた視覚的特性を識別して、それらが銃と関連付けられていることを決定する。しかしながら、同じ特性で画像を探すよりむしろ、システムは指の形状にラベル「銃」を適用する。システムはそれから、銃と関連付けられた効果を検索するためにラベル「銃」を使用する。システムはユーザにリストを提供し、ユーザはそれから、適切な効果を選択する。

[0014]いくつかの実施形態で、システムは、ユーザがまねる形状よりむしろ画像を解析してもよい。例えば、触覚デザイナは、クリップをアップロードして、解析するべき特定のフレームを識別してもよい。システムは、フレーム中のオブジェクトの視覚的特性を識別し、そして次に、画像と関連付けられた触覚効果に対してそれらの視覚的特性で画像を検索する。代わりに、システムは、フレーム中のオブジェクトにラベルを適用し、そして次に、ラベルと関連付けられた触覚効果を検索してもよい。システムはそれから、デザイナに効果のリストを提供することができ、デザイナは、ビデオの適切なフレームの間にかけるべき適切な効果を選ぶことができる。前述の実施例は、ただ例示的なものであり、いかなる形でも特許請求された発明を限定するように意図されない。
視覚的特性に基づいた触覚効果生成を起こすための例示的なシステム

[0015]図１は、オーディオおよびビデオを使用して触覚効果を生成するための例示的なシステム１００を示す。特に、この実施例で、システム１００は、バス１０６を介して他のハードウェアとインタフェース接続されたプロセッサ１０２を有する計算機器１０１を含む。メモリ１０４は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭなどの任意の適当な有形の（かつ非一時的な）コンピュータ可読媒体を含むことができ、計算機器の動作を構成するプログラム部品を具現化する。この実施例で、計算機器１０１は、１つまたは複数のネットワークインタフェース装置１１０、入力／出力（Ｉ／Ｏ）インタフェース部品１１２、追加記憶装置１１４およびカメラ１２０をさらに含む。

[0016]ネットワーク装置１１０は、ネットワーク接続を容易にする任意の構成要素の１つまたは複数を表すことができる。実施例は、イーサネット（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４などの有線インタフェース、および／またはＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、もしくは携帯電話ネットワークにアクセスするための無線インタフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳまたは他の移動通信ネットワークにアクセスするためのトランシーバ／アンテナ）などのワイヤレスインタフェースを含むが、これらに限定されない。

[0017]Ｉ／Ｏ部品１１２は、１つまたは複数のディスプレイ、タッチ・スクリーン・ディスプレイ、キーボード、マウス、スピーカ、マイクロホン、カメラ、および／または、データ入力もしくはデータ出力に使用される他のハードウェアなどの装置への接続を容易にするために使用され得る。記憶装置１１４は、装置１０１に含まれる磁気式、光学式、または他の記憶媒体などの不揮発性記憶装置を表す。カメラ１２０は、視覚的画像を取り込むことが可能な任意の種類のセンサを表す。カメラ１２０は、計算機器１０１の表面に取り付けられてもよく、または別個であってもよい。カメラ１２０は、Ｉ／Ｏポート１１２を介して計算機器１０１と通信している。

[0018]システム１００は、この実施例では装置１０１に組み込まれている、タッチ表面１１６をさらに含む。タッチ表面１１６は、ユーザのタッチ入力を感知するように構成される任意の表面を表す。１つまたは複数のセンサ１０８は、オブジェクトがタッチ表面と接触するときタッチエリアでタッチを検出して、プロセッサ１０２による使用のために適切なデータを提供するように構成される。任意の適当な数、タイプ、または配置のセンサを使用することができる。例えば、抵抗性および／または容量性センサをタッチ表面１１６に埋め込んで、タッチの場所および圧力などの他の情報を決定するために使用してもよい。別の実施例として、タッチ表面の視野を持つ光センサを、タッチ位置を決定するために使用してもよい。

[0019]いくつかの実施形態で、センサ１０８、タッチ表面１１６、およびＩ／Ｏ部品１１２は、タッチ・スクリーン・ディスプレイなどの単独の構成要素に組み込まれてもよい。例えば、いくつかの実施形態で、タッチ表面１１６およびセンサ１０８は、ディスプレイ信号を受け取りユーザに画像を出力するように構成されたディスプレイの上に取り付けられたタッチスクリーンを含み得る。ユーザはそのとき、映画または他のビデオを見るためと、触覚生成設計アプリケーションと対話するための両方にディスプレイを使用することができる。

[0020]他の実施形態で、センサ１０８はＬＥＤ検出器を含み得る。例えば、１つの実施形態で、タッチ表面１１６は、ディスプレイの側面に取り付けられたＬＥＤ指検出器を含み得る。いくつかの実施形態で、プロセッサ１０２は、単独のセンサ１０８と通信しており、他の実施形態で、プロセッサ１０２は、複数のセンサ１０８、例えば、第１のタッチスクリーンおよび第２のタッチスクリーンと通信している。センサ１０８は、ユーザとの対話を検出し、ユーザとの対話に基づいて、プロセッサ１０２に信号を伝達するように構成される。いくつかの実施形態で、センサ１０８は、ユーザとの対話の複数の面を検出するように構成され得る。例えば、センサ１０８は、ユーザとの対話の速度と圧力を検出して、インタフェース信号にこの情報を取り入れてもよい。

[0021]装置１０１は、触覚出力装置１１８をさらに含む。図１に示された実施例で、触覚出力装置１１８は、プロセッサ１０２と通信しており、タッチ表面１１６に結合されている。図１に示された実施形態は、単独の触覚出力装置１１８を含む。他の実施形態で、計算機器１０１は、複数の触覚出力装置を含み得る。触覚出力装置は、ビデオに対する触覚効果の最終セットを作成する前に効果を何らかの形で修正するべきであるかどうか決定するために、効果が生成されるときに触覚デザイナが効果を体験することを可能にし得る。

[0022]ここでは単独の触覚出力装置１１８が示されるが、実施形態は、触覚効果を出力するために、同じまたは異なるタイプの複数の触覚出力装置を使用してもよい。例えば、触覚出力装置１１８は、例えば、圧電アクチュエータ、電動機、電磁式アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モーター（Ｅｃｃｅｎｔｒｉｃ Ｒｏｔａｔｉｎｇ Ｍａｓｓ：ＥＲＭ）、またはリニア共振アクチュエータ（Ｌｉｎｅａｒ Ｒｅｓｏｎａｎｔ Ａｃｔｕａｔｏｒ：ＬＲＡ）、薄型触覚アクチュエータ、触覚テープ、または、静電摩擦（Ｅｌｅｃｔｒｏｓｔａｔｉｃ Ｆｒｉｃｔｉｏｎ：ＥＳＦ）アクチュエータなどの静電効果を出力するように構成された触覚出力装置のうちの１つまたは複数を含み得る。いくつかの実施形態で、触覚出力装置１１８は、複数のアクチュエータ、例えば薄型触覚アクチュエータ、圧電アクチュエータ、およびＬＲＡを含み得る。

[0023]メモリ１０４の方を見ると、触覚効果を決定し出力するために装置がどのように構成され得るかを例示するために、典型的なプログラム部品１２４、１２６、および１２８が描写されている。この実施例で、検出モジュール１２４は、タッチの位置を決定するためにセンサ１０８を介してタッチ表面１１６を監視するようにプロセッサ１０２を構成する。例えば、モジュール１２４は、タッチの存在または不在を追跡して、タッチが存在している場合、経時的にタッチの場所、経路、速度、加速度、圧力、および／または他の特性のうちの１つまたは複数を追跡するために、センサ１０８をサンプリングしてもよい。

[0024]触覚効果決定モジュール１２６は、視覚的特性または画像に関するデータを解析して、生成する触覚効果を決定または選択するプログラム部品を表す。特に、モジュール１２６は、１つまたは複数の画像の視覚的特性に基づいて、触覚出力装置によって生成および出力する効果を決定するコードを含む。モジュール１２６は、視覚的特性の特定の組合せに割り当てるために、または視覚的特性に部分的に基づいて決定されたラベルに基づいて、提供する１つまたは複数の既存の触覚効果を選択するコードをさらに含み得る。例えば、ユーザは、カメラ１２０によって取り込まれる形状をまねることができ、検出モジュール１２４は、カメラによって取り込まれたある特定の視覚的特性がラベルを割り当てられるべきであると決定することができ、そして次に、触覚効果決定モジュール１２６は、ある特定の触覚効果がそのラベルと関連付けられると決定する。視覚的特性のさまざまな組合せに基づいて、異なる触覚効果が決定または選択され得る。デザイナが効果をプレビューし、ビデオまたはゲームの中のシーンまたはフレームをより良くモデル化するために必要に応じてそれらを修正することができるようにさえ、触覚効果はタッチ表面１１６を介して提供され得る。

[0025]触覚効果生成モジュール１２８は、選択された触覚効果を触覚出力装置１１８に生成させる、触覚出力装置１１８への触覚信号をプロセッサ１０２に生成および伝達させるプログラミングを表す。例えば、生成モジュール１２８は、触覚出力装置１１８に送るための記憶された波形またはコマンドにアクセスしてもよい。別の実施例として、触覚効果生成モジュール１２８は、触覚効果の望ましいタイプを受け取り、信号処理アルゴリズムを利用して、触覚出力装置１１８に送る適切な信号を生成してもよい。さらなる実施例として、望ましい触覚効果は、テクスチャに対する目標座標、ならびに表面（および／または他の装置部品）の適切な変位を生成して触覚効果を提供するために１つまたは複数のアクチュエータに送られる適切な波形とともに指示されてもよい。いくつかの実施形態では、複数の触覚出力装置を協調的に利用して特徴をシミュレートしてもよい。例えば、ボタンが押されるとき振動効果が応答をシミュレートするのに対して、テクスチャの変化を使用して、インタフェース上のボタン間の境界を越えることをシミュレートしてもよい。
視覚的特性に基づいて触覚効果を生成するための例示的な方法

[0026]図２および図３は、視覚的特性に基づいて触覚効果を生成するための実施形態例のための方法ステップのフローチャートである。プロセスの第１のステップで、システムは、第１の形状と関連付けられた１つまたは複数の視覚的特性を含む入力を受け取る２０２。入力は、任意の数の異なるタイプの入力から得ることができる。

[0027]例えば、１つの実施形態で、触覚デザイナは既存のビデオからフレームを取り込む。１つのこのような実施形態で、触覚デザイナはオブジェクトが出現するフレームの特定の部分を識別してもよい。別の実施形態で、システムは、複数のフレームにわたって複数のオブジェクトを識別することができ、触覚デザイナはそれから、触覚効果との関連付けのためにそれらを選択することができる。

[0028]別の実施形態で、ユーザは、計算機器１０１のタッチ表面１１６で形状の輪郭を描く。デザイナは同様に、カメラ１２０を使用して画像を取り込んでもよい。例えば、デザイナは、形状の写真を有し、カメラ１２０を使用して画像を取り込んでもよい。さらに別の実施形態で、デザイナは、デザイナの手で形状をまねてもよい。

[0029]いくつかの実施形態で、システムは、動きを取り込んでもよく、動きはそれから、決定モジュール１２４によって画像と解釈され得る。例えば、デザイナが自動車をまねようと試みている場合、デザイナは、自身の手を左から右にカメラ１２０の前で動かしてもよい。決定モジュール１２４は、動きの視覚的特性に基づいて動きが自動車を表していると認識するようにプログラムされる。このような動きは、例えば、翼をはためかせる鳥の動き、または剣の強打を含んでもよい。このような実施形態で、動き全体は、決定モジュールが認識することができる特定の形状を伝えるように意図される。

[0030]画像を取り込むために、カメラ１２０が図１に例示されるが、他のセンサが使用されてもよい。例えば、バーチャル・リアリティ・コントローラおよびセンサが触覚デザイナによって使用されてもよい。視覚的特性は、特定の画像を記述するベクトルのセットを含み得る。

[0031]プロセス２００は、第１の形状と関連付けられた画像またはラベルを識別すること２０４によって、継続する。例えば、検出モジュール１２４は、類似の視覚的特性を有するオブジェクトを含む記憶された画像を検索し、識別してもよい。例えば、形状が自動車の視覚的特性を有する場合、検出モジュール１２４は、例えば、データベースに記憶された自動車の画像を見いだすことになる。特性が識別された時点で、このような画像を見いだすためのさまざまな方法が実施形態によって利用され得る。例えば、視覚的特性に基づいて画像を検索するためにニューラルネットワークを使用してもよい。

[0032]別の実施形態で、視覚的特性は、ラベルのセットと関連付けられる。すなわち、類似の視覚的特性で画像を検索するよりむしろ、検出モジュール１２４は、視覚的特性のセットと関連付けられたラベルを検索する。それから、視覚的特性でラベルが見いだされた時点で、ラベルはプロセスを継続するために使用される。

[0033]触覚効果決定モジュール１２６は、次に、画像またはラベルと関連付けられた触覚効果を決定する２０６。例えば、触覚効果決定モジュール１２６は、ステップ２０４で読み出された画像と関連付けられた触覚効果のデータベースを検索してもよい。別の実施形態で、触覚効果決定モジュール１２６は、ある特定の触覚効果が既存のビデオと関連付けられていると決定し、それらの触覚効果を抽出する。それから、触覚デザイナは、どの効果を形状と関連付けるべきか決定する際に、抽出された効果から選ぶことができる。別の実施形態で、触覚効果決定モジュール１２６は、ラベルと関連付けられた触覚効果のデータベースを検索する。例えば、ラベルが「自動車」である場合、データベースは、エンジン、軋むタイヤ、衝突、または自動車と関連付けることができる他のオブジェクトおよび行動と関連付けられた触覚効果を含み得る。ラベルが「銃」であった場合、利用可能な効果は、発砲または跳弾関連の効果を含んでもよい。

[0034]触覚効果決定モジュール１２６は、次に、触覚効果を形状と関連付ける２０８。例えば、デザイナが銃の形状をまねて、かつ特定の触覚効果を選択または作成する場合、その触覚効果は形状と関連付けられる。それから、関連付けの後に類似の形状に遭遇するとき、デザイナが選択または作成した効果を類似の形状に対してデザイナに提示することができる。

[0035]最終的に、触覚効果生成モジュール１２８は、触覚効果と関連付けられた触覚信号を出力する２１０。このようにして、デザイナは選択された触覚効果を感じることができる。デザイナはそれから、ユーザの体験をさらに最適化するために触覚効果を修正するか、または追加の触覚効果を追加することを望む場合がある。

[0036]図２に示されたプロセス２００は、画像ごとに実行されてもよく、ビデオ中の複数のフレームに対して行なわれて、同時に複数のオブジェクトを識別してもよく、またはビデオ中の複数のフレームと関連付けられた触覚タイムライン上に作成されてもよい。触覚タイムラインは動的であってもよい。このような実施形態は、同じまたは類似の形状を同じ触覚効果と自動的に関連付けることができ、触覚デザイナが手作業で各形状を効果と関連付ける必要性を軽減することができる。例えば、触覚デザイナは、効果をゲームの基礎と、またはゲームの特定レベルに関連付けてもよい。完了した時点で、設計手段は、同じ効果をゲームのすべてのレベルまたは段階に割り当てて、デザイナが手作業で効果を各レベルと関連付ける必要性を軽減してもよい。

[0037]図３は、視覚的特性に基づいて触覚効果を生成するための別の実施形態例のための方法ステップのフローチャートである。図３に示された実施形態で、視覚的特性を取り込み、触覚効果を決定するためのプロセスがより詳細に示される。

[0038]プロセス３００は、システムがユーザ行動の画像を受け取るとき開始する３０２。例えば、触覚デザイナは、銃を保持するまねをする。検出モジュール１２４は、ユーザ行動と関連付けられた第１の形状を識別する３０４。代わりに、システムは、ビデオからのフレームまたはゲームからの一連のフレームなどの、ビデオ信号を受け取る３０６。検出モジュール１２４は、ビデオ信号と関連付けられた第１の形状を識別する３０８。

[0039]これらの代替プロセスのいずれかの結果、検出モジュール１２４は、１つの形状または複数の形状を識別した。形状が識別されると、次にシステムは、形状の１つまたは複数の視覚的特性を決定することが可能である３１０。上述のように、視覚的特性は形状のベクトルを含んでもよい。このような特性は、色、相対的サイズ、速度、方向、フレームもしくは空間の中の場所、または形状の視覚的特性を記述するその他のものを同様に含んでもよい。このような視覚的特性は、シーンに発生する行動を含み得る。

[0040]検出モジュールはそれから、視覚的特性と関連付けられたラベルを識別することができる３１２。１つまたは複数の視覚的特性と関連付けるラベルを決定するためにさまざまな方法が使用され得る。いくつかの実施形態で、検出モジュール１２４は、単独の形状を識別してもよい。このような実施形態で、システムは、画像クラスデータベース（例えば、「Ｉｍａｇｅｎｅｔ」）上で事前訓練された、「Ｉｎｃｅｐｔｉｏｎ」、「ＡｌｅｘＮｅｔ」、またはＶｉｓｕａｌ Ｇｅｏｍｅｔｒｙ Ｇｒｏｕｐ（「ＶＧＧ」）などの機械学習モデルを使用することができる。検出モジュール１２４が入力の中の複数のオブジェクトを識別する他の実施形態で、システムは、存在する種々のオブジェクトを識別するために、より高性能な事前訓練モデル（例えば、Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ（「ＳＳＤ」）、Ｆａｓｔｅｒ Ｒｅｇｉｏｎ−Ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（「ＲＣＮＮ」）、またはＭａｓｋ ＲＣＮＮ）を使用することができる。ビデオ入力の場合、システムは、それを独立したフレームとして処理して、存在するオブジェクトを識別することができ、連続したフレームを使用してビデオの中の行動を識別しようと試みてもよい。このような実施形態で、システムは、行動の時間面を符号化するために、３Ｄ畳込みネットワーク（３Ｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ：「Ｃ３Ｄ」）、長短期記憶（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ：「ＬＳＴＭ」）ネットワーク、またはＲＮＮなどの、機械学習モデルを使用してもよい。これらのモデルは、Ｙｏｕｔｕｂｅ８Ｍまたは人間の行動のＵＣＦ１０１データセットなどのビデオデータベース上で訓練することができる。このような実施形態は、ラベルに依拠する。

[0041]プロセスは、ラベルと関連付けられた触覚効果を識別すること３１４によって、継続する。このような実施形態で、システムは、ステップ３１２で識別されたラベルでタグ付けされた効果をデータベースで検索する。２つ以上のラベルが識別されている場合、システムは、すべてのラベルを有する効果を検索してもよい。別の実施形態で、システムは、ラベルのいずれかと関連付けられた効果を検索してもよい。１つのこのような実施形態で、システムは、効果が識別されたラベルのすべてと関連付けられる程度に基づいて触覚効果に優先順位をつける。別の実施形態で、効果は、個別にラベル付けされるのではなく、その代わりに、それら自体ラベル付けされているビデオまたは画像と関連付けられてもよい。このような実施形態で、これらのラベル付けされた画像と関連付けられた効果が返されてもよい。ラベルおよび触覚効果の間接的な関連付けを利用するさまざまな他の実施形態が同様に利用され得る。

[0042]図３に示された実施形態で、プロセスは代わりに、１つまたは複数の視覚的特性と関連付けられた画像を識別する場合がある３１６。それから、システムは、画像自体を使用して、画像と関連付けられた触覚効果を識別することができる３１８。１つのこのような実施形態で、システムは、ステップ３１６で識別された画像に最も近い特徴を有する画像をデータベースで検索する。１つのこのような実施形態で、視覚的特性特徴ベクトル間の距離は、ユークリッド距離またはマハラノビス距離として推定することができる。別の実施形態で、入力特徴は、（例えば、ｋ近傍法（ｋ−Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ：「ｋ−ＮＮ」）またはサポート・ベクトル・マシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ：「ＳＶＭ」）を例えば使用して）データベース要素の特徴に対して分類される。

[0043]効果がラベルまたは画像と関連付けられた時点で、システムは、触覚効果と関連付けられた触覚信号を出力することができる３２０。例えば、触覚デザイナは、形状と関連付けることができる触覚効果のリストを提示されて、リストから１つを選択してもよい。デザイナがリストを選択した時点で、デザイナは、デザイナがゲームとの関連で効果を感じることができるように、ゲームの一部分を再生することを可能にしてもよい。それからデザイナは、効果に変更を加えてもよい。各変更の後、システムは、触覚効果と関連付けられた触覚信号を触覚出力装置に出力し、触覚出力装置によって、デザイナは、ゲームプレイヤが効果を体験することになるように効果を感じることができる。

[0044]本発明の実施形態は、ゲームおよびビデオを有する他の環境のための触覚効果の従来の設計の上にさまざまな利点を提供する。例えば、実施形態は、新しい効果を設計することに、または事前設計された効果を検索することにユーザが費やさなければならない時間を軽減する助けとなり得る。その代わりに、デザイナは、デザイナが興味を持っている形状と何らかの方法ですでに関連付けられている効果のリストを提示される。

[0045]同様に、機械学習技法を使用することによって、システムは、特定の形状、画像、または行動を識別することにおいて、経時的により正確になり得る。正確さが増すことにより、潜在的により没入型で正確な効果をゲームまたはビデオの中の画像と関連付けることが可能になる。しかも、より感動的な体験を提供することによって、このような実施形態は、ユーザによるゲームまたはビデオの楽しみを増やす。
一般的考察

[0046]上に論じた方法、システム、および装置は、実施例である。さまざまな構成は、必要に応じてさまざまな手順または構成要素を省略、置換、または追加してもよい。例えば、代替構成で、方法は、説明された順序と異なる順序で行なわれてもよく、ならびに／またはさまざまな段階が追加され、省略され、および／もしくは組み合わされてもよい。同様に、ある特定の構成に関して説明された特徴は、さまざまな他の構成で組み合わされてもよい。構成の、異なる実施態様および要素が同じように組み合わされてもよい。同様に、技術は発展し、したがって、要素の多くは、実施例であり、本開示または特許請求の範囲の範囲を限定しない。

[0047]（実装を含む）構成例についての完全な理解を提供するために、具体的詳細が説明で与えられる。しかしながら、構成は、これらの具体的詳細なしで実践されてもよい。例えば、周知の回路、プロセス、アルゴリズム、構造、および技法は、構成を不明瞭にするのを避けるために、不必要な詳細なしで示されている。この説明は、構成例のみを提供し、特許請求の範囲の範囲、適用性、または構成を限定しない。むしろ、前述の構成の説明は、説明された技法を実装するために有効な説明を当業者に提供することになる。本開示の趣旨または範囲から逸脱することなく、要素の機能および配置にさまざまな変更がなされ得る。

[0048]同様に、構成は、フロー図またはブロック図として描写されるプロセスとして説明され得る。それぞれが動作をシーケンシャルプロセスとして説明し得るが、動作の多くは、並列にまたは同時に行なうことができる。加えて、動作の順序は再配置され得る。プロセスが図に含まれない追加ステップを有してもよい。さらにまた、方法の実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せによって実装され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装されるとき、必要なタスクを行なうためのプログラムコードまたはコードセグメントは、記憶媒体などの非一時的コンピュータ可読媒体に記憶され得る。プロセッサは、説明されたタスクを行なうことができる。

[0049]いくつかの構成例について説明したが、さまざまな修正形態、代替構造、および均等物が本開示の趣旨から逸脱することなく使用され得る。例えば、上記の要素は、より大きいシステムの構成要素であってもよく、他の規則は、本発明の適用に優先するか、または別の方法でこれを修正してもよい。同様に、上記の要素が考慮される前、間、または後に、いくつかのステップが着手され得る。それゆえ、上記の説明は、特許請求の範囲の範囲に限度を設けるものではない。

[0050]本明細書における「適合された」または「構成された」の使用は、追加のタスクまたはステップを行なうように適合された、または構成された装置を除外しない、開放的かつ包括的な言葉として意図される。加えて、「基づいた」の使用は、１つまたは複数の列挙された条件または値に「基づいた」プロセス、ステップ、計算、または他の行動が、実際は、列挙されたものを越えた追加の条件または値に基づいている場合があるという点において、開放的かつ包括的であるように意図される。本明細書に含まれる見出し、リスト、および番号付与は、解説の容易さのみのためであって、限定的であるように意図されない。

[0051]本主題の実施態様による実施形態は、デジタル電子回路に、コンピュータハードウェア、ファームウェア、ソフトウェアに、または前述の組合せに、実装することができる。１つの実施形態で、コンピュータが１つまたは複数のプロセッサを含んでもよい。プロセッサは、プロセッサに結合されたランダム・アクセス・メモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）などの、コンピュータ可読媒体へのアクセスを含み、または有する。プロセッサは、センサ・サンプリング・ルーチン、選択ルーチン、および上述の方法を行なう他のルーチンを含む１つまたは複数のコンピュータプログラムを実行するなど、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。

[0052]このようなプロセッサは、マイクロプロセッサ、デジタル・シグナル・プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）、および状態機械を含み得る。このようなプロセッサは、ＰＬＣ、プログラマブル・インタラプト・コントローラ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｉｎｔｅｒｒｕｐｔ Ｃｏｎｔｒｏｌｌｅｒ：ＰＩＣ）、プログラマブル・ロジック・デバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＰＬＤ）、プログラマブル・リードオンリ・メモリ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ：ＰＲＯＭ）、電子的プログラマブル・リードオンリ・メモリ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＰＲＯＭまたはＥＥＰＲＯＭ）、または他の類似のデバイスなどの、プログラム可能な電子デバイスをさらに含み得る。

[0053]このようなプロセッサは、プロセッサによって実行されたとき、プロセッサによって遂行される、または支援されると本明細書に説明されたステップをプロセッサに行なわせることができる命令を記憶し得る媒体、例えば有形のコンピュータ可読媒体を含んでもよく、またはこれと通信してもよい。コンピュータ可読媒体の実施形態は、ウェブサーバ中のプロセッサなどのプロセッサにコンピュータ可読命令を提供することが可能なすべての電子式、光学式、磁気式、または他の記憶装置を含み得るが、これらに限定されない。媒体の他の実施例は、フロッピーディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成されたプロセッサ、すべての光学式媒体、すべての磁気テープもしくは他の磁気媒体、またはコンピュータプロセッサが読むことができる任意の他の媒体を含むが、これらに限定されない。同様に、さまざまな他の装置がルータ、私設もしくは公共ネットワーク、または他の伝達装置などの、コンピュータ可読媒体を含み得る。説明されたプロセッサ、および処理は、１つまたは複数の構造にあってもよく、１つまたは複数の構造を通して分散されてもよい。プロセッサは、本明細書に説明された方法（または方法の一部）の１つまたは複数を遂行するためのコードを含み得る。

[0054]本主題はその具体的な実施形態に関して詳細に説明されているが、当業者が前述の理解を達成した上で、このような実施形態に改変、変形形態、および均等物を容易に創作し得ることは理解されたい。それゆえ、本開示が、限定ではなく実施例の目的のために提示されており、当業者に容易に明らかになるように、本主題へのこのような修正形態、変形形態および／または追加物の包括を妨げないことは、理解されるはずである。

Claims (19)

1. プロセッサによって実行されるとき、前記プロセッサに、
   複数の特性のうちの少なくとも１つが第１の形状と関連付けられた、前記複数の特性を有する入力を受け取り、
   前記第１の形状と関連付けられた画像またはラベルを識別し、
   前記画像またはラベルと関連付けられた触覚効果を識別し、
   前記触覚効果を前記第１の形状と関連付ける
   ようにさせるように構成された、プログラムコードを含む非一時的コンピュータ可読媒体。
2. 実行されるとき、
   前記画像中の第２の形状を識別し、
   前記第１の形状と前記第２の形状との間の類似性に少なくとも部分的に基づいて前記触覚効果を識別する
   ように構成された、プログラムコードをさらに含む、請求項１に記載のコンピュータ可読媒体。
3. 前記画像はビデオからのフレームを含む、請求項１に記載のコンピュータ可読媒体。
4. 実行されるとき、前記第１の形状と関連付けるべき複数の触覚効果を示唆するように構成された、プログラムコードをさらに含む、請求項１に記載のコンピュータ可読媒体。
5. 実行されるとき、
   前記第１の形状と関連付けられたオブジェクトを識別し、
   複数の画像が含まれるデータセットで前記オブジェクトを検索することによって、前記第１の形状と類似した前記第２の形状が含まれる前記画像を識別する
   ように構成された、プログラムコードをさらに含む、請求項２に記載のコンピュータ可読媒体。
6. 前記入力はジェスチャを含む、請求項１に記載のコンピュータ可読媒体。
7. 前記入力は画像を含む、請求項１に記載のコンピュータ可読媒体。
8. 実行されるとき、前記触覚効果を触覚トラックに記録することによって前記触覚効果を前記第１の形状と関連付けるように構成された、プログラムコードをさらに含み、前記触覚トラックはビデオと関連付けられている、請求項１に記載のコンピュータ可読媒体。
9. 実行されるとき、前記触覚効果を触覚効果生成器に出力するように構成された、プログラムコードをさらに含む、請求項１に記載のコンピュータ可読媒体。
10. 複数の特性のうちの少なくとも１つが第１の形状と関連付けられた、前記複数の特性を有する入力を受け取ることと、
    前記第１の形状と関連付けられた画像またはラベルを識別することと、
    前記画像またはラベルと関連付けられた触覚効果を識別することと、
    前記触覚効果を前記第１の形状と関連付けることと、
    を含む方法。
11. 前記画像中の第２の形状を識別し、
    前記第１の形状と前記第２の形状との間の類似性に少なくとも部分的に基づいて前記触覚効果を識別すること
    をさらに含む、請求項１０に記載の方法。
12. 前記画像はビデオからのフレームを含む、請求項１０に記載の方法。
13. 前記第１の形状と関連付けるべき複数の触覚効果を示唆することをさらに含む、請求項１０に記載の方法。
14. 前記第１の形状と関連付けられたオブジェクトを識別することと、
    複数の画像が含まれるデータセットで前記オブジェクトを検索することによって、前記第１の形状と類似した前記第２の形状が含まれる前記画像を識別することと、
    をさらに含む、請求項１１に記載の方法。
15. 前記入力はジェスチャを含む、請求項１０に記載の方法。
16. 前記入力は画像を含む、請求項１０に記載の方法。
17. 前記触覚効果を触覚トラックに記録することによって前記触覚効果を前記第１の形状と関連付けることをさらに含み、前記触覚トラックはビデオと関連付けられている、請求項１０に記載の方法。
18. 前記触覚効果を触覚効果生成器に出力することをさらに含む、請求項１０に記載の方法。
19. ユーザ入力装置と、
    メモリと、
    触覚出力装置と、
    前記ユーザ入力装置およびメモリと通信するプロセッサと、
    を含むシステムであって、前記プロセッサは、
    複数の特性のうちの少なくとも１つが第１の形状と関連付けられた、前記複数の特性を有する入力を受け取り、
    前記第１の形状と関連付けられた画像またはラベルを識別し、
    前記画像またはラベルと関連付けられた触覚効果を識別し、
    前記触覚効果を前記第１の形状と関連付け、
    前記触覚効果と関連付けられた触覚信号を前記触覚出力装置に伝達し、前記触覚信号は前記触覚出力装置に前記触覚効果を出力させる
    ように構成される、システム。