JP2015053054A - 音声信号に関係付けられる触覚効果を生成するためのシステム及び方法 - Google Patents

Abstract

【課題】音声信号に関係付けられる触覚効果を生成するためのシステム及び方法を提供する。【解決手段】触覚効果を出力するためのシステムは、音声信号を受信し（４０２）、音声信号における１つ以上の成分を識別することによって音声信号に部分的に基づいて触覚効果を決定し（４０４）、１つ以上の成分に関係付けられる触覚効果を決定し、触覚効果に関係付けられる触覚信号を出力する（４０６）ように構成されるプロセッサを含む。【選択図】図４

Description

本発明は、概して触覚フィードバックに関し、より詳細には音声信号に関係付けられる触覚効果を生成するためのシステム及び方法に関する。

（関連出願の相互参照）
本願は、２０１３年９月６日に提出され、“Ａｕｄｉｏ ｔｏ Ｈａｐｔｉｃｓ”と題された米国仮出願第６１／８７４，９３３号への優先権を主張し、その全体は参照により本明細書に組み込まれる。

本願は、同日付で提出され、“Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｈａｐｔｉｃ Ｅｆｆｅｃｔｓ Ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ａｎ Ｔｒａｎｓｉｔｉｏｎｓ ｉｎ Ａｕｄｉｏ Ｓｉｇｎａｌｓ”（Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｎｏ．ＩＭＭ４７７（５１８５１−８７９６２３））と題された米国特許出願第１４／０７８，４３８号に関連し、その全体は参照により本明細書に組み込まれる。

本願は、本願と同日付で提出され、“Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｈａｐｔｉｃ Ｅｆｆｅｃｔｓ Ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ａｎ Ｅｎｖｅｌｏｐｅ ｉｎ Ａｕｄｉｏ Ｓｉｇｎａｌｓ”（Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｎｏ．ＩＭＭ４７８（５１８５１−８７９６２４））と題された米国特許出願第１４／０７８，４４２号に関連し、その全体は参照により本明細書に組み込まれる。

タッチ可能装置の人気が高まってきている。例えば、ユーザがタッチセンサ式ディスプレイのタッチ部分で入力を提供できるように、携帯式及び他の装置はタッチセンサ式ディスプレイを用いて構成される場合がある。別の例示として、トラックパッド、マウス又は他の装置等のディスプレイとは別のタッチ可能表面が入力に使用される場合がある。更に、一部のタッチ可能装置は、触覚効果、例えば、テクスチャ又はタッチ面における摩擦をシミュレートするように構成される触覚効果を利用する。一部の装置では、こうした触覚効果は、装置によって出力される音声又は他の効果と相関する場合がある。しかしながら、音声及び触覚効果を処理して出力するレイテンシのために、こうした効果は説得力が少ない場合がある。従って、音声効果に関係付けられる改善された触覚効果が必要とされている。

本開示の実施形態は、タッチ領域で感じられ且つ音声信号に関係付けられる触覚効果を特徴とする装置を含む。限定されないが、こうした触覚効果には、テクスチャの変化、摩擦係数の変化及び／又は境界、障害物のシミュレーション、又は表面と接触しているオブジェクトの使用を通じて知覚され得るタッチ面の他の不連続性が含まれてもよい。

一実施形態では、本開示のシステムは、音声信号を受信し、音声信号における１つ以上の成分を識別することによって音声信号に部分的に基づいて触覚効果を決定し、１つ以上の成分に関係付けられる触覚効果を決定し、触覚効果に関係付けられる触覚信号を出力するように構成されるプロセッサを含んでもよい。別の実施形態は、音声信号に部分的に基づいて触覚効果を決定するための方法を含む。

この例示の実施形態は、本主題の限界を限定又は定義するためではなく、その理解を支援するための例示を提供するために言及される。例示の実施形態は、詳細な説明において検討され、そこでは更なる説明が提供される。本明細書を吟味することによって、及び／又は請求項に記載の主題の１つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。

本明細書の以下の部分には完全且つ実施可能な開示がより詳細に説明される。本明細書は以下の添付の図面を参照する。
音声信号に関係付けられる触覚効果を生成するための例示的なシステムを示す。 図１Ａで示されたシステムの一実施形態の外観図を示す。 図１Ａで示されたシステムの別の実施形態の外観図を示す。 音声信号に関係付けられる触覚効果を生成するための例示的な実施形態を示す。 音声信号に関係付けられる触覚効果を生成するための例示的な実施形態を示す。 一実施形態によって音声信号に関係付けられる触覚効果を生成するための例示的な実施形態を示す。 一実施形態によって音声信号に関係付けられる触覚効果を生成するための方法のフローチャートを示す。 一実施形態によって音声信号に関係付けられる触覚効果を生成するための方法のフローチャートを示す。 一実施形態によって音声信号に関係付けられる触覚効果を生成するための方法のフローチャートを示す。 一実施形態によって音声信号に関係付けられる触覚効果を生成するための方法のフローチャートを示す。 一実施形態によって音声信号に関係付けられる触覚効果を生成するための方法のフローチャートを示す。 一実施形態によってＡ／Ｖ信号を有するコンテンツを生成するためのシステム概略図を示す。 別の実施形態によってＡ／Ｖ信号を有するコンテンツを生成するためのシステム概略図を示す。

次に、多様な及び代替的な例示の実施形態並びに添付の図面を詳細に参照する。各例示は、限定としてではなく、説明目的で提供される。修正及び変更が行われ得ることは、当業者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は、更なる実施形態を生み出すために別の実施形態に対して使用されてもよい。従って、本開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている。

（音声信号に関係付けられる触覚効果を生成するための装置の例示）
本開示の例示的な実施形態の１つは、スマートフォン、タブレット又は携帯型ミュージック装置等のコンピュータシステムを含む。一部の実施形態では、コンピュータシステムは、装着可能装置を含み、又は家具若しくは衣服に埋め込まれてもよい。コンピュータシステムは、この例示において、装置の画面に対応する表示領域に対するタッチの場所を決定するために加速度計及びセンサ（例えば、光学、抵抗性又は容量性）等の１つ以上のセンサを含み及び／又はこれらと通信してもよい。

ユーザが装置と相互作用すると、触覚効果を提供するために、１つ以上の触覚出力装置、例えば、アクチュエータが使用される。例えば、触覚効果は、装置の表面におけるテクスチャの存在をシミュレートするように構成されてもよい。このような実施形態では、表面でユーザの指が動くと、装置の表面におけるテクスチャの感覚をシミュレートするために、振動、電界又は他の効果が出力されてもよい。同様に、別の実施形態では、ユーザが装置上で指を動かすと、スクリーンの知覚される摩擦係数が、指の位置、速度、及び／又は加速度又は指が装置と接触している時間の長さに基づいて変化（例えば、増加又は減少）し得る。他の実施形態では、移動装置は、振動、ポップ、クリック、又は表面変形等の触覚効果を出力してもよい。一部の実施形態では、所定のイベントが発生するときに、所定期間の間（例えば、５０ｍｓ）、触覚効果が出力されてもよい。他の実施形態では、触覚効果は、固定期間で変化してもよい。例えば、一実施形態では、１００Ｈｚの速度、例えば、１００Ｈｚの正弦波で変化するテクスチャが出力されてもよい。

例示の実施形態では、触覚効果は、音声信号に関係付けられる効果を含む。例えば、一部の実施形態では、触覚効果は、音声トラックに関係付けられる触覚効果を含んでもよい。一部の実施形態では、ユーザは、（例えば、ヘッドホン、スピーカ、又は何らかの他の種類の音声出力装置を使用して）触覚効果が決定される時間に音声トラックを聴いてもよい。他の実施形態では、触覚効果は、「触覚トラック」の一部として前もって決定されてもよい。この触覚トラックは、音声トラックと平行して再生され得るように、音声ファイルと共に配布されてもよい。一部の実施形態では、触覚トラックは、触覚効果が音声トラックの成分に対応するように、音声トラックと同期されてもよい。他の実施形態では、触覚効果は、「ＡＶ」（Ａｕｄｉｏ−Ｖｉｓｕａｌ）トラック、例えば、映像ファイルの音声部分に関係付けられてもよい。

１つの例示的な実施形態では、触覚効果は、音声信号を分析して音声信号内の成分を識別又は決定することによって決定されてもよい。一部の実施形態では、成分は、別々のイベント、例えば、砲撃、爆発、叫び声、又は戦闘等の音声信号内のイベントを含んでもよい。更に、一部の実施形態では、成分は、繰り返し発生する音声効果、例えば、ギター、ピアノ、又はスピーカに関係付けられるソースを含んでもよい。更に、一部の実施形態では、成分は、音声信号内で起こる特徴を含んでもよい。特徴（ｆｅａｔｕｒｅ）という用語は、音声セグメントの記述子を意味する専門用語であり、これは一部の実施形態では、アルゴリズムが、例えば、感情を識別することによって音声信号のセグメントを分類することを可能にしてもよい。一実施形態では、分類に使用される音声特徴として、メル周波数ケプストラム（ＭＦＣＣ）が使用されてもよい。このような実施形態では、システムは、こうしたＭＦＣＣ又は他の特徴若しくは記述子を用いてイベント又はソースを識別してもよい。更に、一部の実施形態では、音声信号は、アクション（例えば、発砲、自動車ノイズ、及び特殊効果）、及びバックグラウンドノイズ（例えば、音楽又は機械音）に関係付けられる成分と共に、声の音（例えば、発話又は歌唱）等の音声成分を含んでもよい。１つの例示的な実施形態では、システムは、音声ファイルを分析して、こうした成分の場所を決定し、特定の成分に触覚効果を割り当ててもよい。更なる実施形態では、システムは、所定の音が関連する触覚効果を含むべきでないことを決定してもよい。従って、一実施形態では、システムは、音声信号内に所定の成分の存在を決定して、こうした成分に触覚効果を割り当てないことを決定してもよい。

一部の実施形態では、本開示のシステムは、音声信号を時間、周波数又は振幅に基づいた複数のセグメントに分割することによって音声信号における成分を決定してもよい。次に、こうしたセグメントは、所定の成分（例えば、発話、特殊効果、バックグラウンドノイズ、又は音楽）の存在に関して個々に分析されてもよい。次に、システムは、１つ以上の成分の存在に基づいて各セグメントを分類してもよい。例えば、セグメントは、砲撃、爆発、及びエンジンの回転数を上げることに関係付けられる音を含んでもよい。このような実施形態では、システムは、「アクション」セグメントとしてセグメントを分類してもよい。更に、一部の実施形態では、システムは、分類に基づいて触覚効果を割り当ててもよい。このような実施形態では、上記の例において、システムは、音声ファイルのアクションセグメントを特定の触覚効果、又は触覚効果の組、例えば、発砲及び爆発等の成分の発生と同期した高強度の振動に関連付けてもよい。

更に、本開示の一部の実施形態では、システムは、音声信号を分析して、音声信号における１つ以上の成分のソースを分離してもよい。例えば、システムは、様々な音のソースを検出及び分離するために音声信号を分析してもよい。一実施形態では、音声信号は、混合した音声信号（例えば、発話、特殊効果（例えば、爆発、発砲、機械ノイズ）、動物音、又は楽器（例えば、ピアノ、ギター、ドラム、機械等を含む信号）を含んでもよく、このような実施形態では、システムは、例えば、発話、音楽、又は特殊効果を分離して、音声信号における所定のソースを分離してもよい。このような実施形態では、システムが音のソースを分離すると、システムはソースに触覚効果を割り当ててもよい。例えば、例示の実施形態では、システムは、ロックソングに関係付けられる信号からギターによって生成された音を分離してもよい。このような実施形態では、システムは、触覚効果をギターに適用し、音声信号の他のいかなる成分にも適用しなくてもよい。代替的に、一部の実施形態では、システムは、複数のソースを分離して、複数のソースの１つ以上に触覚効果を割り当ててもよい。例えば、例示の実施形態では、システムは、ギター及びバスを音声トラックの残りの部分と分離してもよい。このような実施形態では、システムは、触覚効果をギター信号及びバス信号の両方に適用してもよい。更に、一実施形態では、システムは、その成分（例えば、ギター又はバス信号）を分離して、こうした成分に関係付けられる触覚効果を取り除くことを決定してもよい。例えば、一実施形態では、システムは、その成分に関係付けられる触覚効果を取り除くために自動変換によって生成される触覚トラックをクリーニングしてもよい。

本開示の別の実施形態では、システムは、音声ファイルにおける発話を検出するように構成されてもよい。上記のように、一部の実施形態では、システムは、発話のソース、例えば、１人又は複数の発話者を分離してもよい。更に、一部の実施形態では、システムは、発話を分析して、発話者に関係付けられる１つ以上の感情を決定するように構成されてもよい。例えば、システムは、発話者に関係付けられる１つ以上の感情を決定するために、周波数、ピッチ又はトーンを分析してもよい。更に、一部の実施形態では、システムは、発話者の感情に関係付けられるように触覚効果を決定又は修正してもよい。例えば、一部の実施形態では、立腹した発話者（又は立腹した発話者に関係付けられるシーン）に関係付けられる触覚効果は、好色な発話者に関係付けられる触覚効果よりも強度が大きくてもよい。代替的に、一部の実施形態では、特定の感情は、それに対して関係付けられた触覚効果が存在しない感情を含んでもよい。例えば、一部の実施形態では、悲哀等の感情は触覚効果を含まなくてもよいので、一部の実施形態では、発話者が悲しんでいることをシステムが検出すると、システムは触覚効果を発話者に又は発話者に関係付けられるシーンに割り当てない。更に、一実施形態では、システムは、音声信号の成分、例えば、発話に関係付けられる成分を分離して、こうした成分に関係付けられる触覚効果を取り除くことを決定してもよい。例えば、一実施形態では、システムは、発話に関係付けられる触覚効果を取り除くために自動変換によって生成される触覚トラックをクリーニングしてもよい。

以下で更に詳細に検討されるように、任意の数の成分が音声信号に見つかってもよい。本開示の実施形態は、こうした成分を識別して、こうした成分と同期された触覚効果を決定及び出力するためのシステム及び方法を提供する。更に、一部の実施形態では、本明細書で検討されたシステム及び方法は、他の種類の信号、例えば、圧力、加速度、速度、又は温度信号に関係付けられる触覚効果を決定するために使用されてもよい。

（音声信号に関係付けられる触覚効果を生成するための例示的なシステム）
図１Ａは、音声信号に関係付けられる触覚効果を生成するための例示的なシステムを示す。特に、この例示では、システム１００は、バス１０６を介して他のハードウェアとインターフェース接続されるプロセッサ１０２を有するコンピュータ装置１０１を含む。ＲＡＭ、ＲＯＭ又はＥＥＰＲＯＭ等の任意の適切な有形の（及び一時的でない）コンピュータ可読媒体を含み得るメモリ１０４が、コンピュータ装置の動作を構成するプログラム要素を具現化する。この例示では、コンピュータ装置１０１は、１つ以上のネットワークインターフェース装置１１０、入力／出力（Ｉ／Ｏ）インターフェース要素１１２、及び追加の記憶装置１１４を更に含む。

ネットワーク装置１１０は、ネットワーク接続を容易にする１つ以上の任意の構成要素を表し得る。限定されないが、例示には、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ又は他の移動通信ネットワーク）が含まれる。

Ｉ／Ｏ要素１１２は、１つ以上のディスプレイ、キーボード、マウス、スピーカ、マイクロホン、カメラ、及び／又はデータの入力又は出力に使用される他のハードウェア等の装置への接続を容易にするために使用されてもよい。例えば、一部の実施形態では、Ｉ／Ｏ要素１１２は、プロセッサ１０２によって提供される音声信号を再生するように構成されるスピーカを含んでもよい。記憶装置１１４は、装置１０１に含まれる磁気、光学、又は他の記憶媒体等の不揮発性記憶装置を表す。一部の実施形態では、記憶装置１１４は、Ｉ／Ｏ要素１１２を介してユーザに再生されるように構成される音声ファイルを記憶するように構成されてもよい。

システム１００は、この例示では、装置１０１に統合されるタッチ面１１６を更に含む。タッチ面１１６は、ユーザの接触入力を感知するように構成される任意の表面を表す。１つ以上のセンサ１０８は、物体がタッチ面に接触する場合に接触領域における接触を検出して、プロセッサ１０２によってユーザに適切なデータを提供するように構成される。センサの任意の適切な数、種類、又は配置が使用され得る。例えば、抵抗性及び／又は容量性のセンサが、タッチ面１１６に組み込まれて、タッチの場所及び圧力等の他の情報を検出するために使用されてもよい。別の例示として、接触位置を決定するためにタッチ面のビューを備える光学センサが使用されてもよい。一部の実施形態では、センサ１０８及びタッチ面１１６は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、一部の実施形態では、タッチ面１１６及びセンサ１０８は、表示信号を受信して、ユーザに画像を出力するように構成されるディスプレイの上に取り付けられるタッチスクリーンを含んでもよい。他の実施形態では、センサ１０８は、ＬＥＤ検出器を含んでもよい。例えば、一実施形態では、タッチ面１１６は、ディスプレイの側部に取り付けられるＬＥＤ指検出器を含んでもよい。一部の実施形態では、プロセッサは単一のセンサ１０８と通信し、他の実施形態では、プロセッサは複数のセンサ１０８、例えば、第１のタッチスクリーン及び第２のタッチスクリーンと通信する。センサ１０８は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ１０２に信号を送信するように構成される。一部の実施形態では、センサ１０８は、ユーザ相互作用の複数の態様を検出するように構成されてもよい。例えば、センサ１０８は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。

更に、装置１０１は、触覚出力装置１１８を含む。図１Ａに示される例示では、触覚出力装置１１８がプロセッサ１０２と通信し、タッチ面１１６に結合される。一部の実施形態では、触覚出力装置１１８は、触覚信号に応じてタッチ面においてテクスチャをシミュレートする触覚効果を出力するように構成される。追加的又は代替的に、触覚出力装置１１８は、制御されるようにタッチ面を動かす振動触覚効果を提供してもよい。一部の触覚効果は、装置の筐体に結合されるアクチュエータを利用してもよい。また、一部の触覚効果は、順番に及び／又は同時に複数のアクチュエータを使用してもよい。例えば、一部の実施形態では、表面テクスチャは、異なる周波数で表面を振動させることによりシミュレートされてもよい。このような実施形態では、触覚出力装置１１８は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）又は線形共振アクチュエータ（ＬＲＡ）の１つ以上を含んでもよい。一部の実施形態では、触覚出力装置１１８は、複数のアクチュエータ、例えば、ＥＲＭ及びＬＲＡを含んでもよい。一部の実施形態では、触覚装置１１８は、装着可能装置、家具、又は衣服を含み、又はこれらに埋め込まれてもよい。

本明細書では単一の触覚出力装置１１８が示されているが、複数の実施形態では、触覚効果を出力するために、例えば、タッチ面において表面テクスチャをシミュレートし又は知覚される摩擦係数を変化させるために同じ又は異なる種類の複数の触覚出力装置が使用されてもよい。例えば、一実施形態では、超音波周波数で、例えば、一部の実施形態では２０−２５ｋＨｚよりも高い周波数で動作するアクチュエータを使用することによって、垂直に及び／又は水平にタッチ面１１６の一部又は全部を移動するために圧電アクチュエータが使用されてもよい。一部の実施形態では、偏心回転質量モータ及び線形共振アクチュエータ等の複数のアクチュエータが、異なるテクスチャ、摩擦係数の変化、又は他の触覚効果を与えるために単独で又は同時に使用され得る。

更に他の実施形態では、触覚出力装置１１８は、タッチ面１１６の表面でテクスチャをシミュレートするために、例えば、静電表面アクチュエータを使用することによって、静電摩擦又は引力を適用してもよい。同様に、一部の実施形態では、触覚出力装置１１８は、タッチ面１１６の表面でユーザが感じる摩擦を変化させるために静電引力を使用してもよい。例えば、一実施形態では、触覚出力装置１１８は、触覚効果を生成するために機械的な動きの代わりに電圧及び電流を加える静電ディスプレイ又は任意の他の装置を含んでもよい。このような実施形態では、静電アクチュエータは、導電層及び絶縁層を含んでもよい。このような実施形態では、導電層は、任意の半導体又は銅、アルミニウム、金又は銀等の他の導電性材料であってもよい。また、絶縁層は、ガラス、プラスチック、ポリマ、又は任意の他の絶縁性材料であってもよい。更に、プロセッサ１０２は、導電層に電気信号を加えることによって静電アクチュエータを動作させてもよい。一部の実施形態では、電気信号は、導電層をタッチ面１１６に近くの又は接触しているオブジェクトと容量結合するＡＣ信号であってもよい。一部の実施形態では、ＡＣ信号は、高圧増幅器によって生成されてもよい。他の実施形態では、容量結合は、タッチ面１１６の表面における摩擦係数又はテクスチャをシミュレートしてもよい。例えば、一実施形態では、タッチ面１１６の表面は円滑であるが、容量結合はタッチ面１１６の表面の付近のオブジェクト間に引力を生み出してもよい。一部の実施形態では、オブジェクトと導電層との間の引力のレベルを変化させることは、タッチセンサ面１１６の表面で動くオブジェクトにおける擬似テクスチャを変化させること、又はオブジェクトがタッチ面１１６の表面で動くときに感じられる摩擦係数を変化させることができる。更に、一部の実施形態では、静電アクチュエータが、タッチ面１１６の表面において擬似テクスチャを変化させるために従来のアクチュエータと共に使用されてもよい。例えば、アクチュエータはタッチ面１１６の表面のテクスチャの変化をシミュレートするように振動してもよい。一方では同時に、静電アクチュエータがタッチ面１１６の表面において異なるテクスチャ又は他の効果をシミュレートしてもよい。

当業者であれば、摩擦係数を変化させることに加えて、例えば、表面上のテクスチャをシミュレートするために他の技術又は方法が使用され得ることを理解するであろう。一部の実施形態では、テクスチャは、表面再構成可能な触覚基板（限定されないが、例えば、繊維、ナノチューブ、電気活性ポリマ、圧電要素、又は形状記憶合金を含む）又は磁性流体からの接触に基づいてそのテクスチャを変化させるように構成される可撓性表面層を使用してシミュレートされ又は出力されてもよい。別の実施形態では、表面のテクスチャは、例えば、変形機構、空気若しくは流体ポケット、材料の局部変形、共振機構要素、圧電性材料、微小電気機械システム（“ＭＥＭＳ”）要素、熱流体ポケット、ＭＥＭＳポンプ、可変多孔性膜（ｖａｒｉａｂｌｅ ｐｏｒｏｓｉｔｙ ｍｅｍｂｒａｎｅｓ）、又は層流変調で、１つ以上の表面成分を上昇又は下降させることによって変化させられてもよい。

一部の実施形態では、タッチ面１１６に近接した又は接触している体の部分をシミュレートすることによって触覚効果を生成するために静電アクチュエータが使用されてもよい。例えば、一部の実施形態では、ユーザの指の皮膚の神経終端又は静電アクチュエータに応答することができるスタイラスの構成要素をシミュレートしてもよい。例えば、皮膚の神経終端は、刺激されて、振動又は何らかのより具体的な感覚として静電アクチュエータ（例えば、容量結合）を感知してもよい。例えば、一実施形態では、静電アクチュエータの導電層が、ユーザの指の導電部分と結合するＡＣ電圧信号を受信してもよい。ユーザがタッチ面１１６に触れてタッチ面上で自身の指を動かすと、ユーザは、チクチク、ザラザラ、ガタガタ、でこぼこ、粘々、又は何らかの他のテクスチャを感知してもよい。

更に、一部の実施形態では、触覚効果を出力するために複数のアクチュエータが使用されてもよい。これは、触覚出力装置１１８が出力できる効果の範囲を広げる役割を果たしてもよい。例えば、一部の実施形態では、広範囲の効果を生成するために静電アクチュエータと協調して振動アクチュエータが使用されてもよい。更なる実施形態では、タッチ面を変形するように構成される装置等の追加の種類の触覚出力装置が、振動アクチュエータ等の他の触覚出力装置と協調して使用されてもよい。

メモリ１０４に関しては、例示のプログラム構成要素１２４、１２６及び１２８は、音声信号に関係付けられる触覚効果を生成するために装置がどのように構成され得るかを示すように描かれている。この例示では、検出モジュール１２４が、タッチの位置を決定するためにセンサ１０８を介してタッチ面１１６を監視するようにプロセッサ１０２を構成する。例えば、モジュール１２４は、タッチの存在又は不存在を追跡して、タッチが存在する場合、場所、経路、速度、加速度、圧力及び／又は経時的なタッチの他の特性を追跡するためにセンサ１０８をサンプリングしてもよい。

触覚効果決定モジュール１２６は、生成すべき触覚効果を選択するために、音声効果からのデータ等の音声データを分析するプログラム構成要素を表す。特に、モジュール１２６が、音声データに基づいて、出力する触覚効果の種類を決定するコードを含む。

触覚効果生成モジュール１２８は、プロセッサ１０２に触覚信号を生成させて触覚出力装置１１８に送信させ、それにより、触覚出力装置１１８に選択された触覚効果を生成するプログラミングを表す。例えば、生成モジュール１２８は、記憶された波形又はコマンドにアクセスして、触覚出力装置１１８に送信してもよい。別の例示として、触覚効果生成モジュール１２８は、所望の種類の効果を受信して、適切な信号を生成して触覚出力装置１１８に送信するために、信号処理アルゴリズムを利用してもよい。一部の実施形態は、触覚効果を出力するために同時に複数の触覚出力装置を利用してもよい。一部の実施形態では、プロセッサ１０２は、触覚信号を触覚出力装置１１８にストリーミング又は送信してもよい。

コンピュータシステムの特定の実施形態によっては、タッチ面がディスプレイをオーバレイしもよく又はオーバレイしなくてもよい（或いは、対応しても、対応してなくてもよい）。図１Ｂでは、コンピュータシステム１００Ｂの外観図が示される。コンピュータ装置１０１は、装置の接触面及びディスプレイを組み合わせたタッチ可能ディスプレイ１１６を含む。タッチ面は、ディスプレイ外部又は実際のディスプレイ構成要素上の１つ以上の材料層に対応してもよい。

図１Ｃは、タッチ面がディスプレイをオーバレイしないタッチ可能コンピュータシステムの別の例を示す。この例示では、コンピュータ装置１０１は、装置１０１とインターフェース接続されたコンピュータシステム１２０に含まれるディスプレイ１２２に設けられるグラフィカルユーザインターフェースにマッピングされ得るタッチ面１１６を含む。例えば、コンピュータ装置１０１は、マウス、トラックパッド、又は他の装置を含んでもよいが、コンピュータシステム１２０は、デスクトップ若しくはラップトップコンピュータ、セットトップボックス（例えば、ＤＶＤプレーヤ、ＤＶＲ、ケーブルテレビボックス）、又は別のコンピュータシステムを含んでもよい。別の例示として、タッチ面１１６及びディスプレイ１２２は、ディスプレイ１２２備えるラップトップコンピュータにおけるタッチ可能トラックパッド等の同じ装置に配置されてもよい。ディスプレイと統合されるか否かに関わらず、本明細書の例示における平面的なタッチ面の描写は、限定することを意図していない。他の実施形態は、表面ベースの触覚効果を与えるように更に構成される湾曲した又は不規則なタッチ可能面を含む。

図２Ａ−Ｂは、音声信号に関係付けられる触覚効果を生成し得る例示的な装置を示す。図２Ａは、タッチ可能ディスプレイ２０２を備えるコンピュータ装置２０１を含むシステム２００の外観図を示す図面である。図２Ｂは、装置２０１の断面図を示す。装置２０１は図１Ａの装置１０１と同様に構成され得るが、プロセッサ、メモリ及びセンサ等は明確のためこの図面には示されていない。

図２Ｂに見られるように、装置２０１は、複数の触覚出力装置２１８及び追加の触覚出力装置２２２を特色とする。触覚出力装置２１８−１は、ディスプレイ２０２に垂直の力を与えるように構成されるアクチュエータを含んでもよいが、一方で２１８−２は横方向にディスプレイ２０２を動かしてもよい。この例では、触覚出力装置２１８及び２２２はディスプレイに直接結合されているが、触覚出力装置２１８及び２２２は別のタッチ面、例えば、ディスプレイ２０２の上にある材料の層に結合され得ることが理解されるべきである。更に、１つ以上の触覚出力装置２１８又は２２２が上記の静電アクチュエータを含んでもよいことが理解されるべきである。更に、触覚出力装置２２２は、装置２０１の構成要素を保持する筐体に結合されてもよい。図２Ａ−２Ｂの例では、ディスプレイ２０２の領域はタッチ領域に対応するが、原理はディスプレイとは完全に分離したタッチ面に適用され得る。

一実施形態では、触覚出力装置２１８の各々は圧電アクチュエータを含むが、追加の触覚出力装置２２２は、偏心回転質量モータ、線形共振アクチュエータ又は別の圧電アクチュエータを含む。触覚出力装置２２２は、プロセッサからの触覚信号に応答して振動触覚効果を提供するように構成され得る。振動触覚効果は、表面ベースの触覚効果と併せて及び／又は他の目的で利用され得る。例えば、ディスプレイ２０２の表面における振動を出力し、テクスチャをシミュレートし又は摩擦係数を変化させるために各アクチュエータが併せて使用されてもよい。

一部の実施形態では、触覚出力装置２１８−１及び２１８−２のいずれか又は両方は、圧電アクチュエータ以外のアクチュエータを含み得る。いずれのアクチュエータも、例えば、圧電アクチュエータ、電磁アクチュエータ、電気活性ポリマ、形状記憶合金、可撓性複合圧電アクチュエータ（例えば、可撓性材料を含むアクチュエータ）、静電、及び／又は磁歪アクチュエータを含み得る。更に、触覚出力装置２２２が示されているが、複数の他の触覚出力装置が装置２０１の筐体に結合可能であり、及び／又は触覚出力装置２２２は別の場所に結合されてもよい。装置２０１は、異なる場所でもタッチ面に結合される複数の触覚出力装置２１８−１／２１８−２を含んでもよい。

次に図３を参照すると、図３は、本開示によって音声信号に関係付けられる触覚効果を生成するためのシステムの一実施形態を示す。図３に示されたシステム３００は、列車３０４を含む映像を示すディスプレイ３０２を有するコンピュータ装置３０１を備える。一部の実施形態では、コンピュータ装置３０１は、ハンドヘルドコンピュータ装置、例えば、携帯電話、タブレット、ミュージックプレーヤ、又はラップトップコンピュータを含んでもよい。別の実施形態では、コンピュータ装置３０１は、多機能コントローラを備えてもよい。例えば、キオスク、ＡＴＭ又は他のコンピュータ装置で使用されるコントローラである。更に、一実施形態では、コンピュータ装置３０１は、車内で使用されるコントローラを含んでもよい。

映像３０４は、（図３には示されない）コンピュータ装置３０１に結合される音声出力装置（例えば、スピーカ又はヘッドホン）によって再生される可聴効果を更に含んでもよい。本開示の実施形態は、音声信号に基づいて触覚効果を決定するための方法を含む。例えば、一部の実施形態は、映像信号から音声信号を分離して、音声トラックと平行して出力される触覚効果を決定するために、以下で更に詳細に検討される様々な操作を実行してもよい。

一部の実施形態では、ディスプレイ３０２は、タッチ可能ディスプレイを含んでもよい。更に、映像を表示するのではなく、ディスプレイ３０２は、グラフィカルユーザインターフェース、例えば、キオスク、ＡＴＭ、ステレオシステム、車両ダッシュボード、電話、コンピュータ、ミュージックプレーヤのためのグラフィカルユーザインターフェース、又は当分野で周知の何らかの他のグラフィカルユーザインターフェースをユーザに提供してもよい。このような実施形態では、コンピュータ装置３０１は、グラフィカルユーザインターフェースに関係付けられる音声信号に基づいて触覚効果を決定してもよい。例えば、一部の実施形態では、グラフィカルユーザインターフェースは、ユーザがアイコン、ボタン又は他のインターフェース要素と相互作用するときに出力される音声効果を含んでもよい。一部の実施形態では、コンピュータ装置３０１は、こうした音声効果の１つ以上に関係付けられる触覚効果を更に決定してもよい。一部の実施形態では、コンピュータ装置３０１は、音声信号又は任意の他のセンサから生じる信号、例えば、ユーザインターフェース、加速度計、ジャイロスコープ、慣性測定装置（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）等のセンサからの信号から触覚効果を導き出してもよい。

一部の実施形態では、映像信号が含まれなくてもよい。例えば、一部の実施形態では、触覚効果は、映像に関係付けられない音声トラックと平行して再生されてもよい。このような実施形態では、本明細書に開示のシステム及び方法は、リアルタイムで、信号が再生されているときに、又は信号が再生されるよりも前の時間に、音声信号に作用してもよい。例えば、一部の実施形態では、将来再生するためにデータストアに記憶される触覚トラックを決定するために音声信号が処理されてもよい。このような実施形態では、触覚トラックは、触覚トラックを再生するコンピュータ装置によって決定されてもよい。他の実施形態では、触覚トラックは、音声トラックの著者又は配布者によって生成されてもよい。このような実施形態では、著者又は配布者は、音声トラックと共に触覚トラックを配布してもよい。

（音声信号に関係付けられる触覚効果を生成するための例示的な方法）
図４及び５は、音声信号に関係付けられる触覚効果を生成するための例示的な方法４００及び５００を示すフローチャートである。一部の実施形態では、フローチャート４００及び５００におけるステップは、プロセッサ、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図４及び５に示されるステップは異なる順番で行われてもよい。代替的に、一部の実施形態では、図４及び５に示される１つ以上のステップはスキップされてもよく、又は図４及び５には示されていない追加のステップが行われてもよい。図４及び５におけるステップは、音声信号に関して記載される。しかしながら、一部の実施形態では、方法は、他の種類の信号、例えば、圧力、加速度、速度、又は温度信号に関係付けられる触覚効果を決定するために使用されてもよい。以下のステップは図１Ａに示されたシステム１００に関して記載された構成要素を参照して記載される。

プロセッサ１０２が音声信号を受信すると、方法４００が開始する（４０２）。一部の実施形態では、音声信号は、コンピュータ装置１０１で再生される映像に関係付けられる信号を含んでもよい。他の実施形態では、音声信号は、コンピュータ装置１０１で現在再生されている音声ファイルに関係付けられる信号を含んでもよい。更に他の実施形態では、音声信号は、コンピュータ装置１０１でローカルに記憶されている又はリモートサーバに記憶されている音声ファイルに関係付けられる信号を含んでもよい。例えば、一部の実施形態では、音声信号は、サーバに記憶され、オンデマンドでユーザにダウンロードされる音声ファイルを含んでもよい。

プロセッサ１０２が音声信号に基づいて触覚効果を決定すると、方法４００は継続する（４０４）。一部の実施形態では、触覚効果は、１つ以上の触覚出力装置１１８によって出力される振動を含んでもよい。一部の実施形態では、振動は、コンピュータ装置１０１で再生される音声トラックのユーザの知覚を向上させるために使用されてもよい。同様に、一部の実施形態では、触覚効果は、タッチ面１１６における摩擦係数の変化を含んでもよい。他の実施形態では、触覚効果は、タッチ面１１６の表面における擬似テクスチャ（例えば、水、草、氷、金属、砂土、砂利、レンガ、毛皮、皮革、皮膚、繊維、ゴム、葉又は任意の他の利用可能なテクスチャの１つ以上のテクスチャ）を含んでもよい。

一部の実施形態では、プロセッサ１０２は、触覚効果を決定するために触覚効果決定モジュール１２６に含まれるプログラミングを利用してもよい。例えば、プロセッサ１０２は、メモリ１０４内に記憶されて特定の触覚効果に関係付けられる駆動信号にアクセスしてもよい。別の例示として、信号は、効果に関係付けられる記憶済みアルゴリズム及び入力パラメータにアクセスすることによって生成されてもよい。例えば、アルゴリズムは、振幅及び周波数パラメータに基づいて駆動信号を生成するのに使用されるデータを出力してもよい。別の例として、触覚信号は、アクチュエータによって復号するためにアクチュエータに送信されるデータを含んでもよい。例えば、アクチュエータ自体が、振幅及び周波数等のパラメータを特定するコマンドに応答してもよい。

更に、一部の実施形態では、ユーザは、コンピュータ装置１０１をカスタマイズするために、振動、テクスチャ、摩擦係数の変化又は音声ファイルに関係付けられる他の触覚効果を選択することが可能であってもよい。例えば、一部の実施形態では、ユーザは、タッチインターフェースの感覚をパーソナライズするために表面テクスチャ等の触覚効果を選択してもよい。一部の実施形態では、この触覚効果は、例えば、着呼、Ｅメール、テキストメッセージ、アラーム、又は他のイベントに対する着信音に関係付けられてもよい。一部の実施形態では、ユーザは、設定を修正すること又は特定の効果に関係付けられるソフトウェアをダウンロードすることによってこうしたパーソナライズされた触覚効果又は表面テクスチャを選択してもよい。他の実施形態では、ユーザは、検出された装置との相互作用を介して効果を指定してもよい。一部の実施形態では、触覚効果のパーソナライズは、ユーザの所有意識及びユーザと装置との間の繋がりを増加させてもよい。

更に他の実施形態では、装置製造業者、アーティスト、動画撮影者又はソフトウェア開発者は、装置、ユーザインターフェース又は芸術的作品（例えば、歌曲、映像、又は音声トラック）をブランド化するために、表面テクスチャ等の特有の触覚効果を選択してもよい。一部の実施形態では、こうした触覚効果は、ブランド化された装置に独自であり、ブランド認知を増加させ得る他の特有の要素と同様であってもよい。例えば、多くの移動装置及びタブレットは、カスタム又はブランド化されたホームスクリーン環境を含んでもよい。例えば、一部の実施形態では、異なる製造業者によって製造された装置が同じオペレーティングシステムを含んでもよいが、製造業者はこのホームスクリーン環境を修正することによって装置を区別してもよい。同様に、所定の会社によって作られる映像又は音声トラックが特定の種類の触覚効果を含んでもよい。従って、一部の実施形態では、一部の装置製造業者、制作会社又はソフトウェア開発者は、独自であり差別化されるユーザ体験を生み出すためにテクスチャ又は摩擦に基づいた効果等の触覚効果を使用してもよい。

一部の実施形態では、プロセッサ１０２は「触覚プロファイル」を実装してもよい。触覚プロファイルは、プロセッサ１０２に所定の特徴を有する触覚効果を決定させるように構成される特定のアルゴリズム又は設定を含んでもよい。一部の実施形態では、触覚プロファイルは、ユーザ又は設計者によって生成又は特定されてもよい。更に、一部の実施形態では、装置が予めプログラミングされた触覚プロファイルを含んでもよい。一部の実施形態では、こうした触覚プロファイルは、例えば、アクティブな効果、繊細な効果、又は特定の種類の音声信号（例えば、音楽、発話、特殊効果、映画の種類（例えば、アクション、ドラマ、スリラー、ホラー、コメディ）用の特定の触覚プロファイル）、スポーツイベント、又は本明細書に記載の信号の著者の種類のためにカスタマイズされたプロファイルを出力するように設計された触覚プロファイルを含んでもよい。例えば、一実施形態では、ユーザは、ロック音楽に関係付けられる特定の触覚プロファイルを特定し、スポーツイベントに関係付けられる異なる触覚プロファイルを特定してもよい。

プロセッサ１０２が触覚効果に関係付けられる触覚信号を出力すると、方法４００は継続する（４０６）。プロセッサ１０２は、触覚効果を出力するように構成される触覚出力装置１１８に触覚信号を出力する。一部の実施形態では、触覚出力装置１１８は、タッチ面１１６上に触覚効果を出力してもよい。一部の実施形態では、触覚出力装置１１８は、タッチ面１１６又はコンピュータ装置１０１内の他の構成要素に結合される圧電アクチュエータ又は電気モータ等の従来のアクチュエータを含んでもよい。他の実施形態では、触覚出力装置１１８は、静電界を使用してテクスチャをシミュレートする又は摩擦係数を変化させるように構成される静電アクチュエータを含んでもよい。一部の実施形態では、プロセッサ１０２は、複数の触覚効果をシミュレートするために複数の触覚出力装置を制御してもよい。例えば、一実施形態では、プロセッサ１０２は、タッチ面１１６の表面でテクスチャをシミュレートするために静電アクチュエータを制御してもよい。また、プロセッサ１０２は、他の特徴をシミュレートするために他の触覚出力装置１１８を更に制御してもよい。例えば、触覚出力装置１１８は、タッチ面１１６におけるバリア、デテント、移動又は衝突をシミュレートするように構成される振動等、他の効果を出力するように構成されるアクチュエータを含んでもよい。一部の実施形態では、プロセッサ１０２は、ユーザがタッチ面１１６と相互作用すると複数の効果を共に感じることができるように、効果を調整してもよい。

次に、プロセッサ１０２は音声信号を出力する（４０８）。一部の実施形態では、プロセッサ１０２は、スピーカ、ヘッドホン、又は小型イヤホン（ｅａｒ ｂｕｄ）等の音声出力装置に音声信号を出力してもよい。一部の実施形態では、音声出力装置は、コンピュータ装置１０１に統合されてもよい。他の実施形態では、音声出力装置は、コンピュータ装置１０１に結合されてもよい。更に、一部の実施形態では、音声信号は触覚効果に同期されてもよく、例えば、一部の実施形態では、触覚効果は対応する音声効果と実質的に同時に出力されてもよい。

次に図５を参照すると、図５は、音声信号に関係付けられる触覚効果を決定するための例示的な方法５００を示す。方法５００は、プロセッサ１０２が音声信号の成分を識別すると開始する。音声信号の成分を識別するための様々な例示的な方法が、以下でより詳細に検討される。一部の実施形態では、こうした遷移は、音声信号の振幅、周波数、トーン、ピッチ、又は速度の変化に関係付けられてもよい。こうした変化は、例えば、楽器の変化、映画のシーンの変化、ソースの変化（例えば、発話者の変化）、又は音声ファイルに一般的に見つかる何らかの他の遷移に関係付けられてもよい。

プロセッサ１０２がステップ５０２で決定された成分に関係付けられる触覚効果を決定すると、方法５００はステップ５０４に続く。一部の実施形態では、触覚効果はその成分をシミュレートするように構成されてもよい。例えば、決定された成分がアクション（例えば、発砲又は爆発）に関係付けられる場合、触覚効果は強度の高い触覚効果を含んでもよい。他の実施形態では、触覚効果は、強度の低い触覚効果、例えば、パンフルートによって生成されるような穏やかな音楽に関係付けられる効果を含んでもよい。代替的に、一部の実施形態では、触覚効果を決定することは、触覚効果が成分に関係付けられるべきではないことを決定することを含む。例えば、一実施形態では、バックグラウンドノイズは、触覚効果を含まなくてもよい。従って、システムがバックグラウンドノイズに関係付けられる成分を決定又は識別すると、システムは触覚効果を決定しなくてもよい。同様に、一部の実施形態では、システムは、発話に関係付けられる成分が触覚効果を有するべきではないことを決定してもよい。更に、一実施形態では、システムは、その成分（例えば、バックグラウンドノイズ）を分離して、こうした成分に関係付けられる触覚効果を取り除くことを決定してもよい。例えば、一実施形態では、システムは、その成分に関係付けられる触覚効果を取り除くために自動変換によって生成される触覚トラックをクリーニングしてもよい。

更に、一部の実施形態では、プロセッサ１０２は、（複数の）触覚効果を成分と同期してもよい。一部の実施形態では、（複数の）触覚効果を成分と同期することは、音声効果と実質的に対応する時間に触覚効果に関係付けられる触覚信号を出力するようにプロセッサ１０２を構成することを含む。他の実施形態では、触覚効果は、音声効果の所定期間の後に出力されてもよい。例えば、一部の実施形態では、プロセッサ１０２は、エコーとして作用する触覚効果を出力してもよい。例えば、一実施形態では、音声トラックは、砲撃をシミュレートする音等の成分を含んでもよい。このような実施形態では、プロセッサは、音声効果と同時に起こる触覚効果を決定してもよい。プロセッサは、砲撃に関係付けられるエコーをシミュレートするために数秒後に出力される第２の触覚効果を更に決定してもよい。

（音声信号に関係付けられる触覚効果を決定するための例示的な方法）
図６〜８は、音声信号に関係付けられる触覚効果を決定するための例示的な方法６００，７００及び８００を示すフローチャートである。一部の実施形態では、図６〜８のステップは、プロセッサ、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図６〜８に示されるステップは異なる順番で行われてもよい。代替的に、一部の実施形態では、図６〜８に示される１つ以上のステップはスキップされてもよく、又は図６〜８には示されていない追加のステップが行われてもよい。図６〜８におけるステップは、音声信号に関して記載される。しかしながら、一部の実施形態では、方法は、他の種類の信号、例えば、圧力、加速度、速度、又は温度信号に関係付けられる触覚効果を決定するために使用されてもよい。

一部の実施形態では、図６〜８に記載の方法は、最終的に触覚効果を出力する触覚出力装置に結合される装置によって実装されてもよい。他の実施形態では、図６〜８に記載の方法は、触覚の開発者又はコンテンツ作成者によって実装されてもよい。このような実施形態では、方法は、設計者又はコンテンツ作成者がマルチメディアコンテンツに触覚効果を割り当てるのを支援するツールボックスの一部として実装されてもよい。例えば、一部の実施形態では、こうした方法は、音声又は音声映像編集ソフトウェア（例えば、触覚スタジオ、又は触覚を開発するためのモバイルアプリケーション）の一部として見出されてもよい。

次に図６を参照すると、図６は、一実施形態によって音声信号に関係付けられる触覚効果を生成するための方法６００のフローチャートを示す。図６に示されるように、方法６００は、プロセッサ１０２が１つ以上の成分に関係付けられる信号を受信すると開始する。一部の実施形態では、こうした成分は、ＡＥＤ（聴覚イベント検出；Ａｃｏｕｓｔｉｃ Ｅｖｅｎｔ Ｄｅｔｅｃｔｉｏｎ）又はＡＳＲ（自動発話認識；Ａｕｔｏｍａｔｉｃ Ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ）に関係付けられる方法又はシステムを含んでもよい。更に、一部の実施形態では、こうした方法は、一次及び二次導関数に沿ったメル周波数ケプストラム係数（ＭＦＣＣ）、ＭＰＥＧ−７スペクトル特性、ＣＢ−ＴＥＯ（Ｃｒｉｔｉｃａｌ Ｂａｎｄ ｃｏｍｂｉｎｅｄ ｗｉｔｈ Ｔｅａｇｅｒ Ｅｎｅｒｇｙ Ｏｐｅｒａｔｏｒ）特性、信号の周期性、ウェーブレットベースのケプストラム係数、スペクトル中心（Ｓｐｅｃｔｒａｌ ｃｅｎｔｒｏｉｄ）、スペクトル非対称性、スペクトル帯域幅、ＺＣＲ（Ｚｅｒｏ Ｃｒｏｓｓｉｎｇ Ｒａｔｅ）、ＬＰＣ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｏｒ Ｃｏｅｆｆｉｃｉｅｎｔ）、ＬＰＣＣ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔｓ）、ＬＦＣＣ（Ｌｏｇ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔｓ）、又は基本周波数の１つ以上に関係付けられる音声特性を用いる。一部の実施形態では、こうした成分は、音声ファイルを聴くであろうユーザによって識別又はタグ付けされてもよい。他の実施形態では、こうした成分は、音声トラックを開発したプログラミング又はアーティストによって識別又はタグ付けされてもよい。

次に、ステップ６０４では、プロセッサ１０２は、音声信号を１つ以上のセグメントに分割する（６０４）。一部の実施形態では、こうしたセグメントは重複したセグメントを含んでもよく、代替的に、一部の実施形態では、セグメントは重複していないセグメントを含んでもよい。一部の実施形態では、こうしたセグメントは時間セグメントを含んでもよい。例えば、一部の実施形態では、セグメントは既定の期間、例えば、１、．５、．１、又は．０１秒ごとの時間セグメントを含んでもよい。他の実施形態では、セグメントは、値が変化する時間セグメントを含んでもよい。更に他の実施形態では、セグメントは、音声信号の異なる測定値を含んでもよい。例えば、一実施形態では、セグメントは振幅セグメントを含んでもよい。例えば、所定の振幅範囲内の信号の成分がセグメントを形成してもよい。更に他の実施形態では、セグメントは、信号内の周波数帯域を含んでもよい。このような実施形態では、その周波数帯域内の音声信号の成分がセグメントを形成してもよい。一部の実施形態では、例示的な周波数帯域は、５０Ｈｚから２００Ｈｚ、又は１，０００Ｈｚから１０，０００Ｈｚの範囲を含んでもよい。

次に、ステップ６０６において、プロセッサ１０２はセグメントを分析する。プロセッサ１０２は、セグメントを分析して、ステップ６０２で検討された１つ以上の成分を識別する。例えば、プロセッサ１０２は、発話又は音楽等の成分が存在するかどうかを決定してもよい。一部の実施形態では、プロセッサ１０２は、ＡＥＤ（聴覚イベント検出；Ａｃｏｕｓｔｉｃ Ｅｖｅｎｔ Ｄｅｔｅｃｔｉｏｎ）又はＡＳＲ（自動発話認識；Ａｕｔｏｍａｔｉｃ Ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ）の１つを用いてセグメントを分析してもよい。一部の実施形態では、分析は、周波数、振幅、トーン、又はピッチに基づいた分析の１つ以上を含んでもよい。例えば、一部の実施形態では、プロセッサは、音声信号に高速フーリエ変換（ＦＦＴ）を実行して、周波数領域で音声信号を分析してもよい。例えば、一実施形態では、プロセッサ１０２は、ＦＦＴを実行することによってセグメントを分析して、ピーク周波数成分を分離してもよい。プロセッサは更に、音声信号データのデータベース（例えば、ネットワーク１１０を介してアクセス可能なリモートデータベース、又は記憶装置１１４に記憶されているローカルデータベース）にアクセスして、セグメントをデータベースと比較してもよい。一部の実施形態では、これは、プロセッサが音声効果のソースを分離すること、例えば、発話者を分離すること又は楽器若しくは音声効果（例えば、発砲、爆発、又はエンジン音等のアクション映画に見出される効果）を分離することを可能にしてもよい。

次に、ステップ６０８において、プロセッサ１０２はセグメントを分類する。一部の実施形態では、プロセッサ１０２は、セグメントにおける特定の音声特性の値又はセグメントにおける特定の成分の存在に基づいてセグメントを分類してもよい。一部の実施形態では、分類のためのアルゴリズム（例えば、認識アルゴリズム）が、セグメントの成分又は特性値を異なる成分又は特性を記述する異なるモデルに対して比較してもよい。このアルゴリズムは更に、最も可能性が高いモデルのラベルに基づいてセグメントを分類してもよい。

一部の実施形態では、モデルは、そのモデルに関係付けられる成分の種類に基づいて考案されてもよい。一実施形態では、一種類の成分又は特性のためのモデルが、過去に自動的に又は手動で同じ種類でラベル付けされた音声セグメントのデータベースからの成分又は特性を用いて構築されてもよい。一部の実施形態では、このデータベースは、音声効果に関係付けられる高速検索を可能にするように構成される複数の分類子を含む大規模データベースを含んでもよい。一実施形態では、例示の分類は、成分ごとの分類システム（例えば、発話認識システム）又は一組の中の１つの成分にセグメントを割り当てる分類システムを含んでもよい。ＡＥＤに使用される分類技術の例は、例えば、ＧＭＭ（混合ガウスモデル；Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌｓ）、ＳＶＭ（サポートベクターマシン；Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ＨＭＭ（隠れマルコフモデル；Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌｓ）、ＫＮＮ（Ｋ近傍法；Ｋ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒｓ）、決定木（Ｄｅｃｉｓｉｏｎ ｔｒｅｅｓ）、ＡＮＮ（人工ニューラルネットワーク；Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＶＱ（ベクトル量子化；Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ）、又はＢＮ（ベイジアンネットワーク；Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋｓ）を含んでもよい。更に、一部の実施形態では、プロセッサ１０２は、データベースにアクセスして、特定の特性若しくは成分を記憶し、又は特性若しくは成分に関係付けられるデータベースにおける検索を実行してもよい。

次に、ステップ６１０において、プロセッサ１０２は、分類に基づいて触覚効果を割り当てる。一部の実施形態では、触覚効果は、分類に関係付けられる特定の種類の効果を含んでもよい。例えば、一部の実施形態では、信号の特定のクラスが特定の触覚効果を含んでもよい。このような実施形態では、例えば、発話が特定の周波数振動を含んでもよいが、車の走行等の別の可聴効果が異なる周波数振動を含んでもよい。更に、一部の実施形態では、プロセッサ１０２は、所定のクラスの音声信号が触覚効果を有するべきではないことを決定してもよい。例えば、一部の実施形態では、プロセッサ１０２は、バックグラウンドノイズ又は発話がどの触覚効果にも関係付けられるべきではないことを決定してもよい。例えば、一実施形態では、ユーザ又は設計者は、プロセッサ１０２がバックグラウンドノイズ又は発話に関係付けられる触覚効果を出力しないことを決定するように設定を調節してもよい。更に、一実施形態では、ユーザ又は設計者は、プロセッサ１０２が音声ファイルの検索を実行して、バックグラウンドノイズ又は発話に関係付けられる触覚効果を取り除くために触覚トラックをクリーニングするように設定を調節してもよい。

次に図７を参照すると、図７は、一実施形態によって音声信号に関係付けられる触覚効果を生成するための方法７００のフローチャートを示す。図７に示されるように、方法７００は、プロセッサ１０２が音声信号内のソースを分離すると開始する（７０２）。一部の実施形態では、プロセッサ１０２は、音声ソースを分離するために１つ以上の複数の異なる方法を実装してもよい。一部の実施形態では、こうした方法は、ＡＥＤ（聴覚イベント検出；Ａｃｏｕｓｔｉｃ Ｅｖｅｎｔ Ｄｅｔｅｃｔｉｏｎ）又はＡＳＲ（自動発話認識；Ａｕｔｏｍａｔｉｃ Ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ）に関する方法を含んでもよい。更に、一部の実施形態では、こうした方法は、一次及び二次導関数に沿ったメル周波数ケプストラム係数（ＭＦＣＣ）、ＭＰＥＧ−７スペクトル特性、ＣＢ−ＴＥＯ（Ｃｒｉｔｉｃａｌ Ｂａｎｄ ｃｏｍｂｉｎｅｄ ｗｉｔｈ Ｔｅａｇｅｒ Ｅｎｅｒｇｙ Ｏｐｅｒａｔｏｒ）特性、信号の周期性、ウェーブレットベースのケプストラム係数、スペクトル中心（Ｓｐｅｃｔｒａｌ ｃｅｎｔｒｏｉｄ）、スペクトル非対称性、スペクトル帯域幅、ＺＣＲ（Ｚｅｒｏ Ｃｒｏｓｓｉｎｇ Ｒａｔｅ）、ＬＰＣ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｏｒ Ｃｏｅｆｆｉｃｉｅｎｔ）、ＬＰＣＣ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔｓ）、ＬＦＣＣ（Ｌｏｇ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔｓ）、又は基本周波数の１つ以上を使用するように構成されるアルゴリズムを含んでもよい。

次に、ステップ７０４において、プロセッサ１０２は、ソースに触覚効果を割り当てる。例えば、一部の実施形態では、プロセッサは、触覚効果が所定のソースにのみ関係付けられるべきであることを決定してもよい。例えば、プロセッサは、音楽に関係付けられる音声に触覚効果を適用するが、話すことに関係付けられる触覚効果を除去又は「クリーニング」してもよい。同様に、プロセッサは、発砲、エンジン音、気象ノイズ、又はバックグラウンドノイズ等の効果に関係付けられる音声に対する特定の効果を決定してもよい。一部の実施形態では、プロセッサ１０２は、多数のアクチュエータを異なる音声効果に割り当ててもよい例えば、プロセッサ１０２は、１つのソース（例えば、第１の発話者又は第１のギター）に関係付けられる触覚効果を生成するために第１の触覚出力装置１１８を割り当て、第２のソース（例えば、第２の発話者又は音声信号における特殊効果）に関係付けられる触覚効果を生成するために第２の触覚出力装置１１８を割り当ててもよい。

次に図８を参照すると、図８は、一実施形態によって音声信号に関係付けられる触覚効果を生成するための方法８００のフローチャートを示す。図８に示されるように、方法８００は、ステップ８０２において、プロセッサ１０２が音声信号における発話を分離すると開始する。一部の実施形態では、プロセッサ１０２は、音声信号のセグメントを分類することによって、例えば、音声信号における音声特性又は成分の識別を用いて発話を分離する。一部の実施形態では、プロセッサ１０２は、事前にタグ付けされた音声信号のローカル又はリモートデータベースにアクセスしてもよい。このデータベースは、異なる種類の、異なる発話者の、及び異なるレベルのノイズを有する音を含んでもよい。一部の実施形態では、プロセッサは、以下の１つ以上を用いて信号を発話として分類してもよい。信号エネルギ、高／低エネルギ、メル周波数ケプストラム係数（ＭＦＣＣ）及びその導関数、ＬＦＣＣ（Ｌｏｇ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔｓ）及びＺＣＲ（Ｚｅｒｏ Ｃｒｏｓｓｉｎｇ Ｒａｔｅ）、自己相関周波数、又はスペクトル重心。更に、一部の実施形態では、識別タスクに用いられる分類子は、以下を含んでもよい。ニューラルネットワーク、ＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌｓ）、又はＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌｓ）。

プロセッサ１０２が発話に関係付けられる１つ以上の感情を決定すると、方法８００は継続する（８０４）。発話者の感情的状態は、発話パターンに影響を及ぼす。例えば、発話者の感情は、発話者のイントネーション、音量、速度、又は他の発話パラメータを変化させてもよい。一部の実施形態では、プロセッサ１０２は、信号を再度分類することによって発話における感情を決定する。一部の実施形態では、この分類は、音声信号から１つ以上の特性値又は成分を推定して、発話者の感情的状態がタグ付けされた発話サンプルのローカル又はリモートデータベースに対してそれらを分類することを含む。一部の実施形態では、分類のためのアルゴリズム（例えば、認識アルゴリズム）が、セグメントの成分又は特性値を異なる感情を記述する異なるモデルに対して比較してもよい。このアルゴリズムは更に、最も可能性が高い感情に基づいてセグメントを分類してもよい。一部の実施形態では、モデルは、そのモデルに関係付けられる感情の種類に基づいて考案されてもよい。一実施形態では、一種類の感情のためのモデルが、同じ感情で過去にラベル付けされた（例えば、自動的に又は手動で）音声セグメントのデータベースからの成分又は特性を用いて構築されてもよい。一部の実施形態では、データベースは、異なる年齢、性別、感情的状態及び訛り／言語の発話者のサンプルを含むのに十分な大きさであってもよい。更に、一部の実施形態では、検出可能な感情の種類は、中立、喜び、怒り、悲しみ、攻撃性、退屈、嫌悪、恐怖、ストレス、驚き、又は憤りを含む。

プロセッサ１０２は、感情検出のために多数の異なる成分を使用してもよい。一部の実施形態では、成分は、周波数に基づいた成分、例えば、基本周波数変化、平均ピッチ、ピッチ範囲、スペクトル特性、ＭＦＣＣ、ＬＦＣＣ、フォルマント特性、又は曲線勾配（ｃｏｎｔｏｕｒ ｓｌｏｐｅ）を含んでもよい。他の実施形態では、こうした成分は、時間に基づいた成分、例えば、発話速度、ストレス頻度、エネルギ、又はＺＣＲを含んでもよい。更に他の実施形態では、こうした成分は、音声品質パラメータ、例えば、気息音、輝度、声の強さ、ポーズの不連続性、又はピッチの不連続性を含んでもよい。例えば、一部の実施形態では、怒り及び攻撃性は、強い高周波のエネルギ及びより広いピッチ範囲を有する高振幅で速い発話で翻訳され得る。他の実施形態では、悲しみは遅くて低いピッチの信号を生み出してもよい。一部の実施形態では、感情分類タスクに用いられ得る分類子は、ニューラルネットワーク、ＳＶＭ、ＧＭＭ、ＨＭＭ、ＫＮＮ、又は決定木を含んでもよい。

更に、一部の実施形態では、音声信号は、音声セグメントの記述子として作用する特性を含んでもよく、これは一部の実施形態では、アルゴリズムが、例えば、感情を識別することによって音声信号のセグメントを分類することを可能にしてもよい。一実施形態では、分類に使用される音声特徴として、メル周波数ケプストラム（ＭＦＣＣ）が使用されてもよい。このような実施形態では、システムは、こうしたＭＦＣＣ又は他の特徴若しくは記述子を用いてイベント又はソースを識別してもよい。

感情に関係付けられる触覚効果を決定すると、方法８００は継続する（８０６）。一部の実施形態では、プロセッサ１０２は、触覚効果を生成するのではなく触覚無効（ｈａｐｔｉｃ ｓｉｌｅｎｃｅ）を生成することを決定してもよい。例えば、いくつかの感情（例えば、憂鬱、悲しみ）に対して、プロセッサ１０２はこのセグメントにおける全ての触覚効果を無効にしてもよい。また、プロセッサ１０２は、セグメントに触覚テーマを割り当ててもよい。例えば、検出された感情は、より意味を持たせるようにセグメント／シーンにおける触覚効果を変調するために使用されてもよい。こうした触覚効果は、自動変換（音声及び／又は映像）によって生成されてもよく、発話又は何らかの他の音に関連付けられ得る。例えば、俳優が怒り及びストレスの感情を有するアクション映画のシーンにおいて、触覚効果は、視聴者に対する類似のストレス状態をシミュレートするように決定されてもよい。このような実施形態では、プロセッサ１０２は、ストレスの多いシーンにおいて全ての触覚効果を強化するように構成されてもよい。他の実施形態では、愉快なシーンの場合、プロセッサは、そのシーンに関係付けられる１つ以上の触覚効果を弱めるように構成されてもよい。更に他の実施形態では、プロセッサ１０２は、事前設定された効果を決定するように構成されてもよい。このような実施形態では、自動変換を用いるのではなく、プロセッサ１０２は、タグ付けされた感情から直接的に効果を生成してもよい。例えば、一実施形態では、感情は、ユーザ、プログラマ、又はコンテンツ作成者にタグ付けされてもよい。一部の実施形態では、事前設定された効果は、発話者の感情状態に適合するように設計されることができ、このような実施形態では、この状態を反映及び強調するために発話に沿って再生されてもよい。更に他の実施形態では、発話信号に適合しないかもしれない自動変換アルゴリズムを使用する代わりに、プロセッサ１０２は、自動的に生成された触覚トラックにおける発話に関連する全ての効果を無効にするように構成されてもよい。このような実施形態では、プロセッサ１０２は、検出された感情に専用に設計されたアルゴリズムで独立して発話を処理してもよい。更に、一部の実施形態では、プロセッサ１０２は、検出された感情に基づいて触覚に発話のための既定のアルゴリズムを適用してもよい。例えば、一実施形態では、プロセッサは、各々が複数の感情に関係付けられる複数の自動発話−触覚アルゴリズム（ａｕｔｏｍａｔｉｃ ｓｐｅｅｃｈ ｔｏ ｈａｐｔｉｃｓ ａｌｇｏｒｉｔｈｍ）を含んでもよい。このような実施形態では、プロセッサ１０２が１つの感情を決定すると、プロセッサ１０２は対応するアルゴリズムを用いて触覚効果を決定してもよい。

（触覚メディアを生成するための音声信号に関係付けられる触覚コンテンツを生成するための例示のシステム）
次に図９Ａ及び９Ｂを参照して、触覚コンテンツを生成するためのシステム環境に関する実施形態を説明する。図９Ａに示されるように、システム９００は、１つ以上のメディアサーバ９０４に記憶されたＡ／Ｖコンテンツ９０２及び１つ以上の触覚メディアサーバ９１０に記憶された触覚コンテンツ９０８を含む。システム９００に示されるように、メディアサーバ９０４及び触覚メディアサーバ９１０の各々は、当技術分野で周知の標準的な構成要素、例えば、プロセッサ、メモリ、データ記憶装置、（複数の）ネットワーク接続、及びサーバにデータを記憶して記憶されたデータにアクセスするように構成されるソフトウェアを有する１つ以上のサーバを備える。メディアサーバ９０４及び触覚メディアサーバ９１０は共に、クラウド接続９０６（ａ）又は９０６（ｂ）の１つに結合される。クラウド接続９０６（ａ）又は９０６（ｂ）は、当技術分野で周知の有線及び／又は無線インターネット接続を含む。

システム９００に示されるように、Ａ／Ｖコンテンツ９０２（音声、画像、又は映像ファイル等）は、触覚コンテンツ９０８（上記の触覚トラック等）とは別に送信される。例えば、上記の種類のコンピュータ装置によって受信されると、発行者のアプリケーション９１２等のアプリケーション（例えば、触覚使用可能なアンドロイドアプリケーション又は触覚メディアＳＤＫ）が、映像及び触覚ストリームを同期させ及び／又は再生するためにアクセスされてもよい。

システム９５０として図９Ｂに示される別の実施形態では、組み込み触覚情報９５２を有するＡ／Ｖコンテンツが１つ以上のメディアサーバ９５４に記憶される。こうしたメディアサーバは、１つ以上のクラウド接続９５６に結合されてもよい。このような実施形態では、発行者のアプリケーション９５８等のアプリケーション（例えば、触覚使用可能なアンドロイドアプリケーション又は触覚メディアＳＤＫ）が、Ａ／Ｖコンテンツ及び組み込み触覚コンテンツ９５２を決定し及び／又は再生するためにアクセスされてもよい。

（音声信号に関係付けられる触覚効果を生成するためのシステム及び方法の利点）
音声信号に関係付けられる触覚効果の生成には多数の利点がある。例えば、自動音声−触覚変換アルゴリズムは、信号に混合された異なる音を区別せずにできるだけ多くの音声コンテンツを触覚化（ｈａｐｔｉｆｙ）しようとする場合がある。しかしながら、この手法は、触覚効果が圧倒的になるので望ましくない触覚効果をもたらす。例えば、音声トラックを用いて映画に対する触覚効果を自動的に生成する場合、発話及びバックグラウンド音楽が触覚化されるかもしれない。こうした効果は、ほとんどのユーザにとって不適切であり、それによりユーザ体験を格下げしてしまう。しかしながら、本開示の実施形態は、触覚効果を所定の音声効果のみに知的に割り当てる自動音声−触覚変換を可能にする。これは、結果の触覚効果が圧倒的になることを防ぐ。

更に、本開示の実施形態は、ユーザ、コンテンツ作成者、又はシステム設計者が触覚効果を含むべき音声信号の成分を特定することを可能にする。ユーザは触覚効果が存在しない所定のソースを特定することができるので、これは、ユーザ、コンテンツ作成者、又はシステム設計者が、音声信号に対してより説得力のある触覚効果を自動的に作成することを可能にする。例えば、一部の種類の成分は触覚化されると迷惑な場合があり、一部の実施形態では、こうした成分は、キーボードのタイピング、音楽のビート、拍手、喝采、クラシック音楽、叫び声等を含んでもよい。本明細書に開示のシステム及び方法は、設計者がこうした成分を触覚化することを避けること、又はこうした成分に関係付けられる触覚効果を触覚トラックから取り除くことを可能にしてもよい。

（概論）
上記の方法、システム及び装置は例示である。様々な構成によって、適宜、様々な手続き又は構成要素が省略、置換、又は追加されてもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び／又はステージが追加、省略及び／又は結合されてもよい。また、所定の構成に関して記載された機能は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は請求項の範囲を限定しない。

例示的な構成（実装を含む）の十分な理解を与えるために説明の中で特定の詳細が与えられている。しかしながら、こうした構成は特定の詳細なしで実施されてもよい。例えば、周知の回路、工程、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるために不要な詳細なしで示されている。この説明は、例示的な構成のみを提供するものであり、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、当業者に記載された技術を実装するための実施可能な説明を提供するであろう。本開示の精神又は範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。

また、構成は、流れ図又はブロック図として描かれる処理として記載されてもよい。各々が連続した工程として操作を説明している場合があるが、こうした操作の多くは並列的又は同時に行われ得る。更に、操作の順序は並び替えられてもよい。工程は、図面に含まれない追加のステップを有してもよい。更に、方法の例示は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体等の一時的でないコンピュータ可読媒体に記憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。

複数の例示的な構成が記載されているが、本開示の精神から逸脱することなく、様々な修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシステムの構成要素であってもよく、他の規則が本発明のアプリケーションに優先し又はそれを修正してもよい。また、上記の要素が検討される前、間、又は後で多くのステップが行われてもよい。従って、先の記載によって請求項の範囲は縛られない。

本明細書における「適合される」又は「構成される」の使用は、追加のタスク又はステップを実行するように適合又は構成される装置を排除しない開放的且つ包括的な言語を意図している。更に、「基づいて」の使用は開放的且つ包括的であることが意図されており、即ち、１つ以上の記載された条件又は値に「基づく」処理、ステップ、計算、又は他の動作が、実際には、記載されたものを超える追加の条件又は値に基づいてもよい。本明細書に含まれる表題、リスト及び番号は、単に説明を容易にするためのものであって、限定することを意図していない。

本主題の態様に従う実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア又はこれらの組み合わせに実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。

このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、及び状態機械を含む。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ又はＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。

このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることが出来る命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することができる全ての電子、光学、磁気、又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。また、様々な他の装置は、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。

本主題はその特定の実施形態に関して詳細に記載されているが、上記のことを理解すると、このような実施形態の変形、変化及び均等物を当業者であれば容易に生み出し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかとなる本主題への修正、変更及び／又は追加を含むことを排除しないことが理解されるべきである。

Claims (40)

1. 音声信号を受信し、
   前記音声信号における１つ以上の成分を識別すること、及び前記１つ以上の成分に関係付けられる触覚効果を決定することによって、前記音声信号に部分的に基づいて触覚効果を決定し、
   前記触覚効果に関係付けられる触覚信号を出力するように構成されるプロセッサ
   を備える、触覚効果を出力するためのシステム。
2. 前記音声信号の１つ以上の成分を識別することは、
   １つ以上の成分に関係付けられる信号を受信すること、
   前記音声信号を複数のセグメントに分割すること、
   前記１つ以上の成分が存在するかどうかを決定するために前記複数のセグメントの１つを分析すること、及び
   前記１つ以上の成分の存在に基づいて前記セグメントを分類すること
   を含む、請求項１に記載のシステム。
3. 複数の音声セグメントの１つを分析することは、聴覚イベント検出技術を実行することを含む、請求項２に記載のシステム。
4. 前記聴覚イベント検出技術は、自動発話認識を含む、請求項３に記載のシステム。
5. 前記複数の音声セグメントの１つを分類することは、前記音声セグメントを前記１つ以上の成分に関係付けられるデータのデータベースと比較することを含む、請求項２に記載のシステム。
6. 触覚効果を決定することは、前記セグメントの分類に基づいて触覚効果を割り当てることを含む、請求項２に記載のシステム。
7. 前記音声信号の１つ以上の成分を識別することは、前記音声信号における音声効果のソースを分離することを含む、請求項１に記載のシステム。
8. 前記１つ以上の成分に関係付けられる触覚効果を決定することは、前記ソースに触覚効果を割り当てることを含む、請求項７に記載のシステム。
9. 前記音声信号における音声効果のソースを分離することは、前記音声信号における発話を分離することを含む、請求項７に記載のシステム。
10. 前記１つ以上の成分に関係付けられる触覚効果を決定することは、
    前記発話に関係付けられる１つ以上の感情を決定すること、及び
    前記１つ以上の感情に関係付けられる触覚効果を決定すること
    を含む、請求項９に記載のシステム。
11. 発話に関係付けられる１つ以上の感情を決定することは、周波数に基づいた分析、時間に基づいた分析、音声品質分析、又は前記発話の特性を発話における感情に関係付けられるデータのデータベースと比較することの１つ以上を含む、請求項１０に記載のシステム。
12. 前記音声信号を受信して、可聴効果を出力するように構成される音声出力装置と、
    前記プロセッサと通信する触覚出力装置であって、前記触覚信号を受信して、前記触覚効果を出力するように構成される触覚出力装置と
    を更に備える、請求項１に記載のシステム。
13. 前記触覚信号を受信して、触覚トラックに前記触覚信号を記憶するように構成されるデータストアを更に備える、請求項１に記載のシステム。
14. 前記触覚効果は、摩擦係数の変化、擬似テクスチャ、又は振動の１つ以上を含む、請求項１に記載のシステム。
15. 音声信号を受信するステップと、
    前記音声信号における１つ以上の成分を識別すること、及び前記１つ以上の成分に関係付けられる触覚効果を決定することによって、前記音声信号に部分的に基づいて触覚効果を決定するステップと、
    前記触覚効果に関係付けられる触覚信号を出力するステップと
    を含む、触覚効果を出力するための方法。
16. 前記音声信号の１つ以上の成分を識別することは、
    １つ以上の成分に関係付けられる信号を受信すること、
    前記音声信号を複数のセグメントに分割すること、
    前記１つ以上の成分が存在するかどうかを決定するために前記複数のセグメントの１つを分析すること、及び
    前記１つ以上の成分の存在に基づいて前記セグメントを分類すること
    を含む、請求項１５に記載の方法。
17. 複数の音声セグメントの１つを分析することは、聴覚イベント検出技術を実行することを含む、請求項１６に記載の方法。
18. 前記聴覚イベント検出技術は、自動発話認識を含む、請求項１７に記載の方法。
19. 前記複数の音声セグメントの１つを分類することは、前記音声セグメントを前記１つ以上の成分に関係付けられるデータのデータベースと比較することを含む、請求項１６に記載の方法。
20. 触覚効果を決定することは、前記セグメントの分類に基づいて触覚効果を割り当てることを含む、請求項１６に記載の方法。
21. 前記音声信号の１つ以上の成分を識別することは、前記音声信号における音声効果のソースを分離することを含む、請求項１５に記載の方法。
22. 前記１つ以上の成分に関係付けられる触覚効果を決定することは、前記ソースに触覚効果を割り当てることを含む、請求項２１に記載の方法。
23. 前記音声信号における音声効果のソースを分離することは、前記音声信号における発話を分離することを含む、請求項２１に記載の方法。
24. 前記１つ以上の成分に関係付けられる触覚効果を決定することは、
    前記発話に関係付けられる１つ以上の感情を決定すること、及び
    前記１つ以上の感情に関係付けられる触覚効果を決定すること
    を含む、請求項２３に記載の方法。
25. 発話に関係付けられる１つ以上の感情を決定することは、周波数に基づいた分析、時間に基づいた分析、音声品質分析、又は前記発話の特性を発話における感情に関係付けられるデータのデータベースと比較することの１つ以上を含む、請求項２４に記載の方法。
26. 可聴効果を出力するステップと、
    前記触覚効果を出力するステップと
    を更に含む、請求項１５に記載の方法。
27. 前記触覚信号を触覚トラックに記憶するステップを更に含む、請求項１５に記載の方法。
28. 前記触覚効果は、摩擦係数の変化、擬似テクスチャ、又は振動の１つ以上を含む、請求項１５に記載の方法。
29. プロセッサによって実行されると、前記プロセッサに
    音声信号を受信すること、
    前記音声信号における１つ以上の成分を識別すること及び前記１つ以上の成分に関係付けられる触覚効果を決定することによって、前記音声信号に部分的に基づいて触覚効果を決定すること、
    前記触覚効果に関係付けられる触覚信号を出力すること
    を行わせるように構成されるプログラムコードを含む、一時的でないコンピュータ可読媒体。
30. 前記音声信号の１つ以上の成分を識別することは、
    １つ以上の成分に関係付けられる信号を受信すること、
    前記音声信号を複数のセグメントに分割すること、
    前記１つ以上の成分が存在するかどうかを決定するために前記複数のセグメントの１つを分析すること、及び
    前記１つ以上の成分の存在に基づいて前記セグメントを分類すること
    を含む、請求項２９に記載のシステム。
31. 複数の音声セグメントの１つを分析することは、聴覚イベント検出技術を実行することを含む、請求項３０に記載の一時的でないコンピュータ可読媒体。
32. 前記聴覚イベント検出技術は、自動発話認識を含む、請求項３１に記載の一時的でないコンピュータ可読媒体。
33. 前記複数の音声セグメントの１つを分類することは、前記音声セグメントを前記１つ以上の成分に関係付けられるデータのデータベースと比較することを含む、請求項３１に記載の一時的でないコンピュータ可読媒体。
34. 触覚効果を決定することは、前記セグメントの分類に基づいて触覚効果を割り当てることを含む、請求項３０に記載の一時的でないコンピュータ可読媒体。
35. 前記音声信号の１つ以上の成分を識別することは、前記音声信号における音声効果のソースを分離することを含む、請求項２９に記載の一時的でないコンピュータ可読媒体。
36. 前記１つ以上の成分に関係付けられる触覚効果を決定することは、前記ソースに触覚効果を割り当てることを含む、請求項３５に記載の一時的でないコンピュータ可読媒体。
37. 前記音声信号における音声効果のソースを分離することは、前記音声信号における発話を分離することを含む、請求項３５に記載の一時的でないコンピュータ可読媒体。
38. 前記１つ以上の成分に関係付けられる触覚効果を決定することは、
    前記発話に関係付けられる１つ以上の感情を決定すること、及び
    前記１つ以上の感情に関係付けられる触覚効果を決定すること
    を含む、請求項３７に記載の一時的でないコンピュータ可読媒体。
39. 発話に関係付けられる１つ以上の感情を決定することは、周波数に基づいた分析、時間に基づいた分析、音声品質分析、又は前記発話の特性を発話における感情に関係付けられるデータのデータベースと比較することの１つ以上を含む、請求項３８に記載の一時的でないコンピュータ可読媒体。
40. プロセッサによって実行されると、前記プロセッサに、前記触覚信号を触覚トラックに記憶させるように構成されるプログラムコードを更に含む、請求項２９に記載の一時的でないコンピュータ可読媒体。