JP2015053052A - 音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法 - Google Patents

Abstract

【課題】音声信号の遷移に関係付けられる触覚効果を生成するシステム及び方法を提供する。【解決手段】音声信号を受信し、音声信号に部分的に基づいて触覚効果を決定し、且つ触覚効果に関係付けられる触覚信号を出力するように構成されるプロセッサ１０２と、信号を受信して可聴効果を出力するように構成される音声出力装置と、プロセッサ１０２と通信し且つタッチ面に結合され、触覚信号を受信して触覚効果を出力するように構成される触覚出力装置１１８とを含む。【選択図】図１Ａ

Description

本発明は、概して触覚フィードバックに関し、より詳細には音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法に関する。

（関連出願の相互参照）
本願は、２０１３年９月６日に提出され、“Ａｕｄｉｏ ｔｏ Ｈａｐｔｉｃｓ”と題された米国仮出願第６１／８７４，９３３号への優先権を主張し、その全体は参照により本明細書に組み込まれる。

本願は、本願と同日付で提出され、“Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｈａｐｔｉｃ Ｅｆｆｅｃｔｓ Ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ａｎ Ｅｎｖｅｌｏｐｅ ｉｎ Ａｕｄｉｏ Ｓｉｇｎａｌｓ”（Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｎｏ．ＩＭＭ４７８（５１８５１−８７９６２４））と題された米国特許出願第１４／０７８，４４２号に関連し、その全体は参照により本明細書に組み込まれる。

本願は、本願と同日付で提出され、“Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｈａｐｔｉｃ Ｅｆｆｅｃｔｓ Ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ Ａｕｄｉｏ Ｓｉｇｎａｌｓ”（Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｎｏ．ＩＭＭ４７９（５１８５１−８７９６２２））と題された米国特許出願第１４／０７８，４４５号に関連し、その全体は参照により本明細書に組み込まれる。

タッチ可能装置はますます人気になってきている。例えば、ユーザがタッチセンサ式ディスプレイのタッチ部分で入力を提供できるように、携帯式及び他の装置はタッチセンサ式ディスプレイを用いて構成される場合がある。別の例示として、トラックパッド、マウス又は他の装置等のディスプレイとは別のタッチ可能表面が入力に使用される場合がある。更に、一部のタッチ可能装置は、触覚効果、例えば、テクスチャ又はタッチ面における摩擦をシミュレートするように構成される触覚効果を利用する。一部の装置では、こうした触覚効果は、装置によって出力される音声又は他の効果と相関する場合がある。しかしながら、音声及び触覚効果を処理して出力するレイテンシのために、こうした効果は説得力が少ない場合がある。従って、音声効果に関係付けられる改善された触覚効果が必要とされている。

本開示の実施形態は、タッチ領域で感じられ且つ音声信号に関係付けられる触覚効果を特徴とする装置を含む。限定されないが、こうした触覚効果には、テクスチャの変化、摩擦係数の変化及び／又は境界、障害物のシミュレーション、又は表面と接触しているオブジェクトの使用を通じて知覚され得るタッチ面の他の不連続性が含まれてもよい。

一実施形態では、本開示のシステムは、信号を受信し、信号に部分的に基づいて触覚効果を決定し、且つ触覚効果に関係付けられる触覚信号を出力するように構成されるプロセッサと、信号を受信して可聴効果を出力するように構成される音声出力装置と、プロセッサと通信し且つタッチ面に結合される触覚出力装置であって、触覚信号を受信して触覚効果を出力するように構成される触覚出力装置とを備えてもよい。

この例示の実施形態は、本主題を限定又は定義するためではなく、その理解を支援するための例示を提供するために言及される。例示の実施形態は、詳細な説明において検討され、そこでは更なる説明が提供される。本明細書を吟味することによって、及び／又は請求項に記載の主題の１つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。

本明細書の以下の部分には完全且つ実施可能な開示がより詳細に説明される。本明細書は以下の添付の図面を参照する。
音声信号の遷移に関係付けられる触覚効果を生成するための例示的なシステムを示す。 図１Ａで示されたシステムの一実施形態の外観図を示す。 図１Ａで示されたシステムの別の実施形態の外観図を示す。 音声信号の遷移に関係付けられる触覚効果を生成するための例示的な実施形態を示す。 音声信号の遷移に関係付けられる触覚効果を生成するための例示的な実施形態を示す。 一実施形態によって音声信号の遷移に関係付けられる触覚効果を生成するための例示的な実施形態を示す。 一実施形態によって音声信号の遷移に関係付けられる触覚効果を生成するための方法のフローチャートを示す。 一実施形態によって音声信号の遷移に関係付けられる触覚効果を生成するための方法のフローチャートを示す。 一実施形態によって音声信号の遷移を識別するための方法のフローチャートを示す。 一実施形態によって音声信号の遷移を識別するための方法による音声信号の例示的なスペクトログラム及びパルス符号変調を示す。 一実施形態によって音声信号の遷移を識別するための方法による音声信号の微分信号を示す。 一実施形態によって音声信号の遷移を識別するための方法のフローチャートを示す。 音声信号の遷移を識別するための方法の一実施形態による例示的な遷移検出信号を示す。

次に、多様な及び代替的な例示の実施形態並びに添付の図面を詳細に参照する。各例示は、限定としてではなく、説明目的で提供される。修正及び変更が行われ得ることは、当業者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は、更なる実施形態を生み出すために別の実施形態に対して使用されてもよい。従って、本開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている。

（音声信号の遷移に関係付けられる触覚効果を生成するための装置の例示）
本開示の例示的な実施形態の１つは、スマートフォン、タブレット又は携帯型ミュージック装置等のコンピュータシステムを含む。一部の実施形態では、コンピュータシステムは、装着可能装置を含み、又は家具若しくは衣服に埋め込まれてもよい。コンピュータシステムは、この例示において、装置の画面に対応する表示領域に対するタッチの場所を決定するために加速度計及びセンサ（例えば、光学、抵抗性又は容量性）等の１つ以上のセンサを含み及び／又はこれらと通信してもよい。

ユーザが装置と相互作用すると、触覚効果を提供するために、１つ以上の触覚出力装置、例えば、アクチュエータが使用される。例えば、触覚効果は、装置の表面におけるテクスチャの存在をシミュレートするように構成されてもよい。このような実施形態では、表面でユーザの指が動くと、装置の表面におけるテクスチャの感覚をシミュレートするために、振動、電磁場又は他の効果が出力されてもよい。同様に、別の実施形態では、ユーザが装置上で指を動かすと、スクリーンの知覚される摩擦係数が、指の位置、速さ、及び／又は加速又は指が装置と接触している時間の長さに基づいて変化（例えば、増加又は減少）し得る。他の実施形態では、移動装置は、振動、ポップ、クリック、又は表面変形等の触覚効果を出力してもよい。一部の実施形態では、所定のイベントが発生するときに、所定期間の間（例えば、５０ｍｓ）、触覚効果が出力されてもよい。他の実施形態では、触覚効果は、固定期間で変化してもよい。例えば、一実施形態では、１００Ｈｚの速度、例えば、１００Ｈｚの正弦波で変化するテクスチャが出力されてもよい。

例示の実施形態では、触覚効果は、音声信号に関係付けられる効果を含む。例えば、一部の実施形態では、触覚効果は、音声トラックに関係付けられる触覚効果を含んでもよい。一部の実施形態では、ユーザは、（例えば、ヘッドホン、スピーカ、又は何らかの他の種類の音声出力装置を使用して）触覚効果が決定される時間に音声トラックを聴いてもよい。他の実施形態では、触覚効果は、「触覚トラック」の一部として前もって決定されてもよい。この触覚トラックは、音声トラックと平行して再生され得るように、音声ファイルと共に配布されてもよい。一部の実施形態では、触覚トラックは、触覚効果が音声トラックのイベントに対応するように、音声トラックと同期されてもよい。他の実施形態では、触覚効果は、「ＡＶ」（Ａｕｄｉｏ−Ｖｉｓｕａｌ）トラック、例えば、映像ファイルの音声部分に関係付けられてもよい。

例示の実施形態では、コンピュータ装置は、音声信号の遷移の場所を決定することによって触覚効果を決定してもよい。一部の実施形態では、こうした遷移は、振幅、周波数の変化、又は音声信号の他の変化を含んでもよい。例えば、一実施形態では、遷移は、オーケストラによって出力される音声から人の発話によって出力される音声への変化を含んでもよい。他の実施形態では、遷移は、スピーカの音声のトーンの変化等のより僅かな変化を含んでもよい。本開示は、音声信号の遷移の場所を決定するための例示的な方法の更なる記述を含む。

一部の実施形態では、触覚効果は、音声ファイルと共に調整され又は同期される形態で出力されてもよい。一部の実施形態では、音声又はＡＶファイルから触覚効果を自動的に決定するために、単純なフィルタリング技術（例えば、ローパスフィルタリング）が使用されてもよい。しかしながら、このような方法は、触覚効果と音声イベントとの間の同期を悪くする場合がある。これは、ユーザによって知覚される低品質の触覚効果をもたらす場合がある。音声ファイルの遷移の場所を決定することによって、可聴効果と触覚効果のより良好な同期が可能になる。一部の実施形態では、音声又はＡＶイベントが開始すると同時に触覚効果が開始する場合に良好な同期が発生してもよい。

以下で更に詳細に検討されるように、任意の数の特徴が音声信号に見つかってもよい。本開示の実施形態は、こうした特長を識別して、こうした特長と同期された触覚効果を決定及び出力するためのシステム及び方法を提供する。更に、一部の実施形態では、本明細書で検討されたシステム及び方法は、他の種類の信号、例えば、圧力、加速度、速度、又は温度信号に関係付けられる触覚効果を決定するために使用されてもよい。

音声信号の遷移に関係付けられる触覚効果を生成する例示的なシステム
図１Ａは、音声信号の遷移に関係付けられる触覚効果を生成するための例示的なシステム１００を示す。特に、この例示では、システム１００は、バス１０６を介して他のハードウェアとインターフェース接続されるプロセッサ１０２を有するコンピュータ装置１０１を含む。ＲＡＭ、ＲＯＭ又はＥＥＰＲＯＭ等の任意の適切な有形の（及び一時的でない）コンピュータ可読媒体を含み得るメモリ１０４が、コンピュータ装置の動作を構成するプログラム要素を具現化する。この例示では、コンピュータ装置１０１は、１つ以上のネットワークインターフェース装置１１０、入力／出力（Ｉ／Ｏ）インターフェース要素１１２、及び追加の記憶装置１１４を更に含む。

ネットワーク装置１１０は、ネットワーク接続を容易にする１つ以上の任意の構成要素を表し得る。限定されないが、例示には、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ又は他の移動通信ネットワーク）が含まれる。

Ｉ／Ｏ要素１１２は、１つ以上のディスプレイ、キーボード、マウス、スピーカ、マイクロホン、カメラ、及び／又はデータの入力又は出力に使用される他のハードウェア等の装置への接続を容易にするために使用されてもよい。例えば、一部の実施形態では、Ｉ／Ｏ要素１１２は、プロセッサ１０２によって提供される音声信号を再生するように構成されるスピーカを含んでもよい。記憶装置１１４は、装置１０１に含まれる磁気、光学、又は他の記憶媒体等の不揮発性記憶装置を表す。一部の実施形態では、記憶装置１１４は、Ｉ／Ｏ要素１１２を介してユーザに再生されるように構成される音声ファイルを記憶するように構成されてもよい。

システム１００は、この例示では、装置１０１に統合されるタッチ面１１６を更に含む。タッチ面１１６は、ユーザの接触入力を感知するように構成される任意の表面を表す。１つ以上のセンサ１０８は、物体がタッチ面に接触する場合に接触領域における接触を検出して、プロセッサ１０２によってユーザに適切なデータを提供するように構成される。センサの任意の適切な数、種類、又は配置が使用され得る。例えば、抵抗性及び／又は容量性のセンサが、タッチ面１１６に組み込まれて、タッチの場所及び圧力等の他の情報を検出するために使用されてもよい。別の例示として、接触位置を決定するためにタッチ面のビューを備える光学センサが使用されてもよい。一部の実施形態では、センサ１０８及びタッチ面１１６は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、一部の実施形態では、タッチ面１１６及びセンサ１０８は、表示信号を受信して、ユーザに画像を出力するように構成されるディスプレイの上に取り付けられるタッチスクリーンを含んでもよい。他の実施形態では、センサ１０８は、ＬＥＤ検出器を含んでもよい。例えば、一実施形態では、タッチ面１１６は、ディスプレイの側部に取り付けられるＬＥＤ指検出器を含んでもよい。一部の実施形態では、プロセッサは単一のセンサ１０８と通信し、他の実施形態では、プロセッサは複数のセンサ１０８、例えば、第１のタッチスクリーン及び第２のタッチスクリーンと通信する。センサ１０８は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ１０２に信号を送信するように構成される。一部の実施形態では、センサ１０８は、ユーザ相互作用の複数の態様を検出するように構成されてもよい。例えば、センサ１０８は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。

更に、装置１０１は、触覚出力装置１１８を含む。図１Ａに示される例示では、触覚出力装置１１８がプロセッサ１０２と通信し、タッチ面１１６に結合される。一部の実施形態では、触覚出力装置１１８は、触覚信号に応じてタッチ面においてテクスチャをシミュレートする触覚効果を出力するように構成される。追加的又は代替的に、触覚出力装置１１８は、制御されるようにタッチ面を動かす振動触覚効果を提供してもよい。一部の触覚効果は、装置の筐体に結合されるアクチュエータを利用してもよい。また、一部の触覚効果は、順番に及び／又は同時に複数のアクチュエータを使用してもよい。例えば、一部の実施形態では、表面テクスチャは、異なる周波数で表面を振動させることによりシミュレートされてもよい。このような実施形態では、触覚出力装置１１８は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）又は線形共振アクチュエータ（ＬＲＡ）の１つ以上を含んでもよい。一部の実施形態では、触覚出力装置１１８は、複数のアクチュエータ、例えば、ＥＲＭ及びＬＲＡを含んでもよい。一部の実施形態では、触覚装置１１８は、装着可能装置、家具、又は衣服を含み、又はこれらに埋め込まれてもよい。

本明細書では単一の触覚出力装置１１８が示されているが、複数の実施形態では、触覚効果を出力するために、例えば、タッチ面において表面テクスチャをシミュレートし又は知覚される摩擦係数を変化させるために同じ又は異なる種類の複数の触覚出力装置が使用されてもよい。例えば、一実施形態では、超音波周波数で、例えば、一部の実施形態では２０−２５ｋＨｚよりも高い周波数で動作するアクチュエータを使用することによって、垂直に及び／又は水平にタッチ面１１６の一部又は全部を移動するために圧電アクチュエータが使用されてもよい。一部の実施形態では、偏心回転質量モータ及び線形共振アクチュエータ等の複数のアクチュエータが、異なるテクスチャ、摩擦係数の変化、又は他の触覚効果を与えるために単独で又は同時に使用され得る。

更に他の実施形態では、触覚出力装置１１８は、タッチ面１１６の表面でテクスチャをシミュレートするために、例えば、静電表面アクチュエータを使用することによって、静電摩擦又は引力を適用してもよい。同様に、一部の実施形態では、触覚出力装置１１８は、タッチ面１１６の表面でユーザが感じる摩擦を変化させるために静電引力を使用してもよい。例えば、一実施形態では、触覚出力装置１１８は、触覚効果を生成するために機械的な動きの代わりに電圧及び電流を加える静電ディスプレイ又は任意の他の装置を含んでもよい。このような実施形態では、静電アクチュエータは、導電層及び絶縁層を含んでもよい。このような実施形態では、導電層は、任意の半導体又は銅、アルミニウム、金又は銀等の他の導電性材料であってもよい。また、絶縁層は、ガラス、プラスチック、ポリマ、又は任意の他の絶縁性材料であってもよい。更に、プロセッサ１０２は、導電層に電気信号を加えることによって静電アクチュエータを動作させてもよい。一部の実施形態では、電気信号は、導電層をタッチ面１１６に近くの又は接触しているオブジェクトと容量結合するＡＣ信号であってもよい。一部の実施形態では、ＡＣ信号は、高圧増幅器によって生成されてもよい。他の実施形態では、容量結合は、タッチ面１１６の表面における摩擦係数又はテクスチャをシミュレートしてもよい。例えば、一実施形態では、タッチ面１１６の表面は円滑であるが、容量結合はタッチ面１１６の表面の付近のオブジェクト間に引力を生み出してもよい。一部の実施形態では、オブジェクトと導電層との間の引力のレベルを変化させることは、タッチセンサ面１１６の表面で動くオブジェクトにおける擬似テクスチャを変化させること、又はオブジェクトがタッチ面１１６の表面で動くときに感じられる摩擦係数を変化させることができる。更に、一部の実施形態では、静電アクチュエータが、タッチ面１１６の表面において擬似テクスチャを変化させるために従来のアクチュエータと共に使用されてもよい。例えば、アクチュエータはタッチ面１１６の表面のテクスチャの変化をシミュレートするように振動してもよい。一方では同時に、静電アクチュエータがタッチ面１１６の表面において異なるテクスチャ又は他の効果をシミュレートしてもよい。

当業者であれば、摩擦係数を変化させることに加えて、例えば、表面上のテクスチャをシミュレートするために他の技術又は方法が使用され得ることを理解するであろう。一部の実施形態では、テクスチャは、表面再構成可能な触覚基板（限定されないが、例えば、繊維、ナノチューブ、電気活性ポリマ、圧電要素、又は形状記憶合金を含む）又は磁性流体からの接触に基づいてそのテクスチャを変化させるように構成される可撓性表面層を使用してシミュレートされ又は出力されてもよい。別の実施形態では、表面のテクスチャは、例えば、変形機構、空気若しくは流体ポケット、材料の局部変形、共振機構要素、圧電性材料、微小電気機械システム（“ＭＥＭＳ”）要素、熱流体ポケット、ＭＥＭＳポンプ、可変多孔性膜（ｖａｒｉａｂｌｅ ｐｏｒｏｓｉｔｙ ｍｅｍｂｒａｎｅｓ）、又は層流変調で、１つ以上の表面特徴を上昇又は下降させることによって変化させられてもよい。

一部の実施形態では、タッチ面１１６に近接した又は接触している体の部分をシミュレートすることによって触覚効果を生成するために静電アクチュエータが使用されてもよい。例えば、一部の実施形態では、ユーザの指の皮膚の神経終端又は静電アクチュエータに応答することができるスタイラスの構成要素をシミュレートしてもよい。例えば、皮膚の神経終端は、刺激されて、振動又は何らかのより具体的な感覚として静電アクチュエータ（例えば、容量結合）を感知してもよい。例えば、一実施形態では、静電アクチュエータの導電層が、ユーザの指の導電部分と結合するＡＣ電圧信号を受信してもよい。ユーザがタッチ面１１６に触れてタッチ面上で自身の指を動かすと、ユーザは、チクチク、ザラザラ、ガタガタ、でこぼこ、粘々、又は何らかの他のテクスチャを感知してもよい。

更に、一部の実施形態では、触覚効果を出力するために複数のアクチュエータが使用されてもよい。これは、触覚出力装置１１８が出力できる効果の範囲を増加する役割を果たしてもよい。例えば、一部の実施形態では、広範囲の効果を生成するために静電アクチュエータと協調して振動アクチュエータが使用されてもよい。更なる実施形態では、タッチ面を変形するように構成される装置等の追加の種類の触覚出力装置が、振動アクチュエータ等の他の触覚出力装置と協調して使用されてもよい。

メモリ１０４に関しては、例示のプログラム構成要素１２４、１２６及び１２８は、音声信号の遷移に関係付けられる触覚効果を生成するために装置がどのように構成され得るかを示すように描かれている。この例示では、検出モジュール１２４が、タッチの位置を決定するためにセンサ１０８を介してタッチ面１１６を監視するようにプロセッサ１０２を構成する。例えば、モジュール１２４は、タッチの存在又は不存在を追跡して、タッチが存在する場合、場所、経路、速度、加速度、圧力及び／又は経時的なタッチの他の特性を追跡するためにセンサ１０８をサンプリングしてもよい。

触覚効果決定モジュール１２６は、生成すべき触覚効果を選択するために、音声効果からのデータ等の音声データを分析するプログラム構成要素を表す。特に、モジュール１２６が、音声データに基づいて、出力する触覚効果の種類を決定するコードを含む。

触覚効果生成モジュール１２８は、プロセッサ１０２に触覚信号を生成させて触覚出力装置１１８に送信させ、それにより、触覚出力装置１１８に選択された触覚効果を生成するプログラミングを表す。例えば、生成モジュール１２８は、記憶された波形又はコマンドにアクセスして、触覚出力装置１１８に送信してもよい。別の例示として、触覚効果生成モジュール１２８は、所望の種類の効果を受信して、適切な信号を生成して触覚出力装置１１８に送信するために、信号処理アルゴリズムを利用してもよい。一部の実施形態は、触覚効果を出力するために同時に複数の触覚出力装置を利用してもよい。一部の実施形態では、プロセッサ１０２は、触覚信号を触覚出力装置１１８にストリーミング又は送信してもよい。

コンピュータシステムの特定の実施形態によっては、タッチ面がディスプレイをオーバレイしもよく又はオーバレイしなくてもよい（或いは、対応しても、対応してなくてもよい）。図１Ｂでは、コンピュータシステム１００Ｂの外観図が示される。コンピュータ装置１０１は、装置のタッチ面及びディスプレイを組み合わせたタッチ可能ディスプレイ１１６を含む。タッチ面は、ディスプレイ外部又は実際のディスプレイ構成要素上の１つ以上の材料層に対応してもよい。

図１Ｃは、タッチ面がディスプレイをオーバレイしないタッチ可能コンピュータシステムの別の例を示す。この例示では、コンピュータ装置１０１は、装置１０１とインターフェース接続されたコンピュータシステム１２０に含まれるディスプレイ１２２に設けられるグラフィカルユーザインターフェースにマッピングされ得るタッチ面１１６を含む。例えば、コンピュータ装置１０１は、マウス、トラックパッド、又は他の装置を含んでもよいが、コンピュータシステム１２０は、デスクトップ若しくはラップトップコンピュータ、セットトップボックス（例えば、ＤＶＤプレーヤ、ＤＶＲ、ケーブルテレビボックス）、又は別のコンピュータシステムを含んでもよい。別の例示として、タッチ面１１６及びディスプレイ１２２は、ディスプレイ１２２備えるラップトップコンピュータにおけるタッチ可能トラックパッド等の同じ装置に配置されてもよい。ディスプレイと統合されるか否かに関わらず、本明細書の例示における平面的なタッチ面の描写は、限定することを意図していない。他の実施形態は、表面ベースの触覚効果を与えるように更に構成される湾曲した又は不規則なタッチ可能面を含む。

図２Ａ−Ｂは、音声信号の遷移に関係付けられる触覚効果を生成し得る例示的な装置を示す。図２Ａは、タッチ可能ディスプレイ２０２を備えるコンピュータ装置２０１を含むシステム２００の外観図を示す図面である。図２Ｂは、装置２０１の断面図を示す。装置２０１は図１Ａの装置１０１と同様に構成され得るが、プロセッサ、メモリ及びセンサ等は明確のためこの図面には示されていない。

図２Ｂに見られるように、装置２０１は、複数の触覚出力装置２１８及び追加の触覚出力装置２２２を特色とする。触覚出力装置２１８−１は、ディスプレイ２０２に垂直の力を与えるように構成されるアクチュエータを含んでもよいが、一方で２１８−２は横方向にディスプレイ２０２を動かしてもよい。この例では、触覚出力装置２１８及び２２２はディスプレイに直接結合されているが、触覚出力装置２１８及び２２２は別のタッチ面、例えば、ディスプレイ２０２の上にある材料の層に結合され得ることが理解されるべきである。更に、１つ以上の触覚出力装置２１８又は２２２が上記の静電アクチュエータを含んでもよいことが理解されるべきである。更に、触覚出力装置２２２は、装置２０１の構成要素を保持する筐体に結合されてもよい。図２Ａ−２Ｂの例では、ディスプレイ２０２の領域はタッチ領域に対応するが、原理は、ディスプレイとは完全に分離したタッチ面に適用され得る。

一実施形態では、触覚出力装置２１８の各々は圧電アクチュエータを含むが、追加の触覚出力装置２２２は、偏心回転質量モータ、線形共振アクチュエータ又は別の圧電アクチュエータを含む。触覚出力装置２２２は、プロセッサからの触覚信号に応答して振動触覚効果を提供するように構成され得る。振動触覚効果は、表面ベースの触覚効果と併せて及び／又は他の目的で利用され得る。例えば、ディスプレイ２０２の表面における振動を出力し、テクスチャをシミュレートし又は摩擦係数を変化させるために各アクチュエータが併せて使用されてもよい。

一部の実施形態では、触覚出力装置２１８−１及び２１８−２のいずれか又は両方は、圧電アクチュエータ以外のアクチュエータを含み得る。いずれのアクチュエータも、例えば、圧電アクチュエータ、電磁アクチュエータ、電気活性ポリマ、形状記憶合金、可撓性複合圧電アクチュエータ（例えば、可撓性材料を含むアクチュエータ）、静電、及び／又は磁歪アクチュエータを含み得る。更に、触覚出力装置２２２が示されているが、複数の他の触覚出力装置が装置２０１の筐体に結合可能であり、及び／又は触覚出力装置２２２は別の場所に結合されてもよい。装置２０１は、異なる場所でもタッチ面に結合される複数の触覚出力装置２１８−１／２１８−２を含んでもよい。

次に図３を参照すると、図３は、本開示によって音声信号の遷移に関係付けられる触覚効果を生成するためのシステムの一実施形態を示す。図３に示されたシステム３００は、列車３０４を含む映像を示すディスプレイ３０２を有するコンピュータ装置３０１を備える。一部の実施形態では、コンピュータ装置３０１は、ハンドヘルドコンピュータ装置、例えば、携帯電話、タブレット、ミュージックプレーヤ、又はラップトップコンピュータを含んでもよい。別の実施形態では、コンピュータ装置３０１は、多機能コントローラを備えてもよい。例えば、キオスク、ＡＴＭ又は他のコンピュータ装置で使用されるコントローラである。更に、一実施形態では、コンピュータ装置３０１は、車内で使用されるコントローラを含んでもよい。

映像３０４は、（図３には示されない）コンピュータ装置３０１に結合される音声出力装置（例えば、スピーカ又はヘッドホン）によって再生される可聴効果を更に含んでもよい。本開示の実施形態は、音声信号に基づいて触覚効果を決定するための方法を含む。例えば、一部の実施形態は、映像信号から音声信号を分離して、音声トラックと平行して出力される触覚効果を決定するために、以下で更に詳細に検討される様々な操作を実行してもよい。

一部の実施形態では、ディスプレイ３０２は、タッチ可能ディスプレイを含んでもよい。更に、映像を表示するのではなく、ディスプレイ３０２は、グラフィカルユーザインターフェース、例えば、キオスク、ＡＴＭ、ステレオシステム、車両ダッシュボード、電話、コンピュータ、ミュージックプレーヤのためのグラフィカルユーザインターフェース、又は当分野で周知の何らかの他のグラフィカルユーザインターフェースをユーザに提供してもよい。このような実施形態では、コンピュータ装置３０１は、グラフィカルユーザインターフェースに関係付けられる音声信号に基づいて触覚効果を決定してもよい。例えば、一部の実施形態では、グラフィカルユーザインターフェースは、ユーザがアイコン、ボタン又は他のインターフェース要素と相互作用するときに出力される音声効果を含んでもよい。一部の実施形態では、コンピュータ装置３０１は、こうした音声効果の１つ以上に関係付けられる触覚効果を更に決定してもよい。一部の実施形態では、コンピュータ装置３０１は、音声信号又は任意の他のセンサから生じる信号、例えば、ユーザインターフェース、加速度計、ジャイロスコープ、慣性測定装置（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）等のセンサからの信号における遷移から触覚効果を導き出してもよい。

一部の実施形態では、映像信号が含まれなくてもよい。例えば、一部の実施形態では、触覚効果は、映像に関係付けられない音声トラックと平行して再生されてもよい。このような実施形態では、本明細書に開示のシステム及び方法は、リアルタイムで、信号が再生されているときに、又は信号が再生されるよりも前の時間に、音声信号に作用してもよい。例えば、一部の実施形態では、将来再生するためにデータストアに記憶される触覚トラックを決定するために音声信号が処理されてもよい。このような実施形態では、触覚トラックは、触覚トラックを再生するコンピュータ装置によって決定されてもよい。他の実施形態では、触覚トラックは、音声トラックの著者又は配布者によって生成されてもよい。このような実施形態では、著者又は配布者は、音声トラックと共に触覚トラックを配布してもよい。

（音声信号の遷移に関係付けられる触覚効果を生成する例示的な方法）
図４及び５は、音声信号の遷移に関係付けられる触覚効果を生成するための例示的な方法４００及び５００を示すフローチャートである。一部の実施形態では、フローチャート４００及び５００におけるステップは、プロセッサ、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図４及び５に示されるステップは異なる順番で行われてもよい。代替的に、一部の実施形態では、図４及び５に示される１つ以上のステップはスキップされてもよく、又は図４及び５には示されていない追加のステップが行われてもよい。図４及び５におけるステップは、音声信号に関して記載される。しかしながら、一部の実施形態では、方法は、他の種類の信号、例えば、圧力、加速度、速度、又は温度信号に関係付けられる触覚効果を決定するために使用されてもよい。以下のステップは図１Ａに示されたシステム１００に関して記載された構成要素を参照して記載される。

プロセッサ１０２が音声信号を受信すると、方法４００が開始する（４０２）。一部の実施形態では、音声信号は、コンピュータ装置１０１で再生される映像に関係付けられる信号を含んでもよい。他の実施形態では、音声信号は、コンピュータ装置１０１で現在再生されている音声ファイルに関係付けられる信号を含んでもよい。更に他の実施形態では、音声信号は、コンピュータ装置１０１でローカルに記憶されている又はリモートサーバに記憶されている音声ファイルに関係付けられる信号を含んでもよい。例えば、一部の実施形態では、音声信号は、サーバに記憶され、オンデマンドでユーザにダウンロードされる音声ファイルを含んでもよい。

プロセッサ１０２が音声信号に基づいて触覚効果を決定すると、方法４００は継続する（４０４）。一部の実施形態では、触覚効果は、１つ以上の触覚出力装置１１８によって出力される振動を含んでもよい。一部の実施形態では、振動は、コンピュータ装置１０１で再生される音声トラックのユーザの知覚を向上させるために使用されてもよい。同様に、一部の実施形態では、第１の触覚効果は、タッチ面１１６における摩擦係数の変化を含んでもよい。他の実施形態では、触覚効果は、タッチ面１１６の表面における擬似テクスチャ（例えば、水、草、氷、金属、砂土、砂利、レンガ、毛皮、皮革、皮膚、繊維、ゴム、葉又は任意の他の利用可能なテクスチャの１つ以上のテクスチャ）を含んでもよい。

一部の実施形態では、プロセッサ１０２は、触覚効果を決定するために触覚効果決定モジュール１２６に含まれるプログラミングを利用してもよい。例えば、プロセッサ１０２は、メモリ１０４内に記憶されて特定の触覚効果に関係付けられる駆動信号にアクセスしてもよい。別の例示として、信号は、効果に関係付けられる記憶済みアルゴリズム及び入力パラメータにアクセスすることによって生成されてもよい。例えば、アルゴリズムは、振幅及び周波数パラメータに基づいて駆動信号を生成するのに使用されるデータを出力してもよい。別の例として、触覚信号は、アクチュエータによって復号するためにアクチュエータに送信されるデータを含んでもよい。例えば、アクチュエータ自体が、振幅及び周波数等のパラメータを特定するコマンドに応答してもよい。

更に、一部の実施形態では、ユーザは、コンピュータ装置１０１をカスタマイズするために、振動、テクスチャ、摩擦係数の変化又は音声ファイルに関係付けられる他の触覚効果を選択することが可能であってもよい。例えば、一部の実施形態では、ユーザは、タッチインターフェースの感覚をパーソナライズするために表面テクスチャ等の触覚効果を選択してもよい。一部の実施形態では、この触覚効果は、例えば、着呼、Ｅメール、テキストメッセージ、アラーム、又は他のイベントに対する着信音に関係付けられてもよい。一部の実施形態では、ユーザは、設定を修正すること又は特定の効果に関係付けられるソフトウェアをダウンロードすることによってこうしたパーソナライズされた触覚効果又は表面テクスチャを選択してもよい。他の実施形態では、ユーザは、検出された装置との相互作用を介して効果を指定してもよい。一部の実施形態では、触覚効果のパーソナライズは、ユーザの所有意識及びユーザと装置との間の繋がりを増加させてもよい。

更に他の実施形態では、装置製造業者、アーティスト、動画撮影者又はソフトウェア開発者は、装置、ユーザインターフェース又は芸術的作品（例えば、歌曲、映像、又は音声トラック）をブランド化するために、表面テクスチャ等の特有の触覚効果を選択してもよい。一部の実施形態では、こうした触覚効果は、ブランド化された装置に独自であり、ブランド認知を増加させ得る他の特有の要素と同様であってもよい。例えば、多くの移動装置及びタブレットは、カスタム又はブランド化されたホームスクリーン環境を含んでもよい。例えば、一部の実施形態では、異なる製造業者によって製造された装置が同じオペレーティングシステムを含んでもよいが、製造業者はこのホームスクリーン環境を修正することによって装置を区別してもよい。同様に、所定の会社によって作られる映像又は音声トラックが特定の種類の触覚効果を含んでもよい。従って、一部の実施形態では、一部の装置製造業者、制作会社又はソフトウェア開発者は、独自であり差別化されるユーザ体験を生み出すためにテクスチャ又は摩擦に基づいた効果等の触覚効果を使用してもよい。

プロセッサ１０２が触覚効果に関係付けられる触覚信号を出力すると、方法４００は継続する（４０６）。プロセッサ１０２は、触覚効果を出力するように構成される触覚出力装置１１８に触覚信号を出力する。一部の実施形態では、触覚出力装置１１８は、タッチ面１１６上に触覚効果を出力してもよい。一部の実施形態では、触覚出力装置１１８は、タッチ面１１６又はコンピュータ装置１０１内の他の構成要素に結合される圧電アクチュエータ又は電気モータ等の従来のアクチュエータを含んでもよい。他の実施形態では、触覚出力装置１１８は、静電界を使用してテクスチャをシミュレートする又は摩擦係数を変化させるように構成される静電アクチュエータを含んでもよい。一部の実施形態では、プロセッサ１０２は、複数の触覚効果をシミュレートするために複数の触覚出力装置を制御してもよい。例えば、一実施形態では、プロセッサ１０２は、タッチ面１１６の表面でテクスチャをシミュレートするために静電アクチュエータを制御してもよい。また、プロセッサ１０２は、他の特徴をシミュレートするために他の触覚出力装置１１８を更に制御してもよい。例えば、触覚出力装置１１８は、タッチ面１１６におけるバリア、デテント、移動又は衝突をシミュレートするように構成される振動等、他の効果を出力するように構成されるアクチュエータを含んでもよい。一部の実施形態では、プロセッサ１０２は、ユーザがタッチ面１１６と相互作用すると複数の効果を共に感じることができるように、効果を調整してもよい。

次に、プロセッサ１０２は音声信号を出力する（４０８）。一部の実施形態では、プロセッサ１０２は、スピーカ、ヘッドホン、又は小型イヤホン（ｅａｒ ｂｕｄ）等の音声出力装置に音声信号を出力してもよい。一部の実施形態では、音声出力装置は、コンピュータ装置１０１に統合されてもよい。他の実施形態では、音声出力装置は、コンピュータ装置１０１に結合されてもよい。更に、一部の実施形態では、音声信号は触覚効果に同期されてもよく、例えば、一部の実施形態では、触覚効果は対応する音声効果と実質的に同時に出力されてもよい。

次に図５を参照すると、図５は、音声信号の遷移に関係付けられる触覚効果を決定するための例示的な方法５００を示す。方法５００は、プロセッサ１０２が音声信号の遷移を識別すると開始する。音声信号の遷移を識別するための様々な例示的な方法が、以下でより詳細に検討される。一部の実施形態では、こうした遷移は、音声信号の振幅又は周波数の変化等の音声信号の変化に関係付けられてもよい。こうした変化は、例えば、楽器の変化、映画のシーンの変化、ソースの変化（例えば、スピーカの変化）、又は音声ファイルに一般的に見つかる何らかの他の遷移に関係付けられてもよい。

プロセッサ１０２が触覚効果を遷移に同期すると、方法は５００継続する。一部の実施形態では、触覚効果を遷移と同期することは、音声効果と実質的に対応する時間に触覚効果に関係付けられる触覚信号を出力するようにプロセッサ１０２を構成することを含む。一部の実施形態では、プロセッサ１０２は、遷移の時間に触覚効果を出力してもよい。他の実施形態では、触覚効果は、遷移の所定期間の後に出力されてもよい。例えば、一部の実施形態では、プロセッサ１０２は、エコーとして作用する触覚効果を出力してもよい。例えば、一実施形態では、音声トラックは、砲撃をシミュレートする音を含んでもよい。このような実施形態では、プロセッサは、音声効果と同時に起こる触覚効果を決定してもよい。プロセッサは、砲撃に関係付けられるエコーをシミュレートするために数秒後に出力される第２の触覚効果を更に決定してもよい。

一部の実施形態では、遷移は、信号が増加又は減少する場所に位置する。こうした遷移は、触覚効果を生成するための触覚マーカがタグ付けされ得る音声信号内のイベントを識別するために使用されてもよい。上記の例示では、遷移は、砲撃等のイベントに対応してもよい。一部の実施形態では、触覚効果を決定するのではなく、プロセッサ１０２は、音声ファイルのその場所に触覚マーカを適用してもよい。この触覚マーカは、音声ファイル再生時の触覚効果を決定するためにプロセッサ１０２又は別のプロセッサによって使用されてもよい。

（音声信号の遷移を識別するための例示的な方法）
図６は、音声信号の遷移を識別するための例示的な方法６００を示すフローチャートであり、これは音声信号に関係付けられる触覚効果を決定するために使用されてもよい。一部の実施形態では、図６に示されるステップは、プロセッサ、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図６に示されるステップは異なる順番で行われてもよい。代替的に、一部の実施形態では、図６に示される１つ以上のステップはスキップされてもよく、又は図６には示されていない追加のステップが行われてもよい。図６におけるステップは、音声信号に関して記載される。しかしながら、一部の実施形態では、方法は、他の種類の信号、例えば、圧力、加速度、速度、又は温度信号に関係付けられる触覚効果を決定するために使用されてもよい。

図６に示されるように、方法６００は、プロセッサ１０２が音声信号の高速フーリエ変換（ＦＦＴ）を行うと開始する。一部の実施形態では、ＦＦＴは、音声信号のスペクトログラムを決定するために使用される。スペクトログラムは、小さい時間ウインドウにおける音声信号のＦＦＴのプロットを含む。一部の実施形態では、スペクトログラムは、１つの軸に時間、別の軸に周波数、３つ目の軸に特定の周波数の振幅を有する３次元プロットで表される。一部の実施形態では、スペクトログラムは、音声信号内の遷移を決定するために使用されてもよい。音声信号の例示的な２次元スペクトログラムがプロット７００として図７に示される。スペクトログラムは、２次元プロット７００を含み、３次元がプロットの暗さによって描かれている。プロットのより暗い区画は（矢印７０２で識別される）より高い振幅を有しており、より明るい区画は（矢印７０４で識別される）より低い振幅を有している。

ステップ６０４において、プロセッサ１０２は、ステップ６０２で決定された変換信号に対して時間ウインドウごとに平均値を決定する。一部の実施形態では、この平均値信号は、ベクトルで記憶されてもよい。一部の実施形態では、このベクトルはＭｅａｎＳｐｅｃと呼ばれてもよい。

ステップ６０６において、プロセッサ１０２は、ステップ６０４で決定された変換信号の平均値を正規化する。一部の実施形態では、値は０から１の間で正規化される。一部の実施形態では、値は−１から１の間の正規化された値である。

図６に示されていない一部の実施形態では、正規化された信号がフィルタリングされる。一部の実施形態では、信号は、例えば、１００ Ｈｚ又は２００ Ｈｚの可聴範囲における比較的に低い値でローパスフィルタによりフィルタリングされてもよい。一部の実施形態では、フィルタリングによって信号の雑音が除去されてもよい。

次に、プロセッサ１０２は、正規化された信号におけるデータを微分する（６０８）。一部の実施形態では、このデータストアは、新しい信号ＤｅｒＭｅａｎＳｐｅｃで記憶されてもよい。例示的なＤｅｒＭｅａｎＳｐｅｃのプロットが、図８においてプロット８００の線８０４として示されている。このＤｅｒＭｅａｎＳｐｅｃが決定された例示的な音声信号が、プロット８００の線８０２として示されている。

次に、プロセッサ１０２は、微分信号（ＤｅｒＭｅａｎＳｐｅｃ）内の極大値を決定する。一部の実施形態では、こうした極大値の各々が、振幅の遷移に対応する。例示的なＤｅｒＭｅａｎＳｐｅｃに見つかる極大のプロットが、図８においてプロット８００の線８０６として示されている。一部の実施形態では、こうした極大は、音声信号における遷移の場所を表す。

次に図７を参照すると、上記のように、図７は、一実施形態によって音声信号の遷移を識別するための方法による音声信号の例示的なスペクトログラム及びパルス符号変調を示す。スペクトログラムは、２次元プロット７００を含み、３次元がプロットの暗さによって描かれている。プロットのより暗い区画は（矢印７０２で識別される）より高い振幅を有しており、より明るい区画は（矢印７０４で識別される）より低い振幅を有している。図７に示されているように、プロット７５０は、プロット７００に示された音声信号のパルス符号変調（ＰＣＭ）７５２のビューを含む。

次に図８を参照すると、上記のように、図８は、一実施形態によって音声信号の遷移を識別するための方法による音声信号の微分信号のプロット８００を示す。図８に示されたように、音声信号が黒い線８０２によって表され、（ＤｅｒＭｅａｎＳｐｅｃとして先に記載された）微分信号が灰色の線８０４で表され、ＤｅｒＭｅａｎＳｐｅｃに見つかる極大が薄い灰色の線８０６で表され、これは各ピーク値において星型を含んでいる。図８には全ての極大値が示されているわけではない。むしろ、図８に示されているように、前の極小に対して既定のデルタ値を超えた値を有する極大値のみが示されている。一部の実施形態では、こうした極大は、音声信号における遷移の場所を表す。従って、一部の実施形態では、デルタ値のサイズが、音声信号に検出される遷移の振幅を変化させるために調節されてもよい。

次に図９を参照すると、図９は、音声信号の遷移を識別するための例示的な方法９００を示すフローチャートである。この方法は、音声信号の遷移に関係付けられる触覚効果を決定するために使用されてもよい。一部の実施形態では、図９に示されるステップは、プロセッサ、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図９に示されるステップは異なる順番で行われてもよい。代替的に、一部の実施形態では、図９に示される１つ以上のステップはスキップされてもよく、又は図９には示されていない追加のステップが行われてもよい。図９におけるステップは、音声信号に関して記載される。しかしながら、一部の実施形態では、方法は、他の種類の信号、例えば、圧力、加速度、速度、又は温度信号に関係付けられる触覚効果を決定するために使用されてもよい。

図９に示されるように、方法９００は、ステップ９０２において、プロセッサ１０２が音声信号の連続的な時間ウインドウｔｗ（ｋ）に対して一群の周波数バンドのパワースペクトル密度（ＰＳＤ）を決定すると開始する。更に、一部の実施形態では、各バンドが、時間ウインドウｔｗ（ｋ）において、その周波数のＰＳＤ値の合計、ＰＳＤ（ｂａｎｄ（ｊ），ｔｗ（ｋ））により表されてもよい。

次に、プロセッサ１０２は、時間ウインドウごとに総パワースペクトル密度９０４を決定する。一部の実施形態では、プロセッサ９０４は、時間ウインドウｔｗ（ｋ）における全てのバンドのＰＳＤの合計として連続する周波数の各々を形成する別個の周波数バンドに対して総パワースペクトル密度を決定してもよい。一部の実施形態では、全てのこうしたバンドのセットが、ＰＳＤにおける周波数の全範囲をカバーしてもよい。

次に、プロセッサ１０２は、総パワースペクトル密度９０６への周波数バンドの貢献を決定する。一部の実施形態では、これは、時間ウインドウｔｗ（ｋ）における音声信号の総ＰＳＤにおける各バンドのＰＳＤの貢献を決定することを含む。一部の実施形態では、これは、所定の時間ウインドウにおける全てのバンドのＰＳＤの合計でその時間ウインドウにおけるバンドのＰＳＤの値を割ることを含んでもよい。即ち、ｗｅｉｇｈｔ（ｂａｎｄ（ｊ），ｔｗ（ｋ）） ＝ ＰＳＤ（ｂａｎｄ（ｊ），ｔｗ（ｋ））／ｔｗ（ｋ）における全バンドＰＳＤの合計である。

次に、プロセッサ１０２は、パワースペクトル密度の第１の変化率を決定する（９０８）。一部の実施形態では、変化率を決定することは、任意の２つの連続的な時間ウインドウｔｗ（ｋ）とｔｗ（ｋ＋１）との間の各バンドのＰＳＤにおける変化率‘Ｒ１’を決定することを含んでもよい。即ち、Ｒ１（ｂａｎｄ（ｊ），ｔｗ（ｋ）） ＝ ａｂｓ（ＰＳＤ（ｂａｎｄ（ｊ），ｔｗ（ｋ＋１）） − ＰＳＤ（ｂａｎｄ（ｊ），ｔｗ（ｋ））） ／ ＰＳＤ（ｂａｎｄ（ｊ），ｔｗ（ｋ））である。

次に、プロセッサ１０２は、第１の距離を決定する（９１０）。一部の実施形態では、第１の距離は、信号内の各バンドの貢献で重み付けされた２つの連続する時間ウインドウｔｗ（ｋ）とｔｗ（ｋ＋１）との間の全ての周波数バンドの変化率の合計と等しくてもよい。即ち、ｄｉｓｔ１（ｔｗ（ｋ）） ＝ 全バンドｂａｎｄ（ｊ）に対する（Ｒ１（ｂａｎｄ（ｊ），ｔｗ（ｋ）） ＊ ｗｅｉｇｈｔ（ｂａｎｄ（ｊ），ｔｗ（ｋ）））の合計である。

次に、プロセッサ１０２は、パワースペクトル密度の第２の変化率を決定する（９１２）。一部の実施形態では、この第２の変化率’Ｒ２’は、時間ウインドウｔｗ（ｋ）とｔｗ（ｋ＋２）との間の各バンドのＰＳＤにおける変化率を含んでもよい。即ち、Ｒ２（ｂａｎｄ（ｊ）， ｔｗ（ｋ）） ＝ ａｂｓ（ＰＳＤ（ｂａｎｄ（ｊ），ｔｗ（ｋ＋２）） − ＰＳＤ（ｂａｎｄ（ｊ），ｔｗ（ｋ））） ／ ＰＳＤ（ｂａｎｄ（ｊ），ｔｗ（ｋ））である。

次に、プロセッサ１０２は、第２の距離を決定する（９１４）。一部の実施形態では、この第２の距離は、信号内の各バンドの貢献で重み付けされた時間ウインドウｔｗ（ｋ）とｔｗ（ｋ＋２）との間の各バンドの変化率の合計と等しくてもよい。即ち、ｄｉｓｔ２（ｔｗ（ｋ））＝Ｒ２（ｂａｎｄ（ｊ），ｔｗ（ｋ）） ＊ ｗｅｉｇｈｔ（ｂａｎｄ（ｊ），ｔｗ（ｋ））の全バンドｂａｎｄ（ｊ）の合計である。

次に、ステップ９１６において、プロセッサ１０２は総距離を決定する。一部の実施形態では、総距離は、連続する時間ウインドウｔｗ（ｋ）とｔｗ（ｋ＋１）との間の距離を含んでもよい。一部の実施形態では、プロセッサ１０２は、第２の距離で第１の距離を乗算することによってこの決定を行ってもよい。即ち、ｄｉｓｔ（ｔｗ（ｋ）） ＝ ｄｉｓｔ１（ｔｗ（ｋ）） ＊ ｄｉｓｔ２（ｔｗ（ｋ））である。

次に、プロセッサ１０２は、総距離の極大を決定する（９１８）。一部の実施形態では、この極大は、時間ウインドウの周波数プロファイルにおけるシフトを示す。一部の実施形態では、これによって、音声信号内の遷移の表現がもたらされる。

図１０では、例示的な音声信号１００２が示される。図１０に示されるように、音声信号１００２の遷移を表す極大が、ドット１００４で印が付けられる。更に、一部の実施形態では、システムは、所定の閾値を超えて最小継続期間によって分離される極大値のみを認識するように調整されてもよい。一部の実施形態では、これは、システムが所定のレベルを超える遷移のみを検出するように調整されることを可能にする。

一部の実施形態では、ＰＳＤのウインドウサイズを広げて、より広いシーン変化を検出することができるであろう。更に、一部の実施形態では、ウインドウを狭めることで、より高速な計算時間のコストでより小さな遷移（例えば、反復するノート又はビート）を検出することが可能になる。更に、一部の実施形態では、時間ウインドウ間の多数の異なる距離、例えば、ユークリッド距離又はマハラノビス距離が使用されてもよい。

一部の実施形態では、方法９００は、反復アプローチを有するように修正されてもよい。一部の実施形態では、これは、対応する計算コストの増加なしでより正確な決定を提供してもよい。このような実施形態では、方法９００は、ｙ（１） ＞ ｘであるｙ（１）のウインドウサイズで各ステップを実行することによって、ｘ （ｉｎ ｍｓ）の精度を反復して推定するように行われてもよい。次に、ｙ（ｎ−１） ＜＝ ｘとなるまでｎ回演算を実行し続ける。反復ｎ−１で検出される遷移点の各々に対して、
−遷移点に中心がある２ ＊ ｙ（ｎ−１）の幅で信号の区画を取る。
−こうした区画の各々に対して、ウインドウサイズｙ（ｎ） ＝ ｙ（ｎ−１）／２でステップ９０２から９１６を実行する。
−総距離の最大値が遷移の正確な位置に対応する。

（音声信号に関係付けられる触覚効果を生成するためのシステム及び方法の利点）
音声信号の遷移に関係付けられる触覚効果の生成には多数の利点がある。音声又はＡＶファイルから触覚効果を自動的に決定するために、単純なフィルタリング技術（例えば、ローパスフィルタリング）が使用されてもよい。しかしながら、このような方法は、結果として生ずる触覚効果と音声イベントとの間の同期を悪くする場合がある。これは、ユーザによって知覚される触覚効果の品質低下をもたらす場合がある。

音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法の実施形態は、音声又はＡＶファイルにおけるイベントと触覚効果のより良好な同期を提供する。一部の実施形態では、音声又はＡＶイベントが開始すると同時に触覚効果が開始する場合に強力な同期が発生してもよい。一部の実施形態では、これは、音声又はＡＶイベントの強度が低くても当てはまってもよい。一部の実施形態では、触覚効果は、ユーザが同時に発生している２つのイベントを知覚することを確実にするための所定の強度を超えている。単純なフィルタリング技術は低い強度の効果のみを提供する場合があり、効果の増強はユーザに効果を完全に感知させるには遅すぎる場合がある。こうした問題のそれぞれは、本明細書に記載の実施形態によって解決されてもよい。

音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法の更なる実施形態は、音声又はＡＶファイル内の遷移を見つけて注釈を付けるために使用されてもよい。こうした遷移は、他の方法を用いて又は別のユーザ／設計者によって後で触覚効果に関係付けられ得る。更に、音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法は、音声信号をより効果的に自動的に触覚トラックに変換することを可能にする。これは、音声トラックを配布する前に音声トラックに基づいて触覚トラックが開発されることを可能にしてもよい。このような実施形態は、音声トラックと共に触覚トラックが配布されることを可能にし、それによって音声トラックの作者又は配布者に追加の収益源を提供してもよい。

更に、音声信号の遷移に関係付けられる触覚効果を生成するためのシステム及び方法は、音声信号が適切にセグメント化されることを可能にする。一部の実施形態では、周波数成分分析及びフィルタリングが、セグメント単位で音声信号が分析されることを可能にしてもよい。これは、各セグメントに関係付けられる触覚効果のより詳細で従ってより説得力のある触覚トラックを提供してもよい。

（概論）
上記の方法、システム及び装置は例示である。様々な構成によって、適宜、様々な手続き又は構成要素が省略、置換、又は追加されてもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び／又はステージが追加、省略及び／又は結合されてもよい。また、所定の構成に関して記載された機能は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は請求項の範囲を限定しない。

例示的な構成（実装を含む）の十分な理解を与えるために説明の中で特定の詳細が与えられている。しかしながら、こうした構成は特定の詳細なしで実施されてもよい。例えば、周知の回路、工程、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるために不要な詳細なしで示されている。この説明は、例示的な構成のみを提供するものであり、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、当業者に記載された技術を実装するための実施可能な説明を提供するであろう。本開示の精神又は範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。

また、構成は、流れ図又はブロック図として描かれる処理として記載されてもよい。各々が連続した工程として操作を説明している場合があるが、こうした操作の多くは並列的又は同時に行われ得る。更に、操作の順序は並び替えられてもよい。工程は、図面に含まれない追加のステップを有してもよい。更に、方法の例示は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体等の一時的でないコンピュータ可読媒体に記憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。

複数の例示的な構成が記載されているが、本開示の精神から逸脱することなく、様々な修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシステムの構成要素であってもよく、他の規則が本発明のアプリケーションに優先し又はそれを修正してもよい。また、上記の要素が検討される前、間、又は後で多くのステップが行われてもよい。従って、先の記載によって請求項の範囲は縛られない。

本明細書における「適合される」又は「構成される」の使用は、追加のタスク又はステップを実行するように適合又は構成される装置を排除しない開放的且つ包括的な言語を意図している。更に、「基づいて」の使用は開放的且つ包括的であることが意図されており、即ち、１つ以上の記載された条件又は値に「基づく」処理、ステップ、計算、又は他の動作が、実際には、記載されたものを超える追加の条件又は値に基づいてもよい。本明細書に含まれる表題、リスト及び番号は、単に説明を容易にするためのものであって、限定することを意図していない。

本主題の態様に従う実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア又はこれらの組み合わせに実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。

このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、及び状態機械を含む。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ又はＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。

このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることが出来る命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することができる全ての電子、光学、磁気、又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。また、様々な他の装置は、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。

本主題はその特定の実施形態に関して詳細に記載されているが、上記のことを理解すると、このような実施形態の変形、変化及び均等物を当業者であれば容易に生み出し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかとなる本主題への修正、変更及び／又は追加を含むことを排除しないことが理解されるべきである。

Claims (36)

1. 信号を受信し、
   前記信号における１つ以上の遷移を識別すること、及び１つ以上の触覚効果を前記１つ以上の遷移と同期することによって、前記信号に部分的に基づいて触覚効果を決定し、
   前記触覚効果に関係付けられる触覚信号を出力するように構成されるプロセッサを含む、触覚効果を出力するためのシステム。
2. 前記信号は、音声信号、圧力信号、又は加速度信号の１つを含む、請求項１に記載のシステム。
3. 前記信号を受信して、可聴効果を出力するように構成される音声出力装置と、
   前記プロセッサと通信する触覚出力装置であって、前記触覚信号を受信して、前記触覚効果を出力するように構成される触覚出力装置と
   を更に備える、請求項１に記載のシステム。
4. 前記触覚信号を受信して、前記触覚効果を触覚トラックに記憶するように構成されるデータストアを更に備える、請求項１に記載のシステム。
5. 前記遷移は、周波数の変化、振幅の変化、又は周波数及び振幅の繰り返しの１つ以上を含む、請求項１に記載のシステム。
6. 前記触覚効果は、摩擦係数の変化、擬似テクスチャ、又は振動の１つ以上を含む、請求項１に記載のシステム。
7. １つ以上の遷移を識別することは、
   一連の時間間隔で取得される前記信号に高速フーリエ変換を実行すること、
   前記時間間隔の各々に対して変換された信号の平均値を決定すること、
   前記平均値の各々を正規化して正規化信号を生成すること、
   前記正規化信号を微分して微分信号を生成すること、及び
   前記微分信号内で１つ以上の極大値を決定すること
   を含む、請求項１に記載のシステム。
8. 前記正規化信号をフィルタリングすることを更に含む、請求項７に記載のシステム。
9. 前記１つ以上の極大値は、前記１つ以上の遷移を含む、請求項７に記載のシステム。
10. １つ以上の遷移を識別することは、
    第１の時間ウインドウ及び第２の時間ウインドウ内で一群の周波数バンドのパワースペクトル密度を決定することであって、前記第１の時間ウインドウ及び第２の時間ウインドウは前記信号における連続的な時間ウインドウであること、
    時間ウインドウごとの全ての周波数バンドに対する前記パワースペクトル密度の値を合計することによって総パワースペクトル密度を決定すること、
    各周波数バンドの前記パワースペクトル密度の値を時間ウインドウごとの前記総パワースペクトル密度と比較することによって、前記総パワースペクトル密度に対する各周波数バンドの貢献を決定すること、
    前記第１の時間ウインドウから前記第２の時間ウインドウへの前記周波数バンドの前記パワースペクトル密度の第１の変化率を決定すること、
    各周波数バンドの貢献によって重み付けられる前記第１の変化率の合計と等しい第１の距離を決定すること、
    前記第１の時間ウインドウから第３の時間ウインドウへの前記周波数バンドの前記パワースペクトル密度の第２の変化率を決定することであって、前記第２の時間ウインドウ及び前記第３の時間ウインドウは前記信号における連続的な時間ウインドウであること、
    各周波数バンドの貢献によって重み付けられる各周波数バンドにおける前記第２の変化率の合計と等しい第２の距離を決定すること、
    前記第２の距離で前記第１の距離を乗算することによって、前記第１の時間ウインドウと前記第２の時間ウインドウとの間の総距離を決定すること、及び
    極大を決定すること
    を含む、請求項１に記載のシステム。
11. 前記極大は、前記第１の距離、第２の距離、又は総距離の極大を含む、請求項１０に記載のシステム。
12. 前記極大は、前記信号における１つ以上の遷移を含む、請求項１０に記載のシステム。
13. 信号を受信するステップと、
    前記信号における１つ以上の遷移を識別すること、及び１つ以上の触覚効果を前記１つ以上の遷移と同期することによって、前記信号に部分的に基づいて触覚効果を決定するステップと、
    前記触覚効果に関係付けられる触覚信号を出力するステップと
    を含む、触覚効果を出力するための方法。
14. 前記信号は、音声信号、圧力信号、又は加速度信号の１つを含む、請求項１４に記載の方法。
15. 可聴効果を出力するステップと、
    前記触覚効果を出力するステップと
    を更に含む、請求項１３に記載の方法。
16. 前記触覚信号を触覚トラックに記憶するステップを更に含む、請求項１３に記載の方法。
17. 前記触覚効果は、摩擦係数の変化、擬似テクスチャ、又は振動の１つ以上を含む、請求項１３に記載の方法。
18. 前記遷移は、周波数の変化、振幅の変化、又は周波数及び振幅の繰り返しの１つ以上を含む、請求項１５に記載の方法。
19. １つ以上の遷移を識別するステップは、
    一連の時間間隔内の前記信号に高速フーリエ変換を実行するステップと、
    前記時間間隔の各々に対して変換された信号の平均値を決定するステップと、
    前記平均値の各々を正規化して正規化信号を生成するステップと、
    前記正規化信号を微分して微分信号を生成するステップと、
    前記微分信号内で１つ以上の極大値を決定するステップと
    を含む、請求項１５に記載の方法。
20. 前記正規化信号をフィルタリングするステップを更に含む、請求項１９に記載の方法。
21. 前記１つ以上の極大値は、前記１つ以上の遷移を含む、請求項１９載の方法。
22. １つ以上の遷移を識別するステップは、
    第１の時間ウインドウ及び第２の時間ウインドウ内で一群の周波数バンドのパワースペクトル密度を決定することであって、前記第１の時間ウインドウ及び第２の時間ウインドウは前記信号における連続的な時間ウインドウであること、
    時間ウインドウごとの全ての周波数バンドに対する前記パワースペクトル密度の値を合計することによって総パワースペクトル密度を決定すること、
    各周波数バンドの前記パワースペクトル密度の値を時間ウインドウごとの前記総パワースペクトル密度と比較することによって、前記総パワースペクトル密度に対する各周波数バンドの貢献を決定すること、
    前記第１の時間ウインドウから前記第２の時間ウインドウへの前記周波数バンドの前記パワースペクトル密度の第１の変化率を決定すること、
    各周波数バンドの貢献によって重み付けられる前記第１の変化率の合計と等しい第１の距離を決定すること、
    前記第１の時間ウインドウから第３の時間ウインドウへの前記周波数バンドの前記パワースペクトル密度の第２の変化率を決定することであって、前記第２の時間ウインドウ及び前記第３の時間ウインドウは前記信号における連続的な時間ウインドウであること、
    各周波数バンドの貢献によって重み付けられる各周波数バンドにおける前記第２の変化率の合計と等しい第２の距離を決定すること、
    前記第２の距離で前記第１の距離を乗算することによって、前記第１の時間ウインドウと前記第２の時間ウインドウとの間の総距離を決定すること、及び
    極大を決定すること
    を含む、請求項１５に記載の方法。
23. 前記極大は、前記第１の距離、第２の距離、又は総距離の極大を含む、請求項２２に記載の方法。
24. 前記極大は、前記信号における１つ以上の遷移を含む、請求項２２に記載の方法。
25. プロセッサによって実行されると、前記プロセッサに
    信号を受信すること、
    前記信号における１つ以上の遷移を識別すること、及び１つ以上の触覚効果を前記１つ以上の遷移と同期することによって、前記信号に部分的に基づいて触覚効果を決定すること、及び
    前記触覚効果に関係付けられる触覚信号を出力すること
    を行わせるように構成されるプログラムコードを含む、一時的でないコンピュータ可読媒体。
26. 前記信号は、音声信号、圧力信号、又は加速度信号の１つを含む、請求項２５に記載の一時的でないコンピュータ可読媒体。
27. プロセッサによって実行されると、前記プロセッサに
    可聴効果を出力すること、及び
    前記触覚効果を出力すること
    を行わせるように構成されるプログラムコードを更に含む、請求項２５に記載の一時的でないコンピュータ可読媒体。
28. プロセッサによって実行されると、前記プロセッサに、前記触覚信号を触覚トラックに記憶させるように構成されるプログラムコードを更に含む、請求項２５に記載の一時的でないコンピュータ可読媒体。
29. 前記触覚効果は、摩擦係数の変化、擬似テクスチャ、又は振動の１つ以上を含む、請求項２５に記載の一時的でないコンピュータ可読媒体。
30. 前記遷移は、周波数の変化、振幅の変化、又は周波数及び振幅の繰り返しの１つ以上を含む、請求項２７に記載の一時的でないコンピュータ可読媒体。
31. １つ以上の遷移を識別することは、
    一連の時間間隔内の前記信号に高速フーリエ変換を実行すること、
    前記時間間隔の各々に対して変換された信号の平均値を決定すること、
    前記平均値の各々を正規化して正規化信号を生成すること、
    前記正規化信号を微分して微分信号を生成すること、及び
    前記微分信号内で１つ以上の極大値を決定すること
    を含む、請求項２７に記載の一時的でないコンピュータ可読媒体。
32. 前記１つ以上の極大値は、前記１つ以上の遷移を含む、請求項３１に記載の一時的でないコンピュータ可読媒体。
33. 前記正規化信号をフィルタリングすることを更に含む、請求項３１に記載の一時的でないコンピュータ可読媒体。
34. １つ以上の遷移を識別することは、
    第１の時間ウインドウ及び第２の時間ウインドウ内で一群の周波数バンドのパワースペクトル密度を決定することであって、前記第１の時間ウインドウ及び第２の時間ウインドウは前記信号における連続的な時間ウインドウであること、
    時間ウインドウごとの全ての周波数バンドに対する前記パワースペクトル密度の値を合計することによって総パワースペクトル密度を決定すること、
    各周波数バンドの前記パワースペクトル密度の値を時間ウインドウごとの前記総パワースペクトル密度と比較することによって、前記総パワースペクトル密度に対する各周波数バンドの貢献を決定すること、
    前記第１の時間ウインドウから前記第２の時間ウインドウへの前記周波数バンドの前記パワースペクトル密度の第１の変化率を決定すること、
    各周波数バンドの貢献によって重み付けられる前記第１の変化率の合計と等しい第１の距離を決定すること、
    前記第１の時間ウインドウから第３の時間ウインドウへの前記周波数バンドの前記パワースペクトル密度の第２の変化率を決定することであって、前記第２の時間ウインドウ及び前記第３の時間ウインドウは前記信号における連続的な時間ウインドウであること、
    各周波数バンドの貢献によって重み付けられる各周波数バンドにおける前記第２の変化率の合計と等しい第２の距離を決定すること、
    前記第２の距離で前記第１の距離を乗算することによって、前記第１の時間ウインドウと前記第２の時間ウインドウとの間の総距離を決定すること、及び
    極大を決定すること
    を含む、請求項２７に記載の一時的でないコンピュータ可読媒体。
35. 前記極大は、前記信号における１つ以上の遷移を含む、請求項３４に記載の一時的でないコンピュータ可読媒体。
36. 前記極大は、前記第１の距離、第２の距離、又は総距離の極大を含む、請求項３４に記載の一時的でないコンピュータ可読媒体。