JP2015053047A - 動的ハプティック変換システム - Google Patents

Abstract

【課題】入力信号をハプティック信号に動的に変換するシステムが提供される。【解決手段】このシステムは効果オブジェクトを生成し、効果オブジェクトは、入力信号を出力信号に変換するために入力信号に対してハプティック変換アルゴリズムを実施する命令を含み、効果オブジェクトの順序が定義される。このシステムはさらに、入力信号を受信する。このシステムはさらに、定義された順序において効果オブジェクトを入力信号に適用し、効果オブジェクトの出力信号はハプティック信号を形成する。このシステムはさらに、ハプティック信号をハプティック出力装置に送信し、ハプティック信号はハプティック出力装置にハプティック効果を出力させる。【選択図】図１

Description

関連出願の相互参照
本出願は、２０１３年９月６日に出願された米国仮特許出願第６１／８７４，９２０号（その開示は参照により本明細書に組み込まれる）の優先権を主張する。

分野
一実施形態は、概して、装置、より具体的にはハプティック効果を生成する装置に関する。

電子デバイスの製造者はユーザにとって豊かなインターフェースを製造することに注力している。従来のデバイスは、ユーザにフィードバックを提供するために、視覚的及び聴覚的合図を用いている。一部のインターフェースデバイスにおいて、より一般的には総括して「ハプティックフィードバック（触覚フィードバック）」または「ハプティック効果（触覚的効果）」として知られる、運動感覚フィードバック（作用力および抵抗力フィードバック等）および／またはタクタイル（触知的）フィードバック（振動、触感、及び熱等）もまた、ユーザに提供される。ハプティックフィードバックは、ユーザインターフェースを強化および単純化するきっかけを提供し得る。具体的には、振動効果、すなわち振動ハプティック効果は、ユーザに特定のイベントを通知するために、電子デバイスのユーザへの合図を提供するのに有用であり得るか、またはシミュレート環境もしくは仮想環境内でより大きく感覚を集中させるために、現実的なフィードバックを提供し得る。

ハプティック効果ディベロッパーは装置のためのハプティック効果を作成することができ、その装置はハプティック効果を出力するように構成され得る。この状況において、異なる種類のハードウェアが異なるハードウェア特性に起因して異なる種類のハプティック効果を生成できる。例えば、異なる種類のアクチュエータ（偏心回転体モータアクチュエータ、線形共鳴アクチュエータおよび圧電アクチュエータなど）が、異なるアクチュエータの異なる電気機械特性に起因して異なる種類のハプティック効果を生成できる。一般に、特定の種類のハードウェアについてのハプティック効果を作成することを望むハプティック効果ディベロッパーは、特定のハードウェアについてのハプティック効果を調整することを必要とされる。ハプティック効果ディベロッパーが複数のハードウェア種類をサポートすることを望む場合、ハプティック効果ディベロッパーは一般に、各ハードウェアの種類について最適なハプティック経験を提供するために異なるハプティック効果を作成しなければならない。これは、さらなる設計時間およびハプティック効果を作成することに関する労力を生じ得る。

一実施形態は入力信号をハプティック信号に動的に変換するシステムである。そのシステムは効果オブジェクトを生成し、効果オブジェクトは入力信号を出力信号に変換するために入力信号に対してハプティック変換アルゴリズムを実施するための命令を含み、効果オブジェクトの順序が定義される。そのシステムはさらに、入力信号を受信する。そのシステムはさらに、定義された順序において効果オブジェクトを入力信号に適用し、効果オブジェクトの出力信号はハプティック信号を生成する。そのシステムはさらに、ハプティック信号をハプティック出力装置に送信し、ハプティック信号はハプティック出力装置にハプティック効果を出力させる。

さらなる実施形態、詳細、利点および変更は、添付の図面と併せて理解される好ましい実施形態の以下の詳細な説明から明らかになるであろう。

図１は、本発明の一実施形態に係る、システムのブロック図を示す。 図２は、本発明の一実施形態に係る、動的に関連付けられた効果の例を示す。 図３は、本発明の一実施形態に係る、動的ウインドウハプティック変換アルゴリズムの機能性のフロー図を示す。 図４は、本発明の一実施形態に係る、ハプティック信号の動的圧縮の成分であるハプティック信号をストリーミングする要求を示す。 図５は、本発明の一実施形態に係る、ハプティック信号の動的圧縮の成分であるストリーミングセッションの初期化を示す。 図６は、本発明の一実施形態に係る、ハプティック信号の動的圧縮の成分である圧縮アルゴリズムの決定を示す。 図７は、本発明の一実施形態に係る、ハプティック信号の動的圧縮の成分である圧縮アルゴリズムの通信を示す。 図８は、本発明の一実施形態に係る、ハプティック信号の動的圧縮の成分である応答通信を示す。 図９は、本発明の一実施形態に係る、ハプティック信号の動的圧縮の成分である応答通信を示す。 図１０は、本発明の一実施形態に係る、ハプティック信号の動的圧縮の成分である圧縮通信を示す。 図１１は、本発明の一実施形態に係る、ハプティック信号の動的圧縮の成分であるハプティック信号の圧縮およびストリーミングを示す。 図１２は、本発明の一実施形態に係る、動的ハプティック変換モジュールの機能性のフロー図を示す。 図１３は、本発明の一実施形態に係る、動的ハプティック変換モジュールの機能性のフロー図を示す。 図１４は、本発明の一実施形態に係る、動的ハプティック変換モジュールの機能性のフロー図を示す。

一実施形態は、様々なハプティック変換アルゴリズム（「効果」とも識別される）を動的に関連付けるか、または変化させることによってオーディオ信号などの入力信号のハプティック信号への変換を行うシステムであり、１つの効果の出力信号は別の効果の入力信号としての機能を果たす。このように、このシステムはランタイムにて任意の順序に効果のセットを順序付けることができ、効果のセットは、効果のセットの作成の後で作成される効果を含むように拡張可能である。効果を生成し、利用することによって、このシステムは、任意のハプティック変換アルゴリズムを集合的に作成できるランタイムにて効果のリストを動的に作成できる。

別の実施形態において、このシステムは、入力信号の最小および最大の大きさ値に基づいて入力信号の一部を定義する範囲（「ウインドウ」とも識別される）を動的に作成し、アップデートすることによって、および「ウインドウの範囲内」にある入力信号の一部をスケーリングすることによって入力信号のハプティック信号への変換を行う。「ウインドウの範囲内」にない入力信号の一部はシステムによってスケールされない。一実施形態において、ウインドウは最小大きさ値以上および最大値以下の範囲の大きさ値を含む。最小大きさ値以上および最大値以下の大きさ値を含む入力信号の一部はウインドウの範囲内にある。最小大きさ値未満または最大大きさ値超である大きさ値を含む入力信号の一部はウインドウの範囲内にない。さらに、このシステムは最小および最大の大きさ値を頻繁にアップデートでき、アップデートされた最小および最大の大きさ値に基づいてウインドウをさらにアップデートできる。このように、ウインドウは動的ウインドウであり得る。

さらに、別の実施形態において、このシステムは、ハプティック信号を動的に圧縮でき、動的に圧縮されたハプティック信号をハプティック出力装置にストリーミングできる。ハプティック信号を動的に圧縮することによって、このシステムは、システムとクライアントとの間の往復時間、ハプティック信号の１つ以上の特性、またはこれらの組合せに基づいて圧縮アルゴリズムを選択できる。このように、このシステムは、多くの異なるシナリオについてハプティック信号を効果的に圧縮し、ストリーミングできる。さらに、ハプティック信号をストリーミングすることによって、このシステムはハプティック信号を遠隔装置に送信または伝送できる。

図１は、本発明の一実施形態に係るシステム１０のブロック図を示す。一実施形態において、システム１０はデバイスの一部（例えば、モバイル機器またはウェアラブルデバイス）であり、システム１０はデバイスのための動的ハプティック変換機能を提供する。ウェアラブルデバイスの例としては、リストバンド、ヘッドバンド、眼鏡、リング、レッグバンド、衣服に取り付けられるアレイ、またはユーザが身体に装着できるもしくはユーザにより保持され得る任意の他の種類のデバイスが挙げられる。一部のウェアラブルデバイスは「ハプティック動作可能」であり得、それらがハプティック効果を生成するための機構を備えることを意味する。別の実施形態において、システム１０は、デバイス（例えばモバイル機器またはウェアラブルデバイス）から分離され、デバイスのための上述の機能をリモートで提供する。単一のシステムとして示されるが、システム１０の機能は分散システムとして実装されてもよい。システム１０は、情報を通信するためのバス１２または他の通信機構、および情報を処理するためのバス１２に連結されるプロセッサ２２を含む。プロセッサ２２は汎用または特定目的のプロセッサのいずれの種類であってもよい。システム１０はさらに、情報を記憶するためのメモリ１４およびプロセッサ２２により実行される命令を含む。メモリ１４は、ランダムアクセスメモリ（「ＲＡＭ」）、リードオンリメモリ（「ＲＯＭ」）、磁気ディスクもしくは光ディスクなどの静的記憶デバイス、または任意の他の種類のコンピュータ可読媒体の任意の組み合わせから構成されてもよい。

コンピュータ可読媒体は、プロセッサ２２によりアクセスされ得る任意の利用可能な媒体であってもよく、揮発性媒体および非揮発性媒体の両方、リムーバルおよびノンリムーバル媒体、通信媒体、ならびに記憶媒体を含んでもよい。通信媒体は、搬送波または他の搬送機構などの変調データ信号内にコンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータを含んでもよく、当該技術分野において公知の任意の他の形態の情報送信媒体を含んでもよい。記憶媒体は、ＲＡＭ、フラッシュメモリ、ＲＯＭ、消去可能プログラマブルリードオンリメモリ（「ＥＰＲＯＭ」）、電気的消去可能プログラマブルリードオンリメモリ（「ＥＥＰＲＯＭ」）、レジスタ、ハードディスク、リムーバルディスク、コンパクトディスクリードオンリメモリ（「ＣＤ−ＲＯＭ」）、または当該技術分野において公知の任意の他の形態の記憶媒体を含んでもよい。

一実施形態において、メモリ１４は、プロセッサ２２により実行される場合、機能性を提供するソフトウェアモジュールを記憶する。モジュールは、システム１０のためのオペレーティングシステム機能を提供するオペレーティングシステム１５、ならびに一実施形態におけるモバイル機器の残りを含む。モジュールはさらに、以下により詳細に開示されるように入力信号をハプティック信号に動的に変換する動的ハプティック変換モジュール１６を含む。特定の実施形態において、動的ハプティック変換モジュール１６は複数のモジュールを含んでもよく、各々のモジュールは入力信号をハプティック信号に動的に変換するための特定の個々の機能を提供する。システム１０は典型的に、Ｉｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎによるＩｎｔｅｇｒａｔｏｒ（商標）ソフトウェアなどの追加の機能を含むように１つ以上の追加のアプリケーションモジュール１８を含む。

リモートソースからデータを送信および／または受信する実施形態において、システム１０はさらに、赤外線、無線、Ｗｉ−Ｆｉ、またはセルラーネットワーク通信などの移動無線ネットワーク通信を提供するために、ネットワークインターフェースカードなどの通信デバイス２０を含む。他の実施形態において、通信デバイス２０は、イーサネット（登録商標）接続またはモデムなどの有線ネットワーク接続を提供する。

プロセッサ２２はさらに、バス１２を介して、グラフィック表現を表示するための液晶ディスプレイ（「ＬＣＤ」）などのディスプレイ２４またはユーザに対するユーザインターフェースに接続される。ディスプレイ２４は、プロセッサ２２から信号を送信し、受信するように構成される、タッチスクリーンなどのタッチセンサ入力デバイスであってもよく、マルチタッチのタッチスクリーンであってもよい。

一実施形態において、システム１０はさらに、アクチュエータ２６を含む。プロセッサ２２は、生成されたハプティック効果に関連するハプティック信号をアクチュエータ２６に送信してもよく、次いで振動触覚ハプティック効果、静電摩擦ハプティック効果または変形ハプティック効果などのハプティック効果を出力する。アクチュエータ２６はアクチュエータ駆動回路を含む。アクチュエータ２６は、例えば、電気モータ、電磁気アクチュエータ、音声コイル、形状記憶合金、ソレノイド、偏心回転体モータ（「ＥＲＭ」）、線形共鳴アクチュエータ（「ＬＲＡ」）、圧電アクチュエータ、高帯域アクチュエータ、電気活性ポリマー（「ＥＡＰ」）アクチュエータ、静電摩擦ディスプレイ、または超音波振動発生器であってもよい。代替の実施形態において、システム１０は、アクチュエータ２６に加えて１つ以上の追加のアクチュエータを含んでもよい（図１に示さず）。アクチュエータ２６はハプティック出力装置の一例であり、ハプティック出力装置は、駆動信号に応答して振動触覚ハプティック効果、静電摩擦ハプティック効果または変形ハプティック効果などのハプティック効果を出力するように構成されるデバイスである。代替の実施形態において、アクチュエータ２６は一部の他の種類のハプティック出力装置により置き換えられてもよい。さらに、他の代替の実施形態において、システム１０はアクチュエータ２６を含まなくてもよく、システム１０とは別個のデバイスが、ハプティック効果を生成するアクチュエータまたは他のハプティック出力装置を含み、システム１０は、生成されたハプティック信号を、通信デバイス２０を介して、そのデバイスに送信する。

一実施形態において、システム１０はさらに、スピーカ２８を含む。プロセッサ２２はオーディオ信号をスピーカ２８に送信でき、次にオーディオ効果を出力する。スピーカ２８は、例えば、ダイナミックラウドスピーカ、動電型スピーカ、圧電ラウドスピーカ、磁気歪みラウドスピーカ、静電ラウドスピーカ、リボンおよび平面磁気ラウドスピーカ、屈曲波ラウドスピーカ、平面パネルラウドスピーカ、ハイルエアモーショントランスデューサ（ｈｅｉｌ ａｉｒ ｍｏｔｉｏｎ ｔｒａｎｓｄｕｃｅｒ）、プラズマアークスピーカおよびデジタルラウドスピーカであってもよい。代替の実施形態において、システム１０はスピーカ２８に加えて１つまたは複数のさらなるスピーカを含んでもよい（図１に示さず）。さらに、他の代替の実施形態において、システム１０はスピーカ２８を含まなくてもよく、システム１０とは別のデバイスが、オーディオ効果を出力するスピーカを含み、システム１０は通信デバイス２０を介してオーディオ信号をそのデバイスに送信する。

一実施形態において、システム１０はさらにセンサ３０を含む。センサ３０は、エネルギーの形態、または限定されないが、音、運動、加速度、生体信号、距離、流量、力／圧力／歪／屈曲、湿度、線形位置、配向／傾斜、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、または可視光強度などの他の物理特性を検出するように構成されてもよい。センサ３０はさらに、検出されたエネルギーまたは他の物理特性を、電気信号または仮想センサ情報を表す任意の信号に変換するように構成されてもよい。センサ３０は、限定されないが、加速度計、心電図、脳電図、筋電図、眼電図、電子口蓋図（ｅｌｅｃｔｒｏｐａｌａｔｏｇｒａｐｈ）、電気皮膚反応センサ、容量センサ、ホール効果センサ、赤外線センサ、超音波センサ、圧力センサ、光ファイバセンサ、屈曲センサ（ｆｌｅｘｉｏｎ ｓｅｎｓｏｒ）（または屈曲センサ（ｂｅｎｄ ｓｅｎｓｏｒ））、力感応抵抗器、ロードセル、ＬｕＳｅｎｓｅ ＣＰＳ^２１５５、小型圧力トランスデューサ、圧電センサ、歪みゲージ、湿度計、線形位置タッチセンサ、線形電位差計（またはスライダ）、線形可変差動変圧器、コンパス、傾斜計、磁性タグ（または無線周波数識別タグ）、回転エンコーダ、回転式ポテンショメータ、ジャイロスコープ、オン・オフスイッチ、温度センサ（例えば温度計、熱電対、抵抗温度検出器、サーミスタ、または温度変換集積回路）、マイクロフォン、光度計、高度計、温度計、生物学的モニター、カメラまたは光依存性抵抗器などの任意のデバイスであってもよい。代替の実施形態において、システム１０は、センサ３０に加えて、１つ以上のさらなるセンサ（図１に示さず）を含んでもよい。これらの実施形態の一部において、センサ３０および１つ以上の追加のセンサはセンサアレイの一部であってもよく、またはセンサの収集の一部の他の種類であってもよい。さらに、他の代替の実施形態において、システム１０はセンサ３０を含まなくてもよく、システム１０とは別個のデバイスがエネルギーの形態または他の物理特性を検出するセンサを含み、検出されたエネルギーまたは他の物理特性を仮想センサ情報を表す電気信号または他の種類の信号に変換する。デバイスは次いで、変換された信号を通信デバイス２０を介してシステム１０に送信する。

一実施形態において、以前に記載されているように、システムは、様々なハプティック変換アルゴリズム（すなわち効果）を動的に関連付け、または連鎖させることによって、オーディオ信号などの入力信号の、ハプティック信号への変換を実施できる。より具体的には、実施形態によれば、システムは、ランタイムで生成され得る１つまたは複数の効果オブジェクトを関連付けるか、または連鎖できる。効果オブジェクトは、システムに入力などの信号を受信させ、入力信号を出力信号（ハプティック信号など）に変換するために入力信号に対してハプティック変換アルゴリズムを実施させ、出力信号を出力させることができる、１つまたは複数のコンピュータ可読命令を含み得るオブジェクト、またはモジュールである。システムのユーザは、どの効果オブジェクトがシステムに関連し、連鎖できるかを決定でき、効果オブジェクトの順序をさらに決定できる。例示した実施形態において、ユーザは、１つまたは複数の効果オブジェクトを選択し、効果オブジェクトの順序を選択するためにシステムのグラフィカルユーザインターフェースと相互作用できる。このような相互作用は、グラフィカルユーザインターフェース内に表示される１つまたは複数の「ラジオボタン」または「チェックボックス」を選択すること；１つまたは複数の効果オブジェクトを、グラフィカルユーザインターフェース内に表示されるパイプライン内に「ドラッグおよびドロップすること」、あるいは関連分野の当業者に公知であるグラフィカルユーザインターフェースとの任意の他の相互作用を含んでもよい。さらに、各ハプティック変換アルゴリズムは、リアルタイム（または準リアルタイム）で実施されてもよいか、またはオフライン（すなわち、元の入力信号の再生の前、または独立して）で実施されてもよい。

前もって、多くのハプティック変換アルゴリズムは固定された特定のプロセス連鎖を含んでいる。例えば、ハプティック変換アルゴリズムは、５００Ｈｚ以下の全ての関連周波数を抽出する、５００ヘルツ（「Ｈｚ」）カットオフで入力信号に適用されるローパスフィルタリングアルゴリズムなどのフィルタ変換アルゴリズム、続いて、フィルタ処理された入力信号に適用されるピーク検出変換アルゴリズムとして定義され得る。対照的に、一実施形態によれば、システムは、ランタイムにて任意の順序に効果のセットを順序付けることができ、効果のセットは、効果のセットを作成した後で作成される効果を含むように拡張できる。効果を生成し、利用することによって、システムは、任意のハプティック変換アルゴリズムを集合的に作成できるランタイムにて効果のリストを動的に作成できる。

一実施形態において、入力信号は、オーディオデータを含む、オーディオ信号、または他の種類のオーディオ入力であってもよい。代替の実施形態において、入力信号は、ビデオデータを含む、ビデオ信号、または他の種類のビデオ入力であってもよい。さらに別の代替の実施形態において、入力信号は、加速度データを含む、加速度信号、または他の種類の加速度入力であってもよい。さらに別の代替の実施形態において、入力信号は、ハプティックデータを含む、ハプティック信号、または他の種類のハプティック入力であってもよい。さらに別の代替の実施形態において、入力信号は、配向データを含む配向信号、周辺光データを含む周辺光信号、またはセンサによって検知され得る別の種類の信号であってもよい。さらに、他の代替の実施形態において、入力は入力信号ではないが、データを含む別の種類の入力である。

さらに、一実施形態において、効果は、入力信号をハプティック信号に変換するために関連分野の当業者に公知の任意のハプティック変換アルゴリズムであってもよい。例えば、効果は、入力信号の各部分について最大振幅値を識別し、識別された最大振幅値に基づいて入力信号の各部分についてハプティック信号を生成するピーク検出ハプティック変換アルゴリズムであってもよく、識別された最大振幅値はハプティック信号の大きさを定義する。別の例として、効果は、入力信号の一部（例えば、最も高い周波数値を有する入力信号の一部）をフィルタにより除去し、入力信号の残りの部分に基づいてハプティック信号を生成するローパスフィルタハプティック変換アルゴリズムであってもよい。さらに別の例として、効果は、入力信号の一部（例えば、最も低い周波数値を有する入力信号の一部）をフィルタにより除去し、入力信号の残りの部分に基づいてハプティック信号を生成するハイパスフィルタハプティック変換アルゴリズムであってもよい。さらに別の例として、効果は、入力信号の少なくとも一部のピッチをシフトし、ピッチシフト入力信号に基づいてハプティック信号を生成するピッチシフトハプティック変換アルゴリズムであってもよい。さらに別の例として、効果は、入力信号の少なくとも一部の周波数をシフトし、周波数シフト入力信号に基づいてハプティック信号を生成する周波数シフトハプティック変換アルゴリズムであってもよい。さらに別の例として、効果は、図３と併せて以下にさらにより詳細に記載される動的ウインドウハプティック変換アルゴリズムであってもよい。

例示的なハプティック変換アルゴリズムは、以下の特許または特許文献（それらの全てはその全体が本明細書に参照により組み込まれる）に記載される：米国特許第７，９７９，１４６号；米国特許第８，０００，８２５号；米国特許第８，３７８，９６４号；米国特許出願公開第２０１１／０２０２１５５号；米国特許出願公開第２０１１／０２１５９１３号；米国特許出願公開第２０１２／０２０６２４６号；米国特許出願公開第２０１２／０２０６２４７号；米国特許出願公開第２０１３／０２６５２８６号；米国特許出願公開第２０１３／０１３１８５１号；米国特許出願公開第２０１３／０２０７９１７号；米国特許出願公開第２０１３／０３３５２０９号；米国特許出願公開第２０１４／００６４５１６号；米国特許出願第１３／６６１，１４０号；米国特許出願第１３／７８５，１６６号；米国特許出願第１３／７８８，４８７号；米国特許出願第１４／０７８，４３８号；米国特許出願第１４／０７８，４４２号；米国特許出願第１４／０７８，４４５号；米国特許出願第１４／０５１，９３３号；米国特許出願第１４／０２０，４６１号；米国特許出願第１４／０２０，５０２号；米国特許出願第１４／２４６，８１７号；および米国特許出願第１４／２７７，８７０号。

さらに、一実施形態によれば、ハプティック信号は１つまたは複数のハプティックパラメータを含んでもよく、ハプティックパラメータは、ハプティック効果を生成するために使用されるハプティック信号を定義できるパラメータであり、したがって、生成されるハプティック効果も定義できる。より具体的には、ハプティックパラメータは、大きさ、周波数、持続時間、振幅、強度、エンベロープ、密度または任意の他の種類の定量可能なハプティックパラメータなどのハプティック効果の質の量である。実施形態によれば、ハプティック効果は、少なくとも部分的に、ハプティック信号の１つまたは複数のハプティックパラメータによって定義されてもよく、１つまたは複数のハプティックパラメータはハプティック効果の特性を定義できる。ハプティックパラメータは数値を含んでもよく、数値はハプティック信号の特性を定義でき、したがって、ハプティック信号によって生成されるハプティック効果の特性も定義できる。ハプティックパラメータの例としては、振幅ハプティックパラメータ、周波数ハプティックパラメータ、持続時間ハプティックパラメータ、エンベロープハプティックパラメータ、密度ハプティックパラメータ、大きさハプティックパラメータおよび強度ハプティックパラメータが挙げられ得る。

一実施形態によれば、システムは、ハプティック信号を、アクチュエータなどのハプティック出力装置に送信できる。次いで、ハプティック出力装置は、システムにより送信されるハプティック信号に応答して、振動触覚ハプティック効果、静電摩擦ハプティック効果、または変形可能なハプティック効果などの１つまたは複数のハプティック効果を出力できる。

図２は、本発明の一実施形態に係る、動的に関連付けられた効果の例を示す。動的に関連付けられた効果は任意の数の効果オブジェクトを含んでもよく、効果オブジェクトは規定の順序に従って、関連付けられるか、または連鎖され得る。例１は、システム（図１のシステム１０など）によって生成され得る動的に関連付けられた効果を示し、動的に関連付けられた効果は、ピッチシフト効果オブジェクト２０１、ローパスフィルタ効果オブジェクト２０２およびピーク検出効果オブジェクト２０３を含む。ピッチシフト効果オブジェクト２０１は、ランタイムにて作成され、入力信号２０４を受信し、入力信号２０４を出力信号２０５に変換するために入力信号２０４に対してピッチシフトハプティック変換アルゴリズムを実施し、出力信号２０５をローパスフィルタ効果オブジェクト２０２に出力する効果オブジェクトである。ローパスフィルタ効果オブジェクト２０２は、ランタイムにて作成され、ピッチシフト効果オブジェクト２０１から出力信号２０５を受信し、出力信号２０５を出力信号２０６に変換するために出力信号２０５に対してローパスフィルタハプティック変換アルゴリズム（例えば、５００Ｈｚローパスフィルタハプティック変換アルゴリズム）を実施し、ピーク検出効果オブジェクト２０３に対して出力信号２０６を出力する効果オブジェクトである。ピーク検出効果オブジェクト２０３は、ランタイムにて作成され、ローパスフィルタ効果オブジェクト２０２から出力信号２０６を受信し、出力信号２０６を出力信号２０７（出力信号２０７はハプティック信号である）に変換するために出力信号２０６に対してピーク検出ハプティック変換アルゴリズムを実施し、出力信号２０７を出力する効果オブジェクトである。

一実施形態によれば、システムのユーザが出力信号２０７に満足していない場合、ユーザは、１つまたは複数の効果オブジェクトを動的に関連付けられた効果に追加でき、動的に関連付けられた効果から１つまたは複数の効果オブジェクトを除去でき、動的に関連付けられた効果の効果オブジェクトの順序を修正できるか、またはこれらの組合せであってもよい。ユーザは、コンピュータ可読命令を含む任意のオブジェクトまたはモジュールを再コンパイルせずにこれを達成できる。

例えば、例２は、例１に示される動的に関連付けられた効果と同様の動的に関連付けられた効果を示すが、ピーク検出効果オブジェクト２０３は除去されており、効果の順序は、ローパスフィルタ効果オブジェクト２０２がピッチシフト効果オブジェクト２０１の前であるように変更されている。実施形態によれば、ローパスフィルタ効果オブジェクト２０２は、入力信号２０４を受信し、入力信号２０４を出力信号２０８に変換するために入力信号２０４に対してローパスフィルタハプティック変換アルゴリズム（例えば、５００Ｈｚローパスフィルタハプティック変換アルゴリズム）を実施し、出力信号２０８をピッチシフト効果オブジェクト２０１に出力する。例２における出力信号２０８は、例１における出力信号２０６とは異なる。これは、例１において、ピッチシフトハプティック変換アルゴリズムが、入力信号２０４に最初に適用され、続いて、ローパスフィルタハプティック変換アルゴリズムが出力信号２０５に適用されたからである。対照的に、例２において、ローパスフィルタハプティック変換アルゴリズムのみが入力信号２０４に適用される。

さらに、ピッチシフト効果オブジェクト２０１は、出力信号２０８を受信し、出力信号２０８を出力信号２０９（出力信号２０９はハプティック信号である）に変換するために出力信号２０８に対してピッチシフトハプティック変換アルゴリズムを実施し、出力信号２０９を出力する。例２における出力信号２０９は、例１における出力信号２０７とは異なる。これは、例１において、ピッチシフトハプティック変換アルゴリズムが入力信号２０４に最初に適用され、ローパスフィルタハプティック変換アルゴリズムが続いて出力信号２０５に適用され、ピーク検出ハプティック変換アルゴリズムが続いて出力信号２０７に適用されたからである。対照的に、例２において、ローパスフィルタハプティック変換アルゴリズムは入力信号２０４に最初に適用され、続いて、ピッチシフトハプティック変換アルゴリズムが出力信号２０８に適用される。

したがって、任意の数の効果が、入力オーディオ信号または入力ハプティック信号などの入力信号を、ハプティック信号などの出力信号に変換する目的のためにランタイムにてシステムによって適用されてもよい。したがって、例３は、Ｎ効果を含む動的に関連付けられた効果の一般的な例を示し、ここで、Ｎは任意の数であり得る（すなわち、効果２１０、２２０および２３０、効果２２０と２３０との間の楕円は任意の数の効果を表し得る）。したがって、例３において、効果２１０は、入力信号２４０を受信し、入力信号２４０を出力信号２５０に変換するために入力信号２４０に対してハプティック変換アルゴリズムを実施し、出力信号２５０を効果２２０に出力する。これは、効果２３０（すなわち第Ｎ番目の効果）が出力信号２６０を出力するまで、Ｎ効果を使用してＮ回実施され、出力信号２６０はハプティック信号である。

一実施形態において、システムが、ハプティック変換アルゴリズムが入力信号の再生の間に実行するのに十分大きいまたは十分複雑であることを決定する場合、システムはレンダリングオプションを提供できる。より具体的には、システムは、ハプティック変換アルゴリズムをオフラインで実施できる（すなわち、入力信号の再生の前、または独立して）。

以前に記載されているように、動的に関連付けられた効果は、入力信号、複数の効果および複数の効果によって生成される出力信号を含む。一実施形態において、入力信号は実際の信号自体に加えてメタデータを含んでもよい。メタデータは、使用する効果を決定するため、効果の順序を決定するため、またはそれらの組合せのためにシステムによって使用されてもよい。実施形態によれば、信号自体は効果の間、連続的に移動でき、アクチュエータなどのハプティック出力装置は、１つまたは複数のハプティック効果を生成するためにハプティック信号である、出力信号を使用できる。

さらに、一実施形態において、以前に記載されているように、システムは、入力信号の最小および最大の大きさの値に基づいて入力信号の一部を定義する範囲（すなわちウインドウ）を動的に作成し、アップデートすることによって、およびウインドウの範囲内の入力信号の一部をスケーリングすることによって、オーディオ信号などの入力信号のハプティック信号への変換を実施できる。ウインドウの範囲内にない入力信号の一部はシステムによってスケーリングされない。さらに、システムは、最小および最大の大きさの値を頻繁にアップデートでき、アップデートされた最小および最大の大きさの値に基づいてウインドウをさらにアップデートできる。このように、ウインドウは動的ウインドウであり得る。このようなハプティック変換アルゴリズムは、動的ウインドウハプティック変換アルゴリズムとして識別される。

以前のハプティック変換システムに関する問題の１つは、入力信号の大きさ（例えば、入力オーディオ信号）が、ハプティック変換が実施された後でも、「感じることができる」ハプティック効果を提供するのに十分に大きくなり得ないことである。つまり、入力オーディオ信号の例において、入力オーディオ信号が十分に大きくない場合、変換されたハプティック信号に基づいて出力されるハプティック効果は、ユーザの観点から適切なハプティック経験を提供できない。一実施形態によれば、スケーリングされる入力信号の一部を定義するウインドウを動的に作成し、アップデートし、続いてウインドウの範囲内の入力信号の一部をスケーリングすることによって、入力信号の一部は特定のハプティック「感知ウインドウ」にマッピングされ得る。このように、入力オーディオ信号の例において、オーディオがハプティックの観点から必要とされるものよりソフトである場合、入力オーディオ信号がさらに、適切なハプティックウインドウ内の適切なハプティック信号に変換され得る。

さらに、実施形態によれば、ウインドウは、頻繁に（またはまれに）アップデートされ得る、グローバル最小大きさ値およびグローバル最大大きさ値に応じて動的であり得る（すなわち、頻繁にまたはまれに移動できる）。グローバル最小および最大大きさの値に基づいて、１つまたは複数の閾値が決定され得る。１つまたは複数の閾値は、入力信号の一部がウインドウの範囲内にあるかどうか、それにより、入力信号の一部がスケーリングされるかどうかを決定するために使用され得る。これは入力信号の各部分について行われ得るので、全入力信号はハプティック信号に変換され得る。実施形態によれば、入力信号の一部はスケーリングされてもよく、入力信号の他の部分はスケーリングされなくてもよい。一実施形態において、入力信号の一部の１つまたは複数の大きさの値は、入力信号の一部が属する「ｂｉｎ」を決定するために分析されてもよく、入力信号の一部はｂｉｎにマッピングされ得る。代替の実施形態において、ｂｉｎ以外の数式またはルックアップテーブルなどの他の方法が、最小および最大の大きさの値を解釈し、１つまたは複数の閾値を決定し、入力信号の一部がウインドウの範囲内であるかどうかを決定するために使用されてもよい。

一実施形態によれば、動的ウインドウハプティック変換アルゴリズムを実装するために、ダイナミックレンジ圧縮が実行され得る。ダイナミックレンジ圧縮は、特定のレンジ内のオーディオ信号などの入力信号の大きさの値の圧縮である。例えば、入力オーディオ信号を用いると、クリッピングを防ぐために大きな音は特定のレンジまで減少され得、小さい音は、それらが聞こえるような同じレンジの範囲内まで増幅され得る。ダイナミックレンジ圧縮は、閾値が１つまたは複数の閾値によって表され得るダイナミック圧縮アルゴリズムの閾値によって最終的に制御され得る。さらに、２種類のダイナミックレンジ圧縮：下方圧縮および上方圧縮が存在し得る。下方圧縮において、閾値より大きい信号の大きさの値が減少し、一方、閾値以下の信号の大きさの値は変化しない。上方圧縮において、閾値未満の信号の大きさの値は増加し、一方、閾値以上の信号の大きさの値は変化しない。一実施形態によれば、動的ウインドウハプティック変換アルゴリズムは、入力信号の各部分についてダイナミック圧縮アルゴリズムによって使用される閾値を決定するために入力信号の各部分についてグローバル最小大きさ値およびグローバル最大大きさ値を使用できる。動的ウインドウハプティック変換アルゴリズムは、図３と併せて以下により詳細に記載されている。

図３は、本発明の一実施形態に係る、動的ウインドウハプティック変換アルゴリズムの機能性のフロー図を示す。一実施形態において、図３の機能性、および以下に記載される図１２、１３、および１４の機能性は、メモリまたは他のコンピュータ可読または有形的表現媒体に記憶されたソフトウェアによって実装され、プロセッサによって実行される。他の実施形態において、各機能性は、ハードウェアによって（例えば、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）などの使用によって）、またはハードウェアとソフトウェアの任意の組合せによって実施され得る。特定の実施形態において、機能性の一部は省略されてもよい。

フローが開始し、３１０に進み、入力信号３００の少なくとも一部は入力バッファとして受信される。一部の実施形態において、入力信号３００の一部のみが入力バッファとして受信される。他の実施形態において、入力信号３００はその全体が入力バッファとして受信される。必要に応じて、入力バッファの任意の必要な前処理が実施される。次いでフローは３２０に進む。

３２０において、入力バッファの最小大きさ値および最大大きさ値が、入力バッファ内に含まれる入力信号３００、または入力信号３００の一部を分析し、入力信号３００の最小大きさ値および最大大きさ値または入力信号３００の一部を決定することによって読み出される。読み出された最小大きさ値は、次いで、グローバル最小大きさ値を比較され、読み出された最大大きさ値はさらにグローバル最大大きさ値と比較される。読み出された最小大きさ値がグローバル最小大きさ値未満であり、読み出された最大大きさ値がグローバル最大大きさ値超であるか、またはそれらの組合せである場合、フローは３３０に進む。そうでなければフローは３５０に進む。さらに、グローバル最小および最大大きさ値が存在しない場合、グローバル最小および最大大きさ値は、読み出された最小および最大大きさ値に設定され、フローは３５０に進む。

３３０において、読み出された最小大きさ値がグローバル最小大きさ値未満である場合、グローバル最小大きさ値は、読み出された最小大きさ値と等しくなるように調整される。さらに、読み出された最大大きさ値がグローバル最大大きさ値超である場合、グローバル最大大きさ値は、読みだされた最大大きさ値と等しくなるように調整される。続いて、グローバル最小および最大大きさ値が解釈され、１つまたは複数の大きさ閾値が、解釈されたグローバル最小および最大大きさ値に基づいて決定される。１つまたは複数の大きさ閾値は、多くの異なるプロセスの１つに従って決定され得る。例えば、一実施形態において、解釈されたグローバル最小および最大の大きさ値に基づいて、入力バッファがｂｉｎにマッピングされ得、１つまたは複数の大きさ閾値がｂｉｎについて規定される。マッピングされたｂｉｎに関連付けられている１つまたは複数の規定の大きさ閾値は、１つまたは複数の大きさ閾値として使用され得る。別の実施形態において、１つまたは複数の大きさ閾値は、１つまたは複数の数式を使用して解釈されたグローバル最小および最大の大きさ値に基づいて算出され得る。この実施形態において、１つまたは複数の数式は、１つまたは複数の大きさ閾値を算出するために解釈されたグローバル最小および最大の大きさ値に適用され得る。別の実施形態において、１つまたは複数のルックアップテーブルが、解釈されたグローバル最小および最大の大きさ値を使用して分析されてもよく、１つまたは複数の大きさ閾値が、解釈されたグローバル最小および最大の大きさ値に基づいて１つまたは複数のルックアップテーブルから選択されてもよい。代替の実施形態において、１つまたは複数の大きさ閾値は、関連分野の当業者に公知の任意のプロセスを使用して解釈されたグローバル最小および最大の大きさ値に基づいて決定されてもよい。フローは３４０に進む。

３４０において、ダイナミックレンジ圧縮アルゴリズムの１つまたは複数の大きさ閾値は、３３０において決定された１つまたは複数の大きさ閾値と等しくなるように調整され得る。フローは次いで３５０に進む。

３５０において、ダイナミックレンジ圧縮アルゴリズムは、入力バッファ内に含まれる、入力信号３００または入力信号３００の一部に適用される。一実施形態において、上方圧縮アルゴリズムが適用される。この実施形態において、１つまたは複数の大きさ閾値未満である入力信号３００または入力信号３００の一部の任意の大きさ値が上方にスケーリングされる（すなわち、増加する）。入力信号３００または入力信号３００の一部の全ての他の大きさ値は変化しない。次いでフローは３６０に進む。

３６０において、必要に応じて、任意の必要な入力バッファの後処理が実施される。次いでフローは３７０に進む。

３７０において、入力バッファは出力される。より具体的には、入力バッファ内に含まれる入力信号３００または入力信号３００の一部が出力される。入力信号３００の一部のみが入力バッファ内に含まれる場合、図３に示すフローは入力信号３００の各部分について反復され得る。次いでフローは終了する。

このように、実施形態によれば、動的ウインドウハプティック変換アルゴリズムは、閾値未満である入力信号の部分の大きさ値を増加させることによって、および大きさ値が閾値以上である入力信号の他の部分をそのままにすることによって入力信号を修正できる。結果として、動的ウインドウハプティック変換アルゴリズムは、入力信号または入力信号の部分の上方のスケーリングに起因して、弱い入力信号のイベントでさえも、実際にユーザが感じることができる１つまたは複数のハプティック効果を生成するために使用され得るハプティック信号に入力信号を変換できる。さらに、ハプティック効果を生成するために使用されるハプティック出力装置の種類に関わらず、入力信号が、感じられ得るハプティック効果を生成するために使用され得るハプティック信号に変換され得るように、動的ウインドウハプティック変換アルゴリズムは、入力信号を修正できる。さらに、以前に記載されているように、動的ウインドウハプティック変換アルゴリズムは、他のハプティック変換アルゴリズムと動的に関連付けられ、または連鎖されるハプティック変換アルゴリズムであり得る。

さらに、一実施形態において、以前に記載されているように、システムは、ハプティック信号、またはハプティックストリームを動的に圧縮でき、動的に圧縮されたハプティック信号をハプティック出力装置にストリーミングできる。ハプティック信号を動的に圧縮することによって、システムは、システムとクライアントとの間の往復時間、ハプティック信号の１つまたは複数の特性、またはそれらの組合せに基づいてハプティック信号に適用するために圧縮アルゴリズムを選択できる。ハプティック信号を圧縮することによって、システムは、ハプティック信号に媒体内で少しの空間しか取らないようにさせることができる。

このように、一実施形態に従って、システムは、広範囲のアクチュエータ種類について、８，０００Ｈｚ ８ビットパルスコード変調（「ＰＣＭ」）信号などのハプティック信号を効果的に圧縮する複数の手段を提供できる。さらに、圧縮の部分として、システムは、ハプティック信号を必ずしも記憶していない１つまたは複数の周波数を除去できる。さらに、ハプティック信号はまた、ｎチャネルを含んでもよく、ここで、ｎは任意の数である。この場合、ｎチャネル内に含まれるデータは、ハプティック信号とインターリーブされ得る。

一例として、圧電アクチュエータは、５０Ｈｚ〜３００Ｈｚの周波数範囲を含むハプティック信号（またはハプティックストリーム）を再生する場合、最適に実施できる。このことは、ハプティック信号における他の周波数範囲が必要とされなくてもよく、圧電アクチュエータにおいてハプティック信号の他の周波数範囲を再生することが望まれなくてもよいことを意味する。このシステムは、これらの周波数範囲を除去でき、特定のフィルタバンクでハプティックエンコードアルゴリズムを利用することによって圧縮されたハプティックデータを効果的に記憶できる。これらのフィルタバンクは、望ましくない周波数範囲を除去でき、所望の周波数範囲のみを記憶できる。このシステムはさらに、得られたハプティックデータを量子化できる。量子化アルゴリズムは損失性であっても、無損失性であってもよい。次いで、このシステムは、ハプティックデータをさらにもっと圧縮するためにハフマンコードアルゴリズムなどのハプティックコードアルゴリズムを利用できる。デコード側において、このシステムは、上述のプロセスを反転でき、所望の周波数範囲を含むハプティックデータを検索できる。ハプティックデータは圧電アクチュエータに直接送信でき、ハプティックデータはハプティック効果を生成するために再生され得る。

別の例として、ＥＲＭアクチュエータおよびＬＲＡアクチュエータの性能は、種類および駆動回路に応じて変化し得るので、特定の周波数範囲がこれらの種類のアクチュエータについて望ましいと推測され得ない。この例に関して、このシステムは、ハプティックデータを、オリジナルより８倍小さい、１０００Ｈｚ、８ｂｉｔに変換する、１ｍｓ間隔でハプティックデータを平均化する異なるハプティックエンコードアルゴリズムを利用できる。このシステムはさらに、ハプティックデータをさらにもっと下方に縮小するために無損失性量子化および１つまたは複数のハプティックコードアルゴリズムを使用できる。このシステムは続いて、ハプティックコードおよび量子化プロセスを反転させ、１ｍｓのアップデート速度により、１０００Ｈｚ、８ｂｉｔデータストリームで効果コールを使用して戻されるハプティックデータを再生するデコードアルゴリズムを利用できる。

別の例において、ハプティック信号またはハプティックストリームの生のハプティックデータが受信され得る。理想的には、このハプティックデータは既に、ハプティック変換アルゴリズムが信号に対して実施される設計時間変換を経ている。圧電アクチュエータなどのハプティック出力装置は、特定の周波数範囲（例えば、１５０〜３５０Ｈｚ）にて所望のハプティック効果を提供するのみであり得る。一実施形態によれば、システムは、ハプティック信号またはハプティックストリームを使用して２倍サンプリングレート（例えば、８００Ｈｚのサンプリングレート）で１５０〜３５０Ｈｚの周波数範囲においてハプティックデータを表すことができる。

４４．１／４８ｋＨｚ ＰＣＭから８００Ｈｚ ＰＣＭまで下方にハプティック信号をスケーリングするために、システムは、ハプティック信号が４００Ｈｚ未満のコンテンツのみを含むように、ハプティック信号の全ての高周波数成分（例えば、４００Ｈｚ以上の周波数成分）を除去するフィルタバンクを使用できる。次いでシステムは信号を８００Ｈｚまで下方にリサンプリングできる。このプロセスの結果、８００Ｈｚのサンプリングレートでハプティック信号が得られ得る。フィルタバンクはまた、全ての低周波数成分（例えば、５０Ｈｚ未満の周波数成分）を除去できる。

この例において、ハプティックコードアルゴリズムが損失性コードアルゴリズムである場合、システムはハプティック信号を量子化でき、ハプティックデータをさらにもっと圧縮するためにハフマンコードアルゴリズムを使用できる。しかしながら、ハプティック信号が無損失に圧縮される場合、ハプティック信号は、ハプティック信号の成分に近似させ、誤差を圧縮させるために線形予測コードアルゴリズムを使用できる。

さらに、ＬＲＡアクチュエータまたはＥＲＭアクチュエータのためのハプティック信号について、ハプティックデータは２００Ｈｚにてサンプリングされた連続した大きさ値であり得る。システムはハプティックデータを下方に圧縮するために無損失性コードアルゴリズムを適用できる。

ハプティック信号の動的圧縮の例は図４〜１１と併せてより詳細に以下にさらに記載される。

図４は、本発明の一実施形態に係る、ハプティック信号の動的圧縮の成分であるハプティック信号をストリーミングするためのリクエストを示す。より具体的には、図４はクライアント４１０およびサーバ４２０を示す。実施形態によれば、クライアント４１０はサーバ４２０にリクエストを送信し、リクエストは、ハプティックファイル４４０をストリーミングするためにセッション４３０（すなわち、「セッションＸ」）を開始するリクエストであり、ハプティックファイル４４０はハプティック信号またはハプティックストリームを含む。応答して、サーバ４２０はセッション４３０を開始する。

図５は、本発明の一実施形態に係る、ハプティック信号の動的圧縮の成分であるストリーミングセッションの初期化を示す。実施形態によれば、サーバ４２０は確認をクライアント４１０に送信し、セッション４３０が開始されていることを確認する。さらに、サーバ４２０は、クライアント４１０とサーバ４２０との間の往復時間を測定する。より具体的には、サーバ４２０は、データをクライアント４０に送信およびデータをクライアント４０から受信するのにかかる時間を測定する。

図６は、本発明の一実施形態に係る、ハプティック信号の動的圧縮の成分である圧縮アルゴリズムの決定を示す。実施形態によれば、サーバ４２０は、クライアント４１０とサーバ４２０との間の測定した往復時間；ハプティックファイル４４０内に記憶されたハプティック信号またはハプティックストリームの１つまたは複数の特性；またはこれらの組合せに基づいてハプティックファイル４４０を適用するために圧縮アルゴリズムを選択する。サーバ４２０は、必要に応じて、アルゴリズムを圧縮することに加えて、ハプティックエンコードアルゴリズム４５０（すなわち、「エンコーダＡ」）を選択できる。ハプティック信号の例示的な特性としては、大きさ、周波数、持続時間、振幅、強度、エンベロープ、密度またはハプティック信号の任意の他の種類の数量化できる物理特性が挙げられ得る。

図７は、本発明の一実施形態に係る、ハプティック信号の動的圧縮の成分である圧縮アルゴリズムの通信を示す。実施形態によれば、サーバ４２０は、圧縮アルゴリズムの選択（および必要に応じてハプティックエンコードアルゴリズム４５０の選択）の表示をクライアント４１０に送信する。実施形態によれば、復元アルゴリズムがクライアント４１０に利用可能であり得る。必要に応じて、ハプティックデコードアルゴリズム４６０（すなわち、「デコーダＡ」）もまた、クライアント４１０に利用可能であり得る。

図８は、本発明の一実施形態に係る、ハプティック信号の動的圧縮の成分である応答通信を示す。実施形態によれば、クライアント４１０はサーバ４２０に応答を送信する。応答は、サーバ４２０がハプティックファイル４４０をストリーミングするために開始できることを示し得る。あるいは、応答は、サーバ４２０がセッション４３０を終了することを要求できる。サーバ４２０によって示される圧縮アルゴリズムに適合する復元アルゴリズムはクライアント４１０に利用可能でないため、クライアント４１０はセッション４３０を終了することを望み得る。ハプティックエンコードアルゴリズム４５０に適合するハプティックデコードアルゴリズムがクライアント４１０に利用可能でないため、クライアント４１０はまた、セッション４３０を終了すること望み得る。あるいは、応答は、サーバ４２０が、クライアント４１０に利用可能な復元アルゴリズムに適合する圧縮アルゴリズムを使用することを要求できる。応答はさらに、または代替として、サーバ４２０が、クライアント４１０に利用可能なハプティックデコードアルゴリズム（例えば、ハプティックデコードアルゴリズム４６０）に適合するハプティックコードアルゴリズムを使用することを要求できる。

図９は、本発明の一実施形態に係る、ハプティック信号の動的圧縮の成分である応答通信を示す。実施形態によれば、クライアント４１０はサーバ４２０に応答を送信する。以前に記載されているように、応答は、サーバ４２０が、クライアント４１０に利用可能な復元アルゴリズムに適合する圧縮アルゴリズムを使用することを要求できる。応答はさらに、または代替として、サーバ４２０が、クライアント４１０に利用可能なハプティックデコードアルゴリズム（例えば、ハプティックデコードアルゴリズム４６０）に適合するハプティックコードアルゴリズムを使用することを要求できる。この実施形態において、応答はまた、クライアント４１０に利用可能である１つまたは複数の復元アルゴリズムのリスト；クライアント４１０に利用可能な１つまたは複数のハプティックデコードアルゴリズム（例えば、ハプティックデコードアルゴリズム４６０）のリスト；またはこれらの組合せを含んでもよい。

図１０は、本発明の一実施形態に係る、ハプティック信号の動的圧縮の成分である圧縮通信を示す。実施形態によれば、サーバ４２０はクライアント４１０に表示を送信し、その表示は、サーバ４２０がクライアント４１０へのデータ送信を開始することをクライアント４１０に示し、その表示はさらに、サーバ４２０がクライアント４１０に送信するデータを受信することを開始することをクライアント４１０に示す。

図１１は、本発明の一実施形態に係る、ハプティック信号の動的圧縮の成分であるハプティック信号の圧縮およびストリーミングを示す。実施形態によれば、サーバ４２０は圧縮アルゴリズムをハプティックファイル４４０に適用し、ハプティックファイル４４０を圧縮する。さらに、サーバ４２０は必要に応じて、ハプティックエンコードアルゴリズム４５０を適用し、ハプティックファイル４４０をエンコードする。続いてサーバ４２０はハプティックファイル４４０をクライアント４１０にストリーミングする。クライアント４１０は復元アルゴリズムをハプティックファイル４４０に適用し、ハプティックファイル４４０を復元する。さらに、サーバ４２０は必要に応じて、ハプティックデコードアルゴリズム４６０を適用し、ハプティックファイル４４０をデコードする。

図１２は、本発明の一実施形態に係る、動的ハプティック変換モジュールの機能性のフロー図を示す。フローが開始し、１２１０に進む。１２１０において、効果オブジェクトが生成され、効果オブジェクトは、入力信号を出力信号に変換するために入力信号に対してハプティック変換アルゴリズムを実施する命令を含み、効果オブジェクトの順序が定義される。特定の実施形態において、少なくとも１つの効果オブジェクトのハプティック変換アルゴリズムは、以前に記載され、さらに図１３と併せて以下に記載されている、動的ウインドウハプティック変換アルゴリズムであり得る。次いでフローは１２２０に進む。

１２２０において、入力信号が受信される。特定の実施形態において、入力信号は、オーディオ信号、またはオーディオデータを含む他の種類のオーディオ入力であってもよい。代替の実施形態において、入力信号は、ビデオ信号、またはビデオデータを含む他の種類のビデオ入力であってもよい。他の代替の実施形態において、入力信号は、加速度信号、または加速度データを含む他の種類の加速度入力であってもよい。他の代替の実施形態において、入力信号は、ハプティック信号、またはハプティックデータを含む他の種類のハプティック入力であってもよい。さらに他の代替の実施形態において、入力信号は、配向データを含む配向信号、周辺光データを含む周辺光信号、またはセンサによって検知され得る別の種類の信号であってもよい。さらに、他の代替の実施形態において、入力は入力信号ではないが、データを含む別の種類の入力であってもよい。一部の実施形態において、入力信号は効果オブジェクトおよび効果オブジェクトの順序を定義するメタデータを含んでもよい。次いでフローは１２３０に進む。

１２３０において、効果オブジェクトは定義された順序で入力信号に適用され、先行の効果オブジェクトの出力信号は後続の効果オブジェクトの入力信号であり、少なくとも効果オブジェクトの出力信号はハプティック信号を形成する。次いでフローは１２４０に進む。

１２４０において、ハプティック信号はハプティック出力装置に送信され、ハプティック信号は、ハプティック出力装置にハプティック効果を出力させる。特定の実施形態において、ハプティック出力装置はアクチュエータであってもよい。次いでフローは１２５０に進む。

１２５０において、１つの効果オブジェクトが複数の効果オブジェクトに加えられてもよく、１つの効果オブジェクトが複数の効果オブジェクトから除去されてもよく、効果オブジェクトの定義された順序は修正されてもよく、またはこれらの組合せであってもよい。さらに、一部の実施形態において、複数の効果オブジェクトが加えられてもよく、複数の効果オブジェクトが除去されてもよく、またはこれらの組合せであってもよい。なおさらに、１２２０、１２３０および１２４０は元のハプティック信号と異なる新たなハプティック信号を生成するために再実施されてもよく、新たなハプティック信号はハプティック出力装置に送信されてもよい。したがって、１２５０において、ユーザは、効果オブジェクトを修正すること、効果オブジェクトの順序を修正すること、またはそれらの組合せによって効果オブジェクトから生成される全ハプティック変換アルゴリズムを修正できる。したがって、ハプティック変換アルゴリズムは動的ハプティック変換アルゴリズムである。一部の実施形態において、１２５０は省略されてもよい。さらに、一部の実施形態において、１２３０の後および１２４０の前、動的圧縮アルゴリズムは、以前に記載され、さらに図１４と併せて以下に記載されているハプティック信号に対して実施されてもよい。次いでフローは終了に進む。

図１３は、本発明の一実施形態に係る、動的ハプティック変換モジュールの機能性のフロー図を示す。フローが開始し、１３１０に進む。１３１０において、入力信号の一部が分析される。特定の実施形態において、入力信号全体が分析される。次いでフローは１３２０に進む。１３２０において、入力信号（または入力信号の一部）の最小振幅値および最大振幅値が決定される。次いでフローは１３３０に進む。

１３３０において、最小振幅値がグローバル最小振幅値と比較される。次いでフローは１３４０に進む。１３４０において、最小振幅値がグローバル最小振幅値未満である場合、グローバル最小振幅値は最小振幅値と等しくなるように調整される。グローバル最小振幅値が存在しない実施形態において、グローバル最小振幅値が作成され、最小振幅値と等しくなるように設定される。次いでフローは１３５０に進む。

１３５０において、最大振幅値はグローバル最大振幅値と比較される。次いでフローは１３６０に進む。１３６０において、最大振幅値がグローバル最大振幅値を超える場合、グローバル最大振幅値は最大振幅値と等しくなるように調整される。グローバル最大振幅値が存在しない実施形態において、グローバル最大振幅値が作成され、最大振幅値と等しくなるように設定される。次いでフローは１３７０に進む。

１３７０において、大きさ閾値が、グローバル最小振幅値およびグローバル最大振幅値に基づいて決定される。特定の実施形態において、大きさ閾値が、グローバル最小振幅値およびグローバル最大振幅値に基づいて入力信号（または入力信号の一部）をｂｉｎにマッピングすることによって決定されてもよく、大きさ閾値はｂｉｎについて規定される。他の実施形態において、大きさ閾値は、グローバル最小振幅値およびグローバル最大振幅値に基づいてルックアップテーブルから大きさ閾値を選択することによって決定されてもよい。さらに他の実施形態において、大きさ閾値は、大きさ閾値を算出するために数式をグローバル最小振幅値およびグローバル最大振幅値に適用することによって決定されてもよい。次いでフローは１３８０に進む。

１３８０において、ダイナミックレンジ圧縮アルゴリズムが、決定された大きさ閾値に基づいて入力信号、または入力信号の一部に適用される。特定の実施形態において、ダイナミックレンジ圧縮アルゴリズムを適用することによって、決定された大きさ閾値未満である入力信号または入力信号の一部の１つもしくは複数の大きさ値が上方にスケーリングされる。特定の実施形態において、１３１０−１３８０は入力信号の各部分について実施されてもよい。次いでフローは終了する。

図１４は、本発明の一実施形態に係る、動的ハプティック変換モジュールの機能性のフロー図を示す。フローが開始し、１４１０に進む。１４１０において、サーバとクライアントとの間の往復時間が決定される。次いでフローは１４２０に進む。１４２０において、圧縮アルゴリズムが、サーバとクライアントとの間の往復時間、ハプティック信号の１つもしくは複数の特性、またはそれらの組合せに基づいて選択される。次いでフローは１４３０に進む。１４３０において、ハプティック信号は、選択された圧縮アルゴリズムをハプティック信号に適用することによって圧縮される。次いでフローは終了する。

したがって、一実施形態において、システムは、様々なハプティック変換アルゴリズム（すなわち、効果）を動的に関連付けるか、または連鎖させることによって入力信号のハプティック信号への変換を実施できる。これにより、ユーザは、十分に精通しているパラメータを使用してそのユーザのハプティック効果を完全にカスタマイズすることができる。エンドユーザは、ハプティック変換アルゴリズムが彼らの装置において最適に「感知」することを決定するために効果にアクセスできる試験アプリケーションを使用できる。さらに、エンドユーザは、彼らの装置で十分に動作するハプティック変換アルゴリズムを決定する際に高速なターンアラウンドを有してもよい。エンドユーザが、特定のハプティック変換アルゴリズムの一部として使用され得る新たな効果を発見した場合、効果は、他の変換における使用と一緒に、動的に関連付けられ得るか、または連鎖され得る効果のバンクに配置され得る。これにより、エンドユーザのためのハプティック効果の設計の自由度が増加し得る。

さらに、別の実施形態において、システムは、入力信号の最小および最大の大きさ値に基づいて入力信号の一部を定義する範囲（すなわちウインドウ）を動的に作成し、アップデートすることによって、およびウインドウの範囲内の入力信号の一部をスケーリングすることによって、ハプティック信号への入力信号の変換を実施できる。これにより、スピーカなどのオーディオ出力装置により再生される場合、元の入力オーディオ信号が大きいと認知されるが、十分に強くない変換されたハプティック信号の問題を解決できる。

なおさらに、別の実施形態において、システムは、ハプティック信号またはハプティックストリームを動的に圧縮でき、動的に圧縮されたハプティック信号をハプティック出力装置にストリーミングできる。これは、ハプティックデータを効果的に記憶し、ストリーミングするのに非常に重要であり得、ハプティック動作可能なメディアがエンドユーザにより魅力的であるようになり得る。

本明細書の全体にわたり記載された本発明の特徴、構造、または特性は、一つ以上の実施形態において任意の適切な様式で組み合わされうる。例えば、本明細書の全体にわたる「一実施形態」、「一部の実施形態」、「ある実施形態」、「ある実施形態（複数）」、または他の類似の語の使用は、実施形態に関連して記載された特定の特徴、構造、または特性が本発明の少なくとも一つの実施形態に含まれうるという事実をさす。したがって、本明細書の全体にわたって見られる「一実施形態」、「一部の実施形態」、「ある実施形態」、「ある実施形態（複数）」の語句または他の類似の語は、全てが必ずしも同じ実施形態のグループをさすわけではなく、記載された特徴、構造、または特性は、一つ以上の実施形態で任意の適切な様式で組み合わせられうる。

通常の技術を有する当業者は、上述の本発明が、異なる順序のステップを用いて、および／または開示されたものとは異なる構成の要素を用いて実施されうることを容易に理解するであろう。したがって、本発明はこれらの好ましい実施形態に基づいて記載されているが、一定の修正、変形、および代替的構造が明らかであり、本発明の趣旨および範囲内にもとどまることが当業者には明らかである。したがって、本発明の境界および限界を決定するためには、添付の請求の範囲が参照されなければならない。

Claims (20)

1. プロセッサによって実行される場合、前記プロセッサに入力信号をハプティック信号に動的に変換させる、記憶された命令を有するコンピュータ可読媒体であって、前記変換が、
   複数の効果オブジェクトを生成するステップであって、効果オブジェクトは、入力信号を出力信号に変換するために入力信号に対してハプティック変換アルゴリズムを実施する命令を含み、効果オブジェクトの順序が定義される、ステップと、
   前記入力信号を受信するステップと、
   定義された順序において前記効果オブジェクトを前記入力信号に適用するステップであって、効果オブジェクトの出力信号はハプティック信号を形成する、ステップと、
   前記ハプティック信号をハプティック出力装置に送信するステップであって、前記ハプティック信号は、前記ハプティック出力装置に１つまたは複数のハプティック効果を出力させる、ステップと、
   を含む、コンピュータ可読媒体。
2. 前記変換が、１つの効果オブジェクトを複数の効果オブジェクトに加えるステップ、１つの効果オブジェクトを複数の効果オブジェクトから除去するステップ、または効果オブジェクトの定義された順序を修正するステップの少なくとも１つをさらに含む、請求項１に記載のコンピュータ可読媒体。
3. 前記入力信号が、前記効果オブジェクトおよび前記効果オブジェクトの順序を定義するメタデータを含む、請求項１に記載のコンピュータ可読媒体。
4. 少なくとも１つの効果オブジェクトの前記ハプティック変換アルゴリズムが、
   前記入力信号の少なくとも一部を分析するステップと、
   グローバル最小振幅値およびグローバル最大振幅値に基づいて大きさ閾値を決定するステップと、
   決定された前記大きさ閾値に基づいてダイナミックレンジ圧縮アルゴリズムを前記入力信号に適用するステップと、
   を含む、請求項１に記載のコンピュータ可読媒体。
5. 前記ダイナミックレンジ圧縮アルゴリズムを前記入力信号に適用するステップが、決定された前記大きさ閾値未満である前記入力信号の１つまたは複数の大きさ値を上方にスケーリングするステップをさらに含む、請求項４に記載のコンピュータ可読媒体。
6. 前記少なくとも１つの効果オブジェクトの前記ハプティック変換アルゴリズムが、
   前記入力信号の最小振幅値および最大振幅値を決定するステップと、
   前記最小振幅値をグローバル最小振幅値と比較するステップと、
   前記最小振幅値が前記グローバル最小振幅値未満である場合、前記最小振幅値と等しくなるように前記グローバル最小振幅値を調整するステップと、
   前記最大振幅値をグローバル最大振幅値と比較するステップと、
   前記最大振幅値が前記グローバル最大振幅値を超える場合、前記最大振幅値と等しくなるように前記グローバル最大振幅値を調整するステップと、
   をさらに含む、請求項４に記載のコンピュータ可読媒体。
7. 前記少なくとも１つの効果オブジェクトの前記ハプティック変換アルゴリズムが、前記入力信号の各部分について実施される、請求項６に記載のコンピュータ可読媒体。
8. 前記グローバル最小振幅値および前記グローバル最大振幅値に基づいて前記大きさ閾値を決定するステップが、最小振幅値および最大振幅値に基づいて前記入力信号をｂｉｎにマッピングするステップをさらに含み、前記大きさ閾値はｂｉｎについて規定される、請求項４に記載のコンピュータ可読媒体。
9. 前記グローバル最小振幅値および前記グローバル最大振幅値に基づいて前記大きさ閾値を決定するステップが、前記グローバル最小振幅値および前記グローバル最大振幅値に基づいてルックアップテーブルから前記大きさ閾値を選択するステップをさらに含む、請求項４に記載のコンピュータ可読媒体。
10. 前記変換が、
    サーバとクライアントとの間の往復時間を決定するステップと、
    前記サーバとクライアントとの間の往復時間、前記ハプティック信号の１つまたは複数の特性のうちの少なくとも１つに基づいて圧縮アルゴリズムを選択するステップと、
    選択された前記圧縮アルゴリズムを前記ハプティック信号に適用することによって前記ハプティック信号を圧縮するステップと、
    をさらに含む、請求項１に記載のコンピュータ可読媒体。
11. 入力信号をハプティック信号に動的に変換するためのコンピュータ実装方法であって、前記コンピュータ実装方法は、
    複数の効果オブジェクトを生成するステップであって、効果オブジェクトが、入力信号を出力信号に変換するために前記入力信号に対してハプティック変換アルゴリズムを実施する命令を含み、前記効果オブジェクトの順序が定義される、ステップと、
    前記入力信号を受信するステップと、
    定義された順序において前記効果オブジェクトを前記入力信号に適用するステップであって、効果オブジェクトの前記出力信号は前記ハプティック信号を形成する、ステップと、
    前記ハプティック信号をハプティック出力装置に送信するステップであって、前記ハプティック信号は、前記ハプティック出力装置に１つまたは複数のハプティック効果を出力させる、ステップと
    を含む、コンピュータ実装方法。
12. 少なくとも１つの効果オブジェクトの前記ハプティック変換アルゴリズムは、
    前記入力信号の少なくとも一部を分析するステップと、
    グローバル最小振幅値およびグローバル最大振幅値に基づいて大きさ閾値を決定するステップと、
    決定された前記大きさ閾値に基づいてダイナミックレンジ圧縮アルゴリズムを前記入力信号に適用するステップと、
    を含む、請求項１１に記載のコンピュータ実装方法。
13. 前記ダイナミックレンジ圧縮アルゴリズムを前記入力信号に適用するステップが、決定された前記大きさ閾値未満である前記入力信号の１つまたは複数の大きさ値を上方にスケーリングするステップをさらに含む、請求項１２に記載のコンピュータ実装方法。
14. 前記少なくとも１つの効果オブジェクトの前記ハプティック変換アルゴリズムが、
    前記入力信号の最小振幅値および最大振幅値を決定するステップと、
    前記最小振幅値を、グローバル最小振幅値と比較するステップと、
    前記最小振幅値が前記グローバル最小振幅値未満である場合、前記最小振幅値と等しくなるように前記グローバル最小振幅値を調整するステップと、
    前記最大振幅値を、グローバル最大振幅値と比較するステップと、
    前記最大振幅値が前記グローバル最大振幅値を超える場合、前記最大振幅値と等しくなるように前記グローバル最大振幅値を調整するステップと、
    をさらに含む、請求項１２に記載のコンピュータ実装方法。
15. サーバとクライアントとの間の往復時間を決定するステップと、
    前記サーバとクライアントとの間の往復時間、または前記ハプティック信号の１つもしくは複数の特性のうちの少なくとも１つに基づいて圧縮アルゴリズムを選択するステップと、
    選択された前記圧縮アルゴリズムを前記ハプティック信号に適用することによって前記ハプティック信号を圧縮するステップと、
    をさらに含む、請求項１１に記載のコンピュータ実装方法。
16. 入力信号をハプティック信号に動的に変換するためのシステムであって、前記システムは、
    動的ハプティック変換モジュールを記憶するように構成されるメモリと、
    前記メモリに記憶された前記動的ハプティック変換モジュールを実行するように構成されるプロセッサと
    を含み、
    前記動的ハプティック変換モジュールを実行する場合、前記プロセッサは複数の効果オブジェクトを生成するように構成され、効果オブジェクトは、入力信号を出力信号に変換するために前記入力信号に対してハプティック変換アルゴリズムを実施する命令を含み、前記効果オブジェクトの順序が定義され、
    前記動的ハプティック変換モジュールを実行する場合、前記プロセッサは、前記入力信号を受信するようにさらに構成され、
    前記動的ハプティック変換モジュールを実行する場合、前記プロセッサは、定義された順序において前記効果オブジェクトを前記入力信号に適用するようにさらに構成され、
    効果オブジェクトの前記出力信号は前記ハプティック信号を形成し、
    前記動的ハプティック変換モジュールを実行する場合、前記プロセッサは、前記ハプティック信号をハプティック出力装置に送信するようにさらに構成され、前記ハプティック信号は前記ハプティック出力装置に１つまたは複数のハプティック効果を出力させる、システム。
17. 少なくとも１つの効果オブジェクトの前記ハプティック変換アルゴリズムは、
    前記入力信号の少なくとも一部を分析するステップと、
    グローバル最小振幅値およびグローバル最大振幅値に基づいて大きさ閾値を決定するステップと、
    決定された前記大きさ閾値に基づいてダイナミックレンジ圧縮アルゴリズムを前記入力信号に適用するステップと、
    を含む、請求項１６に記載のシステム。
18. 前記動的ハプティック変換モジュールを実行する場合、前記プロセッサは、決定された大きさ閾値未満である前記入力信号の１つまたは複数の大きさ値を上方にスケーリングするようにさらに構成される、請求項１７に記載のシステム。
19. 前記少なくとも１つの効果オブジェクトの前記ハプティック変換アルゴリズムが、
    前記入力信号の最小振幅値および最大振幅値を決定するステップと、
    前記最小振幅値をグローバル最小振幅値と比較するステップと、
    前記最小振幅値が前記グローバル最小振幅値未満である場合、前記最小振幅値と等しくなるように前記グローバル最小振幅値を調整するステップと、
    前記最大振幅値をグローバル最大振幅値と比較するステップと、
    前記最大振幅値が前記グローバル最大振幅値を超える場合、前記最大振幅値と等しくなるように前記グローバル最大振幅値を調整するステップと、
    をさらに含む、請求項１７に記載のシステム。
20. 前記動的ハプティック変換モジュールを実行する場合、前記プロセッサは、サーバとクライアントとの間の往復時間を決定するようにさらに構成され、
    前記動的ハプティック変換モジュールを実行する場合、前記プロセッサは、前記サーバとクライアントとの間の往復時間、または前記ハプティック信号の１つもしくは複数の特性のうちの少なくとも１つに基づいて圧縮アルゴリズムを選択するようにさらに構成され、
    前記動的ハプティック変換モジュールを実行する場合、前記プロセッサは、選択された前記圧縮アルゴリズムを前記ハプティック信号に適用することによって前記ハプティック信号を圧縮するようにさらに構成される、請求項１６に記載のシステム。