JP2019175485A - ハプティック信号の多重化および逆多重化 - Google Patents

Abstract

【解決手段】システムは、エンコードされた２つ以上の異なるタイプのハプティック信号を有する多重化信号を受信する。ハプティック信号の各タイプは、ハプティック出力装置の異なるタイプについてのハプティック効果を表す。システムは、ハプティック再生装置に位置する対象のハプティック出力装置を決定する。システムは、多重化信号を少なくとも対象の出力装置に対応するハプティック信号のタイプに逆多重化する。システムは逆多重化ハプティック信号を対象のハプティック出力装置に提供する。【効果】ハプティック設計者は、様々なハプティック出力デバイスを有する様々な対象の装置で再生するための多重化されたハプティックストリームを有する単一信号を作成できる。【選択図】図３

Description

関連出願の相互参照
本出願は、２０１３年１１月２１日に出願された仮特許出願番号６１／９０７，１３８および２０１３年９月６日に出願された仮特許出願番号６１／８７４，９２０号の優先権を主張し、その各々の内容は本明細書に参照として組み込まれる。

分野
一実施形態はハプティック動作可能な装置に関する。より特には、一実施形態はハプティック効果を生成するためにハプティック信号を多重化または逆多重化するシステムに関する。

電子デバイスの製造者はユーザにとって豊かなインターフェースを製造することに注力している。従来のデバイスは、ユーザにフィードバックを提供するために、視覚的及び聴覚的合図を用いている。一部のインターフェースデバイスにおいて、より一般的には総括して「ハプティックフィードバック（触覚フィードバック）」または「ハプティック効果（触覚的効果）」として知られる、運動感覚フィードバック（作用力および抵抗力フィードバック等）および／またはタクタイル（触知的）フィードバック（振動、触感、及び熱等）もまた、ユーザに提供される。ハプティックフィードバックは、ユーザインターフェースを強化および単純化するきっかけを提供し得る。例えば、振動効果、すなわち振動ハプティック効果は、ユーザに特定のイベントを通知するために、電子デバイスのユーザへの合図を提供するのに有用であり得るか、またはシミュレート環境もしくは仮想環境内でより大きく感覚を集中させるために、現実的なフィードバックを提供し得る。

ハプティックフィードバックはまた、携帯電話、スマートフォン、ポータブルゲーム機器、通信手段ベースのデバイスおよびインターフェースならびに様々な他のポータブル電子機器などの携帯用電子機器に次第に組み込まれている。例えば、一部のポータブルゲームアプリケーションは、ハプティックフィードバックを提供するように構成される、より大きなスケールのゲームシステムと共に使用されるコントロールデバイス（例えばジョイスティックなど）と同じように振動できる。

振動効果または他の効果を生成するために、多くのデバイスは一部のタイプのアクチュエータまたはハプティック出力デバイスを利用する。この目的のために用いられる公知のアクチュエータとしては、ソレノイドアクチュエータ、偏心体がモータによって動かされる偏心回転体（「ＥＲＭ」）アクチュエータ、線形共鳴アクチュエータ振動モータ（「ＬＲＡ」）または圧電アクチュエータなどの電磁アクチュエータが挙げられる。これらの対象のハプティックアクチュエータの各々はハプティック効果のためのパラメータを提供するハプティック制御信号を受信する。しかしながら、特定のハプティック効果に関して、ハプティック制御信号はハプティック効果を提供するアクチュエータに基づいて変化することを必要とし得る。したがって、１つのハプティックアクチュエータに関して、制御信号は、例えばオンまたはオフ状態を表す１種類の信号であってもよく、別のハプティックアクチュエータに関して、制御信号は、例えば、位置値を表す信号の別の種類であってもよい。

一実施形態は、エンコードされた２つ以上の異なる種類のハプティック信号を有する多重化信号を受信する。ハプティック信号の各々の種類は異なる種類のハプティック出力装置についてのハプティック効果を表す。そのシステムはハプティック再生装置に位置する対象のハプティック出力装置を決定する。そのシステムは、多重化信号を少なくとも対象の出力装置に対応するハプティック信号の種類に逆多重化する。そのシステムは、逆多重化ハプティック信号を対象のハプティック出力装置に提供する。

図１は、本発明の一実施形態に係る、ハプティック動作可能なシステムの図である。 図２は、一実施形態に係る、高レベルロジック多重化ハプティック制御信号を示すブロック図である。 図３は、一実施形態に係る、多重化および逆多重化ハプティック制御信号を示すフロー図である。 図４は、一実施形態に係る、多重化および逆多重化ハプティック制御信号を示すフロー図である。 図５は、一実施形態に係る、多重化および逆多重化ハプティック制御信号を示すフロー図である。 図６は、一実施形態に係る、多重化および逆多重化ハプティック制御信号を示すフロー図である。 図７は、一実施形態に係る、マルチチャネルストリーム内に高レベルロジック多重化ハプティック制御信号を示すブロック図である。 図８は、一実施形態に係る、マルチチャネルファイルのためのヘッダ情報の例を含む。 図９は、一実施形態に係る、多重化および逆多重化ハプティック制御信号を示すフロー図である。

一実施形態は、同じ入力またはソースから少なくとも２つのハプティック信号を生成するシステムである。２つのハプティック信号は、２つの異なる対象のハプティック出力装置で再生されるハプティック効果を表す。そのシステムは、信号を、ハプティック再生装置に送信された単一の多重化ハプティック信号ストリームに多重化／エンコードする。ハプティック再生装置において、信号は逆多重化／デコードされ、適切なハプティック信号がハプティック出力装置のタイプに基づいた装置で再生される。

図１は、本発明の一実施形態に係るハプティック動作可能（ｈａｐｔｉｃａｌｌｙ−ｅｎａｂｌｅｄ）システム１０のブロック図である。システム１０は、ハウジング１５内に装着されたタッチセンサ式表面１１または他のタイプのユーザインターフェースを含み、かつメカニカルキー／ボタン１３を含んでもよい。システム１０に振動を生成するハプティックフィードバックシステムはシステム１０内部にある。一実施形態において、振動はタッチ表面１１上で生成される。

ハプティックフィードバックシステムはプロセッサまたは制御装置１２を含む。メモリ２０およびアクチュエータ駆動回路１６はプロセッサ１２に接続され、その駆動回路１６はアクチュエータ１８に連結されている。アクチュエータ１８は任意のタイプの直流（「ＤＣ」）モータであってもよく、限定されないが、偏心回転体（「ＥＲＭ」）、線形共鳴アクチュエータ信号モータ（「ＬＲＡ」）、圧電モータまたはソレノイドアクチュエータが挙げられる。アクチュエータ１８に加えてまたはその代わりに、システム１０は、静電摩擦（「ＥＳＦ」）、超音波表面摩擦（「ＵＳＦ」）を使用する装置、超音波ハプティック振動子を用いて音響放射圧を誘導する装置、装置を変化させるハプティック基板およびフレキシブルまたは変形可能な表面または形状を使用する装置、ならびにユーザの身体に取り付けられ得る装置、空気ジェットを使用した空気の吐き出しなどの突出したハプティック出力を提供する装置、電気による筋肉刺激を提供する装置などの非機械的または非振動装置であり得る他の種類のハプティック出力装置（図示せず）を含んでもよい。

プロセッサ１２は任意のタイプの汎用目的のプロセッサであってもよく、または、特定用途向け集積回路（「ＡＳＩＣ」）等、ハプティック効果を提供するように特定的に設計されたプロセッサであってもよい。プロセッサ１２はシステム１０全体を作動させる同じプロセッサであってもよく、または別個のプロセッサであってもよい。プロセッサ１２は、何のハプティック効果が再生されるかを決定することができ、かつ、そうした効果が高レベルのパラメータに基づいて再生される順序を決定することができる。一般に、特定のハプティック効果を定義する高レベルのパラメータは、大きさ（強さ）、頻度（周波数）、および期間を含む。ストリーミングモーターコマンド等の低レベルパラメータはまた、特定のハプティック効果を決定するために用いられることができる。ハプティック効果は、そのハプティック効果が生成された場合にそれがこれらのパラメータから生じた一部のものを含む場合、あるいはユーザのやり取りに基づいたこれらのパラメータから生じたものである場合、「動的」であると想定してよい。

プロセッサ１２はアクチュエータ駆動回路１６に制御信号を出力し、このアクチュエータ駆動回路１６は電子構成要素および回路を備え、これらはアクチュエータ１８に必要な電流および電圧（すなわち「モータ信号」）を供給してそれにより所望のハプティック効果を生じさせる。ハプティック効果が、ビデオファイルなどのマルチメディアファイルの再生装置に対応する例において、プロセッサ１２はハプティック制御信号をハプティック駆動回路に提供できる。システム１０は２つ以上のアクチュエータ１８を備えてよく、各々のアクチュエータは別個の駆動回路１６を備えてよく、それら全ては共通のプロセッサ１２に連結される。メモリデバイス２０は任意のタイプの保存デバイス、あるいはランダムアクセスメモリ（ＲＡＭ）または読み出し専用メモリ（ＲＯＭ）等のコンピュータ可読媒体であってもよい。メモリ２０はプロセッサ１２によって実行される命令を保存する。命令の中でも、メモリ２０はハプティック効果モジュール２２を含んでおり、これは複数の命令であって、プロセッサ１２によって実行される場合に、以下により詳細に開示するようにハプティック効果を提供するアクチュエータ１８のために駆動信号を生成する。メモリ２０はまたプロセッサ１２内部に位置してよく、または、内部メモリおよび外部メモリの任意の組み合わせであってもよい。

タッチ表面１１は接触を認識し、かつその表面上の接触の位置および大きさ（強さ）も認識できる。この接触に対応したデータはプロセッサ１２またはシステム１０内の別のプロセッサに送信され、プロセッサ１２はその接触を解釈して、それに応じてハプティック効果信号を生成する。タッチ表面１１は任意の感知検出技術、例えば、静電容量性による検出、抵抗性による検出、表面音響波による検出、圧力による検出、光学による検出等を含む技術を利用して接触を感知し得る。タッチ表面１１はマルチタッチ接触を感知してよく、かつ同時に生じるマルチタッチを識別することができてよい。タッチ表面１１は、キー、ダイアル等を用いてユーザがやり取りする画像を生成および表示するタッチスクリーンであってもよく、または最小限の画像または画像のないタッチパッドであってもよい。

システム１０は、セル式電話、携帯情報端末（ＰＤＡ）、スマートフォン、コンピュータタブレット、ゲーム機、乗り物ベースのインターフェース等のハンドヘルドデバイスであってもよく、あるいは１つ以上のアクチュエータを備えるハプティック効果システムを備える任意の他のタイプのデバイスであってもよい。ユーザインターフェースは、タッチセンサ式表面であってよく、あるいは、マウス、タッチパッド、ミニジョイスティック、スクロールホイール、トラックボール、ゲームパッド、またはゲームコントローラ等の任意の他のタイプのユーザインターフェースであってよい。２つ以上のアクチュエータを用いた実施形態において、各アクチュエータはデバイス上で広範なハプティック効果を生成するために異なる回転能力を有してもよい。

ユーザにインターフェースハプティック効果を提供することに加えて、システム１０は、例えば、ビデオまたはオーディオファイルと共にシステム１０において再生するための静的に生成されたハプティック効果を提供してもよい。

異なる装置はハプティック再生能力の異なるレベルをサポートする。ハプティック再生装置によってサポートされるハプティック信号の種類は、使用されるアクチュエータとアクチュエータの駆動回路との組合せに依存する。一部の装置は、オン／オフ２値信号に従ってアクチュエータをオンまたはオフにするハプティック信号と共にアクチュエータ１８などのハプティックアクチュエータを制御する「基礎ハプティック」のみをサポートし得る。基礎ハプティック信号についての１つのサンプルレートは２００Ｈｚであり得るが、他のサンプルレートが使用されてもよい。基礎ハプティック信号の一例において、ＥＲＭアクチュエータは基礎ハプティック信号に応答するように構成され得る。制御信号が、ＥＲＭがオンであることを知らせる場合、ＥＲＭアクチュエータについてのハプティック駆動回路（例えば駆動回路１６）は、基礎ハプティック信号に従ってＥＲＭアクチュエータをオンにする。

一部の装置は、標準定義ハプティック信号の各サンプルについて１２８非ネガティブ値の１つでエンコードされた信号に従ってハプティック効果の強度を変化させるハプティック信号によりアクチュエータ１８などのハプティックアクチュエータを制御する「標準定義」ハプティックをサポートし得る。標準ハプティック信号についての１つのサンプルレートは２００Ｈｚであり得るが、他のサンプルレートが使用されてもよい。標準定義ハプティック信号の１つの例において、ＬＲＡアクチュエータが標準定義ハプティック信号に応答するように構成され得る。ＬＲＡアクチュエータについてのハプティック駆動回路は、各々５ｍｓサンプルにて振幅情報に従ってＬＲＡアクチュエータを制御する。

一部の装置は、高定義ハプティック信号の各サンプルについて＋／−１２７の値でエンコードされた信号に従ってハプティック効果の強度を変化させるハプティック信号によりアクチュエータ１８などのハプティックアクチュエータを制御する「高定義」ハプティックをサポートし得る。高定義ハプティック信号についての１つのサンプルレートは８ｋＨｚであり得るが、他のサンプルレートが使用されてもよい。高定義ハプティック信号は典型的に、基礎ハプティックまたは標準定義ハプティック信号より高いサンプルレートを有する。高定義ハプティック信号の一例において、圧電アクチュエータが高定義ハプティック信号に応答するように構成され得る。圧電アクチュエータのためのハプティック駆動回路は、１２５μｓ毎に振幅情報に従って圧電アクチュエータを制御し得る。

さらに、増加／減少時間は、ＬＲＡアクチュエータとＥＲＭアクチュエータとの間、およびさらにＥＲＭアクチュエータの異なるモデルの間で顕著に変化する。このことは、同じ種類の信号が複数のＥＲＭについて使用され得るとしても、ハプティック効果プログラマは、各アクチュエータの能力に基づいて異なる効果を指定することを望み得ることを意味する。ハプティック効果プログラマは、各信号が同じソースから生成される複数の対象の装置についてカスタマイズされたハプティック信号を提供することを望み得る。

最も広い範囲の装置にわたって十分に妥当に再生する単一のメディアコンテンツを送達しようとするときに問題が生じる。したがって、ハプティック効果プログラマが直面する１つの問題は、彼らが、アクチュエータのタイプまたは再生装置における他のハプティック出力装置に基づいて複数のハプティック効果信号を提供することを考慮する必要があり得ることである。さらに、プログラマは、どのタイプのハプティック出力装置が再生装置で使用中であるかを知ることができない。この問題を扱うために、プログラマは、圧電アクチュエータまたはＬＲＡアクチュエータを対象とした高定義または標準定義の信号を提供でき、端末装置は、必要な場合、その信号を小さなまたは大きな定義信号に「ワープ」することができる。このことは、例えば、ＬＲＡアクチュエータを対象とするが、実際に圧電アクチュエータで再生している標準定義ハプティック信号の場合、精度が、２００Ｈｚ信号を８ｋＨｚ信号へ変換する際に損失し、圧電アクチュエータを基本的に高価なＬＲＡアクチュエータに変えるため、理想的ではない。圧電アクチュエータを対象とするが、実際に基礎ハプティックのみをサポートしているＥＲＭアクチュエータで再生している高定義信号の場合、変換はＥＲＭアクチュエータを無効にし得る。

１つのオプションは、端末装置において予想される範囲のハプティック出力装置の各々についてハプティック制御信号を提供できるが、そのようにする際に、ハプティック信号についての帯域幅要件は増加し、いくつかの送達機構が信号を体系化するのに必要とされる。別のオプションは、最高のビットレート信号について正常に割り当てられた帯域幅を使用して１つの信号内に２つ以上のハプティック信号からのデータを組み込むのに損失のある方式で２つ以上のハプティック信号を一緒にエンコードできる。これらのアプローチの両方は本明細書に意図される。

エンコード／デコード多重化
いくつかの実施形態は、各々が、１つのフォーマットを別のフォーマットに変換するための装置１０などの端末装置を必要とせず、およびハプティック制御信号を提供するのに必要とされる帯域幅を増加させずにその元の表現を保持するように、複数のハプティック信号を多重化する。これらの実施形態は基礎ハプティック信号についての少なくとも１つのエンドポイントソルーションを提供する。なぜなら、端末装置の能力は、利用可能な少なくとも１つの基礎ハプティック信号を有さずに、前もってハプティックプログラマに必ずしも知られておらず、再生装置で再生しているアプリケーション内のコンテンツ再生は、不適切なハプティック信号変換結果によって強くハムストラング（ｈａｍｓｔｒｕｎｇ）され得るからである。基礎ハプティック信号を合成したハプティック波形に多重化することによって、少なくとも１つの高品質の基礎ハプティック経験が生成される。

図２は、一実施形態に従って、高レベルの論理多重化ハプティック制御信号を示すブロック図である。要素２０５、２１０および２１５はそれぞれ、ハプティックストリームＡ、ＢおよびＣに対応する。２２０において、ハプティックストリームＡ、Ｂ、およびＣは、単一の合成されたストリームに多重化される。２２５において、合成されたストリームはハプティック効果に翻訳するために再生装置に送達される。２３０において、合成されたストリームは、ユーザに提示するために図１の装置１０などの再生装置において逆多重化される。２４０において、ハプティックストリームＡはプロセッサ１２で考慮され、ストリームＡについてのストリームタイプが、２４４においてシステムで使用されるアクチュエータのタイプに対応する場合、ストリームは、駆動回路１６およびアクチュエータ１８によってシステムで再生され、そうでなれば２４２においてストリームは無視される。２５０において、ハプティックストリームＢはプロセッサ１２において考慮され、ストリームＢについてのストリームタイプが、２５４においてシステムで使用されるアクチュエータのタイプに対応する場合、ストリームは、駆動回路１６およびアクチュエータ１８によってシステムで再生され、そうでなければ２５２においてストリームは無視される。２６０において、ハプティックストリームＣはプロセッサ１２で考慮され、ストリームＣについてのストリームタイプが、２６４においてシステムで使用されるアクチュエータのタイプに対応する場合、ストリームは駆動回路１６およびアクチュエータ１８によってシステムで再生され、そうでなければ２６２においてストリームは無視される。あるいは、いくつかの実施形態において、デマルチプレクサ２３０はシステム１０で使用されるアクチュエータのタイプを示す情報へのアクセスを有する。このような実施形態において、デマルチプレクサ２３０にて、デマルチプレクサは適切なハプティックストリームを抽出し、駆動回路１６へ送信する。

いくつかの実施形態において、多重化は、ハプティックプログラマによって、またはビデオファイルに関連したオーディオファイルなどのオーディオファイルを分析でき、オーディオファイルに対応するようにハプティック効果ファイルを生成できるツールを使用することによってハプティックプログラミング環境内で実施される。例えば、Ａｖｉｄ Ｃｏｒｐｏｒａｔｉｏｎ’ｓ Ｐｒｏ Ｔｏｏｌｓ「ＡｕｄｉｏＳｕｉｔｅ」プラグインは、オフラインのオーディオ−ｔｏ−ハプティック変換器を含み得る。変換アルゴリズムはまた、オーディオ信号をハプティック信号に変換するためのバッチコマンドラインフォーマットにおいて使用され得、また、本明細書に記載されている信号を多重化するために使用され得る。３つの基礎タイプのハプティック効果ファイルが生成され得る：基礎ハプティック信号、標準定義ハプティック信号、および高定義ハプティック信号（これらの３つはまた、本明細書において「制御信号」と称される）。当業者は、さらなるタイプが開発されてもよいこと、および各タイプがハプティックストリームの多重バリエーションを有し得るように他のパラメータが変換に含まれてもよいことを理解するであろう。ソースがオーディオソース変換であるかまたはハプティックプログラマによって指定されたハプティック効果であるかに関わらず、これらの３つのハプティックストリームの各々は、同じ入力またはソースに由来する（および同じ一般的ハプティック効果を提供することを意図する）が、利用可能な異なるハプティック出力装置技術に起因して異なる。これらの３つのストリームは２２０において単一ストリームに多重化され得る。次いで多重化信号はハプティック再生装置１０でダウンロードまたはストリームされ得る。多重化および逆多重化は異なる装置または同じ装置で行われてもよい。多重化信号は再生装置１０において２３０で逆多重化され、再生装置１０においてアクチュエータ１８のタイプに対応するハプティック信号がハプティック効果を再生するために使用される。他のストリームは無視され得る。いくつかの実施形態において、２３０における逆多重化は、アクチュエータ１８のタイプに基づいて特定のハプティック信号を要求する再生装置１０を用いてストリーミングサーバで行われ得る。次いでストリーミングサーバは、ハプティック信号を逆多重化し、アクチュエータ１８のための適切なハプティック信号をストリーミングし得る。

図３は、一実施形態に従って多重化および逆多重化ハプティック制御信号を示すフロー図である。一実施形態において、図３（ならびに以下の図４〜６および９）のフロー図の機能性は、メモリまたは他のコンピュータ可読もしくは有形的表現媒体に格納されたソフトウェアによって実装され、プロセッサによって実行される。他の実施形態において、機能性は、ハードウェア（例えば、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」など）の使用によって）またはハードウェアとソフトウェアの任意の組合せによって実施されてもよい。

いくつかの実施形態において、基礎ハプティック信号は標準定義信号により多重化される。上記のように、基礎ハプティック信号は一般に、約５ｍｓまたは２００Ｈｚの周波数でオンまたはオフ状態を表す情報のシングルビットの離散サンプルから構成されている。標準定義制御信号は一般に、２００Ｈｚの周波数においても情報の符号付きバイトの離散振幅サンプルから構成されている。一実施形態において図３における多重化プロセスはビットフィールドコンビネーションであり、標準定義信号の符号ビットが、代わりに基礎ハプティック信号をエンコードするために使用される。

３０５において、基礎ハプティックサンプルおよび標準定義サンプルがそれぞれ、基礎ハプティックストリームおよび標準定義ストリームから受信される。３１０において、標準定義信号の下位の７ビットが、値０ｘ７Ｆ（０１１１１１１１）を有するバイトをビットワイズＡＮＤ−ｉｎｇすることによって抽出される。得られたバイトは常に０（ゼロ）を先頭にする。いくつかの実施形態において、標準定義信号が＋／−１２７の値を使用した全範囲信号である場合、サンプルバイトは値を２で割るために右に移動できるが、符号ビットを保存する。３１５において、基礎ハプティック信号はバイト（１６進数において０ｘ００または０ｘ０１のいずれか）によって表され、ビットは７回左に移動され、最小位ビットを最上位ビットに移動し、０ｘ８０または０ｘ００の値のいずれかが得られる。３２０において、標準定義および基礎ハプティック信号は、１バイトを生成するために２値をビットワイズＯＲ−ｉｎｇすることによって合成され（またはそれらは一緒に加えられてもよい）、最上位ビットは基礎ハプティック信号に対応し、最小位ビットは標準定義信号に対応する。これは完全な多重化ハプティック信号を生成するために全てのサンプルについて繰り返される。

３５０で再生時間において合成信号を逆多重化するために、合成信号は、サンプルのための情報の１バイトとして受信される。３５５において、標準定義信号サンプルは、標準定義サンプルバイトを生成するために０ｘ７Ｆを有するバイトをビットワイズＡＮＤ−ｉｎｇすることによって抽出される。いくつかの実施形態において、標準定義信号が＋／−１２７の元の値を使用した全範囲信号である場合、信号サンプルはサンプル値に２を掛けるために左に移動でき、符号ビットを復元する。以下にさらに詳細に説明される補間が、全範囲の標準定義信号を２で割った場合に失った信号レベル間の粒度を復元するために使用されてもよい。３６０において、基礎ハプティック信号は、元の合成された信号を得、右に７回移動し、最上位ビットを最下位ビットの場所に置き、先行ゼロで満たすことによって抽出される。３６５において、適切な信号が装置で見られるアクチュエータタイプのために選択される。適切な逆多重化信号はプロセッサ１２によってアクチュエータ１８に送信される。

図４は、一実施形態に従ってハプティック制御信号を多重化および逆多重化することを示すフロー図である。この実施形態に関して、高定義ハプティック信号（例えば、圧電アクチュエータと共に使用される）は、標準定義ハプティック信号と共に多重化される。いくつかの実施形態において、高定義ハプティック信号は−１２７〜１２７の範囲の値を有する１バイトの情報である任意の所与のサンプルにおける値を有して８ｋＨｚにて全波形により表される。他の実施形態は、１６ｋＨｚの周波数などの他の周波数および範囲において全波形によって高定義ハプティック信号を表し得る。いくつかの実施形態において、高定義信号の周波数は変化してもよい。いくつかの実施形態において、標準定義制御信号（例えば、ＬＲＡアクチュエータと共に使用される）は、任意の所与のサンプルにおける情報の符号付きバイトによって表される２００Ｈｚにおける振幅信号である。他の実施形態は３００Ｈｚの周波数などの他の周波数および範囲における標準定義信号を表し得る。いくつかの実施形態において、標準定義信号の周波数もまた、変化してもよい。当業者は、これらの周波数および範囲は変化してもよいことを理解するが、高定義信号を再生するように設計されるアクチュエータが典型的に、標準定義信号を再生するように設計されるアクチュエータより非常に多くの周波数信号を処理できることを理解する。図４における多重化プロセスは、高定義信号のサンプルサブセットにわたってＤＣオフセットを生成できる。

４０５において、高定義および標準定義制御信号が受信される。４１０において、標準定義制御信号は、高定義制御信号周波数に適合するようにアップサンプルされる。ステアステッピングを減少させ、平滑化を提供するためのいくつかの補間が、標準定義信号周波数が高定義制御周波数の直接多重であるかどうかに応じて望まれ得る。４１５において、２つの信号は２で割られ、余りは失う。この分割は、各サンプルを１つの場所で右に移動することによって実施され得、最下位ビットを失う。他の実施形態において、４１５にて、２つの信号が、それらの加算が出力の予想される範囲内に入るようにスケーリングされる。例えば、出力が、一実施形態において、＋／−１２７の範囲であると予想される場合、高定義信号は６０％スケーリングされてもよく、標準定義信号は４０％スケーリングされてもよく、これらの加算は１００％に等しい。これは、公知の手段、例えば、浮動小数点値による乗数によって、またはスケーリングした値による除算によって達成され得る。値は、設計者が他の信号より１つの信号の精度を重視することを望む方法に応じて任意の表現にてスケーリングされ得る。一般に、高くスケーリングされた信号は、デコード／逆多重化する場合、より正確になる。４２０において、２つの信号が合成信号を生成するために一緒に加算される。いくつかの信号に関して、これは高定義信号に対してＤＣオフセットを効果的に生成する。なぜなら、標準定義信号は高定義信号よりはるかに低い周波数で変化するので、高定義制御信号に対するＤＣオフセットのように見えるからである。２つの信号は２で割られる（または上記のようにいくつかの他の値にスケーリングされる）ので、いくつかの粒度は両方の信号について失われる。なぜなら範囲が−１２７から１２７〜−６３から６３に減少したからである。これは全多重化ハプティック信号を生成するために全てのサンプルについて反復される。

４５０で、再生装置１０において合成信号を逆多重化するために、合成された多重化信号が受信される。８ｋＨｚ合成信号の任意の所与のサンプルは１バイトにより表される。４５５において、ＤＣオフセットが除去される。ＤＣオフセットを除去するための技術は当該分野において公知である。標準的な定義信号に関して、合成信号がローパスフィルタを通して加えられ得、低周波標準定義信号が通過することを可能にするが、高周波高定義信号が通過することを防ぐ。高定義信号に関して、標準定義信号が高定義信号を生成するために合成信号から差し引かれ得る。あるいは、合成信号はハイパスフィルタを通して加えられ得、高周波高定義信号が通過することを可能にするが、低周波標準定義信号が通過することを防ぐ。ＤＣオフセットを除去するために使用され得る他の技術は、この実施例においてローパスフィルタと同様であるエンベロープ技術を含む。４６０において、標準定義制御および高定義制御のための抽出された信号の各々は、それらを多重化前の適切な値に戻すために２を掛けられる（または上記のようにそれらの元の比例値に縮小される、例えば、高定義信号の場合、６０％で割られる）。一実施形態において、粒度を改良するために、所望の場合、より平滑な遷移を提供するために補間が値の間で使用されてもよい。例えば、逆多重化および倍化した後、値４、４、６、６、８、８、１０を有するサンプルのセットが、４、５、６、７、８、９、１０であるように補間され得る。また、４６０において、標準定義信号が２００Ｈｚに戻るようにダウンサンプルされ得るか、またはどんな開始周波数でもよい。４６５において、適切な信号が装置１０に見られるアクチュエータタイプのために選択される。適切な逆多重化信号がプロセッサ１２によってアクチュエータ１８に送信される。

いくつかの実施形態において、多重化および逆多重化は標準定義および高定義信号の有効周波数の特徴を考慮に入れられ得る。高定義信号は標準定義信号より大きい周波数でサンプリングされるとしても、標準定義信号は高定義信号に適合するようにアップサンプリングされ得る。これらの信号はサンプルごとに２つの信号の平均をとることによって合成されてもよい（各サンプルを２で割り、それらを加算する）。信号を２で割る作用は、各々の解像度を１ビット減少させる（サンプル信号当たり８ビットがサンプル信号当たり７ビットになる）。解像度のこの損失により、両方の信号の忠実性がわずかに減少する。２つの信号が合成された後、アップサンプリングされた標準定義信号は高定義信号に対するＤＣオフセットと同様である。標準定義信号を抽出するために、ローパスフィルタがＤＣオフセットを分離するために使用されてもよい。ノッチまたはハイパスフィルタが高定義信号の周波数を分離するために使用されてもよい。

多重化前に高定義信号はＤＣオフセットを含んでもよい。この場合、標準定義信号における加算が増加し得るか、または多重化信号のＤＣオフセットを無効化し、多重化後、低周波数での高定義信号において情報の損失、および高定義信号からの低周波数情報の内容物から標準定義信号において歪みが生じる。このように、いくつかの実施形態において、上記のフローは、４１５において、標準定義信号周波数がかなり低い、例えば３０Ｈｚ未満の場合、ハイパスフィルタにより２つの信号を一緒に加算する前に、高定義信号をフィルタリングするように、または標準定義が、多く、例えば１７５Ｈｚ〜２５０Ｈｚの周波数変化する場合、ノッチフィルタにより高定義信号をノッチフィルタリングするように変更されてもよい。次いで逆多重化側で、４５５にて、ハイパスフィルタが４１５における高定義信号に適用される場合、ローパスフィルタが標準定義信号を抽出するために多重化信号に適用され得る。ノッチフィルタが４１５にて高定義信号に適用される場合、バンドパスフィルタが標準定義信号を抽出するために使用されてもよい。標準定義信号が高定義信号においてフィルタされたスポットに充填され得るので、多重化信号が高定義信号のために使用されてもよい。平滑化フィルタが高定義信号で使用されてもよい。

さらに、図３および４における２つの多重化技術が、基礎ハプティック信号、標準定義ハプティック信号、および高定義ハプティック信号を含む３方向多重化信号を提供するために組み合わされてもよい。信号を多重化するために、第１の基礎ハプティック信号は図３Ｂと併せて記載されている標準定義ハプティック信号により多重化され、次いで多重化基礎／標準定義信号は、図４と併せた記載した上記のように高定義信号により多重化するための標準定義信号として機能する。逆多重化するために、第１の基礎／標準定義信号は図４と併せた記載したように高定義から逆多重化される。次に、標準定義および基礎ハプティック信号は図３と併せて上記したように逆多重化される。

図５は、一実施形態に従ってハプティック制御信号を多重化および逆多重化するステップを示すフロー図である。全てのサンプリングされたバイトについて合成された信号を生成するための標準定義および高定義信号を組み合わせるというよりむしろ、図４における多重化技術に対する代替として、２つの信号がインターレースされてもよい。５０５において、標準定義および高定義ハプティック制御信号が受信される。５１０において、信号は、標準定義信号のサンプルを高定義信号に置き換えることによって合成される。標準定義信号は高定義信号と比較して非常に低い周波数で生じるので、高定義信号についてのサンプルは、高定義信号を多く損失せずに標準定義信号についてのサンプルと置き換えられ得る。例えば、高定義信号が８ｋＨｚであり、標準定義信号が２００Ｈｚである場合、標準定義サンプルは全ての４０の高定義サンプルについて一度に生じる。したがって４０番目の高定義サンプルは対応する標準定義サンプルと置き換えられてもよい。もちろん、このことにより、圧電信号のいくつかのサンプルは損失する。

いくつかの実施形態において、標準定義信号はまた、置き換えがより多く起こることを可能にするためにアップサンプルされてもよい。例えば、標準定義信号は、全ての第８番目の高定義サンプルを標準定義サンプルと置き換え、同じ値の標準定義サンプルと同じ置き換えを５回繰り返すことによって１ｋＨｚに効果的にアップサンプルされ得る。いくつかの実施形態において、標準定義信号周波数がかなり高い、例えば１７５Ｈｚ〜２５０Ｈｚの周波数の場合、標準定義信号のエンベロープは、公知の技術を使用して抽出され、アップサンプルされ得、ハプティックの意図およびコンテンツを保存する。次いで、新たな標準定義信号が、より高いサンプリングレート（上記のように１ｋＨｚなど）で生成され得、その信号はエンベロープを掛けられる。置換周波数を増加させることは、より少ない処理バッファを提供することによって、高定義および標準定義制御信号を必要に応じてアクチュエータに通過させることに役立つ。また、置換周波数を増加させることは、標準定義サンプルが処理される粒度を増加させ、より良い性能を提供できる。しかしながら、置換周波数を増加させることはまた、高定義信号における信号情報の損失を増加させる。いくつかの実施形態において、どんな置換周波数が選択されようと、損失は、前のサンプルの最上位ビットを、除去されるサンプルの最下位ビットに置き換えるために置換される値の直前に高定義信号値サンプルをエンコードすることによって最小化され得る。これにより、以前のサンプル内にエンコードすることによって除去されるサンプルについてのサンプル情報のいくつかが保持される。

組み合わされた標準定義および高定義制御信号を逆多重化するために、５５０において、多重化信号が受信される。５５５において、多重化信号が、置換が使用される同じ周波数でサブサンプリングされる。置換が２００Ｈｚ（標準定義信号周波数と同様）で起こる場合、これは５ｍｓ毎である。サブサンプルは標準定義信号を表すために組み合わされてもよく、残りのサンプルは高定義信号を表すために組み合わされてもよい。５６０において、残りの信号が高定義信号について処理される。標準定義信号を除去することにより、高定義信号においてホールを残し、標準定義信号は置換される。ホールは、ホールの前および後の信号値の平均を取ることによって、ホールの前に信号値を反復することによって、またはホールの後に信号値を反復することによって充填され得る。いくつかの実施形態において、以前のサンプルの４つの最上位ビットが、上記のように損失したサンプル情報の４つの最下位ビットによりエンコードされる場合、損失したサンプルは、損失したサンプルの４つの最下位ビットとして以前のサンプルの４つの最上位ビットを取り、以前のサンプルおよび損失サンプルの両方について以前のサンプルに先行するサンプルの４つの最上位ビットを借りることによってデコードされ得る。一実施形態において、損失サンプルの４つの最上位ビットが損失サンプルの直後にサンプルから借りられてもよい。つまり、一連のサンプルを考慮することにより、損失サンプルについての４つの最上位ビットはサンプルから右に進み、以前のサンプルについての４つの最上位ビットはサンプルから左に進む。最上位ビットが１つのサンプルから次まで変化しそうにないのでこのエンコード／デコード技術は性能を改良するが、多くのサンプルにわたって十分に徐々に変化する。

さらに、図３および５における２つの多重化技術が、基礎ハプティック信号、標準定義ハプティック信号、および高定義ハプティック信号を含む３方向多重化信号を提供するように組み合わされてもよい。信号を多重化するために、第１の基礎ハプティック信号は図３と併せて記載されている標準定義ハプティック信号により多重化され、次いで多重化された基礎／標準定義信号は、図５と併せて記載されている高定義信号により多重化するための標準定義信号として機能する。逆多重化するために、第１の基礎／標準定義信号は、図５と併せて記載されている高定義信号から逆多重化される。次に、標準定義および基礎ハプティック信号は図３と併せて上記されているように逆多重化される。

図６は、一実施形態に従ってハプティック制御信号を多重化および逆多重化するステップを示すフロー図である。振幅変調が、複数の代替の基礎ハプティック、標準定義、および高定義信号を含む、全ての利用可能なハプティック信号を多重化するために使用され得る。６０５において、全てのハプティック信号が受信される。６１０において、選択された搬送波のどれも互いにオクターブ（倍数）でないように、正弦搬送波が信号の各々について選択される。６１５において、時間により順序付けられた振幅信号がハプティック信号の各々について生成される。６２０において、振幅信号の各々が選択された搬送波の各々に加えられる。６２５において、搬送波／振幅信号の各々は多重化された信号を生成するために一緒に組み合わされる。信号のデータサイズは搬送波について選択される周波および有効な範囲の値に依存する。例えば、合成された搬送波により、任意の所与のサンプルについて多重化された値が８ビット数より大きくなり得る場合、余分なビットが合成信号に加えられるのに必要とされるので、サイズおよび複雑性が増加する。さらに、合成された搬送波は、搬送波およびハプティック信号データの最大周波数にてサンプリングされるべきである。したがって、データサイズは搬送波の選択に依存し、それに応じて変化し得る。

合成された振幅変調ハプティック信号ソースを逆多重化するために、６５０において、多重化信号が受信される。６５５において、多重化信号は、所望されるソースハプティック信号のための信号についての適切な段階において搬送波で乗算される。６６０において、得られた信号はソースハプティック信号を見つけるために平方根を求められる。６６５において、追加のハプティック信号が合成波に見られることを必要とする場合、６５５に戻る。これはハプティックソース信号の全てを見つけるために使用される搬送波の各々について反復される。受信ステップの最後において、ハプティックソース信号の１つのみが必要とされる場合、対応する搬送波のみが変調信号に対して処理されることを必要とする。６７０において、適切なハプティック信号が再生装置１０におけるアクチュエータのタイプに基づいて選択される。

チャネル多重化
他の実施形態において、複数のハプティック信号をハプティック再生装置に提供することは、ハプティック信号の全てをマルチチャネル再生ストリームに合成することによって達成され得る。チャネル多重化を実装する実施形態において、上記の基礎ハプティック、標準定義および高定義信号などの信号のタイプは、チャネル多重化に使用され得る同じタイプの信号のままである。さらに、ハプティックストリームは、上記のハプティックプログラミングおよびオーディオ変換ツールを使用して作成され得る。

一実施形態において、ハプティックエレメントリストリーム（「ＨＥＳ」）は、２つ以上のハプティックストリームを提供し得るマルチチャネルストリームのコンテンツを示すためにヘッダ情報を提供することによって作成される。このようなストリームは、各ＨＥＳが実装によって２５５までのストリームを保持できることを除いて、右トラックおよび左トラックを有するステレオ音声ストリームと同様である。当業者は、チャネル識別子のアドレススペースを増加または低下させることによって上下のいずれかにサポートされるストリームの数の制限を容易に変更できる。

図７は、一実施形態に従ってマルチチャネルストリームへの高レベル論理多重化ハプティック制御信号を示すブロック図である。要素７０５、７１０および７１５はそれぞれ、ハプティックストリームＡ、ＢおよびＣに対応する。７２０において、ハプティックストリームＡ、ＢおよびＣは、シングルマルチチャネルストリームに合成される。７２５において、マルチチャネルストリームはハプティック効果に翻訳するために再生装置に送信される。いくつかの実施形態において、マルチチャネルストリームは、再生装置のための適切なハプティックストリームを選択でき、典型的にオーディオまたはビデオと共にそのストリームのみを再生装置に提供できるマルチメディアサーバに送信される。７３０において、合成ストリームは、ユーザに提示するために図１の装置１０（またはサーバ）などの再生装置においてマルチチャネルストリームから個々のストリームに逆多重化される。７４０において、ハプティックストリームＡはプロセッサ１２において考慮され、ストリームＡについてのストリームタイプがシステムに使用されるアクチュエータのタイプに対応する場合、７４４において、ストリームは駆動回路１６およびアクチュエータ１８によってシステムで再生され、あるいは７４２において、ストリームは無視される。７５０において、ハプティックストリームＢはプロセッサ１２において考慮され、ストリームＢについてのストリームタイプがシステムに使用されるアクチュエータのタイプに対応する場合、７５４において、ストリームは駆動回路１６およびアクチュエータ１８によってシステムで再生され、あるいは７５２において、ストリームは無視される。７６０において、ハプティックストリームＣはプロセッサ１２において考慮され、ストリームＣについてのストリームタイプがシステムに使用されるアクチュエータのタイプに対応する場合、７６４において、ストリームが駆動回路１６およびアクチュエータ１８によってシステムで再生され、あるいは７６２において、ストリームは無視される。いくつかの実施形態において、デマルチプレクサ７３０はシステム１０に使用されるアクチュエータのタイプを示す情報へのアクセスを有し得る。このような実施形態において、デマルチプレクサ７３０において、デマルチプレクサは、適切なハプティックストリームを抽出し、駆動回路１６に送信する。

マルチチャネルストリームの各サンプルは各チャネルについて１バイトを含み得る。例えば、マルチチャネルストリーム中に２つのストリームが存在する場合、１つのサンプルにつき合計１６ビットを有する２つのチャネルが存在する。１つのサンプルにつき８ビットより大きいハプティックストリームに関して、各チャネルにより使用されるビット数はそれに応じて増加し得る。いくつかの実施形態において、ビット数は、最も近いバイト長さまたはニブル長さまで切り上げられ得る。例えば、ハプティック信号が１０ビットをとる値を有するサンプルを有する場合、バイト長さによって切り上げられる場合、１６ビットまたはニブル長さによって切り上げられる場合、１２ビットであるＨＥＳのチャネルに記憶され得る。

ＨＥＳファイルがどのように体系化されるかについての情報はヘッダ内に含まれてもよい。ＨＥＳファイルヘッダは、チャネル数、サンプル当たりのビット数、サンプルレート、どのチャネルがどのタイプのハプティック信号に対応するかを示すインジケータまたは目的とするハプティック再生装置のタイプ、エンコード情報、圧縮情報およびバージョン情報などのストリームのコンテンツを示す情報を含んでもよい。

図８は、一実施形態に係るマルチチャネルファイルについてのヘッダ情報の一例を含む。１６個のスロットのラインの各スロットはニブルを表し、２つの連続したスロットは１バイトを表す。８０５において、ＨＥＳファイルは、標準リソース交換ファイルフォーマット（「ＲＩＦＦ」）ファイルエンベロープ内に含まれる。ＨＥＳファイルは、８１０におけるように定義されるヘッダフォーマットおよび８１５におけるように定義されるデータ部分からなり得る。ヘッダ８１０において、８２０についてのバイトは、ＨＥＳファイルに関連するメジャーバージョンを識別するためにメジャーバージョン識別子を表す。８２５についてのバイトは、ＨＥＳファイルに関連するマイナーバージョンを識別するためにマイナーバージョン識別子を表す。例えば、ＨＥＳバージョンが６．２である場合、６は、メジャーバージョンに対応し得、２はマイナーバージョンに対応し得る。８３０についてのバイトは、「非圧縮ＬＰＣＭ」、「時間順振幅」などのエンコードスキームに対応する値を含み得るファイル内のデータについての情報をエンコードすることを表す。８３５についてのバイトは、将来のバージョンに関連する将来の使用のためにリザーブされ得る。８４０についての４バイトは、ヘルツでサンプリングレートを表し得る。８４５についての２バイトはサンプル当たりのビット数を表し得る。８５０についてのバイトはファイル内のチャネル数を表し得る。８５５、８６０および８６５についてのバイトは、各チャネルについての特定のアクチュエータまたは端末装置のタイプを示し得る。各チャネルを示すためにリザーブされたバイト数は、チャネル数、各チャネルについて１つに対応するべきである。したがって、８５５についてのバイトはチャネル１についての対象ハプティック装置を特定でき、８６０についてのバイトはチャネル２についての対象のハプティック装置を特定でき、８６５についてのバイトはチャネルＮについての対象のハプティック装置を特定できる。８７０についてのバイトはデータに加えられる圧縮スキームを表し得る。例えば、既知の損失性データおよび無損失性データ圧縮シームがデータに適用され得る。

ＨＥＳデータ８１５について、各チャネルについて８ビットを有する、各サンプルについて２つのチャネルを特定する例示的な例が示される。８７５についての２バイトは第１のサンプルを表し得、第１の２つのニブルは第１のチャネルハプティックストリームを表し得るのに対して、第２の２つのニブルは第２のチャネルハプティックストリームを表し得る。８８０についての２バイトは８７５と同様に設定されているが、異なる値を有してもよい。パターンは、２バイト８８５により表されている、最後のサンプル、サンプルＮまで全てのサンプルについて反復され得る。当業者は、ＨＥＳヘッダ８１０のフィールドの各々に使用されるニブルまたはバイトの数が、特定の選択に従って任意に変化されてもよいことを認識するであろう。さらに、当業者は、ＨＥＳデータ８１５のフォーマットが、サンプル当たりのチャネル数およびサンプル当たりのビット数を増加できる、ヘッダ部分で確立されたパラメータに基づいて変化することを認識するであろう。

図９は、一実施形態に従ってハプティック制御信号を多重化および逆多重化するステップを示すフロー図である。マルチチャネル多重化のために、９０５において、ハプティック信号が受信される。上記のように、これらの信号は同じソースから生成され得、異なる対象のハプティック再生装置上であるが、一般に同じハプティック効果を表し得る。いくつかの実施形態において、マルチチャネル信号は他のハプティック効果を表すためのチャネルも含んでもよい。例えば、マルチチャネルハプティック信号は、１つのソースからの１つのハプティック効果について３つのチャネルおよび別のハプティック効果について別のソースからの３つのチャネルを含んでもよい。このような場合、対象のハプティック再生装置は複数のハプティック出力装置を有してもよく、各々のソースは１つのハプティック出力装置に対応する。９１０において、受信された信号が分析され、最高の周波数信号にアップサンプルされる。また、９１０において、サンプルは、マルチチャネルストリームの各サンプルについての各チャネルについて均一幅サブサンプルを生成するために埋め込まれる。例えば、基礎ハプティック信号は標準定義ハプティック信号のサンプリング周波数に適合するようにアップサンプルされ得る。基礎ハプティック信号はまた、ゼロで埋め込まれてもよく、それによりこれは標準定義信号と同じビット数を含む。いくつかの実施形態において、しかしながら、設定オプションにより、異なるチャネルが各サブサンプルにおいて異なるビット数を有し得る。

９１５において、各ストリームについての情報がヘッダを定義するために使用される。追加パラメータが、各チャネルについての対象のハプティック出力装置などの他の要素を定義するために特定されてもよい。９２０において、各信号の各サンプルは、合成された各サンプルと同じビット数を有するデータサンプルを作成するために合成される。各サンプルは、任意の所与のサンプルにおいてマルチチャネルストリームについてのサブサンプルまたはチャネルサンプルになる。

逆多重化のために、９５０において、マルチチャネル多重化ストリームは逆多重化のための装置によって受信される。上記で参照されるように、装置は、ハプティック再生装置を提供するようにストリームを抽出するハプティック再生装置またはサーバであってもよい。いくつかの実施形態において、再生装置は、再生装置の機能に基づいてチャネルを選択し、選択されたチャネルのみを再生装置にストリーミングするストリーミングサーバに対してその機能を提示でき、それによりハプティックコンテンツを再生するために必要とされるバンド幅を減少させる。９５５において、マルチチャネルストリームのヘッダ情報が分析される。チャネル数および特性が決定される。ビット数およびチャネル数に基づいて、データは個々のストリームに構文解析され得る。９６０において、逆多重化に対するチャネルは対象のハプティック再生装置の特性に基づいて選択される。９６５において、ハプティック信号はデータをマルチチャネルストリームに構文解析することによって抽出される。データは、加えられた埋め込みを除去するために切り捨てられ得、ハプティック出力装置で再生するためにダウンサンプルされ得る。

開示されるように、実施形態は、２つ以上のハプティック信号を１つの多重化信号に多重化し得るハプティックソース信号マルチプレクサを実装する。多重化信号は、対象の装置および対象の装置のハプティックシステムでの再生のために選択される適切な信号で逆多重化され得る。したがって、ハプティック設計者は、様々なハプティック出力デバイスを有する様々な対象の装置で再生するための多重化されたハプティックストリームを有する単一信号を作成できる。

いくつかの実施形態は本明細書に具体的に示されおよび／または記載されている。しかしながら、開示された実施形態の修飾および変更は上記の教示に含まれ、本発明の精神および意図する範囲から逸脱せずに添付の特許請求の範囲内であることは理解される。

Claims (36)

1. プロセッサによって実行される場合、前記プロセッサにハプティック信号を逆多重化させる、記憶された命令を有するコンピュータ可読媒体であって、前記逆多重化は、
   ２つ以上の異なるタイプのハプティック信号を含む多重化信号を受信するステップであって、ハプティック信号の各タイプは、異なるハプティック出力装置についてのハプティック効果を表す、ステップと、
   ハプティック再生装置において対象のハプティック出力装置を決定するステップと、
   前記多重化信号を、前記対象のハプティック出力装置で再生するためのハプティック信号に逆多重化するステップと、
   逆多重化された前記ハプティック信号を前記対象のハプティック出力装置に提供するステップと、
   を含む、コンピュータ可読媒体。
2. 前記対象のハプティック出力装置が基礎ハプティック信号を再生でき、前記多重化信号を逆多重化するステップが、各サンプルについて、前記多重化信号の基礎ハプティック信号部分を選択するステップを含む、請求項１に記載のコンピュータ可読媒体。
3. 前記多重化信号を逆多重化するステップが、前記多重化信号の基礎ハプティック信号部分を選択するステップの前に、前記多重化信号に周波数フィルタを適用するステップをさらに含む、請求項２に記載のコンピュータ可読媒体。
4. 前記対象のハプティック出力装置が標準定義ハプティック信号を再生でき、前記多重化信号を逆多重化するステップが、各サンプルについて、前記多重化信号の標準定義部分を選択するステップを含む、請求項１に記載のコンピュータ可読媒体。
5. 前記逆多重化するステップが、最上位ビットをゼロと置き換える前に、前記多重化信号に周波数フィルタを適用するステップをさらに含む、請求項４に記載のコンピュータ可読媒体。
6. 前記対象のハプティック出力装置が高定義ハプティック信号を再生でき、前記多重化信号を逆多重化するステップが、周波数フィルタを前記多重化信号に適用するステップを含み、続いて、各サンプルについて、各サンプル値に２を掛けるステップを含む、請求項１に記載のコンピュータ可読媒体。
7. 前記対象のハプティック出力装置が標準定義ハプティック信号を再生でき、前記多重化信号を逆多重化するステップが、
   標準定義ハプティック信号について使用される搬送波について、二乗信号を見つけるために前記多重化信号に前記搬送波を掛けるステップと、
   前記標準定義ハプティック信号を見つけるために前記二乗信号の平方根を求めるステップと、
   を含む、請求項１に記載のコンピュータ可読媒体。
8. 前記逆多重化するステップが、
   前記多重化信号の周期的なサンプルを得るステップと、
   前記多重化信号から前記サンプルを除去するステップと、
   前記周期的なサンプルの直前のサンプルに基づいて前記多重化信号についての置換サンプルを演算するステップと、
   を含む、請求項１に記載のコンピュータ可読媒体。
9. 前記逆多重化するステップが、
   前記多重化信号についてのチャネル情報を抽出するステップと、
   サンプルデータを構文解析して、前記チャネル情報に基づいて前記多重化信号からチャネルを抽出するステップと、
   を含む、請求項１に記載のコンピュータ可読媒体。
10. 前記チャネル情報が、基礎ハプティック信号、標準定義ハプティック信号、または高定義ハプティック信号の少なくとも２つに対応するハプティックストリームについての情報を含む、請求項９に記載のコンピュータ可読媒体。
11. 前記逆多重化するステップがサーバ上で行われ、前記提供するステップは前記サーバからハプティックストリームを受信し、前記対象のハプティック出力装置に前記ハプティックストリームを提供するステップを含む、請求項１に記載のコンピュータ可読媒体。
12. ハプティック信号の各タイプが同じソースまたは入力に由来する、請求項１に記載のコンピュータ可読媒体。
13. ２つ以上の異なるタイプのハプティック信号を含む多重化信号を受信するステップであって、ハプティック信号の各タイプは異なるハプティック出力装置についてのハプティック効果を表す、ステップと、
    ハプティック再生装置において対象のハプティック出力装置を決定するステップと、
    前記多重化信号を、前記対象のハプティック出力装置で再生するためのハプティック信号に逆多重化するステップと、
    逆多重化された前記ハプティック信号を前記対象のハプティック出力装置に提供するステップと、
    を含む、ハプティック信号を逆多重化する方法。
14. 前記対象のハプティック装置が基礎ハプティック信号を再生でき、前記多重化信号を逆多重化するステップが、各サンプルについて、前記多重化信号の基礎ハプティック信号部分を選択するステップを含む、請求項１３に記載の方法。
15. 前記多重化信号を逆多重化するステップが、前記多重化信号の前記基礎ハプティック信号部分を選択するステップの前に、周波数フィルタを前記多重化信号に適用するステップをさらに含む、請求項１４に記載の方法。
16. 前記対象のハプティック出力装置が標準定義ハプティック信号を再生でき、前記多重化信号を逆多重化するステップが、各サンプルについて、前記多重化信号の標準定義部分を選択するステップを含む、請求項１３に記載の方法。
17. 前記逆多重化するステップが、最上位ビットをゼロと置き換える前に、前記多重化信号に周波数フィルタを適用するステップをさらに含む、請求項１６に記載の方法。
18. 前記対象のハプティック出力装置が高定義ハプティック信号を再生でき、前記多重化信号を逆多重化するステップが、周波数フィルタを前記多重化信号に適用するステップを含み、続いて、各サンプルについて、各サンプル値に２を掛けるステップを含む、請求項１３に記載の方法。
19. 前記対象のハプティック出力装置が標準定義ハプティック信号を再生でき、前記多重化信号を逆多重化するステップが、
    標準定義ハプティック信号について使用される搬送波について、二乗信号を見つけるために前記多重化信号に前記搬送波を掛けるステップと、
    前記標準定義ハプティック信号を見つけるために前記二乗信号の平方根を求めるステップと、
    を含む、請求項１３に記載の方法。
20. 前記逆多重化するステップが、
    前記多重化信号の周期的なサンプルを得るステップと、
    前記多重化信号から前記サンプルを除去するステップと、
    前記周期的なサンプルの直前のサンプルに基づいて前記多重化信号についての置換サンプルを演算するステップと、
    を含む、請求項１３に記載の方法。
21. 前記逆多重化するステップが、
    前記多重化信号についてのチャネル情報を抽出するステップと、
    サンプルデータを構文解析して、前記チャネル情報に基づいて前記多重化信号からチャネルを抽出するステップと、
    を含む、請求項１３に記載の方法。
22. 前記チャネル情報が、基礎ハプティック信号、標準定義ハプティック信号、または高定義ハプティック信号の少なくとも２つに対応するハプティックストリームについての情報を含む、請求項２１に記載の方法。
23. 前記逆多重化するステップがサーバ上で行われ、前記提供するステップは前記サーバからハプティックストリームを受信し、前記対象のハプティック出力装置に前記ハプティックストリームを提供するステップを含む、請求項１３に記載の方法。
24. ハプティック信号の各タイプが同じソースまたは入力に由来する、請求項１３に記載の方法。
25. ２つ以上の異なるタイプのハプティック信号を含む多重化信号を受信するためのレシーバであって、ハプティック信号の各タイプは異なるハプティック出力装置についてのハプティック効果を表す、レシーバと、
    前記多重化信号を、対象のハプティック出力装置において再生するためのハプティック信号に逆多重化するためのデマルチプレクサであって、前記対象のハプティック出力装置はハプティック再生装置に基づいて決定される、デマルチプレクサと、
    逆多重化された前記ハプティック信号を前記対象のハプティック出力装置に提供するためのハプティック再生エンジンと、
    を含む、ハプティック信号を逆多重化するためのシステム。
26. 前記対象のハプティック装置が基礎ハプティック信号を再生でき、前記多重化信号を逆多重化するステップが、各サンプルについて、前記多重化信号の基礎ハプティック信号部分を選択するステップを含む、請求項２５に記載のシステム。
27. 前記多重化信号を逆多重化するステップが、前記多重化信号の前記基礎ハプティック信号部分を選択するステップの前に、周波数フィルタを前記多重化信号に適用するステップをさらに含む、請求項２６に記載のシステム。
28. 前記対象のハプティック出力装置が標準定義ハプティック信号を再生でき、前記多重化信号を逆多重化するステップが、各サンプルについて、前記多重化信号の標準定義部分を選択するステップを含む、請求項２５に記載のシステム。
29. 前記逆多重化するステップが、最上位ビットをゼロと置き換える前に、前記多重化信号に周波数フィルタを適用するステップをさらに含む、請求項２８に記載のシステム。
30. 前記対象のハプティック出力装置が高定義ハプティック信号を再生でき、前記多重化信号を逆多重化するステップが、周波数フィルタを前記多重化信号に適用するステップを含み、続いて、各サンプルについて、各サンプル値に２を掛けるステップを含む、請求項２５に記載のシステム。
31. 前記対象のハプティック出力装置が標準定義信号を再生でき、前記多重化信号を逆多重化するステップが、
    標準定義ハプティック信号について使用される搬送波について、二乗信号を見つけるために前記多重化信号に前記搬送波を掛けるステップと、
    前記標準定義ハプティック信号を見つけるために前記二乗信号の平方根を求めるステップと、
    を含む、請求項２５に記載のシステム。
32. 前記逆多重化するステップが、
    前記多重化信号の周期的なサンプルを得るステップと、
    前記多重化信号から前記サンプルを除去するステップと、
    前記周期的なサンプルの直前のサンプルに基づいて前記多重化信号についての置換サンプルを演算するステップと、
    を含む、請求項２５に記載のシステム。
33. 前記逆多重化するステップが、
    前記多重化信号についてのチャネル情報を抽出するステップと、
    サンプルデータを構文解析して、前記チャネル情報に基づいて前記多重化信号からチャネルを抽出するステップと、
    を含む、請求項２５に記載のシステム。
34. 前記チャネル情報が、基礎ハプティック信号、標準定義ハプティック信号、または高定義ハプティック信号の少なくとも２つに対応するハプティックストリームについての情報を含む、請求項３３に記載のシステム。
35. 前記逆多重化するステップがサーバ上で行われ、前記提供するステップは前記サーバからハプティックストリームを受信し、前記対象のハプティック出力装置に前記ハプティックストリームを提供するステップを含む、請求項２５に記載のシステム。
36. ハプティック信号の各タイプが同じソースまたは入力に由来する、請求項２５に記載のシステム。