JP2020107320A - ハプティック信号変換システム - Google Patents

ハプティック信号変換システム Download PDF

Info

Publication number
JP2020107320A
JP2020107320A JP2019188408A JP2019188408A JP2020107320A JP 2020107320 A JP2020107320 A JP 2020107320A JP 2019188408 A JP2019188408 A JP 2019188408A JP 2019188408 A JP2019188408 A JP 2019188408A JP 2020107320 A JP2020107320 A JP 2020107320A
Authority
JP
Japan
Prior art keywords
signal
haptic
frequency
actuator
envelope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019188408A
Other languages
English (en)
Inventor
ダニー エー. グラント
A Grant Danny
ダニー エー. グラント
ステファン ディー. ランク
D Rank Stephen
ステファン ディー. ランク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2020107320A publication Critical patent/JP2020107320A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/76Architectures of general purpose stored program computers
    • G06F15/78Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7807System on chip, i.e. computer system on a single chip; System in package, i.e. computer system on one or more chips in a single package
    • G06F15/7817Specially adapted for signal processing, e.g. Harvard architectures
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ソース信号を処理し、ソース信号に基づいて様々なハプティック装置のための1以上のハプティック効果を生成するシステムが提供される。【解決手段】システムは、各ハプティック装置の異なるアーキテクチャと一致させるためにソース信号を変換するように動作し、異なるハプティック装置の低いレベルの詳細にかかわらず、ハプティックデータを作成することを可能にする。【選択図】図1

Description

ハプティクス(haptics)は、振動、動き並びに他の力及び刺激等のようなハプティック効果によってユーザの検知を利用する触覚及び力フィードバックの技術である。モバイルデバイス、ゲーミングデバイス、タッチスクリーンデバイス及びパーソナルコンピュータ等のような装置は、ハプティック効果を生成するように構成されうる。ハプティックフィードバックは、運動触覚フィードバック(能動及び抵抗フォースフィードバック)及び/又は触覚フィードバック(例えば、振動、振動触覚フィードバック、質感、熱等)をユーザに提供しうる。ハプティック効果は、ユーザを特定のイベントに対して警告する又は現実的なフィードバックを提供するために有益であり、シミュレート又は仮想環境内でより大きな感覚没入を形成する。
ハプティック効果開発者は、異なる装置のハプティック効果を生み出すことができる。このような装置は、異なるアーキテクチャを有し、単一のハプティック信号は、典型的には、全ての装置で互換性はなく、異なるハプティックは、各装置に特有となるように設計される必要がある。したがって、ハプティック効果設計者が、異なる装置の特定のアーキテクチャにかかわらず、広範囲のハプティック効果を作成することができることが望まれている。
本発明の実施形態は、概して、ハプティック信号変換についての技術に向けられる。
例示的な実施形態では、ハプティック出力装置を用いてハプティック効果を生成する方法、装置及び命令が提供される。信号は、外部ソースから受信され、信号は、一般的である又はハプティック出力装置のために構成されない。信号は、信号バッファを作成するために処理される。ハプティック出力装置と互換性があるハプティック信号は、信号バッファに基づいて生成される。ハプティック信号は、ハプティック出力装置に印加され、それにより、ハプティック効果を提供する。一部の構成では、非限定的な実施例により、ハプティック信号変換は、異なるハプティックアーキテクチャを有する装置のための1以上のハプティック効果を生成するために信号をトランスコードすることを含む。
本発明の追加の特徴及び利点は、以下の説明に記載され、一部は説明から明らかになり、あるいは本発明の実践によって分かることもある。本発明の目的及び他の利点は、本明細書の記載及び特許請求の範囲並びに添付の図面において特に指摘される構造によって実現及び達成されるであろう。
前述の一般的な説明及び以下の詳細な説明の両方は、例示的及び説明的であり、クレームされたような本発明の更なる説明を提供することが意図されることが理解される。
図1は、本開示の例示的な実施形態に係るハプティック信号変換システムを示す。 図2は、本開示の例示的な実施形態に係るプロセッサシステム及びインターフェース装置を有するシステムのブロック図である。 図3は、本開示の例示的な実施形態に係るハプティック可能装置のブロック図を示す。 図4は、本開示の例示的な実施形態に係るハプティック信号変換システムのアーキテクチャ図を示す。 図5は、本開示の例示的な実施形態に係るハプティック効果を生成する方法のフローチャートである。 図6は、本開示の例示的な実施形態に係るハプティック効果を生成する別の方法のフローチャートである。 図7は、本開示の例示的な実施形態に係るハプティック信号変換システムを動作する方法のフローチャートである。 図8は、本開示の例示的な実施形態に係る、ソース信号をハプティック装置の特定のアーキテクチャに変換する方法のフローチャートである。 図9は、本開示の例示的な実施形態に係る、ソース信号をハプティック装置の特定のアーキテクチャに変換する別の方法のフローチャートである。 図10は、本開示の例示的な実施形態に係る図9のキャリア周波数を選択する方法のフローチャートである。 図11は、本開示の例示的な実施形態に係るソース信号を解析する方法を示す。 図12は、本開示の例示的な実施形態に係るデジタル信号に基づいて作成されたハプティック効果のマグニチュードの計算を示す。 図13は、本開示の例示的な実施形態に係るソース信号の包絡線の計算を示す。 図14は、本開示の例示的な実施形態に係る周波数コンテンツに基づくソース信号の包絡線の計算を示す。
様々な実施形態が、いくつかの図のすべてにわたって類似した参照符号が類似した部分及び組立品を表す、図面を参照して詳細に説明される。様々な実施形態について述べることは、本明細書に添付される特許請求の範囲を限定しない。更に、本明細書において説明されるいずれの例も、限定することは意図しておらず、添付の特許請求の範囲に関する可能な多くの実施形態のうちのいくつかを説明するに過ぎない。
概して、システムは、ソース信号に基づいて1以上のハプティック効果を自動的に提供するように提供される。各種実施形態では、信号は、信号と関連付けられた又は信号によって伝えられたデータを表すために用いられる。一部の実施形態では、ソース信号は、ハプティック効果を生成する装置に直接的には用いられない。別の実施形態では、ソース信号は、一般的である又は異なるアーキテクチャを有する異なるハプティック装置のために構成されない。ソース信号は、オーディオ信号、ビデオ信号又は他の非ハプティック信号等のような様々な種類の信号のものである。他の実施形態では、ソース信号は、任意の信号である。更に別の実施形態では、ソース信号は、ハプティック効果設計者によって作成されるハプティック信号(又はハプティックデータ)であってもよい。本明細書で説明されるように、本開示の実施形態は、このようなハプティック信号を変換して、各ハプティック装置の異なるアーキテクチャに合致させる解決手段を提供する。また、本開示の実施形態は、異なるハプティック装置の低いレベルの詳細にかかわらず、ハプティック効果設計者が、ハプティックデータを作成することを可能にする。
図1は、本開示の例示的な実施形態に係るハプティック信号変換システム100を示す。
ハプティック信号変換システム100は、ソースデータを表すソース信号102を受信するために動作し、受信したソースデータをハプティック情報に自動変換する。ハプティック信号変換システム100からのハプティック情報は、異なるハプティック装置に特有であるハプティック信号104(104A、104B及び104Cを含む)を含んでもよい。装置特有ハプティック信号104は、異なるアクチュエータ駆動回路106(106A、106B及び106Cを含む)により使用可能となるように構成される。
アクチュエータ駆動回路106は、ハプティック信号変換システム100からハプティック信号104(これは、制御信号とも呼ばれる)を受信する回路である。ハプティック信号104は、1以上のハプティック効果と関連付けられたハプティックデータを含み、ハプティックデータは、アクチュエータ駆動回路106がアクチュエータ駆動信号を生成するために用いる1以上のパラメータを定義する。例示的な実施形態では、このようなパラメータは、電気特性に関連する又は関連付けられる。ハプティックデータにより定義されてもよい電気特性の例は、周波数、振幅、位相、反転、持続期間、波形、アタックタイム、ライズタイム、フェードタイム、及びイベントに関するラグ又はリードタイムを含む。アクチュエータ駆動信号106は、ハプティックアクチュエータ108(108A、108B及び108Cを含む)に印加され、1以上のハプティック効果を生じる。
本明細書ではアクチュエータ又はハプティック出力装置とも呼ばれるハプティックアクチュエータ108は、ハプティック効果を生成するために動作する。受信したハプティック信号105に基づいて、アクチュエータ駆動回路106は、アクチュエータ駆動信号を生成し、アクチュエータ108へ印加し、アクチュエータ108を駆動する。アクチュエータ108へ印加されたとき、アクチュエータ駆動信号は、アクチュエータ108を起動及び制動することによってアクチュエータ108にハプティック効果を生じさせる。
アクチュエータ108は、様々な種類のものがあってもよい。示された実施形態では、アクチュエータは、ばねに取り付けられた質量が前後に駆動される線形共鳴アクチュエータ(Linear Resonant Actuator(LRA))等のような共鳴アクチュエータである。共鳴アクチュエータは、例示的なアクチュエータとして説明されるが、実施形態は、そのようには限定されず、実施形態は、本明細書で説明されるもののような様々なハプティック出力装置に明示的に適用されてもよい。
偏心質量がモータにより動かされる偏心回転質量(Eccentric Rotating Mass (ERM))、又は圧電、電気活性ポリマー又は形状記憶合金等のような他の種類の電磁アクチュエータも用いられる。アクチュエータ108は、静電気摩擦(electrostatic friction(ESF))、超音波摩擦(ultrasonic surface friction(USF))を用いるもの、又は超音波ハプティックトランスデューサにより音響放射圧力を誘起するもの、又はハプティック基板及びフレキシブル又は変形可能面を用いるもの、又はエアジェットを用いる空気のパフ等のような投射ハプティック出力を提供するもの等のような非機械又は非振動装置も広く含む。
一部の実施形態では、ソース信号102は、特定のハプティック装置に使用可能となるようにはフォーマットされない。別の実施形態では、ソース信号102は、一般的である又は異なるアーキテクチャを有する異なるハプティック装置のために構成されない。それに加えて又はそれに替えて、ソース信号102は、外部ソースから提供されてもよい。ソース信号は、オーディオ信号、ビデオ信号、検知信号又は他の非ハプティック信号等のような様々な種類の信号のものであってもよい。別の実施形態では、ソース信号は、任意の信号であってもよい。更に別の実施形態では、ソース信号は、ハプティック効果設計者により作成されるハプティック信号(又はハプティックデータ)であってもよい。本明細書で説明されるように、ハプティック信号変換システム100は、設計者が作成したハプティック信号を変換して、各ハプティック装置の異なるアーキテクチャに一致させる解決手段を提供してもよい。したがって、システム100は、ハプティック効果設計者が、各ハプティック装置の異なる性能及び/又は要求にかかわらず、ハプティックデータを作成することを可能にする。
一部の実施形態では、ソースデータ102は、オーディオデータ、ビデオデータ、加速度データ又はセンサにより取り込まれる別の種類のデータ等のようなデータを含んでもよい。ハプティック信号変換システム100は、ソースデータを分析し、ソースデータ102と関連付けられた1以上のハプティック効果を識別するために動作してもよい。システム100は、識別されたハプティック効果のためのハプティック信号104を出力してもよい。一部の実施形態では、ソースデータ102は、メモリに記憶され、ソースデータ102は、ソースデータ102がハプティック情報に自動変換される前に、読み出されてもよい。それに替えて、ソースデータ102は、ソースデータ102がハプティック情報に自動変換される前に、ストリームされてもよい。
例として、本明細書の実施形態は、例えば、ハプティック効果信号を生成するために、任意の信号(つまり、ソース信号102)を特定の商業アーキテクチャへ変換することに関する。例えば、ハプティック効果は、一般的に、Oculus(登録商標)、タッチゲームコントローラ、及びHTC Vive(登録商標)、又はImmersion(登録商標)TouchSense Force(TSF)ゲームパッド等のような異なる種類のゲームコントローラをサポートするゲーム(ゲームプログラム又はゲームアプリケーションとも呼ばれる)におけるランタイム中に行われる。これらのプレーヤーは、例えば、320Hz又は160Hzのハプティック信号を生成することができる。異なる周波数を有する信号が必要とされるとき、プレーヤーは、その周波数を出力できない。
本明細書の実施形態は、入力をゲームに現在提供しているゲームコントローラの種類を識別し、識別されたゲームコントローラの種類と関連付けられたハプティックトラックを読み出し、ハプティック効果のためのゲームコントローラ特有値を読み出すことによって、異なる種類のゲームコントローラ(又はより一般的には異なる種類のユーザ入力装置)もサポートする。例えば、プレーヤーは、商業的に実装されたプレーヤーアーキテクチャ/商業的に取得可能なゲームコントローラの性能に応じてハプティック信号を生成してもよい。
一部の実施形態では、ハプティック信号の値は、単にハプティックアクチュエータに特有又はハプティックアクチュエータタイプに特有ではなく、ゲームコントローラに特有又はゲームコントローラタイプに特有である。なぜなら、2つの種類のゲームコントローラは、同一種類のハプティックアクチュエータを有していたとしても、ゲームコントローラ自体の種類は、異なる質量、形状、アクチュエータ配置、及びハプティック効果の生成に影響を与える他の要因を有しているためである。よって、変換された信号を生成することは、ハプティック効果を生成するために用いられるハプティックアクチュエータの種類と併せて又はその代わりに、ゲームコントローラの種類に依存してもよい。一部の例では、変換された信号を生成することは、ハプティック変換システムの制御を超えるソフトウェア/ファームウェアに依存してもよい。例えば、入力信号は、サードパーティアプリケーションプログラミングインターフェース(API)がハプティック信号を生成するように、サードパーティAPIの関数呼び出しに変換されてもよい。この機能は、ハプティック変換システムが、入力信号から、サードパーティAPIへデータを供給する一連のAPI呼び出しを構成する信号又は命令へ変換するように、ハプティック変換システムの一部又は別の部品として提供される。
図2は、本開示の例示的な実施形態に係るプロセッサシステム110及びインターフェース装置180を有するシステムのブロック図である。
図2に示されるシステムは、インターフェース装置180と接続されたプロセッサシステム110を含む。プロセッサシステム110は、例えば、商業的に取得可能なパーソナルコンピュータ又は1以上の特定のタスクを行うことに専用のより複雑でない計算又は処理装置であってもよい。例えば、プロセッサシステム110は、ゲーミングシステム又は同様のもののようなインタラクティブ仮想現実環境を提供することに専用の端末であってもよい。
プロセッサシステム110は、プロセッサ120を含み、本開示の1以上の実施形態に係る、商業的に取得可能なマイクロプロセッサであってもよい。それに替えて、プロセッサ120は、特定用途向け集積回路(application−specific integrated circuit(ASIC))又はASICの組み合わせであってもよく、これは、1以上の特定の機能を実現する、又は1以上の特定の装置又はアプリケーションを可能にするように設計されてもよい。更なる代替では、プロセッサ120は、アナログ又はデジタル回路若しくは複数回路の組み合わせであってもよい。
それに替えて又はそれに加えて、プロセッサ120は、付加的に、1以上の分割サブプロセッサ又はコプロセッサを含んでもよい。例えば、プロセッサは、グラフィックレンダリングを可能にするグラフィックコプロセッサ、1以上の装置を制御することを可能にするコントローラ、1以上の検知装置からの感覚入力を受信することを可能にするセンサ等を含んでもよい。
プロセッサシステム110は、また、メモリ部品140を含む。図2に示されるように、メモリ部品140は、1以上の種類のメモリを含んでもよい。例えば、メモリ部品140は、リードオンリーメモリ(ROM)部品142及びランダムアクセスメモリ(RAM)部品144を含んでもよい。メモリ部品140は、また、プロセッサ120により読み出し可能な形式でデータを記憶することに適した図2に示されない他の種類のメモリを含んでもよい。例えば、電子的にプログラム可能な読み出し専用メモリ(EPROM)、消去可能で電子的にプログラム可能な読み出し専用メモリ(EEPROM)、フラッシュメモリや、他の好適な形式のメモリは、メモリ部品140内に含まれてもよい。プロセッサシステム110は、また、プロセッサシステム110の機能に依存する様々な他の部品を含んでもよい。
プロセッサ120は、メモリ部品140と通信し、メモリ部品140内にデータを記憶する又はメモリ部品140に事前に記憶されたデータを読み出してもよい。プロセッサシステム110の部品は、入力/出力(I/O)部品160によりプロセッサシステム110の外部の装置と通信してもよい。本開示の1以上の実施形態によれば、I/O部品160は、様々な適切な通信インターフェースを含んでもよい。例えば、I/O部品160は、例えば、シリアルポート、パラレルポート、ユニバーサルシリアルバス(USB)ポート、S−ビデオポート、広域ネットワーク(large area network(LAN))ポート、スモールコンピュータシステムインターフェース(small computer system interface(SCSI))ポート、オーディオポート等のような有線接続を含んでもよい。また、I/O部品160は、例えば、赤外線ポート、光学ポート、ブルートゥース(登録商標)無線ポート、無線LANポート等のような無線接続を含んでもよい。
I/O部品160により、プロセッサシステム110は、インターフェース装置180等のような他の装置と通信してもよい。インターフェース装置180は、ハプティックフィードバックを提供するように構成されてもよい。各インターフェース装置180は、プロセッサシステム110のI/O部品160と同様であるI/O部品160によりプロセッサシステム110と通信してもよく、当該I/O部品160と接続する上述された有線又は無線通信ポートのいずれかを含んでもよい。よって、プロセッサシステム110のI/O部品160とインターフェース装置180のI/O部品160との通信リンクは、例えば、有線通信リンク、無線通信リンク(例えばRFリンク)、光学通信リンク又は他の適切なリンクを含む様々な形式を取ってもよい。
インターフェース装置180は、プロセッサ182、ハプティック装置184及びセンサ186等のような複数の部品を含む。プロセッサ110の部品と同様に、インターフェース装置180は、追加部品を含んでもよい。例えば、インターフェース装置は、図2に示される部品の追加複製を含んでもよい(例えば、インターフェース装置180は、複数のプロセッサ182、ハプティック装置184、センサ186及び/又はコントローラ136等を含んでもよい)。また、インターフェース装置180は、図示されない他の部品を含んでもよい。例えば、I/O部品160を介してインターフェース装置180により受信されたデータを記憶することが望ましく、適切なメモリ部品又はバッファメモリ部品が用いられてもよい。
インターフェース装置180のプロセッサ182は、上述された、プロセッサシステム110のプロセッサ120と同様であってもよく、インターフェース装置180の機能のために特別に設計される(例えばASIC)又はプログラムされてもよい。プロセッサシステム110のプロセッサ120と同様に、インターフェース装置180のプロセッサ182は、例えば並列で用いられる様々なサブプロセッサを含んでもよい。
上述されたように、インターフェース装置180は、ハプティック装置184を含み、インターフェース装置180のユーザに触覚又はハプティックフィードバックを提供するために用いられる。一部の実施形態では、ハプティック装置184は、図1に示されるアクチュエータ108等のような1以上のアクチュエータを含む。本開示の実施形態によれば、ハプティックフィードバックは、ハウジング、マニピュランダム等のような物理オブジェクトにより提供されてもよい。ハプティック装置184は、各々が、複数の対応周波数範囲と関連付けられた複数の動作モードを含む1以上のハプティック装置を含む様々な形式を取ってもよい。本開示の1以上の実施形態に従って用いられるハプティック装置184構成の一部の例は、以下により詳細に説明される。しかしながら、以下に与えられるハプティック装置184の例は、インターフェース装置180に含まれる全ての種類のハプティック装置184の包括的リストを形成することは意図されず、例示のみであることが意図される。
インターフェース装置180のセンサ186は、インターフェース装置180のユーザからの入力を検知するように構成される。例えば、センサ186は、インターフェース装置180の、マニピュランダムのような物理オブジェクトの操作又は移動を検知するために用いられてもよい。センサ186は、また、圧力、速度、加速度、トルク、光又は他の測定可能な量等のようなユーザ入力の他の形式を検知するために用いられてもよい。例えば、センサ186は、圧力を検知するための圧電センサ、加速度計等のような様々な形式の動きを検知するための慣性計測装置(inertial measurement unit(IMU))、光レベルでの変化を検知するための光起電センサ及び/又は他のセンサを組み込んでもよい。センサ186は、また、例えば、ハプティック装置184からのフィードバック(例えば位置及び/又は速度を含む状態情報)等のような他の入力を検知してもよい。
図2に示されるように、インターフェース装置180の各種部品は、互いに、及び(I/O部品160を介して)プロセッサシステム110の部品と通信する。インターフェース装置180のプロセッサ182は、例えば、センサ186から受信された情報に基づいて、ハプティック装置184を制御するために用いられてもよい。同様に、プロセッサシステム110のプロセッサ120は、インターフェース装置180のセンサ186から受信された情報に基づいてインターフェース装置180のハプティック装置184を制御するために用いられてもよく、このような実施形態では、プロセッサ182は、付加的であり、存在する必要はない。それに替えて、プロセッサシステム110のプロセッサ120(「ホストプロセッサ」とも呼ばれる)は、センサ186から受信されたデータを解釈するために、及び/又はハプティック装置184を制御するために、インターフェース装置180のプロセッサ182(「ローカルプロセッサ」とも呼ばれる)と協調して用いられてもよい。
プロセッサシステム110及びインターフェース装置180は、付加的に、1以上のコントローラ130、132、134、136(これは、以下、集合的に、個別に又はサブセットとしてコントローラ130と呼ばれてもよい)を使用してもよい。図2に示されるように、コントローラ130は、プロセッサシステム110のプロセッサ120(例えば、制御アルゴリズムの形式で)及び/又はインターフェース装置180のプロセッサ182の一部として構成されてもよい。また、コントローラ130は、バス又は他の適切な接続を介してプロセッサシステム110及び/又はインターフェース装置180の他の部品に接続された別々の部品であってもよい。各種実施形態によれば、インターフェース装置180は、その独自のプロセッサ及び/又はコントローラ134,136を有するので、プロセッサシステム110とは独立して機能してもよく、プロセッサシステム110を全く使用しなくてもよいことが理解されるべきである。例えば、インターフェース装置180は、プロセッサシステム110に接続するように構成される又は構成されないパーソナルデジタルアシスタント(PDA)又は携帯電話等のようなスタンドアローン装置であってもよい。
ゲームコントローラ136は、Oculus(登録商標)Touchコントローラ、HTC Vive(登録商標)コントローラ、Immersion(登録商標)TSFゲームパッド又は他の同様のコントローラであってもよい。各種類のゲームコントローラは、異なる数及び/又は種類のハプティックアクチュエータを有してもよい。一例では、ゲームコントローラ136は、ハプティックアクチュエータを有してもよく、その1つは、ゲームコントローラ136のトリガを押す及び引く運動感覚アクチュエータ(例えばモータ)であってもよく、他のものは、ランブル又は他の形式の振動を生成するために用いられる偏心回転質量(ERM)アクチュエータ等のようなランブルアクチュエータであってもよい。この例では、ゲームコントローラは、各々が、例えば線形共鳴アクチュエータ(LRA)であるハプティックアクチュエータを有してもよい。更に、ゲームコントローラは、複数(例えば4つ)のアクチュエータを有してもよく、複数のアクチュエータの各々は、運動感覚アクチュエータ、ERMアクチュエータ、LRA、静電気アクチュエータ又は他の種類のハプティックアクチュエータであってもよい。
実施形態では、ゲーム又はハプティック設計者は、特定のハプティック効果のための様々な異なるハプティックトラックを設計してもよい。それに加えて又はそれに替えて、ゲーム又はハプティック設計者は、特定のゲームコントローラ又はある種のゲームコントローラ等に用いられるために装置の性能に従ったハプティックトラックを生成してもよい。ここで、ゲーム又はハプティック設計者は、その機能的な性能に従う各装置のためのソース信号を生成してもよい。ソース信号は、その後、ハプティック信号を生じるために、トランスコーディング、データ変換、パルストレイン挿入、サードパーティAPIコール等を含む、対象装置に適した形式に変換されてもよい。各ゲームコントローラ又は各種のゲームコントローラは、エンドポイントとしてゲームプログラムと呼ばれる又は表されてもよい。例えば、ハプティック効果は、武器を発射するとき、又はユーザがダメージを受けるときに生じてもよい。ゲーム又はハプティック設計者は、各ハプティック効果のために、ゲームによりサポートされる各種のゲームコントローラのための各ハプティックトラックを設計及び記憶してもよい。
非一時的メモリは、プロセッサによりアクセスされる様々なコンピュータ可読媒体を含んでもよい。各種実施形態では、本明細書で説明されるメモリ及び他のメモリ装置は、揮発性及び不揮発性媒体、取り出し可能又は非取り出し可能媒体を含んでもよい。例えば、メモリは、いずれかの組み合わせ又はランダムアクセスメモリ(「RAM」)、動的RAM(「DRAM」)、静的RAM(「SRAM」)、リードオンリーメモリ(「ROM」)、フラッシュメモリ、キャッシュメモリ及び/又は他の別の種類の非一時的コンピュータ可読媒体を含んでもよい。メモリは、プロセッサにより実行される命令を記憶する。命令のうち、メモリは、ハプティック効果設計モジュールのための命令を含む。ハプティック効果設計モジュールは、以下により詳細に開示されるように、プロセッサにより実行されたときに、ハプティック編集アプリケーションを可能にし、アクチュエータを用いてハプティック効果を更に表現する命令を含む。メモリは、また、プロセッサの内部に配置される、又は内部及び外部メモリの組み合わせであってもよい。
アクチュエータは、ハプティック効果を生成する任意の種類のアクチュエータ又はハプティック出力装置であってもよい。概して、アクチュエータは、ハプティック出力装置の例であり、ハプティック出力装置は、駆動信号に応じて、振動触覚ハプティック効果、静電摩擦ハプティック効果、温度変化、及び/又は変形ハプティック効果等のようなハプティック効果を出力するように構成される装置である。用語アクチュエータは、詳細な説明全体で用いられるが、本開示の実施形態は、様々なハプティック出力装置に明示的に適用されてもよい。アクチュエータは、例えば、電気モータ、電磁アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モータ(「ERM」)、ハーモニックERMモータ(「HERM」)、線形共鳴アクチュエータ(「LRA」)、ソレノイド共鳴アクチュエータ(「SRA」)、圧電アクチュエータ、マクロファイバ合成(「MFC」)アクチュエータ、電気活性ポリマー(「EAP」)アクチュエータ、静電摩擦ディスプレイ、超音波振動発生器等であってもよい。一部の例では、アクチュエータ自体は、ハプティック駆動回路を含んでもよい。
概して、アクチュエータは、単一周波数で振動ハプティック効果を生成する標準解像度(standard definition「SD」)アクチュエータとして特徴付けられてもよい。SDアクチュエータの例は、ERM及びLRAを含む。SDアクチュエータとは対照的に、圧電アクチュエータ又はEAPアクチュエータ等の高解像度(high definition(“HD”))アクチュエータ又は高忠実度アクチュエータは、複数の周波数で高帯域/解像度ハプティック効果を生成することができる。HDアクチュエータは、可変振幅及び過渡駆動信号への高速応答を有する高帯域触覚効果を生じるために、それらの性能により特徴付けられる。本開示の実施形態は、(例えば、ActiveFORCEゲームコントローラトリガーエレメント上で)押す/引く効果を提供する双方向アクチュエータ又は周波数変調可能なアクチュエータ等のような高品質アクチュエータにより指示されるが、実施形態は、そのようには限定されず、任意のハプティック出力装置に明示的に適用されてもよい。
リモートソースからデータを送信及び/又は受信する実施形態では、システムは、赤外線、無線、Wi−Fi、セルラーネットワーク通信等のようなモバイルワイヤレスネットワーク通信を提供するために、ネットワークインターフェースカード等のような通信装置を更に含んでもよい。別の実施形態では、通信装置は、イーサネット(登録商標)接続、モデム等のような有線ネットワーク接続を提供する。
図3は、本開示の例示的な実施形態に係るハプティック可能装置200のブロック図を示す。
様々な構成において、ハプティック可能装置200は、図2に示されるようなインターフェース装置180の少なくとも一部を実装してもよい。ハプティック可能装置200は、セルラーフォン、スマートフォン、パーソナルデジタルアシスタント(PDA)、ポータブル音楽プレーヤー、ポータブルビデオプレーヤー、ゲームシステム、仮想現実(VR)システム、仮想現実ヘッドセット、360度ビデオヘッドセット、自動車システム、ナビゲーションシステム、デスクトップ、ラップトップコンピュータ、電子機器(例えば、テレビジョン、オーブン、ウォッシャー、ドライヤー、冷蔵庫、照明システム)、座席、ヘッドセット又はハプティック効果を有する他の装置を有するIMAX(登録商標)シアター等のようなムービーシアター、又はハプティックアクチュエータを有する他の装置、ハプティックフィードバックを提供すると共に情報処理を可能にする他の電子又は計算装置等のようなハプティック効果を伝達するために用いられる任意の種類の装置であってもよい。
一部の実施形態では、ハプティック可能装置200は、単一装置であってもよい。別の実施形態では、ハプティック可能装置200は、集合的に、共に接続された装置のセットであってもよい。
この例示的な実施形態では、ハプティック可能装置200は、バス240、プロセッサ242、入力/出力(I/O)コントローラ244、メモリ246、ネットワークインターフェースコントローラ(NIC)248、ユーザインターフェース250、モニタリング装置252、アクチュエータ駆動回路254、ハプティックアクチュエータ256及びデータベース258を含む。
一部の実施形態では、図3に示されるような装置200の要素、装置及び部品は、単一装置に組み込まれ、これは、ユーザによって身に着けられる又は運ばれてもよい。別の実施形態では、図示された要素、装置及び部品の少なくとも1つは、他とは別々に配置され、互いに無線又は有線で接続される。
バス240は、プロセッサ242、I/Oコントローラ244、メモリ246、NIC248、モニタリング装置252及びアクチュエータ駆動回路254を含む装置200における部品間でデータを伝達するために経路を提供するための導体又は伝送線を含む。バス240は、典型的には、制御バス、アドレスバス及びデータバスを含む。しかし、バス240は、装置200における部品間でデータを伝達することに適したバス又はバスの組み合わせであってもよい。
プロセッサ242は、情報を処理するように構成された回路を含んでもよく、適切なアナログ又はデジタル回路を含んでもよい。プロセッサ242は、また、命令を実行するプログラム可能な回路を含んでもよい。プログラム可能な回路の例は、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路(ASIC)、プログラマブルゲートアレイ(PLA)、フィールドプログラマブルゲートアレイ(FPGA)、又は命令を実行するための他のプロセッサ又はハードウェアを含む。各種実施形態では、プロセッサ242は、単一ユニット又は2以上のユニットの組み合わせであってもよい。プロセッサ242が、2以上のユニットを含む場合、ユニットは、単一コントローラ又は別々の装置に物理的に配置されてもよい。
プロセッサ242は、装置200の全体を動作する同一プロセッサであってもよく、別々のプロセッサであってもよい。プロセッサ242は、どのハプティック効果が再生されるか、及び効果が1以上のパラメータに基づいて再生される順序を決定してもよい。例えば、特定のハプティック効果を定義するパラメータは、マグニチュード(大きさ)、周波数及び持続期間を含む。ストリーミングモニタコマンド等のような他のパラメータは、また、特定のハプティック効果を決定するために用いられてもよい。
プロセッサ242は、入力装置262から信号又はデータを受信し、アクチュエータ駆動回路254を駆動するために制御信号を出力する。プロセッサ242により受信されるデータは、任意の種類のパラメータ、命令、フラグ、又はプロセッサ、プログラムモジュール及び本明細書で説明される他のハードウェアにより処理される他の情報であってもよい。
I/Oコントローラ244は、装置200及びユーザインターフェース250等のような周辺又は外部装置の動作を監視する回路である。I/Oコントローラ244は、また、装置200と周辺装置とのデータフローを管理し、周辺装置を監視及び制御することに関連付けられた演算からプロセッサ242を緩和する。I/Oコントローラ244がインターフェース接続する他の周辺又は外部装置の例は、外部記憶装置、モニタ、コントローラ、キーボード及びポインティングデバイス等のような入力装置、外部演算装置、アンテナ、人によって身に着けられる他の物品、及び他のリモート装置を含む。
メモリ246は、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能で電子的にプログラム可能な読み出し専用メモリ(EEPROM)、フラッシュメモリ、磁気メモリ、光学メモリ又は他の適切なメモリ技術等のような任意の種類の記憶装置又は非一時的コンピュータ可読媒体であってもよい。メモリ246は、また、揮発性及び不揮発性メモリの組み合わせを含んでもよい。メモリ246は、プロセッサ242により実行される命令を含む。メモリ246は、また、プロセッサ242の内部に配置されてもよく、又は内部及び外部メモリの組み合わせであってもよい。
ネットワークインターフェースコントローラ(NIC)248は、装置200とリモート装置との間の通信(有線又は無線)を提供するためにネットワークにより電気通信される。通信は、Bluetooth(登録商標)、セルラー標準(例えば、CDMA、GPRS、GSM(登録商標)、2.5G、3G、3.5G、4G)WiGig、IEEE 802.11a/b/g/n/ac、IEEE 802.16(例えばWiMax)等のような標準を含む任意の無線伝送技術に従ってもよい。NIC248は、また、データを送信し、かつRS 232、USB、FireWire,イーサネット(登録商標)、MIDI、eSATA又はサンダーボルト等のような適切な通信標準に従う適切なポート及びコネクタを用いて、有線接続を通じて装置200とリモート装置との間の有線通信を提供してもよい。
ユーザインターフェース250は、入力装置262と、出力装置264と、を含んでもよい。入力装置262は、ユーザが、入力パラメータ、コマンド及び他の情報を装置200へ入力する装置又は機構を含む。少なくとも一部の実施形態では、入力装置262は、ハプティック可能装置200と関連付けられた1以上のイベント、ハプティック可能装置200のユーザ、又はユーザによって行われる1以上のイベントを監視又は検出するように構成され、そのユーザは、ハプティックフィードバックで知らせられる。入力装置262は、信号をプロセッサ242に入力する任意の装置である。
入力装置262の例は、タッチスクリーン、タッチ検知面、カメラ、ボタン及びスイッチ等のような機械的な入力、及びマウス、タッチパッド、ミニジョイスティック、スクロールホイール、トラックボール、ゲームパッド又はゲームコントローラ等のような他の種類の入力部品を含む。入力装置262の他の例は、キー、ボタン、スイッチ又は他の種類のユーザインターフェース等のような制御装置を含む。入力装置262の更に他の例は、信号をプロセッサ242へ入力するトランスデューサを含む。入力装置262として用いられるトランスデューサの例は、1以上のアンテナ及びセンサを含む。例えば、入力装置262は、本明細書で説明されるようなモニタリング装置252を含む。別の例では、モニタリング装置252は、入力装置262を含む。入力装置262の更に別の例は、フラッシュメモリ、磁気メモリ、光学メモリ又は他の適切なメモリ技術等のようなポータブルメモリのための取り外し可能なメモリリーダを含む。
出力装置264は、視覚及び可聴フォーマット等のような様々なフォーマットでユーザに情報を提示する装置又は機構を含む。出力装置264の例は、ディスプレイスクリーン、スピーカ、ライト及び他の種類の出力部品を含む。出力装置264は、また、取り外し可能なメモリリーダを含んでもよい。実施形態では、入力装置262及び出力装置264は、タッチ検知ディスプレイスクリーン等のように集積形成される。
図3を参照すると、モニタリング装置252は、装置200及び/又は装置200を含む動的システムのパラメータを監視するために動作する。
モニタリング装置252は、様々な種類の1以上のセンサを含み、これは、装置200に組み込まれる又は装置200に接続される。一部の実施形態では、モニタリング装置252は、装置200の入力装置262を含んでもよい。モニタリング装置252は、また、入力装置と呼ばれてもよい。センサは、刺激を受信したことに応じて信号を出力する任意の機器又は他の装置であってもよい。センサは、プロセッサに配線接続されてもよく、又は無線でプロセッサに接続されてもよい。センサは、異なる種類の条件、イベント、環境条件、装置200の動作又は条件、他の人又は物体の存在、若しくは任意の他の条件又はセンサを刺激することができるものを検出又は検知するために用いられてもよい。
センサの例は、マイクロフォン等のような音響又は音センサ、振動センサ、ブレサライザー等のような化学及び粒子センサ、一酸化炭素及び二酸化炭素センサ、ガイガーカウンタ、検電器又はホール効果センサ等のような電気及び磁気センサ、フローセンサ、GPSレシーバ、高度計、ジャイロスコープ、磁気メータ又は加速度計等のようなナビゲーショナルセンサ又は機器、圧電材料、レンジファインダー、オドメーター、スピードメーター、衝撃検出器等のような位置、近接及び移動関連センサ、電荷結合装置(CCD)、CMOSセンサ、赤外線センサ及び画像及び光検出器等のような他の光学センサ、バロメータ、圧電メータ及び触覚センサ等のような圧力センサ、圧電センサ及び歪ゲージ等のような力センサ、温度計、熱量計、サーミスタ、熱電対及び高温計等のような温度及び熱センサ、モーション検出器、三角測量センサ、レーダー、フォトセル、ソナー及びホール効果センサ等のような近接及び存在センサ、バイオチップ、血圧センサ、パルス/オキシセンサ、血液グルコースセンサ及び熱モニタ等のような生体センサを含む。また、センサは、圧電ポリマー等のようなスマート材料で形成されてもよく、これは、一部の実施形態では、センサ及びアクチュエータの両方として機能する。
各種実施形態は、単一センサを含んでもよく、又は同一又は異なる種類の2以上のセンサを含んでもよい。また、各種実施形態は、異なる種類のセンサを含んでもよい。
アクチュエータ駆動回路254は、アクチュエータ駆動モジュール278からハプティック信号(これは、本明細書において制御信号とも呼ばれる)を受信する回路である。一部の実施形態では、アクチュエータ駆動回路254は、図1に示されるようなハプティック駆動回路106を少なくとも部分的に実施する。ハプティック信号は、ハプティック効果と関連付けられたハプティックデータを具体化し、ハプティックデータは、アクチュエータ駆動回路254がアクチュエータ駆動信号を生成するために用いるパラメータを定義する。例示的な実施形態では、このようなパラメータは、電気特性に関連する又は関連付けられる。ハプティックデータにより定義される電気特性の例は、周波数、振幅、位相、反転、持続期間、波形、アタックタイム、ライズタイム、フェードタイム及びイベントに関するラグ又はリードタイムを含む。アクチュエータ駆動信号は、1以上のハプティック効果を生じるためにアクチュエータ256に印加される。
本明細書でハプティックアクチュエータ又はハプティック出力装置とも呼ばれるアクチュエータ256は、ハプティック効果を生成するために動作する。一部の実施形態では、アクチュエータ256は、図1に示されるようなハプティックアクチュエータ108を少なくとも部分的に実施する。アクチュエータ256は、アクチュエータ駆動モジュール278を実行するプロセッサ242により制御され、ハプティック信号をアクチュエータ駆動回路254へ送信する。アクチュエータ駆動回路254は、その後、アクチュエータ駆動信号を生成し、アクチュエータ256へ印加し、アクチュエータ256を駆動する。アクチュエータ256へ印加されたとき、アクチュエータ駆動信号は、アクチュエータ256を起動及び制動することによってアクチュエータ256にハプティック効果を1以上生成させる。
アクチュエータ256は、様々な種類のものであってもよい。示された実施形態では、アクチュエータは、ばねに取り付けられた質量が前後に駆動される線形共鳴アクチュエータ(LRA)等のような共鳴アクチュエータである。別の実施形態では、アクチュエータは、ソレノイド共鳴アクチュエータ(SRA)である。
例えば、偏心回転質量(ERM)等のような他の種類の電磁アクチュエータも用いられ、偏心質量は、モータ、又は圧電素子、電気活性ポリマー又は形状記憶合金等のような「スマート材料」により移動される。アクチュエータ256は、また、静電摩擦(ESF)、超音波表面摩擦(USF)又は超音波ハプティックトランスデューサによる音響放射圧力を誘起するもの、ハプティック基板及びフレキシブル又は変形可能面を用いるもの、又はエアジェットを用いる空気のパフのような投射ハプティック出力を提供するもの等のような非機械又は非振動装置を含む。
装置200は、1より多いアクチュエータ256を含んでもよく、各アクチュエータは、全てがプロセッサ242に結合された別々のアクチュエータ駆動回路254を含んでもよい。1より多いアクチュエータを有する実施形態では、各アクチュエータは、装置上で広範囲のハプティック効果を生じるために、異なる出力性能を有してもよい。
データベース258は、ハプティック信号変換モジュール274及び/又はハプティック効果レンダリングモジュール276から様々なデータを記憶するために動作する。
一部の実施形態では、データベース258は、デジタルデータを記憶するための二次的記憶装置(ハードディスクドライブ、フラッシュメモリカード、デジタルビデオディスク、コンパクトディスクリードオンリーメモリ、デジタルバーサタイルディスクリードオンリーメモリ、ランダムアクセスメモリ、又はリードオンリーメモリ)として構成される。二次的記憶装置は、バス240に接続される。二次的記憶装置及びそれらと関連するコンピュータ可読媒体は、コンピュータ可読命令(アプリケーションプログラム及びプログラムモジュールを含む)、データ構造及び装置200のための他のデータの不揮発性ストレージを提供する。データベース258のための二次的記憶装置は、装置200に含まれることが説明されたが、二次的記憶装置は、別の実施形態では、装置200とは別の装置であってもよいことが理解される。更に別の実施形態では、データベース258は、メモリ246に含まれる。
更に図3を参照すると、メモリ246は、プロセッサ242による実行のための複数のプログラムモジュールを記憶するように構成され、ユーザ入力取得モジュール272、ハプティック信号変換モジュール274、ハプティック効果レンダリングモジュール276、アクチュエータ駆動モジュール278及び通信モジュール280を含む。各モジュールは、データ、ルーチン、オブジェクト、コール及び1以上の特定のタスクを行う他の命令の集合である。特定のモジュールが本明細書で開示されるが、本明細書で説明される様々な命令及びタスクは、単一のモジュール、モジュールの異なる組み合わせ、本明細書で開示されるものとは異なるモジュール、又は装置200により無線又は有線で通信されるリモート装置により実行されるモジュールにより行われる。
ユーザ入力取得モジュール272は、プロセッサ242により実行されたとき、プロセッサ242に、ハプティック効果又はハプティック効果モディファイアと関連付けられた1以上のパラメータのユーザ入力を受信させる命令である。ユーザ入力取得モジュール272は、ユーザインターフェース250の入力装置262と通信し、入力装置262を通じてこのようなパラメータをユーザが入力することを可能にする。例として、ユーザ入力取得モジュール272は、ユーザがハプティック効果のための1以上のパラメータを入力又は選択することを可能にするディスプレイスクリーン(つまり、入力装置262)上にグラフィカルユーザインターフェースを提供する。
ハプティック信号変換モジュール274は、プロセッサ242により実行されたとき、プロセッサ242に、本明細書のハプティック信号変換システム100の各種機能を行わせる命令を含む。
ハプティック効果レンダリングモジュール276は、プロセッサ242により実行されたとき、プロセッサ242に、ハプティック可能装置200上にハプティック効果を表現させる命令を含む。少なくとも一部の実施形態では、ハプティック効果レンダリングモジュール276は、ハプティックデータ又はハプティック効果レンダリングモデルを生成し、これは、アクチュエータ駆動回路254がアクチュエータ駆動信号を生成するため使用するハプティックデータパラメータを定義する。例示的な実施形態では、このようなハプティックデータパラメータは、周波数、振幅、位相、反転、持続期間、波形、アタックタイム、ライズタイム、フェードタイム、及びイベントに関するラグ又はリードタイム等のようなハプティック駆動信号の特性に関連する又は関連付けられる。アクチュエータ駆動信号は、1以上のハプティック効果を生じるためにアクチュエータ256に印加される。
アクチュエータ駆動モジュール278は、プロセッサ242により実行されたとき、プロセッサ242に、アクチュエータ駆動回路254の制御信号を生成させる命令を含む。アクチュエータ駆動モジュール278は、また、アクチュエータ256からのフィードバックを判定し、それに従って制御信号を調整してもよい。例えば、アクチュエータ駆動モジュール278は、アクチュエータ(例えばLRA)の移動質量からの位置又は速度情報を受信し、フィードバックは、それに従って調整されてもよい。この例では、移動質量の速度は、所望の速度又は所望のハプティック効果を実現するために増加又は減少されてもよい。
通信モジュール280は、装置200とリモート装置との通信を容易にする。リモート装置の例は、コンピューティング装置、センサ、アクチュエータ、ルーター及びホットスポット等のようなネットワーク設備、車両、エクササイズ設備及びスマート家電を含む。コンピューティング装置の例は、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、スマートフォン、ホームオートメーションコンピュータ及びコントローラ、並びにプログラム可能な他の装置を含む。通信は、無線又は有線信号又はデータパスに亘る通信を含むデータ通信に適した形式を取ってもよい。各種実施形態では、通信モジュールは、システム又は他のリモート装置の集中型コントローラ、他のコンピューティング装置又は他のリモート装置と通信するピア、又はコントローラが一部の状況では集中型コントローラとして動作し、別の状況ではピアとして動作するハイブリッド集中型コントローラ及びピアとして装置200を構成してもよい。
プログラムモジュールの代替の実施形態も可能である。例えば、一部の代替の実施形態は、図3に示されるモジュールよりも多い又は少ないプログラムモジュールを有してもよい。一部の取りうる実施形態では、プログラムモジュールの1以上は、リモートコンピューティング装置又は他のウェアラブル物品のようなリモート装置にある。
一部の実施形態では、図1に示されるようにハプティック信号変換システム100は、図3を参照して説明されるハプティック可能装置200の要素、装置及び部品の1以上を含む。例えば、ハプティック信号変換システム100は、プロセッサ242、モジュール272,274,276,278及び280の少なくとも1つを含むメモリ246、モニタリング装置252、アクチュエータ駆動回路254及びアクチュエータ256を含んでもよい。他の例では、ハプティック信号変換システム100は、図3に示されるよりも多い又は少ない要素、装置及び部品を含んでもよい。
別の実施形態では、ハプティック信号変換システム100は、ハプティック可能装置200とは別に構成されてもよい。例えば、ハプティック信号変換システム100は、ネットワークを介してハプティック可能装置200と通信するサーバコンピューティング装置の一部として構成される。
図4は、本開示の例示的な実施形態に係るハプティック信号変換システム100のアーキテクチャ図を示す。
ハプティック信号変換システム100は、ハプティック変換モジュール330を含む。一部の実施形態では、ハプティック変換モジュール330は、図3に示されるようなハプティック信号変換モジュール274を少なくとも部分的に実施する又はハプティック信号変換モジュール274により実施される。図示された実施形態では、ハプティック変換モジュール330は、ダウンサンプリングモジュール331、包絡線生成モジュール332及び解析モジュール333を含む。別の実施形態では、ハプティック変換モジュール330は、別のサブモジュールを含んでもよく、又はハプティック変換モジュール330は、単一のモジュールであってもよい。
一部の実施形態では、ハプティック信号変換システム100は、また、ハプティック効果プレーヤーモジュール340及びアクチュエータ350を含む。ハプティック効果プレーヤーモジュール340は、図3に示されるようにハプティック効果レンダリングモジュール276、アクチュエータ駆動モジュール278及び/又はアクチュエータ駆動回路254を少なくとも部分的に実施する又はハプティック効果レンダリングモジュール276、アクチュエータ駆動モジュール278及び/又はアクチュエータ駆動回路254によって実施されてもよい。一部の実施形態では、ハプティック効果プレーヤーモジュール340は、装置(例えばモバイルデバイス)内に埋め込まれたモジュールであり、1以上のハプティック信号をアクチュエータに送ることによりアクチュエータで1以上のハプティック効果を再生するように構成される。ハプティック効果プレーヤーモジュール340の例は、Immersion CorporationによるTouchSense(登録商標)Playerモジュール、Oculus(登録商標)Touch及びHTC Vive(登録商標)コントローラを含む。
アクチュエータ350は、1以上のハプティック信号を受信するように構成され、かつ1以上のハプティック信号を出力するように構成されるアクチュエータである。一部の実施形態では、アクチュエータ350は、図3に示されるように、アクチュエータ256及び/又はアクチュエータ駆動回路254を少なくとも部分的に実施する又はアクチュエータ256及び/又はアクチュエータ駆動回路254により実施される。特定の実施形態では、アクチュエータ350は、波形を受信するように構成されるアクチュエータであり、ここで波形は、アクチュエータにより再生されるとき、波形効果のマグニチュード及び正確さを制御するために用いられる。アクチュエータ350は、例えば、圧電アクチュエータ、高帯域アクチュエータ、又はEAPアクチュエータであってもよい。
実施形態によれば、ダウンサンプリングモジュール330は、信号をダウンサンプルする(つまり、信号のサンプルレートを下げた結果)ように構成される。用語ダウンサンプリングは、少なくとも1つの情報ベアリングキャリア信号を、ベースバンド信号等のような少なくとも1つの低周波数信号に変換する任意の種類の装置、システム及び/又はアルゴリズムを示す。ダウンサンプリングは、任意の種類の復調方法を示す。ダウンコンバータは、包絡線検出器、サンプラー、アンダーサンプラー、フィルタ(例えばマッチドフィルタ、ローパスフィルタ及び/又はアンチエイリアシングフィルタ)、ミキサー又は少なくとも1つのキャリア信号から情報信号を抽出する他の種類の装置、システム又はアルゴリズムを含んでもよい。ダウンサンプラーは、インテグレータ、決定システム、フィードバックシステム、デコーダ、相関器、ディレイ、システム、イコライザー、フィルタ、マイクロプロセッサ、タイマ、ローカルオシレーター、パルスシェイパー及び整流器を含む1以上の信号処理装置及び/又はアルゴリズムを含んでもよい。
別の実施形態では、信号は、アップサンプルされてもよい。アップサンプリングは、任意の種類の復調方法を示す。アップコンバータは、包絡線検出器、サンプラー、アンダーサンプラー、フィルタ(例えばマッチドフィルタ、ローパスフィルタ及び/又はアンチエイリアシングフィルタ)、ミキサー又は少なくとも1つのキャリア信号から情報信号を抽出する他の種類の装置、システム又はアルゴリズムを含んでもよい。アップサンプラーは、インテグレータ、決定システム、フィードバックシステム、デコーダ、相関器、ディレイ、システム、イコライザー、フィルタ、マイクロプロセッサ、タイマ、ローカルオシレーター、パルスシェイパー及び整流器を含む1以上の信号処理装置及び/又はアルゴリズムを含んでもよい。
特定の別の実施形態では、後続のフレームが同一周波数コンテンツを含む場合、未処理フレームの大きさが再生される、又は処理済みフレームのマグニチュードが再生される、又はおそらく小さい一定振動が、フレームが同一周波数コンテンツを有する限り再生される、又はマグニチュードは、周波数帯域におけるパワーコンテンツに基づいて変更される。特定の別の実施形態では、異なる周波数コンテンツを有するフレームが見つかった時、異なるハプティック効果が再生されてもよい。
更に、振動及び/又は運動感覚フォースフィードバックの触覚知覚と共に、人間の音の知覚は、線形ではなく、周波数に依存する。音声及びハプティック効果の知覚は、異なるスケールのマグニチュードで生じ、知覚差が存在する。例えば、指向性の力の変化は、一定の変化しない力よりも気付きやすい。また、人間は、高周波数よりも低周波数を感知しやすい。性別及び年齢も知覚に影響する。よって、特定の実施形態では、ブーストする補償要因が存在する(例えば、ハプティック信号の変換中の特定の周波数)。ブースト要因は、人間の知覚又はユーザの好みに基づき、一部の周波数帯域が手動で強化される。一部の構成では、ハプティック信号は、可聴範囲を避ける(又は可聴しにくくする)ために周波数シフトされてもよい。ここで、周波数は、可聴ノイズを低減する間にハプティックコンテンツを維持するために、ブーストではなくフィルタされてもよい。ソフトウェアは、概して、ユーザが音に対して感度が低いことが知られている高周波数コンテンツを強化する。これは、特定の帯域のためのハプティック効果がより大きな強さとなることを可能にし、よって、ユーザの聴覚系により感知及び気付かれるが、十分なパワーを有さない音を強化する。別の例では、アルゴリズム的に検出される音を用いるが、人間には感知することが非常に困難であり、ハプティック効果は、音声自体を変更することなく、より気付きやすいイベントを表現するためにその音を強調するように生成される。
特定の実施形態によれば、オーディオ信号の包絡線は、包絡線生成モジュール332により生成される。包絡線は、元のオーディオ信号又は元のオーディオ信号のフィルタされたバージョンの全ての周波数を用いて抽出されてもよい。しかし、包絡線自体は、元のオーディオ信号と同一の周波数コンテンツを有さない。
データ解析モジュール333は、インターフェースから複数のデータセグメントへ伝えられるデータを解析するために機能する。実施形態では、ハプティック変換モジュール330は、アクチュエータ350に渡すには長すぎる信号を受信する。信号は、その後、解析モジュール333によって、より小さい信号セグメントに解析又は分割される。どのように信号が解析されるかについての詳細は、以下により詳細に説明される。
図5は、本開示の例示的な実施形態に係るハプティック効果を生成する方法400を示すフローチャートである。一部の実施形態では、方法400は、ハプティック信号変換システム100により少なくとも部分的に行われる。方法400は、本明細書で説明される様々な実施形態のいずれか又は実施形態の組み合わせにより使用されてもよい。
方法400は、ハプティック信号変換システム100が任意の信号等のようなソース信号102を受信する動作402で開始する。例えば、任意の信号は、設計者により生成される所望のハプティック波形を含んでもよい。動作404において、ハプティック信号変換システム100は、ソース信号102に対応するハプティック効果を決定するために動作し、ハプティック効果を伝えるための命令を発する。一部の実施形態では、ハプティック効果は、メモリに記憶され、決定のために読み出されてもよい。動作406において、ハプティック信号変換システム100は、(ハプティック効果を有する)ソース信号102をハプティック装置のアーキテクチャへ変換するために動作する。動作408において、ハプティック信号変換システム100は、ハプティック装置を作動することによりハプティック効果を伝えるために動作する。
図6は、本開示の例示的な実施形態に係るソース信号102からハプティック効果を生成するための別の方法450を示すフローチャートである。一部の実施形態では、方法450は、ハプティック信号変換システム100により少なくとも部分的に行われる(図1)。別の実施形態では、方法450は、プロセッサシステム110(図2)、インターフェース装置180(図2)、及び/又はハプティック可能装置200(図3)により少なくとも部分的に行われ、ハプティック信号変換システム100を少なくとも部分的に実施する。方法450は、本明細書で説明される様々な実施形態のいずれか又は実施形態の組み合わせにより使用されてもよい。
動作452において、方法450は、ソース信号102(例えば、任意の信号)を受信するために行われる。一部の実施形態では、ハプティック信号変換システム100は、ソース信号102を受信する。動作454において、方法450は、(図1に示される)装置特有ハプティック信号104を生成するためにハプティック信号変換システム100を用いるハプティック信号変換システム100を用いて動作454を行うための例示的な方法は、例えば図7−14を参照して本明細書でより詳細に説明される。
一部の実施形態では、装置特有ハプティック信号104は、所定の期間ごとに複数の個別の値を含む。例として、ソース信号102に基づいてハプティック効果を生成するハプティック装置のアプリケーションプログラムインターフェース(API)は、255バイト長の最大バッファを有する3.125ミリ秒スペーシングを有する0から255のマグニチュードのアレイを有し、装置特有ハプティック信号104は、18.76ミリ秒ごとに値「6」を送るように構成される。装置特有ハプティック信号104の他の構成もありうる。他の実施形態では、装置特有ハプティック信号104は、アナログ信号を含む。
動作456において、方法450は、ハプティック装置のAPIを呼び出し、ハプティック装置にアクセスし、装置特有ハプティック信号104に基づいてハプティック効果を生成する。一部の実施形態では、装置特有ハプティック信号104の値は、バッファされてもよい。動作458において、方法450は、装置特有ハプティック信号104をハプティック装置へ送信するために行われる。上記の例では、装置特有ハプティック信号104は、バッファ値と等しいパルス高さを有する3.125ミリ秒における1ミリ秒単方向パルストレインのようなパルストレインを有するハプティック装置に送信される。例えば、信号は、非線形であり、0から2.7ボルトであってもよい。
動作460において、装置特有ハプティック信号104は、様々な構成で変更されてもよい。一部の実施形態では、装置特有ハプティック信号104は、増幅されてもよい。例えば、装置特有ハプティック信号104は、ローパスフィルタで変更されてもよい。動作462において、方法450は、装置特有ハプティック信号104に基づいてハプティック効果を生成するために、ハプティック装置(例えば、そのアクチュエータ)を作動するように行われる。アクチュエータを作動するための例示的な方法は、例えば図1−4を参照して本明細書で説明される。例として、アクチュエータは、線形共鳴アクチュエータ(LRA)等のような共鳴アクチュエータを含み、ハプティック装置のアクチュエータは、160Hz及び320Hz等のような2つのモードからの加速により動作されてもよい。
図7は、本開示の例示的な実施形態に係るハプティック信号変換システム100を動作するための方法500を示すフローチャートである。一部の実施形態では、方法500は、図6の動作454を少なくとも部分的に実施するために用いられる。この例では、ハプティック信号変換システム100は、装置特有ハプティック信号104を表す信号値のバッファを生成する。
動作502において、ハプティック信号変換システム100は、ハプティック装置(例えば、インターフェース装置180又はハプティック可能装置200)で表現されるソース信号102(例えば、任意の信号)を受信するために動作する。動作504において、ハプティック信号変換システム100は、1以上の所定の関数を受信又は読み出すために動作する。一部の実施形態では、所定の関数は、ハプティック信号変換システム100及び/又は1以上の他のコンピューティング装置におけるメモリに格納されてもよい。これらの関数は、タイムライン、アニメーション又は他の同様の位置に配置される電気特性を含む。関数の一例は、例えば、マグニチュード、周波数、アタックタイム、ディレイタイム、及び/又は制御ポイントを有する任意の包絡線に対して周期的な関数を含む。関数の別の例は、異なる周波数の組み合わせ等のような混合周期関数を含む。
動作506において、ハプティック信号変換システム100は、ソース信号102に基づいて信号値のバッファを生成するために動作する。信号値のバッファは、図1に示されるような装置特有ハプティック信号104を含む、又は装置特有ハプティック信号104により表されてもよい。信号値のバッファは、ソース信号を分析及びマッピングすることにより決定されてもよい。一部の実施形態では、信号値のバッファは、所定の後続期間の所定数の値を含む。上記の例では、信号値のバッファは、次の所定量の時間のハプティック効果を生成するために続いて用いられる値「6」を含む。他の数の値も可能であり、例えば2から12サンプルの範囲である。各バッファの値の数は、ハプティック装置(例えばそのアクチュエータ)の性能に依存する。ソース信号102から信号値を生成する例示的な方法は、図8及び9を参照して本明細書でより詳細に説明される。他の実施形態では、基本関数も信号値のバッファを生成するために用いられてもよい。
動作508において、ハプティック信号変換システム100は、値のバッファ(例えば、装置特有ハプティック信号104)を対応するハプティック装置へ送信するために動作し、ハプティック装置が、値のバッファに基づいてハプティック効果を表現する。例えば、値のバッファは、設計されたハプティック効果を生じるためにハプティック装置のアクチュエータへ印加されるアクチュエータ駆動信号を生成するために用いられる。
図8は、本開示の例示的な実施形態に係る、ソース信号102をハプティック装置の特定のアーキテクチャへ変換する方法510のフローチャートである。一部の実施形態では、方法510は、図7に説明されるような信号値のバッファを生成する。方法510は、ソース信号102の周波数をハプティックアクチュエータ108の周波数に一致させることにより、少なくとも部分的にソース信号102から、信号値(例えば、装置特有ハプティック信号104)のバッファを生成するように構成される(図1)。
動作512において、ハプティック信号変換システム100は、ソース信号102(例えば、任意の信号)を受信する。動作514において、ハプティック信号変換システム100は、ソース信号102をダウンサンプルするために動作する。ソース信号102をダウンサンプルするために様々な方法が用いられてもよい。例えば、最大値は、ダウンサンプルのために用いられてもよい。他の例では、平均値は、ダウンサンプルのために用いられてもよい。
動作516において、ハプティック信号変換システム100は、解析セグメントにおいてダウンサンプルされたソース信号102を処理するために動作する。一部の実施形態では、信号のセグメントは、サイズで予め決定されてもよい。例えば、セグメントのサイズは、信号が所定のサイズのセグメントに解析されるように、同等に予め設定される。他の実施形態では、セグメントのサイズは、自動的に決定される。信号を解析する例は、例えば図11を参照してより詳細に図示及び説明される。
動作518において、信号変換システム100は、ソース信号102の主要周波数(例えば最高又は他のピークマグニチュードを有する周波数)を決定するために動作する。動作520において、信号変換システム100は、ソース信号102から包絡線信号を決定するために動作する。
動作522において、信号変換システム100は、値のバッファを生成するために動作する。一部の実施形態では、値のバッファは、選択されたセグメントの包絡線に応じたマグニチュードを有する主要周波数で生成されてもよい。セグメントが長い場合、セグメントは、サブセグメントに分割されてもよく、サブセグメントのそれぞれは、同様に分析されてもよい。値のバッファは、他の実施形態において異なって作成されてもよい。
図9は、本開示の例示的な実施形態に係る、ソース信号102をハプティック装置の特定のアーキテクチャへ変換する別の方法600のフローチャートである。一部の実施形態では、方法600は、図7で説明されるような信号値のバッファを生成するために用いられてもよい。方法600は、少なくとも部分的にソース信号102から信号値(例えば装置特有ハプティック信号104)のバッファを生成し、固定周波数のキャリア信号を有するバッファを送信するように構成される。一部の実施形態では、方法600は、ハプティックアクチュエータの性能に依存するキャリア周波数を選ぶことを含む。
動作602において、信号変換システム100は、ソース信号102(例えば、任意の信号)を受信する。動作604において、信号変換システム100は、ソース信号102をダウンサンプルするために動作する。ソース信号102をダウンサンプルするために様々な方法が用いられてもよい。例えば、最大値は、ダウンサンプルするために用いられてもよい。他の例では、平均値は、ダウンサンプルするために用いられてもよい。
動作606において、信号変換システム100は、ダウンサンプルされたソース信号102で変調されるキャリア信号のためのキャリア周波数(例えばパルストレイン周波数)を選択するために動作する。様々な周波数がキャリア周波数のために用いられてもよい。一部の実施形態では、160Hz及び320Hz等のような2つの異なる周波数、及びそれらのうちの1つは、1以上の分類に基づいてキャリア周波数のために選択される。例えば、キャリア周波数は、ソース信号102に基づいてハプティック効果を生成するためのものであるハプティックアクチュエータの周波数限界に基づいて選択される。キャリア周波数を選択する例は、例えば、図10を参照して本明細書でより詳細に説明される。
動作608において、信号変換システム100は、ソース信号102から包絡線信号を決定するために動作する。動作610において、信号変換システム100は、値のバッファを生成するために動作する。一部の実施形態では、値のバッファは、包絡線信号に応じたマグニチュードを有するように生成される。例えば、マグニチュードは、各タイムステップのパルス幅にマップされる。一部の実施形態では、マグニチュードは、キャリア周波数の半分を超えないように構成される。値のバッファは、キャリア周波数で送信される。一部の実施形態では、値のバッファは、キャリア周波数を常に維持する。
図10は、本開示の例示的な実施形態に係る図9のキャリア周波数を選択する方法630のフローチャートである。この例では、方法630は、ハプティックアクチュエータの性能に基づいてキャリア周波数を選ぶために用いられる。様々な種類の信号がキャリア周波数のために用いられうる。一部の実施形態では、パルストレインは、キャリア信号のために用いられる。他の波形は、他の実施形態においてキャリア信号のために用いられてもよい。
動作632において、ハプティック信号変換システム100は、ハプティック効果を生成するように構成されるハプティックアクチュエータ108の周波数限界を識別するために動作する。動作634において、ハプティック信号変換システム100は、ソース信号102(又はそのダウンサンプルされた信号)の周波数が、ハプティックアクチュエータ108の周波数限界よりも大きいかを判定するために動作する。ソース信号102(又はそのダウンサンプルされた信号)の周波数がハプティックアクチュエータ108の周波数限界よりも大きい(この動作で「Yes」)場合、方法630は、キャリア周波数(例えばパルストレイン)が第1の周波数に設定される動作636へ移動する。そうでない(この動作で「No」)場合、方法630は、キャリア周波数(例えば、パルストレイン)が第2の周波数に設定される動作638へ続く。例として、第1の周波数及び第2の周波数は、160Hz及び320Hzから選択される。ハプティックアクチュエータの周波数限界に応じて、パルストレインは、160Hz及び320Hzのいずれかに設定される。ハプティックアクチュエータの性能に応じて他のキャリア周波数も想定される。
一部の用途では、1つのハプティック出力装置(例えばアクチュエータ)は、HDアクチュエータと呼ばれる設計者又はプログラマーによって特定されるような正確な周波数(例えば変調されたキャリア周波数)で共鳴してもよい。別の装置(例えば非HD又はSDアクチュエータ)は、一連のパルス(つまり、パルストレイン)を実行するように構成される。パルスのレートは、ユーザに周波数の知覚を与える。
設計ツールは、効果の感知された周波数から隔てた周期的パルシングを顕在化する。これを固定する手法は、ピッチをシミュレートするために、高周波数ピッチデータ又は高周波数パルストレインのいずれかでパルスを充填することである。装置特徴化データと組み合わせられたアルゴリズムは、高周波数充填を用いる、又はピッチをパルストレインでシミュレートするのいずれかを決定するように構成される。
ほとんどの装置は、特定の個別の周波数を実現するように構成される。これは、ハードウェア性能、ファームウェア及び/又はソフトウェアに依存する。本開示の例示的な実施形態に係る設計ツールは、達成可能な周波数を設計者に対して顕在化する。
図11は、本開示の例示的な実施形態に係るソース信号102を解析又は分割する方法700を示す。一部の実施形態では、ハプティック信号変換システム100は、ソース信号102を複数のセグメント712(712A、712B及び712Cを含む)に分割するために動作する。一部の実施形態では、ブランク信号714(714A、714B及び714C)(ダミーデータとも呼ばれる)は、所望の周波数を有する信号を生成するためにセグメント712間に挿入される。ハプティック信号変換システム100は、固定バッファサイズが生成されるまで挿入されるブランク信号あり又はなしで、信号セグメントを収集することを継続する。
図12は、本開示の例示的な実施形態に係るデジタル信号に基づいて作成されるハプティック効果のマグニチュードの計算800を示す。図12において、ソース信号810は、44.1kHzでサンプルされ、最大値820は、20msのフレーム長で計算され、パルス830は、マグニチュードフィルタリングによって得られる。実施形態によれば、パルス830は、ソース信号102の包絡線を取り込み、パルス830は、1以上のハプティック効果を通じてユーザにこの情報を伝えるように構成される。
図13は、本開示の例示的な実施形態に係るソース信号の包絡線の計算900を示す。図13において、ソース信号102は、オーディオ信号である。ソース信号102の包絡線920は、ソース信号102の絶対値をローパスフィルタリングすることによって得られてもよい。別の包絡線930は、この場合20msで、特定のフレームに亘って絶対値の最大を計算することによって得られてもよい。
特定の持続期間(例えば、ミリ秒の持続期間)の各フレームは、周波数ドメインで処理される。よって、特定の実施形態では、フレームの高速フーリエ変換(FFT)は、周波数コンテンツを抽出するために用いられてもよい。他の実施形態では、バンドパスフィルタは、周波数コンテンツを抽出するために用いられてもよい。
図14は、本開示の例示的な実施形態に係る周波数コンテンツに基づくソース信号の包絡線の計算1000を示す。実施形態によれば、最大値は、信号データフレーム(例えばオーディオデータフレーム)が前述されたように処理されると得られる。実質的に、3つの最大値が得られ、1つは低周波数帯域、1つは中周波数帯域、1つは高周波数帯域である。
図14に示されるように、グラフ1040は、未処理最大値を表し、これはソース信号102全体に基づく。グラフ1050は、ソース信号102の低周波数範囲に対応する最大値を表す。グラフ1060は、ソース信号102の中周波数範囲に対応する最大値を表す。グラフ1070は、ソース信号102の高周波数範囲に対応する最大値を表す。
実施形態によれば、信号が、処理されることを開始するとき、得られた最大値が低周波数帯域(例えばグラフ1050)と高周波数帯域(例えば1070)の周波数値より大きいとすると、第1のフレームは、より中央の周波数コンテンツ(例えば1060)を含む。
実施形態によれば、ハプティック効果は、フレームのコンテンツ周波数が、以前のフレームの周波数コンテンツとは異なるときに再生されうる。図14に示されるように、ハプティック効果は、矢印1020,1022,1024,1026,1028,1030,1032により明示された位置で再生される。例えば、フレーム及び後続フレームが同一周波数コンテンツを有する場合、未処理フレームのマグニチュードが再生される、又は処理済みのフレームのマグニチュードが再生される、又はおそらく小さい一定の振動が、同一周波数コンテンツを有する限り再生される、又はマグニチュードは、周波数帯域におけるパワーコンテンツに基づいて変更される。それに替えて、フレーム及び後続フレームが異なる周波数コンテンツを有する場合、異なるハプティック効果が再生されてもよい。
上記で説明された様々な例及び教示は、例示によってのみ提供され、本開示の範囲を限定するように解釈されるべきではない。当業者は、本開示の趣旨及び範囲を逸脱することなく、本明細書で例示及び説明された後の実施例及び用途なしに、様々な変更及び変更がなされることを明示的に認識するであろう。

Claims (20)

  1. ハプティック出力装置を用いてハプティック効果を生成する方法であって、
    外部ソースから信号を受信するステップであって、前記信号は、前記ハプティック出力装置のために構成されない、ステップと、
    前記信号を処理し、信号バッファを作成するステップと、
    前記信号バッファに基づいて前記ハプティック出力装置と互換性があるハプティック信号を生成するステップと、
    前記ハプティック信号を前記ハプティック出力装置に印加し、それにより前記ハプティック効果を提供するステップと、
    を備える方法。
  2. 前記信号を解析セグメントに処理するステップと、前記解析セグメントの少なくとも1つに対して前記信号バッファを生成するステップと、を更に備える請求項1に記載の方法。
  3. 前記信号の主要周波数を決定するステップを更に備える請求項2に記載の方法。
  4. 前記信号の包絡線を決定するステップを更に備える請求項2に記載の方法。
  5. 前記信号の主要周波数を決定するステップと、
    前記信号の包絡線を決定するステップと、を更に備え、
    前記信号バッファは、前記信号の解析セグメントの少なくとも1つの包絡線に応じたマグニチュードを有する前記主要周波数において生成される、請求項2に記載の方法。
  6. キャリア周波数を選択するステップと、
    前記信号の包絡線を決定するステップと、を更に備え、
    前記信号バッファは、前記信号の包絡線に応じたマグニチュードを有するように生成され、前記キャリア周波数で送信される、請求項1に記載の方法。
  7. 前記キャリア周波数を選択するステップは、
    前記ハプティック出力装置の周波数限界を識別するステップと、
    前記信号の周波数が前記周波数限界よりも大きいかを判定するステップと、
    前記判定に基づいてキャリア周波数を選択するステップと、を含む、請求項6に記載の方法。
  8. 前記キャリア周波数は、160Hzから320Hzで選択される、請求項6に記載の方法。
  9. 前記信号をダウンサンプルするステップを更に備える請求項1に記載の方法。
  10. 前記信号は、オーディオ信号、ビデオ信号、加速度信号又は1以上のセンサにより取り込まれる他の信号のうちの少なくとも1つを含む、請求項1に記載の方法。
  11. ハプティック効果を生成する装置であって、
    アクチュエータと、
    前記アクチュエータを動作するように構成されるアクチュエータ駆動回路と、
    前記アクチュエータ駆動回路に接続された処理装置と、を備え、
    前記処理装置は、
    外部ソースから信号を受信し、前記信号が前記アクチュエータのために構成されず、
    前記信号を処理し、信号バッファを作成し、
    前記信号バッファに基づいて前記アクチュエータと互換性があるハプティック信号を生成し、
    前記ハプティック信号を前記アクチュエータ駆動回路へ送信し、前記ハプティック信号は、前記アクチュエータ駆動回路が前記アクチュエータを制御することを可能にし、それによりハプティック効果を提供するように構成される、
    装置。
  12. 前記処理装置は、前記信号をダウンサンプルするように更に構成される、請求項11に記載の装置。
  13. 前記処理装置は、
    前記信号を解析セグメントに処理し、
    前記解析セグメントの少なくとも1つに対して前記信号バッファを生成し、
    前記信号の主要周波数を決定し、前記信号の包絡線を決定するように更に構成され、
    前記信号バッファは、前記信号の前記解析セグメントの少なくとも1つの包絡線に応じたマグニチュードを有する前記主要周波数において生成される、請求項11に記載の装置。
  14. 前記処理装置は、
    キャリア周波数を選択し、
    前記信号の包絡線を決定するように更に構成され、
    前記信号バッファは、前記信号の包絡線に応じたマグニチュードを有するように生成され、前記キャリア周波数で送信される、請求項11に記載の装置。
  15. 前記キャリア周波数を選択することは、
    前記アクチュエータの周波数限界を識別することと、
    前記信号の周波数が前記周波数限界よりも大きいかを判定することと、
    前記判定に基づいてキャリア周波数を選択することと、を含む、請求項14に記載の装置。
  16. 仮想現実システムであって、
    固定信号周波数を有するハプティック出力装置と、
    前記ハプティック出力装置と結合されたプロセッサと、を備え、
    前記プロセッサは、
    信号周波数を有する外部ソースから信号を受信し、
    前記信号を解析セグメントに処理し、前記解析セグメントが前記信号の区切りに対応し、出力信号を作成し、
    前記ハプティック出力装置の固定周波数に実質的に合致させるために、前記信号周波数を圧縮し、
    前記解析セグメントの包絡線のマグニチュードを決定し、
    前記解析セグメントのマグニチュードを調整して、前記包絡線のマグニチュードを合致させ、調整された解析セグメントを作成し、
    前記調整された解析セグメントをバッファし、
    前記調整された解析セグメントに基づいてハプティック信号を生成し、前記ハプティック信号を前記ハプティック出力装置へ送るように構成される、
    システム。
  17. 前記解析セグメントは、前記ハプティック出力装置の速度に対応する、請求項16に記載のシステム。
  18. 前記信号周波数は、主要周波数である、請求項16に記載のシステム。
  19. 前記信号周波数は、主要周波数であり、前記バッファは、前記信号の解析セグメントの包絡線信号に応じたマグニチュードを有する前記主要周波数で生成される、請求項16に記載のシステム。
  20. 前記バッファは、包絡線信号で設定されたマグニチュードを含み、キャリア周波数を維持する、請求項16に記載のシステム。

JP2019188408A 2018-12-27 2019-10-15 ハプティック信号変換システム Pending JP2020107320A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/233,881 US10748391B2 (en) 2018-12-27 2018-12-27 Haptic signal conversion system
US16/233,881 2018-12-27

Publications (1)

Publication Number Publication Date
JP2020107320A true JP2020107320A (ja) 2020-07-09

Family

ID=68281224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019188408A Pending JP2020107320A (ja) 2018-12-27 2019-10-15 ハプティック信号変換システム

Country Status (5)

Country Link
US (1) US10748391B2 (ja)
EP (1) EP3674850A1 (ja)
JP (1) JP2020107320A (ja)
KR (1) KR20200081213A (ja)
CN (1) CN111381707A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022131083A (ja) * 2021-02-26 2022-09-07 任天堂株式会社 振動制御システム
WO2023008396A1 (ja) * 2021-07-27 2023-02-02 株式会社村田製作所 ハンドル、シェーバ、ヘアドライヤ、ヘアアイロン、ヘアブラシ、及びまつ毛カーラ

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016124275A1 (de) * 2016-12-13 2018-06-14 Brose Fahrzeugteile Gmbh & Co. Kommanditgesellschaft, Bamberg Verfahren zur Ansteuerung einer motorischen Verschlusselementanordnung eines Kraftfahrzeugs
US10951992B2 (en) * 2018-12-31 2021-03-16 Lg Display Co., Ltd. Vibration generating device and display apparatus including the same
CN109901066A (zh) * 2018-12-31 2019-06-18 瑞声科技(新加坡)有限公司 马达系统辨识方法
JP7340983B2 (ja) * 2019-07-29 2023-09-08 フォルシアクラリオン・エレクトロニクス株式会社 振動信号生成装置および振動信号生成用プログラム
CN112416477B (zh) * 2020-11-27 2022-04-26 瑞声新能源发展(常州)有限公司科教城分公司 信号转换方法、装置、计算机设备和存储介质
EP4430554A1 (en) * 2021-11-08 2024-09-18 Niantic, Inc. Metaverse content modality mapping
TW202326360A (zh) 2021-12-28 2023-07-01 財團法人工業技術研究院 嵌入式系統以及振動驅動方法
CN114995638B (zh) * 2022-05-12 2024-08-23 北京有竹居网络技术有限公司 触觉信号生成方法、装置、可读介质及电子设备

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH615999A5 (ja) * 1977-04-29 1980-02-29 Jucker Jules & Co
US4238778A (en) * 1977-09-12 1980-12-09 Kinya Ohsumi System for warning the approach of an emergency vehicle
US4558403A (en) * 1983-10-25 1985-12-10 Ulises Llerandi Ornamental harness with lighting effects
JPS61114623A (ja) * 1984-11-09 1986-06-02 Iwata Electric:Kk 無線通話方式
US4856066A (en) * 1986-11-06 1989-08-08 Lemelson Jerome H Speech communication system and method
US5774039A (en) * 1987-07-15 1998-06-30 Housley; Todd B. Programmable doorbell control
US5657418A (en) * 1991-09-05 1997-08-12 Motorola, Inc. Provision of speech coder gain information using multiple coding modes
US5428388A (en) * 1992-06-15 1995-06-27 Richard von Bauer Video doorbell system
US5488351A (en) * 1993-08-02 1996-01-30 Motorola, Inc. Rocking vibrator alert apparatus driven by opposite phases of a frequency generator
US5550893A (en) * 1995-01-31 1996-08-27 Nokia Mobile Phones Limited Speech compensation in dual-mode telephone
US5790957A (en) * 1995-09-12 1998-08-04 Nokia Mobile Phones Ltd. Speech recall in cellular telephone
US5790019A (en) * 1996-03-15 1998-08-04 Edwin; Luke Emergency alarm system
US6108584A (en) * 1997-07-09 2000-08-22 Sony Corporation Multichannel digital audio decoding method and apparatus
US6236303B1 (en) * 1999-06-14 2001-05-22 Joerg Cornelius Wagner System for indicating the status of a hotel or similar room
US7061393B2 (en) * 2000-12-20 2006-06-13 Inncom International Inc. System and method for managing services and facilities in a multi-unit building
US6901159B2 (en) * 2001-01-31 2005-05-31 General Electric Company Communication of image data from image detector to host computer
US8139098B2 (en) * 2002-10-15 2012-03-20 Revolutionary Concepts, Inc. Video communication method for receiving person at entrance
US8144183B2 (en) * 2002-10-15 2012-03-27 Revolutionary Concepts, Inc. Two-way audio-video communication method for receiving person at entrance
US7216034B2 (en) * 2003-02-27 2007-05-08 Nokia Corporation System and method for an intelligent multi-modal user interface for route drawing
US7738917B2 (en) * 2003-03-31 2010-06-15 Vtech Telecommunications Limited Intercom/wireless door bell for multi-handset telephone system
US7791588B2 (en) 2003-12-22 2010-09-07 Immersion Corporation System and method for mapping instructions associated with haptic feedback
US20080036862A1 (en) * 2006-08-11 2008-02-14 Steve Lang Digital video surveillance system
US7583191B2 (en) * 2006-11-14 2009-09-01 Zinser Duke W Security system and method for use of same
US7746223B2 (en) * 2006-12-01 2010-06-29 Embarq Holdings Company, Llc System and method for receiving security content from wireless cameras
US8193919B2 (en) * 2007-05-05 2012-06-05 Peter Langer Apparatuses and methods for driving a doorbell system peripheral load at a higher current
US8077880B2 (en) * 2007-05-11 2011-12-13 Audyssey Laboratories, Inc. Combined multirate-based and fir-based filtering technique for room acoustic equalization
US7916020B2 (en) * 2007-06-11 2011-03-29 Seidel Stuart T Audible anti-theft tag
US8023532B2 (en) * 2008-04-17 2011-09-20 At&T Intellectual Property I, L.P. Variable bit rate communication system
US8983841B2 (en) * 2008-07-15 2015-03-17 At&T Intellectual Property, I, L.P. Method for enhancing the playback of information in interactive voice response systems
CA2691774C (en) * 2009-02-02 2014-11-18 Alarmforce Industries Inc. Security system with two-way communication and video
US20120044050A1 (en) * 2010-08-23 2012-02-23 Samir Vig Smart Doorbell Security System and Method to Identify Visitors
JP5887830B2 (ja) * 2010-12-10 2016-03-16 株式会社ニコン 電子機器及び振動方法
US9154747B2 (en) * 2010-12-22 2015-10-06 Pelco, Inc. Stopped object detection
US20130045763A1 (en) * 2011-04-28 2013-02-21 Cellnock Corporation System and method for providing notice of visitor
CN103635940A (zh) * 2011-05-02 2014-03-12 阿派基公司 用于使用便携式电子装置控制锁定机构的系统和方法
US20130057695A1 (en) * 2011-09-07 2013-03-07 Timothy J. Huisking Method and apparatus for unlocking/locking a door and enabling two-way communications with a door security system via a smart phone
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9116546B2 (en) * 2012-08-29 2015-08-25 Immersion Corporation System for haptically representing sensor input
US9208676B2 (en) * 2013-03-14 2015-12-08 Google Inc. Devices, methods, and associated information processing for security in a smart-sensored home
US9519346B2 (en) * 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US10044519B2 (en) * 2015-01-05 2018-08-07 SkyBell Technologies, Inc. Doorbell communication systems and methods
US9230424B1 (en) * 2013-12-06 2016-01-05 SkyBell Technologies, Inc. Doorbell communities
US10986454B2 (en) * 2014-01-06 2021-04-20 Alpine Electronics of Silicon Valley, Inc. Sound normalization and frequency remapping using haptic feedback
US9983011B2 (en) * 2014-10-30 2018-05-29 Echostar Technologies International Corporation Mapping and facilitating evacuation routes in emergency situations
CA2976319C (en) * 2015-02-20 2023-06-27 Ultrahaptics Ip Limited Algorithm improvements in a haptic system
JP6511355B2 (ja) * 2015-07-08 2019-05-15 クラリオン株式会社 報知装置および報知方法
US9990815B2 (en) 2016-02-18 2018-06-05 Immersion Corporation Wearable haptic effects with permissions settings
CN105536249B (zh) * 2016-02-18 2023-09-01 高创(苏州)电子有限公司 游戏系统
US10268272B2 (en) * 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
DK201670728A1 (en) * 2016-09-06 2018-03-19 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Feedback During Interaction with an Intensity-Sensitive Button
AU2016231584A1 (en) * 2016-09-22 2018-04-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
US10222864B2 (en) 2017-04-17 2019-03-05 Facebook, Inc. Machine translation of consonant-vowel pairs and syllabic units to haptic sequences for transmission via haptic device
US10198920B1 (en) * 2017-09-28 2019-02-05 Apple Inc. Wearable electronic device including audio output transducer and haptic actuator driving and related methods
US20190103004A1 (en) * 2017-10-02 2019-04-04 Immersion Corporation Haptic pitch control
US20190265792A1 (en) * 2018-02-23 2019-08-29 Immersion Corporation Systems and methods for haptifying virtual objects using smart stickers
US20200076866A1 (en) * 2018-08-30 2020-03-05 Immersion Corporation Systems, devices, and methods for streaming haptic effects

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022131083A (ja) * 2021-02-26 2022-09-07 任天堂株式会社 振動制御システム
JP7340556B2 (ja) 2021-02-26 2023-09-07 任天堂株式会社 振動制御システム
US12083420B2 (en) 2021-02-26 2024-09-10 Nintendo Co., Ltd. Vibration control system
WO2023008396A1 (ja) * 2021-07-27 2023-02-02 株式会社村田製作所 ハンドル、シェーバ、ヘアドライヤ、ヘアアイロン、ヘアブラシ、及びまつ毛カーラ

Also Published As

Publication number Publication date
US20200211337A1 (en) 2020-07-02
CN111381707A (zh) 2020-07-07
EP3674850A1 (en) 2020-07-01
US10748391B2 (en) 2020-08-18
KR20200081213A (ko) 2020-07-07

Similar Documents

Publication Publication Date Title
JP2020107320A (ja) ハプティック信号変換システム
JP6615307B2 (ja) 動的ハプティック変換システム
JP6739571B2 (ja) 周波数シフトを用いたハプティック変換システム
JP6549751B2 (ja) グラニュラーシンセシスを用いたハプティック変換システム
EP3040810B1 (en) Audio enhanced simulation of high bandwidth haptic effects
EP2846221B1 (en) Method, system and computer program product for transforming haptic signals
US9508236B2 (en) Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
EP2937863A2 (en) Automatic tuning of haptic effects
CN104049733A (zh) 自动触觉效果调节系统
US20170090577A1 (en) Haptic effects design system
KR20150028732A (ko) 세그먼트화 및 결합을 사용한 햅틱 변환 시스템
JP7060288B2 (ja) リアルタイムハプティクス生成
JP7278037B2 (ja) ハプティックエフェクトの符号化およびレンダリングシステム
JP2019067396A (ja) ハプティックピッチ制御
JPWO2020031497A1 (ja) 触覚提示装置の事前駆動
US11809630B1 (en) Using a haptic effects library to determine whether to provide predefined or parametrically-defined haptic responses, and systems and methods of use thereof