JP2019220175A - センサ融合による触覚効果の多レート制御のシステムと方法 - Google Patents

センサ融合による触覚効果の多レート制御のシステムと方法 Download PDF

Info

Publication number
JP2019220175A
JP2019220175A JP2019109182A JP2019109182A JP2019220175A JP 2019220175 A JP2019220175 A JP 2019220175A JP 2019109182 A JP2019109182 A JP 2019109182A JP 2019109182 A JP2019109182 A JP 2019109182A JP 2019220175 A JP2019220175 A JP 2019220175A
Authority
JP
Japan
Prior art keywords
sensor
signal
haptic
output
output device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019109182A
Other languages
English (en)
Inventor
ファン マヌエル クルス−エルナンデス、
Juan Manuel Cruz-Hernandez
ファン マヌエル クルス−エルナンデス、
ダニー エイ. グラント、
A Grant Danny
ダニー エイ. グラント、
クリストファー ジェイ. ウルリッヒ、
j ullrich Christopher
クリストファー ジェイ. ウルリッヒ、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2019220175A publication Critical patent/JP2019220175A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)

Abstract

【課題】センサ融合による触覚効果の多レート制御のシステム及び方法を提供する。【解決手段】システムは、触覚効果を出力するべく構成された触覚出力デバイスと、該触覚出力デバイスの出力を感知して第1センサ信号を生成するべく構成された第1センサと、第1センサと通信するプロセッサとを含む。プロセッサは、第1センサから第1センサ信号を第1レートでサンプリングすることと、基準信号を受信することと、第1センサ信号と基準信号との間の誤差を決定することと、基準信号及び誤差に少なくとも部分的に基づいて触覚信号を生成することと、触覚信号に基づいて触覚効果を出力するべく構成された触覚出力デバイスに触覚信号を送信することと、第1レートよりも低い第2レートで第1センサ信号をサンプリングすることとを行うべく構成される。【選択図】図3

Description

本願は触覚効果の分野に関する。詳しくは、本願は、センサ融合による触覚効果の多レート制御に関する。
触覚効果は、一般にデバイスにおける、特には携帯型デバイスにおける、使い勝手を向上させる。これにより、触覚の実装の幅が広がっている。触覚が多様なデバイスに実装されるにつれて、一定範囲の異なるデバイス間で高品質かつ一貫性のある触覚効果を確保する一方で触覚が与えられるデバイスを効率的に利用することが困難になり得る。そのような触覚効果の品質及び一貫性を確保するのに役立つセンサ融合による触覚効果の多レート制御のシステム及び方法が必要とされる。
一実施形態において、センサ融合による触覚効果の多レート制御のシステムは、触覚効果を出力するべく構成された触覚出力デバイスと、当該触覚出力デバイスの出力を感知して第1センサ信号を生成するべく構成された第1センサと、第1センサと通信するプロセッサとを含む。プロセッサは、第1センサから第1センサ信号を第1レートでサンプリングすることと、基準信号を受信することと、第1センサ信号と当該基準信号との間の誤差を決定することと、当該基準信号及び誤差に少なくとも部分的に基づいて触覚信号を生成することと、当該触覚信号に基づいて触覚効果を出力するべく構成された触覚出力デバイスに当該触覚信号を送信することと、第1レートよりも低い第2レートで第1センサ信号をサンプリングすることとを行うべく構成される。
他実施形態において、システムは、触覚効果を出力するべく構成された触覚出力デバイスと、当該触覚出力デバイスの出力を感知して第1センサ信号を生成するべく構成された第1センサと、当該触覚出力デバイスの出力を感知してセンサ信号を生成するべく構成された第2センサと、第1センサ及び第2センサと通信するプロセッサとを含む。プロセッサは、第1センサから第1センサ信号を受信することと、第2センサから第2センサ信号を受信することと、第1センサ信号及び第2センサ信号に少なくとも部分的に基づいて触覚信号を生成することと、当該触覚信号に基づいて触覚効果を出力するべく構成された触覚出力デバイスに当該触覚信号を送信することとを行うべく構成される。
他実施形態は、センサ融合による触覚効果の多レート制御の方法を含み、当該方法は、触覚出力デバイスの出力を感知するべく構成された第1センサから第1センサ信号を第1レートでサンプリングすることと、基準信号を受信することと、第1センサ信号と当該基準信号との間の誤差を決定することと、当該基準信号及び誤差に少なくとも部分的に基づいて触覚信号を生成することと、当該触覚信号に基づいて触覚効果を出力するべく構成された触覚出力デバイスに当該触覚信号を送信することと、第1レートよりも低い第2レートで第1センサ信号をサンプリングすることとを含む。他実施形態において、非一時的コンピュータ可読媒体が、プロセッサにより実行されると上述の方法を可能にするべく構成されたプログラムコードを含み得る。
これらの具体的な実施形態は、本主題を限定し又はその限定を画定することなく、その理解を補助する例を与えるべく言及される。具体的な実施形態が詳細な説明に説明され、そこには、さらなる記載も与えられる。様々な実施形態により提供される利点が、本明細書を精査することにより、及び/又は請求項に記載される主題の一つ以上の実施形態を実施することにより、さらに理解される。
完全かつ実施可能な開示が、本明細書の残り部分に詳細に記載される。本明細書は、以下の添付図面を参照する。
一実施形態におけるセンサ融合による触覚効果の多レート制御の具体的なシステムを示す。 一実施形態におけるセンサ融合による触覚効果の多レート制御の他の具体的なシステムを示す。 一実施形態に係る方法300を示すフローチャートである。
ここで、様々なかつ代替の具体的な実施形態を及び添付の図面を詳細に参照する。説明を介するが、制限としてではなく、各例が与えられる。当業者にわかることだが、修正及び変形を行うことができる。例えば、一実施形態の一部として示され又は記載される特徴を、他実施形態において、なおもさらなる実施形態を得るべく使用することができる。すなわち、添付の特許請求の範囲及びその均等物の範囲内に入る修正及び変形が本開示に含まれることが意図される。
センサ融合による触覚効果の多レート制御のシステムの具体的な例
一つの具体的な実施形態において、スマートフォンのような携帯型デバイスでの携帯型アプリケーションの実行により、ユーザが様々なタスクを行うことができる。携帯型アプリケーションは、仮想ボタンのようなユーザインタフェイス要素をユーザに与えるインタフェイスを含む。ユーザが、ボタンの箇所においてスマートフォンのタッチ画面に触れると、アプリケーションは、当該ボタンに関連付けられた機能を実行する。
ユーザインタフェイスとのユーザの相互作用が、ユーザのアクションに応答する触覚効果を与えることによって改善される。例えば、ユーザが仮想ボタンを押すと、具体的な実施形態における携帯型デバイスは、当該ボタンの押圧が成功したことをユーザに知らせるべく、きびきびとしたクリック感を出力する。携帯型電話機は、触覚フィードバックを与えるべく線形共振アクチュエータ(LRA)を利用し得る。または、携帯型デバイスは、異なるタイプの触覚出力デバイスを使用してよい。
具体的な実施形態における携帯型デバイスは、触覚出力デバイスの出力を感知する複数のセンサを含む。こうしたセンサにより生成されたセンサ信号を、複数のデバイスにわたって、及び多数のアクチュエータにわたって触覚効果が一貫していることを保証するべく使用することができる。そして、複数のセンサを使用することにより、いくつかの実施形態は、触覚効果をどのように出力するのかの広い全体像を与えることができる。具体的な実施形態においてのように、閉ループ制御は、触覚効果の制御に役立つプログラム可能な減衰を加えることができる。かかる制御は、プログラム可能な減衰を確実に生成するべく、相対的に高いサンプリングレート及び制御ループレート(例えば約15KHzを超える)を要求するのが典型的である。アクチュエータを制御するべく減衰を加える利益は、信号によりアクチュエータを駆動した後にコマンド(基準)信号がゼロとなるときに不要な振動を除去することにある。そのような高周波数のサンプリングレートを維持することが常に可能というわけではないことが有利となり得る。マイクロコントローラが、閉ループコントローラからの要求により飽和するようになるかもしれないからである。よって、いくつかの場合において(効果出力なし)低周波数のサンプリングレートを使用し、他の状況(触覚効果が出力される)において高周波数のサンプリングレートを使用するように適合することのできるコントローラを有することが望ましい。
具体的な実施形態は、様々なセンサ信号を融合して一緒にする。複数の均質のセンサ、例えば同じタイプのセンサの場合、スマートフォンにおけるプロセッサは、当該信号を平均化することができる。他実施形態において、プロセッサは、信号を正規化する必要があり得る。すなわち、信号の少なくともいくつかを何らかの方法で修正して組み合わせられるようにする必要があり得る。
携帯型デバイスにおけるプロセッサが、センサ信号をサンプリングする。高品質の一貫した効果を与えるべく、プロセッサは、信号が出力されている間、相対的に高いサンプリングレート、近似的に50マイクロ秒で信号をサンプリングする。その後、プロセッサは、効果が完了した後に第2の遅いサンプリングレート、例えば1ミリ秒に切り替わる。このようにしてプロセッサは、高いレートで一貫したサンプリングがされた場合よりも効率的に使用される。
先の例は、単なる例示であって、請求項に係る発明を多少なりとも制限する意図はない。
センサ融合による触覚効果の多レート制御の具体的なシステム
図1は、センサ融合による触覚効果の多レート制御の具体的なシステム100を示す。特に、この例において、システム100は、バス106を介して他のハードウェアとのインタフェイスをなすプロセッサ102を有するコンピューティングデバイス101を含む。デバイス101は、例えば携帯型電話機又はパッドを含む任意のタイプのデバイスとしてよい。RAM、ROM、EEPROM等のような任意の適切な有体的な(かつ非一時的な)コンピュータ可読媒体を含み得るメモリ104により、コンピューティングデバイスの動作を設定するプログラムコンポーネントが具体化される。この例において、コンピューティングデバイス101はさらに、一つ以上のネットワークインタフェイスデバイス110、入力/出力(I/O)インタフェイスコンポーネント112、及び付加的ストレージ114を含む。
ネットワークデバイス110は、ネットワーク接続を容易にする任意のコンポーネントの一つ以上を代表し得る。例としては、イーサネット(登録商標)、USB、IEEE1394のような有線インタフェイス、及び/又はIEEE802.11、ブルートゥース(登録商標)、若しくはセルラ電話ネットワークにアクセスするための無線インタフェイス(例えばCDMA、GSM(登録商標)、UMTS、又は他の移動通信ネットワークにアクセスするためのトランシーバ/アンテナ)のような無線インタフェイスを含むがこれらに限られない。
VR及びARヘッドセット若しくはタッチスクリーンのような一つ以上のディスプレイ、タッチ画面ディスプレイ、キーボード、マウス、スピーカ、マイクロフォン、カメラ、及び/又はデータを入出力するべく使用される他のハードウェアのようなデバイスとの接続を容易にするべく、I/Oコンポーネント112を使用することができる。仮想又は拡張現実環境において使用される実施形態において、I/Oコンポーネント112は、ハンドヘルドVRコントローラを含み得る。ストレージ114は、デバイス101に含まれる磁気、光又は他のストレージ媒体のような不揮発性ストレージを代表する。
システム100はさらに、この例においてデバイス101に統合されたタッチ表面116を含む。タッチ表面116は、ユーザのタッチ入力を感知するべく構成された任意表面を代表する。タッチ表面116は、例えば一つ以上のボタンのような、ユーザが相互作用をすることができるインタフェイス要素を表示するディスプレイを含み得る。
一つ以上のセンサ108は、オブジェクトがタッチ表面と接触してプロセッサ102により使用される適切なデータを与えるときに、タッチエリアにおけるタッチを検出するべく構成される。センサ108はまた、触覚出力デバイス118の出力を検出するべく使用することができる。任意の適切な数、タイプ又は配列のセンサを使用することができる。例えば、抵抗性及び/又は容量性のセンサをタッチ表面116に埋め込んで使用し、圧力のようなタッチ及び他の上方の位置を決定することができる。他例として、タッチ位置を決定するべく、タッチ表面を視野とする光センサを使用してよい。出力される触覚効果を決定するセンサ108はまた、加速度計、ホール効果センサ又は光センサを含み得る。
いくつかの実施形態において、センサ108、タッチ表面116及びI/Oコンポーネント112は、タッチ画面ディスプレイのような一つのコンポーネントに統合してよい。例えば、いくつかの実施形態において、タッチ表面116及びセンサ108は、ディスプレイ信号を受信してユーザに画像を出力するべく構成されたディスプレイの頂面に搭載されたタッチ画面を含み得る。かかる実施形態は、スタンドアロンのパッドとして使用されるもののような、又は車両のようなアプリケーションにおける、スマートフォン又はタッチパッドを含んでよい。
他実施形態において、センサ108は、LED検出器を含み得る。例えば、一実施形態において、タッチ表面116は、ディスプレイの側部に搭載されたLED指検出器を含み得る。いくつかの実施形態において、プロセッサ102は、一つのセンサ108と通信し、他の実施形態において、プロセッサは、複数のセンサ108、例えば第1タッチ画面及び第2タッチ画面と通信する。センサ108は、ユーザ相互作用、触覚効果、又は他のアクションを検出し、当該アクションに基づいてセンサ信号をプロセッサ102に送信するべく構成される。いくつかの実施形態において、センサ108は、ユーザ相互作用の多側面を検出するべく構成することができる。例えば、センサ108は、ユーザ相互作用の速度及び圧力を検出してこの情報をインタフェイス信号に組み入れることができる。同様に、センサ108(又は多数のセンサ108)が、振幅、方向、周波数又は他の特性のような、出力触覚効果の多数の特性を検出し得る。
デバイス101はさらに、触覚出力デバイス118を含む。図1に示される例において、触覚出力デバイス118は、プロセッサ102と通信し、タッチ表面116に結合される。図1に示される実施形態は、一つの触覚出力デバイス118を含む。他実施形態において、コンピューティングデバイス101は、複数の触覚出力デバイスを含んでよい。
一つの触覚出力デバイス118がここに示されるにもかかわらず、実施形態は、触覚効果を出力するべくそれと同じ又は異なるタイプの多数の触覚出力デバイスを使用することができる。例えば、触覚出力デバイス118は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モータ(ERM)若しくは線形共振アクチュエータ(LRA)、薄型(low profile)触覚アクチュエータ、触覚テープ、又は、静電摩擦(ESF)アクチュエータのような、静電効果を出力するべく構成された触覚出力デバイスの一つ以上を含み得る。いくつかの実施形態において、触覚出力デバイス118は、複数のアクチュエータ、例えば、薄型触覚アクチュエータ、圧電アクチュエータ及びLRAを含み得る。
メモリ104を参照すると、どのようにしてデバイスを、触覚効果を決定及び出力するように構成することができるのかを例示するべく、典型的なプログラムコンポーネント124、126及び128が描かれる。この例において、検出モジュール124により、プロセッサ102は、タッチ位置を決定するべくセンサ108を介してタッチ表面116をモニタリングするように構成される。例えば、モジュール124は、タッチの存在若しくは不在を追跡するべく、及び、タッチが存在する場合は、タッチの経時的な箇所、経路、速度、加速度、圧力、及び/又は他の特性の一つ以上を追跡するべく、センサ108をサンプリングすることができる。代替的に又は付加的に、検出モジュール124は、触覚出力デバイス118からの出力を検出するべく構成してよい。
触覚効果決定モジュール126は、出力触覚効果及び基準信号に関するデータを解析するプログラムコンポーネントを代表し、触覚出力デバイス118に送信すべき駆動信号を決定する。
触覚効果生成モジュール128は、プロセッサ102に触覚信号を生成させて当該触覚信号を触覚出力デバイス118に送信させるプログラミングを代表する。これにより、触覚出力デバイス118は、選択された触覚効果を生成する。例えば、生成モジュール128は、触覚出力デバイス118に送信される格納された波形又はコマンドにアクセスすることができる。他例として、触覚効果生成モジュール128は、所望されたタイプの触覚効果を受信し、触覚出力デバイス118に送信される適切な信号を生成するべく信号処理アルゴリズムを利用することができる。さらなる例として、所望された触覚効果を、触覚効果を与える表面(及び/又は他のデバイスコンポーネント)の適切な変位を生成するべく、テクスチャのための標的座標、及び一つ以上のアクチュエータに送信される適切な波形とともに示すことができる。いくつかの実施形態は、特徴を模擬するのと同時に多数の触覚出力デバイスを利用することができる。例えば、インタフェイス上のボタン間の境界を横切ることを模擬するべくテクスチャの変化を使用することができる一方、ボタンが押されたときの応答は振動触覚効果が模擬する。
図2は、一実施形態におけるセンサ融合による触覚効果の多レート制御の他の具体的なシステムを示す。図2に示される実施形態において、基準信号202がシステムに与えられる。基準信号202は、設計者がデバイスにより出力されるように望む触覚効果を代表する。例えば、設計者は、非常にきびきびした機械的な感触の仮想ボタンを望み得る。他実施形態において、触覚効果設計者は、振動の又はサクサクした感触の触覚効果を望み得る。基準信号202は、設計者の望み又は設計選択肢を反映する。
基準信号は、以下に記載されるコンパレータに与えられ、その後、フィードバックループコントローラ204に与えられる。フィードバックループコントローラは、信号を増幅器206に与える。基準信号202は、所望の触覚出力を反映するように意図される。基準信号202は、例えば周波数、振幅、持続時間及び波形を含む様々な特性を含む。これらの特性により、フィードバックループコントローラ204は、特定のアルゴリズムを利用することができ、増幅器206は特定の利得を利用することができる。他実施形態において、フィードバック制御のタイプ及び利得のレベルは固定されてよい。一例として、増幅器206に対して適切な利得を選択するべく、所望の形状対実際の形状を利用することができる。例えば、一実施形態が、テール又は効果を短くするべく設計され得る。他実施形態が、効果の立ち上がり、又は効果の立ち上がり及びテール双方を管理するべく設計され得る。他実施形態において、利得を選択するべく基準信号202の周波数を使用することができる。
増幅器206は、触覚又は駆動信号を生成し、当該触覚信号を触覚出力デバイス208に送信する。触覚出力デバイス208は、例えばLRA、振動アクチュエータ、又はカンチレバー圧電アクチュエータを含む任意の種類のアクチュエータとしてよい。
触覚出力デバイス208の出力はその後、センサ210によって感知される。センサ210は、様々なタイプのセンサを含んでよく、複数のセンサを含んでよい。例えば、センサ210は、ホール効果センサ、触覚出力デバイス208内の動きを感知する位置センサ、加速度計、ジャイロスコープ、カメラ若しくは赤外線センサのような光センサ、又は触覚出力デバイスの出力を検出して当該出力触覚効果に対応するセンサ信号を生成するための任意の他のタイプのセンサ若しくはセンサの組み合わせを含み得る。触覚出力デバイス208及びセンサ210が別個のコンポーネントとして示されるが、これらは、いくつかの実施形態において組み合わせることができる。図示の実施形態において、触覚出力デバイス208及びセンサ210は、携帯型デバイス212内に包含される。携帯型デバイス212は、例えば、スマートフォン、タブレット、又は例えば車両に搭載されたデバイスを含み得る。
センサ信号は、基準信号202とセンサ210により出力されるセンサ信号との間の誤差を決定するべく、コンパレータ214に与えられる。図示の実施形態において、基準信号202及びセンサ信号は、同じタイプの信号とする必要がある。すなわち、基準信号には、所望の触覚フィードバック効果の設計がそのままで、触覚出力デバイスから何を出力するのかが反映される。しかしながら、他実施形態において、誤差を決定するべく異なるタイプの信号が使用され得る。誤差はその後、フィードバックループコントローラ204に与えられる。フィードバックループコントローラ204は、誤差を使用して駆動信号を調節する。
フィードバックループコントローラ204は様々なタイプとしてよい。例えば、フィードバックループコントローラ204は、比例微分(PD)、比例積分微分(PID)、又はリードラグコントローラとしてよい。コントローラのタイプは特定のアプリケーションに基づいてよい。例えば、リードラグコントローラは、実質的な減衰を与えるので、きびきびとした効果が望まれるときに使用することができる。フィードバックループコントローラ204は、基準信号202のタイプに基づいて選択することができる。このようにして、図2に示されるシステムは、様々なデバイスにわたって同じ基準信号を使用している間に、触覚効果の形状(例えば鋭い効果対テールのある効果)、振幅及び持続時間を制御することができる。
いくつかの実施形態において、図2に示されるコンポーネントは、チップ上に実装することができる。他実施形態において、コンポーネントは、携帯型デバイスにおいて実行されるソフトウェアとして実装され得る。さらなる実施形態において、コンポーネントは、一つ以上のチップと、デバイス上のソフトウェアとの組み合わせとして実装してもよい。他の構成もまた実装することができる。例えば、いくつかの実施形態において、コンポーネントは、命令セットを有する汎用コアを使用するASICに実装することができる。ASICは、パラメータにより制御してよい。例えば、ASICは、その動作を制御する多数のパラメータを有する多数のコントローラ又は一つのコントローラを含み得る。
センサ融合による触覚効果の多レート制御の方法の具体的な例
図3は、一実施形態に係る方法300を示すフローチャートである。図示のプロセスは、プロセッサが、触覚出力デバイスの出力に対応するセンサ信号を第1レート302でサンプリングするところから開始する。一実施形態において、第1レートは、プロセッサが触覚出力デバイスの詳細な制御を与えて触覚出力デバイスからの高品質の触覚効果を確保することができる相対的に高いレートである。
プロセッサはまた、基準信号304も受信する。図示の実施形態における基準信号は、触覚出力デバイスが正確に触覚効果をもたらした場合に生成されるセンサ信号を代表することが意図される。
プロセッサはその後、基準信号とセンサ信号303との間の誤差を決定する。例えば、センサ信号及び基準信号は、センサ信号が基準信号を近似するように設計され得る。すなわち、両信号間にいずれかの誤差又は差異があれば、出力される触覚効果が基準信号を正確に反映していないことを示す。
いくつかの実施形態において、センサは複数のセンサを含んでよい。複数のセンサからの信号が、触覚出力デバイスがどのようにして触覚効果を出力するのかの正確な観点を与えるべく、融合される。これらのセンサは、均質又は不均質としてよい。均質のセンサは、実質的に類似する。例えば、一実施形態が、複数の類似する加速度計又は光センサを利用し得る。しかしながら、かかる実施形態は、複数の同一のセンサの利用を必要とするわけではない。均質のセンサの場合、多数の信号の特性が類似するはずなので、センサ信号は平均化され得る。センサが不均質の場合、複数の信号のいくつか又はすべてを、基準信号と比較され得るように修正する必要があり得る。
プロセッサは次に、触覚効果信号を生成して触覚出力デバイスを駆動する。触覚効果信号は、少なくとも部分的に誤差308に基づく。例えば、プロセッサは、決定された誤差を使用して基準信号を修正した後で、修正された駆動信号を出力することができる。プロセッサは次に、触覚信号を触覚出力デバイスに送信する。触覚出力デバイスはその後、触覚効果312を出力する。
プロセッサはその後、触覚出力デバイスの出力に対応するセンサ信号を、第2レート314でサンプリングする。第2レートは、第1レートよりも低いレートとしてよい。例えば、一実施形態において、第1レートを近似的に50ミリ秒とし、第2レートを近似的に1ミリ秒としてよい。プロセッサは、他の触覚効果が出力されるまでずっと第2レートでサンプリングをし続け、その後、当該効果が出力されるときにプロセッサが切り替わって、高品質効果が出力されることを確保するべく第1の高いレートに再び戻ることができる。いくつかの実施形態において、プロセッサは、図3に示される方法を達成するべく多数のスレッドを利用してよい。図3に示されるプロセッサ300は、図1及び2に示されるシステム、又は触覚効果の閉ループ生成を行う他のシステムが行ってよい。
ここに記載される実施形態は、触覚効果を生成する従来型システムに対して数え切れないほどの利点を与える。例えば、実施形態が、デバイスにおける限られた処理サイクルの効率的な使用を与え得る。例えば、携帯型デバイスのプロセッサが、入力、表示及び通信を、多くの他のタスクとともに管理する。閉ループ触覚には、当該効果が出力されている間にかなりの数の処理サイクルが必要となり得るので、いくつかの実施形態は、当該効果が出力される間のサンプリングレートを増加させることによってのみ、当該効果を制御するのに必要なサイクル量を最小化することができる。
センサ融合を利用する実施形態は、触覚効果の挙動が多数のセンサによって多数のやり方で解析されるので、正確な触覚効果を与えることができる。この態様において、いくつかの実施形態は、異なるタイプ及びモデルのスマートフォンのような様々な携帯型デバイスにおいてであっても、複数のアクチュエータ又は他の触覚出力デバイスにわたって一貫した効果を与えることができる。
一般的な考慮事項
上述した方法、システム及びデバイスは例である。様々な構成は、適切な場合には、様々な手順又は部品を省略し、置換し、又は追加することができる。例えば、代替構成において、方法は、上述されたものとは異なる順序で行うことができ、並びに/又は、様々なステージを追加、省略、及び/若しくは結合することができる。また、所定の構成に関して記載された特徴は、様々な他構成と組み合わせることができる。当該構成の異なる側面及び要素を、同様の態様で組み合わせることができる。また、技術は進化するので、要素の多くは例であって本開示又は特許請求の範囲を制限することはない。
構成例(実装形態を含む)の完全な理解を与えるべく、本記載において特定の詳細が与えられる。しかしながら、構成は、これら特定の詳細なしに実施することもできる。例えば、当該構成が曖昧になるのを避けるべく、不要な詳細なしに周知の回路、プロセス、アルゴリズム、構造及び技法が示されてきた。本記載は、構成例のみを与え、請求項の範囲、適用性又は構成を制限することがない。むしろ、当該構成の先の記載は、当業者に対し、記載の技法を実装する実施可能な説明を与える。本開示の要旨又は範囲から逸脱することなく、要素の機能及び配列において様々な変更がなし得る。
また、構成は、フロー図又はブロック図として描かれるプロセスとして記載することができる。それぞれが順次プロセスとして動作を記載し得るにもかかわらず、当該動作の多くは並列して又は同時に行うこともできる。加えて、当該動作の順序は再配列してよい。プロセスは、図面に含まれない付加的なステップを有してよい。さらに、方法の例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせにより実装してよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実施されるとき、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体のような非一時的コンピュータ可読媒体に格納することができる。プロセッサが、上記タスクを行い得る。
いくつかの構成例が記載されてきたが、本開示の要旨から逸脱することなく、様々な修正、代替構造及び均等物を使用することができる。例えば、上記要素は、大きなシステムの部品としてよく、ここで、他のルールが本発明の適用よりも優先され、そうでなければ本発明の適用を修正してよい。また、上記要素が考慮される前に、間に、又は上記要素が考慮された後に、一定数のステップを行うことができる。したがって、上記記載は、特許請求の範囲を拘束しない。
ここでの「〜するべく適合され」又は「〜するべく構成され」との使用は、付加的なタスク又はステップを行うべく適合され又は構成されたデバイスを排除しないオープンかつ包括的な言語を意味する。加えて、「〜に基づいて」の使用も、一つ以上の記載条件「に基づいて」のプロセス、ステップ、計算又は他の動作が、実際のところ、記載されたものを超える付加的な条件又は値に基づき得る点で、オープンかつ包括的な意味である。ここに含まれる見出し、リスト及び番号付けは、説明の容易のみを目的とし、制限を意味しない。
本主題の側面に係る実施形態は、デジタル電子回路に、コンピュータハードウェア、ファームウェア、ソフトウェアに、又は前述の組み合わせに実装することができる。一実施形態において、コンピュータは、一つのプロセッサ又は複数のプロセッサを含んでよい。プロセッサは、当該プロセッサに結合されたランダムアクセスメモリ(RAM)のようなコンピュータ可読媒体を含み、又はこれへのアクセスを有する。プロセッサは、上述の方法を行うためのセンササンプリングルーチン、選択ルーチン、及び他のルーチンを含む一つ以上のコンピュータプログラムの実行のような、メモリに格納されたコンピュータ実行可能プログラム命令を実行する。
かかるプロセッサは、マイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)及び状態機械を含み得る。かかるプロセッサはさらに、例えばPLC、プログラマブル割り込みコントローラ(PIC)、プログラマブルロジック装置(PLD)、プログラマブルリードオンリーメモリ(PROM)、電子的プログラム可能リードオンリーメモリ(EPROM又はEEPROM)又は他の同様の装置のようなプログラマブル電子装置を含み得る。
かかるプロセッサは、例えば有体コンピュータ可読媒体のような媒体を含み又はこれと通信する。媒体は、プロセッサにより実行されると、プロセッサにより実行され又は補助されるここに記載のステップを、当該プロセッサに行わせることができる命令を格納する。コンピュータ可読媒体の実施形態は、ウェブサーバにおけるプロセッサのようなプロセッサにコンピュータ可読命令を与えることができるすべての電子、光、磁気又は他の記憶装置を含むがこれらに限られない。他の例の媒体は、フロッピーディスク(登録商標)、CD−ROM、磁気ディスク、メモリチップ、ROM、RAM、ASIC、構成プロセッサ、すべての光媒体、すべての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含むがこれらに限られない。また、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送デバイスのような様々な他のデバイスは、コンピュータ可読媒体を含み得る。記載されたプロセッサ及び処理は一以上の構造にあり、及び一つ以上の構造に分散させることもできる。プロセッサは、ここに記載された方法(又は方法の部分)の一以上を実行するコードを含み得る。
本主題を特定の実施形態について詳細に述べたが、前述したことを理解すれば、当業者が、かかる実施形態の改変、変形及び均等物を容易にもたらし得ることは明かである。したがって、理解すべきことだが、本開示は、限定ではなく例示を目的として提示されており、当業者にとって容易に明らかとなる本主題のそのような修正、変形及び/又は付加を含むことを排除しない。

Claims (19)

  1. 方法であって、
    触覚出力デバイスの出力を感知するべく構成された第1センサから第1センサ信号を第1レートでサンプリングすることと、
    基準信号を受信することと、
    前記第1センサ信号と前記基準信号との間の誤差を決定することと、
    前記基準信号及び前記誤差に少なくとも部分的に基づいて触覚信号を生成することと、
    前記触覚信号に基づいて触覚効果を出力するべく構成された触覚出力デバイスに前記触覚信号を送信することと、
    前記第1レートよりも低い第2レートで前記第1センサ信号をサンプリングすることと
    を含む、方法。
  2. 前記第1レートは近似的に50マイクロ秒を含み、
    前記第2レートは近似的に1ミリ秒を含む、請求項1の方法。
  3. 前記触覚出力デバイスの出力を感知するべく構成された第2センサから第2センサ信号をサンプリングすることと、
    前記第1センサ信号と前記第2センサ信号とを融合して融合センサ信号をもたらすことと
    をさらに含み、
    前記誤差を決定することは、前記基準信号と前記融合センサ信号との間の誤差を決定することを含む、請求項1の方法。
  4. 前記第1センサと前記第2センサとは均質である、請求項3の方法。
  5. 前記第1センサと前記第2センサとは不均質である、請求項3の方法。
  6. 前記第1センサ信号又は前記基準信号の特性に基づいて前記第2センサ信号を修正することをさらに含む、請求項5の方法。
  7. 方法であって、
    触覚出力デバイスの出力を感知するべく構成された第1センサから第1センサ信号を受信することと、
    前記触覚出力デバイスの出力を感知するべく構成された第2センサから第2センサ信号をサンプリングすることと、
    前記第1センサ信号及び前記第2センサ信号に少なくとも部分的に基づいて触覚信号を生成することと、
    前記触覚信号に基づいて触覚効果を出力するべく構成された触覚出力デバイスに前記触覚信号を送信することと
    を含む、方法。
  8. 前記第1センサと前記第2センサとは均質である、請求項7の方法。
  9. 前記第1センサと前記第2センサとは不均質である、請求項7の方法。
  10. システムであって、
    触覚効果を出力するべく構成された触覚出力デバイスと、
    前記触覚出力デバイスの出力を感知して第1センサ信号を生成するべく構成された第1センサと、
    前記第1センサと通信するプロセッサと
    を含み、
    前記プロセッサは、
    前記第1センサから前記第1センサ信号を第1レートでサンプリングすることと、
    基準信号を受信することと、
    前記第1センサ信号と前記基準信号との間の誤差を決定することと、
    前記基準信号及び前記誤差に少なくとも部分的に基づいて触覚信号を生成することと、
    前記触覚信号に基づいて触覚効果を出力するべく構成された触覚出力デバイスに前記触覚信号を送信することと、
    前記第1レートよりも低い第2レートで前記第1センサ信号をサンプリングすることと
    を行うべく構成される、システム。
  11. 前記第1レートは近似的に50マイクロ秒を含み、
    前記第2レートは近似的に1ミリ秒を含む、請求項10のシステム。
  12. 前記プロセッサはさらに、
    前記触覚出力デバイスの出力を感知するべく構成された第2センサから第2センサ信号をサンプリングすることと、
    前記第1センサ信号と前記第2センサ信号とを融合して融合センサ信号をもたらすことと
    を行うべく構成され、
    前記誤差は、前記基準信号と前記融合センサ信号との間の誤差を決定することによって決定される、請求項10のシステム。
  13. 前記第1センサと前記第2センサとは均質である、請求項12のシステム。
  14. 前記第1センサと前記第2センサとは不均質である、請求項12のシステム。
  15. 前記プロセッサはさらに、前記第1センサ信号又は前記基準信号の特性に基づいて前記第2センサ信号を修正するべく構成される、請求項14のシステム。
  16. システムであって、
    触覚効果を出力するべく構成された触覚出力デバイスと、
    前記触覚出力デバイスの出力を感知して第1センサ信号を生成するべく構成された第1センサと、
    前記触覚出力デバイスの出力を感知して第2センサ信号を生成するべく構成された第2センサと、
    前記第1センサと通信するプロセッサと
    を含み、
    前記プロセッサは、
    前記第1センサから前記第1センサ信号を受信することと、
    前記第2センサから前記第2センサ信号を受信することと、
    前記第1センサ信号及び前記第2センサ信号に少なくとも部分的に基づいて触覚信号を生成することと、
    前記触覚信号に基づいて触覚効果を出力するべく構成された触覚出力デバイスに前記触覚信号を送信することと
    を行うべく構成される、システム。
  17. 前記第1センサと前記第2センサとは均質である、請求項16のシステム。
  18. 前記第1センサと前記第2センサとは不均質である、請求項16のシステム。
  19. 非一時的コンピュータ可読媒体であって、
    プロセッサにより実行されると前記プロセッサに、
    前記第1センサから前記第1センサ信号を第1レートでサンプリングすることと、
    基準信号を受信することと、
    前記第1センサ信号と前記基準信号との間の誤差を決定することと、
    前記基準信号及び前記誤差に少なくとも部分的に基づいて触覚信号を生成することと、
    前記触覚信号に基づいて触覚効果を出力するべく構成された触覚出力デバイスに前記触覚信号を送信することと、
    前記第1レートよりも低い第2レートで前記第1センサ信号をサンプリングすることと
    を行わせるべく構成されたプログラムコードを含む、非一時的コンピュータ可読媒体。
JP2019109182A 2018-06-15 2019-06-12 センサ融合による触覚効果の多レート制御のシステムと方法 Pending JP2019220175A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/010,209 2018-06-15
US16/010,209 US10649532B2 (en) 2018-06-15 2018-06-15 Systems and methods for multi-rate control of haptic effects with sensor fusion

Publications (1)

Publication Number Publication Date
JP2019220175A true JP2019220175A (ja) 2019-12-26

Family

ID=66867074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019109182A Pending JP2019220175A (ja) 2018-06-15 2019-06-12 センサ融合による触覚効果の多レート制御のシステムと方法

Country Status (5)

Country Link
US (2) US10649532B2 (ja)
EP (1) EP3582081A1 (ja)
JP (1) JP2019220175A (ja)
KR (1) KR20190142229A (ja)
CN (1) CN110609610A (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10852830B2 (en) * 2018-09-11 2020-12-01 Apple Inc. Power efficient, dynamic management of haptic module mechanical offset
KR102141889B1 (ko) * 2019-02-19 2020-08-06 주식회사 동운아나텍 적응적 햅틱 신호 발생 장치 및 방법
US11467668B2 (en) * 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
US11416065B1 (en) * 2019-11-08 2022-08-16 Meta Platforms Technologies, Llc Synthesizing haptic and sonic feedback for textured materials in interactive virtual environments
US11579030B2 (en) * 2020-06-18 2023-02-14 Cirrus Logic, Inc. Baseline estimation for sensor system
US11868540B2 (en) 2020-06-25 2024-01-09 Cirrus Logic Inc. Determination of resonant frequency and quality factor for a sensor system
CN111736704B (zh) * 2020-06-29 2024-04-02 瑞声科技(新加坡)有限公司 触觉效果的设计方法及设备、计算机可读存储介质
US11573639B1 (en) 2021-10-20 2023-02-07 Immersion Corporation Apparatus and methods for localizing one or more effects in a haptic interface
US11983322B2 (en) 2021-10-20 2024-05-14 Immerson Corporation Systems and methods for controlling a multi-actuator system to generate a localized haptic effect
US11995240B2 (en) 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user
US11979115B2 (en) 2021-11-30 2024-05-07 Cirrus Logic Inc. Modulator feedforward compensation
US11854738B2 (en) 2021-12-02 2023-12-26 Cirrus Logic Inc. Slew control for variable load pulse-width modulation driver and load sensing

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6833846B2 (en) 2001-10-24 2004-12-21 Immersion Corporation Control methods for the reduction of limit cycle oscillations for haptic devices with displacement quantization
US8981682B2 (en) 2005-06-27 2015-03-17 Coactive Drive Corporation Asymmetric and general vibration waveforms from multiple synchronized vibration actuators
DE102008018474B4 (de) * 2008-04-11 2010-04-08 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Fahrassistenzanlage für Kraftfahrzeuge, Verfahren zum haptischen Warnen eines Fahrers eines Kraftfahrzeuges
CN106990811A (zh) * 2008-07-15 2017-07-28 意美森公司 用于触觉消息传输的系统和方法
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US20120229264A1 (en) 2011-03-09 2012-09-13 Analog Devices, Inc. Smart linear resonant actuator control
US20140267076A1 (en) * 2013-03-15 2014-09-18 Immersion Corporation Systems and Methods for Parameter Modification of Haptic Effects
US9632581B2 (en) * 2013-06-11 2017-04-25 Immersion Corporation Systems and methods for pressure-based haptic effects
WO2015113061A1 (en) * 2014-01-27 2015-07-30 Tactual Labs Co. Decimation strategies for input event processing
KR20150110356A (ko) * 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
US9846484B2 (en) * 2014-12-04 2017-12-19 Immersion Corporation Systems and methods for controlling haptic signals
US9746921B2 (en) * 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
EP3179335B1 (en) 2015-12-10 2020-03-04 Nxp B.V. Haptic feedback controller
US9875625B2 (en) * 2015-12-18 2018-01-23 Immersion Corporation Systems and methods for multifunction haptic output devices
US9886829B2 (en) * 2016-06-20 2018-02-06 Immersion Corporation Systems and methods for closed-loop control for haptic feedback

Also Published As

Publication number Publication date
US20200257370A1 (en) 2020-08-13
KR20190142229A (ko) 2019-12-26
CN110609610A (zh) 2019-12-24
US10649532B2 (en) 2020-05-12
US20190384397A1 (en) 2019-12-19
EP3582081A1 (en) 2019-12-18

Similar Documents

Publication Publication Date Title
JP2019220175A (ja) センサ融合による触覚効果の多レート制御のシステムと方法
US11287889B2 (en) Systems and methods for multi-level closed loop control of haptic effects
JP6603059B2 (ja) マルチタッチ型入力のための触覚効果を決定するためのシステム及び方法
JP6504809B2 (ja) 触覚的に動作可能とされる映写されたユーザインターフェースのためのシステム及び方法
US10572017B2 (en) Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments
US20190385421A1 (en) Systems and Methods for Controlling Actuator Drive Signals for Improving Transient Response Characteristics
JP6562695B2 (ja) 触覚効果の動的変更
US20150084875A1 (en) Enhanced haptic feedback for handheld mobile computing devices
TWI744606B (zh) 動作偵測系統、動作偵測方法及其電腦可讀記錄媒體
CN105653168A (zh) 电子设备及其控制方法
US9584640B2 (en) Portable information processing device, output control method for a projector, and recording medium
US20200192480A1 (en) Systems and methods for providing haptic effects based on a user's motion or environment
CN110609615A (zh) 用于在增强现实中集成触觉覆盖的系统和方法
US10747321B2 (en) Systems and methods for differential optical position sensing for haptic actuation
US20200387246A1 (en) Systems and methods for particle jamming haptic feedback
KR20190122570A (ko) 증강 또는 가상 현실 환경들을 위한 크로스-플랫폼 동적 햅틱 효과 설계 도구
KR20190125322A (ko) 햅틱 피드백을 수행하기 위한 다중 속도처리장치
US11809630B1 (en) Using a haptic effects library to determine whether to provide predefined or parametrically-defined haptic responses, and systems and methods of use thereof
US9606710B1 (en) Configuring movement-based user interface control