JP2007507767A - ハプティックス伝送システム - Google Patents

ハプティックス伝送システム Download PDF

Info

Publication number
JP2007507767A
JP2007507767A JP2006527466A JP2006527466A JP2007507767A JP 2007507767 A JP2007507767 A JP 2007507767A JP 2006527466 A JP2006527466 A JP 2006527466A JP 2006527466 A JP2006527466 A JP 2006527466A JP 2007507767 A JP2007507767 A JP 2007507767A
Authority
JP
Japan
Prior art keywords
signal
data
output device
haptic output
haptic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006527466A
Other languages
English (en)
Other versions
JP4800949B2 (ja
Inventor
ハードウィック、アンドリュー・ジョン
ファーナー、スティーブン・マイケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Telecommunications PLC
Original Assignee
British Telecommunications PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by British Telecommunications PLC filed Critical British Telecommunications PLC
Publication of JP2007507767A publication Critical patent/JP2007507767A/ja
Application granted granted Critical
Publication of JP4800949B2 publication Critical patent/JP4800949B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • A63F13/12
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/358Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/534Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for network load management, e.g. bandwidth optimization, latency reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/54Store-and-forward switching systems 
    • H04L12/56Packet switching systems
    • H04L12/5601Transfer mode dependent, e.g. ATM
    • H04L2012/5603Access techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Small-Scale Networks (AREA)

Abstract

ハプティックエフェクタの位置がネットワークから受信される信号で制御される、ハプティックス伝送におけるネットワーク待ち時間を補償するための方法。該方法は、該ハプティックエフェクタの一連の位置を記憶することと、フーリエ変換又は他の手段を使用して該一連の位置から、振幅が増大し、増大する周波数を該ハプティックエフェクタの力と方向を命令する出力信号から排除するためのフィルタ機能を生じさせる周波数を求めることと、を備える。

Description

本発明は、ハプティックス伝送システムに関し、さらに詳細には、改善された待ち時間補正を組み込んだシステムと、待ち時間補正を改善する方法に関する。
本発明はハプティック通信に関し、さらに詳細には、電気通信網によって結合されるハプティック装置の応答を改善することに関する。
コンピュータからの触覚出力は、ゲームプレイを改善し、振動等の「感覚」を提供し、このようにしてゲームに付加的な知覚を追加するために使用されてきた。このような出力は、視覚障害者が文書を読んだり、絵画を感じたりできる等するためにも使用されてきた。ハプティック出力装置の基本的な動作は、触覚の個人差を補正するためにハプティックインタフェース出力特性を適応させる方法を開示する、本発明者らの同時係属中の欧州特許出願第01305947.2号に説明されている。さらなる欧州特許出願第01307951.2号では、ハプティック出力装置を使用することによるムーンアルファベットの読み取りを可能にする方法が開示されている。コンピュータ又はデータメモリからハプティック出力装置への文字セットの伝送では、出力信号に依存する時間が重視される活動はありそうにない。しかしながら、ゲームプレイが関係する場合、特にプレーヤが互いに競い合っているか、機械と競争している場合には、順方向力パラメータ又は逆方向力パラメータの伝送遅延は、感知された経験に大きな影響を及ぼす可能性がある。
ゲームプレイは、ポイントツーポイント通信リンクによってよりむしろ、インターネットやワールドワイドウェブ等のコネクションレスネットワークで実行される可能性が高いので、入力と比較して出力の感知される移動での矛盾を生じさせる可能性のある信号の待ち時間が導入されてよい。
さらに、感知される移動とユーザの行動に対する反応の感覚が現実的である場合、知覚装置は両方の信号方向で頻繁な更新を必要とする。現実性を維持するために必要とされる更新の回数は、ハプティック出力装置が生成側のプロセッサに近接し、直接的に接続していることは問題ではないが、非常に短い時間内に通信ネットワークの過負荷を生じさせる、及び/又は帯域幅の極端な割り当てを必要とする可能性がある。
本発明の一態様によると、各パケットが現在の位置への伝送のために1つの位置でかけられる方向性の力を定める、多数のデータパケットを定める一連の信号を受信することと、パケットデータから、ハプティック出力装置が移動を予想される位置を定める情報を決定することと、力と方向を定める出力信号を発生するために現在の位置データを使用することと、過去に定められた位置から現在定められている位置への移動の速度を減速するために、前記力信号と前記方向信号に減衰率を適用することと、該ハプティック出力装置が移動した先の多数の位置のそれぞれを定めるデータを記憶することと、増大している移動の周波数成分を決定するために前記データを分析することと、前記増大する周波数成分を除去するためにフィルタ機能を作成することと、前記ハプティック出力装置によって達成される移動から前記周波数成分を排除するために、前記力信号と方向信号に前記フィルタ機能を適用することとを備える、方向性の力を定める信号に反応する種類のハプティック出力装置をアクティブ化する方法が提供される。
好ましくは、該方法は各方向でのシグナリングを含み、それにより現在の定義された位置に向かってかけられる力に反応して、1の装置でかけられるハプティック力は、一連の戻りデータパケットにおける現在位置信号の形で対応する装置に反映される。
本発明の1の特徴は、対話型ハプティック出力端末を双方向伝送装置と組み合わせて提供することであり、該端末は少なくとも1台のハプティック出力装置と制御手段を備え、前記制御手段は、前記装置の現在位置を決定し、前記伝送装置から受信される信号から前記ハプティック出力装置の好ましい現在位置を決定するために、前記ハプティック出力装置から信号を受信し、前記制御手段は、現在位置から好ましい位置へ前記ハプティック出力装置を移動するのに必要とされる出力と方向を決定し、さらに、位置の間での明らかな移動を減速するために減衰率を使用して前記出力と方向を修正し、修正された力と方向を定める信号を出力し、ハプティック出力装置が移動した先の多数の位置のそれぞれを定めるデータのレコードを維持し、増大する移動の周波数成分を決定するために前記データを分析し、前記増大する周波数成分を除去するためのフィルタ機能を作成し、ハプティックス出力装置によって達成される移動から前記周波数成分を排除するために、前記フィルタ機能を前記力信号と方向信号に適用する。
制御手段は、特定のときに前記装置の位置を定めるデータを含む信号をハプティック出力装置から受信し、前記データを所定の間隔で前記双方向伝送装置への伝送のための信号に変換する。
好ましい現在位置を定める信号は、例えばプログラミングされたコンピュータ等の環境シミュレータによって生成されてよく、あるいは伝送装置の対向する端部の対応する対話型出力端末によって生成されてもよい。
好ましい位置を定める一連のパケットが受信される場合、各パケットは現在の位置への伝送のために、1の位置でかけられる方向性の力を定め、制御手段はパケットデータから伝送のシーケンス及びデータを数値的に正しい系列に順序付けるシーケンスを決定するための手段を含み、過去に受信したパケットから以後受信されたパケットによって定められる予想される線形移動を推定し、任意の欠失データパケットに関して前記予想される線形移動に対応する出力方向性力信号を適用する。
本発明によるハプティックス伝送システムは、ここで添付図面を参照して例証としてのみ説明される。
本発明者らの同時係属中の欧州特許出願第01305947.2号の図1を参照すると、例えばオブジェクトモデルデータとして記憶されているシーンの、ハプティックス出力表現を提供する方法が開示されている。このケースでは、プロセッサ1は、オブジェクトモデルデータに基づく力への反応を出力するために、ハプティック出力装置(例えば、米国のセンスエイブルテクノロジーズ社のファントム1.0、ハプティック出力装置)の位置に対応するプログラムを含む。データストア3に記憶されているオブジェクトモデルデータは、ハプティックス出力インタフェース2のユーザに知覚され得る、テクスチャ、固定オブジェクト又は可動オブジェクトの表面とロケーションを定義できるであろう。前記出願に開示された追加の発展では、プレーヤアイデンティティ6に基づいてデータストア4に保持された情報が、異なるプレーヤがハプティックス出力インタフェース2で出力のほぼ同じ知覚を有することを確実にするために適切な出力調整を提供するために、プレーヤの好み7とガンマ補正率8を使用できるようにする。
開示されるように、プロセッサ1はハプティックス出力インタフェース2に密接に結合され、したがって装置のx軸、y軸、z軸に関するユーザの指のロケーションの実質的に連続した検出を実現し、このようにしてオブジェクトモデルデータ3によって定められる環境のリアルタイムシミュレーションを可能にする。
これまで言及されたように、いったんネットワーク5がハプティックス出力インタフェース2とプロセッサ1の間に導入されると、仮想環境の連続的な通信と、プロセッサ1に対する入力/出力インタフェース6によってユーザの反応とロケーションを決定する反応シグナリングは、実質的に継続したレートでシグナリングを更新することを必要とする場合には実際的ではなくなる。さらに、ネットワークによりシグナリングに導入される待ち時間は、伝送されている情報に対するきわめてギクシャクした感覚をもたらす。
ここで複数のハプティック出力装置21、22が、それぞれの入力/出力インタフェース25、26を介してそれぞれのプロセッサ23、24に通信している図2を参照すると、ネットワーク待ち時間及びシグナリングの制限の問題はより深刻になる。したがって、プロセッサ23がネットワークアダプタ27によってハプテッィクス出力装置22の位置を示す信号を受信し、瞬時に相応してハプティック装置21をその位置に移動しようとすると、移動においてかなりのジャーク(jerk)が明らかになる。いずれにせよ、ハプティック出力装置21のユーザは、このような移動を抑制する可能性のある後方への力をかけ、したがってプロセッサ23がハプティック出力装置21の位置がハプティック出力装置22の位置に合わせられるのを防ぐ。相応して、ハプティック出力装置21のロケーションを測定しているプロセッサ23は、ネットワークアダプタ28を介してプロセッサ24にネットワーク5を通して信号を送り返し、プロセッサ24はハプティック出力装置22の対応する移動を行おうとする。したがって、ハプティック装置21と22の間の通信はもはや連続モードではなくなり、周期的に位置情報を受信し、送信しているため、ユーザの経験は大幅に弱められる。加えて、信号がネットワークを横断するのに要する期間(ネットワーク待ち時間)が、さらにユーザの知覚を低下させるであろう。
このようにして、図3も検討すると、ロケーションAでユーザがハプティック出力装置21「位置」を突き止め、ハプティック出力装置から力を受け取ると、「位置」から引き出されるローカル位置データがパーソナルコンピュータ(PC)23によって引き出され、ネットワークに送信されることが理解できる。同時に、ネットワークから受信された遠隔位置データは、PC23によってローカル力データに変換される。
対応する位置と力の導関数データも、PC24によってロケーションBで使用される。
実用的なネットワークでは、位置データと力出力はほぼ5ミリ秒間隔で各端部の間を送信される。したがって、新しい位置が受信されるたびに、出力装置を新しい位置に移動させようとして力が出力され、事実上モータがローカルユーザを押す。実際には、位置AとBにおける各端部でのユーザはともに結合され、双方向活動とデータ伝送が実質的に両方の出力装置21と22を対応する位置に移動させようとする。これが、2人のユーザを、ばねや可撓ロッド等の何らかの種類の弾性装置によって二人のユーザがともに接続されたかのように、接続することをシミュレーションする。各端部に反動的な力があるため、力の伝達が延期されたフィードバックループによって実質的には正のフィードバックが生じる可能性があるために、2台の装置の間には不安定性がある。
さらに、ネットワーク待ち時間は、ハプティック情報をネットワーク全体で送信するシステムで不安定性を引き起こす場合がある。この不安定性は、サービスの質を下げ、ハプティック出力装置に損傷を与える可能性があり、反復性の緊張型の被害につながる可能性がある、耳鳴りの感覚として出現する場合がある。極端なケースでは、該不安定性は、ハプティック出力装置が制御不能に陥り、使用を中断し、場合によっては出力装置に主要な損傷を引き起こし、極限状態ではユーザに深刻な被害を及ぼす可能性がある、壊滅的な故障を生じさせる可能性がある。
接触は相互作用的な感覚であるため、ハプティックス伝送は本来受動的である音声伝送と視覚伝送よりもフィードバック問題の影響を受けやすい。オブジェクトを接触によって観察すると、ユーザがオブジェクトから反力を受ける間に必ずそれはユーザの力で影響を受ける。これは、事実上密結合のフィードバックループを提供する。ネットワーク待ち時間のために、フィードバックループに遅延が生じ、システムの不安定性を生じさせる特定の周波数で負のフィードバックが正のフィードバックに変わる。
該不安定性は、特定の周波数で負のフィードバックを正のフィードバックに変える効果があるため、それらの周波数での発振が増加する。このような発振が発生する周波数は、使用されているハプティック出力装置の固有の特性に応じて経時的に変化するが、さらに詳細には、特にコネクションレスネットワーキングが利用される場合、やはり経時的に変化するネットワーク待ち時間に応じて変化する。
したがって、本発明は増大する発振が発生する周波数を識別し、それらの周波数で信号をフィルタリングすることによって影響を補償しようとする。
したがって、前述されたように、図3を再び参照すると、それぞれがインターネット5等を通して同様にリンクされるパソコン23、24に取り付けられている、2台のハプティック出力装置21、22を備えるシステムは、前に概略したネットワーク待ち時間の問題の影響を受けやすい。
使用中、各コンピュータ23、24はそれに取り付けられるハプティック出力装置21、22のそれぞれの位置を読み取り、そのハプティックディスプレイのハンドピースの一座標を定めるデータを、接続されているハプティックディスプレイのそのそれぞれのハンドピースを強制的に同じ座標に向けるために必要とされる力を計算する、他のコンピュータに送信する。したがって、コンピュータはハプティックディスプレイにハンドピースを通してその力をユーザに対してかけるように命令する。対称的な通信は2台のディスプレイを調和して移動させ、単純な力、位置、形状テクスチャ、及び運動の伝達をそれらの間で送信できるようにする。
ここで、本発明のシステムでは、各コンピュータは、1つの方法では運動の周波数成分のスペクトルを提供するためにフーリエ変換にさらされる、そのそれぞれのハプティックディスプレイハンドピースの最新の位置の記録を維持する。スペクトルを比較することにより、振幅が一貫して増大している周波数が存在するかどうかが判断され、このような周波数が検出された場合には、これはハンドピースの移動でかけられる力の計算で抑制される。
代わりに、送信されたデータパケットの往復待ち時間を判断することによって、どの周波数が不安定になる可能性があるのかを判断することができる。この場合、負のフィードバックは往復の間に正のフィードバックに変換されるため、2度、往復待ち時間で除算される奇数の整数である周波数が問題である。考慮に入れる必要のある追加の要因があり、これは1つのシステムに結合された2台のハプティックス装置の自然発振周波数である。この場合、一定ではない可能性があるが繰り返し測定できる待ち時間と、結合された(ソフトウェアで設定できる)ハプティック装置の機械的な特性及びシミュレーションされた機械的な特性と、公知の力がかけられると、出力装置のハンドピースの応答から測定又は推定できるユーザの手の機械的な反応と、を決定する必要がある。
追加の潜在的な検討では、フーリエ変換比較を実行するために必要とされる計算力は、振幅を増大する危険がある可能性が最も高い周波数が決定され、危険のあるそれらの周波数だけが増大するスペクトル成分についてチェックされる必要がある場合、低減される。
ここで図4を見ると、ロケーションAとBのそれぞれから、PC23、24の各ローカルクロック30、40がネットワーク待ち時間を定めるために使用される。ローカルクロックからの時間はロケーションAから伝送パケットにまとめられ、ステップ31、ステップ32でネットワーク5を介して送信される。パケットはロケーションBで受信され、ステップ33、ステップ34でネットワーク5を通してただちに再送され、ステップ35においてロケーションAで再び受信され、受信時間がストリッピングされ(これは最初に伝送が発生した時間である)、受信時間はステップ37において再びローカルクロック30と比較され、ステップ38でネットワーク5の待ち時間の使用可能な基準を提供する。
各エンドユーザが同じ待ち時間を使用するようにネットワーク全体で待ち時間情報を送信できるが、ネットワーク変動の場合には、ステップ31から37のそれに対応するステップ41から47によって待ち時間基準を引き出すためにそれぞれのローカルクロック40を使用して示されるように、類似する待ち時間測定はロケーションBから実行されてよい。
ただ1つのクロックだけが待ち時間測定値を決定する際に必要とされるため、2つの通信システム全体でのクロックの同期は必要とされないことに留意されたい。もちろん、パケット化は必ずしも特定のクロック時間である必要はないが、送信され、受信される単にシリアル番号であってよく、ルックアップテーブルは現在時間との比較のために系列番号パケットの伝送の時間を決定するために使用されることが理解されるであろう。
順方向伝送経路と逆方向伝送経路の経路変動のためにネットワーク全体で経験される待ち時間に差異がある場合には、各端部がそれぞれの待ち時間測定を実行してよいことに留意されたい。
各方向でいったん待ち時間が決定されると、待ち時間問題に対向する2つの方法が使用されてよい。1つの例では、待ち時間測定は反対側への伝送のために位置データを修正するために、ローカル端部で否定的に反応するために使用される。図5を検討すると、ネットワーク全体での典型的なハプティック結合では、ステップ51で示されるようにハプティック出力装置センサから引き出される局所的な位置、及びネットワークから受信される遠隔位置は、ステップ52、差を計算し、2台のハプティック出力装置のx座標、y座標及びz座標に関して差ベクトルを提供する(ステップ53)ために使用される。2台の装置の間の結合強度又は結合の弾性は、xベクトル、yベクトル及びzベクトルがステップ56でモータに局所的な力を提供するために伝達されるように、ローカルハプティック装置を遠隔装置の相対位置に強制するために必要とされる力を計算する(ステップ55)ために、使用される(ステップ54)。
ここで図6を参照すると、ローカルハンドピースをリモートハンドピース相対位置に強制するために必要とされる力の計算の後に、位置履歴レコード決定入力移動がローカルハプティック出力装置の加速度を計算するために使用され、ステップ57、過去に決定された待ち時間基準は、ステップ58、適用される力を決定するときに追加される慣性値を計算するために使用される。代替策では、測定された待ち時間値と適切な慣性値の間にリンクを提供するためにルックアップテーブルが使用されてよい。加速度値と慣性値はここで、ローカルハンドピースをリモートハンドピース相対位置に強制するために、ステップ61、計算された力と組み合わされて使用できる慣性力特性を提供するために使用することができ、その結果ローカルハプティック出力装置のモータに出力されるx力、y力、及びz力は、ここで待ち時間又は出力を考慮するように調整される。
ここで図7を参照すると、本発明では、センサからのローカル位置(ステップ51)が位置履歴レコード(ステップ63)に追加され、位置履歴レコードが次にフーリエ変換又は前述されたより制限的な周波数分析のどちらかにさらされ、振幅の増加を示す(ステップ64)それらの成分を決定する、追加のステップが導入される。次にこれらの増大する周波数成分を除去するためのフィルタ機能が作成され(ステップ65)、ローカルハンドピースをリモートハンドピースの相対位置に強制するために必要とされる力を計算する際に使用される差ベクトルを計算するためにローカル位置データを使用する前に、ローカル位置データに適用される(ステップ66)。
図8は、さらに複雑な構成において、待ち時間測定値に対する結合強度に加えてユーザの好みを入れることができる。したがって、例えば、ローカルハンドピースをリモートセンサの相対位置に強制するために必要とされる力を計算する際に、ユーザの好みは結合強度54に影響を与える可能性があり、位置の履歴とユーザの好みを考慮に入れるために調整できる(ステップ70)。
ユーザの好み72もフィルタリング特性73を修正するために使用されてよく、加速度を含むがこれに限定されない動的変数77は、前述のようにユーザの好みと、出力信号データのローカル力モータ78への適応に貢献するすべてのこのような力76を有する待ち時間だけではなく、ローカルハードウェアパラメータ75も考慮に入れるために使用されるフィルタリング74によって、従来のように計算される。
時間情報を伝播するパケットは、ハプティックエフェクタ位置情報を伝播するのと同じパケットである場合がある。これには、位置情報のための適切なネットワークスタック遅延が測定された待ち時間に含まれ、送信する必要のあるパケット数を削減することを確実にするという利点がある。
質量のほかに、待ち時間により誘発される不安定性を取り除くために調整できるであろう他の物理的なパラメータがある。これらは粘性抵抗(速度に比例する又は逆らう力)、及び摩擦(速度に逆らう力、及び速度が非ゼロの場合の一定の大きさ、それ以外の場合の限度までかけられる力に等しい大きさ及び逆らう力)を含む。
ハプティックエフェクタの物理的過程に関するパラメータを使用する代わりに、ハプティックエフェクタ間の結合に関するものが使用できるであろう。例えば、各エフェクタが他方の位置までジャンプしようと試みる強度を減少すると、不安定性が削減する場合がある。
前述された、異なるフィルタリング手段は、個別にだけではなく組み合わせて適応できるであろう。
シミュレーションされるばね力を使用してエフェクタハンドピースを互いの位置に強制する代わりに、ハプティック伝送の他の方法(例えば、あるエフェクタで環境から反力を測定し、それを他のエフェクタを介して送信し、出力する)を使用できるであろう。
ネットワーキングの他の方法(例えば、ISDN、TCPオーバIP、又はモデム上RS232シリアルからPSTN上のモデムリンク)がUDPの代わりに使用できるであろう。ネットワーク待ち時間測定の他の方法(例えば「ピン」時間、ネットワーク上での他のコンピュータからのネットワーク性能基準、又は同期されたクロックによる単一方向測定等)が使用できるであろう。
他の形式の調整可能不安定性抑圧は、待ち時間測定値に応えて調整できるであろう。
フィルタリングパラメータは待ち時間測定以外の手段によって自動的に調整できるであろう。例えば、それは、不安定性を示す発振の開始が検出されると、必ず自動的に増加でき、不安定性がある期間検出されないと徐々に減少する。
説明される不安定性フィルタリングの形式は、自動的な調整なしに使用できる、例えばシミュレーションされる質量はユーザによってあらかじめ定義される、あるいは設定される値で保たれる。不安定性は、ユーザがエフェクタの動きにどのように応えるのかによっても影響を受ける。本発明者らの試験では、自分自身で不安定性を削減することを学習できたユーザもいた。したがって、このようなユーザは、速度及び感覚の詳細を、安定性を犠牲にして増加するように、少ないフィルタリングを好む可能性がある。したがって、補正の程度の計算に、ユーザが何らかの制御をもつパラメータを含めることが提案される。
代わりに、システムは(例えば、不安定性を示す発振の開始が検出されるまでフィルタリングを減少することによって)ユーザを自動的に適合させるためにフィルタリングの程度を適応することができるであろう。
ユーザ単位のパラメータは、手動で設定されるのか、あるいは自動的に設定されるのかに関係なく、将来使用するために記憶できるであろう。
位置パラメータに対してなされた調整は、他の感覚と組み合わせることができる。最も明らかなのは、ハプティックシーンの視覚的な表現であるが、音、におい、及び他の知覚刺激を含むものもある。
ネットワークが環境シミュレーションをハプティックス入力/出力装置に相互接続する、第1のハプティックス通信システムのブロック概略図である。 複数の相互接続されたハプティックス入力/出力装置を有する、ハプティックス通信システムのブロック概略図である。 図2のシステムの中でのデータ交換の概略図である。 図2のシステムの調整を達成するために2つのロケーションの間の待ち時間を測定する方法の、概略フローチャートである。 局所的にかけられる力を計算する方法の概略フローチャートである。 本発明を実用化する方法を示す概略フローチャートである。 本発明を実用化する方法を示す概略フローチャートである。 本発明を実用化する方法を示す概略フローチャートである。

Claims (10)

  1. 各パケットが現在のロケーションへの伝送のために1つのロケーションでかけられる方向性の力を定める、多数のデータパケットを定める一連の信号を受信することと、
    パケットデータから、ハプティック出力装置が移動を予想される位置を定める情報を決定することと、
    力と方向を定める出力信号を生成するために現在の位置データを使用することと、
    過去に定められた位置から現在定められている位置への移動の速度を減速するために、前記力信号と前記方向信号に減衰率を適用することと、
    該ハプティック出力装置が移動した先の多数の位置のそれぞれを定めるデータを記憶することと、
    増大している移動の周波数成分を決定するために前記データを分析することと、
    前記増大する周波数成分を除去するためにフィルタ機能を作成することと、
    前記ハプティック出力装置によって達成される移動から前記周波数成分を排除するために、前記力信号と方向信号に前記フィルタ機能を適用すること、
    とを備える方向性の力を定める信号に反応する種類のハプティック出力装置をアクティブ化する方法。
  2. 各方向でのシグナリングをさらに含み、それにより現在の定められている位置に向かってかけられる力に反応して、1の装置にかけられるハプティック力が、一連の戻りデータパケットでの現在の位置信号の形で対応する装置に反映される、請求項1に記載の方法。
  3. 前記データパケットが伝搬される伝送ネットワークの決定されたパラメータから、前記フィルタ機能を計算することをさらに含む、請求項1又は2に記載の方法。
  4. 前記ネットワークの待ち時間が、前記ネットワークに、時間決定要因アイデンティティを含むデータパケットを送信し、前記ネットワークを通して前記データパケットを反映し、前記フィルタリング係数が決定される待ち時間パラメータを提供するために、前記受信時間を前記送信時間と比較することによって決定される、請求項3に記載の方法。
  5. 位置データを伝搬する少なくともいくつかの送信済みパケットも、時間決定要因データを含み、前記時間決定要因データのいくらかが、前記待ち時間パラメータの更新を可能にするために返される、請求項4に記載の方法。
  6. 前記力信号と方向信号に修正率を適用することをさらに含み、前記修正率が所定のユーザの好みデータから引き出される、請求項1乃至請求項5のいずれか1項に記載の方法。
  7. 双方向伝送構成と組み合わされる対話型ハプティック出力端末であって、該端末は、
    少なくとも1台のハプティック出力装置と制御手段を備え、前記制御手段は、前記装置の現在位置を突き止めるため、及び前記伝送構成から受信される信号から、前記ハプティック出力装置にとって好ましい現在位置を突き止めるために、前記ハプティック出力装置から信号を受信し、前記制御手段は、前記ハプティック出力装置を前記現在位置から好ましい位置に移動するために必要とされる出力と方向を決定し、前記ハプティック出力装置が移動した多数の位置のそれぞれを定めるデータを記憶することによって、前記出力と方向を修正し、増大している移動の周波数成分を決定するために前記データを分析し、前記増大する周波数成分を除去するためのフィルタ機能を作成し、前記ハプティック出力装置によって達成される移動から前記周波数成分を排除するために、前記フィルタ機能を前記力信号と前記方向信号に適用する。
  8. 前記制御手段は、前記ハプティック出力装置から信号を受信し、前記信号は特定の時間の前記装置の位置を定めるデータを含み、前記制御手段は、前記データを所定の間隔での前記双方向伝送構成への伝送のための信号に変換する、請求項7に記載の端末。
  9. 好ましい現在位置を定める前記信号は、プログラミングされたコンピュータ等の環境シミュレータによって発生する、請求項7又は8に記載の端末。
  10. 好ましい現在位置を定める前記信号は、前記伝送構成の対向する端部での対応する対話型出力端末により発生する、請求項7又は8に記載の端末。
JP2006527466A 2003-09-25 2004-09-22 ハプティックス伝送システム Expired - Fee Related JP4800949B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB0322489.6A GB0322489D0 (en) 2003-09-25 2003-09-25 Haptics transmission systems
GB0322489.6 2003-09-25
PCT/GB2004/004033 WO2005032070A2 (en) 2003-09-25 2004-09-22 Haptics transmission systems

Publications (2)

Publication Number Publication Date
JP2007507767A true JP2007507767A (ja) 2007-03-29
JP4800949B2 JP4800949B2 (ja) 2011-10-26

Family

ID=29286837

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006527466A Expired - Fee Related JP4800949B2 (ja) 2003-09-25 2004-09-22 ハプティックス伝送システム

Country Status (8)

Country Link
US (1) US7746320B2 (ja)
EP (1) EP1665017B1 (ja)
JP (1) JP4800949B2 (ja)
KR (1) KR101130396B1 (ja)
CN (1) CN100437438C (ja)
CA (1) CA2537622A1 (ja)
GB (1) GB0322489D0 (ja)
WO (1) WO2005032070A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015187862A (ja) * 2014-03-19 2015-10-29 イマージョン コーポレーションImmersion Corporation 触覚効果を与えるシステム及び方法
JP2019036348A (ja) * 2012-02-15 2019-03-07 イマージョン コーポレーションImmersion Corporation モバイルデバイス上での共有されたフィードバックのための双方向性モデル

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7486273B1 (en) * 2008-02-12 2009-02-03 Novint Technologies, Inc. Communications in a system comprising a computer and a haptic interface device
EP2741177B1 (en) 2008-07-15 2019-06-26 Immersion Corporation Systems and Methods for Transmitting Haptic Messages
KR101054359B1 (ko) * 2009-02-16 2011-08-04 한국과학기술원 근감각 피드백을 이용한 상호작용장치 및 이의 작동방법
WO2011071352A2 (ko) * 2009-12-11 2011-06-16 광주과학기술원 데이터 포멧의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
US8736559B2 (en) * 2010-04-23 2014-05-27 Blackberry Limited Portable electronic device and method of controlling same
CN103607395A (zh) * 2013-11-20 2014-02-26 深圳先进技术研究院 一种传输触觉数据的方法及装置
US10073523B2 (en) * 2014-12-23 2018-09-11 Immersion Corporation Position control of a user input element associated with a haptic output device
CN105892690B (zh) * 2016-05-17 2019-09-06 京东方科技集团股份有限公司 动作获取装置及方法、动作仿真装置及方法、触觉通信系统
WO2018017210A1 (en) 2016-07-22 2018-01-25 Harman International Industries, Incorporated Haptic guidance system
US11848972B2 (en) * 2016-09-14 2023-12-19 Haptech Holdings, Inc. Multi-device audio streaming system with synchronization
US10444840B2 (en) 2017-08-30 2019-10-15 Disney Enterprises, Inc. Systems and methods to synchronize visual effects and haptic feedback for interactive experiences
US20190105562A1 (en) * 2017-10-11 2019-04-11 Immersion Corporation Haptic effects with multiple peripheral devices

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06319284A (ja) * 1992-12-10 1994-11-15 Matsushita Electric Ind Co Ltd サーボモータの制御パラメータ調整装置及び調整方法
JPH08121477A (ja) * 1994-10-24 1996-05-14 Seiko Seiki Co Ltd 磁気軸受の制御装置
JPH08279537A (ja) * 1995-04-07 1996-10-22 Toshiba Corp ボンディング装置
WO2003044609A2 (en) * 2001-11-21 2003-05-30 Handshake Interactive Technologies Inc. Real time control of hardware and software via communications network

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5739811A (en) * 1993-07-16 1998-04-14 Immersion Human Interface Corporation Method and apparatus for controlling human-computer interface systems providing force feedback
US5734373A (en) * 1993-07-16 1998-03-31 Immersion Human Interface Corporation Method and apparatus for controlling force feedback interface systems utilizing a host computer
GB2281444B (en) * 1993-08-25 1996-07-03 Wah Leung Chan Directional control device
US5959613A (en) 1995-12-01 1999-09-28 Immersion Corporation Method and apparatus for shaping force signals for a force feedback device
US6411276B1 (en) * 1996-11-13 2002-06-25 Immersion Corporation Hybrid control of haptic feedback for host computer and interface device
US6005551A (en) * 1997-04-25 1999-12-21 Microsoft Corporation Offline force effect rendering
DE20080209U1 (de) * 1999-09-28 2001-08-09 Immersion Corp Steuerung von haptischen Empfindungen für Schnittstellenvorrichtungen mit Vibrotaktiler Rückkopplung
US7202851B2 (en) * 2001-05-04 2007-04-10 Immersion Medical Inc. Haptic interface for palpation simulation
EP1293950A1 (en) 2001-09-18 2003-03-19 BRITISH TELECOMMUNICATIONS public limited company Haptic interface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06319284A (ja) * 1992-12-10 1994-11-15 Matsushita Electric Ind Co Ltd サーボモータの制御パラメータ調整装置及び調整方法
JPH08121477A (ja) * 1994-10-24 1996-05-14 Seiko Seiki Co Ltd 磁気軸受の制御装置
JPH08279537A (ja) * 1995-04-07 1996-10-22 Toshiba Corp ボンディング装置
WO2003044609A2 (en) * 2001-11-21 2003-05-30 Handshake Interactive Technologies Inc. Real time control of hardware and software via communications network

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019036348A (ja) * 2012-02-15 2019-03-07 イマージョン コーポレーションImmersion Corporation モバイルデバイス上での共有されたフィードバックのための双方向性モデル
JP2015187862A (ja) * 2014-03-19 2015-10-29 イマージョン コーポレーションImmersion Corporation 触覚効果を与えるシステム及び方法

Also Published As

Publication number Publication date
EP1665017B1 (en) 2016-03-16
KR20060126452A (ko) 2006-12-07
CN100437438C (zh) 2008-11-26
CA2537622A1 (en) 2005-04-07
KR101130396B1 (ko) 2012-03-27
WO2005032070A3 (en) 2005-06-16
US20080231594A1 (en) 2008-09-25
WO2005032070A2 (en) 2005-04-07
GB0322489D0 (en) 2003-10-29
CN1856763A (zh) 2006-11-01
US7746320B2 (en) 2010-06-29
EP1665017A2 (en) 2006-06-07
JP4800949B2 (ja) 2011-10-26

Similar Documents

Publication Publication Date Title
JP4800949B2 (ja) ハプティックス伝送システム
WO2010064471A1 (ja) シミュレーションシステム
US20140031098A1 (en) System and Methods to Remotely and Asynchronously Interact with Rehabilitation Video-Games
US6847852B2 (en) Force feedback member control method and system
US11644892B2 (en) Synthesizing haptic and sonic feedback for textured materials in interactive virtual environments
EP1376316A1 (en) Haptic communications
JP4653101B2 (ja) ハプティックス伝送システム
Sakr et al. Prediction-based haptic data reduction and transmission in telementoring systems
CN115460508A (zh) 一种虚拟场景中音频保真方法、装置及存储介质
Susa et al. Haptic rendering based on finite element simulation of vibration
KR100868775B1 (ko) 햅틱 기반 협업 가상 환경에서의 햅틱 이벤트 전송 방법 및그 시스템
Win et al. Influence of Local Lag on Reaction Force in Networked Virtual Environment with Haptic Sense
Singh et al. An approach to distributed virtual environment performance modeling: Addressing system complexity and user behavior
Lee et al. Intra-media synchronization scheme for haptic interactions in distributed virtual environments
Lee et al. Networked collaborative design and control for collaborative product development using haptic interface
EP1463980B1 (fr) Procede et systeme de commande dynamique d un element a reto ur d effort
Iiyoshi et al. Design of a Haptic-Audio-Visual Tele-Dental Training Simulation Final Report
KR101133055B1 (ko) 햅틱 데이터를 동기화하는 방법 및 햅틱 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110705

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110804

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140812

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4800949

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees