JP2013145589A - バーチャルリアリティ環境生成装置及びコントローラ装置 - Google Patents

バーチャルリアリティ環境生成装置及びコントローラ装置 Download PDF

Info

Publication number
JP2013145589A
JP2013145589A JP2013062836A JP2013062836A JP2013145589A JP 2013145589 A JP2013145589 A JP 2013145589A JP 2013062836 A JP2013062836 A JP 2013062836A JP 2013062836 A JP2013062836 A JP 2013062836A JP 2013145589 A JP2013145589 A JP 2013145589A
Authority
JP
Japan
Prior art keywords
illusionary tactile
tactile force
force sense
sense
sensation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013062836A
Other languages
English (en)
Other versions
JP5750717B2 (ja
Inventor
Norio Nakamura
則雄 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=40452106&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2013145589(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2013062836A priority Critical patent/JP5750717B2/ja
Publication of JP2013145589A publication Critical patent/JP2013145589A/ja
Application granted granted Critical
Publication of JP5750717B2 publication Critical patent/JP5750717B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • A63F13/02
    • A63F13/06
    • A63F13/10
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1043Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being characterized by constructional details
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/013Force feedback applied to a game

Abstract

【課題】非ベース型インタフェースにおいてバーチャル物体やゲームのキャラクタに触覚的に触れるフル体感が体験できるバーチャルリアリティ環境生成装置を提供する。
【解決手段】各種センサ108〜111からの情報及びコンテンツデータ104をもとにコンテンツを作成するコンテンツ作成装置102、コンテンツに合わせた錯触力覚誘起関数1713を錯触力覚データ106を用いて生成する錯触力覚誘起装置103、錯触力覚デバイス107を備える錯触力覚インタフェース装置101、錯触力覚デバイスを駆動制御する錯触力覚デバイス駆動制御装置112を備え、錯触力覚を利用し指及び体の動きに合わせて錯触力覚による抗力を制御することにより、立体映像や立体音像に加えて、バーチャル物体の存在及び形状、質感である摩擦感覚や粗さ感覚を表現する。
【選択図】図1

Description

本発明は、概して、錯覚及び感覚特性を利用したバーチャルリアリティ環境生成装置及びコントローラ装置に関するものである。
さらに詳述すると本発明は、VR(Virtual Reality)の分野において用いられる機器,ゲームの分野において用いられる機器、携帯電話機、PDA(携帯情報端末)などに搭載されるマン・マシン・インタフェースを提供するための錯触力覚インタフェース装置、錯触力覚情報提示方法、及びバーチャルリアリティ環境生成装置に関するものである。
従来のVRにおける触力覚インタフェース装置として、張力、ないし反力の力覚提示において、人間の感覚器官に接した触力覚デバイスと触力覚インタフェース装置本体とがワイヤーやアームでつながったものがある(非特許文献1)。また、非接地型で身体内にベースがない非ベース型の力覚インタフェース装置として、3軸直交座標に配置された3つのフライホイールの回転を独立に制御することで任意の方向、ないし任意の大きさでトルクを提示することができる非ベース型の触力覚インタフェース装置が提案されている(非特許文献2)。また、人に仮想物体の存在や反力を与える非ベース型マン・マシン・インタフェースにおいて、触力覚インタフェース装置の物理的特性だけでは提示し得ない感覚、例えば、トルク及び力などの触力覚感覚を同一方向に連続的に知覚させる装置及び方法が提案されている(特許文献1)。この触力覚インタフェース装置は、人間の感覚特性を利用して適切に物理量を制御することにより、物理的には存在し得ない力を人に体感させる。
また、トルク発生用フライホイールの代わりに2つの偏心回転子からなる“ツイン偏心回転子方式”を用いることで、回転力感覚に加えて並進力感覚も同時に提示できる3自由度のハイブリッド型力覚インタフェース装置(非特許文献3)が開発されている。一つのインタフェースで平面内の任意の方向に並進力及び回転力の両方の感覚を連続的に提示できるハイブリッド機能を備えた力覚インタフェース装置である。人間の非線形感覚特性を巧みに利用することにより、手に持ったジャイロ キューブ センサスが重くなったり、軽くなったり、ついには、浮き上がって感じられる、力感覚のイリュージョン効果を実現している。
中村 則雄、"非接地型力感覚提示インターフェイス「押す・引っ張る・浮き上がる」イリュージョン感覚を体感"、検査技術、日本工業出版、11巻、2号pp.6-11(2006/02) 田中洋吉、酒井勝隆、河野優香、福井幸男、山下樹里、中村則雄、"Mobile Torque Display and Haptic Characteristics of Human Palm", INTERNATIONAL CONFERENCE ON ARTIFICIAL REALITY AND TELEXISTENCE, pp.115-120(2001/12) Nakamura, N., Fukui, Y. : "An Innovative Non-grounding Haptic Interface ‘GyroCubeSensuous’ displaying Illusion Sensation of Push, Pull, and Lift", Proceedings. of ACM Siggraph2005, 2005.
特開2005-190465号公報
ワイヤーやアームを用いると、その存在が人間の動きを拘束するし、また、力覚提示システム本体と力覚提示部がワイヤーやアームでつながる有効空間でしか使用できないため、使用できる空間的広がりに制限がある。3つのジャイロモータによって発生された角運動量合成ベクトルを制御することでトルクを発生させる方法は、ワイヤーやアームによる拘束がなく、構造が比較的簡単であり、制御も容易である。しかし、触力覚感覚を連続的に提示する事や、トルク以外の力感覚の提示ができないという問題点もある。
更に、従来の力覚インタフェース装置は、ユーザの動きに対するインタフェースの応答が悪かったり、バーチャル物体の形状や質感を表現できるインタラクションが十分に得られていないなどの問題があった。また、モータを利用した従来の偏心回転子による加減速機構では発熱及びエネルギー消費の低減は実用化及び製品化における大きな課題であり、感覚特性や手の大きさ、嗜好に対するユーザごとの個人差に対応し、操作性・使いやすさを向上させることも不可欠な課題である。
上述の点に鑑み、本発明の第1の目的は、非ベース型インタフェースにおいてバーチャル物体やゲームのキャラクタに触覚的に触れるフル体感が体験できるように、錯触力覚を利用し指及び体の動きに合わせて錯触力覚による抗力を制御することにより、立体映像や立体音像に加えて、バーチャル物体の存在及び形状、質感である摩擦感覚や粗さ感覚を表現することができるバーチャルリアリティ環境生成装置及び方法を提供することである。
本発明の第2の目的は、日常生活で利用できる仮想空間及び実空間が融合された視聴触覚によるバーチャルリアリティ環境を実現するために、インタフェースの実用化・製品化に当たり、加減速機構での発熱及びエネルギー消費を抑え、小型化・モバイル化が容易となる装置及び方法を提供することである。また、ユーザの手の大きさや嗜好及び感覚における大きな個人差に対して、ユーザ個人の特性や用途に合わせたインタフェースを自在にデザインしながらも、操作性及び応答性が良い装置及び方法を提供することである。
上記の目的を達成するために、本発明に係る第1の形態は、錯触力覚デバイスを備える錯触力覚インタフェース装置と、錯触力覚デバイスを駆動制御する錯触力覚デバイス駆動制御装置と、を備えるバーチャルリアリティ環境生成装置である。
本発明に係る第2の形態は、コンテンツに合わせた錯触力覚誘起関数を錯触力覚データを用いて生成する錯触力覚誘起装置と、錯触力覚デバイスを備える錯触力覚インタフェース装置と、錯触力覚デバイスを駆動制御する錯触力覚デバイス駆動制御装置と、を備えるバーチャルリアリティ環境生成装置である。
本発明に係る第3の形態は、各種センサからの情報及びコンテンツデータをもとにコンテンツを作成するコンテンツ作成装置と、コンテンツに合わせた錯触力覚誘起関数を錯触力覚データを用いて生成する錯触力覚誘起装置と、錯触力覚デバイスを備える錯触力覚インタフェース装置と、錯触力覚デバイスを駆動制御する錯触力覚デバイス駆動制御装置とを備えるバーチャルリアリティ環境生成装置である。
本発明に係る第4の形態は、各種センサからの情報及びコンテンツデータをもとにコンテンツを作成するコンテンツ作成装置と、学習器及び/又は補正器を備え、コンテンツに合わせた錯触力覚誘起関数を錯触力覚データを用いて生成する錯触力覚誘起装置と、錯触力覚デバイスを備える錯触力覚インタフェース装置と、錯触力覚デバイスを駆動制御する錯触力覚デバイス駆動制御装置と、を備えるバーチャルリアリティ環境生成装置である。
本発明に係る第5の形態は、各種センサからの情報及びコンテンツデータをもとにコンテンツを作成するコンテンツ作成装置と、学習器及び/又は補正器を備え、コンテンツに合わせた錯触力覚誘起関数を錯触力覚データを用いて生成する錯触力覚誘起装置と、錯触力覚デバイスを備える錯触力覚インタフェース装置と、錯触力覚デバイスを駆動制御する錯触力覚デバイス駆動制御装置と、を備え、錯触力覚誘起装置は、学習用のインストラクションの後、学習用錯触力覚誘起関数を生成し、この関数に従い提示された錯触力覚情報に対するユーザの反応・行動をセンシングし、ユーザの錯触力覚感覚特性を錯触力覚感覚量として推定し、錯触力覚誘起関数及び制御に関する個人差補正用データを算出するバーチャルリアリティ環境生成装置である。
本発明に係る第6の形態は、各種センサからの情報及びコンテンツデータをもとにコンテンツを作成するコンテンツ作成装置と、学習器及び/又は補正器を備え、コンテンツに合わせた錯触力覚誘起関数を錯触力覚データを用いて生成する錯触力覚誘起装置と、錯触力覚デバイスを備える錯触力覚インタフェース装置と、錯触力覚デバイスを駆動制御する錯触力覚デバイス駆動制御装置と、を備え、錯触力覚誘起装置は、各コンテンツにおける錯触力覚情報に対するユーザの反応・行動をセンシングし、コンテンツ内の特徴量に対するユーザの錯触力覚感覚特性を推定し、錯触力覚誘起関数及び制御に関する個人差補正用データを算出及び利用するバーチャルリアリティ環境生成装置である。
本発明に係る第7の形態によると、錯触力覚デバイスは、加減速機構を備える。
本発明に係る第8の形態によると、錯触力覚デバイス駆動制御装置は、発振回路を介して加減速機構の速度を制御する。
本発明に係る第9の形態によると、錯触力覚デバイス駆動制御装置は、前記錯触力覚誘起装置で生成された錯触力覚誘起関数に従い、前記錯触力覚デバイスが備えるモータの位相、方向、回転速度、又はアクチュエータの位相、方向、速度を制御する。
本発明に係る第10の形態によると、バーチャルリアリティ環境生成装置はセンサを備え、センサは、錯触力覚インタフェース装置が装着された部位の動きを検知・測定する位置センサ、実物体の形状及び表面形状を測定する形状センサ、実物体とユーザとの接触・把持力を検知・測定する圧力センサ、生体信号センサ、加速度センサの少なくとも1つである。
本発明に係る第11の形態によると、錯触力覚インタフェース装置は装着部を有し、前記錯触力覚デバイスと前記装着部との間に非線形応力特性を有する部材を備える。
本発明に係る第12の形態によると、前記錯触力覚インタフェース装置は、前記錯触力覚デバイスと前記加速度センサとの間に耐震部材を備える。
本発明に係る第13の形態によると、錯触力覚インタフェース装置は、加速度センサを備え、前記錯触力覚デバイスと前記加速度センサとの間に指装着部を備える。
本発明に係る第14の形態によると、錯触力覚インタフェース装置は、CPU、メモリ、通信装置の少なくとも1つを備える。
本発明に係る第15の形態によると、コンテンツ作成装置は、センサからの情報を基に物理シミュレーション計算、バーチャルリアリティ空間の生成及び更新、コンピュータグラフィックスの作成及び表示、錯触力覚情報の情報処理を行う。
本発明に係る第16の形態によると、錯触力覚インタフェース装置は、異なる周波数及び/又は異なる加減速で駆動する2組又は複数組の錯触力覚デバイスを備える。
本発明に係る第17の形態によると、錯触力覚インタフェース装置は、指又は身体に装着するための装着部を有する。
本発明に係る第18の形態は、変形可能な手段を備える基部と、錯触力覚デバイス装置を備える錯触力覚インタフェース装置と、を備えるコントローラ装置である。
本発明に係る第19の形態は、バーチャルな動作を作り出してバーチャルな存在、触感、ボタン操作感覚を提供する錯触力覚インタフェース装置と、バーチャル物体を提示する視聴覚ディスプレイと、を備えるバーチャル・コントローラ装置である。
本発明に係るバーチャルリアリティ環境生成装置及び方法を実施することにより、以下に列挙する格別な効果を得ることができる。
(1)従来の非ベース型触力覚インタフェースでは、振動のような周期的な運動の繰り返しからは振動感しか知覚できなく、バーチャル物体の形状や質感がわかるくらいの力フィードバックによる十分なインタラクションが得られなかった。これに対して、本発明では、錯触力覚を利用することで、物理的には存在していない力及び運動成分を知覚させることにより、心理物理的に一定方向に連続的に力が働く感覚を知覚させることができる。更に、この錯覚により、力の支えなしに宙に把持した状態で利用する非ベース型インタフェースにも関わらず、重力に逆らってインタフェースを持った腕が持ち上がってしまう物理的な現象も実際に引き起こされる。
(2)錯触力覚インタフェース装置を装着した指及び体の動きに合わせて、錯触力覚による抗力を制御することにより、バーチャル物体の存在及び形状、質感である摩擦感覚や粗さ感覚を表現することができる。特に、動きに対する負の抗力(加速)を提示することによって、氷上を滑るような滑らか感が実現される。また、実物体との把持圧をモニタしながら錯触力感覚を制御することで、実物体の感触の編集やバーチャル物体の感触との置換が可能となる。
(3)錯触力覚に同期させて錯触力覚インタフェース装置の形状が変形することで、錯触力覚によって誘起された力感覚が強調され、リアリティが向上する。
(4)錯触力覚はユーザごとの感覚特性が異なり知覚される強度及び質感に大きな個人差があるが、学習器及び補正器を有することで、錯触力覚インタフェース装置を従来の触力覚インタフェース装置と同じように扱うことができる。また、筋電反応を測定することで個人差をリアルタイムに補正できるため、錯触力覚の学習の向上及びユーザごとの制御の最適化が行える。
(5)モータを利用した従来の偏心回転子による加減速機構では発熱及びエネルギー消費が大きな問題であった。これに対して、発振回路によって加減速機構の速度を制御したり、異なる周波数で駆動する複数組の錯触力覚デバイスを用いることで定速度回転でありながら加減速機構と同じような錯触力覚を実現することで、発熱及びエネルギー消費が抑えられ、小型化・モバイル化が容易となる。
(6)従来のアーム型の触力覚インタフェース装置では、指先につけたアームの角度で位置・姿勢が計測され、微小な指先の動きに対してバーチャル物体との接触・干渉判定及び提示すべき応力の再計算が繰り返されるために、応答遅れが発生する問題点があった。これに対して、本発明では、中枢部であるコンテンツ生成装置ではなく、抹消部である錯触力覚インタフェース装置にCPU及びメモリを搭載してリアルタイム制御を行うことで、バーチャル・ボタンの押込みなどの応答性が向上し、リアリティ及び操作性が向上する。
(7)従来のドライビング・シミュレータでは重力を利用する以外の方法では連続的加速感を体験することができなかったため、周囲が視覚的に見えて自分の体が斜めに傾けられた状態が知覚される環境では加速感に違和感がある。これに対して、本発明では、台座上の狭い空間で周期的な動きを繰り返すアーケード型ゲーム機でも連続的加速感が体感できたり、モバイルやゲーム・コントローラなどの非ベース型インタフェースでも連続的な力を体感することができる。
(8)従来のゲーム・コントローラはユーザ自身の身体を動かすことによる「疑似体感型」ゲームであり、振動による力フィードバックでは十分なインタラクションが得られなかった。これに対して、本発明では、錯触力覚インタフェース装置を用いることで、バーチャル物体やゲームのキャラクタに触覚的に触れることができる「フル体感型コントローラ」が実現される。
(9)さまざまな形や大きさ、ボタン配置のゲーム・コントローラが販売されているが、ユーザの手の大きさや嗜好に合った使いやすいコントローラが見つからないことが多い。これに対して、本発明では、個人の掌に合わせたコントローラの形状やボタン配置を自在にデザインするバーチャル・コントローラの技術により、ゲームの内容に合わせた専用のコントローラの購入が不要だったり、コンテンツ内のシーンやストーリーに合わせてコントローラを自在に変形・変化させることができる。
(10)従来の視聴覚に偏っていたバーチャルリアリティに対して、非ベース型による実用的なバーチャル物体の可触化技術が提供され、日常生活で利用できる仮想空間及び実空間が融合された視聴触覚によるバーチャルリアリティ環境が提供される。
バーチャルリアリティ環境生成装置の基本ユニットを示す説明図である。 バーチャルリアリティ環境生成装置の処理フローチャートを示す説明図である。 キャリブレーションの処理フローチャートを示す説明図である。 センシングの処理フローチャートを示す説明図である。 コンテンツ作成装置の処理フローチャートを示す説明図である。 提示の処理フローチャートを示す説明図である。 学習の処理フローチャートを示す説明図である。 錯触力覚を誘起するデバイスの制御方法の一例を示す説明図である。 偏心錘の形状を示す図である。 図8の現象及びその効果を模式的に示す説明図である。 錯触力覚の個人差に関する説明図である。 仮想平板の質感表現を示す説明図である。 位相パターンの初期位相による錯触力覚の方向を示す説明図である。 錯触力覚インタフェース装置の実施例を示す説明図である。 錯触力覚インタフェース装置の実施例を示す説明図である。 錯触力覚インタフェース装置の実施例を示す説明図である。 錯触力覚インタフェース装置の実装例を示す説明図である。 錯触力覚インタフェース装置の実装例を示す説明図である。 錯触力覚インタフェース装置101の制御システムの一例を示す説明図である。 錯触力覚デバイスの処理フローチャートを示す説明図である。 パルス列を用いたモータ制御装置を示す説明図である。 錯触力覚インタフェース装置の効果を示す説明図である。 初期位相遅れに関する制御アルゴリズムを示す説明図である。 錯触力覚インタフェース装置に用いる非線形特性を示す説明図である。 代替・錯触力覚デバイスを示す説明図である。 異なる粘弾性材料を用いた制御アルゴリズムを示す説明図である。 異なる粘弾性材料を用いた効果を示す説明図である。 ヒステリシス材料を用いた制御アルゴリズムを示す説明図である。 印加電圧で特性が変わる粘弾性材料を用いた制御アルゴリズムを示す説明図である。 発振回路を用いた制御アルゴリズムを示す説明図である。 錯触力覚デバイスの配置例及び応用例を示す説明図である。 錯触力覚デバイスの配置例及び応用例を示す説明図である。 錯触力覚デバイスの配置例及び応用例を示す説明図である。 変形型錯触力覚インタフェース装置を示す説明図である。 バーチャル・コントローラの実装方法を示す説明図である。 1組のユニットを用いた錯触力覚デバイス及び制御方法を示す説明図である。 1組のユニットを用いた錯触力覚デバイス及び制御方法を示す説明図である。 1組のユニットを用いた錯触力覚デバイス及び制御方法を示す説明図である。 複数組のユニットを用いた錯触力覚デバイス及び制御方法を示す説明図である。 複数組のユニットを用いた錯触力覚デバイス及び制御方法を示す説明図である。 複数組のユニットを用いた錯触力覚デバイス及び制御方法を示す説明図である。 複数組のユニットを用いた錯触力覚デバイス及び制御方法を示す説明図である。 複数組のユニットを用いた錯触力覚デバイス及び制御方法を示す説明図である。 異なる重さの偏心錘を有する複数ユニットを用いた錯触力覚デバイス及び制御方法を示す説明図である。 装着部位を示す説明図である。 バーチャルリアリティ環境生成装置を用いた実施例を示す説明図である。
以下、本発明による実施の形態を図面に基づいて説明する。
図1は、バーチャルリアリティ環境生成装置(VR環境生成装置)100において用いられる錯触力覚インタフェース装置101のハードウェア・ブロック図を示している。ここでは指先533に錯触力覚インタフェース装置101を装着した場合を例にとって説明するが、錯触力覚インタフェース装置101の装着場所は指先に限られない。また、図には、加速度センサ108、圧力センサ109、筋電センサ110が、錯触力覚デバイス107と一体となって、指先533に装着された錯触力覚インタフェース装置101内に配置された例を示しているが、これらのセンサは錯触力覚デバイス107とは別の身体位置に装着されていてもよい。本明細書では、錯触力覚デバイス107とセンサとが別体となってそれぞれ身体の別の部位に装着された場合でも、それらを合わせて錯触力覚インタフェース装置101という。
各種センサからの情報及びコンテンツデータ104をもとにコンテンツが作成され、このコンテンツに合わせた錯触力覚誘起関数1713が錯触力覚誘起関数生成器115において錯触力覚データ106を用いて生成され、錯触力覚デバイス駆動制御装置112によって錯触力覚デバイス107が制御される。
錯触力覚誘起装置115で生成された錯触力覚誘起関数に従い、錯触力覚デバイス107の偏心モータ815の位相、方向、回転速度が制御される。錯触力覚デバイス107において偏心モータによる偏心錘814の回転によって生成された運動量の変化(加減速パターン)により、触力覚に関する錯覚(錯触力覚)が誘起される。この錯触力覚誘起関数を用いれば、非線形感覚特性である錯覚を利用して、提示された運動量の変化によって発生する力(物理情報)とは異なる感覚を知覚させることができる。つまり、物理的には存在していない力及び運動成分を知覚させることができる。例えば、物理的には周期的に繰り返される振動は、周期的に力の方向が変わるため一定方向のみの力情報を持たないものであるが、本錯触力覚誘起関数に従って運動量の加減速パターンを制御することにより、心理物理的には、錯触力覚によって一方向にだけ連続的な力を知覚させることができる。錯触力覚誘起装置103は、学習器116及び補正器117を有しており、ユーザ個人の特性に合わせて最適化が行われる。
錯触力覚インタフェースを装着する指先533の動きは、位置センサ111及び加速度センサ108によってセンシングされ、位置センサ及び加速度センサで得られた位置・速度・加速度の情報からコンテンツ作成装置102における物理シミュレータ113によって生成されるバーチャル物体と指533との接触判定及びバーチャル物体に働く力が計算される。また、実物体とユーザとの接触・把持力は、圧力センサ109及び筋電センサ110によって検出される。コンテンツは、コンピュータグラフィックス114及び音源シミュレータ119で映像・音像化され視聴覚ディスプレイ105で表示される。これにより、従来、視聴覚に偏っていたバーチャルリアリティに対して、実用的な非ベース型触力覚インタフェースを提供し、日常生活で利用できる視聴触覚によるバーチャルリアリティ環境が提供される。
コンテンツ作成装置を使用せずに、別の装置(例えば、従来のゲーム機)の物理シミュレータのシミュレーション・データを用いたり、ユーザがマニュアル的に物理量を設定して、錯触力覚誘起装置115を制御して利用することもできる。
また、一般に中枢部であるコンテンツ生成装置を経由して制御を行うが、コンテンツ生成装置及び錯触力覚誘起装置115を使用することなく、抹消部である錯触力覚インタフェース装置に搭載したCPU及びメモリを使用しリアルタイム制御を行うことで、バーチャル・ボタンの押込みなどの応答性、リアリティ及び操作性が向上される。これを従来の装置に接続して利用することもできる。
なお、錯触力覚インタフェース装置101を用いれば、従来の触力覚に関する情報も提示できる。
装置、周辺機器、データベース、センサといった各機器間の情報の受け渡し及び又は接続は、有線で行ってもよいし、無線で行ってもよい。
図2(a)は、VR環境生成装置100の処理フローチャートを示している。VR環境生成装置100では、キャリブレーションが行われ、接続された周辺機器118及びセンサからのセンシング情報をもとに、仮想空間及び仮想物体を形成するモデリングによってVR環境のコンテンツが生成され、コンテンツ情報及びセンシングされたユーザの動きと周辺機器118からの情報にもとづきコンテンツが生成・更新され、コンテンツにもとづいた情報がユーザに提示される。この提示情報をユーザが知覚・認識し、反応・行動した結果が更にセンシングによってモニタされる。
キャリブレーションは、錯触力覚インタフェース装置及び錯触力覚誘起装置で実行される。センシングは、錯触力覚インタフェース装置(加速度センサ、圧力センサ、筋電センサ)及び位置センサで行われる。コンテンツ生成は、コンテンツ生成装置で実行される。提示は、錯触力覚インタフェース装置及び錯触力覚誘起装置で実行される。
周辺機器118を通して実空間との情報交換も行われ、仮想空間と実空間とを複合的に取り扱うバーチャルリアリティ環境が生成・制御される。
図2(b)は、VR環境生成装置100が通信器を有し、複数のユーザが所有するそれぞれのVR環境生成装置100、及び離れた空間にあるVR環境生成装置100が通信を行い、一つの大きなVR環境を生成することを示している。通信によってコンテンツ及びセンシング情報が共有されることにより、遠隔地にいる複数のユーザが同一VR環境における共存及び情報共有を行い、同一バーチャル物体の操作・感触の共有が行われる。また、同一ユーザに装着された複数の錯触力覚インタフェース装置101が協調的に動作することによりウェアラブルなVR環境が形成される。
図3は、各種センサ、触力覚インタフェース装置、及び錯触力覚インタフェース装置101に関するキャリブレーション処理のフローチャートを示している。
各キャリブレーション・フローにおいて、キャリブレーション用信号が発生され、これに従って各種センサ、触力覚インタフェース、及び錯触力覚インタフェース装置101が制御されて、その制御結果をセンシングすることでキャリブレーションが行われる。
図4は、センシング処理のフローチャートを示している。センシングでは、錯触力覚インタフェース装置101の位置、姿勢、加速度、及びインタフェースと皮膚間の圧力、筋電が測定される。これらの情報は、キャリブレーション、学習、コンテンツ作成、提示において利用される。この筋電センサの代わりに、脳波、心拍、呼吸、血圧、血流、血中ガス、皮膚抵抗といった生体信号を測定する生体信号センサを利用してもよく、生体信号に対する錯触力覚インタフェース装置101の制御及びバイオフィードバック制御によって、キャリブレーション、学習及び効果的な錯覚誘起が促進される。生体信号センサ及びバイオフィードバック制御は、医療などで用いられている既存の計測センサ及び制御法を利用すればよい。なお、生体信号センサは、錯触力覚デバイスとは離れた位置において身体に装着してもよい。例えば、錯触力覚インタフェース装置の一部を構成する生体信号センサとしての脳波センサを頭部に装着し、同時に、錯触力覚インタフェース装置の一部を構成する錯触力覚デバイスを指先に装着するような形態をとってもよい。
図5(a)は、コンテンツ生成の処理フローチャートを示している。コンテンツ作成では、読み込んだコンテンツデータ104及びセンシング情報をもとに、物理シミュレーションの計算、及びその他のモデル計算にもとづいて、VR空間が生成・更新され、CGが作成・表示され、錯触力覚及び触力覚情報が情報処理される。
図5(b)は、コンテンツの一例として、自由変形する中空球体をワイヤフレーム表現を用いて、バネ・ダンパ物理モデル528でモデル化した物理シミュレーション520を示している。
格子点p1は隣接する格子点p2〜格子点p4と結合している場合、格子点p1が格子点p2から受ける力ベクトルf12は
f12 =−k×(‖p2−p1‖−L0)×(p2−p1)/‖p2−p1‖−c×(v2−v1) (1)
と表わされる。ただし、
pi:格子点piの位置ベクトル
vi:格子点piの速度ベクトル
k:バネの弾性係数、
c:ダンパの粘性係数、
L0:平衡状態のバネの長さ
質量m1の格子点p1が周囲の格子点p2〜格子点p4から受けた力の合力をf1とすると、格子点p1の運動方程式は
m1×d2p1/dt2=f1=f12+f13+f14 (2)
と表わされる。
錯触力覚インタフェース装置101が装着された指先533がこのバーチャル物体・物理モデル520の格子点p1に接触した場合は、格子点p1は指先の位置p’1に変化し、指先に働く反力(−f)は、
−f=(f12+f13+f14)−m1×d2p’1/dt2 (3)
と表わされる。接触を判定するための指先533の動きは、位置センサ111、加速度センサ108によってセンシングされる。
実際の数値シミュレーションでは、時刻t’の格子点p1の位置p’1、速度v’1、力f’1は、ひと時刻前tの変数p1,v1,f1から求められる。
つまり、
速度ベクトル:v’1=v1+(f1/m1)×Δt (4)
位置ベクトル:p’1=p1+v1×Δt (5)
同様に質量m2のp2の位置、速度が計算される。
速度ベクトル:v’2=v2+(f2/m2)×Δt (6)
位置ベクトル:p’2=p2+v2×Δt (7)
最後に、格子点p1及び格子点p2の間に働く力ベクトル
f’12=−k×(‖p’2−p’1‖−L0)×(p’2−p’1)/‖p’2−p’1‖−c×(v’2−v’1) (8)
が算出される。
毎計算毎に各格子点の位置、速度、力が計算されて、メモリに保存される。この保存された値を用いて、次の時間の位置、速度、力が計算される。これらにより、指先533への反力が提示され、視聴覚ディスプレイで立体音像及び立体映像化されたバーチャル物体の可触化が実現される。
VR環境は、上記のバーチャル物体531に関する物理シミュレーションと同様に、周辺機器によってセンシングされた実空間の実物体、及び位置センサ111、加速度センサ108によってセンシングされたユーザの動き情報をもとに、両者が同一のVR環境においてモデル化され、コンテンツとの接触・把持力が計算されて、仮想空間及び実空間が融合されたVR空間が生成される。
図5(c)は、指先533に装着した錯触力覚インタフェース装置101を動かした時のバーチャル物体531の変形を示している。錯触力覚インタフェース装置101の動きはセンサによってモニタされ、バーチャル物体531との接触が検出され、バーチャル物体・物理モデル520の物理シミュレーションにより、モデルの変形、変形力及び指先に伝わる反力が計算されて、錯触力覚インタフェース装置101を通して、その触感が提示される。物理シミュレータ113の計算結果にもとづき、指533の動きに合わせて変形するバーチャル物体531から指先533への錯触力覚が制御されるため、例えば、バーチャル物体531の材質を表すゴムのような弾力感やスライムを引きのばした時のような粘性感を感じながら、バーチャル物体531を変形・移動することができる。
図6(a)及び図6(b)は、提示処理のフローチャートを示している。
コンテンツ作成装置102で作成されたVR空間の錯触力覚及び触力覚に関するコンテンツデータ104が読み込まれ、錯触力覚誘起関数及び触力覚関数が生成され、センシングで得られた情報及び各ユーザの特性に合わせて補正器117で補正が行われる。この関数に従って、錯触力覚デバイス107がフィードバック制御される。
錯触力覚インタフェース装置は錯覚を利用しているため、錯触力覚に対する感度及び学習による感度の向上には、大きな個人差がある。そのため、同じ刺激を提示しても、ユーザによって感じ方の強度が異なる。そのため、ユーザに依存せず同じ強度の刺激を知覚させるには、刺激に対する学習及び補正が必要となる。
図7(a)及び図7(b)は、学習器116の処理フローチャートを示しており、能動的学習、及び無自覚的学習がある。能動的学習方法では、学習用のインストラクションの後、以下に示す学習用の錯触覚誘起関数が生成される。この関数に従い提示された錯触力覚情報に対するユーザの反応・行動がセンシングされて求められた錯触力覚感覚の強度がユーザの錯触力覚感覚特性を示している。事前に多数の被験者に対して測定された錯触力覚感覚特性のデータをもとに錯触力覚誘起関数が作成される。この錯触力覚誘起関数と各ユーザの錯触力覚感覚特性が比較されて個人差を示す補正データ1714が算出され、メモリもしくはユーザ特性データベースに保存される。
具体的には、能動的学習においては、錯触力覚インタフェース装置101を装着した後、インストラクションに従い、順次、0°、180°、90°、270°の方向に錯触力覚による一定の力が提示される。錯触力覚は触力覚とは異なり、提示方向を離散的に変えながら提示することにより錯触力覚への慣れ・学習が進み、提示時間の経過とともに閾値の低下及び感覚感度が増し、力の方向がはっきりとしてくる。1分間の学習の後、錯触力覚の強度を徐々に弱めていき、知覚ができなかった強度を錯触力覚の感覚閾値として推定する。この感覚閾値は、提示した方向、ユーザ毎に異なり、この感覚閾値が個人の静特性を補正する補正データとしてメモリもしくはデータベースに保存される。学習が進むに従い閾値が錯触力覚感覚特性であるある一定値に収束するが、学習度は、その収束率である収束時定数によって判断される。次に、心理物理的一対比較法により、等感レベル曲線が求められる。
同様に、無自覚的学習方法では、各コンテンツにおける錯触力覚情報に対するユーザの反応・行動がセンシングされて、コンテンツ内の錯触力覚情報に関する特徴量(錯触力覚強度及び時間パターン)に対するユーザの錯触力覚感覚特性が測定されて、伝達関数の推定により応答特性(動特性)が推定される。各ユーザに対する応答特性が錯触力覚誘起関数として個人差補正用データとしてメモリもしくはデータベースに保存される。
このように、錯触力覚は個人差が大きな特性であるが、学習及び補正を用いることで、錯触力覚インタフェース装置を利用しても、従来の触力覚インタフェース装置と同じ刺激強度を提示する装置として扱える。
以下に、錯触力覚の特徴を示す。
従来の触力覚インタフェース装置では、触力覚に関する物理現象を物理的に再現した力・運動を指先や掌に提示・知覚されるものであったが、本発明では、物理的に与えた力・運動とは異なる、もしくは存在しない力・運動が知覚・認識される現象である。例えば、インタフェースが現実には(物理的には)浮き上がらないのにも関わらず、浮き上がるような感覚が知覚される。
従来の触力覚インタフェース装置では、外部から力が働くように感じさせるために、指先などに力を提示した時の反力を支えるベースが不可欠であった。これに対して、ベースのない非ベース型の振動モータを利用した触覚インタフェース装置では、振動平衡点であり重心周りにブルブルと振動するだけであり、外部から押されたような力を感じることはできなかった。これに対して、本発明である錯触力覚インタフェース装置101は、非ベース型でありながら、外部から押された感覚が提示可能な、錯覚を利用した触力覚の感覚を提示する装置である(非特許文献3)。
錯触力覚とは、錯覚による感覚知覚にとどまらず、インタフェースを持った腕が実際に持ち上がってしまう物理的な現象をも引き起こす。これは、錯覚によって騙された感覚によってユーザ自らが無自覚的に腕を動かしたり、反射によって腕の筋肉が動いてしまうことによる。この点で、物体と人間の体との間に働く物理的な力を再現しようとして発明・開発されてきた従来の触力覚インタフェースとは大きく異なり、本発明は、触力覚に関する錯覚を誘起する装置に関するものであり、効果的に錯触力覚を誘起させる装置に関する発明である。
また、本発明である錯触力覚インタフェース装置101は、従来型の触力覚インタフェース装置としての機能・効果も有しており、両方の提示感覚の相乗効果を図ることができる。
図8−1(a)〜図8−1(d)は、錯触力覚を誘起するデバイスの制御方法の一例を示している。
図8−1(a)は加減速機構であり、2つの偏心回転子A及び偏心回転子Bから構成されている。図8−1(b)は、この2つの偏心回転子を反対方向に同期回転させた場合を模式化したものである。この反対方向の同期回転の結果、平面内で任意の方向に直線的に加速・減速する力を合成することができる。図8−1(c)は振動、力、トルクなどの感覚特性が対数関数的な特性の場合を模式化したものである。この感覚特性上の、動作点Aで正の力を発生し、動作点Bで逆方向の負の力を発生した場合を考えると、力感覚は図8−1(d)のように表わされる。2つの偏心回転子の合成運動量の大きさは偏心回転子A及び偏心回転子Bの角運動量の合成であり、力は2つの偏心回転子の合成運動量の大きさの時間微分に比例する。
図8−2(a)〜図8−2(c)は偏心錘の形状を示しており、図8−2(b)のように流線形にしたり、図8−(c)のように比重が異なる材質を不均質に配置することにより、回転による抵抗が減り、大きな回転加減速を得ることができる。
図9は、この図8の現象及びその効果を模式的に示している。錯触力覚に関する感覚特性を考慮して、偏心モータ815の回転パターンを制御して2つの偏心回転子の合成運動量を時間的に変化させることにより、平衡点周りに周期的に加減速する振動904から、一定方向に連続的に働く力が知覚される錯覚905を誘起させることができる。つまり、物理的には一定方向に働く力のような成分は存在していないが、一定方向に力が働いているように知覚される錯覚が誘起される。
動作点A、及び動作点Bで位相180°毎に交互に加減速させると、一定方向の力感覚905が連続的に知覚される。力は、物理的に1サイクルで初期状態に戻り、その運動量及び力の積分値はゼロとなっている。つまり、平衡点周りに留まり、加減速機構が左側に移動することはない。しかし、感覚量である力感覚の感覚的積分値はゼロにならない。この時、正の方向の力の積分908の知覚は低下し、負の方向の力の積分909だけが知覚される。
ここで、角運動量の時間微分がトルク、運動量の時間微分が力であり、一定方向に連続してトルク及び力を発生し続けるためには、モータの回転数もしくはリニアモータを連続的に加速し続ける必要があり、そのため、回転体などを周期的に回転させ方法は力覚を一定方向に連続的に提示するのに適していない。特に、モバイル等で利用される非ベース型インタフェースでは、一方向への連続的な力の提示は物理的には不可能である。
しかし、人は非線形感覚特性を有しており、本発明の手法を用いれば、錯触力覚特性に関する知覚感度の利用や運動量の加減速パターン制御によって、物理特性とは異なった力・力パターンを錯覚的に知覚させることができる。例えば、与えた刺激強度に対する感じられた刺激の大きさの比が感度であるが、人間の感覚特性は与えた刺激の強度に対して感度が異なっており、弱い刺激にはより敏感であり、強い刺激には鈍感である。そこで、モータ回転の加減速の位相を制御し周期的に加減速を繰り返すことで、弱い刺激を提示した方向に連続的な力覚を提示させることに成功している。また、感覚特性の適切な動作点A及びBを選択することにより、強い刺激を提示した方向にも連続的な力覚を提示させることもできる。
類似の装置としてドライビング・シミュレータが連想されるが、ドライビング・シミュレータでは、目的の力(加速感)を与えた後に気付かれない程度の小さな加速度で元の位置にゆっくりと戻すことで車の加速感を提示している。そのため力の提示は断続的になり、このような偏加速型方式では、一定方向の力感覚や加速感を連続的に提示することはできない。従来型である触力覚インタフェース装置でも同様である。しかし、本発明では、例えば50Hzという短い周期で感覚閾値上での順方向・逆方向への加減速を連続に繰り返す駆動方法904にも関わらず、錯覚を利用することで、一定方向に連続的な並進力感覚905が提示される。特に、物理的な手法による上記ドライビング・シミュレータで提示される断続的な力の方向とは反対方向に連続的な力が知覚される点が、錯覚を用いた錯触力覚インタフェース装置101の特徴である。
つまり、この強度によって感度が異なるという人間の非線形感覚特性を利用することで、周期的な加減速や振動で発生する力の積分が物理的にはゼロであるにも関わらず、感覚的には相殺されないばかりか、正の方向の力908は知覚されず、目的の方向である負の方向909に並進力的な力覚905やトルク感が連続的に提示できる。(連続的なトルク感覚の生成方法は、図20(c)を参照)これらの現象は、感覚特性831が刺激である物理量832に対してその感覚量が対数以外の場合でも、非線形特性であれば同じ効果が得られる。本効果は、非ベース型に限らず、ベース型においても効果が得られる。
図9において、動作点Aでの回転継続時間Taをゼロに近づけることにより、回転継続時間Taと回転継続時間Tbのそれぞれの区間での運動量が等しいことから、回転継続時間Taの区間での合成運動量は大きくなり力も大きくなるが、力感覚は対数的に変化し感度が低下するために、回転継続時間Taの区間での感覚値の積分はゼロに近づく。このため、回転継続時間Tbの区間での力感覚が相対的に大きくなり、一方向への力の感覚905の連続性が向上していく。その結果、動作点A及び動作点Bを適切に選択して、動作点A継続時間及び動作点B継続時間を適切に設定し、2つの偏心回転子A及び偏心回転子Bの同期位相を調整することで、任意の方向に自在に力感覚を提示し続けることができる。
図10(a)〜図10(c)に示した感覚特性のように、ユーザごとの感覚特性は異なる。このため、錯触力覚がはっきりと知覚される人や知覚されにくい人、学習によって知覚されやすさが向上する人がいる。本発明では、この個人差を補正する装置を有する。また、同じ刺激が持続的に提示される場合、その刺激に対して感覚が鈍化してしまうこともある。そのため、刺激の強度・周期や方向に揺らぎを与えたりすることで慣れを防止することは効果的である。
図10(d)に錯触力覚を用いた一定方向の力の提示手法の一例を示す。2つの偏心振動子を反対回転方向に回転させて振動成分を合成する方法において、動作点Aでの高速回転数ω1(高周波f1)1002aと動作点Bでの低速回転数ω2(低周波f2)1002bを位相180°毎に交互に提示した場合、錯触力覚強度(II)は、偏心回転子の回転速度である周波数の加減速比Δf/fの対数に比例する(図10(e))。ただし、(f=(f1+f2)/2、Δf=f1−f2)。錯触力覚強度とΔf/fの対数値をプロットした時の傾きnが、個人差を示す。
また、振動感強度(VI)は、錯覚による一定方向の力感覚と同時に知覚される振動成分の強度を示し、振動成分の強度と物理量f(対数)とはおおよそ反比例の関係にあり、周波数fを大きくすることで振動感強度(VI)は相対的に低下する(図10(f))。この振動成分の含有強度を制御することにより、錯触力覚を提示したときの力の質感が変わる。対数でプロットした場合の傾きmは個人差を示す。なお、個人差を示すn、mは、学習が進むに従って変化し、学習が飽和した時に一定の値に収束する。
図11(a)〜図11(c)は、仮想平板1100の質感表現方法を示している。錯触力覚インタフェース装置101が、センシングによってモニタされた錯触力覚インタフェース装置101の動き(位置・姿勢角度、速度、加速度)が仮想物体の動きを1101を表しており、この仮想物体の動きに合わせて、錯触力覚による抗力1102の方向・強度及び質感パラメタ(含有振動成分)を制御することにより、仮想平板の質感である摩擦感覚1109や粗さ感覚1111及び形状が制御される。
図11(a)は、仮想平板1100上で仮想物体(錯触力覚インタフェース装置101)を移動させた時に働く仮想平板から仮想物体への抗力1103及び移動に対する抗力1102を示している。
図11(b)は、錯触力覚インタフェース装置101と仮想平板1100とが接した時に両物体の間に働く摩擦力1104が、動摩擦及び静摩擦を振動的に繰り返すことを示している。また、仮想平板の誤差厚内1107に錯触力覚インタフェース装置101が留まるように押し戻す抗力1106をフィードバック制御して提示することで、仮想平板の存在・形状を知覚させる。錯触力覚インタフェース装置101が仮想平板内1100に存在しない時は押し戻す抗力を提示せず、存在する時だけ提示することにより壁の存在が知覚される。
図11(c)は、表面粗さの表現方法を示している。錯触力覚インタフェース装置101を移動させた方向1101とは反対方向に、移動速度・加速度に合わせて抗力を提示することによって、抵抗感や粘性感1108を知覚させる。移動方向と同じ方向に負の抗力を提示(加速力1113)することによって、氷上を滑るような仮想平板の滑らか感1110を強調することができる。この加速感・滑らか感1110は、従来の振動子を使った非ベース型触力覚インタフェース装置では提示することが困難であり、錯覚を使った錯触力覚インタフェース装置101で実現された質感及び効果である。また、抗力を振動的に変化させること(振動的抗力1112)により、仮想平板の表面粗さ感覚1111を知覚させる。
図12(a)は、位相パターンの初期位相(θi)によって誘起・知覚される錯触力覚の方向を示している。
錯触力覚デバイス107は、図12(b)の回転開始の初期位相(θi)を変えることにより、偏心回転子で合成される運動量の変化によって誘起される錯触力覚の方向1202を、初期位相(θi)の方向に制御することができる。例えば、図12(c)のように初期位相(θi)を変えることにより、平面内360°の任意の方向に誘起できる。
このとき、錯触力覚インタフェース装置101自身の重さが重い場合、錯触力による上向きの力感覚1202と重力による下向きの力感覚1204とが打ち消されて浮き上がる浮力感覚1202が得られにくく、重く感じられてしまうことがある。その時には、錯触力覚による上向き方向を重力方向の反対方向から僅かにずらして錯触力覚1203を誘起させることで、重力による浮上感覚の減少・阻害を抑制することができる。
重力方向と反対方向に提示したい場合には、重力方向と180°+α°及び180°−α°とわずかに鉛直からずれた方向に交互に錯触力覚を誘起する方法もある。
図13−1(a)〜図13−2(g)は、錯触力覚インタフェース装置101の実装例を示している。
図13−1(a)や図13−1(b)のように、接着テープ1301やハウジング1302の指挿入部1303を用いて指先533に装着する。また、指533の間に装着したり(図13−1(c)、図13−1(e))、指533で挟んで(図13−1(d))使用してもよい。ハウジング1302は、変形が少ない硬い材料でもよいし、変形が容易な材料でもよいし、粘弾性を持ったスライム状でもよい。これらの装着方法の変形態として、図13−2(a)〜図13−2(g)も考えられる。図13−2(e)〜図13−2(g)においては、柔軟な接着及びハウジングによって、錯触力覚デバイスの2つの基本ユニットの位相を制御することにより、左右上下の力覚に加え、膨張感覚、圧縮・圧迫感覚も表現することができる。このように、接着テープ、指挿入部を有するハウジングのように、錯触力覚インタフェース装置101を身体などに装着させるものを装着部と呼ぶ。装着部は、上記の接着テープ、指挿入部を有するハウジングの他に、シート型、ベルト型、タイツのように、物や身体に装着できるものならばどのような形態のものでもよい。同様な方法で、指先、掌、腕、大腿など、体の至る所に装着される。
なお、本明細書で扱う粘弾性材料及び粘弾性特性という用語は、粘性及び又は弾性の特性を有するものを示す。
図14に、その他の、錯触力覚インタフェース装置101の実装例を示す。
図14(a)では、振動を発生する錯触力覚デバイス107が加速度センサ108にノイズ振動として検出されてしまうため、これらを指533に対して反対方向に配置することで、振動の加速度センサ108への影響を低減させている。また、錯触力覚デバイス107の制御信号をもとに加速度センサ108で検出されるノイズ振動をキャンセリングすることによってもノイズ混入の低減を図っている。
図14(c)〜図14(e)では、錯触力覚デバイス107と加速度センサ108の間に耐震材料1405を介在させることで、ノイズ振動の混入を抑えさせている。
図14(d)では、実物体を触りながら錯触力感覚をも知覚する錯触力覚インタフェース装置101である。実物体との触感に錯触力覚の感覚を付加している。従来のデータグローブでは、触力覚の提示に指にワイヤを装着して指を引っ張ることにより力覚を提示していた。データグローブを用いて実物体を触りながらも触力覚提示を行うと、実物体から指が離れてしまったり、把持が阻害されるなど、実物体とバーチャル物体の感触を複合することが難しい。錯触力覚インタフェース装置101では、このようなことがなく、実物体をしっかりと把持・触れながらもバーチャルな感触も付加する複合感覚(ミックス・リアリティ)を実現している。
図14(e)では、さらに、圧力センサ109によって測定された実物体との接触及び把持圧に従い錯触力感覚を付加することで、その実物体の把持・接触感触を編集したり、バーチャル物体531の感触に置換する。図14(f)では、図14(e)の圧力センサの代わりに表面形状や形状変形を測定する形状センサ(例えば、フォトセンサ)を用いて、触感に係る把持物体の形状・表面形状の測定、及び変形による把持力・歪せん弾力・接触の測定を行っている。これらによって、測定された応力・せん弾力及び表面形状を強調した触覚拡大鏡が実現される。顕微鏡のようにディスプレイで微細な表面形状を視覚的に確認するとともに、その形状を触覚的にも確認することができる。また、形状センサにフォトセンサを使用すれば、接触しなくても形状を測定できるため、離れた物体に手をかざすことで物体の形状を体感することができる。
また、使用状況やコンテキスト(文脈)によってタッチパネル上のコマンドが変化する可変型タッチボタンの場合、特に、携帯電話のようにボタンを押すときに指で隠れてしまう場合などでは、可変型ボタンのコマンドが隠れてしまい読めなくなる。同様に、VRコンテンツにおける仮想空間内の可変型ボタンの場合、メニュー表記やコマンドがコンテキストで変化するため、ボタンを押す場合には今押そうとするボタンの内容がわからなくなる。そのために、図14(e)のように、錯触力覚インタフェース装置101上のディスプレイ1406にそれを表示することで、ボタンのコマンド内容を確認しながら錯触力覚ボタンを押し込むことができる。
バーチャル物体531やバーチャル・コントローラでのバーチャル・ボタンの押込み情報及び押込み反力が実物体と同様に違和感なく感じ操作できるためには、押込みと押込み反力の提示との間の時間遅れが問題となる。例えば、アーム型の接地型力覚インタフェースの場合、把持指の位置がアームの角度等で計測され、デジタルモデルとの接触・干渉判定が行われた後、提示すべき応力が計算され、モータの回転が制御され、アームの動き・応力が提示されるため、応答遅れが発生することがある。特に、ゲーム時のボタン操作は反射的に高速に行われるため、コンテンツ側でモニタ・制御していたのでは間に合わないことがある。そこで、錯触力覚インタフェース装置側101にも、センサ(108,109,110)をモニタし、錯触力覚デバイス107及び粘弾性材料1404を制御するCPU、メモリを搭載して、リアルタイム制御を行うことでバーチャル・ボタンの押込みなどの応答性が向上し、リアリティ及び操作性が向上する。
また、通信器205を有し、他の錯触力覚インタフェース装置101との通信を行う。例えば、錯触力覚インタフェース装置101を指5本に装着した場合、それぞれの指の動きに連動して、錯触力覚インタフェース装置が形状変形材(図14(b)の1403)で変形したり、バーチャル・コントローラの形状変形や感触、バーチャル・ボタン操作をリアルタイムに行うことで、リアリティ及び操作性が向上する。
図14(a)では、感覚・筋肉のヒステリシス特性を効果的に利用するために、筋電センサ110で筋電反応を測定し、筋肉が縮小する時間及び強度が大きくなるように錯触力覚誘起関数がフィードバック的に補正される。錯触力覚の誘起に影響する要因のひとつに、錯触力覚インタフェース装置101の指や掌への装着仕方(挟み方・挟む強さ)、錯触力覚インタフェース装置101からの力を受け止める腕へのユーザによる力の入れ方がある。錯触力覚の感度には個人差があり、軽く握った方が錯触力覚を感度良く感じる人もいるし、強く握った方が感度良く感じる人がいる。同様に、装着時の締め付け方によっても感度が変わる。この個人差を吸収するために、圧力センサ109や筋電センサ110で握りの状態をモニタして、個人差を測定するとともに錯触力覚誘起関数をリアルタイムで補正する。人はコンテンツ中の物理シミュレーションに慣れる・学習することで握り方が適切な方向に学習が進むが、本補正はこれを促進する効果を有している。
図14(a)〜図14(e)では、部品構成を示すために、錯触力覚インタフェース装置101が厚くなっているが、各部品はシート状の薄型にも対応できる。
図15に、5本指の指先533へ装着した場合の実装例を示す。
本実装例の特徴は、従来のゲーム機などのコントローラに実装されている触力覚インタフェース装置では、単に振動の強弱・周波数を変化させるだけであるが、本実装方式では、錯触力覚提示手法により、一定の方向に連続的に力を知覚させることが可能な点にある。これを用いて、指533及び掌の動きに合わせて図11に示される方法により錯触覚の力の方向・大きさをフィードバック制御することにより、指先・掌の中にバーチャルな物体531の存在や感触を提示する。また、加速度センサ108や位置センサ111などにより指533の動きを検出して錯触力覚をフィードバック制御することにより、重力感覚や質量感及び力を一定の方向に連続的に提示できるため、非ベース型インタフェースでありながら、バーチャル物体531の存在感、形状、触感を提示することができる。
図16は、図15とは別の実装例を示したものであり、それぞれの錯触力覚インタフェース装置101に、CPU・メモリ、及び通信器205が装備されている。それぞれの錯触力覚インタフェース装置101は、お互いに高速に通信を行い、お互いの錯触力覚の情報提示を連携して行うことができる。
ジェスチャーによる選択・意図を入力する装置として使用する場合、バーチャル物体531とのインタラクティブなジェスチャー入力により、直感的なジェスチャー入力や操作が可能となる。
指533や人以外にも、鉛筆や毛筆などの筆記用具、歯ブラシなどの日用雑貨品、ぬいぐるみやおもちゃ等の玩具など、すべての物に装着することができる。例えば、ぬいぐるみの手に装着もしくは内臓することにより、ぬいぐるみの手を握ったときに、引っ張られたり押される感覚を提示できる。また、鉛筆や毛筆の使い方・動かし方のトレーニングにも利用できる。
個々がコントローラでもあり、また、集合体もひとつの大きなコントローラになるため、様々な形態のコントローラを実現することができる。
図17(a)は、錯触力覚インタフェース装置101の制御システムの一例を示している。
コンテンツ情報の提示すべき触感に合わせて、錯触力覚データベース1710に蓄積された情報をもとに、錯触力覚誘起関数が生成される。生成された関数は、補正器1702においてユーザ特性、及び、錯触力覚インタフェース装置101の位置・加速度・圧力情報にもとづいて補正が行われたのちに、錯触力覚デバイス107の制御器であるモータ制御器1703で制御用信号に変換されて偏心錘に接続されたモータ1704が駆動される。エンコーダ1705で回転位相がモニタされ、モータ制御器1703においてモータの回転が適正回転になるようにフィードバック制御される。この回転・位相パターンにより錯触力覚の感覚が誘起される。
また、錯触力覚の誘起効果を向上させるために、加減速パターンを生成する錯触力覚デバイス107の代替方法として、粘弾性特性制御器1706で制御用信号に変換されて、粘弾性材料1407の特性が制御される。粘弾性材料1407の粘弾性特性を時間的に変化させることにより、等速回転した偏心回転子でも粘弾性材料1407を介した運動特性によって、上記の回転・位相パターンと同じ効果が誘起される。
上記の2つの方式に限らず、錯触力覚を誘起する制御パターンで振動・運動量を変化させ得るものならば、材料・方法は問わない。
図17(b)は、錯触力覚データベース1710に記録された錯触力覚に関する等感レベル曲線を示している。コンテンツにおける物理シミュレーションにおいて求められた反力(−f)に対する感覚量、例えば、30dBに対して、錯触力覚データベースに保管されている錯触力覚等感レベル曲線を用いて、これと等価な錯触力覚感覚レベルを誘起させる物理強度15dB(1725)が算定され、錯触力覚誘起関数Fが生成される。
錯触力覚誘起関数生成器で生成される錯触力覚誘起関数F1713は、力を提示すべき方向ベクトルu(x,y,z)、錯触力覚強度II、振動感強度VI、応答特性R(P,I,D)から求められ、偏心回転子の回転加減速を制御するための位相パターン θ(t)=F(u, II, VI, R) が計算される。ただし、P,I,Dは、PID制御の比例ゲイン、積分ゲイン、微分ゲインを示す(具体的な計算方法は、図35の実施例で示す)。
上記錯触力覚・等感レベル曲線及びユーザ個人の錯触力覚・等感レベル曲線から求められた補正データ1714がユーザ特性データベース1711に保存されており、これを用いて補正器1702で読み出して個人差が補正される。また、錯触力覚は、指先と錯触力覚インタフェース装置101との接触圧力CP、姿勢による重力の影響PG、及び装置を移動させた時の加速度による慣性力FIによって、感度S(S=S(CP,PG,FI))が異なる。この感度Sは事前の被験者実験によって求められて錯触力覚データ1710に保存されており、感度S及び補正データ1714が錯触力覚・等感レベル曲線の閾値上昇として足されることにより補正が行われ、その結果、補正された錯触力覚誘起関数が求められる。
図18は、錯触力覚デバイス及び触力覚デバイスの処理フローチャートを示している。
錯触力覚デバイス107は、錯触力覚誘起関数及び錯触力覚関数データ1710をもとに、錯触力覚情報提示を行うモータ1704がフィードバック制御され、所望の感覚が提示される。
錯触力覚デバイス107は、触力覚を提示する機能(触力覚デバイス)も有している。錯触力覚及び触力覚を同時に提示することで質感が向上する相乗効果が得られる。
図19は、錯触力覚インタフェース装置101の制御の一例を示している。
本装置では、モータ1704の制御を、モータ1704のフィードバック特性を制御するモータフィードバック(FB)特性制御器と錯触力覚誘起パターンをモータ制御信号に変換する制御信号生成器に分けて制御する。本発明では、モータ回転の位相パターンθ(t)=F(u, II, VI, R) の同期を制御することが肝要であり、時間的に高精度に同期制御する必要がある。そのため手法の一例として、ここではサーボモータの制御用パルス列による位置制御を示す。位置制御としてステップモータを用いた場合には、急な加減速のために簡単に脱調・制御不能になることが多い。そこで、ここではサーボモータによるパルス位置制御を説明する。モータフィードバック(FB)制御特性の制御とパルス位置制御法によるモータ制御に分離することで、錯触力覚インタフェース装置101を多数同期制御して利用する本発明では、異なるモータを使用した場合のモータ制御信号の一貫性、錯触力覚誘起パターン生成の高速化、及び同期制御すべき制御モータ数の増加に容易に対応ができるスケーラビリティが確保される。また、個人差の補正も容易となる。
錯触力覚誘起関数生成器1701において、モータFB特性制御器及びモータ制御信号生成器を制御するための制御信号に分離され、モータ制御信号生成器においてモータの位相位置を制御するパルス信号列 gi(t)=gi(f(t)) が生成され、モータの位相パターン θ(t) が制御される。
本方式では、パルス数によってモータの回転位相をフィードバック制御しており、例えば、1パルスによって1.8°モータが回転する。なお、回転方向は、方向制御信号により、正転・反転が選択される。このパルス制御手法を用いることにより、2つ以上のモータの位相関係を保ちながら、任意の加減速パターン(回転速度、回転加速度)を任意の位相のタイミングで制御する。
図20(a)〜図20(f)は、基本的な触力覚の感覚、錯触力覚の感覚を提示する、錯触力デバイス(触力デバイス)の制御の一例を示している。
図20(a)は、錯触力覚デバイス107において回転力を発生する方法を模式的に示したものであり、図20(d)は、並進力を発生する方法を模式的に示したものである。図20(a)の2つの偏心錘814の回転は、位相180°遅れて同じ方向に回転している。これに対して、図20(d)では、お互いに反対方向に回転している。
(1) 図20(b)のように、2つの偏心回転子を180度の位相遅れで同方向に同期回転させた場合、2つの偏心回転子が点対称となり重心と回転軸中心が一致することにより、偏心のない等トルクの回転が合成される。これにより、回転力感覚を提示することができる。しかし、角運動量の時間微分がトルクであり、一定方向に連続してトルクを提示し続けるためには、モータの回転数を連続的に加速し続ける必要があり、現実的には連続的に提示することは困難である。
(2) 図20(c)のように、角速度ω1及び角速度ω2によって同期制御することにより、一定方向に連続的な回転力の錯触力覚感覚(連続トルク感覚)が誘起される。
(3) 図20(e)のように、反対方向に一定角速度で同期回転させた場合、初期位相θi1201を制御することで任意の方向に直線的に振動する力(単振動)が合成できる。
(4) 図20(f)のように、錯触力覚に関する感覚特性に従い、角速度ω1及び角速度ω2によって反対方向に同期回転させた場合、一定方向に連続的な並進力の錯触力覚感覚(連続力感覚)が誘起される。
錯触力覚インタフェース装置101において、図20(c)及び図20(f)のように、人間の感覚特性に合わせて回転速度(角速度)及び位相同期を的確に制御すれば、2種類の角速度(ω1、ω2)の組み合わせだけでも錯触力覚を誘起できるため、制御回路を簡潔にすることができる。
図21は、錯触力デバイス107の偏心錘814の初期位相遅れを変化させた時の錯触力覚に関する感覚強度の変化を示している。図21(a)及び図21(b)は初期位相遅れがない場合、図21(d)及び図21(e)は初期位相遅れがある場合を示しており、図21(a)及び図21(d)は2つの偏心錘814の位相関係を模式的に示している。図21(c)は、錯触力デバイスで生成する振動振幅に対して錯触力デバイスによって誘起される錯触力覚の感覚強度の関係を示す感覚特性である。
図21(b)と図21(e)は、各偏心回転子の加速・減速時の初期位相遅れが0°及び−90°の場合であり、合成される加減速のパターンが異なり、図21(e)の方が大きな加減速の強度変化(物理量(振幅))を発生できるために大きな錯触力覚の感覚強度が提示される。図21(f)ように、初期位相遅れを制御することにより、錯触力覚の感覚強度を制御することができる。
図22は、錯触力覚インタフェース装置で利用される非線形特性を示しており、それぞれ、感覚特性(図22(a)及び図22(b))、粘弾性材料の非線形特性(図22(c))、粘弾性材料のヒステリシス特性(図22(d))を示している。
図22(b)は、図8と同様に、振動や力などの物理量に対して閾値2206を有する人間の感覚特性を示した模式図であり、この特性を考慮して錯触力覚インタフェース装置を制御することにより、物理的には存在していない感覚が錯触力覚として誘起されることを示している。
図22(c)のように、加えた力に対する応力特性が非線形特性を示す物性を有する材料を振動・トルク・力といった駆動力を発生する装置と人間の皮膚・感覚器官との間に挟んだ時にも、同様な錯触力覚が誘起される。
また、図22(d)のように、感覚特性は、筋肉を伸ばす時と縮める時など、変位が増加する時と減少する時において等方的でなく、ヒステリシス的感覚特性を示す場合が多い。筋肉が引っ張られるとその直後に筋肉が強く収縮する。このように強いヒステリシス特性を発生させることで、同様な錯触力覚の誘起が促進される。
図23は、錯触力覚デバイス107の代替デバイスを示している。
図23(a)の偏心回転子の偏心錘814とそれを駆動する偏心モータ815の代わりに、図23(b)〜図23(e)では錘2302と伸縮材2303を使用している。例えば、図23(b)及び図23(d)は、錘2302を支える伸縮材2303が、それぞれ、8つの場合と、4つの場合の平面図、正面図、側面図を示している。それぞれ図において、対となる伸縮材2303を収縮・膨張させることにより、錘を任意の方向に移動させることができる。その結果、並進的及び回転的な振動を発生させることができる。重心の並進移動や回転トルクを発生・制御できる加減速機構を有するものならば、どのような構造でも代替品として利用できる。
図24は、異なる粘弾性材料を用いた制御アルゴリズムを示している。
図24(g)のように、加えた力に対する応力特性が非線形特性(図24(c))を示す物性を有する材料(2403、2404)を振動・トルク・力といった駆動力を発生する装置と人間の皮膚・感覚器官との間に挟んだ時にも、同様な錯触力覚905が発生する。
例えば、図24(a)のように、錯触力覚デバイス表面の位相−90〜90°領域及び90〜270°領域に異なる応力−変形特性の材質(2403、2404)を貼り付けることにより、偏心回転子は定角速度で回転(図24(b))していても、粘弾性変形材料を通して伝わる力を非線形に伝達(図24(d))することができる。その結果、偏心回転子を加減速した時と同じように、位相−90〜90°領域及び90〜270°領域において異なる力(物理量)が提示され、偏った重心位置x(2402)の変化が発生され、感覚特性の非線形(図24(f))が加わって、一方向に錯触力覚の力905を感じる(図24g)ことができる。錯触力覚による力の方向は、異なる粘弾性変形材料を張り付ける位置によって定まる。これにより、回転数を加減速した方法に比べ、消費エネルギーを抑えることができる。また、回転数を一定にせずに加減速した場合、粘弾性材料(2403、2404)によって錯触力覚の効果が増すことができる。なお、図24(d)と図24(e)は同じ図である。
図25は、図24において異なる2つの粘弾性変形材料の貼りつけた部位の方向と知覚される錯触力覚の方向を示している。
図25(a)(b)(c)(d)は、図24(c)動作点A及び動作点Bで作用する粘弾性特性を有する材料A及びBを、図24(a)において(1)材料Aを位相180〜360°領域及び材料Bを0〜180°領域で使用した場合、(2)材料Aを位相90〜270°領域及び材料Bを−90〜90°領域で使用した場合、(3)材料Aを位相0〜180°領域及び材料Bを180〜360°領域で使用した場合、(4)材料Aを位相−90〜90°領域及び材料Bを90〜270°領域で使用した場合に対応している。図25(a)では、上向きの錯触力が働き、インタフェースが浮き上がる感覚を得ることができる。図25(b)では、左向きの錯触力が働き、インタフェースが左側に引っ張られる感覚を得ることができる。図25(c)では、下向きの錯触力が働き、インタフェースの重さが重くなったような感覚を得ることができる。図25(d)では、右向きの錯触力が働き、インタフェースが右側に引っ張られる感覚を得ることができる。
図26は、ヒステリシス材料を用いた制御アルゴリズムを示している。
図26(c)のように、力が増加する動作点Bと減少する動作点Aにおいて力−変位のヒステリシス応力特性が異なる場合、ヒステリシス応力特性材料(2601、2602)を通して伝わる力の伝達もこの応力特性に従い異なる。その結果、図26(b)のように偏心回転子を加減速した時、図26(a)でのヒステリシス応力特性材料2601及び2602は、図26(c)の動作点B及び動作点Aに従った変位を示し加減速運動を発生させ、この加減速運動により図26(d)の感覚特性を持ったユーザが錯触力覚を知覚する。これにより、それぞれの非線形効果により、システム全体としての非線形効果が増強され、大きな錯触力覚が得られる。このように、ヒステリシス特性を有する材料を振動・トルク・力といった駆動力を発生する装置と人間の皮膚・感覚器官との間に挿入することにより加減速の効果が増強されて、錯触力覚の誘起効果が増す。図26(e)のようなヒステリシス応力特性を有する場合も、図26(c)の場合と同様である。また、図26(a)のように錯触力覚デバイス表面にヒステリシス応力特性材料を貼り付けた場合と同様に、図26(f)のようにヒステリシス応力特性材料を指先や身体に貼り付けてもよい。
図27は、印加電圧で特性が変わる粘弾性材料を用いた制御アルゴリズムを示している。
図24における粘弾性材料を用いた手法では異なる応力−変形特性の材質(2403,2404)を張り付けたが、図27(a)のように、印加電圧で粘弾性特性が変化する材料1707を用いてもよい。印加電圧を制御することで粘弾性係数を変化(図27(b))させて、偏心回転子によって発生された周期的に変化する運動量の掌への伝達率を、偏心回転子の回転位相と同期させて変化させることで、偏心回転子が図27(c)のように一定の回転速度で回転(定速度回転)していたとしても、図27(d)のように粘弾性の特性を時間的に動作点B及び動作点Aにおける特性値になるように変化させることで掌・指先に伝わる運動量を制御できるため、偏心回転子の回転速度を加減速したことと同じ効果が得られる。また、本手法は、皮膚の物理特性を疑似的に変えることと同じ効果を有し、感覚特性曲線(図27(e)を擬似的に変化させる効果を持つ。そのため、感覚特性の個人差を吸収したり、錯触力覚の誘起効率を高める制御に利用できる。また、図27(a)のように錯触力覚デバイス表面に粘弾性材料を貼り付けた場合と同様に、図27(f)のように粘弾性材料を指先や身体に貼り付けてもよい。ここで、粘弾性材料は、印加電圧によって応力−歪特性を非線形に制御することができるものであれば、材質・特性を問わない。また、非線形制御ができれば、制御方法も印加電圧による制御に限られない。
図26(b)のようにモータの回転の加減速を繰り返すと大きなエネルギーのロス及び発熱が起こるが、本手法は、モータの回転速度は一定(図27(c))、もしくは、加速度比f1/f2が1に近い値であり、印加電圧による特性の変化を行うため本手法のエネルギー消費は、モータの加減速によるエネルギー消費よりも小さく抑え得る。
図28は、発振回路を用いた制御アルゴリズムを示している。
図28(a)は、発振回路を用いたエネルギー効率の良い錯触力覚インタフェース装置の一例を示している。一般にモータを高速回転1002a及び低速回転1002bを繰り返すなど、加減速を繰り返す時には大きなエネルギーのロス及び発熱が生じる。エネルギーロス及び発熱は、モバイルやワイヤレスでの利用を考えた時、大きな障害となる。そこで、コイル、コンデンサ、抵抗を組み合わせた発振回路を介して、錯触力覚を生成するように偏心回転モータの回転速度を制御(図28(b))することにより、エネルギーの消費を抑えることが可能となる。特に、非線形特性及びヒステリシス性を持った発振が望ましい。図28(a)に示した発信回路は一例であり、並列回路などによる組み合わせ、電力制御用の半導体素子による発信回路でもよい。
図29−1から図29−3に、アプリケーションやコントローラの使用目的に合わせ、錯触力覚デバイスの基本ユニットを複数用いた装置を示す。
図29−1(a)は、対向型に配置した錯触力覚デバイスの基本ユニットを示している。
図29−1(b)は、対向型に配置した錯触力覚デバイスの基本ユニットを示している。
図29−1(c)は、並行型に配置した錯触力覚デバイスの基本ユニットを示している。
図29−1(d)は、対向型かつ並行型に配置した錯触力覚デバイスの基本ユニットを示している。
図29−1(e)は、対向型かつ並行型に配置した錯触力覚デバイスの基本ユニットを示している。
図29−1(f)は、並行型に配置した錯触力覚デバイスの基本ユニットを示している。
図29−1(g)は、並行型に配置した錯触力覚デバイスの基本ユニットを示している。
図29−1(h)は、正四面体の頂点に3次元に配置した錯触力覚デバイスの基本ユニットを示している。
図29−1(i)は、対向型かつ並行型に配置した錯触力覚デバイスの基本ユニットを示している。
図29−1(j)は、対向型かつ並行型に配置した錯触力覚デバイスの基本ユニットを示している。
図29−1(k)は、並行型に配置した錯触力覚デバイスの基本ユニットを示している。
図29−2(a)は、対向型を2次元的に配置した錯触力覚デバイスの基本ユニットを示している。
図29−2(b)は、対向型・並行型を2次元的に配置した錯触力覚デバイスの基本ユニットを示している。
図29−2(c)は、対向型・並行型を2次元的に配置した錯触力覚デバイスの基本ユニットを示している。
図29−2(d)は、対向型を3次元的に配置した錯触力覚デバイスの基本ユニットを示している。
図29−2(e)は、対向型・並行型を3次元的に配置した錯触力覚デバイスの基本ユニットを示している。
図29−2(f)は、対向型・並行型を3次元的に配置した錯触力覚デバイスの基本ユニットを示している。
図29−3(a)及び図29−3(b)は、筒型ゲーム・コントローラ内に配置した錯触力覚デバイスの基本ユニットを示している。
図29−3(c)及び図29−3(d)は、ねじれの位置に3次元に配置した錯触力覚デバイスの基本ユニットを示している。
図29−3(e)は、ゲーム・コントローラ内に配置した錯触力覚デバイスの基本ユニットを示している。
図30(a)は、錯触力覚デバイスによって誘起される錯触力感覚に加えて、錯触力に同期させて形状変形用モータ3002によって錯触力覚インタフェース装置の形状3001を変形させることによって、誘起される錯触力覚905を強調する装置を示している。
例えば図30(b)のように、釣りゲームに応用した場合、魚による釣り竿の引っ張りに合わせてインタフェースの形状3001を反らせることにより、錯触力覚905によって誘起された釣り糸の張力感覚が更に強調される。このときに錯触力覚なしにインタフェースを変形しただけでは、このようなリアルな魚の引きを体感することはできなく、錯触力覚にインタフェースの変形が加わることでリアリティが向上する。また、図30(c)のように錯触力覚デバイスの基本ユニットを空間的に並べることにより、形状変形用モータ3002なしに変形効果を生じさせることができる。
形状の変形は、形状変形用モータ3002に限らず、形状記憶合金や圧電素子を用いた駆動装置といった形状を変化させることができる機構ならばどんなものでもよい。
図31は、錯触力覚インタフェース装置101を用いたバーチャル・コントローラ3101を示している。
コンテンツ作成装置102において生成されたバーチャル・コントローラ3101は、視覚的には、ホログラム、裸眼立体視ディスプレイ、ヘッドマントディスプレイといった視聴覚ディスプレイ105を用いて掌の中にバーチャル・コントローラ3101が映像化され、触力覚的には、錯触力覚インタフェース装置101を用いてバーチャル・コントローラ3101が作り出され、バーチャル・コントローラの存在、触感、ボタン操作感覚が提示される。従来の振動を使った方法ではバーチャル物体の形状を触覚的に表現することができなかったが、錯触力覚インタフェース装置を用いることで、バーチャル・ボタン3102の存在、ボタンを押した時、押し返される反力が表現される。
従来のゲーム・コントローラは、ユーザ自身の身体を動かすことによって体感ゲームを楽しむものであり、振動を除けば、力覚情報によるフィードバックがない「疑似体感型」であった。これに対して、錯触力覚インタフェース装置101を用いれば、バーチャル物体531やゲームのキャラクタに触覚的に触れることができる「フル体感型コントローラ」を実現することができる。
錯触力覚インタフェース装置101を用いたバーチャル・コントローラ3101の効果は、ゲームの内容によってコントローラの形状、ボタン配置を自在に設計することができる点である。特に、男女老若によって掌及び指の長さが異なるため、個人の掌に合わせた形状のバーチャル・コントローラ3101をデザイン・変形することができる。また、コンテンツに合わせた形状を形成したり、ストーリー展開に合わせて形状を変化させることができる。例えば、従来のゲーム・コントローラでは、ゲーム・コンテンツに合わせたゲーム・コントローラが発売された。反対に、ひとつのゲーム・コントローラで多種なコンテンツを操作する場合は、コンテンツに最適なコントローラでないために直観的に操作できなかったり、ゲーム・コントローラに合わせてコンテンツの作成内容が制限されるなどの問題があった。これに対して、本実装例では、コンテンツに合わせたコントローラをバーチャルに作成させることができるため、専用のコントローラの再購入が不要だったり、コンテンツ内のシーンやストーリーに合わせてコントローラを自在に変形・変化させることができる。
特に、新しいゲームソフトが発売された時に、そのソフト内にバーチャル・コントローラの情報を内包できるため、そのゲーム内容に最適化されたバーチャル・コントローラを利用することができる。ネットワークを介してバーチャル・コントローラをアイテムとして配布できるため、バージョンアップ、販売が低価格・手軽に行える。
実際のゲーム・コントローラの場合、薬指と小指でハウジングを把持しながら、複数のボタンを連続的に素早く押し込む作業は困難であるが、バーチャル・コントローラであれば、ハウジングの把持が不要となる。また、ゲーム・コントローラの重さによる慣性力がないため、素早くコントローラを動かすことができる。逆に、錯触力覚によるバーチャル・コントローラ3101ならば、必要に応じて、コントローラの重さや慣性力を生成することができる。
従来のゲーム・コントローラでは、入力のすべてがコントローラのボタンなどで行われていた。そのため、VR空間内のスウィッチやドア・ノブなどを操作する場合は、それらを選択してコントローラのボタンで操作していた。そのため、ゲームに慣れていないユーザは、ゲーム・コントローラのボタンに割り振られた機能や操作方法の習得、ゲームごとの操作方法の習得に時間が掛かる。しかし、バーチャル・コントローラ3101では、ゲーム・コントローラの機能を本来のVR空間内のバーチャル・ボタン3102に配置することができるため、ユーザが親しみ慣れている操作方法でVR空間内のボタンを直接操作できるため、習得時間が不要な上、直観的な操作が可能となる。
図32−1〜図32−8及び図33は、1組のユニットあるいは複数組のユニットを用いた錯触力覚デバイス及び制御方法を示している。図32−1〜図32−3は1組のユニットを使用した場合、図32−4、図32−5、図32−7、図32−8及び図33は2組のユニットを使用した場合を示している。
図32−1(a)は、偏心錘の位相関係を模式的に示している。図32−1(b)は、偏心錘の回転の位相パターンを示している。図32−1(c)は、図32−1(b)の位相パターンで合成される錯触力覚デバイスの重心変位の時間的な変化を示している。図32−1(c)に示されるように、回転数を加速するタイミングを示す位相遅れθdを変化させることで、振動の基本周期(動作点Aの継続時間+動作点Bの継続時間)を一定のまま、図32−1(c)に示されるように重心変位のプラス側及びマイナス側の加減速の比率を制御する。ただし、θdが負の場合に位相遅れを意味し、正の場合に位相進みを意味する。その結果、図32−1(d)に示されるように、振動の周期が一定のままでも、錯触力覚の感覚強度及び方向を変化させることができる。位相遅れθd=0及びπの場合は、錯触力覚の力の方向は感じられず、単なる振動として知覚される。
また、図32−1(e)に示されるように、動作点Aの継続時間及び動作点Bの継続時間の比率(動作点Aの継続時間/動作点Bの継続時間)を変化させることで、図32−1(f)に示されるように重心変位の時間的な推移を変化させる。つまり、角速度の比(動作点Bの継続時間/動作点Aの継続時間)を変化させることによって、振動の基本周期及び重心変位の最大振幅が一定のままでも、図32−1(g)に示されるように錯触力覚の感覚強度を変化させることができる。以上のように、周期、偏心振幅、加速・減速を独立に制御しながら、錯触力覚の感覚強度及び質感を変化させることができる。
図32−2(a)〜(h)は、図32−1において、0°及び180°方向を振動方向とする場合の偏心錘の位相関係(位相θ:0〜7π/4)であり、回転振動を含まない直線振動である。これに対して、図32−3(a)〜(h)は、90°及び270°方向を振動方向とする場合の偏心錘の位相関係(位相θ:π/2〜9π/4)であり、回転振動を含んだ直線振動である。この回転振動は、錯触力覚の誘起において方向感覚を鈍らせる。
そこで、図32−4に示されるように2組のユニットを使用することによって、この回転振動を軽減することできる。図32−4(a)は、0°方向を錯触力覚の方向とする場合の位相関係を示している。図32−4(b)は、90°方向を錯触力覚の方向とする場合の位相関係を示している。図32−4(c)は、180°方向を錯触力覚の方向とする場合の位相関係を示している。図32−4(d)は、270°方向を錯触力覚の方向とする場合の位相関係を示している。同様に、ユニット数を増やすことで回転振動を低減することができる。
ここで、2組のユニット間の位相θ1及びθ2を変化させた場合、図32−5(c)及び図32−5(d)に示されるように、位相差θ2−θ1を調整することによって、錯触力覚の感覚強度を変化させることができる。
図32−6に示されるように、複数ユニットの位相関係を調整することによって、並進的な錯触力覚(図32−6(a)及び図32−6(b))、回転的な錯触力覚(図32−6(c)及び図32−6(d))を提示することができる。
複数組のユニットを使用することでもエネルギー効率の良い錯触力覚制御装置も可能であり、この一例を図32−7〜図32−8に示している。
図32−7(a)のように2つの偏心回転子から構成された錯触力覚デバイス107a,107bを2組用意して、図32−7(b)のようにそれぞれの組の回転速度をω0及び2ω0で回転させた場合、図32−7(c)のような重心変位が合成される。特に位相を90°ずらした場合(3203)、最大値と最小値の差が最大となる。これにより、図28(a)で示したような発振回路を用いず、それぞれのモータは一定速度で回転を続けても、錯触力覚を誘起するような加減速振動を合成することができる。
ここで、このような合成方法は、2つの基本ユニットの回転速度がω0、2ω0の場合に限らず、mω0、nω0(m、nは自然数)のような自然数比の関係をもっていればよい。
これに対して、図32−7(d)〜図32−7(f)に示されるように、モータの回転速度ω及び2ωを時間的に変化させることにより、図32−1と同じ効果も得ることができる。また、図32−4と同じく、図32−8に示されるように錯触力覚の方向を選択することができる。
図33は、異なる重さの偏心錘を有する複数ユニットを用いた錯触力覚デバイス及び制御方法を示している。図32−7(d)では同じ偏心錘を複数個使用しているが、図33(a)のように、偏心錘の重さや形状は2組の間で異なっても良い。更に、先述の方法についても、2組の錯触力覚デバイスを用いた本方式を用いることで、エネルギー効率の良い錯触力覚制御が可能となる。
図34に示すように、錯触力覚インタフェース装置101は、接着テープ、指挿入部を有するハウジングのような装着部により、体の至る所3400に装着することができる。
図35は、バーチャルリアリティ環境生成装置を用いた実施例として、遠隔地間において、複数のユーザが協力してバーチャル陶芸を行う場合を示している。
VR環境生成装置A及びVR環境生成装置Bのすべての装置類のキャリブレーションが行われた後に、VR環境生成装置間の通信が確保される。それぞれVR環境生成装置に対応した異なる空間にユーザが存在しており、お互いのVR環境の情報は通信装置を介して共有されている。
以下、センサによるセンシングは、図1に基づいて、説明する。
データコンテンツデータとして、バーチャル粘土塊に関するモデルの初期情報(モデル頂点の位置Po)がコンテンツデータ104から読み込まれる。
次に、複数の位置センサ111及び加速度センサ108によってユーザの体の各部に関する情報ベクトル群Mu’(位置Xu’、姿勢Pu’、速度Vu’、角速度Ru’、加速度Au’、角加速度Tu’)が測定される。ここで、位置センサは、姿勢情報も測定できるものを使用する。速度、角速度、加速度、角加速度は位置情報の微分、2階微分により求められると同時に、速い動きに対しては、加速度センサの情報を使用する。また、物理シミュレータ113において、バーチャル粘土の物理モデルの頂点に関する情報ベクトル群Mo(位置Xo、速度Vo、加速度Ao、各頂点間に働く力Fo)、ユーザから頂点に働くバーチャルな力ベクトル群Fuo、音源データ、ユーザ・モデル(バーチャル・ユーザ)に関する情報ベクトル群Mu(位置Xu、姿勢Pu、速度Vu、角速度Ru、加速度Au、角加速度Tu)、及びバーチャル粘土の頂点からバーチャル・ユーザに働くバーチャルな力ベクトル群Fouを記憶するメモリ空間がコンテンツ作成装置102に確保される。時々刻々と更新されるメモリ空間の情報ベクトル群をもとに、コンテンツであるバーチャル粘土及びバーチャル・ユーザの物理シミュレーションが繰り返され、メモリ空間の情報が更新される。
以下、物理シミュレーションは、図5のモデルを用いて説明する。
物理シミュレータにおいては、バーチャル・粘土が図5(b)に示されるバネ・ダンパモデルによって表現され、上記情報ベクトル群Mu及びMoが計算・更新される。バーチャル・ユーザの1番目の測定点p1(例えば、指先)の姿勢Pu1、及びこの指に働くバーチャルな力ベクトルFou1から、錯触力覚インタフェースで提示すべき力の方向ベクトルu1は、
u1=Fou1/‖Fou1‖−Pu1
と求められる。その他の測定点piにおいても同様に計算される。
図12のように、初期位相θiと力を提示すべき方向ベクトルuの間にある関係 u= (cosθi, sinθi, 0) を用いて、初期位相θiが求められる。初期位相遅れθdは最大感覚強度を与える−90°に設定する。なお、初期位相遅れθdは提供したい感覚強度のダイナミックレンジに合わせて調整してもよい。
以上は、1組の錯触力覚デバイスを用いて、指先の輪切り断面内において任意の方向に力を提示する場合であったが、これは3組の錯触力覚デバイスを用いることで、全方位の任意の方向に力を提示する方法に拡張することができる。
提示すべき物理的強度は、図17(b)の錯触力覚・等感レベル曲線を表す数値表を用いて、提示したい錯触力覚強度IIに対応する物理的強度が参照される。図10(e)の錯触力覚強度の特性グラフから、物理量Δf/fが求められる。質感として、図11(c)の粗さ感覚1111を表す振動感強度VIは、図10(f)の振動感強度の特性グラフから、物理量fが求められる。これら物理量Δf/f及び物理量fから角速度ω1及びω2が求められる。上記の特性曲線から値を求める時には、スプライン関数などの補間関数を用いる。角速度ω1及びω2は、以下のように求められる。
ω1= 2π/f1、ω2= 2π/ f2 ただし、f1= f+Δf/2、f2= f−Δf/2
位相パターンθ(t)は、図12(b)により、初期位相θi、角速度ω1及びω2を用いて表わされる。
モータの応答特性Rはオーバーシュートによる振動を起こさず収束応答が良いP,I,Dパラメータが選択される。P,I,Dパラメータによる制御方法は、当該同業者が一般に利用しているサーボモータの制御方法であり、モータ・メーカーが提供する選定方法に従い、P,I,Dパラメータが選定される。粗さ感覚1111を表す振動感強度VIを強調したい場合には、振動が発生するように、P及びDパラメータが大きくなるように加速度センサでモニタしながらモータFB特性制御器においてパラメータがフィードバック的に設定される。
以上のように、位相パターンθ(t)は、錯触力覚誘起関数Fからf(t)=F(u,II,VI,R)として求められる。
モータ制御の分解能を1.8°にした場合、上記位相パターンθ(t)を用いて、縦軸の位相360°を1.8°刻みで200個に分解して、この200個の点に対応する横軸の時間を求める。この時間が、制御用パルス列を発生させるタイミングとなる。以上、位相パターンθ(t)から制御用パルス列g(t)が求められる。
変形型ダンパモデルと図5(b)のバネ・ダンパモデルの相違点は、図5(b)が表面だけの中空モデルなのに対して、本件は、構造バネ及びせん断バネに対応したソリッドモデルを用いる点である。
もう一つの相違点は、図5(b)における平衡状態のバネの長さL0が固定値ではなく、物理シミュレーションの計算において、時刻Δt後の格子点間の距離が平衡状態のバネの長さとして更新されていくことである。しかし、この過程を何度も繰り返し、粘土のように複雑に折り重ねられて変形していく場合は、バネの長さが無限に伸びていってしまう。そこで、変形の度に、バネの長さが均等になるように、モデリング時における格子点分割を再度行うことにする。
格子点1が隣接する格子点2〜格子点4と結合している場合、格子点1が格子点2から受ける力ベクトルf12は
f12 =−k×(‖p2−p1‖- L12)×(p2−p1)/‖p2−p1‖−c×(v2−v1) (9)
と表わされる。ただし、
pi:格子点piの位置ベクトル
vi:格子点piの速度ベクトル
k:バネの弾性係数、
c:ダンパの粘性係数、
Lij:格子点iと格子点jの間のバネの自然長
質量m1の格子点1が周囲の格子点2〜格子点4から受けた力の合力をf1とすると、格子点1の運動方程式は
m1×d2p1/dt2=f1=f12+f13+f14 (10)
と表わされる。
錯触力覚インタフェース装置が装着された指先がこのバーチャル物体・物理モデルの格子点1(p1)に接触した場合は、格子点1(p1)は指先の位置1(p’1)に変化し、指先に働く反力(−f)は、
−f=(f12+f13+f14)−m1×d2p’1/dt2 (11)
と表わされる。接触を判定するための指先の動きは、位置センサ、加速度センサによってセンシングされる。
実際の数値シミュレーションでは、時刻t’の格子点1の位置p’1、速度v’1、力f’1は、ひと時刻前tの変数p,1 v1, f1から求められる。つまり、
速度ベクトル:v’1=v1+(f1/m1)×Δt (12)
位置ベクトル:p’1=p1+v1×Δt (13)
同様に質量m2の格子点2の位置、速度が計算される。
速度ベクトル:v’2=v2+(f2/m2)×Δt (14)
位置ベクトル:p’2=p2+v2×Δt (15)
最後に、格子点1及び格子点2の間に働く力は図5(b)とは異なり
f’12=0 (16)
と算出される。
以上の物理シミュレーションにより、バーチャル・ユーザの指先からバーチャル粘土に働く力が計算され、バーチャル粘土が変形される。また、バーチャル粘土からバーチャル・ユーザの指先へ働く応力も計算される。この応力の計算結果をもとに、提示において、錯触力覚インタフェース装置が錯触力覚誘起装置及び錯触力覚デバイス駆動制御装置によって制御されることで、ユーザ(実体)は視聴覚ディスプレイでの立体映像及び立体音像に合わせてバーチャル粘土の感触を体感するとともに、感触によってバーチャル物体の形状を確認しながらバーチャル粘土の変形を行い、バーチャル花瓶を完成する。この時、バーチャル物体Aとバーチャル物体BがVR空間上で同一物の場合、共同作業によりバーチャル花瓶を完成させることになる。
なお、バーチャル物体A及びバーチャル物体Bは実物体でもよく、周辺機器によって実物体の映像及び形状が測定されて、その結果が通信機器を介して、VR環境生成装置A及びVR環境生成装置Bにおいてデータ共有される。バーチャル物体Aが実物体の時は、ユーザAの陶芸体験を、ユーザBが体験共有することになる。
毎計算毎に各格子点の位置、速度、力が計算されて、メモリに保存される。この保存された値を用いて、次の時間の位置、速度、力が計算される。これらにより、指先への反力が提示され、バーチャル物体の可触化が実現される。
VR環境は、上記のバーチャル物体に関する物理シミュレーションと同様に、周辺機器によってセンシングされた実空間の実物体、及び位置センサ・加速度センサによってセンシングされたユーザの動き情報をもとに、両者が同一のVR環境においてモデル化され、コンテンツの接触・把持力が計算されて、仮想空間及び実空間が融合されたVR空間が生成される。
図31に示されたバーチャル・コントローラも、上記バーチャル陶芸と同じ方法で実現することができる。
本装置は、バーチャルリアリティ分野以外の様々な分野への応用が考えられる。
バーチャルリアリティ技術による情報提示及び表現においては、実物の乗り物では乗り物酔いを起こさない人がシミュレータでは乗り物酔いを起こしたり、立体視用バーチャルリアリティで立体感が感じられない人も少なくなく、同じバーチャルリアリティでもリアリティの感じ方が人によって大きく異なる。これに加えて、掌の大きさや筋肉の強さなどの身体的な差異、インタフェースの重さ・形状の差異、インタフェースの扱い方のユーザー習熟度によって、バーチャルリアリティ技術による騙され易さ、つまり、感じ方が、老若男女、個人で大きく異なる。そのため、用途によって、学習及び補正の効果が異なってくる。
携帯電話・PDA等の情報端末へ応用すれば、個人特性に合わせることで触力覚情報の情報量・わかりやすさ及び操作性が向上する。
例えば、マナーモード用バイブレータの代わりに本装置を用いることで、従来の方向情報のない振動に対して、ナビゲーションにおける進行方向、見落としやすい注意喚起を触力覚で効果的に提示できることが可能になる。
情報端末に錯触力覚デバイス及び触力覚デバイスを内蔵させた場合、端末の重さ及び形状と掌の大きさ及び筋力との相対的な関係で、触力覚の強度や感じ方が異なってくる。また、掌に持って振ったりして使う非ベース型の場合、質量・慣性モーメントによる慣性力によって、同じ触力覚情報を提示しても異なって感じられる。そのため、本装置の補正の機能が、触力覚情報を適切に提示するために効果的である。
モーションセンサを用いた携帯電話用ゲームに利用すれば、力によるインプットに対して力によるアウトプットが効果的に得られることで、インタラクティブ性、リアリティが向上し、直感的な操作性が向上する。タッチペン(スタイラス)やタブレットPCに利用すれば、指やタッチペンでアイコンをクリックしたときのクリック感の向上、ディスプレイ内のWindow毎に摩擦抵抗を変えることで重なり合ったWindowの識別が可能となり、視覚障害者へのユーザビリティが向上する。
また、手術シミュレータなどの各種トレーニング装置へ応用すれば、個人特性や学習度に合わせて調整し、学習すべき特徴的なポイント、見落としやすいポイントなどの情報を力覚的に強調して表現することで、操作性、わかりやすさ、学習効果が向上する。
錯覚による強調が含まれるために、力覚情報提示のように単に物理量を増加させたりコントラストを強めればよいのでなく、人の感覚特性に基づいて強調補正する必要がある。また、術具の多様さや、入門者用や熟練者用に分かれる工具類を表現するためには、使用頻度や習熟度によって変化するリアリティ感、バーチャルリアリティ技術による騙され易さに合わせて補正を行う。
101 錯触力覚インタフェース装置
102 コンテンツ作成装置
103 錯触力覚誘起装置
104 コンテンツデータ
105 視聴覚ディスプレイ
106 触力覚データ及び錯触力覚データ
107 錯触力覚デバイス
107a 錯触力覚デバイス
107b 錯触力覚デバイス
108 加速度センサ
109 圧力センサ
110 筋電センサ
111 位置センサ
112 制御器
113 物理シミュレータ
114 コンピュータグラフィックス
115 錯触力覚誘起関数生成器
116 学習器
117 補正器
118 周辺機器
119 音源シミュレータ
205 通信器
520 バーチャル物体(物理モデル)
528 バネ・ダンパ物理モデル
531 バーチャル物体
533 指
535 バーチャル物体から働く応力
814 偏心錘
815 偏心モータ
901 物理現象
902 非線形感覚特性
903 心理現象
904 左右の振動
905 錯触力覚
908 動作点Aの継続時間Taにおける力感覚の積分量
909 動作点Bの継続時間Tbにおける力感覚の積分量
1002a 高速回転数ω1
1002b 低速回転数ω2
1100 仮想平板
1101 仮想物体の動き
1102 移動に対する抗力
1103 仮想平板からの抗力
1104 摩擦力
1105 粘性抗力
1106 仮想平板を表面内に押し戻す抗力
1107 仮想平板の誤差厚
1108 抵抗感・粘性感
1109 摩擦感
1110 滑らか感・加速感
1111 粗さ感覚
1112 振動的抗力
1113 加速力(負の抗力)
1201 初期位相θi
1202 錯触力覚による浮上感覚
1203 錯触力覚による浮上感覚
1204 錯触力覚による重力感覚
1301 接着テープ
1302 ハウジング
1303 指挿入部
1403 形状変形材
1404 粘弾性材料
1405 耐震材料
1406 ディスプレイ
1702 補正器
1703 モータ制御器
1704 モータ
1705 エンコーダ
1706 粘弾性特性制御器
1707 粘弾性材料
1713 錯触力覚誘起関数
1714 補正データ
1725 物理強度15dB
1901 モータFB特性制御器
1902 制御信号生成器
2206 閾値
2302 錘
2303 伸縮材
2400 定速度回転
2403 粘弾性材料A
2404 粘弾性材料B
2601 ヒステリシス材料A
2602 ヒステリシス材料B
3001 錯触力覚インタフェース装置の形状
3002 形状変形用モータ
3003 柔軟変形材料
3101 バーチャル・コントローラ
3102 バーチャル・ボタン
3202 重心変位(位相差0°)
3203 重心変位(位相差180°)

Claims (13)

  1. 錯触力覚の情報提示を備える情報端末装置であって、
    前記情報端末装置は、
    非線形感覚特性に従って運動量を変化させることによって前記錯触力覚を誘起させて、
    該錯触力覚の感覚を指、掌の動きに合わせて制御することにより指先、掌の中に仮想物体の存在や感触を提示することを特徴とする情報端末装置。
  2. 錯触力覚の情報提示を備える情報端末装置であって、
    前記情報端末装置は、
    非線形感覚特性に従って運動量を変化させることによって前記錯触力覚を誘起させて、
    該錯触力覚による感覚を仮想物体の動きに合わせて制御して刺激を提示することを特徴とする情報端末装置。
  3. 錯触力覚の情報提示を備える情報端末装置であって、
    前記情報端末装置は、
    非線形感覚特性に従って運動量を変化させることによって前記錯触力覚を誘起させて、
    仮想平板上で仮想物体を移動させた時に働く仮想平板から仮想物体への感覚及び移動に対する感覚を提示することを特徴とする情報端末装置。
  4. 前記非線形感覚特性を利用することで感覚を連続的に提示することを特徴とする請求項1〜3のいずれか1項記載の情報端末装置。
  5. 前記非線形感覚特性に従って運動量の加減速パターンを制御することにより、錯触力覚によって連続的な感覚を提示することを特徴とする請求項1〜3のいずれか1項記載の情報端末装置。
  6. 前記運動量の変化は、周期的に加減速を繰り返すことで連続的な感覚を提示することを特徴とする請求項1〜3のいずれか1項記載の情報端末装置。
  7. 前記運動量の変化は、感覚特性曲線上の複数の動作点を選択することにより連続的な感覚を提示することを特徴とする請求項1〜3のいずれか1項記載の情報端末装置。
  8. 前記錯触力覚に同期させて錯触力覚インタフェース装置の形状を変形させることで錯触力覚によって誘起された感覚を強調することを特徴とする請求項1〜3のいずれか1項記載の情報端末装置。
  9. 前記仮想物体は、仮想平板内に存在しない時は押し戻す感覚を提示せず、存在する時だけ提示することを特徴とする請求項1〜3のいずれか1項記載の情報端末装置。
  10. 前記仮想物体を移動させた方向とは反対方向に加速度感覚を提示することを特徴とする請求項1〜3のいずれか1項記載の情報端末装置。
  11. 前記仮想物体との接触を検出し、変形、指先に伝わる反力を計算して仮想物体を通して感覚を提示することを特徴とする請求項1〜3のいずれか1項記載の情報端末装置。
  12. 前記錯触力覚の感覚は、力感覚、トルク感覚、抵抗感、バーチャル物体の存在および形状、バーチャルボタンの押込み、質感、摩擦感、感触、触感、滑らか感、加速感、粘性感、弾性、膨張感覚、圧縮・圧迫感覚、浮上感覚、重力感覚、操作感覚のいずれか1つであることを特徴とする請求項1〜11のいずれか1項記載の情報端末装置。
  13. 人体や人体以外に設けられていることを特徴とする請求項1〜12のいずれか1項記載の情報端末装置。
JP2013062836A 2007-09-14 2013-03-25 バーチャルリアリティ環境生成装置及びコントローラ装置 Active JP5750717B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013062836A JP5750717B2 (ja) 2007-09-14 2013-03-25 バーチャルリアリティ環境生成装置及びコントローラ装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007240111 2007-09-14
JP2007240111 2007-09-14
JP2013062836A JP5750717B2 (ja) 2007-09-14 2013-03-25 バーチャルリアリティ環境生成装置及びコントローラ装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009532251A Division JPWO2009035100A1 (ja) 2007-09-14 2008-09-12 バーチャルリアリティ環境生成装置及びコントローラ装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015088432A Division JP2015172943A (ja) 2007-09-14 2015-04-23 バーチャルリアリティ環境生成装置及びコントローラ装置

Publications (2)

Publication Number Publication Date
JP2013145589A true JP2013145589A (ja) 2013-07-25
JP5750717B2 JP5750717B2 (ja) 2015-07-22

Family

ID=40452106

Family Applications (11)

Application Number Title Priority Date Filing Date
JP2009532251A Pending JPWO2009035100A1 (ja) 2007-09-14 2008-09-12 バーチャルリアリティ環境生成装置及びコントローラ装置
JP2013062836A Active JP5750717B2 (ja) 2007-09-14 2013-03-25 バーチャルリアリティ環境生成装置及びコントローラ装置
JP2015088432A Pending JP2015172943A (ja) 2007-09-14 2015-04-23 バーチャルリアリティ環境生成装置及びコントローラ装置
JP2017091467A Pending JP2017139024A (ja) 2007-09-14 2017-05-01 駆動方法
JP2017091468A Pending JP2017199372A (ja) 2007-09-14 2017-05-01 情報処理装置
JP2017091465A Active JP6774906B2 (ja) 2007-09-14 2017-05-01 錯触力覚を誘起する方法
JP2017091466A Pending JP2017139023A (ja) 2007-09-14 2017-05-01 駆動装置
JP2018109086A Active JP7120568B2 (ja) 2007-09-14 2018-06-06 情報処理装置
JP2019238751A Active JP7169590B2 (ja) 2007-09-14 2019-12-27 錯触力覚を誘起する方法及び錯触力覚を誘起する装置
JP2019238752A Revoked JP2020061185A (ja) 2007-09-14 2019-12-27 錯触力覚を駆動する方法及び装置
JP2021077597A Active JP7366961B2 (ja) 2007-09-14 2021-04-30 錯触力覚を駆動する方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2009532251A Pending JPWO2009035100A1 (ja) 2007-09-14 2008-09-12 バーチャルリアリティ環境生成装置及びコントローラ装置

Family Applications After (9)

Application Number Title Priority Date Filing Date
JP2015088432A Pending JP2015172943A (ja) 2007-09-14 2015-04-23 バーチャルリアリティ環境生成装置及びコントローラ装置
JP2017091467A Pending JP2017139024A (ja) 2007-09-14 2017-05-01 駆動方法
JP2017091468A Pending JP2017199372A (ja) 2007-09-14 2017-05-01 情報処理装置
JP2017091465A Active JP6774906B2 (ja) 2007-09-14 2017-05-01 錯触力覚を誘起する方法
JP2017091466A Pending JP2017139023A (ja) 2007-09-14 2017-05-01 駆動装置
JP2018109086A Active JP7120568B2 (ja) 2007-09-14 2018-06-06 情報処理装置
JP2019238751A Active JP7169590B2 (ja) 2007-09-14 2019-12-27 錯触力覚を誘起する方法及び錯触力覚を誘起する装置
JP2019238752A Revoked JP2020061185A (ja) 2007-09-14 2019-12-27 錯触力覚を駆動する方法及び装置
JP2021077597A Active JP7366961B2 (ja) 2007-09-14 2021-04-30 錯触力覚を駆動する方法及び装置

Country Status (3)

Country Link
JP (11) JPWO2009035100A1 (ja)
KR (1) KR101174450B1 (ja)
WO (1) WO2009035100A1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150137445A (ko) * 2014-05-29 2015-12-09 한국생산기술연구원 로봇을 사용하여 유연 물체 특성을 분석하는 방법 및 장치
WO2019043787A1 (ja) * 2017-08-29 2019-03-07 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP2019060835A (ja) * 2017-09-25 2019-04-18 株式会社ミライセンス 錯触力覚デバイス
US10395487B2 (en) 2015-12-04 2019-08-27 Sony Corporation Haptic presentation apparatus, recognition apparatus, control apparatus, and haptic presentation method
WO2021049304A1 (ja) * 2019-09-10 2021-03-18 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10963055B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Vibration device and control system for presenting corrected vibration data
US10963054B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Information processing system, vibration control method and program
US10969867B2 (en) 2016-12-15 2021-04-06 Sony Interactive Entertainment Inc. Information processing system, controller device, controller device control method and program
US10981053B2 (en) 2017-04-18 2021-04-20 Sony Interactive Entertainment Inc. Vibration control apparatus
US11013990B2 (en) 2017-04-19 2021-05-25 Sony Interactive Entertainment Inc. Vibration control apparatus
US11145172B2 (en) 2017-04-18 2021-10-12 Sony Interactive Entertainment Inc. Vibration control apparatus
US11198059B2 (en) 2017-08-29 2021-12-14 Sony Interactive Entertainment Inc. Vibration control apparatus, vibration control method, and program
US11458389B2 (en) 2017-04-26 2022-10-04 Sony Interactive Entertainment Inc. Vibration control apparatus
US11738261B2 (en) 2017-08-24 2023-08-29 Sony Interactive Entertainment Inc. Vibration control apparatus
US11779836B2 (en) 2017-08-24 2023-10-10 Sony Interactive Entertainment Inc. Vibration control apparatus

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2467461B (en) * 2007-09-14 2012-03-07 Nat Inst Of Advanced Ind Scien Virtual reality environment generating apparatus and controller apparatus
KR101174450B1 (ko) * 2007-09-14 2012-08-16 독립행정법인 산업기술종합연구소 버추얼 리얼리티 환경 생성 장치 및 콘트롤러 장치
JP5477740B2 (ja) * 2009-11-02 2014-04-23 独立行政法人情報通信研究機構 多感覚インタラクションシステム
US20110267181A1 (en) * 2010-04-29 2011-11-03 Nokia Corporation Apparatus and method for providing tactile feedback for user
JP5364035B2 (ja) * 2010-05-11 2013-12-11 日本放送協会 仮想力覚提示装置及び仮想力覚提示プログラム
JP5928767B2 (ja) * 2011-04-18 2016-06-01 京セラ株式会社 携帯情報端末
JP5919798B2 (ja) * 2011-12-19 2016-05-18 マツダ株式会社 車両用入力装置
JP6043544B2 (ja) 2012-08-23 2016-12-14 ソニー株式会社 入力デバイス、入力システム、電子機器、及び感覚提示方法
JP2014113572A (ja) * 2012-12-12 2014-06-26 Fujitsu Ltd 振動装置及び情報処理装置
US9041647B2 (en) * 2013-03-15 2015-05-26 Immersion Corporation User interface device provided with surface haptic sensations
US9293015B2 (en) * 2013-09-09 2016-03-22 Immersion Corporation Electrical stimulation haptic feedback interface
US9639158B2 (en) * 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
JP6386781B2 (ja) * 2014-05-12 2018-09-05 日本放送協会 触力覚提示装置
JP6955229B2 (ja) * 2015-10-05 2021-10-27 株式会社村田製作所 触力覚情報提示システム
JP6786792B2 (ja) * 2015-12-03 2020-11-18 セイコーエプソン株式会社 情報処理装置、表示装置、情報処理方法、及び、プログラム
US10031580B2 (en) 2016-01-13 2018-07-24 Immersion Corporation Systems and methods for haptically-enabled neural interfaces
JP6382884B2 (ja) * 2016-04-26 2018-08-29 日本電信電話株式会社 推定装置、推定方法、およびプログラム
US10169918B2 (en) * 2016-06-24 2019-01-01 Microsoft Technology Licensing, Llc Relational rendering of holographic objects
JP7032048B2 (ja) 2017-02-03 2022-03-08 株式会社デンソーテン 制御装置、入力システムおよび制御方法
JP6257826B1 (ja) * 2017-05-31 2018-01-10 株式会社コロプラ 仮想空間を提供するためにコンピュータで実行される方法、プログラム、および、情報処理装置
KR102009753B1 (ko) * 2017-06-09 2019-08-12 동명대학교산학협력단 가상현실에 기반하는 객체 처리장치 및 그 동작 방법
KR101970534B1 (ko) * 2017-06-21 2019-04-19 한국과학기술원 손가락에 착용가능한 진동발생 웨어러블 장치 및 진동에 관한 정보에 대응하는 작업을 수행하는 방법
JP6930310B2 (ja) * 2017-09-07 2021-09-01 富士フイルムビジネスイノベーション株式会社 造形制御装置、造形制御プログラム
DE112018005530T5 (de) * 2017-09-29 2020-07-02 Apple Inc. IMU-basierter Handschuh
KR101833978B1 (ko) 2017-11-08 2018-03-02 엄정현 가상현실 체험부스 시스템
US10558267B2 (en) 2017-12-28 2020-02-11 Immersion Corporation Systems and methods for long-range interactions for virtual reality
JP7081922B2 (ja) * 2017-12-28 2022-06-07 株式会社バンダイナムコエンターテインメント プログラム、ゲーム装置及びゲームを実行するための方法
CN111566595A (zh) * 2018-01-09 2020-08-21 索尼公司 信息处理装置、信息处理方法和程序
JP2019144629A (ja) 2018-02-16 2019-08-29 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
KR102035474B1 (ko) * 2018-04-04 2019-11-26 한국과학기술원 포킹으로 정보를 전달하는 반지 형태의 웨어러블 장치 및 그 제어 방법
US10579146B2 (en) * 2018-06-15 2020-03-03 Immersion Corporation Systems and methods for multi-level closed loop control of haptic effects
US10901506B2 (en) 2018-07-30 2021-01-26 Htc Corporation Finger-gesture detection device for control handle use in virtual reality, control assembly having the same and correction method for virtual reality system
KR102309454B1 (ko) * 2018-12-31 2021-10-05 (주)엠라인스튜디오 가상현실용 웨어러블 디바이스
JP7456388B2 (ja) 2019-01-21 2024-03-27 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
KR20200092665A (ko) 2019-01-25 2020-08-04 삼성전자주식회사 생체신호 측정용 텍스쳐 인터페이스 및 이를 포함한 생체신호 측정장치
JP7377615B2 (ja) * 2019-03-27 2023-11-10 株式会社Subaru 車両の非接触操作装置、および車両
EP4030266A4 (en) * 2019-09-09 2023-12-06 Japan Science and Technology Agency DEVICE AND METHOD FOR PROVIDING KINAESTHETIC PERCEPTIONS
JP7360281B2 (ja) * 2019-09-10 2023-10-12 株式会社東海理化電機製作所 制御装置、制御方法、及びプログラム
JP7360282B2 (ja) * 2019-09-10 2023-10-12 株式会社東海理化電機製作所 制御装置、制御方法、及びプログラム
CN110633013B (zh) * 2019-10-17 2022-12-20 于生明 一种全方位万向行动平台的控制方法
WO2021172580A1 (ja) * 2020-02-27 2021-09-02 学校法人慶應義塾 位置・力制御システム、装着ユニット、制御ユニット、位置・力制御方法及びプログラム
WO2022123667A1 (ja) * 2020-12-09 2022-06-16 日本電信電話株式会社 触覚システム
WO2022145258A1 (ja) * 2020-12-28 2022-07-07 国立研究開発法人科学技術振興機構 運動教示装置、運動教示システム、運動教示方法およびプログラム
WO2022168215A1 (ja) 2021-02-04 2022-08-11 三菱電機株式会社 可変容量素子
WO2022201922A1 (ja) * 2021-03-25 2022-09-29 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理システム
JPWO2023008396A1 (ja) * 2021-07-27 2023-02-02
KR102476128B1 (ko) 2021-08-03 2022-12-08 한국기술교육대학교 산학협력단 길이변형 및 무게중심 이동이 가능한 컨트롤러와 vr 애플리케이션 간의 인터랙션 방법 및 시스템
KR102401800B1 (ko) * 2021-10-28 2022-05-26 주식회사 오비고 오브젝트 실감 기술을 구현하기 위한 학습 방법과 체험 방법 및 이를 이용한 학습 장치와 체험 장치
WO2023149396A1 (ja) * 2022-02-01 2023-08-10 株式会社村田製作所 電動歯ブラシ
WO2023176767A1 (ja) * 2022-03-18 2023-09-21 株式会社村田製作所 錯触覚設定プログラム、錯触覚設定装置、錯触覚設定システム、及び画像生成方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190465A (ja) * 2003-11-20 2005-07-14 National Institute Of Advanced Industrial & Technology 触力覚情報提示システムおよび方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02218060A (ja) * 1989-02-20 1990-08-30 Tokico Ltd 磁気ディスク装置および磁気ディスク装置のデータ書込方法
JP3686686B2 (ja) * 1993-05-11 2005-08-24 松下電器産業株式会社 力覚呈示デバイス、データ入力装置、及びデータ入力デバイス装置
JPH08254472A (ja) * 1995-03-17 1996-10-01 Olympus Optical Co Ltd 圧覚・触覚伝達装置及び圧覚・触覚伝達方法
EP0864145A4 (en) * 1995-11-30 1998-12-16 Virtual Technologies Inc TACTILE FEEDBACK FOR HUMAN / MACHINE INTERFACE
JPH11232012A (ja) * 1998-02-17 1999-08-27 Omron Corp インタフェース装置およびインタフェースシステム
DE19814638A1 (de) 1998-03-26 1999-10-07 Mike Buschko Joypad für die Computerbedienung
JP2000089895A (ja) 1998-09-12 2000-03-31 Fuji Xerox Co Ltd 触力覚呈示装置
JP2000319614A (ja) * 1999-05-12 2000-11-21 Okamoto Ind Inc 両面粘着テープ
JP3727490B2 (ja) * 1999-07-02 2005-12-14 日本放送協会 触覚情報伝達装置
JP4337012B2 (ja) * 1999-07-14 2009-09-30 ソニー株式会社 電気刺激装置及び電気刺激を用いた力触覚呈示装置
JP2001051726A (ja) * 1999-08-09 2001-02-23 Sony Corp 個性対応型機械制御装置
US6680729B1 (en) * 1999-09-30 2004-01-20 Immersion Corporation Increasing force transmissibility for tactile feedback interface devices
JP2001282539A (ja) * 2000-03-30 2001-10-12 Toyota Central Res & Dev Lab Inc 概念の構造化方法、装置、及び概念構造を備えた装置
JP3624374B2 (ja) 2000-12-12 2005-03-02 独立行政法人産業技術総合研究所 力覚呈示装置
KR20020072367A (ko) * 2001-03-09 2002-09-14 삼성전자 주식회사 바이오 피드백을 이용한 정보 입력 시스템 및 정보 입력방법
JP2003050664A (ja) * 2001-08-07 2003-02-21 Canon Electronics Inc 入力ペン及びこれを用いる電子機器
JP4240891B2 (ja) * 2002-02-28 2009-03-18 Dic株式会社 再剥離型両面粘着テープ
JP2004232286A (ja) * 2003-01-29 2004-08-19 Tajima Inc 床材施工用両面粘着テープ、床材および床材施工方法
WO2006042309A1 (en) * 2004-10-08 2006-04-20 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
JP2006115066A (ja) 2004-10-13 2006-04-27 Nippon Hoso Kyokai <Nhk> 多感覚提示装置
JP4842561B2 (ja) 2005-05-06 2011-12-21 国立大学法人 岡山大学 力覚コントローラ装置
US7868489B2 (en) * 2006-01-24 2011-01-11 Nippon Telegraph And Telephone Corporation Acceleration generator and pseudo force sense generator
KR101174450B1 (ko) * 2007-09-14 2012-08-16 독립행정법인 산업기술종합연구소 버추얼 리얼리티 환경 생성 장치 및 콘트롤러 장치
KR101009946B1 (ko) 2008-06-26 2011-01-20 시사게임 주식회사 체감형 게임장치 및 게임 방법
KR101061072B1 (ko) 2008-12-15 2011-09-01 시사게임 주식회사 실감형 게임 시스템 및 방법
JP6333793B2 (ja) * 2015-11-17 2018-05-30 ファナック株式会社 揺動幅手動調整機能を有する数値制御装置
JP6074010B1 (ja) * 2015-11-17 2017-02-01 株式会社バンダイ 情報処理装置、プログラム及び印刷システム
JP2017091465A (ja) * 2015-11-17 2017-05-25 株式会社あいほっと 支援装置
JP6523928B2 (ja) * 2015-11-17 2019-06-05 株式会社東芝 仮想試験システム、仮想試験方法およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190465A (ja) * 2003-11-20 2005-07-14 National Institute Of Advanced Industrial & Technology 触力覚情報提示システムおよび方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101590516B1 (ko) * 2014-05-29 2016-02-01 한국생산기술연구원 로봇을 사용하여 유연 물체 특성을 분석하는 방법 및 장치
KR20150137445A (ko) * 2014-05-29 2015-12-09 한국생산기술연구원 로봇을 사용하여 유연 물체 특성을 분석하는 방법 및 장치
EP4086735A1 (en) 2015-12-04 2022-11-09 Sony Group Corporation Haptic presentation apparatus, recognition apparatus, control apparatus, and haptic presentation method
US10395487B2 (en) 2015-12-04 2019-08-27 Sony Corporation Haptic presentation apparatus, recognition apparatus, control apparatus, and haptic presentation method
US10614679B2 (en) 2015-12-04 2020-04-07 Sony Corporation Haptic presentation apparatus, recognition apparatus, control apparatus, and haptic presentation method
US10963055B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Vibration device and control system for presenting corrected vibration data
US10963054B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Information processing system, vibration control method and program
US10969867B2 (en) 2016-12-15 2021-04-06 Sony Interactive Entertainment Inc. Information processing system, controller device, controller device control method and program
US10981053B2 (en) 2017-04-18 2021-04-20 Sony Interactive Entertainment Inc. Vibration control apparatus
US11145172B2 (en) 2017-04-18 2021-10-12 Sony Interactive Entertainment Inc. Vibration control apparatus
US11013990B2 (en) 2017-04-19 2021-05-25 Sony Interactive Entertainment Inc. Vibration control apparatus
US11458389B2 (en) 2017-04-26 2022-10-04 Sony Interactive Entertainment Inc. Vibration control apparatus
US11738261B2 (en) 2017-08-24 2023-08-29 Sony Interactive Entertainment Inc. Vibration control apparatus
US11779836B2 (en) 2017-08-24 2023-10-10 Sony Interactive Entertainment Inc. Vibration control apparatus
JPWO2019043787A1 (ja) * 2017-08-29 2020-02-06 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11198059B2 (en) 2017-08-29 2021-12-14 Sony Interactive Entertainment Inc. Vibration control apparatus, vibration control method, and program
WO2019043787A1 (ja) * 2017-08-29 2019-03-07 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP2019060835A (ja) * 2017-09-25 2019-04-18 株式会社ミライセンス 錯触力覚デバイス
JP7174337B2 (ja) 2017-09-25 2022-11-17 株式会社村田製作所 錯触力覚デバイス
WO2021049304A1 (ja) * 2019-09-10 2021-03-18 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JP7366961B2 (ja) 2023-10-23
JP2021108224A (ja) 2021-07-29
JP2020061185A (ja) 2020-04-16
JP2020061184A (ja) 2020-04-16
JP6774906B2 (ja) 2020-10-28
KR20100063795A (ko) 2010-06-11
JP7120568B2 (ja) 2022-08-17
JP7169590B2 (ja) 2022-11-11
JP2017139023A (ja) 2017-08-10
JPWO2009035100A1 (ja) 2010-12-24
JP2017199372A (ja) 2017-11-02
WO2009035100A1 (ja) 2009-03-19
JP5750717B2 (ja) 2015-07-22
JP2015172943A (ja) 2015-10-01
JP2018142374A (ja) 2018-09-13
JP2017168121A (ja) 2017-09-21
KR101174450B1 (ko) 2012-08-16
JP2017139024A (ja) 2017-08-10

Similar Documents

Publication Publication Date Title
JP7366961B2 (ja) 錯触力覚を駆動する方法及び装置
US11287892B2 (en) Haptic information presentation system
US11325029B2 (en) Virtual reality environment generating apparatus and controller apparatus
US10936072B2 (en) Haptic information presentation system and method
US11385723B2 (en) Haptic information presentation system and method
US11308772B2 (en) Haptic information presentation system
US20110148607A1 (en) System,device and method for providing haptic technology
CN110727342A (zh) 基于动态系统识别的自适应触觉效果呈现
JP6955229B2 (ja) 触力覚情報提示システム
JP2023164717A (ja) 触力覚情報提示システム
Deng et al. The roughness display with pen-like tactile device for touchscreen device
Ziegler Haptic displays: how can we feel virtual environments?
Varalakshmi et al. Mems sensors controlled haptic forefinger robotic aid
Sagaya Aurelia Haptics: Prominence and Challenges

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150423

R150 Certificate of patent or registration of utility model

Ref document number: 5750717

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R157 Certificate of patent or utility model (correction)

Free format text: JAPANESE INTERMEDIATE CODE: R157

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250