JP2019060835A - Illusionary force sense device - Google Patents

Illusionary force sense device Download PDF

Info

Publication number
JP2019060835A
JP2019060835A JP2017238126A JP2017238126A JP2019060835A JP 2019060835 A JP2019060835 A JP 2019060835A JP 2017238126 A JP2017238126 A JP 2017238126A JP 2017238126 A JP2017238126 A JP 2017238126A JP 2019060835 A JP2019060835 A JP 2019060835A
Authority
JP
Japan
Prior art keywords
sense
illusionary
force
information
waveform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017238126A
Other languages
Japanese (ja)
Other versions
JP7174337B2 (en
Inventor
中村 則雄
Norio Nakamura
則雄 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Miraisens Inc
Original Assignee
Miraisens Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Miraisens Inc filed Critical Miraisens Inc
Publication of JP2019060835A publication Critical patent/JP2019060835A/en
Application granted granted Critical
Publication of JP7174337B2 publication Critical patent/JP7174337B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

To provide an illusionary force sense device capable of improving reality and sensation given to a user by driving a tactile force actuator using a tactile force inducer for inducing haptic sensation.SOLUTION: The illusionary force sense device comprises an illusionary tactile force inducer that includes a haptics CPU; and a storage element storing a program for generating an illusion force induction function. The illusionary tactile force inducer generates an illusionary force sense with nonlinear characteristics which is induced by driving the CPU according to the program.SELECTED DRAWING: Figure 1

Description

本発明は、錯触力覚を誘起するための錯触力覚誘起装置を備える錯触力覚デバイスに関する。The present invention relates to an illusionary tactile force sense device including an illusionary tactile force sense inducing device for inducing an illusionary tactile force sense.

触力覚アクチュエータを使用して錯覚を作り出す触力覚装置は知られている。この装置は、デジタル・シグナル・プロセッサ(DSP)等のプロセッサと、プロセッサを駆動するソフトウェアを記憶するRAM等のメモリを備える処理システムと、処理システムのプロセッサからの出力信号で駆動する触力覚アクチュエータを備える。触力覚アクチュエータは、振動、質感等をユーザに提供する。従来の触力覚アクチュエータは、ユーザに提供される振動、質感等が最適に実現できていない等の欠点を備える。Tactile devices are known that use haptic actuators to create an illusion. The apparatus comprises a processing system comprising a processor such as a digital signal processor (DSP) and a memory such as a RAM storing software for driving the processor, and a haptic actuator driven by an output signal from the processor of the processing system. Equipped with The haptic actuator provides vibration, texture, etc. to the user. The conventional haptic actuator has the disadvantage that the vibration, texture, etc. provided to the user can not be realized optimally.

本発明は、上述した従来の欠点を鑑みてなされてもので、触力覚を誘起するための触力覚誘起装置を使用して、触力覚アクチュエータを駆動してユーザに現実感(リアル感)及び感覚を向上させた錯触力覚デバイスを提供することを目的とする。Since the present invention is made in view of the above-mentioned conventional drawbacks, a haptic sense induction device for inducing a haptic sense is used to drive a haptic sense actuator to give the user a sense of realism (realism). And to provide an illusionary tactile force sense device with improved sense.

外部からの情報を入力する入力装置と、ハプティクスCPUと、錯触力覚誘起関数を生成するプログラムを備える記憶素子とを備え、プログラムに従って前記CPUを駆動して非線形特性を備える誘起された錯触力覚を生成する錯触力覚誘起生成装置と、前記生成された錯触力覚を備える情報を出力する出力装置とを備え、前記錯触力覚誘起生成装置は、基本波形生成を基に錯触力覚誘起要素波形を生成し、該錯触力覚誘起要素波形を変調、加工、及び編集して該錯触力覚誘起駆動波形を生成してなる錯触力覚デバイス。An induced illusion comprising an input device for inputting information from the outside, a haptics CPU, and a storage element provided with a program for generating an illusionary tactile force sense induction function, and driving the CPU according to the program to provide nonlinear characteristics. The illusionary haptic force induction generation device for generating force sense and an output device for outputting information including the generated illusionary haptic force sense, the illusionary haptic force sensation induction generation device is based on the basic waveform generation. An illusionary tactile force sense device comprising: generating an illusionary tactile force sense element waveform; and modulating, processing, and editing the illusionary force force tactile element waveform to generate the illusionary force force induced drive waveform.

前記錯触力覚デバイスは、CMOS構造、及び又はBiCMOS構造を備えることを特徴とする錯触力覚デバイス。The illusionary tactile force sense device comprises a CMOS structure and / or a BiCMOS structure.

前記入力装置は、サンプリング波形、圧覚情報、触覚情報、力覚情報、プリセット情報、状態情報、及び制御情報(フィードバック情報などを含む)を入力することを特徴とする錯触力覚デバイス。The illusionary tactile force sense device, wherein the input device inputs a sampling waveform, pressure information, tactile information, force sense information, preset information, state information, and control information (including feedback information and the like).

前記出力装置は、1チャネル当たり1自由度以上を有する駆動波形を、1チャネルまたは、複数チャネル以上出力することを特徴とする錯触力覚デバイス。The illusionary tactile force sense device according to claim 1, wherein the output device outputs a drive waveform having one or more degrees of freedom per channel in one or more channels.

触力覚を誘起するための触力覚誘起装置を駆動して、錯触力覚誘起関数を生成して誘起された非線形特性を備える錯触力覚によって感覚及び又身体的反応を引き起こす情報を出力装置から出力し、この出力された信号を用いて触力覚アクチュエータを駆動してユーザに現実感(リアル感)及び感覚を向上させた錯触力覚デバイスを得ることができる。By driving a haptic induction device for inducing a haptic sense to generate an illusionary haptic sense-induced function, the information that causes sense and / or a physical response by the illusion of tactile sensation with non-linear characteristics induced It is possible to obtain an illusionary tactile force sense device which is outputted from the output device and drives the haptic force actuator using this outputted signal to improve the realism and sense for the user.

本発明に係る錯触力覚誘起装置を備える錯触力覚デバイスのブロック図である。It is a block diagram of the illusionary tactile force sense device provided with the illusionary tactile force sense induction device according to the present invention. 錯触力覚を誘起する錯触力覚誘起アルゴリズムの一例として、感覚帯域[図1]演算アルゴリズムの概念図を示す。As an example of the illusionary tactile force induction algorithm that induces illusionary tactile force sense, a conceptual diagram of a sensory band [Fig. 1] arithmetic algorithm is shown. 誘起波形生成アルゴリズムのアーキテクチャの構成図を示す。Fig. 2 shows a block diagram of the architecture of the induced waveform generation algorithm. ハプティク・システム・アーキテクチャーの構成図を示す。Figure 1 shows a block diagram of a haptic system architecture. 三原触モデルを用いたハプティック・デザイン・モジュールの概念図を示す。The conceptual diagram of the haptic design module which used Mihara tactile model is shown.

本発明に係る錯触力覚デバイスは、デジタル回路を備えるCMOS構造及び又はアナログ回路とデジタル回路とを混在してなるBiCMOS構造を備える。The illusionary tactile force sense device according to the present invention has a CMOS structure including digital circuits and / or a BiCMOS structure formed by mixing analog circuits and digital circuits.

図1は、本発明に係るハプティクスCPUを備える錯触力覚誘起装置を備える錯触力覚デバイスのブロック図である。
図1において、錯触力覚デバイス10は、錯触力覚誘起装置12を備え、錯触力覚誘起装置12は、ハプティクスCPU14と、錯触力覚誘起関数を生成するプログラムを備える記憶素子16と、プログラムに従ってCPU14を駆動して非線形特性を備える誘起された錯触力覚を生成する錯触力覚誘起生成装置18と、アクティブタッチ(触力覚活動)装置19を備える。錯触力覚を生成するための情報を備える信号は、入力装置20から入力される。錯触力覚デバイスは、触力覚デバイスであってもよい。錯触力覚誘起装置は、触力覚誘起装置であってもよい。錯蝕力覚アクチュエータ24は、触力覚アクチュエータ24であってもよい。
FIG. 1 is a block diagram of an illusionary tactile force sense device provided with an illusionary tactile force sense induction device provided with a haptics CPU according to the present invention.
In FIG. 1, the illusionary tactile force sense device 10 includes an illusionary tactile force sense induction device 12, and the illusionary tactile force sense induction device 12 includes a haptics CPU 14 and a storage element 16 including a program for generating an illusionary tactile force sense induction function. And, an illusionary tactile force sense induction generating device 18 which drives the CPU 14 according to a program to generate an induced illusionary tactile force sense having nonlinear characteristics, and an active touch (feeling force activity) device 19. A signal including information for generating the illusionary tactile force sense is input from the input device 20. The illusionary haptic device may be a haptic device. The illusionary tactile force induction device may be a tactile force induction device. The dental caries force actuator 24 may be a haptic force actuator 24.

錯触力覚誘起装置12は、出力装置22を備え、触力覚を備える情報は、信号として出力装置22から外部に設けられた駆動装置である錯触力覚アクチュエータ24に出力されることが好ましい。錯触力覚誘起装置12は、錯触力覚誘起装置に組み込まれた通信装置30及び又は通信装置31、生体通信装置32を備える。The illusionary tactile force sense induction device 12 is provided with an output device 22, and information provided with a haptic force can be outputted as a signal from the output device 22 to the illusionary tactile force sense actuator 24 which is a driving device provided outside. preferable. The illusionary tactile force sense induction device 12 includes a communication device 30 and / or a communication device 31 and a biocommunication device 32 incorporated in the illusionary tactile force sense device.

錯触力覚を備える情報は、ユーザおよびまたはAIヒューマン(バーチャル・リアル融合空間における人工知能を有するバーチャルヒューマン)装置、錯触力覚誘起装置12、錯触力覚デバイス10、他の各種の機器および各種周辺機器と通信を行なってもよい。Information provided with illusionary tactile force sense may be a user and / or AI human (virtual human having artificial intelligence in a virtual real fusion space) device, illusionary tactile force sense inducing device 12, illusionary tactile force sense device 10, and various other devices And may communicate with various peripheral devices.

錯触力覚誘起装置12は、入力装置20、出力装置22、錯触力覚誘起装置に組み込まれた通信装置30を備えることで、モジュール化、組む込み化が容易であり、アクティブタッチなどの触力覚活動、触力覚活動を通しての行動・思考・判断プロセスのモニタリングが可能となり、身体および環境に設置されたウエアブル機器やユビキタス機器、IoT機器、身体性を有するSNS空間の生成機器、バーチャル空間とリアル空間を融合する機器などの部品として対応可能となる。The illusionary tactile force sense induction device 12 is easy to be modularized and incorporated by including the input device 20, the output device 22, and the communication device 30 incorporated in the illusionary tactile force sense induction device, such as an active touch. Haptic activity, behavior / thinking / judgment process through haptic activity can be monitored, and wearable devices and ubiquitous devices installed in the body and environment, IoT devices, devices for generating SNS space with physicality, virtual It becomes possible to correspond as parts, such as an apparatus which unites space and real space.

錯触力覚誘起装置12は、アクティブタッチ装置19を備え、入力装置20からの情報(例えば、状態情報、制御情報)をもとに、錯触力覚誘起装置12を制御することで、センシング感度の向上や仮説・検証的な粗さ・形状・構造・動作など触力覚情報における誤差確認といったアクティブセンシングによる触力覚活動(アクティブタッチ)、反射的な反応、無意識的な活動や判断、触力覚活動を通しての行動・思考・判断プロセスのモニタリングおよび誘導を行う。これらは、コーチングやセラピー診療などに有効である。The illusionary tactile force sense induction device 12 includes an active touch device 19 and controls the illusionary tactile force sense induction device 12 based on information (for example, state information, control information) from the input device 20 to perform sensing. Haptic activity (active touch) by active sensing, such as sensitivity improvement and confirmation of errors in haptic information such as hypotheses, verification roughness, shape, structure, movement, etc., reflexive reaction, unconscious activity and judgment, Monitor and guide behavior, thinking, and judgment processes through haptic activity. These are effective for coaching and therapy treatment.

錯触力覚誘起装置の入出力情報を以下に示す。
入力情報;▲1▼コマンドplay、Stop、Pause▲2▼サンプリング情報(波形等)、▲3▼感覚情報(パラメータ等)−圧覚情報;硬さ〜軟かさ(抵抗、応力)、触覚情報;粗さ〜滑らかさ(振動)、力覚情報;湿り感〜乾き感(摩擦、せん断)、プリセット情報、▲4▼状態情報;音声・意志情報、動作・視線・操作情報、脳波、筋電、生体情報、筋肉緊張、呼吸、血圧、▲5▼制御情報;同期トリガー、位置情報、外部クロック。
The input / output information of the illusionary tactile force induction device is shown below.
Input information; (1) command play, Stop, Pause (2) sampling information (waveform, etc.), (3) sensory information (parameters, etc.)-pressure information; hardness to softness (resistance, stress), tactile information; rough -Smoothness (vibration), force sense information; feeling of wetness-dryness (friction, shear), preset information, (4) status information; voice / will information, motion / gaze / operation information, brain waves, myoelectricity, living body Information, muscle tone, respiration, blood pressure, (5) control information; synchronous trigger, position information, external clock.

出力情報;(1)駆動情報(波形、制御パラメータ等)、1チャネル当たり1自由度以上×Nチャネル ▲2▼制御情報―同期トリガー、位相情報、同期クロック。上述した入力情報を基に錯触力覚誘起装置は、触力覚情報(力、力ベクトル、力覚、力覚ベクトル、感覚、感覚ベクトル、に関する情報)を備える、1チャネル当たり1自由度以上の駆動波形を出力する。ここで、1チャネル当たり1自由度以上とは、3次元空間における力および回転力に関する触力覚情報はそれぞれ3自由度が必要となるが、表現用途によっては、1自由度〜6自由度の選択が可能である。また、テンソル、および、N次元からなる空間(実空間、架空空間)ならば、それ以上の自由度が必要となる。Output information; (1) Drive information (waveform, control parameters, etc.), 1 or more degrees of freedom per channel x N channels 2) Control information-synchronous trigger, phase information, synchronous clock. Based on the input information described above, the illusionary tactile force sense induction device includes tactile force sense information (information on force, force vector, force sense, force sense vector, sense, sense vector), and has one or more degrees of freedom per channel. Output the drive waveform of Here, with one or more degrees of freedom per channel, haptic sense information regarding forces and rotational forces in a three-dimensional space each requires three degrees of freedom, but depending on the expression application, one degree of freedom to six degrees of freedom A choice is possible. Also, if it is a tensor and an N-dimensional space (real space, imaginary space), more degrees of freedom are required.

入力装置から錯触力覚誘起装置に入力された入力情報は、錯触力覚誘起作成装置の駆動によって非線形特性を備える誘起された錯触力覚情報を作成する。出力装置は、錯触力覚誘起作成装置で作成された錯触力覚を出力する。出力装置は、振動情報を賦活して(活性化して)出力されることが好ましい。出力情報は、外部の触力覚アクチュエータ24を駆動するために使用される。The input information input from the input device to the illusionary tactile force sense inducing device creates induced illusionary tactile force sense information having a non-linear characteristic by driving of the illusionary tactile force sensation inducing device. The output device outputs the illusionary tactile force sense created by the illusionary tactile force sense induction creating device. The output device preferably activates (activates) and outputs the vibration information. The output information is used to drive an external haptic actuator 24.

上記入力を基に錯触力覚誘起関数を生成するプログラムの処理フローを以下に示す。処理フローは、以下の工程を備えることが好ましい。
▲1▼サンプリング波形の読み込み、
▲2▼アナログ入力、デジタル入力、外部メモリ、データベースからの入力・読み込み、
▲3▼基本波形生成;正弦波、三角波、矩形波、錯触力覚誘起要素波形、
▲4▼アクティブタッチ制御、
▲5▼錯触力覚波形の変調・加工、
▲6▼編集、合成編集、
▲7▼フィルタリング、
▲8▼シーケンサー、
▲9▼イコライズ・補正機能、
▲10▼増幅・位相調整、
▲11▼誘起駆動波形の生成、
▲12▼誘起駆動波形の出力、
▲13▼アナログ入力、デジタル入力、外部メモリ、データベースからの入力・書き出し。
入力された基本波形は、提示したい感覚情報の圧覚情報、触覚情報、力覚情報の少なくとも1の情報である信号を基に変調され及び又は編集されることが好ましい。
The processing flow of a program for generating an illusionary tactile force sense induction function based on the above input is shown below. The processing flow preferably includes the following steps.
1 Reading of sampling waveform,
2 2 ▼ Analog input, digital input, external memory, input / read from database,
(3) Basic waveform generation: sine wave, triangular wave, rectangular wave, illusionary tactile force induction element waveform,
4 4 ▼ Active touch control,
(5) Modulation and processing of complex tactile force sense waveform
6 6 ▼ Editing, synthetic editing,
7 7 ▼ filtering,
8 8 ▼ sequencer,
9 9 ▼ Equalize / correction function,
10 10 ▼ amplification, phase adjustment,
11 11 ▼ Generation of induced drive waveform,
12 Output of induced drive waveform,
13 13 ▼ Analog input, digital input, external memory, input / output from database.
The input basic waveform is preferably modulated and / or edited on the basis of a signal that is at least one of pressure information, tactile information, and force information of sensory information to be presented.

かくして、錯触力覚誘起装置は、錯触力覚誘起関数を生成する錯触力覚誘起関数生成装置を駆動して誘起された非線形特性を備える錯触力覚によって感覚及び又身体的反応を引き起こす情報を出力装置から出力される。関数は、データ・テーブルで表現されてもよい。Thus, the illusionary tactile force induction device drives the illusionary tactile force sensation induction function generating device to generate an illusionary tactile force sensation induction function, and senses and / or a physical response by the illusionary tactile force sensation with the induced non-linear characteristic. The information to trigger is output from the output device. The function may be represented by a data table.

この後、錯触力覚誘起装置から出力された変調及び又は編集された情報である信号は、デジタル/アナログ変換されて、そして増幅される場合もあるし、デジタルのままアクチュエータ駆動に利用される場合もある。After this, the signal which is the modulated and / or edited information output from the illusionary tactile force sense induction device may be digital / analog converted and amplified, or may be used as a digital actuator drive. In some cases.

ハプティクスの感覚要素と三原触
人間の感覚の分類としては、大きく、体性感覚、内臓感覚、特殊感覚といった分類の仕方がある。その中で、体性感覚が、ここで扱っているハプティクスに関連した感覚であり、体性感覚は、皮膚感覚と深部感覚に分類されている。
皮膚感覚は、触れるという指先などの皮膚表面における触感に関連した感覚であり、接触を知覚する痛覚・温覚・冷覚・圧覚といった接触・圧感覚に関する圧覚、テクスチャなどの静的表面形状を知覚する触覚に関連している。
深部感覚は、てごたえなどといった筋肉などの深部における感触に関連した感覚であり、位置覚によって自己の動きを認識しながら、運動覚、抵抗覚、重量覚、振動覚といった与えた力や動きに対する感覚のフィードバックを得ることで対象物体の動的変化(応答特性)を知覚する力覚に関連している。
Classifications of haptic elements of haptics and human senses of Mihara are largely classified into somatic senses, visceral senses and special senses. Among them, somatic senses are senses related to haptics dealt with here, somatic senses are classified into skin sense and deep sense.
The cutaneous sensation is a sensation related to the tactile sensation on the skin surface such as a finger tip, and senses a static surface shape such as touch and pressure sensations such as pain, warmth, coldness and pressure that senses touch. Related to the sense of touch.
The deep sense is a sense related to the feel in the deep part such as the muscle, etc., while recognizing the movement of the person by the position sense, against the force or the motion such as the motion sense, resistance sense, weight sense or vibration sense. It is related to a haptic that perceives a dynamic change (response characteristic) of an object by obtaining sensory feedback.

ハプティクスにおけるプレゼンスと表現感覚要素
人は「身体性」を求め、プレゼンスを確認しようとする。それは、目の前に見えているものは触って確認したいという幼児期の衝動に似たものがあり、触ろうとするときの距離感や空間的な認知などにおいて、自分の身体的なモノさしを通して、相対的な位置関係、インタラクションによる自分との関係性や物性・材質等の探索的理解といった、対象物や外環境の直観的・感覚感性的な理解が重要だからである。
触るという動作において、▲1▼触れた、リーチしたという接触・圧力感覚、▲2▼表面形状や状態を理解するための位置情報と触覚情報、▲3▼物体の存在感や運動・動き、粘性・弾力感といった物体内部の状態を理解するための力覚情報が重要である。このように、加えた力によって生じた動き(位置)や物理的特質を理解するためには、▲1▼圧覚、▲2▼触覚、▲3▼力覚に関する情報提示が不可欠である。また、金属などの熱伝導率といった素材の特質を知覚するためには、温覚、冷覚に関する情報も必要となる。これらは、プレゼンスや形状などの対象物の物理的な特質を知覚する行為である。物体のプレゼンスを表現するためには、触ったり、押し込んだりして、重さや堅さを確認しようとする行為が関わっており、サイバー空間、情報空間、VR空間においては、ヒトの身体性が実現される必要がある。
Presence in Haptics and Expressive Feeling Elements People seek "physicality" and try to confirm their presence. It is similar to an early childhood impulse to touch and confirm what you see in front of you, and it is your physical work in terms of distance and spatial cognition when trying to touch. Intuitive and sensuous understanding of objects and the external environment is important, such as relative positional relationship, relationship with oneself by interaction, and exploratory understanding of physical properties and materials.
In the operation of touching, (1) touch and pressure sensation of reaching and reaching, (2) positional information and tactile information for understanding surface shape and state, and (3) presence, movement and movement of an object, viscosity · Haptic information for understanding the state inside the object, such as elasticity, is important. As described above, in order to understand the movement (position) and physical characteristics caused by the applied force, information presentation on (1) pressure sense, (2) tactile sense, and (3) force sense is indispensable. In addition, in order to perceive the characteristics of the material such as the thermal conductivity of metals and the like, information on warmth and coldness is also required. These are acts of perceiving the physical characteristics of an object, such as presence or shape. In order to express the presence of an object, the act of touching or pushing in to check its weight and firmness is involved, and in the cyber space, information space and VR space, human physicality is realized It needs to be done.

ハプティクスの本領は、アクティブ・タッチである。人が、意図的に、触る時の運動を制御することで、得られる情報や感度が異なる。レーダーが、送信周波数、出力、パルス幅、パルス繰返し周波数などを制御することで、得られる情報が異なってくるのと似ている。自身の動きを認識・確認するために、関節、筋、腱の動きといった固有感覚をともない、自身の運動、関節の動きが知覚されることで、位置覚、運動覚が生じる。指で物体表面をなぞった時に、与えた動き・力に対して、知覚された力のフィードバックから、物体および物体表面の特性・運動、つまり、感覚、感触・触感が誘起・知覚される。これは、物体によって、与えた動き・力の一部が吸収されたことと解釈できる。吸収されずに、残った動き・力が、フィードバックとして、感覚が誘起・知覚される。与えた動き・力が、すべての成分や全帯域の周波数を有する場合、吸収と残差は補う関係(ここでは、補触と呼ぶことにする)にあると考えられ、これらやハプティック・モデルを考慮してアクティブ・タッチでの現象を模した制御を行うことで、さまざまな感覚・感触・触感を誘起・提示することができる。与えた動き・力が、ある成分を保有し、知覚された感覚がすべての成分を含む、もしくはゼロになるように制御すると、感覚を低減・感覚閾値下・不感化(ここでは、無触化と呼ぶことにする)することができる。これらの制御は、振動や振動のパターンを生成及び又は選ぶことで制御される。また、振動パターンを制御することで、振動を停止した後も感覚が残る現象(ここでは、残触効果と呼ぶ事にする)といった感覚を誘起・制御することができる。補触効果と残触効果により、残触と補触が合わさった残触補触効果を誘起・制御できる。The essence of haptics is active touch. By intentionally controlling the movement when touching a person, the information and the sensitivity obtained differ. It is similar to the fact that the radar can control the transmission frequency, power, pulse width, pulse repetition frequency, etc. to obtain different information. In order to recognize and confirm one's own movement, position and movement are produced by the perception of one's own movement and joint movement along with the inherent sensation of movement of joints, muscles and tendons. When the object surface is swept with a finger, the characteristic / movement of the object and the object surface, that is, the sense, touch, and touch are induced / perceived from the feedback of the perceived force with respect to the applied movement / force. This can be interpreted as the fact that part of the given movement or force is absorbed by the object. The remaining motion / force is not absorbed, but the sense is induced / perceived as feedback. If the motion or force applied has the frequency of all components or all bands, the absorption and the residual are considered to be in a complementary relationship (here, referred to as acupuncture), and these haptic models A variety of senses, feels, and senses of touch can be induced and presented by performing control that simulates the phenomenon of active touch in consideration. If the given movement / force holds a certain component and controls the perceived sensation to include all components or become zero, the sensation is reduced / subsensory threshold / passivated (here, insolation Can be called). These controls are controlled by generating and / or selecting vibrations and vibration patterns. In addition, by controlling the vibration pattern, it is possible to induce and control a sensation such as a phenomenon in which the sensation remains after stopping the vibration (here, referred to as a residual touch effect). The tactile sensation effect and the residual sensation effect can induce and control the residual tactile sensation effect in which the residual sensation and the touch sensation are combined.

物体を理解するうえで、ハプティクス情報を得るための探索的な手続きとして、▲1▼テクスチャ知覚のための接線方向の運動(触覚)、▲2▼硬さ知覚のための法線方向の押込み(圧覚)、▲3▼大きさや形状知覚のための握り(圧覚)、▲4▼温冷感覚による接触(接触感覚)、▲5▼重さ知覚のための保持(力覚)、▲6▼輪郭・形状知覚のためのなぞり(位置・圧覚)などが挙げられる。これらのハプティクス情報は、位置・運動と、それに連動した応力・応答の知覚であり、触覚、力覚、圧覚、接触感覚に関連している。As an exploratory procedure for obtaining haptic information in understanding an object, (1) tangential motion (tactile) for texture perception, (2) normal direction indentation for hardness perception ((2) Pressure sense), (3) grip for size and shape perception (pressure sense), (4) contact by thermal sensation (contact sense), (5) retention for weight perception (force sense), (6) contour・ A trace (position / pressure sense) for shape perception can be mentioned. These haptics information is position / motion and stress / response perception linked to it, and is related to touch, force sense, pressure sense, touch sense.

錯触力覚誘起装置は、三原触(圧覚、触覚、力覚)に加え、温熱感覚、痛覚を誘起する。温熱感覚は、非線形感覚特性におけるマスキング効果による感覚感度(温熱感覚)の低下および制御を用いたり、皮膚および身体における熱振動をモニタし、逆位相など位相を考慮した振動を加えることにより、冷感を誘起したり、熱振動や血流量、温感を増強する位相振動を加えることで温感を誘起する。痛覚は、高周波成分を含む振動により、痛覚を誘起する。強度や長時間の提示によっては、白蝋病や組織破壊が起こる可能性もありえるので、使用に注意が必要である。提示振動の制御により様々な感覚を誘起させることができる。この誘起された感覚は、光学における電磁波の振動の視点で考えると、光の三原色に加え、赤外線による温熱感覚、紫外線による組織破壊といった様々な現象・感覚が、振動周波数のみの相違といった、ひとつの物理量の制御によって、発生することと考えられる。The illusionary tactile force sense inducer induces thermal sensation and analgesia in addition to three-field sense (pressure sense, touch sense, force sense). Thermal sensation uses a decrease and control of sensory sensitivity (thermal sensation) due to the masking effect in the non-linear sensory characteristics, monitors thermal vibration in the skin and body, and adds a vibration that takes into consideration the phase such as anti-phase. In addition, thermal sensation is induced by inducing thermal vibration, blood flow, and phase vibration to enhance warmth. Nociception induces pain by vibration containing a high frequency component. Depending on the strength and long-term presentation, white wax disease and tissue destruction may occur, so use with caution. Various senses can be induced by control of the presentation vibration. This induced sense is considered from the viewpoint of the vibration of the electromagnetic wave in optics, in addition to the three primary colors of light, various phenomena and senses such as thermal sensation by infrared rays and tissue destruction by ultraviolet rays are one difference such as the difference only in vibration frequency It is considered to be generated by control of physical quantities.

振動一元論によるハプティクスの概念を以下に説明する。
三原触である、触覚、圧覚、力覚は、錯触力覚において振動波形パターンによる時間的な変化によって誘起できる感覚であるが、周波数的な特質も持ち合わせている。概念的・相対的な見方でいえば、触覚は高い周波数成分を、圧覚は低い周波数成分を含んでおり、力覚は周波数がゼロのような一定の力感覚を含んでいる。
The concept of haptics by vibration monism is explained below.
The sense of touch, sense of touch, sense of force, and sense of touch that are three factors are senses that can be induced by temporal changes due to vibration waveform patterns in illusionary sense of force sense, but they also have characteristics of frequency. From a conceptual and relative viewpoint, the sense of touch includes high frequency components, the sense of pressure includes low frequency components, and the sense of force includes a constant sense of force such as zero frequency.

体性感覚は、振動周波数のような一元論的な分類が可能である。三原色と三原触とを比較した場合、赤・緑・青からなる可視光に対する力覚・圧覚・触覚、赤外線に対する温冷覚、紫外線に対する痛覚といった類似・対応関係が見て取れる。温冷覚も、痛覚も、振動や振動パターンによって、提示・制御することが可能である。その一例として、電子レンジや各種共鳴現象による方法による熱振動、振動による促進及び又は抑制の制御、振動の空間的な変化による感覚の側抑制などの強調・促進・抑制効果による加熱・冷却や温熱感覚・加熱感覚・冷却感覚、衝撃的な打撃振動、高周波振動、などによる破壊的な加圧・変形による痛覚、温冷の差による痛覚提示などがあげられる。
このように、力覚・圧覚・触覚、温冷覚、痛覚といった感覚が、振動を媒介にして、誘起・知覚させる。
Somatosensory can be classified monotonically like vibration frequency. When the three primary colors and the three primary colors are compared, similar and corresponding relationships such as force sense, pressure sense, tactile sense, thermal sensation for infrared rays, and pain sense for ultraviolet rays with respect to visible light consisting of red, green and blue can be seen. Both thermal sensation and pain sensation can be presented and controlled by vibration and vibration patterns. As an example, control of thermal vibration by means of microwave ovens and various resonance phenomena, control of acceleration and / or suppression by vibration, spatial suppression of sensation by spatial change of vibration, etc. Pain sensation by destructive pressure and deformation due to sensation, heat sensation, cooling sensation, shocking impact vibration, high-frequency vibration, etc., and pain sensation presentation due to differences in temperature and the like.
Thus, sensations such as force sense, pressure sense, touch sense, warm sense, and nociception are induced and perceived through vibration as a medium.

さまざまな感覚量は、振動の波形パターンや振動の周波数の制御によって、一元的に誘起・知覚させる。三原触は、こられの感覚・感覚量・知覚にもとづいて抽出・知覚される感覚の因子・主成分でもあり、感覚空間での表現・評価尺度という心理量にももとづいている。波形パターンは、周波数や位相情報によって表現される場合もあるし、他の情報パラメタで表現されても良い。
感覚量は、振動の波形パターン及び又は振動の周波数の制御によって、一元的に誘起・知覚させることが可能となる。
The various sensory quantities are induced and perceived in a unitary manner by controlling the waveform pattern of the vibration and the frequency of the vibration. Mihara touch is also a factor / principal component of the sense that is extracted and perceived based on these senses, sense amount, and perception, and is also based on the psychological amount of expression in the sense space and evaluation scale. The waveform pattern may be represented by frequency or phase information, or may be represented by other information parameters.
The sensory quantity can be induced and perceived in a unitary manner by controlling the waveform pattern of the vibration and / or the frequency of the vibration.

以下に、錯触力覚を誘起する錯触力覚誘起アルゴリズムの一例として、感覚帯域演算アルゴリズムを説明する。The sensory band computing algorithm will be described below as an example of the illusionary tactile force induction algorithm that induces illusionary tactile force.

図2は、錯触力覚を誘起する錯触力覚誘起アルゴリズムの一例として、感覚帯域演算アルゴリズムの概念図を示す。FIG. 2 shows a conceptual diagram of a sensory band calculation algorithm as an example of the illusionary tactile force induction algorithm that induces illusionary tactile force sense.

感覚帯域演算アルゴリズムは、感覚因子である三原触(力覚、圧覚、触覚)ごとの感覚誘起・生成モジュールを有している。それぞれは、フィルタバンクのように、感覚帯域を担当している。感覚帯域は、周波数、及び又は、波形パターンなどにより、誘起生成波形が、分類できる。感覚帯域演算アルゴリズムは、その誘起のしやすさの対応関係を、フィルタバンク(力覚帯域、圧覚帯域、触覚帯域)に分けて、数値化、関数化してものである。
一定の力とは、周波数ゼロの振動と考えることもできる。表面の弾力感は、弾性特性による応力の変化であり、周波数が低い時は、振動というよりは、指の動きに合わせた反力の変化、弾力感と考えることができる。
The sensory band calculation algorithm has a sensory induction / generation module for each of three sensory factors (force sense, pressure sense, touch sense) that are sense factors. Each is responsible for the sense band, like a filter bank. In the sense band, induced generation waveforms can be classified according to frequency and / or waveform pattern. The sensory band calculation algorithm divides the correspondence of the ease of induction into filter banks (a haptic band, a tactile band, a haptic band), and digitizes and functions.
A constant force can also be thought of as a zero frequency oscillation. The feeling of elasticity on the surface is a change in stress due to the elastic property, and when the frequency is low, it can be considered as a change in reaction force according to the movement of the finger, feeling of elasticity, rather than vibration.

皮膚の感覚受容器は、時間的応答性に関して、速順応性の応答(FA:Fast Adapting)と遅順応性の応答(SA:Slow Adapting)により、SAI、SAII、FAI、FAIIに分類される。それぞれの受容器の振動周波数に対する閾値が異なる。力覚、圧覚、触覚は、それぞれ反応しやすい周波数帯域に対応する。The skin's sensory receptors are classified into SAI, SAII, FAI, and FAII in terms of temporal responsiveness, according to fast adapting response (FA: Fast Adapting) and slow adapting response (SA: Slow Adapting). The thresholds for the vibration frequency of each receiver are different. The force sense, the pressure sense and the touch sense correspond to frequency bands which are easy to react respectively.

力覚モジュールは、低周波の成分に関係しており、圧覚モジュールは、低周波、中周波の成分に関係している。触覚モジュールは、高周波の成分に関係している。各モジュールは、さまざまなハプティクス情報に関係している。力覚モジュールは、特に、筋肉や関節などのハプティクス情報に関係している。圧覚モジュールは、特に、皮膚の応力成分に関係している。触覚モジュールは、特に、皮膚のせん断力成分に関係している。
振動などの物理刺激が、力覚、圧覚、触覚(振動覚)の誘起・知覚に関係しており、これは、力・応力・加速度的な効果としての粒子性、共鳴効果としての振動・波動性の両面の特性を有していることを意味する。
The haptic module is associated with the low frequency component, and the pressure module is associated with the low frequency, mid frequency component. The haptic module is concerned with the components of the high frequency. Each module is associated with various haptics information. The haptic module is particularly concerned with haptics information such as muscles and joints. The pressure module is particularly concerned with the stress component of the skin. The haptic module is particularly concerned with the shear component of the skin.
Physical stimulation such as vibration is related to the induction and perception of force sense, pressure sense and sense of touch (vibration sense), and this is the particle nature as force, stress and acceleration effect, vibration and wave as resonance effect It means having characteristics of both sexes.

各モジュールは、忠実な感覚再生や、現実に近い、もしくは現実以上のリアリティのある感覚を誘起・実現するために、帯域ごとに再生ユニットの特性が設計される。ここでは、力覚・圧覚・触覚からなる三原触モデルに関するモジュール構成を示したが、その他の複数の基本感覚因子で構成されたモデルにおいても、同様のモジュール設計が可能である。ここで、
アルゴリズムは、ソフトウェアで実装されても、ハードウェアで実装されてもよい。
In each module, the characteristics of the reproduction unit are designed for each band in order to induce and realize a faithful sense reproduction and a realistic or near real sensation. Here, the module configuration relating to the three-color tactile model consisting of force sense, pressure sense and tactile sense is shown, but similar module design is possible also in a model composed of other basic sense factors. here,
The algorithm may be implemented in software or hardware.

各モジュールは、感覚の味付け・付加機能(強調、抑制、代替・置換、)を備えることが可能である。これらの機能は、揺らぎ成分、フィルタリング、変調・演算・復調、フーリエ変換・逆フーリエ変換、外乱・疑似外乱、神経発火、反射を誘発する波形の付加などの、各種演算手法を使用して実現できる。感覚は、順応などによる感覚・感覚特性の変化を有するため、このような感覚の味付けによって、順応を抑制したり、促進するなどの制御が可能となる。Each module can be equipped with taste-tasting / additional functions (emphasis, suppression, substitution / substitution). These functions can be realized using various operation methods such as fluctuation components, filtering, modulation / arithmetic / demodulation, Fourier transform / inverse Fourier transform, disturbance / pseudo-disturbance, neural firing, addition of a waveform inducing reflection, etc. . Since the sense has a change in the sense-sensory characteristics due to adaptation or the like, such taste-tasting enables control such as suppressing or promoting adaptation.

図3は、誘起波形生成器の誘起波形生成アルゴリズムのアーキテクチャの構成図を示す。誘起波形生成アルゴリズムのアーキテクチャは、基本波形生成部およびサンプリング部から生成された波形を入力とし、合成部において、これら波形からさまざまな錯触力覚誘起波形が合成される。FIG. 3 shows a block diagram of the architecture of the induced waveform generation algorithm of the induced waveform generator. The architecture of the induced waveform generation algorithm takes as input the waveforms generated from the basic waveform generation unit and the sampling unit, and in the synthesis unit, various illusionary tactile force induced waveforms are synthesized from these waveforms.

誘起波形生成アルゴリズムのアーキテクチャの構成図は、以下の構成を備える。すなわち、▲1▼基本波形生成部、ここで基本波形生成部は、サンプリング部を備える、▲2▼合成部、ここで合成部は、(1)加減除算、演算部、(2)フィルタリング部、(3)変調部、復調部、(4)波形変形部、(5)ヒステリシス変換部、(6)非線形変換部、▲3▼錯触力覚誘起評価部、(7)選択スクリーニング部、(8)フィードバック部を備える。The block diagram of the architecture of the induced waveform generation algorithm has the following configuration. That is, (1) basic waveform generation unit, where the basic waveform generation unit includes a sampling unit, (2) combining unit, where the combining unit is (1) addition / subtraction, operation unit, (2) filtering unit, (3) modulation unit, demodulation unit, (4) waveform deformation unit, (5) hysteresis conversion unit, (6) non-linear conversion unit, (3) complex tactile force sense evaluation unit, (7) selective screening unit, (8 ) A feedback unit is provided.

基本波形生成部は、ハプティックス生成のための振動の基本波形として、例えば、正弦波、三角波、のこぎり波、矩形波、台形波、非線形波形、歪波形、加速・減速波形といった波形データを生成する。The basic waveform generation unit generates waveform data such as, for example, a sine wave, a triangular wave, a sawtooth wave, a rectangular wave, a trapezoidal wave, a nonlinear waveform, a distorted waveform, and an acceleration / deceleration waveform as a basic waveform of vibration for generating haptics. .

サンプリング部は、ハプティックス生成のための振動波形として、ハプティック・センサーからなる測定装置、ハプティック・レコーダーであるサンプリング装置(デジタル化装置)を備え、実物体の感触・触感などの感覚にかかわる物理・物性データおよび物理・物性から知覚・誘起される感覚量をデータ化する。
ハプティック・センサーは、赤外線やレーザー等からなる光学センサー、加速度センサー、画像カメラ・センサーなどの物理量計測器、干渉計などの物理現象計測器、脳波計・筋電計などの生理量計測器などから構成され、物体表面の形状、粗さ、弾力、粘性、変形、などのハプティック特性(例えば、触感・感触、感覚要素、三原触、振動、振動感、などの物理的特性、感覚的特性、主観的特性、生理的特性)にかかわる物理量および物理量の変化、感覚量および感覚量の変化を計測し、アナログデータやデジタルデータなどのデータ情報が変換・編集・記録される。合成部へのデータは、記憶装置に記憶されたデータを用いてもよい。
ここで、サンプリング部では、実物体以外に、仮想物体も対象となる。仮想物体のデジタルデータから、上記に該当する、物理量および物理量の変化、感覚量および感覚量の変化が得られる。また、生理・心理・物理計測による、主観量や生理量の計測を通して、仮想物体から人がイメージした、想像した、印象を受けた感覚量および感覚量の変化が用いられてもよい。自然現象、人の生活・行動、計算機上の現象、情報空間上の変化からサンプリングされたデータでも良い。多様な波形パターンを入手できるのならば、対象を問わない。
The sampling unit is provided with a measuring device including a haptic sensor as a vibration waveform for generating haptics, and a sampling device (digitizing device) which is a haptic recorder. Physicalize data from sensory data and physical and physical senses.
Haptic sensors include optical sensors consisting of infrared rays and lasers, physical sensors such as accelerometers, image cameras and sensors, physical phenomenon meters such as interferometers, and physiological meters such as electroencephalographs and electromyographs. Object surface shape, roughness, elasticity, viscosity, deformation, etc. haptic characteristics (for example, touch / feel, sensory elements, physical properties such as vibration, vibration, etc., physical characteristics, sensory characteristics, subjective Physical properties and changes in physical quantities, sensory quantities, and changes in sensory quantities are measured, and data information such as analog data and digital data is converted, edited, and recorded. The data to the combining unit may use data stored in the storage device.
Here, in the sampling unit, in addition to real objects, virtual objects are also targets. From the digital data of the virtual object, it is possible to obtain physical quantities and changes in physical quantities, sensory quantities, and sensory quantities that fall under the above. In addition, changes in the perceived amount of impression and the perceived amount that the person imagined from the virtual object through the measurement of the subjective amount or the physiological amount by the physiological / psychological / physical measurement may be used. It may be data sampled from natural phenomena, human life and behavior, computer phenomena, and changes in information space. As long as various waveform patterns can be obtained, it does not matter.

合成部は、これらのデータから、各種演算を行って、様々な複雑波形を生成できる。その演算として、(1)加減除算、関数演算(例えば、関数電卓等で使われる関数や、その他、初等関数、高等関数)、(2)フィルタリング演算(例えば、ローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ、フィルター関数)、(3)変調・復調(電気・通信・工学関係で使われるすべての変調方式・復調方式)、(4)波形変形(アフィン変形、関数による変形、データ・テーブルによる変形、物理特性を模した変形、写像・投影変形)、(5)ヒステリシス変換(ヒステリシス関数を用いた変換・変形)、(6)非線形変換(非線形関数を用いた変換・変形)、畳み込み演算、逆演算などによって、演算・合成される。The synthesizing unit can perform various operations from these data to generate various complex waveforms. The operation includes (1) addition and subtraction / division, function operation (for example, functions used in scientific calculators, etc., and other elementary, advanced functions), and (2) filtering operation (for example, low pass filter, high pass filter, band pass filter , Filter function), (3) modulation and demodulation (all modulation and demodulation methods used in electrical, communication and engineering relationships), and (4) waveform deformation (affine deformation, deformation by function, deformation by data table, physics Deformation that simulates characteristics, mapping and projection deformation), (5) Hysteresis conversion (conversion and deformation using a hysteresis function), and (6) nonlinear conversion (conversion and deformation using a non-linear function), convolution operation, inverse operation, etc. It is calculated and synthesized by

錯触力覚誘起評価部は、錯触力覚の感覚量を推定するモデル、ディープ・ラーニングなどの人工知能技術による感覚・感覚量の推定・評価、人による主観的評価や生理計測などによる客観的評価などによって、感覚やハプティックにかかわる評価が行われる。
選択スクリーニング部は、評価をもとに、その波形と感覚・感覚量との関係を数値化し、分類する。感覚要素や三原触に関する感覚強度として、データ、データベース化される。感覚強度が不十分や不要と判断されたものは、データとしては排除される。残ったデータは、錯触力覚誘起アルゴリズムを構成するデータとなる。
波形パターンの特徴を示すパラメタと錯触力覚の感覚強度の関係が対応づけられる。この対応付けにもとづいて、手動、もしくは、計算機が自動で、合成演算の方法やパラメタを変化(摂動法、パラメタの全域で変化させる全域スキャン方法)させて、合成波形を生成し、その時の感覚の変化を評価する。これにより得られたデータにより、錯触力覚を誘起するパラメタが同定、錯触力覚モデルが推定、錯触力覚誘起アルゴリズムが導出される。
The illusionary haptic force-induced evaluation unit is a model for estimating the sensory amount of illusionary haptic force, estimation / evaluation of sensory amount by artificial intelligence technology such as deep learning, and objective evaluation by subjective evaluation by humans and physiological measurement. Evaluations related to senses and haptics are performed by
Based on the evaluation, the selective screening section quantifies and classifies the relationship between the waveform and the amount of sensation and sensation. Data and database are created as sensory intensity related to sensory elements and Mihara. Those judged to be inadequate or unnecessary in sensory intensity are excluded as data. The remaining data is data that constitutes the illusionary tactile force induction algorithm.
The relationship between the parameter indicating the feature of the waveform pattern and the sensory intensity of the illusionary tactile force sense is associated. Based on this correspondence, the method or parameter of the combining operation is manually or automatically changed by a computer (perturbation method, whole range scanning method of changing over the whole range of parameters) to generate a combined waveform, and the feeling at that time Assess changes in Based on the data thus obtained, parameters for inducing the illusionary tactile force sense are identified, the illusionary tactile force sense model is estimated, and the illusionary tactile force sense induction algorithm is derived.

フィードバック部は、選択スクリーニング部で得られた波形データを、基本波形やサンプリング波形と同様に、合成部への入力として利用する。
なお、フィードバック部がない、フィードバック部を使用しないアルゴリズムもある。
同様に、アルゴリズムにおいて、他の上記の部がない、使用しないは、問わない。
基本波形、サンプリング波形、フィードバックされた波形との合成により、本来の感覚とは異なる感覚、置換・編集された感覚、よりリアリティが増した強調感覚、リアリティをぼかした抑制感覚、今までの現実空間では体験できなかった感覚、物理法則に従わない感覚を知覚・体験させることができる。
すべての波形パターンについて、錯触力覚の誘起強度(誘起率)や感覚が評価・検討され、数値化、アルゴリズム化される。錯触力覚の感覚が検出された波形について、フィルタリングや、何らかの演算を行って、基本波形の成分が抽出されたならば、誘起波形生成アルゴリズムの波形パターンとみとめられる。
The feedback unit uses the waveform data obtained by the selective screening unit as an input to the synthesis unit, like the basic waveform and the sampling waveform.
There is also an algorithm that does not use a feedback unit and does not use a feedback unit.
Similarly, in the algorithm, it does not matter whether there is no other above mentioned part or not.
Based on the combination of the basic waveform, sampling waveform, and feedback waveform, the sense different from the original sense, the sense of substitution and editing, the enhanced sense of more reality, the suppression sense of blurring the reality, the reality space up to now You can sense and experience the senses that you can not experience, and the senses that do not follow the physical law.
For all waveform patterns, the induced strength (induction rate) and sense of the illusionary tactile force sense are evaluated and examined, quantified and algorithmized. If a component of the basic waveform is extracted by performing filtering or some operation on the waveform in which the sense of the illusion of tactile sensation is detected, it can be regarded as the waveform pattern of the induced waveform generation algorithm.

合成手法として、加減除算、フィルタリング、変調・復調、波形変形、非線形変換、ヒステリシス変換などのさまざまな、演算、変形、歪ませ方が利用できる。合成された錯触力覚誘起波形は、錯触力覚誘起評価部において、その波形が錯触力覚を誘起する感覚の度合が評価、ラベリングされる。その評価に基づいて、波形が取捨・選択され、メモリやデータベースへの保存・登録が行われる。これら保存・登録されたデータは、自由に呼び出す事が可能になる。また、生成された錯触力覚誘起波形は、合成部に戻して再利用される。この合成部における波形データの利用は、このようなフィードバックでも良いし、メモリやデータベースに保存されたデータの呼び出しでも利用できる。As the synthesis method, various arithmetic, deformation, and distortion methods such as addition / subtraction, filtering, modulation / demodulation, waveform deformation, non-linear conversion, and hysteresis conversion can be used. The synthesized illusionary tactile force sense-induced waveform is evaluated and labeled in the illusionary tactile force sense evaluation unit as the degree of the sense that the waveform induces illusionary tactile force sense. Based on the evaluation, the waveforms are sorted out and selected, and stored and registered in a memory or database. These stored and registered data can be freely recalled. Also, the generated illusionary tactile force sense induced waveform is recycled back to the synthesis unit. This use of waveform data in the synthesis unit may be such feedback, or may be used for calling data stored in a memory or database.

感覚の評価は、被験者実験によって得られた主観的データや生理的データに基づいて行われる。また、データなどによって構築された触力覚感覚モデル(ハプティクス・モデル)に基づいて評価されてもよい。Sensory evaluation is performed based on subjective data and physiological data obtained by subject experiments. Also, it may be evaluated based on a haptic sense model (haptics model) constructed by data or the like.

評価ラベリングは、三原触モデルにおける三原触の属性空間にマッピングされる。このマッピングは、他のハプティクス・モデルによる属性空間でも良い。The evaluation labeling is mapped to the attribute space of the three-point sense in the three-point sense model. This mapping may be an attribute space according to another haptic model.

基本波形生成部や錯触力覚誘起評価部、およびアルゴリズム全体にわたって、人工知能における技術、例えば、ディープ・ラーニングやニューラルネットワーク、遺伝的アルゴリズムなどを用いることで、高性能化、効率化が図られる。Higher performance and efficiency can be achieved by using techniques in artificial intelligence, such as deep learning, neural networks, genetic algorithms, etc., throughout the basic waveform generation unit, the illusionary haptic force induction evaluation unit, and the entire algorithm. .

錯触力覚誘起波形は、錯覚を誘起する波形、例えば、正弦波、三角波、のこぎり波、矩形波、台形波、非線形波形、歪波形、加速・減速波形、これらの複合波形およびこれらの波形から編集・変形・合成された波形を備える。錯触力覚誘起波形は、錯触力覚を誘起する波形ならば特に問わない。ここで、非線形波形とは、感覚の非線形性やヒステリシス効果を利用し、錯触力覚を誘起する波形を示す。The illusionary tactile force sense induced waveform is a waveform that induces an illusion, for example, a sine wave, a triangle wave, a sawtooth wave, a square wave, a trapezoidal wave, a nonlinear waveform, a distorted waveform, an acceleration / deceleration waveform, a complex waveform of these and these waveforms It has a waveform that has been edited, transformed, and synthesized. The illusionary tactile force sense-induced waveform is not particularly limited as long as the illusionary tactile force sense is induced. Here, the non-linear waveform indicates a waveform that induces illusionary tactile force using the non-linearity of sense and the hysteresis effect.

加速・減速波形とは、ここでは、加速部や減速部を有する波形を示す。錯触力覚の誘起の度合い(誘起量、誘起強度、誘起された感覚量)は、主観的な評価でも良いし、情報伝達媒体によって評価される。Here, the acceleration / deceleration waveform indicates a waveform having an acceleration unit and a deceleration unit. The degree of induction of the illusionary tactile force sense (induced amount, induced strength, induced sensory amount) may be a subjective evaluation or may be evaluated by the information transmission medium.

情報伝達媒体とは、感覚受容器の発火や発火波形、神経を伝搬する信号波形、反射系を伝搬する信号波形、脳波、神経伝達物質の伝搬、生理活性物質の伝搬、ペプチドや免疫物質の伝搬などの、生理的な反応やその情報伝達を行う媒体を意味する。また、評価は、これらの情報から得られたデータや導出されたモデル、仮説モデルにもとづいて行われてもよい。Information transmission media include firing and firing waveforms of sensory receptors, signal waveforms that propagate nerves, signal waveforms that propagate reflex systems, brain waves, propagation of neurotransmitters, propagation of physiologically active substances, and propagation of peptides and immune substances Etc., means a medium that carries out physiological responses and its signal transmission. Further, the evaluation may be performed based on data obtained from such information, a derived model, or a hypothesis model.

錯触力覚誘起波形は、IT端末のViewer、Browser、Editor等で使用されるフォーマットによって、表示、確認、編集することが可能である。錯触力覚誘起波形は、波形をサンプリング・デジタル化したRawファイル形式でも良いし、Wavファイル形式などの音声・音響用のファイル形式を利用してもよい。画像用のファイル形式でもよい。なんらかの波形を再生できるものならば、そのファイル形式を問わない。The illusionary tactile force sense induction waveform can be displayed, confirmed, and edited according to the format used in Viewer, Browser, Editor, etc. of the IT terminal. The illusionary tactile force sense induction waveform may be a raw file format in which the waveform is sampled and digitized, or a file format for voice and sound such as Wav file format may be used. It may be a file format for images. The file format is not limited as long as it can reproduce any waveform.

図4は、ハプティク・システム・アーキテクチャーの構成図を示す。
感覚をデザインするモデラーは、実際のハードおよびコンテンツの開発現場での使い勝手を考慮し、物理刺激層、知覚・感覚層、認知層、デザイン層に分けて、システム・アーキテクチャーが構成できる。
FIG. 4 shows a block diagram of the haptic system architecture.
The modeler who designs the sense can construct the system architecture by dividing it into the physical stimulation layer, the sense and sense layer, the recognition layer, and the design layer, in consideration of the actual hardware and the usability at the development site of the content.

下位の物理刺激層は、錯触力覚を誘起させるための物理刺激を発生させるデバイス・システム層であり、振動波形パターンの生成、および空間的な制御、ヒトの動きに合わせたインタラクティブな制御・誘起が行われる。空間的な制御においては、振動アクチュエータ・アレイや、空間的な振動分布・パターンを制御する振動モード制御などが用いられ、空間をデジタル的に、もしくは、アナログ的に、空間パターンが制御される。空間的な制御により、抑制効果、強調効果、エッジ効果、模様知覚、均質・不均質さの知覚などの触力覚に関する効果が制御できる。The lower physical stimulation layer is a device / system layer that generates physical stimulation to induce the illusion of tactile force, and generates vibration waveform patterns, and spatial control, interactive control in accordance with human movement. An induction is performed. In spatial control, a vibration actuator array, vibration mode control for controlling spatial vibration distribution and pattern, and the like are used, and the space pattern is controlled digitally or in an analog manner. Spatial control can control haptic effects such as suppression, enhancement, edge effects, pattern perception, and perception of homogeneity and heterogeneity.

知覚・感覚層は、体性感覚における、皮膚感覚と深部感覚での各感覚要素(痛覚、温覚、冷覚、圧覚、触覚、位置覚、運動覚、抵抗覚、重量覚、振動覚など)からなり、各感覚要素を誘起・知覚できるViewer等を用いて確認できる。認知層では、知覚・感覚層のプリミティブな感覚要素を、ヒトの動作に即した形状・質感・機能に合わせてコンテクスト(コンテンツ)を構成したハプティクス・ストーリー(音楽で言うところの楽譜)を記号化・言語化している。体感的に確認しながら、コンテンツのデザインを行うことができる。The sensory and sensory layers are the somatosensory sense elements of the skin and deep senses (such as pain, warmth, cold, pressure, touch, position, motion, resistance, weight and vibration) And can be confirmed using a viewer or the like that can induce and perceive each sensory element. In the cognitive layer, the primitive sensory elements of the sensory and sensory layers are encoded into a haptics story (musical score) in which the context (content) is configured according to the shape, texture, and function according to the human motion.・ It is verbalized. It is possible to design the content while making a physical check.

最上位のデザイン層では、VRやARなどにおけるバーチャルなコンテンツの制作において、CADやイラストレータ、アニメーション制作ツールにおける配色の作業のように、静態のハプティクな属性プロパティに加え、動態モデルや多体インタラクションに合わせたハプティクな属性プロパティを選ぶ事ができる。プロパティは、パラメタの数値で設定してもよいし、三原触モデルからプリセットされた感覚データや、プリセットデータからハプティック・パレット上で合成された感覚データを選択してもよい。At the top-level design layer, in the creation of virtual content in VR, AR, etc., in addition to static and haptic attribute properties, such as CAD, illustrator, and color arrangement work in animation production tools, dynamic models and many-body interaction You can choose the combined haptic attribute property. The property may be set with the numerical value of the parameter, or may be selected from sensory data preset from the three-base tactile model or sensory data synthesized on the haptic palette from the preset data.

ハプティック・パレットは、絵の具のパレットのように、三原触理論(三原触モデル)をもとに、複数の感覚要素から、新たな感覚を合成するツールである。
各層は、モジュール化が可能である。
これらは一例であり、システムとしてモジュール化され、他のモジュール構成からなる階層構造のアーキテクチャ―でもよい。
The haptic palette is a tool for synthesizing a new sense from a plurality of sense elements based on the three-raw touch theory (three-raw touch model), like a paint palette.
Each layer can be modularized.
These are an example and may be modularized as a system, and may be a hierarchical architecture comprising other module configurations.

ハプティク・システム・アーキテクチャーの物理刺激層で生成される波形、および提示される物理刺激は、感覚器官や神経や脳を発火させる刺激であり、振動刺激、運動刺激、電気刺激、力や運動量の変化、機械的や電気的などによって実装される。
知覚・感覚層は、その刺激(例えば、振動波形パターン)と、人が誘起・知覚する感覚との対応関係を表わす、情報空間である。その情報空間は、データ・テーブルで表わされていても、関数や、物質や情報空間、人の記憶・身体や、そのほかの方法でも、対応関係が表現されるものならば特に問わない。
認知層は、意識と無意識の両方及び又は片方において、素材や物質、コンテンツ、コンテクストとしての特徴・属性の理解や情動的・感情的な心理的な情報へと影響・関係する。情動的な気持ちや精神状態ともインタラクティブに関係する。
多体インタラクションでは、複数のデバイス、例えば、左右両手に持ったデバイスでの異なる波形パターン制御によって、左手経由および右手経由で誘起された感覚・錯覚が、脳・神経において融合・合成され、新たな感覚が誘起されるように制御される。また、左右の両手に関わらず、身体の異なる部位においても同様である。空間的な融合に加えて、同じ部位の異なる時間における感覚の融合も、マスキング・前後効果・順序効果などの時間にかかわる効果を介して制御される。
The waveforms generated by the physical stimulation layer of the haptic system architecture, and the physical stimuli presented are stimuli that cause the sense organs, nerves and brain to fire, and vibration stimuli, motor stimuli, electrical stimuli, force and momentum Implemented by change, mechanical or electrical.
The perceptual-sensory layer is an information space that represents the correspondence between the stimulus (for example, the vibration waveform pattern) and the sense that a person induces and perceives. Although the information space is represented by a data table, it does not matter in particular as long as the correspondence is expressed by a function, a substance or information space, a human memory / body, or any other method.
The cognitive layer influences and relates to understanding of material, substance, content, characteristics and attributes as context, and emotional and emotional psychological information, in the conscious and / or unconsciousness. It is interactively related to emotional feelings and mental states.
In many-body interaction, different waveform patterns are controlled by multiple devices, for example, devices held by both left and right hands, sense and illusion induced via the left hand and right hand are fused and synthesized in brain and nerve, and new It is controlled so that a sense is induced. In addition, the same applies to different parts of the body regardless of the left and right hands. In addition to spatial fusion, sensory fusion at different times of the same site is also controlled via time-related effects such as masking, back and forth effects, and sequential effects.

図5は、三原触モデルを用いたハプティック・デザイン・モジュールの概念図を示す。
以下に、デザイン層における、三原触モデルを用いたハプティック・デザイン・モジュールについて説明する。
FIG. 5 shows a conceptual diagram of a haptic design module using the Mihara touch model.
In the following, the haptic design module using the Mihara touch model in the design layer will be described.

三原触モデルにおける三属性は、触相、彩度(方向の明確さ・Sharpness)、強度から構成されている。触相は、圧覚、触覚、力覚から構成される触相空間にマッピングされており、そのマッピングパラメータを調整することで、色パレットと同様に、さまざまな感触、中間的な感触、感触のグラデーション、モーフィングが可能である。これらの三属性や三原触モデルのもととなる、主成分や因子の抽出・選定、因子名の命名(触相、彩度、強度、圧覚、触覚、力覚、等)は、任意に行うことができるため、これら以外の因子や命名を用いても良い。Three attributes in the three-base tactile model are composed of tactile phase, saturation (sharpness of direction), and intensity. The tactile phase is mapped to a tactile phase space consisting of pressure, touch, and force senses, and by adjusting the mapping parameters, as with the color palette, various touch, intermediate touch, and touch gradations are obtained. , Morphing is possible. Extraction and selection of principal components and factors, and naming of factor names (tactile phase, saturation, intensity, pressure sense, touch sense, force sense, etc.), which are the basis of these three attributes and three source models, are optionally performed. It is also possible to use other factors or nomenclature because they can be used.

刺激として無限の波形パターンが存在し、その刺激によって誘起される感覚が、人が知覚・認知する特性を示す感覚空間にマッピングされる。刺激は物理量で表わされた物理空間であり、ハプティクスの感覚空間は、人や評価モデルによって主観的及び又は客観的に評価された感覚量によってマッピングされた情報空間である。そのため、ある感覚量に対応する刺激(波形パターン)は無数に存在する。そして、感覚空間を構成する感覚要素や因子を表わす言葉の選び方も無数にある。一例として、その因子を3つとし、X、Y、Zとする。また、Xを周波数、Yを加速度としてもよい。もしくは、Xを波数、中心周波数、Yを加速・減速、加速度感、推進度、打撃度としてもよい。因子の数は、1つの因子でも、2以上の因子数でもよく、因子数や因子名は、モデルに関係・依存し、任意に設定できる。波形パターンは、周波数だけでは、その特性を語る(表現する)ことができない。三原触モデルにおけるアルゴリズムとは、このようなデータの集まりによって表現される情報空間である。There is an infinite waveform pattern as a stimulus, and the sensation induced by the stimulus is mapped to a sensory space that exhibits characteristics perceived and perceived by a person. A stimulus is a physical space represented by physical quantities, and a haptic space of haptics is an information space mapped by sensory quantities evaluated subjectively and / or objectively by a person or an evaluation model. Therefore, there are innumerable stimuli (waveform patterns) corresponding to a certain sense amount. And there are innumerable ways to choose words that express the sense elements and factors that make up the sense space. As an example, let the factors be three, X, Y, Z. Also, X may be a frequency and Y may be an acceleration. Alternatively, X may be wave number, center frequency, Y may be acceleration / deceleration, acceleration feeling, propulsive degree, degree of impact. The number of factors may be one factor or two or more factors, and the number of factors and factor names depend on the model and can be set arbitrarily. The waveform pattern can not speak (express) its characteristics by frequency alone. An algorithm in the three-dimensional tactile model is an information space represented by a collection of such data.

触相の圧覚、触覚、力覚は、振動波形のパターンの制御によって実装されており、触力覚や錯触力覚の感覚要素(感触・触感など)を誘起・提示される。波形パターンは、皮膚への運動量・刺激の変化を通して、各感覚受容器の発火、神経系、脳における情報処理に関わる。その波形パターンの分類方法は感覚因子の解釈・命名によってさまざまに考えられる。そのひとつである圧覚、触覚、力覚の三原触理論(三原触モデル)において、周波数・加速度空間にマッピングする場合を図5に示す。The tactile sense of pressure, sense of touch and force sense of the tactile phase are implemented by controlling the pattern of the vibration waveform, and are induced and presented with sense factors (feel, sense of touch etc.) of sense of sense of force and sense of illusion. The waveform pattern relates to the firing of each sensory receptor, information processing in the nervous system, and the brain through changes in the amount of movement and stimulation to the skin. Classification methods of the waveform pattern can be considered variously by interpretation and naming of sense factors. FIG. 5 shows the case of mapping in the frequency and acceleration space in one of the three haptic theory of three senses of haptics (tactile sense, haptic sense, and haptic sense).

図5において、彩度は、力の方向性や感触のクリアさ、シャープネスを意味し、波形パターンによって誘起される感覚量に対する主観評価の評価強度によって、数量化される。
強度は、振幅の大きさに加え、波形パターンによって誘起される感覚量に対する主観評価の評価強度によって、数量化される。
触相、彩度、強度は、生理・心理・物理実験による、主観的評価実験、生理的評価実験により、数値化され、三原触モデルが数値テーブル化(データベース化)、もしくは、関数化される。
In FIG. 5, the saturation means the directionality of force, the clearness of touch, and the sharpness, and is quantified by the evaluation strength of the subjective evaluation for the amount of sensation induced by the waveform pattern.
The strength is quantified by the evaluation strength of the subjective evaluation for the sense quantity induced by the waveform pattern in addition to the magnitude of the amplitude.
The tactile phase, saturation, and intensity are quantified by subjective evaluation experiment and physiological evaluation experiment by physio-psychological-physical experiments, and three-base tactile model is made into a numerical table (databaseization) or function .

以上のデバイス、アルゴリズム、アーキテクチャ―は、錯触力覚以外の、例えば、従来型の触力覚においても有用・有効であり、利用することができる。
力覚・圧覚・触覚は、対象の感覚要素に関する主成分・因子などの分析やモデリング、仮説をもとに抽出・命名される物であり、別の因子や命名でもよい。
The above-described devices, algorithms, and architectures are useful and effective for use in conventional haptics other than illusionary haptics, for example.
Force sense, pressure sense, and touch sense are analysis and modeling such as principal components and factors related to sense elements of a subject, are extracted and named based on hypotheses, and may be other factors or naming.

電機・電子機器、情報処理装置、医療機器、玩具、ゲーム機器Electrical and electronic devices, information processing devices, medical devices, toys, game devices

錯触力覚デバイス10
錯触力覚誘起装置12
ハプティクスCPU14
記憶素子16
錯触力覚誘起生成装置18
アクティブタッチ装置19
入力装置20
出力装置22
触力覚アクチュエータ24
Illusionary force sense device 10
Illusion of tactile force 12
Haptics CPU 14
Memory element 16
Illusion of tactile sensation 18
Active touch device 19
Input device 20
Output device 22
Haptic actuator 24

Claims (6)

外部からの情報を入力する入力装置と、錯触力覚誘起装置を備え、該錯触力覚誘起装置は、ハプティクスCPU14と、錯触力覚誘起関数を生成するプログラムを備える記憶素子16と、プログラムに従ってCPU14を駆動して非線形特性を備える誘起された錯触力覚を生成する錯触力覚誘起生成装置12とを備え、前記生成された錯触力覚を備える情報を出力する出力装置とを備え、前記錯触力覚誘起生成装置は、基本波形生成を基に錯触力覚誘起要素波形を生成し、該錯触力覚誘起要素波形を変調、加工、及び編集して該錯触力覚誘起駆動波形を生成してなる錯触力覚デバイス。An input device for inputting information from the outside, and an illusionary tactile force sense induction device, the illusionary tactile force sense induction device comprising a haptics CPU 14 and a storage element 16 provided with a program for generating an illusionary tactile force sense induction function; An output device for outputting information including the generated illusion of haptic information, comprising: an illusion of haptic force induction generating device 12 for driving the CPU 14 according to a program to generate an induced illusion of tactile force having nonlinear characteristics; And the illusionary haptic force induction generating device generates an illusionary haptic force induction element waveform based on the basic waveform generation, and modulates, processes, and edits the illusionary haptic force induction element waveform An illusionary tactile force sense device formed by generating a force sense induced drive waveform. 前記錯触力覚デバイスは、CMOS構造及び又はBiCMOS構造を備えることを特徴とする請求項1記載の錯触力覚デバイス。The illusionary tactile force sense device according to claim 1, wherein the illusionary force haptic device comprises a CMOS structure and / or a BiCMOS structure. 前記入力装置は、サンプリング波形、圧覚情報、触覚情報、力覚情報、プリセット情報、状態情報、及びフィードバック情報を入力することを特徴とする請求項1記載の錯触力覚デバイス。The illusionary tactile force sense device according to claim 1, wherein the input device inputs a sampling waveform, pressure information, tactile information, force sense information, preset information, state information, and feedback information. 前記出力装置は、1チャネル当たり1自由度以上の駆動波形を出力することを特徴とする請求項1記載の錯触力覚デバイス。The illusionary tactile force sense device according to claim 1, wherein the output device outputs a drive waveform having one or more degrees of freedom per channel. 前記錯触力覚デバイスは、感覚量を提示することを特徴とする請求項1記載の錯触力覚デバイス。The illusionary tactile force sense device according to claim 1, wherein the illusionary force tactile sense device presents a sense amount. 前記感覚量は、振動の波形パターン及び又は振動の周波数の制御によって提示されることを特徴とする請求項5記載の錯触力覚デバイス。The illusionary tactile force sense device according to claim 5, wherein the sensory quantity is presented by control of a waveform pattern of vibration and / or a frequency of vibration.
JP2017238126A 2017-09-25 2017-11-25 Illusory haptic device Active JP7174337B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017198865 2017-09-25
JP2017198865 2017-09-25

Publications (2)

Publication Number Publication Date
JP2019060835A true JP2019060835A (en) 2019-04-18
JP7174337B2 JP7174337B2 (en) 2022-11-17

Family

ID=66176586

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017238126A Active JP7174337B2 (en) 2017-09-25 2017-11-25 Illusory haptic device

Country Status (1)

Country Link
JP (1) JP7174337B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021024586A1 (en) 2019-08-05 2021-02-11 川崎重工業株式会社 Control device, control system, robot system, and control method
JP2021022006A (en) * 2019-07-24 2021-02-18 トヨタ紡織株式会社 Information processing device
WO2022075136A1 (en) * 2020-10-07 2022-04-14 株式会社村田製作所 Signal generation device, signal generation method, and signal generation program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013145589A (en) * 2007-09-14 2013-07-25 National Institute Of Advanced Industrial & Technology Virtual reality environment creating device and controller device
JP2015512545A (en) * 2013-01-06 2015-04-27 インテル コーポレイション Method, apparatus, and system for distributed preprocessing of touch data and display area control
WO2016031118A1 (en) * 2014-08-29 2016-03-03 ソニー株式会社 Force display device, force display system, and force display method
JP2017073101A (en) * 2015-10-05 2017-04-13 株式会社ミライセンス Tactile and force information providing system
JP2017522625A (en) * 2015-06-26 2017-08-10 サビック グローバル テクノロジーズ ビー.ブイ. Integrated piezoelectric cantilever actuator transistor for touch input and tactile feedback applications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013145589A (en) * 2007-09-14 2013-07-25 National Institute Of Advanced Industrial & Technology Virtual reality environment creating device and controller device
JP2015512545A (en) * 2013-01-06 2015-04-27 インテル コーポレイション Method, apparatus, and system for distributed preprocessing of touch data and display area control
WO2016031118A1 (en) * 2014-08-29 2016-03-03 ソニー株式会社 Force display device, force display system, and force display method
JP2017522625A (en) * 2015-06-26 2017-08-10 サビック グローバル テクノロジーズ ビー.ブイ. Integrated piezoelectric cantilever actuator transistor for touch input and tactile feedback applications
JP2017073101A (en) * 2015-10-05 2017-04-13 株式会社ミライセンス Tactile and force information providing system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021022006A (en) * 2019-07-24 2021-02-18 トヨタ紡織株式会社 Information processing device
JP7337579B2 (en) 2019-07-24 2023-09-04 トヨタ紡織株式会社 Information processing equipment
WO2021024586A1 (en) 2019-08-05 2021-02-11 川崎重工業株式会社 Control device, control system, robot system, and control method
WO2022075136A1 (en) * 2020-10-07 2022-04-14 株式会社村田製作所 Signal generation device, signal generation method, and signal generation program

Also Published As

Publication number Publication date
JP7174337B2 (en) 2022-11-17

Similar Documents

Publication Publication Date Title
JP7169590B2 (en) Method for inducing illusionary tactile force sense and device for inducing illusionary tactile force sense
Yohanan et al. Design and assessment of the haptic creature's affect display
Eid et al. Affective haptics: Current research and future directions
Israr et al. Tactile brush: drawing on skin with a tactile grid display
Germani et al. Electro-tactile device for material texture simulation
JP7174337B2 (en) Illusory haptic device
CN112734946B (en) Vocal music performance teaching method and system
CN103823551A (en) System and method for realizing multidimensional perception of virtual interaction
Sabinson et al. Plant-human embodied biofeedback (pheB): a soft robotic surface for emotion regulation in confined physical space
Adilkhanov et al. Vibero: Vibrotactile stiffness perception interface for virtual reality
Brooks Soundscapes: the evolution of a concept, apparatus and method where ludic engagement in virtual interactive space is a supplemental tool for therapeutic motivation
Kawazoe et al. Tactile echoes: Multisensory augmented reality for the hand
Bomba et al. Somacoustics: Interactive Body-as-Instrument.
Dix et al. TouchIT: Understanding Design in a Physical-Digital World
Zuanon Bio-Interfaces: designing wearable devices to organic interactions
Kang et al. Personal sensory VR interface utilizing wearable technology
Eid et al. Soa thresholds for the perception of discrete/continuous tactile stimulation
Cho et al. Real-time 3D fluid simulation digital art using BCI
Grierson et al. NoiseBear: A wireless malleable instrument designed in participation with disabled children
Craig Adaptive audio engine for EEG-based horror game
Oldis Animating Dreams and Future Dream Recording
Kruijff Unconventional 3D user interfaces for virtual environments
Frier Rendering spatiotemporal mid-air tactile patterns
Zagalo et al. Character emotion experience in virtual environments
Selan Exploring the method of hypothetical artwork modelling: Case of the primary colours fallacy

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200410

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200903

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221020

R150 Certificate of patent or registration of utility model

Ref document number: 7174337

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150