CN108885500A - 触觉信息转换装置、触觉信息转换方法、及触觉信息转换程序 - Google Patents

触觉信息转换装置、触觉信息转换方法、及触觉信息转换程序 Download PDF

Info

Publication number
CN108885500A
CN108885500A CN201780021222.3A CN201780021222A CN108885500A CN 108885500 A CN108885500 A CN 108885500A CN 201780021222 A CN201780021222 A CN 201780021222A CN 108885500 A CN108885500 A CN 108885500A
Authority
CN
China
Prior art keywords
sense
tactile data
touch
tactile
data conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780021222.3A
Other languages
English (en)
Inventor
馆进
仲谷正史
佐藤克成
南泽孝太
梶本裕之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
Original Assignee
Japan Science and Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Agency filed Critical Japan Science and Technology Agency
Publication of CN108885500A publication Critical patent/CN108885500A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/02Hand grip control means
    • B25J13/025Hand grip control means comprising haptic means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • B25J13/084Tactile sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543Mice or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03KPULSE TECHNIQUE
    • H03K17/00Electronic switching or gating, i.e. not by contact-making and –breaking
    • H03K17/94Electronic switching or gating, i.e. not by contact-making and –breaking characterised by the way in which the control signals are generated
    • H03K17/96Touch switches
    • H03K17/9618Touch switches using a plurality of detectors, e.g. keyboard
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03KPULSE TECHNIQUE
    • H03K2217/00Indexing scheme related to electronic switching or gating, i.e. not by contact-making or -breaking covered by H03K17/00
    • H03K2217/94Indexing scheme related to electronic switching or gating, i.e. not by contact-making or -breaking covered by H03K17/00 characterised by the way in which the control signal is generated
    • H03K2217/96Touch switches
    • H03K2217/96062Touch switches with tactile or haptic feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)

Abstract

本发明特征在于,为了向能够输出包含电力、力、温度、振动及/或时空的物理量的输出部侧提供触觉信息,根据作为提示目的的触感,选择物理量中的至少两个以上的多个物理量,并且基于选择的物理量,生成用于提示规定的触感的触觉信息,将生成的触觉信息向输出部侧输出。

Description

触觉信息转换装置、触觉信息转换方法、及触觉信息转换程序
技术领域
本发明涉及触觉信息转换装置、触觉信息转换方法及触觉信息转换程序。
背景技术
以往,开发出对于现实或假想的物体向使用者提示触觉的触觉提示器件。
例如,在专利文献1中,公开了一种笔型的力觉提示装置,在使用者把持时指尖接触的可动部处,进行往复移动、摆动、倾斜移动、旋转等动作,由此向指尖提示本体感受。
另外,在非专利文献1中,公开了以压力、振动、温度为要素触觉来生成触觉映射,合成这些要素触觉来提示任意的触觉的触觉提示装置。
另外,在非专利文献2中,公开了在实际环境下的指描动作时,使设置于指甲侧的振子振动,来提示假想性的凹凸感的技术。
在先技术文献
专利文献
专利文献1:日本特开2010-287221号公报
非专利文献
非专利文献1:近井学“新的触角提示装置的研究”长冈技术科学大学博士论文,国立大学法人长冈技术科学大学,2014年3月25日,13102甲第702号,URL:http://hdl.handle.net/10649/719
非专利文献2:安藤英由树、渡边淳司、稻見昌彦、杉本麻树、前田太郎“AugmentedReality用的指甲佩戴型触觉显示器的研究”,电子信息通信学会论文志,电子信息通信学会,2004年11月1日,Vol.J87-D2,No.11,pp.2025-2033
发明内容
发明的概要
发明要解决的问题
然而,以往的触觉提示器件是为了提示各个触感而特殊化的特定的技术,存在例如无法将由拟声表现那样的任意的触感选择输出这样的问题。
例如,在专利文献1中,虽然通过往复移动、摆动、倾斜移动、旋转等动作能够提示本体感受,但是在它们的组合中,存在无法提示多样的皮肤感觉或触感这样的问题点。而且,在非专利文献1中,虽然以压力、温度、振动这3轴生成触觉映射而想要提示任意的触觉,但是在它们的组合中,存在提示黏糊感或软粘感等触感的情况在原理上无法实现的问题。而且,在非专利文献2中,虽然在物体的指描时从指甲上施加振动刺激,由此使指腹部生成适当的冲激刺激而能够使凹凸的边缘感觉再现,但是其为使皮肤触觉信息中的凹凸感特殊化的提示方法,存在无法提示多样的触感的问题点。
本发明是鉴于上述的问题点而做出,提供一种对任意的触感进行提示或传感而能够通用地使用的触觉信息转换装置、触觉信息转换方法、及触觉信息转换程序。
用于解决问题的方案
为了实现这样的目的,本发明的触觉信息转换装置为了向输出部侧提供触觉信息而至少具备控制部,所述输出部侧能够输出至少包含电力并包含力、温度、振动及/或时空的物理量,所述触觉信息转换装置的其特征在于,所述控制部具备:生成部,其根据作为提示目的的触感,选择所述物理量中的至少两个以上的多个物理量,基于选择的物理量,生成用于提示规定的所述触感的触觉信息;及输出控制部,其将通过所述生成部生成的所述触觉信息向所述输出部侧输出。
另外,本发明的触觉信息转换装置以上述的触觉信息转换装置为基础,其特征在于,所述物理量中的电力的输出是接触感受器的电刺激提示。
另外,本发明的触觉信息转换装置以上述的触觉信息转换装置为基础,其特征在于,所述触感是心理质感。
另外,本发明的触觉信息转换装置以上述的触觉信息转换装置为基础,其特征在于,所述生成部在提示基于力的时间变化的触感时,至少选择电力及时空的所述物理量,并基于选择的物理量,生成用于提示规定的所述触感的触觉信息。
另外,本发明的触觉信息转换装置以上述的触觉信息转换装置为基础,其特征在于,所述生成部在从非接触状态向接触状态的转变过程或身体的位移过程中,以施加比硬表面时强的电力、力或振动的刺激、或者比硬表面时大面积的电力、力或振动的刺激的方式生成所述触觉信息,所述输出控制部基于由所述生成部生成的所述触觉信息,来提示柔软的心理质感。
另外,本发明的触觉信息转换装置以上述的触觉信息转换装置为基础,其特征在于,所述生成部在从接触状态向非接触状态的转变过程或身体的位移过程中,以施加比硬表面时强的电力、力或振动的刺激、或者比硬表面时大面积的电力、力或振动的刺激的方式生成所述触觉信息,所述输出控制部基于由所述生成部生成的所述触觉信息,来提示发粘的心理质感。
另外,本发明的触觉信息转换装置以上述的触觉信息转换装置为基础,其特征在于,所述身体是手指。
另外,本发明的触觉信息转换装置以上述的触觉信息转换装置为基础,其特征在于,所述心理质感是根据由人体的多个不同的触觉感受器得到的信息而在脑内汇总认知的心理量。
另外,本发明的输入装置的特征在于,具备上述的触觉信息转换装置。
另外,本发明的输入装置以上述的输入装置为基础,其特征在于,在表层至少具备多点分布型压觉计测传感器,在中间层至少具备温冷感计测传感器,在下层至少具备振动感计测传感器。
另外,本发明的发送装置的特征在于,具备上述的触觉信息转换装置。
另外,本发明的存储装置的特征在于,具备上述的触觉信息转换装置。
另外,本发明的服务器装置的特征在于,具备上述的触觉信息转换装置。
另外,本发明的接收装置的特征在于,具备上述的触觉信息转换装置。
另外,本发明的输出装置的特征在于,具备上述的触觉信息转换装置。
另外,本发明的输出装置以上述的输出装置为基础,其特征在于,在表层至少具备基于多点电触觉刺激的分布型压力提示部,在中间层至少具备基于珀耳帖元件的高速驱动型温冷感提示部,在下层至少具备宽频带的振动提示部。
另外,本发明的交互式操作系统具备上述的触觉信息转换装置,使用由操作者操作的机器人示教装置向机器人示教动作,其特征在于,所述机器人具有:手指部,其用于把持物体;物体检测部,其配置于所述手指部,检测所述物体或所述物体的性状,生成物体检测信息;及机器人驱动装置,其使所述机器人驱动,所述机器人示教装置具有物体检测感觉提供部,该物体检测感觉提供部基于从所述机器人传送来的所述物体检测信息,根据由所述触觉信息转换装置转换后的触觉信息,向所述操作者提供对应的触感。
另外,本发明的触觉提示方法在触觉信息转换装置中被执行,该触觉信息转换装置为了向输出部侧提供触觉信息而至少具备控制部,所述输出部侧能够输出至少包含电力并包含力、温度、振动及/或时空的物理量,所述触觉信息转换方法的特征在于,包括在所述控制部被执行的生成步骤和输出控制步骤,在所述生成步骤中,根据作为提示目的的触感,选择所述物理量中的至少两个以上的多个物理量,并基于选择的物理量,生成用于提示规定的所述触感的触觉信息,在所述输出控制步骤中,将通过所述生成步骤生成的所述触觉信息向所述输出部侧输出。
另外,本发明的触觉信息转换程序是为了向输出部侧提供触觉信息而用于使计算机执行的程序,所述输出部侧能够输出至少包含电力并包含力、温度、振动及/或时空的物理量,所述触觉信息转换程序的其特征在于,所述触觉信息转换程序用于使计算机执行:根据作为提示目的的触感,选择所述物理量中的至少两个以上的多个物理量,并基于选择的物理量,生成用于提示规定的所述触感的触觉信息的生成步骤;及将通过所述生成步骤生成的所述触觉信息向所述输出部侧输出的输出控制步骤。
另外,本发明的触觉信息转换装置为了向输出部侧提供触觉信息而至少具备控制部,所述输出部侧能够输出包含电力、力、温度、振动及/或时空的物理量,所述触觉信息转换装置的其特征在于,所述控制部具备:生成部,其根据作为提示目的的触感,选择所述物理量中的至少一个物理量,基于选择的物理量,生成用于提示规定的所述触感的触觉信息;及输出控制部,其将通过所述生成部生成的所述触觉信息向所述输出部侧输出,所述生成部根据作为所述提示目的的触感,与基于力的粗糙/平滑轴、基于振动的软硬轴、及基于温度的干湿轴中的至少两轴建立对应地选择所述物理量。
另外,本发明的触觉信息转换装置以上述的触觉信息转换装置为基础,其特征在于,所述生成部对于触感已知的样品,通过将由所述检测部检测到的所述物理量和该触感与所述至少两轴的映射建立对应地进行更新来进行学习。
另外,本发明的触觉信息转换装置为了得到触觉信息,至少具备检测部和控制部,其特征在于,所述检测部能够检测包含力、温度、振动及/或时空的物理量,所述控制部基于由所述检测部检测到的所述物理量,与基于力的粗糙/平滑轴、基于振动的软硬轴、及基于温度的干湿轴中的至少两轴建立对应,由此获取用于提示对应的触感的所述触觉信息。
另外,本发明的触觉信息转换装置以上述的触觉信息转换装置为基础,其特征在于,所述控制部对于触感已知的样品,通过更新将由所述检测部检测到的所述物理量与该触感建立了对应的所述至少两轴的映射来进行学习。
发明效果
通过本发明,能够获取如下效果:根据作为提示目的的触感,以至少包含电力并包含力、温度、振动及/或时空的物理量为基础来生成触觉信息,为了向能够输出的输出部侧提供触觉信息,而输出所生成的触觉信息,因此起到能够提示任意的触感而通用地使用。特别是起到如下效果:能够提示在基于驱动部的往复移动或旋转运动等中无法再现的皮肤感觉,或通过压力、温度、振动无法再现的软粘感或黏糊感等心理质感等多样的触感。
另外,通过本发明,根据作为提示目的的触感,以包含电力、力、温度、振动及/或时空的物理量为基础来生成触觉信息时,为了向能够输出的输出部侧提供触觉信息,根据作为提示目的的触感,与基于力的粗糙/平滑轴、基于振动的软硬轴、及基于温度的干湿轴中的至少两轴建立对应地选择物理量,因此起到能够提示例如拟声地图上的各种任意的触感而通用地使用这样的效果。而且,反之通过将输出与输入替换,基于检测部的物理量,与基于力的粗糙/平滑轴、基于振动的软硬轴、及基于温度的干湿轴中的至少两轴建立对应,由此也能够传感例如拟声地图上的各种触感。
附图说明
图1是表示使手指接触而在物体上滑动或者静止而分离时的各细胞的反应的示意图。
图2是示意性地表示将“力”、“振动”及“温度”这3基础合成而对生理空间的触觉7基础进行刺激的第二方法的图。
图3是表示在粗度轴、硬度轴、湿润轴这3轴的映射中定位有各种拟声的心理质感映射的一例的图。
图4是在物理空间中,示意性地表示基于“力”、“振动”、“温度”、及“电力”这4基础进行合成,使心理空间的各种触感再现的本实施方式的方法的图。
图5是表示包含本发明的实施方式的触觉信息转换装置的触感提示系统的结构的一例的框图。
图6是表示基于触觉基色原理的一体型触觉计测模块的结构的立体图。
图7是表示基于触觉基色原理的一体型触觉传送模块的结构的立体图。
图8是表示基于幻觉错觉的感觉点的图。
图9是表示本申请发明者们开发的上述的称为TELESAR V的远程存在感机器人的手指佩戴型传感器/致动器的外观的图。
图10是表示本申请发明者们开发的上述的称为TELESAR V的远程存在感机器人的手指佩戴型传感器/致动器的佩戴时的外观的图。
图11是表示本实施方式的触感提示系统的触觉信息转换处理的一例的流程图。
图12是表示本实施方式的触感提示系统的触觉信息转换装置100的多点刺激处理的一例的流程图。
图13是表示本实施方式的触感提示系统的远距离触感传送处理的一例的流程图。
图14是表示基于通过机械学习等而获取的范畴信息的转换表格等,将传感器等的输入信息分类成触感范畴信息,基于分类的触感范畴信息,将多个物理量合成而进行提示输出时的功能概念结构的图。
图15是示意性地表示触碰了硬表面、软表面、粘表面时的接触面或压力的变化的图。
图16是示意性地表示触碰了硬表面、软表面、粘表面时产生了大变形的情况的接触面或压力的变化的图。
图17是表示相对于手指的位移量的硬表面、软表面、粘表面的接触面积的变化的图。
图18是从指尖侧示意性地表示本实施例1的实验1中使用的实验装置的结构的图。
图19是表示将本实施例1的实验1中使用的实验装置向手指佩戴之前的状态和佩戴后的状态的照片图。
图20是表示在本实施例1的实验1中,为了提示柔软感而使用的实验条件(按压(Press)条件)的图。
图21是表示在本实施例1的实验1中,为了提示粘着感而使用的实验条件(放开(Release)条件)的图。
图22是表示本实施例1的实验1的主观评价实验结果的图。
图23是表示将本实施例1的实验2中使用的实验装置佩戴于手指的状态的照片图。
图24是表示本实施例1的实验2的实验条件(按压条件)的图。
图25是表示本实施例1的实验例2的实验条件(放开条件)的图。
图26是表示本实施例1的实验2的主观评价实验结果的图。
图27是表示将电刺激矩阵与机械刺激矩阵组合后的高密度提示器件的结构例的图。
图28是表示上述的拟声地图(图3)的实施例1(轴1)的范围的图。
图29是表示由水平方向的阻力表示的触感表现的范围的图。
图30是表示实验使用的器件的图。实验器件等的详情内容请参照在先见解(Kajimoto,et al.1999,Sato et al.2010)。
图31是表示“粗涩感”“不平感”“干涩感”的再现实验的结果的图。
图32是表示通过阻力和温度而再现的触觉表现的范围的图。
图33是表示实验使用的器件和振动波形的图。
图34是表示“光滑”“光溜”“滑润”“滑腻”的再现实验的结果的图。
图35是对表示心理空间的拟声地图和由力、振动、温度这3轴表示的物理空间的刺激映射进行表示的图。
图36是表示本实施例2的实验装置(珀耳帖元件)的结构的图。
图37是表示本实施例2的实验环境和珀耳帖元件的佩戴例的图。
图38是示意性地表示从指尖侧观察手指时的施加温度刺激(Thermal stimulus)的位置的图。
图39是表示本实施例2的实验结果的坐标图。
图40是表示本实施例2的实验2的实验装置的图。
图41是示意性地表示从指尖侧观察手指时的施加温度刺激(Thermal stimulus)的位置的图。
图42是表示温刺激时的本实施例2的实验2的实验结果的坐标图。
图43是表示冷刺激时的本实施例2的实验2的实验结果的坐标图。
图44是通过本实验3(a.接触的有无+温度刺激)而表示对于接触的温度感觉的偏差的图。
图45是通过本实验3(b.振动刺激的有无+温度刺激)而表示对于振动的温度感觉的偏差的图。
具体实施方式
以下,基于附图,详细说明本发明的本实施方式的触觉信息转换装置、触觉信息转换方法、及触觉信息转换程序、以及记录介质的实施方式。需要说明的是,没有通过该实施方式来限定本发明。例如,在以下的实施方式中,虽然关于与传感器等输入部或输出触觉刺激等的输出部连接的例子而说明本发明的触觉信息转换装置的功能,但是本发明并不局限于此,例如可以构成作为与输入部或输出部不直接连接的独立的服务器装置等功能。除此之外,也可以将本发明构成作为输入装置、发送装置、存储装置、接收装置或输出装置等的一部分,或者作为设置在这些装置间的转换装置。
[本实施方式的概要]
以下,为了说明本发明的实施方式的概要,首先说明设计本发明的实施方式的背景及概要,然后,详细说明本实施方式的结构及处理等。需要说明的是,本实施方式的概要表示设计本发明的实施方式的背景及概要,没有限定本发明。
作为设计了本发明的实施方式的背景,以往,已知人类的感觉分为“特殊感觉”和“体性感觉”。特殊感觉(specific sensation)如果为视觉则是指眼球,如果为听觉则是指耳朵等那样对应的特别的感觉器存在的感觉。例如,“加速度”这样的感觉在对应于耳朵,特别是耳朵中的作为前庭的三半规管、椭圆囊、球曩这样的感觉器的意思下被分类成特殊感觉。
另一方面,体性感觉(somatic sensation)是体节性的感觉这样的意思,大致划分的话,分为由皮肤得来的皮肤感觉(cutaneous sensation)和由内部的肌肉或腱得来的姿势或运动的感觉即本体感受(proprioception)。需要说明的是,本体感受也称为自己感受感觉。
广义的“触觉”是指上述皮肤感觉和本体感受这样的体性感觉的整体,在本实施方式中称为“触觉”时是指广义的触觉。需要说明的是,狭义的“触觉”本来仅是指包含温、冷、痛等多样的感觉的皮肤感觉中的接触觉或压觉。该接触觉或压觉对应于处于皮肤之中的默克尔细胞、梅斯纳氏小体、环层小体或鲁菲尼终末等感觉器。并且,在皮肤整体凹陷或被拉拽的情况下,该变形或振动向感觉器传递而产生感觉。
另外,所谓主动的触觉为,通过自身使身体移动并接触,从而不仅是皮肤被刺激而引起的、还有肌肉的肌梭、腱的高尔基感受体等感觉感受器被刺激而引起的本体感受的汇总的感觉。因此,广义上的触觉可以称为,不仅包括与一个感觉器对应的是否接触这样的单纯的感觉,而且连本体感受也包含在内的大范围的感觉的汇总。作为一例,说明人类通过广义的触觉来识别某物体,例如铁球的过程。首先通过接触而人类获知形状,但不是直接用手指触摸,而是在手指戴上厚的手套,即使经由其来触摸铁球,根据臂、手、手指的关节如何移动,成为什么样的形态的信息,能够推测为“球”。如据此也能够推测那样,大致的形状的识别不仅通过皮肤,也通过肌梭或高尔基感受器等本体感受。而且,除了大致的形状之外,由本体感受也能得来感觉到硬度或弹簧那样的斥力,或者在水中挥动手臂时的阻力感等感觉等。
皮肤感觉是识别更细的称为“纹理”(质感)的表面的细微的形状图案的感觉。该感觉在戴上厚手套的状态下不会产生,通过皮肤直接接触的情况至关重要。该感觉通过前述的主动的触觉而识别精度进一步提高。需要说明的是,该固有感受和皮肤感觉成为一体的伴随运动的触觉称为触觉学(触运动感觉:haptic perception,haptics)。仅通过持有并接触的话,虽然无法判别为铁,但是能够识别为其大概为金属是因为除了纹理之外,也受到感觉到温冷的皮肤感觉的影响大。需要说明的是,在以下的本实施方式的说明中,触觉虽然特别是指皮肤感觉,但是并不局限于此,也可以包括本体感受。
人类为了传达直接通过手指的表面触摸某物体时的感觉,如果在人类的手指的表面不使与实际的物体完全相同的物体再现,则难以将触觉作为媒介来处理。例如,在视觉的情况下,即使物体的颜色与实际的光谱不同,只要人类的分别担任RGB的3原色的锥体细胞进行相同的灼烧,就能观察为相同颜色,因此使用该原理而在目前的电视机或彩色照片或彩色的印刷物中应用。
本申请发明者们考虑了如果与光的三原色同样,关于触觉也存在触觉基色的话,则与视觉的情况同样地应该能够对触觉进行信息媒介化的情况。作为验证触觉基色存在的事实,在人类的触觉中,列举了明确地不同的种类的皮肤感觉器存在的情况。即,与和3原色对应的RGB的锥体细胞同样地,在触觉中也存在与触觉基色对应的默克尔细胞、梅斯纳氏小体、环层小体、鲁菲尼终末等。而且,也存在对温冷痛进行反应的自由神经末梢。作为以往的神经生理学研究的成果,已知有默克尔细胞和鲁菲尼终末检测压力和剪切力,梅斯纳氏小体检测低频振动,环层小体检测高频振动的情况。在此,图1是表示使手指接触而在物体上滑动,或者静止而分离时的各细胞的反应的示意图。横轴是时间,关于各细胞而纵轴表示激励状态。
如图1所示,在与物体接触时,默克尔细胞检测压力,梅斯纳氏小体检测低频振动,环层小体检测高频振动,由此通过默克尔细胞意指位移,通过梅斯纳氏小体意指速度,通过环层小体意指加速度而能够感觉。并不局限于图示那样的平坦面,在实际物体中,存在凹凸形状、摩擦、热、弹性这样较多的物理特性。如果考察产生皮肤感觉的状况,则触摸物体时,在皮肤表面产生力、振动、温度变化等,其向皮肤的内侧传递,上述的感觉器进行反应而产生触觉。因此,本申请发明者们考虑到无论物体的凹凸形状、摩擦、热、弹性这样的物理特性如何,只要能够使各感觉器产生与触摸该物体时同样的反应,就如同触摸实际的物体那样使人类产生相同的触觉。即,本申请发明者们考虑到,如果触觉也与视觉同样地使与触觉基色对应的细胞反应,则不用使实际物体再现并提示,仅使其触觉再现就能够与视觉同样地设为信息媒介。
这种情况下,为了使感觉器产生相同的灼烧而大体存在两个方法。第一方法是对于生理空间求出基础,通过电刺激使成为基础的感觉器其本身选择性地灼烧的方法。在此,在本实施方式中,“基础”是指结构单位或要素。将电极埋入于全部的感觉器的场所而进行刺激这样的侵袭性的方法不实用,因此可考虑来自皮肤表面的经皮电刺激且选择性地刺激感觉器(例如接触感受器)的方法(例如参照本申请发明者的日本专利第3543097号)。该方法由本申请发明者开发,例如通过阳极刺激而能够仅对梅斯纳氏小体进行选择刺激,通过阴极的电刺激而经由皮肤电极对默克尔细胞进行刺激,能够传达类似于压觉的感觉。然而,存在无法选择性地刺激环层小体,而且,也无法选择性地刺激温冷的问题。而且,反之即便是本来不产生痛感的刺激,通过电刺激而有时也伴有痛感。因此,第一方法作为直接选择性地刺激成为生理空间的基础的细胞的方法,未达到给予通用性的刺激的程度。
第二方法是与以视觉的RGB为基础的方法等价的方法,是通过物理空间选择基础的方式。在此,图2是示意性地表示将“力”、“振动”及“温度”这3基础合成而刺激生理空间的触觉7基础的第二方法的图。由于默克尔细胞和鲁菲尼终末对压力和剪切力进行响应、梅斯纳氏小体对低频振动进行响应、环层小体对高频振动进行响应、自由神经末梢对温、冷、痛进行响应,因此,即使实际上未触摸也能够同样地提示触摸实际物体时的人类的皮肤表面的压力和剪切力、即作为向量力的“力”、从低频至高频的“振动”、“温度”,则人类得到与实际相同的感觉。关于力或振动等由于人类的主动的运动而变化的情况较多,但是这种情况下只要追随人类的移动而再现即可。这可以称为与如下方式类似的方式:在视觉中,不使光的全部的光谱再现,仅以与RGB对应的光谱为基础而使用,通过基于该基础的合成,使几乎全部的视觉信息再现。即,本申请发明者考虑到不是将物体具有的凹凸形状、摩擦、热、弹性这样的物理特性全部再现,而是仅以通过与该物体的接触而在皮肤表面产生的、感受器的细胞捕捉的“力”、“振动”、“温度”这三个物理量为基础,记录、传送它们的时间变化,只要根据这些基础进行合成即可。即,本申请发明者们以该第二方法为触觉基色原理的基本方式而推进了开发。
在此,在以“力”、“振动”、“温度”为基础的方法中,面向小型化而残留有问题,本申请发明者们考虑到需要进行进一步的仔细研讨。即,“力”的提示由于是力这样的物理量具有的特性,因此在与施加力的点不同的场所,需要准备用于施加力的固定场所(接地)。例如,为了向指腹施加力,不得不使指甲等部分接地,从此处施加力。这样的话,在制作提示装置其本身时,仅在该刺激部位的附近无法完全收纳装置。因此,必然需要比较大的空间,成为使器件小型化时的较大的制约。而且,在一般性的向皮肤表面的力提示中,仍存在能够提示向按压方向的压力,但是无法提示向拉拽方向的力这样的问题。如果无法提示拉拽方向的力,则难以进行例如粘粘感等的由拟声表现的多样的心理质感的提示。在此,图3是表示在粗度轴、硬度轴、湿润轴这3轴的映射中定位了各种拟声的心理质感映射的一例的图。
本发明的一实施方式是,鉴于上述的各种问题,本申请发明者们仔细研讨而设计的方式,除了“力”、“振动”、“温度”这3基础之外,通过还将“电力”包含于基础来实现解决。即,将第一方法与第二方法组合,相互弥补缺点。在此,图4是示意性地表示在物理空间中,基于“力”、“振动”、“温度”及“电力”这4基础进行合成,使心理空间的各种触感再现的本实施方式的方法的图。
需要说明的是,本实施方式也可以将“力”全部通过“电力”置换,使4基础中的“力”的参与为零,基于3基础进行合成。而且,本实施方式并不局限于此,也可以还将“时间”及/或“空间”的时空要素加入到基础中。电力在实际的通常的与物体的接触中,除了感觉到静电的特别的情况之外不会产生,但是从明显的物理量出发而为物理空间的基础。
该电刺激会产生压觉、振动感、甚至痛感等,因此根据电刺激的施加方式,对于心理空间的5基础的触感带来效果的情况是本实施方式的较大的特征。即,不是基于物理空间的基础而对生理空间的7基础的触觉进行刺激的探讨,本实施方式是将包含电力的物理空间的多个基础合成而使基于心理空间的5基础的多样的触感再现的探讨。例如,适当地选择包含电力的物理空间的多个基础,并基于选择的物理量,生成用于提示规定的触感的触觉信息,由此能够使通过拟声来表现的心理质感再现,换言之,使根据人体的多个不同触觉感受器得到的信息而在脑内汇总认知的心理量再现。由此,与仅是刺激触觉的以往的手法不同,能够进行使基于多模态(多感觉形式)的触知性发动的触感提示。关于提示通过拟声表现的心理质感的具体的手法在后文叙述。
根据本发明的一实施方式,特别是施加软硬、干湿等感觉,能够大幅地扩宽以往的仅能够通过力、振动、温度来提示的感觉的范围。而且,在难以提示力的情况下,可以通过电力来代替力的提示,因此能够制作小型化的多模态(多感觉形式)的器件。将基于该包含电力的物理空间的多个基础进行合成而提示触感的情况是本实施方式的较大的特征之一。
需要说明的是,作为本发明的另外的实施方式,可以不必使用电力。即,根据本发明的另一方式,根据作为提示目的的触感,在以包含电力、力、温度、振动及/或时空(例如,电力、力、温度、振动的时间上的及/或空间上的变化)的物理量为基础来生成触觉信息的情况下,为了向能够输出的输出部侧提供触觉信息,根据设为提示目的的触感,与基于力的粗糙/平滑轴、基于振动的软硬轴、及基于温度的干湿轴中的至少2轴建立对应,来选择物理量。由此,能够使例如拟声地图上的各种任意的心理触感再现。需要说明的是,如果使用基于力的粗糙/平滑轴、基于振动的软硬轴、及基于温度的干湿轴中的至少2轴的映射,则根据通过检测部检测的力或振动或温度等物理量,也能够传感对应的心理触感。
以上是本实施方式的概要。接下来,关于用于实现上述的本发明的实施方式的装置结构或处理的详情的例子,以下进行详细说明。
[触感提示系统的结构]
关于包含触觉信息转换装置的触感提示系统的结构,参照附图进行说明。图5是表示包含本发明的实施方式的触觉信息转换装置的触感提示系统的结构的一例的框图,仅概念性地示出该结构中的与本发明相关的部分。
如图5所示,在本实施方式中,触感提示系统将触觉信息转换装置100、各种传感器等外部输入装置120、能够输出物理量的外部输出装置140、服务器等外部设备200经由网络300连接而构成。需要说明的是,在图5中,触觉信息转换装置100、外部输入装置120、外部输出装置140及外部设备200图示出在触感提示系统设置各一台的例子,但是并不局限于此,触感提示系统可以具备多台的各装置。在此,触觉信息转换装置100是个人计算机、服务器用计算机、便携信息终端(平板型电脑等)等。网络300具有将触觉信息转换装置100、外部输入装置120、外部输出装置140、外部设备200相互连接的功能,例如是有线或无线的LAN、互联网等。
在此,在图5中,外部输入装置120是各种传感器等输入机构。例如,可以是力传感器、振动传感器、温度传感器,而且,可以是凹凸传感器、表面粗糙度传感器、粘贴传感器、摩擦传感器、湿润传感器、热传导传感器、粘弹性传感器、加速度传感器等。作为其理由,是对象物具有凹凸形状、表面粗糙度、摩擦、热传导率、粘性、弹性、惯性、湿润等物理特性的缘故。然而,人类的皮肤感觉器感知的基本上是人类在对象物上使自己的手等移动而与对象物接触,此时产生的在手等产生的力(皮肤的变形)、振动、温度变化,由此得到触感。因此,作为最佳的传感器,是对它们直接进行传感的力传感器、振动传感器、温度传感器。然而,机器人手也存在未必具有这些传感器的情况。这种情况下,例如,从加速度传感器转换成力信息或振动信息,或者从表面粗糙度传感器转换成振动信息,或者通过各种传感器的组合进行运算而转换成力、振动、温度。上述的转换在传感器侧进行而通信设为标准的通信的情况为最佳,但是也可以原封不动地通信而通过触觉信息转换进行。
在此,外部输入装置120可以是相机、触摸面板、动作传感器等的识别使用者的动作或物体的识别装置。具体而言,外部输入装置120可以通过相机、压力传感器等任意的检测机构来识别人物的身体的动作。例如,外部输入装置120可以利用公知的姿势识别技术、公知的动作传感器等来检测使用者的身体的动作。姿势可以根据物理空间的使用者的位置及动作来得到,可以包括臂或腿的动作、或者静止姿势那样的动态的或静态的任意的使用者的动作。
作为本实施方式的一例,在外部输入装置120中,可以是相机那样的捕获器件取入用户图像数据,根据该用户图像数据来识别使用者的姿势(1个或多个)。更具体而言,外部输入装置120可以使用计算机环境,在使用者的三维物理空间中对于通过使用者进行的姿势进行识别及分析,将解释的使用者的动作数据、解析前原始数据等向触觉信息转换装置100发送。作为一例,外部输入装置120可以是对于手指的形状、身体的姿势、接触部位、接触面积、压力、振动等进行检测的佩戴型传感器。例如,可以使用通过本申请发明者们开发的向指尖传递反力或温度的远程存在系统即TELESAR系统的手套型传感器等的传感技术。在此,如后述的一体型触觉计测模块等那样,外部输入装置120可以具备二维配置的多个力检测传感器或振动产生源、振动检测传感器、温度传感器、计时器等。作为公知的动作识别机构的一例,可以使用微软公司制Kinect传感器或因特尔公司制RealSense传感器等。根据上述公知的传感技术,能够得到全身或手指的骨架动作数据、接触数据等动作数据。需要说明的是,在公知的动作传感器中,使用传感器内置的控制机构来解析人物的动作,或者利用连接的计算机的控制机构来解析人物的动作或属性,但是本实施方式可以为任意,例如,上述解析功能可以通过外部输入装置120的控制机构(处理器等)实现,也可以通过接收到解析前原始数据的触觉信息转换装置100的控制机构实现,或者可以通过两者的控制机构来分散地实现解析功能。此外,可以使用非专利文献2等记载的公知的膜压力传感器等。
如上所述,外部输入装置120可以为了根据由相机等拍摄到的图像来识别物体并将与识别到的物体对应的触感设为提示目的而使用,外部输入装置120也可以为了根据使用者的身体的姿势、动作,在适当的时刻提示触觉刺激而使用。此外,外部输入装置120可以为了检测力、振动、温度、它们的时间上的变化、空间上的分布这样时空的变化量等物理量、触觉或触感其本身,并提示根据检测到的物理量、触感或检测到的触觉信息基于学习结果来识别的触感而使用,也可以为了提示检测到的触觉、基于触觉而提示实际的触感而作为用于增补与感觉量的误差的基础数据使用。在此,图6是表示基于触觉基色原理的一体型触觉计测模块的结构的立体图。而且,图7是表示基于触觉基色原理的一体型触觉传送模块的结构的立体图。
在触觉基色原理中,将触觉作为压觉/剪切力(通过默克尔细胞·鲁菲尼终末来感觉)/低频振动感(通过梅斯纳氏小体来感觉)/高频振动感(通过环层小体来感觉)/冷觉/温觉/痛感(分别通过自由神经末梢来感觉)的各要素间的来自时空的关系性的合成来进行捕捉,来实现触觉的分解和合成。如图6及图7所示,本申请发明者们基于该触觉基色原理,开发出了能够一体地获取并提示力、振动感、冷温觉这各要素的模块。都是长度24mm、宽度12mm、高度6mm,适合于与指腹部接触的尺寸。
在图6中作为外部输入装置120的一例而示出的一体型触觉计测模块中,在表层配设32点分布型压觉计测传感器120a,在其下位的中间层配设具有体温提示功能的温冷感计测传感器120b,在更下层配设宽频带的振动感计测传感器120c。
另外,在图7中作为外部输出装置140的一例而示出的一体型触觉提示模块中,在表层配设32点电触觉刺激的分布型压力提示部140a,在其下位的中间层配设由4片珀耳帖元件的矩阵构成的高速驱动型温冷感提示部140b。在更下层配置宽频带(HiFi)的振动提示部140c。
由此,将到目前为止作为单独的物理特性来捕捉且其传送要求将多个元件组合的力、振动、温度在时空上进行汇总,能够实现具有高临场感的触觉的传送。以往,在实现小型的触觉传送模块时,存在若干的技术问题。首先,以往,在压觉及低频振动感的提示中,通常利用电动机或空气压等致动器,使皮肤产生物理性的力,但是在这样的方法中,不希望一定以上的小型化。于是,在本实施方式中,利用基于经皮电刺激的触觉感受器的选择性的刺激,对于与感觉压觉的默克尔细胞及感觉低频振动感的梅斯纳氏小体相连的神经,从皮肤上电气性地进行刺激,由此能够没有物理性的刺激地自由产生压觉及低频振动感。通过使刺激模式变化,表现出能够分别选择性地刺激压觉/低频振动感的情况。而且,关于刺激电极,利用使用了柔性印制基板的薄型、高密度的电触觉显示器。
在人的触感觉特性上,关于压觉的提示,示出如下情况:即使是具有最细微的两点阈限的指尖,以2mm间距也充分。在本实施方式的一体型触觉计测模块中,使用柔性基板,使用与一体型触觉提示模块的电触觉显示器对应的能够进行多点计测的薄型压觉传感器,构成获取高密度、多点的压觉并且进行提示的薄型的传感器及显示器。即,分布型压觉计测传感器120a及分布型压力提示部140a能够实现以3mm以内的间隔形成4行8列的32点的高精度的压觉提示和压觉计测。需要说明的是,该模块通过进行小型化一体化,不仅局限于指尖,也能够适用于人类的体表的任意部分。而且,由于进行基于触觉基色的原理的编码,因此能够进行通用的使用。
关于高频振动感的提示,以往开发出较多的振动致动器,但是其大部分将共振频率设定为200Hz左右的人最容易感觉的频带来设计。这对于以低消耗电力来提示强刺激来说有效,但是另一方面,存在不适合于在自然的接触动作中产生的包含多样的振动频率的纤细的触感的提示的问题。因此,在一体型触觉提示模块的振动提示部140c中,为了实现对于振动感提示而言最佳的振动致动器,使用能够在1Hz~1000Hz的宽振动频带下进行平坦的特性下的振动感的提示的小型的振动致动器。作为触觉的生理学的见解,已知主要感觉高频振动的环层小体具有1~2cm2左右大的感受范围的情况,由此,将振动致动器的尺寸设定为2cm2。需要说明的是,关于振动感测定部120c的振动感的获取,确立了使用振动麦克风来获取宽频带的振动的技术,适用了该技术。
关于冷温觉的提示,已知在触觉基色原理中,不是再现绝对性的温度而需要使人的皮肤与接触对象之间的热移动再现。因此,温冷感计测传感器120b及温冷感提示部140b具有冷温觉的获取和提示中的双方向性,即获取冷温觉的传感器具有使与人同等的体温再现的作为显示器的功能。而且,在以往的冷温觉传送中,时间响应性低的情况成为问题,但是通过有效利用人的冷温觉感觉特性,并将多个温度提示元件配置成矩阵状进行控制,由此通过能够进行1Hz左右的温度变化的高速冷温觉提示手法,能够进行时空性地变化的温冷感的传送。
再次返回图5,并不局限于上述的一体型触觉提示模块,外部输出装置140是能够输出包含电力、力、温度、振动、时间空间等的物理量的输出部。例如,外部输出装置140可以是将电刺激件、力提示致动器、珀耳帖元件、振动元件等配置成矩阵状而能够时空地输出的输出器件。振子可以是音圈型振子、压电元件或振动电动机。此外,外部输出装置140可以使用公知的电力输出机构、力提示机构、温度提示机构、振动提示机构、时空配置机构,输出上述的物理量。作为一例,外部输出装置140可以如上述的一体型触觉提示模块等那样,具备二维配置的多个按压机构、振动产生机构、发热机构、计时器、接收装置等。例如,可以使用由本申请发明者们开发的向指尖传递反力、温度的远程存在系统即TELESAR系统的物体检测感觉提供技术(例如参照日本特开2013-91114号公报)。
需要说明的是,触觉信息转换装置100在未与外部输入装置120或外部输出装置140实时地进行触觉等的输入输出的情况下,不需要始终与网络300连接。例如,触觉信息转换装置100可以在连接确立时,获取存储于外部输入装置120的输入数据,或者从外部输入装置120获取存储于服务器等外部设备200等的输入数据。同样,外部输出装置140可以在进行触感提示时,连接于触觉信息转换装置100、被上传了触觉信息的外部设备200,来获取触觉信息。
[触觉信息转换装置100的结构]
接下来,详细说明本实施方式的触觉信息转换装置100的结构。再次返回图5,图示示出表示适用本实施方式的触觉信息转换装置100的结构的一例的框图,以该结构中的与本实施方式相关的部分为中心而概念性地表示。需要说明的是,在本实施方式中,关于触觉信息转换装置100具备输入部112、输出部114等的例子进行说明,但是并不局限于此,可以不具备输入部112、输出部114等,而作为从外部根据要求来生成触觉信息并输出发送的服务器等发挥功能。
在图5中,触觉信息转换装置100概略性地具备集中地控制触觉信息转换装置100的整体的处理器(例如CPU)等控制部102、与连接于通信线路等的路由器等通信装置(未图示)连接的通信控制接口部104、与输入部112或输出部114连接的输入输出控制接口部108、及存储各种数据库、表格等的存储部106,上述各部分经由任意的通信路径而能够通信地连接。需要说明的是,各部分可以构成为根据输入部112、输出部114的输入输出的需要而暂时性地经由任意的通信路径能够通信地连接的结构。例如,各部分通过USB存储器等记录介质而能够暂时性地授受触觉信息。
存储于存储部106的各种数据库或表格(例如,触觉定义文件106a、物体触感数据库106b等)是使用SRAM(Static Random Access Memory)等构成的小容量高速存储器(例如,闪存)等、或HDD(Hard Disk Drive)、SSD(Solid State Drive)等固定盘装置等存储机构,存储有在各种处理中使用的各种程序、表格、文件、数据库、网页等。
其中,触觉定义文件106a是对于提示的两个以上的多个触觉刺激的种类进行定义的触觉定义机构。需要说明的是,触觉定义文件106a可以存储与第一刺激点的时间上及/或空间上的阈值。例如,触觉定义文件106a可以定义第一种类的触觉刺激和第二种类的触觉刺激。更具体而言,触觉定义文件106a可以将第二种类的触觉刺激定义为比第一种类的触觉刺激在时间上或空间上难以进行生理性的辨别的种类的触觉刺激。由此,通过后述的输出控制部102c的处理,能够在第一刺激点处感觉到第二种类的触觉刺激。而且,触觉定义文件106a可以将第一种类的触觉刺激定义为比第二种类的触觉刺激在时间上或空间上难以进行生理性的辨别的种类的触觉刺激。由此,通过后述的输出控制部102c的处理,能够在第二刺激点处感觉到第一种类的触觉刺激。通常,可认为按照力(特别是压力)、电力、振动、温度的顺序而时间空间上辨别变难。
作为一例,触觉定义文件106a可以将力提示定义为第一种类的触觉刺激,将振动、温度及电刺激中的一个或多个定义为第二种类的触觉刺激。由此,能够将振动、温度及/或电刺激定位于力提示的刺激点来感觉。需要说明的是,触觉定义文件106a即使将振动、温度、及电刺激中的一个或多个定义为第一种类的触觉刺激,并将力提示定义为第二种类的触觉刺激也能得到同样的效果。
作为其他的例子,触觉定义文件106a可以将振动提示定义为第一种类的触觉刺激,将温度刺激定义为第二种类的触觉刺激。由此,能够将温度刺激定位于振动提示的刺激点来感觉。需要说明的是,触觉定义文件106a即使将温度刺激定义为第一种类的触觉刺激,将振动提示定义为第二种类的触觉刺激也能得到同样的效果。
作为其他的例子,触觉定义文件106a可以将电刺激提示定义为第一种类的触觉刺激,将振动及/或温度定义为第二种类的触觉刺激。由此,能够将振动及/或温度的刺激定位于力提示的刺激点来感觉。需要说明的是,触觉定义文件106a即使将振动及/或温度定义为第一种类的触觉刺激,将电刺激提示定义为第二种类的触觉刺激也能得到同样的效果。
接下来,物体触感数据库106b是将触感与物体建立对应地存储的物体触感存储机构。例如,物体触感数据库106b在通过公知的物体识别手法在现实世界中识别到物体的情况下,或者关于扩张现实空间或假想空间中的假想的物体,根据该物体,来定义应提示的触感。在此,物体触感数据库106b可以如根据人体的多个不同的触觉感受器得到的信息而在脑内汇总性地认知的心理量等那样将心理触感定义为应提示的触感。物体触感数据库106b可以如上述的图3所示的心理触感映射(拟声地图)那样,对于原料或物体等,使用定位在规定的定量轴上的映射,来定义与物体或原料对应的触感。
在此,作为一例,物体触感数据库106b可以存储有如以下的表那样,根据对象物、触感,从不包含电力作为基础的输入用的触觉信息转换为包含电力作为基础的输出用的触觉信息的转换表格。通过使用该转换表格,能够解决例如在一般性的向皮肤表面的力提示中虽然能够提示向按压方向的压力但是无法提示向拉拽方向的力这样的问题等,通过包含电力的刺激提示使拉拽方向的力再现,能够进行以例如粘粘感等拟声表现的多样的心理质感的提示。
[表1]
另外,物体触感数据库106b可以将拟声等的心理触感等触感与基于力的粗糙/平滑轴、基于振动的软硬轴、及/或基于温度的干湿轴上的参数建立对应而进行存储。例如,物体触感数据库106b可以存储将触感与基于力的粗糙/平滑轴、基于振动的软硬轴、及基于温度的干湿轴中的由2轴~3轴构成的映射上建立了对应的物理空间映射等。需要说明的是,物体触感数据库106b定义的触感与物理量的关系可以预先存储,也可以通过生成部102b等新生成或更新。例如,物体触感数据库106b可以存储有:通过后述的生成部102b的学习处理,对于触感已知的样品将通过输入部112检测到的物理量和该触感与上述至少2轴的映射上建立对应并更新的映射。需要说明的是,在上述的物体触感数据库106b中存储有物体与其触感的对应关系的情况下,样品的触感已知,作为样品的触感的示教数据而使用于机械学习等。
在此,在触觉定义文件106a、物体触感数据库106b等中存储的信息可以从外部设备200等定期地或每次下载,存储部106可以暂时性或非暂时性地存储下载的信息。
另外,在图5中,输入输出控制接口部108进行各种传感器等的输入部112、能够输出物理量等的输出部等的输出部114的控制。作为各种传感器等的输入部112,可以具备与上述的外部输入装置120同样的功能。另外,作为能够输出物理量等的输出部等的输出部114,可以具备与上述的外部输出装置140同样的功能。此外,作为输出部114,可以使用监视器(包括家庭用电视机、触摸屏监视器等)等。而且,作为输入部112,可以使用触摸面板、声音麦克风、键盘等。作为一例,输入部112及输出部114可以是将液晶面板等输出部114与触摸位置输入装置等输入部112组合的触摸面板等输入输出机构。而且,输入输出控制接口部可以与USB存储器等的记录介质连接而进行授受数据的控制。需要说明的是,在以下的实施方式中,作为输入机构,既可以使用输入部112,也可以使用外部输入装置120,这种情况下,有时一并称为输入机构112、120。同样,作为输出机构,既可以使用输出部114,也可以使用外部输出装置140,有时一并称为输出机构114、140或输出部114、140。
另外,在图5中,控制部102是,具有用于存储OS(Operating System)等控制程序、对各种处理顺序等进行规定的程序、及所需数据的内部存储器,通过这些程序等,进行用于执行各种处理的信息处理的CPU等处理器。控制部102功能概念性地具备提示触感设定部102a、生成部102b及输出控制部102c而构成。
其中,提示触感设定部102a是对作为提示目的的触感进行设定的提示触感设定机构。例如,提示触感设定部102a可以将预先确定的触感作为提示目的进行设定。作为其他的例子,提示触感设定部102a可以基于从外部输入装置120或输入部112得到的动作数据,将与身体的动作对应的触感作为提示目的进行设定。而且,提示触感设定部102a可以基于从外部输入装置120、输入部112得到的通过实际物体的物体识别而识别到的与物体或假想的物体相关的信息,从物体触感数据库106b获取与该物体对应的触感,从而对作为提示目的的触感进行设定。此外,提示触感设定部102a可以经由外部输入装置120、输入部112等,使使用者设定作为提示目的的触感。作为一例,提示触感设定部102a可以如上所述使用输入机构120、112的柔性基板对时间轴进行多点计测,根据考虑了该时间轴的接触面积、压力分布的变化等,来判定发粘的感觉或软粘感等触感。需要说明的是,从判定出的触感向提示的触觉信息的转换可以使用上述的表等转换表格通过控制部102来转换。
在此,提示触感设定部102a获取上述的TELESAR系统等的机器人的手指部的触觉传感器(力传感器、振动传感器、温度传感器等输入机构120、112)的信息,通过机械学习等方法,分类成多个拟声等的与触感相关的范畴信息,将由范畴信息表现的触感与触觉显示器(提示力、电力、振动、温度等刺激的输出机构140、114)的时空的组合建立对应,存储于物体触感数据库106b。由此,根据触觉传感器的信息能够推测处于分隔的场所的物体的触感,能够将推测的触感向处于另外的场所的使用者以多感觉形式提示。作为一例,提示触感设定部102a可以基于通过输入部112、外部输入装置120检测到的物理量,与基于力的粗糙/平滑轴、基于振动的软硬轴、及基于温度的干湿轴中的至少2轴的映射、2轴的转换表格上建立对应,来检测对应的触感(心理触感等)。需要说明的是,提示触感设定部102a可以通过公知的方法等进行输入机构120、112或输出机构140、114的校准。例如,提示触感设定部102a可以对于外部输出装置140发送初期动作信号,外部输出装置140根据初期动作信号进行输出,由此执行各种校准。
另外,生成部102b是根据作为提示目的的触感,选择至少两个以上的多个物理量,并且基于选择的物理量,生成用于提示规定的触感的触觉信息的生成部102b。需要说明的是,在本实施方式中,作为一例,以多个物理量为基础进行合成,因此生成部102b可以根据作为提示目的的触感,选择至少两个以上的多个物理量,并且基于选择的物理量,生成用于提示规定的触感的触觉信息。作为一例,物理量是至少包含电力,并包含力、温度、振动及/或上述电力、力、温度、振动等的时空性的变化的物理量,生成部102b可以选择其中至少两个以上的多个物理量来生成触觉信息。作为另一例,生成部102b可以根据作为提示目的的触感,与基于力的粗糙/平滑轴、基于振动的软硬轴、及基于温度的干湿轴中的至少2轴建立对应,由此选择物理量。需要说明的是,生成部102b在提示基于力的时间变化的触感时,可以至少选择电力及时空的物理量来生成触觉信息。在此,生成部102b可以选择由触觉定义文件106a定义的第一种类的触觉刺激及第二种类的触觉刺激作为多个物理量。生成部102b可以将上述的通过提示触感设定部102a设定的触感作为提示目的,选择多个物理量来生成触觉信息。作为一例,生成部102b可以参照物体触感数据库106b,判断从输入机构120、112得到的与触觉传感器的信息对应的触感,为了提示该触感而生成基于电刺激等多个物理量的触觉信息。
在此,说明基于生成部102b的伴有多个物理量的合成的编码。例如,在想要向手提示“柔软”触感时,在上述的触觉提示模块单体中不存在能够提示“柔软”的触觉信号,需要根据手将物体压入何种程度这样的运动信息(动作数据等),使在触觉基色的各触觉要素中提示的触觉信号进行时空变化。而且,在通过外部输入装置120、输入部112记录身体的经验的情况和通过外部输出装置140、输出部114对其进行体验的情况下,使用者的身体运动并不限于完全一致,在不同的运动状态下提示相同触觉控制信号的话,感觉到不同的触感。因此,触觉信息转换装置100不是单纯地将记录的触觉信息原封不动地提示,而是进行与身体运动的差异相应的适当的转换的情况至关重要。
使用图4如上所述,将人感性地感受到的触感定义为触觉的心理空间,将产生构成该触感的神经脉冲的触觉感受器等的生理学的要素定义为触觉的生理空间,将使触觉感受器活动的物理性的刺激定义为触觉的物理空间。如果本实施方式的触觉传送模块120、112为基于电刺激的默克尔细胞和梅斯纳氏小体的生理空间的刺激、与振动和温度的物理空间的刺激的混合的结构,则被捕捉。因此,为了使用触觉传送模块120、112来提示任意的触感,将心理空间上的任意的“触感”分解成触觉提示模块140、114的各感觉要素,根据身体运动而交互地选择,并基于选择的物理量来生成用于提示规定的所述触感的触觉信息的算法、及能够使触觉信息转换装置100执行该算法的软件环境的构筑必要不可或缺。因此,触觉信息转换装置100的控制部102通过生成部102b、输出控制部102c等的处理,执行对于从实际世界记录的信息进行编辑、加工而创造出任意的触觉信息并与体验中的身体运动一并转换成适当的触觉控制信号的算法、及将从实际世界记录的触觉信息转换成与不同的身体运动对应的新的触觉信息的算法,作为触觉基色编码器发挥功能。
再次返回图5,叙述基于生成部102b的多个物理量的合成的具体的算法。例如,在提示柔软的心理质感的情况下,换言之在提示“软粘感”的情况下,生成部102b在从非接触状态向接触状态的转变过程或身体的位移过程中,可以如施加比硬表面时强的电力、力或振动的刺激,或者施加比硬表面时大的面积的电力、力或振动的刺激那样通过多个物理量进行合成。作为一例,生成部102b可以施加比手指等接触硬表面时受到的触觉刺激的强度强的电刺激、力或振动的刺激。而且,生成部102b可以生成施加比手指等接触硬表面时受到的触觉刺激的接触面积大的面积的电力、力或振动的刺激的触觉信息。需要说明的是,手指等的从非接触状态向接触状态的转变过程或者表示其移动的身体的位移过程可以基于通过上述的外部输入装置120或输入部112接收的动作数据进行判定。
作为其他的例子,在提示发粘的心理质感的情况下,换言之在提示“黏糊感(stickfeeling)”的情况下,生成部102b在从接触状态向非接触状态的转变过程或身体的位移过程中,可以如施加比硬表面时强的电力、力或振动的刺激,或者施加比硬表面时大的面积的电力、力或振动的刺激那样通过多个物理量进行合成。作为一例,生成部102b可以施加比以相同压力从硬表面将手指等从接触状态分离时受到的触觉刺激的强度强的电刺激、力或振动的刺激。而且,生成部102b可以生成施加比以相同手指等的动作从硬表面将手指等分离时受到的触觉刺激的接触面积大的面积的电刺激、力刺激或振动刺激的触觉信息。需要说明的是,手指等的从接触状态向非接触状态的转变过程或表示其动作的身体的位移过程可以基于通过上述的外部输入装置120或输入部112接收的动作数据进行判定。
需要说明的是,生成部102b并不局限于从触感向物理量进行转换的情况,也可以进行从物理量向触感转换的处理。例如,在上述中,记载了生成部102b根据作为提示目的的触感,与基于力的粗糙/平滑轴、基于振动的软硬轴、及基于温度的干湿轴中的至少2轴建立对应来选择物理量的情况,但是并不局限于此,也可以进行相反的处理。即,生成部102b可以基于通过输入部112等检测到的物理量,与基于力的粗糙/平滑轴、基于振动的软硬轴、及基于温度的干湿轴中的至少2轴建立对应,来得到对应的触感的信息。即,只要物理量与触感之间的转换表格等存储于存储部106即可,生成部102b可以从任一方起进行两者的转换。
另外,输出控制部102c是向外部输出装置140、输出部114等输出部侧输出触觉信息的输出控制机构。具体而言,输出控制部102c将通过生成部102b生成的触觉信息向输出机构140、114侧输出。例如,输出控制部102c可以将触觉信息向外部输出装置140发送,也可以经由输入输出控制接口部108向输出部114输出。在此,如图5所示,输出控制部102c可以还具备第一刺激部102d和第二刺激部102e。
第一刺激部102d是判定产生第一种类的触觉刺激的第一刺激点或者经由输出部140、114使第一刺激点产生第一种类的触觉刺激的第一刺激机构。即,第一刺激部102d可以经由输出部140、114主动地在第一刺激点处产生第一种类的触觉刺激,也可以判定通过使用者相对于物体相对地移动而产生的第一种类的触觉刺激的第一刺激点。在此,刺激点是指时间上的时点及/或空间上的位置点(一维线上的位置、二维平面上的位置、三维空间上的位置等)。另一方面,第二刺激部102e是在从通过第一刺激部102d判定或产生的第一种类的触觉刺激的第一刺激点起在时间上及/或空间上按照规定的阈值内进行分隔的第二刺激点处,经由输出部140、114产生第二种类的触觉刺激的第二刺激机构。时间上的规定的阈值或空间上的规定的阈值根据作为提示目的的触觉刺激而不同,可以预先存储于存储部106(触觉定义文件106a等)。需要说明的是,作为时间上及/或空间上规定的阈值,可以使用公知的两点阈限(空间上的两点阈限或时间上的两点阈限等)。
在将其他的刺激定位于力提示的刺激点来进行感觉时,作为一例,第一刺激部102d可以判定或产生力提示作为第一种类的触觉刺激,第二刺激部102e可以在第二刺激点处产生振动、温度及电刺激中的一个或多个作为第二种类的触觉刺激。作为其他的例子,第一刺激部102d可以判定或产生振动、温度及电刺激中的一个或多个作为第一种类的触觉刺激,第二刺激部102e在第二刺激点处产生力提示作为第二种类的触觉刺激,由此也能够发挥同样的效果。
另外,在将其他的刺激定位于振动提示的刺激点来进行感觉时,作为一例,第一刺激部102d可以判定或产生振动提示作为第一种类的触觉刺激,第二刺激部102e在第二刺激点处产生温度刺激作为第二种类的触觉刺激。作为其他的例子,第一刺激部102d判定或产生温度提示作为第一种类的触觉刺激,第二刺激部102e在第二刺激点处产生振动刺激作为第二种类的触觉刺激,由此也能够发挥同样的效果。
另外,在将其他的刺激定位于电刺激提示的刺激点来进行感觉时,可以是第一刺激部102d判定或产生电刺激提示作为第一种类的触觉刺激,第二刺激部102e在第二刺激点处产生振动及/或温度作为第二种类的触觉刺激。作为其他的例子,第一刺激部102d判定或产生振动及/或温度作为第一种类的触觉刺激,第二刺激部102e在第二刺激点处产生电刺激提示作为第二种类的触觉刺激,由此也能够发挥同样的效果。
在此,第一刺激点及第二刺激点的刺激点可以是基于幻觉错觉的感觉点。在此,图8是表示基于幻觉错觉的感觉点的图。实际上人类用指腹来触碰实际世界的物体时,向指腹的皮肤表面施加的力、振动、温度的4刺激的作用点相同。然而,在向人提示的触觉提示装置中,由于各种元件的配置,通常难以使力、振动、温度、电力的作用点一致。
另一方面,在研究人类的感觉时,即使作用点不同也能够产生相同的感觉。而且,作用点也可以使别处产生感觉。后者的优选例是幻觉。图8的白圆圈表示刺激部位,斜线的圆形标记表示基于幻觉的感觉点。幻觉是通过贝克亚西(von Bekesy)确认的与基于两耳听的声音的定位同样的皮肤感觉的现象。在幻觉中,在某条件的基础上,通过向两个部位施加刺激,能够将刺激像向两个部位间的与刺激部位不同的部位施加。而且,如图8(a)所示通过向3个以上的部位施加刺激,能够将刺激像定位于其内侧。此外,如图8(b)所示,根据多个刺激部位的刺激的强度差,能够控制该像的位置。可知这对于振动刺激或者对于电刺激也会产生(参照谷江和雄,馆进,小森谷清,阿部稔“基于电力脉冲刺激的强度差幻觉像的位置辨别特性”,计测自动控制学会论文集,Vol.15,No.4,p.505-512(1979.8),及,Susumu Tachi,Kazuo Tanie,Kiyoshi Komoriya and Minoru Abe:Electrocutaneous Communication ina Guide Dog Robot(MELDOG),IEEE Transactions on Biomedical Engineering,Vol.BME-32,No.7,pp.461-469(1985))。
该幻觉现象的存在是指在不是直接刺激部位的部位能够感觉到振动刺激的情况。图9及图10是表示本申请发明者们开发的上述的称为TELESAR V的远程存在感机器人的手指佩戴型传感器/致动器和手指佩戴时的外观的图(关于装置结构等的详情,参照日本特开2013-91114号公报)。在将通过该TELESAR V的手计测到的压觉信息和振动信息由装入于手套的图示的提示装置提示时,向指腹施加压力和剪切力,从手指的横向两侧提示振动时,确认到在感觉到压觉的指腹也感觉到振动刺激的情况。可认为由于幻觉而在中央感觉到振动刺激。此外,可知也具有在施加压觉的场所容易感觉到刺激的效果。需要说明的是,在后述的验证实验中,(1)将对两侧同时进行刺激的情况与仅单侧的情况的感觉到刺激的部位进行比较,(2)将不施加压力而施加振动刺激时与施加压力而施加振动刺激时的产生振动刺激的部位进行比较来研究。
因此,即使将力的提示部分改换为电刺激,同样,通过幻觉也能够向电刺激部分提示振动刺激。而且,该幻觉像通过电刺激而更鲜明地定位。因此,通过幻觉,例如,将振动刺激定位于力及电刺激的部位,而且,通过力提示或电力提示,能够将振动刺激的幻觉像鲜明地定位于对力或电刺激进行提示的部位。
另外,关于温度提示,也是从侧面施加温度刺激时,仅是单侧的话,未定位于指腹,但是向指腹提示振动刺激时,定位于该部位。通过实验验证了从左右施加时定位于中心的幻觉是否存在这种情况。在温度的情况下,由于元件的特性和热量的性质,提示会产生延迟。为了对该延迟进行补正,在传感器中,除了接触型的温度传感器之外,可以装入非接触的温度传感器。
在此,触觉信息转换装置100除了外部输入装置120、外部输出装置140之外,可以经由网络300以能够通信的方式与存储触觉信息、阈值等的数据库、提供触觉信息转换程序等外部程序等的外部设备200连接。而且,该触觉信息转换装置100可以经由路由器等通信装置及专用线等的有线或无线的通信线路而能够通信地连接于网络300。
另外,在图5中,通信控制接口部104是进行触觉信息转换装置100与网络300(或路由器等通信装置)之间的通信控制的装置。即,通信控制接口部104具有与其他的终端或基站经由通信线路(不管有线还是无线)来进行数据通信的功能。在本实施方式中,通信控制接口部104进行与外部输入装置120或外部输出装置140、外部设备200等的通信控制。
在此,外部设备200经由网络300而与触觉信息转换装置100、外部输入装置120及外部输出装置140相互连接,并且该外部设备200具有如下功能:对于各终端,除了提供触感定义文件或物体触感数据库等中存储的阈值或转换表格等之外,还提供与校准相关的外部数据库、或执行触觉信息转换程序、编码程序等外部程序等的网站。
在此,外部设备200可以通过例如个人计算机或服务器用的计算机等硬件要素、操作系统、应用程序、其他的数据等软件要素来实现。例如,外部设备200可以构成为WEB服务器或ASP服务器等,其硬件结构可以通过通常市售的工作站、个人计算机等信息处理装置及其附属装置构成。而且,外部设备200的各功能可以通过外部设备200的硬件结构中的CPU等处理器、盘装置、存储器装置、输入装置、输出装置、通信控制装置等及对它们进行控制的程序等来实现。
以上,结束本实施方式的触感提示系统的各结构的说明。需要说明的是,在上述的结构例中,关于触觉信息转换装置100构成为与输入部120、112或输出部140、114、服务器等外部设备200不同的框体的例子进行了说明,但是本实施方式并不局限于此。例如,触觉信息转换装置100可以与输入装置构成为一体,可以与发送装置构成为一体,可以与存储装置构成为一体,可以与服务器装置构成为一体,可以与接收装置构成为一体,或者可以与输出装置构成为一体。
[触感提示系统的处理]
接下来,关于这样构成的本实施方式的触感提示系统的处理的一例,以下参照图11~图13进行详细说明。
(触感提示处理)
图11是表示本实施方式的触感提示系统的触觉信息转换处理的一例的流程图。
如图11所示,首先,本触感提示系统的输入部120、112检测使用者的身体运动,触觉信息转换装置100通过生成部102b的处理,获取动作数据等身体运动信息(步骤SA-1)。作为一例,输入部120、112可以进行触摸检测,可以检测接触面积,或者可以检测手指的位移。需要说明的是,在外部输出装置120获取到例如身体运动信息时,向触觉信息转换装置100发送身体运动信息,触觉信息转换装置100接收身体运动信息。
并且,本触感提示系统的触觉信息转换装置100通过生成部102b的处理,根据提示目的的触感,选择电力、力、温度、振动、时空的物理量中的至少两个以上的多个物理量,并且基于选择的物理量,来生成用于提示规定的触感的触觉信息(步骤SA-2)。例如,生成部102b在提示基于力的时间变化的触感时,可以至少通过电力及时空的物理量进行合成。在此,生成部102b在由触觉定义文件106a来定义第一种类的触觉刺激及第二种类的触觉刺激时,可以基于第一种类的触觉刺激及第二种类的触觉刺激而作为多个物理量进行合成。
并且,本触感提示系统的触觉信息转换装置100向外部输出装置140或输出部114等输出部侧输出触觉信息(步骤SA-3)。具体而言,输出控制部102c将通过生成部102b生成的触觉信息向输出部140、114侧输出。需要说明的是,在输出处为外部输出装置140的情况下,触觉信息转换装置100通过输出控制部102c的控制,将触觉信息向外部输出装置140发送。在此,输出控制部102c可以执行基于第一刺激部102d和第二刺激部102e的处理(关于处理在后文叙述)。
并且,本触觉提示系统的输出部140、114基于触觉信息从输出部140、114进行多模态(多感觉形式)的输出,提示使使用者的触知性发动的触感(步骤SA-4)。
以上是本触感提示系统的触感提示处理的一例。接下来,关于本触感提示系统的多点刺激处理的一例在以下进行说明。
(多点刺激处理)
图12是表示本实施方式的触感提示系统的触觉信息转换装置100中的多点刺激处理的一例的流程图。
如图12所示,首先,触觉信息转换装置100的输出控制部102c参照触觉定义文件106a,来设定被定义的第一种类的触觉刺激和第二种类的触觉刺激(步骤SB-1)。
然后,触觉信息转换装置100的输出控制部102c通过第一刺激部102d的处理,判定产生第一种类的触觉刺激的第一刺激点(步骤SB-2)。更具体而言,输出控制部102c可以判定使用者由于对物体进行接触等而产生的第一种类的触觉刺激的时点、位置点等。或者,输出控制部102c可以通过第一刺激部102d的处理,经由输出部140、114输出使第一刺激点处产生第一种类的触觉刺激的刺激信息。
然后,触觉信息转换装置100的输出控制部102c通过第二刺激部102e的处理,设定从通过第一刺激部102d判定或产生的第一种类的触觉刺激的第一刺激点起在时间上及/或空间上按照规定的阈值内分隔开的第二刺激点(步骤SB-3)。在此,输出控制部102c可以通过第二刺激部102e的处理,参照预先存储于触觉定义文件106a的阈值,来设定第二刺激点。
然后,触觉信息转换装置100的输出控制部102c通过第二刺激部102e的处理,在由步骤SB-3设定的第二刺激点处,经由输出部140、114输出产生第二种类的触觉刺激的触觉信息(步骤SB-4)。
通过以上的处理,能够将电力、力、温度、振动的全部或者它们的任意的组合的提示元件配置在人类的皮肤上的其他的部位,并以使一部位感觉到刺激的方式提示触感。作为该机构的一例,通过使用基于幻觉的提示方法或其他的方法,虽然在物理上配设于其他的场所,但是作为感觉能够以在一处感觉到的方式进行提示。
例如,将力提示配设于刺激的作用点,将振动、温度、电刺激中的任一者或者任意的组合的刺激件配设于在物理上分离的场所,通过幻觉,能够将该刺激的感觉定位于力的作用点。而且,通过力的提示,使基于幻觉的定位像进行鲜明化,由此能够使力、电力、振动、温度的触觉基色的提示部位一致。
作为其他的具体例,将力提示配设于刺激的作用点,将振动、温度中的任一者或两者的刺激件配设于在物理上分离的场所,通过幻觉,将该刺激的感觉定位于力的作用点,或者通过力的提示使基于幻觉的定位像进行鲜明化,由此能够使力、振动、温度的触觉基色的提示部位一致。
另外,根据本实施方式,将电刺激提示配设于刺激的作用点,将振动、温度中的任一者或两者配设于在物理上分离的场所,通过幻觉能够定位于力的作用点。而且,通过电刺激的提示,将基于幻觉的定位像进行鲜明化,由此也能够使电力、振动、温度的触觉基色的提示部位一致。
另外,根据本实施方式,将振动提示配设于刺激的作用点,将温度配设于在物理上分离的场所,通过幻觉能够定位于振动的作用点。而且,通过振动的提示,将基于幻觉的定位像进行鲜明化,由此能够使振动、温度的触觉基色的提示部位一致。
(远距离触感传送处理)
在此,图13是表示本实施方式的触感提示系统的远距离触感传送处理的一例的流程图。需要说明的是,作为本触感提示系统的一部分功能,可以使用上述的TELESAR系统(例如参照日本特开2013-91114号公报)。
如图13所示,首先,在本触感提示系统中,提示触感设定部102a获取上述的TELESAR系统等的机器人的手指部的触觉传感器(力传感器、振动传感器、温度传感器等输入机构120、112)的信息(步骤SC-1)。
然后,本触感提示系统的提示触感设定部102a基于来自触觉传感器的信息和与通过相机等识别的物体的触感相关的示教数据等,进行机械学习(步骤SC-2)。在此,触觉信息转换装置100的操作员可以经由键盘等输入部112输入与物体或触感相关的示教数据。
然后,作为机械学习等的结果,本触感提示系统的提示触感设定部102a将触觉传感器的信息的特征(时空性的变动图案等)分类成拟声等的触感范畴信息(拟声地图等)(步骤SC-3)。
然后,本触感提示系统的提示触感设定部102a将分类的触感范畴信息与本实施方式的触感提示方法建立对应地存储于物体触感数据库106b(步骤SC-5)。在此,可以与触觉显示器(提示力、电力、振动、温度等刺激的外部输出装置140)的时空的组合建立对应地存储于物体触感数据库106b。需要说明的是,以上的步骤SC-1~SC-4的处理可以作为前处理而预先执行,并将其处理结果预先存储于存储部106。
接下来,在本触感提示系统中,使用TELESAR系统等,实时地追踪机器人示教装置的使用者的手的运动,使机器人的手指部移动,获取通过与物体的交互而得到的触觉传感器信息,参照物体触感数据库106b,分类成对应的触感范畴(步骤SC-6)。在此,可以将TELESAR系统的机器人侧的手指部和物体检测部考虑为外部输出装置140和外部输入装置120。而且,可以将TELESAR系统的机器人示教装置侧的手的运动的检测机构和触觉刺激机构考虑为输入部112和输出部114。
然后,本触感提示系统的生成部102b及输出控制部102c根据触感范畴,选择多个物理量来生成触觉信息并向输出部114输出(步骤SC-7)。
由此,能够根据触觉传感器的信息来推测处于分隔的场所的物体的触感,并将推测到的触感向使用者以电刺激等多感觉形式进行提示(步骤SC-8)。
以上是本实施方式的触感提示系统的处理的说明。在此,如上所述,提示触感设定部102a可以获取TELESAR系统等的机器人的手指部的触觉传感器(力传感器、振动传感器、温度传感器等输入机构120、112)的信息,通过机械学习等方法,分类成多个拟声等的与触感相关的范畴信息,将由范畴信息表现的触感与触觉显示器(提示力、电力、振动、温度等刺激的输出机构140、114)的时空性的组合建立对应,存储于物体触感数据库106b。需要说明的是,可以将处于范畴的中心的相互分离最远的信号作为该范畴的代表信号进行登记,将其使用于触感提示。在此,图14是表示基于通过机械学习等而获取到的范畴信息的转换表格等,将传感器等的输入信息分类成触感范畴信息,基于分类的触感范畴信息,将多个物理量合成而进行提示输出时的功能概念结构的图。
如图14所示,触觉信息转换装置100预先将在机器人的手等配设的触觉传感器(力传感器112-1、振动传感器112-2、温度传感器112-3)的信息通过机械学习等的方法来构筑转换表格等,能够分类成多个拟声等的范畴信息。需要说明的是,除了图中的触觉传感器以外,从其他的物理量的传感器也能够转换成上述的传感器信息。在此,学习例如可以对振动传感器信息进行短时间傅里叶变换,将频率信息设为纵轴,横轴为时间,温度或力也同样地进行转换而设为二维的图像,使用在文字识别等中所使用的栈式自动编码器(stackedauto-encoder)等而进行深层学习。此时,可以将拟声获知的样品作为示教信号而使用。
并且,触觉信息转换装置100通过辨别装置102b′的处理,从来自触觉传感器(力传感器112-1、振动传感器112-2、温度传感器112-3)的各种触觉信号(力信息、振动信息、温度信息等),使用作为学习结果的转换表格等,向拟声等的触感的范畴信息进行分类。
并且,触觉信息转换装置100通过辨别装置102b′及调整装置102c′的处理,从分类的触感范畴信息,使用触感与物理量的对应关系表格等,向调整信号进行加工。例如,如果为振动,则通过滤波器使频率特性变化,或者改变马尔可夫过程的频率来实现。用于得到触感与物理量的对应关系表格等的学习例如可以通过深层学习,对于从调整装置102c′输出的信号进行分类,以其正确回答率比通过调整装置102c′之前上升的方式使调整装置102c′学习。更具体而言,辨别装置102b′也可以如下进行学习:根据作为提示目的的触感,通过与基于力的粗糙/平滑轴、基于振动的软硬轴、及基于温度的干湿轴中的至少2轴建立对应,由此选择最佳的物理量。
这样,触觉信息转换装置100通过机械学习等方法能够预先作出将输入的力传感器112-1或振动传感器112-2、温度传感器112-3等信息加工成由拟声等范畴信息表现的触感的机理。由此,在上述的学习结束时,触觉信息转换装置100实时地使机器人的手等追随使用者的手等的运动而移动,根据此时通过与物体的交互而得到的触觉传感器信息,能够实时地将来自各种传感器的信号分别经由辨别装置102a′~调整装置102c′而通过对应的触觉显示器(力显示器114-1、电力显示器114-2、振动显示器114-3、温度显示器114-4)进行提示。需要说明的是,同时,向辨别装置102a也能够输入相同信号,例如,可以将斥力等通过力显示器114-1难以提示的触觉以使用电力显示器114-2进行提示的方式加工成调整信号。此外,可以通过编码,将力信息和振动信息这两方或者仅将振动转换成电力。
需要说明的是,在本实施方式中,在辨别装置102a′、b′辨别出触感之前,调整装置102c′什么也不输出,将来自触觉传感器112-1~4的信息原封不动地输出。并且,当通过辨别装置102a′、b′辨别出触感时,按照其辨别结果的触感的分类,调整装置102c′对信号进行加工,使用者能够得到遵照实际的更容易理解的触感。即,通过将触觉信息转换成触感信息,能够实时地得到由拟声等范畴信息表示的触感。
[实施例1]
在此,关于验证了本实施方式的触感提示系统的效果的实施例1,以下进行说明。在实施例1中,通过实验确认到了通过电子刺激能够替代地提示黏糊感等本来需要吸附力的触感的提示的情况。
以往,虽然开发出较多的触感提示装置,但是关于“黏糊”等的以拟声为代表的粘着感的提示并未提出实用的方法。到目前为止,存在如下的报告:从与实际的粘着物接触时的皮肤的观察出发,在进行压入动作时,力与接触面积的关系和粘着性的有无无关,但是在剥落时能观察到较大的差异(Masaaki Yamaoka,Akio Yamamoto,Toshiro Higuchi“BasicAnalysis of Stickiness Sensation for Tactile Displays”EuroHaptics2008(日本语:山冈VRSJ2007、VRSJ2008)URL:http://link.springer.com/chapter/10.1007/978-3-540-69057-3_56)
另外,开发出了通过来自空气吸引孔的吸引来提示粘着感的器件“Vacuum Touch”(http://dl.acm.org/citation.cfm?id=2557252)。然而,都是使用空气而物理性地产生吸引、吸附力的结构,是为了提示特定的触感而特殊化的特别的技术,欠缺实用性。
因此,在本实施方式的实施例1中,目的是通过与电触觉或机械提示的组合,来提示粘着感等触感。在此,图15是示意性地表示触碰到硬表面、软表面、粘表面时的接触面或压力的变化的图。图表示从指尖侧沿体轴方向观察到手指的情况,两箭头表示接触面的宽度。
如图15所示,在按下软表面时,与硬表面时相比以宽的面积接触。因此,本申请发明者们考虑了在按下时,通过施加比硬表面强的刺激或比硬表面大的面积的刺激,能够提示柔软的触感的情况。需要说明的是,通常在软表面的情况下,多认为在按下时刺激降低,但是虽然对于手指的相同位移来说正确,但是对于相同力却并非如此。
另外,如图15所示,在提拉粘表面时,与硬表面的情况相比以大的面积接触。因此,本申请发明者们考虑到在提拉时,通过施加比硬表面强的刺激或者比硬表面大的面积的刺激而能够提示粘着感的情况。图15是变形微小的情况,但是在此,考虑更大变形的情况。图16是示意性地表示在触碰了硬表面、软表面、粘表面时产生了大变形的情况的接触面或压力的变化的图。
如图16所示,在软表面中,在进行大变形时,大多数的情况进行塑性变形,无法完全返回原状。因此,本申请发明者们确立了如下假设:在一次按下而提拉时,通过设置迟滞(Hysteresis)而感觉到柔软度。而且,在粘表面中,在提拉时,以比硬表面的情况宽的面积产生接触。因此,本申请发明者们确立了如下假设:在一次按下而提拉时,通过设置迟滞而感觉到发粘。
即,在本实施例的实验1中,进行了对于指尖的“力”通过使刺激变化而是否能够提示发粘的实验。例如,在软表面中,在按下时,与硬表面的情况相比以大面积接触,因此确立在按下时通过施加更强的刺激而感觉到柔软度的假设并进行了实验。另一方面,在粘表面中,在提拉时,与硬表面的情况相比以大面积接触,因此进行了在提拉时通过施加更强的刺激是否能够提示粘着感的实验。
另外,在本实施例的实验2中,进行了对于指尖的“位移”通过使刺激变化而是否能够提示发粘的实验。在此,图17是表示相对于手指的位移量的硬表面、软表面、粘表面的接触面积的变化的图。例如,在软表面中,进行大变形的软平面大多数的情况下进行塑性变形,接触面积减少,但是在一次按下而提拉时,进行了通过设置迟滞而是否感觉到柔软度的实验。而且,在粘表面中,在提拉时,以比硬表面的情况大的面积接触,但是在一次按下而提拉时,进行了通过设置迟滞而是否感觉到发粘的实验。在此,图18是将本实施例1的实验1中使用的实验装置的结构从指尖侧示意性地表示的图。而且,图19是表示将本实施例1的实验1中使用的实验装置向手指佩戴之前的状态和佩戴后的状态的照片图。
如图18及图19所示,在本实施例1的实验1中,作为输入部112,使用了膜状的力传感器。而且,作为输出部114,使用了以4×5矩阵、2mm间隔配设有电刺激件的1.4mm直径的电触觉显示器。而且,如图所示,为了保持电刺激用的电极与皮肤的接触而使用了手指固定用具。在本实验中,只要没有特别记载,则全部电刺激的极性使用了阴极刺激。而且,对于电极一个个地将20电极全部以脉冲周期60pps(pulses per sec)进行了刺激。在此,图20是表示在本实施例1的实验1中,为了提示柔软感而使用的实验条件(按压条件)的图。而且,图21是在本实施例1的实验1中,表示为了提示粘着感而使用的实验条件(放开条件)的图。
为了确认能够进行所希望的触感提示的情况而进行了7个等级的主观评价实验。目标按下压以1Hz在0g~500g间呈正弦波状地变化。在画面上显示目标按下压和当前的按下压,请被实验者对应于此使手指按压于板的力变化,以明确地感觉到电刺激的刺激的方式进行了调整。并且,将此时感觉到的柔软感以“完全感觉不到”~“明确地感觉到”为止的主观7个等级请其进行了回答。同样,关于粘着感,也以主观7个等级请其进行了回答。被实验者为6名。图22是表示本实施例1的实验1的主观评价实验结果的图。纵轴表示7个等级的主观评价的数值。而且,横轴从左依次示出按压条件下的柔软感的主观评价结果、按压条件下的粘着感的主观评价结果、放开条件下的柔软感的主观评价结果、及放开条件下的粘着感的主观评价结果。
如图22所示,在按压条件下,符合期待那样能够明确地提示柔软感,未产生粘着感。而且,在放开条件下,得到了与柔软感相比感觉到粘着感的结果。得到了按压条件比放开条件能感觉到柔软感,Release条件比按压条件能感觉到粘着感的结果。因此,柔软感、粘着感都表现出通过与按下力对应的电刺激的皮肤感觉提示能够提示的情况。即,在实验1中,针对相对于指尖的力通过使刺激变化而是否能够提示发粘这样的假设,确认了相对于指尖的“力”通过使刺激变化而能够提示发粘的情况。
接下来,在本实施例的实验2中,进行了相对于指尖的“位移”通过使刺激变化而是否能够提示发粘的实验。图23是表示将本实施例1的实验2中使用的实验装置佩戴于手指的状态的照片图。如图23所示,与实验1的装置结构不同,设有加速度传感器。由此,能够计测手指的倾斜,通过空中的手指的动作而能够使刺激变化。需要说明的是,未使用实验1的桌子及压力传感器。在此,图24是表示本实施例1的实验2的实验条件(按压条件)的图。而且,图25是表示本实施例1的实验例2的实验条件(放开条件)的图。
如图24所示,在按压条件下,在压入动作时,为从铅垂下方向起的角度100度以下,进行抬起动作,为角度80度以上,以通过容量调整后的恒定电流值进行了刺激。另一方面,如图25所示,在放开条件下,在压入动作时为从铅垂下方向起的角度100度以下,在抬起动作时为角度80度以上,以通过容量调整后的恒定电流值进行了刺激。结果是,在按压条件下,压入动作时的刺激范围比抬起动作时增大,在放开条件下,反之抬起动作时的刺激范围比压入动作时增大,因此可以说模拟了迟滞特性。
为了确认能够进行所希望的触感提示的情况而进行了7个等级的主观评价实验。手指的角度以1.5秒周期在60度~120度之间呈正弦波状地变化。在画面上显示目标按下压和当前的按下压,请被实验者对应于此在空中使手指移动,以明确地感觉到电刺激的刺激的方式进行了调整。并且,将此时感觉到的柔软感以“完全未感觉到”~“明确感觉到”的主观7个等级请其进行了回答。同样,关于粘着感,也以主观7个等级请其进行了回答。需要说明的是,被实验者为6名。图26是表示本实施例1的实验2的主观评价实验结果的图。纵轴示出7个等级的主观评价的数值。而且,横轴从左起依次示出按压条件下的柔软感的主观评价结果、按压条件下的粘着感的主观评价结果、放开条件下的柔软感的主观评价结果、及放开条件下的粘着感的主观评价结果。
如图26所示,在按压条件下得到了明确地感觉到柔软感且未感觉到粘着感的结果。在放开条件下,柔软感与粘着感之差几乎不存在。成为放开条件比按压条件能感觉到粘着感的结果。结论是,确认到利用空中的运动的电刺激,通过在对于动作的刺激设置迟滞而能够提示粘着感的情况。
如以上所述,在本实施例1中,在实验1中,在将指尖按压于对象物的状况下,通过相对于指尖的力使电刺激变化的方法,在按下时通过施加更强的刺激而能够提示柔软感。而且可知,在提拉时,通过施加更强的刺激而能够提示粘着感。另外,在实验2中,在使指尖在空中进行动作的状况下,通过相对于指尖的位移使电刺激变化的方法,确认到通过与按下时相比在提拉时设置施加更长的刺激这样的迟滞而能够提示粘着感的情况。
作为与机械的针矩阵等的刺激相比电刺激优异的优点可列举如下的情况。在产生发粘时,本来必须再现为了将手指向上抬起而产生压觉的状况,但是在机械刺激中难以再现。在固定式(台式)的触觉显示器的情况下,在进行上下运动的针矩阵刺激中,从各针向皮肤的反力的总量与手指的按下力始终相等,因此存在无法使刺激的总量变化的问题。通过使用电刺激,能够与手指的按下力独立地使刺激的总量变化,能够消除机械刺激的问题点。而且,在佩戴型(wearable)的触觉显示器的情况下,在进行上下运动的针矩阵刺激中,从各针向皮肤的反力的总量在佩戴的指套内部产生反力,因此存在即使想要仅对指腹施加刺激的情况下在指背侧也会产生反作用的力的问题。通过使用电刺激能够向指腹独立地施加刺激。
需要说明的是,可以构成不是机械刺激或电刺激的二选一而是有效利用两者的特征的输出器件。在此,图27是表示将电刺激矩阵与机械刺激矩阵进行了组合的高密度提示器件的结构例的图。电刺激在长时间的刺激下存在感觉的稳定性或感觉的品质的问题。然而,电刺激也具有在短时间的脉冲提示时能产生极自然的感觉的优点。而且,电刺激也具有能够输出时间分辨率高的刺激(振动感觉等)的优点。另一方面,机械刺激在特别是矩阵提示那样小型化的情况下,存在时间响应性差的问题。并且,在提高时间响应性时,由于成为具有共振的设计,因此存在仅能以恒定的频率进行提示的问题。然而,也具有持续提示恒定的压力的情况容易,且压觉提示容易的优点。因此,如图27所示,通过将两者的优缺点组合,能够使用通过电触觉显示器来提示触觉的变动成分并通过机械刺激来提示触觉的压力分布成分的方法。在本结构例中,将机械刺激矩阵、电刺激矩阵分别设为3mm间隔,机械刺激矩阵使用了KGS公司制点矩阵显示器。电极尺寸为直径2.4mm。在此,图28是表示上述的拟声地图(图3)中的实施例1(轴1)的范围的图。
通过以上的实施例,如图28的粗框的范围所示,示出了能够进行垂直方向的力的表现的情况。该区域可以说是能够以垂直方向的力的持续时间进行表现的区域。即,该区域在手指的“压入、提拉”动作中,能够通过越靠上方向则提示越长时间的垂直方向的力而进行表现。例如,拟声地图上的“软粘”、“黏糊糊”的触感能够通过垂直方向的力的持续时间进行区别而进行表现。需要说明的是,在上述的实施例中,虽然示出了垂直方向的力,但是如果应用本申请发明者们的在先见解(Kajimoto et al.1999),则通过阴极性电刺激使压觉选择性地产生,将该阴极电刺激(压觉提示)在大范围提示,一边水平移动一边增强刺激时,也能够作为水平方向的力而感觉到(Sato et al.2010)。例如,也可以表现使手指沿水平方向滑动时的阻力(Frictional Force)。图29是表示通过水平方向的阻力所示的触感表现的范围的图。
为了提示该粗糙/平滑轴的粗侧的拟声而需要提示阻力(例如,粗涩感与干涩感的差异)。需要说明的是,阻力的大多数为水平力,但是一部分的拟声如上所述也有垂直方向的力的参与。
图29所示的粗糙/平滑轴的左下侧的区域主要可以通过阻力与振动的组合来表现。但是,右下的一部分的区域(光滑、光溜等)可认为有温度的参与。该区域可考虑为能够通过以下方式进行表现:越靠图的左上方向则提示越强的阻力,越靠左下方向则提示越低的中心频率的振动。例如,“粗涩”、“不平”、“干涩”通过阻力的强度和振动的成分能够区别表现。可考虑不平能够以比粗涩低的频率表现,干涩能够以比粗涩弱的阻力表现的情况。
因此,将基于电力的水平力表现与振动组合,进行了是否能够表现“粗涩”“不平”“干涩”的区别的实验。图30是表示实验使用的器件的图。实验器件等的详情请参照在先见解(Kajimoto,et al.1999,、Sato et al.2010)。
作为实验条件,将基于电刺激的水平力的提示设为有/无这2个条件,振动刺激的提示方法设为白噪声(高)、粉红噪声(低)、无这3个条件。并且,请12名被实验者对于各条件,回答了“粗涩感”“不平感”“干涩感”的真实度。图31是表示“粗涩感”“不平感”“干涩感”的再现实验的结果的图。
如图31所示可知,粗涩感在振动全体产生,不平感以粉红噪声产生,干涩感以白噪声产生。而且可知,粗涩感、不平感由于电刺激(水平力表现)而真实度增加。干涩感反之在没有电刺激(水平力表现)的情况下真实地感觉到。根据以上的结果,证明了粗涩、不平、干涩在振动-力平面中能够区别表现的情况。
接下来,关于基于阻力和温度的表现进行了实验。图32是表示通过阻力和温度而再现的触觉表现的范围的图。图中的比纵的点线靠右的区域可认为主要通过阻力与温度的组合能够进行表现。干-湿轴通过温度下降能够进行表现,在本申请发明者的在先研究中,通过温度下降来表现布的湿气(佐藤等,2016)。反之,对湿度其本身进行感觉的感受器不存在。需要说明的是,硬-软轴主要通过振动能够表现,沿着图中的轴,左下的区域虽然振动的中心频率低(例:不平),但是随着向右上前进而中心频率升高(例:粗涩、干涩)。
图32的粗框所示的区域可考虑为能够通过以下方式进行表现:越靠图的右方向则提示越大的温度下降,越靠左上方向(沿着阻力的轴的方向)则提示越强的阻力或越长时间的阻力。由此,进行了例如是否能够将“滑润”、“滑腻”、“光溜”、“光滑”区别表现的实验。可认为随着向区域的右侧移动而需要大的温度下降(例:滑润v.s滑腻)。另一方面,区域的外侧的左侧未参与温度下降。温度下降也由材质表示,因此对于人类而言也难以区别(例:与金属接触时的温度下降)。因此,该轴的名称假设设为干湿轴,但是也包含材质感的表现(例:光溜v.s.干爽)。
作为一例,可认为“光溜”是通过无阻力、温度下降,“光滑”是通过无阻力、无温度下降,“滑润”是通过有阻力、无温度下降,“滑腻”是通过有阻力、有温度下降的表现而能够再现。图33是表示实验使用的器件和振动波形的图。
在此,为了预备的研讨而进行了不是电刺激而是实际的水平皮肤变形提示的表现。对于手指的动作,改变“延迟(0,100,200ms)”和“刺激的持续时间(50,250,450ms)”而进行了水平力提示。并且,对于3x3=9条件,请9名被实验者回答了“光滑”“光溜”“滑润”“滑腻”的真实度。图34是表示“光滑”“光溜”“滑润”“滑腻”的再现实验的结果的图。
如图34所示可知,滑润感、滑腻感随着刺激的持续时间的变长而较强地产生。光滑感、光溜感不变化而为恒定的低值。即,可知“滑润、滑腻”通过阻力提示而能够与“光滑、光溜”区别表现。需要说明的是,在预备研讨中,可观察到光溜和光滑通过温度下降而区别回答的倾向。在此,图35是表示心理空间的拟声地图和由力、振动、温度这3轴表示的物理空间的刺激映射的图。
根据以上的实验,示出了如下情况:由“通过垂直方向的力的持续时间能够进行表现的区域”(图中的“实验1”)、“通过阻力和振动的组合能够进行表现的区域”(图中的“实验2”)、“通过阻力和温度的组合能够进行表现的区域”(图中的“实验3”)这3个区域,在拟声地图的整体的区域能够进行触感的表现。该心理轴如拟声地图所示,主要可以分为粗糙/平滑轴、软硬轴、干湿轴,如图的右侧所示,示出了如下情况:作为物理刺激,将基于“力”的粗糙-平滑的表现、基于“振动”的硬-软的表现、基于“温度”的干-湿的表现进行组合,从而通过物理空间(物理量的组合)能够表现由心理空间(拟声地图)表现的触感。
换言之,通过实验验证了通过阻力(水平力、垂直力)、振动、温度能够表现拟声地图的粗糙-平滑轴、硬-软轴、干-湿轴的情况。可知触感的心理空间根据触碰了多种原料时所表现的“拟声”的解析,主要通过粗糙/平滑轴、软硬轴、干湿轴能够进行表现。特别是如果使用基于电刺激的垂直、水平方向的力提示机构,则与机械刺激相比,不仅具有紧凑度,而且具有产生感觉的空间分布的自然度的优点。
具体而言,通过垂直力能够表现发粘或软粘,通过水平力与振动的组合能够表现不平、干涩、粗涩,通过水平力与温度的组合能够提示光滑、光溜、滑润、滑腻,因此可知通过阻力(水平力、垂直力)、振动、温度能够表现拟声映射的粗糙-平滑轴、硬-软轴、干-湿轴。
[实施例2]
在此,关于本实施方式的触感提示系统的实施例2以下进行说明。
温度提示根据元件的特性和热的性质而提示容易产生延迟。而且,根据人类的生理学的特性,也存在温度刺激的时间上的、空间上的两点阈限大而难以感觉的问题。在实施例2中,主要关于温度提示,通过实验确认到了在时空上能够使感觉点鲜明化的情况。
即,作为本实施例2的目的,在指腹部与物体接触的同时对指侧面部提示温冷刺激,由此使从物体得到的温冷感变化,确认了是否能感觉到温冷感的扩张现实感。被实验者设为18岁~21岁的9名女性。需要说明的是,关于全员实验的假设,未提供预备知识。而且,在指腹部的皮肤温度调整为32度之后进行了实验。在此,图36是表示本实施例2的实验装置(珀耳帖元件)的结构的图,图37是表示本实施例2的实验环境和珀耳帖元件的佩戴例的图。
如图36及图37(b)所示,在指侧面(a、b、c、d的部位)佩戴了珀耳帖元件。而且,如图37(a)所示,皮肤温度通过热板进行了调整。在热板上配置有接触对象的珀耳帖元件和休息用的铝板(Platform)。
作为本实施例2的实验的方法,在打手势的同时触碰接触对象的情况设为间隔30秒来实施。请被实验者感觉2秒钟的触碰了接触对象时的随机选择的刺激,并以对于标准刺激的感觉强度为100而请其以数值来回答指腹部感觉到的刺激强度。各条件各实施3次尝试,将平均值作为该被实验者的感觉强度而采用。
作为本实施例2的条件,将刺激的种类设为温、冷这2种。而且,如图38所示,刺激提示部位设为Both(侧面和腹部)、Pad(仅腹部)、Side(仅侧面)这3种。
图38是示意性地表示从指尖侧观察手指时的施加温度刺激(Thermal stimulus)的位置的图。腹部和侧面分别使用各2个珀耳帖元件,刺激强度设为2种(温/强4℃/s、温/弱3℃/s、冷/强3℃/s、冷/弱2℃/s)。需要说明的是,将向Pad(仅腹部)的强刺激作为标准刺激而使用,每6次尝试而确认了标准刺激的强度。
图39是表示本实施例2的实验结果的坐标图。图39(a)示出温刺激的情况,图39(b)示出冷刺激的情况,设为p<0.05(基于ANOVA及Ryan法的多重比较),仅图示出与Pad(仅手指腹部)的显著性差异(有意差)。
其结果是,如图39所示,在Both(侧面和腹部)和Pad(仅腹部)中,温/冷都是Both比Pad的感觉强。而且,在Pad(仅腹部)和Side(仅侧面)中,在温刺激下,Pad弱和Side强感觉为同等的强度。而且,在冷刺激下也感觉到同等的强度。
作为本实施例2的本实验1的考察,确认到如下情况:在指腹部与物体接触的瞬间向指侧面部进行温冷刺激,由此能够感觉到与指腹部的温度实际变化时同等的指冷感。
接下来,作为本实施例2的实验2,关于温冷刺激的提示位置及压/振动刺激的有无进行了研讨。本实验2的目的是在指腹部预先与物体相接时或与物体未相接时,评价指腹部和侧面分别感觉的温冷感的情况,即通过实验确认了通过有无压刺激而温冷感如何受到影响。
在与物体相接时,评价了侧面部的温冷刺激的提示位置(单侧和两侧)的影响和有无振动刺激的影响。被实验者为19岁~21岁的12名女性,关于全员实验的假设而未提供预备知识。而且,预先将指腹部的皮肤温度调整为32度。
图40是表示本实施例2的实验2的实验装置的图。与实验1同样,在指侧面佩戴珀耳帖元件,通过热板调整了皮肤温度。如图40所示,在热板上配置了接触对象的珀耳帖元件(e、b的部位)和休息用的铝板。在珀耳帖元件的下方设置了振子(TECHTILE Toolkit)。
作为本实施例2的实验2的实验方法,以间隔30秒实施了在打手势的同时触碰接触对象或者将手指停留在空中的情况。并且,感觉2秒钟随机选择的刺激,将对于标准刺激的感觉强度设为100而以数值回答了在手指的腹部和侧面部感觉到的刺激强度。实验在各条件下各实施1次尝试。
作为本实施例2的实验2的实验条件,刺激的种类设为温/冷这两种。而且,如图41所示,刺激提示条件设为None(无腹部接触)、Pad(仅腹部)、Side(仅侧面,无振动)、Vib(仅侧面,有振动)这4种。图41是示意性地表示从指尖侧观察手指时的施加温度刺激(Thermalstimulus)的位置的图。如图41所示,腹部和侧面分别使用了各2个珀耳帖元件。而且,刺激强度设为温/强4℃/s、温/弱3℃/s、冷/强3℃/s、冷/弱2℃/s这2种。在即将成为温冷刺激之前,对于指腹部施加了200Hz、0.1秒钟的振动刺激。需要说明的是,将向Pad(指腹部)的强刺激作为标准刺激而使用,每8次尝试而确认了标准刺激的强度。
图42是表示温刺激时的本实施例2的实验2的实验结果的坐标图。图43是表示冷刺激时的本实施例2的实验2的实验结果的坐标图。与图39同样,强刺激由深的柱状图表示,弱刺激由浅的柱状图表示。
如图42所示,在温刺激时,向侧面部的刺激在单侧/两侧都是无接触下在腹部未感觉到温感。而且,在仅对指腹部进行了刺激的情况下,在侧部也感觉到些许的温感。在腹部的感觉强度下,进行了以向侧面部的刺激位置、振动刺激的有无、刺激强度为主要原因的分散分析的结果是,仅刺激强度的主效果存在显著性差异(F(1,95)=10.16,p<.01)。另一方面,刺激位置与振动刺激的有无的主效果不存在显著性差异(F(1,95)=0.80,p=0.39.F(1,95)=1.131,p<0.31)。
在侧部的感觉强度中,位置与强度的交互作用存在显著性差异(F(1,95)=4.85,p<.05),多重比较的结果是在单侧刺激的情况下在强度间存在显著性差异(p<.05)。
如图43所示,在冷刺激的情况下,向侧面部的刺激在单侧/两侧都存在即使无接触在腹部也感觉到些许的冷感的情况。另一方面,在仅对指腹部进行了刺激时,在侧部未感觉到冷感。在腹部的感觉强度中,以向侧面部的刺激位置、振动刺激的有无、刺激强度为主要原因的分散分析的结果是,仅在振动刺激的有无和刺激强度的主效果存在显著性差异(F(1,95)=5.55,p<.05,F(1,95)=7.74,p<.05)。需要说明的是,刺激位置的主效果不存在显著性差异(F(1,95)=0.76,p<0.40)。而且,在侧部的感觉强度中,在强度的主效果存在显著性差异(F(1,95)=10.45p<.01)。
通过以上的实验2可知,在向指腹部的温冷感提示中,指腹部的触刺激至关重要。而且可知,仅压刺激的情况下,也能够向腹部提示温冷感。而且可知,即使向侧面部单侧的刺激的情况下,也能够向腹部提示温冷感。即,在单侧和两侧没有差别,而且在无接触的情况下在腹部未产生温冷感,因此可认为这不是幻觉现象,而是产生了接近热指引(thermalreferral)的现象。但是,在冷刺激的情况下,即使无接触,在腹部有时也会感觉到冷觉,因此存在与热指引不同的全新的现象的可能性。
作为本实施例2的预备实验(实验3),关于以下的3个项目进行了基础的确认。
a.接触的有无+温度刺激
b.振动刺激的有无+温度刺激
c.压刺激+振动刺激+温度刺激
在此,被实验者设为19岁的2名女性,手指的皮肤温度调整为32度。实验装置如上述的图36所示,在手指侧面佩戴珀耳帖元件,刺激强度为约3.5℃/s,刺激时间为2秒钟。振动刺激使用TECHTILE Toolkit,频率为200Hz。
作为本实施例2的实验3(a.接触的有无+温度刺激)的实验方法,在警报鸣响时立即触碰对象物体(塑料树脂),在警报前后的特定的时间开始了温度刺激(-2秒~+2秒,0.5秒刻度的9个种类)。并且,请其以数值回答了在指腹部感觉到的温度感觉(冷:-3点~+3点:温)。在各条件下进行了各2次尝试。
图44是通过本实验3(a.接触的有无+温度刺激)来表示对于接触的温度感觉的偏差的图。如图44所示可知,当偏离±2秒左右时,指腹部的温度感觉未产生。在温感觉的情况下,希望温度刺激比振动刺激快地进行提示,在冷感觉的情况下,希望将温度刺激与振动刺激同时提示。从心理物理学的见解出发,已知温感觉感觉迟缓,也可考虑到其产生影响的可能性。而且,作为主观的印象,在接触的同时皮肤的温度改变的情况下感觉最强,成为了与温(或冷)的塑料树脂接触的感觉。
接下来,通过本实验3(b.振动刺激的有无+温度刺激)关于对于振动的温度感觉的偏差进行了实验。实验方法以与塑料树脂接触的状态等待,使塑料振动并提示了刺激。在振动刺激前后的特定的时间开始了温度刺激(-2秒~+2秒,0.5秒刻度的9个种类)。并且,请其以数值回答了在指腹部感觉到的温度感觉(冷:-3点~+3点:温)。在各条件下进行了各2次的尝试。
图45是通过本实验3(b.振动刺激的有无+温度刺激)表示对于振动的温度感觉的偏差的图。实验的结果是,与实验a相比,由时间差产生的温度感觉的变化小。由于与振子的接触压的影响,无论振动刺激的有无如何,都可能会产生一定程度的温度感觉。温刺激快、冷刺激在同时提示时能得到强烈感觉的情况与实验a同样。
接下来,通过本实验3(c.压刺激+振动刺激+温度刺激),关于压刺激与振动刺激的组合的温度感觉的偏差进行了研讨。作为实验方法,以约20g重、约100g重、约250g重的任一力触碰塑料树脂,使塑料振动并提示了刺激。而且,在振动刺激前后的特定的时间,开始了温度刺激(-2秒~+2秒,0.5秒刻度的9个种类)。并且,请其以数值回答了在指腹部感觉到的温度感觉(冷:-3点~+3点:温)。在各条件下进行了1次尝试。
[表2]
表2 压刺激+振动刺激+温度刺激(中央值,冷刺激)
时间差[秒] 约20重 约100g重 约250重
-2 -0.5 -0.75 -0.75
0 -2.25 -1.75 -1.5
2 -1.25 -0.5 -1.25
表2是表示冷刺激的情况下由压刺激与振动刺激的组合产生的温度感觉的偏差的表。而且,表3是表示温刺激的情况下由压刺激与振动刺激的组合产生的温度感觉的偏差的表。由接触压产生的影响微小,也存在接触压越弱则越容易得到温度感觉的可能性。与实验a或b同样,可认为即便提前提示温刺激,感觉也不会变得太弱。
[表3]
表3 压刺激+振动刺激+温度刺激(中央值,温刺激)
时间差[秒] 约20g重 约100g重 约250g重
-2 1.75 2 1.5
0 2 2.25 2
2 1.5 1.25 1.25
通过以上的实施例2,得到了以下的见解。通过本实施例2可知,对于接触刺激通过将冷刺激的时刻错开而得到的感觉变弱。而且可知,在偏离±2秒左右时,难以得到感觉。可知对于接触刺激的热刺激的时刻可能依赖于感觉到热刺激为止花费的时间,在温刺激的情况下,与同时相比使时刻提前得到的感觉变强。但是,在与振子始终处于接触状态的状态下进行振动刺激时,会产生不少感觉。可认为当振动开始时,需要赋予产生了与物体的接触这样的前后关系。压刺激的强度不会对得到的感觉产生影响。
以上,根据包含本实施例2的本实施方式,能够构成如下的触觉提示装置:将电力、力、温度、振动的全部、或者它们的任意的组合的提示元件配置在人类的皮肤上的不同的部位,作为效果,在一个部位感觉到刺激。
另外,根据本实施方式,将力提示配设于刺激的作用点,将振动、温度、电刺激中的任一个或者任意的组合的刺激件配设于在物理上分离的场所,通过幻觉等的现象,能够将该刺激的感觉定位于力的作用点。而且,通过力的提示将基于幻觉等的定位像进行鲜明化,由此能够使力、电力、振动、温度的触觉基色的提示部位一致。
另外,根据本实施方式,将力提示配设于刺激的作用点,将振动、温度中的任一者或两者的刺激件配设于在物理上分离的场所,通过幻觉等,能够将该刺激的感觉定位于力的作用点。而且,通过力的提示,能够将基于幻觉等的定位像进行鲜明化,能够使力、振动、温度的触觉基色的提示部位一致。
另外,根据本实施方式,将电刺激提示配设于刺激的作用点,将振动、温度中的任一者或两者配设于在物理上分离的场所,通过幻觉等能够定位于力的作用点。而且,通过电刺激的提示将基于幻觉等的定位像进行鲜明化,由此能够使电力、振动、温度的触觉基色的提示部位一致。
另外,根据本实施方式,将振动提示配设于刺激的作用点,将温度配设于在物理上分离的场所,通过幻觉等能够定位于振动的作用点。而且,通过振动的提示将基于幻觉等的定位像进行鲜明化,由此能够使振动、温度的触觉基色的提示部位一致。
以上,结束包含本实施例1、2的本实施方式的说明。
[其他的实施方式]
此外,到目前为止说明了本发明的实施方式,但是本发明除了上述的实施方式以外,在权利要求书的范围记载的技术思想的范围内可以通过各种不同的实施方式实施。
例如,在触觉信息转换装置100中,说明了具备输入部112、输出部114而构成的例子,但是并不局限于此,也可以不具备输入部112、输出部114而构成为独立的框体。这种情况下,触觉信息转换装置100可以根据来自外部设备200等的客户终端的要求进行处理,并将其处理结果向该客户终端返还。
另外,实施方式中说明的各处理中的作为自动进行的处理而说明的处理的全部或一部分也可以手动进行,或者作为手动进行的处理而说明的处理的全部或一部分也可以通过公知的方法自动进行。
此外,关于上述文献中或附图中所示的处理顺序、控制顺序、具体的名称、包含各处理的注册数据或检索条件等参数的信息、画面例、数据库结构,除了特别记载的情况之外可以任意变更。
另外,关于触感提示系统,图示的各结构要素是功能概念的要素,不是必须在物理上如图所示构成。
例如,关于触觉信息转换装置100的各装置所具备的处理功能,特别是通过控制部102进行的各处理功能,其全部或任意的一部分可以通过CPU(Central Processing Unit)等处理器及该由处理器解释执行的程序来实现,而且,可以作为基于布线逻辑的硬件处理器来实现。需要说明的是,程序记录在后述的包含用于使计算机执行本发明的方法的程序化的命令的、非暂时性的计算机能够读取的记录介质中,根据需要而由触觉信息转换装置100或外部设备200机械性地读取。即,在ROM或HDD(Hard Disk Drive)等存储部106等中,记录有与OS(Operating System)协作而向CPU施加命令并用于进行各种处理的计算机程序。该计算机程序通过向RAM载入而被执行,与CPU协作来构成控制部。
另外,该计算机程序可以存储于经由任意的网络300而与触觉信息转换装置100或外部设备200或外部输入装置120或外部输出装置140连接的应用程序服务器,根据需要能够下载其全部或一部分。
另外,可以将本发明的程序存储于计算机能够读取的记录介质,而且,也可以构成为程序制品。在此,该“记录介质”包括存储卡、USB存储器、SD卡、软盘、光磁盘、ROM、EPROM、EEPROM、CD-ROM、MO、DVD及Blu-ray(注册商标)Disc等的任意的“移动式物理介质”。
另外,“程序”是利用任意的语言或记述方法记述的数据处理方法,可以为源代码或二进制码等的任意的形式。需要说明的是,“程序”未必局限于单一地构成的结构,也包括作为多个模块或库而分散构成的结构,或与以OS(Operating System)为代表的另外的程序协作而实现其功能的结构。需要说明的是,关于在实施方式所示的各装置中用于读取记录介质的具体的结构、读取顺序、或读取后的安装顺序等,可以使用周知的结构或顺序。程序可以作为记录在非暂时性的计算机能够读取的记录介质中的程序制品来构成本发明。
存储于存储部106的各种数据库等(触觉定义文件106a、物体触感数据库106b等)是RAM、ROM等的存储器装置、硬盘等固定盘装置、软盘、及光盘等存储机构,存储有在各种处理或网站提供中使用的各种程序、表格、数据库及网页用文件等。
另外,触觉信息转换装置100或外部设备200或外部输入装置120或外部输出装置140可以构成为已知的个人计算机、工作站等信息处理装置,而且,可以在该信息处理装置连接任意的周边装置来构成。而且,触觉信息转换装置100或外部设备200或外部输入装置120或外部输出装置140可以通过在该信息处理装置安装用于实现本发明的方法的软件(包括程序、数据等)来实现。
此外,装置的分散/汇总的具体的方式并不局限于图示的情况,其全部或一部分可以根据各种附加等,或者根据功能负载,以任意的单位功能性或物理性地进行分散/汇总而构成。即,可以将上述的实施方式任意地组合实施,也可以将实施方式选择性地实施。
(附记1)
一种触觉信息转换装置,其为了向输出部侧提供触觉信息而至少具备控制部,所述输出部侧能够输出至少包含电力并包含力、温度、振动及/或时空的物理量,其特征在于,
所述控制部具备:
生成部,其根据作为提示目的的触感,选择所述物理量中的至少两个以上的多个物理量,基于选择的物理量,生成用于提示规定的所述触感的触觉信息;及
输出控制部,其将通过所述生成部生成的所述触觉信息向所述输出部侧输出。
(附记2)
根据附记1记载的触觉信息转换装置,其特征在于,
所述物理量中的电力的输出是接触感受器的电刺激提示。
(附记3)
根据附记1或2记载的触觉信息转换装置,其特征在于,
所述触感是心理质感。
(附记4)
根据附记1~3中任一记载的触觉信息转换装置,其特征在于,
所述生成部在提示基于力的时间变化的触感时,至少选择电力及时空的所述物理量,并基于选择的物理量,生成用于提示规定的所述触感的触觉信息。
(附记5)
根据附记1~4中任一记载的触觉信息转换装置,其特征在于,
所述生成部在从非接触状态向接触状态的转变过程或身体的位移过程中,以施加比硬表面时强的电力、力或振动的刺激、或者比硬表面时大面积的电力、力或振动的刺激的方式生成所述触觉信息,
所述输出控制部基于由所述生成部生成的所述触觉信息,来提示柔软的心理质感。
(附记6)
根据附记1~5中任一记载的触觉信息转换装置,其特征在于,
所述生成部在从接触状态向非接触状态的转变过程或身体的位移过程中,以施加比硬表面时强的电力、力或振动的刺激、或者比硬表面时大面积的电力、力或振动的刺激的方式生成所述触觉信息,
所述输出控制部基于由所述生成部生成的所述触觉信息,来提示发粘的心理质感。
产业上的可利用性
如以上详述说明那样,根据本发明,能够提供一种能够提示任意的触感而通用地使用的触觉信息转换装置、触觉信息转换方法及触觉信息转换程序以及记录介质,具有产业上的可用性。
例如,通过使用本发明,例如使远距离地点的机器人作为自己的分身而动作,通过进行体感,从而能够在远距离作业/远距离工作领域、护理/健康领域、熟练技术的传递/学习领域、媒介/广播技术、虚拟体育、娱乐领域、移动办公、可穿戴领域等产业领域中使用。
符号说明
100 触觉信息转换装置
102 控制部
102a 提示触感设定部
102b 生成部
102c 输出控制部
102d 第一刺激部
102e 第二刺激部
104 通信控制接口部
106 存储部
106a 触觉定义文件
106b 物体触感数据库
108 输入输出控制接口部
112 输入部
114 输出部
120 外部输入装置
120a 分布型压觉计测传感器
120b 温冷感计测传感器
120c 振动感计测传感器
140 外部输出装置
140a 分布型压力提示部
140b 温冷感提示部
140c 振动提示部
200 外部设备

Claims (20)

1.一种触觉信息转换装置,其为了向输出部侧提供触觉信息而至少具备控制部,所述输出部侧能够输出至少包含电力并包含力、温度、振动及/或时空在内的物理量,
其特征在于,
所述控制部具备:
生成部,其根据作为提示目的的触感,选择所述物理量中的至少两个以上的多个物理量,并且基于选择的物理量,生成用于提示规定的所述触感的触觉信息;及
输出控制部,其将通过所述生成部生成的所述触觉信息向所述输出部侧输出。
2.根据权利要求1所述的触觉信息转换装置,其特征在于,
所述物理量中的电力的输出是接触感受器的电刺激提示。
3.根据权利要求1或2所述的触觉信息转换装置,其特征在于,
所述触感是心理质感。
4.根据权利要求1~3中任一项所述的触觉信息转换装置,其特征在于,
所述身体是手指。
5.根据权利要求3所述的触觉信息转换装置,其特征在于,
所述心理质感是根据由人体的多个不同的触觉感受器得到的信息而在脑内汇总认知的心理量。
6.一种输入装置,其特征在于,
具备权利要求1~5中任一项所述的触觉信息转换装置。
7.根据权利要求6所述的输入装置,其特征在于,
所述输入装置在表层至少具备多点分布型压觉计测传感器,在中间层至少具备温冷感计测传感器,在下层至少具备振动感计测传感器。
8.一种发送装置,其特征在于,
具备权利要求1~5中任一项所述的触觉信息转换装置。
9.一种存储装置,其特征在于,
具备权利要求1~5中任一项所述的触觉信息转换装置。
10.一种服务器装置,其特征在于,
具备权利要求1~5中任一项所述的触觉信息转换装置。
11.一种接收装置,其特征在于,
具备权利要求1~5中任一项所述的触觉信息转换装置。
12.一种输出装置,其特征在于,
具备权利要求1~5中任一项所述的触觉信息转换装置。
13.根据权利要求12所述的输出装置,其特征在于,
所述输出装置在表层至少具备基于多点电触觉刺激的分布型压力提示部,在中间层至少具备基于珀耳帖元件的高速驱动型温冷感提示部,在下层至少具备宽频带的振动提示部。
14.一种交互式操作系统,其具备权利要求1~5中任一项所述的触觉信息转换装置,使用由操作者操作的机器人示教装置向机器人示教动作,其特征在于,
所述机器人具有:
手指部,其用于把持物体;
物体检测部,其配置于所述手指部,检测所述物体或所述物体的性状,生成物体检测信息;及
机器人驱动装置,其使所述机器人驱动,
所述机器人示教装置具有物体检测感觉提供部,该物体检测感觉提供部基于从所述机器人传送来的所述物体检测信息,根据由所述触觉信息转换装置转换后的触觉信息,向所述操作者提供对应的触感。
15.一种触觉信息转换方法,其在触觉信息转换装置中被执行,该触觉信息转换装置为了向输出部侧提供触觉信息而至少具备控制部,所述输出部侧能够输出至少包含电力并包含力、温度、振动及/或时空在内的物理量,
其特征在于,
所述触觉信息转换方法包括在所述控制部被执行的生成步骤和输出控制步骤,
在所述生成步骤中,根据作为提示目的的触感,选择所述物理量中的至少两个以上的多个物理量,并且基于选择的物理量,生成用于提示规定的所述触感的触觉信息,
在所述输出控制步骤中,将通过所述生成步骤生成的所述触觉信息向所述输出部侧输出。
16.一种触觉信息转换程序,其是为了向输出部侧提供触觉信息而用于使计算机执行的程序,所述输出部侧能够输出至少包含电力并包含力、温度、振动及/或时空在内的物理量,
其特征在于,
所述触觉信息转换程序用于使计算机执行:
根据作为提示目的的触感,选择所述物理量中的至少两个以上的多个物理量,并且基于选择的物理量,生成用于提示规定的所述触感的触觉信息的生成步骤;及
将通过所述生成步骤生成的所述触觉信息向所述输出部侧输出的输出控制步骤。
17.一种触觉信息转换装置,其为了向输出部侧提供触觉信息而至少具备控制部,所述输出部侧能够输出包含电力、力、温度、振动及/或时空在内的物理量,
其特征在于,
所述控制部具备:
生成部,其根据作为提示目的的触感,选择所述物理量中的至少一个物理量,基于选择的物理量,生成用于提示规定的所述触感的触觉信息;及
输出控制部,其将通过所述生成部生成的所述触觉信息向所述输出部侧输出,
所述生成部根据作为所述提示目的的触感,与基于力的粗糙/平滑轴、基于振动的软硬轴、及基于温度的干湿轴中的至少两轴建立对应地选择所述物理量。
18.根据权利要求17所述的触觉信息转换装置,其特征在于,
所述生成部对于触感已知的样品,通过将由所述检测部检测到的所述物理量和该触感与所述至少两轴的映射建立对应地进行更新来进行学习。
19.一种触觉信息转换装置,其为了得到触觉信息,至少具备检测部和控制部,其特征在于,
所述检测部能够检测包含力、温度、振动及/或时空在内的物理量,
所述控制部基于由所述检测部检测到的所述物理量,与基于力的粗糙/平滑轴、基于振动的软硬轴、及基于温度的干湿轴中的至少两轴建立对应,由此获取用于提示对应的触感的所述触觉信息。
20.根据权利要求19所述的触觉信息转换装置,其特征在于,
所述控制部对于触感已知的样品,通过更新将由所述检测部检测到的所述物理量与该触感建立了对应的所述至少两轴的映射来进行学习。
CN201780021222.3A 2016-04-07 2017-04-07 触觉信息转换装置、触觉信息转换方法、及触觉信息转换程序 Pending CN108885500A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-077692 2016-04-07
JP2016077692 2016-04-07
PCT/JP2017/014570 WO2017175867A1 (ja) 2016-04-07 2017-04-07 触覚情報変換装置、触覚情報変換方法、および、触覚情報変換プログラム

Publications (1)

Publication Number Publication Date
CN108885500A true CN108885500A (zh) 2018-11-23

Family

ID=60000417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780021222.3A Pending CN108885500A (zh) 2016-04-07 2017-04-07 触觉信息转换装置、触觉信息转换方法、及触觉信息转换程序

Country Status (5)

Country Link
US (2) US10739858B2 (zh)
JP (1) JP6875010B2 (zh)
KR (1) KR20180112847A (zh)
CN (1) CN108885500A (zh)
WO (1) WO2017175867A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447038A (zh) * 2018-11-27 2019-03-08 南京恩诺网络科技有限公司 触觉信息估算方法及装置、系统
CN109710059A (zh) * 2018-11-27 2019-05-03 南京恩诺网络科技有限公司 感官信息还原方法、装置及系统
CN109710058A (zh) * 2018-11-27 2019-05-03 南京恩诺网络科技有限公司 触觉信息录制方法及装置、系统
CN109739345A (zh) * 2018-11-27 2019-05-10 南京恩诺网络科技有限公司 触觉还原方法、装置及系统
CN109782950A (zh) * 2019-01-04 2019-05-21 Oppo(重庆)智能科技有限公司 触摸电极控制方法、装置、存储介质及电子设备
TWI805134B (zh) * 2021-12-17 2023-06-11 長庚大學 感光觸覺系統及其感光方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101853706B1 (ko) * 2016-11-30 2018-05-02 (주)슈팅스 손가락 마디 간 착용형 반지 타입의 사용자 조작 센싱 장치
JPWO2018143021A1 (ja) * 2017-02-06 2019-07-04 アルプスアルパイン株式会社 触覚呈示装置
WO2018143015A1 (ja) * 2017-02-06 2018-08-09 アルプス電気株式会社 触覚呈示装置
US10627906B2 (en) * 2017-06-02 2020-04-21 International Business Machines Corporation Tactile display using microscale electrostatic accelerators
CN108153020B (zh) * 2018-01-02 2020-08-11 京东方科技集团股份有限公司 触控结构,触控面板及其制备方法、触控显示装置
US10795446B2 (en) * 2018-04-25 2020-10-06 Seventh Sense OÜ Portable electronic haptic vision device
JP2019198939A (ja) * 2018-05-18 2019-11-21 Telexistence株式会社 触覚センサ
JP7020998B2 (ja) * 2018-05-22 2022-02-16 京セラ株式会社 測定装置及び測定装置の制御方法
JP7000253B2 (ja) * 2018-05-31 2022-01-19 国立大学法人東海国立大学機構 力覚視覚化装置、ロボットおよび力覚視覚化プログラム
KR102094002B1 (ko) * 2018-07-10 2020-04-24 주식회사 콜라비팀 인공 신경망 기반 알고리즘을 이용한 디바이스 모니터링 방법 및 시스템
CN112534723B (zh) * 2018-08-08 2024-06-18 索尼公司 解码装置、解码方法和程序
JP7127513B2 (ja) * 2018-11-30 2022-08-30 トヨタ自動車株式会社 センサシステムおよびロボットハンド
JP7415139B2 (ja) * 2019-01-11 2024-01-17 ダイキン工業株式会社 環境条件記憶装置、環境条件記憶方法、操作装置、及び環境認識装置
WO2020145386A1 (ja) * 2019-01-11 2020-07-16 ダイキン工業株式会社 環境条件記憶装置、環境条件記憶方法、操作装置、及び環境認識装置
WO2020210014A1 (en) * 2019-04-11 2020-10-15 Massachusetts Institute Of Technology Sensing and control systems
KR102265399B1 (ko) * 2019-06-12 2021-06-15 주식회사 씨케이머티리얼즈랩 스테레오 촉각 제공 장치
CN110297546B (zh) * 2019-07-08 2022-05-03 合肥工业大学 一种用于采集腕部-手指动作同步信号的装置及其标注方法
JP7337579B2 (ja) * 2019-07-24 2023-09-04 トヨタ紡織株式会社 情報処理装置
CH716787B1 (it) * 2019-11-13 2022-10-14 Wintecare Sa Manipolo attuatore per un dispositivo di stimolazione neuromuscolare e relativo dispositivo di stimolazione neuromuscolare.
EP4162472A1 (en) * 2020-06-06 2023-04-12 Battelle Memorial Institute High-definition electrical stimulation garment for evoking realistic somatosensation
WO2021248010A1 (en) * 2020-06-06 2021-12-09 Battelle Memorial Institute High-definition electrical stimulation for enhanced spatial awareness and target alignment in weapon aiming applications
JP7380439B2 (ja) * 2020-06-18 2023-11-15 日本電信電話株式会社 触覚提示物、触覚提示装置、触覚提示方法、プログラム
WO2022046340A1 (en) 2020-08-31 2022-03-03 Sterling Labs Llc Object engagement based on finger manipulation data and untethered inputs
US20220374649A1 (en) * 2021-05-20 2022-11-24 Disney Enterprises, Inc. Face swapping with neural network-based geometry refining
WO2023037431A1 (ja) * 2021-09-08 2023-03-16 豊田合成株式会社 触感提示装置
WO2023119582A1 (ja) * 2021-12-23 2023-06-29 日本電信電話株式会社 見掛け力制御装置、見掛け力提示システム、見掛け力制御方法、およびプログラム
EP4250060A1 (en) * 2022-03-25 2023-09-27 Nokia Technologies Oy Apparatus, systems, methods and computer programs for transferring sensations
JP2023150609A (ja) * 2022-03-31 2023-10-16 株式会社栗本鐵工所 出力制御装置、出力制御プログラム及び出力制御方法
WO2024101689A1 (ko) * 2022-11-10 2024-05-16 삼성전자주식회사 햅틱 피드백을 출력하기 위한 전자 장치 및 그 방법
US11751799B1 (en) * 2023-02-08 2023-09-12 Lanny Leo Johnson Methods and systems for diagnosing cognitive conditions

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101021745A (zh) * 2006-12-14 2007-08-22 东南大学 基于多维刺激的彩色射流触觉图文显示装置及显示方法
JP2010102560A (ja) * 2008-10-24 2010-05-06 National Institute Of Information & Communication Technology 把持感覚提示装置
CN102016759A (zh) * 2008-05-09 2011-04-13 皇家飞利浦电子股份有限公司 用于传送情绪的方法和系统
JP2011086068A (ja) * 2009-10-14 2011-04-28 Chugoku Electric Power Co Inc:The 状態再現システム
US20110134034A1 (en) * 2004-05-25 2011-06-09 Tyler Jon Daniel Input Device and Method, and Character Input Method
WO2012073733A1 (ja) * 2010-12-03 2012-06-07 日本電気株式会社 提示装置、コミュニケーションシステム、および感性提示方法
CN102609094A (zh) * 2012-02-24 2012-07-25 东南大学 电振双模多维触觉刺激器
JP2013091114A (ja) * 2011-10-05 2013-05-16 Kyokko Denki Kk インタラクション操作システム
US20140168073A1 (en) * 2011-06-15 2014-06-19 University Of Washington Through Its Center For Commericialization Methods and Systems for Haptic Rendering and Creating Virtual Fixtures from Point Clouds
US20150339899A1 (en) * 2014-05-21 2015-11-26 Nippon Mektron, Ltd. Electric tactile sense presentation device

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016385A (en) * 1997-08-11 2000-01-18 Fanu America Corp Real time remotely controlled robot
US6126373A (en) * 1997-12-19 2000-10-03 Fanuc Usa Corporation Method and apparatus for realtime remote robotics command
JP2002132432A (ja) * 2000-10-30 2002-05-10 Toshiba Corp 多次元触覚入出力装置
US20020133264A1 (en) * 2001-01-26 2002-09-19 New Jersey Institute Of Technology Virtual reality system for creation of design models and generation of numerically controlled machining trajectories
AT7035U1 (de) * 2002-03-06 2004-07-26 Accelate Business Launch And E Einrichtung zum codieren, übertragen und/oder empfangen von signalen
US20040077975A1 (en) * 2002-10-22 2004-04-22 Zimmerman Jeffrey C. Systems and methods for motion analysis and feedback
US9900669B2 (en) * 2004-11-02 2018-02-20 Pierre Touma Wireless motion sensor system and method
US20060106369A1 (en) * 2004-11-12 2006-05-18 Desai Jaydev P Haptic interface for force reflection in manipulation tasks
US8390438B2 (en) * 2008-09-24 2013-03-05 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system including haptic feedback
JP2010287221A (ja) 2009-05-11 2010-12-24 Univ Of Tokyo 力覚提示装置
KR101746453B1 (ko) * 2010-04-12 2017-06-13 삼성전자주식회사 실감 효과 처리 시스템 및 방법
US9026250B2 (en) * 2011-08-17 2015-05-05 Harris Corporation Haptic manipulation system for wheelchairs
KR102161723B1 (ko) * 2013-05-07 2020-10-06 삼성디스플레이 주식회사 햅틱 패널 및 이를 포함하는 표시 장치
KR102171873B1 (ko) * 2013-05-08 2020-10-29 삼성전자주식회사 햅틱 글로브 및 수술로봇 시스템
AU2015220546A1 (en) * 2014-02-20 2016-06-09 Mark Oleynik Methods and systems for food preparation in a robotic cooking kitchen
US9330547B2 (en) 2014-05-20 2016-05-03 Immersion Corporation Haptic effect authoring tool based on a haptification model
US9971406B2 (en) * 2014-12-05 2018-05-15 International Business Machines Corporation Visually enhanced tactile feedback
GB2533572A (en) * 2014-12-22 2016-06-29 Nokia Technologies Oy Haptic output methods and devices
US10296086B2 (en) * 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
US20160321880A1 (en) * 2015-04-28 2016-11-03 Immersion Corporation Systems And Methods For Tactile Guidance
US20170144312A1 (en) * 2015-11-25 2017-05-25 Umm Al-Qura University Robotic surgical finger and controller with tactile feedback and robotic hand using the same

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110134034A1 (en) * 2004-05-25 2011-06-09 Tyler Jon Daniel Input Device and Method, and Character Input Method
CN101021745A (zh) * 2006-12-14 2007-08-22 东南大学 基于多维刺激的彩色射流触觉图文显示装置及显示方法
CN102016759A (zh) * 2008-05-09 2011-04-13 皇家飞利浦电子股份有限公司 用于传送情绪的方法和系统
JP2010102560A (ja) * 2008-10-24 2010-05-06 National Institute Of Information & Communication Technology 把持感覚提示装置
JP2011086068A (ja) * 2009-10-14 2011-04-28 Chugoku Electric Power Co Inc:The 状態再現システム
WO2012073733A1 (ja) * 2010-12-03 2012-06-07 日本電気株式会社 提示装置、コミュニケーションシステム、および感性提示方法
US20140168073A1 (en) * 2011-06-15 2014-06-19 University Of Washington Through Its Center For Commericialization Methods and Systems for Haptic Rendering and Creating Virtual Fixtures from Point Clouds
JP2013091114A (ja) * 2011-10-05 2013-05-16 Kyokko Denki Kk インタラクション操作システム
CN102609094A (zh) * 2012-02-24 2012-07-25 东南大学 电振双模多维触觉刺激器
US20150339899A1 (en) * 2014-05-21 2015-11-26 Nippon Mektron, Ltd. Electric tactile sense presentation device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447038A (zh) * 2018-11-27 2019-03-08 南京恩诺网络科技有限公司 触觉信息估算方法及装置、系统
CN109710059A (zh) * 2018-11-27 2019-05-03 南京恩诺网络科技有限公司 感官信息还原方法、装置及系统
CN109710058A (zh) * 2018-11-27 2019-05-03 南京恩诺网络科技有限公司 触觉信息录制方法及装置、系统
CN109739345A (zh) * 2018-11-27 2019-05-10 南京恩诺网络科技有限公司 触觉还原方法、装置及系统
CN109782950A (zh) * 2019-01-04 2019-05-21 Oppo(重庆)智能科技有限公司 触摸电极控制方法、装置、存储介质及电子设备
TWI805134B (zh) * 2021-12-17 2023-06-11 長庚大學 感光觸覺系統及其感光方法

Also Published As

Publication number Publication date
JP6875010B2 (ja) 2021-05-19
WO2017175867A1 (ja) 2017-10-12
JPWO2017175867A1 (ja) 2019-02-21
US10739858B2 (en) 2020-08-11
US11281296B2 (en) 2022-03-22
KR20180112847A (ko) 2018-10-12
US20200356176A1 (en) 2020-11-12
US20190064927A1 (en) 2019-02-28

Similar Documents

Publication Publication Date Title
CN108885500A (zh) 触觉信息转换装置、触觉信息转换方法、及触觉信息转换程序
CN109074157A (zh) 触觉信息转换装置、触觉信息转换方法、及触觉信息转换程序、以及元件配置结构体
Jones Haptics
JP7253017B2 (ja) 反射を利用する拡張現実システムおよび方法
KR101680995B1 (ko) 생물 물리학적 신호의 수집된 시간적 및 공간적 패턴에 기초한 뇌-컴퓨터 인터페이스(bci) 시스템
US9990040B2 (en) Haptic CAPTCHA
Kalantarian et al. A survey of diet monitoring technology
CN105592798A (zh) 用于多模态生理刺激和脑健康的评估的系统及签名
Sadia et al. Data-driven vibrotactile rendering of digital buttons on touchscreens
CN107684430A (zh) 基于Curie模块人体姿态检测纠正装置及其使用方法
Caldwell et al. Multi-modal cutaneous tactile feedback
CN110764619A (zh) 基于特征相似度的触觉再现轮廓渲染真实感定量评估方法
Eid et al. Soa thresholds for the perception of discrete/continuous tactile stimulation
Cheok et al. Huggy Pajama: remote hug system for family communication
Kruijff Unconventional 3D user interfaces for virtual environments
Xu et al. An electromyogram-based tapping gesture model with differentiated vibration feedback by low-fidelity actuators
Kucherhan Tactile feedback for dexterous manipulation operations using assistive prosthetic fingers
Tsirka et al. Touch in Human Social Robot Interaction: Systematic Literature Review with PRISMA Method
Wei A neuromorphic approach to tactile perception
Brady Tactile arrays for virtual textures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Library

Inventor after: Nakaya Masashi

Inventor after: Sato Katsunari

Inventor after: Minamisawa Takata

Inventor after: Kajimoto Hiroyuki

Inventor before: Guanjin

Inventor before: Nakaya Masashi

Inventor before: Sato Katsunari

Inventor before: Minamisawa Takata

Inventor before: Kajimoto Hiroyuki