CN107704088A - 一种基于虚拟现实技术的虚拟品尝方法及装置 - Google Patents

一种基于虚拟现实技术的虚拟品尝方法及装置 Download PDF

Info

Publication number
CN107704088A
CN107704088A CN201711081346.9A CN201711081346A CN107704088A CN 107704088 A CN107704088 A CN 107704088A CN 201711081346 A CN201711081346 A CN 201711081346A CN 107704088 A CN107704088 A CN 107704088A
Authority
CN
China
Prior art keywords
feedback
virtual
module
taste
tongue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711081346.9A
Other languages
English (en)
Inventor
周亚同
李梦瑶
李民
张若男
李玲玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN201711081346.9A priority Critical patent/CN107704088A/zh
Publication of CN107704088A publication Critical patent/CN107704088A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/18Applying electric currents by contact electrodes
    • A61N1/32Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/18Applying electric currents by contact electrodes
    • A61N1/32Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36014External stimulators, e.g. with patch electrodes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明为一种基于虚拟现实技术的虚拟品尝方法及装置,解决了当今食物味觉模拟单一、用户沉浸感差的问题。该装置包括获取模块、信号产生模块、控制模块、回馈模块。获取模块与终端通过无线连接。获取模块获取、解析数据,并生成具体的参数。信号产生模块产生具体激励信号,控制模块接收到激励信号产生触觉、味觉、声音、及质地的相应激励,并通过无线对回馈模块进行控制,回馈模块中的执行元件产生对应的感知并作用于人体。所述执行元件包括微型阵列致动器、肌电刺激系统、骨导传感机构和舌套机构,相互配合能实现触觉回馈、味觉回馈、质地回馈、声音回馈。该技术的使用可研制出又能体现食物质感,且具有良好沉浸感的虚拟品尝设备。

Description

一种基于虚拟现实技术的虚拟品尝方法及装置
技术领域
本发明为一种虚拟品尝的方法及装置,特别涉及一种基于虚拟现实技术的虚拟品尝装置。
背景技术
虚拟现实作为计算机领域的最新技术,其特点在于能以模仿的方式为用户创造一种虚拟的环境,通过触觉、视觉、听觉等感知行为使用户产生一种沉浸于虚拟环境的感觉。该技术在视觉方面取得了较大的进展,如现在正兴起的VR设备,在触觉,听觉方面的研究尚在起步阶段。虚拟品尝,造福的不仅仅是想要减肥以及喜爱宅居的健康人群,更是病患群体。比如,品尝甜食,不再是糖尿病患者的禁忌。研究已经证明,其他每一种感官——视觉、听觉、味觉、触觉和嗅觉都会影响所品尝的味道,由此见得每一种感知的重要性。目前虚拟现实技术在虚拟品尝领域涉及的嗅觉,视觉方面已经存在较多成果,其所涉及的触觉,听觉等方面几乎没有进展。
国外对虚拟品尝的研究相对较多,如:新加坡国立大学团队所研发的DigitalTaste interfacce但其设备存在造价较高,味觉模拟单一等缺点,且其西方文化形成的饮食习惯导致设备的使用方式不太适合于中国民众。
我国对这方面的研究起步较晚。申请号为200580003245.9的中国专利公开了一种基于电极刺激模拟味觉的装置,该装置由两片金属片构成,对味蕾进行电极刺激,模拟味觉,虽然起到了对味觉的模拟,但该装置只能模拟出酸、甜、咸、苦四种基本味道,缺失食物质感,形式单一,且金属片至于口中存在异物感。申请号为201510741805.6的中国专利设计出了一种基于气压技术模拟食物口感的装置,该装置通过在口中释放气味分子,以及控制该气味释放芯片调节气流的流速和流量来模拟目标食物的口感,虽然具有一定的食物质感,但是此系统使用户的沉浸感较差,以及气流的释放发出的声响影响用户体验,并且气流的释放会从口腔进入腹中,引发胀腹感。
因此需要一种既能体现食物味觉,又能体现食物质感,且具有良好沉浸感的虚拟品尝设备。
发明内容
本发明的目的在于克服现有技术的不足,提供一种基于虚拟现实技术的虚拟品尝的方法及装置。该方法能模拟产生更为丰富的味觉、实现食物的质感,产生并传递咀嚼的声音。在味觉、触觉、质地及听觉四方面进行了综合体验,极大地增加了用户使用虚拟设备的沉浸感。
本发明的技术方案是:
一种基于虚拟现实技术的虚拟品尝方法,该方法包括以下步骤:
D1:当终端设备上出现目标食物图片或视频时,获取表示该目标的预存虚拟数据、解析并生成具体参数;若虚拟数据没有预先储存,即目标食物图片或视频为实时生成,则通过与数据库中食物样本的预存虚拟数据逐一比对,找出最相似的食物样本,以该样本为基础推算出目标的虚拟数据,再解析并生成具体参数;
D2:根据上述具体参数,产生达到目标食物感知标准所需的具体激励控制信号;
D3:接收具体激励控制信号并通过无线网络控制回馈模块,产生触觉、味觉、声音及质地的相应激励;
D4:触觉、味觉、声音及质地的相应激励触动相应的执行元件产生对应的感知并作用于人体,实现食物的虚拟品尝。
一种基于虚拟现实技术的虚拟品尝装置,其特征在于该装置包括:获取模块、信号产生模块、控制模块和回馈模块,获取模块与终端设备通过无线连接,控制模块通过无线控制回馈模块;
所述获取模块包括解析单元和生成单元,用于获取终端设备上即将出现的目标在人机交互设备中的预存虚拟数据;
解析单元,用于解析预先存储的虚拟数据,生成基础数据集;
生成单元,根据在虚拟环境中即将出现的感知,从基础数据集中选择并生成相应的具体参数,该具体参数是指能达到目标食物相应的酸度、甜度、苦、辣、咸度、鲜味、腥臭味、水果味、薄荷味、硬度、酥脆、粗糙、光滑、咀嚼时发出的声响的感知所需的外界激励参数;
所述信号产生模块,根据上述生成的具体参数,产生达到目标食物感知标准所需的具体激励控制信号,并传递给控制模块,所述具体激励控制信号是指达到相应酸度、甜度、苦、辣、咸度、鲜味、腥臭味、水果味、薄荷味、硬度、酥脆、粗糙、光滑、咀嚼时发出的声响的感知所需的相应的电流频率及电流强度的具体信号;
所述控制模块用于接收信号产生模块的具体激励控制信号,产生触觉、味觉、声音及质地的相应激励,并通过无线网络控制回馈模块;
所述回馈模块通过对控制模块给予的激励,触动相应执行元件产生对应的感知并作用于人体,实现食物的虚拟品尝。
与现有技术相比,本发明的有益效果在于:
1)本发明品尝方法的优点:当终端设备上出现目标时,获取模块实现了模拟参数到数字参数的成功转换。且当目标数据没有预存在数据库时,获取模块能以最相似样本为基础,推算出目标数据,极大的实现了数据获取的灵活性。信号产生模块产生相应的各种感知激励号,控制模块通过无线精准的控制回馈模块,使相应的各种感知激励信号逐一、或同时触动相应的执行元件,产生对应的感知并作用与人体,实现食物的虚拟品尝。
2)本发明品尝装置中采用一种由高分子聚合物制成的舌膜,该材料具有轻、薄、亲肤、不易破、具有弹性等特点。利用其弹性特征可适应于不同尺寸的舌头,减少了舌套在尺寸设计上面的复杂性;其材质的特殊性使得用户在佩戴时不再存在异物感,极大的提高了体验效果。
3)本发明品尝装置中采用微型装置,将微型阵列致动器及舌部电极都集中置于舌膜中,使该虚拟装备简易而轻便。同时使用微型阵列致动器,能从压电、热效应等方面逼真模拟食物的温度、粗糙、平滑、食物形状轮廓、材质硬度等特征,比当今采用气流、震动方法模拟触觉效果要好的多。除了通过舌部电极对舌部味蕾施加电极刺激以产生味觉外,微型阵列致动器的温度效应的辅助可模拟出更加丰富的味觉,通过温度与舌部电极的配合使用使味觉种类更加丰富。例如:甜、酸最佳感觉温度35~50摄氏度,咸18~35摄氏度,苦10摄氏度。即对味觉细胞相同的刺激,不同温度会有不同的味道。克服了现有技术中品尝装置味觉单一,只有四种酸甜苦咸的基本味道的不足。
4)本发明的肌电刺激系统通过刺激咀嚼肌肉引发触觉反应,使使用者感觉咀嚼肌肉正在咬含一些食物,所以即使没有食物,通过嘴巴的闭合也可以体验到不同的食物的口感,营造食物填充感以及软硬、嚼劲等口感,实现食物质地的回馈。
5)本发明当使肌电刺激系统中的电极贴片贴于使用者面部不同部位的咀嚼肌并给予不同频率的电极刺激,会伴随其他感官输入,其中包括咀嚼发生的声响,通过骨导传感机构传至用户,该机构利用骨传声真实的传递了声音,极大的增加了用户使用虚拟设备的沉浸感,利用肌电刺激系统实现声音输入。
6)本发明中每个舌部电极上均通过绝缘线路分隔成多个小区域,每个小区域均与控制模块电连接,能单独接收电极刺激,通过多区域精准的进行电极刺激并同时改变刺激电流的频率及强度以产生更为丰富的味觉。
7)控制模块通过无线网络控制回馈模块中的执行元件,减少了装置的冗余性,避免了在使用时因硬件设备连接线路过多对用户产生缠绕。
8)该虚拟设备的预存虚拟数据可以进行实时更新或接受数据拷入,极大的增强了该设备的普适性及灵活性。
附图说明
图1是本发明基于虚拟现实技术的虚拟品尝装置的一种实施例的结构框图;
图2是本发明基于虚拟现实技术的虚拟品尝方法的流程示意图;
图3是本发明基于虚拟现实技术的虚拟品尝装置一种实施例的舌套机构的立体结构示意图;
图4是本发明基于虚拟现实技术的虚拟品尝装置一种实施例的电极贴片的结构示意图;
图5是本发明基于虚拟现实技术的虚拟品尝装置一种实施例的骨导传感机构的立体结构示意图;
图6是本发明基于虚拟现实技术的虚拟品尝装置一种实施例的舌部电极内部结构示意图;
图7是本发明基于虚拟现实技术的虚拟品尝装置一种实施例的微型阵列致动器的结构示意图:
图8是本发明基于虚拟现实技术的虚拟品尝方法及装置的一种实施例的总体流程示意图;
图中,5获取模块;6信号产生模块;7控制模块;8回馈模块;9解析单元;10生成单元;11终端设备;1微型阵列致动器;2肌电刺激系统;3骨导传感机构;4舌套机构;401舌膜;402舌部电极;403绝缘电路;201电极贴片。
具体实施方式
以下结合实施例和附图对本方发明作进一步详细描述,但并不以此作为对本申请保护范围的限定。
本发明基于虚拟现实技术的虚拟品尝方法(参见图2),该方法包括以下步骤:
D1:当终端设备11上出现目标食物图片或视频时,获取表示该目标的预存虚拟数据、解析并生成具体参数;若虚拟数据没有预先储存,即目标食物图片或视频为实时生成,则通过与数据库中食物样本的预存虚拟数据逐一比对,找出最相似的食物样本,以该样本为基础推算出目标的虚拟数据,再解析并生成具体参数;
所述终端设备11可以是笔记本电脑、台式电脑、掌上电脑或者智能手机;以样本为基础推算虚拟数据的方法为现有方法。
D2:根据上述具体参数,产生达到目标食物感知标准所需的具体激励控制信号;
D3:接收具体激励控制信号并通过无线网络控制回馈模块8,产生触觉、味觉、声音及质地的相应激励;
D4:触觉、味觉、声音及质地的相应激励触动相应的执行元件产生对应的感知并作用于人体,实现食物的虚拟品尝。
本发明基于虚拟现实技术的虚拟品尝装置(简称装置,参见图1)该装置包括:获取模块5、信号产生模块6、控制模块7和回馈模块8,终端设备11与获取模块5通过无线相连,获取模块5与信号产生模块6相连,信号产生模块6与控制模块7相连,控制模块7通过无线网络控制回馈模块8;
所述获取模块5包括解析单元9和生成单元10,用于获取终端设备11上即将出现的目标在人机交互设备(终端设备)中的预存虚拟数据;
解析单元9,用于解析预先存储的虚拟数据,生成基础数据集;
生成单元10与解析单元9连接,根据在虚拟环境中即将出现的感知,从基础数据集中选择并生成相应的具体参数,该具体参数是指能达到目标食物相应的酸度、甜度、苦、辣、咸度、鲜味、腥臭味、水果味、薄荷味等不同的味道及硬度、酥脆、粗糙、光滑、咀嚼时发出的声响的感知所需的外界激励参数;
所述信号产生模块6,根据上述生成的具体参数,产生达到目标食物感知标准所需的具体激励控制信号,并传递给控制模块7,所述具体激励控制信号是指达到相应酸度、甜度、苦、辣、咸度、鲜味、腥臭味、水果味、薄荷味等不同的味道及硬度、酥脆、粗糙、光滑、咀嚼时发出声响的感知所需的具有相应电流频率及电流强度的具体信号;
所述控制模块7用于接收信号产生模块6的具体激励控制信号,产生触觉、味觉、声音及质地的相应激励,并通过无线网络控制回馈模块8;
所述回馈模块8接收控制模块7给予的激励,触动相应执行元件产生对应的感知并作用于人体,实现食物的虚拟品尝。
所述执行元件包括微型阵列致动器1、肌电刺激系统2、骨导传感机构3和舌套机构4、相互配合使用能同时实现触觉回馈、味觉回馈、质地回馈、声音回馈;
其中肌电刺激系统2包括多个电极贴片201,电极贴片201贴于使用者面部咀嚼肌处;骨导传感机构3为佩戴式耳机状并贴于人耳处;所述舌套机构4包括具有弹性且亲肤的舌膜401及四个结构相同的舌部电极402,四个结构相同的舌部电极402分别布置在舌膜的前后左右边缘位置,且能覆盖舌部的味觉区域,每个舌部电极402上均通过绝缘线路403分隔成多个小区域,每个小区域均与控制模块7电连接,能单独接收电极刺激;在舌膜401的中部安装微型阵列致动器1,微型阵列致动器1及肌电刺激系统2均与控制模块7电连接;
微型阵列致动器1具有压电反馈和热反馈功能,采用不同的阵列能从压电、热效应等方面逼真模拟食物的温度、粗糙、平滑、食物形状轮廓、材质硬度等特征。另外通过舌部电极402对舌部不同味蕾给予相同的刺激,不同的温度也会产生不同的味觉,即微型阵列致动器1的温度改变特征辅助舌部电极刺激使味觉更加丰富。
微型阵列致动器1能起到触觉回馈的作用,多个舌部电极402与微型阵列致动器1的配合使用能起到味觉回馈作用;骨导传感机构3及肌电刺激系统2的配合使用能起到声音回馈作用;肌电刺激系统2和微型阵列致动器1的配合作用能起到质地回馈作用。
本发明将微型阵列致动器1用来实现触觉、质地及味觉的感知,触觉回馈、味觉回馈、声音回馈、质地回馈的同时产生在该研究领域具有重要进步。
其中在上述中所用到基于微型电子系统(MEMS)工艺的微型阵列致动器1用于产生虚拟触觉回馈,并辅助味觉的生成,该微型阵列致动器1是基于压电反馈或热反馈的,但本发明亦不限于此,虚拟触觉回馈也可以根据其他反馈形式的微型阵列致动器1而有不同的实施态样及不同数量阵列;所涉及采用电刺激部分其电流的强度及频率根据感知的不同具有不同的实施态样,元件及组件数量根据具体情况具有不同的实施态样,本发明并不对此进行限定。
本发明基于虚拟现实技术的虚拟品尝方法及装置的总体流程是;
启动终端设备11,终端设备11上出现目标食物图片或者视频,获取模块5先判断该目标在数据库中是否存在预存虚拟数据,若不存在,则通过与预存虚拟数据逐一比对,找出最相似的食物样本,以该样本为基础推算出目标的虚拟数据,接下来按照数据库中存在预存虚拟数据的方法进行,即,获取模块5获取该虚拟数据,解析单元9解析该获取的虚拟数据,并生成形成该目标食物的特定感知所需的基础数据集;生成单元10根据基础数据集生成达到目标食物相应的酸度、甜度、苦、辣、咸度、鲜味、腥臭味、水果味、薄荷味等不同的味道及硬度、酥脆、粗糙、光滑、咀嚼时发出声响的感知所需的外界具体激励参数。信号产生模块6根据生成单元10生成的具体激励参数产生达到以上感知标准对应所需的具有相应电流频率及电流强度的具体控制信号,进而传递给控制模块7。控制模块7在接受到控制信号之后产生触觉、味觉、声音及质地的相应激励,并通过无线网络控制回馈模块8。回馈模块8通过对控制模块7给予的激励,触动相应执行元件产生对应的感知并作用于人体,实现食物的品尝。微型阵列致动器1接收控制模块7给予的触觉激励,利用压电反馈对舌头表面施加不同的压力,让舌头感受到食物的粗糙、光滑等表面物理性质,模拟出触觉感知,实现触觉反馈;控制模块7给予的味觉激励同时作用到舌部电极402和微型阵列致动器1上,舌部电极402以不同频率的低压电流刺激舌部不同位置的味蕾,以产生不同的味觉,同时微型阵列致动器1发生热反馈,产生温度,辅助舌部电极402模拟出不同温度下的不同味觉,实现味觉反馈,能品尝到不同的味道;肌电刺激系统2中的多个的电极贴片201贴于使用者面部咀嚼肌,接收控制模块7给予的声音激励,电极贴片201对咀嚼肌施加刺激时,随着电流频率的改变会产生模拟的咀嚼声音,此时通过置于耳部的骨导传感机构3将此由不同频率电流刺激产生的模拟咀嚼声音传递给使用者,模拟出真实的声音,实现声音反馈,能听到咀嚼声音;控制模块7给予的质地激励同时作用到肌电刺激系统2和微型阵列致动器1上,肌电刺激系统2对咀嚼肌施加轻微的电击,咀嚼肌发生变化,产生排斥力,模拟出丰富的口感,营造出软硬、嚼劲、食物填充等感觉,同时再配合微型阵列致动器1的压电反馈对舌头表面施加不同的压力,模拟食物的粗糙、光滑等物理性质,微型阵列致动器1与肌电刺激系统2的结合极大的丰富了食物质地的模拟效果。
具体的是,
微型阵列致动器1单独可作为触觉回馈的执行元件,具体触觉回馈的过程是:微型阵列致动器1接到触觉激励后,对舌头表面施加不同的压力,让舌头感受到虚拟物体的物理性质,包括纹理(光滑、粗糙)、形状(尖的还是圆的)等,实现触觉反馈。微型阵列致动器1可以采用不同阵列数的组合,从而可模拟出更为丰富的触觉,且其体积非常微小,极大的提高了虚拟设备的可携带性。
舌部电极402和微型阵列致动器1作为味觉回馈的执行元件,具体味觉回馈的过程是:本发明通过舌部电极402以不同频率的低压电极刺激舌部不同位置的味蕾,以产生不同的味觉;但一般随着温度的升高,味觉加强,最适宜的味觉产生的温度是10~40摄氏度,尤其是30摄氏度最敏感,故温度对味觉起着至关重要的作用,本发明中微型阵列致动器1可产生热反馈来辅助舌部电极402模拟丰富的味觉,人体通过味蕾感受味觉。例:产生酸味:舌部电极402施加A1-A2毫安的电流、微型阵列致动器1使舌头温度从T1摄氏度上升到T2摄氏度;产生薄荷味:舌部电极402施加A1-A2毫安的电流、微型阵列致动器1使舌头温度先升到T3摄氏度再降到T4摄氏度;即温度不仅可以辅助电极刺激产生味觉,而且当刺激电流相同时,不同的温度会产生不同的味觉。本发明将电流与温度的结合极大的丰富了虚拟味觉效果。
骨导传感机构3与肌电刺激系统2作为声音回馈的执行元件,具体声音回馈的过程是:将肌电刺激系统2中的电极片201贴于咀嚼肌,当肌电刺激系统2对咀嚼肌施加电极刺激时,随着刺激电流频率的改变会产生模拟的咀嚼声音,该声音由贴于耳部的骨导传感机构3传递给用户;该骨导传感机构3利用骨传声真实地还原了咀嚼声音,极大的增强了用户使用虚拟设备的沉浸感。例:当施加电流为K时,会产生咀嚼苹果的声音,此时通过骨导传感机构3传递由不同频率刺激电流产生的模拟咀嚼声音,极大的增强了用户使用虚拟设备的沉浸感。
肌电刺激系统2与微型阵列致动器1联合使用作为质地回馈的执行元件,具体质地回馈的过程是:肌电刺激系统2中的电极贴片201贴于使用者的面部咀嚼肌,通过电极刺激咀嚼肌引发触觉反应,当肌电刺激系统2对咀嚼肌施加轻微的电击时,该咀嚼肌会发生变化,产生排斥力,使得即使没有食物通过嘴巴的张合也可以体验到不同食物的口感,通过刺激更多的下颌部肌肉群及改变电刺激频率实现更丰富的口感,营造出软硬、嚼劲、食物填充等感觉,再通过置于舌膜401上的微型阵列致动器1对舌头表面施加不同的压力,让舌头感受到虚拟物体的物理性质,包括纹理、形状等;肌电刺激系统2与微型阵列致动器1地结合极大的丰富了食物质地模拟效果。
图3是本发明基于虚拟现实技术的虚拟品尝装置的一种实施例的舌套机构的立体结构示意图;具体的是,所述舌套机构4包括具有弹性且亲肤的舌膜401及四个结构相同的舌部电极402,在舌膜401的中部安装微型阵列致动器1。舌膜401由一种高分子聚合物制成的材料,该材料具有轻、薄、亲肤、不易破、具有弹性等特点,利用其弹性特征可适应于不同尺寸的舌头,减少了舌套在尺寸设计上面的复杂性,其材质的特殊性使得用户在佩戴时不再存在异物感,极大的提高了体验效果;四个结构相同的舌部电极402分别布置在舌膜的前后左右边缘位置,且能覆盖舌部的味觉区域,其通过电极刺激产生相应的味觉,每个舌部电极402(参见图6)内部均含有绝缘线路403,其通过该绝缘线路403分隔成多个小区域,每个小区域均与控制模块7电连接,能单独接收电极刺激,通过对多个小区域进行不同的电极刺激并同时改变刺激电流的频率及强度以产生更加丰富的味觉。舌膜401上的微型阵列致动器1基于微电子系统(MEMS)工艺制成,其体积非常微小,微型阵列致动器1采用不同的阵列(参见图7)从压电、热效应等方面逼真模拟食物的温度、粗糙、平滑、食物形状轮廓、材质硬度等特征,其效果比当今采用气流、震动方法模拟触觉要好的多。另外通过舌部电极402对舌部不同味蕾给予相同的刺激,不同的温度也会产生不同的味觉,即微型阵列致动器1的温度改变特征辅助舌部电极402刺激使味觉更加丰富。
图4是本发明一种实施例的肌电刺激系统的电极贴片的结构示意图,肌电刺激系统2中的多个电极贴片201,作用在咀嚼食物的下颌部咬肌,当使用者做出咬合动作,电极贴片201将使人感受到硬度和咀嚼感,事实上嘴里并没有食物,之所以能感受咀嚼食物,是因为电极刺激作用于咬肌后产生的触觉反应。另外通过刺激更多的下颌部肌肉群及改变电极刺激频率实现更丰富的口感,如高频电刺激咬肌可使食物的口感更硬。
图5是本发明一种实施例的骨导传感机构的立体结构示意图,通过刺激更多的下颌部肌肉群及改变电刺激频率会伴随着其他感官的输入,其中有咀嚼发生的声响,该声音由贴于耳部的骨导传感机构3传递给虚拟设备的使用者。该骨导传感机构3利用骨传声真实的传递了咀嚼声音,极大的增强了用户使用虚拟设备的沉浸感。
实施例1:品尝饼干
将舌套佩戴于使用者舌部,骨导传感机构佩戴于人耳,肌电刺激系统的电极贴片贴于使用者的咀嚼肌处,启动终端设备,当设备上出现饼干图片,获取模块立刻获取饼干在数据库中的虚拟数据W1,解析单元对该数据W1进行解析——目标具有甜、柠檬味、酥脆、粗糙、咀嚼时会有清脆的响声的特点。根据上述特点生成单元生成相应的参数值即:产生甜味:前端的舌部电极的一个小区域——a1毫安电流;产生柠檬味:左端的舌部电极的一个小区域——a2毫安电流、微型阵列致动器——t1摄氏度(热回馈辅助电极刺激产生味觉);粗糙:微型阵列致动器——v1电压;酥脆:肌电刺激系统——a3毫安、h1赫兹的电流;清脆的声响:肌电刺激系统——a4毫安、h2赫兹的电流;接着信号产生模块产生具有以上参数的相应的激励信号,控制模块将产生的信号分成触觉、味觉、声音、及质地的相应激励,通过无线触发回馈模块中相应的执行元件,即当回馈模块接到味觉激励信号,此时前端舌部电极的相应区域对舌头施加a1毫安电流、左端舌部电极的相应区域对舌头施加a2毫安电流、微型阵列致动器利用热反馈产生t1摄氏度的温度,实现了甜味、柠檬味的品尝;回馈模块接到触觉激励信号,此时微型阵列致动器利用压电反馈产生v1电压,对舌头表面施加n1压力,实现了舌头对粗糙感的体验;回馈模块接到质地激励信号,肌电刺激系统的部分电极贴片对使用者的面部咀嚼肌施加a3毫安、h1赫兹的电流,实现酥脆感的品尝;回馈模块接到声音激励信号,肌电刺激系统的部分电极贴片对使用者的面部咀嚼肌施加a4毫安、h2赫兹的电流,和其中施加了a3毫安、h1赫兹的电流的部分电极贴片共同作用产生声音的输入,该声音通过贴于使用者耳部的骨导传感机构利用骨传声传递到人耳,实现了对清脆声音的体验。到此,全部实现了对饼干的虚拟品尝。
实施例2:品尝麻辣豆腐
将舌套佩戴于使用者舌部,骨导传感机构佩戴于人耳,肌电刺激系统的电极贴片贴于使用者的咀嚼肌处,启动终端设备,当设备上随机出现麻辣豆腐的视频,获取模块首先获取麻辣豆腐在数据库中的虚拟数据,由于该目标为实时生成,其虚拟数据没有预先储存,则通过与数据库中食物样本的预存虚拟数据逐一比对,找出最相似的食物样本——麻辣豆皮、家常豆腐,以该样本为基础推算出麻辣豆腐的虚拟数据W2。解析单元对该数据W2进行解析——目标具有的辣、软、光滑、咀嚼时几乎没有响声的特点。根据上述特点生成单元生成相应的参数值即:产生辣味:前端的舌部电极的第二个小区域——a5毫安电流;前端的舌部电极的第三个小区域——a6毫安电流、微型阵列致动器——t2摄氏度;光滑:微型阵列致动器——v2电压;软:肌电刺激系统——a7毫安、h3赫兹的电流;接着信号产生模块产生具有以上参数的相应的激励信号,控制模块将产生的信号分成触觉、味觉、声音、及质地的相应激励,通过无线触发回馈模块中相应的执行元件,即当回馈模块接到味觉激励信号,此时前端的舌部电极的第二个小区域对舌头施加a5毫安电流、前端的舌部电极的第三个小区域施加a6毫安电流、微型阵列致动器利用热反馈产生t2摄氏度的温度,实现了辣味的品尝;回馈模块接到触觉激励信号,此时微型阵列致动器利用压电反馈产生v2电压,对舌头表面施加n2压力,实现了舌头对光滑感的体验;回馈模块接到质地激励信号,肌电刺激系统的部分电极贴片对使用者的面部咀嚼肌施加a7毫安、h3赫兹的电流,实现软的品尝;回馈模块接到声音激励信号,当肌电刺激系统的部分电极贴片对使用者的面部咀嚼肌施加a7毫安、h3赫兹的电流时,即对在产生软的体验时,产生了声音的输入,该声音通过贴于使用者耳部的骨导传感机构利用骨传声传递到人耳,实现了对咀嚼豆腐时发出的声音的体验。到此,全部实现了对麻辣豆腐的虚拟品尝。
以上所述为本发明的一种具体实施例,不能因此而理解为对本发明专利范围的限制。特别指出,在不脱离本发明构思的前提下,所做的任何修改,等同替换,改进等,均应包含在本发明的保护范围之内。
本发明未述及之处适用于现有技术。

Claims (4)

1.一种基于虚拟现实技术的虚拟品尝方法,该方法包括以下步骤:
D1:当终端设备上出现目标食物图片或视频时,获取表示该目标的预存虚拟数据、解析并生成具体参数;若虚拟数据没有预先储存,即目标食物图片或视频为实时生成,则通过与数据库中食物样本的预存虚拟数据逐一比对,找出最相似的食物样本,以该样本为基础推算出目标的虚拟数据,再解析并生成具体参数;
D2:根据上述具体参数,产生达到目标食物感知标准所需的具体激励控制信号;
D3:接收具体激励控制信号并通过无线网络控制回馈模块,产生触觉、味觉、声音及质地的相应激励;
D4:触觉、味觉、声音及质地的相应激励触动相应的执行元件产生对应的感知并作用于人体,实现食物的虚拟品尝。
2.一种基于虚拟现实技术的虚拟品尝装置,其特征在于该装置包括:获取模块、信号产生模块、控制模块和回馈模块,获取模块与终端设备通过无线连接,控制模块通过无线网络控制回馈模块;
所述获取模块包括解析单元和生成单元,用于获取终端设备上即将出现的目标在人机交互设备中的预存虚拟数据;
解析单元,用于解析预先存储的虚拟数据,生成基础数据集;
生成单元,根据在虚拟环境中即将出现的感知,从基础数据集中选择并生成相应的具体参数,该具体参数是指能达到目标食物相应的酸度、甜度、苦、辣、咸度、鲜味、腥臭味、水果味、薄荷味、硬度、酥脆、粗糙、光滑、咀嚼时发出的声响的感知所需的外界激励参数;
所述信号产生模块,根据上述生成的具体参数,产生达到目标食物感知标准所需的具体激励控制信号,并传递给控制模块,所述具体激励控制信号是指达到相应酸度、甜度、苦、辣、咸度、鲜味、腥臭味、水果味、薄荷味、硬度、酥脆、粗糙、光滑、咀嚼时发出的声响感知所需的相应的电流频率及电流强度的具体信号;
所述控制模块用于接收信号产生模块的具体激励控制信号,产生触觉、味觉、声音及质地的相应激励,并通过无线网络控制回馈模块;
所述回馈模块接收控制模块给予的激励,触动相应执行元件产生对应的感知并作用于人体,实现食物的虚拟品尝。
3.根据权利要求2所述的基于虚拟现实技术的虚拟品尝装置,其特征在于所述执行元件包括微型阵列致动器、舌套机构、肌电刺激系统和骨导传感机构,相互配合使用能同时实现触觉回馈、味觉回馈、质地回馈及声音回馈;
其中肌电刺激系统包括多个电极贴片,电极贴片贴于使用者面部咀嚼肌处;骨导传感机构为佩戴式耳机状并贴于人耳处;所述舌套机构套在舌头上,包括具有弹性且亲肤的舌膜及四个结构相同的舌部电极,四个结构相同的舌部电极分别布置在舌膜的前后左右边缘位置,且能覆盖舌部的味觉区域,每个舌部电极上均通过绝缘线路分隔呈多个小区域,每个小区域均与控制模块电连接,能单独接收电极刺激;在舌膜的中部安装微型阵列致动器,微型阵列致动器采用不同的阵列能模拟食物的温度、粗糙、平滑、食物形状轮廓、材质硬度的特征;微型阵列致动器和肌电刺激系统均与控制模块电连接。
4.根据权利要求3所述的基于虚拟现实技术的虚拟品尝装置,其特征在于所述微型阵列致动器能起到触觉回馈的作用,多个舌部电极与微型阵列致动器的配合使用能起到味觉回馈作用;骨导传感机构及肌电刺激系统的配合使用能起到声音回馈作用;肌电刺激系统和微型阵列致动器的配合作用能起到质地回馈作用。
CN201711081346.9A 2017-11-07 2017-11-07 一种基于虚拟现实技术的虚拟品尝方法及装置 Pending CN107704088A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711081346.9A CN107704088A (zh) 2017-11-07 2017-11-07 一种基于虚拟现实技术的虚拟品尝方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711081346.9A CN107704088A (zh) 2017-11-07 2017-11-07 一种基于虚拟现实技术的虚拟品尝方法及装置

Publications (1)

Publication Number Publication Date
CN107704088A true CN107704088A (zh) 2018-02-16

Family

ID=61176673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711081346.9A Pending CN107704088A (zh) 2017-11-07 2017-11-07 一种基于虚拟现实技术的虚拟品尝方法及装置

Country Status (1)

Country Link
CN (1) CN107704088A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108434668A (zh) * 2018-06-13 2018-08-24 蔡璟 一种基于体感的智能跑步机设备
CN109125880A (zh) * 2018-10-24 2019-01-04 广东技术师范学院 棒棒糖模拟装置
CN110101273A (zh) * 2019-05-23 2019-08-09 林金满 一种糖尿病病人使用的电力叉子
CN112433606A (zh) * 2020-11-11 2021-03-02 珠海格力电器股份有限公司 用于直播虚拟体验食物味道的方法和装置
CN114269526A (zh) * 2019-08-30 2022-04-01 环球城市电影有限责任公司 可食用软机器人系统和方法
US11517814B2 (en) 2020-09-03 2022-12-06 Alan Chalmers Flavour system
EP4228272A1 (en) * 2022-02-09 2023-08-16 Kinpo Electronics, Inc. Feedback device for taste sense, and feedback system and feedback method for using the same

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1913936A (zh) * 2004-01-27 2007-02-14 皇家飞利浦电子股份有限公司 用于在味道模拟系统中模拟味觉的方法和装置
CN102309816A (zh) * 2011-09-29 2012-01-11 中国科学院深圳先进技术研究院 咀嚼肌电刺激治疗仪
CN103544346A (zh) * 2013-10-16 2014-01-29 徐彦之 实现虚拟感知的方法及系统
CN104823192A (zh) * 2012-06-21 2015-08-05 曼朵计量公司 适用于实践模拟进食的方法和装置
CN105396221A (zh) * 2015-11-04 2016-03-16 京东方科技集团股份有限公司 食物口感模拟方法及系统
CN106936922A (zh) * 2017-04-07 2017-07-07 深圳市合智智能科技有限公司 基于远程控制的多味道味觉感应系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1913936A (zh) * 2004-01-27 2007-02-14 皇家飞利浦电子股份有限公司 用于在味道模拟系统中模拟味觉的方法和装置
CN102309816A (zh) * 2011-09-29 2012-01-11 中国科学院深圳先进技术研究院 咀嚼肌电刺激治疗仪
CN104823192A (zh) * 2012-06-21 2015-08-05 曼朵计量公司 适用于实践模拟进食的方法和装置
CN103544346A (zh) * 2013-10-16 2014-01-29 徐彦之 实现虚拟感知的方法及系统
CN105396221A (zh) * 2015-11-04 2016-03-16 京东方科技集团股份有限公司 食物口感模拟方法及系统
CN106936922A (zh) * 2017-04-07 2017-07-07 深圳市合智智能科技有限公司 基于远程控制的多味道味觉感应系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HIROO IWATA等: "Food Simulator: A Haptic Interface for Biting" *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108434668A (zh) * 2018-06-13 2018-08-24 蔡璟 一种基于体感的智能跑步机设备
CN109125880A (zh) * 2018-10-24 2019-01-04 广东技术师范学院 棒棒糖模拟装置
CN110101273A (zh) * 2019-05-23 2019-08-09 林金满 一种糖尿病病人使用的电力叉子
CN114269526A (zh) * 2019-08-30 2022-04-01 环球城市电影有限责任公司 可食用软机器人系统和方法
US11938630B2 (en) 2019-08-30 2024-03-26 Universal City Studios Llc Edible soft robotic systems and methods
CN114269526B (zh) * 2019-08-30 2024-05-03 环球城市电影有限责任公司 可食用软机器人系统和方法
US11517814B2 (en) 2020-09-03 2022-12-06 Alan Chalmers Flavour system
US11850505B2 (en) 2020-09-03 2023-12-26 Alan Chalmers Flavour system
CN112433606A (zh) * 2020-11-11 2021-03-02 珠海格力电器股份有限公司 用于直播虚拟体验食物味道的方法和装置
EP4228272A1 (en) * 2022-02-09 2023-08-16 Kinpo Electronics, Inc. Feedback device for taste sense, and feedback system and feedback method for using the same

Similar Documents

Publication Publication Date Title
CN107704088A (zh) 一种基于虚拟现实技术的虚拟品尝方法及装置
US8952888B2 (en) Method and system for conveying an emotion
TWI710934B (zh) 觸覺資訊轉換裝置、觸覺資訊轉換方法、及觸覺資訊轉換程式與元件配置構造體
Iwata et al. Food simulator: A haptic interface for biting
US20170131775A1 (en) System and method of haptic feedback by referral of sensation
Ranasinghe et al. Simulating the sensation of taste for immersive experiences
WO2020019552A1 (zh) 一种虚拟现实触觉反馈交互系统
CN107092353B (zh) 一种手部触感参数的采集及模拟还原系统和方法
CN105007812B (zh) 脑电波信号处理装置、脑电波信号处理方法、程序、及记录介质
KR20180112847A (ko) 촉각 정보 변환 장치, 촉각 정보 변환 방법, 및, 촉각 정보 변환 프로그램
CN104706499A (zh) 上肢脑神经康复训练系统及训练方法
Nakamura et al. Development and evaluation of interactive system for synchronizing electric taste and visual content
Ranasinghe et al. Taste/IP: The sensation of taste for digital communication
US20170232252A1 (en) Tongue stimulation for communication of information to a user
US20140243590A1 (en) System and device for simulating interaction and the use of the system and device for sexual interaction
CN207520121U (zh) 体感检测与模拟系统
CN208569548U (zh) 一种基于虚拟现实技术的虚拟品尝装置
Tara et al. Timing of vibratory stimuli to the upper body for enhancing fear and excitement of audio-visual content
WO2018139150A1 (ja) マスク型振動マッサージ装置
CN107469358A (zh) 玩具以及玩具信号处理方法
CN105593790B (zh) 用于用户与虚拟环境的同步的方法及可佩戴装置
US9000317B2 (en) Touch-activated device based on dielectric elastomers and method of manufacture
JP6682092B2 (ja) 食物摂取方法を訓練できるように構成された装置
Limbasiya Sense simulation in virtual reality to increase: Immersion, presence, and interactions
Sasagawa et al. A proposal of food texture display by jamming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180216

RJ01 Rejection of invention patent application after publication