CN111938636B - 人体肌电信号虚拟打击振动反馈系统及反馈信号生成方法 - Google Patents
人体肌电信号虚拟打击振动反馈系统及反馈信号生成方法 Download PDFInfo
- Publication number
- CN111938636B CN111938636B CN202010725333.6A CN202010725333A CN111938636B CN 111938636 B CN111938636 B CN 111938636B CN 202010725333 A CN202010725333 A CN 202010725333A CN 111938636 B CN111938636 B CN 111938636B
- Authority
- CN
- China
- Prior art keywords
- vibration feedback
- muscle
- user
- signal
- vibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
Abstract
本发明涉及人体肌电信号虚拟打击振动反馈系统及反馈信号生成方法,所述系统包括肌肉电信号传感器,振动反馈设备,虚拟现实眼镜设备,虚拟现实场景模块等,所述方法包括:1,构建虚拟现实场景平台,2,肌肉电信号的预处理等,本发明所述方法优越效果在于:用户通过执行正确的敲击姿势时,即在训练初期给定一个规范的敲击姿势,用户能够得到振动反馈会随敲击力量的改变而线性变化,通过使用精简的振动反馈设备,并由相应的振动反馈算法驱动,在训练过程中产生因敲击不同材质的相对应特征的振动反馈,给予用户更高的活动自由度和用户体验。
Description
技术领域
本发明涉及虚拟现实领域,具体涉及基于多通道人体肌肉电信号(EMG,electromyogram)虚拟打击振动反馈系统及其反馈信号生成方法。
背景技术
打击乐一直是乐器演奏中的最常见最受欢迎的音乐表达方式。众所周知,要想熟练的掌握一门打击乐器,一个充分条件即需要长期的重复性训练正确的敲击姿势和力量,形成相应的肌肉记忆和运动技能。
随着虚拟现实技术的发展和可穿戴设备的普及,用户可以不约束于传统的训练场地、器材、临场教学等因素,沉浸在虚拟环境中进行打击乐的演奏是一个有效的解决方案,归功于场景的可编程性,不但能够减少训练成本,而且还能够提高训练的质量。
但是目前在该场景下,现有的技术以及解决方案仍存在以下几点问题:
1.当涉及到人体的姿势判别时,可以采用安置在肢体表面的加速度仪去研究人体的物理运动状态,然而当具体研究人体前肢的敲击行为时,由于碰撞产生的振动会对肢体固定的加速度仪造成很大程度的噪声,所以在该场景下加速度并不是一个很合理的解决方案。类似的,还可以采用计算机视觉的方式对人体的行为从光传播的捕捉,但由于行为的复杂性,光的衍射,环境光信号的干扰等等因素,在具体的实施阶段仍具有挑战性。此外,使用过多的传感设备对于用户体验也有着负面的影响。
2.当涉及到对用户作用振动反馈时,常用的振动反馈模型则是带阻尼的正弦曲线衰减模型,通过调节振幅系数、衰减率及正弦频率来模拟敲击不同材质的特性,但高保真度的振动反馈设备以及相应的信号生成器设备的使用则是不可避免的。这也导致,复杂繁重的设备在更加广泛的敲击应用中对用户体验上的质量的负面影响。
在现有专利文献中,例如专利公开号CN109799903A公开来发明名称本发明适用于虚拟现实技术领域,提供了基于虚拟现实的打击乐方法、终端设备及系统,其中所述方法包括:构建虚拟场景,其中所述虚拟场景包括虚拟打击乐器、目标演奏曲目以及根据所述目标演奏曲目标示于所述虚拟打击乐器上的提示信息;获取用户处于所述虚拟场景中的动作交互数据,并根据所述动作交互数据生成响应信息,其中所述响应信息包括视觉响应信息、听觉响应信息及力觉响应信息。
又如专利公开号CN109493685A公开来发明名称为一种基于增强现实的虚拟打击乐器训练系统,该打击乐器体验系统包括用于用户随身携带且具有识别模块、投影模块、重力测量模块、虚拟成像模块和音频播放模块的增强现实眼镜和用于可供用户手持的操作装置。用户可以手持该操作装置并根据被该投影模块投射至该受击装置上的图像指令对该虚拟打击乐器进行有规律的模拟击打,并且该音频播放模块可以在该操作装置模拟击打该虚拟打击乐器时播放对应的声音。用户可以通过调节该音频播放模块的音量大小,以防止发出过大的声音而影响到他人休息。同时,通过手持实体的该操作装置对该虚拟打击乐器进行模拟击打而直接体验敲击节奏。
上述发明专利申请均未涉及人体肌电信号的虚拟打击振动反馈信号生成方法。
发明内容
有鉴于此,本发明提供了人体肌电信号虚拟打击振动反馈系统及反馈信号生成方法。
本发明所述人体肌电信号虚拟打击振动反馈系统包括:
肌肉电信号传感器,佩戴于用户的前手臂,用于探测用户在敲击时刻的肌肉电信号;
振动反馈设备,由用户手持,用于模拟在虚拟环境中的物体碰撞产生的振动;
虚拟现实眼镜设备,戴于用户头部用于反馈虚拟场景中的场景画面;
定位基站,振动反馈设备和虚拟眼镜设备均通过定位基站进行空间位置的实时定位;
虚拟现实场景平台,虚拟现实场景平台:包括肌肉电信号传感器,振动反馈设备,虚拟现实眼镜设备,虚拟现实场景模块,定位基站,虚拟现实场景平台运行于计算机上。
本发明还提出一种人体肌电信号虚拟打击振动反馈信号生成方法,包括以下步骤:
步骤1,构建虚拟现实场景平台模块,虚拟现实场景平台模块包括肌肉电信号传感器,振动反馈设备,虚拟现实眼镜设备,虚拟现实场景模块,定位基站,虚拟现实场景平台模块运行于计算机上;
步骤2,肌肉电信号的预处理:
步骤2.1,用户在前手臂佩戴肌肉电信号传感器,在虚拟环境中,通过敲击触发系统的碰撞检测,用于探测用户在敲击的时刻的肌肉电信号;
步骤2.2,通过Unity3D平台对虚拟场景的碰撞检测触发,驱动肌肉电信号传感器读取该时刻的原始肌肉电信号,并通过平均绝对值对原始肌肉电信号进行预处理,如下式(1)所示:
上式(1)中:|xi|对原始的正负肌肉电信号值进行了绝对值处理,N则是对采样的肌肉电信号块中的样本数,MAV则是预处理后的肌肉电信号值;
步骤2.3,在训练起始阶段,根据给定一个标准的敲击姿势,获取600组用户在标准的敲击姿势下敲击的肌肉电数据,用户使用的力量分布均匀,将获取的600组肌肉电数据输入到主成分分析模型中进行参数训练,得出每个肌肉电传感器对应通道的权重值,并最终得出如公式(2)所示的加权平均的肌肉电信号值:
步骤2.4,使用平均绝对值方法对肌肉电信号进行预处理,根据计算得出对应通道的权重值,可以获得一组权重值矩阵,该矩阵与后期的肌肉电信号各通道数据流进行点乘计算,可以得到加权且降维后的一维肌肉电信号值;针对敲击的材质特性,通过设置相应的振动反馈模型中(如下式(3))振幅系数A,衰减率B,正弦频率f三个参数,可以生成相应材质特征敲击后的振动反馈波形;此外,根据用户的机械刺激阈值和触觉制动器的工作特性,生成低保真度电机的振动反馈波形,即振幅与时间的函数,将该振动信号输入到低保真度电机并驱动电机工作,相应振动模式则能够通过手柄的物理振动反馈用户;
步骤3,建立基于肌肉电信号的振动反馈模型:
根据肌肉电信号和振动反馈的相关性,建立基于肌电信号的振动反馈模型,通过采样给定训练姿势的作用时刻碰撞加速度和作用时刻的加权平均肌肉电信号值,得出两者之间存在线性关系,按照垂直90度姿势敲击时,提取50组样本值,作用加速度和作用加权平均肌肉电信号值呈现R2=0.9665的拟合度,建立基于肌肉电信号的振动反馈模型,如下式(3)所示:
上式(3)中:Q(t)是振动的振幅与时间的函数,A是振幅系数,B是衰减率,f是正弦频率,以将加权平均的肌肉电信号转化为敲击的波形信号;
步骤4,设计针对低保真度电机的振动反馈信号的生成方法:
通过基于上式(3)所示肌肉电信号的振动反馈模型,针对采用低保真度电机设计出相应的振动生成信号,如下式(4)所示:
上式(4)中:U(t)是振幅值随着时间t的阶跃函数,Q(i)是公式(3)中的采样时间点的振幅极值,i=(1+2k)/4f,k=0,1,2,3…N,T0=0,Ti为第k个极值点的振幅采样点的振动持续时长。
本发明所述人体肌电信号虚拟打击振动反馈系统及其反馈信号生成方法的优越效果在于:
1,用户通过执行正确的敲击姿势时,即训练初期需要给定一个规范的敲击姿势,用户就能够得到的振动反馈会随着敲击力量的改变而线性变化。而用户在使用非规范的姿势进行敲击时,得到的振动反馈则不会得到相应的随敲击力量的线性变化特征,这种差异性很容易为用户所感知,用户进而能够主动调整相应的敲击姿势。
2,针对现有的打击乐敲击训练设计上的缺陷,本发明设计的人体肌电信号的虚拟打击振动反馈信号生成方法,通过使用经济简便的设备能够更高效的捕捉用户的敲击行为数据,判定敲击的有效性,进而给予相应的正负向振动反馈刺激,帮助训练者主动调整训练过程中敲击姿势,形成相应正确的肌肉记忆。
3,本发明通过使用精简的振动反馈设备,并由相应的振动反馈算法驱动,在训练过程中产生因敲击不同材质的相对应特征的振动反馈,给予用户更高的活动自由度和用户体验质量。
附图说明
图1为本发明所述人体肌电信号虚拟打击振动反馈系统的框架示意图;
图2为本发明所述人体肌电信号虚拟打击振动反馈系统的虚拟现实场景平台示意图;
图3为本发明所述方法振幅与时间函数关系示意图;
图4为以垂直90度敲击的600组数据,8个传感器中数据的权重分析;
图5为本发明以垂直90度敲击时,臂环A的加权EMG值和B的瞬时加速度值的拟合线性关系示意图;
图6为50个参与者的实验音量值的方差和叠加方差;
图7为3个材质各自被误判为其他的材质的统计图;
图8为VBE和CA两种方法下三种材料对应的方差和准确率。
具体实施方式
下面结合说明书附图1-8,对本发明所述的多通道人体肌电信号虚拟打击振动反馈系统及方法具体实施方式做进一步详细说明。
如图1-2所示,本发明所述人体肌电信号的虚拟打击振动反馈系统包括:
肌肉电信号传感器,佩戴于用户的前手臂,用于探测用户在敲击的时候的肌肉电信号;
振动反馈设备,由用户手持,用于模拟在虚拟环境中的物体碰撞产生的振动;
虚拟现实眼镜设备,戴于用户头部用于反馈虚拟场景中的场景画面;
定位基站,振动反馈设备和虚拟眼镜设备均通过定位基站进行空间位置的实时定位;
虚拟现实场景平台,虚拟现实场景平台包括肌肉电信号传感器,振动反馈设备,虚拟现实眼镜设备,虚拟现实场景模块,定位基站,虚拟现实场景平台运行于计算机上。
本发明另提供多通道人体肌电信号虚拟打击振动反馈的信号生成方法,包括以下步骤:
步骤1,构建虚拟现实场景平台,虚拟现实场景平台包括肌肉电信号传感器,振动反馈设备,虚拟现实眼镜设备,虚拟现实场景模块,定位基站,构建虚拟现实场景平台运行于计算机上,如图1-2所示;
步骤2,肌肉电信号的预处理:
步骤2.1,用户在前手臂佩戴肌肉电信号传感器,在虚拟环境中,通过敲击触发系统的碰撞检测,用于探测用户在敲击时刻的肌肉电信号;
步骤2.2,通过Unity3D平台对虚拟场景的碰撞检测触发,驱动肌肉电信号传感器读取该时刻的原始肌肉电信号,并通过平均绝对值对原始肌肉电信号进行预处理,如下式(1)所示:
上式(1)中:|xi|对原始的正负肌肉电信号值进行了绝对值处理,N则是对采样的肌肉电信号块中的样本数,MAV则是预处理后的肌肉电信号值;
步骤2.3,在训练起始阶段,根据给定一个标准的敲击姿势,如图4所示,获取600组用户在标准的敲击姿势下敲击的肌肉电数据,用户使用的力量分布均匀,将获取的600组肌肉电数据输入到主成分分析模型中进行参数训练,得出每个肌肉电传感器对应通道的权重值,并最终得出如公式(2)所示的加权平均的肌肉电信号值:
步骤2.4,使用平均绝对值方法对肌肉电信号进行预处理,根据计算得出对应通道的权重值,可以获得一组权重值矩阵,权重值矩阵与后期的肌肉电信号各通道数据流进行点乘计算,能够得到加权且降维后的一维肌肉电信号值;针对敲击的材质特性,通过设置相应的振动反馈模型中(如以下公式(3))振幅系数A,衰减率B,正弦频率f三个参数,能够生成相应材质特征敲击后的振动反馈波形;此外,根据用户的机械刺激阈值和触觉制动器的工作特性,生成低保真度电机的振动反馈波形,如图3所示,即振幅与时间的函数,输出到低保真度电机并将振动反馈给用户;
步骤3,建立基于肌肉电信号的振动反馈模型:
根据肌肉电信号和振动反馈的相关性,建立基于肌电信号的振动反馈模型,通过采样给定训练姿势的作用时刻碰撞加速度和作用时刻的加权平均肌肉电信号值,得出两者之间存在线性关系,如图5所示,按照垂直90度姿势敲击时,提取50组样本值,作用加速度和作用加权肌肉电信号值大体呈现R2=0.9665的拟合度,建立基于肌肉电信号的振动反馈模型,如下式(3)所示:
上式(3)中:Q(t)是振动的振幅与时间的函数,A是振幅系数,B是衰减率,f是正弦频率,据此,可以将加权平均的肌肉电信号转化为敲击的波形信号。
步骤4,设计针对低保真度电机的振动反馈信号的生成方法:
通过基于上式(3)所示肌肉电信号的振动反馈模型,针对采用低保真度电机设计出相应的振动生成信号,如下式(4)所示:
上式(4)中:U(t)是振幅值随着时间t的阶跃函数,Q(i)是公式(3)中的采样时间点的振幅极值,i=(1+2k)/4f,k=01,2,3…N,T0=0,Ti为第k个极值点的振幅采样点的振动持续时长。
需要说明的是,采用偏心旋转质量执行器(ERM)或线性共振执行器(LRA)来提供高频振动作为触觉反馈,在本实施例中,例如,HTC VIVE控制器和Nintendo Switch Joy-cons都嵌入了线性谐振执行器,对于ERM,输入电压会影响电动机的速度以及振动幅度和频率,而对于LRA,电压和频率是分开的,当需要在改变振幅的同时将振动频率保持在特定范围内时,驱动LRA的最直接方法是使用台式信号发生器和放大器,然而对于日常应用场景,设备需要便携式且紧凑,这与实验室中常用的信号发生器不同。因此,通过使用PC上的串行API端口而不是台式信号发生器来调制电机振动的持续时间和振幅,从而设计出针对这些执行器(例如HTC VIVE控制器)碰撞三种材料的振动模式。此外,输入信号基于EMG的振动模型,以呈现敲击三种材料的不同振动模式。
此外,关于Pacinian小体的人体感觉阈值,Pacinian小体在皮肤的区域大小和持续时间层面对刺激进行求和,在先前也定义为“空间求和(Spatial summation)”和“时间求和(temporal summation)”。空间总和是指不同大小的外接接触器对皮肤的影响。在常见情况下,人类检测阈值会随着接触器尺寸的增加而降低。随着刺激持续时间的增加,检测阈值逐渐降低。对振动触觉检测的这种时间求和效应服从时间常数为200ms的负指数函数。但是,持续时间超过1000ms时,此效果将停止。Pacinian通道中时间求和的本质是响应刺激持续时间的神经整合过程。随着对刺激物的暴露时间越长,神经整合的时间就越多,较弱的刺激力总和会超过此阈值内的神经阈值。类似地,如果刺激的持续时间较短,则心理阈值也会增加。也就是说,由于神经整合所需的时间更少,因此有必要采取更强有力的刺激措施。
通过基于肌肉电信号的振动反馈模型模块,可以得出敲击不同材质的理论振动波形,但是一般情况下,需要使用信号生成器和高保真的触觉制动器去生成基于肌肉电信号的振动反馈模型的物理振动效果,这样会造成成本的升高和用户体验以及效率的降低。需要针对采用低保真度电机设计出相应的振动生成信号。因此提出上式(4)。
在上式(4)中,Ti和N的选取是经验性的,需要考虑以下三个方面情况:
1)在基于肌电信号的振动反馈模型中,振幅系数A的变化与材质金属铝的模拟效果较为敏感,衰减率B则对橡胶材质较为敏感,正弦频率f则对材质木块较为敏感。
2)在一定条件下,振动反馈的刺激强度和作用时间的成反比,极值采样的分布多样性和相应的持续振动时间决定了材质间的模拟区分度和保真度。
3)在现实世界中,一般材质间的振动会在0.1s内进行了振动的衰减,当然也会随着材质的差异性而变化。此外,在最小可察觉内,我们可以合法的扩大(降低)振幅和振动持续时间来使我们的系统有效的工作。
通过为低保真度电机提供所执行的振动信号,能够提高了用户体验的质量和训练的效率。
在本实施例中,选取了50名用户(18名男性,32名女性,年龄在20到28岁之间,M=23.86岁,SD=2.30岁)进行两组测试,分别针对基于肌肉电信号的振动反馈模型对于用户主动调整敲击手势的效果,以及针对低保真度电机的振动信号设计方法对于材质区分性效果,进行了虚拟环境中敲击声音控制实验和敲击材质区分性实验如下。
敲击声音控制实验:
在本实验中,通过基于EMG的振动反馈系统(VBE,Vibration Based on EMG),植入了给定的敲击方向和力量,与自由敲击系统对比(FT,free-tap,即敲击遵循着客观物理学运动,而没有一些辅助性的限制),基于EMG的振动反馈系统由速度驱动,主要目的是评估基于EMG的振动反馈系统是否对用户主动调整任务中的敲击方向和力量有帮助。在敲击声音控制实验中,对两个基于EMG的振动反馈系统都采用了最简单的声音渲染模型,其值设置为与作用EMG或速度的线性关系,在实验前三分钟,用户从Unity3D平台控制播放的耳机中听到一个标准录制的铃声音量,在基于EMG的振动反馈系统中设置为0.5(音量范围为0~1,约为23db~76db),并向用户展示一个模糊的敲击手势,用户提前熟悉场景,在实验中通过敲击产生接近给定标准场景的音量。
每个参与者记录20个结果,来自VBE系统的10个数据和来自FT系统的10个数据。最具代表性的3个数据(最接近给定的音量值:0.5),是从对照组和实验组得到的每组10个结果中选择的。数据的方差和均值如图6所示。与FT相比,VBE的叠加方差斜率增量更小,每个参与者的方差波动更小。VBE得到的音量值方差范围为0.000105~0:006567(均值0:001718,SD:0:001535),FT得到的音量值方差范围为0:000079~0:030785(均值0:003278,SD:0:004830)。在FT方差中,最大值0.030785被认为是由于用户控制性的多样性产生的噪声值。由于收集到的样本值范围较窄(0-1),因此方差显示的是微观值,而它们反映的是现实世界中较为广泛的物理位移范围。这一观察结果表明,VBE的结果比FT更稳定。可见,VBE系统更有助于促使被试主动调整自己的敲打方向和力度,以达到给定的音量。
敲击材质区分性实验:
在敲击材质区分性实验中,通过比较恒定振幅值(CA,Constant Amplitude,恒定振幅是指振动保持在初始振幅决定的固定值)方法和本发明的VBE方法,两种方法在沉浸式虚拟环境中的用户区分材质的准确率。实验的目标就是判定本发明的方法是否能够提高任务中因敲击不同材质后产生的差异性和多样性的振动反馈的体验。在测试开始之前,所有的参与者都被要求敲击三种材料的真实表面,以便他们能够熟悉触觉振动。用户有15秒的时间来熟悉每个黑盒的振动模式,当向参与者介绍测试规则时,9个黑盒包含3种材料,但它们的数量和位置是随机的,在虚拟场景中设置了9个黑盒,其材质为橡胶、木头和铝。每种材料对应九个随机排列的黑匣子中的三个。参与者使用HTC VIVE控制器控制虚拟锤。然后,参与者被要求按随机分配给他们的顺序敲打不同的黑匣子,并要求参与者汇报对3种材料的最终判断。
通过以上敲击材质区分性实验的分析结果表明,本发明提出的人体肌电信号的虚拟打击振动反馈系统及反馈信号生成方法在VBE系统中对材料的鉴别性能优于CA系统。如图7所示,两种体系中,木材的方差最大,橡胶的方差最小。也就是说,参与者对木材的判断存在较大的差异,相反,相对而言,橡胶的判断最为清晰,可以与其他材料区分开来。同样,使用CA方法,橡胶的识别正确率最高(86.00%),而木材的识别正确率最低(64.67%)。这些结果表明,与其他两种材料,特别是木材相比,参与者更有能力对橡胶的特性做出正确的判断。同样的结果可以从VBE中得到。
通过比较两种方法的有效性,发现在同一材料下,VBE方法的方差小于CA方法。每一种材料的精度也高于CA法的精度。使用VBE方法正确鉴别木材的准确度比CA方法高出22%。如图8所示,橡胶的准确度差距最小,为5.33%,而铝的准确度则介于其他两种材料之间。很明显,铝经常被误认为是木材。在CA方法中,对橡胶的误判全部为木材,对铝的误判96%为木材。同样,有28个错误地把木头当成橡胶,24个错误地把木头当成铝。在VBE系统中,所有橡胶和铝的误判都是木的,橡胶5个,铝12个。通过比较上述两种方法,本发明所述人体肌电信号的虚拟打击振动反馈系统及反馈信号生成方法系统降低了三种材料的整体错误率,尤其是木材。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明公开的范围内,能够轻易想到的变化或替换,都应涵盖在本发明权利要求的保护范围内。
Claims (2)
1.一种人体肌电信号虚拟打击振动反馈信号生成方法,包括以下步骤:
步骤1,构建虚拟现实场景平台,虚拟现实场景平台包括肌肉电信号传感器,振动反馈设备,虚拟现实眼镜设备,虚拟现实场景模块,定位基站,虚拟现实场景平台运行于计算机上;
步骤2,肌肉电信号的预处理:
步骤2.1,用户在前手臂佩戴肌肉电信号传感器,在虚拟环境中,通过敲击触发系统的碰撞检测,用于探测用户在敲击的时刻的肌肉电信号;
步骤2.2,通过Unity3D平台对虚拟场景的碰撞检测触发,驱动肌肉电信号传感器读取该时刻的原始肌肉电信号,并通过平均绝对值对原始肌肉电信号进行预处理,如下式(1)所示:
上式(1)中:|xi|对原始的正负肌肉电信号值进行了绝对值处理,N则是对采样的肌肉电信号块中的样本数,MAV则是预处理后的肌肉电信号值;
步骤2.3,在训练起始阶段,根据给定一个标准的敲击姿势,获取600组用户在标准的敲击姿势下敲击的肌肉电数据,用户使用的力量分布均匀,将获取的600组肌肉电数据输入到主成分分析模型中进行参数训练,得出每个肌肉电传感器对应通道的权重值,再得出如公式(2)所示的加权平均的肌肉电信号值:
步骤2.4,使用平均绝对值方法对肌肉电信号进行预处理,根据计算得出对应通道的权重值,可以获得一组权重值矩阵,该矩阵与后期的肌肉电信号各通道数据流进行点乘计算,可以得到加权且降维后的一维肌肉电信号值;针对敲击的材质特性,通过设置相应的振动反馈模型中振幅系数,衰减率,正弦频率三个参数,可以生成相应材质特征敲击后的振动反馈波形;此外,根据用户的机械刺激阈值和触觉制动器的工作特性,生成低保真度电机的振动反馈波形,即振幅与时间的函数,将该振动信号输入到低保真度电机并驱动电机工作,相应模式的振动则可以通过手柄反馈给用户;
步骤3,建立基于肌肉电信号的振动反馈模型:
步骤3.1,根据肌肉电信号和振动反馈的相关性,建立基于肌电信号的振动反馈模型,通过采样给定训练姿势的作用时刻碰撞加速度和作用时刻的加权平均肌肉电信号值,得出两者之间存在线性关系;
步骤3.2,按照垂直90度姿势敲击时,提取50组样本值,作用加速度和作用加权平均肌肉电信号值呈现R2=0.9665的拟合度,建立基于肌肉电信号的振动反馈模型,如下式(3)所示:
上式(3)中:Q(t)是振动的振幅与时间的函数,A是振幅系数,B是衰减率,f是正弦频率,可以将加权平均的肌肉电信号转化为敲击的波形信号;
步骤4,设计针对低保真度电机的振动反馈信号的生成方法:
通过基于上式(3)所示肌肉电信号的振动反馈模型,针对采用低保真度电机设计出相应的振动生成信号,如下式(4)所示:
上式(4)中:U(t)是振幅值随着时间t的阶跃函数,Q(i)是公式(3)中的采样时间点的振幅极值,i=(1+2k)/4f,k=0,1,2,3…N,T0=0,Ti为第k个极值点的振幅采样点的振动持续时长,p为起始点的时间。
2.一种人体肌电信号虚拟打击振动反馈系统,其特征在于,包括:
肌肉电信号传感器,佩戴于用户在前手臂,用于探测用户在敲击时刻的肌肉电信号;
振动反馈设备,由用户手持,用于模拟在虚拟环境中的物体碰撞产生的振动;
虚拟现实眼镜设备,戴于用户头部用于反馈虚拟场景中的场景画面;
定位基站,振动反馈设备和虚拟眼镜设备均通过定位基站进行空间位置的实时定位;
虚拟现实场景平台模块,虚拟现实场景平台模块包括肌肉电信号传感器,振动反馈设备,虚拟现实眼镜设备,虚拟现实场景模块,定位基站,虚拟现实场景平台模块运行于计算机上,计算机执行权利要求1所述的人体肌电信号虚拟打击振动反馈信号生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010725333.6A CN111938636B (zh) | 2020-07-24 | 2020-07-24 | 人体肌电信号虚拟打击振动反馈系统及反馈信号生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010725333.6A CN111938636B (zh) | 2020-07-24 | 2020-07-24 | 人体肌电信号虚拟打击振动反馈系统及反馈信号生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111938636A CN111938636A (zh) | 2020-11-17 |
CN111938636B true CN111938636B (zh) | 2022-03-25 |
Family
ID=73339005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010725333.6A Active CN111938636B (zh) | 2020-07-24 | 2020-07-24 | 人体肌电信号虚拟打击振动反馈系统及反馈信号生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111938636B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107408376A (zh) * | 2015-01-08 | 2017-11-28 | 沐择歌有限责任公司 | 交互式乐器和其它打击物体 |
CN108108654A (zh) * | 2017-09-19 | 2018-06-01 | 东华大学 | 一种基于多通道表面肌电信号的手绘轨迹重建方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5679004A (en) * | 1995-12-07 | 1997-10-21 | Movit, Inc. | Myoelectric feedback system |
CN101530329B (zh) * | 2009-03-06 | 2011-04-06 | 北京理工大学 | 半实物驾驶疲劳视景仿真系统平台 |
US9063644B2 (en) * | 2012-03-26 | 2015-06-23 | The Boeing Company | Adjustment mechanisms for virtual knobs on a touchscreen interface |
-
2020
- 2020-07-24 CN CN202010725333.6A patent/CN111938636B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107408376A (zh) * | 2015-01-08 | 2017-11-28 | 沐择歌有限责任公司 | 交互式乐器和其它打击物体 |
CN108108654A (zh) * | 2017-09-19 | 2018-06-01 | 东华大学 | 一种基于多通道表面肌电信号的手绘轨迹重建方法 |
Non-Patent Citations (4)
Title |
---|
Evaluation of EMG Feature Extraction for Hand Movement Recognition Based on Euclidean Distance and Standard Deviation;A. Phinyomark等;《The 2010 ECTI International Confernce on Electrical Engineering/Electronics,Computer, Telecommunications and Information Technology》;20100624;第1页-最后1页 * |
Prediction of four degrees of freedom arm movement using EMG signal;Kyuwan Choi等;《Proceedings of the 2005 IEEE Engineering in Medicine and Biology 27th Annual Conference》;20060410;第5820-5823页 * |
Reality-Based Models for Vibration Feedback in Virtual Environments;Allison M. Okamura等;《IEEE/ASME Transactions on Mechatronics》;20010930;第6卷(第3期);第245-252页 * |
基于高密度阵列表面肌电的肌肉肌腱单元解析及肌力估计;黄成君;《中国博士学位论文全文数据库 信息科技辑》;20170915(第09期);第45-70页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111938636A (zh) | 2020-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Grassi | Do we hear size or sound? Balls dropped on plates | |
Okamura et al. | Vibration feedback models for virtual environments | |
Visell et al. | Sound design and perception in walking interactions | |
JPWO2011027535A1 (ja) | 触感再現方法、装置、コンピュータプログラムおよびコンピュータプログラムを記録した記録媒体 | |
Bouënard et al. | Gesture control of sound synthesis: Analysis and classification of percussion gestures | |
CN102929386A (zh) | 一种动感重现虚拟现实的方法及系统 | |
Culbertson et al. | Should haptic texture vibrations respond to user force and speed? | |
McDonald et al. | Dynamic simulation of tool-mediated texture interaction | |
CN111897427A (zh) | 基于触觉感知仿生特性的硬度触觉再现方法 | |
CN111938636B (zh) | 人体肌电信号虚拟打击振动反馈系统及反馈信号生成方法 | |
Avanzini et al. | Integrating physically based sound models in a multimodal rendering architecture | |
Clarke et al. | Diffimpact: Differentiable rendering and identification of impact sounds | |
KR100551201B1 (ko) | 볼륨 모델 기반의 햅틱 인터페이스를 이용한 치과 치료훈련 및 평가 시스템 | |
Schäfer et al. | Transfer properties of touch elicited waves: Effect of posture and contact conditions | |
Melaisi et al. | The effect of sound on haptic fidelity perception | |
Birnbaum | Musical vibrotactile feedback | |
Mäki-Patola | User interface comparison for virtual drums | |
CN110786825A (zh) | 基于虚拟现实视听觉通路的空间知觉失调测训系统 | |
CN113633870B (zh) | 情绪状态调节系统及方法 | |
Gleeson et al. | Exploration of tactile contact in a haptic display: Effects of contact velocity and transient vibrations | |
Xu et al. | An electromyogram-based tapping gesture model with differentiated vibration feedback by low-fidelity actuators | |
Bouënard et al. | Enhancing the visualization of percussion gestures by virtual character animation | |
KR101750506B1 (ko) | 햅틱 인터페이스의 제어 방법 및 장치 | |
Leskovsky et al. | Assessing the fidelity of haptically rendered deformable objects | |
Yamaguchi et al. | Improvement of Discrimination of Haptic Motion Experience by Reproducing Multi-point Spatial Distribution of Propagated Vibrations at the Wrist |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |