CN111722709A - 一种基于肌电评估的虚拟力反馈交互系统及方法 - Google Patents

一种基于肌电评估的虚拟力反馈交互系统及方法 Download PDF

Info

Publication number
CN111722709A
CN111722709A CN202010410459.4A CN202010410459A CN111722709A CN 111722709 A CN111722709 A CN 111722709A CN 202010410459 A CN202010410459 A CN 202010410459A CN 111722709 A CN111722709 A CN 111722709A
Authority
CN
China
Prior art keywords
force
virtual
electromyographic
signal
electromyographic signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010410459.4A
Other languages
English (en)
Other versions
CN111722709B (zh
Inventor
舒琳
谢超阳
徐向民
朱齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010410459.4A priority Critical patent/CN111722709B/zh
Publication of CN111722709A publication Critical patent/CN111722709A/zh
Application granted granted Critical
Publication of CN111722709B publication Critical patent/CN111722709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Prostheses (AREA)

Abstract

本发明涉及虚拟现实交互技术,为基于肌电评估的虚拟力反馈交互系统及方法。其系统包括电极传感器、初始参数生成单元、肌电信号采集模块、电刺激模块、时分复用模块和肌电信号‑力回归模型处理单元;虚拟交互事件触发初始参数生成单元生成初始电刺激信号参数,初始电刺激信号发送至电极传感器,刺激肌肉被动收缩,产生被动力;肌电信号采集模块通过时分复用模块实时接收电极传感器所采集的人体主动力肌电信号,输入肌电信号‑力回归模型处理单元对虚拟力大小进行预测评估,进而动态调节电刺激信号的参数以输出新的电刺激信号,调整虚拟力反馈大小使其与真实物体给予的力大小一致。本发明能对虚拟力大小进行反馈调节,增强了虚拟场景的沉浸感。

Description

一种基于肌电评估的虚拟力反馈交互系统及方法
技术领域
本发明涉及虚拟现实交互技术,具体地涉及一种基于肌电评估的虚拟力反馈交互系统及方法。
背景技术
随着科学技术的发展,虚拟现实(Virtual Reality)技术得到了广泛的关注和应用,特别是在游戏、影视、教育、医疗等方面有着广阔的前景。VR技术通过模拟现实世界来给予用户最真实的感受,让人有着身临其境的感觉。同时,VR技术提供了人类所拥有的感知功能,包括听觉、视觉、触觉等等,可以极大地提高虚拟世界的沉浸感。目前,VR已经能为我们提供极其逼真的虚拟世界,但当我们试图伸出手去触摸这些虚拟物体时,VR所带给我们的真实感瞬时破灭,因为我们所触摸到的仅仅是现实世界中的空气,带给我们大脑的只是“虚假”的感觉。
因此,在虚拟现实中获得力感,是提高用户沉浸感的最有效方式。现今,国内外的VR 设备在实现力反馈交互方面,主要存在以下三方面的不足:一、融合视觉、听觉的交互反馈技术发展较为成熟,但在视觉、力触觉,甚至视、听、力触觉融合处理的交互反馈技术亟待提高;二、力反馈实现形式主要还是以传统的传感器震动体表或者通过机械结构来传导力,通过电刺激来实现力反馈的研究较少,且仍只是停留在“有力”阶段,无法精细的提供特定力度大小的力反馈,即现存电刺激方式对人体产生力反馈的力度大小无法控制,与真实世界里物体所给予人的作用力大小不一致,极大地降低了虚拟场景的沉浸感;三、现今的力反馈电极常采用硅胶贴片电极,常面临着接触不良、容易脱落问题,不适合于推广应用。
发明内容
为了解决现有技术所存在的问题,本发明提出一种基于肌电评估的虚拟力反馈交互系统及方法,能够对虚拟力的大小进行反馈,对电刺激信号的参数进行调整,极大提升了力反馈的真实度,增强了虚拟场景的沉浸感。
本发明交互系统采用如下技术方案来实现:一种基于肌电评估的虚拟力反馈交互系统,包括电极传感器、初始参数生成单元、肌电信号采集模块、电刺激模块、时分复用模块和肌电信号-力回归模型处理单元;
电极传感器贴在人体皮肤表面多个位置,通过时分复用模块分别与电刺激模块、肌电信号采集模块连接;
以真实物体刺激人体肌肉时,电极传感器采集肌电信号,通过肌电信号采集模块将肌电信号输入肌电信号-力回归模型处理单元,以建立肌电信号-力回归模型;虚拟场景模拟真实物体刺激时,虚拟交互事件触发初始参数生成单元生成初始电刺激信号参数,由电刺激模块输出初始电刺激信号,经过时分复用模块发送至电极传感器,刺激肌肉被动收缩,产生被动力;肌电信号采集模块通过时分复用模块实时接收电极传感器所采集的人体主动力肌电信号,输入肌电信号-力回归模型处理单元对虚拟力大小进行预测评估,进而动态调节电刺激信号的参数以输出新的电刺激信号,通过调节虚拟场景下外力大小来间接改变人体肌肉主动力大小,直至人体肌肉感受到的虚拟力反馈大小与真实物体给予的力大小一致。
本发明交互方法基于上述交互系统,包括以下步骤:
步骤1:在某一虚拟场景中,根据预先需要的力度设定电刺激信号参数,电刺激模块输出初始电刺激信号,刺激人体肌肉被动收缩,模拟外物作用于人体产生被动力;
步骤2:在虚拟场景中人体肌肉主动发力,抵抗外物作用于人体的被动力,由肌电信号采集模块实时采集得到主动力肌电信号;
步骤3:对肌电信号进行特征处理,提取出肌电信号的时域特征和频域特征后输入肌电信号-力回归模型处理单元,预测评估当前肌电信号所对应的主动力大小;
步骤4:若预测评估得到的主动力小于预先设定的作用力,则加大电刺激信号的幅值强度、脉宽时间,加大电刺激产生的被动力,直到所预测评估的主动力与预先设定的作用力大小相等;
步骤5:若预测评估得到的主动力大于预先设定的作用力,则减小电刺激信号的幅值强度、脉宽时间,减小电刺激产生的被动力,直到所预测评估的主动力与预先设定的作用力大小相等;
步骤6:当所预测评估的主动力与预先设定的作用力大小相等时,记录该预测评估得到的主动力与电刺激信号的参数,并生成力-电刺激信号参数数据库,用于下一次的电刺激信号初始参数。
从以上技术方案可知,本发明提出了基于肌电评估的虚拟力反馈交互系统及方法,当用户在虚拟场景中发生击打、碰撞、触摸等交互事件的瞬间(如手扣下手枪扳机、手触碰按键、手拿起物体、手推门等),本发明能够给予虚拟场景的用户尤为逼真的感觉:与现实中击打、碰撞、触摸真实物体所受到的力反馈大小效果一致。本发明结合虚拟现实技术可应用在游戏、影视、教育、医疗等行业;与现有技术相比,具有如下的有益效果:
1、本发明为虚拟现实交互设备提供了一种实现力反馈的途径,以电刺激模拟外力,采集肌电信号预测评估主动力,再加以反馈动态调节的方式,提供了更加稳定、更加精细的虚拟力反馈,能够对虚拟力的大小进行反馈,对电刺激信号的参数进行调整,极大提升了力反馈的真实度,增强了虚拟场景的沉浸感。
2、本发明以柔性织物电极阵列为传感器,通过时分复用模块将电刺激和肌电信号采集融为一体,极大地简化了电路装置大小,将柔性织物电极嵌入于布料中可应用到穿戴设备,具有舒适、轻便、接触性好、成本较低的优点。
附图说明
图1为本发明基于肌电评估的虚拟力反馈交互系统的方框图;
图2为电刺激模块的原理框图;
图3为肌电信号采集模块的原理框图;
图4为本发明基于肌电评估的虚拟力反馈交互方法的流程图。
具体实施方式
在现实世界里,人体与物体交互时(如触摸物体、拿起物体等),都存在着物体作用于人体的力,和人体作用于外物的力。实际上人体的身体运动都是通过肌肉收缩来完成的,人体肌肉收缩则是通过中枢神经系统将肌电信号脉冲传导给肌纤维,引起肌纤维收缩而实现的。所以,通过在肌纤维处施加合适的电刺激可使肌肉发生收缩和拉伸等被动动作,从而使人体产生不自主肌体运动,即可模拟出真实物体作用于我们人体的力,为被动动作下的被动力。为抵抗真实外物给予人体的外力,人体主动收缩肌肉形成主动力,即人体作用于外物的力,为主动动作下的主动力。在人体主动收缩肌肉时,浅层肌肉和神经运动单元动作电位在皮肤表面的综合效应形成了表面肌电信号,能在一定程度上反映出神经肌肉的活动,且肌电信号的幅值一般和肌肉运动力度成正相关,能精确的反映肌肉自主收缩力,所以通过测量表面肌电信号能够估计出人体肌肉所发出的力量。
本发明基于前述人体生理学原理,在虚拟VR场景下,通过电刺激人体肌肉和皮肤软组织的感受器来获得外物作用于人体的力,即可为虚拟场景中的虚拟物体添加上“力”属性;通过实时采集肌电信号来评估出人体肌肉主动收缩时的主动力,即为人体作用于外物的力,进而调节电刺激的刺激程度,通过调节虚拟场景下外力大小来间接改变人体肌肉主动力,最终产生与真实物体给予人体肌肉主动力大小一致的力反馈,实现了更加精确的虚拟力反馈交互。
以下结合附图和实施例对本发明进行详细说明。应当理解,描述这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明,而并非以任何方式限制本发明的保护范围。
实施例
如图1,本发明包括电极或电极阵列单元、初始参数生成单元、肌电信号采集模块、电刺激模块、时分复用模块和肌电信号-力回归模型处理单元。初始参数生成单元、肌电信号- 力回归模型处理单元可设置于本地计算机、服务器或者VR设备中。
本实施例中,电极或电极阵列单元(也可称为电极传感器)为贴在人体皮肤表面多个位置(如手臂肱二头肌、肱三头肌肌肉表面)的柔性织物电极阵列,若干柔性织物电极阵列嵌入于布料基底中,以布料为依托缠绕在人体肌肉上,可做成臂环戴于手臂之上。电极或电极阵列单元通过时分复用模块分别与电刺激模块、肌电信号采集模块连接,通过时分复用模块切换电刺激和肌电信号采集两个电路信号通道,即既可以接收电刺激模块的输出信号用以刺激人体肌肉,又可以采集人体肌电信号并传输至肌电信号采集模块。也就是说,电极或电极阵列单元工作在电刺激模式与肌电信号采集模式两种模式下,在电刺激模式下柔性织物电极阵列接受电刺激器输出的电刺激信号,在肌电信号采集模式下柔性织物电极阵列采集肌电信号并发送给肌电信号采集模块。电刺激模块和肌电信号采集模块均可固定于使用者身上,包括但不限于背部、腰间、手臂,并通过有线或者无线连接的方式连接至本地计算机、服务器或者VR设备进行实时通信。
本发明以真实物体刺激人体肌肉时,电极传感器采集肌电信号,通过肌电信号采集模块将肌电信号输入肌电信号-力回归模型处理单元,以建立肌电信号-力回归模型;虚拟场景模拟真实物体刺激时,虚拟交互事件触发初始参数生成单元生成初始电刺激信号参数,由电刺激模块输出初始电刺激信号,经过时分复用模块发送至贴于人体皮肤表面的电极传感器,刺激肌肉被动收缩,产生被动力;肌电信号采集模块通过时分复用模块实时接收电极传感器所采集的人体主动力肌电信号,输入肌电信号-力回归模型处理单元进行预测评估,进而动态调节电刺激信号的参数以输出新的电刺激信号,通过调节虚拟场景下外力大小来间接改变人体肌肉主动力大小,直至人体肌肉感受到的虚拟力反馈大小(即所反馈的虚拟力大小,可简称为虚拟力大小)与真实物体给予的力大小一致。
本发明的虚拟力反馈交互系统先以大量不同力度大小的真实物体刺激人体肌肉(如手握不同重量的物体、手推墙),通过柔性织物电极阵列采集人体主动发力时所产生的肌电信号(如手臂肱二头肌、肱三头肌的肌电信号),所采集的肌电信号经过肌电信号采集模块后发送至肌电信号-力回归模型处理单元。肌电信号-力回归模型处理单元对虚拟力大小进行如下预测评估:
1)、设肌电信号时间序列为x(i),其中i=0,1,2,…,N-1,数据长度为N,肌电信号-力回归模型处理单元对肌电信号时间序列进行时域特征处理,提取出时域特征:利用式
Figure RE-GDA0002623006250000051
得到积分肌电值,记为特征X1,利用式
Figure RE-GDA0002623006250000052
得到均方根值,记为特征X2
2)、对肌电信号时间序列进行快速傅里叶变换得到肌电信号的频谱p(f),提取出频域特征:利用式
Figure RE-GDA0002623006250000053
得到平均功率频率,记为特征X3,利用式
Figure RE-GDA0002623006250000054
得到中位频率,记为特征X4;这些肌电信号频谱特征能够反映出肌电信号振幅的变化;
3)、根据肌电信号的时域特征、频域特征和力标签Y,组成标签样本(X1,X2,X3,X4,Y) 作为数据集,定义多项式回归模型为:
Figure RE-GDA0002623006250000055
其中,θ11、θ12、θ21、θ22、θ23、θ31、θ32、θ41、θ42为不同特征所占的权重参数,b为偏置参数,y为虚拟力。
4)、定义损失函数为平方误差损失函数,使用小批量随机梯度下降算法对上述多项式回归模型进行训练,学习到各个权重参数θ(即θ11、θ12、θ21、θ22、θ23、θ31、θ32、θ41及θ42) 和偏置参数b,即可拟合出肌电信号-力回归模型,并将肌电信号-力回归模型的权重参数θ和偏置参数b存于计算机、服务器或VR设备中。
5)、已经训练好的多项式回归模型可用于力大小的预测评估:设实时采集到的肌电信号时间序列为x(i),采用步骤1)、步骤2)对肌电信号时间序列x(i)进行时域特征和频域特征提取,组成样本特征(X1,X2,X3,X4)并输入至训练好的肌电信号-力回归模型,得到虚拟力y的大小。
本发明通过VR虚拟场景来模拟真实物体作用于人体(如手握具有一定重量的虚拟物体,手推墙),当虚拟场景中用户触摸到该物体时,发生交互事件触发,初始参数生成单元依据被触摸物体的深度、物体本身的软硬度、物体本身的重量等虚拟场景信息计算出虚拟物体需要对人体产生多大的作用力,并转化为相应的电刺激信号参数发送至电刺激模块输出初始电刺激信号,同时选通时分复用模块中的电刺激通道,电刺激信号经时分复用模块发送至贴于人体皮肤表面的柔性织物电极阵列,刺激人体肌肉被动收缩,初步模拟出虚拟物体所给予人体的力度,即外力。外力也会伴随着主动力,在外力作用下人体产生不自主肌体运动,为了不让肌体运动,人体必然会主动收缩肌肉发力,抵抗外力所带给人体的影响。例如在虚拟场景下,用户试图用手拿起一定重量的虚拟物体,此时虚拟物体通过电刺激将拥有向下的重力,如果用户不主动发力抵抗这个物体的重力,那么用户将看到虚拟物体滑落掉下,此时外力消失了,用户也就没必要主动发力了,因为虚拟物体不在手上了。所以没有主动发力,用户将无法用手拿起虚拟场景中的虚拟物体。
外力引发人体主动发力,但此时人体产生的主动力大小不一定满足预先设定的作用力大小,通过改变外力大小来间接改变主动力的大小。选通时分复用模块中的肌电信号采集通道,柔性织物电极阵列采集人体肌电信号并将数据发送到肌电信号采集模块,肌电信号采集模块将处理后的肌电信号发送至肌电信号-力回归模型单元,肌电信号-力回归模型单元中根据当前电刺激信号下的主动力大小,与预先设定的作用力大小对比,进而调节电刺激信号的参数,例如幅值强度、脉宽时间,从而通过调节外力大小来间接调节主动力,直到与预先设定的作用力大小一致,即使得人体肌肉感受到的虚拟力反馈大小与真实物体所给予的力大小一致;本实施例中,两者误差不超过10%即可视为一致。
如图2,电刺激模块包括微处理器、数模转换器、功率放大电路、变压输出电路和阻抗检测电路,微处理器根据初始参数生成单元发出的电刺激信号频率、幅值、脉宽参数,编码成电刺激数字信号后,通过I/O引脚将数字信号传输至数模转换器,由数模转换器将数字信号转换成电刺激模拟信号;微弱的电刺激模拟信号经过功率放大电路和变压输出电路后,形成电刺激波形,最后经多路模拟开关(即时分复用模块)选通输出至对应的电极或电极阵列单元(即电极传感器),由阻抗检测电路检测电极传感器是否接触不良,进而确保不会对人体产生伤害。电刺激信号为单相或多相的梯形波,微处理器根据输入幅值、频率、脉宽等参数调制出相应的电刺激信号波形。
如图3,肌电信号采集模块包括依次连接的信号放大电路、滤波电路、模数转换器和微处理器,电极传感器所采集的原始肌电信号经多路模拟开关(即时分复用模块)选通后,进入信号放大电路、滤波电路,去除干扰噪声,最后传输至模数转换器,由模数转换器对肌电信号采样和编码后发送至微处理器,微处理器将肌电信号数据传输至肌电信号-力回归模型处理单元中;肌电信号-力回归模型处理单元对肌电信号进行处理:先进行特征处理(带通滤波、特征归一化、数据增强等),提取出时域特征和频域特征,以肌电信号提取出的特征和力大小作为数据,用机器学习算法对数据进行训练,拟合出肌电信号-力回归模型,并将肌电信号- 力回归模型的参数存储。
如图4,当用户在虚拟场景中发生击打、碰撞、触摸等交互事件的瞬间(如手扣下手枪扳机、手触碰按键、手拿起物体、手推门等),虚拟场景中的虚拟物体需要立即给予人体相应的作用力大小,初始参数生成单元将这一虚拟作用力大小转化成电刺激信号参数,电刺激模块将电刺激信号参数转化成相应的电刺激信号,通过电极传感器刺激人体肌肉被动收缩,模拟出虚拟物体作用于人体的外力;外力引发人体肌肉主动发力,采集肌电信号输入至肌电信号-力回归模型处理单元进行虚拟力大小的预测评估,通过不断调整电刺激信号参数使得人体产生的主动力大小与预先设定的作用力大小相一致。本发明虚拟力反馈交互方法包括步骤:
步骤1:在某一虚拟场景中,根据预先需要的力度设定电刺激信号参数,电刺激模块输出初始电刺激信号,刺激人体肌肉被动收缩,模拟外物作用于人体产生被动力;
步骤2:在虚拟场景中人体肌肉主动发力,抵抗外物作用于人体的被动力,由肌电信号采集模块实时采集得到主动力肌电信号;
步骤3:对肌电信号进行特征处理,提取出肌电信号的时域特征和频域特征后输入肌电信号-力回归模型处理单元,预测评估当前肌电信号所对应的主动力大小;
步骤4:若预测评估得到的主动力小于预先设定的作用力,则加大电刺激信号的幅值强度、脉宽时间,加大电刺激产生的被动力,直到所预测评估的主动力与预先设定的作用力大小相等;从而人体感受到的虚拟力反馈大小与真实物体给予的力度大小一致。
步骤5:若预测评估得到的主动力大于预先设定的作用力,则减小电刺激信号的幅值强度、脉宽时间,减小电刺激产生的被动力,直到所预测评估的主动力与预先设定的作用力大小相等;从而人体感受到的虚拟力反馈大小与真实物体给予的力度大小一致。
步骤6:当所预测评估的主动力与预先设定的作用力大小相等时,记录该预测评估得到的主动力与电刺激信号的参数,并生成力-电刺激信号参数数据库,用于下一次的电刺激信号初始参数;
步骤7:新的虚拟场景发生时,返回步骤1,直至结束。
本发明中,交互事件可以为虚拟场景中检测人体触摸、碰撞、击打到虚拟物体,计算机依据人体触摸物体的深度、物体本身的软硬度、物体的重量等场景信息转化成应需要的力反馈力度大小,发送至电刺激模块,执行电刺激信号输出。
下面举两个实例来进一步说明本发明的力反馈交互过程:
实例1、将柔性电极传感器做成臂环,并对称地分别套在左右手臂的肱二头肌处、肱三头肌处,以及肩膀背阔肌处,其中肱二头肌处的电极传感器用以采集肌电信号,肱三头肌处的电极传感器进行电刺激以提供虚拟物体向下的重力,肩膀背阔肌处的电极传感器同样执行电刺激用以产生虚拟物体对手向外张开的力。当人体用手拿不同重量物体时,手臂肱二头肌收缩,产生力感,这一过程可用测力计代替不同作用力的物体,容易测得人体主动收缩肌肉时对应的作用力大小,此时肱二头肌所产生的力是向上的。通过柔性电极传感器采集大量的肌电信号,建立肌电信号-力回归模型,即通过肌电信号可以估计出相应的力度大小。在VR 场景中建立出相应的虚拟物体场景,预先设定该虚拟物体对手的作用力大小(如5N,10N),用户戴上VR设备后,当用手拿起虚拟场景中的虚拟物体瞬间,初始参数生成单元根据虚拟交互场景信息计算出所需的虚拟作用力大小并转化成电刺激信号参数,系统将自动选通时分复用模块的电刺激通道,电刺激模块根据电刺激信号参数输出电刺激信号,为给予用户手对应的作用力(即向下的力:重力),应刺激人体肱三头肌,此时人体前臂将不自主的向下弯曲。虚拟物体对人体手臂具有向下的作用力,引发人体肌肉主动发力,人体肱二头肌主动收缩,产生向上的力(不让前臂往下弯曲,否则虚拟物体将滑落),同时伴随着表面肌电信号的变化。下一时刻,时分复用模块将选通肌电信号采集通道,柔性电极阵列主要采集肱二头肌的肌电信号,输入至肌电信号-力回归模型处理单元进行预测,评估出当前人体主动发力的大小,进而校准电刺激模块输出新的电刺激信号,通过调节外力的大小来间接改变主动力。重复以上过程,在极短时间内将使人体感受到的虚拟力反馈大小(即主动发力的大小)与预先设定的力度大小一致,即在虚拟现实中拿起一定重量的虚拟物体,与真实世界里拿起相同重量的物体,对手臂所产生的力度一致。
实例2、与实例1过程类似,可用测力计代替不同作用力的物体,容易测得人体肱三头肌所产生的力,力是向下的,建立肌电信号-力回归模型。在虚拟场景中建立出相应的打枪场景,当用户按下手枪瞬间,手枪对人体将产生一定的后坐力,可预先设定该后坐力大小。为模拟该手枪后坐力,电刺激模块输出电刺激信号刺激人体肱二头肌,前臂不自主向上抬起。为体验压枪,人体肱三头肌处将主动发力收缩,不让手臂向上抬,此时肱三头肌所产生的力即为后坐力。通过采集肱三头肌处的肌电信号来校准电刺激模块输出新的电刺激信号,进而达到预先设定的后坐力大小。这一实例可结合枪战游戏,为用户提供真实的打枪后坐力,体验压枪。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (9)

1.一种基于肌电评估的虚拟力反馈交互系统,其特征在于,包括电极传感器、初始参数生成单元、肌电信号采集模块、电刺激模块、时分复用模块和肌电信号-力回归模型处理单元;
电极传感器贴在人体皮肤表面多个位置,通过时分复用模块分别与电刺激模块、肌电信号采集模块连接;
以真实物体刺激人体肌肉时,电极传感器采集肌电信号,通过肌电信号采集模块将肌电信号输入肌电信号-力回归模型处理单元,以建立肌电信号-力回归模型;虚拟场景模拟真实物体刺激时,虚拟交互事件触发初始参数生成单元生成初始电刺激信号参数,由电刺激模块输出初始电刺激信号,经过时分复用模块发送至电极传感器,刺激肌肉被动收缩,产生被动力;肌电信号采集模块通过时分复用模块实时接收电极传感器所采集的人体主动力肌电信号,输入肌电信号-力回归模型处理单元对虚拟力大小进行预测评估,进而动态调节电刺激信号的参数以输出新的电刺激信号,通过调节虚拟场景下外力大小来间接改变人体肌肉主动力大小,直至人体肌肉感受到的虚拟力反馈大小与真实物体给予的力大小一致。
2.根据权利要求1所述的虚拟力反馈交互系统,其特征在于,电极传感器为贴在人体皮肤表面多个位置的柔性织物电极阵列;柔性织物电极阵列嵌入于布料基底中,以布料为依托缠绕在人体肌肉上。
3.根据权利要求1所述的虚拟力反馈交互系统,其特征在于,肌电信号-力回归模型处理单元的建立过程如下:
1)、设肌电信号时间序列为x(i),其中i=0,1,2,...,N-1,数据长度为N,肌电信号-力回归模型处理单元对肌电信号时间序列进行时域特征处理,提取出时域特征:利用式
Figure FDA0002492975300000011
得到积分肌电值,记为特征X1,利用式
Figure FDA0002492975300000012
得到均方根值,记为特征X2
2)、对肌电信号时间序列进行快速傅里叶变换得到肌电信号的频谱p(f),提取出频域特征:利用式
Figure FDA0002492975300000013
得到平均功率频率,记为特征X3,利用式
Figure FDA0002492975300000014
得到中位频率,记为特征X4
3)、根据肌电信号的时域特征、频域特征和力标签Y,组成标签样本(X1,X2,X3,X4,Y)作为数据集,定义多项式回归模型为:
Figure FDA0002492975300000015
其中,θ11、θ12、θ21、θ22、θ23、θ31、θ32、θ41、θ42为不同特征所占的权重参数,b为偏置参数,y为虚拟力;
4)、定义损失函数为平方误差损失函数,使用随机梯度下降算法对上述多项式回归模型进行训练,拟合出肌电信号-力回归模型,并保存肌电信号-力回归模型的权重参数和偏置参数b;
5)、设实时采集到的肌电信号时间序列为x(i),采用步骤1)、步骤2)对肌电信号时间序列x(i)进行时域特征和频域特征提取,组成样本特征(X1,X2,X3,X4)并输入至肌电信号-力回归模型,得到虚拟力y的大小。
4.根据权利要求1所述的虚拟力反馈交互系统,其特征在于,发生虚拟交互事件时,初始参数生成单元依据虚拟场景信息计算出虚拟物体需要对人体产生的作用力大小,并转化为相应的电刺激信号参数发送至电刺激模块输出初始电刺激信号;虚拟场景信息包括被触摸物体的深度、物体本身的软硬度、物体本身的重量。
5.根据权利要求1所述的虚拟力反馈交互系统,其特征在于,肌电信号采集模块包括依次连接的信号放大电路、滤波电路、模数转换器和微处理器,电极传感器所采集的原始肌电信号经时分复用模块选通后,进入信号放大电路、滤波电路,去除干扰噪声,最后传输至模数转换器,由模数转换器对肌电信号采样和编码后发送至微处理器,微处理器将肌电信号数据传输至肌电信号-力回归模型处理单元中。
6.根据权利要求1所述的虚拟力反馈交互系统,其特征在于,时分复用模块包括多路模拟开关电路,依时间顺序轮询切换不同工作模式的信号通道,其中工作模式包括电刺激模式和肌电信号采集模式。
7.基于权利要求1所述虚拟力反馈交互系统的虚拟力反馈交互方法,其特征在于,包括以下步骤:
步骤1:在某一虚拟场景中,根据预先需要的力度设定电刺激信号参数,电刺激模块输出初始电刺激信号,刺激人体肌肉被动收缩,模拟外物作用于人体产生被动力;
步骤2:在虚拟场景中人体肌肉主动发力,抵抗外物作用于人体的被动力,由肌电信号采集模块实时采集得到主动力肌电信号;
步骤3:对肌电信号进行特征处理,提取出肌电信号的时域特征和频域特征后输入肌电信号-力回归模型处理单元,预测评估当前肌电信号所对应的主动力大小;
步骤4:若预测评估得到的主动力小于预先设定的作用力,则加大电刺激信号的幅值强度、脉宽时间,加大电刺激产生的被动力,直到所预测评估的主动力与预先设定的作用力大小相等;
步骤5:若预测评估得到的主动力大于预先设定的作用力,则减小电刺激信号的幅值强度、脉宽时间,减小电刺激产生的被动力,直到所预测评估的主动力与预先设定的作用力大小相等;
步骤6:当所预测评估的主动力与预先设定的作用力大小相等时,记录该预测评估得到的主动力与电刺激信号的参数,并生成力-电刺激信号参数数据库,用于下一次的电刺激信号初始参数。
8.根据权利要求7所述的虚拟力反馈交互方法,其特征在于,肌电信号-力回归模型处理单元对虚拟力大小进行如下预测评估:
1)、设实时采集到的肌电信号时间序列为x(i),其中i=0,1,2,...,N-1,数据长度为N,肌电信号-力回归模型处理单元对肌电信号时间序列进行时域特征处理,提取出时域特征:利用式
Figure FDA0002492975300000031
得到积分肌电值,记为特征X1,利用式
Figure FDA0002492975300000032
得到均方根值,记为特征X2
2)、对肌电信号时间序列进行快速傅里叶变换得到肌电信号的频谱p(f),提取出频域特征:利用式
Figure FDA0002492975300000033
得到平均功率频率,记为特征X3,利用式
Figure FDA0002492975300000034
得到中位频率,记为特征X4
3)、根据肌电信号的时域特征、频域特征,组成样本特征(X1,X2,X3,X4)并输入至如下多项式回归模型以建立肌电信号-力回归模型,进行虚拟力大小的预测评估:
Figure FDA0002492975300000035
其中,θ11、θ12、θ21、θ22、θ23、θ31、θ32、θ41、θ42为不同特征所占的权重参数,b为偏置参数,y为虚拟力。
9.根据权利要求8所述的虚拟力反馈交互方法,其特征在于,进行虚拟力大小的预测评估前对多项式回归模型进行训练,拟合得到肌电信号-力回归模型,过程为:
定义损失函数为平方误差损失函数,使用随机梯度下降算法对多项式回归模型进行训练,学习到各个权重参数θ11、θ12、θ21、θ22、θ23、θ31、θ32、θ41、θ42和偏置参数b,即可拟合出肌电信号-力回归模型,并将肌电信号-力回归模型的权重参数和偏置参数b存于计算机、服务器或VR设备中。
CN202010410459.4A 2020-05-15 2020-05-15 一种基于肌电评估的虚拟力反馈交互系统及方法 Active CN111722709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010410459.4A CN111722709B (zh) 2020-05-15 2020-05-15 一种基于肌电评估的虚拟力反馈交互系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010410459.4A CN111722709B (zh) 2020-05-15 2020-05-15 一种基于肌电评估的虚拟力反馈交互系统及方法

Publications (2)

Publication Number Publication Date
CN111722709A true CN111722709A (zh) 2020-09-29
CN111722709B CN111722709B (zh) 2021-11-19

Family

ID=72564448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010410459.4A Active CN111722709B (zh) 2020-05-15 2020-05-15 一种基于肌电评估的虚拟力反馈交互系统及方法

Country Status (1)

Country Link
CN (1) CN111722709B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112706868A (zh) * 2020-12-23 2021-04-27 南京溧水电子研究所有限公司 一种基于肌电评估的智能助力自行车监控方法及系统
CN112965595A (zh) * 2021-02-26 2021-06-15 清华大学深圳国际研究生院 一种神经电刺激模拟触觉的建模和预测方法
CN113332011A (zh) * 2021-07-06 2021-09-03 上海交通大学 一种用于肌电假肢的电刺激干扰去除系统与方法
CN113370172A (zh) * 2021-06-15 2021-09-10 华南理工大学 基于多传感器和力反馈的辅助机械手系统及其使用方法
WO2024055280A1 (zh) * 2022-09-16 2024-03-21 深圳市韶音科技有限公司 一种信号测量方法及电路

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101244753A (zh) * 2008-03-17 2008-08-20 哈尔滨工业大学 具有多种运动和反馈模式的运动训练脚踏车
CN103691059A (zh) * 2013-12-27 2014-04-02 中国科学院自动化研究所 基于角度信息与肌电信号反馈控制的电刺激康复装置及方法
CN104207793A (zh) * 2014-07-03 2014-12-17 中山大学 一种抓握功能评估与训练系统
US20170098353A1 (en) * 2015-10-01 2017-04-06 International Business Machines Corporation Detecting Object Theft Using Smart Textiles
CN107252525A (zh) * 2017-04-28 2017-10-17 上海交通大学 一种基于肌电反馈的多通道电刺激装置
CN107589831A (zh) * 2017-07-19 2018-01-16 华南理工大学 一种基于肌电刺激的虚拟力反馈交互系统及方法
CN108310632A (zh) * 2018-01-30 2018-07-24 深圳市前海未来无限投资管理有限公司 一种肌肉电刺激方法、装置及可穿戴设备
CN109843371A (zh) * 2016-08-17 2019-06-04 洛桑联邦理工学院 包括用于用户的支撑系统的设备及其在重力辅助模式下的操作
CN110237514A (zh) * 2019-06-21 2019-09-17 上海电机学院 肌肉电控制的模拟打保龄球互动设备
CN110338791A (zh) * 2019-08-09 2019-10-18 中国科学院合肥物质科学研究院 基于样本熵和高斯模型的表面肌电信号活动段分割方法
CN110420383A (zh) * 2019-08-23 2019-11-08 上海交通大学 一种基于多模态融合反馈的可调功能性电刺激控制方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101244753A (zh) * 2008-03-17 2008-08-20 哈尔滨工业大学 具有多种运动和反馈模式的运动训练脚踏车
CN103691059A (zh) * 2013-12-27 2014-04-02 中国科学院自动化研究所 基于角度信息与肌电信号反馈控制的电刺激康复装置及方法
CN104207793A (zh) * 2014-07-03 2014-12-17 中山大学 一种抓握功能评估与训练系统
US20170098353A1 (en) * 2015-10-01 2017-04-06 International Business Machines Corporation Detecting Object Theft Using Smart Textiles
CN109843371A (zh) * 2016-08-17 2019-06-04 洛桑联邦理工学院 包括用于用户的支撑系统的设备及其在重力辅助模式下的操作
CN107252525A (zh) * 2017-04-28 2017-10-17 上海交通大学 一种基于肌电反馈的多通道电刺激装置
CN107589831A (zh) * 2017-07-19 2018-01-16 华南理工大学 一种基于肌电刺激的虚拟力反馈交互系统及方法
CN108310632A (zh) * 2018-01-30 2018-07-24 深圳市前海未来无限投资管理有限公司 一种肌肉电刺激方法、装置及可穿戴设备
CN110237514A (zh) * 2019-06-21 2019-09-17 上海电机学院 肌肉电控制的模拟打保龄球互动设备
CN110338791A (zh) * 2019-08-09 2019-10-18 中国科学院合肥物质科学研究院 基于样本熵和高斯模型的表面肌电信号活动段分割方法
CN110420383A (zh) * 2019-08-23 2019-11-08 上海交通大学 一种基于多模态融合反馈的可调功能性电刺激控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王大庆等: "一种基于肌动信号的股四头肌收缩力量估计方法研究", 《传感技术学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112706868A (zh) * 2020-12-23 2021-04-27 南京溧水电子研究所有限公司 一种基于肌电评估的智能助力自行车监控方法及系统
CN112965595A (zh) * 2021-02-26 2021-06-15 清华大学深圳国际研究生院 一种神经电刺激模拟触觉的建模和预测方法
CN112965595B (zh) * 2021-02-26 2023-09-05 清华大学深圳国际研究生院 一种神经电刺激模拟触觉的建模和预测方法
CN113370172A (zh) * 2021-06-15 2021-09-10 华南理工大学 基于多传感器和力反馈的辅助机械手系统及其使用方法
CN113370172B (zh) * 2021-06-15 2023-07-18 华南理工大学 基于多传感器和力反馈的辅助机械手系统及其使用方法
CN113332011A (zh) * 2021-07-06 2021-09-03 上海交通大学 一种用于肌电假肢的电刺激干扰去除系统与方法
CN113332011B (zh) * 2021-07-06 2023-12-22 上海交通大学 一种用于肌电假肢的电刺激干扰去除系统与方法
WO2024055280A1 (zh) * 2022-09-16 2024-03-21 深圳市韶音科技有限公司 一种信号测量方法及电路

Also Published As

Publication number Publication date
CN111722709B (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN111722709B (zh) 一种基于肌电评估的虚拟力反馈交互系统及方法
CN104107134B (zh) 基于肌电反馈的上肢训练方法及系统
US9238137B2 (en) Neuromuscular stimulation
CN103793058B (zh) 一种主动式脑机交互系统运动想象任务分类方法及装置
CN104207793B (zh) 一种抓握功能评估与训练系统
Tang et al. Impact of load variation on joint angle estimation from surface EMG signals
CN111938991A (zh) 一种双主动控制模式的手部康复训练装置及训练方法
CN110179643A (zh) 一种基于环带传感器的颈部康复训练系统和训练方法
CN106037731A (zh) 用于提高训练效果的智能服装及其方法
CN203043423U (zh) 一种基于脑机接口的康复训练装置
CN111110982A (zh) 基于运动想象的手部康复训练方法
CN106264520A (zh) 一种神经反馈运动训练系统及方法
CN107092353B (zh) 一种手部触感参数的采集及模拟还原系统和方法
CN108209912B (zh) 一种肌电信号采集方法及装置
CN107822629B (zh) 四肢表面肌电轴的检测方法
WO2018214522A1 (zh) 肌电信号采集方法及装置
CN108549153A (zh) 一种基于面目表情识别的智能vr眼镜
CN106667480B (zh) 一种用于穿戴式生理信号检测设备进行性能检验的人体模型
KR101542543B1 (ko) 시각적 근전도 바이오피드백을 이용한 선택적 근 재교육 시스템
Jia Neural network in the application of EEG signal classification method
Ke et al. Deep convolutional spiking neural network based hand gesture recognition
CN109475737A (zh) 用于可穿戴设备的新型生物信号采集方法和算法
Park et al. Muscleman: Wireless input device for a fighting action game based on the EMG signal and acceleration of the human forearm
Lou et al. Wireless master-slave FES rehabilitation system using sEMG control
CN215017698U (zh) 康复训练运动模拟可视化系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant