CN113011590B - 基于微电流刺激的跨被试虚拟力评估系统 - Google Patents
基于微电流刺激的跨被试虚拟力评估系统 Download PDFInfo
- Publication number
- CN113011590B CN113011590B CN202110285311.7A CN202110285311A CN113011590B CN 113011590 B CN113011590 B CN 113011590B CN 202110285311 A CN202110285311 A CN 202110285311A CN 113011590 B CN113011590 B CN 113011590B
- Authority
- CN
- China
- Prior art keywords
- current
- electric stimulation
- force feedback
- interaction
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及基于微电流刺激的跨被试虚拟力评估系统，包括：虚拟现实交互模块，输出基于交互事件触发的虚拟现实场景，传输至被试者所戴的VR眼镜；电刺激交互电流仿真子系统，用于实现不同的电刺激模式，将电刺激电流数据传输至跨被试的功能性电刺激电流的力反馈评估模型；测力计模块，用于捕获力反馈数据，并传输至跨被试的功能性电刺激电流的力反馈评估模型；电刺激电流的力反馈评估模型，用于评估力反馈大小。本发明采用的跨被试微电流刺激模式将不同受试者的原始生理特征输入模型，当给予不同功能性电刺激电流时，通过机器学习方法评估匹配的力反馈输出大小，结合虚拟现实的场景，增强沉浸感和真实感。
Description
技术领域
本发明涉及虚拟现实和人机交互技术领域，尤其涉及基于微电流刺激的跨被试虚拟力评估系统。
背景技术
随着科学技术的革新，虚拟现实技术可以高度还原人在真实世界中视觉、听觉、触觉等感知行为，通过计算机技术生成虚拟环境，用户能够通过相应的硬件设备，如数据手套、遥控手柄、头盔等，在虚拟环境中进行人机交互行为，产生高度沉浸感和真实感。
虚拟现实的交互感知效果扮演着重要作用，现阶段交互感知的方式包括视觉、听觉、力触觉、嗅觉、味觉、运动觉甚至第六感等。国内外均有大量学者在研究视觉和听觉方面的交互，在力触觉方面投入的研究较少，而在虚拟场景中，力触觉反馈时提高沉浸感是不可或缺的一部分。目前，较为成熟的力反馈方法是通过传感器振动体表或利用反馈装置进行力的传导，但这些可穿戴设备都比较笨重，应用规模较小，使用者受到机械力的作用，从而行动不便，沉浸感减弱，而且在具体的人机交互中，很容易对用户行动产生束缚，大大降低了虚拟现实场景的沉浸感。
近年来，基于微电流刺激的虚拟现实力反馈模式在学术界引起了重视，功能性电刺激最初是一种用于治疗脊髓损伤或中风患者瘫痪的方法，发展历史已经有几十年。相比于可穿戴设备的笨重和不真实感等不足，微电流刺激模式既具有便携式和可移动特点，并且完全根据人体力产生的内部机理进行电刺激，大大增强真实感。由此，基于微电流的刺激模式是虚拟现实未来发展的新方向。
在机器学习中特征的定义是连接数据和模型之间的桥梁。特征工程是指从原始数据中，手动或自动提取相应的特征，并将其转换为适合机器学习模型的格式。特征工程是机器学习中一个关键性因素。有效的特征可以极大的提高模型构建效率，而无效的特征则会耗费大量的人力物力并且输出较差的结果。机器学习的过程中，大部分时间都耗费在特征工程和数据清洗上，而且模型和数据差别非常大，有效的特征要视模型和数据的具体情况而定。数据处理的工作繁琐而复杂，通常要在数据和答案错综复杂的关系中寻求到正确答案。数学模型可以用来描述不同数据之间的关系，而数学公式的作用是将不同数值型的变量联系起来，但是在实际应用中，原始数据常常不是数值型的，如用户在虚拟现实场景中的情绪变化这一行为就不是数值型的，随后对不同虚拟现实场景的评价也不是数值型的。所以，为了将两者联系起来，必须要用到特征。
发明内容
为解决现有技术所存在的技术问题，本发明提供基于微电流刺激的跨被试虚拟力评估系统，采用的跨被试微电流刺激模式可以将不同受试者的原始生理特征输入模型，当给予肱二头肌不同功能性电刺激电流时，能够通过机器学习方法评估匹配的力反馈输出大小，结合虚拟现实的场景，可以增强沉浸感和真实感。
本发明采用以下技术方案来实现：基于微电流刺激的跨被试虚拟力评估系统，包括：
虚拟现实交互模块，用于输出生理参数采集问卷，输出基于交互事件触发的虚拟现实场景，传输至被试者所戴的VR眼镜；
电刺激交互电流仿真子系统，用于调制输出幅值不同的三角波，实现不同的电刺激模式，通过贴片电极传输至被试者，并且同步把电刺激电流数据传输至跨被试的功能性电刺激电流的力反馈评估模型；
测力计模块，用于捕获被试者受到不同功能性电刺激时产生的力反馈数据，并传输至跨被试的功能性电刺激电流的力反馈评估模型；
电刺激电流的力反馈评估模型，利用生理参数、电刺激电流数据和力反馈数据，评估力反馈大小。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明基于肱二头肌的微电流刺激模式研究，为不同肌体力反馈数据采集方法提供了可行性方法，对不同用户的交互进行分类处理和计算。
2、本发明根据不同受试者的生理参数特征给予不同的虚拟力评估，实现了基于微电流刺激的跨被试虚拟力评估系统，做到了虚拟现实场景针对不同参与者的个性化交互，提高了沉浸感和真实度。
附图说明
图1是本发明系统的结构示意图；
图2是本发明实施例中电刺激交互电流仿真子系统结构示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示，本实施例基于微电流刺激的跨被试虚拟力评估系统，包括：
虚拟现实交互模块，用于输出生理参数采集问卷，输出基于交互事件触发的虚拟现实场景，传输至被试者所戴的VR眼镜；
电刺激交互电流仿真子系统，用于调制输出幅值不同的三角波，实现不同的电刺激模式，通过贴片电极传输至被试者，并且同步把电刺激电流数据传输至跨被试的功能性电刺激电流的力反馈评估模型；
测力计模块，用于捕获被试者受到不同功能性电刺激时产生的力反馈数据，并传输至跨被试的功能性电刺激电流的力反馈评估模型；
电刺激电流的力反馈评估模型，利用生理参数、电刺激电流数据和力反馈数据，评估力反馈大小。
本实施例中，虚拟现实交互模块的实现过程为：
步骤11：虚拟现实交互模块通过回收生理参数采集问卷，获取被试者的大臂臂围AC、身体质量指数BMI、身高height、大臂长度LA、体脂率BFP、胸围bust、小臂长度SA以及肩宽SW，并传输至跨被试的功能性电刺激电流的力反馈评估模型；
步骤12：虚拟现实交互模块输出基于交互事件触发的虚拟现实场景，传输至被试者所戴的VR眼镜。
本实施例中，电刺激交互电流仿真子系统包括三角波电流调制模块、脉冲电流调制模块、电刺激模式模块以及电刺激交互电流输出模块；三角波电流调制模块、脉冲电流调制模块、电刺激模式模块分别连接到电刺激交互电流输出模块。
具体地，电刺激交互电流仿真子系统实现电刺激模式的过程如下：
步骤21：利用三角波电流调制模块输出三角波电流，将电流幅值设置为10mA～35mA，电流频率设置为50Hz，脉冲电流调制模块根据输入的整数值N输出脉宽为N的脉冲电流，根据选择的“双相”脉冲模式，电刺激模式模块输出相应的电刺激模式控制信号；
步骤22：将三角波电流、脉冲电流、电刺激模式控制信号分别输入到电刺激交互电流输出模块，进而输出相应电刺激模式下的电刺激电流。
本实施例中，电刺激电流的力反馈评估模型的实现过程为：
步骤41：将被试者的大臂臂围AC、身体质量指数BMI、身高height、大臂长度LA、体脂率BFP、胸围bust、小臂长度SA、肩宽SW以及电刺激电流幅值multiply输入到重要程度排序模块，获取各个特征的重要度，其数学表达形式如下：
特征在单棵决策树中的重要度如下：
其中，L是树的叶子节点数量，L-1是树的非叶子节点数量，vt是和节点t相关联的特征，是节点分裂之后平方损失的减少值，j是特征；其中，构建的树都是具有左右孩子的树。
特征的全局重要度通过该特征在单棵决策树中的重要度/>的平均值来衡量：
其中，M是决策树的数量，m是决策树的编号。
步骤42：将被试者的大臂臂围AC、身体质量指数BMI、身高height、大臂长度LA、体脂率BFP、胸围bust、小臂长度SA、肩宽SW、电刺激电流幅值multiply以及它们相应的特征重要度，与力反馈数据一并输入到跨被试的功能性电刺激电流的力反馈评估模型，从而输出力反馈大小。
本实施例中，跨被试的功能性电刺激电流的力反馈评估模型采用决策树算法实现，并进行跨被试生理特征及力反馈数据集预训练，其中，决策树算法可以采用XGBoost模型、GBDT模型和LGBoost模型等实现。
本实施例中，跨被试的功能性电刺激电流的力反馈评估模型进行预训练的过程如下：
利用留一法将数据集划分为训练集和测试集，将每次随机留出一名受试者的数据作为测试集，剩下的受试者数据作为训练集，采用平均绝对误差MAE来评测模型的效果；
选取一种贪心算法来分裂，从一个单独树叶开始迭代增加分支；设ileft和iright是分割之后节点的左侧和右侧实例集合，令l＝ileft U iright，则在节点分割后的损失减少量为：
其中，gi是一阶导；hi是二阶导；γ是叶子节点个数的正则化参数；λ是每个节点的权重；i是样本；IL是划分到左节点的样本；IR是划分到右节点的样本；I是左右节点并合的样本，I＝IL∪IR。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (6)
1.基于微电流刺激的跨被试虚拟力评估系统，其特征在于，包括：
虚拟现实交互模块，用于输出生理参数采集问卷，输出基于交互事件触发的虚拟现实场景，传输至被试者所戴的VR眼镜；
电刺激交互电流仿真子系统，用于调制输出幅值不同的三角波，实现不同的电刺激模式，通过贴片电极传输至被试者，并且同步把电刺激电流数据传输至跨被试的功能性电刺激电流的力反馈评估模型；
测力计模块，用于捕获被试者受到不同功能性电刺激时产生的力反馈数据，并传输至跨被试的功能性电刺激电流的力反馈评估模型；
电刺激电流的力反馈评估模型，利用生理参数、电刺激电流数据和力反馈数据，评估力反馈大小；
电刺激电流的力反馈评估模型的实现过程为：
将被试者的大臂臂围AC、身体质量指数BMI、身高height、大臂长度LA、体脂率BFP、胸围bust、小臂长度SA、肩宽SW以及电刺激电流幅值multiply输入到重要程度排序模块，获取各个特征的重要度，其数学表达形式如下：
特征在单棵决策树中的重要度如下：
其中，L是树的叶子节点数量，L-1是树的非叶子节点数量，vt是和节点t相关联的特征，是节点分裂之后平方损失的减少值，j是特征；
特征的全局重要度通过该特征在单棵决策树中的重要度/>的平均值来衡量：
其中，M是决策树的数量，m是决策树的编号；
将被试者的大臂臂围AC、身体质量指数BMI、身高height、大臂长度LA、体脂率BFP、胸围bust、小臂长度SA、肩宽SW、电刺激电流幅值multiply以及它们相应的特征重要度，与力反馈数据一并输入到跨被试的功能性电刺激电流的力反馈评估模型，从而输出力反馈大小。
2.根据权利要求1所述的基于微电流刺激的跨被试虚拟力评估系统，其特征在于，虚拟现实交互模块的实现过程为：
虚拟现实交互模块通过回收生理参数采集问卷，获取被试者的大臂臂围AC、身体质量指数BMI、身高height、大臂长度LA、体脂率BFP、胸围bust、小臂长度SA以及肩宽SW，并传输至跨被试的功能性电刺激电流的力反馈评估模型；
虚拟现实交互模块输出基于交互事件触发的虚拟现实场景，传输至被试者所戴的VR眼镜。
3.根据权利要求1所述的基于微电流刺激的跨被试虚拟力评估系统，其特征在于，电刺激交互电流仿真子系统包括三角波电流调制模块、脉冲电流调制模块、电刺激模式模块以及电刺激交互电流输出模块；三角波电流调制模块、脉冲电流调制模块、电刺激模式模块分别连接到电刺激交互电流输出模块。
4.根据权利要求3所述的基于微电流刺激的跨被试虚拟力评估系统，其特征在于，电刺激交互电流仿真子系统实现电刺激模式的过程如下：
利用三角波电流调制模块输出三角波电流，将电流幅值设置为10mA～35mA，电流频率设置为50Hz，脉冲电流调制模块根据输入的整数值N输出脉宽为N的脉冲电流，根据选择的“双相”脉冲模式，电刺激模式模块输出相应的电刺激模式控制信号；
将三角波电流、脉冲电流、电刺激模式控制信号分别输入到电刺激交互电流输出模块，进而输出相应电刺激模式下的电刺激电流。
5.根据权利要求1所述的基于微电流刺激的跨被试虚拟力评估系统，其特征在于，跨被试的功能性电刺激电流的力反馈评估模型采用决策树算法实现，并进行跨被试生理特征及力反馈数据集预训练。
6.根据权利要求5所述的基于微电流刺激的跨被试虚拟力评估系统，其特征在于，跨被试的功能性电刺激电流的力反馈评估模型进行预训练的过程如下：
利用留一法将数据集划分为训练集和测试集，将每次随机留出一名受试者的数据作为测试集，剩下的受试者数据作为训练集，采用平均绝对误差MAE来评测模型的效果；
选取一种贪心算法来分裂，从一个单独树叶开始迭代增加分支；设ileft和iright是分割之后节点的左侧和右侧实例集合，令l＝ileft Uiright，则在节点分割后的损失减少量为：
其中，gi是一阶导，hi是二阶导，γ是叶子节点个数的正则化参数，λ是每个节点的权重，i是样本，IL是划分到左节点的样本，IR是划分到右节点的样本，I是左右节点并合的样本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110285311.7A CN113011590B (zh) | 2021-03-17 | 2021-03-17 | 基于微电流刺激的跨被试虚拟力评估系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110285311.7A CN113011590B (zh) | 2021-03-17 | 2021-03-17 | 基于微电流刺激的跨被试虚拟力评估系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113011590A CN113011590A (zh) | 2021-06-22 |
| CN113011590B true CN113011590B (zh) | 2023-07-18 |
Family
ID=76409103
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110285311.7A Active CN113011590B (zh) | 2021-03-17 | 2021-03-17 | 基于微电流刺激的跨被试虚拟力评估系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113011590B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102207997A (zh) * | 2011-06-07 | 2011-10-05 | 哈尔滨工业大学 | 基于力反馈的机器人微创手术仿真系统 |
| CN102707989A (zh) * | 2012-05-10 | 2012-10-03 | 大连海事大学 | 一种基于力反馈的船舶辅锅炉虚拟操控仿真系统 |
| CN106408035A (zh) * | 2016-10-31 | 2017-02-15 | 东南大学 | 基于人力触觉感知特性的力触觉再现真实感客观评价方法 |
| CN106874570A (zh) * | 2017-01-20 | 2017-06-20 | 清华大学 | 虚拟现实座舱工程模拟器 |
| CN109308739A (zh) * | 2018-10-11 | 2019-02-05 | 南京工程学院 | 一种基于虚拟现实的软组织微创手术训练方法 |
-
2021
- 2021-03-17 CN CN202110285311.7A patent/CN113011590B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102207997A (zh) * | 2011-06-07 | 2011-10-05 | 哈尔滨工业大学 | 基于力反馈的机器人微创手术仿真系统 |
| CN102707989A (zh) * | 2012-05-10 | 2012-10-03 | 大连海事大学 | 一种基于力反馈的船舶辅锅炉虚拟操控仿真系统 |
| CN106408035A (zh) * | 2016-10-31 | 2017-02-15 | 东南大学 | 基于人力触觉感知特性的力触觉再现真实感客观评价方法 |
| CN106874570A (zh) * | 2017-01-20 | 2017-06-20 | 清华大学 | 虚拟现实座舱工程模拟器 |
| CN109308739A (zh) * | 2018-10-11 | 2019-02-05 | 南京工程学院 | 一种基于虚拟现实的软组织微创手术训练方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113011590A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104541306B (zh) | 神经行为动画系统 | |
| US6546378B1 (en) | Signal interpretation engine | |
| CN106408035B (zh) | 基于人力触觉感知特性的力触觉再现真实感客观评价方法 | |
| CN109784211A (zh) | 一种基于深度学习的运动想象脑电信号分类方法 | |
| Nsugbe et al. | Phantom motion intent decoding for transhumeral prosthesis control with fused neuromuscular and brain wave signals | |
| CN112043473B (zh) | 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器 | |
| CN104799852B (zh) | 基于超限学习机自编码的运动想象脑电信号特征的提取方法 | |
| CN111714339B (zh) | 人体下肢运动的脑-肌电融合小世界神经网络预测方法 | |
| CN114145745B (zh) | 基于图的多任务自监督情绪识别方法 | |
| CN103495260A (zh) | 一种基于肌电信号和传感器信号实现精细实时运动的控制方法 | |
| CN114998983A (zh) | 一种基于增强现实技术和姿态识别技术的肢体康复方法 | |
| CN111695442A (zh) | 一种基于多模态融合的在线学习智能辅助系统 | |
| CN114159080A (zh) | 上肢康复机器人运动意图识别模型训练、识别方法及装置 | |
| CN108520239A (zh) | 一种脑电信号分类方法及系统 | |
| Oppus et al. | Brain-computer interface and voice-controlled 3d printed prosthetic hand | |
| Sree et al. | EMG controlled bionic robotic arm using artificial intelligence and machine learning | |
| CN104571504A (zh) | 一种基于想象动作的在线脑-机接口方法 | |
| CN108345873A (zh) | 一种基于多层卷积神经网络的多自由度人体运动信息解析方法 | |
| Zea et al. | Real-time hand gesture recognition: a long short-term memory approach with electromyography | |
| CN107647951A (zh) | 用于辅助上下肢运动的方法、系统及计算机可读介质 | |
| CN113011590B (zh) | 基于微电流刺激的跨被试虚拟力评估系统 | |
| Han et al. | Noise-Factorized Disentangled Representation Learning for Generalizable Motor Imagery EEG Classification | |
| CN109498362A (zh) | 一种偏瘫患者手部运动功能康复训练装置及模型训练方法 | |
| JP2019060835A (ja) | 錯触力覚デバイス | |
| Kurzynski et al. | Multiple classifier system applied to the control of bioprosthetic hand based on recognition of multimodal biosignals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |