CN116766207B - 一种基于多模态信号运动意图识别的机器人控制方法 - Google Patents
一种基于多模态信号运动意图识别的机器人控制方法 Download PDFInfo
- Publication number
- CN116766207B CN116766207B CN202310966759.4A CN202310966759A CN116766207B CN 116766207 B CN116766207 B CN 116766207B CN 202310966759 A CN202310966759 A CN 202310966759A CN 116766207 B CN116766207 B CN 116766207B
- Authority
- CN
- China
- Prior art keywords
- recognition result
- intention recognition
- signal
- electromyographic
- pressure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000015654 memory Effects 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 13
- 230000003183 myoelectrical effect Effects 0.000 claims description 11
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 210000003205 muscle Anatomy 0.000 abstract description 4
- 230000008447 perception Effects 0.000 abstract description 2
- 210000003414 extremity Anatomy 0.000 description 12
- 238000012360 testing method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 210000001364 upper extremity Anatomy 0.000 description 5
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000002239 ischium bone Anatomy 0.000 description 1
- 208000011977 language disease Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本发明涉及医疗康复技术领域,公开了一种基于多模态信号运动意图识别的机器人控制方法,该方法包括:获取语音信号、压力信号以及肌电信号;根据语音信号得到第一意图识别结果、根据肌电信号得到第二意图识别结果、根据压力信号得到第三意图识别结果;根据第一意图识别结果、第二意图识别结果和第三意图识别结果确定目标意图识别结果;根据目标意图识别结果生成智能轮椅的控制指令。本发明综合了语音识别、肌电信号识别以及压力识别,涵盖了多模态的感知信息,这样不仅可以综合考虑语音指令、使用者的姿势和肌肉的活动情况,提高运动意图识别的准确性和可靠性,还具有实时性,可以提高交互的效率和体验感。
Description
技术领域
本发明涉及医疗康复技术领域,具体涉及一种基于多模态信号运动意图识别的机器人控制方法、装置、计算机设备及存储介质。
背景技术
目前一些机器人可以辅助人们的活动,例如智能轮椅之类的机器人是老年人、行动不便等人士必不可少的出行工具。可以通过操控车轮或摇杆等机构来控制轮椅进行前进、后退或转弯等。但是,对于上肢力量不足的老年人,常规的轮椅已经很难满足需求。
目前与智能轮椅相关研究的进展突飞猛进。对于上肢力量不足、操控能力较弱的老年人,可以通过轮椅上集成的语音系统,通过语音进行轮椅操控。但发明人发现,对于一些不仅操控能力较弱,而且口齿不清的老年人,既无法通过上肢操控轮椅,也无法准确的通过语音系统来操控轮椅,导致无法对轮椅进行准确地操控。
发明内容
有鉴于此,本发明提供了一种基于多模态信号运动意图识别的机器人控制方法,以解决上述问题。
第一方面,本发明提供了一种基于多模态信号运动意图识别的机器人控制方法,包括:
获取语音信号、压力信号以及肌电信号,语音信号由设置在智能轮椅上语音传感器采集获得,压力信号由设置在智能轮椅坐垫下的压力传感器采集获得,肌电信号由设置在使用者肢体上的肌电传感器采集获得;
根据语音信号得到第一意图识别结果、根据肌电信号得到第二意图识别结果、根据压力信号得到第三意图识别结果;
根据第一意图识别结果、第二意图识别结果和第三意图识别结果确定目标意图识别结果;
根据目标意图识别结果生成智能轮椅的控制指令。
综合了语音识别、肌电信号识别以及压力识别,涵盖了多模态的感知信息,这样不仅可以综合考虑语音指令、使用者的姿势和肌肉的活动情况,提高运动意图识别的准确性和可靠性,还具有实时性,可以快速准确地对使用者的运动意图进行识别,并及时生成相应的控制指令,有助于智能轮椅实时响应使用者需求,提高交互的效率和体验感。
在一种可选的实施方式中,根据语音信号得到第一意图识别结果,包括:
将语音信号进行第一预处理;其中,第一预处理包括以下至少之一:预加重、数据分割、加窗处理、快速傅里叶变换、梅尔滤波、离散余弦变换和去均值;
对预处理后的语音信号进行特征提取,获得声学特征;
将声学特征,输入预先建立并训练好的语音识别模型,获得第一意图识别结果。
在一种可选的实施方式中,根据肌电信号得到第二意图识别结果,包括:
将肌电信号进行第二预处理;其中,第二预处理包括小波滤波;
对预处理后的肌电信号进行特征提取,获得肌电信号特征;其中,肌电信号特征为均方根误差;
将肌电信号特征,输入预先建立并训练好的肌电识别模型,获得第二意图识别结果。
在一种可选的实施方式中,肌电识别模型是利用支持向量机构建;
肌电识别模型的输入空间为1维,输出空间为1维,核函数为多项式核函数。
在一种可选的实施方式中,压力传感器为多个,根据压力信号得到第三意图识别结果,包括:
建立以人体中心点为原点、智能轮椅的前后方向为纵轴、左右方向为横轴的二维坐标系;
获取每个压力传感器在二维坐标系上的坐标位置;
根据每个压力传感器采集的压力信号以及对应的坐标位置,确定应力中心点坐标,并确定应力中心点对应的中心点压力值;
基于应力中心点坐标以及中心点压力值,计算中心点压力值在二维坐标系上的压力分量;
基于压力分量,确定第三意图识别结果。
通过建立的二维坐标系以及各压力传感器采集的压力信号,可以准确的确定出人体在轮椅上的压力分布情况,进而可以准确的确定出使用者的第三意图。
在一种可选的实施方式中,根据第一意图识别结果、第二意图识别结果和第三意图识别结果确定目标意图识别结果,包括:
获取使用者肢体操控能力等级以及语言能力等级,其中,肢体操控能力等级以及语言能力等级为预先根据使用者的身体状况划分的能力等级;
基于肢体操控能力等级以及语言能力等级,分别确定第一意图识别结果、第二意图识别结果以及第三意图识别结果一一对应的权重值;
根据第一意图识别结果、第二意图识别结果、第三意图识别结果以及一一对应的权重值,进行决策级融合,以确定目标意图识别结果。
可以根据使用者的肢体操控能力和语言能力,个性化设置与每个使用者适配的权重,这样可以更好地适应不同使用者的能力和需求,提供更贴合其能力水平的智能交互体验。且使用权重值进行决策级融合,可以将不同意图识别的结果进行综合考虑。通过权重调整可以更有针对性地优化决策,能够更加准确地判断和识别使用者的目标意图。
在一种可选的实施方式中,对预处理后的肌电信号进行特征提取,获得肌电特征,包括:
将预处理后的肌电信号进行时间窗分割处理;
分别对分割后的肌电信号进行特征提取;
将提取的所有特征,作为肌电特征。
通过对肌电信号进行时间窗分割,对分割后的肌电信号进行特征提取,可以从信号中提取出关键的特征参数,提高识别准确性。还可以减少数据量和处理复杂度,从而提高实时性。
第二方面,本发明提供了一种基于多模态信号运动意图识别的机器人控制装置,装置包括:
获取模块,用于获取语音信号、压力信号以及肌电信号,语音信号由设置在智能轮椅上语音传感器采集获得,压力信号由设置在智能轮椅坐垫下的压力传感器采集获得,肌电信号由设置在使用者肢体上的肌电传感器采集获得;
识别模块,用于根据语音信号得到第一意图识别结果、根据肌电信号得到第二意图识别结果、根据压力信号得到第三意图识别结果;
确定模块,用于根据第一意图识别结果、第二意图识别结果和第三意图识别结果确定目标意图识别结果;
生成模块,用于根据目标意图识别结果生成智能轮椅的控制指令。
第三方面,本发明提供了一种计算机设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的基于多模态信号运动意图识别的机器人控制方法。
第四方面,本发明提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的基于多模态信号运动意图识别的机器人控制方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的基于多模态信号运动意图识别的机器人控制方法的流程示意图;
图2是根据本发明实施例的RNN模型的结构示意图;
图3是根据本发明实施例的基于多模态信号运动意图识别的机器人控制装置的结构框图;
图4是本发明实施例的计算机设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
利用代步工具可以解决行动不便的老年人的出行问题。而对于上肢力量不足、运动功能较弱的老年人,他们无法通过摇杆准确地控制轮椅。同时,他们还有可能伴随着口齿不清,无法准确地发出控制轮椅的语音的问题,因此,常规的轮椅控制已经很难满足他们的需求。
鉴于此,根据本发明实施例,提供了一种基于多模态信号运动意图识别的机器人控制方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种基于多模态信号运动意图识别的机器人控制方法,可用于控制器、服务器、移动终端等,图1是根据本发明实施例的基于多模态信号运动意图识别的机器人控制方法的流程图,如图1所示,该流程包括如下步骤:
步骤S101,获取语音信号、压力信号以及肌电信号,所述语音信号由设置在智能轮椅上语音传感器采集获得,所述压力信号由设置在所述智能轮椅坐垫下的压力传感器采集获得,所述肌电信号由设置在使用者肢体上的肌电传感器采集获得。其中,语音传感器可以设置在智能轮椅的靠背上,可以通过语音传感器识别使用者语音,产生语音信号。肌电传感器可以贴于使用者的小臂上,可以通过使用者肌肉发力产生的肌电信号,识别使用者的意图。压力传感器,具体可以是阵列式压力传感器,设置在智能轮椅的坐垫下方,在使用者身体重心前倾、后倾、右前方倾等的情况下,压力传感器会采集到不同的压力信号,进而根据压力信号,识别使用者的意图。语音传感器、压力传感器以及肌电传感器可以同时采集,具有实时性。
步骤S102,根据所述语音信号得到第一意图识别结果、根据所述肌电信号得到第二意图识别结果、根据所述压力信号得到第三意图识别结果。
获取了语音信号之后,可以进一步提取语音信号的声学特征,进而再根据语音信号的声学特征,确定出第一意图识别结果。同样的,获取了肌电信号之后,可以进一步提取肌电信号的肌电信号特征,进而再根据肌电信号特征,确定出第二意图识别结果。在获取了压力信号之后,可以根据压力信号的分布情况,确定出第三意图识别结果。
其中,第一意图识别结果、第二意图识别结果以及第三意图识别结果可以包括以下之一:停止、前进、后退、前左转、前右转、后左转、后右转等。
步骤S103,根据所述第一意图识别结果、所述第二意图识别结果和所述第三意图识别结果确定目标意图识别结果。
本实施例中,可以根据第一意图识别结果、第二意图识别结果以及第三意图识别结果各自对应的权重确定出最终的目标意图识别结果,目标意图识别结果可以是停止、前进、后退、前左转、前右转、后左转、后右转等。
步骤S104,根据所述目标意图识别结果生成所述智能轮椅的控制指令。
本实施例中,综合了语音识别、肌电信号识别以及压力识别,涵盖了多模态的感知信息,这样不仅可以综合考虑语音指令、使用者的姿势和肌肉的活动情况,提高运动意图识别的准确性和可靠性,还具有实时性,可以快速准确地对使用者的运动意图进行识别,并及时生成相应的控制指令,有助于智能轮椅实时响应使用者需求,提高交互的效率和体验感。尤其是针对运动功能较弱,语音功能衰减的老年人,可辅助这类老年人的出行,实现自主准确的轮椅控制。
在一些可选的实施方式中,所述根据所述语音信号得到第一意图识别结果,包括:
将所述语音信号进行第一预处理;其中,所述第一预处理包括以下至少之一:预加重、数据分割、加窗处理、快速傅里叶变换、梅尔滤波、离散余弦变换和去均值。
对预处理后的所述语音信号进行特征提取,获得声学特征;
将所述声学特征,输入预先建立并训练好的语音识别模型,获得第一意图识别结果。
本实施例中,可以利用梅尔频率倒谱系数(Mel-frequency cepstralcoefficient,简称MFCC)作为特征进行提取。具体地,可以将单次识别的语音信号通过预加重、数据分割、加窗处理、快速傅里叶变换、Mel滤波、离散余弦变换、去均值等过程,对语音信号进行预处理。最终,从预处理后的语音信号中提取声学特征,作为语音识别模型的输入,从而获得第一意图识别结果,即使用者的语音命令。
而语音识别模型,可以是基于循环神经网络(Recurrent Neural Network,RNN)进行构建,RNN模型结构如图2所示,由3个网络层构成,分别是输入层、隐含层、输出层。将预先采集到的语音数据集分为训练集与测试集,将训练集用于模型的训练,利用测试集对训练好的模型进行测试,最终获得训练好的语音识别模型。
在一些可选的实施方式中,所述根据所述肌电信号得到第二意图识别结果,包括:
将所述肌电信号进行第二预处理;其中,所述第二预处理包括小波滤波;
对预处理后的所述肌电信号进行特征提取,获得肌电信号特征;其中,所述肌电信号特征为均方根误差;
将所述肌电信号特征,输入预先建立并训练好的肌电识别模型,获得第二意图识别结果。
本实施例中,可以利用小波滤波算法对肌电信号进行滤波,滤除噪音,以获得较干净的肌电信号。
根据预处理后的肌电信号,提取用于分类各个动作的表面肌电信号特征,可以选取均方根误差(RMSE)作为此特征,作为肌电识别模型的输入。
而肌电识别模型,可以利用支持向量机(Support Vector Machine,SVM)进行构建,支持向量机模型的结构可以为:输入空间为1维,输出空间为1维,核函数选择多项式核函数,并将处理获得的离线集分为训练集与测试集,利用训练集对识别模型进行训练,利用测试集对训练好的识别模型进行测试,最终得到训练好的肌电信号识别模型。
在一些可选的实施方式中,所述肌电识别模型是利用支持向量机构建;
所述肌电识别模型的输入空间为1维,输出空间为1维,核函数为多项式核函数。
在一些可选的实施方式中,所述压力传感器为多个,可以根据压力分布及变化、应力集中区域的形状和大小等,以确定感兴趣的区域,确定压力传感器设置的位置以及数量等。以将压力传感器安装在应力集中区域内,确保压力传感器能够准确地测量应力分布区域的压力变化。
所述根据所述压力信号得到第三意图识别结果,包括:
建立以人体中心点为原点、所述智能轮椅的前后方向为纵轴、左右方向为横轴的二维坐标系。
可以通过座位上的阵列压力传感器检测到人体与轮椅接触面上的各个点的压力值,通过计算接触面的几何中心点,作为人体中心点。例如:可以先确定上下左右四个方向的边界点位置,将边界点交叉连线,连线的交点即为中心点。
获取每个所述压力传感器在所述二维坐标系上的坐标位置;
根据每个所述压力传感器采集的所述压力信号以及对应的所述坐标位置,确定应力中心点坐标,并确定所述应力中心点对应的中心点压力值;
人体与轮椅接触面上应力集中点为一对坐骨与轮椅的接触点,因此,可以先找到压力传感器上两块应力集中点的中心,将两个中心点连线,其中点即为应力中心点。
其中,确定两个应力中心点的方法为:首先确定一个阈值与一条中心线,中心线为确定人体中心点时,上下两边界点的连线,计算中心线两端超过阈值的压力最大点,作为压力中心点。
基于所述应力中心点坐标以及所述中心点压力值,计算所述中心点压力值在所述二维坐标系上的压力分量;
基于所述压力分量,确定所述第三意图识别结果。
在确定应力中心点坐标以及应力中心点坐标对应的中心点压力值后,计算中心点压力值在二维坐标系上的压力分量,以确定压力在不同方向上的分布情况,进而可以基于压力分量,确定所述第三意图识别结果。并且,还可以根据压力分量,按一定比例控制轮椅在前后左右各方向上的行驶速度。
本实施例中,通过建立的二维坐标系以及各压力传感器采集的压力信号,可以准确的确定出人体在轮椅上的压力分布情况,进而可以准确的确定出使用者的第三意图。
在一些可选的实施方式中,所述根据所述第一意图识别结果、所述第二意图识别结果和所述第三意图识别结果确定目标意图识别结果,包括:
获取使用者肢体操控能力等级以及语言能力等级,其中,所述肢体操控能力等级以及所述语言能力等级为预先根据使用者的身体状况划分的能力等级。
基于所述肢体操控能力等级以及所述语言能力等级,分别确定所述第一意图识别结果、所述第二意图识别结果以及所述第三意图识别结果一一对应的权重值;
根据所述第一意图识别结果、所述第二意图识别结果、所述第三意图识别结果以及一一对应的权重值,进行决策级融合,以确定所述目标意图识别结果。
本实施例中,将语音识别、肌电信号识别以及体态识别的结果进行决策级融合,根据不同运动机能障碍的人群调整不同模态识别的权重值,例如:当患者患有语言障碍,但上肢与躯干运动功能相对完好时,可适当降低语音识别的权重,提升体态识别与肌电手势识别的权重。
决策级融合依据指令决策表进行判别:根据当前的轮椅运动状态,以及从语言、肌电、体态三种识别算法获得的意图识别结果,依据指令决策进行判断,排除不合理的错误指令;对合理的指令乘以对应的权重进行综合判断,获得最终的目标意图识别结果,并生成对应的轮椅控制指令。
本实施例中,可以根据使用者的肢体操控能力和语言能力,个性化设置与每个使用者适配的权重,这样可以更好地适应不同使用者的能力和需求,提供更贴合其能力水平的智能交互体验。且使用权重值进行决策级融合,可以将不同意图识别的结果进行综合考虑。通过权重调整可以更有针对性地优化决策,能够更加准确地判断和识别使用者的目标意图。
在一些可选的实施方式中,所述对预处理后的所述肌电信号进行特征提取,获得肌电特征,包括:
将所述预处理后的所述肌电信号进行时间窗分割处理;
分别对分割后的所述肌电信号进行特征提取;
将提取的所有特征,作为所述肌电特征。
可以从动态肌电信号开始,按照时间窗分割方案移动并计算特征值,进而将提取的所有特征,形成完整的肌电特征后,再输入已训练好的识别模型,从而可以更加准确的得出实时识别结果。
本实施例中,通过对肌电信号进行时间窗分割,对分割后的肌电信号进行特征提取,可以从信号中提取出关键的特征参数,提高识别准确性。还可以减少数据量和处理复杂度,从而提高实时性。
在本实施例中还提供了一种基于多模态信号运动意图识别的机器人控制装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种基于多模态信号运动意图识别的机器人控制装置,如图3所示,包括:
获取模块201,用于获取语音信号、压力信号以及肌电信号,所述语音信号由设置在智能轮椅上语音传感器采集获得,所述压力信号由设置在所述智能轮椅坐垫下的压力传感器采集获得,所述肌电信号由设置在使用者肢体上的肌电传感器采集获得;
识别模块202,用于根据所述语音信号得到第一意图识别结果、根据所述肌电信号得到第二意图识别结果、根据所述压力信号得到第三意图识别结果;
确定模块203,用于根据所述第一意图识别结果、所述第二意图识别结果和所述第三意图识别结果确定目标意图识别结果;
生成模块204,用于根据所述目标意图识别结果生成所述智能轮椅的控制指令。
本实施例中的基于多模态信号运动意图识别的机器人控制装置是以功能单元的形式来呈现,这里的单元是指ASIC电路,执行一个或多个软件或固定程序的处理器和存储器,和/或其他可以提供上述功能的器件。
上述各个模块和单元的更进一步的功能描述与上述对应实施例相同,在此不再赘述。
本发明实施例还提供一种计算机设备,具有上述图3所示的基于多模态信号运动意图识别的机器人控制装置。
请参阅图4,图4是本发明可选实施例提供的一种计算机设备的结构示意图,如图4所示,该计算机设备包括:一个或多个处理器10、存储器20,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相通信连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个计算机设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图4中以一个处理器10为例。
处理器10可以是中央处理器,网络处理器或其组合。其中,处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路,可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件,现场可编程逻辑门阵列,通用阵列逻辑或其任意组合。
其中,所述存储器20存储有可由至少一个处理器10执行的指令,以使所述至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据一种小程序落地页的展现的计算机设备的使用所创建的数据等。此外,存储器20可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中,存储器20可选包括相对于处理器10远程设置的存储器,这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器,例如,随机存取存储器;存储器也可以包括非易失性存储器,例如,快闪存储器,硬盘或固态硬盘;存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括通信接口30,用于该计算机设备与其他设备或通信网络通信。
本发明实施例还提供了一种计算机可读存储介质,上述根据本发明实施例的方法可在硬件、固件中实现,或者被实现为可记录在存储介质,或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中,存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等;进一步地,存储介质还可以包括上述种类的存储器的组合。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件,当软件或计算机代码被计算机、处理器或硬件访问且执行时,实现上述实施例示出的方法。
虽然结合附图描述了本发明的实施例,但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型,这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (9)
1.一种基于多模态信号运动意图识别的机器人控制方法,其特征在于,所述方法包括:
获取语音信号、压力信号以及肌电信号,所述语音信号由设置在智能轮椅上语音传感器采集获得,所述压力信号由设置在所述智能轮椅坐垫下的压力传感器采集获得,所述肌电信号由设置在使用者肢体上的肌电传感器采集获得;
根据所述语音信号得到第一意图识别结果、根据所述肌电信号得到第二意图识别结果、根据所述压力信号得到第三意图识别结果;
根据所述第一意图识别结果、所述第二意图识别结果和所述第三意图识别结果确定目标意图识别结果,包括:
获取使用者肢体操控能力等级以及语言能力等级,其中,所述肢体操控能力等级以及所述语言能力等级为预先根据使用者的身体状况划分的能力等级;
基于所述肢体操控能力等级以及所述语言能力等级,分别确定所述第一意图识别结果、所述第二意图识别结果以及所述第三意图识别结果一一对应的权重值;
根据所述第一意图识别结果、所述第二意图识别结果、所述第三意图识别结果以及一一对应的权重值,进行决策级融合,以确定所述目标意图识别结果;
根据所述目标意图识别结果生成所述智能轮椅的控制指令。
2.根据权利要求1所述的方法,其特征在于,所述根据所述语音信号得到第一意图识别结果,包括:
将所述语音信号进行第一预处理;其中,所述第一预处理包括以下至少之一:预加重、数据分割、加窗处理、快速傅里叶变换、梅尔滤波、离散余弦变换和去均值;
对预处理后的所述语音信号进行特征提取,获得声学特征;
将所述声学特征,输入预先建立并训练好的语音识别模型,获得第一意图识别结果。
3.根据权利要求1所述的方法,其特征在于,所述根据所述肌电信号得到第二意图识别结果,包括:
将所述肌电信号进行第二预处理;其中,所述第二预处理包括小波滤波;
对预处理后的所述肌电信号进行特征提取,获得肌电信号特征;其中,所述肌电信号特征为均方根误差;
将所述肌电信号特征,输入预先建立并训练好的肌电识别模型,获得第二意图识别结果。
4.根据权利要求3所述的方法,其特征在于,所述肌电识别模型是利用支持向量机构建;
所述肌电识别模型的输入空间为1维,输出空间为1维,核函数为多项式核函数。
5.根据权利要求1所述的方法,其特征在于,所述压力传感器为多个,所述根据所述压力信号得到第三意图识别结果,包括:
建立以人体中心点为原点、所述智能轮椅的前后方向为纵轴、左右方向为横轴的二维坐标系;
获取每个所述压力传感器在所述二维坐标系上的坐标位置;
根据每个所述压力传感器采集的所述压力信号以及对应的所述坐标位置,确定应力中心点坐标,并确定所述应力中心点对应的中心点压力值;
基于所述应力中心点坐标以及所述中心点压力值,计算所述中心点压力值在所述二维坐标系上的压力分量;
基于所述压力分量,确定所述第三意图识别结果。
6.根据权利要求3所述的方法,其特征在于,所述对预处理后的所述肌电信号进行特征提取,获得肌电特征,包括:
将所述预处理后的所述肌电信号进行时间窗分割处理;
分别对分割后的所述肌电信号进行特征提取;
将提取的所有特征,作为所述肌电特征。
7.一种基于多模态信号运动意图识别的机器人控制装置,其特征在于,所述装置包括:
获取模块,用于获取语音信号、压力信号以及肌电信号,所述语音信号由设置在智能轮椅上语音传感器采集获得,所述压力信号由设置在所述智能轮椅坐垫下的压力传感器采集获得,所述肌电信号由设置在使用者肢体上的肌电传感器采集获得;
识别模块,用于根据所述语音信号得到第一意图识别结果、根据所述肌电信号得到第二意图识别结果、根据所述压力信号得到第三意图识别结果;
确定模块,用于根据所述第一意图识别结果、所述第二意图识别结果和所述第三意图识别结果确定目标意图识别结果;其中,确定模块用于获取使用者肢体操控能力等级以及语言能力等级,其中,所述肢体操控能力等级以及所述语言能力等级为预先根据使用者的身体状况划分的能力等级;基于所述肢体操控能力等级以及所述语言能力等级,分别确定所述第一意图识别结果、所述第二意图识别结果以及所述第三意图识别结果一一对应的权重值;根据所述第一意图识别结果、所述第二意图识别结果、所述第三意图识别结果以及一一对应的权重值,进行决策级融合,以确定所述目标意图识别结果;
生成模块,用于根据所述目标意图识别结果生成所述智能轮椅的控制指令。
8.一种计算机设备,其特征在于,包括:
存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行权利要求1-6任一项所述的基于多模态信号运动意图识别的机器人控制方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行权利要求1-6任一项所述的基于多模态信号运动意图识别的机器人控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310966759.4A CN116766207B (zh) | 2023-08-02 | 2023-08-02 | 一种基于多模态信号运动意图识别的机器人控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310966759.4A CN116766207B (zh) | 2023-08-02 | 2023-08-02 | 一种基于多模态信号运动意图识别的机器人控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116766207A CN116766207A (zh) | 2023-09-19 |
CN116766207B true CN116766207B (zh) | 2024-05-28 |
Family
ID=88010099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310966759.4A Active CN116766207B (zh) | 2023-08-02 | 2023-08-02 | 一种基于多模态信号运动意图识别的机器人控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116766207B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140103694A (ko) * | 2013-02-19 | 2014-08-27 | 주식회사 엠앤지파트너스 | 근전도를 이용한 골반저근육 강화운동 보조장치 |
EP2887351A1 (en) * | 2013-12-18 | 2015-06-24 | Karlsruher Institut für Technologie | Computer-implemented method, computer system and computer program product for automatic transformation of myoelectric signals into audible speech |
CN105963926A (zh) * | 2016-04-29 | 2016-09-28 | 中国科学院苏州生物医学工程技术研究所 | 多模态融合手功能康复训练与智能评估系统 |
CN110865705A (zh) * | 2019-10-24 | 2020-03-06 | 中国人民解放军军事科学院国防科技创新研究院 | 多模态融合的通讯方法、装置、头戴设备及存储介质 |
CN111227796A (zh) * | 2020-01-13 | 2020-06-05 | 南京医科大学 | 一种基于支持向量机多模态融合下的平衡障碍量化评估方法及系统 |
CN111967334A (zh) * | 2020-07-20 | 2020-11-20 | 中国人民解放军军事科学院国防科技创新研究院 | 一种人体意图识别方法、系统以及存储介质 |
CN113469153A (zh) * | 2021-09-03 | 2021-10-01 | 中国科学院自动化研究所 | 基于微表情、肢体动作和语音的多模态情感识别方法 |
CN113515967A (zh) * | 2020-03-27 | 2021-10-19 | 深圳市联合视觉创新科技有限公司 | 运动意图识别模型生成方法、装置、设备及存储介质 |
CN114206292A (zh) * | 2021-11-11 | 2022-03-18 | 中国科学院苏州生物医学工程技术研究所 | 具有意图感知功能的手功能康复装置 |
-
2023
- 2023-08-02 CN CN202310966759.4A patent/CN116766207B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140103694A (ko) * | 2013-02-19 | 2014-08-27 | 주식회사 엠앤지파트너스 | 근전도를 이용한 골반저근육 강화운동 보조장치 |
EP2887351A1 (en) * | 2013-12-18 | 2015-06-24 | Karlsruher Institut für Technologie | Computer-implemented method, computer system and computer program product for automatic transformation of myoelectric signals into audible speech |
CN105963926A (zh) * | 2016-04-29 | 2016-09-28 | 中国科学院苏州生物医学工程技术研究所 | 多模态融合手功能康复训练与智能评估系统 |
CN110865705A (zh) * | 2019-10-24 | 2020-03-06 | 中国人民解放军军事科学院国防科技创新研究院 | 多模态融合的通讯方法、装置、头戴设备及存储介质 |
CN111227796A (zh) * | 2020-01-13 | 2020-06-05 | 南京医科大学 | 一种基于支持向量机多模态融合下的平衡障碍量化评估方法及系统 |
CN113515967A (zh) * | 2020-03-27 | 2021-10-19 | 深圳市联合视觉创新科技有限公司 | 运动意图识别模型生成方法、装置、设备及存储介质 |
CN111967334A (zh) * | 2020-07-20 | 2020-11-20 | 中国人民解放军军事科学院国防科技创新研究院 | 一种人体意图识别方法、系统以及存储介质 |
CN113469153A (zh) * | 2021-09-03 | 2021-10-01 | 中国科学院自动化研究所 | 基于微表情、肢体动作和语音的多模态情感识别方法 |
CN114206292A (zh) * | 2021-11-11 | 2022-03-18 | 中国科学院苏州生物医学工程技术研究所 | 具有意图感知功能的手功能康复装置 |
Non-Patent Citations (2)
Title |
---|
Research on Intelligent Wheelchair Attitude-Based Adjustment Method Based on Action Intention Recognition;Cu Jianwei,Huang Zizheng等;《MICROMACHINES》;20230708;第14卷(第6期);全文 * |
基于眼电图的有意/无意眼动分类方法及应用综述;刘佳镕,王林瑶,吴迎年;《生物医学工程学杂志》;20220831;第39卷(第4期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116766207A (zh) | 2023-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111209885B (zh) | 一种手势信息处理方法、装置、电子设备及存储介质 | |
CN111861128B (zh) | 自动驾驶车辆人机协同操纵过程的接管舒适性评价方法、系统及存储介质 | |
CN106980367B (zh) | 一种基于肌电地形图的手势识别方法 | |
CN106846403B (zh) | 一种三维空间中手部定位的方法、装置及智能设备 | |
CN110956111A (zh) | 人工智能cnn、lstm神经网络步态识别系统 | |
CN111631923A (zh) | 基于意图识别的外骨骼机器人的神经网络控制系统 | |
CN110555468A (zh) | 一种联合递归图和cnn的脑电信号识别方法及系统 | |
CN104484644B (zh) | 一种手势识别方法和装置 | |
CN110414546A (zh) | 使用中间损失函数训练图像信号处理器 | |
CN106919899A (zh) | 基于智能机器人的模仿人脸表情输出的方法和系统 | |
Fahim et al. | A visual analytic in deep learning approach to eye movement for human-machine interaction based on inertia measurement | |
KR102363879B1 (ko) | 환자의 상지 동작에 의해 도출되는 특징값을 이용한 임상평가척도 예측 방법 | |
US11393226B2 (en) | Emotion estimation device | |
WO2023124026A1 (zh) | 机器人控制方法、系统、计算机设备、存储介质及计算机程序产品 | |
CN114469120A (zh) | 一种基于相似度阈值迁移的多尺度Dtw-BiLstm-Gan心电信号生成方法 | |
CN111104902B (zh) | 一种基于图卷积网络的偏瘫步态分类方法 | |
CN116766207B (zh) | 一种基于多模态信号运动意图识别的机器人控制方法 | |
CN109766559B (zh) | 一种手语识别翻译系统及其识别方法 | |
KR20190023749A (ko) | 사용자 감성 인식 장치 및 방법 | |
CN110909621A (zh) | 一种基于视觉的健身指导系统 | |
CN110281247A (zh) | 一种用于养老助残机器人的人机交互系统和方法 | |
Matsuzawa et al. | Control of an electric wheelchair with a brain-computer interface headset | |
CN109814716B (zh) | 一种基于动态表面肌电信号的运动意图解码方法 | |
CN111028488A (zh) | 一种基于pso-svm的智能久坐提醒的方法 | |
CN114171194B (zh) | 帕金森多症状量化评估方法、装置、电子设备、及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |