发明内容
发明目的:针对现有技术中存在的问题,本发明提供一种神经内科用护理监控系统和方法。
技术方案:一方面,本发明提供一种神经内科用护理监控系统,包括:
采集模块,所述采集模块包括第一采集模块和第二采集模块,其中,所述第一采集模块用于获取用户的神经系统电信号,所述第二采集模块用于获取用户的动作表情数据;
处理模块,所述处理模块用于对所述神经系统电信号进行特征提取和特征融合,获得第一融合特征;并对所述动作表情数据进行特征提取和识别,获得第二识别结果;对所述第一融合特征和所述第二识别结果进行特征融合计算出多维融合特征;
决策模块,所述决策模块用于根据所述多维融合特征对用户进行综合护理监控。
进一步地,所述神经系统电信号包括脑电信号和肌电信号。
进一步地,所述动作表情数据包括动作姿态数据和面部表情数据。
进一步地,获得第一融合特征的具体过程包括:对所述脑电信号进行特征提取获得脑电特征,对所述肌电信号进行特征提取获得肌电特征,将所述脑电特征和所述肌电特征进行特征融合,获得第一融合特征;
获得第二识别结果的具体过程包括:对所述动作姿态数据进行特征提取获得动作姿态特征,对所述面部表情数据进行特征提取获得面部表情特征,对所述动作姿态特征和所述面部表情特征进行识别,获得第二识别结果。
进一步地,根据所述多维融合特征对用户进行综合护理监控的具体过程包括:将所述多维融合特征输入至训练好的深度置信网络,所述深度置信网络输出用户当前的状态。
另一方面,本发明提供一种神经内科用护理监控方法,所述方法应用于上述系统,包括以下步骤:
步骤S1:获取用户的神经系统电信号,所述神经系统电信号包括脑电信号和肌电信号;获取用户的动作表情数据,所述动作表情数据包括动作姿态数据和面部表情数据;
步骤S2:对所述神经系统电信号进行特征提取和特征融合,获得第一融合特征;对所述动作表情数据进行特征提取和识别,获得第二识别结果;
步骤S3:对所述第一融合特征和所述第二识别结果进行特征融合计算出多维融合特征;
步骤S4:根据所述多维融合特征对用户进行综合护理监控。
进一步地,步骤S2中,获得第一融合特征的具体过程包括:对所述脑电信号进行特征提取获得脑电特征,对所述肌电信号进行特征提取获得肌电特征,将所述脑电特征和所述肌电特征进行特征融合,获得第一融合特征;获得第二识别结果的具体过程包括:对所述动作姿态数据进行特征提取获得动作姿态特征,对所述面部表情数据进行特征提取获得面部表情特征,对所述动作姿态特征和所述面部表情特征进行识别,获得第二识别结果。
进一步地,对所述神经系统电信号进行加窗处理,设定时间窗长度为T;
获得脑电特征的具体过程包括:将所述脑电信号的当前时间窗的平均幅值作为脑电时域特征RAWE,将所述脑电信号当前时间窗不同频段的功率谱密度作为频域特征PSDE;
获得肌电特征的具体过程包括:将所述肌电信号当前时间窗的平均绝对值MAVM,均方根值RMSM和波形长度WLM作为肌电信号的特征。
进一步地,将所述脑电特征和所述肌电特征进行特征融合的具体过程包括:将所述脑电信号的特征向量和所述肌电信号的特征向量进行加权计算。
进一步地,步骤S4中,根据所述多维融合特征对用于进行综合护理监控的具体过程包括:将所述多维融合特征输入至训练好的深度置信网络,所述深度置信网络输出用户当前的状态。
技术效果:与现有技术相比,本发明具有以下优点:本发明提供一种神经内科用护理监控系统和方法,包括:采集模块,处理模块和决策模块,所述采集模块包括第一采集模块和第二采集模块,第一采集模块用于获取用户的神经系统电信号,所述第二采集模块用于获取用户的动作表情数据;通过设置第一采集模块和第二采集模块,不仅能够获取用户的神经系统电信号,而且能够获取神经系统电信号对应的动作表情数据,提高了对用户当前状态识别准确率;将特征级融合和决策级融合相结合,获取多维融合特征,进一步提高了识别的准确率;采用多种不同的学习算法对深度置信网络进行微调,并投票确定户当前状态,提高了系统的识别率和稳定性。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一单元实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
作为本发明实施例的一个实施例,如图1所示,本实施例提供一种神经内科用护理监控系统,包括:
采集模块,所述采集模块包括第一采集模块和第二采集模块,其中,所述第一采集模块用于获取用户的神经系统电信号,所述第二采集模块用于获取用户的动作表情数据;
处理模块,所述处理模块用于对所述神经系统电信号进行特征提取和特征融合,获得第一融合特征;并对所述动作表情数据进行特征提取和识别,获得第二识别结果;对所述第一融合特征和所述第二识别结果进行特征融合计算出多维融合特征;
决策模块,所述决策模块用于根据所述多维融合特征对用户进行综合护理监控。
进一步地,所述神经系统电信号包括脑电信号和肌电信号。
具体的,采用脑电仪器获取用户的脑电信号,采用肌电仪器获取用户的肌电信号。
更具体的,所述脑电仪器为智能眼镜和/或智能头盔;所述肌电仪器为便携式肌电仪和/或智能手环。
进一步地,所述动作表情数据包括动作姿态数据和面部表情数据。
具体的,所述便携式肌电仪和/或智能手环能够采集用户的动作姿态数据,智能眼镜和/或智能头盔能够采集用户的面部表情数据。
进一步地,获得第一融合特征的具体过程包括:对所述脑电信号进行特征提取获得脑电特征,对所述肌电信号进行特征提取获得肌电特征,将所述脑电特征和所述肌电特征进行特征融合,获得第一融合特征;
获得第二识别结果的具体过程包括:对所述动作姿态数据进行特征提取获得动作姿态特征,对所述面部表情数据进行特征提取获得面部表情特征,对所述动作姿态特征和所述面部表情特征进行识别,获得第二识别结果。
进一步地,根据所述多维融合特征对用户进行综合护理监控的具体过程包括:将所述多维融合特征输入至训练好的深度置信网络,所述深度置信网络输出用户当前的状态。
另一方面,如图2所示,本发明提供一种神经内科用护理监控方法,所述方法应用于上述系统,包括以下步骤:
步骤S1:获取用户的神经系统电信号,所述神经系统电信号包括脑电信号和肌电信号;获取用户的动作表情数据,所述动作表情数据包括动作姿态数据和面部表情数据;
步骤S2:对所述神经系统电信号进行特征提取和特征融合,获得第一融合特征;对所述动作表情数据进行特征提取和识别,获得第二识别结果;
步骤S3:对所述第一融合特征和所述第二识别结果进行特征融合计算出多维融合特征;
步骤S4:根据所述多维融合特征对用户进行综合护理监控。
进一步地,步骤S2中,获得第一融合特征的具体过程包括:对所述脑电信号进行特征提取获得脑电特征,对所述肌电信号进行特征提取获得肌电特征,将所述脑电特征和所述肌电特征进行特征融合,获得第一融合特征;获得第二识别结果的具体过程包括:对所述动作姿态数据进行特征提取获得动作姿态特征,对所述面部表情数据进行特征提取获得面部表情特征,对所述动作姿态特征和所述面部表情特征进行识别,获得第二识别结果。
进一步地,对所述神经系统电信号进行加窗处理,设定时间窗长度为T;
获得脑电特征的具体过程包括:将所述脑电信号的当前时间窗的平均幅值作为脑电时域特征RAWE,将所述脑电信号当前时间窗不同频段的功率谱密度作为频域特征PSDE;
具体的,设定时间窗长度为T=0.5s,将脑电信号分为delta(1-4Hz),theta(4-8Hz),alpha(8-13Hz),beta(13-30Hz)和gamma(30Hz以上)5个频段,并采用带通滤波,以消除基线漂移产生的噪声干扰,通过独立分量分析ICA去除脑电信号中的伪迹。使用0.5s的时间窗,以0.25s步长滑动提取各个频段上功率谱密度。
更具体的,脑电信号的特征向量VE可以表示为:
VE=[RAWE,PSDE]。
获得肌电特征的具体过程包括:将所述肌电信号当前时间窗的平均绝对值MAVM,均方根值RMSM和波形长度WLM作为肌电信号的特征。
具体的,对每个T时间长度里的肌电信号xi(i=1,2,…)进行特征提取。
更具体的,平均绝对值MAVM计算方法为:
均方根值RMSM计算方法为i:
波形长度WLM计算方法为:
则肌电信号的特征向量VM可以表示为:
VM=[MAVM,RMSM,WLM]。
若预设时长t时间段内,用户状态均为正常,则增加时间窗长度T,以提高特征的相关性,进而提高识别的准确度;若预设时长t时间段内,用户状态异常次数超过预设值P,则减小时间窗长度T,以提高特征提取的速度,进而提高识别的速度,进而提高对用户监测的频率。
进一步地,将所述脑电特征和所述肌电特征进行特征融合的具体过程包括:将所述脑电信号的特征向量和所述肌电信号的特征向量进行加权计算。
具体的,将所述脑电信号的特征向量和所述肌电信号的特征向量进行融合得到第一融合特征向量VK;
更具体的,第一融合特征向量VK可以表示为:
VK=[k1VE,k2VM];
其中,0<k2<k1<1,k1+k2=1。由于脑电信号比肌电信号信号具有更好的客观性,通过设置权重k2<k1,提高了脑电信号与第一融合特征向量的相关性。
更具体的,采集用户的动作姿态数据,提取运动量MQ和肢体收缩率BS作为动作姿态特征,采集用户的面部表情数据,提取变换特征FT和Haar矩形特征HA为面部表情特征,由动作姿态特征和面部表情特征组成动作表情特征向量VF:
VF=[MQ,BS,FT,HA];
将所述动作表情特征向量VF输入至卷积神经网络CNN中进行识别,获取用户的动作表情状态作为第二识别结果Z,Z=[ZM,ZF],其中ZM是用户的动作姿态状态,ZF是用户的面部表情状态。例如,用户的动作表情状态为[行走,开心],[坐姿,生气],[站立,疑惑]等。
进一步地,步骤S4中,根据所述多维融合特征对用户进行综合护理监控的具体过程包括:将所述多维融合特征输入至训练好的深度置信网络,所述深度置信网络输出用户当前的状态。
具体的,对所述第一融合特征向量VK和所述第二识别结果Z进行特征融合计算出多维融合特征向量VA,VA=[VK,Z]。特征级融合方法虽然能最大限度地保留原始信息,但是其没有考虑到不同模态情绪特征之间的差异性;多种模态间的信息并非完全独立,决策级融合会丢失不同模态之间的相关性。由于用户的动作表情状态能够较为明显的表现出用户的当前状态,并且直接第一融合特征向量和动作表情特征向量进行融合会造成特征冗余,影响识别效果,因此,通过将特征级融合和决策级融合相结合,获取多维融合特征,不但实现了对特征向量的降维,而且进一步提高了识别的准确率。
更具体的,如图3所示,分别采用三种不同的学习算法对深度置信网络进行微调,进而获得三个深度置信网络模型,BP深度置信网络模型、SVM深度置信网络模型、深度置信网络模型和ELM深度置信网络模型;将多维融合特征向量VA分别输入至上述三个模型,根据三个模型的输出结果,进行投票决策,根据投票结果确定用户当前状态。例如,三个模型或者其中两个模型输出用户当前正常,则判定用户当前状态为正常;若三个模型或者其中两个模型输出用户当前异常,则判定用户当前状态为异常。采用单一的学习算法对深度置信网络进行微调容易陷入局部最小值,或者对于大规模训练难以实施,进而造成系统不稳定。采用三个模型进行投票决策能够保证在其中一个或者两个模型出现问题的时候,仍有正确的决策结果,同时提高了系统的稳定性和识别率。
本发明设计的一种神经内科用护理监控系统和方法,包括:采集模块,处理模块和决策模块,所述采集模块包括第一采集模块和第二采集模块,第一采集模块用于获取用户的神经系统电信号,所述第二采集模块用于获取用户的动作表情数据;通过设置第一采集模块和第二采集模块,不仅能够获取用户的神经系统电信号,而且能够获取神经系统电信号对应的动作表情数据,提高了对用户当前状态识别准确率;将特征级融合和决策级融合相结合,获取多维融合特征,进一步提高了识别的准确率;采用多种不同的学习算法对深度置信网络进行微调,并投票确定户当前状态,提高了系统的识别率和稳定性。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。