CN117653042B - 基于多模态的被看护人员疼痛级别判定方法及测试装置 - Google Patents

Abstract

本发明适用于人工智能和智能优化计算技术领域，提供一种基于多模态的被看护人员疼痛级别判定方法，包括：建立疼痛面部表情矩阵，根据矩阵计算被看护人员的面部疼痛级别；计算被看护人员的时域表面肌电疼痛级别和频域表面肌电疼痛级别，得到表面肌电综合疼痛级别；混合所述面部疼痛级别和表面肌电综合疼痛级别，得到被看护人员的最终疼痛级别；最后进行疼痛预警。本发明综合考虑了面部表情识别和时域频域的表面肌电信号来判断被看护人员的最终疼痛级别，同时优选方案中还可以进一步进行疼痛预警；本发明的疼痛级别判断方式合理，能够快速得到判断结果，实现促进及时采取医疗干预。

Description

基于多模态的被看护人员疼痛级别判定方法及测试装置

技术领域

本发明属于人工智能和智能优化计算技术领域，尤其涉及一种基于多模态的被看护人员疼痛级别判定方法。

背景技术

在智慧医疗背景下，医疗看护也走向智能化。借助物联网、云计算、大数据等信息技术，可以全面、准确地收集到被看护人员实时状态数据并进行实时动态医疗干预，对我国精准看护工作的开展具有极其重要的意义。其中，能够清晰判定和优化被看护人员的人员状态级别是精准看护的关键，尤其是是对于疼痛级别的判定。由于疼痛状态因人而异，其核心问题，就是利用多种高效的方法去实现精准判定。

疼痛表情识别是判定被看护人员是否疼痛的有效方法，其方法是通过识别涉及疼痛变化的面部特征点的变化来判断，一般采取与疼痛表情变化编码相对照来获得。但对于疼痛的级别判定，一般没有有效的方法。由此，借助疼痛表情变化编码来进行疼痛的级别判定值得进行探索。表面肌电疼痛识别也是判定被看护人员是否疼痛的常用方法，其信号指标的选取必须同时具有代表性和广泛性，判定是否疼痛一般采取统计差别显著性判断的方法。对于如何判定疼痛级别，目前表面肌电疼痛识别方法也没有简单实用的方法。同样，借助统计差别显著性判断来进行疼痛的级别判定也值得进行进一步发现。

被看护人员的疼痛强度很多时候是一种主观的感受，避免这种主观差异，除了对以上方法的精准计算并综合判定外，建立一种简单有效的分级预警和加入复杂的或者侵入式的传感器也可以减少这种差异，这可以依据医疗条件适当加持。

发明内容

鉴于上述问题，本发明的目的在于提供一种基于多模态的被看护人员疼痛级别判定方法，旨在解决现有方法无法合理判定被看护人员疼痛级别而针对性进行医疗干预的技术问题。

本发明采用如下技术方案：

一方面，所述基于多模态的被看护人员疼痛级别判定方法，包括下述步骤：

步骤S1、建立疼痛面部表情矩阵，根据矩阵计算被看护人员的面部疼痛级别；

步骤S2、计算被看护人员的时域表面肌电疼痛级别和频域表面肌电疼痛级别，得到表面肌电综合疼痛级别；

步骤S3、混合所述面部疼痛级别和表面肌电综合疼痛级别，得到被看护人员的最终疼痛级别。

进一步的，所述方法还包括下述步骤：

步骤S4、根据所述面部疼痛级别、表面肌电综合疼痛级别和最终疼痛级别，进行疼痛预警。

另一方面，基于多模态的被看护人员疼痛级别测试装置，用于接收表面肌电数据和人脸识别数据，输出当前被看护人员的最终疼痛级别，所述测试装置包括：

面部疼痛测试模块，用于建立疼痛面部表情矩阵，根据矩阵以及输入的人脸识别数据计算被看护人员的面部疼痛级别；

肌电疼痛测试模块，用于根据输入的表面肌电数据计算被看护人员的时域表面肌电疼痛级别和频域表面肌电疼痛级别，得到表面肌电综合疼痛级别；

混合测试模块，用于混合所述面部疼痛级别和表面肌电综合疼痛级别，得到被看护人员的最终疼痛级别。

进一步的，所述测试装置还包括下述步骤：

疼痛预警模块，用于根据所述面部疼痛级别、表面肌电综合疼痛级别和最终疼痛级别，进行疼痛预警。

本发明的有益效果是：本发明综合考虑了面部表情识别和时域频域的表面肌电信号来判断被看护人员的最终疼痛级别，同时优选方案中还可以进一步进行疼痛预警；本发明的疼痛级别判断方式合理，能够快速得到判断结果，在后续开发中，还可以进一步获得易于可视化理解的预警方案，实现促进及时采取医疗干预。本发明方案能够为具有疼痛症状的被看护人员的辅助医疗，提供更为节省人力物力的策略，为智慧医疗以及AI精准看护提供一种新的可选方案，具有广泛应用前景。

附图说明

图1是本发明实施例提供的基于多模态的被看护人员疼痛级别判定方法的流程图；

图2是本发明实施例提供的基于多模态的被看护人员疼痛级别测试装置的原理框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

如图1所示，本实施例提供的基于多模态的被看护人员疼痛级别判定方法，包括下述步骤：

步骤S1、建立疼痛面部表情矩阵，根据矩阵计算被看护人员的面部疼痛级别。

人员的面部表情能够反应出疼痛程度，本步骤通过采样被看护人员的面部图像实现疼痛级别判定。具体过程如下：

S11、建立疼痛面部表情矩阵PAIN。

面部表情编码系统（FACS）可以对疼痛表情进行表达。疼痛的面部表情被定义为与疼痛刺激相关的面部肌肉的运动和扭曲, 面部运动可以由活动单元（AU）描述。本步骤利用FACS系统中将脸部涉及疼痛表达得部分（眉毛、脸颊、眼睛、鼻子、嘴）所展现的变化进行编码，编码以AU作为开头，可以通过观察表情由FACS编码的AU码表中查询表情相应的编码。

痛苦表情由4组AU编码的组合组成，其中包含6个AU编码，分别为AU4（眉毛降低），AU6（脸颊提升），AU7（眼睑收紧），AU9（皱鼻子），AU10（抬上唇），AU43（闭眼）。

具体4组分别为：（AU4，AU6，AU9，AU43）、（AU4，AU7，AU9，AU43）、（AU4，AU6，AU10，AU43）和（AU4 ，AU6，AU9，AU43）。

根据上述分组情况，疼痛面部表情可以表达为4*6矩阵PAIN如下：

；

矩阵有6列，每列为对应AU编码是否存在变化的情况，1表示存在变化，0表示不存在变化。

S12、根据疼痛面部表情矩阵PAIN判断被看护人员是否疼痛。

首先，根据疼痛面部表情矩阵PAIN计算关于疼痛的6个AU编码对象的权重，计算方式为1/6*1/4*（矩阵PAIN 6列中1的个数和），即得到权重；

假设人脸识别的图像采样表情识别分析中，得到这两个AU编码对象对应的值分别为A-F，得到关于疼痛的6个AU编码对象的位移矩阵；由于表情识别采用的深度学习方法是现有技术，这里不赘述。

计算各AU编码对象对应的面部疼痛值，其中，/>为点除，sum为求和；

如果面部疼痛值大于阈值ꞵ，则将当前AU编码对象的标记值赋值为1，否则为0，将6个AU编码对象的标记值与面部表情矩阵的四行进行比较，如果与其中一行一致，则认定当前被看护人员为疼痛。

比如设，以第一列编码对象AU4为例，如果第一列满足：

则将AU4的标记值赋值为1，表明该面部编码对象AU4存在变化。

同理，可以分别计算其它AU编码对象是否发生变化，大于阈值ꞵ，则认定有变化，否则认定无变化，相应赋值1或0。最后根据赋值结果与矩阵PAIN的四行进行比较，如果存在相同一行，则认定当前被看护人员为疼痛。

S13、根据各AU编码对象的面部疼痛值，计算被看护人员的面部疼痛级别。

在步骤S12中，每个AU编码对象都计算得到了一个面部疼痛值，步骤S12仅判断是否为疼痛表情，往往不能很好的为医疗等干预提供知道，判断出为疼痛表情后，还需要区分疼痛级别。具体过程如下：

S131、设置疼痛划分区间和综合判断阈值区间。

疼痛划分区间用于区分各AU编码对象的面部疼痛值所落入的范围，以确定轻度、中度和重度疼痛级别。综合判断阈值区间用于区分最后的面部疼痛级别。

S132、根据各AU编码对象的面部疼痛值所落入的疼痛划分区间，判定各AU编码对象的疼痛级别，包括不疼、轻度、中度、重度。

比如疼痛划分区间为（0，0.1，0.175，0.25），用于区分轻度、中度和重度疼痛。以第一列为例：

；

同理，也可以判断其它AU编码对象的疼痛级别。

S133、给每个疼痛级别设置权重，计算AU编码对象的综合疼痛值。

假设当前被看护人员计算得到的6个AU编码对象对应的面部疼痛值为，/>，即疼痛级别分别为（中度，重度，不疼，轻度，不疼，重度），符合PAIN第一行情况，属于疼痛表情。按照（0.5，0.3，0.1）给重度、中度和轻度赋权重。

则综合疼痛值Tp=0.5*2+0.3*1+0.1*1=1.4。

S134、根据综合疼痛值所落入的综合判断阈值区间，确定被看护人员的面部疼痛级别。

综合判断阈值区间，分为三段，对应轻度、中度、重度，1.4落入1.2-2.2之间，即可判断出当前被看护人员为重度疼痛。

步骤S2、计算被看护人员的时域表面肌电疼痛级别和频域表面肌电疼痛级别，得到表面肌电综合疼痛级别。

表面肌电 (Surface Electromyography，简称sEMG）是测量人体肌肉表面活动的一种非侵入式技术。通过放置电极在皮肤表面来测量肌肉收缩产生的电信号。表面肌电也能够反应出疼痛情况。本步骤通过时域和频域的表面肌电信号划分疼痛级别，然后得到表面肌电综合疼痛级别。具体过程如下：

S21、计算被看护人员的时域表面肌电疼痛级别：

S211、采集并计算确定无疼痛人群的平均肌电均方根值RMS_正常以及方差值s。

表面肌电信号具体表现为肌电值，通过积分肌电值IEMG代表了一段肌电信号下的面积总和，单位为Vs，代表了这段时间内肌电值输出的加和量，计算方式为：

；

其中，表示采样间隔为/>，采样点数为N的其中第i信号的绝对值，总时间长度为N*∆t。

肌电均方根值RMS跟肌电信号的能量直接联系，常常被用于体现产生肌电的能量，计算方式为：

；

采集并计算一群确定无疼痛人群的平均肌电均方根值RMS_正常，并得到其方差值s。

S212、采集并计算被看护人员的肌电均方根值RMS_测试，被看护人员的时域表面肌电疼痛级别的判断方式如下：

；

其中，为计算方差值。

S22、计算被看护人员的频域表面肌电疼痛级别：

S221、采集并计算确定无疼痛人群的平均功率频率值MPF_正常以及方差值s’。

功率频率MPF代表了肌电信号频谱的重心频率，即取一段数据，对数据做傅立叶变换即可获得相应频率范围的功率谱，通过使用奈奎斯特采样定理可知积分从零到采样频率的一半。

同理，采集并计算一群确定无疼痛人群平均功率频率值MPF_正常，并得到其方差值s’。

S222、采集并计算被看护人员的功率频率值MPF_测试，被看护人员的频域表面肌电疼痛级别的判断方式如下：

。

S23、根据时域和频域表面肌电疼痛级别，确定表面肌电综合疼痛级别：

时域和频域表面肌电疼痛级别均包括轻度、中度、重度，分别记为S_轻度、S_中度、S_重度、P_轻度、P_重度、P_重度，S表示时域，P表示频域。时域S和频域P表面肌电信号可以得到以下疼痛级别组合：

（S_轻度 , P_轻度）、（S_轻度 , P_中度）、（S_轻度 , P_重度）、（S_中度 , P_轻度）、（S_中度 , P_中度）、（S_中度 ,P_重度）、（S_重度 , P_轻度）、（S_重度 , P_中度）、（S_重度 , P_重度）。共9种情况，按照程度就轻以及跨级取中间级别原则，表面肌电综合疼痛级别确定方式如下：

如果时域和频域均为重度，则表面肌电综合疼痛级别为重度；

如果时域和频域有一个为轻度，另一个为非重度，或者两个都为轻度，则表面肌电综合疼痛级别为轻度；

其他情况下，表面肌电综合疼痛级别为中度。

即轻度：（S_轻度 , P_轻度）、（S_轻度 , P_中度）、（S_中度 , P_轻度）；

中度：（S_轻度 , P_重度）、（S_中度 , P_中度）、（S_中度 , P_重度）、（S_重度 , P_轻度）；

重度：（S_重度 , P_重度）。

步骤S3、混合所述面部疼痛级别和表面肌电综合疼痛级别，得到被看护人员的最终疼痛级别。

本步骤具体过程如下：

S31、根据各AU编码对象的疼痛级别建立面部判断矩阵L=[L₁，L₂，L₃，L₄，L₅，L₆]，其中各元素为各AU编码对象对应的疼痛级别。

在步骤S13中，已经计算出6个AU编码对象的面部疼痛值和对应的疼痛级别，包括不疼、轻度、中度、重度。分别用L₁-L₆表示。

S32、根据时域和频域表面肌电疼痛级别建立肌电判断矩阵SP=[SL，PL]，其中SL为时域表面肌电疼痛级别，PL为频域表面肌电疼痛级别。

在步骤S21、S22中，也分别计算出了时域和频域表面肌电疼痛级别，均包括轻度、中度、重度，时域和频域表面肌电疼痛级别分别记为SL和PL。

S33、根据所述面部判断矩阵和肌电判断矩阵，计算被看护人员的最终疼痛值T：

T=0.25*sum(L_重度)+0.125*if(SL=重度)+0.125*if(PL=重度)+

0.15*sum(L_中度)+0.075*if(SL=中度或重度)+0.075*if(PL=中度或重度)+

0.05*sum(L_轻度)+0.025*if(SL=中度或轻度)+0.025*if(PL=中度或轻度)

其中，sum(L_重度)、sum(L_中度)和sum(L_轻度)分别是计算L中重度、重度和轻度的数量；if(SL=·)和if(PL=·)分别是判断时域和频域表面肌电疼痛级别为三个级别的情况，符合则为1，否则为0；

S34、按照最终疼痛值T所落入的综合判断阈值区间，确定被看护人员的最终疼痛级别。

综合判断阈值区间与步骤S13的相同。根据最终疼痛值T可确定被看护人员的最终疼痛级别。

进一步作为一种优选方式，本实施例提供的基于多模态的被看护人员疼痛级别判定方法，还包括：

步骤S4、根据所述面部疼痛级别、表面肌电综合疼痛级别和最终疼痛级别，进行疼痛预警。

本步骤按照设定的采样频率，计算被看护人员面部疼痛级别、表面肌电综合疼痛级别和最终疼痛级别的变化曲线，根据三种级别的状态进行疼痛预警。变化曲线的横轴为离散采样时间，纵轴为不疼、轻度、中度和重度四个级别，三个疼痛级别对应的变化曲线是随着时间推移，不断在四个级别跳跃组成的一条线，可以可视化显示变化曲线。

疼痛预警的级别可自行设定，可分别为轻度1级、轻度2级、轻度3级、中度1级、中度2级、中度3级、重度1级、重度2级、重度3级共9种疼痛预警级别。比如三条变化曲线的级别中，记面部疼痛级别D1，表面肌电综合疼痛级别为D2，最终疼痛级别为D3。

如果D3是轻度，其中D1、D2均为轻度，则是轻度1级，D1、D2中有一个轻度，则是轻度2级，其他情况是轻度3级；

如果D3是中度，其中D1、D2中一个为轻度，另一个为轻度或中度，则是中度1级，D1、D2均是中度，则是中度2级，其他情况是中度3级；

如果D3是重度，其中D1、D2均不是重度，则是重度1级，D1、D2中有一个是重度，则是重度2级，D1、D2两个都是重度，则是重度3级。

另外，由于不同部位肌电正常值以及变化幅度区间存在差异，可以通过实验建立不同部位的肌电正常值和等级划分区间，对模型进行调整，以得到更精确的结果。此外，由于人体对疼痛具有适应性或疼痛部位较深，会导致人体对表面肌电疼痛反应不敏感。进一步本发明可以通过侵入式设备或者其它测试设备（如脑电信号测试仪）获取相关数据，对模型进行调整，以得到更精确的结果。

实施例二：

如图2所示，本实施例提供了一种基于多模态的被看护人员疼痛级别测试装置，用于接收表面肌电数据和人脸识别数据，输出当前被看护人员的最终疼痛级别，所述测试装置包括：

面部疼痛测试模块101，用于建立疼痛面部表情矩阵，根据矩阵以及输入的人脸识别数据计算被看护人员的面部疼痛级别；

肌电疼痛测试模块102，用于根据输入的表面肌电数据计算被看护人员的时域表面肌电疼痛级别和频域表面肌电疼痛级别，得到表面肌电综合疼痛级别；

混合测试模块103，用于混合所述面部疼痛级别和表面肌电综合疼痛级别，得到被看护人员的最终疼痛级别。

进一步的，所述测试装置还包括下述步骤：

疼痛预警模块104，用于根据所述面部疼痛级别、表面肌电综合疼痛级别和最终疼痛级别，进行疼痛预警。

本测试装置包含上述四个功能模块，分别用于计算面部疼痛级别、表面肌电综合疼痛级别、最终疼痛级别以及疼痛预警，对应实施例一中的步骤S1-S4的执行流程，具体过程这里不再赘述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于多模态的被看护人员疼痛级别判定方法，其特征在于，所述方法包括下述步骤：

步骤S1、建立疼痛面部表情矩阵，根据矩阵计算被看护人员的面部疼痛级别；

步骤S2、计算被看护人员的时域表面肌电疼痛级别和频域表面肌电疼痛级别，得到表面肌电综合疼痛级别；

步骤S3、混合所述面部疼痛级别和表面肌电综合疼痛级别，得到被看护人员的最终疼痛级别；

所述方法还包括下述步骤：

步骤S4、根据所述面部疼痛级别、表面肌电综合疼痛级别和最终疼痛级别，进行疼痛预警；

所述步骤S1具体过程如下：

S11、建立疼痛面部表情矩阵PAIN：

S12、根据疼痛面部表情矩阵PAIN判断被看护人员是否疼痛：

根据疼痛面部表情矩阵PAIN计算关于疼痛的6个AU编码对象的权重α＝[1/6 1/8 1/241/8 1/24 1/6]；

记关于疼痛的6个AU编码对象的位移矩阵DIS＝[A B C D E F]；

计算各AU编码对象对应的面部疼痛值其中DIS/•α＝[6A 8B 24C 8D24E 6F]，/•为点除，sum为求和；

如果面部疼痛值大于阈值β，则将当前AU编码对象的标记值赋值为1，否则为0，将6个AU编码对象的标记值与面部表情矩阵的四行进行比较，如果与其中一行一致，则认定当前被看护人员为疼痛；

S13、根据各AU编码对象的面部疼痛值，计算被看护人员的面部疼痛级别：

设置疼痛划分区间和综合判断阈值区间；

根据各AU编码对象的面部疼痛值所落入的疼痛划分区间，判定各AU编码对象的疼痛级别，包括不疼、轻度、中度、重度；

给每个疼痛级别设置权重，计算AU编码对象的综合疼痛值；

根据综合疼痛值所落入的综合判断阈值区间，确定被看护人员的面部疼痛级别。

2.如权利要求1所述基于多模态的被看护人员疼痛级别判定方法，所述步骤S2具体过程如下：

S21、计算被看护人员的时域表面肌电疼痛级别：

采集并计算确定无疼痛人群的平均肌电均方根值RMS_正常以及方差值σ；

采集并计算被看护人员的肌电均方根值RMS_测试，被看护人员的时域表面肌电疼痛级别的判断方式如下：

其中，D(•)为计算方差值；

S22、计算被看护人员的频域表面肌电疼痛级别：

采集并计算确定无疼痛人群的平均功率频率值MPF_正常以及方差值σ’；

采集并计算被看护人员的功率频率值MPF_测试，被看护人员的频域表面肌电疼痛级别的判断方式如下：

S23、根据时域和频域表面肌电疼痛级别，确定表面肌电综合疼痛级别：

时域和频域表面肌电疼痛级别均包括轻度、中度、重度，表面肌电综合疼痛级别确定方式如下：

如果时域和频域均为重度，则表面肌电综合疼痛级别为重度；

如果时域和频域有一个为轻度，另一个为非重度，或者两个都为轻度，则表面肌电综合疼痛级别为轻度；

其他情况下，表面肌电综合疼痛级别为中度。

3.如权利要求2所述基于多模态的被看护人员疼痛级别判定方法，所述步骤S3具体过程如下：

S31、根据各AU编码对象的疼痛级别建立面部判断矩阵L＝[L₁，L₂，L₃，L₄，L₅，L₆]，其中各元素为各AU编码对象对应的疼痛级别；

S32、根据时域和频域表面肌电疼痛级别建立肌电判断矩阵SP＝[SL，PL]，其中SL为时域表面肌电疼痛级别，PL为频域表面肌电疼痛级别；

S33、根据所述面部判断矩阵和肌电判断矩阵，计算被看护人员的最终疼痛值T：

T＝0.25*sum(L_重度)+0.125*if(SL＝重度)+0.125*if(PL＝重度)+

0.15*sum(L_中度)+0.075*if(SL＝中度或重度)+0.075*if(PL＝中度或重度)+

0.05*sum(L_轻度)+0.025*if(SL＝中度或轻度)+0.025*if(PL＝中度或轻度)

其中，sum(L_重度)、sum(L_中度)和sum(L_轻度)分别是计算L中重度、重度和轻度的数量；if(SL＝·)和if(PL＝·)分别是判断时域和频域表面肌电疼痛级别为三个级别的情况，符合则为1，否则为0；

S34、按照最终疼痛值T所落入的综合判断阈值区间，确定被看护人员的最终疼痛级别。

4.一种基于多模态的被看护人员疼痛级别测试装置，其特征在于，所述测试装置用于接收表面肌电数据和人脸识别数据，输出当前被看护人员的最终疼痛级别，所述测试装置包括：

面部疼痛测试模块，用于建立疼痛面部表情矩阵，根据矩阵以及输入的人脸识别数据计算被看护人员的面部疼痛级别；

肌电疼痛测试模块，用于根据输入的表面肌电数据计算被看护人员的时域表面肌电疼痛级别和频域表面肌电疼痛级别，得到表面肌电综合疼痛级别；

混合测试模块，用于混合所述面部疼痛级别和表面肌电综合疼痛级别，得到被看护人员的最终疼痛级别；

所述测试装置还包括下述步骤：

疼痛预警模块，用于根据所述面部疼痛级别、表面肌电综合疼痛级别和最终疼痛级别，进行疼痛预警；

其中面部疼痛测试模块的执行过程如下：

S11、建立疼痛面部表情矩阵PAIN：

S12、根据疼痛面部表情矩阵PAIN判断被看护人员是否疼痛：

根据疼痛面部表情矩阵PAIN计算关于疼痛的6个AU编码对象的权重α＝[1/6 1/8 1/241/8 1/24 1/6]；

记关于疼痛的6个AU编码对象的位移矩阵DIS＝[A B C D E F]；

计算各AU编码对象对应的面部疼痛值其中DIS/•α＝[6A 8B 24C 8D24E 6F]，/•为点除，sum为求和；

如果面部疼痛值大于阈值β，则将当前AU编码对象的标记值赋值为1，否则为0，将6个AU编码对象的标记值与面部表情矩阵的四行进行比较，如果与其中一行一致，则认定当前被看护人员为疼痛；

S13、根据各AU编码对象的面部疼痛值，计算被看护人员的面部疼痛级别：

设置疼痛划分区间和综合判断阈值区间；

根据各AU编码对象的面部疼痛值所落入的疼痛划分区间，判定各AU编码对象的疼痛级别，包括不疼、轻度、中度、重度；

给每个疼痛级别设置权重，计算AU编码对象的综合疼痛值；

根据综合疼痛值所落入的综合判断阈值区间，确定被看护人员的面部疼痛级别。