CN117653042A - 基于多模态的被看护人员疼痛级别判定方法及测试装置 - Google Patents
基于多模态的被看护人员疼痛级别判定方法及测试装置 Download PDFInfo
- Publication number
- CN117653042A CN117653042A CN202410128917.3A CN202410128917A CN117653042A CN 117653042 A CN117653042 A CN 117653042A CN 202410128917 A CN202410128917 A CN 202410128917A CN 117653042 A CN117653042 A CN 117653042A
- Authority
- CN
- China
- Prior art keywords
- pain
- pain level
- level
- facial
- myoelectricity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000002193 Pain Diseases 0.000 title claims abstract description 243
- 230000036407 pain Effects 0.000 title claims abstract description 237
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012360 testing method Methods 0.000 title claims description 26
- 230000003183 myoelectrical effect Effects 0.000 claims abstract description 48
- 206010016059 Facial pain Diseases 0.000 claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 36
- 230000008921 facial expression Effects 0.000 claims abstract description 21
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 239000002131 composite material Substances 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 15
- 230000014509 gene expression Effects 0.000 description 11
- 238000005070 sampling Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4824—Touch or pain perception evaluation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
- A61B5/397—Analysis of electromyograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Psychiatry (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Hospice & Palliative Care (AREA)
- Pain & Pain Management (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明适用于人工智能和智能优化计算技术领域，提供一种基于多模态的被看护人员疼痛级别判定方法，包括：建立疼痛面部表情矩阵，根据矩阵计算被看护人员的面部疼痛级别；计算被看护人员的时域表面肌电疼痛级别和频域表面肌电疼痛级别，得到表面肌电综合疼痛级别；混合所述面部疼痛级别和表面肌电综合疼痛级别，得到被看护人员的最终疼痛级别；最后进行疼痛预警。本发明综合考虑了面部表情识别和时域频域的表面肌电信号来判断被看护人员的最终疼痛级别，同时优选方案中还可以进一步进行疼痛预警；本发明的疼痛级别判断方式合理，能够快速得到判断结果，实现促进及时采取医疗干预。
Description
技术领域
本发明属于人工智能和智能优化计算技术领域，尤其涉及一种基于多模态的被看护人员疼痛级别判定方法。
背景技术
在智慧医疗背景下，医疗看护也走向智能化。借助物联网、云计算、大数据等信息技术，可以全面、准确地收集到被看护人员实时状态数据并进行实时动态医疗干预，对我国精准看护工作的开展具有极其重要的意义。其中，能够清晰判定和优化被看护人员的人员状态级别是精准看护的关键，尤其是是对于疼痛级别的判定。由于疼痛状态因人而异，其核心问题，就是利用多种高效的方法去实现精准判定。
疼痛表情识别是判定被看护人员是否疼痛的有效方法，其方法是通过识别涉及疼痛变化的面部特征点的变化来判断，一般采取与疼痛表情变化编码相对照来获得。但对于疼痛的级别判定，一般没有有效的方法。由此，借助疼痛表情变化编码来进行疼痛的级别判定值得进行探索。表面肌电疼痛识别也是判定被看护人员是否疼痛的常用方法，其信号指标的选取必须同时具有代表性和广泛性，判定是否疼痛一般采取统计差别显著性判断的方法。对于如何判定疼痛级别，目前表面肌电疼痛识别方法也没有简单实用的方法。同样，借助统计差别显著性判断来进行疼痛的级别判定也值得进行进一步发现。
被看护人员的疼痛强度很多时候是一种主观的感受，避免这种主观差异，除了对以上方法的精准计算并综合判定外，建立一种简单有效的分级预警和加入复杂的或者侵入式的传感器也可以减少这种差异，这可以依据医疗条件适当加持。
发明内容
鉴于上述问题，本发明的目的在于提供一种基于多模态的被看护人员疼痛级别判定方法，旨在解决现有方法无法合理判定被看护人员疼痛级别而针对性进行医疗干预的技术问题。
本发明采用如下技术方案：
一方面，所述基于多模态的被看护人员疼痛级别判定方法，包括下述步骤：
步骤S1、建立疼痛面部表情矩阵，根据矩阵计算被看护人员的面部疼痛级别；
步骤S2、计算被看护人员的时域表面肌电疼痛级别和频域表面肌电疼痛级别，得到表面肌电综合疼痛级别；
步骤S3、混合所述面部疼痛级别和表面肌电综合疼痛级别，得到被看护人员的最终疼痛级别。
进一步的，所述方法还包括下述步骤：
步骤S4、根据所述面部疼痛级别、表面肌电综合疼痛级别和最终疼痛级别，进行疼痛预警。
另一方面，基于多模态的被看护人员疼痛级别测试装置，用于接收表面肌电数据和人脸识别数据，输出当前被看护人员的最终疼痛级别，所述测试装置包括：
面部疼痛测试模块，用于建立疼痛面部表情矩阵，根据矩阵以及输入的人脸识别数据计算被看护人员的面部疼痛级别；
肌电疼痛测试模块，用于根据输入的表面肌电数据计算被看护人员的时域表面肌电疼痛级别和频域表面肌电疼痛级别，得到表面肌电综合疼痛级别；
混合测试模块，用于混合所述面部疼痛级别和表面肌电综合疼痛级别，得到被看护人员的最终疼痛级别。
进一步的，所述测试装置还包括下述步骤：
疼痛预警模块，用于根据所述面部疼痛级别、表面肌电综合疼痛级别和最终疼痛级别，进行疼痛预警。
本发明的有益效果是：本发明综合考虑了面部表情识别和时域频域的表面肌电信号来判断被看护人员的最终疼痛级别，同时优选方案中还可以进一步进行疼痛预警；本发明的疼痛级别判断方式合理，能够快速得到判断结果，在后续开发中，还可以进一步获得易于可视化理解的预警方案，实现促进及时采取医疗干预。本发明方案能够为具有疼痛症状的被看护人员的辅助医疗，提供更为节省人力物力的策略，为智慧医疗以及AI精准看护提供一种新的可选方案，具有广泛应用前景。
附图说明
图1是本发明实施例提供的基于多模态的被看护人员疼痛级别判定方法的流程图；
图2是本发明实施例提供的基于多模态的被看护人员疼痛级别测试装置的原理框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
如图1所示，本实施例提供的基于多模态的被看护人员疼痛级别判定方法，包括下述步骤：
步骤S1、建立疼痛面部表情矩阵，根据矩阵计算被看护人员的面部疼痛级别。
人员的面部表情能够反应出疼痛程度，本步骤通过采样被看护人员的面部图像实现疼痛级别判定。具体过程如下：
S11、建立疼痛面部表情矩阵PAIN。
面部表情编码系统（FACS）可以对疼痛表情进行表达。疼痛的面部表情被定义为与疼痛刺激相关的面部肌肉的运动和扭曲, 面部运动可以由活动单元（AU）描述。本步骤利用FACS系统中将脸部涉及疼痛表达得部分（眉毛、脸颊、眼睛、鼻子、嘴）所展现的变化进行编码，编码以AU作为开头，可以通过观察表情由FACS编码的AU码表中查询表情相应的编码。
痛苦表情由4组AU编码的组合组成，其中包含6个AU编码，分别为AU4（眉毛降低），AU6（脸颊提升），AU7（眼睑收紧），AU9（皱鼻子），AU10（抬上唇），AU43（闭眼）。
具体4组分别为：（AU4，AU6，AU9，AU43）、（AU4，AU7，AU9，AU43）、（AU4，AU6，AU10，AU43）和（AU4 ，AU6，AU9，AU43）。
根据上述分组情况，疼痛面部表情可以表达为4*6矩阵PAIN如下：
；
矩阵有6列，每列为对应AU编码是否存在变化的情况，1表示存在变化，0表示不存在变化。
S12、根据疼痛面部表情矩阵PAIN判断被看护人员是否疼痛。
首先，根据疼痛面部表情矩阵PAIN计算关于疼痛的6个AU编码对象的权重，计算方式为1/6*1/4*（矩阵PAIN 6列中1的个数和），即得到权重；
假设人脸识别的图像采样表情识别分析中，得到这两个AU编码对象对应的值分别为A-F，得到关于疼痛的6个AU编码对象的位移矩阵；由于表情识别采用的深度学习方法是现有技术，这里不赘述。
计算各AU编码对象对应的面部疼痛值，其中，/>为点除，sum为求和；
如果面部疼痛值大于阈值ꞵ，则将当前AU编码对象的标记值赋值为1，否则为0，将6个AU编码对象的标记值与面部表情矩阵的四行进行比较，如果与其中一行一致，则认定当前被看护人员为疼痛。
比如设，以第一列编码对象AU4为例，如果第一列满足：
则将AU4的标记值赋值为1，表明该面部编码对象AU4存在变化。
同理，可以分别计算其它AU编码对象是否发生变化，大于阈值ꞵ，则认定有变化，否则认定无变化，相应赋值1或0。最后根据赋值结果与矩阵PAIN的四行进行比较，如果存在相同一行，则认定当前被看护人员为疼痛。
S13、根据各AU编码对象的面部疼痛值，计算被看护人员的面部疼痛级别。
在步骤S12中，每个AU编码对象都计算得到了一个面部疼痛值，步骤S12仅判断是否为疼痛表情，往往不能很好的为医疗等干预提供知道，判断出为疼痛表情后，还需要区分疼痛级别。具体过程如下：
S131、设置疼痛划分区间和综合判断阈值区间。
疼痛划分区间用于区分各AU编码对象的面部疼痛值所落入的范围，以确定轻度、中度和重度疼痛级别。综合判断阈值区间用于区分最后的面部疼痛级别。
S132、根据各AU编码对象的面部疼痛值所落入的疼痛划分区间，判定各AU编码对象的疼痛级别，包括不疼、轻度、中度、重度。
比如疼痛划分区间为（0，0.1，0.175，0.25），用于区分轻度、中度和重度疼痛。以第一列为例：
；
同理，也可以判断其它AU编码对象的疼痛级别。
S133、给每个疼痛级别设置权重，计算AU编码对象的综合疼痛值。
假设当前被看护人员计算得到的6个AU编码对象对应的面部疼痛值为，/>，即疼痛级别分别为（中度，重度，不疼，轻度，不疼，重度），符合PAIN第一行情况，属于疼痛表情。按照（0.5，0.3，0.1）给重度、中度和轻度赋权重。
则综合疼痛值Tp=0.5*2+0.3*1+0.1*1=1.4。
S134、根据综合疼痛值所落入的综合判断阈值区间，确定被看护人员的面部疼痛级别。
综合判断阈值区间，分为三段，对应轻度、中度、重度，1.4落入1.2-2.2之间，即可判断出当前被看护人员为重度疼痛。
步骤S2、计算被看护人员的时域表面肌电疼痛级别和频域表面肌电疼痛级别，得到表面肌电综合疼痛级别。
表面肌电 (Surface Electromyography，简称sEMG）是测量人体肌肉表面活动的一种非侵入式技术。通过放置电极在皮肤表面来测量肌肉收缩产生的电信号。表面肌电也能够反应出疼痛情况。本步骤通过时域和频域的表面肌电信号划分疼痛级别，然后得到表面肌电综合疼痛级别。具体过程如下：
S21、计算被看护人员的时域表面肌电疼痛级别：
S211、采集并计算确定无疼痛人群的平均肌电均方根值RMS正常以及方差值s。
表面肌电信号具体表现为肌电值，通过积分肌电值IEMG代表了一段肌电信号下的面积总和，单位为Vs，代表了这段时间内肌电值输出的加和量，计算方式为：
；
其中，表示采样间隔为/>，采样点数为N的其中第i信号的绝对值，总时间长度为N*∆t。
肌电均方根值RMS跟肌电信号的能量直接联系，常常被用于体现产生肌电的能量，计算方式为：
；
采集并计算一群确定无疼痛人群的平均肌电均方根值RMS正常，并得到其方差值s。
S212、采集并计算被看护人员的肌电均方根值RMS测试，被看护人员的时域表面肌电疼痛级别的判断方式如下：
；
其中，为计算方差值。
S22、计算被看护人员的频域表面肌电疼痛级别：
S221、采集并计算确定无疼痛人群的平均功率频率值MPF正常以及方差值s’。
功率频率MPF代表了肌电信号频谱的重心频率，即取一段数据，对数据做傅立叶变换即可获得相应频率范围的功率谱，通过使用奈奎斯特采样定理可知积分从零到采样频率的一半。
同理，采集并计算一群确定无疼痛人群平均功率频率值MPF正常，并得到其方差值s’。
S222、采集并计算被看护人员的功率频率值MPF测试，被看护人员的频域表面肌电疼痛级别的判断方式如下：
。
S23、根据时域和频域表面肌电疼痛级别，确定表面肌电综合疼痛级别：
时域和频域表面肌电疼痛级别均包括轻度、中度、重度，分别记为S轻度、S中度、S重度、P轻度、P重度、P重度，S表示时域，P表示频域。时域S和频域P表面肌电信号可以得到以下疼痛级别组合：
（S轻度 , P轻度）、（S轻度 , P中度）、（S轻度 , P重度）、（S中度 , P轻度）、（S中度 , P中度）、（S中度 ,P重度）、（S重度 , P轻度）、（S重度 , P中度）、（S重度 , P重度）。共9种情况，按照程度就轻以及跨级取中间级别原则，表面肌电综合疼痛级别确定方式如下：
如果时域和频域均为重度，则表面肌电综合疼痛级别为重度；
如果时域和频域有一个为轻度，另一个为非重度，或者两个都为轻度，则表面肌电综合疼痛级别为轻度；
其他情况下，表面肌电综合疼痛级别为中度。
即轻度：（S轻度 , P轻度）、（S轻度 , P中度）、（S中度 , P轻度）；
中度：（S轻度 , P重度）、（S中度 , P中度）、（S中度 , P重度）、（S重度 , P轻度）；
重度：（S重度 , P重度）。
步骤S3、混合所述面部疼痛级别和表面肌电综合疼痛级别，得到被看护人员的最终疼痛级别。
本步骤具体过程如下：
S31、根据各AU编码对象的疼痛级别建立面部判断矩阵L=[L1，L2，L3，L4，L5，L6]，其中各元素为各AU编码对象对应的疼痛级别。
在步骤S13中，已经计算出6个AU编码对象的面部疼痛值和对应的疼痛级别，包括不疼、轻度、中度、重度。分别用L1-L6表示。
S32、根据时域和频域表面肌电疼痛级别建立肌电判断矩阵SP=[SL，PL]，其中SL为时域表面肌电疼痛级别，PL为频域表面肌电疼痛级别。
在步骤S21、S22中，也分别计算出了时域和频域表面肌电疼痛级别，均包括轻度、中度、重度，时域和频域表面肌电疼痛级别分别记为SL和PL。
S33、根据所述面部判断矩阵和肌电判断矩阵，计算被看护人员的最终疼痛值T：
T=0.25*sum(L重度)+0.125*if(SL=重度)+0.125*if(PL=重度)+
0.15*sum(L中度)+0.075*if(SL=中度或重度)+0.075*if(PL=中度或重度)+
0.05*sum(L轻度)+0.025*if(SL=中度或轻度)+0.025*if(PL=中度或轻度)
其中，sum(L重度)、sum(L中度)和sum(L轻度)分别是计算L中重度、重度和轻度的数量；if(SL=·)和if(PL=·)分别是判断时域和频域表面肌电疼痛级别为三个级别的情况，符合则为1，否则为0；
S34、按照最终疼痛值T所落入的综合判断阈值区间，确定被看护人员的最终疼痛级别。
综合判断阈值区间与步骤S13的相同。根据最终疼痛值T可确定被看护人员的最终疼痛级别。
进一步作为一种优选方式，本实施例提供的基于多模态的被看护人员疼痛级别判定方法，还包括：
步骤S4、根据所述面部疼痛级别、表面肌电综合疼痛级别和最终疼痛级别，进行疼痛预警。
本步骤按照设定的采样频率，计算被看护人员面部疼痛级别、表面肌电综合疼痛级别和最终疼痛级别的变化曲线，根据三种级别的状态进行疼痛预警。变化曲线的横轴为离散采样时间，纵轴为不疼、轻度、中度和重度四个级别，三个疼痛级别对应的变化曲线是随着时间推移，不断在四个级别跳跃组成的一条线，可以可视化显示变化曲线。
疼痛预警的级别可自行设定，可分别为轻度1级、轻度2级、轻度3级、中度1级、中度2级、中度3级、重度1级、重度2级、重度3级共9种疼痛预警级别。比如三条变化曲线的级别中，记面部疼痛级别D1，表面肌电综合疼痛级别为D2，最终疼痛级别为D3。
如果D3是轻度，其中D1、D2均为轻度，则是轻度1级，D1、D2中有一个轻度，则是轻度2级，其他情况是轻度3级；
如果D3是中度，其中D1、D2中一个为轻度，另一个为轻度或中度，则是中度1级，D1、D2均是中度，则是中度2级，其他情况是中度3级；
如果D3是重度，其中D1、D2均不是重度，则是重度1级，D1、D2中有一个是重度，则是重度2级，D1、D2两个都是重度，则是重度3级。
另外，由于不同部位肌电正常值以及变化幅度区间存在差异，可以通过实验建立不同部位的肌电正常值和等级划分区间，对模型进行调整，以得到更精确的结果。此外，由于人体对疼痛具有适应性或疼痛部位较深，会导致人体对表面肌电疼痛反应不敏感。进一步本发明可以通过侵入式设备或者其它测试设备（如脑电信号测试仪）获取相关数据，对模型进行调整，以得到更精确的结果。
实施例二：
如图2所示，本实施例提供了一种基于多模态的被看护人员疼痛级别测试装置，用于接收表面肌电数据和人脸识别数据，输出当前被看护人员的最终疼痛级别，所述测试装置包括：
面部疼痛测试模块101，用于建立疼痛面部表情矩阵，根据矩阵以及输入的人脸识别数据计算被看护人员的面部疼痛级别；
肌电疼痛测试模块102，用于根据输入的表面肌电数据计算被看护人员的时域表面肌电疼痛级别和频域表面肌电疼痛级别，得到表面肌电综合疼痛级别；
混合测试模块103，用于混合所述面部疼痛级别和表面肌电综合疼痛级别，得到被看护人员的最终疼痛级别。
进一步的，所述测试装置还包括下述步骤：
疼痛预警模块104，用于根据所述面部疼痛级别、表面肌电综合疼痛级别和最终疼痛级别，进行疼痛预警。
本测试装置包含上述四个功能模块，分别用于计算面部疼痛级别、表面肌电综合疼痛级别、最终疼痛级别以及疼痛预警，对应实施例一中的步骤S1-S4的执行流程，具体过程这里不再赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于多模态的被看护人员疼痛级别判定方法，其特征在于，所述方法包括下述步骤：
步骤S1、建立疼痛面部表情矩阵，根据矩阵计算被看护人员的面部疼痛级别；
步骤S2、计算被看护人员的时域表面肌电疼痛级别和频域表面肌电疼痛级别，得到表面肌电综合疼痛级别；
步骤S3、混合所述面部疼痛级别和表面肌电综合疼痛级别，得到被看护人员的最终疼痛级别。
2.如权利要求1所述基于多模态的被看护人员疼痛级别判定方法，其特征在于，所述方法还包括下述步骤：
步骤S4、根据所述面部疼痛级别、表面肌电综合疼痛级别和最终疼痛级别，进行疼痛预警。
3.如权利要求2所述基于多模态的被看护人员疼痛级别判定方法，所述步骤S1具体过程如下：
S11、建立疼痛面部表情矩阵PAIN：
；
S12、根据疼痛面部表情矩阵PAIN判断被看护人员是否疼痛：
根据疼痛面部表情矩阵PAIN计算关于疼痛的6个AU编码对象的权重；
记关于疼痛的6个AU编码对象的位移矩阵；
计算各AU编码对象对应的面部疼痛值，其中，/>为点除，sum为求和；
如果面部疼痛值大于阈值ꞵ，则将当前AU编码对象的标记值赋值为1，否则为0，将6个AU编码对象的标记值与面部表情矩阵的四行进行比较，如果与其中一行一致，则认定当前被看护人员为疼痛；
S13、根据各AU编码对象的面部疼痛值，计算被看护人员的面部疼痛级别：
设置疼痛划分区间和综合判断阈值区间；
根据各AU编码对象的面部疼痛值所落入的疼痛划分区间，判定各AU编码对象的疼痛级别，包括不疼、轻度、中度、重度；
给每个疼痛级别设置权重，计算AU编码对象的综合疼痛值；
根据综合疼痛值所落入的综合判断阈值区间，确定被看护人员的面部疼痛级别。
4.如权利要求3所述基于多模态的被看护人员疼痛级别判定方法，所述步骤S2具体过程如下：
S21、计算被看护人员的时域表面肌电疼痛级别：
采集并计算确定无疼痛人群的平均肌电均方根值RMS正常以及方差值s；
采集并计算被看护人员的肌电均方根值RMS测试，被看护人员的时域表面肌电疼痛级别的判断方式如下：
；
其中，为计算方差值；
S22、计算被看护人员的频域表面肌电疼痛级别：
采集并计算确定无疼痛人群的平均功率频率值MPF正常以及方差值s’；
采集并计算被看护人员的功率频率值MPF测试，被看护人员的频域表面肌电疼痛级别的判断方式如下：
；
S23、根据时域和频域表面肌电疼痛级别，确定表面肌电综合疼痛级别：
时域和频域表面肌电疼痛级别均包括轻度、中度、重度，表面肌电综合疼痛级别确定方式如下：
如果时域和频域均为重度，则表面肌电综合疼痛级别为重度；
如果时域和频域有一个为轻度，另一个为非重度，或者两个都为轻度，则表面肌电综合疼痛级别为轻度；
其他情况下，表面肌电综合疼痛级别为中度。
5.如权利要求4所述基于多模态的被看护人员疼痛级别判定方法，所述步骤S3具体过程如下：
S31、根据各AU编码对象的疼痛级别建立面部判断矩阵L=[L1，L2，L3，L4，L5，L6]，其中各元素为各AU编码对象对应的疼痛级别；
S32、根据时域和频域表面肌电疼痛级别建立肌电判断矩阵SP=[SL，PL]，其中SL为时域表面肌电疼痛级别，PL为频域表面肌电疼痛级别；
S33、根据所述面部判断矩阵和肌电判断矩阵，计算被看护人员的最终疼痛值T：
T=0.25*sum(L重度)+0.125*if(SL=重度)+0.125*if(PL=重度)+
0.15*sum(L中度)+0.075*if(SL=中度或重度)+0.075*if(PL=中度或重度)+
0.05*sum(L轻度)+0.025*if(SL=中度或轻度)+0.025*if(PL=中度或轻度)
其中，sum(L重度)、sum(L中度)和sum(L轻度)分别是计算L中重度、重度和轻度的数量；if(SL=·)和if(PL=·)分别是判断时域和频域表面肌电疼痛级别为三个级别的情况，符合则为1，否则为0；
S34、按照最终疼痛值T所落入的综合判断阈值区间，确定被看护人员的最终疼痛级别。
6.一种基于多模态的被看护人员疼痛级别测试装置，其特征在于，所述测试装置用于接收表面肌电数据和人脸识别数据，输出当前被看护人员的最终疼痛级别，所述测试装置包括：
面部疼痛测试模块，用于建立疼痛面部表情矩阵，根据矩阵以及输入的人脸识别数据计算被看护人员的面部疼痛级别；
肌电疼痛测试模块，用于根据输入的表面肌电数据计算被看护人员的时域表面肌电疼痛级别和频域表面肌电疼痛级别，得到表面肌电综合疼痛级别；
混合测试模块，用于混合所述面部疼痛级别和表面肌电综合疼痛级别，得到被看护人员的最终疼痛级别。
7.如权利要求6所述基于多模态的被看护人员疼痛级别测试装置，其特征在于，所述测试装置还包括下述步骤：
疼痛预警模块，用于根据所述面部疼痛级别、表面肌电综合疼痛级别和最终疼痛级别，进行疼痛预警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410128917.3A CN117653042B (zh) | 2024-01-31 | 2024-01-31 | 基于多模态的被看护人员疼痛级别判定方法及测试装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410128917.3A CN117653042B (zh) | 2024-01-31 | 2024-01-31 | 基于多模态的被看护人员疼痛级别判定方法及测试装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117653042A true CN117653042A (zh) | 2024-03-08 |
| CN117653042B CN117653042B (zh) | 2024-04-26 |
Family
ID=90079188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410128917.3A Active CN117653042B (zh) | 2024-01-31 | 2024-01-31 | 基于多模态的被看护人员疼痛级别判定方法及测试装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117653042B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140276549A1 (en) * | 2013-03-15 | 2014-09-18 | Flint Hills Scientific, L.L.C. | Method, apparatus and system for automatic treatment of pain |
| CN107491740A (zh) * | 2017-07-28 | 2017-12-19 | 北京科技大学 | 一种基于面部表情分析的新生儿疼痛识别方法 |
| US20190294868A1 (en) * | 2016-06-01 | 2019-09-26 | Ohio State Innovation Foundation | System and method for recognition and annotation of facial expressions |
| US20190313966A1 (en) * | 2018-04-11 | 2019-10-17 | Somniferum Labs LLC | Pain level determination method, apparatus, and system |
| US20190343457A1 (en) * | 2018-05-08 | 2019-11-14 | The Regents Of The University Of California | Pain assessment method and apparatus for patients unable to self-report pain |
| US20200219295A1 (en) * | 2010-06-07 | 2020-07-09 | Affectiva, Inc. | Emoji manipulation using machine learning |
| CN113743389A (zh) * | 2021-11-08 | 2021-12-03 | 武汉烽火信息集成技术有限公司 | 一种面部表情识别的方法、装置和电子设备 |
| CN114469009A (zh) * | 2022-03-18 | 2022-05-13 | 电子科技大学 | 一种面部疼痛表情分级评估方法 |
| CN115040726A (zh) * | 2022-06-21 | 2022-09-13 | 西安理工大学 | 考虑痛感的机器人静脉穿刺方法 |
| CN115578773A (zh) * | 2022-10-27 | 2023-01-06 | 国网天津市电力公司 | 一种基于焦点损失Focal Loss的面部运动单元检测方法 |
| CN115909438A (zh) * | 2022-10-25 | 2023-04-04 | 复旦大学附属中山医院 | 基于深度时空域卷积神经网络的疼痛表情识别系统 |
| CN116229554A (zh) * | 2023-03-14 | 2023-06-06 | 思腾合力(天津)科技有限公司 | 基于用户牙齿的身份认证方法 |
| CN116313103A (zh) * | 2022-12-05 | 2023-06-23 | 安徽科荣物联网科技有限公司 | 疼痛识别模型的训练方法、疼痛识别方法、装置和介质 |
| CN117281479A (zh) * | 2023-10-18 | 2023-12-26 | 广东工业大学 | 一种基于表面肌电信号多维度特征融合的人体下肢慢性疼痛判别方法、存储介质及装置 |
-
2024
- 2024-01-31 CN CN202410128917.3A patent/CN117653042B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200219295A1 (en) * | 2010-06-07 | 2020-07-09 | Affectiva, Inc. | Emoji manipulation using machine learning |
| US20140276549A1 (en) * | 2013-03-15 | 2014-09-18 | Flint Hills Scientific, L.L.C. | Method, apparatus and system for automatic treatment of pain |
| US20190294868A1 (en) * | 2016-06-01 | 2019-09-26 | Ohio State Innovation Foundation | System and method for recognition and annotation of facial expressions |
| CN107491740A (zh) * | 2017-07-28 | 2017-12-19 | 北京科技大学 | 一种基于面部表情分析的新生儿疼痛识别方法 |
| US20190313966A1 (en) * | 2018-04-11 | 2019-10-17 | Somniferum Labs LLC | Pain level determination method, apparatus, and system |
| US20190343457A1 (en) * | 2018-05-08 | 2019-11-14 | The Regents Of The University Of California | Pain assessment method and apparatus for patients unable to self-report pain |
| CN113743389A (zh) * | 2021-11-08 | 2021-12-03 | 武汉烽火信息集成技术有限公司 | 一种面部表情识别的方法、装置和电子设备 |
| CN114469009A (zh) * | 2022-03-18 | 2022-05-13 | 电子科技大学 | 一种面部疼痛表情分级评估方法 |
| CN115040726A (zh) * | 2022-06-21 | 2022-09-13 | 西安理工大学 | 考虑痛感的机器人静脉穿刺方法 |
| CN115909438A (zh) * | 2022-10-25 | 2023-04-04 | 复旦大学附属中山医院 | 基于深度时空域卷积神经网络的疼痛表情识别系统 |
| CN115578773A (zh) * | 2022-10-27 | 2023-01-06 | 国网天津市电力公司 | 一种基于焦点损失Focal Loss的面部运动单元检测方法 |
| CN116313103A (zh) * | 2022-12-05 | 2023-06-23 | 安徽科荣物联网科技有限公司 | 疼痛识别模型的训练方法、疼痛识别方法、装置和介质 |
| CN116229554A (zh) * | 2023-03-14 | 2023-06-06 | 思腾合力(天津)科技有限公司 | 基于用户牙齿的身份认证方法 |
| CN117281479A (zh) * | 2023-10-18 | 2023-12-26 | 广东工业大学 | 一种基于表面肌电信号多维度特征融合的人体下肢慢性疼痛判别方法、存储介质及装置 |
Non-Patent Citations (3)
| Title |
|---|
| XIAOJING XU, VIRGINIA R.DE SA: "Exploring Multidimensional Measurements for Pain Evaluation using Facial Action Units", IEEE, 20 November 2020 (2020-11-20), pages 786 - 792, XP033880088, DOI: 10.1109/FG47880.2020.00087 * |
| 支瑞聪, 周才霞: "疼痛自动识别综述", 计算机系统应用, vol. 29, no. 2, 16 January 2020 (2020-01-16), pages 9 - 27 * |
| 沈俊强: "基于知识蒸馏的动态表情识别", 信息科技, 20 October 2023 (2023-10-20), pages 1 - 71 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117653042B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100482155C (zh) | 基于脑机交互的注意力状态即时检测系统及检测方法 | |
| CN105877766A (zh) | 一种基于多生理信号融合的精神状态检测系统及方法 | |
| CN204931634U (zh) | 基于生理信息的抑郁症评估系统 | |
| Djamal et al. | Identification of post-stroke EEG signal using wavelet and convolutional neural networks | |
| CN114246589B (zh) | 记忆认知能力测评方法及系统 | |
| CN113499035B (zh) | 一种基于置信区间融合阈值判据的疼痛识别系统 | |
| CN106730766A (zh) | 一种基于心率数据的成人运动负荷的评价方法 | |
| KR20140041382A (ko) | 생물체의 정신생리학적 상태에 관한 정보 획득방법 | |
| CN104545906A (zh) | 基于表面肌电的面瘫患者针灸疗效检测可视化系统及方法 | |
| CN104887198A (zh) | 基于人体生理信号多参数融合的疼痛定量分析系统及方法 | |
| CN116250820A (zh) | 基于耳穴的生物电测健康预警系统及其预警方法 | |
| CN118044813B (zh) | 基于多任务学习的心理健康状况评估方法及系统 | |
| CN115399771A (zh) | 一种新型的基于脑电信号的人员专注程度检测方法及系统 | |
| Feng et al. | Predicting physical fatigue in athletes in rope skipping training using ECG signals | |
| Du et al. | Non-interference driving fatigue detection system based on intelligent steering wheel | |
| CN117653042B (zh) | 基于多模态的被看护人员疼痛级别判定方法及测试装置 | |
| CN117133404A (zh) | 一种针对胸廓出口综合征的智能化康复护理装置 | |
| Ji et al. | Self-maintenance and automatic identification of the fatigue status of the human body based on internet of things technology | |
| CN114983434A (zh) | 一种基于多模态脑功能信号识别的系统及方法 | |
| CN114176532A (zh) | 一种测定cfPWV参数的临床验证方法及其应用系统 | |
| CN112656430A (zh) | 基于站立位失衡诱发脑电的卒中平衡康复评估方法 | |
| CN110974222A (zh) | 一种基于听觉诱发信号进行麻醉深度监测的装置 | |
| Caesaria et al. | Effect of Muscle Fatigue on EMG Signal and Maximum Heart Rate for Pre and Post Physical Activity | |
| Wahab et al. | Analysis and classification of forearm muscles activities during gripping using EMG signals | |
| CN212415731U (zh) | 一种手部运动功能评估装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |