CN117976217A - 一种疼痛评估方法、装置及终端 - Google Patents
一种疼痛评估方法、装置及终端 Download PDFInfo
- Publication number
- CN117976217A CN117976217A CN202410184319.8A CN202410184319A CN117976217A CN 117976217 A CN117976217 A CN 117976217A CN 202410184319 A CN202410184319 A CN 202410184319A CN 117976217 A CN117976217 A CN 117976217A
- Authority
- CN
- China
- Prior art keywords
- pain
- frame image
- sequence
- inputting
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000002193 Pain Diseases 0.000 title claims abstract description 182
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000013598 vector Substances 0.000 claims abstract description 127
- 230000001815 facial effect Effects 0.000 claims abstract description 40
- 230000004927 fusion Effects 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000005520 cutting process Methods 0.000 claims abstract description 9
- 210000003414 extremity Anatomy 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 238000001228 spectrum Methods 0.000 claims description 10
- 210000001364 upper extremity Anatomy 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 241000282414 Homo sapiens Species 0.000 claims description 6
- 206010039740 Screaming Diseases 0.000 claims description 6
- 238000013210 evaluation model Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 230000014509 gene expression Effects 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 208000028399 Critical Illness Diseases 0.000 description 2
- 206010016059 Facial pain Diseases 0.000 description 2
- 206010036790 Productive cough Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000002779 inactivation Effects 0.000 description 2
- 238000005399 mechanical ventilation Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000003802 sputum Anatomy 0.000 description 2
- 208000024794 sputum Diseases 0.000 description 2
- 210000004243 sweat Anatomy 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010012218 Delirium Diseases 0.000 description 1
- 208000000059 Dyspnea Diseases 0.000 description 1
- 206010013975 Dyspnoeas Diseases 0.000 description 1
- 206010062016 Immunosuppression Diseases 0.000 description 1
- 208000001871 Tachycardia Diseases 0.000 description 1
- 206010046555 Urinary retention Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 229940035676 analgesics Drugs 0.000 description 1
- 239000000730 antalgic agent Substances 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 150000003943 catecholamines Chemical class 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 208000011316 hemodynamic instability Diseases 0.000 description 1
- 230000001506 immunosuppresive effect Effects 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 230000037323 metabolic rate Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000008058 pain sensation Effects 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 239000000932 sedative agent Substances 0.000 description 1
- 230000001624 sedative effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 208000013220 shortness of breath Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 230000006794 tachycardia Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及医疗技术领域，提供了一种疼痛评估方法、装置及终端，该方法包括：对患者视频进行分离，获得音频信息和帧图像信息；对音频信息进行分析获得音频信息的音频类型；获取每个帧图像中与疼痛相关的人脸关键点区域，按预设规则裁剪后，输入组内注意力模型和卷积网络获得每个帧图像对应的面部特征向量；通过肢体检测模型获得每个帧图像中预设肢体关键点的图像坐标，以获得每个帧图像对应的姿态特征向量；将每个帧图像对应的融合向量进行加权求和获得序列特征向量，并将序列特征向量输入组间注意力模型得到疼痛序列特征；将疼痛序列特征根据音频类型进行加权后输入疼痛评估模型获得疼痛值。通过本申请实现疼痛评估的实时性和可靠性。
Description
技术领域
本申请涉及医疗技术领域，尤其涉及一种疼痛评估方法、装置及终端。
背景技术
疼痛是重症监护病房患者首应被解决的症状之一，文献报道70％的重症患者处于中/重度疼痛之中。未被及时治疗的疼痛会对危重患者产生严重的负面影响，疼痛引起的儿茶酚胺释放增加、免疫抑制、代谢率的增加等机制，导致临床危重患者血流动力学不稳定(血压升高、心动过速)、呼吸急促、谵妄、尿潴留等严重临床后果。客观有效的疼痛评估，是精准滴定镇痛药物及镇静药物剂量的前提，有助于缩短患者机械通气时间、减少其并发症，从而减少住院时间等。
重症监护病房中的疼痛评估方法主要包括自我评估及行为评估两类。对于能够可靠沟通(如通过口头、书面、交流板或点头和摇头等手势)的重症患者可以使用自我评估量表进行疼痛评估，推荐使用0-10数字评定量表(Numeric Rating Scale,NRS)。在不能沟通或不能自我报告疼痛的危重患者中常使用行为评估工具，推荐使用重症疼痛观察工具(Critical-Care Pain Observation Tool,CPOT)。
在临床中，人为疼痛的评估和管理存在一定的局限性。首先，医护对危重症患者疼痛评估及管理的知识水平差异及积极性差异导致评估的准确性存在偏差。其次，ICU工作强度大，护理人力资源缺乏，准确的疼痛评估将带给医护很大的工作量。第三，良好的疼痛管理有赖于治疗前后反复动态的评估，而限于工作量，医护很难做到随时进行评估，临床多采取按照一定时间间隔进行评估的方案。因此,对疼痛自动识别系统的需求日益加大。
经过医学研究表明，痛觉和自主控制的神经结构之间广泛的相互作用导致交感神经外流增加，导致汗液排出到皮肤表面的毛孔中，汗液的分泌改变了皮肤的电特性；心血管变化，影响心率；疼痛处理涉及到大脑皮层区域的复杂网络，影响这些区域的电和代谢活动，所以目前也有很多研究使用EEG、ECG、EDA等生理特征去进行疼痛评估。如PhilippWerner基于BioVid热痛数据创建了一个多模态的疼痛视频监测系统。他从RGB视频中提取受试者的面部特征点变化信息；从深度图中提取的头部运动特征；然后将生物医学信号(即ECG、GSR、EMG)进行滤波处理，分别计算其信号的平均值，均方根、二次平均值和线性回归的斜率等序列特征。最后利用早期融合模型，即将不同模态的特征向量连接起来，进行标准化后被传递给分类器。
但是，对于ICU患者，上述使用EEG、ECG、EDA等生理特征去进行疼痛评估并不适用，因为ICU临床中患者大多为老年人，其面部布满皱纹，且存在气管插管，这对面部特征提取提出了很高的要求，因此现有技术的疼痛评估方法并不适用于ICU患者。
发明内容
有鉴于此，本申请实施例提供一种疼痛评估方法、装置及终端，可以实现疼痛评估的实时性和可靠性。
第一方面，本申请实施例提供一种疼痛评估方法，包括：
对患者视频进行分离，获得音频信息和帧图像信息；
对所述音频信息进行分析获得所述音频信息的音频类型；
获取每个所述帧图像中与疼痛相关的人脸关键点区域，并根据预设规则裁剪后，输入组内注意力模型和卷积网络获得每个所述帧图像对应的面部特征向量；
通过肢体检测模型获得每个所述帧图像中预设肢体关键点的图像坐标，并根据每个所述帧图像中预设肢体关键点的图像坐标获得每个所述帧图像对应的姿态特征向量；
将每个所述帧图像对应的融合向量进行加权求和，获得序列特征向量，并将所述序列特征向量输入组间注意力模型得到疼痛序列特征；
将所述疼痛序列特征根据所述音频类型进行加权后输入疼痛评估模型，获得疼痛值。
在一些实施例中，所述对所述音频信息进行分析获得所述音频信息的音频类型包括：
将所述音频信息通过音频处理软件，获得所述音频信息的梅尔频谱；
将所述梅尔频谱通过音频分类网络，获得所述音频信息的音频类型；
其中，所述音频类型包括正常腔调说话、叹息和尖叫。
在一些实施例中，所述获取每个所述帧图像中与疼痛相关的人脸关键点区域，并根据预设规则裁剪后，输入组内注意力模型和卷积网络获得每个所述帧图像对应的面部特征向量包括：
对每个所述帧图像通过人脸检测模型获取每个所述帧图像的人脸关键点；
识别与疼痛相关的运动单元对应的人脸关键点区域，并获取每个所述人脸关键点区域的面部地标坐标；
以每个所述人脸关键点区域的中心坐标为中心点对当前所述人脸关键点区域裁剪为预设方块区域；
将每个所述预设方块区域输入至组内注意力模型，获得每个所述方块区域的注意力值，并将每个所述预设方块区域输入至卷积网络中，获取每个所述预设方块区域的纹理特征；
将每个所述预设方块区域的注意力值和纹理特征相乘，得到每个所述预设方块区域的最终特征矩阵；
所述最终特征矩阵输入至所述组内注意力模型的全连接层获得所述面部特征向量。
在一些实施例中，所述组内注意力模型包括预训练的ResNet-50的特征提取层和全连接层；
所述卷积网络为VGG-face网络。
在一些实施例中，所述通过肢体检测模型获得每个所述帧图像中预设肢体关键点的图像坐标，并根据每个所述帧图像中预设肢体关键点的图像坐标获得每个所述帧图像对应的姿态特征向量包括：
通过肢体检测模型获取每个所述帧图像中人体上肢的肢体关键点图像坐标；
将所述上肢的肢体关键点图像坐标输入至全连接层多层感知机，获得每个所述帧图像对应的姿态特征向量。
在一些实施例中，所述组间注意力模型包括多头自注意模块、归一化模块和多层感知机模块；
所述将每个所述帧图像对应的融合向量进行加权求和，获得序列特征向量，并将所述序列特征向量输入组间注意力模型得到疼痛序列特征包括：
对所有融合向量根据帧顺序进行排序，按照排序将每个所述融合向量输入至所述多头自注意模块，以将每个所述融合向量进行线性化后获得注意力权重值；其中，每个所述帧图像对应的所述融合向量为对每个所述帧图像对应的所述面部特征向量和所述姿态特征向量进行融合操作获得；
将所有所述融合向量线性化后的值与对应的注意力权重值相乘，获得序列特征向量；
将所述序列特征向量输入所述归一化模块进行归一化处理后，输入所述多层感知机模块，获得疼痛序列特征。
在一些实施例中，所述将每个所述融合向量进行线性化后获得注意力权重值包括：
所述多头自注意模块将每个所述融合向量进行线性变换后，获得查询向量、关键向量和数值向量；
根据所述查询向量、所述关键向量和所述数值向量计算获得所述注意力权重值；
所述将所有所述融合向量线性化后的值与对应的注意力权重值相乘，获得序列特征向量包括：
将所有所述数值向量与对应的注意力权重值相乘，获得所述序列特征向量。
在一些实施例中，所述疼痛评估模型包括全连接层，ReLU层，Dropout层和输出层；
所述将所述疼痛序列特征根据所述音频类型进行加权后输入疼痛评估模型，获得疼痛值包括：
将所述疼痛序列特征根据所述音频类型进行加权后输入所述疼痛评估模型的全连接层，在所述疼痛评估模型的全连接层中根据任务类型获取对应特征，并传递给所述ReLU层；
通过所述ReLU层提高所述对应特征的表达能力后，传输至所述Dropout层，使所述对应特征达到正则化效果后，传输至所述输出层；
在所述输出层，根据任务类型采用对应函数获得对应疼痛值。
第二方面，本申请实施例提供一种疼痛评估装置，包括：
视频分离模块，用于对患者视频进行分离，获得音频信息和帧图像信息；
音频信息分析模块，用于对所述音频信息进行分析获得所述音频信息的音频类型；
面部特征向量获取模块，用于获取每个所述帧图像的与疼痛相关的人脸关键点区域并根据预设规则裁剪后，输入组内注意力模型和卷积网络获得每个所述帧图像对应的面部特征向量；
姿态特征向量获取模块，用于将通过肢体检测模型获得每个所述帧图像中预设肢体关键点的图像坐标，并根据每个所述帧图像中预设肢体关键点的图像坐标获得每个所述帧图像对应的姿态特征向量；
疼痛序列特征获取模块，用于将每个所述帧图像对应的融合向量进行加权求和，获得序列特征向量，并将所述序列特征向量输入组间注意力模型得到疼痛序列特征；
疼痛值获取模块，用于将所述疼痛序列特征根据所述音频类型进行加权后输入疼痛评估模型，获得疼痛值。
第三方面，本申请实施例提供一种终端设备，所述终端设备包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施上述的疼痛评估方法。
本申请的实施例具有如下有益效果：本申请的疼痛评估时，结合了患者的声音、面部表情和肢体运动，同时本申请采用了组内注意力可以更好的学习面部疼痛相关区域的变化情况，在序列特征判别时，将Transformer组间注意力机制引入疼痛识别中，可以更好的学习不同帧之间的相关性，即本申请采用面部组内注意力和序列组间注意力的双重注意力机制，更加有效提取视频的疼痛鲁棒性特征，提高疼痛识别的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例的疼痛评估系统的框架示意图；
图2示出了本申请实施例的疼痛评估方法的第一流程示意图；
图3示出了本申请实施例的音频分类网络示意图；
图4示出了本申请实施例的疼痛评估方法的第二流程示意图；
图5示出了本申请实施例的纹理特征示意图；
图6示出了本申请实施例的上肢肢体的示意图；
图7示出了本申请实施例的疼痛评估方法的第三流程示意图；
图8示出了本申请实施例的疼痛评估装置的一种结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在下文中，可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请的各种实施例中被清楚地限定。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互结合。
对于重症监护病房的患者，疼痛指标是一项重要的解决症状的指标，但是目前对于疼痛指标的评估，通常采用自我评估和行为评估两种方式，由于自我感知的问题及医护人员对于疼痛行为的理解差异，导致疼痛评估具有很大的主观性，不能准确的确定患者的疼痛值。基于此，本申请提出一种主要应用与重症监护病房患者的疼痛评估方法、装置及终端，以实现疼痛评估的实时性和可靠性。
图1示出了本申请疼痛评估系统的框架示意图。
由于本申请主要应用于重症监护室的患者，临床中，ICU患者很少有佩戴脑电和皮电设备，因此其脑电和皮电信号很难获取，基于生理信号的有效生理信息只有上述的心电信号，因此其有效性会大大降低。本申请不需要通过脑电和皮电等获取信息，仅需一个内置语音功能的摄像头即可实现疼痛自主评估，无其他复杂的生理信息的提取处理功能，来提高疼痛评估的实时性和可靠性。
如图1所示的疼痛评估系统可知，本申请首相将患者的当前视频作为输入，将音频信息和视频信息进行分离。本申请从音频信息中获取患者的语音信息，将其分类成正常腔调说话、叹息、尖叫；同时从视频信息中进行人脸检测和姿态识别，提取其对应的特征；最后将三者特征进行融合，输入到Transformer组间注意力模块学习不同帧之间的关系，最后输出特征到特征评估模块进行疼痛评估。
下面结合一些具体的实施例来对该疼痛评估方法进行说明。
图2示出了本申请实施例的疼痛评估方法的一种流程示意图。示范性地，该疼痛评估方法包括以下步骤：
步骤S100，对患者视频进行分离，获得音频信息和帧图像信息。
本申请通过一个带语音的摄像头对患者间隔预设时间或在需要时，录制预设时长的视频，获取到录制的患者视频后，将患者视频进行分离操作，即将患者视频中的音频信息和帧图像信息分离开来，其中音频信息只包括患者的声音信息，帧图像即将患者视频中的每帧转化为一个图像。
步骤S200，对所述音频信息进行分析获得所述音频信息的音频类型。
本步骤中，对音频信息进行分析，提取音频信息中的基本特征，以判别音频信息中的音频类型是正常腔调说话、叹息还是尖叫。
在一具体实施方式中，步骤S200包括：将所述音频信息通过音频处理软件，获得所述音频信息的梅尔频谱；将所述梅尔频谱通过音频分类网络，获得所述音频信息的音频类型。
具体地，本申请将分离出的音频信息采用librosa得到该音频的梅尔频谱(MelSpectrogram)，即获得了音频的基本特征，然后将获得的梅尔频谱输入到音频分类网络中判别其是正常腔调说话、叹息还是尖叫。如图3所示，本申请中采用的音频分类网络是包括输入层、隐藏层和输出层的全连接网络，在对梅尔频谱进行判别时，将梅尔频谱作为输入，输出层输出正常腔调说话、叹息和尖叫的每种情况的概率，将输出概率最大的音频类型为最终的音频类型。
步骤S300，获取每个所述帧图像中与疼痛相关的人脸关键点区域，并根据预设规则裁剪后，输入组内注意力模型和卷积网络获得每个所述帧图像对应的面部特征向量。
面部特征是被证明用来传递疼痛的重要方式之一，根据人脸的解剖学特点，可以将人脸划分成若干既相互独立又相互联系的运动单元(AU)。他们分析了这些运动单元的运动特征及其所控制的主要区域以及与之相关的表情。根据这些运动单元，学者们最终证实了降低眉毛(AU4)、眼眶收紧(AU6和AU7)、提肌收缩(AU9和AU10)和闭眼(AU43)这六种人脸活动单元(下面称之为疼痛运动单元)携带了关于疼痛的信息，因此本申请中对面部特征向量的获取基于这六种疼痛运动单元获取。
在一具体实施方式中，如图4所示，步骤S300包括：
步骤S310，对每个所述帧图像通过人脸检测模型获取每个所述帧图像的人脸关键点。
本申请中，通过将每个所述帧图像输入Mediapipe人脸检测模型进行人脸识别和人脸关键点检测，以获得每个所述帧图像中的人脸关键点。其中，该人脸检测模型可以实时估计468个3D面部地标。
步骤S320，识别与疼痛相关的运动单元对应的人脸关键点区域，并获取每个所述人脸关键点区域的面部地标坐标。
本步骤在步骤S310中获取了人脸关键点后，首先识别与上述六种疼痛运动单元相关人脸关键点区域，然后找到每个人脸关键点区域的面部地标坐标。
步骤S330，以每个所述人脸关键点区域的中心坐标为中心点对当前所述人脸关键点区域裁剪为预设方块区域。
步骤S330中裁剪的预设方块区域可以是分辨率为6ⅹ6的方块区域、分辨率为7ⅹ7的方块区域或分辨率为8ⅹ8的方块区域，也可以是其他适合大小的方块区域，在此不做具体的限定，可以根据实际需要确定方块区域的大小。优选的，可以根据步骤S340中使用的卷积网络来确定方块区域的大小，若卷积网络为7ⅹ7的卷积网络，则预设方块区域优选的为7ⅹ7的方块区域。
步骤S340，将每个所述预设方块区域输入至组内注意力模型，获得每个所述方块区域的注意力值，并将每个所述预设方块区域输入至卷积网络中，获取每个所述预设方块区域的纹理特征。
本步骤中，所述组内注意力模型包括预训练的ResNet-50的特征提取层和全连接层；所述卷积网络为VGG-face网络。本步骤中将每个所述预设方块区域输入至组内注意力模型的特征提取层，进行特征提取，然后将提取的特征输入全连接层，全连接层输出每个所述方块区域的注意力值，其中注意力值为[0，1]的值。本步骤中还需将每个所述预设方块区域输入至卷积网络中，用于提取每个区域的纹理特征，图5示出了一个纹理特征示意图，如图5所示，卷积网络提取的纹理特征即提取面部和疼痛相关的梯度变化。
步骤S350，将每个所述预设方块区域的注意力值和纹理特征相乘，得到每个所述预设方块区域的最终特征矩阵。
本步骤中，将每个所述预设方块区域的注意力值和纹理特征相乘，可以获得每个区域对应的[1,128]最终特征矩阵。
步骤S360，所述最终特征矩阵输入至所述组内注意力模型的全连接层，获得所述面部特征向量。
本步骤中，通过全连接层压缩后获得预设维度的面部特征向量，本申请中面部特征向量的维度为128维度。
步骤S400，通过肢体检测模型获得每个所述帧图像中预设肢体关键点的图像坐标，并根据每个所述帧图像中预设肢体关键点的图像坐标获得每个所述帧图像对应的姿态特征向量。
本步骤中，采用Mediapipe肢体检测模型获取每个帧图像的上肢肢体关键点的图像坐标，然后根据每个所述帧图像中上肢肢体关键点的图像坐标获得每个所述帧图像对应的姿态特征向量。
在一具体实施方式中，本步骤包括：通过肢体检测模型获取每个所述帧图像中人体上肢的肢体关键点图像坐标；将所述上肢的肢体关键点图像坐标输入至全连接层多层感知机，获得每个所述帧图像对应的姿态特征向量。
具体地，由于在重症监护室中，患者的下半身通常被被褥遮挡，因此本申请中只获取上肢肢体的12个关键点的图像坐标，其中，12个关键点如图6中灰色框中关键点(即图中11、12、13、14、15、16、17、18、19、20、21、22)。本步骤中将这12个关键点的图像坐标输入至全连接层多层感知机进行升维后，获得每个所述帧图像对应的128维度的姿态特征向量。
步骤S500，将每个所述帧图像对应的融合向量进行加权求和，获得序列特征向量，并将所述序列特征向量输入组间注意力模型得到疼痛序列特征。
其中，每个所述帧图像对应的所述融合向量为对每个所述帧图像对应的所述面部特征向量和所述姿态特征向量进行垂直拼接获得。
注意力是人类认知功能的重要组成部分，当面对海量的信息时，人类可以在关注一些信息的同时，忽略另一些信息，当使用神经网络来处理大量的输入信息时，也可以借鉴人脑的注意力机制，只选择一些关键的信息输入进行处理，来提高神经网络的效率。为了探索不同帧特征之间的丰富关系，本申请引入了Transformer组间注意力模型，其中，所述组间注意力模型包括多头自注意模块(MSA)、归一化模块(Add&Norm)和多层感知机模块(MLP)。
在一具体实施方式中，如图7所示，步骤S500包括：
步骤S510，对所有融合向量根据帧顺序进行排序，按照排序将每个所述融合向量输入至所述多头自注意模块，以将每个所述融合向量进行线性化后获得注意力权重值。
步骤S520，将所有所述融合向量线性化后的值与对应的注意力权重值相乘，获得所述序列特征向量。
步骤S530，将所述序列特征向量输入归一化模块进行归一化处理后，输入多层感知机模块，获得所述疼痛序列特征。
具体地，本申请中根据患者视频的帧顺序对所有融合向量进行排序，按照顺序将每一帧的融合向量作为输入值x输入至多头自注意模块，多头自注意模块将融合向量x线性变化为查询向量Q、关键向量K和数值向量V，然后根据公式1计算得到注意力权重值，其中公式1为：
其中，公式1中T、d为超参数。
然后对所有所述数值向量与对应所述注意力权重值相乘，获得所述序列特征向量。
本申请的多头自注意力模型还包括多注意力随机失活(MAD)；将得到的序列特征向量依次通过MAD随机失活，避免过拟合，然后通过Add&Norm进行归一化，最后输入多层感知机模块输出想要的得到维度的疼痛序列特征。
步骤S600，将所述疼痛序列特征根据所述音频类型进行加权后输入疼痛评估模型，获得疼痛值。
其中，所述疼痛评估模型包括全连接层，ReLU层，Dropout层和输出层。
具体的，步骤S600包括：将所述疼痛序列特征根据所述音频类型进行加权后输入所述疼痛评估模型的全连接层，在所述疼痛评估模型的全连接层中根据任务类型获取对应特征，并传递给所述ReLU层；通过所述ReLU层提高所述对应特征的表达能力后，传输至所述Dropout层，使所述对应特征达到正则化效果后，传输至所述输出层；在所述输出层，根据任务类型采用对应函数获得对应疼痛值。
可以理解，在步骤S500中获得了疼痛序列特征，为了更精准的评估患者的状态，在疼痛序列特征的基础上结合音频类型对疼痛序列特征进行加权，如若患者音频类型为正常说话，则疼痛序列特征乘以1，若音频类型为叹息，则疼痛序列特征乘以1.2，若音频类型为尖叫，则疼痛序列特征乘以1.5。步骤S600中，若要获得疼痛值，本步骤中将乘以系数后的疼痛序列特征输入到疼痛评估模型的全连接层，该疼痛评估模型可根据需求进行调整为疼痛回归任务或疼痛分类任务，全连接层可以根据任务类型获取对应特征，并传递给所述ReLU层，其中，ReLU层的ReLU激活函数可以使该模型加入非线性因素，提高模型的表达能力。另外为了避免训练样本少，训练出来的模型产生过拟合的现象，所以在疼痛评估模型中添加Dropout层，它随机临时删掉全连接网络中一部分的中间隐藏神经元，输入输出神经元保持不变。它在一定程度上达到正则化的效果。输出层根据任务不同，输出层输出和损失函数均不同，如若疼痛任务为分类任务，输出层采用是交叉熵损失函数，最小化观测值和估计值的相对熵。
针对分类任务的函数为：
其中，L为交叉熵损失值，为预测的疼痛分类值，y(i)为实际疼痛分类值，N为样本数。
若疼痛任务为回归任务，采用的是均方差损失函数，最小化预测数据和原始数据对应点误差的平方和的均值。
针对回归任务的函数为：
其中，J为交叉熵损失值，yi为预测的疼痛强度值，zi为实际疼痛强度值，m为样本数。
需说明的是，本申请中对于疼痛评估中使用的模型或网络的训练和测试都是基于ICU临床患者的数据集。我们组织疼痛采集小组，设计数据集采集程序，邀请专门的医护人员对患者当前状态进行疼痛评估。对ICU中术后患者拔管前后的一些疼痛时间点(如静息时、拍背前、拍背中、吸痰前或吸痰中等)进行采集，创建了目前世界上第一个ICU临床数据集，与实验室环境的数据集相比，更具有临床意义。
本申请的疼痛评估时，结合了患者的声音、面部表情和肢体运动，本申请具有良好的环境适应性，在患者面部存在机械通气设备遮挡的情况下，依然可以准确检测患者的面部特征点，有效进行特征的提取，同时本申请采用了组内注意力可以更好的学习面部疼痛相关区域的变化情况，在序列特征判别时，将Transformer组间注意力机制引入疼痛识别中，可以更好的学习不同帧之间的相关性，即本申请采用面部组内注意力和序列组间注意力的双重注意力机制，更加有效提取视频的疼痛鲁棒性特征，提高疼痛识别的准确性。
图8示出了本申请实施例的疼痛评估装置的一种结构示意图。示范性地，该疼痛评估装置包括：
视频分离模块100，用于对患者视频进行分离，获得音频信息和帧图像信息；
音频信息分析模块200，用于对所述音频信息进行分析获得所述音频信息的音频类型；
面部特征向量获取模块300，用于获取每个所述帧图像的与疼痛相关的人脸关键点区域并根据预设规则裁剪后，输入组内注意力模型和卷积网络获得每个所述帧图像对应的面部特征向量；
姿态特征向量获取模块400，用于将通过肢体检测模型获得每个所述帧图像中预设肢体关键点的图像坐标，并根据每个所述帧图像中预设肢体关键点的图像坐标获得每个所述帧图像对应的姿态特征向量；
疼痛序列特征获取模块500，用于将每个所述帧图像对应的融合向量进行加权求和，获得序列特征向量，并将所述序列特征向量输入组间注意力模型得到疼痛序列特征；
疼痛值获取模块600，用于将所述疼痛序列特征根据所述音频类型进行加权后输入疼痛评估模型，获得疼痛值。
可以理解，本实施例的装置对应于上述实施例的疼痛评估方法，上述实施例中的可选项同样适用于本实施例，故在此不再重复描述。
本申请还提供了一种终端设备，示范性地，该终端设备包括处理器和存储器，其中，存储器存储有计算机程序，处理器通过运行所述计算机程序，从而使终端设备执行上述的疼痛评估方法或者上述疼痛评估装置中的各个模块的功能。
其中，处理器可以是一种具有信号的处理能力的集成电路芯片。处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、图形处理器(GraphicsProcessing Unit，GPU)及网络处理器(Network Processor，NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件中的至少一种。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器用于存储计算机程序，处理器在接收到执行指令后，可相应地执行所述计算机程序。
本申请还提供了一种可读存储介质，用于储存上述终端设备中使用的所述计算机程序。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种疼痛评估方法，其特征在于，包括：
对患者视频进行分离，获得音频信息和帧图像信息；
对所述音频信息进行分析获得所述音频信息的音频类型；
获取每个所述帧图像中与疼痛相关的人脸关键点区域，并根据预设规则裁剪后，输入组内注意力模型和卷积网络获得每个所述帧图像对应的面部特征向量；
通过肢体检测模型获得每个所述帧图像中预设肢体关键点的图像坐标，并根据每个所述帧图像中预设肢体关键点的图像坐标获得每个所述帧图像对应的姿态特征向量；
将每个所述帧图像对应的融合向量进行加权求和，获得序列特征向量，并将所述序列特征向量输入组间注意力模型得到疼痛序列特征；
将所述疼痛序列特征根据所述音频类型进行加权后输入疼痛评估模型，获得疼痛值。
2.根据权利要求1所述的疼痛评估方法，其特征在于，所述对所述音频信息进行分析获得所述音频信息的音频类型包括：
将所述音频信息通过音频处理软件，获得所述音频信息的梅尔频谱；
将所述梅尔频谱通过音频分类网络，获得所述音频信息的音频类型；
其中，所述音频类型包括正常腔调说话、叹息和尖叫。
3.根据权利要求1所述的疼痛评估方法，其特征在于，所述获取每个所述帧图像中与疼痛相关的人脸关键点区域，并根据预设规则裁剪后，输入组内注意力模型和卷积网络获得每个所述帧图像对应的面部特征向量包括：
对每个所述帧图像通过人脸检测模型获取每个所述帧图像的人脸关键点；
识别与疼痛相关的运动单元对应的人脸关键点区域，并获取每个所述人脸关键点区域的面部地标坐标；
以每个所述人脸关键点区域的中心坐标为中心点对当前所述人脸关键点区域裁剪为预设方块区域；
将每个所述预设方块区域输入至组内注意力模型，获得每个所述方块区域的注意力值，并将每个所述预设方块区域输入至卷积网络中，获取每个所述预设方块区域的纹理特征；
将每个所述预设方块区域的注意力值和纹理特征相乘，得到每个所述预设方块区域的最终特征矩阵；
所述最终特征矩阵输入至所述组内注意力模型的全连接层获得所述面部特征向量。
4.根据权利要求3所述的疼痛评估方法，其特征在于，所述组内注意力模型包括预训练的ResNet-50的特征提取层和全连接层；
所述卷积网络为VGG-face网络。
5.根据权利要求1所述的疼痛评估方法，其特征在于，所述通过肢体检测模型获得每个所述帧图像中预设肢体关键点的图像坐标，并根据每个所述帧图像中预设肢体关键点的图像坐标获得每个所述帧图像对应的姿态特征向量包括：
通过肢体检测模型获取每个所述帧图像中人体上肢的肢体关键点图像坐标；
将所述上肢的肢体关键点图像坐标输入至全连接层多层感知机，获得每个所述帧图像对应的姿态特征向量。
6.根据权利要求1所述的疼痛评估方法，其特征在于，所述组间注意力模型包括多头自注意模块、归一化模块和多层感知机模块；
所述将每个所述帧图像对应的融合向量进行加权求和，获得序列特征向量，并将所述序列特征向量输入组间注意力模型得到疼痛序列特征包括：
对所有融合向量根据帧顺序进行排序，按照排序将每个所述融合向量输入至所述多头自注意模块，以将每个所述融合向量进行线性化后获得注意力权重值；其中，每个所述帧图像对应的所述融合向量为对每个所述帧图像对应的所述面部特征向量和所述姿态特征向量进行融合操作获得；
将所有所述融合向量线性化后的值与对应的注意力权重值相乘，获得序列特征向量；
将所述序列特征向量输入所述归一化模块进行归一化处理后，输入所述多层感知机模块，获得疼痛序列特征。
7.根据权利要求6所述的疼痛评估方法，其特征在于，所述将每个所述融合向量进行线性化后获得注意力权重值包括：
所述多头自注意模块将每个所述融合向量进行线性变换后，获得查询向量、关键向量和数值向量；
根据所述查询向量、所述关键向量和所述数值向量计算获得所述注意力权重值；
所述将所有所述融合向量线性化后的值与对应的注意力权重值相乘，获得序列特征向量包括：
将所有所述数值向量与对应的注意力权重值相乘，获得所述序列特征向量。
8.根据权利要求1所述的疼痛评估方法，其特征在于，所述疼痛评估模型包括全连接层，ReLU层，Dropout层和输出层；
所述将所述疼痛序列特征根据所述音频类型进行加权后输入疼痛评估模型，获得疼痛值包括：
将所述疼痛序列特征根据所述音频类型进行加权后输入所述疼痛评估模型的全连接层，在所述疼痛评估模型的全连接层中根据任务类型获取对应特征，并传递给所述ReLU层；
通过所述ReLU层提高所述对应特征的表达能力后，传输至所述Dropout层，使所述对应特征达到正则化效果后，传输至所述输出层；
在所述输出层，根据任务类型采用对应函数获得对应疼痛值。
9.一种疼痛评估装置，其特征在于，包括：
视频分离模块，用于对患者视频进行分离，获得音频信息和帧图像信息；
音频信息分析模块，用于对所述音频信息进行分析获得所述音频信息的音频类型；
面部特征向量获取模块，用于获取每个所述帧图像的与疼痛相关的人脸关键点区域并根据预设规则裁剪后，输入组内注意力模型和卷积网络获得每个所述帧图像对应的面部特征向量；
姿态特征向量获取模块，用于将通过肢体检测模型获得每个所述帧图像中预设肢体关键点的图像坐标，并根据每个所述帧图像中预设肢体关键点的图像坐标获得每个所述帧图像对应的姿态特征向量；
疼痛序列特征获取模块，用于将每个所述帧图像对应的融合向量进行加权求和，获得序列特征向量，并将所述序列特征向量输入组间注意力模型得到疼痛序列特征；
疼痛值获取模块，用于将所述疼痛序列特征根据所述音频类型进行加权后输入疼痛评估模型，获得疼痛值。
10.一种终端设备，其特征在于，所述终端设备包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施权利要求1-8中任一项所述的疼痛评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410184319.8A CN117976217A (zh) | 2024-02-19 | 2024-02-19 | 一种疼痛评估方法、装置及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410184319.8A CN117976217A (zh) | 2024-02-19 | 2024-02-19 | 一种疼痛评估方法、装置及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117976217A true CN117976217A (zh) | 2024-05-03 |
Family
ID=90863153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410184319.8A Pending CN117976217A (zh) | 2024-02-19 | 2024-02-19 | 一种疼痛评估方法、装置及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117976217A (zh) |
-
2024
- 2024-02-19 CN CN202410184319.8A patent/CN117976217A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Khatamino et al. | A deep learning-CNN based system for medical diagnosis: An application on Parkinson’s disease handwriting drawings | |
| US20200337580A1 (en) | Time series data learning and analysis method using artificial intelligence | |
| CN111728609B (zh) | 脑电信号的分类方法、分类模型的训练方法、装置及介质 | |
| Sikder et al. | Human activity recognition using multichannel convolutional neural network | |
| CN110188615B (zh) | 一种人脸表情识别方法、装置、介质及系统 | |
| Zhang et al. | Detecting negative emotional stress based on facial expression in real time | |
| CN113052113A (zh) | 一种基于紧凑型卷积神经网络的抑郁症识别方法及系统 | |
| Ullah et al. | [Retracted] An Effective and Lightweight Deep Electrocardiography Arrhythmia Recognition Model Using Novel Special and Native Structural Regularization Techniques on Cardiac Signal | |
| Golrizkhatami et al. | Multi-scale features for heartbeat classification using directed acyclic graph CNN | |
| Bibbo’ et al. | Emotional Health Detection in HAR: New Approach Using Ensemble SNN | |
| Vijayvargiya et al. | PC-GNN: Pearson Correlation-Based Graph Neural Network for Recognition of Human Lower Limb Activity Using sEMG Signal | |
| CN116484290A (zh) | 一种基于Stacking集成的抑郁症识别模型构建方法 | |
| Lu et al. | Image classification and auxiliary diagnosis system for hyperpigmented skin diseases based on deep learning | |
| Gaber et al. | SVM classification of facial functions based on facial landmarks and animation Units | |
| CN117976217A (zh) | 一种疼痛评估方法、装置及终端 | |
| Jantawong et al. | Time series classification using deep learning for har based on smart wearable sensors | |
| Priyasad et al. | Detecting heart failure through voice analysis using self-supervised mode-based memory fusion | |
| Luo et al. | Exploring adaptive graph topologies and temporal graph networks for eeg-based depression detection | |
| Chinta et al. | Soft Voting Strategy for Multi-Modal Emotion Recognition Using Deep-learning-Facial Images and EEG | |
| Zhu et al. | Annotation Efficiency in Multimodal Emotion Recognition with Deep Learning | |
| Adnan et al. | Unmasking Parkinson's Disease with Smile: An AI-enabled Screening Framework | |
| Paul et al. | EchoTrace: A 2D Echocardiography Deep Learning Approach for Left Ventricular Ejection Fraction Prediction | |
| Hosseini et al. | Multimodal Stress Detection Using Facial Landmarks and Biometric Signals | |
| Angalakuditi et al. | Stress Detection Using Deep Learning Algorithms | |
| Sandhu et al. | Compute depression and anxiety among students in Pakistan, using machine learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |