CN113080855B - 一种基于深度信息的面部疼痛表情识别方法及系统 - Google Patents
一种基于深度信息的面部疼痛表情识别方法及系统 Download PDFInfo
- Publication number
- CN113080855B CN113080855B CN202110339727.2A CN202110339727A CN113080855B CN 113080855 B CN113080855 B CN 113080855B CN 202110339727 A CN202110339727 A CN 202110339727A CN 113080855 B CN113080855 B CN 113080855B
- Authority
- CN
- China
- Prior art keywords
- pain
- frame
- module
- attention
- depth information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 96
- 206010016059 Facial pain Diseases 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 28
- 208000002193 Pain Diseases 0.000 claims abstract description 142
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000002159 abnormal effect Effects 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 230000001960 triggered effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 12
- 238000013145 classification model Methods 0.000 description 10
- 210000003128 head Anatomy 0.000 description 10
- 230000008921 facial expression Effects 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 4
- 230000003542 behavioural effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 206010059282 Metastases to central nervous system Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 201000010536 head and neck cancer Diseases 0.000 description 1
- 208000014829 head and neck neoplasm Diseases 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229940125723 sedative agent Drugs 0.000 description 1
- 239000000932 sedative agent Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000000451 tissue damage Effects 0.000 description 1
- 231100000827 tissue damage Toxicity 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4824—Touch or pain perception evaluation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Hospice & Palliative Care (AREA)
- Pain & Pain Management (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
一种基于深度信息的面部疼痛表情识别方法和系统，所述方法包括：建立含有深度信息的疼痛表情数据集；对采集的疼痛表情数据集进行预处理；将经过预处理的疼痛表情数据集输入至帧注意网络中进行训练得到疼痛分级模型，所述帧注意网络包括特征嵌入模块和帧关注模块；将实时采集并经过预处理的表情数据发送至所述疼痛分级模型中进行识别，根据识别结果判断是否进行报警处理。利用本发明能够稳定的对识别目标进行异常状态检测，及时向工作人员发出预警，对于公共医疗和智慧养老等领域有重大的实用价值。
Description
技术领域
本发明属于图像识别技术领域，尤其涉及一种基于深度信息的面部疼痛表情识别方法及系统。
背景技术
国际疼痛研究协会将“疼痛”定义为“与实际或潜在的组织损伤相关的令人不快的感觉和情绪体验,或对此类损伤的描述”。疼痛在医学上被当作一个重要指标,正确地判断疼痛能够让治疗更加有效,疼痛检测的黄金准则是病人的“自我报告”,然而这不是对所有病人都适用的一种方法，人类对疼痛的感觉和判断是主观的，量表的报告可能在个体之间存在显著差异。特别是当患者沟通疼痛的能力受损时，对患者进行行为观察，特别是患者的面部表情，作为疼痛评估的关键行为指标，已被确定为评估疼痛的一种重要方式。濒临死亡、智力障碍、危重症、使用镇静剂的患者、新生儿，或患有痴呆、头颈癌或脑转移的患者尤其脆弱，需要技术来为忙碌的临床医生提供可靠和有效的疼痛警报。美国疼痛管理护理学会(ASPMN)在其对非言语病人疼痛评估的立场声明中，描述了疼痛评估的层次结构，其中包括观察面部表情的行为被认为是疼痛评估的有效方法。在没有交流能力的病人的情况下，面部疼痛表情的评估可以作为疼痛的关键行为指标，当有口头报告时，面部疼痛表情的评估也能带来额外的价值。
疼痛表情识别可运用到医疗领域和智慧养老等诸多领域。据了解，在医院中除了重症病房24小时机器监护外，其他病房的病人都是在自己感觉不舒服时按铃，或者家属发现叫医生，并且因为人力有限和制度原因，医院查房每次间隔在2到3个小时之间。但在这个时间间隔之内或者在夜深人静的夜晚，如上述提到的没有语言表达能力、行动受限的患者有紧急情况或患者情况急速恶化导致失去言语与行动能力而无法自己触发报警装置时，疼痛报警系统就体现出其巨大的价值，可以尽快向医护人员发出警报，及时进行救治，特别是对于有生命危险的患者而言，可以尽快进行急救，把握住救治的黄金时间。
发明内容
本发明针对现有技术的缺陷，提供一种基于深度信息的面部疼痛表情识别方法及系统，能够稳定的对识别目标进行异常状态检测，及时向工作人员发出预警。
本发明首先提供了一种基于深度信息的面部疼痛表情识别方法，包括：
步骤S1、建立含有深度信息的疼痛表情数据集；
步骤S2、对采集的疼痛表情数据集进行预处理；
步骤S3、将经过预处理的疼痛表情数据集输入至帧注意网络中进行训练得到疼痛分级模型，所述帧注意网络包括特征嵌入模块和帧关注模块，所述特征嵌入模块针对每个人脸图像嵌入一个帧特征向量，所述帧关注模块学习自关注权重和关系注意力权重此两级关注权重，并通过自关注权重和关系注意力权重将所述帧特征向量聚合形成紧凑特征，所述自关注权重应用一个FC层和一个sigmoid函数进行分配，所述关系注意力权重应用样本连接和另一个FC层进行分配；
步骤S4、将实时采集并经过预处理的表情数据发送至所述疼痛分级模型中进行识别，根据识别结果判断是否进行报警处理。
进一步地，所述步骤S1包括：
步骤S11、布置至少三个基于TOF的深度相机以相异的角度朝向摄像目标以采集图像；
步骤S12、利用图像标注工具对采集图像的人脸区域进行若干个人脸关键点的逐点标注，得到经标注的疼痛表情样本；
步骤S13、结合专业评估和病人自述对疼痛表情样本进行等级评估，依据面部动作编码系统的PSPI疼痛指标划分疼痛等级。
进一步地，所述步骤S2包括：
步骤S21、采用Yolo目标检测网络模型对包含深度信息的疼痛表情数据集进行逐帧的图像分割，从视频帧中提取包含人脸的头部区域；
步骤S22、采用主动外观模型方法检测出人脸关键点，从头部区域中裁剪出人脸区域。
进一步地，在所述步骤S3中，所述特征嵌入模块针对每个人脸图像嵌入一个帧特征向量是指：
把一个有n帧的视频表示为V，它的帧为{I1，I2，…In}，则针对一个人脸图像嵌入的帧特征向量表示为{f1，f2，…fn}。
进一步地，在所述步骤S3中，第I帧的自关注权重定义为：
αi＝σ(fi Tq0)，
其中q0是FC层的参数，σ表示sigmoid函数；
第I帧的关系注意力权重定义为：
βi＝σ([fi:fv']Tq1)，
其中q1是FC层的参数，σ表示sigmoid函数，fv'是所有输入的帧特征聚集而成的全局表示，fv'定义为：
进一步地，在所述步骤S3中，通过自关注权重和关系注意力权重将所述帧特征向量聚合形成紧凑特征的计算公式为：
进一步地，在所述步骤S4中，根据识别结果判断是否进行报警处理包括：
当检测摄像目标的疼痛等级达到第一设定阈值时，触发警报；
当检测摄像目标的疼痛等级达到第二设定阈值且疼痛持续时间达到设定时长时，触发警报；
当检测摄像目标的单次疼痛等级达到第三设定阈值且在设定时间间隔内反复疼痛累计次数超过设定次数阈值时，触发警报。
本发明还提供了一种基于深度信息的面部疼痛表情识别系统，包括：
视频采集模块，用于建立含有深度信息的疼痛表情数据集；
样本处理模块，用于对采集的疼痛表情数据集进行预处理；
模型训练模块，用于将经过预处理的疼痛表情数据集输入至帧注意网络中进行训练得到疼痛分级模型，所述帧注意网络包括特征嵌入模块和帧关注模块，所述特征嵌入模块针对每个人脸图像嵌入一个帧特征向量，所述帧关注模块学习自关注权重和关系注意力权重此两级关注权重，并通过自关注权重和关系注意力权重将所述帧特征向量聚合形成紧凑特征，所述自关注权重应用一个FC层和一个sigmoid函数进行分配，所述关系注意力权重应用样本连接和另一个FC层进行分配；
疼痛表情识别模块，用于将实时采集并经过预处理的表情数据发送至所述疼痛分级模型中进行识别；
报警模块，用于当根据识别结果判断出现异常情况时，进行报警处理。
进一步地，所述基于深度信息的面部疼痛表情识别系统还包括上位机管理平台，所述上位机管理平台分别与所述疼痛表情识别模块、报警模块相连，所述上位机管理平台用于接收和存储所述疼痛表情识别模块传送的视频数据和识别结果，并控制所述报警模块工作。
本发明提供的一种基于深度信息的面部疼痛表情识别方法和系统，采用了基于深度信息的面部表情识别技术，可以解决光照变化对表情识别影响大的问题，即使是在黑暗环境中也可以稳定工作，并且可以实现对识别目标的隐私保护；利用学习两级关注权重的帧注意网络训练疼痛分级模型，使疼痛分级模型愈趋于稳定和精细，能够稳定的对识别目标进行异常状态检测，及时向工作人员发出预警，保障识别目标的生命安全，对于公共医疗和智慧养老等方面有重大的实用价值。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例的基于深度信息的面部疼痛表情识别方法的流程示意图；
图2是本发明实施例的基于深度信息的面部疼痛表情识别方法的步骤S4的一种实现流程示意图；
图3是本发明实施例的基于深度信息的面部疼痛表情识别系统的框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
此外，以下各实施例的说明是参考附加的图示，用以例示本发明可用以实施的特定实施例。本发明中所提到的方向用语，例如，“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”、“侧面”等，仅是参考附加图式的方向，因此，使用的方向用语是为了更好、更清楚地说明及理解本发明，而不是指示或暗指所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
请参阅图1，本发明首先提供了一种基于深度信息的面部疼痛表情识别方法，包括：
步骤S1、建立含有深度信息的疼痛表情数据集；
步骤S2、对采集的疼痛表情数据集进行预处理；
步骤S3、将经过预处理的疼痛表情数据集输入至帧注意网络中进行训练得到疼痛分级模型，所述帧注意网络包括特征嵌入模块和帧关注模块，所述特征嵌入模块针对每个人脸图像嵌入一个帧特征向量，所述帧关注模块学习自关注权重和关系注意力权重此两级关注权重，并通过自关注权重和关系注意力权重将所述帧特征向量聚合形成紧凑特征，所述自关注权重应用一个FC层和一个sigmoid函数进行分配，所述关系注意力权重应用样本连接和另一个FC层进行分配；
步骤S4、将实时采集并经过预处理的表情数据发送至所述疼痛分级模型中进行识别，根据识别结果判断是否进行报警处理。
以往基于RGB图像的疼痛表情识别技术，受到光线和姿态变化的影响极大，并且对于患病人群等隐私敏感的特殊群体，使用RGB相机极易侵犯其隐私权。本实施例的疼痛表情识别方法采用了基于深度信息的面部表情识别技术，可以解决光照变化对表情识别影响大的问题，即使是在黑暗环境中也可以稳定工作，并且可以实现对识别目标的隐私保护；利用学习两级关注权重的帧注意网络训练疼痛分级模型，使疼痛分级模型愈趋于稳定和精细，能够稳定的对识别目标进行异常状态检测，及时向工作人员发出预警，保障识别目标的生命安全，对于公共医疗和智慧养老等方面有重大的实用价值。
为了准确估计面部疼痛表情，有必要建立一个有足够样本的的疼痛表情数据集来训练一个鲁棒神经网络，具体地，所述步骤S1包括：
步骤S11、布置至少三个基于TOF的深度相机以相异的角度朝向摄像目标以采集图像。在本实施例中，在一个病房中从多角度布置3个基于TOF(飞行时间法，Time of flight的简写)的深度相机，将3个摄像头呈品字形分别安装在病床正对面的房顶位置、病床床头方向一侧的右边房顶角落和左边房顶角落，这样分布深度相机可以确保不论病人将头朝向哪一边都可以被深度相机捕捉到其面部表情信息，解决了姿态变化对表情识别影响巨大的问题。基于TOF的深度相机其工作原理为，通过向摄像目标连续发送光脉冲，然后利用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离，以此同时得到整幅图像的深度信息。因TOF深度相机通过光的飞行时间来得到目标的深度信息，所以可以解决光照变化对表情识别影响大的问题，同时因为自带光源，因此TOF深度相机即使是在黑暗环境中也可以稳定工作；
步骤S12、利用图像标注工具对采集图像的人脸区域进行若干个人脸关键点的逐点标注，得到经标注的疼痛表情样本；在本实施例中，利用Labelme软件对采集图像的人脸区域进行标注，分别对脸部外轮廓、眉毛、眼睛、鼻子和嘴巴各部位共68个人脸关键点进行逐点标注；
步骤S13、结合专业评估和病人自述对疼痛表情样本进行等级评估，依据面部动作编码系统的PSPI疼痛指标划分疼痛等级，具体地，从0到16按0，1-2，...，7-8，...，15-16将疼痛级别分为9个等级，将等级1-3划分为低级疼痛水平，4-6为中级疼痛水平，7-9为高级疼痛水平。
在对采集的图像进行疼痛表情识别之前，需要对疼痛表情数据集进行预处理，以提高表情识别的效率及保证表情识别的准确性。具体地，所述步骤S2包括：
步骤S21、采用Yolo目标检测网络模型对包含深度信息的疼痛表情数据集进行逐帧的图像分割，从视频帧中提取包含人脸的头部区域。在本实施例中，使用Yolov5进行人脸分割，首先对训练集中的图片进行Mosaic数据增强，以随机缩放、随机裁剪、随机排布的方式进行拼接，增大训练集数据量；接着计算初始长宽的锚框；然后设计Focus结构对输入图像进行切片操作，生成至少32通道的特征图，构建基于CSP1_X结构的主干网络和基于CSP2_X结构的Neck，加强网络特征融合的能力，输出图像特征；最后选择GIOU_Loss作为Boundingbox的损失函数，在初始锚框的基础上输出预测框，进而和真实框进行比对，计算两者差距，再反向更新，迭代网络参数，得到一个鲁棒的Yolov5人脸分割模型；
步骤S22、采用主动外观模型方法检测出人脸关键点，从头部区域中裁剪出人脸区域。经过步骤S21已经裁剪出人脸的大致区域，即头部区域，去除了背景和人体躯干等对面部表情识别的影响，但头发、脖子等非人脸区域并没有去除，在包含人脸的头部区域被分割出来的基础上，采用AAM算法(即主动外观模型方法)检测出人脸关键点，将人脸区域裁剪出来，进一步精确人脸位置。
在本发明的较佳实施例中，利用UNBC疼痛表情数据集对深度卷积神经网络模块进行迁移学习，然后利用本地采集的训练集进行再训练。所述帧注意网络(FAN)从输入开始，可以分为特征嵌入模块和帧关注模块两个模块，帧关注模块学习两级关注权重，即自关注权重和关系注意力权重。具体地，所述步骤S3包括：
步骤S31、将经步骤S2中预处理得到的包含深度信息的疼痛表情数据集输入到特征嵌入模块中，特征嵌入模块是一个深度卷积神经网络模块(CNN)，所述特征嵌入模块针对每个人脸图像嵌入一个帧特征向量，把一个有n帧的视频表示为V，它的帧为{I1，I2，…In}，则针对一个人脸图像嵌入的帧特征向量表示为{f1，f2，…fn}；
步骤S32、在得到上述特征的基础上，首先应用一个FC层和一个sigmoid函数来分配粗略的自关注权重，第I帧的自关注权重由下式定义:
αi＝σ(fi Tq0)，
其中q0是FC的参数，σ表示sigmoid函数；利用这些自关注权重，将所有输入的帧特征聚集成一个全局表示fv'，fv'定义为：
使用fv'作为视频级别的全局锚来学习更精确的关系注意力权重；
步骤S33、因为fv'一致地包含整个视频的内容，所以可以通过对帧特征和该全局表示fv'之间的关系建模来进一步细化关注权重，使用样本连接和另一个FC层来估计帧特征的关系注意力权重，第I帧的关系注意力权重被公式化为：
βi＝σ([fi:fv']Tq1)，
其中q1是FC的参数，σ表示sigmoid函数；
步骤S34、通过自关注权重和关系注意力权重将所述帧特征向量的所有帧特征聚合形成一个新的紧凑特征，计算公式为：
在本实施例中，通过对识别目标的面部疼痛表情进行识别分析从而得到识别目标的疼痛剧烈程度、单次疼痛持续时长和疼痛连续次数三个指标，全面综合的评估目标的疼痛水平。具体地，如附图2所示，在所述步骤S4中，根据识别结果判断是否进行报警处理包括：
步骤S41、依据面部动作编码系统(FACS)的PSPI疼痛指标，从0到16按0，1-2，...，7-8，...，15-16将疼痛级别分为9个等级，将等级1-3划分为低级疼痛水平、4-6为中级疼痛水平、7-9为高级疼痛水平；当检测摄像目标的疼痛等级达到中级疼痛水平时，触发警报；当病人疼痛达到高级疼痛水平时，警报声比中级疼痛水平更加急促且响亮，具体阈值可视应用情况而定；
步骤S42、当检测摄像目标的单次疼痛水平未达到单次疼痛预警阈值但检测到持续时间较长时，也可触发预警，视检测到的疼痛水平设置持续时长的报警阈值。疼痛持续时间可由表情活动的初始(onset)帧和结束(offset)帧的间隔时间来计算，且根据所识别疼痛水平等级的不同赋予持续时长不同的权重，疼痛水平低则持续时间阈值大，疼痛水平高则持续时间阈值更小，具体阈值设置可如下公式所示：
步骤S43、当上述两种条件都不满足时，即单次疼痛强度未达到报警阈值且持续时间也未达到报警阈值时，若检测到单次低强度，短时间疼痛后在规定时间间隔内再次发生类似强度的疼痛表现，则给以累加计次，累加次数超过设定的次数阈值则报警；可通过计算该次表情活动的结束(offset)帧到下次表情的初始(onset)帧得到两次疼痛表情的间隔时间，1级疼痛时间隔1min视为连续，2级疼痛时间隔45s视为连续，3级疼痛时间隔30s视为连续，对不同疼痛水平设置不同的累加次数阈值，具体阈值设置可如下公式所示：
请参阅附图3，本发明实施例还提供了一种基于深度信息的面部疼痛表情识别系统，包括：
视频采集模块100，用于建立含有深度信息的疼痛表情数据集；
样本处理模块200，用于对采集的疼痛表情数据集进行预处理；
模型训练模块300，用于将经过预处理的疼痛表情数据集输入至帧注意网络中进行训练得到疼痛分级模型，所述帧注意网络包括特征嵌入模块和帧关注模块，所述特征嵌入模块针对每个人脸图像嵌入一个帧特征向量，所述帧关注模块学习自关注权重和关系注意力权重此两级关注权重，并通过自关注权重和关系注意力权重将所述帧特征向量聚合形成紧凑特征，所述自关注权重应用一个FC层和一个sigmoid函数进行分配，所述关系注意力权重应用样本连接和另一个FC层进行分配；
疼痛表情识别模块400，用于将实时采集并经过预处理的表情数据发送至所述疼痛分级模型中进行识别；
上位机管理平台500，所述上位机管理平台分别与基于深度学习的疼痛表情识别模块、报警模块相连，所述上位机管理平台用于管理智能分析终端，可通过计算机上的操作程序与疼痛识别系统相连，用于接收和存储所述疼痛表情识别模块传送的视频数据和识别结果，并控制所述报警模块工作；
报警模块600，用于当根据识别结果判断出现异常情况时，进行报警处理。
当病人触发三种报警前置条件中之一时，上位机管理平台500向报警模块600发送报警信号，通知医护人员异常情况发生，并且对所述疼痛表情识别模块400传送的视频数据和识别结果及报警信息进行存储。所述报警模块600与上位机管理平台500相连，可以直接获取基于深度学习的疼痛表情识别模块400的报警信号进行报警，也可以由操作人员通过监控发现病患异常情况时手动报警。
在本实施例中，所述视频采集模块100包括：
采集装置，所述采集装置可以是以相异的角度朝向摄像目标布置的至少三个基于TOF的深度相机；
图像标注模块，用于对采集图像的人脸区域进行若干个人脸关键点的逐点标注，得到经标注的疼痛表情样本；
等级评估模块，用于结合专业评估和病人自述对疼痛表情样本进行等级评估，依据面部动作编码系统的PSPI疼痛指标划分疼痛等级。
在本实施例中，所述样本处理模块200包括：
头部区域分割模块，用于采用Yolo目标检测网络模型对包含深度信息的疼痛表情数据集进行逐帧的图像分割，从视频帧中提取包含人脸的头部区域；
人脸区域分割模块，用于采用主动外观模型方法检测出人脸关键点，从头部区域中裁剪出人脸区域。
在本实施例中，所述帧注意网络的特征嵌入模块针对每个人脸图像嵌入一个帧特征向量是指：把一个有n帧的视频表示为V，它的帧为{I1，I2，…In}，则针对一个人脸图像嵌入的帧特征向量表示为{f1，f2，…fn}。
在本实施例中，所述帧注意网络的帧关注模块学习自关注权重和关系注意力权重此两级关注权重。具体地，第I帧的自关注权重定义为：
αi＝σ(fi Tq0)，其中q0是FC层的参数，σ表示sigmoid函数。
第I帧的关系注意力权重定义为：
βi＝σ([fi:fv']Tq1)，其中q1是FC层的参数，σ表示sigmoid函数，fv'是所有输入的帧特征聚集而成的全局表示，fv'定义为：
所述帧关注模块通过自关注权重和关系注意力权重将所述帧特征向量聚合形成紧凑特征，其计算公式为：
所述模型训练模块300利用学习两级关注权重的帧注意网络训练疼痛分级模型，使疼痛分级模型愈趋于稳定和精细，能够稳定的对识别目标进行异常状态检测，及时向工作人员发出预警。
以上并不限于本发明的实施方式，以上具体实施方式的描述旨在描述与说明本发明的技术方案，以上具体实施方式仅仅是示意式的，并不是限制式的。任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及发明专利构思加以同等替换或改变，都属于本发明专利的保护范围之内。
Claims (9)
1.一种基于深度信息的面部疼痛表情识别方法，其特征在于，包括：
步骤S1、建立含有深度信息的疼痛表情数据集；
步骤S2、对采集的疼痛表情数据集进行预处理；
步骤S3、将经过预处理的疼痛表情数据集输入至帧注意网络中进行训练得到疼痛分级模型，所述帧注意网络包括特征嵌入模块和帧关注模块，所述特征嵌入模块针对每个人脸图像嵌入一个帧特征向量，所述帧关注模块学习自关注权重和关系注意力权重此两级关注权重，并通过自关注权重和关系注意力权重将所述帧特征向量聚合形成紧凑特征，所述自关注权重应用一个FC层和一个sigmoid函数进行分配，所述关系注意力权重应用样本连接和另一个FC层进行分配；
步骤S4、将实时采集并经过预处理的表情数据发送至所述疼痛分级模型中进行识别，根据识别结果判断是否进行报警处理。
2.根据权利要求1所述的基于深度信息的面部疼痛表情识别方法，其特征在于，所述步骤S1包括：
步骤S11、布置至少三个基于TOF的深度相机以相异的角度朝向摄像目标以采集图像；
步骤S12、利用图像标注工具对采集图像的人脸区域进行若干个人脸关键点的逐点标注，得到经标注的疼痛表情样本；
步骤S13、结合专业评估和病人自述对疼痛表情样本进行等级评估，依据面部动作编码系统的PSPI疼痛指标划分疼痛等级。
3.根据权利要求1所述的基于深度信息的面部疼痛表情识别方法，其特征在于，所述步骤S2包括：
步骤S21、采用Yolo目标检测网络模型对包含深度信息的疼痛表情数据集进行逐帧的图像分割，从视频帧中提取包含人脸的头部区域；
步骤S22、采用主动外观模型方法检测出人脸关键点，从头部区域中裁剪出人脸区域。
4.根据权利要求1所述的基于深度信息的面部疼痛表情识别方法，其特征在于，在所述步骤S3中，所述特征嵌入模块针对每个人脸图像嵌入一个帧特征向量是指：
把一个有n帧的视频表示为V，它的帧为{I1，I2，…In}，则针对一个人脸图像嵌入的帧特征向量表示为{f1，f2，…fn}。
5.根据权利要求4所述的基于深度信息的面部疼痛表情识别方法，其特征在于，在所述步骤S3中，第I帧的自关注权重定义为：
αi＝σ(fi Tq0)，
其中q0是FC层的参数，σ表示sigmoid函数；
第I帧的关系注意力权重定义为：
βi＝σ([fi:f′v]Tq1)，
其中q1是FC层的参数，σ表示sigmoid函数，f′v是所有输入的帧特征聚集而成的全局表示，f′v定义为：
6.根据权利要求5所述的基于深度信息的面部疼痛表情识别方法，其特征在于，在所述步骤S3中，通过自关注权重和关系注意力权重将所述帧特征向量聚合形成紧凑特征的计算公式为：
7.根据权利要求1所述的基于深度信息的面部疼痛表情识别方法，其特征在于，在所述步骤S4中，根据识别结果判断是否进行报警处理包括：
当检测摄像目标的疼痛等级达到第一设定阈值时，触发警报；
当检测摄像目标的疼痛等级达到第二设定阈值且疼痛持续时间达到设定时长时，触发警报；
当检测摄像目标的单次疼痛等级达到第三设定阈值且在设定时间间隔内反复疼痛累计次数超过设定次数阈值时，触发警报。
8.一种基于深度信息的面部疼痛表情识别系统，其特征在于，包括：
视频采集模块，用于建立含有深度信息的疼痛表情数据集；
样本处理模块，用于对采集的疼痛表情数据集进行预处理；
模型训练模块，用于将经过预处理的疼痛表情数据集输入至帧注意网络中进行训练得到疼痛分级模型，所述帧注意网络包括特征嵌入模块和帧关注模块，所述特征嵌入模块针对每个人脸图像嵌入一个帧特征向量，所述帧关注模块学习自关注权重和关系注意力权重此两级关注权重，并通过自关注权重和关系注意力权重将所述帧特征向量聚合形成紧凑特征，所述自关注权重应用一个FC层和一个sigmoid函数进行分配，所述关系注意力权重应用样本连接和另一个FC层进行分配；
疼痛表情识别模块，用于将实时采集并经过预处理的表情数据发送至所述疼痛分级模型中进行识别；
报警模块，用于当根据识别结果判断出现异常情况时，进行报警处理。
9.根据权利要求8所述的基于深度信息的面部疼痛表情识别系统，其特征在于，还包括上位机管理平台，所述上位机管理平台分别与所述疼痛表情识别模块、报警模块相连，所述上位机管理平台用于接收和存储所述疼痛表情识别模块传送的视频数据和识别结果，并控制所述报警模块工作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110339727.2A CN113080855B (zh) | 2021-03-30 | 2021-03-30 | 一种基于深度信息的面部疼痛表情识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110339727.2A CN113080855B (zh) | 2021-03-30 | 2021-03-30 | 一种基于深度信息的面部疼痛表情识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113080855A CN113080855A (zh) | 2021-07-09 |
| CN113080855B true CN113080855B (zh) | 2023-10-31 |
Family
ID=76670823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110339727.2A Active CN113080855B (zh) | 2021-03-30 | 2021-03-30 | 一种基于深度信息的面部疼痛表情识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113080855B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114469009B (zh) * | 2022-03-18 | 2023-04-18 | 电子科技大学 | 一种面部疼痛表情分级评估方法 |
| CN114943924B (zh) * | 2022-06-21 | 2024-05-14 | 深圳大学 | 基于人脸表情视频的疼痛评估方法、系统、设备及介质 |
| CN116453384A (zh) * | 2023-06-19 | 2023-07-18 | 江西德瑞光电技术有限责任公司 | 基于tof技术的沉浸式智能学习系统及控制方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108388890A (zh) * | 2018-03-26 | 2018-08-10 | 南京邮电大学 | 一种基于面部表情识别的新生儿疼痛程度评估方法及系统 |
| CN109063643A (zh) * | 2018-08-01 | 2018-12-21 | 中国科学院合肥物质科学研究院 | 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法 |
| CN109543526A (zh) * | 2018-10-19 | 2019-03-29 | 谢飞 | 基于深度差异性特征的真假面瘫识别系统 |
| WO2019204700A1 (en) * | 2018-04-19 | 2019-10-24 | University Of South Florida | Neonatal pain identification from neonatal facial expressions |
| CN111466878A (zh) * | 2020-04-14 | 2020-07-31 | 合肥工业大学 | 基于表情识别的卧床病人疼痛症状实时监护方法及装置 |
| CN112418095A (zh) * | 2020-11-24 | 2021-02-26 | 华中师范大学 | 一种结合注意力机制的面部表情识别方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11631280B2 (en) * | 2015-06-30 | 2023-04-18 | University Of South Florida | System and method for multimodal spatiotemporal pain assessment |
-
2021
- 2021-03-30 CN CN202110339727.2A patent/CN113080855B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108388890A (zh) * | 2018-03-26 | 2018-08-10 | 南京邮电大学 | 一种基于面部表情识别的新生儿疼痛程度评估方法及系统 |
| WO2019204700A1 (en) * | 2018-04-19 | 2019-10-24 | University Of South Florida | Neonatal pain identification from neonatal facial expressions |
| CN109063643A (zh) * | 2018-08-01 | 2018-12-21 | 中国科学院合肥物质科学研究院 | 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法 |
| CN109543526A (zh) * | 2018-10-19 | 2019-03-29 | 谢飞 | 基于深度差异性特征的真假面瘫识别系统 |
| CN111466878A (zh) * | 2020-04-14 | 2020-07-31 | 合肥工业大学 | 基于表情识别的卧床病人疼痛症状实时监护方法及装置 |
| CN112418095A (zh) * | 2020-11-24 | 2021-02-26 | 华中师范大学 | 一种结合注意力机制的面部表情识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113080855A (zh) | 2021-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113080855B (zh) | 一种基于深度信息的面部疼痛表情识别方法及系统 | |
| Sathyanarayana et al. | Vision-based patient monitoring: a comprehensive review of algorithms and technologies | |
| US20200205697A1 (en) | Video-based fall risk assessment system | |
| JP4401079B2 (ja) | 被験者の行動解析 | |
| CN110458101B (zh) | 基于视频与设备结合的服刑人员体征监测方法及设备 | |
| Shoaib et al. | View-invariant fall detection for elderly in real home environment | |
| Cuppens et al. | Using spatio-temporal interest points (STIP) for myoclonic jerk detection in nocturnal video | |
| KR20200056660A (ko) | 얼굴 내 미세움직임 기반 통증 모니터링 방법 및 시스템 | |
| Kassem et al. | Yawn based driver fatigue level prediction | |
| Pinto et al. | A deep learning approach to detect drowsy drivers in real time | |
| Yimyam et al. | Home smart alarm system for the visually impaired | |
| Dai | Vision-based 3d human motion analysis for fall detection and bed-exiting | |
| CN115308768A (zh) | 一种隐私环境下的智能监护系统 | |
| Xie et al. | Revolutionizing Road Safety: YOLOv8-Powered Driver Fatigue Detection | |
| Puteri et al. | Micro-sleep detection using combination of haar cascade and convolutional neural network | |
| Vardhan et al. | Driver’s drowsiness detection based on facial multi-feature fusion | |
| Ankitha et al. | Enhanced Driver’s Drowsiness Detection System using CNN model | |
| Dhrithi et al. | A Framework for Driver Drowsiness Detection using Non-Learning Methods | |
| Srivastava et al. | Driver drowsiness detection system with OpenCV & keras | |
| Hu et al. | Comprehensive driver state recognition based on deep learning and PERCLOS criterion | |
| Pachouly et al. | Driver Drowsiness Detection using Machine Learning | |
| Tiwari et al. | Real-Time Fatigue Detection System using Computer Vision | |
| US11423534B2 (en) | System and method for diagnosing potential diseases from photo and video data and informing the user | |
| Doppala et al. | A Machine Intelligence Model to Detect Drowsiness for Preventing Road Accidents | |
| Kumar et al. | Spontaneous Driver Fatigue Discernment System Using Artificial Intelligence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |