CN114943924A - 基于人脸表情视频的疼痛评估方法、系统、设备及介质 - Google Patents

基于人脸表情视频的疼痛评估方法、系统、设备及介质 Download PDF

Info

Publication number
CN114943924A
CN114943924A CN202210706990.5A CN202210706990A CN114943924A CN 114943924 A CN114943924 A CN 114943924A CN 202210706990 A CN202210706990 A CN 202210706990A CN 114943924 A CN114943924 A CN 114943924A
Authority
CN
China
Prior art keywords
image
face
pain
frame
facial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210706990.5A
Other languages
English (en)
Other versions
CN114943924B (zh
Inventor
张力
陈南杉
张治国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210706990.5A priority Critical patent/CN114943924B/zh
Publication of CN114943924A publication Critical patent/CN114943924A/zh
Application granted granted Critical
Publication of CN114943924B publication Critical patent/CN114943924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了基于人脸表情视频的疼痛评估方法、系统、设备及介质，该方法包括：获取人脸疼痛表情视频，并进行人脸预处理以得到预处理后的人脸表情图像集；将每一帧人脸表情图像输入至预先训练的VGG网络中进行空间域特征提取，得到对应的特征图；将每一特征图基于疼痛表情先验知识进行分割，得到对应的目标区域；将每一目标区域输入至预先训练的注意力网络中，得到对应的加权特征向量；将加权特征向量与对应的输出向量进行特征融合，得到融合特征；将基于融合特征得到的融合特征序列输入至预先训练的长短时记忆网络中，得到疼痛强度评估值。实现了基于人脸表情视频能够有效地对其疼痛强度情况进行评估，且有利于提高疼痛评估的准确度。

Description

基于人脸表情视频的疼痛评估方法、系统、设备及介质
技术领域
本发明涉图像识别技术领域，尤其涉及一种基于人脸表情视频的疼痛评估 方法、系统、设备及介质。
背景技术
疼痛是一种与实际或潜在的组织损伤相关的不愉快的感觉和情绪情感体验， 是一种复杂的、涉及情感以及感官等多方面的主观感受。疼痛在增强身体的自 我保护、恢复以及愈合等机能中起到了不可或缺的作用，但是疼痛也会给个体 带来伤害，在一些重大疾病的治疗过程与预后中，严重影响患者的生活质量。 在临床治疗过程中对患者的疼痛情况进行实时准确的评估对确保诊断的准确性 和治疗的有效性十分重要。自我评估是当前在临床中被广泛使用的疼痛评估金 标准，但是该方法在一些无法准确交流疼痛感受的特殊人群(例如有语言障碍 的患者、痴呆患者和儿童等)上并不能得到有效的应用。
研究发现人的面部表情特征可以作为疼痛评估的重要依据，然而现有的基 于面部表情疼痛评估方法大多依赖于专业受训的观察者，容易产生主观偏差且 效率较低。随着计算机视觉技术以及面部表情识别技术的发展，使用图像和视 频处理算法和深度神经网络对人脸图像视频进行处理并进行疼痛强度的自动评 估已吸引越来越多的研究者的关注。但是，现有的端到端的深度神经网络模型 并没有很好地利用领域知识，如面部表情中与疼痛相关的局部关键信息。
发明内容
本发明实施例提供了基于人脸表情视频的疼痛评估方法、系统、设备及介 质，旨在解决现有技术中端到端的深度神经网络模型并没有很好地利用面部表 情中与疼痛相关的局部关键信息的问题。
第一方面，本发明实施例提供了一种疼痛自动评估方法，其包括：
获取人脸疼痛表情视频，将所述人脸疼痛表情视频中的每一帧图像进行人 脸预处理，得到预处理后的人脸表情图像集；
将所述预处理后的人脸表情图像集中的每一帧人脸表情图像输入至预先训 练的VGG网络中进行空间域特征提取，得到每一帧人脸表情图像分别对应的特 征图，以组成特征图集；
将所述特征图集中每一特征图基于疼痛表情先验知识进行分割，得到每一 特征图分别对应的目标区域，以组成目标区域集；其中，所述目标区域集每一 目标区域为与疼痛相关面部肌肉运动单元相应的区域；
将所述目标区域集每一目标区域输入至预先训练的注意力网络中，得到所 述目标区域集每一目标区域分别对应的加权特征向量；
将每一目标区域的加权特征向量与对应的输出向量进行特征融合，得到每 一目标区域的融合特征；其中，将所述人脸表情图像集中的每一帧人脸表情图 像输入至预先训练的VGG网络中，得到每一帧人脸表情图像对应的输出向量；
基于每一目标区域的融合特征得到融合特征序列，将所述融合特征序列输 入至预先训练的长短时记忆网络中，得到疼痛强度评估值。
第二方面，本发明实施例提供了一种基于人脸表情视频疼痛评估系统，其 包括：
图像处理模块，用于获取人脸疼痛表情视频，将所述人脸疼痛表情视频中 的每一帧图像进行人脸预处理，得到预处理后的人脸表情图像集；
特征图获取模块，用于将所述预处理后的人脸表情图像集中的每一帧人脸 表情图像输入至预先训练的VGG网络中进行空间域特征提取，得到每一帧人脸 表情图像分别对应的特征图，以组成特征图集；
目标区域获取模块，用于将所述特征图集中每一特征图基于疼痛表情先验 知识进行分割，得到每一特征图分别对应的目标区域，以组成目标区域集；其 中，所述目标区域集每一目标区域为与疼痛相关面部肌肉运动单元相应的区域；
加权特征向量获取模块，用于将所述目标区域集每一目标区域输入至预先 训练的注意力网络中，得到所述目标区域集每一目标区域分别对应的加权特征 向量；
特征融合模块，用于将每一目标区域的加权特征向量与对应的输出向量进 行特征融合，得到每一目标区域的融合特征；其中，将所述人脸表情图像集中 的每一帧人脸表情图像输入至预先训练的VGG网络中，得到每一帧人脸表情图 像对应的输出向量；
疼痛强度评估模块，用于基于每一目标区域的融合特征得到融合特征序列， 将所述融合特征序列输入至预先训练的长短时记忆网络中，得到疼痛强度评估 值。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理 器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器 执行所述计算机程序时实现上述第一方面所述的疼痛评估方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计 算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所 述处理器执行上述第一方面所述的疼痛评估方法。
本发明实施例提供了基于人脸表情视频的疼痛评估方法、系统、设备及介 质，该方法包括：获取人脸疼痛表情视频，并进行人脸预处理以得到预处理后 的人脸表情图像集；将每一帧人脸表情图像输入至预先训练的VGG网络中进行 空间域特征提取，得到对应的特征图；将每一特征图基于疼痛表情先验知识进 行分割，得到对应的目标区域；将每一目标区域输入至预先训练的注意力网络 中，得到对应的加权特征向量；将加权特征向量与对应的输出向量进行特征融 合，得到融合特征；将基于融合特征得到融合特征序列输入至预先训练的长短 时记忆网络中，得到疼痛强度评估值。实现了基于人脸表情视频能够有效地对 其疼痛强度情况进行评估，且有利于提高疼痛评估的准确度。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要 使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实 施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
图1为本发明实施例提供的基于人脸表情视频的疼痛评估方法的流程示意 图；
图2为本发明实施例提供的基于人脸表情视频的疼痛评估系统的示意性框 图；
图3为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部 的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳 动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含” 指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个 或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施 例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使 用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该” 意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包 括这些组合。
请参阅图1，图1为本发明实施例提供的基于人脸表情视频的疼痛评估方法 的流程示意图；该方法包括步骤S101～S106。
S101、获取人脸疼痛表情视频，将所述人脸疼痛表情视频中的每一帧图像 进行人脸预处理，得到预处理后的人脸表情图像集。
在本实施例中，是以服务器为执行主体描述技术方案。由于对人脸疼痛表 情的拍摄条件不同，使得原始图像中包含了许多与评估疼痛强度不相关的其他 信息，为了排除干扰信息，需对拍摄到的原始图像进行图像处理，以减小后续 提取人脸特征的影响。即当获取人脸疼痛表情视频之后，会对人脸疼痛表情视 频中的每一帧图像进行人脸预处理，其中，对人脸预处理流程主要包括了人脸 检测、人脸关键点检测、人脸对齐以及数据增强等，以得到去除背景以及其他 非人脸区域部分的人脸表情图像，并组成预处理后的人脸表情图像集以输入网 络模型中进行疼痛强度评估。
在一实施例中，将所述人脸疼痛表情视频中的每一帧图像进行人脸预处理， 得到预处理后的人脸表情图像集包括：
检测所述人脸疼痛表情视频中的每一帧图像中的人脸区域，对每一帧图像 中的人脸区域进行定位；
根据所述每一帧图像中的人脸区域进行人脸关键点定位处理，得到所述人 脸疼痛表情视频中的每一帧图像对应的人脸关键点坐标，以组成人脸关键点坐 标数据集；
根据所述人脸关键点坐标数据集对所述人脸疼痛表情视频中的每一帧图像 进行人脸对齐处理，得到预处理后的人脸表情图像集。
在本实施例中，在不同情况下拍摄的人脸疼痛表情视频中的每一帧图像上， 人脸部分可出现在图像中的任意位置，甚至可能出现人脸移出了拍摄的范围导 致图像中并没有包含人脸部分。因此，为了检测人脸疼痛表情视频中的每一帧 图像中是否包含人脸以及确定人脸在图像中的相应位置，以方便去除背景以及 其他非人脸区域的部分，减少干扰信息，可通过使用Viola-Jones人脸检测算法 对人脸疼痛表情视频中每一帧图像的人脸区域进行定位。再通过人脸关键点检 测定位人脸器官所在位置，同时也确定了整个人脸的轮廓位置，得到人脸疼痛 表情视频中的每一帧图像对应的人脸关键点坐标，进一步确定人脸位置，并组 成人脸关键点坐标集以进行人脸对齐处理，其中，可采用级联回归树人脸定位 算法检测人脸疼痛表情视频中的每一帧图像对应的人脸关键点坐标。由于采集 人脸疼痛表情视频的条件不同，采集到的人脸疼痛表情视频中面部姿态可能不 同，并且由于不同人脸或相同人脸与采集设备的距离不同，会导致采集到的人 脸疼痛表情视频中的人脸大小有所差异，从而对后续提取特征产生影响，因此， 需利用人脸关键点坐标对人脸疼痛表情视频中每一帧图像进行人脸对齐处理。
在一实施例中，所述根据所述人脸关键点坐标数据集对所述人脸疼痛表情 视频中的每一帧图像进行人脸对齐处理，得到预处理后的人脸表情图像集，包 括：
基于所述人脸关键点坐标数据集计算得到每一人脸关键点坐标的平均位置， 将所述每一人脸关键点坐标的平均位置作为标准脸关键点坐标，得到标准脸图 像；
根据标准脸关键点坐标对所述标准脸图像进行Delaunay三角剖分，得到若 干标准脸图像三角形；
获取所述人脸疼痛表情视频中的第m帧图像；其中，m的初始值为1，且m的取值范围是[1，M]，M表示所述人脸疼痛表情视频中所包括图像的总帧数；
基于所述人脸关键点坐标数据集获取所述第m帧图像对应的人脸关键点坐 标；
根据所述第m帧图像对应的人脸关键点坐标对所述第m帧图像进行所述 Delaunay三角剖分，得到若干第m帧图像三角形；其中，所述第m帧图像三角 形的数量与所述标准脸图像三角形的数量相同；
将所述第m帧图像中每一个第m帧图像三角形分别仿射变换至所述标准脸 图像中对应的所述标准脸图像三角形中，并通过双线性插值法得到第m帧人脸 对齐图像；
将所述第m帧人脸对齐图像中的非人脸区域进行填充处理，得到第m帧预 处理后的人脸表情图像；
将m自增1以更新m的取值，若确定m未超出M，返回执行所述获取所 述人脸疼痛表情视频中的第m帧图像的步骤；
若确定m超出M，获取第1帧预处理后的人脸表情图像至第M帧预处理后 的人脸表情图像，组成预处理后的人脸表情图像集。
在本实施例中，对人脸疼痛表情视频中的每一帧图像进行人脸对齐处理时， 需通过人脸关键点坐标数据集计算出每一人脸关键点坐标的平均位置，以将每 一人脸关键点坐标的平均位置作为标准脸关键点坐标，从而得到标准脸图像， 后续对人脸疼痛表情视频中的每一帧图像进行人脸对齐时，都需对齐到该标准 脸图像中。其中，人脸疼痛表情视频中的每一帧图像在经过人脸关键点定位处 理后，会得到N个人脸关键点坐标，假设人脸疼痛表情视频中的第m帧图像中 N个人脸关键点坐标为
Figure BDA0003705774840000061
标准脸图像中的N个标准脸关 键点坐标为pi(i＝1，2，…，N)，根据标准脸关键点坐标pi(i＝1，2，…，N) 对标准脸图像进行Delaunay三角剖分，可以得J个三角形Δj(j＝1，2，…，J)。 经过三角剖分后得到的J个三角形满足条件是：对于得到的J个三角形中任意两 个三角形Δi、Δj，该两个三角形除了公共边外不重叠。使用Delaunay三角剖分 的优点是它能够以最接近的三个坐标点构成三角形，同时不论从图像的哪一些 坐标点开始构建，最终构建得到的所有三角形具有唯一性。并根据第m帧图像 中的人脸关键点坐标
Figure BDA0003705774840000062
对第m帧图像进行Delaunay三角剖 分，使第m帧图像得到与标准脸图像中同样数量的三角形。再对第m帧图像与 标准脸图像中的每一个对应的三角形进行仿射变换，具体的，假设标准脸图像 中第s个三角形Δs，三角形的三个顶点为pi，pj，pk。而在第m帧图像中，与 标准脸图像中对应的第s个三角形为
Figure BDA0003705774840000071
其三个顶点分别为
Figure BDA0003705774840000072
将 第m帧图像中的第s个三角形
Figure BDA0003705774840000073
变换到标准脸中对应的三角形Δs中，三角形
Figure BDA0003705774840000074
中的每一个像素也都分别对应到Δs中。但由于变化的过程中，第m帧图像中的 人脸关键点坐标对应到标准脸图像中的标准脸关键点坐标通常来说不是一个整 数值，因此需采用双线性插值法来得到仿射变换之后坐标上的像素值。且对于 三角形外的非人脸区域，则使用白色来对其进行填充，从而得到第m帧图像经 过人脸预处理后的人脸表情图像。对所述人脸疼痛表情视频中的每一帧图像进 行人脸对齐处理，得到预处理后的人脸表情图像集，通过人脸对齐处理减少面 部姿态差异对后续特征提取的影响。
在一实施例中，所述基于所述人脸关键点坐标数据集计算得到每一人脸关 键点坐标的平均位置，包括：
获取所述人脸关键点坐标数据集，根据预设公式计算得到每一人脸关键点 坐标的平均位置；
所述预设公式为：
Figure BDA0003705774840000075
其中，N表示所述人脸疼痛表情视频中的每一帧图像对应的人脸关键点坐 标总数，
Figure BDA0003705774840000076
则表示输入的所述人脸疼痛表情视频中的第m帧图像中第 i个人脸关键点坐标，(xi，yi)表示第i个人脸关键点坐标的平均位置。
在本实施例中，人脸疼痛表情视频中的每一帧图像在经过人脸关键点定位 处理后，会得到N个人脸关键点坐标，通过上述预设公式计算得到每一人脸关 键点坐标的平均位置，从而通过每一人脸关键点坐标的平均位置得到一标准脸 图像，以便于后续对人脸疼痛表情视频中的每一帧图像进行人脸对齐。
S102、将所述预处理后的人脸表情图像集中的每一帧人脸表情图像输入至 预先训练的VGG网络中进行空间域特征提取，得到每一帧人脸表情图像分别对 应的特征图，以组成特征图集。
在本实施例中，使用预先训练的VGG网络作为主干网络，通过预先训练的 VGG网络提取预处理后的人脸表情图像集中的每一帧人脸表情图像空间域特征， 从而得到每一帧人脸表情图像分别对应的特征图。
在一实施例中，所述预先训练的VGG网络的训练过程，包括：
根据VGGFace数据库对VGG网络进行预训练，得到第一预先训练的VGG 网络，其中，所述第一预先训练的VGG网络包括13层卷积层和3层全连接层；
将所述第一预先训练的VGG网络的前12层卷积层进行参数冻结处理，并 将所述第一预先训练的VGG网络的3层全连接层替换为重新初始化后的全连接 层，得到修改后的第一预先训练的VGG网络；
将所述修改后的第一预先训练的VGG网络在预处理后的疼痛表情数据上进 行训练，得到所述预先训练的VGG网络；其中，所述预处理后的疼痛表情数据 根据UNBC-McMaster数据库进行人脸预处理得到。
在本实施例中，需对VGG网络进行预训练，从而将预先训练的VGG网络 作为主干网络对预处理后的人脸表情图像集中的每一帧人脸表情图像进行处理。 在预训练时，使用的数据库为VGGFace数据库，该数据库中共包含了2622名 人物的总计260万张人脸图像，这是一个比较大数据量的数据库，能够提供训 练一个有效网络所需的大量数据。通过在VGGFace数据库上对VGG网络进行 预训练，使得到的第一预先训练的VGG网络能够很好地学习到有关人脸的特征 提取，其中第一预先训练的VGG网络包括13层卷积层和3层全连接层。在 VGGFace数据库上对VGG网络的预训练完成后，需对得到的第一预先训练的 VGG网络进行微调，首先将第一预先训练的VGG网络的前12层卷积层进行参 数冻结处理，只保留最后一层卷积层可进行训练，然后将第一预先训练的VGG 网络的3层全连接层进行替换，替换为重新初始化后的全连接层，从而完成修 改，最后将修改后的第一预先训练的VGG网络在预处理后的疼痛表情数据上进 行训练，将得到的预先训练的VGG网络作为最终的主干网络，从而完成对VGG 网络的微调。其中，预处理后的疼痛表情数据根据UNBC-McMaster数据库进行 人脸预处理得到，人脸预处理流程主要包括了人脸检测、人脸关键点检测、人 脸对齐以及数据增强。
S103、将所述特征图集中每一特征图基于疼痛表情先验知识进行分割，得 到每一特征图分别对应的目标区域，以组成目标区域集；其中，所述目标区域 集每一目标区域为与疼痛相关面部肌肉运动单元相应的区域。
在本实施例中，为了更好地利用疼痛表情的领域知识，需将人脸疼痛表情 的先验知识与注意力机制相结合，从而让网络能够更加关注人脸表情中与疼痛 相关的部分。因此，根据疼痛表情先验知识分割出特征图集中每一特征图上与 疼痛相关面部肌肉运动单元相应的区域，以得到每一特征图分别对应的目标区 域。
在一实施例中，所述将所述特征图集中每一特征图基于疼痛表情先验知识 进行分割，得到每一特征图分别对应的目标区域，包括：
基于疼痛表情先验知识得到目标点集；其中，所述目标点集包括与降低眉 毛单元对应的第一目标点、与提起脸颊单元对应的第二目标点、与收紧眼睑单 元对应的第三目标点、与皱起鼻肌单元对应的第四目标点、与提起上唇单元对 应的第五目标点以及与眼睛眯缝单元对应的第六目标点；
获取所述目标点集中第k目标点；其中，k的初始值为1，且k的取值范围 是[1，L]，L表示所述目标点集中所包括目标点的总数；
将所述特征图集中与所述第k目标点对应的区域进行分割，得到第k子目 标区域；
将k自增1以更新k的取值，若确定k未超出L，返回执行所述获取所述目 标点集中第k目标点的步骤；
若确定k超出L，获取第1子目标区域至第k子目标区域，组成目标区域。
在本实施例中，通过研究疼痛与人脸面部肌肉活动单元之间的关系，发现 了几个与疼痛密切相关的肌肉活动单元，与疼痛相关面部肌肉运动单元包括了 AU4(降低眉毛单元)、AU6(提起脸颊单元)、AU7(收紧眼睑单元)、AU9 (皱起鼻肌单元)、AU10(提起上唇单元)以及AU43(眼睛眯缝单元)。首 先根据疼痛表情先验知识，确定与疼痛相关面部肌肉运动单元在人脸图像中相 应的点，共选取了12个对应的点作为目标点集，然后分割出这些点在每一特征 图中对应的区域，得到目标区域以输入至注意力网络中。
S104、将所述目标区域集每一目标区域输入至预先训练的注意力网络中， 得到所述目标区域集每一目标区域分别对应的加权特征向量。
在本实施例中，为了更好地利用疼痛表情的领域知识，将疼痛表情先验知 识与注意力机制相结合，将从特征图中分割出来的与疼痛相关面部肌肉运动单 元相应的区域输入至预先训练的注意力网络中，通过预先训练的注意力网络得 到目标区域集每一目标区域的加权特征向量。
在一实施例中，所述将所述目标区域集每一目标区域输入至预先训练的注 意力网络中，得到所述目标区域集每一目标区域分别对应的加权特征向量，包 括：
获取所述目标区域集每一目标区域中的第k子目标区域；
将所述第k子目标区域输入至预先训练的注意力网络中，得到所述第k子 目标区域的特征向量及对应的重要性权重值；
将所述第k子目标区域的特征向量及对应的重要性权重值进行加权处理， 得到所述第k子目标区域的加权特征向量；
将k自增1以更新k的取值，若确定k未超出L，返回执行所述获取所述目 标区域集每一目标区域中的第k子目标区域的步骤；
若确定k超出L，基于第k子目标区域的加权特征向量至第L子目标区域 的加权特征向量，得到所述目标区域集每一目标区域分别对应的加权特征向量。
在本实施例中，预先训练的注意力网络中包含了两个模块，分别为模块一 和模块二，通过模块一得到输入的子目标区域的特征向量，通过模块二得到输 入的子目标区域的重要性权重值。输入到注意力网络中的子目标区域大小为 6*6*512，在经过了两个卷积层后大小没有发生变化，能够保证网络从子目标区 域中学习到相应的模式的同时保留更多的信息。将得到的卷积图分别送入两个 模块中进行处理，卷积图经过模块一后，得到了64维的特征向量。卷积图送入 模块二后，经过一个最大池化层后大小变为了3*3*512，然后经过一层卷积层以 及两层全连接层后，使用sigmoid激活函数该子目标区域对应的重要性权重值， 并将特征向量赋予对应的重要性权重值得到加权特征向量，由预先训练的注意 力网络得到目标区域集每一目标区域分别对应的加权特征向量。
S105、将每一目标区域的加权特征向量与对应的输出向量进行特征融合， 得到每一目标区域的融合特征；其中，将所述人脸表情图像集中的每一帧人脸 表情图像输入至预先训练的VGG网络中，得到每一帧人脸表情图像对应的输出 向量。
在本实施例中，人脸表情图像集中的每一帧人脸表情图像输入至预先训练 的VGG网络中，由预先训练的VGG网络全连接层得到每一帧人脸表情图像的 输出向量，将由注意力网络得到目标区域的加权特征向量与对应的输出向量进 行特征融合，更好的得到人脸表情中与疼痛相关的特征信息，排除无关的干扰 特征，获得每一目标区域的融合特征。
S106、基于每一目标区域的融合特征得到融合特征序列，将所述融合特征 序列输入至预先训练的长短时记忆网络中，得到疼痛强度评估值。
在本实施例中，将每一目标区域的融合特征组成融合特征序列以输入至预 先训练的长短时记忆网络中，通过预先训练的长短时记忆网络进行时域特征提 取，最后输出疼痛强度评估值。
本申请通过预先训练的VGG网络作为主干网络，由预先训练的VGG网络 和预先训练的长短时记忆网络作为网络模型中的循环卷积神经网络，并将注意 力机制与人脸疼痛表情的相关先验知识进行结合送入循环卷积神经网络中，使 得网络能够更加关注人脸表情中与疼痛相关的部分，能够有效地对人脸表情视 频中的受试者的疼痛强度情况进行预测。
该方法实现了基于人脸表情视频能够有效地对其疼痛强度情况进行评估， 且有利于提高疼痛评估的准确度。
本发明实施例还提供本发明实施例提供了一种基于人脸表情视频疼痛评估 系统，该基于人脸表情视频疼痛评估系统用于在执行前述基于人脸表情视频疼 痛评估方法的任一实施例。具体地，请参阅图2，图2是本发明实施例提供的基 于人脸表情视频疼痛评估系统100的示意性框图。
其中，如图3所示，基于人脸表情视频疼痛评估系统100包括图像处理模 块101、特征图获取模块102、目标区域获取模块103、加权特征向量获取模块 104、特征融合模块105和疼痛强度评估模块106。
图像处理模块101，用于获取人脸疼痛表情视频，将所述人脸疼痛表情视频 中的每一帧图像进行人脸预处理，得到预处理后的人脸表情图像集。
在本实施例中，是以服务器为执行主体描述技术方案。由于对人脸疼痛表 情的拍摄条件不同，使得原始图像中包含了许多与评估疼痛强度不相关的其他 信息，为了排除干扰信息，需对拍摄到的原始图像进行图像处理，以减小后续 提取人脸特征的影响。即当获取人脸疼痛表情视频之后，会对人脸疼痛表情视 频中的每一帧图像进行人脸预处理，其中，对人脸预处理流程主要包括了人脸 检测、人脸关键点检测、人脸对齐以及数据增强等，以得到去除背景以及其他 非人脸区域部分的人脸表情图像，并组成预处理后的人脸表情图像集以输入网 络模型中进行疼痛强度评估。
在一实施例中，将所述人脸疼痛表情视频中的每一帧图像进行人脸预处理， 得到预处理后的人脸表情图像集包括：
检测所述人脸疼痛表情视频中的每一帧图像中的人脸区域，对每一帧图像 中的人脸区域进行定位；
根据所述每一帧图像中的人脸区域进行人脸关键点定位处理，得到所述人 脸疼痛表情视频中的每一帧图像对应的人脸关键点坐标，以组成人脸关键点坐 标数据集；
根据所述人脸关键点坐标数据集对所述人脸疼痛表情视频中的每一帧图像 进行人脸对齐处理，得到预处理后的人脸表情图像集。
在本实施例中，在不同情况下拍摄的人脸疼痛表情视频中的每一帧图像上， 人脸部分可出现在图像中的任意位置，甚至可能出现人脸移出了拍摄的范围导 致图像中并没有包含人脸部分。因此，为了检测人脸疼痛表情视频中的每一帧 图像中是否包含人脸以及确定人脸在图像中的相应位置，以方便去除背景以及 其他非人脸区域的部分，减少干扰信息，可通过使用Viola-Jones人脸检测算法 对人脸疼痛表情视频中每一帧图像的人脸区域进行定位。再通过人脸关键点检 测定位人脸器官所在位置，同时也确定了整个人脸的轮廓位置，得到人脸疼痛 表情视频中的每一帧图像对应的人脸关键点坐标，进一步确定人脸位置，并组 成人脸关键点坐标集以进行人脸对齐处理，其中，可采用级联回归树人脸定位 算法检测人脸疼痛表情视频中的每一帧图像对应的人脸关键点坐标。由于采集 人脸疼痛表情视频的条件不同，采集到的人脸疼痛表情视频中面部姿态可能不 同，并且由于不同人脸或相同人脸与采集设备的距离不同，会导致采集到的人 脸疼痛表情视频中的人脸大小有所差异，从而对后续提取特征产生影响，因此， 需利用人脸关键点坐标对人脸疼痛表情视频中每一帧图像进行人脸对齐处理。
在一实施例中，所述根据所述人脸关键点坐标数据集对所述人脸疼痛表情 视频中的每一帧图像进行人脸对齐处理，得到预处理后的人脸表情图像集，包 括：
基于所述人脸关键点坐标数据集计算得到每一人脸关键点坐标的平均位置， 将所述每一人脸关键点坐标的平均位置作为标准脸关键点坐标，得到标准脸图 像；
根据标准脸关键点坐标对所述标准脸图像进行Delaunay三角剖分，得到若 干标准脸图像三角形；
获取所述人脸疼痛表情视频中的第m帧图像；其中，m的初始值为1，且 m的取值范围是[1，M]，M表示所述人脸疼痛表情视频中所包括图像的总帧数；
基于所述人脸关键点坐标数据集获取所述第m帧图像对应的人脸关键点坐 标；
根据所述第m帧图像对应的人脸关键点坐标对所述第m帧图像进行所述 Delaunay三角剖分，得到若干第m帧图像三角形；其中，所述第m帧图像三角 形的数量与所述标准脸图像三角形的数量相同；
将所述第m帧图像中每一个第m帧图像三角形分别仿射变换至所述标准脸 图像中对应的所述标准脸图像三角形中，并通过双线性插值法得到第m帧人脸 对齐图像；
将所述第m帧人脸对齐图像中的非人脸区域进行填充处理，得到第m帧预 处理后的人脸表情图像；
将m自增1以更新m的取值，若确定m未超出M，返回执行所述获取所 述人脸疼痛表情视频中的第m帧图像的步骤；
若确定m超出M，获取第1帧预处理后的人脸表情图像至第M帧预处理后 的人脸表情图像，组成预处理后的人脸表情图像集。
在本实施例中，对人脸疼痛表情视频中的每一帧图像进行人脸对齐处理时， 需通过人脸关键点坐标数据集计算出每一人脸关键点坐标的平均位置，以将每 一人脸关键点坐标的平均位置作为标准脸关键点坐标，从而得到标准脸图像， 后续对人脸疼痛表情视频中的每一帧图像进行人脸对齐时，都需对齐到该标准 脸图像中。其中，人脸疼痛表情视频中的每一帧图像在经过人脸关键点定位处 理后，会得到N个人脸关键点坐标，假设人脸疼痛表情视频中的第m帧图像中 N个人脸关键点坐标为
Figure BDA0003705774840000131
标准脸图像中的N个标准脸关 键点坐标为pi(i＝1，2，…，N)，根据标准脸关键点坐标pi(i＝1，2，…，N) 对标准脸图像进行Delaunay三角剖分，可以得J个三角形Δj(j＝1，2，…，J)。 经过三角剖分后得到的J个三角形满足条件是：对于得到的J个三角形中任意两 个三角形Δi、Δj，该两个三角形除了公共边外不重叠。使用Delaunay三角剖分 的优点是它能够以最接近的三个坐标点构成三角形，同时不论从图像的哪一些 坐标点开始构建，最终构建得到的所有三角形具有唯一性。并根据第m帧图像 中的人脸关键点坐标
Figure BDA0003705774840000141
对第m帧图像进行Delaunay三角剖 分，使第m帧图像得到与标准脸图像中同样数量的三角形。再对第m帧图像与 标准脸图像中的每一个对应的三角形进行仿射变换，具体的，假设标准脸图像 中第s个三角形Δs，三角形的三个顶点为pi，pj，pk。而在第m帧图像中，与 标准脸图像中对应的第s个三角形为
Figure BDA0003705774840000142
其三个顶点分别为
Figure BDA0003705774840000143
将 第m帧图像中的第s个三角形
Figure BDA0003705774840000144
变换到标准脸中对应的三角形Δs中，三角形
Figure BDA0003705774840000145
中的每一个像素也都分别对应到Δs中。但由于变化的过程中，第m帧图像中的 人脸关键点坐标对应到标准脸图像中的标准脸关键点坐标通常来说不是一个整 数值，因此需采用双线性插值法来得到仿射变换之后坐标上的像素值。且对于 三角形外的非人脸区域，则使用白色来对其进行填充，从而得到第m帧图像经 过人脸预处理后的人脸表情图像。对所述人脸疼痛表情视频中的每一帧图像进 行人脸对齐处理，得到预处理后的人脸表情图像集，通过人脸对齐处理减少面 部姿态差异对后续特征提取的影响。
在一实施例中，所述基于所述人脸关键点坐标数据集计算得到每一人脸关 键点坐标的平均位置，包括：
获取所述人脸关键点坐标数据集，根据预设公式计算得到每一人脸关键点 坐标的平均位置；
所述预设公式为：
Figure BDA0003705774840000146
其中，N表示所述人脸疼痛表情视频中的每一帧图像对应的人脸关键点坐 标总数，
Figure BDA0003705774840000147
则表示输入的所述人脸疼痛表情视频中的第m帧图像中第 i个人脸关键点坐标，(xi，yi)表示第i个人脸关键点坐标的平均位置。
在本实施例中，人脸疼痛表情视频中的每一帧图像在经过人脸关键点定位 处理后，会得到N个人脸关键点坐标，通过上述预设公式计算得到每一人脸关 键点坐标的平均位置，从而通过每一人脸关键点坐标的平均位置得到一标准脸 图像，以便于后续对人脸疼痛表情视频中的每一帧图像进行人脸对齐。
特征图获取模块102，用于将所述预处理后的人脸表情图像集中的每一帧人 脸表情图像输入至预先训练的VGG网络中进行空间域特征提取，得到每一帧人 脸表情图像分别对应的特征图，以组成特征图集。
在本实施例中，使用预先训练的VGG网络作为主干网络，通过预先训练的 VGG网络提取预处理后的人脸表情图像集中的每一帧人脸表情图像空间域特征， 从而得到每一帧人脸表情图像分别对应的特征图。
在一实施例中，所述预先训练的VGG网络的训练过程，包括：
根据VGGFace数据库对VGG网络进行预训练，得到第一预先训练的VGG 网络，其中，所述第一预先训练的VGG网络包括13层卷积层和3层全连接层；
将所述第一预先训练的VGG网络的前12层卷积层进行参数冻结处理，并 将所述第一预先训练的VGG网络的3层全连接层替换为重新初始化后的全连接 层，得到修改后的第一预先训练的VGG网络；
将所述修改后的第一预先训练的VGG网络在预处理后的疼痛表情数据上进 行训练，得到所述预先训练的VGG网络；其中，所述预处理后的疼痛表情数据 根据UNBC-McMaster数据库进行人脸预处理得到。
在本实施例中，需对VGG网络进行预训练，从而将预先训练的VGG网络 作为主干网络对预处理后的人脸表情图像集中的每一帧人脸表情图像进行处理。 在预训练时，使用的数据库为VGGFace数据库，该数据库中共包含了2622名 人物的总计260万张人脸图像，这是一个比较大数据量的数据库，能够提供训 练一个有效网络所需的大量数据。通过在VGGFace数据库上对VGG网络进行 预训练，使得到的第一预先训练的VGG网络能够很好地学习到有关人脸的特征 提取，其中第一预先训练的VGG网络包括13层卷积层和3层全连接层。在 VGGFace数据库上对VGG网络的预训练完成后，需对得到的第一预先训练的 VGG网络进行微调，首先将第一预先训练的VGG网络的前12层卷积层进行参 数冻结处理，只保留最后一层卷积层可进行训练，然后将第一预先训练的VGG 网络的3层全连接层进行替换，替换为重新初始化后的全连接层，从而完成修 改，最后将修改后的第一预先训练的VGG网络在预处理后的疼痛表情数据上进 行训练，将得到的预先训练的VGG网络作为最终的主干网络，从而完成对VGG 网络的微调。其中，预处理后的疼痛表情数据根据UNBC-McMaster数据库进行 人脸预处理得到，人脸预处理流程主要包括了人脸检测、人脸关键点检测、人 脸对齐以及数据增强。
目标区域获取模块103，用于将所述特征图集中每一特征图基于疼痛表情先 验知识进行分割，得到每一特征图分别对应的目标区域，以组成目标区域集； 其中，所述目标区域集每一目标区域为与疼痛相关面部肌肉运动单元相应的区 域。
在本实施例中，为了更好地利用疼痛表情的领域知识，需将人脸疼痛表情 的先验知识与注意力机制相结合，从而让网络能够更加关注人脸表情中与疼痛 相关的部分。因此，根据疼痛表情先验知识分割出特征图集中每一特征图上与 疼痛相关面部肌肉运动单元相应的区域，以得到每一特征图分别对应的目标区 域。
在一实施例中，所述将所述特征图集中每一特征图基于疼痛表情先验知识 进行分割，得到每一特征图分别对应的目标区域，包括：
基于疼痛表情先验知识得到目标点集；其中，所述目标点集包括与降低眉 毛单元对应的第一目标点、与提起脸颊单元对应的第二目标点、与收紧眼睑单 元对应的第三目标点、与皱起鼻肌单元对应的第四目标点、与提起上唇单元对 应的第五目标点以及与眼睛眯缝单元对应的第六目标点；
获取所述目标点集中第k目标点；其中，k的初始值为1，且k的取值范围 是[1，L]，L表示所述目标点集中所包括目标点的总数；
将所述特征图集中与所述第k目标点对应的区域进行分割，得到第k子目 标区域；
将k自增1以更新k的取值，若确定k未超出L，返回执行所述获取所述目 标点集中第k目标点的步骤；
若确定k超出L，获取第1子目标区域至第k子目标区域，组成目标区域。
在本实施例中，通过研究疼痛与人脸面部肌肉活动单元之间的关系，发现 了几个与疼痛密切相关的肌肉活动单元，与疼痛相关面部肌肉运动单元包括了 AU4(降低眉毛单元)、AU6(提起脸颊单元)、AU7(收紧眼睑单元)、AU9 (皱起鼻肌单元)、AU10(提起上唇单元)以及AU43(眼睛眯缝单元)。首 先根据疼痛表情先验知识，确定与疼痛相关面部肌肉运动单元在人脸图像中相 应的点，共选取了12个对应的点作为目标点集，然后分割出这些点在每一特征 图中对应的区域，得到目标区域以输入至注意力网络中。
加权特征向量获取模块104，用于将所述目标区域集每一目标区域输入至预 先训练的注意力网络中，得到所述目标区域集每一目标区域分别对应的加权特 征向量。
在本实施例中，为了更好地利用疼痛表情的领域知识，将疼痛表情先验知 识与注意力机制相结合，将从特征图中分割出来的与疼痛相关面部肌肉运动单 元相应的区域输入至预先训练的注意力网络中，通过预先训练的注意力网络得 到目标区域集每一目标区域的加权特征向量。
在一实施例中，所述将所述目标区域集每一目标区域输入至预先训练的注 意力网络中，得到所述目标区域集每一目标区域分别对应的加权特征向量，包 括：
获取所述目标区域集每一目标区域中的第k子目标区域；
将所述第k子目标区域输入至预先训练的注意力网络中，得到所述第k子 目标区域的特征向量及对应的重要性权重值；
将所述第k子目标区域的特征向量及对应的重要性权重值进行加权处理， 得到所述第k子目标区域的加权特征向量；
将k自增1以更新k的取值，若确定k未超出L，返回执行所述获取所述目 标区域集每一目标区域中的第k子目标区域的步骤；
若确定k超出L，基于第k子目标区域的加权特征向量至第L子目标区域 的加权特征向量，得到所述目标区域集每一目标区域分别对应的加权特征向量。
在本实施例中，预先训练的注意力网络中包含了两个模块，分别为模块一 和模块二，通过模块一得到输入的子目标区域的特征向量，通过模块二得到输 入的子目标区域的重要性权重值。输入到注意力网络中的子目标区域大小为 6*6*512，在经过了两个卷积层后大小没有发生变化，能够保证网络从子目标区 域中学习到相应的模式的同时保留更多的信息。将得到的卷积图分别送入两个 模块中进行处理，卷积图经过模块一后，得到了64维的特征向量。卷积图送入 模块二后，经过一个最大池化层后大小变为了3*3*512，然后经过一层卷积层以 及两层全连接层后，使用sigmoid激活函数该子目标区域对应的重要性权重值， 并将特征向量赋予对应的重要性权重值得到加权特征向量，由预先训练的注意 力网络得到目标区域集每一目标区域分别对应的加权特征向量。
特征融合模块105，用于将每一目标区域的加权特征向量与对应的输出向量 进行特征融合，得到每一目标区域的融合特征；其中，将所述人脸表情图像集 中的每一帧人脸表情图像输入至预先训练的VGG网络中，得到每一帧人脸表情 图像对应的输出向量。
在本实施例中，人脸表情图像集中的每一帧人脸表情图像输入至预先训练 的VGG网络中，由预先训练的VGG网络全连接层得到每一帧人脸表情图像的 输出向量，将由注意力网络得到目标区域的加权特征向量与对应的输出向量进 行特征融合，更好的得到人脸表情中与疼痛相关的特征信息，排除无关的干扰 特征，获得每一目标区域的融合特征。
疼痛强度评估模块106，用于基于每一目标区域的融合特征得到融合特征序 列，将所述融合特征序列输入至预先训练的长短时记忆网络中，得到疼痛强度 评估值。
在本实施例中，将每一目标区域的融合特征组成融合特征序列以输入至预 先训练的长短时记忆网络中，通过预先训练的长短时记忆网络进行时域特征提 取，最后输出疼痛强度评估值。
本申请通过预先训练的VGG网络作为主干网络，由预先训练的VGG网络 和预先训练的长短时记忆网络作为网络模型中的循环卷积神经网络，并将注意 力机制与人脸疼痛表情的相关先验知识进行结合送入循环卷积神经网络中，使 得网络能够更加关注人脸表情中与疼痛相关的部分，能够有效地对人脸表情视 频中的受试者的疼痛强度情况进行预测。
上述基于人脸表情视频的疼痛评估方法可以实现为计算机程序的形式，该 计算机程序可以在如图3所示的计算机设备上运行。
请参阅图3，图3是本发明实施例提供的计算机设备的示意性框图。该计算 机设备500是服务器，也可以是服务器集群。服务器可以是独立的服务器，也 可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、 中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network， CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参阅图3，该计算机设备500包括通过装置总线501连接的处理器502、存 储器和网络接口505，其中，存储器可以包括存储介质503和内存储器504。
该存储介质503可存储操作装置5031和计算机程序5032。该计算机程序 5032被执行时，可使得处理器502执行基于人脸表情视频的疼痛评估方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为存储介质503中的计算机程序5032的运行提供环境，该 计算机程序5032被处理器502执行时，可使得处理器502执行基于人脸表情视 频的疼痛评估方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图3中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实 现本发明实施例公开的基于人脸表情视频的疼痛评估方法。
本领域技术人员可以理解，图3中示出的计算机设备的实施例并不构成对 计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更 多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实 施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器 及处理器的结构及功能与图3所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理 器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或 者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中， 通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介 质可以为非易失性的计算机可读存储介质，也可以为易失性的计算机可读存储 介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执 行时实现本发明实施例公开的基于人脸表情视频的疼痛评估方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描 述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过 程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实 施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者 的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按 照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方 式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每 个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超 出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方 法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性 的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的 划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组 件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另 外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接 口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式 连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为 单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者 也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部 单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中， 也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单 元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元 的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或 使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本 质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以 软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若 干指令用以使得一台计算机设备(可以是个人计算机，后台服务器，或者网络 设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介 质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者 光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到 各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。 因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于人脸表情视频的疼痛评估方法，其特征在于，包括：
获取人脸疼痛表情视频，将所述人脸疼痛表情视频中的每一帧图像进行人脸预处理，得到预处理后的人脸表情图像集；
将所述预处理后的人脸表情图像集中的每一帧人脸表情图像输入至预先训练的VGG网络中进行空间域特征提取，得到每一帧人脸表情图像分别对应的特征图，以组成特征图集；
将所述特征图集中每一特征图基于疼痛表情先验知识进行分割，得到每一特征图分别对应的目标区域，以组成目标区域集；其中，所述目标区域集每一目标区域为与疼痛相关面部肌肉运动单元相应的区域；
将所述目标区域集每一目标区域输入至预先训练的注意力网络中，得到所述目标区域集每一目标区域分别对应的加权特征向量；
将每一目标区域的加权特征向量与对应的输出向量进行特征融合，得到每一目标区域的融合特征；其中，将所述人脸表情图像集中的每一帧人脸表情图像输入至预先训练的VGG网络中，得到每一帧人脸表情图像对应的输出向量；
基于每一目标区域的融合特征得到融合特征序列，将所述融合特征序列输入至预先训练的长短时记忆网络中，得到疼痛强度评估值。
2.根据权利要求1所述的疼痛评估方法，其特征在于，所述将所述人脸疼痛表情视频中的每一帧图像进行人脸预处理，得到预处理后的人脸表情图像集，包括：
检测所述人脸疼痛表情视频中的每一帧图像中的人脸区域，对每一帧图像中的人脸区域进行定位；
根据所述每一帧图像中的人脸区域进行人脸关键点定位处理，得到所述人脸疼痛表情视频中的每一帧图像对应的人脸关键点坐标，以组成人脸关键点坐标数据集；
根据所述人脸关键点坐标数据集对所述人脸疼痛表情视频中的每一帧图像进行人脸对齐处理，得到预处理后的人脸表情图像集。
3.根据权利要求2所述的疼痛评估方法，其特征在于，所述根据所述人脸关键点坐标数据集对所述人脸疼痛表情视频中的每一帧图像进行人脸对齐处理，得到预处理后的人脸表情图像集，包括：
基于所述人脸关键点坐标数据集计算得到每一人脸关键点坐标的平均位置，将所述每一人脸关键点坐标的平均位置作为标准脸关键点坐标，得到标准脸图像；
根据标准脸关键点坐标对所述标准脸图像进行Delaunay三角剖分，得到若干标准脸图像三角形；
获取所述人脸疼痛表情视频中的第m帧图像；其中，m的初始值为1，且m的取值范围是[1，M]，M表示所述人脸疼痛表情视频中所包括图像的总帧数；
基于所述人脸关键点坐标数据集获取所述第m帧图像对应的人脸关键点坐标；
根据所述第m帧图像对应的人脸关键点坐标对所述第m帧图像进行所述Delaunay三角剖分，得到若干第m帧图像三角形；其中，所述第m帧图像三角形的数量与所述标准脸图像三角形的数量相同；
将所述第m帧图像中每一个第m帧图像三角形分别仿射变换至所述标准脸图像中对应的所述标准脸图像三角形中，并通过双线性插值法得到第m帧人脸对齐图像；
将所述第m帧人脸对齐图像中的非人脸区域进行填充处理，得到第m帧预处理后的人脸表情图像；
将m自增1以更新m的取值，若确定m未超出M，返回执行所述获取所述人脸疼痛表情视频中的第m帧图像的步骤；
若确定m超出M，获取第1帧预处理后的人脸表情图像至第M帧预处理后的人脸表情图像，组成预处理后的人脸表情图像集。
4.根据权利要求3所述的疼痛评估方法，其特征在于，所述基于所述人脸关键点坐标数据集计算得到每一人脸关键点坐标的平均位置，包括：
获取所述人脸关键点坐标数据集，根据预设公式计算得到每一人脸关键点坐标的平均位置；
所述预设公式为：
Figure FDA0003705774830000021
其中，N表示所述人脸疼痛表情视频中的每一帧图像对应的人脸关键点坐标总数，
Figure FDA0003705774830000022
则表示输入的所述人脸疼痛表情视频中的第m帧图像中第i个人脸关键点坐标，(xi，yi)表示第i个人脸关键点坐标的平均位置。
5.根据权利要求1所述的疼痛评估方法，其特征在于，所述将所述特征图集中每一特征图基于疼痛表情先验知识进行分割，得到每一特征图分别对应的目标区域，包括：
基于疼痛表情先验知识得到目标点集；其中，所述目标点集包括与降低眉毛单元对应的第一目标点、与提起脸颊单元对应的第二目标点、与收紧眼睑单元对应的第三目标点、与皱起鼻肌单元对应的第四目标点、与提起上唇单元对应的第五目标点以及与眼睛眯缝单元对应的第六目标点；
获取所述目标点集中第k目标点；其中，k的初始值为1，且k的取值范围是[1，L]，L表示所述目标点集中所包括目标点的总数；
将所述特征图集中与所述第k目标点对应的区域进行分割，得到第k子目标区域；
将k自增1以更新k的取值，若确定k未超出L，返回执行所述获取所述目标点集中第k目标点的步骤；
若确定k超出L，获取第1子目标区域至第k子目标区域，组成目标区域。
6.根据权利要求1所述的疼痛评估方法，其特征在于，所述将所述目标区域集每一目标区域输入至预先训练的注意力网络中，得到所述目标区域集每一目标区域分别对应的加权特征向量，包括：
获取所述目标区域集每一目标区域中的第k子目标区域；
将所述第k子目标区域输入至预先训练的注意力网络中，得到所述第k子目标区域的特征向量及对应的重要性权重值；
将所述第k子目标区域的特征向量及对应的重要性权重值进行加权处理，得到所述第k子目标区域的加权特征向量；
将k自增1以更新k的取值，若确定k未超出L，返回执行所述获取所述目标区域集每一目标区域中的第k子目标区域的步骤；
若确定k超出L，基于第k子目标区域的加权特征向量至第L子目标区域的加权特征向量，得到所述目标区域集每一目标区域分别对应的加权特征向量。
7.根据权利要求1所述的疼痛评估方法，其特征在于，所述预先训练的VGG网络的训练过程，包括：
根据VGGFace数据库对VGG网络进行预训练，得到第一预先训练的VGG网络，其中，所述第一预先训练的VGG网络包括13层卷积层和3层全连接层；
将所述第一预先训练的VGG网络的前12层卷积层进行参数冻结处理，并将所述第一预先训练的VGG网络的3层全连接层替换为重新初始化后的全连接层，得到修改后的第一预先训练的VGG网络；
将所述修改后的第一预先训练的VGG网络在预处理后的疼痛表情数据上进行训练，得到所述预先训练的VGG网络；其中，所述预处理后的疼痛表情数据根据UNBC-McMaster数据库进行人脸预处理得到。
8.一种基于人脸表情视频的疼痛评估系统，其特征在于，包括：
图像处理模块，用于获取人脸疼痛表情视频，将所述人脸疼痛表情视频中的每一帧图像进行人脸预处理，得到预处理后的人脸表情图像集；
特征图获取模块，用于将所述预处理后的人脸表情图像集中的每一帧人脸表情图像输入至预先训练的VGG网络中进行空间域特征提取，得到每一帧人脸表情图像分别对应的特征图，以组成特征图集；
目标区域获取模块，用于将所述特征图集中每一特征图基于疼痛表情先验知识进行分割，得到每一特征图分别对应的目标区域，以组成目标区域集；其中，所述目标区域集每一目标区域为与疼痛相关面部肌肉运动单元相应的区域；
加权特征向量获取模块，用于将所述目标区域集每一目标区域输入至预先训练的注意力网络中，得到所述目标区域集每一目标区域分别对应的加权特征向量；
特征融合模块，用于将每一目标区域的加权特征向量与对应的输出向量进行特征融合，得到每一目标区域的融合特征；其中，将所述人脸表情图像集中的每一帧人脸表情图像输入至预先训练的VGG网络中，得到每一帧人脸表情图像对应的输出向量；
疼痛强度评估模块，用于基于每一目标区域的融合特征得到融合特征序列，将所述融合特征序列输入至预先训练的长短时记忆网络中，得到疼痛强度评估值。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的疼痛评估方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的疼痛评估方法。
CN202210706990.5A 2022-06-21 2022-06-21 基于人脸表情视频的疼痛评估方法、系统、设备及介质 Active CN114943924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210706990.5A CN114943924B (zh) 2022-06-21 2022-06-21 基于人脸表情视频的疼痛评估方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210706990.5A CN114943924B (zh) 2022-06-21 2022-06-21 基于人脸表情视频的疼痛评估方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN114943924A true CN114943924A (zh) 2022-08-26
CN114943924B CN114943924B (zh) 2024-05-14

Family

ID=82911523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210706990.5A Active CN114943924B (zh) 2022-06-21 2022-06-21 基于人脸表情视频的疼痛评估方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN114943924B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116525145A (zh) * 2023-05-10 2023-08-01 电子科技大学长三角研究院(湖州) 一种基于动态融合模块的面部动态视频图像疼痛评估方法
CN117038055A (zh) * 2023-07-05 2023-11-10 广州市妇女儿童医疗中心 一种基于多专家模型的疼痛评估方法、系统、装置及介质
WO2024197967A1 (zh) * 2023-03-28 2024-10-03 中国科学院深圳先进技术研究院 一种基于时空信息的面部疼痛表情分析方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321827A (zh) * 2019-06-27 2019-10-11 嘉兴深拓科技有限公司 一种基于人脸疼痛表情视频的疼痛水平评估方法
WO2020029406A1 (zh) * 2018-08-07 2020-02-13 平安科技（深圳）有限公司 人脸情绪识别方法、装置、计算机设备及存储介质
CN111210907A (zh) * 2020-01-14 2020-05-29 西北工业大学 一种基于空时注意力机制的疼痛强度估计方法
WO2020155873A1 (zh) * 2019-02-02 2020-08-06 福州大学 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN113080855A (zh) * 2021-03-30 2021-07-09 广东省科学院智能制造研究所 一种基于深度信息的面部疼痛表情识别方法及系统
CN114469009A (zh) * 2022-03-18 2022-05-13 电子科技大学 一种面部疼痛表情分级评估方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020029406A1 (zh) * 2018-08-07 2020-02-13 平安科技（深圳）有限公司 人脸情绪识别方法、装置、计算机设备及存储介质
WO2020155873A1 (zh) * 2019-02-02 2020-08-06 福州大学 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法
CN110321827A (zh) * 2019-06-27 2019-10-11 嘉兴深拓科技有限公司 一种基于人脸疼痛表情视频的疼痛水平评估方法
CN111210907A (zh) * 2020-01-14 2020-05-29 西北工业大学 一种基于空时注意力机制的疼痛强度估计方法
CN113080855A (zh) * 2021-03-30 2021-07-09 广东省科学院智能制造研究所 一种基于深度信息的面部疼痛表情识别方法及系统
CN114469009A (zh) * 2022-03-18 2022-05-13 电子科技大学 一种面部疼痛表情分级评估方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彭进业;杨瑞靖;冯晓毅;王文星;彭先霖;: "人脸疼痛表情识别综述", 数据采集与处理, no. 01, 15 January 2016 (2016-01-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024197967A1 (zh) * 2023-03-28 2024-10-03 中国科学院深圳先进技术研究院 一种基于时空信息的面部疼痛表情分析方法及系统
CN116525145A (zh) * 2023-05-10 2023-08-01 电子科技大学长三角研究院(湖州) 一种基于动态融合模块的面部动态视频图像疼痛评估方法
CN117038055A (zh) * 2023-07-05 2023-11-10 广州市妇女儿童医疗中心 一种基于多专家模型的疼痛评估方法、系统、装置及介质
CN117038055B (zh) * 2023-07-05 2024-04-02 广州市妇女儿童医疗中心 一种基于多专家模型的疼痛评估方法、系统、装置及介质

Also Published As

Publication number Publication date
CN114943924B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
Zhang et al. Bridge-Net: Context-involved U-net with patch-based loss weight mapping for retinal blood vessel segmentation
CN114943924B (zh) 基于人脸表情视频的疼痛评估方法、系统、设备及介质
Amin et al. Attention-inception and long-short-term memory-based electroencephalography classification for motor imagery tasks in rehabilitation
Lee et al. Realistic modeling for facial animation
CN106682389B (zh) 一种用于监控高血压引发的眼部病变健康管理系统
CN109543526B (zh) 基于深度差异性特征的真假面瘫识别系统
CN110544274B (zh) 一种基于多光谱的眼底图像配准方法及系统
CN111274916A (zh) 人脸识别方法和人脸识别装置
CN111881838B (zh) 具有隐私保护功能的运动障碍评估录像分析方法及设备
de San Roman et al. Saliency driven object recognition in egocentric videos with deep CNN: toward application in assistance to neuroprostheses
CN112017155B (zh) 健康体征数据的测量方法、装置、系统和存储介质
CN115024706A (zh) 一种融合ConvLSTM和CBAM注意力机制的非接触式心率测量方法
CN111176447A (zh) 一种融合深度网络和几何模型的增强现实眼动交互方法
CN111178187A (zh) 一种基于卷积神经网络的人脸识别方法及装置
Asyhar et al. Implementation LSTM Algorithm for Cervical Cancer using Colposcopy Data
Saraswathi et al. Brain tumor segmentation and classification using self organizing map
Yuan et al. Pain intensity recognition from masked facial expressions using swin-transformer
CN104331705B (zh) 融合时空信息的步态周期自动检测方法
CN112183315B (zh) 动作识别模型训练方法和动作识别方法及装置
WO2021054217A1 (ja) 画像処理装置、画像処理方法及びプログラム
CN116664677B (zh) 一种基于超分辨率重建的视线估计方法
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
CN115154828A (zh) 一种基于脑机接口技术的大脑功能重塑方法、系统、设备
CN115624322A (zh) 一种基于高效时空建模的非接触生理信号检测方法及系统
CN112598028B (zh) 眼底图像配准模型训练方法、眼底图像配准方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant