CN110738082B - 人脸关键点的定位方法、装置、设备及介质 - Google Patents
人脸关键点的定位方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN110738082B CN110738082B CN201810803590.XA CN201810803590A CN110738082B CN 110738082 B CN110738082 B CN 110738082B CN 201810803590 A CN201810803590 A CN 201810803590A CN 110738082 B CN110738082 B CN 110738082B
- Authority
- CN
- China
- Prior art keywords
- points
- face
- image
- key points
- anchor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 238000001914 filtration Methods 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 16
- 238000009499 grossing Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims 1
- 230000001788 irregular Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- NOQGZXFMHARMLW-UHFFFAOYSA-N Daminozide Chemical group CN(C)NC(=O)CCC(O)=O NOQGZXFMHARMLW-UHFFFAOYSA-N 0.000 description 7
- 210000000887 face Anatomy 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000010187 selection method Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Geometry (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人脸关键点的定位方法、装置、设备及介质，包括：在人脸图像的多对锚点中选择至少一对锚点作为约束锚点，所述锚点包括在人脸图像中位置相对稳定的点；按照所述约束锚点对所述人脸图像进行相似变换，确定第一图像；根据所述第一图像获取人脸关键点的位置信息，对所述人脸关键点进行曲线拟合，确定第二图像；基于所述第一图像及第二图像进行平滑滤波，确定符合要求的人脸关键点的位置信息。本发明提供的方案能够有效减少人脸关键点位置的不规则抖动，避免人脸关键点位置与人脸错位，同时保证了人脸关键点检测的实时性。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种人脸关键点的定位方法、装置、设备及介质。
背景技术
人脸关键点定位技术的目的是通过定位的人脸关键特征点来确定眼睛和嘴巴等主要器官的形状信息和位置信息。近年来，人脸定位技术发展迅速，在人脸识别、人脸美化、人脸表情分析、人脸追踪等技术领域中得到广泛应用。
现有的人脸关键点定位技术大部分是采用深度学习的方法实现，基本实现原理是，首先通过人脸检测模块检测出人脸在图片中的位置区域，然后将该区域的图片进行裁剪，将裁剪后的图片作为关键点检测网络的输入，关键点检测网络的输出结果就是人脸关键点的位置。
现有技术存在的缺陷在于：即使在人脸基本静止不动的状态下，输出的关键点位置也会存在细微的不规则的抖动，特别是在人脸快速运动的情况下，会出现输出的关键点位置与人脸错位。
发明内容
本发明实施例提供了一种人脸关键点的定位方法、装置、设备及介质，能够有效减少人脸关键点位置的不规则抖动，避免人脸关键点位置与人脸错位，同时保证人脸关键点检测的实时性。
第一方面，本发明实施例提供了一种人脸关键点的定位方法，方法包括：
在人脸图像的多对锚点中选择至少一对锚点作为约束锚点，所述锚点包括在人脸图像中位置相对稳定的点；
按照所述约束锚点对所述人脸图像进行相似变换，确定第一图像；
根据所述第一图像获取人脸关键点的位置信息，对所述人脸关键点进行曲线拟合，确定第二图像；
基于所述第一图像及第二图像进行平滑滤波，确定符合要求的人脸关键点的位置信息。
在第一方面的一些实施例中，所述在人脸图像的多对锚点中选择至少一对锚点作为约束锚点之前，还包括：
获取视频图像；
基于人脸检测算法检测人脸在所述视频图像中的位置；
判断是否首次检测到人脸在所述视频图像中的位置；
若是首次检测到人脸在所述视频图像中的位置，则根据卷积神经网络确定所述多对锚点的位置信息；
若非首次检测到人脸在所述视频图像中的位置，则根据光流跟踪算法对上一帧图像进行跟踪，确定所述多对锚点的位置信息。
在第一方面的一些实施例中，所述在人脸图像的多对锚点中选择至少一对锚点作为约束锚点，包括：
选择所述锚点的欧氏距离不小于所述锚点对应的距离阈值，且所述锚点的梯度值不小于梯度阈值的锚点，将选择的锚点作为候选约束锚点；
在所述候选约束锚点中，确定所述约束锚点。
在第一方面的一些实施例中，所述多对锚点包括：鼻翼两点、脸部上下两点和脸部左右两点；
所述在所述候选约束锚点中，确定所述约束锚点，包括：
在所述候选约束锚点中，按照优先级由高到低的顺序，选择至少一对约束锚点，作为所述约束锚点；
所述优先级由高到低包括：鼻翼两点，脸部上下两点，和脸部左右两点。
在第一方面的一些实施例中，所述基于所述约束锚点对所述人脸图像进行相似变换，确定第一图像，包括：
基于所述约束锚点计算所述人脸图像的相似变换矩阵，确定所述第一图像。
在第一方面的一些实施例中，所述对所述人脸关键点进行曲线拟合，包括：
在所述人脸关键点中选择损失函数训练权重不小于权重阈值的关键点，将不小于权重阈值的关键点作为主要关键点；
对所述主要关键点进行曲线拟合。
在第一方面的一些实施例中，所述基于所述第一图像及第二图像进行平滑滤波，确定符合要求的人脸关键点的位置信息，包括：
对所述第一图像的关键点及第二图像的关键点的位置偏移量进行平滑滤波，确定符合要求的人脸关键点的位置信息。
第二方面，本发明实施例提供了一种人脸关键点的定位装置，装置包括：
锚点获取模块，用于在人脸图像的多对锚点中选择至少一对锚点作为约束锚点，所述锚点包括在人脸图像中位置相对稳定的点；
相似变换模块，用于按照所述约束锚点对所述人脸图像进行相似变换，确定第一图像；
曲线拟合模块，用于根据所述第一图像获取人脸关键点的位置信息，对所述人脸关键点进行曲线拟合，确定第二图像；
平滑滤波模块，用于基于所述第一图像及第二图像进行平滑滤波，确定符合要求的人脸关键点的位置信息。
第三方面，本发明实施例提供了一种人脸关键点的定位设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令；
当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
根据本发明实施例中的人脸关键点的定位方法、装置、设备及介质，通过在人脸图像的多对锚点中选择至少一对锚点作为约束锚点，所述锚点包括在人脸图像中位置相对稳定的点；按照所述约束锚点对所述人脸图像进行相似变换，确定第一图像；根据所述第一图像获取人脸关键点的位置信息，对所述人脸关键点进行曲线拟合，确定第二图像；基于所述第一图像及第二图像进行平滑滤波，确定符合要求的人脸关键点的位置信息。从而有效减少人脸关键点位置的不规则抖动，避免人脸关键点位置与人脸错位，同时保证了人脸关键点检测的实时性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提供的人脸关键点的定位方法的示意流程图；
图2示出了本发明一个示例中锚点定位方法的示意流程图；
图3示出了本发明一个示例中锚点选择方法的示意流程图；
图4示出了本发明实施例提供的人脸关键点的定位装置的结构示意图；
图5示出了本发明实施例提供的人脸关键点的定位设备的硬件结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
需要说明的是，锚点是人脸图像上的关键特征点，例如，人脸边缘关键点、眉毛轮廓关键点、鼻子关键点、嘴巴关键点等。锚点也可以被称为关键点、特征点、角点等，在此不作限定。
下面结合图1-图5对本发明实施例提供的人脸关键点的定位方案进行详细说明。应注意，这些实施例并不是用来限制本发明公开的范围。
图1示出了本发明实施例提供的人脸关键点的定位方法的示意流程图。如图所示，本发明实施例提供的人脸关键点的定位方法100，包括如下步骤：
S110，在人脸图像的多对锚点中选择至少一对锚点作为约束锚点，锚点包括在人脸图像中位置相对稳定的点。
S120，按照约束锚点对人脸图像进行相似变换，确定第一图像。
S130，根据第一图像获取人脸关键点的位置信息，对人脸关键点进行曲线拟合，确定第二图像。
S140，基于第一图像及第二图像进行平滑滤波，确定符合要求的人脸关键点的位置信息。
在S110中，作为一个示例，在人脸图像中位置相对稳定的点，包括鼻翼两点、脸部上下两点、脸部左右两点，任意一对脸部边缘左右对称的两点等。其中，鼻翼两点包括鼻翼左侧一点和鼻翼右侧一点，且鼻翼左侧一点和鼻翼右侧一点为左右对称的两点。脸部上下两点包括脸部边缘居中的上、下两个点，且脸部边缘居中的上、下两个点为上下对称的两点。脸部左右两点包括脸部边缘居中的左、右两个点，且脸部边缘居中的左、右两个点为左右对称。脸部边缘左右对称的两点包括除脸部边缘居中的左、右两个点之外任意一对左右对称的两个点。
在本发明实例中，即使人脸姿势不同、人脸表情不同、人脸静止或运动，鼻翼两点、脸部上下两点、脸部左右两点、任意一对脸部边缘左右对称的两点在人脸图像中的位置都相对稳定。例如，在张嘴或闭嘴、睁眼或闭眼、正脸或侧脸、人脸静止或运动等情况下，鼻翼两点、脸部上下两点、脸部左右两点、任意一对脸部边缘左右对称的两点受影响的程度相对较小，在人脸图像中的位置都是相对稳定的。
需要说明的是，在S110之前还包括如图2所示的步骤。
图2示出了锚点定位方法的示意流程图。如图2所示，本发明提供的锚点定位方法200包括以下步骤：
S210，获取视频图像。
S220，基于人脸检测算法检测人脸在视频图像中的位置。
S230，判断是否首次检测到人脸在视频图像中的位置。
S240，若是首次检测到人脸在视频图像中的位置，则根据卷积神经网络确定多对锚点的位置信息。
S250，若非首次检测到人脸在视频图像中的位置，则根据光流跟踪算法对上一帧图像进行跟踪，确定多对锚点的位置信息。
在S210中，作为一个示例，获取视频的每一帧图像，作为人脸关键点定位处理过程的原始图像，需要说明的是并非每一帧图像里都有人脸，即使有一些帧图像里没有人脸，也不影响锚点位置信息的确定。
在S220中，作为一个示例，基于FasterRCNN算法实现的深度学习的人脸检测算法，在输入的视频图像中确定人脸图像的位置，并确定相应的人脸框。
(1)基于FasterRCNN算法实现的深度学习的人脸检测算法主要有以下步骤：输入检测图片；
(2)将整张图片输入卷积神经网络(Convolutional Neural NetWork，CNN)，进行特征提取；
(3)用区域生成网络(Region Proposal Network，RPN)生成建议窗口(proposals)，每张图片生成300个建议窗口；
(4)把建议窗口映射到CNN的最后一层卷积特征图(feature map)上；
(5)通过感兴趣区池化层(Region of interest pooling，RoI pooling)使每个RoI生成固定尺寸的feature map；
(6)利用探测分类概率)和探测边框回归对分类概率和边框回归联合训练。
需要说明的是，除上述提供的FasterRCNN算法外，还可以采用其他算法实现上述深度学习的人脸检测算法，在此不作限定。
在S240中，作为一个示例，若非首次检测到人脸在视频图像中的位置，根据卷积神经网络，将首次检测到的视频图像中的人脸图像作为卷积神经网络的输入图像，卷积神经网络包括卷积层conv、激活层relu和全连接层ip，通过卷积神经网络的一系列运算，全连接层ip6输出12个数字，即对应的三对锚点的坐标。
在S250中，光流跟踪算法是一种广泛使用的光流估计的差分方法，假设光流在像素点的邻域是一个常数，然后使用最小二乘法对邻域中的所有像素点求解基本的光流方程。
需要说明的是，在S110中，在人脸图像的多对锚点中选择至少一对锚点作为约束锚点包括图3所示的步骤。
图3示出了锚点选择方法的示意流程图。如图3所示，本发明提供的锚点选择方法300包括以下步骤：
S310，选择锚点的欧氏距离不小于锚点对应的距离阈值，且锚点的梯度值不小于梯度阈值的锚点，将选择的锚点作为候选约束锚点。
S320，多对锚点包括：鼻翼两点、脸部上下两点和脸部左右两点；在候选约束锚点中，按照优先级由高到低的顺序，选择至少一对约束锚点，作为约束锚点，优先级由高到低包括：鼻翼两点，脸部上下两点，和脸部左右两点。
在S310中，需要说明的是，距离阈值和梯度阈值可以根据经验值设定，在此不作限定。作为一个示例，选择100张不同性别、不同国别、不同年龄段、不同人脸姿势、不同人脸表情的人脸图片，分别统计100张人脸图片中，鼻翼两点的欧氏距离D0、脸部上下两点的欧式距离D1和脸部左右两点的欧氏距离D3，根据统计结果确定距离阈值可以分别为0.05×avgSize、0.8×avgSize、0.6×avgSize，其中avgSize表示人脸平均尺寸。
作为另一个示例，锚点的梯度值可以根据拉普拉斯算子来实现，可通过下面的表达式(1)来计算。
L(x,y)＝f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4×f(x,y) (1)
在上述表达式(1)中，(x,y)表示锚点坐标，L(x,y)表示锚点梯度值，f(x,y)表示锚点灰度值，f(x+1,y)表示锚点右边一个点的灰度值，f(x-1,y)表示锚点左边一个点的灰度值，f(x,y+1)表示锚点上边一个点的灰度值，f(x,y-1)表示锚点下边一个点的灰度值。
锚点的梯度阈值根据经验可以设为5。
在鼻翼两点、脸部上下两点和脸部左右两点中选择D0≥0.05×avgSize、D1≥0.8×avgSize、D2≥0.6×avgSize，且L(x,y)≥5的锚点，将选择的锚点作为候选约束锚点。
在本发明实施例中，在侧脸、仰头、低头等情况下，锚点会出现重合、锚点的欧氏距离和/或梯度值变小，选择锚点的欧氏距离不小于锚点对应的距离阈值，且锚点的梯度值不小于梯度阈值的锚点，将选择的锚点作为候选约束锚点，排除了侧脸、仰头、低头等情况下不符合距离阈值和梯度阈值的锚点，保证了约束锚点的稳定性，从而保证了输入图像中的相对稳定。
在S320中，作为一个示例，多对锚点包括：鼻翼两点、脸部上下两点和脸部左右两点；在候选约束锚点中，按照优先级由高到低的顺序，选择至少一对约束锚点，作为约束锚点，优先级由高到低包括：鼻翼两点，脸部上下两点，和脸部左右两点。例如，在候选约束锚点中只选择一对约束锚点，如果候选约束锚点中有鼻翼两点，只需选择鼻翼两点作为约束锚点即可，就不再考虑脸部上下两点和脸部左右两点；候选约束点中无鼻翼两点，有脸部上下两点和脸部左右两点，只需选择脸部上下两点作为约束锚点即可，就不再考虑脸部左右两点，以此类推。
又例如，在候选约束锚点中选择两对约束锚点，如果候选约束锚点中有鼻翼两点和脸部上下两点，只需选择鼻翼两点和脸部上下两点作为约束锚点即可，就不再考虑脸部左右两点，依次类推。
需要说明的是，在人脸运动和人脸做任何表情的过程中，鼻翼两点的稳定性最高，脸部上下两点的稳定性次之，脸部左右两点的稳定性相对最低，优先级由高到低包括：鼻翼两点，脸部上下两点，和脸部左右两点，就保证了即使是在候选约束锚点中只选择一对约束锚点，所选择的约束锚点在候选约束锚点中也是稳定性最高的，从而保证了输入图像的稳定性。
另外，在候选约束锚点中只选择一对约束锚点，在人脸图像的相似变换过程中只需计算两点即可，计算复杂度低，速度快。在候选约束锚点中选择两对或三对约束锚点，计算相对复杂，但输入图像相对更稳定。
在本发明实施例中，选择锚点的欧氏距离不小于锚点对应的距离阈值，且锚点的梯度值不小于梯度阈值的锚点，将选择的锚点作为候选约束锚点；在候选约束锚点中，按照优先级由高到低的顺序，选择至少一对约束锚点，作为约束锚点，优先级由高到低包括：鼻翼两点，脸部上下两点，以及脸部左右两点。因为鼻翼两点、脸部上下两点和脸部左右两点的位置相对比较稳定，受人脸运动和表情的影响相对较小，确定三对锚点的具体位置，再从中选择至少一对作为约束锚点，从而能够保证不论人脸如何运动，做何种表情，能够保证输入图像的相对稳定。
在S120中，作为一个示例，按照约束锚点对人脸图像进行相似变换，确定第一图像，包括基于约束锚点计算人脸图像的相似变换矩阵，可以通过下面的表达式(2)来计算。
在上述表达式(2)中，s表示缩放量，θ表示旋转角度，tx表示x方向上的平移量，ty表示y方向上的平移量，(x,y)表示约束锚点坐标，(x′,y′)表示相似变换后人脸的关键点坐标。
在本发明实施例中，通过图像相似变换方法，保证锚点在输入图像中的位置不变，从而保证了不论人脸如何运动，输入图像是相对稳定的，从而增强了输出图像中关键点的稳定性。
在S130中，作为一个示例，根据第一图像获取人脸关键点的位置信息，在人脸关键点中选择损失函数训练权重不小于权重阈值的关键点，将不小于权重阈值的关键点作为主要关键点，对主要关键点进行曲线拟合。
需要说明的是，人脸关键点多达数百个，挑选损失函数训练权重不小于权重阈值的关键点作为主要关键点，权重阈值可以根据经验设定，在此不作限定。
还需要说明的是，主要关键点包括人脸框上下居中且对称的两个关键点、人脸框左右居中且对称的两个关键点、两只眼睛轮廓关键点、两个眼球中心关键点、鼻翼左侧的一个关键点、鼻翼右侧的一个关键点、鼻尖上下两个关键点、嘴巴轮廓关键点、上下嘴唇中心两个关键点、左右眉尖两个关键点等。
另外，对主要关键点进行曲线拟合的次数可以根据经验设定，例如，对人脸框上的关键点和两只眼睛轮廓关键点进行二次曲线拟合，对鼻翼左侧的一个关键点、鼻翼右侧的一个关键点、鼻尖上下两个关键点、嘴巴轮廓关键点、上下嘴唇中心两个关键点、左右眉尖两个关键点进行三次曲线拟合。
曲线拟合可以采用最小二乘法实现，在此不作限定。
在本发明实施例中，通过挑选损失函数训练权重不小于权重阈值的关键点作为主要关键点，对主要关键点进行曲线拟合，在深度学习模型过程中，损失函数针对性的加大了对主要关键点的训练权重，从而主要关键点回归的准确性更高，相应的曲线拟合的更准确。曲线拟合好后，拟合曲线上每个关键点的位置修正为距离关键点原始位置最近的一点，对关键点的位置施加强约束从而保证了输出关键点的稳定性。
在S140中，作为一个示例，对所述第一图像的关键点及第二图像的关键点的位置偏移量进行平滑，确定符合要求的人脸关键点的位置信息，例如，符合要求的人脸关键点的位置可以根据下面的表达式(3)来计算。
(x3，y3)＝(x0，y0)+d×Sigmiod(d) (3)
在上述表达式(3)中，(x0，y0)表示第一图像中的人脸关键点的位置，d表示第一图像中的人脸关键点和第二图像中的人脸关键点的位置偏移量，Sigmiod表示平滑函数，(x3，y3)表示符合要求的人脸关键点的位置。
通过采用Sigmiod平滑函数对关键点的位置偏移量进行平滑滤波，抑制关键点较小幅度的振动噪声，保留较大运动幅度的关键点，从而有效减少人脸关键点位置的不规则抖动，避免人脸关键点位置与人脸错位。
在本发明实施例中，通过在人脸图像的多对锚点中选择至少一对锚点作为约束锚点，所述锚点包括在人脸图像中位置相对稳定的点；按照所述约束锚点对所述人脸图像进行相似变换，确定第一图像；根据所述第一图像获取人脸关键点的位置信息，对所述人脸关键点进行曲线拟合，确定第二图像；基于所述第一图像及第二图像进行平滑滤波，确定符合要求的人脸关键点的位置信息。从而有效减少人脸关键点位置的不规则抖动，避免人脸关键点位置与人脸错位，同时保证了人脸关键点检测的实时性。
基于同样的发明构思，本发明实施例还提供了一种人脸关键点的定位装置。如图4所示，本发明人脸关键点的定位装置，包括：
锚点获取模块401，用于在人脸图像的多对锚点中选择至少一对锚点作为约束锚点，锚点包括在人脸图像中位置相对稳定的点；
相似变换模块402，用于按照约束锚点对人脸图像进行相似变换，确定第一图像；
曲线拟合模块403，用于根据第一图像获取人脸关键点的位置信息，对人脸关键点进行曲线拟合，确定第二图像；
平滑滤波模块404，用于基于第一图像及第二图像进行平滑滤波，确定符合要求的人脸关键点的位置信息。
在一个实施方式中，锚点获取模块401具体用于：
获取视频图像；
基于人脸检测算法检测人脸在视频图像中的位置；
判断是否首次检测到人脸在视频图像中的位置；
若是首次检测到人脸在视频图像中的位置，则根据卷积神经网络确定多对锚点的位置信息；
若非首次检测到人脸在视频图像中的位置，则根据光流跟踪算法对上一帧图像进行跟踪，确定多对锚点的位置信息。
在一个实施方式中，锚点获取模块401具体用于：
选择锚点的欧氏距离不小于锚点对应的距离阈值，且锚点的梯度值不小于梯度阈值的锚点，将选择的锚点作为候选约束锚点；
在候选约束锚点中，确定约束锚点。
在一个实施方式中，锚点获取模块401具体用于：
多对锚点包括：鼻翼两点、脸部上下两点和脸部左右两点；
在候选约束锚点中，按照优先级由高到低的顺序，选择至少一对约束锚点，作为约束锚点；
优先级由高到低包括：鼻翼两点，脸部上下两点，和脸部左右两点。
在一个实施方式中，相似变换模块402具体用于：
基于约束锚点计算人脸图像的相似变换矩阵，确定第一图像。
在一个实施方式中，曲线拟合模块403具体用于：
在人脸关键点中选择损失函数训练权重不小于权重阈值的关键点，将不小于权重阈值的关键点作为主要关键点；
对主要关键点进行曲线拟合。
在一个实施方式中，平滑滤波模块404具体用于：
对第一图像的关键点及第二图像的关键点的位置偏移量进行平滑，确定符合要求的人脸关键点的位置信息。
在一个实施方式中，锚点获取模块401具体用于：
多对锚点包括鼻翼两点、脸部上下两点和脸部左右两点。
根据本发明实施例的人脸关键点的定位装置的其他细节与以上结合图1至图3描述的根据本发明实施例的对人脸关键点的定位方法类似，在此将不再赘述。
另外，结合图1至图4描述的根据本发明实施例的人脸关键点的定位方法和装置可以由人脸关键点的定位设备来实现。图5是示出能够实现根据本发明实施例的人脸关键点的定位方法和装置的人脸关键点的定位的示例性硬件架构的结构图。如图5所示，用计算机设备500包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505、以及输出设备506。其中，输入接口502、中央处理器503、存储器504、以及输出接口505通过总线510相互连接，输入设备501和输出设备506分别通过输入接口502和输出接口505与总线510连接，进而与计算机500的其他组件连接。具体地，输入设备501接收来自外部例如用户设备的输入信息，并通过输入接口502将输入信息传送到中央处理器503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出接口505将输出信息传送到输出设备506；输出设备506(例如显示器)将输出信息输出到计算机设备500的外部供用户使用。
在一个实施例中，图5所示的计算机500可以被实现为包括：存储器504，被配置为存储程序；输入设备501，被配置为接收各网络设备的端口流量信息、简单网络管理协议自陷告警信息和端口描述信息；中央处理器503，被配置为运行存储器中存储的程序，以执行以下步骤：在人脸图像的多对锚点中选择至少一对锚点作为约束锚点，所述锚点包括在人脸图像中位置相对稳定的点；按照所述约束锚点对所述人脸图像进行相似变换，确定第一图像；根据所述第一图像获取人脸关键点的位置信息，对所述人脸关键点进行曲线拟合，确定第二图像；基于所述第一图像及第二图像进行平滑滤波，确定符合要求的人脸关键点的位置信息。显示器，用于显示生成的符合要求的人脸关键点的定位信息。
通过本发明实施例的人脸关键点的定位设备，能够有效减少人脸关键点位置的不规则抖动，避免人脸关键点位置与人脸错位，同时保证了人脸关键点检测的实时性。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (11)
1.一种人脸关键点的定位方法，其特征在于，所述方法包括：
在人脸图像的多对锚点中选择至少一对锚点作为约束锚点，所述锚点包括在人脸图像中位置相对稳定的点；按照所述约束锚点对所述人脸图像进行相似变换，确定第一图像；
根据所述第一图像获取人脸关键点的位置信息，对所述人脸关键点进行曲线拟合，确定第二图像；
基于所述第一图像及第二图像进行平滑滤波，确定符合要求的人脸关键点的位置信息；
所述基于所述第一图像及第二图像进行平滑滤波，确定符合要求的人脸关键点的位置信息，包括：
根据公式(x3，y3)＝(x0，y0)+d×Sigmiod(d)，确定符合要求的人脸关键点的位置信息，其中，(x0，y0)表示所述第一图像中的人脸关键点的位置，d表示所述第一图像中的人脸关键点和所述第二图像中的人脸关键点的位置偏移量，Sigmiod表示平滑函数，(x3，y3)表示符合要求的人脸关键点的位置。
2.根据权利要求1所述的方法，其特征在于，所述在人脸图像的多对锚点中选择至少一对锚点作为约束锚点之前，还包括：
获取视频图像；
基于人脸检测算法检测人脸在所述视频图像中的位置；
判断是否首次检测到人脸在所述视频图像中的位置；
若是首次检测到人脸在所述视频图像中的位置，则根据卷积神经网络确定所述多对锚点的位置信息；
若非首次检测到人脸在所述视频图像中的位置，则根据光流跟踪算法对上一帧图像进行跟踪，确定所述多对锚点的位置信息。
3.根据权利要求1所述的方法，其特征在于，所述在人脸图像的多对锚点中选择至少一对锚点作为约束锚点，包括：
选择所述锚点的欧氏距离不小于所述锚点对应的距离阈值，且所述锚点的梯度值不小于梯度阈值的锚点，将选择的锚点作为候选约束锚点；
在所述候选约束锚点中，确定所述约束锚点。
4.根据权利要求3所述的方法，其特征在于，所述多对锚点包括：鼻翼两点、脸部上下两点和脸部左右两点；
所述在所述候选约束锚点中，确定所述约束锚点，包括：
在所述候选约束锚点中，按照优先级由高到低的顺序，选择至少一对约束锚点，作为所述约束锚点；
所述优先级由高到低包括：鼻翼两点，脸部上下两点，和脸部左右两点。
5.根据权利要求1所述的方法，其特征在于，所述基于所述约束锚点对所述人脸图像进行相似变换，确定第一图像，包括：
基于所述约束锚点计算所述人脸图像的相似变换矩阵，确定所述第一图像。
6.根据权利要求1所述的方法，其特征在于，所述对所述人脸关键点进行曲线拟合，包括：
在所述人脸关键点中选择损失函数训练权重不小于权重阈值的关键点，将不小于权重阈值的关键点作为主要关键点；
对所述主要关键点进行曲线拟合。
7.根据权利要求1所述的方法，其特征在于，所述基于所述第一图像及第二图像进行平滑滤波，确定符合要求的人脸关键点的位置信息，包括：
对所述第一图像的关键点及第二图像的关键点的位置偏移量进行平滑滤波，确定符合要求的人脸关键点的位置信息。
8.根据权利要求1所述的方法，其特征在于，所述多对锚点包括鼻翼两点、脸部上下两点和脸部左右两点。
9.一种人脸关键点的定位装置，其特征在于，包括：
锚点获取模块，用于在人脸图像的多对锚点中选择至少一对锚点作为约束锚点，所述锚点包括在人脸图像中位置相对稳定的点；
相似变换模块，用于按照所述约束锚点对所述人脸图像进行相似变换，确定第一图像；
曲线拟合模块，用于根据所述第一图像获取人脸关键点的位置信息，对所述人脸关键点进行曲线拟合，确定第二图像；
平滑滤波模块，用于基于所述第一图像及第二图像进行平滑滤波，确定符合要求的人脸关键点的位置信息；
所述平滑滤波模块，具体用于：
根据公式(x3，y3)＝(x0，y0)+d×Sigmiod(d)，确定符合要求的人脸关键点的位置信息，其中，(x0，y0)表示所述第一图像中的人脸关键点的位置，d表示所述第一图像中的人脸关键点和所述第二图像中的人脸关键点的位置偏移量，Sigmiod表示平滑函数，(x3，y3)表示符合要求的人脸关键点的位置。
10.一种人脸关键点的定位设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令；
当所述计算机程序指令被所述处理器执行时实现如权利要求1-8任一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810803590.XA CN110738082B (zh) | 2018-07-20 | 2018-07-20 | 人脸关键点的定位方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810803590.XA CN110738082B (zh) | 2018-07-20 | 2018-07-20 | 人脸关键点的定位方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110738082A CN110738082A (zh) | 2020-01-31 |
| CN110738082B true CN110738082B (zh) | 2023-01-24 |
Family
ID=69235603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810803590.XA Active CN110738082B (zh) | 2018-07-20 | 2018-07-20 | 人脸关键点的定位方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110738082B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113239839B (zh) * | 2021-05-24 | 2022-03-11 | 电子科技大学成都学院 | 基于dca人脸特征融合的表情识别方法 |
| CN118261972A (zh) * | 2022-12-27 | 2024-06-28 | 上海哔哩哔哩科技有限公司 | 关键点位置调整方法、装置、计算机设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103632129A (zh) * | 2012-08-28 | 2014-03-12 | 腾讯科技（深圳）有限公司 | 一种人脸特征点定位方法及装置 |
| CN104680550A (zh) * | 2015-03-24 | 2015-06-03 | 江南大学 | 一种通过图像特征点的轴承表面瑕疵检测的方法 |
| CN105095857A (zh) * | 2015-06-26 | 2015-11-25 | 上海交通大学 | 基于关键点扰动技术的人脸数据增强方法 |
| CN107066966A (zh) * | 2017-04-17 | 2017-08-18 | 宜宾学院 | 一种基于关键点区域图像的人脸识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7751599B2 (en) * | 2006-08-09 | 2010-07-06 | Arcsoft, Inc. | Method for driving virtual facial expressions by automatically detecting facial expressions of a face image |
| CN105184249B (zh) * | 2015-08-28 | 2017-07-18 | 百度在线网络技术（北京）有限公司 | 用于人脸图像处理的方法和装置 |
-
2018
- 2018-07-20 CN CN201810803590.XA patent/CN110738082B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103632129A (zh) * | 2012-08-28 | 2014-03-12 | 腾讯科技（深圳）有限公司 | 一种人脸特征点定位方法及装置 |
| CN104680550A (zh) * | 2015-03-24 | 2015-06-03 | 江南大学 | 一种通过图像特征点的轴承表面瑕疵检测的方法 |
| CN105095857A (zh) * | 2015-06-26 | 2015-11-25 | 上海交通大学 | 基于关键点扰动技术的人脸数据增强方法 |
| CN107066966A (zh) * | 2017-04-17 | 2017-08-18 | 宜宾学院 | 一种基于关键点区域图像的人脸识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| "Context-based additive logistic model for facial keypoint localization";Peng Li.et al;《http://www.cs.ucl.ac.uk/》;20101231;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110738082A (zh) | 2020-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10891473B2 (en) | Method and device for use in hand gesture recognition | |
| CN110147744B (zh) | 一种人脸图像质量评估方法、装置及终端 | |
| US9480417B2 (en) | Posture estimation device, posture estimation system, and posture estimation method | |
| US9792494B2 (en) | Image processing apparatus, method, and program capable of recognizing hand gestures | |
| CN110688929B (zh) | 一种人体骨架关节点定位方法及装置 | |
| US20200327304A1 (en) | System and method for rapidly locating iris using deep learning | |
| CN111310705A (zh) | 图像识别方法、装置、计算机设备及存储介质 | |
| CN105787448A (zh) | 基于时空级联形状回归的人脸形状跟踪方法 | |
| MX2013002904A (es) | Aparato de proceso de imagenes de personas y metodo para procesar imagenes de personas. | |
| CN106373128B (zh) | 一种嘴唇精确定位的方法和系统 | |
| CN112560962B (zh) | 骨骼动画的姿态匹配方法、装置、电子设备及存储介质 | |
| CN110738082B (zh) | 人脸关键点的定位方法、装置、设备及介质 | |
| CN112949440A (zh) | 一种提取行人的步态特征的方法、步态识别方法及系统 | |
| JP6381368B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| CN109447006A (zh) | 图像处理方法、装置、设备及存储介质 | |
| EP1496465A1 (en) | Process and device for detecting faces in a colour image | |
| CN113269010B (zh) | 一种人脸活体检测模型的训练方法和相关装置 | |
| Chen et al. | Eyes localization algorithm based on prior MTCNN face detection | |
| CN111784660B (zh) | 一种用于人脸图像的正脸程度的分析方法和系统 | |
| CN110781712B (zh) | 一种基于人脸检测与识别的人头空间定位方法 | |
| CN114943924B (zh) | 基于人脸表情视频的疼痛评估方法、系统、设备及介质 | |
| CN110826495A (zh) | 基于面部朝向的身体左右肢体一致性跟踪判别方法及系统 | |
| CN113780234B (zh) | 一种边缘指导的人眼图像解析方法 | |
| CN116092193A (zh) | 一种基于人体运动状态识别的行人航迹推算方法 | |
| CN112733704B (zh) | 图像处理方法、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |