CN109034131B - 一种半自动人脸关键点标注方法及存储介质 - Google Patents
一种半自动人脸关键点标注方法及存储介质 Download PDFInfo
- Publication number
- CN109034131B CN109034131B CN201811019833.7A CN201811019833A CN109034131B CN 109034131 B CN109034131 B CN 109034131B CN 201811019833 A CN201811019833 A CN 201811019833A CN 109034131 B CN109034131 B CN 109034131B
- Authority
- CN
- China
- Prior art keywords
- face
- point
- contour
- points
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003860 storage Methods 0.000 title claims description 15
- 230000001815 facial effect Effects 0.000 claims abstract description 53
- 238000002372 labelling Methods 0.000 claims abstract description 44
- 210000000697 sensory organ Anatomy 0.000 claims abstract description 29
- 230000009466 transformation Effects 0.000 claims description 14
- 238000003708 edge detection Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 6
- 239000003550 marker Substances 0.000 abstract description 15
- 230000008569 process Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000003340 mental effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
Abstract
本发明涉及了一种半自动人脸关键点标注方法，该方法包括以下步骤：将待标注的人脸图片分为两个部分分别进行标注，人脸五官部分以及人脸轮廓部分；提取人脸五官部分的纹理边缘作为目标曲线V；为偏离人脸五官部分的纹理边缘的点提供锚点PA，将关键点
配准到目标曲线V上，直至得到人脸五官部分满意的标注结果；提取人脸轮廓部分的纹理边缘作为目标曲线V′；将关键点
配准到目标曲线V′上，直至得到人脸轮廓部分满意的标注结果。区别于现有技术，本发明可以在标注者提供少量关键信息的条件下，由标注工具自动计算大部分关键点的位置。为不同部位设计了不同的标注方式，其对于关键点标注的初始化具有很强的鲁棒性，适应范围广。
Description
技术领域
本发明涉及图像处理与模式识别的技术领域，特别涉及一种半自动人脸关键点数据标注方法及存储介质，尤其是一种基于迭代非刚性最近点配准法和三维可变模型的半自动人脸稠密关键点标注方法。
背景技术
稠密人脸关键点是人脸上一系列具有固定语义或描述具体轮廓的点，如下巴、眉尖、眼角、眼周等。稠密人脸关键点定位是很多基于人脸理解的计算机视觉任务中的重要预处理步骤，例如人脸识别、三维人脸重构和人脸姿态估计等。现有人脸关键点定位算法，尤其是基于深度学习的关键点定位算法对数据有很强的依赖性，因此数据是影响最终关键点检测模型性能的重要因素。
传统的人脸关键点标注方法遵循一个固定的流程，首先对图片上人脸关键点进行粗略初始化，然后标注者选中偏离的关键点并拖拽至其所认为的正确位置。其中，轮廓关键点的标注尤其困难，由于很多轮廓关键点并没有明确的语义位置，只是定义为“均匀分布在人脸轮廓上”。大部分情况下，标注者在将关键点移动到轮廓上后，还需要再次调整关键点直到它们均匀分布。这种方法在关键点比较少时比较可行，但是在稠密关键点上应用时耗时严重。其中存在的挑战主要有以下两个方面：首先，传统的标注方法中，对于没有明确语义位置的点(如轮廓点)，其最终位置过度依赖于标注者的主观判断，而标注往往需要多个标注者完成，这就导致标注位置随机，数据集标注质量差。其次，反复的拖拽确认需要标注者持续高程度地集中精力，这种方式会使标注者迅速进入疲劳而导致标注效率迅速下降。因此，研究者们迫切需要一种更加高效的标注工具来更快地标注更复杂的数据集。
发明内容
为此，需要提供一种半自动人脸关键点标注方法及存储介质，以实现更快更高效的人脸关键点标注。
为实现上述目的，发明人提供了一种半自动人脸关键点标注方法，该方法包括以下步骤：
步骤101，将待标注的人脸图片分为两个部分分别进行标注，其中一个部分为人脸五官部分，另一个部分为人脸轮廓部分；
步骤102，将人脸五官部分分别点击预先定义好的锚点位置Pa＝[p1，p2...，pl]，通过非镜像反射变换将人脸五官初始化的关键点变换到对应人脸五官部分得到新的初始化关键点
步骤103，提取人脸五官部分的纹理边缘作为目标曲线V；
步骤104，为偏离人脸五官部分的纹理边缘的点提供锚点PA，通过非刚性最近点配准法将关键点
配准到目标曲线V上，重复提供锚点PA和将关键点
配准到目标曲线V上的步骤，直至得到人脸五官部分满意的标注结果；
步骤105，为人脸轮廓部分提供轮廓起点、下巴、轮廓终点三个锚点，对人脸图片进行三维可变模型拟合，将拟合好的三维人脸上的轮廓关键点投影到二维图片上得到轮廓点的初始位置
步骤106，提取人脸轮廓部分的纹理边缘作为目标曲线V′；
步骤107，为偏离人脸轮廓部分的纹理边缘的点提供锚点PA′，通过非刚性最近点配准法将关键点
配准到目标曲线V′上，重复提供锚点PA′和将关键点
配准到目标曲线V上的步骤，直至得到人脸轮廓部分满意的标注结果。
作为本发明的一种优选工艺，步骤103具体为，通过结构化森林边缘检测算法提取人脸五官部分的纹理边缘作为目标曲线V，寻找预定范围内目标曲线V上与待调整关键点最接近的点Pcp。
作为本发明的一种优选工艺，在步骤104中，根据配准后的结果判断，是否需要提供新的锚点PA通过非刚性最近点配准法进行重复配准。
作为本发明的一种优选工艺，在步骤105中，为人脸轮廓部分提供轮廓起点、下巴、轮廓终点三个锚点，并且加入步骤102中完成的人脸五官部分锚点P1，再对人脸图片进行三维可变模型拟合。
作为本发明的一种优选工艺，步骤106具体为，通过结构化森林边缘检测算法提取人脸轮廓部分的纹理边缘作为目标曲线V′。
区别于现有技术，上述技术方案具有以下优点：在标注过程中充分利用了关键点位置分布的两个规律：1)分布在强纹理边缘处。2)满足人脸的结构先验。可以在标注者提供少量关键信息的条件下，由标注工具自动计算大部分关键点的位置。降低了标注中标注者的主观判断成份，减少了标注过程中标注者的精神损耗，大幅度提升了标注效率。本发明考虑了人脸结构的不同特征，为不同部位设计了不同的标注方式，其对于关键点标注的初始化具有很强的鲁棒性，适应范围广。
为实现上述目的，发明人还提供了一种半自动人脸关键点标注存储介质，存储有计算机程序，所述计算机程序在被运行时执行以下步骤：
步骤101，将待标注的人脸图片分为两个部分分别进行标注，其中一个部分为人脸五官部分，另一个部分为人脸轮廓部分；
步骤102，将人脸五官部分分别点击预先定义好的锚点位置Pa＝[p1，p2...，pl]，通过非镜像反射变换将人脸五官初始化的关键点变换到对应人脸五官部分得到新的初始化关键点
步骤103，提取人脸五官部分的纹理边缘作为目标曲线V；
步骤104，为偏离人脸五官部分的纹理边缘的点提供锚点PA，通过非刚性最近点配准法将关键点
配准到目标曲线V上，重复提供锚点PA和将关键点
配准到目标曲线V上的步骤，直至得到人脸五官部分满意的标注结果；
步骤105，为人脸轮廓部分提供轮廓起点、下巴、轮廓终点三个锚点，对人脸图片进行三维可变模型拟合，将拟合好的三维人脸上的轮廓关键点投影到二维图片上得到轮廓点的初始位置
步骤106，提取人脸轮廓部分的纹理边缘作为目标曲线V′；
步骤107，为偏离人脸轮廓部分的纹理边缘的点提供锚点PA′，通过非刚性最近点配准法将关键点
配准到目标曲线V′上，重复提供锚点PA′和将关键点
配准到目标曲线V上的步骤，直至得到人脸轮廓部分满意的标注结果。
作为本发明的一种优选工艺，步骤103具体为，通过结构化森林边缘检测算法提取人脸五官部分的纹理边缘作为目标曲线V，寻找预定范围内目标曲线V上与待调整关键点最接近的点Pcp。
作为本发明的一种优选工艺，在步骤104中，根据配准后的结果判断，是否需要提供新的锚点PA通过非刚性最近点配准法进行重复配准。
作为本发明的一种优选工艺，在步骤105中，为人脸轮廓部分提供轮廓起点、下巴、轮廓终点三个锚点，并且加入步骤102中完成的人脸五官部分锚点P1，再对人脸图片进行三维可变模型拟合。
作为本发明的一种优选工艺，步骤106具体为，通过结构化森林边缘检测算法提取人脸轮廓部分的纹理边缘作为目标曲线V′。
区别于现有技术，上述技术方案具有以下优点：在标注过程中充分利用了关键点位置分布的两个规律：1)分布在强纹理边缘处。2)满足人脸的结构先验。可以在标注者提供少量关键信息的条件下，由标注工具自动计算大部分关键点的位置。降低了标注中标注者的主观判断成份，减少了标注过程中标注者的精神损耗，大幅度提升了标注效率。本发明考虑了人脸结构的不同特征，为不同部位设计了不同的标注方式，其对于关键点标注的初始化具有很强的鲁棒性，适应范围广。
附图说明
图1为具体实施方式所述半自动人脸关键点标注方法的流程图。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
请参阅图1，本实施例涉及一种半自动人脸关键点标注方法，该方法包括以下步骤：
步骤101，将待标注的人脸图片分为两个部分分别进行标注，其中一个部分为人脸五官部分，另一个部分为人脸轮廓部分；
本实施例中，该操作与传统标注时的划分方式保持一致，有助于标注者提高标注效率。其中，考虑到鼻子与其它脸部器官相比有明确的语义信息而缺少轮廓信息，同时点数较少，因此在标注过程中由标注者直接给定所有鼻子关键点位置。
步骤102，将人脸五官部分分别点击预先定义好的锚点位置Pa＝[p1，p2...，pl]，通过非镜像反射变换将人脸五官初始化的关键点变换到对应人脸五官部分得到新的初始化关键点
本实施例中，标注第一部分即人脸五官部分(除鼻子外)，分别点击预先定义好的锚点位置，本发明共定义了12个锚点，这些位置都具有明确的语义定义：四个眉尖点、四个眼角点、两个外嘴角点以及两个内嘴角点。确定锚点位置后，本发明利用非镜像反射变换(non-similarity transformation)对五官部分初始化关键点进行粗略的矫正得到新的初始化关键Pf＝[p1 ... pn]，该矫正可以确保各部位初始化关键点位于图片上人脸的对应部位附近，有效增强了本发明对于初始化的鲁棒性，同时提高了后续步骤的标注效率。
步骤103，提取人脸五官部分的纹理边缘作为目标曲线V；
本实施例中，利用结构化森林边缘检测(Structured Forests for Fast EdgeDetection)算法提取五官的边缘作为调整的目标曲线V，寻找一定范围内目标曲线上与待调整关键点最近的点Pcp，其寻找最近点的目标能量函数为：
注意到对于每一个初始关键点pi都能在目标曲线V上找到一个最近点，距离过远的最近点大多为错误边缘，调整关键点时这些错误边缘会产生错误的指引，因此，本发明只在初始化关键点周围的两个像素距离中搜索最近点，以过滤掉Pc中错误边缘点得到最近点集Pcp。
步骤104，为偏离人脸五官部分的纹理边缘的点提供锚点PA，通过非刚性最近点配准法将关键点
配准到目标曲线V上，重复提供锚点PA和将关键点
配准到目标曲线V上的步骤，直至得到人脸五官部分满意的标注结果；
本实施例中，非刚性最近点配准法(Non-rigid Iterative Closest Point,简称为NICP)。
本实施例中，由标注者为偏离轮廓较远的点提供锚点PA,利用NICP算法将关键点Pf配准到目标曲线V上，根据配准后的结果，标注者决定是否提供新的锚点进行NICP配准，直至得到五官部分除鼻子外满意的标注结果。NICP原本应用于计算机图形学中，用于进行三维模型和三维点云的配准，本发明对NICP算法进行修改，用于二维平面上点到曲线的配准，具体来说即求解将初始点Pf变换到目标曲线V上的变换参数X。在本发明中，该算法的代价函数如下式所示：
E(X):＝Ed(X)+αEs(X)+βEa(X)
上式由三部分组成：距离项Ed、刚性项Es以及锚点项Ea。其中X＝[X1 ... Xn]T为未知的变换参数，Xi为第i个关键点的变换参数，是一个2x3的变换矩阵，α,β分别为刚性项和锚点项的系数。下面具体介绍各项的构建方式与作用。
要将关键点配准到目标曲线上，缩短初始关键点与目标曲线的距离是必然的，因此，在本发明中，距离项构建如下：
其中pi＝[x y 1]T，为第i个关键点的齐次坐标。dist(V,p)表示关键点p到曲线上最近点的距离。由于本发明是在两个像素的范围内搜索最近点，所以当关键点i没有最近点时，权值wi设置为0，否则设置为1。将第i个关键点在曲线上的最近点记为ui，则上式可进一步表示为：
上式中，W:＝diag(w1,...,wn)，I3是一个3x3的单位矩阵，定义两个稀疏矩阵D和U为：
U:＝[u1,...,un]T
则距离项最终可表示为:
注意到距离项只缩短关键点与目标曲线的距离，即将初始关键点变换到脸部五官的对应轮廓上，但在实际标注时关键点还需均匀地分布在轮廓上，因此本发明引入刚性项Es来保持关键点的领域关系，该项表示为：
其中ε为相邻关键点之间的连线，G:＝diag(1,1,γ)为权值矩阵，γ为均匀强度参数，在本发明中设为1。本发明使用节点和弧段关联矩阵M来表示相邻点的关系，则刚性项可进一步表示为：
上述两项分别限制了距离和领域关系，在实际标注中，由于图片的质量较差以及人脸本身的轮廓复杂，提取五官边缘作为目标曲线会引入一些噪声，为关键点搜索目标曲线上最近点时可能搜索到噪声点，因此本发明加入锚点项以解决噪声带来的影响。锚点由标注者手工给定，记为Anchor＝[a1 ... al]，要求有对应锚点的关键点在变换后与其锚点接近：
从D中取出对应行组成DA并定义UA＝[a1 ... al]T，则上式最终可表示为：
因此，最终的配准算法即为优化能量函数：
大部分情况下，经过一次NICP算法调整后即可输出准确的关键点位置，如果仍然不满意，标注者可给出额外的锚点，本发明会再次迭代NICP算法，直到标注者得到满意的标注结果。
考虑到鼻子部分有非常明确的语义信息而缺少轮廓信息，同时关键点数较少，因此本发明依旧使用传统方法对鼻子部分进行标注，最终的到全部五官部分关键点P1。
步骤105，为人脸轮廓部分提供轮廓起点、下巴、轮廓终点三个锚点，对人脸图片进行三维可变模型拟合，将拟合好的三维人脸上的轮廓关键点投影到二维图片上得到轮廓点的初始位置
人脸各部位之间存在着联系，五官部位的关键点也含有轮廓关键点的信息(如姿态信息)，本发明利用具有表情变化的三维可变模型将五官关键点与轮廓关键点联系起来，在该模型中，一个完整的三维可变模型可以表述为：
其中S为任意三维可变模型，
为三维平均脸，Aid是人脸形状样例的特征向量组，由对人脸形状样例进行主成分分析得到，Aexp是对表情偏移量进行主元成分分析得到的特征向量组，αid和αexp分别为形状参数和表情参数。
在三维平均脸上预先标好人脸关键点的对应3D位置
使用弱透视投影将三维可变模型投影到二维平面上，则每个关键点在二维平面上的位置为：
其中P2d为投影后关键点位置，f为尺度系数，P为正交投影矩阵
R为旋转矩阵，t2d为平移向量，下标kp表示取三维可变模型上对应的关键点。
由标注者提供脸部三个锚点PAC,锚点位置分别为左侧耳朵与人脸的上接点、下巴点以及右侧耳朵与人脸的上接点，上述三个锚点可以有效提供人脸的位置信息，以弥补五官关键点含有姿态信息但形状信息较少的不足。注意到，拟合三维可变模型时，三维可变模型上的关键点在二维平面上的投影应尽可能与二维图片上关键点位置相近，即为优化能量函数：
上式
中，为五官关键点位置和锚点位置，下标feature+anchor表示取三维可变模型上对应的关键点，将上述参数分为形状和表情两组，轮流迭代优化，固定形状参数，损失函数相对于表情参数是线性的，而固定表情参数，则损失函数对形状参数是固定的，可直接用最小二乘法估计，最终得到二维图片的对应三维可变模型。利用三维可变模型上的轮廓关键点投影到图像平面上的位置作为轮廓点新的初始化：
步骤106，提取人脸轮廓部分的纹理边缘作为目标曲线V′；
步骤107，为偏离人脸轮廓部分的纹理边缘的点提供锚点PA′，通过非刚性最近点配准法将关键点
配准到目标曲线V上，重复提供锚点PA′和将关键点
配准到目标曲线V′上的步骤，直至得到人脸轮廓部分满意的标注结果。
利用边缘检测提取脸部轮廓边缘信息并将其作为目标曲线，P2作为待配准的关键点，由标注者在偏差区域提供锚点来进行NICP迭代，一般提供两个额外锚点即可得到满意的结果。
进一步的，步骤103具体为，通过结构化森林边缘检测算法提取人脸五官部分的纹理边缘作为目标曲线V，寻找预定范围内目标曲线V上与待调整关键点最接近的点Pcp。
进一步的，在步骤104中，根据配准后的结果判断，是否需要提供新的锚点PA通过非刚性最近点配准法进行重复配准。
进一步的，在步骤105中，为人脸轮廓部分提供轮廓起点、下巴、轮廓终点三个锚点，并且加入步骤102中完成的人脸五官部分锚点P1，再对人脸图片进行三维可变模型拟合。
进一步的，步骤106具体为，通过结构化森林边缘检测算法提取人脸轮廓部分的纹理边缘作为目标曲线V′。
另外，本实施例还涉及一种半自动人脸关键点标注存储介质，存储有计算机程序，所述计算机程序在被运行时执行以下步骤：
步骤101，将待标注的人脸图片分为两个部分分别进行标注，其中一个部分为人脸五官部分，另一个部分为人脸轮廓部分；
步骤102，将人脸五官部分分别点击预先定义好的锚点位置Pa＝[p1，p2...，pl]，通过非镜像反射变换将人脸五官初始化的关键点变换到对应人脸五官部分得到新的初始化关键点
步骤103，提取人脸五官部分的纹理边缘作为目标曲线V；
步骤104，为偏离人脸五官部分的纹理边缘的点提供锚点PA，通过非刚性最近点配准法将关键点
配准到目标曲线V上，重复提供锚点PA和将关键点
配准到目标曲线V上的步骤，直至得到人脸五官部分满意的标注结果；
步骤105，为人脸轮廓部分提供轮廓起点、下巴、轮廓终点三个锚点，对人脸图片进行三维可变模型拟合，将拟合好的三维人脸上的轮廓关键点投影到二维图片上得到轮廓点的初始位置
步骤106，提取人脸轮廓部分的纹理边缘作为目标曲线V′；
步骤107，为偏离人脸轮廓部分的纹理边缘的点提供锚点PA′，通过非刚性最近点配准法将关键点
配准到目标曲线V′上，重复提供锚点PA′和将关键点
配准到目标曲线V′上的步骤，直至得到人脸轮廓部分满意的标注结果。
本实施例在人脸五官上设置了15个锚点，其中12个锚点位于五官上，分别是四个眉尖点、四个眼角点、两个外嘴角点以及两个内嘴角点。在传统标注方法中，对于各个点的矫正均使用由标注者主观判断的方式来标注，本专利提出的利用锚点对每个部位的关键点进行粗矫正，能够将一个部位所有的关键点利用非镜像反射变换调整到其所属部位附近，而不需要对关键点逐个移动，提高了标注效率，同时设置调整前的粗略矫正使本发明对关键点的初始化有很强的的鲁棒性，适用范围更广。
本实施例通过对图片进行边缘提取，获取人脸本身的结构信息，并将该信息作为目标曲线，利用NICP算法将关键点配准到附近边缘上去，与传统方法不同，此方法充分利用了关键点分布在人脸强纹理边缘这一假设，减少了对标注者主观判断的依赖，并且在配准过程中充分考虑了关键点之间的领域关系，能够保证关键点均匀分布在五官对应的轮廓上而不再需要标注者额外去调整。减少了标注者在标注时估测点位置所带来的精神损耗，从而使标注更加高效。另一方面，标注者可以通过标额外锚点的方式引导关键点向正确的方向迭代，这种方法可以减少边缘噪声、边缘断裂以及厚边缘所带来的影响，实现更加精准的标注。
本实施例在标注轮廓关键点时，使用三维可变模型来辅助标注，在人脸轮廓部分设置了三个需由标注者给定的锚点：左侧耳朵与人脸的上接点、下巴点以及右侧耳朵与人脸的上接点。以上述三点以及五官关键点作为输入拟合三维可变模型，并由三维可变模型得到二维轮廓关键点初始化。与传统方法标注每个关键点相对独立相比，此方法利用人脸五官与轮廓的关系，将五官中包含的姿态等信息用以提供更精确的轮廓初始关键点，进一步提高整体标注效率。
本实施例考虑到五官点中含有的轮廓形状信息较少，本发明对人脸轮廓提取边缘信息并使用NICP迭代，由于三维人脸拟合提供了更好的轮廓初始点，NICP算法往往能在少量迭代中得出精确地关键点。通过将三维可变模型拟合以及NICP算法结合在一起，本发明的标注效率比传统方法提高了五倍，在稠密关键点的标注中随着点数的增多，这种效率差距有望进一步拉大。
区别现有技术，本实施例在标注过程中充分利用了关键点位置分布的两个规律：1)分布在强纹理边缘处。2)满足人脸的结构先验。可以在标注者提供少量关键信息的条件下，由标注工具自动计算大部分关键点的位置。降低了标注中标注者的主观判断成份，减少了标注过程中标注者的精神损耗，大幅度提升了标注效率。本发明考虑了人脸结构的不同特征，为不同部位设计了不同的标注方式，其对于关键点标注的初始化具有很强的鲁棒性，适应范围广。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。
本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。
Claims (10)
1.一种半自动人脸关键点标注方法，其特征在于，该方法包括以下步骤：
步骤101，将待标注的人脸图片分为两个部分分别进行标注，其中一个部分为人脸五官部分，另一个部分为人脸轮廓部分；
步骤102，将人脸五官部分分别点击预先定义好的锚点位置Pa＝[p1，p2...，pl]，通过非镜像反射变换将人脸五官初始化的关键点变换到对应人脸五官部分得到新的初始化关键点
步骤103，提取人脸五官部分的纹理边缘作为目标曲线V；
步骤104，为偏离人脸五官部分的纹理边缘的点提供锚点PA，通过非刚性最近点配准法将关键点
配准到目标曲线V上，重复提供锚点PA和将关键点
配准到目标曲线V上的步骤，直至得到人脸五官部分满意的标注结果；
步骤105，为人脸轮廓部分提供轮廓起点、下巴、轮廓终点三个锚点，对人脸图片进行三维可变模型拟合，将拟合好的三维人脸上的轮廓关键点投影到二维图片上得到轮廓点的初始位置
步骤106，提取人脸轮廓部分的纹理边缘作为目标曲线V′；
步骤107，为偏离人脸轮廓部分的纹理边缘的点提供锚点PA′，通过非刚性最近点配准法将关键点
配准到目标曲线V′上，重复提供锚点PA′和将关键点
配准到目标曲线V′上的步骤，直至得到人脸轮廓部分满意的标注结果。
2.根据权利要求1所述的半自动人脸关键点标注方法，其特征在于：步骤103具体为，通过结构化森林边缘检测算法提取人脸五官部分的纹理边缘作为目标曲线V。
3.根据权利要求1所述的半自动人脸关键点标注方法，其特征在于：在步骤104中，根据配准后的结果判断，是否需要提供新的锚点PA通过非刚性最近点配准法进行重复配准。
4.根据权利要求1所述的半自动人脸关键点标注方法，其特征在于：在步骤105中，为人脸轮廓部分提供轮廓起点、下巴、轮廓终点三个锚点，并且加入步骤102中完成的人脸五官部分锚点P1，再对人脸图片进行三维可变模型拟合。
5.根据权利要求1所述的半自动人脸关键点标注方法，其特征在于：步骤106具体为，通过结构化森林边缘检测算法提取人脸轮廓部分的纹理边缘作为目标曲线V′。
6.一种半自动人脸关键点标注存储介质，其特征在于，存储有计算机程序，所述计算机程序在被运行时执行以下步骤：
步骤101，将待标注的人脸图片分为两个部分分别进行标注，其中一个部分为人脸五官部分，另一个部分为人脸轮廓部分；
步骤102，将人脸五官部分分别点击预先定义好的锚点位置Pa＝[p1，p2...，pl]，通过非镜像反射变换将人脸五官初始化的关键点变换到对应人脸五官部分得到新的初始化关键点
步骤103，提取人脸五官部分的纹理边缘作为目标曲线V；
步骤104，为偏离人脸五官部分的纹理边缘的点提供锚点PA，通过非刚性最近点配准法将关键点
配准到目标曲线V上，重复提供锚点PA和将关键点
配准到目标曲线V上的步骤，直至得到人脸五官部分满意的标注结果；
步骤105，为人脸轮廓部分提供轮廓起点、下巴、轮廓终点三个锚点，对人脸图片进行三维可变模型拟合，将拟合好的三维人脸上的轮廓关键点投影到二维图片上得到轮廓点的初始位置
步骤106，提取人脸轮廓部分的纹理边缘作为目标曲线V′；
步骤107，为偏离人脸轮廓部分的纹理边缘的点提供锚点PA′，通过非刚性最近点配准法将关键点
配准到目标曲线V′上，重复提供锚点PA′和将关键点
配准到目标曲线V′上的步骤，直至得到人脸轮廓部分满意的标注结果。
7.根据权利要求6所述的半自动人脸关键点标注存储介质，其特征在于：步骤103具体为，通过结构化森林边缘检测算法提取人脸五官部分的纹理边缘作为目标曲线V。
8.根据权利要求6所述的半自动人脸关键点标注存储介质，其特征在于：在步骤104中，根据配准后的结果判断，是否需要提供新的锚点PA通过非刚性最近点配准法进行重复配准。
9.根据权利要求6所述的半自动人脸关键点标注存储介质，其特征在于：在步骤105中，为人脸轮廓部分提供轮廓起点、下巴、轮廓终点三个锚点，并且加入步骤102中完成的人脸五官部分锚点P1，再对人脸图片进行三维可变模型拟合。
10.根据权利要求6所述的半自动人脸关键点标注存储介质，其特征在于：步骤106具体为，通过结构化森林边缘检测算法提取人脸轮廓部分的纹理边缘作为目标曲线V′。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811019833.7A CN109034131B (zh) | 2018-09-03 | 2018-09-03 | 一种半自动人脸关键点标注方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811019833.7A CN109034131B (zh) | 2018-09-03 | 2018-09-03 | 一种半自动人脸关键点标注方法及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109034131A CN109034131A (zh) | 2018-12-18 |
| CN109034131B true CN109034131B (zh) | 2021-10-26 |
Family
ID=64622864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811019833.7A Active CN109034131B (zh) | 2018-09-03 | 2018-09-03 | 一种半自动人脸关键点标注方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109034131B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113538407B (zh) * | 2018-12-29 | 2022-10-14 | 北京市商汤科技开发有限公司 | 锚点确定方法及装置、电子设备和存储介质 |
| CN111444746B (zh) * | 2019-01-16 | 2024-01-30 | 北京亮亮视野科技有限公司 | 一种基于神经网络模型的信息标注方法 |
| CN112560555A (zh) * | 2019-09-25 | 2021-03-26 | 北京中关村科金技术有限公司 | 扩充关键点的方法、装置以及存储介质 |
| CN110782439B (zh) * | 2019-10-21 | 2022-02-15 | 北京云聚智慧科技有限公司 | 一种辅助检测图像标注质量的方法及装置 |
| CN112163552A (zh) * | 2020-10-14 | 2021-01-01 | 北京达佳互联信息技术有限公司 | 鼻部关键点的标注方法、装置、电子设备及存储介质 |
| CN112287820A (zh) * | 2020-10-28 | 2021-01-29 | 广州虎牙科技有限公司 | 人脸检测神经网络及训练方法、人脸检测方法、存储介质 |
| CN113723214B (zh) * | 2021-08-06 | 2023-10-13 | 武汉光庭信息技术股份有限公司 | 一种人脸关键点标注方法、系统、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8446486B2 (en) * | 2006-01-18 | 2013-05-21 | Fujifilm Corporation | Target detecting apparatus, image file recording apparatus and methods of controlling same |
| CN103116902A (zh) * | 2011-11-16 | 2013-05-22 | 华为软件技术有限公司 | 三维虚拟人头像生成方法、人头像运动跟踪方法和装置 |
| CN108090451A (zh) * | 2017-12-20 | 2018-05-29 | 湖北工业大学 | 一种人脸识别方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150073262A1 (en) * | 2012-04-02 | 2015-03-12 | Phonak Ag | Method for estimating the shape of an individual ear |
-
2018
- 2018-09-03 CN CN201811019833.7A patent/CN109034131B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8446486B2 (en) * | 2006-01-18 | 2013-05-21 | Fujifilm Corporation | Target detecting apparatus, image file recording apparatus and methods of controlling same |
| CN103116902A (zh) * | 2011-11-16 | 2013-05-22 | 华为软件技术有限公司 | 三维虚拟人头像生成方法、人头像运动跟踪方法和装置 |
| CN108090451A (zh) * | 2017-12-20 | 2018-05-29 | 湖北工业大学 | 一种人脸识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| Aircraft Discrimination in High Resolution SAR Images Based on Texture Analysis;Liping Zhang et al.;《2010 2nd International Asia Conference on Informatics in Control,Automation and Robotics(CAR 2010)》;20100429;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109034131A (zh) | 2018-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109034131B (zh) | 一种半自动人脸关键点标注方法及存储介质 | |
| CN109408653B (zh) | 基于多特征检索和形变的人体发型生成方法 | |
| Zhang et al. | Cross-domain correspondence learning for exemplar-based image translation | |
| Liu et al. | Joint face alignment and 3d face reconstruction | |
| WO2020042975A1 (zh) | 人脸姿态估计/三维人脸重构方法、装置及电子设备 | |
| Zhu et al. | Discriminative 3D morphable model fitting | |
| CN110688947B (zh) | 一种同步实现人脸三维点云特征点定位和人脸分割的方法 | |
| CN105493078B (zh) | 彩色草图图像搜索 | |
| WO2017181332A1 (zh) | 一种基于单幅图像的全自动三维头发建模方法 | |
| CN108921057B (zh) | 基于卷积神经网络的对虾形态测量方法、介质、终端设备及装置 | |
| CN109829353B (zh) | 一种基于空间约束的人脸图像风格化方法 | |
| CN109740537B (zh) | 人群视频图像中行人图像属性的精确标注方法及系统 | |
| CN105139007B (zh) | 人脸特征点定位方法和装置 | |
| CN111695431A (zh) | 一种人脸识别方法、装置、终端设备及存储介质 | |
| Ozbay et al. | A hybrid method for skeleton extraction on Kinect sensor data: Combination of L1-Median and Laplacian shrinking algorithms | |
| Cheng et al. | Parametric human body reconstruction based on sparse key points | |
| Li et al. | ColorSketch: A drawing assistant for generating color sketches from photos | |
| Zhu et al. | Robust 3d morphable model fitting by sparse sift flow | |
| Yang et al. | Non-rigid point set registration via global and local constraints | |
| CN117237322A (zh) | 一种基于医学图像的器官分割建模方法及终端 | |
| Wang et al. | Common visual pattern discovery via nonlinear mean shift clustering | |
| CN110990604A (zh) | 图像底库生成方法、人脸识别方法和智能门禁系统 | |
| Wang et al. | Robot grasping in dense clutter via view-based experience transfer | |
| CN111080517B (zh) | 基于改进蝴蝶优化算法的三维点云拼接方法 | |
| CN113128292A (zh) | 一种图像识别方法、存储介质及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 350003 21 floors, No. 1 Building, G District, 89 Software Avenue, Gulou District, Fuzhou City, Fujian Province Applicant after: FUJIAN HAIJING TECHNOLOGY DEVELOPMENT Co.,Ltd. Address before: 350003 1-2 floors of Building C, Building 10, Fuzhou Software Park B, 89 Software Avenue, Gulou District, Fuzhou City, Fujian Province Applicant before: FUZHOU HAIJING SCIENCE & TECHNOLOGY DEVELOPMENT CO.,LTD. |
|
| CB02 | Change of applicant information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Huang Haiqing Inventor after: Wang Jinqiao Inventor after: Chen Yingying Inventor after: Liu Zhiyong Inventor after: Zheng Suiwu Inventor after: Yang Xu Inventor after: Huang Zhiming Inventor after: Xie Dekun Inventor after: Tian Jian Inventor before: Huang Haiqing Inventor before: Liu Zhiyong Inventor before: Zheng Suiwu Inventor before: Yang Xu Inventor before: Huang Zhiming Inventor before: Xie Dekun Inventor before: Tian Jian |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20231212 Granted publication date: 20211026 |
|
| PP01 | Preservation of patent right |