CN112464695A - 一种人脸特征点辅助标注方法 - Google Patents

一种人脸特征点辅助标注方法 Download PDF

Info

Publication number
CN112464695A
CN112464695A CN201910864936.1A CN201910864936A CN112464695A CN 112464695 A CN112464695 A CN 112464695A CN 201910864936 A CN201910864936 A CN 201910864936A CN 112464695 A CN112464695 A CN 112464695A
Authority
CN
China
Prior art keywords
feature points
points
labeling
sub
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910864936.1A
Other languages
English (en)
Inventor
毛亮
朱婷婷
林焕凯
黄仝宇
汪刚
侯玉清
刘双广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gosuncn Technology Group Co Ltd
Original Assignee
Gosuncn Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gosuncn Technology Group Co Ltd filed Critical Gosuncn Technology Group Co Ltd
Priority to CN201910864936.1A priority Critical patent/CN112464695A/zh
Publication of CN112464695A publication Critical patent/CN112464695A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于视频监控技术领域，具体涉及一种人脸特征点辅助标注方法，将人脸特征点拆分成主特征点与次特征点两种类型，其中，主特征点预标注，次特征点辅助标注，再经过人工判断是否需要调整特征点位置；在人脸图像中，主特征点是由位置相对固定且能表示人脸关键信息的点组成；次特征点是由相邻的两个主特征点及人脸边缘信息决定，其位置可根据需求灵活变动。本发明充分利用主特征点预标和次特征点辅助标注方法来提高标注效率；通过主特征点与不同次特征点标注方案相结合方式来增强标注系统的适用性；通过次特征点的等距离分布约束来减轻主观因素导致的标注偏差。

Description

一种人脸特征点辅助标注方法
技术领域
本发明属于视频监控技术领域，尤其涉及一种人脸特征点辅助标注方法。
背景技术
人脸特征点蕴含着丰富的人脸信息，在人脸识别、姿态估计、表情识别、 3D人脸重构重等领域均有广泛应用。在人脸特征点检测领域已有众多研究，其中，基于深度学习的方法给检测性能带来质的提升，然而，深度学习的优越性能需依赖大规模训练数据，一般训练集达到10万级以上。另一方面，不同应用领域对人脸特征点数量有需求也不一样，如人脸对齐所需特征点数较少，只需5个点便可对图像进行旋转及缩放处理；而表情识别为了捕捉人脸的细微变化则需要更多的特征点来支撑，目前，单张人脸特征点标注数量已达到240个点。因此，对于大规模多需求的人脸特征点数据库构建，如果纯粹通过人工标注来完成，将会产生具大的工作量。
现有解决方案中，可总结为两个步骤：先采用人脸特征点检测模型预标注；再通过人工对特征点位置进行修正处理。此方案实现起来较容易，利用模型预标注可在一定程度上减少人工标注的工作量，而经过人工调整后可提高标注数据的质量。然而现有的方案存在不少问题。首先，人工标注工作量完全依赖预训练模型的检测准确率，实际上，预训练模型检测准确率很难达到要求，特别是对于复杂场景下的数据，模型检测准确率受人脸角度、光照、模糊、遮挡等干扰较大。而且利用模型检测出来的特征点具有很强的相关性，即检测的特征点会出现一致偏离的现象，此时，每一个特征点都需要经过人工调整。所以，这种方案实际人工调整的工作量依然很大。其次，预训练模型都有固定的标注点数，无法切换到不同点数的标注任务中去。如果要增减特征点数，就要重新训练模型，因此，在任务切换中又将产生额外的工作量。此外，人工标注受主观因素影响，对于不同的人去标注不同的样本时，很难保证每个点标注的位置都一致，一般会产生一定偏差。这些不良影响将会降低数据的质量。
发明内容
本发明的目的是提出一种人脸特征点辅助标注方法，以解决现有技术中标注效率不高、适用性不足及标注准确性受主观因素影响大的问题。
本发明通过以下技术方案实现：
一种人脸特征点辅助标注方法，包括如下步骤：
(1)将人脸特征点分为主特征点与次特征点，预标注主特征点，再经过人工判断是否需要调整主特征点位置；
(2)将主特征点按五官特征分为5个部分；
(3)依据相邻的两个主特征点之间的几何关系及人脸的边缘线信息，进行边缘检测；
(4)通过等距离分布法，确定次特征点的位置，使次特征点位置标注更加规范化；
(5)合并次特征点，再经过人工判断是否需要调整次特征点位置；
(6)保存标注结果。
进一步包括，所述的步骤(1)中，主特征点预标注基于深度学习方法训练模型。
进一步包括，所述的步骤(2)中，主特征点按人脸的五官特征分成5 个部分，包括：眉毛、眼睛、鼻子、嘴巴和脸部。
进一步包括，所述的步骤(3)中，对边缘检测结果进行形态学处理及边缘补缺处理。
进一步包括，所述的步骤(4)中，单独对每个部分的次特征点进行辅助定位。
进一步包括，所述的步骤(4)中，次特征点的位置分布在相邻两个主特征点之间的等距线上，a、b表示主特征点，c、d表示次特征点，e表示边缘线，其中a的坐标是(x1,y1)，b的坐标是(x2,y2)，ab连线与水平线夹角为θ：
Figure RE-GDA0002293068720000031
c所在等距线与ab连线的交点为
Figure RE-GDA0002293068720000032
d所在等距线与ab连线的交点为
Figure RE-GDA0002293068720000033
设c的坐标为(xc,yc)，则c所在等距线方程为：
Figure RE-GDA0002293068720000034
设d的坐标为(xd,yd)，则d所在等距线方程为：
Figure RE-GDA0002293068720000035
根据c、d所在等距线与e的交点可求出次特征点c、d的坐标。
进一步包括，次特征点的增多或减少只需通过增加或减少ab连线的等距线即可实现不同任务的辅助标注功能。
进一步包括，等距线方程可约束次特征点的移动范围。
进一步包括，所述的步骤(1)中经过人工判断是否需要调整主特征点位置，具体包括，用户判断主特征点是否达到要求，若是，进入步骤(2)；若否，人工调整主特征点位置。
进一步包括，所述的步骤(5)中经过人工判断是否需要调整次特征点位置，具体包括，用户判断次特征点是否达到要求，若是，进入步骤(5)；若否，人工调整次特征点位置。
与现有技术相比，本发明至少具有下述的有益效果或优点：
(1)标注效率更高。本发明充分利用主特征点预标注，次特征点辅助标注相结合的方式来提高整体标注的效率及准确性，从而减少人工调整的工作量。特别对于特征点标注数量庞大时，本发明能自动分配并定位次特征点，可有效提高标注效率。
(2)适用性更广泛。本发明具备灵活分配次特征点数量的优势，训练一种预标注模型即可标注不同方案特征点的功能。针对不同数量的特征标注需求，只需计算一下特征点的分布间隔，即可改变特征点的标注数量。
(3)次特征点标注更加准确。人工标注时，次特征点标注难度比主特征点要大。这是因为主特征点都分布在人脸相对固定好判断的位置上，如人脸的边角、中线、最高最低点等位置。而次特征点则是等距离分布在主特征点之间，如果没有等距离线的约束，人工很难做到等距离标注，从而产生标注偏差。本发明着重解决了次特征点的标注难题，即采用等距离分布来约束次特征点位置，使次特征点分布更加合理，再通过边缘信息准确定位到次特征点位置。
附图说明
以下将结合附图对本发明做进一步详细说明；
图1是本发明的人脸特征点标注流程图；
图2是本发明的次特征点定位示意图；
图3是本发明的22个人脸主特征点分布图；
图4(a)-4(d)分别是对应22、46、50、64个次特征点分布图；
图中：眉毛：1-4；眼睛：5-8；鼻子：9-13；嘴巴：14-19；脸部：20-22；黑色点为主特征点，白色点为次特征点。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种人脸图像特征点辅助标注方法，具体可分为三个部分：主特征点预标注、次特征点辅助标注、人工调整特征点，具体实施流程如图1所示。在本方案中，一种主特征点设计方案可以跟多种次特征点组合，对于22个主特征点的设计方案，如图3所示，跟4种常见的次特征点组合后，如表1所示，分别得到44、68、72、106个特征点的标注方案。即通过训练一种检测22个点的模型，便可实现多种数量的特征点标注方案。图4(a)-4(d)分别是对应22、46、50、64个次特征点分布图。
表1人脸特征点数量分布
Figure RE-GDA0002293068720000061
1.主特征点预标注
主特征点预标注通过预训练模型来实现。目前，用于训练特征点检测模型的算法有ASM(Active Shape Models)、ERT(Ensemble of Regression Trees)、基于深度学习等。为了提高主特征点标注的准确性，本方案采用基于深度学习方法训练模型。利用模型检测得到22个主特征点后，经用户检查预标注情况，如果没达到规定指标，则由用户进行修正，以保证主特征点标注的准确性。而加强主特征点准确性有利于提高下一步次特征点辅助定位精度。
2.次特征点辅助标注
次特征点的位置是依据相邻的两个主特征点和人脸的边缘信息，采用等距离分布法来确定。为了更好地检测人脸的边缘及计算出次特征点的分布范围，本方案把主特征点按人脸的五官特征分成5个部分：眉毛、眼睛、鼻子、嘴巴、脸部，接着单独对每个部分的次特征点进行辅助定位，最后把次特征点合起来以便于下一步进行人工调整操作。
边缘检测的作用是把人脸各部位的轮廓检测出来并作为次特征点的定位依据。现有的边缘检测算法较多，如差分边缘检测、Sobel算子、Canny 算子等，其中Canny算子是本方案所采用的边缘检测方法。Canny算子具有抗噪能力强、定位准确和单边缘检测优势，使其更适合检测出完整脸部边缘信息。在本方案中，除了通过图像分割来降低边缘检测难度外，还需要对边缘检测结果作形态学处理及边缘补缺处理。一般经过边缘检测出来的图像会带有大量干扰噪声，图像的形态学处理可有效地过滤图像噪声。但做形态学处理后，边缘出现断裂现象，还需要把主特征点与剩余边缘连接起来，使其形成闭环并用于计算次特征点位置。
次特征点位置分布在相邻两个主特征点之间的等距线上，如图2所示， a、b表示主特征点，c、d表示次特征点，e表示边缘线。其中a的坐标是(x1, y1)，b的坐标是(x2,y2)，ab连线与水平线夹角为θ：
Figure RE-GDA0002293068720000071
c所在等距线与ab连线的交点为
Figure RE-GDA0002293068720000072
d所在等距线与ab连线的交点为
Figure RE-GDA0002293068720000073
设c的坐标为(xc,yc)，则c所在等距线方程为：
Figure RE-GDA0002293068720000074
设d的坐标为(xd,yd)，则d所在等距线方程为：
Figure RE-GDA0002293068720000075
所以根据c、d所在等距线与e的交点便可求出次特征点c、d的坐标，即可实现辅助标注功能。而次特征点的增多或减少只需通过增加或减少ab 之间的等距线即可实现不同任务的辅助标注功能。此外，等距线方程可以约束次特征移动的位置。当需要人工调整位置时，次特征点只能在等距线上移动，从而可减轻人为因素产生的标注偏差。
针对现有方案中，标注效率不高、适用性不足及标注准确性受主观因素影响大的问题。本发明将人脸特征点拆分成主特征点与次特征点两种类型，其中，主特征点预标注，次特征点辅助标注，再经过人工判断是否需要调整特征点位置。在人脸图像中，主特征点是由位置相对固定且能表示人脸关键信息的点组成，本方案所标注的22个主特征点如图3所示。次特征点是由相邻的两个主特征点及人脸边缘信息决定，其位置可根据需求灵活变动。本方案充分利用主特征点预标和次特征点辅助标注方法来提高标注效率；通过主特征点与不同次特征点标注方案相结合方式来增强标注系统的适用性；通过次特征点的等距离分布约束来减轻主观因素导致的标注偏差。
综上所述，本方案首先把特征点分为主特征点与次特征点，利用主特征点与不同标注方案的次特征点组合的方式达到使用一个预标注模型便可实现多种标注方案的目的。其次，把特征点按五官特征分为5个部分，既提高边缘提取的质量，也便于次特征点分布位置计算。接着利用相邻两个主特征点之间的几何关系及边缘线信息估计出次特征点的位置。最后，次特征点通过等距离分布来约束可移动范围，使次特征点位置标注更加规范化。
本方案在主次特征点分布有多种设计方案，一种主特征点可与多种次特征点结合，而主特征点可根据需求及标注对象的形状、边缘信息来调整数量及分布位置。另外，本方案的特征点标注技术具有一定的通用性，除了能应用在人脸特征点标注外，还可以应用在其他具有明确边缘的特征点标注场景，如行人、车辆的特征点标注。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内，所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。

Claims (10)

1.一种人脸特征点辅助标注方法，其特征在于，包括步骤：
(1)将人脸特征点分为主特征点与次特征点，预标注主特征点，再经过人工判断是否需要调整主特征点位置；
(2)将主特征点按五官特征分为5个部分；
(3)依据相邻的两个主特征点之间的几何关系及人脸的边缘线信息，进行边缘检测；
(4)通过等距离分布法，确定次特征点的位置，使次特征点位置标注更加规范化；
(5)合并次特征点，再经过人工判断是否需要调整次特征点位置；
(6)保存标注结果。
2.根据权利要求1所述的人脸特征点辅助标注方法，其特征在于，所述的步骤(1)中，主特征点预标注基于深度学习方法训练模型。
3.根据权利要求1所述的人脸特征点辅助标注方法，其特征在于，所述的步骤(2)中，主特征点按人脸的五官特征分成5个部分，包括：眉毛、眼睛、鼻子、嘴巴和脸部。
4.根据权利要求1所述的人脸特征点辅助标注方法，其特征在于，所述的步骤(3)中，对边缘检测结果进行形态学处理及边缘补缺处理。
5.根据权利要求3所述的人脸特征点辅助标注方法，其特征在于，所述的步骤(4)中，单独对每个部分的次特征点进行辅助定位。
6.根据权利要求1所述的人脸特征点辅助标注方法，其特征在于，所述的步骤(4)中，次特征点的位置分布在相邻两个主特征点之间的等距线上，a、b表示主特征点，c、d表示次特征点，e表示边缘线，其中a的坐标是(x1,y1)，b的坐标是(x2,y2)，ab连线与水平线夹角为θ：
Figure RE-FDA0002293068710000021
c所在等距线与ab连线的交点为
Figure RE-FDA0002293068710000022
d所在等距线与ab连线的交点为
Figure RE-FDA0002293068710000023
设c的坐标为(xc,yc)，则c所在等距线方程为：
Figure RE-FDA0002293068710000024
设d的坐标为(xd,yd)，则d所在等距线方程为：
Figure RE-FDA0002293068710000025
根据c、d所在等距线与e的交点可求出次特征点c、d的坐标。
7.根据权利要求6所述的人脸特征点辅助标注方法，其特征在于，次特征点的增多或减少只需通过增加或减少ab连线的等距线即可实现不同任务的辅助标注功能。
8.根据权利要求6所述的人脸特征点辅助标注方法，其特征在于，等距线方程可约束次特征点的移动范围。
9.根据权利要求1所述的人脸特征点辅助标注方法，其特征在于，所述的步骤(1)中经过人工判断是否需要调整主特征点位置，具体包括，用户判断主特征点是否达到要求，若是，进入步骤(2)；若否，人工调整主特征点位置。
10.根据权利要求1所述的人脸特征点辅助标注方法，其特征在于，所述的步骤(5)中经过人工判断是否需要调整次特征点位置，具体包括，用户判断次特征点是否达到要求，若是，进入步骤(5)；若否，人工调整次特征点位置。
CN201910864936.1A 2019-09-09 2019-09-09 一种人脸特征点辅助标注方法 Pending CN112464695A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910864936.1A CN112464695A (zh) 2019-09-09 2019-09-09 一种人脸特征点辅助标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910864936.1A CN112464695A (zh) 2019-09-09 2019-09-09 一种人脸特征点辅助标注方法

Publications (1)

Publication Number Publication Date
CN112464695A true CN112464695A (zh) 2021-03-09

Family

ID=74807629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910864936.1A Pending CN112464695A (zh) 2019-09-09 2019-09-09 一种人脸特征点辅助标注方法

Country Status (1)

Country Link
CN (1) CN112464695A (zh)

Similar Documents

Publication Publication Date Title
CN105760826B (zh) 一种人脸跟踪方法、装置和智能终端
CN109443480B (zh) 基于图像处理的水位标尺定位及水位测量方法
CN100561503C (zh) 一种人脸眼角与嘴角定位与跟踪的方法及装置
CN102789234B (zh) 基于颜色编码标识的机器人导航方法及系统
CN101339606B (zh) 一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置
CN111563452B (zh) 一种基于实例分割的多人体姿态检测及状态判别方法
CN103810491B (zh) 融合深度和灰度图像特征点的头姿估计兴趣点检测方法
CN104978012B (zh) 一种指向交互方法、装置及系统
CN103607554A (zh) 一种基于全自动人脸无缝合成的视频合成方法
CN103116896A (zh) 一种基于视觉显著性模型的自动检测跟踪方法
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
CN103914699A (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
CN104463138B (zh) 基于视觉结构属性的文本定位方法及系统
CN108021893A (zh) 一种用于判断学生上课专注度的算法
CN109584300A (zh) 一种确定车头朝向角度的方法及装置
CN105046199A (zh) 基于像素分类器和椭圆拟合的指尖点提取方法
CN106529432A (zh) 一种深度融合显著性检测与先验知识的手部区域分割方法
WO2022028383A1 (zh) 车道线标注、检测模型确定、车道线检测方法及相关设备
CN112101208A (zh) 高龄老人特征串联融合手势识别方法及装置
CN104299221B (zh) 一种交通标志图像的确定方法及装置
CN104598914A (zh) 一种肤色检测的方法及装置
CN109949344A (zh) 一种基于颜色概率目标建议窗口的核相关滤波跟踪方法
CN104866826A (zh) 一种基于knn和像素比梯度特征的静态手语识别方法
CN112686872B (zh) 基于深度学习的木材计数方法
Chen et al. Eyes localization algorithm based on prior MTCNN face detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination