CN106529374A - 一种级联式人脸关键点定位方法和系统 - Google Patents

一种级联式人脸关键点定位方法和系统 Download PDF

Info

Publication number
CN106529374A
CN106529374A CN201510575067.2A CN201510575067A CN106529374A CN 106529374 A CN106529374 A CN 106529374A CN 201510575067 A CN201510575067 A CN 201510575067A CN 106529374 A CN106529374 A CN 106529374A
Authority
CN
China
Prior art keywords
key point
coordinate
result
upper level
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510575067.2A
Other languages
English (en)
Inventor
何建伟
李蒙
王忠旗
王大力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Datang Telecommunication Science & Technology Co Ltd
Datang Telecom Technology Co Ltd
Original Assignee
Datang Telecommunication Science & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Datang Telecommunication Science & Technology Co Ltd filed Critical Datang Telecommunication Science & Technology Co Ltd
Priority to CN201510575067.2A priority Critical patent/CN106529374A/zh
Publication of CN106529374A publication Critical patent/CN106529374A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种级联式人脸关键点定位方法和系统，其中，所述方法包括：接收上一级检测的第一输出结果；在通过人脸弱分类器确定所述第一图像是人脸图像时，根据所述上一级检测得到的关键点的坐标，以及，预先训练得到参数序列，计算得到当前级检测对应的关键点的坐标；将所述当前级检测对应的关键点的坐标作为人脸关键点定位结果输出，或，将所述当前级检测对应的关键点的坐标作为第二输出结果发送至下一级检测进行级联迭代计算，并将计算得到的下一级检测对应的关键点的坐标作为人脸关键点定位结果输出。通过本发明实施例解决了传统的人脸关键点定位技术存在的检测精度低、稳定性差的问题。

Description

一种级联式人脸关键点定位方法和系统
技术领域
本发明涉及人脸检测技术领域，特别是涉及一种级联式人脸关键点定位方法和系统。
背景技术
人脸关键点是脸部一些表征能力强的关键点，比如眼睛、鼻子、嘴巴和脸部轮廓等。人脸关键点定位在人脸检测领域有着重要的作用，比如人脸检测、跟踪、表情分析和3D建模都依赖于关键点定位的结果。
传统的人脸关键点定位技术主要有：非线性建模方法，统计学习理论，基于boosting的学习技术，基于3D模型的人脸建模等。上述的传统的人脸关键点定位技术严重依赖于图像的拍摄质量。
然而，在实际应用场景中，姿态变化、光照变化、遮挡等非理想条件的影响，往往会造成拍摄质量的下降，因此，依赖拍摄质量的传统的人脸关键点定位技术定位的人脸关键点的准确性也会随着拍摄质量的下降而下降，检测精度低、稳定性差。
发明内容
本发明实施例提供一种级联式人脸关键点定位方法和系统，以解决传统的人脸关键点定位技术存在的检测精度低、稳定性差的问题。
为了解决上述问题，本发明实施例公开了一种级联式人脸关键点定位方法，包括：
接收上一级检测的第一输出结果；其中，所述第一输出结果中包括：第一图像和上一级检测得到的关键点的坐标；
在通过人脸弱分类器确定所述第一图像是人脸图像时，根据所述上一级检测得到的关键点的坐标，以及，预先训练得到参数序列，计算得到当前级检测对应的关键点的坐标；
将所述当前级检测对应的关键点的坐标作为人脸关键点定位结果输出，或，将所述当前级检测对应的关键点的坐标作为第二输出结果发送至下一级检测进行级联迭代计算，并将计算得到的下一级检测对应的关键点的坐标作为人脸关键点定位结果输出。
可选地，通过如下步骤预先训练得到参数序列：
选择至少一张包括人脸图像的样本图片作为训练样本集；其中，各个样本图片中分别包括至少一个样本关键点，各个样本关键点的坐标已标注；
根据各个样本图片中已标注的各个样本关键点的坐标，确定用于进行迭代训练的初始样本关键点的坐标，以及，确定所述初始样本关键点对应的特征向量；
根据所述初始样本关键点的坐标和所述初始样本关键点的特征向量，训练得到所述参数序列；其中，每一级检测对应不同的参数序列。
可选地，根据各个样本图片中已标注的各个样本关键点的坐标，确定用于进行迭代训练的初始样本关键点的坐标，以及，确定所述初始样本关键点对应的特征向量，包括：
分别对各个样本图片中已标注的各个样本关键点的坐标进行归一化处理，得到归一化处理结果；
将所述归一化处理结果的平均值作为所述初始样本关键点的坐标；
以及，
提取得到所述初始样本关键点对应的SURF特征向量，以作为所述初始样本关键点对应的特征向量。
可选地，根据所述上一级检测得到的关键点的坐标，以及，预先训练得到参数序列，计算得到当前级检测对应的关键点的坐标，包括：
从预先训练得到的参数序列中获取与所述上一级检测相匹配的第一参数和第二参数；以及，提取所述上一级检测得到的关键点对应的SURF特征向量；
确定所述第一参数与所述上一级检测得到的关键点对应的SURF特征向量两者的积，作为第一计算结果；
对所述上一级检测得到的关键点的坐标、所述第一结果和所述第二参数进行求和，得到第二计算结果；
将所述第二计算结果作为所述当前级检测对应的关键点的坐标。
可选地，所述方法还包括：
调用人脸弱分类器，以使所述人脸弱分类器根据所述上一级检测得到的关键点的坐标判断所述第一图像是否为人脸图像；
将确定为不是人脸图像的第一图像删除。
为了解决上述问题，本发明实施例公开了一种级联式人脸关键点定位系统，包括：
接收模块，用于接收上一级检测的第一输出结果；其中，所述第一输出结果中包括：第一图像和上一级检测得到的关键点的坐标；
计算模块，用于在通过人脸弱分类器确定所述第一图像是人脸图像时，根据所述上一级检测得到的关键点的坐标，以及，预先训练得到参数序列，计算得到当前级检测对应的关键点的坐标；
输出模块，用于将所述当前级检测对应的关键点的坐标作为人脸关键点定位结果输出，或，将所述当前级检测对应的关键点的坐标作为第二输出结果发送至下一级检测流程进行级联迭代计算，并将计算得到的下一级检测对应的关键点的坐标作为人脸关键点定位结果输出。
可选地，通过如下模块预先训练得到参数序列：
选择模块，用于选择至少一张包括人脸图像的样本图片作为训练样本集；其中，各个样本图片中分别包括至少一个样本关键点，各个样本关键点的坐标已标注；
确定模块，用于根据各个样本图片中已标注的各个样本关键点的坐标，确定用于进行迭代训练的初始样本关键点的坐标，以及，确定所述初始样本关键点对应的特征向量；
参数序列训练模块，用于根据所述初始样本关键点的坐标和所述初始样本关键点的特征向量，训练得到所述参数序列；其中，每一级检测对应不同的参数序列。
可选地，确定模块包括：
归一化处理子模块，用于分别对各个样本图片中已标注的各个样本关键点的坐标进行归一化处理，得到归一化处理结果；
初始样本关键点确定子模块，用于将所述归一化处理结果的平均值作为所述初始样本关键点的坐标；以及，提取得到所述初始样本关键点对应的SURF特征向量，以作为所述初始样本关键点对应的特征向量。
可选地，计算模块包括：
获取子模块，用于在确定所述第一图像为人脸图像时，从预先训练得到的参数序列中获取与所述上一级检测相匹配的第一参数和第二参数；以及，提取所述上一级检测得到的关键点对应的SURF特征向量；
第一结果计算子模块，用于确定所述第一参数与所述上一级检测得到的关键点对应的SURF特征向量两者的积，作为第一计算结果；
第二结果计算子模块，用于对所述上一级检测得到的关键点的坐标、所述第一结果和所述第二参数进行求和，得到第二计算结果；
关键点坐标计算子模块，用于将所述第二计算结果作为所述当前级检测对应的关键点的坐标。
可选地，所述系统还包括：
判断模块，用于调用人脸弱分类器，以使所述人脸弱分类器根据所述上一级检测得到的关键点的坐标判断所述第一图像是否为人脸图像，对于质量较差，模糊的图像可以直接排除，无须进一步进行关键点检测；
删除模块，用于将确定为不是人脸图像的第一图像删除。
与现有技术相比，本发明实施例包括以下优点：
本发明实施例公开的一种级联式人脸关键点定位方案，可以接收上一级检测的第一输出结果，然后在通过人脸弱分类器确定所述第一图像是人脸图像时，根据所述上一级检测得到的关键点的坐标，以及，预先训练得到参数序列，计算得到当前级检测对应的关键点的坐标；然后，将所述当前级检测对应的关键点的坐标作为人脸关键点定位结果输出，或，将所述当前级检测对应的关键点的坐标作为第二输出结果发送至下一级检测进行级联迭代计算，并将计算得到的下一级检测对应的关键点的坐标作为人脸关键点定位结果输出。可见，在本发明实施例中，有效地将人脸检测和人脸关键点定位进行了融合，换而言之，本发明实施例所述的方案将人脸图像检测与关键点定位进行融合作为一个级联的循环检测框架，在所述级联的循环框架下进行人脸关键点的计算和定位，大大降低了外部的环境因素对检测精度的影响，在提高检测结果准确性的基础上同时保证了检测结果的稳定性。
此外，参数序列可以是预先训练得到的，可以直接进行调用计算，降低了计算量，提高了效率，具有较强的实时性。
附图说明
图1是本发明实施例一中一种级联式人脸关键点定位方法的步骤流程图；
图2是本发明实施例二中一种级联式人脸关键点定位方法的步骤流程图；
图3是本发明实施例三中一种级联式人脸关键点定位系统的结构框图；
图4是本发明实施例四中一种级联式人脸关键点定位系统的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
参照图1，示出了本发明实施例一中一种级联式人脸关键点定位方法的步骤流程图。在本实施例中，所述级联式人脸关键点定位方法可以包括：
步骤102，接收上一级检测的第一输出结果。
在本实施例中，所述级联式人脸关键点定位方法是一个基于级联框架下的循环迭代过程，当前级检测的输入数据可以是上一级检测的输出结果，其中，所述第一输出结果中可以包括：第一图像和上一级检测得到的关键点的坐标。
在本实施例中，关键点具体可以是人脸关键点，包括但不仅限于：眼角、眉毛、嘴角和鼻尖等指示面部特征的点。其中，所述关键点至少为一个。
需要说明的是，在本实施例中，若当前级检测为第一级的初始检测时，则所述当前级检测的结果可以是用户输入的待检测和定位图像，所述的上一级检测得到的关键点则可以是指初始关键点；其中，所述初始关键点可以是根据经验数据预先标注确定的，也可以是通过样本模型训练确定的，本实施例对此不作限制。
此外，本实施例中所述的上一级检测得到的关键点的坐标可以但不仅限于包括：上一级检测得到的多个关键点对应的坐标向量。例如，若上一级检测得到3个关键点，则所述的上一级检测得到的关键点的坐标可以是如下的坐标向量：(x1，y1，x2，y2，x3，y3)；其中，“x1，y1”可以是第一个关键点对应的二维坐标，“x2，y2”可以是第二个关键点对应的二维坐标，“x3，y3”可以是第三个关键点对应的二维坐标。本领域技术人员应当明了的是，上述针对上一级检测得到的关键点的坐标的说明仅是示例性说明，不应作为对本发明的限制。
步骤104，在通过人脸弱分类器确定所述第一图像是人脸图像时，根据所述上一级检测得到的关键点的坐标，以及，预先训练得到参数序列，计算得到当前级检测对应的关键点的坐标。
在本实施例中，可以对所述上一级检测得到的关键点的坐标，以及，预先训练得到参数序列等参数在回归框架下进行回归处理，然后将回归处理得到的结果作为当前级检测对应的关键点的坐标，以使得到的关键点的坐标逐渐接近真实值。
需要说明的是，本领域技术人员可以采用任意一种适当的方式来判断图像是否为人脸图像，包括但不仅限于通过所述人脸弱分类器来判断，其中，所述人脸弱分类器(或其他任意适当的判断方式)可以快速识别并排除不是人脸的图像。
步骤106，将所述当前级检测对应的关键点的坐标作为人脸关键点定位结果输出，或，将所述当前级检测对应的关键点的坐标作为第二输出结果发送至下一级检测进行级联迭代计算，并将计算得到的下一级检测对应的关键点的坐标作为人脸关键点定位结果输出。
由前所述，本实施例所述的方法融合了人脸检测和关键点定位两种算法，基于人脸检测和关键点定位融合后的级联架构来进行人脸的准确识别和关键点的精确定位。
本领域技术人员应当明了的是，所述当前级检测可以是循环过程中的最后一级检测，也可以是循环过程中的中间级检测。其中，若当前级检测满足设定标准(所述设定标准，用于指示是否是最后一级检测)，则可以将当前级检测对应的关键点的坐标作为人脸关键点定位结果直接输出；若当前级检测不满足设定标准(中间级检测)，则可以将当前级检测对应的关键点的坐标作为下一级检测的输入结果输出，也即，可以返回步骤102循环执行，直至循环至最后一级检测。
其中，所述设定标准可以但不仅限于是：设定次数标准或设定差值标准。例如，所述设定次数标准可以是指：若当前级检测所对应的检测次数满足所述设定次数，则可以结束循环迭代，将结果输出。所述设定差值标准可以是指：若所述当前级检测对应的关键点的坐标与上一级检测对应的关键点的坐标的差值在设定阈值范围内，则可以结束循环迭代，将结果输出。本实施例对此不作限制。
综上所述，本实施例所述的一种级联式人脸关键点定位方法，可以接收上一级检测的第一输出结果，然后在通过人脸弱分类器确定所述第一图像是人脸图像时，根据所述上一级检测得到的关键点的坐标，以及，预先训练得到参数序列，计算得到当前级检测对应的关键点的坐标；然后，将所述当前级检测对应的关键点的坐标作为人脸关键点定位结果输出，或，将所述当前级检测对应的关键点的坐标作为第二输出结果发送至下一级检测进行级联迭代计算，并将计算得到的下一级检测对应的关键点的坐标作为人脸关键点定位结果输出。可见，在本实施例中，所述方法有效地将人脸检测和人脸关键点定位进行了融合，换而言之，本实施例所述的方法将人脸图像检测与关键点定位进行融合作为一个级联的循环检测框架，在所述级联的循环框架下进行人脸关键点的计算和定位，大大降低了外部的环境因素对检测精度的影响，在提高检测结果准确性的基础上同时保证了检测结果的稳定性。
此外，参数序列可以是预先训练得到的，可以直接进行调用计算，降低了计算量，提高了效率，具有较强的实时性。
实施例二
参照图2，示出了本发明实施例二中一种级联式人脸关键点定位方法的步骤流程图。在本实施例中，所述级联式人脸关键点定位方法可以包括：
步骤202，接收上一级检测的第一输出结果。
其中，所述第一输出结果中包括：第一图像和上一级检测得到的关键点的坐标。
步骤204，调用人脸弱分类器，以使所述人脸弱分类器根据所述上一级检测得到的关键点的坐标判断所述第一图像是否为人脸图像。
在本实施例中，可以但不仅限于通过人脸弱分类器来判断图像是否为人脸图像。人脸弱分类器可以根据所述上一级检测得到的关键点的坐标快速识别出所述第一图像是否为人脸图像，处理速度快。其中，可以快速地将确定为不是人脸图像的第一图像识别出来并删除。
进一步地，在通过人脸弱分类器确定所述第一图像是人脸图像，或，在通过所述人脸弱分类器不能确定所述第一图像是非人脸图像时，可以执行下述步骤206。
步骤206，根据所述上一级检测得到的关键点的坐标，以及，预先训练得到参数序列，计算得到当前级检测对应的关键点的坐标。
优选地，在本实施例中，所述参数序列可以通过如下方式训练得到：
首先，可以选择至少一张包括人脸图像的样本图片作为训练样本集；其中，各个样本图片中分别包括至少一个样本关键点，各个样本关键点的坐标已标注。
在本实施例中，可以但不仅限于通过互联网或其他任意适当的方式搜集得到包含人脸图像的N张样本图片，然后可以将搜集到的所述N张样本图片作为训练的样本集。其中，N可以是大于等于1的任一整数，本领域技术人员应当明了的是，一般地，N的取值越大，训练得到的结果越准确。
其中，各个样本图片中的各个样本关键点的坐标都是已标注好的，已标注好的样本关键点的坐标可以指示各个样本关键点的正确位置。例如，样本图片Xi对应的各个关键点的坐标可以是其中i＝1、2、3、···、N；k为大于等于1的整数，样本图片中的样本关键点的数量决定了k的取值，也即，k＝样本关键点的数量。
其次，可以根据各个样本图片中已标注的各个样本关键点的坐标，确定用于进行迭代训练的初始样本关键点的坐标，以及，确定所述初始样本关键点对应的特征向量。
在本实施例中，由前所述，样本图片X1、样本图片X2、···、样本图片Xi、···、样本图片XN分别各自对应有至少一个已标注的样本关键点。优选地，可以分别对各个样本图片中已标注的各个样本关键点的坐标进行归一化处理，将得到的归一化处理结果，例如，对N张样本图片中已标注的各个样本关键点的坐标进行归一化处理后可以得到如下归一化坐标： 其中，表示样本图片XN对应的归一化坐标。
进一步地，可以将所述归一化处理结果的平均值作为所述初始样本关键点的坐标。例如，初始样本关键点X0可以为：
此外，可以提取得到所述初始样本关键点对应的SURF特征(Speeded-UpRobust Features，加速鲁棒特征)向量，以作为所述初始样本关键点对应的特征向量
最后，可以根据所述初始样本关键点的特征向量，训练得到所述参数序列。其中，每一级检测对应不同的参数序列。
在本实施例中，训练的过程可以看作是最小化以下函数的过程：
····公式1；
其中，ΔX是可以是指初始关键点与真实关键点之间的差值。上述公式1可以等价与下述公式2：
···公式2
进一步优选地，可以通过建立如下优化模型进行训练：
···公式3
其中，表示：第i个样本初始位置与目标位置之间的差值，公式3的意义在于让参数序列R0和b0直接朝着目标位置优化。根据对上述公式3求最小，可以确定R0和b0的大小，其中，所述R0和b0可以是参数序列中的其中一组参数。需要说明的是，参数序列中可以包括多组参数：RK和bK；其中，K的取值范围为：0、1、2、···、N。由于R0和b0已经确定，故，R1、b1、R2、b2、···、RK、bK可以按照如下方式学习得到：在每一步，一组新的和可以通过得到；其中，为第i副图当前位置提取的SURF特征向量，Rk-1和bk-1可以是通过迭代得到的结果，则可以转化成数学表达式如下：
···公式4
根据上述公式4可以依次计算得到R1、b1、R2、b2、···、RK、bK的值，以作为参数序列中的元素。
在本实施例的一优选方案中，上述步骤204具体可以包括：
子步骤2062，从预先训练得到的参数序列中获取与所述当前级检测相匹配的第一参数和第二参数；以及，提取所述上一级检测得到的关键点对应的SURF特征向量。
在本实施例中，以当前级检测为第K级检测为例，则所述上一级检测为第K-1级检测，所述第K-1级对应的第一参数和第二参数分别为：RK-1和bK-1；所述上一级检测对应的SURF特征向量为：由前所述，RK-1、bK-1和是已知的。
子步骤2064，确定所述第一参数与所述上一级检测得到的关键点对应的SURF特征向量两者的积，作为第一计算结果。
子步骤2066，对所述上一级检测得到的关键点的坐标、所述第一结果和所述第二参数进行求和，得到第二计算结果。
子步骤2068，将所述第二计算结果作为所述当前级检测对应的关键点的坐标。
在本实施例中，结合上述步骤2062-2066可以确定第K级检测对应的关键点的坐标
步骤208，将所述当前级检测对应的关键点的坐标作为人脸关键点定位结果输出，或，根据所述当前级检测对应的关键点的坐标迭代计算得到下一级检测对应的关键点的坐标，并将计算得到的下一级检测对应的关键点的坐标作为人脸关键点定位结果输出。
在本实施例中，仍以第K级检测为例，若K＝T，则可以直接将第K级检测对应的关键点的坐标作为人脸关键点定位结果输出；其中，T为最大循环迭代次数。若K＜T，则可以将第K级检测对应的关键点的坐标作为下一级检测的输入值，进行下一级检测对应的关键点坐标的计算，直至满足循环迭代次数T。
此外，在输出人脸关键点定位结果时还可以将人脸检测的最终结果(如，最终确定是人脸的图像)也同步输出。
综上所述，本实施例所述的一种级联式人脸关键点定位方法，可以接收上一级检测的第一输出结果，然后在通过人脸弱分类器确定所述第一图像是人脸图像时，根据所述上一级检测得到的关键点的坐标，以及，预先训练得到参数序列，计算得到当前级检测对应的关键点的坐标；然后，将所述当前级检测对应的关键点的坐标作为人脸关键点定位结果输出，或，将所述当前级检测对应的关键点的坐标作为第二输出结果发送至下一级检测进行级联迭代计算，并将计算得到的下一级检测对应的关键点的坐标作为人脸关键点定位结果输出。可见，在本实施例中，所述方法有效地将人脸检测和人脸关键点定位进行了融合，换而言之，本实施例所述的方法将人脸图像检测与关键点定位进行融合作为一个级联的循环检测框架，在所述级联的循环框架下进行人脸关键点的计算和定位，大大降低了外部的环境因素对检测精度的影响，在提高检测结果准确性的基础上同时保证了检测结果的稳定性。
此外，参数序列可以是预先训练得到的，可以直接进行调用计算，降低了计算量，提高了效率，具有较强的实时性。而且，由于参数序列是预先训练得到的，因此，在关键点定位的应用阶段可以只需要确定SURF特征，使本实施例所述的方法对于光照、姿态、遮挡因素等的干扰具有很高的鲁棒性，使得整体算法框架同时具备高鲁棒性，进一步保证了定位的准确性和稳定性。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
实施例三
结合上述方法实施例，本实施例公开了一种级联式人脸关键点定位系统。参照图3，示出了本发明实施例三中一种级联式人脸关键点定位系统的结构框图。在本实施例中，所述级联式人脸关键点定位系统可以包括：
接收模块302，用于接收上一级检测的第一输出结果。
其中，所述第一输出结果中包括：第一图像和上一级检测得到的关键点的坐标。
计算模块304，用于在通过人脸弱分类器确定所述第一图像是人脸图像时，根据所述上一级检测得到的关键点的坐标，以及，预先训练得到参数序列，计算得到当前级检测对应的关键点的坐标。
输出模块306，用于将所述当前级检测对应的关键点的坐标作为人脸关键点定位结果输出，或，将所述当前级检测对应的关键点的坐标作为第二输出结果发送至下一级检测流程进行级联迭代计算，并将计算得到的下一级检测对应的关键点的坐标作为人脸关键点定位结果输出。
综上所述，本实施例所述的一种级联式人脸关键点定位系统，可以接收上一级检测的第一输出结果，然后在通过人脸弱分类器确定所述第一图像是人脸图像时，根据所述上一级检测得到的关键点的坐标，以及，预先训练得到参数序列，计算得到当前级检测对应的关键点的坐标；然后，将所述当前级检测对应的关键点的坐标作为人脸关键点定位结果输出，或，将所述当前级检测对应的关键点的坐标作为第二输出结果发送至下一级检测进行级联迭代计算，并将计算得到的下一级检测对应的关键点的坐标作为人脸关键点定位结果输出。可见，在本实施例中，所述系统有效地将人脸检测和人脸关键点定位进行了融合，换而言之，本实施例所述的系统将人脸图像检测与关键点定位进行融合作为一个级联的循环检测框架，在所述级联的循环框架下进行人脸关键点的计算和定位，大大降低了外部的环境因素对检测精度的影响，在提高检测结果准确性的基础上同时保证了检测结果的稳定性。
此外，参数序列可以是预先训练得到的，可以直接进行调用计算，降低了计算量，提高了效率，具有较强的实时性。
实施例四
参照图4，示出了本发明实施例四中一种级联式人脸关键点定位系统的结构框图。在本实施例中，所述级联式人脸关键点定位系统可以包括：
接收模块402，用于接收上一级检测的第一输出结果。
其中，所述第一输出结果中包括：第一图像和上一级检测得到的关键点的坐标。
判断模块404，用于调用人脸弱分类器，以使所述人脸弱分类器根据所述上一级检测得到的关键点的坐标判断所述第一图像是否为人脸图像。
在本实施例中，若通过判断模块404确定所述第一图像不是人脸图像时，则可以通过删除模块将所述第一图像删除。其中，删除模块，用于将确定为不是人脸图像的第一图像删除。否则，可以执行下述计算模块406。
计算模块406，用于根据所述上一级检测得到的关键点的坐标，以及，预先训练得到参数序列，计算得到当前级检测对应的关键点的坐标。
输出模块408，用于将所述当前级检测对应的关键点的坐标作为人脸关键点定位结果输出，或，将所述当前级检测对应的关键点的坐标作为第二输出结果发送至下一级检测流程进行级联迭代计算，并将计算得到的下一级检测对应的关键点的坐标作为人脸关键点定位结果输出。
需要说明的是，在本实施例中，优选地，具体可以通过如下模块预先训练得到参数序列：选择模块410，用于选择至少一张包括人脸图像的样本图片作为训练样本集；其中，各个样本图片中分别包括至少一个样本关键点，各个样本关键点的坐标已标注。确定模块412，用于根据各个样本图片中已标注的各个样本关键点的坐标，确定用于进行迭代训练的初始样本关键点的坐标，以及，确定所述初始样本关键点对应的特征向量。参数序列训练模块414，用于根据所述初始样本关键点的坐标和所述初始样本关键点的特征向量，训练得到所述参数序列；其中，每一级检测对应不同的参数序列。
进一步优选地，确定模块412具体可以包括：归一化处理子模块4122，用于分别对各个样本图片中已标注的各个样本关键点的坐标进行归一化处理，得到归一化处理结果。初始样本关键点确定子模块4124，用于将所述归一化处理结果的平均值作为所述初始样本关键点的坐标；以及，提取得到所述初始样本关键点对应的SURF特征向量，以作为所述初始样本关键点对应的特征向量。
在本实施例的一优选方案中，所述计算模块406具体可以包括：获取子模块4062，用于在确定所述第一图像为人脸图像时，从预先训练得到的参数序列中获取与所述上一级检测相匹配的第一参数和第二参数；以及，提取所述上一级检测得到的关键点对应的SURF特征向量。第一结果计算子模块4064，用于确定所述第一参数与所述上一级检测得到的关键点对应的SURF特征向量两者的积，作为第一计算结果。第二结果计算子模块4066，用于对所述上一级检测得到的关键点的坐标、所述第一结果和所述第二参数进行求和，得到第二计算结果。关键点坐标计算子模块4068，用于将所述第二计算结果作为所述当前级检测对应的关键点的坐标。
综上所述，本实施例所述的一种级联式人脸关键点定位系统，可以接收上一级检测的第一输出结果，然后在通过人脸弱分类器确定所述第一图像是人脸图像时，根据所述上一级检测得到的关键点的坐标，以及，预先训练得到参数序列，计算得到当前级检测对应的关键点的坐标；然后，将所述当前级检测对应的关键点的坐标作为人脸关键点定位结果输出，或，将所述当前级检测对应的关键点的坐标作为第二输出结果发送至下一级检测进行级联迭代计算，并将计算得到的下一级检测对应的关键点的坐标作为人脸关键点定位结果输出。可见，在本实施例中，所述系统有效地将人脸检测和人脸关键点定位进行了融合，换而言之，本实施例所述的系统将人脸图像检测与关键点定位进行融合作为一个级联的循环检测框架，在所述级联的循环框架下进行人脸关键点的计算和定位，大大降低了外部的环境因素对检测精度的影响，在提高检测结果准确性的基础上同时保证了检测结果的稳定性。
此外，参数序列可以是预先训练得到的，可以直接进行调用计算，降低了计算量，提高了效率，具有较强的实时性。而且，由于参数序列是预先训练得到的，因此，在关键点定位的应用阶段可以只需要确定SURF特征，使本实施例所述的系统对于光照、姿态、遮挡因素等的干扰具有很高的鲁棒性，使得整体框架同时具备高鲁棒性，进一步保证了定位的准确性和稳定性。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种级联式人脸关键点定位方法和系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种级联式人脸关键点定位方法，其特征在于，包括：
接收上一级检测的第一输出结果；其中，所述第一输出结果中包括：第一图像和上一级检测得到的关键点的坐标；
在通过人脸弱分类器确定所述第一图像是人脸图像时，根据所述上一级检测得到的关键点的坐标，以及，预先训练得到参数序列，计算得到当前级检测对应的关键点的坐标；
将所述当前级检测对应的关键点的坐标作为人脸关键点定位结果输出，或，将所述当前级检测对应的关键点的坐标作为第二输出结果发送至下一级检测进行级联迭代计算，并将计算得到的下一级检测对应的关键点的坐标作为人脸关键点定位结果输出。
2.根据权利要求1所述的方法，其特征在于，通过如下步骤预先训练得到参数序列：
选择至少一张包括人脸图像的样本图片作为训练样本集；其中，各个样本图片中分别包括至少一个样本关键点，各个样本关键点的坐标已标注；
根据各个样本图片中已标注的各个样本关键点的坐标，确定用于进行迭代训练的初始样本关键点的坐标，以及，确定所述初始样本关键点对应的特征向量；
根据所述初始样本关键点的坐标和所述初始样本关键点的特征向量，训练得到所述参数序列；其中，每一级检测对应不同的参数序列。
3.根据权利要求2所述的方法，其特征在于，根据各个样本图片中已标注的各个样本关键点的坐标，确定用于进行迭代训练的初始样本关键点的坐标，以及，确定所述初始样本关键点对应的特征向量，包括：
分别对各个样本图片中已标注的各个样本关键点的坐标进行归一化处理，得到归一化处理结果；
将所述归一化处理结果的平均值作为所述初始样本关键点的坐标；
以及，
提取得到所述初始样本关键点对应的SURF特征向量，以作为所述初始样本关键点对应的特征向量。
4.根据权利要求2所述的方法，其特征在于，根据所述上一级检测得到的关键点的坐标，以及，预先训练得到参数序列，计算得到当前级检测对应的关键点的坐标，包括：
从预先训练得到的参数序列中获取与所述上一级检测相匹配的第一参数和第二参数；以及，提取所述上一级检测得到的关键点对应的SURF特征向量；
确定所述第一参数与所述上一级检测得到的关键点对应的SURF特征向量两者的积，作为第一计算结果；
对所述上一级检测得到的关键点的坐标、所述第一结果和所述第二参数进行求和，得到第二计算结果；
将所述第二计算结果作为所述当前级检测对应的关键点的坐标。
5.根据权利要求1-4任一项所述的方法，其特征在于，还包括：
调用人脸弱分类器，以使所述人脸弱分类器根据所述上一级检测得到的关键点的坐标判断所述第一图像是否为人脸图像；
将确定为不是人脸图像的第一图像删除。
6.一种级联式人脸关键点定位系统，其特征在于，包括：
接收模块，用于接收上一级检测的第一输出结果；其中，所述第一输出结果中包括：第一图像和上一级检测得到的关键点的坐标；
计算模块，用于在通过人脸弱分类器确定所述第一图像是人脸图像时，根据所述上一级检测得到的关键点的坐标，以及，预先训练得到参数序列，计算得到当前级检测对应的关键点的坐标；
输出模块，用于将所述当前级检测对应的关键点的坐标作为人脸关键点定位结果输出，或，将所述当前级检测对应的关键点的坐标作为第二输出结果发送至下一级检测流程进行级联迭代计算，并将计算得到的下一级检测对应的关键点的坐标作为人脸关键点定位结果输出。
7.根据权利要求6所述的系统，其特征在于，通过如下模块预先训练得到参数序列：
选择模块，用于选择至少一张包括人脸图像的样本图片作为训练样本集；其中，各个样本图片中分别包括至少一个样本关键点，各个样本关键点的坐标已标注；
确定模块，用于根据各个样本图片中已标注的各个样本关键点的坐标，确定用于进行迭代训练的初始样本关键点的坐标，以及，确定所述初始样本关键点对应的特征向量；
参数序列训练模块，用于根据所述初始样本关键点的坐标和所述初始样本关键点的特征向量，训练得到所述参数序列；其中，每一级检测对应不同的参数序列。
8.根据权利要求7所述的系统，其特征在于，确定模块包括：
归一化处理子模块，用于分别对各个样本图片中已标注的各个样本关键点的坐标进行归一化处理，得到归一化处理结果；
初始样本关键点确定子模块，用于将所述归一化处理结果的平均值作为所述初始样本关键点的坐标；以及，提取得到所述初始样本关键点对应的SURF特征向量，以作为所述初始样本关键点对应的特征向量。
9.根据权利要求7所述的系统，其特征在于，计算模块包括：
获取子模块，用于在确定所述第一图像为人脸图像时，从预先训练得到的参数序列中获取与所述上一级检测相匹配的第一参数和第二参数；以及，提取所述上一级检测得到的关键点对应的SURF特征向量；
第一结果计算子模块，用于确定所述第一参数与所述上一级检测得到的关键点对应的SURF特征向量两者的积，作为第一计算结果；
第二结果计算子模块，用于对所述上一级检测得到的关键点的坐标、所述第一结果和所述第二参数进行求和，得到第二计算结果；
关键点坐标计算子模块，用于将所述第二计算结果作为所述当前级检测对应的关键点的坐标。
10.根据权利要求6-9任一项所述的系统，其特征在于，还包括：
判断模块，用于调用人脸弱分类器，以使所述人脸弱分类器根据所述上一级检测得到的关键点的坐标判断所述第一图像是否为人脸图像；
删除模块，用于将确定为不是人脸图像的第一图像删除。
CN201510575067.2A 2015-09-10 2015-09-10 一种级联式人脸关键点定位方法和系统 Pending CN106529374A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510575067.2A CN106529374A (zh) 2015-09-10 2015-09-10 一种级联式人脸关键点定位方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510575067.2A CN106529374A (zh) 2015-09-10 2015-09-10 一种级联式人脸关键点定位方法和系统

Publications (1)

Publication Number Publication Date
CN106529374A true CN106529374A (zh) 2017-03-22

Family

ID=58346197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510575067.2A Pending CN106529374A (zh) 2015-09-10 2015-09-10 一种级联式人脸关键点定位方法和系统

Country Status (1)

Country Link
CN (1) CN106529374A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229445A (zh) * 2018-02-09 2018-06-29 深圳市唯特视科技有限公司 一种基于级联金字塔网络的多人姿态估计方法
CN108875492A (zh) * 2017-10-11 2018-11-23 北京旷视科技有限公司 人脸检测及关键点定位方法、装置、系统和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824050A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联回归的人脸关键点定位方法
CN103824049A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联神经网络的人脸关键点检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824050A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联回归的人脸关键点定位方法
CN103824049A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联神经网络的人脸关键点检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DONG CHEN 等: "Joint Cascade Face Detection and Alignment", 《EUROPEAN CONFERENCE ON COMPUTER VISION 2014》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875492A (zh) * 2017-10-11 2018-11-23 北京旷视科技有限公司 人脸检测及关键点定位方法、装置、系统和存储介质
CN108875492B (zh) * 2017-10-11 2020-12-22 北京旷视科技有限公司 人脸检测及关键点定位方法、装置、系统和存储介质
CN108229445A (zh) * 2018-02-09 2018-06-29 深圳市唯特视科技有限公司 一种基于级联金字塔网络的多人姿态估计方法

Similar Documents

Publication Publication Date Title
CN107145908B (zh) 一种基于r-fcn的小目标检测方法
CN103810490B (zh) 一种确定人脸图像的属性的方法和设备
CN103718175B (zh) 检测对象姿势的设备、方法和介质
US20180068461A1 (en) Posture estimating apparatus, posture estimating method and storing medium
CN106874894A (zh) 一种基于区域全卷积神经网络的人体目标检测方法
CN107895160A (zh) 人脸检测与识别装置及方法
CN107680119A (zh) 一种基于时空上下文融合多特征及尺度滤波的跟踪算法
CN109859239B (zh) 一种目标追踪的方法及设备
CN108805016B (zh) 一种头肩区域检测方法及装置
CN110321873A (zh) 基于深度学习卷积神经网络的敏感图片识别方法及系统
CN108961675A (zh) 基于卷积神经网络的跌倒检测方法
CN110288017B (zh) 基于动态结构优化的高精度级联目标检测方法与装置
US11501462B2 (en) Multi-view three-dimensional positioning
CN108154104A (zh) 一种基于深度图像超像素联合特征的人体姿态估计方法
CN111445426B (zh) 一种基于生成对抗网络模型的目标服装图像处理方法
CN112541434B (zh) 一种基于中心点跟踪模型的人脸识别方法
CN111950608A (zh) 一种基于对比损失的域自适应物体检测方法
CN110309010B (zh) 用于电力设备相位分辩的局放网络训练方法及装置
JP6381368B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR20220098312A (ko) 이미지 내 관련 대상 검출 방법, 장치, 디바이스 및 기록 매체
CN116958584B (zh) 关键点检测方法、回归模型的训练方法、装置及电子设备
CN104978583A (zh) 人物动作的识别方法及装置
CN106529374A (zh) 一种级联式人脸关键点定位方法和系统
CN109934129A (zh) 一种人脸特征点定位方法、装置、计算机设备及存储介质
CN111507135A (zh) 人脸检测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170322

RJ01 Rejection of invention patent application after publication