CN106156692B - 一种用于人脸边缘特征点定位的方法及装置 - Google Patents

一种用于人脸边缘特征点定位的方法及装置 Download PDF

Info

Publication number
CN106156692B
CN106156692B CN201510134068.3A CN201510134068A CN106156692B CN 106156692 B CN106156692 B CN 106156692B CN 201510134068 A CN201510134068 A CN 201510134068A CN 106156692 B CN106156692 B CN 106156692B
Authority
CN
China
Prior art keywords
edge
face image
face
feature
human face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510134068.3A
Other languages
English (en)
Other versions
CN106156692A (zh
Inventor
邹建法
黄英
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Banma Zhixing Network Hongkong Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510134068.3A priority Critical patent/CN106156692B/zh
Priority to TW104128638A priority patent/TW201635198A/zh
Priority to US15/080,125 priority patent/US9916494B2/en
Priority to PCT/US2016/024009 priority patent/WO2016154435A1/en
Publication of CN106156692A publication Critical patent/CN106156692A/zh
Application granted granted Critical
Publication of CN106156692B publication Critical patent/CN106156692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Abstract

一种用于人脸边缘特征点定位的方法，包括：根据人脸图像拟合出该人脸图像中人脸边缘的外形边缘曲线；利用预设的人脸边缘特征点计算模型计算并获得该人脸图像中人脸边缘的特征点；利用预设的收敛算法计算并获得每个特征点对应的收敛特征点的特征信息；分别判断每个特征点到外形边缘曲线的距离是否大于各自对应收敛特征点到外形边缘曲线的距离；若是，则获取该特征点对应收敛特征点的特征信息；判断该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小是否小于预设的阈值；若小于，则将所述人脸图像中人脸边缘的所有特征点的位置信息定位为符合要求的人脸边缘特征点。该方法定位人脸特征点的准确性更高，并且应用范围更广。

Description

一种用于人脸边缘特征点定位的方法及装置
技术领域
本申请涉及图像处理技术领域，具体涉及一种用于人脸边缘特征点定位的方法。本申请同时涉及一种用于人脸边缘特征点定位的装置。
背景技术
在人机交互技术领域，人脸提供了如肤色、轮廓、表情等许多非常有价值的信息，尤其是在近年来，人脸特征点的定位技术得到了快速发展，在身份识别、人脸三维重建、人脸美颜、姿态估计、人脸跟踪等技术领域中得到广泛应用。人脸特征点的定位技术，是指基于人脸的检测技术检测到人脸，并对检测到的人脸的特征点的位置信息和形状信息进行精确计算；而对于人脸边缘的特征点的精确定位，能够很好的确定人脸的形状。
目前公开的人脸特征点的定位方法，主要是基于ASM(Active Shape Model)、AAM(Active Appearance Model)、SDM(Supervised Descent Method)算法的人脸特征点定位方法。其中，ASM算法是在形状统计模型的基础上进行人脸特征点定位的，例如人脸的轮廓等形状可以通过若干关键特征点的坐标依次串联形成一个形状向量来表示；AAM算法则是在ASM算法的基础上，进一步对纹理(将人脸图像变形到平均形状而得到的形状无关图像)进行统计建模，并将形状统计模型和纹理统计模型两个统计模型进一步融合为表观模型；SDM算法则是根据人脸的特征点的初始位置，提取每一个特征点为中心的非线性的SIFT(尺度不变特征转换，Scale Invariant Feature Transform)特征，然后解决特征点和对应SIFT特征之间的NLS(非线性最小二乘法，Non-linear Least Squares)问题，从而实现对人脸特征点的定位。
上述现有技术提供的人脸特征点的定位方法存在明显的缺陷。
现有技术提供的人脸特征点的定位方法的缺点在于：上基于SDM算法的人脸特征点定位方法，在进行人脸特征点的定位过程中，需要提取人脸的特征点进行收缩迭代，但是当人脸图像中的人脸在不同的背景下，提取人脸特征点的难度非常大，尤其是当人脸图像中的人脸处于复杂的背景下，很难确定人脸的特征点的准确位置，用此方法确定的人脸的特征点，准确度较低。
发明内容
本申请提供一种用于人脸边缘特征点定位的方法，以解决现有的人脸的特征点的定位方法存在的定位困难和特征点定位不准确的问题。本申请同时涉及一种用于人脸边缘特征点定位的装置。
本申请提供一种用于人脸边缘特征点定位的方法，包括：
根据人脸图像拟合出该人脸图像中人脸边缘的外形边缘曲线；以及，利用预设的人脸边缘特征点计算模型计算并获得该人脸图像中人脸边缘的特征点，并获取每个特征点的特征信息；其中，所述特征信息至少包括位置信息；
根据每个特征点的特征信息，利用预设的收敛算法计算并获得每个特征点对应的收敛特征点的特征信息；
根据每个特征点、收敛特征点的特征信息，分别判断每个特征点到所述外形边缘曲线的距离是否大于各自对应收敛特征点到所述外形边缘曲线的距离；
若是，则获取该特征点对应收敛特征点的特征信息，作为该特征点的特征信息；
若否，则保持该特征点的特征信息不变；
判断该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小是否小于预设的阈值；
若小于，则将所述人脸图像中人脸边缘的所有特征点的位置信息定位为符合要求的人脸边缘特征点；
若不小于，则返回所述根据每个特征点的特征信息，利用预设的收敛算法计算并获得每个特征点对应的收敛特征点的特征信息的步骤。
可选的，所述根据人脸图像拟合出该人脸图像中人脸边缘的外形边缘曲线的步骤之前，包括：
获取人脸的人脸图像；
利用预设的肤色模型对该人脸图像中的肤色区域和非肤色区域进行分离，并过滤掉该人脸图像中的非肤色区域。
可选的，所述获取人脸的人脸图像的步骤之后，包括：
将获取到的该人脸图像扩张或者裁剪为具有设定大小和/或格式的人脸图像。
可选的，所述肤色模型，包括：
混合高斯模型GMM。
可选的，所述根据人脸图像拟合出该人脸图像中人脸边缘的外形边缘曲线的步骤，包括：
检测人脸图像中人脸的强边缘；
根据检测到的人脸图像中人脸的强边缘，拟合出该人脸图像中人脸边缘的外形边缘曲线。
可选的，所述人脸图像中人脸的强边缘，利用Canny边缘检测算子检测获得。
可选的，所述拟合出该人脸图像中人脸边缘的外形边缘曲线的子步骤，包括：
对检测到的人脸图像中人脸的强边缘进行过滤，获得该人脸图像中人脸的轮廓曲线；
在所述人脸的轮廓曲线对应的人脸图像中，以该人脸图像中人脸的五官对应的至少一个特征点作为射线的端点，按照设定的角度作至少一条射线；
在所述人脸的轮廓曲线对应的人脸图像中，获取上述射线与该人脸图像中人脸的轮廓曲线的交点，拟合三阶贝塞尔曲线，作为人脸图像中人脸边缘的外形边缘曲线。
可选的，所述利用预设的人脸边缘特征点计算模型计算并获得该人脸图像中人脸边缘的特征点的步骤，包括：
利用所述人脸边缘特征点计算模型，并结合预先训练好的参数，计算并获得该人脸图像中人脸边缘的每个特征点的位置信息；
获取上述计算获得的各个特征点在以自身为中心的设定大小或者设定形状的区域内的梯度方向特征；
分别将每个特征点的位置信息和梯度方向特征作为每个特征点各自的特征信息。
可选的，所述收敛算法，包括：
ΔX1＝R0*φ0+b0；
Xk＝Xk-1+Rk-1*φk-1+bk-1；
其中，Xk是第k次利用该收敛算法计算之后获得的收敛特征点连接而成的一个向量，Xk-1是第k-1次利用该收敛算法计算之后获得的收敛特征点连接而成的一个向量；
ΔX1是第一次利用该收敛算法计算之后获得的收敛特征点连接而成的向量X1，与该人脸图像中人脸边缘的特征点连接而成的向量X0之间的位移值；φ0是第一次利用该收敛算法计算之前的特征点的梯度方向特征连接而成的一个向量；R0和b0是预先设定的系数；
Rk-1和bk-1是第k-1次利用该收敛算法计算之后的系数，φk-1是第k-1次利用收敛算法计算之后得到的收敛特征点的梯度方向特征连接而成的一个向量。
可选的，所述判断该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小是否小于预设的阈值的步骤，包括：
根据该人脸图像中人脸边缘的所有特征点在上述判断前后的特征信息，计算出该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小；
判断该位置变化的大小是否小于预设的阈值；
若小于，则确定该人脸图像中人脸边缘的每个特征点的特征信息不变；
若不小于，则返回所述根据每个特征点的特征信息，利用预设的收敛算法计算并获得每个特征点对应的收敛特征点的特征信息的步骤。
可选的，所述计算出该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小的子步骤，包括：
获取该人脸图像中人脸边缘在上述判断之前的所有特征点连接而成的一个向量；
获取该人脸图像中人脸边缘在上述判断之后的所有特征点连接而成的一个向量；
计算出上述两个向量之间的欧氏距离，作为该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小。
本申请还提供一种用于人脸边缘特征点定位的装置，包括：
外形边缘曲线拟合单元，用于根据人脸图像拟合出该人脸图像中人脸边缘的外形边缘曲线；
特征信息计算单元，用于利用预设的人脸边缘特征点计算模型计算并获得该人脸图像中人脸边缘的特征点，并获取每个特征点的特征信息；其中，所述特征信息至少包括位置信息；
收敛计算单元，用于根据每个特征点的特征信息，利用预设的收敛算法计算并获得每个特征点对应的收敛特征点的特征信息；
收敛方向判断单元，用于根据每个特征点、收敛特征点的特征信息，分别判断每个特征点到所述外形边缘曲线的距离是否大于各自对应收敛特征点到所述外形边缘曲线的距离；
若是，则获取该特征点对应收敛特征点的特征信息，作为该特征点的特征信息；
若否，则保持该特征点的特征信息不变；
收敛大小判断单元，用于判断该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小是否小于预设的阈值；
若小于，则进入特征信息确定单元；
若不小于，则进入所述收敛计算单元；
所述特征信息确定单元，用于将所述人脸图像中人脸边缘的所有特征点的位置信息定位为符合要求的人脸边缘特征点。
可选的，所述用于人脸边缘特征点定位的装置，包括：
人脸图像获取单元，用于获取人脸的人脸图像；
肤色过滤单元，用于利用预设的肤色模型对该人脸图像中的肤色区域和非肤色区域进行分离，并过滤掉该人脸图像中的非肤色区域。
可选的，所述用于人脸边缘特征点定位的装置，包括：
人脸图像格式化单元，用于将获取到的该人脸图像扩张或者裁剪为具有设定大小和/或格式的人脸图像。
可选的，所述外形边缘曲线拟合单元，包括：
强边缘检测子单元，用于检测人脸图像中人脸的强边缘；
外形边缘曲线拟合子单元，用于根据检测到的人脸图像中人脸的强边缘，拟合出该人脸图像中人脸边缘的外形边缘曲线。
可选的，外形边缘曲线拟合子单元，包括：
强边缘过滤子单元，用于对检测到的人脸图像中人脸的强边缘进行过滤，获得该人脸图像中人脸的轮廓曲线；
射线设置子单元，用于在所述人脸的轮廓曲线对应的人脸图像中，以该人脸图像中人脸的五官对应的至少一个特征点作为射线的端点，按照设定的角度作至少一条射线；
拟合子单元，用于在所述人脸的轮廓曲线对应的人脸图像中，获取上述射线与该人脸图像中人脸的轮廓曲线的交点，拟合三阶贝塞尔曲线，作为人脸图像中人脸边缘的外形边缘曲线。
可选的，所述特征信息计算单元，包括：
位置信息计算获取子单元，用于利用人脸边缘特征点计算模型获得该人脸图像中人脸边缘每个特征点的位置信息；
梯度方向特征获取子单元，用于获取每个特征点在以自身为中心的设定大小或者设定形状的区域内的梯度方向特征；
特征信息获取子单元，用于分别将每个特征点的位置信息和梯度方向特征作为每个特征点各自的特征信息。
可选的，所述收敛大小判断单元，包括：
位置变化大小计算子单元，用于根据该人脸图像中人脸边缘的所有特征点在上述判断前后的特征信息，计算出该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小；
位置变化大小判断子单元，用于判断该位置变化的大小是否小于预设的阈值；
若小于，则进入特征信息确定子单元；
若不小于，则进入所述收敛计算单元；
所述特征信息确定子单元，用于确定该人脸图像中人脸边缘的每个特征点的特征信息不变。
可选的，所述位置变化大小计算子单元，包括：
第一向量获取子单元，用于获取该人脸图像中人脸边缘在上述判断之前的所有特征点连接而成的一个向量；
第二向量获取子单元，用于获取该人脸图像中人脸边缘在上述判断之后的所有特征点连接而成的一个向量；
欧氏距离计算子单元，用于计算出上述两个向量之间的欧氏距离，作为该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小。
与现有技术相比，本申请具有以下优点：
本申请提供的一种用于人脸边缘特征点定位的方法，包括：根据人脸图像拟合出该人脸图像中人脸边缘的外形边缘曲线；以及，利用预设的人脸边缘特征点计算模型计算并获得该人脸图像中人脸边缘的特征点，并获取每个特征点的特征信息；其中，所述特征信息至少包括位置信息；根据每个特征点的特征信息，利用预设的收敛算法计算并获得每个特征点对应的收敛特征点的特征信息；根据每个特征点、收敛特征点的特征信息，分别判断每个特征点到所述外形边缘曲线的距离是否大于各自对应收敛特征点到所述外形边缘曲线的距离；若是，则获取该特征点对应收敛特征点的特征信息，作为该特征点的特征信息；若否，则保持该特征点的特征信息不变；判断该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小是否小于预设的阈值；若小于，则将所述人脸图像中人脸边缘的所有特征点的位置信息定位为符合要求的人脸边缘特征点；若不小于，则返回所述根据每个特征点的特征信息，利用预设的收敛算法计算并获得每个特征点对应的收敛特征点的特征信息的步骤。
本申请提供的所述用于人脸边缘特征点定位的方法，根据人脸图像拟合出该人脸图像中人脸边缘的外形边缘曲线，利用人脸边缘特征点计算模型获得该人脸图像中人脸边缘的特征点，对每一个特征点点提取位置信息和梯度方向特征，利用线性回归，定位出人脸边缘特征点的位置；并且，利用拟合出来的外形边缘曲线对线性回归过程中特征点收敛的方向进行约束和校正，提高了人脸边缘特征点定位的准确性，并且对不同背景人脸图像能够实现人脸边缘的特征点的定位，应用的范围更广。
附图说明
图1是本申请第一实施例提供的一种用于人脸边缘特征点定位的方法流程图；
图2是本申请第一实施例提供的一种人脸图像示意图；
图3是本申请第一实施例提供的一种利用混合高斯模型处理之后的人脸图像示意图；
图4是本申请第一实施例提供的一种人脸图像中人脸的强边缘示意图；
图5是本申请第一实施例提供的一种人脸图像中人脸的轮廓曲线示意图；
图6是本申请第一实施例提供的一种人脸图像中人脸边缘的外形边缘曲线拟合示意图；
图7是本申请第一实施例提供的一种人脸图像中人脸边缘的外形边缘曲线示意图；
图8是本申请第一实施例提供的一种人脸图像中人脸边缘的特征点示意图；
图9是本申请第一实施例提供的一种人脸图像中的人脸边缘的特征点的梯度方向特征示意图；
图10是本申请第一实施例提供的一种人脸边缘的特征点相对于外形边缘曲线收敛方向示意图；
图11是本申请第一实施例提供的另一种人脸边缘的特征点相对于外形边缘曲线收敛方向示意图；
图12是本申请第二实施例提供的一种用于人脸边缘特征点定位的装置示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
本申请提供一种用于人脸边缘特征点定位的方法，本申请另外提供一种用于人脸边缘特征点定位的装置。
本申请提供一种用于人脸边缘特征点定位的方法实施例如下：
以下结合图1至图11对本实施例提供的一种用于人脸边缘特征点定位的方法进行说明，并且对该方法的各个步骤进行说明。
其中，图1是本实施例提供的一种用于人脸边缘特征点定位的方法流程图，图2是本实施例提供的一种人脸图像示意图，图3是本实施例提供的一种利用混合高斯模型处理之后的人脸图像示意图，图4是本实施例提供的一种人脸图像中人脸的强边缘示意图，图5是本实施例提供的一种人脸图像中人脸的轮廓曲线示意图；图6是本实施例提供的一种人脸图像中人脸边缘的外形边缘曲线拟合示意图；图7是本实施例提供的一种人脸图像中人脸边缘的外形边缘曲线示意图，图8是本实施例提供的一种人脸图像中人脸边缘的特征点示意图，图9是本实施例提供的一种人脸图像中的人脸边缘的特征点的梯度方向特征示意图，图10是本实施例提供的一种人脸边缘的特征点相对于外形边缘曲线收敛方向示意图，图11是本实施例提供的另一种人脸边缘的特征点相对于外形边缘曲线收敛方向示意图。
参照图1，其示出了本实施例提供的一种用于人脸边缘特征点定位的方法处理流程图。
S101，根据人脸图像拟合出该人脸图像中人脸边缘的外形边缘曲线。
需要说明的是，本实施例中，在本步骤所述的根据人脸图像拟合出该人脸图像中人脸边缘的外形边缘曲线之前，还包括下述步骤：
1、获取人脸的人脸图像；
所述人脸图像，是本实施例中数据的来源，是实现人脸边缘的特征点定位的基础；
当然，本步骤获取到的人脸图像中，除了包含人脸之外，也可能包含其他背景事物，并且对于获取的人脸图像没有格式以及大小的要求，比如获取到的人脸图像可能是证件照，也可能是常见的自拍照，或者其他的包含人脸之外的头发、衣服，等背景事物的图像。
2、将获取到的人脸图像扩张为设定大小的人脸图像；
其中，大小包括人脸图像的宽度的像素值、高度的像素值，占用字节大小，尺寸大小。
本步骤中，用于对上述步骤1获取到的人脸图像的大小进行统一化，将获取到的人脸图像扩张为具有特定大小的矩形形状的人脸图像，如图2所示，图2出示了根据本步骤的扩张之后获得的人脸图像。
本实施例中，下述的人脸图像，均是指图2所示的人脸图像。
需要说明的是，除上述提供的将获取到的人脸图像扩张为设定大小的人脸图像的方法之外，还可以以其他方法实现，比如，将获取到的人脸图像裁剪为设定大小的人脸图像，或者将获取到的人脸图像保存为具有设定格式的人脸图像，格式包括人脸图像的项目类型(bmp、jpg、tiff、gif等)、分辨率等，在此不做限定。
3、利用预设的肤色模型对人脸图像中的肤色区域和非肤色区域进行分离，并过滤掉人脸图像中的非肤色区域；
所述预设的肤色模型，是指混合高斯模型(Gaussian Mixture Model，GMM)。
混合高斯模型使用K(一般为3到5)个高斯模型来表征人脸图像中各个像素点的特征，在新一帧的人脸图像获得后更新混合高斯模型，用当前人脸图像中的每个特征点与混合高斯模型进行匹配，如果某特征点匹配成功，则判定该特征点为背景点，表明该特征点为人脸图像中的背景部分；如果匹配失败，则判定该特征点为前景点，表明该特征点为人脸图像中人脸范围内的特征点。
本实施例中，对于图2所示的人脸图像，利用混合高斯模型对该人脸图像进行处理，将该人脸图像中的肤色区域和非肤色区域进行分离，并且过滤掉该人脸图像中的非肤色区域，最终获得的人脸图像如图3所示，图3出示了利用混合高斯模型处理之后的人脸图像。
需要说明的是，除上述提供的混合高斯模型之外，还可以采用其他模型实现上述对人脸图像中人脸肤色的过滤，在此不做限定。
4、检测人脸图像中人脸的强边缘；
需要说明的是，本实施例中，利用Canny边缘检测算子检测所述人脸图像中人脸的强边缘，具体实现如下：
1)利用高斯滤波器平滑上述获得的人脸图像；
如图3所示，将图3所示的人脸图像作为本步骤的输入，输入该人脸图像之后，利用高斯滤波器平滑该人脸图像，达到去噪的目的。
2)计算人脸图像的边缘梯度；
利用一阶偏导的有限差分来计算梯度的幅值和方向，从而计算出人脸图像中各个像素点的梯度值和梯度方向。
3)进行非极大值抑制；
上述步骤2)计算获得的是人脸图像的全局的梯度特征，不足以确定人脸图像中人脸的边缘，因此，在本步骤中，通过非极大值抑制(non-maximasuppression，NMS)来确定人脸图像中人脸边缘的像素点。
4)生成人脸图像中人脸的强边缘。
对于上述步骤3)进行非极大值抑制后获得的人脸图像，本步骤中，利用双阈值算法检测和连接人脸图像中人脸的强边缘，设非极大值抑制后的人脸图像为N(i，j)，双阈值t1和t2，且t2≈2*t1，将t1和t2作用于人脸图像N(i，j)，得到边缘图像T1(i，j)和边缘图像T2(i，j)；
由于边缘图像T2(i，j)是使用高阈值得到，含有很少的假边缘，但是有间断(不闭合)，以边缘图像T2(i，j)为基础，在边缘图像T2(i，j)中将人脸边缘的像素点连接成人脸轮廓，当到达人脸轮廓的端点时，就在边缘图像T1(i，j)中寻找可以连接到人脸轮廓上的像素点进行连接，直到将边缘图像T2(i，j)中人脸边缘的像素点连接起来，从而获得人脸图像中人脸的强边缘，如图4所示，图4示出了利用Canny边缘检测算子计算出的人脸图像中人脸的强边缘。
需要说明的是，除上述提供的检测人脸图像中人脸强边缘的方法之外，还可以采用其他方法实现，在此不做限定。
5、根据人脸图像中人脸的强边缘，拟合出人脸图像中人脸边缘的外形边缘曲线。
上述步骤4中，检测并获得了人脸图像中人脸的强边缘，本步骤中，根据上述步骤4中获得的人脸图像中人脸的强边缘，拟合出该人脸图像中人脸边缘的外形边缘曲线。
本实施中，根据上述步骤4检测到的人脸图像中人脸的强边缘，如图4所示，结合图4中人脸当中的眉毛、鼻子、眼睛、嘴巴等五官的特征点，拟合出该人脸图像中人脸边缘的外形边缘曲线，具体实现如下：
1)根据图4所示的人脸的强边缘中人脸左右眉毛的最高点，将其连接为一条直线，如图6中所示的直线L；
需要说明的是，人脸图像中人脸当中的眉毛、鼻子、眼睛、嘴巴等五官的特征点是已经定位好的，根据这些特征点的位置，去除人脸图像中的这些特征点，获得人脸图像中人脸的轮廓曲线，如图5所示。
图5所示的人脸图像中人脸的轮廓曲线，该人脸图像中人脸边缘有一部分没有检测到，人脸的轮廓曲线是间断的、不连续的。
2)根据图4所示的人脸的强边缘中人脸当中鼻子的鼻尖点，如图6中所示的点C，以点C为中心点，每隔5度作一条射线，如图6中所示的射线，这些射线与图5所示的人脸图像中人脸的轮廓曲线可能有交点，也可能没有交点。
如图6所示，其中，A1、A2、…、An依次是图6中所示的射线与所述人脸的轮廓曲线的交点；
3)获取上述步骤中A1、A2、…、An这些交点，拟合三阶贝塞尔曲线，作为人脸图像中人脸边缘的外形边缘曲线，如图7所示，图7出示了人脸图像中人脸边缘的外形边缘曲线。
需要说明的是，出上述提供的拟合人脸图像中人脸边缘的外形边缘曲线的方法之外，还可以采用其他方式实现，在此不做限定。
S102，利用预设的人脸边缘特征点计算模型计算并获得该人脸图像中人脸边缘的特征点，并获取每个特征点的特征信息。
本实施例中，所述特征信息，包括位置信息和梯度方向特征。
其中，位置信息是指每个特征点的坐标值；
梯度方向特征，是指方向梯度直方图(Histogram of Oriented Gradient,HOG)特征，是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，方向梯度直方图特征通过计算和统计图像局部区域的梯度方向直方图来构成特征。
具体实现如下：
1、输入图2所示的人脸图像，利用人脸边缘特征点计算模型，并结合预先训练好的参数进行计算，获得该人脸图像中人脸边缘的特征点的位置信息，即：每个特征点的坐标值。
需要说明的是，此处获得的该人脸图像中人脸边缘的特征点，是该人脸图像中人脸边缘一种预测的特征点，并非该人脸图像中人脸边缘实际的特征点；如图8所示，图8当中分布在人脸边缘的白色小点即为人脸图像中人脸边缘的特征点。
此外，该人脸图像中人脸边缘的特征点的位置信息，是初始的位置信息，是下述步骤S103利用预设的收敛算法对所述特征点进行收敛计算的数据基础。
2、根据上述步骤1计算获得该人脸图像中人脸边缘的特征点，获取每个特征点在以自身为中心，大小为16*16像素的矩形框内的像素信息，根据像素信息统计出每个特征点的梯度直方图特征，如图9所示，其示出了人脸图像中的人脸边缘的特征点的梯度直方图特征。
除此之外，还可以获取其他大小或者其他形状的区域内的梯度直方图特征，在此不做限定。
3、根据上述步骤1计算获得的该人脸图像中人脸边缘的特征点的坐标值，以及上述步骤2计算获得的该人脸图像中人脸边缘的特征点的梯度直方图特征，分别将每个特征点的坐标值和梯度直方图特征作为每个特征点各自的特征信息。
需要说明的是，除上述提供的计算特征点和特征点的特征信息的方法之外，还可以采用其他方法实现，在此不做限定。
S103，根据每个特征点的特征信息，利用预设的收敛算法计算并获得每个特征点对应的收敛特征点的特征信息。
根据上述步骤S102获得的每个特征点的特征信息，本步骤中，利用预设的收敛算法对该人脸图像中人脸边缘的特征点进行收敛计算，具体实现如下：
本实施例采用的收敛算法如下：
ΔX1＝R0*φ0+b0；
Xk＝Xk-1+Rk-1*φk-1+bk-1；
假设特征点的个数为m，Xk是第k次利用该收敛算法计算得到的m个收敛特征点连接而成的一个向量，Xk可表示为：
需要说明的是，X0是上述步骤S102利用所述人脸边缘特征点计算模型计算获得的特征点连接而成的一个向量，即：第一次利用该收敛算法计算之前m个特征点连接而成的一个向量；
φ0是上述步骤S102利用所述人脸边缘特征点计算模型计算获得的特征点的梯度直方图特征连接而成的一个向量，即：第一次利用该收敛算法计算之前m个特征点的梯度方向特征连接而成的一个向量；
此外，R0和b0是预先设定的系数，本实施例中，R0和b0是根据训练数据训练获得的；
ΔX1是第一次利用该收敛算法计算之后获得的收敛特征点连接而成的向量X1，与该人脸图像中人脸边缘的特征点连接而成的向量X0之间的位移值；
xk-1是第k-1次利用该收敛算法计算之后获得的收敛特征点连接而成的一个向量；
Rk-1和bk-1是第k-1次利用所述收敛算法计算之后的系数，
φk-1是第k-1次利用收敛算法计算之后得到的收敛特征点的梯度方向特征连接而成的一个向量。
除此之外，上述收敛算法还可以采用本实施例之外的其他收敛算法，在此不做限定。
S104，分别判断每个特征点到所述外形边缘曲线的距离是否大于各自对应收敛特征点到所述外形边缘曲线的距离。
上述步骤S101获得了该人脸图像中人脸边缘的外形边缘曲线，上述步骤S103利用所述收敛算法计算获得了每个特征点、收敛特征点的特征信息，本步骤中，判断在收敛计算的过程中，所述收敛特征点相对于所述特征点是否更加接近所述外形边缘曲线，即：判断所述收敛特征点是否更加接近该人脸图像中人脸的实际边缘轮廓，具体实现如下：
1、分别计算出每个特征点到所述外形边缘曲线的距离，并分别计算出每个特征点对应收敛特征点到所述外形边缘曲线的距离；
2、分别判断每个特征点到所述外形边缘曲线的距离是否大于各自对应收敛特征点到所述外形边缘曲线的距离；
若是，表明在本次收敛计算的过程中，特征点朝着靠近所述外形边缘曲线的方向收敛(移动)，即：特征点的收敛方向是朝着靠近人脸图像中的人脸的实际边缘轮廓的方向在移动，距离人脸图像中的人脸的实际边缘轮廓越来越近，收敛方向是正确的，则将特征点移动到特征点对应的收敛特征点的位置，即：获取该特征点对应收敛特征点的特征信息，作为该特征点的特征信息；
若否，表明在本次收敛计算的过程中，特征点朝着远离所述外形边缘曲线的方向收敛，即：特征点的收敛方向是朝着远离人脸图像中的人脸的实际边缘轮廓的方向在移动，距离人脸图像中的人脸的实际边缘轮廓越来越远，收敛方向是错误的，则保持该特征点的位置不变。
需要说明的是，除上述提供的判断方法之外，还可以采用其他方法，来判断所述收敛特征点是否更加接近该人脸图像中人脸的实际边缘轮廓，比如分别判断每个特征点指向各自对应收敛特征点的方向是否与每个特征点指向所述外形边缘曲线的方向一致；
如图10所示，图10所示的特征点和人脸图像中人脸的外形边缘曲线中，所有特征点指向各自对应收敛特征点的方向与各自指向所述外形边缘曲线的方向一致，则表明所有特征点的收敛方向是朝着靠近人脸图像中的人脸的实际边缘轮廓的方向在移动，距离人脸图像中的人脸的实际边缘轮廓越来越近，收敛方向是正确的，则将特征点移动到特征点对应的收敛特征点的位置；
如图11所示，图11所示的特征点和人脸图像中人脸的外形边缘曲线中，所有特征点指向各自对应收敛特征点的方向与各自指向所述外形边缘曲线的方向均不一致，则表明所有特征点的收敛方向是朝着远离人脸图像中的人脸的实际边缘轮廓的方向在移动，距离人脸图像中的人脸的实际边缘轮廓越来越远，收敛方向是错误的，则保持所有的特征点的位置不变；
在此不做限定。
本步骤用于判断每个特征点在进行收敛计算过程中收敛方向是否正确，此外，本实施例中，还需对特征点在进行收敛计算过程中收敛的大小进行判断，因此，本步骤完成之后，进入下述步骤S105，判断该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小是否小于预设的阈值。
S 105，判断该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小是否小于预设的阈值。
根据上述步骤S103和步骤S104，上述步骤S103中，每个特征点都利用所述收敛算法进行收敛计算，以及上述步骤S104中，每个特征点的特征信息确定之后，本步骤中，判断人脸图像中人脸边缘的所有特征点在上述步骤S104的判断前后整体发生的位置变化的大小是否小于预设的阈值，具体实现如下：
1、根据人脸图像中人脸边缘的所有特征点在上述步骤S104的判断前后的特征信息，计算出人脸图像中人脸边缘的所有特征点在上述步骤S104的判断前后整体发生的位置变化的大小；
1)获取在上述步骤S104判断之前的所有特征点连接而成的一个向量；
将上述步骤S104判断之前，该人脸图像中人脸边缘的所有特征点连接而成的向量Xk，设为
2)获取在上述步骤S104判断之后的所有特征点连接而成的一个向量；
将上述步骤S104判断之后，该人脸图像中人脸边缘的所有特征点连接而成的向量Xk+1，设为
3)计算出上述两个向量之间的欧氏距离，即：上述两组特征点之间欧氏距离，作为所述人脸图像中人脸边缘的所有特征点在上述步骤S 104判断前后整体发生的位置变化的大小。
本实施例中，上述向量Xk和向量Xk+1之间的欧式距离，即：两组特征点之间欧氏距离，可通过下述公式计算获得：
除此之外，还可以通过其他方法计算出人脸图像中人脸边缘的所有特征点在上述步骤S104的判断前后整体发生的位置变化的大小，在此不做限定。
2、判断该位置变化的大小是否小于预设的阈值；
本步骤进行判断的目的在于，防止上述步骤S103的收敛计算的步骤无限进行下去，通过阈值的判断加以约束。
若小于，则进入下述步骤S106；
若不小于，表明两次收敛计算之间(即：上述步骤S104的判断前后)，数据的整体变化大小(即：人脸图像中人脸边缘的所有特征点在上述步骤S104的判断前后整体发生的位置变化的大小)依旧超出了预先设定的阈值，还需再进行重复的收敛计算；
则返回上述步骤S103，执行步骤S103之后，重复上述步骤S104的判断步骤以及本步骤中子步骤1)的相关步骤；
重复上述循环过程，直至两次收敛计算之间的人脸图像中人脸边缘的所有特征点在上述步骤S104的判断前后整体发生的位置变化小于预先设定的阈值。
S106，则将所述人脸图像中人脸边缘的所有特征点的位置信息定位为符合要求的人脸边缘特征点。
本步骤得以实施的前提是，上述步骤S105中，人脸图像中人脸边缘的所有特征点在上述步骤S104的判断前后整体发生的位置变化的大小小于预设的阈值，则表明在两次收敛计算之间(即：上述步骤S104的判断前后)，数据的整体变化大小(即：人脸图像中人脸边缘的所有特征点在上述步骤S104的判断前后整体发生的位置变化的大小)已经很小，并且小于预先设定的阈值，无需再进行收敛计算，则保持人脸图像中人脸边缘的每个特征点的位置不变，即：确定人脸图像中人脸边缘的每个特征点的特征信息不变。
本申请提供的一种用于人脸边缘特征点定位的装置实施例如下：
在上述的实施例中，提供了一种用于人脸边缘特征点定位的方法，与之相对应的，本申请还提供了一种用于人脸边缘特征点定位的装置。
参照图12，其示出了根据本实施例提供的一种用于人脸边缘特征点定位的装置示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关的部分请参见方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。
本申请提供一种用于人脸边缘特征点定位的装置，包括：
外形边缘曲线拟合单元12-01，用于根据人脸图像拟合出该人脸图像中人脸边缘的外形边缘曲线；
特征信息计算单元12-02，用于利用预设的人脸边缘特征点计算模型计算并获得该人脸图像中人脸边缘的特征点，并获取每个特征点的特征信息；其中，所述特征信息至少包括位置信息；
收敛计算单元12-03，用于根据每个特征点的特征信息，利用预设的收敛算法计算并获得每个特征点对应的收敛特征点的特征信息；
收敛方向判断单元12-04，用于根据每个特征点、收敛特征点的特征信息，分别判断每个特征点到所述外形边缘曲线的距离是否大于各自对应收敛特征点到所述外形边缘曲线的距离；
若是，则获取该特征点对应收敛特征点的特征信息，作为该特征点的特征信息；
若否，则保持该特征点的特征信息不变；
收敛大小判断单元12-05，用于判断该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小是否小于预设的阈值；
若小于，则进入特征信息确定单元12-06；
若不小于，则进入所述收敛计算单元；
所述特征信息确定单元12-06，用于将所述人脸图像中人脸边缘的所有特征点的位置信息定位为符合要求的人脸边缘特征点。
可选的，所述用于人脸边缘特征点定位的装置，包括：
人脸图像获取单元，用于获取人脸的人脸图像；
肤色过滤单元，用于利用预设的肤色模型对该人脸图像中的肤色区域和非肤色区域进行分离，并过滤掉该人脸图像中的非肤色区域。
可选的，所述用于人脸边缘特征点定位的装置，包括：
人脸图像格式化单元，用于将获取到的该人脸图像扩张或者裁剪为具有设定大小和/或格式的人脸图像。
可选的，所述肤色模型，包括：
混合高斯模型GMM。
可选的，所述外形边缘曲线拟合单元12-01，包括：
强边缘检测子单元，用于检测人脸图像中人脸的强边缘；
外形边缘曲线拟合子单元，用于根据检测到的人脸图像中人脸的强边缘，拟合出该人脸图像中人脸边缘的外形边缘曲线。
可选的，所述人脸图像中人脸的强边缘，利用Canny边缘检测算子检测获得。
可选的，所述外形边缘曲线拟合子单元12-01，包括：
强边缘过滤子单元，用于对检测到的人脸图像中人脸的强边缘进行过滤，获得该人脸图像中人脸的轮廓曲线；
射线设置子单元，用于在所述人脸的轮廓曲线对应的人脸图像中，以该人脸图像中人脸的五官对应的至少一个特征点作为射线的端点，按照设定的角度作至少一条射线；
拟合子单元，用于在所述人脸的轮廓曲线对应的人脸图像中，获取上述射线与该人脸图像中人脸的轮廓曲线的交点，拟合三阶贝塞尔曲线，作为人脸图像中人脸边缘的外形边缘曲线。
可选的，所述特征信息计算单元12-02，包括：
位置信息计算获取子单元，用于利用人脸边缘特征点计算模型获得该人脸图像中人脸边缘每个特征点的位置信息；
梯度方向特征获取子单元，用于获取每个特征点在以自身为中心的设定大小或者设定形状的区域内的梯度方向特征；
特征信息获取子单元，用于分别将每个特征点的位置信息和梯度方向特征作为每个特征点各自的特征信息。
可选的，所述收敛算法，包括：
ΔX1＝R0*φ0+b0；
Xk＝Xk-1+Rk-1*φk-1+bk-1；
其中，Xk是第k次利用该收敛算法计算之后获得的收敛特征点连接而成的一个向量，Xk-1是第k-1次利用该收敛算法计算之后获得的收敛特征点连接而成的一个向量；
ΔX1是第一次利用该收敛算法计算之后获得的收敛特征点连接而成的向量X1，与该人脸图像中人脸边缘的特征点连接而成的向量X0之间的位移值；φ0是第一次利用该收敛算法计算之前的特征点的梯度方向特征连接而成的一个向量；R0和b0是预先设定的系数；
Rk-1和bk-1是第k-1次利用该收敛算法计算之后的系数，φk-1是第k-1次利用收敛算法计算之后得到的收敛特征点的梯度方向特征连接而成的一个向量。
可选的，所述收敛大小判断单元12-05，包括：
位置变化大小计算子单元，用于根据该人脸图像中人脸边缘的所有特征点在上述判断前后的特征信息，计算出该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小；
位置变化大小判断子单元，用于判断该位置变化的大小是否小于预设的阈值；
若小于，则进入特征信息确定子单元；
若不小于，则进入所述收敛计算单元；
所述特征信息确定子单元，用于确定该人脸图像中人脸边缘的每个特征点的特征信息不变。
可选的，所述位置变化大小计算子单元，包括：
第一向量获取子单元，用于获取该人脸图像中人脸边缘在上述判断之前的所有特征点连接而成的一个向量；
第二向量获取子单元，用于获取该人脸图像中人脸边缘在上述判断之后的所有特征点连接而成的一个向量；
欧氏距离计算子单元，用于计算出上述两个向量之间的欧氏距离，作为该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (19)

1.一种用于人脸边缘特征点定位的方法，其特征在于，包括：
根据人脸图像拟合出该人脸图像中人脸边缘的外形边缘曲线；以及，利用预设的人脸边缘特征点计算模型计算并获得该人脸图像中人脸边缘的特征点，并获取每个特征点的特征信息；其中，所述特征信息包括位置信息和梯度方向特征；
根据每个特征点的特征信息，利用预设的收敛算法计算并获得每个特征点对应的收敛特征点的特征信息；
根据每个特征点、收敛特征点的特征信息，分别判断每个特征点到所述外形边缘曲线的距离是否大于各自对应收敛特征点到所述外形边缘曲线的距离；
若是，则获取该特征点对应收敛特征点的特征信息，作为该特征点的特征信息；
若否，则保持该特征点的特征信息不变；
判断该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小是否小于预设的阈值；
若小于，则将所述人脸图像中人脸边缘的所有特征点的位置信息定位为符合要求的人脸边缘特征点；
若不小于，则返回所述根据每个特征点的特征信息，利用预设的收敛算法计算并获得每个特征点对应的收敛特征点的特征信息的步骤。
2.根据权利要求1所述的用于人脸边缘特征点定位的方法，其特征在于，所述根据人脸图像拟合出该人脸图像中人脸边缘的外形边缘曲线的步骤之前，包括：
获取人脸的人脸图像；
利用预设的肤色模型对该人脸图像中的肤色区域和非肤色区域进行分离，并过滤掉该人脸图像中的非肤色区域。
3.根据权利要求2所述的用于人脸边缘特征点定位的方法，其特征在于，所述获取人脸的人脸图像的步骤之后，包括：
将获取到的该人脸图像扩张或者裁剪为具有设定大小和/或格式的人脸图像。
4.根据权利要求2所述的用于人脸边缘特征点定位的方法，其特征在于，所述肤色模型，包括：
混合高斯模型GMM。
5.根据权利要求1所述的用于人脸边缘特征点定位的方法，其特征在于，所述根据人脸图像拟合出该人脸图像中人脸边缘的外形边缘曲线的步骤，包括：
检测人脸图像中人脸的强边缘；
根据检测到的人脸图像中人脸的强边缘，拟合出该人脸图像中人脸边缘的外形边缘曲线。
6.根据权利要求5所述的用于人脸边缘特征点定位的方法，其特征在于，所述人脸图像中人脸的强边缘，利用Canny边缘检测算子检测获得。
7.根据权利要求5所述的用于人脸边缘特征点定位的方法，其特征在于，所述拟合出该人脸图像中人脸边缘的外形边缘曲线的子步骤，包括：
对检测到的人脸图像中人脸的强边缘进行过滤，获得该人脸图像中人脸的轮廓曲线；
在所述人脸的轮廓曲线对应的人脸图像中，以该人脸图像中人脸的五官对应的至少一个特征点作为射线的端点，按照设定的角度作用于拟合三阶贝塞尔曲线的射线；
在所述人脸的轮廓曲线对应的人脸图像中，获取上述射线与该人脸图像中人脸的轮廓曲线的交点，拟合三阶贝塞尔曲线，作为人脸图像中人脸边缘的外形边缘曲线。
8.根据权利要求1所述的用于人脸边缘特征点定位的方法，其特征在于，所述利用预设的人脸边缘特征点计算模型计算并获得该人脸图像中人脸边缘的特征点的步骤，包括：
利用所述人脸边缘特征点计算模型，并结合预先训练好的参数，计算并获得该人脸图像中人脸边缘的每个特征点的位置信息；
获取上述计算获得的各个特征点在以自身为中心的设定大小或者设定形状的区域内的梯度方向特征；
分别将每个特征点的位置信息和梯度方向特征作为每个特征点各自的特征信息。
9.根据权利要求1所述的用于人脸边缘特征点定位的方法，其特征在于，所述收敛算法，包括：
ΔX1＝R0*φ0+b0；
Xk＝Xk-1+Rk-1*φk-1+bk-1；
其中，Xk是第k次利用该收敛算法计算之后获得的收敛特征点连接而成的一个向量，Xk-1是第k-1次利用该收敛算法计算之后获得的收敛特征点连接而成的一个向量；
ΔX1是第一次利用该收敛算法计算之后获得的收敛特征点连接而成的向量X1，与该人脸图像中人脸边缘的特征点连接而成的向量X0之间的位移值；φ0是第一次利用该收敛算法计算之前的特征点的梯度方向特征连接而成的一个向量；R0和b0是预先设定的系数；
Rk-1和bk-1是第k-1次利用该收敛算法计算之后的系数，φk-1是第k-1次利用收敛算法计算之后得到的收敛特征点的梯度方向特征连接而成的一个向量。
10.根据权利要求1所述的用于人脸边缘特征点定位的方法，其特征在于，所述判断该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小是否小于预设的阈值的步骤，包括：
根据该人脸图像中人脸边缘的所有特征点在上述判断前后的特征信息，计算出该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小；
判断该位置变化的大小是否小于预设的阈值；
若小于，则确定该人脸图像中人脸边缘的每个特征点的特征信息不变；
若不小于，则返回所述根据每个特征点的特征信息，利用预设的收敛算法计算并获得每个特征点对应的收敛特征点的特征信息的步骤。
11.根据权利要求10所述的用于人脸边缘特征点定位的方法，其特征在于，所述计算出该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小的子步骤，包括：
获取该人脸图像中人脸边缘在上述判断之前的所有特征点连接而成的一个向量；
获取该人脸图像中人脸边缘在上述判断之后的所有特征点连接而成的一个向量；
计算出上述两个向量之间的欧氏距离，作为该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小。
12.一种用于人脸边缘特征点定位的装置，其特征在于，包括：
外形边缘曲线拟合单元，用于根据人脸图像拟合出该人脸图像中人脸边缘的外形边缘曲线；
特征信息计算单元，用于利用预设的人脸边缘特征点计算模型计算并获得该人脸图像中人脸边缘的特征点，并获取每个特征点的特征信息；其中，所述特征信息包括位置信息和梯度方向特征；
收敛计算单元，用于根据每个特征点的特征信息，利用预设的收敛算法计算并获得每个特征点对应的收敛特征点的特征信息；
收敛方向判断单元，用于根据每个特征点、收敛特征点的特征信息，分别判断每个特征点到所述外形边缘曲线的距离是否大于各自对应收敛特征点到所述外形边缘曲线的距离；
若是，则获取该特征点对应收敛特征点的特征信息，作为该特征点的特征信息；
若否，则保持该特征点的特征信息不变；
收敛大小判断单元，用于判断该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小是否小于预设的阈值；
若小于，则进入特征信息确定单元；
若不小于，则进入所述收敛计算单元；
所述特征信息确定单元，用于将所述人脸图像中人脸边缘的所有特征点的位置信息定位为符合要求的人脸边缘特征点。
13.根据权利要求12所述的用于人脸边缘特征点定位的装置，其特征在于，包括：
人脸图像获取单元，用于获取人脸的人脸图像；
肤色过滤单元，用于利用预设的肤色模型对该人脸图像中的肤色区域和非肤色区域进行分离，并过滤掉该人脸图像中的非肤色区域。
14.根据权利要求13所述的用于人脸边缘特征点定位的装置，其特征在于，包括：
人脸图像格式化单元，用于将获取到的该人脸图像扩张或者裁剪为具有设定大小和/或格式的人脸图像。
15.根据权利要求12所述的用于人脸边缘特征点定位的装置，其特征在于，所述外形边缘曲线拟合单元，包括：
强边缘检测子单元，用于检测人脸图像中人脸的强边缘；
外形边缘曲线拟合子单元，用于根据检测到的人脸图像中人脸的强边缘，拟合出该人脸图像中人脸边缘的外形边缘曲线。
16.根据权利要求15所述的用于人脸边缘特征点定位的装置，其特征在于，外形边缘曲线拟合子单元，包括：
强边缘过滤子单元，用于对检测到的人脸图像中人脸的强边缘进行过滤，获得该人脸图像中人脸的轮廓曲线；
射线设置子单元，用于在所述人脸的轮廓曲线对应的人脸图像中，以该人脸图像中人脸的五官对应的至少一个特征点作为射线的端点，按照设定的角度作用于拟合三阶贝塞尔曲线的射线；
拟合子单元，用于在所述人脸的轮廓曲线对应的人脸图像中，获取上述射线与该人脸图像中人脸的轮廓曲线的交点，拟合三阶贝塞尔曲线，作为人脸图像中人脸边缘的外形边缘曲线。
17.根据权利要求12所述的用于人脸边缘特征点定位的装置，其特征在于，所述特征信息计算单元，包括：
位置信息计算获取子单元，用于利用人脸边缘特征点计算模型获得该人脸图像中人脸边缘每个特征点的位置信息；
梯度方向特征获取子单元，用于获取每个特征点在以自身为中心的设定大小或者设定形状的区域内的梯度方向特征；
特征信息获取子单元，用于分别将每个特征点的位置信息和梯度方向特征作为每个特征点各自的特征信息。
18.根据权利要求12所述的用于人脸边缘特征点定位的装置，其特征在于，所述收敛大小判断单元，包括：
位置变化大小计算子单元，用于根据该人脸图像中人脸边缘的所有特征点在上述判断前后的特征信息，计算出该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小；
位置变化大小判断子单元，用于判断该位置变化的大小是否小于预设的阈值；
若小于，则进入特征信息确定子单元；
若不小于，则进入所述收敛计算单元；
所述特征信息确定子单元，用于确定该人脸图像中人脸边缘的每个特征点的特征信息不变。
19.根据权利要求18所述的用于人脸边缘特征点定位的装置，其特征在于，所述位置变化大小计算子单元，包括：
第一向量获取子单元，用于获取该人脸图像中人脸边缘在上述判断之前的所有特征点连接而成的一个向量；
第二向量获取子单元，用于获取该人脸图像中人脸边缘在上述判断之后的所有特征点连接而成的一个向量；
欧氏距离计算子单元，用于计算出上述两个向量之间的欧氏距离，作为该人脸图像中人脸边缘的所有特征点在上述判断前后整体发生的位置变化的大小。
CN201510134068.3A 2015-03-25 2015-03-25 一种用于人脸边缘特征点定位的方法及装置 Active CN106156692B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510134068.3A CN106156692B (zh) 2015-03-25 2015-03-25 一种用于人脸边缘特征点定位的方法及装置
TW104128638A TW201635198A (zh) 2015-03-25 2015-08-31 用於人臉邊緣特徵點定位的方法及裝置
US15/080,125 US9916494B2 (en) 2015-03-25 2016-03-24 Positioning feature points of human face edge
PCT/US2016/024009 WO2016154435A1 (en) 2015-03-25 2016-03-24 Positioning feature points of human face edge

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510134068.3A CN106156692B (zh) 2015-03-25 2015-03-25 一种用于人脸边缘特征点定位的方法及装置

Publications (2)

Publication Number Publication Date
CN106156692A CN106156692A (zh) 2016-11-23
CN106156692B true CN106156692B (zh) 2019-12-13

Family

ID=56974192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510134068.3A Active CN106156692B (zh) 2015-03-25 2015-03-25 一种用于人脸边缘特征点定位的方法及装置

Country Status (4)

Country Link
US (1) US9916494B2 (zh)
CN (1) CN106156692B (zh)
TW (1) TW201635198A (zh)
WO (1) WO2016154435A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489107B (zh) * 2013-08-16 2015-11-25 北京京东尚科信息技术有限公司 一种制作虚拟试衣模特图像的方法和装置
CN106156692B (zh) * 2015-03-25 2019-12-13 阿里巴巴集团控股有限公司 一种用于人脸边缘特征点定位的方法及装置
TWI728037B (zh) * 2017-01-19 2021-05-21 香港商斑馬智行網絡（香港）有限公司 對圖像進行關鍵點定位的方法和裝置
CN107330868B (zh) * 2017-06-26 2020-11-13 北京小米移动软件有限公司 图片处理方法及装置
CN107578000B (zh) * 2017-08-25 2023-10-31 百度在线网络技术（北京）有限公司 用于处理图像的方法及装置
CN108509866B (zh) * 2018-03-12 2020-06-19 华南理工大学 一种人脸轮廓提取方法
CN108596093B (zh) 2018-04-24 2021-12-03 北京市商汤科技开发有限公司 人脸特征点的定位方法及装置
CN108846793B (zh) * 2018-05-25 2022-04-22 深圳市商汤科技有限公司 基于图像风格转换模型的图像处理方法和终端设备
CN109087239B (zh) * 2018-07-25 2023-03-21 腾讯科技（深圳）有限公司 一种人脸图像处理方法、装置及存储介质
CN110232667B (zh) * 2019-06-17 2021-06-04 厦门美图之家科技有限公司 图像畸变修正方法、装置、电子设备及可读存储介质
CN110399812B (zh) * 2019-07-08 2023-05-30 中国平安财产保险股份有限公司 人脸特征智能提取方法、装置及计算机可读存储介质
CN110782404B (zh) * 2019-10-11 2022-06-10 北京达佳互联信息技术有限公司 一种图像处理方法、装置及存储介质
CN110956095A (zh) * 2019-11-12 2020-04-03 湖南大学 一种基于角点肤色检测的多尺度人脸检测方法
CN111488836B (zh) * 2020-04-13 2023-06-02 广州市百果园信息技术有限公司 人脸轮廓修正方法、装置、设备及存储介质
CN112651322A (zh) * 2020-12-22 2021-04-13 北京眼神智能科技有限公司 脸颊遮挡检测方法、装置及电子设备
CN113449663B (zh) * 2021-07-06 2022-06-03 深圳中智明科智能科技有限公司 基于多态拟合的协同智能安防方法及装置
CN115953823B (zh) * 2023-03-13 2023-05-16 成都运荔枝科技有限公司 一种基于大数据的人脸识别方法
CN117115143B (zh) * 2023-10-16 2024-01-02 深圳市壹倍科技有限公司 一种检测晶圆芯粒的方法、装置、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7362899B2 (en) * 2004-03-16 2008-04-22 Intel Corporation Methods for estimating the position and shape of lips and for estimating the position of teeth in a sequence of digital images of a human face
CN101681428A (zh) * 2007-05-30 2010-03-24 伊斯曼柯达公司 来自图像集合的合成人物模型
CN102867174A (zh) * 2012-08-30 2013-01-09 中国科学技术大学 一种人脸特征定位方法及装置
CN103971112A (zh) * 2013-02-05 2014-08-06 腾讯科技（深圳）有限公司 图像特征提取方法及装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1229734A1 (en) * 2001-01-31 2002-08-07 GRETAG IMAGING Trading AG Automatic colour defect correction
US7191164B2 (en) * 2003-08-19 2007-03-13 Intel Corporation Searching for object images with reduced computation
KR100682889B1 (ko) 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
JP2005165983A (ja) 2003-12-05 2005-06-23 Seiko Epson Corp 人物顔のあご検出方法及びあご検出システム並びにあご検出プログラム
US7660482B2 (en) * 2004-06-23 2010-02-09 Seiko Epson Corporation Method and apparatus for converting a photo to a caricature image
JP4180027B2 (ja) 2004-08-27 2008-11-12 株式会社豊田中央研究所 顔部品位置検出装置及び方法並びにプログラム
EP1794703A4 (en) * 2004-09-17 2012-02-29 Cyberextruder Com Inc SYSTEM, METHOD AND APPARATUS FOR GENERATING THREE-DIMENSIONAL REPRESENTATION FROM ONE OR MORE TWO-DIMENSIONAL IMAGES
US7576738B2 (en) * 2005-05-27 2009-08-18 California Institute Of Technology Method for constructing surface parameterizations
US7756325B2 (en) * 2005-06-20 2010-07-13 University Of Basel Estimating 3D shape and texture of a 3D object based on a 2D image of the 3D object
JP4093273B2 (ja) 2006-03-13 2008-06-04 オムロン株式会社 特徴点検出装置、特徴点検出方法および特徴点検出プログラム
GB0607143D0 (en) * 2006-04-08 2006-05-17 Univ Manchester Method of locating features of an object
US7672482B2 (en) * 2006-05-16 2010-03-02 Eastman Kodak Company Shape detection using coherent appearance modeling
US7720284B2 (en) * 2006-09-08 2010-05-18 Omron Corporation Method for outlining and aligning a face in face processing of an image
TWI424360B (zh) 2007-12-31 2014-01-21 Altek Corp Multi-directional face detection method
JP4569670B2 (ja) * 2008-06-11 2010-10-27 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8380711B2 (en) 2011-03-10 2013-02-19 International Business Machines Corporation Hierarchical ranking of facial attributes
US8811686B2 (en) * 2011-08-19 2014-08-19 Adobe Systems Incorporated Methods and apparatus for automated portrait retouching using facial feature localization
KR101257207B1 (ko) * 2012-02-23 2013-04-22 인텔 코오퍼레이션 헤드 트래킹 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US8848068B2 (en) * 2012-05-08 2014-09-30 Oulun Yliopisto Automated recognition algorithm for detecting facial expressions
US9202138B2 (en) * 2012-10-04 2015-12-01 Adobe Systems Incorporated Adjusting a contour by a shape model
CN103839250B (zh) * 2012-11-23 2017-03-01 诺基亚技术有限公司 用于面部图像处理的方法和设备
EP2981935A4 (en) * 2013-04-03 2016-12-07 Nokia Technologies Oy APPARATUS AND ASSOCIATED METHODS
CN106156692B (zh) * 2015-03-25 2019-12-13 阿里巴巴集团控股有限公司 一种用于人脸边缘特征点定位的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7362899B2 (en) * 2004-03-16 2008-04-22 Intel Corporation Methods for estimating the position and shape of lips and for estimating the position of teeth in a sequence of digital images of a human face
CN101681428A (zh) * 2007-05-30 2010-03-24 伊斯曼柯达公司 来自图像集合的合成人物模型
CN102867174A (zh) * 2012-08-30 2013-01-09 中国科学技术大学 一种人脸特征定位方法及装置
CN103971112A (zh) * 2013-02-05 2014-08-06 腾讯科技（深圳）有限公司 图像特征提取方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
3D FACE RECOGNITION BASED ON FACIAL STRUCTURAL ANGLE AND LOCAL REGION MAP;Peng Guan 等;《2008 IEEE international conference on multimedia and expo》;20081231;第41-44页 *
AAM-based Face Reorientation Using a Single Camera;Jianfa Zou 等;《2013 IEEE International Conference on Consumer Electronics (ICCE)》;20131231;第2072-2090页 *
Image-Based 3D Face Modeling System;In Kyu Park 等;《EURASIP Journal on Advances in Signal Processing》;20050815;第258-259页 *
基于边缘方向和梯度的图像特征匹配算法;罗萱;《西南师范大学学报（自然科学版）》;20140131;第39卷(第1期);第61-67页 *

Also Published As

Publication number Publication date
CN106156692A (zh) 2016-11-23
TW201635198A (zh) 2016-10-01
US9916494B2 (en) 2018-03-13
WO2016154435A1 (en) 2016-09-29
US20160283780A1 (en) 2016-09-29

Similar Documents

Publication Publication Date Title
CN106156692B (zh) 一种用于人脸边缘特征点定位的方法及装置
EP3695384B1 (en) Point cloud meshing method, apparatus, device and computer storage media
US10134177B2 (en) Method and apparatus for adjusting face pose
US9715761B2 (en) Real-time 3D computer vision processing engine for object recognition, reconstruction, and analysis
US9881204B2 (en) Method for determining authenticity of a three-dimensional object
JP5406705B2 (ja) データ補正装置及び方法
CN110688947B (zh) 一种同步实现人脸三维点云特征点定位和人脸分割的方法
KR20160088223A (ko) 얼굴 영상의 자세를 보정하는 방법 및 장치
US11145080B2 (en) Method and apparatus for three-dimensional object pose estimation, device and storage medium
US20230252664A1 (en) Image Registration Method and Apparatus, Electronic Apparatus, and Storage Medium
WO2017070923A1 (zh) 一种人脸识别方法和装置
CN106683105B (zh) 图像分割方法及图像分割装置
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN109410246B (zh) 基于相关滤波的视觉跟踪的方法及装置
KR102126722B1 (ko) 3차원 피사체 인식의 안티-스푸핑 방법
EP3699865B1 (en) Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium
KR101904480B1 (ko) 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
US9786030B1 (en) Providing focal length adjustments
US20180047206A1 (en) Virtual mapping of fingerprints from 3d to 2d
Kim et al. Recognition of face orientation by divided hausdorff distance
Saval-Calvo et al. Non-rigid point set registration using color and data downsampling
KR20090042558A (ko) Ａａｍ을 이용한 얼굴검출 방법 및 장치
CN117274605B (zh) 一种从无人机拍摄的照片中提取水域轮廓的方法及装置
KR102112019B1 (ko) 중간시점 영상 생성 장치 및 방법
CN106652048B (zh) 基于3d-susan算子的三维模型感兴趣点提取方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1230318

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201118

Address after: Room 603, 6 / F, Roche Plaza, 788 Cheung Sha Wan Road, Kowloon, China

Patentee after: Zebra smart travel network (Hong Kong) Limited

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: Alibaba Group Holding Ltd.