CN109002758B - 人脸特征点定位方法、装置、设备及存储介质 - Google Patents

人脸特征点定位方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109002758B
CN109002758B CN201810576579.4A CN201810576579A CN109002758B CN 109002758 B CN109002758 B CN 109002758B CN 201810576579 A CN201810576579 A CN 201810576579A CN 109002758 B CN109002758 B CN 109002758B
Authority
CN
China
Prior art keywords
feature point
prediction result
preset
face image
preset feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810576579.4A
Other languages
English (en)
Other versions
CN109002758A (zh
Inventor
周俊伟
潘艺云
熊盛武
向剑文
杨焱超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201810576579.4A priority Critical patent/CN109002758B/zh
Publication of CN109002758A publication Critical patent/CN109002758A/zh
Application granted granted Critical
Publication of CN109002758B publication Critical patent/CN109002758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明适用计算机技术领域，提供了一种人脸特征点定位方法、装置、设备及存储介质，该方法包括：从训练库中获取与用户输入的人脸图像相关的多个初始形状，通过级联回归算法对每个初始形状进行级联回归，获得每个初始形状对应的预测结果，根据特征点字典，计算每个预测结果中每个特征点对应的稀疏重构系数和重构残差，根据稀疏重构系数和重构残差，对每个预测结果中每个特征点的预测位置和预测遮挡状态进行修正，通过级联回归算法对修正后的每个预测结果进行级联回归，获得人脸图像每个特征点的位置和遮挡状态，从而有效地提高了对局部遮挡人脸图像上的特征点进行定位的准确度和效果。

Description

人脸特征点定位方法、装置、设备及存储介质
技术领域
本发明属于计算机技术领域，尤其涉及一种人脸特征点定位方法、装置、设备及存储介质。
背景技术
人脸特征点包含了脸部的重要信息，这些特征点一般为人脸五官轮廓的尖端或突出处，比如眉毛、瞳孔中心、鼻尖以及嘴角等，人脸特征点的定位是研究及分析人脸图像的基础。当人脸上存在手、饰物、眼镜、发型等引起的局部遮挡时，被遮挡的特征点不仅无法提供有用信息，还会产生干扰，导致人脸特征点定位的难度增大。
级联姿态回归模型在人脸特征点定位问题上具有明显的优势，针对局部遮挡的人脸特征点定位问题，Burgos-Artizzu等人基于级联姿态回归模型提出了鲁棒的级联姿态回归算法，该算法首次提出在人脸特征点定位的同时预测特征点的遮挡状态，将遮挡状态转化为用于修正回归器输出的权重，以此提高在遮挡情况下人脸特征点定位的鲁棒性。
为了提高了鲁棒的级联姿态回归算法确定人脸图像中特征点位置和特征点遮挡状态的准确性，Pan等人针对鲁棒的级联姿态回归算法随机初始化的不足，提出利用LBP(Local Binary Pattern，局部二值模式)纹理相关性得到初始形状，鲁棒的级联姿态回归算法由给定的多个初始形状开始，通过不断更新当前特征点的位置分布和遮挡状态，逐步逼近特征点的真实位置。然而，这类算法仅通过一级级联回归来预测特征点的位置与遮挡状态，没有合理方法评估通过一级级联回归得到的预测结果是否可靠，尤其地，由于回归初期未检测到一个较准确的特征点位置，仅通过回归的方式检测特征点的遮挡状态，使得特征点遮挡的检测结果很可能存在较大误差。
发明内容
本发明的目的在于提供一种人脸特征点定位方法、装置、设备及存储介质，旨在解决现有技术对局部遮挡人脸图像上特征点的位置和遮挡状态进行监测的准确率不高和效果不佳的问题。
一方面，本发明提供了一种人脸特征点定位方法，所述方法包括下述步骤：
当接收到人脸特征点定位请求时，获取用户输入的人脸图像，从预设的训练库中选取与所述人脸图像相关的多个初始形状；
通过预设的级联姿态回归算法对所述初始形状进行级联回归，得到所述每个初始形状对应的预测结果；
根据预先构建的特征点字典，计算所述每个预测结果中每个预设特征点对应的稀疏重构系数和重构残差；
根据所述稀疏重构系数和所述重构残差，对所述每个预测结果中所述每个特征点的预测位置和预测遮挡状态进行修正；
通过所述级联姿态回归算法对修正后的所述预测结果进行级联回归，得到所述人脸图像上所述每个特征点的位置和遮挡状态。
另一方面，本发明提供了一种人脸特征点定位装置，所述装置包括：
初始形状获取单元，用于当接收到人脸特征点定位请求时，获取用户输入的人脸图像，从预设的训练库中选取与所述人脸图像相关的多个初始形状；
初始预测单元，用于通过预设的级联姿态回归算法对所述初始形状进行级联回归，得到所述每个初始形状对应的预测结果；
参数计算单元，用于根据预先构建的特征点字典，计算所述每个预测结果中每个预设特征点对应的稀疏重构系数和重构残差；
预测结果修正单元，用于根据所述稀疏重构系数和所述重构残差，对所述每个预测结果中所述每个特征点的预测位置和预测遮挡状态进行修正；以及
特征点确定单元，用于通过所述级联姿态回归算法对修正后的所述预测结果进行级联回归，得到所述人脸图像上所述每个特征点的位置和遮挡状态。
另一方面，本发明还提供了一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述人脸特征点定位方法所述的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述人脸特征点定位方法所述的步骤。
本发明从训练库中获取与用户输入的人脸图像相关的多个初始形状，通过级联回归算法对每个初始形状进行级联回归，获得每个初始形状对应的预测结果，根据特征点字典，计算每个预测结果中每个特征点对应的稀疏重构系数和重构残差，根据稀疏重构系数和重构残差，对每个预测结果中每个特征点的预测位置和预测遮挡状态进行修正，通过级联回归算法对修正后的每个预测结果进行级联回归，获得人脸图像每个特征点的位置和遮挡状态，从而有效地提高了对局部遮挡人脸图像上特征点的位置和遮挡状态进行检测的准确度和效果，进而提高了人脸特征点定位的准确度和效果。
附图说明
图1是本发明实施例一提供的人脸特征点定位方法的实现流程图；
图2是本发明实施例二提供的人脸特征点定位装置的结构示意图；
图3是本发明实施例二提供的人脸特征点定位装置的优选结构示意图；以及
图4是本发明实施例三提供的图像处理设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的人脸特征点定位方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，当接收到人脸特征点定位请求时，获取用户输入的人脸图像，从预设的训练库中选取与人脸图像相关的多个初始形状。
本发明实施例适用于人脸特征点定位平台或系统。在接收到人脸特征点定位请求时，获取用户输入的、需要进行特征点定位的人脸图像，人脸图像可为局部遮挡人脸图像。训练库中存储着已标记出人脸形状的训练图像，人脸形状包括预设特征点的位置和遮挡状态，特征点可为瞳孔中心、眼角、嘴角等关键位置。可通过预设的纹理相关初始化方式，从训练库中选择与人脸图像相关的多个人脸形状，将这些相关的人脸形状设置为人脸图像的初始形状。
作为示例地，人脸形状或初始形状可表示为Sp＝[xp,yp,vp]，p＝1,2,…,P，其中，(xp,yp)为第p个特征点的位置，vp＝{0,1}为第p个特征点的遮挡状态，vp＝0时表示第p个特征点未被遮挡，vp＝1时表示第p个特征点被遮挡，P为特征点的总数目。
在通过纹理相关初始化方式从训练库中获取与人脸图像相关的多个初始形状时，优选地，提取人脸图像的纹理特征，提取训练库中训练图像的纹理特征，计算人脸图像的纹理特征分别与每张训练图像的纹理特征之间的相关程度，根据这些相关程度从训练库中选取与人脸图像相关的多个初始形状，从而有效地提高人脸图像的初始形状选取效果。
在通过纹理相关初始化方式从训练库中获取与人脸图像相关的多个初始形状时，进一步优选地，将人脸图像划分为多个不重叠区域，计算每个区域的LBP特征值，统计每个区域中每个LBP特征值的出现频率，根据这些频率得到每个区域的LBP直方图，由所有区域的LBP直方图组合得到人脸图像对应的LBP直方图矩阵，同样地，计算每个训练图像对应的LBP直方图矩阵，根据人脸图像的LBP直方图矩阵分别每个训练图像的LBP直方图矩阵之间的皮尔逊相关系数，从训练库中选取出人脸图像相关的初始形状，从而有效地提高了人脸图像的初始形状选取效果。
在步骤S102中，通过预设的级联姿态回归算法对初始形状进行级联回归，得到每个初始形状对应的预测结果。
在本发明实施例中，预设的级联姿态回归算法为鲁棒性的级联姿态回归算法，预测结果包括人脸图像上每个特征点的预测位置和预测遮挡状态。
在步骤S103中，根据预先构建的特征点字典，计算每个预测结果中每个特征点对应的稀疏重构系数和重构残差。
在本发明实施例中，在根据训练库构建每个特征点对应的特征点字典时，可在训练库中每个人的训练图像上提取特征点的像素信息，由每个人的训练图像上特征点的像素信息构成该特征点对应的特征点字典。优选地，当训练集中有Γ个人的训练图像且特征点的数目为P时，第p个特征点对应的特征点字典Dp表示为
Figure BDA0001687357170000051
其中，
Figure BDA0001687357170000052
为训练集中第i个人的训练图像上第p个特征点的像素信息。
在本发明实施例中，在计算每个预测结果中每个特征点对应的稀疏重构系数时，在人脸图像上获取每个预测结果中每个特征点的像素信息，通过每个特征点对应的特征点字典，对每个预测结果中每个特征点的像素信息进行相应的线性表示，根据这些线性表示计算得到每个预测结果中每个特征点对应的稀疏重构系数。优选地，在通过特征点对应的特征点字典，对测试结果中该特征点的像素信息进行线性表示时，线性表示公式为y＝Dpx，其中，y为预测结果中第p个特征点的像素信息，Dp为第p个特征点对应的特征点字典，x为稀疏重构系数，稀疏重构系数中大部分位置的值都为零。因此，通过上述线性表示公式可求解出每个预测结果中每个特征点对应的稀疏重构系数。
在本发明实施例中，根据每个预测结果中每个特征点对应的稀疏重构系数，对每个预测结果中每个特征点的像素进行重构，根据重构结果可计算得到每个预测结果中每个特征点对应的重构残差。优选地，对预测结果中特征点的像素进行重构的公式为
Figure BDA0001687357170000061
预测结果中特征点对应的重构残差为
Figure BDA0001687357170000062
其中，
Figure BDA0001687357170000063
为重构后特征点的像素信息，r(y)为特征点对应的重构残差。
在步骤S104中，根据稀疏重构系数和重构残差，对每个预测结果中每个特征点的预测位置和预测遮挡状态进行修正。
在本发明实施例中，通过鲁棒性的级联姿态回归算法得到的预测结果不一定可靠，因此根据稀疏重构系数和重构残差，对每个预测结果中每个特征点的预测位置和预测遮挡状态进行相应的修正。优选地，判断预测结果中特征点对应的重构残差是否超过预设的残差阈值，当不超过时，确定预测结果中该特征点的预测位置可靠，获取预测结果中该特征点对应的稀疏重构系数的非零项，根据这些非零项在特征点字典中对应的字典元素的遮挡信息，计算预测结果中该特征点的遮挡概率，用该遮挡概率替换预测结果中该特征点的预测遮挡状态，从而实现对预测结果中特征点预测位置的可靠性判断、以及特征点预测遮挡状态的修正。其中，遮挡概率的计算公式为
Figure BDA0001687357170000064
w(y)为预测结果中特征点的遮挡概率，occ_sum为该特征点的稀疏重构系数中非零项在特征点字典中所对应字典元素的遮挡信息之和，M为该特征点的稀疏重构系数中非零项的数目，
进一步优选地，当预测结果中特征点对应的重构残差超过残差阈值时，确定该预测结果中该特征点的预测位置不可靠，根据剩余预测结果中该特征点可靠的预测位置，对该预测结果中该特征点不可靠的预测位置进行修正，从而对预测结果中特征点不可靠的预测位置进行修正。在根据剩余预测结果中该特征点可靠的预测位置，对预测结果中该特征点不可靠的预测位置进行修正时，可将剩余预测结果中该特征点可靠的预测位置进行排序，从排序后的预测位置中选取中间值，将预测结果中该特征点不可靠的预测位置设置为该中间值。
又优选地，当所有预测结果中该特征点的预测位置都不可靠时，从训练库中随机选择人脸形状，将随机选择的人脸形状设置为人脸图像的初始形状，跳转至通过级联姿态回归算法对初始形状进行级联回归的步骤，如此循环，直至在预测结果中得到该特征点可靠的预测位置，从而有效地提高人脸特征点定位的准确度和效果。
在步骤S105中，通过级联姿态回归算法对修正后的预测结果进行级联回归，得到人脸图像上每个特征点的位置和遮挡状态。
在本发明实施例中，在对所有预测结果中特征点的预测位置和预测遮挡状态进行修正后，通过级联回归算法对修正后的预测结果进行级联回归，得到人脸图像上每个特征点的位置和遮挡状态，从而实现人脸图像的特征点定位。
在本发明实施例中，从训练库中获取与用户输入的人脸图像相关的多个初始形状，通过级联回归算法对每个初始形状进行级联回归，获得每个初始形状对应的预测结果，根据特征点字典，计算每个预测结果中每个特征点对应的稀疏重构系数和重构残差，根据稀疏重构系数和重构残差，对每个预测结果中每个特征点的预测位置和预测遮挡状态进行修正，通过级联回归算法对修正后的每个预测结果进行级联回归，获得人脸图像每个特征点的位置和遮挡状态，从而有效地提高了对局部遮挡人脸图像上特征点的位置和遮挡状态进行检测的准确度和效果，进而提高了人脸特征点定位的准确度和效果。
实施例二：
图2示出了本发明实施例二提供的人脸特征点定位装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
初始形状获取单元21，用于当接收到人脸特征点定位请求时，获取用户输入的人脸图像，从预设的训练库中选取与人脸图像相关的多个初始形状。
在本发明实施例中，可通过预设的纹理相关初始化方式，从训练库中选择与人脸图像相关的多个人脸形状，将这些相关的人脸形状设置为人脸图像的初始形状。在通过纹理相关初始化方式从训练库中获取与人脸图像相关的多个初始形状时，优选地，提取人脸图像的纹理特征，提取训练库中训练图像的纹理特征，计算人脸图像的纹理特征分别与每张训练图像的纹理特征之间的相关程度，根据这些相关程度从训练库中选取与人脸图像相关的多个初始形状，从而有效地提高人脸图像的初始形状选取效果。
在通过纹理相关初始化方式从训练库中获取与人脸图像相关的多个初始形状时，进一步优选地，将人脸图像划分为多个不重叠区域，计算每个区域的LBP特征值，统计每个区域中每个LBP特征值的出现频率，根据这些频率得到每个区域的LBP直方图，由所有区域的LBP直方图组合得到人脸图像对应的LBP直方图矩阵，同样地，计算每个训练图像对应的LBP直方图矩阵，根据人脸图像的LBP直方图矩阵分别每个训练图像的LBP直方图矩阵之间的皮尔逊相关系数，从训练库中选取出人脸图像相关的初始形状，从而有效地提高了人脸图像的初始形状选取效果。
初始预测单元22，用于通过预设的级联姿态回归算法对初始形状进行级联回归，得到每个初始形状对应的预测结果。
在本发明实施例中，预设的级联姿态回归算法为鲁棒性的级联姿态回归算法，预测结果包括人脸图像上每个特征点的预测位置和预测遮挡状态。
参数计算单元23，用于根据预先构建的特征点字典，计算每个预测结果中每个预设特征点对应的稀疏重构系数和重构残差。
在本发明实施例中，在根据训练库构建每个特征点对应的特征点字典时，可在训练库中每个人的训练图像上提取特征点的像素信息，由每个人的训练图像上特征点的像素信息构成该特征点对应的特征点字典。优选地，当训练集中有Γ个人的训练图像且特征点的数目为P时，第p个特征点对应的特征点字典Dp表示为
Figure BDA0001687357170000081
其中，
Figure BDA0001687357170000082
为训练集中第i个人的训练图像上第p个特征点的像素信息。
在本发明实施例中，在计算每个预测结果中每个特征点对应的稀疏重构系数时，在人脸图像上获取每个预测结果中每个特征点的像素信息，通过每个特征点对应的特征点字典，对每个预测结果中每个特征点的像素信息进行相应的线性表示，根据这些线性表示计算得到每个预测结果中每个特征点对应的稀疏重构系数。优选地，在通过特征点对应的特征点字典，对测试结果中该特征点的像素信息进行线性表示时，线性表示公式为y＝Dpx，其中，y为预测结果中第p个特征点的像素信息，Dp为第p个特征点对应的特征点字典，x为稀疏重构系数，稀疏重构系数中大部分位置的值都为零。因此，通过上述线性表示公式可求解出每个预测结果中每个特征点对应的稀疏重构系数。
在本发明实施例中，根据每个预测结果中每个特征点对应的稀疏重构系数，对每个预测结果中每个特征点的像素进行重构，根据重构结果可计算得到每个预测结果中每个特征点对应的重构残差。优选地，对预测结果中特征点的像素进行重构的公式为
Figure BDA0001687357170000091
预测结果中特征点对应的重构残差为
Figure BDA0001687357170000092
其中，
Figure BDA0001687357170000093
为重构后特征点的像素信息，r(y)为特征点对应的重构残差。
预测结果修正单元24，用于根据稀疏重构系数和重构残差，对每个预测结果中每个特征点的预测位置和预测遮挡状态进行修正。
在本发明实施例中，通过鲁棒性的级联姿态回归算法得到的预测结果不一定可靠，因此根据稀疏重构系数和重构残差，对每个预测结果中每个特征点的预测位置和预测遮挡状态进行相应的修正。
特征点确定单元25，用于通过级联姿态回归算法对修正后的预测结果进行级联回归，得到人脸图像上每个特征点的位置和遮挡状态。
在本发明实施例中，在对所有预测结果中特征点的预测位置和预测遮挡状态进行修正后，通过级联回归算法对修正后的预测结果进行级联回归，得到人脸图像上每个特征点的位置和遮挡状态，从而实现人脸图像的特征点定位。
优选地，如图3所示，参数计算单元23包括：
像素信息获取单元331，用于在人脸图像上，获取每个预测结果中所述每个特征点的像素信息；
重构系数计算单元332，用于根据特征点字典和每个预测结果中每个特征点的像素信息，计算每个预测结果中每个特征点对应的稀疏重构系数；以及
重构残差计算单元334，用于根据特征点字典和每个预测结果中每个特征点对应的稀疏重构系数，计算每个预测结果中每个特征点对应的重构残差。
优选地，预测结果修正单元24包括：
位置可靠性判断单元341，用于根据预测结果中特征点对应的重构残差和预设的残差阈值，确定预测结果中特征点的预测位置是否可靠；以及
遮挡状态修正单元342，用于当预测结果中特征点的预测位置可靠时，根据特征点字典和预测结果中特征点对应的稀疏重构系数，对预测结果中特征点的预测遮挡状态进行修正。
在本发明实施例中，判断预测结果中特征点对应的重构残差是否超过预设的残差阈值，当不超过时，确定预测结果中该特征点的预测位置可靠，获取预测结果中该特征点对应的稀疏重构系数的非零项，根据这些非零项在特征点字典中对应的字典元素的遮挡信息，计算预测结果中该特征点的遮挡概率，用该遮挡概率替换预测结果中该特征点的预测遮挡状态，从而实现对预测结果中特征点预测位置的可靠性判断、以及特征点预测遮挡状态的修正。其中，遮挡概率的计算公式为
Figure BDA0001687357170000101
w(y)为预测结果中特征点的遮挡概率，occ_sum为该特征点的稀疏重构系数中非零项在特征点字典中所对应字典元素的遮挡信息之和，M为该特征点的稀疏重构系数中非零项的数目。
在本发明实施例中，当预测结果中特征点对应的重构残差超过残差阈值时，确定该预测结果中该特征点的预测位置不可靠，根据剩余预测结果中该特征点可靠的预测位置，对该预测结果中该特征点不可靠的预测位置进行修正，从而对预测结果中特征点不可靠的预测位置进行修正。在根据剩余预测结果中该特征点可靠的预测位置，对预测结果中该特征点不可靠的预测位置进行修正时，可将剩余预测结果中该特征点可靠的预测位置进行排序，从排序后的预测位置中选取中间值，将预测结果中该特征点不可靠的预测位置设置为该中间值。
在本发明实施例中，当所有预测结果中该特征点的预测位置都不可靠时，从训练库中随机选择人脸形状，将随机选择的人脸形状设置为人脸图像的初始形状，跳转至通过级联姿态回归算法对初始形状进行级联回归的步骤，如此循环，直至在预测结果中得到该特征点可靠的预测位置，从而有效地提高人脸特征点定位的准确度和效果。
在本发明实施例中，从训练库中获取与用户输入的人脸图像相关的多个初始形状，通过级联回归算法对每个初始形状进行级联回归，获得每个初始形状对应的预测结果，根据特征点字典，计算每个预测结果中每个特征点对应的稀疏重构系数和重构残差，根据稀疏重构系数和重构残差，对每个预测结果中每个特征点的预测位置和预测遮挡状态进行修正，通过级联回归算法对修正后的每个预测结果进行级联回归，获得人脸图像每个特征点的位置和遮挡状态，从而有效地提高了对局部遮挡人脸图像上特征点的位置和遮挡状态进行检测的准确度和效果，进而提高了人脸特征点定位的准确度和效果。
在本发明实施例中，人脸特征点定位装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。
实施例三：
图4示出了本发明实施例三提供的图像处理设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的图像处理设备4包括处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。该处理器40执行计算机程序42时实现上述方法实施例中的步骤，例如图1所示的步骤S101至S105。或者，处理器40执行计算机程序42时实现上述装置实施例中各单元的功能，例如图2所示单元21至25的功能。
在本发明实施例中，从训练库中获取与用户输入的人脸图像相关的多个初始形状，通过级联回归算法对每个初始形状进行级联回归，获得每个初始形状对应的预测结果，根据特征点字典，计算每个预测结果中每个特征点对应的稀疏重构系数和重构残差，根据稀疏重构系数和重构残差，对每个预测结果中每个特征点的预测位置和预测遮挡状态进行修正，通过级联回归算法对修正后的每个预测结果进行级联回归，获得人脸图像每个特征点的位置和遮挡状态，从而有效地提高了对局部遮挡人脸图像上特征点的位置和遮挡状态进行检测的准确度和效果，进而提高了人脸特征点定位的准确度和效果。
实施例四：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图1所示的步骤S101至S105。或者，该计算机程序被处理器执行时实现上述装置实施例中各单元的功能，例如图2所示单元21至25的功能。
在本发明实施例中，从训练库中获取与用户输入的人脸图像相关的多个初始形状，通过级联回归算法对每个初始形状进行级联回归，获得每个初始形状对应的预测结果，根据特征点字典，计算每个预测结果中每个特征点对应的稀疏重构系数和重构残差，根据稀疏重构系数和重构残差，对每个预测结果中每个特征点的预测位置和预测遮挡状态进行修正，通过级联回归算法对修正后的每个预测结果进行级联回归，获得人脸图像每个特征点的位置和遮挡状态，从而有效地提高了对局部遮挡人脸图像上特征点的位置和遮挡状态进行检测的准确度和效果，进而提高了人脸特征点定位的准确度和效果。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种人脸特征点定位方法，其特征在于，所述方法包括下述步骤：
当接收到人脸特征点定位请求时，获取用户输入的人脸图像，从预设的训练库中选取与所述人脸图像相关的多个初始形状；
通过预设的级联姿态回归算法对所述初始形状进行级联回归，得到每个初始形状对应的预测结果；
根据预先构建的特征点字典，计算每个预测结果中每个预设特征点对应的稀疏重构系数和重构残差；
根据所述稀疏重构系数和所述重构残差，对每个预测结果中每个预设特征点的预测位置和预测遮挡状态进行修正；
通过所述级联姿态回归算法对修正后的所述预测结果进行级联回归，得到所述人脸图像上每个预设特征点的位置和遮挡状态；
计算每个预测结果中每个预设特征点对应的稀疏重构系数和重构残差的步骤，包括：
在所述人脸图像上，获取每个预测结果中每个预设特征点的像素信息；
通过每个预设特征点对应的特征点字典，对每个预测结果中每个预设特征点的像素信息进行相应的线性表示，根据所述线性表示计算每个预测结果中每个预设特征点对应的稀疏重构系数；
根据所述特征点字典和每个预测结果中每个预设特征点对应的稀疏重构系数，计算每个预测结果中每个预设特征点对应的重构残差。
2.如权利要求1所述的方法，其特征在于，从预设的训练库中选取与所述人脸图像相关的多个初始形状的步骤，包括：
提取所述人脸图像的纹理特征，并提取所述训练库中训练图像的纹理特征；
根据所述人脸图像的纹理特征与所述训练图像的纹理特征之间的相关程度，从所述训练库选取与所述人脸图像相关的所述初始形状。
3.如权利要求1所述的方法，其特征在于，对每个预测结果中每个预设特征点的预测位置和预测遮挡状态进行修正的步骤，包括：
根据所述预测结果中所述预设特征点对应的重构残差和预设的残差阈值，确定所述预测结果中所述预设特征点的预测位置是否可靠；
当所述预测结果中所述预设特征点的预测位置可靠时，根据所述特征点字典和所述预测结果中所述预设特征点对应的稀疏重构系数，对所述预测结果中所述预设特征点的预测遮挡状态进行修正。
4.如权利要求3所述的方法，其特征在于，对所述预测结果中所述预设特征点的预测位置和遮挡状态进行修正的步骤，还包括：
当所述预测结果中所述预设特征点的预测位置不可靠时，根据剩余所述预测结果中所述预设特征点可靠的预测位置，对所述预设特征点不可靠的预测位置进行修正。
5.一种人脸特征点定位装置，其特征在于，所述装置包括：
初始形状获取单元，用于当接收到人脸特征点定位请求时，获取用户输入的人脸图像，从预设的训练库中选取与所述人脸图像相关的多个初始形状；
初始预测单元，用于通过预设的级联姿态回归算法对所述初始形状进行级联回归，得到每个初始形状对应的预测结果；
参数计算单元，用于根据预先构建的特征点字典，计算每个预测结果中每个预设特征点对应的稀疏重构系数和重构残差；
预测结果修正单元，用于根据所述稀疏重构系数和所述重构残差，对每个预测结果中每个特征点的预测位置和预测遮挡状态进行修正；以及
特征点确定单元，用于通过所述级联姿态回归算法对修正后的所述预测结果进行级联回归，得到所述人脸图像上每个特征点的位置和遮挡状态；
所述参数计算单元包括：
像素信息获取单元，用于在所述人脸图像上，获取每个预测结果中每个预设特征点的像素信息；
重构系数计算单元，用于通过每个预设特征点对应的特征点字典，对每个预测结果中每个预设特征点的像素信息进行相应的线性表示，根据所述线性表示计算每个预测结果中每个预设特征点对应的稀疏重构系数；以及
重构残差计算单元，用于根据所述特征点字典和每个预测结果中每个预设特征点对应的稀疏重构系数，计算每个预测结果中每个预设特征点对应的重构残差。
6.如权利要求5所述的装置，其特征在于，所述预测结果修正单元包括：
位置可靠性判断单元，用于根据所述预测结果中所述预设特征点对应的重构残差和预设的残差阈值，确定所述预测结果中所述预设特征点的预测位置是否可靠；以及
遮挡状态修正单元，用于当所述预测结果中所述预设特征点的预测位置可靠时，根据所述特征点字典和所述预测结果中所述预设特征点对应的稀疏重构系数，对所述预测结果中所述预设特征点的预测遮挡状态进行修正。
7.一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。
8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。
CN201810576579.4A 2018-06-06 2018-06-06 人脸特征点定位方法、装置、设备及存储介质 Active CN109002758B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810576579.4A CN109002758B (zh) 2018-06-06 2018-06-06 人脸特征点定位方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810576579.4A CN109002758B (zh) 2018-06-06 2018-06-06 人脸特征点定位方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109002758A CN109002758A (zh) 2018-12-14
CN109002758B true CN109002758B (zh) 2021-05-04

Family

ID=64600644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810576579.4A Active CN109002758B (zh) 2018-06-06 2018-06-06 人脸特征点定位方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109002758B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298225A (zh) * 2019-03-28 2019-10-01 电子科技大学 一种遮挡环境下的人脸五官定位的方法
CN110147776B (zh) * 2019-05-24 2021-06-11 北京百度网讯科技有限公司 确定人脸关键点位置的方法和装置
CN112270308B (zh) * 2020-11-20 2021-07-16 江南大学 一种基于双层级联回归模型的人脸特征点定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103325104A (zh) * 2013-06-09 2013-09-25 中山大学 基于迭代稀疏表达的人脸图像超分辨率重建方法
CN104182734A (zh) * 2014-08-18 2014-12-03 桂林电子科技大学 基于lrc和协同表示的两阶段人脸识别方法
CN105160312A (zh) * 2015-08-27 2015-12-16 南京信息工程大学 基于人脸相似度匹配的明星脸装扮推荐方法
US20160239969A1 (en) * 2015-02-14 2016-08-18 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for automated detection of abnormalities in medical images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103325104A (zh) * 2013-06-09 2013-09-25 中山大学 基于迭代稀疏表达的人脸图像超分辨率重建方法
CN104182734A (zh) * 2014-08-18 2014-12-03 桂林电子科技大学 基于lrc和协同表示的两阶段人脸识别方法
US20160239969A1 (en) * 2015-02-14 2016-08-18 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for automated detection of abnormalities in medical images
CN105160312A (zh) * 2015-08-27 2015-12-16 南京信息工程大学 基于人脸相似度匹配的明星脸装扮推荐方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Robust face landmark estimation under occlusion;Xavier P. Burgos-Artizzu et al.;《2013 IEEE International Conference on Computer Vision》;20131201;第1513-1520页 *
采用稀疏特征选择的红外运动目标跟踪方法;雍杨 等;《激光与红外》;20150430;第45卷(第4期);第446-451页 *

Also Published As

Publication number Publication date
CN109002758A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
US10380759B2 (en) Posture estimating apparatus, posture estimating method and storing medium
US9639769B2 (en) Liveness detection
CN109376631B (zh) 一种基于神经网络的回环检测方法及装置
CN109002758B (zh) 人脸特征点定位方法、装置、设备及存储介质
CN108875533B (zh) 人脸识别的方法、装置、系统及计算机存储介质
JP5448758B2 (ja) 情報処理装置、情報処理方法、情報処理システム、プログラム及びデータ構造
CN111401219B (zh) 一种手掌关键点检测方法和装置
CN109949280B (zh) 图像处理方法、装置、设备存储介质及生长发育评估系统
CN110879982A (zh) 一种人群计数系统及方法
CN110135508B (zh) 模型训练方法、装置、电子设备及计算机可读存储介质
CN111488810A (zh) 人脸识别方法、装置、终端设备及计算机可读介质
CN114708301A (zh) 一种运动伪影识别方法、装置、存储介质及电子设备
CN113889214A (zh) 一种获取目标文本的数据处理系统
CN112348808A (zh) 屏幕透图检测方法及装置
CN112818946A (zh) 年龄识别模型的训练、年龄识别方法、装置及电子设备
CN115984178A (zh) 伪造图像检测方法、电子设备和计算机可读存储介质
CN113537407B (zh) 基于机器学习的图像数据评价处理方法及装置
CN114708634A (zh) 基于人脸图像的相对体重分析方法、装置及电子设备
CN113222843A (zh) 一种图像修复方法及其相关设备
CN112363859A (zh) 异常判定阈值的确定方法及装置
CN112232361A (zh) 图像处理的方法及装置、电子设备及计算机可读存储介质
CN117253096B (zh) 手指自适应的健康指标监控方法、装置、设备及存储介质
CN117037234A (zh) 一种目标姿态识别方法、电子设备及存储介质
CN114266918A (zh) 一种基于土壤分类的特征识别机器学习优化方法
JP2023027687A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant