CN108062545B - 一种人脸对齐的方法及装置 - Google Patents
一种人脸对齐的方法及装置 Download PDFInfo
- Publication number
- CN108062545B CN108062545B CN201810088329.6A CN201810088329A CN108062545B CN 108062545 B CN108062545 B CN 108062545B CN 201810088329 A CN201810088329 A CN 201810088329A CN 108062545 B CN108062545 B CN 108062545B
- Authority
- CN
- China
- Prior art keywords
- stage
- face
- current
- feature points
- position coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸对齐的方法和装置，包括：根据当前阶段的特征点的位置坐标及提取到的人脸的特征值对人脸形状进行更新；其中，当前阶段为执行人脸对齐过程中所有阶段中的任何一个阶段，特征点为构成人脸形状的坐标点；在当前阶段不是所有阶段中的最后一个阶段的情况下，依据预设的第一插值矩阵和当前阶段的特征点的位置坐标，确定下一阶段的特征点的位置坐标。循环执行以上步骤，直到当前阶段为所有阶段中的最后一个阶段时，输出当前阶段更新的人脸形状。这样，在不损坏系统模型性能的前提下，降低了系统模型的体积，提高了运算速度。
Description
技术领域
本发明涉及人脸识别领域，尤其涉及一种人脸对齐的方法及装置。
背景技术
随着计算机视觉领域技术的发展，针对人脸特征点的对齐技术日趋完善，目前，通常包含两类算法：第一类是基于传统机器学习算法，如boosting，随机森林等；第二类为基于神经网络的算法，最典型的卷积神经网络，基于卷积神经网络算法能够取得更好的精度，但是在实际应用中速度较慢，较难部署。因此在工程应用中，传统机器学习方法占据了重要的地位。目前，大部分传统机器学习算法都是通过逐步拟合的方式获得特征点的定位结果，而且通常级数较多，每一级都要对所有的人脸的特征点进行回归计算，导致模型体积较大，计算量大等问题。
现有技术中，通常采用利用定点化的方式进行压缩，即将float型转int型进行压缩，但是该种压缩方式对模型体积的压缩方式有限，难以满足工程的需求。
发明内容
有鉴于此，本发明实施例提供了一种人脸对齐的方法及装置，解决了现有技术中系统模型体积大、占用内存空间大的问题。
本发明实施例公开了一种人脸对齐的方法，包括：
根据当前阶段的特征点的位置坐标及提取到的人脸的特征值对人脸形状进行更新；所述当前阶段为执行所述人脸对齐过程中所有阶段中的任何一个阶段，所述特征点为构成人脸形状的坐标点；
在当前阶段不是所述所有阶段中的最后一个阶段的情况下，依据预设的第一插值矩阵和所述当前阶段的特征点的位置坐标，确定下一阶段的特征点的位置坐标；
将所述下一阶段作为当前阶段，并将所述下一阶段的特征点的位置坐标作为当前阶段的特征点的位置坐标，返回执行根据当前阶段的特征点的位置坐标及提取到的人脸的特征值对人脸形状进行更新的步骤。
可选的，还包括：
确定人脸的所有特征点；
将人脸对齐过程划分为多个阶段；
确定每个阶段的特征点和回归级数；其中，后一个阶段的特征点的点数大于前一个阶段的特征点的点数，最后一个阶段的特征点的点数等于所有特征点的点数；
根据第一目标阶段的特征点预设的位置坐标、第二目标阶段的特征点预设的位置坐标，采用最小二乘准则，计算插值矩阵；其中，所述插值矩阵与所述第一目标阶段的特征点的位置坐标相乘，得到第二目标阶段的特征点的位置坐标；所述第一目标阶段和所述第二目标阶段为所述人脸的对齐过程的所有阶段中的任意两个阶段。
可选的，所述根据当前阶段的特征点的位置坐标及提取到的人脸的特征值对人脸形状进行更新，包括：
确定当前阶段中当前回归级的人脸参考形状；
根据当前回归级的人脸参考形状，提取人脸的特征值；
根据所述人脸的特征值确定当前阶段的特征点的回归增量；根据所述回归增量，对人脸形状进行更新；
判断是否完成了当前阶段预设的所有回归级；
若未完成，将下一回归级作为当前回归级，并返回执行确定当前阶段中当前回归级的人脸参考坐标的步骤。
可选的，所述确定当前回归级的人脸参考坐标，包括：
若所述当前回归级为第一阶段的第一回归级，将人脸的平均形状作为当前阶段中当前回归级的人脸参考形状。
可选的，所述确定当前回归级的人脸参考坐标，包括：
若所述当前回归级不是第一阶段的第一回归级，根据当前阶段的特征点的位置坐标和第二插值矩阵，确定所述所有特征点的位置坐标；
根据计算得到的所有特征点的位置坐标，确定当前阶段中当前回归级的人脸参考形状。
可选的，所述确定当前回归级的人脸参考坐标，包括：
若所述当前回归级不是第一阶段的第一回归级，获取历史回归级得到的更新后的人脸形状；
将所述历史回归级得到的更新后的人脸形状作为当前回归级的人脸参考形状。
可选的，所述依据预设的第一插值矩阵和所述当前阶段的特征点，计算下一阶段的各个特征点的估计值，包括：
获取当前阶段各个特征点的位置坐标；
计算所述当前阶段各个特征点的位置坐标和所述第一插值矩阵的乘积，得到所述下一阶段各个特征点的位置坐标。
可选的，还包括：
在所述当前阶段为所述所有阶段的最后一个阶段的情况下，输出当前阶段更新后的人脸形状。
本发明实施例公开了一种人脸对齐装置，包括：
更新单元，用于根据当前阶段的特征点的位置坐标及提取到的人脸的特征值对人脸形状进行更新；所述当前阶段为执行所述人脸对齐过程中所有阶段中的任何一个阶段，所述特征点为构成人脸形状的坐标点；
第一确定单元，用于在当前阶段不是所述所有阶段中的最后一个阶段的情况下，依据预设的第一插值矩阵和所述当前阶段的特征点的位置坐标，确定下一阶段的特征点的位置坐标；
循环执行单元，用于将所述下一阶段作为当前阶段，并将所述下一阶段的特征点的位置坐标作为当前阶段的特征点的位置坐标，返回执行根据当前阶段的特征点的位置坐标及提取到的人脸的特征值对人脸形状进行更新的步骤。
可选的，还包括：
第二确定单元，用于确定人脸的所有特征点；
划分单元，用于将人脸对齐过程划分为多个阶段；
第三确定单元，用于确定每个阶段的特征点和回归级数；其中，后一个阶段的特征点的点数大于前一个阶段的特征点的点数，最后一个阶段的特征点的点数等于所有特征点的点数；
构建单元，用于根据第一目标阶段的特征点的坐标向量、第二目标阶段的特征点的坐标向量以及预设的插值矩阵，构建插值误差模型；
第一计算单元，用于根据第一目标阶段的特征点的位置坐标、第二目标阶段的特征点的位置坐标，采用最小二乘准则，计算插值矩阵；其中，所述插值矩阵与所述第一目标阶段的特征点的位置坐标相乘，得到第二目标阶段的特征点的位置坐标；所述第一目标阶段和所述第二目标阶段为所述人脸的对齐过程的所有阶段中的任意两个阶段。
本发明实施例公开了一种人脸对齐的方法和装置，包括：根据当前阶段的特征点的位置坐标及提取到的人脸的特征值对人脸形状进行更新；其中，当前阶段为执行人脸对齐过程中所有阶段中的任何一个阶段，特征点为构成人脸形状的坐标点；在当前阶段不是所有阶段中的最后一个阶段的情况下，依据预设的第一插值矩阵和当前阶段的特征点的位置坐标，确定下一阶段的特征点的位置坐标。循环执行以上步骤，直到当前阶段为所有阶段中的最后一个阶段时，输出当前阶段更新的人脸形状。由此可知，执行人脸对齐的过程中，通过不同的阶段分别进行人脸形状的更新，并且依据前一个阶段的特征点，通过插值的方法，得到后一个阶段的特征点。这样，在不损坏系统模型性能的前提下，降低了系统模型的体积，提高了运算速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1示出了本发明实施例提供的一种插值矩阵的计算方法的流程示意图；
图2示出了本发明实施例提供的人脸特征点的示意图；
图3示出了本发明实施例提供的一种人脸对齐的方法的流程示意图；
图4示出了本发明实施例提供的一种人脸对齐的装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
参考图1，示出了本发明实施例提供的一种插值矩阵计算方法的流程示意图，在本实施例中，该方法包括：
S101：确定人脸的所有特征点；
本实施例中，技术人员可以根据实际的需求，设定人脸对齐用到的所有特征点，例如可以是用128个特征点，也可以是68个特征点等。
举例说明：特征点为可以用来构成人脸形状的坐标点，如图2所示，图2上的点可以表示为特征点。
S102：将人脸对齐的过程划分为多个阶段；
S103：确定每个阶段的特征点和回归级数；其中，后一个阶段的特征点的点数大于前一个阶段的特征点的点数，最后一个阶段的特征点的点数等于所有特征点的点数；
本实施例中，现有技术中人脸对齐的过程需要经过多级回归，或者可以理解为包括多级回归器，每级回归器都要对所有的特征点进行回归计算，这样导致系统模型体积过大。基于该问题，本实施例中将人脸对齐划分为多个阶段，每个阶段包括不同数量的特征点。为了保证人脸对齐的精确度，后一个阶段的特征点的点数大于前一个阶段的特征点的点数，最后一个阶段的特征点的点数等于所有特征点的点数。
举例说明：假设将人脸对齐的过程划分为3个阶段，其中，第一阶段包括3级回归器、第二个阶段包括5级回归器、第三个阶段包括7级回归器，并且第一个阶段包括：12个特征点，第二个阶段包括32个特征点，第三个阶段包括68个特征点。
本实施例中，由于人脸的各个特征点之间存在关联性，并且，为了进一步降低模型的体积，可以通过插值的方法，根据前一个阶段的特征点插值得到后一个阶段的特征点，或者是根据较少的特征点插值得到较多的特征点，其中，插值矩阵可以通过S104获得。
S104：根据第一目标阶段的特征点的预设的位置坐标、第二目标阶段的特征点的预设的位置坐标，采用最小二乘准则，计算插值矩阵；所述插值矩阵与所述第一目标阶段的特征点的位置坐标相乘，得到第二目标阶段的特征点的位置坐标，所述第一目标阶段和所述第二目标阶段为所述人脸的对齐过程的所有阶段中的任意两个阶段。
本实施例中，可以通过大量的样本计算差值矩阵，也就是说，第一目标阶段的特征点预设的位置坐标为大量的坐标位置样本，第二目标阶段的特征点预设的位置坐标为大量的坐标位置样本。举例说明：通过最小二乘准则计算插值矩阵的过程可以为，通过如下公式1)构建一个插值模型P：
其中，b为点数为m的特征点的位置坐标，c为点数为n的特征点的位置坐标，其中m>n。
计算该插值模型的最优解，即计算最小的矩阵A，该最小的矩阵A即为目标插值矩阵。
举例说明：假设将人脸对齐的过程划分为3个阶段，并且第一个阶段包括：12个特征点，第二个阶段包括32个特征点，第三个阶段包括68个特征点，可以通过上述S104-S105的方法，计算出第一阶段到第二阶段特征点的插值矩阵，第二阶段到第三阶段特征点的插值矩阵，以及第一阶段到第三阶段特征点的插值矩阵。即，可以通过对12个特征点的位置坐标进行插值运算后得到32个特征点的位置坐标的估计值；可以通过对32个特征点的位置坐标进行插值运算后得到68个特征点的位置坐标的估计值；或者还可以是通过对12个特征点的位置坐标进行插值运算后得到68个特征点的位置坐标的估计值。
在本实施例中，通过本实施例提到的插值矩阵得到的特征点的位置坐标的估计值，与直接回归全部特征点得到的坐标向量的估计值，在前期阶段中差别很小，对于后续阶段的回归计算影响不大，因此本方法有效去除了系统中的冗余计算，保证了系统模型的性能不受损失。
本实施例中，可以通过计算得到的插值矩阵，依据较少的特征点插值得到较多的特征点，并将该插值矩阵应用于人脸对齐中，进而减小了人脸的对齐的系统模型的体积。
实施例2：
参考图3，示出了本发明实施例提供的一种人脸对齐的方法的流程示意图，在本实施例中，该方法包括：
S201：根据当前阶段的特征点的位置坐标及提取到的人脸的特征值对人脸形状进行更新；所述当前阶段为执行所述人脸对齐过程中所有阶段中的任何一个阶段，所述特征点为构成人脸形状的坐标点；
本实施例中，通过实施例1的介绍可以得知，技术人员对人脸对齐的过程划分为了多个阶段，其中多个阶段为至少两个阶段，每个阶段包括不同数量的特征点，后一个阶段的特征点的数量大于前一个特征点的数量，并且，最后一个特征点的数量等于预设的所有特征点的数量。
具体的，S201包括：
确定当前回归级的人脸参考形状；
根据当前回归级的人脸参考形状，提取人脸的特征值；
根据所述人脸的特征值确定当前阶段的特征点的回归增量；
根据所述回归增量，对人脸形状进行更新；
判断是否完成了当前阶段预设的所有回归级；
若未完成，将下一回归级作为当前回归级，并返回执行确定当前阶段中当前回归级的人脸参考坐标。
其中，若当前阶段为第一阶段的第一回归级，可以将人脸的平均形状作为第一阶段的第一回归级的人脸参考坐标。
若当前阶段不是第一阶段的第一回归级，人脸参考坐标的获取可以通过以下的两种实施例方式：
实施方式一：
若所述当前回归级不是第一阶段的第一回归级，根据当前阶段的特征点的位置坐标和第二插值矩阵，确定所述所有特征点的位置坐标；
根据计算得到的所有特征点的位置坐标，确定当前阶段中当前回归级的人脸参考形状。
其中，第二插值矩阵表示，用来和当前阶段的特征点的位置坐标相乘后，得到所有特征点的位置坐标的估计值，例如，假设将人脸对齐过程划分为3个阶段，若当前阶段为第一个阶段时，可以通过第一个阶段的特征点的位置坐标插值得到最后一个阶段所有的特征点；若当前阶段为第二个阶段时，可以通过第二个阶段的特征点的位置坐标插值得到最后一个阶段所有的特征点的位置坐标，并根据最后一个阶段的特征点的位置坐标确定当前回归级的人脸的参考形状。
实施方式二：
若所述当前回归级不是第一阶段的第一回归级，获取历史回归级得到的更新后的人脸形状；
将所述历史回归级得到的更新后的人脸形状作为当前回归级的人脸参考形状。
其中，历史回归级得到的更新后的人脸形状可以是当前回归级的上一回归级得到的更新后的人脸形状。
其中，需要说明的是，回归增量为特征点位置坐标的更新量。
本实施例中，每个阶段包括多级回归器，该阶段的每级回归器都基于该阶段的特征点的点数对人脸形状进行更新，并且执行完一个阶段的所有级的回归器后，进入下一个阶段。
S202：在当前阶段不是所述所有阶段中的最后一个阶段的情况下，依据预设的第一插值矩阵和所述当前阶段的特征点的位置坐标，确定下一阶段的特征点的位置坐标。
本实施例中，在未执行到所有阶段中的最后一个阶段时，即当前阶段不是所有阶段中的最后一个阶段的情况下，可以根据当前阶段的特征点通过插值矩阵，计算下一阶段的特征点的位置坐标的估计值，具体的，S202包括：
获取当前阶段各个特征点的位置坐标；
计算所述当前阶段各个特征点的位置坐标和所述第一插值矩阵的乘积，得到所述下一阶段各个特征点的位置坐标。
举例说明：假设将人脸对齐的过程划分为3个阶段，并且第一个阶段包括：12个特征点，这12个特征点的位置坐标为B1，第二个阶段包括32个特征点，这32个特征点的位置坐标为B2，第三个阶段包括68个特征点，这三个特征点的位置坐标为B3。可以通过B1和第一插值矩阵A1，得到第二阶段的特征点的位置坐标的估计值，例如：B2＝B1*A1；可以通过B2和第一插值矩阵A2，得到第三阶段的特征点的位置坐标的估计值，例如：B3＝B2*A2。
本实施例中，循环执行以上S201-S202的步骤，直到执行到最后一个阶段时，输出当前阶段更新后的人脸形状，具体的，包括：
在所述当前阶段为所述所有阶段的最后一个阶段的情况下，输出当前阶段更新后的人脸形状。
本实施例中，执行最后一个阶段时，最后一个阶段包含设定的所有的特征点的增量，也就是说，在最后一个阶段是依据设定的所有的特征点对人脸形状进行更新。
本实施例中，执行人脸对齐的过程时，可以通过不同的阶段分别进行人脸形状的更新，其中，每个阶段包含不同的特征点，并且依据前一个阶段的特征点，通过插值的方法，得到后一个阶段的特征点的估计值。这样，在不损坏系统模型性能的前提下，降低了系统模型的体积，提高了运算速度。
参考图4，示出了本发明实施例提供的一种人脸对齐的装置的结构示意图，在本实施例中，该装置包括：
更新单元301，用于根据当前阶段的特征点的位置坐标及提取到的人脸的特征值对人脸形状进行更新；所述当前阶段为执行所述人脸对齐过程中所有阶段中的任何一个阶段，所述特征点为构成人脸形状的坐标点；
第一确定单元302，用于在当前阶段不是所述所有阶段中的最后一个阶段的情况下，依据预设的第一插值矩阵和所述当前阶段的特征点的位置坐标，确定下一阶段的特征点的位置坐标；
循环执行单元303，用于将所述下一阶段作为当前阶段，并将所述下一阶段的特征点的位置坐标作为当前阶段的特征点的位置坐标，返回执行根据当前阶段的特征点的位置坐标及提取到的人脸的特征值对人脸形状进行更新的步骤。
可选的，还包括：
第二确定单元，用于确定人脸的所有特征点；
划分单元，用于将人脸对齐过程划分为多个阶段；
第三确定单元，用于确定每个阶段的特征点和回归级数；其中，后一个阶段的特征点的点数大于前一个阶段的特征点的点数，最后一个阶段的特征点的点数等于所有特征点的点数；
第一计算单元，用于根据第一目标阶段的特征点的位置坐标、第二目标阶段的特征点的位置坐标，采用最小二乘准则，计算插值矩阵；其中，所述插值矩阵与所述第一目标阶段的特征点的位置坐标相乘，得到第二目标阶段的特征点的位置坐标；所述第一目标阶段和所述第二目标阶段为所述人脸的对齐过程的所有阶段中的任意两个阶段。
可选的，所述更新单元，包括：
第一确定子单元，用于确定当前阶段中当前回归级的人脸参考形状；
提取子单元，用于根据当前回归级的人脸参考形状，提取人脸的特征值；
第二确定子单元，用于根据所述人脸的特征值确定当前阶段的特征点的回归增量；
第一获取子单元，用于获取所述目标叶子节点中所述当前阶段的特征点的回归增量；
更新子单元，用于根据所述回归增量，对人脸形状进行更新；
判断子单元吗，用于判断是否完成了当前阶段预设的所有回归级；
返回执行子单元，用于若未完成，将下一回归级作为当前回归级，并返回执行确定当前阶段中当前回归级的人脸参考坐标的步骤。
可选的，所述第一确定子单元，包括：
第三确定子单元，用于若所述当前回归级为第一阶段的第一回归级，将人脸的平均形状作为当前阶段中当前回归级的人脸参考形状。
可选的，所述第一确定子单元，包括：
计算子单元，用于若所述当前回归级不是第一阶段的第一回归级，根据当前阶段的特征点的位置坐标和第二插值矩阵，确定所述所有特征点的位置坐标；
第四确定子单元，用于根据计算得到的所有特征点的位置坐标，确定当前阶段中当前回归级的人脸参考形状。
可选的，所述第一确定子单元，包括：
第二获取子单元，用于若所述当前回归级不是第一阶段的第一回归级，获取历史回归级得到的更新后的人脸形状；
第五确定子单元，用于将所述历史回归级得到的更新后的人脸形状作为当前回归级的人脸参考形状。
可选的，所述第一确定单元，包括：
获取子单元，用于获取当前阶段各个特征点的位置坐标；
第二计算子单元，用于计算所述当前阶段各个特征点的位置坐标和所述第一插值矩阵的乘积，得到所述下一阶段各个特征点的位置坐标。
可选的，还包括：
输出单元，用于在所述当前阶段为所述所有阶段的最后一个阶段的情况下，输出当前阶段更新后的人脸形状。
通过本实施例的装置，在不损坏系统模型性能的前提下，降低了系统模型的体积，提高了运算速度。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种人脸对齐的方法，其特征在于，包括：
根据当前阶段的特征点的位置坐标及提取到的人脸的特征值对人脸形状进行更新；所述当前阶段为执行所述人脸对齐过程中所有阶段中的任何一个阶段，所述特征点为构成人脸形状的坐标点；
在当前阶段不是所述所有阶段中的最后一个阶段的情况下，依据预设的第一插值矩阵和所述当前阶段的特征点的位置坐标，确定下一阶段的特征点的位置坐标；其中，下一阶段的特征点的数量大于所述当前阶段特征点的数量；
将所述下一阶段作为当前阶段，并将所述下一阶段的特征点的位置坐标作为当前阶段的特征点的位置坐标，返回执行根据当前阶段的特征点的位置坐标及提取到的人脸的特征值对人脸形状进行更新的步骤。
2.根据权利要求1所述的方法，其特征在于，还包括：
确定人脸的所有特征点；
将人脸对齐过程划分为多个阶段；
确定每个阶段的特征点和回归级数；其中，后一个阶段的特征点的点数大于前一个阶段的特征点的点数，最后一个阶段的特征点的点数等于所有特征点的点数；
根据第一目标阶段的特征点预设的位置坐标、第二目标阶段的特征点的预设的位置坐标，采用最小二乘准则，计算插值矩阵；其中，所述插值矩阵与所述第一目标阶段的特征点的位置坐标相乘，得到第二目标阶段的特征点的位置坐标；所述第一目标阶段和所述第二目标阶段为所述人脸的对齐过程的所有阶段中的任意两个阶段。
3.根据权利要求2所述的方法，其特征在于，所述根据当前阶段的特征点的位置坐标及提取到的人脸的特征值对人脸形状进行更新，包括：
确定当前阶段中当前回归级的人脸参考形状；
根据当前回归级的人脸参考形状，提取人脸的特征值；
根据所述人脸的特征值确定当前阶段的特征点的回归增量；根据所述回归增量，对人脸形状进行更新；
判断是否完成了当前阶段预设的所有回归级；
若未完成，将下一回归级作为当前回归级，并返回执行确定当前阶段中当前回归级的人脸参考坐标的步骤。
4.根据权利要求3所述的方法，其特征在于，所述确定当前回归级的人脸参考坐标，包括：
若所述当前回归级为第一阶段的第一回归级，将人脸的平均形状作为当前阶段中当前回归级的人脸参考形状。
5.根据权利要求3所述的方法，其特征在于，所述确定当前回归级的人脸参考坐标，包括：
若所述当前回归级不是第一阶段的第一回归级，根据当前阶段的特征点的位置坐标和第二插值矩阵，确定所述所有特征点的位置坐标；
根据计算得到的所有特征点的位置坐标，确定当前阶段中当前回归级的人脸参考形状。
6.根据权利要求3所述的方法，其特征在于，所述确定当前回归级的人脸参考坐标，包括：
若所述当前回归级不是第一阶段的第一回归级，获取历史回归级得到的更新后的人脸形状；
将所述历史回归级得到的更新后的人脸形状作为当前回归级的人脸参考形状。
7.根据权利要求1所述的方法，其特征在于，所述依据预设的第一插值矩阵和所述当前阶段的特征点，计算下一阶段的各个特征点的估计值，包括：
获取当前阶段各个特征点的位置坐标；
计算所述当前阶段各个特征点的位置坐标和所述第一插值矩阵的乘积，得到所述下一阶段各个特征点的位置坐标。
8.根据权利要求1所述的方法，其特征在于，还包括：
在所述当前阶段为所述所有阶段的最后一个阶段的情况下，输出当前阶段更新后的人脸形状。
9.一种人脸对齐装置，其特征在于，包括：
更新单元，用于根据当前阶段的特征点的位置坐标及提取到的人脸的特征值对人脸形状进行更新；所述当前阶段为执行所述人脸对齐过程中所有阶段中的任何一个阶段，所述特征点为构成人脸形状的坐标点；
第一确定单元，用于在当前阶段不是所述所有阶段中的最后一个阶段的情况下，依据预设的第一插值矩阵和所述当前阶段的特征点的位置坐标，确定下一阶段的特征点的位置坐标；其中，下一阶段的特征点的数量大于所述当前阶段特征点的数量；
循环执行单元，用于将所述下一阶段作为当前阶段，并将所述下一阶段的特征点的位置坐标作为当前阶段的特征点的位置坐标，返回执行根据当前阶段的特征点的位置坐标及提取到的人脸的特征值对人脸形状进行更新的步骤。
10.根据权利要求9所述的装置，其特征在于，还包括：
第二确定单元，用于确定人脸的所有特征点；
划分单元，用于将人脸对齐过程划分为多个阶段；
第三确定单元，用于确定每个阶段的特征点和回归级数；其中，后一个阶段的特征点的点数大于前一个阶段的特征点的点数，最后一个阶段的特征点的点数等于所有特征点的点数；
第一计算单元，用于根据第一目标阶段的特征点预设的位置坐标、第二目标阶段的特征点预设的位置坐标，采用最小二乘准则，计算插值矩阵；其中，所述插值矩阵与所述第一目标阶段的特征点的位置坐标相乘，得到第二目标阶段的特征点的位置坐标；所述第一目标阶段和所述第二目标阶段为所述人脸的对齐过程的所有阶段中的任意两个阶段。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810088329.6A CN108062545B (zh) | 2018-01-30 | 2018-01-30 | 一种人脸对齐的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810088329.6A CN108062545B (zh) | 2018-01-30 | 2018-01-30 | 一种人脸对齐的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108062545A CN108062545A (zh) | 2018-05-22 |
| CN108062545B true CN108062545B (zh) | 2020-08-28 |
Family
ID=62134589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810088329.6A Active CN108062545B (zh) | 2018-01-30 | 2018-01-30 | 一种人脸对齐的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108062545B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111667518B (zh) * | 2020-06-24 | 2023-10-31 | 北京百度网讯科技有限公司 | 人脸图像的显示方法、装置、电子设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8155399B2 (en) * | 2007-06-12 | 2012-04-10 | Utc Fire & Security Corporation | Generic face alignment via boosting |
| CN102982520A (zh) * | 2012-12-05 | 2013-03-20 | 武汉大学 | 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法 |
| CN103824049A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联神经网络的人脸关键点检测方法 |
| CN103824050A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联回归的人脸关键点定位方法 |
| CN104657713A (zh) * | 2015-02-09 | 2015-05-27 | 浙江大学 | 一种可抗姿态和表情变化的三维人脸校准方法 |
| CN105404861A (zh) * | 2015-11-13 | 2016-03-16 | 中国科学院重庆绿色智能技术研究院 | 人脸关键特征点检测模型的训练、检测方法及系统 |
| CN105631436A (zh) * | 2016-01-27 | 2016-06-01 | 桂林电子科技大学 | 基于随机森林的级联位置回归用于人脸对齐的方法 |
| CN105809123A (zh) * | 2016-03-04 | 2016-07-27 | 北京智慧眼科技股份有限公司 | 人脸检测方法及装置 |
| CN106326876A (zh) * | 2016-08-31 | 2017-01-11 | 广州市百果园网络科技有限公司 | 一种训练模型生成方法、人脸对齐处理方法及装置 |
| CN106845327A (zh) * | 2015-12-07 | 2017-06-13 | 展讯通信(天津)有限公司 | 人脸对齐模型的训练方法、人脸对齐方法和装置 |
| CN107016319A (zh) * | 2016-01-27 | 2017-08-04 | 北京三星通信技术研究有限公司 | 一种关键点定位方法和装置 |
| CN107066941A (zh) * | 2017-03-01 | 2017-08-18 | 桂林电子科技大学 | 一种人脸识别方法和系统 |
| CN107480640A (zh) * | 2017-08-16 | 2017-12-15 | 上海荷福人工智能科技（集团）有限公司 | 一种基于二值卷积神经网络的人脸对齐方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201215944D0 (en) * | 2012-09-06 | 2012-10-24 | Univ Manchester | Image processing apparatus and method for fittng a deformable shape model to an image using random forests |
| US20140185924A1 (en) * | 2012-12-27 | 2014-07-03 | Microsoft Corporation | Face Alignment by Explicit Shape Regression |
-
2018
- 2018-01-30 CN CN201810088329.6A patent/CN108062545B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8155399B2 (en) * | 2007-06-12 | 2012-04-10 | Utc Fire & Security Corporation | Generic face alignment via boosting |
| CN102982520A (zh) * | 2012-12-05 | 2013-03-20 | 武汉大学 | 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法 |
| CN103824049A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联神经网络的人脸关键点检测方法 |
| CN103824050A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联回归的人脸关键点定位方法 |
| CN104657713A (zh) * | 2015-02-09 | 2015-05-27 | 浙江大学 | 一种可抗姿态和表情变化的三维人脸校准方法 |
| CN105404861A (zh) * | 2015-11-13 | 2016-03-16 | 中国科学院重庆绿色智能技术研究院 | 人脸关键特征点检测模型的训练、检测方法及系统 |
| CN106845327A (zh) * | 2015-12-07 | 2017-06-13 | 展讯通信(天津)有限公司 | 人脸对齐模型的训练方法、人脸对齐方法和装置 |
| CN105631436A (zh) * | 2016-01-27 | 2016-06-01 | 桂林电子科技大学 | 基于随机森林的级联位置回归用于人脸对齐的方法 |
| CN107016319A (zh) * | 2016-01-27 | 2017-08-04 | 北京三星通信技术研究有限公司 | 一种关键点定位方法和装置 |
| CN105809123A (zh) * | 2016-03-04 | 2016-07-27 | 北京智慧眼科技股份有限公司 | 人脸检测方法及装置 |
| CN106326876A (zh) * | 2016-08-31 | 2017-01-11 | 广州市百果园网络科技有限公司 | 一种训练模型生成方法、人脸对齐处理方法及装置 |
| CN107066941A (zh) * | 2017-03-01 | 2017-08-18 | 桂林电子科技大学 | 一种人脸识别方法和系统 |
| CN107480640A (zh) * | 2017-08-16 | 2017-12-15 | 上海荷福人工智能科技（集团）有限公司 | 一种基于二值卷积神经网络的人脸对齐方法 |
Non-Patent Citations (4)
| Title |
|---|
| 《Initialization and Pose Alignment in Active Shape Model》;Pengfei Xiong等;《2010 International Conference on Pattern Recognition》;20101231;第3971-3974页 * |
| 《Shape Augmented Regression Method for Face Alignment》;Yue Wu等;《2015 IEEE International Conference on Computer Vision Workshops》;20151231;第979-985页 * |
| 《基于CPR和CLM的多视角人脸特征点定位方法》;石正权等;《计算机技术与发展》;20151130;第25卷(第11期);第1-5页 * |
| 《改进RCPR的人脸对齐方法》;莫建文等;《电视技术》;20160930;第40卷(第9期);第31-35页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108062545A (zh) | 2018-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135573B (zh) | 一种深度学习模型的训练方法、计算设备以及系统 | |
| CN109856978B (zh) | 一种获取被控对象模型的方法及装置 | |
| CN106406830B (zh) | 一种准周期信号的处理方法、装置和计算机可读存储介质 | |
| CN111598087B (zh) | 不规则文字的识别方法、装置、计算机设备及存储介质 | |
| JP2014215822A (ja) | 状態推定装置、方法、及びプログラム | |
| CN108062545B (zh) | 一种人脸对齐的方法及装置 | |
| CN110942483A (zh) | 函数快速收敛模型构建方法、装置和终端 | |
| EP3806023A1 (en) | Search device, search method, computer-readable medium, search system, and arbitrage system | |
| CN111249106B (zh) | 老年康复机器人的训练控制装置及系统 | |
| CN111260056A (zh) | 一种网络模型蒸馏方法及装置 | |
| CN109741432B (zh) | 一种渲染预估用时计算方法、电子设备及存储介质 | |
| CN111723906A (zh) | 一种循环神经网络的加速计算方法、系统及相关装置 | |
| CN105843578B (zh) | 一种拼接墙回显方法、装置及系统 | |
| CN111325343B (zh) | 神经网络的确定、目标检测、智能行驶控制方法及装置 | |
| CN114912627A (zh) | 推荐模型训练方法、系统、计算机设备及存储介质 | |
| CN111857192B (zh) | 喷射器的调控方法及装置 | |
| WO2018196246A1 (zh) | 一种快速sinc插值方法及系统 | |
| CN109344545A (zh) | 建筑设计软件中构件尺寸的精确度调整方法、装置 | |
| CN110059707B (zh) | 图像特征点的优化方法、装置和设备 | |
| CN115470882A (zh) | 神经网络归一化训练方法及其架构单元 | |
| CN114923544B (zh) | 出口断面水位的预测方法、装置及电子设备 | |
| CN113255576B (zh) | 人脸识别方法及装置 | |
| CN113674411B (zh) | 基于位姿图调整的建图方法及相关设备 | |
| US20220012589A1 (en) | Data conversion device and method in deep neural circuit | |
| CN111179037B (zh) | 理财产品的推荐方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |