CN104036240A - 人脸特征点的定位方法和装置 - Google Patents

Abstract

本发明是关于一种人脸特征点的定位方法和装置，属于计算机领域。方法包括：检测视频序列中当前帧图像中的人脸图像；根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定当前帧图像的人脸特征点的初始定位位置；根据人脸图像在初始定位位置的图像特征值，对当前帧图像的人脸特征点进行定位，以得到当前帧图像的人脸特征点的最终定位位置。装置包括：检测模块、确定模块和定位模块。本发明根据上一帧图像的人脸特征点的最终定位位置，确定出的当前帧图像的人脸特征点的初始定位位置能够靠近当前帧图像的人脸特征点的实际位置，从而减少了定位计算过程中的迭代次数，提高了特征点定位的效率。

Description

人脸特征点的定位方法和装置

技术领域

本公开涉及计算机领域，尤其涉及一种人脸特征点的定位方法和装置。

背景技术

人脸特征点的定位技术指，基于人脸检测技术检测到人脸，并对检测到的人脸进行识别，确定出眼、鼻和嘴巴等面部关键特征点的位置和形状信息。人脸特征点的定位技术可以为人脸识别、人脸姿态表情分析、人脸美化、以及人脸追踪等研究工作提供相应的基础数据，因而具有重要地位。

相关人脸特征点的定位技术的原理包括，首先，对图像进行人脸检测；其次，在检测到的人脸图像中，将预设训练集中人脸脸部特征点的平均位置作为人脸特征点的初始定位位置；然后，根据初始定位位置周围的图像特征值、以及离线训练得到的点偏移与图像特征值之间的函数变换关系，求得特征点的偏移值；最后，将该偏移值加到初始定位位置上得到更新的初始定位位置，并继续下一轮的迭代，最终得到人脸特征点的位置。

相关技术中，是将预设训练集中人脸脸部特征点的平均位置作为初始定位位置，由于预设训练集是基于样本图像得到，实际人脸图像变化很大，样本图像不能完全描述人脸特征，因此，该初始定位位置与人脸特征点的实际位置具有较大误差，两者之间具有较远距离。当初始定位位置距实际位置较远时，意味着迭代次数增多，相应地，计算效率减低。

发明内容

为了克服初始定位点距离人脸特征点的实际位置较远时，迭代次数增多和计算效率减低的问题，本公开提供了一种人脸特征点的定位方法和装置。所述技术方案如下：

根据本公开实施例的第一方面，提供一种人脸特征点的定位方法，包括：

检测视频序列中当前帧图像中的人脸图像；

根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定所述当前帧图像的人脸特征点的初始定位位置；

根据所述人脸图像在所述初始定位位置的图像特征值，对所述当前帧图像的人脸特征点进行定位，得到所述当前帧图像的人脸特征点的最终定位位置。

在第一种可能的实现方式中，所述根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定所述当前帧图像的人脸特征点的初始定位位置，包括：

计算所述上一帧图像中的人脸图像与所述当前帧图像中的人脸图像的线性变换关系；

按照所述线性变换关系，对所述上一帧帧图像的人脸特征点的最终定位位置进行线性变换，并将线性变换后的最终定位位置作为所述当前帧图像的人脸特征点的初始定位位置。

在第二种可能的实现方式中，所述线性变换关系为缩放变换关系。

在第三种可能的实现方式中，所述按照所述线性变换关系，对所述上一帧帧图像的人脸特征点的最终定位位置进行线性变换，并将线性变换后的最终定位位置作为所述当前帧图像的人脸特征点的初始定位位置，包括：

按照以下公式确定所述当前帧图像的人脸特征点的初始定位位置：

$x_i^{*}=x_{\mathrm{cur}}+\frac{w_{\mathrm{cur}}*(x_i-x_{\mathrm{pre}})}{w_{\mathrm{pre}}}$

$y_i^{*}=y_{\mathrm{cur}}+\frac{h_{\mathrm{cur}}*(y_i-y_{\mathrm{pre}})}{h_{\mathrm{pre}}}$

其中，x_i ^*和y_i ^*分别为所述当前帧图像的人脸特征点的初始定位位置中第i个定位点在X方向和Y方向的坐标，i＝{1、2、...、n}，x_cur和_ycur分别为从所述当前帧图像中检测出的人脸图像左上角第一个像素点在X方向和Y方向的坐标，w_cur和h_cur分别为从所述当前帧图像中检测出的人脸图像的宽度和高度；x_pre和y_pre分别为从所述上一帧图像中检测出的人脸图像左上角第一个像素点在X方向和Y方向的坐标，w_pre和h_pre分别为从所述上一帧图像中检测出的人脸图像的宽度和高度；x_i和y_i分别为所述上一帧图像的人脸特征点的最终定位位置中第i个定位点在X方向和Y方向的坐标。

在第四种可能的实现方式中，所述根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定所述当前帧图像的人脸特征点的初始定位位置，包括：

计算所述当前帧图像中的人脸图像相对于所述上一帧图像中的人脸图像的偏移量；

将所述上一帧图像的人脸特征点的最终定位位置加上计算出的偏移量，得到所述当前帧图像的人脸特征点的初始定位位置。

在第五种可能的实现方式中，所述根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定所述当前帧图像的人脸特征点的初始定位位置，包括：

将所述上一帧图像的人脸特征点的最终定位位置，作为所述当前帧图像的人脸特征点的初始定位位置。

根据本公开实施例的第二方面，提供一种人脸特征点的定位装置，包括：

检测模块，用于检测视频序列中当前帧图像中的人脸图像；

确定模块，用于根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定所述当前帧图像的人脸特征点的初始定位位置；

定位模块，用于根据所述人脸图像在所述初始定位位置的图像特征值，对所述当前帧图像的人脸特征点进行定位，得到所述当前帧图像的人脸特征点的最终定位位置。

在第一种可能的实现方式中，所述确定模块包括：

第一计算单元，用于计算所述上一帧图像中的人脸图像与所述当前帧图像中的人脸图像的线性变换关系；

变换单元，用于按照所述线性变换关系，对所述上一帧帧图像的人脸特征点的最终定位位置进行线性变换，并将线性变换后的最终定位位置作为所述当前帧图像的人脸特征点的初始定位位置。

在第二种可能的实现方式中，所述第一计算单元计算出的线性变换关系为缩放变换关系。

在第三种可能的实现方式中，所述变换单元按照以下公式确定所述当前帧图像的人脸特征点的初始定位位置：

$x_i^{*}=x_{\mathrm{cur}}+\frac{w_{\mathrm{cur}}*(x_i-x_{\mathrm{pre}})}{w_{\mathrm{pre}}}$

$y_i^{*}=y_{\mathrm{cur}}+\frac{h_{\mathrm{cur}}*(y_i-y_{\mathrm{pre}})}{h_{\mathrm{pre}}}$

其中，x_i ^*和y_i ^*分别为所述当前帧图像的人脸特征点的初始定位位置中第i个定位点在X方向和Y方向的坐标，i＝{1、2、...、n}，x_cur和_ycur分别为从所述当前帧图像中检测出的人脸图像左上角第一个像素点在X方向和Y方向的坐标，w_cur和h_cur分别为从所述当前帧图像中检测出的人脸图像的宽度和高度；x_pre和y_pre分别为从所述上一帧图像中检测出的人脸图像左上角第一个像素点在X方向和Y方向的坐标，w_pre和h_pre分别为从所述上一帧图像中检测出的人脸图像的宽度和高度；x_i和y_i分别为所述上一帧图像的人脸特征点的最终定位位置中第i个定位点在X方向和Y方向的坐标。

在第四种可能的实现方式中，所述确定模块包括：

第二计算单元，用于计算所述当前帧图像中的人脸图像相对于所述上一帧图像中的人脸图像的偏移量；

加单元，用于将所述上一帧图像的人脸特征点的最终定位位置加上计算出的偏移量，得到所述当前帧图像的人脸特征点的初始定位位置。

在第五种可能的实现方式中，所述确定模块用于，

将所述上一帧图像的人脸特征点的最终定位位置，作为所述当前帧图像的人脸特征点的初始定位位置。

根据本公开实施例的第三方面，提供一种人脸特征点的定位装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

检测视频序列中当前帧图像中的人脸图像；

根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定所述当前帧图像的人脸特征点的初始定位位置；

根据所述人脸图像在所述初始定位位置的图像特征值，对所述当前帧图像的人脸特征点进行定位，得到所述当前帧图像的人脸特征点的最终定位位置。

本公开的实施例提供的技术方案可以包括以下有益效果：通过检测视频序列中当前帧图像中的人脸图像；根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定当前帧图像的人脸特征点的初始定位位置；由于视频序列中相邻两帧图像之间具有一定的连续性，因此，根据上一帧图像的人脸特征点的最终定位位置，确定出的当前帧图像的人脸特征点的初始定位位置能够靠近当前帧图像的人脸特征点的实际位置，从而减少了定位计算过程中的迭代次数，提高了特征点定位的效率。并且，视频序列包括多帧图像，当每帧图像的人脸特征点的定位的效率提高之后，使得整个视频序列的人脸特征点的定位可以高效和准确的执行。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种人脸特征点的定位方法的流程图；

图2是根据一示例性实施例示出的一种人脸特征点的定位方法的流程图；

图3是根据一示例性实施例示出的预设训练集中每个人脸脸部特征点的平均位置的示意图；

图4是根据一示例性实施例示出的最终定位出的第一帧图像的人脸特征点的位置的示意图；

图5是根据一示例性实施例示出的一种人脸特征点的定位方法的示意图；

图6是根据一示例性实施例示出的一种人脸特征点的定位装置的示意图；

图7是根据一示例性实施例示出的一种人脸特征点的定位装置的示意图；

图8是根据一示例性实施例示出的一种人脸特征点的定位装置的示意图；

图9和图10是根据一示例性实施例示出的一种人脸特征点的定位装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的设备和方法的例子。

为便于对本公开提供的技术方案的理解，首先对人脸特征点进行介绍。人脸特征点包括眉、眼、鼻、嘴巴、以及人脸的外轮廓的图像上的关键像素点。这些关键像素点能够确定出人脸五官的位置。例如，眼的关键像素点有6个，两个分别在眼角，两个在上眼皮，两个在下眼皮。将这6个关键像素点的坐标连起来，就能确定出眼的位置。人脸特征点的定位包括，确定出眉、眼、鼻、嘴巴、以及人脸的外轮廓的图像上的关键像素点。在本实施例中，将确定出的关键像素点称为定位点。

图1是根据一示例性实施例示出的一种人脸特征点的定位方法的流程图，如图1所示，包括以下步骤：

在步骤101中，检测视频序列中当前帧图像中的人脸图像。

其中，当前帧图像是除视频序列中第一帧图像外的图像。

实现时，可以采用Mean shift的人脸追踪方法检测当前帧图像中的人脸图像。

在步骤102中，根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定当前帧图像的人脸特征点的初始定位位置。

其中，定位位置包括所有定位点的坐标。

作为可选的第一实施方式，可以将上一帧图像的人脸特征点的最终定位位置，作为当前帧图像的人脸特征点的初始定位位置。当相邻两帧图像之间的线性变换特别小时，相邻两帧图像的人脸特征点的位置变化也特别小，将上一帧图像的人脸特征点的最终定位位置，作为当前帧图像的人脸特征点的初始定位位置，能够使该初始定位位置贴近当前帧图像的人脸特征点的实际位置，减少迭代次数。

作为可选的第二实施方式，可以计算上一帧帧图像中的人脸图像与当前帧图像中的人脸图像的线性变换关系；按照该线性变换关系，对上一帧图像的人脸特征点的最终定位位置进行线性变换，并将线性变换后的最终定位位置作为当前帧图像的人脸特征点的初始定位位置(参见图2示出的实施例)。

作为可选的第三实施方式，可以计算当前帧图像中的人脸图像相对于上一帧图像中的人脸图像的偏移量；将上一帧图像的人脸特征点的最终定位位置加上计算出的偏移量，得到当前帧图像的人脸特征点的初始定位位置(参见图5示出的实施例)。

在步骤103中，根据人脸图像在初始定位位置的图像特征值，对当前帧图像的人脸特征点进行定位，以得到当前帧图像的人脸特征点的最终定位位置。

按照步骤101-步骤103的方法，遍历视频序列的每一帧图像，从而实现了对视频序列中的人脸进行动态追踪。

本实施例通过检测视频序列中当前帧图像中的人脸图像；根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定当前帧图像的人脸特征点的初始定位位置；由于视频序列中相邻两帧图像之间具有一定的连续性，因此，根据上一帧图像的人脸特征点的最终定位位置，确定出的当前帧图像的人脸特征点的初始定位位置能够靠近当前帧图像的人脸特征点的实际位置，从而减少了定位计算过程中的迭代次数，提高了特征点定位的效率。并且，视频序列包括多帧图像，当每帧图像的人脸特征点的定位的效率提高之后，使得整个视频序列的人脸特征点的定位可以高效和准确的执行。

图2是根据一示例性实施例示出的一种人脸特征点的定位方法的流程图，如图2所示，包括以下步骤：

在步骤201中，检测视频序列中第一帧图像中的人脸图像，得到人脸图像的检测结果。

其中，视频序列可以是包含人脸图像的视频序列。

相关技术提供了多种人脸检测方式。在本实施例中可以采用任一种相关技术提供的人脸检测方式，检测第一帧图像中的人脸图像。作为可选的实施方式，可以采用Mean shift的人脸追踪方法检测第一帧图像中的人脸图像。

其中，人脸图像的检测结果包括人脸图像在第一帧图像中的位置、人脸图像的高度和宽度。

检测到的人脸图像如图3或图4中白色框框出的图像所示。根据检测到的人脸图像，可以得到人脸图像在第一帧图像中的位置、人脸图像的高度和宽度。

在步骤202中，在检测到的人脸图像中，将预设训练集中每个人脸脸部特征点的平均位置作为人脸特征点的初始定位位置。

预设训练集中人脸脸部特征点的平均位置是根据每个定位点在所有样本图像中的坐标均值。图3示出了预设训练集中每个人脸脸部特征点的平均位置(白点示出)。从图3可以看出，将每个人脸特征的定位点的坐标进行连线，可以确定出人脸特征的平均位置。例如，眉的平均位置为10、眼的平均位置为20、鼻的平均位置为30、嘴的平均位置为40、人脸外轮廓的平均位置为50。以眉的平均位置10为例，眉的平均位置10包括5个定位点的坐标，每个定位点对应一个关键像素点，这5个定位点的坐标能够确定出眉的位置。从图3可以看出，预设训练集中每个人脸脸部特征点的平均位置相对于第一帧图像中人脸图像(白色框框出的)的特征点的实际位置，是具有较大误差的。

在步骤203中，根据人脸图像在初始定位位置的图像特征值，对第一帧图像的人脸特征点进行定位，得到第一帧图像的人脸特征点的最终定位位置。

步骤203可以包括：首先，提取人脸图像在初始定位位置的图像特征值。这里的提取方式有很多，包括梯度直方图(HOG)、和尺度不变特征变换(SIFT)等方法。其次，根据提取的图像特征值、以及离线训练得到的点偏移与图像特征值之间的函数变换关系，求得特征点的偏移值。最后，将该偏移值加到初始定位位置上得到更新的初始定位位置，并继续下一轮的迭代，最终得到人脸特征点的位置。

图4示出了最终定位出的第一帧图像的人脸特征点的位置。从图4可以看出，眉的最终定位位置为10’、眼的最终定位位置为20’、鼻的最终定位位置为30’、嘴的最终定位位置为40’、人脸外轮廓的最终定位位置为50’。经过不断迭代，最终定位位置非常贴近人脸特征点的实际位置。

在步骤204中，分别记录第一帧图像中人脸图像的检测结果和人脸特征点的最终定位位置。

记录第一帧图像中人脸图像的检测结果，可以在步骤201之后执行。

假设记录的第一帧图像中人脸图像的检测结果是[x_pre,y_pre,w_pre,h_pre]，x_pre和y_pre分别为检测出的人脸图像左上角第一个像素点在X方向和Y方向的坐标，w_pre为检测出的人脸图像的宽度，h_pre为检测出的人脸图像的高度。第一帧图像的人脸特征点的最终定位位置为[x₁,y₁,…,x_n,y_n]，最终定位位置包括多个定位点的坐标。x₁和y₁分别为第一帧图像的人脸特征点的最终定位位置中第i个定位点在X方向和Y方向的坐标，x_n和y_n分别为第一帧图像的人脸特征点的最终定位位置中第n个定位点在X方向和Y方向的坐标。

在步骤205中，检测视频序列中第二帧图像中的人脸图像，得到人脸图像的检测结果。

检测方式同步骤201，在此不再赘述。

假设得到的人脸图像的检测结果是[x_cur,y_cur,w_cur,h_cur]。

在步骤206中，计算第一帧图像中的人脸图像与第二帧图像中的人脸图像的线性变换关系。

其中，该线性变换关系可以用线性变换矩阵表示。在本实施例中，线性变换可以是缩放变换。

作为可选的第一实施方式，该线性变换关系的计算方式包括，首先，分别在第一帧图像中的人脸图像和在第二帧图像中的人脸图像上撒点。撒的每个点包括一个像素点的坐标。其次，通过点匹配的方法(例如，可以基于点的邻域窗口的灰度信息进行匹配)，在第一帧图像和第二帧图像上撒的点中，查找第一帧图像和第二帧图像中的相同点。第一帧图像和第二帧图像中的相同点在第二帧图像中的坐标是第一帧图像中的相同点对应的像素点线性变换后的坐标。然后，根据查找出的第一帧图像与第二帧图像相同的点，计算第一帧图像中的人脸图像与第二帧图像中的人脸图像的线性变换关系。

作为可选的第二实施方式，该线性变换关系的计算方式包括，计算第一帧图像中的人脸图像与第二帧图像中的人脸图像的缩放变换关系，并将计算出的缩放变换关系作为第一帧图像中的人脸图像与第二帧图像中的人脸图像的线性变换关系。

在步骤207中，按照该线性变换关系，对第一帧图像的人脸特征点的最终定位位置进行线性变换，并将线性变换后的最终定位位置作为第二帧图像的人脸特征点的初始定位位置。

其中，当将计算出的缩放变换关系作为第一帧图像中的人脸图像与第二帧图像中的人脸图像的线性变换关系时，第二帧图像的人脸特征点的初始定位位置如下。

$x_i^{*}=x_{\mathrm{cur}}+\frac{w_{\mathrm{cur}}*(x_i-x_{\mathrm{pre}})}{w_{\mathrm{pre}}}$

$y_i^{*}=y_{\mathrm{cur}}+\frac{h_{\mathrm{cur}}*(y_i-y_{\mathrm{pre}})}{h_{\mathrm{pre}}}$

其中，x_i ^*和y_i ^*分别为第二帧图像的人脸特征点的初始定位位置中第i个定位点在X方向和Y方向的坐标，i＝{1、2、...、n}，x_cur和_ycur分别为从第二帧图像中检测出的人脸图像左上角第一个像素点在X方向和Y方向的坐标，w_cur和h_cur分别为从第二帧图像中检测出的人脸图像的宽度和高度；x_pre和_ypre分别为从第一帧图像中检测出的人脸图像左上角第一个像素点在X方向和Y方向的坐标，w_pre和h_pre分别为从第一帧图像中检测出的人脸图像的宽度和高度；x_i和y_i分别为第一帧图像的人脸特征点的最终定位位置中第i个定位点在X方向和Y方向的坐标。

通过步骤206-步骤207实现了，根据第一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定第二帧图像的人脸特征点的初始定位位置。

在步骤208中，根据人脸图像在初始定位位置的图像特征值，对第二帧图像的人脸特征点进行定位，得到第二帧图像的人脸特征点的最终定位位置。

定位方式同步骤203，在此不再赘述。

在步骤209中，分别记录第二帧图像中人脸图像的检测结果和人脸特征点的最终定位位置。

在得到第二帧图像的人脸特征点的最终定位位置之后，计算第二帧图像中的人脸图像与第三帧图像中的人脸图像的线性变换关系，按照该线性变换关系，对第二帧图像的人脸特征点的最终定位位置进行线性变换，并将线性变换后的定位位置作为第三帧图像的人脸特征点的初始定位位置。并根据人脸图像在初始定位位置的图像特征值，对人脸特征点进行定位，以得到第三帧图像的人脸特征点的最终定位位置。依次类推，遍历视频序列中的第四帧及后续帧图像，从而实现了对视频序列中的人脸进行动态追踪。

本实施例通过检测视频序列中当前帧图像中的人脸图像；根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定当前帧图像的人脸特征点的初始定位位置；由于视频序列中相邻两帧图像之间具有一定的连续性，因此，根据上一帧图像的人脸特征点的最终定位位置，确定出的当前帧图像的人脸特征点的初始定位位置能够靠近当前帧图像的人脸特征点的实际位置，从而减少了定位计算过程中的迭代次数，提高了特征点定位的效率。并且，视频序列包括多帧图像，当每帧图像的人脸特征点的定位的效率提高之后，使得整个视频序列的人脸特征点的定位可以高效和准确的执行。

此外，由于当前帧图像的人脸特征点可以由上一帧图像的人脸特征点线性变换得到；因此，将上一帧图像的人脸特征点的最终定位位置，按照上一帧图像中的人脸图像与当前帧图像中的人脸图像的线性变换关系进行线性变换后得到的定位位置，将非常贴近当前帧图像的人脸特征点的实际位置，这样将大幅度减少定位计算过程中的迭代次数并提高特征点定位的效率。

图5是根据一示例性实施例示出的一种人脸特征点的定位方法的流程图，如图5所示，包括以下步骤：

在步骤301中，检测视频序列中第一帧图像中的人脸图像，得到人脸图像的检测结果。

步骤301同步骤201，在此不再赘述。

在步骤302中，在检测到的人脸图像中，将预设训练集中每个人脸脸部特征点的平均位置作为人脸特征点的初始定位位置。

步骤302同步骤202，在此不再赘述。

在步骤303中，根据人脸图像在初始定位位置的图像特征值，对第一帧图像的人脸特征点进行定位，得到第一帧图像的人脸特征点的最终定位位置。

步骤303同步骤203，在此不再赘述。

在步骤304中，分别记录第一帧图像中人脸图像的检测结果和人脸特征点的最终定位位置。

步骤304同步骤204，在此不再赘述。

在步骤305中，检测视频序列中第二帧图像中的人脸图像，得到人脸图像的检测结果。

检测方式同步骤301，在此不再赘述。

在步骤306中，计算第二帧图像中的人脸图像相对于第一帧图像中的人脸图像的偏移量。

其中，该偏移量包括人脸图像的像素点分别在X方向和Y方向的偏移量。

作为可选的实施方式，可以采用基于光流的帧间偏移计算方法，计算第二帧图像中的人脸图像相对于第一帧图像中的人脸图像的偏移量。

在步骤307中，将第一帧图像的人脸特征点的最终定位位置加上计算出的偏移量，得到第二帧图像的人脸特征点的初始定位位置。

通过步骤306-步骤307实现了，根据第一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定第二帧图像的人脸特征点的初始定位位置。

在步骤308中，根据人脸图像在初始定位位置的图像特征值，对第二帧图像的人脸特征点进行定位，得到第二帧图像的人脸特征点的最终定位位置。

定位方式同步骤303，在此不再赘述。

在步骤309中，分别记录第二帧图像中人脸图像的检测结果和人脸特征点的最终定位位置。

在得到第二帧图像的人脸特征点的最终定位位置之后，计算第三帧图像中的人脸图像相对于第二帧图像中的人脸图像的偏移量，将第二帧图像的人脸特征点的最终定位位置加上计算出的偏移量，得到第三帧图像的人脸特征点初始定位位置。并根据人脸图像在初始定位位置的图像特征值，对人脸特征点进行定位，以得到第三帧图像的人脸特征点的最终定位位置。依次类推，遍历视频序列中的第四帧及后续帧图像，从而实现了对视频序列中的人脸进行动态追踪。

本实施例通过检测视频序列中当前帧图像中的人脸图像；根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定当前帧图像的人脸特征点的初始定位位置；由于视频序列中相邻两帧图像之间具有一定的连续性，因此，根据上一帧图像的人脸特征点的最终定位位置，确定出的当前帧图像的人脸特征点的初始定位位置能够靠近当前帧图像的人脸特征点的实际位置，从而减少了定位计算过程中的迭代次数，提高了特征点定位的效率。并且，视频序列包括多帧图像，当每帧图像的人脸特征点的定位的效率提高之后，使得整个视频序列的人脸特征点的定位可以高效和准确的执行。

此外，由于当前帧图像的人脸图像可以由上一帧图像的人脸图像分别在X方向和Y方向偏移一定距离得到；因此，将上一帧图像的人脸特征点的最终定位位置加上计算出的偏移量，得到的当前帧图像的人脸特征点的初始定位位置，将非常贴近当前帧图像的人脸特征点的实际位置，这样将大幅度减少定位计算过程中的迭代次数并提高特征点定位的效率。

图6是根据一示例性实施例示出的一种人脸特征点的定位装置的示意图。如图6所示，该装置包括检测模块401、确定模块402和定位模块403。

该检测模块401被配置为，用于检测视频序列中当前帧图像中的人脸图像。

该确定模块402被配置为，用于根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定当前帧图像的人脸特征点的初始定位位置。

在本实施例的一种实现方式中，确定模块402被配置为，用于将上一帧图像的人脸特征点的最终定位位置，作为当前帧图像的人脸特征点的初始定位位置。

该定位模块403被配置为，用于根据人脸图像在初始定位位置的图像特征值，对当前帧图像的人脸特征点进行定位，得到当前帧图像的人脸特征点的最终定位位置。

本实施例通过检测视频序列中当前帧图像中的人脸图像；根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定当前帧图像的人脸特征点的初始定位位置；由于视频序列中相邻两帧图像之间具有一定的连续性，因此，根据上一帧图像的人脸特征点的最终定位位置，确定出的当前帧图像的人脸特征点的初始定位位置能够靠近当前帧图像的人脸特征点的实际位置，从而减少了定位计算过程中的迭代次数，提高了特征点定位的效率。并且，视频序列包括多帧图像，当每帧图像的人脸特征点的定位的效率提高之后，使得整个视频序列的人脸特征点的定位可以高效和准确的执行。

图7是根据一示例性实施例示出的一种人脸特征点的定位装置的示意图。如图7所示，该装置包括检测模块501、确定模块502和定位模块503。

该检测模块501被配置为，用于检测视频序列中当前帧图像中的人脸图像。

该确定模块502被配置为，用于根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定当前帧图像的人脸特征点的初始定位位置。

在本实施例的一种实现方式中，该确定模块502包括第一计算单元5021和变换单元5022。

该第一计算单元5021被配置为，用于计算上一帧图像中的人脸图像与当前帧图像中的人脸图像的线性变换关系。

该变换单元5022被配置为，用于按照该线性变换关系，对上一帧帧图像的人脸特征点的最终定位位置进行线性变换，并将线性变换后的最终定位位置作为当前帧图像的人脸特征点的初始定位位置。

在本实施例的又一种实现方式中，该第一计算单元5021计算出的线性变换关系为缩放变换关系。

在本实施例的又一种实现方式中，变换单元5022按照以下公式确定当前帧图像的人脸特征点的初始定位位置：

$x_i^{*}=x_{\mathrm{cur}}+\frac{w_{\mathrm{cur}}*(x_i-x_{\mathrm{pre}})}{w_{\mathrm{pre}}}$

$y_i^{*}=y_{\mathrm{cur}}+\frac{h_{\mathrm{cur}}*(y_i-y_{\mathrm{pre}})}{h_{\mathrm{pre}}}$

其中，x_i ^*和y_i ^*分别为当前帧图像的人脸特征点的初始定位位置中第i个定位点在X方向和Y方向的坐标，i＝{1、2、...、n}，x_cur和_ycur分别为从当前帧图像中检测出的人脸图像左上角第一个像素点在X方向和Y方向的坐标，w_cur和h_cur分别为从当前帧图像中检测出的人脸图像的宽度和高度；x_pre和y_pre分别为从上一帧图像中检测出的人脸图像左上角第一个像素点在X方向和Y方向的坐标，w_pre和h_pre分别为从上一帧图像中检测出的人脸图像的宽度和高度；x_i和y_i分别为上一帧图像的人脸特征点的最终定位位置中第i个定位点在X方向和Y方向的坐标。

该定位模块503被配置为，用于根据人脸图像在初始定位位置的图像特征值，对当前帧图像的人脸特征点进行定位，得到当前帧图像的人脸特征点的最终定位位置。

本实施例通过检测视频序列中当前帧图像中的人脸图像；根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定当前帧图像的人脸特征点的初始定位位置；由于视频序列中相邻两帧图像之间具有一定的连续性，因此，根据上一帧图像的人脸特征点的最终定位位置，确定出的当前帧图像的人脸特征点的初始定位位置能够靠近当前帧图像的人脸特征点的实际位置，从而减少了定位计算过程中的迭代次数，提高了特征点定位的效率。并且，视频序列包括多帧图像，当每帧图像的人脸特征点的定位的效率提高之后，使得整个视频序列的人脸特征点的定位可以高效和准确的执行。

图8是根据一示例性实施例示出的一种人脸特征点的定位装置的示意图。如图8所示，该装置包括检测模块601、确定模块602和定位模块603。

该检测模块601被配置为，用于检测视频序列中当前帧图像中的人脸图像。

该确定模块602被配置为，用于根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定当前帧图像的人脸特征点的初始定位位置。

在本实施例的一种实现方式中，确定模块602包括第二计算单元6021和加单元6022。

该第二计算单元6021被配置为，用于计算当前帧图像中的人脸图像相对于上一帧图像中的人脸图像的偏移量。

该加单元6022被配置为，用于将上一帧图像的人脸特征点的最终定位位置加上计算出的偏移量，得到当前帧图像的人脸特征点的初始定位位置。

该定位模块603被配置为，用于根据人脸图像在初始定位位置的图像特征值，对当前帧图像的人脸特征点进行定位，得到当前帧图像的人脸特征点的最终定位位置。

本实施例通过检测视频序列中当前帧图像中的人脸图像；根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定当前帧图像的人脸特征点的初始定位位置；由于视频序列中相邻两帧图像之间具有一定的连续性，因此，根据上一帧图像的人脸特征点的最终定位位置，确定出的当前帧图像的人脸特征点的初始定位位置能够靠近当前帧图像的人脸特征点的实际位置，从而减少了定位计算过程中的迭代次数，提高了特征点定位的效率。并且，视频序列包括多帧图像，当每帧图像的人脸特征点的定位的效率提高之后，使得整个视频序列的人脸特征点的定位可以高效和准确的执行。

图9是根据一示例性实施例示出的一种用于人脸特征点的定位装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图9，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种人脸特征点的定位方法，所述方法包括：

检测视频序列中当前帧图像中的人脸图像；

根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定所述当前帧图像的人脸特征点的初始定位位置；

根据所述人脸图像在所述初始定位位置的图像特征值，对所述当前帧图像的人脸特征点进行定位，得到所述当前帧图像的人脸特征点的最终定位位置。

图10是根据一示例性实施例示出的一种人脸特征点的定位的装置1900的框图。例如，装置1900可以被提供为一服务器。参照图10，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理部件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。

装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (13)

1.一种人脸特征点的定位方法，其特征在于，所述方法包括：

检测视频序列中当前帧图像中的人脸图像；

根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定所述当前帧图像的人脸特征点的初始定位位置；

根据所述人脸图像在所述初始定位位置的图像特征值，对所述当前帧图像的人脸特征点进行定位，得到所述当前帧图像的人脸特征点的最终定位位置。

2.根据权利要求1所述的方法，其特征在于，所述根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定所述当前帧图像的人脸特征点的初始定位位置，包括：

计算所述上一帧图像中的人脸图像与所述当前帧图像中的人脸图像的线性变换关系；

按照所述线性变换关系，对所述上一帧帧图像的人脸特征点的最终定位位置进行线性变换，并将线性变换后的最终定位位置作为所述当前帧图像的人脸特征点的初始定位位置。

3.根据权利要求2所述的方法，其特征在于，所述线性变换关系为缩放变换关系。

4.根据权利要求3所述的方法，其特征在于，所述按照所述线性变换关系，对所述上一帧帧图像的人脸特征点的最终定位位置进行线性变换，并将线性变换后的最终定位位置作为所述当前帧图像的人脸特征点的初始定位位置，包括：

按照以下公式确定所述当前帧图像的人脸特征点的初始定位位置：

$x_i^{*}=x_{\mathrm{cur}}+\frac{w_{\mathrm{cur}}*(x_i-x_{\mathrm{pre}})}{w_{\mathrm{pre}}}$

$y_i^{*}=y_{\mathrm{cur}}+\frac{h_{\mathrm{cur}}*(y_i-y_{\mathrm{pre}})}{h_{\mathrm{pre}}}$

其中，xi^*和y_i ^*分别为所述当前帧图像的人脸特征点的初始定位位置中第i个定位点在X方向和Y方向的坐标，i＝{1、2、...、n}，x_cur和y_cur分别为从所述当前帧图像中检测出的人脸图像左上角第一个像素点在X方向和Y方向的坐标，w_cur和h_cur分别为从所述当前帧图像中检测出的人脸图像的宽度和高度；x_pre和y_pre分别为从所述上一帧图像中检测出的人脸图像左上角第一个像素点在X方向和Y方向的坐标，w_pre和h_pre分别为从所述上一帧图像中检测出的人脸图像的宽度和高度；x_i和y_i分别为所述上一帧图像的人脸特征点的最终定位位置中第i个定位点在X方向和Y方向的坐标。

5.根据权利要求1所述的方法，其特征在于，所述根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定所述当前帧图像的人脸特征点的初始定位位置，包括：

计算所述当前帧图像中的人脸图像相对于所述上一帧图像中的人脸图像的偏移量；

将所述上一帧图像的人脸特征点的最终定位位置加上计算出的偏移量，得到所述当前帧图像的人脸特征点的初始定位位置。

6.根据权利要求1所述的方法，其特征在于，所述根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定所述当前帧图像的人脸特征点的初始定位位置，包括：

将所述上一帧图像的人脸特征点的最终定位位置，作为所述当前帧图像的人脸特征点的初始定位位置。

7.一种人脸特征点的定位装置，其特征在于，所述装置包括：

检测模块，用于检测视频序列中当前帧图像中的人脸图像；

确定模块，用于根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定所述当前帧图像的人脸特征点的初始定位位置；

定位模块，用于根据所述人脸图像在所述初始定位位置的图像特征值，对所述当前帧图像的人脸特征点进行定位，得到所述当前帧图像的人脸特征点的最终定位位置。

8.根据权利要求7所述的装置，其特征在于，所述确定模块包括：

第一计算单元，用于计算所述上一帧图像中的人脸图像与所述当前帧图像中的人脸图像的线性变换关系；

变换单元，用于按照所述线性变换关系，对所述上一帧帧图像的人脸特征点的最终定位位置进行线性变换，并将线性变换后的最终定位位置作为所述当前帧图像的人脸特征点的初始定位位置。

9.根据权利要求8所述的装置，其特征在于，所述第一计算单元计算出的线性变换关系为缩放变换关系。

10.根据权利要求9所述的装置，其特征在于，所述变换单元按照以下公式确定所述当前帧图像的人脸特征点的初始定位位置：

$x_i^{*}=x_{\mathrm{cur}}+\frac{w_{\mathrm{cur}}*(x_i-x_{\mathrm{pre}})}{w_{\mathrm{pre}}}$

$y_i^{*}=y_{\mathrm{cur}}+\frac{h_{\mathrm{cur}}*(y_i-y_{\mathrm{pre}})}{h_{\mathrm{pre}}}$

其中，x_i ^*和y_i ^*分别为所述当前帧图像的人脸特征点的初始定位位置中第i个定位点在X方向和Y方向的坐标，i＝{1、2、...、n}，x_cur和_ycur分别为从所述当前帧图像中检测出的人脸图像左上角第一个像素点在X方向和Y方向的坐标，w_cur和h_cur分别为从所述当前帧图像中检测出的人脸图像的宽度和高度；x_pre和y_pre分别为从所述上一帧图像中检测出的人脸图像左上角第一个像素点在X方向和Y方向的坐标，w_pre和h_pre分别为从所述上一帧图像中检测出的人脸图像的宽度和高度；x_i和y_i分别为所述上一帧图像的人脸特征点的最终定位位置中第i个定位点在X方向和Y方向的坐标。

11.根据权利要求7所述的装置，其特征在于，所述确定模块包括：

第二计算单元，用于计算所述当前帧图像中的人脸图像相对于所述上一帧图像中的人脸图像的偏移量；

加单元，用于将所述上一帧图像的人脸特征点的最终定位位置加上计算出的偏移量，得到所述当前帧图像的人脸特征点的初始定位位置。

12.根据权利要求7所述的装置，其特征在于，所述确定模块用于，

将所述上一帧图像的人脸特征点的最终定位位置，作为所述当前帧图像的人脸特征点的初始定位位置。

13.一种人脸特征点的定位装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

检测视频序列中当前帧图像中的人脸图像；

根据上一帧图像的人脸特征点的最终定位位置，在检测到的人脸图像中，确定所述当前帧图像的人脸特征点的初始定位位置；

根据所述人脸图像在所述初始定位位置的图像特征值，对所述当前帧图像的人脸特征点进行定位，得到所述当前帧图像的人脸特征点的最终定位位置。