CN105205482A - 快速人脸特征识别及姿态估算方法 - Google Patents

Abstract

本发明提出了一种快速人脸特征识别及姿态估算方法，包括:利用单目摄像头拍摄视频，获取视频帧；利用特征分类器判断视频帧中是否存在头像区域图片；对头像区域图片进行人脸识别；在识别出的人脸形状图片上设置多个标注点，获取标注点附近区域图像特征，利用形状生成器对识别出的人脸形状进行更新；利用预设的标准压缩人脸图形对压缩人脸标注图形进行匹配，得到当前人脸识别的精度；判断当前人脸识别的精度是否达到预设的人脸识别最低精度，如果是则显示输出当前人脸识别的各个标注点。本发明可以提供稳定，准确，快速的人脸识别功能，并且各平台通用，适用范围广。

Description

快速人脸特征识别及姿态估算方法

技术领域

本发明涉及人脸识别技术领域，特别涉及一种快速人脸特征识别及姿态估算方法。

背景技术

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。采用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术，通常也叫做人像识别、面部识别。通过人脸识别找出人五官标注信息，进行面部判断，在人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等有广泛应用

但是同个体之间的区别不大，所有的人脸的结构都相似，甚至人脸器官的结构外形都很相似。这样的特点对于利用人脸进行定位是有利的，但是对于利用人脸区分人类个体是不利的。

由于人脸的外形很不稳定，人可以通过脸部的变化产生很多表情，而在不同观察角度，人脸的视觉图像也相差很大。另外，人脸识别还受光照条件(例如白天和夜晚，室内和室外等)、人脸的很多遮盖物(例如口罩、墨镜、头发、胡须等)、年龄、拍摄的姿态角度等多方面因素的影响。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种快速人脸特征识别及姿态估算方法，可以提供稳定，准确，快速的人脸识别功能，并且各平台通用，适用范围广。

为了实现上述目的，本发明的实施例提供一种快速人脸特征识别及姿态估算方法，包括如下步骤：

步骤S1，利用单目摄像头拍摄视频，获取所述单目摄像头采集的视频帧；

步骤S2，对所述视频帧进行图像特征分析，利用特征分类器判断所述视频帧中是否存在头像区域图片，如果有，则执行步骤S3；

步骤S3，对所述头像区域图片进行人脸识别，获取人脸形状图片；

步骤S4，在识别出的人脸形状图片上设置多个标注点，获取所述标注点附近区域图像特征，利用形状生成器对识别出的人脸形状进行更新，计算当前标记点的匹配度，并与上次计算到的匹配度进行差值比对，重复本步骤直至本次当前标记点的匹配度与上次计算到的匹配度的差值小于预设阈值，返回当前人脸标注点信息；

步骤S5，根据所述当前人脸标注点信息和当前帧图像获取压缩人脸标注图形，利用预设的标准压缩人脸图形对所述压缩人脸标注图形进行匹配，得到当前人脸识别的精度；

步骤S6，判断所述当前人脸识别的精度是否达到预设的人脸识别最低精度，如果是，则显示输出当前人脸识别的各个标注点，否则判断识别失败。

进一步，在所述步骤S1中，在所述单目摄像头拍摄视频之前，对所述单目摄像头进行初始化，设定所述单目摄像头的分辨率。

进一步，在所述步骤S2中，对所述视频帧进行图像特征分析，包括如下步骤：

对所述视频帧进行平滑去噪处理，提取处理后的所述视频帧的图像特征；

利用所述特征分类器对所述图像特征进行分类筛选，根据筛选结果判断所述视频帧中是否存在头像区域图片，如果存在，则执行步骤S3，否则丢弃该视频帧。

进一步，还包括如下步骤：在所述特征分类器对所述图像特征进行分类筛选之前，获取图片源样本数据，利用所述图片源样本数据对多个备选的特征分类器进行训练，以选出步骤S2中使用的特征分类器；

在利用形状生成器对识别出的人脸形状进行更新之前，获取图片源样本数据，利用所述图片源样本数据对多个备选的形状生成器进行训练，以选出步骤S4中使用的形状生成器。

进一步，所述利用图片源样本数据对多个备选的特征分类器进行训练，包括如下步骤：

从所述图片源样本数据中判断是否包括面部区域的图片；

对筛选出的包括面部区域的图片中，由人工手动标注出面部区域位置，生成面部区域特征；

根据所述面部区域特征训练多个备选的特征分类器，获取每个特征分类器的识别率；

选取识别率最高的特征分类器作为步骤S2中的特征分类器。

进一步，利用所述图片源样本数据对多个备选的形状生成器进行训练，包括如下步骤：

从所述图片源样本数据中判断是否包括面部区域的图片；

对筛选出的包括面部区域的图片中，由人工手动标注出面部的各个特征点；

获取各个特征点附近区域图像特征，生成标注点图像特征；

获取脸部整体形状特征；

训练所述形状生成器。

进一步，在所述步骤S3中，对所述头像区域图片进行人脸识别，如果未识别出人脸，则以预设的标准人脸形状作为所述人脸形状图片，然后执行步骤S4。

进一步，在所述步骤S4和步骤S5之间，还包括如下步骤：

对所述当前人脸标注点信息中的五官标注点进行定位，获取五官特征点；

获取所述五官特征点附近的梯度特征；

根据所述梯度特征获取五官和皮肤的分界区域；

将所述当前人脸标注点信息中的各个标注点向所述分界区域偏移。

进一步，在所述步骤S5中，所述利用预设的标准压缩人脸图形对所述压缩人脸标注图形进行匹配，得到当前人脸识别的精度，包括如下步骤：

利用预设的标准压缩人脸图形对所述压缩人脸标注图形进行匹配，计算出匹配率；

对所述匹配率进行加权，计算得到所述当前人脸识别的精度。

根据本发明实施例的快速人脸特征识别及姿态估算方法，通过摄像头采集用户的头像区域信息，利用特征分类器实现对用户头像的智能识别。在识别出头像后，利用形状生成器进而对人脸形状、五官进行识别，对面部各个重要位置进行定位，自动识别人脸各标注点位置，识别成功后返回人脸识别数据供后续使用。本发明可以提供稳定，准确，快速的人脸识别功能，并且各平台通用，适用范围广。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的快速人脸特征识别及姿态估算方法的整体流程图；

图2为根据本发明实施例的快速人脸特征识别及姿态估算方法的流程框图；

图3为根据本发明实施例的初始化流程图；

图4为根据本发明实施例的头像识别流程图；

图5为根据本发明实施例的人脸识别流程图；

图6为根据本发明实施例的人脸优化流程图；

图7为根据本发明实施例的人脸识别检查的流程图；

图8为根据本发明实施例的返回识别结果的流程图；

图9为根据本发明实施例的特征分类器的训练流程图；

图10为根据本发明实施例的形状生成器的训练流程图；

图11为根据本发明实施例的快速人脸特征识别及姿态估算方法的流程图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明实施例提供一种快速人脸特征识别及姿态估算方法，该方法可以采用传统的软件开发生命周期的方法，采用自顶向下，逐步求精的结构化的软件设计方法。本发明可以大体分为人脸识别和人脸标注两部分。

下面参考图1至图11对本发明实施例的快速人脸特征识别及姿态估算方法进行说明。

图1为根据本发明实施例的快速人脸特征识别及姿态估算方法的整体流程图。

步骤S101，摄像头采集视频帧。

在本发明的实施例中，采用单目摄像头采集视频帧。例如，用户位于单目摄像头的拍摄区域内，由单目摄像头拍摄前方区域内的用户，然后获取单目摄像头采集到的视频帧。

步骤S102，头像预识别。

从采集到的视频帧中快速识别头像的大概位置。

步骤S103，人脸形状识别。

从识别出的头像区域图片中，迭代找到面部各标注点位置，实现人脸形状的识别。

步骤S104，验证识别结果。

对步骤S103中的识别结果进行验证，判断是否正确。

步骤S105，交互显示输出识别结果。

在验证识别结果正确后，与用户交互辅助进行面部定位，将识别结果交互显示输出。

如图2所示，本发明实施例的快速人脸识别特征识别及姿态估算方法，包括如下步骤：

步骤S1，利用单目摄像头拍摄视频，获取单目摄像头采集的视频帧。

在单目摄像头拍摄视频之前，需要对单目摄像头进行初始化，设定单目摄像头的分辨率。

图3为根据本发明实施例的初始化流程图。

步骤S301，加载配置文件，初始化摄像头。

步骤S302，加载配置文件，初始化特征分类器。

步骤S303，加载配置文件，初始化形状生成器。

启动程序从配置文件读取配置产生，对本发明中涉及的摄像头、特征分类器和形状生成器进行初始化，配置相应参数，以便后续使用。

步骤S2，对视频帧进行图像特征分析，利用特征分类器判断该视频帧中是否存在头像区域图片，如果有，则执行步骤S3。

在本步骤中，对视频帧进行图像特征分析，包括如下步骤：

首先，对视频帧进行平滑去噪处理，提取处理后的视频帧的图像特征。

然后，利用特征分类器对图像特征进行分类筛选，根据筛选结果判断视频帧中是否存在头像区域图片。如果存在，则执行步骤S3，否则丢弃该视频帧。

图4为根据本发明实施例的头像识别流程图。

步骤S401，摄像头采集视频帧。

步骤S402，提取视频帧特征。

步骤S403，对图像特征进行预处理。

步骤S404，利用特征分类器判断是否有头像，如果有，则执行步骤S405，否则执行步骤S406。

即，利用特征分类器查找到头像大致区域

步骤S405，头像大体说明。

对头像区域的信息进行描述。

步骤S406，丢弃该视频帧。

需要说明的是，在特征分类器对图像特征进行分类筛选之前，获取图片源样本数据。利用该图片源样本数据对多个备选的特征分类器进行训练，以选出步骤S2中的使用的特征分类器。

具体地，如图9所示，利用图片源样本数据对多个备选的特征分类器进行训练，包括如下步骤：

步骤S901，输入图片源样本集。

步骤S902，判断是否包括面部区域，如果是则执行步骤S904，否则执行步骤S903。

从图片源样本数据中判断是否包括面部区域的图片，如果包括则筛选出包括面部区域的图片。

步骤S903，丢弃该图片。

如果不包括面部区域的图片，则丢弃该图片。

步骤S904，人工标注出面部区域。

对筛选出的包括面部区域的图片，由人工手动标注出面部区域位置，生成面部区域特征。

步骤S905，训练面部区域分类器。

在本步骤中，用检测结果对分类器进行检查

标注训练分为以下几方面的功能：

(1)加载待处理数据

(2)保存标注数据

(3)提供交互标注功能

步骤S906，检查特征分类器的识别率。(返回步骤S905，迭代执行)

根据生成的面部区域特征训练多个备选的特征分类器，获取每个特征分类器的识别率。

步骤S907，保存训练结果。

迭代修改训练参数得到最优的分类器，即选取识别率最高的特征分类器作为步骤S2中的特征分类器。

步骤S3，对上述得到的头像区域图片进行人脸识别，获取人脸形状图片。

在本步骤中，对头像区域图片进行人脸识别，如果未识别出人脸，则以预设的标准人脸形状作为人脸形状图片，然后执行步骤S4。

具体地，如果当前没有识别到人脸，则认为人脸预识别的区域为当前人脸区域，用默

认形状为当前人脸形状。其中，默认形状可以预选设置。

步骤S4，在识别出的人脸形状图片上设置多个标注点，获取标注点附近区域图像特征。利用形状生成器对识别出的人脸形状进行更新。计算当前标记点的匹配度，并与上次计算到的匹配度进行差值比对。重复本步骤直至本次当前标记点的匹配度与上次计算到的匹配度的差值小于阈值，然后返回当前人脸标注点信息。

图5为根据本发明实施例的人脸识别流程图。

步骤S501，判断当前是否识别到人脸，如果有则执行步骤S502，否则执行步骤S503。

步骤S502，获取标注点附近区域图像特征。

在一定区域内采集标注点附近的图像特征，并找到最优的新特征位置。

步骤S503，初始化当前人脸形状位置。

步骤S504，利用形状生成器更新识别脸部形状。

步骤S505，计算当前标记点匹配度。

步骤S506，比较当前标记点匹配度和上次计算到的匹配度的差值，如果差异小则执行步骤S507，否则返回步骤S502。

具体地，采用形状生成器生成满足形状约束的且标注点特征更匹配的新特征，不停迭代直到本次特征点匹配度和上次特征点匹配度变化不大，即前后两次的匹配度差值小于阈值。

步骤S507，返回当前人脸标记。

在本发明的一个实施例中，在利用形状生成器对识别出的人脸形状进行更新之前，获取图片源样本数据，利用该图片源样本数据对多个备选的形状生成器进行训练，以选出本步骤中实用的形状生成器。

具体地，利用图片源样本数据对多个备选的形状生成器进行训练，包括如下步骤：

(1)从图片源样本数据中判断是否包括面部区域的图片。

(2)对筛选出的包括面部区域的图片，由人工手动标注出面部的各个特征点。

(3)获取各个特征点附近区域图像特征，生成标注点图像特征。

(4)获取脸部整体形状特征。

(5)训练形状生成器。

在本发明的实施例中，标注训练分为以下几方面的功能：加载待处理数据、保存标注数据和提供交互标注功能。

图10为根据本发明实施例的形状生成器的训练流程图。

步骤S1001，输入图片源样本集。

步骤S1002，判断是否包括面部区域，如果是，则执行步骤S1003，否则执行步骤S1004。

步骤S1003，标注出面部各特征点。

在本步骤中，如果包括面部区域，则按指定面部位置标注好规定数量标注点，在面部区域标注出各个特征点。

步骤S1004，丢弃该图片。

如果不包括面部区域，则丢弃该图片。

步骤S1005，获取脸部整体形状特征。

获取整体标注点相对位置，进而根据整体标注点相对位置获取整个脸的形状特征，然后执行步骤S1006。

步骤S1006，训练形状生成器。

步骤S1007，获取各特征点附近的图像特征。

获取各标注点附近区域图像特征生成标注点图像特征，然后执行步骤S1008。

步骤S1008，训练特征分类器。

在步骤S4和步骤S5之间，还包括如下步骤：

(1)对当前人脸标注点信息中的五官标注点进行定位，获取五官特征点。

(2)获取五官特征点附近的梯度特征。

(3)根据梯度特征获取五官和皮肤的分界区域。

(4)将当前人脸标注点信息中的各个标注点向上述分界区域偏移。

图6为根据本发明实施例的人脸优化流程图。

步骤S601，获取五官标注点。

对人脸的重要五官的特征点进行再次定位，进一步精准匹配人脸各区域位置，查找到识别到的对应五官的特征点。

步骤S602，获取标注点附近梯度特征。

获取步骤S601中的五官特征点附近梯度特征。

步骤S603，获取五官和皮肤的分界区域(分界线)。

根据梯度特征，查找到梯度变化距离的五官和面部皮肤的分界区域。

步骤S604，标注点向分界区域(分界线)进行少量偏移。

将当前标注点向分界区域移位，从而以达到更优匹配精度。

步骤S605，判断当前迭代后标注点变化大小是否小于阈值，如果是，则执行步骤S606，否则返回步骤S601。

步骤S606，返回迭代后标注点。

步骤S5，根据当前人脸标注点信息和的当前帧图像获取压缩人脸标注图像，利用预设的标准压缩人脸图形对上述压缩人脸标注图像进行匹配，得到当前人脸识别的精度。

在本发明的一个实施例中，利用预设的标准压缩人脸图形对压缩人脸标注图形进行匹配，得到当前人脸识别的精度，包括如下步骤：

(1)利用预设的标准压缩人脸图形对压缩人脸标注图形进行匹配，计算出匹配率。

(2)对匹配率进行加权，计算得到当前人脸识别的精度。

图7为根据本发明实施例的人脸识别检查的流程图。

步骤S701，输入当前帧图片。

步骤S702，输入当前人脸标注信息。

步骤S703，获取压缩人脸标注图形。

依据当前识别的人脸标注点信息和当前帧的图像信息得到压缩人脸标注形状图形。

步骤S704,利用预设的标准压缩人脸图形对压缩人脸标注图形进行匹配。

利用预设的标准压缩人脸图形匹配标准压缩人脸标注形状图形，得到匹配率，然后对匹配率进行加权得到当前人脸识别的精度。

步骤S6，判断当前人脸识别的精度是否达到预设的人脸识别最低精度，如果达到，则显示输出当前人脸识别的各个标注点，否则判断人脸识别失败。

图8为根据本发明实施例的返回识别结果的流程图。

步骤S801，判断当前识别匹配度是否大于阈值，如果是，则执行步骤S804，否则执行步骤S802。

步骤S802，丢弃当前结果。

步骤S803，设置状态为未识别状态。

步骤S804，返回当前标注点信息，即返回识别人脸数据。

图11为根据本发明实施例的快速人脸特征识别及姿态估算方法的流程图。

步骤S1101，获取摄像头采集的视频帧。

步骤S1102，识别初始化。

步骤S1103，预识别训练(训练特征分类器)。

对视频帧提取的图像特征中的头像区域进行识别。

步骤S1104，生成预识别数据。

步骤S1105，识别训练(训练形状生成器)。

对识别出的头像区域中的人脸形状进行识别。

步骤S1106，生成识别数据。

步骤S1107，面部识别。

步骤S1108，判断是否识别成功，如果是，则执行步骤S1109，否则返回步骤S1102。

步骤S1109，跟踪迭代。

需要说明的是，本发明采用的软件为独立动态库算法，在Windows、Android和Ios系统上都适用。本发明采用动态库，第三方软件调用本系统初始化函数，后调用工作函数即可得到识别过程中各人脸标注点形象和是否成功信息

进一步，本发明还提供了出错处理设计方法：在调试环境中通过断言和控制台输出错误信息，在实际运行过程中通过系统日志输出调试信息。

根据本发明实施例的快速人脸特征识别及姿态估算方法，通过摄像头采集用户的头像区域信息，利用特征分类器实现对用户头像的智能识别。在识别出头像后，利用形状生成器进而对人脸形状、五官进行识别，对面部各个重要位置进行定位，自动识别人脸各标注点位置，识别成功后返回人脸识别数据供后续使用。本发明可以提供稳定，准确，快速的人脸识别功能，并且各平台通用，适用范围广。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求极其等同限定。

Claims (9)

1.一种快速人脸特征识别及姿态估算方法，其特征在于，包括如下步骤：

步骤S1，利用单目摄像头拍摄视频，获取所述单目摄像头采集的视频帧；

步骤S2，对所述视频帧进行图像特征分析，利用特征分类器判断所述视频帧中是否存在头像区域图片，如果有，则执行步骤S3，否则丢弃所述视频帧；

步骤S3，对所述头像区域图片进行人脸识别，获取人脸形状图片；

步骤S4，在识别出的人脸形状图片上设置多个标注点，获取所述标注点附近区域图像特征，利用形状生成器对识别出的人脸形状进行更新，计算当前标记点的匹配度，并与上次计算到的匹配度进行差值比对，重复本步骤直至本次当前标记点的匹配度与上次计算到的匹配度的差值小于预设阈值，返回当前人脸标注点信息；

步骤S5，根据所述当前人脸标注点信息和当前帧图像获取压缩人脸标注图形，利用预设的标准压缩人脸图形对所述压缩人脸标注图形进行匹配，得到当前人脸识别的精度；

步骤S6，判断所述当前人脸识别的精度是否达到预设的人脸识别最低精度，如果是，则显示输出当前人脸识别的各个标注点，否则判断识别失败。

2.如权利要求1所述的快速人脸特征识别及姿态估算方法，其特征在于，在所述步骤S1中，在所述单目摄像头拍摄视频之前，对所述单目摄像头进行初始化，设定所述单目摄像头的分辨率。

3.如权利要求1所述的快速人脸特征识别及姿态估算方法，其特征在于，在所述步骤S2中，对所述视频帧进行图像特征分析，包括如下步骤：

对所述视频帧进行平滑去噪处理，提取处理后的所述视频帧的图像特征；

利用所述特征分类器对所述图像特征进行分类筛选，根据筛选结果判断所述视频帧中是否存在头像区域图片，如果存在，则执行步骤S3，否则丢弃该视频帧。

4.如权利要求3所述的快速人脸特征识别及姿态估算方法，其特征在于，还包括如下步骤：在所述特征分类器对所述图像特征进行分类筛选之前，获取图片源样本数据，利用所述图片源样本数据对多个备选的特征分类器进行训练，以选出步骤S2中使用的特征分类器；

在利用形状生成器对识别出的人脸形状进行更新之前，获取图片源样本数据，利用所述图片源样本数据对多个备选的形状生成器进行训练，以选出步骤S4中使用的形状生成器。

5.如权利要求4所述的快速人脸特征识别及姿态估算方法，其特征在于，所述利用图片源样本数据对多个备选的特征分类器进行训练，包括如下步骤：

从所述图片源样本数据中判断是否包括面部区域的图片；

对筛选出的包括面部区域的图片，由人工手动标注出面部区域位置，生成面部区域特征；

根据所述面部区域特征训练多个备选的特征分类器，获取每个特征分类器的识别率；

选取识别率最高的特征分类器作为步骤S2中的特征分类器。

6.如权利要求4所述的快速人脸特征识别及姿态估算方法，其特征在于，利用所述图片源样本数据对多个备选的形状生成器进行训练，包括如下步骤：

从所述图片源样本数据中判断是否包括面部区域的图片；

对筛选出的包括面部区域的图片，由人工手动标注出面部的各个特征点；

获取各个特征点附近区域图像特征，生成标注点图像特征；

获取脸部整体形状特征；

训练所述形状生成器。

7.如权利要求1所述的快速人脸特征识别及姿态估算方法，其特征在于，在所述步骤S3中，对所述头像区域图片进行人脸识别，如果未识别出人脸，则以预设的标准人脸形状作为所述人脸形状图片，然后执行步骤S4。

8.如权利要求1所述的快速人脸特征识别及姿态估算方法，其特征在于，在所述步骤S4和步骤S5之间，还包括如下步骤：

对所述当前人脸标注点信息中的五官标注点进行定位，获取五官特征点；

获取所述五官特征点附近的梯度特征；

根据所述梯度特征获取五官和皮肤的分界区域；

将所述当前人脸标注点信息中的各个标注点向所述分界区域偏移。

9.如权利要求1所述的快速人脸特征识别及姿态估算方法，其特征在于，在所述步骤S5中，所述利用预设的标准压缩人脸图形对所述压缩人脸标注图形进行匹配，得到当前人脸识别的精度，包括如下步骤：

利用预设的标准压缩人脸图形对所述压缩人脸标注图形进行匹配，计算出匹配率；

对所述匹配率进行加权，计算得到所述当前人脸识别的精度。