CN108090918A - 一种基于深度全卷积孪生网络的实时人脸跟踪方法 - Google Patents

Abstract

本发明提供了一种基于深度全卷积孪生网络的实时人脸跟踪方法，包括如下步骤：在视频中给出需要跟踪的目标人脸；在目标人脸的周围获取跟踪区域；滑窗使用深度全卷积网络提取区域内所有位置的特征；使用孪生网络架构和匹配算法计算相似度，找出相似度最高的几个区域；拟合区域，精准定位目标人脸；更新跟踪区域，执行步骤1‑5。本发明优化了全卷积网络的架构，网络训练过程，在保证高准确率的同时极大地降低了计算量，并且应用孪生网络框架，大大提高了效率，也提高了人脸跟踪的抗干扰能力和连续跟踪能力。本发明被广泛应用于智能监控，智能考勤等领域，为客户带来了良好的体验。

Description

一种基于深度全卷积孪生网络的实时人脸跟踪方法

技术领域

本发明属于自动识别技术领域，尤其是涉及一种基于深度全卷积孪生网络的实时人脸跟踪方法。

背景技术

随着人工智能浪潮的兴起和硬件性能不断更新升级，深度学习算法成为了当今智能分析算法的主流，并且在效果上实现了极大地提高。当前，深度学习算法在计算机视觉领域牢牢占据了主导地位，新型产品与技术不断迭代更新，甚至在某些领域的准确率已经超越了人类。人脸跟踪作为配合人脸检测和识别的主要组成部分，能够实时跟踪同一目标，生成运动轨迹，提高人脸抓拍率，大大降低了因为检测而导致的大量计算消耗。并且通过轨迹反应运动趋势与目标，提升用户体验，为智能监控，打击违法犯罪提供更加全面的数据。由于跟踪网络模型结构小，速度快，可以减轻后端存储压力，降低误抓率与重复抓拍率，节约客户成本，提升设备性能与工作效率，在当前追求更快更准的监控领域，成为了不可缺少的组成部分。

从90年代末期到2015年，绝大多数跟踪算法都是通过传统的机器学习方式来实现的。尽管很多方法速度都很快，但是由于传统跟踪算法更多地是进行背景建模和移动提取，往往不能够很好地获取移动物体真正的特征，所以在快速移动和长时间跟踪的方面有很大的缺陷。

发明内容

有鉴于此，本发明旨在提出一种基于深度全卷积孪生网络的实时人脸跟踪方法，以提高识别效率。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于深度全卷积孪生网络的实时人脸跟踪方法，包括如下步骤：

步骤1：在视频中给出需要跟踪的目标人脸；

步骤2：在目标人脸的周围获取跟踪区域；

步骤3：滑窗使用深度全卷积网络提取区域内所有位置的特征；

步骤4：使用孪生网络架构和匹配算法计算相似度，找出相似度最高的几个区域；

步骤5：拟合区域，精准定位目标人脸；

步骤6：更新跟踪区域，执行步骤1-5。

进一步的，所述步骤3中，深度全卷积网络采用三层全卷积神经网络，每一层使用Inception结构来进行降维，每个卷积层后添加激励层与BN层，用于网络的稀疏化，卷积网络最后为全局平均池化层，不使用任何参数的情况下直接将特征图降为一维。

进一步的，所述步骤3中，在经过孪生网络提取特征后，产生了一个人脸的N维MxM特征和一个跟踪区域N维HxH特征，这里H>M，让人脸特征在跟踪区域特征图上滑动，每滑动一次计算N维特征的余弦距离，并记录下来，最终生成了一个尺寸为(H-M+1)x(H-M+1)的特征图，在这张图的基础上，添加汉宁窗，增强图像中心的值，弱化周围的噪点，并且可以有效抑制边界效应。

进一步的，所述步骤5中，在保证输入跟踪区域尺寸不变的同时，按照0.8–1.2的比例等差截取11个不同尺寸的跟踪区域，其中第六个为原始尺度，并将这11个尺度的跟踪区域生成一个batch，直接传入网络中计算，最后比较11个尺度的质心上匹配值大小，最大的即为最合适的尺度。

相对于现有技术，本发明所述的一种基于深度全卷积孪生网络的实时人脸跟踪方法具有以下优势：

本发明优化了全卷积网络的架构，网络训练过程，在保证高准确率的同时极大地降低了计算量，并且创新性地应用孪生网络框架，大大提高了效率，也提高了人脸跟踪的抗干扰能力和连续跟踪能力。目前前端嵌入式平台实测单一人脸跟踪4-5ms，并且配合人脸检测算法达到了较好的实用效果，满足了实际产品的需求。被广泛应用于智能监控，智能考勤等领域，为客户带来了良好的体验。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例所述的一种基于深度全卷积孪生网络的实时人脸跟踪方法具的流程示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面将参考附图并结合实施例来详细说明本发明。

如图1所示，本发明提供一种基于深度全卷积孪生网络的实时人脸跟踪方法，本发明将全卷积神经网络的特征提取算法和孪生网络架构在数据训练方面的优势做了无缝结合，并且采用了更为精确地置信度匹配算法，具体技术方案主要分三个方面来实现：

I、全卷积孪生网络的设计与训练

全卷积孪生网络是一种采用孪生网络形式，并使用全卷积网络进行特征提取运算的一种网络架构，经常应用于人脸识别中，采用孪生网络架构训练的好处就是可以同时训练两个网络，但是却不需要增加参数量，因为他们可以进行参数共享，类似于孪生兄弟拥有着极为相似的外表。其中的全卷积网络采用三层全卷积神经网络，每一层使用Inception结构来进行降维，降低参数量并减少计算量。每个卷积层后添加激励层与BN层，用于网络的稀疏化。传统卷积网络最后往往采用全连接层，但是这里讲全连接层替换为全局平均池化层，不使用任何参数的情况下直接将特征图降为一维，直接参与到后续的特征匹配算法中，不仅减少了近80％的参数，还将计算量降低了一半，但是精度几乎没有损失。

在准备训练样本方面，为了提高网络的泛化能力，采用了多种数据增强的方式。在制作正样本对时，对同一个人脸进行随机裁剪，随机颜色通道改变，水平翻转及模糊化等处理，将原本只能产生一万对的正样本扩充到了近二十万对，大大增强了泛化性与抗遮挡性。在负样本的准备上，不仅准备了不同人脸对，还准备了人脸与不同环境场景的样本，并且保证了负样本与正样本3:1的比例。这样训练出来的网络不仅可以在普通场景下跟踪单一人脸，还可以避免在海量人脸跟踪中产生误跟的情况。

II、跟踪流程的优化与设计.

传统的卷积网络在物体识别或者分类的使用中对输入图片的尺寸有着严格要求，但是采用孪生网络却十分灵活。由于采用了孪生网络架构训练出两个参数共享的全卷积网络，那么根据跟踪的需求，使用网络1提取人脸特征，使用网络2直接用于提取跟踪区域整体特征，这里跟踪区域可以比人脸图片尺寸大很多，相当于直接用人脸特征在跟踪区域内做卷积运算，并且只做一次，比传统方法提升效率数十倍。

在经过孪生网络提取特征后，产生了一个人脸的N维MxM特征和一个跟踪区域N维HxH特征，这里(H>M)，这里让人脸特征在跟踪区域特征图上滑动，每滑动一次计算N维特征的余弦距离，并记录下来，最终生成了一个尺寸为(H-M+1)x(H-M+1)的特征图，在这张图的基础上，添加汉宁窗，增强图像中心的值，弱化周围的噪点，并且可以有效抑制边界效应，使跟踪更加精准。并且创新性地应用提取响应区域轮廓和求解质心的方法，极大地提高了跟踪的鲁棒性，即使人脸出现侧脸及遮挡，依然可以通过相似度趋势找到最佳质心及跟踪中心，还能够准确区分不同的人脸，避免出现错跟，跟丢等问题。

III、跟踪多尺度兼容设计

由于人脸经常性移动和角度变化，导致尺度也会产生变化，本算法在设计中也考虑到了兼容多尺度的目标。在保证输入跟踪区域尺寸不变的同时，按照0.8–1.2的比例等差截取11个不同尺寸的跟踪区域，其中第六个为原始尺度。并将这11个尺度的跟踪区域生成一个batch，直接传入网络中计算，最后比较11个尺度的质心上匹配值大小，最大的即为最合适的尺度。在实际测试中，证明了这种设计思路的准确性与合理性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于深度全卷积孪生网络的实时人脸跟踪方法，其特征在于：包括如下步骤：

步骤1：在视频中给出需要跟踪的目标人脸；

步骤2：在目标人脸的周围获取跟踪区域；

步骤3：滑窗使用深度全卷积网络提取区域内所有位置的特征；

步骤4：使用孪生网络架构和匹配算法计算相似度，找出相似度最高的几个区域；

步骤5：拟合区域，精准定位目标人脸；

步骤6：更新跟踪区域，执行步骤1-5。

2.根据权利要求1所述的一种基于深度全卷积孪生网络的实时人脸跟踪方法，其特征在于：所述步骤3中，深度全卷积网络采用三层全卷积神经网络，每一层使用Inception结构来进行降维，每个卷积层后添加激励层与BN层，用于网络的稀疏化，卷积网络最后为全局平均池化层，不使用任何参数的情况下直接将特征图降为一维。

3.根据权利要求1所述的一种基于深度全卷积孪生网络的实时人脸跟踪方法，其特征在于：所述步骤3中，在经过孪生网络提取特征后，产生了一个人脸的N维MxM特征和一个跟踪区域N维HxH特征，这里H>M，让人脸特征在跟踪区域特征图上滑动，每滑动一次计算N维特征的余弦距离，并记录下来，最终生成了一个尺寸为(H-M+1)x(H-M+1)的特征图，在这张图的基础上，添加汉宁窗，增强图像中心的值，弱化周围的噪点，并且可以有效抑制边界效应。

4.根据权利要求1所述的一种基于深度全卷积孪生网络的实时人脸跟踪方法，其特征在于：所述步骤5中，在保证输入跟踪区域尺寸不变的同时，按照0.8–1.2的比例等差截取11个不同尺寸的跟踪区域，其中第六个为原始尺度，并将这11个尺度的跟踪区域生成一个batch，直接传入网络中计算，最后比较11个尺度的质心上匹配值大小，最大的即为最合适的尺度。