CN105931276B - 一种基于巡逻机器人智能云平台的长时间人脸跟踪方法 - Google Patents

Abstract

本发明公开了一种基于巡逻机器人智能云平台的长时间人脸跟踪方法，包括步骤：对输入的视频图像帧感兴趣区域利用adaboost人脸检测模块检测人脸；对检测到的人脸做初始化处理；通过人脸跟踪模块跟踪经过初始化处理的人脸，若跟踪有效则启动人脸模板更新模块进行人脸模板更新；若跟踪无效，则启用模板匹配人脸检测模块，对检测到的人脸进行模板匹配检测。本发明能更实时地检测人脸，并且在跟踪和学习模块，速度也具有明显优势，对跟踪丢失的目标同样可以重新定位，达到长时间跟踪人脸的目的，使多目标跟踪具有了实时性。

Description

一种基于巡逻机器人智能云平台的长时间人脸跟踪方法

技术领域

本发明涉及一种人脸跟踪方法，特别是基于巡逻机器人智能云平台的长时间人脸跟踪方法。

背景技术

人类所感知的外部环境信息中，视觉信息占了相当大的比重，而动态视觉信息是其中的重要组成部分。因为视觉信息在人类感知中非常重要的地位，视频图像处理技术一直都是科学研究中的热点。机器视觉可以代替人类从事目标检测、目标跟踪、目标识别等方面的工作，具有更加敏锐的洞察力，具有持续工作的能力，在迅速地从视频图像中获取精确信息的场合下，机器视觉与人类视觉相比具有重大优势。

目标跟踪是机器视觉的关键技术，是目标识别和行为理解的基础，具有广泛的研究价值。目前学术界在目标跟踪方面做了大量研究，提出了不少有价值的算法。较为常用的目标跟踪方法主要有基于特征匹配的跟踪、基于模板的跟踪、基于运动特性的跟踪、基于区域的跟踪和基于轮廓的跟。具体方案如下：

1.基于特征匹配的跟踪：这种方法需提取一个或多个运动中具有不变性质的特征点，比如边界线条或角点，并依据这些特征建立目标模型。

2.基于模板匹配的跟踪：此方法是在对目标进行跟踪前，得到一个描述目标的模板，就是在序列图像中寻找可以与模板实现特征匹配的区域。模板可以分为固定和可变形两种。

3.基于运动特性的跟踪：此方法主要有两种：依据目标运动的连续性进行关联的算法和运动预测跟踪算法。前者的着眼点在于融合多种跟踪算法，提高跟踪的准确性；后者的着眼点在于估计目标在后续图像中的位置，并以其为中心进行目标搜索，通过缩小目标的搜索范围提高目标的跟踪速度。

4.基于区域的跟踪：这种方法通过运动估计或分割技术得到整个目标区域的信息，如基于运动的特征和纹理等。在这种情况下，对目标速度的估计是基于在不同时刻相关目标区域之间的对应性。

5.基于轮廓的跟踪：基于轮廓的跟踪，用目标的边界轮廓作为模板，在后继帧的二值图像中跟踪目标物的边缘轮廓，并且自动连续地更新该目标轮廓。近年比较流行的两种基于轮廓的跟踪算法是，基于Hausdoff距离的轮廓跟踪算法和主动轮廓线跟踪算法(Snake)。

6.TLD的跟踪方法：Tld跟踪方法将传统的跟踪方法和检测方法相结合，同时引入在线学习的机制不断更新跟踪模块的“显著特征点”和检测模块的目标模型，来解决跟踪过程中跟踪目标发生形变或者被遮挡后跟踪失败等问题。

但上述方法中，基于特征匹配的跟踪方法，选取特征点应该对目标当前的位置、运动方向、在视野中所占面积的大小以及环境亮度的变化不敏感，因此它的主要困难就是选取出具有代表性的特征点。基于模板匹配的跟踪，视野中的目标物有时会发生形状变化，模板匹配就会存在精度问题。基于运动特性的跟踪，可以解决小部分的遮挡问题，并且减小搜索范围，提高算法的实时性。但是对其单独使用时，跟踪效果并不十分理想。基于区域的跟踪，由于在整个目标区域中，各个点都要对应，因此算法比较耗时。TLd跟踪算法，对单个目标的检测和学习耗时巨大，不满足于多存在多个目标的环境中使用。

发明内容

为了克服现有技术的不足，本发明提供了一种基于巡逻机器人智能云平台的长时间人脸跟踪方法，它集检测、跟踪、学习一体，当目标重新出现在视野中时，能够重新检测到它，并继续跟踪。

本发明采用的技术方案如下：

一种基于巡逻机器人智能云平台的长时间人脸跟踪方法，包括步骤如下：

S1.对输入的视频图像帧感兴趣区域利用adaboost人脸检测模块检测人脸；

S2.对检测到的人脸做初始化处理；

S3.通过人脸跟踪模块跟踪经过初始化处理的人脸，若跟踪有效则启动人脸模板更新模块进行人脸模板更新；若跟踪无效，则启用模板匹配人脸检测模块，对检测到的人脸进行模板匹配检测。

上述方法主要包括Adaboost人脸检测、人脸跟踪、人脸模板更新、模板匹配人脸检测等过程。

本发明中，所述初始化处理过程包括将检测到的人脸图像作为待跟踪人脸，并且将人脸图像加入正样本集，将人脸图像附近背景图像块作为负样本集。

其中对于Adaboost人脸检测使用haar+AdaBoost进行人脸检测。Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。

弱分类器的构造如下：定义一个矩形特征j对应一个弱分类器h_j和对应一个候选输入窗口x，则所述矩形特征在x上的值为f_i(x)，故弱分类器分类函数构造如下：

其中,θ_j是一个阈值，p_j＝±1，用来控制不等式的方向。

训练过程：

S41.输入N个训练样本：{x₁,y₁},......,{x_n,y_n}，其中y_i＝{0,1}分别对应非人脸样本和人脸样本，其中定义m个非人脸样本，r个人脸样本；

S42.初始化权重，对y_i＝0的非人脸样本，w_1,i＝1/2m；对y_i＝1的人脸样本，w_1,i＝1/2r；

S43.对第t次训练(t＝1,......,T)处理步骤包括：(1)采用归一化权重(2)对每个特征j，训练出其弱分类器h_j，即确定θ_j和p_j，使当前权重下的目标函数达到最小；(3)从上一步中确定的弱分类器中找出一个具有最小错误ε_t的弱分类器h_t，并加到强分类器中；(4)更新每个样本所对应的权重若第i个样本被正确分类，则e_i＝0；反之e_i＝1，β_t＝ε_t/(1-ε_t)；

S44.最终构成的强分类器为：

其中，α_t＝lg(1/β_t)。

进一步地，adaboost人脸检测模块具体的检测过程包括：通过一个级联分类器对输入图像帧进行检测处理，所述一个级联分类器由多个弱分类器组成，每一级都是经Adaboost方法训练得到的弱分类器，调整参数使得每一级弱分类器都让人脸样本通过，而拒绝非人脸样本，从而输出检测人脸。

进一步地，对于人脸跟踪，人脸跟踪模块采用矩形框跟踪方法，定义同一人脸在相邻帧图像中的位置为r_i和r_j，则r＝r_i∩r_j，其中r为两人脸重叠位置；然后计算r占r_i和r_j的比值，其中当λ＝MIN(r/r_i,r/r_j)，λ＞T(T为预设值)时，跟踪有效。

进一步地，人脸模板更新过程包括：将检测人脸作为候选正样本，将与检测人脸距离近的背景图像块作为候选负样本，候选正样本和候选负样本构成候选样本集；对于候选样本集中某个样本，分别计算其与正负样本集所有正样本的ncc匹配值，取最大值为P，同时分别计算其与正负样本集所有负样本的ncc匹配值，取最大值为N，其置信度conf计算公式：对于候选正样本，置信度conf小于一个阈值thr_nn1，则随机替换正负样本集中的一个正样本；对于候选负样本，置信度conf大于一个阈值thr_nn2，则随机替换正负样本集中的一个负样本。

进一步地，若人脸跟踪失效后，将adaboost人脸检测模块检测的人脸图像输入模板匹配人脸检测模块，计算该人脸与训练样本集中的置信度conf，若置信度大，则是若干时间前，因遮挡或形变丢失的目标，则将该人脸作为待跟踪人脸，进入人脸跟踪模块。

本发明中，重新定位因为遮挡或者形变原因丢失的目标，达到长时间跟踪人脸的目的

本发明与现有技术相比，具有的有益效果：能更实时地检测人脸，并且在跟踪和学习模块，速度也具有明显优势，对跟踪丢失的目标同样可以重新定位，达到长时间跟踪人脸的目的，使多目标跟踪具有了实时性。

附图说明

图1：本发明的流程示意图一；

图2：本发明的流程示意图二；

图3：本发明adaboost人脸检测模块检测人脸示意图；

图4：本发明脸模板更新模块框架图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述。

实施例：

一种基于巡逻机器人智能云平台的长时间人脸跟踪方法，包括步骤如下：

S1.对输入的视频图像帧感兴趣区域利用adaboost人脸检测模块检测人脸；

S2.对检测到的人脸做初始化处理；

S3.通过人脸跟踪模块跟踪经过初始化处理的人脸，若跟踪有效则启动人脸模板更新模块进行人脸模板更新；若跟踪无效，则启用模板匹配人脸检测模块，对检测到的人脸进行模板匹配检测。

所述初始化处理过程包括将检测到的人脸图像作为待跟踪人脸，并且将人脸图像加入正样本集，将人脸图像附近背景图像块作为负样本集。

上述方法主要包括Adaboost人脸检测、人脸跟踪、人脸模板更新、模板匹配人脸检测等过程。

其中对于Adaboost人脸检测使用haar+AdaBoost进行人脸检测。Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。

弱分类器的构造如下：定义一个矩形特征j对应一个弱分类器h_j和对应一个候选输入窗口x，则所述矩形特征在x上的值为f_i(x)，故弱分类器分类函数构造如下：

其中,θ_j是一个阈值，p_j＝±1，用来控制不等式的方向。

训练过程：

S41.输入N个训练样本：{x₁,y₁},......,{x_n,y_n}，其中y_i＝{0,1}分别对应非人脸样本和人脸样本，其中定义m个非人脸样本，r个人脸样本；

S42.初始化权重，对y_i＝0的非人脸样本，w_1,i＝1/2m；对y_i＝1的人脸样本，w_1,i＝1/2r；

S43.对第t次训练(t＝1,......,T)处理步骤包括：(1)采用归一化权重(2)对每个特征j，训练出其弱分类器h_j，即确定θ_j和p_j，使当前权重下的目标函数达到最小；(3)从上一步中确定的弱分类器中找出一个具有最小错误ε_t的弱分类器h_t，并加到强分类器中；(4)更新每个样本所对应的权重若第i个样本被正确分类，则e_i＝0；反之e_i＝1，β_t＝ε_t/(1-ε_t)；

S44.最终构成的强分类器为：

其中，α_t＝lg(1/β_t)。

adaboost人脸检测模块具体的检测过程包括：通过一个级联分类器对输入图像帧进行检测处理，所述一个级联分类器由多个弱分类器组成，每一级都是经Adaboost方法训练得到的弱分类器，调整参数使得每一级弱分类器都让人脸样本通过，而拒绝非人脸样本，从而输出检测人脸。

对于人脸跟踪，人脸跟踪模块采用矩形框跟踪方法，定义同一人脸在相邻帧图像中的位置为r_i和r_j，则r＝r_i∩r_j，其中r为两人脸重叠位置；然后计算r占r_i和r_j的比值，其中当λ＝MIN(r/r_i,r/r_j)，λ＞T(T为预设值)时，跟踪有效。

人脸模板更新过程包括：将检测人脸作为候选正样本，将与检测人脸距离近的背景图像块作为候选负样本，候选正样本和候选负样本构成候选样本集；对于候选样本集中某个样本，分别计算其与正负样本集所有正样本的ncc匹配值，取最大值为P，同时分别计算其与正负样本集所有负样本的ncc匹配值，取最大值为N，其置信度conf计算公式：对于候选正样本，置信度conf小于一个阈值thr_nn1，则随机替换正负样本集中的一个正样本；对于候选负样本，置信度conf大于一个阈值thr_nn2，则随机替换正负样本集中的一个负样本。

若人脸跟踪失效后，将adaboost人脸检测模块检测的人脸图像输入模板匹配人脸检测模块，计算该人脸与训练样本集中的置信度conf，若置信度大，则是若干时间前，因遮挡或形变丢失的目标，则将该人脸作为待跟踪人脸，进入人脸跟踪模块。

本实施例所采用的样本情况如下：选取若干段视频检测跟踪人脸，相对于传统方法，人脸重新定位，实现了人脸长时间跟踪；其中完成一个目标的跟踪耗时3ms，而tld跟踪方法耗时15ms以上，相对于tld跟踪方法，速度提高了400％，其它传统方法则更长。因此，本实施例提出的人脸跟踪方法实时地达到了长时间人脸跟踪的要求。

Claims (7)

1.一种基于巡逻机器人智能云平台的长时间人脸跟踪方法，其特征在于，包括步骤如下：

S1.对输入的视频图像帧感兴趣区域利用adaboost人脸检测模块检测人脸；

S2.对检测到的人脸做初始化处理；

S3.通过人脸跟踪模块跟踪经过初始化处理的人脸，若跟踪有效则启动人脸模板更新模块进行人脸模板更新；若跟踪无效，则启用模板匹配人脸检测模块，对检测到的人脸进行模板匹配检测，所述人脸跟踪模块采用矩形框跟踪方法，定义同一人脸在相邻帧图像中的位置为r_α和r_β，则r＝r_α∩r_β，其中r为两人脸重叠位置；然后计算r占r_α和r_β的比值，其中当λ＝MIN(r/r_α,r/r_β)，λ＞T时,跟踪有效，T为预设值。

2.根据权利要求1所述的基于巡逻机器人智能云平台的长时间人脸跟踪方法，其特征在于，所述初始化处理过程包括将检测到的人脸图像作为待跟踪人脸，并且将人脸图像加入正样本集，将人脸图像附近背景图像块作为负样本集。

3.根据权利要求1所述的基于巡逻机器人智能云平台的长时间人脸跟踪方法，其特征在于，所述adaboost人脸检测模块具体的检测过程包括：通过一个级联分类器对输入图像帧进行检测处理，所述一个级联分类器由多个弱分类器组成，每一级都是经Adaboost方法训练得到的弱分类器，调整参数使得每一级弱分类器都让人脸样本通过，而拒绝非人脸样本，从而输出检测人脸。

4.根据权利要求3所述的基于巡逻机器人智能云平台的长时间人脸跟踪方法,其特征在于,将所述多个弱分类器训练成强分类器的方法具体包括：

S41.输入N个训练样本：{x₁,y₁},...,{x_N,y_N}，其中x_i为输入窗口，y_i＝{0,1}，其中y_i＝0对应非人脸样本，y_i＝1对应人脸样本，其中定义m个非人脸样本，n个人脸样本；

S42.初始化权重，对y_i＝0的非人脸样本，w_1,i＝1/2m；对y_i＝1的人脸样本，w_1,i＝1/2n；

S43.对第t次训练，其中t＝1,...,S,采用归一化权重然后对每个矩形特征j，训练出其弱分类器h_j，即确定θ_j和p_j,θ_j是一个阈值，p_j＝±1，使当前权重下的目标函数达到最小；接着从上一步中确定的弱分类器中找出一个具有最小目标函数ε_t的弱分类器h_t，并加到强分类器中；更新每个样本所对应的权重若第i个样本被正确分类，则e_i＝0，β_t＝ε_t/(1-ε_t)；反之e_i＝1，β_t＝ε_t/(1-ε_t)；

S44.最终构成的强分类器为：

其中α_t＝lg(1/β_t)。

5.根据权利要求4所述的基于巡逻机器人智能云平台的长时间人脸跟踪方法，其特征在于，对于所述弱分类器，定义一个矩形特征j对应一个弱分类器h_j和对应一个候选输入窗口x，则所述矩形特征在x上的值为f_j(x)，故弱分类器分类函数构造如下：

其中,θ_j是一个阈值，p_j＝±1，用来控制不等式的方向。

6.根据权利要求1所述的基于巡逻机器人智能云平台的长时间人脸跟踪方法，其特征在于，人脸模板更新过程包括：

将检测人脸作为候选正样本，将与检测人脸距离近的背景图像块作为候选负样本，候选正样本和候选负样本构成候选样本集；对于候选样本集中某个样本，分别计算其与正负样本集所有正样本的ncc匹配值，取最大值为P，同时分别计算其与正负样本集所有负样本的ncc匹配值，取最大值为M，其置信度conf计算公式：

对于候选正样本，置信度conf小于一个阈值thr_nn1，则随机替换正负样本集中的一个正样本；对于候选负样本，置信度conf大于一个阈值thr_nn2，则随机替换正负样本集中的一个负样本。

7.根据权利要求1所述的基于巡逻机器人智能云平台的长时间人脸跟踪方法，其特征在于，若人脸跟踪无效后，将adaboost人脸检测模块检测的人脸图像输入模板匹配人脸检测模块，计算该人脸与训练样本集中的置信度conf，若置信度大，则是若干时间前，因遮挡或形变丢失的目标，则将该人脸作为待跟踪人脸，进入人脸跟踪模块。