CN111160190A - 面向车载行人检测的分类辅助核相关滤波跟踪方法 - Google Patents

Abstract

本发明公开面向车载行人检测的分类辅助核相关滤波跟踪方法。车载行人检测是循环执行过程，包括RoIs提取、RoIs跟踪和RoIs分类。分类辅助核相关滤波跟踪方法包括RoIs检测链和目标预测：RoIs检测链以数据结构形式存储RoIs，包括位置、宽高、分类状态、生命周期属性和核相关滤波属性；当前循环，基于RoIs检测链逐RoIs匹配输入帧RoIs，匹配成功，更新RoIs位置和宽高并提交RoIs分类，匹配失败，当且仅当RoIs分类状态为目标时提交目标预测，否则提交RoIs分类；目标预测根据核相关滤波跟踪输出的RoIs响应图计算当前RoIs的跟踪置信度，根据核相关滤波跟踪预测的RoIs计算RoIs位置置信度，跟踪置信度大于阈值且RoIs位置置信度不小于零更新当前RoIs位置并提交RoIs分类，否则当前RoIs提交RoIs分类。

Description

面向车载行人检测的分类辅助核相关滤波跟踪方法

技术领域

本发明涉及用于车载行人检测的目标跟踪领域，具体涉及面向车载行人检测的分类辅助核相关滤波跟踪方法。

背景技术

行人检测的技术在近年来已经获得了巨大的突破，但当前先进的行人检测算法大多需要依赖于深度学习技术，而当前适用于车载环境的硬件平台其性能还比较落后，以致当前先进的行人检测研究成果还很难在车载环境下应用，因此目前车载行人检测系统采用的技术仍然以传统方法为主。受限于传统方法的性能，简单的“RoIs提取+RoIs分类”二阶段车载行人检测框架难以获得准确的检测结果，越来越多的研究将目标跟踪方法加入到车载行人检测系统中。

现有的加入目标跟踪方法的车载行人检测系统框架一般是“RoIs提取+RoIs分类+RoIs跟踪”，系统启动时由RoIs提取和RoIs分类输出的目标对RoIs跟踪进行初始化，然后由RoIs跟踪作用于每个目标，为了避免出现长期的跟踪错误，间隔一定帧数再由RoIs提取和RoIs分类输出的目标重新初始化RoIs跟踪。这种行人检测系统框架结构简单且易于实现，但是存在以下问题：1)RoIs跟踪需要作用于每个目标，跟踪耗时随目标数量线性增加，对于计算复杂度相对较高的目标跟踪方法，难以在一帧的时间内完成所有目标的跟踪；2)在初始化RoIs跟踪的间隔时间内，只有RoIs跟踪在作用，当发生跟踪漂移时，产生的虚警将一直存在，直到下一次初始化RoIs跟踪时才会消失。

核相关滤波跟踪方法凭借兼具高精度和高效率的特点，目前已经有学者将其应用到车载行人检测系统中。田娟娟研究了三种不同跟踪器的性能，然后选择性能最优的核相关滤波跟踪器加入到系统中，用于对每个检测到的行人进行跟踪。然而核相关滤波是一个单目标跟踪方法，直接应用在多行人的场景下会出现上述的效率问题(田娟娟.视频中行人检测与跟踪方法研究[D].西安理工大学,2018.)。李壮飞以头肩作为判定行人的依据，先通过头肩模型分类器得到行人头肩，再利用核相关滤波跟踪器对行人头肩进行跟踪，并在跟踪过程使用多个尺度算子进行尺度预测(李壮飞.基于头肩模型的行人检测跟踪算法研究[D].河南大学,2018.)。虽然该方法只跟踪行人头肩一定程度上提升了跟踪效率，但利用多个尺度算子会导致跟踪时间以倍数形式增加，综合后整体跟踪效率仍然下降了。另外，行人检测场景下背景复杂、行人频繁交互，很容易造成核相关滤波的模型污染，进而产生跟踪漂移，然而上述两个方法都没有考虑核相关滤波的跟踪漂移问题。

综上，为了让核相关滤波跟踪方法更好地应用到车载行人检测系统中，需要考虑多行人跟踪的效率问题以及如何减轻跟踪漂移。本发明提出面向车载行人检测的分类辅助核相关滤波跟踪方法，分类辅助核相关滤波跟踪方法包括RoIs检测链和目标预测，通过RoIs检测链并结合RoIs分类解决多行人跟踪的效率问题，通过目标预测来减轻跟踪漂移。

发明内容

本发明提供面向车载行人检测的分类辅助核相关滤波跟踪方法，旨在提高核相关滤波跟踪应用于多行人跟踪的效率和减轻核相关滤波跟踪在复杂车载环境出现的跟踪漂移。

本发明的目的至少通过如下技术方案之一实现。

在车载行人检测过程中，若直接将核相关滤波跟踪方法应用在RoIs跟踪上，需要对每个输入帧RoIs维护一个核相关滤波跟踪器，这样会遇到效率瓶颈；另外，车载环境下背景复杂、行人频繁交互，核相关滤波模型易受背景污染，进而容易出现跟踪漂移。因此，本发明采用RoIs检测链来解决RoIs跟踪的效率问题，RoIs检测链执行高效的RoIs匹配，匹配成功的RoIs跳过核相关滤波跟踪直接提交RoIs分类，进一步地，匹配失败的RoIs当其分类状态为非目标，也跳过核相关滤波跟踪直接提交RoIs分类，这样大大减少了需要进行核相关滤波跟踪的RoIs数量，从而提高RoIs跟踪效率；采用目标预测来减轻跟踪漂移，采用跟踪置信度和RoIs位置置信度来度量核相关滤波跟踪预测的RoIs的可靠性，预测的RoIs不可靠则不更新RoIs的位置以及核相关滤波模型特征矩阵和模型参数矩阵，避免RoIs的核相关滤波模型受到背景的污染，从而减轻跟踪漂移。

面向车载行人检测的分类辅助核相关滤波跟踪方法，车载行人检测是循环执行过程，包括RoIs提取、RoIs跟踪和RoIs分类，分类辅助核相关滤波跟踪方法包括RoIs检测链和目标预测，采用分类辅助核相关滤波跟踪方法实现RoIs跟踪；包括以下步骤：

S1、RoIs提取生成输入帧RoIs并提交RoIs检测链；

S2、RoIs检测链以数据结构形式存储输入帧RoIs；

S3、基于RoIs检测链逐RoIs匹配输入帧RoIs，若匹配成功，则更新当前RoIs的位置和宽高，当前RoIs连续丢失帧数置0，跳至步骤S8；若匹配失败，继续进行步骤S4；

S4、判断当前RoIs分类状态是否为目标，若否，当前RoIs连续丢失帧数加1，跳至步骤S8；若是，提交目标预测；

S5、根据核相关滤波跟踪输出的当前RoIs响应图计算RoIs的跟踪置信度，同时借助RoIs头肩分类器分类核相关滤波跟踪预测的当前RoIs并计算RoIs位置置信度；

S6、若跟踪置信度大于跟踪置信度阈值且RoIs位置置信度不小于零，更新当前RoIs的位置、核相关滤波的模型特征矩阵和模型参数矩阵，当前RoIs的连续丢失帧数置0；否则，当前RoIs的连续丢失帧数加1；

S7、更新当前RoIs的最大响应值列表和平均峰值相关能量列表；

S8、提交RoIs分类，使用分类器对RoIs检测链逐RoIs进行分类；RoIs分类结果自动更新RoIs分类状态，若RoIs分类结果为目标，分类状态＝1，并输出目标；若RoIs分类结果为非目标，分类状态＝0；

S9、返回步骤S1进行下一轮循环。

进一步地，步骤S2中，所述数据结构包括位置即RoIs外接矩形左上角的横坐标和纵坐标；宽高即RoIs外接矩形的宽和高；分类状态；生命周期的位移列表即当前RoIs前1～4帧分别的水平位移和垂直位移、连续丢失帧数；核相关滤波的模型特征矩阵、模型参数矩阵、最大响应值列表即当前RoIs前1～4帧分别的最大响应值、平均峰值相关能量列表即当前RoIs前1～4帧分别的平均峰值相关能量、RoIs位置置信度12类元素；

当且仅当首次循环，除位置、宽高和RoIs位置置信度之外的数据结构元素的初始化值为0；当且仅当首次循环，输入帧RoIs全部存入RoIs检测链；否则，当前循环未能被RoIs匹配的输入帧RoIs追加存入RoIs检测链；首次存入RoIs检测链的RoIs自带位置和宽高；超时未更新的RoIs从RoIs检测链中删除。

进一步地，超时未更新的RoIs从RoIs检测链中删除具体如下：比较当前RoIs的“连续丢失帧数Num”与其阈值thre_delete，若Num>thre_delete，从RoIs检测链中删除当前RoIs；根据当前RoIs的宽高和位移列表计算thre_delete，当前RoIs的位移列表即当前RoIs前1～4帧分别的水平位移和垂直位移，分别为：Δs_hzn、Δs_vtn，其中，Δs表示位移，下标hz表示水平方向，下标vt表示垂直方向，下标n表示前1～4帧的序号，n＝1,2,3,4；

thre_delete计算公式如下：

thre_delete＝max(min(thre_horizon,thre_vertical,10),4)

其中，thre_horizon和thre_vertical表示水平方向阈值和垂直方向阈值，w和h表示RoIs的宽和高；

若Num≤thre_delete，更新当前RoIs前第4帧的水平位移和垂直位移为当前RoIs的水平位移和垂直位移。

进一步地，步骤S3中，RoIs匹配算法如下：

其中，x_list,y_list,w_list和h_list分别表示当前RoIs的横坐标、纵坐标、宽和高，x_new,y_new,w_new和h_new分别表示当前RoIs的横坐标、纵坐标、宽和高，thre_x,thre_y,thre_w和thre_h分别表示RoIs的横坐标、纵坐标、宽和高的阈值；当前RoIs的高度在[30,48]中属远距离RoIs，当前RoIs的高度在(48,90]中属中距离RoIs，当前RoIs的高度在(90,200]中属近距离RoIs；中、近距离RoIs，其thre_x,thre_y,thre_w和thre_h分别取值为30,10,20和10，远距离RoIs，其thre_x,thre_y,thre_w和thre_h分别取值为15,10,15和10；

若式(2)成立，当前RoIs匹配成功；否则当前RoIs匹配失败。

进一步地，步骤S5中，核相关滤波跟踪属于通用计算；计算核相关滤波跟踪输出的当前RoIs响应图即矩阵R的最大响应值R_max、最小响应值R_min和平均峰值相关能量APCE，算法如下：

R_max＝max(R)

R_min＝min(R)

其中，R_row,col表示R的第row行第col列的元素值；利用R_max和APCE表述当前RoIs的跟踪置信度。

进一步地，R_max和APCE的阈值计算如下：

thre_Rmax＝mean(R_max1,R_max2,R_max3,R_max4)×θ

thre_APCE＝max(APCE₁,APCE₂,APCE₃,APCE₄)×β (4)

其中，thre_Rmax和thre_APCE表示R_max和APCE的阈值，R_maxn和APCE_n分别表示当前RoIs前1～4帧分别的R_max和APCE，n＝1,2,3,4，取θ＝0.8，β＝0.75。

进一步地，步骤S5中，RoIs位置置信度初始值设为2；利用SVM头肩分类器分类当前循环核相关滤波跟踪预测的RoIs，如果分类得分不小于0，RoIs位置置信度置2；分类得分小于0，RoIs位置置信度减1。

进一步地，在SCUT热成像行人检测数据集(http://www2.scut.edu.cn/cv/scut_ fir_pedestrian_dataset/，下文简称SCUT数据集)上离线训练SVM头肩分类器，远和中距离行人以行人头肩位置为中心截取32*32像素区域作为训练样本，近距离行人截取64*64像素区域作为训练样本，分别训练远、中和近距离RoIs SVM头肩分类器。进一步地，行人头肩位置取其垂直方向和水平方向交点，远、中和近距离行人垂直方向头肩位置为行人高度自上而下的1/2,1/3和1/4，行人水平方向头肩位置均为行人宽度的1/2。

进一步地，步骤S6中，更新当前RoIs的核相关滤波模型特征矩阵和模型参数矩阵时需定义两个更新率λ，如果当前RoIs的APCE大于当前RoIs前1～4帧APCE的最大值与设定比例系数的乘积，选择较大更新率λ₁，否则选择较小更新率λ₂，λ₁＞λ₂，更新率和比例系数的取值范围均为(0,1)，具体的较大更新率、较小更新率和比例系数的取值通过实验经验得到。

进一步地，步骤S7中，更新当前RoIs前第4帧的最大响应值为当前RoIs的最大响应值；更新当前RoIs前第4帧的平均峰值相关能量为当前RoIs的平均峰值相关能量。

与现有技术相比，本发明具有以下优点和技术效果：

1)本发明对核相关滤波跟踪预测的RoIs的可靠性进行跟踪置信度和位置置信度两重判断，两重判断都成立才更新RoIs位置和RoIs的核相关滤波模型，避免RoIs的核相关滤波模型受到背景的污染，有利于减轻跟踪漂移，进而减少跟踪漂移导致的虚警。

2)本发明使用SVM头肩分类器对核相关滤波跟踪预测的RoIs进行分类并计算RoIs位置置信度时，RoIs特征可以直接从核相关滤波跟踪过程中提取的搜索区域特征中获得，无需对RoIs重新提取特征，SVM头肩分类器的分类过程几乎不耗时，在没有牺牲效率的前提下实现了跟踪可靠性的度量。

3)本发明设计的RoIs检测链通过一个高效的RoIs匹配算法以及结合RoIs分类，使核相关滤波跟踪只需处理匹配失败且分类状态为目标的RoIs，一方面大大提升了跟踪效率，一方面实现了跟踪的尺度自适应功能。

附图说明

图1为本发明实施例中面向车载行人检测的分类辅助核相关滤波跟踪方法的框架示意图；

图2为本发明实施例中RoIs检测链执行RoIs匹配的流程图；

图3为本发明实施例中目标预测的流程图；

图4a、图4b分别为本发明实施例中目标周围无干扰时核相关滤波跟踪预测RoIs的示意图以及RoIs响应图的R_max和APCE数值示意图；

图5a、图5b分别为本发明实施例中目标被遮挡时核相关滤波跟踪预测RoIs的示意图以及RoIs响应图的R_max和APCE数值示意图；

图6为本发明实施例中车载行人检测当前循环的流程图。

具体实施方式

提供以下参照附图的描述以帮助全面理解由权利要求及其等同物限定的本发明的各种实施例。它包括各种具体的细节来帮助理解，但是这些被认为仅仅是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本发明的范围和精神的情况下，可以对本发明描述的各种实施例进行各种改变和修改。另外，为了清楚和简明，可以省略对公知功能和结构的描述。

在下面的描述和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人使用使得能够清楚和一致地理解本公开。因此，本领域技术人员应该清楚，提供本公开的各种实施例的以下描述仅用于说明的目的，而不是为了限制由所附权利要求及其等同物限定的本公开。

以下结合实施例，对本发明的具体实施进行进一步详细说明。需指出的是，以下仅仅为举例，若有未特别详细说明的符号和过程，均是本领域技术人员可参照现有技术实现的。

面向车载行人检测的分类辅助核相关滤波跟踪方法，如图1所示，车载行人检测是循环执行过程，包括RoIs提取、RoIs跟踪和RoIs分类，分类辅助核相关滤波跟踪方法包括RoIs检测链和目标预测，采用分类辅助核相关滤波跟踪方法实现RoIs跟踪；包括以下步骤：

S1、RoIs提取生成输入帧RoIs并提交RoIs检测链；

S2、RoIs检测链以数据结构形式存储输入帧RoIs；

所述数据结构包括位置即RoIs外接矩形左上角的横坐标和纵坐标；宽高即RoIs外接矩形的宽和高；分类状态；生命周期的位移列表即当前RoIs前1～4帧分别的水平位移和垂直位移、连续丢失帧数；核相关滤波的模型特征矩阵、模型参数矩阵、最大响应值列表即当前RoIs前1～4帧分别的最大响应值、平均峰值相关能量列表即当前RoIs前1～4帧分别的平均峰值相关能量、RoIs位置置信度12类元素；

当且仅当首次循环，除位置、宽高和RoIs位置置信度之外的数据结构元素的初始化值为0；当且仅当首次循环，输入帧RoIs全部存入RoIs检测链；否则，当前循环未能被RoIs匹配的输入帧RoIs追加存入RoIs检测链；首次存入RoIs检测链的RoIs自带位置和宽高；超时未更新的RoIs从RoIs检测链中删除。

超时未更新的RoIs从RoIs检测链中删除具体如下：比较当前RoIs的“连续丢失帧数Num”与其阈值thre_delete，若Num>thre_delete，从RoIs检测链中删除当前RoIs；根据当前RoIs的宽高和位移列表计算thre_delete，当前RoIs的位移列表即当前RoIs前1～4帧分别的水平位移和垂直位移，分别为：Δs_hzn、Δs_vtn，其中，Δs表示位移，下标hz表示水平方向，下标vt表示垂直方向，下标n表示前1～4帧的序号，n＝1,2,3,4；

thre_delete计算公式如下：

thre_delete＝max(min(thre_horizon,thre_vertical,10),4)

其中，thre_horizon和thre_vertical表示水平方向阈值和垂直方向阈值，w和h表示RoIs的宽和高；

若Num≤thre_delete，更新当前RoIs前第4帧的水平位移和垂直位移为当前RoIs的水平位移和垂直位移。

式(1)中，前两个等式右边的分子为最大搜索距离，分母为当前RoIs前1～4帧的平均水平位移和垂直位移，最大搜索距离取RoIs的宽和高的1/2是因为超过此距离，受到边界效应的影响，核相关滤波跟踪难以预测到正确的RoIs位置；第三个等式将阈值限制在区间[4,10]以内，避免因位移不准确而导致阈值过大或过小。

S3、如图2所示，基于RoIs检测链逐RoIs匹配输入帧RoIs，若匹配成功，则更新当前RoIs的位置和宽高，当前RoIs连续丢失帧数置0，跳至步骤S8；若匹配失败，继续进行步骤S4；

RoIs匹配算法如下：

其中，x_list,y_list,w_list和h_list分别表示当前RoIs的横坐标、纵坐标、宽和高，x_new,y_new,w_new和h_new分别表示当前RoIs的横坐标、纵坐标、宽和高，thre_x,thre_y,thre_w和thre_h分别表示RoIs的横坐标、纵坐标、宽和高的阈值；当前RoIs的高度在[30,48]中属远距离RoIs，当前RoIs的高度在(48,90]中属中距离RoIs，当前RoIs的高度在(90,200]中属近距离RoIs；中、近距离RoIs，其thre_x,thre_y,thre_w和thre_h分别取值为30,10,20和10，远距离RoIs，其thre_x,thre_y,thre_w和thre_h分别取值为15,10,15和10；

若式(2)成立，当前RoIs匹配成功；否则当前RoIs匹配失败。

RoIs匹配算法简单高效，其耗时可以忽略不计，并且在RoIs匹配成功时，除了更新RoIs位置，还会更新RoIs的宽和高，这弥补了核相关滤波跟踪无法适应目标尺度变化的缺陷。

S4、如图2所示，判断当前RoIs分类状态是否为目标，若否，当前RoIs连续丢失帧数加1，跳至步骤S8；若是，提交目标预测；

S5、如图3所示，根据核相关滤波跟踪输出的当前RoIs响应图计算RoIs的跟踪置信度，同时借助RoIs头肩分类器分类核相关滤波跟踪预测的当前RoIs并计算RoIs位置置信度；

核相关滤波跟踪属于通用计算；计算核相关滤波跟踪输出的当前RoIs响应图即矩阵R的最大响应值R_max、最小响应值R_min和平均峰值相关能量APCE，算法如下：

R_max＝max(R)

R_min＝min(R)

其中，R_row,col表示R的第row行第col列的元素值；利用R_max和APCE表述当前RoIs的跟踪置信度。

R_max和APCE的阈值计算如下：

thre_Rmax＝mean(R_max1,R_max2,R_max3,R_max4)×θ

thre_APCE＝max(APCE₁,APCE₂,APCE₃,APCE₄)×β (4)

其中，thre_Rmax和thre_APCE表示R_max和APCE的阈值，R_maxn和APCE_n分别表示当前RoIs前1～4帧分别的R_max和APCE，n＝1,2,3,4，取θ＝0.8，β＝0.75。

R_max反映核相关滤波跟踪预测RoIs位置的准确性，其值越大准确性越高，APCE反映核相关滤波跟踪受背景干扰的程度，其值越大受背景干扰的程度越小。如图4a、图4b所示，目标周围无干扰时RoIs响应图呈理想的单峰形状，R_max和APCE的值都较大，预测的RoIs基本无偏差；如图5a、图5b所示，目标被车辆遮挡后，RoIs响应图呈现多峰状态，R_max和APCE的值都较小，预测的RoIs往车辆方向偏移。

RoIs位置置信度初始值设为2；利用SVM头肩分类器分类当前循环核相关滤波跟踪预测的RoIs，如果分类得分不小于0，RoIs位置置信度置2；分类得分小于0，RoIs位置置信度减1。

RoIs位置置信度反映核相关滤波跟踪预测的RoIs是否是行人。跟踪置信度反映了核相关滤波跟踪预测的RoIs的准确性，但该准确性是相对于核相关滤波模型特征矩阵而言，跟踪置信度越高，预测的RoIs的特征矩阵与核相关滤波模型特征矩阵越相似，但如果跟踪期间出现轻微的跟踪漂移，核相关滤波模型特征矩阵本身已受到污染，那么高跟踪置信度也无法保证跟踪不出错，因此采用RoIs位置置信度对预测的RoIs进行进一步的分类判别。

因为SVM头肩分类器的分类结果无法保证一直正确，将RoIs位置置信度初始值设为2，且分类得分不小于0时RoIs位置置信度置2，SVM头肩分类器只有连续3次分类出错后，才会使RoIs位置置信度为负进而禁止RoIs更新，用于避免SVM头肩分类器偶尔的出错导致应该进行更新的RoIs无法更新。

在SCUT热成像行人检测数据集上离线训练SVM头肩分类器，远和中距离行人以行人头肩位置为中心截取32*32像素区域作为训练样本，近距离行人截取64*64像素区域作为训练样本，分别训练远、中和近距离RoIs SVM头肩分类器。进一步地，行人头肩位置取其垂直方向和水平方向交点，远、中和近距离行人垂直方向头肩位置为行人高度自上而下的1/2,1/3和1/4，行人水平方向头肩位置均为行人宽度的1/2。

由于在SCUT数据集中，对象是行人，且行人在热成像图像中，头肩部是行人最明显的部位，因此进行核相关滤波跟踪时只跟踪行人头肩区域，以估计的行人头肩位置为中心截取64*64像素区域作为核相关滤波跟踪的搜索区域，这样减小了搜索区域的范围，可以提升核相关滤波跟踪的效率。

SVM头肩分类器分类当前循环核相关滤波跟踪预测的RoIs时，对于远和中距离RoIs，从核相关滤波跟踪的搜索区域特征中截取中心的32*32像素区域特征作为分类特征，对于近距离RoIs，直接将核相关滤波跟踪的搜索区域特征作为分类特征，无需对预测的RoIs重新提取特征，这使得SVM头肩分类器的分类过程的耗时可以忽略不计。

S6、如图3所示，若跟踪置信度大于跟踪置信度阈值且RoIs位置置信度不小于零，更新当前RoIs的位置、核相关滤波的模型特征矩阵和模型参数矩阵，当前RoIs的连续丢失帧数置0；否则，当前RoIs的连续丢失帧数加1；

更新当前RoIs的核相关滤波模型特征矩阵和模型参数矩阵时需定义两个更新率λ，如果当前RoIs的APCE大于当前RoIs前1～4帧APCE的最大值与设定比例系数的乘积，选择较大更新率λ₁，否则选择较小更新率λ₂，λ₁＞λ₂，本实施例中，λ₁＝0.1，λ₂＝0.02，设定的比例系数为0.85。

由于跟踪置信度的另一个指标R_max和RoIs位置置信度都主要反映核相关滤波跟踪预测的RoIs的准确性，而APCE主要反映核相关滤波跟踪受背景干扰的程度，更新RoIs的核相关滤波模型特征矩阵和模型参数矩阵主要考虑背景干扰的影响，因此仅根据RoIs的APCE选择更新率。

S7、如图3所示，更新当前RoIs的最大响应值列表和平均峰值相关能量列表；

更新当前RoIs前第4帧的最大响应值为当前RoIs的最大响应值；更新当前RoIs前第4帧的平均峰值相关能量为当前RoIs的平均峰值相关能量。

S8、提交RoIs分类，使用分类器对RoIs检测链逐RoIs进行分类；RoIs分类结果自动更新RoIs分类状态，若RoIs分类结果为目标，分类状态＝1，并输出目标；若RoIs分类结果为非目标，分类状态＝0；

S9、返回步骤S1进行下一轮循环。

实施例：

本实施例将分类辅助核相关滤波跟踪方法应用到车载行人检测中。

车载行人检测包括RoIs提取、RoIs跟踪和RoIs分类；分类辅助核相关滤波跟踪方法包括RoIs检测链和目标预测。其中，RoIs提取包括所述步骤S1；RoIs跟踪为分类辅助核相关滤波跟踪方法，RoIs检测链包括步骤S2～S4，目标预测包括步骤S5～S7；RoIs分类包括步骤S8。

现有的将核相关滤波跟踪方法应用到车载行人检测流程的方法，一般是仅由核相关滤波跟踪实现RoIs跟踪，在RoIs提取完成后，采用“先分类后跟踪”的策略，这样在核相关滤波跟踪因出现跟踪漂移而出错后，由于缺少分类器的检验，会产生大量虚警，并且虚警会长时间保持。本实施例在RoIs提取完成后，采取“先跟踪后分类”的策略，优点在于即使核相关滤波跟踪出错，也能通过RoIs分类避免输出出错的RoIs；但也有相应的缺点，即RoIs跟踪需要对RoIs提取生成的所有输入帧RoIs进行维护，这样会导致RoIs跟踪遇到效率瓶颈，本发明的分类辅助核相关滤波跟踪方法实现RoIs跟踪，通过RoIs检测链和目标预测并结合RoIs分类来减少需要进行核相关滤波跟踪的RoIs数量，以提高RoIs跟踪的效率。具体为：

车载行人检测是循环执行过程，在当前循环，如图6所示，包括以下步骤：

步骤610：RoIs提取：从当前输入帧中提取RoIs；

步骤620：RoIs跟踪：RoIs检测链执行RoIs匹配，匹配成功，更新RoIs位置和宽高并提交RoIs分类，匹配失败，当且仅当RoIs分类状态为目标时提交目标预测，否则提交RoIs分类；目标预测根据核相关滤波跟踪输出的RoIs响应图计算当前RoIs的跟踪置信度，根据核相关滤波跟踪预测的RoIs计算RoIs位置置信度，跟踪置信度大于阈值且RoIs位置置信度不小于零更新当前RoIs位置并提交RoIs分类，否则当前RoIs提交RoIs分类。更详细的描述上面已经介绍，在此不再赘述。

步骤630：RoIs分类：使用分类器对RoIs检测链逐RoIs进行分类，更新RoIs的分类状态；图6的虚线箭头表示所述RoIs的分类状态，将会在下一轮循环中作用于RoIs跟踪的RoIs检测链。

步骤640：输出分类状态为目标的RoIs。

本实施例在SCUT数据集上实验验证。本实例中，采用双阈值分割方法实现RoIs提取，采用分类辅助核相关滤波跟踪实现RoIs跟踪，采用“HOG+SVM”分类器实现RoIs分类，并使用多帧校验方法决策RoIs的输出；测试的硬件平台为德州仪器公司生产的DM6437嵌入式平台。

本实施例在SCUT的训练集上训练“HOG+SVM”分类器以及SVM头肩分类器，在SCUT的测试集上进行测试和评价。采用目标检测的通用评价指标Precision和Recall，IoU(Intersection over Union)取0.3。

对比车载行人检测中不加入核相关滤波跟踪、加入通用核相关滤波跟踪和加入分类辅助核相关滤波跟踪三种方案的实验结果，如表1所示。

表1三种方案下SCUT测试集中的Precision和Recall对比

其中加入通用核相关滤波跟踪时包含RoIs检测链，因为如果缺少RoIs检测链高效的RoIs匹配操作，核相关滤波跟踪需直接作用于所有输入帧RoIs，效率太低导致在DM6437嵌入式平台上无法正常运行。根据表1的结果可以看出，在车载行人检测中，加入通用核相关滤波跟踪后Recall提升不明显且Precision下降，这是因为通用核相关滤波跟踪虽然包含了RoIs检测链，但没有对其预测的RoIs进行可靠性度量，发生跟踪漂移后，一方面核相关滤波模型受到背景污染导致后续跟踪不准确，一方面因跟踪漂移产生的虚警由于RoIs分类多帧校验的策略会持续一定帧数才消失；加入分类辅助核相关滤波跟踪后Recall提升比较明显，Precision有轻微下降，这是因为分类辅助核相关滤波跟踪通过目标预测对其预测的RoIs进行了可靠性度量，发生跟踪漂移后，由于预测的RoIs可靠性较低时会阻止更新RoIs的位置和核相关滤波模型，从而减轻跟踪漂移的负面影响。

上述内容是结合具体的实施方式对本发明进行的详细说明，但并不能认定本发明的具体实施只限于此内容。对于本发明所属技术领域的普通技术人员而言，在不脱离本发明的原理和精神的前提下，还可以对这些实施进行若干调整、修改、替换和/或变型。本发明的保护范围由所附权利要求及其等同内容限定。

Claims (10)

1.面向车载行人检测的分类辅助核相关滤波跟踪方法，其特征在于，车载行人检测是循环执行过程，包括RoIs提取、RoIs跟踪和RoIs分类，分类辅助核相关滤波跟踪方法包括RoIs检测链和目标预测，采用分类辅助核相关滤波跟踪方法实现RoIs跟踪；包括以下步骤：

S1、RoIs提取生成输入帧RoIs并提交RoIs检测链；

S2、RoIs检测链以数据结构形式存储输入帧RoIs；

S3、基于RoIs检测链逐RoIs匹配输入帧RoIs，若匹配成功，则更新当前RoIs的位置和宽高，当前RoIs连续丢失帧数置0，跳至步骤S8；若匹配失败，继续进行步骤S4；

S4、判断当前RoIs分类状态是否为目标，若否，当前RoIs连续丢失帧数加1，跳至步骤S8；若是，提交目标预测；

S5、根据核相关滤波跟踪输出的当前RoIs响应图计算RoIs的跟踪置信度，同时借助RoIs头肩分类器分类核相关滤波跟踪预测的当前RoIs并计算RoIs位置置信度；

S6、若跟踪置信度大于跟踪置信度阈值且RoIs位置置信度不小于零，更新当前RoIs的位置、核相关滤波的模型特征矩阵和模型参数矩阵，当前RoIs的连续丢失帧数置0；否则，当前RoIs的连续丢失帧数加1；

S7、更新当前RoIs的最大响应值列表和平均峰值相关能量列表；

S8、提交RoIs分类，使用分类器对RoIs检测链逐RoIs进行分类；RoIs分类结果自动更新RoIs分类状态，若RoIs分类结果为目标，分类状态＝1，并输出目标；若RoIs分类结果为非目标，分类状态＝0；

S9、返回步骤S1进行下一轮循环。

2.根据权利要求1所述的面向车载行人检测的分类辅助核相关滤波跟踪方法，其特征在于，步骤S2中，所述数据结构包括位置即RoIs外接矩形左上角的横坐标和纵坐标；宽高即RoIs外接矩形的宽和高；分类状态；生命周期的位移列表即当前RoIs前1～4帧分别的水平位移和垂直位移、连续丢失帧数；核相关滤波的模型特征矩阵、模型参数矩阵、最大响应值列表即当前RoIs前1～4帧分别的最大响应值、平均峰值相关能量列表即当前RoIs前1～4帧分别的平均峰值相关能量、RoIs位置置信度12类元素；

当且仅当首次循环，除位置、宽高和RoIs位置置信度之外的数据结构元素的初始化值为0；当且仅当首次循环，输入帧RoIs全部存入RoIs检测链；否则，当前循环未能被RoIs匹配的输入帧RoIs追加存入RoIs检测链；首次存入RoIs检测链的RoIs自带位置和宽高；超时未更新的RoIs从RoIs检测链中删除。

3.根据权利要求2所述的面向车载行人检测的分类辅助核相关滤波跟踪方法，其特征在于，超时未更新的RoIs从RoIs检测链中删除具体如下：比较当前RoIs的“连续丢失帧数Num”与其阈值thre_delete，若Num>thre_delete，从RoIs检测链中删除当前RoIs；根据当前RoIs的宽高和位移列表计算thre_delete，当前RoIs的位移列表即当前RoIs前1～4帧分别的水平位移和垂直位移，分别为：Δs_hzn、Δs_vtn，其中，Δs表示位移，下标hz表示水平方向，下标vt表示垂直方向，下标n表示前1～4帧的序号，n＝1,2,3,4；

thre_delete计算公式如下：

其中，thre_horizon和thre_vertical表示水平方向阈值和垂直方向阈值，w和h表示RoIs的宽和高；

若Num≤thre_delete，更新当前RoIs前第4帧的水平位移和垂直位移为当前RoIs的水平位移和垂直位移。

4.根据权利要求1所述的面向车载行人检测的分类辅助核相关滤波跟踪方法，其特征在于，步骤S3中，RoIs匹配算法如下：

其中，x_list,y_list,w_list和h_list分别表示当前RoIs的横坐标、纵坐标、宽和高，x_new,y_new,w_new和h_new分别表示当前RoIs的横坐标、纵坐标、宽和高，thre_x,thre_y,thre_w和thre_h分别表示RoIs的横坐标、纵坐标、宽和高的阈值；当前RoIs的高度在[30,48]中属远距离RoIs，当前RoIs的高度在(48,90]中属中距离RoIs，当前RoIs的高度在(90,200]中属近距离RoIs；中、近距离RoIs，其thre_x,thre_y,thre_w和thre_h分别取值为30,10,20和10，远距离RoIs，其thre_x,thre_y,thre_w和thre_h分别取值为15,10,15和10；

若式(2)成立，当前RoIs匹配成功；否则当前RoIs匹配失败。

5.根据权利要求1所述的面向车载行人检测的分类辅助核相关滤波跟踪方法，其特征在于，步骤S5中，核相关滤波跟踪属于通用计算；计算核相关滤波跟踪输出的当前RoIs响应图即矩阵R的最大响应值R_max、最小响应值R_min和平均峰值相关能量APCE，算法如下：

其中，R_row,col表示R的第row行第col列的元素值；利用R_max和APCE表述当前RoIs的跟踪置信度。

6.根据权利要求5所述的面向车载行人检测的分类辅助核相关滤波跟踪方法，其特征在于，R_max和APCE的阈值计算如下：

其中，thre_Rmax和thre_APCE表示R_max和APCE的阈值，R_maxn和APCE_n分别表示当前RoIs前1～4帧分别的R_max和APCE，n＝1,2,3,4，取θ＝0.8，β＝0.75。

7.根据权利要求1所述的面向车载行人检测的分类辅助核相关滤波跟踪方法，其特征在于，步骤S5中，RoIs位置置信度初始值设为2；利用SVM头肩分类器分类当前循环核相关滤波跟踪预测的RoIs，如果分类得分不小于0，RoIs位置置信度置2；分类得分小于0，RoIs位置置信度减1。

8.根据权利要求7所述的面向车载行人检测的分类辅助核相关滤波跟踪方法，其特征在于，在SCUT热成像行人检测数据集上离线训练SVM头肩分类器，远和中距离行人以行人头肩位置为中心截取32*32像素区域作为训练样本，近距离行人截取64*64像素区域作为训练样本，分别训练远、中和近距离RoIs SVM头肩分类器；行人头肩位置取其垂直方向和水平方向交点，远、中和近距离行人垂直方向头肩位置为行人高度自上而下的1/2,1/3和1/4，行人水平方向头肩位置均为行人宽度的1/2。

9.根据权利要求1所述的面向车载行人检测的分类辅助核相关滤波跟踪方法，其特征在于，步骤S6中，更新当前RoIs的核相关滤波模型特征矩阵和模型参数矩阵时需定义两个更新率λ，如果当前RoIs的APCE大于当前RoIs前1～4帧APCE的最大值与设定比例系数的乘积，选择较大更新率λ₁，否则选择较小更新率λ₂，λ₁＞λ₂，更新率和比例系数的取值范围均为(0,1)，具体的较大更新率、较小更新率和比例系数的取值通过实验经验得到。

10.根据权利要求1所述的面向车载行人检测的分类辅助核相关滤波跟踪方法，其特征在于，步骤S7中，更新当前RoIs前第4帧的最大响应值为当前RoIs的最大响应值；更新当前RoIs前第4帧的平均峰值相关能量为当前RoIs的平均峰值相关能量。

Images