CN108664918B - 基于背景感知相关滤波器的智能车辆前方行人跟踪方法 - Google Patents

Abstract

本发明属于智能交通、智能车辆研究领域，涉及一种基于背景感知相关滤波器的车载行人跟踪方法，包括如下步骤：1、通过手动标定或通过行人检测器初始化所要跟踪的行人位置，用矩形框框定行人，矩形框的中心点位置代表行人中心位置，矩形框的尺寸代表行人的尺寸，用位置和尺寸作为参数初始化卡尔曼滤波器；2、训练背景感知相关滤波器；3、训练尺度相关滤波器；4、利用训练好的背景感知相关滤波器和尺度相关滤波器在新一帧图像检测目标，并选择性更新背景感知相关滤波器和尺度相关滤波器；5、返回步骤四直到跟踪结束。本发明更适用于车载环境下的无人驾驶；本发明采用选择性更新方法，能够处理短时遮挡等情况。

Description

基于背景感知相关滤波器的智能车辆前方行人跟踪方法

技术领域

本发明属于智能交通、智能车辆研究领域，涉及一种基于背景感知相关滤波器的智能车辆前方行人跟踪方法，适用于自主驾驶汽车利用机器视觉跟踪车辆前方行人以便分析行人行为，避免人车冲突。

背景技术

对车辆前方行人的运动行为的分析是自动驾驶、行人防碰撞智能辅助驾驶系统等智能车辆危险辨识、轨迹规划、驾驶决策、车辆控制等重要依据。行人运动跟踪是行人运动行为分析的重要基础，但由于车辆与行人的相对运动、行人运动遮挡、运动场景的变化、运动姿态的时变性等，增加了行人跟踪的困难。因此，急需建立快速有效的行人跟踪算法，以满足智能车辆技术发展的需要。

目前，车辆自主驾驶行人运动感知方面的研究，主要集中于行人识别、定位方面，在行人运动跟踪等行为感知方面的研究尚处于初级阶段，其研究成果相对较少，研究方法主要利用mean shift、kalman、粒子群等传统跟踪算法来跟踪预测行人位置，实现行人跟踪。如：Jae等人基于mean shift算法框架，采用目标的局部区域直方图特征取代传统区域全局直方图特征进行车辆前方运动行人的跟踪，提高了传统mean shift跟踪算法的精度；Zipei Fan等人在粒子滤波框架下，构建不同驾驶模式下行人运动模式的动态模型，增加了行人运动估计的鲁棒性；郭烈等人结合kalman滤波器与camshift算法跟踪车辆前方行人，首先利用卡尔曼滤波算法预测行人的可能位置，然后结合camshift算法搜索定位特定区域内是否存在行人，实现行人跟踪，该方法加快了传统的camshift算法的跟踪速度。李锴等人通过特征融合的方法，构建车辆前方行人的精细化的特征表达，以改善车载行人跟踪效果。虽然上述算法为车辆前方运动行人跟踪的研究提供了借鉴作用，但由于该类算法采用固定跟踪器框架，难以适应行人与车辆相对运动下行人图像的尺度快速变化、行人相关遮挡、运动姿态改变等，导致跟踪目标的丢失或漂移问题，致使跟踪失效。

发明内容

本发明的目的是提出一种基于背景感知相关滤波器的智能车辆前方行人跟踪方法，本方法能够实现车辆环境下行人尺度快速改变和遮挡情况下的快速跟踪，为行人安全保障技术、无人驾驶、智能车辆等研究和应用提供技术支持。

为解决上述技术问题，本发明是采用如下技术方案实现的，结合附图说明如下：

本发明提出的一种基于背景感知相关滤波器的智能车辆前方行人跟踪方法是采用如下技术方案实现的：

一种基于背景感知相关滤波器的智能车辆前方行人跟踪方法，步骤如下：

步骤一、通过手动标定或通过行人检测器初始化所要跟踪的行人位置，用矩形框框定行人，矩形框的中心点位置代表行人中心位置，矩形框的尺寸代表行人的尺寸，用位置和尺寸作为参数初始化卡尔曼滤波器；

步骤二、在步骤一选定的框定行人的矩形框的位置，训练背景感知相关滤波器：

以一维信号为例，说明构造最优的背景感知相关滤波器的过程，求解背景感知相关滤波器的空域目标函数表示为：

式中，y是输出响应，z是输入信号，h是传统的相关滤波器，L表示特征通道数，l表示第l个特征通道，T表示转置，M代表信号z的长度，B是大小为D×M的二值矩阵，Δτ_j代表将信号进行第j步循环移位，Bz_l[Δτ_j]表示将长度为M的信号进行第j步循环移位后，截取其对应的D个元素，λ是正则项参数，||||表示求二范数；

为了方便求解，记

则式(1)的频域表示为：

式中，a代表了背景感知相关滤波器，∧代表离散傅里叶变换，F为傅里叶变换矩阵，I_L为单位矩阵，

代表克罗内克积，

这里diag()表示构造对角矩阵；

对式(2)的求解转化为优化求解

和h^*，这里*表示取共轭转置，应用增广拉格朗日方法和交替方向乘子法(ADMM)等凸优化方法求解得到：

式中：_μ是惩罚因子，

是频域的拉格朗日向量。a和ε都可以分解成L个部分求解，即a＝{a₁,a₂,...a_L}，ε＝{ε₁,ε₂,...ε_L}，这里

其中l＝1,2...L；

可将

分解为M个独立的解：

其中

conj()表示取共轭，

其中l＝1,2...L,

步骤三、在步骤一选定的框定行人的矩形框的位置，训练尺度相关滤波器：

假设框定行人的矩形框的尺寸为P×R，所要训练的尺度相关滤波器尺寸为S,令-(S-1)/2≤N≤(S-1)/2，α为一个稍大于1的标量，α^N代表尺度变化因子，那么在围绕目标的尺寸大小为α^NP×α^NR的S个图像块，分别提取D维特征组合作为输入信号z_scale，尺度相关滤波器的构造过程具体如下：

令式(5)表示相关滤波过程：

其中

表示相关运算符，y_scale是输出响应，h_scale是尺度相关滤波器，d代表特征维数。式(5)的傅里叶变换为：

其中，∧代表傅里叶运算符，·代表点积运算符，*代表复共轭；

最优滤波器求解如式(7)所示：

求解式(7)得：

步骤四、利用训练好的背景感知相关滤波器和尺度相关滤波器在新一帧图像检测目标，并选择性更新背景感知相关滤波器和尺度相关滤波器：

在与上一帧的目标位置相同的位置提取背景感知相关滤波器所需特征

计算背景感知相关滤波器输出响应：

式中f代表当前帧，f-1代表上一帧，

表示

根据式(2)提取的特征，

表示上一帧计算得到的背景感知滤波器模型；

根据式(9)计算的

计算峰值旁瓣比：

其中，psr代表峰值旁瓣比，P代表

的峰值，μ_s代表旁瓣均值，σ_s代表旁瓣标准差；

设Q代表峰值旁瓣比的阈值，

1、如果psr≥Q：

将背景感知相关滤波器最大输出响应对应的位置作为当前目标的位置，然后在此位置上提取尺度滤波器所需特征

求解尺度滤波器输出响应：

这里A代表式(8)的分子部分，B代表式(8)的分母部分，

代表前一帧求得的尺度滤波器模型；

设当前帧尺度滤波器最大输出响应对应的尺度变化因子为

上一帧目标尺寸为P^f-1×R^f-1，则当前帧目标尺寸为

更新背景感知滤波器模型和尺度相关滤波器模型：

将

带入到A中计算得到A^f，将

带入到B中计算得到B^f，那么尺度滤波器模型按下式更新：

这里同样将尺度滤波器模型分为分子部分

和分母部分

η代表学习率；

对于背景感知相关滤波器模型的更新，先更新外观模型

再将式(13)带入式(4)，求解当前帧背景感知相关滤波器模型

更新卡尔曼滤波器；

2、如果上述求得的峰值旁瓣比psr＜Q：

不更新背景感知相关滤波器模型和尺度相关滤波器模型，运用卡尔曼滤波器估计行人的位置和尺寸，最后更新卡尔曼滤波器；

步骤五、返回步骤四直到跟踪结束。

本发明公开了一种基于背景感知相关滤波器的智能车辆前方行人跟踪方法，在背景感知相关滤波器的基础上，根据车辆前方行人运动的特点，建立了运动行人尺度快速估计和选择性模型更新的行人跟踪算法；首先，在线训练学习待跟踪行人的背景感知相关滤波器；其次，针对行人的尺度变化训练一个一维的尺度相关滤波器对尺度进行精细搜索，避免了传统算法仅对尺度进行粗略估计而无法适应车载的快速尺度变化的问题；最后，利用峰值旁瓣比评价行人状态，建立背景感知相关滤波器的选择性更新机制，使其能够处理短时遮挡等情况，增加了算法了鲁棒性。

与现有技术相比本发明的有益效果是：

1、本发明提出的基于背景相关滤波器的智能车辆前方行人跟踪方法，采用较为精细的尺度搜索算法，相比于传统行人跟踪算法更适用于无人驾驶等场景。

2、在模型更新步骤中，采用选择性更新方法，能够处理短时遮挡等情况。

附图说明

图1是本发明所述的一种基于背景感知相关滤波器的智能车辆前方行人跟踪方法的框架示意图；

图2是步骤四所述在下一帧检测目标位置和尺度并选择性更新背景感知相关滤波器和尺度相关滤波器的流程图；

图3a是在尺度变化实验中计算的中心像素误差对比图；

图3b是在尺度变化实验中计算的重叠得分对比图；；

图4a是在遮挡对比实验中计算的中心像素误差对比图；

图4b是在遮挡对比实验中计算的重叠得分对比图；

图5a是整体性能对比实验中的中心像素误差成功率绘图；

图5b是整体性能对比实验中的重叠得分成功率绘图。

具体实施方式

下面结合附图对本发明作详细的描述：

如图1所示的本发明所述的方法框架，本发明所述方法采用对车辆前方行人进行跟踪，包含了尺度精细搜索与选择性背景更新过程，具体步骤如下：

步骤一、通过手动标定或通过行人检测器初始化所要跟踪的行人位置，用矩形框框定行人，矩形框的中心点位置代表行人中心位置，矩形框的尺寸代表行人的尺寸，用位置和尺寸作为参数初始化卡尔曼滤波器；

步骤二、根据相关滤波原理，两信号相关性越强，其相关响应越大，若其中一个信号为另一个信号的最优相关滤波器，则该信号对应相关响应的极大值，可实现信号的检测与识别，背景感知的相关滤波算法能够负样本的边界效应，提高了跟踪性能，根据在步骤一选定的框定行人的矩形框的位置，训练背景感知相关滤波器：

以一维信号为例说明构造最优的背景感知相关滤波器的过程，求解背景感知相关滤波器的空域目标函数表示为：

式中，y是输出响应，z是输入信号，h是传统的相关滤波器，L表示特征通道数，l表示第l个特征通道，T表示转置，M代表信号z的长度，B是大小为D×M的二值矩阵，Δτ_j代表将信号进行第j步循环移位，Bz_l[Δτ_j]即表示将长度为M的信号进行第j步循环移位后，截取其对应的D个元素，λ是正则项参数，||||表示求二范数；

为了方便求解，记

则式(1)的频域表示为：

式中，a代表了背景感知相关滤波器，∧代表离散傅里叶变换，F为傅里叶变换矩阵，I_L为单位矩阵，

代表克罗内克积，

这里diag()表示构造对角矩阵；

对式(2)的求解转化为优化求解

和h^*，这里*表示取共轭转置，应用增广拉格朗日方法和交替方向乘子法(ADMM)等凸优化方法求解得到：

式中：μ是惩罚因子，

是频域的拉格朗日向量。a和ε都可以分解成L个部分求解，即a＝{a₁,a₂,...a_L}，ε＝{ε₁,ε₂,...ε_L}，这里

其中l＝1,2...L；

可将

分解为M个独立的解：

其中

conj()表示取共轭，

其中l＝1，2...L，

步骤三、车辆自动驾驶应用中，由于行人与车辆之间快速的相对运动，导致行人尺度快速变化，传统的行人跟踪算法不具有较为精细的尺度搜索机制，无法满足车载视频行人跟踪的需求，因此在步骤一选定的框定行人的矩形框的位置，训练尺度相关滤波器，以便用于尺度的精细搜索，具体过程如下：

假设框定行人的矩形框的尺寸为P×R，所要训练的尺度相关滤波器尺寸为S,令-(S-1)/2≤N≤(S-1)/2，α为一个稍大于1的标量，α^N代表尺度变化因子，那么在围绕目标的尺寸大小为α^NP×α^NR的S个图像块，分别提取D维特征组合作为输入信号z_scale，尺度相关滤波器的构造过程具体如下：

令式(5)表示相关滤波过程：

其中

表示相关运算符，y_scale是输出响应，h_scale是尺度相关滤波器，d代表特征维数。式(5)的傅里叶变换为：

其中，∧代表傅里叶运算符，·代表点积运算符，*代表复共轭；

最优滤波器求解如式(7)所示：

求解式(7)得：

步骤四、在行人跟踪过程中，难免遇到行人运动遮挡的情况，导致行人重新完整出现时的目标跟踪丢失或漂移问题，峰值旁瓣比表示相关滤波器输出响应峰值的强弱，正常跟踪时应该具有较大的峰值旁瓣比，而在目标发生遮挡或跟踪失败时峰值旁瓣比较小，因此峰值旁瓣比可用来判断行人跟踪过程是否发生遮挡，在下一帧检测目标位置和尺度，并通过计算峰值旁瓣比选择性更新背景感知相关滤波器和尺度相关滤波器，有效解决目标遮挡问题，具体过程如下：

在与上一帧的目标位置相同的位置提取背景感知相关滤波器所需特征

计算背景感知相关滤波器输出响应：

式中f代表当前帧，f-1代表上一帧，

表示

根据式(2)提取的特征，

表示上一帧计算得到的背景感知滤波器模型；

根据式(9)计算的

计算峰值旁瓣比：

其中，psr代表峰值旁瓣比，P代表

的峰值，μ_s代表旁瓣均值，σ_s代表旁瓣标准差；

设Q代表峰值旁瓣比的阈值，

1、如果psr≥Q：

将背景感知相关滤波器最大输出响应对应的位置作为当前目标的位置，然后在此位置上提取尺度滤波器所需特征

求解尺度滤波器输出响应：

这里A代表式(8)的分子部分，B代表式(8)的分母部分，

代表前一帧求得的尺度滤波器模型；

设当前帧尺度滤波器最大输出响应对应的尺度变化因子为

上一帧目标尺寸为P^f-1×R^f-1，则当前帧目标尺寸为

更新背景感知滤波器模型和尺度相关滤波器模型：

将

带入到A中计算得到A^f，将

带入到B中计算得到B^f，那么尺度滤波器模型按下式更新：

这里同样将尺度滤波器模型分为分子部分

和分母部分

η代表学习率；

对于背景感知相关滤波器模型的更新，先更新外观模型

再将式(13)带入式(4)求解当前帧背景感知相关滤波器模型

更新卡尔曼滤波器；

2、如果上述求得的峰值旁瓣比psr＜Q：

不更新背景感知相关滤波器模型和尺度相关滤波器模型，运用卡尔曼滤波器估计行人的位置和尺寸，最后更新卡尔曼滤波器；

步骤五、返回步骤四直到跟踪结束。

一段视频分为很多帧图像，步骤四是用于检测新一帧图像的行人，需要不断重复步骤四，直到检测完所有帧图像，直到跟踪结束。

如图3-5所示，将本发明所述方法在JLU-PDS车载实验平台、国际Daimler车载行人测试视频集和美国OTB共享国际测试库进行测试。结合图1所述过程，对车载摄像机拍摄的图像分别进行初始化行人位置并初始化卡尔曼滤波器、训练背景感知相关滤波器、训练尺度相关滤波器、检测目标位置和尺度并选择性更新背景感知相关滤波器和尺度相关滤波器等步骤，完成行人跟踪，采用中心像素误差(center location error)、重叠得分(overlapscore)和成功率曲线图等三个指标评价算法性能，中心像素误差定义为：跟踪目标的中心点(x₁,y₁)与标定的真实位置的中心点(x₂,y₂)间的欧式距离，表示为式(14)：

中心像素误差表征跟踪算法的精度，中心像素误差越小，说明算法的精度越大；

若目标跟踪结果利用矩形框表示，设跟踪结果的矩形框为r_t，真实标定值的矩形框为r_a，那么重叠得分定义为：

重叠得分可以用来反映算法对目标尺度变化的适应情况，重叠得分越大说明算法越能适应尺度的变化；

成功率曲线图指的是以中心像素误差或重叠得分为评价标准，令其对应的阈值在某一范围内变化，计算对应的算法的成功率并依此绘制出的曲线，成功率曲线图表征评价算法在所有视频序列的整体性能；

实验结果显示本算法能够较好地满足行人被部分遮挡、尺度变化等复杂环境下的应用，表明了本发明的算法具有较好的环境应用性和较好的性能，为行人行为估计、无人驾驶汽车避障等技术提供技术支持。

Claims (2)

1.一种基于背景感知相关滤波器的智能车辆前方行人跟踪方法，其特征在于，步骤如下：

步骤一、通过手动标定或通过行人检测器初始化所要跟踪的行人位置，用矩形框框定行人，矩形框的中心点位置代表行人中心位置，矩形框的尺寸代表行人的尺寸，用位置和尺寸作为参数初始化卡尔曼滤波器；

步骤二、在步骤一选定的框定行人的矩形框的位置，训练背景感知相关滤波器；

步骤三、在步骤一选定的框定行人的矩形框的位置，训练尺度相关滤波器；

步骤四、利用训练好的背景感知相关滤波器和尺度相关滤波器在新一帧图像检测目标，并选择性更新背景感知相关滤波器和尺度相关滤波器；

步骤五、返回步骤四直到跟踪结束；

步骤二中所述训练背景感知相关滤波器，具体步骤如下：

1)以一维信号为例，说明构造最优的背景感知相关滤波器的过程，求解背景感知相关滤波器的空域目标函数表示为：

式中，y是输出响应，z是输入信号，h是传统的相关滤波器，L表示特征通道数，l表示第l个特征通道，T表示转置，M代表信号z的长度，B是大小为D×M的二值矩阵，Δτ_j代表将信号进行第j步循环移位，Bz_l[Δτ_j]表示将长度为M的信号进行第j步循环移位后，截取其对应的D个元素，λ是正则项参数，|| ||表示求二范数；

2)记

则式(1)的频域表示为：

式中，a代表了背景感知相关滤波器，∧代表离散傅里叶变换，F为傅里叶变换矩阵，I_L为单位矩阵，

代表克罗内克积，

这里diag()表示构造对角矩阵；

3)对式(2)的求解转化为优化求解

和h^*，这里*表示取共轭转置，应用增广拉格朗日方法和交替方向乘子法求解得到：

式中：μ是惩罚因子，

是频域的拉格朗日向量；a和ε分解成L个部分求解，即a＝{a₁,a₂,...a_L}，ε＝{ε₁,ε₂,...ε_L}，这里

其中l＝1,2...L；

4)将

分解为M个独立的解：

其中m＝1,...,M，

conj()表示取共轭，

其中l＝1,2...L，

步骤三中所述训练尺度相关滤波器，具体步骤如下：

假设框定行人的矩形框的尺寸为P×R，所要训练的尺度相关滤波器尺寸为S,令-(S-1)/2≤N≤(S-1)/2，α为一个稍大于1的标量，α^N代表尺度变化因子，在围绕目标的尺寸大小为α^NP×α^NR的S个图像块，分别提取D维特征组合作为输入信号z_scale，尺度相关滤波器的构造过程具体如下：

令式(5)表示相关滤波过程：

其中

表示相关运算符，y_scale是输出响应，h_scale是尺度相关滤波器，d代表特征维数；

式(5)的傅里叶变换为：

其中，∧代表傅里叶运算符，·代表点积运算符，*代表复共轭；

最优滤波器求解如式(7)所示：

求解式(7)得：

2.根据权利要求1所述的一种基于背景感知相关滤波器的智能车辆前方行人跟踪方法，其特征在于：

步骤四中所述利用训练好的背景感知相关滤波器和尺度相关滤波器在新一帧图像检测目标，并选择性更新背景感知相关滤波器和尺度相关滤波器，具体步骤如下：

在与上一帧的目标位置相同的位置提取背景感知相关滤波器所需特征

计算背景感知相关滤波器输出响应：

式中：f代表当前帧，f-1代表上一帧，

表示

根据式(2)提取的特征，

表示上一帧计算得到的背景感知滤波器模型；

根据式(9)计算的

计算峰值旁瓣比：

其中，psr代表峰值旁瓣比，P代表

的峰值，μ_s代表旁瓣均值，σ_s代表旁瓣标准差；

设Q代表峰值旁瓣比的阈值：

1)、如果psr≥Q：

将背景感知相关滤波器最大输出响应对应的位置作为当前目标的位置，然后在此位置上提取尺度滤波器所需特征

求解尺度滤波器输出响应：

式中：A代表式(8)的分子部分，B代表式(8)的分母部分，

代表前一帧求得的尺度滤波器模型；

设当前帧尺度滤波器最大输出响应对应的尺度变化因子为

上一帧目标尺寸为P^f-1×R^f-1，则当前帧目标尺寸为

更新背景感知滤波器模型和尺度相关滤波器模型：

将

带入到A中，计算得到A^f；将

带入到B中，计算得到B^f；尺度滤波器模型按下式更新：

将尺度滤波器模型分为分子部分

和分母部分

η代表学习率；

对于背景感知相关滤波器模型的更新，先更新外观模型

再将式(13)带入式(4)，求解当前帧背景感知相关滤波器模型

更新卡尔曼滤波器；

2)、如果峰值旁瓣比psr＜Q：

不更新背景感知相关滤波器模型和尺度相关滤波器模型，运用卡尔曼滤波器估计行人的位置和尺寸，最后更新卡尔曼滤波器。

Images