CN111768429A - 一种基于卡尔曼滤波和行人重识别算法的隧道环境下行人目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于卡尔曼滤波和行人重识别算法的隧道环境下行人目标跟踪方法，本发明从高速公路隧道实际情况出发，针对高速公路隧道环境下行人目标相对较小且容易受到遮挡问题，采用目标检测跟踪的方法，利用K‑means对Faster R‑CNN网络的Anchor进行重新设计，使其候选框更适合隧道环境下的行人目标检测，其次将Faster R‑CNN网络特征提取层的conv3层中的特征信息添到conv5层中，提高网络的特征提取能力；针对隧道环境下行人目标容易受到遮挡，采用卡尔曼滤波容易导致行人目标跟踪不能连续跟踪，将行人重识别网络引入，利用卡尔曼滤波和行人重识别网络进行行人目标的跟踪；最终提高了行人的识别、跟踪的准确率。

Description

一种基于卡尔曼滤波和行人重识别算法的隧道环境下行人目 标跟踪方法

技术领域

本发明涉及行人检测与跟踪技术领域，特别涉及一种基于卡尔曼滤波和行人重识别算法的隧道环境下行人目标跟踪方法。

背景技术

行人出现在高速公路中，对行人目标进行报警是现在监控常用的方法，为了进一步得到行人目标信息。可以采用行人目标跟踪方法。在高速公路隧道环境下由于图像比较昏暗、行人目标相对较小且行人目标容易受到遮挡，使得行人目标特征提取困难，使得无法对隧道环境下的行人目标进行连续跟踪，因此研究隧道环境下的行人目标跟踪技术有着重要的理论和现实意义。

通过阅读现有的论文和专利，跟踪主要是基于检测跟踪的方法，如：武汉理工大学申请的“基于多峰值检测的抗遮挡行人跟踪方法”(CN110414439A)，首先利用SSD算法对行人模板进行初始化，同时对目标响应峰值进行计算，判断行人目标是否受到遮挡，在遮挡过程中暂停滤波器和行人模板的更新，该发明有效的提高了行人目标形变和光照条件下的鲁棒性。南京工程学院申请的“基于迭代滤波和观测判别的多行人跟踪方法”(CN110349184A)，该发明首先利用3次迭代方法对行人目标进行检测，以减少行人目标的漏检和误检，提高行人目标的检测率，同时建立行人跟踪观测数据集；在行人目标跟踪中通过计算行人目标的轨迹置信度和观测数据集的匹配实现行人目标的跟踪。华南理工大学申请的“一种基于快速聚类的行人实时跟踪方法”(CN106570490B)，该发明利用通过对当前帧和上一帧的行人目标结果进行特征匹配实现行人目标的跟踪，在目标遮挡时通过对行人可能出现的位置进行预测，同时进行特征匹配从而实现行人目标的跟踪。浙江大学宁波理工学院申请的“一种快速行人检测与跟踪的方法”(CN110781769A)，该发明中先利用Vibe结合HOG+SVM的方法实现行人目标的快速定位，在此基础上实现行人目标的跟踪，在跟踪过程中利用归一化的平方差分匹配方法，实现行人目标之间的关联从而实现行人目标的跟踪。中山大学申请的“一种单摄像头的行人跟踪方法”，该发明将跟踪过程分为两步，第一步首先将匹配难度小的目标连接成小段置信度高的跟踪轨迹，然后再将小段的轨迹通过轨迹距离的方法连接成完成的跟踪轨迹。

针对高速公路隧道环境下行人目标相对较小且容易受到遮挡问题，本发明采用检测跟踪的方法实现行人目标的跟踪，对于行人目标检测来说采用目标检测率较高的FasterR-CNN算法作为行人目标检测框架，首先针对数据集的不同，对Faster R-CNN算法的Anchor进行重新设计，然后针对隧道环境下行人目标相对尺寸较小的难点，将Faster R-CNN特征提取层中的低层网络信息添加到高层网络信息中，增强网络的特征提取能力；在行人目标跟踪中，由于隧道环境下行人目标容易受到遮挡，采用卡尔曼滤波结合行人重识别的方法实现行人遮挡情况下的跟踪。

综上所述，本发明从高速公路隧道实际情况出发，针对隧道环境下的行人目标跟踪，采用检测跟踪的方法，首先针对行人目标检测来说，利用K-means对Faster R-CNN网络的Anchor进行重新设计，使其候选框更适合隧道环境下的行人目标检测，其次将Faster R-CNN网络特征提取层的conv3层中的特征信息添到conv5层中，提高网络的特征提取能力；针对隧道环境下行人目标容易受到遮挡，采用卡尔曼滤波容易导致行人目标跟踪不能连续跟踪，将行人重识别网络引入，利用卡尔曼滤波和行人重识别网络进行行人目标的跟踪。

发明内容

有鉴于此，本发明的目的是提供一种基于卡尔曼滤波和行人重识别算法的隧道环境下行人目标跟踪方法。

本发明的目的是通过以下技术方案来实现的：

一种基于卡尔曼滤波和行人重识别算法的隧道环境下行人目标跟踪方法，包括以下步骤：

步骤一：建立行人目标检测数据集，包括以下两个部分：

1)从高速公路监控中心获取隧道环境中行人目标的视频图像，并将视频图像保存为图片格式，从而获得行人目标图片；

2)对所述行人目标图片用矩形框框柱行人目标，并制作成VOC格式的行人数据集，并将所述行人数据集随机划分为训练集和测试集；

步骤二：优化Faster R-CNN网络的Anchor，包括以下两个部分：

1)对步骤一中的行人数据集中标注框的高度以及宽高采用无监督学习算法进行聚类处理；

2)将通过聚类处理后得到的高按照1.2～3的比例增长，得到Faster R-CNN网络的Anchor设置；

步骤三：将Faster R-CNN网络特征提取层中的低层网络信息添加到高层网络中，得到新的特征图；

步骤四：卡尔曼滤波预测和运动特征匹配的行人目标跟踪，包括以下四个部分：

1)对卡尔曼滤波器的行人目标初始状态参数进行初始化，

2)利用卡尔曼滤波器对行人位置信息进行预测，

3)行人运动特征的匹配，进行行人目标的跟踪，

4)对卡尔曼滤波器参数进行更新；

步骤五：行人重识别方法加入，主要包括两个部分：

1)制作行人重识别样本集，

2)将行人重识别网络的加入到行人目标跟踪算法中，综合卡尔曼滤波和行人重识别算法的结果判断行人跟踪是否正确。

进一步，步骤二中的1)中的所述无监督学习算法为K-means算法。

进一步，所述步骤三的具体过程如下：

1)将Faster R-CNN网络中的特征提取层中的第三层进行卷积和池化处理；

2)将处理后的第三层和Faster R-CNN网络中的特征提取层中第五层进行相乘，得到新的特征图。

进一步，所述步骤四的具体过程如下：

1)将行人目标初始框设定为利用改进后的Faster R-CNN检测出的行人目标框，并将初始速度设为0，

2)知道k-1时刻的系统估计误差与状态参数的基础上对k时刻的行人状态参数进行预测，具体表达式为

X_k＝AX_k-1+W

假设k-1时行人目标的状态参数预测值为X_k-1，则可以通过计算得到k时刻的状态参数预测值X_k,矢量W表示一个均值为零的高斯分布的噪声，即W～N(0,Q)，其中Q是协方差矩阵；

其中A和Q的表达式分别为：

3)采用马氏距离进行检测值和预测值的匹配，具体表达式为

其中d_j是当前检测到的第j个目标矩形框相对应的运动特征向量，y_j为当前跟踪第j个目标矩形框通过卡尔曼滤波器预测的期望特征向量，

为通过卡尔曼滤波器预测得到的观测空间的协方差矩阵，而d(i,j)是检测框和预测框之间匹配程度值。

4)通过上述计算可以得到当前时刻的状态参数预测值、观测值(行人目标检测结果)，从而就可以对当前时刻得到的预测结果进行修正，得到下一时刻的状态参数预测值；

由于采用了上述技术方案，本发明具有如下的有益效果：

本发明从高速公路隧道实际情况出发，针对高速公路隧道环境下行人目标相对较小且容易受到遮挡问题，采用目标检测跟踪的方法，利用K-means对Faster R-CNN网络的Anchor进行重新设计，使其候选框更适合隧道环境下的行人目标检测，其次将Faster R-CNN网络特征提取层的conv3层中的特征信息添到conv5层中，提高网络的特征提取能力；针对隧道环境下行人目标容易受到遮挡，采用卡尔曼滤波容易导致行人目标跟踪不能连续跟踪，将行人重识别网络引入，利用卡尔曼滤波和行人重识别网络进行行人目标的跟踪；最终提高了行人的识别、跟踪的准确率。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究，对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

本发明的附图说明如下。

图1是Faster R-CNN网络特征提取层连接示意图。

图2是行人目标跟踪整体框架。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

实施例1

如图1-2所示，本实施例提供的一种基于卡尔曼滤波和行人重识别算法的隧道环境下行人目标跟踪方法，包括以下步骤：

步骤一：建立行人目标检测数据集，包括以下两个部分：

1)在高速公路监控中心采集隧道环境下包含行人目标的视频图像，并将视频图像中每隔60帧的一帧图像保存为704*576大小的jpg格式的图片。

2)利用LabelImg工具对保存好的包含行人目标的jpg格式的图片进行标注，首先利用LabelImg工具将行人目标用矩形框完全框住，同时对矩形框打上person的数据标签，最后将标注完的图片保存为VOC格式数据，不断重复上述过程直至将全部图片标注完成，形成高速公路隧道环境下的行人目标检测数据集。最后将行人数据集按照9:1的比例随机设置为训练集和数据集；

步骤二：优化Faster R-CNN网络的Anchor，包括以下两个部分：

1)对步骤一中的行人数据集中标注框的高度以及宽高采用无监督学习算法进行聚类处理；

2)将通过聚类处理后得到的高按照1.2～3的比例增长，得到Faster R-CNN网络的Anchor设置。具体过程如下：在制作的行人数据集中根据聚类的结果可以得到行人框的高度在30到200之间，宽高比为0.42。将候选框的初始高度设为30，并按照比例大小为2的比例增加候选框的高度，一共设置4种大小的候选框。

通过上述操作设计的Anchor相比默认的9种候选框具有更少的候选框，在一定程度上提高了算法的检测速度，也更能适应隧道环境下的行人目标检测。

步骤三：将Faster R-CNN网络特征提取层中的低层网络信息添加到高层网络中，得到新的特征图；

步骤四：卡尔曼滤波预测和运动特征匹配的行人目标跟踪，包括以下四个部分：

1)对卡尔曼滤波器的行人目标初始状态参数进行初始化，

2)利用卡尔曼滤波器对行人位置信息进行预测，

3)行人运动特征的匹配，进行行人目标的跟踪，

4)对卡尔曼滤波器参数进行更新；

步骤五：行人重识别方法加入，主要包括两个部分：

1)首先采集在高速公路监控中心采集带有行人目标的视频图像。然后在同一个行人目标的视频中，采集3到4个行人目标图像，采集不同行人目标的多个图像，最终将图像作为行人重识别训练的样本集和测试集，在本专利中采用的行人重识别算法是Ahmed E等人在2016年Deep Filter Pairing Neural Network for Person Re-identification提出的孪生网络结构，

2)利用制作的行人重识别数据集对网络进行训练，将训练好的行人重识别算法添加到行人目标跟踪算法中，在利用卡尔曼滤波对行人位置进行预测的同时，将已正确跟踪的图片进行保存，用于行人重识别，在本实施例中保存50帧行人目标图像。

进一步，步骤二中的1)中的所述无监督学习算法为K-means算法。通过分析发现原始的Faster R-CNN网络使用的VOC07数据集和自己制作的高速公路隧道环境下的行人目标数据集有较大的差距，不能使用Faster R-CNN网络中默认的Anchor设置对高速公路隧道环境下的行人目标进行检测。首先将数据集中全部的行人标注框按照Faster R-CNN中处理图片的比例进行缩放处理，将处理好的行人标注框的高和宽高比作为样本集分别输入到K-means中进行聚类处理，得到高度和宽高比的聚类结果。

进一步，所述步骤三的具体过程如下：

1)结合图1对Faster R-CNN网络中将特征提取层中的低层特征信息添加到高层信息中进行详细介绍。首先将Faster R-CNN网络中特征提取层中第三层通过池化层的特征信息通过3*3的卷积将特征通道数从256升至512，使其满足conv5层通道数的要求；由于特征图的尺寸是conv5层的2倍，利用最大池化层将特征图大小变为原来的二分之一。

2)由于conv3层和conv5层的特征信息的尺度大小不一致，不能直接将处理后的特征信息和conv5中的信息进行融合。在进行特征融合前利用批量归一化算法对特征尺度进行归一化，使两者处于同一特征尺度，最后将两者特征信息进行相乘，得到新的特征图。

进一步，所述步骤四的具体过程如下：

1)由于监控视频的采样周期比较高，使得两帧图片之间的时间间隔比较短，并且行人运动速度较慢，可以假设行人在两帧之间是做匀速运动，在本发明中只利用卡尔曼滤波只对行人的检测框和速度进行预测。将行人目标初始框设定为利用改进后的Faster R-CNN检测出的行人目标框，并将初始速度设为0，

2)知道k-1时刻的系统估计误差与状态参数的基础上对k时刻的行人状态参数进行预测，具体表达式为

X_k＝AX_k-1+W

假设k-1时行人目标的状态参数预测值为X_k-1，则可以通过计算得到k时刻的状态参数预测值X_k,矢量W表示一个均值为零的高斯分布的噪声，即W～N(0,Q)，其中Q是协方差矩阵；

其中A和Q的表达式分别为：

3)将检测结果和跟踪预测结果进行匹配，本发明采用马氏距离进行检测值和预测值的关联，因为马氏距离不受量纲的影响。其具体表达式为

其中d_j是当前检测到的第j个目标矩形框相对应的运动特征向量，y_j为当前跟踪第j个目标矩形框通过卡尔曼滤波器预测的期望特征向量，

为通过卡尔曼滤波器预测得到的观测空间的协方差矩阵，而d(i,j)是检测框和预测框之间匹配程度值。

4)通过上述计算可以得到当前时刻的状态参数预测值、观测值(行人目标检测结果)，从而就可以对当前时刻得到的预测结果进行修正，得到下一时刻的状态参数预测值；

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的保护范围当中。

Claims (4)

1.一种基于卡尔曼滤波和行人重识别算法的隧道环境下行人目标跟踪方法，其特征在于，包括以下步骤：

步骤一：建立行人目标检测数据集，包括以下两个部分：

1)从高速公路监控中心获取隧道环境中行人目标的视频图像，并将视频图像保存为图片格式，从而获得行人目标图片；

2)对所述行人目标图片用矩形框框柱行人目标，并制作成VOC格式的行人数据集，并将所述行人数据集随机划分为训练集和测试集；

步骤二：优化Faster R-CNN网络的Anchor，包括以下两个部分：

1)对步骤一中的行人数据集中标注框的高度以及宽高采用无监督学习算法进行聚类处理；

2)将通过聚类处理后得到的高按照1.2～3的比例增长，得到Faster R-CNN网络的Anchor设置；

步骤三：将Faster R-CNN网络特征提取层中的低层网络信息添加到高层网络中，得到新的特征图；

步骤四：卡尔曼滤波预测和运动特征匹配的行人目标跟踪，包括以下四个部分：

1)对卡尔曼滤波器的行人目标初始状态参数进行初始化，

2)利用卡尔曼滤波器对行人位置信息进行预测，

3)行人运动特征的匹配，进行行人目标的跟踪，

4)对卡尔曼滤波器参数进行更新；

步骤五：行人重识别方法加入，主要包括两个部分：

1)制作行人重识别样本集，

2)将行人重识别网络的加入到行人目标跟踪算法中，综合卡尔曼滤波和行人重识别算法的结果判断行人跟踪是否正确。

2.根据权利要求1所述的跟踪方法，其特征在于，步骤二中的1)中的所述无监督学习算法为K-means算法。

3.根据权利要求1所述的跟踪方法，其特征在于，所述步骤三的具体过程如下：

1)将Faster R-CNN网络中的特征提取层中的第三层进行卷积和池化处理；

2)将处理后的第三层和Faster R-CNN网络中的特征提取层中第五层进行相乘，得到新的特征图。

4.根据权利要求1所述的跟踪方法，其特征在于，所述步骤四的具体过程如下：

1)将行人目标初始框设定为利用改进后的Faster R-CNN检测出的行人目标框，并将初始速度设为0，

2)知道k-1时刻的系统估计误差与状态参数的基础上对k时刻的状态参数进行预测，具体表达式为

X_k＝AX_k-1+W

假设k-1时行人目标的状态参数预测值为X_k-1，则可以通过计算得到k时刻的状态参数预测值X_k,矢量W表示一个均值为零的高斯分布的噪声，即W～N(0,Q)，其中Q是协方差矩阵；

其中A和Q的表达式分别为，其中Δt取单位时间1：

3)采用马氏距离进行检测值和预测值的匹配，具体表达式为

其中d_j是当前检测到的第j个目标矩形框相对应的运动特征向量，y_j为当前跟踪第j个目标矩形框通过卡尔曼滤波器预测的期望特征向量，

为通过卡尔曼滤波器预测得到的观测空间的协方差矩阵，而d(i,j)是检测框和预测框之间匹配程度值；

4)通过上述计算可以得到当前时刻的状态参数预测值、观测值(行人目标检测结果)，从而就可以对当前时刻得到的预测结果进行修正，得到下一时刻的状态参数预测值。

Images