CN112633162A - 适于高速公路外场遮挡条件下的行人快速检测及跟踪方法 - Google Patents

Abstract

本发明公开了适于高速公路外场遮挡条件下的行人快速检测及跟踪方法，包括以下步骤：步骤一：对高速公路监控视频图像进行数据重建、增强；步骤二：快速获取高级语义、更为突出且大感受野的特征，主要包括以下三个部分；步骤三：构建适用于小尺度目标检测的FPEM特征融合增强结构，主要包括以下两个部分：步骤四：构建并行DeepParts部件检测器+基于概率密度函数的置信图分布；步骤五：损失函数的设计；步骤六：轨迹跟踪预测，状态更新。本发明能有效降低因目标遮挡、目标缩小、目标丢失、目标相似、目标变换等因素造成的行人目标检测错误的情况，提高跟踪精度的同时满足实时性的要求。

Description

适于高速公路外场遮挡条件下的行人快速检测及跟踪方法

技术领域

本发明涉及智能交通领域，特别涉及适于高速公路外场遮挡条件下的行人快速检测及跟踪方法。

背景技术

目前，行人目标检测技术在智能驾驶、智能监控、智能机器人等领域都有广泛的应用。高速公路环境下，应用行人检测技术并自动预警，可以有效地减少高速公路行人事故从而提高高速公路运营安全。但是由于该领域涉及众多学科，并且研究对象复杂，即使经过多年发展，到目前为止仍有大量难题亟待解决。

尤其在实际应用到高速公路环境中时，由于行人目标尺寸的多样性、环境复杂多变等因素导致行人多为模糊或被遮挡的小目标，针对该类问题一直都是研究的难点，现有的许多技术和方案还不够完善，远远达不到实用的程度。本文针对上述问题开展研究工作，以提高基于监控视频的行人目标检测和跟踪结果的准确性。

发明内容

有鉴于此，在高速公路外场环境下进行行人目标匹配时必须考虑行人遮挡和非目标相似的问题，本发明将在行人目标检测的基础上实现行人跟踪。首先通过深度学习的SSD算法，检测到视频图像上的行人目标，检测的精度决定了行人目标跟踪的性能，本发明的目的是提供适于高速公路外场遮挡条件下的行人快速检测及跟踪方法。

本发明的目的是通过以下技术方案来实现的：

适于高速公路外场遮挡条件下的行人快速检测及跟踪方法，包括以下步骤：

步骤一：对高速公路监控视频图像进行数据重建、增强；

步骤二：快速获取高级语义、更为突出且大感受野的特征f；

步骤三：构建适用于小尺度目标检测的FPEM特征融合增强结构：

步骤四：构建并行DeepParts部件检测器+基于概率密度函数的置信图分布；

步骤五：损失函数的设计；

步骤六：轨迹跟踪预测，状态更新。

进一步，所述步骤一具体包括以下子步骤：

1)从训练图像中，进行K-Means聚类，统计行人分布区域；

2)对图像进行随机裁剪一块区域，但需要保证裁剪区域存在目标，且不同裁剪图片重叠区域；

3)将扩充图片缩放到输入分辨率大小。

进一步，所述步骤二具体包括以下子步骤：

1)采用DenseNet骨干网络，选取特征最为丰富和语义信息相对高级Layers构建CSP特征提纯结构；

2)采用改进注意力机制提取通道域特征，使用k＝{1*1,5*5,9*9,13*13}的最大池化的方式，再将不同尺度的特征图进行concat操作，获得编码丰富细节信息的特征f。

进一步，所述步骤三具体包括以下子步骤：

1)特征金字塔中分辨率高于f的特征，利用最近邻上采样扩大f的分辨率，再使用1×1

卷积进行提纯；

2)特征金字塔中分辨率小于和等于f的特征，直接对f利用指定步长的3×3卷积来获得；3)up-scale阶段以步长32,16,8,4像素在特征图上迭代增强；

4)down-scale阶段输入的是由up-scale增强生成的特征金字塔，增强的步长从4到32。进一步，所述步骤四具体包括以下子步骤：

1)根据不同卷积层对人体部件的检测敏感度不同，选取6个layers的输出融合到检测层，最后构建3×2的部件置信框；

2)根据数据集行人分布情况，统计出各部件的概率，构建以部件图为基础的概率分布图。

进一步，所述步骤五具体包括以下子步骤：

1)在Anchor生成部分，考虑到正负样本处于极不平衡状态，因此采用Focal Loss来计算Anchor位置损失L_loc；

2)对Anchor的预测包括分类和回归两部分，分类L_cls采用基于Softmax的交叉熵损失函数，回归L_reg采用CIOU_Loss损失函数；

3)对于DeepSorts构建的部件框，采用根据步骤四统计的概率函数L_body；

4)在Anchor生成部分，仅考虑宽高，利用DIOU_Loss计算Anchor形状分支的损失L_shape

5)整个网络的损失函数包括上述五个部分，且Anchor生成部分和网络预测部分的Loss利用λ参数进行平衡，即Loss＝L_cls+L_reg+λ(L_loc+L_shape+L_body)，式中，λ代表两部分损失的加权系数。

进一步，所述步骤六具体包括以下子步骤：

1)构建基于LSTM的像素级异常检测，形成一种对于行人背景响应强烈的掩膜(mask)；

2)使用deepsort跟踪器，经过上述掩膜过滤后的特征，采用以检测为中心的跟踪方式，将异常检测分为两类：异常出现和异常消失；针对异常出现情况，采用以检测为主的跟踪矫正方式；针对异常消失的情况，采用以跟踪预测的方式，模拟轨迹。

由于采用了上述技术方案，本发明具有如下的有益效果：

本发明从高速公路外场实际环境出发，在行人目标检测的基础上，融合了局部和整体特征、概率分布特征和轨迹特征，并引入注意力机制和跟踪的方法，提出一种适于高速公路外场环境特性的行人目标跟踪方法。该方法能有效降低因目标遮挡、目标缩小、目标丢失、目标相似、目标变换等因素造成的行人目标检测错误的情况，提高跟踪精度的同时满足实时性的要求。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究，对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

本发明的附图说明如下。

图1为本发明总体流程图；

图2为本发明的装置结构示意图。

具体实施方式

为使本发明的技术方案、优点和目的更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本申请的保护范围。

下面结合附图和实施例对本发明作进一步说明。

实施例1

如图1-2所示，本实施例提供的适于高速公路外场遮挡条件下的行人快速检测及跟踪方法，包括以下步骤：

步骤一：数据准备工作，对高速公路监控视频图像进行数据重建、增强，主要包括以下3个部分；

1)将标注的行人标注框的高和宽高比以及坐标信息数据作为样本集输入到K-means中进行聚类处理，得到标注框的高宽比以及位置分布情况的聚类结果，根据高宽比将数据集划分为Large、Medium、Small三类，根据行人分布区域，确立裁剪的图片大小以及裁剪的大致区域。

2)根据上述步骤统计的分布区域，随机确立中心点，然后向左右上下分别扩张，从而确立基本的裁剪区域900*600。按照下式计算裁剪区域和所有目标框的交并比IoU：

其中,area表示框的面积，∩代表两个框的交集部分，∪代表两个框的并集部分。若IoU最小值小于设定的指定阈值(如0.15)，表明裁剪区域与所有目标的重合度均超过指定阈值。若目标超过5000个，重新确立裁剪区域。若不满足上述条件，重复裁剪50次，若仍不满足则直接输出原图；

3)随机生成扩展图片的宽高两个参数，再随机生成放置裁剪区域的左上角点，接着将裁剪区域填充到扩展图片中，其他部分则填充零像素；步骤一的算法如下：

步骤二：快速获取高级语义、更为突出且大感受野的特征f，主要包括以下三个部分；

1)采用DenseNet，每个阶段均包含一个密集连接层和过渡层在部分密集块中，剔除存在大量重复的梯度信息的layers，得到特征信息较为丰富的密集层的输出[x”₀,x₁,…,x_k]；

2)将上述密集层根据如下公式过渡，生成提纯后的特征层输出x_U；

3)与选取部分网络组件，添加改进注意力机制。具体来说，将卷积、批归一化层(BN)和激活函数(ReLu)组合为一个卷积模块，堆叠若干个卷积模块，对输入图片选取不同池化层进行k＝{1*1,5*5,9*9,13*13}，通过concat操作到卷积模块中，获得编码丰富细节信息的特征图f；

步骤三：构建适用于小尺度目标检测的FPEM特征融合增强结构，主要包括以下三个部分：

1)首先构建特征金字塔模块，为了获得高维度的下采样特征图，需对f进行2倍上采样，将相邻的4个通道的特征图重组为空间分辨率扩大2倍的特征，同时利用1×1卷积保证输出特征图通道数统一为256；

2)特征金字塔中和f分辨率一样大的特征图，对f利用一个256通道的3×3卷积获得；对于分辨率小于f的特征图，以64倍下采样特征图为例，对f需要再进行4倍下采样获得，因此利用两个步长为2的3×3卷积级联获得，以此类推。特征金字塔总共设置3个级别，尺度最大的为8倍下采样特征图，尺度最小的为128倍下采样特征图。

3)up-scale增强作用于输入的特征金字塔，以步长32,16,8,4像素在特征图上迭代增强。在down-scale阶段，输入由up-scale增强生成的特征金字塔，步长的增强从4扩展32，同时，down-scale增强输出的的特征金字塔就是最终FPEM的输出。

步骤四：构建并行DeepParts部件检测器+基于概率密度函数的置信图分布：

1)根据不同卷积层对人体部件的检测敏感度不同，选取6个layers的输出融合到检测层，最后构建3×2的部件置信框；

2)根据数据集行人分布情况，统计出各部件的概率，构建以部件图为基础的概率分布图，概率函数为M＝[M0,…M1]。

步骤五：损失函数的设计，主要包括以下四个部分：

1)利用Focal loss计算Anchor位置部分的损失：

L_loc＝-(ylgp+(1-y)lg(1-p))

其中，y和p分别表示Anchor位置标签图和预测图中对应的值。

进一步，利用Focal loss对正负样本的数量和难度进行平衡，如下式所示：

其中，定义p_t：

那么L_loc＝-lgp_t，α用于平衡正负样本数量的不平衡，(1-p_t)^r用于平衡难易样本数量的不平衡，让网络更专注于学习数量少、难度高的类别；

2)对Anchor的分类部分采用基于Softmax的交叉熵损失函数，公式如下：

其中，x_j表示样本对真实类别的预测值，C是类别总数，ε是一个极小数(例如10^-5)，为了防止分母小于计算机表示精度时退位为0。

Bounding box损失函数采用CIOU_Loss。

其中v是衡量长宽比一致性的参数，Dis_2为中心点距离，Dis_C为重叠面积，IoU是检测框和真实目标框的交并比，详见步骤一。

3)Anchor形状分支损失函数：根据步骤四的分析，随机选取128个正样本Anchor，将预测的宽高联合当前特征点坐标位置，还原到原图像中从而得到生成Anchor的具体位置和形状。采用基于IoU的方法计算该部分损失函数，公式如下：

其中，

表示对生成的Anchor的惩罚项，惩罚项计算公式如下：

其中，ρ²(b,b^gt)表示Anchor框B和目标框B^gt中心点之间的欧氏距离，c表示B和B^gt的最小外界矩形的对角线长度，这样可以生成成更符合目标分布的Anchor；

4)将回归框拆分成3*2的部件图，根据步骤四得到的概率分布函数L_body进行优化，来使得边界框能够标定局部遮挡物体；

5)综合前面四个小步骤，整个网络的损失函数为生成Anchor部分产生的损失和网络预测部分产生的损失的加权和，如下式所示：

Loss＝L_cls+L_reg+λ(L_loc+L_shape+L_body)

其中，λ是两部分损失的加权系数，一般取为1。

步骤六：轨迹跟踪预测，状态更新，主要包括以下六个部分：

1)根据步骤一，划分出的行人易出现区域，将其按照600*600的比例进行裁剪，建立以LSTM为核心的以时间序列和像素点为输入的预测网络，

其中

代表视频第t帧的预测值，x_t代表视频第t帧的真实值。并通过以下公式，输出相对敏感度高的掩膜输出。

其中正常情况出现取1，异常出现取0，异常消失出现取2。因此用

来获取异常部分。

2)使用DeepSort跟踪器，经过上述步骤掩膜过滤后的特征，可得到高度敏感的像素图片，采用以检测为中心的跟踪方式，针对异常出现情况，采用以检测为主的跟踪矫正方式；针对异常消失的情况，采用以跟踪预测的方式，模拟轨迹。

本实施例通过K-Means聚类的方法统计行人疑似出现区域以及基于IOU的裁剪方式，获得900*600小分辨率的行人数据集；通过训练的卷积神经网络，获得行人目标的表观特征，卷积网络提供的高级语义特征，可以较好的解决相似目标之间的问题；通过引入改进中注意力机制以及特征增强模块，可以快速捕捉小目标行人的局部特征。通过DPM模型和DeepParts来重构行人的局部特征模型，以此为基础，改进DeepParts融合概率密度函数来提高整体行人的置信度，从而可以解决严重遮挡以及小目标行人的特征不完整问题；同时针对长时间遮挡，本发明采用了LSTM异常预测+DeepSorts的思路，通过异常诊断和轨迹预测的方法，进一步提高检测的精度和速度。

本发明从高速公路外场实际环境出发，在行人目标检测的基础上，融合了局部和整体特征、概率分布特征和轨迹特征，并引入注意力机制和跟踪的方法，提出一种适于高速公路外场环境特性的行人目标跟踪方法。该方法能有效降低因目标遮挡、目标缩小、目标丢失、目标相似、目标变换等因素造成的行人目标检测错误的情况，提高跟踪精度的同时满足实时性的要求。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的保护范围当中。

Claims (7)

1.适于高速公路外场遮挡条件下的行人快速检测及跟踪方法，其特征在于，包括以下步骤：

步骤一：对高速公路监控视频图像进行数据重建、增强；

步骤二：快速获取高级语义、更为突出且大感受野的特征f；

步骤三：构建适用于小尺度目标检测的FPEM特征融合增强结构；

步骤四：构建并行DeepParts部件检测器+基于概率密度函数的置信图分布；

步骤五：损失函数的设计；

步骤六：轨迹跟踪预测，状态更新。

2.根据权利要求1所述的方法，其特征在于，所述步骤一具体包括以下子步骤：

1)从训练图像中，进行K-Means聚类，统计行人分布区域；

2)对图像进行随机裁剪一块区域，但需要保证裁剪区域存在目标，且不同裁剪图片重叠区域；

3)将扩充图片缩放到输入分辨率大小。

3.根据权利要求2所述的方法，其特征在于，所述步骤二具体包括以下子步骤：

1)采用DenseNet骨干网络，选取特征最为丰富和语义信息相对高级Layers构建CSP特征提纯结构；

2)采用改进注意力机制提取通道域特征，使用k＝{1*1,5*5,9*9,13*13}的最大池化的方式，再将不同尺度的特征图进行concat操作，获得编码丰富细节信息的特征f。

4.根据权利要求3所述的方法，其特征在于，所述步骤三具体包括以下子步骤：

1)特征金字塔中分辨率高于f的特征，利用最近邻上采样扩大f的分辨率，再使用1×1卷积进行提纯；

2)特征金字塔中分辨率小于和等于f的特征，直接对f利用指定步长的3×3卷积来获得；

3)up-scale阶段以步长32,16,8,4像素在特征图上迭代增强；

4)down-scale阶段输入的是由up-scale增强生成的特征金字塔，增强的步长从4到32。

5.根据权利要求4所述的方法，其特征在于，所述步骤四具体包括以下子步骤：

1)根据不同卷积层对人体部件的检测敏感度不同，选取6个layers的输出融合到检测层，最后构建3×2的部件置信框；

2)根据数据集行人分布情况，统计出各部件的概率，构建以部件图为基础的概率分布图。

6.根据权利要求5所述的方法，其特征在于，所述步骤五具体包括以下子步骤：

1)在Anchor生成部分，考虑到正负样本处于极不平衡状态，因此采用Focal Loss来计算Anchor位置损失L_loc；

2)对Anchor的预测包括分类和回归两部分，分类L_cls采用基于Softmax的交叉熵损失函数，回归L_reg采用CIOU_Loss损失函数；

3)在Anchor生成部分，仅考虑宽高，利用DIOU_Loss计算Anchor形状分支的损失L_shape4)对于DeepSorts构建的部件框，采用根据步骤四统计的概率函数L_body；

5)整个网络的损失函数包括上述五个部分，且Anchor生成部分和网络预测部分的Loss利用λ参数进行平衡，即Loss＝L_cls+L_reg+λ(L_loc+L_shape+L_body)，式中，λ代表两部分损失的加权系数。

7.根据权利要求6所述的方法，其特征在于，所述步骤六具体包括以下子步骤：

1)构建基于LSTM的像素级异常检测，形成一种对于行人背景响应强烈的掩膜(mask)；

2)使用deepsort跟踪器，经过上述掩膜过滤后的特征，采用以检测为中心的跟踪方式，将异常检测分为两类：异常出现和异常消失；针对异常出现情况，采用以检测为主的跟踪矫正方式；针对异常消失的情况，采用以跟踪预测的方式，模拟轨迹。

Images