CN112581498B - 面向智能车路系统的路侧遮挡场景车辆鲁棒跟踪方法 - Google Patents

Abstract

本发明涉及一种面向智能车路系统的路侧遮挡场景车辆鲁棒跟踪方法，该方法的核心在于，依靠少量标注的遮挡场景目标实例，基于生成对抗网络和场景迁移的方法，设计了一种具有局部遮挡及开阔场景适应性的目标检测跟踪模块，从而大举减少局部遮挡场景下目标检测跟踪模块丢失目标的概率，另一方面，基于卡尔曼动态位置估计的方法，设计了适用于严重遮挡场景过程的车辆多目标跟踪模块，通过集成上述两种模块，形成了遮挡场景全过程的车辆目标鲁棒跟踪系统。本发明所设计的方案具有较强的遮挡场景适应性和目标位置跟踪能力，可广泛应用于智能车路系统不同的遮挡场景之中。

Description

面向智能车路系统的路侧遮挡场景车辆鲁棒跟踪方法

技术领域

本发明所涉及的技术领域为智慧交通与信息感知领域，主要涉及智能车路系统中的复杂遮挡环境下的主动目标跟踪方法，尤其是涉及路侧场合下遮挡全过程的车辆鲁棒跟踪方法。

背景技术

智能车路系统是近年来智能交通发展的一大重要方向。通过路侧安装的智能感知设备，智能车路系统可以准确地识别通过该路段的车辆动态信息，从而提供安全诱导和智能管理服务。如系统感知到异常停车等异常驾驶行为，系统可为临近车辆提供安全诱导服务，另一方面，通过记录车辆的动态参数信息，该系统可以为交通管理人员提供精细化的交通数据。智能车路系统的种种应用令人期待，然而，现实环境的复杂多样，尤其是遮挡环境，给智能车路系统的车辆多目标跟踪任务带来了巨大难题。

现有的路侧车辆多目标跟踪算法大致分为三种：首先是基于传统的点特征跟踪，如稀疏光流和稠密光流的方法，基于稠密光流的方法计算量大，耗时严重，而基于稀疏光流的方法无法直接获得目标级别的跟踪效果，往往需要结合其他算法使用；其次是基于区域统计特征跟踪的方法，如KCF跟踪算法所采用的HOG特征，基于区域统计特征的方式依赖于手工设计的特征进行匹配，场景适应性不佳，随着深度学习的发展，也有基于自动特征提取的度量学习匹配方法出现，如DeepSORT、强化学习跟踪体等，但由于度量学习需要针对个体目标不同视角图片进行大量的标注，难以应用于交通领域成本受限的场合；最后是基于目标的跟踪方法，如基于深度学习目标检测模型的IOUTrack和SORT等，这些算法直接使用泛化性能强的目标检测模型作为目标跟踪的基础，在此之上，利用目标位置匹配的方式进行目标的跟踪，具有实时性好、应用成本低的核心优势，目前这类算法在智能车路系统中应用最为广泛。

基于目标检测的跟踪算法针对开阔场景的路侧车辆跟踪问题做了较为深入的研究，但对于现实生活中频频出现的遮挡场景，尤其是一些算法未曾学习过的少样本甚至无样本遮挡场景，则很容易出现大量的漏跟踪、误跟踪及重复计数等现象。如何改进现有算法，避免遮挡场景中不时出现的跟踪失败问题成为了一项巨大难题。该难题的解决方案和方法将有力提高智能车路系统在不同场景下的可靠性和实用性，从而大举提升智能交通的服务能力。

发明内容

针对现有路侧车辆多目标跟踪方法在遮挡场景发生的漏跟踪、误跟踪及重复计数等现实难题，本发明基于已有的开阔场景大样本车辆跟踪数据集和少样本的手工标注遮挡场景数据集，通过引入生成对抗网络结构与场景迁移的技巧，借助场景标签来学习不同场景的相同知识元，从而提升路侧车辆跟踪系统在局部遮挡场景的适应能力，在此基础之上，通过引入卡尔曼滤波理论，对严重遮挡的车辆运动位置进行精准预测，从而实现遮挡环境全链条的车辆目标鲁棒跟踪。

其技术方案如下：首先划分路侧场景为严重遮挡场景、局部遮挡场景和开阔场景，其次，面向局部遮挡和开阔场景，基于已有的大量开阔场景数据集和少量手工标注的遮挡场景数据，在常规车辆目标检测跟踪模型的基础上加入场景判别器分支，利用额外的场景监督信号来学习开阔场景与遮挡场景的相同知识元信息，由大量样本的相同知识元来提升少量遮挡数据下的模型检测跟踪性能，从而形成具有局部遮挡适应性的车辆目标检测跟踪模块；再次，面向严重遮挡场景，引入卡尔曼滤波的运动估计方法，设计了适用于严重遮挡场景的车辆多目标卡尔曼动态跟踪模块；最后，根据实际场合的目标检测情况，调用不同的跟踪模块，实现车辆多目标跟踪系统在路侧遮挡场景的自适应处理功能，提升车辆跟踪的鲁棒性。

本发明所涉及的方法具体步骤如下：

步骤一、划分路侧场景为严重遮挡场景、局部遮挡场景和开阔场景；

依据目标场景中车辆行驶过程的图像遮挡面积与路段面积的比值h，划分路侧场景为严重遮挡、局部遮挡和开阔场景；定义h≤0.1时，为开阔场景，0.1＜h≤0.3时，为局部遮挡场景，0.3＜h时，为严重遮挡场景；

步骤二、设计具有局部遮挡和开阔场景适应性的车辆目标检测跟踪模块；由于路侧场景丰富多样，在公开的开阔场景数据集上进行训练的目标检测跟踪算法模型难以适应于不同的现实遮挡场合；为了提升车辆目标检测跟踪模型在局部遮挡场景下的适应性，拟通过生成对抗网络与编码解码架构，设计一种适用于局部遮挡和开阔场景的车辆目标检测跟踪模块；首先，基于编码解码架构，对特征提取与特征融合分析两个过程进行解耦合，继而，基于生成对抗网络，接入场景判别器分支，对目标所在场景进行分析，提升特征提取过程对遮挡场景和开阔场景相同知识元的提取能力；这种接入额外场景监督信息的方式可以有效地使车辆目标检测跟踪模块在遮挡场景中学习到开阔场景相似的知识元信息，从而提升模型在局部遮挡场景的适应性；最后，通过设计车辆检测跟踪的损失函数，训练得到具有局部遮挡和开阔场景适应性的车辆目标检测跟踪模块。

该步骤的详细过程如下：

子步骤一：采集遮挡场景下的路侧交通流视频数据集，标记约少量不同遮挡场景的交通流视频数据，每段时间不低于1分钟。

子步骤二：设计车辆目标检测跟踪模块编码解码架构，其中，编码架构包含卷积操作和池化操作，卷积操作负责对目标进行特征提取、特征归一化等工作，而池化操作负责降低特征分辨率、减少计算复杂度等工作，解码架构则包含卷积操作和跨连接操作，卷积操作负责融合目标多通道语义特征等工作，跨连接操作则在于引入低分辨率的边沿等底层视觉信息、辅助语义特征融合。下面结合附图2详细说明子步骤二的具体过程，参见如下：

1)输入层0_0：第一层的输入是原始图像，像素为Q×Q，通道数为3，用32个3×3的卷积核与原始输入图像做卷积，步长为1，不扩充边缘；将渗漏线性整流单元(LeakyRectified Linear Units,LReLU)作为神经元的激活函数，经过LReLU激活，输出维度为Q×Q×32的特征图；

局部响应归一化层0_1：由于不同通道数据存在模量不一致现象，利用局部响应归一化层可以将向量拉伸至相同模长，从而抑制过拟合和梯度爆炸现象，输出维度为Q×Q×32的特征图；

2)卷积层1至卷积层17：一般情况下，下一层的输入是上一层的输出，在卷积层12及15中，输入为跨连接层的输出与上一层输出的拼接，像素Q变为原来的两倍时，采用扩展卷积通道数增加一倍，相反的，采用压缩卷积使通道数降低一倍。每次使用卷积操作之后，使用局部响应归一化层对不同数据通道数据进行归一化操作，并且使用渗漏线性整流单元(LeakyRectified Linear Units,LReLU)作为神经元的激活函数，输出逐级的特征图，在此部分中，卷积层1至10属于编码架构，卷积层11至17属于解码架构。

3)NMS过滤层：NMS过滤层的输入为卷积层11、14、17的输出，在使用阈值滤除置信度过低的目标后，经过非极大值抑制算法，输出目标的位置和类别。

子步骤三：设计基于生成对抗网络的场景判别分支。生成部分直接使用子步骤二中的特征提取架构，判别分支部分则包含卷积操作和全连接操作，卷积操作与解码架构的工作一致，而全连接操作则负责聚合多特征信息、匹配场景维度等任务，其具体的内容如下：

1)卷积层18：第18层的输入是卷积层10的输出，用512个3×3的卷积核与原始输入图像做卷积，步长为1，不扩充边缘。将渗漏线性整流单元(LeakyRectified Linear Units,LReLU)作为神经元的激活函数，经过LReLU激活，输出维度为的特征图；

2)全连接层19：第19层的输入是卷积层18的输出，将输入的张量进行平铺操作，使用个数为2的卷积组对平铺后的张量进行操作，获得维数为1，个数为2的输出特征图；

3)场景判别层20：第20层的输入是卷积层19的输出，将输入的张量进行softmax函数操作之后，得到输入图像所属的场景概率；

子步骤四：设计车辆检测跟踪模块的损失函数，为使跟踪系统学习既学习到不同场景的检测跟踪能力，又能学习到少样本遮挡领域与大样本开阔区域的共同知识，如边沿提取能力，本发明针对子步骤二与子步骤三所展示的网络模型，设计了基于判别分支的交叉熵判别函数L_domain及目标检测的回归损失函数L_regress与多分类交叉熵函数L_class，各类函数的定义如下：

其中，_D ^S与_D ^O分别为已有的大样本量路侧数据集和小样本遮挡场景数据集，f(x_i)为输入图像x_i经编码器编码后输出的特征图，d(f(x_i))为判别器分支输出的领域概率，E为转移函数，一般在验证数据中根据数据分布选取，G为卷积层11、卷积层14、卷积层17的分辨率大小，g_x与g_y分别为相应卷积层相比于原始图片的降采样步长，与x_ij分别为预测的目标中心横轴位置与真实的目标中心位置，y_ij、w_ij及h_ij分别为相应的纵轴位置、宽度及长度，λ为待选取的比例因子，c(f(x_i))为解码器分支输出的分类概率，y_i为对应的真实标签值；

子步骤五、利用最大化判别器分支的损失函数及最小化编码解码分支的损失函数来训练最佳目标检测跟踪模块，获取具有局部遮挡场景和开阔场景适应性的模型参数；

步骤三、设计具有严重遮挡场景适应性的卡尔曼滤波运动估计模块；

对于严重遮挡场景下目标检测跟踪系统失效的常见情况，考虑利用未遮挡时的运动位置和运动状态，基于卡尔曼滤波运动递推方法，对车辆目标的位置和速度进行建模，从而在严重遮挡场景下对目标位置进行精确推理。本步骤的详细过程如下：

子步骤一：设定线性卡尔曼滤波的状态量、状态转移矩阵及观测矩阵。当步骤二中的目标检测跟踪模型模块连续两帧识别到相同目标i后，获取目标边界区域位置信息和速度信息k_i＝(t,l,b,r,v_t,v_l,v_b,v_r)作为目标的状态量，其中，i∈(0,N),k_i为N个目标中第i个目标的跟踪信息向量，t为目标边界图像顶端边沿位置，l、b及r则分别为相应目标的图像左侧边沿位置、底端边沿位置、右侧边沿位置，v_t、v_l、v_b及v_r则分别为相应目标边界的图像速度。针对目标区域建立卡尔曼运动模型，其状态转移矩阵为A，观测矩阵为H。

子步骤二：设定跟踪过程中卡尔曼滤波的初始状态赋值过程。当步骤二中的目标检测器在开阔区域或局部遮挡区域连续检测到相同目标时，将目标检测到的边界值作为卡尔曼滤波器的状态初始值，设定协方差矩阵为某一常数矩阵，其值的选取一般依赖于实际场景的跟踪调试过程。同样以高速交通场景为例，设定初始过程噪声u及协方差矩阵Q＝uu^T。

子步骤三：设定跟踪过程中卡尔曼滤波的状态预测流程。每次输入新的视频帧图片时即对跟踪目标位置进行预测，具体操作为，基于先验状态转移方程(4)，获取目标点迹的先验概率参数，同时基于协方差转移方程(5)更新状态量的协方差矩阵：

，其中，为状态量的第k-1帧后验概率分布，/>为状态量的第k帧先验概率分布，/>为状态量协方差矩阵的第k-1帧先验概率分布，Q为过程噪声的协方差矩阵，/>为状态量协方差矩阵的第k帧后验概率分布。

子步骤四：设定跟踪过程中卡尔曼滤波的状态更新流程。每当检测目标的参数与卡尔曼预测的目标参数的欧式距离小于设定的阈值时，认定目标跟踪有效，将欧式距离最小的检测目标参数作为观测值进行卡尔曼滤波的状态量更新，当设定阈值内无检测目标时，判定为遮挡环境，不进行状态量更新操作，仅利用卡尔曼滤波对目标位置进行递推；状态量更新的具体操作为，获取卡尔曼增益K_k，更新目标点的状态量和协方差矩阵：

，其中，K_k为k时刻目标点的卡尔曼增益，R为测量噪声的协方差矩阵；以高速场景为例，首先获取根据目标的边界位置定义测量噪声m，测量噪声的协方差矩阵R＝mm^T；

子步骤五：设定卡尔曼跟踪过程的结束条件；当预测目标位置超出图像边沿后，停止该目标的卡尔曼滤波过程，判断目标跟踪结束；

子步骤六：集成上述子步骤，形成适用于严重遮挡场景的卡尔曼动态车辆目标跟踪模块；

步骤四：定义跟踪模块之间的交互过程与执行流程；

该步骤的核心在于，首先对新加入的遮挡场景进行手工标注，获取少量该场景的车辆目标实例，训练步骤一中的目标检测跟踪模块，利用该模块对该遮挡场景进行在线推理，当目标检测跟踪模块能够检测到目标位置时，根据目标是否为初次出现的目标，分别使用目标位置对卡尔曼跟踪模块进行初值赋值和状态参数更新，当目标检测跟踪模块无法检测到目标位置时，使用卡尔曼跟踪模块对跟踪目标的位置进行有效的估计，当跟踪系统判断目标离开图片区域后，结束对该目标的跟踪过程，否则，则进行下一帧的跟踪过程。

本发明与现有方法相比，具有如下优势：

1)本发明公开的具有局部遮挡及开阔场景适应性的目标检测跟踪模块，通过生成对抗网络结构，仅仅依赖于少量的遮挡场景标注图片即可获得较高的遮挡场景目标识别精度，从而使大举提升跟踪系统的遮挡场景适应性能力；

2)本发明公开的基于卡尔曼滤波运动估计的跟踪模块，通过对目标位置的可靠运动估计，可以针对严重遮挡场景下的车辆进行位置的高精度估算，从而缓解遮挡场景下跟踪系统丢失目标的经典难题。

附图说明

图1为本发明的总体技术方案图；

图2为本发明所设计的局部遮挡及开阔场景适应性的目标检测跟踪模块图。

具体实施方式

下面结合附图和实例对本发明的技术方案进行进一步说明。

智能车路系统是近年来智能交通发展的一大重要方向。通过路侧安装的智能感知设备，智能车路系统可以提供诸如安全提醒、交通诱导、智能交通管理等多样化的智能服务。在这些令人期待的种种应用背后，是针对路侧场景独特设计的车辆多目标跟踪算法。

现有的路侧车辆多目标跟踪算法大致分为三种：首先是基于传统的点特征跟踪，如稀疏光流和稠密光流的方法，基于稠密光流的方法计算量大，耗时严重，而基于稀疏光流的方法无法直接获得目标级别的跟踪效果，往往需要结合其他算法使用；其次是基于区域统计特征跟踪的方法，如KCF跟踪算法所采用的HOG特征，基于区域统计特征的方式依赖于手工设计的特征进行匹配，场景适应性不佳，随着深度学习的发展，也有基于自动特征提取的度量学习匹配方法出现，如DeepSORT、强化学习跟踪体等，但由于度量学习需要针对个体目标不同视角图片进行大量的标注，难以应用于交通领域成本受限的场合；最后是基于目标的跟踪方法，如基于深度学习目标检测模型的IOUTrack和SORT等，这些算法直接使用泛化性能强的目标检测模型作为目标跟踪的基础，在此之上，利用目标位置匹配的方式进行目标的跟踪，具有实时性好、应用成本低的核心优势，目前这类算法在智能车路系统中应用最为广泛。

基于目标检测的跟踪算法针对开阔场景的路侧车辆跟踪问题做了较为深入的研究，但对于现实生活中频频出现的遮挡场景，尤其是一些算法未曾学习过的少样本甚至无样本遮挡场景，则很容易出现大量的漏跟踪、误跟踪及重复计数等现象。如何改进现有算法，避免遮挡场景中不时出现的跟踪失败问题成为了一项巨大难题。该难题的解决方案和方法将有力提高智能车路系统在不同场景下的可靠性和实用性，从而大举提升智能交通的服务能力。

针对现有路侧车辆多目标跟踪方法在遮挡场景发生的漏跟踪、误跟踪及重复计数等现实难题，本发明基于已有的开阔场景大样本车辆跟踪数据集和少样本的手工标注遮挡场景数据集，通过引入生成对抗网络结构与场景迁移的技巧，借助场景标签来学习不同场景的相同知识元，从而提升路侧车辆跟踪系统在局部遮挡场景的适应能力，在此基础之上，通过引入卡尔曼滤波理论，对严重遮挡的车辆运动位置进行精准预测，从而实现遮挡环境全链条的车辆目标鲁棒跟踪。

其技术方案如下：首先划分路侧场景为严重遮挡场景、局部遮挡场景和开阔场景，其次，面向局部遮挡和开阔场景，基于已有的大量开阔场景数据集和少量手工标注的遮挡场景数据，在常规车辆目标检测跟踪模型的基础上加入场景判别器分支，利用额外的场景监督信号来学习开阔场景与遮挡场景的相同知识元信息，由大量样本的相同知识元来提升少量遮挡数据下的模型检测跟踪性能，从而形成具有局部遮挡适应性的车辆目标检测跟踪模块；再次，面向严重遮挡场景，引入卡尔曼滤波的运动估计方法，设计了适用于严重遮挡场景的车辆多目标卡尔曼动态跟踪模块；最后，根据实际场合的目标检测情况，调用不同的跟踪模块，实现车辆多目标跟踪系统在路侧遮挡场景的自适应处理功能，提升车辆跟踪的鲁棒性。

本发明所涉及的方法具体步骤如下：

步骤一、划分路侧场景为严重遮挡场景、局部遮挡场景和开阔场景；

依据目标场景中车辆行驶过程的图像遮挡面积与路段面积的比值h，划分路侧场景为严重遮挡、局部遮挡和开阔场景；如定义h≤0.1时，为开阔场景，0.1＜h≤0.3时，为局部遮挡场景，0.3＜h时，为严重遮挡场景；

步骤二、设计具有局部遮挡和开阔场景适应性的车辆目标检测跟踪模块；

由于路侧场景丰富多样，在公开的开阔场景数据集上进行训练的目标检测跟踪算法模型难以适应于不同的现实遮挡场合；为了提升车辆目标检测跟踪模型在局部遮挡场景下的适应性，拟通过生成对抗网络与编码解码架构，设计一种适用于局部遮挡和开阔场景的车辆目标检测跟踪模块；首先，基于编码解码架构，对特征提取与特征融合分析两个过程进行解耦合，继而，基于生成对抗网络，接入场景判别器分支，对目标所在场景进行分析，提升特征提取过程对遮挡场景和开阔场景相同知识元的提取能力；这种接入额外场景监督信息的方式可以有效地使车辆目标检测跟踪模块在遮挡场景中学习到开阔场景相似的知识元信息，从而提升模型在局部遮挡场景的适应性；最后，通过设计车辆检测跟踪的损失函数，训练得到具有局部遮挡和开阔场景适应性的车辆目标检测跟踪模块。

该步骤的详细过程如下：

子步骤一：采集遮挡场景下的路侧交通流视频数据集，手工标记少量的视频场景。以城市环道为例，标记约20段不同遮挡场景的交通流视频数据，每段时间不低于1分钟，视频分辨率为1920×1080，视频码率为4000bps。

子步骤二：设计车辆目标检测跟踪模块编码解码架构，其中，编码架构包含卷积操作和池化操作，卷积操作负责对目标进行特征提取、特征归一化等工作，而池化操作负责降低特征分辨率、减少计算复杂度等工作，解码架构则包含卷积操作和跨连接操作，卷积操作负责融合目标多通道语义特征等工作，跨连接操作则在于引入低分辨率的边沿等底层视觉信息、辅助语义特征融合。下面结合附图2详细说明子步骤二的具体过程，参见如下：

1)输入层0_0：第一层的输入是原始图像，像素为Q×Q，通道数为3，用32个3×3的卷积核与原始输入图像做卷积，步长为1，不扩充边缘；将渗漏线性整流单元(LeakyRectifiedLinear Units,LReLU)作为神经元的激活函数，经过LReLU激活，输出维度为Q×Q×32的特征图，实际场合中，Q取值为480；

局部响应归一化层0_1：由于不同通道数据存在模量不一致现象，利用局部响应归一化层可以将向量拉伸至相同模长，从而抑制过拟合和梯度爆炸现象，输出维度为Q×Q×32的特征图；

2)卷积层1至卷积层17：一般情况下，下一层的输入是上一层的输出，在卷积层12及15中，输入为跨连接层的输出与上一层输出的拼接，像素Q变为原来的两倍时，采用扩展卷积通道数增加一倍，相反的，采用压缩卷积使通道数降低一倍。每次使用卷积操作之后，使用局部响应归一化层对不同数据通道数据进行归一化操作，并且使用渗漏线性整流单元(LeakyRectified Linear Units,LReLU)作为神经元的激活函数，输出逐级的特征图，在此部分中，卷积层1至10属于编码架构，卷积层11至17属于解码架构。

3)NMS过滤层：NMS过滤层的输入为卷积层11、14、17的输出，在使用阈值滤除置信度过低的目标后，经过非极大值抑制算法，输出目标的位置和类别。

子步骤三：设计基于生成对抗网络的场景判别分支。生成部分直接使用子步骤二中的特征提取架构，判别分支部分则包含卷积操作和全连接操作，卷积操作与解码架构的工作一致，而全连接操作则负责聚合多特征信息、匹配场景维度等任务，其具体的内容如下：

1)卷积层18：第18层的输入是卷积层10的输出，用512个3×3的卷积核与原始输入图像做卷积，步长为1，不扩充边缘。将渗漏线性整流单元(LeakyRectified Linear Units,LReLU)作为神经元的激活函数，经过LReLU激活，输出维度为的特征图；

2)全连接层19：第19层的输入是卷积层18的输出，将输入的张量进行平铺操作，使用个数为2的卷积组对平铺后的张量进行操作，获得维数为1，个数为2的输出特征图；

3)场景判别层20：第20层的输入是卷积层19的输出，将输入的张量进行softmax函数操作之后，得到输入图像所属的场景概率；

子步骤四：设计车辆检测跟踪模块的损失函数，为使跟踪系统学习既学习到不同场景的检测跟踪能力，又能学习到少样本遮挡领域与大样本开阔区域的共同知识，如边沿提取能力，本发明针对子步骤二与子步骤三所展示的网络模型，设计了基于场景判别分支的交叉熵判别函数L_domain及目标检测的回归损失函数L_regress与多分类交叉熵函数L_class，各类函数的定义如下：

其中，D^S与D^O分别为已有的大样本量路侧数据集和小样本遮挡场景数据集，f(x_i)为输入图像x_i经编码器编码后输出的特征图，d(f(x_i))为判别器分支输出的领域概率，E为转移函数，一般在验证数据中根据数据分布选取，G为卷积层11、卷积层14、卷积层17的分辨率大小，g_x与g_y分别为相应卷积层相比于原始图片的降采样步长，与x_ij分别为预测的目标中心横轴位置与真实的目标中心位置，y_ij、w_ij及h_ij分别为相应的纵轴位置、宽度及长度，λ为待选取的比例因子，c(f(x_i))为解码器分支输出的分类概率，y_i为对应的真实标签值；

子步骤五、利用最大化判别器分支的损失函数及最小化编码解码分支的损失函数来训练最佳目标检测跟踪模块，获取具有局部遮挡场景和开阔场景适应性的模型参数；

步骤三、设计具有严重遮挡场景适应性的卡尔曼滤波运动估计模块；

对于严重遮挡场景下目标检测跟踪系统失效的常见情况，考虑利用未遮挡时的运动位置和运动状态，基于卡尔曼滤波运动递推方法，对车辆目标的位置和速度进行建模，从而在遮挡场景下对目标位置进行精确推理。本步骤的详细过程如下：

子步骤一：设定线性卡尔曼滤波的状态量、状态转移矩阵及观测矩阵。当步骤二中的目标检测跟踪模型模块连续两帧识别到相同目标i后，获取目标边界区域位置信息和速度信息k_i＝(t,l,b,r,v_t,v_l,v_b,v_r)作为目标的状态量，其中，i∈(0,N),k_i为N个目标中第i个目标的跟踪信息向量，t为目标边界图像顶端边沿位置，l、b及r则分别为相应目标的图像左侧边沿位置、底端边沿位置、右侧边沿位置，v_t、v_l、v_b及v_r则分别为相应目标边界的图像速度。针对目标区域建立卡尔曼运动模型，其状态转移矩阵为A，观测矩阵为H。以高速交通场景为例，该场景下车辆的运动速度较为恒定，因此可以采用卡尔曼常速模型，即

子步骤二：设定跟踪过程中卡尔曼滤波的初始状态赋值过程。当步骤二中的目标检测器在开阔区域或局部遮挡区域连续检测到相同目标时，将目标检测到的边界值作为卡尔曼滤波器的状态初始值，设定协方差矩阵为某一常数矩阵，其值的选取一般依赖于实际场景的跟踪调试过程。同样以高速交通场景为例，设定初始过程噪声协方差矩阵Q＝uu^T。

子步骤三：设定跟踪过程中卡尔曼滤波的状态预测流程。每次输入新的视频帧图片时即对跟踪目标位置进行预测，具体操作为，基于先验状态转移方程(4)，获取目标点迹的先验概率参数，同时基于协方差转移方程(5)更新状态量的协方差矩阵：

，其中，为状态量的第k-1帧后验概率分布，/>为状态量的第k帧先验概率分布，/>为状态量协方差矩阵的第k-1帧先验概率分布，Q为过程噪声的协方差矩阵，/>为状态量协方差矩阵的第k帧后验概率分布。

子步骤四：设定跟踪过程中卡尔曼滤波的状态更新流程。每当检测目标的参数与卡尔曼预测的目标参数的欧式距离小于设定的阈值时，认定目标跟踪有效，将欧式距离最小的检测目标参数作为观测值进行卡尔曼滤波的状态量更新，当设定阈值内无检测目标时，判定为遮挡环境，不进行状态量更新操作，仅利用卡尔曼滤波对目标位置进行递推；状态量更新的具体操作为，获取卡尔曼增益K_k，更新目标点的状态量和协方差矩阵：

其中，K_k为k时刻目标点的卡尔曼增益，R为测量噪声的协方差矩阵；以高速场景为例，首先获取根据目标的边界位置定义测量噪声测量噪声的协方差矩阵R＝mm^T；

子步骤五：设定卡尔曼跟踪过程的结束条件；当预测目标位置超出图像边沿后，停止该目标的卡尔曼滤波过程，判断目标跟踪结束；

子步骤六：集成上述子步骤，形成适用于严重遮挡场景的卡尔曼动态车辆目标跟踪模块；

步骤四：定义跟踪模块之间的交互过程与执行流程；

该步骤的核心在于，参见附图1，首先对新加入的遮挡场景进行手工标注，获取少量该场景的车辆目标实例，训练步骤一中的目标检测跟踪模块，利用该模块对该遮挡场景进行在线推理，当目标检测跟踪模块能够检测到目标位置时，根据目标是否为初次出现的目标，分别使用目标位置对卡尔曼跟踪模块进行初值赋值和状态参数更新，当目标检测跟踪模块无法检测到目标位置时，使用卡尔曼跟踪模块对跟踪目标的位置进行有效的估计，当跟踪系统判断目标离开图片区域后，结束对该目标的跟踪过程，否则，则进行下一帧的跟踪过程。

需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代均属于本发明的保护范围。

Claims (4)

1.一种面向智能车路系统的路侧遮挡场景车辆鲁棒跟踪方法，其特征在于：所述方法包括以下步骤：

步骤一、划分路侧场景为严重遮挡场景、局部遮挡场景和开阔场景；

步骤二、设计具有局部遮挡和开阔场景适应性的车辆目标检测跟踪模块；

步骤三、设计具有严重遮挡场景适应性的卡尔曼滤波运动估计模块；

步骤四：定义跟踪模块之间的交互过程与执行流程；

其中步骤二、设计具有局部遮挡和开阔场景适应性的车辆目标检测跟踪模块,具体如下：

该步骤的详细过程如下：

子步骤一：采集遮挡场景下的路侧交通流视频数据集，标记少量不同遮挡场景的交通流视频数据，每段时间不低于1分钟；

子步骤二：设计车辆目标检测跟踪模块编码解码架构，其中，编码架构包含卷积操作和池化操作，卷积操作负责对目标进行特征提取、特征归一化工作，而池化操作负责降低特征分辨率、减少计算复杂度工作，解码架构则包含卷积操作和跨连接操作，卷积操作负责融合目标多通道语义特征工作，跨连接操作则在于引入低分辨率的边沿底层视觉信息、辅助语义特征融合，下面详细说明子步骤二的具体过程，参见如下：

1)输入层0_0：第一层的输入是原始图像，像素为H×W，通道数为3，用32个3×3的卷积核与原始输入图像做卷积，步长为1，不扩充边缘；将渗漏线性整流单元作为神经元的激活函数，经过LReLU激活，输出维度为H×W×32的特征图；

局部响应归一化层0_1：由于不同通道数据存在模量不一致现象，利用局部响应归一化层能够将向量拉伸至相同模长，从而抑制过拟合和梯度爆炸现象，输出维度为Q×Q×32的特征图；

2)卷积层1至卷积层17：下一层的输入是上一层的输出，在卷积层12及15中，输入为跨连接层的输出与上一层输出的拼接，Q变为原来的两倍时，采用扩展卷积通道数增加一倍，相反的，采用压缩卷积使通道数降低一倍；每次使用卷积操作之后，使用局部响应归一化层对不同数据通道数据进行归一化操作，并且使用渗漏线性整流单元作为神经元的激活函数，输出逐级的特征图，在此部分中，卷积层1至10属于编码架构，卷积层11至17属于解码架构；

3)NMS过滤层：NMS过滤层的输入为卷积层11、14、17的输出，在使用阈值滤除置信度过低的目标后，经过非极大值抑制算法，输出目标的位置和类别，

子步骤三：设计基于生成对抗网络的场景判别分支，生成部分直接使用子步骤二中的特征提取架构，判别分支部分则包含卷积操作和全连接操作，卷积操作与解码架构的工作一致，而全连接操作则负责聚合多特征信息、匹配场景维度任务，其具体的内容如下：

1)卷积层18：第18层的输入是卷积层10的输出，用512个3×3的卷积核与原始输入图像做卷积，步长为1，不扩充边缘，将渗漏线性整流单元作为神经元的激活函数，经过LReLU激活，输出维度为的特征图；

2)全连接层19：第19层的输入是卷积层18的输出，将输入的张量进行平铺操作，使用个数为2的卷积组对平铺后的张量进行操作，获得维数为1，个数为2的输出特征图；

3)场景判别层20：第20层的输入是卷积层19的输出，将输入的张量进行softmax函数操作之后，得到输入图像所属的场景概率；

子步骤四：设计车辆检测跟踪模块的损失函数，为使跟踪系统学习既学习到不同场景的检测跟踪能力，又能学习到少样本遮挡领域与大样本开阔区域的共同知识，针对子步骤二与子步骤三所展示的网络模型，设计了基于判别分支的交叉熵判别函数L_domain及目标检测的回归损失函数L_regress与多分类交叉熵函数L_class，各类函数的定义如下：

其中，_D ^S与_D ^O分别为已有的大样本量路侧数据集和小样本遮挡场景数据集，f(x_i)为输入图像x_i经编码器编码后输出的特征图，d(f(x_i))为判别器分支输出的样本概率，E为转移函数，在验证数据中根据数据分布选取，G为卷积层11、卷积层14、卷积层17的分辨率大小，g_x与g_y分别为相应卷积层相比于原始图片的降采样步长，与x_ij分别为预测的目标中心横轴位置与真实的目标中心位置，y_ij、w_ij及h_ij分别为相应的纵轴位置、宽度及长度，λ为待选取的比例因子，c(f(x_i))为解码器分支输出的分类概率，y_i为对应的真实标签值；

子步骤五、利用最大化判别器分支的损失函数及最小化编码解码分支的损失函数来训练最佳目标检测跟踪模块，获取具有局部遮挡场景和开阔场景适应性的模型参数。

2.根据权利要求1所述的面向智能车路系统的路侧遮挡场景车辆鲁棒跟踪方法，其特征在于：步骤一、划分路侧场景为严重遮挡场景、局部遮挡场景和开阔场景；

具体步骤如下：依据目标场景中车辆行驶过程的图像遮挡面积与路段面积的比值，将划分路侧场景为严重遮挡、局部遮挡和开阔场景，定义比值小于等于0.1时，为开阔场景，比值大于0.1小于等于0.3时，为局部遮挡场景，比值大于等于0.3时，为严重遮挡场景。

3.根据权利要求1所述的面向智能车路系统的路侧遮挡场景车辆鲁棒跟踪方法，其特征在于：步骤三、设计具有严重遮挡场景适应性的卡尔曼滤波运动估计模块；

对于严重遮挡场景下目标检测跟踪系统失效的常见情况，考虑利用未遮挡时的运动位置和运动状态，基于卡尔曼滤波运动递推方法，对车辆目标的位置和速度进行建模，从而在严重遮挡场景下对目标位置进行精确推理，本步骤的详细过程如下：

子步骤一：设定线性卡尔曼滤波的状态量、状态转移矩阵及观测矩阵；当步骤二中的目标检测跟踪模型模块连续两帧识别到相同目标i后，获取目标边界区域位置信息和速度信息k_i＝(t,l,b,r,v_t,v_l,v_b,v_r)作为目标的状态量，其中，i∈(0,N),k_i为N个目标中第i个目标的跟踪信息向量，t为目标边界图像顶端边沿位置，l、b及r则分别为相应目标的图像左侧边沿位置、底端边沿位置、右侧边沿位置，v_t、v_l、v_b及v_r则分别为相应目标边界的图像速度；针对目标区域建立卡尔曼运动模型，其状态转移矩阵为A，观测矩阵为H；

子步骤二：设定跟踪过程中卡尔曼滤波的初始状态赋值过程；当步骤二中的目标检测器在开阔区域或局部遮挡区域连续检测到相同目标时，将目标检测到的边界值作为卡尔曼滤波器的状态初始值，设定协方差矩阵为某一常数矩阵，其值的选取依赖于实际场景的跟踪调试过程；设定初始过程噪声u及协方差矩阵Q＝uu^T；

子步骤三：设定跟踪过程中卡尔曼滤波的状态预测流程；每次输入新的视频帧图片时即对跟踪目标位置进行预测，具体操作为，基于先验状态转移方程(4)，获取目标点迹的先验概率参数，同时基于协方差转移方程(5)更新状态量的协方差矩阵：

其中，为状态量的第k-1帧后验概率分布，/>为状态量的第k帧先验概率分布，/>为状态量协方差矩阵的第k-1帧先验概率分布，Q为过程噪声的协方差矩阵，/>为状态量协方差矩阵的第k帧后验概率分布；

子步骤四：设定跟踪过程中卡尔曼滤波的状态更新流程；每当检测目标的参数与卡尔曼预测的目标参数的欧式距离小于设定的阈值时，认定目标跟踪有效，将欧式距离最小的检测目标参数作为观测值进行卡尔曼滤波的状态量更新，当设定阈值内无检测目标时，判定为遮挡环境，不进行状态量更新操作，仅利用卡尔曼滤波对目标位置进行递推；状态量更新的具体操作为，获取卡尔曼增益K_k，更新目标点的状态量和协方差矩阵：

其中，K_k为k时刻目标点的卡尔曼增益，R为测量噪声的协方差矩阵；首先获取根据目标的边界位置定义测量噪声m，测量噪声的协方差矩阵R＝mm^T；

子步骤五：设定卡尔曼跟踪过程的结束条件；当预测目标位置超出图像边沿后，停止该目标的卡尔曼滤波过程，判断目标跟踪结束；

子步骤六：集成上述子步骤，形成适用于严重遮挡场景的卡尔曼动态车辆目标跟踪模块。

4.根据权利要求1所述的面向智能车路系统的路侧遮挡场景车辆鲁棒跟踪方法，其特征在于：步骤四：定义跟踪模块之间的交互过程与执行流程，具体如下：

该步骤的核心在于，首先对新加入的遮挡场景进行手工标注，获取少量该场景的车辆目标实例，训练步骤一中的目标检测跟踪模块，利用该模块对该遮挡场景进行在线推理，当目标检测跟踪模块能够检测到目标位置时，根据目标是否为初次出现的目标，分别使用目标位置对卡尔曼跟踪模块进行初值赋值和状态参数更新，当目标检测跟踪模块无法检测到目标位置时，使用卡尔曼跟踪模块对跟踪目标的位置进行有效的估计，当跟踪系统判断目标离开图片区域后，结束对该目标的跟踪过程，否则，则进行下一帧的跟踪过程。