CN112884816A - 一种基于图像系统的车辆特征深度学习识别轨迹跟踪方法 - Google Patents

Abstract

本发明提出了一种基于图像系统的车辆特征深度学习识别轨迹跟踪方法。本发明系统用包括：道路监控摄像头、计算处理主机、显示屏。本发明方法首先对摄像头采集到的图像进行深度学习算法目标识别，得到原始图像车辆目标边框数据集，然后对原始图像进行空间投影变换，得到投影图像车辆目标边框数据集，并利用卡尔曼滤波和匈牙利算法对投影图像车辆目标进行关联，进而生成投影图像车辆目标轨迹。本发明提出了一种可地面安装的、利于卡尔曼滤波对目标运动建模的车辆跟踪方法。

Description

一种基于图像系统的车辆特征深度学习识别轨迹跟踪方法

技术领域

本发明属于车辆检测技术领域，特别是涉及一种基于图像系统的车辆特征深度学习识别轨迹跟踪方法。

背景技术

随着车辆识别技术的迅速发展，特别是基于图像深度学习的车辆识别技术成为主流，多目标跟踪领域也扩展了新的设计流程。通常而言，基于图像深度学习的多目标跟踪技术大致分为两步骤：首先利用目标识别算法识别提取目标信息，然后利用卡尔曼滤波和数据关联技术对视频连续帧下目标边界框进行关联匹配，从而达到目标跟踪目标的目的。然而此类流程应用场景拍摄的视频资料经常是斜视视角下的拍摄视频，这种情况下导致视频中的目标运动状态受到拍摄距离的远近而增加了目标运动速度的不确定性，同时使用卡尔曼滤波需要对目标运动状态进行建模，对于斜视视角下的目标运动状态由于其将难以评估其运动状态进而建模，发明专利CN110675431B和发明专利申请CN112098993A、CN112070807A在应用卡尔曼滤波时均未注意应用场景目标建模状态，发明专利CN110673620B、CN110706266B和发明专利申请CN112132862A利用无人机从高空视角下对目标轨迹进行跟踪，然而无人机的飞行条件有限，且不利于推广。

发明内容

为了解决上述技术问题，本发明提出一种基于图像系统的车辆特征深度学习识别轨迹跟踪方法。

本发明系统的技术方案为一种基于图像系统的车辆特征深度学习识别轨迹跟踪系统，其特征在于，所述系统装置包括：

道路监控摄像头，用于高位采集路段车辆图像数据；

计算处理主机，用于处理摄像头采集到的视频序列图像，包括车辆识别、轨迹跟踪和轨迹生成过程；

显示投影装置，用于显示车辆图像识别结果和轨迹生成结果；

所述道路监控摄像头，安装于道路上方中间位置，摄像头拍摄视角面向道路平面，摄像头拍摄中心线与道路平面夹角为θ；

所述的基于图像系统的车辆特征深度学习识别轨迹跟踪方法，其特征在于，包括以下步骤：

步骤1：利用摄像头拍摄道路原始图像视频序列，形成原始图像序列数据集，对原始图像序列每帧图像进行图像投影变换，投影面与道路平面平行，使图像中的道路车道线平行且车辆大小同处于高空视角水平，形成投影图像序列数据集。

步骤2：引入YOLOv5深度学习网络模型，使用VOC数据集训练网络模型，识别原始图像序列中的车辆目标，得到原始图像序列车辆目标识别边框集合。将原始图像序列车辆目标识别边框集合中的车辆目标识别边框坐标进行投影变换，形成投影图像序列车辆目标识别边框集合。

步骤3：从投影图像序列车辆目标识别边框集合中的第一帧图像开始，进行一下处理过程：对前一帧车辆目标边界框应用卡尔曼滤波，得到当前帧的车辆目标估计边框集合，使用匈牙利关联算法对当前帧的车辆目标识别边框集合和车辆目标估计边框集合中的同一车辆目标进行关联匹配。直到投影图像序列结束为止；

步骤4：计算关联后的投影图像序列车辆目标识别边框集合中的车辆目标识别边框的中心坐标，对不同帧中属于同一车辆目标识别边框中心进行连接，生成车辆目标轨迹，并将其转换成实际场景真实道路轨迹线。

所述的基于图像系统的车辆特征深度学习识别轨迹跟踪方法，其特征在于，包括以下步骤：

步骤1所述道路拍摄路段长度为L，路宽为W，原始视频图像序列尺寸大小为l和w，原始图像序列数据集为：

{data_t(x,y),x∈[1,X],y∈[1,Y]}

其中，data_t(x,y)表示原始图像序列中第t帧图像第x行第y列像素信息，X为原始图像序列中图像的行数，Y为原始图像序列中图像的列数；

所述投影后的视频图像序列尺寸大小为l^*和w^*，投影图像视频序列数据集为：

{data_t(x^*,y^*),x^*∈[1,X^*],y^*∈[1,Y^*]}

其中，data_t(x^*,y^*)表示投影图像序列中第t帧图像第x行第y列像素信息，X^*为投影图像序列中图像的行数，Y^*为投影图像序列中图像的列数；

步骤1所述图像坐标投影变换公式为：

其中,Η为可逆齐次矩阵，作用为在空间中将平面点投影到另一平面上，

所述投影后的图像序列尺寸长宽与道路尺寸长宽等比,即：

所述的基于图像系统的车辆特征深度学习识别轨迹跟踪方法，其特征在于，包括以下步骤：

步骤2所述训练YOLOv5识别模型使用的数据集为Pascal VOC2007数据集；

步骤2所述YOLOv5网络框架具体为yolo5l网络结构，网络输出量为车辆目标边界框左上角横坐标、左上角纵坐标、右下角横坐标、右下角纵坐标和车辆目标类型；

步骤2所述原始图像序列识别的车辆目标外接矩形边框集合为

其中，

表示原始图像序列中第t帧图像中第n个车辆目标外接矩形边框的左上角横坐标，

表示图像序列中第t帧原始图像中第n个车辆目标外接矩形边框的左上角纵坐标；

表示图像序列中第t帧货运车辆图像中第n个车辆目标外接矩形边框右下角横坐标，

表示图像序列中第t帧图像中第n个车辆目标外接矩形边框的右下角纵坐标；type_t,n,s表示图像序列中第t帧原始图像中第n个车辆目标的类别；

将识别到的原始图像序列的车辆目标外接矩形边框集合中车辆目标外接矩形做投影变换，投影后的车辆目标外接矩形边框坐标集合为投影图像序列的车辆目标外接矩形边框集合，即：

其中，

表示投影图像序列中第t帧图像中第n个车辆目标外接矩形边框的左上角横坐标，

表示投影图像序列中第t帧图像中第n个车辆目标外接矩形边框的左上角纵坐标；

表示投影图像序列中第t帧图像中第n个车辆目标外接矩形边框右下角横坐标，

表示投影图像序列中第t帧图像中第n个车辆目标外接矩形边框的右下角纵坐标；type_t,n,s表示投影图像序列中第t帧图像中第n个车辆目标的类别；

所述的基于图像系统的车辆特征深度学习识别轨迹跟踪方法，其特征在于：

步骤3所述卡尔曼滤波处理过程依次包括：初始化车辆目标状态向量；初始化状态转移矩阵，初始化协方差矩阵，初始化观测矩阵，初始化系统噪音矩阵；根据上一帧车辆目标状态向量最优估计值预测当前帧车辆目标状态向量，得到当前帧车辆目标状态向量预测值；根据上一帧车辆目标系统误差协方差矩阵预测当前帧车辆目标系统误差协方差矩阵，得到当前帧车辆目标系统误差协方差矩阵预测值；利用当前帧车辆目标系统协方差矩阵预测值更新卡尔曼系数；根据当前帧车辆目标状态向量预测值和系统观测值估计，得到当前帧车辆目标状态向量最优估计值；更新当前帧车辆目标系统误差协方差矩阵；从当前帧车辆目标状态向量最优估计值中提取当前帧车辆目标估计边框集合；

步骤3所述卡尔曼滤波初始化车辆目标状态向量过程中，使用车辆目标边界框中心的横坐标，边界框中心的纵坐标，边界框的面积和边界框横纵比来描述车辆目标边界框特征，并采用线性匀速模型来描述边界框的运动状态信息，即：

其中，

表示边界框的运动状态信息，u表示边界框中心的横坐标，v表示边界框中心的纵坐标，s表示边界框的面积，r表示边界框横纵比，通常为常数，

表示边界框中心横坐标变化率，

表示边界框中心的纵坐标，

表示边界框的面积变化率。第t-1帧第m个车辆目标边界框的运动状态信息描述为：

其中，

表示第t-1帧第m个车辆目标边界框的运动状态信息，u_t-1,m表示第t-1帧第m个车辆目标边界框中心的横坐标，v_t-1,m表示第t-1帧第m个车辆目标边界框中心的纵坐标，s_t-1,m表示第t-1帧第m个车辆目标边界框的面积，r_t-1,m表示第t-1帧第m个车辆目标边界框横纵比，

表示第t-1帧第m个车辆目标边界框中心横坐标变化率，

表示第t-1帧第m个车辆目标边界框中心的纵坐标，

表示第t-1帧第m个车辆目标边界框的面积变化率；

第t-1帧第m个车辆目标边框中心的横坐标、纵坐标和边界框面积计算公式如下：

其中，

表示第t-1帧第m个车辆目标边框左上角横坐标，

表示第t-1帧第m个车辆目标边框右下角横坐标，

表示第t-1帧第m个车辆目标边框左上角纵坐标，

表示第t-1帧第m个车辆目标边框右下角纵坐标；

步骤3所述初始化状态转移矩阵中，状态转移矩阵F是对目标状态向量的运动建模，采用的匀速运动模型对应的状态转移矩阵F初始化为：

初始化协方差矩阵中，协方差矩阵P表示目标位置信息的不确定性，协方差矩阵为经验参数；

初始化系统噪音协方差矩阵中，由于过程噪声不可测，一般假设系统噪音协方差矩阵Q符合正态分布；

初始化观测矩阵中，观测矩阵H与可观测变量有关，其值初始化为：

初始化观测噪音协方差矩阵中，由于观测噪声不可测，一般假设观测噪音协方差矩阵R符合正态分布；

步骤3所述卡尔曼滤波根据上一帧车辆目标状态向量最优估计值预测当前帧车辆目标状态向量中，得到的第t帧第m个车辆目标状态向量预测值计算公式为：

其中，

表示第t-1帧第m个车辆目标状态向量最优估计值，

表示第t帧第m个车辆目标状态向量预测值，F为状态转移矩阵，B为控制矩阵，u_t-1,m表示控制增益矩阵；

步骤3所述卡尔曼滤波根据上一帧车辆目标系统误差协方差矩阵预测当前帧车辆目标系统误差协方差矩阵中，得到的第t帧第m个车辆目标系统误差协方差矩阵预测值计算公式为：

其中，P_t-1,m表示第t-1帧第m个车辆目标系统误差协方差矩阵，

表示第t帧第m个车辆目标系统误差协方差矩阵预测值，Q为过程噪音的协方差矩阵；

步骤三所述卡尔曼滤波利用当前帧系统误差协方差矩阵的预测值更新卡尔曼系数中，第t帧第m个车辆目标卡尔曼系数计算公式为：

其中，H为观测矩阵，R为观测噪音的协方差矩阵，K_t,m为第t帧第m个车辆目标卡尔曼系数；

步骤3所述卡尔曼滤波根据当前帧车辆目标状态向量预测值和系统观测值计算当前帧车辆目标状态向量最优估计值中，第t帧第m个车辆目标状态向量最优估计值计算公式为：

其中，

为第t帧第m个车辆目标状态向量最优估计值，z_t为观测值；

步骤3所述卡尔曼滤波更新当前帧系统误差协方差矩阵中，第t帧第m个车辆目标系统误差协方差矩阵更新计算公式为：

其中，P_t,m为第t帧第m个车辆目标系统协方差矩阵；

步骤3所述从当前帧车辆目标状态向量最优估计值中提取当前帧车辆目标估计边框集合中，第t帧第m个目标状态向量最优估计值描述为：

其中，u_t,m表示最优估计的第t帧第m个车辆目标边界框中心的横坐标的最优估计值，v_t,m表示最优估计的第t帧第m个车辆目标边界框中心的纵坐标的最优估计值，s_t,m表示最优估计的第t帧第m个车辆目标边界框的面积的最优估计值，r_t,m表示最优估计的第t帧第m个车辆目标边界框横纵比的最优估计值，

表示最优估计的第t帧第m个车辆目标边界框中心横坐标变化率的最优估计值，

表示最优估计的第t帧第m个车辆目标边界框中心的纵坐标变化率，

表示最优估计的第t帧第m个车辆目标边界框的面积变化率；

当前帧车辆目标估计边框坐标计算公式为：

其中，

表示最优估计的第t帧第m个车辆目标边框左上角横坐标，

表示最优估计的第t帧第m个车辆目标边框左上角纵坐标，

表示最优估计的第t帧第m个车辆目标边框右下角横坐标，

表示最优估计的第t帧第m个车辆目标边框右下角纵坐标，

因此，当前帧车辆目标估计边框集合为：

所述的基于图像深度学习的车辆特征识别和轨迹跟踪方法，其特征在于，步骤3所述匈牙利关联算法通过计算车辆目标边框IOU交并比进行匹配；

步骤3所述匈牙利关联算法计算车辆目标边框IOU交并比匹配为：计算当前帧车辆目标估计边框集合中第t帧第m个车辆目标估计边框和当前帧车辆目标识别边框集合中第t帧第n个车辆目标边识别框的IOU交并比，相交面积计算公式为：

其中，S₁表示当前帧车辆目标估计边框集合中第t帧第m个车辆目标估计边框和当前帧车辆目标识别边框集合中第t帧第n个车辆目标边识别框的相交面积；

合并计算公式为：

其中，S₂表示当前帧车辆目标估计边框集合中第t帧第m个车辆目标估计边框和当前帧车辆目标识别边框集合中第t帧第n个车辆目标边识别框的合并面积；

IOU交并比计算公式为：

所述匈牙利关联算法车辆边框IOU交并比匹配原则为：若计算出的第t帧第m个车辆目标估计边框与第t帧第n个车辆目标边识别框的IOU交并比值最大且同属于同一车辆类别，则第t-1帧第m个车辆目标与第t帧第n个车辆目标属于同一车辆目标；

所述的基于图像系统的车辆特征深度学习识别轨迹跟踪方法，其特征在于，步骤4所述计算关联后的投影图像序列车辆目标识别边框集合中的车辆目标识别边框的中心坐标为：

其中，

表示第t帧第n个车辆目标识别边框中心点横坐标，

表示第t帧第n个车辆目标识别边框中心点纵坐标；

步骤4所述对不同帧中属于同一车辆目标识别边框中心进行连接，其连接轨迹为：

其中，

表示第t帧第n个车辆目标所属车辆轨迹线上第f个中心点横坐标，

表示第t帧第n个车辆目标所属车辆轨迹线上第f个中心点纵坐标；

所述转换为实际场景道路真实轨迹线坐标为：

其中，

表示第t帧道路真实场景第n个车辆目标所属车辆轨迹线上第f个中心点横坐标，

表示第t帧道路真实场景第n个车辆目标所属车辆轨迹线上第f个中心点纵坐标；

本发明的有益之处在于利用图像的投影变换，将处于斜视视角下的视频图像变换为处于高空视角下的视频图像，从而将车辆目标的运动状态模型转换为匀速线性模型，减少了卡尔曼滤波对目标运动状态建模的复杂度，并有利于应用场景的推广。

附图说明

图1为本发明系统图；

图2为本发明系统应用场景图；

图3为本发明方法流程图；

图4为图像投影变换图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于图像系统的车辆特征深度学习识别轨迹跟踪方法。

所述图像系统包括：

道路监控摄像头，用于高位采集路段车辆图像数据；

计算处理主机，用于处理摄像头采集到的视频序列图像，包括车辆识别、轨迹跟踪和轨迹生成过程；

显示投影装置，用于显示车辆图像识别结果和轨迹生成结果；

所述道路监控摄像头选型为：海康威视DS-2CD1221D-I3型号摄像头；

所述计算处理主机的配置为：i7 9700k型号CPU；RTX2080型号GPU；华硕PRIMEZ390-A型号主板；DDR4 3000HZ 16G内存条两条；GW-EPS1250DA型号电源；

所述显示屏选型为：AOC22B2H型号显示屏。

如图2所示，为装置应用场景图，所述道路监控摄像头，安装于道路上方中间位置，摄像头拍摄视角面向道路平面，摄像头拍摄中心线与道路平面夹角为θ；

如图3所示，为基于图像系统的车辆特征深度学习识别轨迹跟踪方法流程图，一种基于图像系统的车辆特征深度学习识别轨迹跟踪方法，具体包括以下步骤：

步骤1：利用摄像头拍摄道路原始图像视频序列，形成原始图像序列数据集，对原始图像序列每帧图像进行图像投影变换，投影面与道路平面平行，使图像中的道路车道线平行且车辆大小同处于高空视角水平，形成投影图像序列数据集，投影变换方法如图4所示；

步骤1所述道路拍摄路段长度为L，路宽为W，原始视频图像序列尺寸大小为l和w，原始图像序列数据集为：

{data_t(x,y),x∈[1,X],y∈[1,Y]}

其中，data_t(x,y)表示原始图像序列中第t帧图像第x行第y列像素信息，X为原始图像序列中图像的行数，Y为原始图像序列中图像的列数；

所述投影后的视频图像序列尺寸大小为l^*和w^*，投影图像视频序列数据集为：

{data_t(x^*,y^*),x^*∈[1,X^*],y^*∈[1,Y^*]}

其中，data_t(x^*,y^*)表示投影图像序列中第t帧图像第x行第y列像素信息，X^*为投影图像序列中图像的行数，Y^*为投影图像序列中图像的列数；

步骤1所述图像坐标投影变换公式为：

其中,Η为可逆齐次矩阵，作用为在空间中将平面点投影到另一平面上，

所述投影后的图像序列尺寸长宽与道路尺寸长宽等比,即：

步骤2：引入YOLOv5深度学习网络模型，使用VOC数据集训练网络模型，识别原始图像序列中的车辆目标，得到原始图像序列车辆目标识别边框集合。将原始图像序列车辆目标识别边框集合中的车辆目标识别边框坐标进行投影变换，形成投影图像序列车辆目标识别边框集合。

步骤2所述训练YOLOv5识别模型使用的数据集为Pascal VOC2007数据集，其包括9963幅图像，包括20个车辆类别；

步骤2所述YOLOv5网络框架具体为yolo5l网络结构，网络输出量为车辆目标边界框左上角横坐标、左上角纵坐标、右下角横坐标、右下角纵坐标和车辆目标类型；

步骤2所述原始图像序列识别的车辆目标外接矩形边框集合为

其中，

表示原始图像序列中第t帧图像中第n个车辆目标外接矩形边框的左上角横坐标，

表示图像序列中第t帧原始图像中第n个车辆目标外接矩形边框的左上角纵坐标；

表示图像序列中第t帧货运车辆图像中第n个车辆目标外接矩形边框右下角横坐标，

表示图像序列中第t帧图像中第n个车辆目标外接矩形边框的右下角纵坐标；type_t,n,s表示图像序列中第t帧原始图像中第n个车辆目标的类别；

将识别到的原始图像序列的车辆目标外接矩形边框集合中车辆目标外接矩形做投影变换，投影后的车辆目标外接矩形边框坐标集合为投影图像序列的车辆目标外接矩形边框集合，即：

其中，

表示投影图像序列中第t帧图像中第n个车辆目标外接矩形边框的左上角横坐标，

表示投影图像序列中第t帧图像中第n个车辆目标外接矩形边框的左上角纵坐标；

表示投影图像序列中第t帧图像中第n个车辆目标外接矩形边框右下角横坐标，

表示投影图像序列中第t帧图像中第n个车辆目标外接矩形边框的右下角纵坐标；type_t,n,s表示投影图像序列中第t帧图像中第n个车辆目标的类别；

步骤3：从投影图像序列车辆目标识别边框集合中的第一帧图像开始，进行一下处理过程：对前一帧车辆目标边界框应用卡尔曼滤波，得到当前帧的车辆目标估计边框集合，使用匈牙利关联算法对当前帧的车辆目标识别边框集合和车辆目标估计边框集合中的同一车辆目标进行关联匹配。直到投影图像序列结束为止；

步骤3所述卡尔曼滤波处理过程依次包括：初始化车辆目标状态向量；初始化状态转移矩阵，初始化协方差矩阵，初始化观测矩阵，初始化系统噪音矩阵；根据上一帧车辆目标状态向量最优估计值预测当前帧车辆目标状态向量，得到当前帧车辆目标状态向量预测值；根据上一帧车辆目标系统误差协方差矩阵预测当前帧车辆目标系统误差协方差矩阵，得到当前帧车辆目标系统误差协方差矩阵预测值；利用当前帧车辆目标系统协方差矩阵预测值更新卡尔曼系数；根据当前帧车辆目标状态向量预测值和系统观测值估计，得到当前帧车辆目标状态向量最优估计值；更新当前帧车辆目标系统误差协方差矩阵；从当前帧车辆目标状态向量最优估计值中提取当前帧车辆目标估计边框集合；

步骤3所述卡尔曼滤波初始化车辆目标状态向量过程中，使用车辆目标边界框中心的横坐标，边界框中心的纵坐标，边界框的面积和边界框横纵比来描述车辆目标边界框特征，并采用线性匀速模型来描述边界框的运动状态信息，即：

其中，

表示边界框的运动状态信息，u表示边界框中心的横坐标，v表示边界框中心的纵坐标，s表示边界框的面积，r表示边界框横纵比，通常为常数，

表示边界框中心横坐标变化率，

表示边界框中心的纵坐标，

表示边界框的面积变化率。第t-1帧第m个车辆目标边界框的运动状态信息描述为：

其中，

表示第t-1帧第m个车辆目标边界框的运动状态信息，u_t-1,m表示第t-1帧第m个车辆目标边界框中心的横坐标，v_t-1,m表示第t-1帧第m个车辆目标边界框中心的纵坐标，s_t-1,m表示第t-1帧第m个车辆目标边界框的面积，r_t-1,m表示第t-1帧第m个车辆目标边界框横纵比，

表示第t-1帧第m个车辆目标边界框中心横坐标变化率，

表示第t-1帧第m个车辆目标边界框中心的纵坐标，

表示第t-1帧第m个车辆目标边界框的面积变化率；

第t-1帧第m个车辆目标边框中心的横坐标、纵坐标和边界框面积计算公式如下：

其中，

表示第t-1帧第m个车辆目标边框左上角横坐标，

表示第t-1帧第m个车辆目标边框右下角横坐标，

表示第t-1帧第m个车辆目标边框左上角纵坐标，

表示第t-1帧第m个车辆目标边框右下角纵坐标；

步骤3所述初始化状态转移矩阵中，状态转移矩阵F是对目标状态向量的运动建模，采用的匀速运动模型对应的状态转移矩阵F初始化为：

初始化协方差矩阵中，协方差矩阵P表示目标位置信息的不确定性，协方差矩阵为经验参数；

初始化系统噪音协方差矩阵中，由于过程噪声不可测，一般假设系统噪音协方差矩阵Q符合正态分布；

初始化观测矩阵中，观测矩阵H与可观测变量有关，其值初始化为：

初始化观测噪音协方差矩阵中，由于观测噪声不可测，一般假设观测噪音协方差矩阵R符合正态分布；

步骤3所述卡尔曼滤波根据上一帧车辆目标状态向量最优估计值预测当前帧车辆目标状态向量中，得到的第t帧第m个车辆目标状态向量预测值计算公式为：

其中，

表示第t-1帧第m个车辆目标状态向量最优估计值，

表示第t帧第m个车辆目标状态向量预测值，F为状态转移矩阵，B为控制矩阵，u_t-1,m表示控制增益矩阵；

步骤3所述卡尔曼滤波根据上一帧车辆目标系统误差协方差矩阵预测当前帧车辆目标系统误差协方差矩阵中，得到的第t帧第m个车辆目标系统误差协方差矩阵预测值计算公式为：

其中，P_t-1,m表示第t-1帧第m个车辆目标系统误差协方差矩阵，

表示第t帧第m个车辆目标系统误差协方差矩阵预测值，Q为过程噪音的协方差矩阵；

步骤三所述卡尔曼滤波利用当前帧系统误差协方差矩阵的预测值更新卡尔曼系数中，第t帧第m个车辆目标卡尔曼系数计算公式为：

其中，H为观测矩阵，R为观测噪音的协方差矩阵，K_t,m为第t帧第m个车辆目标卡尔曼系数；

步骤3所述卡尔曼滤波根据当前帧车辆目标状态向量预测值和系统观测值计算当前帧车辆目标状态向量最优估计值中，第t帧第m个车辆目标状态向量最优估计值计算公式为：

其中，

为第t帧第m个车辆目标状态向量最优估计值，z_t为观测值；

步骤3所述卡尔曼滤波更新当前帧系统误差协方差矩阵中，第t帧第m个车辆目标系统误差协方差矩阵更新计算公式为：

其中，P_t,m为第t帧第m个车辆目标系统协方差矩阵；

步骤3所述从当前帧车辆目标状态向量最优估计值中提取当前帧车辆目标估计边框集合中，第t帧第m个目标状态向量最优估计值描述为：

其中，u_t,m表示最优估计的第t帧第m个车辆目标边界框中心的横坐标的最优估计值，v_t,m表示最优估计的第t帧第m个车辆目标边界框中心的纵坐标的最优估计值，s_t,m表示最优估计的第t帧第m个车辆目标边界框的面积的最优估计值，r_t,m表示最优估计的第t帧第m个车辆目标边界框横纵比的最优估计值，

表示最优估计的第t帧第m个车辆目标边界框中心横坐标变化率的最优估计值，

表示最优估计的第t帧第m个车辆目标边界框中心的纵坐标变化率，

表示最优估计的第t帧第m个车辆目标边界框的面积变化率；

当前帧车辆目标估计边框坐标计算公式为：

其中，

表示最优估计的第t帧第m个车辆目标边框左上角横坐标，

表示最优估计的第t帧第m个车辆目标边框左上角纵坐标，

表示最优估计的第t帧第m个车辆目标边框右下角横坐标，

表示最优估计的第t帧第m个车辆目标边框右下角纵坐标，

因此，当前帧车辆目标估计边框集合为：

步骤3所述匈牙利关联算法通过计算车辆目标边框IOU交并比进行匹配；

步骤3所述匈牙利关联算法计算车辆目标边框IOU交并比匹配为：计算当前帧车辆目标估计边框集合中第t帧第m个车辆目标估计边框和当前帧车辆目标识别边框集合中第t帧第n个车辆目标边识别框的IOU交并比，相交面积计算公式为：

其中，S₁表示当前帧车辆目标估计边框集合中第t帧第m个车辆目标估计边框和当前帧车辆目标识别边框集合中第t帧第n个车辆目标边识别框的相交面积；

合并计算公式为：

其中，S₂表示当前帧车辆目标估计边框集合中第t帧第m个车辆目标估计边框和当前帧车辆目标识别边框集合中第t帧第n个车辆目标边识别框的合并面积；

IOU交并比计算公式为：

所述匈牙利关联算法车辆边框IOU交并比匹配原则为：若计算出的第t帧第m个车辆目标估计边框与第t帧第n个车辆目标边识别框的IOU交并比值最大且同属于同一车辆类别，则第t-1帧第m个车辆目标与第t帧第n个车辆目标属于同一车辆目标；

步骤4：计算关联后的投影图像序列车辆目标识别边框集合中的车辆目标识别边框的中心坐标，对不同帧中属于同一车辆目标识别边框中心进行连接，生成车辆目标轨迹，并将其转换成实际场景真实道路轨迹线。

步骤4所述计算关联后的投影图像序列车辆目标识别边框集合中的车辆目标识别边框的中心坐标为：

其中，

表示第t帧第n个车辆目标识别边框中心点横坐标，

表示第t帧第n个车辆目标识别边框中心点纵坐标；

步骤4所述对不同帧中属于同一车辆目标识别边框中心进行连接，其连接轨迹为：

其中，

表示第t帧第n个车辆目标所属车辆轨迹线上第f个中心点横坐标，

表示第t帧第n个车辆目标所属车辆轨迹线上第f个中心点纵坐标；

所述转换为实际场景道路真实轨迹线坐标为：

其中，

表示第t帧道路真实场景第n个车辆目标所属车辆轨迹线上第f个中心点横坐标，

表示第t帧道路真实场景第n个车辆目标所属车辆轨迹线上第f个中心点纵坐标。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护。

Claims (5)

1.一种基于图像系统的车辆特征深度学习识别轨迹跟踪系统，其特征在于，所述系统装置包括：

道路监控摄像头，用于高位采集路段车辆图像数据；

计算处理主机，用于处理摄像头采集到的视频序列图像，包括车辆识别、轨迹跟踪和轨迹生成过程；

显示投影装置，用于显示车辆图像识别结果和轨迹生成结果；

所述道路监控摄像头，安装于道路上方中间位置，摄像头拍摄视角面向道路平面，摄像头拍摄中心线与道路平面夹角为θ；

所述的基于图像系统的车辆特征深度学习识别轨迹跟踪方法，其特征在于，包括以下步骤：

步骤1：利用摄像头拍摄道路原始图像视频序列，形成原始图像序列数据集，对原始图像序列每帧图像进行图像投影变换，投影面与道路平面平行，使图像中的道路车道线平行且车辆大小同处于高空视角水平，形成投影图像序列数据集；

步骤2：引入YOLOv5深度学习网络模型，使用VOC数据集训练网络模型，识别原始图像序列中的车辆目标，得到原始图像序列车辆目标识别边框集合；将原始图像序列车辆目标识别边框集合中的车辆目标识别边框坐标进行投影变换，形成投影图像序列车辆目标识别边框集合；

步骤3：从投影图像序列车辆目标识别边框集合中的第一帧图像开始，进行一下处理过程：对前一帧车辆目标边界框应用卡尔曼滤波，得到当前帧的车辆目标估计边框集合，使用匈牙利关联算法对当前帧的车辆目标识别边框集合和车辆目标估计边框集合中的同一车辆目标进行关联匹配；直到投影图像序列结束为止；

步骤4：计算关联后的投影图像序列车辆目标识别边框集合中的车辆目标识别边框的中心坐标，对不同帧中属于同一车辆目标识别边框中心进行连接，生成车辆目标轨迹，并将其转换成实际场景真实道路轨迹线。

2.根据权利要求1所述的基于图像系统的车辆特征深度学习识别轨迹跟踪系统，其特征在于，

步骤1所述道路拍摄路段长度为L，路宽为W，原始视频图像序列尺寸大小为l和w，原始图像序列数据集为：

{data_t(x,y),x∈[1,X],y∈[1,Y]}

其中，data_t(x,y)表示原始图像序列中第t帧图像第x行第y列像素信息，X为原始图像序列中图像的行数，Y为原始图像序列中图像的列数；

所述投影后的视频图像序列尺寸大小为l^*和w^*，投影图像视频序列数据集为：

{data_t(x^*,y^*),x^*∈[1,X^*],y^*∈[1,Y^*]}

其中，data_t(x^*,y^*)表示投影图像序列中第t帧图像第x行第y列像素信息，X^*为投影图像序列中图像的行数，Y^*为投影图像序列中图像的列数；

步骤1所述图像坐标投影变换公式为：

其中,Η为可逆齐次矩阵，作用为在空间中将平面点投影到另一平面上，

所述投影后的图像序列尺寸长宽与道路尺寸长宽等比,即：

3.根据权利要求1所述的基于图像系统的车辆特征深度学习识别轨迹跟踪系统，其特征在于，

步骤2所述训练YOLOv5识别模型使用的数据集为Pascal VOC2007数据集；

步骤2所述YOLOv5网络框架具体为yolo5l网络结构，网络输出量为车辆目标边界框左上角横坐标、左上角纵坐标、右下角横坐标、右下角纵坐标和车辆目标类型；

步骤2所述原始图像序列识别的车辆目标外接矩形边框集合为

其中，

表示原始图像序列中第t帧图像中第n个车辆目标外接矩形边框的左上角横坐标，

表示图像序列中第t帧原始图像中第n个车辆目标外接矩形边框的左上角纵坐标；

表示图像序列中第t帧货运车辆图像中第n个车辆目标外接矩形边框右下角横坐标，

表示图像序列中第t帧图像中第n个车辆目标外接矩形边框的右下角纵坐标；type_t,n,s表示图像序列中第t帧原始图像中第n个车辆目标的类别；

将识别到的原始图像序列的车辆目标外接矩形边框集合中车辆目标外接矩形做投影变换，投影后的车辆目标外接矩形边框坐标集合为投影图像序列的车辆目标外接矩形边框集合，即：

其中，

表示投影图像序列中第t帧图像中第n个车辆目标外接矩形边框的左上角横坐标，

表示投影图像序列中第t帧图像中第n个车辆目标外接矩形边框的左上角纵坐标；

表示投影图像序列中第t帧图像中第n个车辆目标外接矩形边框右下角横坐标，

表示投影图像序列中第t帧图像中第n个车辆目标外接矩形边框的右下角纵坐标；type_t,n,s表示投影图像序列中第t帧图像中第n个车辆目标的类别。

4.根据权利要求1所述的基于图像系统的车辆特征深度学习识别轨迹跟踪系统，其特征在于，

步骤3所述卡尔曼滤波处理过程依次包括：初始化车辆目标状态向量；初始化状态转移矩阵，初始化协方差矩阵，初始化观测矩阵，初始化系统噪音矩阵；根据上一帧车辆目标状态向量最优估计值预测当前帧车辆目标状态向量，得到当前帧车辆目标状态向量预测值；根据上一帧车辆目标系统误差协方差矩阵预测当前帧车辆目标系统误差协方差矩阵，得到当前帧车辆目标系统误差协方差矩阵预测值；利用当前帧车辆目标系统协方差矩阵预测值更新卡尔曼系数；根据当前帧车辆目标状态向量预测值和系统观测值估计，得到当前帧车辆目标状态向量最优估计值；更新当前帧车辆目标系统误差协方差矩阵；从当前帧车辆目标状态向量最优估计值中提取当前帧车辆目标估计边框集合；

步骤3所述卡尔曼滤波初始化车辆目标状态向量过程中，使用车辆目标边界框中心的横坐标，边界框中心的纵坐标，边界框的面积和边界框横纵比来描述车辆目标边界框特征，并采用线性匀速模型来描述边界框的运动状态信息，即：

其中，

表示边界框的运动状态信息，u表示边界框中心的横坐标，v表示边界框中心的纵坐标，s表示边界框的面积，r表示边界框横纵比，通常为常数，

表示边界框中心横坐标变化率，

表示边界框中心的纵坐标，

表示边界框的面积变化率；第t-1帧第m个车辆目标边界框的运动状态信息描述为：

其中，

表示第t-1帧第m个车辆目标边界框的运动状态信息，u_t-1,m表示第t-1帧第m个车辆目标边界框中心的横坐标，v_t-1,m表示第t-1帧第m个车辆目标边界框中心的纵坐标，s_t-1,m表示第t-1帧第m个车辆目标边界框的面积，r_t-1,m表示第t-1帧第m个车辆目标边界框横纵比，

表示第t-1帧第m个车辆目标边界框中心横坐标变化率，

表示第t-1帧第m个车辆目标边界框中心的纵坐标，

表示第t-1帧第m个车辆目标边界框的面积变化率；

第t-1帧第m个车辆目标边框中心的横坐标、纵坐标和边界框面积计算公式如下：

其中，

表示第t-1帧第m个车辆目标边框左上角横坐标，

表示第t-1帧第m个车辆目标边框右下角横坐标，

表示第t-1帧第m个车辆目标边框左上角纵坐标，

表示第t-1帧第m个车辆目标边框右下角纵坐标；

步骤3所述初始化状态转移矩阵中，状态转移矩阵F是对目标状态向量的运动建模，采用的匀速运动模型对应的状态转移矩阵F初始化为：

初始化协方差矩阵中，协方差矩阵P表示目标位置信息的不确定性，协方差矩阵为经验参数；

初始化系统噪音协方差矩阵中，由于过程噪声不可测，一般假设系统噪音协方差矩阵Q符合正态分布；

初始化观测矩阵中，观测矩阵H与可观测变量有关，其值初始化为：

初始化观测噪音协方差矩阵中，由于观测噪声不可测，一般假设观测噪音协方差矩阵R符合正态分布；

步骤3所述卡尔曼滤波根据上一帧车辆目标状态向量最优估计值预测当前帧车辆目标状态向量中，得到的第t帧第m个车辆目标状态向量预测值计算公式为：

其中，

表示第t-1帧第m个车辆目标状态向量最优估计值，

表示第t帧第m个车辆目标状态向量预测值，F为状态转移矩阵，B为控制矩阵，u_t-1,m表示控制增益矩阵；

步骤3所述卡尔曼滤波根据上一帧车辆目标系统误差协方差矩阵预测当前帧车辆目标系统误差协方差矩阵中，得到的第t帧第m个车辆目标系统误差协方差矩阵预测值计算公式为：

其中，P_t-1,m表示第t-1帧第m个车辆目标系统误差协方差矩阵，

表示第t帧第m个车辆目标系统误差协方差矩阵预测值，Q为过程噪音的协方差矩阵；

步骤三所述卡尔曼滤波利用当前帧系统误差协方差矩阵的预测值更新卡尔曼系数中，第t帧第m个车辆目标卡尔曼系数计算公式为：

其中，H为观测矩阵，R为观测噪音的协方差矩阵，K_t,m为第t帧第m个车辆目标卡尔曼系数；

步骤3所述卡尔曼滤波根据当前帧车辆目标状态向量预测值和系统观测值计算当前帧车辆目标状态向量最优估计值中，第t帧第m个车辆目标状态向量最优估计值计算公式为：

其中，

为第t帧第m个车辆目标状态向量最优估计值，z_t为观测值；

步骤3所述卡尔曼滤波更新当前帧系统误差协方差矩阵中，第t帧第m个车辆目标系统误差协方差矩阵更新计算公式为：

其中，P_t,m为第t帧第m个车辆目标系统协方差矩阵；

步骤3所述从当前帧车辆目标状态向量最优估计值中提取当前帧车辆目标估计边框集合中，第t帧第m个目标状态向量最优估计值描述为：

其中，u_t,m表示最优估计的第t帧第m个车辆目标边界框中心的横坐标的最优估计值，v_t,m表示最优估计的第t帧第m个车辆目标边界框中心的纵坐标的最优估计值，s_t,m表示最优估计的第t帧第m个车辆目标边界框的面积的最优估计值，r_t,m表示最优估计的第t帧第m个车辆目标边界框横纵比的最优估计值，

表示最优估计的第t帧第m个车辆目标边界框中心横坐标变化率的最优估计值，

表示最优估计的第t帧第m个车辆目标边界框中心的纵坐标变化率，

表示最优估计的第t帧第m个车辆目标边界框的面积变化率；

当前帧车辆目标估计边框坐标计算公式为：

其中，

表示最优估计的第t帧第m个车辆目标边框左上角横坐标，

表示最优估计的第t帧第m个车辆目标边框左上角纵坐标，

表示最优估计的第t帧第m个车辆目标边框右下角横坐标，

表示最优估计的第t帧第m个车辆目标边框右下角纵坐标，

因此，当前帧车辆目标估计边框集合为：

所述的基于图像深度学习的车辆特征识别和轨迹跟踪方法，其特征在于，步骤3所述匈牙利关联算法通过计算车辆目标边框IOU交并比进行匹配；

步骤3所述匈牙利关联算法计算车辆目标边框IOU交并比匹配为：计算当前帧车辆目标估计边框集合中第t帧第m个车辆目标估计边框和当前帧车辆目标识别边框集合中第t帧第n个车辆目标边识别框的IOU交并比，相交面积计算公式为：

其中，S₁表示当前帧车辆目标估计边框集合中第t帧第m个车辆目标估计边框和当前帧车辆目标识别边框集合中第t帧第n个车辆目标边识别框的相交面积；

合并计算公式为：

其中，S₂表示当前帧车辆目标估计边框集合中第t帧第m个车辆目标估计边框和当前帧车辆目标识别边框集合中第t帧第n个车辆目标边识别框的合并面积；

IOU交并比计算公式为：

所述匈牙利关联算法车辆边框IOU交并比匹配原则为：若计算出的第t帧第m个车辆目标估计边框与第t帧第n个车辆目标边识别框的IOU交并比值最大且同属于同一车辆类别，则第t-1帧第m个车辆目标与第t帧第n个车辆目标属于同一车辆目标。

5.根据权利要求1所述的基于图像系统的车辆特征深度学习识别轨迹跟踪系统，其特征在于，

步骤4所述计算关联后的投影图像序列车辆目标识别边框集合中的车辆目标识别边框的中心坐标为：

其中，

表示第t帧第n个车辆目标识别边框中心点横坐标，

表示第t帧第n个车辆目标识别边框中心点纵坐标；

步骤4所述对不同帧中属于同一车辆目标识别边框中心进行连接，其连接轨迹为：

其中，

表示第t帧第n个车辆目标所属车辆轨迹线上第f个中心点横坐标，

表示第t帧第n个车辆目标所属车辆轨迹线上第f个中心点纵坐标；

所述转换为实际场景道路真实轨迹线坐标为：

其中，

表示第t帧道路真实场景第n个车辆目标所属车辆轨迹线上第f个中心点横坐标，

表示第t帧道路真实场景第n个车辆目标所属车辆轨迹线上第f个中心点纵坐标。

Images