CN109064495B - 一种基于Faster R-CNN与视频技术的桥面车辆时空信息获取方法 - Google Patents

Abstract

本发明公开了一种基于Faster R‑CNN与视频技术的桥面车辆时空信息获取方法，包括基于Faster R‑CNN的目标检测、多目标跟踪、车道判断及图像标定方法。该方法仅以桥面上布置的两个监控摄像头作为输入端，结合创建的虚拟检测区来对通过车辆的参数包括车型、车长、轴数、车速、所在车道进行识别。之后利用所得参数即可以获得车辆的时空信息。本发明有效解决了传统移动目标检测方法在目标检测与分类方面稳定性与精度较低的问题，提高了跟踪方法的鲁棒性，同时在标定过程中无需中断交通，方便快捷。

Description

一种基于Faster R-CNN与视频技术的桥面车辆时空信息获取 方法

技术领域

本发明涉及一种桥面车辆时空信息获取技术，属于桥梁监测技术领域。

背景技术

桥面车辆时空信息包含车辆的位置、速度、类型、大小、轴数等信息，它是反映桥梁受力状态与交通量的重要依据也是智慧交通的重要组成部分。因此研究人员提出了多种技术手段来获取该信息，为桥梁的维护、管理及加固提供支持。

当前获得车辆时空信息的方式主要有三种。第一种为浸入式传感方式。在这种传感方式中，通常将感应线圈、磁力计、压电电缆等传感器埋入路面铺装层之下，用来直接获得桥梁或道路的交通量、车速、轴距等参数。这种浸入式传感方式的优点是测量精度较高，稳定性强，但难以对传感器进行安装、更换及维护且可能对结构造成破坏。基于这些原因，关于桥梁的表面粘贴传感方式被广泛研究。一些研究人员通过在桥梁特定位置安装应变传感器利用弯曲应变或剪应变来反演车辆参数。这些粘贴在结构表面的传感器较浸入式传感器安装更方便，然而当多辆车同时在桥面上行驶时，车辆参数很难被精准识别。近几年来，计算机视觉技术作为一项新的手段被用来获取桥面车辆信息。通过在桥面上安装摄像机，利用多种视频技术来对桥面车辆进行识别。这种基于监控视频的非接触方式成本较低，不会对结构造成破坏，并且摄像头方便安装与维护。然而当前基于视频的识别方法存在如下缺陷：(1)常用的移动目标检测方法如帧差法、基于高斯混合模型的背景消除法、光流法等在阴影去除、部分遮挡分割与光线快速变化下的目标检测方面缺乏鲁棒性。(2)基于外形轮廓及像素个数的车型分类方法不精确。(3)由于车轴可能被其他车辆遮挡及视频清晰度有限，在实际应用中很难通过视频直接识别轴数。

发明内容

针对上述现有方法与技术存在的不足，本发明提出了一种基于Faster R-CNN与视频技术的桥面车辆时空信息获取方法，该方法包括基于Faster R-CNN的目标检测方法，基于距离判断的多目标跟踪方法，车辆所在车道判断方法及基于已知长度移动标准车的图像标定方法，整体方法框架如图1所示。利用该方法可获得车辆参数如车型、车长、轴数、车速及车辆所在车道。根据得到的车辆参数，通过计算最终可得到桥面车辆的时空信息。

一种基于Faster R-CNN与视频技术的桥面车辆时空信息获取方法，包括以下步骤：

S1：将车辆按车宽分为三类，分别是宽体车、中体车和窄体车，在每条车道上分别选定两辆长度已知的宽体标准车与窄体标准车，对视频监控画面进行标定；

S2：在视频监控画面中建立四边形虚拟检测区，在检测区内用直线标注车道分界线并建立对应的直线方程；

S3：建立车辆图片数据库用于训练Faster R-CNN网络，将训练后的网络用于视频的逐帧目标检测；

S4：根据基于Faster R-CNN的车辆检测结果，通过计算在四边形虚拟检测区内不同帧中边界框中心间的距离来判断跟踪目标，在跟踪的同时建立每辆车对应的信息序列，序列中的每个元素包含边界框坐标、车型、车道编号及当前帧号；

S5：在跟踪过程中利用车辆边界框左下角坐标与车道分界线所在直线的位置关系来判断车辆所在车道；

S6：当车辆离开检测区后，根据图像标定结果、车辆信息序列及虚拟检测区信息，计算得到车型、车长、轴数、车速、所在车道；

S7：根据车辆参数及检测区位置并结合车速不变假设计算获得桥面车辆的时空信息。

进一步地，步骤S1包括以下步骤：

S11：当已知长度的宽体标准车和窄体标准车在视频中行驶时，对视频间隔4帧进行采样，在各车道的每个采样帧上，以车辆左边缘的X坐标X_A为参考来标定不同位置上宽体车与窄体车车宽所占像素个数NF，中体车的车宽标定结果取宽体车与窄体车的中间值；

S12：根据宽体标准车或窄体标准车已知的车辆长度以对应车辆侧面中点X坐标X_C为参考来标定像素所代表的沿车道方向实际长度RL；

S13：在所有采样帧上用多项式并基于最小二乘法来拟合X_A与NF的关系：

其中，

是拟合X_A与NF关系的最优多项式系数向量，α_K,Q是拟合X_A与NF关系的候选多项式系数向量，

是标准车左边缘的X坐标，

是沿X轴标准车车宽所占像素个数，f_K,Q是关于

和α_K,Q的多项式函数，下标K为车辆类型，Q为车道号，A代表车辆左边缘，上标i是采样帧的编号；

S14：在所有采样帧上用多项式并基于最小二乘法来拟合X_C与RL的关系：

其中，

是拟合X_C与RL关系的最优多项式系数向量，β_K,Q是拟合X_C与RL关系的候选多项式系数向量，

是标准车侧面中点X坐标X_C，

是沿X轴标准车侧面所占像素个数，L_CV,K为标准车实际长度，g_K,Q是关于

和β_K,Q的多项式函数，下标K为车辆类型，Q为车道号，C代表车辆侧面中点，上标j是采样帧的编号。

进一步地，宽体车包括重型货车、重型厢式货车、罐车、轿运车、客车，中体车包括轻型卡车、轻型厢式货车，窄体车为小型车。

进一步地，所述的四边形虚拟检测区长度可覆盖3-5个常见大型货车，宽度可覆盖单向所有车道。

进一步地，步骤S3包括以下步骤：

S31：搭建基于ZF模型的Faster R-CNN网络；Faster R-CNN(Faster Region-basedConvolutional Neural Network，基于区域生成的更快速卷积神经网络)是一个多任务网络可同时对目标进行定位与分类。它由RPN(Region Proposal Network，区域生成网络)及Fast R-CNN(Fast Region-based Convolutional Neural Network，基于区域生成的快速卷积神经网络)组成，二者共享卷积层。RPN以图像作为输入，输出一系列矩形目标框并伴随相应的得分。它采用随机梯度下降的方法进行端到端的训练，对目标进行二元分类与回归。在Fast R-CNN中，特征图通过共享卷积层被提取出来，然后将由RPN生成的候选区域映射到特征图中形成了ROIs(Regions of Interest，感兴趣区域)。这些感兴趣区域被池化为固定长度的向量，并作为后面全连接层的输入，最后进行目标分类与边界框回归。为了尽量减少检测时间，我们选择具有5层卷积层的ZF(Zeiler和Fergus)模型作为共享卷积层。

S32：建立包括重型货车、重型厢式货车、罐车、轿运车、客车、轻型卡车、轻型厢式货车、小型车的车型图片数据库，在数据库中只标注面向摄像头的车辆，并且标注边界框紧紧包裹车辆目标；数据库中的图像分为训练集与测试集。其中训练集中的图片采用水平翻转的方式用于数据增强。

S33：网络经车型数据库训练后用于目标检测，在检测时只选择中心在检测区内的目标边界框作为计算对象。采用四步交替训练方法。第一步，RPN首先由经ILSVRC(ImageNetLarge Scale Visual Recognition Challenge，大规模视觉识别挑战赛)数据库上预训练的模型进行初始化，之后采用端到端的训练方式进行训练。第二步，Fast R-CNN利用前面RPN生成的候选框进行训练，其初始化与第一步中采用的模型一致。第三步，固定Fast R-CNN训练后的卷积层对RPN再次训练。最后一步，保持卷积层固定的同时，对Fast R-CNN独有层进行微调。测试中当一个候选区关于某一类车型的概率超过阈值，则将其标记为该类，否则将其标记为背景。

进一步地，步骤S4包括以下步骤：

S41：当在检测区内检测到车辆目标时，判断在当前存储空间内是否存在车辆的信息序列；

S42：若当前存在车辆的信息序列，则对在当前帧检测区中检测到的每一个目标边界框计算其与当前存在的每一个信息序列的最后一个元素所对应的边界框的距离d_I,J，其中

C为边界框的中点坐标，cur代表在当前帧中检测出的在检测区内的边界框，eis代表存在的信息序列最后元素所对应的边界框，I和J为边界框的编号；

S43：对于当前帧检测区内的一个目标边界框，将计算得到的距离d_I,J最小值与距离阈值δ进行比较，若该距离最小值小于阈值则说明距离最小的两个边界框代表的是同一目标，并将当前帧中该目标边界框所对应的坐标、车型、车道号、当前帧号封装为一个元素加入到对应的信息序列的末尾；若没有与其距离小于阈值δ的相应目标或者在当前帧时刻不存在信息序列，则说明目标边界框所对应的车辆此刻刚进入检测区；

S44：当一信息序列超过q帧都未增加元素则说明对应的车辆已离开了检测区，q根据目标检测的灵敏度来设定，当确定车辆离开检测区后，根据完整的信息序列计算车辆参数，然后在存储空间内删除该信息序列仅保存车辆参数。

进一步地，步骤S6中计算车辆长度包括以下步骤：

S611：计算一帧中的车辆长度，

其中，

L_V为车辆的长度，X_A和X_D分别为检测到的车辆边界框的左右边X坐标，NS是沿X轴属于车侧面的像素个数，X_C是车辆侧面中点X坐标，g_K,Q是关于X_C和

的多项式函数，

是拟合X_C与RL关系的最优多项式系数向量，f_K,Q是关于X_A和

的多项式函数，

是拟合X_A与NF关系的最优多项式系数向量，下标K为车辆类型，Q为车道号；

S612：按大小对所有计算帧中的车长计算结果进行排序并排除其中占比不超过20％的最大值和占比不超过20％的最小值，将剩余结果取平均值作为最终车辆计算长度。

进一步地，步骤S6中的车辆轴数根据车型与车长反演得到。

进一步地，步骤S6中计算车速包括以下步骤：

S621：根据多目标跟踪方法识别出车辆关于检测区的进入帧及离开帧；

S622：利用RL的标定结果采用分段计算行驶距离，计算每段距离，

其中：上标o为分段号，上标Ent和Lea分别代表车辆关于检测区的进入帧与离开帧，N_R为分段数量，

为第o段中线的横坐标，

为第o段的长度，g_K,Q是关于

和

的多项式函数，

是拟合X_C与RL关系的最优多项式系数向量，

为车辆进入帧中车辆侧面中点的X坐标，

为车辆离开帧中车辆侧面中点的X坐标，下标K为车辆类型，Q为车道号；

S623：将检测区内车辆行驶各分段距离相加得到车辆行驶的总距离，同时相应的车辆行驶时间可通过视频的帧率来获得，计算车速V，

式中：L_d为车辆在检测区中的行驶距离；T_m为相应的行驶时间，F_v为视频的帧率，N_f为车辆在检测区行驶过程中的总帧数。

进一步地，步骤S7中任意时刻的车辆位置P_T根据所得车辆参数及虚拟检测区的位置，结合车速不变假设计算，

P_T＝(T-T_l)V+P_l (6)，

其中，T为需要计算的任意时刻，T_l为车辆离开检测区的时刻，P_l为检测区的出口位置。

与现有技术相比，本发明的有益效果在于：

(1)结合ZF模型的Faster R-CNN被用于对视频中的车辆进行逐帧定位及分类，有效解决了传统移动目标检测方法在阴影去除、部分遮挡分割与光线快速变化下的目标检测方面鲁棒性较弱的问题，同时较传统的基于外形轮廓及像素个数的车型分类方法提升了精度。

(2)在多目标跟踪方法中利用生成的车辆信息序列，实现了在视频丢帧及目标漏检的情况下不丢失跟踪目标，大幅提高了跟踪方法的稳定性。

(3)基于长度已知移动标准车的图像标定方法不需要在桥面布置特殊标定物或寻找参考点。标定过程中无需中断交通，方便快捷。

(4)本发明只需两个摄像头作为输入端而不需要其他辅助传感器，安装与维护方便，成本低，适用于公路网中的大量桥梁。

附图说明

图1是本发明提出的桥面车辆时空信息获取方法框架图。

图2是本发明中虚拟检测区及车道分界线位置示意图。

图3是本发明所提出的图像标定方法示意图。

图4是本发明提出的车速计算示意图。

图5是本发明实施例中桥面摄像头安装位置示意图。

图6是本发明实施例中图像标定结果。

图7是本发明实施例中四辆车的长度计算结果。

图8是本发明实施例中四个不同时刻的车辆空间分布结果。

具体实施方式

下面结合具体实施方式对本发明作更进一步的说明。

以一座双塔斜拉索桥为例，如图5所示。其主桥长为1040米，采用双向四车道。为了监控桥面车辆，两个摄像头分别被安装在南北桥塔上，每个摄像头监测两条车道，其分辨率为1280×720像素。

1.建立数据库

车辆的图像数据库采集来自8台不同地区的监控摄像头，其中包括桥梁，公路与城市街道。车型被分为八种，包括：重型货车、重型厢式货车、罐车、轿运车、客车、轻型卡车、轻型厢式货车、小型车。开发了相应的人工标注工具对图片进行标注。在数据库中共有1694张像素为1280×720的已标注图片，其中1200张用于训练，其余的用于测试。训练图像被水平翻转用于数据增强。在标注数据时应注意以下几点：(1)为了精确定位，需要用矩形框紧紧包裹住车辆目标；(2)为了提升部分被遮挡的目标的识别精度，车辆遮挡的情况被大量加入到数据库中；(3)因为车辆的正面包含了主要特征，所以仅标注面向摄像头的车辆；(4)为了提升标注效率，在图像中忽略离摄像头很远的车辆。

2.网络搭建，测试及训练

选取具有5层卷积层的ZF模型作为共享卷积层，用在ILSVRC数据库上预训练的结果将其初始化。采用四步交替训练方法，在训练RPN中，如果某锚点区域对于一个标注边界框的交叠率是最高的或者对于任一个标注边界框的交叠率高于0.7，则该锚点区域被标记为正的(即目标)。如果一个锚点区域关于所有标注边界框的交叠率都低于0.3，则其被标记为负(即背景)。在训练Fast R-CNN中，如果一个候选区域对于一个标注边界框的交叠率高于0.5则其被标记为正。如果一个候选区域与标注边界框的最大交叠率在[0.1,0.5)之间，则其被标记为负的。因为RPN可能会生成大量重叠的候选区，因此采用了阈值为0.7的非极大值抑制方法来减少冗余。在经过非极大值抑制后，每张图中得分前2000的候选区被选出来训练Fast R-CNN，在最后一步的测试中选择得分前300的候选区。当一个感兴趣区域被Fast R-CNN中的softmax分类时，如果他关于某一类车型的概率超过0.6，则将其标记为该类，否则将其标记为背景。关于Faster R-CNN每层的参数设定如表1所示。

表1 Faster R-CNN各层参数

为了定量评估测试结果，在测试集上计算每种车型的平均精度(AP)，如表2所示，八种车型的平均精度均值(mAP)为81.5％。

表2在测试集上八种车型的平均精度(AP)

3.建立虚拟检测区及标注车道分界线

在图像中创建四边形虚拟检测区，其长度可覆盖3-5个常见大型货车，宽度可覆盖单向所有车道。检测时只选择中心在检测区内的车辆边界框，忽略外部的边界框。为了判断车辆所在车道，对车道分界线进行标注。如图2所示，当车辆边界框的左下角坐标在车道分界线上方则判断为1车道，边界框的左下角坐标在车道分界线下方则判断为2车道。

4.图像标定

为了在视频中获得车辆的长度与速度，本发明提出一种基于已知长度移动标准车的图像标定方法。如图3所示，一辆车在X轴方向由正面及侧面所组成，其中NF和NS是属于车正面及侧面的像素个数，横坐标X_A，X_B，X_C和X_D分别对应于车辆左边缘，车辆正面与侧面分隔线，车辆侧面中线及车辆右边缘。为了计算车辆的长度及速度，需要获得的是每条车道上车辆的NS值及像素所代表的沿车道方向的实际长度。

1)车宽所占像素数的标定

为了计算车辆长度，首先需要获得NS。而一个车辆边界框的宽度由NF及NS组成，如果已知NF则会很容易得到NS的值。因此以X_A为参考坐标来标定NF，即在每条车道上找到关于不同车宽的NF与X_A的关系。首先将常见车辆按车宽分为三类，包括宽体车(重型货车、重型厢式货车、罐车、轿运车及客车)，中体车(轻型卡车、轻型厢式货车)和窄体车(小型车)。为了在一条车道上标定NF，当标准车在视频中移动时对视频间隔4帧进行采样。当在每个采样帧中标定NF时，需要手动标记车辆对应的X_A和X_B并通过X_B–X_A来计算NF。为了在所有采样帧上用多项式并基于最小二乘法来拟合X_A和NF的关系，在每个采样帧中将X_A和NF成对保存。多项式的系数按公式

来计算。实际上只有宽体与窄体车被选为标准车，中体车在每条车道上的NF值按宽体、窄体车标定结果的中间值来计算以此来提高标定效率。

2)像素代表长度值的标定

在标定完NF后，对像素所代表的沿每条车道的真实长度进行标定。结合标准车的已知长度，位于车辆侧面中线上的像素所代表的沿车道真实长度RL以参考坐标X_C来标定。RL为车辆侧面所有像素的平均代表值，它通过标准车总长度L_CV除以NS而得。NS与X_C分别由X_D–X_B与(X_B+X_D)/2计算而得，其中X_D应被手动标记而X_B已在车宽所占像素数的标定中获得。X_C和RL的关系在所有采样帧上用基于最小二乘法的多项式进行拟合，类似于基于参考坐标X_A来标定NF。多项式的系数按公式

来计算。图6展示了四条车道的标定结果。如图6中的图a、图6中的图b、图6中的图c、图6中的图d所示，对于宽体与窄体标准车，X_A和NF的关系在采样帧上都表现出了明显的线性。因此在所有车道上，用基于最小二乘法的线性拟合来标定宽体与窄体车的NF。为了提高标定效率对于中体车的NF取宽体车与窄体车标定结果的平均值而不再单独对其进行标定，相关结果也展示在图中。相比于X_A与NF的关系，X_C与RL的关系在采样帧中展现出了非线性如图6中的图e、图6中的图f、图6中的图g、图6中的图h所示，用基于最小二乘法的三次多项式去拟合该关系。值得注意的是在同一车道中关于宽体、窄体车的RL标定结果是非常接近的，这证明了在一条车道中，同一横坐标所对应的不同车的RL近似为常数。因此在标定RL时可不分车型。

5.多目标跟踪

用已训练好的Faster R-CNN模型对视频中的车辆进行逐帧检测。当车辆进入检测区后对其进行跟踪，并且生成相应的车辆信息序列，为车辆参数的计算提供基础。在跟踪中距离阈值δ设为40像素。当车辆离开检测区后，根据相应车辆的信息序列计算车辆参数，车辆参数获得后，在存储空间删除该信息序列，只保留车辆参数。

6.车辆参数计算

利用图像标定结果，通过公式

逐帧对车辆长度进行计算。当一辆车离开检测区后，对其所有的车长计算结果进行排序，位于前20％和后20％的结果被排除，剩余的结果经过平均作为最终车辆计算长度。图7分别展示了4辆车每帧车长的计算结果。其中，长度计算结果围绕着真值波动，这是因为边界框不能在每一帧中都紧紧包裹目标。在排除极值并平均剩余值后，计算结果与真值之间的误差被大大减小。车辆轴数可由车长及车辆类型反演得出。而车速则通过公式

来计算。详细步骤如下：

1)计算车辆长度与轴数

图像标定后，当一辆车出现在检测区内，车辆的长度L_V可根据相关信息序列元素中的车型、车道号及边界框坐标用公式

来计算。因为检测得到的边界框位置和真实目标边界框的位置在一些帧上可能会有比较明显的差别，所以当车辆在检测区行进时逐帧计算其车长。当判断车辆离开检测区后，所有的车长计算结果按大小进行排序，并排除其中20％的最大值和20％的最小值，之后将剩余结果进行平均后作为车辆长度。这种车长计算方法可以大幅降低偶然误差。

车辆的轴数可根据车长及车型来估算。根据相关规范标准和对公路上常见车型的调查，轻型卡车、轻型厢式货车、客车及小型车的轴数通常为2，其余车型的轴数与对应的车长展示在表3中。

表3四种车型的车辆长度所对应的车辆轴数

2)车速计算

根据车辆在检测区内行驶的距离和时间来计算车速。为计算车辆行驶距离，首先根据多目标跟踪方法识别出车辆在检测区中行驶的第一帧及最后一帧。利用RL的标定结果来计算行驶距离。由于行驶距离的长度通常较车长长很多，因此其距离采用分段计算的方式来提升精度。每段距离按公式

计算。车速根据公式

计算获得，计算示意图如图4所示。

3)计算车辆空间位置

在获得车速后，通过公式P_T＝(T-T_l)V+P_l并结合车速不变假设可估算出任意时刻沿车道的车辆位置P_T。

综前所述，根据本专利提出的方法可获得车辆参数及任意时刻的车辆位置，即可得到车辆在桥面上的时空信息。

7.时空分布

根据计算得到的车辆参数及空间位置，即获得了桥面车辆的时空信息。图8展示了一日内4个不同时刻的车辆空间分布情况，其直观地展示了交通密度及桥面车辆信息。

综上，根据本发明提出的方法成功实现了桥面车辆时空信息的获取，该方法拥有约每秒16帧的处理速度，接近于实时。

Claims (10)

1.一种基于Faster R-CNN与视频技术的桥面车辆时空信息获取方法，其特征在于包括以下步骤：

S1：将车辆按车宽分为三类，分别是宽体车、中体车和窄体车，在每条车道上分别选定两辆长度已知的宽体标准车与窄体标准车，对视频监控画面进行标定；

S2：在视频监控画面中建立四边形虚拟检测区，在检测区内用直线标注车道分界线并建立对应的直线方程；

S3：建立车辆图片数据库用于训练Faster R-CNN网络，将训练后的网络用于视频的逐帧目标检测；

S4：根据基于Faster R-CNN的车辆检测结果，通过计算在四边形虚拟检测区内不同帧中边界框中心间的距离来判断跟踪目标，在跟踪的同时建立每辆车对应的信息序列，序列中的每个元素包含边界框坐标、车型、车道编号及当前帧号；

S5：在跟踪过程中利用车辆边界框左下角坐标与车道分界线所在直线的位置关系来判断车辆所在车道；

S6：当车辆离开检测区后，根据图像标定结果、车辆信息序列及虚拟检测区信息，计算得到车型、车长、轴数、车速、所在车道；

S7：根据车辆参数及检测区位置并结合车速不变假设计算获得桥面车辆的时空信息。

2.根据权利要求1所述的桥面车辆时空信息获取方法，其特征在于所述的步骤S1包括以下步骤：

S11：当已知长度的宽体标准车和窄体标准车在视频中行驶时，对视频间隔4帧进行采样，在各车道的每个采样帧上，以车辆左边缘的X坐标X_A为参考来标定不同位置上宽体车与窄体车车宽所占像素个数NF，中体车的车宽标定结果取宽体车与窄体车的中间值；

S12：根据宽体标准车或窄体标准车已知的车辆长度以对应车辆侧面中点X坐标X_C为参考来标定像素所代表的沿车道方向实际长度RL；

S13：在所有采样帧上用多项式并基于最小二乘法来拟合X_A与NF的关系：

其中，

是拟合X_A与NF关系的最优多项式系数向量，α_K,Q是拟合X_A与NF关系的候选多项式系数向量，

是标准车左边缘的X坐标，

是沿X轴标准车车宽所占像素个数，f_K,Q是关于

和α_K,Q的多项式函数，下标K为车辆类型，Q为车道号，上标i是采样帧的编号；

S14：在所有采样帧上用多项式并基于最小二乘法来拟合X_C与RL的关系：

其中，

是拟合X_C与RL关系的最优多项式系数向量，β_K,Q是拟合X_C与RL关系的候选多项式系数向量，

是标准车侧面中点X坐标X_C，

是沿X轴标准车侧面所占像素个数，L_CV,K为标准车实际长度，g_K,Q是关于

和β_K,Q的多项式函数，下标K为车辆类型，Q为车道号，上标j是采样帧的编号。

3.根据权利要求1所述的桥面车辆时空信息获取方法，其特征在于所述的四边形虚拟检测区长度覆盖3-5个常见大型货车，宽度覆盖单向所有车道。

4.根据权利要求1或2所述的桥面车辆时空信息获取方法，其特征在于所述的宽体车包括重型货车、重型厢式货车、罐车、轿运车、客车，中体车包括轻型卡车、轻型厢式货车，窄体车为小型车。

5.根据权利要求1所述的一种基于Faster R-CNN与视频技术的桥面车辆时空信息获取方法，其特征在于所述的步骤S3包括以下步骤：

S31：搭建基于ZF模型的Faster R-CNN网络；

S32：建立包括重型货车、重型厢式货车、罐车、轿运车、客车、轻型卡车、轻型厢式货车、小型车的车型图片数据库，在数据库中只标注面向摄像头的车辆，并且标注边界框紧紧包裹车辆目标；

S33：网络经车型数据库训练后用于目标检测，在检测时只选择中心在检测区内的目标边界框作为计算对象。

6.根据权利要求1所述的一种基于Faster R-CNN与视频技术的桥面车辆时空信息获取方法，其特征在于所述步骤S4包括以下步骤：

S41：当在检测区内检测到车辆目标时，判断在当前存储空间内是否存在车辆的信息序列；

S42：若当前存在车辆的信息序列，则对在当前帧检测区中检测到的每一个目标边界框计算其与当前存在的每一个信息序列的最后一个元素所对应的边界框的距离d_I,J，其中

C为边界框的中点坐标，cur代表在当前帧中检测出的在检测区内的边界框，eis代表存在的信息序列最后元素所对应的边界框，I和J为边界框的编号；

S43：对于当前帧检测区内的一个目标边界框，将计算得到的距离d_I,J最小值与距离阈值δ进行比较，若该距离最小值小于阈值则说明距离最小的两个边界框代表的是同一目标，并将当前帧中该目标边界框所对应的坐标、车型、车道号、当前帧号封装为一个元素加入到对应的信息序列的末尾；若没有与其距离小于阈值δ的相应目标或者在当前帧时刻不存在信息序列，则说明该目标边界框所对应的车辆此刻刚进入检测区；

S44：当一信息序列超过q帧都未增加元素则说明对应的车辆已离开了检测区，q根据目标检测的灵敏度来设定，当确定车辆离开检测区后，根据完整的信息序列计算车辆参数，然后在存储空间内删除该信息序列仅保存车辆参数。

7.根据权利要求1所述的一种基于Faster R-CNN与视频技术的桥面车辆时空信息获取方法，其特征在于所述步骤S6中计算车辆长度包括以下步骤：

S611：计算一帧中的车辆长度，

其中，

是沿X轴属于车侧面的像素个数，L_V为车辆的长度，X_A和X_D分别为检测到的车辆边界框的左右边X坐标，X_C是车辆侧面中点X坐标，g_K,Q是关于X_C和

的多项式函数，

是拟合X_C与RL关系的最优多项式系数向量，f_K,Q是关于X_A和

的多项式函数，

是拟合X_A与NF关系的最优多项式系数向量，下标K为车辆类型，Q为车道号；

S612：按大小对所有计算帧中的车长计算结果进行排序并排除其中占比不超过20％的最大值和占比不超过20％的最小值，将剩余结果取平均值作为最终车辆计算长度。

8.根据权利要求1所述的一种基于Faster R-CNN与视频技术的桥面车辆时空信息获取方法，其特征在于所述步骤S6中的车辆轴数根据车型与车长反演得到。

9.根据权利要求1所述的一种基于Faster R-CNN与视频技术的桥面车辆时空信息获取方法，其特征在于所述步骤S6中计算车速包括以下步骤：

S621：根据多目标跟踪方法识别出车辆关于检测区的进入帧及离开帧；

S622：利用RL的标定结果采用分段计算行驶距离，计算每段距离，

其中：上标o为分段号，上标Ent和Lea分别代表车辆关于检测区的进入帧与离开帧，N_R为分段数量，

为第o段中线的横坐标，

为第o段的长度，g_K,Q是关于

和

的多项式函数，

是拟合X_C与RL关系的最优多项式系数向量，

为车辆进入帧中车辆侧面中点的X坐标，

为车辆离开帧中车辆侧面中点的X坐标，下标K为车辆类型，Q为车道号；

S623：将检测区内车辆行驶各分段距离相加得到车辆行驶的总距离，同时相应的车辆行驶时间可通过视频的帧率来获得，计算车速V，

式中：L_d为车辆在检测区中的行驶距离；T_m为相应的行驶时间，F_v为视频的帧率，N_f为车辆在检测区行驶过程中的总帧数。

10.根据权利要求1所述的一种基于Faster R-CNN与视频技术的桥面车辆时空信息获取方法，其特征在于所述步骤S7中任意时刻的车辆位置P_T根据车速及虚拟检测区的位置，结合车速不变假设计算:

P_T＝(T-T_l)V+P_l，

其中，T为需要计算的任意时刻，T_l为车辆离开检测区的时刻，P_l为检测区的出口位置。

Images