CN113837007B - 一种基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布识别方法 - Google Patents

Abstract

本发明提出了一种基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布识别方法，所述方法首先进行目标车辆图像的获得及车辆荷载信息关联，然后利用基于HardNet深度学习描述符的图像匹配方法实现不同监控视频图像中的车辆识别，最后对给定时刻的所有位置监控视野中的车辆进行识别，结合目标车辆图像附加的车辆荷载信息，实现桥梁上的车辆荷载识别。本发明的图像匹配过程在各种监控场景下都能很好地建立车辆图像间的点特征对应关系，对于不同监控视频图像间存在的亮度、视角以及尺度变化都有着很好的鲁棒性，从而使得本方法能够有效应对复杂多变的实际监控场景的挑战，稳定识别桥上的车辆荷载。

Description

一种基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布 识别方法

技术领域

本发明属于桥梁健康监测技术领域，特别是涉及一种基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布识别方法。

背景技术

车辆荷载是桥梁最主要的荷载之一，在各种荷载组合中占很重要的地位。它是产生桥梁疲劳劣化最主要的原因，同时也是桥梁进行时变可靠性分析、剩余寿命预测以及极限承载能力计算等的研究基础之一。随着我国社会、经济和交通运输业的发展，桥梁的车辆荷载状况发生了很大的变化，出现了大量的车辆超载现象，使桥梁处于超负荷运营状态，这将加速桥梁的疲劳破坏，特别是集群出现的超重大型车辆，更是使桥梁的疲劳可靠性和极限承载能力面临严峻考验。因此，准确识别大型车辆荷载对于桥梁结构的受荷状态评估与管理至关重要。

安装在很多桥梁上的动态称重系统，能够直接测量过往车辆的重量，轴数和速度信息，这为识别桥梁上大型车辆荷载提供了可能性。但动态称重系统往往只布置在桥头等桥梁局部位置，因此直接利用其识别全桥的车辆荷载信息是不可能的。监控摄像机由于其安装维护便捷且费用较低、可监控范围广、可获取更多种类的交通参数、而且适用于多桥梁类型等诸多优点，在桥梁监测系统中得到了越来越广泛的应用。安装在桥梁道路上方的监控摄像机持续监控道路状况和过往车辆，得到的视频图像序列中蕴含着车辆的位置信息。因此，结合监控摄像机和运动称重系统成为桥梁健康监测领域中桥梁车辆荷载识别方法的一种很有前景的策略，并且近些年来受到越来越多的关注。

在结合监控视频信息与动态称重系统信息的桥梁车辆荷载识别方法中，如何建立桥梁上不同位置的监控视频中车辆的对应关系，从而提取车辆位置信息，是系统建立的关键问题。但目前的方法或是对光照变化敏感，无法稳定建立各种情况下的车辆对应关系，或是需要相邻监控摄像机间存在重叠视野，只适用于实际应用中的一些特殊情况。基于点特征的图像匹配方法是一种建立图像间对应关系的计算机视觉方法，是该问题的解决方案。

发明内容

本发明的目的是为了解决现有技术中的问题，提出了一种基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布识别方法。

本发明是通过以下技术方案实现的，本发明提出一种基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布识别方法，具体包括以下步骤：

步骤一、根据车辆通过动态称重系统的时间以及其在此处监控视频中出现的时间，将车辆重量附加在对应的车辆图像上，同时截取通过的车辆图像作为目标车辆图像；

步骤二、构建基于HardNet描述符的图像匹配方法以匹配识别不同监控视频中的目标车辆；

步骤三、对给定时刻的所有位置监控视频中的车辆进行匹配识别，建立车辆对应关系，提取车辆位置信息，结合目标车辆图像附加的车辆荷载信息，实现桥梁上的车辆荷载识别。

进一步地，所述步骤一具体为：

步骤1.1、从动态称重系统中读取通过的车辆的通过时间、速度和重量；

步骤1.2、利用基于YOLOV3的车辆检测方法检测截取视频中通过动态称重系统区域的车辆作为目标车辆图像，同时记录检测截取时间；

步骤1.3、将从动态称重系统中提取到的车辆的速度与重量信息附加到同一时间从视频监控系统中检测截取的目标车辆图像上。

进一步地，所述步骤二具体为：

步骤2.1、以加速分段测试的特征提取FAST算法在构造的图像尺度空间金字塔中检测车辆图像中的点特征；

步骤2.2、将点特征及其周围区域输入到经过训练的HardNet深度神经网络中，以获得HardNet点特征描述符；

步骤2.3、利用最近邻匹配方法和SIFT匹配条件来初步建立两个图像的HardNet点特征描述符之间的匹配关系；

步骤2.4、与目标车辆图像建立最多点特征对应关系的待识别车辆图像即为识别结果。

进一步地，所述步骤2.1具体为：

步骤2.1.1、将原始图像不断进行下采样构建图像尺度金字塔；

步骤2.1.2、以加速分段测试的特征提取FAST算法检测尺度金字塔每一层的候选点特征；

步骤2.1.3、对所有候选点特征执行非最大值抑制，保留每个区域里最稳定的点特征，判断在每个候选点特征附近是否存在多个点特征，如果存在，计算每个点特征的函数值V：

其中S_bright＝{x|I_x≥I_p+s}，S_dark＝{x|I_x≤I_p-s}，I_p和s是要检测的点的强度值和选定的阈值，I_x表示以检测的点为中心，半径为3的圆周上像素的灰度值；如果该点特征的V值在邻域中最大，保留该点特征；否则，删除该点特征；如果在某点特征的邻域中没有其他点特征，则直接保留该点特征；

步骤2.1.4、对获得的尺度空间金字塔每一层中的点特征位置进行亚像素插值，获得图像点特征的精确坐标。

进一步地，所述步骤2.2具体为：

步骤2.2.1、构建HardNet深度神经网络，网络的输入为32×32像素的图像块，输出为L2规范化的128维特征描述符；

步骤2.2.2、以车辆匹配图像数据集联合训练HardNet深度神经网络，网络的损失函数为：

式中n为一个批次的数据量，d(a_i,p_i)为一批训练图像中第i组匹配图像块的描述符间的欧式距离，

为第i个图像块描述符a_i与其最接近的不匹配的图像块描述符

间的欧式距离，

为第i个图像块描述符p_i与其最接近的不匹配的图像块描述符

间的欧式距离；

步骤2.2.3、将步骤2.1检测到的点特征及其周围区域输入训练好的深度神经网络获得HardNet深度学习描述符。

进一步地，所述步骤2.3中对于两幅图像的匹配过程具体为：

步骤2.3.1、在第一幅图像中选择一个HardNet点特征描述符，计算其与第二幅图像中所有HardNet点特征描述符之间的欧几里得距离，然后保留距离最小的前两个描述符；

步骤2.3.2、对保留的第二幅图中的两个描述符应用SIFT匹配准则，在这两个描述符中，如果与第一幅图的描述符最近的距离除以次近的距离得到的比率小于设定的阈值r，则接受最近的描述符作为匹配描述符；

步骤2.3.3、对第一幅图中的所有点特征描述符重复步骤2.3.1-2.3.2，初步建立两幅图的点特征对应关系。

进一步地，所述步骤三具体为：

步骤3.1、结合搜索时间区间估计、匹配图像区域限制和隔帧搜索搜索匹配策略确定目标车辆车辆搜索视频范围；

步骤3.2、利用基于HardNet深度学习描述符的图像匹配方法对目标车辆在搜索视频范围中进行匹配识别，确定车辆在视频中的出现帧及其在桥上的位置；

步骤3.3、通过联合分析桥梁上一个时段的所有通过车辆的时空信息，对桥梁当前时段内的任意时刻的荷载分布进行识别，完成桥梁车辆荷载识别分析。

进一步地，所述步骤3.1具体为：

步骤3.1.1、利用车辆在通过动态称重系统时记录的车速信息，结合需要分析的监控与动态称重系统的距离，预估车辆到达该处监控的时间区间；

步骤3.1.2、对于获得的时间区间范围内的视频进行抽帧处理，进一步减小搜索范围；

步骤3.1.3、去掉视频帧内多余区域，聚焦图像匹配任务关注的区域，控制匹配图像范围。

进一步地，所述步骤3.2具体为：

步骤3.2.1、利用基于HardNet深度学习描述符的图像匹配方法对目标车辆在处理后的视频流中进行匹配识别，设定一个匹配点对数阈值初步滤除干扰匹配项，获得存储帧号与匹配点对数的匹配序列；

步骤3.2.2、以与目标车辆图像的点特征匹配对的数目为依据对匹配序列进行降序排列，检查匹配点特征对的数量并选择匹配点特征对数目的突然减少点作为阈值；如果匹配点特征对的数量大于阈值，则保留对应的搜索帧，否则，去掉序列中的对应的搜索帧；

步骤3.2.3、对筛选后的序列，以搜索帧的帧号次进行升序排列，获得匹配序列的中位数帧号，并将其作为该目标车辆图像在序列中的出现帧，实现对该目标车辆在视频流中的识别；

步骤3.2.4、利用基于归一化互相关系数的模板匹配算法确定目标车辆在视频出现帧中的具体位置；

步骤3.2.5、利用霍夫直线检测算法检测监控视频中的车道线，并判断车辆的位置与车道线的相对位置关系，实现监控视频中的车辆车道定位。

本发明的有益效果为：

1、本发明能够广泛适用于各种桥梁监控场景，对监控摄像机的安装位置与角度均无特别要求。

2、本发明能有效应对实际桥梁监控场景下存在的视频亮度，视角和尺度变化挑战，稳定识别桥上的车辆荷载。

附图说明

图1为本发明基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布识别方法的流程图；

图2为本发明中图像尺度金字塔的示意图；

图3为本发明中的图像匹配方法在实施例中不同监控场景下的点特征对应关系建立示意图；其中(a)为监控场景1下的对应关系；(b)为监控场景2下的对应关系；(c)为监控场景3下的对应关系；

图4为本发明的实施例2中的监控布置位置示意图；

图5为本发明的实施例2中在图4的1号监控处获得的目标车辆的示意图；其中(a)为目标车辆图像1；(b)为目标车辆图像2；

图6为本发明的实施例2中在图4的2号监控处对图5目标车辆的匹配结果示意图；其中(a)为对应目标车辆图像1的匹配结果；(b)为对应目标车辆图像2的匹配结果；

图7为本发明的实施例2中在图4的3号监控处对图5目标车辆的匹配结果示意图：其中(a)为对应目标车辆图像1的匹配结果；(b)为对应目标车辆图像2的匹配结果；

图8为分析时段内8个时刻的桥梁下行侧车辆荷载分布识别结果示意图；其中(a)为00:39:00时刻，(b)为00:39:10时刻，(c)为00:39:25时刻，(d)为00:39:30时刻，(e)为01:47:45时刻，(f)为01:47:55时刻，(g)为01:51:55时刻，(h)为01:52:00时刻。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在桥梁健康监测领域中，大型车辆荷载的识别对于桥梁结构的受荷状态评估与管理至关重要。结合监控摄像机和运动称重系统是建立桥梁车辆荷载识别方法的一种很有前景的策略，而其中如何建立桥梁上不同位置的监控视频中车辆的对应关系，从而提取车辆位置信息，是系统建立的关键问题，但现有的方法有着各自的限制。

本发明的目的是为了满足桥梁健康监测领域的需要，建立了一种基于图像匹配方法的桥梁车辆荷载识别方法，其中图像匹配方法利用HardNet神经网络作为点特征描述符，对于不同监控视频图像间存在的亮度、视角以及尺度变化都有着很好的鲁棒性，从而使得系统能够有效应对复杂多变的实际监控场景的挑战。

结合图1，本发明提出一种基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布识别方法，具体包括以下步骤：

步骤一、根据车辆通过动态称重系统的时间以及其在此处监控视频中出现的时间，将车辆重量附加在对应的车辆图像上，同时截取通过的车辆图像作为目标车辆图像；

步骤二、构建基于HardNet描述符的图像匹配方法以匹配识别不同监控视频中的目标车辆；

步骤三、对给定时刻的所有位置监控视野中的车辆进行匹配识别，建立车辆对应关系，提取车辆位置信息，结合目标车辆图像附加的车辆荷载信息，实现桥梁上的车辆荷载识别。

所述步骤一具体为：

步骤1.1、从动态称重系统中读取通过的车辆的通过时间、速度和重量；

步骤1.2、利用基于YOLOV3的车辆检测方法检测截取视频中通过动态称重系统区域的车辆作为目标车辆图像，同时记录检测截取时间；

步骤1.3、将从动态称重系统中提取到的车辆的速度与重量信息附加到同一时间从视频监控系统中检测截取的目标车辆图像上。

所述步骤二具体为：

步骤2.1、以加速分段测试的特征提取FAST算法在构造的图像尺度空间金字塔中检测车辆图像中的点特征；

步骤2.2、将点特征及其周围区域输入到经过训练的HardNet深度神经网络中，以获得HardNet点特征描述符；

步骤2.3、利用最近邻匹配方法和SIFT匹配条件来初步建立两个图像的HardNet点特征描述符之间的匹配关系；

步骤2.4、与目标车辆图像建立最多点特征对应关系的待识别车辆图像即为识别结果。

所述步骤2.1具体为：

步骤2.1.1、将原始图像不断进行下采样构建如图2的图像尺度金字塔，金字塔由不同尺度的4个八度(octave)层c_i和4个内八度(intra-octave)层d_i组成，i＝{0，1，...,3}。每个八度层由连续地对原图c₀二倍下采样获得，而位于c_i层与c_i+1层之间的d_i，除了d₀是通过对原图c₀1.5倍下采样获得，其他都是通过由连续地对d₀二倍下采样获得。图2中的方格表示像素，八度层c_i的边上的像素数量是c_i+1的两倍，内八度层d_i和d_i+1存在相同关系。

步骤2.1.2、以加速分割测试特征提取(FAST)算法检测尺度金字塔每一层的候选点特征。

步骤2.1.3、对所有候选点特征执行非最大值抑制，保留每个区域里最稳定的点特征，判断在每个候选点特征附近是否存在多个点特征，如果存在，计算每个点特征的函数值V：

其中S_bright＝{x|I_x≥I_p+s}，S_dark＝{x|I_x≤I_p-s}，I_p和s是要检测的点的强度值和选定的阈值，I_x表示以检测的点为中心，半径为3的圆周上像素的灰度值。如果该点特征的V值在邻域中最大，保留该点特征；否则，删除该点特征。如果在某点特征的邻域中没有其他点特征，则直接保留该点特征。

步骤2.1.4、对获得的尺度空间金字塔每一层中的点特征位置进行亚像素插值，获得图像点特征的精确坐标。

所述步骤2.2具体为：

步骤2.2.1、构建HardNet深度神经网络，网络的输入为32×32像素的图像块，输出为L2规范化的128维特征描述符。

步骤2.2.2、以车辆匹配图像数据集联合训练HardNet深度神经网络，网络的损失函数为：

式中n为一个批次的数据量，d(a_i,p_i)为一批训练图像中第i组匹配图像块的描述符间的欧式距离，

为第i个图像块描述符a_i与其最接近的不匹配的图像块描述符

间的欧式距离，

为第i个图像块描述符p_i与其最接近的不匹配的图像块描述符

间的欧式距离。

步骤2.2.3、将步骤2.1检测到的点特征及其周围区域输入训练好的深度神经网络获得HardNet深度学习描述符。

所述步骤2.3中对于两幅图像的匹配过程具体为：

步骤2.3.1、在第一幅图像中选择一个HardNet点特征描述符，计算其与第二幅图像中所有HardNet点特征描述符之间的欧几里得距离，然后保留距离最小的前两个描述符。

步骤2.3.2、对保留的第二幅图中的两个描述符应用SIFT匹配准则：在这两个描述符中，如果与第一幅图的描述符最近的距离除以次近的距离得到的比率小于设定的阈值r，则接受最近的描述符作为匹配描述符。

步骤2.3.3、对第一幅图中的所有点特征描述符重复2.3.1-2.3.2步骤，初步建立两幅图的点特征对应关系。

所述步骤三具体为：

步骤3.1、结合搜索时间区间估计、匹配图像区域限制和隔帧搜索搜索匹配策略，确定目标车辆车辆搜索视频范围。

步骤3.2、利用基于HardNet深度学习描述符的图像匹配方法对目标车辆在搜索视频范围中进行匹配识别，确定车辆在视频中的出现帧及其在桥上的位置。

步骤3.3、通过联合分析桥梁上一个时段的所有通过车辆的时空信息，对桥梁该时段内的任意时刻的荷载分布进行识别，完成桥梁车辆荷载识别分析。

所述步骤3.1具体为：

步骤3.1.1、利用车辆在通过动态称重系统时记录的车速信息，结合需要分析的监控与动态称重系统的距离，预估车辆到达该处监控的时间区间。

步骤3.1.2、对于获得的时间区间范围内的视频进行抽帧处理，进一步减小搜索范围。

步骤3.1.3、去掉视频帧内多余区域，聚焦图像匹配任务关注的区域，控制匹配图像范围。

所述步骤3.2具体为：

步骤3.2.1、利用基于HardNet深度学习描述符的图像匹配方法对目标车辆在处理后的视频流中进行匹配识别，设定一个较小的匹配点对数阈值初步滤除干扰匹配项，获得存储帧号与匹配点对数的匹配序列。

步骤3.2.2、以与目标车辆图像的点特征匹配对的数目为依据对匹配序列进行降序排列，检查匹配点特征对的数量并选择匹配点特征对数目的突然减少点作为阈值；如果匹配点特征对的数量大于阈值，则保留对应的搜索帧，否则，去掉序列中的对应的搜索帧；

步骤3.2.3、对筛选后的序列，以搜索帧的帧号次进行升序排列，获得匹配序列的中位数帧号，并将其作为该目标图像在序列中的出现帧，实现对该辆目标车辆在视频流中的识别。

步骤3.2.4、利用基于归一化互相关系数的模板匹配算法确定目标车辆在视频出现帧中的具体位置。

步骤3.2.5、利用霍夫直线检测算法检测监控视频中的车道线，并基于判断车辆的位置与车道线的相对位置关系，实现监控视野中的车辆车道定位。

本发明建立数据驱动的HardNet深度学习描述符，能够充分挖掘图像高级特征并保留点特征区域的信息以获得足够的区分度，对实际监控场景存在的图像尺度变化，亮度变化和视角变化等具有很好的鲁棒性。因此基于HardNet描述符的图像匹配方法能够有效地建立不同监控视频中的车辆对应关系。基于此提取车辆位置信息，结合目标车辆图像附加的车辆荷载信息，实现桥梁上的车辆荷载识别。

实施例1

本实施方式是将本发明应用于某大桥的车辆监控图像数据。该大桥是一座特大桥梁，长817.2米，宽33.5米，双向有六个车道。由于大型车辆是桥梁结构的受荷状态评估的主要考虑因素，因此本实施例中仅研究该类型车辆。

所述步骤一具体为：根据车辆通过动态称重系统的时间以及其在此处监控视频中出现的时间，将车辆重量附加在对应的车辆图像上，同时截取通过的车辆图像作为目标车辆图像；

所述步骤二具体为：利用基于HardNet描述符的图像匹配方法建立目标车辆与一个位置的一个时段内的监控视频中的所有待识别车辆间的点特征对应关系，其中与目标车辆图像建立最多对应关系的即为该处位置监控下的目标车辆。图3展示了基于HardNet描述符的图像匹配方法在各种监控场景下(分别为光照条件好、光照条件差、光照强烈变化且还存在着图像的视角及尺度变化三种情况)的目标车辆识别情况，可以看到该方法在各种场景下都能很好地建立车辆图像间的点特征对应关系，对于不同监控视频图像间存在的亮度、视角以及尺度变化都有着很好的鲁棒性，从而使得车辆荷载识别方法能够有效应对复杂多变的实际监控场景的挑战。

所述步骤三具体为：对给定时刻的所有位置监控视野中的车辆进行匹配识别，建立车辆对应关系，提取车辆位置信息，结合目标车辆图像附加的车辆荷载信息，实现桥梁上的车辆荷载识别。

实施例2

本实施方式是将本发明应用于某另一座大桥的三个位置的两个时段(时长均为6分钟)的监控视频数据，该桥梁长805米(主桥长330米，引桥长475米)，桥面为双向四车道城市主干道，设计速度为40千米/小时。三个监控的布置位置情况示意如图4所示。

所述步骤一具体为：根据车辆通过动态称重系统的时间以及其在图4中1号监控视频中出现的时间，将车辆重量附加在对应的车辆图像上，同时截取通过的车辆图像作为目标车辆图像，如图5所示；

所述步骤二具体为：利用基于HardNet深度学习描述符的图像匹配方法对目标车辆在图4中2号监控与3号监控的视频流中进行匹配识别。

所述步骤三具体为：对给定时刻的所有位置监控视野中的车辆进行匹配识别，建立车辆对应关系，提取车辆位置信息，结合目标车辆图像附加的车辆荷载信息，实现桥梁上的车辆荷载识别。设定一个较小的匹配点对数阈值初步滤除干扰匹配项(本例中设置为5)获得存储帧号与匹配点对数的匹配序列。然后以与目标车辆的点特征匹配对的数目为依据对匹配序列进行降序排列，检查匹配点特征对的数量并选择突然减少点作为阈值，如果匹配点特征对的数量大于阈值，则保留对应的搜索帧，否则，去掉序列中的该搜索帧。最后，对筛选后的序列，以搜索帧的帧号为依据再次进行升序排列，获得匹配序列的中位数帧号，并将其作为该目标图像在序列中的出现帧，实现对该辆目标车辆在视频流中的识别。对图5中的目标车辆匹配识别结果展示如图6，7所示，图中标记了图像所属监控视野。

对分析时段内的8个时刻的桥梁车辆荷载分布识别如表1所示，其中的mk为车辆在动态称重系统中的车重，相同的k表示同一辆车；

表1 8个时刻的桥梁下行侧车辆荷载分布

由于车重信息以及上行侧监控的缺失，基于相关资料，采用1.5吨(t)作为小型车辆(该座桥梁上通过的主要车辆类型)车重代表值，即m_k＝1.5t，展示时段1与时段2内各4个时刻的桥梁下行侧(1，2车道)的车辆荷载分布(8个时刻的桥梁上均只存在小型车辆)。当车重信息与上行侧监控均可用时，可基于本发明所述方法轻易实现全桥车辆荷载的识别分析。

以上对本发明所提出的一种基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布识别方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布识别方法，其特征在于，具体包括以下步骤：

步骤一、根据车辆通过动态称重系统的时间以及其在此处监控视频中出现的时间，将车辆重量附加在对应的车辆图像上，同时截取通过的车辆图像作为目标车辆图像；

步骤二、构建基于HardNet描述符的图像匹配方法以匹配识别不同监控视频中的目标车辆；

步骤三、对给定时刻的所有位置监控视频中的车辆进行匹配识别，建立车辆对应关系，提取车辆位置信息，结合目标车辆图像附加的车辆荷载信息，实现桥梁上的车辆荷载识别；

所述步骤二具体为：

步骤2.1、以加速分段测试的特征提取FAST算法在构造的图像尺度空间金字塔中检测车辆图像中的点特征；

步骤2.2、将点特征及其周围区域输入到经过训练的HardNet深度神经网络中，以获得HardNet点特征描述符；

步骤2.3、利用最近邻匹配方法和SIFT匹配条件来初步建立两个图像的HardNet点特征描述符之间的匹配关系；

步骤2.4、与目标车辆图像建立最多点特征对应关系的待识别车辆图像即为识别结果。

2.根据权利要求1所述的方法，其特征在于，所述步骤一具体为：

步骤1.1、从动态称重系统中读取通过的车辆的通过时间、速度和重量；

步骤1.2、利用基于YOLOV3的车辆检测方法检测截取视频中通过动态称重系统区域的车辆作为目标车辆图像，同时记录检测截取时间；

步骤1.3、将从动态称重系统中提取到的车辆的速度与重量信息附加到同一时间从视频监控系统中检测截取的目标车辆图像上。

3.根据权利要求1所述的方法，其特征在于，所述步骤2.1具体为：

步骤2.1.1、将原始图像不断进行下采样构建图像尺度金字塔；

步骤2.1.2、以加速分段测试的特征提取FAST算法检测尺度金字塔每一层的候选点特征；

步骤2.1.3、对所有候选点特征执行非最大值抑制，保留每个区域里最稳定的点特征，判断在每个候选点特征附近是否存在多个点特征，如果存在，计算每个点特征的函数值V：

其中S_bright＝{x|I_x≥I_p+s}，S_dark＝{x|I_x≤I_p-s}，I_p和s是要检测的点的强度值和选定的阈值，I_x表示以检测的点为中心，半径为3的圆周上像素的灰度值；如果该点特征的V值在邻域中最大，保留该点特征；否则，删除该点特征；如果在某点特征的邻域中没有其他点特征，则直接保留该点特征；

步骤2.1.4、对获得的尺度空间金字塔每一层中的点特征位置进行亚像素插值，获得图像点特征的精确坐标。

4.根据权利要求1所述的方法，其特征在于，所述步骤2.2具体为：

步骤2.2.1、构建HardNet深度神经网络，网络的输入为32×32像素的图像块，输出为L2规范化的128维特征描述符；

步骤2.2.2、以车辆匹配图像数据集联合训练HardNet深度神经网络，网络的损失函数为：

式中n为一个批次的数据量，d(a_i,p_i)为一批训练图像中第i组匹配图像块的描述符间的欧式距离，

为第i个图像块描述符a_i与其最接近的不匹配的图像块描述符

间的欧式距离，

为第i个图像块描述符p_i与其最接近的不匹配的图像块描述符

间的欧式距离；

步骤2.2.3、将步骤2.1检测到的点特征及其周围区域输入训练好的深度神经网络获得HardNet深度学习描述符。

5.根据权利要求1所述的方法，其特征在于，所述步骤2.3中对于两幅图像的匹配过程具体为：

步骤2.3.1、在第一幅图像中选择一个HardNet点特征描述符，计算其与第二幅图像中所有HardNet点特征描述符之间的欧几里得距离，然后保留距离最小的前两个描述符；

步骤2.3.2、对保留的第二幅图中的两个描述符应用SIFT匹配准则，在这两个描述符中，如果与第一幅图的描述符最近的距离除以次近的距离得到的比率小于设定的阈值r，则接受最近的描述符作为匹配描述符；

步骤2.3.3、对第一幅图中的所有点特征描述符重复步骤2.3.1-2.3.2，初步建立两幅图的点特征对应关系。

6.根据权利要求1所述的方法，其特征在于，所述步骤三具体为：

步骤3.1、结合搜索时间区间估计、匹配图像区域限制和隔帧搜索匹配策略确定目标车辆搜索视频范围；

步骤3.2、利用基于HardNet深度学习描述符的图像匹配方法对目标车辆在搜索视频范围中进行匹配识别，确定车辆在视频中的出现帧及其在桥上的位置；

步骤3.3、通过联合分析桥梁上一个时段的所有通过车辆的时空信息，对桥梁当前时段内的任意时刻的荷载分布进行识别，完成桥梁车辆荷载识别分析。

7.根据权利要求6所述的方法，其特征在于，所述步骤3.1具体为：

步骤3.1.1、利用车辆在通过动态称重系统时记录的车速信息，结合需要分析的监控与动态称重系统的距离，预估车辆到达该处监控的时间区间；

步骤3.1.2、对于获得的时间区间范围内的视频进行抽帧处理，进一步减小搜索范围；

步骤3.1.3、去掉视频帧内多余区域，聚焦图像匹配任务关注的区域，控制匹配图像范围。

8.根据权利要求6所述的方法，其特征在于，所述步骤3.2具体为：

步骤3.2.1、利用基于HardNet深度学习描述符的图像匹配方法对目标车辆在处理后的视频流中进行匹配识别，设定一个匹配点对数阈值初步滤除干扰匹配项，获得存储帧号与匹配点对数的匹配序列；

步骤3.2.2、以与目标车辆图像的点特征匹配对的数目为依据对匹配序列进行降序排列，检查匹配点特征对的数量并选择匹配点特征对数目的突然减少点作为阈值；如果匹配点特征对的数量大于阈值，则保留对应的搜索帧，否则，去掉序列中的对应的搜索帧；

步骤3.2.3、对筛选后的序列，以搜索帧的帧号次进行升序排列，获得匹配序列的中位数帧号，并将其作为该目标车辆图像在序列中的出现帧，实现对该目标车辆在视频流中的识别；

步骤3.2.4、利用基于归一化互相关系数的模板匹配算法确定目标车辆在视频出现帧中的具体位置；

步骤3.2.5、利用霍夫直线检测算法检测监控视频中的车道线，并判断车辆的位置与车道线的相对位置关系，实现监控视频中的车辆车道定位。

Images