CN110633690B - 基于桥梁监控的车辆特征识别方法及系统 - Google Patents

基于桥梁监控的车辆特征识别方法及系统 Download PDF

Info

Publication number
CN110633690B
CN110633690B CN201910907168.3A CN201910907168A CN110633690B CN 110633690 B CN110633690 B CN 110633690B CN 201910907168 A CN201910907168 A CN 201910907168A CN 110633690 B CN110633690 B CN 110633690B
Authority
CN
China
Prior art keywords
image
vehicle
load
carrying
carrying vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910907168.3A
Other languages
English (en)
Other versions
CN110633690A (zh
Inventor
郭宏翔
高峰
刘刚
蔡曙日
伍剑
韦韩
洪小斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910907168.3A priority Critical patent/CN110633690B/zh
Publication of CN110633690A publication Critical patent/CN110633690A/zh
Application granted granted Critical
Publication of CN110633690B publication Critical patent/CN110633690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种基于桥梁监控的车辆特征识别方法及系统，所述方法包括：获取车辆监控视频，提取每一帧图像作为第一图像；对第一图像进行灰度化和裁剪预处理，得到第二图像；将第二图像输入预先训练好的快速卷积神经网络中，得到第二图像的车辆特征信息；根据预设标定物各顶点的像素坐标，利用透视变换算法求得变换矩阵，确定像素点对应的尺度信息；使用变换矩阵，对第二图像中各像素点进行转换，生成第三图像，得到第三图像对应的车辆特征信息；基于第三图像对应的车辆特征信息，及像素点对应的尺度信息，计算第三图像中预设类型车辆的目标特征信息。本发明实施例，能够准确地获取桥梁上通过的各车辆对应的特征信息。

Description

基于桥梁监控的车辆特征识别方法及系统
技术领域
本发明涉及桥梁健康监测技术领域，特别是涉及一种基于桥梁监控的车辆特征识别方法及系统。
背景技术
作为交通系统的组成部分，桥梁在人类文明的发展和演化中起到了重要作用。随着现代科技的发展以及运输需求的不断增长，大型桥梁(如跨海大桥、大跨度桥梁等)越来越多的出现在人们的视野中。桥梁在建造和使用过程中，由于受到环境、有害物质的侵蚀，车辆、风、地震、疲劳、人为因素等作用，以及材料自身性能的不断退化，导致结构各部分在远没有达到设计年限前就产生不同程度的损伤和劣化。桥梁健康监测的基本内涵即是通过对桥梁结构状况的监控与评估，为桥梁在特殊气候、交通条件下或桥梁运营状况异常严重时发出预警信号，为桥梁的维护维修和管理决策提供依据与指导。近十几年来，我国交通运输行业飞猛发展，交通行业的发展拉动了运输业的步伐，运输业发展过程中，有对自有车辆进行非法改装的现象，导致车辆超限超载运输，使得改装后的车辆荷载早已超出了绝大多数桥梁的承载能力，给高速行驶的车辆带来安全隐患。
目前针对桥梁上通过的车辆特征的识别方法为：通过布置在桥梁的各个主要位置的传感器，获得桥梁结构特征参数(如位移、应变、震动等)的监测数据，进而通过桥梁结构特征参数的监测数据，得到桥梁结构特征参数对应的波形，将桥梁震动参数对应的波形，与预先存储的不同荷载车辆的重量使得桥梁产生震动对应的波形进行对比，得到桥梁上通过的荷载车辆的重量信息。
由于实际情况中同一时间通过桥梁的车辆可以有多辆，当多辆车辆同时通过桥梁时，现有的车辆特征识别方法，可以得到桥梁结构特征参数的监测数据，进而得到桥梁上通过车辆的重量信息，但是无法判断所获取的桥梁结构特征参数的监测数据属于哪辆荷载车辆，并且也无法获取到桥梁上通过车辆的车速、轴数等车辆特征信息。
发明内容
本发明实施例的目的在于提供一种基于桥梁监控的车辆特征识别方法及系统，以准确地获取桥梁上通过的各车辆对应的特征信息。具体技术方案如下：
第一方面，本发明实施例提供了一种基于桥梁监控的车辆特征识别方法，所述方法包括：
获取车辆监控视频，并从所述车辆监控视频中提取每一帧图像作为第一图像，所述第一图像为待进行车辆特征识别的图像；
对所述第一图像进行灰度化预处理和裁剪预处理，得到第二图像；
将所述第二图像输入预先训练好的快速卷积神经网络中，得到所述第二图像中预设类型车辆的车辆特征信息；所述快速卷积神经网络，是根据预设数量的包含预设类型车辆的样本图像、所述样本图像对应的类别标签、各样本图像对应的标准样本图像、以及所述标准样本图像对应的类别标签训练得到的；所述车辆特征信息包括：车辆像素坐标信息和车轮像素坐标信息；
根据所述第二图像中预设标定物各顶点的像素坐标，以及所述预设标定物各顶点在待生成第三图像中的像素坐标，利用透视变换算法求得变换矩阵，并确定所述待生成第三图像中像素点对应的尺度信息；所述预设标定物，用于标定所述第二图像或所述待生成第三图像中像素点对应的尺度信息；
使用所述变换矩阵，对所述第二图像中各像素点进行转换，生成第三图像，并得到所述第三图像对应的车辆特征信息；
基于第三图像对应的车辆特征信息，以及所述像素点对应的尺度信息，计算所述第三图像中预设类型车辆的目标特征信息；所述目标特征信息包括：车辆的轴数，轴距，平均速度，以及车道信息；所述车道信息，用于标识所述第三图像中预设类型车辆所在的车道。
可选地，所述对所述第一图像进行灰度化预处理和裁剪预处理，得到第二图像的步骤，包括：
使用加权平均法对所述第一图像进行灰度化预处理，得到第四图像；
基于预先设定的裁剪参数，使用预设的算法对所述第四图像进行裁剪，得到所述第二图像。
可选地，所述快速卷积神经网络的训练过程，包括：
构建初始卷积神经网络；其中，所述初始卷积神经网络包括：第一特征提取模块、残差模块、目标检测模块、目标识别模块；所述第一特征提取模块包括：第一卷积层、局部响应归一化LRN层和第一最大池化MaxPool层；所述残差模块包括：第二卷积层和第二最大池化MaxPool层；所述目标检测模块包括：区域提出RPN网络；所述目标识别模块包括：感兴趣区域池化ROI Pool层和全连接FC层；
将预设数量的包含预设类型车辆的样本图像、所述样本图像对应的类别标签，输入所述初始卷积神经网络；
利用所述初始卷积神经网络，得到各所述样本图像对应的分类结果；
基于所述分类结果与所述标准样本图像对应的类别标签的差异，计算损失函数；
对损失函数进行最小化处理，得到最小化损失函数；
根据最小化损失函数，确定初始卷积神经网络中各模块的权重参数；
基于所述权重参数对所述初始卷积神经网络中的参数进行更新，训练得到所述卷积神经网络。
可选地，所述预设类型车辆为载重车辆，所述方法还包括：
在包含载重车辆的所述第三图像中，标示与各载重车辆对应的目标特征信息。
可选地，所述方法还包括：
获取各车道对应的载重车辆的重量信息；
基于所获取的各车道对应的载重车辆的重量信息，以及所述载重车辆的目标特征信息，判断所述载重车辆是否超载运输。
可选地，所述基于所获取的载重车辆的重量信息，以及所述载重车辆的目标特征信息，判断所述载重车辆是否超载运输的步骤，包括：
在所述车辆监控视频中确定拍摄所述载重车辆的时间信息；
根据所述载重车辆的时间信息及平均速度，确定所述载重车辆的位移；
根据所述载重车辆的位移及该载重车辆所在的车道，确定所述载重车辆的位置；
根据所述载重车辆的位置，及所获取的各车道对应的载重车辆的重量信息，确定所述载重车辆对应的重量；
判断所述载重车辆对应的重量是否大于预设重量；
如果所述载重车辆对应的重量大于所述预设重量，则确定所述载重车辆超载运输。
第二方面，本发明实施例提供了一种基于桥梁监控的车辆特征识别系统，所述系统包括：
图像获取模块，用于获取车辆监控视频，并从所述车辆监控视频中提取每一帧图像作为第一图像，所述第一图像为待进行车辆特征识别的图像；
图像预处理模块，用于对所述第一图像进行灰度化预处理和裁剪预处理，得到第二图像；
特征识别模块，用于将所述第二图像输入预先训练好的快速卷积神经网络中，得到所述第二图像中预设类型车辆的车辆特征信息；所述快速卷积神经网络，是根据预设数量的包含预设类型车辆的样本图像、所述样本图像对应的类别标签、各样本图像对应的标准样本图像、以及所述标准样本图像对应的类别标签训练得到的；所述车辆特征信息包括：车辆像素坐标信息和车轮像素坐标信息；
变换矩阵确定模块，用于根据所述第二图像中预设标定物各顶点的像素坐标，以及所述预设标定物各顶点在待生成第三图像中的像素坐标，利用透视变换算法求得变换矩阵，并确定所述待生成第三图像中像素点对应的尺度信息；所述预设标定物，用于标定所述第二图像或所述待生成第三图像中像素点对应的尺度信息；
图像转换模块，用于使用所述变换矩阵，对所述第二图像中各像素点进行转换，生成第三图像，并得到所述第三图像对应的车辆特征信息；
目标特征识别模块，用于基于第三图像对应的车辆特征信息，以及所述像素点对应的尺度信息，计算所述第三图像中预设类型车辆的目标特征信息；所述目标特征信息包括：车辆的轴数，轴距，平均速度，以及车道信息；所述车道信息，用于标识所述第三图像中预设类型车辆所在的车道。
可选地，所述图像预处理模块，包括：预处理子模块和裁剪子模块；
所述预处理子模块，用于使用加权平均法对所述第一图像进行灰度化预处理，得到第四图像；
所述裁剪子模块，用于基于预先设定的裁剪参数，使用预设的算法对所述第四图像进行裁剪，得到所述第二图像。
可选地，所述系统还包括：
构建模块，用于构建初始卷积神经网络；其中，所述初始卷积神经网络包括：第一特征提取模块、残差模块、目标检测模块、目标识别模块；所述第一特征提取模块包括：第一卷积层、局部响应归一化LRN层和第一最大池化MaxPool层；所述残差模块包括：第二卷积层和第二最大池化MaxPool层；所述目标检测模块包括：区域提出RPN网络；所述目标识别模块包括：感兴趣区域池化ROI Pool层和全连接FC层；
第一训练模块，用于将预设数量的包含预设类型车辆的样本图像、所述样本图像对应的类别标签，输入所述初始卷积神经网络；
第一获得模块，用于利用所述初始卷积神经网络，得到各所述样本图像对应的分类结果；
计算模块，用于基于所述分类结果与所述标准样本图像对应的类别标签的差异，计算损失函数；
第二获得模块，用于对损失函数进行最小化处理，得到最小化损失函数；
确定模块，用于根据最小化损失函数，确定初始卷积神经网络中各模块的权重参数；
第二训练模块，用于基于所述权重参数对所述初始卷积神经网络中的参数进行更新，训练得到所述卷积神经网络。
可选地，所述预设类型车辆为载重车辆，所述系统还包括：
显示模块，用于在包含载重车辆的所述第三图像中，标示与各载重车辆对应的目标特征信息。
可选地，所述系统还包括：
获取模块，用于获取各车道对应的载重车辆的重量信息；
判断模块，用于基于所获取的各车道对应的载重车辆的重量信息，以及所述载重车辆的目标特征信息，判断所述载重车辆是否超载运输。
可选地，所述判断模块，具体用于：
在所述车辆监控视频中确定拍摄所述载重车辆的时间信息；
根据所述载重车辆的时间信息及平均速度，确定所述载重车辆的位移；
根据所述载重车辆的位移及该载重车辆所在的车道，确定所述载重车辆的位置；
根据所述载重车辆的位置，及所获取的各车道对应的载重车辆的重量信息，确定所述载重车辆对应的重量；
判断所述载重车辆对应的重量是否大于预设重量；
如果所述载重车辆对应的重量大于所述预设重量，则确定所述载重车辆超载运输。
第三方面，本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面所述的一种基于桥梁监控的车辆特征识别方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的一种基于桥梁监控的车辆特征识别方法。
本发明实施例有益效果：
本发明实施例提供的一种基于桥梁监控的车辆特征识别方法及系统，通过对所获取的车辆监控视频中每一第一图像分别进行灰度化和裁剪预处理，得到第二图像，进而将第二图像输入预先训练好的快速卷积神经网络中，得到该第二图像中预设类型车辆的车辆特征信息，再根据第二图像中预设标定物各顶点的像素坐标，以及预设标定物各顶点在待生成第三图像中的像素坐标，使用透视变换算法求得将第二图像中像素转换到待生成第三图像中的变换矩阵，并确定待生成第三图像中像素点对应的尺度信息，对第二图像中各像素点进行转换，生成第三图像，再基于第三图像对应的车辆特征信息，以及像素点对应的尺度信息，计算第三图像中车辆的目标特征信息。由于可以通过快速卷积神经网络准确的得到第二图像中预设类型车辆的车辆特征信息，使用透视变换算法得到变换矩阵，进而可以直接基于透视变换得到的第三图像对应的车辆特征信息，以及像素点对应的尺度信息，计算得到第三图像中车辆的目标特征信息，能够准确的获取桥梁上通过车辆的轴数、轴距、平均速度以及车道信息等特征信息。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于桥梁监控的车辆特征识别方法的流程示意图；
图2为本发明实施例提供的一种桥梁上视频监控结构示意图；
图3为本发明实施例提供的一种图像预处理的实施方式流程示意图；
图4a为本发明实施例提供的一种图像转换仿真结果示意图；
图4b为本发明实施例提供的另一种图像转换仿真结果示意图；
图5为本发明实施例提供的一种网络训练实施方式流程图；
图6为本发明实施例提供的一种卷积神经网络结构示意图；
图7为本发明实施例提供的一种对卷积神经网络模型验证的仿真示意图；
图8a为本发明实施例提供的另一种对卷积神经网络模型验证的仿真示意图；
图8b为本发明实施例提供的另一种对卷积神经网络模型验证的仿真示意图；
图9为本发明实施例提供的一种在图像中标示识别结果的仿真示意图；
图10为本发明实施例提供的另一种基于桥梁监控的车辆特征识别方法的流程示意图；
图11为本发明实施例提供的一种判断车辆是否超载的实施方式流程示意图；
图12为本发明实施例提供的一种基于桥梁监控的车辆特征识别装置的结构示意图；
图13为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有针对桥梁上通过的车辆特征的识别方法中，无法获取到桥梁上通过车辆的车速、轴数等车辆特征信息的问题，本发明实施例提供了一种基于桥梁监控的车辆特征识别方法及系统。
下面首先对本发明实施例所提供的一种基于桥梁监控的车辆特征识别方法进行介绍。
如图1所示，图1为本发明实施例提供的一种基于桥梁监控的车辆特征识别方法的流程示意图，该方法可以包括：
S101，获取车辆监控视频，并从车辆监控视频中提取每一帧图像作为第一图像。
本发明实施例，可以应用于桥梁监控、道路监控等，本发明实施例中以桥梁监控为例进行说明。如图2所示，可以在需要监控桥梁的关键截面处分别设置多组视频监控设备，该视频监控设备可以是设置于桥梁关键截面上空固定位置的摄像头，能够减少车辆间遮挡，清晰、完整的拍摄到桥梁上通过的包括车身、车轮等的车辆画面。
本发明实施例中，可以使用设置于桥梁关键截面上空固定位置的摄像头，实时拍摄桥梁上的画面，获取车辆监控视频。进而从所获取的车辆监控视频中提取每一帧图像，将所提取的每一帧图像作为用于待进行车辆特征识别的第一图像。
S102，对第一图像进行灰度化预处理和裁剪预处理，得到第二图像。
在提取得到第一图像之后，可以对该第一图像分别进行灰度化预处理和裁剪预处理，以确保图像数据的有效性。作为本发明实施例一种可选的实施方式，对第一图像进行灰度化预处理和裁剪预处理的实施方式如图3所示，该实施方式可以包括：
S1021，使用加权平均法对第一图像进行灰度化预处理，得到第四图像。
作为本发明实施例的一种实施方式，对第一图像进行灰度化预处理，可以使第一图像的RGB色彩分量的值相同。具体的，可以采用加权平均法对第一图像进行灰度化预处理，将RGB三个分量以不同的权值进行加权平均。示例性的，可以使用如下表达式对RGB三个分量进行加权平均，得到第一图像进行灰度化处理后的第四图像：
Gray(i,j)＝α*R(i,j)+β*G(i,j)+γ*B(i,j)
式中，Gray(i,j)表示第一图像进行灰度化处理后得到的第四图像的像素点坐标，i,j表示图像像素点的坐标信息，α表示R分量对应的加权值，β表示G分量对应的加权值，γ表示B分量对应的加权值。实际应用中，α、β和γ的值，本领域技术人员可根据实际需求进行设置，示例性的，α可以为0.299，β可以为0.578，γ可以为0.114。
S1022，基于预先设定的裁剪参数，使用预设的算法对第四图像进行裁剪，得到第二图像。
实际应用中，摄像头设置于桥梁关键截面上空固定位置，摄像头角度基本固定，桥梁位置不变，则所拍摄得到的视频帧图像中待识别车辆的位置在一定区域范围内，可以预先设定剪裁区域参数，然后，使用OpenCV工具箱中的crop(x1,y1,x2,y2)函数对第四图像进行裁剪，得到第二图像。其中，OpenCV是一个开源发行的跨平台计算机视觉库，函数crop(x1,y1,x2,y2)中x1,y1表示要剪裁保存区域的左上角点坐标，x2,y2表示要剪裁保存区域的右下角点坐标。
本发明实施例中，因实际拍摄得到的视频帧图像中，存在大量不需要的噪声信息，例如，桥梁两侧的风景、河流等等，如果直接对拍摄得到的视频帧图像进行车辆特征识别，干扰信息较多，需要处理图像的数据量较大。对拍摄得到的视频帧图像进行剪裁处理，可以将图像中不需要的噪声信息剪切掉，降低干扰，同时减小了处理图像的数据量。
参见图1，S103，将第二图像输入预先训练好的快速卷积神经网络中，得到第二图像中预设类型车辆的车辆特征信息。
本发明实施例中，将第二图像输入预先训练好的快速卷积神经网络中，该快速卷积神经网络，是根据预设数量的包含预设类型车辆的样本图像、样本图像对应的类别标签、各样本图像对应的标准样本图像、以及标准样本图像对应的类别标签训练得到的，得到第二图像中预设类型车辆的、包含车辆像素坐标信息和车轮像素坐标信息的车辆特征信息。示例性的，得到的第二图像中预设类型车辆的车辆特征信息可以如表1所示。具体的，快速卷积神经网络的训练过程在下文详细介绍。
其中，预设类型车辆可以为小型客车、大型客车或载重车辆等。本发明实施例不限制待识别车辆的类型。
表1识别结果
Figure BDA0002213604730000111
S104，根据第二图像中预设标定物各顶点的像素坐标，以及预设标定物各顶点在待生成第三图像中的像素坐标，利用透视变换算法求得变换矩阵，并确定待生成第三图像中像素点对应的尺度信息。
如图2所示，在拍摄得到的视频帧图像中可以包含预设标定物，示例性的，该预设标定物可以为桥墩或油漆块等能够清晰反映长度和宽度的物体，用于标定第二图像或待生成第三图像中像素点对应的尺度信息。
实际应用中，拍摄得到的视频帧图像大多为3维空间的图像，为实现平面测距，需要将3维空间的图像转换为2维空间的图像。本发明实施例中，可以根据第二图像中预设标定物各顶点的像素坐标，以及预设标定物各顶点在待生成第三图像中的像素坐标，利用透视变换算法的如下表达式求得变换矩阵，并确定待生成第三图像中像素点对应的尺度信息：
[x,y,z]＝[u,v,w]M,其中，
Figure BDA0002213604730000112
式中，[x,y,z]表示变换后图像的坐标信息，[u,v,w]表示变换前图像的坐标信息，M表示变换矩阵，考虑到平面测距，另z＝w＝m33＝1，则有
Figure BDA0002213604730000121
示例性的，预设标定物的长度和宽度是已知的，在第二图像中可以获取到该预设标定物四个顶点的像素坐标。在转换后的待生成第三图像中可以设置预设标定物四个顶点的像素坐标，例如，预设标定物是一个5米×5米的方形物体，转换后的待生成第三图像中设置四个顶点的像素坐标分别为(0,0)、(0，500)、(500,0)和(500,500)，就可以利用这8个像素坐标使用上述表达式求解变换矩阵M中的8个未知数，进而求得变换矩阵。同时，也确定了该待生成第三图像中500像素表示5米的长度，即确定待生成第三图像中像素点对应的尺度信息。
S105，使用变换矩阵，对第二图像中各像素点进行转换，生成第三图像，并得到第三图像对应的车辆特征信息。
在求得变换矩阵后，可以使用该变换矩阵，对第二图像中每一像素点进行转换，生成第三图像，并将第二图像中预设类型车辆的车辆特征信息也进行转换，得到第三图像对应的车辆特征信息。示例性的，求得的变换矩阵可以为：
Figure BDA0002213604730000122
对第二图像中各像素点进行转换，生成第三图像如图4a和图4b所示，图4a为未进行像素点转换的第二图像，图4b为像素点转换后生成的第三图像。
S106，基于第三图像对应的车辆特征信息，以及像素点对应的尺度信息，计算第三图像中预设类型车辆的目标特征信息。
其中，目标特征信息包括：车辆的轴数，轴距，平均速度，以及车道信息；车道信息，用于标识第三图像中预设类型车辆所在的车道。
本发明实施例中，第三图像对应的车辆特征信息为第二图像中预设类型车辆的车辆特征信息转换得到的，针对该第三图像中车辆的轴数，可以通过统计车辆特征信息中车轮的个数得到；车辆的轴距，可以通过计算车辆特征信息中每个车轮之间的像素差，再根据像素点对应的尺度信息进行计算得到；车道信息，可以根据像素的分布范围来确定，该像素的分布范围可以由转换后生成的第三图像中车道线决定，如图4a和图4b所示。车辆的平均速度，可以由间隔预设时间的两次图像识别得到的车辆特征信息中车辆的像素差，再根据像素点对应的尺度信息进行计算，得到预设时间该车辆行驶的位移，进而根据该位移以及预设时间计算得到该车辆的平均速度。其中，预设时间可以是5秒或10秒等，具体的本领域技术人员可根据需求进行设置。
本发明实施例提供的一种基于桥梁监控的车辆特征识别方法，通过对所获取的车辆监控视频中每一第一图像分别进行灰度化和裁剪预处理，得到第二图像，进而将第二图像输入预先训练好的快速卷积神经网络中，得到该第二图像中预设类型车辆的车辆特征信息，再根据第二图像中预设标定物各顶点的像素坐标，以及预设标定物各顶点在待生成第三图像中的像素坐标，使用透视变换算法求得将第二图像中像素转换到待生成第三图像中的变换矩阵，并确定待生成第三图像中像素点对应的尺度信息，对第二图像中各像素点进行转换，生成第三图像，再基于第三图像对应的车辆特征信息，以及像素点对应的尺度信息，计算第三图像中车辆的目标特征信息。由于可以通过快速卷积神经网络准确的得到第二图像中预设类型车辆的车辆特征信息，使用透视变换算法得到变换矩阵，进而可以直接基于透视变换得到的第三图像对应的车辆特征信息，以及像素点对应的尺度信息，计算得到第三图像中车辆的目标特征信息，能够准确的获取桥梁上通过车辆的轴数、轴距、平均速度以及车道信息等特征信息。
作为本发明实施例一种可选的实施方式，如图5所示，快速卷积神经网络的训练过程，可以包括：
S201，构建初始卷积神经网络。
作为本发明实施例一种可选的实施方式，所构建的初始卷积神经网络模型如图6所示，可以包括：第一特征提取模块、残差模块、目标检测模块、目标识别模块。其中，第一特征提取模块可以包括：第一卷积层、LRN(Local Response Normalization，局部响应归一化)层和第一MaxPool(MaxPooling，最大池化)层；残差模块可以包括：第二卷积层和第二MaxPool层；目标检测模块可以包括：RPN(Region Proposal Networks，区域提出网络)网络；目标识别模块可以包括：ROI Pool(region of interest pooling，感兴趣区域池化)层和FC(Fully Connected，全连接)层；
S202，将预设数量的包含预设类型车辆的样本图像、样本图像对应的类别标签，输入初始卷积神经网络。
本发明实施例中，训练快速卷积神经网络所采用的样本，可以是预设数量的包含预设类型车辆的样本图像，以及样本图像对应的类别标签。其中，预设数量的包含预设类型车辆的样本图像，可以通过获取多段包含预设类型车辆的车辆监控视频序列，从该视频序列中提取包含预设类型车辆的图像。该预设类型车辆可以为小型客车、大型客车或载重车辆等。该预设数量可以是本领域技术人员根据需求所设置的数值。
示例性的，样本图像对应的类别标签可以表示为
Figure BDA0002213604730000141
其中，yk表示第k个样本图像对应的类别标签，n表示样本图像的个数，yk＝1表示第k个样本图像对应的车辆标签，yk＝2表示第k个样本图像对应的车轮标签，yk＝3表示第k个样本图像对应的背景标签。
S203，利用初始卷积神经网络，得到各样本图像对应的分类结果。
示例性的，将所获取的预设数量的包含预设类型车辆的样本图像、样本图像对应的类别标签，输入如图6所示的初始卷积神经网络中。其中，卷积层用于提取图像的特征信息；LRN层可以防止模型训练过程中的过拟合；Pool层对提取到的特征信息进行降维，一方面可以使特征图变小，简化网络计算复杂度并在一定程度上避免过拟合的出现，另一方面可以进行特征压缩，提取主要特征；RPN网络用来生成proposals(矩形框)，即可能存在目标的位置；ROI Pool层将大小不同的proposals映射成大小相同的的矩形框；FC层可对特征进行整合。
对于一张样本图像，首先，将该样本图像输入到一个卷积核大小为7×7的第一卷积层，再依次输入一个LRN层和一个第一MaxPool层，对样本图像进行特征提取，得到特征图像数量为96个；将得到的96个特征图像再依次输入一个卷积核大小为5×5的第一卷积层，得到特征图像数量为256个；再将得到的256个特征图像依次输入一个LRN层，得到特征图像数量为256个。
其次，将得到的256个特征图像输入残差模块中，示例性的，该残差模块可以为3个，具体残差模块的个数本领域技术人员可根据实际需求进行设置。将256个特征图像依次输入到第一个残差模抉中的一个卷积核大小为1×1的第二卷积层，一个卷积核大小为3×3的第二卷积层和一个卷积核大小为1×1的第二卷积层，进一步提取图像中更细致的特征，在该残差模块中，特征图像的数量保持256个。然后，将256个特征图像输入一个第二MaxPool层，对样本图像进行特征提取，得到特征图像数量为256个。再将得到的256个特征图像依次输入一个卷积核大小为3×3的第二卷积层，得到特征图像数量为384个；将得到的384个特征图像再依次输入第二个残差模抉中的一个卷积核大小为1×1的第二卷积层，一个卷积核大小为3×3的第二卷积层和一个卷积核大小为1×1的第二卷积层，进一步提取图像中更细致的特征，在该残差模块中，特征图像的数量保持384个。再然后，将得到的384个特征图像输入一个卷积核大小为3×3的第二卷积层，得到特征图像数量为384个，将得到的384个特征图像再依次输入第三个残差模抉中的一个卷积核大小为1×1的第二卷积层，一个卷积核大小为3×3的第二卷积层和一个卷积核大小为1×1的第二卷积层，进一步提取图像中更细致的特征，在该残差模块中，特征图像的数量保持384个。随后将残差模块提取到的特征图像输入一个卷积核大小为3×3的第二卷积层，得到特征图像数量为256个。
再次，将得到的256个特征图像输入到RPN层，得到特征图像中一系列感兴趣区域，输出一个特征图像。将输出的一个特征图像输入到ROI池化层，对感兴趣区域的大小进行归一化处理，再将归一化处理后得到的一个特征图像输入到FC层，进一步对特征进行整合，进而将该特征图像输入到分类器中,得到样本图像对应的分类结果。示例性的,该样本图像对应的分类结果，可以是该样本图像对应的类别标签，该类别标签可以是该样本图像所对应的物体信息所对应的标号，该标号可以是1、2、3等，具体标号的形式本发明实施例在此不作限定。
S204，基于分类结果与标准样本图像对应的类别标签的差异，计算损失函数。
S205，对损失函数进行最小化处理，得到最小化损失函数。
S206，根据最小化损失函数，确定初始卷积神经网络中各模块的权重参数。
S207，基于权重参数对初始卷积神经网络中的参数进行更新，训练得到卷积神经网络。
上述步骤S204～S207中，利用得到的分类结果与标准样本图像对应的类别标签的差异，计算损失函数，进而对损失函数进行最小化处理，得到最小化损失函数，再根据最小化损失函数，确定初始卷积神经网络中各模块的权重参数，最后，利用权重参数对初始卷积神经网络中的参数进行更新，训练得到卷积神经网络。此过程的详细实现过程，可参见现有技术的实现，本发明实施例在此不再赘述。
示例性的，本发明实施例中可以对训练得到的快速卷积神经网络进行验证。例如，可以验证快速卷积神经网络中RPN的anchor(候选框)的尺寸和比例，anchor的尺寸可以设置为：{1:1,1:2,2:1,2:3,3:2}五种比例，anchor的放大比例可以设置为：{162,322,642,1282,2562}五种比例。为验证该anchor尺寸和比例的合理性，使用K-Means聚类算法将标注车辆和车轮像素方框的信息文件中的车辆像素方框的长宽与车轮像素方框长宽作为基础点，x轴代表像素方框长度，y轴代表像素方框宽度，对像素框长宽进行统计分析，仿真结果如图7所示。图7中9个聚类中心分别为：[[14.25072286，21.75103047]，[211.51144033，107.05470508]，[127.12942222，98.99591111]，[106.67791842，92.29742147]，[144.34626263，103.85643098]，[193.4101182，98.44904649]，[230.355671，112.69202501]，[78.71573333，80.49019259]，[164.07188406，106.07201288]]。从图7中可以看出，将anchor尺寸设置为{1:1,1:2,2:1,2:3,3:2}是合理的，将anchor放大比例设置为{162,322,642,1282,2562}能够使得anchor更好地匹配车轮以及车身大小。
示例性的，本发明实施例中对训练得到的快速卷积神经网络的识别精度进行验证，如图8a和图8b所示。图8a为在不同召回率和精确度下对车辆分类能力的仿真结果，图8b为在不同召回率和精确度下对车轮分类能力的仿真结果，图8a和图8b中仿真曲线与x轴所包围的面积越接近1，说明分类能力越好，训练得到的快速卷积神经网络的性能越好。
在上述所示方法实施例的基础上，本发明实施例中，当预设类型车辆为载重车辆时，图1所示实施例的方法还可以包括：
在包含载重车辆的第三图像中，标示与各载重车辆对应的目标特征信息。
在识别出每一第三图像中载重车辆的目标特征信息之后，可以在包含载重车辆的第三图像中，标示出与各载重车辆对应的目标特征信息。示例性的，如图9所示，将载重车辆的轴数，轴距，车道，以及平均速度标示出来。
示例性的，对本发明实施例上述方法进行仿真，仿真结果如表2所示：
表2识别精度对比
Figure BDA0002213604730000171
从表2中可知，使用本发明实施例可以准确的识别出车辆的轴数以及所在的车道，虽然轴距和车速信息有一定的误差，但是该误差相对较小，整体的识别精度较高。
在图1所示方法实施例的基础上，如图10所示，本发明实施例所提供的另一种基于桥梁监控的车辆特征识别方法，还可以包括：
S107，获取各车道对应的载重车辆的重量信息。
示例性的，本发明实施例中，获取各车道对应载重车辆的重量信息的一种实施方式可以为：在桥梁的各个主要位置的每一车道上设置传感器，每一时刻都可以获取到桥梁震动参数对应的波形，进而，将该波形与预先存储的不同载重车辆的重量使得桥梁产生震动对应的波形进行匹配，得到桥梁上通过的不同车道上载重车辆的重量信息。其中，桥梁的各个主要位置在获取车辆监控视频对应的摄像头能够拍摄的范围内。
S108，基于所获取的各车道对应的载重车辆的重量信息，以及载重车辆的目标特征信息，判断载重车辆是否超载运输。
实际应用中，可能在同一时间段内获取到多个重量信息，而不能将这多个重量信息与桥梁上通过的载重车辆进行对应。本发明实施例中，可以将所获取的各车道对应的载重车辆的重量信息，与识别出的载重车辆的目标特征信息相结合，将所获取的多个重量信息对应到载重车辆，进而判断桥梁上通过的载重车辆是否存在超载现象。
如图11所示，本发明实施例中一种判断车辆是否超载的实施方式可以包括：
S1081，在车辆监控视频中确定拍摄载重车辆的时间信息。
本发明实施例中，可以在所获取的车辆监控视频中获取拍摄该车辆监控视频的时间信息，进而可以确定该车辆监控视频中每一帧图像拍摄的时间，那么就可以确定包含载重车辆的图像的拍摄时间，即可以在车辆监控视频中确定拍摄载重车辆的时间信息。
S1082，根据载重车辆的时间信息及平均速度，确定载重车辆的位移。
在获取拍摄该载重车辆的时间信息，以及识别出该载重车辆的平均速度之后，就可以根据时间、速度与位移之间的关系，确定出一定时间内该载重车辆行驶的位移。
S1083，根据载重车辆的位移及该载重车辆所在的车道，确定载重车辆的位置。
基于载重车辆的位移及识别出的该载重车辆所在的车道，就可以准确的确定出该载重车辆行驶到设置传感器位置的具体位置。示例性的，拍摄到有一载重车辆在桥头的时间为上午10：00，使用本发明实施例所提供的方法识别出该载重车辆的速度之后，就可以确定出该载重车辆行驶至设置传感器位置的时间和位移，进而根据载重车辆的时间和位移及识别出的该载重车辆所在的车道，就可以准确的确定出该载重车辆行驶到设置传感器位置的具体位置。
S1084，根据载重车辆的位置，及所获取的各车道对应的载重车辆的重量信息，确定载重车辆对应的重量。
将确定出的该载重车辆行驶到设置传感器位置的具体位置，以及该载重车辆行驶到设置传感器位置的时间，与该时间点所获取的各车道对应的载重车辆的重量信息进行匹配，就可以确定出该载重车辆对应的重量。示例性的，还可以根据识别出的车辆的轴数、轴距，进一步确定所确定出该载重车辆对应的重量是否准确。
S1085，判断载重车辆对应的重量是否大于预设重量。
将确定出的载重车辆对应的重量与该类型载重车辆对应的预设重量进行对比，判断该载重车辆对应的重量是否大于预设重量，如果载重车辆对应的重量大于预设重量，则说明该载重车辆超载运输；如果载重车辆对应的重量不大于预设重量，则说明该载重车辆没有超载运输。其中，预设重量为不同类型车辆对应的能够承载的重量的最大值。
S1086，如果载重车辆对应的重量大于预设重量，则确定载重车辆超载运输。
S1087，如果载重车辆对应的重量不大于预设重量，则确定载重车辆没有超载运输。
本发明实施例提供的一种基于桥梁监控的车辆特征识别方法，由于可以通过快速卷积神经网络准确的得到第二图像中预设类型车辆的车辆特征信息，使用透视变换算法得到变换矩阵，进而可以直接基于透视变换得到的第三图像对应的车辆特征信息，以及像素点对应的尺度信息，计算得到第三图像中车辆的目标特征信息，能够准确的获取桥梁上通过车辆的轴数、轴距、平均速度以及车道信息等特征信息。并且，可以获取各车道上载重车辆的重量信息，将所获取的重量信息与识别得到的目标特征信息相结合，能够准确的判断车辆是否超载运输。另外，本发明实施例中车辆特征识别方法，还可以为判断车辆是否超限运输做铺垫。
相应于上述方法实施例，本发明实施例提供了一种基于桥梁监控的车辆特征识别系统，如图12所示，该系统可以包括：
图像获取模块301，用于获取车辆监控视频，并从车辆监控视频中提取每一帧图像作为第一图像，第一图像为待进行车辆特征识别的图像。
图像预处理模块302，用于对第一图像进行灰度化预处理和裁剪预处理，得到第二图像。
特征识别模块303，用于将第二图像输入预先训练好的快速卷积神经网络中，得到第二图像中预设类型车辆的车辆特征信息；快速卷积神经网络，是根据预设数量的包含预设类型车辆的样本图像、样本图像对应的类别标签、各样本图像对应的标准样本图像、以及标准样本图像对应的类别标签训练得到的；车辆特征信息包括：车辆像素坐标信息和车轮像素坐标信息。
变换矩阵确定模块304，用于根据第二图像中预设标定物各顶点的像素坐标，以及预设标定物各顶点在待生成第三图像中的像素坐标，利用透视变换算法求得变换矩阵，并确定待生成第三图像中像素点对应的尺度信息；预设标定物，用于标定第二图像或待生成第三图像中像素点对应的尺度信息。
图像转换模块305，用于使用变换矩阵，对第二图像中各像素点进行转换，生成第三图像，并得到第三图像对应的车辆特征信息。
目标特征识别模块306，用于基于第三图像对应的车辆特征信息，以及像素点对应的尺度信息，计算第三图像中预设类型车辆的目标特征信息；目标特征信息包括：车辆的轴数，轴距，平均速度，以及车道信息；车道信息，用于标识第三图像中预设类型车辆所在的车道。
本发明实施例提供的一种基于桥梁监控的车辆特征识别系统，通过对所获取的车辆监控视频中每一第一图像分别进行灰度化和裁剪预处理，得到第二图像，进而将第二图像输入预先训练好的快速卷积神经网络中，得到该第二图像中预设类型车辆的车辆特征信息，再根据第二图像中预设标定物各顶点的像素坐标，以及预设标定物各顶点在待生成第三图像中的像素坐标，使用透视变换算法求得将第二图像中像素转换到待生成第三图像中的变换矩阵，并确定待生成第三图像中像素点对应的尺度信息，对第二图像中各像素点进行转换，生成第三图像，再基于第三图像对应的车辆特征信息，以及像素点对应的尺度信息，计算第三图像中车辆的目标特征信息。由于可以通过快速卷积神经网络准确的得到第二图像中预设类型车辆的车辆特征信息，使用透视变换算法得到变换矩阵，进而可以直接基于透视变换得到的第三图像对应的车辆特征信息，以及像素点对应的尺度信息，计算得到第三图像中车辆的目标特征信息，能够准确的获取桥梁上通过车辆的轴数、轴距、平均速度以及车道信息等特征信息。
需要说明的是，本发明实施例的系统是与图1所示的一种基于桥梁监控的车辆特征识别方法对应的系统，图1所示的一种基于桥梁监控的车辆特征识别方法的所有实施例均适用于该系统，且均能达到相同的有益效果。
可选地，图像预处理模块302，包括：预处理子模块和裁剪子模块；
预处理子模块，用于使用加权平均法对第一图像进行灰度化预处理，得到第四图像。
裁剪子模块，用于基于预先设定的裁剪参数，使用预设的算法对第四图像进行裁剪，得到第二图像。
可选地，上述系统还包括：
构建模块，用于构建初始卷积神经网络；其中，初始卷积神经网络包括：第一特征提取模块、残差模块、目标检测模块、目标识别模块；第一特征提取模块包括：第一卷积层、局部响应归一化LRN层和第一最大池化MaxPool层；残差模块包括：第二卷积层和第二最大池化MaxPool层；目标检测模块包括：区域提出RPN网络；目标识别模块包括：感兴趣区域池化ROI Pool层和全连接FC层。
第一训练模块，用于将预设数量的包含预设类型车辆的样本图像、样本图像对应的类别标签，输入初始卷积神经网络。
第一获得模块，用于利用初始卷积神经网络，得到各样本图像对应的分类结果。
计算模块，用于基于分类结果与标准样本图像对应的类别标签的差异，计算损失函数。
第二获得模块，用于对损失函数进行最小化处理，得到最小化损失函数。
确定子模块，用于根据最小化损失函数，确定初始卷积神经网络中各模块的权重参数。
第二训练模块，用于基于权重参数对初始卷积神经网络中的参数进行更新，训练得到卷积神经网络。
可选地，预设类型车辆为载重车辆，上述系统还包括：
显示模块，用于在包含载重车辆的第三图像中，标示与各载重车辆对应的目标特征信息。
可选地，上述系统还包括：
获取模块，用于获取各车道对应的载重车辆的重量信息。
判断模块，用于基于所获取的各车道对应的载重车辆的重量信息，以及载重车辆的目标特征信息，判断载重车辆是否超载运输。
可选地，判断模块，具体用于：
在车辆监控视频中确定拍摄载重车辆的时间信息。
根据载重车辆的时间信息及平均速度，确定载重车辆的位移。
根据载重车辆的位移及该载重车辆所在的车道，确定载重车辆的位置。
根据载重车辆的位置，及所获取的各车道对应的载重车辆的重量信息，确定载重车辆对应的重量。
判断载重车辆对应的重量是否大于预设重量。
如果载重车辆对应的重量大于预设重量，则确定载重车辆超载运输。
本发明实施例还提供了一种电子设备，如图13所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，
存储器403，用于存放计算机程序；
处理器401，用于执行存储器403上所存放的程序时，实现本发明实施例所提供的一种基于桥梁监控的车辆特征识别方法的步骤。
本发明实施例提供的一种电子设备，由于可以通过快速卷积神经网络准确的得到第二图像中预设类型车辆的车辆特征信息，使用透视变换算法得到变换矩阵，进而可以直接基于透视变换得到的第三图像对应的车辆特征信息，以及像素点对应的尺度信息，计算得到第三图像中车辆的目标特征信息，能够准确的获取桥梁上通过车辆的轴数、轴距、平均速度以及车道信息等特征信息。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一一种基于桥梁监控的车辆特征识别方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一一种基于桥梁监控的车辆特征识别方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (7)

1.一种基于桥梁监控的车辆特征识别方法，其特征在于，所述方法包括：
获取车辆监控视频，并从所述车辆监控视频中提取每一帧图像作为第一图像，所述第一图像为待进行车辆特征识别的图像；
对所述第一图像进行灰度化预处理和裁剪预处理，得到第二图像；
将所述第二图像输入预先训练好的快速卷积神经网络中，得到所述第二图像中载重车辆的车辆特征信息；所述快速卷积神经网络，是根据预设数量的包含载重车辆的样本图像、所述样本图像对应的类别标签、各样本图像对应的标准样本图像、以及所述标准样本图像对应的类别标签训练得到的；所述车辆特征信息包括：车辆像素坐标信息和车轮像素坐标信息；
根据所述第二图像中预设标定物各顶点的像素坐标，以及所述预设标定物各顶点在待生成第三图像中的像素坐标，利用透视变换算法求得变换矩阵，并确定所述待生成第三图像中像素点对应的尺度信息；所述预设标定物，用于标定所述第二图像或所述待生成第三图像中像素点对应的尺度信息；
使用所述变换矩阵，对所述第二图像中各像素点进行转换，生成第三图像，并得到所述第三图像对应的车辆特征信息；
基于第三图像对应的车辆特征信息，以及所述像素点对应的尺度信息，计算所述第三图像中载重车辆的目标特征信息；所述目标特征信息包括：车辆的轴数，轴距，平均速度，以及车道信息；所述车道信息，用于标识所述第三图像中载重车辆所在的车道；
在包含载重车辆的所述第三图像中，标示与各载重车辆对应的目标特征信息；
获取各车道对应的载重车辆的重量信息；
基于所获取的各车道对应的载重车辆的重量信息，以及所述载重车辆的目标特征信息，判断所述载重车辆是否超载运输，包括：
在所述车辆监控视频中确定拍摄所述载重车辆的时间信息；
根据所述载重车辆的时间信息及平均速度，确定所述载重车辆的位移；
根据所述载重车辆的位移及该载重车辆所在的车道，确定所述载重车辆的位置；
根据所述载重车辆的位置，及所获取的各车道对应的载重车辆的重量信息，确定所述载重车辆对应的重量；
判断所述载重车辆对应的重量是否大于预设重量；
如果所述载重车辆对应的重量大于所述预设重量，则确定所述载重车辆超载运输。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行灰度化预处理和裁剪预处理，得到第二图像的步骤，包括：
使用加权平均法对所述第一图像进行灰度化预处理，得到第四图像；
基于预先设定的裁剪参数，使用预设的算法对所述第四图像进行裁剪，得到所述第二图像。
3.根据权利要求1所述的方法，其特征在于，所述快速卷积神经网络的训练过程，包括：
构建初始卷积神经网络；其中，所述初始卷积神经网络包括：第一特征提取模块、残差模块、目标检测模块、目标识别模块；所述第一特征提取模块包括：第一卷积层、局部响应归一化LRN层和第一最大池化MaxPool层；所述残差模块包括：第二卷积层和第二最大池化MaxPool层；所述目标检测模块包括：区域提出RPN网络；所述目标识别模块包括：感兴趣区域池化ROI Pool层和全连接FC层；
将预设数量的包含载重车辆的样本图像、所述样本图像对应的类别标签，输入所述初始卷积神经网络；
利用所述初始卷积神经网络，得到各所述样本图像对应的分类结果；
基于所述分类结果与所述标准样本图像对应的类别标签的差异，计算损失函数；
对损失函数进行最小化处理，得到最小化损失函数；
根据最小化损失函数，确定初始卷积神经网络中各模块的权重参数；
基于所述权重参数对所述初始卷积神经网络中的参数进行更新，训练得到所述卷积神经网络。
4.一种基于桥梁监控的车辆特征识别系统，其特征在于，所述系统包括：
图像获取模块，用于获取车辆监控视频，并从所述车辆监控视频中提取每一帧图像作为第一图像，所述第一图像为待进行车辆特征识别的图像；
图像预处理模块，用于对所述第一图像进行灰度化预处理和裁剪预处理，得到第二图像；
特征识别模块，用于将所述第二图像输入预先训练好的快速卷积神经网络中，得到所述第二图像中载重车辆的车辆特征信息；所述快速卷积神经网络，是根据预设数量的包含载重车辆的样本图像、所述样本图像对应的类别标签、各样本图像对应的标准样本图像、以及所述标准样本图像对应的类别标签训练得到的；所述车辆特征信息包括：车辆像素坐标信息和车轮像素坐标信息；
变换矩阵确定模块，用于根据所述第二图像中预设标定物各顶点的像素坐标，以及所述预设标定物各顶点在待生成第三图像中的像素坐标，利用透视变换算法求得变换矩阵，并确定所述待生成第三图像中像素点对应的尺度信息；所述预设标定物，用于标定所述第二图像或所述待生成第三图像中像素点对应的尺度信息；
图像转换模块，用于使用所述变换矩阵，对所述第二图像中各像素点进行转换，生成第三图像，并得到所述第三图像对应的车辆特征信息；
目标特征识别模块，用于基于第三图像对应的车辆特征信息，以及所述像素点对应的尺度信息，计算所述第三图像中载重车辆的目标特征信息；所述目标特征信息包括：车辆的轴数，轴距，平均速度，以及车道信息；所述车道信息，用于标识所述第三图像中载重车辆所在的车道；
在包含载重车辆的所述第三图像中，标示与各载重车辆对应的目标特征信息；
获取各车道对应的载重车辆的重量信息；
基于所获取的各车道对应的载重车辆的重量信息，以及所述载重车辆的目标特征信息，判断所述载重车辆是否超载运输，包括：
在所述车辆监控视频中确定拍摄所述载重车辆的时间信息；
根据所述载重车辆的时间信息及平均速度，确定所述载重车辆的位移；
根据所述载重车辆的位移及该载重车辆所在的车道，确定所述载重车辆的位置；
根据所述载重车辆的位置，及所获取的各车道对应的载重车辆的重量信息，确定所述载重车辆对应的重量；
判断所述载重车辆对应的重量是否大于预设重量；
如果所述载重车辆对应的重量大于所述预设重量，则确定所述载重车辆超载运输。
5.根据权利要求4所述的系统，其特征在于，所述图像预处理模块，包括：预处理子模块和裁剪子模块；
所述预处理子模块，用于使用加权平均法对所述第一图像进行灰度化预处理，得到第四图像；
所述裁剪子模块，用于基于预先设定的裁剪参数，使用预设的算法对所述第四图像进行裁剪，得到所述第二图像。
6.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-3任一所述的方法步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-3任一所述的方法步骤。
CN201910907168.3A 2019-09-24 2019-09-24 基于桥梁监控的车辆特征识别方法及系统 Active CN110633690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910907168.3A CN110633690B (zh) 2019-09-24 2019-09-24 基于桥梁监控的车辆特征识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910907168.3A CN110633690B (zh) 2019-09-24 2019-09-24 基于桥梁监控的车辆特征识别方法及系统

Publications (2)

Publication Number Publication Date
CN110633690A CN110633690A (zh) 2019-12-31
CN110633690B true CN110633690B (zh) 2022-07-01

Family

ID=68973361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910907168.3A Active CN110633690B (zh) 2019-09-24 2019-09-24 基于桥梁监控的车辆特征识别方法及系统

Country Status (1)

Country Link
CN (1) CN110633690B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160270B (zh) * 2019-12-31 2023-09-01 中铁大桥科学研究院有限公司 一种基于智能视频识别的桥梁监测方法
CN111275008B (zh) * 2020-02-24 2024-01-16 浙江大华技术股份有限公司 目标车辆异常的检测方法及装置、存储介质、电子装置
CN111860201B (zh) * 2020-06-28 2023-07-25 中铁大桥科学研究院有限公司 图像识别与桥梁监测相结合的匝道重车识别方法及系统
CN112069901B (zh) * 2020-08-06 2022-07-08 南京领行科技股份有限公司 车内物品监控方法、电子设备及存储介质
CN113033284B (zh) * 2020-12-22 2022-10-25 迪比（重庆）智能科技研究院有限公司 一种基于卷积神经网络的车辆实时超载检测方法
CN114155495B (zh) * 2022-02-10 2022-05-06 西南交通大学 跨海桥梁中车辆运行的安全监控方法、装置、设备及介质
CN116912747B (zh) * 2023-08-04 2024-04-05 北京中电汇智科技有限公司 一种基于视频识别载重异物的数据处理系统
CN117607642B (zh) * 2024-01-23 2024-03-26 中铁电气化铁路运营管理有限公司 一种轨道交通数据分析方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254318A (zh) * 2011-04-08 2011-11-23 上海交通大学 基于图像透视投影变换的车辆道路交通视频测速方法
CN108877237A (zh) * 2018-07-27 2018-11-23 长安大学 基于监控视频图像的车辆行驶速度集成解算系统及方法
CN109064495A (zh) * 2018-09-19 2018-12-21 东南大学 一种基于Faster R-CNN与视频技术的桥面车辆时空信息获取方法
CN109087512A (zh) * 2018-08-20 2018-12-25 中北大学 一种基于分布式震动传感器阵列的车辆超载动态监测方法
CN109101934A (zh) * 2018-08-20 2018-12-28 广东数相智能科技有限公司 车型识别方法、装置与计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8364136B2 (en) * 1999-02-01 2013-01-29 Steven M Hoffberg Mobile system, a method of operating mobile system and a non-transitory computer readable medium for a programmable control of a mobile system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254318A (zh) * 2011-04-08 2011-11-23 上海交通大学 基于图像透视投影变换的车辆道路交通视频测速方法
CN108877237A (zh) * 2018-07-27 2018-11-23 长安大学 基于监控视频图像的车辆行驶速度集成解算系统及方法
CN109087512A (zh) * 2018-08-20 2018-12-25 中北大学 一种基于分布式震动传感器阵列的车辆超载动态监测方法
CN109101934A (zh) * 2018-08-20 2018-12-28 广东数相智能科技有限公司 车型识别方法、装置与计算机可读存储介质
CN109064495A (zh) * 2018-09-19 2018-12-21 东南大学 一种基于Faster R-CNN与视频技术的桥面车辆时空信息获取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Deep CNNs With Spatially Weighted Pooling for Fine-Grained Car Recognition";Qichang Hu 等;《IEEE Transactions on Intelligent Transportation Systems》;20170404;第18卷(第11期);3147-3156 *
"基于卷积神经网络的车辆识别";阮航;《中国优秀博硕士学位论文全文数据库(硕士)-信息科技辑》;20190215;第2019年卷(第2期);I138-1499 *

Also Published As

Publication number Publication date
CN110633690A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
CN110633690B (zh) 基于桥梁监控的车辆特征识别方法及系统
CN109087510B (zh) 交通监测方法及装置
Akagic et al. Pothole detection: An efficient vision based method using rgb color space image segmentation
CN111178206B (zh) 一种基于改进yolo的建筑预埋件检测方法及系统
CN110378297B (zh) 基于深度学习的遥感图像目标检测方法、装置、及存储介质
CN108960190B (zh) 基于fcn图像序列模型的sar视频目标检测方法
CN113221682B (zh) 基于计算机视觉的桥梁车辆荷载时空分布细粒度识别方法
CN111274843A (zh) 基于监控视频的货车超载监测方法及系统
CN110399820B (zh) 一种公路路边景物视觉识别分析方法
CN110197185B (zh) 一种基于尺度不变特征变换算法监测桥下空间的方法和系统
CN112633354B (zh) 路面裂缝检测方法、装置、计算机设备和存储介质
CN113592839B (zh) 基于改进Faster RCNN的配网线路典型缺陷诊断方法及系统
CN113095316B (zh) 基于多级融合和角点偏移的图像旋转目标检测方法
CN112668461B (zh) 一种具有野生动物识别的智能监管系统
CN116503399B (zh) 基于yolo-afps的绝缘子污闪检测方法
CN112070159A (zh) 一种多尺度滑窗相似图片检测方法
CN111967345A (zh) 一种实时判定摄像头遮挡状态的方法
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN116129135A (zh) 基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法
CN115439654A (zh) 动态约束下的弱监督农田地块精细化分割方法及系统
CN113408342B (zh) 一种基于特征确定交并比阈值的目标检测方法
CN113505643B (zh) 违章目标物检测方法及相关装置
CN110399868B (zh) 一种滨海湿地鸟类检测方法
CN114373162A (zh) 用于变电站视频监控的危险区域人员入侵检测方法及系统
CN116612103B (zh) 一种基于机器视觉的建筑结构裂缝智能检测方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant