CN112329747A - 基于视频识别和深度学习的车辆参数检测方法及相关装置 - Google Patents
基于视频识别和深度学习的车辆参数检测方法及相关装置 Download PDFInfo
- Publication number
- CN112329747A CN112329747A CN202110001044.6A CN202110001044A CN112329747A CN 112329747 A CN112329747 A CN 112329747A CN 202110001044 A CN202110001044 A CN 202110001044A CN 112329747 A CN112329747 A CN 112329747A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- video
- tire
- vehicles
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 195
- 238000013135 deep learning Methods 0.000 title claims abstract description 62
- 230000033001 locomotion Effects 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000001360 synchronised effect Effects 0.000 claims abstract description 18
- 238000009432 framing Methods 0.000 claims abstract description 11
- 238000005259 measurement Methods 0.000 claims description 37
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 12
- 230000004438 eyesight Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
- G08G1/054—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种基于视频识别和深度学习的车辆参数检测方法、装置、系统及计算机可读存储介质，方法包括：获取车辆行驶视频和轮胎运动视频；基于车辆行驶视频及预先设定的目标检测区域，计算各车辆的车速及车辆之间的车距；对车辆行驶视频进行分帧，得到车辆图像，基于车辆图像识别各车辆的车道、车牌及类别，并基于各车辆的类别识别各车辆的车型及车轴；基于轮胎运动视频中的轮胎的变形信息，计算与轮胎运动视频时空相同步的车辆行驶视频中与轮胎相匹配的车辆的轴重及车重。本申请公开的上述技术方案，通过车辆行驶视频及轮胎运动视频自动且全面地得到各种车辆参数，而并不需要人为进行实现，从而提高车辆参数的检测效率和检测准确性。
Description
技术领域
本申请涉及车辆检测技术领域，更具体地说，涉及一种基于视频识别和深度学习的车辆参数检测方法、装置、系统及计算机可读存储介质。
背景技术
桥梁上车辆的参数信息包括车辆的车速、车道、车距、车型、车轴、车牌和车重等，其是反映桥梁受力状态和交通密度的重要依据，也是智能交通系统的重要组成部分，因此，收集车辆的参数信息对于桥梁设计优化、安全评估和维护策略至关重要。
目前，常由人工借助测速仪、超载检测仪、测距仪等各种不同用途的仪器来进行车辆参数的检测，费时费力且检测准确性比较低，且现有在进行车辆参数测量时只是对其中一个或两个参数进行测量。
综上所述，如何实现车辆参数检测的全面性，并提高车辆参数的检测效率和检测准确性，是目前本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本申请的目的是提供一种基于视频识别和深度学习的车辆参数检测方法、装置、系统及计算机可读存储介质，用于实现车辆参数检测的全面性，并提高车辆参数的检测效率和检测准确性。
为了实现上述目的，本申请提供如下技术方案：
一种基于视频识别和深度学习的车辆参数检测方法，包括：
获取车辆行驶视频和轮胎运动视频；
基于所述车辆行驶视频及预先设定的目标检测区域，计算各车辆的车速及所述车辆之间的车距；
对所述车辆行驶视频进行分帧，得到车辆图像，基于所述车辆图像识别各所述车辆的车道、车牌及类别，并基于各所述车辆的类别识别各所述车辆的车型及车轴；
基于所述轮胎运动视频中的轮胎的变形信息，计算与所述轮胎运动视频时空相同步的车辆行驶视频中与所述轮胎相匹配的车辆的轴重及车重。
优选的，基于所述车辆行驶视频及预先设定的目标检测区域，计算各车辆的车速，包括：
获取与所述目标检测区域对应的实测检测区域中各标记点的坐标，并根据各所述标记点的坐标计算所述目标检测区域中与所述标记点对应的目标标记点的坐标，且根据各所述目标标记点的坐标获取所述目标检测区域中各像素点的坐标；
利用预设的运动目标检测算法检测所述目标检测区域中的车辆，并利用矩形框对所述车辆进行标记；
基于所述目标检测区域中各像素点的坐标获取各所述车辆对应的矩形框的顶点在视频中的坐标，根据所述矩形框的顶点在视频中的坐标对应计算各所述矩形框的顶点在所述实测检测区域中的坐标，并根据各所述矩形框的顶点在所述实测检测区域中的坐标计算各所述矩形框的实际长度；
获取各所述车辆对应的矩形框进入所述目标检测区域中的预设侵入线的帧数、离开所述预设侵入线的帧数，并根据进入所述预设侵入线的帧数、离开所述预设侵入线的帧数计算所述车辆通过所述预设侵入线的时间，根据所述车辆通过所述预设侵入线的时间及所述车辆对应的矩形框的实际长度计算所述车辆的车速。
优选的，基于所述车辆行驶视频及预先设定的目标检测区域，计算所述车辆之间的车距，包括：
获取位于同一车道上且前后相邻的两个车辆中位于前侧的车辆对应的矩形框的第一条边在视频中的坐标、位于后侧的车辆对应的矩形框的第二条边在视频中的坐标；其中，所述第一条边为矩形框中与车辆尾部对应的边，所述第二条边为矩形框中与车辆头部对应的边；
根据位于前侧的车辆对应的矩形框的第一条边在视频中的坐标，得到位于前侧的车辆对应的矩形框的第一条边在所述实测检测区域中的坐标，并根据位于后侧的车辆对应的矩形框的第二条边在视频中的坐标，得到位于后侧的车辆对应的矩形框的第二条边在所述实测检测区域中的坐标；
根据位于前侧的车辆对应的矩形框的第一条边在所述实测检测区域中的坐标、位于后侧的车辆对应的矩形框的第二条边在所述实测检测区域中的坐标，得到位于前侧的车辆与位于后侧的车辆之间的车距。
优选的，基于所述车辆图像识别各所述车辆的类别，并基于各所述车辆的类别识别各所述车辆的车型及车轴，包括：
通过深度学习从所述车辆图像中提取车辆车型的有效特征，根据车辆车型的有效特征识别所述车辆的类别；
利用多尺度下的细粒度检测算法对各类别的车辆进行检测，识别各所述车辆的车型；
利用强监督细粒度图像模型和弱监督细粒度图像模型对各类别的车辆进行识别，以确定各所述车辆的车轴。
优选的，基于所述车辆图像识别各所述车辆的车道，包括：
利用计算机视觉的立体视差、车道消失点法或车道分割线的深度学习算法中的任一种算法对所述车辆图像进行识别，以得到各所述车辆的车道。
优选的，基于所述车辆图像识别各所述车辆的车牌，包括：
基于计算机视觉的数字图像处理方法对所述车辆图像进行处理，以识别各所述车辆的车牌。
优选的，在计算与所述轮胎运动视频时空相同步的车辆行驶视频中与所述轮胎相匹配的车辆的轴重及车重之后，还包括：
将检测到的各所述车辆的车辆参数发送至云平台，由所述云平台对各所述车辆的车辆参数进行存储并将各所述车辆的车重与对应的限制重量、车速与对应的限制车速、车型与对应的限制车型进行比较，若存在超限，则生成超限信息，并将所述超限信息发送至交通部门、收费站及对应的车辆，且将所述超限信息发送至显示装置进行显示；其中，所述车辆的车辆参数包括车速、车距、车道、车牌、车型、车轴、轴重及车重。
一种基于视频识别和深度学习的车辆参数检测装置，包括：
获取模块，用于获取车辆行驶视频和轮胎运动视频；
第一计算模块，用于基于所述车辆行驶视频及预先设定的目标检测区域，计算各车辆的车速及所述车辆之间的车距；
识别模块，用于对所述车辆行驶视频进行分帧，得到车辆图像，基于所述车辆图像识别各所述车辆的车道、车牌及类别，并基于各所述车辆的类别识别各所述车辆的车型及车轴；
第二计算模块，用于基于所述轮胎运动视频中的轮胎的变形信息，计算与所述轮胎运动视频时空相同步的车辆行驶视频中与所述轮胎相匹配的车辆的轴重及车重。
一种基于视频识别和深度学习的车辆参数检测系统，包括数据输入系统、数据处理中心，所述数据输入系统包括视频获取设备、视频传输设备，其中：
所述视频获取设备，用于拍摄车辆行驶视频和轮胎运动视频；
所述视频传输设备，用于将所述车辆行驶视频和所述轮胎运动视频发送至所述数据处理中心；
所述数据处理中心，用于执行如上述任一项所述的基于视频识别和深度学习的车辆参数检测方法的步骤。
优选的，还包括与所述数据处理中心相连的云平台、与所述云平台相连的显示装置，其中：
所述云平台，用于接收所述数据处理中心发送的各所述车辆的车辆参数，并对各所述车辆的车辆参数进行存储且将各所述车辆的车重与对应的限制重量、车速与对应的限制车速、车型与对应的限制车型进行比较，若存在超限，则生成超限信息，并将所述超限信息发送至交通部门、收费站及对应的车辆，且将所述超限信息发送至所述显示装置；
所述显示装置，用于对所述超限信息进行显示。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的基于视频识别和深度学习的车辆参数检测方法的步骤。
本申请提供了一种基于视频识别和深度学习的车辆参数检测方法、装置、系统及计算机可读存储介质，其中，该方法包括：获取车辆行驶视频和轮胎运动视频；基于车辆行驶视频及预先设定的目标检测区域，计算各车辆的车速及车辆之间的车距；对车辆行驶视频进行分帧，得到车辆图像，基于车辆图像识别各车辆的车道、车牌及类别，并基于各车辆的类别识别各车辆的车型及车轴；基于轮胎运动视频中的轮胎的变形信息，计算与轮胎运动视频时空相同步的车辆行驶视频中与轮胎相匹配的车辆的轴重及车重。
本申请公开的上述技术方案，基于获取到的车辆行驶视频及预先设定的目标检测区域计算各车辆的车速及车辆之间的车距，并通过对车辆行驶视频进行分帧得到的车辆图像识别车辆的车道、车牌及类别，且基于各车辆的类别识别各车辆的车型及车轴，同时基于轮胎运动视频中轮胎的变形信息计算与轮胎运动视频时空相同步的车辆行驶视频中与轮胎相匹配的车辆的轴重及车重，以实现通过车辆行驶视频及轮胎运动视频自动地得到车辆的车速、车距、车道、车牌、车型、车轴、轴重及车重这些车辆参数，从而提高车辆参数检测的全面性，且由于上述过程并不需要人为借助各种不同用途的仪器来进行实现，因此，则可以降低车辆参数检测所耗费的时间和人力，从而提高车辆参数的检测效率，同时可以避免人为因素和/或仪器精度带来的影响，从而提高车辆参数检测的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测方法的流程图；
图2为本申请实施例提供的红绿灯上部拍摄的车辆行驶视频中某一帧图像的示意图；
图3为本申请实施例提供的栅栏较低处的摄像头拍摄的轮胎运动视频中某一帧图像的示意图；
图4为本申请实施例提供的车速测量示意图；
图5为本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测装置的结构示意图；
图6为本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，其示出了本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测方法的流程图，本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测方法，可以包括：
S11：获取车辆行驶视频和轮胎运动视频。
考虑到现有通过人工借助各种不同用途的仪器来进行车辆参数的检测会存在费时费力的问题，且会因人为因素和/或仪器精度的影响而导致车辆参数检测的精度、准确性比较低，为此，本申请提供一种基于视频识别和深度学习的车辆参数检测方法，用于提高车辆参数检测效率和检测准确性。
具体地，可以通过设置在道路红绿灯上部较高位置处的交通摄像头拍摄车辆行驶视频，且可以通过设置在道路绿化道或栅栏较低处的摄像头拍摄轮胎运动视频，当然，也可以利用设置在收费站处的摄像机来既拍摄车辆行驶视频又拍摄轮胎运动视频。具体可以参见图2和图3，其中，图2示出了本申请实施例提供的红绿灯上部拍摄的车辆行驶视频中某一帧图像的示意图，图3示出了本申请实施例提供的栅栏较低处的摄像头拍摄的轮胎运动视频中某一帧图像的示意图。
在拍摄车辆行驶视频及轮胎运动视频之后，可以利用视频传输设备来将摄像头或摄像机拍摄的车辆行驶视频和轮胎运动视频发送至数据处理中心。
S12：基于车辆行驶视频及预先设定的目标检测区域，计算各车辆的车速及车辆之间的车距。
数据处理中心在获取到车辆行驶视频和轮胎运动视频之后，可以基于车辆行驶视频及预先设定的目标检测区域来对车辆进行检测，并对检测到的车辆进行追踪，以通过追踪分析获得各车辆的车速以及车辆之间的车距。
S13：对车辆行驶视频进行分帧，得到车辆图像，基于车辆图像识别各车辆的车道、车牌及类别，并基于各车辆的类别识别各车辆的车型及车轴。
在追踪得到车辆后，对车辆行驶视频进行分帧，得到多个车辆图像，并从多个车辆图像中获取质量比较高且便于对各车辆进行识别的车辆图像，其中，对于每个车辆所选取的车辆图像可能并不相同。之后，则可以利用车辆目标实例检测方法来对车辆图像进行识别，以得到各车辆的车道、车牌，同时利用目标类别检测方法对车辆图像进行深入分析和识别而确定各车辆的类别，并基于各车辆的类别及对应的车辆图像识别各车辆的车型及车轴，其中，车辆的车型中包含车辆的长宽信息。
S14：基于轮胎运动视频中的轮胎的变形信息，计算与轮胎运动视频时空相同步的车辆行驶视频中与轮胎相匹配的车辆的轴重及车重。
在上述步骤的基础上，可以对获取到的轮胎运动视频进行分帧处理，以得到多个轮胎图像，并可以从轮胎图像中获取各轮胎的标识和尺寸，且可以从轮胎图像中获取各轮胎的变形信息，之后，则可以根据轮胎的标识和尺寸及车辆的车型来对轮胎及车辆进行匹配，以使得轮胎及轮胎所属的车辆可以对应匹配在一起。与此同时，可以对车辆行驶视频及轮胎运动视频进行时空同步（具体指时间及空间进行同步），以使得车辆行驶视频及轮胎运动视频可以位于同样的时刻，且使得车辆行驶视频中的车辆的位置与轮胎运动视频中相匹配的轮胎的位置可以保持同步。其中，对两个视频在时间上实现同步的过程为：两个摄像头开始录制的时刻分别为
和
，两个摄像头采用的周期分别为
和
，一般都是同一型号的摄像头（采样周期是相同的），那么就有
，假设在
时刻开始同步，摄像头1对应的帧号为
，摄像头2对应的帧号为
，则有
，同时由该公式可以推导出：
，其中，
为帧偏移量，一般在两摄像头之间接入外同步信号来保证
和
的同步匹配；对于两个视频在空间上的同步，常使用图像中特征点实现视频中对应帧数的匹配，常用的方法有双摄像头之间的成像几何约束、利用双摄像头对应点的秩约束、利用时空兴趣点的相关性直接同步时间偏移量、整体匹配时空对应点等。
在对车辆与轮胎进行匹配，并对车辆行驶视频及轮胎运动视频进行时空同步之后，可以基于轮胎运动视频中的轮胎的变形信息，计算与轮胎运动视频时空相同步的车辆行驶视频中与轮胎相匹配的车辆的轴重及车重。具体地，上述提及的轮胎的变形信息具体可以包括轮胎的胎压和轮胎的接地面积、或者包括轮胎的垂向挠度和径向刚度，当轮胎的变形信息为轮胎的胎压和轮胎的接地面积时，则将轮胎的胎压、轮胎的接地面积输入到预先根据这两者及轮胎荷载之间的关系而建立的轮胎荷载模型中，以得到轮胎的荷载。当轮胎的变形信息为轮胎的垂向挠度和径向刚度时，则将两者进行相乘，以得到轮胎的荷载。之后，将车辆每一个车轴上左右两个轮胎的荷载相加，就得到车辆各个车轴的轴重，并将车辆各个车轴的轴重相加，就得到车辆的车重。
通过上述过程可知，本申请可以通过获取车辆行驶视频和轮胎运动视频，并基于这两个视频实现自动且无接触地得到车辆的车速、车距、车道、车牌、车型、车轴、轴重及车重这些车辆参数，因此，则可以提高车辆参数的检测效率和检测精度，且由于不需要借助任何接触式的设备来进行实现车辆参数检测，因此，则可以降低测量成本，提高测量的便利性，且本申请具有测量范围广、不用封闭交通、长期稳定工作和易于信息收集等优势。
本申请公开的上述技术方案，基于获取到的车辆行驶视频及预先设定的目标检测区域计算各车辆的车速及车辆之间的车距，并通过对车辆行驶视频进行分帧得到的车辆图像识别车辆的车道、车牌及类别，且基于各车辆的类别识别各车辆的车型及车轴，同时基于轮胎运动视频中轮胎的变形信息计算与轮胎运动视频时空相同步的车辆行驶视频中与轮胎相匹配的车辆的轴重及车重，以实现通过车辆行驶视频及轮胎运动视频自动地得到车辆的车速、车距、车道、车牌、车型、车轴、轴重及车重这些车辆参数，从而提高车辆参数检测的全面性，且由于上述过程并不需要人为借助各种不同用途的仪器来进行实现，因此，则可以降低车辆参数检测所耗费的时间和人力，从而提高车辆参数的检测效率，同时可以避免人为因素和/或仪器精度带来的影响，从而提高车辆参数检测的准确性。
本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测方法，基于车辆行驶视频及预先设定的目标检测区域，计算各车辆的车速，可以包括：
获取与目标检测区域对应的实测检测区域中各标记点的坐标，并根据各标记点的坐标计算目标检测区域中与标记点对应的目标标记点的坐标，且根据各目标标记点的坐标获取目标检测区域中各像素点的坐标；
利用预设的运动目标检测算法检测目标检测区域中的车辆，并利用矩形框对车辆进行标记；
基于目标检测区域中各像素点的坐标获取各车辆对应的矩形框的顶点在视频中的坐标，根据矩形框的顶点在视频中的坐标对应计算各矩形框的顶点在实测检测区域中的坐标，并根据各矩形框的顶点在实测检测区域中的坐标计算各矩形框的实际长度；
获取各车辆对应的矩形框进入目标检测区域中的预设侵入线的帧数、离开预设侵入线的帧数，并根据进入预设侵入线的帧数、离开预设侵入线的帧数计算车辆通过预设侵入线的时间，根据车辆通过预设侵入线的时间及车辆对应的矩形框的实际长度计算车辆的车速。
在本申请中，可以结合图4说明基于车辆行驶视频及预先设定的目标检测区域计算各车辆的车速的具体过程，其中，图4示出了本申请实施例提供的车速测量示意图，在图4中，目标标记点A、B、C、D所围成的区域即为目标检测区域，与目标检测区域对应且位于实际道路上的区域即为实测检测区域，目标标记点A在实测检测区域中对应的标记点为A0、目标标记点B在实测检测区域中对应的标记点为B0、目标标记点C在实测检测区域中对应的标记点为C0、目标标记点D在实测检测区域中对应的标记点为D0，该实测检测区域即为由A0、B0、C0和D0所构成的区域，且实测检测区域的区域尺寸具体可以为20 m *12m（当然，并不限定于此），另外，图4中包含有五条平行于目标检测区域的宽度的预设侵入线①-⑤，且这五条预设侵入线为对目标检测区域的长度进行均等划分得到的，需要说明的是，目标检测区域中的预设侵入线是用以辅助计算车辆的车速的，本申请并不对预设侵入线的数量做任何限定。
在本申请中，基于车辆行驶视频及预先设定的目标检测区域计算各车辆的车速的具体过程为：
（1）以A0为原点，结合实测检测区域的区域尺寸得到实测检测区域中的B0、C0和D0的坐标，之后，可以利用A0、B0、C0和D0来计算实际空间平面与视频平面之间的单应性矩形，然后通过单应性矩阵计算目标检测区域中的真实距离，其中，平面的单应性被定位为从实际坐标平面到图像坐标平面的投影映射，可以实现从实际坐标点A0到图像坐标点A的映射。具体映射是利用矩阵相乘的方式实现：
空间坐标系中的坐标（X，Y，Z）转化为图像坐标系上的坐标（x, y, z）的具体变换形式为：
其中，Z=z=1，s为尺度系数，H为转换矩阵，通过上述公式可以实现根据实测检测区域中各标记点的坐标（X，Y，Z）计算得到目标检测区域中与标记点对应的目标标记点的坐标（x,y, z），之后，则可以根据目标检测区域中各目标标记点的坐标计算目标检测区域中各像素点的坐标；
（2）当车辆行驶至目标检测区域时，可以利用预设的运动目标检测算法（具体可以为帧间差分法、背景差分法或光流法）获取车辆像素点的变化，即检测目标检测区域中的车辆，并利用矩形框对车辆进行标记。这里以背景差分法为例，当车辆行驶至目标检测区域中时，利用背景差分法获取运动车辆像素点的变化，具体做法是：对背景图像中静止背景的每个像素进行建模，建立背景模型fb (i , j)；然后将每一张图像ft (i , j)与背景模型进行差分，得到一系列偏离背景图像的像素点；最后对每帧差分图像进行阈值分割判断，差分图像中像素灰度值大于阈值的为运动目标，小于阈值的为背景信息。对运动区域边界进行标记，找到最大运动区域，获取索引图像的下标与矩形框坐标，获取矩形框的列、行、宽、高参数，最终实现对图像中运动车辆标框；
（3）在利用矩形框对车辆进行标记之后，可以基于目标检测区域中各像素点的坐标及各车辆对应的矩形框在车辆行驶视频中每帧图像中的位置而获取各车辆对应的矩形框的顶点在视频中的坐标（具体为在视频的某一帧或每一帧图像中的坐标），之后，则根据矩形框的顶点在视频中的坐标及上述提及的变换公式对应计算各矩形框的顶点在实测检测区域中的坐标，也即计算矩形框在实际空间中的实际坐标，然后，则可以根据各矩形框的顶点在实测检测区域中的坐标计算各矩形框的实际长度；需要说明的是，这里提及的矩形框的实际长度具体为矩形框中与实测检测区域的长度方向相平行方向上的长度，或者说为矩形框中与目标检测区域中侵入线相垂直方向上的长度。
（4）对于每个车辆经过每条侵入线时，可以获取车辆对应的矩形框在进入目标检测区域中的各预设侵入线的帧数及对应离开各预设侵入线的帧数，并根据车辆对应的矩形框进入一条预设侵入线的帧数和离开该预设侵入线的帧数而计算该车辆通过该预设侵入线的时间，之后，则可以将该车辆对应的矩形框的实际长度除以该车辆通过上述预设侵入线的时间而得到车辆的车速，以车辆通过预设侵入线⑤为例，则可以获取车辆对应的矩形框进入预设侵入线⑤的帧数、离开预设侵入线⑤的帧数，并根据进入预设侵入线⑤的帧数及离开预设侵入线⑤的帧数而计算车辆通过预设侵入线⑤的时间，之后，可以将该车辆对应的矩形框的实际长度除以车辆通过预设侵入线⑤的时间而得到车辆通过预设侵入线⑤时的车速，对于车辆经过其余四条预设侵入线的过程与此类似，在此不再赘述；需要说明的是，由于当车辆的车头行驶至预设侵入线时，该预设侵入线将开始发生像素点变化，因此，则可以基于该预设侵入线像素点的变化而记录车辆行驶视频中车辆进入预设侵入线的帧数、离开侵入线的帧数。
本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测方法，基于车辆行驶视频及预先设定的目标检测区域，计算车辆之间的车距，可以包括：
获取位于同一车道上且前后相邻的两个车辆中位于前侧的车辆对应的矩形框的第一条边在视频中的坐标、位于后侧的车辆对应的矩形框的第二条边在视频中的坐标；其中，第一条边为矩形框中与车辆尾部对应的边，第二条边为矩形框中与车辆头部对应的边；
根据位于前侧的车辆对应的矩形框的第一条边在视频中的坐标，得到位于前侧的车辆对应的矩形框的第一条边在实测检测区域中的坐标，并根据位于后侧的车辆对应的矩形框的第二条边在视频中的坐标，得到位于后侧的车辆对应的矩形框的第二条边在实测检测区域中的坐标；
根据位于前侧的车辆对应的矩形框的第一条边在实测检测区域中的坐标、位于后侧的车辆对应的矩形框的第二条边在实测检测区域中的坐标，得到位于前侧的车辆与位于后侧的车辆之间的车距。
在本申请中，基于车辆行驶视频及预先设定的目标检测区域计算车辆之间的车距的过程具体为：
（1）利用任意一种预设的运动目标检测算法对行驶在同一车道的多个车辆进行跟踪，并获取位于同一车道上且前后相邻的两个车辆中位于前侧的车辆对应的矩形框的第一条边（该第一条边具体为矩形框中与车辆尾部对应的边）在视频中的坐标、位于后侧的车辆对应的矩形框的第二条边（该第二条边为矩形框中与车辆头部对应的边）在视频中的坐标；需要说明的是，这里提及的前、后是按照车辆行驶方向来确定的，且这里提及的在视频中的坐标具体可以指的是在视频的每帧图像中的坐标；
（2）根据位于前侧的车辆对应的矩形框的第一条边在视频中的坐标及上述提及的变换公式计算位于前侧的车辆对应的矩形框的第一条边在实测检测区域中的坐标，并根据位于后侧的车辆对应的矩形框的第二条边在视频中的坐标及上述提及的变换公式计算位于后侧的车辆对应的矩形框的第二条边在实测检测区域中的坐标，即将位于前侧的车辆对应的矩形框的第一条边的坐标、位于后侧的车辆对应的矩形框的第二条边的坐标均变换到实际空间中；
（3）可以将位于前侧的车辆对应的矩形框的第一条边在实测检测区域中的坐标、位于后侧的车辆对应的矩形框的第二条边在实测检测区域中的坐标相减，以得到两车之间的车距。需要说明的是，在相减时，需要对视频相同帧中的位于前侧车辆及位于后侧车辆进行相减操作，以便于得到位于前侧的车辆与位于后侧的车辆在视频相同帧中的车距，也即得到位于前侧的车辆与位于后侧的车辆之间的动态车距。
本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测方法，基于车辆图像识别各车辆的类别，并基于各车辆的类别识别各车辆的车型及车轴，可以包括：
通过深度学习从车辆图像中提取车辆车型的有效特征，根据车辆车型的有效特征识别车辆的类别；
利用多尺度下的细粒度检测算法对各类别的车辆进行检测，识别各车辆的车型；
利用强监督细粒度图像模型和弱监督细粒度图像模型对各类别的车辆进行识别，以确定各车辆的车轴。
考虑到某些车辆是同一厂家的不同车型，而且车型差距和车轴差距可能非常小，因此，为了提高车辆的车型及车轴检测、识别的准确性，则在识别各车辆的车型及车轴时，可以先通过深度学习从车辆图像中提取车辆车型的有效特征，并根据车辆车型的有效特征将车辆分成预先定义的车辆的类别，例如：卡车、货车、轿车这些类别，其中，深度学习是一种基于人工神经网络，从原始数据中自主学习内在规律和特征，进而对数据进行分类、识别和预测的表示学习算法，是机器学习的分支，该算法采用端到端的设计思路，先从原始的数据图像中学习低级表示，再从低级表示学得高级表示，逐渐提取特征信息。整个学习过程不依赖于人为干预，完全通过深度学习模型让计算机自动学习。
对于同类别的车辆，则利用多尺度下的细粒度检测算法对每个类别的车辆进行检测，以识别各个车辆的车型，具体做法是：采用双线性神经网络模型对细粒度图像进行物体级别（车辆）和部件级别（其局部区域如车牌、车标、车型、车灯等）检测，该双线性网络使用了两个并列特征分别进行区域检测和特征提取（双线性网络包括并列A、B网络，网络A算法与传统目标区域检测算法是相同的，完成局部和整体检测工作，网络B是对网络A检测的物体进行重特征提取，将两个网络相互协调，从而完成区域检测和特征提取两个任务），在输出过程中经过外积相乘，再将两个网络协调汇集，最后将空间金字塔池化结构添加到全连接层之前，这样既可以有效检测图片中车辆的多种尺度也可以获取统一尺寸的输出，避免变形带来的误差。多尺度下的细粒度检测算法可以满足相近车型的识别精度，该模型是端到端的图像识别模型，避免人为处理过程的干扰。
在同类别的车辆中，可以采用目标类别检测中的强监督细粒度图像模型和弱监督细粒度图像模型有效且准确的识别车轴。当然，对于普通两轴车辆，可以直接采用计算机视觉和深度学习自动识别车辆轴数信息，其中，计算机视觉是利用视觉设备和计算机模拟人的视觉功能对目标物体进行测量、识别、跟踪和判断，实现对现实世界三维场景的感知和理解，即采用计算机代替人眼；对于后轴为多轴且紧密相连的货车，则需要采用目标类别检测中的强监督细粒度图像模型和弱监督细粒度图像模型来进行车轴识别，以便于准确地区分中轴轮胎和后轴轮胎。
本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测方法，基于车辆图像识别各车辆的车道，可以包括：
利用计算机视觉的立体视差、车道消失点法或车道分割线的深度学习算法中的任一种算法对车辆图像进行识别，以得到各车辆的车道。
在识别车轴时，具体可以利用计算机视觉的立体视差、车道消失点法或车道分割线的深度学习算法中的任一种算法来对车辆图像进行识别，以准确地识别车辆在道路或桥梁上的横纵多车道。
本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测方法，基于车辆图像识别各车辆的车牌，可以包括：
基于计算机视觉的数字图像处理方法对车辆图像进行处理，以识别各车辆的车牌。
在识别车牌时，可以基于计算机视觉的数据图像方法（具体可以为Hough变换、形态学、阈值和Canny边缘检测等）对车辆图像进行处理，以自动读取识别车辆的车牌。当然，也可以使用深度卷积神经网络预训练车牌数据集，然后使用多种深度卷积网络对车辆进行车牌的准确检测。
本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测方法，在计算与轮胎运动视频时空相同步的车辆行驶视频中与轮胎相匹配的车辆的轴重及车重之后，还可以包括：
将检测到的各车辆的车辆参数发送至云平台，由云平台对各车辆的车辆参数进行存储并将各车辆的车重与对应的限制重量、车速与对应的限制车速、车型与对应的限制车型进行比较，若存在超限，则生成超限信息，并将超限信息发送至交通部门、收费站及对应的车辆，且将超限信息发送至显示装置进行显示；其中，车辆的车辆参数包括车速、车距、车道、车牌、车型、车轴、轴重及车重。
在计算与轮胎运动视频时空相同步的车辆行驶视频中与轮胎相匹配的车辆的轴重及车重之后，可以将检测到的各车辆的车速、车距、车道、车牌、车型、车轴、轴重及车重这些车辆参数发送至云平台，以由云平台对各车辆的车辆参数进行存储，并由云平台将各车辆的车重与其对应的限制重量、车速对应的限制车速、车型对应的限制车型进行比较，若存在超限，则生成超限信息（该超限信息中可以包括当前的信息、限制信息、车牌等），以车速超限为例，则所生成的超限信息中可以包括当前的车速、限制车速及车牌等信息，且云平台可以将超限信息发送至交通部门、收费站及对应的车辆，且可以同时将超限信息发送至显示装置进行显示，以便于交通部分和收费站可以及时对超限行为采取措施，并便于车辆对应的车主可以及时获知超限信息，且便于其余人员可以及时通过显示装置获取超限信息。
本申请实施例还提供了一种基于视频识别和深度学习的车辆参数检测装置，参见图5，其示出了本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测装置的结构示意图，可以包括：
获取模块51，用于获取车辆行驶视频和轮胎运动视频；
第一计算模块52，用于基于车辆行驶视频及预先设定的目标检测区域，计算各车辆的车速及车辆之间的车距；
识别模块53，用于对车辆行驶视频进行分帧，得到车辆图像，基于车辆图像识别各车辆的车道、车牌及类别，并基于各车辆的类别识别各车辆的车型及车轴；
第二计算模块54，用于基于轮胎运动视频中的轮胎的变形信息，计算与轮胎运动视频时空相同步的车辆行驶视频中与轮胎相匹配的车辆的轴重及车重。
本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测装置，第一计算模块52可以包括：
第一获取单元，用于获取与目标检测区域对应的实测检测区域中各标记点的坐标，并根据各标记点的坐标计算目标检测区域中与标记点对应的目标标记点的坐标，且根据各目标标记点的坐标获取目标检测区域中各像素点的坐标；
标记单元，用于利用预设的运动目标检测算法检测目标检测区域中的车辆，并利用矩形框对车辆进行标记；
第二获取单元，用于基于目标检测区域中各像素点的坐标获取各车辆对应的矩形框的顶点在视频中的坐标，根据矩形框的顶点在视频中的坐标对应计算各矩形框的顶点在实测检测区域中的坐标，并根据各矩形框的顶点在实测检测区域中的坐标计算各矩形框的实际长度；
计算单元，用于获取各车辆对应的矩形框进入目标检测区域中的预设侵入线的帧数、离开预设侵入线的帧数，并根据进入预设侵入线的帧数、离开预设侵入线的帧数计算车辆通过预设侵入线的时间，根据车辆通过预设侵入线的时间及车辆对应的矩形框的实际长度计算车辆的车速。
本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测装置，第一计算模块52可以包括：
第三获取单元，用于获取位于同一车道上且前后相邻的两个车辆中位于前侧的车辆对应的矩形框的第一条边在视频中的坐标、位于后侧的车辆对应的矩形框的第二条边在视频中的坐标；其中，第一条边为矩形框中与车辆尾部对应的边，第二条边为矩形框中与车辆头部对应的边；
得到坐标单元，用于根据位于前侧的车辆对应的矩形框的第一条边在视频中的坐标，得到位于前侧的车辆对应的矩形框的第一条边在实测检测区域中的坐标，并根据位于后侧的车辆对应的矩形框的第二条边在视频中的坐标，得到位于后侧的车辆对应的矩形框的第二条边在实测检测区域中的坐标；
得到车距单元，用于根据位于前侧的车辆对应的矩形框的第一条边在实测检测区域中的坐标、位于后侧的车辆对应的矩形框的第二条边在实测检测区域中的坐标，得到位于前侧的车辆与位于后侧的车辆之间的车距。
本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测装置，识别模块53可以包括：
提取单元，用于通过深度学习从车辆图像中提取车辆车型的有效特征，根据车辆车型的有效特征识别车辆的类别；
检测单元，用于利用多尺度下的细粒度检测算法对各类别的车辆进行检测，识别各车辆的车型；
第一识别单元，用于利用强监督细粒度图像模型和弱监督细粒度图像模型对各类别的车辆进行识别，以确定各车辆的车轴。
本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测装置，识别模块53可以包括：
第二识别单元，用于利用计算机视觉的立体视差、车道消失点法或车道分割线的深度学习算法中的任一种算法对车辆图像进行识别，以得到各车辆的车道。
本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测装置，识别模块53可以包括：
处理单元，用于基于计算机视觉的数字图像处理方法对车辆图像进行处理，以识别各车辆的车牌。
本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测装置，还可以包括：
发送模块，用于在计算与轮胎运动视频时空相同步的车辆行驶视频中与轮胎相匹配的车辆的轴重及车重之后，将检测到的各车辆的车辆参数发送至云平台，由云平台对各车辆的车辆参数进行存储并将各车辆的车重与对应的限制重量、车速与对应的限制车速、车型与对应的限制车型进行比较，若存在超限，则生成超限信息，并将超限信息发送至交通部门、收费站及对应的车辆，且将超限信息发送至显示装置进行显示；其中，车辆的车辆参数包括车速、车距、车道、车牌、车型、车轴、轴重及车重。
本申请实施例还提供了一种基于视频识别和深度学习的车辆参数检测系统，参见图6，其示出了本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测系统的结构示意图，可以包括数据输入系统61、数据处理中心62，数据输入系统可以包括视频获取设备611、视频传输设备612，其中：
视频获取设备611，用于拍摄车辆行驶视频和轮胎运动视频；
视频传输设备612，用于将车辆行驶视频和轮胎运动视频发送至数据处理中心62；
数据处理中心62，用于执行上述任一种基于视频识别和深度学习的车辆参数检测方法的步骤。
本申请所提供的基于视频识别和深度学习的车辆参数检测系统可以包括数据输入系统61、数据处理中心62，其中，视频获取设备611即为上述提及的设置在道路红绿灯上部较高位置处的交通摄像头及设置在道路绿化道或栅栏较低处的摄像头，或者为设置在收费站处的摄像机，视频传输设备612具体可以为无线传输设备，且视频传输设备612与数据处理中心62相连，数据处理中心62用于执行上述任一种基于视频识别和深度学习的车辆参数检测方法的步骤。
本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测系统，还可以包括与数据处理中心62相连的云平台63、与云平台63相连的显示装置64，其中：
云平台63，用于接收数据处理中心62发送的各车辆的车辆参数，并对各车辆的车辆参数进行存储且将各车辆的车重与对应的限制重量、车速与对应的限制车速、车型与对应的限制车型进行比较，若存在超限，则生成超限信息，并将超限信息发送至交通部门、收费站及对应的车辆，且将超限信息发送至显示装置64；
显示装置64，用于对超限信息进行显示。
另外，该基于视频识别和深度学习的车辆参数检测系统还可以包括与数据处理中心62相连的云平台63、与云平台63相连的显示装置64。其中，关于数据输入系统61、数据处理中心62、云平台63及显示装置64的相关说明可以参见上述对应部分的详细说明，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时可实现如下步骤：
获取车辆行驶视频和轮胎运动视频；基于车辆行驶视频及预先设定的目标检测区域，计算各车辆的车速及车辆之间的车距；对车辆行驶视频进行分帧，得到车辆图像，基于车辆图像识别各车辆的车道、车牌及类别，并基于各车辆的类别识别各车辆的车型及车轴；基于轮胎运动视频中的轮胎的变形信息，计算与轮胎运动视频时空相同步的车辆行驶视频中与轮胎相匹配的车辆的轴重及车重。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测装置、系统及计算机可读存储介质中相关部分的说明可以参见本申请实施例提供的一种基于视频识别和深度学习的车辆参数检测方法中对应部分的详细说明，在此不再赘述。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、 “包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (11)
1.一种基于视频识别和深度学习的车辆参数检测方法，其特征在于，包括：
获取车辆行驶视频和轮胎运动视频；
基于所述车辆行驶视频及预先设定的目标检测区域，计算各车辆的车速及所述车辆之间的车距；
对所述车辆行驶视频进行分帧，得到车辆图像，基于所述车辆图像识别各所述车辆的车道、车牌及类别，并基于各所述车辆的类别识别各所述车辆的车型及车轴；
基于所述轮胎运动视频中的轮胎的变形信息，计算与所述轮胎运动视频时空相同步的车辆行驶视频中与所述轮胎相匹配的车辆的轴重及车重。
2.根据权利要求1所述的基于视频识别和深度学习的车辆参数检测方法，其特征在于，基于所述车辆行驶视频及预先设定的目标检测区域，计算各车辆的车速，包括：
获取与所述目标检测区域对应的实测检测区域中各标记点的坐标，并根据各所述标记点的坐标计算所述目标检测区域中与所述标记点对应的目标标记点的坐标，且根据各所述目标标记点的坐标获取所述目标检测区域中各像素点的坐标；
利用预设的运动目标检测算法检测所述目标检测区域中的车辆，并利用矩形框对所述车辆进行标记；
基于所述目标检测区域中各像素点的坐标获取各所述车辆对应的矩形框的顶点在视频中的坐标，根据所述矩形框的顶点在视频中的坐标对应计算各所述矩形框的顶点在所述实测检测区域中的坐标，并根据各所述矩形框的顶点在所述实测检测区域中的坐标计算各所述矩形框的实际长度；
获取各所述车辆对应的矩形框进入所述目标检测区域中的预设侵入线的帧数、离开所述预设侵入线的帧数，并根据进入所述预设侵入线的帧数、离开所述预设侵入线的帧数计算所述车辆通过所述预设侵入线的时间，根据所述车辆通过所述预设侵入线的时间及所述车辆对应的矩形框的实际长度计算所述车辆的车速。
3.根据权利要求2所述的基于视频识别和深度学习的车辆参数检测方法，其特征在于，基于所述车辆行驶视频及预先设定的目标检测区域，计算所述车辆之间的车距，包括：
获取位于同一车道上且前后相邻的两个车辆中位于前侧的车辆对应的矩形框的第一条边在视频中的坐标、位于后侧的车辆对应的矩形框的第二条边在视频中的坐标；其中，所述第一条边为矩形框中与车辆尾部对应的边，所述第二条边为矩形框中与车辆头部对应的边；
根据位于前侧的车辆对应的矩形框的第一条边在视频中的坐标，得到位于前侧的车辆对应的矩形框的第一条边在所述实测检测区域中的坐标，并根据位于后侧的车辆对应的矩形框的第二条边在视频中的坐标，得到位于后侧的车辆对应的矩形框的第二条边在所述实测检测区域中的坐标；
根据位于前侧的车辆对应的矩形框的第一条边在所述实测检测区域中的坐标、位于后侧的车辆对应的矩形框的第二条边在所述实测检测区域中的坐标，得到位于前侧的车辆与位于后侧的车辆之间的车距。
4.根据权利要求1所述的基于视频识别和深度学习的车辆参数检测方法，其特征在于，基于所述车辆图像识别各所述车辆的类别，并基于各所述车辆的类别识别各所述车辆的车型及车轴，包括：
通过深度学习从所述车辆图像中提取车辆车型的有效特征，根据车辆车型的有效特征识别所述车辆的类别；
利用多尺度下的细粒度检测算法对各类别的车辆进行检测，识别各所述车辆的车型；
利用强监督细粒度图像模型和弱监督细粒度图像模型对各类别的车辆进行识别，以确定各所述车辆的车轴。
5.根据权利要求1所述的基于视频识别和深度学习的车辆参数检测方法，其特征在于，基于所述车辆图像识别各所述车辆的车道，包括：
利用计算机视觉的立体视差、车道消失点法或车道分割线的深度学习算法中的任一种算法对所述车辆图像进行识别，以得到各所述车辆的车道。
6.根据权利要求1所述的基于视频识别和深度学习的车辆参数检测方法，其特征在于，基于所述车辆图像识别各所述车辆的车牌，包括：
基于计算机视觉的数字图像处理方法对所述车辆图像进行处理，以识别各所述车辆的车牌。
7.根据权利要求1至6任一项所述的基于视频识别和深度学习的车辆参数检测方法，其特征在于，在计算与所述轮胎运动视频时空相同步的车辆行驶视频中与所述轮胎相匹配的车辆的轴重及车重之后，还包括：
将检测到的各所述车辆的车辆参数发送至云平台，由所述云平台对各所述车辆的车辆参数进行存储并将各所述车辆的车重与对应的限制重量、车速与对应的限制车速、车型与对应的限制车型进行比较，若存在超限，则生成超限信息，并将所述超限信息发送至交通部门、收费站及对应的车辆，且将所述超限信息发送至显示装置进行显示；其中，所述车辆的车辆参数包括车速、车距、车道、车牌、车型、车轴、轴重及车重。
8.一种基于视频识别和深度学习的车辆参数检测装置，其特征在于，包括：
获取模块，用于获取车辆行驶视频和轮胎运动视频；
第一计算模块，用于基于所述车辆行驶视频及预先设定的目标检测区域，计算各车辆的车速及所述车辆之间的车距；
识别模块，用于对所述车辆行驶视频进行分帧，得到车辆图像，基于所述车辆图像识别各所述车辆的车道、车牌及类别，并基于各所述车辆的类别识别各所述车辆的车型及车轴；
第二计算模块，用于基于所述轮胎运动视频中的轮胎的变形信息，计算与所述轮胎运动视频时空相同步的车辆行驶视频中与所述轮胎相匹配的车辆的轴重及车重。
9.种基于视频识别和深度学习的车辆参数检测系统，其特征在于，包括数据输入系统、数据处理中心，所述数据输入系统包括视频获取设备、视频传输设备，其中：
所述视频获取设备，用于拍摄车辆行驶视频和轮胎运动视频；
所述视频传输设备，用于将所述车辆行驶视频和所述轮胎运动视频发送至所述数据处理中心；
所述数据处理中心，用于执行如权利要求1至7任一项所述的基于视频识别和深度学习的车辆参数检测方法的步骤。
10.根据权利要求9所述的基于视频识别和深度学习的车辆参数检测系统，其特征在于，还包括与所述数据处理中心相连的云平台、与所述云平台相连的显示装置，其中：
所述云平台，用于接收所述数据处理中心发送的各所述车辆的车辆参数，并对各所述车辆的车辆参数进行存储且将各所述车辆的车重与对应的限制重量、车速与对应的限制车速、车型与对应的限制车型进行比较，若存在超限，则生成超限信息，并将所述超限信息发送至交通部门、收费站及对应的车辆，且将所述超限信息发送至所述显示装置；
所述显示装置，用于对所述超限信息进行显示。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于视频识别和深度学习的车辆参数检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110001044.6A CN112329747B (zh) | 2021-01-04 | 2021-01-04 | 基于视频识别和深度学习的车辆参数检测方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110001044.6A CN112329747B (zh) | 2021-01-04 | 2021-01-04 | 基于视频识别和深度学习的车辆参数检测方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112329747A true CN112329747A (zh) | 2021-02-05 |
| CN112329747B CN112329747B (zh) | 2021-04-23 |
Family
ID=74302005
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110001044.6A Active CN112329747B (zh) | 2021-01-04 | 2021-01-04 | 基于视频识别和深度学习的车辆参数检测方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112329747B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991311A (zh) * | 2021-03-29 | 2021-06-18 | 深圳大学 | 车辆超重检测方法、装置、系统及终端设备 |
| CN113111711A (zh) * | 2021-03-11 | 2021-07-13 | 浙江理工大学 | 一种基于双线性和空间金字塔的池化方法 |
| CN113158799A (zh) * | 2021-03-18 | 2021-07-23 | 精英数智科技股份有限公司 | 露天煤矿不规范行车检测方法、装置及系统 |
| CN113984163A (zh) * | 2021-09-29 | 2022-01-28 | 合肥市正茂科技有限公司 | 一种用于货车不停车称重的视觉辅助研判方法及系统 |
| CN114639061A (zh) * | 2022-04-02 | 2022-06-17 | 山东博昂信息科技有限公司 | 车辆检测方法、系统及存储介质 |
| CN114758511A (zh) * | 2022-06-14 | 2022-07-15 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种跑车超速检测系统、方法、电子设备及存储介质 |
| CN116030423A (zh) * | 2023-03-29 | 2023-04-28 | 浪潮通用软件有限公司 | 一种区域边界侵入检测方法、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103794056A (zh) * | 2014-03-06 | 2014-05-14 | 北京卓视智通科技有限责任公司 | 基于实时双路视频流的车型精确分类系统及方法 |
| CN105427614A (zh) * | 2015-08-28 | 2016-03-23 | 北京动视元科技有限公司 | 一种车型分类系统及其方法 |
| US20170053173A1 (en) * | 2015-08-20 | 2017-02-23 | Fujitsu Ten Limited | Object detection apparatus |
| CN109919072A (zh) * | 2019-02-28 | 2019-06-21 | 桂林电子科技大学 | 基于深度学习和轨迹跟踪的精细车型识别与流量统计方法 |
| CN110553594A (zh) * | 2018-05-31 | 2019-12-10 | 柯尼卡美能达株式会社 | 图像处理装置、过载检测装置、过载检测系统以及介质 |
-
2021
- 2021-01-04 CN CN202110001044.6A patent/CN112329747B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103794056A (zh) * | 2014-03-06 | 2014-05-14 | 北京卓视智通科技有限责任公司 | 基于实时双路视频流的车型精确分类系统及方法 |
| US20170053173A1 (en) * | 2015-08-20 | 2017-02-23 | Fujitsu Ten Limited | Object detection apparatus |
| CN105427614A (zh) * | 2015-08-28 | 2016-03-23 | 北京动视元科技有限公司 | 一种车型分类系统及其方法 |
| CN110553594A (zh) * | 2018-05-31 | 2019-12-10 | 柯尼卡美能达株式会社 | 图像处理装置、过载检测装置、过载检测系统以及介质 |
| CN109919072A (zh) * | 2019-02-28 | 2019-06-21 | 桂林电子科技大学 | 基于深度学习和轨迹跟踪的精细车型识别与流量统计方法 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113111711A (zh) * | 2021-03-11 | 2021-07-13 | 浙江理工大学 | 一种基于双线性和空间金字塔的池化方法 |
| CN113158799A (zh) * | 2021-03-18 | 2021-07-23 | 精英数智科技股份有限公司 | 露天煤矿不规范行车检测方法、装置及系统 |
| CN113158799B (zh) * | 2021-03-18 | 2024-04-26 | 精英数智科技股份有限公司 | 露天煤矿不规范行车检测方法、装置及系统 |
| CN112991311A (zh) * | 2021-03-29 | 2021-06-18 | 深圳大学 | 车辆超重检测方法、装置、系统及终端设备 |
| CN112991311B (zh) * | 2021-03-29 | 2021-12-10 | 深圳大学 | 车辆超重检测方法、装置、系统及终端设备 |
| CN113984163A (zh) * | 2021-09-29 | 2022-01-28 | 合肥市正茂科技有限公司 | 一种用于货车不停车称重的视觉辅助研判方法及系统 |
| CN113984163B (zh) * | 2021-09-29 | 2024-03-15 | 合肥市正茂科技有限公司 | 一种用于货车不停车称重的视觉辅助研判方法及系统 |
| CN114639061A (zh) * | 2022-04-02 | 2022-06-17 | 山东博昂信息科技有限公司 | 车辆检测方法、系统及存储介质 |
| CN114758511A (zh) * | 2022-06-14 | 2022-07-15 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种跑车超速检测系统、方法、电子设备及存储介质 |
| CN114758511B (zh) * | 2022-06-14 | 2022-11-25 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种跑车超速检测系统、方法、电子设备及存储介质 |
| CN116030423A (zh) * | 2023-03-29 | 2023-04-28 | 浪潮通用软件有限公司 | 一种区域边界侵入检测方法、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112329747B (zh) | 2021-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112329747B (zh) | 基于视频识别和深度学习的车辆参数检测方法及相关装置 | |
| CN111429484B (zh) | 一种基于交通监控视频的多目标车辆轨迹实时构建方法 | |
| CN109460709B (zh) | 基于rgb和d信息融合的rtg视觉障碍物检测的方法 | |
| CN106575473B (zh) | 用于对车辆进行非接触式计轴的方法、设备及计轴系统 | |
| CN111753797B (zh) | 一种基于视频分析的车辆测速方法 | |
| CN111626277B (zh) | 一种基于治超站交调指标分析的车辆跟踪方法及装置 | |
| CN110379168B (zh) | 一种基于Mask R-CNN的交通车辆信息获取方法 | |
| US20090309966A1 (en) | Method of detecting moving objects | |
| CN111563469A (zh) | 一种不规范停车行为识别方法及装置 | |
| Dib et al. | A review on negative road anomaly detection methods | |
| CN105404857A (zh) | 一种基于红外的夜间智能车前方行人检测方法 | |
| CN105551264A (zh) | 一种基于车牌特征匹配的车速检测方法 | |
| CN111996883B (zh) | 一种检测公路路面宽度的方法 | |
| CN113870356B (zh) | 一种结合目标检测与双目视觉的闸机通行行为识别与控制方法 | |
| GB2317066A (en) | Method of detecting objects for road vehicles using stereo images | |
| CN110728236A (zh) | 车辆定损方法及其专用设备 | |
| CN111292432A (zh) | 基于车型识别和轮轴检测的车辆收费类型判别方法与装置 | |
| CN106228570A (zh) | 一种真值数据确定方法和装置 | |
| CN112699267B (zh) | 车辆车型的识别方法 | |
| CN114972177A (zh) | 道路病害识别管理方法、装置及智能终端 | |
| Jalalat et al. | Vehicle detection and speed estimation using cascade classifier and sub-pixel stereo matching | |
| CN113256731A (zh) | 基于单目视觉的目标检测方法及装置 | |
| CN107067752A (zh) | 基于无人机航拍图像的车速估算系统及方法 | |
| CN113177508B (zh) | 一种行车信息的处理方法、装置及设备 | |
| CN106803073A (zh) | 基于立体视觉目标的辅助驾驶系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210205 Assignee: HUNAN GREEN FIELD AVIATION TECHNOLOGY CO.,LTD. Assignor: HUNAN University Contract record no.: X2024980001683 Denomination of invention: Vehicle parameter detection method and related devices based on video recognition and deep learning Granted publication date: 20210423 License type: Common License Record date: 20240130 |