CN112329569A - 一种基于图像深度学习系统的货运车辆状态实时识别方法 - Google Patents

一种基于图像深度学习系统的货运车辆状态实时识别方法 Download PDF

Info

Publication number
CN112329569A
CN112329569A CN202011161085.3A CN202011161085A CN112329569A CN 112329569 A CN112329569 A CN 112329569A CN 202011161085 A CN202011161085 A CN 202011161085A CN 112329569 A CN112329569 A CN 112329569A
Authority
CN
China
Prior art keywords
image
freight vehicle
truck
training set
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011161085.3A
Other languages
English (en)
Other versions
CN112329569B (zh
Inventor
贺宜
曹博
高嵩
彭理群
张凡
余绪金
陈旻瑞
陶妍
孙晓亮
许俊
张纪升
赵丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202011161085.3A priority Critical patent/CN112329569B/zh
Publication of CN112329569A publication Critical patent/CN112329569A/zh
Application granted granted Critical
Publication of CN112329569B publication Critical patent/CN112329569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于图像深度学习系统的货运车辆状态实时识别方法。本发明系统：道路监控摄像头、计算处理主机、显示屏。本发明方法首先人工标注货运车辆图像数据集构建深度学习图像训练集，输入到YOLOv3深度学习网络进行优化训练；然后对实时采集的初始图像进行处理，经过背景差分法、数字图像处理得到前景图像，并提取运动目标区域的外接矩形以构建识别图像；使用训练后的深度学习网络对识别图像进行预测，最后得到货运车辆的预测矩形边框及预测矩形边框中对应的货运车辆状态，并输出显示。本发明通过深度学习方法实现了对货运车辆不同货载状态的识别，并结合图像处理方法提高了深度学习对货车目标识别的准确性。本发明提高了道路货运的安全性。

Description

一种基于图像深度学习系统的货运车辆状态实时识别方法
技术领域
本发明属于车辆识别技术领域，特别是涉及一种基于图像深度学习系统的货运车辆状态实时识别方法。
背景技术
在道路交通安全领域，道路交通事故频发，由货车引起的交通事故具有占比高，死亡率高，财产损失严重等特点。载运货车的不安全性与货载状态有很大关系，货车载货量高，货车的制动性就会下降，事故发生可能性就会增大，同时发生事故后的人员伤亡与财产损失也相应增加。目前针对货车货载状态的一般检测手段包括静态检测和动态检测。静态检测一般为人工检测或改造公路加装称重系统，此类手段的安装维护成本较高，而改装道路也会对道路产生一定的破坏性。动态检测通常需要加装传感器，如在货车车身上加装压力传感器等，一旦人为私自改装装置，那么这类手段将无法产生效果。总体而言，现阶段对于道路货运车辆的监管普遍存在人力物力耗费高和监管效率低的问题。
随着目标检测技术的迅速发展，对图像和视频可进行更大程度的信息挖掘。中国专利申请CN104966049A提出了一种基于图像的货车检测方法，该方法基于图像处理方法利用多个车辆特征对货车进行识别，首先根据车牌颜色和车牌像素值等分三次定位车牌，然后利用平整度和车牌占比判断是否为大车，最后根据车牌与地面的相对位置和车牌与挡风窗范围来判定是否为货车。然而实际应用中存在车牌容易遮挡、车牌在各种类型车辆位置不定等因素，导致此方法效果适用范围有限。中国专利申请CN109409337A涉及到一种基于卷积神经网络识别渣土车特征的方法，首先通过图像识别技术检测车辆区域，然后对车辆区域进行车辆位置分类识别，然后针对车头区域和车尾区域分别训练识别算法模型，其中共涉及到车辆图像识别技术、车辆位置识别技术、车头用九分类算法模型、车头用二分类算法模型、车尾用九分类算法模型、车尾用二分类算法模型、后盖识别二分类算法模型、车牌号放大二分类识别算法模型，方法流程繁琐，训练这些模型需要海量数据，且并未具体阐述如何设计这些算法模型。
发明内容
为了解决上述问题，本发明提出了一种基于图像深度学习的货运车辆状态实时识别系统和方法，来提高工作人员的检测效率，提高道路货运的安全性。
本发明的技术方案为一种基于图像深度学习系统的货运车辆状态实时识别方法。
所述的图像深度学习系统，其特征在于，包括：道路监控摄像头、计算处理主机、显示屏；
所述的道路监控摄像头、计算处理主机、显示屏依次连接；
所述道路监控摄像头用于采集货运车辆的初始图像，并传输至所述计算处理主机；
所述计算处理主机，用于对货运车辆的初始图像进行货运车辆状态识别，得到货运车辆的预测矩形边框以及货运车辆的预测矩形边框中对应的货运车辆状态；
所述显示屏用于显示货运车辆的预测矩形边框以及货运车辆的预测矩形边框中对应的货运车辆状态。
所述货运车辆状态实时识别方法，其特征在于，包括以下步骤：
步骤1：引入货运车辆的图像数据集，人工标注货运车辆的图像数据集中货车外接矩形边框，并进一步人工标记货车状态，构建深度学习模型训练集；
步骤2：引入YOLOv3深度学习网络，构建深度学习网络损失函数模型，将深度学习模型图像训练集输入到YOLOv3深度学习网络进行优化训练，得到训练后YOLOv3深度学习网络；
步骤3：通过道路监控摄像头实时采集初始图像并传输至计算处理主机；
步骤4：将初始图像通过混合高斯模型提取背景图像，将初始图像进行灰度化得到灰度图像，将灰度图像与背景图像作差得到前景图像；
步骤5：对前景图像作数字图像处理，提取前景图像中运动目标区域像素点的外接矩形，根据前景图像中运动目标区域像素点的外接矩形，将前景图像中运动目标区域像素点的外接矩形外的像素信息置零以构建识别图像；
步骤6：将识别图像通过训练后YOLOv3深度学习网络进行预测，得到识别图像中货运车辆的预测矩形边框以及货运车辆的预测矩形边框中对应的货运车辆状态，将识别图像中货运车辆的预测矩形边框以及货运车辆的预测矩形边框中对应的货运车辆状态通过显示屏输出显示。
作为优选，步骤1所述货运车辆的图像训练集为：
{datak(x，y)，k∈[1，K]，x∈[1，X]，y∈[1，Y]}
其中，datak(x，y)表示货运车辆的图像训练集中第k幅货运车辆图像第x行第y列像素信息，K表示货运车辆的图像训练集中图像的数量，X为货运车辆的图像训练集中货运车辆图像的行数，Y为货运车辆的图像训练集中货运车辆图像的列数；
步骤1所述货运车辆图像训练集中货车外接矩形边框坐标为：
Figure BDA0002744244000000031
Figure BDA0002744244000000032
其中，
Figure BDA0002744244000000033
表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框左上角坐标，
Figure BDA0002744244000000034
表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框的左上角横坐标，
Figure BDA0002744244000000035
表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框的左上角纵坐标；
Figure BDA0002744244000000036
表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框右下角坐标，
Figure BDA0002744244000000037
表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框的右下角横坐标，
Figure BDA0002744244000000038
表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框的右下角纵坐标；Nk表示货运车辆图像训练集中第k幅货运车辆图像中货运车辆目标的数量即货车外接矩形边框的数量；
步骤1所述货运车辆图像训练集中货车状态为：
types，s∈[1，4]
其中，type1表示货车空箱，type2表示货车封箱，type3表示货车载货，type4表示货车不完整；
步骤1所述深度学习模型图像训练集为：
Figure BDA0002744244000000039
其中，datak(x，y)表示货运车辆的图像训练集中第k幅货运车辆图像第x行第y列像素信息，typek，n，s表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中货车第s个状态类型；
Figure BDA0002744244000000041
表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中矩形边框左上横坐标，
Figure BDA0002744244000000042
表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中矩形边框左上角纵坐标，
Figure BDA0002744244000000043
表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中矩形边框右下角横坐标，
Figure BDA0002744244000000044
表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中矩形边框右下角纵坐标，typek，n，s表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中货车第s个状态类型；
作为优选，步骤2所述YOLOv3深度学习网络结构为：
YOLOv3由DarkNet-53主干网络、目标特征提取网络构成；
YOLOv3算法网络包含多个卷积层，每个卷积层待寻优参数为
Figure BDA0002744244000000045
即第e层卷积层的寻优参数为
Figure BDA0002744244000000046
L为卷积层的数量；
目标特征提取网络的输出预测量包括预测识别框X轴偏移量、Y轴偏移量、高度、宽度、置信度5个目标数据信息和目标类别信息，由预测识别框X轴偏移量、Y轴偏移量、高度、宽度信息可得到第k幅图像第i个网格预测的第n个货车目标边框右下角横坐标
Figure BDA0002744244000000047
图像训练集第k幅图像第i个网格预测的第n个货车目标边框左上角横坐标
Figure BDA0002744244000000048
图像训练集第k幅图像第i个网格预测的第n个货车目标边框左上角纵坐标
Figure BDA0002744244000000049
图像训练集第k幅图像第i个网格预测的第n个货车目标边框右下角纵坐标
Figure BDA00027442440000000410
目标类别信息为图像训练集第k幅图像第i个网格预测的第n个货车目标边框货车状态类别
Figure BDA00027442440000000411
置信度信息为图像训练集第k幅图像第i个网格预测的第n个货车目标边框货车状态类别置信度可
Figure BDA00027442440000000412
步骤2所述深构建深度学习网络损失函数模型为：
所述深度学习网络损失函数包括：目标边界框损失、类别损失、置信度损失；
所述目标边界框损失的定义为：
Figure BDA0002744244000000051
其中，G为图像划分的网格数，B为每个网格中预测的边界框数，i表示单元格个数，j表示锚框个数；
Figure BDA0002744244000000052
表示第i个单元格第j个锚框是否负责预测物体，取值为1或0；
Figure BDA0002744244000000053
表示图像训练集第k幅图像第i个网格预测的第n个货车目标边框右下角横坐标，
Figure BDA0002744244000000054
表示图像训练集第k幅图像第i个网格预测的第n个货车目标边框左上角横坐标，
Figure BDA0002744244000000055
表示图像训练集第k幅图像第i个网格预测的第n个货车目标边框左上角纵坐标，
Figure BDA0002744244000000056
表示图像训练集第k幅图像第i个网格预测的第n个货车目标边框右下角纵坐标；
Figure BDA0002744244000000057
表示图像训练集第k幅图像第i个网格真实的第n个货车目标边框左上角横坐标，
Figure BDA0002744244000000058
表示图像训练集第k幅图像第i个网格真实的第n个货车目标边框左上角纵坐标，
Figure BDA0002744244000000059
表示图像训练集第k幅图像第i个网格真实的第n个货车目标边框右下角纵坐标，
Figure BDA00027442440000000510
表示图像训练集第k幅图像第i个网格真实的第n个货车目标边框右下角纵坐标。
其中，
Figure BDA00027442440000000511
为针对目标边界框回归损失的比例系数，用来提升对小物体的识别准确率，可根据边框宽高调整；
所述类别损失的定义为：
Figure BDA0002744244000000061
其中，typek，n，s，i表示图像训练集第k幅图像第i个网格真实的第n个货车目标边框货车状态类别，
Figure BDA0002744244000000062
表示图像训练集第k幅图像第i个网格预测的第n个货车目标边框货车状态类别；
Figure BDA0002744244000000063
表示i个网格的第j个锚框是否不存在目标，λnoobj表示没有物体时置信度惩罚权重系数。
所述置信度损失的定义为：
Figure BDA0002744244000000064
其中，
Figure BDA0002744244000000065
表示图像训练集第k幅图像第i个网格预测的第n个货车目标边框货车状态类别置信度，pi(typek，n，s，i)表示图像训练集第k幅图像第i个网格真实的第n个货车目标边框货车状态类别置信度。
所述深度学习网络损失函数为：
loss(object)＝loss(box)+loss(confidence)+loss(type)
步骤2所述将深度学习模型图像训练集输入到YOLOv3深度学习网络进行优化训练为：
将步骤1中所述深度学习模型图像训练集作为输入数据，采用Adam优化算法即随机梯度下降算法对所述深度学习网络损失函数进行寻优，得到优化后第e层卷积层优化参数为
Figure BDA0002744244000000066
L为卷积层的数量；
步骤2所述训练后YOLOv3深度学习网络为：
通过优化后第e层卷积层优化参数集
Figure BDA0002744244000000067
构建YOLOv3深度学习网络，得到训练后YOLOv3深度学习网络；
作为优选，步骤3所述初始图像为：
datat(x，y)，x∈[1，X]，y∈[1，Y]
其中，X表示初始图像的行数，Y表示初始图像的列数，datat(x，y)表示初始图像第x行第y列像素信息；
作为优选，步骤4所述背景图像为：
dataBG(x，y)，x∈[1，X]，y∈[1，Y]
其中，X表示背景图像的行数，Y表示背景图像的列数，dataBG(x，y)表示背景图像第x行第y列像素点信息；
步骤4所述灰度图像为：
datat，g(x，y)，x∈[1，X]，y∈[1，Y]
其中，datat，g(x，y)表示灰度图像第x行第y列像素点信息；
步骤4所述将灰度图像与背景图像作差得到前景图像为：
datat，f(x，y)＝datat(x，y)-dataBG(x，y)，x∈[1，X]，y∈[1，Y]
其中，X表示背景图像的行数，Y表示背景图像的列数，datat，f(x，y)表示前景图像第x行第y列像素点信息；
作为优选，步骤5所述对前景图像作数字图像处理为：
使用高斯滤波过滤掉前景图像上的噪声，得到高斯滤波前景图像；
将高斯滤波前景图像通过形态学处理方法，集通过图像开运算和闭运算操作进一步去除高斯滤波前景图像中噪声并填充空洞区域，增强运动目标区域，得到形态学前景图像；
对形态学前景图像进行像素阈值分割划分运动目标区域和背景区域，得到阈值分割前景图像；
检测阈值分割前景图像中每个运动目标区域的轮廓外接矩形，并提取阈值分割前景图像中运动目标区域轮廓外接矩形的边框信息，构建前景图像中运动目标区域像素点的外接矩形区域信息；
步骤5所述前景图像中运动目标区域像素点的外接矩形为：
Figure BDA0002744244000000071
其中，
Figure BDA0002744244000000072
表示阈值分割前景图像第m个运动目标区域边框坐标信息，
Figure BDA0002744244000000073
表示阈值分割前景图像第m个运动目标区域边框左上角横坐标，
Figure BDA0002744244000000074
表示阈值分割前景图像第m个运动目标区域边框左上角纵坐标，
Figure BDA0002744244000000075
表示阈值分割前景图像第m个运动目标区域边框右下角横坐标，
Figure BDA0002744244000000081
表示阈值分割前景图像第m个运动目标区域边框右下角纵坐标，Mt表示阈值分割前景图像运动目标区域的数量即外接矩形边框的数量；
步骤5所述构建识别图像；
Figure BDA0002744244000000082
所述识别图像为：
datat，v(x，y)，x∈[1，X]，y∈[1，Y]
其中，X表示识别图像的行数，Y表示识别图像的列数，datat，v(x，y)表示表示识别图像第x行第y列像素点信息；
作为优选，步骤6所述货运车辆的预测矩形边框为：
Figure BDA0002744244000000083
其中，
Figure BDA0002744244000000084
表示识别图像识别到的第q个货运车辆边框坐标信息和货车状态类别信息，
Figure BDA0002744244000000085
表示识别图像识别到的第q个货运车辆边框左上角横坐标，
Figure BDA0002744244000000086
表示识别图像识别到的第q个货运车辆边框左上角纵坐标，
Figure BDA0002744244000000087
表示识别图像识别到的第q个货运车辆边框右下角横坐标，
Figure BDA0002744244000000088
表示识别图像识别到的第q个货运车辆边框右下角纵坐标，Qt表示识别图像识别到的货运车辆的数量即外接矩形边框的数量。
本发明的有益之处在于通过深度学习方法实现了对货运车辆不同货载状态的识别，并通过图像处理方法提高了深度学习方法对货车目标识别的准确性。本发明提高工作人员的检测效率，提高道路货运的安全性。
附图说明
图1：本发明装置图。
图2：本发明场景示意图。
图3：本发明方法流程图。
图4：本发明方法网络结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种基于图像深度学习系统的货运车辆状态实时识别方法。
所述的图像深度学习系统，其特征在于，包括：道路监控摄像头、计算处理主机、显示屏；
所述的道路监控摄像头、计算处理主机、显示屏依次连接；
所述道路监控摄像头用于采集货运车辆的初始图像，并传输至所述计算处理主机；
所述计算处理主机，用于对货运车辆的初始图像进行货运车辆状态识别，得到货运车辆的预测矩形边框以及货运车辆的预测矩形边框中对应的货运车辆状态；
所述显示屏用于显示货运车辆的预测矩形边框以及货运车辆的预测矩形边框中对应的货运车辆状态。
所述道路监控摄像头选型为：海康威视DS-2CD1221D-I3型号摄像头；
所述计算处理主机的配置为：i7 9700k型号CPU；RTX2080型号GPU；华硕PRIMEZ390-A型号主板；DDR4 3000HZ 16G内存条两条；GW-EPS1250DA型号电源；
所述显示屏选型为：AOC22B2H型号显示屏。
如图2所示，为装置应用场景图，所述道路监控摄像头布置于道路路侧，摄像头实时对道路实况进行图像采集。
如图3所示，为基于图像深度学习系统的货运车辆状态实时识别方法流程图，具体包括以下步骤：
步骤1：引入货运车辆的图像数据集，人工标注货运车辆的图像数据集中货车外接矩形边框，并进一步人工标记货车状态，构建深度学习模型训练集；
步骤1所述货运车辆的图像训练集为：
{datak(x，y)，k∈[1，K]，x∈[1，X]，y∈[1，Y]}
其中，datak(x，y)表示货运车辆的图像训练集中第k幅货运车辆图像第x行第y列像素信息，K表示货运车辆的图像训练集中图像的数量，K＝6025幅，X为货运车辆的图像训练集中货运车辆图像的行数，X＝416行，Y为货运车辆的图像训练集中货运车辆图像的列数，Y＝416列；
步骤1所述货运车辆图像训练集中货车外接矩形边框坐标为：
Figure BDA0002744244000000101
Figure BDA0002744244000000102
其中，
Figure BDA0002744244000000103
表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框左上角坐标，
Figure BDA0002744244000000104
表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框的左上角横坐标，
Figure BDA0002744244000000105
表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框的左上角纵坐标；
Figure BDA0002744244000000106
表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框右下角坐标，
Figure BDA0002744244000000107
表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框的右下角横坐标，
Figure BDA0002744244000000108
表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框的右下角纵坐标；Nk表示货运车辆图像训练集中第k幅货运车辆图像中货运车辆目标的数量即货车外接矩形边框的数量；
步骤1所述货运车辆图像训练集中货车状态为：
types,s∈[1,4]
其中，type1表示货车空箱，type2表示货车封箱，type3表示货车载货，type4表示货车不完整；
步骤1所述深度学习模型图像训练集为：
Figure BDA0002744244000000109
其中，datak(x，y)表示货运车辆的图像训练集中第k幅货运车辆图像第x行第y列像素信息，typek，n，s表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中货车第s个状态类型；
Figure BDA00027442440000001010
表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中矩形边框左上横坐标，
Figure BDA0002744244000000111
表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中矩形边框左上角纵坐标，
Figure BDA0002744244000000112
表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中矩形边框右下角横坐标，
Figure BDA0002744244000000113
表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中矩形边框右下角纵坐标，typek，n，s表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中货车第s个状态类型；
步骤2：引入YOLOv3深度学习网络，构建深度学习网络损失函数模型，将深度学习模型图像训练集输入到YOLOv3深度学习网络进行优化训练，得到训练后YOLOv3深度学习网络；
如图4所示，步骤2所述YOLOv3深度学习网络结构为：
YOLOv3由DarkNet-53主干网络、目标特征提取网络构成；
YOLOv3算法网络包含多个卷积层，每个卷积层待寻优参数为
Figure BDA0002744244000000114
即第e层卷积层的寻优参数为
Figure BDA0002744244000000115
L为卷积层的数量，L＝107层；
目标特征提取网络的输出预测量包括预测识别框X轴偏移量、Y轴偏移量、高度、宽度、置信度5个目标数据信息和目标类别信息，由预测识别框X轴偏移量、Y轴偏移量、高度、宽度信息可得到第k幅图像第i个网格预测的第n个货车目标边框右下角横坐标
Figure BDA0002744244000000116
图像训练集第k幅图像第i个网格预测的第n个货车目标边框左上角横坐标
Figure BDA0002744244000000117
图像训练集第k幅图像第i个网格预测的第n个货车目标边框左上角纵坐标
Figure BDA0002744244000000118
图像训练集第k幅图像第i个网格预测的第n个货车目标边框右下角纵坐标
Figure BDA0002744244000000119
目标类别信息为图像训练集第k幅图像第i个网格预测的第n个货车目标边框货车状态类别
Figure BDA00027442440000001110
置信度信息为图像训练集第k幅图像第i个网格预测的第n个货车目标边框货车状态类别置信度可
Figure BDA00027442440000001111
因此目标提取网络输出通道为3×(5+4)＝27，其中表示3表示不同尺度数量，为常量；5表示识别框X轴偏移量、Y轴偏移量、高度、宽度以及置信度5个信息；4表示识别类别的数量；
步骤2所述深构建深度学习网络损失函数模型为：
所述深度学习网络损失函数包括：目标边界框损失、类别损失、置信度损失；
所述目标边界框损失的定义为：
Figure BDA0002744244000000121
其中，G为图像划分的网格数，B为每个网格中预测的边界框数，i表示单元格个数，j表示锚框个数；
Figure BDA0002744244000000122
表示第i个单元格第j个锚框是否负责预测物体，取值为1或0；
Figure BDA0002744244000000123
表示图像训练集第k幅图像第i个网格预测的第n个货车目标边框右下角横坐标，
Figure BDA0002744244000000124
表示图像训练集第k幅图像第i个网格预测的第n个货车目标边框左上角横坐标，
Figure BDA0002744244000000125
表示图像训练集第k幅图像第i个网格预测的第n个货车目标边框左上角纵坐标，
Figure BDA0002744244000000126
表示图像训练集第k幅图像第i个网格预测的第n个货车目标边框右下角纵坐标；
Figure BDA0002744244000000127
表示图像训练集第k幅图像第i个网格真实的第n个货车目标边框左上角横坐标，
Figure BDA0002744244000000128
表示图像训练集第k幅图像第i个网格真实的第n个货车目标边框左上角纵坐标，
Figure BDA0002744244000000129
表示图像训练集第k幅图像第i个网格真实的第n个货车目标边框右下角纵坐标，
Figure BDA00027442440000001210
表示图像训练集第k幅图像第i个网格真实的第n个货车目标边框右下角纵坐标。
其中，
Figure BDA00027442440000001211
为针对目标边界框回归损失的比例系数，用来提升对小物体的识别准确率，可根据边框宽高调整；
所述类别损失的定义为：
Figure BDA0002744244000000131
其中，typek，n，s，i表示图像训练集第k幅图像第i个网格真实的第n个货车目标边框货车状态类别，
Figure BDA0002744244000000132
表示图像训练集第k幅图像第i个网格预测的第n个货车目标边框货车状态类别；
Figure BDA0002744244000000133
表示i个网格的第j个锚框是否不存在目标，λnoobj表示没有物体时置信度惩罚权重系数。
所述置信度损失的定义为：
Figure BDA0002744244000000134
其中，
Figure BDA0002744244000000135
表示图像训练集第k幅图像第i个网格预测的第n个货车目标边框货车状态类别置信度，pi(typek，n，s，i)表示图像训练集第k幅图像第i个网格真实的第n个货车目标边框货车状态类别置信度。
所述深度学习网络损失函数为：
loss(object)＝loss(box)+loss(confidence)+loss(type)
步骤2所述将深度学习模型图像训练集输入到YOLOv3深度学习网络进行优化训练为：
将步骤1中所述深度学习模型图像训练集作为输入数据，采用Adam优化算法即随机梯度下降算法对所述深度学习网络损失函数进行寻优，得到优化后第e层卷积层优化参数为
Figure BDA0002744244000000136
步骤2所述训练后YOLOv3深度学习网络为：
通过优化后第e层卷积层优化参数集
Figure BDA0002744244000000137
构建YOLOv3深度学习网络，得到训练后YOLOv3深度学习网络；
步骤2所述训练后YOLOv3深度学习网络识别图像测试效果如表1所示：
表1：YOLOv3算法识别结果分析表
Figure BDA0002744244000000141
其中，精确度表示所有预测为正的样本中，实际为正的样本所占得比例，召回率表示实际为正的样本中预测为正的样本所占比例，AP表示每一类类别平均精确度，mAP表示所有类别平均AP值；
步骤3：通过道路监控摄像头实时采集初始图像并传输至计算处理主机；
步骤3所述初始图像为：
datat（x，y)，x∈[1，X]，y∈[1，Y]
其中，X表示初始图像的行数，X＝416行，Y表示初始图像的列数，Y＝416列，datat(x，y)表示初始图像第x行第y列像素信息；
步骤4：将初始图像通过混合高斯模型提取背景图像，将初始图像进行灰度化得到灰度图像，将灰度图像与背景图像作差得到前景图像；
步骤4所述背景图像为：
dataBG(x，y)，x∈[1，X]，y∈[1，Y]
其中，X表示背景图像的行数，X＝416行，Y表示背景图像的列数，Y＝416列，dataBG(x，y)表示背景图像第x行第y列像素点信息；
步骤4所述灰度图像为：
datat，g(x，y)，x∈[1，X]，y∈[1，Y]
其中，datat，g(x，y)表示灰度图像第x行第y列像素点信息；
步骤4所述将灰度图像与背景图像作差得到前景图像为：
datat，f(x，y)＝datat(x，y)-dataBG(x，y)，x∈[1，X]，y∈[1，Y]
其中，X表示背景图像的行数，X＝416行，Y表示背景图像的列数，Y＝416列，datat，f(x，y)表示前景图像第x行第y列像素点信息；
步骤5：对前景图像作数字图像处理，提取前景图像中运动目标区域像素点的外接矩形，根据前景图像中运动目标区域像素点的外接矩形，将前景图像中运动目标区域像素点的外接矩形外的像素信息置零以构建识别图像；
步骤5所述对前景图像作数字图像处理为：
使用高斯滤波过滤掉前景图像上的噪声，得到高斯滤波前景图像；
将高斯滤波前景图像通过形态学处理方法，集通过图像开运算和闭运算操作进一步去除高斯滤波前景图像中噪声并填充空洞区域，增强运动目标区域，得到形态学前景图像；
对形态学前景图像进行像素阈值分割划分运动目标区域和背景区域，得到阈值分割前景图像；
检测阈值分割前景图像中每个运动目标区域的轮廓外接矩形，并提取阈值分割前景图像中运动目标区域轮廓外接矩形的边框信息，构建前景图像中运动目标区域像素点的外接矩形区域信息；
步骤5所述前景图像中运动目标区域像素点的外接矩形为：
Figure BDA0002744244000000151
其中，
Figure BDA0002744244000000152
表示阈值分割前景图像第m个运动目标区域边框坐标信息，
Figure BDA0002744244000000153
表示阈值分割前景图像第m个运动目标区域边框左上角横坐标，
Figure BDA0002744244000000154
表示阈值分割前景图像第m个运动目标区域边框左上角纵坐标，
Figure BDA0002744244000000155
表示阈值分割前景图像第m个运动目标区域边框右下角横坐标，
Figure BDA0002744244000000156
表示阈值分割前景图像第m个运动目标区域边框右下角纵坐标，Mt表示阈值分割前景图像运动目标区域的数量即外接矩形边框的数量；
步骤5所述构建识别图像；
Figure BDA0002744244000000157
所述识别图像为：
datat，v(x，y)，x∈[1，X]，y∈[1，Y]
其中，X表示识别图像的行数，X＝416行，Y表示识别图像的列数，Y＝416列，datat，v(x，y)表示表示识别图像第x行第y列像素点信息；
步骤6：将识别图像通过训练后YOLOv3深度学习网络进行预测，得到识别图像中货运车辆的预测矩形边框以及货运车辆的预测矩形边框中对应的货运车辆状态，将识别图像中货运车辆的预测矩形边框以及货运车辆的预测矩形边框中对应的货运车辆状态输出显示；
步骤6所述货运车辆的预测矩形边框为：
Figure BDA0002744244000000161
其中，
Figure BDA0002744244000000162
表示识别图像识别到的第q个货运车辆边框坐标信息和货车状态类别信息，
Figure BDA0002744244000000163
表示识别图像识别到的第q个货运车辆边框左上角横坐标，
Figure BDA0002744244000000164
表示识别图像识别到的第q个货运车辆边框左上角纵坐标，
Figure BDA0002744244000000165
表示识别图像识别到的第q个货运车辆边框右下角横坐标，
Figure BDA0002744244000000166
表示识别图像识别到的第q个货运车辆边框右下角纵坐标，Qt表示识别图像识别到的货运车辆的数量即外接矩形边框的数量。
步骤6所述将识别图像通过训练后YOLOv3深度学习网络进行预测的效果与初始图像通过训练后YOLOv3深度学习网络进行预测的效果对比如表2所示：
表2：效果对比统计表
Figure BDA0002744244000000171
其中，测试的视频道路监控直播视频，共录制了41段视频，平均时长在1分钟以内，货车目标数量表示识别到的货车目标数量，小目标数量表示图像上半部分识别的货车目标数量，不稳定框数量表示定位不准的识别框数量。经计算，处理后的识别数量平均增长15.60％，对小目标识别数量平均提高8.28％，不稳定识别框消除率为99.25％。
通过对深度学习模型权重的评价效果，可知本发明对货车不同货载状态的识别有一定效果；通过对比数字图像处理前后的识别结果对比，可知数字图像处理对深度学习识别算法有改进作用。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于图像深度学习系统的货运车辆状态实时识别方法，其特征在于：
所述的图像深度学习系统包括：道路监控摄像头、计算处理主机、显示屏；
所述的道路监控摄像头、计算处理主机、显示屏依次连接；
所述道路监控摄像头用于采集货运车辆的初始图像，并传输至所述计算处理主机；
所述计算处理主机，用于对货运车辆的初始图像进行货运车辆状态识别，得到货运车辆的预测矩形边框以及货运车辆的预测矩形边框中对应的货运车辆状态；
所述显示屏用于显示货运车辆的预测矩形边框以及货运车辆的预测矩形边框中对应的货运车辆状态；
所述货运车辆状态实时识别方法包括以下步骤：
步骤1：引入货运车辆的图像数据集，人工标注货运车辆的图像数据集中货车外接矩形边框，并进一步人工标记货车状态，构建深度学习模型训练集；
步骤2：引入YOLOv3深度学习网络，构建深度学习网络损失函数模型，将深度学习模型图像训练集输入到YOLOv3深度学习网络进行优化训练，得到训练后YOLOv3深度学习网络；
步骤3：通过道路监控摄像头实时采集初始图像并传输至计算处理主机；
步骤4：将初始图像通过混合高斯模型提取背景图像，将初始图像进行灰度化得到灰度图像，将灰度图像与背景图像作差得到前景图像；
步骤5：对前景图像作数字图像处理，提取前景图像中运动目标区域像素点的外接矩形，根据前景图像中运动目标区域像素点的外接矩形，将前景图像中运动目标区域像素点的外接矩形外的像素信息置零以构建识别图像；
步骤6：将识别图像通过训练后YOLOv3深度学习网络进行预测，得到识别图像中货运车辆的预测矩形边框以及货运车辆的预测矩形边框中对应的货运车辆状态，将识别图像中货运车辆的预测矩形边框以及货运车辆的预测矩形边框中对应的货运车辆状态通过显示屏输出显示。
2.根据权利要求1所述的基于图像深度学习系统的货运车辆状态实时识别方法，其特征在于，包括以下步骤：
步骤1所述货运车辆的图像训练集为：
{datak(x，y)，k∈[1，K]，x∈[1，X]，y∈[1，Y]}
其中，datak(x，y)表示货运车辆的图像训练集中第k幅货运车辆图像第x行第y列像素信息，K表示货运车辆的图像训练集中图像的数量，X为货运车辆的图像训练集中货运车辆图像的行数，Y为货运车辆的图像训练集中货运车辆图像的列数；
步骤1所述货运车辆图像训练集中货车外接矩形边框坐标为：
Figure FDA0002744243990000021
Figure FDA0002744243990000022
其中，
Figure FDA0002744243990000023
表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框左上角坐标，
Figure FDA0002744243990000024
表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框的左上角横坐标，
Figure FDA0002744243990000025
表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框的左上角纵坐标；
Figure FDA0002744243990000026
表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框右下角坐标，
Figure FDA0002744243990000027
表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框的右下角横坐标，
Figure FDA0002744243990000028
表示货运车辆图像训练集中第k幅货运车辆图像中第n个货车外接矩形边框的右下角纵坐标；Nk表示货运车辆图像训练集中第k幅货运车辆图像中货运车辆目标的数量即货车外接矩形边框的数量；
步骤1所述货运车辆图像训练集中货车状态为：
types，s∈[1，4]
其中，type1表示货车空箱，type2表示货车封箱，type3表示货车载货，type4表示货车不完整；
步骤1所述深度学习模型图像训练集为：
Figure FDA0002744243990000029
其中，datak(x，y)表示货运车辆的图像训练集中第k幅货运车辆图像第x行第y列像素信息，typek，n，s表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中货车第s个状态类型；
Figure FDA0002744243990000031
表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中矩形边框左上横坐标，
Figure FDA0002744243990000032
表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中矩形边框左上角纵坐标，
Figure FDA0002744243990000033
表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中矩形边框右下角横坐标，
Figure FDA0002744243990000034
表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中矩形边框右下角纵坐标，typek，n，s表示货运车辆的图像训练集中第k幅货运车辆图像第n个货车外接矩形边框中货车第s个状态类型。
3.根据权利要求1所述的基于图像深度学习系统的货运车辆状态实时识别方法，其特征在于，包括以下步骤：
步骤2所述YOLOv3深度学习网络结构为：
YOLOv3由DarkNet-53主干网络、目标特征提取网络构成；
YOLOv3算法网络包含多个卷积层，每个卷积层待寻优参数为
Figure FDA0002744243990000035
即第e层卷积层的寻优参数为
Figure FDA0002744243990000036
L为卷积层的数量；
目标特征提取网络的输出预测量包括预测识别框X轴偏移量、Y轴偏移量、高度、宽度、置信度5个目标数据信息和目标类别信息，由预测识别框X轴偏移量、Y轴偏移量、高度、宽度信息可得到第k幅图像第i个网格预测的第n个货车目标边框右下角横坐标
Figure FDA0002744243990000037
图像训练集第k幅图像第i个网格预测的第n个货车目标边框左上角横坐标
Figure FDA0002744243990000038
图像训练集第k幅图像第i个网格预测的第n个货车目标边框左上角纵坐标
Figure FDA0002744243990000039
图像训练集第k幅图像第i个网格预测的第n个货车目标边框右下角纵坐标
Figure FDA00027442439900000310
目标类别信息为图像训练集第k幅图像第i个网格预测的第n个货车目标边框货车状态类别
Figure FDA00027442439900000311
置信度信息为图像训练集第k幅图像第i个网格预测的第n个货车目标边框货车状态类别置信度可
Figure FDA00027442439900000312
步骤2所述深构建深度学习网络损失函数模型为：
所述深度学习网络损失函数包括：目标边界框损失、类别损失、置信度损失；
所述目标边界框损失的定义为：
Figure FDA0002744243990000041
其中，G为图像划分的网格数，B为每个网格中预测的边界框数，i表示单元格个数，j表示锚框个数；
Figure FDA0002744243990000042
表示第i个单元格第j个锚框是否负责预测物体，取值为1或0；
Figure FDA0002744243990000043
表示图像训练集第k幅图像第i个网格预测的第n个货车目标边框右下角横坐标，
Figure FDA0002744243990000044
表示图像训练集第k幅图像第i个网格预测的第n个货车目标边框左上角横坐标，
Figure FDA0002744243990000045
表示图像训练集第k幅图像第i个网格预测的第n个货车目标边框左上角纵坐标，
Figure FDA0002744243990000046
表示图像训练集第k幅图像第i个网格预测的第n个货车目标边框右下角纵坐标；
Figure FDA0002744243990000047
表示图像训练集第k幅图像第i个网格真实的第n个货车目标边框左上角横坐标，
Figure FDA0002744243990000048
表示图像训练集第k幅图像第i个网格真实的第n个货车目标边框左上角纵坐标，
Figure FDA0002744243990000049
表示图像训练集第k幅图像第i个网格真实的第n个货车目标边框右下角纵坐标，
Figure FDA00027442439900000410
表示图像训练集第k幅图像第i个网格真实的第n个货车目标边框右下角纵坐标；
其中，
Figure FDA00027442439900000411
为针对目标边界框回归损失的比例系数，用来提升对小物体的识别准确率，可根据边框宽高调整；
所述类别损失的定义为：
Figure FDA0002744243990000051
其中，typek，n，s，i表示图像训练集第k幅图像第i个网格真实的第n个货车目标边框货车状态类别，
Figure FDA0002744243990000052
表示图像训练集第k幅图像第i个网格预测的第n个货车目标边框货车状态类别；
Figure FDA0002744243990000053
表示i个网格的第j个锚框是否不存在目标，λnoobj表示没有物体时置信度惩罚权重系数；
所述置信度损失的定义为：
Figure FDA0002744243990000054
其中，
Figure FDA0002744243990000055
表示图像训练集第k幅图像第i个网格预测的第n个货车目标边框货车状态类别置信度，pi(typek，n，s，i)表示图像训练集第k幅图像第i个网格真实的第n个货车目标边框货车状态类别置信度；
所述深度学习网络损失函数为：
loss(object)＝loss(box)+loss(confidence)+loss(type)
步骤2所述将深度学习模型图像训练集输入到YOLOv3深度学习网络进行优化训练为：
将步骤1中所述深度学习模型图像训练集作为输入数据，采用Adam优化算法即随机梯度下降算法对所述深度学习网络损失函数进行寻优，得到优化后第e层卷积层优化参数为
Figure FDA0002744243990000056
L为卷积层的数量；
步骤2所述训练后YOLOv3深度学习网络为：
通过优化后第e层卷积层优化参数集
Figure FDA0002744243990000057
构建YOLOv3深度学习网络，得到训练后YOLOv3深度学习网络。
4.根据权利要求1所述的基于图像深度学习系统的货运车辆状态实时识别方法，其特征在于，包括以下步骤：
步骤3所述初始图像为：
datat(x，y)，x∈[1，X]，y∈[1，Y]
其中，X表示初始图像的行数，Y表示初始图像的列数，datat(x，y)表示初始图像第x行第y列像素信息。
5.根据权利要求1所述的基于图像深度学习系统的货运车辆状态实时识别方法，其特征在于，包括以下步骤：
步骤4所述背景图像为：
dataBG(x，y)，x∈[1，X]，y∈[1，Y]
其中，X表示背景图像的行数，Y表示背景图像的列数，dataBG(x，y)表示背景图像第x行第y列像素点信息；
步骤4所述灰度图像为：
datat，g(x，y)，x∈[1，X]，y∈[1，Y]
其中，datat，g(x，y)表示灰度图像第x行第y列像素点信息；
步骤4所述将灰度图像与背景图像作差得到前景图像为：
datat，f(x，y)＝datat(x，y)-dataBG(x，y)，x∈[1，X]，y∈[1，Y]
其中，X表示背景图像的行数，Y表示背景图像的列数，datat，f(x，y)表示前景图像第x行第y列像素点信息。
6.根据权利要求1所述的基于图像深度学习系统的货运车辆状态实时识别方法，其特征在于，包括以下步骤：
步骤5所述对前景图像作数字图像处理为：
使用高斯滤波过滤掉前景图像上的噪声，得到高斯滤波前景图像；
将高斯滤波前景图像通过形态学处理方法，集通过图像开运算和闭运算操作进一步去除高斯滤波前景图像中噪声并填充空洞区域，增强运动目标区域，得到形态学前景图像；
对形态学前景图像进行像素阈值分割划分运动目标区域和背景区域，得到阈值分割前景图像；
检测阈值分割前景图像中每个运动目标区域的轮廓外接矩形，并提取阈值分割前景图像中运动目标区域轮廓外接矩形的边框信息，构建前景图像中运动目标区域像素点的外接矩形区域信息；
步骤5所述前景图像中运动目标区域像素点的外接矩形为：
Figure FDA0002744243990000071
其中，
Figure FDA0002744243990000072
表示阈值分割前景图像第m个运动目标区域边框坐标信息，
Figure FDA0002744243990000073
表示阈值分割前景图像第m个运动目标区域边框左上角横坐标，
Figure FDA0002744243990000074
表示阈值分割前景图像第m个运动目标区域边框左上角纵坐标，
Figure FDA0002744243990000075
表示阈值分割前景图像第m个运动目标区域边框右下角横坐标，
Figure FDA0002744243990000076
表示阈值分割前景图像第m个运动目标区域边框右下角纵坐标，Mt表示阈值分割前景图像运动目标区域的数量即外接矩形边框的数量；
步骤5所述构建识别图像；
Figure FDA0002744243990000077
所述识别图像为：
datat，v(x，y)，x∈[1，X]，y∈[1，Y]
其中，X表示识别图像的行数，Y表示识别图像的列数，datat，v(x，y)表示表示识别图像第x行第y列像素点信息。
7.根据权利要求1所述的基于图像深度学习系统的货运车辆状态实时识别方法，其特征在于，包括以下步骤：
步骤6所述货运车辆的预测矩形边框为：
Figure FDA0002744243990000078
其中，
Figure FDA0002744243990000079
表示识别图像识别到的第q个货运车辆边框坐标信息和货车状态类别信息，
Figure FDA00027442439900000710
表示识别图像识别到的第q个货运车辆边框左上角横坐标，
Figure FDA00027442439900000711
表示识别图像识别到的第q个货运车辆边框左上角纵坐标，
Figure FDA00027442439900000712
表示识别图像识别到的第q个货运车辆边框右下角横坐标，
Figure FDA00027442439900000713
表示识别图像识别到的第q个货运车辆边框右下角纵坐标，Qt表示识别图像识别到的货运车辆的数量即外接矩形边框的数量。
CN202011161085.3A 2020-10-27 2020-10-27 一种基于图像深度学习系统的货运车辆状态实时识别方法 Active CN112329569B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011161085.3A CN112329569B (zh) 2020-10-27 2020-10-27 一种基于图像深度学习系统的货运车辆状态实时识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011161085.3A CN112329569B (zh) 2020-10-27 2020-10-27 一种基于图像深度学习系统的货运车辆状态实时识别方法

Publications (2)

Publication Number Publication Date
CN112329569A true CN112329569A (zh) 2021-02-05
CN112329569B CN112329569B (zh) 2024-02-09

Family

ID=74310514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011161085.3A Active CN112329569B (zh) 2020-10-27 2020-10-27 一种基于图像深度学习系统的货运车辆状态实时识别方法

Country Status (1)

Country Link
CN (1) CN112329569B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884816A (zh) * 2021-03-23 2021-06-01 武汉理工大学 一种基于图像系统的车辆特征深度学习识别轨迹跟踪方法
CN114022791A (zh) * 2021-10-15 2022-02-08 武汉理工大学 一种基于高空视角识别系统的车辆轨迹运动特征识别方法
CN114399458A (zh) * 2021-11-30 2022-04-26 中国电子科技集团公司第十五研究所 一种基于深度学习目标检测的翻越栅栏检测方法和系统
CN114964445A (zh) * 2022-05-23 2022-08-30 西安交通大学 基于车辆识别的多模块动态称重方法
CN116958914A (zh) * 2023-09-21 2023-10-27 广州一链通互联网科技有限公司 货运车辆的监控方法、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709528A (zh) * 2017-01-10 2017-05-24 深圳大学 基于多目标函数深度学习的车辆重识别方法及装置
CN107679452A (zh) * 2017-08-28 2018-02-09 中国电子科技集团公司第二十八研究所 大数据下基于卷积神经网络的货运列车车号实时识别系统
AU2018102037A4 (en) * 2018-12-09 2019-01-17 Ge, Jiahao Mr A method of recognition of vehicle type based on deep learning
CN109919072A (zh) * 2019-02-28 2019-06-21 桂林电子科技大学 基于深度学习和轨迹跟踪的精细车型识别与流量统计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709528A (zh) * 2017-01-10 2017-05-24 深圳大学 基于多目标函数深度学习的车辆重识别方法及装置
CN107679452A (zh) * 2017-08-28 2018-02-09 中国电子科技集团公司第二十八研究所 大数据下基于卷积神经网络的货运列车车号实时识别系统
AU2018102037A4 (en) * 2018-12-09 2019-01-17 Ge, Jiahao Mr A method of recognition of vehicle type based on deep learning
CN109919072A (zh) * 2019-02-28 2019-06-21 桂林电子科技大学 基于深度学习和轨迹跟踪的精细车型识别与流量统计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高策;褚端峰;何书贤;贺宜;吴超仲: "基于卡尔曼-高斯联合滤波的车辆位置跟踪", 交通信息与安全 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884816A (zh) * 2021-03-23 2021-06-01 武汉理工大学 一种基于图像系统的车辆特征深度学习识别轨迹跟踪方法
CN112884816B (zh) * 2021-03-23 2023-12-15 武汉理工大学 一种基于图像系统的车辆特征深度学习识别轨迹跟踪方法
CN114022791A (zh) * 2021-10-15 2022-02-08 武汉理工大学 一种基于高空视角识别系统的车辆轨迹运动特征识别方法
CN114022791B (zh) * 2021-10-15 2024-05-28 武汉理工大学 一种基于高空视角识别系统的车辆轨迹运动特征识别方法
CN114399458A (zh) * 2021-11-30 2022-04-26 中国电子科技集团公司第十五研究所 一种基于深度学习目标检测的翻越栅栏检测方法和系统
CN114964445A (zh) * 2022-05-23 2022-08-30 西安交通大学 基于车辆识别的多模块动态称重方法
CN116958914A (zh) * 2023-09-21 2023-10-27 广州一链通互联网科技有限公司 货运车辆的监控方法、系统及存储介质

Also Published As

Publication number Publication date
CN112329569B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN112329569A (zh) 一种基于图像深度学习系统的货运车辆状态实时识别方法
CN106845424B (zh) 基于深度卷积网络的路面遗留物检测方法
CN111626170B (zh) 一种铁路边坡落石侵限检测的图像识别方法
CN102073846B (zh) 基于航拍图像的交通信息获取方法
US10572741B2 (en) Image-based vehicle classification system
CN111428625A (zh) 一种基于深度学习的交通场景目标检测方法及系统
CN111626169B (zh) 一种基于图像的铁路危险落石尺寸判断方法
CN101286239A (zh) 航拍交通视频车辆快速检测方法
CN112699967B (zh) 一种基于改进深度神经网络的远距离机场目标检测方法
CN112307989B (zh) 路面物体识别方法、装置、计算机设备和存储介质
CN109934170B (zh) 一种基于计算机视觉的矿山资源统计方法
CN111523415A (zh) 一种基于图像的两客一危车辆检测方法和装置
CN104463220A (zh) 一种车牌检测方法和系统
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN111091551A (zh) 一种铁路货车制动梁支柱开口销丢失故障检测方法
CN111667655A (zh) 基于红外图像的高速铁路安全区入侵警报装置及方法
CN113609895A (zh) 基于改进Yolov3的获取道路交通信息方法
CN115601682A (zh) 井下皮带运输机异物检测方法和装置
CN113065454B (zh) 一种高空抛物目标识别比较的方法及装置
CN114627286A (zh) 基于PSPNet和改进YOLOv4的地磅人员入侵的检测方法
CN113378690A (zh) 一种基于视频数据的路内不规范停车识别方法
CN113158954A (zh) 交通非现场的基于ai技术的斑马线区域自动检测方法
de Almeida et al. Vehicle Occurrence-based Parking Space Detection
CN115346206B (zh) 基于改进超分辨的深度卷积特征识别的车牌检测方法
CN116543308A (zh) 一种基于多模型融合的滑坡检测预警模型及预警方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant