CN115346073A - 一种脏污车辆判断方法、装置及应用 - Google Patents

一种脏污车辆判断方法、装置及应用 Download PDF

Info

Publication number
CN115346073A
CN115346073A CN202211052484.5A CN202211052484A CN115346073A CN 115346073 A CN115346073 A CN 115346073A CN 202211052484 A CN202211052484 A CN 202211052484A CN 115346073 A CN115346073 A CN 115346073A
Authority
CN
China
Prior art keywords
vehicle
image
detected
dirty
image set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211052484.5A
Other languages
English (en)
Inventor
刘仿
陈徐
曹达安
沈少杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCI China Co Ltd
Original Assignee
CCI China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCI China Co Ltd filed Critical CCI China Co Ltd
Priority to CN202211052484.5A priority Critical patent/CN115346073A/zh
Publication of CN115346073A publication Critical patent/CN115346073A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提出了一种脏污车辆判断方法、装置及应用，包括以下步骤：获取至少一待检测车辆图像，对待检测车辆图像进行框选标记得到第一图像集；将所述第一图像集送入复杂天气判断模型中，去除所述复杂天气干扰因素，得到第二图像集；对所述第二图像集送入脏污判断模型对脏污特征信息进行标记得到第三图像集；提取所述第三图像集中每一待检测车辆图像的脏污特征信息和装饰特征信息进行对比，得到脏污车辆图像。通过本方案可以实现在复杂天气和特殊天气下，对包含脏污车辆的图像进行标记追踪，并使得算法模型对脏污车辆进行判断的准确性得到了保证。

Description

一种脏污车辆判断方法、装置及应用
技术领域
本发明涉及计算机图像分类领域，特别是涉及一种脏污车辆判断方法、装置及应用。
背景技术
在城市交通管理中，通过对视频图像中车辆的抓取，判断是否有违规驾驶行为，已经成为目前最为常用的一种交通管理手段，车辆识别是交通管理智能化的基础技术之一，特别是非现场违章检测系统均是基于车牌识别技术而实现的自动智能检测系统。
现如今，随着社会的发展，越来越多的城市对上路车辆的车身清洁度提出了要求，脏污车辆容易出现以下问题：①车身过脏的车辆，容易有车牌号污损、车身特征不清晰的情况，如果发生违章行为，将影响车辆身份信息识别；②脏车入城，影响市容市貌；③脏车上路，容易造成扬尘和泥土抛洒、污损城市路面、影响城镇空气质量。
面对脏污车辆的检查与管理，现在多数为人工设卡拦截，人眼辨别能力因个体和外界天气而异，主观上也难以对“是否为脏污车辆”实行一个统一的判定标准，因此对于脏污车辆进行判断的执法难度大、工作效率低、人力成本高，因此亟需一种智能化算法对脏污车辆进行监管和提醒。
现有多数交通管理智能化技术只能对赃车、泥土车已经造成的抛洒滴漏等路面污染进行甄别，而当车辆不造成明显的污损物、只是产生扬尘或少量污损时，会造成识别效率下降，且无法识别车体本身是否为脏污车辆；使用检测网络对脏污车辆进行车身清洁度的判定时，不同于常规的目标物体图像抓取，其目标形状不规则、像素小，所以需要一个成熟而完备的深度学习网络进行算法框架的搭建；在复杂天气和特殊天气情况下，如雨雪天、夜间等环境因素会导致画面能见度较低、图像质量差，容易造成车身清洁度的误判，而且由于每个车型存在差异，且部分车辆会有不同样式的装饰物，更加加大了对车身清洁度判断的难度
发明内容
本申请实施例提供了一种脏污车辆判断方法、装置及应用，可以对视频图像进行抓取，对抓取的图像去除外界因素干扰，再进行脏污车辆的识别，使得识别的精准度更高。
第一方面，本申请实施例提供了一种脏污车辆判断方法，所述方法包括：
获取至少一待检测车辆图像，对每一待检测车辆图像中的所述待检测车辆进行框选标记，得到第一图像集；
将所述第一图像集送入复杂天气判断模型中，若检测到第一图像集中所述待检测车辆图像含有复杂天气干扰因素，去除所述复杂天气干扰因素得到第二图像集；
对所述第二图像集进行图像强灰度处理得到每张待检测车辆图像的灰度图，将每一所述灰度图与脏污车辆的像素颜色特征进行比对得到比对结果，标记有所述比对结果的灰度图送入脏污判断模型对脏污特征信息进行标记得到第三图像集；
提取所述第三图像集中每一待检测车辆图像的脏污特征信息，基于装饰特征信息对所述脏污特征信息进行筛选得到脏污车辆图像。。
第二方面，本申请实施例提供了一种脏污车辆判断装置，包括：
获取模块：获取至少一待检测车辆图像，对每一待检测车辆图像中的所述待检测车辆进行框选标记，得到第一图像集；
检测模块：将所述第一图像集送入复杂天气判断模型中，若检测到第一图像集中所述待检测车辆图像含有复杂天气干扰因素，去除所述复杂天气干扰因素得到第二图像集；
判断模块：对所述第二图像集进行图像强灰度处理得到每张待检测车辆图像的灰度图，将每一所述灰度图与脏污车辆的像素颜色特征进行比对得到比对结果，标记有所述比对结果的灰度图送入脏污判断模型对脏污特征信息进行标记得到第三图像集；
对比模块：提取所述第三图像集中每一待检测车辆图像的脏污特征信息，基于装饰特征信息对所述脏污特征信息进行筛选得到脏污车辆图像；
第三方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种脏污车辆判断方法。
第四方面，本申请实施例提供了一种计算机程序产品，包括软件代码部分，当所述计算机程序产品在计算机上被运行时，所述软件代码部分用于执行一种脏污车辆判断方法。
第五方面，本申请实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括一种脏污车辆判断方法。
本发明的主要贡献和创新点如下：
本方案通过使用网络框架对获取的车辆图像进行画面修复，以排除复杂天气和特殊天气对图像质量的影响，提高车身清洁度识别的准确率；使用网络框架对获取车辆图像中的装饰物进行特征提取，并与脏污特征进行比对，当车体本身有装饰物等非污染物的小目标时，提高对其的容错率；通过数据集对网络框架进行训练，并使用网络框架对图像处理，从而建立起对车体清洁度的判别标准，对可能造成污染的脏污车辆进行处理；通过对脏污车辆的运动轨迹和运动范围进行判断，从而实现对脏污车辆的轨迹追踪与预判，协助人工对脏污车辆进行拦截或处罚；本申请实施例使用压缩与激励网络对开源的算法模型进行优化，效果上，大大提高了算法过程中对图像场景中多种复杂情况的包容性、提高了算法对图像信息识别的准确性，性能上，在开始检测之前剔除了复杂图像和冗余信息，加以权重因子偏好学习，减轻了算力负担，提高了计算效率。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种脏污车辆判断方法的流程图；
图2是根据本申请实施例的一种目标检测模型的结构图；
图3是根据本申请实施例的一种第二去模糊模型的结构图；
图4是根据本申请实施例的一种脏污判断模型的结构图；
图5是根据本申请实施例的一种获取每一待检测车辆行驶特征信息的流程图；
图6是根据本申请实施例的一种脏污车辆判断装置的结构框图；
图7是根据本申请实施例的一种电子装置的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
实施例一
本申请实施例提供了一种脏污车辆判断方法，可以实现在复杂天气和特殊天气下，对包含脏污车辆的图像进行标记追踪，具体地，参考图1，所述方法包括：
获取至少一待检测车辆图像，对每一待检测车辆图像中的所述待检测车辆进行框选标记，得到第一图像集；
将所述第一图像集送入复杂天气判断模型中，若检测到第一图像集中所述待检测车辆图像含有复杂天气干扰因素，去除所述复杂天气干扰因素得到第二图像集；
对所述第二图像集进行图像强灰度处理得到每张待检测车辆图像的灰度图，将每一所述灰度图与脏污车辆的像素颜色特征进行比对得到比对结果，标记有所述比对结果的灰度图送入脏污判断模型对脏污特征信息进行标记得到第三图像集；
提取所述第三图像集中每一待检测车辆图像的脏污特征信息，基于装饰特征信息对所述脏污特征信息进行筛选得到脏污车辆图像。
在本实施例中，获取视频信息，对视频信息进行逐帧抓取获取至少一待检测车辆图像，将所述待检测车辆输入到经训练得到的目标检测模型中输出至少一待检测车辆，框选标记所述待检测车辆得到所述第一图像集，所述目标检测模型以YOLOv3为框架，使用深度可分离卷积模块替换YOLOv3目标检测网络中 Darknet-53特征提取层中的标准卷积模块，并在YOLO预测层中引入SENet模块。
另外，值得一提的是，本方案根据首次包含所述待检测车辆的待检测车辆图像的时间，以及所述待检测车辆图像中所述待检测车辆的锚框信息生成所述待检测车辆的车辆序列号，使用所述车辆序列号对每一所述待检测车辆进行标记。
具体的，所述目标检测模型的结构如图2所示，为了减少所述目标监测网络中的参数，降低计算的复杂程度，使用所述深度可分离卷积模块替换所述标准卷积模块，所述深度可分离卷积是把通道和空间区域分开进行考虑，将标准卷积分解成深度卷积和逐点卷积，即首先使用深度卷积对所述待检测车辆图像特征中的三个单通道分别进行3*3的卷积，收集每个通道的特征，再使用逐点卷积对经过所述深度卷积后的所述待检测车辆图像特征进行1*1的逐点卷积，收集每个点的特征。
进一步的，所述目标检测模型的训练方式为：从公有数据库中获取本方案需要识别并检测的不同种类车型图像的数据集，对所述数据集中的图像使用 labeling工具进行标注，并将其按比例分为训练集和测试集，从所述训练集中随机取出一个图像，以此图像的宽度和高度所形成的坐标点为聚类中心，利用 K-means聚类方法进行迭代计算得到具体的锚框值，从而完成训练。
具体的，将所述至少一待检测车辆图像输入到训练好的目标检测模型中进行清洗后得到多尺度特征图，对所述多尺度特征图采用logistic函数对模型预测的x、y、置信度、类别概率进行激活，之后通过阈值判断法得到所述多尺度特征图中所有预测框的坐标、置信度和类别概率，将通过所述阈值判断法得到的结果通过非极大值抑制法去除冗余检测框，得到待检测车辆图像的检测框作为识别结果，将所述识别结果中对应同一待检测车辆的至少一待检测车辆图像按照获取时间的时间轴打包得到第一图像集。
具体的，将所述首次获取同一待检测车辆图像的时间和所述锚框值转码为十六进制，得到所述车辆序列号。
在本实施例中，通过摄像组件获取视频信息，若同一帧图像中包括多个待检测车辆，针对每一待检测车辆创建副本图像，每一所述副本图像上标记对应的的待检测车辆。
示例性的，若所述一帧图像中出现两个待检测车辆，则对这一帧图像创建一个图像副本，原图像对其中一个待检测车辆进行标记，所述副本图像对另一待检测车辆进行标记。
另外，值得一提的是，本申请实施例通过开源的检测与抓取模块在摄像组件获取的视频中抓取对车身清洁度有要求的车辆图像，减少算力要求，提高车体清洁度识别的容错率。也就是说，本方案检测的待检测车辆为对车身清洁度有要求的车辆。
在本实施例中，在“对每一待检测车辆图像中的所述待检测车辆进行框选标记”步骤之前，提取所述待检测车辆图像中因光线环境导致分辨率低的模糊图像，使用第一去模糊模型对所述模糊图像进行去模糊处理。
这样的好处在于：可以提高待检测车辆的识别率，减少容错率。特别地，通过本方案可针对夜间对比度低下的图像做处理，以便于后期检测到夜间对比度低下的待检测车辆。
在本实施例中，所述第一去模糊模型先使用基于SENet改进的ResNet网络框架进行特征提取，再对特征提取后的图像进行上采样并拼接。
具体的，所述第一去模糊模型先使用基于SENet改进的ResNet网络框架进行待检测车辆图像特征的提取：
(1)输入所述待检测车辆图像，所述待检测车辆图像先经过BN归一化和 ReLU激活函数和卷积核大小为1*1的卷积操作，再进行BNReLU激活函数和卷积核大小为3*3的卷积操作，然后再进行BNReLU激活函数和卷积核大小为1*1的卷积操作，得到待检测车辆特征；
(2)在所述待检测车辆图像的特征进行第二次1*1的卷积操作后加入SE 压缩提取模块，所述SE压缩提取模块对待检测车辆图像的特征进行全局平均池化，将所述待检测车辆图像特征的每一个通道上的数取平均，使得卷积核大小变为1*1*C，之后通过第一个全连接层降维后进行ReLU激活函数，再通过第二个全连接层升维并使用sigmoid函数将权重归一化到0-1之间，把得到的权重加权到每个卷积核通道的特征上，最后和(1)输出的待检测车辆图像特征融合。
具体的，使用添加了SE压缩提取模块的ResNet网络框架可以根据每个所述待检测车辆图像特征进行加权分析，根据特征的权重值，更好地判断和分析特征的重要性和优先级，提高ResNet网络框架的精准性。
进一步的，SE压缩提取模块利用压缩与激励机制对输入的待检测车辆图像特征进行优化处理，增强其中的有用信息的同时抑制噪声信息，经过压缩与激励机制处理后会得到一个注意力向量，用该向量对之前残差块的输出的每个通道进行加权运算得到经过压缩与激励处理后的特征图，最后与(1)中输出的待检测车辆图像特征进行融合得到最终的输出。
具体的，对特征提取后的图像进行上采样并拼接的操作为：先采用特征对齐FlowAlignment Module(FAM)将低分辨率的高层语义特征进行卷积核为1*1 的卷积改变所述高层语义特征的通道数，得到高层语义特征图，然后和通道数相同的高分辨率的底层语义特征图与所述高层语义特征图进行拼接，再通过一个卷积核为3*3的卷积得到高分辨率特征图中每个像素pl-1的偏移量Offset，并将之映射到低分辨率图中，最后通过对每一个低分辨率处的像素pl进行双线性差值得到高分辨率图，将所述高分辨率图与原始高分辨率图像相加。
具体的，所述特征对齐的公式如下：
Δl-1(pl-1)＝conv(cat(Fl，Fl-1))，
Figure RE-GDA0003898383040000081
Figure RE-GDA0003898383040000082
其中Fl-1为低分辨率高层语义信息的特征图，pl-1为Fl-1上的像素点； Fl为高分辨率低层语义信息的特征图，pl为高分辨率高层语义信息的特征图映射到低分辨率低层语义信息的特征图的像素点；Δl-1(pl-1)为像素点的偏移量。
在本方案的一些实施例中，所述第一去模糊模型采用对比度低下的图像作为训练集进行训练。在本方案的一实施例中，使用Matlab软件对正常晴天以及夜间的待检测图像的数据集进行处理的训练数据集，所述训练数据集选择暗光因子作为影响因子，使用所述训练数据集对第一去模糊模型进行训练。
在本实施例中，将所述第一图像集送入所述复杂天气判断模型中得到复杂天气干扰因素，将包含复杂天气干扰因素的所述二级图像包输入第二去模糊模型中进行修复。
同上所述，本方案采用标记复杂天气干扰因素的图像作为训练集训练复杂天气判断模型，所述复杂天气干扰因素包括但不限于雨滴雨线以及雪花。
具体的，使用Matlab软件对雨雪天气的数据集进行处理，合成雨雪天训练数据集，所述雨雪天训练数据集选择天气因子作为影响因子，所述天气因子要包括雨滴雨线以及雪花，使用所述雨雪天训练数据集对第二去模糊模型进行训练。
具体的，所述第二去模糊模型的结构如图3所示，其算法结构与第一去模糊模型相同，在此不在赘述。
在本实施例中，本方案的像素颜色特征是将大量脏污车辆的数据集使用基于SENet改进的ResNet网络框架进行特征提取得到的。
具体的，制作一个脏污车辆的数据集，使用基于SENet改进的ResNet网络框架对所述脏污车辆的像素颜色特征进行提取。
在本实施例中，在“将每一所述灰度图与脏污车辆的像素颜色特征进行比对得到比对结果”步骤中，将含有比对结果的灰度图送入脏污判断模型进行脏污特征的提取，可以使得提取的特征信息包含像素颜色特征信息，提高了模型识别的精度。
在本实施例中，所述脏污判断模型使用基于SENet改进的ResNet网络框架对所述灰度图进行特征提取得到第一特征，所述第一特征结合所述灰度特征一起输入到LSTM递归神经网络中进行判断得到脏污特征信息，并对所述灰度图中的所述脏污特征信息进行标记得到第三图像集。
具体的，所述脏污判断模型的结构如图4所示，所述脏污判断模型包含基于SENet改进的ResNet网络框架和LSTM递归神经网络，其通过基于SENet改进的ResNet网络框架获取图像特征的方式与所述第一去模糊模型相同，在此不在赘述。
具体的，使用Matlab软件合成脏污特征训练数据集，使用所述脏污特征训练数据集对所述脏污判断模型进行训练。
具体的，使用所述LSTM递归神经网络进行特征关系的构建和是非的判断。
其中，将所述LSTM的输入层节点数设置为1，输出层节点数设置为1，时间步长设置为6，隐藏层层数设置为1，隐藏层节点数设置为20，epoch设置为 120，激活函数选择sigmoid，优化函数选择Adam，损失函数选择MAE。所述待检测车辆特征协同注意力机制对应的设计如下：设置6个独立的自注意力模块，每个自注意力模块的attention_width＝6，激活函数选择sigmoid。
具体的，使用将ResNet网络框架和LSTM递归神经网络进行结合的技术手段，获得了影响识别和判断的误导因子(如：雨雪、污垢等)，通过对所述误导因子的删除，利用脏污训练数据集中的数据，自动补全因删除误导因子导致的残缺图像，并对所述待检测车辆图像中的脏污进行标记，分析脏污的覆盖密度，确定所述待检测车辆图像的车身遮挡程度，并对其进行标记，得到第三图像集。
在本实施例中，将所述第一图像集输入到训练好的装饰判断模型中得到车辆特征图，将对应同一车辆特征图的所述脏污特征信息和脏污车辆像素颜色特征输入到训练好的装饰判断模型中得到脏污特征图，将所述车辆特征图和所述脏污特征图进行差值运算得到装饰特征信息。
具体的，所述车辆特征图包含车辆特征信息、车辆脏污特征信息、车辆装饰特征信息；所述脏污特征图包含车辆特征信息、车辆脏污特征信息，将所述车辆特征图和所述脏污特征图进行差值运算得到装饰特征信息。
具体的，为了更好的区分车辆脏污是否为装饰物所造成的，所述装饰判断模型采用基于SENet优化后的YOLOv3车型识别网络。
进一步的，所述装饰判断模型的训练方式与本方案中其他模型的训练方式相同，在此不在赘述。
进一步的，提取所述第三图像集中每一待检测车辆图像的脏污特征信息，基于装饰特征信息对所述脏污特征信息进行筛选得到脏污车辆图像。
具体的，若所述脏污特征信息匹配所述装饰特征信息则删除脏污特征信息，保留标记有所述脏污特征信息的待检测车辆为脏污车辆。
具体的，为了便于归档备查，将所述第三图像集中每一待检测车辆图像的装饰特征信息进行标记。
实施例二
在本实施例中，在对每一所述待检测车辆进行框选标记时，判断每一所述待检测车辆的行驶方向并进行标注；在得到脏污车辆图像后，将其行驶方向和脏污车辆图像特征发送给交管部门进行处理；
进一步的，获取每一所述待检测车辆的运动轨迹，通过每一所述待检测车辆的运动轨迹点位坐标信息获取其矩形运动范围图像，并判断每一所述待检测车辆在其矩形运动范围图像中的行驶方向作为行驶特征信息，将所述行驶特征信息标注于每一对应的待检测车辆图像上。
具体的，获取每一待检测车辆行驶特征信息的流程结构如图5所示，通过卡尔曼滤波构建的车辆跟踪器获取每一所述待检测车辆检测框的中心点位坐标信息，组成轨迹坐标点集合
Figure RE-GDA0003898383040000111
其中，
Figure RE-GDA0003898383040000112
表示第j帧图像中第i个车辆的轨迹坐标点集合，通过所述轨迹坐标点集合
Figure RE-GDA0003898383040000113
计算其中横、纵坐标的均值作为第j帧图像中第i个车辆运动轨迹的中心坐标，记为
Figure RE-GDA0003898383040000114
并找出第j帧图像中第i个车辆运动轨迹的极左点
Figure RE-GDA0003898383040000115
和极右点
Figure RE-GDA0003898383040000116
并通过提取所述待检测车辆运动轨迹区域图像的规范公式获取所述矩形运动范围图像。
具体的，提取所述待检测车辆运动轨迹区域图像的规范公式如下：
Figure RE-GDA0003898383040000117
Figure RE-GDA0003898383040000118
其中，
Figure RE-GDA0003898383040000119
表示在其中一帧图像中第i个待检测车辆检测框的极左点位坐标，
Figure RE-GDA00038983830400001110
表示在其中一帧图像中第i个待检测车辆检测框的极右点位坐标， wi表示为待检测车辆检测框的宽，hi表示为待检测车辆检测框的高，Wj表示所述视频数据集中第j帧图像的宽，Hj表示所述视频数据集中第j帧图像的高。
具体的，所述目标检测框极左点横坐标为所有所述轨迹坐标点中的横坐标最小值，所述极左点的纵坐标为所有所述轨迹坐标点中的纵坐标最小值；所述极右点的横坐标为所有所述轨迹坐标点中的横坐标最大值，所述极右点的纵坐标为所有所述轨迹坐标点中的纵坐标最大值。
实施例三
一种脏污车辆判断装置，如图6所示，其特征在于，包括：
获取模块：获取至少一待检测车辆图像，对每一待检测车辆图像中的所述待检测车辆进行框选标记，并删除框选标记外的部分，得到第一图像集；
检测模块：将所述第一图像集送入复杂天气判断模型中，若检测到第一图像集中的待检测车辆图像含有复杂天气干扰因素，去除所述复杂天气干扰因素，得到第二图像集；
判断模块：对所述第二图像集进行图像强灰度处理得到每张待检测车辆图像的灰度图，将每一所述灰度图与脏污车辆的像素颜色特征进行比对，将比对结果进行标记后送入脏污判断模型对脏污特征信息进行标记得到第三图像集；
对比模块：提取所述第三图像集中每一待检测车辆图像的脏污特征信息和装饰特征信息进行对比，得到脏污车辆图像；
实施例四
一种对脏污车辆进行处理的装置，其特征在于，包括：
行驶方向判断模块：在对每一所述待检测车辆进行框选标记时，判断每一所述待检测车辆的行驶方向并进行标注；
处理模块：在得到脏污车辆图像后，将其行驶方向和脏污车辆图像特征发送给交管部门进行处理。
实施例五
本实施例还提供了一种电子装置，参考图7，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
具体地，上述处理器402可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecificIntegratedCircuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器(HardDiskDrive，简称为HDD)、软盘驱动器、固态驱动器(SolidStateDrive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性(Non-Volatile)存储器。在特定实施例中，存储器404包括只读存储器(Read-OnlyMemory，简称为ROM) 和随机存取存储器(RandomAccessMemory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(ProgrammableRead-OnlyMemory，简称为PROM)、可擦除PROM(ErasableProgrammableRead-OnlyMemory，简称为EPROM)、电可擦除PROM (ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM)、电可改写ROM(ElectricallyAlterableRead-OnlyMemory，简称为EAROM)或闪存 (FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(StaticRandom-AccessMemory，简称为SRAM)或动态随机存取存储器(DynamicRandomAccessMemory，简称为DRAM)，其中，DRAM 可以是快速页模式动态随机存取存储器404 (FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM)、同步动态随机存取内存(SynchronousDynamicRandom-AccessMemory，简称SDRAM)等。
存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。
处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种脏污车辆判断方法或任意一种对脏污车辆进行处理的方法。
可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。
传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可待检测车辆图像、用于模型训练的各种数据集等，输出的信息可以是脏污车辆信息，脏污车辆行驶方向等。
可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：
S101、获取至少一待检测车辆图像，对每一待检测车辆图像中的所述待检测车辆进行框选标记，并删除框选标记外的部分，得到第一图像集；
S102、将所述第一图像集送入复杂天气判断模型中，若检测到第一图像集中.待检测车辆图像含有复杂天气干扰因素，去除所述复杂天气干扰因素，得到第二图像集；
S103、对所述第二图像集进行图像强灰度处理得到每张待检测车辆图像的灰度图，将每一所述灰度图与脏污车辆的像素颜色特征进行比对，将比对结果进行标记后送入脏污判断模型对脏污特征信息进行标记得到第三图像集；
S104、提取所述第三图像集中每一待检测车辆图像的脏污特征信息和装饰特征信息进行对比，得到脏污车辆图像；
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图7中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (14)

1.一种脏污车辆判断方法，其特征在于，包括以下步骤：
获取至少一待检测车辆图像，对每一待检测车辆图像中的所述待检测车辆进行框选标记，得到第一图像集；
将所述第一图像集送入复杂天气判断模型中，若检测到第一图像集中所述待检测车辆图像含有复杂天气干扰因素，去除所述复杂天气干扰因素得到第二图像集；
对所述第二图像集进行图像强灰度处理得到每张待检测车辆图像的灰度图，将每一所述灰度图与脏污车辆的像素颜色特征进行比对得到比对结果，标记有所述比对结果的灰度图送入脏污判断模型对脏污特征信息进行标记得到第三图像集；提取所述第三图像集中每一待检测车辆图像的脏污特征信息，基于装饰特征信息对所述脏污特征信息进行筛选得到脏污车辆图像。
2.根据权利要求1所述的一种脏污车辆判断方法，其特征在于，将所述待检测车辆输入到经训练得到的目标检测模型中输出至少一待检测车辆，框选标记所述待检测车辆得到所述第一图像集，所述目标检测模型以YOLOv3为框架，使用深度可分离卷积模块替换YOLOv3目标检测网络中Darknet-53特征提取层中的标准卷积模块，并在YOLO预测层中引入SENet模块。
3.根据权利要求1所述的脏污车辆判断方法，其特征在于，根据首次获得包含所述待检测车辆的待检测车辆图像的时间，以及所述待检测车辆图像中所述待检测车辆的锚框信息生成所述待检测车辆的车辆序列号，使用所述车辆序列号对每一所述待检测车辆进行标记。
4.根据权利要求1所述的一种脏污车辆判断方法，其特征在于，若同一张图像中包括多个待检测车辆，针对每一待检测车辆创建副本图像，每一所述副本图像上标记对应的待检测车辆。
5.根据权利要求1所述的一种脏污车辆判断方法，其特征在于，在“对每一待检测车辆图像中的所述待检测车辆进行框选标记”步骤之前，提取所述待检测车辆图像中因光线环境导致分辨率低的模糊图像，使用第一去模糊模型对所述模糊图像进行去模糊处理。
6.根据权利要求1所述的一种脏污车辆判断方法，其特征在于，将所述第一图像集送入所述复杂天气判断模型中得到复杂天气干扰因素，将包含复杂天气干扰因素的所述第一图像集输入第二去模糊模型中进行修复。
7.根据权利要求1所述的一种脏污车辆判断方法，其特征在于，所述脏污判断模型使用基于SENet改进的ResNet网络框架对所述灰度图进行特征提取得到第一特征，所述第一特征结合所述灰度特征一起输入到LSTM递归神经网络中进行判断得到脏污特征信息，并对所述灰度图中的所述脏污特征信息进行标记得到第三图像集。
8.根据权利要求1所述的一种脏污车辆判断方法，其特征在于，将所述第一图像集输入到训练好的装饰判断模型，将对应同一车辆特征图的所述脏污特征信息和脏污车辆像素颜色特征输入到中得到车辆特征图训练好的装饰判断模型中得到脏污特征图，将所述车辆特征图和所述脏污特征图进行差值运算得到装饰特征信息。
9.根据权利要求1所述的一种脏污车辆判断方法，其特征在于，包括以下步骤：
在对每一所述待检测车辆进行框选标记时，判断每一所述待检测车辆的行驶方向并进行标注；
在得到脏污车辆图像后，将其行驶方向和脏污车辆图像特征发送给交管部门进行处理。
10.根据权利要求9所述的一种对脏污车辆进行处理的方法，其特征在于，获取每一所述待检测车辆的运动轨迹，通过每一所述待检测车辆的运动轨迹的点位坐标信息获取其矩形运动范围图像,并判断每一所述待检测车辆在其矩形运动范围图像中的行驶方向作为行驶特征信息，将所述行驶特征信息标注于每一对应的待检测车辆图像上。
11.一种脏污车辆判断装置，其特征在于，包括：
获取模块：获取至少一待检测车辆图像，对每一待检测车辆图像中的所述待检测车辆进行框选标记，得到第一图像集；
检测模块：将所述第一图像集送入复杂天气判断模型中，若检测到第一图像集中所述待检测车辆图像含有复杂天气干扰因素，去除所述复杂天气干扰因素得到第二图像集；
判断模块：对所述第二图像集进行图像强灰度处理得到每张待检测车辆图像的灰度图，将每一所述灰度图与脏污车辆的像素颜色特征进行比对得到比对结果，标记有所述比对结果的灰度图送入脏污判断模型对脏污特征信息进行标记得到第三图像集；
对比模块：提取所述第三图像集中每一待检测车辆图像的脏污特征信息，基于装饰特征信息对所述脏污特征信息进行筛选得到脏污车辆图像。
12.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-10任一所述的一种脏污车辆判断方法。
13.一种计算机程序产品，其特征在于，包括软件代码部分，当所述计算机程序产品在计算机上被运行时，所述软件代码部分用于执行根据权利要求1-10任一所述的一种脏污车辆判断方法。
14.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1-10任一所述的一种脏污车辆判断方法。
CN202211052484.5A 2022-08-31 2022-08-31 一种脏污车辆判断方法、装置及应用 Pending CN115346073A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211052484.5A CN115346073A (zh) 2022-08-31 2022-08-31 一种脏污车辆判断方法、装置及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211052484.5A CN115346073A (zh) 2022-08-31 2022-08-31 一种脏污车辆判断方法、装置及应用

Publications (1)

Publication Number Publication Date
CN115346073A true CN115346073A (zh) 2022-11-15

Family

ID=83955556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211052484.5A Pending CN115346073A (zh) 2022-08-31 2022-08-31 一种脏污车辆判断方法、装置及应用

Country Status (1)

Country Link
CN (1) CN115346073A (zh)

Similar Documents

Publication Publication Date Title
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
CN106652468B (zh) 车辆道路前车违规检测和自车违规预警提醒装置及方法
Zhang et al. Pavement distress detection using convolutional neural network (CNN): A case study in Montreal, Canada
CN110399856B (zh) 特征提取网络训练方法、图像处理方法、装置及其设备
Nienaber et al. Detecting potholes using simple image processing techniques and real-world footage
Rasheed et al. Automated number plate recognition using hough lines and template matching
US8447112B2 (en) Method for automatic license plate recognition using adaptive feature set
CN110619279B (zh) 一种基于跟踪的路面交通标志实例分割方法
CN111814621A (zh) 一种基于注意力机制的多尺度车辆行人检测方法及装置
CN112307989B (zh) 路面物体识别方法、装置、计算机设备和存储介质
CN111508269B (zh) 一种基于图像识别的开放式停车位车辆判别方法与装置
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN111027535A (zh) 一种车牌识别方法及相关设备
CN109657599B (zh) 距离自适应的车辆外观部件的图片识别方法
CN110852236A (zh) 目标事件的确定方法及装置、存储介质、电子装置
CN112017444A (zh) 一种套牌车辆检测方法及其装置、介质和系统
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
CN112785610B (zh) 一种融合低层特征的车道线语义分割方法
CN118230279A (zh) 基于孪生网络的交通信号灯识别方法、设备、介质和车辆
CN117576674A (zh) 车牌识别方法、装置、设备及介质
Gorintla et al. Deep-learning-based intelligent PotholeEye+ detection pavement distress detection system
Zhang et al. A front vehicle detection algorithm for intelligent vehicle based on improved gabor filter and SVM
CN115346073A (zh) 一种脏污车辆判断方法、装置及应用
Gupta et al. An Automated Number Plate Recognition System based on Optical Character Recognition
Fernandez et al. Raspberry Pi based ANPR for Smart Access

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination