CN112580754B - 一种适用于工地的车辆清洁度判断方法、装置及存储介质 - Google Patents

一种适用于工地的车辆清洁度判断方法、装置及存储介质 Download PDF

Info

Publication number
CN112580754B
CN112580754B CN202110207213.1A CN202110207213A CN112580754B CN 112580754 B CN112580754 B CN 112580754B CN 202110207213 A CN202110207213 A CN 202110207213A CN 112580754 B CN112580754 B CN 112580754B
Authority
CN
China
Prior art keywords
license plate
wheel
image
judging
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110207213.1A
Other languages
English (en)
Other versions
CN112580754A (zh
Inventor
贺松波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Huachenyue Technology Co ltd
Original Assignee
Hunan Huachenyue Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Huachenyue Technology Co ltd filed Critical Hunan Huachenyue Technology Co ltd
Priority to CN202110207213.1A priority Critical patent/CN112580754B/zh
Publication of CN112580754A publication Critical patent/CN112580754A/zh
Application granted granted Critical
Publication of CN112580754B publication Critical patent/CN112580754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种适用于工地的车辆清洁度判断方法、装置及存储介质，其中方法包括：将车牌图像输入车牌分类器进行分类；若为有污秽遮挡车牌，则车牌不清洁；若为无污秽遮挡车牌，则分割车牌字符，利用图像清晰度判断指标计算各个车牌字符是否清晰，根据所有车牌字符清晰状态判断车牌是否清洁；利用hough算法从车轮图像中寻找椭圆，识别满足预设条件的椭圆；若椭圆数目不小于N个，则判断车轮为清洁；若数目小于N个，则将车轮图像输入车轮分类器进行分类，得到车轮清洁分类结果；基于车牌和车轮的清洁结果判断车辆清洁度。考虑了两个部位的清洁度，准确率更高；采用传统清晰度计算方法与深度学习相结合，实现解释性强的同时准确率高。

Description

一种适用于工地的车辆清洁度判断方法、装置及存储介质
技术领域
本发明涉及车辆清洁度计算领域，尤其涉及一种适用于工地的车辆清洁度判断方法、装置及存储介质。
背景技术
我国的经济发展过程中，随着建筑工地越来越多，监管难度逐渐增加，施工车辆的清洁度自动判断日益重要。判断车辆清洁度的难点在于如何寻找参考点，若对于整个车辆进行分析，由于污秽物出现位置的随机性，需要大量的样本和非常清晰的图片，这些在实际中有一定难度。若寻找某几种参考点，那么需要选择人工和AI分析都比较容易判断的位置，同时对于车辆清洁度有比较好的代表性。
对于分析方法，目前已有一些相对传统的图像清晰度的判断方法，这些方法可解释性强，比较直观，但是适应性和准确性不是很好。
发明内容
本发明提供了一种适用于工地的车辆清洁度判断方法、装置及存储介质，以解决现有的清洁度判断方法适应性和准确度不佳的问题。
第一方面，提供了一种适用于工地的车辆清洁度判断方法，包括：
获取车牌图像；
将获取的车牌图像输入预先训练好的车牌分类器进行分类，得到车牌分类结果；其中，所述车牌分类器通过若干车牌图像对深度神经网络模型进行训练得到；
若车牌分类结果为有污秽遮挡车牌，则判断车牌不清洁；
若车牌分类结果为无污秽遮挡车牌，则对车牌图像进行前景提取并分割车牌字符，利用图像清晰度判断指标计算各个车牌字符是否清晰，并根据所有车牌字符的清晰状态判断对应车牌是否清洁；
获取车轮图像；
利用hough算法从车轮图像中寻找椭圆，并识别出满足椭圆的长轴长度和短轴长度的平均值大于0.5倍车轮直径的椭圆；
若找到的椭圆数目不小于N个，则判断车轮为清洁；其中，N为预设值；
若找到的椭圆数目小于N个，则将车轮图像输入预先训练好的车轮分类器进行分类，得到车轮清洁或车轮不清洁的结果；其中，所述车轮分类器通过若干车轮图像对深度神经网络模型进行训练得到；
基于识别的车牌清洁结果和车轮清洁结果判断车辆的清洁度，若车牌和车轮都清洁，则判断车辆清洁，否则判断车辆不清洁。
综合了车牌和车轮的清洁度情况来判断整车的清洁度，准确率更高，误报率低；对于车牌，采用深度学习与传统清晰度计算方法结合的方式，进行两次判断综合得出车牌清洁度，实现解释性强的同时准确率高；对于车轮，采用hough算法与深度学习相结合的方式，通过两次识别判断得出车轮清洁度，保证了准确率。
进一步地，所述车牌分类器通过若干车牌图像对深度神经网络模型进行训练得到，具体包括：
采集若干有污秽遮挡的车牌图像和无污秽遮挡的车牌图像，并进行标注，构成车牌数据集；
对采集的车牌图像进行预处理，构成车牌训练集和车牌测试集；
利用车牌训练集和车牌测试集对基于ResNet网络结构的模型进行训练，得到有污秽遮挡车牌和无污秽遮挡车牌的车牌分类器。
进一步地，所述对采集的车牌图像进行预处理，具体包括：
对于每张车牌图像，将其尺寸调整为宽为W高为H的车牌图像；
生成一个新的边长为W的正方形空白图像，并将尺寸调整后的车牌图像拷贝到空白图像的上半部分和下半部分；
然后按车牌标准下字符出现的位置在空白图像的底部画出标记块，得到预处理后的车牌图像。
预处理过程中，通过将车牌图像在空白图像上拷贝两次，并在对应字符出现的位置在画出标记块，从而使得后期训练过程中可以提取到更多、更准确的特征，提高最终车牌分类器的识别精度。
进一步地，所述对车牌图像进行前景提取并分割车牌字符，具体包括：
将车牌图像转换为灰度图，然后采用阈值分割的方法将其转化为二值化图像，建立前景区域和背景区域；
基于前景区域采用投影法得到每个车牌字符的初始位置及字符间隔的初始位置；
根据车牌图像的高度H确定车牌字符起点位置偏移量和字符间隔起点位置偏移量的搜索范围为[-1*H*r, H*r]；其中r为<1的系数；
对于每个车牌字符起点位置偏移量和字符间隔起点位置偏移量，在搜索范围内进行M次随机采样，将每次的随机采样结果与各个车牌字符的初始位置及字符间隔的初始位置对应相加，得到M个采样值；其中，M为预设值；
计算M个采样值对应的投影特征值，选取投影特征值最小时对应的采样值作为各个车牌字符及字符间隔的最优位置，进而分割出车牌字符。
由于直接采用投影法得到的车牌字符位置及字符间隔位置不太精确，本方案中结合优化搜索方法来进一步优化，即在搜索范围内随机采样，生成若干采样值，并通过计算投影特征值来获取各个车牌字符及字符间隔的最优位置，从而获得更好的车牌字符分割效果，使得后期清洁度的判断更加准确。
进一步地，所述基于前景区域采用投影法得到每个字符的初始位置及字符间隔的初始位置，包括：
前景区域中前景点像素值为1，背景区域中背景点像素值为0；计算前景区域中每一列的像素值之和，形成一个数组；
设置阈值Sv，若数组中元素值<Sv，则表示此元素对应字符间隔，将该元素转换为False；否则此元素表示车牌字符，将此元素转换为True；进而将上述数组转换为一个表示车牌字符或字符间隔的True-False数组；
根据True-False数组判断车牌字符和字符间隔的位置，对于False变True的位置为车牌字符起点，True变False的位置为车牌字符终点，而车牌字符终点至车牌字符起点之间为字符间隔；
所述计算M个采样值对应的投影特征值，包括：
对于每一个采样值，先分别计算每个车牌字符宽度和字符间隔宽度范围内的像素值之和的列平均值，然后分别计算全部车牌字符宽度范围内的列平均值之和A及全部字符间隔宽度范围内的列平均值之和B，然后根据式-λ*A+B计算投影特征值；其中，权重系数λ<0.3。
进一步地，所述利用图像清晰度判断指标计算各个车牌字符是否清晰，并根据所有车牌字符的清晰状态判断对应车牌是否清洁，具体包括：
计算每个车牌字符的图像清晰度判断指标，若其超过预设阈值Tb，则判断该车牌字符为清洁，否则判断该车牌字符为不清洁；
统计清洁的车牌字符数目，若其大于预设阈值Nb，则判断车牌为清洁，否则判断车牌为不清洁。
进一步地，所述车轮分类器通过若干车轮图像对深度神经网络模型进行训练得到，具体包括：
采集若干清洁的车轮图像和不清洁的车轮图像并进行标注，构成车轮数据集；计算每张车轮图像对应的图像清晰度判断指标，构建车轮清晰度指标数据集；
构建分类网络模型，该分类网络模型包括基于ResNet网络结构构建的特征提取网络和SVM二分类器；所述特征提取网络的输入为车轮图像，其输出为车轮特征向量；所述SVM二分类器的输入为车轮特征向量和图像清晰度判断指标，其输出为车轮是否清洁分类结果；
基于车轮数据集和车轮清晰度指标数据集对分类网络模型进行训练，得到车轮分类器。
车轮分类器将传统的清晰度判断指标引入到深度学习方法中，即首先通过特征提取网络提取车轮特征向量，再与清晰度判断指标结合作为特征输入到SVM二分类器中以得到分类结果，提高了车轮清洁度分类的准确性可解释性。
进一步地，所述基于ResNet网络结构构建的特征提取网络的最后三层为全连接层，最后一层为二维的ResNet二分类器输出，表示车轮清洁和车轮不清洁；利用车轮数据集对特征提取网络进行训练，直至收敛；
对于每张车轮图像，将其输入训练好的特征提取网络，并提取特征提取网络的倒数第二层的车轮特征向量，再与对应车轮图像的图像清晰度判断指标组合生成车轮综合特征向量；得到车轮综合特征向量数据集；其中，所述图像清晰度判断指标包括Brenner、Tenengrad、SMD、SMD2、Energy、Entropy中的一种或多种；
基于车轮综合特征向量数据集对SVM二分类器进行训练，得到识别车轮清洁和车轮不清洁的车轮分类器。
第二方面，提供了一种适用于工地的车辆清洁度判断装置，包括：
车牌图像获取模块，用于获取车牌图像；
车牌分类模块，用于将获取的车牌图像输入预先训练好的车牌分类器进行分类，得到车牌分类结果；其中，所述车牌分类器通过若干车牌图像对深度神经网络模型进行训练得到；若车牌分类结果为有污秽遮挡车牌，则判断车牌不清洁；若车牌分类结果为无污秽遮挡车牌，则对车牌图像进行前景提取并分割车牌字符，利用图像清晰度判断指标计算各个车牌字符是否清晰，并根据所有车牌字符的清晰状态判断对应车牌是否清洁；
车轮图像获取模块，用于获取车轮图像；
车轮分类模块，用于利用hough算法从车轮图像中寻找椭圆，并识别出满足椭圆的长轴长度和短轴长度的平均值大于0.5倍车轮直径的椭圆；若找到的椭圆数目不小于N个，则判断车轮为清洁；其中，N为预设值；若找到的椭圆数目小于N个，则将车轮图像输入预先训练好的车轮分类器进行分类，得到车轮清洁或车轮不清洁的结果；其中，所述车轮分类器通过若干车轮图像对深度神经网络模型进行训练得到；
车轮清洁度判断模块，用于基于识别的车牌清洁结果和车轮清洁结果判断车辆的清洁度，若车牌和车轮都清洁，则判断车辆清洁，否则判断车辆不清洁。
第三方面，提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序适于被处理器加载时执行如上所述的适用于工地的车辆清洁度判断方法。
有益效果
本发明提出了一种适用于工地的车辆清洁度判断方法、装置及存储介质，其优点在于：考虑了车辆的车牌和车轮两个部位的清洁度，准确率更高，误报率低；采用传统清晰度计算方法与深度学习方法相结合，实现解释性强的同时准确率高；可以分别得到多种方法针对各部位的清洁度计算结果，可以给工地监管提供更加明确的结论，也便于提高车辆清洁度的管理水平。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施方式提供的一种适用于工地的车辆清洁度判断方法流程图；
图2是本发明实施方式提供的车牌分类器训练流程图；
图3是本发明实施方式提供的车牌图像预处理过程示意图；
图4是本发明实施方式提供的判断车牌是否清洁的流程图；
图5是本发明实施方式提供的判断车轮是否清洁的流程图；
图6是本发明实施方式提供的车轮分类器模型原理图；
图7是本发明实施方式提供的车辆清洁度判断方法整体判断逻辑图。
具体实施方式
下面结合附图及具体实施方式对本发明进行详细说明。
实施例1
如图1所示，本实施例提供了一种适用于工地的车辆清洁度判断方法，包括：
S1：获取车牌图像；
S2：将获取的车牌图像输入预先训练好的车牌分类器进行分类，得到车牌分类结果；其中，所述车牌分类器通过若干车牌图像对深度神经网络模型进行训练得到；
S3：若车牌分类结果为有污秽遮挡车牌，则判断车牌不清洁；
S4：若车牌分类结果为无污秽遮挡车牌，则对车牌图像进行前景提取并分割车牌字符，利用图像清晰度判断指标计算各个车牌字符是否清晰，并根据所有车牌字符的清晰状态判断对应车牌是否清洁；
S5：获取车轮图像；
S6：利用hough算法从车轮图像中寻找椭圆，并识别出满足椭圆的长轴长度和短轴长度的平均值大于0.5倍车轮直径的椭圆；
S7：若找到的椭圆数目不小于N个，则判断车轮为清洁；其中，N为预设值，本实施例中N取3；
S8：若找到的椭圆数目小于N个，则将车轮图像输入预先训练好的车轮分类器进行分类，得到车轮清洁或车轮不清洁的结果；其中，所述车轮分类器通过若干车轮图像对深度神经网络模型进行训练得到；
S9：基于识别的车牌清洁结果和车轮清洁结果判断车辆的清洁度，若车牌和车轮都清洁，则判断车辆清洁，否则判断车辆不清洁。
综合了车牌和车轮的清洁度情况来判断整车的清洁度，准确率更高，误报率低；对于车牌，采用深度学习与传统清晰度计算方法结合的方式，进行两次判断综合得出车牌清洁度，实现解释性强的同时准确率高；对于车轮，采用hough算法与深度学习相结合的方式，通过两次识别判断得出车轮清洁度，保证了准确率。
如图2所示，本实施例中，所述车牌分类器通过若干车牌图像对深度神经网络模型进行训练得到，具体包括：
A1：采集若干有污秽遮挡的车牌图像和无污秽遮挡的车牌图像，并进行标注，构成车牌数据集；其中，有污秽遮挡的车牌图像指至少1个车牌字符被全部遮挡，车牌数据集中图像的数量大于10000张；
A2：对采集的车牌图像进行预处理，构成车牌训练集和车牌测试集；其中，预处理过程具体包括：对于每张车牌图像，将其尺寸调整为宽为W高为H的车牌图像；生成一个新的边长为W的正方形空白图像，并将尺寸调整后的车牌图像拷贝到空白图像的上半部分和下半部分；然后按车牌标准下字符出现的位置在空白图像的底部画出标记块，得到预处理后的车牌图像，如图3所示；
A3：利用车牌训练集和车牌测试集对基于ResNet网络结构的模型进行训练，得到有污秽遮挡车牌和无污秽遮挡车牌的车牌分类器。
预处理过程中，通过将车牌图像在空白图像上拷贝两次，并在对应字符出现的位置在画出标记块，从而使得后期训练过程中可以提取到更多、更准确的特征，提高最终车牌分类器的识别精度。
因此，参见图4，判断车牌是否清洁的流程如下,：
获取车牌图像；
通过上述基于ResNet网络结构的车牌分类器进行分类，若识别为有污秽遮挡车牌，则表示车牌不清洁；若识别未无污秽遮挡车牌，则继续判断车牌字符是否清洁；
对车牌图像进行预处理，并分割车牌字符；
计算每个车牌字符的图像清晰度判断指标，若其超过预设阈值Tb，则判断该车牌字符为清洁，否则判断该车牌字符为不清洁；其中，图像清晰度判断指标为Brenner、Tenengrad、SMD、SMD2、Energy、Entropy中的一种，此实施例中，图像清晰度判断指标为Brenner；
统计清洁的车牌字符数目，若其大于预设阈值Nb，则判断车牌为清洁，否则判断车牌为不清洁。
具体的，分割车牌字符过程包括：
将车牌图像转换为灰度图，然后采用阈值分割的方法将其转换为二值化图像，建立前景区域和背景区域；然后提取前景（字符为前景），每个前景点像素值为1，每个背景点像素值为0。
基于前景区域采用投影法得到每个车牌字符的初始位置及字符间隔的初始位置；具体包括：计算前景区域中每一列的像素值之和，形成一个数组；设置阈值Sv，若数组中元素值<Sv，则表示此元素对应字符间隔，将该元素转换为False；否则此元素表示车牌字符，将此元素转换为True；进而将上述数组转换为一个表示车牌字符或字符间隔的True-False数组；根据True-False数组判断车牌字符和字符间隔的位置，对于False变True的位置为车牌字符起点，True变False的位置为车牌字符终点，而车牌字符终点至车牌字符起点之间为字符间隔。
采用优化搜索方法获取各个车牌字符及字符间隔的最优位置，具体包括：
仍然使用前述的二值化图像前景区域，根据车牌图像的高度H确定车牌字符起点位置偏移量和字符间隔起点位置偏移量的搜索范围为[-1*H*r, H*r]；其中r为<1的系数。
生成采样值，过程包括：对于每个车牌字符起点位置偏移量和字符间隔起点位置偏移量，在搜索范围内进行M次随机采样，将每次的随机采样结果与各个车牌字符的初始位置及字符间隔的初始位置对应相加，得到M个采样值；其中，M为预设值。
为进一步理解，下面举例说明：设投影法得到的车牌字符起点位置为：a1,a2, a3,a4,a5,a6,a7，字符间隔起点位置为：b1,b2, b3,b4,b5,b6,b7；而在搜索范围[-1*H*r, H*r]进行一次随机采样得到结果为：da1,da2, da3,da4,da5,da6,da7；db1,db2, db3,db4,db5,db6,db7，这些值的采样是相互独立的，即这些值在大部分情况下是不相同的；与投影法得到的车牌字符起点位置和字符间隔起点位置相加后得到：a1+ da1,a2+ da2, a3+da3,a4+ da4,a5+ da5,a6+ da6,a7+ da7；b1+ db1,b2+ db2, b3+ db3,b4+ db4,b5+ db5,b6+ db6,b7+db7，这些值表示修正后的车牌字符起点位置和字符间隔起点位置，这一系列值作为优化搜索的1次采样，即一个采样值；本实施例中，M>2000。
计算M个采样值对应的投影特征值，选取投影特征值最小时对应的采样值作为各个车牌字符及字符间隔的最优位置，进而分割出车牌字符。其中，计算投影特征值的过程具体包括：对于每一个采样值，先分别计算每个车牌字符宽度和字符间隔宽度范围内的像素值之和的列平均值，然后分别计算全部车牌字符宽度范围内的列平均值之和A及全部字符间隔宽度范围内的列平均值之和B，然后根据式-λ*A+B计算投影特征值；其中，权重系数λ<0.3。
为进一步理解，下面举例说明：如第1个车牌字符的宽度范围的起点和终点为[a1+da1, b1+ db1]，像素值之和的列平均值为从左至右第(a1+da1)列到第(b1+db1)列的全部像素值之和再除以(b1+db1- a1-da1)；用H表示车牌高度，用m、k表示相邻的两个车牌字符的起点位置，n表示两个相邻车牌字符之间的字符间隔起点位置，即行列范围分别为[0,H]和[m,n]之间的全部像素值之和除以(m-n)；第1个字符间隔的宽度范围的起点和终点为[b1+ db1, a2+ da2]，像素值之和的列平均值为从左至右第(b1+ db1)列到第(a2+ da2)列的全部像素值之和再除以(a2+ da2- b1-db1)，即行列范围分别为[0,H]和[n,k]之间的全部像素值之和除以(n-k)；这样，对于优化搜索的每一次采样，车牌字符宽度范围内的像素列平均值为:sa1, sa2, sa3,sa4,sa5,sa6,sa7，字符间隔宽度范围内的像素列平均值为：sb1, sb2, sb3,sb4,sb5,sb6,sb7；投影特征值为：-λ* (sa1+ sa2+ sa3+ sa4+ sa5+ sa6+sa7)+( sb1+sb2+ sb3+sb4+sb5+sb6+sb7)；可见，当位置越精确，则车牌字符宽度范围内的像素列平均值会越大，而字符间隔宽度范围内的像素列平均值会越小，从而投影特征值会越小。
由于光照、角度、车牌模糊程度的不同，直接采用投影法得到的车牌字符位置及字符间隔位置不太精确，本方案中结合优化搜索方法来进一步优化，即在搜索范围内随机采样，生成若干采样值，并通过计算投影特征值来获取各个车牌字符及字符间隔的最优位置，从而获得更好的车牌字符分割效果，使得后期清洁度的判断更加准确。
参见图5，判断车轮清洁度的流程如下：
获取车轮图像；
采用hough算法寻找车轮图像中的椭圆，并识别出满足椭圆的长轴长度和短轴长度的平均值大于0.5倍车轮直径的椭圆；
若找到的椭圆数目不小于3个，则判断车轮为清洁；
若找到的椭圆数目小于3个，则将车轮图像输入车轮分类器进行分类，得到车轮清洁或车轮不清洁的结果。
具体的，车轮分类器的训练过程如下：
采集若干清洁的车轮图像和不清洁的车轮图像并进行标注，构成车轮数据集；计算每张车轮图像对应的图像清晰度判断指标，构建车轮清晰度指标数据集；其中，所述图像清晰度判断指标包括Brenner、Tenengrad、SMD、SMD2、Energy、Entropy中的一种或多种；
构建分类网络模型，该分类网络模型包括基于ResNet网络结构构建的特征提取网络和SVM二分类器；所述特征提取网络的输入为车轮图像，其输出为车轮特征向量；所述SVM二分类器的输入为车轮特征向量和图像清晰度判断指标，其输出为车轮是否清洁分类结果；
基于车轮数据集和车轮清晰度指标数据集对分类网络模型进行训练，得到车轮分类器。
更具体的，所述基于ResNet网络结构构建的特征提取网络的最后三层为全连接层，本实施例中，最后三层的维数分别为1000、10和2，最后一层为二维的ResNet二分类器输出，表示车轮清洁和车轮不清洁，此分类输出不用于判断车轮是否清洁；利用车轮数据集对特征提取网络进行训练，直至收敛；
对于每张车轮图像，将其输入上述训练好的特征提取网络，并提取特征提取网络的倒数第二层的车轮特征向量（即10维的特征向量），再与对应车轮图像的图像清晰度判断指标组合生成车轮综合特征向量，本实施例中，图像清晰度判断指标包括Brenner、Tenengrad、SMD、SMD2、Energy、Entropy，故，车轮综合特征向量为一个16维的特征向量；每张车轮图像可得到一个16维的车轮综合特征向量，进而得到车轮综合特征向量数据集；
基于车轮综合特征向量数据集对SVM二分类器进行训练，得到识别车轮清洁和车轮不清洁的车轮分类器。车轮分类器的模型原理图参见图6。
车轮分类器将传统的清晰度判断指标引入到深度学习方法中，即首先通过特征提取网络提取车轮特征向量，再与清晰度判断指标结合作为特征输入到SVM二分类器中以得到分类结果，提高了车轮清洁度分类的准确性可解释性。其中，图像清晰度判断指标Brenner、Tenengrad、SMD、SMD2、Energy、Entropy的计算方法为现有技术，在此不再赘述，具体可参见“面向无参考图像的清晰度评价方法研究，2011年4月，李祚林，《遥感技术与应用》”及“遥感影像无参考质量评价指标的统计评价，硕士论文，2018，杨泽威，武汉大学”。
车辆清洁度判断方法整体判断逻辑图如图7所示。
实施例2
本实施例提供了一种适用于工地的车辆清洁度判断装置，包括：
车牌图像获取模块，用于获取车牌图像；
车牌分类模块，用于将获取的车牌图像输入预先训练好的车牌分类器进行分类，得到车牌分类结果；其中，所述车牌分类器通过若干车牌图像对深度神经网络模型进行训练得到；若车牌分类结果为有污秽遮挡车牌，则判断车牌不清洁；若车牌分类结果为无污秽遮挡车牌，则对车牌图像进行前景提取并分割车牌字符，利用图像清晰度判断指标计算各个车牌字符是否清晰，并根据所有车牌字符的清晰状态判断对应车牌是否清洁；
车轮图像获取模块，用于获取车轮图像；
车轮分类模块，用于利用hough算法从车轮图像中寻找椭圆，并识别出满足椭圆的长轴长度和短轴长度的平均值大于0.5倍车轮直径的椭圆；若找到的椭圆数目不小于N个，则判断车轮为清洁；其中，N为预设值；若找到的椭圆数目小于N个，则将车轮图像输入预先训练好的车轮分类器进行分类，得到车轮清洁或车轮不清洁的结果；其中，所述车轮分类器通过若干车轮图像对深度神经网络模型进行训练得到；
车轮清洁度判断模块，用于基于识别的车牌清洁结果和车轮清洁结果判断车辆的清洁度，若车牌和车轮都清洁，则判断车辆清洁，否则判断车辆不清洁。
实施例3
本实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序适于被处理器加载时执行如上所述的适用于工地的车辆清洁度判断方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种适用于工地的车辆清洁度判断方法，其特征在于，包括：
获取车牌图像；
将获取的车牌图像输入预先训练好的车牌分类器进行分类，得到车牌分类结果；其中，所述车牌分类器通过若干车牌图像对深度神经网络模型进行训练得到；
若车牌分类结果为有污秽遮挡车牌，则判断车牌不清洁；
若车牌分类结果为无污秽遮挡车牌，则对车牌图像进行前景提取并分割车牌字符，利用图像清晰度判断指标计算各个车牌字符是否清晰，并根据所有车牌字符的清晰状态判断对应车牌是否清洁；
获取车轮图像；
利用hough算法从车轮图像中寻找椭圆，并识别出满足椭圆的长轴长度和短轴长度的平均值大于0.5倍车轮直径的椭圆；
若找到的椭圆数目不小于N个，则判断车轮为清洁；其中，N为预设值；
若找到的椭圆数目小于N个，则将车轮图像输入预先训练好的车轮分类器进行分类，得到车轮清洁或车轮不清洁的结果；其中，所述车轮分类器通过若干车轮图像对深度神经网络模型进行训练得到；
基于识别的车牌清洁结果和车轮清洁结果判断车辆的清洁度，若车牌和车轮都清洁，则判断车辆清洁，否则判断车辆不清洁。
2.根据权利要求1所述的适用于工地的车辆清洁度判断方法，其特征在于，所述车牌分类器通过若干车牌图像对深度神经网络模型进行训练得到，具体包括：
采集若干有污秽遮挡的车牌图像和无污秽遮挡的车牌图像，并进行标注，构成车牌数据集；
对采集的车牌图像进行预处理，构成车牌训练集和车牌测试集；
利用车牌训练集和车牌测试集对基于ResNet网络结构的模型进行训练，得到有污秽遮挡车牌和无污秽遮挡车牌的车牌分类器。
3.根据权利要求2所述的适用于工地的车辆清洁度判断方法，其特征在于，所述对采集的车牌图像进行预处理，具体包括：
对于每张车牌图像，将其尺寸调整为宽为W高为H的车牌图像；
生成一个新的边长为W的正方形空白图像，并将尺寸调整后的车牌图像拷贝到空白图像的上半部分和下半部分；
然后按车牌标准下字符出现的位置在空白图像的底部画出标记块，得到预处理后的车牌图像。
4.根据权利要求1所述的适用于工地的车辆清洁度判断方法，其特征在于，所述对车牌图像进行前景提取并分割车牌字符，具体包括：
将车牌图像转换为灰度图，然后采用阈值分割的方法将其转化为二值化图像，建立前景区域和背景区域；
基于前景区域采用投影法得到每个车牌字符的初始位置及字符间隔的初始位置；
根据车牌图像的高度H确定车牌字符起点位置偏移量和字符间隔起点位置偏移量的搜索范围为[-1*H*r, H*r]；其中r为<1的系数；
对于每个车牌字符起点位置偏移量和字符间隔起点位置偏移量，在搜索范围内进行M次随机采样，将每次的随机采样结果与各个车牌字符的初始位置及字符间隔的初始位置对应相加，得到M个采样值；其中，M为预设值；
计算M个采样值对应的投影特征值，选取投影特征值最小时对应的采样值作为各个车牌字符及字符间隔的最优位置，进而分割出车牌字符。
5.根据权利要求4所述的适用于工地的车辆清洁度判断方法，其特征在于，所述基于前景区域采用投影法得到每个字符的初始位置及字符间隔的初始位置，包括：
前景区域中前景点像素值为1，背景区域中背景点像素值为0；计算前景区域中每一列的像素值之和，形成一个数组；
设置阈值Sv，若数组中元素值<Sv，则表示此元素对应字符间隔，将该元素转换为False；否则此元素表示车牌字符，将此元素转换为True；进而将上述数组转换为一个表示车牌字符或字符间隔的True-False数组；
根据True-False数组判断车牌字符和字符间隔的位置，对于False变True的位置为车牌字符起点，True变False的位置为车牌字符终点，而车牌字符终点至车牌字符起点之间为字符间隔；
所述计算M个采样值对应的投影特征值，包括：
对于每一个采样值，先分别计算每个车牌字符宽度和字符间隔宽度范围内的像素值之和的列平均值，然后分别计算全部车牌字符宽度范围内的列平均值之和A及全部字符间隔宽度范围内的列平均值之和B，然后根据式-λ*A+B计算投影特征值；其中，权重系数λ<0.3。
6.根据权利要求1所述的适用于工地的车辆清洁度判断方法，其特征在于，所述利用图像清晰度判断指标计算各个车牌字符是否清晰，并根据所有车牌字符的清晰状态判断对应车牌是否清洁，具体包括：
计算每个车牌字符的图像清晰度判断指标，若其超过预设阈值Tb，则判断该车牌字符为清洁，否则判断该车牌字符为不清洁；
统计清洁的车牌字符数目，若其大于预设阈值Nb，则判断车牌为清洁，否则判断车牌为不清洁。
7.根据权利要求1所述的适用于工地的车辆清洁度判断方法，其特征在于，所述车轮分类器通过若干车轮图像对深度神经网络模型进行训练得到，具体包括：
采集若干清洁的车轮图像和不清洁的车轮图像并进行标注，构成车轮数据集；计算每张车轮图像对应的图像清晰度判断指标，构建车轮清晰度指标数据集；
构建分类网络模型，该分类网络模型包括基于ResNet网络结构构建的特征提取网络和SVM二分类器；所述特征提取网络的输入为车轮图像，其输出为车轮特征向量；所述SVM二分类器的输入为车轮特征向量和图像清晰度判断指标，其输出为车轮是否清洁分类结果；
基于车轮数据集和车轮清晰度指标数据集对分类网络模型进行训练，得到车轮分类器。
8.根据权利要求7所述的适用于工地的车辆清洁度判断方法，其特征在于，所述基于ResNet网络结构构建的特征提取网络的最后三层为全连接层，最后一层为二维的ResNet二分类器输出，表示车轮清洁和车轮不清洁；利用车轮数据集对特征提取网络进行训练，直至收敛；
对于每张车轮图像，将其输入训练好的特征提取网络，并提取特征提取网络的倒数第二层的车轮特征向量，再与对应车轮图像的图像清晰度判断指标组合生成车轮综合特征向量；得到车轮综合特征向量数据集；其中，所述图像清晰度判断指标包括Brenner、Tenengrad、SMD、SMD2、Energy、Entropy中的一种或多种；
基于车轮综合特征向量数据集对SVM二分类器进行训练，得到识别车轮清洁和车轮不清洁的车轮分类器。
9.一种适用于工地的车辆清洁度判断装置，其特征在于，包括：
车牌图像获取模块，用于获取车牌图像；
车牌分类模块，用于将获取的车牌图像输入预先训练好的车牌分类器进行分类，得到车牌分类结果；其中，所述车牌分类器通过若干车牌图像对深度神经网络模型进行训练得到；若车牌分类结果为有污秽遮挡车牌，则判断车牌不清洁；若车牌分类结果为无污秽遮挡车牌，则对车牌图像进行前景提取并分割车牌字符，利用图像清晰度判断指标计算各个车牌字符是否清晰，并根据所有车牌字符的清晰状态判断对应车牌是否清洁；
车轮图像获取模块，用于获取车轮图像；
车轮分类模块，用于利用hough算法从车轮图像中寻找椭圆，并识别出满足椭圆的长轴长度和短轴长度的平均值大于0.5倍车轮直径的椭圆；若找到的椭圆数目不小于N个，则判断车轮为清洁；其中，N为预设值；若找到的椭圆数目小于N个，则将车轮图像输入预先训练好的车轮分类器进行分类，得到车轮清洁或车轮不清洁的结果；其中，所述车轮分类器通过若干车轮图像对深度神经网络模型进行训练得到；
车轮清洁度判断模块，用于基于识别的车牌清洁结果和车轮清洁结果判断车辆的清洁度，若车牌和车轮都清洁，则判断车辆清洁，否则判断车辆不清洁。
10.一种计算机可读存储介质，其存储有计算机程序，其特征在于，所述计算机程序适于被处理器加载时执行如权利要求1至8任一项所述的适用于工地的车辆清洁度判断方法。
CN202110207213.1A 2021-02-25 2021-02-25 一种适用于工地的车辆清洁度判断方法、装置及存储介质 Active CN112580754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110207213.1A CN112580754B (zh) 2021-02-25 2021-02-25 一种适用于工地的车辆清洁度判断方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110207213.1A CN112580754B (zh) 2021-02-25 2021-02-25 一种适用于工地的车辆清洁度判断方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112580754A CN112580754A (zh) 2021-03-30
CN112580754B true CN112580754B (zh) 2021-04-27

Family

ID=75114037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110207213.1A Active CN112580754B (zh) 2021-02-25 2021-02-25 一种适用于工地的车辆清洁度判断方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112580754B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221727B (zh) * 2021-05-08 2023-05-12 杭州鸿泉物联网技术股份有限公司 一种工程车辆清洗状态判断方法及系统
CN114724128B (zh) * 2022-03-21 2023-10-10 北京卓视智通科技有限责任公司 一种车牌识别方法、装置、设备和介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100485696B1 (ko) * 2003-02-07 2005-04-28 삼성광주전자 주식회사 로봇청소기의 위치인식표지 검출방법 및 이 검출방법을적용한 로봇청소기
US10176383B2 (en) * 2016-07-14 2019-01-08 Walmart Apollo, Llc Systems and methods for detecting vehicle attributes
US10112585B1 (en) * 2017-06-20 2018-10-30 Ford Global Technologies, Llc Vehicle cleanliness detection systems and methods
CN107229938A (zh) * 2017-08-05 2017-10-03 南京云计趟信息技术有限公司 一种基于摄像装置的车辆轮胎带泥识别系统及方法
CN109829450A (zh) * 2019-03-08 2019-05-31 中国联合网络通信有限公司广州市分公司 一种工地泥头车智能监管系统及监管方法
CN110110704A (zh) * 2019-05-21 2019-08-09 北京首汽智行科技有限公司 一种车辆卫生监控方法及系统
JP7218680B2 (ja) * 2019-06-27 2023-02-07 トヨタ自動車株式会社 洗車判定システムおよび洗車判定方法
CN111626382A (zh) * 2020-07-28 2020-09-04 杭州品茗安控信息技术股份有限公司 一种建筑工地车辆清洁度的快速智能识别方法和系统
CN112381477B (zh) * 2021-01-18 2021-04-20 南京领行科技股份有限公司 车辆外观清洁度监测方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
CN112580754A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
CN104112269B (zh) 一种基于机器视觉的太阳能电池激光刻线参数检测方法及系统
Nie et al. Pavement Crack Detection based on yolo v3
CN112580754B (zh) 一种适用于工地的车辆清洁度判断方法、装置及存储介质
CN112215819B (zh) 基于深度特征融合的机场道面裂缝检测方法
CN105741267B (zh) 聚类引导深度神经网络分类的多源图像变化检测方法
CN106408015A (zh) 基于卷积神经网络的岔路口识别及深度估计方法
CN106446896A (zh) 一种字符分割方法、装置及电子设备
CN110334760B (zh) 一种基于resUnet的光学元器件损伤检测方法及系统
CN105956608A (zh) 一种基于深度学习的目标定位、分类算法
CN110930357A (zh) 一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统
CN103295239A (zh) 一种基于平面基准影像的激光点云数据的自动配准方法
CN104182985A (zh) 遥感图像变化检测方法
CN112766136B (zh) 一种基于深度学习的空间车位检测方法
CN105243356A (zh) 一种建立行人检测模型的方法及装置及行人检测方法
CN105608429A (zh) 基于差分激励的鲁棒车道线检测方法
CN113836999A (zh) 基于探地雷达的隧道施工风险智能识别方法及系统
CN104915642A (zh) 前方车辆测距方法及装置
CN106935038B (zh) 一种停车检测系统及检测方法
CN111402249B (zh) 基于深度学习的图像演化分析方法
CN114241423A (zh) 一种河道漂浮物智能检测方法及系统
CN106548195A (zh) 一种基于改进型hog‑ulbp特征算子的目标检测方法
CN109284678A (zh) 路牌语义识别方法及系统
CN113239725A (zh) 一种等待过街行人及过街方向识别方法及系统
CN103942792A (zh) 医药检测机器人中基于序列图像时域特征的杂质检测方法
CN111091049A (zh) 一种基于反向特征匹配的路面障碍物检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant