CN111709417A - 一种矿车车牌识别方法 - Google Patents

一种矿车车牌识别方法 Download PDF

Info

Publication number
CN111709417A
CN111709417A CN202010470165.0A CN202010470165A CN111709417A CN 111709417 A CN111709417 A CN 111709417A CN 202010470165 A CN202010470165 A CN 202010470165A CN 111709417 A CN111709417 A CN 111709417A
Authority
CN
China
Prior art keywords
license plate
image
character
area
mine car
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010470165.0A
Other languages
English (en)
Other versions
CN111709417B (zh
Inventor
史思琦
李南廷
郑莉平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010470165.0A priority Critical patent/CN111709417B/zh
Publication of CN111709417A publication Critical patent/CN111709417A/zh
Application granted granted Critical
Publication of CN111709417B publication Critical patent/CN111709417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

本发明提供一种矿车车牌识别方法，具体方法为：步骤1.采集车辆标准车牌作为训练样本集，建立基于支撑向量机的车牌模型；步骤2.输入待识别图像，经预处理后，分别提取并根据边缘信息和颜色信息、确定车牌备选区域并进行尺度归一化、旋转校正处理作为车牌图像候选区域；通过基于支撑向量机的车牌模型对车牌图像候选区域作筛选得到精确定位的车牌图像；步骤3，对精确定位的车牌图像作字符分割，得到字符图像；步骤4，对字符图像进行归一化处理；建立卷积神经网络，将归一化的字符图像依次输入卷积神经网络并输出字符识别结果。本发明解决了现有车牌识别技术在煤矿等恶劣工作环境中存在车牌定位和字符分割精度差、自用车牌识别率差等问题。

Description

一种矿车车牌识别方法
技术领域
本发明属于图像识别技术领域，涉及一种矿车车牌识别方法。
背景技术
随着煤炭安全监察平台建设需求的发展，传统人工车辆管理模式已经难以满足煤矿和矿山等企业对于规模庞大和数量激增的车辆管理要求。为了提高车辆管理效率和降低人力成本，矿车车牌自动识别成为车辆信息化管理的重要组成部分。
在煤矿等恶劣工作环境中，现有车牌识别方法受车牌图像模糊、光照条件差、车牌污损、字符缺失等干扰因素影响较大，普遍存在车牌边框定位和字符分割精度差、字符识别鲁棒性差等问题。特别对于企业内部专用车辆，矿车车牌的格式和信息构成与我国机动车牌照规范存在差异，现有车牌识别方法无法直接应用于矿车的车牌识别。
发明内容
本发明的目的是提供一种矿车车牌识别方法，解决了现有车牌识别技术在煤矿等恶劣工作环境中存在车牌定位和字符分割精度差、自用车牌识别率差等问题。
本发明所采用的技术方案是，
一种矿车车牌识别方法，具体方法为：
步骤1.采集标准车牌作为训练样本集，建立基于支撑向量机的车牌模型，采用基于支撑向量机的车牌模型对训练样本集进行训练；
步骤2.输入待识别车辆图像，对待识别车辆图像二值化后预处理后，分别提取边缘信息和颜色信息，根据边缘信息和颜色信息分别结合矩形框范围确定车牌备选区域并进行尺度归一化、旋转校正处理分别得到轮廓识别候选区域和颜色识别候选区域作为车牌图像候选区域；
通过训练好的基于支撑向量机的车牌模型对车牌图像候选区域进行筛选得到精确定位的车牌图像；
步骤3，对精确定位的车牌图像进行字符分割，得到字符图像；
步骤4，对字符图像进行归一化处理；建立卷积神经网络，将归一化的字符图像依次输入卷积神经网络并输出字符识别结果。
本发明的特点还在于，
步骤1中训练样本集包括黄底黑字、蓝底白字的标准车牌；基于支撑向量机的车牌模型的训练方法为：
步骤1.1，提取训练样本集中图片的HOG特征组成特征集，其中车牌图像HOG特征的数学表达式如式1所示：
Figure BDA0002514039690000021
其中I(x,y)为原车牌图像在坐标(x,y)处像素的灰度值，Gx(x,y)为该坐标处的水平梯度，Gy(x,y)为该坐标处的垂直梯度，G(x,y)为该坐标处的梯度幅值，α为该坐标处的梯度方向；
步骤1.2，将特征集放入基于支撑向量机的车牌模型进行训练，基于支撑向量机的车牌模型采用RBF核函数，支撑向量机的目标函数和核函数分别如式2和式3所示：
Figure BDA0002514039690000031
Figure BDA0002514039690000032
其中xi和xj分别为第i个和第j个车牌样本，yi和yj分别为第i个车牌样本和第j个车牌样本到超平面的距离，n为训练样本总数，λi、λj、μi为拉格朗日算子，C为惩罚因子，σ为标准差；
基于支撑向量机的车牌模型采用gamma和C参数作为RBF核函数参数，其中选择C＝5，gamma＝1。
步骤2的具体方法为：
步骤2.1，对输入待识别车辆图像，对进行局部直方图均衡和高斯模糊处理，得到预处理图像；
步骤2.2，
将预处理图像从RGB模型转换为HSV模型，保留含车牌颜色对应HSV值的区域，将区域用最小外接矩形包围起来，设置矩形宽高比、矩形面积和矩形角度范围确定备选车牌区域并将其尺度归一化处理后进行旋转校正，作为颜色识别候选区域；
提取预处理图像的车牌边缘信息，用大津法(OTSU)对车牌边缘信息进行二值化处理，再进行闭操作使轮廓覆盖车牌区域，计算最小外接矩形将轮廓包围起来；设置矩形宽高比、矩形面积和矩形角度范围确定备选车牌区域并将其尺度归一化处理后进行旋转校正，得到轮廓识别候选区域；
步骤2.3，将轮廓识别候选区域和颜色识别候选区域均作为车牌图像候选区域，将每个车牌图像候选区域均转变为单通道灰度图并尺度归一化后提取HOG特征放入训练好的基于支撑向量机的车牌模型进行筛选得到精确定位的车牌图像。
提取边缘信息的方法为用sobel算子进行图像边缘提取，sobel算子公式如式4和式5所示：
Figure BDA0002514039690000041
Figure BDA0002514039690000042
其中A为预处理图像的灰度图，Hx和Hy分别为横向和纵向边缘检测的图像灰度值，H为图像经横向和纵向边缘处理后得到的梯度值。
采用仿射变换作为旋转校正的方法，其变换如式6所示：
Figure BDA0002514039690000043
其中(x,y)为原坐标，(x′,y′)为变换后的新坐标，
Figure BDA0002514039690000044
为系数变换矩阵。
步骤3的具体方法为：
步骤3.1，依次对精确定位的车牌图像进行灰度化、二值化、闭操作处理，再进行水平和垂直方向投影，设置投影比例阈值为0.75，大于阈值的区域为边框区域，根据边框与投影方式去除边框和车牌以外区域，根据矿车车牌铆钉与边框的相对位置去除铆钉，得到去污后的车牌图像；
步骤3.2，对去污后的车牌图像进行水平方向和垂直方向投影，
设置水平投影比例阈值为0.1，垂直投影比例阈值为0.09，投影比例先超过阈值、再低于阈值的这段区间才判断为字符区域。此外，字符区域还要满足宽度位于[10,60]、高度位于[20,40]的条件，在这范围内则说明为字符区域，反之为非字符区域，最后分割出字符区域；在次基础上，如果检查出的字符区域超过最大宽度、但其一半区域的宽度满足宽度区域，则要从中间将区域分为两半；满足上述条件即为字符图像。
卷积神经网络包括依次连接第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层和第二全连接层构成，第一卷积层和第二卷积层的卷积核大小皆为3×3，第一池化层和第二池化层的核大小皆为2×2，步长为1，第一全连接层神经元个数为1024个，第二全连接层神经元个数为512个。
卷积神经网络采用sigmoid函数作为激活函数，卷积神经网络的优化器选用Adam优化器，其公式如式7所示：
Figure BDA0002514039690000061
其中t为时间步，Wt-1为t-1时间步的值，Wt为t时间步的值，J(Wt)为参数Wt的随机目标函数，gt为目标函数的梯度，mt为一阶矩估计，vt为二阶矩估计，β1和β2分别为mt和vt的指数衰减率，
Figure BDA0002514039690000064
和
Figure BDA0002514039690000065
分别为一阶矩估计和二阶矩估计的偏差校正，η为学习率，ε防止分母为零。
交叉熵代价函数的公式如式8所示：
Figure BDA0002514039690000062
其中N为训练样本数，L为损失函数，M为类别数，
Figure BDA0002514039690000066
为第i个样本对类别c的标签，只能为0或1，pic为第i个样本预测为类别c的概率；
softmax函数公式如式9所示：
Figure BDA0002514039690000063
其中zi为第i类的预测值，zc为第c类的预测值，M为类别数。
卷积神经网络训练的具体过程为：收集标准车牌的31个省市汉字字符图像、10个数字字符图像、24个英文字符图像和自建车牌特殊字符图像组成训练集，并采用小批量梯度下降法进行训练，分别对汉字、数字、英文三类样本单独训练得到对应卷积神经网络。
本发明的有益效果是，
本发明针对生锈、磨损、模糊、中度污渍、轻微变形以及含特殊字符的自用矿车车牌，可以实现车牌精确定位和字符精确分割，提高在恶劣条件下车牌识别的鲁棒性和准确度。
本发明中基于支撑向量机的车牌模型采用车牌图像的HOG特征，通过支撑向量机进行样本训练和检测车牌区域，HOG特征可以减少训练输入数据量，提高识别准确率，支撑向量机具有小样本识别精度高，泛化能力强的特点，支撑向量机核函数采用RBF核函数可以提高模型非线性。
在车牌定位时，利用矿车图像边缘和颜色信息得到颜色识别候选区域和轮廓识别候选区域可以提高车牌定位鲁棒性，再对车牌候选区域进行精确定位，进一步提高车牌定位的准确率。
在字符分割时，采用形态学闭操作平滑车牌边框并将分开的汉字偏旁连接起来，利用投影法消除车牌边框和铆钉区域，减少污渍和铆钉对于字符分割的影响，根据字符定位区域解决字符粘粘现象，进一步提高识别准确率。
在字符识别时，所采用的卷积神经网络模型包含数字、英文以及汉字三个识别模型，可以根据矿车车牌的信息构成模式灵活调用对应的识别模型，从而提高车牌识别的准确率，卷积神经网络激活函数采用sigmoid函数来限制输出范围并增加模型的非线性，Adam优化器能够自动调整学习率，最终以含交叉熵的softmax函数得出每类别的输出分数，不但增加了每类别输出分数的差距而且防止梯度丢失。
附图说明
图1是本发明一种矿车车牌识别方法的方法流程图；
图2是本发明一种矿车车牌识别方法中步骤3的方法流程图；
图3是本发明一种矿车车牌识别方法中核函数与车牌模型准确率关系图；
图4是本发明一种矿车车牌识别方法中卷积神经网络的结构图图；
图5是本发明一种矿车车牌识别方法中卷积神经网络中实施例1的矿车车牌定位过程图；
图6是本发明一种矿车车牌识别方法中卷积神经网络中实施例1的矿车车牌定位结果图；
图7是本发明一种矿车车牌识别方法中卷积神经网络中实施例1的矿车车牌分割结果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
一种矿车车牌识别方法，如图1所示，具体方法为：
步骤1.采集矿车车牌作为训练样本集，建立基于支撑向量机的车牌模型，采用基于支撑向量机的车牌模型对训练样本集进行训练；
步骤2.输入待识别车辆图像，其中待识别车辆图像为摄像机采取的光学图片，对待识别车辆图像预处理，分别提取边缘和颜色信息得到对应轮廓信息，根据轮廓构建外接矩形框，再根据矩形框的宽高比范围和倾斜角度范围确定车牌备选区域并进行尺度归一化处理，接着对归一化的备选区域旋转校正处理得到车牌图像候选区域；
通过训练好的基于支撑向量机的车牌模型对车牌图像候选区域进行筛选得到精确定位的车牌图像；
步骤3，如图2对精确定位的车牌图像进行字符分割，得到字符图像；
步骤4，对字符图像进行归一化处理；建立卷积神经网络，将归一化的字符图像依次输入卷积神经网络并输出字符识别结果。
步骤1中具体的为：
训练样本集包括黄底黑字、蓝底白字的社会车辆车牌。
基于支撑向量机的车牌模型的训练方法为：
步骤1.1，然后将训练样本集中的图像转变为单通道图像并尺度归一化为136×36，提取HOG特征组成特征集，其中车牌图像HOG特征的数学表达式如式1所示：
Figure BDA0002514039690000091
其中I(x,y)为原车牌图像在坐标(x,y)处像素的灰度值，Gx(x,y)为该坐标处的水平梯度，Gy(x,y)为该坐标处的垂直梯度，G(x,y)为该坐标处的梯度幅值，α为该坐标处的梯度方向。
步骤1.2，将特征集放入基于支撑向量机的车牌模型进行训练，基于支撑向量机的车牌模型采用RBF核函数，支撑向量机的目标函数和核函数分别如式2和式3所示：
Figure BDA0002514039690000101
Figure BDA0002514039690000102
其中xi和xj分别为第i个和第j个车牌样本，yi和yj分别为第i个车牌样本和第j个车牌样本到超平面的距离，n为训练样本总数，λi、λj、μi为拉格朗日算子，C为惩罚因子，σ为标准差。
基于支撑向量机的车牌模型采用gamma和C参数作为RBF核函数参数，其中
Figure BDA0002514039690000103
惩罚因子C和gamma参数的关系如图3所示，其中横轴为C参数，纵轴为gamma参数，竖轴为基于支持向量机车牌模型对测试集的识别准确率，取N×N个不同的(C,gamma)值分别在支撑向量机中进行训练，选取准确率最高的(C,gamma)值，在此模型中选择C＝5，gamma＝1准确率较高。
其中步骤2的具体方法为：
步骤2.1，对输入待识别车辆图像，进行局部直方图均衡和高斯模糊处理，得到预处理图像；
步骤2.2，
将预处理图像从RGB模型转换为HSV模型，保留含车牌颜色对应HSV值的区域，将区域用最小外接矩形包围起来，设置矩形宽高比、矩形面积和矩形角度范围确定备选车牌区域并将其尺度归一化处理后进行旋转校正，作为颜色识别候选区域；
提取预处理图像的车牌边缘信息，用大津法(OTSU)对车牌边缘信息进行二值化处理，再进行闭操作使轮廓覆盖车牌区域，计算最小外接矩形将轮廓包围起来；设置矩形宽高比、矩形面积和矩形角度范围确定备选车牌区域并将其尺度归一化处理后进行旋转校正，得到轮廓识别候选区域；
其中采用sobel算子提取车牌边缘信息，sobel算子公式如式4和式5所示所示：
Figure BDA0002514039690000111
Figure BDA0002514039690000112
其中A为预处理图像的灰度图，Hx和Hy分别为横向和纵向边缘检测的图像灰度值，H为图像经横向和纵向边缘处理后得到的梯度值。
其中采用仿射变换作为旋转校正的方法，其变换如式6所示：
Figure BDA0002514039690000113
其中(x,y)为原坐标，(x′,y′)为变换后的新坐标，
Figure BDA0002514039690000114
为系数变换矩阵。
步骤2.3，将轮廓识别候选区域和颜色识别候选区域均作为车牌图像候选区域，将每个车牌图像候选区域均转变为单通道灰度图并尺度归一化后提取HOG特征放入训练好的基于支撑向量机的车牌模型进行筛选得到精确定位的车牌图像，其中归一化为尺寸为136×36。
其中步骤3的具体方法为：
步骤3.1，依次对精确定位的车牌图像进行灰度化、二值化、闭操作处理，后进行水平和垂直方向投影，设置投影比例阈值为0.75，大于阈值的区域为边框区域，根据边框与投影方式去除边框和车牌以外区域，根据矿车车牌铆钉与边框的相对位置去除铆钉，得到去污后的车牌图像；
步骤3.2，对去污后的车牌图像进行水平方向和垂直方向投影，
设置水平投影比例阈值为0.1，垂直投影比例阈值为0.09，投影比例先超过阈值、再降到阈值下的这段区间才判断为字符区域。此外，字符区域还要满足宽度位于[10,60]、高度位于[20,40]的条件，在这范围内则说明为字符区域，反之为非字符区域，最后分割出字符区域；在次基础上，如果检查出的字符区域超过最大宽度，但其一半区域的宽度满足宽度区域，则要从中间将区域分为两半；满足上述条件即为字符图像。
在步骤4中，
如图4，卷积神经网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层和第二全连接层构成，第一卷积层和第二卷积层的卷积核大小皆为3×3，第一池化层和第二池化层的核大小皆为2×2，步长为1，第一全连接层神经元个数为1024个，第二全连接层神经元个数为512个。
卷积神经网络采用sigmoid函数作为激活函数，卷积神经网络的优化器选用Adam优化器，其如式7所示，
Figure BDA0002514039690000131
其中t为时间步，Wt-1为t-1时间步的值，Wt为t时间步的值，J(Wt)为参数Wt的随机目标函数，gt为目标函数的梯度，mt为一阶矩估计，vt为二阶矩估计，β1和β2分别为mt和vt的指数衰减率，默认β1为0.9，β2为0.999，
Figure BDA0002514039690000132
和
Figure BDA0002514039690000133
分别为一阶矩估计和二阶矩估计的偏差校正，η为学习率，默认为0.001，ε防止分母为零，默认为10-8。
第二全连接层最终输出每类分数以含交叉熵的softmax函数得出，交叉熵代价函数公式如式8所示：
Figure BDA0002514039690000134
其中N为训练样本数，L为损失函数，M为类别数，
Figure BDA0002514039690000135
为第i个样本对类别c的标签，只能为0或1，pic为第i个样本预测为类别c的概率。
softmax函数公式如如式9所示：
Figure BDA0002514039690000141
其中zi为第i类的预测值，zc为第c类的预测值，M为类别数。
卷积神经网络训练的具体过程为：收集标准车牌的31个省市汉字字符图像、10个数字字符(0-9)图像、24个英文字符(A-Z)图像和自建车牌特殊字符图像组成训练集并采用小批量梯度下降法进行训练，分别对汉字、数字、英文三类样本单独训练得到对应卷积神经网络。
为了提高矿车车牌识别准确率，建立矿车车牌特殊字符图像样本。矿车车牌特殊字符图像样本建立过程为：先找寻到特殊字符对应字体库，把字体放在白色背景中，然后对像素值取反得到黑底白字的训练样本，对所得到的训练样本添加随机噪声和进行位置偏移处理，最后得到所需矿车车牌特殊字符图像样本。
实施例1
输入待识别矿车车辆图像，执行步骤1～步骤4；
其中车牌模型和字符识别的测试结果如表1所示，经测试，基于支撑向量机的车牌模型识别率为95.36％；卷积神经网络中数字字符、英文字符和汉字字符的识别率分别为99％、98％和96％；考虑到汉字训练样本少，类别多的情况，为提高识别准确率，减少单个数据的影响，设置汉字字符识别模型训练批量大小为200，英文和数字字符模型训练批量大小为100。
表1车牌模型和字符识别的测试结果
Figure BDA0002514039690000142
Figure BDA0002514039690000151
其中车牌定位过程如图5所示，其中的黑色区域为车牌图像候选区域、图6为步骤2得到的精确定位的车牌图像、图7矿车车牌分割结果图，本实施例最终的识别结果为神宁R0274。
本实施例还选用矿车车辆图像10张作为待识别车辆图像，所有待识别车辆图像的车牌定位、字符分割和车牌识别如表2所示，序号1、2、3为铆钉与字符粘粘车牌，序号4为轻度倾斜车牌，5为重度污渍车牌，序号6、7、8为轻、中度污渍车牌，序号9、10为采集图像较好车牌。
表2矿车车牌识别识别结果
Figure BDA0002514039690000152
Figure BDA0002514039690000161
综上，本发明针对生锈、磨损、模糊、中度污渍、轻微变形以及含特殊字符的自用矿车车牌，可以实现车牌精确定位和字符精确分割，提高在恶劣条件下车牌识别的鲁棒性和准确度。

Claims (9)

1.一种矿车车牌识别方法，其特征在于，具体方法为：
步骤1.采集标准车牌作为训练样本集，建立基于支撑向量机的车牌模型，采用基于支撑向量机的车牌模型对训练样本集进行训练；
步骤2.输入待识别车辆图像，提取待识别车辆图像的边缘信息和颜色信息分别结合矩形框范围确定车牌图像候选区域；
通过训练好的基于支撑向量机的车牌模型对车牌图像候选区域进行筛选得到精确定位的车牌图像；
步骤3，对精确定位的车牌图像进行字符分割，得到字符图像；
步骤4，建立包含三类字符模型的卷积神经网络，将归一化的车牌字符图像依次输入所述卷积神经网络并输出字符识别结果。
2.如权利要求1所述的一种矿车车牌识别方法，其特征在于，所述步骤1中训练样本集包括黄底黑字、蓝底白字的标准车牌；所述基于支撑向量机的车牌模型的训练方法为：
步骤1.1，提取训练样本集中图片的HOG特征组成特征集，其中车牌图像HOG特征的数学表达式如式1所示：
Figure FDA0002514039680000011
其中I(x,y)为原车牌图像在坐标(x,y)处像素的灰度值，Gx(x,y)为该坐标处的水平梯度，Gy(x,y)为该坐标处的垂直梯度，G(x,y)为该坐标处的梯度幅值，α为该坐标处的梯度方向；
步骤1.2，将特征集放入基于支撑向量机的车牌模型进行训练，所述基于支撑向量机的车牌模型采用RBF核函数，所述支撑向量机的目标函数和核函数分别如式2和公式3所示：
Figure FDA0002514039680000021
Figure FDA0002514039680000022
其中xi和xj分别为第i个和第j个车牌样本，yi为第i个车牌样本到超平面的距离，yj为第j个车牌样本到超平面的距离，n为训练样本总数，λi、λj、μi为拉格朗日算子，C为惩罚因子，σ为标准差；
所述基于支撑向量机的车牌模型采用gamma和C参数作为RBF核函数参数，其中选择C＝5，gamma＝1。
3.如权利要求1所述的一种矿车车牌识别方法，其特征在于，所述步骤2的具体方法为：
步骤2.1，对输入待识别车辆图像，对进行局部直方图均衡和高斯模糊处理，得到预处理图像；
步骤2.2，
将预处理图像从RGB模型转为HSV模型，根据车牌颜色对应HSV值保留含该种颜色的区域，将区域用最小外接矩形包围起来，设置矩形宽高比、矩形面积和矩形角度范围确定备选车牌区域并将其尺度归一化处理后进行旋转校正，作为颜色识别候选区域；
提取预处理图像的车牌边缘信息，用大津法(OTSU)对车牌边缘信息进行二值化处理，再进行闭操作使轮廓覆盖车牌区域，计算最小外接矩形将轮廓包围起来；设置矩形宽高比、矩形面积和矩形角度范围确定备选车牌区域并将其尺度归一化处理后进行旋转校正，得到轮廓识别候选区域；
步骤2.3，将轮廓识别候选区域和颜色识别候选区域均作为车牌图像候选区域，将每个车牌图像候选区域均转变为单通道灰度图并尺度归一化后提取HOG特征放入训练好的基于支撑向量机的车牌模型进行筛选得到精确定位的车牌图像。
4.如权利要求3所述的一种矿车车牌识别方法，其特征在于，所述提取边缘信息的方法为用sobel算子进行图像边缘提取，sobel算子公式如式4和式5所示：
Figure FDA0002514039680000031
Figure FDA0002514039680000032
其中A为预处理图像的灰度图，Hx和Hy分别为横向和纵向边缘检测的图像灰度值，H为图像经横向和纵向边缘处理后得到的梯度值。
5.如权利要求3所述的一种矿车车牌识别方法，其特征在于，采用仿射变换作为所述旋转校正的方法，其变换如式6所示：
Figure FDA0002514039680000041
其中(x,y)为原坐标，(x′,y′)为变换后的新坐标，
Figure FDA0002514039680000042
为系数变换矩阵。
6.如权利要求1所述的一种矿车车牌识别方法，其特征在于，所述步骤3的具体方法为：
步骤3.1，依次对精确定位的车牌图像进行灰度化、二值化、闭操作处理，后进行水平和垂直方向投影，设置投影比例阈值为0.75，大于阈值的区域为边框区域，根据边框与投影方式去除边框和车牌以外区域，根据矿车车牌铆钉与边框的相对位置去除铆钉，得到去污后的车牌图像；
步骤3.2，对去污后的车牌图像进行水平方向和垂直方向投影，
设置水平投影比例阈值为0.1，垂直投影比例阈值为0.09，投影比例先超过阈值，再降到阈值下的这段区间才判断为字符区域；此外，字符区域还要满足宽度位于[10,60]、高度位于[20,40]的条件，在这范围内则说明为字符区域，反之为非字符区域，最后分割出字符区域；再次基础上，如果检查出的字符区域超过最大宽度，但其一半区域的宽度满足宽度区域，则要从中间将区域分为两半；满足上述条件即为字符图像。
7.如权利要求1所述的一种矿车车牌识别方法，其特征在于，所述卷积神经网络包括依次连接第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层和第二全连接层构成，所述第一卷积层和第二卷积层的卷积核大小皆为3×3，所述第一池化层和第二池化层的核大小皆为2×2，步长为1，所述第一全连接层神经元个数为1024个，所述第二全连接层神经元个数为512个。
8.如权利要求7所述的一种矿车车牌识别方法，其特征在于，所述卷积神经网络采用sigmoid函数作为激活函数，所述卷积神经网络的优化器选用Adam优化器，其公式如式7所示：
Figure FDA0002514039680000051
其中t为时间步，Wt-1为t-1时间步的值，Wt为t时间步的值，J(Wt)为参数Wt的随机目标函数，gt为目标函数的梯度，mt为一阶矩估计，vt为二阶矩估计，β1和β2分别为mt和vt的指数衰减率，
Figure FDA0002514039680000052
和
Figure FDA0002514039680000053
分别为一阶矩估计和二阶矩估计的偏差校正，η为学习率，ε防止分母为零；
交叉熵代价函数公式如式8所示：
Figure FDA0002514039680000054
其中N为训练样本数，L为损失函数，M为类别数，
Figure FDA0002514039680000055
为第i个样本对类别c的标签，只能为0或1，pic为第i个样本预测为类别c的概率；
softmax函数公式如式9所示：
Figure FDA0002514039680000061
其中zi为第i类的预测值，zc为第c类的预测值，M为类别数。
9.如权利要求8所述的一种矿车车牌识别方法，其特征在于，所述卷积神经网络训练的具体过程为：收集标准车牌的31个省市汉字字符图像、10个数字字符图像、24个英文字符图像和自建车牌特殊字符图像组成训练集，并采用小批量梯度下降法进行训练，分别对汉字、数字、英文三类样本单独训练得到对应卷积神经网络。
CN202010470165.0A 2020-05-28 2020-05-28 一种矿车车牌识别方法 Active CN111709417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010470165.0A CN111709417B (zh) 2020-05-28 2020-05-28 一种矿车车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010470165.0A CN111709417B (zh) 2020-05-28 2020-05-28 一种矿车车牌识别方法

Publications (2)

Publication Number Publication Date
CN111709417A true CN111709417A (zh) 2020-09-25
CN111709417B CN111709417B (zh) 2023-09-22

Family

ID=72538340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010470165.0A Active CN111709417B (zh) 2020-05-28 2020-05-28 一种矿车车牌识别方法

Country Status (1)

Country Link
CN (1) CN111709417B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598005A (zh) * 2020-12-24 2021-04-02 深圳市信义科技有限公司 一种武警车牌字符分割方法、存储介质及计算机设备
CN112926591A (zh) * 2021-03-24 2021-06-08 安徽超视野智能科技有限公司 一种用于公路治超的违法汽车特征识别方法
CN113128507A (zh) * 2021-05-12 2021-07-16 锐捷网络股份有限公司 一种车牌识别方法、装置、电子设备及存储介质
CN113255663A (zh) * 2021-05-25 2021-08-13 世邦通信股份有限公司 一种基于垂直梯度的车牌区域提取方法、系统、终端及可读存储介质
CN114115300A (zh) * 2022-01-26 2022-03-01 上海伯镭智能科技有限公司 一种无人驾驶矿车的倾斜参数采集方法及装置
CN114332447A (zh) * 2022-03-14 2022-04-12 浙江大华技术股份有限公司 一种车牌矫正方法、车牌矫正装置和计算机可读存储介质
CN114863083A (zh) * 2022-04-06 2022-08-05 包头钢铁（集团）有限责任公司 一种车辆定位与尺寸测量的方法与系统
CN114937269A (zh) * 2022-05-05 2022-08-23 交通运输部水运科学研究所 一种基于英文和汉字联合的船舶号牌识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473517B1 (en) * 1999-09-15 2002-10-29 Siemens Corporate Research, Inc. Character segmentation method for vehicle license plate recognition
US20170090473A1 (en) * 2006-04-17 2017-03-30 General Electric Company Vehicle communication system
CN108416348A (zh) * 2018-01-29 2018-08-17 重庆邮电大学 基于支持向量机和卷积神经网络的车牌定位识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473517B1 (en) * 1999-09-15 2002-10-29 Siemens Corporate Research, Inc. Character segmentation method for vehicle license plate recognition
US20170090473A1 (en) * 2006-04-17 2017-03-30 General Electric Company Vehicle communication system
CN108416348A (zh) * 2018-01-29 2018-08-17 重庆邮电大学 基于支持向量机和卷积神经网络的车牌定位识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张立亚: "基于动目标特征提取的矿井目标监测", 《煤炭学报》 *
曾泉等: "基于SVM和BP神经网络的车牌识别系统", 《电子科技》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598005A (zh) * 2020-12-24 2021-04-02 深圳市信义科技有限公司 一种武警车牌字符分割方法、存储介质及计算机设备
CN112926591A (zh) * 2021-03-24 2021-06-08 安徽超视野智能科技有限公司 一种用于公路治超的违法汽车特征识别方法
CN113128507A (zh) * 2021-05-12 2021-07-16 锐捷网络股份有限公司 一种车牌识别方法、装置、电子设备及存储介质
CN113255663A (zh) * 2021-05-25 2021-08-13 世邦通信股份有限公司 一种基于垂直梯度的车牌区域提取方法、系统、终端及可读存储介质
CN114115300A (zh) * 2022-01-26 2022-03-01 上海伯镭智能科技有限公司 一种无人驾驶矿车的倾斜参数采集方法及装置
CN114115300B (zh) * 2022-01-26 2022-04-29 上海伯镭智能科技有限公司 一种无人驾驶矿车的倾斜参数采集方法及装置
CN114332447A (zh) * 2022-03-14 2022-04-12 浙江大华技术股份有限公司 一种车牌矫正方法、车牌矫正装置和计算机可读存储介质
CN114863083A (zh) * 2022-04-06 2022-08-05 包头钢铁（集团）有限责任公司 一种车辆定位与尺寸测量的方法与系统
CN114937269A (zh) * 2022-05-05 2022-08-23 交通运输部水运科学研究所 一种基于英文和汉字联合的船舶号牌识别方法及系统

Also Published As

Publication number Publication date
CN111709417B (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
CN111709417B (zh) 一种矿车车牌识别方法
CN110533684B (zh) 一种染色体核型图像切割方法
CN107545239B (zh) 一种基于车牌识别与车辆特征匹配的套牌检测方法
US8209172B2 (en) Pattern identification method, apparatus, and program
CN104050471B (zh) 一种自然场景文字检测方法及系统
CN109784342B (zh) 一种基于深度学习模型的ocr识别方法及终端
CN110796046A (zh) 基于卷积神经网络的智能钢渣检测方法和系统
CN113160192A (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN105809121A (zh) 多特征协同的交通标志检测与识别方法
CN110929713B (zh) 一种基于bp神经网络的钢印字符识别方法
CN109255326B (zh) 一种基于多维信息特征融合的交通场景烟雾智能检测方法
CN113158977B (zh) 改进FANnet生成网络的图像字符编辑方法
CN111539330A (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN111259893A (zh) 一种基于深度学习的智能工具管理方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN113313109A (zh) 一种荧光免疫层析试纸的半定量分析方法
CN112508857A (zh) 基于改进型Cascade R-CNN的铝材表面缺陷检测方法
CN115880566A (zh) 一种基于视觉分析的智能阅卷系统
CN118038515B (zh) 一种人脸识别方法
CN114387592A (zh) 一种复杂背景下字符定位和识别方法
CN118230354A (zh) 一种基于改进YOLOv5的复杂场景下手语识别方法
CN111914706B (zh) 一种文字检测输出结果质量检测和控制的方法与装置
CN110766001B (zh) 基于cnn和rnn的银行卡卡号定位与端到端识别方法
CN112926694A (zh) 基于改进的神经网络对图像中的猪只进行自动识别的方法
CN113822869B (zh) 一种基于机器视觉的透明软性包装袋静态检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant