CN112733851A - 一种基于卷积神经网络优化粮食仓库货车的车牌识别方法 - Google Patents

一种基于卷积神经网络优化粮食仓库货车的车牌识别方法 Download PDF

Info

Publication number
CN112733851A
CN112733851A CN202110045845.2A CN202110045845A CN112733851A CN 112733851 A CN112733851 A CN 112733851A CN 202110045845 A CN202110045845 A CN 202110045845A CN 112733851 A CN112733851 A CN 112733851A
Authority
CN
China
Prior art keywords
license plate
character
image
algorithm
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110045845.2A
Other languages
English (en)
Other versions
CN112733851B (zh
Inventor
陈冬英
林灵燕
黄淑燕
魏建崇
黄幼萍
袁历
刘秋芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Jiangxia University
Original Assignee
Fujian Jiangxia University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Jiangxia University filed Critical Fujian Jiangxia University
Priority to CN202110045845.2A priority Critical patent/CN112733851B/zh
Publication of CN112733851A publication Critical patent/CN112733851A/zh
Application granted granted Critical
Publication of CN112733851B publication Critical patent/CN112733851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Character Discrimination (AREA)

Abstract

本发明涉及一种基于卷积神经网络优化粮食仓库货车的车牌识别方法。包括:1)基于卷积神经网络的车牌识别算法:采用Haar特征的级联分类器实现对图像中车牌位置的粗定位;综合随机抽样一致化算法与Sobel算子实现精确定位;进行直方图均衡处理后,利用车牌字符分布特征的分割算法完成分割;使用keras搭建深度卷积神经网络对分割后的字符进行准确的识别。2)工程应用优化:在智能摄像头识别的基础上,增加一个车牌照片信息再处理的服务器,在服务器中架设算法软件,处理智能摄像头无法处理的照片。本发明方法能够对车牌进行有效定位,在保证鲁棒性良好前提下,准确性优于各传统算法,适应于当下交通中自动化、无人化管理,方便在特定场合对车辆管理。

Description

一种基于卷积神经网络优化粮食仓库货车的车牌识别方法
技术领域
本发明属于计算机视觉领域,具体涉及一种基于卷积神经网络优化粮食仓库货车的车牌识别方法,应用于收费停车场的无人化管理、不停车通过高速收费站、各类小区、校园机动车出入登记,特别是应用于优化改进现有粮食仓库货车车牌识别。
背景技术
在当下,随着道路基础建设的完善,城镇人口上升,人均机动车保有量也在不断提高,由此带来的交通管理问题、停车场管理问题、各类小区、学校机动车出入口管理问题也就变得急需被解决。
车牌识别系统(License Plate Recognition System,LPRS)是计算机视觉技术的典型应用场景之一。收费停车场无人化,不停车通过高速收费站,各类小区、校园的机动车出入登记管理等需求也急剧上升,而实现这些的关键正是车牌识别系统。自动收费停车系统将在机动车进入停车场时自动识别车牌号码与并记录车辆的进入时间,在开出停车场时查询该车实际停车时间,自动计费。LPRS的两个技术关键,一是如何从图像中精准定位车牌位置,二是字符识别。国内外技术人员对此也提出了很多的理论,并在实验室也达到了较高的准确率。但是在实际的应用场景中,这些理论的实际应用效果并不明显,主要原因在于实际场景的环境复杂性和不确定性。受外界环境的影响使得车牌定位的准确率在实际场景大大降低。这也就造成字符切割和字符识别的难度急剧上升了。而即使是较为准确的定位了车牌位置,外界环境对车牌字符的分割和识别的影响也还在。这些因素导致要设计一个具有较强通用性,更好鲁棒性的车牌识别系统难度较大。而车牌识别技术可以广泛应用于收费停车场无人化,交通管理自动化,不停车通过高速收费站;各类小区、校园机动车出入管理等场景,可以有效地降低人力成本,提高管理效率。所以对车牌识别系统的研究是必不可少的。
目前采用的车牌识别在停车场管理系统中的应用模式主要有三种:视频识别模式、地感线圈识别模式、视频+地感识别模式。视频识别模式不足之处是如果是没有车牌的车辆就无法识别,容易出现漏车。地感线圈识别模式不足之处是需要施工完成安装地感,具有工程量大。国内,上海理工大学王艳、谢广苏等学者提出了一种基于最大极值稳定区域(maximally stable extremal regions,MSER)和笔画宽度变换(stroke widthtransform,SWT)的车牌识别方法。该方法使用MSER和Canny边缘相与运算后得到MSER筛选得到区域,并在区域上做心态学操作,完成车牌定位。进行归一化后,进行模板匹配,采用HU不变矩以及网格特征完成汉字的识别,而后采用跳跃点方案来实现数字与字母的识别。吉林大学的康健新等学者提出基于HSV和投影方法相结合的车牌定位方法。在北京航空航天大学高校里的胡爱民等学者使用模板匹配技术开发的车牌识别系统方案,其准确率高达97%。由于卷积神经网络(CNN)能够避免对图像需要完成复杂的前期预处理,所以得到了广泛的应用。当下CNN作为许多科学领域中的一个研究热点。
又因为摄像头拍摄的照片,是作为车牌识别算法工程落地应用,基础数据来源。应用最广泛的安防行业对摄像头需求特别巨大,尤其是带智能识别的摄像头市场领域。随着城市化进程推进,国家政策支持,交通、公安、金融等行业领域对安防监控的需求量不断提高。由中储粮湖北分公司而得,当下该省库存政策性粮食约900万吨,分别于900多储存库点。收粮放粮期间较为忙碌,进出库区的粮车,平均每个库区一个月都有500来车次,以往都是采用人工称重,人工填入数据,存在较多漏铜,容易出现统计不准确的问题,且全省有多处粮库,数据信息无法做到及时反馈,对于上级监管部门来说,存在盲区,对于粮食安全有重大的危害。粮食存储对于环境温度湿度要求很高,如果库区环境温度控制不住极易造成粮食存储失败。粮食库区对于火灾防范要求高,无智能化管理,出现火情时无法及时发现,也无法及时呼叫灭火力量。随着社会各界智能化发展,对于粮库管理智能化管理的需求应运而生。本项目将所改进的车牌识别算法与该工程进行结合应用,具有重要的应用前景。
发明内容
本发明的目的在于克服传统的车牌识别由于包含车牌定位、字符切割及字符识别三个部分,存在着鲁棒性和精确性不兼容性的问题,因此提供一种基于卷积神经网络优化粮食仓库货车的车牌识别方法,不但克服了传统技术存在的不足,同时与实际工程应用相结合,解决已有架构出现的粮食货车车牌第二字母无法很好识别及因停车不准确造成的无法识别问题。
为实现上述目的,本发明的技术方案是:一种基于卷积神经网络优化粮食仓库货车的车牌识别方法,包括:
采用Haar特征的级联分类器实现对车牌图像中车牌位置的粗定位;而后,综合随机抽样一致化算法与Sobel算子实现车牌图像中车牌位置的精确定位;
对精确定位的车牌图像进行灰度化、直方图均衡化、自适应二值化处理后,检测字符轮廓,而后利用车牌字符分布特征的分割算法完成字符分割;
使用keras搭建深度卷积神经网络,并通过输入字符数据进行训练,构建字符识别模型,以对分割后的字符进行识别。
在本发明一实施例中,还包括:将所述方法应用于车牌图片再处理的服务器中,即在已有架构的智能摄像头识别的基础上,增加一个车牌图片再处理的服务器,在服务器中架设所述方法的相应算法软件,达到双重化识别的目的,以提高车牌图像整体识别准确率。
在本发明一实施例中,对车牌图像中车牌位置进行精确定位后,采用方向场的矫正算法,对车牌进行矫正。
在本发明一实施例中,所述综合随机抽样一致化算法与Sobel算子实现车牌图像中车牌位置的精确定位的具体实现方式如下:
上下边界拟合:
(1.1)通过对车牌图像的多次自适应二值化,形成不同的二值图像;
(1.2)每张二值化图像都通过OpenCV的Findcontours查找到可能包含字符的矩形框,并在一张图像画出所有的对角点,得到上下边样本点;
(1.3)基于上下边样本点,采用随机抽样一致化算法拟合上下边界;
左右边界的检测:
(2.1)将灰度图进行均衡化后,通过Sobel算子找到垂直边缘;
(2.2)对垂直方向进行统计求和,画出直方图;
(2.3)基于直方图,确定左右边界。
在本发明一实施例中,(2.1)中,通过Sobel算子找到垂直边缘的方式为:通过对车牌图像做sobel梯度求导后,做垂直投影,得到垂直分布直方图,而后通过分析垂直直方图两端的波峰与波谷情况,进而确定车牌图像中字符开始与结束的位置,即垂直边缘。
在本发明一实施例中,所述利用车牌字符分布特征的分割算法完成字符分割的具体实现方式如下:
(1)基于车牌图像中的字符宽度和字符面积特征,切分粘连字符:若字符轮廓宽度大于预定像素,字符轮廓面积大于预设面积值时,认为该字符轮廓存在粘连字符,切分粘连字符;
(2)基于车牌图像中的字符宽度特征进行矩形区域重新定型:若字符轮廓宽度小于预设像素时,认为该字符轮廓存在分离情况,需重新定型;
(3)基于车牌图像中的字符与字符之间间距来剔除多余切割点。
相较于现有技术,本发明具有以下有益效果:本发明能够对车牌进行有效定位,在保证鲁棒性良好前提下,准确性优于各传统算法,将其与当下实际的工程应用相结合,在工程实施优化后,进一步提升了工程应用效果,对智能化库区的建设提高了智能化水平,减少了人工干预,进一步达到原始项目建设目标。工程中创造性的应用双车牌识别算法,互相配合,利用两者优点结合共同提高工程实际效果,为后续库区的建设提供了建设模板。
附图说明
图1为车牌识别系统模块图。
图2为优化后的粮食仓库车牌识别架构。
图3为车牌识别算法流程图。
图4为Haar特征种类。
图5为LeNet5神经网络。
图6为工程应用车牌识别优化流程图。
具体实施方式
下面结合附图,对本发明的技术方案进行具体说明。
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明提供一种基于卷积神经网络优化粮食仓库货车的车牌识别方法,包括:
采用Haar特征的级联分类器实现对车牌图像中车牌位置的粗定位;而后,综合随机抽样一致化算法与Sobel算子实现车牌图像中车牌位置的精确定位;
对精确定位的车牌图像进行灰度化、直方图均衡化、自适应二值化处理后,检测字符轮廓,而后利用车牌字符分布特征的分割算法完成字符分割;
使用keras搭建深度卷积神经网络,并通过输入字符数据进行训练,构建字符识别模型,以对分割后的字符进行识别。
还包括:将所述方法应用于车牌图片再处理的服务器中,即在已有架构的智能摄像头识别的基础上,增加一个车牌图片再处理的服务器,在服务器中架设所述方法的相应算法软件,达到双重化识别的目的,以提高车牌图像整体识别准确率。
以下为本发明的具体实现过程。
本发明一种基于卷积神经网络优化粮食仓库货车的车牌识别方法,包括以下部分:
1、车牌定位部分:主要分为三个部分来完成,(1)车牌检测部分使用基于HAAR特征的级联分类器;(2)去粗取精,在粗定位的基础上,通过上下边框,左右边框两次拟合,精确定位车牌位置,使用的技术为:多次自适应二值化图像,接着进行连通域分析,确定字符位置,使用随机抽样一致化算法拟合上下边界;(3)车牌矫正处理,使用方向场的矫正算法,对车牌进行调整。
2、字符切割部分:通过对精定位图片进行灰度化,之后通过灰度直方图均衡化,自适应二值化图像,再检测字符轮廓,之后根据车牌字符特点进行字符切割。
3、字符识别部分:使用卷积神经网络,通过预训练模型继续喂入字符数据做34类数字和大写字母训练(我国车牌没有大写字母I和大写字母O),最后将训练的模型保存下来,用于后续进行字符预测。
4、优化已有的粮食仓库识别架构:在已有架构的智能摄像头识别的基础上,增加一个车牌照片信息再处理的服务器,在服务器中架设算法软件,处理智能摄像头无法处理的照片,最后再将所有数据上传到智能库区数据中心,通过本算法的优点弥补智能识别摄像头的不足,采用双重化识别提高整体识别准确率。
具体地本发明方法采用的车牌识别系统模块如图1所示,工程应用中优化后的车牌识别架构如图2所示。
车牌识别算法部分:该部分实现包括分三个模块:一是车牌定位模块;二字符分割模块;三是字符识别模块。车牌定位模块通过对图像进行灰度化处理、模糊处理、HAAR特征级联类器探测、车牌边缘精定位等操作实现对车牌区域的提取;字符分割模块则是通过对车牌进行灰度图像均值化处理,自适应二值化处理,文字边缘检测等手段,结合车牌的字符分布特征从车牌上分割字符;字符识别模块则是通过字符数据训练一个卷积神经网络实现字符识别。具体的车牌识别算法流程图如图3所示。
而后在已有架构的智能摄像头识别的基础上,增加一个车牌照片信息再处理的服务器,在服务器中架设本发明的车牌识别算法软件,处理智能摄像头无法处理的照片,最后再将所有数据上传到智能库区数据中心,通过本发明方法的优点弥补智能识别摄像头的不足,采用双重化识别提高整体识别准确率。
具体的实现步骤如下:
第一步、车牌检测
车牌检测与精确定位,分为两个部:一是基于Haar特征的级联分类器,二是用于上下边界拟合的精定位算法以及车牌矫正。
1、Haar特征
Haar矩形特征是用于物体识别的一种灰度图像的数字特征,最早是由Papageorgiou等人用于人脸检测时提出的。Haar特征可以有效反映图像的灰度变化,拥有较高的空间分辨率,可以有效提取图像特征,形成特征值。最初的Haar特征有四类,如图4所示:
其中A,B分别表示的是水平方向和竖直方向上的特征,特征值为对白色区域求和减去黑色区域求和。C包含了3个矩形区域,特征值为白色区域求和减去两倍黑色区域求和。D则是计算对角方向上的梯度。对于一副图像而言,通过改变模板的大小和位置,通过矩形窗口的滑动,生成矩形特征。根据检测目标的特征的不同,Haar特征可以分为三类:直线模板、环形模板、对角模板。在识别过程中,Haar矩形特征通过在图像上的滑动,完成对整张图像的Haar特征值计算。
2、车牌检测
该部分使用OpenCV中基于Haar特征的级联分类器实现,在将图像送入分类器之前,对图像进行灰度化与高斯模糊。级联分类器的输出为原图像中,车牌的左上角坐标和车牌区域的宽度与高度。
第二步、车牌精确定位算法与矫正
1、上下边界拟合
上下边界拟合的基本思路:
(1)通过对车牌图像的多次自适应二值化,形成不同的二值图像;
(2)每张二值化图像都可以通过OpenCV的Findcontours查找到可能包含字符的矩形框,在一张图上画出所有的对角点;
(3)由上述两个步骤能够产生足够的样本点。通过上下边样本点采用随机抽样一致化算法拟合上下边界。
其中,随机抽样一致化算法是基于最小二乘法的一种具有高度抗干扰能力的拟合算法。算法流程:
(1)随机选取若干样本点,设为k;
(2)基于若干样本点,由最小二乘法拟合出直线方程f;
(3)计算所有样本点与该拟合方程f的估计误差;
(4)设置误差阈值sigma,选出小于误差阈值的样本点;
(5)重复1-4的过程,选取足够的样本点;
(6)重复5的过程。最终找到的拟合方程f,即为最优方案。
算法流程中的k参数选取,sigma参数与迭代次数的选取,针对不同的样本数据有不同的选择。
2、左右边界的检测
左右边界确定的基本思路如下:
(1)将灰度图进行均衡化后,通过Sobel算子找到垂直边缘;
(2)对垂直方向进行统计求和,画出直方图;
(3)对直方图两边进行处理可以确定左右边界。
其中,Sobel算子被用于提取图像中的边缘信息。Sobel算子的原理对传入的图像做像素卷积运算,实质是求解图像的梯度值。
1)水平方向求导算子
Figure BDA0002897204470000071
2)垂直方向求导算子
Figure BDA0002897204470000072
3)通过水平方向和垂直方向求解近视梯度
Figure BDA0002897204470000073
本发明中,sobel算子只应用于垂直边缘的检测。因此在使用时,只使用垂直方向的求导算子。
3、垂直边缘的确定
通过对车牌图像做sobel梯度求导后,做垂直投影,得到垂直分布直方图。通过分析垂直直方图两端的波峰与波谷情况,进而确定车牌字符的开始与结束位置。
第三步、字符分割
通过分析由前级产生的车牌图片,以及根据中国车牌样式的字符分布特点,本设计采用基于先验字符分布特点的字符分割算法。
字符分割步骤如下:
(1)对图片进行放缩,放缩为标准车牌大小(440,140),在进行灰度化、高斯模糊,得到去噪后的图片。在这个基础上,进行直方图均衡化,降低环境光对后续处理的进一步影响。其次,对均衡化的图片做自适应二值化得到二值化图像,在二值化图像的基础上进行简单的粘连字符分割,得益于前级处理模块的处理效果,该部分只做简单的判断,根据某列上,白色像素点的数量进行断开即可;
(2)对处理完成的二值化图像,使用OpenCV内置的findcontours函数查找字符轮廓,并进行简单的字符框过滤;
(3)基于字符分布特征的后续处理。具体包括如下步骤:
1)字符宽度和字符面积过滤。输入的车牌尺寸被调整为(440*140)。因此正常字符宽度应该大于45个像素宽,因涉及数字‘1’的存在,当轮廓宽度大于13像素,小于90像素时接受。轮廓高度应大于115,轮廓面积大于1500并且小于11000时接受该轮廓为单字符轮廓。考虑到粘连字符分离不成功的情况下,若某个轮廓宽度大于90像素,面积大于11000时,根据车牌字符特征,认为此处存在粘连字符,进行切分,切分根据字符特征进行;
2)根据字符的宽度特征进行矩形区域重新定型。规则为:当宽度小于35时,认为该字符为数字‘1’,裁剪其宽度值为40。由于中文汉字可能存在的一个字分离的情况,如“川”,采取当其切割位置小于60时,裁剪宽度为60。其他情况认为字符切割正常,裁剪宽度为58;
3)经过上述处理,已经排除绝大部分情况,然而对于某些情况下,还是存在切割字符过少,或过多的情况。处理办法为,若字符与字符之间的距离宽度差小于35个像素点的字符,存在切割过多,进行剔除多余的切割点。
第四步、卷积网络(CNN)设计
该部分由两个卷积网络构成。参考LeNet-5网络,其结构如图5所示,分别设计用于中文字符和英文与数字字符识别。基本的网络结构与训练细节如下:
(1)设计输入字符图像为单通道灰度图,经过直方图均衡以及归一化处理的字符图像;
(2)输入图像大小为(23*23)。输出为65类(实际上,对于英文和数字识别模型,输出只有34类),具体的参数如表1所示,三层设计如下:
1)第一层设计细节:卷积层使用数量为32个大小5x5,滑动步长为1的卷积核,激活函数使用Rule,池化层使用大小2x2的最大值池化方案,为提高模型的泛化能力,加入0.25的Dropout比例数。
2)第二层设计细节:由第一层经过卷积后输出的图像大小为(23-5)/1+1=19,经过2x2的池化层后,图像大小为9x9大小。设计第二层卷积层使用数量32个,大小3x3,滑动步长为1的卷积核。激活函数为Rule。同样经过2x2大小MaxPooling。
3)第三层设计细节。首先经过第二层卷积和池化运算后,输出的图像大小为3x3。因此设计第三层卷积层的卷积核个数为512个,大小3x3,无池化。此时输入为1x1的特征点。之后为一个包含512个激活函数为Rule的神经元构成的全连接层,并使用0.5比例的Dropout。输入最后的输出层,输出层神经元个数为分类器分类个数65;
表1 卷积神经网络参数
Figure BDA0002897204470000091
(3)训练时使用损失函数为多分类的对数损失函数,优化器方面使用Adam,默认参数设置。Batch为32,epoch为1000次。
第五步、将本发明方法应用于粮食仓库货车识别
该工程具体的实现流程图如图6。具体实现步骤如下:
(1)在该工程应用中,运粮货车进库前经停在智能摄像头前,经拍照后,进入库区卸粮,或从库区装粮出库;
(2)该项目中应用的摄像头型号为:DS-TCG225
(3)参照早期方案进行车停位置划线,绘制,系统设置拍照区域;
(3)智能摄像头拍照后自动识别,将人工触发原始照片实时抓拍识别的车牌数据,识别的时间数据等信息,通过开发的插件从一体化机,上传到一个车牌信息处理服务器,将智能车牌识别摄像头无法识别的照片在信息处理服务器中架设本文研究的算法程序软件进行再次车牌识别;
(4)上述步骤后再将信息处理服务器最终的数据上传到智能库区数据中心;
(5)数据中心根据功能应用相应的车牌数据,实现智能库区管理功能。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。

Claims (5)

1.一种基于卷积神经网络优化粮食仓库货车的车牌识别方法,其特征在于,包括:
采用Haar特征的级联分类器实现对车牌图像中车牌位置的粗定位;而后,综合随机抽样一致化算法与Sobel算子实现车牌图像中车牌位置的精确定位;
对精确定位的车牌图像进行灰度化、直方图均衡化、自适应二值化处理后,检测字符轮廓,而后利用车牌字符分布特征的分割算法完成字符分割;
使用 keras 搭建深度卷积神经网络,并通过输入字符数据进行训练,构建字符识别模型,以对分割后的字符进行识别。
2.根据权利要求1所述的一种基于卷积神经网络优化粮食仓库货车的车牌识别方法,其特征在于,还包括:将所述方法应用于车牌图片再处理的服务器中,即在已有架构的智能摄像头识别的基础上,增加一个车牌图片再处理的服务器,在服务器中架设所述方法的相应算法软件,达到双重化识别的目的,以提高车牌图像整体识别准确率。
3.根据权利要求1所述的一种基于卷积神经网络优化粮食仓库货车的车牌识别方法,其特征在于,对车牌图像中车牌位置进行精确定位后,采用方向场的矫正算法,对车牌进行矫正。
4.根据权利要求1所述的一种基于卷积神经网络优化粮食仓库货车的车牌识别方法,其特征在于,所述综合随机抽样一致化算法与Sobel算子实现车牌图像中车牌位置的精确定位的具体实现方式如下:
上下边界拟合:
(1.1)通过对车牌图像的多次自适应二值化,形成不同的二值图像;
(1.2)每张二值化图像都通过OpenCV的Findcontours查找到可能包含字符的矩形框,并在一张图像画出所有的对角点,得到上下边样本点;
(1.3)基于上下边样本点,采用随机抽样一致化算法拟合上下边界;
左右边界的检测:
(2.1)将灰度图进行均衡化后,通过Sobel算子找到垂直边缘;
(2.2)对垂直方向进行统计求和,画出直方图;
(2.3)基于直方图,确定左右边界。
5.根据权利要求1所述的一种基于卷积神经网络优化粮食仓库货车的车牌识别方法,其特征在于,所述利用车牌字符分布特征的分割算法完成字符分割的具体实现方式如下:
(1)基于车牌图像中的字符宽度和字符面积特征,切分粘连字符:若字符轮廓宽度大于预定像素,字符轮廓面积大于预设面积值时,认为该字符轮廓存在粘连字符,切分粘连字符;
(2)基于车牌图像中的字符宽度特征进行矩形区域重新定型:若字符轮廓宽度小于预设像素时,认为该字符轮廓存在分离情况,需重新定型;
(3)基于车牌图像中的字符与字符之间间距来剔除多余切割点。
CN202110045845.2A 2021-01-14 2021-01-14 一种基于卷积神经网络优化粮食仓库货车的车牌识别方法 Active CN112733851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110045845.2A CN112733851B (zh) 2021-01-14 2021-01-14 一种基于卷积神经网络优化粮食仓库货车的车牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110045845.2A CN112733851B (zh) 2021-01-14 2021-01-14 一种基于卷积神经网络优化粮食仓库货车的车牌识别方法

Publications (2)

Publication Number Publication Date
CN112733851A true CN112733851A (zh) 2021-04-30
CN112733851B CN112733851B (zh) 2023-08-18

Family

ID=75592881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110045845.2A Active CN112733851B (zh) 2021-01-14 2021-01-14 一种基于卷积神经网络优化粮食仓库货车的车牌识别方法

Country Status (1)

Country Link
CN (1) CN112733851B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873442A (zh) * 2021-09-08 2021-12-31 宁波大榭招商国际码头有限公司 一种外集卡定位方法
CN116343232A (zh) * 2023-04-03 2023-06-27 内蒙古师范大学 一种基于预分类的古籍数学符号识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101408933A (zh) * 2008-05-21 2009-04-15 浙江师范大学 基于粗网格特征提取和bp神经网络的车牌字符识别方法
CN103870803A (zh) * 2013-10-21 2014-06-18 北京邮电大学 一种基于粗定位与精定位融合的车牌识别方法和系统
CN109740603A (zh) * 2019-01-21 2019-05-10 闽江学院 基于cnn卷积神经网络下的车辆字符识别方法
CN110866430A (zh) * 2018-08-28 2020-03-06 上海富瀚微电子股份有限公司 一种车牌识别方法及装置
CN111507337A (zh) * 2020-04-10 2020-08-07 河海大学 基于混合神经网络的车牌识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101408933A (zh) * 2008-05-21 2009-04-15 浙江师范大学 基于粗网格特征提取和bp神经网络的车牌字符识别方法
CN103870803A (zh) * 2013-10-21 2014-06-18 北京邮电大学 一种基于粗定位与精定位融合的车牌识别方法和系统
CN110866430A (zh) * 2018-08-28 2020-03-06 上海富瀚微电子股份有限公司 一种车牌识别方法及装置
CN109740603A (zh) * 2019-01-21 2019-05-10 闽江学院 基于cnn卷积神经网络下的车辆字符识别方法
CN111507337A (zh) * 2020-04-10 2020-08-07 河海大学 基于混合神经网络的车牌识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873442A (zh) * 2021-09-08 2021-12-31 宁波大榭招商国际码头有限公司 一种外集卡定位方法
CN113873442B (zh) * 2021-09-08 2023-08-04 宁波大榭招商国际码头有限公司 一种外集卡定位方法
CN116343232A (zh) * 2023-04-03 2023-06-27 内蒙古师范大学 一种基于预分类的古籍数学符号识别方法

Also Published As

Publication number Publication date
CN112733851B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
Wei et al. Multi-vehicle detection algorithm through combining Harr and HOG features
Asha et al. Vehicle counting for traffic management system using YOLO and correlation filter
Polishetty et al. A next-generation secure cloud-based deep learning license plate recognition for smart cities
CN111382704B (zh) 基于深度学习的车辆压线违章判断方法、装置及存储介质
US10198657B2 (en) All-weather thermal-image pedestrian detection method
CN107239778B (zh) 高效准确的车牌识别方法
CN108830196A (zh) 基于特征金字塔网络的行人检测方法
CN107145889A (zh) 基于具有RoI池化的双CNN网络的目标识别方法
CN101872416A (zh) 对道路图像进行车牌识别的方法和系统
Khalifa et al. Malaysian Vehicle License Plate Recognition.
CN109726717A (zh) 一种车辆综合信息检测系统
CN104978567A (zh) 基于场景分类的车辆检测方法
CN103824081A (zh) 一种室外恶劣光照条件下的快速鲁棒交通标志检测方法
CN106919902A (zh) 一种基于cnn的车辆识别和轨迹追踪方法
CN105303153A (zh) 一种车辆车牌识别方法及装置
Shujuan et al. Real-time vehicle detection using Haar-SURF mixed features and gentle AdaBoost classifier
CN112686248B (zh) 证件增减类别检测方法、装置、可读存储介质和终端
CN112733851B (zh) 一种基于卷积神经网络优化粮食仓库货车的车牌识别方法
CN110969164A (zh) 基于深度学习端对端的低照度成像车牌识别方法及装置
CN112784834A (zh) 一种自然场景下的车牌自动识别方法
CN108345835B (zh) 一种基于仿复眼感知的目标识别方法
Xu et al. Convolutional neural network based traffic sign recognition system
CN113537211A (zh) 一种基于非对称iou的深度学习车牌框定位方法
CN112053407B (zh) 一种交通执法影像中基于ai技术的车道线自动检测方法
Karungaru et al. Road traffic signs recognition using genetic algorithms and neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant