CN110232381B - 车牌分割方法、装置、计算机设备及计算机可读存储介质 - Google Patents
车牌分割方法、装置、计算机设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110232381B CN110232381B CN201910529486.0A CN201910529486A CN110232381B CN 110232381 B CN110232381 B CN 110232381B CN 201910529486 A CN201910529486 A CN 201910529486A CN 110232381 B CN110232381 B CN 110232381B
- Authority
- CN
- China
- Prior art keywords
- image
- license plate
- module
- sample
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000011218 segmentation Effects 0.000 title claims abstract description 44
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000010801 machine learning Methods 0.000 claims abstract description 10
- 230000005764 inhibitory process Effects 0.000 claims abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 238000009499 grossing Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 230000001629 suppression Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008602 contraction Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 description 24
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000012015 optical character recognition Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 108010001267 Protein Subunits Proteins 0.000 description 2
- 241000124033 Salix Species 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000005299 abrasion Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例属于车牌分割技术领域，涉及一种车牌分割方法，实时采集车辆的车牌图像，获得第一车牌图像；对第一车牌图像感兴趣区域的进行提取及预处理，获得第二车牌图像；分类第二车牌图像为正样本、负样本、中文样本；加载及调用级联分类器模型识别出车牌字符图像；对车牌字符图像使用预设训练窗口大小滑动；基于caffe机器学习获取正样本、负样本、中文样本的当前概率，保存正样本、负样本、中文样本的概率；对比相邻的概率，当相邻概率中包含正样本和负样本或中文样本和负样本概念大于预设的阈值，并且连续包含则是合法的字符；对合法的字符采用非极大值抑制方法获取到边界；对边界进行扩展或收缩去除无用的区域，得到单个字符区域集合。
Description
技术领域
本发明涉及车牌分割技术领域，尤其涉及一种车牌分割方法、装置、计算机设备及计算机可读存储介质。
背景技术
智能交通系统(ITS)对人们生活有越发重要的影响。智能交通系统充分利用先进技术改善交通的安全性和便利性。智能交通系统应用广泛，比如，随着人们安全意识的增强，私人区域会使用ITS对进出的车辆实现监控；交通部门利用ITS对违规车辆实现监控等等。车牌是车辆的唯一识别符，智能交通系统的使用和推广必须依赖于车牌的识别。车牌分割主要包含三个步骤：车牌定位，字符分割，字符识别。目前字符分割方法很多，具体包括：
1)OCR(optical character recognition)---此方法对识别机器印刷的字符有很高的分割准确率和效率。对于车牌字符分割，如果在很好的环境条件，OCR也有很好的准确率和效率。但是，对环境要求过高，局限了这种方法的推广使用
2)面积投影法(可以排除细小的噪声，面积大的噪声容易形成伪字符区)，轮廓投影法(可以排除较大的噪声，分散的小噪声容易形成伪字符区)。在理想条件(无干扰)时，综合运用以上两种方法，可以得到理想的分割效果，但是现场充满了各种干扰(光线，噪声)，使得图像质量受到很大影响。
3)模板匹配法。对车牌图像尺寸要求很高，车牌稍微变形就会导致字符分割错误。但是对字符黏连和柳钉干扰不害怕。
4)垂直投影分割法，对变形不严重的车牌可以很好分割，但是对字符黏连和柳钉以及车牌左右边框很敏感。
5)基于连通域思想的垂直切分方法。对柳钉不敏感，但是对字符粘连很面干。
6)聚类分析法：可以很好解决汉字不连通的问题，解决车牌字符分割中存在的噪声感染，车牌磨损造成的字符粘连难题。不足：执行时间慢，对车牌的宽度有限制。
发明内容
本申请实施例的目的在于提出一种车牌分割方法、装置，其主要目的在于环境不好情况下，实现车牌字符分割也有比较高的准确率和效率。
为了解决上述技术问题，本申请实施例提供一种车牌分割方法，采用了如下所述的技术方案：一种车牌分割方法，该方法包括：
实时采集车辆的车牌图像，获得第一车牌图像；
对所述第一车牌图像感兴趣区域的进行提取及预处理，获得第二车牌图像；
分类所述第二车牌图像为正样本、负样本、中文样本；
加载及调用级联分类器模型识别出车牌字符图像；
对车牌字符图像使用预设训练的窗口大小滑动；
基于caffe机器学习获取正样本、负样本、中文样本的当前概率，并保存得到的正样本、负样本、中文样本的概率；
对比相邻的概率，当相邻概率中包含正样本和负样本或中文样本和负样本概念大于预设的阈值，并且连续包含则是合法的字符；
对合法的字符采用非极大值抑制方法获取到边界；及
对边界进行扩展或收缩去除无用的区域，得到单个字符区域集合。
进一步的，所述对所述第一车牌图像感兴趣区域的进行提取及预处理，获得第二车牌图像的步骤具体包括：
对所述第一车牌图像感兴趣区域的进行提取，得到目标区域图像；
对目标区域图像做运动特征目标检测，得到运动特征目标图像；
对运动特征目标图像进行高斯模糊降噪处理，调整高斯参数，选择合适的高斯核，平滑图像，得到高斯模糊降噪图像；
对高斯模糊降噪图像进行阈值化，匹配HSV的范围，保存匹配颜色，得到第二车牌图像。
进一步地，每一级联分类器的算法为：
1)使用Haar-like特征做检测；
2)使用积分图对应用到检测器的特征进行快速计算；
3)使用AdaBoost学习算法从巨大的Haar-like特征中挑选出少量至关重要的特征。
进一步地，所述对边界进行扩展或收缩去除无用的区域，得到单个字符区域集合的步骤具体包括：
获取列像素为0和非0的数量；
判断列像素为0的比例是否大于95％；
当列像素为0的比例大于95％，则认为没有切到边缘，向内收缩1像素；及
当列像素为0的比例小于95％，则认为切到了边缘，则向外扩张1像素。
为了解决上述技术问题，本申请实施例还提供一种车牌分割装置，采用了如下所述的技术方案：一种车牌分割装置，采集模块、提取及预处理模块、分类模块、加载及调用模块、窗口滑动模块、第一获取模块、判断模块、第二获取模块及处理模块，其中
所述采集模块，用于实时采集车辆的车牌图像，获得第一车牌图像；
所述提取及预处理模块，用于对所述第一车牌图像感兴趣区域的进行提取及预处理，获得第二车牌图像；
所述分类模块，用于分类所述第二车牌图像为正样本、负样本、中文样本；
所述加载及调用模块，用于加载及调用级联分类器模型识别出车牌字符图像；
所述窗口滑动模块，用于对车牌字符图像使用预设训练的窗口大小滑动；
所述第一获取模块，用于基于caffe机器学习获取正样本、负样本、中文样本的当前概率，并保存得到的正样本、负样本、中文样本的概率；
所述判断模块，用于对比相邻的概率，当相邻概率中包含正样本和负样本或中文样本和负样本概念大于预设的阈值，并且连续包含则是合法的字符；
所述第二获取模块，用于对合法的字符采用非极大值抑制方法获取到边界；及
所述处理模块，用于对边界进行扩展或收缩去除无用的区域，得到单个字符区域集合。
进一步的，所述提取及预处理模块包括提取子模块、检测子模块、平滑子模块及匹配子模块，其中：
所述提取子模块，用于对所述第一车牌图像感兴趣区域的进行提取，得到目标区域图像；
所述检测子模块，用于对目标区域图像做运动特征目标检测，得到运动特征目标图像；
所述平滑子模块，用于对运动特征目标图像进行高斯模糊降噪处理，调整高斯参数，选择合适的高斯核，平滑图像，得到高斯模糊降噪图像；及
所述匹配子模块，用于对高斯模糊降噪图像进行阈值化，匹配HSV的范围，保存匹配颜色，得到第二车牌图像。
进一步地，每一级联分类器的算法为：
1)使用Haar-like特征做检测；
2)使用积分图对应用到检测器的特征进行快速计算；
3)使用AdaBoost学习算法从巨大的Haar-like特征中挑选出少量至关重要的特征。
述处理模块包括有获取子单元、判断子单元、收缩子模块及扩张子模块，
所述获取子模块，用于获取列像素为0和非0的数量；
所述判断子模块，用于判断列像素为0的比例是否大于95％；
所述收缩子模块，用于当列像素为0的比例大于95％，则认为没有切到边缘，向内收缩1像素；及
所述扩张子模块，用于当列像素为0的比例小于95％，则认为切到了边缘，则向外扩张1像素。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现以上车牌分割方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现以上车牌分割方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：本发明采用车牌字符的图片使用训练窗口大小滑动，再使用机器学习得到当前的概率，使用非极大值抑制方法得到边界，对边界进行扩展或收缩去除无用区域，得到单个字符区域集合，进而识别每个字符。此方法提高字符分割的准确率和效率。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2根据本申请的车牌分割方法的一个实施例的流程图；
图3是本发明的一特征模板；
图4是本发明一积分图计算。
图5是图2中步骤S220的一种具体实施方式的流程图；
图6是根据本申请的车牌分割装置的一个实施例的结构示意图；
图7是图6所示提取及预处理模块一种具体实施方式的结构示意图；
图8是根据本申请的计算机设备的一个实施例的结构示意图。
附图标记：
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的车牌分割方法一般由服务器/终端设备执行，相应地，车牌分割装置一般设置于服务器/终端设备中。
请参考图2，示出了根据本申请的车牌分割方法的一个实施例的流程图。所述的车牌分割方法，包括以下步骤：
步骤210，实时采集车辆的车牌图像，获得第一车牌图像；
在本实施例中，通过安装摄像头等拍摄车辆的车牌图像。
步骤220，对所述第一车牌图像感兴趣区域的进行提取及预处理，获得第二车牌图像；
在本实施例中，在第一车牌图像上选取合适的坐标区域作为目标区域，比如[0,0,120,120]，分别对应的是[左，上，宽，高]。选取感兴趣区域作为目标区域可以减少计算量，提高效率。用帧间差分法在选取的目标区域上检测运动目标。用高斯模糊对图像去噪，调整高斯参数，选择合适的高斯核，平滑图像。为下一步阈值化图像做准备。为了进一步较少计算量，对图像进行阈值化，匹配HSV的范围，不在范围内的设置为纯黑，否则在范围内的颜色。
步骤S230，分类所述第二车牌图像为正样本、负样本、中文样本；
步骤S240，加载及调用级联分类器模型识别出车牌字符图像；
在本实施例中，级联分类器将很多个强分类器由简单到复杂排列，通过训练，使得每个强分类器均有很高的检测率，降低错误识别率。级联分类器每一层都是一个强分类器，这些分类器形成一种多层分类结构。调整分类器的参数，可以使得每一层都通过几乎全部的车牌样本，而拒绝大量的非车牌样本，从而在有可能存在车牌的区域花费较多时间，降低总体计算时间。
级联分类器的检测过程如下：输入图片，将图片划分为多块，也就是划分为一个个的子窗口，每个子窗口大小为20*20左右，对每个子窗口进行检测。最后输出大量的子窗口图像，这些子窗口图像经过筛选式级联分类器会不断地被每个节点筛选，抛弃或通过。检测过程的整体结构就是一个退化的决策树结构。只有被前一层的分类器判别为车牌图像的子窗口，才会被传到下一个分类器，出发其进行处理；如果被判断为非车牌，就结束对该子窗口的检测，检测下一个子窗口。这样的级联方式，提高了车牌定位算法准确率低。在本实施例中，级联分类器算法如下：1)使用Haar-like特征做检测；2)使用积分图对应用到检测器的特征进行快速计算；3)使用AdaBoost学习算法从巨大的Haar-like特征中挑选出少量至关重要的特征；4)以一种级联的方式组合分类器，提高准确率。
特征模板内有白色和黑色两种矩阵，并定义该模板的特征为黑色矩阵像素和减去白色矩阵像素和。通过改变特征模板的大小和位置，可在图像子窗口中穷举出大量的特征。
加载级联分类器模型，级联分类器算法如下：1)使用Haar-like特征做检测；2)使用积分图对应用到检测器的特征进行快速计算；3)使用AdaBoost学习算法从巨大的Haar-like特征中挑选出少量至关重要的特征；4)以一种级联的方式组合分类器，提高准确率。特征模板内有白色和黑色两种矩阵，并定义该模板的特征为黑色矩阵像素和减去白色矩阵像素和。通过改变特征模板的大小和位置，可在图像子窗口中穷举出大量的特征。
请参见图3，A和B是矩阵特征，C是三矩阵特征，D是四矩阵特征，对于一个矩形，只要确定其左上顶点A(x1，y1)和右下顶点B(x2，y2)两个坐标，这个矩形就能够被确定的。如果矩形还满足下面两个条件(被称为(s,t)条件，满足(s,t)条件的矩形被称为条件矩形)：1.x方向边长必须能被自然数s整除；2.y方向边长必须能够被自然数t整除。在m*m子窗口中，满足(s,t)条件的所有矩形的数量为：
依据上述公式能够推断出一个子窗口中的特征总数量，m×m子窗口中特征总数量等于所选特征模板的特征数量之和。因此，给定一个m×m大小的子窗口，可以计算该子窗口包含的矩阵特征数量。
利用积分图计算矩形特征值，以图3中的B为例，如图4所示，此特征模板的特征值为区域A的像素值-区域B的像素值，由上述区域的积分图运算，区域A的像素值＝ii(5)+ii(1)-ii(2)-ii(4)，区域B的像素值＝ii(6)+ii(12)-ii(23)-ii(5)，所以此特征模板的特征值为[ii(5)-ii(4)]+[ii(3)-ii(2)]-[ii(2)-ii(1)]-[ii(6)-ii(5)]，可知，矩形特征的特征值计算只于此特征端点的积分图有关，与坐标位置无关。所以通过计算特征矩形端点的积分图，再进行简单的加减运算，就可以得到特征值。正因为如此，特征的计算速度大大提高，也提高了目标的检测速度。
训练一个弱分类器h(x,f,p,θ)的过程实际上就是在寻找特征f的最优阈值θ，使得弱分类器对所有样本的判断误差最低。级联分类器包括训练体系和检测体系。级联分类器训练过程如下：
1.预先选定每一层的最大可接受误检率fpr,和每一层最小可接受的检测率TRP；
2.设定系统整体的可接受误检率FPRtarget；
3.初始化，FPR＝1，TRP＝1；
4.循环，如果当前FPR>FPRtarget,添加一层adaboost分类器，如果该分类器训练过程中没有达到该层最大误检率就继续添加新特征，添加新特征时减低阈值，使分类器的检测率大于给定值，然后更新TPR＝TPRi*TPR，FPR＝FPRi*FPR；
每一级分类器使用的训练集是上一级分类器判定正确的样本，而其中的错分的被当作负样本。这使得下一级的分类器更关注哪些更难区分的样本。
步骤S250，对车牌字符图像使用预设训练的窗口大小滑动；
在本实施例中，滑动窗口针对图像的算法的一般描述是:在规模为W×H的图像中，按一定规律移动w×h的窗口(W>>w，H>>h)，对窗口内像素点的像素值进行一系列运算，运算结束后窗口向右或向下移动一步，直到完成对整幅图像的处理，是按照列移动1像素来做的。
步骤S260，基于caffe机器学习获取正样本、负样本、中文样本的当前概率，并保存得到的正样本、负样本、中文样本的概率；
在本实施例中，机器学习使用的是caffe，它的具体说明如下。
Caffe的卷积原理如下：
Caffe中的卷积计算是将卷积核矩阵和输入图像矩阵变换为两个大的矩阵A与B，然后A与B进行矩阵相乘得到结果C(利用GPU进行矩阵相乘的高效性)，三个矩阵的说明如下：
(1)在矩阵A中
M为卷积核个数，K＝k*k，等于卷积核大小，即第一个矩阵每行为一个卷积核向量(是将二维的卷积核转化为一维)，总共有M行，表示有M个卷积核。
(2)在矩阵B中
N＝((image_h+2*pad_h–kernel_h)/stride_h+1)*((image_w+2*pad_w–kernel_w)/stride_w+1)
image_h：输入图像的高度
image_w：输入图像的宽度
pad_h：在输入图像的高度方向两边各增加pad_h个单位长度(因为有两边，所以乘以2)
pad_w：在输入图像的宽度方向两边各增加pad_w个单位长度(因为有两边，所以乘以2)
kernel_h：卷积核的高度
kernel_w：卷积核的宽度
stride_h：高度方向的滑动步长；
stride_w：宽度方向的滑动步长。
因此，N为输出图像大小的长宽乘积，也是卷积核在输入图像上滑动可截取的最大特征数。K＝k*k，表示利用卷积核大小的框在输入图像上滑动所截取的数据大小，与卷积核大小一样大。
(3)在矩阵C中
矩阵C为矩阵A和矩阵B相乘的结果，得到一个M*N的矩阵，其中每行表示一个输出图像即feature map，共有M个输出图像(输出图像数目等于卷积核数目)。
步骤S270，对比相邻的概率，当相邻概率中包含正样本和负样本或中文样本和负样本概念大于预设的阈值，并且连续包含则是合法的字符；
步骤S280，对合法的字符采用非极大值抑制方法获取到边界；
非极大值抑制(Non-Maximum Suppression，NMS)抑制不是极大值的元素，亦即局部最大搜索。这个局部代表的是一个邻域，邻域有两个参数可变，一是邻域的维数，二是邻域的大小。通过非极大值抑制主要是得到一组位置，这个位置在我们用机器学习的概率是最大的。
NMS的原理如下：对于Bounding Box的列表B及其对应的置信度S,采用下面的计算方式。选择具有最大score的检测框M,将其从B集合中移除并加入到最终的检测结果D中.通常将B中剩余检测框中与M的IoU大于阈值Nt的框从B中移除.重复这个过程,直到B为空。
NMS常用的阈值是0.3—0.5。其中用到排序,可以按照右下角的坐标排序或者面积排序,也可以是通过SVM等分类器得到的得分或概率,R-CNN中就是按得分进行的排序。
例如，定位一个车辆，最后算法就找到一堆方框，我们需要对没用的矩形框进行判断。非极大值抑制的方法是：先假设有6个矩形框，根据分类器的类别分类概率做排序，假设从小到大属于车辆的概率分别为A、B、C、D、E、F。
(1)从最大概率矩形框F开始，分别判断A～E与F的重叠度IOU是否大于某个设定的阈值；
(2)假设B、D与F的重叠度超过阈值，那么就扔掉B、D；并标记第一个矩形框F，是我们保留下来的。
(3)从剩下的矩形框A、C、E中，选择概率最大的E，然后判断E与A、C的重叠度，重叠度大于一定的阈值，那么就扔掉；并标记E是我们保留下来的第二个矩形框。
就这样一直重复，找到所有被保留下来的矩形框。
步骤S290，对边界进行扩展或收缩去除无用的区域，得到单个字符区域集合。
本实施例中，本发明采用车牌字符的图片使用训练窗口大小滑动，再使用机器学习得到当前的概率，使用非极大值抑制方法得到边界，对边界进行扩展或收缩去除无用区域，得到单个字符区域集合，进而识别每个字符。此方法提高字符分割的准确率和效率。
图5为本发明提供步骤S220，所述对所述第一车牌图像感兴趣区域的进行提取及预处理，获得第二车牌图像的具体实施方式的流程图，步骤S220包括：
步骤S221，对所述第一车牌图像感兴趣区域的进行提取，得到目标区域图像；
步骤S222，对目标区域图像做运动特征目标检测，得到运动特征目标图像；
步骤S223，对运动特征目标图像进行高斯模糊降噪处理，调整高斯参数，选择合适的高斯核，平滑图像，得到高斯模糊降噪图像；
步骤S224，对高斯模糊降噪图像进行阈值化，匹配HSV的范围，保存匹配颜色，得到第二车牌图像。
在本实施例的一些可选的实现方式中，基于上述图2所示实施例，本实施例中，所述对边界进行扩展或收缩去除无用的区域，得到单个字符区域集合的具体包括以下步骤：
获取列像素为0和非0的数量；
判断列像素为0的比例是否大于95％；
当列像素为0的比例大于95％，则认为没有切到边缘，向内收缩1像素；及
当列像素为0的比例小于95％，则认为切到了边缘，则向外扩张1像素。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图6，作为对上述图2所示方法的实现，本申请提供了一种车牌分割装置的一个实施例的结构示意图，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例所述的车牌分割装置600包括：采集模块610、提取及预处理模块620、分类模块630、加载及调用模块640、窗口滑动模块650、第一获取模块660、判断模块670、第二获取模块680及处理模块690。其中：
所述采集模块610，用于实时采集车辆的车牌图像，获得第一车牌图像；
所述提取及预处理模块620，用于对所述第一车牌图像感兴趣区域的进行提取及预处理，获得第二车牌图像；
所述分类模块630，用于分类所述第二车牌图像为正样本、负样本、中文样本；
所述加载及调用模块640，用于加载及调用级联分类器模型识别出车牌字符图像；
所述窗口滑动模块650，用于对车牌字符图像使用预设训练的窗口大小滑动；
所述第一获取模块660，用于基于caffe机器学习获取正样本、负样本、中文样本的当前概率，并保存得到的正样本、负样本、中文样本的概率；
所述判断模块670，用于对比相邻的概率，当相邻概率中包含正样本和负样本或中文样本和负样本概念大于预设的阈值，并且连续包含则是合法的字符；
所述第二获取模块680，用于对合法的字符采用非极大值抑制方法获取到边界；及
所述处理模块690，用于对边界进行扩展或收缩去除无用的区域，得到单个字符区域集合。
请参考图7，为提取及预处理模块一种具体实施方式的结构示意图，所述提取及预处理模块620包括提取子模块621、检测子模块622、平滑子模块623及匹配子模块624，其中：
所述提取子模块621，用于对所述第一车牌图像感兴趣区域的进行提取，得到目标区域图像；
所述检测子模块622，用于对目标区域图像做运动特征目标检测，得到运动特征目标图像；
所述平滑子模块623，用于对运动特征目标图像进行高斯模糊降噪处理，调整高斯参数，选择合适的高斯核，平滑图像，得到高斯模糊降噪图像；及
所述匹配子模块624，用于对高斯模糊降噪图像进行阈值化，匹配HSV的范围，保存匹配颜色，得到第二车牌图像。
在本实施例中，上述处理模块包括有获取子单元、判断子单元、收缩子模块及扩张子模块，
所述获取子模块，用于获取列像素为0和非0的数量；
所述判断子模块，用于判断列像素为0的比例是否大于95％；
所述收缩子模块，用于当列像素为0的比例大于95％，则认为没有切到边缘，向内收缩1像素；及
所述扩张子模块，用于当列像素为0的比例小于95％，则认为切到了边缘，则向外扩张1像素。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图8，图8为本实施例计算机设备基本结构框图。
所述计算机设备8包括通过系统总线相互通信连接存储器81、处理器82、网络接口83。需要指出的是，图中仅示出了具有组件81-83的计算机设备8，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器81至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D表单生成存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器81可以是所述计算机设备8的内部存储单元，例如该计算机设备8的硬盘或内存。在另一些实施例中，所述存储器81也可以是所述计算机设备8的外部存储设备，例如该计算机设备8上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器81还可以既包括所述计算机设备8的内部存储单元也包括其外部存储设备。本实施例中，所述存储器81通常用于存储安装于所述计算机设备8的操作系统和各类应用软件，例如车牌分割方法的程序代码等。此外，所述存储器81还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器82在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器82通常用于控制所述计算机设备8的总体操作。本实施例中，所述处理器82用于运行所述存储器81中存储的程序代码或者处理数据，例如运行所述车牌分割方法的程序代码。
所述网络接口83可包括无线网络接口或有线网络接口，该网络接口83通常用于在所述计算机设备8与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有表单生成程序，所述表单生成程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的车牌分割方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (8)
1.一种车牌分割方法，其特征在于，包括下述步骤：
实时采集车辆的车牌图像，获得第一车牌图像；
对所述第一车牌图像感兴趣区域的进行提取及预处理，获得第二车牌图像；
分类所述第二车牌图像为正样本、负样本、中文样本；
加载及调用级联分类器模型识别出车牌字符图像；
对车牌字符图像使用预设训练的窗口大小滑动；
基于caffe机器学习获取正样本、负样本、中文样本的当前概率，并保存得到的正样本、负样本、中文样本的概率；
对比相邻的概率，当相邻概率中包含正样本和负样本或中文样本和负样本概率大于预设的阈值，并且连续包含则是合法的字符；
对合法的字符采用非极大值抑制方法获取到边界；及
对边界进行扩展或收缩去除无用的区域，得到单个字符区域集合；所述对边界进行扩展或收缩去除无用的区域，得到单个字符区域集合的步骤具体包括：
获取列像素为0和非0的数量；
判断列像素为0的比例是否大于95％；
当列像素为0的比例大于95％，则认为没有切到边缘，向内收缩1像素；及
当列像素为0的比例小于95％，则认为切到了边缘，则向外扩张1像素。
2.根据权利要求1所述的车牌分割方法，其特征在于，所述对所述第一车牌图像感兴趣区域的进行提取及预处理，获得第二车牌图像的步骤具体包括：
对所述第一车牌图像感兴趣区域的进行提取，得到目标区域图像；
对目标区域图像做运动特征目标检测，得到运动特征目标图像；
对运动特征目标图像进行高斯模糊降噪处理，调整高斯参数，选择合适的高斯核，平滑图像，得到高斯模糊降噪图像；
对高斯模糊降噪图像进行阈值化，匹配HSV的范围，保存匹配颜色，得到第二车牌图像。
3.根据权利要求1所述的车牌分割方法，其特征在于，每一级联分类器的算法为：
1)使用Haar-like特征做检测；
2)使用积分图对应用到检测器的特征进行快速计算；
3)使用AdaBoost学习算法从巨大的Haar-like特征中挑选出少量至关重要的特征。
4.一种车牌分割装置，其特征在于，包括：采集模块、提取及预处理模块、分类模块、加载及调用模块、窗口滑动模块、第一获取模块、判断模块、第二获取模块及处理模块，其中
所述采集模块，用于实时采集车辆的车牌图像，获得第一车牌图像；
所述提取及预处理模块，用于对所述第一车牌图像感兴趣区域的进行提取及预处理，获得第二车牌图像；
所述分类模块，用于分类所述第二车牌图像为正样本、负样本、中文样本；
所述加载及调用模块，用于加载及调用级联分类器模型识别出车牌字符图像；
所述窗口滑动模块，用于对车牌字符图像使用预设训练的窗口大小滑动；
所述第一获取模块，用于基于caffe机器学习获取正样本、负样本、中文样本的当前概率，并保存得到的正样本、负样本、中文样本的概率；
所述判断模块，用于对比相邻的概率，当相邻概率中包含正样本和负样本或中文样本和负样本概念大于预设的阈值，并且连续包含则是合法的字符；
所述第二获取模块，用于对合法的字符采用非极大值抑制方法获取到边界；及
所述处理模块，用于对边界进行扩展或收缩去除无用的区域，得到单个字符区域集合；所述处理模块包括有获取子单元、判断子单元、收缩子模块及扩张子模块，
所述获取子模块，用于获取列像素为0和非0的数量；
所述判断子模块，用于判断列像素为0的比例是否大于95％；
所述收缩子模块，用于当列像素为0的比例大于95％，则认为没有切到边缘，向内收缩1像素；及
所述扩张子模块，用于当列像素为0的比例小于95％，则认为切到了边缘，则向外扩张1像素。
5.根据权利要求4所述的车牌分割装置，其特征在于，所述提取及预处理模块包括提取子模块、检测子模块、平滑子模块及匹配子模块，其中：
所述提取子模块，用于对所述第一车牌图像感兴趣区域的进行提取，得到目标区域图像；
所述检测子模块，用于对目标区域图像做运动特征目标检测，得到运动特征目标图像；
所述平滑子模块，用于对运动特征目标图像进行高斯模糊降噪处理，调整高斯参数，选择合适的高斯核，平滑图像，得到高斯模糊降噪图像；及
所述匹配子模块，用于对高斯模糊降噪图像进行阈值化，匹配HSV的范围，保存匹配颜色，得到第二车牌图像。
6.根据权利要求5所述的车牌分割装置，其特征在于，每一级联分类器的算法为：
1)使用Haar-like特征做检测；
2)使用积分图对应用到检测器的特征进行快速计算；
3)使用AdaBoost学习算法从巨大的Haar-like特征中挑选出少量至关重要的特征。
7.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述的车牌分割方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的车牌分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910529486.0A CN110232381B (zh) | 2019-06-19 | 2019-06-19 | 车牌分割方法、装置、计算机设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910529486.0A CN110232381B (zh) | 2019-06-19 | 2019-06-19 | 车牌分割方法、装置、计算机设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110232381A CN110232381A (zh) | 2019-09-13 |
| CN110232381B true CN110232381B (zh) | 2023-06-20 |
Family
ID=67856205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910529486.0A Active CN110232381B (zh) | 2019-06-19 | 2019-06-19 | 车牌分割方法、装置、计算机设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110232381B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751154B (zh) * | 2019-09-27 | 2022-04-08 | 西北工业大学 | 一种基于像素级分割的复杂环境多形状文本检测方法 |
| CN113610770B (zh) * | 2021-07-15 | 2024-10-15 | 浙江大华技术股份有限公司 | 一种车牌识别方法和装置及设备 |
| CN115311215B (zh) * | 2022-07-22 | 2023-04-14 | 锋睿领创(珠海)科技有限公司 | 一种高速高精度的六面体检测系统、方法和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105373794A (zh) * | 2015-12-14 | 2016-03-02 | 河北工业大学 | 一种车牌识别方法 |
| WO2019057067A1 (zh) * | 2017-09-20 | 2019-03-28 | 众安信息技术服务有限公司 | 图像质量评估方法及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103870803A (zh) * | 2013-10-21 | 2014-06-18 | 北京邮电大学 | 一种基于粗定位与精定位融合的车牌识别方法和系统 |
| CN107680686A (zh) * | 2017-11-01 | 2018-02-09 | 北京颐圣智能科技有限公司 | 疾病预测概率的处理方法、装置、计算机设备以及存储介质 |
| CN109284757A (zh) * | 2018-08-31 | 2019-01-29 | 湖南星汉数智科技有限公司 | 一种车牌识别方法、装置、计算机装置及计算机可读存储介质 |
| CN109492642B (zh) * | 2018-09-25 | 2023-11-24 | 平安科技（深圳）有限公司 | 车牌识别方法、装置、计算机设备及存储介质 |
-
2019
- 2019-06-19 CN CN201910529486.0A patent/CN110232381B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105373794A (zh) * | 2015-12-14 | 2016-03-02 | 河北工业大学 | 一种车牌识别方法 |
| WO2019057067A1 (zh) * | 2017-09-20 | 2019-03-28 | 众安信息技术服务有限公司 | 图像质量评估方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于DM642的嵌入式车牌识别系统设计与实现;陈存弟;刘金清;刘引;蔡淑宽;何世强;周晓童;邓淑敏;吴庆祥;;网络新媒体技术(04);第55-62页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110232381A (zh) | 2019-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11151363B2 (en) | Expression recognition method, apparatus, electronic device, and storage medium | |
| US8750573B2 (en) | Hand gesture detection | |
| US8792722B2 (en) | Hand gesture detection | |
| US8867828B2 (en) | Text region detection system and method | |
| KR101596299B1 (ko) | 교통 표지판 인식 방법 및 장치 | |
| CN110232381B (zh) | 车牌分割方法、装置、计算机设备及计算机可读存储介质 | |
| CN108108734B (zh) | 一种车牌识别方法及装置 | |
| CN111414888A (zh) | 低分辨率人脸识别方法、系统、装置及存储介质 | |
| CN110852311A (zh) | 一种三维人手关键点定位方法及装置 | |
| Molina-Moreno et al. | Efficient scale-adaptive license plate detection system | |
| US20210097290A1 (en) | Video retrieval in feature descriptor domain in an artificial intelligence semiconductor solution | |
| CN113490947A (zh) | 检测模型训练方法、装置、检测模型使用方法及存储介质 | |
| CN109344824B (zh) | 一种文本行区域检测方法、装置、介质和电子设备 | |
| CN110135421A (zh) | 车牌识别方法、装置、计算机设备及计算机可读存储介质 | |
| CN111709377B (zh) | 特征提取方法、目标重识别方法、装置及电子设备 | |
| CN111914668A (zh) | 一种基于图像增强技术的行人重识别方法、装置及系统 | |
| Lahiani et al. | Hand pose estimation system based on Viola-Jones algorithm for android devices | |
| US11709914B2 (en) | Face recognition method, terminal device using the same, and computer readable storage medium | |
| CN108960246B (zh) | 一种用于图像识别的二值化处理装置及方法 | |
| CN113129298B (zh) | 文本图像的清晰度识别方法 | |
| WO2024174726A1 (zh) | 基于深度学习的手写及打印文本检测方法和装置 | |
| CN112101139B (zh) | 人形检测方法、装置、设备及存储介质 | |
| CN110969640A (zh) | 视频图像的分割方法、终端设备以及计算机可读存储介质 | |
| CN117894036A (zh) | 基于边缘设备的行人目标检测方法、装置、设备及介质 | |
| Ghandour et al. | Building shadow detection based on multi-thresholding segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20190913 Assignee: WUZHOU OKA OPTICAL INSTRUMENT Co.,Ltd. Assignor: WUZHOU University Contract record no.: X2023980045141 Denomination of invention: License plate segmentation method, device, computer equipment, and computer-readable storage medium Granted publication date: 20230620 License type: Common License Record date: 20231101 |