CN113255663A - 一种基于垂直梯度的车牌区域提取方法、系统、终端及可读存储介质 - Google Patents

一种基于垂直梯度的车牌区域提取方法、系统、终端及可读存储介质 Download PDF

Info

Publication number
CN113255663A
CN113255663A CN202110571007.9A CN202110571007A CN113255663A CN 113255663 A CN113255663 A CN 113255663A CN 202110571007 A CN202110571007 A CN 202110571007A CN 113255663 A CN113255663 A CN 113255663A
Authority
CN
China
Prior art keywords
license plate
gradient
region
image
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110571007.9A
Other languages
English (en)
Inventor
孙志强
刘波
霍亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shibang Communication Co Ltd
Original Assignee
Shibang Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shibang Communication Co Ltd filed Critical Shibang Communication Co Ltd
Priority to CN202110571007.9A priority Critical patent/CN113255663A/zh
Publication of CN113255663A publication Critical patent/CN113255663A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于垂直梯度的车牌区域提取方法、系统、终端及可读存储介质，所述方法包括：步骤1：获取待识别的图像I，并将所述待识别的图像转换为灰度图像gI以及计算垂直梯度得到梯度图像；步骤2：基于所述梯度图像搜索梯度集中区域作为车牌的候选区域，并基于重叠范围合并重叠区域；步骤3：对步骤2中合并处理后的所述候选区域进行精选提取出车牌区域。其中，进一步利用垂直梯度剔除了随机性的垂直边缘和过长、过短的垂直边缘，提升了车牌识别的准确性以及可靠性，使其可以适用于受限场景下的车牌识别。

Description

一种基于垂直梯度的车牌区域提取方法、系统、终端及可读存 储介质
技术领域
本发明属于图像处理技术领域，具体涉及一种基于垂直梯度的车牌区域提取方法、系统、终端及可读存储介质。
背景技术
目前，随着高清摄像机的普及应用，卡口电子警察系统的抓拍范围，最远处可以覆盖到距离安装投影位置50m左右，最近处可以覆盖到距离安装投影位置15m左右。与类似停车收费抓拍场景不同，这种抓拍场景一般称为非受限场景。
在非受限场景下，受到图像拍摄时背景环境、光照条件等影响，采集到的车牌图像不仅包括多种复杂的纹理干扰，如花草、广告牌、隔离栏杆等，还具有车牌区域位置、大小、方向和亮度变化较大且通常包括多个不同距离上的车牌等特点。这种场景下的车牌识别的难度远远超过了受限场景下的识别难度，受限场景下的车牌识别算法已经不再适用。因此，亟需研究一种可以应用于受限场景下的车牌识别方法，提高受限场景下的车牌识别精度。
发明内容
本发明的目的是提供一种可以应用于受限场景下的车牌识别方法，具体为一种基于垂直梯度的车牌区域提取方法、系统、终端及可读存储介质。所述方法基于研究发现，与周边背景相比，车牌区域的边缘分布更加密集，视觉特征的一致性更强，且车牌中包括大量的垂直边缘，进而垂直边缘集中区域是车牌候选区域的特征，利用垂直梯度表示的梯度图像抽取出车牌的候选区也，进而提取出车牌区域。
一方面，本发明提供一种基于垂直梯度的车牌区域提取方法，包括以下步骤：
步骤1：获取待识别的图像I，并将所述待识别的图像I转换为灰度图像gI以及计算垂直梯度得到梯度图像；
步骤2：基于所述梯度图像搜索梯度集中区域作为车牌的候选区域；
步骤3：对步骤2中的所述候选区域进行精选提取出车牌区域。
可选地，步骤2中提取所述车牌的候选区域的过程如下：
步骤2-1：构造一个大小为stride×stride的窗口，并以所述窗口在所述梯度图像中滑动划分梯度分块得到梯度分块图像blockimg，所述梯度分块图像blockimg中像素值等于对应梯度分块内像素点的垂直梯度之和；
步骤2-2：对所述梯度分块图像blockimg进行卷积计算得到卷积结果covimg；
步骤2-3：识别所述卷积结果covimg中超过预设阈值covthd且为局部范围最大值的点，并将所述点作为车牌的中心点，具体满足如下：
covimg(covh,covw)>＝covthd
covimg(covh,covw)>＝covimg(covh-1,covw)
covimg(covh,covw)>＝covimg(covh,covw-1)
covimg(covh,covw)>＝covimg(covh+1,covw)
covimg(covh,covw)>＝covimg(covh,covw+1)
式中，covimg(covh,covw)表示所述卷积结果covimg中行索引covh、列索引covw对应的数据；
步骤2-4：以所述车牌的中心点构造车牌的候选区域。
可选地，步骤2-4中以所述车牌的中心点构造车牌的候选区域时，所述候选区域的范围如下：
jidx＝(covh-1)*stride+stride/2；kidx＝(covw-1)*stride+stride/2
rowstart＝jidx-maxh/2；colstart＝kidx-maxw/2
rowend＝rowstart+maxh；colend＝colstart+maxw
式中，jidx和kidx分别表示车牌的候选区域中心在灰度图像gI中的坐标，rowstart和rowend表示候选区域在灰度图像gI中水平方向上的起始和终止坐标；colstart和colend表示候选区域在灰度图像gI中垂直方向上的起始和终止坐标；maxh和maxw为候选区域的大小。
可选地，步骤2中基于所述梯度图像搜索梯度集中区域作为车牌的候选区域之前，还包括：剔除所述梯度图像中随机性的垂直边缘，具体如下：
Step 1：对所述梯度图像进行区域划分；
Step 2：分别遍历每个区域中垂直梯度超过预设阈值gthd的像素点及其个数，并基于所述像素点计算对应区域内的垂直梯度的梯度均值，记为数组mgxlist(htc,wdc)，htc,wdc分别表示梯度均值数组mgxlist的行维数、列维数；
Step 3：依次所述梯度图像中每个像素点是否为随机性的垂直边缘，其中，判断像素点的垂直梯度是否大于所在区域的梯度均值mgxlist(hidx,widx)的pthd倍，若大于，所述像素点属于车牌区域，否则，所述像素的为随机性的垂直边缘，并提出所述随机性的垂直边缘，再剔除所述随机性的垂直边缘；
所述pthd为正整数，mgxlist(hidx,widx)表示梯度均值数组mgxlist中行索引hidx、列索引widx)对应的梯度均值。
本发明考虑到车牌提取时，一般原始图像为抓拍图像，其整个图像中不同区域的光照强度存在明显差异，若是整个图像采用同一阈值，将导致在亮度偏低的区域，会误消除车牌区域的垂直边缘；而在亮度较高的区域，又会额外保留大量的非车牌区域。因此，本发明对图像进行区域划分，并以每个区域为单元进行随机性的垂直边缘剔除处理。进而可以更加准确的剔除掉垂直边缘。
可选地，步骤2中基于所述梯度图像搜索梯度集中区域作为车牌的候选区域之前，还包括：剔除所述梯度图像中过长和过短的垂直边缘，具体如下：
S1：根据所述梯度图像标定出连续的边缘；
S2：若所述连续的边缘的长度大于过长边缘点阈值Tlong或者小于过短边缘的阈值Tshort，所述连续的边缘上的所有像素点均不属于车牌区域，属于过长的垂直边缘或过短的垂直边缘，并剔除过长的垂直边缘或过短的垂直边缘；
所述过长边缘点阈值Tlong满足：
Tlong＝k×ycent+b
其中，k和b为待定参数，ycent表示标定出连续的边缘垂直方向上中心的坐标。
本发明考虑到车牌提取时，一般原始图像为抓拍图像，拍到的车身上讲存在一些特别长的垂直边缘，也有一些特别短的边缘，均不属于车牌区域，因此，利用过长边缘点阈值Tlong和小于过短边缘的阈值Tshort可以剔除掉上述垂直边缘。
可选地，步骤3中对所述候选区域进行精选提取出车牌区域的过程包括：基于车牌区域中垂直梯度集中的特性，调整所述候选区域的范围，再基于重叠范围合并重叠区域；和/或基于候选区域的梯度总和以及宽高比确定所述候选区域是否为车牌区域；
调整所述候选区域的范围为：分别调整所述候选区域的水平方向的起点和终点，以及垂直方向上的起点和终点；
其中，若候选区域crect的维度为rectm×rectn，则计算所述候选区域crect在水平方向上的投影得到rectm的向量，设定一个宽度范围d，若在所述宽度范围d内，所述rectm的向量对应的元素均值超过预设阈值D，则视车牌的起点或终点在所述宽度范围d内；
在所述宽度范围d内，向上和向下分别寻找其中包含的连续边缘的最大延伸范围，以此作为车牌候选区域的上下边界；
其中，在宽度范围d内，针对所有边缘在上下方向上寻找其延伸的边界，直至该边缘出现中断，记录中断值对应的像素坐标。譬如，以向上方向为例，若有m条连续边缘，各边缘向上延伸的终点像素行坐标分别为yi,i＝1,2,...,m，那么车牌候选区域是上边界行坐标就是min(yi,i＝1,2,...,m)；向下方向的边界课以此类推。
基于候选区域的梯度总和以及宽高比确定所述候选区域是否为车牌区域为：若候选区域的梯度总和小于预设阈值S或者所述候选区域的宽高比小于预设值s时，所述候选区域不为车牌区域。
可选地，步骤3对所述候选区域进行精选提取出车牌区域的过程，包括：将所述候选区域输入所述车牌区域分类器得到分类结果，所述分类结果表示所述候选区域为车牌区域或非车牌区域；
其中，所述车牌区域分类器的构建过程为：
按照步骤1-2的方式处理图像得到候选区域样本，并标记所述候选区域样本为车牌区域或非车牌区域；
基于所述候选区域样本训练支持向量机模型构建车牌区域分类器；
所述候选区域样本的输入特征为样本的梯度直方图。
第二方面，本发明提供一种基于所述方法的系统，包括：
图像获取单元：用于获取待识别的图像I；
图像处理单元：用于将所述待识别的图像转换为灰度图像gI以及计算垂直梯度得到梯度图像；
候选区域提取单元：用于基于所述梯度图像搜索梯度集中区域作为车牌的候选区域，并基于重叠范围合并重叠区域；
精选单元：用于对合并处理后的所述候选区域进行精选提取出车牌区域。
第三方面，本发明提供一种终端，包括处理器和存储器，所述存储器存储了计算机程序，所述处理器调用所述计算机程序以实现：一种基于垂直梯度的车牌区域提取方法的步骤。
第四方面，本发明提供一种可读存储介质，存储了计算机程序，所述计算机程序被处理器调用以实现：一种基于垂直梯度的车牌区域提取方法的步骤。
有益效果
本发明提供的一种基于垂直梯度的车牌区域提取方法，其利用车牌区域的边缘分布更加密集，视觉特征的一致性更强，且车牌中包括大量的垂直边缘的特征，用垂直梯度表征的梯度图像抽取车牌区域，提供了一种全新且便于实现的手段来确定车牌区域的初始范围，充分利用了车牌区域的纹理特征，使其能够适用于受限场景下的车牌提取，可以应用于多类型的交通产品或应用中，如违停抓拍。
本发明进一步的优选方案中，提供了利用垂直梯度消除随机性的垂直边缘以及消除过长，过短的垂直边缘，提升了后续车牌区域提取的精度。其中，消除随机性的垂直边缘的过程中尤其是考虑到了光照不均的问题，将梯度图像进行分区处理，进而以每个区域为单元进行随机性的垂直边缘的消除处理，相较于整体处理的方式，随机性的垂直边缘消除更加准确以及可靠。
附图说明
图1是本发明实施例提供的抓拍的原始图像；
图2是本发明实施例提供的梯度图像；
图3是本发明实施例提供的消除随机性的垂直边缘后的图像；
图4是本发明实施例提供的消除过长和过短的垂直边缘的图像；
图5是本发明实施例提供的合并后的候选区域示意图；
图6是本发明实施例提供的调整候选区域范围后的示意图；
图7是本发明实施例提供的调整候选区域范围并合并处理后的示意图；
图8是本发明实施例提供的进一步剔除非车牌区域后的示意图；
图9是本发明实施例提供的车牌区域提取方法的流程示意图。
具体实施方式
本发明提供一种基于垂直梯度的车牌区域提取方法，用于实现车牌区域的提取，尤其是可以应用于受限场景下的车牌提取，具有推广空间以及应用价值。下面将结合实施例对本发明做进一步的说明。
实施例1：
本发明实施例提供一种基于垂直梯度的车牌区域提取方法，包括以下步骤：
步骤1：获取待识别的图像I，并将所述待识别的图像I转换为灰度图像gI以及计算垂直梯度得到梯度图像。
本实施例以抓拍图像作为待识别的图像I，其他可行的实施例中并不限制待识别的图像I的来源。如同1所示为是一张2160*4096的高清抓拍图片，包括远近多个距离上的车牌，还包括新能源车牌。并利用sobel算子Gx在水平方向上对灰度图像gI进行卷积计算，得到图像I的垂直梯度表示的梯度图像Gx，如下：
Figure BDA0003082603140000051
符号“*”表示卷积运算。如同2所示为梯度图像，其中，垂直边缘体现的非常明显，尤其是车牌区域，有明显的垂直边缘。
步骤2：基于所述梯度图像搜索梯度集中区域作为车牌的候选区域，并基于重叠范围合并重叠区域。
本实施例中考虑到车牌所在区域一定是梯度集中的区域，为此，找出梯度集中的区域，就找到了车牌的候选区域。实现过程如下：
步骤2-1：构造一个大小为stride×stride的窗口，并以所述窗口和stride的步长在所述梯度图像中滑动划分梯度分块得到梯度分块图像blockimg，所述梯度分块图像blockimg中像素值等于对应梯度分块内像素点的垂直梯度之和。本实施例中，梯度分块图像blockimg的水平维度为wlen＝floor(n/stride)，垂直维度为hlen＝floor(m/stride)，n为梯度图像中像素个数。floor表示向下取整计算。经验表明，对于2160×4096的图像，stride＝8是比较合适的。应当理解，stride大小的取值是可以根据图像大小设定的经验值。
步骤2-2：对所述梯度分块图像blockimg进行卷积计算得到卷积结果covimg。其中，本实施例考虑到国内车牌的宽高比在2.5左右，因此，设定一个h_win×w_win的窗口函数covwin，对梯度分块之和blockimg进行卷积计算，其中，w_win＝floor(2.5*h_win)，一般可设定h_win＝2,w_win＝5，即
Figure BDA0003082603140000061
得到卷积后的结果为covimg。应当理解，本发明中h_win×w_win的窗口大小并不局限于本实施例中的取值。
步骤2-3：识别所述卷积结果covimg中超过预设阈值covthd且为局部范围最大值的点，并将所述点作为车牌的中心点。具体可以使用如下公式确定：
covimg(covh,covw)>＝covthd
covimg(covh,covw)>＝covimg(covh-1,covw)
covimg(covh,covw)>＝covimg(covh,covw-1)
covimg(covh,covw)>＝covimg(covh+1,covw)
covimg(covh,covw)>＝covimg(covh,covw+1)
式中，covimg(covh,covw)表示所述卷积结果covimg中行索引covh、列索引covw对应的数据。
步骤2-4：以所述车牌的中心点构造车牌的候选区域。本实施例中以下述规则构建矩形区域作为车牌的候选区域，如下：
jidx＝(covh-1)*stride+stride/2；kidx＝(covw-1)*stride+stride/2
rowstart＝jidx-maxh/2；colstart＝kidx-maxw/2
rowend＝rowstart+maxh；colend＝colstart+maxw
式中，jidx和kidx分别表示车牌的候选区域中心在灰度图像gI中的坐标，rowstart和rowend表示候选区域在灰度图像gI中水平方向上的起始和终止坐标；colstart和colend表示候选区域在灰度图像gI中垂直方向上的起始和终止坐标；maxh和maxw为候选区域的大小。本实施例中，将maxh和maxw设定为：axh＝50，maxw＝160。
本实施例中还优选执行步骤2-4后，针对所有候选区域，根据其重叠范围进行合并，原则为：
对于两个区域Ai和Aj，对应的面积分别为Areai和Areaj，当两个区域的重叠面积大于athd×min(Areai,Areaj)时，可将Ai和Aj合并为一个区域，新区域的左侧和上方坐标取Ai和Aj相应左侧和上方坐标的较小值，右侧和下方坐标取Ai和Aj相应右侧和下方坐标的较大值。athd取为0.4可以得到比较理想的结果，应当理解，本发明的实现过程也不局限于此。如同5所示，矩形为梯度集中区域，已经进行了合并处理。可以看出，除了能够包含车牌区域之外，还包含了大量的非车牌区域，需要进一步精选处理。
步骤3：对步骤2中合并处理后的所述候选区域进行精选提取出车牌区域。
其中，本步骤的目的在于对步骤2中提取的候选区域进行进一步的精选，剔除非车牌区域，其包括以下A-C的实现方式，应当理解，本实施例中优选均执行下述所有方式，其他可行的实施例中，可以选择下述一种或多种组合的方式来进行精选，也可以选择以下一种或多种与其他未记载在本申请中的方式组合进行精选，本发明对此不进行具体的限定。
A：基于车牌区域中垂直梯度集中的特性，调整所述候选区域的范围，再基于重叠范围合并重叠区域。其中，具体为：分别为调整水平方向的起点和终点，以及垂直方向上的起点和终点；
其中，对于一个候选区域crect，假定其维度为rectm×rectn，计算其在水平方向上的投影，得到一个rectn维的向量，设定一个宽度范围d，如果在宽度范围d内，rectn维的向量对应元素的均值超过某个预设阈值D，则认为车牌的起点或终点在这个范围内。投影得到rectn维的向量的技术实现过程为现有技术，因此，不对其进行赘述。预设阈值D也为经验值。
在上一步确定的宽度范围内，向上和向下分别寻找其中包含的连续边缘的最大延伸范围，以此作为车牌候选区域的上下边界；
随后，确定左右和上下边界之后，需要对这些候选区域再次进行一遍重叠矩形的合并，合并过程参照前述合并过程，在此不再赘述。
如同6所示，小框表示针对候选区域来确定左右边界，初步确定上下边界。可以看出，左右边界能够包含车牌区域，如同7所示为，合并处理后的车牌的候选区域。
B：基于候选区域的梯度总和以及宽高比确定所述候选区域是否为车牌区域。
其中，若候选区域的梯度总和小于预设阈值S或者所述候选区域的宽高比小于预设值s时，所述候选区域不为车牌区域。应当理解，预设阈值S以及预设值s均为经验值，本实施例中将预设值s设置为2。
如同8所示，进一步剔除了非车牌区域。
C：将所述候选区域输入所述车牌区域分类器得到分类结果，所述分类结果表示所述候选区域为车牌区域或非车牌区域；
其中，所述支持向量机的构建过程为：
按照步骤1-2的方式处理图像得到候选区域样本，并标记所述候选区域样本为车牌区域或非车牌区域。本实施例中采用人工分类的方式确定车牌区域和非车牌区域，并两者的样本比例为1：3。
基于所述候选区域样本训练支持向量机模型(SupportVectorMachine，SVM)构建车牌区域分类器；
所述候选区域样本的输入特征为样本的梯度直方图。
实施例2：
本实施例在实施例1的记载的方式下，在步骤1中计算垂直梯度得到梯度图像后以及步骤2中基于所述梯度图像搜索梯度集中区域作为车牌的候选区之前，执行：剔除所述梯度图像中随机性的垂直边缘，具体如下：
Step 1：对所述梯度图像进行区域划分；其中，假定灰度图像gI的维数为m×n，即高度为m，宽度为n。将gI均匀划分为wdc×htc个不重叠的区域。具体划分数值根据抓拍图像的特征而定，是一个经验值。以2160×4096的抓拍图像为例，可将图像划分为8×8个不重叠的区域，各个区域的维数为270×512。
Step 2：分别遍历每个区域中垂直梯度超过预设阈值gthd的像素点及其个数gcount，并基于所述像素点计算对应区域内的垂直梯度的梯度均值mgxlist(htc,wdc)，即超过预设阈值gthd的像素点的垂直梯度的总和除以个数gcoun得到梯度均值，记成数组mgxlist(htc,wdc)。其中，预设阈值gthd为经验值，本实施例将其设置为5，其他可行的实施例中，并不局限于此。
Step 3：依次所述梯度图像中每个像素点是否为随机性的垂直边缘，其中，判断像素点的垂直梯度是否大于所在区域的梯度均值mgxlist(hidx,widx)的pthd倍，若大于，所述像素点属于车牌区域，否则，所述像素的为随机性的垂直边缘，并提出所述随机性的垂直边缘；
所述pthd为正整数，本实施例中将其设置为3，其他可行的实施例中，可以对其进行适应性调整，譬如根据实际情况进行调试确定。
其中，将梯度图像中随机性的垂直边对应的像素设定为0，即达到剔除效果。如同3所示，在图2的基础上将图像划分为8×8的不重叠区域，在各个区域中消除随机性的非车牌边缘，各区域的大小为270×512，剔除随机性的垂直边缘后如同3所示。
实施例3：
本实施例在实施例1的记载的方式下，在步骤1中计算垂直梯度得到梯度图像后以及步骤2中基于所述梯度图像搜索梯度集中区域作为车牌的候选区之前，执行：剔除所述梯度图像中过长和过短的垂直边缘，具体如下：
S1：根据所述梯度图像标定出连续的边缘。其中，根据梯度图像Gx标定出连续的边缘，可采用8邻域的方式进行标定。
S2：若所述连续的边缘的长度大于过长边缘点阈值Tlong或者小于过短边缘的阈值Tshort，所述连续的边缘上的所有像素点均不属于车牌区域，属于过长的垂直边缘或过短的垂直边缘，并剔除过长的垂直边缘或过短的垂直边缘；
其中，由于车辆与抓拍相机之间的距离不固定，因此，Tlong应该是一个与车辆在图像中的位置有关的值。车辆与相机之间的距离越大，参数Tlong应该越小。可采用一个一次函数进行拟合，对应过长边缘点阈值Tlong满足：
Tlong＝k×ycent+b
其中，k和b为待定参数，ycent表示标定出连续的边缘垂直方向上中心的坐标。如同4所示，在图3的基础上进一步消除过长和过短的垂直边缘，得到如同4所示的图像，其中，车牌区域得以保存。
需要说明的是，本发明优选按照实施例2以及实施例3的方式，均剔除过长和过短的垂直边缘以及随机性的垂直边缘。
实施例4：
基于上述记载的一种基于垂直梯度的车牌区域提取方法，本实施例提供一种车牌区域提取系统，其包括：
图像获取单元：用于获取待识别的图像I。应当理解，若所述系统表示运算终端，对应的图像获取单元可以理解为运算终端上获取图像的单元模块；若所述系统表示包含抓拍设备或图像传感器的硬件系统，该图像获取单元可以理解为摄像头，照相机，摄影仪等图像拍摄单元。
图像处理单元：用于将所述待识别的图像转换为灰度图像gI以及计算垂直梯度得到梯度图像；
候选区域提取单元：用于基于所述梯度图像搜索梯度集中区域作为车牌的候选区域，并基于重叠范围合并重叠区域；
精选单元：用于对合并处理后的所述候选区域进行精选提取出车牌区域。
其中，各个单元模块的具体实现过程可以参照前述记载的对应方法的步骤。应当理解，上述单元模块的具体实现过程参照方法内容，本发明在此不进行具体的赘述，且上述功能模块单元的划分仅仅是一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。同时，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
实施例5：
本实施例提供一种终端，其包括处理器和存储器，该存储器存储了计算机程序，计算机程序被处理器调用，用以实现：上述一种基于垂直梯度的车牌区域提取方法的步骤。譬如，执行：
步骤1：获取待识别的图像I，并将所述待识别的图像I转换为灰度图像gI以及计算垂直梯度得到梯度图像；
步骤2：基于所述梯度图像搜索梯度集中区域作为车牌的候选区域，并基于重叠范围合并重叠区域；
步骤3：对步骤2中合并处理后的所述候选区域进行精选提取出车牌区域。
其中，各个步骤的具体实现过程可以参照前述方法的内容。
应当理解，在一些可行的方式中，处理器调用计算机程序还可以用以实现：
剔除所述梯度图像中随机性的垂直边缘，具体如下：
Step 1：对所述梯度图像进行区域划分；
Step 2：分别遍历每个区域中垂直梯度超过预设阈值gthd的像素点及其个数，并基于所述像素点计算对应区域内的垂直梯度的梯度均值，记为数组mgxlist(htc,wdc)；
Step 3：依次所述梯度图像中每个像素点是否为随机性的垂直边缘，其中，判断像素点的垂直梯度是否大于所在区域的梯度均值mgxlist(hidx,widx)的pthd倍，若大于，所述像素点属于车牌区域，否则，所述像素的为随机性的垂直边缘，并提出所述随机性的垂直边缘，再剔除所述随机性的垂直边缘。
应当理解，在一些可行的方式中，处理器调用计算机程序还可以用以实现：
剔除所述梯度图像中过长和过短的垂直边缘，具体如下：
S1：根据所述梯度图像标定出连续的边缘；
S2：若所述连续的边缘的长度大于过长边缘点阈值Tlong或者小于过短边缘的阈值Tshort，所述连续的边缘上的所有像素点均不属于车牌区域，属于过长的垂直边缘或过短的垂直边缘，并剔除过长的垂直边缘或过短的垂直边缘；
所述过长边缘点阈值Tlong满足：
Tlong＝k×ycent+b
其中，k和b为待定参数，ycent表示标定出连续的边缘垂直方向上中心的坐标。
各个步骤的具体实现过程请参照前述方法的阐述。
应当理解，在本发明实施例中，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
实施例6：
本发明实施例提供一种可读存储介质，其存储了计算机程序，计算机程序被处理器调用，用以实现：
步骤1：获取待识别的图像I，并将所述待识别的图像I转换为灰度图像gI以及计算垂直梯度得到梯度图像；
步骤2：基于所述梯度图像搜索梯度集中区域作为车牌的候选区域，并基于重叠范围合并重叠区域；
步骤3：对步骤2中合并处理后的所述候选区域进行精选提取出车牌区域。
其中，各个步骤的具体实现过程可以参照前述方法的内容。
应当理解，在一些可行的方式中，计算机程序被处理器调用，用以实现：
剔除所述梯度图像中随机性的垂直边缘，具体如下：
Step 1：对所述梯度图像进行区域划分；
Step 2：分别遍历每个区域中垂直梯度超过预设阈值gthd的像素点及其个数，并基于所述像素点计算对应区域内的垂直梯度的梯度均值，记为数组mgxlist(htc,wdc)；
Step 3：依次所述梯度图像中每个像素点是否为随机性的垂直边缘，其中，判断像素点的垂直梯度是否大于所在区域的梯度均值mgxlist(hidx,widx)的pthd倍，若大于，所述像素点属于车牌区域，否则，所述像素的为随机性的垂直边缘，并提出所述随机性的垂直边缘，再剔除所述随机性的垂直边缘。
应当理解，在一些可行的方式中，计算机程序被处理器调用，用以实现：
剔除所述梯度图像中过长和过短的垂直边缘，具体如下：
S1：根据所述梯度图像标定出连续的边缘；
S2：若所述连续的边缘的长度大于过长边缘点阈值Tlong或者小于过短边缘的阈值Tshort，所述连续的边缘上的所有像素点均不属于车牌区域，属于过长的垂直边缘或过短的垂直边缘，并剔除过长的垂直边缘或过短的垂直边缘；
所述过长边缘点阈值Tlong满足：
Tlong＝k×ycent+b
其中，k和b为待定参数，ycent表示标定出连续的边缘垂直方向上中心的坐标。
各个步骤的具体实现过程请参照前述方法的阐述。
所述可读存储介质为计算机可读存储介质，其可以是前述任一实施例所述的控制器的内部存储单元，例如控制器的硬盘或内存。所述可读存储介质也可以是所述控制器的外部存储设备，例如所述控制器上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述可读存储介质还可以既包括所述控制器的内部存储单元也包括外部存储设备。所述可读存储介质用于存储所述计算机程序以及所述控制器所需的其他程序和数据。所述可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要强调的是，本发明所述的实例是说明性的，而不是限定性的，因此本发明不限于具体实施方式中所述的实例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，不脱离本发明宗旨和范围的，不论是修改还是替换，同样属于本发明的保护范围。

Claims (10)

1.一种基于垂直梯度的车牌区域提取方法，其特征在于：包括以下步骤：
步骤1：获取待识别的图像I，并将所述待识别的图像转换为灰度图像gI以及计算垂直梯度得到梯度图像；
步骤2：基于所述梯度图像搜索梯度集中区域作为车牌的候选区域；
步骤3：对步骤2中的所述候选区域进行精选提取出车牌区域。
2.根据权利要求1所述的方法，其特征在于：步骤2中提取所述车牌的候选区域的过程如下：
步骤2-1：构造一个大小为stride×stride的窗口，并以所述窗口在所述梯度图像中滑动划分梯度分块得到梯度分块图像blockimg，所述梯度分块图像blockimg中像素值等于对应梯度分块内像素点的垂直梯度之和；
步骤2-2：对所述梯度分块图像blockimg进行卷积计算得到卷积结果covimg；
步骤2-3：识别所述卷积结果covimg中超过预设阈值covthd且为局部最大值的点，并将所述点作为车牌的中心点，具体满足如下：
covimg(covh,covw)>＝covthd
covimg(covh,covw)>＝covimg(covh-1,covw)
covimg(covh,covw)>＝covimg(covh,covw-1)
covimg(covh,covw)>＝covimg(covh+1,covw)
covimg(covh,covw)>＝covimg(covh,covw+1)
式中，covimg(covh,covw)表示所述卷积结果covimg中行索引covh、列索引covw对应的数据；
步骤2-4：以所述车牌的中心点构造车牌的候选区域。
3.根据权利要求2所述的方法，其特征在于：步骤2-4中以所述车牌的中心点构造车牌的候选区域时，所述候选区域的范围如下：
jidx＝(covh-1)*stride+stride/2；kidx＝(covw-1)*stride+stride/2
rowstart＝jidx-maxh/2；colstart＝kidx-maxw/2
rowend＝rowstart+maxh；colend＝colstart+maxw
式中，jidx和kidx分别表示车牌的候选区域中心在灰度图像gI中的坐标，rowstart和rowend表示候选区域在灰度图像gI中水平方向上的起始和终止坐标；colstart和colend表示候选区域在灰度图像gI中垂直方向上的起始和终止坐标；maxh和maxw为候选区域的大小。
4.根据权利要求1所述的方法，其特征在于：步骤2中基于所述梯度图像搜索梯度集中区域作为车牌的候选区域之前，还包括：剔除所述梯度图像中随机性的垂直边缘，具体如下：
Step 1：对所述梯度图像进行区域划分；
Step 2：分别遍历每个区域中垂直梯度超过预设阈值gthd的像素点及其个数，并基于所述像素点计算对应区域内的垂直梯度的梯度均值，记为数组mgxlist(htc,wdc)，htc,wdc分别表示梯度均值数组mgxlist的行维数、列维数；
Step 3：依次所述梯度图像中每个像素点是否为随机性的垂直边缘，其中，判断像素点的垂直梯度是否大于所在区域的梯度均值mgxlist(hidx,widx)的pthd倍，若大于，所述像素点属于车牌区域，否则，所述像素的为随机性的垂直边缘，并提出所述随机性的垂直边缘；
所述pthd为正整数，mgxlist(hidx,widx)表示梯度均值数组mgxlist中行索引hidx、列索引widx)对应的梯度均值。
5.根据权利要求1所述的方法，其特征在于：步骤2中基于所述梯度图像搜索梯度集中区域作为车牌的候选区域之前，还包括：剔除所述梯度图像中过长和过短的垂直边缘，具体如下：
S1：根据所述梯度图像标定出连续的边缘；
S2：若所述连续的边缘的长度大于过长边缘点阈值Tlong或者小于过短边缘的阈值Tshort，所述连续的边缘上的所有像素点均不属于车牌区域，属于过长的垂直边缘或过短的垂直边缘，并剔除过长的垂直边缘或过短的垂直边缘；
所述过长边缘点阈值Tlong满足：
Tlong＝k×ycent+b
其中，k和b为待定参数，ycent表示标定出连续的边缘垂直方向上中心的坐标。
6.根据权利要求1所述的方法，其特征在于：步骤3中对所述候选区域进行精选提取出车牌区域的过程包括：基于车牌区域中垂直梯度集中的特性，调整所述候选区域的范围，再合并重叠区域；和/或基于候选区域的梯度总和以及宽高比确定所述候选区域是否为车牌区域；
调整所述候选区域的范围为：分别调整所述候选区域的水平方向的起点和终点，以及垂直方向上的起点和终点；
其中，若候选区域crect的维度为rectm×rectn，则计算所述候选区域crect在水平方向上的投影得到rectm的向量，设定一个宽度范围d，若在所述宽度范围d内，所述rectm的向量对应的元素均值超过预设阈值D，则视车牌的起点或终点在所述宽度范围d内；
在所述宽度范围d内，向上和向下分别寻找其中包含的连续边缘的最大延伸范围，以此作为车牌候选区域的上下边界；
基于候选区域的梯度总和以及宽高比确定所述候选区域是否为车牌区域为：若候选区域的梯度总和小于预设阈值S或者所述候选区域的宽高比小于预设值s时，所述候选区域不为车牌区域。
7.根据权利要求1所述的方法，其特征在于：步骤3对所述候选区域进行精选提取出车牌区域的过程，包括：将所述候选区域输入所述车牌区域分类器得到分类结果，所述分类结果表示所述候选区域为车牌区域或非车牌区域；
其中，所述车牌区域分类器的构建过程为：
按照步骤1-2的方式处理图像得到候选区域样本，并标记所述候选区域样本为车牌区域或非车牌区域；
基于所述候选区域样本训练支持向量机模型构建车牌区域分类器；
所述候选区域样本的输入特征为样本的梯度直方图。
8.一种基于权利要求1-7任一项所述方法的系统，其特征在于：包括：
图像获取单元：用于获取待识别的图像I；
图像处理单元：用于将所述待识别的图像转换为灰度图像gI以及计算垂直梯度得到梯度图像；
候选区域提取单元：用于基于所述梯度图像搜索梯度集中区域作为车牌的候选区域，并基于重叠范围合并重叠区域；
精选单元：用于对合并处理后的所述候选区域进行精选提取出车牌区域。
9.一种终端，其特征在于：包括处理器和存储器，所述存储器存储了计算机程序，所述处理器调用所述计算机程序以实现：权利要求1-7任一项所述方法的步骤。
10.一种可读存储介质，其特征在于：存储了计算机程序，所述计算机程序被处理器调用以实现：权利要求1-7任一项所述方法的步骤。
CN202110571007.9A 2021-05-25 2021-05-25 一种基于垂直梯度的车牌区域提取方法、系统、终端及可读存储介质 Pending CN113255663A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110571007.9A CN113255663A (zh) 2021-05-25 2021-05-25 一种基于垂直梯度的车牌区域提取方法、系统、终端及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110571007.9A CN113255663A (zh) 2021-05-25 2021-05-25 一种基于垂直梯度的车牌区域提取方法、系统、终端及可读存储介质

Publications (1)

Publication Number Publication Date
CN113255663A true CN113255663A (zh) 2021-08-13

Family

ID=77184219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110571007.9A Pending CN113255663A (zh) 2021-05-25 2021-05-25 一种基于垂直梯度的车牌区域提取方法、系统、终端及可读存储介质

Country Status (1)

Country Link
CN (1) CN113255663A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744295A (zh) * 2021-08-20 2021-12-03 九天创新(广东)智能科技有限公司 一种表面污渍的检测方法、装置、清扫机器人

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101064011A (zh) * 2006-04-26 2007-10-31 电子科技大学 基于小波变换的复杂背景中的车牌提取方法
CN101937508A (zh) * 2010-09-30 2011-01-05 湖南大学 一种基于高清图像的车牌定位与识别方法
CN102214290A (zh) * 2010-04-12 2011-10-12 无锡科利德斯科技有限公司 车牌定位方法及车牌定位模板训练方法
CN102968646A (zh) * 2012-10-25 2013-03-13 华中科技大学 一种基于机器学习的车牌检测方法
CN103065141A (zh) * 2013-01-24 2013-04-24 浙江工商大学 基于色彩聚类的车牌定位方法
CN111709417A (zh) * 2020-05-28 2020-09-25 西安理工大学 一种矿车车牌识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101064011A (zh) * 2006-04-26 2007-10-31 电子科技大学 基于小波变换的复杂背景中的车牌提取方法
CN102214290A (zh) * 2010-04-12 2011-10-12 无锡科利德斯科技有限公司 车牌定位方法及车牌定位模板训练方法
CN101937508A (zh) * 2010-09-30 2011-01-05 湖南大学 一种基于高清图像的车牌定位与识别方法
CN102968646A (zh) * 2012-10-25 2013-03-13 华中科技大学 一种基于机器学习的车牌检测方法
CN103065141A (zh) * 2013-01-24 2013-04-24 浙江工商大学 基于色彩聚类的车牌定位方法
CN111709417A (zh) * 2020-05-28 2020-09-25 西安理工大学 一种矿车车牌识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DANIAN ZHENG 等: "An efficient method of license plate location", 《ELSEVIER》 *
杨志刚 等: "一种基于模板匹配的汽车牌照快速定位方法", 《计算机工程与科学》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744295A (zh) * 2021-08-20 2021-12-03 九天创新(广东)智能科技有限公司 一种表面污渍的检测方法、装置、清扫机器人

Similar Documents

Publication Publication Date Title
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN108288027B (zh) 一种图像质量的检测方法、装置及设备
EP2833288B1 (en) Face calibration method and system, and computer storage medium
US8363933B2 (en) Image identification method and imaging apparatus
CN108921823A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN111428807A (zh) 图像处理方法及计算机可读存储介质
CN107944403B (zh) 一种图像中的行人属性检测方法及装置
US9443137B2 (en) Apparatus and method for detecting body parts
CN101416219A (zh) 数字图像中的前景/背景分割
CN111626163B (zh) 一种人脸活体检测方法、装置及计算机设备
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN107464245B (zh) 一种图像结构边缘的定位方法及装置
CN109033955A (zh) 一种人脸跟踪方法和系统
CN104951440B (zh) 一种图像处理方法及电子设备
CN115578590A (zh) 基于卷积神经网络模型的图像识别方法、装置及终端设备
CN113255663A (zh) 一种基于垂直梯度的车牌区域提取方法、系统、终端及可读存储介质
Tribak et al. QR code patterns localization based on Hu Invariant Moments
Mesquita et al. Object recognition using saliency guided searching
US9569681B2 (en) Methods and systems for efficient image cropping and analysis
CN113239738B (zh) 一种图像的模糊检测方法及模糊检测装置
CN111091526B (zh) 一种视频模糊的检测方法和系统
JP2011170554A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
CN110264531A (zh) 一种棋盘格角点的捉取方法、装置、系统及可读存储介质
CN111862106A (zh) 基于光场语义的图像处理方法、计算机装置、及存储介质
CN111968126B (zh) 页面焦点识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210813

RJ01 Rejection of invention patent application after publication