CN113313143B - 一种车牌检测方法、装置以及计算机存储介质 - Google Patents

一种车牌检测方法、装置以及计算机存储介质 Download PDF

Info

Publication number
CN113313143B
CN113313143B CN202110475187.0A CN202110475187A CN113313143B CN 113313143 B CN113313143 B CN 113313143B CN 202110475187 A CN202110475187 A CN 202110475187A CN 113313143 B CN113313143 B CN 113313143B
Authority
CN
China
Prior art keywords
license plate
window
sliding
image
response value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110475187.0A
Other languages
English (en)
Other versions
CN113313143A (zh
Inventor
刘志辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110475187.0A priority Critical patent/CN113313143B/zh
Publication of CN113313143A publication Critical patent/CN113313143A/zh
Application granted granted Critical
Publication of CN113313143B publication Critical patent/CN113313143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种车牌检测方法、装置以及计算机存储介质。该车牌检测方法包括：将待检测车牌图像输入预先训练的车牌分割网络，获取车牌分割预测图；采用预设长宽的滑窗在车牌分割预测图上水平滑动，并计算水平滑动过程中滑窗内的窗口响应值；获取水平滑动过程中窗口响应值的极大值，基于窗口响应值的极大值向下竖直滑动滑窗；获取竖直滑动过程中滑窗内的窗口响应值不变的滑动区域，基于滑动区域获取候选检测区域；利用预先训练的车牌检测网络检测待检测区域图像，以在待检测车牌图像输出车牌检测框。本申请通过固定滑窗搜索车牌分割预测图中的车牌位置，然后利用车牌位置提取候选检测区域进行检测，有效避免漏检现象，提高检测准确率。

Description

一种车牌检测方法、装置以及计算机存储介质
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种车牌检测方法、装置以及计算机存储介质。
背景技术
随着城市化进程的发展,机动车的保有量也在持续增加,智能交通技术在车辆管理系统中发挥着越来越重要的地位,其中车牌检测技术是其中一项基础的技术,设计高效准确的车牌检测算法是整个智能交通领域的重中之重。
现有的车牌检测技术主要包括基于传统的图像处理技术和基于深度学习技术，基于传统的图像处理技术利用车牌图像的梯度或者颜色空间进行车牌的定位，这类方法检测速度较快，但是对于车牌图像的质量要求较高，而且存在较多的误报和定位质量较差的缺点。基于深度学习的方法使用通用目标检测方法检测车牌区域，通常包含两个步骤，先检测车辆区域，然后检测车辆区域的车牌，这种方法只需要收集大量的车牌素材作为训练素材，基于深度学习的车牌检测方法现在已经比较成熟而且检测效果很好，但是此类方法对于车辆遮挡严重或者夜晚看不清车辆轮廓的场景导致无法定位车辆的情况下就无法检测车牌了，因此目前迫切需要一种能够在各种场景下的都能够检测车牌的方案，并且能够满足实时性的要求。
发明内容
本申请提供了一种车牌检测方法、装置以及计算机存储介质。
本申请提供了一种车牌检测方法，所述车牌检测方法包括：
获取待检测车牌图像，将所述待检测车牌图像输入预先训练的车牌分割网络，获取车牌分割预测图；
采用预设长宽的滑窗在所述车牌分割预测图上水平滑动，并计算水平滑动过程中所述滑窗内的窗口响应值；
获取水平滑动过程中窗口响应值的极大值，基于所述窗口响应值的极大值向下竖直滑动滑窗，计算竖直滑动过程中所述滑窗内的窗口响应值；
获取竖直滑动过程中所述滑窗内的窗口响应值不变的滑动区域，基于所述滑动区域获取候选检测区域；
基于所述候选检测区域裁剪所述待检测车牌图像中的待检测区域图像，利用预先训练的车牌检测网络检测所述待检测区域图像，以在所述待检测车牌图像输出车牌检测框。
其中，所述获取竖直滑动过程中所述滑窗内的窗口响应值不变的滑动区域，基于所述滑动区域获取候选检测区域包括：
以所述水平滑动过程中窗口响应值的极大值为基准，比较水平滑动过程中窗口响应值的极大值与竖直滑动过程中所述滑窗内的窗口响应值；
若竖直滑动过程中未出现窗口响应值比作为基准的极大值大时，将竖直滑动过程中窗口响应值与作为基准的极大值相等的滑动区域作为所述候选检测区域；
若竖直滑动过程中出现窗口响应值比作为基准的极大值大时，将竖直滑动过程中窗口响应值的最大值对应的滑动区域作为所述候选检测区域。
其中，所述窗口响应值的极大值为水平滑动过程中，同时大于等于上一次水平滑动获取的窗口响应值以及下一次水平滑动获取的窗口响应值的窗口响应值；
所述获取水平滑动过程中窗口响应值的极大值，基于所述窗口响应值的极大值向下竖直滑动滑窗，包括：
若水平滑动过程中出现连续多个相同的极大值时，将所述连续多个相同的极大值的位置设定为多个极大值的中间位置，基于所述中间位置向下竖直滑动滑窗；
若水平滑动过程中出现多个不同的极大值时，分别基于每个极大值出现的位置向下竖直滑动滑窗。
其中，所述计算水平滑动过程中所述滑窗内的窗口响应值，包括：
在水平滑动过程中，获取所述滑窗内所有像素点的像素值；
将所有像素点的像素值之和作为所述窗口响应值。
其中，所述计算水平滑动过程中所述滑窗内的窗口响应值，包括：
预先计算所述车牌分割预测图中每一个像素点与左上角像素点形成的区域范围内的所有像素点之和，记为每一个像素点对应的像素响应值；
在水平滑动过程中，获取所述滑窗内的左上角像素点、右上角像素点、左下角像素点以及右下角像素点；
分别获取所述滑窗内的左上角像素点、右上角像素点、左下角像素点以及右下角像素点对应的像素响应值，并利用所述像素响应值计算所述滑窗内的窗口响应值。
其中，所述基于所述候选检测区域裁剪所述待检测车牌图像中的待检测区域图像，包括：
将所述候选检测区域映射回所述待检测车牌图像，在所述待检测车牌图像中形成待检测映射区域；
将所述待检测映射区域外扩预设像素值，形成待检测区域；
裁剪所述待检测区域在所述待检测车牌图像对应的图像，得到所述待检测区域图像。
其中，所述将所述待检测车牌图像输入预先训练的车牌分割网络，获取车牌分割预测图，包括：
将所述待检测车牌图像输入预先训练的车牌分割网络，获取车牌分割概率图；
将所述车牌分割概率图依次进行归一化和二值化，得到所述车牌分割预测图。
其中，所述车牌检测方法，还包括：
对所述车牌分割预测图进行先腐蚀后膨胀的形态学操作，去除所述车牌分割预测图中的噪声点。
本申请还提供了一种车牌检测装置，所述车牌检测装置包括存储器和处理器，其中，所述存储器与所述处理器耦接；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的车牌检测方法。
本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如上述的车牌检测方法。
本申请的有益效果是：车牌检测装置获取待检测车牌图像，将待检测车牌图像输入预先训练的车牌分割网络，获取车牌分割预测图；采用预设长宽的滑窗在车牌分割预测图上水平滑动，并计算水平滑动过程中滑窗内的窗口响应值；获取水平滑动过程中窗口响应值的极大值，基于窗口响应值的极大值向下竖直滑动滑窗，计算竖直滑动过程中滑窗内的窗口响应值；获取竖直滑动过程中滑窗内的窗口响应值不变的滑动区域，基于滑动区域获取候选检测区域；基于候选检测区域裁剪待检测车牌图像中的待检测区域图像，利用预先训练的车牌检测网络检测待检测区域图像，以在待检测车牌图像输出车牌检测框。通过上述方式，本申请的车牌检测方法通过固定滑窗搜索车牌分割预测图中的车牌位置，然后利用车牌位置提取候选检测区域进行检测，有效避免漏检现象，提高检测准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的车牌检测方法一实施例的流程示意图；
图2是本申请提供的滑窗区域和车牌检测区域的示意图；
图3是本申请提供的车牌检测装置一实施例的结构示意图；
图4是本申请提供的车牌检测装置另一实施例的结构示意图；
图5是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，图1是本申请提供的车牌检测方法一实施例的流程示意图。
其中，本申请的车牌检测方法应用于一种车牌检测装置，其中，本申请的车牌检测装置可以为服务器，也可以为终端设备，还可以为由服务器和终端设备相互配合的系统。相应地，电子设备包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。在一些可能的实现方式中，本申请实施例的车牌检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。具体地，本申请实施例的车牌检测装置可以为一种视频监控仪，该视频监控仪可以设置在交通道路以及交通出入口等，用于检测行驶中车辆的车牌情况。
如图1所示，本申请实施例的车牌检测方法具体包括以下步骤：
步骤S101：获取待检测车牌图像，将待检测车牌图像输入预先训练的车牌分割网络，获取车牌分割预测图。
其中，车牌检测装置获取视频监控仪采集的待检测车牌图像。例如视频监控仪可以设置在交通道路以及交通出入口等，对经过视频监控仪监控场所的车辆进行图像采集或者视频采集。若采用视频采集的方式，车牌检测装置可以在视频监控仪采集的视频中截取包含清晰车辆的视频帧，作为待检测车牌图像。
然后，车牌检测装置将待检测车牌图像输入预先训练的车牌分割网络，以获得车牌分割网络输出的车牌分割概率图。其中，车牌分割概率图中包括每一个像素属于车牌的概率值。
车牌检测装置依次对车牌分割概率图进行归一化和二值化，其中，二值化的阈值设置为0.5。具体地，车牌检测装置将车牌分割概率图中的概率值进行归一化后，车牌分割概率图的概率值范围转换成0～1。然后，车牌检测装置按照0.5的阈值对转换后的车牌分割概率图进行二值化，将概率值大于等于0.5的像素概率值设置为1，将概率值小于0.5的像素概率值设置为0，从而生成车牌分割预测图。
进一步地，为了提高车牌检测方法的准确性，车牌检测装置还可以对二值化后的车牌分割预测图进行先腐蚀后膨胀的形态学操作，去除车牌分割预测图中的噪声点。
本申请实施例的车牌检测方法需要对二值图像进行减噪处理，图像形态学中的腐蚀和膨胀能很好的解决此问题。如果在腐蚀和膨胀操作前，对车牌分割预测图做一次滤波，减噪效果将更明显。
其中，腐蚀的具体操作是：用一个结构元素(一般是3×3的大小)扫描车牌分割预测图中的每一个像素，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为1，则该像素为1，否则为0。膨胀的具体操作是：用一个结构元素(一般是3×3的大小)扫描车牌分割预测图中的每一个像素，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为0，则该像素为0，否则为1。
腐蚀的作用是消除物体边界点，使目标缩小，可以消除小于结构元素的噪声点；膨胀的作用是将与物体接触的所有背景点合并到物体中，使目标增大，可添补目标中的空洞。通过先腐蚀后膨胀的形态学操作，可以有效消除车牌分割预测图上细小的噪声，并平滑物体边界。
另外，本申请实施例的车牌分割网络训练过程具体如下：
车牌检测装置从监控视频中采集车牌图像样本，由于交通领域使用的相机分辨率通常较高，低的分辨率有1080p，高的甚至达到4k分辨率，因此需要对采集的原始图像进行缩放，一般缩放至固定大小，比如640*640。之后使用缩放后的包含车牌的图像训练一个车牌分割网络，此网络使用全卷积网络提取像素特征，全卷积网络可以采用改进的VGG16网络，首先将原始的VGG16网络去除原始网络结构当中最后面两个池化层和两个全连接层，然后在最后的卷积层之后连接两层卷积核为2x2的转置卷积层，将特征层的大小恢复到输入图像的分辨率，最后采用通道数为1的3x3卷积得到预测结果，训练使用的标签为车牌所在的区域的值为1，背景区域的值为0的二值图，训练时采用二值交叉熵损失函数，损失函数如下：
Figure BDA0003047163170000071
其中，
Figure BDA0003047163170000072
Figure BDA0003047163170000073
为网络预测层的值。
步骤S102：采用预设长宽的滑窗在车牌分割预测图上水平滑动，并计算水平滑动过程中滑窗内的窗口响应值。
其中，车牌检测装置设置长度和宽度固定的滑窗，具体长宽可以设置为100*100。然后，车牌检测装置采用该滑窗在车牌分割预测图上进行水平滑动，滑动的起始点一般设置在车牌分割预测图的左上角位置，滑动步长可以根据需要具体设置。
车牌检测装置在滑窗水平滑动的过程中依次计算滑窗内的窗口响应值，其中，窗口响应值为滑窗内所有像素点的像素值之和，在本申请实施例中，车牌分割预测图的像素点的像素值只有两种：1或0。
车牌检测装置可以直接依次获取滑窗内所有像素点的像素值，然后将所有像素点的像素值进行相加，从而得到滑窗内的窗口响应值。这种方式需要快速计算像素值，且在滑窗水平滑动的过程中，会进行大量重复的运算，会影响车牌检测方法的效率。
本申请实施例的车牌检测装置在计算滑窗内的窗口响应值时，还可以采用动态规划的思想，能够有效减少计算的复杂度。具体的计算过程如下：车牌检测装置预先计算车牌分割预测图中每一个像素点与左上角像素点形成的区域范围内的所有像素点像素值之和，记为该像素点对应的像素响应值Sxy，其中，(x，y)为该像素点的像素坐标。
在水平滑动过程中，车牌检测装置需要获取滑窗内车牌分割预测图的左上角坐标(x1，y1)、右上角像素点(x2，y1)、左下角像素点(x1，y2)以及右下角像素点(x2，y2)。然后，分别提取上述四个像素点对应的像素响应值：Sx1y1、Sx2y1、Sx1y2、Sx2y2。此时，滑窗内车牌分割预测图的窗口响应值即可通过以下公式进行计算：
Figure BDA0003047163170000081
其中，Value为此时滑窗内车牌分割预测图的窗口响应值。
由于每个像素点对应的像素响应值都已经提前计算，在计算滑窗内的窗口响应值时，只需要提取滑窗内四个顶角的像素响应值，然后经过简单的计算，即可快速计算滑窗内车牌分割预测图的窗口响应值，通过动态规划的思想，可以有效减少计算的复杂度，提高车牌检测方法的效率。
步骤S103：获取水平滑动过程中窗口响应值的极大值，基于窗口响应值的极大值向下竖直滑动滑窗，计算竖直滑动过程中滑窗内的窗口响应值。
其中，在完成一次水平滑动后，车牌检测装置求出水平滑动过程中窗口响应值中的极大值，极大值定义为某一位置的窗口响应值大于等于两侧位置的窗口响应值，且该位置的窗口响应值不等于0。
在一次水平滑动过程中，可能会出现连续多个相同的极大值，即连接多个窗口响应值均相等且不为0，此时，极大值的位置定义为连续多个窗口响应值对应的中间位置；还可能出现多个不同的极大值，此时需要记录下每个极大值出现的位置。
然后，车牌检测装置在每个极大值的位置向下竖直滑动滑窗，继续计算竖直滑动过程中滑窗内的窗口响应值。其中，竖直滑动过程中窗口响应值的计算方式与水平滑动过程中窗口响应值的计算方式相同，在此不再赘述。
通过按照极大值的位置向下竖直滑动滑窗，而不是对全图进行向下竖直滑动滑窗，能够提高对重点区域的检测比值，提高车牌检测方法的效率。
步骤S104：获取竖直滑动过程中滑窗内的窗口响应值不变的滑动区域，基于滑动区域获取候选检测区域。
其中，请参阅图2，车牌检测装置在每个极大值处将滑窗向下竖直滑动，如果窗口响应值不变，表明车牌区域已经位于滑窗内，此时滑窗对应的区域设置为候选检测区域，如图2左侧的滑窗情况。如果窗口响应值逐渐增大，表明车牌区域位于滑窗下边沿，此时将滑窗向下滑动一定距离直到窗口响应值不变，将此时的滑窗对应的区域设置为候选检测区域，如图2右侧的滑窗情况。
车牌检测装置将滑窗继续将滑窗向下竖直滑动，直至滑窗到达车牌分割预测图的底部，此时，车牌检测装置即可得到车牌分割预测图中所有的候选检测区域。
步骤S105：基于候选检测区域裁剪待检测车牌图像中的待检测区域图像，利用预先训练的车牌检测网络检测待检测区域图像，以在待检测车牌图像输出车牌检测框。
其中，车牌检测装置将所有候选检测区域对应的位置映射回待检测车牌图像中，形成待检测车牌图像中的待检测映射区域，然后将待检测映射区域外扩50个像素，形成待检测车牌图像中的待检测区域，以防止车牌在候选检测区域的边缘导致检测不完成。需要说明的是，若扩大的像素区域超过待检测车牌图像的边缘时，则通过0像素进行填充。
然后，车牌检测装置将待检测区域对应的部分待检测车牌图像裁剪下来，并将裁剪出来的部分待检测车牌图像输入到预先训练好的车牌检测网络中，利用车牌检测网络检测部分待检测车牌图像，输出车牌检测框。
其中，本申请实施例的车牌检测网络的检测算法可以使用yolo或者sdd等通用的目标检测算法，在检测完成后，将每个待检测区域的车牌检测框映射回待检测车牌图像上，即可得到全图范围内所有的车牌检测框。
在本申请实施例中，车牌检测装置获取待检测车牌图像，将待检测车牌图像输入预先训练的车牌分割网络，获取车牌分割预测图；采用预设长宽的滑窗在车牌分割预测图上水平滑动，并计算水平滑动过程中滑窗内的窗口响应值；获取水平滑动过程中窗口响应值的极大值，基于窗口响应值的极大值向下竖直滑动滑窗，计算竖直滑动过程中滑窗内的窗口响应值；获取竖直滑动过程中滑窗内的窗口响应值不变的滑动区域，基于滑动区域获取候选检测区域；基于候选检测区域裁剪待检测车牌图像中的待检测区域图像，利用预先训练的车牌检测网络检测待检测区域图像，以在待检测车牌图像输出车牌检测框。通过上述方式，本申请的车牌检测方法使用分割的方法从原始的车牌图像中得到车牌的像素点信息，避免直接检测车辆因为车辆的漏检而导致车牌的漏检的弊端，同时降低检测无效的车辆图带来的检测耗时的增加；本申请的车牌检测方法还使用滑窗结合动态规划的思想能够快速提取车牌检测区域，直接在车牌检测区域内检测车牌，之后将车牌坐标映射回原始图像的方法可以大大提高检测的召回率和检测框的精确度。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
为实现上述实施例的车牌检测方法，本申请提出了一种车牌检测装置，具体请参阅图3，图3是本申请提供的车牌检测装置一实施例的结构示意图。
如图3所示，车牌检测装置300包括分割预测模块31、水平滑动模块32、竖直滑动模块33、候选检测模块34以及车牌检测模块35。其中，
分割预测模块31，用于获取待检测车牌图像，将所述待检测车牌图像输入预先训练的车牌分割网络，获取车牌分割预测图。
水平滑动模块32，用于采用预设长宽的滑窗在所述车牌分割预测图上水平滑动，并计算水平滑动过程中所述滑窗内的窗口响应值。
竖直滑动模块33，用于获取水平滑动过程中窗口响应值的极大值，基于所述窗口响应值的极大值向下竖直滑动滑窗，计算竖直滑动过程中所述滑窗内的窗口响应值。
候选检测模块34，用于获取竖直滑动过程中所述滑窗内的窗口响应值不变的滑动区域，基于所述滑动区域获取候选检测区域。
车牌检测模块35，用于基于所述候选检测区域裁剪所述待检测车牌图像中的待检测区域图像，利用预先训练的车牌检测网络检测所述待检测区域图像，以在所述待检测车牌图像输出车牌检测框。
为实现上述实施例的车牌检测方法，本申请还提出了另一种车牌检测装置，具体请参阅图4，图4是本申请提供的车牌检测装置另一实施例的结构示意图。
本申请实施例的车牌检测装置400包括处理器41、存储器42、输入输出设备43以及总线44。
该处理器41、存储器42、输入输出设备43分别与总线44相连，该存储器42中存储有程序数据，处理器41用于执行程序数据以实现上述实施例所述的车牌检测方法。
在本实施例中，处理器41还可以称为CPU(Central Processing Unit，中央处理单元)。处理器41可能是一种集成电路芯片，具有信号的处理能力。处理器41还可以是通用处理器、数字信号处理器(DSP，Digital Signal Process)、专用集成电路(ASIC，ApplicationSpecificIntegrated Circuit)、现场可编程门阵列(FPGA，Field Programmable GateArray)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器41也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，如图5所示，计算机存储介质500用于存储程序数据51，程序数据51在被处理器执行时，用以实现如上述实施例所述的车牌检测方法。
本申请还提供一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如本申请实施例所述的车牌检测方法。该计算机程序产品可以为一个软件安装包。
本申请上述实施例所述的车牌检测方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种车牌检测方法，其特征在于，所述车牌检测方法包括：
获取待检测车牌图像，将所述待检测车牌图像输入预先训练的车牌分割网络，获取车牌分割预测图；
采用预设长宽的滑窗在所述车牌分割预测图上水平滑动，并计算水平滑动过程中所述滑窗内的窗口响应值；
获取水平滑动过程中窗口响应值的极大值，基于所述窗口响应值的极大值向下竖直滑动滑窗，计算竖直滑动过程中所述滑窗内的窗口响应值；
获取竖直滑动过程中所述滑窗内的窗口响应值不变的滑动区域，基于所述滑动区域获取候选检测区域；
基于所述候选检测区域裁剪所述待检测车牌图像中的待检测区域图像，利用预先训练的车牌检测网络检测所述待检测区域图像，以在所述待检测车牌图像输出车牌检测框。
2.根据权利要求1所述的车牌检测方法，其特征在于，
所述获取竖直滑动过程中所述滑窗内的窗口响应值不变的滑动区域，基于所述滑动区域获取候选检测区域包括：
以所述水平滑动过程中窗口响应值的极大值为基准，比较水平滑动过程中窗口响应值的极大值与竖直滑动过程中所述滑窗内的窗口响应值；
若竖直滑动过程中未出现窗口响应值比作为基准的极大值大时，将竖直滑动过程中窗口响应值与作为基准的极大值相等的滑动区域作为所述候选检测区域；
若竖直滑动过程中出现窗口响应值比作为基准的极大值大时，将竖直滑动过程中窗口响应值的最大值对应的滑动区域作为所述候选检测区域。
3.根据权利要求1所述的车牌检测方法，其特征在于，
其中，所述窗口响应值的极大值为水平滑动过程中，同时大于等于上一次水平滑动获取的窗口响应值以及下一次水平滑动获取的窗口响应值的窗口响应值；
所述获取水平滑动过程中窗口响应值的极大值，基于所述窗口响应值的极大值向下竖直滑动滑窗，包括：
若水平滑动过程中出现连续多个相同的极大值时，将所述连续多个相同的极大值的位置设定为多个极大值的中间位置，基于所述中间位置向下竖直滑动滑窗；
若水平滑动过程中出现多个不同的极大值时，分别基于每个极大值出现的位置向下竖直滑动滑窗。
4.根据权利要求1所述的车牌检测方法，其特征在于，
所述计算水平滑动过程中所述滑窗内的窗口响应值，包括：
在水平滑动过程中，获取所述滑窗内所有像素点的像素值；
将所有像素点的像素值之和作为所述窗口响应值。
5.根据权利要求1所述的车牌检测方法，其特征在于，
所述计算水平滑动过程中所述滑窗内的窗口响应值，包括：
预先计算所述车牌分割预测图中每一个像素点与左上角像素点形成的区域范围内的所有像素点之和，记为每一个像素点对应的像素响应值；
在水平滑动过程中，获取所述滑窗内的左上角像素点、右上角像素点、左下角像素点以及右下角像素点；
分别获取所述滑窗内的左上角像素点、右上角像素点、左下角像素点以及右下角像素点对应的像素响应值，并利用所述像素响应值计算所述滑窗内的窗口响应值。
6.根据权利要求1所述的车牌检测方法，其特征在于，
所述基于所述候选检测区域裁剪所述待检测车牌图像中的待检测区域图像，包括：
将所述候选检测区域映射回所述待检测车牌图像，在所述待检测车牌图像中形成待检测映射区域；
将所述待检测映射区域外扩预设像素值，形成待检测区域；
裁剪所述待检测区域在所述待检测车牌图像对应的图像，得到所述待检测区域图像。
7.根据权利要求1所述的车牌检测方法，其特征在于，
所述将所述待检测车牌图像输入预先训练的车牌分割网络，获取车牌分割预测图，包括：
将所述待检测车牌图像输入预先训练的车牌分割网络，获取车牌分割概率图；
将所述车牌分割概率图依次进行归一化和二值化，得到所述车牌分割预测图。
8.根据权利要求7所述的车牌检测方法，其特征在于，
所述车牌检测方法，还包括：
对所述车牌分割预测图进行先腐蚀后膨胀的形态学操作，去除所述车牌分割预测图中的噪声点。
9.一种车牌检测装置，其特征在于，所述车牌检测装置包括存储器和处理器，其中，所述存储器与所述处理器耦接；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1～8中任一项所述的车牌检测方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1～8中任一项所述的车牌检测方法。
CN202110475187.0A 2021-04-29 2021-04-29 一种车牌检测方法、装置以及计算机存储介质 Active CN113313143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110475187.0A CN113313143B (zh) 2021-04-29 2021-04-29 一种车牌检测方法、装置以及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110475187.0A CN113313143B (zh) 2021-04-29 2021-04-29 一种车牌检测方法、装置以及计算机存储介质

Publications (2)

Publication Number Publication Date
CN113313143A CN113313143A (zh) 2021-08-27
CN113313143B true CN113313143B (zh) 2022-08-09

Family

ID=77371314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110475187.0A Active CN113313143B (zh) 2021-04-29 2021-04-29 一种车牌检测方法、装置以及计算机存储介质

Country Status (1)

Country Link
CN (1) CN113313143B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298976A (zh) * 2014-10-16 2015-01-21 电子科技大学 基于卷积神经网络的车牌检测方法
CN104636749A (zh) * 2013-11-14 2015-05-20 中国移动通信集团公司 目标对象检测方法及装置
CN105338236A (zh) * 2014-07-25 2016-02-17 诺基亚技术有限公司 用于在图像中检测物体的方法、装置以及电子设备
CN110599519A (zh) * 2019-08-27 2019-12-20 上海交通大学 基于领域搜索策略的抗遮挡相关滤波跟踪方法
CN110866430A (zh) * 2018-08-28 2020-03-06 上海富瀚微电子股份有限公司 一种车牌识别方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298979B2 (en) * 2008-01-18 2016-03-29 Mitek Systems, Inc. Systems and methods for mobile image capture and content processing of driver's licenses

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636749A (zh) * 2013-11-14 2015-05-20 中国移动通信集团公司 目标对象检测方法及装置
CN105338236A (zh) * 2014-07-25 2016-02-17 诺基亚技术有限公司 用于在图像中检测物体的方法、装置以及电子设备
CN104298976A (zh) * 2014-10-16 2015-01-21 电子科技大学 基于卷积神经网络的车牌检测方法
CN110866430A (zh) * 2018-08-28 2020-03-06 上海富瀚微电子股份有限公司 一种车牌识别方法及装置
CN110599519A (zh) * 2019-08-27 2019-12-20 上海交通大学 基于领域搜索策略的抗遮挡相关滤波跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Reading Car License Plates Using Deep Convolutional Neural Networks and LSTMs";Hui Li.et al;《arXiv:1601.05610v1》;20160121;全文 *
"基于深度学习的车牌检测和识别";曾启飞;《中国优秀硕士学位论文全文数据库》;20200615;全文 *

Also Published As

Publication number Publication date
CN113313143A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
US11455805B2 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN111382704B (zh) 基于深度学习的车辆压线违章判断方法、装置及存储介质
CN107045634B (zh) 一种基于最大稳定极值区域与笔画宽度的文本定位方法
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
CN112287912B (zh) 基于深度学习的车道线检测方法以及装置
CN109729298B (zh) 图像处理方法与图像处理装置
CN110991310A (zh) 人像检测方法、装置、电子设备及计算机可读介质
CN111652230A (zh) 车牌识别方法、电子设备及存储介质
CN111915583A (zh) 复杂场景中基于车载红外热像仪的车辆和行人检测方法
CN112651953A (zh) 图片相似度计算方法、装置、计算机设备及存储介质
KR101903523B1 (ko) 비디오 데이터에서 에지 프로젝션 기반의 모자이크 검출 방법
CN110084818B (zh) 动态下采样图像分割方法
CN111127358A (zh) 图像处理方法、装置及存储介质
WO2018058573A1 (zh) 对象检测方法、对象检测装置以及电子设备
CN113542868A (zh) 视频关键帧选取方法、装置、电子设备、存储介质
CN113313143B (zh) 一种车牌检测方法、装置以及计算机存储介质
CN110674778B (zh) 一种高分辨视频图像目标检测方法及装置
CN111027560B (zh) 文本检测方法以及相关装置
CN112967321A (zh) 运动目标的检测方法、装置、终端设备及存储介质
CN114627456A (zh) 一种票据文本信息检测方法、装置及系统
CN113516609A (zh) 分屏视频检测方法、装置、计算机设备和存储介质
CN112183277A (zh) 遗留物与遗失物的检测方法、装置、终端设备及存储介质
CN111091526A (zh) 一种视频模糊的检测方法和系统
Anthimopoulos et al. Detecting text in video frames
CN111428067B (zh) 公文图片获取方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant