CN114842465A - 车牌检测方法、装置、电子设备、介质及智能交通设备 - Google Patents
车牌检测方法、装置、电子设备、介质及智能交通设备 Download PDFInfo
- Publication number
- CN114842465A CN114842465A CN202210631054.2A CN202210631054A CN114842465A CN 114842465 A CN114842465 A CN 114842465A CN 202210631054 A CN202210631054 A CN 202210631054A CN 114842465 A CN114842465 A CN 114842465A
- Authority
- CN
- China
- Prior art keywords
- license plate
- center
- image
- feature
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 102
- 238000000605 extraction Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 10
- 239000000126 substance Substances 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 25
- 238000000034 method Methods 0.000 abstract description 19
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 14
- 239000000284 extract Substances 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了车牌检测方法、装置、电子设备、介质及智能交通设备，涉及人工智能技术领域，尤其涉及自动驾驶、智能交通、计算机视觉技术等领域。具体实现方案为：获取包含车牌的第一图像；以第一图像的中心为基准点计算车牌中心，基于车牌中心确定车牌的候选区域；基于候选区域对第一图像进行裁剪，得到以车牌中心为中心的第二图像；以第二图像的中心为基准点计算车牌顶点，基于车牌顶点确定车牌的精确区域。相比现有的车牌检测算法，具有高精度、低时延的优势。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及自动驾驶、智能交通、计算机视觉等技术领域。
背景技术
车牌识别系统在智能交通的实施、监控等方面起着至关重要的作用，在实时、低分辨率的监控摄像机环境下实现低延迟、高精度的自动车牌识别是一项具有挑战性的任务。通常，车牌识别系统包括车牌检测和车牌识别两个步骤，车牌位置的精准预测是实现高精度车牌识别的前提。
发明内容
本公开提供了一种用于车牌检测的方法、装置、设备、存储介质以及智能交通设备。
根据本公开的第一方面，提供了一种车牌检测方法，包括：
获取包含车牌的第一图像；
以所述第一图像的中心为基准点计算得到车牌中心，基于所述车牌中心确定所述车牌的候选区域；
基于所述候选区域对所述第一图像进行裁剪，得到以所述车牌中心为中心的第二图像；
以所述第二图像的中心为基准点计算得到车牌顶点，基于所述车牌顶点确定所述车牌的精确区域。
可选的，所述以所述第一图像的中心为基准点计算得到车牌中心包括：
获取所述第一图像的中心；
对所述第一图像进行特征提取得到第一车牌特征；
基于所述第一车牌特征计算得到所述车牌中心相对于所述第一图像的中心的偏移距离；
基于所述第一图像的中心和所述车牌中心的偏移距离计算得到所述车牌中心。
可选的，所述基于所述车牌中心确定所述车牌的候选区域包括：基于所述车牌中心和预设检测框确定以所述车牌中心为中心并覆盖所述车牌的区域作为所述候选区域。
可选的，所述以所述第二图像的中心为基准点计算车牌顶点包括：
获取所述第二图像的中心；
对所述第二图像进行特征提取得到第二车牌特征；
基于所述第二车牌特征计算得到两个车牌顶点相对于所述第二图像的中心的偏移距离；
基于所述第二图像的中心和所述两个车牌顶点的偏移距离计算得到所述两个车牌顶点。
可选的，所述第一车牌特征、所述第二车牌特征包括以下至少一项：所述车牌的位置特征；所述车牌的颜色特征；所述车牌的形状特征。
可选的，所述基于所述车牌顶点确定所述车牌的精确区域之后，还包括：
对所述精确区域进行特征提取得到第三车牌特征；
基于所述第三车牌特征输出一组置信度，所述一组置信度用于对所述车牌的类型进行分类。
根据本公开的第二方面，提供了一种车牌检测装置，包括：
图像获取模块，被配置为获取包含车牌的第一图像；
第一处理模块，被配置为以所述第一图像的中心为基准点计算车牌中心，基于所述车牌中心确定所述车牌的候选区域；
图像裁剪模块，被配置为基于所述候选区域对所述第一图像进行裁剪，得到以所述车牌中心为中心的第二图像；
第二处理模块，被配置为以所述第二图像的中心为基准点计算车牌顶点，基于所述车牌顶点确定所述车牌的精确区域。
可选的，所述第一处理模块包括：
第一获取单元，被配置为获取所述第一图像的中心；
第一特征提取单元，被配置为对所述第一图像进行特征提取得到第一车牌特征；
第一计算单元，被配置为基于所述第一车牌特征计算得到所述车牌中心相对于所述第一图像的中心的偏移距离；
所述第一计算单元基于所述第一图像的中心和所述车牌中心的偏移距离计算得到所述车牌中心。
可选的，所述第一处理模块还包括：候选区域检测单元，被配置为基于所述车牌中心和预设检测框确定以所述车牌中心为中心并覆盖所述车牌的区域作为所述候选区域。
可选的，所述第二处理模块包括：
第二获取单元，被配置为获取所述第二图像的中心；
第二特征提取单元，被配置为对所述第二图像进行特征提取得到第二车牌特征；
第二计算单元，被配置为基于所述第二车牌特征计算得到两个车牌顶点相对于所述第二图像的中心的偏移距离；
所述第二计算单元基于所述第二图像的中心和所述两个车牌顶点的偏移距离计算得到所述两个车牌顶点。
可选的，所述第一车牌特征、所述第二车牌特征包括以下至少一项：所述车牌的位置特征；所述车牌的颜色特征；所述车牌的形状特征。
可选的，车牌检测装置还包括：
车牌类型检测模块，被配置为对所述精确区域进行特征提取得到第三车牌特征，并基于所述第三车牌特征输出一组置信度，所述一组置信度用于对所述车牌的类型进行分类。
根据本公开的第三方面，提供了一种智能交通设备，包括：
上述技术方案中任一项所述的车牌检测装置；
至少一个图像采集装置，与所述车牌检测装置通信连接，被配置为采集目标图像并向所述车牌检测装置提供；以及
车牌识别装置，被配置为根据所述车牌检测装置输出的检测结果执行车牌识别。
根据本公开的第四方面，提供了一种电子设备，该电子设备包括：
至少一个处理器；以及
与上述至少一个处理器通信连接的存储器；其中，
存储器存储有可被上述至少一个处理器执行的指令，指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行上述车牌检测方法。
根据本公开的第五方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使计算机执行上述车牌检测方法。
根据本公开的第六方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述车牌检测方法。
本公开提供了一种用于车牌检测的方法、装置、设备、存储介质以及智能交通设备，相比现有的车牌检测算法，具有高精度、低时延的优势。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的车牌检测方法的步骤示意图；
图2是根据本公开第一实施例的车牌检测方法的流程示意图；
图3是根据本公开第一实施例的确定车牌候选区域的步骤图；
图4是根据本公开第一实施例的确定车牌精确区域的步骤图；
图5是根据本公开第一实施例的第一阶段图像裁剪的原理图；
图6是根据本公开第一实施例的第二阶段预测车牌顶点位置的原理图；
图7是根据本公开第二实施例的车牌检测装置的原理框图；
图8是根据本公开第二实施例的第一处理模块的原理框图；
图9是根据本公开第二实施例的第二处理模块的原理框图；
图10是根据本公开第三实施例的智能交通设备的原理框图；
图11是用来实现本公开实施例的车牌检测方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开第一实施例提供了一种车牌检测方法，如图1所示，包括：
步骤S101，获取包含车牌的第一图像；
步骤S102，以第一图像的中心为基准点计算得到车牌中心，基于车牌中心确定车牌的候选区域；
步骤S103，基于候选区域对第一图像进行裁剪，得到以车牌中心为中心的第二图像；
步骤S104，以第二图像的中心为基准点计算得到车牌顶点，基于车牌顶点确定车牌的精确区域。
早期的车牌检测任务往往使用通用目标检测算法实现车牌位置预测，如基于anchor(锚点)的SSD(Single Shot MultiBox Detector，单激发多框探测器)算法、Faster-RCNN(Region Convolutional Neural Networks，区域卷积神经网络)算法等。计算机在做目标检测的时候，通常需要做两件事，第一件事是目标在哪(即目标定位)，第二件事是目标是什么(即目标分类)。因此，人们把目标检测分为了两大类，一类叫做two-stage(两阶段)，另一类就叫做one-stage(一阶段)。对于two-stage来说，它会先生成一些候选区域，这些区域有可能会包含一个待检测目标(第一阶段定位)，紧接着再采取一些后续操作来区分每个候选区域里具体包含了哪些目标(第二阶段分类)。SSD算法属于one-stage方法，对于one-stage来说，则通过一次网络就同时得到了被检测物体的位置信息和分类信息。one-stage这类算法仅可以应对较简单的图片场景，但对于车牌倾斜等特殊情况表现一般。随着深度学习等快速发展，基于分割的检测算法被提出并应用于字符检测领域，如DBNet，先通过网络预测图片的文本分割结果，使用预设的阈值将分割结果转换为二值图，最后使用一些聚合的操作将二值图转换为检测结果。但这种分割式算法并不是端到端的识别方法，无法在同一个网络中完成，算法复杂。
另外，通用检测算法或基于分割的算法往往对输入尺寸和模型计算量要求较高，很难做到实时，并且后处理复杂，通用检测算法依赖anchor以及NMS(Non-MaximumSuppression，非极大值抑制)，顾名思义就是抑制不是极大值的元素，用于目标检测中，就是提取置信度高的目标检测框，而抑制置信度低的误检框。一般来说，用在当解析模型输出到目标框时，目标框会非常多，具体数量由anchor数量决定，其中有很多重复的框定位到同一个目标，NMS用来去除这些重复的框，获得唯一的目标检测框。
针对上述问题，本公开基于深度学习模型进行车牌检测，如图2所示，模型包括两阶段的车牌位置检测算法：第一阶段，模型获取第一图像，以第一图像的中心为基准点预测得到车牌中心，根据车牌中心确定覆盖车牌图像的候选区域，并基于候选区域裁剪得到车牌占主要像素的第二图像；第二阶段，基于第一阶段确定的候选区域用对齐的高分辨率特征回归车牌框，确定车牌框的精确区域。本公开的车牌检测方法可以在输入的第一图像的分辨率很低的情况下，达到非常高的检测精度，相比现有的检测算法，具有高精度、低时延的优势。相比现有的分割检测算法，本公开提出的预测车牌中心点方法利用的是端到端回归算法。而现有的基于锚点的方法依赖预设置的anchor，属于密集检测，对特征图上每个点都需要预测偏移量，需要NMS后处理判断选择哪一个点的输出作为模型的最终输出，计算量较大，且时延高。而本公开在第一阶段提供了第一图像的中心作为基准点，这样模型根据基准点预测车牌中心位置就比较容易，不需要对特征图上每个点都预测偏移量，基于车牌中心点位置进行一定尺寸的裁剪，就可以得到一个以车牌为中心的第二图像，第二图像中车牌占主要像素，这样在第二阶段预测车牌框就容易很多，算法简单，无需复杂的后处理。
作为可选的实施方式，如图3所示，在步骤S102中，以第一图像的中心为基准点计算得到车牌中心包括：
步骤S301，获取第一图像的中心P0(x,y)；
步骤S302，对第一图像进行特征提取得到第一车牌特征，第一车牌特征至少包括车牌的位置特征、颜色特征、形状特征中的一种或多种；
步骤S303，基于第一车牌特征计算得到车牌中心P1相对于第一图像的中心P0(x,y)的偏移距离；
步骤S304，基于第一图像的中心P0(x,y)和车牌中心的偏移距离计算得到车牌中心P1(x,y)。
具体地，已知第一图像的中心P0(x,y)，设车牌中心为P1(x,y)，此时P1(x,y)还是未知的；模型预测车牌中心相对于P0(x,y)的偏移距离，即P0(x,y)与P1(x,y)之间的偏移距离，包括横坐标偏移距离offset_x和纵坐标偏移距离offset_y；其中，P0(x,y)是已知项，根据已知的P0(x,y)、offset_x以及offset_y可以计算出车牌中心P1(x,y)，即根据P1(x)＝P0(x)+offset_x计算得到车牌中心的横坐标P1(x)，并根据P1(y)＝P0(y)+offset_y计算得到车牌中心的纵坐标P1(y)。第一阶段，模型预测得到offset_x和offset_y，从而确定了车牌中心。
作为可选的实施方式，确定了车牌中心后，可以结合车牌中心和预设检测框确定候选区域，预设检测框可以设置成固定尺寸，例如，假设第一图像的大小为836x1236像素，预设检测框的固定尺寸为512x512像素，那么可以确定一个以车牌中心为中心、大小为512x512像素的区域，并根据确定的候选区域对第一图像501裁剪得到第二图像502。
作为可选的实施方式，如图4所示，在步骤S103中，以第二图像的中心为基准点计算车牌顶点包括：
步骤S401，获取第二图像502的中心P2(x,y)；
步骤S402，对第二图像进行特征提取得到第二车牌特征，第二车牌特征至少包括位置特征、颜色特征、形状特征中的一种或多种；
步骤S403，如图6所示，基于第二车牌特征计算得到两个车牌顶点相对于第二图像的中心P2(x,y)的偏移距离；
步骤S404，基于第二图像502的中心P2(x,y)和两个车牌顶点的偏移距离计算得到两个车牌顶点，其中，两个车牌顶点位于同一对角线上，即第一车牌顶点(x1,y1)、第二车牌顶点(x2,y2)，基于两个车牌顶点(x1,y1)、(x2,y2)可以确定车牌500的精确区域。
具体地，如图6所示，已知第二图像的中心为P2(x,y)，设车牌的第一车牌顶点为(x1,y1)，第二车牌顶点(x2,y2)；神经网络模型通过对第二图像进行特征提取，基于提取到的车牌位置特征、车牌形状特征、车牌颜色特征判断车牌顶点相对于第二图像中心的偏移，得到第一顶点的横坐标偏移距离offset_x1，第二顶点的横坐标偏移距离offset_x2，第一顶点的纵坐标偏移距离offset_y1，第二顶点的纵坐标偏移距离offset_y2；在得到车牌顶点的偏移距离后，基于已知的P2(x,y)和车牌顶点的偏移距离，根据x1＝P2(x)-offset_x1计算出第一车牌顶点的横坐标，根据x2＝P2(x)+offset_x2计算出第二车牌顶点的横坐标，根据y1＝P2(y)-offset_y1计算出第一顶点的纵坐标，根据y2＝P2(y)+offset_y2计算出第二顶点的纵坐标，从而得到车牌的第一车牌顶点(x1,y1)以及第二车牌顶点(x2,y2)。其中第一车牌顶点和第二车牌顶点为位于车牌的同一对角线上，本实施例中第一顶点为车牌框的左上角顶点，第二顶点为车牌框的右下角顶点，在得到两个顶点坐标后可以确定车牌框的精确位置。第二阶段模型输出offset_x1、offset_x2、offset_y1、offset_y2四个偏移量，通过四个偏移量确定了两个车牌顶点的具体位置，从而检测得到车牌的精确区域。
作为可选的实施方式，神经网络提取的第一车牌特征、第二车牌特征可以包括但不限于车牌位置特征、车牌颜色特征、车牌形状特征，神经网络模型是直接根据输入图像进行分类的，模型可以提取定位区域的颜色、形状来进行车牌分类及车牌框回归，因为这几个特征最明显，也和预测结果相关程度高，模型更容易学习到。
作为可选的实施方式，步骤S104基于车牌顶点确定车牌的精确区域之后，还包括：
对精确区域进行特征提取得到第三车牌特征；基于精确区域提取到的第三车牌特征输出一组置信度，置信度用于对车牌的类型进行分类。在步骤S104确定了车牌的精确区域之后，对精确区域进行特征提取并判断车牌的类型。其中，精确区域提取的特征可以是颜色特征，模型基于精确区域的图像提取颜色特征输出一组置信度，每一个置信度对应一个车牌的类型，例如目前包含五类车牌，分别为蓝、绿、黄、黑、白，则输出五个置信度，五个置信度的和为1，五个置信度依次表示为[0.8,0.1,0.03,0.03,0.04]，则模型预测当前输入图像的车牌为蓝牌。
本公开第二实施例提供了一种车牌检测装置700，如图7所示，包括：
图像获取模块701，被配置为获取包含车牌的第一图像；
第一处理模块702，被配置为以第一图像的中心为基准点计算车牌中心，基于车牌中心确定车牌的候选区域；
图像裁剪模块703，被配置为基于候选区域对第一图像进行裁剪，得到以车牌中心为中心的第二图像；
第二处理模块704，被配置为以第二图像的中心为基准点计算车牌顶点，基于车牌顶点确定车牌的精确区域。
本公开基于深度学习模型的车牌检测装置，如图2所示，模型包括两阶段的车牌位置检测算法：第一阶段，图像获取模块701获取第一图像，第一处理模块702以第一图像的中心为基准点确定车牌中心，并根据车牌中心确定覆盖车牌图像的候选区域，图像裁剪模块703基于候选区域裁剪得到车牌占主要像素的第二图像；第二阶段，第二处理模块704基于第一阶段确定的候选区域用对齐的高分辨率特征回归车牌框，确定车牌框的精确区域。本公开的车牌检测方法可以在输入的第一图像的分辨率很低的情况下，达到非常高的检测精度，相比现有的检测算法，具有高精度、低时延的优势。相比现有的分割检测算法，本公开提出的预测车牌中心点方法利用的是端到端回归算法。现有的基于锚点的检测方法依赖预设置的anchor，属于密集检测，对特征图上每个点都需要预测偏移量，需要NMS后处理判断选择哪一个点的输出作为模型的最终输出，计算量较大，且时延高。而本公开在第一阶段提供了第一图像的中心作为基准点，这样根据基准点预测车牌中心位置就比较容易，不需要对特征图上每个点都预测偏移量，基于车牌中心点位置进行固定尺寸的裁剪，就可以得到一个以车牌为中心的第二图像，第二图像中车牌占主要像素，这样在第二阶段预测车牌框就容易很多，算法简单，无需复杂的后处理。
作为可选的实施方式，如图8所示，第一处理模块702包括：
第一获取单元801，被配置为获取第一图像的中心P0(x,y)；
第一特征提取单元802，被配置为对第一图像进行特征提取得到第一车牌特征，第一车牌特征至少包括位置特征、颜色特征、形状特征中的一种或多种；
第一计算单元803，被配置为基于第一车牌特征计算得到车牌中心相对于第一图像的中心P0(x,y)的偏移距离；
第一计算单元803基于第一图像的中心P0(x,y)和车牌中心的偏移距离计算得到车牌中心P1(x,y)。
具体地，已知第一图像的中心P0(x,y)，设车牌中心为P1(x,y)；模型预测车牌中心相对于P0(x,y)的偏移距离，包括横坐标偏移距离offset_x和纵坐标偏移距离offset_y；其中，P0(x,y)是已知项，根据已知的P0(x,y)以及计算得到的offset_x以及offset_y可以计算出车牌中心P1(x,y)，即根据P1(x)＝P0(x)+offset_x计算得到车牌中心的横坐标P1(x)，并根据P1(y)＝P0(y)+offset_y计算得到车牌中心的纵坐标P1(y)。第一阶段，模型预测得到offset_x和offset_y，从而确定了车牌中心。
作为可选的实施方式，如图8所示，车牌检测装置还包括：候选区域检测单元804，被配置为基于车牌中心和预设检测框确定以车牌中心为中心并覆盖车牌的区域作为候选区域。在确定了车牌中心后，可以结合车牌中心和预设检测框确定候选区域，预设检测框可以设置成固定尺寸例如，假设第一图像的大小为836x1236像素，预设的固定尺寸为512x512像素，那么可以确定一个以车牌中心为中心、大小为512x512像素的区域作为候选区域。神经网络模型根据确定的候选区域对第一图像501裁剪得到以车牌500为中心的第二图像502(图5所示)。
作为可选的实施方式，如图9所示，第二处理模块704包括：
第二获取单元901，被配置为获取第二图像的中心P2(x,y)；
第二特征提取单元902，被配置为对第二图像进行特征提取得到第二车牌特征，第二车牌特征至少包括位置特征、颜色特征、形状特征中的一种或多种；
第二计算单元903，被配置为基于第二车牌特征计算得到两个车牌顶点相对于第二图像的中心P2(x,y)的偏移距离；
第二计算单元903基于第二图像的中心P2(x,y)和两个车牌顶点的偏移距离计算得到两个车牌顶点，即第一车牌顶点(x1,y1)和第二车牌顶点(x2,y2)。
具体地，如图6所示，已知第二图像的中心P2(x,y)，设车牌的第一车牌顶点为(x1,y1)，第二车牌顶点(x2,y2)；模型通过第二特征提取单元902对第二图像进行特征提取，第二计算单元可以基于提取到的车牌位置特征、车牌形状特征、车牌颜色特征判断车牌顶点相对于第二图像中心的偏移量，得到第一顶点的横坐标偏移距离offset_x1，第二顶点的横坐标偏移距离offset_x2，第一顶点的纵坐标偏移距离offset_y1，第二顶点的纵坐标偏移距离offset_y2；在得到车牌顶点的偏移距离后，基于已知的P2(x,y)和车牌顶点相对于P2(x,y)的偏移距离，根据x1＝P2(x)-offset_x1计算出第一顶点的横坐标，根据x2＝P2(x)+offset_x2计算出第二顶点的横坐标，根据y1＝P2(y)-offset_y1计算出第一顶点的纵坐标，根据y2＝P2(y)+offset_y2计算出第二顶点的纵坐标，从而得到车牌的第一车牌顶点(x1,y1)以及第二车牌顶点(x2,y2)。其中第一车牌顶点和第二车牌顶点为位于车牌的同一对角线上，本实施例中第一顶点为车牌框的左上角顶点，第二顶点为车牌框的右下角顶点，在得到两个顶点坐标后可以确定车牌框的精确位置。第二阶段模型输出offset_x1、offset_x2、offset_y1、offset_y2四个偏移量，通过四个偏移量计算得到车牌顶点，从而确定车牌的精确区域。
作为可选的实施方式，第一特征提取单元和第二特征提取单元分别提取的第一车牌特征、第二车牌特征可以包括但不限于车牌位置特征、车牌颜色特征、车牌形状特征，神经网络模型是直接根据输入图像进行分类的，模型可以提取定位区域的颜色、形状来进行车牌分类及车牌框回归，因为这几个特征最明显，也和预测结果相关程度高，模型更容易学习到。
作为可选的实施方式，车牌检测装置还包括：车牌类型检测模块，被配置为对车牌的精确区域进行特征提取得到第三车牌特征，并基于第三车牌特征输出一组置信度，置信度用于对车牌的类型进行分类。在确定了车牌的精确区域之后，车牌类型检测模块对精确区域进行特征提取并判断车牌的类型。其中，第三车牌特征可以是颜色特征，模型基于精确区域的图像提取颜色特征输出一组置信度，每一个置信度对应一个车牌的类型，例如目前包含五类车牌，分别为蓝、绿、黄、黑、白，则输出五个置信度，五个置信度的和为1，五个置信度依次表示为[0.8,0.1,0.03,0.03,0.04]，则模型预测当前输入图像的车牌为蓝牌。
本公开第三实施例提供了一种智能交通设备1000，如图10所示，包括：
包括第二实施例中任一所述的车牌检测装置1001；
至少一个图像采集装置1002，与车牌检测装置1002通信连接，被配置为采集目标图像并向车牌检测装置1002提供；以及
车牌识别装置1003，被配置为根据车牌检测装置1001输出的检测结果执行车牌识别。
具体地，本公开的智能交通设备1000可以应用于电子收费(Electronic TollCollection，ETC)系统、停车场管理系统、电子警察抓拍等应用场景。车牌识别技术结合电子不停车收费系统(ETC)识别车辆，过往车辆通过道口时无须停车，即能够实现车辆身份自动识别、自动收费。在车场管理系统中，为提高出入口车辆通行效率，车牌识别针对无需收停车费的车辆(如月卡车、内部免费通行车辆)，建设无人值守的快速通道，免取卡、不停车的出入体验，可以提升停车场管理效率
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如车牌检测方法。例如，在一些实施例中，车牌检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的车牌检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行车牌检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (16)
1.一种车牌检测方法，其特征在于，包括：
获取包含车牌的第一图像；
以所述第一图像的中心为基准点计算得到车牌中心，基于所述车牌中心确定所述车牌的候选区域；
基于所述候选区域对所述第一图像进行裁剪，得到以所述车牌中心为中心的第二图像；
以所述第二图像的中心为基准点计算得到车牌顶点，基于所述车牌顶点确定所述车牌的精确区域。
2.根据权利要求1所述的车牌检测方法，其中，所述以所述第一图像的中心为基准点计算得到车牌中心包括：
获取所述第一图像的中心；
对所述第一图像进行特征提取得到第一车牌特征；
基于所述第一车牌特征计算得到所述车牌中心相对于所述第一图像的中心的偏移距离；
基于所述第一图像的中心和所述车牌中心的偏移距离计算得到所述车牌中心。
3.根据权利要求1或2所述的车牌检测方法，其中，所述基于所述车牌中心确定所述车牌的候选区域包括：基于所述车牌中心和预设检测框确定以所述车牌中心为中心并覆盖所述车牌的区域作为所述候选区域。
4.根据权利要求1所述的车牌检测方法，其中，以所述第二图像的中心为基准点计算得到车牌顶点包括：
获取所述第二图像的中心；
对所述第二图像进行特征提取得到第二车牌特征；
基于所述第二车牌特征计算得到两个车牌顶点相对于所述第二图像的中心的偏移距离；
基于所述第二图像的中心和所述两个车牌顶点的偏移距离计算得到所述两个车牌顶点。
5.根据权利要求2或4所述的车牌检测方法，其中，所述第一车牌特征、所述第二车牌特征包括以下至少一项：所述车牌的位置特征；所述车牌的颜色特征；所述车牌的形状特征。
6.根据权利要求1所述的车牌检测方法，所述基于所述车牌顶点确定所述车牌的精确区域之后，还包括：
对所述精确区域进行特征提取得到第三车牌特征；
基于所述第三车牌特征输出一组置信度，所述一组置信度用于对所述车牌的类型进行分类。
7.一种车牌检测装置，包括：
图像获取模块，被配置为获取包含车牌的第一图像；
第一处理模块，被配置为以所述第一图像的中心为基准点计算得到车牌中心，基于所述车牌中心确定车牌的候选区域；
图像裁剪模块，被配置为基于所述候选区域对所述第一图像进行裁剪，得到以所述车牌中心为中心的第二图像；
第二处理模块，被配置为以所述第二图像的中心为基准点计算得到车牌顶点，基于所述车牌顶点确定所述车牌的精确区域。
8.根据权利要求7所述的车牌检测装置，其中，所述第一处理模块包括：
第一获取单元，被配置为获取所述第一图像的中心；
第一特征提取单元，被配置为对所述第一图像进行特征提取得到第一车牌特征；
第一计算单元，被配置为基于所述第一车牌特征计算得到所述车牌中心相对于所述第一图像的中心的偏移距离；
所述第一计算单元基于所述第一图像的中心和所述车牌中心的偏移距离计算得到所述车牌中心。
9.根据权利要求7或8所述的车牌检测装置，其中，所述第一处理模块还包括：候选区域检测单元，被配置为基于所述车牌中心和预设检测框确定以所述车牌中心为中心并覆盖所述车牌的区域作为所述候选区域。
10.根据权利要求7所述的车牌检测装置，其中，所述第二处理模块包括：
第二获取单元，被配置为获取所述第二图像的中心；
第二特征提取单元，被配置为对所述第二图像进行特征提取得到第二车牌特征；
第二计算单元，被配置为基于所述第二车牌特征计算得到两个车牌顶点相对于所述第二图像的中心的偏移距离；
所述第二计算单元基于所述第二图像的中心和所述两个车牌顶点的偏移距离计算得到所述两个车牌顶点。
11.根据权利要求8或10所述的车牌检测装置，其中，所述第一车牌特征、所述第二车牌特征包括以下至少一项：所述车牌的位置特征；所述车牌的颜色特征；所述车牌的形状特征。
12.根据权利要求7所述的车牌检测装置，还包括：
车牌类型检测模块，被配置为对所述精确区域进行特征提取得到第三车牌特征，并基于所述第三车牌特征输出一组置信度，所述一组置信度用于对所述车牌的类型进行分类。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的车牌检测方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的车牌检测方法。
15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的车牌检测方法。
16.一种智能交通设备，包括：
包括权利要求7-12中任一所述的车牌检测装置；
至少一个图像采集装置，与所述车牌检测装置通信连接，被配置为采集目标图像并向所述车牌检测装置提供；以及
车牌识别装置，被配置为根据所述车牌检测装置输出的检测结果执行车牌识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210631054.2A CN114842465A (zh) | 2022-06-06 | 2022-06-06 | 车牌检测方法、装置、电子设备、介质及智能交通设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210631054.2A CN114842465A (zh) | 2022-06-06 | 2022-06-06 | 车牌检测方法、装置、电子设备、介质及智能交通设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114842465A true CN114842465A (zh) | 2022-08-02 |
Family
ID=82574412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210631054.2A Pending CN114842465A (zh) | 2022-06-06 | 2022-06-06 | 车牌检测方法、装置、电子设备、介质及智能交通设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114842465A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018027451A1 (zh) * | 2016-08-08 | 2018-02-15 | 深圳市道通智能航空技术有限公司 | 一种飞行定位的方法及装置 |
| CN110807385A (zh) * | 2019-10-24 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 目标检测方法、装置、电子设备及存储介质 |
| CN110853366A (zh) * | 2019-11-20 | 2020-02-28 | 浙江大华技术股份有限公司 | 一种检测车辆停放位置方法及装置 |
| CN111709416A (zh) * | 2020-05-15 | 2020-09-25 | 珠海亿智电子科技有限公司 | 车牌定位方法、装置、系统及存储介质 |
| CN112329776A (zh) * | 2020-12-03 | 2021-02-05 | 北京智芯原动科技有限公司 | 基于改进CenterNet网络的车牌检测方法及装置 |
-
2022
- 2022-06-06 CN CN202210631054.2A patent/CN114842465A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018027451A1 (zh) * | 2016-08-08 | 2018-02-15 | 深圳市道通智能航空技术有限公司 | 一种飞行定位的方法及装置 |
| CN110807385A (zh) * | 2019-10-24 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 目标检测方法、装置、电子设备及存储介质 |
| CN110853366A (zh) * | 2019-11-20 | 2020-02-28 | 浙江大华技术股份有限公司 | 一种检测车辆停放位置方法及装置 |
| CN111709416A (zh) * | 2020-05-15 | 2020-09-25 | 珠海亿智电子科技有限公司 | 车牌定位方法、装置、系统及存储介质 |
| CN112329776A (zh) * | 2020-12-03 | 2021-02-05 | 北京智芯原动科技有限公司 | 基于改进CenterNet网络的车牌检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 姜策;胡岸明;何为;: "基于卷积神经网络的车牌定位算法", 激光与光电子学进展 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109087510B (zh) | 交通监测方法及装置 | |
| EP3806064B1 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
| EP3505962A1 (en) | Method and apparatus for processing point cloud data | |
| US11741726B2 (en) | Lane line detection method, electronic device, and computer storage medium | |
| CN112863187B (zh) | 感知模型的检测方法、电子设备、路侧设备和云控平台 | |
| CN113887418A (zh) | 车辆违规行驶的检测方法、装置、电子设备及存储介质 | |
| CN115719436A (zh) | 模型训练方法、目标检测方法、装置、设备以及存储介质 | |
| CN113989777A (zh) | 高精地图限速标牌与车道位置的识别方法、装置和设备 | |
| CN113901911B (zh) | 图像识别、模型训练方法、装置、电子设备及存储介质 | |
| CN114612741A (zh) | 缺陷识别模型的训练方法、装置、电子设备及存储介质 | |
| CN114022865A (zh) | 基于车道线识别模型的图像处理方法、装置、设备和介质 | |
| CN113807184A (zh) | 障碍物检测方法、装置、电子设备及自动驾驶车辆 | |
| CN113052048A (zh) | 交通事件检测方法、装置、路侧设备以及云控平台 | |
| CN114429631B (zh) | 三维对象检测方法、装置、设备以及存储介质 | |
| EP4080479A2 (en) | Method for identifying traffic light, device, cloud control platform and vehicle-road coordination system | |
| CN115995075A (zh) | 一种车辆自适应导航方法、装置、电子设备及存储介质 | |
| CN115761698A (zh) | 一种目标检测方法、装置、设备及存储介质 | |
| CN115436900A (zh) | 基于雷达图的目标检测方法、装置、设备和介质 | |
| CN114842465A (zh) | 车牌检测方法、装置、电子设备、介质及智能交通设备 | |
| CN114565906A (zh) | 障碍物检测方法、装置、电子设备及存储介质 | |
| CN114283343A (zh) | 基于遥感卫星图像的地图更新方法、训练方法和设备 | |
| CN113901903A (zh) | 道路识别方法和装置 | |
| CN114627400A (zh) | 一种车道拥堵检测方法、装置、电子设备和存储介质 | |
| CN113744304A (zh) | 一种目标检测跟踪的方法和装置 | |
| CN114581890B (zh) | 确定车道线的方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220802 |