CN115019297B - 一种基于颜色增广的实时车牌检测识别方法和装置 - Google Patents

一种基于颜色增广的实时车牌检测识别方法和装置 Download PDF

Info

Publication number
CN115019297B
CN115019297B CN202210930831.3A CN202210930831A CN115019297B CN 115019297 B CN115019297 B CN 115019297B CN 202210930831 A CN202210930831 A CN 202210930831A CN 115019297 B CN115019297 B CN 115019297B
Authority
CN
China
Prior art keywords
license plate
image
detection
recognition
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210930831.3A
Other languages
English (en)
Other versions
CN115019297A (zh
Inventor
徐芬
王军
曹卫强
徐晓刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202210930831.3A priority Critical patent/CN115019297B/zh
Publication of CN115019297A publication Critical patent/CN115019297A/zh
Application granted granted Critical
Publication of CN115019297B publication Critical patent/CN115019297B/zh
Priority to US18/221,712 priority patent/US20240046668A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于颜色增广的实时车牌检测识别方法和装置，该方法包括：步骤一，获取包含车牌的汽车图像，作为车牌检测训练集，通过训练好的车牌检测模型推理得到车牌检测结果；步骤二，对检测得到的车牌进行视图矫正变换，得到车牌正面视角的图像；步骤三，将得到的车牌正面视角的图像，作为车牌识别训练集，使用基于深度神经网络的车牌识别模型进行模型训练，再通过训练好的车牌识别模型进行车牌识别得到车牌识别结果；步骤四，将车牌检测结果和车牌识别结果在原测试图像上进行展示或者按需要输出，完成对图像中的车牌的检测和识别。本发明实现方法简单，可移植性强，提高了车牌检测模型和车牌识别模型的准确率，增强了模型的泛化能力。

Description

一种基于颜色增广的实时车牌检测识别方法和装置
技术领域
本发明涉及计算机视觉领域，尤其涉及一种基于颜色增广的实时车牌检测识别方法和装置。
背景技术
汽车作为重要的城市交通工具，给人们的生活带来了极大便利，我国汽车数量以每年10%以上的速度在增长，如何有效管理机动车是城市管理的关键和难点问题之一，迫切需要相应有效的手段去解决。利用深度学习技术解决车牌检测识别，是目前计算机视觉技术在城市管理中的研究热点。当前基于深度学习的图像检测识别算法都需要足够充分的训练样本。然而，现实中，实际数据不容易获得，采集过程缓慢，样本往往都有限，并且在将数据用于训练之前需要对数据进行处理和注释。为了获得更高的注释精度，还需要人工检查。如何采用有限的样本来训练高质量的检测识别算法是图像检测识别的难点。
基于样本有限，在深度学习中对图样采用数据增强的处理技术，它可以对有限样本数据进行适当加工，衍生出更多的补充训练样本，用以增强模型对训练样本特征的总结能力，然而在实际当中，样本收集与获取是有难度的、有代价的，导致可用样本具有明显的局限性，为了弥补样本，可以对已知图像进行适当的集合变换、像素调整(例如缩放、像素加工等)人为衍生出新的训练样本，这样的技术或者措施就是数据增强。然而，常用的增强手段，对于不同颜色车牌的检测识别效果并不明显。获得蓝色车牌是较为容易的，但采用常规的数据增强方式，用蓝色车牌数据进行训练得到的模型，根本检测识别不了黄色和绿色车牌。
RGB 是日常接触最多的颜色空间，由三个通道表示一幅图像，分别为红色(Red)，绿色(Green)和蓝色(Blue)。这三种颜色的不同组合可以形成几乎所有的其他颜色。HSV是基于 RGB 的，是作为一个更方便友好的方法创建出来的。HSV 表达彩色图像的方式由三个部分组成：色调（Hue）、饱和度（Saturation）、明度（Value）。HSV颜色空间模型是倒锥形模型，在圆锥上，角度代表色调H，饱和度S表示为点到中心竖线的距离，而亮度值V用中心竖线表示。 HSV对用户来说是一种直观的颜色模型。
发明内容
为了解决现有技术中存在的上述技术问题，本发明提出了一种基于颜色增广的实时车牌检测识别方法，其具体技术方案如下：
一种基于颜色增广的实时车牌检测识别方法，包括以下步骤：
步骤一，获取包含车牌的汽车图像，作为车牌检测训练集，通过颜色增广的方式将检测训练集中包含蓝色车牌的图像转为包含黄色和绿色车牌的图像，再使用基于深度卷积神经网络的车牌检测模型进行训练，获得训练好的车牌检测模型，通过训练好的车牌检测模型推理得到车牌检测结果；
步骤二，对检测得到的车牌进行视图矫正变换，得到车牌正面视角的图像；
步骤三，将得到的车牌正面视角的图像，作为车牌识别训练集，使用基于深度神经网络的车牌识别模型进行模型训练，再通过训练好的车牌识别模型进行车牌识别得到车牌识别结果；
步骤四，将车牌检测结果和车牌识别结果在原测试图像上进行展示或者按需要输出，完成对图像中的车牌的检测和识别。
进一步的，所述步骤一，具体包括以下子步骤：
步骤S101，车牌检测样本收集，制作检测训练数据集；
步骤S102，对检测训练数据集进行颜色增广；
步骤S103，采用颜色增广后的数据集训练车牌检测模型；
步骤S104，测试车牌检测模型，获得车牌检测结果。
进一步的，所述步骤S102中的颜色增广，具体包括以下过程：
（2.1）读取检测训练数据集中的蓝色车牌汽车图像M的RGB颜色空间；
（2.2）将RGB颜色空间转换为HSV颜色空间；
（2.3）随机产生一个[74，98]或者[23，89]范围内的数n；
（2.4）将H空间的每个数减去n后再对180取模得到H1；
（2.5）用H1替换图像M中的H得到转换后的图像M1；
当过程（2.3）中随机数n在[74，98]范围内时，蓝色车牌汽车图像将转换为黄色车牌汽车图像；当过程（2.3）中随机数n在[23，89]范围内时，蓝色车牌汽车图像将转换为绿色车牌汽车图像。
进一步的，所述步骤二具体为：通过车牌检测模型获得车牌的水平框和四个角点的位置，按水平框的位置将车牌从原图像中剪切出来，然后根据车牌四个角点的位置利用仿射变换进行视图的变换，输出车牌正面视角的图像；所述车牌检测模型采用深度卷积神经网络YOLOv5s架构。
进一步的，所述仿射变换是指在向量空间中进行一次线性变换即乘以一个矩阵和一次平移即加上一个向量，变换到另一个向量空间的过程。
进一步的，所述步骤三，具体包括以下子步骤：
步骤S301，车牌识别样本收集，制作识别训练数据集；
步骤S302，对识别训练数据集进行颜色增广；
步骤S303，采用颜色增广后的数据集训练车牌识别模型；
步骤S304，测试车牌识别模型，获得车牌识别结果。
进一步的，所述步骤S302中的颜色增广，具体包括以下过程：
（3.1）读取识别训练数据集中的蓝色车牌正面视角的图像M2的RGB颜色空间；
（3.2）用255减去图像M2的RGB颜色空间的每个值后得到图像M3；
（3.3）将图像M3的RGB颜色空间转换为HSV颜色空间；
（3.4）随机产生一个[9，51]范围内的数n1；
（3.5）将H空间的每个数加上n1后再对180取模得到H2；
（3.6）用H2替换图像M3中的H得到转换后的图像M4；此时，蓝色车牌正面视角的图像M2就转化为绿色车牌正面视角的图像M4了。
一种基于颜色增广的实时车牌检测识别装置，包括一个或多个处理器，用于实现所述的一种基于颜色增广的实时车牌检测识别方法。
一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现所述的一种基于颜色增广的实时车牌检测识别。
根据以上技术方案，本发明的有益效果如下：
本发明提供了一种针对车牌检测的车牌颜色增广方法，将包含蓝色车牌的图像转为包含黄色和绿色车牌的图像，产生的数据更符合要求，避免由普通颜色增广产生的大量无效数据对训练效果的干扰；
本发明是对原始图像进行颜色增广，不仅维护了训练样本的客观性，同时，可以增加其他颜色车牌的学习与训练机会，对车牌检测识别算法的检测识别能力起到积极的作用；
本发明对训练好的车牌检测模型和车牌识别模型进行级联，能够更好地适应复杂多变的作业场所，具有实际的应用价值。
附图说明
图1为本发明的一种基于颜色增广的实时车牌检测识别方法流程示意图；
图2为本发明实施例中车牌视图矫正的示例图；
图3为本发明实施例的车牌检测识别的整体过程示意图；
图4为本发明实施例的一种基于颜色增广的实时车牌检测识别装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图，对本发明作进一步详细说明。
本发明的一种基于颜色增广的实时车牌检测识别方法，获取包含车牌的汽车图像，作为车牌检测训练集，通过颜色增广将包含蓝色车牌的图像转为包含黄色和绿色车牌的图像；使用基于深度卷积神经网络的检测模型进行训练，获得训练好的车牌检测模型；剪切汽车图像的车牌，作为车牌识别训练集，通过颜色增广将蓝色车牌转为黄色车牌和绿色车牌；使用基于深度神经网络的识别模型进行训练，获得训练好的车牌识别模型；对训练好的车牌检测模型和车牌识别模型进行级联，对待检测的图像进行车牌检测，获得不同角度拍摄图像中车牌的检测结果，再将检测结果剪切后进行视图矫正，获得车牌正面视角图像后送入车牌识别模型进行车牌识别输出，完成对图像中汽车的车牌检测识别任务。
具体的，如图1所示，包括以下步骤：
步骤一，获取包含车牌的汽车图像，作为车牌检测训练集，通过颜色增广的方式将车牌检测训练集中包含蓝色车牌的图像转为包含黄色和绿色车牌的图像，再使用基于深度卷积神经网络的车牌检测模型进行训练，获得训练好的车牌检测模型，通过训练好的车牌检测模型推理得到车牌的检测结果。
具体地，包括以下子步骤：
步骤S101，车牌检测样本收集，制作检测训练数据集；
具体地，采集停车场，公路上等各场所中带有车牌的汽车作为训练集素材，选取符合条件的图像，对图像中汽车车牌进行标注得到训练集；本实例中车牌的标注信息包含车牌的水平包围框坐标和车牌的四个角点的坐标。
步骤S102，对检测训练数据集进行颜色增广；
具体地，包括以下过程：
（2.1）读取检测训练数据集中的蓝色车牌汽车图像M的RGB颜色空间；
（2.2）将RGB颜色空间转换为HSV颜色空间；
（2.3）随机产生一个[74，98]或者[23，89]范围内的数n；
（2.4）将H空间的每个数减去n后再对180取模得到H1；
（2.5）用H1替换图像M中的H得到转换后的图像M1；
当过程（2.3）中随机数n在[74，98]范围内时，蓝色车牌汽车图像将转换为黄色车牌汽车图像；当过程（2.3）中随机数n在[23，89]范围内时，蓝色车牌汽车图像将转换为绿色车牌汽车图像；因为不同蓝色车牌由于天气、光照等影响，H值会不同，所以产生黄牌和绿牌的随机数会有重叠。
步骤S103，采用颜色增广后的数据集训练车牌检测模型；
具体地，本发明训练前读取数据时，对训练数据进行颜色增广；采用深度卷积神经网络YOLOv5s架构进行训练，预设训练次数；当达到预设训练次数或者网络模型收敛时，结束训练，得到训练好的车牌检测模型。
步骤S104，测试车牌检测模型，获得车牌检测结果；
输入测试图像，通过训练好的车牌检测模型推理得到车牌的检测结果。
步骤二，对检测得到的车牌进行视图矫正变换，得到车牌正面视角的图像。
具体地，由于监控摄像头，手持拍摄设备采集到的包含汽车车牌的图像可能是倾斜的，不方便直接进行车牌识别，所以需要对检测得到的车牌进行一个视图的矫正变换，以得到正面视角的图像，并对不符合条件的图像进行剔除；
如图2所示，通过车牌检测模型可以获得车牌的水平框和四个角点的位置，按水平框的位置将车牌从原图像中剪切出来，然后根据车牌四个角点的位置利用仿射变换进行视图的变换，输出94×24大小的车牌正面视角的图像。
仿射变换（Affine Transformation）是指在向量空间中进行一次线性变换(乘以一个矩阵)和一次平移(加上一个向量)，变换到另一个向量空间的过程。仿射变换代表的是两幅图之间的映射关系，仿射变换矩阵为2x3的矩阵。
步骤三，将得到的车牌正面视角的图像，作为车牌识别训练集，使用基于深度神经网络的车牌识别模型进行模型训练，再通过训练好的车牌识别模型进行车牌识别得到车牌识别结果。
具体地，包括以下子步骤：
步骤S301，车牌识别样本收集，制作识别训练数据集；
具体地，对图像中汽车车牌号码进行标注得到识别训练集。
步骤S302，对识别训练数据集进行颜色增广；
具体地，包括以下过程：
（3.1）读取识别训练数据集中的蓝色车牌正面视角的图像M2的RGB颜色空间；
（3.2）用255减去图像M2的RGB颜色空间的每个值后得到图像M3，此时进行输出或者进入下一步；此时，蓝色车牌正面视角的图像M2就转化为黄色车牌正面视角的图像M3了；
（3.3）将图像M3的RGB颜色空间转换为HSV颜色空间；
（3.4）随机产生一个[9，51]范围内的数n1；
（3.5）将H空间的每个数加上n1后再对180取模得到H2；
（3.6）用H2替换图像M3中的H得到转换后的图像M4；此时，蓝色车牌正面视角的图像M2就转化为绿色车牌正面视角的图像M4了；
步骤S303，采用颜色增广后的数据集训练车牌识别模型；
具体地，本发明的车牌识别模型训练前读取数据时，对车牌数据进行颜色增广；采用深度神经网络LPRNet架构进行训练，预设训练次数；当达到预设训练次数或者网络模型收敛时，结束训练，得到训练好的车牌识别模型。
步骤S304，测试车牌识别模型，获得车牌识别结果；
输入测试车牌图像，通过训练好的车牌识别模型推理得到车牌的识别结果。
步骤四，将车牌检测结果和车牌识别结果在原测试图像上进行展示或者按需要输出，完成对图像中的车牌的检测和识别，结果如图3所示，展示了本发明实施例通过颜色增广方式用蓝色车牌的数据集训练，完成对蓝色、黄色和绿色车牌图像的实时检测识别功能，并展示了一种基于级联（对训练好的车牌检测模型和车牌识别模型进行级联）的实时车牌检测识别方法。
与前述基于颜色增广的实时车牌检测识别方法的实施例相对应，本发明还提供了一种基于颜色增广的实时车牌检测识别装置的实施例。
参见图4，本发明实施例提供的一种基于颜色增广的实时车牌检测识别装置，包括一个或多个处理器，用于实现上述实施例中的基于颜色增广的实时车牌检测识别方法。
本发明一种基于颜色增广的实时车牌检测识别装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本发明一种基于颜色增广的实时车牌检测识别装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于颜色增广的实时车牌检测识别方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于颜色增广的实时车牌检测识别方法，其特征在于，包括以下步骤：
步骤一，获取包含车牌的汽车图像，作为车牌检测训练集，通过颜色增广的方式将检测训练集中包含蓝色车牌的图像转为包含黄色和绿色车牌的图像，再使用基于深度卷积神经网络的车牌检测模型进行训练，获得训练好的车牌检测模型，通过训练好的车牌检测模型推理得到车牌检测结果；所述步骤一，具体包括以下子步骤：
步骤S101，车牌检测样本收集，制作检测训练数据集；
步骤S102，对检测训练数据集进行颜色增广；具体包括以下过程：
（2.1）读取检测训练数据集中的蓝色车牌汽车图像M的RGB颜色空间；
（2.2）将RGB颜色空间转换为HSV颜色空间；
（2.3）随机产生一个[74，98]或者[23，89]范围内的数n；
（2.4）将H空间的每个数减去n后再对180取模得到H1；
（2.5）用H1替换图像M中的H得到转换后的图像M1；
当过程（2.3）中随机数n在[74，98]范围内时，蓝色车牌汽车图像将转换为黄色车牌汽车图像；当过程（2.3）中随机数n在[23，89]范围内时，蓝色车牌汽车图像将转换为绿色车牌汽车图像；
步骤S103，采用颜色增广后的数据集训练车牌检测模型；
步骤S104，测试车牌检测模型，获得车牌检测结果；
步骤二，对检测得到的车牌进行视图矫正变换，得到车牌正面视角的图像；
步骤三，将得到的车牌正面视角的图像，作为车牌识别训练集，使用基于深度神经网络的车牌识别模型进行模型训练，再通过训练好的车牌识别模型进行车牌识别得到车牌识别结果；所述步骤三，具体包括以下子步骤：
步骤S301，车牌识别样本收集，制作识别训练数据集；
步骤S302，对识别训练数据集进行颜色增广；所述步骤S302中的颜色增广，具体包括以下过程：
（3.1）读取识别训练数据集中的蓝色车牌正面视角的图像M2的RGB颜色空间；
（3.2）用255减去图像M2的RGB颜色空间的每个值后得到图像M3；
（3.3）将图像M3的RGB颜色空间转换为HSV颜色空间；
（3.4）随机产生一个[9，51]范围内的数n1；
（3.5）将H空间的每个数加上n1后再对180取模得到H2；
（3.6）用H2替换图像M3中的H得到转换后的图像M4；此时，蓝色车牌正面视角的图像M2就转化为绿色车牌正面视角的图像M4了；
步骤S303，采用颜色增广后的数据集训练车牌识别模型；
步骤S304，测试车牌识别模型，获得车牌识别结果；
步骤四，将车牌检测结果和车牌识别结果在原测试图像上进行展示或者按需要输出，完成对图像中的车牌的检测和识别。
2.如权利要求1所述的一种基于颜色增广的实时车牌检测识别方法，其特征在于，所述步骤二具体为：通过车牌检测模型获得车牌的水平框和四个角点的位置，按水平框的位置将车牌从原图像中剪切出来，然后根据车牌四个角点的位置利用仿射变换进行视图的变换，输出车牌正面视角的图像；所述车牌检测模型采用深度卷积神经网络YOLOv5s架构。
3.如权利要求2所述的一种基于颜色增广的实时车牌检测识别方法，其特征在于，所述仿射变换是指在向量空间中进行一次线性变换即乘以一个矩阵和一次平移即加上一个向量，变换到另一个向量空间的过程。
4.一种基于颜色增广的实时车牌检测识别装置，其特征在于，包括一个或多个处理器，用于实现权利要求1~3中任一项所述的一种基于颜色增广的实时车牌检测识别方法。
5.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1~3中任一项所述的一种基于颜色增广的实时车牌检测识别方法 。
CN202210930831.3A 2022-08-04 2022-08-04 一种基于颜色增广的实时车牌检测识别方法和装置 Active CN115019297B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210930831.3A CN115019297B (zh) 2022-08-04 2022-08-04 一种基于颜色增广的实时车牌检测识别方法和装置
US18/221,712 US20240046668A1 (en) 2022-08-04 2023-07-13 Real-time license plate detection and recognition method and device based on color augmentation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210930831.3A CN115019297B (zh) 2022-08-04 2022-08-04 一种基于颜色增广的实时车牌检测识别方法和装置

Publications (2)

Publication Number Publication Date
CN115019297A CN115019297A (zh) 2022-09-06
CN115019297B true CN115019297B (zh) 2022-12-09

Family

ID=83065795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210930831.3A Active CN115019297B (zh) 2022-08-04 2022-08-04 一种基于颜色增广的实时车牌检测识别方法和装置

Country Status (2)

Country Link
US (1) US20240046668A1 (zh)
CN (1) CN115019297B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116884214B (zh) * 2023-07-10 2024-01-26 珠海大横琴城市公共资源经营管理有限公司 市政车辆的监测预警方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325989A (zh) * 2018-08-27 2019-02-12 平安科技（深圳）有限公司 车牌图像生成方法、装置、设备及介质
CN110414507A (zh) * 2019-07-11 2019-11-05 和昌未来科技（深圳）有限公司 车牌识别方法、装置、计算机设备和存储介质
CN111209858A (zh) * 2020-01-06 2020-05-29 电子科技大学 一种基于深度卷积神经网络的实时车牌检测方法
CN111368830A (zh) * 2020-03-03 2020-07-03 西北工业大学 基于多视频帧信息和核相光滤波算法的车牌检测识别方法
CN111666788A (zh) * 2019-03-07 2020-09-15 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备、存储介质
CN113379869A (zh) * 2021-07-23 2021-09-10 浙江大华技术股份有限公司 一种车牌图像生成方法、装置、电子设备及存储介质
WO2022048209A1 (zh) * 2020-09-03 2022-03-10 平安科技（深圳）有限公司 车牌识别方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861845A (zh) * 2021-04-23 2021-05-28 北京欣博电子科技有限公司 车牌识别方法、装置、计算机设备和存储介质
CN113947766B (zh) * 2021-12-21 2022-04-22 之江实验室 一种基于卷积神经网络的实时车牌检测方法
CN114782770A (zh) * 2022-03-15 2022-07-22 合肥科大立安安全技术有限责任公司 一种基于深度学习的车牌检测与车牌识别方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325989A (zh) * 2018-08-27 2019-02-12 平安科技（深圳）有限公司 车牌图像生成方法、装置、设备及介质
CN111666788A (zh) * 2019-03-07 2020-09-15 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备、存储介质
CN110414507A (zh) * 2019-07-11 2019-11-05 和昌未来科技（深圳）有限公司 车牌识别方法、装置、计算机设备和存储介质
CN111209858A (zh) * 2020-01-06 2020-05-29 电子科技大学 一种基于深度卷积神经网络的实时车牌检测方法
CN111368830A (zh) * 2020-03-03 2020-07-03 西北工业大学 基于多视频帧信息和核相光滤波算法的车牌检测识别方法
WO2022048209A1 (zh) * 2020-09-03 2022-03-10 平安科技（深圳）有限公司 车牌识别方法、装置、电子设备及存储介质
CN113379869A (zh) * 2021-07-23 2021-09-10 浙江大华技术股份有限公司 一种车牌图像生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115019297A (zh) 2022-09-06
US20240046668A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
US20230410560A1 (en) Method and apparatus for constructing three-dimensional data set of pedestrian re-identification based on neural radiation field
CN109871845B (zh) 证件图像提取方法及终端设备
CN115393727B (zh) 一种路面线性裂缝识别方法、电子设备及存储介质
EP3844668A1 (en) System and method for training a damage identification model
CN104504744B (zh) 一种合成车牌图像的拟真方法及装置
CN109448009A (zh) 用于输电线路检测的红外图像处理方法及装置
CN113657409A (zh) 车辆损失检测方法、装置、电子设备及存储介质
CN112070137B (zh) 训练数据集的生成方法、目标对象检测方法及相关设备
CN112819066A (zh) 一种Res-UNet单木树种分类技术
CN115019297B (zh) 一种基于颜色增广的实时车牌检测识别方法和装置
CN116721104B (zh) 实景三维模型缺陷检测方法、装置、电子设备及存储介质
WO2020047316A1 (en) System and method for training a damage identification model
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
CN110321969B (zh) 一种基于mtcnn的车脸对齐方法
CN116030453A (zh) 一种数字电气表计的识别方法、装置及设备
CN112053407B (zh) 一种交通执法影像中基于ai技术的车道线自动检测方法
Shi et al. License plate localization in complex environments based on improved GrabCut algorithm
CN108053409B (zh) 一种遥感影像分割基准库自动构建方法及其系统
CN109145912A (zh) 一种数字仪表读数自动识别方法
CN111898525B (zh) 烟雾识别模型的构建方法、进行烟雾检测的方法及装置
CN117351505A (zh) 信息码的识别方法、装置、设备及存储介质
KR102416714B1 (ko) 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템 및 방법
CN116403200A (zh) 基于硬件加速的车牌实时识别系统
CN113505860B (zh) 盲区检测训练集的筛选方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant