CN112966631A - 一种无限制安防场景下的车牌检测识别系统及其方法 - Google Patents
一种无限制安防场景下的车牌检测识别系统及其方法 Download PDFInfo
- Publication number
- CN112966631A CN112966631A CN202110293871.7A CN202110293871A CN112966631A CN 112966631 A CN112966631 A CN 112966631A CN 202110293871 A CN202110293871 A CN 202110293871A CN 112966631 A CN112966631 A CN 112966631A
- Authority
- CN
- China
- Prior art keywords
- license plate
- detection
- image
- vehicle
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 145
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012937 correction Methods 0.000 claims abstract description 25
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 239000000284 extract Substances 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 5
- 230000011218 segmentation Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种无限制安防场景下的车牌检测识别系统及其方法，该系统包括车牌检测、车牌矫正、车牌识别三个模块；车牌检测模块根据获取的无限制安防场景图像，提取出车牌图像，将车牌图像以矩阵形式传入车牌矫正模块；车牌矫正模块将所获得的车牌图像进行变换，变为正视角的车牌图像；车牌识别模块利用车牌识别网络对获取的正视角车牌图像进行识别。本发明利用基于深度学习的目标检测算法对车辆和车牌进行两级检测，改善车牌在安防图像上尺寸过小难以检测的问题，再利用空间变换网络对受拍摄视角影响发生畸变的车牌图像进行矫正，最后利用宽卷积和CTC损失的全卷积神经网络对车牌进行识别，在无需字符分割的情况下，加快了网络识别速度和精度。
Description
技术领域
本发明涉及一种无限制安防场景下的车牌检测识别系统，具体的说是一种基于深度学习的车牌检测识别系统及其方法，属于计算机视觉技术领域。
背景技术
车牌识别是智慧交通与智慧安防的重要组成部分，其在超速违章监控、车辆追踪、电子警察、路况调控等方面发挥重要作用，能有效地节省警力，降低执法人员的工作强度，促进城市交通的高效运转。
车牌识别系统是对公路上配置的摄像头拍摄的照片进行数字图像处理与分析，综合应用大量的图像处理最新成果和数学形态学方法对汽车图像进行平滑、二值化、模糊处理、边缘检测、图像分割、开运算、比运算、区域标识等，利用多种手段以提取车牌区域，进而达到对汽车牌照的精确定位并最终完成对汽车牌照的识别。
车牌识别系统的用途很多，如高速公路电子收费站、公路流量控制、公路稽查、失窃车辆查询、监测黑牌机动车、监控违章车辆的电子警察等公路监管场合，以及停车场车辆管理、出入控制等需要车牌认证的场合都要应用车牌识别系统，尤其在高速公路收费系统中，实现不停车收费技术可提高公路系统的运行效率，由此可见车牌识别系统具有不可替代的作用，因此对车牌识别技术的研究和应用系统的开发具有重要的现实意义。
虽然车牌识别技术已得到很大发展，但是在无限制安防场景下的车牌识别仍然存在诸多挑战。这些挑战集中体现在以下几个方面：
(1)由于安防摄像头的限制，行驶中的车辆容易出现运动模糊的现象；
(2)在极端天气诸如大雾、雨雪情况下，采集到的图像质量较差，字符容易受到噪声干扰；
(3)在交通拥堵情况下，车牌容易受到遮挡影响而难以检测；
(4)由于拍摄距离等原因，车牌在安防图像上的尺寸占比过小，属于极小目标的检测；
(5)全天监控的安防摄像头随着时间推移，受到光照变化范围很大，在暗光条件下，车牌的检测识别受到极大挑战；
(6)城市中的安防摄像头架设位置差异很大，不同的视角下得到的安防图像，车辆及车牌受畸变影响产生失真现象；
(7)我国车牌的字符包括中文、数字和英文字母。中文字符的笔画较为复杂，在本来就较为模糊的车牌图像上，中文字符的笔画更为模糊。同时，部分英文字符和数字在图像模糊条件下极为相似，容易造成数字和英文字符的误识别。
发明内容
本发明的技术任务是针对现有技术的不足，提供一种无限制安防场景下的车牌检测识别系统及其方法，旨在解决无限制安防场景下车牌目标小、图像模糊、镜头畸变等导致车牌难以有效检测识别的问题。
本发明利用基于深度学习的目标检测算法对车辆和车牌进行两级检测，来改善车牌在安防图像上尺寸过小的问题难以检测的问题，再利用空间变换网络对受拍摄视角影响发生畸变的车牌图像进行矫正，最后利用基于宽卷积和CTC 损失的全卷积神经网络对车牌进行识别，在无需字符分割的情况下，加快了网络识别速度和精度。
本发明解决其技术问题所采用的技术方案是：
1、本发明提供一种无限制安防场景下的车牌检测识别系统，包括车牌检测、车牌矫正、车牌识别三个模块；
所述的车牌检测模块，根据获取的无限制安防场景图像，提取出车牌图像，将车牌图像以矩阵形式传入车牌矫正模块；
所述的车牌矫正模块，将所获得的车牌图像进行变换，变为正视角的车牌图像；
所述的车牌识别模块，利用车牌识别网络对获取的正视角车牌图像进行识别。
进一步地，所述的车牌检测模块，在获取无限制安防场景图像后，利用 YOLOv5车辆检测算法对图像中的车辆进行目标检测，输出车辆在图像上的四个角点坐标，根据坐标裁剪出车辆图像；再次利用YOLOv5车牌检测算法对车辆图像进行目标检测，输出车牌在图像上的四个角点坐标，根据坐标裁剪出车牌图像，将车牌图像以矩阵的形式传入车牌矫正网络。
进一步地，所述的车牌矫正模块，利用STN(空间变换网络)对车牌图像进行在线变换，使输入的车牌图像具有空间不变性，即原本失真变形的车牌图像变为正视角的车牌图像。
进一步地，所述的车牌识别模块首先经过基于LPRnet宽卷积神经网络对车牌图像进行特征提取，获得局部字符的上下文信息，然后对字符的概率进行解码，通过集束搜索找到的前N个最可能序列，返回与预定义模板集合最匹配的第一个序列，即为车牌识别结果。
进一步地，所述YOLOv5车辆检测算法具体步骤为：
S101、获取安防摄像机拍摄的视频，对视频抽帧处理，获得安防场景下的车辆图像；
S102、将S101中获得的车辆图像利用CVAT数据标注工具进行标注，获得车辆检测数据集；
S103、对S102中获得的数据集标签进行聚类，根据聚类结果确定YOLOv5 检测算法的先验框的宽高和数量；
S104、利用S102中获得的数据集以及S103中得到的先验框配置，对 YOLOv5检测算法进行训练，当网络损失收敛时停止训练，获得模型权重；
S105、将安防视频流输入YOLOv5检测算法，设置合适的置信度阈值和IOU 阈值，经过网络计算得到一系列的检测框，再经过非极大值抑制算法过滤掉低质量检测框和重复检测框，获得最终的车辆检测框。
进一步地，所述YOLOv5车牌检测算法具体步骤为：
S201、利用CVAT数据标注工具对上述车辆检测算法中得到的车辆数据集进行车牌区域标注，获得车牌检测数据集；
S202、对S201中获得的车牌检测数据集标签进行聚类，根据聚类结果确定 YOLOv5车牌检测算法的先验框的宽高和数量；
S203、利用S201中获得的车牌检测数据集和2中得到的先验框配置，对 YOLOv5检测算法进行训练，当网络损失收敛时停止训练，获得模型权重；
S204、将上述YOLOv5车辆检测算法输出的车辆图像输入YOLOv5车牌检测算法，设置合适的置信度阈值和IOU阈值，经过网络计算得到一系列的检测框，再经过非极大值抑制算法过滤掉低质量检测框和重复检测框，获得最终的车牌检测框。
进一步地，所述空间变换具体实现方式为：
S301、输入的车牌图像首先两个全连接层进行特征提取，然后接一个回归层，输出变换参数；
S302、利用S301中输出的变换参数，计算输出特征图上每个坐标位置对应输入特征图上的坐标位置；
S303、根据S302中得到空间位置映射关系，在输入特征图上进行双线性插值采样得到输出特征图的像素。
进一步地，所述LPRnet宽卷积神经网络包括输入层、卷积层、池化层、 Dropout层，其构建步骤为：
S401、输入车牌图像首先经过一个3×3的卷积层，再接一个3×3的最大池化层，其步长都为1；
S402、将S401的输出送入一个卷积单元，该卷积单元由1×1卷积、3×1卷积、1×3卷积、1×1卷积组成，然后在接一个3×3的最大池化层，其步长为2；
S403、将S402的输出送入跟S402中相同的卷积单元，然后再接一个3×3 最大池化层，其步长为2；
S404、将S403的输出送入一个Dropout层，其ratio为0.5，然后再经过一个4×1的卷积层；
S405、将S404的输出送入一个Dropout层，其ratio为0.5，然后再经过一个1×13的卷积层，输出的特征与标签通过CTC损失函数进行训练。
2、本发明另提供一种无限制安防场景下的车牌检测识别方法，包括车牌检测，车牌矫正、车牌识别三个步骤；
所述车牌检测包括以下步骤：
步骤1.1：将安防摄像机获取的图像传入预训练好的车辆检测模型，经过一次前向传播计算，输出车辆的位置坐标；
步骤1.2：根据步骤1.1得到位置坐标，对原始安防图像进行裁剪，得到车辆图像；
步骤1.3：将步骤1.2得到的车辆图像以矩阵形式传入预训练好的车牌检测模型，经过一次前向传播计算，输出车牌的位置坐标；
所述车牌矫正包括以下步骤：
步骤2.1：根据车牌检测得到的车牌位置坐标将车牌图像裁剪出来；
步骤2.2：将步骤2.1得到的车牌图像经缩放后以矩阵形式传入空间变换网络，经过一次前向传播计算，输出正视角的车牌图像；
所述车牌识别包括以下步骤：
步骤3.1：以车牌矫正模块输出的车牌图像作为输入，将其以矩阵形式传入预训练好的车牌识别网络，经过一次前向传播计算，输出车牌号信息；
步骤3.2：在车牌检测识别系统中，将车牌位置和车牌号信息标识出来。
本发明的一种无限制安防场景下的车牌检测识别系统及其方法与现有技术相比，所产生的有益效果是，
本发明利用基于深度学习的目标检测算法对车辆和车牌进行两级检测，通过空间变换网络对畸变的车牌图像进行矫正，基于宽卷积和CTC损失实现无需字符分割的车牌识别任务，其中，(1)本发明提出的模型全部基于深度神经网络进行搭建，网络通过一次前向计算便完成端到端的车牌检测、矫正和识别任务，整个过程不需要人工提取特征，全部由深度神经网络自动学习，相比传统方法，既提升了算法精度也减少了算法推断时间；(2)模型采用基于深度学习的目标检测算法对车辆和车牌进行两级检测，大大缓解了安防场景图像中车牌目标小的难题，提高了车牌检测效率；(3)模型采用空间变换网络，来改善由于透视变换、镜头畸变等原因造成的车牌图像失真问题，使识别模型能够得到正视角的车牌图像，极大地提高车牌识别率；(4)模型采用宽卷积代替循环神经网络来学习车牌字符的上下文信息，使模型更加轻量，提高了车牌识别速度； (5)模型采用CTC损失进行网络训练，识别过程无需字符分割，更加鲁棒，提升了车牌识别的准确率。
附图说明
图1为无限制安防场景下车牌检测识别系统的构架示意图；
图2为无限制安防场景下车牌检测识别流程示意图。
具体实施方式
下面结合附图对本发明的一种无限制安防场景下的车牌检测识别系统及其方法作以下详细地说明。
实施例一
如附图所示，本发明的一种无限制安防场景下的车牌检测识别系统，包括车牌检测、车牌矫正、车牌识别三个模块；
所述的车牌检测模块，根据获取的无限制安防场景图像，提取出车牌图像，将车牌图像以矩阵形式传入车牌矫正模块；
所述的车牌矫正模块，将所获得的车牌图像进行变换，变为正视角的车牌图像；
所述的车牌识别模块，利用车牌识别网络对获取的正视角车牌图像进行识别。
上述车牌检测模块，在获取无限制安防场景图像后，利用YOLOv5车辆检测算法对图像中的车辆进行目标检测，输出车辆在图像上的四个角点坐标，根据坐标裁剪出车辆图像；利用YOLOv5车牌检测算法对车辆图像进行目标检测，输出车牌在图像上的四个角点坐标，根据坐标裁剪出车牌图像，将车牌图像以矩阵的形式传入车牌矫正网络。
上述车牌矫正模块，利用STN空间变换网络对车牌图像进行在线变换，使输入的车牌图像具有空间不变性，即原本失真变形的车牌图像变为正视角的车牌图像。
上述车牌识别模块首先经过LPRnet宽卷积神经网络对车牌图像进行特征提取，获得局部字符的上下文信息，然后对字符的概率进行解码，通过集束搜索找到的前N个最可能序列，返回与预定义模板集合最匹配的第一个序列，即为车牌识别结果。
上述YOLOv5车辆检测算法具体步骤为：
S101、获取安防摄像机拍摄的视频，对视频抽帧处理，获得安防场景下的车辆图像；
S102、将S101中获得的车辆图像利用CVAT数据标注工具进行标注，获得车辆检测数据集；
S103、对S102中获得的数据集标签进行聚类，根据聚类结果确定YOLOv5 检测算法的先验框的宽高和数量；
S104、利用S102中获得的数据集以及S103中得到的先验框配置，对YOLOv5检测算法进行训练，当网络损失收敛时停止训练，获得模型权重；
S105、将安防视频流输入YOLOv5检测算法，设置合适的置信度阈值和IOU 阈值，经过网络计算得到一系列的检测框，再经过非极大值抑制算法过滤掉低质量检测框和重复检测框，获得最终的车辆检测框。
上述YOLOv5车牌检测算法具体步骤为：
S201、利用CVAT数据标注工具对上述车辆检测算法中得到的车辆数据集进行车牌区域标注，获得车牌检测数据集；
S202、对S201中获得的车牌检测数据集标签进行聚类，根据聚类结果确定 YOLOv5车牌检测算法的先验框的宽高和数量；
S203、利用S201中获得的车牌检测数据集和2中得到的先验框配置，对 YOLOv5检测算法进行训练，当网络损失收敛时停止训练，获得模型权重；
S204、将上述YOLOv5车辆检测算法输出的车辆图像输入YOLOv5车牌检测算法，设置合适的置信度阈值和IOU阈值，经过网络计算得到一系列的检测框，再经过非极大值抑制算法过滤掉低质量检测框和重复检测框，获得最终的车牌检测框。
上述空间变换具体实现方式为：
S301、输入的车牌图像首先两个全连接层进行特征提取，然后接一个回归层，输出变换参数；
S302、利用S301中输出的变换参数，计算输出特征图上每个坐标位置对应输入特征图上的坐标位置；
S303、根据S302中得到空间位置映射关系，在输入特征图上进行双线性插值采样得到输出特征图的像素。
进一步地，所述LPRnet宽卷积神经网络包括输入层、卷积层、池化层、 Dropout层，其构建步骤为：
S401、输入车牌图像首先经过一个3×3的卷积层，再接一个3×3的最大池化层，其步长都为1；
S402、将S401的输出送入一个卷积单元，该卷积单元由1×1卷积、3×1卷积、1×3卷积、1×1卷积组成，然后在接一个3×3的最大池化层，其步长为2；
S403、将S402的输出送入跟S402中相同的卷积单元，然后再接一个3×3 最大池化层，其步长为2；
S404、将S403的输出送入一个Dropout层，其ratio为0.5，然后再经过一个4×1的卷积层；
S405、将S404的输出送入一个Dropout层，其ratio为0.5，然后再经过一个1×13的卷积层，输出的特征与标签通过CTC损失函数进行训练。
实施例二
本发明的一种无限制安防场景下的车牌检测识别方法，包括车牌检测，车牌矫正、车牌识别三个步骤；
所述车牌检测包括以下步骤：
步骤1.1：将安防摄像机获取的图像传入预训练好的车辆检测模型，经过一次前向传播计算，输出车辆的位置坐标；
步骤1.2：根据步骤1.1得到位置坐标，对原始安防图像进行裁剪，得到车辆图像；
步骤1.3：将步骤1.2得到的车辆图像以矩阵形式传入预训练好的车牌检测模型，经过一次前向传播计算，输出车牌的位置坐标；
所述车牌矫正包括以下步骤：
步骤2.1：根据车牌检测得到的车牌位置坐标将车牌图像裁剪出来；
步骤2.2：将步骤2.1得到的车牌图像经缩放后以矩阵形式传入空间变换网络，经过一次前向传播计算，输出正视角的车牌图像；
所述车牌识别包括以下步骤：
步骤3.1：以车牌矫正模块输出的车牌图像作为输入，将其以矩阵形式传入预训练好的车牌识别网络，经过一次前向传播计算，输出车牌号信息；
步骤3.2：在车牌检测识别系统中，将车牌位置和车牌号信息标识出来。
本发明的一种无限制安防场景下的车牌检测识别系统及其方法其加工制作非常简单方便，按说明书附图所示加工制作即可。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.一种无限制安防场景下的车牌检测识别系统，其特征在于，包括车牌检测、车牌矫正、车牌识别三个模块；
所述的车牌检测模块，根据获取的无限制安防场景图像，提取出车牌图像，将车牌图像以矩阵形式传入车牌矫正模块；
所述的车牌矫正模块，将所获得的车牌图像进行变换，变为正视角的车牌图像；
所述的车牌识别模块，利用车牌识别网络对获取的正视角车牌图像进行识别。
2.根据权利要求1所述的一种无限制安防场景下的车牌检测识别系统，其特征在于，所述的车牌检测模块，在获取无限制安防场景图像后，利用YOLOv5车辆检测算法对图像中的车辆进行目标检测，输出车辆在图像上的四个角点坐标，根据坐标裁剪出车辆图像；利用YOLOv5车牌检测算法对车辆图像进行目标检测，输出车牌在图像上的四个角点坐标，根据坐标裁剪出车牌图像，将车牌图像以矩阵的形式传入车牌矫正网络。
3.根据权利要求1所述的一种无限制安防场景下的车牌检测识别系统，其特征在于，所述的车牌矫正模块，利用STN空间变换网络对车牌图像进行在线变换，使输入的车牌图像具有空间不变性，即原本失真变形的车牌图像变为正视角的车牌图像。
4.根据权利要求1所述的一种无限制安防场景下的车牌检测识别系统，其特征在于，所述的车牌识别模块首先经过LPRnet宽卷积神经网络对车牌图像进行特征提取，获得局部字符的上下文信息，然后对字符的概率进行解码，通过集束搜索找到的前N个最可能序列，返回与预定义模板集合最匹配的第一个序列，即为车牌识别结果。
5.根据权利要求2所述的一种无限制安防场景下的车牌检测识别方法，其特征在于，所述YOLOv5车辆检测算法具体步骤为：
S101、获取安防摄像机拍摄的视频，对视频抽帧处理，获得安防场景下的车辆图像；
S102、将S101中获得的车辆图像利用CVAT数据标注工具进行标注，获得车辆检测数据集；
S103、对S102中获得的数据集标签进行聚类，根据聚类结果确定YOLOv5检测算法的先验框的宽高和数量；
S104、利用S102中获得的数据集以及S103中得到的先验框配置，对YOLOv5检测算法进行训练，当网络损失收敛时停止训练，获得模型权重；
S105、将安防视频流输入YOLOv5检测算法，设置合适的置信度阈值和IOU阈值，经过网络计算得到一系列的检测框，再经过非极大值抑制算法过滤掉低质量检测框和重复检测框，获得最终的车辆检测框。
6.根据权利要求2所述的一种无限制安防场景下的车牌检测识别方法，其特征在于，所述YOLOv5车牌检测算法具体步骤为：
S201、利用CVAT数据标注工具对上述车辆检测算法中得到的车辆数据集进行车牌区域标注，获得车牌检测数据集；
S202、对S201中获得的车牌检测数据集标签进行聚类，根据聚类结果确定YOLOv5车牌检测算法的先验框的宽高和数量；
S203、利用S201中获得的车牌检测数据集和2中得到的先验框配置，对YOLOv5检测算法进行训练，当网络损失收敛时停止训练，获得模型权重；
S204、将上述YOLOv5车辆检测算法输出的车辆图像输入YOLOv5车牌检测算法，设置合适的置信度阈值和IOU阈值，经过网络计算得到一系列的检测框，再经过非极大值抑制算法过滤掉低质量检测框和重复检测框，获得最终的车牌检测框。
7.根据权利要求1所述的一种无限制安防场景下的车牌检测识别方法，其特征在于，所述空间变换具体实现方式为：
S301、输入的车牌图像首先两个全连接层进行特征提取，然后接一个回归层，输出变换参数；
S302、利用S301中输出的变换参数，计算输出特征图上每个坐标位置对应输入特征图上的坐标位置；
S303、根据S302中得到空间位置映射关系，在输入特征图上进行双线性插值采样得到输出特征图的像素。
8.根据权利要求1所述的一种无限制安防场景下的车牌检测识别方法，其特征在于，所述LPRnet宽卷积神经网络包括输入层、卷积层、池化层、Dropout层，其构建步骤为：
S401、输入车牌图像首先经过一个3×3的卷积层，再接一个3×3的最大池化层，其步长都为1；
S402、将S401的输出送入一个卷积单元，该卷积单元由1×1卷积、3×1卷积、1×3卷积、1×1卷积组成，然后在接一个3×3的最大池化层，其步长为2；
S403、将S402的输出送入跟S402中相同的卷积单元，然后再接一个3×3最大池化层，其步长为2；
S404、将S403的输出送入一个Dropout层，其ratio为0.5，然后再经过一个4×1的卷积层；
S405、将S404的输出送入一个Dropout层，其ratio为0.5，然后再经过一个1×13的卷积层，输出的特征与标签通过CTC损失函数进行训练。
9.一种无限制安防场景下的车牌检测识别方法，其特征在于，包括车牌检测，车牌矫正、车牌识别三个步骤；
所述车牌检测包括以下步骤：
步骤1.1：将安防摄像机获取的图像传入预训练好的车辆检测模型，经过一次前向传播计算，输出车辆的位置坐标；
步骤1.2：根据步骤1.1得到位置坐标，对原始安防图像进行裁剪，得到车辆图像；
步骤1.3：将步骤1.2得到的车辆图像以矩阵形式传入预训练好的车牌检测模型，经过一次前向传播计算，输出车牌的位置坐标；
所述车牌矫正包括以下步骤：
步骤2.1：根据车牌检测得到的车牌位置坐标将车牌图像裁剪出来；
步骤2.2：将步骤2.1得到的车牌图像经缩放后以矩阵形式传入空间变换网络，经过一次前向传播计算，输出正视角的车牌图像；
所述车牌识别包括以下步骤：
步骤3.1：以车牌矫正模块输出的车牌图像作为输入，将其以矩阵形式传入预训练好的车牌识别网络，经过一次前向传播计算，输出车牌号信息；
步骤3.2：在车牌检测识别系统中，将车牌位置和车牌号信息标识出来。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110293871.7A CN112966631A (zh) | 2021-03-19 | 2021-03-19 | 一种无限制安防场景下的车牌检测识别系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110293871.7A CN112966631A (zh) | 2021-03-19 | 2021-03-19 | 一种无限制安防场景下的车牌检测识别系统及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112966631A true CN112966631A (zh) | 2021-06-15 |
Family
ID=76277673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110293871.7A Pending CN112966631A (zh) | 2021-03-19 | 2021-03-19 | 一种无限制安防场景下的车牌检测识别系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112966631A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113361467A (zh) * | 2021-06-30 | 2021-09-07 | 电子科技大学 | 基于领域适应的车牌识别方法 |
| CN113609969A (zh) * | 2021-08-03 | 2021-11-05 | 北京睿芯高通量科技有限公司 | 一种复杂场景下的车牌检测识别方法以及系统 |
| CN113655797A (zh) * | 2021-08-19 | 2021-11-16 | 江苏科技大学 | 用于清理水面油污和漂浮物的清污船、清污控制系统及清污控制方法 |
| CN113723408A (zh) * | 2021-11-02 | 2021-11-30 | 上海仙工智能科技有限公司 | 一种车牌识别方法及其系统、可读存储介质 |
| CN113723399A (zh) * | 2021-08-06 | 2021-11-30 | 浙江大华技术股份有限公司 | 一种车牌图像矫正方法、车牌图像矫正装置和存储介质 |
| CN113822278A (zh) * | 2021-11-22 | 2021-12-21 | 松立控股集团股份有限公司 | 一种无受限场景车牌识别方法 |
| CN113989794A (zh) * | 2021-11-12 | 2022-01-28 | 珠海安联锐视科技股份有限公司 | 一种车牌检测和识别方法 |
| CN114898353A (zh) * | 2022-07-13 | 2022-08-12 | 松立控股集团股份有限公司 | 一种基于视频序列图像特征与信息的车牌识别方法 |
| CN114973230A (zh) * | 2022-06-27 | 2022-08-30 | 成都佳华物链云科技有限公司 | 一种车牌检测方法、电子设备及计算机可读存储介质 |
| CN115394074A (zh) * | 2022-07-04 | 2022-11-25 | 北方工业大学 | 公路监控车辆检测系统 |
| CN116597432A (zh) * | 2023-05-22 | 2023-08-15 | 江苏大学 | 一种基于改进yolov5算法的车牌识别系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993138A (zh) * | 2019-04-08 | 2019-07-09 | 北京易华录信息技术股份有限公司 | 一种车牌检测与识别方法及装置 |
| CN110414451A (zh) * | 2019-07-31 | 2019-11-05 | 深圳市捷顺科技实业股份有限公司 | 一种基于端对端的车牌识别方法、装置、设备及存储介质 |
| CN110414417A (zh) * | 2019-07-25 | 2019-11-05 | 电子科技大学 | 一种基于多层次融合多尺度预测的交通标志牌识别方法 |
| CN110942071A (zh) * | 2019-12-09 | 2020-03-31 | 上海眼控科技股份有限公司 | 一种基于车牌分类和lstm的车牌识别方法 |
| CN111444916A (zh) * | 2020-03-26 | 2020-07-24 | 中科海微(北京)科技有限公司 | 面向无约束条件下的车牌定位及识别方法、系统 |
| CN111444917A (zh) * | 2020-03-30 | 2020-07-24 | 合肥京东方显示技术有限公司 | 车牌字符识别方法、装置、电子设备和存储介质 |
| CN112308092A (zh) * | 2020-11-20 | 2021-02-02 | 福州大学 | 一种基于多尺度注意力机制的轻量型车牌检测与识别方法 |
| CN112488113A (zh) * | 2020-11-06 | 2021-03-12 | 杭州电子科技大学 | 一种基于局部直线匹配的遥感图像旋转舰船目标检测方法 |
-
2021
- 2021-03-19 CN CN202110293871.7A patent/CN112966631A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993138A (zh) * | 2019-04-08 | 2019-07-09 | 北京易华录信息技术股份有限公司 | 一种车牌检测与识别方法及装置 |
| CN110414417A (zh) * | 2019-07-25 | 2019-11-05 | 电子科技大学 | 一种基于多层次融合多尺度预测的交通标志牌识别方法 |
| CN110414451A (zh) * | 2019-07-31 | 2019-11-05 | 深圳市捷顺科技实业股份有限公司 | 一种基于端对端的车牌识别方法、装置、设备及存储介质 |
| CN110942071A (zh) * | 2019-12-09 | 2020-03-31 | 上海眼控科技股份有限公司 | 一种基于车牌分类和lstm的车牌识别方法 |
| CN111444916A (zh) * | 2020-03-26 | 2020-07-24 | 中科海微(北京)科技有限公司 | 面向无约束条件下的车牌定位及识别方法、系统 |
| CN111444917A (zh) * | 2020-03-30 | 2020-07-24 | 合肥京东方显示技术有限公司 | 车牌字符识别方法、装置、电子设备和存储介质 |
| CN112488113A (zh) * | 2020-11-06 | 2021-03-12 | 杭州电子科技大学 | 一种基于局部直线匹配的遥感图像旋转舰船目标检测方法 |
| CN112308092A (zh) * | 2020-11-20 | 2021-02-02 | 福州大学 | 一种基于多尺度注意力机制的轻量型车牌检测与识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| SERGEY ZHERZDEV 等: "LPRNet: License Plate Recognition via Deep Neural Networks", 《ARXIV》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113361467A (zh) * | 2021-06-30 | 2021-09-07 | 电子科技大学 | 基于领域适应的车牌识别方法 |
| CN113609969A (zh) * | 2021-08-03 | 2021-11-05 | 北京睿芯高通量科技有限公司 | 一种复杂场景下的车牌检测识别方法以及系统 |
| CN113723399A (zh) * | 2021-08-06 | 2021-11-30 | 浙江大华技术股份有限公司 | 一种车牌图像矫正方法、车牌图像矫正装置和存储介质 |
| CN113655797A (zh) * | 2021-08-19 | 2021-11-16 | 江苏科技大学 | 用于清理水面油污和漂浮物的清污船、清污控制系统及清污控制方法 |
| CN113723408A (zh) * | 2021-11-02 | 2021-11-30 | 上海仙工智能科技有限公司 | 一种车牌识别方法及其系统、可读存储介质 |
| CN113989794A (zh) * | 2021-11-12 | 2022-01-28 | 珠海安联锐视科技股份有限公司 | 一种车牌检测和识别方法 |
| CN113822278A (zh) * | 2021-11-22 | 2021-12-21 | 松立控股集团股份有限公司 | 一种无受限场景车牌识别方法 |
| CN113822278B (zh) * | 2021-11-22 | 2022-02-11 | 松立控股集团股份有限公司 | 一种无受限场景车牌识别方法 |
| CN114973230A (zh) * | 2022-06-27 | 2022-08-30 | 成都佳华物链云科技有限公司 | 一种车牌检测方法、电子设备及计算机可读存储介质 |
| CN115394074A (zh) * | 2022-07-04 | 2022-11-25 | 北方工业大学 | 公路监控车辆检测系统 |
| CN114898353A (zh) * | 2022-07-13 | 2022-08-12 | 松立控股集团股份有限公司 | 一种基于视频序列图像特征与信息的车牌识别方法 |
| CN116597432A (zh) * | 2023-05-22 | 2023-08-15 | 江苏大学 | 一种基于改进yolov5算法的车牌识别系统 |
| CN116597432B (zh) * | 2023-05-22 | 2023-10-13 | 江苏大学 | 一种基于改进yolov5算法的车牌识别系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112966631A (zh) | 一种无限制安防场景下的车牌检测识别系统及其方法 | |
| CN110119726B (zh) | 一种基于YOLOv3模型的车辆品牌多角度识别方法 | |
| CN103530600B (zh) | 复杂光照下的车牌识别方法及系统 | |
| CN111369541A (zh) | 一种智能汽车恶劣天气条件下车辆检测方法 | |
| CN112990065B (zh) | 一种基于优化的YOLOv5模型的车辆分类检测方法 | |
| CN105787524A (zh) | 基于OpenCV的车牌识别方法及系统 | |
| CN110516633B (zh) | 一种基于深度学习的车道线检测方法及系统 | |
| CN103065138A (zh) | 一种机动车牌号的识别方法 | |
| CN108009548A (zh) | 一种智能路牌识别方法及系统 | |
| CN106919939B (zh) | 一种交通标识牌跟踪识别方法及系统 | |
| CN114998815B (zh) | 一种基于视频分析的交通车辆识别追踪方法及系统 | |
| CN111008574A (zh) | 一种基于形体识别技术的重点人员轨迹分析方法 | |
| Abidin et al. | A systematic review of machine-vision-based smart parking systems | |
| CN111444916A (zh) | 面向无约束条件下的车牌定位及识别方法、系统 | |
| CN116704490B (zh) | 车牌识别方法、装置和计算机设备 | |
| CN112861840A (zh) | 基于多特征融合卷积网络的复杂场景字符识别方法及系统 | |
| CN114694078A (zh) | 一种基于多目标跟踪的交通行为判定方法 | |
| CN112528994B (zh) | 一种自由角度车牌检测方法、车牌识别方法和识别系统 | |
| CN117593685A (zh) | 真值数据的构建方法和装置、存储介质 | |
| Rahaman et al. | Lane detection for autonomous vehicle management: PHT approach | |
| CN117292552A (zh) | 基于机器视觉的高速路况分析系统及方法 | |
| CN113011408A (zh) | 多帧图片序列的字符识别、车辆识别码识别方法及系统 | |
| CN116977995A (zh) | 一种车载前方车牌识别方法及系统 | |
| CN117392638A (zh) | 一种服务于机器人场景的开放物体类别感知方法及装置 | |
| CN116152758A (zh) | 一种智能实时事故检测及车辆跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210615 |