CN115294558A - 一种大角度车牌识别系统及其方法 - Google Patents

一种大角度车牌识别系统及其方法 Download PDF

Info

Publication number
CN115294558A
CN115294558A CN202210952393.0A CN202210952393A CN115294558A CN 115294558 A CN115294558 A CN 115294558A CN 202210952393 A CN202210952393 A CN 202210952393A CN 115294558 A CN115294558 A CN 115294558A
Authority
CN
China
Prior art keywords
license plate
angle
target
module
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210952393.0A
Other languages
English (en)
Inventor
史故臣
孙琳
张顺伍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ob Telecom Electronics Co ltd
Original Assignee
Ob Telecom Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ob Telecom Electronics Co ltd filed Critical Ob Telecom Electronics Co ltd
Priority to CN202210952393.0A priority Critical patent/CN115294558A/zh
Publication of CN115294558A publication Critical patent/CN115294558A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明属于图像识别技术领域，公开了一种大角度车牌识别系统及其方法，所述的方法包括如下步骤：初始化大角度车牌识别系统，建立车牌多目标检测模型和大角度车牌识别模型；采集车辆行驶视频数据并进行帧截取和预处理；将连续帧的车辆行驶图像数据输入车牌多目标检测模型进行车牌检测和目标追踪；对每个车牌目标连续帧的大角度车牌图像数据进行角度矫正；将每个车牌目标连续帧的正角度车牌图像数据输入大角度车牌识别模型进行车牌识别，得到每个车牌目标的车牌识别结果。本发明解决了现有技术存在的大角度车牌识别的准确率低、识别难度大以及存在误检测可能性的问题。

Description

一种大角度车牌识别系统及其方法
技术领域
本发明属于图像识别技术领域，具体涉及一种大角度车牌识别系统及其方法。
背景技术
随着大数据时代的到来，智慧城市等一系列概念的提出，人工智能开始在城市各个角落得到广泛应用。其中，车牌识别作为城市道路交通重要的一环，也取得了重大突破。基于深度学习的车牌识别一经提出，各类算法应用于车牌检测及识别上，对比于传统的车牌识别，大大提高了识别的速率和准确率。然而，在非限制条件下，如大角度车牌识别准确率仍有提升的空间。
现有技术存在的问题：大多数车牌识别算法的识别效果差，需要昂贵的摄像头来捕捉高分辨率的图像，或者要求车辆缓慢通过固定的路口，甚至是完全停车。其中的困难主要归咎于车牌字符模式的多样性，比如蓝色车牌、黄色车牌和新能源车牌的字体和字符颜色不一致，由于摄像头采集角度所导致的车牌图片倾斜或者旋转，或者由于光照不均匀、遮挡和模糊所引起的低质量图像。同时高度复杂的背景同样会增加车牌识别的难度，尤其是车身上的一些普通文本同样会导致车牌检测系统产生误检测。
发明内容
为了解决现有技术存在的大角度车牌识别的准确率低、识别难度大以及存在误检测可能性的问题，本发明目的在于提供一种大角度车牌识别系统及其方法。
本发明所采用的技术方案为：
一种大角度车牌识别系统，包括车辆摄像单元、边缘计算网关以及后台数据中心，车辆摄像单元、边缘计算网关以及后台数据中心依次通信连接，边缘计算网关设置有车牌多目标检测模型和大角度车牌识别模型。
进一步地，边缘计算网关包括主控模块、预处理模块、网络模块、车牌多目标检测模块以及大角度车牌识别模块，主控模块分别与预处理模块、网络模块、车牌多目标检测模块以及大角度车牌识别模块电性连接，且主控模块与车辆摄像单元通信连接，网络模块与后台数据中心通信连接，车牌多目标检测模块设置有车牌多目标检测模型，大角度车牌识别模块设置有大角度车牌识别模型。
进一步地，车辆摄像单元包括微处理器、无线通信模块、云台以及运动高清摄像头，微处理器分别与无线通信模块、云台以及运动高清摄像头电性连接，无线通信模块与边缘计算网关通信连接，运动高清摄像头设置于云台顶端。
一种大角度车牌识别方法，基于大角度车牌识别系统，包括如下步骤：
初始化大角度车牌识别系统，建立车牌多目标检测模型和大角度车牌识别模型；
采集车辆行驶视频数据并进行帧截取和预处理，得到连续帧的车辆行驶图像数据；
将连续帧的车辆行驶图像数据输入车牌多目标检测模型进行车牌检测和目标追踪，得到每个车牌目标连续帧的大角度车牌图像数据；
对每个车牌目标连续帧的大角度车牌图像数据进行角度矫正，得到每个车牌目标连续帧的正角度车牌图像数据；
将每个车牌目标连续帧的正角度车牌图像数据输入大角度车牌识别模型进行车牌识别，得到每个车牌目标的车牌识别结果。
进一步地，预处理包括依次进行的归一化处理、灰度处理、二值化处理以及顶帽变换处理。
进一步地，车牌多目标检测模型基于TPH-YOLOv5算法建立，包括依次连接的第一输入层、小目标检测层、第一Backbone模块、第一Neck模块、TPH模块以及第一输出层，第一Neck模块集成有CBAM结构，并且将第一Neck模块的所有PAN-Net结构均替换为Bi-FPN结构。
进一步地，将连续帧的车辆行驶图像数据输入车牌多目标检测模型进行车牌检测和目标追踪，包括如下步骤：
基于车牌多目标检测模型，将当前帧的车辆行驶图像数据进行均匀的网格划分，并获取每个网格的预测框；
获取预测框与当前的网格的先验框的偏移量；
根据偏移量获取当前的网格的初始预测框，重复上述步骤，得到当前帧的车辆行驶图像数据的所有网格的初始预测框；
根据预设的交并比值和预设的置信度对所有初始预测框进行非极大值抑制筛选，得到当前的车辆行驶图像数据的最终预测框；
截取每个最终预测框中的车牌目标，得到每个的车牌目标当前帧的大角度车牌图像数据；
更换下一帧的车辆行驶图像数据进行车牌检测，并使用SORT追踪算法对最终预测框中的同一车牌目标进行追踪和标记；
重复车牌检测和目标追踪步骤，得到每个车牌目标连续帧的大角度车牌图像数据。
进一步地，使用透视变换算法对每个车牌目标连续帧的大角度车牌图像数据进行角度矫正。
进一步地，大角度车牌识别模型基于PP-YOLO-Tiny算法建立，包括依次连接的第二输入层、MobileNetV3模块、第二Neck模块、Prediction模块以及第二输出层。
进一步地，将每个车牌目标连续帧的正角度车牌图像数据输入大角度车牌识别模型进行车牌识别，包括如下步骤：
基于大角度车牌识别模型，使用垂直投影方法对当前车牌目标在当前帧的正角度车牌图像数据进行字符分割，得到若干位字符，并建立若干个字符数组；
对若干位字符进行识别，得到若干个字符识别结果并存入对应的字符数组；
更换当前车牌目标下一帧的正角度车牌图像数据进行车牌识别，并将得到的字符识别结果存入对应的字符数组；
重复车牌识别步骤，得到每个车牌目标连续帧的正角度车牌图像数据的字符数组；
将每个位置的字符数组中字符出现次数最多的作为字符识别结果，得到当前车牌目标的车牌识别结果；
对所有车牌目标进行车牌识别，得到所有车牌目标的车牌识别结果。
本发明的有益效果为：
1)本发明提供的大角度车牌识别系统，能够方便、快捷的对行驶车辆的车牌进行检测和识别，提高了车牌识别的智能化程度，无需缓慢通行或靠边停车，并且基于机器学习建立的车牌多目标检测模型和大角度车牌识别模型，提高了车牌检测和识别的准确率。
2)本发明提供的大角度车牌识别方法，能够同时进行多车牌目标的检测，提高了实用性和检测效率，对同一车牌目标进行追踪，降低了车牌识别的难度，提高了车牌识别的准确率，并且针对大角度车牌图像数据进行角度矫正，进一步提高了车牌识别的准确率和效率。
本发明的其他有益效果将在具体实施方式中进一步进行说明。
附图说明
图1是本发明中大角度车牌识别系统的结构框图。
图2是本发明中大角度车牌识别方法的流程图。
具体实施方式
下面结合附图及具体实施例对本发明做进一步阐释。
实施例1：
如图1所示，本实施例提供一种大角度车牌识别系统，包括车辆摄像单元、边缘计算网关以及后台数据中心，车辆摄像单元、边缘计算网关以及后台数据中心依次通信连接，边缘计算网关设置有车牌多目标检测模型和大角度车牌识别模型；
车辆摄像单元采集通过车辆的车辆行驶视频数据并发送至边缘计算网关，边缘计算网关将接收到的车辆行驶视频数据进行帧截取和预处理，得到连续帧的车辆行驶图像数据，将连续帧的车辆行驶图像数据输入车牌多目标检测模型进行车牌检测和目标追踪，得到每个车牌目标连续帧的大角度车牌图像数据，对每个车牌目标连续帧的大角度车牌图像数据进行角度矫正，得到每个车牌目标连续帧的正角度车牌图像数据，将每个车牌目标连续帧的正角度车牌图像数据输入大角度车牌识别模型进行车牌识别，得到每个车牌目标的车牌识别结果，将大量的计算工作下放至边缘计算网关，避免了后台数据中心的计算量过大导致后台崩溃，提高了计算效率，后台数据中心接收每个车牌目标连续帧的正角度车牌图像数据和对应的车牌识别结果，便于后台进行统计和查看。
作为优选，边缘计算网关包括主控模块、预处理模块、网络模块、车牌多目标检测模块以及大角度车牌识别模块，主控模块分别与预处理模块、网络模块、车牌多目标检测模块以及大角度车牌识别模块电性连接，且主控模块与车辆摄像单元通信连接，网络模块与后台数据中心通信连接，车牌多目标检测模块设置有车牌多目标检测模型，大角度车牌识别模块设置有大角度车牌识别模型；
主控模块控制其他模块的正常工作，并接收车辆摄像单元采集的车辆行驶视频数据，预处理模块对车辆行驶视频数据进行帧截取和预处理，车牌多目标检测模块进行车牌检测和目标追踪，大角度车牌识别模块先进行角度矫正和车牌识别，网络模块实现与后台数据中心的数据传输。
作为优选，车辆摄像单元包括微处理器、无线通信模块、云台以及运动高清摄像头，微处理器分别与无线通信模块、云台以及运动高清摄像头电性连接，无线通信模块与边缘计算网关通信连接，运动高清摄像头设置于云台顶端；
微处理器其他模块的正常工作，接收后台数据中心的控制命令调整云台的姿态进而控制运动高清摄像头的拍摄角度，运动高清摄像头采集通过车辆的车辆行驶视频数据，无线通信模块将车辆行驶视频数据发送至边缘计算网关。
作为优选，后台数据中心包括管理服务器和若干数据服务器，管理服务器分别与若干数据服务器和外部的若干移动终端通信连接，若干数据服务器按分布式结构连接，实现了移动终端登陆和后台数据查看管理功能。
本发明提供的大角度车牌识别系统，能够方便、快捷的对行驶车辆的车牌进行检测和识别，提高了车牌识别的智能化程度，无需缓慢通行或靠边停车，并且基于机器学习建立的车牌多目标检测模型和大角度车牌识别模型，提高了车牌检测和识别的准确率。
实施例2：
如图2所示，本实施例提供一种大角度车牌识别方法，基于大角度车牌识别系统，包括如下步骤：
初始化大角度车牌识别系统，建立车牌多目标检测模型和大角度车牌识别模型；
车牌多目标检测模型基于TPH-YOLOv5算法建立，包括依次连接的第一输入层、小目标检测层、第一Backbone模块、第一Neck模块、TPH模块以及第一输出层，第一Neck模块集成有CBAM结构，并且将第一Neck模块的所有PAN-Net结构均替换为Bi-FPN结构；车牌目标等的小目标样本的尺寸较小，而YOLOv5算法的下采样倍数比较大，较深的特征图很难学习到小目标的特征信息，因此提出增加小目标检测层对较浅特征图与深特征图拼接后进行检测，提高了对车牌小目标的检测效果，将Transformer Prediction Heads(TPH)模块集成到YOLOv5中，可以在高密度场景中准确定位目标，并且TPH-YOLOv5算法增加了一个用于微小物体检测的预测头，结合其他的预测头，多头结构可以缓解剧烈的目标尺度变化带来的负面影响，在YOLOv5网络中插入CBAM结构，CBAM结构可以无缝地集成到任何CNN架构中，开销不会很大，而且可以与基本CNN网络一起进行端到端的训练。
大角度车牌识别模型基于PP-YOLO-Tiny算法建立，包括依次连接的第二输入层、MobileNetV3模块、第二Neck模块、Prediction模块以及第二输出层；PP-YOLO-Tiny网络的体积只有1.3M，很好的满足了边缘计算网关中大量边缘、轻量化、低成本的使用目标检测算法，提高了识别效率；
采集车辆行驶视频数据并进行帧截取和预处理，得到连续帧的车辆行驶图像数据；预处理包括依次进行的归一化处理、灰度处理、二值化处理以及顶帽变换处理，消除了颜色、光暗、尺寸等外界因素对车牌检测和识别的不良影响；
将连续帧的车辆行驶图像数据输入车牌多目标检测模型进行车牌检测和目标追踪，得到每个车牌目标连续帧的大角度车牌图像数据，包括如下步骤：
基于车牌多目标检测模型，将当前帧的车辆行驶图像数据进行均匀的网格划分，并获取每个网格的预测框；
获取预测框与当前的网格的先验框的偏移量；
根据偏移量获取当前的网格的初始预测框，重复上述步骤，得到当前帧的车辆行驶图像数据的所有网格的初始预测框；
根据预设的交并比值和预设的置信度对所有初始预测框进行非极大值抑制筛选，得到当前的车辆行驶图像数据的最终预测框；
截取每个最终预测框中的车牌目标，得到每个的车牌目标当前帧的大角度车牌图像数据；
更换下一帧的车辆行驶图像数据进行车牌检测，并使用SORT追踪算法对最终预测框中的同一车牌目标进行追踪和标记；
重复车牌检测和目标追踪步骤，得到每个车牌目标连续帧的大角度车牌图像数据；
使用透视变换算法对每个车牌目标连续帧的大角度车牌图像数据进行角度矫正，得到每个车牌目标连续帧的正角度车牌图像数据；
透视变换就是将图像投影到一个新的视平面，其变换公式为：
Figure BDA0003789931350000081
式中，(x',y',w,)为投影后图像坐标参数；(u,v,w)为原图像坐标参数，w＝1；
Figure BDA0003789931350000082
为透视变换矩阵；
透视变换矩阵的中间公式为：
Figure BDA0003789931350000091
式中，Transfrom为中间转换函数；
Figure BDA0003789931350000092
为中间矩阵，a33＝1；T1为图像线性变换；T2为图像透视变换；T3为图像平移；
Figure BDA0003789931350000093
式中，
Figure BDA0003789931350000094
为透视变换后图像坐标；
Figure BDA0003789931350000095
为根据透视变换矩阵和原图像坐标参数计算得到的参数；
在透视变换公式中共有八个未知数，需要四组映射点进行求解，选取定位车牌时框的四个角作为固定点，并将这四个点分别映射到新的视平面中[0,0]，[0,300]，[600,0]，[600,300]四个位置上，得到正角度车牌图像数据；
将每个车牌目标连续帧的正角度车牌图像数据输入大角度车牌识别模型进行车牌识别，得到每个车牌目标的车牌识别结果，包括如下步骤：
基于大角度车牌识别模型，使用垂直投影方法对当前车牌目标在当前帧的正角度车牌图像数据进行字符分割，得到若干位字符，并建立若干个字符数组；
对若干位字符进行识别，得到若干个字符识别结果并存入对应的字符数组；
定义第一个字符数组为a＝[a1,a2,...,ak]，第二个字符数组为b＝[b1,b2,...,bk]，...，第七个字符数组为g＝[g1,g2,...,gk]，k为帧数量；
更换当前车牌目标下一帧的正角度车牌图像数据进行车牌识别，并将得到的字符识别结果存入对应的字符数组；
例如对“京A12345”进行识别，将“京”放入字符数组a中，将“A”放入字符数组b中，依次处理；
重复车牌识别步骤，得到每个车牌目标连续帧的正角度车牌图像数据的字符数组；
将每个位置的字符数组中字符出现次数最多的作为字符识别结果，得到当前车牌目标的车牌识别结果；
例如a＝[京,京,京,晋,...,京]的字符识别结果为“京”，b＝[A,A,H,H,...,A]的字符识别结果为“A”，...，g＝[9,5,6,5,...,5]的字符识别结果为“5”，得到车牌识别结果为“京A12345”；
对所有车牌目标进行车牌识别，得到所有车牌目标的车牌识别结果。
本发明提供的大角度车牌识别方法，能够同时进行多车牌目标的检测，提高了实用性和检测效率，对同一车牌目标进行追踪，降低了车牌识别的难度，提高了车牌识别的准确率，并且针对大角度车牌图像数据进行角度矫正，进一步提高了车牌识别的准确率和效率。
本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (10)

1.一种大角度车牌识别系统，其特征在于：包括车辆摄像单元、边缘计算网关以及后台数据中心，所述的车辆摄像单元、边缘计算网关以及后台数据中心依次通信连接，所述的边缘计算网关设置有车牌多目标检测模型和大角度车牌识别模型。
2.根据权利要求1所述的大角度车牌识别系统，其特征在于：所述的边缘计算网关包括主控模块、预处理模块、网络模块、车牌多目标检测模块以及大角度车牌识别模块，所述的主控模块分别与预处理模块、网络模块、车牌多目标检测模块以及大角度车牌识别模块电性连接，且主控模块与车辆摄像单元通信连接，所述的网络模块与后台数据中心通信连接，所述的车牌多目标检测模块设置有车牌多目标检测模型，所述的大角度车牌识别模块设置有大角度车牌识别模型。
3.根据权利要求2所述的大角度车牌识别系统，其特征在于：所述的车辆摄像单元包括微处理器、无线通信模块、云台以及运动高清摄像头，所述的微处理器分别与无线通信模块、云台以及运动高清摄像头电性连接，所述的无线通信模块与边缘计算网关通信连接，所述的运动高清摄像头设置于云台顶端。
4.一种大角度车牌识别方法，基于如权利要求3所述的大角度车牌识别系统，其特征在于：包括如下步骤：
初始化大角度车牌识别系统，建立车牌多目标检测模型和大角度车牌识别模型；
采集车辆行驶视频数据并进行帧截取和预处理，得到连续帧的车辆行驶图像数据；
将连续帧的车辆行驶图像数据输入车牌多目标检测模型进行车牌检测和目标追踪，得到每个车牌目标连续帧的大角度车牌图像数据；
对每个车牌目标连续帧的大角度车牌图像数据进行角度矫正，得到每个车牌目标连续帧的正角度车牌图像数据；
将每个车牌目标连续帧的正角度车牌图像数据输入大角度车牌识别模型进行车牌识别，得到每个车牌目标的车牌识别结果。
5.根据权利要求4所述的大角度车牌识别方法，其特征在于：所述的预处理包括依次进行的归一化处理、灰度处理、二值化处理以及顶帽变换处理。
6.根据权利要求5所述的大角度车牌识别方法，其特征在于：所述的车牌多目标检测模型基于TPH-YOLOv5算法建立，包括依次连接的第一输入层、小目标检测层、第一Backbone模块、第一Neck模块、TPH模块以及第一输出层，所述的第一Neck模块集成有CBAM结构，并且将第一Neck模块的所有PAN-Net结构均替换为Bi-FPN结构。
7.根据权利要求6所述的大角度车牌识别方法，其特征在于：将连续帧的车辆行驶图像数据输入车牌多目标检测模型进行车牌检测和目标追踪，包括如下步骤：
基于车牌多目标检测模型，将当前帧的车辆行驶图像数据进行均匀的网格划分，并获取每个网格的预测框；
获取预测框与当前的网格的先验框的偏移量；
根据偏移量获取当前的网格的初始预测框，重复上述步骤，得到当前帧的车辆行驶图像数据的所有网格的初始预测框；
根据预设的交并比值和预设的置信度对所有初始预测框进行非极大值抑制筛选，得到当前的车辆行驶图像数据的最终预测框；
截取每个最终预测框中的车牌目标，得到每个的车牌目标当前帧的大角度车牌图像数据；
更换下一帧的车辆行驶图像数据进行车牌检测，并使用SORT追踪算法对最终预测框中的同一车牌目标进行追踪和标记；
重复车牌检测和目标追踪步骤，得到每个车牌目标连续帧的大角度车牌图像数据。
8.根据权利要求7所述的大角度车牌识别方法，其特征在于：使用透视变换算法对每个车牌目标连续帧的大角度车牌图像数据进行角度矫正。
9.根据权利要求8所述的大角度车牌识别方法，其特征在于：所述的大角度车牌识别模型基于PP-YOLO-Tiny算法建立，包括依次连接的第二输入层、MobileNetV3模块、第二Neck模块、Prediction模块以及第二输出层。
10.根据权利要求9所述的大角度车牌识别方法，其特征在于：将每个车牌目标连续帧的正角度车牌图像数据输入大角度车牌识别模型进行车牌识别，包括如下步骤：
基于大角度车牌识别模型，使用垂直投影方法对当前车牌目标在当前帧的正角度车牌图像数据进行字符分割，得到若干位字符，并建立若干个字符数组；
对若干位字符进行识别，得到若干个字符识别结果并存入对应的字符数组；
更换当前车牌目标下一帧的正角度车牌图像数据进行车牌识别，并将得到的字符识别结果存入对应的字符数组；
重复车牌识别步骤，得到每个车牌目标连续帧的正角度车牌图像数据的字符数组；
将每个位置的字符数组中字符出现次数最多的作为字符识别结果，得到当前车牌目标的车牌识别结果；
对所有车牌目标进行车牌识别，得到所有车牌目标的车牌识别结果。
CN202210952393.0A 2022-08-09 2022-08-09 一种大角度车牌识别系统及其方法 Pending CN115294558A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210952393.0A CN115294558A (zh) 2022-08-09 2022-08-09 一种大角度车牌识别系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210952393.0A CN115294558A (zh) 2022-08-09 2022-08-09 一种大角度车牌识别系统及其方法

Publications (1)

Publication Number Publication Date
CN115294558A true CN115294558A (zh) 2022-11-04

Family

ID=83827567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210952393.0A Pending CN115294558A (zh) 2022-08-09 2022-08-09 一种大角度车牌识别系统及其方法

Country Status (1)

Country Link
CN (1) CN115294558A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977949A (zh) * 2023-08-24 2023-10-31 北京唯行科技有限公司 车辆停车巡检方法、装置和设备
CN116994244A (zh) * 2023-08-16 2023-11-03 临海市特产技术推广总站(临海市柑桔产业技术协同创新中心) 一种基于Yolov8的柑橘树体果实产量评估方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116994244A (zh) * 2023-08-16 2023-11-03 临海市特产技术推广总站(临海市柑桔产业技术协同创新中心) 一种基于Yolov8的柑橘树体果实产量评估方法
CN116977949A (zh) * 2023-08-24 2023-10-31 北京唯行科技有限公司 车辆停车巡检方法、装置和设备

Similar Documents

Publication Publication Date Title
CN115294558A (zh) 一种大角度车牌识别系统及其方法
CN107590438A (zh) 一种智能辅助驾驶方法及系统
CN110619327A (zh) 一种复杂场景下基于深度学习的实时车牌识别方法
CN113159466B (zh) 一种短时光伏发电功率预测系统及方法
CN108681718A (zh) 一种无人机低空目标精准检测识别方法
CN108268871A (zh) 一种基于卷积神经网络的端到端的车牌识别方法和系统
CN111965636A (zh) 一种基于毫米波雷达和视觉融合的夜间目标检测方法
CN113128507B (zh) 一种车牌识别方法、装置、电子设备及存储介质
CN113255486B (zh) 一种基于高位视频监控的车位占用检测方法
CN111444778A (zh) 一种车道线检测方法
CN113610044A (zh) 基于自注意力机制的4d毫米波三维目标检测方法及系统
CN114898353B (zh) 一种基于视频序列图像特征与信息的车牌识别方法
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
CN114200442B (zh) 一种基于毫米波雷达和视觉的道路目标检测与关联方法
CN112528994B (zh) 一种自由角度车牌检测方法、车牌识别方法和识别系统
CN114241438B (zh) 一种基于先验信息的交通信号灯快速精确的识别方法
CN113850195A (zh) 一种基于3d视觉的ai智能物体识别方法
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
CN106023270A (zh) 一种基于局部对称特征的视频车辆检测方法
CN116612398A (zh) 基于ctpn算法的无人机巡检照片杆塔号牌文字识别方法
CN115565141A (zh) 一种基于视觉红外融合的货车轴型检测方法
CN110688876A (zh) 一种基于视觉的车道线检测方法及装置
CN111833384B (zh) 一种可见光和红外图像快速配准方法及装置
CN114998879A (zh) 一种基于事件相机的模糊车牌识别方法
CN112396637A (zh) 一种基于3d神经网络的动态行为识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination