CN115578722A - 基于车牌间协同学习机制的车牌检测方法 - Google Patents
基于车牌间协同学习机制的车牌检测方法 Download PDFInfo
- Publication number
- CN115578722A CN115578722A CN202211263767.4A CN202211263767A CN115578722A CN 115578722 A CN115578722 A CN 115578722A CN 202211263767 A CN202211263767 A CN 202211263767A CN 115578722 A CN115578722 A CN 115578722A
- Authority
- CN
- China
- Prior art keywords
- license plate
- license
- plate detection
- network
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明属于车牌检测技术领域,涉及一种基于车牌间协同学习机制的车牌检测方法,以车牌检测数据集中车牌检测图片之间强一致性为基础,通过尺度间协同注意力机制学习不同车牌检测图片网络层输出特征之间的一致性,从而保证网络在特征提取阶段车牌特征之间的交互性,通过车牌特征之间的交互,实现共性特征之间共享。然后通过语义协同注意力机制学习不同车牌检测图片高层输出语义之间的一致性,从而保证网络能够凭借语义特征缩小车牌特征搜索范围,最终通过语义尺度协同学习机制融合网络语义上下文之间的关系,提升复杂场景车牌检测精度,不仅可以用来进行复杂场景下的车牌检测,还可用于复杂场景下的物体分割以及复杂场景下的物体检测。
Description
技术领域
本发明属于车牌检测技术领域,涉及一种基于车牌间协同学习机制的车牌检测方法。
背景技术
尤其是在车牌识别领域,越来越多的基于人工智能的算法被提出,取得了非常优越的性能,已经广泛应用于生活场景中。
传统车牌识别算法大多为手工设计的特征提取算法,在复杂多变的实际生活场景中应用非常受限,尤其是实际生活中非常困难的场景(雨雪天气,高/低对比度),导致车牌检测算法性能非常有限,随着车牌识别大规模数据集的提出,基于深度学习的方法逐渐取代了传统方法,但是,基于深度学习的方式仍存在诸多问题,这是由于深度学习方式属于数据驱动的方式,其性能取决于数据集的多样性,然而现有算法对于数据集的挖掘并不充分,对于数据集的挖掘仅考虑单一图片的检测,重点主要集中于网络层面的设计来提升检测精度,而且单张图片特征挖掘容易导致数据集多样性信息丢失以及数据集中车牌互信息挖掘不充分,因此,当数据集变化的时候,网络的泛化性能低,导致复杂场景下的车牌识别精度低。由此可见,针对复杂场景下的车牌检测技术,需要一种新的车牌检测方法提升复杂场景下车牌检测的精度。
发明内容
本发明的目的在于克服现有技术存在的缺陷,设计提供一种基于车牌间协同学习机制的车牌检测方法。
为实现上述目的,本发明先通过主干网络提取不同层侧输出特征作为多尺度特征,在多尺度特征的基础上,通过尺度间协同注意力机制学习不同车牌检测图片网络层输出特征之间的一致性,从而保证网络在特征提取阶段车牌特征之间的交互性,然后通过语义协同注意力机制学习不同车牌检测图片高层输出语义之间的一致性,从而保证网络能够凭借语义特征缩小车牌特征搜索范围,最终,通过语义尺度协同学习机制融合网络语义上下文之间的关系,提升复杂场景车牌检测精度,具体包括如下步骤:
(1)收集不同复杂场景下的车牌图片构建车牌检测数据集,其中,每张图片包含车牌顶点坐标以及车牌字符标注信息,并将构建的车牌检测数据集划分为训练集、验证集和测试集;
(2)将训练集中的两张车牌图片分别输入到基础网络,将基础网络中间层特征输出作为多尺度特征,然后将网络不同层的侧输出通过卷积层转变为统一维度的特征层,并通过下采样和上采样操作将多尺度特征聚合得到多尺度聚合特征;
(3)在步骤(2)得到的多尺度聚合特征基础上,通过尺度间协同注意力机制学习车牌间丰富的尺度信息交互,尺度信息交互采用协同关系建模的方式,即通过学习车牌间的相似性矩阵进行尺度信息交互,从而提升车牌间的一致性,同时过滤掉车牌区域的背景干扰信息,得到车牌精细化前景区域;
(4)采用语义间协同注意力机制对车牌间的高层区域的一致性求解,突出语义相同的车牌区域,得到车牌最具判别性区域特征;
(5)采用语义尺度协同学习机制对步骤(3)得到的车牌精细化前景区域和步骤(4)得到的车牌最具判别性区域特征协同学习,得到精细化的车牌检测区域特征;
(6)将精细化的车牌检测区域特征转化为车牌分类信息和车牌坐标信息,将聚合后的特征与初始特征加权融合,从而增强共性车牌区域特征,滤除背景干扰信息;
(7)使用步骤(1)构建的训练集训练车牌检测网络;
(8)使用步骤(1)构建的测试集测试步骤(7)训练好的车牌检测网络,输出车牌类别置信度并输出坐标位置信息;
(9)根据车牌检测网络输出的结果,借助基于LSTM的车牌识别算法,识别车牌中的字符并输出车牌字符信息,完成车牌检测。
作为本发明的进一步技术方案,步骤(2)所述基础网络为VggNet网络,卷积层的卷积核为;两张图片的多尺度特征分别为和,根据多尺度特征得到的多尺度聚合特征:,其中,Con代表特征叠加操作,/代表对不同尺度特征采用上采样或者下采样操作,对采用相同的操作,得到多尺度聚合特征。
作为本发明的进一步技术方案,步骤(3)的具体过程为:
作为本发明的进一步技术方案,步骤(4)的具体过程为:
先计算语义间关系矩阵得到:
作为本发明的进一步技术方案,步骤(5)的具体过程为:
作为本发明的进一步技术方案,步骤(6)的将聚合后的特征与初始特征加权融合的过程为:
作为本发明的进一步技术方案,步骤(7)训练车牌检测网络的具体过程为:将训练集的两张图片数据和输入网络,分别得到车牌的类别置信度和回归坐标位置,以及车牌的类别置信度和回归坐标位置,类别置信度和判别当前分支预测是否为车牌,回归坐标位置和为车牌的四个顶点坐标,并采用FocalLoss计算车牌和损失,Smooth L1 Loss计算车牌和误差,经过55次完整训练集训练迭代后,保存精度最高的模型参数即为训练好的模型参数,其中W、H和N分别为图片的宽度、高度和数量。
作为本发明的进一步技术方案,步骤(8)测试车牌检测网络的具体过程为:将测试集图片数据和输入到网络中,并加载步骤(7)训练好的模型参数,网络输出得到车牌类别置信度和回归坐标位置,再通过阈值过滤掉低置信度的车牌,最后使用非极大抑制(NMS)删除网络输出的冗余的车牌检测框。
与现有技术相比,本发明以车牌检测数据集中车牌检测图片之间强一致性为基础,通过尺度间协同注意力机制学习不同车牌检测图片网络层输出特征之间的一致性,从而保证网络在特征提取阶段车牌特征之间的交互性,通过车牌特征之间的交互,实现共性特征之间共享。然后通过语义协同注意力机制学习不同车牌检测图片高层输出语义之间的一致性,从而保证网络能够凭借语义特征缩小车牌特征搜索范围,最终,通过语义尺度协同学习机制融合网络语义上下文之间的关系,提升复杂场景车牌检测精度,不仅可以用来进行复杂场景下的车牌检测,还可用于复杂场景下的物体分割以及复杂场景下的物体检测,在CCPD数据集中精度达到97.3%。
附图说明
图1为本发明所述尺度/语义间协同注意力机制结构图。
图2为本发明所述语义尺度协同学习机制结构图。
图3为本发明实现车牌检测的整个网络结构图。
图4为本发明车牌检测的流程框图。
具体实施方式:
下面结合附图,通过实施例进一步描述本发明,但不以任何方式限制本发明的范围。
实施例:
本实施例采用如图3所示的网络和图4所示的流程实现车牌检测,具体包括如下步骤:
(1)构建车牌检测数据集:
收集不同复杂场景下的车牌检测图片构建车牌检测数据集,其中,每张图片包含车牌顶点坐标以及车牌字符标注信息,将构建的车牌检测数据集划分为训练集、验证集和测试集;
(2)多尺度特征提取:
为获取车牌的多尺度信息,将训练集中两张车牌图片(I1,I2)分别输入到基础网络(VggNet),将基础网络中间层特征(Conv0->4)分别输出作为多尺度特征(,),然后将网络不同层的侧输出(Conv_0->4)通过卷积层Conv()转变为统一维度的特征层,通过下采样和上采样操作()将多尺度特征聚合,
(3)尺度间协同注意力机制:
在提取的多尺度特征,基础上,通过尺度间协同注意力机制学习车牌间丰富的尺度信息交互,尺度间交互采用协同关系建模的方式,即,学习车牌间的相似性矩阵,通过这种车牌间特征互学习的方式,提升车牌间的一致性,同时,过滤掉车牌区域的背景干扰信息,具体为:
(4)语义间协同注意力机制:
在车牌检测中,相对于底层特征来说,高层语义信息对于车牌的定位非常重要,其能够极大的缩小车牌检测的问题域,同时,通过车牌间的高层区域的一致性求解,能够突出语义相同的车牌区域,具体为:
(5)语义尺度协同学习机制:
为充分融合车牌上下文信息,将步骤(3)和(4)得到的特征协同学习,以取得精细化的车牌检测区域特征:
(6)车牌位置精细化输出:
将精细化的车牌区域特征转化为车牌分类信息和车牌坐标信息,将聚合后的特征与初始特征加权融合,从而增强共性车牌区域特征,滤除背景干扰信息:
(7)训练网络:
通过步骤(1)构建的训练集训练车牌检测网络,网络的输入为图片数据和,输出车牌的类别置信度和回归坐标位置,以及车牌的类别置信度和回归坐标位置,类别置信度和判别当前分支预测是否为车牌,回归坐标位置和为车牌的四个顶点坐标,本发明采用FocalLoss计算车牌和损失,Smooth L1 Loss计算车牌和误差,经过设定epoach(55次)完整训练集训练迭代后,保存精度最高的模型参数即为训练好的模型参数;
(8)测试网络:
使用步骤(1)构建的测试集测试车牌检测网络,将车牌检测图片数据和输入到本实施例提出的网络中,并加载训练好的模型参数,网络输出得到车牌类别置信度和回归坐标位置,然后通过阈值过滤掉低置信度的车牌,最后使用非极大抑制(NMS)删除网络输出的冗余的车牌检测框;
(9)车牌识别:
在车牌检测网络输出的结果基础上,借助基于LSTM的车牌识别算法,识别车牌中的字符并输出车牌字符信息。
本实施例在多尺度特征的基础上,通过尺度间协同注意力机制学习不同车牌检测图片网络层输出特征之间的一致性,从而保证网络在特征提取阶段车牌特征之间的交互性,然后通过语义协同注意力机制学习不同车牌检测图片高层输出语义之间的一致性,从而保证网络能够凭借语义特征缩小车牌特征搜索范围,最终,通过语义尺度协同学习机制融合网络语义上下文之间的关系,提升复杂场景车牌检测精度。
本文中未详细描述的算法、网络结构均为本领域通用技术。
需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附权利要求的精神和范围内,各种替换和修改都是可能的。因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。
Claims (8)
1.一种基于车牌间协同学习机制的车牌检测方法,其特征在于,具体包括如下步骤:
(1)收集不同复杂场景下的车牌图片构建车牌检测数据集,其中,每张图片包含车牌顶点坐标以及车牌字符标注信息,并将构建的车牌检测数据集划分为训练集、验证集和测试集;
(2)将训练集中的两张车牌图片分别输入到基础网络,将基础网络中间层特征输出作为多尺度特征,然后将网络不同层的侧输出通过卷积层转变为统一维度的特征层,并通过下采样和上采样操作将多尺度特征聚合得到多尺度聚合特征;
(3)在步骤(2)得到的多尺度聚合特征基础上,通过尺度间协同注意力机制学习车牌间丰富的尺度信息交互,尺度信息交互采用协同关系建模的方式,即通过学习车牌间的相似性矩阵进行尺度信息交互,从而提升车牌间的一致性,同时过滤掉车牌区域的背景干扰信息,得到车牌精细化前景区域;
(4)采用语义间协同注意力机制对车牌间的高层区域的一致性求解,突出语义相同的车牌区域,得到车牌最具判别性区域特征;
(5)采用语义尺度协同学习机制对步骤(3)得到的车牌精细化前景区域和步骤(4)得到的车牌最具判别性区域特征协同学习,得到精细化的车牌检测区域特征;
(6)将精细化的车牌检测区域特征转化为车牌分类信息和车牌坐标信息,将聚合后的特征与初始特征加权融合,从而增强共性车牌区域特征,滤除背景干扰信息;
(7)使用步骤(1)构建的训练集训练车牌检测网络;
(8)使用步骤(1)构建的测试集测试步骤(7)训练好的车牌检测网络,输出车牌类别置信度并输出坐标位置信息;
(9)根据车牌检测网络输出的结果,借助基于LSTM的车牌识别算法,识别车牌中的字符并输出车牌字符信息,完成车牌检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211263767.4A CN115578722A (zh) | 2022-10-17 | 2022-10-17 | 基于车牌间协同学习机制的车牌检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211263767.4A CN115578722A (zh) | 2022-10-17 | 2022-10-17 | 基于车牌间协同学习机制的车牌检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115578722A true CN115578722A (zh) | 2023-01-06 |
Family
ID=84585059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211263767.4A Pending CN115578722A (zh) | 2022-10-17 | 2022-10-17 | 基于车牌间协同学习机制的车牌检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115578722A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116704487A (zh) * | 2023-06-12 | 2023-09-05 | 三峡大学 | 一种基于Yolov5s网络和CRNN的车牌检测与识别方法 |
CN117422911A (zh) * | 2023-10-20 | 2024-01-19 | 哈尔滨工业大学 | 一种协同学习驱动的多类别全切片数字病理图像分类系统 |
-
2022
- 2022-10-17 CN CN202211263767.4A patent/CN115578722A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116704487A (zh) * | 2023-06-12 | 2023-09-05 | 三峡大学 | 一种基于Yolov5s网络和CRNN的车牌检测与识别方法 |
CN116704487B (zh) * | 2023-06-12 | 2024-06-11 | 三峡大学 | 一种基于Yolov5s网络和CRNN的车牌检测与识别方法 |
CN117422911A (zh) * | 2023-10-20 | 2024-01-19 | 哈尔滨工业大学 | 一种协同学习驱动的多类别全切片数字病理图像分类系统 |
CN117422911B (zh) * | 2023-10-20 | 2024-04-30 | 哈尔滨工业大学 | 一种协同学习驱动的多类别全切片数字病理图像分类系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109741331B (zh) | 一种图像前景物体分割方法 | |
CN111047551A (zh) | 一种基于U-net改进算法的遥感影像变化检测方法及系统 | |
CN115578722A (zh) | 基于车牌间协同学习机制的车牌检测方法 | |
CN108345827B (zh) | 识别文档方向的方法、系统和神经网络 | |
CN114119638A (zh) | 一种融合多尺度特征和注意力机制的医学图像分割方法 | |
CN112395951B (zh) | 一种面向复杂场景的域适应交通目标检测与识别方法 | |
CN111612008A (zh) | 基于卷积网络的图像分割方法 | |
CN112488025B (zh) | 基于多模态特征融合的双时相遥感影像语义变化检测方法 | |
CN112150493A (zh) | 一种基于语义指导的自然场景下屏幕区域检测方法 | |
CN114266794B (zh) | 基于全卷积神经网络的病理切片图像癌症区域分割系统 | |
CN114549985B (zh) | 一种基于自监督对比学习的目标检测方法及系统 | |
CN112950477A (zh) | 一种基于双路径处理的高分辨率显著性目标检测方法 | |
CN112801182A (zh) | 一种基于困难样本感知的rgbt目标跟踪方法 | |
CN112966747A (zh) | 一种基于无锚框检测网络改进的车辆检测方法 | |
CN115620010A (zh) | 一种rgb-t双模态特征融合的语义分割方法 | |
CN112070040A (zh) | 一种用于视频字幕的文本行检测方法 | |
CN115512169B (zh) | 基于梯度和区域亲和力优化的弱监督语义分割方法及装置 | |
CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
CN113344933A (zh) | 一种基于多层次特征融合网络的腺体细胞分割方法 | |
CN112270366A (zh) | 基于自适应多特征融合的微小目标检测方法 | |
CN116863194A (zh) | 一种足溃疡图像分类方法、系统、设备及介质 | |
CN114445620A (zh) | 一种改进Mask R-CNN的目标分割方法 | |
CN111582057B (zh) | 一种基于局部感受野的人脸验证方法 | |
CN115601744B (zh) | 一种车身与车牌颜色相近的车牌检测方法 | |
CN116363361A (zh) | 基于实时语义分割网络的自动驾驶方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |