CN115578722A - 基于车牌间协同学习机制的车牌检测方法 - Google Patents

基于车牌间协同学习机制的车牌检测方法 Download PDF

Info

Publication number
CN115578722A
CN115578722A CN202211263767.4A CN202211263767A CN115578722A CN 115578722 A CN115578722 A CN 115578722A CN 202211263767 A CN202211263767 A CN 202211263767A CN 115578722 A CN115578722 A CN 115578722A
Authority
CN
China
Prior art keywords
license plate
license
plate detection
network
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211263767.4A
Other languages
English (en)
Inventor
刘寒松
孙小伟
王永
王国强
刘瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonli Holdings Group Co Ltd
Original Assignee
Sonli Holdings Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonli Holdings Group Co Ltd filed Critical Sonli Holdings Group Co Ltd
Priority to CN202211263767.4A priority Critical patent/CN115578722A/zh
Publication of CN115578722A publication Critical patent/CN115578722A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于车牌检测技术领域，涉及一种基于车牌间协同学习机制的车牌检测方法，以车牌检测数据集中车牌检测图片之间强一致性为基础，通过尺度间协同注意力机制学习不同车牌检测图片网络层输出特征之间的一致性，从而保证网络在特征提取阶段车牌特征之间的交互性，通过车牌特征之间的交互，实现共性特征之间共享。然后通过语义协同注意力机制学习不同车牌检测图片高层输出语义之间的一致性，从而保证网络能够凭借语义特征缩小车牌特征搜索范围，最终通过语义尺度协同学习机制融合网络语义上下文之间的关系，提升复杂场景车牌检测精度，不仅可以用来进行复杂场景下的车牌检测，还可用于复杂场景下的物体分割以及复杂场景下的物体检测。

Description

基于车牌间协同学习机制的车牌检测方法
技术领域
本发明属于车牌检测技术领域，涉及一种基于车牌间协同学习机制的车牌检测方法。
背景技术
尤其是在车牌识别领域，越来越多的基于人工智能的算法被提出，取得了非常优越的性能，已经广泛应用于生活场景中。
传统车牌识别算法大多为手工设计的特征提取算法，在复杂多变的实际生活场景中应用非常受限，尤其是实际生活中非常困难的场景（雨雪天气，高/低对比度），导致车牌检测算法性能非常有限，随着车牌识别大规模数据集的提出，基于深度学习的方法逐渐取代了传统方法，但是，基于深度学习的方式仍存在诸多问题，这是由于深度学习方式属于数据驱动的方式，其性能取决于数据集的多样性，然而现有算法对于数据集的挖掘并不充分，对于数据集的挖掘仅考虑单一图片的检测，重点主要集中于网络层面的设计来提升检测精度，而且单张图片特征挖掘容易导致数据集多样性信息丢失以及数据集中车牌互信息挖掘不充分，因此，当数据集变化的时候，网络的泛化性能低，导致复杂场景下的车牌识别精度低。由此可见，针对复杂场景下的车牌检测技术，需要一种新的车牌检测方法提升复杂场景下车牌检测的精度。
发明内容
本发明的目的在于克服现有技术存在的缺陷，设计提供一种基于车牌间协同学习机制的车牌检测方法。
为实现上述目的，本发明先通过主干网络提取不同层侧输出特征作为多尺度特征，在多尺度特征的基础上，通过尺度间协同注意力机制学习不同车牌检测图片网络层输出特征之间的一致性，从而保证网络在特征提取阶段车牌特征之间的交互性，然后通过语义协同注意力机制学习不同车牌检测图片高层输出语义之间的一致性，从而保证网络能够凭借语义特征缩小车牌特征搜索范围，最终，通过语义尺度协同学习机制融合网络语义上下文之间的关系，提升复杂场景车牌检测精度，具体包括如下步骤：
（1）收集不同复杂场景下的车牌图片构建车牌检测数据集，其中，每张图片包含车牌顶点坐标以及车牌字符标注信息，并将构建的车牌检测数据集划分为训练集、验证集和测试集；
（2）将训练集中的两张车牌图片分别输入到基础网络，将基础网络中间层特征输出作为多尺度特征，然后将网络不同层的侧输出通过卷积层转变为统一维度的特征层，并通过下采样和上采样操作将多尺度特征聚合得到多尺度聚合特征；
（3）在步骤（2）得到的多尺度聚合特征基础上，通过尺度间协同注意力机制学习车牌间丰富的尺度信息交互，尺度信息交互采用协同关系建模的方式，即通过学习车牌间的相似性矩阵进行尺度信息交互，从而提升车牌间的一致性，同时过滤掉车牌区域的背景干扰信息，得到车牌精细化前景区域；
（4）采用语义间协同注意力机制对车牌间的高层区域的一致性求解，突出语义相同的车牌区域，得到车牌最具判别性区域特征；
（5）采用语义尺度协同学习机制对步骤（3）得到的车牌精细化前景区域和步骤（4）得到的车牌最具判别性区域特征协同学习，得到精细化的车牌检测区域特征；
（6）将精细化的车牌检测区域特征转化为车牌分类信息和车牌坐标信息，将聚合后的特征与初始特征加权融合，从而增强共性车牌区域特征，滤除背景干扰信息；
（7）使用步骤（1）构建的训练集训练车牌检测网络；
（8）使用步骤（1）构建的测试集测试步骤（7）训练好的车牌检测网络，输出车牌类别置信度并输出坐标位置信息；
（9）根据车牌检测网络输出的结果，借助基于LSTM的车牌识别算法，识别车牌中的字符并输出车牌字符信息，完成车牌检测。
作为本发明的进一步技术方案，步骤（2）所述基础网络为VggNet网络，卷积层的卷积核为
Figure DEST_PATH_IMAGE002
；两张图片的多尺度特征分别为
Figure DEST_PATH_IMAGE004
和
Figure DEST_PATH_IMAGE006
，根据多尺度特征
Figure 516981DEST_PATH_IMAGE004
得到的多尺度聚合特征：
Figure DEST_PATH_IMAGE008
，其中，Con代表特征叠加操作，/代表对不同尺度特征采用上采样或者下采样操作，对
Figure 355624DEST_PATH_IMAGE006
采用相同的操作，得到多尺度聚合特征
Figure DEST_PATH_IMAGE010
。
作为本发明的进一步技术方案，步骤（3）的具体过程为：
先计算尺度间关系矩阵得到
Figure DEST_PATH_IMAGE012
,
其中，
Figure DEST_PATH_IMAGE014
是矩阵乘法，Norm是基于维度的归一化函数，
Figure DEST_PATH_IMAGE016
是L2归一化函数，将关系矩阵数值归一化，
Figure DEST_PATH_IMAGE018
将关系矩阵稀疏化，防止车牌间信息存在噪声数据干扰，然后到对多尺度聚合特征
Figure DEST_PATH_IMAGE020
、
Figure 56339DEST_PATH_IMAGE010
增强得到
Figure DEST_PATH_IMAGE022
、
Figure DEST_PATH_IMAGE024
：
Figure DEST_PATH_IMAGE026
其中，
Figure DEST_PATH_IMAGE028
是基于矩阵元素之间的乘法，而
Figure 446869DEST_PATH_IMAGE010
的计算方式定义如下，
Figure DEST_PATH_IMAGE030
其中函数的定义与
Figure 993388DEST_PATH_IMAGE022
中函数的定义方式相同。
作为本发明的进一步技术方案，步骤（4）的具体过程为：
先计算语义间关系矩阵得到：
Figure DEST_PATH_IMAGE032
,
再对语义特征
Figure DEST_PATH_IMAGE034
和
Figure DEST_PATH_IMAGE036
增强得到：
Figure DEST_PATH_IMAGE038
Figure DEST_PATH_IMAGE040
的定义如下，
Figure DEST_PATH_IMAGE042
其中各符号的定义与
Figure DEST_PATH_IMAGE044
中函数的定义方式相同。
作为本发明的进一步技术方案，步骤（5）的具体过程为：
Figure DEST_PATH_IMAGE046
Figure DEST_PATH_IMAGE048
Figure DEST_PATH_IMAGE050
的计算方式与
Figure DEST_PATH_IMAGE052
的计算方式相同。
作为本发明的进一步技术方案，步骤（6）的将聚合后的特征与初始特征加权融合的过程为：
Figure DEST_PATH_IMAGE054
Figure DEST_PATH_IMAGE056
的计算方式如下：
Figure DEST_PATH_IMAGE058
。
作为本发明的进一步技术方案，步骤（7）训练车牌检测网络的具体过程为：将训练集的两张图片数据
Figure DEST_PATH_IMAGE060
和
Figure DEST_PATH_IMAGE062
输入网络，分别得到车牌
Figure DEST_PATH_IMAGE064
的类别置信度
Figure DEST_PATH_IMAGE066
和回归坐标位置
Figure DEST_PATH_IMAGE068
，以及车牌
Figure DEST_PATH_IMAGE070
的类别置信度
Figure DEST_PATH_IMAGE072
和回归坐标位置
Figure DEST_PATH_IMAGE074
，类别置信度
Figure DEST_PATH_IMAGE076
和
Figure DEST_PATH_IMAGE078
判别当前分支预测是否为车牌，回归坐标位置
Figure DEST_PATH_IMAGE080
和
Figure DEST_PATH_IMAGE082
为车牌的四个顶点坐标，并采用FocalLoss计算车牌
Figure 94111DEST_PATH_IMAGE076
和
Figure 308055DEST_PATH_IMAGE078
损失，Smooth L1 Loss计算车牌
Figure 994120DEST_PATH_IMAGE080
和
Figure 824673DEST_PATH_IMAGE082
误差，经过55次完整训练集训练迭代后，保存精度最高的模型参数即为训练好的模型参数，其中W、H和N分别为图片的宽度、高度和数量。
作为本发明的进一步技术方案，步骤（8）测试车牌检测网络的具体过程为：将测试集图片数据
Figure DEST_PATH_IMAGE084
和
Figure DEST_PATH_IMAGE086
输入到网络中，并加载步骤（7）训练好的模型参数，网络输出得到车牌类别置信度
Figure DEST_PATH_IMAGE088
和回归坐标位置
Figure DEST_PATH_IMAGE090
，再通过阈值过滤掉低置信度的车牌，最后使用非极大抑制（NMS）删除网络输出的冗余的车牌检测框。
与现有技术相比，本发明以车牌检测数据集中车牌检测图片之间强一致性为基础，通过尺度间协同注意力机制学习不同车牌检测图片网络层输出特征之间的一致性，从而保证网络在特征提取阶段车牌特征之间的交互性，通过车牌特征之间的交互，实现共性特征之间共享。然后通过语义协同注意力机制学习不同车牌检测图片高层输出语义之间的一致性，从而保证网络能够凭借语义特征缩小车牌特征搜索范围，最终，通过语义尺度协同学习机制融合网络语义上下文之间的关系，提升复杂场景车牌检测精度，不仅可以用来进行复杂场景下的车牌检测，还可用于复杂场景下的物体分割以及复杂场景下的物体检测，在CCPD数据集中精度达到97.3%。
附图说明
图1为本发明所述尺度/语义间协同注意力机制结构图。
图2为本发明所述语义尺度协同学习机制结构图。
图3为本发明实现车牌检测的整个网络结构图。
图4为本发明车牌检测的流程框图。
具体实施方式：
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
实施例：
本实施例采用如图3所示的网络和图4所示的流程实现车牌检测，具体包括如下步骤：
（1）构建车牌检测数据集：
收集不同复杂场景下的车牌检测图片构建车牌检测数据集，其中，每张图片包含车牌顶点坐标以及车牌字符标注信息，将构建的车牌检测数据集划分为训练集、验证集和测试集；
（2）多尺度特征提取：
为获取车牌的多尺度信息，将训练集中两张车牌图片（I1，I2）分别输入到基础网络（VggNet），将基础网络中间层特征（Conv0->4）分别输出作为多尺度特征（
Figure 208381DEST_PATH_IMAGE004
，
Figure 290213DEST_PATH_IMAGE006
），然后将网络不同层的侧输出（Conv_0->4）通过卷积层Conv（
Figure 163491DEST_PATH_IMAGE002
）转变为统一维度的特征层
Figure DEST_PATH_IMAGE092
，通过下采样和上采样操作（
Figure DEST_PATH_IMAGE094
）将多尺度特征聚合，
Figure DEST_PATH_IMAGE096
其中，Con代表特征叠加操作，/代表对不同尺度特征采用上采样或者下采样操作，
Figure 419023DEST_PATH_IMAGE006
采用相同的操作，得到多尺度聚合特征
Figure 652427DEST_PATH_IMAGE010
.
（3）尺度间协同注意力机制：
在提取的多尺度特征
Figure 372122DEST_PATH_IMAGE004
，
Figure 416301DEST_PATH_IMAGE006
基础上，通过尺度间协同注意力机制学习车牌间丰富的尺度信息交互，尺度间交互采用协同关系建模的方式，即，学习车牌间的相似性矩阵，通过这种车牌间特征互学习的方式，提升车牌间的一致性，同时，过滤掉车牌区域的背景干扰信息，具体为：
Figure 955867DEST_PATH_IMAGE012
,
其中，
Figure 743694DEST_PATH_IMAGE014
是矩阵乘法，Norm是基于维度的归一化函数，
Figure 317895DEST_PATH_IMAGE016
是L2归一化函数，将关系矩阵数值归一化，
Figure 532976DEST_PATH_IMAGE018
将关系矩阵稀疏化，防止车牌间信息存在噪声数据干扰，
得到尺度间关系矩阵后，对多尺度特征
Figure 310570DEST_PATH_IMAGE020
，
Figure 902088DEST_PATH_IMAGE010
增强，
Figure DEST_PATH_IMAGE026A
其中，
Figure 534058DEST_PATH_IMAGE028
是基于矩阵元素之间的乘法，而
Figure 920040DEST_PATH_IMAGE010
的计算方式定义如下，
Figure DEST_PATH_IMAGE030A
其中函数的定义与
Figure 417886DEST_PATH_IMAGE022
中函数的定义方式相同；
（4）语义间协同注意力机制：
在车牌检测中，相对于底层特征来说，高层语义信息对于车牌的定位非常重要，其能够极大的缩小车牌检测的问题域，同时，通过车牌间的高层区域的一致性求解，能够突出语义相同的车牌区域，具体为：
Figure DEST_PATH_IMAGE098
,
其中各符号的定义如
Figure DEST_PATH_IMAGE100
中定义，得到语义间关系矩阵之后，对语义特征
Figure 16358DEST_PATH_IMAGE034
和
Figure 299571DEST_PATH_IMAGE036
增强，
Figure DEST_PATH_IMAGE038A
而
Figure 90677DEST_PATH_IMAGE040
的定义如下，
Figure DEST_PATH_IMAGE042A
其中各符号的定义与
Figure 560973DEST_PATH_IMAGE044
中函数的定义方式相同；
（5）语义尺度协同学习机制：
为充分融合车牌上下文信息，将步骤（3）和（4）得到的特征协同学习，以取得精细化的车牌检测区域特征：
Figure DEST_PATH_IMAGE046A
Figure DEST_PATH_IMAGE048A
对于
Figure 87769DEST_PATH_IMAGE050
的计算方式与
Figure 976222DEST_PATH_IMAGE052
的计算方式相同；
（6）车牌位置精细化输出：
将精细化的车牌区域特征转化为车牌分类信息和车牌坐标信息，将聚合后的特征与初始特征加权融合，从而增强共性车牌区域特征，滤除背景干扰信息：
Figure DEST_PATH_IMAGE054A
而
Figure 438427DEST_PATH_IMAGE056
的计算方式如下：
Figure 927177DEST_PATH_IMAGE058
；
（7）训练网络：
通过步骤（1）构建的训练集训练车牌检测网络，网络的输入为图片数据
Figure 398610DEST_PATH_IMAGE060
和
Figure 656416DEST_PATH_IMAGE062
，输出车牌
Figure 820681DEST_PATH_IMAGE064
的类别置信度
Figure 780416DEST_PATH_IMAGE066
和回归坐标位置
Figure 55539DEST_PATH_IMAGE068
，以及车牌
Figure 433431DEST_PATH_IMAGE064
的类别置信度
Figure 503018DEST_PATH_IMAGE072
和回归坐标位置
Figure 966360DEST_PATH_IMAGE074
，类别置信度
Figure 779596DEST_PATH_IMAGE076
和
Figure 11994DEST_PATH_IMAGE078
判别当前分支预测是否为车牌，回归坐标位置
Figure 252482DEST_PATH_IMAGE080
和
Figure 950924DEST_PATH_IMAGE082
为车牌的四个顶点坐标，本发明采用FocalLoss计算车牌
Figure 567850DEST_PATH_IMAGE076
和
Figure 389175DEST_PATH_IMAGE078
损失，Smooth L1 Loss计算车牌
Figure 66144DEST_PATH_IMAGE080
和
Figure 238499DEST_PATH_IMAGE082
误差，经过设定epoach（55次）完整训练集训练迭代后，保存精度最高的模型参数即为训练好的模型参数；
（8）测试网络：
使用步骤（1）构建的测试集测试车牌检测网络，将车牌检测图片数据
Figure 393537DEST_PATH_IMAGE084
和
Figure 600528DEST_PATH_IMAGE086
输入到本实施例提出的网络中，并加载训练好的模型参数，网络输出得到车牌类别置信度
Figure 432086DEST_PATH_IMAGE088
和回归坐标位置
Figure 91738DEST_PATH_IMAGE090
，然后通过阈值过滤掉低置信度的车牌，最后使用非极大抑制（NMS）删除网络输出的冗余的车牌检测框；
（9）车牌识别：
在车牌检测网络输出的结果基础上，借助基于LSTM的车牌识别算法，识别车牌中的字符并输出车牌字符信息。
本实施例在多尺度特征的基础上，通过尺度间协同注意力机制学习不同车牌检测图片网络层输出特征之间的一致性，从而保证网络在特征提取阶段车牌特征之间的交互性，然后通过语义协同注意力机制学习不同车牌检测图片高层输出语义之间的一致性，从而保证网络能够凭借语义特征缩小车牌特征搜索范围，最终，通过语义尺度协同学习机制融合网络语义上下文之间的关系，提升复杂场景车牌检测精度。
本文中未详细描述的算法、网络结构均为本领域通用技术。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (8)

1.一种基于车牌间协同学习机制的车牌检测方法，其特征在于，具体包括如下步骤：
（1）收集不同复杂场景下的车牌图片构建车牌检测数据集，其中，每张图片包含车牌顶点坐标以及车牌字符标注信息，并将构建的车牌检测数据集划分为训练集、验证集和测试集；
（2）将训练集中的两张车牌图片分别输入到基础网络，将基础网络中间层特征输出作为多尺度特征，然后将网络不同层的侧输出通过卷积层转变为统一维度的特征层，并通过下采样和上采样操作将多尺度特征聚合得到多尺度聚合特征；
（3）在步骤（2）得到的多尺度聚合特征基础上，通过尺度间协同注意力机制学习车牌间丰富的尺度信息交互，尺度信息交互采用协同关系建模的方式，即通过学习车牌间的相似性矩阵进行尺度信息交互，从而提升车牌间的一致性，同时过滤掉车牌区域的背景干扰信息，得到车牌精细化前景区域；
（4）采用语义间协同注意力机制对车牌间的高层区域的一致性求解，突出语义相同的车牌区域，得到车牌最具判别性区域特征；
（5）采用语义尺度协同学习机制对步骤（3）得到的车牌精细化前景区域和步骤（4）得到的车牌最具判别性区域特征协同学习，得到精细化的车牌检测区域特征；
（6）将精细化的车牌检测区域特征转化为车牌分类信息和车牌坐标信息，将聚合后的特征与初始特征加权融合，从而增强共性车牌区域特征，滤除背景干扰信息；
（7）使用步骤（1）构建的训练集训练车牌检测网络；
（8）使用步骤（1）构建的测试集测试步骤（7）训练好的车牌检测网络，输出车牌类别置信度并输出坐标位置信息；
（9）根据车牌检测网络输出的结果，借助基于LSTM的车牌识别算法，识别车牌中的字符并输出车牌字符信息，完成车牌检测。
2.根据权利要求1所述基于车牌间协同学习机制的车牌检测方法，其特征在于，步骤 （2）所述基础网络为VggNet网络，卷积层的卷积核为
Figure DEST_PATH_IMAGE001
；两张图片的多尺度特征分别为
Figure 655541DEST_PATH_IMAGE002
和
Figure DEST_PATH_IMAGE003
，根据多尺度特征
Figure 632374DEST_PATH_IMAGE002
得到的多尺度聚合特征：
Figure 838227DEST_PATH_IMAGE004
， 其中，Con代表特征叠加操作，/代表对不同尺度特征采用上采样或者下采样操作，对
Figure 830454DEST_PATH_IMAGE003
采 用相同的操作，得到多尺度聚合特征
Figure DEST_PATH_IMAGE005
。
3.根据权利要求2所述基于车牌间协同学习机制的车牌检测方法，其特征在于，步骤（3）的具体过程为：
先计算尺度间关系矩阵得到
Figure 729140DEST_PATH_IMAGE006
,
其中，
Figure DEST_PATH_IMAGE007
是矩阵乘法，Norm是基于维度的归一化函数，
Figure 423295DEST_PATH_IMAGE008
是L2归一化函数，将 关系矩阵数值归一化，
Figure DEST_PATH_IMAGE009
将关系矩阵稀疏化，防止车牌间信息存在噪声数据干 扰，然后到对多尺度聚合特征
Figure 167260DEST_PATH_IMAGE010
、
Figure 545152DEST_PATH_IMAGE005
增强得到
Figure DEST_PATH_IMAGE011
、
Figure 349160DEST_PATH_IMAGE012
：
Figure 297655DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE015
是基于矩阵元素之间的乘法，而
Figure 845311DEST_PATH_IMAGE005
的计算方式定义如下，
Figure DEST_PATH_IMAGE017
其中函数的定义与
Figure 546551DEST_PATH_IMAGE011
中函数的定义方式相同。
4.根据权利要求3所述基于车牌间协同学习机制的车牌检测方法，其特征在于，步骤（4）的具体过程为：
先计算语义间关系矩阵得到：
Figure 52619DEST_PATH_IMAGE018
,
再对语义特征
Figure DEST_PATH_IMAGE019
和
Figure 455787DEST_PATH_IMAGE020
增强得到：
Figure 72713DEST_PATH_IMAGE022
Figure DEST_PATH_IMAGE023
的定义如下，
Figure DEST_PATH_IMAGE025
其中各符号的定义与
Figure 362880DEST_PATH_IMAGE026
中函数的定义方式相同。
5.根据权利要求4所述基于车牌间协同学习机制的车牌检测方法，其特征在于，步骤（5）的具体过程为：
Figure 522073DEST_PATH_IMAGE028
Figure 694428DEST_PATH_IMAGE030
Figure DEST_PATH_IMAGE031
的计算方式与
Figure 583887DEST_PATH_IMAGE032
的计算方式相同。
6.根据权利要求5所述基于车牌间协同学习机制的车牌检测方法，其特征在于，步骤（6）的将聚合后的特征与初始特征加权融合的过程为：
Figure 525298DEST_PATH_IMAGE034
Figure DEST_PATH_IMAGE035
的计算方式如下：
Figure 356857DEST_PATH_IMAGE036
。
7.根据权利要求6所述基于车牌间协同学习机制的车牌检测方法，其特征在于，步骤 （7）训练车牌检测网络的具体过程为：将训练集的两张图片数据
Figure DEST_PATH_IMAGE037
和
Figure 750929DEST_PATH_IMAGE038
输入网络，分别得到车牌
Figure DEST_PATH_IMAGE039
的类别置信度
Figure 178499DEST_PATH_IMAGE040
和回 归坐标位置
Figure DEST_PATH_IMAGE041
，以及车牌
Figure 193991DEST_PATH_IMAGE042
的类别置信度
Figure DEST_PATH_IMAGE043
和回归 坐标位置
Figure 947183DEST_PATH_IMAGE044
，类别置信度
Figure DEST_PATH_IMAGE045
和
Figure 828552DEST_PATH_IMAGE046
判别当前分支预测是否为车牌，回 归坐标位置
Figure DEST_PATH_IMAGE047
和
Figure 325392DEST_PATH_IMAGE048
为车牌的四个顶点坐标，并采用FocalLoss计算车牌
Figure 241395DEST_PATH_IMAGE045
和
Figure 149177DEST_PATH_IMAGE046
损失， Smooth L1 Loss计算车牌
Figure 783421DEST_PATH_IMAGE047
和
Figure 83952DEST_PATH_IMAGE048
误差，经过55次完整训练集训练迭代后，保存精度最高 的模型参数即为训练好的模型参数，其中W、H和N分别为图片的宽度、高度和数量。
8.根据权利要求7所述基于车牌间协同学习机制的车牌检测方法，其特征在于，步骤 （8）测试车牌检测网络的具体过程为：将测试集图片数据
Figure DEST_PATH_IMAGE049
和
Figure 854462DEST_PATH_IMAGE050
输入到网络中，并加载步骤（7）训练好的模型参数，网络输出 得到车牌类别置信度
Figure DEST_PATH_IMAGE051
和回归坐标位置
Figure 683878DEST_PATH_IMAGE052
，再通过阈值过滤掉低置信度的车牌，最后 使用非极大抑制删除网络输出的冗余的车牌检测框。
CN202211263767.4A 2022-10-17 2022-10-17 基于车牌间协同学习机制的车牌检测方法 Pending CN115578722A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211263767.4A CN115578722A (zh) 2022-10-17 2022-10-17 基于车牌间协同学习机制的车牌检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211263767.4A CN115578722A (zh) 2022-10-17 2022-10-17 基于车牌间协同学习机制的车牌检测方法

Publications (1)

Publication Number Publication Date
CN115578722A true CN115578722A (zh) 2023-01-06

Family

ID=84585059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211263767.4A Pending CN115578722A (zh) 2022-10-17 2022-10-17 基于车牌间协同学习机制的车牌检测方法

Country Status (1)

Country Link
CN (1) CN115578722A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704487A (zh) * 2023-06-12 2023-09-05 三峡大学 一种基于Yolov5s网络和CRNN的车牌检测与识别方法
CN117422911A (zh) * 2023-10-20 2024-01-19 哈尔滨工业大学 一种协同学习驱动的多类别全切片数字病理图像分类系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116704487A (zh) * 2023-06-12 2023-09-05 三峡大学 一种基于Yolov5s网络和CRNN的车牌检测与识别方法
CN117422911A (zh) * 2023-10-20 2024-01-19 哈尔滨工业大学 一种协同学习驱动的多类别全切片数字病理图像分类系统
CN117422911B (zh) * 2023-10-20 2024-04-30 哈尔滨工业大学 一种协同学习驱动的多类别全切片数字病理图像分类系统

Similar Documents

Publication Publication Date Title
Tian et al. Deep learning on image denoising: An overview
CN109741331B (zh) 一种图像前景物体分割方法
CN111047551A (zh) 一种基于U-net改进算法的遥感影像变化检测方法及系统
CN115578722A (zh) 基于车牌间协同学习机制的车牌检测方法
CN108345827B (zh) 识别文档方向的方法、系统和神经网络
CN111612008A (zh) 基于卷积网络的图像分割方法
CN112488025B (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
CN112150493A (zh) 一种基于语义指导的自然场景下屏幕区域检测方法
CN114266794B (zh) 基于全卷积神经网络的病理切片图像癌症区域分割系统
CN114549985B (zh) 一种基于自监督对比学习的目标检测方法及系统
CN113255837A (zh) 工业环境下基于改进的CenterNet网络目标检测方法
CN112950477A (zh) 一种基于双路径处理的高分辨率显著性目标检测方法
CN112966747A (zh) 一种基于无锚框检测网络改进的车辆检测方法
CN113392711A (zh) 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统
CN115620010A (zh) 一种rgb-t双模态特征融合的语义分割方法
CN114972312A (zh) 基于YOLOv4-Tiny改进的绝缘子缺陷检测方法
CN112801182A (zh) 一种基于困难样本感知的rgbt目标跟踪方法
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
CN112270366A (zh) 基于自适应多特征融合的微小目标检测方法
CN116863194A (zh) 一种足溃疡图像分类方法、系统、设备及介质
CN114445620A (zh) 一种改进Mask R-CNN的目标分割方法
CN113344933A (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
CN111582057B (zh) 一种基于局部感受野的人脸验证方法
CN117197438A (zh) 一种基于视觉显著性的目标检测方法
CN115601744B (zh) 一种车身与车牌颜色相近的车牌检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination