CN115601742A - 一种基于图关系排名的尺度敏感车牌检测方法 - Google Patents

一种基于图关系排名的尺度敏感车牌检测方法 Download PDF

Info

Publication number
CN115601742A
CN115601742A CN202211451494.6A CN202211451494A CN115601742A CN 115601742 A CN115601742 A CN 115601742A CN 202211451494 A CN202211451494 A CN 202211451494A CN 115601742 A CN115601742 A CN 115601742A
Authority
CN
China
Prior art keywords
scale
license plate
graph
network
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211451494.6A
Other languages
English (en)
Other versions
CN115601742B (zh
Inventor
刘寒松
王永
王国强
刘瑞
董玉超
焦安健
李贤超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonli Holdings Group Co Ltd
Original Assignee
Sonli Holdings Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonli Holdings Group Co Ltd filed Critical Sonli Holdings Group Co Ltd
Priority to CN202211451494.6A priority Critical patent/CN115601742B/zh
Publication of CN115601742A publication Critical patent/CN115601742A/zh
Application granted granted Critical
Publication of CN115601742B publication Critical patent/CN115601742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于车牌检测技术领域，涉及一种基于图关系排名的尺度敏感车牌检测方法，先通过主干网络提取不同层侧输出特征作为多尺度特征，再通过将层建模为图网络节点，在图网络学习的过程中，逐渐学习层间特征的重要性，引入关系排名模块滤除层内特征中的噪声信息，并在此基础上将尺度信息建模为节点，尺度间关系建模为图网络的边，通过图网络学习尺度间的重要性，同时二次滤除尺度内的噪声信息，保证尺度间车牌特征一致性，通过尺度内和尺度间的双重关系建模，极大的增强车牌特征的辨别性，提升车牌检测的精度，不仅可以用来进行复杂场景下的车牌检测，还可用于复杂场景下的物体分割等复杂场景下的检测。

Description

一种基于图关系排名的尺度敏感车牌检测方法
技术领域
本发明属于车牌检测技术领域，涉及一种基于图关系排名的尺度敏感车牌检测方法。
背景技术
随着社会的不断发展，人工智能相关的研究引起越来越多的重视，人工智能不断改进着传统行业的生产方式，极大的带动了传统行业的进步，车牌检测作为生活中非常常见的一种技术手段，伴随着人工智能的发展，越来越多的新算法被提出。
基于传统手工设计特征的方式存在非常大的弊端，其实用性受限于生活中场景的复杂度，随着场景的复杂，其性能往往会大打折扣，得益于大规模数据集的不断被提出，数据驱动的深度学习算法不断被提出，取得了非常高的性能。
然而，基于深度学习车牌检测算法对于复杂场景（雨雪天气，高/低对比度）的车牌检测并不能取得非常好的效果，这是因为现有算法对层间特征挖掘不充分，导致特征融合模块并不能充分发挥层间特征优势，同时，特征中存在大量噪声信息干扰，没有合适的机制将层间噪声信息去除，导致目前车牌检测精度低。由此可见，亟需一种新的车牌检测方法，提高检测精度。
发明内容
为解决上述问题，本发明设计提出一种基于图关系排名的尺度敏感车牌检测方法，充分挖掘层间特征，发挥层间特征优势，同时将层间噪声信息去除，提高车牌检测算法鲁棒性和检测精度。
为实现上述目的，本发明实现车牌检测的具体过程为：
（1）车牌检测数据集构建：收集复杂场景下的车牌图片构建车牌检测数据集，每张图片包含车牌顶点坐标以及车牌字符的标注信息，并将车牌检测数据集划分为训练集、验证集和测试集；
（2）多尺度特征提取：将训练集中的车牌图片输入到基础网络VggNet，将基础网络中间层的特征输出作为多尺度特征，然后将网络不同层的侧输出通过卷积层转变为统一维度的特征层，通过下采样和上采样操作将多尺度特征聚合得到多尺度聚合特征；
（3）尺度内图网络构建：在步骤（2）得到的多尺度特征的基础上建模尺度内图网络，通过尺度内图网络，学习尺度内层间特征加权，得到多尺度内层间特征的关系；
（4）尺度内图网络关系排名：基于步骤（3）得到的多尺度内层间特征的关系，引入层间关系排名，通过关系排名的方式将噪声信息去除，同时增强网络抗过拟合能力；
（5）尺度内特征精细化：经过步骤（4）后得到多尺度内层间特征图网络，通过节点间关系传递，达到精细化尺度内层间特征一致性的目的，得到多尺度特征的精细化特征；
（6）尺度间特征融合：将多尺度特征精细化特征进行融合得到不同尺度间融合后增强的特征；
（7）尺度间图网络构建：根据步骤（6）得到的不同尺度间融合后增强的特征，建模尺度间图网络，得到多尺度之间的关系；
（8）尺度间图网络关系排名：在多尺度图网络构建的基础上，引入关系排名将尺度间特征进行二次精细化，得到尺度间关系矩阵；
（9）尺度间特征精细化：将尺度间特征通过尺度间关系矩阵进行节点间的传递，通过节点间信息传递，将多尺度特征自适应加权融合，得到精细化的车牌特征；
（10）车牌位置精细化输出：将精细化后的车牌特征通过输出层输出，得到车牌分类信息和车牌坐标信息；
（11）训练网络：使用步骤（1）训练集中的车牌图片训练整个网络，并计算整个网络误差，通过反向传播训练网络，得到训练好的车辆检测模型；
（12）测试网络：加载训练好的车牌检测模型，并将测试集中的车牌图片输入到网络中，输出车牌类别置信度和回归坐标位置；
（13）车牌识别：在车牌检测结果基础上，通过基于LSTM的车牌识别算法，识别车牌中的字符并输出。
作为本发明的进一步技术方案，步骤（2）得到的多尺度聚合特征为：
Figure 14482DEST_PATH_IMAGE001
其中
Figure 75979DEST_PATH_IMAGE002
为基础网络中间层Conv0->4输出的多尺度特征， Conv为卷积核为1×1的 卷积操作，
Figure 157068DEST_PATH_IMAGE003
为下采样和上采样操作。
作为本发明的进一步技术方案，步骤（3）的具体过程为：先将层间特征定义为节点，并构建尺度内层间图网络，则节点间的关系为：
Figure 569595DEST_PATH_IMAGE004
,
其中
Figure 925490DEST_PATH_IMAGE005
和
Figure 107072DEST_PATH_IMAGE006
分别为尺度内索引为i，j层的特征，
Figure 93483DEST_PATH_IMAGE007
为矩阵乘法，
Figure 993306DEST_PATH_IMAGE008
为归一化函 数。
作为本发明的进一步技术方案，步骤（4）的具体过程为：
Figure 621733DEST_PATH_IMAGE009
,
其中Rank为排序函数，
Figure 923402DEST_PATH_IMAGE010
为获取排序后k个数目的值。
作为本发明的进一步技术方案，步骤（5）的具体过程为：将图网络进行节点之间信息传递，通过节点间信息传递达到基于节点间关系权重融合层间特征的目的，得到经过图网络节点间关系传递后的特征信息：
Figure 611872DEST_PATH_IMAGE011
,
其中，
Figure 795729DEST_PATH_IMAGE012
为对角矩阵，
Figure 165530DEST_PATH_IMAGE013
和
Figure 118442DEST_PATH_IMAGE014
是图网络层学习的权重，F为不同节点的特 征；
为将图特征之间节点信息更充分的挖掘层内特征关系，将节点信息传递后的图节点特征继续采用图网络的方式传递，达到精细化的目的：
Figure 915497DEST_PATH_IMAGE015
其中，
Figure 852229DEST_PATH_IMAGE016
表示第t次迭代产生的节点特征，
Figure 25722DEST_PATH_IMAGE017
为对角矩阵，
Figure 833141DEST_PATH_IMAGE018
为对角关系矩阵，
Figure 801097DEST_PATH_IMAGE019
表示第t-1次迭代中第i层特征，Rank为排序函数，
Figure 225125DEST_PATH_IMAGE010
为获取排序后k个数目的值。
作为本发明的进一步技术方案，步骤（6）得到不同尺度间融合后增强的特征的具体过程为：
Figure 936729DEST_PATH_IMAGE020
其中，H为不同尺度间融合后增强的特征，Con为concat操作，
Figure 598654DEST_PATH_IMAGE003
分别代表下 采样和上采样操作，
Figure 737512DEST_PATH_IMAGE021
代表使用卷积核为
Figure 383256DEST_PATH_IMAGE022
的卷积层降维， M为步骤（2）得到的多尺度 聚合特征。
作为本发明的进一步技术方案，步骤（7）得到多尺度之间的关系为：
Figure 632972DEST_PATH_IMAGE023
；
其中
Figure 946142DEST_PATH_IMAGE024
为不同尺度间融合后增强的特征H的不同层；
作为本发明的进一步技术方案，步骤（8）得到的尺度间关系矩阵为：
Figure 255901DEST_PATH_IMAGE025
其中Rank为排序函数，
Figure 123362DEST_PATH_IMAGE010
为获取排序后k个数目的值。
作为本发明的进一步技术方案，步骤（9）的具体过程为：
Figure 176769DEST_PATH_IMAGE026
,
Figure 78866DEST_PATH_IMAGE027
其中，
Figure 887422DEST_PATH_IMAGE028
表示精细化后的车牌区域，
Figure 179863DEST_PATH_IMAGE029
代表第t次迭代产生的精细化车牌区域，而
Figure 36961DEST_PATH_IMAGE030
代表第t-1次迭代产生的精细化车牌区域，
Figure 527985DEST_PATH_IMAGE031
和
Figure 507442DEST_PATH_IMAGE032
分别代表第t-1次迭代过程中第 i和j层的特征。
与现有技术相比，本发明通过主干网络提取不同层侧输出特征作为多尺度特征，尺度内层与层之间凭借卷积核的多样性，保证提取多尺度特征的多样性，为充分挖掘多尺度特征中蕴含的深层次信息，通过将层建模为图网络节点，而层与层之间的关系建模为图的边，在图网络学习的过程中，逐渐学习层间特征的重要性，引入关系排名模块滤除层内特征中的噪声信息，并在此基础上，将尺度信息建模为节点，尺度间关系建模为图网络的边，通过图网络学习尺度间的重要性，同时二次滤除尺度内的噪声信息，保证尺度间车牌特征一致性，通过尺度内和尺度间的双重关系建模，极大的增强车牌特征的辨别性，提升车牌检测的精度，不仅可以用来进行复杂场景下的车牌检测，还可用于复杂场景下的物体分割等复杂场景下的检测，在CCPD数据集中检测精度达到98.1%。
附图说明
图1为本发明所述尺度内/尺度间图关系建模结构图。
图2本发明实现车牌检测的整个网络结构图。
图3为本发明提实现车牌检测的工作流程框图。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
实施例1：
本实施例提出一种基于图关系排名的尺度敏感的复杂场景车牌检测方法，通过尺度内和尺度间图网络关系建模网络，充分发掘尺度内蕴含的深层信息，极大的提升了复杂场景下车牌检测的精度，如图1、图2和图3所示，本实施例实现车牌检测的过程具体包括如下步骤：
（1）车牌检测数据集构建：收集复杂场景下的车牌图片构建车牌检测数据集，每张图片包含详细的标注信息，如车牌顶点坐标以及车牌字符信息，将车牌检测数据集划分为训练集、验证集和测试集三个子数据集；
（2）多尺度特征提取
为获取车牌的多尺度信息，将训练集中车牌图片输入到基础网络VggNet，将基础 网络中间层（Conv0->4）的特征输出作为多尺度特征
Figure 552759DEST_PATH_IMAGE002
，然后将网络不同层的侧输出 （Conv_0->4）通过卷积层Conv（
Figure 744705DEST_PATH_IMAGE022
）转变为统一维度的特征层，通过下采样和上采样操作（
Figure 293498DEST_PATH_IMAGE003
）将多尺度特征聚合得到多尺度聚合特征M：
Figure 443857DEST_PATH_IMAGE001
（3）尺度内图网络构建：获取到上述多尺度特征
Figure 710890DEST_PATH_IMAGE002
后，为获取尺度内层间特征（
Figure 237687DEST_PATH_IMAGE033
）的关系，先将层间特征定义为节点，并构建尺度内层间图网络，则节点间的关系为：
Figure 640986DEST_PATH_IMAGE004
,
其中，
Figure 696667DEST_PATH_IMAGE005
和
Figure 450996DEST_PATH_IMAGE006
分别为尺度内索引为i，j层的特征，
Figure 250325DEST_PATH_IMAGE007
为矩阵乘法，
Figure 773710DEST_PATH_IMAGE008
为归一化函 数；
（4）尺度内图网络关系排名：因尺度内
Figure 531451DEST_PATH_IMAGE002
层中（
Figure 507497DEST_PATH_IMAGE005
和
Figure 844937DEST_PATH_IMAGE006
）存在大量噪声信息，存在的 噪声将会导致网络学习存在非常大的歧义性，为将噪声信息滤除，本实施例对关系矩阵
Figure 816304DEST_PATH_IMAGE034
排名，同时，取排名中前k(80%)为精细化的特征，然后构建精细化后的关系矩阵（稀 疏矩阵），通过这种方式，能够极大的避免噪声信息带来的干扰，详细操作如下：
Figure 151471DEST_PATH_IMAGE009
,
其中，Rank为排序函数，能够根据特征中数值排序，
Figure 677130DEST_PATH_IMAGE010
为获取排序后k个数目的 值，通过这种方式获得的关系矩阵为稀疏矩阵，这种方式不仅能够将噪声信息过滤，同时能 够起到防止网络过拟合的作用；
（5）尺度内特征精细化：通过上述步骤后，图网络的构建已经完成，再将图网络进行节点之间信息传递，通过节点间信息传递达到基于节点间关系权重融合层间特征的目的；
Figure 755944DEST_PATH_IMAGE011
,
其中，
Figure 316239DEST_PATH_IMAGE012
为对角矩阵，
Figure 822307DEST_PATH_IMAGE013
和
Figure 366420DEST_PATH_IMAGE014
是图网络层学习的权重，R为经过图网络节 点间关系传递后的特征信息，F为不同节点的特征；
为将图特征之间节点信息更充分的挖掘层内特征关系，将节点信息传递后的图节点特征继续采用图网络的方式传递，达到精细化的目的：
Figure 248926DEST_PATH_IMAGE015
其中，
Figure 398147DEST_PATH_IMAGE016
表示第t次迭代产生的节点特征，
Figure 340696DEST_PATH_IMAGE017
为对角矩阵，
Figure 840947DEST_PATH_IMAGE018
为对角关系矩阵，
Figure 261564DEST_PATH_IMAGE019
表示第t-1次迭代中第i层特征；
（6）尺度间特征融合：将精细化后的特征和原有特征组合，这样既能加权初始特征又能不对初始特征造成过度干扰，具体操作如下，
Figure 62030DEST_PATH_IMAGE035
其中，
Figure 909900DEST_PATH_IMAGE036
为concat操作，
Figure 631868DEST_PATH_IMAGE003
分别代表下采样和上采样操作，
Figure 184072DEST_PATH_IMAGE021
代表使用 卷积层Conv（
Figure 511149DEST_PATH_IMAGE022
）降维，H为不同尺度间融合后增强的特征，M为步骤（2）得到的多尺度聚合 特征；
（7）尺度间图网络构建：通过上述步骤获得经过层间特征精细化后的多尺度信息，即得到每个尺度的精细化特征，而不同尺度之间，虽然具有互补性，但是不能对他们同等对待，因为单一尺度的车牌，需要某一个尺度的网络层占主导，同等对待将会导致尺度间存在歧义性，因此，网络需要学习不同尺度车牌检测，得到多尺度之间的关系，
Figure 592237DEST_PATH_IMAGE023
；
其中
Figure 4764DEST_PATH_IMAGE024
为不同尺度间融合后增强的特征H的不同层；
（8）尺度间图网络关系排名：对于不同尺度的特征，为消除其内部存在的歧义性，通过尺度间特征排名的方式将歧义性特征去除掉，得到尺度间关系矩阵，
Figure 829500DEST_PATH_IMAGE025
（9）尺度间特征精细化：将尺度间特征通过关系矩阵进行节点间的传递，达到精细化车牌区域的目的，
Figure 11083DEST_PATH_IMAGE026
,
Figure 794231DEST_PATH_IMAGE027
其中，
Figure 694054DEST_PATH_IMAGE028
表示精细化后的车牌区域，
Figure 56902DEST_PATH_IMAGE029
代表第t次迭代产生的精细化车牌区域，而
Figure 92992DEST_PATH_IMAGE030
代表第t-1次迭代产生的精细化车牌区域，
Figure 781462DEST_PATH_IMAGE031
和
Figure 168581DEST_PATH_IMAGE032
分别代表第t-1次迭代过程中第 i和j层的特征；
（10）车牌位置精细化输出：将精细化后的车牌特征通过输出层输出为车牌分类信息和车牌坐标信息，
Figure 600699DEST_PATH_IMAGE037
其中， O为最终的输出特征，N为精细化后的车牌区域，M为多尺度信息，Con为卷积层，将N的维度降低为M相同的维度；
（11）训练网络：通过步骤（1）构建的训练集训练车牌检测网络，网络的输入为图片 数据
Figure 756874DEST_PATH_IMAGE038
，通过本实施例提出的网络得到车牌类别置信度
Figure 350666DEST_PATH_IMAGE039
和回归坐标位置
Figure 959502DEST_PATH_IMAGE040
，类别置信度
Figure 460891DEST_PATH_IMAGE039
判别当前分支预测是否为车牌，回归坐标位置
Figure 268310DEST_PATH_IMAGE040
为车牌的四个顶点坐标（位置信息），采用 FocalLoss计算车牌
Figure 236266DEST_PATH_IMAGE039
损失，Smooth L1 Loss计算车牌
Figure 394715DEST_PATH_IMAGE040
误差，经过设定迭代次数（59次）完 整训练集训练迭代后，保存精度最高的模型参数；
（12）测试网络：使用步骤（1）构建的测试集测试车牌检测网络，将车牌检测图片数据输入到本实施例提出的网络中，并加载训练好的模型参数，网络输出得到车牌类别置信度和回归坐标位置，然后通过阈值过滤掉低置信度的车牌，最后使用非极大抑制（NMS）删除网络输出的冗余的车牌检测框；
（13）车牌识别：根据步骤（12）得到的车牌位置区域将车牌从图片中截取出来，并通过基于循环神经网络LSTM的车牌识别算法获得车牌识别结果。
本实施例先通过主干网络提取不同层侧输出特征作为多尺度特征，在多尺度特征的基础上，引入图关系网络，建模尺度内以及尺度间关系，将尺度内特征和尺度间特征视作节点，通过图关系学习自适应多尺度层间特征融合权重，避免之前的方法将层间特征一视同仁带来的学习混乱问题。为了滤除节点关系建模中噪声信息带来的特征丢失，在图网络节点关系学习过程中引入节点关系排名模块，同时，保证节点关系稀疏性，防止网络过拟合。
实施例2：
本实施例从CCPD数据集中挑选正常车牌以及光线暗或亮，以及雨雪雾天气下的车牌数据（230K）作为数据集，其中，180K作为训练集，20K作为验证集，30K作为测试集，将训练好的车牌检测模型作为权重，加载到实施例1提出的模型中，并测试网络的性能，为测试网络的性能，本实施例采用真实外接矩形与测试输出外接矩形IoU作为评价指标，当IoU>0.7时，检测正确，在其他情况下，判定为检测错误，通过统计检测的准确率，得出在CCPD抽取的测试集中检测精确率达到98.1%。
本文中未详细描述的网络结构、算法均为本领域通用技术。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (9)

1.一种基于图关系排名的尺度敏感车牌检测方法，其特征在于，具体过程为：
（1）收集复杂场景下的车牌图片构建车牌检测数据集，每张图片包含车牌顶点坐标以及车牌字符的标注信息，并将车牌检测数据集划分为训练集、验证集和测试集；
（2）将训练集中的车牌图片输入到基础网络VggNet进行多尺度特征提取；
（3）在步骤（2）得到的多尺度特征的基础上建模尺度内图网络，通过尺度内图网络，学习尺度内层间特征加权，得到多尺度内层间特征的关系；
（4）基于步骤（3）得到的多尺度内层间特征的关系，引入层间关系排名，通过关系排名的方式将噪声信息去除，同时增强网络抗过拟合能力；
（5）经过步骤（4）后得到多尺度内层间特征图网络，通过节点间关系传递，达到精细化尺度内层间特征一致性的目的，得到多尺度特征的精细化特征；
（6）将多尺度特征精细化特征进行融合得到不同尺度间融合后增强的特征；
（7）根据步骤（6）得到的不同尺度间融合后增强的特征，建模尺度间图网络，得到多尺度之间的关系；
（8）在多尺度图网络构建的基础上，引入关系排名将尺度间特征进行二次精细化，得到尺度间关系矩阵；
（9）将尺度间特征通过尺度间关系矩阵进行节点间的传递，通过节点间信息传递，将多尺度特征自适应加权融合，得到精细化的车牌特征；
（10）将精细化后的车牌特征通过输出层输出，得到车牌分类信息和车牌坐标信息；
（11）使用步骤（1）训练集中的车牌图片训练整个网络，并计算整个网络误差，通过反向传播训练网络，得到训练好的车辆检测模型；
（12）加载训练好的车牌检测模型，并将测试集中的车牌图片输入到网络中，输出车牌类别置信度和回归坐标位置；
（13）在车牌检测结果基础上，通过基于LSTM的车牌识别算法，识别车牌中的字符并输出。
2.根据权利要求1所述基于图关系排名的尺度敏感车牌检测方法，其特征在于，步骤 （2）的具体过程为：将基础网络中间层的特征输出作为多尺度特征，然后将网络不同层的侧 输出通过卷积层转变为统一维度的特征层，通过下采样和上采样操作将多尺度特征聚合得 到多尺度聚合特征
Figure 512767DEST_PATH_IMAGE001
，其中
Figure 174693DEST_PATH_IMAGE002
为基础网络中间层Conv0-> 4输出的多尺度特征， Conv为卷积核为1×1的卷积操作，
Figure 844708DEST_PATH_IMAGE003
为下采样和上采样操 作。
3.根据权利要求2所述基于图关系排名的尺度敏感车牌检测方法，其特征在于，步骤（3）的具体过程为：先将层间特征定义为节点，并构建尺度内层间图网络，则节点间的关系为：
Figure 224874DEST_PATH_IMAGE004
,
其中
Figure 5748DEST_PATH_IMAGE005
和
Figure 522180DEST_PATH_IMAGE006
分别为尺度内索引为i，j层的特征，
Figure 363097DEST_PATH_IMAGE007
为矩阵乘法，为归一化函数。
4.根据权利要求3所述基于图关系排名的尺度敏感车牌检测方法，其特征在于，步骤（4）的具体过程为：
Figure 964980DEST_PATH_IMAGE008
,
其中Rank为排序函数，
Figure 815124DEST_PATH_IMAGE009
为获取排序后k个数目的值。
5.根据权利要求4所述基于图关系排名的尺度敏感车牌检测方法，其特征在于，步骤（5）的具体过程为：将图网络进行节点之间信息传递，通过节点间信息传递达到基于节点间关系权重融合层间特征的目的，得到经过图网络节点间关系传递后的特征信息：
Figure 186063DEST_PATH_IMAGE010
,
其中，
Figure 463460DEST_PATH_IMAGE011
为对角矩阵，
Figure 287060DEST_PATH_IMAGE012
和
Figure 675316DEST_PATH_IMAGE013
是图网络层学习的权重，F为不同节点的特征；
为将图特征之间节点信息更充分的挖掘层内特征关系，将节点信息传递后的图节点特征继续采用图网络的方式传递，达到精细化的目的：
Figure 900761DEST_PATH_IMAGE014
其中，
Figure 83480DEST_PATH_IMAGE015
表示第t次迭代产生的节点特征，
Figure 925535DEST_PATH_IMAGE016
为对角矩阵，
Figure 851902DEST_PATH_IMAGE017
为对角关系矩阵，
Figure 931854DEST_PATH_IMAGE018
表示 第t-1次迭代中第i层特征，Rank为排序函数，
Figure 551054DEST_PATH_IMAGE009
为获取排序后k个数目的值。
6.根据权利要求5所述基于图关系排名的尺度敏感车牌检测方法，其特征在于，步骤（6）得到不同尺度间融合后增强的特征的具体过程为：
Figure 614825DEST_PATH_IMAGE019
其中，H为不同尺度间融合后增强的特征，Con为concat操作，
Figure 79304DEST_PATH_IMAGE003
分别代表下采样 和上采样操作，
Figure 279341DEST_PATH_IMAGE020
代表使用卷积核为
Figure 69443DEST_PATH_IMAGE021
的卷积层降维， M为步骤（2）得到的多尺度聚 合特征。
7.根据权利要求6所述基于图关系排名的尺度敏感车牌检测方法，其特征在于，步骤（7）得到多尺度之间的关系为：
Figure 89351DEST_PATH_IMAGE022
；
其中
Figure 888680DEST_PATH_IMAGE023
为不同尺度间融合后增强的特征H的不同层。
8.根据权利要求7所述基于图关系排名的尺度敏感车牌检测方法，其特征在于，步骤（8）得到的尺度间关系矩阵为：
Figure 943224DEST_PATH_IMAGE024
其中Rank为排序函数，
Figure 638647DEST_PATH_IMAGE009
为获取排序后k个数目的值。
9.根据权利要求8所述基于图关系排名的尺度敏感车牌检测方法，其特征在于，步骤（9）的具体过程为：
Figure 411431DEST_PATH_IMAGE025
,
Figure 748872DEST_PATH_IMAGE026
其中，
Figure 657922DEST_PATH_IMAGE027
表示精细化后的车牌区域，
Figure 789826DEST_PATH_IMAGE028
代表第t次迭代产生的精细化车牌区域，而
Figure 784327DEST_PATH_IMAGE029
代表第t-1次迭代产生的精细化车牌区域，
Figure 925458DEST_PATH_IMAGE030
和
Figure 954594DEST_PATH_IMAGE031
分别代表第t-1次迭代过程中第i和 j层的特征。
CN202211451494.6A 2022-11-21 2022-11-21 一种基于图关系排名的尺度敏感车牌检测方法 Active CN115601742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211451494.6A CN115601742B (zh) 2022-11-21 2022-11-21 一种基于图关系排名的尺度敏感车牌检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211451494.6A CN115601742B (zh) 2022-11-21 2022-11-21 一种基于图关系排名的尺度敏感车牌检测方法

Publications (2)

Publication Number Publication Date
CN115601742A true CN115601742A (zh) 2023-01-13
CN115601742B CN115601742B (zh) 2023-03-10

Family

ID=84853372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211451494.6A Active CN115601742B (zh) 2022-11-21 2022-11-21 一种基于图关系排名的尺度敏感车牌检测方法

Country Status (1)

Country Link
CN (1) CN115601742B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710919A (zh) * 2018-05-25 2018-10-26 东南大学 一种基于多尺度特征融合深度学习的裂缝自动化勾画方法
US20190370965A1 (en) * 2017-02-22 2019-12-05 The United States Of America, As Represented By The Secretary, Department Of Health And Human Servic Detection of prostate cancer in multi-parametric mri using random forest with instance weighting & mr prostate segmentation by deep learning with holistically-nested networks
CN110609889A (zh) * 2019-08-30 2019-12-24 中国科学院计算技术研究所 基于学术网络确定对象重要性排名及选择评审专家的方法和系统
CN111310861A (zh) * 2020-03-27 2020-06-19 西安电子科技大学 一种基于深度神经网络的车牌识别和定位方法
CN111652216A (zh) * 2020-06-03 2020-09-11 北京工商大学 基于度量学习的多尺度目标检测模型方法
CN111931787A (zh) * 2020-07-22 2020-11-13 杭州电子科技大学 一种基于特征聚合的rgbd显著性检测方法
US20210383231A1 (en) * 2020-08-20 2021-12-09 Chang'an University Target cross-domain detection and understanding method, system and equipment and storage medium
CN114898352A (zh) * 2022-06-29 2022-08-12 松立控股集团股份有限公司 一种同时实现图像去雾与车牌检测的方法
CN115063786A (zh) * 2022-08-18 2022-09-16 松立控股集团股份有限公司 一种高位远景模糊车牌检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190370965A1 (en) * 2017-02-22 2019-12-05 The United States Of America, As Represented By The Secretary, Department Of Health And Human Servic Detection of prostate cancer in multi-parametric mri using random forest with instance weighting & mr prostate segmentation by deep learning with holistically-nested networks
CN108710919A (zh) * 2018-05-25 2018-10-26 东南大学 一种基于多尺度特征融合深度学习的裂缝自动化勾画方法
CN110609889A (zh) * 2019-08-30 2019-12-24 中国科学院计算技术研究所 基于学术网络确定对象重要性排名及选择评审专家的方法和系统
CN111310861A (zh) * 2020-03-27 2020-06-19 西安电子科技大学 一种基于深度神经网络的车牌识别和定位方法
CN111652216A (zh) * 2020-06-03 2020-09-11 北京工商大学 基于度量学习的多尺度目标检测模型方法
CN111931787A (zh) * 2020-07-22 2020-11-13 杭州电子科技大学 一种基于特征聚合的rgbd显著性检测方法
US20210383231A1 (en) * 2020-08-20 2021-12-09 Chang'an University Target cross-domain detection and understanding method, system and equipment and storage medium
CN114898352A (zh) * 2022-06-29 2022-08-12 松立控股集团股份有限公司 一种同时实现图像去雾与车牌检测的方法
CN115063786A (zh) * 2022-08-18 2022-09-16 松立控股集团股份有限公司 一种高位远景模糊车牌检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANGMEI SHEN等: "Multi-Scale Graph Convolutional Network With Spectral Graph Wavelet Frame" *
董博文等: "结合多尺度特征与掩码图网络的小样本学习" *

Also Published As

Publication number Publication date
CN115601742B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN111666836B (zh) M-f-y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法
CN111914907B (zh) 一种基于深度学习空谱联合网络的高光谱图像分类方法
AU2020104006A4 (en) Radar target recognition method based on feature pyramid lightweight convolutional neural network
CN114937151B (zh) 基于多感受野和注意力特征金字塔的轻量级目标检测方法
CN111950649B (zh) 基于注意力机制与胶囊网络的低照度图像分类方法
CN109711426B (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN110298321B (zh) 基于深度学习图像分类的道路阻断信息提取方法
CN110288555B (zh) 一种基于改进的胶囊网络的低照度增强方法
CN110189334A (zh) 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN110175551B (zh) 一种手语识别方法
CN112395442B (zh) 移动互联网上的低俗图片自动识别与内容过滤方法
CN111814607A (zh) 一种适用于小样本高光谱影像分类的深度学习模型
CN107085733A (zh) 基于cnn深度学习的近岸红外舰船识别方法
CN112580661B (zh) 一种深度监督下的多尺度边缘检测方法
CN110826702A (zh) 一种多任务深度网络的异常事件检测方法
CN113971764B (zh) 一种基于改进YOLOv3的遥感图像小目标检测方法
CN115620010A (zh) 一种rgb-t双模态特征融合的语义分割方法
CN113392711A (zh) 一种基于高层语义与噪声抑制的烟雾语义分割方法及系统
CN113344933A (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
CN116468740A (zh) 一种图像语义分割模型及分割方法
CN117409358A (zh) 一种融合BiFPN的轻量化火焰检测方法
CN115578722A (zh) 基于车牌间协同学习机制的车牌检测方法
CN116563682A (zh) 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法
CN117253037A (zh) 语义分割模型结构搜索方法、自动语义分割方法及系统
CN112784909B (zh) 基于自注意力机制和自适应子网络的图像分类识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant