CN115601744B - 一种车身与车牌颜色相近的车牌检测方法 - Google Patents

Abstract

本发明属于车牌检测技术领域，涉及一种车身与车牌颜色相近的车牌检测方法，先将输入图片进行颜色转换，然后将转换后的图片和原始图片输入到双流网络提取特征，提取特征后将提取到的特征建模为图网络节点，通过节点内自学习模块和节点间互学习模块提取图片不变性特征，再通过图网络关系迭代的方式起到精细化不变性车牌检测信息的目的，通过不变性特征学习，极大的增强车牌特征的辨别性，提升车牌检测的精度，不仅可以用来进行复杂场景下的车牌检测，尤其是车牌和车身相同或相近颜色时候车牌检测，还可用于复杂场景下的物体分割。

Description

一种车身与车牌颜色相近的车牌检测方法

技术领域

本发明属于车牌检测技术领域，涉及一种车身与车牌颜色相近的车牌检测方法，特别是一种基于双流不变性特征学习的车身与车牌颜色相近的车牌检测方法。

背景技术

随着社会发展和技术的进步，传统行业逐渐被新兴技术所取代，尤其是车牌检测算法层出不穷，无论是基于手工方法设计特征的方式还是基于人工智能的方式，都在不同时期占据重要的主导地位，随着人工智能算法的不断普及，尤其是大规模数据集的不断被提出，基于深度学习方式的车牌检测取得了非常高的精度，并且针对不同复杂场景的车牌检测算法也取得了非常大的进展。

然而，基于深度学习车牌检测算法对于复杂场景（如，车牌与车身的颜色非常接近，甚至是车牌与车身颜色相同）的车牌检测并不能取得非常好的效果，其原因在于，对车牌特征的高层判别性特征甚至是区分车牌非车牌区域的细粒度特征挖掘不充分，没有通过车牌深层次信息区分车牌定位，导致车牌车身颜色相近的时候，用于车牌区域定位的特征不足以支撑车牌与相同外观特征车身的区分，导致目前车牌与车身颜色相同的时候检测精度低。

由此可见，针对车牌与车身颜色相同或相近场景下的车牌检测技术，需要一种新的车牌检测方法，提高车牌与车身的颜色相近时车牌检测的精度。

发明内容

本发明的目的在于克服现有技术存在的缺点，设计提供一种车身与车牌颜色相近的车牌检测方法。

为实现上述目的，本发明先将输入的图片进行颜色转换，再将转换后的图片和原始图片输入到双流网络提取特征，将提取到的特征建模为图网络节点，通过节点内自学习模块和节点间互学习模块提取图片不变性特征，节点内自学习模块能够学习节点内双流网络之间的不变性信息，而节点间互信息学习模块能够学习节点内双流网络不变性信息之间的关系，通过图网络关系迭代的方式起到精细化不变性车牌检测信息的目的，具体包括如下步骤：

（1）车牌检测数据集构建：收集车牌颜色和车身颜色相同或相近的车牌图片构建车牌检测数据集，每张图片包含车牌顶点坐标以及车牌字符的标注信息，并将车牌数据集划分为训练集、验证集和测试集三个子数据集；

（2）辅助分支图片输入：将RGB图片更改通道排布后输入辅助分支，使得网络具备在车身和车牌颜色相近或相同时提取区分二者的判别性特征的能力；

（3）层间特征提取：将训练集中的车牌图片输入到基础网络，基础网络中间层的特征输出作为层间特征，然后将网络不同层的侧输出通过卷积层转变为统一维度的特征层，并将基础网络最后两层的池化层去掉；

（4）不变性特征自学习：构建不变性特征图网络，网络节点采用自注意力机制，使得自身信息能够传递，即节点内容特征自学习，实现节点内部不变性特征提取和加权；

（5）不变性特征关系互学习：采用不变性特征图关系建模，通过图网络节点间信息传递，即节点间内容特征互学习，实现节点间不变性特征提取和加权；

（6）不变性特征迭代精细化：在构建的不变性特征的基础上，利用图网络节点间关系传递，达到精细化不变性特征一致性的目的，得到精细化后的车牌特征；

（7）车牌位置精细化输出：将精细化后的车牌特征通过输出层输出为车牌类别信息和车牌位置坐标信息；

（8）训练网络：使用训练集找那个的数据训练车牌检测网络，并计算车牌检测网络输出与实际车牌位置的误差，训练车牌检测网络，得到训练好的车牌检测模型；

（9）测试网络：加载训练好的车牌检测模型，将测试集中的车牌图片输入到车牌检测网络中，输出车牌类别置信度和回归坐标位置，得到车牌检测结果；

（10）车牌识别：在车牌检测的结果的基础上，通过车牌识别算法，分割并识别图片中的车牌，然后输出相应的字符数字。

作为本发明的进一步技术方案，步骤（3）所述基础网络为VggNet网络，提取的层间特征为：

其中，Con代表特征层面的结合，Conv代表1*1卷积降维，2/3/4代表不同层的索引，和中，前面的1和2代表分支索引，1代表第一个分支的索引，2代表第二个分支的索引，代表分支索引号为1的第2/3/4个特征层，代表分支索引号为2的第2/3/4个特征层。

本发明的进一步技术方案，步骤（4）的具体过程如下：

其中W代表学习的权重，T代表转置操作；再采用低秩降维，通过引入稀疏因子d=4，将上述操作更改为以下方式：

U和V分别为低秩矩阵，即将W进行低秩分解，代表两个分支对应的层（第一个分支的2层和第二个分支的第二层，第一个分支的第三层和第二个分支的第三层）之间的自学习关系矩阵建模，的含义为两个分支对应的层（分支1特征层2/分支1特征层3/分支1特征层3）经过自注意力机制学习后，不变性特征加权到初始特征后产生的增强特征。

作为本发明的进一步技术方案，步骤（5）的具体过程如下：

其中，和代表步骤（4）中的增强特征，t-1代表M节点第t-1次图网络迭代，ii和jj代表22/33/44，代表节点j属于节点i在图中的临接节点，代表第t-1次迭代产生的第i和j层产生的节点间关系约束信息，并引入低秩分解降低参数量，加快执行速度，

其中，U和V分别为低秩矩阵，通过将矩阵参数进行低秩分解，从而降低学习过程中的复杂度，网络能够更好的学习节点间的不变特性。

作为本发明的进一步技术方案，步骤（6）得到的精细化后的车牌特征为：

。

与现有技术相比，本发明的有益效果为：先将输入图片进行颜色转换，然后将转换后的图片和原始图片输入到双流网络提取特征，提取特征后将提取到的特征建模为图网络节点，通过节点内自学习模块和节点间互学习模块提取图片不变性特征，节点内自学习模块能够学习节点内双流网络之间的不变性信息，而节点间互信息学习模块能够学习节点内双流网络不变性信息之间的关系，通过图网络关系迭代的方式起到精细化不变性车牌检测信息的目的，通过不变性特征学习，极大的增强车牌特征的辨别性，提升车牌检测的精度，不仅可以用来进行复杂场景下的车牌检测，尤其是车牌和车身相同或相近颜色时候车牌检测，还可用于复杂场景下的物体分割等，在CCPD数据集上，尤其是车牌车身颜色相同或相近时候精度仍然能够达到97.1%。

附图说明

图1为本发明实现车牌检测的网络结构框架示意图。

图2为本发明实现车牌检测的工作流程框图。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

实施例：

本实施例采用如图1所示的网络结构和图2所示的工作流程实现车牌检测，具体实施包括如下步骤：

（1）构建车牌检测数据集：收集车牌颜色和车身颜色相同或相近的车牌图片，每张图片包含详细的车牌顶点坐标以及车牌字符信息，收集好车牌图片后，将车牌图片数据集划分为三个子数据集，训练集，验证集和测试集；

（2）辅助分支图片输入：将RGB图片（I）更改通道的排布（RBG，BGR，BRG，GBR，GRB）后输入辅助分支，使得网络具备在车身和车牌颜色相近或相同时候提取区分二者的判别性特征的能力；

（3）层间特征提取：为获取车牌的层间信息，将训练集中车牌图片输入到基础网络（VggNet），将基础网络中间层（Conv2，3，4）的特征输出作为层间特征，然后将网络不同层的侧输出（Conv_2->4）通过卷积层Conv（）转变为统一维度的特征层，为了保持特征conv_3,conv_4大小与conv2特征大小相同，本实施例将网络最后两层的池化层去掉，得到

其中，Con代表特征层面的结合，Conv代表1*1卷积降维，2/3/4代表不同层的索引，和中，前面的1和2代表属于网络双分支（初始颜色分支和颜色转换后分支）中的分支索引，1代表第一个分支的索引，2代表第二个分支的索引，因此，代表分支索引号为1的第2/3/4个特征层；

（4）不变性特征自学习：为了使得不变性特征能够自学习，需要构建不变性特征图网络，网络节点采用自注意力机制，使得自身信息能够传递，即节点内容特征自学习，实现节点内部不变性特征提取和加权，自学习关系建模过程如下：

其中W代表学习的权重，T代表转置操作；为加快执行速度，降低参数量，降低计算复杂度，本实施例采用低秩降维，通过引入稀疏因子d=4，上述操作更改为以下方式：

U和V分别为低秩矩阵，即将W进行低秩分解，代表网络双分支（初始颜色分支和颜色转换后分支）的分支对应的层（第一个分支的2层和第二个分支的第二层，第一个分支的第三层和第二个分支的第三层…）之间的自学习关系矩阵建模，的含义为两个分支对应的层（分支1特征层2/分支1特征层3/分支1特征层3）经过自注意力关系学习后，不变性特征加权到初始特征后产生的增强特征；

（5）不变性特征关系互学习：为使得不变性特征能够互学习，不变性特征图关系建模，通过图网络节点间信息传递，即节点间内容特征互学习，实现节点间不变性特征提取和加权：

其中，和代表步骤（4）中的增强特征，t-1代表M节点第t-1次图网络迭代，ii和jj代表22/33/44，代表节点j属于节点i在图中的临接节点，代表第t-1次迭代产生的第i和j层产生的节点间关系约束信息，同样，本实施例引入低秩分解降低参数量，加快执行速度，

其中，U和V分别为低秩矩阵，通过将矩阵参数进行低秩分解，从而降低学习过程中的复杂度，网络能够更好的学习节点间的不变特性；

（6）不变性特征迭代精细化：在构建的不变性特征的基础上，利用图网络节点间关系传递，达到精细化不变性特征一致性的目的，得精细化后的特征

（7）车牌位置精细化输出：将精细化后的车牌特征通过输出层输出为车牌类别信息和车牌位置坐标信息，

（8）训练网络：通过步骤（1）构建的训练集训练车牌检测网络，网络的输入为图片数据，通过本实施例提出的双流网络能够得到车牌I的类别置信度(，N为预测的车牌框的个数)和回归坐标位置()，类别置信度判别当前分支预测是否为车牌，回归坐标位置为车牌的四个顶点坐标，采用FocalLoss计算车牌损失，Smooth L1 Loss计算车牌误差，经过设定epoach（55次）完整训练集训练迭代后，保存精度最高的模型参数；

（9）测试网络：使用步骤（1）构建的测试集测试车牌检测网络，将车牌检测图片数据()输入到本实施例提出的网络中，并加载步骤（8）训练好的模型参数，网络输出得到车牌类别置信度()和回归坐标位置()，然后通过阈值过滤掉低置信度的车牌，最后使用非极大抑制（NMS）删除网络输出的冗余的车牌检测框；

（10）车牌识别：通过步骤（9）得到的车牌位置区域将车牌从图片中截取出来，并通过基于循环神经网络LSTM的车牌识别算法获得车牌识别结果。

本实施例你能够解决在车牌与车身颜色相近或相同的时候，颜色信息对于车牌检测已经基本失效的问题，通过不变性特征聚合网络学习使得网络不再关注颜色信息带来的增益。将提取到的特征建模为图网络节点，通过节点内自学习模块和节点间互学习模块提取图片不变性特征，通过图网络关系迭代的方式起到精细化不变性车牌检测信息的目的。通过不变性特征学习，极大的增强车牌特征的辨别性，提升车牌检测的精度，高效的实现车牌检测矫正。

实施例2：

本实施例采用实施例1的技术方案，通过将车牌输入到采用的车牌和车身颜色相同的数据集（数据集的构建来自于CCPD数据集，挑选车牌颜色和车身颜色相近或相同的数据）训练的网络中，并加载训练好的预训练模型，通过统计预测的车牌外围边界框与人工标注的车牌外围边界框之间的IoU，当大于阈值0.7则证明预测准确，预测的精度在挑选的测试数据中达到97.1%。

本文中未详细描述的网络结构和算法均为本领域通用技术。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (3)

1.一种车身与车牌颜色相近的车牌检测方法，其特征在于，具体包括如下步骤：

(1)收集车牌颜色和车身颜色相同或相近的车牌图片构建车牌检测数据集，每张图片包含车牌顶点坐标以及车牌字符的标注信息，并将车牌数据集划分为训练集、验证集和测试集三个子数据集；

(2)将RGB图片更改通道排布后输入辅助分支，使得网络具备在车身和车牌颜色相近或相同时提取区分二者的判别性特征的能力；

(3)将训练集中的车牌图片输入到基础网络，基础网络中间层的特征输出作为层间特征，然后将网络不同层的侧输出通过卷积层转变为统一维度的特征层，并将基础网络最后两层的池化层去掉；所述基础网络为VggNet网络，提取的层间特征为：

F_2/3/4＝Con(Conv(F_12/13/14)，Conv(F_22/23/24))

其中，Con代表特征层面的结合，Conv代表1*1卷积降维，2/3/4代表不同层的索引，F_12/13/14和F_22/23/24中，前面的1和2代表分支索引，1代表基础网络的索引，2代表辅助分支的索引，F_12/13/14代表分支索引号为1的第2/3/4个特征层，F_22/23/24代表分支索引号为2的第2/3/4个特征层；

(4)构建不变性特征图网络，网络节点采用自注意力机制，使得自身信息能够传递，即节点内容特征自学习，实现节点内部不变性特征提取和加权，具体过程如下：

其中w代表学习的权重，T代表转置操作；再采用低秩降维，通过引入稀疏因子d＝4，将上述操作更改为以下方式：

M_22/33/44＝E_22/33/44*F_2/3/4+F_2/3/4

U和V分别为低秩矩阵，即将W进行低秩分解，E_22/33/44代表两个分支对应的层之间的自学习关系矩阵建模，M_22/33/44的含义为两个分支对应的层经过自注意力机制学习后，不变性特征E_22/33/44加权到初始特征F_2/3/4后产生的增强特征；

(5)采用不变性特征图关系建模，通过图网络节点间信息传递，即节点间内容特征互学习，实现节点间不变性特征提取和加权；

(6)在构建的不变性特征的基础上，利用图网络节点间关系传递，达到精细化不变性特征一致性的目的，得到精细化后的车牌特征；

(7)将精细化后的车牌特征通过输出层输出为车牌类别信息和车牌位置坐标信息；

(8)使用训练集的数据训练车牌检测网络，并计算车牌检测网络输出与实际车牌位置的误差，训练车牌检测网络，得到训练好的车牌检测模型；

(9)加载训练好的车牌检测模型，将测试集中的车牌图片输入到车牌检测网络中，输出车牌类别置信度和回归坐标位置，得到车牌检测结果；

(10)在车牌检测的结果的基础上，通过车牌识别算法，分割并识别图片中的车牌，然后输出相应的字符数字。

2.根据权利要求1所述车身与车牌颜色相近的车牌检测方法，其特征在于，步骤(5)的具体过程如下：

其中，

和

代表步骤(4)中的增强特征，t-1代表M节点第t-1次图网络迭代，ii和jj代表22/33/44，j∈N_i代表节点j属于节点i在图中的临接节点，

代表第t-1次迭代产生的第i和j层产生的节点间关系约束信息，并引入低秩分解降低参数量，加快执行速度，

其中，U和V分别为低秩矩阵，通过将矩阵参数进行低秩分解，从而降低学习过程中的复杂度，网络能够更好的学习节点间的不变特性。

3.根据权利要求2所述车身与车牌颜色相近的车牌检测方法，其特征在于，步骤(6)得到的精细化后的车牌特征为：

Images