CN115294402A - 一种基于去冗余多阶混合训练的半监督车辆分类方法 - Google Patents

Abstract

本发明公开了一种基于去冗余多阶混合训练的半监督车辆分类方法，包括获取车辆图片的数据集并分类，得到训练集和测试集；对训练图片和测试图片通过搭建的深度神经网络提取每张图片的特征信息，再利用KNN算法对每张图片的特征信息进行计算，得到图结构；根据图结构信息计算邻接布尔矩阵的高阶幂，得到邻接矩阵序列；将邻接矩阵序列输入基于多阶混合训练构建的网络结构中，利用损失函数以及训练集训练得到网络模型及参数；根据网络模型和测试图片进行测试，并将初始邻接矩阵输入网络模型，得到分类结果。本发明通过将车辆图片抽象为节点，充分挖掘节点在混合邻域上的特征表示，获取到更为有效的车辆特征信息，从而达到更好的车辆分类效果。

Description

一种基于去冗余多阶混合训练的半监督车辆分类方法

技术领域

本发明涉及车辆智能分类技术领域，特别涉及一种基于去冗余多阶混合训练的半监督车辆分类方法。

背景技术

人工智能已经成为了人们生活息息相关的话题，深度学习作为其最具突出的技术也在不断的革新完善。基于人工智能的分类技术越来越被大家所熟悉，最常见的就是照片的分类。传统的机器学习分类方法也层出不穷，代表性的就有SVM分类器(Support VectorMachine简写，代表支持向量机)、逻辑回归、朴素贝叶斯、随机森林和决策树等。但是传统的分类方法存在速度慢、容易过拟合和对数据敏感等问题，具有较大的局限性。

自从深度学习的技术兴起之后，基于卷积神经网络的分类方法的研究也是不胜枚举。大多数方法都是设计深层的网络结构来获取到图像的深层特征，包括ResNet、DesNet和一些深度神经网络等。但是卷积操作可以处理规则的图像，却无法处理不规则的图结构数据，所以越来越多的研究转向了能够处理图数据的图神经网络领域。图神经网络对于处理分类问题也是具有显著的效果，它往往是将对象抽象成节点，它在特征提取的过程中考虑了节点之间的联系性因素。图结构的应用十分广泛，可以说“万物皆可图”，代表性的图神经网络模型有Random Walk、GCN、GAT、SGC和GraphSAGE等。

现有技术的不足之处在于，现有的模型会面临过平滑和过拟合的问题。一般的图卷积网络采用两个图卷积层而无法继续深层堆叠，过多层数的堆叠会导致节点特征的过度平滑。这个问题引发的后果就是对于分类器的角度，节点不易区分，限制了最终的分类效果。在半监督学习的设置下，利用少量的有标签的节点去训练一个函数映射关系，来推断出大量的无标签的节点的标签信息。此种条件下，训练和测试的样本是严重不平衡的，无标签的节点往往是不受限制的。在训练过程中，仅有标签的节点的损失会被反向传播，这样的训练过程可能是不稳定的。最终会导致训练的过拟合，令训练出的模型失去泛化的能力。

发明内容

本发明的目的克服现有技术存在的不足，为实现以上目的，采用一种基于去冗余多阶混合训练的半监督车辆分类方法，以解决上述背景技术中提出的问题。

一种基于去冗余多阶混合训练的半监督车辆分类方法，具体步骤包括：

S1、获取车辆图片的数据集并进行划分分类，得到训练集和测试集；

S2、对训练集的训练图片和测试集的测试图片通过搭建的深度神经网络提取每张图片的特征信息，再利用KNN算法对每张图片的特征信息进行计算，得到训练集和测试集的图结构；

S3、根据得到的图结构信息计算邻接布尔矩阵的高阶幂，构建得到邻接矩阵序列；

S4、将得到的邻接矩阵序列输入基于多阶混合训练构建的网络结构中，利用损失函数以及所述训练集进行训练得到网络模型及参数；

S5、根据网络模型和测试集的测试图片进行测试，并将初始邻接矩阵输入网络模型，得到最终的分类结果。

采用上述技术手段，能够解决现有的模型会面临过平滑和过拟合，进而限制了最终的分类效果的问题。

作为本发明的进一步的方案：所述S2中的具体步骤包括：

将训练集和测试集中的车辆图片通过ResNet网络得到每张图片的特征信息；

利用K近邻算法选取处于[2,7]范围内的一个K值，根据每张图片的特征向量，计算当前图片与其他图片的欧式距离，选取最近的K张图片作为直接近邻并将其作为节点连接起来，遍历完训练集和测试集，得到车辆图片抽象化后的图结构。

作为本发明的进一步的方案：所述S2中的深度神经网络具体为ResNet网络，所述ResNet网络包括ResNet50、ResNet101，以及ResNet152。

作为本发明的进一步的方案：所述S3的具体步骤包括：

根据得到的图结构计算邻接布尔矩阵的高阶幂，构建一个由低阶到高阶的邻接矩阵序列；

再消除低阶邻接矩阵和高阶邻接矩阵之间的冗余重复的边，构建得到消除冗余信息的邻接矩阵序列。

作为本发明的进一步的方案：所述构建得到消除冗余信息的邻接矩阵序列的具体步骤包括：

首先计算邻接矩阵的布尔幂：

其中，A是初始的邻接矩阵，k是矩阵的幂；

再进行矩阵间的消除冗余操作：

其中，D^(k)是去除冗余后的高阶邻接矩阵，p为；

再对高阶邻接矩阵D^(k)进行后处理，保持图结构的连接性：

其中，d_ij是矩阵D^(k)中的元素，i表示行，j表示列；

最后得到去除冗余的邻接矩阵序列的构建：{D⁽¹⁾,D⁽²⁾,D⁽³⁾,…,D^(k)}。

作为本发明的进一步的方案：所述S4的具体步骤包括：

将各个去除冗余的邻接矩阵以及相应的特征矩阵分别输入到对应的图神经网络模型中，将每个网络的输出进行平均混合；

在混合训练阶段进行损失函数的定义；

在训练集上训练获得最终的模型参数。

设计了一个多通道邻域混合学习的结构，在每一个迭代的过程中，节点都学习了多个高阶邻域的混合信息表示，扩大了单个节点的感受野，其损失在训练中不断下降，改善了节点的特征表示。

作为本发明的进一步的方案：所述将每个网络的输出进行平均混合的具体步骤包括：

首先将每个去除冗余的邻接矩阵输入应用的图神经网络模型，所述图神经网络模型包括GCN、GAT和SGC；

然后再平均混合经过图神经网络模型的所有邻接矩阵的输出，且均设置在一个epoch内完成。

作为本发明的进一步的方案：所述在混合训练阶段进行损失函数的定义的具体步骤包括：

采用Adam优化器来优化训练过程中的参数；

首先是有监督的交叉熵损失为：

其中，k是冗余矩阵的最高阶，lb表示有标签的节点的数目；CE表示交叉熵损失，Y_h和

分别表示节点h的真实标签和预测值；

然后是无监督的均方差损失为：

其中，

是多个输出的平均分布，Z^(w)是当前邻域图上的输出；

最后得到训练阶段的损失函数为两种损失的加权和。

具体以深度学习中的梯度反向传播算法为基础，使用Adam优化器，依据网络设定的损失函数，训练时自动计算每次迭代的损失，通过链式求导法则，计算出网络中所有可学习参数的更新梯度，从而完成网络参数的更新，实现端到端的训练过程，避免了人工干预和手动计算特征提取器与分类器参数，提高了系统的易用性，且学习到的网络参数能够较好地适应于多种分类任务。其中，在梯度反向传播进行参数更新时，能够更直接高效地更新这部分的网络参数，避免梯度消失。

利用了一个无监督损失作为分类训练的正则化项，该损失最小化无标签样本和平均预测分布的误差，对于半监督训练的设优化产生十分良好的效果，提高了半监督车辆分类的效率。

作为本发明的进一步的方案：所述S5的具体步骤包括：

根据训练得到的网络模型参数，使用初始划分好的测试集的Q张测试图片的样本T进行测试；

将初始的邻接矩阵和特征矩阵输入网络模型，得到分类结果并进行保持。

与现有技术相比，本发明存在以下技术效果：

采用上述的技术方案，通过采用深度学习和图神经网络领域的算法，包括深层卷积网络提取图片特征、图结构扰动、图神经网络进行特征聚合和特征变换、多通道混合学习等，实现了基于去冗余多阶混合训练的半监督车辆分类，解决了传统的卷积方案无法处理非欧几里得数据的难点；实现了将图片抽象为节点，利用图结构进行分类的方法。通过对图结构的高阶化以及消除高阶邻域结构之间的重复边，使得节点与高阶近邻的消息传递不受错误信息的影响，保证了消息传递的正确性；通过对混合多个邻域图的特征学习，充分挖掘了节点与高阶邻居的联系信息，保证了整体节点表示的正确性，从而保证了最终分类的效果。

附图说明

下面结合附图，对本发明的具体实施方式进行详细描述：

图1为本申请公开的一些实施例的半监督车辆分类方法的步骤示意图；

图2为本申请公开的一些实施例的训练与测试框架流程示意图；

图3为本申请公开的一些实施例的数据集预处理的网络示意图；

图4为本申请公开的一些实施例的消除高阶冗余信息的操作示意图；

图5为本申请公开的一些实施例的整体网络结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1和图2，本发明实施例中，一种基于去冗余多阶混合训练的半监督车辆分类方法，包括：

本实施例中，首先获取一批车辆图片，并进行划分分类图片得到训练集和测试集；制作一个图片类别标签集；搭建深度神经网络提取训练和测试图片的特征信息；制作一个图片特征集；利用KNN算法构建训练集和测试集的图结构信息；构建去冗余多阶混合训练的网络结构；利用损失函数以及所述的训练集进行训练得到网络模型参数；根据网络模型对测试图片测试，应用初始邻接矩阵作为输入，得到最终的分类结果。

具体的，所述车辆分类方法的主要应用场景应用于各类需要车辆图片识别的场合。

S1、获取车辆图片的数据集并进行划分分类，得到训练集和测试集；

本实施例中，对车辆图片的数据集进行划分分类为训练集和测试集，所述训练集和测试集包括M张训练图片为X＝{X₁,X₂,…,X_m,T_m+1,T_m+2,…,T_M}，其中，X_m表示第m张训练图片，T_m+1表示第1张测试图片；

所述M张图片选取有一一对应的M个标签为Y＝{Y₁,Y₂,…,Y_m,…,Y_M}，其中，Y_m表示第m张训练图片的类别；

S2、对训练集的训练图片和测试集的测试图片通过搭建的深度神经网络提取每张图片的特征信息，再利用KNN算法对每张图片的特征信息进行计算，得到训练集和测试集的图结构，具体步骤包括：

将训练集和测试集中的车辆图片通过ResNet网络得到每张图片的特征信息；

如图3所示，数据集预处理的网络示意图，将训练集和测试集中的图片通过ResNet网络得到每张图片的特征信息：

X＝ResNet_(50/101/152)(img)；

其中，ResNet_(50/101)代表ResNet-50、ResNet-101和ResNet-152；img表示训练集和测试集的图片；X是得到的特征向量集，x_M第M张图片的特征向量。

在一些具体的实施例中，所述基础特征提取网络M采用ResNet50，其预训练模型来自ImageNet数据集上的分类模型，并且将ResNet50前两层残差结构的学习率置为0，使其不参与训练，这样可以降低网络训练过程中的过拟合风险。

利用K近邻算法选取处于[2,7]范围内的一个K值，根据每张图片的特征向量，计算当前图片与其他图片的欧式距离，选取最近的K张图片作为直接近邻并将其作为节点连接起来，遍历完训练集和测试集，得到车辆图片抽象化后的图结构。

该算法的公式为：

A＝KNN(X,K)；

其中A是最终得到的抽象化图结构的邻接矩阵；X是上述得到的特征向量集；K是指定的近邻阈值。本实施例中，K的值设置为6。

具体的，深度神经网络具体为ResNet网络，所述ResNet网络包括ResNet50、ResNet101，以及ResNet152。

S3、根据得到的图结构信息计算邻接布尔矩阵的高阶幂，构建得到邻接矩阵序列，具体步骤包括：

根据得到的图结构计算邻接布尔矩阵的高阶幂，构建一个由低阶到高阶的邻接矩阵序列；

实施例中，矩阵的乘法采用的并非传统的代数乘法，而是非常规的布尔乘法，布尔矩阵只关注边的连接与否，不关注其边上的权重；

如图4所示，图示为消除高阶冗余信息的操作示意图；

计算邻接矩阵的布尔幂的公式为：

其中，A是初始的邻接矩阵，k是矩阵的幂；邻接矩阵序列为{A⁽¹⁾,A⁽²⁾,A⁽³⁾,…,A^(k)}。

再消除低阶邻接矩阵和高阶邻接矩阵之间的冗余重复的边，构建得到消除冗余信息的邻接矩阵序列。

本实施例中，高阶的邻接矩阵之间存在大量的重复的边，这些边的存在往往会导致过多重复信息的冗余，不利于分阶的训练框架。

进行矩阵间的消除冗余操作：

其中，D^(k)是去除冗余后的高阶邻接矩阵，p为；

再对高阶邻接矩阵D^(k)进行后处理，保持图结构的连接性：

其中，d_ij是矩阵D^(k)中的元素，i表示行，j表示列；

最后得到去除冗余的邻接矩阵序列的构建：{D⁽¹⁾,D⁽²⁾,D⁽³⁾,…,D^(k)}。

S4、将得到的邻接矩阵序列输入基于多阶混合训练构建的网络结构中，利用损失函数以及所述训练集进行训练得到网络模型及参数，具体步骤包括：

将各个去除冗余的邻接矩阵以及相应的特征矩阵分别输入到对应的图神经网络模型中，将每个网络的输出进行平均混合；

在混合训练阶段进行损失函数的定义；

在训练集上训练获得最终的模型参数。

本实施例中，在每一个训练周期内，依次将去冗余邻接矩阵通过所选用的GNNs模型，最终将所有的输出进行平均混合，使训练的模型兼顾学习高阶邻域的特征信息，经过迭代训练，使得最终的训练效果达到预期；并且有效防止节点过平滑和模型过拟合的问题。

Z^(p)＝f(A^(p),X,W)；

其中，Z^(p)是A^(p)的网络输出；X是特征向量集；W是网络参数；Z是每个训练周期内得到的平均混合表示。

最后在混合训练阶段进行损失函数的定义。

具体的，所述将每个网络的输出进行平均混合的具体步骤包括：

首先将每个去除冗余的邻接矩阵输入应用的图神经网络模型，所述图神经网络模型包括GCN、GAT和SGC；

本实施例中，采用的GNNs模型主要有三种，分别是GCN(Graph ConvulutionalNetwork)、GAT(Graph Attention Network)和SGC(Simplifying Graph ConvolutionalNetworks)。这三种网络都是目前主流的图结构处理网络，具有良好的适用性和较好的分类性能。

然后再平均混合经过图神经网络模型的所有邻接矩阵的输出，且均设置在一个epoch内完成。

本实施例中，实施例中，采用Adam优化器来优化训练过程中的参数；采用经典的半监督训练的交叉熵损失函数；添加一个优化半监督训练的无监督损失项。

具体的，所述在混合训练阶段进行损失函数的定义的具体步骤包括：

采用Adam优化器来优化训练过程中的参数；

首先是有监督的交叉熵损失为：

其中，k是冗余矩阵的最高阶，lb表示有标签的节点的数目；CE表示交叉熵损失，Y_h和

分别表示节点h的真实标签和预测值；

然后是无监督的均方差损失为：

其中，

是多个输出的平均分布，Z^(w)是当前邻域图上的输出；

最后得到训练阶段的损失函数为两种损失的加权和。

LOSS＝LOSS_sup+λLOSS_uns；

其中，LOSS是最终的每个周期内的损失总和；λ是一个控制无监督损失项强弱的超参数，无监督损失项对模型的拟合泛化能力起到了正向作用。在实践中，λ的范围被限定在{0.5,0.6,0.7,0.8,0.9,1.0}之间。

S5、根据网络模型和测试集的测试图片进行测试，并将初始邻接矩阵输入网络模型，得到最终的分类结果，具体步骤包括：

如图5所示，图示为整体网络结构示意图。

根据训练得到的网络模型参数，使用初始划分好的测试集的Q张测试图片的样本T进行测试；

将初始的邻接矩阵和特征矩阵输入网络模型，得到分类结果并进行保持。

本实施例中，根据训练结束得到的模型参数，使用预先划分好的训练集进行测试，整个图片集结构为X＝{X₁,X₂,…,X_m,T_m+1,T_m+2,…,T_M}。

将初始的邻接矩阵和特征矩阵输入网络；并将分类结果R＝{R₁,R₂,…,R_q,…,R_Q}以类别保存，R_Q表示第Q张测试图片的预测类别。

具体的，根据半监督学习来设定，训练集占整个图片集的比例为5％-10％之间。

测试所使用的邻接矩阵为初始的由训练集和测试集利用KNN算法构建的图结构，因为在混合训练的过程中，训练的参数已经适应了图结构的变化，适应了这种高阶近邻信息的传递聚合，所以可以直接适用在初始的邻接矩阵上。

图片测试步骤如下：

将网络的模式调整为测试模式，不再进行梯度反向传播和计算损失，只进行前向的传播计算；

将初始邻接矩阵A、特征向量集X加载到相应的GNNs网络；

将训练集的节点标记范围更改为测试集节点的标记范围，加载对应训练好的网络参数；

进行前向传播通过网络层，在最后使用softmax分类器得到分类的结果，并将每张图片的分类结果进行保存。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于去冗余多阶混合训练的半监督车辆分类方法，其特征在于，具体步骤包括：

S1、获取车辆图片的数据集并进行划分分类，得到训练集和测试集；

S2、对训练集的训练图片和测试集的测试图片通过搭建的深度神经网络提取每张图片的特征信息，再利用KNN算法对每张图片的特征信息进行计算，得到训练集和测试集的图结构；

S3、根据得到的图结构信息计算邻接布尔矩阵的高阶幂，构建得到邻接矩阵序列；

S4、将得到的邻接矩阵序列输入基于多阶混合训练构建的网络结构中，利用损失函数以及所述训练集进行训练得到网络模型及参数；

S5、根据网络模型和测试集的测试图片进行测试，并将初始邻接矩阵输入网络模型，得到最终的分类结果。

2.根据权利要求1所述一种基于去冗余多阶混合训练的半监督车辆分类方法，其特征在于，所述S2中的具体步骤包括：

将训练集和测试集中的车辆图片通过ResNet网络得到每张图片的特征信息；

利用K近邻算法选取处于[2,7]范围内的一个K值，根据每张图片的特征向量，计算当前图片与其他图片的欧式距离，选取最近的K张图片作为直接近邻并将其作为节点连接起来，遍历完训练集和测试集，得到车辆图片抽象化后的图结构。

3.根据权利要求1所述一种基于去冗余多阶混合训练的半监督车辆分类方法，其特征在于，所述S2中的深度神经网络具体为ResNet网络，所述ResNet网络包括ResNet50、ResNet101，以及ResNet152。

4.根据权利要求1所述一种基于去冗余多阶混合训练的半监督车辆分类方法，其特征在于，所述S3的具体步骤包括：

根据得到的图结构计算邻接布尔矩阵的高阶幂，构建一个由低阶到高阶的邻接矩阵序列；

再消除低阶邻接矩阵和高阶邻接矩阵之间的冗余重复的边，构建得到消除冗余信息的邻接矩阵序列。

5.根据权利要求4所述一种基于去冗余多阶混合训练的半监督车辆分类方法，其特征在于，所述构建得到消除冗余信息的邻接矩阵序列的具体步骤包括：

首先计算邻接矩阵的布尔幂：

其中，A是初始的邻接矩阵，k是矩阵的幂；

再进行矩阵间的消除冗余操作：

其中，D^(k)是去除冗余后的高阶邻接矩阵，p为；

再对高阶邻接矩阵D^(k)进行后处理，保持图结构的连接性：

其中，d_ij是矩阵D^(k)中的元素，i表示行，j表示列；

最后得到去除冗余的邻接矩阵序列的构建：{D⁽¹⁾,D⁽²⁾,D⁽³⁾,…,D^(k)}。

6.根据权利要求1所述一种基于去冗余多阶混合训练的半监督车辆分类方法，其特征在于，所述S4的具体步骤包括：

将各个去除冗余的邻接矩阵以及相应的特征矩阵分别输入到对应的图神经网络模型中，将每个网络的输出进行平均混合；

在混合训练阶段进行损失函数的定义；

在训练集上训练获得最终的模型参数。

7.根据权利要求6所述一种基于去冗余多阶混合训练的半监督车辆分类方法，其特征在于，所述将每个网络的输出进行平均混合的具体步骤包括：

首先将每个去除冗余的邻接矩阵输入应用的图神经网络模型，所述图神经网络模型包括GCN、GAT和SGC；

然后再平均混合经过图神经网络模型的所有邻接矩阵的输出，且均设置在一个epoch内完成。

8.根据权利要求6所述一种基于去冗余多阶混合训练的半监督车辆分类方法，其特征在于，所述在混合训练阶段进行损失函数的定义的具体步骤包括：

采用Adam优化器来优化训练过程中的参数；

首先是有监督的交叉熵损失为：

其中，k是冗余矩阵的最高阶，lb表示有标签的节点的数目；CE表示交叉熵损失，Y_h和

分别表示节点h的真实标签和预测值；

然后是无监督的均方差损失为：

其中，

是多个输出的平均分布，Z^(w)是当前邻域图上的输出；

最后得到训练阶段的损失函数为两种损失的加权和。

9.根据权利要求1所述一种基于去冗余多阶混合训练的半监督车辆分类方法，其特征在于，所述S5的具体步骤包括：

根据训练得到的网络模型参数，使用初始划分好的测试集的Q张测试图片的样本T进行测试；

将初始的邻接矩阵和特征矩阵输入网络模型，得到分类结果并进行保持。

Images