CN115761654B - 一种车辆重识别方法 - Google Patents
一种车辆重识别方法 Download PDFInfo
- Publication number
- CN115761654B CN115761654B CN202211412855.6A CN202211412855A CN115761654B CN 115761654 B CN115761654 B CN 115761654B CN 202211412855 A CN202211412855 A CN 202211412855A CN 115761654 B CN115761654 B CN 115761654B
- Authority
- CN
- China
- Prior art keywords
- layer
- model
- basic
- loss
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 75
- 238000013528 artificial neural network Methods 0.000 claims abstract description 30
- 238000010276 construction Methods 0.000 claims abstract description 25
- 230000001133 acceleration Effects 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 33
- 238000004821 distillation Methods 0.000 claims description 29
- 238000013140 knowledge distillation Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 235000008694 Humulus lupulus Nutrition 0.000 claims description 8
- 230000014759 maintenance of location Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 52
- 238000010586 diagram Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000689227 Cora <basidiomycete fungus> Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 235000002020 sage Nutrition 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面向图神经网络加速的MLP构建方法，包括获取训练数据集；以GNN模型为基础构建基础教师模型；采用训练数据集训练基础教师模型得到教师模型；将训练数据集输入教师模型得到节点软标签和中间层特征；以MLP结构为基础构建基础学生模型；基于节点软标签和中间层特征，采用训练数据集训练基础学生模型得到学生模型，得到最终的MLP结构。本发明还公开了一种包括所述面向图神经网络加速的MLP构建方法的车辆重识别方法。本发明使得节点之间的相似性在学生模型和教师模型中保持一致，极大地提高了模型的推理速度，同时也提高了模型的抗攻击能力，而且本发明的可靠性更高，准确性更好，客观科学。
Description
技术领域
本发明属于人工智能技术领域，具体涉及一种车辆重识别方法。
背景技术
随着经济技术的发展和人们生活水平的提高，人工智能技术已经广泛应用于人们的生产和生活当中，给人们的生产和生活带来了无尽的便利。
图神经网络(Graph Neural Network，GNN)是近年来最受欢迎的处理非欧式结构数据的深度学习模型之一。图神经网络具有强大的提取图节点特征及图结构特征的能力，广泛应用于化学、物理、交通、知识图谱和推荐系统等领域。
而随着现实世界中数据规模越来越大，图节点数目变得越来越多。为了充分利用节点数目极其庞大的图的结构信息，就需要增加GNN的网络层数，这一方式能有效保证GNN模型的性能；但是由于模型参数量随着网络层数的增多而极速增大，这一方式同样使得GNN模型的推理速度变慢。此外，GNN的消息传递机制使得其能够捕获图的结构信息，是GNN强大能力的根基。但是该机制占据了推理的绝大部分时间。推理速度慢这一问题会影响到GNN模型的实际部署，尤其是对于低延迟有较高要求的任务，传统的GNN模型难以满足任务需求。
针对上述问题，研究人员通过引入MLP(Multilayer Perceptron，多层感知机)结构来完全取代GNN，并利用对比损失来学习节点表示的方式，提高了模型的推理速度，而且MLP结构也拥有接近GNN的性能。然而，该种方式并不能充分捕获图的结构信息，这使得MLP结构的可靠性和准确性较低。
正因为如此，现有的MLP结构的可靠性和准确性较低，这使得MLP结构在应用到车辆重识别过程中，就可能存在检测不准确的问题，从而使得车辆重识别的结果出错。
发明内容
本发明的目的之一在于提供一种可靠性高、准确性好且客观科学的面向图神经网络加速的MLP构建方法。
本发明的目的之二在于提供一种包括了所述面向图神经网络加速的MLP构建方法的车辆重识别方法。
本发明提供的这种面向图神经网络加速的MLP构建方法，包括如下步骤：
S1.获取训练数据集；
S2.以GNN模型为基础，构建基础教师模型；
S3.采用步骤S1获取的训练数据集对步骤S2构建的基础教师模型进行训练，得到教师模型；
S4.将步骤S1获取的训练数据集，再次输入到教师模型中，得到节点软标签和中间层特征；
S5.以MLP结构为基础，构建基础学生模型；
S6.基于步骤S4得到的节点软标签和中间层特征，采用步骤S1得到的训练数据集对步骤S4得到的基础学生模型进行训练，得到学生模型；
S7.将步骤S6得到的学生模型作为最终的MLP结构，完成MLP结构的构建。
步骤S2所述的以GNN模型为基础，构建基础教师模型，具体包括如下步骤：
基础教师模型为一个N层的图神经网络，其中包括N-2个GNN块、一个GNN层和一个线性层；每一个GNN块均包括依次串接的GNN层、Norm层、激活层和Dropout层；
采用如下算式作为基础教师模型的形式化计算式：
Zt＝linear(Ft)
式中为教师模型中第l个GNN块的输出；Dropout()为Dropout层的处理函数；σ()为激活层的处理函数；Norm()为Norm层的处理函数；GNN()为GNN层的处理函数；A为训练数据集中训练图片的邻接矩阵；Ft为教师模型所生成的特征向量；Zt为教师模型所得到的预测结果；linear()为线性层的处理函数。
步骤S5所述的以MLP结构为基础，构建基础学生模型，具体包括如下步骤：
基础学生模型为一个M层线性层的MLP结构，其中包括M-2个MLP块和两个线性层；每一个MLP块均包括依次串接的线性层、Norm层、激活层和Dropout层；
采用如下算式作为基础学生模型的形式化计算式：
Zs＝linear(Fs)
式中为学生模型中第l个MLP块的输出；Dropout()为Dropout层的处理函数；σ()为激活层的处理函数；Norm()为Norm层的处理函数；/>为学生模型中第M-2层的输出；Fs为学生模型所生成的特征向量；Zs为学生模型所得到的预测结果；linear()为线性层的处理函数。
步骤S6所述的基于步骤S4得到的节点软标签和中间层特征，采用步骤S1得到的训练数据集对步骤S4得到的基础学生模型进行训练，得到学生模型，具体包括如下步骤：
计算得到的交叉熵损失、知识蒸馏损失、邻居对比损失和相似度保持蒸馏损失；
基于计算得到的交叉熵损失、知识蒸馏损失、邻居对比损失和相似度保持蒸馏损失构建整体损失函数，并采用反向传播的方式，采用步骤S1得到的训练数据集对步骤S4得到的基础学生模型进行训练，得到学生模型。
所述的交叉熵损失，具体为采用如下步骤计算得到交叉熵损失：
式中LCE为基础学生模型的输出与真实标签之间的交叉熵损失；VL为有标签的节点集合；LCE()为交叉熵损失函数；为节点vi的预测值；yi为节点vi的真实标签。
所述的知识蒸馏损失，具体为采用如下步骤计算得到知识蒸馏损失：
式中Ldis为基础学生模型输出的软标签与教师模型输出的软标签之间的蒸馏损失；V为所有节点的集合；Ldis()为蒸馏损失函数；为节点vi经学生模型得到的预测值；zi为节点vi经教师模型得到的预测值。
所述的邻居对比损失，具体为采用如下步骤计算得到邻居对比损失：
式中LNC为邻居对比损失；B为一次采样的节点数；li为第i个节点的邻居对比损失且将r跳内的邻居节点作为正样本，将剩余节点作为负样本，B为一次采样的节点数，Ij≠i为指示函数，当j≠i时Ij≠i＝1，否则Ij≠i＝0；γij为节点vi与节点vj之间的连接强度，若节点vj是节点vi在r跳内的邻居节点则γij不为0，否则γij为0；sim()为余弦相似度计算函数，fi为输入的图的特征矩阵的第i行同时也表示节点vi的特征向量，τ为温度，Ik≠i为指示函数，当k≠i时Ik≠i＝1，否则Ik≠i＝0。
所述的相似度保持蒸馏损失，具体为采用如下步骤计算得到相似度保持蒸馏损失：
式中LSP为相似度保持蒸馏损失；B为一个训练批次中采样的节点数；为当前训练批次中的节点在教师模型第l层经l2范数归一化后的相似度矩阵，且/> 为当前训练批次中的节点在教师模型第l层的相似度矩阵，且/> 为教师模型的第l层所输出的特征矩阵，l为教师模型的第l层，||2为l2范数；/>为当前训练批次中的节点在学生模型第l'层经l2范数归一化后的相似度矩阵，且/> 为当前训练批次中的节点在学生模型第l'层的相似度矩阵，且/> 为学生模型第l'层所输出的特征矩阵，l'为学生模型的第l'层，/>为弗罗贝尼乌斯范数平方值；I为教师模型和学生模型的层数对集合。
所述的基于计算得到的交叉熵损失、知识蒸馏损失、邻居对比损失和相似度保持蒸馏损失构建整体损失函数，具体为采用如下步骤构建整体损失函数Ltrain：
Ltrain＝λLCE+(1-λ)Ldis+αLNC+βLSP
式中α、β和λ均为权重系数。
本发明还提供了一种包括了所述面向图神经网络加速的MLP构建方法的车辆重识别方法，具体包括如下步骤：
A.构建面向道路监控的车辆重识别数据集；
B.将步骤A获取的车辆重识别数据集作为训练数据集，采用所述的面向图神经网络加速的MLP构建方法，构建得到MLP结构；
C.采用步骤B得到的MLP结构，进行车辆的重识别。
本发明提供的这种面向图神经网络加速的MLP构建方法及车辆重识别方法，通过创新构建的损失函数、训练方式和两种模型之间的融合方式，使得节点之间的相似性在学生模型和教师模型中保持一致，从而保证学生模型具有与教师模型相当的推理能力；同时，由于学生模型相比于教师模型具有更轻量化的模型架构，从而极大地提高了模型的推理速度，同时也提高了模型的抗攻击能力，而且本发明的可靠性更高，准确性更好，客观科学。
附图说明
图1为本发明构建方法的方法流程示意图。
图2为本发明构建方法的结构示意图。
图3为本发明构建方法得到的图神经网络与现有图神经网络的推理速度实验结果对比示意图。
图4为本发明构建方法得到的图神经网络与现有图神经网络在被拓扑攻击时的实验结果对比示意图。
图5为本发明的车辆重识别方法的方法流程示意图。
具体实施方式
如图1所示为本发明构建方法的方法流程示意图，对应的方法结构示意图如图2所示：本发明提供的这种面向图神经网络加速的MLP构建方法，包括如下步骤：
S1.获取训练数据集；
S2.以GNN模型为基础，构建基础教师模型；具体包括如下步骤：
基础教师模型为一个N层的图神经网络，其中包括N-2个GNN块、一个GNN层和一个线性层；每一个GNN块均包括依次串接的GNN层、Norm层、激活层和Dropout层；
采用如下算式作为基础教师模型的形式化计算式：
Zt＝linear(Ft)
式中为教师模型中第l个GNN块的输出；Dropout()为Dropout层的处理函数；σ()为激活层的处理函数；Norm()为Norm层的处理函数；GNN()为GNN层的处理函数；A为训练数据集中训练图片的邻接矩阵；Ft为教师模型所生成的特征向量；Zt为教师模型所得到的预测结果；linear()为线性层的处理函数；
构建的基础教师模型如图2中的最上侧部分所示；
S3.采用步骤S1获取的训练数据集对步骤S2构建的基础教师模型进行训练，得到教师模型；
S4.将步骤S1获取的训练数据集，再次输入到教师模型中，得到节点软标签和中间层特征；
S5.以MLP结构为基础，构建基础学生模型；具体包括如下步骤：
学生模型可通过蒸馏学习的方法获得GNN教师模型的知识，从而实现既有GNN模型的性能，又能保持住MLP结构的推理速度；在构建好学生模型之后，便可使用学生模型来对图提取中间层特征以及进行预测；
基础学生模型为一个M层线性层的MLP结构，其中包括M-2个MLP块和两个线性层；每一个MLP块均包括依次串接的线性层、Norm层、激活层和Dropout层；
采用如下算式作为基础学生模型的形式化计算式：
Zs＝linear(Fs)
式中为学生模型中第l个MLP块的输出；Dropout()为Dropout层的处理函数；σ()为激活层的处理函数；Norm()为Norm层的处理函数；/>为学生模型中第M-2层的输出；Fs为学生模型所生成的特征向量；Zs为学生模型所得到的预测结果；linear()为线性层的处理函数；
构建的基础教师模型如图2中的中间部分所示；
S6.基于步骤S4得到的节点软标签和中间层特征，采用步骤S1得到的训练数据集对步骤S4得到的基础学生模型进行训练，得到学生模型；具体包括如下步骤：
计算得到的交叉熵损失、知识蒸馏损失、邻居对比损失和相似度保持蒸馏损失；
基于计算得到的交叉熵损失、知识蒸馏损失、邻居对比损失和相似度保持蒸馏损失构建整体损失函数，并采用反向传播的方式，采用步骤S1得到的训练数据集对步骤S4得到的基础学生模型进行训练，得到学生模型；
具体实施时，采用如下步骤计算得到交叉熵损失：
式中LCE为基础学生模型的输出与真实标签之间的交叉熵损失；VL为有标签的节点集合；LCE()为交叉熵损失函数；为节点vi的预测值；yi为节点vi的真实标签；交叉熵损失用于保证学生模型所学知识的正确性；
采用如下步骤计算得到知识蒸馏损失：
式中Ldis为基础学生模型输出的软标签与教师模型输出的软标签之间的蒸馏损失；V为所有节点的集合；Ldis()为蒸馏损失函数；为节点vi的预测值；zi为节点vi经教师模型得到的预测值；知识蒸馏损失用于将教师模型的知识传递给学生模型，以使得MLP结构的学生模型达到与GNN教师模型相同的性能；
采用如下步骤计算得到邻居对比损失：
式中LNC为邻居对比损失；B为一次采样的节点数；li为第i个节点的邻居对比损失且将r跳内的邻居节点作为正样本，将剩余节点作为负样本，B为一次采样的节点数，Ij≠i为指示函数，当j≠i时Ij≠i＝1，否则Ij≠i＝0；γij为节点vi与节点vj之间的连接强度，若γij不为0则意味着节点vj是节点vi在r跳内的邻居节点，否则γij为0；sim()为余弦相似度计算函数，fi为输入的图的特征矩阵的第i行同时也表示节点vi的特征向量，τ为温度，Ik≠i为指示函数，当k≠i时Ik≠i＝1，否则Ik≠i＝0；邻居对比损失以邻接矩阵和图特征作为输入，可隐式地利用邻接信息来指导学生模型的训练，其基于一个假设：相邻节点是相似的，而不相邻节点在特征空间中应该彼此远离；
基于以上的三种损失，已经可以让学生模型具有较好的性能，但是本发明方法希望在蒸馏学习过程中保持节点之间的相似度信息，即让在教师网络中相似的节点在学生模型中同样相似，让学生模型不需要模拟教师模型的特征空间，而只需要在学生模型中保持节点之间成对的相似性；节点间的相似度保持可以给邻居对比学习提供一个良好的初始特征分布，以便让它可以更好地学习节点的特征；因此，本发明还采用如下步骤计算得到相似度保持蒸馏损失：
式中LSP为相似度保持蒸馏损失；B为一个训练批次所采样的节点数；为当前训练批次中的节点在教师模型第l层经l2范数归一化后的相似度矩阵，且/> 为当前训练批次中的节点在教师模型第l层的相似度矩阵，且/> 为教师模型的第l层所输出的特征矩阵，l为教师模型的第l层，||2为l2范数；/>为当前训练批次中的节点在学生模型第l'层经l2范数归一化后的相似度矩阵，且/> 为当前训练批次中的节点在学生模型第l'层的相似度矩阵，且/> 为学生模型第l'层所输出的特征矩阵，l'为学生模型的第l'层，/>为弗罗贝尼乌斯范数平方值(FrobeniusNorm)；I为教师模型和学生模型的层数对集合；
最后，采用如下步骤构建整体损失函数Ltrain：
Ltrain＝λLCE+(1-λ)Ldis+αLNC+βLSP
式中α、β和λ均为权重系数；
S7.将步骤S6得到的学生模型作为最终的MLP结构，完成MLP结构的构建；具体如图2中的最下侧部分所示。
具体实施时，本发明的构建方法中的超参数的取值，如表1所示：
表1本发明的构建方法中的超参数取值示意表
| 超参数 | 取值(取值范围) |
| M | 2,3 |
| B | 2048 |
| 学习率 | 1e-2,1e-3 |
| 权重衰减 | 0,5e-3,5e-4 |
| Dropout | 0.4,0.5,0.6 |
| λ | 0,0.5,1 |
| α | 0,1,5,10,20,40,70,100 |
| β | 0,1,5,10,20,40,70,100,150,200 |
| τ | 0.5,1,2 |
| 激活函数 | ReLU，GELU |
| 归一化 | None，Layer |
在得到最终构建的MLP结构后，本发明在3个流行的引文数据集上进行了实验，数据集的详细统计信息如表2所示。
表2数据集的详细统计信息示意表
| 数据集 | 节点数 | 变数 | 节点数LCC | 边数LCC | 特征维度 | 类别数 |
| Cora | 2708 | 5429 | 2485 | 5069 | 1433 | 7 |
| Citeseer | 3327 | 4732 | 2110 | 3668 | 3703 | 6 |
| Pubmed | 19717 | 44338 | 19717 | 44338 | 500 | 5 |
本发明首先测试了本发明方法的推理速度，并使用GCN和SAGE两个GNN模型作为对比，实验结果如图3所示(图中标示的GLNN-NC模型为本发明构建的模型)，可以看出本发明提出的MLP结构的架构具有对比模型不可比拟的推理速度。随后，本发明同样测试了在随机拓扑攻击下的防御能力，其实验结果如图4所示(图中标示的GLNN-NC模型为本发明构建的模型)，与其他方法相比，本方法的防御能力较强，尤其是在Citeseer数据集上的防御效果，明显优于其他方法。
如图5所示为本发明的流程示意图：本发明提供的这种包括了所述面向图神经网络加速的MLP构建方法的车辆重识别方法，具体包括如下步骤：
A.构建面向道路监控的车辆重识别数据集；
B.将步骤A获取的车辆重识别数据集作为训练数据集，采用所述的面向图神经网络加速的MLP构建方法，构建得到MLP结构；
C.采用步骤B得到的MLP结构，进行车辆的重识别。
步骤B所述的面向图神经网络加速的MLP构建方法，具体包括如下步骤：
B1.获取训练数据集；
B2.以GNN模型为基础，构建基础教师模型；
B3.采用步骤B1获取的训练数据集对步骤B2构建的基础教师模型进行训练，得到教师模型；
B4.将步骤B1获取的训练数据集，再次输入到教师模型中，得到节点软标签和中间层特征；
B5.以MLP结构为基础，构建基础学生模型；
B6.基于步骤B4得到的节点软标签和中间层特征，采用步骤B1得到的训练数据集对步骤B4得到的基础学生模型进行训练，得到学生模型；
B7.将步骤B6得到的学生模型作为最终的MLP结构，完成MLP结构的构建。
步骤B2所述的以GNN模型为基础，构建基础教师模型，具体包括如下步骤：
基础教师模型为一个N层的图神经网络，其中包括N-2个GNN块、一个GNN层和一个线性层；每一个GNN块均包括依次串接的GNN层、Norm层、激活层和Dropout层；
采用如下算式作为基础教师模型的形式化计算式：
Zt＝linear(Ft)
式中为教师模型中第l个GNN块的输出；Dropout()为Dropout层的处理函数；σ()为激活层的处理函数；Norm()为Norm层的处理函数；GNN()为GNN层的处理函数；A为训练数据集中训练图片的邻接矩阵；Ft为教师模型所生成的特征向量；Zt为教师模型所得到的预测结果；linear()为线性层的处理函数。
步骤B5所述的以MLP结构为基础，构建基础学生模型，具体包括如下步骤：
基础学生模型为一个M层线性层的MLP结构，其中包括M-2个MLP块和两个线性层；每一个MLP块均包括依次串接的线性层、Norm层、激活层和Dropout层；
采用如下算式作为基础学生模型的形式化计算式：
Zs＝linear(Fs)
式中为学生模型中第l个MLP块的输出；Dropout()为Dropout层的处理函数；σ()为激活层的处理函数；Norm()为Norm层的处理函数；/>为学生模型中第M-2层的输出；Fs为学生模型所生成的特征向量；Zs为学生模型所得到的预测结果；linear()为线性层的处理函数。
步骤B6所述的基于步骤B4得到的节点软标签和中间层特征，采用步骤B1得到的训练数据集对步骤B4得到的基础学生模型进行训练，得到学生模型，具体包括如下步骤：
计算得到的交叉熵损失、知识蒸馏损失、邻居对比损失和相似度保持蒸馏损失；
基于计算得到的交叉熵损失、知识蒸馏损失、邻居对比损失和相似度保持蒸馏损失构建整体损失函数，并采用反向传播的方式，采用步骤B1得到的训练数据集对步骤B4得到的基础学生模型进行训练，得到学生模型。
所述的交叉熵损失，具体为采用如下步骤计算得到交叉熵损失：
式中LCE为基础学生模型的输出与真实标签之间的交叉熵损失；VL为有标签的节点集合；LCE()为交叉熵损失函数；为节点vi的预测值；yi为节点vi的真实标签。
所述的知识蒸馏损失，具体为采用如下步骤计算得到知识蒸馏损失：
式中Ldis为基础学生模型输出的软标签与教师模型输出的软标签之间的蒸馏损失；V为所有节点的集合；Ldis()为蒸馏损失函数；为节点vi经学生模型得到的预测值；zi为节点vi经教师模型得到的预测值。
所述的邻居对比损失，具体为采用如下步骤计算得到邻居对比损失：
式中LNC为邻居对比损失；B为一次采样的节点数；li为第i个节点的邻居对比损失且将r跳内的邻居节点作为正样本，将剩余节点作为负样本，B为一次采样的节点数，Ij≠i为指示函数，当j≠i时Ij≠i＝1，否则Ij≠i＝0；γij为节点vi与节点vj之间的连接强度，若节点vj是节点vi在r跳内的邻居节点则γij不为0，否则γij为0；sim()为余弦相似度计算函数，fi为输入的图的特征矩阵的第i行同时也表示节点vi的特征向量，τ为温度，Ik≠i为指示函数，当k≠i时Ik≠i＝1，否则Ik≠i＝0。
所述的相似度保持蒸馏损失，具体为采用如下步骤计算得到相似度保持蒸馏损失：
式中LSP为相似度保持蒸馏损失；B为一个训练批次中采样的节点数；为当前训练批次中的节点在教师模型第l层经l2范数归一化后的相似度矩阵，且/> 为当前训练批次中的节点在教师模型第l层的相似度矩阵，且/> 为教师模型的第l层所输出的特征矩阵，l为教师模型的第l层，||2为l2范数；/>为当前训练批次中的节点在学生模型第l'层经l2范数归一化后的相似度矩阵，且/> 为当前训练批次中的节点在学生模型第l'层的相似度矩阵，且/> 为学生模型第l'层所输出的特征矩阵，l'为学生模型的第l'层，/>为弗罗贝尼乌斯范数平方值；I为教师模型和学生模型的层数对集合。
所述的基于计算得到的交叉熵损失、知识蒸馏损失、邻居对比损失和相似度保持蒸馏损失构建整体损失函数，具体为采用如下步骤构建整体损失函数Ltrain：
Ltrain＝λLCE+(1-λ)Ldis+αLNC+βLSP
式中α、β和λ均为权重系数。
本发明所述的这种车辆重识别方法，能够直接运用于面向交通道路智能监控应用。在智能监控中，可利用道路监控图像对违法违章车辆进行重识别，以到达追踪该违法违章车辆的目的。车辆重识别模型需要对车辆图片进行特征建模，而为了提升重识别模型的特征建模能力，从而提升重识别的泛化能力和可解释性，现有方法将车辆图片划分为多个块，并通过图神经网络建模图片块间的关系图，从而为车辆重识别模型提供先验知识，以增强其特征建模能力。而由于各城市汽车保有量非常庞大(往往数以百万计)，为完成重识别任务，重识别模型需分别对数以百万计的车辆图片进行关系图建模，从而导致图的总体节点数量规模极大。而大规模图神经网络由于存储和计算开销的因素，其需要的计算资源十分庞大，从而严重影响传统图网络方法推理速度。而基于本发明所述的面向图神经网络加速的MLP构建方法则可大为加快推理速度，减少图神经网络的计算和存储开销，从而实现在保证重识别模型的特征建模能力的基础上极大加快其特征建模速度的目的。
Claims (8)
1.一种车辆重识别方法，包括如下步骤：
A.构建面向道路监控的车辆重识别图像数据集；
B.将步骤A获取的车辆重识别图像数据集作为训练数据集，采用面向图神经网络GNN加速的MLP构建方法，构建得到MLP结构；
C.采用步骤B得到的MLP结构，进行车辆的重识别；
所述的面向图神经网络GNN加速的MLP构建方法，包括如下步骤：
S1.获取训练数据集；
S2.以GNN模型为基础，构建基础教师模型；
S3.采用步骤S1获取的训练数据集对步骤S2构建的基础教师模型进行训练，得到教师模型；
S4.将步骤S1获取的训练数据集，再次输入到教师模型中，得到节点软标签和中间层特征；
S5.以MLP结构为基础，构建基础学生模型；
S6.基于步骤S4得到的节点软标签和中间层特征，采用步骤S1得到的训练数据集对步骤S5构建的基础学生模型进行训练，得到学生模型；
S7.将步骤S6得到的学生模型作为最终的MLP结构，完成MLP结构的构建；
其中，步骤S6所述的基于步骤S4得到的节点软标签和中间层特征，采用步骤S1得到的训练数据集对步骤S5得到的基础学生模型进行训练，得到学生模型，具体包括如下步骤：
基于步骤S4得到节点软标签和中间层特征，计算得到的交叉熵损失、知识蒸馏损失、邻居对比损失和相似度保持蒸馏损失；
基于计算得到的交叉熵损失、知识蒸馏损失、邻居对比损失和相似度保持蒸馏损失构建整体损失函数，并采用反向传播的方式，采用步骤S1得到的训练数据集对步骤S5得到的基础学生模型进行训练，得到学生模型。
2.根据权利要求1所述的车辆重识别方法，其特征在于步骤S2所述的以GNN模型为基础，构建基础教师模型，具体包括如下步骤：
基础教师模型为一个N层的图神经网络，其中包括N-2个GNN块、一个GNN层和一个线性层；每一个GNN块均包括依次串接的GNN层、Norm层、激活层和Dropout层；
采用如下算式作为基础教师模型的形式化计算式：
Ft＝GNN(Ht N-2,A)
Zt＝linear(Ft)
式中为教师模型中第l个GNN块的输出；Dropout()为Dropout层的处理函数；σ()为激活层的处理函数；Norm()为Norm层的处理函数；GNN()为GNN层的处理函数；A为训练数据集中训练图片的邻接矩阵；Ft为基础教师模型所生成的特征向量；Zt为基础教师模型所得到的预测结果；linear()为线性层的处理函数。
3.根据权利要求2所述的车辆重识别方法，其特征在于步骤S5所述的以MLP结构为基础，构建基础学生模型，具体包括如下步骤：
基础学生模型为一个M层线性层的MLP结构，其中包括M-2个MLP块和两个线性层；每一个MLP块均包括依次串接的线性层、Norm层、激活层和Dropout层；
采用如下算式作为基础学生模型的形式化计算式：
Zs＝linear(Fs)
式中为基础学生模型中第l个MLP块的输出；Dropout()为Dropout层的处理函数；σ()为激活层的处理函数；Norm()为Norm层的处理函数；/>为学生模型中第M-2层的输出；Fs为基础学生模型所生成的特征向量；Zs为基础学生模型所得到的预测结果；linear()为线性层的处理函数。
4.根据权利要求1所述的车辆重识别方法，其特征在于所述的交叉熵损失，具体为采用如下步骤计算得到交叉熵损失：
式中LCE为基础学生模型的输出与真实标签之间的交叉熵损失；VL为有标签的节点集合；LCE()为交叉熵损失函数；为节点vi的预测值；yi为节点vi的真实标签。
5.根据权利要求4所述的车辆重识别方法，其特征在于所述的知识蒸馏损失，具体为采用如下步骤计算得到知识蒸馏损失：
式中Ldis为基础学生模型输出的软标签与教师模型输出的软标签之间的蒸馏损失；V为所有节点的集合；Ldis()为蒸馏损失函数；为节点vi的预测值；zi为节点vi经教师模型得到的预测值。
6.根据权利要求5所述的车辆重识别方法，其特征在于所述的邻居对比损失，具体为采用如下步骤计算得到邻居对比损失：
式中LNC为邻居对比损失；B为一次采样的节点数；li为第i个节点的邻居对比损失且将r跳内的邻居节点作为正样本，将剩余节点作为负样本，B为一次采样的节点数，Ij≠i为指示函数，当j≠i时Ij≠i＝1，否则Ij≠i＝0；γij为节点vi与节点vj之间的连接强度，若节点vj是节点vi在r跳内的邻居节点则γij不为0，否则γij为0；sim()为余弦相似度计算函数，fi为输入的图的特征矩阵的第i行同时也表示节点vi的特征向量，τ为温度，Ik≠i为指示函数，当k≠i时Ik≠i＝1，否则Ik≠i＝0。
7.根据权利要求6所述的车辆重识别方法，其特征在于所述的相似度保持蒸馏损失，具体为采用如下步骤计算得到相似度保持蒸馏损失：
式中LSP为相似度保持蒸馏损失；B为一个训练批次所采样的节点数；为当前训练批次中的节点在教师模型第l层经l2范数归一化后的相似度矩阵，且/>为当前训练批次中的节点在教师模型第l层的相似度矩阵，且/>Ft l为教师模型的第l层所输出的特征矩阵，l为教师模型的第l层，||2为l2范数；/>为当前训练批次中的节点在基础学生模型第l'层经l2范数归一化后的相似度矩阵，且/>为当前训练批次中的节点在基础学生模型第l'层的相似度矩阵，且/>为学基础生模型第l'层所输出的特征矩阵，l'为基础学生模型的第l'层，/>为弗罗贝尼乌斯范数平方值；I为教师模型和基础学生模型的层数对集合。
8.根据权利要求7所述的车辆重识别方法，其特征在于所述的基于计算得到的交叉熵损失、知识蒸馏损失、邻居对比损失和相似度保持蒸馏损失构建整体损失函数，具体为采用如下步骤构建整体损失函数Ltrain：
Ltrain＝λLCE+(1-λ)Ldis+αLNC+βLSP
式中α、β和λ均为权重系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211412855.6A CN115761654B (zh) | 2022-11-11 | 2022-11-11 | 一种车辆重识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211412855.6A CN115761654B (zh) | 2022-11-11 | 2022-11-11 | 一种车辆重识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115761654A CN115761654A (zh) | 2023-03-07 |
| CN115761654B true CN115761654B (zh) | 2023-11-24 |
Family
ID=85369638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211412855.6A Active CN115761654B (zh) | 2022-11-11 | 2022-11-11 | 一种车辆重识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115761654B (zh) |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10643130B2 (en) * | 2018-03-23 | 2020-05-05 | The Governing Council Of The University Of Toronto | Systems and methods for polygon object annotation and a method of training and object annotation system |
| CN109063719B (zh) * | 2018-04-23 | 2022-02-01 | 湖北工业大学 | 一种联合结构相似性和类信息的图像分类方法 |
| CN111523047B (zh) * | 2020-04-13 | 2022-08-09 | 中南大学 | 基于图神经网络的多关系协同过滤算法 |
| US20220156508A1 (en) * | 2020-11-16 | 2022-05-19 | Qualcomm Incorporated | Method For Automatically Designing Efficient Hardware-Aware Neural Networks For Visual Recognition Using Knowledge Distillation |
| CN112861936B (zh) * | 2021-01-26 | 2023-06-02 | 北京邮电大学 | 一种基于图神经网络知识蒸馏的图节点分类方法及装置 |
| CN113297427A (zh) * | 2021-05-10 | 2021-08-24 | 中南大学 | 一种基于u型嵌套网络的图分类方法 |
| CN113673254B (zh) * | 2021-08-23 | 2022-06-07 | 东北林业大学 | 基于相似度保持的知识蒸馏的立场检测方法 |
| US11404144B1 (en) * | 2021-11-04 | 2022-08-02 | NotCo Delaware, LLC | Systems and methods to suggest chemical compounds using artificial intelligence |
| CN114005096B (zh) * | 2021-11-09 | 2024-05-10 | 河北工业大学 | 基于特征增强的车辆重识别方法 |
| CN114493516B (zh) * | 2022-01-18 | 2022-12-23 | 安徽大学 | 一种基于异质图对比学习的云erp下知识补全方法及系统 |
| CN115115862A (zh) * | 2022-05-20 | 2022-09-27 | 中国科学院计算技术研究所 | 基于异构图神经网络的高阶关系知识蒸馏方法及系统 |
| CN115272230A (zh) * | 2022-07-27 | 2022-11-01 | 西安电子科技大学 | 一种基于多模态监督对比学习的头颈癌局部复发信息获取方法 |
-
2022
- 2022-11-11 CN CN202211412855.6A patent/CN115761654B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115761654A (zh) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107909206B (zh) | 一种基于深层结构循环神经网络的pm2.5预测方法 | |
| CN110580496A (zh) | 一种基于熵最小化的深度迁移学习系统及方法 | |
| CN110473592B (zh) | 一种多视角人类协同致死基因预测方法 | |
| CN111291556B (zh) | 基于实体义项的字和词特征融合的中文实体关系抽取方法 | |
| CN109242223B (zh) | 城市公共建筑火灾风险的量子支持向量机评估与预测方法 | |
| CN111815033A (zh) | 一种基于rcnn和气象时序特征的海上风电功率预测方法 | |
| CN110941734B (zh) | 基于稀疏图结构的深度无监督图像检索方法 | |
| CN112699247A (zh) | 一种基于多类交叉熵对比补全编码的知识表示学习框架 | |
| CN110164129B (zh) | 基于gernn的单交叉口多车道交通流量预测方法 | |
| CN112949828A (zh) | 一种基于图学习的图卷积神经网络交通预测方法及系统 | |
| CN111612051A (zh) | 一种基于图卷积神经网络的弱监督目标检测方法 | |
| Dai et al. | Hybrid deep model for human behavior understanding on industrial internet of video things | |
| CN115862319A (zh) | 一种面向时空图自编码器的交通流量预测方法 | |
| CN114548591A (zh) | 一种基于混合深度学习模型和Stacking的时序数据预测方法及系统 | |
| CN114692732A (zh) | 一种在线标签更新的方法、系统、装置及存储介质 | |
| CN113378938B (zh) | 一种基于边Transformer图神经网络的小样本图像分类方法及系统 | |
| CN110555530A (zh) | 一种基于分布式的大规模基因调控网络构建方法 | |
| CN112668633B (zh) | 一种基于细粒度领域自适应的图迁移学习方法 | |
| CN111783688B (zh) | 一种基于卷积神经网络的遥感图像场景分类方法 | |
| CN115761654B (zh) | 一种车辆重识别方法 | |
| CN116993043A (zh) | 一种电力设备故障溯源方法及装置 | |
| CN111507472A (zh) | 一种基于重要性剪枝的精度估计参数搜索方法 | |
| CN114821337B (zh) | 基于时相一致性伪标签的半监督sar图像建筑区提取方法 | |
| CN116433909A (zh) | 基于相似度加权多教师网络模型的半监督图像语义分割方法 | |
| CN117011219A (zh) | 物品质量检测方法、装置、设备、存储介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |