CN116341650B - 一种基于噪声自训练的铁路货车螺栓丢失检测方法 - Google Patents

Abstract

一种基于噪声自训练的铁路货车螺栓丢失检测方法，涉及铁路货车故障检测技术领域。本发明是为了解决现有通过深度学习模型对螺栓丢失故障的检测方法，人工标记影响模型性能，并且模型学习能力差，导致检测结果不准确的问题。本发明将被测图像输入至训练好的铁路货车螺栓丢失检测模型进行检测获得检测结果，训练过程为：利用数据集D_GT对模型M₅₀进行训练获得模型对模型进行带有噪声的自训练获得模型采用逆向知识蒸馏法使模型M₁₀₁向模型学习，获得模型对模型进行带有噪声的自训练获得铁路货车螺栓丢失检测模型。

Description

一种基于噪声自训练的铁路货车螺栓丢失检测方法

技术领域

本发明属于铁路货车故障检测技术领域。

背景技术

螺栓丢失检测任务的目标是检测铁路货车的螺栓是否存在丢失，一般方法是通过目标检测的方法检测图像内的螺栓数量，并通过对比得出是否出现螺栓丢失异常。因此模型对于图像内螺栓的特征表征能力和检测能力对任务来说是最重要的。传统的铁路货车螺栓丢失任务中的模型训练方法依赖大量人工标注的带有螺栓位置、类别信息的图像数据集，再使用深度学习模型对图像进行目标检测及后处理。这种训练方法有很多弊端。首先，模型的性能依赖数据集的数量以及质量，人工标注的误差等会影响模型最终的性能。其次，模型在每一步迭代过程中接受的数据是相同的，即每次迭代都是由训练数据集中的全部数据进行训练，模型很容易只学习到数据集中的特征分布，从而在实际下游任务中表现较差。最终使得检测结果不准确。

发明内容

本发明是为了解决现有通过深度学习模型对螺栓丢失故障的检测方法，人工标记影响模型性能，并且模型学习能力差，导致检测结果不准确的问题，现提供一种基于噪声自训练的铁路货车螺栓丢失检测方法。

一种基于噪声自训练的铁路货车螺栓丢失检测方法，将被测图像输入至训练好的铁路货车螺栓丢失检测模型进行检测，获得检测结果，

所述铁路货车螺栓丢失检测模型的训练过程如下：

步骤一：利用数据集D_GT对模型M₅₀进行训练获得模型训练过程中模型M₅₀的第一层权重不变，所述模型M₅₀为在ImageNet数据集上经过预训练的骨干网络为Resnet-50的faster-rcnn模型，所述数据集D_GT为训练数据集D中人工标记的数据所构成的集合；

步骤二：对模型进行带有噪声的自训练获得模型/>训练过程中模型M₅₀的第一层权重不变；

步骤三：采用逆向知识蒸馏法使模型M₁₀₁向模型学习，获得模型/>所述模型M₁₀₁为骨干网络为Resnet-101的faster-rcnn模型；

步骤四：对模型进行带有噪声的自训练获得模型M，将模型M作为铁路货车螺栓丢失检测模型，训练过程中模型/>的第一层权重不变。

进一步的，上述训练数据集D为全部铁路货车螺栓丢失异常检测数据集，

在训练数据集D的正常数据集D_N中选取20％的数据进行人工标注，获得数据集

在训练数据集D的异常数据集D_A中选取20％的数据进行人工标注，获得数据集

将数据集与数据集/>合并，获得数据集D_GT。

进一步的，上述步骤二具体为：

利用模型在数据集D_U上进行推理，获得带有软标签的数据集/>所述数据集D_U为训练数据集D中除人工标记的数据外剩余数据所构成的集合，

在数据集和数据集D_GT中加入数据噪声分别获得数据集/>和数据集ND_GT，利用数据集D_T2对加入结构噪声的模型/>进行训练，获得模型/>

所述数据集

进一步的，上述使用dropout作为结构噪声加入到模型中。

进一步的，上述步骤三为：

利用模型分别在数据集D_U和数据集D_GT上进行推理，分别获得带有软标签的数据集D_s和数据集/>所述数据集D_U为训练数据集D中除人工标记的数据外剩余数据所构成的集合，分别在数据集D_s、/>和D_GT中加入噪声获得数据集ND_s、/>和ND_GT，

将模型作为教师网络，将加入结构噪声的模型M₁₀₁作为学生网络，利用数据集D_T3采用知识蒸馏法对学生网络进行训练，获得模型/>

所述数据集

进一步的，上述选择随机深度方法向模型M₁₀₁中加入结构噪声。

进一步的，上述步骤四具体为：

利用模型在数据集D_U上进行推理，获得带有软标签的数据集/>所述数据集D_U为训练数据集D中除人工标记的数据外剩余数据所构成的集合，

分别在数据集和数据集D_GT中加入数据噪声获得数据集/>和ND_GT，

利用数据集D_T4对加入结构噪声的模型进行训练，获得模型M，

所述数据集

进一步的，上述使用dropout作为结构噪声加入到模型中。

进一步的，上述向数据集中加入的数据噪声的方法为：

将数据集中的RGB图像换为YUV图像，

依据下式对YUV图像的亮度进行调整，以实现向数据集中加入数据噪声：

其中，I和I_output分别为YUV图像调整前与调整后的亮度，mean为YUV图像的平均亮度，当图像变暗调整时p＝-1，当图像变亮调整时p＝1。

进一步的，上述向数据集中加入数据噪声的方法还包括：

对数据集中尺寸为(H,W)的图像边缘进行随机剪裁，裁剪后的图像尺寸为((1-α₁-α₂)H,(1-α₃-α₄)W)，其中，α₁、α₂、α₃和α₄分别为图像四个边界的裁剪系数，且有α₁≠α₂≠α₃≠α₄，α_i∈(0,0.2)，i＝1,2,3,4，H和W分别为图像的高度和宽度，

然后将尺寸为((1-α₁-α₂)H,(1-α₃-α₄)W)的图像尺寸还原为(H,W)。

本发明的有益效果如下：

1、本发明的铁路货车螺栓丢失检测方法，能够在仅有少量标注数据集的情况下完成对深度学习模型的训练，极大地减少了人工参与的工作量。

2、本发明的知识蒸馏的方法将已有模型的特征表征能力迁移到一个结构更复杂的模型，作为对结构复杂模型的预训练过程，通过继续对结构复杂模型迭代来避免由于结构局限性造成的识别性能瓶颈。

3、本发明通过随机对图像调整亮度以及对图像进行剪裁后重建的方式实现对数据集添加数据噪声，使深度学习网络模型在训练过程中学习到图像的不同特征表征，进而增强网络模型的鲁棒性，使模型更适用于真实场景的应用。

附图说明

图1为铁路货车螺栓丢失检测模型的训练流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

具体实施方式一：参照图1具体说明本实施方式，本实施方式所述的一种基于噪声自训练的铁路货车螺栓丢失检测方法，将被测图像输入至训练好的铁路货车螺栓丢失检测模型进行检测，获得检测结果。

铁路货车螺栓丢失检测模型的训练过程如下：

训练数据集D为全部铁路货车螺栓丢失异常检测数据集，该训练数据集D包括人工标记的数据所构成的集合D_GT、以及除人工标记的数据外剩余数据所构成的集合D_U。在训练数据集D的正常数据集D_N中选取20％的数据进行人工标注，获得数据集在训练数据集D的异常数据集D_A中选取20％的数据进行人工标注，获得数据集/>将数据集/>与数据集合并，获得数据集D_GT。

选择骨干网络为Resnet-50的faster-rcnn作为模型M₅₀。选择骨干网络为Resnet-101的faster-rcnn作为结构较为复杂的模型M₁₀₁。模型M₅₀的骨干网络Resnet-50为已经在ImageNet数据集上预训练好的模型，模型M₁₀₁的骨干网络Resnet-101为没有经过预训练的模型。

步骤一：利用数据集D_GT对模型M₅₀进行训练获得模型训练过程中模型M₅₀的第一层权重不变，所述模型M₅₀为在ImageNet数据集上经过预训练的骨干网络为Resnet-50的faster-rcnn模型。

在图像处理领域中，深度神经网络的浅层卷积层主要用来提取图像的浅层次特征信息，例如图像轮廓、色彩等信息，浅层卷积层的功能并不随着下游任务的改变而出现变化，因此保留已经预训练模型M₅₀的第一层权重用来提取图像浅层特征。上述训练过程中与传统的深度学习训练过程相同。

步骤二：利用模型在数据集D_U上进行推理，获得带有软标签的数据集/>在该过程中，分别在数据集/>和数据集D_GT中加入数据噪声，获得数据集/>和数据集ND_GT。使用dropout作为结构噪声加入到模型/>中，防止模型在训练过程中过拟合。利用数据集D_T2对加入结构噪声的模型/>进行带有噪声的自训练，重复迭代N次获得模型/>所述数据集/>

步骤三：采用逆向知识蒸馏法使模型M₁₀₁学习到已经训练好的模型的表征能力，获得模型/>具体过程如下：

利用模型分别在数据集D_U和数据集D_GT上进行推理，分别获得带有软标签的数据集D_s和数据集/>分别在数据集D_s、/>和D_GT中加入数据噪声获得数据集ND_s、/>和ND_GT。将模型/>作为教师网络，将加入结构噪声的模型M₁₀₁作为学生网络，选择随机深度方法向模型M₁₀₁中加入结构噪声，以加快训练速度，同时增加模型的特征表征能力。利用数据集D_T3采用知识蒸馏法对学生网络进行训练，训练过程固定模型的第一层卷积层，获得模型所述数据集/>

步骤四：利用模型在数据集D_U上进行推理，获得带有软标签的数据集/>分别在数据集/>和数据集D_GT中加入数据噪声获得数据集/>和ND_GT。使用dropout作为结构噪声加入到模型/>中，防止模型在训练过程中过拟合。利用数据集D_T4对加入结构噪声的模型/>进行训练，训练过程固定模型的第一层卷积层，重复迭代N次获得模型M。

所述数据集

传统知识蒸馏的方法选择结构复杂、准确率高的神经网络作为教师网络，选择结构简单、计算量低的神经网络作为学生网络，通过迭代和反向传播算法让学生网络学习到教师网络的表征能力，使结构简单的小网络具有与结构复杂的大网络相似的准确率，从而实现压缩模型、提升模型识别效率。然而，传统的知识蒸馏算法会对模型准确率造成一定影响，因此在本实施方式中使用了一种新的知识蒸馏方法来进一步提升深度模型网络的识别准确率，从而提升铁路货车螺栓丢失检测任务的准确率。本实施方式首先通过对数据集中部分数据进行人工标注得到带有标签的图像数据集，使用传统方法训练一个结构较为简单的模型M₅₀，再用训练好的模型M₅₀对未进行标注的部分数据集进行推理，得到模型预测出的数据标签(也成为软标签)。在随后的每一步迭代训练中，将人工标注的数据集和模型预测得到的软标签数据集合并，并在合并后的数据集中随机加入数据噪声，同时在模型中加入结构噪声，使用加入噪声的数据集对加入结构噪声的模型进行迭代训练。

同时，本实施方式选择一个结构较为复杂的模型M₁₀₁作为学生网络，上述步骤得到的网络作为教师网络，进行知识蒸馏。最后再对学生网络重复上述训练过程，得到最终的模型。本实施方式中的知识蒸馏方法使用模型结构较为简单的模型作为教师网络，选择模型结构复杂的网络作为学生网络。教师网络的作用是为学生网络提供对于原训练数据集中图像的软标签信息。最终模型对于螺栓的检测效果要优于直接训练得到的骨干网络为Resnet-101的faster-rcnn以及骨干网络为Resnet-50的faster-rcnn.。

通过以上四步训练，让结构简单的Resnet-50模型进行带有噪声的自训练，不断优化自身的特征表征能力。然后让已经自训练好的Resnet-50作为教师网络，使用逆向知识蒸馏方法将已经学习到的特征表征能力指导学生网络Resnet-101进行学习。本实施方式选择未预训练的Resnet-101是因为学生网络能够通过教师网络的指导进行学习，而教师网络是已经在通用数据集ImageNet上预训练后，且在下游任务领域数据集进行过自训练的成熟网络，学生网络的卷积结构能够通过教师网络更好地学习到基于下游任务的特征检测能力。最后再对经过教师网络指导学习的Resnet-101进行带有噪声的自训练，进一步针对下游任务优化模型性能。

本实施方式在训练过程中使用基于自训练的思想，让模型在训练过程中自身对未标注的数据集进行识别，得到软标签，这样模型在训练过程中不断优化数据集，再用优化后的数据集训练，进一步提升性能。同时在训练过程中加入了数据噪声和模型结构噪声。数据噪声使模型在自训练过程中出现随机的数据增强，让模型在每一步迭代中都遇到不同的图像特征，进而增强模型对不同图像特征的表征能力。结构噪声让模型在训练过程中随机屏蔽一部分网络结构，使模型在训练过程出现信息缺失，迫使模型在信息缺失的情况下也能够正确的预测出目标位置，进而提高模型性能。同时，本实施方式解决了模型在训练过程中由于模型结构导致的局限性。新知识蒸馏的方法将已有模型的特征表征能力迁移到一个结构更复杂的模型，作为对结构复杂模型的预训练过程，通过继续对结构复杂模型迭代来避免由于结构局限性造成的识别性能瓶颈。

具体实施方式二：本实施方式是对具体实施方式以所述的一种基于噪声自训练的铁路货车螺栓丢失检测方法作进一步说明，本实施方式中，向数据集中加入的数据噪声的方法能够针对不同的下游任务实现自适应地对图像数据添加噪声。本实施方式的自适应数据噪声主要分为两部分：

第一、图像亮度调整。

将数据集中的RGB图像换为YUV图像。其中Y表示明亮度(Luminance/Luma)，也称灰度值(灰阶值)。UY表示色度(Chrominance/Chroma)，均表示影响的色彩和饱和度，用于指定像素的颜色。YUV都使用8个字节来表示，所以取值范围就是0～255。

然后计算输入图像的平均亮度mean。

由于对输入图像加入一个自适应的亮度变换，即根据输入图像的不同，亮度调整的方式也会不同。而对于数据集来说，如果将亮度很低的图像再降低亮度就会造成图像过黑，反之则会造成图像过曝，过黑和过曝的图像表达的信息会减少甚至扭曲，因此过黑或过曝的图像在数据集中会成为离群噪点，成为无用数据，非但不能让模型更好的学会图像特征表达，还会让模型训练过程中的梯度出现骤变，影响模型最终效果。因此本实施方式中图像亮度调整方法要避免造成过黑或过曝的图像。依据下式对YUV图像的亮度进行调整，以实现向数据集中加入数据噪声：

其中，I和I_output分别为YUV图像调整前与调整后的亮度。mean为YUV图像的平均亮度。p为调整图像是变暗还是变亮的开关，是一个以概率取值的变量，当图像变暗调整时p＝-1，当图像变亮调整时p＝1。

即当图像越亮时，p＝-1的概率越大，即图像变暗调整的可能性越大；图像越暗时，p＝1的可能性更大，即图像变量调整的可能性越大。本实施方式的自适应亮度调整方法能够根据图像自身的亮度决定调整亮度的方向，对较暗图像倾向于向亮度提升的方向进行调整，反之亦然。同时显示了亮度边界条件，防止出现过暗或过曝图像影响训练。

第二、图像随机剪裁后重建

数据集的数据在训练之前需要统一调整为相同的尺寸，这个尺寸记为(H,W)。对于一张输入图像来说，图像分类任务领域内任务待分类图像的主体位于图像中心，因此需要对图像边缘进行随机剪裁，剪裁系数α_i∈(0,0.2)。

对数据集中尺寸为(H,W)的图像边缘进行随机剪裁，裁剪后的图像尺寸为((1-α₁-α₂)H,(1-α₃-α₄)W)，其中，α₁、α₂、α₃和α₄分别为图像四个边界的裁剪系数，且有α₁≠α₂≠α₃≠α₄，α_i∈(0,0.2)，i＝1,2,3,4，H和W分别为图像的高度和宽度。新图像的尺寸要小于原输入图像，因此再使用双线性插值，将图像扩充为尺寸(H,W)的重建图像。这样做的好处是可以在不损害图像主体本身的前提下对图像背景信息加入一定程度的噪声。

本实施方式能够让每一张图像在每一次迭代都随机的产生不同的图像噪声，而且可以根据图像自身的尺寸、亮度等信息决定图像噪声产生的方向和程度，即避免了人工添加噪声的单一性可能让模型学习到单一方向的图像特征，也避免了由于随机性导致图像过暗或过曝对训练过程造成影响。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims (6)

1.一种基于噪声自训练的铁路货车螺栓丢失检测方法，将被测图像输入至训练好的铁路货车螺栓丢失检测模型进行检测，获得检测结果，其特征在于，

所述铁路货车螺栓丢失检测模型的训练过程如下：

步骤一：利用数据集D_GT对模型M₅₀进行训练获得模型训练过程中模型M₅₀的第一层权重不变，所述模型M₅₀为在ImageNet数据集上经过预训练的骨干网络为Resnet-50的faster-rcnn模型，所述数据集D_GT为训练数据集D中人工标记的数据所构成的集合；

步骤二：对模型进行带有噪声的自训练获得模型/>训练过程中模型M₅₀的第一层权重不变；步骤二具体为：

利用模型在数据集D_U上进行推理，获得带有软标签的数据集/>所述数据集D_U为训练数据集D中除人工标记的数据外剩余数据所构成的集合，

在数据集和数据集D_GT中加入数据噪声分别获得数据集/>和数据集ND_GT，利用数据集D_T2对加入结构噪声的模型/>进行训练，获得模型/>

所述数据集

步骤三：采用逆向知识蒸馏法使模型M₁₀₁向模型学习，获得模型/>所述模型M₁₀₁为骨干网络为Resnet-101的faster-rcnn模型；步骤三为：

利用模型分别在数据集D_U和数据集D_GT上进行推理，分别获得带有软标签的数据集D_s和数据集/>所述数据集D_U为训练数据集D中除人工标记的数据外剩余数据所构成的集合，分别在数据集D_s、/>和D_GT中加入噪声获得数据集ND_s、/>和ND_GT，

将模型作为教师网络，将加入结构噪声的模型M₁₀₁作为学生网络，利用数据集D_T3采用知识蒸馏法对学生网络进行训练，获得模型/>

所述数据集

步骤四：对模型进行带有噪声的自训练获得模型M，将模型M作为铁路货车螺栓丢失检测模型，训练过程中模型/>的第一层权重不变；

步骤四具体为：

利用模型在数据集D_U上进行推理，获得带有软标签的数据集/>所述数据集D_U为训练数据集D中除人工标记的数据外剩余数据所构成的集合，

分别在数据集和数据集D_GT中加入数据噪声获得数据集/>和ND_GT，

利用数据集D_T4对加入结构噪声的模型进行训练，获得模型M，

所述数据集

训练数据集D为全部铁路货车螺栓丢失异常检测数据集，

在训练数据集D的正常数据集D_N中选取20％的数据进行人工标注，获得数据集

在训练数据集D的异常数据集D_A中选取20％的数据进行人工标注，获得数据集将数据集/>与数据集/>合并，获得数据集D_GT。

2.根据权利要求1所述的一种基于噪声自训练的铁路货车螺栓丢失检测方法，其特征在于，使用dropout作为结构噪声加入到模型中。

3.根据权利要求1所述的一种基于噪声自训练的铁路货车螺栓丢失检测方法，其特征在于，选择随机深度方法向模型M₁₀₁中加入结构噪声。

4.根据权利要求1所述的一种基于噪声自训练的铁路货车螺栓丢失检测方法，其特征在于，使用dropout作为结构噪声加入到模型中。

5.根据权利要求1、2、3或4所述的一种基于噪声自训练的铁路货车螺栓丢失检测方法，其特征在于，向数据集中加入的数据噪声的方法为：

将数据集中的RGB图像换为YUV图像，

依据下式对YUV图像的亮度进行调整，以实现向数据集中加入数据噪声：

其中，I和I_output分别为YUV图像调整前与调整后的亮度，mean为YUV图像的平均亮度，当图像变暗调整时p＝-1，当图像变亮调整时p＝1。

6.根据权利要求5所述的一种基于噪声自训练的铁路货车螺栓丢失检测方法，其特征在于，向数据集中加入数据噪声的方法还包括：

对数据集中尺寸为(H,W)的图像边缘进行随机剪裁，裁剪后的图像尺寸为((1-α₁-α₂)H,(1-α₃-α₄)W)，其中，α₁、α₂、α₃和α₄分别为图像四个边界的裁剪系数，且有α₁≠α₂≠α₃≠α₄，α_i∈(0,0.2)，i＝1,2,3,4，H和W分别为图像的高度和宽度，

然后将尺寸为((1-α₁-α₂)H,(1-α₃-α₄)W)的图像尺寸还原为(H,W)。