CN116246114A

CN116246114A - 自监督脱轨自动装置拉环脱落图像异常检测方法及装置

Info

Publication number: CN116246114A
Application number: CN202310242289.7A
Authority: CN
Inventors: 姜鸿
Original assignee: Harbin Kejia General Mechanical and Electrical Co Ltd
Current assignee: Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date: 2023-03-14
Filing date: 2023-03-14
Publication date: 2023-06-09
Anticipated expiration: 2043-03-14
Also published as: CN116246114B

Abstract

本发明的一种自监督脱轨自动装置拉环脱落图像异常检测方法及装置，涉及一种图像检测方法及装置。目的是为了克服现有的深度学习对检测模型进行训练时，较依赖于异常数据的问题，方法具体步骤如下：步骤一、采集脱轨自动装置拉环所在区域的图像作为待检测图像；步骤二、将待检测图像输入至已训练的异常检测模型，获得待检测图像的评分，并在评分小于等于设定阈值时执行步骤三；其中，得到已训练的异常检测模型的步骤包括：将样本数据集送入卷积神经网络CNN中进行自监督学习；并且，自监督学习的代理任务为将正常的脱轨自动装置拉环和底座图像随机增强后粘贴到第一灰度图像中生成随机组合图像；步骤三、判断待检测图像异常。

Description

自监督脱轨自动装置拉环脱落图像异常检测方法及装置

技术领域

本发明涉及一种图像检测方法及装置。

背景技术

脱轨自动装置拉环大多存在于载重量七十吨以上的货车及特殊作业的改装货车，其脱落是一种危及行车安全的故障，在脱轨自动装置拉环脱落故障检测中，一般采用人工检查图像的方式进行故障检测。由于检车人员在工作过程中极易出现疲劳、遗漏等情况，造成漏检、错检的出现，影响行车安全。

采用图像自动识别的方式可提高检测效率和稳定性。近几年，随着深度学习与人工智能不断发展，在技术上不断成熟。因此采用深度学习进行脱轨自动装置拉环故障识别，有效地提高了检测准确率。

但是，现有的深度学习对检测模型进行训练时，较依赖于异常数据，因此需要在模型训练前期进行收集异常图像及手动模拟故障的工作，降低了检测工作效率，增加了检测前期的工作量。

发明内容

本发明的目的是为了克服现有的深度学习对检测模型进行训练时，较依赖于异常数据的问题，提供了一种自监督脱轨自动装置拉环脱落图像异常检测方法及装置。

本发明提供一种自监督脱轨自动装置拉环脱落图像异常检测方法，具体步骤如下：

步骤一、采集脱轨自动装置拉环所在区域的图像作为待检测图像；

步骤二、将待检测图像输入至已训练的异常检测模型，获得待检测图像的评分，并在评分小于等于设定阈值时执行步骤三；

其中，得到已训练的异常检测模型的步骤包括：

将样本数据集送入卷积神经网络CNN中进行自监督学习；

样本数据集包括不存在脱轨自动装置拉环的第一灰度图像和存在正常脱轨自动装置拉环的第二灰度图像；

并且，自监督学习的代理任务为将正常的脱轨自动装置拉环和底座图像随机增强后粘贴到第一灰度图像中生成随机组合图像；

正常的脱轨自动装置拉环和底座图像为从第二灰度图像中抠取得到；该正常的脱轨自动装置拉环和底座图像中，脱轨自动装置拉环放置在车轴上且与水平位置的倾斜角度小于等于±2°；

步骤三、判断待检测图像异常。

进一步地，步骤二中，得到已训练的异常检测模型的步骤还包括：

在中间模型上构建生成分类器；得到已训练的异常检测模型；

中间模型为将样本数据集送入卷积神经网络CNN中进行自监督学习所得到的模型。

进一步地，自监督学习的训练目标函数为：

l_cp＝E_x∈X{CE(g(x),0)+CE(g(CP(x)),1)}

其中，X是样本数据集，CP(·)是对抠取的正常的脱轨自动装置拉环和底座图像的随机增强，g是由深度网络参数化的二元分类器，CE(·,·)是交叉熵损失。

进一步地，步骤二二中，通过下式在中间模型上构建生成分类器：

其中，p_gde(.)是图形的高斯分布，x为样本数据集中的图像，μ是样本均值，Σ是协方差矩阵，f是中间模型。

进一步地，随机增强包括：亮度调整，旋转或平移中的一种或多种组合；

亮度调整是将正常的脱轨自动装置拉环和底座图像亮度调整为等于第一灰度图像亮度的平均灰度值；

旋转是将正常的脱轨自动装置拉环和底座图像的角度旋转10°～90°；

平移是将正常的脱轨自动装置拉环和底座图像为车轴范围进行平移。

本发明还提供一种自监督脱轨自动装置拉环脱落图像异常检测装置，包括待检测图像采集模块、图像检测模块和异常判断模块：

待检测图像采集模块，用于采集脱轨自动装置拉环所在区域的图像作为待检测图像；

图像检测模块，用于将待检测图像输入至已训练的异常检测模型，获得待检测图像的评分，并在评分小于等于设定阈值时，将评分送至异常判断模块；

其中，通过异常检测模型训练模块得到已训练的异常检测模型，异常检测模型训练模块包括自监督学习模块：

自监督学习模块，用于将样本数据集送入卷积神经网络CNN中进行自监督学习；

异常判断模块，用于根据评分判断待检测图像异常。

进一步地，异常检测模型训练模块还包括：

分类器构建模块，用于在中间模型上构建生成分类器；

进一步地，自监督学习模块中自监督学习的训练目标函数为：

l_cp＝E_x∈X{CE(g(x),0)+CE(g(CP(x)),1)}

进一步地，分类器构建模块中通过下式在中间模型上构建生成分类器：

进一步地，自监督学习模块包括随机增强模块，随机增强模块包括亮度调整模块，旋转模块和平移模块；

亮度调整模块，用于将正常的脱轨自动装置拉环和底座图像亮度调整为等于第一灰度图像亮度的平均灰度值；

旋转模块，用于将正常的脱轨自动装置拉环和底座图像的角度旋转10°～90°；

平移模块，用于将正常的脱轨自动装置拉环和底座图像为车轴范围进行平移。

本发明的有益效果是：

本方法不依赖于异常数据检查脱轨自动装置拉环脱落的故障，减少了收集异常图像及手动模拟故障的工作，提高了检测工作效率，减少了检测前期的准备工作量。

附图说明

图1为本发明中自监督学习的原理示意图；

图2为本发明的工作原理示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

具体实施方式一

本实施方式的自监督脱轨自动装置拉环脱落图像异常检测方法，具体步骤如下：

其中，得到已训练的异常检测模型的步骤包括：

将样本数据集送入卷积神经网络CNN中进行自监督学习；

步骤三、判断待检测图像异常。

具体实施方式二

本实施方式是对实施方式一的进一步说明，本实施方式的步骤二中，步骤二中，得到已训练的异常检测模型的步骤还包括：

具体实施方式三

本实施方式是对实施方式二的进一步说明，本实施方式的步骤二一中，自监督学习的训练目标函数为：

l_cp＝E_x∈X{CE(g(x),0)+CE(g(CP(x)),1)}

本实施方式的其他技术特征与实施方式二完全相同。

具体实施方式四

本实施方式对实施方式三的进一步说明，本实施方式的步骤二二中，通过下式在中间模型上构建生成分类器：

本实施方式的其他技术特征与实施方式三完全相同。

具体实施方式五

本实施方式是对实施方式四的进一步说明，本实施方式中，随机增强包括：亮度调整，旋转或平移中的一种或多种组合；

本实施方式的其他技术特征与实施方式四完全相同。

具体实施方式六

本实施方式的自监督脱轨自动装置拉环脱落图像异常检测装置，包括待检测图像采集模块、图像检测模块和异常判断模块：

异常判断模块，用于根据评分判断待检测图像异常。

具体实施方式七

本实施方式是对实施方式六的进一步说明，本实施方式中，异常检测模型训练模块还包括：

分类器构建模块，用于在中间模型上构建生成分类器；

本实施方式的其他技术特征与实施方式六完全相同。

具体实施方式八

本实施方式是对实施方式七的进一步说明，本实施方式中，自监督学习模块中自监督学习的训练目标函数为：

l_cp＝E_x∈X{CE(g(x),0)+CE(g(CP(x)),1)}

本实施方式的其他技术特征与实施方式七完全相同。

具体实施方式九

本实施方式是对实施方式八的进一步说明，本实施方式中，分类器构建模块中通过下式在中间模型上构建生成分类器：

本实施方式的其他技术特征与实施方式八完全相同。

具体实施方式十

本实施方式是对实施方式九的进一步说明，本实施方式中，自监督学习模块包括随机增强模块，随机增强模块包括亮度调整模块，旋转模块和平移模块；

本实施方式的其他技术特征与实施方式九完全相同。

具体实施例

本实施中，分别在货车轨道周围搭建高清成像设备，货车通过设备后，获取高清图像。通过硬件拍摄图像所采集到的轴距信息，结合轴距定位信息，截取出脱轨自动装置拉环所在区域的准确位置。将采集到的图像输入进检测框架进行自动识别，判断脱轨自动装置拉环是否存在脱落异常。若有异常则对其提示报警信息，提醒工作人员复核及检修，保证列车的安全行驶。

1、建立样本数据集

分别在货车轨道周围搭建高清设备，货车通过设备后，获取高清图像。图像为清晰的灰度图像。由于货车部件可能受到雨水、泥渍、油渍、黑漆等自然条件或者人为条件的影响。并且，不同站点拍摄的图像可能存在差异。因此，为保证图像的多样性，尽量将各种条件下的图像全部收集。

脱轨自动装置拉环仅存在于特殊车型，其余车型中不存在该部件。即：特殊车型与其余车型的图像差异在所识别区域范围仅体现为是否存在脱轨动装置拉环。

样本数据集包括：1、不存在脱轨自动装置拉环的灰度图像。2、存在脱轨自动装置拉环的灰度图像。

2、抠取脱轨自动装置拉环部件图像

将正常的脱轨自动装置拉环图像整体及底座利用ps技术单独抠取出来，作为素材。

3、构建网络识别框架

在脱轨自动装置拉环的故障检测中，将识别任务抽象为异常检测，为此，将识别框架概括为两个阶段：第一阶段是通过自监督学习方法，学习正常图像的表示，第二阶段是基于阶段一所学习到的图像表示构建出一个分类器。

3.1使用抠取的素材进行自监督学习

正常脱轨自动装置拉环的位置为与水平放置在车轴上，少量稍有倾斜(±2°)，脱轨自动装置拉环故障图像体现为与水平方向夹角大于10。或脱轨自动装置拉环丢失仅剩下底座。

为自动模拟故障，将抠取的素材进行随机增强，而后贴在不存在脱轨自动装置拉环的灰度图像(A)中。增强方式选择亮度，旋转，沿车轴方向平移。为了使模拟的故障图像更接近于真实故障图像，亮度调整应接近图像(A)的平均灰度值，旋转角度应在10°-90°之间，平移的区域为车轴范围。

自监督学习的训练目标函数定义为：

l_cp＝E_x∈X{CE(g(x),0)+CE(g(CP(x)),1)}

其中，X是正常数据集，CP(·)是对抠取素材的随机增强，g是一个由深度网络参数化的二元分类器。CE(·,·)是指交叉熵损失。

如图1所示，将正常样本送入卷积神经网络(CNN)中进行训练，并用抠取的素材随机粘贴到车轴任意位置，同样送到相同的卷积神经网络中进行训练，得到模型f。

3.2计算异常得分

3.1中在表示f上构建了生成分类器，分类阶段采用马氏距离及高斯密度估计器计算故障图像的得分，公式如下：

其中，p_gde(.)是图形的高斯分布，μ是样本均值，Σ是协方差矩阵，f是中间模型，μ和Σ是从正常数据训练中学习得到的。

如图2所示，结果是一个概率[0,1]，大于0.9以上的是正常,其余为故障。

3.3使用抠取的素材进行自监督定位学习

本实施例在3.1和3.2中定义了整体图像的表示方法，进行图像级的检测，但由于故障所存在位置固定(靠近车轮，且距离车轮150-200像素之间)，因此，能定位到故障区域更有利于检测。

为此，还可以将自监督的代理任务更新为学习抠取素材的图像表示，训练目标更新为：

E_x∈X{CE(g(c(x)),0)+CE(g(CP(c(x))),1)}

其中X是正常数据集，c(x)是抠取素材，CP(·)是对c(x)的随机增强，g是一个由深度网络参数化的二元分类器。CE(·,·)是指交叉熵损失。

测试时提取检测结果，将经过参数高斯密度估计器(GDE)分类器的异常得分的图像，经过高斯平滑并制作热力图，完成故障定位。

3.4去除多余误报警图像

根据3.3中的定位信息，将距离车轮两端150-200像素的图像定义为故障图像，将其他图像强制划分为正常图像。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他实施例中。

Claims

1.自监督脱轨自动装置拉环脱落图像异常检测方法，其特征在于，具体步骤如下：

步骤二、将待检测图像输入至已训练的异常检测模型，获得待检测图像的评分，并在所述评分小于等于设定阈值时执行步骤三；

其中，得到已训练的异常检测模型的步骤包括：

将样本数据集送入卷积神经网络CNN中进行自监督学习；

所述样本数据集包括不存在脱轨自动装置拉环的第一灰度图像和存在正常脱轨自动装置拉环的第二灰度图像；

并且，所述自监督学习的代理任务为将正常的脱轨自动装置拉环和底座图像随机增强后粘贴到第一灰度图像中生成随机组合图像；

所述正常的脱轨自动装置拉环和底座图像为从所述第二灰度图像中抠取得到；该正常的脱轨自动装置拉环和底座图像中，脱轨自动装置拉环放置在车轴上且与水平位置的倾斜角度小于等于±2°；

步骤三、判断所述待检测图像异常。

2.根据权利要求1所述的自监督脱轨自动装置拉环脱落图像异常检测方法，其特征在于，步骤二中，得到已训练的异常检测模型的步骤还包括：

所述中间模型为将样本数据集送入卷积神经网络CNN中进行自监督学习所得到的模型。

3.根据权利要求2所述的自监督脱轨自动装置拉环脱落图像异常检测方法，其特征在于，自监督学习的训练目标函数为：

l_cp＝E_x∈X{CE(g(x),0)+CE(g(CP(x)),1)}

4.根据权利要求3所述的自监督脱轨自动装置拉环脱落图像异常检测方法，其特征在于，步骤二二中，通过下式在中间模型上构建生成分类器：

5.根据权利要求4所述的自监督脱轨自动装置拉环脱落图像异常检测方法，其特征在于，随机增强包括：亮度调整，旋转或平移中的一种或多种组合；

所述亮度调整是将正常的脱轨自动装置拉环和底座图像亮度调整为等于第一灰度图像亮度的平均灰度值；

所述旋转是将正常的脱轨自动装置拉环和底座图像的角度旋转10°～90°；

所述平移是将正常的脱轨自动装置拉环和底座图像为车轴范围进行平移。

6.自监督脱轨自动装置拉环脱落图像异常检测装置，其特征在于，包括待检测图像采集模块、图像检测模块和异常判断模块：

图像检测模块，用于将待检测图像输入至已训练的异常检测模型，获得待检测图像的评分，并在所述评分小于等于设定阈值时，将所述评分送至异常判断模块；

所述自监督学习模块，用于将样本数据集送入卷积神经网络CNN中进行自监督学习；

异常判断模块，用于根据所述评分判断所述待检测图像异常。

7.根据权利要求6所述的自监督脱轨自动装置拉环脱落图像异常检测装置，其特征在于，异常检测模型训练模块还包括：

分类器构建模块，用于在中间模型上构建生成分类器；

8.根据权利要求7所述的自监督脱轨自动装置拉环脱落图像异常检测装置，其特征在于，自监督学习模块中自监督学习的训练目标函数为：

l_cp＝E_x∈X{CE(g(x),0)+CE(g(CP(x)),1)}

9.根据权利要求8所述的自监督脱轨自动装置拉环脱落图像异常检测装置，其特征在于，分类器构建模块中通过下式在中间模型上构建生成分类器：

10.根据权利要求9所述的自监督脱轨自动装置拉环脱落图像异常检测装置，其特征在于，自监督学习模块包括随机增强模块，随机增强模块包括亮度调整模块，旋转模块和平移模块；