CN112598640B - 基于深度学习的注水口盖板丢失检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的注水口盖板丢失检测方法，解决现有人工检测效率低下，且容易造成故障的遗漏、误检等状况。本发明包括以下步骤：建立注水口盖板的图像训练集；获取目标卷积神经网络模型，其中，目标卷积神经网络模型包括改进的修正线性单元激活函数；通过图像训练集训练目标卷积神经网络模型得到训练好的目标卷积神经网络模型，其中，训练好的目标卷积神经网络模型包括最优参数权重；利用训练好的目标卷积神经网络模型检测待检测图像的注水口盖板是否丢失，若丢失，则发出报警信号。该方法实现故障自动报警替代了人工检测，提高了检测效率、准确率，不受人员的生理和心理影响，作业质量大幅度提高。

Description

基于深度学习的注水口盖板丢失检测方法

技术领域

本发明涉及列车故障检测技术领域，特别涉及一种基于深度学习的注水口盖板丢失检测方法。

背景技术

由于当前列车的故障检测方式还是以人工查看图像或者实地检查为主，这种方式效率低下，容易造成故障的遗漏，误检等状况，影响车辆行驶安全。

因此，故障自动识别技术在列车检测上意义重大，亟待一种能实现故障的自动报警，提高列车作业效率的故障检测方式。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种基于深度学习的注水口盖板丢失检测方法，该方法实现故障自动报警，提高动车作业效率。

为达到上述目的，本发明实施例提出了基于深度学习的注水口盖板丢失检测方法，包括以下步骤：步骤S1，建立注水口盖板的图像训练集和图像测试集；步骤S2，获取目标卷积神经网络模型，其中，目标卷积神经网络模型包括改进的修正线性单元激活函数；步骤S3，通过图像训练集训练目标卷积神经网络模型得到训练好的目标卷积神经网络模型，其中，训练好的目标卷积神经网络模型包括最优参数权重；步骤S4，利用训练好的目标卷积神经网络模型检测待检测图像的注水口盖板是否丢失，若丢失，则发出报警信号。

本发明实施例的基于深度学习的注水口盖板丢失检测方法，实现故障的自动报警，通过自动化代替人工检测，提高检测效率、准确率，不受人员的生理和心理影响，作业质量大幅提高，另外，通过对激活函数的改进提高了注水口盖板分类的准确率和速率。

另外，根据本发明上述实施例的基于深度学习的注水口盖板丢失检测方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，步骤S1进一步包括：获取列车侧部线阵图像，从动车侧部线阵图像中定位注水口盖板区域，获得多张注水口盖板原图图像；

利用图像处理算法对多张注水口盖板原图图像进行扩增，并标记出正常类和丢失类，利用标记后的注水口盖板原图图像建立训练集。

进一步地，在本发明的一个实施例中，图像处理算法包括旋转算法、平移算法和亮度处理算法。

进一步地，在本发明的一个实施例中，图像处理算法包括：

其中，f(x,y)为输入的注水口盖板图像，x和y分别为输入图像像素的行列坐标，f_rotate(x,y)为输入图像经旋转后的图像，f_light(x,y)为输入图像经亮度变化后的图像，f_translate(x,y)为输入图像经平移后的图像，G_value(x,y)为输入图像某点灰度值的大小，G_max(x,y)和G_min(x,y)分别为输入图像的最大灰度值和最小灰度值，w和h分别为注水口盖板图像的宽和高，c和γ为常数，α为图像旋转的角度，d_x、d_y分别为图像沿x方向和沿y方向平移的偏移量。

进一步地，在本发明的一个实施例中，步骤S3中改进的修正线性单元激活函数包括：单侧修正线性单元和双侧修正线性单元，其中，

单侧修正线性单元的公式为：

其中，x为输入值，c_min为常量，且c_min＜0，α为角度常量；

双侧修正线性单元的公式为：

其中，c_min和c_max为常量，且c_min＜0，c_max＞0，α和γ为角度常量。

进一步地，在本发明的一个实施例中，目标卷积神经网络模型的网络层中还包括原修正线性单元。

进一步地，在本发明的一个实施例中，原修正线性单元、单侧修正线性单元和双侧修正线性单元以间隔原则加入卷积神经网络模型的网络层中。

进一步地，在本发明的一个实施例中，步骤S3进一步包括：通过训练集训练目标卷积神经网络模型，得到多个权重值；选取Adam优化器对多个权重值进行梯度下降，利用softmax函数和交叉熵损失函数计算网络损失，再通过梯度反向传播不断更新权重参数，获得最优参数权重。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一个实施例的基于深度学习的注水口盖板丢失检测方法流程图；

图2是本发明一个实施例的注水口盖板扩增后训练图像示意图；

图3是本发明一个实施例的有无激活函数、线性和曲线分类示意图，(a)为未使用激活函数，(b)为使用激活函数，(c)为线性划分，(d)为曲线划分；

图4是本发明一个实施例的Relu激活函数图像；

图5是本发明一个实施例的S-Relu激活函数图像；

图6是本发明一个实施例的B-Relu激活函数图像；

图7是本发明一个实施例的改进后的卷积神经网络结构示意图；

图8是本发明一个实施例的具体故障分类检测流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于深度学习的注水口盖板丢失检测方法。

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施例之间或者实施例包括的特征之间可以相互组合。

图1是本发明一个实施例的基于深度学习的注水口盖板丢失检测方法流程图。

如图1所示，该基于深度学习的注水口盖板丢失检测方法包括以下步骤：

在步骤S1中，建立注水口盖板的图像训练集和图像测试集。

进一步地，在本发明的一个实施例中，步骤S1进一步包括：获取列车侧部线阵图像，从动车侧部线阵图像中定位注水口盖板区域，获得多张注水口盖板原图图像；利用图像处理算法对多张注水口盖板原图图像进行扩增，并标记出正常类和丢失类，利用标记后的注水口盖板原图图像建立训练集。

具体地，通过高清相机拍摄动车获取动车侧部线阵图像，收集注水口盖板图像。由于测试的铁路站点每天的过车数量较少，而且通过的车型比较固定，为了确保训练数据集的多样性、复杂性和稳定性，需要对现有的图像数量进行扩增操作。本发明实施例将通过多种图像处理算法对图像进行扩增，通过相机获取到的注水口盖板原图图像作为输入图像，采用平移、旋转、亮度变化等操作，使得一个图像变为多个图像，完成图像的扩增操作。所用的图像处理算法为：

设f(x,y)为输入的注水口盖板图像，x和y为输入图像像素的行列坐标，f_rotate(x,y)表示输入图像经旋转后的图像，f_light(x,y)表示输入图像经亮度变化后的图像，f_translate(x,y)表示输入图像经平移后的图像，G_value(x,y)为输入图像某点灰度值的大小，G_max(x,y)和G_min(x,y)为输入图像的最大灰度值和最小灰度值，所用公式如下：

其中，w和h为注水口盖板图像的宽和高，c和γ为常数，α为图像旋转的角度，d_x、d_y为图像平移偏移量。

需要说明的是，选择平移算法、旋转算法和亮度变化算法作为数据的扩增操作是非常具有实际意义的，对后续的分类提供了很好的鲁棒性。

具体地，首先平移处理会使得注水口盖板区域在整个图像中的位置发生变化，具体就是注水口盖板会左右移动，或上下移动，当然是需要出具体的平移偏移量d_x或d_y。实际获取注水口盖板图像时，是通过在一张大子图上截取一个小子图，小子图里面包含了注水口盖板的部件，注水口盖板在整个动车上的位置(假设从车头开始往后查像素)是固定的，但是因为列车速度不同的因素会导致在拍摄第一张大子图时(车头图像)每次都会发生移动，从而会导致后面的大子图也会发生移动，那么截取到的注水口盖板在小子图中的位置不固定。

例如，大子图的尺寸是1024×2048，该尺寸固定不变，假设从两个不同的列车，截取相同位置的注水口图像时，前一个车从大子图上x方向偏移100，y方向偏移100，给出宽和高，截取的小子图中注水口盖板图像正好在其中心位置，那么后一辆车采用相同的偏移截取到的小子图中的注水口盖板图像就不一定会在其中心，那就发生了偏移，因此需要将平移加入数据扩增中。

当图像发生偏移后，正常是用0像素值去填充移动后的位置，但是考虑到训练数据集中过多的0像素值对后续的分类提取特征会有影响，因此本发明采用双线性插值算法填充那些移动后的像素。

例如，如图2所示，给出了x方向的偏移量为10像素，输入图像的尺寸为128×128，给出的偏移量为正值，那么图像会向右平移10像素，那么正常来说左边后露出10×128的0像素，也就是黑图部分，本发明实施例采用双线性插值算法通过对黑图部分原有位置像素点灰度值和其临近像素点灰度值进行运算，会得出新的灰度值用来填充黑图部分，这样改动对后续的分类自动提取特征时有很大的作用。

其次亮度变化算法对数据集也很重要，相机拍摄的图像因外界天气原因总会导致每列车的亮度均有所不同，这个是无法避免的，α多样性。

最后旋转算法的应用与平移算法类似，列车在行驶中会产生震动，经过相机拍摄到的图像都会有轻微的改变，这种改变会导致采集到的图像有转动的现象发生。

本发明的图像扩增就是通过上述三种图像处理算法组合对输入图像操作，进而产生更多的图像的过程。通常情况下一张图像可以扩增成很多张图像，但有些扩增生成的图像是没有意义的，例如，经过相机获取到的注水口盖板图像的平均灰度值为80-160，如果使用亮度变化算法将图像的灰度值变为200，这就是不符合实际的，虽然前面要求训练所用数据集要尽可能的覆盖多种形态的图像，但是一张永远不可能出现的图片不应该放进数据集中的，若放进去也会影响模型的训练，可能会导致分类错误。

因此，本发明扩增的具体方法为：通过修改d_x和d_y生成平移图像，修改c和γ生成亮度图像，修改α生成旋转图像，开始做数据集时，上述三种算法扩增的图像比例应大致相同，且算法也可以不光只应用在输入图像上，例如，亮度算法可以通过平移后的图像进行亮度改变，旋转算法也可以通过亮度算法改变之后的图像进行操作等，利用这种方式使数据集越来越丰富，鲁棒性越来越好。另外，本发明后续会根据预测结果对数据集再进行调整，例如，通过数据集训练得到的权重进行预测后，若对于一些像素灰度值较低的图像分类效果不好，则利用上述方法再扩增一些与未识别图像灰度值相同或相似区间的图像，进而使分类的准确率达到更高。

在标记时，因为注水口盖板发生故障时只会有丢失和不丢失两种，所以分为两类一是正常，而是丢失。如图2所示，经过扩增后的部分注水口盖板训练数据，图中一共5行，前两行是注水口盖板正常时图片，后三行时注水口盖板丢失时图片。

在步骤S2中，获取目标卷积神经网络模型，其中，目标卷积神经网络模型包括改进的修正线性单元激活函数。

在步骤S3中，通过图像训练集训练目标卷积神经网络模型得到训练好的目标卷积神经网络模型，其中，训练好的目标卷积神经网络模型包括最优参数权重。

其中，本发明通过卷积神经网络来对数据集进行分类，其能够自动学习图像中的特征来进行分类，主要是由输入层、隐含层和输出层。在多层神经网络中，上层节点的输出和下层节点的输入之间存在着某种函数关系，叫做激活函数，本发明对修正线性单元(Relu)激活函数进行了改进。

首先，卷积神经网络中激活函数承担相当重要的角色，它是用来加入非线性因素的，来增加线性模型的表达力。如果没有激活函数，那么神经元的每一次输入都是上层输出，是一个线性函数，即输出y＝wx+b，无论网络有多少层，都是线性组合，相当于矩阵的乘积，网络就不够强大。如图3所示，(a)和(b)是个二分类问题，(a)未使用激活函数通过简单的逻辑回归线性只能用一条直线把黑和灰分开，效果不好；(b)加入了激活函数，可以用一条曲线把黑和灰分开，效果比(a)要好很多。同理(c)和(d)，前者是线性划分，后者时曲线划分，后者明显效果更好。卷积神经网络中加入激活函数后，能够学习到平滑的曲线来进行分类，而不是用复杂的直线逼近平滑来进行划分，从而使得网络的表达能力更强，更好的拟合目标函数。所以通过研究改进激活函数的方法，能很大程度上改进网络。

如图4所示，修正线性单元也成为Relu，是一个分段函数，其函数表达形式为：

f(x)＝max(0,x)

当输入x≤0，输出为0；若x＞0，则输出为x，即f(x)＝x(当x＞0时，β＝45°)。在卷积神经网络中可以理解为在输入为负时，神经元不会被激活，反之则神经元被激活，这就导致了神经元在传递过程中部分激活，使网络变得稀疏，计算时更加有效率。在卷积神经网络中Relu是一个比较常用的激活函数，它的优点是收敛速度快，较好的稀疏性，效率高，但也可能导致某些神经元永远不被激活，导致参数不更新，且当有大量的负值信息经过Relu时其值变为0，导致丢失了很多信息，会影响分类的准确率。

因此，本发明针对Relu激活函数的缺点进行改进，以完善网络性能，改进的修正线性单元激活函数包括：单侧修正线性单元(single Relu，S-Relu)和双侧修正线性单元(both Relu，B-Relu)，其中，

如图5所示，单侧修正线性单元S-Relu的公式为：

其中，x为输入值，c_min为常量，且c_min＜0，α为角度常量。

具体地，单侧修正线性单元S-Relu是对原修正线性单元的单侧负数部分进行改进，使用常量c_min控制输出的值，当x≥0时，f(x)＝x(β＝45°)，保证输入的正值不变；当c_min＜x＜0时，f(x)＝x·tanα，保证输入的负值不为0；当x≤c_min时，f(x)＝c_min，进而不会出现输出为0的情况，保证输入的信息不会严重丢失。

如图6所示，双侧修正线性单元B-Relu的公式为：

其中，c_min和c_max为常量，且c_min＜0，c_max＞0，α和γ为角度常量。

具体地，双侧修正线性单元B-Relu对原修正线性单元的的两侧均进行改进，当x≥c_max时，f(x)＝c_max；当0≤x＜c_max时，f(x)＝x·tanγ；当c_min＜x＜0时，f(x)＝c_min·tanα；当x≤c_min时，f(x)＝c_min，从而既能保证输入信息不丢失，也在一定程度上控制了梯度不过度分散，不存在梯度饱和区且梯度不会轻易消失，加快收敛速度，提高训练速度，增加了预测的准确率。

当训练网络时，将S-Relu和B-Relu加入到网络层中，但是为了保证网络有部分的稀疏性还有要加入Relu的，把这三种激活函数都运用到模型中去，则采用间隔原则，例如，如图7所示，当前神经元采用的激活函数是Relu，则上一层和下一层分别采用S-Relu和B-Relu，采用这样的方式使网络的鲁棒性和稀疏性更好，使模型能够更好的挖掘数据特征，更优的拟合数据。α和γ是按照先验知识来进行选择的，且不宜太大，初始化的tanα和tanγ取值在0.01左右，然后根据模型权重预测后的效果来进行适当的调整。然后选取Adam优化器使梯度快速下降，利用softmax函数和交叉熵损失函数计算网络的损失，通过梯度反向传播不断更新网络权重参数，把最优的(当损失函数最小且没有过拟合)权重保存下来以便于预测使用。

在步骤S3中，利用训练好的目标卷积神经网络模型检测待检测图像的注水口盖板是否丢失，若丢失，则发出报警信号。

具体地，如图8所示，加载卷积神经网络模型中的最优参数权重，判定图像测试集中的注水口盖板是否丢失，丢失则上报报警信息至报警平台，若未丢失，则迭代判定图像测试集中下一个图像是否丢失，直至图像测试集为空，即全部图像检测完成。

综上，本发明实施例提出的基于深度学习的注水口盖板丢失检测方法，根据获取相关图像信息定位注水口盖板部件区域，并对数据图像处理并扩增，建立注水口盖板图像训练集，搭建卷积神经网络模型，通过改进的修正线性单元Relu激活函数训练得到最优参数权重，提高了注水口盖板分类的准确率和速率，根据最优参数权重对注水口盖板部位进行分类检测，如发现丢失故障则自动上传报警，保证行车安全，该方法不仅实现故障的自动报警，还提高检测效率、准确率和作业效率，不再受人员的生理和心理影响。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种基于深度学习的注水口盖板丢失检测方法，其特征在于，包括以下步骤：

步骤S1，建立注水口盖板的图像训练集；

步骤S2，获取目标卷积神经网络模型，其中，所述目标卷积神经网络模型包括改进的修正线性单元激活函数，具体地，

所述改进的修正线性单元激活函数包括：单侧修正线性单元和双侧修正线性单元，其中，

所述单侧修正线性单元的公式为：

其中，x为输入值，c_min为常量，且c_min<0，α为角度常量；

所述双侧修正线性单元的公式为：

其中，c_min和c_max为常量，且c_min<0，c_max>0，α和γ为角度常量；

步骤S3，通过所述图像训练集训练所述目标卷积神经网络模型得到训练好的目标卷积神经网络模型，其中，所述训练好的目标卷积神经网络模型包括最优参数权重；

步骤S4，利用所述训练好的目标卷积神经网络模型检测待检测图像的注水口盖板是否丢失，若丢失，则发出报警信号。

2.根据权利要求1所述的基于深度学习的注水口盖板丢失检测方法，其特征在于，所述步骤S1进一步包括：

获取动车侧部线阵图像，从所述动车侧部线阵图像中定位注水口盖板区域，获得多张注水口盖板原图图像；

利用图像处理算法对所述多张注水口盖板原图图像进行扩增，并标记出正常类和丢失类，利用标记后的注水口盖板原图图像建立训练集。

3.根据权利要求2所述的基于深度学习的注水口盖板丢失检测方法，其特征在于，所述图像处理算法包括旋转算法、平移算法和亮度处理算法。

4.根据权利要求3所述的基于深度学习的注水口盖板丢失检测方法，其特征在于，所述图像处理算法包括：

其中，f(x,y)为输入的注水口盖板图像，x和y分别为输入图像像素的行列坐标，f_rotate(x,y)为输入图像经旋转后的图像，f_light(x,y)为输入图像经亮度变化后的图像，f_translate(x,y)为输入图像经平移后的图像，G_value(x,y)为输入图像某点灰度值的大小，G_max(x,y)和G_min(x,y)分别为输入图像的最大灰度值和最小灰度值，w和h分别为注水口盖板图像的宽和高，c和γ为常数，α为图像旋转的角度，d_x、d_y分别为图像沿x方向和沿y方向平移的偏移量。

5.根据权利要求1所述的基于深度学习的注水口盖板丢失检测方法，其特征在于，所述目标卷积神经网络模型的网络层中还包括原修正线性单元。

6.根据权利要求5所述的基于深度学习的注水口盖板丢失检测方法，其特征在于，所述原修正线性单元、所述单侧修正线性单元和所述双侧修正线性单元以间隔原则加入所述目标卷积神经网络模型的网络层中。

7.根据权利要求1所述的基于深度学习的注水口盖板丢失检测方法，其特征在于，所述步骤S3进一步包括：

通过所述训练集训练所述目标卷积神经网络模型，得到多个权重值；

选取Adam优化器对所述多个权重值进行梯度下降，利用softmax函数和交叉熵损失函数计算网络损失，再通过梯度反向传播不断更新权重参数，获得最优参数权重。

Images