CN112699952B

CN112699952B - 基于深度学习的列车故障图像扩增方法及系统

Info

Publication number: CN112699952B
Application number: CN202110014058.1A
Authority: CN
Inventors: 石玮
Original assignee: Harbin Kejia General Mechanical and Electrical Co Ltd
Current assignee: Harbin Kejia General Mechanical and Electrical Co Ltd
Priority date: 2021-01-06
Filing date: 2021-01-06
Publication date: 2021-08-24
Anticipated expiration: 2041-01-06
Also published as: CN112699952A

Abstract

本发明公开了一种基于深度学习的列车故障图像扩增方法及系统，解决了现有技术中数据扩增无法做到故障形态特征的变化、且扩增后的分辨率较低、人工成本和时间成本高的技术问题，属于深度学习技术领域。其中，该方法包括：采集多个列车线阵图像，将多个线阵图像根据车型和故障位置制作成数据集；将数据集输入至初始图像扩增模型中进行训练，得到图像扩增模型；将待扩增子图像输入图像扩增模型，以生成扩增故障图像数据。本发明可生成分辨率高的图像且生成图像与原始图像非遮挡部分相似度极高，而遮挡部分具有显著的特征变化，同时，扩增高效快速、可信度较高。

Description

基于深度学习的列车故障图像扩增方法及系统

技术领域

本发明涉及深度学习技术领域，特别涉及一种基于深度学习的列车故障图像扩增方法及系统。

背景技术

现有数据扩增方法大多是基于图像处理的数据扩增、基于对抗神经网络的数据扩增、通过软件对图像进行处理扩增，但该类数据扩增均存在很多缺点，具体如下：

基于图像处理的数据扩增是目前主流的数据扩增方式，包括翻转、旋转、缩放、随机裁剪或补零、色彩抖动、加噪声等，虽数据扩增的方式具有多样性，但对于故障检测方面，基于图像处理的数据扩增无法做到故障形态特征的变化；

基于对抗神经网络的数据扩增是目前新兴的数据扩增方式，经过不断的改进和优化，已经可以生成与训练图像相似度极高的图像，但其在故障检测方面有以下两个劣势，一个是该方法目前仅可已生成分辨率较低的图像；另一个是生成图像与原图相似度极高，使得故障特征无变化；

通过软件对图像进行处理扩增是目前较为稳定的一种图像数据扩增的方式。在故障检测方面，以软件Photoshop为例，其可以根据真实故障形态，PS到无故障图像中，达到数据扩增的效果，但在实际应用中，具有以下两点不足，一个是人工成本和时间成本太高；另一个是PS的故障形态根据操作者思想的变化而变化，可信度不高。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于深度学习的列车故障图像扩增方法。

本发明的另一个目的在于提出一种基于深度学习的列车故障图像扩增系统。

为达到上述目的，本发明一方面实施例提出了基于深度学习的列车故障图像扩增方法，包括以下步骤：步骤S1，采集多个列车线阵图像，将多个线阵图像根据车型和故障位置制作成数据集；步骤S2，将数据集输入至初始图像扩增模型中进行训练，采集多个列车线阵图像，将多个线阵图像；步骤S3，将待扩增子图像输入图像扩增模型，以生成扩增故障图像数据。

本发明实施例的基于深度学习的列车故障图像扩增方法，通过两个平行网络模型可生成分辨率高的图像且生成图像与原始图像的非故障区域相似度极高，而故障区域具有显著的特征变化，同时，扩增高效快速、可信度较高。

另外，根据本发明上述实施例的基于深度学习的列车故障图像扩增方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，步骤S1具体包括：采集多个列车线阵图像，根据列车轴距信息将多个线阵图像拼接成完整列车图像；根据预设需求截取完整列车图像，得到子图图像；将子图图像中相同车型且同一位置含故障信息的子图进行统一缩放；将缩放后的子图进行灰度线性变换和高斯模糊滤波处理；将处理后的子图中故障区域进行标注，将标注后的子图组成数据集，其中，数据集中已标注区域为故障区域，未标注区域为非故障区域。

进一步地，在本发明的一个实施例中，预设需求为需要扩增的数据模块和/或零部件。

进一步地，在本发明的一个实施例中，初始图像扩增模型为权重共享的两个平行网络模型包括图像重建网络和图像生成网络，其中，图像重建网络由基于变分自编码器和对抗神经网络构成、图像生成网络的主体结构与图像重建网络的主体结构相同。

进一步地，在本发明的一个实施例中，步骤S2具体包括：将数据集输入至图像重建网络中，利用数据集获取故障区域的第一先验分布和第一特征向量，根据第一先验分布和第一特征向量重建故障区域以外的图像部分，得到原始图像；将数据集输入至图像生成网络中，利用数据集获取非故障区域的第二先验分布和第二特征向量，再利用第一先验信息与第一特征向量得到新特征向量，根据新特征向量生成相似原始图像，基于原始图像和相似原始图像，调整初始图像扩增模块的参数，得到图像扩增模型。

进一步地，在本发明的一个实施例中，步骤S2还包括：将待验证非故障区域输入图像生成网络中，生成多个与非故障区域相似、故障区域各特征均不相同的图像，则验证上述初始图像扩增模型训练完成。

为达到上述目的，本发明另一方面实施例提出了基于深度学习的列车故障图像扩增系统，包括：制作单元，用于采集多个列车线阵图像，将多个线阵图像根据车型和故障位置制作成数据集；训练单元，用于将数据集输入至权初始图像扩增模型中进行训练，得到图像扩增模型；扩增单元，用于将待扩增子图像输入图像扩增模型，以生成扩增故障图像数据。

本发明实施例的基于深度学习的列车故障图像扩增系统，通过两个平行网络模型可生成分辨率高的图像且生成图像与原始图像非故障区域相似度极高，而故障区域具有显著的特征变化，同时，扩增高效快速、可信度较高。

进一步地，在本发明第一个实施例中，制作单元进一步包括：采集子单元，用于采集多个列车线阵图像，根据列车轴距信息将多个线阵图像拼接成完整列车图像；截取子单元，用于根据预设需求截取完整列车图像，得到子图图像；缩放子单元，用于将子图图像中相同车型且同一位置含故障信息的子图进行统一缩放；处理子单元，用于将缩放后的子图进行灰度线性变换和高斯模糊滤波处理；标记子单元，用于将处理后的子图中故障区域进行标注，将标注后的子图组成数据集，其中，数据集中已标注区域为故障区域，未标注区域为非故障区域。

进一步地，在本发明第一个实施例中，初始图像扩增模型为权重共享的两个平行网络模型包括图像重建网络和图像生成网络，其中，图像重建网络由基于变分自编码器和对抗神经网络构成、图像生成网络的主体结构与图像重建网络的主体结构相同。

进一步地，在本发明第一个实施例中，训练单元进一步包括：第一训练单元，用于将数据集输入至图像重建网络中，利用数据集获取故障区域的第一先验分布和第一特征向量，根据第一先验分布和第一特征向量重建故障区域以外的图像部分，得到原始图像；第二训练单元，用于将数据集输入至图像生成网络中，利用数据集获取非故障区域的第二先验分布和第二特征向量，再利用第一先验信息与第一特征向量得到新特征向量，根据新特征向量生成相似原始图像，基于原始图像和相似原始图像，调整初始图像扩增模块的参数，得到图像扩增模型。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一个实施例的基于深度学习的列车故障图像扩增方法流程图；

图2是本发明一个实施例的基于变分自编码器和对抗神经网络的图像重建网络的主体结构示意图；

图3是本发明一个实施例的权重共享的两个平行网络模型结构示意图；

图4是本发明一个实施例的非故障区域图像；

图5是本发明一个实施例的权重共享的两个平行网络模型测试时输出的部分扩增故障图像；

图6是本发明一个实施例的基于深度学习的列车故障图像扩增系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于深度学习的列车故障图像扩增方法及系统，首先将参照附图描述根据本发明实施例提出的基于深度学习的列车故障图像扩增方法。

图1是本发明一个实施例的基于深度学习的列车故障图像扩增的方法流程图。

如图1所示，该基于深度学习的列车故障图像扩增方法包括以下步骤：

在步骤S1中，采集多个列车线阵图像，将多个线阵图像根据车型和故障位置制作成数据集。

进一步地，在本发明的一个实施例中，步骤S1具体包括：

采集多个列车线阵图像，根据列车轴距信息将多个线阵图像拼接成完整列车图像；

根据预设需求截取完整列车图像，得到子图图像；

将子图图像中相同车型且同一位置含故障信息的子图进行统一缩放；

将缩放后的子图进行灰度线性变换和高斯模糊滤波处理；

将处理后的子图中故障区域进行标注，将标注后的子图组成数据集，其中，数据集中已标注区域为故障区域，未标注区域为非故障区域。

需要说明的是，该数据集可为列车各个部件，例如转向架、车轮等等，本发明实施例中以转向架为例(附图4和5)，在此不做具体限定，本领域技术人员可根据实际情况构建不同部件的数据集，进而训练不同部件的图像扩增模型。

具体地，在铁轨两侧以及底部配备高清线阵成像设备，列车车头可通过触发传感器，启动成像设备对运动的列车进行逐行扫描，获取多个大小为1440*1440的高清线阵图像，而后根据列车的轴距信息将其拼接成完整列车图像；

根据列车轴距、车型和先验知识对列车需要扩增数据的模块或者零部件进行截取，得到子图图像，该子图图像的获取可以有效的节省数据扩增所需的时间和扩增数据的准确性。

进一步地，将子图图像中相同车型且同一位置含故障信息的子图进行统一缩放；将缩放后的图像随机进行灰度线性变换和高斯模糊滤波处理；将处理后的子图中故障区域通过LabelImg软件进行标注，将标注后的子图制作成数据集。

需要说明的是，由于列车数量和型号较为固定，且其真实故障图像具有未知性、异质性、稀有性和多样性，这些导致故障图像样本数量稀少且样本特征差异较大，无法送入检测模型进行训练，因此，需要对列车故障图像进行扩增，本发明通过下述步骤S2和步骤S3进行扩增，具体如下：

步骤S2中，将数据集输入至初始图像扩增模型中进行训练，得到图像扩增模型。

其中，初始图像扩增模型为权重共享的两个平行网络模型，由两个并行网络结构组成，一个是基于变分自编码器(VAE)和对抗神经网络(GAN)的图像重建网络、另一个是与基于变分自编码器和对抗神经网络的图像重建网络相似的图像生成网络。

进一步地，本发明的两个平行网络模型的具体结构为：

如图2所示，图像重建网络由基于变分自编码器VAE和对抗神经网络GAN组合构成，分为三个部分，一个编码器Encoder，一个生成器Generator和一个鉴别器Discriminator。其中，Encoder的作用是学习将输入x映射到特征空间z上，并在特征空间上得到输入x的先验分布；Generator的作用是根据特征空间以及先验分布信息生成新的图像；Discriminator的作用是判别输入图像是真实图像还是生成的图像。

图像生成网络该主体结构与图像重建网络主体结构相同，也由基于变分自编码器VAE和对抗神经网络GAN组合构成，同样分为三个部分，一个编码器Encoder，一个生成器Generator和一个鉴别器Discriminator。其中，Encoder的作用是学习将输入x映射到特征空间z上；Generator的作用是根据特征空间z以及在图像重建网络的特征空间z上得到的分布信息生成新的图像；Discriminator的作用是判别输入图像是真实图像还是生成的图像。

基于上述可知，步骤S2具体步骤可为：

将数据集输入至图像重建网络中，利用数据集获取故障区域的第一先验分布和第一特征向量，根据第一先验分布和第一特征向量重建故障区域以外的图像部分，得到原始图像；

将数据集输入至图像生成网络中，利用数据集获取非故障区域的第二先验分布和第二特征向量，再利用第一先验信息与第一特征向量得到新特征向量，根据新特征向量生成相似原始图像，基于原始图像和相似原始图像，调整初始图像扩增模块的参数，得到图像扩增模型。

具体地，权重共享的两个平行网络模型的两条框架同时训练且权重共享，且两个网络由于结构的差异和功能的差异，其均具有不同的损失函数，具体步骤如下：

定义原始图像为I_g，故障区域为I_c，非故障区域为I_m。

如图3所示，图像重建网络的工作原理为：

输入图像为I_c，通过编码器Encoder与一个残差块Residual Block卷积后得到特征向量(深灰)和先验分布信息(浅灰)；

通过生成器Generator重建图像；

通过判别器Discriminator进行二分类的判别。

该图像重建网络的目的为：将故障区域I_c通过图像重建网络来获取原始图像I_g中缺失部分的先验信息并完成图像的重建。

如图3所示，图像生成网络的工作原理为：

输入图像为I_m，通过一个编码器Encoder与七个残差块卷Residual Block积后得到特征向量；

根据在图像重建网络中得到的先验分布信息与在图像生成网络中得到的特征向量获得新的特征向量；

通过生成器Generator生成图像；

通过判别器Discriminator进行二分类判别。

图像生成网络的目的为，将非故障区域I_m通过图像生成网络来生成与原始图像I_g相似的图像。

进一步地，步骤S3在训练完成后，还得权重文件，通过权重文件进行测试，测试过程中，仅将非故障部分的图像输入图像生成网络中，生成多个与非故障区域相似、故障区域各特征均不相同的图像。

例如，如图4-5所示，向图像生成网络中输入图像I_m，输出部分结果，从图5中可知，本发明的权重共享的两个平行网络模型可以根据遮挡部位(故障区域)的不同生成与输入图像不同特征的图像，则验证上述初始图像扩增模型训练完成。

步骤S3中，将待扩增子图像输入图像扩增模型，以生成扩增故障图像数据。

综上，本发明实施例提出的基于深度学习的列车故障图像扩增方法，通过两个平行网络模型对无故障图像添加故障信息特征，可以很好的解决真实列车故障数据稀少的问题；同时，在故障检测方面，与传统图像增强相比，可以实现故障形态特征的变化，且图像分辨率较高、生成图像与原始图像非故障区域相似度极高；另外，与软件图像处理方式相比，可以高效快速的实现数据的扩增且生成的故障形态具有多样性和不确定性，提高了可信度。

其次参照附图描述根据本发明实施例提出的基于深度学习的列车故障图像扩增系统。

如图6所示，该系统10包括：制作单元100、训练单元200和扩增单元300。

其中，制作单元100用于采集多个列车线阵图像，将多个线阵图像根据车型和故障位置制作成数据集。训练单元200用于将数据集输入至初始图像扩增模型中进行训练，得到图像扩增模型。扩增单元300用于将待扩增子图像输入图像扩增模型，以生成扩增故障图像数据。

进一步地，在本发明的一个实施例中，制作单元100进一步包括：

采集子单元101，用于采集多个列车线阵图像，根据列车轴距信息将多个线阵图像拼接成完整列车图像；

截取子单元102，用于根据预设需求截取完整列车图像，得到子图图像，其中，预设需求为需要扩增的数据模块和/或零部件；

缩放子单元103，用于将子图图像中相同车型且同一位置含故障信息的子图进行统一缩放；

处理子单元104，用于将缩放后的子图进行灰度线性变换和高斯模糊滤波处理；

标记子单元105，用于将处理后的子图中故障区域进行标注，将标注后的子图组成数据集，其中，数据集中已标注区域为故障区域，未标注区域为非故障区域。

进一步地，在本发明的一个实施例中，训练单元200进一步包括：

第一训练单元201，用于将数据集输入至图像重建网络中，利用数据集获取故障区域的第一先验分布和第一特征向量，根据第一先验分布和第一特征向量重建故障区域以外的图像部分，得到原始图像；

第二训练单元202，用于将数据集输入至图像生成网络中，利用数据集获取非故障区域的第二先验分布和第二特征向量，再利用第一先验信息与第一特征向量得到新特征向量，根据新特征向量生成相似原始图像，基于原始图像和相似原始图像，调整初始图像扩增模块的参数，得到图像扩增模型。

另外，训练单元200还包括：将待验证非故障区域输入图像生成网络中，生成多个与非故障区域相似、故障区域各特征均不相同的图像，则验证上述初始图像扩增模型训练完成。

需要说明的是，前述对基于深度学习的列车故障图像扩增方法的实施例的解释说明也适用于该系统，此处不再赘述。

根据本发明实施例提出的基于深度学习的列车故障图像扩增系统，通过两个平行网络模型对无故障图像添加故障信息特征，可以很好的解决真实列车故障数据稀少的问题；同时，在故障检测方面，与传统图像增强相比，可以实现故障形态特征的变化，且图像分辨率较高、生成图像与原始图像非故障区域相似度极高；另外，与软件图像处理方式相比，可以高效快速的实现数据的扩增且生成的故障形态具有多样性和不确定性，提高了可信度。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种基于深度学习的列车故障图像扩增方法，其特征在于，包括以下步骤：

步骤S1，采集多个列车线阵图像，将所述多个线阵图像根据车型和故障位置制作成数据集；

步骤S2，将所述数据集输入至初始图像扩增模型中进行训练，得到图像扩增模型，其中，所述步骤S2具体包括：

将所述数据集输入至所述图像重建网络中，利用所述数据集获取故障区域的第一先验分布和第一特征向量，根据所述第一先验分布和所述第一特征向量重建故障区域以外的图像部分，得到原始图像；

将所述数据集输入至所述图像生成网络中，利用所述数据集获取非故障区域的第二先验分布和第二特征向量，再利用所述第一先验信息与所述第一特征向量得到新特征向量，根据所述新特征向量生成相似原始图像，基于所述原始图像和所述相似原始图像，调整所述初始图像扩增模块的参数，得到图像扩增模型；

步骤S3，将待扩增子图像输入所述图像扩增模型，以生成扩增故障图像数据。

2.根据权利要求1所述的基于深度学习的列车故障图像扩增方法，其特征在于，所述步骤S1具体包括：

采集多个列车线阵图像，根据列车轴距信息将所述多个线阵图像拼接成完整列车图像；

根据预设需求截取所述完整列车图像，得到子图图像；

将所述子图图像中相同车型且同一位置含故障信息的子图进行统一缩放；

将缩放后的子图进行灰度线性变换和高斯模糊滤波处理；

将处理后的子图中故障区域进行标注，将标注后的子图组成所述数据集，其中，所述数据集中已标注区域为故障区域，未标注区域为非故障区域。

3.根据权利要求2所述的基于深度学习的列车故障图像扩增方法，其特征在于，所述预设需求为需要扩增的数据模块和/或零部件。

4.根据权利要求1所述的基于深度学习的列车故障图像扩增方法，其特征在于，所述初始图像扩增模型为权重共享的两个平行网络模型包括图像重建网络和图像生成网络，其中，所述图像重建网络由基于变分自编码器和对抗神经网络构成、所述图像生成网络的主体结构与图像重建网络的主体结构相同。

5.根据权利要求1所述的基于深度学习的列车故障图像扩增方法，其特征在于，所述步骤S2还包括：

将待验证非故障区域输入所述图像生成网络中，生成多个与非故障区域相似、故障区域各特征均不相同的图像，则验证上述初始图像扩增模型训练完成。

6.一种基于深度学习的列车故障图像扩增系统，其特征在于，包括：

制作单元，用于采集多个列车线阵图像，将所述多个线阵图像根据车型和故障位置制作成数据集；

训练单元，用于将所述数据集输入至初始图像扩增模型中进行训练，得到图像扩增模型，其中，所述训练单元进一步包括：

第一训练单元，用于将所述数据集输入至所述图像重建网络中，利用所述数据集获取故障区域的第一先验分布和第一特征向量，根据所述第一先验分布和所述第一特征向量重建故障区域以外的图像部分，得到原始图像；

第二训练单元，将所述数据集输入至所述图像生成网络中，利用所述数据集获取非故障区域的第二先验分布和第二特征向量，再利用所述第一先验信息与所述第一特征向量得到新特征向量，根据所述新特征向量生成相似原始图像，基于所述原始图像和所述相似原始图像，调整所述初始图像扩增模块的参数，得到图像扩增模型；

扩增单元，用于将待扩增子图像输入所述图像扩增模型，以生成扩增故障图像数据。

7.根据权利要求6所述的基于深度学习的列车故障图像扩增系统，其特征在于，所述制作单元进一步包括：

采集子单元，用于采集多个列车线阵图像，根据列车轴距信息将所述多个线阵图像拼接成完整列车图像；

截取子单元，用于根据预设需求截取所述完整列车图像，得到子图图像；

缩放子单元，用于将所述子图图像中相同车型且同一位置含故障信息的子图进行统一缩放；

处理子单元，用于将缩放后的子图进行灰度线性变换和高斯模糊滤波处理；

标记子单元，用于将处理后的子图中故障区域进行标注，将标注后的子图组成所述数据集，其中，所述数据集中已标注区域为故障区域，未标注区域为非故障区域。

8.根据权利要求6所述的基于深度学习的列车故障图像扩增系统，其特征在于，所述初始图像扩增模型为权重共享的两个平行网络模型包括图像重建网络和图像生成网络，其中，所述图像重建网络由基于变分自编码器和对抗神经网络构成、所述图像生成网络的主体结构与图像重建网络的主体结构相同。