CN110458794B - 用于轨道列车的配件质量检测方法及装置 - Google Patents

Abstract

本发明提供一种用于轨道列车的配件质量检测方法，其包含：采集轨道列车上待检修配件的图像信息，并将图像信息上传至检测模型；通过检测模型，对图像信息进行内容特征提取以及风格特征提取，通过待检修配件上的识别点判断待检修配件是否合格，得到质量检测结果。本发明能够对轨道列车上的配件进行质量检测，构建了可以实时检测零件图像信息的检测模型。本发明提供了关键配件检测工作的机器辅助，对零部件特征自动化采集，为检测工作添加一道保障，减轻检测工作量，提高检测的准确率，降低漏检的可能性，简化拍摄存储留底等工作流程。

Description

用于轨道列车的配件质量检测方法及装置

技术领域

本发明涉及质量监测领域，具体地说，涉及一种用于轨道列车的配件质量检测方法及装置。

背景技术

机车的检修及运用中，对关键配件的检测十分严格，人工检测工作量非常大，但是人工检测始终存在惯性思维导致的误检、漏检风险。动车关键部件在动车行驶过程中，起着至关重要的作用，关系到乘客的生命财产安全。

目前动车组关键配件的检测技术依赖于人工的审核，依靠多道人工审核工序，结合拍摄照片留底，保障配件安装的合格性，缺少智能检测环节，现有技术中，并不存在完善的、高效的、可实际应用的动车组零件检测方法。

因此，本发明提供了一种用于轨道列车的配件质量检测方法及装置。

发明内容

为解决上述问题，本发明提供了一种用于轨道列车的配件质量检测方法，所述方法包含以下步骤：

采集所述轨道列车上待检修配件的图像信息，并将所述图像信息上传至检测模型；

通过所述检测模型，对所述图像信息进行内容特征提取以及风格特征提取，通过所述待检修配件上的识别点判断所述待检修配件是否合格，得到质量检测结果。

根据本发明的一个实施例，所述方法还包含：构建所述检测模型，其中：

进行前期图片采集，通过图像采集设备，采集图片质量符合要求的多角度的配件图片信息；

对采集到的所述配件图片信息进行预处理，得到带有标签的图片训练集；

基于带有标签的图片训练集，对初始检测模型进行训练，得到具有深度学习框架的检测模型；

针对场景的变化衍生，对具有深度学习框架的检测模型进行迭代调优，得到所述检测模型。

根据本发明的一个实施例，得到所述配件图片信息的步骤中，还包含：

对采集到的图片进行筛选处理，其中，所述筛选处理包含：图像清晰度筛选以及关键点清晰度筛选；

将经过筛选处理后的图片进行分割处理，基于图像清晰度要求以及关键点清晰度要求分割为合格图片以及不合格图片，将所述合格图片作为所述配件图片信息。

根据本发明的一个实施例，得到带有标签的图片训练集的步骤中，还包含：

对所述配件图片信息进行约定标签处理，确定图片中的零件整体轮廓以及检测点位置；

对于经过预定标签处理的配件图片信息进行标签化处理，得到带有标签的图片训练集。

根据本发明的一个实施例，得到具有深度学习框架的检测模型的步骤中，还包含：

对带有标签的图片训练集进行数据清洗；

基于大数据框架，结合配件的检测角度范围构建初始检测模型；

基于经过数据清洗后的图片训练集，对所述初始检测模型进行深度学习训练，得到具有深度学习框架的检测模型。

根据本发明的一个实施例，对所述具有深度学习框架的检测模型进行迭代调优的步骤中，还包含：

在不同的场景下，分别对具有深度学习框架的检测模型进行调优处理，其中，所述场景包含不同的配件故障情况。

根据本发明的一个实施例，所述质量检测结果包含配件安装状态、卡控点状态以及错误类型。

根据本发明的一个实施例，进行配件质量检测的情况包含：检修人员进行配件更换任务后，审核人员进行人工审核后。

根据本发明的另一个方面，还提供了一种用于轨道列车的配件质量检测装置，所述装置包含：

采集模块，其用于采集所述轨道列车上待检修配件的图像信息，并将所述图像信息上传至检测模型；

检测模型，其配置为：

对所述图像信息进行内容特征提取以及风格特征提取，通过所述待检修配件上的识别点判断所述待检修配件是否合格，得到质量检测结果。

本发明提供的用于轨道列车的配件质量检测方法及装置，能够对轨道列车上的配件进行质量检测，构建了可以实时检测零件图像信息的检测模型。本发明提供了关键配件检测工作的机器辅助，对零部件特征自动化采集，为检测工作添加一道保障，减轻检测工作量，提高检测的准确率，降低漏检的可能性，简化拍摄存储留底等工作流程。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：

图1显示了根据本发明的一个实施例的用于轨道列车的配件质量检测方法流程图；

图2显示了根据本发明的一个实施例的用于轨道列车的配件质量检测方法中构建检测模型的流程图；

图3显示了根据本发明的一个实施例的用于轨道列车的配件质量检测方法中得到配件图片信息的流程图；

图4显示了根据本发明的一个实施例的用于轨道列车的配件质量检测方法中得到带有标签的图片训练集的流程图；

图5显示了根据本发明的一个实施例的用于轨道列车的配件质量检测方法中得到具有深度学习框架的检测模型的流程图；

图6显示了根据本发明的一个实施例的用于轨道列车的配件质量检测方法中构建检测模型的示意图；

图7显示了根据本发明的一个实施例的用于轨道列车的配件质量检测方法中训练检测模型的示意图；

图8显示了根据本发明的一个实施例的用于轨道列车的配件质量检测装置中采集模块工作流程图；以及

图9显示了根据本发明的一个实施例的用于轨道列车的配件质量检测装置结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明实施例作进一步地详细说明。

图1显示了根据本发明的一个实施例的用于轨道列车的配件质量检测方法流程图。

如图1所示，在步骤S101中，采集轨道列车上待检修配件的图像信息，并将图像信息上传至检测模型。

在步骤S102中，通过检测模型，对图像信息进行内容特征提取以及风格特征提取，通过待检修配件上的识别点判断待检修配件是否合格，得到质量检测结果。

在一个实施例中，通过如图2所示的方法，构建检测模型。如图2所示，在步骤S201中，进行前期图片采集，通过图像采集设备，采集图片质量符合要求的多角度的配件图片信息。

优选地，可以通过如图3所示的方法得到配件图片信息。如图3所示，在步骤S301中，对采集到的图片进行筛选处理，其中，筛选处理包含：图像清晰度筛选以及关键点清晰度筛选。

然后，在步骤S302中，将经过筛选处理后的图片进行分割处理，基于图像清晰度要求以及关键点清晰度要求分割为合格图片以及不合格图片，将合格图片作为配件图片信息。

如图2所示，在步骤S202中，对采集到的配件图片信息进行预处理，得到带有标签的图片训练集。

优选地，可以通过如图4所示的方法得到带有标签的图片训练集。如图4所示，在步骤S401中，对配件图片信息进行约定标签处理，确定图片中的零件整体轮廓以及检测点位置。

然后，在步骤S402中，对于经过预定标签处理的配件图片信息进行标签化处理，得到带有标签的图片训练集。

如图2所示，在步骤S203中，基于带有标签的图片训练集，对初始检测模型进行训练，得到具有深度学习框架的检测模型。

优选地，可以通过如图5所示的方法得到具有深度学习框架的检测模型。如图5所示，在步骤S501中，对带有标签的图片训练集进行数据清洗。数据清洗过程可以是：筛选有效数据(图片)，基本要求为图片清晰且识别点位于图片中易见，角度和距离多样化。

然后，在步骤S502中，基于大数据框架，结合配件的检测角度范围构建初始检测模型。

最后，在步骤S503中，基于经过数据清洗后的图片训练集，对初始检测模型进行深度学习训练，得到具有深度学习框架的检测模型。

如图2所示，在步骤S204中，针对场景的变化衍生，对具有深度学习框架的检测模型进行迭代调优，得到检测模型。

优选地，可以在不同的场景下，分别对具有深度学习框架的检测模型的进行调优处理，其中，场景包含不同的配件故障情况。

具体来说，初始检测模型包含基于数据流编程的符号数学系统架构，包含训练后的SAAE网络，其中，SAAE网络包含两个特征提取网络以及一个生成网络。

优选地，质量检测结果包含配件安装状态、卡控点状态以及错误类型。

具体来说，进行配件质量检测的情况包含：检修人员进行配件更换任务后，审核人员进行人工审核后。

如上所述，采用人工智能图像识别技术，通过对大量零部件照片进行训练学习，形成完善的技术模型，可以内置于检测APP中。在轨道列车应用现场，工作人员通过采集模块拍摄零部件图片上传至检测模型端即可识别部件是否安装合格。

图6显示了根据本发明的一个实施例的用于轨道列车的配件质量检测方法中构建检测模型的示意图。

在实施例中，采集模块可以采用便捷方便的智能移动设备，例如：手机(内置APP)、平板电脑(内置APP)、个人手持设备等。检测模型可以采用具备智能图片识别功能的AI模型端。

AI模型端主要用于图片识别，通过识别点判断配件是否合格。模型建设基本于深度学习的图像训练步骤，使用python(计算机程序设计语言，是面向对象的动态类型语言)实现算法及优化。建模过程可以概括为：采集、处理、训练以及推断，具体步骤如图6所示：

首先，通过采集模块对配件进行图片拍摄，所拍摄的图片需保证清晰(配件的轮廓和关键点清晰可见)且多角度。接着对拍摄的图片进行筛选，筛选的标准是图像需满足清晰度要求，图像的内容能保证显示明确的配件轮廓且配件的关键点清晰。

接着，将经过筛选处理后的图片进行分割处理，基于图像清晰度要求以及关键点清晰度要求分割为合格图片以及不合格图片，将合格图片作为配件图片信息。

然后，对配件图片信息进行预处理，预处理流程中，首先需要进行约定标签处理，确定图片中的零件整体轮廓以及检测点位置。然后，进行标签化处理，使用labelIng(图像标注工具)工具，得到带有标签的图片训练集。随后，输出配件图片信息的原图，附带XML(可扩展标记语言，标准通用标记语言的子集，是一种用于标记电子文件使其具有结构性的标记语言)标签，XML标签是根据定义的标签名及可能发生的情况，主要有合格和不合格两种。

接着，对于带有标签的图片训练集进行数据清洗。然后，基于大数据框架(Hadoop、Spark)，结合配件的检测角度范围构建初始检测模型。基于经过数据清洗后的图片训练集，对初始检测模型进行深度学习训练，得到具有深度学习框架的检测模型(Caffe、TensorFlow)，Caffe全称Convolutional Architecture for Fast Feature Embedding，是一种深度学习框架，可以应用在视频、图像处理方面的应用上。

然后，进行推断(部署/生产)，训练是优化模型的过程，类似人类通过案例来学一项技能，主要过程描述如下：在图像上抽取已知地物属性或物体特征的区域或少量像元，通过对这些像元图像特征的分析和统计，建立分类模型的过程。图像训练包含以下几个步骤：①选择训练区；②根据训练集数据计算各类别的统计参数，如类均值向量、方差、协方差矩阵、相关系数矩阵、类内误差平方和、类间误差平方和、类间距离等。具体所需的统计参数取决于所采用的分类方法。③计算每一特征的可分性度量函数。④计算分类函数，对训练区样本数据作预分类。根据预分类结果评价分类效果和判决函数的效能。推断又称推测，模型根据输入数据推测出可能性最高的结果作为输出。

在构建模型时会调优，模型会定期调优升级，调优指在不同的场景下，分别对具有深度学习框架的检测模型的进行调优处理，其中，场景包含不同的配件故障情况。

在一个实施例中，本发明功能支持tensorflow框架，支持keras(Keras是一个高层神经网络API，Keras由纯Python编写而成并基于Tensorflow、Theano以及CNTK后端。)深度学习框架，支持caffe/caffe2深度学习框架，支持torch(采用python语言接口来实现的技术框架)深度学习框架。

综上，本发明可以通过APP采集图片，标签化处理后形成训练集。可以以单张图片作为输入，实时AI识别判断配件是否正确安装，可以检测配件安装状态的同时检测卡控点状态，当发生未正确安装的情况，机器提示错误类型。能够针对判断结果能够人工干预，并进行数据的自动迭代，达到提高识别率的效果。并且在图片清晰、光照充足、零件位于照片中心位置、识别部位清晰可见的前提下，可高度识别检测配件。

图7显示了根据本发明的一个实施例的用于轨道列车的配件质量检测方法中训练检测模型的示意图。

检测模型进行图像识别分以下几步：信息的获取、预处理、特征抽取和选择、分类器设计和分类决策。信息的获取是指通过传感器，将光或声音等信息转化为电信息。也就是获取研究对象的基本信息并通过某种方法将其转变为机器能够认识的信息。

其中，预处理主要是指图像处理中的去噪、平滑、变换等的操作，从而加强图像的重要特征。特征抽取和选择是指在模式识别中，需要进行特征的抽取和选择。图像是各式各样的，如果要利用某种方法将它们区分开，就要通过这些图像所具有的本身特征来识别，而获取这些特征的过程就是特征抽取。在特征抽取中所得到的特征也许对当前的识别并不都是有用的，需要提取有用的特征，是特征的选择过程。

分类器设计是指通过训练而得到一种识别规则，通过此识别规则可以得到一种特征分类，使图像识别技术能够得到高识别率。分类决策是指在特征空间中对被识别对象进行分类。

在一个实施例中，首先进行模型初始化：基于tensorflow架构，采用卷积神经网络(CNN)模式进行训练。

卷积神经网络(CNN)在特征表征和图像生成方面具有巨大的优势，本发明提出的SAAE网络基于CNN架构。

具体来说，提出的SAAE网络中包含两个特征提取网络流程(内容特征提取网络以及风格特征提取网络)，后再跟上一个生成网络。内容特征提取网络和风格特征提取网络都有三个无下采样的卷积层，能尽可能多地保留图像的细节信息。输入的风格图像和内容图像可能有不同的尺寸。

例如，当生成场景文本字符图像时，内容图像是含有一个字符的图像，风格图像是含有一个词或多个字符的图像。在三个卷积层之后，风格特征图(feature map)的形状会由一个全连接层重新调整为风格特征向量。为了与根据内容图像解码得到的内容特征图拼接到一起，风格特征向量需要重新调整回一个特征图，且该特征图与内容特征图具有一样的尺寸。

内容特征提取网络没有全连接层，因为内容图像的二维空间信息需要保留。在通道维度中合并内容特征图和风格特征图，组合后的特征图有一半通道来自内容特征，另一半则来自风格特征。之后，SAAE网络中的生成网络使用三个卷积层将组合后的特征图解码成一张目标字符图像。

SAAE网络中的鉴别网络用于图片分类，是一个CNN分类器，包含三个卷积层，其中第一个卷积层后有一个2×2最大池化层，最后一个卷积层后有两个全连接层。鉴别器的输出层是一个(k+1)维的向量，表示输入图像属于每个类别的概率(真实图像有k类，虚假图像占1类)。

在鉴别网络的每个卷积层上都应用了批归一化，能加快训练阶段的收敛速度。除最后一层之外的每一层都使用了Leaky ReLU(修正线性单元)，最后一层使用了sigmoid(函数)来将每个输出投射到[0,1]区间中(作为概率)。

图8显示了根据本发明的一个实施例的用于轨道列车的配件质量检测装置中采集模块工作流程图。

首先，进行任务创建，由检修员到现场作业，发现需要更换的零件在移动设备的APP端创建任务，创建后任务流转到材料员。此时只有创建者自己和材料员可见，其他人不可见。

接着，进行任务派送，由材料员将新配件派送到指定位置后，提交任务，任务状态更新为“已派送”，此时任务流转到检修员。

然后，进行任务维修，检修员将新配件更换后，拍照上传至AI模型进行检测，提交任务，此时任务流转到班长。提交后维修照片将存储到APP后台。

接着，进行任务回收，材料员取回旧零件后，提交任务，任务状态更新为“已回收”，此时任务流转到班长或质检员(回收、班长审核可以同步进行)。

然后，进行班长审核，班长到现场检查作业，结合维修员上传的照片、现场实际情况添加备注，提交后将备注信息和备注照片存储到APP后台，任务状态更新为“班长已审核”，此时任务流转到质检员。

接着，进行质检审核，质检员审核到现场检查作业，对已维修的任务拍照上传至AI模型进行检测，质检员结合班长审核结果、AI检测结果、维修照片作出判断，需要重新维修的任务线下通知检修员重新维修，提交后状态更新为“质检已审核”，需要重新维修的任务需流转到车间领导进一步确认，不需重新维修的任务不需领导进一步确认。

最后，领导审核，质检员判断不需重新维修的任务，质检申领后任务状态更新为已完成，重新维修的任务需要车间领导再次确认，领导申领后后任务状态更新为“已完成”，已完成的任务所有人不能再次操作，只能查看。

本发明的一个实施例中，配件质量检测装置由APP端和AI模型端组成。通过实时接口交互，APP端对拍摄的图像不进行处理，压缩之后上传到模型端，然后模型端进行检测后向APP端输出检测结果，其中检测结果包含配件安装状态、卡控点状态以及错误类型。弥补了审核环节中缺少机检的风险，分担了质检工作线上管理的工作。现有技术的检测缺少AI检测环节，依靠工人的经验知识来主观判断，存在遗漏或惯性思维风险误识风险。

图9显示了根据本发明的一个实施例的用于轨道列车的配件质量检测装置结构框图。如图9所示，配件质量检测装置900包含采集模块901以及检测模型902。

其中，采集模块901用于采集轨道列车上待检修配件的图像信息，并将图像信息上传至检测模型。

检测模型902配置为：对图像信息进行内容特征提取以及风格特征提取，通过待检修配件上的识别点判断待检修配件是否合格，得到质量检测结果。

综上，本发明提供的用于轨道列车的配件质量检测方法及装置，能够对轨道列车上的配件进行质量检测，构建了可以实时检测零件图像信息的检测模型。本发明提供了关键配件检测工作的机器辅助，对零部件特征自动化采集，为检测工作添加一道保障，减轻检测工作量，提高检测的准确率，降低漏检的可能性，简化拍摄存储留底等工作流程。

应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构、处理步骤或材料，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种用于轨道列车的配件质量检测方法，其特征在于，采用人工智能图像识别技术，通过对大量零部件照片进行训练学习，形成完善的检测模型，内置于检测APP中，在轨道列车应用现场，工作人员通过智能移动设备拍摄零部件图片上传至检测模型端即可识别部件是否安装合格，所述方法包含以下步骤：

采集所述轨道列车上待检修配件的图像信息，并将所述图像信息上传至检测模型；

通过所述检测模型，对所述图像信息进行内容特征提取以及风格特征提取，通过所述待检修配件上的识别点判断所述待检修配件是否合格，得到质量检测结果，其中，所述质量检测结果包含配件安装状态、卡控点状态以及错误类型；

初始的所述检测模型包含基于数据流编程的符号数学系统架构，包含训练后的SAAE网络，其中，SAAE网络包含两个特征提取网络以及一个生成网络，两个特征提取网络分别为内容特征提取网络以及风格特征提取网络；

当生成场景文本字符图像时，内容图像是含有一个字符的图像，风格图像是含有一个词或多个字符的图像，内容特征提取网络和风格特征提取网络都有三个无下采样的卷积层，在风格特征提取网络的三个卷积层之后，风格特征图的形状会由一个全连接层重新调整为风格特征向量，内容特征提取网络没有全连接层，在内容特征提取网络的三个卷积层之后输出内容特征图，在通道维度中合并内容特征图和风格特征图，组合后的特征图有一半通道来自内容特征，另一半则来自风格特征，之后，SAAE网络中的生成网络使用三个卷积层将组合后的特征图解码成一张目标字符图像。

2.如权利要求1所述的方法，其特征在于，所述方法还包含：构建所述检测模型，其中：

进行前期图片采集，通过图像采集设备，采集图片质量符合要求的多角度的配件图片信息；

对采集到的所述配件图片信息进行预处理，得到带有标签的图片训练集；

基于带有标签的图片训练集，对初始检测模型进行训练，得到具有深度学习框架的检测模型；

针对场景的变化衍生，对具有深度学习框架的检测模型进行迭代调优，得到所述检测模型。

3.如权利要求2所述的方法，其特征在于，得到所述配件图片信息的步骤中，还包含：

对采集到的图片进行筛选处理，其中，所述筛选处理包含：图像清晰度筛选以及关键点清晰度筛选；

将经过筛选处理后的图片进行分割处理，基于图像清晰度要求以及关键点清晰度要求分割为合格图片以及不合格图片，将所述合格图片作为所述配件图片信息。

4.如权利要求2所述的方法，其特征在于，得到带有标签的图片训练集的步骤中，还包含：

对所述配件图片信息进行约定标签处理，确定图片中的零件整体轮廓以及检测点位置；

对于经过预定标签处理的配件图片信息进行标签化处理，得到带有标签的图片训练集。

5.如权利要求2所述的方法，其特征在于，得到具有深度学习框架的检测模型的步骤中，还包含：

对带有标签的图片训练集进行数据清洗；

基于大数据框架，结合配件的检测角度范围构建初始检测模型；

基于经过数据清洗后的图片训练集，对所述初始检测模型进行深度学习训练，得到具有深度学习框架的检测模型。

6.如权利要求2所述的方法，其特征在于，对所述具有深度学习框架的检测模型进行迭代调优的步骤中，还包含：

在不同的场景下，分别对具有深度学习框架的检测模型进行调优处理，其中，所述场景包含不同的配件故障情况。

7.如权利要求1-6中任一项所述的方法，其特征在于，进行配件质量检测的情况包含：检修人员进行配件更换任务后，审核人员进行人工审核后。

8.一种用于轨道列车的配件质量检测装置，其特征在于，执行如权利要求1-7中任一项所述的方法，所述装置包含：

采集模块，其用于采集所述轨道列车上待检修配件的图像信息，并将所述图像信息上传至检测模型；

检测模型，其配置为：

对所述图像信息进行内容特征提取以及风格特征提取，通过所述待检修配件上的识别点判断所述待检修配件是否合格，得到质量检测结果。

Images