CN110599469A - 一种动车组关键部位的缺陷检测方法、系统及电子设备 - Google Patents

Abstract

本发明实施例提供一种动车组关键部位的缺陷检测方法、系统及电子设备，还方法包括：获取由图像采集设备采集的检测图像；将检测图像输入至部件检测子模型，获取由部件检测子模型输出的与检测图像对应的关键部位类别及关键部位位置图像；将关键部位位置图像输入至缺陷分类子模型，获取由缺陷分类子模型输出的缺陷部件的定位及缺陷类别信息；部件检测子模型和缺陷分类子模型构成多通道缺陷检测模型。本发明实施例提供的一种动车组关键部位的缺陷检测方法系统及电子设备，无需图片预处理和手动设计需提取的特征，节省了人力物力，且有效的解决了缺陷分类易混淆的技术难题，提高了检测精度。

Description

一种动车组关键部位的缺陷检测方法、系统及电子设备

技术领域

本发明涉及检验检测技术领域，尤其涉及一种动车组关键部位的缺陷检 测方法、系统及电子设备。

背景技术

随着我国经济的发展以及城市化建设的高速发展，轨道交通也得到了迅 猛发展，预计到2030年，动车组的保有量将达到5000标准组以上，居世界 第一。动车组运行的速度、时间跨度以及空间跨度因素决定了对其进行安全 检测的必要性和复杂性。

目前，对于动车组的缺陷检测，尤其是关键部位缺陷的检测，所采用的 主要的检测方法是基于传统机器学习以及基于图像的深度学习方法。其中， 传统的机器学习方法是根据缺陷表面材质差异运用边缘检测、形态学、图像 滤波、图像金字塔等手段手动提取局部特征，常结合支持向量机等浅层分类 网络实现缺陷类别划分。在深度学习方法中，由于卷积神经网络 (Convolutional Neural Network，CNN)出色的自动提取特征能力，目前已成 为特征提取的主流方法，将计算机视觉领域的图像分类、目标检测、语义分 割等任务迁移到铁路场景中，完成对某些特定缺陷检测问题实现自动检测。

但是，上述对于动车组的缺陷检测均存在不同程度的缺陷，主要表现在： 当采用传统机器学习方法进行缺陷检测时，需要针对不同的场景对象，手动 设计需要提取的特征、费时费力，而且由于需要操作人员对缺陷类型具有深 入的专业知识，从而导致面对新问题时无法泛化。当采用基于深度学习方法 中的图像分类方法进行缺陷检测时，由于需要在分析前对图像进行分割预处 理工作，从而仅适用于某些部件出现在图像固定位置的任务，否则处理难度 大，处理效果差甚至不能处理。当采用基于深度学习方法中的目标检测方法 进行缺陷检测时，由于其仅适用于缺陷类别间差异明显的情形，当差异较小 时会导致部分缺陷类别检测效果不佳的问题。

因此，提供一种操作简单、适应面广且缺陷分辨率高的动车组关键部位 缺陷检测方法及系统成为现阶段亟需解决的技术问题。

发明内容

本发明实施例提供一种动车组关键部位的缺陷检测方法、系统及电子设 备，用以解决现有技术中利用传统机器学习方法进行动车组关键部位的缺陷 检测时，需要对场景线性手动设计提取特征，费时费力的缺陷；以及解决现 有技术中利用基于深度学习方法进行缺陷检测时，需要对图像进行分割预处 理以及适用性差、检测精度低的缺陷。

第一方面，本发明实施例提供一种动车组关键部位的缺陷检测方法，包 括：获取由图像采集设备采集的检测图像；将获取的检测图像输入至部件检 测子模型，获取由该部件检测子模型输出的与检测图像对应的关键部位类别 信息及关键部位位置图像；将获取的关键部位位置图像输入至缺陷分类子模 型，获取由该缺陷分类子模型输出的缺陷部件的定位及缺陷类别信息；其中， 部件检测子模型和缺陷分类子模型构成多通道缺陷检测模型。

第二方面，本发明实施例提供一种视频输出模式切换设备，包括：图像 采集设备和图像处理设备；图像采集设备用于获取检测图像，并将检测图像 输入至所述图像处理设备；图像处理设备至少包括多通图道缺陷检测模型运 算单元，该多通道缺陷检测模型运算单元包括：部件检测子模型运算单元和 缺陷分类子模型运算单元；部件检测子模型运算单元用于根据检测图像，输 出与检测图像对应的关键部位类别信息以及关键部位位置图像；缺陷分类子 模型运算单元用于根据关键部位类别信息以及关键部位位置图像，输出缺陷部件的定位及缺陷类别信息。

第三方面，本发明实施例提供一种用于动车组关键部位的缺陷检测的电 子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算 机程序，该处理器执行程序时实现如上述第一方面动车组关键部位的缺陷检 测方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上 存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面动 车组关键部位的缺陷检测方法的步骤。

本发明实施例提供的一种动车组关键部位的缺陷检测方法系统及电子设 备，通过获取包含有动车组关键部位的检测图像，并利用多通道缺陷检测模 型对该检测图像进行分析，获取到与该检测图像所对应的关键部位类别信息、 缺陷部件的定位及缺陷类别信息，无需图片预处理和手动设计需提取的特征， 节省了人力物力，且有效的解决了缺陷分类易混淆的技术难题，提高了检测 精度，为动车组的维修、维护提供了准确的信息，节省了大量的人力物力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下 面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在 不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的动车组关键部位的缺陷检测方法流程示意 图；

图2为本发明实施例提供的动车组关键部位的缺陷检测方法中多通道缺 陷检测模型检测流程图；

图3为本发明实施例提供的动车组关键部位的缺陷检测方法中多通道缺 陷检测模型又一检测流程图；

图4为本发明实施例提供的动车组关键部位的缺陷检测系统的结构示意 图；

图5为本发明实施例提供的动车组关键部位的缺陷检测系统中多通道缺 陷检测模型运算单元的结构示意图；

图6为本发明实施例提供的用于动车组关键部位的缺陷检测的电子设备 的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发 明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获 得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供一种动车组关键部位的缺陷检测方法， 其特征在于，包括但不限于以下步骤：

步骤S1，获取由图像采集设备采集的检测图像；

步骤S2，将检测图像输入至部件检测子模型，获取由部件检测子模型输 出的与检测图像对应的关键部位类别信息以及关键部位位置图像；

步骤S3，将关键部位位置图像输入至缺陷分类子模型，获取由缺陷分类 子模型输出的缺陷部件的定位及缺陷类别信息；

其中，部件检测子模型和缺陷分类子模型构成多通道缺陷检测模型。

其中，检测图像的获取可以是通过人工基于经验，对动车组中可能存在 缺陷的大致部位进行拍摄获取的；也可以是按照日常制定的点巡检计划中的 规定，对易产生缺陷、故障的部位进行自动拍摄。比如：转向架、制动系统 中的刹车盘、列车齿轮箱、动车组弹簧以及动车组走形系统等，由于在运行 的过程中存在着磨损，而它们在动车组运行过程中的安全与可靠性方面又起 着至关重要的作用，因此，可以在动车组进站后，利用适当的图像采集设备 对这些重点部位进行图像采集，获取各部位的检测图像。

需要说明的是：本发明实施例对于采用何种图像采集设备以及何种拍摄 手段等，不作具体地限定，可以是使用手持相机、手机等在动车组进站后拍 摄；在也可以是通过高速图像采集相机在动车组运行过程中进行抓拍等。另 外，本实施例提供的动车组关键部位的缺陷检测方法，区别于目前的基于深 度学习的图像分析方法，本实施例不对所获取到的检测图像的像素、尺寸等 进行具体地限定。

具体地，如图2所示，本发明实施例提供的动车组关键部位的缺陷检测 方法，主要是利用预先建立并完成了预训练的多通道缺陷检测模型，完成对 输入的检测图像的分析，以准确的判断、获取到每个检测图像所对应的动车 组部件的缺陷位置以及缺陷的类别信息。

其中，多通道缺陷检测模型至少包括两个部分，即部件检测子模型和缺 陷分类子模型。

其中，部件检测子模型用于对输入的动车组关键部位的检测图像进行分 析，获取到此张检测图像所能够反映出来的所有关于动车组的关键部位的关 键部位类别信息，以及每个关键部位所在位置的信息图像，即可以获取到一 个或多个关键部位位置图像。其中关键部位类别信息可以是包括：转向轮、 制动盘、动车组弹簧、牵引装置、各类螺栓等类别信息。相应地，关键部位 位置图像则是在上述检测图像中，截取到上述关键部位所在位置的图像，即 转向轮图像、制动盘图像、动车组弹簧图像、牵引装置图像、各类螺栓图像 等。

进一步地，比如，将检测图像输入到部件检测子模型后，经过部件检测 子模型的运算，获取到该检测图像包含了一个或多个关键部位(比如是转向 轮)，则输出的该关键部位类别信息为转向轮，输出的关键部位位置图像则 是该检测图像中，转向轮所在位置的放大图片。

进一步地，将部件检测子模型输出的一个或多个关键部位位置图像输入 至缺陷分类子模型中，缺陷分类子模型对每个关键部位位置图像进行分析运 算，分析该关键部位是否存在缺陷，若存在缺陷时，则在相应的关键部位位 置图像中定位出该缺陷的具体位置，并同时输出所检测出的缺陷的类别信息。

以关键部位位置图像为转向轮位置信息图像为例，当将转向轮位置信息 图像输入至缺陷分类子模型后，首先缺陷分类子模型分析该转向轮是否存在 缺陷，当不存在缺陷时，输出结果表明该对该检测图像的检测结果为正常； 当检测结果为不正常时，输出该转型轮存在缺陷的具体位置信息以及该缺陷 的类别信息。

需要说明的是，缺陷类别信息是指与关键部位相对应的缺陷信息，比如： 当关键部位类别信息包括：转向轮、制动盘、动车组弹簧、牵引装置、各类 螺栓等信息时，相应地，缺陷类别信息则可以是：转向轮存在裂纹、油污、 破损等；制动盘存在裂纹、油污、磨损严重等；动车组弹簧存在形变失常、 损坏等、牵引装置存在裂纹、油污等；螺栓出现松脱、裂纹、脱落等，对此 本实施例不作具体地限定。

综上所述，本发明实施例提供的动车组关键部位的缺陷检测方法，在获 取包含有动车组关键部位的检测图像后，通过对该检测图像进行分析，获取 到与该检测图像所对应的关键部位类别信息、缺陷部件的定位及缺陷类别信 息，无需图片预处理和手动设计需提取的特征，节省了人力物力，且有效的 解决了缺陷分类易混淆的技术难题，提高了检测精度。

由于每个检测图像上所包含的关键部位的具体数目不是确定的，但为了 描述方便，在以下所有实施例中，均以每个检测图像上存在且仅存在一个关 键部位为例进行说明。例如在图2或图3上示出的检测图像上是包含有3个 关键部位，但为了描述方便，在以下所有实施例的描述中，均以该检测图像 上包含1个关键部位进行说明，对此将不再一一赘述。

基于上述实施例的内容，作为一种可选实施例，本实施例提供一种部件 检测子模型的建立方案，以及利用上述该部件检测子模型进行图像处理的过 程。如图2和图3的部分所示，部件检测子模型是基于Faster R-CNN模型， 并对所述Faster R-CNN模型中的特征提取网络单元以及区域推荐网络单元进 行训练后获取的。其中，特征提取网络单元是基于ResNet-50网络建立的； 区域推荐网络单元包括Anchor分类器及第一目标框回归器、RO池化子单元 和部件分类器及第二目标框回归器子单元。

具体地，将检测图像输入至部件检测子模型，获取由部件检测子模型输 出的与输入的检测图像对应的关键部位类别信息及该关键部位的位置图像， 主要包括但不限于以下步骤：将检测图像输入至ResNet-50网络，获取由 ResNet-50网络输出的四倍下采样特征图像；将四倍下采样特征图像输入至 Anchor分类器及第一目标框回归器，获取由Anchor分类器及第一目标框回 归器输出的包含有关键部位信息的一个或多个推荐区域图像；利用RO池化 子单元对每个推荐区域图像进行ROI池化处理后，输入至部件分类器及第二 目标框回归器，并获取由部件分类器及第二目标框回归器输出的与该推荐区 域图像相对应的关键部位类别信息及关键部位位置图像。

其中，在本实施例中，部件检测子模型使用Faster R-CNN模型，并引入 ResNet-50网络作为特征提取网络单元，通过使用区域提名的方法，使得分类、 回归一起共用卷积特征，进一步的加速了图像检测的过程；再者在Faster R-CNN模型中还使用Anchor分类器以及回归器组合，以在Feature Map上对 四倍下采样特征图像进行处理，进一步的获取到该四倍下采样特征图像上的 包含有关键部位信息的推荐区域图像，使得Faster R-CNN模型的回归变成了 回归到anchor的相对位置，使得网络更加稳定。

如图2所示，每个该关键区域图像的尺寸与四倍下采样特征图像的尺寸 相同，但是其是针对该关键部位的细节放大图，能够更清晰的反映出该关键 部位的实际情况，为进一步的对获取到的四倍下采样特征图像进行分析提供 基础。

由于原检测图像的拍摄来源不同，其尺寸也会存在着较大的差异，本实 施例中，通过特征提取网络单元对待检测图像进行图像特征提取，获取到的 四倍下采样特征图的尺寸是原待检测图像尺寸的四分之一，通过这样处理有 效的减小了图像尺寸差异化的影响。

进一步地，特征提取网络单元输出的四倍下采样特征图像输入至Anchor 分类器及第一目标框回归器，可以利用非极大值抑制等算法对其进行处理。 如果在四倍下采样特征图中像包含有关键部位，则获取到包含有该关键部位 的推荐区域图像；若该四倍下采样特征图中没有包含关键部位，就以最类似 于关键部位的区域为推荐区域，并获取该区域的图像。

比如，这一步骤可以理解为：首先在四倍下采样特征图像中随机获取到 N个可能是关键部位的矩形框，然后为每个矩形框做类别分类概率，获取到 分类概率最大的一个矩形框为该关键部位的推荐区域图像。

进一步地，利用ROI池化子单元对推荐区域图像进行ROI池化处理。其 中，ROI是Region of interest的简写，通过设置ROI池化来降低Faster R-CNN 模型中卷积层输出的特征向量，可改善输出结果，使输出的经过处理的推荐 区域图像的尺寸相同。将池化后的推荐区域图像，输入至部件分类器及第二 目标框回归器子单元，获取到该推荐区域图像中包含的该关键部位类别信息 及关键部位位置图像。

进一步地，缺陷分类子模型对输入的关键部位位置图像进行处理的过程， 可以包括以下步骤：将关键部位位置图像通过预训练好的CNN网络，经卷积、 池化、全连接层等结构后获取到与该关键部位位置图像相对应的缺陷部件的 定位及缺陷类别信息。

本发明实施例提供的动车组关键部位的缺陷检测方法，通过设置基于 Faster R-CNN模型改进的部件检测子模型，能够有效的分辨出检测图像中是 否包含有关键部位，若存在关键部位，这输出该关键部位类别信息及关键部 位位置图像，相较于现有技术的分析方法，对输入的检测图像的尺寸不作任 何要求，有效的提高了本该检测方法的适用性；同时无需对检测图像进行分 割预处理，减小了缺陷检测的操作难度，节省了人力物力；最后由于输出的 关键部位位置图像的尺寸相同且大小可以设置，有效的提高了检测的精准性。

基于上述实施例的内容，作为一种可选实施例，在获取有检测设备采集 的检测图像之前，还包括对部件检测子模型以及缺陷分类子模型分别进行训 练的过程：

一方面：获取各种类型的检测样本图像，并将所有检测样本图像保存至 检测样本图像集，其中，每个检测样本图像标记有对应的第一标签；基于深 度学习技术，利用检测样本图像集对Faster R-CNN模型进行初始化训练，获 取部件检测子模型。

另一方面，将关键部位位置样本图像保存至样本信息图像集，其中每个 关键部位位置样本图像标记有对应的第二标签；关键部位位置样本图像是将 检测样本图像输入至部件检测子模型中获取的。基于深度学习技术，利用关 键部位位置样本图像信息对FasterR-CNN模型进行初始化训练，获取缺陷分 类子模型。

具体地，在部件检测子模型的训练过程中，首先随机获取一定数量的检 测样本图像，构建检测样本图像集；获取到每个检测样本图像中关键部位位 置样本图像，构建第一标签集；其中，每个检测样本图像与每个第一标签一 一对应。比如检测图像A中包含有制动盘这一关键部位，则同过认为提取该 制动盘所在位置的图像，创建第一标签a，则检测图像A与第一标签a之间 形成了一一对应的关系。

进一步地，基于深度学习技术，利用构建的检测样本图像集对Faster R-CNN模型进行初始化训练，并根据构建的第一标签集对训练结果进行检 验，以完成对该Faster R-CNN模型的训练，获取到部件检测子模型。

进一步地，在缺陷分类子模型训练的过程中，利用上述构建的第一标签 集中包含的关键部位位置样本图像集构建出样本信息图像集，获取每个关键 部位位置样本图像中所包含的关键部位上缺陷的具体定位，以及关于该缺陷 类别信息；将上述缺陷的具体定位以及缺陷类别信息作为第二标签，所有的 第二标签构建成第二标签集。

进一步地，基于深度学习技术，利用样本信息图像集对Faster R-CNN模 型进行初始化训练，并利用第二标签集对训练结果进行验证，进而获取到缺 陷分类子模型。

进一步地，当完成所有对于部件检测子模型以及缺陷分类子模型的训练 后，利用上述两个子模型，构建成一个完整的多通道缺陷检测模型，并利用 检测样本图像对多通道缺陷检测模型进行预训练，并利用第二标签集对训练 的结果进行验证。

需要指出的是，由于复兴号动车组是采用新型模块化设计，目前现有的 动车组缺陷检测算法无法适用，而本发明实施例提供的动车组关键部位的缺 陷检测方法，理论上是使用任何型号的轨道交通工具。且由于本实施例提供 的缺陷检测方法中，第一标签组和第二标签组基本上涵盖了目前在役的复兴 号动车组的所有关键部位，以及每个关键部位的缺陷的具体定位以及缺陷类 别信息，因此适用于解决现阶段复兴号动车组的缺陷自动化检测技术领域的 空白问题，为复兴号动车组的维修、维护、保养工作提供精准的信息。

本发明实施例提供的动车组关键部位的缺陷检测方法，通过对多通道缺 陷检测模型中的两个子模型分别进行预训练，能够有效的保证训练的高效性， 并提升了训练后的子模型的预测能力。

基于上述实施例的内容，作为一种可选实施例，在将关键部位位置图像 输入至缺陷分类子模型之前，还包括但不限于：基于SRGAN与RAISR超分 辨率算法，，对关键部位位置图像进行图像超分辨率重建。

如图3所示，由于检测图像的获取渠道的多样性，往往输入至多通道缺 陷检测模型中的图像的分辨率较差，以使最终获取到的关键部位的缺陷类别 信息以及定位等波动大、准确性能降低。

在本实施例中，其中通过对低分辨率的关键部位位置图像进行清晰化处 理，获取到高分辨率的关键部位位置图像。其中对图像进行清晰化处理的手 段可以是：基于SRGAN与RAISR超分辨率算法的。

其中RAISR超分辨率算法是由Google公式创建的，用于将模糊的图像 进行清晰化处理的方法，通过运用一对低分辨率、高分辨率图片训练该程序， 以找出能选择性应用于低分辨率图片中每个像素的过滤器，这样能生成媲美 原始图片的细节。目前有两种训练RAISR过滤器的方法，均是根据图像的边 缘特征训练的：

第一种是“直接”方式，过滤器在成对高、低分辨率图片中直接学习； 第二种方法需要先对低分辨率图片应用低功耗的升采样，然后在升采样图片 和高分辨率图片的组合中学习过滤器。“直接”方式处理起来更快，但第二种 方法照顾到了非整数范围的因素，并且更好地利用硬件性能。

无论是哪种方式，RAISR的过滤器都是用一对低分辨率、高分辨率图片 训练该程序，以找出能选择性应用于低分辨率图片中每个像素的过滤器，这 样能生成最大程度进行还原真实的细节。

本发明实施例提供的动车组关键部位的缺陷检测方法，通过对将关键部 位位置图像进行图像清晰化处理后，再输入至清晰分类子模型，有效了提升 了整个缺陷检测的准确性，且减小了对原始检测图像清晰度的要求。

基于上述实施例的内容，作为一种可选实施例，在获取由缺陷分类子模 型输出的缺陷部件的定位及缺陷类别信息后，利用部件检测子模型输出的与 检测图像对应的关键部位类别信息，以及检测图像和缺陷部件的定位及缺陷 类别信息，完成对多通道缺陷检测模型的预训练。关于这一点在上面的实施 例中已作过描述，再次不作赘述。

本发明具体实施例所提供的多通道缺陷检测模型，在设计完成后，可根 据在实际检测工作中获取到的缺陷部件的定位及缺陷类别信息，不断进行迭 代学习，其针对实际检测图像进行自学习、自迭代，有效的提升了本模型的 泛化能力。

如图4和图5所示，本发明实施例提供一种动车组关键部位的缺陷检测 系统，包括但不限于以下结构：图像采集设备1和图像处理设备2；其中， 图像采集设备1用于获取检测图像，并将获取的检测图像输入至图像处理设 备2中。图像处理设备2至少包括多通道缺陷检测模型运算单元22，该多通 道缺陷检测模型运算单元21至少包括：部件检测子模型运算单元221和缺陷 分类子模型运算单元222。

其中，部件检测子模型运算单元221用于根据输入的检测图像，输出与 该检测图像对应的关键部位类别信息以及关键部位位置图像。缺陷分类子模 型运算单元222用于根据关键部位类别信息及关键部位位置图像，输出缺陷 部件的定位及缺陷类别信息。

具体地，图像采集设备1可以是手持拍摄装置，也可以固设于指定的检 测机位的拍摄装置，当动车组运行至该检测机位时，自动获取到给指定部位 的检测图像。图像采集设备也可以由手持拍摄装置和固设拍摄装置共同组成 的集合拍摄装置，对此本实施例不作具体地限定。

进一步地，通过图像采集设备1获取到需检测分析的检测图像后，将其 输入至图像处理设备2；图像处理设备2中的多通道缺陷检测模型运算单元 22对该检测图像进行分析处理，输出与该检测图像相对应的关键部位类别信 息、缺陷部件的定位及缺陷类别信息。

具体的，多通道缺陷检测模型运算单元22包括部件检测子模型运算单元 221和缺陷分类子模型运算单元222，检测图像首先输入至部件检测子模型运 算单元221中，该检测子模型运算单元221首先分析判断检测图像中是否包 含有关键部位。当判断存在关键部位后，进一步判断出关键部位的个数，并 输出所有关键部位所在的区域图像，每个关键部位对应一个关键区域图像， 以及关键部位类别信息。

进一步地，依次将检测子模型运算单元221输出的所有的关键区域图像 输入至缺陷分类子模型运算单元222中，针对每个关键区域图像，输出与该 关键区域图像对应的关键部位类别信息和位置图像。

综上所述，本实施例提供的动车组关键部位的缺陷检测系统，通过获取 检测图像，并利用多通道缺陷检测模型运算单元对每个检测图像进行运算分 析，对每个检测图像上所包含的关键部位进行检测，当关键部位存在缺陷时， 输出该关键部位的类别信息、缺陷部件的定位及缺陷类别信息，为工作人员 的维修、维护等提供准确的信息，保障动车组的行车安全，节省了人力物力， 且有效的解决了缺陷分类易混淆的技术难题，提高了检测精度。

基于上述实施例的内容，作为一种可选实施例，本发明实施例提供的动 车组关键部位的缺陷检测系统，其中部件检测子模型运算单元是基于Faster R-CNN模型，并对Faster R-CNN模型中的特征提取网络单元以及区域推荐网 络单元进行改进后获取的；其中对Faster R-CNN模型中的特征提取网络单元 以及区域推荐网络单元进行改进，包括：将所述特征提取网络单元改进为包 括：ResNet-50网络单元；将区域推荐网络单元改进为包括：Anchor分类器 及第一目标框回归器子单元、ROI池化子单元和部件分类器及第二目标框回 归器子单元；ResNet-50网络单元用于根据检测图像，输出四倍下采样特征图 像；Anchor分类器及第一目标框回归器子单元用于根据所述四倍下采样特征 图像，输出包含有关键部位信息的推荐区域图像；ROI池化子单元用于对推 荐区域图像进行ROI池化处理后，将ROI池化处理结果输出至部件分类器及 第二目标框回归器子单元；部件分类器及第二目标框回归器子单元根据ROI 池化处理结果，输出关键部位类别信息及关键部位位置图像。

进一步地，本实施例提供的动车组关键部位的缺陷检测系统，还可以包 括：图像超分辨率重建单元。该图像超分辨率重建单元用于基于SRGAN超 分辨率算法，运行RAISR图像处理方法，对关键部位类别信息及关键部位位 置图像进行图像超分辨率重建。

图6示例了一种电子设备的实体结构示意图，如图6所示，该电 子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)630和通信总线640，其中，处理器610， 通信接口620，存储器630通过通信总线640完成相互间的通信。处 理器610可以调用存储器630中的逻辑指令，以执行如下方法：获取 由图像采集设备采集的检测图像；将获取的检测图像输入至部件 检测子模型，获取由该部件检测子模型输出的与检测图像对应的 关键部位类别信息及关键部位位置图像；将获取的关键部位位置 图像输入至缺陷分类子模型，获取由该缺陷分类子模型输出的缺 陷部件的定位及缺陷类别信息；其中，部件检测子模型和缺陷分 类子模型构成多通道缺陷检测模型。

此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实 现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质 中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献 的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软 件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可 以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方 法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储 器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

进一步地，本发明实施例还提供一种非暂态计算机可读存储介质，其上 存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例 提供的传输方法，例如包括：获取由图像采集设备采集的检测图像；将获 取的检测图像输入至部件检测子模型，获取由该部件检测子模型输出的与 检测图像对应的关键部位类别信息及关键部位位置图像；将获取的关键部 位位置图像输入至缺陷分类子模型，获取由该缺陷分类子模型输出的缺陷 部件的定位及缺陷类别信息；其中，部件检测子模型和缺陷分类子模型构 成多通道缺陷检测模型。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明 的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或 者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络 单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例 方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以 理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实 施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬 件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部 分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可 读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台 计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施 例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其 限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术 人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或 者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技 术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种动车组关键部位的缺陷检测方法，其特征在于，包括：

获取由图像采集设备采集的检测图像；

将所述检测图像输入至部件检测子模型，获取由所述部件检测子模型输出的与所述检测图像对应的关键部位类别信息以及关键部位位置图像；

将所述关键部位位置图像输入至缺陷分类子模型，获取由所述缺陷分类子模型输出的缺陷部件的定位及缺陷类别信息；

所述部件检测子模型和缺陷分类子模型构成多通道缺陷检测模型。

2.根据权利要求1所述的动车组关键部位的缺陷检测方法，其特征在于，所述部件检测子模型是基于Faster R-CNN模型，并对所述Faster R-CNN模型中的特征提取网络单元以及区域推荐网络单元进行训练后获取的；

所述特征提取网络单元是基于ResNet-50网络建立的；

所述区域推荐网络单元包括Anchor分类器及第一目标框回归器、ROI池化子单元和部件分类器及第二目标框回归器子单元；

所述将所述检测图像输入至部件检测子模型，获取由所述部件检测子模型输出的与所述检测图像对应的关键部位类别信息及关键部位位置图像，包括：

将所述检测图像输入至所述ResNet-50网络，获取由所述ResNet-50网络输出的四倍下采样特征图像；

将所述四倍下采样特征图像输入至所述Anchor分类器及第一目标框回归器，获取由所述Anchor分类器及第一目标框回归器输出的包含有关键部位信息的推荐区域图像；

利用所述ROI池化子单元对所述推荐区域图像特征图进行ROI池化处理后，输入至所述部件分类器及第二目标框回归器，并获取由所述部件分类器及第二目标框回归器输出的所述关键部位类别信息及关键部位位置图像。

3.根据权利要求1所述的动车组关键部位的缺陷检测方法，其特征在于，在所述获取有检测设备采集的检测图像之前，还包括：

获取各种类型的检测样本图像，并将所述检测样本图像保存至检测样本图像集，其中，每个所述检测样本图像标记有对应的第一标签；

基于深度学习技术，利用所述检测样本图像集对Faster R-CNN模型进行初始化训练，获取所述部件检测子模型；

将关键部位位置样本图像保存至样本信息图像集，其中每个所述关键部位位置样本图像标记有对应的第二标签；所述关键部位位置样本图像是将所述检测样本图像输入至所述部件检测子模型中获取的；

基于深度学习技术，利用所述关键部位位置样本图像对Faster R-CNN模型进行初始化训练，获取所述缺陷分类子模型。

4.根据权利要求1所述的动车组关键部位的缺陷检测方法，其特征在于，在所述将所述关键部位位置图像输入至缺陷分类子模型之前，还包括：

基于SRGAN及RAISR超分辨率算法，对所述关键部位位置图像进行图像超分辨率重建。

5.根据权利要求1所述的动车组关键部位的缺陷检测方法，其特征在于，在获取由所述缺陷分类子模型输出的缺陷部件的定位及缺陷类别信息后，利用所述部件检测子模型输出的与所述检测图像对应的关键部位类别信息，以及所述检测图像和所述缺陷部件的定位及缺陷类别信息，完成对所述多通道缺陷检测模型的预训练。

6.一种动车组关键部位的缺陷检测系统，其特征在于，包括：

图像采集设备和图像处理设备；

所述图像采集设备用于获取检测图像，并将所述检测图像输入至所述图像处理设备；

所述图像处理设备至少包括多通道缺陷检测模型运算单元，所述多通道缺陷检测模型运算单元包括：部件检测子模型运算单元和缺陷分类子模型运算单元；

所述部件检测子模型运算单元用于根据所述检测图像，输出与所述检测图像对应的关键部位类别信息以及关键部位位置图像；

所述缺陷分类子模型运算单元用于根据所述关键部位类别信息及关键部位位置图像，输出缺陷部件的定位及缺陷类别信息。

7.根据权利要求6所述的动车组关键部位的缺陷检测系统，其特征在于，所述部件检测子模型运算单元是基于Faster R-CNN模型，并对所述Faster R-CNN模型中的特征提取网络单元以及区域推荐网络单元进行改进后获取的；

其中所述对所述Faster R-CNN模型中的特征提取网络单元以及区域推荐网络单元进行改进，包括：

将所述特征提取网络单元改进为包括：ResNet-50网络单元；

将所述区域推荐网络单元改进为包括：Anchor分类器及第一目标框回归器子单元、ROI池化子单元和部件分类器及第二目标框回归器子单元；

所述ResNet-50网络单元用于根据所述检测图像，输出四倍下采样特征图；

所述Anchor分类器及第一目标框回归器子单元用于根据所述四倍下采样特征图像，输出包含有关键部位信息的推荐区域图像；

所述ROI池化子单元用于对所述推荐区域图像进行ROI池化处理后，将ROI池化处理结果输出至所述部件分类器及第二目标框回归器子单元；

所述部件分类器及第二目标框回归器子单元根据所述ROI池化处理结果，输出关键部位类别信息及关键部位位置图像。

8.根据权利要求6所述的动车组关键部位的缺陷检测系统，其特征在于，还包括：图像超分辨率重建单元；

所述图像超分辨率重建单元用于基于SRGAN及RAISR超分辨率算法，对所述关键部位类别信息及关键部位位置图像进行图像超分辨率重建。

9.一种用于动车组关键部位的缺陷检测的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述动车组关键部位的缺陷检测方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一项所述动车组关键部位的缺陷检测方法的步骤。