CN114187441A - 接触网部件缺陷检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种接触网部件缺陷检测方法、装置、电子设备及存储介质，其中，该方法包括：获取高铁接触网的待检测图像；在待检测图像中包括待检测部件的情况下，确定待检测部件所在的区域图像；对待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到待检测部件的缺陷检测结果。本申请实施例有利于提高开口销缺陷检测的准确度。

Description

接触网部件缺陷检测方法、装置、电子设备及存储介质

技术领域

本申请涉及图像检测技术领域，具体涉及一种接触网部件缺陷检测方法、装置、电子设备及存储介质。

背景技术

作为电气化铁路的关键组成部分，高铁接触网的可靠性和安全性是人们轨交出行的有力保障，其中，接触网悬挂装置的结构稳定性将直接影响到列车的行车安全，因此，需要对高铁接触网进行定期巡检和维护。高铁接触网具有众多零部件，且这些零部件可能存在的缺陷也是各式各样，针对这些零部件的缺陷检测，传统的方法是人工逐一进行缺陷判断和分析，但是漏检率较高。为了降低漏检率，目前主流的方法是采用深度学习模型进行检测，但是同一零部件可能会存在多种缺陷，多种缺陷在训练或检测过程中会相互影响，从而导致零部件缺陷检测的准确度较低。

发明内容

本申请实施例提供一种接触网部件缺陷检测方法、装置、电子设备及存储介质，有利于提高接触网部件缺陷检测的准确度。

本申请实施例的第一方面提供一种接触网部件缺陷检测方法，该方法包括：

获取高铁接触网的待检测图像；

在待检测图像中包括待检测部件的情况下，确定待检测部件所在的区域图像；

对待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到待检测部件的缺陷检测结果。

其中，待检测部件为开口销，缺陷检测结果包括开口销对于预设的多种缺陷类别中每种缺陷类别的缺陷检测结果，多种缺陷类别包括以下中的至少两种：

开口销闭合、开口销角度偏差和开口销缺失。

可以看出，本申请实施例通过获取高铁接触网的待检测图像；在待检测图像中包括待检测部件的情况下，确定待检测部件所在的区域图像；对待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到待检测部件的缺陷检测结果。这样在缺陷检测时，能够检测出待检测部件(比如开口销)在多种缺陷类别上的检测结果，有利于避免待检测部件的某种缺陷漏检的情况，从而有利于提高待检测部件缺陷检测的准确度。

结合第一方面，在一个可能的实现方式中，对待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到待检测部件的缺陷检测结果，包括：

对待检测部件所在的区域图像进行特征提取，得到第一共享特征图；

采用多种缺陷类别中每种缺陷类别对应的分类网络分别对第一共享特征图进行缺陷分类，得到待检测部件对于每种缺陷类别的缺陷检测结果。

本示例中，每种缺陷类别对应的分类网络共用第一共享特征图进行缺陷分类，使得每个分类网络在分类前不用单独再去进行特征提取，有利于节省特征提取的时间、降低特征提取的开销。

结合第一方面，每种缺陷类别的缺陷检测结果包括以下中的一种：

存在该类别的缺陷；

不存在该类别的缺陷；

无法判断是否存在该类别的缺陷；

存在缺陷，但是无法确定所存在的缺陷的类别是否为该类别。

应理解，常规的缺陷检测结果大都为是否存在该类别的缺陷，本示例中，在常规检测结果的基础上，还增加了待检测部件所在的区域图像存在遮挡或模糊导致无法判断是否存在该类别的缺陷和待检测部件存在缺陷，但是存在的缺陷处于缺陷类别的临界区域导致无法确定所存在的缺陷的类别是否为该类别，实现了更精细化的检测。

结合第一方面，在一个可能的实现方式中，对待检测部件所在的区域图像进行特征提取，得到第一共享特征图，包括：

对待检测部件所在的区域图像进行卷积，得到第一特征图；

对第一特征图进行m个阶段的下采样，得到m个尺度的特征图，m个尺度的特征图与m个阶段的下采样一一对应，m为大于等于2的整数；

对第一特征图和m个尺度的特征图中的n个目标特征图进行映射，得到(n+1)个第二特征图，n为大于等于2且小于等于m的整数；

结合(n+1)个第二特征图对m个尺度的特征图中尺度最小的特征图进行m个阶段的上采样，得到第一共享特征图，m个阶段的上采样与m个阶段的下采样一一对应。

结合第一方面，在一个可能的实现方式中，结合(n+1)个第二特征图对m个尺度的特征图中尺度最小的特征图进行m个阶段的上采样，得到第一共享特征图，包括：

对尺度最小的特征图进行第1个阶段的上采样；

对于m个阶段的上采样中第r个阶段的上采样，若(n+1)个第二特征图中存在目标第二特征图，则将目标第二特征图与第r个阶段的上采样得到的特征图进行融合，得到第一融合特征图，目标第二特征图为与第r个阶段的上采样得到的特征图的尺度相同的第二特征图，r为大于等于1且小于等于(m-1)的整数；

对第一融合特征图或第r个阶段的上采样得到的特征图，进行第(r+1)个阶段的上采样，直至完成第m个阶段的上采样；

将第m个阶段的上采样得到的特征图与(n+1)个第二特征图中尺度相同的特征图进行融合，得到第二融合特征图；

对第二融合特征图进行后处理，得到第一共享特征图。

本示例中，由于特征提取的过程对第一特征图进行了m个阶段的下采样，下采样的降维可能会导致局部信息的丢失，于是通过对第一特征图和m个尺度的特征图进行映射，结合映射后的(n+1)个第二特征图对m个尺度的特征图中尺度最小的特征图进行m个阶段的上采样，比如，可将(n+1)个第二特征图中尺度与上采样阶段得到的相同尺度的特征图融合，以弥补下采样所带来的信息丢失，从而有利于使第一共享特征图中的信息更丰富。

结合第一方面，在一个可能的实现方式中，对第一特征图和m个尺度的特征图中的n个目标特征图进行映射，包括：

对于第一特征图和n个目标特征图中的每个特征图，对每个特征图进行第1次可逆转换处理，得到第1次映射后的特征图；

对第s次映射后的特征图进行第(s+1)次可逆转换处理，得到第(s+1)次映射后的特征图，s为大于或等1的整数；

通过至少2次可逆转换处理，将每个特征图映射为第二特征图，(n+1)个第二特征图包括第二特征图。

本示例中，采用二维归一化流模型对第一特征图和m个尺度的特征图中的每个特征图进行至少2次可逆转换处理，由于至少2次可逆转换处理可以采用大小卷积交替的方式，有利于保留第一特征图和m个尺度的特征图中的空间位置关系，这种空间位置关系有利于待检测部件的缺陷的定位。

结合第一方面，在一个可能的实现方式中，对待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到待检测部件的缺陷检测结果是通过神经网络模型执行的，神经网络模型是通过对神经网络进行训练得到的，神经网络包括特征提取网络和用于分别对预设的多种缺陷类别进行分类的多个分类网络，神经网络模型通过以下步骤训练得到：

获取待检测部件的第一样本图像和第一样本图像对于多种缺陷类别的标注数据；

将第一样本图像输入特征提取网络进行特征提取，得到第二共享特征图；

将第二共享特征图分别输入多个分类网络进行缺陷分类，得到第一样本图像对于多种缺陷类别的缺陷检测结果；

根据第一样本图像对于多种缺陷类别的缺陷检测结果和第一样本图像对于多种缺陷类别的标注数据，确定第一目标损失；

根据第一目标损失调整特征提取网络和多个分类网络的参数，迭代第一样本图像，以使第一目标损失收敛，得到神经网络模型。

本示例中，提出多个分类网络共享特征提取网络的输出的架构，分类网络的增加和减少不会对特征提取网络造成影响。另外，使用多标签分别对多种缺陷类别进行定义和划分，实现了缺陷类别间的解耦，有利于降低训练过程中缺陷类别间的影响和样本图像的标注噪声。

结合第一方面，在一个可能的实现方式中，该方法还包括：

若存在待增加的目标缺陷类别，则在神经网络模型中增加目标缺陷类别的目标分类网络；

获取待检测部件的第二样本图像和第二样本图像对于目标缺陷类别的标注数据；

将第二样本图像输入特征提取网络进行特征提取，得到第三共享特征图；

将第三共享特征图输入目标分类网络进行缺陷分类，得到第二样本图像对于目标缺陷类别的缺陷检测结果；

根据第二样本图像对于目标缺陷类别的缺陷检测结果和第二样本图像对于目标缺陷类别的标注数据，确定目标分类网络的第二目标损失；

根据第二目标损失调整目标分类网络的参数，迭代第二样本图像，以使第二目标损失收敛。

本示例中，基于多个分类网络共享特征提取网络的输出的架构，若有新增的目标缺陷类别，则可为该目标缺陷类别定义新的标签，并采用经过标注的第二样本图像为该目标缺陷类别训练一个分类网络，从而能够灵活地进行缺陷类别的扩展和分类网络的增加。另外，由于特征提取网络和之前的多个分类网络的参数已经固定，训练目标分类网络时，无需对特征提取网络和多个分类网络的参数进行调整，有利于提高目标分类网络的训练效率。

本申请实施例的第二方面提供一种接触网部件缺陷检测装置，该装置包括获取单元和处理单元，其中，

获取单元，用于获取高铁接触网的待检测图像；

处理单元，用于在待检测图像中包括待检测部件的情况下，确定待检测部件所在的区域图像；

处理单元，还用于对待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到待检测部件的缺陷检测结果。

本申请实施例的第三方面提供一种电子设备，包括处理器、输入设备、输出设备和存储器，处理器、输入设备、输出设备和存储器相互连接，其中，存储器用于存储计算机程序，计算机程序包括程序指令，处理器被配置用于调用程序指令，执行如本申请实施例第一方面中所描述的部分或全部步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储有用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

本申请实施例的第五方面提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种应用环境的示意图；

图2为本申请实施例提供的一种接触网部件缺陷检测方法的流程示意图；

图3为本申请实施例提供的一种神经网络模型的示意图；

图4为本申请实施例提供的一种开口销缺陷类别的示意图；

图5为本申请实施例提供的一种特征提取网络的示意图；

图6为本申请实施例提供的一种流模型的示意图；

图7为本申请实施例提供的另一种接触网部件缺陷检测方法的流程示意图；

图8为本申请实施例提供的一种新增分类网络的示意图；

图9为本申请实施例提供的一种电子设备的结构示意图；

图10为本申请实施例提供的一种接触网部件缺陷检测装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

为了更好的理解本申请实施例提供的接触网部件缺陷检测方法，下面首先对该接触网部件缺陷检测方法的应用环境进行简要介绍。

请参阅图1，图1为本申请实施例提供的一种应用环境的示意图，如图1所示，包括终端设备110、电子设备120、高铁接触网130和巡检车140，其中，终端设备110和电子设备120通过网络进行连接。终端设备110用于提供对高铁接触网进行拍摄得到的待检测图像，比如终端设备110可以是支柱、巡检车140上的图像采集设备。电子设备120用于对接收到的待检测图像进行目标检测，以从待检测图像中检测出待检测部件，然后分割出待检测部件所在的区域图像，通过训练好的神经网络模型对待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到待检测部件相对于多种缺陷类别下多个缺陷属性的检测结果，比如：待检测部件可以是开口销，对于开口销闭合这一缺陷的检测结果可以是存在开口销闭合这一缺陷，或者不存在开口销闭合这一缺陷，或者开口销所在的区域图像存在遮挡或模糊导致无法确定是否存在开口销闭合这一缺陷，或者开口销处于缺陷类别的临界区域导致无法确定是否存在该类别的缺陷；对于开口销角度偏差这一缺陷的检测结果可以是存在开口销角度偏差这一缺陷，或者不存在开口销角度偏差这一缺陷，或者开口销所在的区域图像存在遮挡或模糊导致无法确定是否存在开口销角度偏差这一缺陷，或者开口销处于缺陷类别的临界区域导致无法确定是否存在该类别的缺陷，等等。

相较于现有方案，本申请实施例采用多标签训练神经网络模型，电子设备120通过神经网络模型可以得到待检测部件对于多种缺陷类别的检测结果，有利于避免待检测部件的某种缺陷漏检的情况，从而有利于提高接触网部件缺陷检测的准确度。

应理解，在一些实施方式中，终端设备110还可以是电脑、智能手机等设备，比如，终端设备110可以从数据库中获取用于神经网络模型训练的样本图像集，并向电子设备120提供该样本图像集，使得电子设备120采用该样本图像集对神经网络进行训练。其中，电子设备120可以是独立的物理服务器，也可以是服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器，或者还可以是能够独立进行运作的设备，比如嵌入式设备。

请参阅图2，图2为本申请实施例提供的一种接触网部件缺陷检测方法的流程示意图。该接触网部件缺陷检测方法应用于电子设备，如图2所示，该方法包括步骤201-203：

201、获取高铁接触网的待检测图像。

本申请具体实施例中，高铁接触网的待检测图像可由巡检车上的图像采集设备向电子设备提供，比如在输电线路巡检中，图像采集设备可向电子设备发送拍摄到的高铁接触网4C图像。应理解，待检测图像可由任何能够采集到高铁接触网图像的设备向电子设备提供，本申请对高铁接触网的待检测图像的获取方式不作限定。

202、在待检测图像中包括待检测部件的情况下，确定待检测部件所在的区域图像。

本申请具体实施例中，对于接收到的待检测图像，电子设备可通过目标检测算法对其进行目标检测，比如：目标检测算法可以是FasterR-CNN框架、YOLO框架，等等，基于待检测部件的检测框在待检测图像中的坐标，可从待检测图像中确定待检测部件所在的区域，并裁剪出待检测部件所在的区域图像。

示例性的，裁剪出待检测部件所在的区域图像，包括：

对待检测图像进行边缘检测，得到待检测图像中的至少一个物体的至少一个边缘轮廓；

从至少一个边缘轮廓中确定出待检测部件的边缘轮廓；

获取待检测部件的边缘轮廓的最小外接矩形，以及将该最小外接矩形与待检测部件的检测框的交集确定为待分割区域；

从待检测图像中裁剪出该待分割区域，得到待检测部件所在的区域图像。

具体的，至少一个物体与至少一个边缘轮廓一一对应，即每个物体都存在一个边缘轮廓，应理解，高铁接触网中的部件都具备一定的特性，比如：开口销的一端通常是弯曲的，而脚部两边会存在一定的夹角，利用这些特性就能判断出至少一个边缘轮廓中开口销的边缘轮廓。

203、对待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到待检测部件的缺陷检测结果。

对待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到待检测部件的缺陷检测结果，包括：

对待检测部件所在的区域图像进行特征提取，得到第一共享特征图；

采用多种缺陷类别中每种缺陷类别对应的分类网络分别对第一共享特征图进行缺陷分类，得到待检测部件对于每种缺陷类别的缺陷检测结果。

本申请具体实施例中，如图3所示，以待检测部件为开口销进行说明，将开口销图像(即开口销所在的区域图像)输入参数固定的神经网络模型，由多个分类网络共享的特征提取网络进行特征提取，得到第一共享特征图，第一共享特征图分别输入多个分类网络进行缺陷分类，示例性的，多个分类网络分别可以是开口销闭合分类网络、开口销角度偏差分类网络，其中，开口销闭合分类网络，基于第一共享特征图得到对于开口销闭合这一缺陷类别下多个缺陷属性的检测结果；开口销角度偏差分类网络，基于第一共享特征图得到对于开口销角度偏差这一缺陷类别下多个缺陷属性的检测结果。示例性的，在待检测部件为开口销的情况下，如图4所示，多种缺陷类别包括以下中的至少两种：开口销闭合、开口销角度偏差和开口销缺失。该实施方式中，每种缺陷类别对应的分类网络共用第一共享特征图进行缺陷分类，使得每个分类网络在分类前不用单独再去进行特征提取，有利于节省特征提取的时间、降低特征提取的开销。

示例性的，每种缺陷类别的检测结果包括以下中的一种：

存在该类别的缺陷；

不存在该类别的缺陷；

无法判断是否存在该类别的缺陷；

存在缺陷，但是无法确定所存在的缺陷的类别是否为该类别。

比如，开口销对于开口销角度偏差这一缺陷类别的检测结果可以是角度不到位(即“有”)、不存在角度不到位的缺陷(即“无”)、开口销图像存在遮挡或模糊导致无法确定开口销角度是否到位(即“无法判断是否存在开口销角度偏差这一缺陷”)或者开口销处于缺陷类别的临界区域导致无法确定是否存在该类别的缺陷(即“存在缺陷，但是无法确定所存在的缺陷的类别是否为该类别，简而言之就是有歧义”，由于不同技术人员在对样本图像进行打标签或缺陷分类时，对于同一种缺陷有不同的划分标准，机器在分类时可能会产生既存在这种缺陷但又不是这种缺陷的歧义)。该实施方式中，在常规检测结果的基础上，还增加了待检测部件所在的区域图像存在遮挡或模糊导致无法判断是否存在该类别的缺陷和待检测部件存在缺陷，但是存在的缺陷处于缺陷类别的临界区域导致无法确定所存在的缺陷的类别是否为该类别，实现了更精细化的检测。另外，更加精细化的缺陷分类能够有效减少数据集的标注噪声。

示例性的，对待检测部件所在的区域图像进行特征提取，得到第一共享特征图，包括：

对待检测部件所在的区域图像进行卷积，得到第一特征图；

对第一特征图进行m个阶段的下采样，得到m个尺度的特征图，m个尺度的特征图与m个阶段的下采样一一对应，m为大于等于2的整数；

对第一特征图和m个尺度的特征图中的n个目标特征图进行映射，得到(n+1)个第二特征图，n为大于等于2且小于等于m的整数；

结合(n+1)个第二特征图对m个尺度的特征图中尺度最小的特征图进行m个阶段的上采样，得到第一共享特征图。

本申请具体实施例中，请参见图5，提出一种以U-Net卷积神经网络为基础、加入二维归一化流模型的特征提取网络，与U-Net卷积神经网络一致的，包括m个阶段的下采样和m个阶段的上采样，即下采样部分与上采样部分对称。如图5所示，多个阶段分别包括第1个阶段、第2个阶段、第3个阶段和第4个阶段，m个尺度的特征图包括第1个阶段的下采样得到的特征图、第2个阶段的下采样得到的特征图、第3个阶段的下采样得到的特征图和第4个阶段的下采样得到的特征图，将第1个阶段的下采样得到的特征图和第2个阶段的下采样得到的特征图作为目标特征图，通过训练好的二维归一化流模型对第一特征图、第1个阶段的下采样得到的特征图和第2个阶段的下采样得到的特征图进行映射，得到对应的每个特征图中特征的概率密度估计，即(n+1)个第二特征图中的特征表示概率密度估计。

该实施方式中，由于特征提取的过程对第一特征图进行了m个阶段的下采样，下采样的降维可能会导致局部信息的丢失，于是通过对第一特征图和m个尺度的特征图进行映射，结合映射后的(n+1)个第二特征图对m个尺度的特征图中尺度最小的特征图进行m个阶段的上采样，比如，可将(n+1)个第二特征图中尺度与上采样阶段得到的相同尺度的特征图融合，以弥补下采样所带来的信息丢失，从而有利于使第一共享特征图中的信息更丰富。

示例性的，结合(n+1)个第二特征图对m个尺度的特征图中尺度最小的特征图进行m个阶段的上采样，得到第一共享特征图，包括：

对尺度最小的特征图进行第1个阶段的上采样；

对于m个阶段的上采样中第r个阶段的上采样，若(n+1)个第二特征图中存在目标第二特征图，则将目标第二特征图与第r个阶段的上采样得到的特征图进行融合，得到第一融合特征图，目标第二特征图为与第r个阶段的上采样得到的特征图的尺度相同的第二特征图，r为大于等于1且小于等于(m-1)的整数；

对第一融合特征图或第r个阶段的上采样得到的特征图，进行第(r+1)个阶段的上采样，直至完成第m个阶段的上采样；

将第m个阶段的上采样得到的特征图与(n+1)个第二特征图中尺度相同的特征图进行融合，得到第二融合特征图；

对第二融合特征图进行后处理，得到第一共享特征图。

请继续参见图5，尺度最小的特征图即第4个阶段的下采样得到的特征图，对尺度最小的特征图进行第1个阶段的上采样，由于(n+1)个第二特征图中不存在与第1个阶段的上采样得到的特征图尺度相同的目标第二特征图，因此，直接对第1个阶段的上采样得到的特征图进行第2个阶段的上采样。(n+1)个第二特征图中存在与第2个阶段的上采样得到的特征图尺度相同的目标第二特征图，则将第2个阶段的上采样得到的特征图与(n+1)个第二特征图中尺度相同的目标第二特征图(即第2个阶段的下采样得到的特征图经过二维归一化流模型的映射，得到的第二特征图)进行融合，得到第1个第一融合特征图。对第1个第一融合特征图进行第3个阶段的上采样，(n+1)个第二特征图中存在与第3个阶段的上采样得到的特征图尺度相同的目标第二特征图，则将第3个阶段的上采样得到的特征图与(n+1)个第二特征图中尺度相同的目标第二特征图(即第1个阶段的下采样得到的特征图经过二维归一化流模型的映射，得到的第二特征图)进行融合，得到第2个第一融合特征图。

这样对于m个阶段的上采样中第r个阶段的上采样，若(n+1)个第二特征图中存在尺度相同的目标第二特征图，则将第r个阶段的上采样得到的特征图与该目标第二特征图进行融合，对融合得到的特征图进行下一个阶段的上采样；若(n+1)个第二特征图中不存在尺度相同的目标第二特征图，则直接对第r个阶段的上采样得到的特征图进行下一个阶段的上采样，如此操作直至完成第m个阶段的上采样，即图5中第4个阶段的上采样。

对于第m个阶段的上采样得到的特征图，(n+1)个第二特征图中必定存在尺度相同的目标第二特征图(即第一特征图经过二维归一化流模型的映射，得到的第二特征图)，则将二者进行融合，得到的特征图即第二融合特征图，再对第二融合特征图进行后处理，得到第一共享特征图。

其中，“融合”具体可以是对两个特征图进行点乘，这样将第二特征图中的概率密度估计与上采样得到的特征图进行点乘，能够使存在缺陷的区域更加明显，有利于后续的分类，后处理可以是进行通道压缩，应理解，本申请每次在进行特征图融合后都会进行一定的后处理，包括但不限于通道压缩。

示例性的，对第一特征图和m个尺度的特征图中的n个目标特征图进行映射，包括：

对于第一特征图和n个目标特征图中的每个特征图，对每个特征图进行第1次可逆转换处理，得到第1次映射后的特征图；

对第s次映射后的特征图进行第(s+1)次可逆转换处理，得到第(s+1)次映射后的特征图，s为大于或等1的整数；

通过至少2次可逆转换处理，将每个特征图映射为第二特征图，(n+1)个第二特征图包括第二特征图。

本申请具体实施例中，如图6所示，流(Flow)模型中通常使用可逆变换块将输入的特征图中的特征映射为满足分布p_z的隐变量z，该隐变量z即可作为开口销图像中对应位置的特征的概率密度估计，也就是说第一特征图和n个目标特征图中的每个特征图对应的第二特征图中的特征均为概率密度估计。应理解，对于正常待检测部件的图像而言，其特征服从于正态分布，即其概率密度估计趋近于正态分布的中心0，而对于异常待检测部件的图像而言，其存在缺陷的位置上的概率密度估计是远离于正态分布的中心0的，将第二特征图中的概率密度估计作为权重与上采样得到的尺度相同的特征图融合，能够使得缺陷部分更突出，更有利于缺陷分类。示例性的，每个分类网络同样可以正态分布的中心0为阈值，分割出第一共享特征图中存在异常的区域，从而得到待检测部件在对应缺陷类别下的检测结果。

请继续参见图6，本申请采用至少2个可逆变换块进行映射，以第一特征图为例，第一特征图经过第1个可逆变换块的映射，得到第1次映射后的特征图，第1次映射后的特征图经过第2个可逆变换块的映射，得到第2次映射后的特征图，……，第s次映射后的特征图经过第(s+1)个可逆变换块的映射得到第(s+1)次映射后的特征图，经过至少2次可逆转换处理，得到对应的第二特征图。

其中，流模型中每个可逆变换块通过仿射耦合层对输入进行仿射耦合操作，应理解，仿射耦合操作将输入分裂为两个子特征图，采用两个子网对其中一个子特征图进行二维卷积，分别得到缩放系数和平移系数，利用缩放系数和平移系数将两个子特征图进行线性组合，得到第1次仿射耦合操作的输出。进一步的，将第1次仿射耦合操作的输出与二维卷积的输入连接，得到可逆变换块的输出，或者还可对第1次仿射耦合操作的输出继续进行仿射耦合操作，经过多次仿射耦合操作，将最后一次仿射耦合操作的输出与其前一次仿射耦合操作的输出连接，得到可逆变换块的输出。应理解，仿射耦合层的处理流程可参见现有相关技术中的描述，此处不再进行详细说明。

示例性的，如图6所示，流模型中的可逆变换块采用3*3卷积和1*1卷积交替的方式，有利于保留待检测部件所在的区域图像中特征的空间信息。

该实施方式中，采用二维归一化流模型对第一特征图和m个尺度的特征图中的每个特征图进行至少2次可逆转换处理，由于至少2次可逆转换处理可以采用大小卷积交替的方式，有利于保留第一特征图和m个尺度的特征图中的空间位置关系，这种空间位置关系有利于待检测部件的缺陷的定位。

可以看出，本申请实施例通过获取高铁接触网的待检测图像；在待检测图像中包括待检测部件的情况下，确定待检测部件所在的区域图像；对待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到待检测部件的缺陷检测结果。这样在缺陷检测时，能够检测出待检测部件在多种缺陷类别上的检测结果，有利于避免待检测部件的某种缺陷漏检的情况，从而有利于提高接触网部件缺陷检测的准确度。

请参阅图7，图7为本申请实施例提供的另一种接触网部件缺陷检测方法的流程示意图。如图7所示，该方法包括步骤701-704：

701、获取高铁接触网的待检测图像；

702、在待检测图像中包括待检测部件的情况下，确定待检测部件所在的区域图像；

703、对待检测部件所在的区域图像进行特征提取，得到第一共享特征图；

704、采用预设的多种缺陷类别中每种缺陷类别对应的分类网络分别对第一共享特征图进行缺陷分类，得到待检测部件对于每种缺陷类别的缺陷检测结果。

其中，上述步骤701-704的具体实施方式在图2所示的实施例中已有相关说明，且能达到相同或相似的有益效果，此处不再赘述。

其中，步骤703和步骤704是通过神经网络模型执行的，神经网络模型是通过对神经网络进行训练得到的，神经网络包括特征提取网络和用于分别对多种缺陷类别进行分类的多个分类网络，该神经网络模型通过以下步骤训练得到：

获取待检测部件的第一样本图像和第一样本图像对于多种缺陷类别的标注数据；

将第一样本图像输入特征提取网络进行特征提取，得到第二共享特征图；

将第二共享特征图分别输入多个分类网络进行缺陷分类，得到第一样本图像对于多种缺陷类别的缺陷检测结果；

根据第一样本图像对于多种缺陷类别的缺陷检测结果和第一样本图像对于多种缺陷类别的标注数据，确定第一目标损失；

根据第一目标损失调整特征提取网络和多个分类网络的参数，迭代第一样本图像，以使第一目标损失收敛，得到神经网络模型。

本申请具体实施例中，第二共享特征图即训练阶段通过特征提取网络对第一样本图像进行特征提取得到的特征图，应理解，神经网络的训练通常需要一定的数据集，第一样本图像可以是数据集中的任意样本图像，特征提取网络对第一样本图像的提取过程可参见对待检测部件所在的区域图像进行特征提取的相关描述。在通过分类网络得到第一样本图像对于多种缺陷类别下多个缺陷属性的检测结果后，可根据每种缺陷类别下多个缺陷属性的检测结果和该缺陷类别的标注数据计算相应的损失，根据第一样本图像在多种缺陷类别下的多个损失得到第一目标损失，比如：在待检测部件为开口销的情况下，可将第一样本图像在开口销角度偏差这一缺陷类别的损失作为第一目标损失，或者将部分或全部缺陷类别的多个损失的联合损失作为第一目标损失，此处不作限定。

在第一目标损失未收敛的情况下，调整特征提取网络和多个分类网络的参数，不断迭代样本图像集(即第一样本图像)，直至第一目标损失收敛，得到参数固定的神经网络模型。

该实施方式中，提出多个分类网络共享特征提取网络的输出的架构，分类网络的增加和减少不会对特征提取网络造成影响。另外，使用多标签分别对多种缺陷类别进行定义和划分，实现了缺陷类别间的解耦，有利于降低训练过程中缺陷类别间的影响和样本图像的标注噪声。

示例性的，该方法还包括：

若存在待增加的目标缺陷类别，则在神经网络模型中增加目标缺陷类别的目标分类网络；

获取开口销的第二样本图像和第二样本图像对于目标缺陷类别的标注数据；

将第二样本图像输入特征提取网络进行特征提取，得到第三共享特征图；

将第三共享特征图输入目标分类网络进行缺陷分类，得到第二样本图像对于目标缺陷类别的检测结果；

根据第二样本图像对于目标缺陷类别的检测结果和第二样本图像对于目标缺陷类别的标注数据，确定目标分类网络的第二目标损失；

根据第二目标损失调整目标分类网络的参数，迭代第二样本图像，以使第二目标损失收敛。

本申请具体实施例中，以待检测部件为开口销进行说明，若现在需要定义新的开口销的缺陷类别，比如开口销缺失，如图8所示，则在原有神经网络模型的基础上，增加开口销缺失分类网络，开口销缺失分类网络即目标分类网络，并在训练神经网络的数据集中加入开口销缺失的样本图像，并对该样本图像进行标注，以对数据集进行更新，第二样本图像即更新后的数据集中的任意图像，包括开口销缺失的样本图像。第三共享特征图即训练目标分类网络阶段通过特征提取网络对第二样本图像进行特征提取得到的特征图，特征提取网络对第二样本图像的提取过程同样可参见对待检测部件进行特征提取的相关描述。目标分类网络在得到第二样本图像对于目标缺陷类别的检测结果后，计算该结果与第二样本图像对于目标缺陷类别的标注数据的损失，即第二目标损失，在该损失未收敛的情况下，调整目标分类网络的参数，保持特征提取网络和之前的多个分类网络的参数不动，迭代第二样本图像，观察第二目标损失，直至第二目标损失收敛。需要说明的是，第三共享特征图同样会进入之前的多个分类网络进行分类。

该实施方式中，基于多个分类网络共享特征提取网络的输出的架构，若有新增的目标缺陷类别，则可为该目标缺陷类别定义新的标签，并采用经过标注的第二样本图像为该目标缺陷类别训练一个分类网络，从而能够灵活地进行缺陷类别的扩展和分类网络的增加。另外，由于特征提取网络和之前的多个分类网络的参数已经固定，训练目标分类网络时，无需对特征提取网络和多个分类网络的参数进行调整，有利于提高目标分类网络的训练效率。

与上述实施例一致的，请参阅图9，图9为本申请实施例提供的一种电子设备的结构示意图，如图9所示，包括处理器、输入设备、输出设备和存储器，处理器、输入设备、输出设备和存储器相互连接，其中，存储器用于存储计算机程序，计算机程序包括程序指令，处理器被配置用于调用程序指令，上述程序包括用于执行以下步骤的指令；

获取高铁接触网的待检测图像；

在待检测图像中包括待检测部件的情况下，确定待检测部件所在的区域图像；

对待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到待检测部件的缺陷检测结果。

可以看出，在图9所示的电子设备中，通过获取高铁接触网的待检测图像；在待检测图像中包括待检测部件的情况下，确定待检测部件所在的区域图像；对待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到待检测部件的缺陷检测结果。这样在缺陷检测时，能够检测出待检测部件在多种缺陷类别上的检测结果，有利于避免待检测部件的某种缺陷漏检的情况，从而有利于提高待检测部件缺陷检测的准确度。

在一个可能的实现方式中，处理器执行对待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到待检测部件的缺陷检测结果，包括：

对待检测部件所在的区域图像进行特征提取，得到第一共享特征图；

采用多种缺陷类别中每种缺陷类别对应的分类网络分别对第一共享特征图进行缺陷分类，得到待检测部件对于每种缺陷类别的缺陷检测结果。

在一个可能的实现方式中，每种缺陷类别的缺陷检测结果包括以下中的一种：

存在该类别的缺陷；

不存在该类别的缺陷；

无法判断是否存在该类别的缺陷；

存在缺陷，但是无法确定所存在的缺陷的类别是否为该类别。

在一个可能的实现方式中，处理器执行对待检测部件所在的区域图像进行特征提取，得到第一共享特征图，包括：

对待检测部件所在的区域图像进行卷积，得到第一特征图；

对第一特征图进行m个阶段的下采样，得到m个尺度的特征图，m个尺度的特征图与m个阶段的下采样一一对应；

对第一特征图和m个尺度的特征图中的n个目标特征图进行映射，得到(n+1)个第二特征图，n为大于等于2且小于等于m的整数；

结合(n+1)个第二特征图对m个尺度的特征图中尺度最小的特征图进行m个阶段的上采样，得到第一共享特征图。

在一个可能的实现方式中，处理器执行结合(n+1)个第二特征图对m个尺度的特征图中尺度最小的特征图进行m个阶段的上采样，得到第一共享特征图，包括：

对尺度最小的特征图进行第1个阶段的上采样；

对于m个阶段的上采样中第r个阶段的上采样，若(n+1)个第二特征图中存在目标第二特征图，则将目标第二特征图与第r个阶段的上采样得到的特征图进行融合，得到第一融合特征图，目标第二特征图为与第r个阶段的上采样得到的特征图的尺度相同的第二特征图，r为大于等于1且小于等于(m-1)的整数；

对第一融合特征图或第r个阶段的上采样得到的特征图，进行第(r+1)个阶段的上采样，直至完成第m个阶段的上采样；

将第m个阶段的上采样得到的特征图与(n+1)个第二特征图中尺度相同的特征图进行融合，得到第二融合特征图；

对第二融合特征图进行后处理，得到第一共享特征图。

在一个可能的实现方式中，处理器执行对第一特征图和m个尺度的特征图中的n个目标特征图进行映射，包括：

对于第一特征图和n个目标特征图中的每个特征图，对每个特征图进行第1次可逆转换处理，得到第1次映射后的特征图；

对第s次映射后的特征图进行第(s+1)次可逆转换处理，得到第(s+1)次映射后的特征图，s为大于或等1的整数；

通过至少2次可逆转换处理，将每个特征图映射为第二特征图，(n+1)个第二特征图包括第二特征图。

在一个可能的实现方式中，对待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到待检测部件的缺陷检测结果是通过神经网络模型执行的，神经网络模型是通过对神经网络进行训练得到的，神经网络包括特征提取网络和用于分别对多种缺陷类别进行分类的多个分类网络，处理器执行神经网络模型的训练，包括：

获取待检测部件的第一样本图像和第一样本图像对于多种缺陷类别的标注数据；

将第一样本图像输入特征提取网络进行特征提取，得到第二共享特征图；

将第二共享特征图分别输入多个分类网络进行缺陷分类，得到第一样本图像对于多种缺陷类别的缺陷检测结果；

根据第一样本图像对于多种缺陷类别的缺陷检测结果和第一样本图像对于多种缺陷类别的标注数据，确定第一目标损失；

根据第一目标损失调整特征提取网络和多个分类网络的参数，迭代第一样本图像，以使第一目标损失收敛，得到神经网络模型。

在一个可能的实现方式中，处理器还用于执行：

若存在待增加的目标缺陷类别，则在神经网络模型中增加目标缺陷类别的目标分类网络；

获取待检测部件的第二样本图像和第二样本图像对于目标缺陷类别的标注数据；

将第二样本图像输入特征提取网络进行特征提取，得到第三共享特征图；

将第三共享特征图输入目标分类网络进行缺陷分类，得到第二样本图像对于目标缺陷类别的缺陷检测结果；

根据第二样本图像对于目标缺陷类别的缺陷检测结果和第二样本图像对于目标缺陷类别的标注数据，确定目标分类网络的第二目标损失；

根据第二目标损失调整目标分类网络的参数，迭代第二样本图像，以使第二目标损失收敛。

在一个可能的实现方式中，待检测部件为开口销，多种缺陷类别包括以下中的至少两种：开口销闭合、开口销角度偏差和开口销缺失。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

与上述一致的，请参阅图10，图10为本申请实施例提供的一种接触网部件缺陷检测装置的结构示意图。如图10所示，该装置包括获取单元1001和处理单元1002；

获取单元1001，用于获取高铁接触网的待检测图像；

处理单元1002，用于在待检测图像中包括待检测部件的情况下，确定待检测部件所在的区域图像；

处理单元1002，还用于对待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到待检测部件的缺陷检测结果。

可以看出，在图10所示的接触网部件缺陷检测装置中，通过获取高铁接触网的待检测图像；在待检测图像中包括待检测部件的情况下，确定待检测部件所在的区域图像；对待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到待检测部件的缺陷检测结果。这样在缺陷检测时，能够检测出待检测部件在多种缺陷类别上的检测结果，有利于避免待检测部件的某种缺陷漏检的情况，从而有利于提高待检测部件缺陷检测的准确度。

在一个可能的实现方式中，在对待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到待检测部件的缺陷检测结果方面，处理单元1002具体用于：

对待检测部件所在的区域图像进行特征提取，得到第一共享特征图；

采用多种缺陷类别中每种缺陷类别对应的分类网络分别对第一共享特征图进行缺陷分类，得到待检测部件对于每种缺陷类别的缺陷检测结果。

在一个可能的实现方式中，每种缺陷类别的缺陷检测结果包括以下中的一种：

存在该类别的缺陷；

不存在该类别的缺陷；

无法判断是否存在该类别的缺陷；

存在缺陷，但是无法确定所存在的缺陷的类别是否为该类别。

在一个可能的实现方式中，在对待检测部件所在的区域图像进行特征提取，得到第一共享特征图方面，处理单元1002具体用于：

对待检测部件所在的区域图像进行卷积，得到第一特征图；

对第一特征图进行m个阶段的下采样，得到m个尺度的特征图，m个尺度的特征图与m个阶段的下采样一一对应；

对第一特征图和m个尺度的特征图中的n个目标特征图进行映射，得到(n+1)个第二特征图，n为大于等于2且小于等于m的整数；

结合(n+1)个第二特征图对m个尺度的特征图中尺度最小的特征图进行m个阶段的上采样，得到第一共享特征图。

在一个可能的实现方式中，在结合(n+1)个第二特征图对m个尺度的特征图中尺度最小的特征图进行m个阶段的上采样，得到第一共享特征图方面，处理单元1002具体用于：

对尺度最小的特征图进行第1个阶段的上采样；

对于m个阶段的上采样中第r个阶段的上采样，若(n+1)个第二特征图中存在目标第二特征图，则将目标第二特征图与第r个阶段的上采样得到的特征图进行融合，得到第一融合特征图，目标第二特征图为与第r个阶段的上采样得到的特征图的尺度相同的第二特征图，r为大于等于1且小于等于(m-1)的整数；

对第一融合特征图或第r个阶段的上采样得到的特征图，进行第(r+1)个阶段的上采样，直至完成第m个阶段的上采样；

将第m个阶段的上采样得到的特征图与(n+1)个第二特征图中尺度相同的特征图进行融合，得到第二融合特征图；

对第二融合特征图进行后处理，得到第一共享特征图。

在一个可能的实现方式中，在对第一特征图和m个尺度的特征图中的n个目标特征图进行映射方面，处理单元1002具体用于：

对于第一特征图和n个目标特征图中的每个特征图，对每个特征图进行第1次可逆转换处理，得到第1次映射后的特征图；

对第s次映射后的特征图进行第(s+1)次可逆转换处理，得到第(s+1)次映射后的特征图，s为大于或等1的整数；

通过至少2次可逆转换处理，将每个特征图映射为第二特征图，(n+1)个第二特征图包括第二特征图。

在一个可能的实现方式中，对待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到待检测部件的缺陷检测结果是通过神经网络模型执行的，神经网络模型是通过对神经网络进行训练得到的，神经网络包括特征提取网络和用于分别对多种缺陷类别进行分类的多个分类网络，处理单元1002还用于：

获取待检测部件的第一样本图像和第一样本图像对于多种缺陷类别的标注数据；

将第一样本图像输入特征提取网络进行特征提取，得到第二共享特征图；

将第二共享特征图分别输入多个分类网络进行缺陷分类，得到第一样本图像对于多种缺陷类别的缺陷检测结果；

根据第一样本图像对于多种缺陷类别的缺陷检测结果和第一样本图像对于多种缺陷类别的标注数据，确定第一目标损失；

根据第一目标损失调整特征提取网络和多个分类网络的参数，迭代第一样本图像，以使第一目标损失收敛，得到神经网络模型。

在一个可能的实现方式中，处理单元1002还用于：

若存在待增加的目标缺陷类别，则在神经网络模型中增加目标缺陷类别的目标分类网络；

获取开口销的第二样本图像和第二样本图像对于目标缺陷类别的标注数据；

将第二样本图像输入特征提取网络进行特征提取，得到第三共享特征图；

将第三共享特征图输入目标分类网络进行缺陷分类，得到第二样本图像对于目标缺陷类别的缺陷检测结果；

根据第二样本图像对于目标缺陷类别的缺陷检测结果和第二样本图像对于目标缺陷类别的标注数据，确定目标分类网络的第二目标损失；

根据第二目标损失调整目标分类网络的参数，迭代第二样本图像，以使第二目标损失收敛。

在一个可能的实现方式中，待检测部件为开口销，多种缺陷类别包括以下中的至少两种：开口销闭合、开口销角度偏差和开口销缺失。

本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质存储有用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种接触网部件缺陷检测方法的部分或全部步骤。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种接触网部件缺陷检测方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在申请明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。

所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种接触网部件缺陷检测方法，其特征在于，所述方法包括：

获取高铁接触网的待检测图像；

在所述待检测图像中包括待检测部件的情况下，确定所述待检测部件所在的区域图像；

对所述待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到所述待检测部件的缺陷检测结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到所述待检测部件的缺陷检测结果，包括：

对所述待检测部件所在的区域图像进行特征提取，得到第一共享特征图；

采用所述多种缺陷类别中每种缺陷类别对应的分类网络分别对所述第一共享特征图进行缺陷分类，得到所述待检测部件对于所述每种缺陷类别的缺陷检测结果。

3.根据权利要求2所述的方法，其特征在于，所述每种缺陷类别的缺陷检测结果包括以下中的一种：

存在该类别的缺陷；

不存在该类别的缺陷；

无法判断是否存在该类别的缺陷；

存在缺陷，但是无法确定所存在的缺陷的类别是否为该类别。

4.根据权利要求2所述的方法，其特征在于，所述对所述待检测部件所在的区域图像进行特征提取，得到第一共享特征图，包括：

对所述待检测部件所在的区域图像进行卷积，得到第一特征图；

对所述第一特征图进行m个阶段的下采样，得到m个尺度的特征图，所述m个尺度的特征图与所述m个阶段的下采样一一对应，m为大于等于2的整数；

对所述第一特征图和所述m个尺度的特征图中的n个目标特征图进行映射，得到(n+1)个第二特征图，n为大于等于2且小于等于m的整数；

结合所述(n+1)个第二特征图对所述m个尺度的特征图中尺度最小的特征图进行m个阶段的上采样，得到所述第一共享特征图。

5.根据权利要求4所述的方法，其特征在于，所述结合所述(n+1)个第二特征图对所述m个尺度的特征图中尺度最小的特征图进行m个阶段的上采样，得到所述第一共享特征图，包括：

对所述尺度最小的特征图进行第1个阶段的上采样；

对于所述m个阶段的上采样中第r个阶段的上采样，若所述(n+1)个第二特征图中存在目标第二特征图，则将所述目标第二特征图与所述第r个阶段的上采样得到的特征图进行融合，得到第一融合特征图，所述目标第二特征图为与所述第r个阶段的上采样得到的特征图的尺度相同的第二特征图，r为大于等于1且小于等于(m-1)的整数；

对所述第一融合特征图或所述第r个阶段的上采样得到的特征图，进行第(r+1)个阶段的上采样，直至完成第m个阶段的上采样；

将所述第m个阶段的上采样得到的特征图与所述(n+1)个第二特征图中尺度相同的特征图进行融合，得到第二融合特征图；

对所述第二融合特征图进行后处理，得到所述第一共享特征图。

6.根据权利要求4所述的方法，其特征在于，所述对所述第一特征图和所述m个尺度的特征图中的n个目标特征图进行映射，包括：

对于所述第一特征图和所述n个目标特征图中的每个特征图，对所述每个特征图进行第1次可逆转换处理，得到第1次映射后的特征图；

对第s次映射后的特征图进行第(s+1)次可逆转换处理，得到第(s+1)次映射后的特征图，s为大于或等1的整数；

通过至少2次可逆转换处理，将所述每个特征图映射为第二特征图，所述(n+1)个第二特征图包括所述第二特征图。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述对所述待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到所述待检测部件的缺陷检测结果是通过神经网络模型执行的，所述神经网络模型是通过对神经网络进行训练得到的，所述神经网络包括特征提取网络和用于分别对预设的多种缺陷类别进行分类的多个分类网络，所述神经网络模型通过以下步骤训练得到：

获取所述待检测部件的第一样本图像和所述第一样本图像对于所述多种缺陷类别的标注数据；

将所述第一样本图像输入所述特征提取网络进行特征提取，得到第二共享特征图；

将所述第二共享特征图分别输入所述多个分类网络进行缺陷分类，得到所述第一样本图像对于所述多种缺陷类别的缺陷检测结果；

根据所述第一样本图像对于所述多种缺陷类别的缺陷检测结果和所述第一样本图像对于所述多种缺陷类别的标注数据，确定第一目标损失；

根据所述第一目标损失调整所述特征提取网络和所述多个分类网络的参数，迭代所述第一样本图像，以使所述第一目标损失收敛，得到所述神经网络模型。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

若存在待增加的目标缺陷类别，则在所述神经网络模型中增加所述目标缺陷类别的目标分类网络；

获取所述待检测部件的第二样本图像和所述第二样本图像对于所述目标缺陷类别的标注数据；

将所述第二样本图像输入所述特征提取网络进行特征提取，得到第三共享特征图；

将所述第三共享特征图输入所述目标分类网络进行缺陷分类，得到所述第二样本图像对于所述目标缺陷类别的缺陷检测结果；

根据所述第二样本图像对于所述目标缺陷类别的缺陷检测结果和所述第二样本图像对于所述目标缺陷类别的标注数据，确定所述目标分类网络的第二目标损失；

根据所述第二目标损失调整所述目标分类网络的参数，迭代所述第二样本图像，以使所述第二目标损失收敛。

9.根据权利要求2-8任一项所述的方法，其特征在于，所述待检测部件为开口销，所述多种缺陷类别包括以下中的至少两种：

开口销闭合、开口销角度偏差和开口销缺失。

10.一种接触网部件缺陷检测装置，其特征在于，所述装置包括获取单元和处理单元，其中，

所述获取单元，用于获取高铁接触网的待检测图像；

所述处理单元，用于在所述待检测图像中包括待检测部件的情况下，确定所述待检测部件所在的区域图像；

所述处理单元，还用于对所述待检测部件所在的区域图像进行预设的多种缺陷类别的缺陷检测，得到所述待检测部件的缺陷检测结果。

11.一种电子设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-9任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-9任一项所述的方法。

Images