CN114612741A - 缺陷识别模型的训练方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了缺陷识别模型的训练方法、装置、电子设备及存储介质，涉及人工智能技术领域，尤其涉及计算机视觉、图像识别和深度学习技术，具体可应用于智慧城市和智能交通场景下。具体实现方案为：获取图像，对该图像进行预处理；对经过预处理的图像中的电网缺陷进行标注，得到标注好的样本；利用该标注好的样本对缺陷识别模型进行训练，其中，该缺陷识别模型利用外部记忆单元进行特征提取；在符合预设条件的情况下停止训练，获得训练好的缺陷识别模型。采用该训练方法，外部记忆单元中保存有训练数据集的全局记忆，可以进行更加精确的特征提取，得到更好更高效的缺陷识别模型，以实现自动化的电网缺陷识别。

Description

缺陷识别模型的训练方法、装置、电子设备及存储介质

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉、图像识别和深度学习技术，具体可应用于智慧城市和智能交通场景下。

背景技术

随着经济社会的快速发展，国家电网输电线路数量不断增加，相应的输电线路硬件设施巡检任务的工作量和工作难度与日俱增。传统的人工巡检方式面临着巡检周期长、效率低、危险性高、应对复杂地形能力差等问题，难以及时发现电网的缺陷，难以满足电网运维的要求。

发明内容

本公开提供了一种缺陷识别模型的训练方法方法、装置、电子设备以及存储介质。

根据本公开的一方面，提供了一种陷识别模型的训练方法，包括：

获取图像，对该图像进行预处理；对经过预处理的图像中的电网缺陷进行标注，得到标注好的样本；利用该标注好的样本对缺陷识别模型进行训练，其中，该缺陷识别模型利用外部记忆单元进行特征提取；在符合预设条件的情况下停止训练，获得训练好的缺陷识别模型。

根据本公开的另一方面，提供了一种目标缺陷的识别方法，包括：

获取训练好的缺陷识别模型，该缺陷识别模型采用本公开任一训练方法获得的缺陷识别模型；将待识别图像输入该缺陷识别模型，得到缺陷识别结果。

根据本公开的另一方面，提供了一种缺陷识别模型的训练装置，包括：

预处理模块，用于获取图像，对该图像进行预处理；

标注模块，用于对经过预处理的图像中的电网缺陷进行标注，得到标注好的样本；

训练模块，用于利用该标注好的样本对缺陷识别模型进行训练，其中，该缺陷识别模型利用外部记忆单元进行特征提取；

获得模块，用于在符合预设条件的情况下停止训练，获得训练好的缺陷识别模型。

根据本公开的另一方面，提供了一种目标缺陷的识别装置，包括：

模型获取模块，用于获取训练好的缺陷识别模型，该缺陷识别模型采用本公开中任一缺陷识别模型的训练装置获得的缺陷识别模型；

结果获取模块，用于将待识别图像输入该缺陷识别模型，得到缺陷识别结果。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与该至少一个处理器通信连接的存储器；其中，该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现本公开任一实施例中的方法。

采用本公开的方案训练缺陷识别模型，利用外部注意力的特征提取方式来捕获训练数据全局的上下文信息，从而对图片中的目标特征建立起长远距离的依赖，从而提取出更强有力的特征，以更好地训练出对电网线路缺陷识别及定位更精准的模型。采用本公开方案训练好的模型进行电网缺陷识别，可以保证对于电网线路缺陷检测的准确率，检测效率远远高于人工检测。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开一实施例的缺陷模型的训练方法的流程图；

图2是根据本公开一实施例的缺陷识别模型结构示意图；

图3是根据本公开一实施例的移位窗编码解码模块结构示意图；

图4是根据本公开一实施例的外部注意力特征提取模块结构示意图；

图5是根据本公开一实施例的目标缺陷的识别方法的流程图；

图6是根据本公开一实施例的缺陷模型的训练装置的示意图；

图7是根据本公开一实施例的目标缺陷的识别装置的示意图；

图8是用来实现本公开实施例的缺陷模型的训练方法或目标缺陷的识别方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

在建设智能电网和增强供电可靠性的大背景下，以无人机代替人工的智能巡检方式已是大势所趋。随着通用航空技术的普及和发展，特别是无人机技术的日趋完善，以无人机为巡检载体、地面监控设备为支撑的输电线路巡检系统，因具有广覆盖、高效率、高可靠、低风险和低成本的优势，正在受到愈来愈广泛的关注。常用的无人机巡检平台配置高速图像采集模块以及图像处理模块用以完成综合巡检作业。其中，高速图像模块主要实现可见光的视频图像采集功能，图像处理模块主要完成输电线路缺点识别及定位功能，此类巡检方式对确保供电管网安全畅通、可靠运行有着重要意义，为输电线路缺陷故障的快速智能诊断提供了有力支撑。

对于图像处理模块而言，传统的图像处理技术多是基于经典的图像处理算法，如滤波、边缘检测、轮廓提取、小波变换、形态学运算以及模板匹配等。这些算法提取的手工特征(handcrafted feature)基本属于底层视觉特征，其识别能力及定位精度均有待提高。随着深度学习技术在计算机视觉领域的发展，基于深度学习的目标检测方法已经取得了较为广泛的应用，且大量实验证明基于深度学习的目标检测技术已经超过传统图像处理方法所达到的效率及精度，故将基于深度学习的目标检测方法结合电网线路设施无人机巡检任务可以极大提高电网输电线路缺陷巡检的准确性及高效性。

基于深度学习的目标检测方法已在大量工业场景中落地应用。目标检测是计算机视觉中最为基础的一个技术方向，在无人机巡检中起到关键性作用。基于目标检测的无人机巡检技术不仅解决了传统的人工巡检效率低、危险性高的问题，同样在传统图像处理的基础上极大提高了目标检测的精度及效率，具有十分广泛的应用前景。

基于深度学习的目标检测方法依赖于训练数据样本，前期通过无人机采集电网线路场景图片，并根据缺陷样本对图片进行标注，然后选定目标检测模型进行训练，在模型训练完成后，后期即可通过该目标检测模型对无人机采集到进行检测，进而自动得到采集图片中的缺陷分类及定位信息。

通用的目标检测模型主要由特征提取网络(backbone)、特征融合网络(neck)以及输出预测分支(head)三部分组成。特征提取网络通过对输入图像进行特征提取，得到表征输入图片的高级抽象语义信息的特征图；特征融合网络通过融合不同尺寸的特征图，结合高层抽象语义信息以及低层空间位置信息，得到表征能力更强的特征图；输出预测分支用于对待检测目标的类别以及边界信息进行预测，输出最终的预测结果。

目前基于深度学习的目标检测模型中常用的特征提取方法为卷积操作模块，一定大小的卷积核在图像上以滑动窗口的形式进行特征提取，由于卷积操作具有局部性以及空间不变性，在特征提取过程中，卷积核的大小决定了特征提取时感受野的大小，从而决定了提取到的图像特征的丰富性及鲁棒性；与此同时，卷积核的权重共享性质使得对于图像中的不同区域，仍采用相同参数的卷积核进行卷积运算，只可以得到短距离内的语义特征信息，缺乏对图像中的关键区域建立基于全局上下文信息间的远距离依赖，即在进行特征提取时，无法捕捉到图像中整体的高级语义信息。而对于目标检测任务而言，无人机采集的图片中的缺陷样本大小分布参差不齐，无法通过单一大小的卷积核感受野来同时提取不同大小尺寸的样本特征，而特征提取方法提取到的语义特征性能的好坏，直接决定了电网线路缺陷的识别性能。

为了进一步提高对电网缺陷的识别性能，如图1所示，本公开提供了一种缺陷识别模型的训练方法，包括：

S101：获取图像，对该图像进行预处理；

一示例中，图像可以是航拍图像，具体可以是无人机在不同高度以电网设备为目标拍摄的图像。预处理是对航拍的图片进行的图像处理，主要目的是将图像格式统一化、图像内容清晰化，更适于之后步骤中对电网缺陷的标注及提取。

S102：对经过预处理的图像中的电网缺陷进行标注，得到标注好的样本；

一示例中，对经过预处理后的图像进行标注，具体可以选择开源标注工具对图像进行标注，对图像标注后会产生xml文件，文件中保存有图像中目标的详细信息用于之后训练缺陷识别模型的样本。标注的内容对应待训练的模型的识别内容，如需要训练模型识别缺陷的类型，在标注样本中就需要标注类型；如需要训练模型识别缺陷的大小、位置、严重程度等，需要对图像中的缺陷进行相应的大小、位置、严重程度的标注。

S103：利用该标注好的样本对缺陷识别模型进行训练，其中，该缺陷识别模型利用外部记忆单元进行特征提取；

一示例中，缺陷识别模型可以是基于移位窗编码解码器(Swin transformer)建立的。具体地，如图2所示，该缺陷识别模型可以包括一个块分割层(Patch Partition)和多个依次连接的特征提取模块组(stage)。一示例中，标注好的样本是一张维度为H×W×3的图像，首先经过块分割层(Patch Partition)操作，生成H/4×W/4×48个图像令牌(imagetokens)，之后再经过4个特征提取模块组(stage)进行不同感受野内的特征提取操作，最终生成大小为H/32×W/32×8C维度的特征图，之后特征图经过特征融合网络(neck)以及输出预测分支(head)，最终输出预测结果。其中，块分割层(Patch Partition)可以将图像中每4×4×3的区域展平成48维度的一维向量，最终得到H/4×W/4个48维度的一维向量，记为图像令牌。需要说明的是，特征提取模块组(stage)的个数是可以根据具体需求而改变的，但是根据经验，在进行视觉目标检测时的值通常为4。

一示例中，每个特征提取模块组由一个线性嵌入层(Linear Embedding或PatchMerging)和一个移位窗编码解码模块(Swin transformer block)组成。对于样本图像输入后的第一个线性嵌入层(Linear Embedding)，该层用于将H/4×W/4×48的图像令牌通过线性层映射成H/4×W/4×C维度的嵌入块(patch Embedding)。对于其余的线性嵌入层(PatchMerging)，其作用是在每个特征提取模块组(stage)开始前做降采样，用来缩小分辨率以及调整通道数，进而形成层次化的设计。每次降采样是原来的1/2，在行方向和列方向上，间隔2选取对应，然后将对应选取的部分拼接起来，此时通道维度会变成原先的4倍(因为H、W各缩小2倍)，最后经过-个全连接层调整通道维度为原来的两倍。

一示例中，每个移位窗编码解码模块(Swin transformer block)的结构如图3所示，每个移位窗编码解码模块中顺序包括第一单元和第二单元，该第一单元包括一个窗口多头注意力层(W-MSA)，该第二单元包括一个移动窗口多头注意力层(SW-MSA)。对于窗口多头注意力层(W-MSA)，具体操作为将整个图片划分成多个窗口(Window)，仅在每个窗口内进行特征提取操作，而非在全图范围内进行特征提取操作，需要注意的是，上述“特征提取操作”可以是自注意力特征提取(Self-Attention)，也可以是外部注意力特征提取(external-attention)，但是，无论是缺陷识别模型中的哪一层进行特征提取操作时，至少有一个层通过external-attention的外部记忆单元进行特征提取。

继续参考图1，其中：

S104：在符合预设条件的情况下停止训练，获得训练好的缺陷识别模型。

一示例中，可以通过模型的输出结果与实际标注结果比较，或是根据损失函数确定模型是否训练完成。还可以规定训练次数(epoch)，在满足训练次数时即停止训练。

采用上述方案，利用外部注意力特征提取方法构建缺陷识别模型，通过外部注意力的特征提取方法来捕获图片全局的上下文信息从而对图片中的目标特征建立起长远距离的依赖，从而提取出更强有力的特征，以更好地训练出对电网线路缺陷识别及定位更精准的模型。

一示例中，图1中的步骤S102的标注步骤具体包括：对经过预处理的图像中的电网缺陷位置和电网缺陷类型进行标注，除此之外，还可以标注电网缺陷的大小。在获得电网缺陷类别、大小和位置之后，将其存储为一组，标注多个图像后，将标注信息构成数据集作为之后训练的样本。对电网缺陷类型和对应的位置、以及大小进行标注，得到样本，可以训练之后的缺陷识别模型用于快速锁定电网缺陷，帮助快速获知电网缺陷的关键信息。

一示例中，上述电网缺陷类型包括主要构件缺陷和辅助构件缺陷，该主要构件缺陷包括：绝缘子缺陷、均压环缺陷、间隔棒缺陷、防震锤缺陷中至少一种；该辅助构件缺陷包括：螺栓缺陷、销子缺陷、穿钉缺陷中至少一种。采用上述示例，按照构件的类型对缺陷进行分类，分为主要构件缺陷(大缺陷)和辅助构件缺陷(小缺陷)，每一种缺陷还可以再细分，比如，绝缘子缺陷还可包括绝缘子自爆、绝缘子污秽等，均压环缺陷还可分为均压环锈蚀、均压环反装等缺陷等，螺栓缺陷还可细分为螺栓锈蚀、螺栓缺销子，销子缺陷还可细分为销子安装不规范等等。这种分级的缺陷类型划分方式可以很好地覆盖电网的所有缺陷，保证后续训练出的缺陷识别模型有较高、全面的缺陷识别能力。

一示例中，图1中的步骤S103的训练步骤具体包括：移动窗口多头注意力层(SW-MSA)通过外部记忆单元进行特征提取，具体地，该多头注意力层先利用移动窗口对该标注好的样本进行划分，得到包含重合内容的多个目标窗口；然后，利用外部注意力特征提取(external-attention)的方式进行特征提取，即，利用外部记忆单元对该多个目标窗口进行特征提取。现有技术中，通常在移动窗口多头注意力层(SW-MSA)中采用自注意力特征提取(Self-Attention)，该提取方式没有考虑整体数据分布中特征的潜在关系。本方案中创新性地用外部注意力特征提取(external-attention)，外部注意力特征提取的模块架构具体如图4所示，里面包含外部记忆单元，该外部记忆单元是小的、可学习的以及共享记忆，通过该外部记忆单元，隐式地考虑了所有样本数据之间的关系，可以更精准地进行特征提取。

一示例中，外部注意力特征提取(external-attention)模块中包含依次连接的多个个不同的外部记忆单元，如图4所示，对于输入特征图(feature)仅通过一层线性层层生成查询(Query)，Query与第一外部记忆单元相乘，经过归一化后再与第二个外部记忆单元相乘，得到最终的输出特征图；其中外部记忆单元为可学习的向量(在实现时可通过线性层实现)，此时的外部记忆单元不仅仅与当前输入特征图有关，其保存的向量值同样与训练过程中之前遇到的输入相关，即第一、第二个外部记忆单元包含了整体数据分布特征，具有正则化的作用。采用不同种类的依次连接的外部记忆单元，可以大大增加网络建模的能力，因为与自注意力机制相比，减少了三分之一的计算复杂度，因此可以比自注意力机制更加高效，且可以直接用于大尺寸数据的输入。

另外，本公开的缺陷识别模型可以使用Swin transformer框架，利用Swintransformer的多窗口优势可以对不同高程拍下的照片进行特征识别。

一示例中，图1中的步骤S101的预处理步骤具体包括：对该图像进行预处理，包括以下至少一种：将该图像缩放至预设大小、按照预设的概率对该图像进行翻转操作以及对该图像的像素进行归一化操作。具体地，可以从如下方法中任意选择至少一种来进行图像的预处理：

a.保持原图长宽比的情况下，将航拍原图大小缩放为(1333,800)大小，具体为先将长边重置为1333，若此时短边小于800，则将短边通过补0的方式扩充为32的最近倍数，缩放结束；否则将图片短边重置为800，将长边通过补0的方式扩充为32的最近倍数，缩放结束；

b.按照0.5的概率对图像进行随机左右翻转；

c.对图像像素值进行归一化，使像素值范围分布由(0,255)归一化为(0,1)。

因为航拍的高度变化较大，而电网的特征包括非常明显的特征以及细微特征。通过上述预处理后，图像会更加标准化和多样化，更适于之后步骤中对电网缺陷的标注及提取。

图5示出根据本公开一实施例的目标缺陷的识别方法的流程图。如图5所示，该识别方法可以包括：

S501:获取训练好的缺陷识别模型，该缺陷识别模型采用上述任一缺陷识别模型的训练方法获得的模型；

S502:将待识别图像输入该缺陷识别模型，得到缺陷识别结果。

一示例中，“缺陷识别模型”是上文中公开的训练方法训练出来的模型，此处不再赘述。将待识别图像输入该缺陷识别模型，具体地，在输入前需要根据模型的具体需求对待识别图像进行预处理，比如将该图像缩放至预设大小，或是将图像进行分块识别。需要强调的是，上述模型可以得到表征输入图片的高级抽象语义信息的特征图。然后将得到的所有特征图输入特征融合网络，特征融合网络通过融合不同尺寸的特征图，结合高层抽象语义信息以及低层空间位置信息，得到表征能力更强的特征图；输出预测分支用于对待检测目标的类别以及边界信息进行预测，输出最终的预测结果。利用训练好的缺陷识别模型，可以将模型部署到无人机上，也可以接收无人机的图像后利用此图像进行识别，可以保证对于电网线路缺陷检测的准确率，检测效率远远高于人工检测，检测效果强于使用一般卷积的特征提取模型。

如图6所示，本公开的实施例中提供一种缺陷识别模型的训练装置600，该装置包括：

预处理模块601，用于获取图像，对该图像进行预处理；

标注模块602，用于对经过预处理的图像中的电网缺陷进行标注，得到标注好的样本；

训练模块603，用于利用该标注好的样本对缺陷识别模型进行训练，其中，该缺陷识别模型利用外部记忆单元进行特征提取；

获得模块604，用于在符合预设条件的情况下停止训练，获得训练好的缺陷识别模型。

一示例中，该标注模块用于：

对经过预处理的图像中的电网缺陷位置和电网缺陷类型进行标注，得到标注好的样本。

一示例中，该电网缺陷类型包括主要构件缺陷和辅助构件缺陷，该主要构件缺陷包括：绝缘子缺陷、均压环缺陷、间隔棒缺陷、防震锤缺陷中至少一种；该辅助构件缺陷包括：螺栓缺陷、销子缺陷、穿钉缺陷中至少一种。

一示例中，该训练模块用于：

利用该标注好的样本对缺陷识别模型进行训练，其中，该缺陷识别模型利用移动窗口对该标注好的样本进行划分，得到包含重合内容的多个目标窗口；

利用外部记忆单元对该多个目标窗口进行特征提取。

一示例中，该装置中利用该外部记忆单元对该多个目标窗口进行特征提取，包括：

利用多个依次连接的外部记忆单元对该多个目标窗口进行特征提取。

一示例中该预处理模块，用以下至少一种方法对该图像进行预处理：将该图像缩放至预设大小、按照预设的概率对该图像进行翻转操作以及对该图像的像素进行归一化操作。

如图7所示，本公开的实施例中提供一种目标缺陷的识别装置700，该装置包括：

模型获取模块701，用于获取训练好的缺陷识别模型，该缺陷识别模型采用上述任一缺陷识别模型的训练装置获得的模型；

结果获取模块702，用于将待识别图像输入该缺陷识别模型，得到缺陷识别结果。

本公开实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如缺陷识别模型的训练方法或目标缺陷的识别方法。例如，在一些实施例中，缺陷识别模型的训练方法或目标缺陷的识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM803并由计算单元801执行时，可以执行上文描述的缺陷识别模型的训练方法或目标缺陷的识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行缺陷识别模型的训练方法或目标缺陷的识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (17)

1.一种缺陷识别模型的训练方法，包括：

获取图像，对所述图像进行预处理；

对经过预处理的图像中的电网缺陷进行标注，得到标注好的样本；

利用所述标注好的样本对缺陷识别模型进行训练，其中，所述缺陷识别模型利用外部记忆单元进行特征提取；

在符合预设条件的情况下停止训练，获得训练好的缺陷识别模型。

2.根据权利要求1所述的方法，其中，所述对经过预处理的图像中的电网缺陷进行标注，得到标注好的样本，包括：

对经过预处理的图像中的电网缺陷位置和电网缺陷类型进行标注，得到标注好的样本。

3.根据权利要求2所述的方法，其中，所述电网缺陷类型包括主要构件缺陷和辅助构件缺陷，所述主要构件缺陷包括：绝缘子缺陷、均压环缺陷、间隔棒缺陷、防震锤缺陷中至少一种；所述辅助构件缺陷包括：螺栓缺陷、销子缺陷、穿钉缺陷中至少一种。

4.根据权利要求1所述的方法，其中，所述缺陷识别模型利用外部记忆单元进行特征提取，包括：

所述缺陷识别模型利用移动窗口对所述标注好的样本进行划分，得到包含重合内容的多个目标窗口；

利用外部记忆单元对所述多个目标窗口进行特征提取。

5.根据权利要求4所述的方法，其中，所述利用所述外部记忆单元对所述多个目标窗口进行特征提取，包括：

利用多个依次连接的外部记忆单元对所述多个目标窗口进行特征提取。

6.根据权利要求1所述的方法，其中，所述对所述图像进行预处理，包括以下至少一种：将所述图像缩放至预设大小、按照预设的概率对所述图像进行翻转操作以及对所述图像的像素进行归一化操作。

7.一种目标缺陷的识别方法，包括：

获取训练好的缺陷识别模型，所述缺陷识别模型采用权利要求1-6中任一所述缺陷识别模型的训练方法获得的模型；

将待识别图像输入所述缺陷识别模型，得到缺陷识别结果。

8.一种缺陷识别模型的训练装置，包括：

预处理模块，用于获取图像，对所述图像进行预处理；

标注模块，用于对经过预处理的图像中的电网缺陷进行标注，得到标注好的样本；

训练模块，用于利用所述标注好的样本对缺陷识别模型进行训练，其中，所述缺陷识别模型利用外部记忆单元进行特征提取；

获得模块，用于在符合预设条件的情况下停止训练，获得训练好的缺陷识别模型。

9.根据权利要求8所述的装置，其中，所述标注模块用于：

对经过预处理的图像中的电网缺陷位置和电网缺陷类型进行标注，得到标注好的样本。

10.根据权利要求9所述的装置，其中，所述电网缺陷类型包括主要构件缺陷和辅助构件缺陷，所述主要构件缺陷包括：绝缘子缺陷、均压环缺陷、间隔棒缺陷、防震锤缺陷中至少一种；所述辅助构件缺陷包括：螺栓缺陷、销子缺陷、穿钉缺陷中至少一种。

11.根据权利要求8所述的装置，其中，所述训练模块用于：

利用所述标注好的样本对缺陷识别模型进行训练，其中，所述缺陷识别模型利用移动窗口对所述标注好的样本进行划分，得到包含重合内容的多个目标窗口；

利用外部记忆单元对所述多个目标窗口进行特征提取。

12.根据权利要求11所述的装置，其中，所述利用所述外部记忆单元对所述多个目标窗口进行特征提取，包括：

利用多个依次连接的外部记忆单元对所述多个目标窗口进行特征提取。

13.根据权利要求8所述的装置，其中，所述预处理模块，用以下至少一种方法对所述图像进行预处理：将所述图像缩放至预设大小、按照预设的概率对所述图像进行翻转操作以及对所述图像的像素进行归一化操作。

14.一种目标缺陷的识别装置，包括：

模型获取模块，用于获取训练好的缺陷识别模型，所述缺陷识别模型采用权利要求8-13中任一所述缺陷识别模型的训练装置获得的模型；

结果获取模块，用于将待识别图像输入所述缺陷识别模型，得到缺陷识别结果。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。

17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。

Images