CN112634254A - 绝缘子缺陷检测方法及相关装置 - Google Patents

Abstract

本申请实施例提供一种绝缘子缺陷检测方法及相关装置，其中，所述方法包括：获取待检测图像；在所述待检测图像中包括绝缘子的情况下，从所述待检测图像中分割出目标绝缘子图像；对所述目标绝缘子图像中的绝缘子进行缺陷检测，以确定所述目标绝缘子图像中的绝缘子是否存在缺陷。本申请实施例有利于提升绝缘子缺陷检测的效率。

Description

绝缘子缺陷检测方法及相关装置

技术领域

本申请涉及图像检测技术领域，具体涉及一种绝缘子缺陷检测方法及相关装置。

背景技术

国家电网的输电设施和中国铁路的运行路线是社会赖以生存和发展的重要基础设施，因此，电力传输线路的巡检工作在保障国民生活生产和工业发展方面显得尤为重要。目前，对电力传输的巡检线路中的绝缘子进行缺陷识别的方法是：巡检车收集整体输电线路的图像并以一定的时间频率上传，监控人员通过人眼观察整体图像，定位到绝缘子的位置并且查看是否有缺陷，采用人工排查的方式进行绝缘子缺陷检测时的效率较低。

发明内容

本申请实施例提供一种绝缘子缺陷检测方法及相关装置，有利于提升绝缘子缺陷检测的效率。

本申请实施例的第一方面提供一种绝缘子缺陷检测方法，该方法包括：

获取待检测图像；

在所述待检测图像中包括绝缘子的情况下，从所述待检测图像中分割出目标绝缘子图像；

对所述目标绝缘子图像中的绝缘子进行缺陷检测，以确定所述目标绝缘子图像中的绝缘子是否存在缺陷。

可以看出，通过对待检测图像进行检测，若检测出待检测图像中存在绝缘子，则对待检测图像进行分割，得到目标绝缘子图像，基于目标绝缘子图像对图像中的绝缘子作进一步的缺陷检测，确定该绝缘子是否存在缺陷，相对于现有方案中，通过人工的方式对绝缘子是否存在缺陷进行检测，能够快速定位到绝缘子，并检测绝缘子是否存在缺陷，提升了绝缘子缺陷检测时的效率。

结合第一方面，在一个可能的实现方式中，从待检测图像中分割出目标绝缘子图像，包括：

从待检测图像中获取绝缘子图像；

在绝缘子图像的尺寸大于或等于预设尺寸的情况下，将绝缘子图像确定为目标绝缘子图像；

从待检测图像中分割出绝缘子图像，得到目标绝缘子图像。

本示例中，将绝缘子图像的图像尺寸大于或等于预设尺寸的图像，确定为目标绝缘子图像，可以过滤不符合绝缘子缺陷检测的图像，进一步提升了对绝缘子进行缺陷检测时的效率。

结合第一方面，在一个可能的实现方式中，该方法还包括：

在绝缘子图像的尺寸小于预设尺寸的情况下，确定绝缘子图像中的绝缘子为干扰绝缘子；

过滤待检测图像，不执行从待检测图像中分割出绝缘子图像的操作。

本示例中，通过将尺寸小于预设尺寸的绝缘子图像中的绝缘子判定为干扰绝缘子，对包含干扰绝缘子的待检测图像进行过滤，不执行分割，有利于提升对绝缘子进行缺陷检测的效率。

结合第一方面，在一个可能的实现方式中，对目标绝缘子图像进行缺陷检测，以确定目标绝缘子图像中的绝缘子是否存在缺陷，包括：

对目标绝缘子图像进行缺陷检测，以得到至少一个第一检测框；

根据至少一个第一检测框的置信度，确定目标绝缘子图像中的绝缘子是否存在缺陷。

结合第一方面，在一个可能的实现方式中，根据至少一个第一检测框的置信度，确定目标绝缘子图像中的绝缘子是否存在缺陷，包括：

在至少一个第一检测框的置信度中的最大置信度大于或等于阈值的情况下，确定目标绝缘子图像中的绝缘子存在缺陷；

在至少一个第一检测框的置信度中的最大置信度小于阈值的情况下，确定目标绝缘子图像中的绝缘子不存在缺陷。

本示例中，通过置信度最高的检测框对应的缺陷概率，来确定目标绝缘子图像中的绝缘子是否存在缺陷，则可以提升绝缘子缺陷判别时的准确性。

结合第一方面，在一个可能的实现方式中，对目标绝缘子图像进行缺陷检测是通过第一神经网络模型执行的；该方法还包括：

获取第一神经网络模型的假阳性率以及获取第一神经网络模型的召回率；

根据假阳性率和召回率，确定阈值。

本示例中，通过假阳性率和召回率来确定阈值，则可以通过反馈的形式来确定阈值，从而对绝缘子是否存在缺陷的判别进行修正，提升判别时的准确性。

结合第一方面，在一个可能的实现方式中，第一神经网络模型采用以下步骤训练得到：

获取第一样本集；第一样本集中包括第一缺陷绝缘子图像、第一缺陷绝缘子图像的标注数据、第二缺陷绝缘子图像和第二缺陷绝缘子图像的掩码；

将所述第一缺陷绝缘子图像和所述第二缺陷绝缘子图像输入第一神经网络进行缺陷检测，以分别对应得到至少一个第二检测框；

根据所述至少一个第二检测框的置信度得到缺陷检测结果；

根据所述缺陷检测结果、所述标注数据和所述掩码调整所述第一神经网络的网络参数。

本示例中，当巡检线路中采集的第一缺陷绝缘子图像不足时，利用第二缺陷绝缘子图像以及其掩码扩充第一样本集，采用经过扩充的第一样本集训练第一神经网络模型，有利于提高第一神经网络模型的性能。

结合第一方面，在一个可能的实现方式中，在获取第一样本集之前，该方法还包括：

获取目标绝缘子的属性信息和背景信息；

采用所述属性信息和所述背景信息，通过3D仿真技术生成预设数量的所述第二缺陷绝缘子图像和所述第二缺陷绝缘子图像的掩码。

本示例中，通过3D仿真技术来确定预设数量的第二缺陷绝缘子图像，则可以对第一样本集进行扩充，增加训练数据。

结合第一方面，在一个可能的实现方式中，第二缺陷绝缘子图像中的绝缘子的缺陷类型包括以下中的至少一种：绝缘子破损和绝缘子闪络。

结合第一方面，在一个可能的实现方式中，在获取待检测图像之后，所述方法还包括：

采用训练好的第二神经网络模型对所述待检测图像进行识别，以确定所述待检测图像中是否包括绝缘子；其中，所述第二神经网络模型采用第二样本集对第二神经网络进行训练得到，所述第二样本集中包括不包含绝缘子的图像和包含绝缘子的图像，所述包含绝缘子的图像中包括所述第一缺陷绝缘子图像。

本申请实施例的第二方面提供一种绝缘子缺陷检测装置，该装置包括：

第一获取单元，用于获取待检测图像；

第二获取单元，用于在所述待检测图像中包括绝缘子的情况下，从所述待检测图像中分割出目标绝缘子图像；

确定单元，用于对所述目标绝缘子图像中的绝缘子进行缺陷检测，以确定所述目标绝缘子图像中的绝缘子是否存在缺陷。

结合第二方面，在一个可能的实现方式中，在从待检测图像中分割出目标绝缘子图像方面，第一获取单元具体用于：

从待检测图像中获取绝缘子图像；

在绝缘子图像的尺寸大于或等于预设尺寸的情况下，将绝缘子图像确定为目标绝缘子图像；

从待检测图像中分割出绝缘子图像，得到目标绝缘子图像。

结合第二方面，在一个可能的实现方式中，第二获取单元还用于：

在绝缘子图像的尺寸小于预设尺寸的情况下，确定绝缘子图像中的绝缘子为干扰绝缘子；

过滤待检测图像，不执行从待检测图像中分割出绝缘子图像的操作。

结合第二方面，在一个可能的实现方式中，在对目标绝缘子图像进行缺陷检测，以确定目标绝缘子图像中的绝缘子是否存在缺陷方面，第二获取单元具体用于：

对目标绝缘子图像进行缺陷检测，以得到至少一个第一检测框；

根据至少一个第一检测框的置信度，确定目标绝缘子图像中的绝缘子是否存在缺陷。

结合第二方面，在一个可能的实现方式中，在根据至少一个第一检测框的置信度，确定目标绝缘子图像中的绝缘子是否存在缺陷方面，第二获取单元具体用于：

在至少一个第一检测框的置信度中的最大置信度大于或等于阈值的情况下，确定目标绝缘子图像中的绝缘子存在缺陷；

在所述至少一个第一检测框的置信度中的最大置信度小于所述阈值的情况下，确定目标绝缘子图像中的绝缘子不存在缺陷。

结合第二方面，在一个可能的实现方式中，该装置还包括第三获取单元，第三获取单元用于：

获取第一神经网络模型的假阳性率以及获取第一神经网络模型的召回率；

根据假阳性率和召回率，确定阈值。

结合第二方面，在一个可能的实现方式中，第三获取单元还用于：

获取第一样本集；第一样本集中包括第一缺陷绝缘子图像、第一缺陷绝缘子图像的标注数据、第二缺陷绝缘子图像和第二缺陷绝缘子图像的掩码；

将第一缺陷绝缘子图像和第二缺陷绝缘子图像输入第一神经网络进行缺陷检测，以得到第一缺陷绝缘子图像和第二缺陷绝缘子图像中每张图像的至少一个第二检测框；

根据至少一个第二检测框的置信度得到缺陷检测结果；

根据缺陷检测结果、标注数据和掩码调整第一神经网络的网络参数。

结合第二方面，在一个可能的实现方式中，第三获取单元还用于：

获取目标绝缘子的属性信息和背景信息；

采用属性信息和背景信息，通过3D仿真技术生成预设数量的第二缺陷绝缘子图像和第二缺陷绝缘子图像的掩码。

结合第二方面，在一个可能的实现方式中，第二缺陷绝缘子图像中的绝缘子的缺陷类型包括以下中的至少一种：绝缘子破损和绝缘子闪络。

结合第二方面，在一个可能的实现方式中，第一获取单元还用于：

采用训练好的第二神经网络模型对待检测图像进行识别，以确定待检测图像中是否包括绝缘子；其中，第二神经网络模型采用第二样本集对第二神经网络进行训练得到，第二样本集中包括不包含绝缘子的图像和包含绝缘子的图像，该包含绝缘子的图像中包括第一缺陷绝缘子图像。

本申请实施例的第三方面提供一种电子设备，包括处理器、输入设备、输出设备和存储器，处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如本申请实施例第一方面中所描述的部分或全部步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储有用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

本申请实施例的第五方面提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A为本申请实施例提供的一种绝缘子缺陷检测方法的示意图；

图1B为本申请实施例提供的一种大图和小图的示意图；

图2为本申请实施例提供的一种绝缘子缺陷检测方法的流程示意图；

图3A为本申请实施例提供的一种绝缘子缺陷的多边形框的示意图；

图3B为本申请实施例提供的一种缺陷目标绝缘子图像的示意图；

图4为本申请实施例提供的另一种绝缘子缺陷检测方法的流程示意图；

图5为本申请实施例提供的另一种绝缘子缺陷检测方法的流程示意图；

图6为本申请实施例提供的一种电子设备的结构示意图；

图7为本申请实施例提供的一种绝缘子缺陷检测装置的结构示意图；

图8为本申请实施例提供的另一种绝缘子缺陷检测装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

为了更好的理解本申请实施例提供的一种绝缘子缺陷检测方法，下面首先对绝缘子缺陷检测方法进行简要介绍。请参阅图1A，图1A为本申请实施例提供的一种绝缘子缺陷检测方法的示意图。如图1A所示，可以通过摄像机等获取待检测图像，待检测图像可以为电力传输线路的图像，该图像中可以存在绝缘子，也可以不存在绝缘子。可以通过第二神经网络模型对待检测图像进行检测，以判断待检测图像中是否存在绝缘子，在检测到待检测图像中存在绝缘子时，从待检测图像中分割出目标绝缘子图像，目标绝缘子图像可以理解为包括绝缘子的小图，待检测图像为包括绝缘子的大图，大图、小图可以参照图1B所示。利用第一神经网络模型对目标绝缘子图像进行缺陷检测，以确定绝缘子是否存在缺陷。第一神经网络模型、第二神经网络模型为预先训练好的检测模型，第二神经网络模型用于绝缘子检测，第一神经网络模型用于绝缘子的缺陷检测。因此，相对于现有方案中，通过人工的方式对绝缘子是否存在缺陷进行检测，能够通过检测模型快速定位绝缘子的位置并检测绝缘子是否存在缺陷，提升了缺陷检测时的效率。

请参阅图2，图2为本申请实施例提供的一种绝缘子缺陷检测方法的流程示意图。如图2所示，该方法包括：

201、获取待检测图像。

本申请具体实施例中，可以通过摄像头、摄像装置等来获取待检测图像，摄像头等可以设置于电力传输线路的固定位置，例如，电线杆、电线塔等，又例如设置于靠近电线杆、电线塔等的固定装置上，还可以设置于线路巡检车上。

由于绝缘子的缺陷可能是使用期间外部作用造成的，因此，可以通过设置采集时间间隔，根据该采集时间间隔来获取待检测图像。当然，待检测图像也可以是输入的图像，该图像具体可以是管理人员自行拍摄的图像等，此处不作具体限定。

202、响应于在所述待检测图像中识别到绝缘子，从所述待检测图像中分割出目标绝缘子图像。

本申请具体实施例中，可以采用预先训练的第二神经网络模型对待检测图像进行目标检测，若第二神经网络模型存在输出，则确定待检测图像中存在绝缘子，若第二神经网络模型无输出，则确定待检测图像中不存在绝缘子。第二神经网络模型的输出中，可以是包括绝缘子的图像，也可以是不包括绝缘子的图像，不包括绝缘子的图像的可以理解为待检测图像中的绝缘子为干扰绝缘子或者干扰物等。

从待检测图像中分割出目标绝缘子图像的方法可以是根据第二神经网络模型的输出中的目标检测框的尺寸来确定出目标绝缘子图像，该目标检测框为对绝缘子进行检测的检测框。目标绝缘子图像包括于目标检测框所框出区域的图像，具体可以理解为目标绝缘子图像是目标检测框所框出的区域。

203、对所述目标绝缘子图像中的绝缘子进行缺陷检测，以确定所述目标绝缘子图像中的绝缘子是否存在缺陷。

本申请具体实施例中，可以采用预先训练好的第一神经网络模型对目标绝缘子图像进行缺陷检测，通过对绝缘子进行检测时的至少一个检测框的缺陷概率，来确定绝缘子是否存在缺陷，该检测框为对缺陷进行检测的检测框。例如，可以将缺陷概率大于或等于一定阈值时，确定为存在缺陷；将缺陷概率低于该一定阈值时，确定为不存在缺陷。可选的，在绝缘子存在缺陷的情况下，还可以进一步输出缺陷类型。

可以看出，本示例通过第二神经网络对待检测图像进行检测，若检测出待检测图像中存在绝缘子，则对待检测图像进行分割，得到目标绝缘子图像，采用第一神经网络模型对目标绝缘子图像中的绝缘子作进一步的缺陷检测，确定该绝缘子是否存在缺陷，相对于现有方案中，通过人工的方式对绝缘子是否存在缺陷进行检测，能够快速定位到绝缘子，并检测绝缘子是否存在缺陷，提升了绝缘子缺陷检测时的效率。

在一个可能的实施例中，一种可能的从待检测图像中分割出目标绝缘子图像的方法包括：

A1、从待检测图像中获取绝缘子图像；

A2、在绝缘子图像的尺寸大于或等于预设尺寸的情况下，将绝缘子图像确定为目标绝缘子图像；

A3、从待检测图像中分割出绝缘子图像，得到目标绝缘子图像。

本申请具体实施例中，绝缘子图像可以理解为第二神经网络模型输出的目标检测框所在区域的图像，绝缘子图像可以理解为小图。

预设尺寸可以通过经验值或历史数据设定，一种可能的预设尺寸为：300pixel*300pixel。将绝缘子图像确定为目标绝缘子图像后，可以从待检测图像中将上述绝缘子图像切割出来，以得到切割后单独的目标绝缘子图像。

本示例中，将绝缘子图像的图像尺寸大于或等于预设尺寸的图像，确定为目标绝缘子图像，可以过滤不符合绝缘子缺陷检测的图像，进一步提升了对绝缘子进行缺陷检测时的效率。

在一个可能的实施例中，还可以在绝缘子图像的尺寸小于预设尺寸时做另一些处理，具体如下：

B1、在绝缘子图像的尺寸小于预设尺寸的情况下，确定绝缘子图像中的绝缘子为干扰绝缘子；

B2、过滤待检测图像，不执行从待检测图像中分割出绝缘子图像的操作。

在一个可能的实施例中，还可以在待检测图像中未识别到绝缘子时做另一些处理，具体如下：

在待检测图像中未识别到绝缘子的情况下，过滤待检测图像。

本申请具体实施例中，干扰绝缘子例如可以是接触网腕臂上的绝缘子等。通过将尺寸小于预设尺寸的绝缘子图像中的绝缘子判定为干扰绝缘子，对包含干扰绝缘子的待检测图像以及未识别到绝缘子的图像进行过滤，不执行分割，有利于提升对绝缘子进行缺陷检测的效率，减少了额外的计算资源开销。

在一个可能的实施例中，一种可能的对目标绝缘子图像进行缺陷检测，以确定目标绝缘子图像中的绝缘子是否存在缺陷的方法包括：

C1、对目标绝缘子图像进行缺陷检测，以得到至少一个第一检测框；

C2、根据至少一个第一检测框的置信度，确定目标绝缘子图像中的绝缘子是否存在缺陷。

本申请具体实施例中，可以通过第一神经网络模型，确定第一检测框的置信度。根据至少一个第一检测框对应的置信度的最大值，来确定绝缘子是否存在缺陷。

本示例中，通过至少一个第一检测框的置信度，确定绝缘子是否存在缺陷，则可以提升确定绝缘子是否存在缺陷的准确性。

在一个可能的实施例中，一种可能的根据至少一个第一检测框的置信度，确定目标绝缘子图像中的绝缘子是否存在缺陷的方法包括：

D1、在至少一个第一检测框的置信度中的最大置信度大于或等于阈值的情况下，确定目标绝缘子图像中的绝缘子存在缺陷；

D2、在至少一个第一检测框的置信度中的最大置信度小于阈值的情况下，确定目标绝缘子图像中的绝缘子不存在缺陷。

本申请具体实施例中，阈值通过经验值或历史数据设定。此处可以将最大置信度理解为绝缘子存在缺陷的概率，即该概率大于或等于阈值，则确定绝缘子存在缺陷，若该概率小于阈值，则确定绝缘子不存在缺陷。

在一个可能的实施例中，本申请实施例还提供一种确定阈值的方法，该方法包括：

E1、获取第一神经网络模型的假阳性率以及获取第一神经网络模型的召回率；

E2、根据假阳性率和召回率，确定阈值。

本申请具体实施例中，获取假阳性率的方法可以为：获取第一神经网络模型的样本集中负样本被检测为正样本的第一数量，以及负样本被正确识别的第二数量；根据该第一数量和第二数量确定出假阳性率。具体可以通过如下公式所示的方法确定假阳性率：

其中，FPR为假阳性率，FP为第一数量，TN为第二数量，N为第一数量和第二数量之和。

本申请具体实施例中，获取召回率的方法可以为：获取第一神经网络模型的样本集中正样本被正确识别的第三数量，以及获取正样本被检测为负样本的第四数量；根据第三数量和第四数量，确定召回率。

具体可以通过如下公式所示的方法确定召回率：

其中，RECALL为召回率，TP为第三数量，FN为第四数量，P为第三数量和第四数量之和。

根据假阳性率和召回率确定阈值时，可以根据实际需求设定具体的假阳性率和召回率，并根据假阳性率和召回率确定该阈值，可以通过预先设定的确定关系来确定阈值。实际需求例如可以是缺陷被检测出的数量以及节省人力成本等。

在一个可能的实施例中，还可以通过样本对第一神经网络进行训练，得到第一神经网络模型，该方法具体可以包括：

F1、获取第一样本集；第一样本集中包括第一缺陷绝缘子图像、所述第一缺陷绝缘子图像的标注数据、第二缺陷绝缘子图像和所述第二缺陷绝缘子图像的掩码；

F2、将所述第一缺陷绝缘子图像和所述第二缺陷绝缘子图像输入第一神经网络进行缺陷检测，以分别对应得到至少一个第二检测框；

F3、根据所述至少一个第二检测框的置信度得到缺陷检测结果；

F4、根据所述缺陷检测结果、所述标注数据和所述掩码调整所述第一神经网络的网络参数。

本申请具体实施例中，第一样本集中包括缺陷绝缘子的样本图像可以是现有数据集中的图像，例如巡检线路中采集的第一缺陷绝缘子图像，也可以是通过样本生成方法，生成的样本图像，例如采用3D仿真技术生成的第二缺陷绝缘子图像，第一样本集中的样本图像包括第一缺陷绝缘子图像和第二缺陷绝缘子图像，以及第一缺陷绝缘子图像的标注数据和第二缺陷绝缘子图像的掩码。其中，由于绝缘子的缺陷往往比较小，因此，该标注数据是像素级的，例如图3A所示的多边形框。其中，缺陷检测结果可以是置信度最大，且大于或等于阈值的第二检测框，以及还可进一步包括该第二检测框对应的缺陷类型。

可以是采用Mask-RCNN框架作为第一神经网络进行训练，Mask-RCNN框架对于正样本的框使用了像素级别的强监督，能够提升正样本检测的性能，即提升正样本的检出率。

在一个可能的实施例中，由于在现有的数据集中，例如巡检线路中采集的图像数据集，带有缺陷的绝缘子的样本数量较少，例如，现有数据集中20000张带有绝缘子的图像中，仅存在不到50张图像包括有缺陷绝缘子，则需要对样本进行扩充，一种可能的对样本进行扩充的方法包括：

G1、获取目标绝缘子的属性信息和背景信息；

G2、采用所述属性信息和所述背景信息，通过3D仿真技术生成预设数量的所述第二缺陷绝缘子图像和所述第二缺陷绝缘子图像的掩码。

本申请具体实施例中，目标绝缘子可以是铁路接触网常用的绝缘子，可以通过查询得到目标绝缘子的属性信息，例如，在铁路接触网供电系统中查询到常用的绝缘子型号、尺寸和材料等属性信息。当然也可以通过其它方式获取到目标绝缘子的属性信息，例如，通过用户指定的方式、从互联网、服务器中查询的方式来获取到目标绝缘子的属性信息。

背景信息可以理解为目标绝缘子在实际使用时的背景信息，例如，环境背景信息，具体例如，目标绝缘子所在的电线、电线杆、白天的背景、夜晚的背景等。也可以通过查询等方式获取到背景信息。还可以是，根据目标绝缘子的属性信息获取目标绝缘子在现有的数据集中的背景，将该背景确定为缺陷绝缘子的背景信息。

采用目标绝缘子的属性信息和背景信息，使用blender(一款开源的跨平台全能三维动画制作软件)软件生成预设数量的第二缺陷绝缘子图像以及其对应的掩码，该掩码示出了第二缺陷绝缘子图像中的绝缘子缺陷的具体位置，生成的第二缺陷绝缘子图像具体可如图3B所示。预设数量通过经验值或历史数据设定。当然第一样本集中还包括有其它的图像，例如负样本等，负样本可以理解为不存在缺陷绝缘子的图像。

在一个可能的实现方式中，第二缺陷绝缘子图像中的绝缘子的缺陷类型包括以下中的至少一种：绝缘子破损和绝缘子闪络。当然，第一样本集中的所有缺陷目标绝缘子图像也可包括绝缘子破损和绝缘子闪络中的至少一种，不限于第二缺陷绝缘子图像。

本示例中，通过3D仿真技术来确定预设数量的第二缺陷绝缘子图像，则可以对第一样本集进行扩充，增加训练数据，提升了训练得到的第一神经网络模型的检测精度。

在一个可能的实现方式中，在获取待检测图像之后，该方法还包括：

采用训练好的第二神经网络模型对待检测图像进行识别，以确定待检测图像中是否包括绝缘子；其中，第二神经网络模型采用第二样本集对第二神经网络进行训练得到，第二样本集中包括不包含绝缘子的图像和包含绝缘子的图像，该包含绝缘子的图像中包括第一缺陷绝缘子图像。

具体的，第二神经网络使用的是Faster-RCNN的算法框架，Faster-RCNN的结构主要由Fast-RCNN和RPN(RegionProposal Network，区域生成网络)网络组成。将待检测图像输入第二神经网络模型，由RPN(用于生成检测框)网络将待检测图像输入到卷积神经网络Res18结构中进行特征提取，得到特征图，再在特征图上逐点通过ROI(region ofinterests)映射出候选的区域框，再通过两层全连接网络回归候选框是前景的概率和坐标的参数。

为了使网络参数易于拟合，这里的坐标回归量不是绝对的数值，而是相对anchor(锚框)坐标和尺度的归一化偏移量。每个anchor自身的参数是x,y,w,h。x,y表示特征图的该点映射到原图上的坐标，w,h表示该anchor的宽和高。在特征图上的每个点均可以生成多个anchor，这取决于所需要检测的目标的形态。通常情况下，anchor的参数可以通过聚类数据集中目标框的长宽来生成。最后，在RPN网络所需要回归的量是Δx,Δy,Δw,Δh，这里均为归一化的量。

在Fast-RCNN的部分，前述方法中已经生成了一些具有坐标参数和前景概率的预选框。根据前景概率筛选掉被预测为是背景的预选框；将剩下的预选框送入卷积神经网络中进行进一步的调整，并且增加类别的分类，根据最终的分类可以确定待检测图像中是否存在绝缘子，以及在识别到绝缘子的情况下输出绝缘子在待检测图像中的位置。由于只有绝缘子这一种目标需要检测，因此分类的数量可以设置为2(背景+绝缘子)。

应当理解的，训练第二神经网络的第二样本集中的图像是经过标注的图像，其负样本为不包含绝缘子的图像，正样本为包含绝缘子的图像，由于第一样本集中的第一缺陷绝缘子图像也是包含绝缘子的图像，因此，第一缺陷绝缘子图像也可作为第二神经网络的训练数据，第二样本集中也自然包括第一缺陷绝缘子图像的标注数据。训练时，用第二神经网络对第二样本集中的图像进行检测，对每一张图像来说，会预测出众多的候选框，其数量通常与特征图的尺寸相关。为了稳定样本的召回率，将特征图的尺寸设置为较大的尺寸，然后对候选框进行非极大值抑制，以得到最佳目标检测框。

另外，需要采用测试数据集对第二神经网络模型的性能进行评测，将带有标注的测试数据集输入第二神经网络模型进行前向处理和后处理，得到检测框和真实标注框之间统计参数，根据统计参数进行评测。

请参阅图4，图4为本申请实施例提供的另一种绝缘子缺陷检测方法的流程示意图。如图4所示，该方法包括：

401、获取待检测图像；

402、在待检测图像中包括绝缘子的情况下，从待检测图像中获取绝缘子图像；

403、在绝缘子图像的尺寸大于或等于预设尺寸的情况下，将绝缘子图像确定为目标绝缘子图像；

404、从待检测图像中分割出绝缘子图像，得到目标绝缘子图像；

绝缘子图像可以理解为第二神经网络模型输出的目标检测框所在区域的图像，绝缘子图像可以理解为小图。

预设尺寸可以通过经验值或历史数据设定，一种可能的预设尺寸为：300pixel*300pixel。将绝缘子图像确定为目标绝缘子图像后，可以从待检测图像中将上述绝缘子图像切割出来，以得到切割后单独的目标绝缘子图像。

405、对目标绝缘子图像进行缺陷检测，以得到至少一个第一检测框；

406、在至少一个第一检测框的置信度中的最大置信度大于或等于阈值的情况下，确定目标绝缘子图像中的绝缘子存在缺陷；

407、在至少一个第一检测框的置信度中的最大置信度小于阈值的情况下，确定目标绝缘子图像中的绝缘子不存在缺陷。

本示例中，通过至少一个第一检测框的置信度，确定绝缘子是否存在缺陷，则可以提升确定绝缘子是否存在缺陷的准确性。

其中，上述步骤401-407在图2所示的实施例中已有相关说明，且能达到相同或相似的有益效果，此处不再赘述。

请参阅图5，图5为本申请实施例提供的另一种绝缘子缺陷检测方法的流程示意图。如图5所示，该方法包括：

501、获取第一样本集，第一样本集中包括第一缺陷绝缘子图像、第一缺陷绝缘子图像的标注数据、第二缺陷绝缘子图像和第二缺陷绝缘子图像的掩码；

502、将第一缺陷绝缘子图像和第二缺陷绝缘子图像输入第一神经网络进行缺陷检测，以得到第一缺陷绝缘子图像和第二缺陷绝缘子图像中每张图像的至少一个第二检测框；

503、根据至少一个第二检测框的置信度得到缺陷检测结果；

504、根据缺陷检测结果、标注数据和掩码调整第一神经网络的网络参数，以得到第一神经网络模型；

505、获取待检测图像；

506、在通过第二神经网络模型检测出待检测图像中存在绝缘子的情况下，从待检测图像中分割出目标绝缘子图像；

507、利用第一神经网络模型对目标绝缘子图像进行缺陷检测，以确定目标绝缘子图像中的绝缘子是否存在缺陷。

可以通过对绝缘子进行检测时的至少一个检测框的缺陷概率，来确定绝缘子是否存在缺陷，该检测框为对缺陷进行检测的检测框。例如，可以在缺陷概率大于或等于一定阈值时，确定存在缺陷；在缺陷概率低于该一定阈值时，确定不存在缺陷。

其中，上述步骤501-507在图2或图4所示的实施例中已有相关说明，且能达到相同或相似的有益效果，此处不再赘述。

与上述实施例一致的，请参阅图6，图6为本申请实施例提供的一种电子设备的结构示意图，如图6所示，包括处理器、输入设备、输出设备和存储器，处理器、输入设备、输出设备和存储器相互连接，其中，存储器用于存储计算机程序，计算机程序包括程序指令，处理器被配置用于调用程序指令，上述程序包括用于执行以下步骤的指令；

获取待检测图像；

在所述待检测图像中包括绝缘子的情况下，从所述待检测图像中分割出目标绝缘子图像；

对所述目标绝缘子图像中的绝缘子进行缺陷检测，以确定所述目标绝缘子图像中的绝缘子是否存在缺陷。

通过对待检测图像进行检测，若检测出待检测图像中存在绝缘子，则对待检测图像进行分割，得到目标绝缘子图像，基于目标绝缘子图像对图像中的绝缘子作进一步的缺陷检测，确定该绝缘子是否存在缺陷，相对于现有方案中，通过人工的方式对绝缘子是否存在缺陷进行检测，能够快速定位到绝缘子，并检测绝缘子是否存在缺陷，提升了绝缘子缺陷检测时的效率。

在一个可能的实现方式中，处理器执行从待检测图像中分割出目标绝缘子图像，包括：

从待检测图像中获取绝缘子图像；

在绝缘子图像的尺寸大于或等于预设尺寸的情况下，将绝缘子图像确定为目标绝缘子图像；

从待检测图像中分割出绝缘子图像，得到目标绝缘子图像。

在一个可能的实现方式中，处理器执行对目标绝缘子图像进行缺陷检测，以确定目标绝缘子图像中的绝缘子是否存在缺陷，包括：

对目标绝缘子图像进行缺陷检测，以得到至少一个第一检测框；

根据至少一个第一检测框的置信度，确定目标绝缘子图像中的绝缘子是否存在缺陷。

在一个可能的实现方式中，处理器执行根据至少一个第一检测框的置信度，确定目标绝缘子图像中的绝缘子是否存在缺陷，包括：

在至少一个第一检测框的置信度中的最大置信度大于或等于阈值的情况下，确定目标绝缘子图像中的绝缘子存在缺陷；

在至少一个第一检测框的置信度中的最大置信度小于阈值的情况下，确定目标绝缘子图像中的绝缘子不存在缺陷。

在一个可能的实现方式中，对目标绝缘子图像进行缺陷检测是通过第一神经网络模型执行的；处理器还用于：

获取第一神经网络模型的假阳性率以及获取第一神经网络模型的召回率；

根据假阳性率和召回率，确定阈值。

在一个可能的实现方式中，处理器还用于：

在绝缘子图像的尺寸小于预设尺寸的情况下，确定绝缘子图像中的绝缘子为干扰绝缘子；

过滤待检测图像，不执行从待检测图像中分割出绝缘子图像的操作。

在一个可能的实现方式中，处理器还用于：

获取第一样本集；第一样本集中包括第一缺陷绝缘子图像、第一缺陷绝缘子图像的标注数据、第二缺陷绝缘子图像和第二缺陷绝缘子图像的掩码；

将所述第一缺陷绝缘子图像和所述第二缺陷绝缘子图像输入第一神经网络进行缺陷检测，以分别对应得到至少一个第二检测框；

根据所述至少一个第二检测框的置信度得到缺陷检测结果；

根据所述缺陷检测结果、所述标注数据和所述掩码调整所述第一神经网络的网络参数。

在一个可能的实现方式中，处理器还用于：

获取目标绝缘子的属性信息和背景信息；

采用所述属性信息和所述背景信息，通过3D仿真技术生成预设数量的所述第二缺陷绝缘子图像和所述第二缺陷绝缘子图像的掩码。

在一个可能的实现方式中，第二缺陷绝缘子图像中的绝缘子的缺陷类型包括以下中的至少一种：绝缘子破损和绝缘子闪络。

在一个可能的实现方式中，处理器还用于：

采用训练好的第二神经网络模型对待检测图像进行识别，以确定待检测图像中是否包括绝缘子；其中，第二神经网络模型采用第二样本集对第二神经网络进行训练得到，第二样本集中包括不包含绝缘子的图像和包含绝缘子的图像，该包含绝缘子的图像中包括第一缺陷绝缘子图像。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

与上述一致的，请参阅图7，图7为本申请实施例提供的一种绝缘子缺陷检测装置的结构示意图。如图7所示，该装置包括：

第一获取单元701，用于获取待检测图像；

第二获取单元702，用于在所述待检测图像中包括绝缘子的情况下，从所述待检测图像中分割出目标绝缘子图像；

确定单元703，用于对所述目标绝缘子图像中的绝缘子进行缺陷检测，以确定所述目标绝缘子图像中的绝缘子是否存在缺陷。

在一个可能的实现方式中，在从待检测图像中分割出目标绝缘子图像方面，第一获取单元701具体用于：

从待检测图像中获取绝缘子图像；

在绝缘子图像的尺寸大于或等于预设尺寸的情况下，将绝缘子图像确定为目标绝缘子图像；

从待检测图像中分割出绝缘子图像，得到目标绝缘子图像。

在一个可能的实现方式中，在对目标绝缘子图像进行缺陷检测，以确定目标绝缘子图像中的绝缘子是否存在缺陷方面，第二获取单元702具体用于：

对目标绝缘子图像进行缺陷检测，以得到至少一个第一检测框；

根据至少一个第一检测框的置信度，确定目标绝缘子图像中的绝缘子是否存在缺陷。

在一个可能的实现方式中，在根据至少一个第一检测框的置信度，确定目标绝缘子图像中的绝缘子是否存在缺陷方面，第二获取单元702具体用于：

在至少一个第一检测框的置信度中的最大置信度大于或等于阈值的情况下，确定目标绝缘子图像中的绝缘子存在缺陷；

在所述至少一个第一检测框的置信度中的最大置信度小于所述阈值的情况下，确定目标绝缘子图像中的绝缘子不存在缺陷。

在一个可能的实现方式中，如图8所示，该装置还包括第三获取单元704，第三获取单元704用于：

获取第一神经网络模型的假阳性率以及获取第一神经网络模型的召回率；

根据假阳性率和召回率，确定阈值。

在一个可能的实现方式中，第二获取单元702还用于：

在绝缘子图像的尺寸小于预设尺寸的情况下，确定绝缘子图像中的绝缘子为干扰绝缘子；

过滤待检测图像，不执行从待检测图像中分割出绝缘子图像的操作。

在一个可能的实现方式中，第三获取单元704还用于：

获取第一样本集；第一样本集中包括第一缺陷绝缘子图像、第一缺陷绝缘子图像的标注数据、第二缺陷绝缘子图像和第二缺陷绝缘子图像的掩码；

将第一缺陷绝缘子图像和第二缺陷绝缘子图像输入第一神经网络进行缺陷检测，以得到第一缺陷绝缘子图像和第二缺陷绝缘子图像中每张图像的至少一个第二检测框；

根据至少一个第二检测框的置信度得到缺陷检测结果；

根据缺陷检测结果、标注数据和掩码调整第一神经网络的网络参数。

在一个可能的实现方式中，第三获取单元704还用于：

获取目标绝缘子的属性信息和背景信息；

采用属性信息和背景信息，通过3D仿真技术生成预设数量的第二缺陷绝缘子图像和第二缺陷绝缘子图像的掩码。

在一个可能的实现方式中，第二缺陷绝缘子图像中的绝缘子的缺陷类型包括以下中的至少一种：绝缘子破损和绝缘子闪络。

在一个可能的实现方式中，第一获取单元701还用于：

采用训练好的第二神经网络模型对待检测图像进行识别，以确定待检测图像中是否包括绝缘子；其中，第二神经网络模型采用第二样本集对第二神经网络进行训练得到，第二样本集中包括不包含绝缘子的图像和包含绝缘子的图像，该包含绝缘子的图像中包括第一缺陷绝缘子图像。

本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质存储有用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种绝缘子缺陷检测方法的部分或全部步骤。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种绝缘子缺陷检测方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在申请明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。

所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (13)

1.一种绝缘子缺陷检测方法，其特征在于，所述方法包括：

获取待检测图像；

在所述待检测图像中包括绝缘子的情况下，从所述待检测图像中分割出目标绝缘子图像；

对所述目标绝缘子图像中的绝缘子进行缺陷检测，以确定所述目标绝缘子图像中的绝缘子是否存在缺陷。

2.根据权利要求1所述的方法，其特征在于，所述从所述待检测图像中分割出目标绝缘子图像，包括：

从所述待检测图像中获取绝缘子图像；

在所述绝缘子图像的尺寸大于或等于预设尺寸的情况下，将所述绝缘子图像确定为所述目标绝缘子图像；

从所述待检测图像中分割出所述绝缘子图像，得到所述目标绝缘子图像。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在所述绝缘子图像的尺寸小于所述预设尺寸的情况下，确定所述绝缘子图像中的绝缘子为干扰绝缘子；

过滤所述待检测图像，不执行从所述待检测图像中分割出所述绝缘子图像的操作。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述对所述目标绝缘子图像中的绝缘子进行缺陷检测，以确定所述目标绝缘子图像中的绝缘子是否存在缺陷，包括：

对所述目标绝缘子图像中的绝缘子进行缺陷检测，以得到至少一个第一检测框；

根据所述至少一个第一检测框的置信度，确定所述目标绝缘子图像中的绝缘子是否存在缺陷。

5.根据权利要求4所述的方法，其特征在于，所述根据所述至少一个第一检测框的置信度，确定所述目标绝缘子图像中的绝缘子是否存在缺陷，包括：

在所述至少一个第一检测框的置信度中的最大置信度大于或等于阈值的情况下，确定所述目标绝缘子图像中的绝缘子存在缺陷；

在所述至少一个第一检测框的置信度中的最大置信度小于所述阈值的情况下，确定所述目标绝缘子图像中的绝缘子不存在缺陷。

6.根据权利要求5所述的方法，其特征在于，对所述目标绝缘子图像中的绝缘子进行缺陷检测是通过第一神经网络模型执行的；所述方法还包括：

获取所述第一神经网络模型对所述目标绝缘子图像中的绝缘子进行缺陷检测的假阳性率和召回率；

根据所述假阳性率和所述召回率，确定所述阈值。

7.根据权利要求6所述的方法，其特征在于，所述第一神经网络模型采用以下步骤训练得到：

获取第一样本集；所述第一样本集中包括第一缺陷绝缘子图像、所述第一缺陷绝缘子图像的标注数据、第二缺陷绝缘子图像和所述第二缺陷绝缘子图像的掩码；

将所述第一缺陷绝缘子图像和所述第二缺陷绝缘子图像输入第一神经网络进行缺陷检测，以分别对应得到至少一个第二检测框；

根据所述至少一个第二检测框的置信度得到缺陷检测结果；

根据所述缺陷检测结果、所述标注数据和所述掩码调整所述第一神经网络的网络参数。

8.根据权利要求7所述的方法，其特征在于，在获取第一样本集之前，所述方法还包括：

获取目标绝缘子的属性信息和背景信息；

采用所述属性信息和所述背景信息，通过3D仿真技术生成预设数量的所述第二缺陷绝缘子图像和所述第二缺陷绝缘子图像的掩码。

9.根据权利要求7或8所述的方法，其特征在于，所述第二缺陷绝缘子图像中的绝缘子的缺陷类型包括以下中的至少一种：绝缘子破损和绝缘子闪络。

10.根据权利要求7或8所述的方法，其特征在于，在获取待检测图像之后，所述方法还包括：

采用训练好的第二神经网络模型对所述待检测图像进行识别，以确定所述待检测图像中是否包括绝缘子；其中，所述第二神经网络模型采用第二样本集对第二神经网络进行训练得到，所述第二样本集中包括不包含绝缘子的图像和包含绝缘子的图像，所述包含绝缘子的图像中包括所述第一缺陷绝缘子图像。

11.一种绝缘子缺陷检测装置，其特征在于，所述装置包括：

第一获取单元，用于获取待检测图像；

第二获取单元，用于在所述待检测图像中包括绝缘子的情况下，从所述待检测图像中分割出目标绝缘子图像；

确定单元，用于对所述目标绝缘子图像中的绝缘子进行缺陷检测，以确定所述目标绝缘子图像中的绝缘子是否存在缺陷。

12.一种电子设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-10任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-10任一项所述的方法。

Images