CN114764802A - 一种设备缺陷检测重复图像剔除方法 - Google Patents

Abstract

本发明属于图像处理技术领域，公开了一种设备缺陷检测重复图像剔除方法，用于对电力输变设备进行缺陷图像采集所获得的图像数据的预处理过程，具体步骤如下：1)包括对同个目标设备的外部照片进行数据筛选，通过重复算法预先划分照片组；2)针对每个照片组，根据训练好的识别模型快速对照片组内每张外部照片的背景区域与目标区域进行区分和确定3)先将满足背景区域区别度大于设定的阈值A的外部照片选出；4)再将满足目标区域区别度大于设定的阈值B的外部照片选出。本发明通过设定多个筛选条件，依次将多个不重复的图像先排出，然后将保留后的图像作为重复图像进行处置，则剔除重复图片的效率小于剔除不重复图片的效率。

Description

一种设备缺陷检测重复图像剔除方法

技术领域

本发明属于图像处理技术领域，具体涉及一种设备缺陷检测重复图像剔除方法。

背景技术

缺陷检测通常是指对物品表面缺陷的检测，表面缺陷检测是采用先进的机器视觉检测技术，对设备表面或内部的斑点、凹坑、划痕、色差、缺损等缺陷进行检测。而缺陷检测包括制造中和使用维护中的检测。

其中，对于正在使用中的设备进行缺陷检测时，常利用检测设备进行无损检测，在不影响该设备的正常运行时也能够顺利对其进行检测。无损探伤检测是利用物质的声、光、磁和电等特性，在不损害或不影响被检测对象使用性能的前提下，检测被检对象中是否存在缺陷或不均匀性，给出缺陷大小，位置，性质和数量等信息。它与破坏性检测相比，无损检测有以下特点。

第一是具有非破坏性，因为它在做检测时不会损害被检测对象的使用性能；

第二具有全面性，由于检测是非破坏性，因此必要时可对被检测对象进行100％的全面检测，这是破坏性检测办不到的；

第三具有全程性，破坏性检测一般只适用于对原材料进行检测，如机械工程中普遍采用的拉伸、压缩、弯曲等。

而破坏性检验都是针对制造用原材料进行的，对于成品和在用品，除非不准备让其继续服役，否则是不能进行破坏性检测的，而无损检测因不损坏被检测对象的使用性能。所以，它不仅可对制造用原材料，各中间工艺环节、直至最终产成品进行全程检测，也可对服役中的设备进行检测。

而无损检测时，会依据设备的设置位置进行方法的选择，若是人和设备易于达到的地方，则可以根据标准的检测步骤获取到标准的检测图，其后期分析过程较为简单，并利用现有的机器学习方法训练检测算法，提高检测准确性和检测效率。但针对于一些人和设备难以达到的设置位置，通常只有采用特殊的检测设备进行检测，尤其是悬挂于高空中的输电线设备。现有手段包括无人机、挂载在线缆上的自动行进机器人、地面升降式检测设备等。由于这种设备均为远程操作，为了避免重复工作，会在单次达到指定位置后，尽可能多的进行照片和视频拍摄，再通过后期筛选判断缺陷情况。采用这种方式进行缺陷识别，势必会导致后期处理的难度增加，若针对较长的输电线路所获取到的几万张图像进行处理，处理难度可想而知。

发明内容

为了解决现有技术存在的问题，本发明提供一种设备缺陷检测重复图像剔除方法，旨在针对具有若干重复图像的缺陷照片中进行筛选剔除，从而降低处理的数据总量，提高处理效率。

本发明所采用的技术方案为：

第一方面，本发明公开一种设备缺陷检测重复图像剔除方法，用于对电力输变设备进行缺陷图像采集所获得的图像数据的预处理过程，具体步骤如下：

S1.包括对同个目标设备的外部照片进行数据筛选，通过重复算法或根据检测设备的拍摄参数预先划分若干具有简单重复特征的照片组；

S2.针对每个照片组，根据训练好的识别模型快速对照片组内每张外部照片的背景区域与目标区域进行区分和确定

S3.先将满足背景区域区别度大于设定的阈值A的外部照片选出；

S4.再将满足目标区域区别度大于设定的阈值B的外部照片选出，而保留的图像作为重复图像组保留其中一张或通过多帧合成算法合成一张图片保留。

值得说明的是，其中所训练好的识别模型进行背景与目标的分别，是结合整个缺陷识别方法，利用其已经准备好的缺陷特征识别模型进行预处理。同时，会结合现有的边缘检测算法和LSD直线检测算法辅助，能够准确的将目标与背景分离。由于拍摄设备在存储照片时，会预先通过程序设定记录每组连拍照片的相关信息，例如目标对象的信息(输电线路的耐张线夹或绝缘子)、位置信息、拍摄信息(画幅、ISO、白平衡、分辨率等)。然后后期处理时，会根据目标对象的信息确定对应的特征识别模块，也会预设每个设备所对应的预处理算法，从而获取到对应的背景区域和目标区域的像素点数据。

还需要说明的是，其中的重复算法采用现有的算法进行图片的预处理。由于设备在对同个目标进行拍摄时，会变化多个角度围绕拍摄，且拍摄时并不是连续匀速移动，导致拍摄出来的照片很可能在某个角度聚集重复，同时移动一定距离后继续拍摄。则通过简单的重复算法将明显不同角度拍摄的照片进行区分，从而达到简单区分的效果。

而其中所述的检测设备的拍摄参数，是针对部分特定拍摄设备和拍摄方式，例如事先已经确定的几个固定角度进行拍摄的方式，则会通过拍摄设备记录部分连拍照片属于何种角度进行拍摄。这种方式所拍摄的照片在拍摄时已经进行一次简单分类，则只需根据其存储时所标记的组进行划分即可。

结合第一方面，本发明提供第一方面的第一种实施方式，步骤S3中，在确定每张外部照片的背景区域后，通过边缘检测算法检测背景区域中的若干物体边缘；

在计算重合度时，仅对确认的相同的物体边缘进行重合度检测。

结合第一方面的第一种实施方式，本发明提供第一方面的第二种实施方式，步骤S3中，针对背景区域内的若干物体边缘的像素点集合进行重合度计算；

计算项包括像素点数量、像素点坐标以及像素点灰度值。

结合第一方面的第二种实施方式，本发明提供第一方面的第三种实施方式，步骤S3中的重合度计算方式如下：

(3.1)根据边缘检测算法将每张外部照片的背景区域中的所有物体的边缘进行确定，并获得每个物体的边缘像素点；

(3.2)确定所有边缘像素点的灰度值以及坐标值，先确定该照片组内存在的若干重复物体，并计算出该照片组内的背景区域中重复的物体平均边缘灰度值以及坐标范围的几何中心点；

(3.3)设定阈值A1、A2和A3，将背景区域中总物体数量大于重复物体数量A1个、重复物体边缘灰度值与平均边缘灰度值的差值大于A2以及重复物体的几何中心点间距差值大于A3的，均选出作为不重复图像，而该照片组的其他图像保留进行下一步筛选。

结合第一方面的第三种实施方式，本发明提供第一方面的第四种实施方式，步骤(3.3)中，还具有阈值A4，并将背景区域中具有的重复物体数量少于A4个的照片也作为不重复图像选出。

结合第一方面或第一方面的第一至四种实施方式，本发明提供第一方面的第五种实施方式，步骤S4中，对目标区域同样采用边缘算法获取物体边缘，并计算重复物体数量，每个照片中目标区域的重复物体数量小于设定的阈值B1、以及目标区域的总物体数量大于重复物体数量并超过B2个的照片选出作为不重复图像。

结合第一方面或第一方面的第一至四种实施方式，本发明提供第一方面的第六种实施方式，步骤S4中，对保留在照片组内的每张照片获取目标区域灰度图，并按拍摄顺序通过Pettitt突变点检测算法依次检测灰度图，并在发现后一张灰度图中出现的灰度值突变的像素点进行记录，并在任一张照片的突变像素点占比超过设定的阈值B3后将其选出作为不重复图像。

结合第一方面或第一方面的第一至四种实施方式，本发明提供第一方面的第七种实施方式，所述重复算法包括AHash、DHash、Phash、WHash中的一种或多种。

结合第一方面或第一方面的第一至四种实施方式，本发明提供第一方面的第八种实施方式，还包括通过X射线探伤设备获取的内部透视图。

本发明的有益效果为：

(1)本发明通过设定多个筛选条件，依次将多个不重复的图像先排出，然后将保留后的图像作为重复图像进行处置，由于针对单个目标物的重复图像占比较大，则剔除重复图片的效率小于剔除不重复图片的效率；

(2)本发明中的方法创新的利用这种户外或具有较为复杂的背景特征的区域特性，先通过算法将背景与目标物分开进行筛选，从而利用其背景图像反应拍摄角度的区别的特性，从而可将大部分不重复的图像进行排除，提高检测效率；

(3)本发明通过设定多种阈值，在背景区域筛选过程中进一步剔除具有不重复特征的图像进行排除，并利用目标物在多个角度拍摄时存在特征值接近的特性，从而在先将可能被判定为重复图像的不同拍摄角度的图片进行保留，从而便于后期针对目标物从若干不同视角进行缺陷特征检测，避免在重复图像筛选中因存在大面积相同特征而被剔除影响缺陷检测准确性的发生。

附图说明

图1是本发明的方法流程图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步阐释。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1：

本实施例公开一种设备缺陷检测重复图像剔除方法，如图1所示，该方法主要针对通过拍摄的设备图片进行缺陷特征识别的过程中，尽可能在预处理阶段将重复照片进行剔除，以便降低缺陷识别过程中的计算量。

首先，本实施例的方法主要应用在输变电设备中，尤其是架设在高空或人员难以达到的区域，而检测设备包括两种，一种是巡检无人机，另一种是手持操作的高空自挂式检测设备。

其中，所谓高空自挂式检测设备是一种通过杆件或拉绳进行移动操作的设备，其通过手持式的长杆件或其他设备从地面移动至对应输电线路上，并通过挂钩挂载在输电线的张拉线缆上，然后通过拉绳或杆件进行移动，当其移动至对应设备位置时，通过其自身移动结构和预设的控制程序，完成单次的检测任务。在单次检测任务中，由自身移动结构带动其围绕该设备进行一定范围内的转动，并在对应节点处连续拍摄若干图像并回传至地面控制设备中。由外部设备读取该控制设备的存储信心，从而将检测图像传出进行识别。

本实施例中，单个设备在进行检测时，主要有检测设备上的光学摄像头进行照片和视频拍摄，其光源为自然光源在对应设备上的反射图像，则其获得的图像为彩色图像，且背景为户外背景。

本实施例的剔除方法，主要包括以下步骤：

首先，对同个目标设备的外部照片进行数据筛选，通过AHash重复算法或根据检测设备的拍摄参数预先划分若干具有简单重复特征的照片组；然后，针对每个照片组，根据训练好的识别模型快速对照片组内每张外部照片的背景区域与目标区域进行区分和确定；先将满足背景区域区别度大于设定的阈值A的外部照片选出；再将满足目标区域区别度大于设定的阈值B的外部照片选出，而保留的图像作为重复图像组保留其中一张或通过多帧合成算法合成一张图片保留。

本实施例中，会结合现有的边缘检测算法和LSD直线检测算法辅助，对每个照片组进行背景与目标的区分，而所谓的区分是将所有的像素点进一步划分组，即背景域和目标域。

由于拍摄设备在存储照片时，会预先通过程序设定记录每组连拍照片的相关信息，例如本实施例中的目标对象为输电线路的耐张线夹，则会标注其为耐张线夹的外部照片，还包括该照片组的位置信息、拍摄信息。然后后期处理时，会根据目标对象的信息确定对应的特征识别模块，也会预设每个设备所对应的预处理算法，从而获取到对应的背景区域和目标区域的像素点数据。

而其中所采用的重复算法，是利用现有的算法进行图片的预处理。由于设备在对同个目标进行拍摄时，会变化多个角度围绕拍摄，且拍摄时并不是连续匀速移动，导致拍摄出来的照片很可能在某个角度聚集重复，同时移动一定距离后继续拍摄。则通过简单的重复算法将明显不同角度拍摄的照片进行区分，从而达到简单区分的效果。

而其中所述的检测设备的拍摄参数，是针对部分特定拍摄设备和拍摄方式，例如事先已经确定的几个固定角度进行拍摄的方式，则会通过拍摄设备记录部分连拍照片属于何种角度进行拍摄。这种方式所拍摄的照片在拍摄时已经进行一次简单分类，则只需根据其存储时所标记的组进行划分即可。

进一步地，本实施例的外部照片均为高空拍摄，所拍摄的张拉线夹距离铁搭较近，且铁搭附近有诸多特征物体，例如树、凸起的岩石、部分楼房和一条河流。而拍摄过程中，拍摄设备围绕该张拉线夹的轴线方向进行周向转动拍摄，则拍摄角度一旦改变，其背景区域内的物体会出现明显的变化，在固定焦段下拍摄的画面中，一旦物体出现变化，则说明其拍摄角度有较大变化。而一旦拍摄角度发生变化，即使针对的耐张线夹的图像特征相似，但可能存在的缺陷就会出现在图像中，则需要保留。

则在筛选时，需要先对背景区域的物体进行识别，通过物体的变化来确定拍摄角度是否发生变化，且进一步判断变化量是否超过设定的阈值。在确定每张外部照片的背景区域后，通过边缘检测算法检测背景区域中的若干物体边缘；在计算重合度时，仅对确认的相同的物体边缘进行重合度检测。

由于直接对比每张照片中的背景区域的像素点的区别，其数据量较大。且由于背景区域变化时，两张照片会在背景区域中存在不同的物体，但物体图像内部在焦段固定下并不会发生较大变化，则只需检测其轮廓即可。通过边缘检测算法可快速提取每个物体的轮廓信息，包括其轮廓所占整个图片的比例、边缘完整度和在照片中的坐标。

进一步地，针对背景区域内的若干物体边缘的像素点集合进行重合度计算；计算项包括像素点数量、像素点坐标以及像素点灰度值。

根据边缘检测算法将每张外部照片的背景区域中的所有物体的边缘进行确定，并获得每个物体的边缘像素点；确定所有边缘像素点的灰度值以及坐标值，先确定该照片组内存在的若干重复物体，并计算出该照片组内的背景区域中重复的物体平均边缘灰度值以及坐标范围的几何中心点。

然后设定阈值A₁、A₂和A₃，将背景区域中总物体数量大于重复物体数量A₁个、重复物体边缘灰度值与平均边缘灰度值的差值大于A₂以及重复物体的几何中心点间距差值大于A₃的，均选出作为不重复图像，而该照片组的其他图像保留进行下一步筛选。还具有阈值A4，并将背景区域中具有的重复物体数量少于A4个的照片也作为不重复图像选出。

而在计算时，会先计算出参照对象，由于整个照片组已经通过预处理，排除较大差异的图像。则参照物以该照片组的所有图像中重复率超过70％的物体信息作为对象，然后将该部分物体作为重复物体，并计算其在每张照片中的对应区域大小以及坐标。

其中，坐标是以该物体轮廓的几何中心点进行判定，将每个物体的若干边缘像素点的坐标带入计算模型中快速获得几何中心的坐标值，然后以单个照片中对应重复物体的几何中心的距离值，根据设定的阈值进行判断即可。

进一步地，对目标区域同样采用边缘算法获取物体边缘，并计算重复物体数量，每个照片中目标区域的重复物体数量小于设定的阈值B₁、以及目标区域的总物体数量大于重复物体数量并超过B₂个的照片选出作为不重复图像。对保留在照片组内的每张照片获取目标区域灰度图，并按拍摄顺序通过Pettitt突变点检测算法依次检测灰度图，并在发现后一张灰度图中出现的灰度值突变的像素点进行记录，并在任一张照片的突变像素点占比超过设定的阈值B₃后将其选出作为不重复图像。

在一些实施例中，所进行缺陷拍摄的设备上还设有x射线检测设备，该检测设备包括x射线发射器和背景板，通过该设备获取到的图像均为黑白的透视图，通过透视图来反馈该设备内部的结构变化。

由于这种图片中均为相同背景特征，则在筛选时并不需要将其目标和背景划分。且由于x射线检测设备的拍摄图片数量远小于外部照片的拍摄数量，且拍摄时一直不断在改变拍摄角度，则只需对其采用突变点检测算法进行突变像素点抓取。

Claims (9)

1.一种设备缺陷检测重复图像剔除方法，用于对电力输变设备进行缺陷图像采集所获得的图像数据的预处理过程，其特征在于：具体步骤如下：

S1.包括对同个目标设备的外部照片进行数据筛选，通过重复算法或根据检测设备的拍摄参数预先划分若干具有简单重复特征的照片组；

S2.针对每个照片组，根据训练好的识别模型快速对照片组内每张外部照片的背景区域与目标区域进行区分和确定

S3.先将满足背景区域区别度大于设定的阈值A的外部照片选出；

S4.再将满足目标区域区别度大于设定的阈值B的外部照片选出，而保留的图像作为重复图像组保留其中一张或通过多帧合成算法合成一张图片保留。

2.根据权利要求1所述的一种设备缺陷检测重复图像剔除方法，其特征在于：步骤S3中，在确定每张外部照片的背景区域后，通过边缘检测算法检测背景区域中的若干物体边缘；

在计算重合度时，仅对确认的相同的物体边缘进行重合度检测。

3.根据权利要求2所述的一种设备缺陷检测重复图像剔除方法，其特征在于：步骤S3中，针对背景区域内的若干物体边缘的像素点集合进行重合度计算；

计算项包括像素点数量、像素点坐标以及像素点灰度值。

4.根据权利要求3所述的一种设备缺陷检测重复图像剔除方法，其特征在于：步骤S3中的重合度计算方式如下：

(3.1)根据边缘检测算法将每张外部照片的背景区域中的所有物体的边缘进行确定，并获得每个物体的边缘像素点；

(3.2)确定所有边缘像素点的灰度值以及坐标值，先确定该照片组内存在的若干重复物体，并计算出该照片组内的背景区域中重复的物体平均边缘灰度值以及坐标范围的几何中心点；

(3.3)设定阈值A₁、A₂和A₃，将背景区域中总物体数量大于重复物体数量A₁个、重复物体边缘灰度值与平均边缘灰度值的差值大于A₂以及重复物体的几何中心点间距差值大于A₃的，均选出作为不重复图像，而该照片组的其他图像保留进行下一步筛选。

5.根据权利要求4所述的一种设备缺陷检测重复图像剔除方法，其特征在于：步骤(3.3)中，还具有阈值A₄，并将背景区域中具有的重复物体数量少于A₄个的照片也作为不重复图像选出。

6.根据权利要求1-5任一项所述的一种设备缺陷检测重复图像剔除方法，其特征在于：步骤S4中，对目标区域同样采用边缘算法获取物体边缘，并计算重复物体数量，每个照片中目标区域的重复物体数量小于设定的阈值B₁、以及目标区域的总物体数量大于重复物体数量并超过B₂个的照片选出作为不重复图像。

7.根据权利要求1-5任一项所述的一种设备缺陷检测重复图像剔除方法，其特征在于：步骤S4中，对保留在照片组内的每张照片获取目标区域灰度图，并按拍摄顺序通过Pettitt突变点检测算法依次检测灰度图，并在发现后一张灰度图中出现的灰度值突变的像素点进行记录，并在任一张照片的突变像素点占比超过设定的阈值B₃后将其选出作为不重复图像。

8.根据权利要求1-5任一项所述的一种设备缺陷检测重复图像剔除方法，其特征在于：所述重复算法包括AHash、DHash、Phash、WHash中的一种或多种。

9.根据权利要求1-5任一项所述的一种设备缺陷检测重复图像剔除方法，其特征在于：还包括通过X射线探伤设备获取的内部透视图。

Images