CN108648169B - 高压输电塔绝缘子缺陷自动识别的方法及装置 - Google Patents
高压输电塔绝缘子缺陷自动识别的方法及装置 Download PDFInfo
- Publication number
- CN108648169B CN108648169B CN201810228904.8A CN201810228904A CN108648169B CN 108648169 B CN108648169 B CN 108648169B CN 201810228904 A CN201810228904 A CN 201810228904A CN 108648169 B CN108648169 B CN 108648169B
- Authority
- CN
- China
- Prior art keywords
- insulator
- image
- region
- network model
- transmission tower
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000012212 insulator Substances 0.000 title claims abstract description 173
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000007547 defect Effects 0.000 title claims abstract description 58
- 230000005540 biological transmission Effects 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Electric Cable Installation (AREA)
Abstract
本发明属于高压输电技术领域，具体涉及一种高压输电塔绝缘子缺陷自动识别的方法及装置。旨在解决现有技术无法自动识别绝缘子缺陷的问题。本发明提供一种高压输电塔绝缘子缺陷自动识别的方法，包括基于获取的高压输电塔绝缘子的图像数据，利用预先构建的定位网络模型定位出绝缘子在图像数据中的区域位置；通过预先构建的区域裁剪网络模型对区域位置进行裁剪，得到优化区域位置；利用预先构建的深度残差网络对优化区域位置进行绝缘子识别，再次利用深度残差网络对绝缘子中缺陷进行识别，标记绝缘子缺陷的位置信息。本发明能够自动从图像中识别出绝缘子的位置，并且在其基础上识别出绝缘子的缺陷，提高了识别的精度和准度。
Description
技术领域
本发明属于高压输电技术领域，具体涉及一种高压输电塔绝缘子缺陷自动识别的方法及装置。
背景技术
随着我国电网规模地不断扩大，电网的安全问题也变得越来越重要，检测高压输变电设备运行状态是其中一个重要的部分，其中，绝缘子是高压输变电设备中安装在不同电位的导体或者导体与接地构件之间能够耐受电压和机械应力作用的器件，能够在架空输电线路中起到重要作用。然而我国的电力巡线方法对于绝缘子的检测却跟不上电网规模的发展，造成不少人力、物力以及社会资源的浪费。随着科学技术发展，具有机动灵活特点的无人机被广泛应用于我国各大电力公司，通过悬停在高压输电塔设备附近，可以实现对绝缘子“无死角、无盲区”的巡视诊断，并采集设备的图像。
目前基于无人机的高压输变电的绝缘子巡检是无人机采集图像后，依靠人工进行检测，通过这种方法无法进行自动检测，并且人工检测会影响缺陷识别的效率，不同的人检测的效果亦不同。现有技术还有通过图像处理或者机器学习方法进行绝缘子的缺陷检测，包括基于方向角检测与二值形状特征的定位方法，但是该方法必须要有绝缘子的先验知识，并且只适用于特定的场景；以及通过活动轮廓模型来分割航拍图像中的绝缘子，但是该方法需要很高的计算量，且活动轮廓模型无法自动初始化；
此外，电网检测过程中其背景往往包括湖泊、树木、房屋以及铁塔等多个干扰，现有技术的方法均不能适应复杂的电网检测背景，且现有技术的方法也只能做到检测绝缘子的位置，却无法识别绝缘子缺陷的位置。
因此，如何提出一种既能够检测绝缘子位置，又能够检测绝缘子缺陷的方案是本领域技术人员目前需要解决的问题。
发明内容
为了解决现有技术中的上述问题，即为了解决现有技术无法自动识别绝缘子缺陷的问题，本发明一方面提供了一种高压输电塔绝缘子缺陷自动识别的方法，所述方法包括：
基于获取的高压输电塔绝缘子的图像数据，利用预先构建的定位网络模型定位出所述绝缘子在所述图像数据中的区域位置，确定所述区域位置为所述绝缘子图像数据；
通过预先构建的区域裁剪网络模型对所述区域位置进行裁剪，得到优化区域位置；
利用预先构建的深度残差网络对所述优化区域位置进行绝缘子识别，再次利用所述深度残差网络对所述绝缘子中缺陷进行识别，标记所述绝缘子缺陷的位置信息；
其中，
所述定位网络模型基于深度卷积神经网络模型构建，并在所述深度卷积神经网络模型中加入区域建议网络，对其进行训练。
在上述方法的优选技术方案中，“利用预先构建的深度残差网络对所述优化区域位置进行绝缘子识别，再次利用所述深度残差网络对所述绝缘子中的缺陷进行识别”，其方法为：
将所述优化区域位置输入所述深度残差网络生成所述绝缘子的固定长度特征图，提取所述固定长度特征图中绝缘子的初步特征；
将所述绝缘子的初步特征输入所述深度残差网络进行绝缘子缺陷识别，得到识别结果，并在所述深度残差网络的全连接层分割绝缘子缺陷的位置信息。
在上述方法的优选技术方案中，“利用预先构建的定位网络模型定位出所述绝缘子在所述图像数据中的区域位置”，其方法为：
将所述图像数据输入所述定位网络模型生成所述绝缘子的特征图，在所述特征图上设计多个长宽比不同的矩形区域，并对所述矩形区域的特征进行分类；
根据所述矩形区域的特征类别判断所述矩形区域中是否包含绝缘子，若包含，则分割所述绝缘子所在图像数据中的区域位置。
在上述方法的优选技术方案中，所述定位网络模型包括VGG网络、区域建议网络和全连接层，所述VGG网络用于图像特征提取，所述区域建议网络用于目标区域提取，所述全连接层用于分割目标区域。
在上述方法的优选技术方案中，“通过预先构建的区域裁剪网络模型对所述区域位置进行裁剪”之前，该方法还包括：
判断所述区域位置的面积是否大于预设的面积阈值，若是，则对所述区域位置进行裁剪，其中，计算所述区域位置的面积的方法如下公式所示：
其中，R表示所述区域位置的面积，H、W分别表示所述高压输电塔绝缘子的图像的高度和宽度，[x1，y1]表示所述绝缘子的区域位置的左上角坐标，[x2，y2]表示所述绝缘子的区域位置的右下角坐标。
在上述方法的优选技术方案中，所述方法还包括训练所述定位网络模型的步骤，其步骤包括：
对所述高压输电塔绝缘子的图像进行映射变换，得到标准绝缘子图像，其中所述映射变换的方法如下公式所示：
其中，
表示所述标准绝缘子图像中的像素点，
表示所述高压输电塔绝缘子图像中的像素点，
m表示旋转和尺度系数，t表示平移系数；
利用分割卷积神经网络对所述标准绝缘子图像进行分割，得到绝缘子的轮廓图像；
将所述绝缘子的轮廓图像与预设的不含绝缘子的背景图像进行融合，得到融合绝缘子图像；
对所述融合绝缘子图像进行裁剪，将裁剪后的融合绝缘子图像进行随机高斯模糊和随机亮度变换操作，得到定位网络模型的训练样本。
本发明第二方面提供一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行如上述所述的高压输电塔绝缘子缺陷自动识别的方法。
本发明第三方面提供一种处理装置，包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；所述程序适于由处理器加载并执行如上述所述的高压输电塔绝缘子缺陷自动识别的方法。
与最接近的现有技术相比，本发明提供一种高压输电塔绝缘子缺陷自动识别的方法，包括基于获取的高压输电塔绝缘子的图像数据，利用预先构建的定位网络模型定位出绝缘子在图像数据中的区域位置，确定区域位置为绝缘子图像数据；通过预先构建的区域裁剪网络模型对区域位置进行裁剪，得到优化区域位置；利用预先构建的深度残差网络对优化区域位置进行绝缘子识别，再次利用深度残差网络对绝缘子中缺陷进行识别，标记绝缘子缺陷的位置信息。
上述技术方案至少具有如下有益效果：
1、本发明通过定位网络模型自动地从高压输电塔绝缘子的图像数据中定位出绝缘子的区域位置，排除了图像数据中背景的干扰，并且可以适应不同的环境，无需人工进行检测，具有自动高效并且抗干扰的特点；
2、将得到的绝缘子区域位置输入到深度残差网络中进行绝缘子识别，可以得到绝缘子的精确位置，再通过深度残差网络从已经确定的绝缘子位置中进一步识别绝缘子缺陷的位置，可以从整张高压输电塔图像中精确地得到绝缘子缺陷的位置，基于先获取的绝缘子位置，再在其基础上识别缺陷，能够提高识别的精度和准度，为后期检查和维护提供了极大的便利。
附图说明
图1为本发明一种实施例高压输电塔绝缘子缺陷自动识别装置的结构示意图；
图2为本发明一种实施例高压输电塔绝缘子缺陷自动识别装置的流程示意图；
图3为本发明一种实施例训练定位网络模型的框架示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
参阅附图1，图1示例性的给出了本实施例中高压输电塔绝缘子缺陷自动识别装置的结构示意图。
如图1所示，该系统架构可以包括图像采集设备101、网络102、用户终端设备103和服务器104。网络102用以在图像采集设备101、用户终端设备103和服务器104之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
图像采集设备101用于采集待巡检设备的图像数据，并将所采集的图像数据发送到服务器104处理；上述图像采集设备101还可以与用户终端设备103通信连接，用于接收用户通过用户终端设备103发送的指令，并根据该指令进行数据采集，将所采集的图像数据通过用户终端设备103发送到服务器104处理，或直接将所采集的图像数据发送到服务器104处理。上述图像采集设备101可以是具有摄像或图像采集功能的传感设备，例如，带有影像或图像获取的无人机航拍设备。
服务器104可以是提供各种服务的服务器，例如对图形采集设备103所采集到图像数据进行处理的处理服务器。上述处理服务器通过对图像数据的识别，判断待巡检高压输电铁塔的绝缘子是否存在缺陷，并将识别结果(例如高压输电铁塔的绝缘子的缺陷)发送给用户终端设备。
用户终端设备103用于接收服务器104所发送的高压输电铁塔的绝缘子的缺陷识别结果供用户参考使用。用户终端设备103可以是具有显示屏并且支持网络通信和图像显示的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
用户可以使用用户用终端设备103通过网络102与图像采集设备101和服务器104交互，以接收或发送消息等。用户终端设备103上可以装设各类客户端应用软件，例如可以接收图片、影像资料信息，发送指令信息的通信类软件。
需要说明的是，本申请实施例所提供的高压输电塔绝缘子缺陷自动识别方法一般由服务器执行。应该理解，图1中的用户终端设备、网络、图像采集设备和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的用户终端设备、网络、图像采集设备和服务器。
参阅附图2，图2示例性的给出了本实施例中高压输电塔绝缘子缺陷自动识别的方法流程示意图。如图2所示，本实施例中高压输电塔绝缘子缺陷自动识别的方法包括下述步骤：
步骤S1：基于获取的高压输电塔绝缘子的图像数据，利用预先构建的定位网络模型定位出所述绝缘子在所述图像数据中的区域位置，确定所述区域位置为所述绝缘子图像数据；
在实际应用中，无人机具有机动灵活的特点，因此图像采集设备可以是无人机，利用无人机对高压输电塔绝缘子进行拍摄，获取高压输电塔绝缘子的图像数据，将获取的图像数据通过4G信号塔传输到地面服务器上，地面主机通过搭建客户端界面对地面服务器中的数据进行访问，并且将相关的处理算法软件安装在地面服务器上。
在本发明实施例中，定位网络模型可以包括VGG网络、RPN(Region ProposalNetwork，区域建议网络)网络和全连接层，其输入是高压输电塔绝缘子的图像数据，输出是绝缘子在图像中的区域位置。在实际应用中，图像设备采集的绝缘子图像中含有绝缘子的样本数据量较少，可以采用预先训练的深度卷积神经网络VGG网络作为特征提取工具，在VGG网络的最后一层加入RPN网络，RPN网络是一个目标区域提取网络，用于获得潜在的目标矩形区域，将高压输电塔绝缘子的图像数据输入VGG网络后，生成高压输电塔绝缘子的特征图，在特征图上设计多个长宽比不同的矩形区域，设计多个滑动窗口对特征进行分类，判断矩形区域中是否包含绝缘子，若包含的话，RPN网络将符合绝缘子特征的区域提取出来，将提取的区域输入到全连接层中，经过全连接层将绝缘子所在图像数据中的区域位置分割出来，得到绝缘子在图像中的区域位置。
步骤S2：利用预先构建的区域裁剪网络模型对所述区域位置进行裁剪，得到优化区域位置；
在本发明实施例中，由于输入的高压输电塔绝缘子的图像中可能包含有多个绝缘子，特别是当图像获取设备为无人机时，一张航拍图像中可能包括多个绝缘子，经过步骤S1的定位网络模型的定位，可以得到绝缘子的区域位置，但在实际应用中，有些绝缘子的尺寸可能过小，导致后续的缺陷识别网络模型无法进行识别，若不先进行筛选，将造成缺陷识别网络模型较大的计算量，降低效率，而且过小尺寸的绝缘子区域位置有可能导致缺陷识别网络模型无法进行识别，造成识别结果出错。通过区域裁剪网络模型对步骤S1的绝缘子区域位置进行筛选，若其尺寸小于阈值，则不进行处理，具体地，对绝缘子区域进行计算的方法如下公式所示：
其中，H和W分别表示输入图像的高度和宽度，[x1，y1]表示绝缘子区域的左上角的坐标，[x2，y2]表示绝缘子区域的右下角的坐标。
若绝缘子区域的尺寸大于阈值RT，则进行区域裁剪。在本发明实施例中，对绝缘子区域进行裁剪属于本领域技术人员所熟知的技术，因此在此不做展开描述。在本发明实施例中，区域裁剪模型的输入为图像数据，输出为裁剪后的区域位置。
步骤S3：利用预先构建的深度残差网络对所述优化区域位置进行绝缘子识别，再次利用所述深度残差网络对所述绝缘子中缺陷进行识别，标记所述绝缘子缺陷的位置信息；
在本发明实施例中，缺陷识别网络可以包括深度残差网络、RPN网络和感兴趣区域池化层，预训练的深度残差网络模型可以作为特征提取工具，并在其网络中加入RPN网络和感兴趣区域池化层。在实际应用中，绝缘子的缺陷相对于整幅图像或者绝缘子区域来说都太小了，如果直接采用VGG网络进行目标检测，则将很难提取到绝缘子的有用信息，为了更精确提取绝缘子的缺陷，将裁剪后的绝缘子区域图像输入到残差网络中，残差网络生成特征图，RPN网络在特征图上设计不同长宽比的矩形，通过分类和回归，得到潜在的绝缘子区域，再将潜在的绝缘子区域输入残差网络进行进一步特征提取，得到精细的特征，将精细的特征输入到全连接层，得到精确的绝缘子的位置，并将包含缺陷的定位结果在原始图像上进行标记。
如下表所示，表1中给出了不同训练模型下检测率的对比结果：
表1不同预训练模型下的检测率对比结果
在本发明实施例的一种优选实施方式中，由于绝缘子部件图像的数据量相对于深度学习所需要的样本数量来说比较少，因此，高压输电塔绝缘子缺陷自动识别的方法还包括一种有效的合成样本的方法，包括：
对所述高压输电塔绝缘子的图像进行映射变换，得到标准绝缘子图像，其中所述映射变换的方法如下公式所示：
其中，
表示所述标准绝缘子图像中的像素点，
表示所述高压输电塔绝缘子图像中的像素点，
m表示旋转和尺度系数，t表示平移系数；
利用分割卷积神经网络对所述标准绝缘子图像进行分割，得到绝缘子的轮廓图像；
将所述绝缘子的轮廓图像与预设的不含绝缘子的背景图像进行融合，得到融合绝缘子图像；
对所述融合绝缘子图像进行裁剪，将裁剪后的融合绝缘子图像进行随机高斯模糊和随机亮度变换操作，得到定位网络模型的训练样本。
其中，将裁剪后的融合绝缘子图像进行随机高斯模糊和随机亮度变换操作的具体步骤为：随机从图像数据库中选择图像，然后与高斯模板进行卷积，亮度变换是将图像从RGB空间转到HSL空间中，在HSL空间中对亮度进行调节，用来模拟航拍绝缘子图像中可能存在模糊或者亮度不均匀的情况。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行如上述的高压输电塔绝缘子缺陷自动识别的方法。
所属技术领域的技术人员可以清楚地了解到，为了描述的方便和简洁，本发明实施例存储装置的具体工作过程以及相关说明，可以参考前述实施例中方法的对应过程，且与上述方法具有相同的有益效果，在此不再赘述。
一种处理装置，包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；所述程序适于由处理器加载并执行如上述的高压输电塔绝缘子缺陷自动识别的方法。
所属技术领域的技术人员可以清楚地了解到，为了描述的方便和简洁，本发明实施例处理装置的具体工作过程以及相关说明，可以参考前述实施例方法中的对应过程，且与上述方法具有相同的有益效果，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (7)
1.一种高压输电塔绝缘子缺陷自动识别的方法，其特征在于，所述方法包括：
基于获取的高压输电塔绝缘子的图像数据，利用预先构建的定位网络模型定位出所述绝缘子在所述图像数据中的区域位置，确定所述区域位置为所述绝缘子图像数据；
通过预先构建的区域裁剪网络模型对所述区域位置进行裁剪，得到优化区域位置；
利用预先构建的深度残差网络对所述优化区域位置进行绝缘子识别，再次利用所述深度残差网络对所述绝缘子中缺陷进行识别，标记所述绝缘子缺陷的位置信息；
其中，
所述定位网络模型基于深度卷积神经网络模型构建，并在所述深度卷积神经网络模型中加入区域建议网络，对其进行训练；
所述方法还包括训练所述定位网络模型的步骤，其步骤包括：
对所述高压输电塔绝缘子的图像进行映射变换，得到标准绝缘子图像，其中所述映射变换的方法如下公式所示：
其中，
表示所述标准绝缘子图像中的像素点，
表示所述高压输电塔绝缘子图像中的像素点，
m表示旋转和尺度系数，t表示平移系数；
利用分割卷积神经网络对所述标准绝缘子图像进行分割，得到绝缘子的轮廓图像；
将所述绝缘子的轮廓图像与预设的不含绝缘子的背景图像进行融合，得到融合绝缘子图像；
对所述融合绝缘子图像进行裁剪，将裁剪后的融合绝缘子图像进行随机高斯模糊和随机亮度变换操作，得到定位网络模型的训练样本。
2.根据权利要求1所述的方法，其特征在于，“利用预先构建的深度残差网络对所述优化区域位置进行绝缘子识别，再次利用所述深度残差网络对所述绝缘子中的缺陷进行识别”，其方法为：
将所述优化区域位置输入所述深度残差网络生成所述绝缘子的固定长度特征图，提取所述固定长度特征图中绝缘子的初步特征；
将所述绝缘子的初步特征输入所述深度残差网络进行绝缘子缺陷识别，得到识别结果，并在所述深度残差网络的全连接层分割绝缘子缺陷的位置信息。
3.根据权利要求1所述的方法，其特征在于，“利用预先构建的定位网络模型定位出所述绝缘子在所述图像数据中的区域位置”，其方法为：
将所述图像数据输入所述定位网络模型生成所述绝缘子的特征图，在所述特征图上设计多个长宽比不同的矩形区域，并对所述矩形区域的特征进行分类；
根据所述矩形区域的特征类别判断所述矩形区域中是否包含绝缘子，若包含，则分割所述绝缘子所在图像数据中的区域位置。
4.根据权利要求3所述的方法，其特征在于，所述定位网络模型包括VGG网络、区域建议网络和全连接层，所述VGG网络用于图像特征提取，所述区域建议网络用于目标区域提取，所述全连接层用于分割目标区域。
5.根据权利要求1所述的方法，其特征在于，“通过预先构建的区域裁剪网络模型对所述区域位置进行裁剪”之前，该方法还包括：
判断所述区域位置的面积是否大于预设的面积阈值，若是，则对所述区域位置进行裁剪，其中，计算所述区域位置的面积的方法如下公式所示：
其中，R表示所述区域位置的面积，H、W分别表示所述高压输电塔绝缘子的图像的高度和宽度，[x1，y1]表示所述绝缘子的区域位置的左上角坐标，[x2，y2]表示所述绝缘子的区域位置的右下角坐标。
6.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行如权利要求1-5任一项所述的高压输电塔绝缘子缺陷自动识别的方法。
7.一种处理装置，包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行如权利要求1-5任一项所述的高压输电塔绝缘子缺陷自动识别的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810228904.8A CN108648169B (zh) | 2018-03-20 | 2018-03-20 | 高压输电塔绝缘子缺陷自动识别的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810228904.8A CN108648169B (zh) | 2018-03-20 | 2018-03-20 | 高压输电塔绝缘子缺陷自动识别的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108648169A CN108648169A (zh) | 2018-10-12 |
| CN108648169B true CN108648169B (zh) | 2020-11-10 |
Family
ID=63744410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810228904.8A Active CN108648169B (zh) | 2018-03-20 | 2018-03-20 | 高压输电塔绝缘子缺陷自动识别的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108648169B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109584206B (zh) * | 2018-10-19 | 2021-07-06 | 中国科学院自动化研究所 | 零件表面瑕疵检测中神经网络的训练样本的合成方法 |
| CN109709452A (zh) * | 2018-12-21 | 2019-05-03 | 深圳供电局有限公司 | 输电线路的绝缘子检测方法、系统和装置 |
| CN109934821B (zh) * | 2019-03-22 | 2021-06-25 | 成都睿琪科技有限责任公司 | 一种零件缺陷检测方法及系统 |
| CN110223293A (zh) * | 2019-06-21 | 2019-09-10 | 中国神华能源股份有限公司 | 列车车体破损的智能识别方法及识别装置 |
| CN111311597B (zh) * | 2020-03-27 | 2023-04-18 | 国网福建省电力有限公司龙岩供电公司 | 一种缺陷绝缘子的无人机巡检方法与系统 |
| CN111709916A (zh) * | 2020-05-29 | 2020-09-25 | 青岛铁木真软件技术有限公司 | 帘线检测方法、系统、设备和存储介质 |
| CN112001902A (zh) * | 2020-08-19 | 2020-11-27 | 上海商汤智能科技有限公司 | 缺陷检测方法和相关装置、设备、存储介质 |
| CN112967248B (zh) * | 2021-03-03 | 2024-01-23 | 北京百度网讯科技有限公司 | 生成缺陷图像样本的方法、装置、介质及程序产品 |
| CN113034446A (zh) * | 2021-03-08 | 2021-06-25 | 国网山东省电力公司平邑县供电公司 | 一种变电站设备缺陷自动识别方法及系统 |
| CN113252701B (zh) * | 2021-07-02 | 2021-10-26 | 湖南大学 | 基于云边协同的输电线路绝缘子自爆缺陷检测系统及方法 |
| CN113538412A (zh) * | 2021-08-06 | 2021-10-22 | 广东电网有限责任公司 | 一种航拍图像的绝缘子缺陷检测方法及装置 |
| CN113538411A (zh) * | 2021-08-06 | 2021-10-22 | 广东电网有限责任公司 | 一种绝缘子缺陷检测方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104764748A (zh) * | 2015-05-04 | 2015-07-08 | 成都唐源电气有限责任公司 | 定位绝缘子的方法、系统以及故障检测的方法和系统 |
| CN104978580A (zh) * | 2015-06-15 | 2015-10-14 | 国网山东省电力公司电力科学研究院 | 一种用于无人机巡检输电线路的绝缘子识别方法 |
| CN106877237A (zh) * | 2017-03-16 | 2017-06-20 | 天津大学 | 一种基于航拍图像的检测输电线路中绝缘子缺失的方法 |
| CN107145846A (zh) * | 2017-04-26 | 2017-09-08 | 贵州电网有限责任公司输电运行检修分公司 | 一种基于深度学习的绝缘子识别方法 |
| CN107680090A (zh) * | 2017-10-11 | 2018-02-09 | 电子科技大学 | 基于改进全卷积神经网络的输电线路绝缘子状态识别方法 |
| CN107767374A (zh) * | 2017-10-24 | 2018-03-06 | 天津大学 | 一种gis盆式绝缘子内部导体局部过热智能诊断方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11079425B2 (en) * | 2015-02-23 | 2021-08-03 | Ge Aviation Systems Llc | Method and apparatus for an electrical fault detecting system for a circuit |
-
2018
- 2018-03-20 CN CN201810228904.8A patent/CN108648169B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104764748A (zh) * | 2015-05-04 | 2015-07-08 | 成都唐源电气有限责任公司 | 定位绝缘子的方法、系统以及故障检测的方法和系统 |
| CN104978580A (zh) * | 2015-06-15 | 2015-10-14 | 国网山东省电力公司电力科学研究院 | 一种用于无人机巡检输电线路的绝缘子识别方法 |
| CN106877237A (zh) * | 2017-03-16 | 2017-06-20 | 天津大学 | 一种基于航拍图像的检测输电线路中绝缘子缺失的方法 |
| CN107145846A (zh) * | 2017-04-26 | 2017-09-08 | 贵州电网有限责任公司输电运行检修分公司 | 一种基于深度学习的绝缘子识别方法 |
| CN107680090A (zh) * | 2017-10-11 | 2018-02-09 | 电子科技大学 | 基于改进全卷积神经网络的输电线路绝缘子状态识别方法 |
| CN107767374A (zh) * | 2017-10-24 | 2018-03-06 | 天津大学 | 一种gis盆式绝缘子内部导体局部过热智能诊断方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108648169A (zh) | 2018-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108648169B (zh) | 高压输电塔绝缘子缺陷自动识别的方法及装置 | |
| CN109118479B (zh) | 基于胶囊网络的绝缘子缺陷识别定位装置及方法 | |
| CN109615611B (zh) | 一种基于巡检影像的绝缘子自爆缺陷检测方法 | |
| CN111080693A (zh) | 一种基于YOLOv3的机器人自主分类抓取方法 | |
| CN111797821B (zh) | 文本检测方法、装置、电子设备及计算机存储介质 | |
| CN110598784A (zh) | 基于机器学习的建筑垃圾分类方法及装置 | |
| CN113238578B (zh) | 一种电力杆塔无人机巡检路线规划方法及系统 | |
| CN110133443B (zh) | 基于平行视觉的输电线路部件检测方法、系统、装置 | |
| CN112101138B (zh) | 基于深度学习的桥梁拉索表面缺陷实时识别系统及方法 | |
| CN116542975B (zh) | 一种玻璃面板的缺陷分类方法、装置、设备和介质 | |
| CN113255590A (zh) | 一种缺陷检测模型训练方法、缺陷检测方法、装置及系统 | |
| CN111951284A (zh) | 一种基于深度学习的光学遥感卫星图像精细化云检测方法 | |
| CN115359239A (zh) | 风电叶片缺陷检测定位方法、装置、存储介质和电子设备 | |
| CN113515655A (zh) | 一种基于图像分类的故障识别方法及装置 | |
| CN113435407A (zh) | 一种输电系统的小目标识别方法及装置 | |
| CN112052730A (zh) | 一种3d动态人像识别监控设备及方法 | |
| CN113592839A (zh) | 基于改进Faster RCNN的配网线路典型缺陷诊断方法及系统 | |
| CN112115737B (zh) | 一种车辆朝向的确定方法、装置及车载终端 | |
| CN112215827A (zh) | 电迁移区域检测方法、装置、计算机设备和存储介质 | |
| CN112750113B (zh) | 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置 | |
| CN115311680A (zh) | 人体图像质量检测方法、装置、电子设备及存储介质 | |
| CN114240734A (zh) | 图像数据增广方法、装置、电子设备及存储介质 | |
| CN113506290A (zh) | 一种线路绝缘子缺陷检测方法及装置 | |
| CN106156771B (zh) | 一种基于多特征融合的水表读数区域检测算法 | |
| CN117437654B (zh) | 一种基于语义识别的栅格地图解析方法、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |