CN108022235B - 高压输电铁塔关键部件缺陷识别方法 - Google Patents
高压输电铁塔关键部件缺陷识别方法 Download PDFInfo
- Publication number
- CN108022235B CN108022235B CN201711182523.2A CN201711182523A CN108022235B CN 108022235 B CN108022235 B CN 108022235B CN 201711182523 A CN201711182523 A CN 201711182523A CN 108022235 B CN108022235 B CN 108022235B
- Authority
- CN
- China
- Prior art keywords
- image data
- feature
- training
- positioning
- defects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 120
- 230000005540 biological transmission Effects 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 40
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 title description 10
- 229910052742 iron Inorganic materials 0.000 title description 5
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims description 67
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000002950 deficient Effects 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 abstract description 9
- 238000012545 processing Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 239000012212 insulator Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及高压输电设备巡检领域，提出一种高压输电铁塔关键部件缺陷识别方法，旨在解决在高压输电设备巡检中关键设备缺陷检测效率低下等问题，该方法包括：获取高压输电铁塔关键部件的图像数据，并对上述图像数据作去噪预处理操作；根据上述图像数据，利用预先训练好的定位识别模型定位出上述输电铁塔关键部件在上述图像数据中的区域位置，确定上述区域位置的图像数据为关键部件图像数据；根据上述关键部件图像数据，利用预先训练好的缺陷识别模型对上述区域位置的设备进行缺陷识别，标记所识别出的具有缺陷的关键部件。关键部件图像采取先定位再检测的自动识别策略，实现了对高压输电铁塔关键部件的自动检测，提高了缺陷检测的效率。
Description
技术领域
本发明涉及高压输变电领域设备运行状态检修领域，尤其涉及一种高压输电铁塔关键部件缺陷识别方法。
背景技术
目前，随着石油煤炭等资源的紧缺，电力能源的应用越来越广泛，电网的规模越来越大。但是在电力输送电中，巡线方法和技术却依然滞后，并造成不少人力、物力以及社会资源浪费。在电力线路巡检中高压输变电设备运行状态检修存在介质检测麻烦、巡视范围小、检测效率低和存在安全隐患等问题。
基于无人机的高压输变电设备运行状态巡检，通过悬停在设备周边实现“无死角、无盲区”巡视诊断。另外，无人机不受地形限制影响，可穿山越岭完成巡检任务，极大地弥补地面巡检的不足。在安全方面，无人机巡检适用于执行特殊时期危险性高的任务，巡检安全性能高，减少人工登塔、走线等作业，有效控制人身安全风险。然而基于无人机的高压输变电设备关键部件巡检一般都是利用无人机采集完图像后依靠人工进行检测，无法进行自动检测。人工检测会影响缺陷识别的效率，同时检测的准确率不稳定。
发明内容
为了解决现有技术中的上述问题，即为了解决在高压输变电设备的缺陷检测中，无法对关键设备的缺陷进行自动识别的问题，本申请提出一种高压输电铁塔关键部件缺陷识别方法以解决上述问题：
第一方面，本发明提供一种高压输电铁塔关键部件缺陷识别方法。该方法包括：获取高压输电铁塔关键部件的图像数据，并对上述图像数据作去噪预处理操作；根据上述图像数据，利用预先训练好的定位识别模型定位出上述输电铁塔关键部件在上述图像数据中的区域位置，将所述区域位置发送到图像采集平台，以控制无人机移动以及图像聚焦变倍操作以采集所述区域位置的图像数据，确定上述区域位置的图像数据为关键部件图像数据，所述定位识别模型是用于定位关键部件在所述图像数据中的区域位置的模型，其输入为图像数据，输出为关键部件在所述图像数据中的区域位置；根据上述关键部件图像数据，利用预先训练好的缺陷识别模型对上述区域位置的设备进行缺陷识别，标记所识别出的具有缺陷的关键部件，所述缺陷识别模型是用于识别图像数据中关键部件的缺陷的模型，其输入为关键部件图像数据，输出为与所述关键部件缺陷相关的信息。
在一些示例中，上述方法还包括训练上述定位识别模型的步骤，上述训练上述定位识别模型的步骤包括：获取定位识别训练用数据，上述定位识别训练用数据为标注了待定位关键部件的图像数据；根据上述定位识别训练用数据，利用机器学习算法训练初始定位识别模型，得到上述定位识别模型。
在一些示例中，获取上述定位识别训练数据，包括：对上述图像数据进行多特征计算，生成上述图像数据的多个特征图；构建上述特征图的多尺度图像金字塔，确定在上述特征图中标注了关键部件的特征图作为定位识别训练数据。
在一些示例中，上述对上述图像数据进行多特征计算，生成上述图像数据的多个特征图，包括：对预处理后的上述图像数据进行多特征计算，上述多特征包括三通道颜色特征、梯度幅值特征、梯度方向直方图特征、haar-like特征和投影尺度不变特征；由上述多特征计算的各特征值，生成上述图像数据的各个特征的特征图。
在一些示例中，上述对上述图像数据进行多特征计算，生成上述图像数据的多个特征图，还包括利用最大池化实现多特征融合；上述利用最大池化实现多特征融合，包括：利用预设的小窗口在上述多特征图上滑动，计算上述小窗口内的最大值作为新的特征；将上述新的特征排列成一列作为多特征融合后的结果。
在一些示例中，上述根据上述训练用数据，利用机器学习算法训练初始定位识别模型，得到上述定位识别模型，包括：将上述多尺度图像金字塔嵌入预设的滑动窗口进行滑动检测；根据上述滑动窗口的滑动检测结果，利用级联分类器训练上述初始定位识别模型。
在一些示例中，上述获取缺陷识别训练用数据，包括：获取上述关键部件图像数据，标注上述关键部件图像数据中具有缺陷的关键部件；对标注后的上述关键部件图像数据作移动操作，作为训练用数据以扩充上述缺陷识别训练用数据。
在一些示例中，上述初始缺陷识别模型包括卷积层、池化层、RELU层，dropout层、全连接层和Softmax层，上述卷积层用于图像的特征提取，上述池化层用于上述特征的降维，提高泛化能力，上述RELU层用于各上述特征的非线性分析，上述dropout层用于随机初始化参数，提高泛化性能，上述全连接层为过渡层，上述Softmax层将特征转化为缺陷识别的概率。
第二方面，本发明提供一种存储装置，其中存储有多条程序，上述程序适于由处理器加载并执行以第一方面所述的高压输电铁塔关键部件缺陷识别方法。
第三方面，本发明提供一种处理装置，该处理装置包括处理器和存储设备，其中，处理器适于执行各条程序，存储设备适于存储多条程序；程序适于由处理器加载并执行以实现上述第一方面所述的高压输电铁塔关键部件缺陷识别方法。
本申请实施例提供的高压输电铁塔关键部件缺陷识别方法，通过无人机获得高压输电铁塔的图像数据，利用定位识别模型识别出高压输电设备的关键部件，对关键部件所在区域的图像，利用缺陷识别模型进行缺陷识别，以对高压输电铁塔的关键部件进行缺陷检测。通过对关键部件的先定位再检测的识别方式，实现对高压铁塔关键部件缺陷的自动检测，提高检测效率。
附图说明
图1是本申请的高压输电铁塔关键部件缺陷识别方法可以应用于其中的示例性系统架构图；
图2是根据本申请的高压输电铁塔关键部件缺陷识别方法的一个实施例的流程图；
图3是应用于本申请的高压输电铁塔关键部件缺陷识别方法应用场景的图像数据；
图4a-图4d是利用缺陷识别模型对图像数据进行缺陷检测后的识别结果示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用于本申请的高压输电铁塔关键部件缺陷识别的方法实施例的示例性系统架构。
如图1所示，该系统架构可以包括图像采集设备101、网络102、用户终端设备103和服务器104。网络102用以在图像采集设备101、用户终端设备103和服务器104之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
图像采集设备101用于采集待巡检设备的图像数据，并将所采集的图像数据发送到服务器104处理；上述图像采集设备101还可以与用户终端设备103通信连接，用于接收用户通过用户终端设备103发送的指令，并根据该指令进行数据采集，将所采集的图像数据通过用户终端设备103发送到服务器104处理，或直接将所采集的图像数据发送到服务器104处理。上述图像采集设备101可以是具有摄像或图像采集功能的传感设备，例如，带有影像或图像获取的无人机航拍设备。
服务器104可以是提供各种服务的服务器，例如对图形采集设备103所采集到图像数据进行处理的处理服务器。上述处理服务器通过对图像数据的识别，判断待巡检高压输电铁塔的关键部件是否存在缺陷，并将识别结果(例如高压输电铁塔的关键部件的缺陷)发送给用户终端设备。
用户终端设备103用于接收服务器104所发送的高压输电铁塔的关键部件的缺陷识别结果供用户参考使用。用户终端设备103可以是具有显示屏并且支持网络通信和图像显示的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
用户可以使用用户用终端设备103通过网络102与图像采集设备101和服务器104交互，以接收或发送消息等。用户终端设备103上可以装设各类客户端应用软件，例如可以接收图片、影像资料信息，发送指令信息的通信类软件。
需要说明的是，本申请实施例所提供的高压输电铁塔关键部件缺陷识别方法一般由服务器执行。
应该理解，图1中的用户终端设备、网络、图像采集设备和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的用户终端设备、网络、图像采集设备和服务器。
继续参考图2，图2示出了根据本申请的高压输电铁塔关键部件缺陷识别方法的一个实施例的流程。该高压输电铁塔关键部件缺陷识别方法，包括以下步骤：
步骤201，获取高压输电铁塔关键部件的图像数据，并对上述图像数据作去噪预处理操作。
在本实施例中，高压输电铁塔关键部件缺陷识别方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从上述图像采集设备获取图像数据；或者还可以通过上述用户终端设备获取与上述终端用户设备连接的图像采集设备所采集的图像数据。上述图像数据可以为图片，还可以为图片转化处理后的数据。
具体地，上述图像数据的采集，可以是利用无人机对高压输电线路中待检测的高压输电铁塔关键部件进行拍摄，采集到高压输电铁塔关键部件的图像。将上述无人机采集到的图像数据直接发送到服务器，或者，还可以通过用户终端发送到服务器。上述服务器对所获取到的高压输电铁塔关键部件的图像数据进行预处理，上述预处理可以是对上述图像数据进行去噪、滤波等预处理，以及反差展宽、对数变换、密度分层等图像增强处理。
步骤202，根据上述图像数据，利用预先训练好的定位识别模型定位出上述输电铁塔关键部件在上述图像数据中的区域位置，将上述区域位置发送到图像采集平台，以控制无人机移动以及图像聚焦变倍操作以采集上述区域位置的图像数据，确定上述区域位置的图像数据为关键部件图像数据。
在本实施例中，利用先定位后识别的策略，即，首先定位出关键部件的所在图像中的位置，然后再对该位置处的设备进行识别。上述预先训练好的定位识别模型用于从图像数据中识别出输电铁塔的关键部件，并确定出所识别的关键部件在图像中的区域位置。上述定位识别模型输入为图像数据，输出为关键部件在图像数据中的区域位置。上述定位识别模型可以通过上述图像数据中各个像素点的像素值、图像的特征值等参数确定出上述图像数据中标识关键部件的图像所在的区域。这里，上述定位识别模型可以先识别出关键部件，再由识别出的标识该关键部件的像素点的坐标确定出关键部件在上述图像数据中的区域位置。将定位出的关键部件所在区域位置发送到图像采集平台，图像采集平台控制无人机移动以及图像聚焦变倍操作，用以采集所定位区域位置的图像数据；从而获得比较清晰和完整的关键部件的图像。这里，上述无人机的移动可以为位置的移动和角度的移动，如，飞行、旋转、悬浮等。
在本实施例的一些可选的实现方式中，上述方法还包括训练上述定位识别模型的步骤，上述训练上述定位识别模型的步骤包括：获取定位识别训练用数据，上述定位识别训练用数据为标注了待定位关键部件的图像数据；根据上述定位识别训练用数据，利用机器学习算法训练初始定位识别模型，得到上述定位识别模型。
上述用于定位识别的训练用数据可以是预先标注了待识别关键部件的图像数据。上述训练用数据可以是服务器的存储单元中预先存储的数据；还可以是对设备的巡检中获得的图像数据。上述训练用数据中对待识别的关键部件进行了标注，如，在训练数据的图片中，将描述关键部件的像素点标注为1，其余的描述非待识别的关键部件的像素点标注为0。根据上述标注了像素点的训练数据，利用深度学习算法或机器学习算法训练初始定位识别模型。
在本实施例的一些可选的实现方式中，获取上述定位识别训练数据，包括：对上述图像数据进行多特征计算，生成上述图像数据的多个特征图；构建上述特征图的多尺度图像金字塔，确定在上述特征图中标注了关键部件的特征图作为定位识别训练数据。这里，对上述图像数据进行多特征计算，可以是对上述图像数据进行包括三通道颜色特征、梯度幅值特征、梯度方向直方图特征、haar-like特征和投影尺度不变特征(PCA-SIFT)等的特征值计算。上述每一个特征对应图像数据都能生成一个特征图。
上述三通道颜色特征表示颜色特征图中每个像素点都有3个值表示，通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到个像素点的颜色值。上述梯度幅度值特征是计算每一个像素点形成的梯度图。上述梯度方向直方图(Histogram of Oriented Gradient,HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，使用了图像的本身的梯度方向特征。上述haar-like特征通过大量的具有比较明显的haar特征(矩形)的物体图像，用模式识别的方法训练出分类器，分类器是多个级联的，每级都以大概相同的识别率保留进入下一级的具有物体特征的候选物体，而每一级的子分类器则由许多haar特征构成，每个特征带一个阈值和两个分支值，每级子分类器带一个总的阈值。上述投影尺度不变特征(PCA-SIFT)是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置，尺度，旋转变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性的局部特征，然后是对局部特征向量的匹配。
上述构建特征图的多尺度图像金字塔，利用高斯差分算子对特征图进行卷积，其中同一组内的金字塔图像大小相同，其高斯差分算子不同。不同组间的金字塔图像大小不同，上一组是对下一组进行降采样得到的算子。
在本实施例的一些可选的实现方式中，对上述图像数据进行多特征计算，生成上述图像数据的多个特征图，还包括利用最大池化实现多特征融合；上述利用最大池化实现多特征融合，包括：利用预设的小窗口在上述多特征图上滑动，计算各小窗口内的最大值作为新的特征；将上述新的特征排列成一列作为多特征融合后的结果。
上述利用最大池化(maxpool)实现多特征的融合，可以预设预处理后图像大小为M*N，分别计算该图像的上述多个特征图，利用w*w的小窗口在多个特征图上进行间隔滑动，取各小窗口内的最大值作为新的特征。上述各小窗口内的最大值排列为：A特征窗口1的最大值，A特征窗口2的最大值，…，A特征窗口N的最大值；B特征窗口1的最大值，B特征窗口2的最大值，…，B特征窗口N的最大值；然后，M特征窗口1的最大值，M特征窗口2的最大值，…，M特征窗口N的最大值。所有新特征排列成一列多特征融合后的结果，其中，一列指的是每类特征在各个窗口所取最大作为值作为新特征依次排列为一列。
在一些具体地实现方式中，根据上述训练用数据，利用机器学习算法训练初始定位识别模型，得到所述定位识别模型，包括：将上述多尺度图像金字塔嵌入预设的滑动窗口进行滑动检测；根据上述滑动窗口的滑动检测结果，利用级联分类器训练上述初始定位识别模型。上述多尺度图像金字塔中标注了需要定位的关键部件，作为训练样本。
将待定位的图像数据输入到训练好的定位模型中，获取到待定位关键部件在上述待定位图像数据中的区域位置，当该区域位置图像大小合适时，可以进一步利用上述待定位图像数据确定关键部件是否存在缺陷；如果该区域位置图像太小时，无法进一步使用该图像数据，可以通过关键部件定位的位置，控制无人机变倍聚焦，或变位置重新获取关键部件定位后图像数据，以便后续的缺陷判断使用。
步骤203，根据上述关键部件图像数据，利用预先训练好的缺陷识别模型对上述区域位置的设备进行缺陷识别，标记所识别出的具有缺陷的关键部件。
在本实施例中，上述缺陷识别模型为预先训练好的用于根据图像数据识别关键部件是否存在缺陷的模型。上述缺陷识别模型可以是基于深度学习算法或机器学习算法建立的模型。该模型的输入为图像数据，输出为图像数据中的关键部件的缺陷信息。这里，缺陷信息包括关键部件是否有缺陷，缺陷所在的位置。
在本实施例的一些可选的实现方式中，上述方法还包括训练上述缺陷识别模型的步骤，上述训练上述缺陷识别模型的步骤，包括：获取缺陷识别训练用数据；根据上述缺陷识别训练用数据，利用深度卷积神经网络算法训练初始缺陷识别模型，得到上述缺陷识别模型。这里，可以通过搭建深度卷积神经网络结构以构建初始缺陷识别模型。利用预先准备好的缺陷识别训练用数据对上述初始缺陷识别模型进行训练。上述缺陷识别训练用数据可以是预先存储的关键部件图像数据，还可以是关键部件缺陷识别后中的图像数据。
在本实施例的一些可选的实现方式中，上述获取缺陷识别训练用数据，包括：获取上述关键部件图像数据，标注上述关键部件图像数据中具有缺陷的关键部件；对标注后的上述关键部件图像数据作移动操作，作为训练用数据以扩充上述缺陷识别训练用数据。因关键部件图像数据的量相对于上述缺陷识别模型的深度卷积神经网络偏少，可以对上述关键部件图像数据进行旋转、平移、尺度缩放、翻转等操作，以扩充上述缺陷识别模型训练用的数据集，将扩充后的数据集输入到上述初始缺陷识别模型进行训练。
在本实施例的一些可选的实现方式中，上述初始缺陷识别模型包括卷积层、池化层、RELU层，dropout层、全连接层和Softmax层，上述卷积层用于图像的特征提取，上述池化层用于所提取特征的降维，提高泛化能力，上述RELU层用于各上述所提取特征的非线性分析，上述dropout层用于随机初始化参数，提高泛化性能，上述全连接层为过渡层，上述Softmax层将特征转化为缺陷识别的概率。在具体地实现中，构建上述初始识别模型的深度神经网络包括5个卷积层，3个池化层，7个RELU层，2个dropout层，3个全连接层和一个Softmax层。
继续参见图3和图4a-图4d，图3和图4a-图4d是根据本实施例的高压输电铁塔关键部件缺陷识别方法的应用场景的示意图。在图3和图4a-图4d所示的应用场景中，对高于输电铁塔的绝缘子和输电线之间连接件上的螺栓进行巡检，检测螺栓及其上的销钉是否存在缺陷。通过无人机对输电铁塔绝缘子和输电线之间连接件进行航拍得到连接件的图形数据，将航拍得到的图形数据输入到预先训练好的定位识别模型进行定位，从而确定出待检测的设备所在的区域。在图3所示的图形数据中显示出了螺栓的区域位置，如图中各数字标识的方框区域为上述定位模型识别出的螺栓的区域位置。将上述各区域位置的图像数据依次导入到缺陷识别模型中进行缺陷识别，得到如图4a-图4d所示的各螺栓的销钉巡检结果图。图4a-图4d所示的结果图中，分别示出了上述各数字标识区域的螺栓的销钉是否存在缺陷。由图可知，上述标号为2号和3号区域的螺栓的销钉缺失，为缺陷的设备。将上述检测结果发送到用户的终端设备，并提醒用户对标号为2号和3号区域的螺栓进行及时的修复。同时，上述检测结果可以作为训练缺陷识别模型的训练数据，添加到训练用数据集中。
本申请的上述实施例提供的方法首先对获取到的高压输电铁塔的图像数据进行定位识别，定位出关键部件所在的区域；然后，利用缺陷识别模型对所定位的区域中的图像进行缺陷识别；最后，将缺陷识别结果标识并发送到用户的终端设备。实现了对巡检设备的先定位再检测的自动识别策略，提高缺陷识别的效率和准确率。
第二方面，本申请提供一种存储装置，该存储装置中存储有多条程序，上述程序适于由处理器加载并执行以实现：获取高压输电铁塔关键部件的图像数据，并对上述图像数据作去噪预处理操作；根据上述图像数据，利用预先训练好的定位识别模型定位出上述输电铁塔关键部件在上述图像数据中的区域位置，确定上述区域位置的图像数据为关键部件图像数据；根据上述关键部件图像数据，利用预先训练好的缺陷识别模型对上述区域位置的设备进行缺陷识别，标记所识别出的具有缺陷的关键部件。
第三方面，本申请提供一种处理器，包括处理器和存储设备。其中，处理器适于执行各条程序，存储单元适于存储多条程序。上述程序适于由处理器加载并执行以实现：获取高压输电铁塔关键部件的图像数据，并对上述图像数据作去噪预处理操作；根据上述图像数据，利用预先训练好的定位识别模型定位出上述输电铁塔关键部件在上述图像数据中的区域位置，确定上述区域位置的图像数据为关键部件图像数据；根据上述关键部件图像数据，利用预先训练好的缺陷识别模型对上述区域位置的设备进行缺陷识别，标记所识别出的具有缺陷的关键部件。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (11)
1.一种高压输电铁塔关键部件缺陷识别方法，其特征在于，所述方法包括：
获取高压输电铁塔关键部件的图像数据，并对所述图像数据作去噪预处理操作；
根据所述图像数据，采用先定位后识别的策略，首先利用预先训练好的定位识别模型定位出所述输电铁塔关键部件在所述图像数据中的区域位置，将所述区域位置发送到图像采集平台，以控制无人机移动以及图像聚焦变倍操作以采集所述区域位置的图像数据，确定所述区域位置的图像数据为关键部件图像数据，所述定位识别模型是用于定位关键部件在所述图像数据中的区域位置的模型，其输入为图像数据，输出为关键部件在所述图像数据中的区域位置；所述定位识别模型通过所述图像数据中包括各个像素点的像素值、图像的特征值在内的参数确定出所述图像数据中标识关键部件的图像所在的区域；所述定位识别模型先识别出关键部件，再由识别出的标识该关键部件的像素点的坐标确定出关键部件在所述图像数据中的区域位置；
根据所述关键部件图像数据，利用预先训练好的缺陷识别模型对所述区域位置的设备进行缺陷识别，标记所识别出的具有缺陷的关键部件，所述缺陷识别模型是用于识别图像数据中关键部件的缺陷的模型，其输入为关键部件图像数据，输出为所述关键部件的缺陷信息，所述缺陷信息包括关键部件是否有缺陷、以及缺陷所在的位置。
2.根据权利要求1所述的高压输电铁塔关键部件缺陷识别方法，其特征在于，所述方法还包括训练所述定位识别模型的步骤，所述训练所述定位识别模型的步骤包括：
获取定位识别训练用数据，所述定位识别训练用数据为标注了待定位关键部件的图像数据；
根据所述定位识别训练用数据，利用机器学习算法训练初始定位识别模型，得到所述定位识别模型。
3.根据权利要求2所述的高压输电铁塔关键部件缺陷识别方法，其特征在于，所述获取所述定位识别训练数据，包括：
对所述图像数据进行多特征计算，生成所述图像数据的多个特征图；
构建多个所述特征图的多尺度图像金字塔，确定在所述特征图中标注了关键部件的特征图作为定位识别训练数据。
4.根据权利要求3所述的高压输电铁塔关键部件缺陷识别方法，其特征在于，所述对所述图像数据进行多特征计算，生成所述图像数据的多个特征图，包括：
对预处理后的所述图像数据进行多特征计算，所述多特征包括三通道颜色特征、梯度幅值特征、梯度方向直方图特征、haar-like特征和投影尺度不变特征；
由所述多特征计算得到的各特征值，生成所述图像数据的各个特征的特征图。
5.根据权利要求4所述的高压输电铁塔关键部件缺陷识别方法，其特征在于，所述对所述图像数据进行多特征计算，生成所述图像数据的多个特征图，还包括利用最大池化实现多特征融合；
所述利用最大池化实现多特征融合，包括：
利用预设的小窗口在所述多特征图上滑动，计算所述小窗口内的最大值作为新的特征；
将所述新的特征排列成一列作为多特征融合后的结果。
6.根据权利要求5所述的高压输电铁塔关键部件缺陷识别方法，其特征在于，所述根据所述训练用数据，利用机器学习算法训练初始定位识别模型，得到所述定位识别模型，包括：
将所述多尺度图像金字塔嵌入预设的滑动窗口进行滑动检测；
根据所述滑动窗口的滑动检测结果，利用级联分类器训练所述初始定位识别模型。
7.根据权利要求1所述的高压输电铁塔关键部件缺陷识别方法，其特征在于，所述方法还包括训练所述缺陷识别模型的步骤，所述训练所述缺陷识别模型的步骤，包括：
获取缺陷识别训练用数据；
根据所述缺陷识别训练用数据，利用深度卷积神经网络算法训练初始缺陷识别模型，得到所述缺陷识别模型。
8.根据权利要求7所述的高压输电铁塔关键部件缺陷识别方法，其特征在于，所述获取缺陷识别训练用数据，包括：
获取所述关键部件图像数据，标注所述关键部件图像数据中具有缺陷的关键部件；
对标注后的所述关键部件图像数据作移动操作，作为训练用数据以扩充所述缺陷识别训练用数据。
9.根据权利要求7所述的高压输电铁塔关键部件缺陷识别方法，其特征在于，所述初始缺陷识别模型包括卷积层、池化层、RELU层，dropout层、全连接层和Softmax层，所述卷积层用于图像的特征提取，所述池化层用于所述特征的降维，提高泛化能力，所述RELU层用于各所述特征的非线性分析，所述dropout层用于随机初始化参数，提高泛化性能，所述全连接层为过渡层，所述Softmax层将特征转化为缺陷识别的概率。
10.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-9任一项所述的高压输电铁塔关键部件缺陷识别方法。
11.一种处理装置，包括
处理器，适于执行各条程序；以及
存储设备，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-9任一项所述的高压输电铁塔关键部件缺陷识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711182523.2A CN108022235B (zh) | 2017-11-23 | 2017-11-23 | 高压输电铁塔关键部件缺陷识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711182523.2A CN108022235B (zh) | 2017-11-23 | 2017-11-23 | 高压输电铁塔关键部件缺陷识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108022235A CN108022235A (zh) | 2018-05-11 |
| CN108022235B true CN108022235B (zh) | 2020-07-28 |
Family
ID=62080161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711182523.2A Active CN108022235B (zh) | 2017-11-23 | 2017-11-23 | 高压输电铁塔关键部件缺陷识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108022235B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805084A (zh) * | 2018-06-14 | 2018-11-13 | 北京中飞艾维航空科技有限公司 | 图像识别方法、装置及服务器 |
| CN108961235B (zh) * | 2018-06-29 | 2021-05-14 | 山东大学 | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 |
| CN108646786A (zh) * | 2018-07-24 | 2018-10-12 | 上海伯镭智能科技有限公司 | 一种基于多轴无人机的机械设备巡检系统及其方法 |
| CN108921132A (zh) * | 2018-07-27 | 2018-11-30 | 广东电网有限责任公司 | 无人机机载电缆探测系统 |
| CN109325519A (zh) * | 2018-08-20 | 2019-02-12 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 故障识别方法及装置 |
| CN109116865A (zh) * | 2018-09-19 | 2019-01-01 | 苏州傲特欣智能科技有限公司 | 基于机器视觉的大型设备无人机巡检系统及其方法 |
| CN109635957A (zh) * | 2018-11-13 | 2019-04-16 | 广州裕申电子科技有限公司 | 一种基于ar技术的设备维修辅助方法和系统 |
| CN109886170B (zh) * | 2019-02-01 | 2019-12-17 | 河海大学 | 一种钉螺智能检测识别与统计系统 |
| CN109872323A (zh) * | 2019-02-28 | 2019-06-11 | 北京国网富达科技发展有限责任公司 | 输电线路的绝缘子缺陷检测方法及装置 |
| CN110567964B (zh) * | 2019-07-19 | 2022-07-05 | 华瑞新智科技（北京）有限公司 | 一种检测变电设备缺陷的方法、装置及存储介质 |
| CN110599460A (zh) * | 2019-08-14 | 2019-12-20 | 深圳市勘察研究院有限公司 | 基于混合卷积神经网络的地下管网检测评估云系统 |
| CN111915558B (zh) * | 2020-06-30 | 2023-12-01 | 成都思晗科技股份有限公司 | 一种高压输电线销钉状态检测方法 |
| CN111797332A (zh) * | 2020-07-31 | 2020-10-20 | 国网北京市电力公司 | 图像的显示方法及装置、系统 |
| CN112312025A (zh) * | 2020-10-30 | 2021-02-02 | 南方电网数字电网研究院有限公司 | 一种基于双变倍云台的目标纠偏方法及系统 |
| CN112651337A (zh) * | 2020-12-25 | 2021-04-13 | 国网黑龙江省电力有限公司电力科学研究院 | 应用于训练线路异物目标检测模型的样本集构建方法 |
| CN113327255A (zh) * | 2021-05-28 | 2021-08-31 | 宁波新胜中压电器有限公司 | 基于YOLOv3检测定位裁剪及fine-tune的输电线路巡检图像处理方法 |
| CN114882010A (zh) * | 2022-06-09 | 2022-08-09 | 苏州大学 | 基于图片识别的表面缺陷检测方法 |
| CN117260770A (zh) * | 2023-11-02 | 2023-12-22 | 宁夏大唐国际红寺堡新能源有限责任公司 | 一种基于可变径柔性支撑的风电叶片内窥检测机器人 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106290388A (zh) * | 2016-08-03 | 2017-01-04 | 国网山东省电力公司电力科学研究院 | 一种绝缘子故障自动检测方法 |
| CN106504233A (zh) * | 2016-10-18 | 2017-03-15 | 国网山东省电力公司电力科学研究院 | 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统 |
| CN106778833A (zh) * | 2016-11-28 | 2017-05-31 | 北京航天控制仪器研究所 | 一种复杂背景下小目标丢失故障的自动识别方法 |
| CN107133943A (zh) * | 2017-04-26 | 2017-09-05 | 贵州电网有限责任公司输电运行检修分公司 | 一种防震锤缺陷检测的视觉检测方法 |
-
2017
- 2017-11-23 CN CN201711182523.2A patent/CN108022235B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106290388A (zh) * | 2016-08-03 | 2017-01-04 | 国网山东省电力公司电力科学研究院 | 一种绝缘子故障自动检测方法 |
| CN106504233A (zh) * | 2016-10-18 | 2017-03-15 | 国网山东省电力公司电力科学研究院 | 基于Faster R‑CNN的无人机巡检图像电力小部件识别方法及系统 |
| CN106778833A (zh) * | 2016-11-28 | 2017-05-31 | 北京航天控制仪器研究所 | 一种复杂背景下小目标丢失故障的自动识别方法 |
| CN107133943A (zh) * | 2017-04-26 | 2017-09-05 | 贵州电网有限责任公司输电运行检修分公司 | 一种防震锤缺陷检测的视觉检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| A Fault Diagnosis Method of Insulator String Based on Infrared Image Feature Extraction and Probabilistic Neural Network;Lijun Xiao等;《2017 10th International Conference on Intelligent Computation Technology and Automation》;IEEE;20171102;第80-85页 * |
| 一种基于卷积神经网络的人脸识别方法;于达岭等;《微型机与应用》;20170731;第36卷(第14期);第49-51页 * |
| 基于卷积神经网络的商品图像分类研究;匡青;《软件导刊》;20170228;第16卷(第2期);第178-181页 * |
| 基于卷积神经网络的大规模人脸聚类;申小敏等;《广东工业大学学报》;20161130;第33卷(第6期);第77-84页 * |
| 输电线路绝缘子缺陷图像检测方法;石丽;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20131215(第S2期);第4-12页、第20页、第33-39页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108022235A (zh) | 2018-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108022235B (zh) | 高压输电铁塔关键部件缺陷识别方法 | |
| CN109740413B (zh) | 行人重识别方法、装置、计算机设备及计算机存储介质 | |
| AU2019201977B2 (en) | Aerial monitoring system and method for identifying and locating object features | |
| Ahmed et al. | Inspection and identification of transmission line insulator breakdown based on deep learning using aerial images | |
| Lebedev et al. | Accurate autonomous uav landing using vision-based detection of aruco-marker | |
| CN109413411B (zh) | 一种监控线路的黑屏识别方法、装置及服务器 | |
| CN110852222A (zh) | 一种基于目标检测的校园走廊场景智能监控方法 | |
| CN110458794B (zh) | 用于轨道列车的配件质量检测方法及装置 | |
| CN111144401A (zh) | 一种电厂集控室深度学习和视觉伺服的触屏控制操作方法 | |
| CN113515655A (zh) | 一种基于图像分类的故障识别方法及装置 | |
| CN112836683B (zh) | 用于便携式摄像设备的车牌识别方法、装置、设备和介质 | |
| US20230306742A1 (en) | Computer Vision Systems and Methods for Hazard Detection from Digital Images and Videos | |
| EP3376438A1 (en) | A system and method for detecting change using ontology based saliency | |
| CN113505704B (zh) | 图像识别的人员安全侦测方法、系统、设备及存储介质 | |
| CN112435240B (zh) | 一种面向工人违规使用手机的深度视觉手机检测系统 | |
| CN117876922A (zh) | 一种基于视频识别电力现场作业风险的方法及装置 | |
| Coca et al. | Automatic tarmac crack identification application | |
| CN116403162B (zh) | 一种机场场面目标行为识别方法、系统及电子设备 | |
| CN117079026A (zh) | 一种基于改进YOLOv3网络的无人机电力巡检隐患识别方法 | |
| CN116503807A (zh) | 一种设备巡检方法、装置、电子设备及计算机程序产品 | |
| CN116258715A (zh) | 一种粉尘回收方法、装置及电子设备 | |
| CN116246200A (zh) | 一种基于视觉识别的屏显信息偷拍检测方法及系统 | |
| CN115311680A (zh) | 人体图像质量检测方法、装置、电子设备及存储介质 | |
| CN114582012A (zh) | 一种骨架人体行为识别方法、装置及设备 | |
| CN113902919A (zh) | 一种基于双流网络的目标检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |