CN112288711A - 无人机巡检影像缺陷图像识别方法、装置、设备及介质 - Google Patents

无人机巡检影像缺陷图像识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN112288711A
CN112288711A CN202011170901.7A CN202011170901A CN112288711A CN 112288711 A CN112288711 A CN 112288711A CN 202011170901 A CN202011170901 A CN 202011170901A CN 112288711 A CN112288711 A CN 112288711A
Authority
CN
China
Prior art keywords
image
defect
aerial vehicle
unmanned aerial
vehicle inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011170901.7A
Other languages
English (en)
Inventor
姜文东
郑小方
林琳
曾少华
金芳芳
周华丽
祝超
李则未
沈波
韩皓宸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huayun Clean Energy Co ltd
Original Assignee
Zhejiang Huayun Clean Energy Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Huayun Clean Energy Co ltd filed Critical Zhejiang Huayun Clean Energy Co ltd
Priority to CN202011170901.7A priority Critical patent/CN112288711A/zh
Publication of CN112288711A publication Critical patent/CN112288711A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请公开了一种无人机巡检影像缺陷图像识别方法、装置、设备及介质，该方法包括：采集输电线路无人机巡检规范化影像；从采集的影像中选取无缺陷图像并进行相应处理，构建不同场景的缺陷负样本库；利用构建的缺陷负样本库对深度学习卷积神经网络进行训练，得到无缺陷目标识别模型；将待测输电线路无人机巡检影像输入至无缺陷目标识别模型进行筛选，并过滤掉缺陷识别概率小于设定阈值的图像，以及对过滤后剩下的图像进行人工或自动识别。本申请构建了不同场景的缺陷负样本库进行训练并获得对应场景的卷积神经网络模型，能够对无人机巡检采集到的图像进行智能分析，保障了缺陷分析效果，极大降低了人工核查劳动成本，提高了工作效率。

Description

无人机巡检影像缺陷图像识别方法、装置、设备及介质
技术领域
本发明涉及图像识别领域，特别是涉及一种无人机巡检影像缺陷图像识别方法、装置、设备及介质。
背景技术
目前，用于输电线路的无人机巡检影像缺陷图像识别的一般做法是，针对于输电线路的九大类，数百小类缺陷，分别构建缺陷样本库进行训练，获得卷积神经网络模型，然后运用这个模型进行推理，实现缺陷自动识别。
但是，该方法存在两个技术问题：一、输电线路缺陷类别众多，很多缺陷类别正样本非常少，很难构建有效的样本库；二、对这些类别的缺陷，很多情况下图像识别的漏报率较高，图像识别后工作人员仍然需要对所有的图像进行人工核查，没有实质性降低人工工作量，且通过人工方式核查耗时耗力，可靠性低。通过通信技术和传感技术将实时监控图像或者视频传输到后台可以降低巡检工作量，但是仍需要后台工作人员肉眼判断是否存在隐患，工作量大且容易遗漏，没有实现巡检的智能化。
因此，如何解决漏报率高，人工工作量大，工作效率低的问题，是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种无人机巡检影像缺陷图像识别方法、装置、设备及介质，可以保障缺陷分析效果，极大降低人工核查劳动成本，提高工作效率。其具体方案如下：
一种无人机巡检影像缺陷图像识别方法，包括：
采集输电线路无人机巡检规范化影像；
从采集的所述影像中选取无缺陷图像并进行相应处理，构建不同场景的缺陷负样本库；
利用构建的所述缺陷负样本库对深度学习卷积神经网络进行训练，得到无缺陷目标识别模型；
将待测输电线路无人机巡检影像输入至所述无缺陷目标识别模型进行筛选，并过滤掉缺陷识别概率小于设定阈值的图像，以及对过滤后剩下的图像进行人工或自动识别。
优选地，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，在采集输电线路无人机巡检规范化影像之后，还包括：
根据输电线路的电压等级、杆塔类型和无人机巡检规范的拍摄画面场景，对采集的所述影像进行分类规范化命名和存储管理。
优选地，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，对选取的无缺陷图像进行相应处理，具体包括：
对选取的无缺陷图像中的最小颗粒度待识别目标进行标注；
将标注的所述无缺陷图像分别顺时针和逆时针旋转多个不同的角度；
将旋转后的所述无缺陷图像随机进行高斯模糊处理。
优选地，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，所述无缺陷目标识别模型由DBlock模块、RBlock模块和SENet模块组成；
所述DBlock模块的纵向卷积操作为输入图像有N个通道，则采用N个卷积核进行卷积；其中N≥1；
所述RBlock模块的权重层为3*3卷积层；
所述SENet模块包括Squeeze操作和Excitation操作；所述Squeeze操作，用于将原始特征图的高度和宽度进行压缩；所述Excitation操作，用于添加FC全连接层，对每个通道的重要性进行预测，并使用sigmoid函数激活特征图的对应通道。
优选地，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，所述无缺陷目标识别模型对应的损失函数如下：
Figure BDA0002747254030000021
其中，M为类别的数量；yic为变量0或1；若该类别和样本i的类别相同时，yic为1，否则yic为0；pic为样本i属于类别c的预测概率；N为训练样本数量。
优选地，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，对过滤后剩下的图像进行自动识别，具体包括：
建立缺陷目标识别模型；
将过滤后剩下的图像输入至所述缺陷目标识别模型进行自动识别。
优选地，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，还包括：
将缺陷识别概率小于设定阈值的图像放进所述缺陷负样本库中，对所述无缺陷目标识别模型进行更新迭代。
本发明实施例还提供了一种无人机巡检影像缺陷图像识别装置，包括：
影像采集模块，用于采集输电线路无人机巡检规范化影像；
样本库构建模块，用于从采集的所述影像中选取无缺陷图像并进行相应处理，构建不同场景的缺陷负样本库；
模型训练模块，用于利用构建的所述缺陷负样本库对深度学习卷积神经网络进行训练，得到无缺陷目标识别模型；
图像识别模块，用于将待测输电线路无人机巡检影像输入至所述无缺陷目标识别模型进行筛选，并过滤掉缺陷识别概率小于设定阈值的图像，以及对过滤后剩下的图像进行人工或自动识别。
本发明实施例还提供了一种无人机巡检影像缺陷图像识别设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述无人机巡检影像缺陷图像识别方法。
本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述无人机巡检影像缺陷图像识别方法。
从上述技术方案可以看出，本发明所提供的一种无人机巡检影像缺陷图像识别方法，包括：采集输电线路无人机巡检规范化影像；从采集的影像中选取无缺陷图像并进行相应处理，构建不同场景的缺陷负样本库；利用构建的缺陷负样本库对深度学习卷积神经网络进行训练，得到无缺陷目标识别模型；将待测输电线路无人机巡检影像输入至无缺陷目标识别模型进行筛选，并过滤掉缺陷识别概率小于设定阈值的图像，以及对过滤后剩下的图像进行人工或自动识别。
本发明构建了不同场景的缺陷负样本库进行训练并获得对应场景的卷积神经网络模型，能够对无人机巡检采集到的图像进行智能分析，保障了缺陷分析效果，极大降低了人工核查劳动成本，提高了工作效率。此外，本发明还针对无人机巡检影像缺陷图像识别方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的无人机巡检影像缺陷图像识别方法的流程图；
图2为本发明实施例提供的无缺陷目标识别模型的结构示意图；
图3为本发明实施例提供的无人机巡检影像缺陷图像识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种无人机巡检影像缺陷图像识别方法，如图1所示，包括以下步骤：
S101、采集输电线路无人机巡检规范化影像；
在实际应用中，人工设置采集点和采集区域，根据国网无人机巡检规范人工或者自动控制无人机飞行到采集区域，确保待识别区域在图像中至少占50％以上的比例时，开始采集影像；在采集完后，将无人机采集的影像分场景整理到服务器；
S102、从采集的影像中选取无缺陷图像并进行相应处理，构建不同场景的缺陷负样本库(即正确图像样本库)；
S103、利用构建的缺陷负样本库对深度学习卷积神经网络进行训练，得到无缺陷目标识别模型；
需要说明的是，基于大量的正确图像样本库，利用深度学习卷积神经网络，针对不同的电压等级、不同塔形、不同的场景，建立针对性的细化算法模型，通过大数据分析，对图像中特定目标进行信息特征模糊提取、精细建库，从而实现训练后自动批量对上述影像数据进行正确样本的识别，可识别正常无缺陷场景的杆塔和线路；
S104、将待测输电线路无人机巡检影像输入至无缺陷目标识别模型进行筛选，并过滤掉缺陷识别概率小于设定阈值th的图像，以及对过滤后剩下的图像进行人工或自动识别。
在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，构建了不同场景的缺陷负样本库进行训练并获得对应场景的卷积神经网络模型，能够对无人机巡检采集到的图像进行智能分析，保障了缺陷分析效果，极大降低了人工核查劳动成本，提高了工作效率。
在具体实施时，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，在执行步骤S101采集输电线路无人机巡检规范化影像之后，还可以包括：根据输电线路的电压等级(如35kV，110kV，220kV，500kV，1000kV，±800kV)、杆塔类型(如直线塔，耐张塔等)和国内无人机巡检规范的拍摄画面场景，对采集的影像进行分类规范化命名和存储管理。
在具体实施时，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，步骤S102对选取的无缺陷图像进行相应处理，具体可以采用下述方式实现：
第一、对选取的无缺陷图像中的最小颗粒度待识别目标进行标注；具体地，人工标注场景图像，可以采用矩形框将图像中的最小颗粒度待识别目标框出，当然也可以采用其他形状框出，只要描出相应的轮廓即可，在此不做限定；
第二、将标注的无缺陷图像分别顺时针和逆时针旋转多个不同的角度；具体地，可以将标注的图像分别顺时针和逆时针旋转5°、10°和15°等角度，以增强样本数量；
第三、将旋转后的无缺陷图像随机进行高斯模糊处理，以增强样本数量。
在具体实施时，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，如图2所示，无缺陷目标识别模型由DBlock模块、RBlock模块和SENet模块组成；
DBlock模块的纵向卷积操作为输入图像有N个通道，则采用N个卷积核进行卷积；其中N≥1；该模块依次由数据填充、纵向卷积操作、批归一化处理、卷积操作和批归一化处理构成；
RBlock模块的权重层(weight layer)为3*3卷积层；该模块的输入为x，则输出为F(F(x))+x；F(x)表示经过weight layer卷积后的输出特征；
SENet模块包括Squeeze操作和Excitation操作；Squeeze操作，用于将原始特征图的高度和宽度进行压缩；Excitation操作，用于添加FC全连接层，对每个通道的重要性进行预测，并使用sigmoid函数激活特征图的对应通道。
具体地，SENet模块由Squeeze操作和Excitation操作组成；假设原始特征图的维度为H×W×C，其中H是高度，W是宽度，C是通道数。Squeeze操作为把H×W×C压缩为1×1×C，相当于把H×W压缩成一维了，实际中一般是用全局平均池化实现的。H×W压缩成一维后，相当于这一维参数获得了之前H×W全局的视野，感受区域更广。形式上，统计Z∈RC是通过在空间维度W×H上收缩生成的，Z表示压缩后的特征，R表示实数域，其转换输出U则是局部描述符的集合，这些局部描述符的统计信息表示整个图像，其中Z的第C个元素通过下式计算：
Figure BDA0002747254030000061
其中，(i,j)表示特征空间中该点的特征值，uc表示压缩前的第c个元素，Zc表示压缩后的第c个元素。
Excitation操作的目的是设计一个简单的门机制来捕获通道间的间的依赖关系，得到Squeeze的1×1×C的表示后，加入一个FC全连接层，对每个通道的重要性进行预测，得到不同通道的重要性大小后再作用到之前的特征图的对应通道上，再进行后续操作，使用sigmoid函数进行激活，其公式如下所示：
s＝Fex(z，W)＝σ(G(z，W))＝σ(W2δ(W1z))
其中，z表示上一个操作的输出，δ表示Relu函数，W1表示全连接层的降维权重，W2表示全连接层的升维权重，这样做能够减小模型的复杂程度，使模型更具有泛化能力。
在具体实施时，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，无缺陷目标识别模型对应的损失函数如下：
Figure BDA0002747254030000071
其中，M为类别的数量；yic为变量0或1；若该类别和样本i的类别相同时，yic为1，否则yic为0；pic为样本i属于类别c的预测概率；N为训练样本数量。
在具体实施时，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，步骤S104对过滤后剩下的图像进行自动识别，具体可以包括：建立缺陷目标识别模型；将过滤后剩下的图像输入至缺陷目标识别模型进行自动识别。
在实际应用中，剩下可能存在故障的图像可以交由人工审核或者采用传统九大类模型进行辅助自动识别，以全面高质量提升工作效率。在进行自动识别时，构建缺陷目标识别模型，完善无人机巡检所采集的图像的典型缺陷机器自动识别，与上述正确样本识别互为表里，相互验证，不断完善图像识别系统的算法模型，最终实现可真正解决实际问题的无人机精细化巡检智能图像识别。
在具体实施时，在本发明实施例提供的上述无人机巡检影像缺陷图像识别方法中，在执行完步骤S104后，还可以包括：将缺陷识别概率小于设定阈值的图像放进缺陷负样本库中，对无缺陷目标识别模型进行更新迭代。
需要注意的是，本发明实施例提供的上述无人机巡检影像缺陷图像识别方法的具体过程可以为：首先，按照输电线路的杆塔类型和场景，如导线端挂点，横担端挂点，导地线，绝缘子，通道等，构建海量的缺陷负样本库即正确图像样本库，进行训练获得对应场景的卷积神经网络模型(即无缺陷目标识别模型)，实现对正常无缺陷场景的杆塔和线路进行识别。然后，输入新的输电线路无人机巡检影像，用上述对应场景的卷积神经网络模型进行筛选，把图像识别认为是无缺陷的照片过滤掉；其余图像交由人工审核或自动识别。这样可保障缺陷分析效果，极大降低人工核查劳动成本，提高工作效率。
基于同一发明构思，本发明实施例还提供了一种无人机巡检影像缺陷图像识别装置，由于该装置解决问题的原理与前述一种无人机巡检影像缺陷图像识别方法相似，因此该装置的实施可以参见无人机巡检影像缺陷图像识别方法的实施，重复之处不再赘述。
在具体实施时，本发明实施例提供的无人机巡检影像缺陷图像识别装置，如图3所示，具体包括：
影像采集模块11，用于采集输电线路无人机巡检规范化影像；
样本库构建模块12，用于从采集的影像中选取无缺陷图像并进行相应处理，构建不同场景的缺陷负样本库；
模型训练模块13，用于利用构建的缺陷负样本库对深度学习卷积神经网络进行训练，得到无缺陷目标识别模型；
图像识别模块14，用于将待测输电线路无人机巡检影像输入至无缺陷目标识别模型进行筛选，并过滤掉缺陷识别概率小于设定阈值的图像，以及对过滤后剩下的图像进行人工或自动识别。
在本发明实施例提供的上述无人机巡检影像缺陷图像识别装置中，可以通过上述四个模块的相互作用，能够对无人机巡检采集到的图像进行智能分析，保障了缺陷分析效果，极大降低了人工核查劳动成本，提高了工作效率。
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
相应的，本发明实施例还公开了一种无人机巡检影像缺陷图像识别设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的无人机巡检影像缺陷图像识别方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步的，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的无人机巡检影像缺陷图像识别方法。
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
本发明实施例提供的一种无人机巡检影像缺陷图像识别方法，包括：采集输电线路无人机巡检规范化影像；从采集的影像中选取无缺陷图像并进行相应处理，构建不同场景的缺陷负样本库；利用构建的缺陷负样本库对深度学习卷积神经网络进行训练，得到无缺陷目标识别模型；将待测输电线路无人机巡检影像输入至无缺陷目标识别模型进行筛选，并过滤掉缺陷识别概率小于设定阈值的图像，以及对过滤后剩下的图像进行人工或自动识别。这样构建不同场景的缺陷负样本库进行训练并获得对应场景的卷积神经网络模型，能够对无人机巡检采集到的图像进行智能分析，保障了缺陷分析效果，极大降低了人工核查劳动成本，提高了工作效率。此外，本发明还针对无人机巡检影像缺陷图像识别方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的无人机巡检影像缺陷图像识别方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种无人机巡检影像缺陷图像识别方法，其特征在于，包括：
采集输电线路无人机巡检规范化影像；
从采集的所述影像中选取无缺陷图像并进行相应处理，构建不同场景的缺陷负样本库；
利用构建的所述缺陷负样本库对深度学习卷积神经网络进行训练，得到无缺陷目标识别模型；
将待测输电线路无人机巡检影像输入至所述无缺陷目标识别模型进行筛选，并过滤掉缺陷识别概率小于设定阈值的图像，以及对过滤后剩下的图像进行人工或自动识别。
2.根据权利要求1所述的无人机巡检影像缺陷图像识别方法，其特征在于，在采集输电线路无人机巡检规范化影像之后，还包括：
根据输电线路的电压等级、杆塔类型和无人机巡检规范的拍摄画面场景，对采集的所述影像进行分类规范化命名和存储管理。
3.根据权利要求2所述的无人机巡检影像缺陷图像识别方法，其特征在于，对选取的无缺陷图像进行相应处理，具体包括：
对选取的无缺陷图像中的最小颗粒度待识别目标进行标注；
将标注的所述无缺陷图像分别顺时针和逆时针旋转多个不同的角度；
将旋转后的所述无缺陷图像随机进行高斯模糊处理。
4.根据权利要求3所述的无人机巡检影像缺陷图像识别方法，其特征在于，所述无缺陷目标识别模型由DBlock模块、RBlock模块和SENet模块组成；
所述DBlock模块的纵向卷积操作为输入图像有N个通道，则采用N个卷积核进行卷积；其中N≥1；
所述RBlock模块的权重层为3*3卷积层；
所述SENet模块包括Squeeze操作和Excitation操作；所述Squeeze操作，用于将原始特征图的高度和宽度进行压缩；所述Excitation操作，用于添加FC全连接层，对每个通道的重要性进行预测，并使用sigmoid函数激活特征图的对应通道。
5.根据权利要求4所述的无人机巡检影像缺陷图像识别方法，其特征在于，所述无缺陷目标识别模型对应的损失函数如下：
Figure FDA0002747254020000021
其中，M为类别的数量；yic为变量0或1；若该类别和样本i的类别相同时，yic为1，否则yic为0；pic为样本i属于类别c的预测概率；N为训练样本数量。
6.根据权利要求1所述的无人机巡检影像缺陷图像识别方法，其特征在于，对过滤后剩下的图像进行自动识别，具体包括：
建立缺陷目标识别模型；
将过滤后剩下的图像输入至所述缺陷目标识别模型进行自动识别。
7.根据权利要求1所述的无人机巡检影像缺陷图像识别方法，其特征在于，还包括：
将缺陷识别概率小于设定阈值的图像放进所述缺陷负样本库中，对所述无缺陷目标识别模型进行更新迭代。
8.一种无人机巡检影像缺陷图像识别装置，其特征在于，包括：
影像采集模块，用于采集输电线路无人机巡检规范化影像；
样本库构建模块，用于从采集的所述影像中选取无缺陷图像并进行相应处理，构建不同场景的缺陷负样本库；
模型训练模块，用于利用构建的所述缺陷负样本库对深度学习卷积神经网络进行训练，得到无缺陷目标识别模型；
图像识别模块，用于将待测输电线路无人机巡检影像输入至所述无缺陷目标识别模型进行筛选，并过滤掉缺陷识别概率小于设定阈值的图像，以及对过滤后剩下的图像进行人工或自动识别。
9.一种无人机巡检影像缺陷图像识别设备，其特征在于，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如权利要求1至7任一项所述的无人机巡检影像缺陷图像识别方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的无人机巡检影像缺陷图像识别方法。
CN202011170901.7A 2020-10-28 2020-10-28 无人机巡检影像缺陷图像识别方法、装置、设备及介质 Pending CN112288711A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011170901.7A CN112288711A (zh) 2020-10-28 2020-10-28 无人机巡检影像缺陷图像识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011170901.7A CN112288711A (zh) 2020-10-28 2020-10-28 无人机巡检影像缺陷图像识别方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN112288711A true CN112288711A (zh) 2021-01-29

Family

ID=74374013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011170901.7A Pending CN112288711A (zh) 2020-10-28 2020-10-28 无人机巡检影像缺陷图像识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN112288711A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344847A (zh) * 2021-04-21 2021-09-03 安徽工业大学 一种基于深度学习的长尾夹缺陷检测方法及系统
CN113485433A (zh) * 2021-07-27 2021-10-08 国网青海省电力公司海西供电公司 输电线路的巡检方法与装置
CN113601536A (zh) * 2021-10-11 2021-11-05 国网智能科技股份有限公司 一种配网车载智能巡检机器人系统及方法
CN114612853A (zh) * 2022-02-11 2022-06-10 江苏濠汉信息技术有限公司 基于注意力机制和时序图像分析的车辆检测系统及方法
CN116343132A (zh) * 2023-05-26 2023-06-27 南方电网数字电网研究院有限公司 一种复杂场景电力设备缺陷识别方法、装置和计算机设备
CN116363536A (zh) * 2023-05-31 2023-06-30 国网湖北省电力有限公司经济技术研究院 一种基于无人机巡查数据的电网基建设备缺陷归档方法
CN117095316A (zh) * 2023-10-18 2023-11-21 深圳市思友科技有限公司 路面巡检方法、装置、设备及可读存储介质
CN117607155A (zh) * 2024-01-24 2024-02-27 山东大学 一种应变片外观缺陷检测方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127780A (zh) * 2016-06-28 2016-11-16 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN107886133A (zh) * 2017-11-29 2018-04-06 南京市测绘勘察研究院股份有限公司 一种基于深度学习的地下管道缺陷自动识别方法
CN108257114A (zh) * 2017-12-29 2018-07-06 天津市万贸科技有限公司 一种基于深度学习的输电设备缺陷自动识别方法
CN109961003A (zh) * 2018-12-26 2019-07-02 安徽继远软件有限公司 一种基于fpga的嵌入式输电线路机载辅助巡视装置
CN109978882A (zh) * 2019-04-09 2019-07-05 中康龙马(北京)医疗健康科技有限公司 一种基于多模态融合的医疗影像目标检测方法
CN110197176A (zh) * 2018-10-31 2019-09-03 国网宁夏电力有限公司检修公司 基于图像识别技术的巡检数据智能分析系统及分析方法
CN110689531A (zh) * 2019-09-23 2020-01-14 云南电网有限责任公司电力科学研究院 一种基于yolo的输电线路机巡图像缺陷自动识别方法
CN111223093A (zh) * 2020-03-04 2020-06-02 武汉精立电子技术有限公司 一种aoi缺陷检测方法
CN111274880A (zh) * 2020-01-10 2020-06-12 丽水正阳电力建设有限公司 一种视频智能分析辅助巡检与异常告警方法
CN111311569A (zh) * 2020-02-12 2020-06-19 江苏方天电力技术有限公司 基于无人机巡检的杆塔缺陷识别方法
CN111460995A (zh) * 2020-03-31 2020-07-28 普宙飞行器科技（深圳）有限公司 基于无人机的电力线路巡检方法及巡检系统
CN111582235A (zh) * 2020-05-26 2020-08-25 瑞纳智能设备股份有限公司 用于实时监控站内异常事件的警报方法、系统及设备
CN111583196A (zh) * 2020-04-22 2020-08-25 北京智芯微电子科技有限公司 用于输电线路的监测系统及监测方法
CN111723774A (zh) * 2020-07-03 2020-09-29 国网山东省电力公司日照供电公司 一种基于无人机巡检的输电设备目标识别方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127780A (zh) * 2016-06-28 2016-11-16 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN107886133A (zh) * 2017-11-29 2018-04-06 南京市测绘勘察研究院股份有限公司 一种基于深度学习的地下管道缺陷自动识别方法
CN108257114A (zh) * 2017-12-29 2018-07-06 天津市万贸科技有限公司 一种基于深度学习的输电设备缺陷自动识别方法
CN110197176A (zh) * 2018-10-31 2019-09-03 国网宁夏电力有限公司检修公司 基于图像识别技术的巡检数据智能分析系统及分析方法
CN109961003A (zh) * 2018-12-26 2019-07-02 安徽继远软件有限公司 一种基于fpga的嵌入式输电线路机载辅助巡视装置
CN109978882A (zh) * 2019-04-09 2019-07-05 中康龙马(北京)医疗健康科技有限公司 一种基于多模态融合的医疗影像目标检测方法
CN110689531A (zh) * 2019-09-23 2020-01-14 云南电网有限责任公司电力科学研究院 一种基于yolo的输电线路机巡图像缺陷自动识别方法
CN111274880A (zh) * 2020-01-10 2020-06-12 丽水正阳电力建设有限公司 一种视频智能分析辅助巡检与异常告警方法
CN111311569A (zh) * 2020-02-12 2020-06-19 江苏方天电力技术有限公司 基于无人机巡检的杆塔缺陷识别方法
CN111223093A (zh) * 2020-03-04 2020-06-02 武汉精立电子技术有限公司 一种aoi缺陷检测方法
CN111460995A (zh) * 2020-03-31 2020-07-28 普宙飞行器科技（深圳）有限公司 基于无人机的电力线路巡检方法及巡检系统
CN111583196A (zh) * 2020-04-22 2020-08-25 北京智芯微电子科技有限公司 用于输电线路的监测系统及监测方法
CN111582235A (zh) * 2020-05-26 2020-08-25 瑞纳智能设备股份有限公司 用于实时监控站内异常事件的警报方法、系统及设备
CN111723774A (zh) * 2020-07-03 2020-09-29 国网山东省电力公司日照供电公司 一种基于无人机巡检的输电设备目标识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王梦: "基于绝缘子图像的缺陷检测方法研究", 《 中国优秀硕士论文电子期刊网》 *
钟跃崎: "《人工智能技术原理与应用》", 30 September 2020, 东华大学出版社, pages: 198 - 200 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344847A (zh) * 2021-04-21 2021-09-03 安徽工业大学 一种基于深度学习的长尾夹缺陷检测方法及系统
CN113344847B (zh) * 2021-04-21 2023-10-31 安徽工业大学 一种基于深度学习的长尾夹缺陷检测方法及系统
CN113485433A (zh) * 2021-07-27 2021-10-08 国网青海省电力公司海西供电公司 输电线路的巡检方法与装置
CN113601536B (zh) * 2021-10-11 2022-03-18 国网智能科技股份有限公司 一种配网车载智能巡检机器人系统及方法
CN113601536A (zh) * 2021-10-11 2021-11-05 国网智能科技股份有限公司 一种配网车载智能巡检机器人系统及方法
CN114612853A (zh) * 2022-02-11 2022-06-10 江苏濠汉信息技术有限公司 基于注意力机制和时序图像分析的车辆检测系统及方法
CN116343132A (zh) * 2023-05-26 2023-06-27 南方电网数字电网研究院有限公司 一种复杂场景电力设备缺陷识别方法、装置和计算机设备
CN116343132B (zh) * 2023-05-26 2023-09-15 南方电网数字电网研究院有限公司 一种复杂场景电力设备缺陷识别方法、装置和计算机设备
CN116363536A (zh) * 2023-05-31 2023-06-30 国网湖北省电力有限公司经济技术研究院 一种基于无人机巡查数据的电网基建设备缺陷归档方法
CN116363536B (zh) * 2023-05-31 2023-08-11 国网湖北省电力有限公司经济技术研究院 一种基于无人机巡查数据的电网基建设备缺陷归档方法
CN117095316A (zh) * 2023-10-18 2023-11-21 深圳市思友科技有限公司 路面巡检方法、装置、设备及可读存储介质
CN117095316B (zh) * 2023-10-18 2024-02-09 深圳市思友科技有限公司 路面巡检方法、装置、设备及可读存储介质
CN117607155A (zh) * 2024-01-24 2024-02-27 山东大学 一种应变片外观缺陷检测方法及系统
CN117607155B (zh) * 2024-01-24 2024-04-19 山东大学 一种应变片外观缺陷检测方法及系统

Similar Documents

Publication Publication Date Title
CN112288711A (zh) 无人机巡检影像缺陷图像识别方法、装置、设备及介质
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN111680746B (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN112381784A (zh) 一种基于多光谱图像的设备检测系统
CN111709265A (zh) 基于注意力机制残差网络的摄像监控状态分类方法
CN112379231A (zh) 一种基于多光谱图像的设备检测方法及装置
CN111199213B (zh) 一种变电站用设备缺陷检测方法及装置
CN111160096A (zh) 禽蛋异常的识别方法、装置及系统、存储介质、电子装置
CN111462167A (zh) 一种结合边缘计算与深度学习的智能终端视频分析算法
CN113033322A (zh) 基于深度学习的变电站充油设备渗漏油隐患识别方法
CN116453056A (zh) 目标检测模型构建方法和变电站异物入侵检测方法
CN116977907A (zh) 基于图像识别的电力巡检故障诊断方法及系统
CN113066070A (zh) 三维场景中多源数据融合交互方法
Feng et al. A novel saliency detection method for wild animal monitoring images with WMSN
CN116091796A (zh) 基于人工智能的无人机采集数据处理方法及系统
CN114662976A (zh) 一种基于卷积神经网络的配电网架空线路状态评估方法
CN116485802B (zh) 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质
CN113408630A (zh) 一种变电站指示灯状态识别方法
CN116579998A (zh) 变电设备的缺陷检测方法、装置、设备、介质和程序产品
CN113592864B (zh) 基于卷积神经网络的变压器监控方法、装置、系统及介质
CN114898181A (zh) 用于涉爆视频的隐患违章识别方法及装置
CN115187880A (zh) 基于图像识别的通信光缆缺陷检测方法、系统及存储介质
CN114049576A (zh) 电力物联网的输电线路覆冰监测方法、装置、系统和设备
CN113518205A (zh) 一种基于ai分析的视频巡查处理方法
CN111274876A (zh) 一种基于视频分析的调度监控方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination