CN111860439A - 一种无人机巡检图像缺陷检测方法、系统及设备 - Google Patents

一种无人机巡检图像缺陷检测方法、系统及设备 Download PDF

Info

Publication number
CN111860439A
CN111860439A CN202010760615.XA CN202010760615A CN111860439A CN 111860439 A CN111860439 A CN 111860439A CN 202010760615 A CN202010760615 A CN 202010760615A CN 111860439 A CN111860439 A CN 111860439A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
network
image
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010760615.XA
Other languages
English (en)
Inventor
翟瑞聪
彭炽刚
陈浩
李雄刚
刘高
饶成成
郭锦超
王年孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202010760615.XA priority Critical patent/CN111860439A/zh
Publication of CN111860439A publication Critical patent/CN111860439A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种无人机巡检图像缺陷检测方法、系统及设备，本发明通过对无人机巡检缺陷图像的缺陷特征进行提取，基于RPN网络获取目标区域，从而筛选出质量高、数量少的目标区域，提高了缺陷检测的效率，基于非极大值抑制方法对从目标候选框中提取出感兴趣区域，改善Faster RCNN网络在边缘处理上的不足，提高缺陷检测的精度；之后分别对Faster RCNN网络和RPN网络进行训练，并在共享初始Faster RCNN网络和初始RPN网络的卷积层的基础上构建统一网络，基于统一网络对无人机巡检图像的缺陷进行检测，通过共享卷积层大幅度提升了缺陷检测的速度，提升缺陷检测的效率，解决了现有技术对无人机巡检图像中的图像缺陷检测方法，存在着缺陷检测准确率以及检测效率过低的技术问题。

Description

一种无人机巡检图像缺陷检测方法、系统及设备
技术领域
本发明涉及图像检测领域，尤其涉及一种无人机巡检图像缺陷检测方法、系统及设备。
背景技术
近年来，随着无人机技术的发展，无人机的应用越来越普及。将无人机用于巡检，具有成本低、作业灵活的特点，改善了传统的人工巡检效率低、劳动强度大的缺点。无人机在巡检过程中所获得的图像的清晰度和可识别度影响着人们对巡检目标的判断。在对机巡图像的处理中，图像缺陷识别是其中的关键所在。为了提高图像缺陷识别精度，研究者们提出了多种图像缺陷识别算法。然而，目前的机巡图像缺陷识别算法存在图像识别精度不够高的缺点。近年来，区域卷积神经网络FasterRCNN因其可以实现端到端的目标检测，且可以避免特征重复计算，且使区域+分类/回归检测实时性的特点，逐渐被应用于图像缺陷识别中，但该算法因需要对每个目标区域分类计算，导致计算效率低等问题。
综上所述，现有技术中对无人机巡检图像中的图像缺陷检测方法，存在着缺陷检测准确率以及检测效率过低的技术问题。
发明内容
本发明提供了一种无人机巡检图像缺陷检测方法、系统及设备，用于解决现有技术中对无人机巡检图像中的图像缺陷检测方法，存在着缺陷检测准确率以及检测效率过低的技术问题。
本发明提供的一种无人机巡检图像缺陷检测方法，包括以下步骤：
获取无人机巡检缺陷图像；
对无人机巡检缺陷图像中的图像缺陷进行标注，将经过标注后的无人机巡检缺陷图像作为样本集；
将样本集中的无人机巡检缺陷图像输入到CNN网络进行缺陷特征的提取，得到与无人机巡检缺陷图像相对应的特征图；
将特征图输入到RPN网络中进行训练，得到包含缺陷特征的目标区域以及初始RPN网络；
采用非极大值抑制法从目标区域中筛选出感兴趣区域；
将感兴趣区域输入到FasterRCNN网络中进行训练，得到初始FasterRCNN网络；
共享初始FasterRCNN网络和初始RPN网络的卷积层，基于初始FasterRCNN网络对初始RPN网络进行训练，对初始RPN网络独有的参数进行更新，得到更新后的RPN网络，在卷积层不变的情况下对初始FasterRCNN网络独有的参数进行更新，得到由更新后的RPN网络和更新后的FasterRCNN网络构成的统一网络；
将实时的无人机巡检图像输入到统一网络中，得到无人机巡检图像的缺陷检测结果。
优选的，对无人机巡检缺陷图像中的图像缺陷进行标注的具体过程为：
标注出无人机巡检缺陷图像中图像缺陷的类别以及图像缺陷的实际目标区域。
优选的，将特征图输入到RPN网络中进行训练，得到包含缺陷特征的目标区域的具体过程为：
使用RPN网络的卷积核与特征图进行卷积，得到候选区域；
使用RPN网络的卷积核与候选区域进行卷积，得到N个目标区域。
优选的，对于一个长宽比为W*H的特征图，RNP网络输出W*H*3*3个目标区域
优选的，采用非极大值抑制法从目标区域中筛选出感兴趣区域的具体过程为：
计算无人机巡检缺陷图像边缘像素点的梯度；
计算无人机巡检缺陷图像的梯度幅值；
根据无人机巡检缺陷图像边缘像素点的梯度以及无人机巡检缺陷图像的梯度幅值计算边缘像素点的最大梯度差；
根据边缘像素点的最大梯度差寻找出局部梯度差最大的边缘像素点；
在梯度方向上，将局部梯度差最大的边缘像素点之外的其他像素点的梯度值抑制为0，从而缩小目标区域的范围，得到感兴趣区域。
优选的，FasterRCNN网络中包括有ROI池化层。
优选的，将感兴趣区域输入到FasterRCNN网络进行训练的具体过程为：
将感兴趣区域输入到FasterRCNN网络的ROI池化层中；
通过ROI池化层筛选出感兴趣区域中的正样本以及负样本；
将正样本以及负样本传输到全连接层中进行类别分类和位置边框回归；
计算进行类别分类的分类损失以及进行位置边框回归的回归损失；
根据分类损失以及回归损失计算的无人机巡检缺陷图像损失率；
根据损失率判断FasterRCNN网络的训练效果。
优选的，筛选出候选区域中的正样本以及负样本的具体过程为：
若感兴趣区域与标注的实际目标区域的重叠比例大于0.7，则该感兴趣区域为正样本，若感兴趣区域与标注的实际目标区域的重叠比例小于0.3，则该感兴趣区域为负样本。
一种无人机巡检图像缺陷检测系统，包括图像获取模块、图像标注模块、特征提取模块、RPN网络训练模块、非极大值抑制模块、FasterRCNN网络模块、统一网络模块以及缺陷检测模块；
图像获取模块用于获取无人机巡检缺陷图像；
图像标注模块用于对无人机巡检缺陷图像中的图像缺陷进行标注，将经过标注后的无人机巡检缺陷图像作为样本集；
特征提取模块用于将样本集中的无人机巡检缺陷图像输入到CNN网络进行缺陷特征的提取，得到与无人机巡检缺陷图像相对应的特征图；
RPN网络训练模块用于将特征图输入到RPN网络中进行训练，得到包含缺陷特征的目标区域以及初始RPN网络；
非极大值抑制模块用于采用非极大值抑制法从目标区域中筛选出感兴趣区域；
FasterRCNN网络模块用于将感兴趣区域输入到FasterRCNN网络中进行训练，得到初始FasterRCNN网络；
统一网络模块用于共享初始FasterRCNN网络和初始RPN网络的卷积层，基于初始FasterRCNN网络对初始RPN网络进行训练，对初始RPN网络独有的参数进行更新，得到更新后的RPN网络，在卷积层不变的情况下对初始FasterRCNN网络独有的参数进行更新，得到由更新后的RPN网络和更新后的FasterRCNN网络构成的统一网络；
缺陷检测模块用于将实时的无人机巡检图像输入到统一网络中，统一网络输出无人机巡检图像的缺陷检测结果。
一种无人机巡检图像缺陷检测设备，包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行上述的一种无人机巡检图像缺陷检测方法。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例通过对无人机巡检缺陷图像的缺陷特征进行提取，再基于RPN网络获取目标区域，从而筛选出质量高、数量少的目标区域，提高了缺陷检测的效率，基于非极大值抑制方法对从目标候选框中提取出感兴趣区域，改善FasterRCNN网络在边缘处理上的不足，提高缺陷检测的精度；之后分别对FasterRCNN网络和RPN网络进行训练，并在共享初始FasterRCNN网络和初始RPN网络的卷积层的基础上构建统一网络，基于统一网络对无人机巡检图像的缺陷进行检测，通过共享卷积层大幅度提升了缺陷检测的速度，提升了缺陷检测的效率，解决了现有技术对无人机巡检图像中的图像缺陷检测方法，存在着缺陷检测准确率以及检测效率过低的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种无人机巡检图像缺陷检测方法、系统及设备的方法流程图。
图2为本发明实施例提供的一种无人机巡检图像缺陷检测方法、系统及设备的非极大值抑制法的示意图。
图3为本发明实施例提供的一种无人机巡检图像缺陷检测方法、系统及设备的系统框架图。
图4为本发明实施例提供的一种无人机巡检图像缺陷检测方法、系统及设备的设备框架图。
具体实施方式
本发明实施例提供了一种无人机巡检图像缺陷检测方法、系统及设备，用于解决现有技术中对无人机巡检图像中的图像缺陷检测方法，存在着缺陷检测准确率以及检测效率过低的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例提供的一种无人机巡检图像缺陷检测方法、系统及设备的方法流程图。
实施例1
本发明实施例提供的一种无人机巡检图像缺陷检测方法，包括以下步骤：
从图库中获取无人机的历史巡检图像，并从历史巡检图像中选取出具有图像缺陷的图像，将其作为无人机巡检缺陷图像；
对无人机巡检缺陷图像中的图像缺陷进行标注，标注出无人机巡检缺陷图像中图像缺陷的类别以及图像缺陷的实际目标区域，从而便于后续对神经网络进行训练，将经过标注后的无人机巡检缺陷图像作为样本集；
将样本集中的无人机巡检缺陷图像输入到CNN网络进行缺陷特征的提取，其中，CNN网络采用VGG16网络，VGG16网络对大规模图像的特征进行识别具有良好的效果；CNN网络输出与无人机巡检缺陷图像相对应的特征图；
将特征图输入到RPN网络中进行训练，RPN网络从特征图选择出包含缺陷特征的目标区域，得到初始RPN网络。RPN网络由一对全连接层和卷积层组成。首先，通过卷积核与特征图进行卷积，获得候选区域，候选区域中包含缺陷特征存在的位置和概率；然后，将卷积核和候选区域进行卷积，对候选区域作出预测，得到目标区域。对于一个长宽比为W*H的特征图，可以得到W*H*3*3个目标区域。
采用非极大值抑制法从目标区域中筛选出感兴趣区域；通常情况下，FasterRCNN网络能够从图像中识别出图像缺陷，但是存在对图像的边缘计算效率低的问题，当目标区域的边界超过了图像边界时，目标区域将舍弃不用，从而使得训练无法收敛，导致图像缺陷的识别精度的降低；因此，采用边缘计算中的非极大值抑制法对目标区域进行优化。
将感兴趣区域输入到FasterRCNN网络中进行训练，FasterRCNN网络对感兴趣区域包含的缺陷特征进行类别分类和位置边框回归，判断感兴趣区域是否存在图像缺陷以及图像缺陷的位置，得到FasterRCNN网络的初始参数，从而得到初始FasterRCNN网络；
共享初始FasterRCNN网络和初始RPN网络的卷积层，基于初始FasterRCNN网络对初始RPN网络进行训练，此时保持初始FasterRCNN网络和初始RPN网络共有的网络参数不变，进一步更新初始RPN网络独有的参数；
在卷积层不变的情况下对初始FasterRCNN网络独有的参数进行更新，基于无人机巡检缺陷图像对初始FasterRCNN网络的全连接层进行微调，得到由RPN网络和FasterRCNN网络构成的统一网络；
将实时的无人机巡检图像输入到统一网络中，统一网络输出无人机巡检图像的缺陷检测结果，输出无人机巡检图像中的图像缺陷以及图像缺陷的位置。
实施例2
本发明实施例提供的一种无人机巡检图像缺陷检测方法，包括以下步骤：
从图库中获取无人机的历史巡检图像，并从历史巡检图像中选取出具有图像缺陷的图像，将其作为无人机巡检缺陷图像；
对无人机巡检缺陷图像中的图像缺陷进行标注，标注出无人机巡检缺陷图像中图像缺陷的类别以及图像缺陷的实际目标区域，从而便于后续对神经网络进行训练，将经过标注后的无人机巡检缺陷图像作为样本集；
将样本集中的无人机巡检缺陷图像输入到CNN网络进行缺陷特征的提取，其中，CNN网络采用VGG16网络，VGG16网络对大规模图像的特征进行识别具有良好的效果；CNN网络输出与无人机巡检缺陷图像相对应的特征图；
将无人机巡检缺陷图像作为CNN网络的输入，假设第l层为CNN网络的卷积层，则用公式(1)表示其输出的特征：
Figure BDA0002612979910000071
在公式(1)中，
Figure BDA0002612979910000072
代表l层中的第i个输出，
Figure BDA0002612979910000073
为l层的一个卷积核；*代表对无人机巡检缺陷图像实施的卷积操作，
Figure BDA0002612979910000074
代表该卷积层的偏置；f(·)代表Relu激活函数。
假设第m层为CNN网络的池化层，则其输出特征向量通过公式(2)表示
Figure BDA0002612979910000075
在公式(2)中，
Figure BDA0002612979910000076
代表卷积神经网络池化层的输入；f(·)代表softmax激活函数；
Figure BDA0002612979910000077
代表连接权重；down(·)代表对输入矩阵求和；
Figure BDA0002612979910000078
代表池化层的偏置，通过上述公式，提取无人机巡检缺陷图像的图像缺陷特征。
将特征图输入到RPN网络中进行训练，RPN网络从特征图选择出包含缺陷特征的目标区域，得到初始RPN网络。RPN网络由一对全连接层和卷积层组成。首先，通过卷积核(滑动窗口)与特征图进行卷积，获得候选区域，候选区域中包含缺陷特征存在的位置和概率；然后，将卷积核(滑动窗口)和候选区域进行卷积，对候选区域作出预测，得到目标区域。对于一个长宽比为W*H的特征图，可以得到W*H*3*3个目标区域。
需要进一步说明的是，目标区域用四维向量(x,y,w,h)表示，x、y和w、h分别代表滑动窗口的中心点坐标和滑动窗口边界的宽、高，用(Px,Py,Pw,Ph)表示RPN标定的候选区域，用(G'x,G'y,G'w,G'h)表示RPN网络的预测的目标区域，用(Gx,Gy,Gw,Gh)表示标注出来的实际目标区域。滑动窗口可对候选区域的边框实行自动修正，从而得到和实际目标区域较接近的目标区域，其调整过程包括平移缩放和尺度缩放。其中，平移缩放的表达式为：
G'x＝Pwdx(P)+Px,G'y＝Phdy(P)+Py (3)
在公式(3)中，dx(P)、dy(P)代表平移缩放参数，通过公式(3)对候选区域采取平移缩放操作；
尺度缩放的表达式为：
Figure BDA0002612979910000081
在公式(4)中，dw(P)、dh(P)代表尺度缩放参数，通过公式(4)对候选区域采取尺度缩放操作。
采用非极大值抑制法从目标区域中筛选出感兴趣区域；通常情况下，FasterRCNN网络能够从图像中识别出图像缺陷，但是存在对图像的边缘计算效率低的问题，当目标区域的边界超过了图像边界时，目标区域将舍弃不用，从而使得训练无法收敛，导致图像缺陷的识别精度的降低；因此，采用边缘计算中的非极大值抑制法对目标区域进行优化，具体过程如下：
计算无人机巡检缺陷图像边缘第i个像素点的梯度gi(x,y)；
计算无人机巡检缺陷图像的梯度幅值，设无人机巡检缺陷图像f(x,y)的梯度幅值g(x,y)用公式(5)计算：
Figure BDA0002612979910000082
在公式(5)中，dx和dy分别为f(x,y)在x和y方向上的偏导数，其值分别用公式(6)和公式(7)计算得到：
Figure BDA0002612979910000083
Figure BDA0002612979910000084
根据无人机巡检缺陷图像边缘第i个像素点的梯度以及无人机巡检缺陷图像的梯度幅值计算边缘像素点的最大梯度差；
Gi(x,y)＝g(x,y)-gi(x,y)(i＝1,2,…,8) (8)
则此像素点的最大梯度差为G(x,y)：
G(x,y)＝max(G1(x,y),G2(x,y),…,G8(x,y))，(i＝1,2,…,8) (9)
根据边缘像素点的最大梯度差寻找出局部梯度差最大的边缘像素点；通过寻找无人机巡检缺陷图像边缘像素点的局部最大值，抑制其附近的非局部最大值点，去掉大部分非边缘点，缩小目标区域的范围。非极大值的抑制示意图如图2所示：
在图2中，用线条(P1,P2)方向表示P点的梯度方向，如果其灰度值满足公式(10)，则表明P点为局部最大值(即为无人机巡检缺陷图像的边缘点)。像素点P的灰度值的计算公式如下：
P＝max(P1,P2,P)(10)
在公式(10)中，P代表无人机巡检缺陷图像中像素点P的灰度值，g1,g2,…,g8分别为与像素点P相邻的8个像素点的灰度值，P1和P2分别为像素点P在梯度方向上的交点灰度值(插值)。通过非极大值抑制，将局部最大值之外的所有梯度值全部抑制为0，从而改善FasterRCNN算法在边缘处理上的不足，提高图像缺陷的识别精度。
将感兴趣区域输入到FasterRCNN网络中进行训练，FasterRCNN网络对感兴趣区域包含的缺陷特征进行类别分类和位置边框回归，判断感兴趣区域是否存在图像缺陷以及图像缺陷的位置，得到FasterRCNN网络的初始参数，从而得到初始FasterRCNN网络；
需要具体说明的是，FasterRCNN网络中包括有ROI池化层，ROI池化层与全连接层相连接；
将感兴趣区域输入到FasterRCNN网络的ROI池化层中；
通过ROI池化层筛选出感兴趣区域中的正样本以及负样本，若感兴趣区域与标注的实际目标区域的重叠比例大于0.7，则该感兴趣区域为正样本，若感兴趣区域与标注的实际目标区域的重叠比例小于0.3，则该感兴趣区域为负样本。
将正样本以及负样本传输到全连接层中进行类别分类和位置边框回归；
计算进行类别分类的分类损失以及进行位置边框回归的回归损失，根据分类损失以及回归损失计算的无人机巡检缺陷图像损失率，具体过程如下：
巡检图像的损失函数用公式(11)表示：
Figure BDA0002612979910000101
在公式(11)中，pi代表感兴趣区域被预测为图像缺陷的概率；
Figure BDA0002612979910000102
代表正负样本的取值；
Figure BDA0002612979910000103
为正样本，
Figure BDA0002612979910000104
为负样本；ti＝{tx,ty,tw,th}代表感兴趣区域的边界的坐标值；
Figure BDA0002612979910000105
代表正样本对应的感兴趣区域的边界坐标，
Figure BDA0002612979910000106
为正样本和负样本两个类别的分类损失，用公式(12)表示：
Figure BDA0002612979910000107
Figure BDA0002612979910000108
代表回归损失，通过
Figure BDA0002612979910000109
计算，R代表smoothL1函数，用公式(13)表示：
Figure BDA00026129799100001010
在公式(13)中，x代表图像缺陷位置的横坐标；当回归损失针对正样本时，用
Figure BDA00026129799100001011
表示回归损失；针对负样本时，
Figure BDA00026129799100001012
被消除。通过损失率，可以对训练效果做出评判，损失率越低，则训练效果越好，即感兴趣区域的分类效果越好。
共享初始FasterRCNN网络和初始RPN网络的卷积层，基于初始FasterRCNN网络对初始RPN网络进行训练，此时保持初始FasterRCNN网络和初始RPN网络共有的网络参数不变，进一步更新初始RPN网络独有的参数；
在卷积层不变的情况下对初始FasterRCNN网络独有的参数进行更新，基于无人机巡检缺陷图像对初始FasterRCNN网络的全连接层进行微调，得到由RPN网络和FasterRCNN网络构成的统一网络；
将实时的无人机巡检图像输入到统一网络中，统一网络输出无人机巡检图像的缺陷检测结果，输出无人机巡检图像中的图像缺陷以及图像缺陷的位置。
实施例3
如图3所示，一种无人机巡检图像缺陷检测系统，包括图像获取模块201、图像标注模块202、特征提取模块203、RPN网络训练模块204、非极大值抑制模块205、FasterRCNN网络模块206、统一网络模块207以及缺陷检测模块208；
图像获取模块201用于获取无人机巡检缺陷图像；
图像标注模块202用于对无人机巡检缺陷图像中的图像缺陷进行标注，将经过标注后的无人机巡检缺陷图像作为样本集；
特征提取模块203用于将样本集中的无人机巡检缺陷图像输入到CNN网络进行缺陷特征的提取，得到与无人机巡检缺陷图像相对应的特征图；
RPN网络训练模块204用于将特征图输入到RPN网络中进行训练，得到包含缺陷特征的目标区域以及初始RPN网络；
非极大值抑制模块205用于采用非极大值抑制法从目标区域中筛选出感兴趣区域；
FasterRCNN网络模块206用于将感兴趣区域输入到FasterRCNN网络中进行训练，得到初始FasterRCNN网络；
统一网络模块207用于共享初始FasterRCNN网络和初始RPN网络的卷积层，基于初始FasterRCNN网络对初始RPN网络进行训练，对初始RPN网络独有的参数进行更新，得到更新后的RPN网络，在卷积层不变的情况下对初始FasterRCNN网络独有的参数进行更新，得到由更新后的RPN网络和更新后的FasterRCNN网络构成的统一网络；
缺陷检测模块208用于将实时的无人机巡检图像输入到统一网络中，统一网络输出无人机巡检图像的缺陷检测结果。
如图4所示，一种无人机巡检图像缺陷检测设备30，所述设备包括处理器300以及存储器301；
所述存储器301用于存储程序代码302，并将所述程序代码302传输给所述处理器；
所述处理器300用于根据所述程序代码302中的指令执行上述的一种无人机巡检图像缺陷检测方法中的步骤。
示例性的，所述计算机程序302可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器301中，并由所述处理器300执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序302在所述终端设备30中的执行过程。
所述终端设备30可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器300、存储器301。本领域技术人员可以理解，图4仅仅是终端设备30的示例，并不构成对终端设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器300可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-ProgrammaBle Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器301可以是所述终端设备30的内部存储单元，例如终端设备30的硬盘或内存。所述存储器301也可以是所述终端设备30的外部存储设备，例如所述终端设备30上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器301还可以既包括所述终端设备30的内部存储单元也包括外部存储设备。所述存储器301用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器301还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种无人机巡检图像缺陷检测方法，其特征在于，包括以下步骤：
获取无人机巡检缺陷图像；
对无人机巡检缺陷图像中的图像缺陷进行标注，将经过标注后的无人机巡检缺陷图像作为样本集；
将样本集中的无人机巡检缺陷图像输入到CNN网络进行缺陷特征的提取，得到与无人机巡检缺陷图像相对应的特征图；
将特征图输入到RPN网络中进行训练，得到包含缺陷特征的目标区域以及初始RPN网络；
采用非极大值抑制法从目标区域中筛选出感兴趣区域；
将感兴趣区域输入到Faster RCNN网络中进行训练，得到初始Faster RCNN网络；
共享初始Faster RCNN网络和初始RPN网络的卷积层，基于初始Faster RCNN网络对初始RPN网络进行训练，对初始RPN网络独有的参数进行更新，得到更新后的RPN网络，在卷积层不变的情况下对初始Faster RCNN网络独有的参数进行更新，得到由更新后的RPN网络和更新后的Faster RCNN网络构成的统一网络；
将实时的无人机巡检图像输入到统一网络中，得到无人机巡检图像的缺陷检测结果。
2.根据权利要求1所述的一种无人机巡检图像缺陷检测方法，其特征在于，对无人机巡检缺陷图像中的图像缺陷进行标注的具体过程为：
标注出无人机巡检缺陷图像中图像缺陷的类别以及图像缺陷的实际目标区域。
3.根据权利要求2所述的一种无人机巡检图像缺陷检测方法，其特征在于，将特征图输入到RPN网络中进行训练，得到包含缺陷特征的目标区域的具体过程为：
使用RPN网络的卷积核与特征图进行卷积，得到候选区域；
使用RPN网络的卷积核与候选区域进行卷积，得到N个目标区域。
4.根据权利要求3所述的一种无人机巡检图像缺陷检测方法，其特征在于，对于一个长宽比为W*H的特征图，RNP网络输出W*H*3*3个目标区域。
5.根据权利要求4所述的一种无人机巡检图像缺陷检测方法，其特征在于，采用非极大值抑制法从目标区域中筛选出感兴趣区域的具体过程为：
计算无人机巡检缺陷图像边缘像素点的梯度；
计算无人机巡检缺陷图像的梯度幅值；
根据无人机巡检缺陷图像边缘像素点的梯度以及无人机巡检缺陷图像的梯度幅值计算边缘像素点的最大梯度差；
根据边缘像素点的最大梯度差寻找出局部梯度差最大的边缘像素点；
在梯度方向上，将局部梯度差最大的边缘像素点之外的其他像素点的梯度值抑制为0，从而缩小目标区域的范围，得到感兴趣区域。
6.根据权利要求1所述的一种无人机巡检图像缺陷检测方法，其特征在于，FasterRCNN网络中包括有ROI池化层。
7.根据权利要求6所述的一种无人机巡检图像缺陷检测方法，其特征在于，将感兴趣区域输入到Faster RCNN网络进行训练的具体过程为：
将感兴趣区域输入到Faster RCNN网络的ROI池化层中；
通过ROI池化层筛选出感兴趣区域中的正样本以及负样本；
将正样本以及负样本传输到全连接层中进行类别分类和位置边框回归；
计算进行类别分类的分类损失以及进行位置边框回归的回归损失；
根据分类损失以及回归损失计算的无人机巡检缺陷图像损失率；
根据损失率判断Faster RCNN网络的训练效果。
8.根据权利要求7所述的一种无人机巡检图像缺陷检测方法，其特征在于，筛选出候选区域中的正样本以及负样本的具体过程为：
若感兴趣区域与标注的实际目标区域的重叠比例大于0.7，则该感兴趣区域为正样本，若感兴趣区域与标注的实际目标区域的重叠比例小于0.3，则该感兴趣区域为负样本。
9.一种无人机巡检图像缺陷检测系统，其特征在于，包括图像获取模块、图像标注模块、特征提取模块、RPN网络训练模块、非极大值抑制模块、Faster RCNN网络模块、统一网络模块以及缺陷检测模块；
图像获取模块用于获取无人机巡检缺陷图像；
图像标注模块用于对无人机巡检缺陷图像中的图像缺陷进行标注，将经过标注后的无人机巡检缺陷图像作为样本集；
特征提取模块用于将样本集中的无人机巡检缺陷图像输入到CNN网络进行缺陷特征的提取，得到与无人机巡检缺陷图像相对应的特征图；
RPN网络训练模块用于将特征图输入到RPN网络中进行训练，得到包含缺陷特征的目标区域以及初始RPN网络；
非极大值抑制模块用于采用非极大值抑制法从目标区域中筛选出感兴趣区域；
Faster RCNN网络模块用于将感兴趣区域输入到Faster RCNN网络中进行训练，得到初始Faster RCNN网络；
统一网络模块用于共享初始Faster RCNN网络和初始RPN网络的卷积层，基于初始Faster RCNN网络对初始RPN网络进行训练，对初始RPN网络独有的参数进行更新，得到更新后的RPN网络，在卷积层不变的情况下对初始Faster RCNN网络独有的参数进行更新，得到由更新后的RPN网络和更新后的Faster RCNN网络构成的统一网络；
缺陷检测模块用于将实时的无人机巡检图像输入到统一网络中，统一网络输出无人机巡检图像的缺陷检测结果。
10.一种无人机巡检图像缺陷检测设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1～8任一项所述的一种无人机巡检图像缺陷检测方法。
CN202010760615.XA 2020-07-31 2020-07-31 一种无人机巡检图像缺陷检测方法、系统及设备 Pending CN111860439A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010760615.XA CN111860439A (zh) 2020-07-31 2020-07-31 一种无人机巡检图像缺陷检测方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010760615.XA CN111860439A (zh) 2020-07-31 2020-07-31 一种无人机巡检图像缺陷检测方法、系统及设备

Publications (1)

Publication Number Publication Date
CN111860439A true CN111860439A (zh) 2020-10-30

Family

ID=72953687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010760615.XA Pending CN111860439A (zh) 2020-07-31 2020-07-31 一种无人机巡检图像缺陷检测方法、系统及设备

Country Status (1)

Country Link
CN (1) CN111860439A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112367400A (zh) * 2020-11-12 2021-02-12 广东电网有限责任公司 一种边云协同的电力物联网智能巡检方法及系统
CN113012107A (zh) * 2021-02-22 2021-06-22 江苏方天电力技术有限公司 电网缺陷检测方法及系统
CN113034446A (zh) * 2021-03-08 2021-06-25 国网山东省电力公司平邑县供电公司 一种变电站设备缺陷自动识别方法及系统
CN113159216A (zh) * 2021-05-10 2021-07-23 上海电力大学 一种用于表面缺陷检测的正样本扩充方法
CN113269074A (zh) * 2021-05-19 2021-08-17 陕西科技大学 一种目标检测方法及安保巡检机器人
CN113435261A (zh) * 2021-06-07 2021-09-24 同济大学 一种基于视觉弱光环境的洞穴渗透缺陷识别方法
CN113516618A (zh) * 2021-04-08 2021-10-19 河南中烟工业有限责任公司 基于Faster RCNN的卷烟爆珠缺陷检测方法、装置以及设备
CN113610819A (zh) * 2021-08-11 2021-11-05 杭州申昊科技股份有限公司 缺陷检测方法及装置、电子设备、存储介质
CN114943903A (zh) * 2022-05-25 2022-08-26 广西财经学院 一种针对无人机航空图像的自适应分簇目标检测方法
CN115239893A (zh) * 2022-09-23 2022-10-25 运易通科技有限公司 一种用于仓库顶棚太阳能板缺陷检测的图像重建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274451A (zh) * 2017-05-17 2017-10-20 北京工业大学 基于共享卷积神经网络的绝缘子检测方法及装置
CN109389160A (zh) * 2018-09-27 2019-02-26 南京理工大学 基于深度学习的电力绝缘端子缺陷检测方法
CN109886947A (zh) * 2019-02-19 2019-06-14 浙江理工大学 基于区域的卷积神经网络的高压电线缺陷检测方法
CN111178310A (zh) * 2019-12-31 2020-05-19 广东灵机文化传播有限公司 手掌特征识别方法、装置、计算机设备和存储介质
CN111353413A (zh) * 2020-02-25 2020-06-30 武汉大学 一种输电设备低漏报率缺陷识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274451A (zh) * 2017-05-17 2017-10-20 北京工业大学 基于共享卷积神经网络的绝缘子检测方法及装置
CN109389160A (zh) * 2018-09-27 2019-02-26 南京理工大学 基于深度学习的电力绝缘端子缺陷检测方法
CN109886947A (zh) * 2019-02-19 2019-06-14 浙江理工大学 基于区域的卷积神经网络的高压电线缺陷检测方法
CN111178310A (zh) * 2019-12-31 2020-05-19 广东灵机文化传播有限公司 手掌特征识别方法、装置、计算机设备和存储介质
CN111353413A (zh) * 2020-02-25 2020-06-30 武汉大学 一种输电设备低漏报率缺陷识别方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112367400A (zh) * 2020-11-12 2021-02-12 广东电网有限责任公司 一种边云协同的电力物联网智能巡检方法及系统
CN113012107A (zh) * 2021-02-22 2021-06-22 江苏方天电力技术有限公司 电网缺陷检测方法及系统
CN113012107B (zh) * 2021-02-22 2022-07-08 江苏方天电力技术有限公司 电网缺陷检测方法及系统
CN113034446A (zh) * 2021-03-08 2021-06-25 国网山东省电力公司平邑县供电公司 一种变电站设备缺陷自动识别方法及系统
CN113516618A (zh) * 2021-04-08 2021-10-19 河南中烟工业有限责任公司 基于Faster RCNN的卷烟爆珠缺陷检测方法、装置以及设备
CN113159216A (zh) * 2021-05-10 2021-07-23 上海电力大学 一种用于表面缺陷检测的正样本扩充方法
CN113269074A (zh) * 2021-05-19 2021-08-17 陕西科技大学 一种目标检测方法及安保巡检机器人
CN113435261A (zh) * 2021-06-07 2021-09-24 同济大学 一种基于视觉弱光环境的洞穴渗透缺陷识别方法
CN113610819A (zh) * 2021-08-11 2021-11-05 杭州申昊科技股份有限公司 缺陷检测方法及装置、电子设备、存储介质
CN114943903A (zh) * 2022-05-25 2022-08-26 广西财经学院 一种针对无人机航空图像的自适应分簇目标检测方法
CN114943903B (zh) * 2022-05-25 2023-04-07 广西财经学院 一种针对无人机航空图像的自适应分簇目标检测方法
CN115239893A (zh) * 2022-09-23 2022-10-25 运易通科技有限公司 一种用于仓库顶棚太阳能板缺陷检测的图像重建方法

Similar Documents

Publication Publication Date Title
CN111860439A (zh) 一种无人机巡检图像缺陷检测方法、系统及设备
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN106960446B (zh) 一种面向无人艇应用的水面目标检测跟踪一体化方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN108171112B (zh) 基于卷积神经网络的车辆识别与跟踪方法
JP6709283B2 (ja) 低解像度リモートセンシング画像を用いた移動車両の検出及び分析
WO2019233297A1 (zh) 数据集的构建方法、移动终端、可读存储介质
US9846932B2 (en) Defect detection method for display panel based on histogram of oriented gradient
CN107545263B (zh) 一种物体检测方法及装置
CN109977997B (zh) 基于卷积神经网络快速鲁棒的图像目标检测与分割方法
CN110781836A (zh) 人体识别方法、装置、计算机设备及存储介质
CN111652869B (zh) 基于深度学习的板坯空洞识别方法、系统、介质及终端
CN110097050B (zh) 行人检测方法、装置、计算机设备及存储介质
Ye et al. A two-stage real-time YOLOv2-based road marking detector with lightweight spatial transformation-invariant classification
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
US11348349B2 (en) Training data increment method, electronic apparatus and computer-readable medium
CN110751619A (zh) 一种绝缘子缺陷检测方法
CN113223614A (zh) 一种染色体核型分析方法、系统、终端设备和存储介质
Ji et al. Research on real–time tracking of table tennis ball based on machine learning with low-speed camera
CN116543261A (zh) 用于图像识别的模型训练方法、图像识别方法设备及介质
Gu et al. Thermal image colorization using Markov decision processes
CN114663352A (zh) 一种输电线路缺陷高精度检测方法、系统及存储介质
Balmik et al. A robust object recognition using modified YOLOv5 neural network
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN116758421A (zh) 一种基于弱监督学习的遥感图像有向目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201030

RJ01 Rejection of invention patent application after publication