CN113538387A - 基于深度卷积神经网络的多尺度巡检图像识别方法及装置 - Google Patents

基于深度卷积神经网络的多尺度巡检图像识别方法及装置 Download PDF

Info

Publication number
CN113538387A
CN113538387A CN202110836957.XA CN202110836957A CN113538387A CN 113538387 A CN113538387 A CN 113538387A CN 202110836957 A CN202110836957 A CN 202110836957A CN 113538387 A CN113538387 A CN 113538387A
Authority
CN
China
Prior art keywords
image
neural network
final
convolutional neural
preliminary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110836957.XA
Other languages
English (en)
Other versions
CN113538387B (zh
Inventor
何勇
原瀚杰
陈亮
董承熙
王一名
金仲铂
李焕能
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202110836957.XA priority Critical patent/CN113538387B/zh
Publication of CN113538387A publication Critical patent/CN113538387A/zh
Application granted granted Critical
Publication of CN113538387B publication Critical patent/CN113538387B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度卷积神经网络的多尺度巡检图像识别方法及装置，通过机载视觉传感器实时获取绝缘子的视频信息图像，并对获得的视频信息图像进行处理，获取待检测图像；将所述待检测图像输入到初步图像识别模型中进行一次识别，输出识别结果或未识别图像；然后将未识图像进一步处理后输入到最终图像识别模型中进行二次识别，输出识别结果；通过两次识别，解决了简单易识别图形仍要经过复杂转换增加计算负担和识别时间的问题，降低计算负担，同时，对深度卷积神经网络进行改进，提升算法模型的泛化能力，解决遮挡物对识别结果的影响，进一步提升检测的精确度。

Description

基于深度卷积神经网络的多尺度巡检图像识别方法及装置
技术领域
本发明涉及电力巡检图像识别方法，特别是涉及一种基于深度卷积神经网络的多尺度巡检图像识别方法及装置。
背景技术
智能电网是电网发展的趋势和方向，智能变电站是智能电网的变电环节，是坚强智能电网的重要基础和支撑。由于变电站电力场所中高压设备众多、环境复杂，为保证电力安全需要定期巡检，目前大多数变电站仍然采用人工巡检的方式，随着机器人技术不断发展，越来越多的变电站开始使用巡检机器人巡检，自动化技术代替传统人工作业，可以降低人工成本。
而使用无人机进行输电线路的巡检，虽然信息采集方便，但仍需人工对采集图像进行检测，该技术虽然比传统的人工实地检测技术效率更高，但也会受到相关因素的影响，例如，(1)、主流的卷积神经网络只采用了一种识别输出方式，对于简单的图像还需要进行一系列的转换操作后，才能输出识别结果，增加了计算量和时间消耗；(2)、在识别过程中往往受到外界的干扰，比如环境的影响，即将电气设备的遮挡物等识别为设备的边界，从而根据重叠区域把遮挡物的区域识别为设备，导致识别准确性低；(3)、无人机为了保持安全距离，与输电线路具有较远的距离，导致拍摄图像尺寸大而要检测的目标在整体图像中的范围小，不便于进行识别。
发明内容
本发明主要解决的技术问题是提供一种多特征融合的输电系统绝缘子端对端目标识别方法及装置，能够解决现有技术中识别方法识别精度低和计算量大的问题。
为解决上述技术问题，本发明采用的一个技术方案是，提供一种多特征融合的输电系统绝缘子端对端目标识别方法，包括以下步骤：
步骤S1：通过机载视觉传感器实时获取绝缘子的视频信息图像，并对获得的视频信息图像进行处理，获取待检测图像；
步骤S2：对获得的待检测图像创建初步训练集和测初步测试集；
步骤S3：将所述初步训练集分别输入到初步深度卷积神经网络中进行训练，得到初步图像识别模型；
步骤S4：将所述初步测试集输入得到初步图像识别模型中，输出识别结果和未识别图像；
步骤S5：对获得的未识别图像进行处理并创建最终训练集和最终测试集；
步骤S6：将所述最终训练集分别输入到最终深度卷积神经网络中进行训练，得到最终图像识别模型；
步骤S7：将所述最终测试集输入得到的最终图像识别模型中，输出识别结果。
进一步的，所述步骤S1中，机载视觉传感器为一个摄像机，所述视频信息图像为对视频进行处理得到的帧图。
进一步的，所述创建初始训练集和初始测试集的具体步骤为：
a、使用对待检测图像的数据集进行扩充，对每个图像样本围绕着其本身进行复制操作；
b、同时也对所述图像样本的标注图像进行同样的复制操作，保证图像样本和标注图像一一对应；
c、将扩充后的图像数据按一定比例划分为初始训练集和初始测试集。
进一步的，将所述待检测图像进行切割，获得多个大小相同的切割图像，自动或手动标注所述切割图像中包括有所述识别目标的切割图像。
进一步的，所述步骤S3中，所述初步训练集输入初步深度卷积神经网络中的步骤如下：a、将YOLOv3中划分区域较大的栅格化处理变为小目标的检测；b、由K-means算法计算适用于绝缘子的栅格大小；c、将初步训练集输入初步改进的深度卷积神经网络，得到初步图像识别模型。
进一步的，所述步骤S5中，所述创建最终训练集和最终测试集的具体步骤为：
a、使用膨胀、腐蚀处理技术对未识别图像形成的数据集进行增强处理，并对每个图像样本围绕着其本身进行几何变换操作进行扩从；
b、同时也对所述图像样本的标注图像进行同样的增强、扩充操作，保证图像样本和标注图像一一对应；
c、将扩充后的图像数据按一定比例划分为最终训练集和最终测试集。
进一步的，所述步骤S6中，最终深度卷积神经网络是在初步深度卷积神经网络的基础上增加一个简易卷积层；
所述最终训练集输入最终深度卷积神经网络中的步骤如下：将最终训练集输入简易卷积层进行卷积处理，得到其卷积后的特征层，而后再将所得的特征层融合入初步深度卷积神经网络中相应的卷积层中进行特征融合。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种基于视觉反馈的输电线巡检机器人悬停控制装置，包括：
处理模块：被配置为通过机载视觉传感器实时获取绝缘子的视频信息图像，并对获得的视频信息图像进行处理，获取待检测图像；对获得的待检测图像进行处理并创建初步训练集和初步测试集；对未识别图像进行处理并创建最终训练集和最终测试集；
识别模块：被配置为将所述初步训练集输入初步深度卷积神经网络中进行训练，得到初步图像识别模型，将所述初步测试集输入得到的初步图像识别模型中，输出识别结果和未识别图像；将所述最终训练集输入最终深度卷积神经网络中进行训练，得到最终图像识别模型，将所述最终测试集输入得到的最终图像识别模型中，输出识别结果；
显示模块：将识别结果进行显示。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种基于视觉反馈的输电线巡检机器人悬停控制装置，包括：
存储器，用于存储计算机程序；
处理器，用于读取并执行所述存储器中存储的所述计算机程序，当所述计算机程序被执行时，所述处理器执行如权利要求1-7中任一项所述的基于深度卷积神经网络的多尺度巡检图像识别方法。
本发明的有益效果是：本发明通过机载视觉传感器实时获取绝缘子的视频信息图像，并对获得的视频信息图像进行处理，获取待检测图像；将所述待检测图像输入到初步图像识别模型中进行一次识别，输出识别结果或未识别图像；然后将未识图像进一步处理后输入到最终图像识别模型中进行二次识别，输出识别结果；通过两次识别，解决了简单易识别图形仍要经过复杂转换增加计算负担和识别时间的问题，同时解决遮挡物对识别结果的影响，有效提高最终识别精度。
其中，对深度卷积神经网络进行了两次优化和改进：
(1)、根据图像尺寸大而要检测的目标在整体图像中的范围小的特点，提出了一种基于YOLOv3的改进神经网络模型，使得YOLOv3原本的划分区域较大的栅格化处理变为适用于图像中小目标的检测，然后使用K-means算法计算YOLO网络模型适用于的栅格大小，提升了网络的特征提取能力，尤其是对小目标的特征提取能力；
(2)、对于图像中检测目标被遮挡的问题，提出一种基于对YOLOv3在K-means算法改进之后，在其数据集输入网络模型之前进行膨胀和腐蚀处理，使得图像中的目标得到加强，又对数据集的图像进行扩展和增强，并对YOLOv3网络模型加以改进，在其中增加了多尺度多层次特征融合，进一步加强了网络模型对于小目标检测的精度要求，提高了在遥感图像中检测目标的准确率。
附图说明
图1为本发明提供的基于深度卷积神经网络的多尺度巡检图像识别方法一实施例的流程图；
图2为本发明提供的基于深度卷积神经网络的多尺度巡检图像识别方法一实施例的YOLOv3结构图；
图3为本发明提供的基于深度卷积神经网络的多尺度巡检图像识别方法一实施例的5000次迭代后的loss曲线和IOU曲线图；
图4为本发明提供的基于深度卷积神经网络的多尺度巡检图像识别方法一实施例的20000次迭代后的loss曲线和IOU曲线图；
图5为本发明提供的基于深度卷积神经网络的多尺度巡检图像识别方法一实施例的40500次迭代后的loss曲线和IOU曲线图；
图6为本发明提供的基于深度卷积神经网络的多尺度巡检图像识别方法一实施例的改进后的DE-YOLOv3网络结构；
图7为本发明提供的基于深度卷积神经网络的多尺度巡检图像识别方法一实施例的YOLOv3与DE-YOLOv3的P-R对比曲线图；
图8为本发明提供的基于深度卷积神经网络的多尺度巡检图像识别方法一实施例的precision，IOU,和mAP对比柱状图；
图9是本发明提供的基于深度卷积神经网络的多尺度巡检图像识别装置一实施例的控制框架示意图；
图10是本发明提供的基于深度卷积神经网络的多尺度巡检图像识别装置一实施例的控制框架示意图。
具体实施方式
为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
需要说明的是，除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
图1显示了本发明基于深度卷积神经网络的多尺度巡检图像识别方法一实施例的流程图。在图1中，包括：
步骤S1：通过机载视觉传感器实时获取绝缘子的视频信息图像，并对获得的视频信息图像进行处理，获取待检测图像；
步骤S2：对获得的待检测图像创建初步训练集和测初步测试集；
步骤S3：将所述初步训练集分别输入到初步深度卷积神经网络中进行训练，得到初步图像识别模型；
步骤S4：将所述初步测试集输入得到初步图像识别模型中，输出识别结果和未识别图像；
步骤S5：对获得的未识别图像进行处理并创建最终训练集和最终测试集；
步骤S6：将所述最终训练集分别输入到最终深度卷积神经网络中进行训练，得到最终图像识别模型；
步骤S7：将所述最终测试集输入得到的最终图像识别模型中，输出识别结果。
本发明通过机载视觉传感器实时获取绝缘子的视频信息图像，并对获得的视频信息图像进行处理，获取待检测图像；将所述待检测图像输入到初步图像识别模型中进行一次识别，输出识别结果或未识别图像；然后将未识图像进一步处理后输入到最终图像识别模型中进行二次识别，输出识别结果；通过两次识别，解决了简单易识别图形仍要经过复杂转换增加计算负担和识别时间的问题，降低计算负担，同时，对深度卷积神经网络进行改进，提升算法模型的泛化能力，解决遮挡物对识别结果的影响，进一步提升检测的精确度。
在第一步骤S1中，机载视觉传感器为一个摄像机，所述视频信息图像为对视频进行处理得到的帧图。
优选的，巡检机器人为四旋翼飞行器。
优选的，摄像机为彩色摄像机、针孔摄像机或RGB-D相机。
优选的，目标图像中的目标为线路杆塔、导线、绝缘子、线路金具、拉线、杆塔基础、接地装置等构成输电线路的装置。
优选的，所述的视频信息图像中包括一种或多种识别目标的图像。
在第二步骤S2中，所述创建训练集和测试集的具体步骤为：
所述创建初始训练集和初始测试集的具体步骤为：
a、使用对待检测图像的数据集进行扩充，对每个图像样本围绕着其本身进行复制操作；
b、同时也对所述图像样本的标注图像进行同样的复制操作，保证图像样本和标注图像一一对应；
c、将扩充后的图像数据按一定比例划分为初始训练集和初始测试集。
提高了训练集和测试集的数据量，训练集和测试集中数据的变形类型多样，环境条件多样，从而能够模拟出不同环境下的图像。
优选的，将所述待检测的图像进行切割，获得多个大小相同的切割图像，自动或手动标注所述切割图像中包括有所述识别目标的切割图像。
进一步的，将所述待检测图像进行切割，获得多个大小相同的切割图像，切割图像的大小为待检测图像的1/10-1/5。优选的，使用python软件中的gdal模块对原始图像进行无缝切割。
在第三步骤S3中，所述初步训练集输入初步深度卷积神经网络中的步骤如下：a、将YOLOv3中划分区域较大的栅格化处理变为小目标的检测；b、加入K-means聚类算法重新计算YOLOv3网络模型中的anchor box候选框大小和栅格化处理；c、将初步训练集输入初步改进的深度卷积神经网络，得到初步图像识别模型。
YOLOv3网络模型主要运用了一种新型的网络结构Darknet-53，它借鉴了残差网络的网络结构，在层与层之间设置了快捷链路，这样使得YOLOv3与其前序的YOLOv2相比在小目标检测中更具优势。
Darknet-53顾名思义是含有53层卷积层的网络模型。每个残差组件中都含有两层卷积层和一个快捷链路；在YOLOv3中，将Darknet-53的最后一层全连接层舍弃掉，同时还将池化层一并舍弃，并添加了步长为2的卷积层来对网络中的特征层进行向下采样。YOLOv3在使用残差网络的跳层链接方式后，对网络模型特别是Darknet-53这种深度网络模型的运算量进行了一定程度上的筛减，并且保障了在网络结构较深的情况下模型在训练时依然可以收敛，这对于深度神经网络模型起到至关重要的作用。如下图3-2为YOLOv3网络模型的网络结构图。
YOLOv3中最为核心的部分是其对边界框的预测效果，在目标检测的神经网络中对目标物体的框选尤为重要，而YOLOv3对检测目标使用的候选框时其v2版本中Bounding Box的更好的改进版本，这两种方法都对于图像中的检测目标进行了聚类分析，而且YOLOv3对检测目标使用了三个不同尺度的特征图，又在这三种尺度中设定了三种先验框，所以总计有九种不同尺度的先验框，在COCO数据集中这九种尺度分别是(10×13)，(16×30)，(33×23)，(30×61)，(62×45)，(59×119)，(116×90)，(156×198)，(373×326)，其中在最小的13*13特征图上(有最大的感受野)应用较大的先验框(116×90)，(156×198)，(373×326)，适合检测较大的对象。中等的26*26特征图上(中等感受野)应用中等的先验框(30x61)，(62×45)，(59×119)，适合检测中等大小的对象。较大的52*52特征图上(较小的感受野)应用较小的先验框(10×13)，(16×30)，(33×23)，适合检测较小的对象。
K-means聚类算法是一种无监督学习算法，是近年来应用最为广泛的学习算法。Kmeans算法的原理是通过发现数据和数据对象之间的关系，将数据分成不同的组。每组数据相似度越大，组间差异越大，聚类效果越好。
K-means算法的具体步骤如下：
1.从数据集中随机选择k点；2.计算每个点到K个质心的距离，并将它们分成K个簇；3.计算K个聚类样本的平均值作为新的质心；4.循环2，3；5.位置不变，距离完成。
算法思想：首先随机选取k个初始聚类中心，每个聚类中心代表一种数据集聚类；然后将数据点划分为最近的数据簇；重新计算数据簇中心，直到聚类准则函数收敛。
K-means算法的k-均值最小时表示K-means的分类效果最好，而最小值的计算就要使得所有数据点和其聚类中心点之间的距离之和最小化，因此k-均值的畸变函数公式如下：
Figure BDA0003177500340000111
其中
Figure BDA0003177500340000112
表示与x(i)最近的聚类中心先，而所求的优化目标就是使得C(1),…,C(m)和μ1,…,μk代价值最小。
本申请属于小目标检测，而且图像中的背景还会对目标造成一定程度上的干扰。为了解决这个问题，使用了K-means聚类算法，对于训练所用数据集进行了聚类分析，而后得到目标所在图像bounding box中锚点的范围区域，将所得到的anchor值输入，得到新的bounding box区域范围，而此区域范围适用于数据集中图像上的目标检测。因本次改动是基于K-means聚类算法来进行改动，而聚类算法的外文名为Cluster Analysis，故改进后的网络模型命名为CA-YOLOv3网络模型。
本申请先使用K-means算法将YOLOv3网络模型的选定遥感图像数据集进行聚类分析，而后将其聚类后的数据簇对原始的YOLOv3网络模型进行改进和优化，使得其在之后的卷积运算中在栅格化和锚点选定时适用于遥感图像中的小目标检测，以此改进对目标检测的识别精度。
下面对获得的初步图像识别模型进行试验验证，其具体如下：
实验在Ubuntu 18操作系统下进行，该操作系统配置为Nvidia Geforce GTX1080的两台8G显存的GPU显卡机，具有DDR4 16G×2的内存条。利用tensorflow深度学习框架对600幅卫星遥感图像进行训练。采用改进的CA-YOLOv3网络模型作为训练模型，迭代次数设置为5000，20000，45000次，学习率为0.001。同时，对RCNN、FastRCNN，Faster-RCNN和YOLOv3网络模型进行了对比实验。
试验中，部分数据来自中国科学院模式识别与智能系统开发实验室的开源UCAS-AOD：目标检测数据集来自于网上随机百度下载获得的200个目标图像。其中，图像尺寸为1280×659，共600幅。数据将按照训练：试验＝4∶1的比例进行训练。
如表1所示，改进后的CA-YOLOv3神经网络模型在识别精度和平均识别时间上都有很大的提高。
表1各类网络模型实验参数
Figure BDA0003177500340000121
Figure BDA0003177500340000131
根据图3、4、5所示，其分别是5000、20000、45000次迭代训练后的loss值曲线和IOU曲线图，通过多次调整迭代次数，可以看出CA-YOLOv3网络模型在5000次和20000次迭代时的训练效果并不理想，经过40500次迭代，CA-YOLOv3网络模型对卫星遥感图像中的目标识别和检测具有良好的识别精度和准确度。
在第五步骤S5中，所述创建最终训练集和最终测试集的具体步骤为：
a、使用膨胀、腐蚀处理技术对未识别图像形成的数据集进行增强处理，并对每个图像样本围绕着其本身进行几何变换操作进行扩从；
b、同时也对所述图像样本的标注图像进行同样的增强、扩充操作，保证图像样本和标注图像一一对应；
c、将扩充后的图像数据按一定比例划分为最终训练集和最终测试集。
进行膨胀和腐蚀处理后的图像可以有效的模糊和锐化处理掉所要检测的目标其自身所处环境和目标本身的环境噪声，使得图像中的目标可以较为有效的与周身的环境噪声做出切割，而且在进行膨胀和腐蚀处理的操作时，是先将图像进行二值化处理。
优选的，采用分量法、最大值法、平均值法和加权平均值法中的任一种方法进行灰度化处理。灰度化就是指将原本为彩色的图像表现为只有黑白两色的图像，而灰度是指黑白图像中黑色像素点的颜色深度，其数值范围一般为0-255，其中的纯白是255，而纯黑为0，在其中间的数值就是像素的浓淡程度，越靠近0的像素其表现越接近黑色，反之越靠近255的像素就越接近白色，而灰度直方图就是将一幅图像数字化之后，将其每个像素点所对应的灰度值统计出来的直方图。灰度就是没有色彩，RGB色彩分量全部相等。如果一个二值灰度图像，它的象素值只能为0或1，那么它的灰度级为2。例如，一个256级灰度的图像，如果RGB三个量相同时，那么RGB(100,100，100)表示灰度为100，RGB(50,50,50)代表灰度为50。
优选的，所述几何变换操作包括旋转、翻转、缩放以及马赛克操作。
进一步的，变形的方式包括有翻转、翻转、随机角度旋转、90°旋转、180°旋转、270°旋转、随机缩放、扭曲变形及马赛克操作等变形方式，通过上述变形方式获取识别目标变形的变形图像，尤其是通过马赛克操作用于模拟受雾、雾霾、扬沙、雨和雪等遮挡的效果；有效提升卷积神经网络训练时的数据集大小，从不同维度对卷积神经网络进行训练，增强卷积神经网络的泛化能力。
在第六步骤S6中，最终深度卷积神经网络是在初步深度卷积神经网络的基础上增加一个简易卷积层；
最终训练集输入最终深度卷积神经网络中的步骤如下：将最终训练集输入简易卷积层进行卷积处理，得到其卷积后的特征层，而后再将所得的特征层融合入初步深度卷积神经网络中相应的卷积层中进行特征融合。
最终YOLOv3网络模型是在初步YOLOv3网络模型的基础上使用了膨胀(Dilation)和腐蚀(Erosion)预处理的操作，并增加一个卷积核为7×7的卷积运算，所以将最终YOLOv3网络模型命名为DE-YOLOv3网络模型，图6所示。
在进行了图像的膨胀与腐蚀操作时候，发现其程序中卷积运算与初步YOLOv3网络模型中的卷积运算相匹配，所以设计一个基于初步YOLOv3网络模型的网络模型DE-YOLOv3，使得数据集中的图像在进入初步YOLOv3网络模型之前先将一部分的图像进行膨胀腐蚀运算，在经过膨胀腐蚀处理之后进入到一个简易的卷积层，使得处理后的图像进行一定的卷积运算处理，而后在将其输出的特征层接入到初步YOLOv3网络模型之中进行特征融合，这样会在初步YOLOv3网络模型中增加新的特征向量，也可以有效的扩大卷积视野，同时还可以有效的降低YOLOv3在进行数据集训练学习时的过拟合现象。
下面对获得的最终图像识别模型进行试验验证，其具体如下：
最终图像识别模型的试验环境与初步图像识别模型的试验环境相同，是在Ubuntu18操作系统下进行，该操作系统配置为Nvidia Geforce GTX1080的两台8G显存的GPU显卡机，具有DDR4 16G×2的内存条。利用tensorflow深度学习框架对600幅目标图像进行训练。采用DE-YOLOv3网络模型作为训练模型，迭代次数因上述已经对CA-YOLOv3进行了对比实验且已有结论，故设置40500次，学习率为0.001。
试验中，部分数据来自中国科学院模式识别与智能系统开发实验室的开源UCAS-AOD：目标检测数据集来自于网上随机百度下载获得的200个目标图像。其中，图像尺寸为1280×659，共600幅。数据将按照训练：试验＝4∶1的比例进行训练。
对CA-YOLOv3和DE-YOLOv3做出了对比实验，并将其训练和测试时的数据文件做出了对比，如图7为为CA-YOLOv3与DE-YOLOv3的P-R对比曲线图，其中可以很明显的看出DE-YOLOv3的P-R曲线图在前期的所围面积相比较CA-YOLOv3有了很大的改善和进步，而后续的曲线走向与CA-YOLOv3网络模型相差无几，最终整体上的P-R曲线图要比CA-YOLOv3网络表现优异。
而在precision，IOU和mAP的对比中，如图8所示，DE-YOLOv3网络也是要比CA-YOLOv3网络模型更为优异，在目标检测的精准度方面有了更进一步的提升。
请参阅图9，图9是本申请提供的一种基于视觉反馈的输电线巡检机器人悬停控制装置，包括：
处理模块31、识别模块32和显示模块33；
处理模块31：被配置为通过机载视觉传感器实时获取绝缘子的视频信息图像，并对获得的视频信息图像进行处理，获取待检测图像；对获得的待检测图像进行处理并创建初步训练集和初步测试集；对未识别图像进行处理并创建最终训练集和最终测试集；
识别模块32：被配置为将所述初步训练集输入初步深度卷积神经网络中进行训练，得到初步图像识别模型，将所述初步测试集输入得到的初步图像识别模型中，输出识别结果和未识别图像；将所述最终训练集输入最终深度卷积神经网络中进行训练，得到最终图像识别模型，将所述最终测试集输入得到的最终图像识别模型中，输出识别结果；
显示模块33：将识别结果进行显示。
请参阅图10，图10是本申请采用的另一个技术方案是：提供一种基于视觉反馈的输电线巡检机器人悬停控制装置，包括：
存储器41，用于存储计算机程序；
处理器42，用于读取并执行所述存储器中存储的所述计算机程序，当所述计算机程序被执行时，所述处理器执行如权利要求1-7中任一项所述的基于深度卷积神经网络的多尺度巡检图像识别方法。
具体而言，处理器42用于控制其自身以及存储器以实现上述任一输电线路巡检目标识别方法实施例的步骤。处理器42还可以称为CPU(Central Processing Unit，中央处理单元)。处理器42可能是一种集成电路芯片，具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器42也可以是任何常规的处理器等。另外，处理模块可以由集成电路芯片共同实现。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
以上仅为本发明的实施例，并非因此限值本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于深度卷积神经网络的多尺度巡检图像识别方法，包括以下步骤：
步骤S1：通过机载视觉传感器实时获取绝缘子的视频信息图像，并对获得的视频信息图像进行处理，获取待检测图像；
步骤S2：对获得的待检测图像创建初步训练集和测初步测试集；
步骤S3：将所述初步训练集分别输入到初步深度卷积神经网络中进行训练，得到初步图像识别模型；
步骤S4：将所述初步测试集输入得到初步图像识别模型中，输出识别结果和未识别图像；
步骤S5：对获得的未识别图像进行处理并创建最终训练集和最终测试集；
步骤S6：将所述最终训练集分别输入到最终深度卷积神经网络中进行训练，得到最终图像识别模型；
步骤S7：将所述最终测试集输入得到的最终图像识别模型中，输出识别结果。
2.根据权利要求1所述的基于深度卷积神经网络的多尺度巡检图像识别方法，其特征是：所述步骤S1中，机载视觉传感器为一个摄像机，所述视频信息图像为对视频进行处理得到的帧图。
3.根据权利要求1所述的基于深度卷积神经网络的多尺度巡检图像识别方法，其特征是：所述创建初始训练集和初始测试集的具体步骤为：
a、使用对待检测图像的数据集进行扩充，对每个图像样本围绕着其本身进行复制操作；
b、同时也对所述图像样本的标注图像进行同样的复制操作，保证图像样本和标注图像一一对应；
c、将扩充后的图像数据按一定比例划分为初始训练集和初始测试集。
4.根据权利要求3所述的基于深度卷积神经网络的多尺度巡检图像识别方法，其特征是：将所述待检测图像进行切割，获得多个大小相同的切割图像，自动或手动标注所述切割图像中包括有所述识别目标的切割图像。
5.根据权利要求1所述的基于深度卷积神经网络的多尺度巡检图像识别方法，其特征是：所述步骤S3中，所述初步训练集输入初步深度卷积神经网络中的步骤如下：a、将YOLOv3中划分区域较大的栅格化处理变为小目标的检测；b、由K-means算法计算适用于绝缘子的栅格大小；c、将初步训练集输入初步改进的深度卷积神经网络，得到初步图像识别模型。
6.根据权利要求1所述的基于深度卷积神经网络的多尺度巡检图像识别方法，其特征是：所述步骤S5中，所述创建最终训练集和最终测试集的具体步骤为：
a、使用膨胀、腐蚀处理技术对未识别图像形成的数据集进行增强处理，并对每个图像样本围绕着其本身进行几何变换操作进行扩从；
b、同时也对所述图像样本的标注图像进行同样的增强、扩充操作，保证图像样本和标注图像一一对应；
c、将扩充后的图像数据按一定比例划分为最终训练集和最终测试集。
7.根据权利要求1所述的基于深度卷积神经网络的多尺度巡检图像识别方法，其特征是：所述步骤S6中，最终深度卷积神经网络是在初步深度卷积神经网络的基础上增加一个简易卷积层；
所述最终训练集输入最终深度卷积神经网络中的步骤如下：将最终训练集输入简易卷积层进行卷积处理，得到其卷积后的特征层，而后再将所得的特征层融合入初步深度卷积神经网络中相应的卷积层中进行特征融合。
8.一种基于深度卷积神经网络的多尺度巡检图像识别装置，包括:处理模块、识别模块和显示模块；
处理模块：被配置为通过机载视觉传感器实时获取绝缘子的视频信息图像，并对获得的视频信息图像进行处理，获取待检测图像；对获得的待检测图像进行处理并创建初步训练集和初步测试集；对未识别图像进行处理并创建最终训练集和最终测试集；
识别模块：被配置为将所述初步训练集输入初步深度卷积神经网络中进行训练，得到初步图像识别模型，将所述初步测试集输入得到的初步图像识别模型中，输出识别结果和未识别图像；将所述最终训练集输入最终深度卷积神经网络中进行训练，得到最终图像识别模型，将所述最终测试集输入得到的最终图像识别模型中，输出识别结果；
显示模块：将识别结果进行显示。
9.一种基于深度卷积神经网络的多尺度巡检图像识别装置，包括：
存储器，用于存储计算机程序；
处理器，用于读取并执行所述存储器中存储的所述计算机程序，当所述计算机程序被执行时，所述处理器执行如权利要求1-7中任一项所述的基于深度卷积神经网络的多尺度巡检图像识别方法。
CN202110836957.XA 2021-07-23 2021-07-23 基于深度卷积神经网络的多尺度巡检图像识别方法及装置 Active CN113538387B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110836957.XA CN113538387B (zh) 2021-07-23 2021-07-23 基于深度卷积神经网络的多尺度巡检图像识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110836957.XA CN113538387B (zh) 2021-07-23 2021-07-23 基于深度卷积神经网络的多尺度巡检图像识别方法及装置

Publications (2)

Publication Number Publication Date
CN113538387A true CN113538387A (zh) 2021-10-22
CN113538387B CN113538387B (zh) 2024-04-05

Family

ID=78088855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110836957.XA Active CN113538387B (zh) 2021-07-23 2021-07-23 基于深度卷积神经网络的多尺度巡检图像识别方法及装置

Country Status (1)

Country Link
CN (1) CN113538387B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114462555A (zh) * 2022-04-13 2022-05-10 国网江西省电力有限公司电力科学研究院 基于树莓派的多尺度特征融合配电网设备识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415323A (zh) * 2019-01-04 2020-07-14 阿里巴巴集团控股有限公司 图像的检测方法及装置，神经网络的训练方法及装置
CN111862013A (zh) * 2020-07-08 2020-10-30 湘潭大学 基于深度卷积神经网络的绝缘子检测方法、装置及设备
WO2020221177A1 (zh) * 2019-04-30 2020-11-05 深圳数字生命研究院 图像的识别方法及装置、存储介质和电子装置
CN112381798A (zh) * 2020-11-16 2021-02-19 广东电网有限责任公司肇庆供电局 一种输电线路缺陷识别方法和终端
CN112837281A (zh) * 2021-01-27 2021-05-25 湘潭大学 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415323A (zh) * 2019-01-04 2020-07-14 阿里巴巴集团控股有限公司 图像的检测方法及装置，神经网络的训练方法及装置
WO2020221177A1 (zh) * 2019-04-30 2020-11-05 深圳数字生命研究院 图像的识别方法及装置、存储介质和电子装置
CN111862013A (zh) * 2020-07-08 2020-10-30 湘潭大学 基于深度卷积神经网络的绝缘子检测方法、装置及设备
CN112381798A (zh) * 2020-11-16 2021-02-19 广东电网有限责任公司肇庆供电局 一种输电线路缺陷识别方法和终端
CN112837281A (zh) * 2021-01-27 2021-05-25 湘潭大学 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114462555A (zh) * 2022-04-13 2022-05-10 国网江西省电力有限公司电力科学研究院 基于树莓派的多尺度特征融合配电网设备识别方法
US11631238B1 (en) 2022-04-13 2023-04-18 Iangxi Electric Power Research Institute Of State Grid Method for recognizing distribution network equipment based on raspberry pi multi-scale feature fusion

Also Published As

Publication number Publication date
CN113538387B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
CN111723860B (zh) 一种目标检测方法及装置
CN108230329B (zh) 基于多尺度卷积神经网络的语义分割方法
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
CN111428748B (zh) 一种基于hog特征和svm的红外图像绝缘子识别检测方法
CN110378297B (zh) 基于深度学习的遥感图像目标检测方法、装置、及存储介质
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN104657717B (zh) 一种基于分层核稀疏表示的行人检测方法
CN110728197B (zh) 基于深度学习的单木级树种识别方法
CN111539957B (zh) 一种用于目标检测的图像样本生成方法、系统及检测方法
Cui et al. Improved swin transformer-based semantic segmentation of postearthquake dense buildings in urban areas using remote sensing images
CN111274968A (zh) 面向对象的道路信息提取方法、装置及电子设备
CN111931620A (zh) 仪表盘定位识别方法、装置、电子设备及存储介质
CN112733942A (zh) 一种基于多级特征自适应融合的变尺度目标检测方法
Wei et al. A concentric loop convolutional neural network for manual delineation-level building boundary segmentation from remote-sensing images
CN112330701A (zh) 基于极坐标表示的组织病理图像细胞核分割方法及系统
CN114332633B (zh) 雷达图像目标检测识别方法、设备和存储介质
CN115482522A (zh) 飞机结构件转角特征识别方法、装置、设备及存储介质
CN114120067A (zh) 一种物体识别方法、装置、设备及介质
CN111507340A (zh) 一种基于三维点云数据的目标点云数据提取方法
CN114266947A (zh) 一种基于激光点云和可见光图像融合的分类方法及装置
CN113538387A (zh) 基于深度卷积神经网络的多尺度巡检图像识别方法及装置
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
Yao et al. An accurate box localization method based on rotated-RPN with weighted edge attention for bin picking
CN114037840A (zh) 一种基于多特征融合的输电线路视物提取方法及系统
Skuratov et al. Application of kohonen self-organizing map to search for region of interest in the detection of objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant