CN114037840A - 一种基于多特征融合的输电线路视物提取方法及系统 - Google Patents
一种基于多特征融合的输电线路视物提取方法及系统 Download PDFInfo
- Publication number
- CN114037840A CN114037840A CN202111251282.9A CN202111251282A CN114037840A CN 114037840 A CN114037840 A CN 114037840A CN 202111251282 A CN202111251282 A CN 202111251282A CN 114037840 A CN114037840 A CN 114037840A
- Authority
- CN
- China
- Prior art keywords
- image
- processing
- transmission line
- target
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多特征融合的输电线路视物提取方法及系统,通过机载视觉传感器实时获取绝缘子的视频信息图像,并对获得的视频信息图像进行处理,获取待检测图像;通过对获得的待检测图像进行处理并创建训练集和测试集;将所述训练集输入深度卷积神经网络中,利用随机梯度下降算法对深度卷积神经网络模型进行训练,得到图像识别模型;将所述测试集输入得到的图像识别模型中,输出识别结果,并将识别结果进行背景识别处理,识别出目标,本发明能够对遮挡物行鉴别,解决遮挡物对识别结果的影响,有效提高最终识别精度,同时,对深度卷积神经网络进行改进,提升算法模型的泛化能力,进一步提升检测的精确度。
Description
技术领域:
本发明涉及电力巡检图像识别方法,特别是涉及一种基于多特征融合的输电线路视物提取方法及系统。
背景技术:
智能电网是电网发展的趋势和方向,智能变电站是智能电网的变电环节,是坚强智能电网的重要基础和支撑。由于变电站电力场所中高压设备众多、环境复杂,为保证电力安全需要定期巡检,目前大多数变电站仍然采用人工巡检的方式,随着机器人技术不断发展,越来越多的变电站开始使用巡检机器人巡检,自动化技术代替传统人工作业,可以降低人工成本。
而使用无人机进行输电线路的巡检,虽然信息采集方便,但仍需人工对采集图像进行检测,该技术虽然比传统的人工实地检测技术效率更高,但也会受到相关因素的影响,例如(1)、主流的卷积神经网络只采用了最后一层的特征图作为输出,单使用高层的小特征图无法恢复识别物体的细节信息,增加了计算量和时间消耗;(2)、在识别过程中往往受到外界的干扰,比如环境的影响,即将电气设备的遮挡物等识别为设备的边界,从而根据重叠区域把遮挡物的区域识别为设备,导致识别准确性低。
发明内容:
本发明主要解决的技术问题是提供一种基于多特征融合的输电线路视物提取方法及系统,能够解决现有技术中识别方法识别精度低和计算量大的问题。
为解决上述技术问题,本发明采用的一个技术方案是,提供一种基于多特征融合的输电线路视物提取方法,包括以下步骤:
步骤S1:通过机载视觉传感器实时获取绝缘子的视频信息图像,并对获得的视频信息图像进行处理,获取待检测图像;
步骤S2:对获得的待检测图像进行处理并创建训练集和测试集;
步骤S3:将所述训练集输入深度卷积神经网络中,利用随机梯度下降算法对深度卷积神经网络模型进行训练,得到图像识别模型;
步骤S4:将所述测试集输入得到的图像识别模型中,输出识别结果,并将识别结果进行背景识别处理,识别出目标。
优选的,所述步骤S1中,机载视觉传感器为一个摄像机,所述视频信息图像为对视频进行处理得到的帧图。
优选的,所述步骤S2中,所述创建训练集和测试集的具体步骤为:
a、使用数据增强对待检测的图像数据集进行扩充,对每个图像样本围绕着其本身进行几何变换操作;
b、同时也对所述图像样本的标注图像进行同样的几何变换操作,保证图像样本和标注图像一一对应;
c、将扩充后的图像数据按一定比例划分为训练集和测试集。
优选的,将所述待检测的图像进行切割,获得多个大小相同的切割图像,自动或手动标注所述切割图像中包括有所述识别目标的切割图像。
优选的,所述几何变换操作包括旋转、翻转、缩放以及马赛克操作。
优选的,所述步骤S3中,所述训练集输入深度卷积神经网络中的步骤如下:
a、载入SSD网络,在所述SSD网络中的VGG-16主干网络增加DenseNet密集块;
b、同时通过替换特征提取结构、设计多尺度融合模块和残差预测来改进SSD 的预测模块,然后在改进后的SSD的预测模块的每个预测层添加残差块ResBlock;
c、将所述训练集输入深度卷积神经网络。
优选的,所述步骤S4中,将识别结果进行背景识别处理具体包括:
a、获取训练集图像中目标边界框的深度信息;
b、基于目标边界框的深度信息进行统计处理,得到深度阈值范围(K1,K2);
c、对识别结果的目标边界框进行二值化处理:
其中,M(x,y)为边界框图像对应的分割结果,f(x,y)为目标边界框内像素(x,y);的深度值;
d、将目标边界框经过二值化处理后的图像进行边界轮廓提取,判断边界轮廓最小外接矩形面积是否大于设定阈值,如是,则表明当前目标边界框的图像为对应的实物为目标。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种基于多特征融合的输电线路视物提取系统,包括:
处理模块、识别模块和显示模块;
处理模块:被配置为通过机载视觉传感器实时获取绝缘子的视频信息图像,并对获得的视频信息图像进行处理,获取待检测图像;对获得的待检测图像进行处理并创建训练集和测试集;
识别模块:被配置为将所述训练集输入深度卷积神经网络中,利用随机梯度下降算法对深度卷积神经网络模型进行训练,得到图像识别模型,将所述测试集输入得到的图像识别模型中,输出识别结果;
显示模块:将识别结果进行背景识别处理,识别出目标。
本发明的有益效果是:本发明通过机载视觉传感器实时获取绝缘子的视频信息图像,并对获得的视频信息图像进行处理,获取待检测图像;同时对获得的待检测图像进行处理并创建训练集和测试集;将所述训练集输入深度卷积神经网络中,利用随机梯度下降算法对深度卷积神经网络模型进行训练,得到图像识别模型;将所述测试集输入得到的图像识别模型中,输出识别结果,并将识别结果进行背景识别处理,识别出目标,能够对遮挡物行鉴别,解决遮挡物对识别结果的影响,有效提高最终识别精度,同时,对深度卷积神经网络进行改进,提升算法模型的泛化能力,进一步提升检测的精确度。
其中,对深度卷积神经网络进行了优化和改进:
(1)、主干网络改进:通过修改后的DenseNet来优化SSD的主干网络,相较于层数较浅SSD的VGG-16主干网络,提升了网络的特征提取能力,尤其是对小目标的特征提取能力;
(2)、预测模块改进:通过替换特征提取结构并设计多尺度融合模块和残差预测模块,增强了不同层之间的特征融合;通过向每个预测层添加残差块 ResBlock,使损失函数的梯度不会直接流入主干网络,可有效降低计算成本。
附图说明:
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的其中两幅,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的基于多特征融合的输电线路视物提取方法的流程图;
图2为本发明提供的深度卷积神经网络图像识别模型机构图;
图3是本发明提供的基于多特征融合的输电线路视物提取系统的控制框架示意图。
具体实施方式:
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
图1显示了本发明基于多特征融合的输电线路视物提取方法一实施例的流程图。在图1中,包括:
步骤S1:通过机载视觉传感器实时获取绝缘子的视频信息图像,并对获得的视频信息图像进行处理,获取待检测图像;
步骤S2:对获得的待检测图像进行处理并创建训练集和测试集;
步骤S3:将所述训练集输入深度卷积神经网络中,利用随机梯度下降算法对深度卷积神经网络模型进行训练,得到图像识别模型;
步骤S4:将所述测试集输入得到的图像识别模型中,输出识别结果,并将识别结果进行背景识别处理,识别出目标。
本发明通过机载视觉传感器实时获取绝缘子的视频信息图像,并对获得的视频信息图像进行处理,获取待检测图像;对获得的待检测图像进行处理并创建训练集和测试集;将所述训练集输入深度卷积神经网络中,利用随机梯度下降算法对深度卷积神经网络模型进行训练,得到图像识别模型;将所述测试集输入得到的图像识别模型中,输出识别结果,并将识别结果进行背景识别处理,识别出目标,能够对遮挡物行鉴别,解决遮挡物对识别结果的影响,有效提高最终识别精度,同时,对深度卷积神经网络进行改进,提升算法模型的泛化能力,进一步提升检测的精确度。
在第一步骤S1中,机载视觉传感器为一个摄像机,所述视频信息图像为对视频进行处理得到的帧图。
优选的,巡检机器人为四旋翼飞行器。
优选的,摄像机为彩色摄像机、针孔摄像机或RGB-D相机。
优选的,目标图像中的目标为线路杆塔、导线、绝缘子、线路金具、拉线、杆塔基础、接地装置等构成输电线路的装置。
优选的,所述的视频信息图像中包括一种或多种识别目标的图像。
在第二步骤S2中,所述创建训练集和测试集的具体步骤为:
a、使用数据增强对待检测的图像数据集进行扩充,对每个图像样本围绕着其本身进行几何变换操作;
b、同时也对所述图像样本的标注图像进行同样的几何变换操作,保证图像样本和标注图像一一对应;
c、将扩充后的图像数据按一定比例划分为训练集和测试集。
提高了训练集和测试集的数据量,训练集和测试集中数据的变形类型多样,环境条件多样,从而能够模拟出不同环境下的图像。
优选的,将所述待检测的图像进行切割,获得多个大小相同的切割图像,自动或手动标注所述切割图像中包括有所述识别目标的切割图像。
进一步的,将所述原始图像进行切割,获得多个大小相同的切割图像,切割图像的大小为原始图像的1/10-1/5。优选的,使用python软件中的gdal模块对原始图像进行无缝切割。
优选的,所述几何变换操作包括旋转、翻转、缩放以及马赛克操作。
进一步的,变形的方式包括有翻转、翻转、随机角度旋转、90°旋转、180°旋转、270°旋转、随机缩放、扭曲变形及马赛克操作等变形方式,通过上述变形方式获取识别目标变形的变形图像,尤其是通过马赛克操作用于模拟受雾、雾霾、扬沙、雨和雪等遮挡的效果;有效提升卷积神经网络训练时的数据集大小,从不同维度对卷积神经网络进行训练,增强卷积神经网络的泛化能力。
在第三步骤S3中,所述训练集输入深度卷积神经网络中的步骤如下:
a、载入SSD网络,在所述SSD网络中的VGG-16主干网络增加DenseNet密集块;
b、同时通过替换特征提取结构、设计多尺度融合模块和残差预测来改进SSD 的预测模块,然后在改进后的SSD的预测模块的每个预测层添加残差块 ResBlock;
c、将所述训练集输入深度卷积神经网络。
对优化SSD目标检测网络进行优化,其具体步骤如下:
a、载入SSD网络,在SSD网络中的VGG-16主干网络增加DenseNet密集块;
可参考图2,为本实施例经过优化后的适用于本发明的深度学习神经网络结构图,其中,主干网络采用4个DenseBlock来提取特征,在第一个密集块之前有一个7×7的卷积层和3×3个最大池化,得到75*75*64的输出值;
b、同时通过替换特征提取结构并设计包括多尺度融合模块和残差预测来改进SSD的预测模块,然后在改进后的SSD的预测模块的每个预测层添加残差块 ResBlock;
其中,优化SSD目标检测网络的主干网络和预测模块来提高判别精度的效率;改进了SSD的主干网络:通过修改后的DenseNet来优化SSD的主干网络,主干网络增加4个DenseBlock来提取特征。使用原始DenseNet的复合函数,该函数包含三个连续的操作:批处理规范化(BN),然后是Rectified LinearUnit (ReLU,修正线性单元)和卷积(Conv)。
相较于层数较浅SSD的VGG-16主干网络,提升了网络的特征提取能力,尤其是对小目标的特征提取能力;改进了SSD的卷积预测方法:通过替换特征提取结构并重新设计包括多尺度融合模块和残差预测模块的前端预测网络,增强了不同层之间的特征融合和重用。通过向每个预测层添加残差块或ResBlock,以使损失函数的梯度不会直接流入骨干网络;
优选地,残差预测块应用1×1卷积核来预测类别得分和框偏移,使用 ResBlock可以降低计算成本,同时可以提高检测精度
在第四步骤S4中,将识别结果进行背景识别处理具体包括:
a、获取训练集图像中目标边界框的深度信息;
b、基于目标边界框的深度信息进行统计处理,得到深度阈值范围(K1,K2);该步骤中,采用现有的聚类算法实现;
c、对识别结果的目标边界框进行二值化处理:
其中,M(x,y)为边界框图像对应的分割结果,f(x,y)为目标边界框内像素(xx,y);的深度值;
d、将目标边界框经过二值化处理后的图像进行边界轮廓提取,判断边界轮廓最小外接矩形面积是否大于设定阈值,如是,则表明当前目标边界框的图像为对应的实物为目标。
将目标边界框经过二值化处理后的图像进行边界轮廓提取,判断边界轮廓最小外接矩形面积是否大于设定阈值,该设定阈值根据实际传输带的状态进行设定,如是,则表明当前目标边界框的图像为对应的实物为目标,如否,则表明在根据重叠区域把遮挡物区域误判断为目标,导致识别准确性;通过上述方法,能够剔除遮挡物为背景的干扰,有效提升目标识别的准确性。
请参阅图3,图3是本申请提供的一种基于多特征融合的输电线路视物提取系统,包括:
处理模块31、识别模块32和显示模块33;
处理模块31:被配置为通过机载视觉传感器实时获取绝缘子的视频信息图像,并对获得的视频信息图像进行处理,获取待检测图像;对获得的待检测图像进行处理并创建训练集和测试集;
识别模块32:被配置为将所述训练集输入深度卷积神经网络中,利用随机梯度下降算法对深度卷积神经网络模型进行训练,得到图像识别模型,将所述测试集输入得到的图像识别模型中,输出识别结果;
显示模块33:将识别结果进行背景识别处理,识别出目标。
在一些实施例中,本公开实施例提供的系统具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
以上仅为本发明的实施例,并非因此限值本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种基于多特征融合的输电线路视物提取方法,包括以下步骤:
步骤S1:通过机载视觉传感器实时获取绝缘子的视频信息图像,并对获得的视频信息图像进行处理,获取待检测图像;
步骤S2:对获得的待检测图像进行处理并创建训练集和测试集;
步骤S3:将所述训练集输入深度卷积神经网络中,利用随机梯度下降算法对深度卷积神经网络模型进行训练,得到图像识别模型;
步骤S4:将所述测试集输入得到的图像识别模型中,输出识别结果,并将识别结果进行背景识别处理,识别出目标。
2.根据权利要求1所述的基于多特征融合的输电线路视物提取方法,其特征是:所述步骤S1中,机载视觉传感器为一个摄像机,所述视频信息图像为对视频进行处理得到的帧图。
3.根据权利要求1所述的基于多特征融合的输电线路视物提取方法,其特征是:所述步骤S2中,所述创建训练集和测试集的具体步骤为:
a、使用数据增强对待检测图像的数据集进行扩充,对每个图像样本围绕着其本身进行几何变换操作;
b、同时也对所述图像样本的标注图像进行同样的几何变换操作,保证图像样本和标注图像一一对应;
c、将扩充后的图像数据按一定比例划分为训练集和测试集。
4.根据权利要求3所述的基于多特征融合的输电线路视物提取方法,其特征是:将所述待检测图像进行切割,获得多个大小相同的切割图像,自动或手动标注所述切割图像中包括有所述识别目标的切割图像。
5.根据权利要求3所述的基于多特征融合的输电线路视物提取方法,其特征是:所述几何变换操作包括旋转、翻转、缩放以及马赛克操作。
6.根据权利要求1所述的基于多特征融合的输电线路视物提取方法,其特征是:所述步骤S3中,所述训练集输入深度卷积神经网络中的步骤如下:
a、载入SSD网络,在所述SSD网络中的VGG-16主干网络增加DenseNet密集块;
b、同时通过替换特征提取结构、设计多尺度融合模块和残差预测来改进SSD的预测模块,然后在改进后的SSD的预测模块的每个预测层添加残差块ResBlock;
c、将所述训练集输入深度卷积神经网络。
8.一种基于多特征融合的输电线路视物提取系统,包括:处理模块、识别模块和显示模块;
处理模块:被配置为通过机载视觉传感器实时获取绝缘子的视频信息图像,并对获得的视频信息图像进行处理,获取待检测图像;对获得的待检测图像进行处理并创建训练集和测试集;
识别模块:被配置为将所述训练集输入深度卷积神经网络中,利用随机梯度下降算法对深度卷积神经网络模型进行训练,得到图像识别模型,将所述测试集输入得到的图像识别模型中,输出识别结果;
显示模块:将识别结果进行背景识别处理,识别出目标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111251282.9A CN114037840A (zh) | 2021-10-27 | 2021-10-27 | 一种基于多特征融合的输电线路视物提取方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111251282.9A CN114037840A (zh) | 2021-10-27 | 2021-10-27 | 一种基于多特征融合的输电线路视物提取方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114037840A true CN114037840A (zh) | 2022-02-11 |
Family
ID=80142062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111251282.9A Pending CN114037840A (zh) | 2021-10-27 | 2021-10-27 | 一种基于多特征融合的输电线路视物提取方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114037840A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115689928A (zh) * | 2022-10-31 | 2023-02-03 | 国网电力空间技术有限公司 | 一种可见光下的输电杆塔巡检图像去重方法及系统 |
-
2021
- 2021-10-27 CN CN202111251282.9A patent/CN114037840A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115689928A (zh) * | 2022-10-31 | 2023-02-03 | 国网电力空间技术有限公司 | 一种可见光下的输电杆塔巡检图像去重方法及系统 |
CN115689928B (zh) * | 2022-10-31 | 2023-11-28 | 国网电力空间技术有限公司 | 一种可见光下的输电杆塔巡检图像去重方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109446992B (zh) | 基于深度学习的遥感影像建筑物提取方法及系统、存储介质、电子设备 | |
CN111428748B (zh) | 一种基于hog特征和svm的红外图像绝缘子识别检测方法 | |
CN109190752B (zh) | 基于深度学习的全局特征和局部特征的图像语义分割方法 | |
Wang et al. | RENet: Rectangular convolution pyramid and edge enhancement network for salient object detection of pavement cracks | |
CN111257341B (zh) | 基于多尺度特征与堆叠式全卷积网络的水下建筑物裂缝检测方法 | |
CN108734143A (zh) | 一种巡检机器人的基于双目视觉的输电线路在线检测方法 | |
CN113723377B (zh) | 一种基于ld-ssd网络的交通标志检测方法 | |
CN111461006B (zh) | 一种基于深度迁移学习的光学遥感图像杆塔位置检测方法 | |
CN112308826A (zh) | 一种基于卷积神经网络的桥梁结构表面缺陷检测方法 | |
CN112950576B (zh) | 基于深度学习的输电线路缺陷智能识别方法及系统 | |
CN111914720A (zh) | 一种输电线路绝缘子爆裂识别方法及装置 | |
CN111598889A (zh) | 均压环倾斜故障的识别方法、装置、计算机设备 | |
CN111079645A (zh) | 一种基于AlexNet网络的绝缘子自爆识别方法 | |
CN113538503A (zh) | 一种基于红外图像的太阳能板缺陷检测方法 | |
Wang et al. | Railway insulator detection based on adaptive cascaded convolutional neural network | |
CN111047598B (zh) | 基于深度学习的输变电设备紫外放电光斑分割方法及装置 | |
CN116311201A (zh) | 一种基于图像识别技术的变电站设备状态识别方法及系统 | |
CN115063725A (zh) | 基于多尺度自适应ssd算法的飞机蒙皮缺陷识别系统 | |
CN114037840A (zh) | 一种基于多特征融合的输电线路视物提取方法及系统 | |
Bai et al. | Insulator fault recognition based on spatial pyramid pooling networks with transfer learning (match 2018) | |
CN113538387B (zh) | 基于深度卷积神经网络的多尺度巡检图像识别方法及装置 | |
CN111931577A (zh) | 一种电网线路特定异物智能巡检方法 | |
CN116740572A (zh) | 一种基于改进yolox的海上船舰目标检测方法和系统 | |
CN116309407A (zh) | 一种铁路接触网螺栓异常状态的检测方法 | |
CN115330705A (zh) | 一种基于自适应加权模板ncc的蒙皮漆面缺陷检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |