CN113780311A - 杆塔藤蔓攀爬检测方法、装置、设备及存储介质 - Google Patents
杆塔藤蔓攀爬检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113780311A CN113780311A CN202111057234.6A CN202111057234A CN113780311A CN 113780311 A CN113780311 A CN 113780311A CN 202111057234 A CN202111057234 A CN 202111057234A CN 113780311 A CN113780311 A CN 113780311A
- Authority
- CN
- China
- Prior art keywords
- tower
- vine
- frame
- climbing
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009194 climbing Effects 0.000 title claims abstract description 62
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000010586 diagram Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 238000004140 cleaning Methods 0.000 claims description 8
- 238000003064 k means clustering Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 abstract description 10
- 230000005540 biological transmission Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000004020 conductor Substances 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 230000032683 aging Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 241000252254 Catostomidae Species 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000005686 electrostatic field Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种杆塔藤蔓攀爬检测方法、装置、设备及存储介质。其中,杆塔藤蔓攀爬检测方法包括获取无人设备采集的杆塔区域的图像数据,作为样本数据;对样本数据进行特征提取,得到杆塔区域在多个不同尺度下的特征图;基于特征图预测杆塔区域中杆塔的杆塔边界框和藤蔓覆盖位置的藤蔓边界框;基于杆塔边界框和藤蔓边界框确定杆塔的藤蔓攀爬情况。有效的利用无人设备采集的图像数据实现藤蔓攀爬情况判断的智能化,避免需要定期安排大量的巡检人员进行巡检所带来的大量户外巡查工作量,提高巡检人员的作业效率。
Description
技术领域
本发明实施例涉及配电网安全监测技术,尤其涉及一种杆塔藤蔓攀爬检测方法、装置、设备及存储介质。
背景技术
在配电线路中杆塔是架空输电线路中用来支撑输电线和输电线上的电器设备的支撑物,使得输电线和输电线上的电器设备与大地之间保持一定距离,以保障架空输电线路的运行安全。
由于架空输电线路需要减少对周边活动的影响,因此大部分架空输电线路均布置在人类活动较少的地方,使得架空输电线路大多布置在山区之中,而在山区等植被中藤蔓较为容易生存,使得藤蔓容易泛滥攀爬到杆塔之上。藤蔓这种植物是具有卷须和有力的粘性吸盘能力,它可以在杆塔上吸附生长,况且生长的速度非常快,短时间内就可以缠绕杆塔大部分区域。这种情况会很容易引起架空输电线路杆塔严重腐朽,造成线路老化、线路跳闸等一系列问题。目前针对藤蔓攀爬影响架空输电线路的正常工作的这种情况,主要依靠的是在杆塔搭建时制造留空区域,以及后期的人工巡检。
然而,通过在杆塔搭建时预留空白区域,并配合后期人工巡检对藤蔓进行清除这种方式,需要耗费大量的人力物力,并且对于巡检的工作人员而言劳动强度大,作业效率低。
发明内容
本发明提供一种杆塔藤蔓攀爬检测方法、装置、设备及存储介质,以实现提高对杆塔区域的藤蔓攀爬情况的判断效率。
第一方面,本发明实施例提供了一种杆塔藤蔓攀爬检测方法,包括:
获取无人设备采集的杆塔区域的图像数据,作为样本数据;
对所述样本数据进行特征提取,得到所述杆塔区域在多个不同尺度下的特征图;
基于所述特征图预测所述杆塔区域中杆塔的杆塔边界框和藤蔓覆盖位置的藤蔓边界框;
基于所述杆塔边界框和所述藤蔓边界框确定所述杆塔的藤蔓攀爬情况。
可选的,所述图像数据包括所述杆塔区域的多个角度的图像信息。
可选的,所述获取无人设备采集的杆塔区域的图像数据,包括:
获取无人设备采集的杆塔区域的图像数据;
对所述图像数据进行清洗操作,获得目标数据;
对所述目标数据进行归一化处理,获得统一大小的样本数据。
可选的,所述对所述样本数据进行特征提取,得到所述杆塔区域在多个不同尺度下的特征图,包括:
将所述样本数据输入预先训练的特征提取网络中进行特征提取,获得所述杆塔区域在三个不同尺度下的特征图。
可选的,所述基于所述特征图预测所述杆塔区域中杆塔的杆塔边界框和藤蔓覆盖位置的藤蔓边界框,包括:
利用预设的先验框对所述杆塔区域中包含所述杆塔的杆塔预测框和包含藤蔓覆盖位置的藤蔓预测框进行预测;
通过非极大值抑制方法对所述杆塔边界框和所述藤蔓边界框进行预测和回归,获得所述杆塔区域中杆塔的杆塔边界框和藤蔓覆盖位置的藤蔓边界框。
可选的,利用预设的先验框对所述杆塔区域中包含所述杆塔的杆塔预测框和包含藤蔓覆盖位置的藤蔓预测框进行预测,包括:
通过K-means聚类算法对不同尺度下的所述特征图进行聚类,分别得到3个不同的先验框;
利用所述先验框进行预测所述杆塔区域中包含所述杆塔的杆塔预测框和藤蔓覆盖位置的藤蔓预测框;
输出所述杆塔预测框和所述藤蔓预测框的边框坐标、边框置信度和类别置信度,所述边框置信度表征所述所述杆塔预测框和藤蔓预测框中完整包含所述杆塔或所述藤蔓的概率,所述类别置信度为所述杆塔预测框和藤蔓预测框中框选的类别的置信度。
可选的,所述基于所述杆塔边界框和所述藤蔓边界框确定所述杆塔的藤蔓攀爬情况,包括:
计算所述杆塔边界框与所述藤蔓边界框的重合区域的重合面积;
计算所述重合面积的占比;
当所述占比大于预设的阈值时判断所述杆塔为藤蔓攀爬情况。
第二方面,本发明实施例还提供了一种杆塔藤蔓攀爬检测装置,包括:
获取模块,用于获取无人设备采集的杆塔区域的图像数据,作为样本数据;
提取模块,用于对所述样本数据进行特征提取,得到所述杆塔区域在多个不同尺度下的特征图;
预测模块,用于基于所述特征图预测所述杆塔区域中杆塔的杆塔边界框和藤蔓覆盖位置的藤蔓边界框;
判断模块,用于基于所述杆塔边界框和所述藤蔓边界框确定所述杆塔的藤蔓攀爬情况。
第三方面,本发明实施例还提供了一种杆塔藤蔓攀爬检测设备,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的杆塔藤蔓攀爬检测方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的杆塔藤蔓攀爬检测方法。
本发明通过对杆塔所在的杆塔区域进行图像采集获取样本数据,对样本数据进行特征提取获得多个不同尺度下的特征图,进而通过对多个不同尺度下的特征图进行预测杆塔边界框和藤蔓边界框,然后可根据预测的杆塔边界框和藤蔓边界框判断杆塔位置和藤蔓位置,进而确定藤蔓的攀爬情况,有效的利用无人设备采集的图像数据实现藤蔓攀爬情况判断的智能化,避免需要定期安排大量的巡检人员进行巡检所带来的大量户外巡查工作量,以检测出来的藤蔓攀爬情况安排巡检人员的工作,使得对巡检人员的工作安排更合理,大大的提高了藤蔓攀爬情况判断的效率,提高巡检人员的作业效率。
附图说明
图1为本发明实施例一提供的杆塔藤蔓攀爬检测方法的流程图;
图2为本发明实施例二提供的一种杆塔藤蔓攀爬检测装置的结构图;
图3为本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
杆塔(Pole and Tower)是支承架空输电线路导线和架空地线并使它们之间以及与大地之间保持一定距离的杆形或塔形构筑物。同时,为避免电晕放电以及感应静电场对人的危险,高压和超高压输电线路所用杆塔必须有足够的高度,杆塔上架设的各根输电线之间还须隔开相当的距离,因此,架空输电线路通过架设在人类活动较少的区域,并且经常穿过山区等植被较多的地方。在山区等植被较多的地方藤蔓植物的繁殖速度相对较快,藤蔓植物具有卷须和有力的粘性吸盘能力,它可以在杆塔上吸附生长,况且生长的速度非常快,短时间内就可以缠绕杆塔大部分区域。这种情况会很容易引起架空输电线路杆塔严重腐朽,造成线路老化、线路跳闸等一系列问题。
实施例一
图1为本发明实施例一提供的杆塔藤蔓攀爬检测方法的流程图,本实施例可适用于对户外设置的杆塔的藤蔓攀爬情况进行检测判断的情况,该方法可以由杆塔藤蔓攀爬检测装置来执行,具体包括如下步骤:
步骤110、获取无人设备采集的杆塔区域的图像数据,作为样本数据。
杆塔为搭建在固定地点用于支承架空输电线路导线和架空地线并使它们之间以及与大地之间保持一定距离的杆形或塔形构筑物,其搭建完成后位置固定不变。无人设备主要指的是无人机、无人车等无人操控的设备。
在本发明实施例中,无人设备主要用于实现对杆塔设置的位置周围的指定范围(杆塔区域)进行图像数据的采集,以获得本发明实施例中所需的样本数据。在其他实施例中,图像数据采集设备并不限定于无人设备,还可以是固定设置在杆塔周边的图像采集设备,例如摄像设备等。
可选的,在本发明实施例中获取样本数据时,采集的图像数据可以是固定的采集视角、采集角度、采集范围,也可以是对杆塔区域的多角度采集,图像数据可以是单个采集视角、采集角度、采集范围的数据,也可以是多个采集视角、采集角度、采集范围的集合,具体的呈现可以以多种格式的形式呈现,例如视频格式、图像格式等。
步骤120、对样本数据进行特征提取,得到杆塔区域在多个不同尺度下的特征图。
在本发明实施例中,可对样本数据利用神经网络模型进行多次卷积操作,实现对样本数据的特征提取,进而获得与样本数据中杆塔和藤蔓特征对应的特征图。在本发明实施例中,同时获取多个不同尺度下的特征图,多个不同尺度指的是对样本数据采用不同的下采样倍数进行卷积,进而获得多个不同尺度下的特征图,从而实现从多个尺度对样本数据进行预测。
在一个可选的实施例中,可利用YOLO(You Only Look Once)v3算法中的Darknet-53网络结构对样本数据进行特征提取,进而获得三个不同尺度下的特征图。
在对图像数据进行预测时,图像的分辨率信息直接反映的就是构成对象的像素的数量。一个对象,像素数量越多,它对对象的细节表现就越丰富越具体,也就是说分辨率信息越丰富。这也就是为什么大尺度特征图提供的是分辨率信息了。语义信息在目标检测中指的是让对象区分于背景的信息,即语义信息是让你知道这个是对象,其余是背景。在不同类别中语义信息并不需要很多细节信息,分辨率信息大,反而会降低语义信息,因此小尺度特征图在提供必要的分辨率信息下语义信息会提供的更好。在本发明实施例中使用多个不同尺度的特征图来进行对象检测,能够检测的到更加细粒度的特征。
步骤130、基于特征图预测杆塔区域中杆塔的杆塔边界框和藤蔓覆盖位置的藤蔓边界框。
在前述步骤中基于样本数据进行特征提取,获得多个不同尺度下的特征图,在特征图中包含了杆塔图像和藤蔓图像,在本步骤中则需要基于提取的特征图预测杆塔的位置和藤蔓的位置。
在一个可选的实施例中,对杆塔和藤蔓的位置进行预测表现为在特征图中基于预先定义的先验框对特征图中的杆塔和藤蔓位置进行预测,并不断的调整先验框进行预测,最终获得杆塔区域中杆塔的杆塔边界框和藤蔓覆盖位置的藤蔓边界框。
步骤140、基于杆塔边界框和藤蔓边界框确定杆塔的藤蔓攀爬情况。
在前述步骤中基于图像数据进行特征提取,获得多个不同尺度的特征图,并针对多个不同尺度下的特征图进行杆塔和藤蔓的位置预测,获得对应的杆塔边界框和藤蔓边界框,在本步骤中则可基于该杆塔边界框和藤蔓边界框判断藤蔓的生长情况,以便确认藤蔓是否生长到杆塔位置,以及是否覆盖到杆塔之上,进而后台工作人员可基于判断结果安排巡检人员对对应的杆塔开展维护维修工作,有效的避免需要定期安排巡检人员进行巡检作业,从而减免巡检人员的巡检工作量。
本实施例的技术方案,通过对杆塔所在的杆塔区域进行图像采集获取样本数据,对样本数据进行特征提取获得多个不同尺度下的特征图,进而通过对多个不同尺度下的特征图进行预测杆塔边界框和藤蔓边界框,然后可根据预测的杆塔边界框和藤蔓边界框判断杆塔位置和藤蔓位置,进而确定藤蔓的攀爬情况,有效的利用无人设备采集的图像数据实现藤蔓攀爬情况判断的智能化,避免需要定期安排大量的巡检人员进行巡检所带来的大量户外巡查工作量,以检测出来的藤蔓攀爬情况安排巡检人员的工作,使得对巡检人员的工作安排更合理,大大的提高了藤蔓攀爬情况判断的效率,提高巡检人员的作业效率。
在本发明实施例中,对于采集的样本数据可选的可包括目标对象(杆塔区域)的多个角度的图像信息,也就是说,在采集的时候可对杆塔区域进行多个角度的图像数据采集作为一次判断中的样本数据。对于采集的样本数据可以是图片格式的集合,也可以是以视频格式保存的形式进行采集传输。
在一个可选的示例中,在利用无人设备采集杆塔区域的图像数据之后,还包括对图像数据进行进一步的处理,以提升获取的图像数据的质量,使得图像数据中的信息能够被更容易的辨别。
在具体实现中,步骤110可包括:
步骤111、获取无人设备采集的杆塔区域的图像数据;
在本步骤中与前述内容中步骤110中的描述相一致,在此不再过多赘述利用无人设备实现对杆塔区域的图像数据获取的过程。此外,在前述步骤110中的基础上,在本发明实施例具体实现中,还可包括对无人设备的操作,控制无人设备运作对杆塔区域的图像数据进行采集,例如利用无人机进行图像数据采集时,可基于杆塔区域的位置对无人机进行路线规划,使其抵达杆塔区域,然后再按照指定的航线绕杆塔区域运动,以对杆塔区域实现多角度的图像数据获取。
步骤112、对图像数据进行清洗操作,获得目标数据;
在一个可选的实施例中,对采集的图像数据进行数据清洗操作,以将图像数据中不满足辨别条件的图像进行剔除,例如对曝光度不足、因抖动造成的失真等低质量的图像进行剔除。对于图像数据的清洗的具体操作属于图像处理领域的常规技术,在此不做赘述,只要能够满足本发明实施例中对样本数据的要求即可,也就是能够剔除对后续步骤影响较大的低质量的图像数据即可。
对于图像数据的处理,除了上述的对图像数据进行清洗操作之外,还可包括其他的操作,例如针对数据集特点以及应用场景,对图像进行针对性数据增强,针对输电线路场景复杂、室外光照变化对图片的影响,使用对图片进行饱和度、对比度、亮度变化的数据增强手段;针对室外天气变化对图片的影响,对图片进行添加高斯噪声、椒盐噪声和像素点随机丢失的数据增强手段;针对现场图片中目标多遮挡的问题,对图片中目标进行随机的大范围像素丢失的数据增强手段;针对数据样本类别不均衡对后续模型训练的影响,对图片进行色彩抖动的数据增强手段等。
步骤113、对目标数据进行归一化处理,获得统一大小的样本数据。
在前述步骤采集获取满足本发明实施例需求的图像数据后,可能由于采集的设备、手段的差异,使得获得的图像数据可能存在不同的像素比例,在本步骤中所需要做的是将采集回来经过清洗等操作提升图像质量后的目标数据进行归一化处理,使得目标数据的像素比例大小一致,降低像素比例差距影响后续对杆塔和藤蔓的判断。
在步骤120中对样本数据进行特征提取,以得到杆塔区域在多个不同尺度下的特征图,其具体的可通过将样本数据输入到预先训练的特征提取网络中进行特征提取,以获得满足本发明实施例中要求的杆塔区域在三个不同尺度下的特征图。
在具体实现中,可以利用YOLO(You Only Look Once)v3算法中的Darknet-53网络结构对样本数据进行特征提取,进而获得三个不同尺度下的特征图。Darknet-53网络结构作为检测模型YOLOv3的基础网络结构,Darknet-53网络结构共有53个卷积层,其余为残差网络Residual,其特点是容易优化,能够通过增加一定的深度来提高准确率,其中内部的残差块使用了跳跃连接,这样可以缓解深度神经网络中增加深度带来的梯度消失问题。DarkNet53的每一个卷积部分都使用了DarknetConv2D结构,在卷积的时候会进行l2正则化,完成卷积后进行BatchNormalization标准化与LeakyReLU。与普通的ReLU相比,ReLU是将所有的负值都设为零,LeakyReLU则是给所有负值赋一个非零斜率。
在具体实现中,可利用主干网络DarkNet53可提取的三个特征层进行目标检测,三个特征层分别位于中间层,中下层和底层,三个特征层的大小为(52,52,256)、(26,26,512)、(13,13,1024)。(13,13,1024)的特征层进行5次卷积处理,处理的结果一部分用于输出该特征层的预测结果,一部分用于进行上采样。(26,26,512)的特征层与刚才的上采样的结果进行堆叠,堆叠后的结果同样进行5次卷积处理,处理的结果同样一部分输出到最后的输出网络中,一部分进行上采样,上采样的结果与(52,52,256)的特征层进行堆叠,堆叠后的结果,输出到输出网络中进行处理。
在前述步骤120中基于样本数据进行特征提取,得到杆塔区域在多个不同尺度下的特征图,接着需要对特征图中的特征做出预测,以实现对样本数据中杆塔和藤蔓的识别。
在具体实现中,可使用卷积神经网络对候选区域的位置和类别进行预测。首先将原图划分成多个小方块,每个小方块的大小是一个像素大小,然后以每个小方块为中心按一定的规则在图片上生成一系列位置固定的锚框,整张图片都会被锚框覆盖到,将这些锚框看作是可能的候选区域,对锚框是否包含目标物体进行预测,如果包含目标物体(杆塔、藤蔓),还需要预测所包含物体的类别,以及预测框相对于锚框位置需要调整的幅度,以此预测获得杆塔区域中包含杆塔的杆塔预测框和包含藤蔓覆盖位置的藤蔓预测框。
其中,在对锚框是否包含目标物体进行预测时,先通过K-means聚类算法对不同尺度下的特征图进行聚类,分别得到3个不同的先验框;然后,利用先验框进行预测杆塔区域中包含杆塔的杆塔预测框和藤蔓覆盖位置的藤蔓预测框;最后输出杆塔预测框和藤蔓预测框的边框坐标、边框置信度和类别置信度,边框置信度表征杆塔预测框和藤蔓预测框中完整包含杆塔或藤蔓的概率,类别置信度为杆塔预测框和藤蔓预测框中框选的类别的置信度。
在使用YOLOv3实现时,采用K-means聚类得到先验框的尺寸,在YOLOv3中对特征提取获得3个不同尺度的特征图,在采用K-means聚类得到先验框时,则对应的聚类出9种尺寸的先验框。其中,在最小的特征图上(有最大的感受野)应用较大的先验框,适合检测较大的对象。中等的特征图上(中等感受野)应用中等的先验框,适合检测中等大小的对象。较大的特征图上(较小的感受野)应用较小的先验框,适合检测较小的对象。
在预测获得杆塔区域中包含杆塔的杆塔预测框和包含藤蔓覆盖位置的藤蔓预测框后,则确定了在样本数据中杆塔和藤蔓的位置,在步骤140中则需要基于前述步骤中确定的杆塔和藤蔓的位置判断是否发生藤蔓覆盖杆塔的情况,具体可包括以下步骤:
步骤141、计算杆塔边界框与藤蔓边界框的重合区域的重合面积。
在具体实现中,对于杆塔上是否覆盖有藤蔓的判断有很多方式,例如基于前述步骤中计算获得的杆塔边界框与藤蔓边界框确定杆塔和藤蔓位置,然后判断藤蔓是否覆盖于杆塔之上,或者是判断杆塔边界框与藤蔓边界框是否有重合。在本实施例中,通过对杆塔边界框与藤蔓边界框的重合面积的计算确定杆塔是否与藤蔓重合,进而确定的在杆塔边界框与藤蔓边界框重合时藤蔓攀爬于杆塔之上,杆塔边界框与藤蔓边界框不重合则藤蔓未攀爬于杆塔之上。通过对杆塔边界框与藤蔓边界框的重合计算可快速实现的藤蔓攀爬杆塔的情况判定。
步骤142、计算重合面积的占比。
步骤143、当占比大于预设的阈值时判断杆塔为藤蔓攀爬情况。
在具体实现中,还可以基于杆塔边界框与藤蔓边界框的重合面积的大小决定是否需要安排巡检人员对杆塔进行巡检维护,并且可基于杆塔边界框与藤蔓边界框判断藤蔓的攀爬严重程度,进一步的合理安排巡检顺序。
实施例二
图2为本发明实施例二提供的一种杆塔藤蔓攀爬检测装置的结构图。该装置包括:获取模块21、提取模块22、预测模块23、判断模块24。其中:
获取模块21,用于获取无人设备采集的杆塔区域的图像数据,作为样本数据;
提取模块22,用于对所述样本数据进行特征提取,得到所述杆塔区域在多个不同尺度下的特征图;
预测模块23,用于基于所述特征图预测所述杆塔区域中杆塔的杆塔边界框和藤蔓覆盖位置的藤蔓边界框;
判断模块24,用于基于所述杆塔边界框和所述藤蔓边界框确定所述杆塔的藤蔓攀爬情况。
可选的,图像数据包括杆塔区域的多个角度的图像信息。
获取模块21包括:
获取单元,用于获取无人设备采集的杆塔区域的图像数据;
清洗单元,用于对图像数据进行清洗操作,获得目标数据;
归一化单元,用于对目标数据进行归一化处理,获得统一大小的样本数据。
提取模块22包括:
提取单元,用于将样本数据输入预先训练的特征提取网络中进行特征提取,获得杆塔区域在三个不同尺度下的特征图。
预测模块23包括:
预测单元,用于利用预设的先验框对杆塔区域中包含杆塔的杆塔预测框和包含藤蔓覆盖位置的藤蔓预测框进行预测;
输出单元,用于通过非极大值抑制方法对杆塔边界框和藤蔓边界框进行预测和回归,获得杆塔区域中杆塔的杆塔边界框和藤蔓覆盖位置的藤蔓边界框。
输出单元包括:
聚类子单元,用于通过K-means聚类算法对不同尺度下的特征图进行聚类,分别得到3个不同的先验框;
框预测子单元,用于利用先验框进行预测杆塔区域中包含杆塔的杆塔预测框和藤蔓覆盖位置的藤蔓预测框;
输出子单元,用于输出杆塔预测框和藤蔓预测框的边框坐标、边框置信度和类别置信度,边框置信度表征杆塔预测框和藤蔓预测框中完整包含杆塔或藤蔓的概率,类别置信度为杆塔预测框和藤蔓预测框中框选的类别的置信度。
判断模块24包括:
第一计算单元,用于计算杆塔边界框与藤蔓边界框的重合区域的重合面积;
第二计算单元,用于计算重合面积的占比;
判断单元,用于当占比大于预设的阈值时判断杆塔为藤蔓攀爬情况。
实施例三
图3为本发明实施例三提供的一种电子设备的结构示意图。如图3所示,该电子设备包括处理器30、存储器31、通信模块32、输入装置33和输出装置34;电子设备中处理器30的数量可以是一个或多个,图3中以一个处理器30为例;电子设备中的处理器30、存储器31、通信模块32、输入装置33和输出装置34可以通过总线或其他方式连接,图3中以通过总线连接为例。
存储器31作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本实施例中的一种杆塔藤蔓攀爬检测方法对应的模块(例如,一种杆塔藤蔓攀爬检测装置中的获取模块21、提取模块22、预测模块23、判断模块24)。处理器30通过运行存储在存储器31中的软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述的一种杆塔藤蔓攀爬检测方法。
存储器31可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器31可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器31可进一步包括相对于处理器30远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块32,用于与显示屏建立连接,并实现与显示屏的数据交互。输入装置33可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。
本实施例提供的一种电子设备,可执行本发明任一实施例提供的杆塔藤蔓攀爬检测方法,具体相应的功能和有益效果。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种杆塔藤蔓攀爬检测方法,该方法包括:
获取无人设备采集的杆塔区域的图像数据,作为样本数据;
对所述样本数据进行特征提取,得到所述杆塔区域在多个不同尺度下的特征图;
基于所述特征图预测所述杆塔区域中杆塔的杆塔边界框和藤蔓覆盖位置的藤蔓边界框;
基于所述杆塔边界框和所述藤蔓边界框确定所述杆塔的藤蔓攀爬情况。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机电子设备(可以是个人计算机,服务器,或者网络电子设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述杆塔藤蔓攀爬检测装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种杆塔藤蔓攀爬检测方法,其特征在于,包括:
获取无人设备采集的杆塔区域的图像数据,作为样本数据;
对所述样本数据进行特征提取,得到所述杆塔区域在多个不同尺度下的特征图;
基于所述特征图预测所述杆塔区域中杆塔的杆塔边界框和藤蔓覆盖位置的藤蔓边界框;
基于所述杆塔边界框和所述藤蔓边界框确定所述杆塔的藤蔓攀爬情况。
2.根据权利要求1所述的杆塔藤蔓攀爬检测方法,其特征在于,所述图像数据包括所述杆塔区域的多个角度的图像信息。
3.根据权利要求1所述的杆塔藤蔓攀爬检测方法,其特征在于,所述获取无人设备采集的杆塔区域的图像数据,包括:
获取无人设备采集的杆塔区域的图像数据;
对所述图像数据进行清洗操作,获得目标数据;
对所述目标数据进行归一化处理,获得统一大小的样本数据。
4.根据权利要求1所述的杆塔藤蔓攀爬检测方法,其特征在于,所述对所述样本数据进行特征提取,得到所述杆塔区域在多个不同尺度下的特征图,包括:
将所述样本数据输入预先训练的特征提取网络中进行特征提取,获得所述杆塔区域在三个不同尺度下的特征图。
5.根据权利要求1所述的杆塔藤蔓攀爬检测方法,其特征在于,所述基于所述特征图预测所述杆塔区域中杆塔的杆塔边界框和藤蔓覆盖位置的藤蔓边界框,包括:
利用预设的先验框对所述杆塔区域中包含所述杆塔的杆塔预测框和包含藤蔓覆盖位置的藤蔓预测框进行预测;
通过非极大值抑制方法对所述杆塔边界框和所述藤蔓边界框进行预测和回归,获得所述杆塔区域中杆塔的杆塔边界框和藤蔓覆盖位置的藤蔓边界框。
6.根据权利要求5所述的杆塔藤蔓攀爬检测方法,其特征在于,利用预设的先验框对所述杆塔区域中包含所述杆塔的杆塔预测框和包含藤蔓覆盖位置的藤蔓预测框进行预测,包括:
通过K-means聚类算法对不同尺度下的所述特征图进行聚类,分别得到3个不同的先验框;
利用所述先验框进行预测所述杆塔区域中包含所述杆塔的杆塔预测框和藤蔓覆盖位置的藤蔓预测框;
输出所述杆塔预测框和所述藤蔓预测框的边框坐标、边框置信度和类别置信度,所述边框置信度表征所述所述杆塔预测框和藤蔓预测框中完整包含所述杆塔或所述藤蔓的概率,所述类别置信度为所述杆塔预测框和藤蔓预测框中框选的类别的置信度。
7.根据权利要求1所述的杆塔藤蔓攀爬检测方法,其特征在于,所述基于所述杆塔边界框和所述藤蔓边界框确定所述杆塔的藤蔓攀爬情况,包括:
计算所述杆塔边界框与所述藤蔓边界框的重合区域的重合面积;
计算所述重合面积的占比;
当所述占比大于预设的阈值时判断所述杆塔为藤蔓攀爬情况。
8.一种杆塔藤蔓攀爬检测装置,其特征在于,包括:
获取模块,用于获取无人设备采集的杆塔区域的图像数据,作为样本数据;
提取模块,用于对所述样本数据进行特征提取,得到所述杆塔区域在多个不同尺度下的特征图;
预测模块,用于基于所述特征图预测所述杆塔区域中杆塔的杆塔边界框和藤蔓覆盖位置的藤蔓边界框;
判断模块,用于基于所述杆塔边界框和所述藤蔓边界框确定所述杆塔的藤蔓攀爬情况。
9.一种杆塔藤蔓攀爬检测设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的杆塔藤蔓攀爬检测方法。
10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的杆塔藤蔓攀爬检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111057234.6A CN113780311A (zh) | 2021-09-09 | 2021-09-09 | 杆塔藤蔓攀爬检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111057234.6A CN113780311A (zh) | 2021-09-09 | 2021-09-09 | 杆塔藤蔓攀爬检测方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113780311A true CN113780311A (zh) | 2021-12-10 |
Family
ID=78842088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111057234.6A Pending CN113780311A (zh) | 2021-09-09 | 2021-09-09 | 杆塔藤蔓攀爬检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113780311A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114419559A (zh) * | 2022-03-31 | 2022-04-29 | 南方电网数字电网研究院有限公司 | 基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法 |
CN115755954A (zh) * | 2022-10-28 | 2023-03-07 | 佳源科技股份有限公司 | 巡检路径规划方法、系统、计算机设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN207863570U (zh) * | 2018-02-01 | 2018-09-14 | 三峡大学 | 一种用于输电杆塔的防藤蔓装置 |
CN109376606A (zh) * | 2018-09-26 | 2019-02-22 | 福州大学 | 一种电力巡检图像杆塔基础故障检测方法 |
CN109598696A (zh) * | 2017-09-29 | 2019-04-09 | 国网浙江省电力公司衢州供电公司 | 基于杆塔图像的电力杆塔实时检测系统 |
CN110245644A (zh) * | 2019-06-22 | 2019-09-17 | 福州大学 | 一种基于深度学习的无人机图像输电杆塔倒伏识别的方法 |
CN111986156A (zh) * | 2020-07-20 | 2020-11-24 | 华南理工大学 | 一种斧状利器检测方法、系统、装置和存储介质 |
KR102233168B1 (ko) * | 2019-10-07 | 2021-03-29 | 한국전력공사 | 전주용 넝쿨식물 오름 방지장치 |
CN113158954A (zh) * | 2021-04-30 | 2021-07-23 | 杭州电子科技大学 | 交通非现场的基于ai技术的斑马线区域自动检测方法 |
-
2021
- 2021-09-09 CN CN202111057234.6A patent/CN113780311A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109598696A (zh) * | 2017-09-29 | 2019-04-09 | 国网浙江省电力公司衢州供电公司 | 基于杆塔图像的电力杆塔实时检测系统 |
CN207863570U (zh) * | 2018-02-01 | 2018-09-14 | 三峡大学 | 一种用于输电杆塔的防藤蔓装置 |
CN109376606A (zh) * | 2018-09-26 | 2019-02-22 | 福州大学 | 一种电力巡检图像杆塔基础故障检测方法 |
CN110245644A (zh) * | 2019-06-22 | 2019-09-17 | 福州大学 | 一种基于深度学习的无人机图像输电杆塔倒伏识别的方法 |
KR102233168B1 (ko) * | 2019-10-07 | 2021-03-29 | 한국전력공사 | 전주용 넝쿨식물 오름 방지장치 |
CN111986156A (zh) * | 2020-07-20 | 2020-11-24 | 华南理工大学 | 一种斧状利器检测方法、系统、装置和存储介质 |
CN113158954A (zh) * | 2021-04-30 | 2021-07-23 | 杭州电子科技大学 | 交通非现场的基于ai技术的斑马线区域自动检测方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114419559A (zh) * | 2022-03-31 | 2022-04-29 | 南方电网数字电网研究院有限公司 | 基于注意力机制的配网线路杆塔藤蔓攀爬隐患识别方法 |
CN115755954A (zh) * | 2022-10-28 | 2023-03-07 | 佳源科技股份有限公司 | 巡检路径规划方法、系统、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111784685B (zh) | 一种基于云边协同检测的输电线路缺陷图像识别方法 | |
CN112381784A (zh) | 一种基于多光谱图像的设备检测系统 | |
CN113780311A (zh) | 杆塔藤蔓攀爬检测方法、装置、设备及存储介质 | |
CN109935080B (zh) | 一种交通线路上的车流量实时计算的监测系统及方法 | |
CN113887412B (zh) | 污染排放的检测方法、检测终端、监控系统及存储介质 | |
Ghorbanzadeh et al. | Dwelling extraction in refugee camps using cnn–first experiences and lessons learnt | |
CN114255407B (zh) | 基于高分辨率的反无人机多目标识别和跟踪视频探测方法 | |
CN114240868A (zh) | 一种基于无人机的巡检分析系统及方法 | |
CN114743119A (zh) | 基于无人机的高铁接触网吊弦螺母缺陷检测方法 | |
CN112101088A (zh) | 一种无人机电力自动巡检方法、装置及系统 | |
CN111157530B (zh) | 一种基于无人机的输电线路的安全检测方法 | |
CN106851229B (zh) | 一种基于图像识别的安防智能决策的方法与系统 | |
CN111860175B (zh) | 一种基于轻量化网络的无人机影像车辆检测方法及装置 | |
CN115294473A (zh) | 一种基于目标检测与实例分割的绝缘子故障识别方法及系统 | |
CN109949209A (zh) | 一种基于深度学习的绳索检测与去除方法 | |
CN104517126A (zh) | 一种基于图像分析的空气质量评估方法 | |
CN113420674A (zh) | 基于点云数据的森林档案模型构建方法、装置及存储介质 | |
CN112862150A (zh) | 一种基于图像与视频多模型的森林火情预警方法 | |
CN115631356A (zh) | 道路设施缺失识别方法、装置、存储介质及电子装置 | |
CN114170569A (zh) | 一种路面异常情况监测方法、系统、存储介质及设备 | |
CN114325856A (zh) | 基于边缘计算的输电线异物监测方法 | |
CN116704386B (zh) | 一种基于ai的精准应急救援方法及装置 | |
CN112926415A (zh) | 一种行人避让系统和行人监测方法 | |
CN113223155A (zh) | 一种距离预测方法、装置、设备及介质 | |
CN111985497B (zh) | 架空输电线路下吊车作业识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |