CN113486779A - 输电线路全景智能巡检系统 - Google Patents
输电线路全景智能巡检系统 Download PDFInfo
- Publication number
- CN113486779A CN113486779A CN202110750864.5A CN202110750864A CN113486779A CN 113486779 A CN113486779 A CN 113486779A CN 202110750864 A CN202110750864 A CN 202110750864A CN 113486779 A CN113486779 A CN 113486779A
- Authority
- CN
- China
- Prior art keywords
- image
- pan
- tilt camera
- monitoring platform
- transmission line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 53
- 238000007689 inspection Methods 0.000 title abstract description 29
- 238000012544 monitoring process Methods 0.000 claims abstract description 25
- 239000012212 insulator Substances 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 31
- 230000007547 defect Effects 0.000 description 13
- 238000005070 sampling Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101100153586 Caenorhabditis elegans top-1 gene Proteins 0.000 description 1
- 101100370075 Mus musculus Top1 gene Proteins 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Evolutionary Biology (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种输电线路全景智能巡检系统。该系统包括:前端数据采集系统,包括一台云台摄像机,云台摄像机安装在输电基塔上,云台摄像机至少用于拍摄输电线路本基杆塔、两侧对端杆塔、附近杆塔通道和绝缘子,且云台摄像机对拍摄得到的图像进行初步识别得到识别结果;主站监控平台,与前端数据采集系统通信,前端数据采集系统将云台摄像机抓拍到的图像和识别结果传送至主站监控平台,主站监控平台对图像中的隐患进行二次识别,识别出隐患。本方案实现了对输电线路的全景智能巡检,大大降低了现场人员巡视工作,节约了成本,通过云台摄像机的初步识别和主站监控平台的二次识别,加快了隐患的识别速度。
Description
技术领域
本申请涉及电力系统领域,具体而言,涉及一种输电线路全景智能巡检系统。
背景技术
随着电力系统的不断发展,电力设施规模不断增加。架空输电线路作为电力输送的重要方式,其运行状态对电力稳定供应意义重大。但输电线路具有分布面广、环境复杂、暴露在外等特点,一方面,容易受到吊车、泵车等大型机器违章作业等外力破坏威胁;另一方面,对输电线路和杆塔本体设备运行情况巡检工作量大、难度高。以北京地区为例,共有输电杆塔2万余基、输电线路长度累计近1万千米,每日安排输电巡视及看护人员达2000余人。
为保障输电线路安全稳定运行,及时发现并处置输电通道外力隐患及本体缺陷,减少因外力破坏或本体缺陷导致的停电事故,部分地区尝试开展无人机、机器人巡检等试点工作,通过无人机、巡检机器人搭载摄像机、探测器等开展线路巡视。但无人机和巡检机器人对操控要求较高,成本较高,并且容易受到天气条件影响,加上区域限飞等客观因素,其适用条件有限,难以满足全天候作业要求。
目前,输电线路通道及设备巡检一般有三种方式:(1)人员现场巡检。运维人员针对输电线路外力隐患及设备缺陷开展定期巡检,此方式人员投入大、效率低、隐患发现不及时;(2)视频远程辅助巡检。在输电杆塔前端加装图像采集设备,定时回传现场照片,主站配备巡检人员查看现场照片,查看现场通道吊车、泵车等隐患,此方式前端一般采用固定焦抓拍设备,角度及采集场景单一,无法实现同时对通道以及绝缘子等相关设备的巡视,现场仍需要大量人力开展绝缘子、线路异物搭挂等巡视,另外,部分采用图像识别的方式自动监测通道隐患,但输电通道场景复杂,易受光线、背景干扰等因素影响,目前所采用的基于深度学习的图像识别方法,多采用公开模型,场景针对性较弱,检测分类准确率和计算速度慢,难以解决覆盖面广之后的海量图像处理问题,同时准确率有所不足;(3)无人机(或巡检机器人)巡检。随着无人机(机器人)技术的日益成熟,对特高压、长距离输电线路引入无人机(机器人)巡检方式,搭载视频及传感设备,通过设计巡视路线,将通道及本体照片回传至中心主站,替代人员实现远程巡检,此方式对操控要求高,成本较高,且容易受到天气原因影响,尤其对于大型城市等禁飞区,无法满足对输电线路巡视频次的要求,效率较低。
发明内容
本申请的主要目的在于提供一种输电线路全景智能巡检系统,以解决现有技术中输电线路的巡检方法巡检工作量大、容易受到客观因素的影响的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种输电线路全景智能巡检系统,包括:前端数据采集系统,包括一台云台摄像机,所述云台摄像机安装在输电基塔上,所述云台摄像机至少用于拍摄输电线路本基杆塔、两侧对端杆塔、附近杆塔通道和绝缘子,且所述云台摄像机对拍摄得到的图像进行初步识别得到识别结果;主站监控平台,与所述前端数据采集系统通信,所述前端数据采集系统将所述云台摄像机抓拍到的图像和所述识别结果传送至所述主站监控平台,所述主站监控平台对所述图像中的隐患进行二次识别,识别出隐患。
进一步地,对所述图像中的隐患进行二次识别,包括:基于所述云台摄像机采集的图像,生成训练样本集,所述训练样本集包括各种环境下、各种尺寸、各种形态的目标图像;构建Yolov3模型;对所述Yolov3模型进行优化,得到优化后的Yolov3模型;采用所述训练样本集对优化后的所述Yolov3模型,进行训练,得到训练后的Yolov3模型;采用训练后的Yolov3模型对所述图像中的隐患进行二次识别。
进一步地,采用分类校验模块对训练后的Yolov3模型的识别结果进行验证。
进一步地,采用所述云台摄像机实时采集的图像对优化后的Yolov3模型进行迭代优化。
进一步地,在对所述Yolov3模型进行设计的过程中,设计多种倍数的降采样特征图,其中,第一倍数的降采样特征图用于对小目标进行检测,第二倍数的降采样特征图用于对中等目标进行检测,第三倍数的降采样特征图用于对大目标进行检测。
进一步地,所述前端数据采集系统与所述主站监控平台的通信流程为:所述云台摄像机对拍摄得到的图像经接入节点转发至内网节点;所述内网节点转发所述图像至内网转发节点;所述内网转发节点将所述图像转发至存储资源池;所述存储资源池生成图像URL供所述内网转发节点调取;所述内网转发节点调取所述图像URL发送至智能分析节点;所述智能分析节点对所述图像进行二次识别,返回识别结果给所述主站监控平台。
进一步地,所述系统还包括:客户端,所述主站监控平台将所述识别结果分发至所述客户端。
进一步地,设置所述云台摄像机的自动巡视预置位。
进一步地,所述云台摄像机还用于拍摄不同尺度吊车、泵车、挖掘机、推土机和渣土车。
应用本申请的技术方案,采用一台云台摄像机就实现了对输电线路本基杆塔、两侧对端杆塔、附近杆塔通道和绝缘子的检测,实现对输电线路的全景智能巡检,大大降低了现场人员巡视工作,节约了成本,通过云台摄像机的初步识别和主站监控平台的二次识别,加快了隐患的识别速度,能够第一时间发现通道隐患、异物搭挂和本体缺陷,有效提升运维管理效率,减轻通道运维工作压力,提高隐患、缺陷处理效率。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出了根据本申请的实施例的输电线路全景智能巡检系统示意图;
图2示出了根据本申请的实施例的巡检流程图;
图3示出了根据本申请的实施例的Yolov3网络模型的结构图;
图4示出了根据本申请的实施例的Darkent-19和Darknet-53的网络构成图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应该理解的是,当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时,该元件可直接在该另一元件上,或者也可存在中间元件。而且,在说明书以及权利要求书中,当描述有元件“连接”至另一元件时,该元件可“直接连接”至该另一元件,或者通过第三元件“连接”至该另一元件。
正如背景技术中所介绍的,现有技术中的输电线路的巡检方法巡检工作量大、容易受到客观因素的影响,为解决输电线路的巡检方法巡检工作量大、容易受到客观因素的影响的问题,本申请的实施例提供了一种输电线路全景智能巡检系统。
本申请的一种典型的实施例,提供了一种输电线路全景智能巡检系统,如图1所示,包括:
前端数据采集系统,包括一台云台摄像机,上述云台摄像机安装在输电基塔上,上述云台摄像机至少用于拍摄输电线路本基杆塔、两侧对端杆塔、附近杆塔通道和绝缘子,且上述云台摄像机对拍摄得到的图像进行初步识别得到识别结果;
主站监控平台,与上述前端数据采集系统通信,上述前端数据采集系统将上述云台摄像机抓拍到的图像和上述识别结果传送至上述主站监控平台,上述主站监控平台对上述图像中的隐患进行二次识别,识别出隐患。
具体地,云台摄像机通过APN专网将图像发送至主站监控平台。
具体地,云台摄像机是一种低功耗高倍率的摄像机,可以满足对输电线路巡检的精度需求,由于低功耗可以增加巡检的时长。云台摄像机可实现对输电线路通道及本体设备的全天候智能化全景巡视,云台摄像机可实现自动变角度、变焦抓拍。人工替代率可达100%。采用本方案采用“图像识别+变倍巡航”的输电线路全景智能巡检方法,可以第一时间发现通道隐患、异物搭挂和本体缺陷。
具体地,识别出的隐患包括通道隐患(输电线路隐患)和本体缺陷。
具体地,云台摄像机自带GPU分析能力,可以实现对图像的初步识别。前端自带GPU配合主平台搭载的高性能GPU,能够减轻后端平台计算压力,提高计算效率和及时率。
上述方案中,采用一台云台摄像机就实现了对输电线路本基杆塔、两侧对端杆塔、附近杆塔通道和绝缘子的检测,实现对输电线路的全景智能巡检,大大降低了现场人员巡视工作,节约了成本,通过云台摄像机的初步识别和主站监控平台的二次识别,加快了隐患的识别速度,能够第一时间发现通道隐患、异物搭挂和本体缺陷,有效提升运维管理效率,减轻通道运维工作压力,提高隐患、缺陷处理效率。
本申请的一种实施例中,对上述图像中的隐患进行二次识别,包括:基于上述云台摄像机采集的图像,生成训练样本集,上述训练样本集包括各种环境下、各种尺寸、各种形态的目标图像;构建Yolov3模型;对上述Yolov3模型进行优化,得到优化后的Yolov3模型;采用上述训练样本集对优化后的上述Yolov3模型,进行训练,得到训练后的Yolov3模型;采用训练后的Yolov3模型对上述图像中的隐患进行二次识别。采用经过优化和训练得到的Yolov3模型对图像中的隐患进行二次识别,可以提高隐患的识别效率和准确度,能够第一时间发现通道隐患、异物搭挂和本体缺陷,有效提升运维管理效率,减轻通道运维工作压力,提高隐患、缺陷处理效率。
本申请的一种实施例中,采用分类校验模块对训练后的Yolov3模型的识别结果进行验证。通过对Yolov3模型的识别结果进行验证进一步地保证了训练得到的Yolov3模型的准确性。提高隐患的识别率。
本申请的一种实施例中,采用上述云台摄像机实时采集的图像对优化后的Yolov3模型进行迭代优化。通过对优化后的Yolov3模型再次进行优化,可以进一步地提高模型的准确性。能够更加高效的处理海量图片信息。
本申请的一种实施例中,在对上述Yolov3模型进行设计的过程中,设计多种倍数的降采样特征图,其中,第一倍数的降采样特征图用于对小目标进行检测,第二倍数的降采样特征图用于对中等目标进行检测,第三倍数的降采样特征图用于对大目标进行检测。具体地,第一倍数为8倍,第二倍数为16倍,第三倍数为32倍,8倍特征图主要用于进行小目标的检测,16倍特征组进行中等目标的检测;32倍特征图进行大目标的检测。整体全面提升大、中、小目标的检测性能。可以实现对目标尺寸差异极大的图像的识别。
本申请的一种实施例中,上述前端数据采集系统与上述主站监控平台的通信流程为:上述云台摄像机对拍摄得到的图像经接入节点转发至内网节点;上述内网节点转发上述图像至内网转发节点;上述内网转发节点将上述图像转发至存储资源池;上述存储资源池生成图像URL供上述内网转发节点调取;上述内网转发节点调取上述图像URL发送至智能分析节点;上述智能分析节点对上述图像进行二次识别,返回识别结果给上述主站监控平台。
本申请的一种实施例中,上述系统还包括:客户端,上述主站监控平台将上述识别结果分发至上述客户端。
本申请的另一种实施例中,主站监控平台还可以将上述识别结果发送至指定URL。
本申请的一种实施例中,设置上述云台摄像机的自动巡视预置位。即可以根据输电线路的分布情况,适应性地设置云台摄像机的巡检的位置。
本申请的一种实施例中,上述云台摄像机还用于拍摄不同尺度吊车、泵车、挖掘机、推土机和渣土车。
实施例
本实施例涉及一种具体的输电线路全景智能巡检系统。采用本实施例的巡检系统进行巡检的流程包括如下步骤:
步骤1,配置前端带GPU分析能力摄像机,将摄像机安装在输电基塔上,通过摄像机预置位、自动变倍设置,自动抓取输电线路本基杆塔、两侧对端杆塔、乃至附近杆塔通道,绝缘子、导线等设备本体图片,并经过简单识别后通过APN专网上传;
步骤2,图像文件经接入节点转发至内网节点;
步骤3,内网节点转发图片至内网转发节点;
步骤4,内网转发节点将图片文件转发至存储资源池;
步骤5,存储资源池生成图片URL供内网转发节点调取;
步骤6,内网转发节点调取图片URL给智能分析节点;
步骤7,智能分析服务节点进行图像二次识别,返回结果给平台;
步骤8,平台将识别结果分发至各客户端或指定URL;
采用该巡检系统进行巡检的整体的流程图如图2所示。
步骤7包括:
步骤71:收集安装在输电基塔上的视频监控回传的施工车辆照片,制作训练样本集,样本集需尽可能包含各种环境下,包含不同大小、形态的目标图像素材;
步骤72:构建Yolov3网络模型,分别设计8倍、16倍、32倍降采样特征图,针对模型网络主干进行了优化处理,采用了优化后的最优模型DL-NASNet-A;Yolov3网络模型的结构图如图3所示;
步骤73:将采集训练样本集对网络模型进行训练,得到训练完成的Yolov3网络模型;
步骤74:基于模型检测得到的效果,设计一个分类校验模块进行进一步的验证;
步骤75:持续输入前端摄像机回传的图片数据,进行算法模型的迭代优化。
平台资源使用流程为:
步骤11,平台系统管理员通过关联点位,划分权限给使用者;
步骤21,使用者通过下发的账号登录B/S客户端;
步骤31,使用者登录后可访问特定权限功能,查看报警信息;
步骤41,使用者通过B/S客户端与平台之间完成信息互换。
具体地,Yolov3网络模型的识别原理为:
YOLOv3网络构架不同于以往FasterR-CNN等将物体检测问题拆分为物体候选和分类器回归两个阶段的方法,YOLO算法将任务当作一个阶段的回归问题,通过直接将整张图片的所有像素送入卷积网络回归分析得到边界框(boundingbox,简记为bbox)的坐标、bbox中包含物体的置信度和物体所属的种类。YOLOv3训练阶段的流程大致可以叙述为:
将输入图像重新调整大小到416×416分辨率后按批次作为卷积神经网络的输入。
正向传播神经网络,回归得到目标物体的bbox坐标、bbox中包含物体的置信度和物体所属的类别。
网络进行非极大值抑制,筛选bbox。
定位误差、类别误差、置信度误差反向传播,更新每层的权重矩阵和偏置。
YOLOv3的特征提取模型是一个升级的模型,它使用了Darknet-19以及ResNet,这个模型多次循环使用了3×3和1×1的卷积层,3×3卷积层用来提取特征并增加通道数,1×1卷积层用于调整网络通道数的尺寸大小,最终YOLOv3的基础网络有52个卷积层和1个最大值池化层,此基础网络也被叫做Darknet53。在完整的yolov3.cfg配置文件中,从第0层一直到74层,一共有52个卷积层,其余为ResNet层,结构构成如图4所示。
可以看出,相比于Darkent-19[Convlolution→Convlolution→Maxpool]的网络组织形式,Darknet-53交替使用了[Convlolution→Convlolution→Residual]的子模块网络构成了全卷积的网络形式,使网络对任何分辨率图片输入均可以特征提取。Darknet-53通过网络层间的特征融合,网络输出具有3个scale的特征检测图进行物体位置回归和类别判断。作为YOLOv3特征提取的主要网络结构,Darknet-53比Darknet-19效果好很多,特征提取网络对比结果如表1所示。
表1 Darknet-53与Darknet-19特征提取网络对比结果
从表1可以看出,在Top-1和Top-5检测准确度稍好的情况下,Darknet-53的每秒钟检测图片数是Resnet-101的1.5倍;在几乎与Resnet-152的检测准确度相同的情况下,Darknet-53保持2倍于Resnet-152的检测速度。网络从75到106层为YOLOv3网络的特征交互输出层,特征交互输出层分为三个分辨率,在每个分辨率特征图中,网络通过卷积的方式实现局部的特征交互组合,其作用类似于全连接层,但是通过卷积核(3×3和1×1)的方式实现特征图之间的局部特征(全连接层实现的是全局的特征交互)交互组合。YOLOv3最初在Imagenet数据集上训练了53层特征提取网络。对目标物体检测任务,Redmon在Darknet-53构架后面堆叠了53层,为YOLOv3提供了106层全卷积的底层构架,这也是YOLOv3与YOLOv2相比检测速度变慢的原因。YOLOv3网络构架由3×3和1×1的卷积层、ResNet的跳过连接层、双线性插值的上采样层、特征融合[route]层和检测图输出层等构成,其中最显着的特点是它可以在三种不同的尺度上进行目标分类和位置回归。YOLOv3是一个全卷积构架的神经网络,它的最终输出是通过在特征图上应用1×1卷积核生成的,通过在网络中的三个不同层数在三个不同大小的特征图上应用1×1检测栅格来完成检测。检测栅格的形状是1×1×(B×(5+C)),这里B是特征检测图栅格预设的锚框(anchorbox)的个数,即每个栅格可以预测目标物体边界框的数量,“5”表示4个边界框属性x,y,w,h和1个物体被检测到的置信度,C是所有目标物体类别的数量。在使用MicrosoftCOCO训练的YOLOv3网络中,B=3,C=80,栅格大小为1x1x255。这里设置检测栅格的形状为1×1×(B×(5+C))的原因是使每个检测图的输出都对应特定物体目标的位置信息、置信度或类别信息,让损失函数的计算有可以量化的数值。YOLOv3以三个分辨率的检测图进行预测,通过分别将输入图像的尺寸降采样32,16和8来精确地输出。
第一次物体检测由网络的第82层进行,对于前81层,网络交替使用3×3和1×1来提取图片的特征、缩小分辨率和调节图像通道数的大小,总体网络的降采样步长为32,输入图像调整后的分辨率是416×416,82层得到的特征图将具有13×13(416/32=13)的分辨率大小,第80层利用255个1×1卷积核,调整82层特征图的通道数,得到13×13×255的特征检测图。
第二次检测由94层进行,来自79层的特征映射经过1个1×1卷积层后被2倍向上采样到26×26的维度,该特征映射与来自61层的特征映射通道数拼接,组合后的特征映射再次经过4个1×1和3个3×3卷积层以融合来自前面61层的特征,通过网络的第94层进行第二次检测,产生26×26×255的检测特征图来进行物体分类和位置回归。
第三次检测由第106层进行,来自91层的特征映射在与来自36层的特征映射通道数拼接之前经过1次1×1卷积和1次2×上采样,之后经过4个1×1和3个3×3卷积层来融合来自前面映射36层的信息,最后通过网络第106层进行第三次检测,产生52×52×255的检测特征图用于分类和位置回归。
YOLOv3网络的3个预测层将输入图像划分为S×S的栅格(gridcell),3个预测层的S×分别是13×13,26×26,52×52,每个栅格负责检测中心落在该栅格中的物体以及预测#anchorbox数量的bbox和这些bbox的置信度(Confidencescores),这个Confidencescores反映了模型对于这个栅格里物体的预测:该栅格是否有物体中心落入,以及这个bbox的坐标预测在多大程度上可信,公式:confidence=Pr(object)·IOUpredtruth,预测过程分为训练、测试两个阶段。
(1)训练阶段:特征图中物体中心落在哪个栅格,算法就给这个栅格打上这个物体的label(包括x,y,w,h和类别),也就是说通过这种方式来设置训练集图片物体的label。换言之,在训练阶段,损失函数最优的情况下,就教会gridcell要预测图像中的哪个物体。物体的中心没有落入栅格之内,则栅格对应的bbox的Pr(obj)=0,这种情况下,IOUpredtruth不用计算,此时Confidence的label直接设置为0;物体中心落入gridcell之内,Pr(obj)=1,Confidence为1·IOUpredtruth,IOUpredtruth是在训练过程中根据网络输出的bbox和标记值(groundtruth)边界框的交并比实时计算出来的。
(2)测试阶段:网络只输出Confidence值,其隐含的包括了IOUpredtruth,因为在训练阶段给栅格去预测中心落在该栅格中的物体打label的时候用的是Pr(object)·IOUpredtruth,那么测试的时候网络自然会计算出这个值。YOLOv3对每个预测的bbox有5个参数:bbox的置信度Confidence和位置x,y,w,h信息。坐标x,y代表了预测的bbox中心与栅格边界的相对值,坐标w,h代表了预测bbox的width,height相对于完整图像宽和高的比例。每一个栅格还要预测C个条件类别概率:Pr(classi|object),即在一个栅格包含有object的前提下,它属于某个类的概率。在网络训练阶段,每个栅格的条件类别概率与每个bbox的Confidence相乘:Pr(class|object)·Pr(object)·IOUpredtruth,即得到每个boundingbox具体类别的Confidencescore,这样是为了即使某个栅格不存在物体(Confidence=0),输出的条件概率Pi(classi|object)=0.9.但将Confidence和Pr(classi|object)相乘为0,这样做是非常合理的,因为必须在保证栅格中有物体(Confidence大)的条件下,预测类别才是有意义的。
检测网络对于输入图像尺寸为Mi×Mi,最后3×3和1×1卷积层输出的特征图是Si×Si,对应Si×si输入图像的Si·si个栅格,每个栅格预测anchor数量的bboxes大小,每个bbox包含4个坐标值,1个置信度和类别总个数条件类别概率,输出维度是Si×Si×#anchor×(5+#classes)。
DL-NASNet-A模型与公开模型的搜索结果对比如表2和表3所示。
表2防外破分类任务上搜索结果和公开模型对比
resnet101 | inceptionv2 | DL-NASNet-A | |
施工车辆分类 | 98% | 97.20% | 99.56% |
表3防外破检测任务上搜索结果和公开模型对比
Test-data(mAP,%) | |
ResNet50 | 36.7 |
DarkNet | 39.2 |
DL-NASNet-A | 42.0 |
采用本申请的DL-NASNet-A模型相比于其他基于深度学习的施工线路图像识别技术,训练样本集中包含的施工车辆种类更多,本发明可识别施工车辆为吊车、泵车、挖掘机、推土机、渣土车、绝缘子导线异物等。
采用本发明的方案得到的实验结果如表4所示。
表4实验结果
本发明各系统均可采用集群化部署方案,方便资源的统一调度使用,工作效率高,同时具备良好的系统扩容能力。
作为一种替代的实施例,在Yolov3模型设计中,设计其他倍数(区别与8倍、16倍和32倍)的采样特征图,分别对不同尺度目标进行学习与预测,沿用本发明中Yolov3其他发明结构也可达到类似效果。
从以上的描述中,可以看出,本申请上述的实施例实现了如下技术效果:
本申请的输电线路全景智能巡检系统,采用一台云台摄像机就实现了对输电线路本基杆塔、两侧对端杆塔、附近杆塔通道和绝缘子的检测,实现对输电线路的全景智能巡检,大大降低了现场人员巡视工作,节约了成本,通过云台摄像机的初步识别和主站监控平台的二次识别,加快了隐患的识别速度,能够第一时间发现通道隐患、异物搭挂和本体缺陷,有效提升运维管理效率,减轻通道运维工作压力,提高隐患、缺陷处理效率。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (9)
1.一种输电线路全景智能巡检系统,其特征在于,包括:
前端数据采集系统,包括一台云台摄像机,所述云台摄像机安装在输电基塔上,所述云台摄像机至少用于拍摄输电线路本基杆塔、两侧对端杆塔、附近杆塔通道和绝缘子,且所述云台摄像机对拍摄得到的图像进行初步识别得到识别结果;
主站监控平台,与所述前端数据采集系统通信,所述前端数据采集系统将所述云台摄像机抓拍到的图像和所述识别结果传送至所述主站监控平台,所述主站监控平台对所述图像中的隐患进行二次识别,识别出隐患。
2.根据权利要求1所述的系统,其特征在于,对所述图像中的隐患进行二次识别,包括:
基于所述云台摄像机采集的图像,生成训练样本集,所述训练样本集包括各种环境下、各种尺寸、各种形态的目标图像;
构建Yolov3模型;
对所述Yolov3模型进行优化,得到优化后的Yolov3模型;
采用所述训练样本集对优化后的所述Yolov3模型,进行训练,得到训练后的Yolov3模型;
采用训练后的Yolov3模型对所述图像中的隐患进行二次识别。
3.根据权利要求2所述的系统,其特征在于,采用分类校验模块对训练后的Yolov3模型的识别结果进行验证。
4.根据权利要求2所述的系统,其特征在于,采用所述云台摄像机实时采集的图像对优化后的Yolov3模型进行迭代优化。
5.根据权利要求2所述的系统,其特征在于,在对所述Yolov3模型进行设计的过程中,设计多种倍数的降采样特征图,其中,第一倍数的降采样特征图用于对小目标进行检测,第二倍数的降采样特征图用于对中等目标进行检测,第三倍数的降采样特征图用于对大目标进行检测。
6.根据权利要求1所述的系统,其特征在于,所述前端数据采集系统与所述主站监控平台的通信流程为:
所述云台摄像机对拍摄得到的图像经接入节点转发至内网节点;
所述内网节点转发所述图像至内网转发节点;
所述内网转发节点将所述图像转发至存储资源池;
所述存储资源池生成图像URL供所述内网转发节点调取;
所述内网转发节点调取所述图像URL发送至智能分析节点;
所述智能分析节点对所述图像进行二次识别,返回识别结果给所述主站监控平台。
7.根据权利要求6所述的系统,其特征在于,所述系统还包括:
客户端,所述主站监控平台将所述识别结果分发至所述客户端。
8.根据权利要求1至7中任一项所述的系统,其特征在于,设置所述云台摄像机的自动巡视预置位。
9.根据权利要求1至7中任一项所述的系统,其特征在于,所述云台摄像机还用于拍摄不同尺度吊车、泵车、挖掘机、推土机和渣土车。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110750864.5A CN113486779A (zh) | 2021-07-01 | 2021-07-01 | 输电线路全景智能巡检系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110750864.5A CN113486779A (zh) | 2021-07-01 | 2021-07-01 | 输电线路全景智能巡检系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113486779A true CN113486779A (zh) | 2021-10-08 |
Family
ID=77940371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110750864.5A Pending CN113486779A (zh) | 2021-07-01 | 2021-07-01 | 输电线路全景智能巡检系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113486779A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113601536A (zh) * | 2021-10-11 | 2021-11-05 | 国网智能科技股份有限公司 | 一种配网车载智能巡检机器人系统及方法 |
CN114200957A (zh) * | 2021-11-04 | 2022-03-18 | 深圳市鑫疆基业科技有限责任公司 | 无人机自动电力杆塔巡检控制系统以及方法 |
CN114486925A (zh) * | 2021-12-25 | 2022-05-13 | 国网四川省电力公司电力科学研究院 | 基于全景信息的输电线路杆塔内侧腐蚀智能检测系统及检测方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103051870A (zh) * | 2012-12-07 | 2013-04-17 | 上海市电力公司 | 一种电力杆塔视频监控信息传输装置 |
CN105989443A (zh) * | 2015-02-15 | 2016-10-05 | 杜岸树 | 一种基于智能移动终端的通讯线路巡检系统 |
CN110390784A (zh) * | 2019-07-19 | 2019-10-29 | 国网河北省电力有限公司电力科学研究院 | 一种基于深度学习的输电线路防外破监控系统 |
CN110570536A (zh) * | 2019-08-26 | 2019-12-13 | 北京许继电气有限公司 | 一种特高压输电线路智能巡线系统 |
CN110675395A (zh) * | 2019-09-29 | 2020-01-10 | 智洋创新科技股份有限公司 | 输电线路智能在线监测方法 |
CN111681381A (zh) * | 2020-05-21 | 2020-09-18 | 海南电网有限责任公司文昌供电局 | 一种输电线路防外力破坏智能识别系统 |
CN111784685A (zh) * | 2020-07-17 | 2020-10-16 | 国网湖南省电力有限公司 | 一种基于云边协同检测的输电线路缺陷图像识别方法 |
CN112491982A (zh) * | 2020-11-13 | 2021-03-12 | 国网天津市电力公司 | 基于云边协同输电线路精细化感知方法 |
-
2021
- 2021-07-01 CN CN202110750864.5A patent/CN113486779A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103051870A (zh) * | 2012-12-07 | 2013-04-17 | 上海市电力公司 | 一种电力杆塔视频监控信息传输装置 |
CN105989443A (zh) * | 2015-02-15 | 2016-10-05 | 杜岸树 | 一种基于智能移动终端的通讯线路巡检系统 |
CN110390784A (zh) * | 2019-07-19 | 2019-10-29 | 国网河北省电力有限公司电力科学研究院 | 一种基于深度学习的输电线路防外破监控系统 |
CN110570536A (zh) * | 2019-08-26 | 2019-12-13 | 北京许继电气有限公司 | 一种特高压输电线路智能巡线系统 |
CN110675395A (zh) * | 2019-09-29 | 2020-01-10 | 智洋创新科技股份有限公司 | 输电线路智能在线监测方法 |
CN111681381A (zh) * | 2020-05-21 | 2020-09-18 | 海南电网有限责任公司文昌供电局 | 一种输电线路防外力破坏智能识别系统 |
CN111784685A (zh) * | 2020-07-17 | 2020-10-16 | 国网湖南省电力有限公司 | 一种基于云边协同检测的输电线路缺陷图像识别方法 |
CN112491982A (zh) * | 2020-11-13 | 2021-03-12 | 国网天津市电力公司 | 基于云边协同输电线路精细化感知方法 |
Non-Patent Citations (2)
Title |
---|
周爽: "基于深度学习融合模块化物联感知的输电线路智能管控系统研究与应用", 《农村电气化》, no. 08, 22 August 2019 (2019-08-22), pages 9 - 13 * |
陈波 等: "基于通道可视化的输电线路智能管控技术研究与应用", 《农村电气化》, no. 10, 10 October 2022 (2022-10-10), pages 5 - 9 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113601536A (zh) * | 2021-10-11 | 2021-11-05 | 国网智能科技股份有限公司 | 一种配网车载智能巡检机器人系统及方法 |
CN113601536B (zh) * | 2021-10-11 | 2022-03-18 | 国网智能科技股份有限公司 | 一种配网车载智能巡检机器人系统及方法 |
CN114200957A (zh) * | 2021-11-04 | 2022-03-18 | 深圳市鑫疆基业科技有限责任公司 | 无人机自动电力杆塔巡检控制系统以及方法 |
CN114486925A (zh) * | 2021-12-25 | 2022-05-13 | 国网四川省电力公司电力科学研究院 | 基于全景信息的输电线路杆塔内侧腐蚀智能检测系统及检测方法 |
CN114486925B (zh) * | 2021-12-25 | 2023-10-31 | 国网四川省电力公司电力科学研究院 | 基于全景信息的输电线路杆塔内侧腐蚀智能检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11935288B2 (en) | Systems and methods for generating of 3D information on a user display from processing of sensor data for objects, components or features of interest in a scene and user navigation thereon | |
CN113486779A (zh) | 输电线路全景智能巡检系统 | |
US11216663B1 (en) | Systems and methods for generating of 3D information on a user display from processing of sensor data for objects, components or features of interest in a scene and user navigation thereon | |
Khan et al. | Unmanned aerial vehicle–based traffic analysis: Methodological framework for automated multivehicle trajectory extraction | |
CN111537515A (zh) | 基于三维实景模型的铁塔螺栓缺陷展示方法和系统 | |
CN108734143A (zh) | 一种巡检机器人的基于双目视觉的输电线路在线检测方法 | |
CN109816794B (zh) | 一种基于管网属性数据的三维可视化系统及方法 | |
Chow et al. | Automated defect inspection of concrete structures | |
CN112347895A (zh) | 一种基于边界优化神经网络的舰船遥感目标检测方法 | |
JP7065477B2 (ja) | 災害状況判定システムおよび災害判定飛行システム | |
Manninen et al. | Toward automatic condition assessment of high-voltage transmission infrastructure using deep learning techniques | |
CN112633661A (zh) | 一种基于bim的应急调度指挥方法、系统、计算机设备及可读介质 | |
CN111209894A (zh) | 道路航拍图像的路边违章建筑识别方法 | |
CN113807450A (zh) | 一种基于超高分辨率图片的无人机电力巡线故障检测方法 | |
CN113033516A (zh) | 对象识别统计方法及装置、电子设备、存储介质 | |
CN114035606A (zh) | 杆塔巡检系统、杆塔巡检方法、控制装置和存储介质 | |
CN116846059A (zh) | 一种用于电网巡检和监控的边缘检测系统 | |
Manninen et al. | Multi-stage deep learning networks for automated assessment of electricity transmission infrastructure using fly-by images | |
CN113569956A (zh) | 一种基于ai算法的山火灾害勘查识别方法 | |
CN111738312B (zh) | 基于gis和虚拟现实融合的输电线状态监控方法、装置及计算机可读存储介质 | |
CN111723643B (zh) | 一种基于固定区域周期性图像采集的目标检测方法 | |
CN116403162B (zh) | 一种机场场面目标行为识别方法、系统及电子设备 | |
US20220261713A1 (en) | Computer Vision Systems and Methods for Detecting Power Line Hazards from Imagery | |
CN115457411A (zh) | 航油管线无人化巡视方法、装置和航油安全运维系统 | |
Liu et al. | High-precision automatic detection method of illegal construction object images in complex scenes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |