CN105141889A - 一种基于图像视觉输电线路智能巡检系统 - Google Patents

一种基于图像视觉输电线路智能巡检系统 Download PDF

Info

Publication number
CN105141889A
CN105141889A CN201510451994.3A CN201510451994A CN105141889A CN 105141889 A CN105141889 A CN 105141889A CN 201510451994 A CN201510451994 A CN 201510451994A CN 105141889 A CN105141889 A CN 105141889A
Authority
CN
China
Prior art keywords
image
fault
transmission line
management
power transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510451994.3A
Other languages
English (en)
Inventor
王孝余
韩冰
耿振伟
尚方
张彤
刘生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Heilongjiang Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Heilongjiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Heilongjiang Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201510451994.3A priority Critical patent/CN105141889A/zh
Publication of CN105141889A publication Critical patent/CN105141889A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

基于图像视觉输电线路智能巡检系统,涉及电力系统输电线路的检修技术领域。本发明为了解决现有输电线路巡检中存在成本高、效率低等问题。包括图像采集系统(1)、图像存储与管理系统(2)和图像智能处理系统(3),图像采集系统(1)将采集的待检测的输电线路图像传给图像存储与管理系统(2),图像存储与管理系统(2)将分类标记后的图像输出给图像智能处理系统(3)进行输电线路故障检测。本发明方法的使用克服了以往输电线路巡检靠巡检人员沿线执行检测任务而存在成本高、效率低、误检和漏检率大的难题。

Description

一种基于图像视觉输电线路智能巡检系统
技术领域
本发明涉及电力系统输电线路的检修技术领域。
背景技术
输电线路巡线检查,常用的方法有飞机飞行航拍巡检、车辆沿线观测巡检以及由工人直接进行输电线路检测。目前,国内主要依靠巡检人员沿线执行检测任务,成本高、效率低、误检和漏检率大,特别是对山区和跨越大江大河的输电线路的巡检,以及在冰灾、水灾、地震、滑坡等巡线检查。使用直升机、无人机,或其他途径获取输电线路图像,利用数字图像处理技术实现对输电线路的检测可以有效节省人力成本、降低人力要求,具有较高的经济性能。
图像的采集、存储、管理和快速分析、处理是基于图像进行输电线路检测的关键技术,也是主要难点,如何多视角、高质量地采集图像,高效、科学地存储和管理图像,智能、快速地分析处理图像都是极具挑战性的工作,目前国内、外尚无此应用案例,现有技术中也没有提出用于输电线路巡线检查的智能系统。
发明内容
本发明针对现有输电线路巡检中存在成本高、效率低等问题,提供一种基于图像视觉输电线路智能巡检系统。
本发明为解决上述技术问题采取的技术方案是:
本发明所述的基于图像视觉输电线路智能巡检系统,包括图像的多视角、高质量采集系统;图像的科学存储与管理系统;图像的智能处理系统。
图像采集系统,主要通过航空平台,但不限定是有人机或无人机。图像采集涉及图像获取、图像归类和图像传输,图像传输可采用专用的图传设备,重点是图像获取和归类。图像获取的基本要求是图像清晰、光照均匀,分辨率满足输电设备检测和识别的要求。图像归类,是指根据不同的视角,对获取的海量图像数据进行编目,以利于后续快速筛选出不同视角的图像进行处理。
图像获取中选择不同的视角,目的是能够不留死角地拍摄输电线路,从而获取覆盖整个线路的全部图像,视角选择主要以沿输电线路一侧按去右回左的角度拍摄,即去时从右上向左下以一定角度倾斜拍摄,回来时从左上向右下同样以一定角度倾斜拍摄,具体拍摄时,采用三部相机同时拍摄,一部相机拍摄输电线路设备全局,能够把一部杆塔全部纳入视场,一部相机拍摄杆塔的上半部局部,最后一部相机拍摄线路,如图1所示。
全局图像、局部图像和线路图像分别按不同的图像文件命名方式归类,文件名都是以图像获取的GPS经纬度作为起始,后接获取时间,然后全局图像再接W,局部图像再接P,线路图像再接L,以区分不同类别的图像,通过不同的命名规则分别给全局图像、局部图像和线路图像命名,如果系统要自动处理全局的图像,只要按文件名最后字母为W来快速筛选,处理局部图像和线路图像则分别按文件名最后字母为P和L来筛选。
图像存储与管理系统,对于存储,如果以数据库方式存储图像数据,在入库和出库方面都会耗费较多时间,效率极低,因此,图像存储主要以文件方式存放在磁盘上,但图像文件的属性信息要用数据库进行存储管理,便于检索、查询和筛选。图像管理主要按四种方式来管理,分别是相册管理、标签管理、日期管理和地理位置管理。在应用四种方式管理之前,所有图像数据必须被放置在单一的文件目录下,并在该文件目录下,生成相应的数据库文件,从而将图像文件与数据库关联,该文件目录下可以创建任意多子目录,方便定位。基于这四种管理,通过某些条件组合搜索查询,检索出符合条件的图像相册管理主要是为图像数据定义不同的集合,比如不同地区的图像数据,可以按地区命名创建子目录,将相应的图像放置于对应的子目录下,系统将以树形控件形式显示不同的相册,即不同的子目录,缺省情况下,相册名同于子目录名,但相册名可以任意更改,只要有子目录建立关联即可。相册名称必须唯一,不可同名。对于相册管理具体的功能主要有如下几项:
(a)、新建相册
创建一个新的相册,即命名一个新的集合,对应显示为在相册的树形控件上增加了一个树节点,该新建相册只是一个新的集合,如果没有与磁盘上的图像文件关联,该集合为空。
(b)、导入图像
建立相册与磁盘图像文件的关联,可以在创建的相册节点上导入一张或多张图像文件,也可以导入整个目录,如果目录包含子目录也可被递归一并导入。如果没有创建相册,直接拖拽一个文件目录到相册树形控件列表上,则以该文件目录名为相册名自动创建一个新相册。
(c)、删除相册
删除创建的相册名称,但不删除对应磁盘上的图像数据文件。
(d)、相册之间移动或拷贝图像
在一个相册树形控件的节点上选中一个或多个文件,可用拖放的方式拖到其他相册节点上,实现拷贝和移动。
(e)、相册属性管理
设置相册的相应属性:
相册标题:直接显示在相册树形控件的节点上作为相册名称
相册类别:为该相册内的所有图像确定类别,类别的定义旨在为相册提供一种附加的说明或区分性,类别的种类可以扩充,比如按不同地区来命名相册,可以按全局图像、局部图像或线路图像来区分相册所包含的图像,或按图像中所包含的电力设备不同来区分相册,从而为相册确定为某一类图像,便于与其他相册区分。。
标签管理旨在增加图像数据的可区分维度,对于同一地区的图像,有故障的图像数据,打上有故障的标签,无故障的图像数据,打上无故障的标签,这样既不需要增加相册的命名,同时又能区分不同的图像,就是标签管理的功能所在,具体的功能如下:
(a)、新建标签
新建一个标签,即新定义一种标签,如果定义的标签需要更细致区分,标签可以层级创建,形成父子标签嵌套。
(b)、为图像打标签
打开某个相册,选中单个或多个图像,为其打上创建好的标签。
(c)、删除标签
删除标签包含两方面功能,一种是删除标签定义,删除定义的标签后,曾用此标签区分的图像会自动删除该标签;另一种是选中单个或多个图像,为其删除某种曾经打上的标签。
(d)、标签属性管理
标签名称:更改标签定义的名称;
标签图标:为不同的标签名称设置有代表性的图标。
标签管理与相册管理的不同之处是,图像的标签属性可以既在数据库中保存,也同时写入JPEG格式图像本身中的IPTC(InternationalPressTelecommunicationsCouncil)数据区,这样即使数据库丢失了图像的标签信息,当曾写有标签信息的图像重新被系统导入后,会直接读取其标签信息纳入标签管理。
标签功能在本系统中,主要是用于区分有设备故障(NG)的图片和无设备故障的图片(OK),对于有设备故障的图片,还可进一步细分是哪一类故障。
日期时间管理是读取图像的EXIF(ExchangeableImagefileFormat)数据段,获取图像的成像日期时间,如果无法读取EXIF数据并获取时间,则以图像文件在磁盘上最后修改日期为准,依据不同的日期时间,形成对多个图像的过滤或分组,不同的日期段放在不同的组,组可以是按年、月或天来划分。
地理位置管理是划定一个经纬度坐标范围,从而将落入该坐标范围的图像过滤为一组,为该组命一个名称,形成按地理位置的多组图像管理。
图像管理有对应的数据库作为后台支撑,数据库有相应的表结构设计。可以对图像文件进行查询检索,通过设置相应的检索条件,过滤出想要的图像数据,具体可以按相册、标签、日期、地理位置单独或组合设置查询条件,进行快速筛选检索,检索的结果可以保存。
图像智能处理系统,是基于图像视觉输电线路智能巡检系统方案的核心,包括图像基本处理子系统、专业算法库、判读解译工具集和机器学习与故障检测子系统。
所述图像基本处理子系统用于对采集的图像进行预先处理,包括图像显示、颜色调整、图像增强、图像变换和地理位置关联等。
图像显示
(a)、缩略图显示
根据上述不同的管理方式,所过滤出的图像,以二维阵列的缩略图形式铺满数据显示区域,当单击某张缩略图时,该缩略图将被放大显示,原来的二维阵列自动变为一行缩略图,并出现滚动条可水平滑动定位缩略图,再次单击该放大显示的图像,则又重新回到原来的二维阵列缩略图显示。
鼠标放在某张缩略图上时,自动有信息提示,显示该图像的基本信息,如文件路径、日期、文件大小、图像宽高、颜色位深度等。
(b)、图像正常显示
当缩略图被正常放大显示后,提供可操作的工具按钮,实现图像放大、缩小、旋转、前一张、下一张等操作;
(c)、漫游导览,图像被正常放大显示时,如果图像的宽高超过了显示区域,则图像被自动缩小为适合显示的尺寸显示,同时在水平垂直滚动条的交叉处,即显示区域的右下角可弹出显示导览窗,用于快速漫游显示图像;
(d)、幻灯显示,图像在正常显示时,可以采用类似幻灯播放的形式进行显示,具体表现为通过设定好某一时间间隔,自动地一张一张显示图像;
(e)、全屏显示,隐藏暂时不需要的操作按钮,整个屏幕只有图像数据在显示。
(f)、属性显示
主要分文件属性、图像属性、摄像属性、标签属性、地理位置五部分来显示:
文件属性:文件名称、路径、大小、日期、所有者、权限等;
图像属性:图像格式、宽高、位深度、颜色模式、直方图等;
摄像属性:相机型号、镜头、光圈、焦距、曝光时间、感光度、白平衡等;
标签属性:显示图像被赋予的标签,以及所属标签的父标签和子标签;
地理位置:图像所在区域的经纬坐标,可与地图进行关联。
图像管理的四种方式,在属性显示上都有相应的对应。除此以外,还有直方图属性的显示,主要是为了衡量一张图像的质量是否符合标准,比如图像的像素值范围为0到255,如果把这个范围分为三个区间,通过直方图发现图像的像素值大多落入前三分之一,则是曝光不够,图像偏暗,如果大多落入后三分之一,则是曝光过强,只有均衡地落入三个区间,才是质量好的图像,否则需要做相应的图像色彩校正。
颜色调整包括:自动颜色校正,亮度、对比度调整,亮度、色度及饱和度调整,色彩白平衡,颜色层级调整,颜色曲线调整以及颜色通道混合。
图像增强包括:图像锐化,噪声去除,镜头畸变校正,直方图均衡。
对于图像的颜色校正和图像增强两项功能,系统可以通过水平分割或垂直分割的方式将图像显示区域分为两半,一半显示处理前,一半显示处理后,从而对比处理的效果,如图2所示。
图像变换包括:图像尺寸调整,图像自由旋转,图像透视投影。
地理位置关联,根据图像获取时间和平台GPS数据,将图像与地理位置信息关联起来,便于将来通过图像发现故障后,能定位到实际线路位置。
所述专业算法库包括图像拼接模块,序列图像三维重建辅助模块,点、线、团块等几何基元特征提取算法,颜色、纹理等快速BagOfWords分类算法,SVM、AdaBoost智能学习检测算法,贝叶斯、DS证据等决策融合算法。上述专业算法都是图像处理领域里经典或常用的算法,不属于本发明原创,故不进行详细论述,但将这些算法软件实现,用于输电线路检测,是本发明的一个模块;
所述判读解译工具集主要用于实现人机交互,完成图像观察并发现故障的任务,主要包括图像的放大、缩小、漫游、比对、量测、标注。
图像比对是指把两张图像关联起来,同步进行放大、缩小和漫游,操作一幅图像,另一幅自动跟着连动。
图像量测包括距离量测、角度量测、周长量测和面积量测。
标注包括文字标注和图形标注。
所述机器学习与故障检测子系统是对不同的输电线路设备进行学习训练,让机器能够识别出输电线路设备的故障,给出智能的提示,减小全人工判读的工作量。包括故障检测模块、故障编辑模块、故障查询模块。
所述故障检测模块,通过机器学习方法检测到故障后,用红绿蓝不同颜色的椭圆来标识图像中的设备故障,并对相应故障的信息进行文本说明和描述;所述故障的信息包括故障编号、故障等级、故障位置、所属图像、故障描述,所述故障位置是经计算后的实际地理位置信息;
所述故障编辑模块,是人工确认自动检测提示的故障,对于虚报的故障,可以删除,对于未检测出来的故障,可人工标识添加,同时可以编辑故障的信息,如编号、等级、位置、日期和描述。并将缺陷信息存储到数据库中;缺陷查询单元,用于查询己有的巡检缺陷,并展示查询到的缺陷;
所述故障查询模块,是将故障信息用数据库进行存储管理,可以按一定条件进行查询,如按设备名称、故障位置、故障等级、巡检日期等。
本发明的有益效果是:
本发明公开了一种通过获取图像并根据智能图像解译来快速实现输电线路巡检的方案集成,包括:图像的多视角、高质量采集方案;图像的科学存储与管理方案;图像的快速解译判读和智能提示方案。本发明给出了一种通过获取图像并根据智能图像解译来快速实现输电线路巡检的集成系统,本发明方法的使用克服了以往输电线路巡检靠巡检人员沿线执行检测任务而存在成本高、效率低、误检和漏检率大的难题。
附图说明
图1为图像采集系统示意图,
图2为图像颜色校正或增强处理前后对比示意图,
图3为系统总体功能图,
图4为系统逻辑结构图,
图5为全人工判读流程图,
图6为输电设备隐患和故障检测自动检测提示流程图。
其中,(1)图像采集系统、(2)图像存储与与管理系统、(3)图像智能处理系统、(4)相册管理、(5)标签管理、(6)日期时间管理、(7)地理位置管理、(8)图像库、(9)专家库、(10)故障缺陷库、(11)图像基本处理子系统、(12)专业算法库、(13)判读解译工具集、(14)机器学习与故障检测子系统、(15)图像显示、(16)颜色调整、(17)图像增强、(18)图像变换、(19)地理位置关联、(20)图像多种切换显示、(21)属性显示。
具体实施方式
具体实施方式一:如图1~6所示,本实施方式所述的基于图像视觉输电线路智能巡检系统包括图像采集系统1、图像存储与管理系统2和图像智能处理系统3,图像采集系统1将采集的待检测的输电线路图像传给图像存储与管理系统2,图像存储与管理系统2将分类标记后的图像输出给图像智能处理系统3进行输电线路故障检测;
从图像采集系统1到图像存储与管理系统2再到图像智能处理系统3,既是松散耦合,又是有机集成,每一个子系统都有实用、独特的实现细节,能很好地解决基于图像进行输电线路巡检的实际问题;
所述图像智能处理系统3是基于图像视觉输电线路智能巡检系统方案的核心系统,包括图像基本处理子系统11、专业算法库12、判读解译工具集13和机器学习与故障检测子系统14;
所述图像基本处理子系统11用于对采集的图像进行预先处理,包括图像显示15、颜色调整16、图像增强17、图像变换18和地理位置关联19;
图像显示15包括:图像多种切换显示20、属性显示21;
颜色调整16包括:自动颜色校正,亮度、对比度调整,亮度、色度及饱和度调整,色彩白平衡,颜色层级调整,颜色曲线调整以及颜色通道混合;
图像增强17包括:图像锐化,噪声去除,镜头畸变校正,直方图拉伸;
图像变换18包括:图像尺寸调整,图像自由旋转,图像透视投影;
地理位置关联19,根据图像获取时间和平台GPS数据,将图像与地理位置信息关联起来,便于将来通过图像发现故障后,能定位到实际线路位置;
专业算法库12包括图像拼接模块,序列图像三维重建辅助模块,点、线、团块等几何基元特征提取算法,颜色、纹理等快速BagOfWords分类算法,SVM、AdaBoost智能学习检测算法,贝叶斯、DS证据决策融合算法;
判读解译工具集13主要用于实现人机交互,完成图像观察并发现故障的任务,主要包括图像的显示、预览、放大、缩小、漫游、比对、量测、标注;
图像比对是指把两张图像关联起来,同步进行放大、缩小和漫游,操作一幅图像,另一幅自动跟着连动;
图像量测包括距离量测、角度量测、周长量测和面积量测;
标注包括文字标注和图形标注;
机器学习与故障检测子系统14是对不同的输电线路设备进行学习训练,让机器能够识别出输电线路设备的故障,给出智能的提示,减小全人工判读的工作量,包括故障检测模块、故障编辑模块、故障查询模块;
所述故障检测模块,通过机器学习方法检测到故障后,用红绿蓝不同颜色的椭圆来标识图像中的设备故障,并对相应故障的信息进行文本说明和描述;所述故障的信息包括故障编号、故障等级、故障位置、所属图像、故障描述,所述故障位置是经计算后的实际地理位置信息;
所述故障编辑模块,是人工确认自动检测提示的故障,对于虚报的故障,可删除,对于未检测出来的故障,可人工标识添加,同时可编辑故障的信息为:编号、等级、位置和描述;并将缺陷信息存储到数据库中;缺陷查询单元,用于查询己有的巡检缺陷,并展示查询到的缺陷;
所述故障查询模块,用于将故障信息用数据库进行存储管理,用于可按一定条件进行查询。
具体实施方式二:如图1~6所示,本实施方式所述的所述图像采集系统1用于图像获取、图像归类和图像传输,利用三部相机加装云台同时采集输电线路的相关图像,一部用于观察杆塔全貌、一部用于观察杆塔局部、一部用于观察线路;同时为了存储管理和后续处理,不同的相机所采集的图像用不同的命名规则,便于快速检索、过滤图像和分布式处理。其它组成及连接关系与具体实施方式一相同。
具体实施方式三:如图1~6所示,本实施方式所述图像存储与管理系统2中设计有相册管理4、标签管理5、日期时间管理6和地理位置管理7四种图像管理模块,相册管理4用于从文件存储的维度进行图像管理,标签管理5用于从图像类别的维度进行图像管理,日期时间管理6用于从时间的维度进行图像管理,地理位置管理7是从空间的维度进行图像管理;
所述图像存储与管理系统2中设计有相册管理4、标签管理5、日期时间管理6和地理位置管理7四种图像管理,四种管理方式是平行的,同时也是从不同的方面填补对图像管理的需求,四维涵盖,为图像管理提供了基础的骨架;
相册管理4的功能包括:新建相册、导入图像至相册、删除相册、相册间拷贝移动图像、相册属性管理、为相册设置类别、为相册设置图标;
标签管理5的功能包括:新建标签、为图像打标签、删除标签、标签属性管理;
日期时间管理6是读取图像的EXIF(ExchangeableImagefileFormat)数据段,获取图像的成像日期时间,如果无法读取EXIF数据并获取时间,则以图像文件在磁盘上最后修改日期为准,依据不同的日期时间,形成对多个图像的过滤或分组,不同的日期段放在不同的组,组可按年、月或天来划分;
地理位置管理7是划定一个经纬度坐标范围,从而将落入该坐标范围的图像过滤为一组,为该组命一个名称,形成按地理位置的多组图像管理;
所述图像存储与与管理系统2中还设计有作为后台支撑的对应数据库:包括图像数据库8、故障缺陷库10;图像数据库8用于存储待检测的输电线路图像,故障缺陷库10用于存储具有典型故障类型的输电线路图像,作为输电线路故障检测标准;故障缺陷库主要实现判读或自动检测出的故障缺陷信息,并按所属图像、故障等级、地理位置、输电设备、巡检日期关联后保存入数据库中管理。
其它组成及连接关系与具体实施方式一或二相同。
具体实施方式四:本实施方式所述故障查询模块中,按一定条件是指:按设备名称、故障位置或故障等级。其它组成及连接关系与具体实施方式一、二或三相同。
具体实施方式五:如图1~6所示,本实施方式中,图像采集系统1采集的相关图像包括全局图像、局部图像和线路图像,全局图像、局部图像和线路图像分别按不同的图像文件命名方式归类,文件名都是以图像获取的GPS经纬度作为起始,后接获取时间,然后全局图像再接W,局部图像再接P,线路图像再接L,以区分不同类别的图像。其它组成及连接关系与具体实施方式二、三或四相同。
具体实施方式六:如图1~6所示,本实施方式中,所述图像存储与与管理系统2中还包括专家知识库9,专家知识库9主要是包含输电线路设备的详细具体信息描述以及在图像中的特征描述,包括不同的季节在拍摄的图像中所呈现的不同表现。其它组成及连接关系与具体实施方式一、二、三、四或五相同。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
针对本发明再进一步阐述:
采集图像数据后输入给系统,系统采用数据库进行管理,仍以文件方式进行存储,各种格式的图像在导入系统进行显示时采用插件的方式,便于格式扩展和数据导入的管理。
类似于图像格式导入,各种图像处理的算法,同样采用插件的方式,便于同一功能多种方法实现或多种算法的统一接口调用。
数据格式导出保存也采用插件方式,与数据导入相对应,以可扩展的方式实现数据导出。
数据库管理主要包括图像数据库管理、专家知识库管理和故障缺陷库管理,图像数据库管理重点实现系统功能中提及的针对图像进行的相册管理、标签管理、日期管理和基于地理位置的管理,可基于这些管理进行查询检索,同时与这四种管理相对应的状态或属性,也给出属性编辑和属性显示;专家知识库主要是包含输电线路设备的详细具体信息描述以及在图像中的特征描述,包括不同的季节在拍摄的图像中所呈现的不同表现;故障缺陷库主要实现判读或自动检测出的故障缺陷信息按所属图像、故障等级、地理位置、输电设备、巡检日期等关联后保存入数据库中管理。数据库表设计见表。
重点是判读解译和图像智能处理,通过判读解译工具集,可以实现全人工的判读,系统提供丰富易用、人性化的判读解译工具箱,为了减少人工劳动,通过图像智能处理,首先是提取感兴趣区域,将与输电线检测无关的大量背景图像剔除,其次是通过智能算法给出故障检测的自动提示,最后是对结果进行编辑和输出。
系统功能如图3所示,逻辑结构如图4所示,全人工判读的流程如图5所示,自动提示输电线故障检测流程如图6所示。自动提示输电线路故障检测的步骤如下:
第一步,图像预处理,包括图像颜色校正和曝光补偿,重点完成图像与地理信息关联。
第二步,感兴趣区域分割,可采取的分割方法有三种:
第一种是机器学习训练的方式,针对具体的输电线设备,先训练机器,让机器能检测出设备,并进行分割剥离;
第二种主要是针对杆塔,对常用的几种杆塔进行三维建模,实际应用中,通过已经计算出相机的外参数,将三维模型按相机外参矩阵进行投影,从而可以很好地与图像中的杆塔重合,进而将杆塔区域分割出来;
第三种是利用序列图像中每一张都能观察到的输电线路设备计算相机外参矩阵,并将输电线设备匹配分割出来,抛弃背景。
第三步,针对分割好的只包含输电线路设备的图像区域进行分析,结合故障缺陷库参照、匹配,判断是否存在故障缺陷。
第四步,将检测出的故障缺陷给出提示,并进入故障缺陷模块管理、输出。

Claims (6)

1.一种基于图像视觉输电线路智能巡检系统,它包括图像采集系统(1)、图像存储与管理系统(2)和图像智能处理系统(3),图像采集系统(1)将采集的待检测的输电线路图像传给图像存储与管理系统(2),图像存储与管理系统(2)将分类标记后的图像输出给图像智能处理系统(3)进行输电线路故障检测;
其特征在于:
所述图像智能处理系统(3)是基于图像视觉输电线路智能巡检系统方案的核心系统,包括图像基本处理子系统(11)、专业算法库(12)、判读解译工具集(13)和机器学习与故障检测子系统(14);
所述图像基本处理子系统(11)用于对采集的图像进行预先处理,包括图像显示(15)、颜色调整(16)、图像增强(17)、图像变换(18)和地理位置关联(19);
图像显示(15)包括:图像多种切换显示(20)、属性显示(21);
颜色调整(16)包括:自动颜色校正,亮度、对比度调整,亮度、色度及饱和度调整,色彩白平衡,颜色层级调整,颜色曲线调整以及颜色通道混合;
图像增强(17)包括:图像锐化,噪声去除,镜头畸变校正,直方图拉伸;
图像变换(18)包括:图像尺寸调整,图像自由旋转,图像透视投影;
地理位置关联(19),根据图像获取时间和平台GPS数据,将图像与地理位置信息关联起来,便于将来通过图像发现故障后,能定位到实际线路位置;
专业算法库(12)包括图像拼接模块,序列图像三维重建辅助模块,点、线、团块等几何基元特征提取算法,颜色、纹理等快速BagOfWords分类算法,SVM、AdaBoost智能学习检测算法,贝叶斯、DS证据决策融合算法;
判读解译工具集(13)主要用于实现人机交互,完成图像观察并发现故障的任务,主要包括图像的显示、预览、放大、缩小、漫游、比对、量测、标注;
图像比对是指把两张图像关联起来,同步进行放大、缩小和漫游,操作一幅图像,另一幅自动跟着连动;
图像量测包括距离量测、角度量测、周长量测和面积量测;
标注包括文字标注和图形标注;
机器学习与故障检测子系统(14)是对不同的输电线路设备进行学习训练,让机器能够识别出输电线路设备的故障,给出智能的提示,减小全人工判读的工作量,包括故障检测模块、故障编辑模块、故障查询模块;
所述故障检测模块,通过机器学习方法检测到故障后,用红绿蓝不同颜色的椭圆来标识图像中的设备故障,并对相应故障的信息进行文本说明和描述;所述故障的信息包括故障编号、故障等级、故障位置、所属图像、故障描述,所述故障位置是经计算后的实际地理位置信息;
所述故障编辑模块,是人工确认自动检测提示的故障,对于虚报的故障,可删除,对于未检测出来的故障,可人工标识添加,同时可编辑故障的信息为:编号、等级、位置和描述;并将缺陷信息存储到数据库中;缺陷查询单元,用于查询己有的巡检缺陷,并展示查询到的缺陷;
所述故障查询模块,用于将故障信息用数据库进行存储管理,用于可按一定条件进行查询。
2.根据权利要求1所述的一种基于图像视觉输电线路智能巡检系统,其特征在于:所述图像采集系统(1)用于图像获取、图像归类和图像传输,利用三部相机加装云台同时采集输电线路的相关图像,一部用于观察杆塔全貌、一部用于观察杆塔局部、一部用于观察线路;不同的相机所采集的图像用不同的命名规则。
3.根据权利要求2所述的一种基于图像视觉输电线路智能巡检系统,其特征在于:
所述图像存储与管理系统(2)中设计有相册管理(4)、标签管理(5)、日期时间管理(6)和地理位置管理(7)四种图像管理模块,相册管理(4)用于从文件存储的维度进行图像管理,标签管理(5)用于从图像类别的维度进行图像管理,日期时间管理(6)用于从时间的维度进行图像管理,地理位置管理(7)是从空间的维度进行图像管理;
相册管理(4)的功能包括:新建相册、导入图像至相册、删除相册、相册间拷贝移动图像、相册属性管理、为相册设置类别、为相册设置图标;
标签管理(5)的功能包括:新建标签、为图像打标签、删除标签、标签属性管理;
日期时间管理(6)是读取图像的EXIF(ExchangeableImagefileFormat)数据段,获取图像的成像日期时间,如果无法读取EXIF数据并获取时间,则以图像文件在磁盘上最后修改日期为准,依据不同的日期时间,形成对多个图像的过滤或分组,不同的日期段放在不同的组,组可按年、月或天来划分;
地理位置管理(7)是划定一个经纬度坐标范围,从而将落入该坐标范围的图像过滤为一组,为该组命一个名称,形成按地理位置的多组图像管理;
所述图像存储与与管理系统(2)中还设计有作为后台支撑的对应数据库:包括图像数据库(8)、故障缺陷库(10);图像数据库(8)用于存储待检测的输电线路图像,故障缺陷库(10)用于存储具有典型故障类型的输电线路图像,作为输电线路故障检测标准;故障缺陷库主要实现判读或自动检测出的故障缺陷信息,并按所属图像、故障等级、地理位置、输电设备、巡检日期关联后保存入数据库中管理。
4.根据权利要求1、2或3所述的一种基于图像视觉输电线路智能巡检系统,其特征在于:所述故障查询模块中,按一定条件是指:按设备名称、故障位置或故障等级。
5.根据权利要求2所述的一种基于图像视觉输电线路智能巡检系统,其特征在于:所述相关图像包括全局图像、局部图像和线路图像,全局图像、局部图像和线路图像分别按不同的图像文件命名方式归类,文件名都是以图像获取的GPS经纬度作为起始,后接获取时间,然后全局图像再接W,局部图像再接P,线路图像再接L,以区分不同类别的图像。
6.根据权利要求3所述的一种基于图像视觉输电线路智能巡检系统,其特征在于:所述图像存储与与管理系统(2)中还包括专家知识库(9),专家知识库(9)主要是包含输电线路设备的详细具体信息描述以及在图像中的特征描述。
CN201510451994.3A 2015-07-28 2015-07-28 一种基于图像视觉输电线路智能巡检系统 Pending CN105141889A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510451994.3A CN105141889A (zh) 2015-07-28 2015-07-28 一种基于图像视觉输电线路智能巡检系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510451994.3A CN105141889A (zh) 2015-07-28 2015-07-28 一种基于图像视觉输电线路智能巡检系统

Publications (1)

Publication Number Publication Date
CN105141889A true CN105141889A (zh) 2015-12-09

Family

ID=54727085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510451994.3A Pending CN105141889A (zh) 2015-07-28 2015-07-28 一种基于图像视觉输电线路智能巡检系统

Country Status (1)

Country Link
CN (1) CN105141889A (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105406397A (zh) * 2015-12-14 2016-03-16 国家电网公司 输电线路运检图像的智能记录仪
CN105644788A (zh) * 2016-02-02 2016-06-08 云南电网有限责任公司昆明供电局 一种安装在多旋翼无人机上的电力巡检标记装置
CN105913402A (zh) * 2016-05-20 2016-08-31 上海海洋大学 一种基于ds证据理论的多幅遥感图像融合去噪方法
CN106123947A (zh) * 2016-06-12 2016-11-16 南宁思飞电子科技有限公司 智能电力检测系统
CN106530435A (zh) * 2016-10-29 2017-03-22 国家电网公司 基于身份认证的电力巡线检测方法
CN106646137A (zh) * 2016-12-28 2017-05-10 国网通用航空有限公司 检测输电线路的缺陷的方法、缺陷检测设备及系统
CN106791701A (zh) * 2017-01-20 2017-05-31 国网河北省电力公司衡水供电分公司 电力线路定位巡检记录仪
CN107818369A (zh) * 2017-09-13 2018-03-20 国家电网公司 变电设备故障处理方法及终端设备
CN107966914A (zh) * 2017-11-02 2018-04-27 珠海格力电器股份有限公司 显示图像的方法、装置和系统
CN108226677A (zh) * 2017-12-29 2018-06-29 武汉神宇电气有限公司 金属柜体及非标柜体故障快速检测方法及系统
CN108416061A (zh) * 2018-03-26 2018-08-17 福州大学 适用电力巡检的无人机航拍影像库建立、分类及检索方法
CN108761237A (zh) * 2018-05-29 2018-11-06 福州大学 无人机电力巡检图像关键电力部件自动诊断与标注系统
CN108961457A (zh) * 2018-04-03 2018-12-07 浙江红谱科技有限公司 基于成像技术的设备巡检方法
CN109298825A (zh) * 2018-09-30 2019-02-01 广东电网有限责任公司 图像归类方法、装置及电子终端
CN109342439A (zh) * 2018-10-22 2019-02-15 湖南拓达结构监测技术有限公司 基于无人机的索结构外观检测方法
CN109460897A (zh) * 2018-09-29 2019-03-12 中国南方电网有限责任公司超高压输电公司检修试验中心 一种基于数据审核的自学习方法
CN109564166A (zh) * 2016-07-08 2019-04-02 Ats自动化加工系统公司 用于自动和人工的组合检查的系统和方法
CN109659027A (zh) * 2018-11-30 2019-04-19 贵州电网有限责任公司 Gis设备数字射线图像双屏同区域同步放大诊断方法及装置
WO2019075916A1 (zh) * 2017-10-19 2019-04-25 中领世能(天津)科技有限公司 一种信号分辨处理单元、分辨处理信号的方法及计算机可读介质
CN109740858A (zh) * 2018-12-11 2019-05-10 国电南瑞科技股份有限公司 基于深度学习的自动化辅助决策系统及方法
CN109978806A (zh) * 2019-03-22 2019-07-05 云南谦实科技有限公司 一种基于多光谱成像仪进行线路隐患检查的方法、装置及计算机介质
TWI697846B (zh) * 2018-11-26 2020-07-01 財團法人工業技術研究院 物體辨識方法及其裝置
CN111562267A (zh) * 2020-05-29 2020-08-21 重庆施鲁逊智能科技有限公司 用于汽车保险盒装配的视觉检测系统
CN111787275A (zh) * 2020-06-11 2020-10-16 重庆东电通信技术有限公司 基于人工智能的输配电装备运维方法
CN111812545A (zh) * 2020-07-07 2020-10-23 苏州精濑光电有限公司 线路缺陷检测方法、装置、设备及介质
CN112348085A (zh) * 2020-11-06 2021-02-09 广西电网有限责任公司钦州供电局 一种电力数据监测系统与方法
CN112636256A (zh) * 2021-03-08 2021-04-09 国网山东省电力公司临朐县供电公司 一种高空输电线路检修系统
CN112960132A (zh) * 2021-03-26 2021-06-15 中国能源建设集团江苏省电力设计院有限公司 分布式共享机巢及其电力线路无人机巡检方法
CN113052941A (zh) * 2021-03-15 2021-06-29 中国能源建设集团江苏省电力设计院有限公司 一种区域电力设施状态分析方法及图像采集方法
CN113254693A (zh) * 2020-01-28 2021-08-13 通用汽车环球科技运作有限责任公司 用于部件故障分析的图像识别和检索
CN113601536A (zh) * 2021-10-11 2021-11-05 国网智能科技股份有限公司 一种配网车载智能巡检机器人系统及方法
CN114035608A (zh) * 2021-11-10 2022-02-11 广东电网能源发展有限公司 基于无人机的巡检培训方法、系统、培训终端和存储介质
US11561251B2 (en) 2018-08-01 2023-01-24 Florida Power & Light Company Remote autonomous inspection of utility system components utilizing drones and rovers

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389004A (zh) * 2007-09-13 2009-03-18 中国科学院自动化研究所 一种基于在线学习的运动目标分类方法
EP2503522A1 (de) * 2011-03-21 2012-09-26 Bizerba GmbH & Co. KG Verfahren betreffend den Betrieb von bilderkennenden Geräten, insbesondere Ladenwaagen
CN103886189A (zh) * 2014-03-07 2014-06-25 国家电网公司 用于无人机巡检的巡检结果数据处理系统及方法
CN104077872A (zh) * 2014-05-13 2014-10-01 国家电网公司 一种基于图像识别的输电线路防外力监控预警方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389004A (zh) * 2007-09-13 2009-03-18 中国科学院自动化研究所 一种基于在线学习的运动目标分类方法
EP2503522A1 (de) * 2011-03-21 2012-09-26 Bizerba GmbH & Co. KG Verfahren betreffend den Betrieb von bilderkennenden Geräten, insbesondere Ladenwaagen
CN103886189A (zh) * 2014-03-07 2014-06-25 国家电网公司 用于无人机巡检的巡检结果数据处理系统及方法
CN104077872A (zh) * 2014-05-13 2014-10-01 国家电网公司 一种基于图像识别的输电线路防外力监控预警方法

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105406397A (zh) * 2015-12-14 2016-03-16 国家电网公司 输电线路运检图像的智能记录仪
CN105644788A (zh) * 2016-02-02 2016-06-08 云南电网有限责任公司昆明供电局 一种安装在多旋翼无人机上的电力巡检标记装置
CN105913402A (zh) * 2016-05-20 2016-08-31 上海海洋大学 一种基于ds证据理论的多幅遥感图像融合去噪方法
CN105913402B (zh) * 2016-05-20 2019-04-16 上海海洋大学 一种基于ds证据理论的多幅遥感图像融合去噪方法
CN106123947A (zh) * 2016-06-12 2016-11-16 南宁思飞电子科技有限公司 智能电力检测系统
CN109564166A (zh) * 2016-07-08 2019-04-02 Ats自动化加工系统公司 用于自动和人工的组合检查的系统和方法
CN106530435A (zh) * 2016-10-29 2017-03-22 国家电网公司 基于身份认证的电力巡线检测方法
CN106646137A (zh) * 2016-12-28 2017-05-10 国网通用航空有限公司 检测输电线路的缺陷的方法、缺陷检测设备及系统
CN106791701A (zh) * 2017-01-20 2017-05-31 国网河北省电力公司衡水供电分公司 电力线路定位巡检记录仪
CN107818369A (zh) * 2017-09-13 2018-03-20 国家电网公司 变电设备故障处理方法及终端设备
WO2019075916A1 (zh) * 2017-10-19 2019-04-25 中领世能(天津)科技有限公司 一种信号分辨处理单元、分辨处理信号的方法及计算机可读介质
CN107966914A (zh) * 2017-11-02 2018-04-27 珠海格力电器股份有限公司 显示图像的方法、装置和系统
CN108226677A (zh) * 2017-12-29 2018-06-29 武汉神宇电气有限公司 金属柜体及非标柜体故障快速检测方法及系统
CN108416061A (zh) * 2018-03-26 2018-08-17 福州大学 适用电力巡检的无人机航拍影像库建立、分类及检索方法
CN108961457A (zh) * 2018-04-03 2018-12-07 浙江红谱科技有限公司 基于成像技术的设备巡检方法
CN108761237A (zh) * 2018-05-29 2018-11-06 福州大学 无人机电力巡检图像关键电力部件自动诊断与标注系统
US11561251B2 (en) 2018-08-01 2023-01-24 Florida Power & Light Company Remote autonomous inspection of utility system components utilizing drones and rovers
CN109460897A (zh) * 2018-09-29 2019-03-12 中国南方电网有限责任公司超高压输电公司检修试验中心 一种基于数据审核的自学习方法
CN109298825A (zh) * 2018-09-30 2019-02-01 广东电网有限责任公司 图像归类方法、装置及电子终端
CN109298825B (zh) * 2018-09-30 2020-11-06 广东电网有限责任公司 图像归类方法、装置及电子终端
CN109342439A (zh) * 2018-10-22 2019-02-15 湖南拓达结构监测技术有限公司 基于无人机的索结构外观检测方法
CN109342439B (zh) * 2018-10-22 2021-05-25 湖南拓达结构监测技术有限公司 基于无人机的索结构外观检测方法
TWI697846B (zh) * 2018-11-26 2020-07-01 財團法人工業技術研究院 物體辨識方法及其裝置
US11069084B2 (en) 2018-11-26 2021-07-20 Industrial Technology Research Institute Object identification method and device
CN109659027A (zh) * 2018-11-30 2019-04-19 贵州电网有限责任公司 Gis设备数字射线图像双屏同区域同步放大诊断方法及装置
CN109740858A (zh) * 2018-12-11 2019-05-10 国电南瑞科技股份有限公司 基于深度学习的自动化辅助决策系统及方法
CN109978806A (zh) * 2019-03-22 2019-07-05 云南谦实科技有限公司 一种基于多光谱成像仪进行线路隐患检查的方法、装置及计算机介质
CN113254693A (zh) * 2020-01-28 2021-08-13 通用汽车环球科技运作有限责任公司 用于部件故障分析的图像识别和检索
CN111562267A (zh) * 2020-05-29 2020-08-21 重庆施鲁逊智能科技有限公司 用于汽车保险盒装配的视觉检测系统
CN111787275A (zh) * 2020-06-11 2020-10-16 重庆东电通信技术有限公司 基于人工智能的输配电装备运维方法
CN111812545A (zh) * 2020-07-07 2020-10-23 苏州精濑光电有限公司 线路缺陷检测方法、装置、设备及介质
CN112348085A (zh) * 2020-11-06 2021-02-09 广西电网有限责任公司钦州供电局 一种电力数据监测系统与方法
CN112348085B (zh) * 2020-11-06 2024-04-09 广西电网有限责任公司钦州供电局 一种电力数据监测系统与方法
CN112636256A (zh) * 2021-03-08 2021-04-09 国网山东省电力公司临朐县供电公司 一种高空输电线路检修系统
CN112636256B (zh) * 2021-03-08 2021-07-06 国网山东省电力公司临朐县供电公司 一种高空输电线路检修系统
CN113052941B (zh) * 2021-03-15 2022-06-10 中国能源建设集团江苏省电力设计院有限公司 一种区域电力设施状态分析方法及图像采集方法
CN113052941A (zh) * 2021-03-15 2021-06-29 中国能源建设集团江苏省电力设计院有限公司 一种区域电力设施状态分析方法及图像采集方法
CN112960132A (zh) * 2021-03-26 2021-06-15 中国能源建设集团江苏省电力设计院有限公司 分布式共享机巢及其电力线路无人机巡检方法
CN112960132B (zh) * 2021-03-26 2021-12-07 中国能源建设集团江苏省电力设计院有限公司 分布式共享机巢及其电力线路无人机巡检方法
CN113601536B (zh) * 2021-10-11 2022-03-18 国网智能科技股份有限公司 一种配网车载智能巡检机器人系统及方法
CN113601536A (zh) * 2021-10-11 2021-11-05 国网智能科技股份有限公司 一种配网车载智能巡检机器人系统及方法
CN114035608A (zh) * 2021-11-10 2022-02-11 广东电网能源发展有限公司 基于无人机的巡检培训方法、系统、培训终端和存储介质

Similar Documents

Publication Publication Date Title
CN105141889A (zh) 一种基于图像视觉输电线路智能巡检系统
Brabyn et al. Using viewsheds, GIS, and a landscape classification to tag landscape photographs
US20100171763A1 (en) Organizing Digital Images Based on Locations of Capture
KR20120092644A (ko) 사진 콜렉션에서 이벤트들을 생성하고 라벨링하는 방법 및 시스템
CN107408212A (zh) 用于识别存储在设备上的不需要的照片的系统和方法
JP2007206919A (ja) 表示制御装置および方法、プログラム、並びに記録媒体
CN103049549A (zh) 一种海岛数据管理方法和系统
CN110597768A (zh) 无人机输电通道巡检数据处理方法、系统、存储介质及设备
Xiao et al. Treetop detection using convolutional neural networks trained through automatically generated pseudo labels
CN103870598B (zh) 一种无人机侦察视频信息提取与分层编目方法
US10304194B2 (en) Method for quantifying produce shape
CN112907740A (zh) 基于gis的不动产可视化展示方法及系统
Zhang et al. UAV‐derived imagery for vegetation structure estimation in rangelands: validation and application
CN109688223B (zh) 生态环境数据资源共享方法及装置
CN116258967B (zh) 一种基于改进SNUNet-CD的城市违建变化检测方法
Mariano et al. Modeling plant phenology database: Blending near-surface remote phenology with on-the-ground observations
Pollayil et al. Robotic monitoring of forests: a dataset from the EU habitat 9210* in the Tuscan Apennines (central Italy)
Takaya et al. Automatic detection of alien plant species in action camera images using the chopped picture method and the potential of citizen science
KR20160120955A (ko) 수변구조물 피해탐지를 위한 대용량 다차원 영상정보 가시화 모듈 개발
CN109325139A (zh) 草原生态数据的处理方法及装置
CN103530879A (zh) 特定场景下的行人颜色提取方法
KR101033302B1 (ko) 2차원 그리드 기반의 대용량 디지털 사진 관리 시스템 및 방법
Cao et al. Monitoring cross-border trails using airborne digital multispectral imagery and interactive image analysis techniques
Permana et al. Analysis of aerial photography with unmanned aerial vehicle (uav) using ecognition developer to estimate the number of trees in the forest area
Lee et al. A solar power generation facility state monitoring system using drone aerial photographing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Liu Shenglong

Inventor after: Wang Xiaoyu

Inventor after: Han Bing

Inventor after: Geng Zhenwei

Inventor after: Shang Fang

Inventor after: Zhang Tong

Inventor after: Liu Sheng

Inventor before: Wang Xiaoyu

Inventor before: Han Bing

Inventor before: Geng Zhenwei

Inventor before: Shang Fang

Inventor before: Zhang Tong

Inventor before: Liu Sheng

COR Change of bibliographic data
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Liu Shenglong

Inventor after: Wang Xiaoyu

Inventor after: Han Bing

Inventor after: Geng Zhenwei

Inventor after: Shang Fang

Inventor after: Hao Wenbo

Inventor after: Zhang Tong

Inventor after: Liu Sheng

Inventor before: Liu Shenglong

Inventor before: Wang Xiaoyu

Inventor before: Han Bing

Inventor before: Geng Zhenwei

Inventor before: Shang Fang

Inventor before: Zhang Tong

Inventor before: Liu Sheng

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151209