基于视觉注意机制的标靶图像识别输电线路状态监测系统
技术领域
本发明涉及一种基于视觉注意机制的标靶图像识别输电线路状态监测系统,属于输电线路状态监测系统技术领域。
背景技术
输电线路状态监测系统是国家智能电网建设,打造统一坚强智能化电网的重要环节,是以通信、信息和控制技术为支撑的智能监测系统,是实现输电线路的外力破坏、杆塔倾斜、导线温度、污秽、覆冰、风雨、风偏、舞动、通道状况的全天候在线监测应用系统,是实现线路运行状态评估、故障诊断、状态检修和风险预警,实现线路运行状态的可控、能控和在控的重要手段和有效方法。导线弧垂、导线温度和导线周围环境气象状况是高压输电线路设计和运行时的主要技术指标,由于线路运行负荷加大引起导线温度升高,这将造成导线弧垂变化;另外,因为导线覆冰灾害以及线路通道内树木生长高度等周围环境变化,也会使得导线高度处于不安全运行状态。虽然在设计导线的初始阶段已经考虑了以上诸多因素,但由于高压输电线路横跨山沟、河流、道路、森林等地区,线路的运行状态仍然需要不定期维护;除此之外,输电线路超负荷运行等客观因素的存在,会增加线路运行状态的安全隐患。
近几年来,输电线路状态监测系统已经在全国电网当中大面积的推广应用,对灾害预测、状态检修、提高电网安全输送能力起到了很大的作用,但通过一段时期的实际应用出现了诸多问题和矛盾,主要集中体现在如下几个方面:
现有基于图像识别的输电线路状态监测系统的传统做法是:对导线和绝缘子图像进行直接的处理和识别,这种方法在复杂背景情况下,比如大雾、沙尘、冰雪、昏暗光线以及混乱景物等背景环境下采集到的图像,线路或绝缘子缺少明显的特征,对目标图像识别带来很大困难,虽然技术上做了大量的图像算法研究和实践,但都是基于事后处理办法,算法中带有像素补偿、模糊规则推理和图像配准等事后技术处理手段,准确性和可靠性的提高都依赖于经验数据统计和分析,使得现有的基于图像识别的输电线路状态监测系统仅仅是定性监测。
高压输电线路大部分地处山林河流或野外空旷地区,在复杂环境背景和气候条件下,比如大雾、沙尘、冰雪、昏暗光线等,直接拍摄到的导线和绝缘子照片常常场景混杂。要从这些照片中较精确的识别导线和绝缘子,已有文献、专利和试制性的基于图像识别的输电线路状态如导线弧垂、导线覆冰、杆塔倾斜、导线风偏、导线舞动、绝缘子裂纹等监测系统传统做法是彩色图像转化为灰度图像,灰度图像二值化处理后得到的图像,往往背景图案和导线及绝缘子交织在一起,特别是负责环境背景和恶略气候条件下照片,经过处理后的导线及绝缘子仍然轮廓模糊,已有文献和产品出现了很多图像算法,技术手段也不断提升,直接图像识别成功率和可靠率都不高,只有依赖后处理技术进行补偿。
对于整个综合处理和判断分析过程的核心技术,已有报道的输电线路状态监测系统状态预测有很多种方法,其中基于BP神经网络的状态预测方法是目前中研究最深入,应用最为广泛的一种应用模型,利用人工神经网络的学习功能,用大量的样本对其进行训练,调整连接权值和阈值,然后就可以利用已经确定的网络对通过状态监测获得的时间序列数据进行预测。但目前输电线路在线监测系统状态监测应用还只有不到5年时间,基于BP神经网络技术的状态监测和预测,系统存在着在样本数据较少的情况下造成预测结果不稳定从而照成应用推广能力差等问题。
综上所述,现有的输电线路状态监测系统仍然存在急需改进的地方。
发明内容
本发明的目的在于:提供一种基于视觉注意机制的标靶图像识别输电线路状态监测系统,在达到同等功能要求和满足国家电网相关技术规范的件下,实现技术和性能的全面改进提升,实现在任何复杂天气条件如大雾、沙尘、冰雪、昏暗光线等的全天候在线监测,并大幅提高图像识别效率和输电线路状态检测准确度,从而能有效的解决上述现有技术中存在的问题。
本发明目的通过下述技术方案来实现:一种基于视觉注意机制的标靶图像识别输电线路状态监测系统,所述系统包括设于杆塔上的监测装置和线路上的监测装置以及监控中心,
所述杆塔上的监测装置包括数据图像采集终端、主控单元和风光互补系统,
数据图像采集终端,采集现场监测数据和视频图像,提供给主控单元,并接受主控单元的控制;包括温湿度传感器、风速风向传感器和CCD高清摄像机;
主控单元,铁塔上安装负责数据处理、系统控制和数据传输;
风光互补系统,采用太阳能和风能给监测装置提供电能;
所述线路上的监测装置包括线路上的采集终端、线路上的主控单元和电流感应取电装置,
线路上的采集终端,包括温度传感器和标靶;
线路上的主控单元,负责数据处理、系统控制和数据传输;
电流感应取电装置,采用CT感应取电装置配合锂电池储能作为供电系统;
所述杆塔上的监测装置和线路上的监测装置都将数据经无线视频和数据通讯单元由GPRS/EDGE/3G网络发送至监控中心。
作为一种优选方式,数据和图像经监控中心应用服务器上的应用软件进行解码、存储,实时被客户端软件调用,监控中心的客户端软件发送远程操控指令数据,由Internet网络经GPRS/EDGE/3G网络发送到铁塔上的无线视频和数据通讯单元,再被传送到系统控制和数据处理单元,对指令数据进行解码,按照指令类型执行相关的指令控制。
作为进一步优选方式,所述主控单元包括:
系统控制和数据处理单元,负责数据和图像处理,实现多线程实时数据处理、图像处理识别和客户远程指令遥控;
无线视频和数据通讯单元,负责数据的收发,支持GPRS/EDGE/3G/WiFi和有线网络通讯传输,H.264视频编码视频图像传输和监测数据电力规定的的通讯协议数据传输;
多路供电单元,对现场采集终端设备采取可控供电方式,;
多路接口单元,将采集终端设备接入到主控单元,支持RS232/RS485/100M Ethernet/USB2.0/VGA接口。
作为进一步优选方式,所述线路上的主控单元包括:
系统控制和数据处理单元,采用嵌入式ARM CPU,实现数据处理和系统控制;
无线数据传输单元,为GPRS/EDGE通讯传输;
多路供电单元,对现场采集终端设备采取可控供电方式;
多路接口单元,将采集终端设备接入到主控单元,支持RS232/RS485接口。
作为进一步优选方式,所述线路上的标靶为圆环状包围一个中心点的形状,采用热线夹固定安装在导线上,为铁塔上安装的摄像机提供基准标定点,用于图像识别。
作为一种优选方式,所述标靶为被动反射光无源标靶,在杆塔上安装低能耗的远距离激光灯,发射频率范围在808nm的激光打在标靶上,标靶的圆环和中心点采用反光材料制成。
作为另外一种优选方式,所述标靶为主动发光有源标靶,标靶圆环和中心点安装有红外灯,红外灯的供电采用感应取电装置。
与现有技术相比,本发明的有益效果如下:整个系统是一个软硬件结合的集自动控制、计算机数据处理、通讯为一体的综合性应用系统,能够满足国家电网相关技术规范,实现技术和性能的全面改进提升,实现了在任何复杂天气条件下,例如大雾、沙尘、冰雪、昏暗光线等的全天候在线监测,并大幅提高了图像识别效率和输电线路状态检测准确度;其具体来说,具备以下优点:
1.利用标靶作为输电线路状态监测的图像识别目标与状态测量基准点,从而实现了基于图像识别的输电线路状态的定量测量;
2.基于视觉注意机制的输电线路状态监测图像预处理技术及显著目标边缘提取技术,可以很快的提取出标靶的边缘并精准的识别定位标靶中心点坐标,采用视觉注意机制的图像分析和处理相比较传统的图像处理过程可以大大降低图像分析过程的复杂度,节省计算资源,提高图像分析和处理的效率和准确度;
3.基于支持向量机的输电线路状态人工智能监测和预测技术,采用支持向量机算法,使得实时监测和预测系统在恶劣条件下仍然具有良好的预测能力,每次预测都可以得到回归式是唯一的,并使得神经网络训练时间缩短,应用大大简化的目的;保证在先验知识不足的情况下,仍有较好的分类正确率,从而使得整个状态检测系统具有较好的检测性能。
附图说明
图1为基于视觉注意机制的标靶目标图像识别输电线路状态监测系统前端监测装置结构图;
图2为基于视觉注意机制的标靶目标图像识别输电线路状态监测系统监测软件结构图;
图3为基于视觉注意机制的标靶目标图像识别输电线路状态监测系统主站功能结构图;
图4为基于视觉注意机制的标靶目标图像识别输电线路状态监测系统的标靶结构图;
图5为基于视觉注意机制的标靶目标图像预处理和特征提取方法模型;
图6为基于视觉注意机制的标靶目标图像识别输电线路状态监测系统导线弧垂监测的软件识别流程图;
图7为基于视觉注意机制的标靶目标图像识别输电线路状态监测系统导线覆冰厚度监测的软件流程图;
图8为基于视觉注意机制的标靶目标图像识别输电线路状态监测系统线路通道区域监测的软件流程图;
图9为基于视觉注意机制的标靶目标图像识别输电线路状态监测系统导线风偏监测的软件流程图。
图4中:12-标靶。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了相互排斥的特质和/或步骤以外,均可以以任何方式组合,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换,即,除非特别叙述,每个特征之一系列等效或类似特征中的一个实施例而已。
如图1所示,一种基于视觉注意机制的标靶图像识别输电线路状态监测系统,所述系统包括设于杆塔上的监测装置和线路上的监测装置以及监控中心,所述杆塔上的监测装置包括数据图像采集终端、主控单元和风光互补系统,
数据图像采集终端,采集终端采集现场监测数据和视频图像,提供给主控单元,并接受主控单元的控制。主要包括温湿度传感器、风速风向传感器和CCD高清摄像机,采集终端可以根据用户的需求进行组件化安装,可增配光照传感器、雨量传感器和大气压传感器等。
主控单元,铁塔上安装负责数据处理、系统控制和数据传输;
所述主控单元包括:
系统控制和数据处理单元,负责数据和图像处理,采用工业级低功耗的486DX CPU嵌入式主板,XPE操作系统,实现多线程实时数据处理、图像处理识别和客户远程指令遥控。
无线视频和数据通讯单元,负责数据的收发,支持GPRS/EDGE/3G/WiFi和有线网络通讯传输,H.264视频编码视频图像传输和监测数据电力规定的的通讯协议数据传输。
多路供电单元,对现场采集终端设备采取可控供电方式,达到低功耗的目的。
多路接口单元,将采集终端设备接入到主控单元,支持RS232/RS485/100M Ethernet/USB2.0/VGA接口。
风光互补系统,采用太阳能和风能给监测装置提供电能,获取100AH,12VDC储能电量,确保在无阳光下设备能稳定工作7天以上。
所述线路上的监测装置包括线路上的采集终端、线路上的主控单元和电流感应取电装置,
线路上的采集终端,包括温度传感器和标靶12;
线路上的主控单元,负责数据处理、系统控制和数据传输;
所述线路上的主控单元包括:
系统控制和数据处理单元,采用嵌入式ARM CPU,实现数据处理和系统控制;
无线数据传输单元,为GPRS/EDGE通讯传输;
多路供电单元,对现场采集终端设备采取可控供电方式;
多路接口单元,将采集终端设备接入到主控单元,支持RS232/RS485接口。
电流感应取电装置,电流超过1KA以上过压保护、大电流冲击保护和线路停电或低电流情况下的锂电池充放电控制。
所述风光互补供电系统的输出端与主控单元的输入端相连,所数据图像采集终端的输出端一路通过多路接口单元与数据处理单元相连,另一路通过多路供电单元与数据处理单元相连,数据处理单元通过无线视频和数据通讯单元与线路上安装的监控系统以及监控中心相连;所述电流感应取电装置的输出端与线路上主控单元的输入端相连,系统控制和书籍处理单元(MCU&DPS)通过线路上的无线数据通讯单元与线路上的主控单元相连,主控单元一路通过线路上的多路接口单元与导线温度传感器和标靶相连,另一路通过多路供电单元与导线温度传感器和标靶相连。
所述监控中心包括防火墙、数据库服务器、应用服务器和交换机和路由器;所述杆塔上的监测装置和线路上的监测装置都将数据经无线视频和数据通讯单元由GPRS/EDGE/3G网络发送至监控中心;数据和图像经监控中心应用服务器上的应用软件进行解码、存储,实时被客户端软件调用,监控中心的客户端软件发送远程操控指令数据,由Internet网络经GPRS/EDGE/3G网络发送到铁塔上的无线视频和数据通讯单元,再被传送到系统控制和数据处理单元,对指令数据进行解码,按照指令类型执行相关的指令控制。
如图2所示,整个系统软件包括安装在前端监测装置中的嵌入式软件和安装在监控中心服务器中的软件。其主要功能如下:
1)、前端主控软件运行在“数据处理及系统控制单元”设备中,基于MFC多线程处理系统,是数据通讯协议处理、图像识别和系统遥控的嵌入式软件系统。
2)、后端应用软件是介于客户端和前端的中间层服务系统,提供视频解码分发服务、实时数据解码存储和转发服务以及基于TCP/WEB的访问服务。
3)、后端客户端软件以图表和虚拟仪表的展现形式实时显示监测数据和数据变化曲线图,提供阀值设定和预警,对前端装置进行远程遥控管理,并以3D GIS技术实时输电线路的管理,其具体实现功能如图3所示。
如图4-图9所示,整个系统是一个软硬件结合的集自动控制、计算机数据处理、通讯为一体的综合性应用系统,其工作过程是:安装在杆塔上的温湿度传感器、风速风向传感器和CCD高清摄像机和安装在导线上的温度传感器统称为采集终端,用于采集杆塔环境周围的温湿度和风速风向微气象数据,CCD高清摄像机正对着导线方向,用于实时或定时获取导线的图像数据,安装在导线上的温度传感器紧贴导线表面,实时或定时采集导线的温度。采集终端获取的数据,经主控单元中的接口单元上的RS485/RJ45接口进入系统控制和数据处理单元,系统控制和数据处理单元对传感器数据按照MODBUS通讯协议或国网规范协议进行编码,同时对图像数据进行处理,调用软件识别模块,得到导线图像坐标数据,例如:图像中的标靶的坐标数据、图像中被监测一段导线的外部边界数据、图像中一块线路区域的视场数据、图像中被监测一段导线的相对位置坐标数据等,这些数据都经无线视频和数据通讯单元由GPRS/EDGE/3G网络经Internet网络发送至监控中心。所有的数据和图像经监控中心的应用服务器上的应用软件进行解码、存储,实时被客户端软件调用完成。监控中心的客户端软件发送远程操控指令数据,例如:拍照、数据采集、通断电、聚焦等,由Internet网络经GPRS/EDGE/3G网络发送到铁塔上的无线视频和数据通讯单元,再被传送到系统控制和数据处理单元,对指令数据进行解码,按照指令类型执行相关的指令控制。
如图4所示的标靶,其整个形状为圆环状包围一个中心点,图像识别是以图像中的标靶作为提取特征,并根据图像幅面获得标靶的基准坐标点。标靶采用热线夹固定安装在导线上。为了在夜晚或能见度较低的情况下摄像机能看清标靶,采用两种可选的设计方案,一是被动反射光无源标靶,在杆塔上安装使用了低能耗的远距离激光灯,发射频率范围在808nm的激光打在标靶上,标靶的圆环和中心点采用反光材料制成。第二种是主动发光有源标靶,标靶圆环和中心点安装有红外灯,红外灯的供电采用感应取电装置,功耗只有12V50mA,感应取电装置在110KV以上线路上,启动电流小于50A,就能满足供电需要。红外灯在逻辑电路驱动下进行频闪,人肉眼看不见,杆塔上的摄像机可以捕获到闪烁亮点,进行图像位置识别。
本监测系统能够满足国家电网相关技术规范,实现技术和性能的全面改进提升,实现了在任何复杂天气条件下,例如大雾、沙尘、冰雪、昏暗光线等的全天候在线监测,并大幅提高了图像识别效率和输电线路状态检测准确度。
具体在本实施例中,所述监测系统包括以下内容:
1.利用标靶作为输电线路状态监测的图像识别目标与状态测量基准点
所述标靶是类似“枪靶”的方形铝制板面,整个底板为黑色,中间由一个具有反光涂喷涂的白色圆环加一个白色中心圆点图案构成,根据需要,圆环和中心圆点加有低功耗的红外LED灯,在夜间时候,在数字电路控制下会自动发出频闪红外光,采用高能电池供电,实现3年免维护。在被监测的输电线路或绝缘子上挂装标靶目标,在复杂背景和恶劣的气象情况下所采集到的输电线路或导线图像,由于标靶独特的形状特征,使得被监测对象能够实现精准的图像定位识别,再利用后端先进的图像处理和识别技术,大大提高了目标的识别率和精准率,并以精确到像素级的标靶中心圆点坐标值作为被监测对象位置移动的基准点,从而实现了基于图像识别的输电线路状态,例如导线弧垂、导线覆冰、杆塔倾斜、导线风偏、导线舞动、导线通道安全区域等的定量测量。
2.基于视觉注意机制的输电线路状态监测图像预处理技术及显著目标边缘提取技术
在图像源上,采用挂接在导线和绝缘子上的标靶作为识别目标,利用标靶在图像中显著度最高的特征,以标靶作为参照物和基准点对导线和绝缘子的位置进行目标提取和定位。基于显著目标的机理,采用基于视觉注意机制更适合更快更准确地提取标靶目标图形,并更精准定位导线和绝缘子状态,例如导线弧垂、导线覆冰、杆塔倾斜、导线风偏、导线舞动、导线通道安全区域等。
所述视觉注意机制也称为图像显著目标识别,是指面对一个复杂的场景,模拟人类视觉系统迅速地将注意力集中在少数几个显著的视觉对象上的过程,是针对图像中的某一具体物体的亮度、对比度和饱和度特征(HSL)进行图像处理的过程技术,采用视觉注意机制的图像分析和处理先决条件是图像上的识别目标必须是可显著化的。
标靶在整个图像当中是最明显的特征对象,通过基于视觉注意机制的处理,得到标靶的HSL特征值也是最特殊的,可以很快的提取出标靶的边缘并精准的识别定位标靶中心点坐标,采用视觉注意机制的图像分析和处理相比较传统的图像处理过程可以大大降低图像分析过程的复杂度,节省计算资源,提高图像分析和处理的效率和准确度。
3.基于支持向量机的输电线路状态人工智能监测和预测技术
对挂接在导线和绝缘子上的标靶目标图像采集,并采用视觉注意机制技术进行图像预处理和形状特征提取,实现标靶目标中心圆点位置定位,得到相对坐标值,将这些数据通过几何算法,得到对应的实时状态数据,然后将这些实时状态数据进行综合处理和判断分析,提取状态特征向量按照算法进行预测分析,若根据现场的要求设定设备的报警阈值,就可以实现对运行状态的实时监测,并能预测将来一段时间内设备的运行状态趋势。对于整个综合处理和判断分析过程的核心技术。采用支持向量机算法,使得实时监测和预测系统在小样本(即先验知识少的恶劣条件)仍然具有良好的预测能力,每次预测都可以得到回归式是唯一的,并使得神经网络训练时间缩短,应用大大简化的目的。
所述支持向量机(support vector machines)是一种建立在统计学习理论基础之上的机器学习方法,其特点是根据Vapnik结构风险最小化原则,尽量提高学习机的泛化能力,即由有限的训练集样本得到小的误差仍然能够保证对独立的测试集保持小的误差,另外,由于支持向量算法是一个凸优化问题,所以局部最优解一定是全局最优解,这是其他学习算法所不及的。将支持向量机应用到输电线路状态检测中,可以保证在先验知识不足的情况下,支持向量机分类器仍有较好的分类正确率,从而使得整个状态检测系统具有较好的检测性能。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。