CN104851144B - 具有自适应偏振镜调节的巡检机器人图像处理系统及方法 - Google Patents

具有自适应偏振镜调节的巡检机器人图像处理系统及方法 Download PDF

Info

Publication number
CN104851144B
CN104851144B CN201510290300.2A CN201510290300A CN104851144B CN 104851144 B CN104851144 B CN 104851144B CN 201510290300 A CN201510290300 A CN 201510290300A CN 104851144 B CN104851144 B CN 104851144B
Authority
CN
China
Prior art keywords
polariscope
angle
image
equipment
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510290300.2A
Other languages
English (en)
Other versions
CN104851144A (zh
Inventor
高彬桓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gao Binhuan
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201510290300.2A priority Critical patent/CN104851144B/zh
Publication of CN104851144A publication Critical patent/CN104851144A/zh
Application granted granted Critical
Publication of CN104851144B publication Critical patent/CN104851144B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种具有自适应偏振镜调节的巡检机器人图像处理系统及方法,系统包括巡检机器人本体、图像采集机构、偏振镜和偏振镜自动旋转驱动装置,其中,图像采集机构设置于巡检机器人本体前端,用于采集变电站内的视频、图像数据,偏振镜设置于图像采集机构前端,偏振镜固定于偏振镜自动旋转驱动装置上,使得相机的光轴垂直穿过偏振镜的中心,并且偏振镜以可见光相机的光轴为中心轴旋转。本发明解决了以往由于眩光、反光、阴影干扰等原因造成的个别仪表指数识别的错误问题,使机器人能够观测电力设备运行状态细节,实现了巡检机器人对变电站设备全覆盖进行观测的目标,保障变电站设备安全运行。

Description

具有自适应偏振镜调节的巡检机器人图像处理系统及方法
技术领域
本发明涉及一种具有自适应偏振镜调节的巡检机器人图像处理系统及方法。
背景技术
变电站设备巡检机器人是基于自主导航、精确定位、自动充电的室外全天候移动平台,集成可见光、红外、声音等传感器;基于磁轨迹和路面特殊布置的RFID标签,实现巡检机器人的最优路径规划和双向行走,将被检测设备的视频、图像数据通过无线网络传输到监控室;巡检后台系统通过对待检设备的图像处理和模式识别等技术,结合设备图像模板库,实现对设备缺陷、分合状态、外观异常的判别,以及仪表读数、油位计位置的识别;并配合智能变电站顺控操作系统实现被控设备状态的自动校核(见参考文献1)。
首先来了解一下巡检机器人对变电站设备检测识别的基本流程:在执行巡检任务前,需要将机器人拍摄的变电站每一个预置位的设备图像都保存到模板库中,模板库中的设备图像和变电站的设备是一一对应的,在向巡检机器人下达巡检任务时,要将在每个预置停车位拍摄模板图像的各项参数(如,云台角度,相机焦距等)明确的指出,在巡检机器人行进至此预置停车位后,依照该设备的模板配置图像的采集方式进行姿态调整,拍摄实时的设备图像并将图像回传至上层模式识别服务器,通过实时图像与模板图像的匹配进行设备区域标定及设备工作状态识别。
由此可见,机器人对设备工作状态的图像采集质量关系到整个巡检任务的结果。变电站设备的模板图像是由人工操作机器人进行采集,往往选择光线照射柔和、清晰度良好的图像作为该设备的模板。但是在实际的机器人巡检过程中,强烈阳光的照射、设备的反光、明亮的天空背景、眩光等很多因素制约着设备图像的采集工作。这些不利于摄影工作的因素有碍机器人对变电站设备运行状态进行准确的模式识别。具体影响例如:
(1)设备的反光:也称眩光,仪表是变电站中非常常见又相当重要的设备,也是巡检机器人需要重点观测的对象,普通的500kv变电站中,约有700至800块各式的仪表设备遍布在整个变电站的装置当中。无论数字显示的仪表或是指针式仪表,犹如我们常见的钟表一般均在表盘外有一块起到保护作用的玻璃罩。变电站巡检机器人身高1.1米,在观测仪表设备时基本处于“仰视”的状态,而仪表朝向是多方向的,并非规则的面向机器人的巡检路线,甚至有些处于装置顶端的设备在人工抄表时需要攀登近距离观测。由于玻璃表盘与仪表的设置方向,在晴朗的天气下机器人进行巡检任务时,总会或多或少的有一部分仪表反射阳光,使机器人不能采集到仪表指针或示数等细节,造成状态识别的障碍。
(2)反射其它设备的阴影:除却仪表设备,变电站中会为某些精密设备安装铁柜加以保护,但又为了便于观测柜内的设备状态,柜门以玻璃门制作,如汇控柜、配电柜等。这一层玻璃门虽然不易反射太阳光,但是由于面积较大经常反射其他装置的倒影,使得机器人拍摄的图像无法透过玻璃门观测柜内的设备状态细节,甚至倒影产生的边缘信息会为设备的图像处理造成干扰。
(3)水滴:当前机器人可以代替人工在全天候下对变电设备执行巡检任务,即便在雨雪天气巡检机器人也应保证高效率的工作质量,但采集的图像中有水滴滞留在观测设备表面时,水滴的光斑会对图像处理及识别的效果带来干扰,应当在采集图像时采取措施,最大化避免这种客观条件的影响。
(4)过亮的天空:当机器人采集设备状态图像时大多处于“仰视”状态,此时采集的图像明亮的蓝色天空占据了大部分的背景比例,而相机的感光器件是自动控制,由于背景明亮,固在采集图像时相机自动降低了曝光度以平衡图像中的明暗区域,这样造成了机器人所需观察的设备区域过暗,无法进行细节信息的识别。
其中,参考文献1为:鲁守银,钱庆林,张斌等.变电站设备巡检机器人的研制[J].电力系统自动化,2006,30(13):94–98。
发明内容
本发明为了解决上述问题,提出了一种具有自适应偏振镜调节的巡检机器人图像处理系统及方法,本系统设置偏振镜,使得相机的光轴垂直穿过偏振镜的中心,并且偏振镜可以以可见光相机的光轴为中心轴旋转,把景物表面的反光降到最低程度,使得有害眩光减至最小甚至消失,拍摄出优质的图像。
为了实现上述目的,本发明采用如下技术方案:
一种具有自适应偏振镜调节的巡检机器人图像处理系统,其特征是:包括巡检机器人本体、图像采集机构、偏振镜和偏振镜自动旋转驱动装置,其中,图像采集机构设置于巡检机器人本体前端,用于采集变电站内的视频、图像数据,偏振镜设置于图像采集机构前端,偏振镜固定于偏振镜自动旋转驱动装置上,使得相机的光轴垂直穿过偏振镜的中心,并且偏振镜以可见光相机的光轴为中心轴旋转;所述偏振镜自动旋转驱动装置,包括固定盘、回转盘、偏振镜、支撑轮、支撑轮轴、马达齿轮、马达、过渡齿轮和编码器,其中,固定盘固定于摄像机镜头前端,所述固定盘安装有支撑轮、马达、编码器,所述支撑轮安装在支撑轮轴上,所述支撑轮轴固定在固定盘上,所述马达的输出轴安装有马达齿轮,所述编码器的轴安装有过渡齿轮,所述过渡齿轮与回转盘的外齿啮合,所述回转盘设有指针,所述回转盘由支撑轮支撑,所述回转盘固定有偏振镜。
所述图像采集机构包括云台和摄像机,其中,摄像机设置于云台上。
所述固定盘上刻有间隔为1°的0-180°刻度。
所述过渡齿轮与马达齿轮啮合。
基于所述的系统的工作方法,包括以下步骤:
(1)变电站巡检机器人接收巡检任务,在规划路径上行驶,行驶至设备观测点预置位;
(2)变电站巡检机器人接收该设备的模板配置图像采集时的工作参数,根据工作参数调整本体姿态,采集该设备的实时巡检图像;
(3)巡检机器人将采集的巡检图像回传至后台服务器,调取该设备的模板配置图像,与巡检图像进行图像匹配、模式识别,对巡检图像中的设备状态进行识别,输出结果;
(4)确认该设备观测点是否为最后一个观测点,如果是,结束巡检任务,巡检机器人返回;如果不是,则重复步骤(1)-(3)。
所述步骤(2)中,工作参数包括相机焦距、云台角度和偏振镜的旋转调节角度。
所述步骤(2)中,模板配置图像生成方法,具体包括:
(2-1)调整巡检机器人本体姿态,将待检测设备区域显示在图像的中央后,拍摄为该设备的图像,并在图像中标定设备区域;
(2-2)标记此设备是否需要配置偏振镜角度进行图像采集,如是则执行步骤(2-3),否则执行步骤(2-7);
(2-3)如果是需要配置偏振镜角度进行观测的设备,则对步骤(2-1)采集的图像进行图像处理,提取设备边缘信息;
(2-4)根据图像中设备边缘的信息,计算仿射投影角度,得到光线入射、反射平面,在图像中求出入射光反射平面的垂线的斜率,求得眩光偏振极性在相机坐标系下的倾斜角度;
(2-5)将相机坐标系下眩光偏振极性的倾斜角度转化为偏振镜的旋转调节角度发送给偏振镜自动旋转驱动装置,调节设置偏振镜的旋转调节角度;
(2-6)确定偏振镜角度旋转到位后,采集设备的模板图像;
(2-7)保存设备的模板配置图像采集的工作参数,确定当前设备是否为模板配置的最后一个设备,如否,则返回步骤(1),如是,则结束设备模板配置图像的配置工作。
所述步骤(2-5)中,偏振镜的旋转调节角度自动旋转调节步骤包括:
(i)以机器人采集图像的相机坐标系为参照物,以Z轴为中心,逆时针旋转偏振镜,将计算得出的偏振镜的旋转调节角度作为输入值传至偏振镜自动旋转驱动装置;
(ii)马达按照输入的角度数以指定方向驱动偏振镜,编码器记录旋转起始位置;
(iii)编码器验证角度旋转是否到位,如果旋转到位,则执行步骤(iv),如果存在误差,则将误差值作为输入的角度数返回步骤(ii);
(iv),在偏振镜的旋转调节角度旋转完成后判断是否需要采集图像,如是,则执行步骤(v),如否,则结束本次偏振镜旋转调节操作,返回完成信号;
(v),给机器人发送偏振镜到位信号,机器人完成图像采集工作;
(vi),机器人完成设备的图像采集工作后,发送偏振镜置零位命令,以零度角为输入的角度数,执行步骤(ii)。
所述步骤(i)中,计算偏振镜的旋转调节角度的方法为:对于圆形仪表,在机器人采集的仪表图像中通过对仪表表盘边缘的识别,拟合椭圆,通过椭圆的长短轴的方向,得出椭圆与圆的映射关系,从而得到仪表的朝向以及机器人相机与仪表表面所成的夹角,通过光学物理模型计算出表计反射光线的偏振极性方向。
所述步骤(i)中,对于不规则图型的仪表表盘或其它设备表面,在空白处以标记规则的圆形图像,代替设备表面计算反射光线的偏振极性方向。
偏振镜自动旋转驱动装置的起始位为偏振镜可通过光的偏振方向为垂直于相机坐标系x轴的方向,标记为偏振镜的旋转调节零角度,即在这个角度可以将水平方向的反射眩光全部滤除。
通过图像处理得到图像中长轴所在的坐标A1(x1,y1),A2(x2,y2),则A1A2所在直线的倾斜角:
将此角度值发送至偏振镜自动旋转驱动装置,进行偏振镜的旋转调节角度的调节。
本发明的有益效果为:
(1)偏振镜的旋转调节角度可自动调节:偏振镜的滤眩光效果不再对单一设备有效,可以根据设备的放置位置由机器人进行自主的角度调节以拍摄出最佳的实时巡检图像,利用图像处理技术自动计算并驱动偏振镜的放置角度,减少人为干预,节省人工劳动资源,并可避免人工主观操作带来的负面效应,实现机器人的智能化控制。
(2)大幅降低表面反光对巡检机器人识别的干扰:通常情况,仪表的表盘上都有一层保护玻璃用以保护表计的表针以及各种内部机构,而玻璃是非金属材质,阳光投射到非金属材质后的反射光是一种比较常见的偏振光,引入偏振滤光技术后可在相当大的程度上降低保护玻璃对阳光的定向反射光,而对于表盘的漫反射光则影响甚微,其结果极大地削弱的表盘的眩光,增强的表盘数字以及表针的对比度,提高识别率。
(3)大幅降低环境阴影对巡检机器人识别的干扰:环境阴影的干扰是环境的图像经由镜面(一般是玻璃或者是有机玻璃这种非金属表面)反射,并且叠加到表盘的前方,遮挡表盘造成的。而表盘保护玻璃这种非金属反射出来的光也是一种偏振光,通过偏振滤光,可以在相当大程度上削弱镜面反射的阴影提高镜面的通透性,并且对镜面后面表盘漫反射的光影响甚微,其结果极大地削弱了表盘镜面反射的环境阴影,突出了表盘图像,极大程度的过滤了干扰特征点,提高识别准确度。
(4)大幅度解决表盘上水珠对巡检机器人识别的干扰:水珠对巡检机器人的干扰主要是由于水珠光滑的弧形表面反射环境中的自然光导致的点状眩光,由于水也是一种非金属,其反射的点状眩光亦属于有偏振极性的光,通过偏振滤光,可以基本上滤除点状眩光,降低点状眩光造成的特征干扰,提高识别的准确度。
(5)一定程度上解决背光拍照的问题:当拍摄背景为天空时,由于天空背景过于明亮导致相机在拍照时很难有如此大的动态能够容纳下这些不同光强范围的信息,而天空背景的光线属于偏振光,而且,其偏振光有绝对的规律可循,可以通过偏振滤光的方法压暗天空以及云彩的眩光,使得测光系统能够正常的工作,减少天空眩光对于相机动态的压力。
(6)部分解决含液体表盘的液面对识别的影响:含液体的仪表表针的位置识别可能会由于液面的存在导致出现表针识别不准确,而液面之所以能够形成干扰一方面来自于液体的折射效应,而另一方面来源于细微的曲面形成的条状眩光的影响,而这部分影响可以经由偏振滤光滤除。
(7)一定程度上提高巡检机器人视觉伺服系统的鲁棒性:在的机器人视觉伺服主要通过识别现在图片的sift、surf或者是orb等特征进行,但是由于自然光照环境的不固定,会出现诸如正午时,艳阳高照导致出现的眩光淹没掉一些较简单图的特征点,使得视觉伺服难以进行,而偏振滤光可以较大程度上削弱这种表面眩光,使得特征更加突出。
(8)如日后发展视觉导航也可解决地面反光对视觉导航精度的影响:面反光主要是由于地面积水或者是湿滑的地面水膜等等造成,这些反光不仅考验相机的动态宽度,同时也淹没掉了地面的许多标志信息,而偏振滤光可以很大程度上过滤掉这部分反光,保障视觉导航的精度。
附图说明
图1为本发明的光的反射示意图;
图2为本发明偏振光示意图;
图3为本发明圆形仪表计算示意图;
图4为本发明偏振镜的起始零位设置示意图;
图5为本发明偏振镜自动旋转驱动装置示意图;
图6为本发明偏振镜自动旋转驱动装置侧视图;
图7为本发明偏振镜自动旋转驱动装置侧视图;
图8为本发明偏振镜自动旋转驱动装置固定盘示意图;
图9为本发明偏振镜自动旋转驱动装置固定盘背面示意图;
图10为本发明偏振镜自动旋转驱动装置固定盘侧视图;
图11为本发明偏振镜自动旋转驱动装置回转盘示意图;
图12为本发明的流程图;
图13为本发明的设备的模板配置图像的配置步骤流程图;
图14为本发明的偏振镜的旋转调节角度自动旋转调节步骤示意图;
图15(a)、图15(b)为本发明的使用效果对比图。
其中,2、回转盘;3、偏振镜;7、摄像机;11、固定盘;12、紧定螺钉;2、回转盘;3、偏振镜;41、支撑轮;42、支撑轮轴;43、轴承;44、螺母;51、马达齿轮;52、马达;61、过渡齿轮;62、编码器。
具体实施方式:
下面结合附图与实施例对本发明作进一步说明。
如图1所示,偏振镜,也叫偏光镜,是一种滤色镜。偏振镜的出色功用是能有选择地让某个方向振动的光线通过,在彩色和黑白摄影中常用来消除或减弱非金属表面的强反光,从而消除或减轻光斑。例如,在景物和风光摄影中,常用来表现强反光处的物体的质感,突出玻璃后面的景物,压暗天空和表现蓝天白云等。
图1是光的反射图。入射光Ki(非偏振光)中的任意一个方向的偏振光Ei都可以分解成平行于反射平面(灰色)震荡的Eip部分和垂直于反射平面震荡的Eis部分。
如图2所示,R是光在物体表面的反射率,T是光的入射角。p是平行于光的反射面的偏振光(即图1的Eip),s是垂直于光的反射面的偏振光(即图1的Eis)。图中只有在大约50°至60°间绝缘体反射的光才是偏振光,因为在这个角度范围内反射光只剩下了s部分。这个角度叫做Brewster's angle(布儒斯特角/起偏角)。从绝缘体反射出的p部分本来就很少,所以只需要用偏振镜把s部分过滤掉就可以得到一张满意的照片。至于金属,无论是过滤s部分还是p部分,另一部分的光还是会被反射到镜头里,所以偏振镜怎么转,金属的反光都不会被过滤掉。
当非偏振光照射到非金属表面时,反射出来的光就是部分偏振光,许多偏振光在摄影中是有害的,玻璃门表面的反射光,使我们拍摄不到里面的设备细节,仪表表盘的反射光使我们看不清表盘数字,湮没较细的表针等等。为了消除偏振光的这些危害,可以使用一种可以过滤掉偏振光的镜片,偏振镜。偏振镜是一种能有选择地让某个方向振动的光线通过的镜片,在彩色和黑白摄影中常用来消除或减弱非金属表面的强反光。把偏振镜装到相机镜头的前端,仔细旋转偏振镜,力求把景物表面的反光降到最低程度,使得有害眩光减至最小甚至消失,这样就能拍摄出优质的图像了。
将偏振镜放置在相机镜头的前方,使得相机的光轴垂直穿过偏振镜的中心,并且偏振镜可以以可见光相机的光轴为中心轴旋转。以可见光相机作相机坐标系(观察坐标系),把偏振镜可通过光的偏振方向的双向延长形成一条直线,并以此直线在相机坐标系x-y平面中的倾斜角(即直线的倾斜角0—180度)作为偏振镜的旋转的衡量依据,在本文中简称此角为偏振镜的放置角。
虽然变电站中的仪表、汇控柜等设备大部分设置的位置与朝向都是方便巡检人员查看的,但对于巡检机器人的行进线路与观测方向,对变电站仪表设备的拍摄角度是因表而变、因地而变的,因此,如果将偏振镜的放置角度固定,仅能适用某一种偏振极性角度的拍摄,会使得其作用非常微弱,甚至在某些表计上会起到负面的作用,而不能适用在全站所有的仪表及其它设备。所以,只有可以自动旋转调节的偏振镜,并且针对每个表计都进行计算最佳角度旋转调整的偏振镜才会起到积极有效的作用。
基于此,提出一种计算变电站设备反射光线偏振极性方向的方法,并依据此角度计算出偏振镜的最佳放置角度,机器人自适应驱动偏振镜旋转,以达到偏振光滤除的最优化。
(1)通过图像计算偏振镜最优放置角
机器人在进驻变电站的初始阶段,需要在人工的控制操作下对整个变电站的设备采集标准模板图像,针对每一设备记录各项拍摄参数。在拍摄诸如仪表等具有非金属表面的设备时,需要防止设备表面的反射眩光对图像信息的干扰。偏振镜的放置角度需要对每一个可能产生反射光线的设备都具备良好的过滤功效,而在人工采集模板图像时,这一时刻的自然光线照射角度也许不会产生反射眩光,但在机器人执行巡检任务时也许会产生。如何解决这一矛盾,单凭人工在采集模板图像时进行手动控制偏振镜的旋转,用人眼进行滤光判断的话,是远远不够的。好在对于单一设备来说,巡检机器人的停车位置是固定的,云台角度固定,因此设备在模板图像与巡检图像中的朝向也是基本一致的,通过这一特征,如果此设备会产生相机拍摄方向的反射的眩光时,则反射光线偏振极性方向是可以通过计算得出的。另外,只有当自然光以布儒斯特角由空气入射到一玻璃表面上,反射光是垂直于入射面振动的完全偏振光。偏振镜不是万能的,如果阳光角度不合适,非金属表面反射的眩光可能偏振光成分很小。在使用偏振镜时按照设备表面反射眩光最大可能的角度进行放置,以起到最佳效果。
仪表设备的表盘大多为规则圆形或者矩形,以圆形仪表为例,在机器人采集的仪表图像中通过对仪表表盘边缘的识别,拟合椭圆,通过椭圆的长短轴的方向,得出椭圆与圆的映射关系,从而得到仪表的朝向以及机器人相机与仪表表面所成的夹角,通过光学物理模型计算出表计反射光线的偏振极性方向。对于不规则图型的仪表表盘或其它设备表面,可在空白处以标记规则的圆形图像,代替设备表面计算反射光线的偏振极性方向。
如图3所示,图中实线圆形为仪表边缘正视图,虚线为仪表边缘在相机坐标系中即图像中的斜投影。在相机坐标系中投影所得的椭圆长轴为A1A2,短轴为B1B2。由光的入射与反射(如图1)得出,(1)入射光源(即眩光光源)与相机坐标系Z轴所成的光学传播平面经过仪表的短轴且与长轴垂直;(2)已知入射光反射光的方向,由图1图2可得仪表表面反射出的眩光的偏振极性方向与仪表在相机坐标系中投影的长轴平行。
采用偏光角度量角器将偏振镜的起始零位设置如图4所述的方向,此时白炽灯(1)发出的非偏振光(2)通过偏振镜(3)的过滤变成了在一个方向上震荡的偏振光(4),偏振镜的伺服旋转系统起始位为偏振镜可通过光的偏振方向为垂直于相机坐标系x轴的方向,标记为偏振镜的放置角零度,即在这个角度可以将水平方向的反射眩光全部滤除。这样设置的好处是,偏振镜可通过光的偏振方向与图像中仪表投影的长轴方向一致,即,例如图3中计算得出长轴A1A2所在直线的倾斜角为30°,将偏振镜在相机坐标系的观测方向逆时针旋转30°即可将此仪表表面反射出的眩光最优化的滤除。
假设通过图像处理得到图像中长轴所在的坐标A1(x1,y1),A2(x2,y2),则A1A2所在直线的倾斜角:
将此角度值发送至偏振镜自动旋转驱动装置,进行偏振镜放置角的调节。
人工操控机器人在每一个设备的巡检位置,首先以偏振镜设置为零度的放置角采集设备图像,传回后台服务器,模式识别功能自动识别设备表面边缘或设备标记的形状,通过以上公式计算得出偏振镜对该设备的最优放置角度,将角度值发送至偏振镜自动旋转驱动装置,控制偏振镜精确转动,完毕后采集该设备的最终模板图像,同时记录保存图像采集时的相机、云台、偏振镜放置角等参数。
(2)偏振镜自动旋转驱动装置
本发明在这一部分提供一种偏振镜转角自动调节装置,可根据图像处理系统的发出的数据指令有效转动偏振镜的角度,以使机器人自适应不同设备的眩光角度,提高图像采集质量。
采用了以下技术方案:一种偏振镜转角调节装置,其特征在于:包括固定盘、紧定螺钉、回转盘、偏振镜、支撑轮、支撑轮轴、轴承、螺母、马达齿轮、马达、过渡齿轮、编码器,所述固定盘通过三个紧定螺钉锁紧固定于摄像机镜头前端,所述固定盘设有间隔为1°的0-180°刻度,所述固定盘安装有支撑轮、马达、编码器,所述支撑轮通过两个轴承安装在支撑轮轴上,所述支撑轮轴通过螺母固定在固定盘上,所述马达的输出轴安装有马达齿轮,所述编码器的轴安装有过渡齿轮,所述过渡齿轮与马达齿轮啮合,所述过渡齿轮与回转盘的外齿啮合,所述回转盘设有成180°角的指针,所述回转盘由三个支撑轮支撑,所述回转盘固定有偏振镜。
这种设计的有效效果是:结构简单,组装方便,传动精确,精度高。
如图5-图11所示,一种偏振镜转角调节装置,包括固定盘11、紧定螺钉12、回转盘2、偏振镜3、支撑轮41、支撑轮轴42、轴承43、螺母44、马达齿轮51、马达52、过渡齿轮61、编码器62,所述固定盘11通过三个紧定螺钉12锁紧固定于摄像机7镜头前端,所述固定盘11设有间隔为1°的0-180°刻度,所述固定盘11安装有支撑轮41、马达52、编码器62,所述支撑轮41通过两个轴承43安装在支撑轮轴42上,所述支撑轮轴42通过螺母44固定在固定盘11上,所述马达52的输出轴安装有马达齿轮51,所述编码器62的轴安装有过渡齿轮61,所述过渡齿轮61与马达齿轮51啮合,所述过渡齿轮61与回转盘2的外齿啮合,所述回转盘2设有成180°角的指针,所述回转盘2由三个支撑轮41支撑,所述回转盘2固定有偏振镜3。
马达52通过马达齿轮51、过渡齿轮61带动回转盘2转动,实现偏振镜3的转动,偏振镜3转动角度可以通过回转盘2的指针读取,可以根据过渡齿轮61转动圈数由编码器62进行反馈,当马达52输出有偏差时,编码器62可进行校验,确保偏振镜3转动角度的精确度。
如图12所示,具有偏振镜自适应调节功能的巡检机器人图像采集处理系统分为以下具体步骤:步骤1,向机器人下达变电站巡检任务,机器人在规划好的路线上行进;
步骤2,机器人按照设巡检顺序,行进至下一个设备观测点预置位;
步骤3,机器人到达预置位后,接收该设备的模板配置图像采集时的各项参数,如相机焦距,云台角度,偏振镜的旋转调节角度等。机器人根据这些参数调整姿态,采集该设备的实时巡检图像;
步骤4,巡检机器人将采集的巡检图像回传至后台服务器,服务程序调取该设备的模板配置图像,与巡检图像进行图像匹配、模式识别等操作后,对巡检图像中的设备状态进行识别,输出结果。确定该设备是否为本次巡检任务中的最后一个设备,如否,则执行步骤2,如是,则结束本次巡检任务,机器人返回。
如图13示,其中,步骤3中提及的变电站中各个设备的模板配置图像的配置步骤如下:步骤1,配置巡检机器人,由后台操作员控制机器人行驶至下一个设备的巡检预置位,设置合适的云台旋转角度及摄像机焦距等信息,将待检测设备区域以适当的大小显示在图像的中央后,拍摄为该设备的图像,并在图像中标定设备区域;
步骤2,标记此设备是否需要配置偏振镜角度进行图像采集,如是则执行步骤3,否则执行步骤7;
步骤3,如果是需要配置偏振镜角度进行观测的设备,则对步骤1采集的图像进行图像处理,提取设备边缘信息;
步骤4,根据图像中设备边缘的信息,计算仿射投影角度,得到光线入射、反射平面,在图像中求出入射光反射平面的垂线的斜率,求得眩光偏振极性在相机坐标系下的倾斜角度;
步骤5,将相机坐标系下眩光偏振极性的倾斜角转化为偏振镜的旋转调节角度发送给偏振镜角度旋转驱动装置,调节设置偏振镜的旋转调节角度;
步骤6,确定偏振镜角度旋转到位后,采集设备的模板图像;
步骤7,保存设备的模板配置图像采集的各个参数,如相机焦距,云台角度,偏振镜放置角等。确定当前设备是否为模板配置的最后一个设备,如否,则返回步骤1,如是,则结束设备的模板配置图像的配置工作。
如图14所示,其中,机器人巡检任务流程中步骤3中以及模板配置流程中步骤5中提及的偏振镜的旋转调节角度自动旋转调节步骤具体如下所述:
步骤1,以机器人采集图像的相机坐标系为参照物,以Z轴为中心,逆时针旋转偏振镜角度放置。将计算得出的偏振镜的旋转调节角度作为输入值传至偏振镜自动旋转驱动装置;
步骤2,电机驱动镜片按照指定方向旋转输入的角度数,编码器记录旋转起始位置;
步骤3,编码器验证角度旋转是否到位,如果旋转到位,则执行步骤4,如果存在误差,则将误差值作为输入返回步骤2;
步骤4,在偏振镜的旋转调节角度旋转完成后判断是否需要采集图像,如是,则执行步骤5,如否,则结束本次偏振镜旋转调节操作,返回完成信号;
步骤5,给机器人发送偏振镜到位信号,机器人完成图像采集工作;
步骤6,机器人完成对位设备的图像采集工作后,发送偏振镜置零位命令,以零度角为输入值,执行步骤2。
如图15(a)、图15(b)所示,经实验测试及机器人在变电站现场运行的工作记录检验,本发明“具有偏振镜自适应调节功能的巡检机器人图像采集处理系统”大幅度优化了变电站巡检机器人采集设备图像的清晰度。经江苏某500kv变电站巡检记录反映,以往由于眩光、反光、阴影干扰等原因造成的个别仪表指数识别的错误问题得到了全方面的改善,并且使机器人能够观测电力设备运行状态细节,实现了巡检机器人对变电站设备全覆盖进行观测的目标,保障变电站设备安全运行。根据不同位置的设备,偏振镜的自适应旋转调节系统体现了巡检机器人的高度智能化自动化操作,节省人工操作成本,为变电站实现无人化值守的目标做出贡献。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (12)

1.一种具有自适应偏振镜调节的巡检机器人图像处理系统,其特征是:包括巡检机器人本体、图像采集机构、偏振镜和偏振镜自动旋转驱动装置,其中,图像采集机构设置于巡检机器人本体前端,用于采集变电站内的视频、图像数据,偏振镜设置于图像采集机构前端,偏振镜固定于偏振镜自动旋转驱动装置上,使得相机的光轴垂直穿过偏振镜的中心,并且偏振镜以可见光相机的光轴为中心轴旋转;所述偏振镜自动旋转驱动装置,包括固定盘、回转盘、偏振镜、支撑轮、支撑轮轴、马达齿轮、马达、过渡齿轮和编码器,其中,固定盘固定于摄像机镜头前端,所述固定盘安装有支撑轮、马达、编码器,所述支撑轮安装在支撑轮轴上,所述支撑轮轴固定在固定盘上,所述马达的输出轴安装有马达齿轮,所述编码器的轴安装有过渡齿轮,所述过渡齿轮与回转盘的外齿啮合,所述回转盘设有指针,所述回转盘由支撑轮支撑,所述回转盘固定有偏振镜。
2.如权利要求1所述的一种具有自适应偏振镜调节的巡检机器人图像处理系统,其特征是:所述图像采集机构包括云台和摄像机,其中,摄像机设置于云台上。
3.如权利要求1所述的一种具有自适应偏振镜调节的巡检机器人图像处理系统,其特征是:所述固定盘上刻有间隔为1°的0-180°刻度。
4.如权利要求1所述的一种具有自适应偏振镜调节的巡检机器人图像处理系统,其特征是:所述过渡齿轮与马达齿轮啮合。
5.基于权利要求1-4中任一项所述的系统的工作方法,其特征是:包括以下步骤:
(1)变电站巡检机器人接收巡检任务,在规划路径上行驶,行驶至设备观测点预置位;
(2)变电站巡检机器人接收该设备的模板的配置图像采集时的工作参数,根据工作参数调整本体姿态,采集该设备的实时巡检图像;
(3)巡检机器人将采集的巡检图像回传至后台服务器,调取该设备的模板配置图像,与巡检图像进行图像匹配、模式识别,对巡检图像中的设备状态进行识别,输出结果;
(4)确认该设备观测点是否为最后一个观测点,如果是,结束巡检任务,巡检机器人返回;如果不是,则重复步骤(1)-(3)。
6.如权利要求5所述的工作方法,其特征是:所述步骤(2)中,工作参数包括相机焦距、云台角度和偏振镜的旋转调节角度。
7.如权利要求5所述的工作方法,其特征是:所述步骤(2)中,设备的模板配置图像的生成方法,具体包括:
(2-1)调整巡检机器人本体姿态,将待检测设备区域显示在图像的中央后,拍摄为该设备的图像,并在图像中标定设备区域;
(2-2)标记此设备是否需要配置偏振镜角度进行图像采集,如是则执行步骤(2-3),否则执行步骤(2-7);
(2-3)如果是需要配置偏振镜角度进行观测的设备,则对步骤(2-1)采集的图像进行图像处理,提取设备边缘信息;
(2-4)根据图像中设备边缘的信息,计算仿射投影角度,得到光线入射、反射平面,在图像中求出入射光反射平面的垂线的斜率,求得眩光偏振极性在相机坐标系下的倾斜角度;
(2-5)将相机坐标系下眩光偏振极性的倾斜角度转化为偏振镜的旋转调节角度发送给偏振镜自动旋转驱动装置,调节设置偏振镜的放置角度;
(2-6)确定偏振镜角度旋转到位后,采集设备的模板图像;
(2-7)保存设备的模板配置图像采集的工作参数,确定当前设备是否为模板配置的最后一个设备,如否,则返回步骤(1),如是,则结束设备模板配置图像的配置工作。
8.如权利要求7所述的工作方法,其特征是:所述步骤(2-5)中,偏振镜的放置角度自动旋转调节步骤包括:
(i)以机器人采集图像的相机坐标系为参照物,以Z轴为中心,逆时针旋转偏振镜,将计算得出的偏振镜的旋转调节角度作为输入值传至偏振镜自动旋转驱动装置;
(ii)马达按照输入的角度数以指定方向驱动偏振镜,编码器记录旋转起始位置;
(iii)编码器验证角度旋转是否到位,如果旋转到位,则执行步骤(iv),如果存在误差,则将误差值作为输入的角度数返回步骤(ii);
(iv)在偏振镜的旋转调节角度旋转完成后判断是否需要采集图像,如是,则执行步骤(v),如否,则结束本次偏振镜旋转调节操作,返回完成信号;
(v)给机器人发送偏振镜到位信号,机器人完成图像采集工作;
(vi)机器人完成设备的图像采集工作后,发送偏振镜置零位命令,以零度角为输入的角度数,执行步骤(ii)。
9.如权利要求7所述的工作方法,其特征是:所述步骤(2-4)中,对于圆形仪表,在机器人采集的仪表图像中通过对仪表表盘边缘的识别,拟合椭圆,通过椭圆的长短轴的方向,得出椭圆与圆的映射关系,从而得到仪表的朝向以及机器人相机与仪表表面所成的夹角,通过光学物理模型计算出表计反射光线的偏振极性方向。
10.如权利要求7所述的工作方法,其特征是:所述步骤(2-4)中,对于不规则图型的仪表表盘或其它设备表面,在空白处以标记规则的圆形图像,代替设备表面计算反射光线的偏振极性方向。
11.如权利要求8所述的工作方法,其特征是:所述步骤(ii)中,偏振镜自动旋转驱动装置的起始位置为偏振镜可通过光的偏振方向为垂直于相机坐标系x轴的方向,标记为偏振镜的偏振镜的放置零度角,即在这个角度可以将水平方向的反射眩光全部滤除。
12.如权利要求7所述的工作方法,其特征是:所述步骤(2-5)中,通过图像处理得到图像中长轴所在的坐标A1(x1,y1),A2(x2,y2),则A1A2所在直线的倾斜角:
<mrow> <mi>&amp;theta;</mi> <mo>=</mo> <mi>arctan</mi> <mrow> <mo>(</mo> <mfrac> <mrow> <msub> <mi>y</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>y</mi> <mn>1</mn> </msub> </mrow> <mrow> <msub> <mi>x</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>x</mi> <mn>1</mn> </msub> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow>
将此角度值发送至偏振镜自动旋转驱动装置,进行偏振镜的放置角度的调节。
CN201510290300.2A 2015-05-29 2015-05-29 具有自适应偏振镜调节的巡检机器人图像处理系统及方法 Expired - Fee Related CN104851144B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510290300.2A CN104851144B (zh) 2015-05-29 2015-05-29 具有自适应偏振镜调节的巡检机器人图像处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510290300.2A CN104851144B (zh) 2015-05-29 2015-05-29 具有自适应偏振镜调节的巡检机器人图像处理系统及方法

Publications (2)

Publication Number Publication Date
CN104851144A CN104851144A (zh) 2015-08-19
CN104851144B true CN104851144B (zh) 2018-02-06

Family

ID=53850771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510290300.2A Expired - Fee Related CN104851144B (zh) 2015-05-29 2015-05-29 具有自适应偏振镜调节的巡检机器人图像处理系统及方法

Country Status (1)

Country Link
CN (1) CN104851144B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106802215A (zh) * 2015-11-20 2017-06-06 沈阳新松机器人自动化股份有限公司 一种水管漏水检测装置及检测方法
CN106125744B (zh) * 2016-06-22 2019-01-22 山东鲁能智能技术有限公司 基于视觉伺服的变电站巡检机器人云台控制方法
CN106356757B (zh) * 2016-08-11 2018-03-20 河海大学常州校区 一种基于人眼视觉特性的电力线路无人机巡检方法
CN106454040A (zh) * 2016-10-21 2017-02-22 东风商用车有限公司 一种夜间防眩光车载摄像头及其控制方法
CN106353952A (zh) * 2016-10-28 2017-01-25 山东鲁能智能技术有限公司 具有偏振镜的变电站室内巡检机器人图像采集系统及方法
CN108416866B (zh) * 2017-02-09 2021-06-04 中国移动通信有限公司研究院 一种巡检任务处理方法及设备
CN106679608B (zh) * 2017-02-27 2019-05-31 北京市汉华环球科技发展有限责任公司 振镜扫描系统中振镜电机偏转到位的检测方法和装置
CN108810391A (zh) * 2018-09-07 2018-11-13 百度在线网络技术(北京)有限公司 摄像装置
CN109769116B (zh) * 2019-01-17 2020-06-16 国网福建省电力有限公司泉州供电公司 一种摄像机预置位校正方法及装置
CN111539876A (zh) * 2020-01-15 2020-08-14 杭州电子科技大学 基于偏振成像的自适应多尺度Retinex暗场景能见度提升方法
CN111756971B (zh) * 2020-06-30 2021-06-29 重庆大学 一种极端环境下无人车视觉增强装置及方法
CN112052751A (zh) * 2020-08-21 2020-12-08 上海核工程研究设计院有限公司 一种安全壳水膜覆盖率检测方法
CN113518165A (zh) * 2021-04-22 2021-10-19 云南电网有限责任公司昆明供电局 一种摄像头自动光线调节装置及调节方法
CN113411481A (zh) * 2021-06-24 2021-09-17 赵博实 无人机机载遥控偏振镜系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04115786A (ja) * 1990-09-05 1992-04-16 Nippon Telegr & Teleph Corp <Ntt> イメージシフト型撮像装置
CN201903753U (zh) * 2010-07-27 2011-07-20 上海高德威智能交通系统有限公司 摄像机辅助调试装置
CN202488554U (zh) * 2012-01-10 2012-10-10 深圳市华创时代科技有限公司 一种高速云台摄像机
JP6114076B2 (ja) * 2012-03-30 2017-04-12 Hoya株式会社 撮影装置及び偏光フィルタの回転角度位置制御方法
CN204229230U (zh) * 2014-11-27 2015-03-25 无锡北斗星通信息科技有限公司 用于自动读表的变电站巡检机器人

Also Published As

Publication number Publication date
CN104851144A (zh) 2015-08-19

Similar Documents

Publication Publication Date Title
CN104851144B (zh) 具有自适应偏振镜调节的巡检机器人图像处理系统及方法
CN107584263B (zh) 一种视觉定位引导装置及引导方法
CN109977813A (zh) 一种基于深度学习框架的巡检机器人目标定位方法
CN107133983B (zh) 成捆圆钢端面双目视觉系统与空间定位及计数方法
CN103439088B (zh) 用凸透镜产生平行光的方法与装置
CN105953771A (zh) 一种主动式经纬仪系统及测量方法
CN107507174A (zh) 基于手持智能巡检的电厂仪表设备图像识别方法及系统
CN105574812B (zh) 多角度三维数据配准方法及装置
CN103292909A (zh) 单窗口双通道视频监控系统
CN114265418A (zh) 一种用于光伏电站的无人机巡检与缺陷定位系统及方法
CN109737981A (zh) 基于多传感器的无人车目标搜索装置及方法
CN109358071B (zh) 自主覆盖式作业的大型设备表面损伤检测系统及其方法
CN109711400A (zh) 一种识别模拟指针式仪表读数的电力巡检方法和装置
CN108225563B (zh) 野外环境天空偏振建模对准测量装置
CN109508043A (zh) 一种基于图像的定日镜二次反射指向校正现场系统及方法
CN113191388A (zh) 用于目标检测模型训练的图像采集系统及样本生成方法
CN113031462A (zh) 无人机用港机巡检航线规划系统及方法
CN112082739A (zh) 一种hud杂散光环境模拟测试设备与测试方法
CN107784633A (zh) 适用于平面测量的无人机航拍图像校准方法
CN112730422B (zh) 一种核电站安全壳缺陷检测方法及系统
CN204535702U (zh) 基于卫星定位的交通事故现场勘察测绘系统
CN110488309A (zh) 基于激光清除异物装置的目标标校方法
CN205785171U (zh) 一种主动式经纬仪系统
CN113125127A (zh) 基于人眼视觉的光学场景模拟方法及装置
CN210464437U (zh) 一种自动瞄准的接触网激光检测仪

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Gao Binhuan

Inventor before: Fang Hua

Inventor before: Zhang Chuanyou

Inventor before: Dong Maoqi

Inventor before: Tian Zhen

Inventor before: Fu Chongguang

Inventor before: Li Jian

Inventor before: Zhang Bin

Inventor before: Han Lei

Inventor before: Ren Jie

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180104

Address after: 250002 Lin Xiang South Street, Ji'nan City, Shandong Province, No. 5

Applicant after: Gao Binhuan

Address before: 250101 Shandong city of Ji'nan province high tech Zone (Lixia District) Xinluo Avenue No. 2008 silver bearing building B block 626

Applicant before: Shandong Luneng Intelligent Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180206

Termination date: 20190529