CN102929288A - 基于视觉伺服的输电线路无人机巡检云台控制方法 - Google Patents

基于视觉伺服的输电线路无人机巡检云台控制方法 Download PDF

Info

Publication number
CN102929288A
CN102929288A CN2012103024210A CN201210302421A CN102929288A CN 102929288 A CN102929288 A CN 102929288A CN 2012103024210 A CN2012103024210 A CN 2012103024210A CN 201210302421 A CN201210302421 A CN 201210302421A CN 102929288 A CN102929288 A CN 102929288A
Authority
CN
China
Prior art keywords
image
deviation
cloud platform
matrix
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103024210A
Other languages
English (en)
Other versions
CN102929288B (zh
Inventor
王滨海
王万国
李丽
王振利
张晶晶
王骞
刘俍
张嘉峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Intelligent Technology Co Ltd
Original Assignee
State Grid Corp of China SGCC
Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Electric Power Research Institute of State Grid Shandong Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201210302421.0A priority Critical patent/CN102929288B/zh
Publication of CN102929288A publication Critical patent/CN102929288A/zh
Application granted granted Critical
Publication of CN102929288B publication Critical patent/CN102929288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉伺服的输电线路无人机巡检云台控制方法,步骤为:步骤1利用成像设备,获取视频信息;步骤2将该帧实时图像与模板图像进行匹配,获取像素偏差和确定图像中心的偏差P;步骤3判断P是否大于偏差门限;若否则表示正常,本次检测结束;若是,则转入下一步;步骤4通过P决定转动方向,然后将云台转动最小单位d;步骤5再次获取当前位置的设备图像;步骤6利用跟踪算法企图目标新位置;求取该新位置与模板图像的偏差P1;步骤7根据云台转动与图像中像素偏移之间的线性关系,判断P是否大于门限,如否,本次检测结束;若是,然后返回步骤5。它有效解决无人机巡检过程中对目标的定位拍摄,提高了巡检的效率与质量。

Description

基于视觉伺服的输电线路无人机巡检云台控制方法
技术领域
本发明涉及一种视觉伺服控制方法,尤其涉及一种于基于视觉伺服的输电线路无人机巡检云台控制方法。
背景技术
传统的有人直升机或无人直升机对输电线路以及高压杆塔巡检的过程中,都需手动控制搭载检测设备的云台或是吊舱,这使得检测人员必须注意力高度集中的观察视频,并及时的调整云台或吊舱以便检测目标(即输电线路)能在检测设备的视角范围内。这对于有人直升机的飞行员来说具有严峻的考验,同时无人直升机地面工作站对云台的调整又受时间等因素的制约,无法满足无人直升机在电力巡检中的应用需求,因此,如何自动调整云台实现对输电线路的自动检测显得非常重要。
现有的基于视觉伺服的系统中,浙江省电力公司提出的基于视觉伺服的移动机器人精确定位云台系统(专利号:ZL 201020685635.7),虽然涉及利用视觉伺服来精确定位云台的方法,来提高机器人整体性能,但这一专利只是从理论上进行分析可以实现通过图像信息来实现对云台的精确定位,但对如何实现通过图像信息到云台控制量的转化这一关键步骤并没有进行描述。
发明内容
本发明的目的就是为了解决上述问题,提供一种基于视觉伺服的输电线路无人机巡检云台控制方法,它实现了无人机搭载云台根据检测目标实现视觉伺服的控制方法,有效解决无人机巡检过程中对目标的定位拍摄,提高巡检的效率与质量。
为了实现上述目的,本发明采用如下技术方案:
一种基于视觉伺服的输电线路无人机巡检云台控制方法,具体步骤为:
步骤1利用成像设备,获取视频信息,从视频信息中获取一帧实时图像;
步骤2将该帧实时图像与模板图像进行匹配,获取像素偏差;同时将模板图像中人工标定的关注设备位置与实时图像中关注设备的位置进行比较,确定图像中心的偏差P;
步骤3判断P是否大于偏差门限;若否则表示正常,本次检测结束;若是,则转入下一步;
步骤4通过P决定转动方向,然后将云台转动最小单位d;
步骤5再次获取当前位置的设备图像;
步骤6利用跟踪算法企图目标新位置;求取该新位置与模板图像的偏差P1
步骤7根据云台转动与图像中像素偏移之间的线性关系Jl(p)=d/(P1-P);判断P是否大于门限,如否,则表明调整后满足要求,本次检测结束;若是,则根据P1决定云台转动方向,将云台转动Jl(p)*P1,然后返回步骤5。
所述像素偏差是指图像空间二维像素偏差(px,pyi,其中,px,py分别为x和y方向上的偏差。
所述步骤2中所述的像素偏差与图像中心的偏差P的获取过程的具体步骤为:
A.特征点检测:建立积分图像,利用箱式滤波器建立尺度空间,Hessian极值点检测;
B.SURF特征点描述子的生成:根据特征点周围的一个圆形区域,确定主方向;在这个选定的主方向上构造一个矩形区域并提取所需的描述信息;
C.特征点匹配:在完成了图像的SURF特征提取后,为了获取当前图像与模板图像间的位置差异,通过计算两幅图像特征的匹配关系,并建立两视图间的单应关系矩阵H,恢复出两幅图像间的像素偏移关系;
D.像素偏差获取:根据模板中标出的目标及位置,通过步骤C获取的H矩阵,得到当前图像中目标的位置,计算图像中目标的位置移动到中心处的像素偏差。
所述步骤A中具体步骤为:
首先获得原始图像的积分图像,对原始图像I(x,y)进行积分,得到积分图像I(x,y);
然后,建立尺度空间,对图像进行预处理时,使用箱式滤波器对高斯核近似;
对于不同的尺度口,相应的正方形滤波器的尺寸S也做相应的调整,SURF算法使用箱式滤波器对高斯核函数近似,加权箱式滤波器在x,y和xy方向上对高斯二阶偏导近似;
最后,进行快速Hessian特征检测,由Hessian矩阵来进行图像极值点的检测。
所述步骤B中具体方法为:利用极值点的主方向即以极值点为中心选取某一半径的圆形区域,在此区域内计算哈尔小波在x和y方向上的相应值,记为hx,hy,计算出图像在harr小波的x,y方向的响应值后,对两个值进行因子为σ=2s的高斯加权,s是极值点所在的尺度,加权后的值分别表示在x和y方向上的方向分量,记为Whx,Why;对Whx,Why用直方图进行统计;将以极值点为中心的圆形区域分割成多个大小相同的扇形区域,分别统计每个扇形区域内的Whx,Why记为
Figure BDA00002045883000021
Figure BDA00002045883000022
其中Ω为相应的扇形区域,同时计算该区域的梯度值,取最大值所在的方向,主方向的度数根据Wx,Wy的反正切值来求得;在选定主方向后,首先将坐标轴旋转到主方向,按照主方向选取连长为20s的正方形区域将该区域划分为4×4的子区域,在每个子区域内计算5s*5s范围内的小波响应相当于主方向的水平和垂直方向的harr小波响应,记作dx,dy;同时将高斯权值赋给响应值,增加其对几何变换的鲁棒性,减小局部误差;接下来将每个子区域的响应以及响应的绝对值相加形成
Figure BDA00002045883000031
Figure BDA00002045883000032
Figure BDA00002045883000033
Figure BDA00002045883000034
其中Φ为4×4的子区域,这样,每个子区域就有4维向量,一个SURF特征就是一个64维的特征向量。
所述步骤C的具体步骤为:首先使用欧式距离来计算匹配关系,然后通过计算两视图间的单应矩阵即H矩阵来恢复全局的像素偏差dx,dy进而计算整幅图像的偏差,对H矩阵的求解利用RANSAC随机采样的模型估计方法来获得,通过随机采样建立模型需要的最小的样本集合,找到与该集合匹配的模型,然后检测其余样本与该模型的一致性,如果没有显著的一致性,包含外点的模型会被排除掉;通过几次迭代就找到包含与足够多的样本一致的模型。
所述步骤D中具体步骤为:根据模板中标出的目标及位置,通过步骤C获取的H矩阵,得到当前图像中目标的位置,计算图像中目标的位置移动到中心处的像素偏差;设模板图像中待识别目标位置为X,通过H矩阵得在待识别图像中的位置记为X',则X'=HX,由此得X'相对于图像中心的像素偏差Y;
定义当前位置摄像机采集图像的特征为s,目标位置的图像特征为s*,由于采用Look-After-Move模式,定义s与云台转动量的映射关系为:
                               s*=L(s)(px,py
其中,(px,py)为(t0-t1)时刻内的偏转量,由上文中的基于SURF特征匹配获得的单应矩阵给出的平移分量获得,L(s)为t0时刻获取的关于(px,py)的线性雅克比关系。
本发明的有益效果:
1、本发明通过基于SURF特征匹配技术,通过雅可比矩阵实现图像信息到控制信息的转换,解决了无人机在拍摄过程中对待检测设备图像的精确采集。这对于无人机巡检系统中对电力设备监测自动化方面具有重要的作用,大大提高检测的效率。
2、本发明可通过图像信息实现对云台的控制,无需增加额外设备,系统简单、灵活、投资较小;
3、本发明的有益成果还可用于变电站巡检机器人系统中,将有助于提高机器人对设备图像的采集质量,有助于后续的基于图像信息的设备状态识别。
附图说明
图1为高斯滤波器与正方形滤波器;
图2为x,y方向的harr小波基;
图3为基于图像的视觉伺服流程图;
图4a为输电线路铁塔视觉伺服前图像;
图4b为输电线路铁塔视觉伺服后图像。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
图3中,本发明的视觉流程图:
1)利用成像设备,获取视频信息,从视频信息中获取一帧实时图像;
2)将该帧实时图像与模板图像进行匹配,获取像素偏差;同时将模板图像中人工标定的关注设备位置与实时图像中关注设备的位置进行比较,确定图像中心的偏差P;
3)判断P是否大于偏差门限;若否则表示正常,本次检测结束;若是,则转入下一步;
4)通过P决定转动方向,然后将云台转动最小单位d;
5)再次获取当前位置的设备图像;
6)利用跟踪算法企图目标新位置;求取该新位置与模板图像的偏差P1
7)根据云台转动与图像中像素偏移之间的线性关系Jl(p)=d/(P1-P);判断P是否大于门限,如否,则表明调整后满足要求,本次检测结束;若是,则根据P1决定云台转动方向,将云台转动Jl(p)*P1,然后返回步骤5)。
在本发明中,在基于图像的视觉伺服系统中,控制信息的获取来自于目标图像特征与模板图像特征之间的差异。其关键的问题是如何建立反映图像差异变化与云台位姿速度变化之间关系的图像雅可比矩阵。
云台机器人手有n关节的n自由度,伺服任务以m图像特征来定义,云台机器人工作空间中一点使用n维向量表示为:q=[q1,q2,...,qn]T;机器人手臂末端在笛卡尔坐标系中位置的p维向量,r=[r1,r2,…,rp]T;图像特征空间一点的m维向量表示为f=[f1,f2,…,fm]T
由云台操作手末端到工作空间的速度变换关系如下:
                                 r=Jr[q]·q
式中: J r ( q ) = [ ∂ r 1 ∂ q 1 ∂ r 1 ∂ q 2 . . . ∂ r 1 ∂ q n ; ∂ r 2 ∂ q 1 ∂ r 2 ∂ q 2 . . . ∂ r 2 ∂ q n ; . . . ; ∂ r p ∂ q 1 ∂ r p ∂ q 2 . . . ∂ r p ∂ q n ] .
云台操作手末端位置的改变导致图像参数的变化,通过摄像机透视投影映射关系,可获得图像特征空间与操作手末端位置空间的变换关系:
                                 f=Jr·r.
其中, J r = [ ∂ f 1 ∂ r 1 ∂ f 1 ∂ r 2 . . . ∂ f 1 ∂ r n ; ∂ f 2 ∂ r 1 ∂ f 2 ∂ r 2 . . . ∂ f 2 ∂ r n ; . . . ; ∂ f p ∂ r 1 ∂ f p ∂ r 2 . . . ∂ f p ∂ r n ] .
从而有f=Jr·q.其中,Jq=Jr·J,即 J q = [ ∂ f 1 ∂ q 1 ∂ f 1 ∂ q 2 . . . ∂ f 1 ∂ q n ; ∂ f 2 ∂ q 1 ∂ f 2 ∂ q 2 . . . ∂ f 2 ∂ q n ; . . . ; ∂ f p ∂ q 1 ∂ f p ∂ q 2 . . . ∂ f p ∂ q n ] 为图像调整空间变化量与机器人控制空间的变换关系,定义该式为图像雅克比矩阵。
由于摄像机在工作过程中需要变化焦距,因此无法直接使用标定的手段来直接获取变换矩阵Jq,且由于拍摄设备目标距离不确定,因此,无法直接根据目标的深度信息Z来计算变换矩阵Jq,且由于云台转动过程为加速-匀速-减速,无法得到均匀的速度模型,为了简化图像雅克比求解问题,假设局部范围内云台转动速度为匀速v,且与摄像机局部范围内转动图像空间特征变化映射关系为线性关系。基于方向性的试探动作,来获取图像雅克比初始值,在后续的伺服过程中,不断更信图像雅克比,保证整个伺服过程的收敛性。
获取当前图像与目标图像间的像素偏差(px,py);根据运动控制系统反馈的云台转动量,计算图像空间偏差与云台控制量的线性关系Jl(p)。
图像特征提取与描述的具体方案如下:
A特征点检测
首先获得原始图像的积分图像,对原始图像I(x,y)进行积分,得到积分图像I(x,y),见下式:
I &Sigma; ( x , y ) = &Sigma; i = 0 i < x &Sigma; j = 0 i < y I ( x , y )
其中,I(x,y)为图像像素值,(x,y)为像素坐标。
然后,建立尺度空间,对图像进行预处理时,使用箱式滤波器对高斯核近似,由于其在计算卷积时的计算量与滤波器大小无关,因此可以极大的提高算法运行速度。
对于不同的尺度口,相应的正方形滤波器的尺寸S也做相应的调整,SURF算法使用箱式滤波器对高斯核函数近似,由于其在计算卷积时计算量与滤波器大小无关,因此可以极大的提高算法的运行速度,加权箱式滤波器在x,y和xy方向上对高斯二阶偏导近似;
最后,进行快速Hessian特征检测。由Hessian矩阵来进行图像极值点的检测,首先根据特征值计算出来的行列式的符号(如正或负),然后根据行列式值的正或负判断该点是不是局部极值点;如果行列式是正的,那么特征值全为正或者全为负,该点都是极值点。快速Hessian算子通过操作积分图像来加速卷积,只使用Hessian矩阵的行列式同时来选择位置和尺度,在点X和尺度σ下,Hessian矩阵的定义如下:
H = L xx ( X , &sigma; ) , L xy ( X , &sigma; ) L xy ( X , &sigma; ) , L yy ( X , &sigma; )
其中,Lxx(X,σ)是在点X的高斯二阶导数
Figure BDA00002045883000062
与I(x,y)的卷积,其余三项的定义也如此类推,为了快速的计算高斯二阶导数,这里选用正方形滤波器。
如图1所示,从左至右y方向和xy方向的高斯滤波器,y方向和xy方向的正方形滤波器应用了正方形滤波器以后,Hessian矩阵的行列式表示在点X周围的区域的箱式滤波器的响应值。通过det(Hessian)进行极值点的检测,行列式的值可以近似为:
                             h=Dxx·Dyy-(w·Dxy)2
其中Dxx,Dyy和Dxy分别是使用了正方形滤波器以后对Lxx,Lyy和Lxy的近似,w是权重系数,h是Hessian行列式的值,这样我们就得到了在尺度σ上的近似响应,并通过阈值来选择选择局部极值点作为特征点。
B SURF特征点描述子的生成
特征描述子过程中,生成主方向和描述子生成的具体步骤如下
求极值点的主方向是以极值点为中心选取某一半径的圆形区域,在此区域内计算哈尔小波在x和y方向上的相应值,记为hx,hy
图2为harr小波滤波器在x,y方向的上的描述。计算出图像在harr小波的x,y方向的响应值后,对两个值进行因子为σ=2s的高斯加权值,s是极值点所在的尺度,加权后的值分别表示在x和y方向上的方向分量,记为Whx,Why
对Whx,Why用直方图进行统计,将以极值点为中心的圆形区域分割成60度大小的区域,分别统计每个扇形区域内的Whx,Why记为
Figure BDA00002045883000072
其中Ω为相应的扇形区域,同时计算该区域的梯度值,取最大值所在的方向,主方向的度数根据Wx,Wy的反正切值来求得,在选定主方向后,首先将坐标轴旋转到主方向,按照主方向选取连长为20s的正方形区域将该区域划分为4×4的子区域,在每个子区域内计算5s*5s范围内的小波响应相当于主方向的水平和垂直方向的harr小波响应,记作dx,dy。同时将高斯权值赋给响应值,增加其对几何变换的鲁棒性,减小局部误差。接下来将每个子区域的响应以及响应的绝对值相加形成
Figure BDA00002045883000075
其中Φ为4×4的子区域,这样,每个子区域就有4维向量,一个SURF特征就是一个64维的特征向量。
C特征点匹配
在图像匹配的过程中,利用当前特征点描述向量和模板图像特征点描述向量,通过匹配算法确定相似度,然后设定一定的阈值进行限制,当特征点对相似度大于阈值也就是相似度达到一定程度时,认为特征点对是同名点;本方法中使用欧式距离来计算匹配关系。
在确定了两幅图像间的特征点的匹配关系后,无法直接根据点的对应关系来计算整幅图像的偏差;本方法通过计算两视图间的单应矩阵即H矩阵来恢复全局的像素偏差dx,dy。由于SURF特征点的匹配算法,只获得了稀疏点的匹配关系,且存在误匹配,对H矩阵的求解可以利用RANSAC随机采样的模型估计方法来获得。
两个成像平面上点与点的单应关系可以通过一个单应矩阵H来表示。在2维图像空间中,单应矩阵被定义成一个3×3的矩阵H:
                                wp′=Hp
wx &prime; wy &prime; w = h 11 / h 33 h 12 / h 33 h 13 / h 33 h 21 / h 33 h 22 / h 33 h 23 / h 33 h 31 / h 33 h 32 / h 33 1 x y 1
其中w是尺度参数,p′,p是两幅图像上的对应特征点的位置,。因为单应关系是定义在尺度空间的,因此,H矩阵只有除去尺度之外的8个自由度。在投影空间中为8个未知量,在仿射空间中H矩阵的最后一行为(0,0,1),只有6个未知量。由于电力机器人的运动误差和云台控制误差都导致在同一位置在不同时刻获取的图像的光心和焦距不同,因此,对H矩阵的求解本文使用8自由度的投影空间求解。一对匹配点可以提供两个关于H的线性方程,因此,最少4个匹配关系就可以计算出H。上式可变形为Ah=0的形式,其中h为H矩阵的各个元素构成的列向量,可以通过SVD分解的方法,对H进行求解。由于基于SURF特征的匹配属于粗匹配,为了去除错误匹配的干扰,本方法采用基于随机采样一致性算法(RANSAC)来计算H矩阵。
RANSAC随机采样一致性算法,通过随机采样建立模型需要的最小的样本集合,找到与该集合匹配的模型,然后检测其余样本与该模型的一致性。这样,如果没有显著的一致性,包含外点的模型会被排除掉;通过几次迭代就可以找到,包含与足够多的样本一致的模型。该方法能够很好的处理存在错误匹配的情况,从而减少H矩阵的计算误差和提高计算速度。
D像素偏差获取
根据模板中标出的目标及位置,通过上步获取的H矩阵,得到当前图像中目标的位置,计算其移动到中心处的像素偏差。设模板图像中待识别目标位置为X,通过H矩阵可得在待识别图像中的位置记为X',则X'=HX,由此可得X'相对于图像中心的像素偏差Y。
所述图像空间的视觉伺服过程中基于图像的视觉伺服模型,直接将控制误差表现在二维图像空间;定义当前位置摄像机采集图像的特征为s,目标位置的图像特征为s*,由于采用Look-After-Move模式,定义s与云台转动量的映射关系为:
                               s*=L(s)(px,py
其中,(px,py)为(t0-t1)时刻内的偏转量,由上文中的基于SURF特征匹配获得的单应矩阵给出的平移分量获得。L(s)为t0时刻获取的关于(px,py)的线性雅克比关系。
实施例
如图4a和4b所示,给出了无人机巡检过程中,云台转动到某预置位后,伺服前后的效果图,可以看出,云台到达预置位后,由于误差的存在,使得目标在图像中的位置发生了偏差,通过视觉伺服后,通过调整云台,目标回到了图像中。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种基于视觉伺服的输电线路无人机巡检云台控制方法,其特征是,具体步骤为:
步骤1利用成像设备,获取视频信息,从视频信息中获取一帧实时图像;
步骤2将该帧实时图像与模板图像进行匹配,获取像素偏差;同时将模板图像中人工标定的关注设备位置与实时图像中关注设备的位置进行比较,确定图像中心的偏差P;
步骤3判断P是否大于偏差门限;若否则表示正常,本次检测结束;若是,则转入下一步;
步骤4通过P决定转动方向,然后将云台转动最小单位d;
步骤5再次获取当前位置的设备图像;
步骤6利用跟踪算法企图目标新位置;求取该新位置与模板图像的偏差P1
步骤7根据云台转动与图像中像素偏移之间的线性关系Jl(p)=d/(P1-P);判断P是否大于门限,如否,则表明调整后满足要求,本次检测结束;若是,则根据P1决定云台转动方向,将云台转动Jl(p)*P1,然后返回步骤5。
2.如权利要求1所述一种基于视觉伺服的输电线路无人机巡检云台控制方法,其特征是:所述像素偏差是指图像空间二维像素偏差(px,pyi,其中,px,py分别为x和y方向上的偏差。
3.如权利要求1所述一种基于视觉伺服的输电线路无人机巡检云台控制方法,其特征是,所述步骤2中所述的像素偏差与图像中心的偏差P的获取过程的具体步骤为:
A.特征点检测:建立积分图像,利用箱式滤波器建立尺度空间,Hessian极值点检测;
B.SURF特征点描述子的生成:根据特征点周围的一个圆形区域,确定主方向;在这个选定的主方向上构造一个矩形区域并提取所需的描述信息;
C.特征点匹配:在完成了图像的SURF特征提取后,为了获取当前图像与模板图像间的位置差异,通过计算两幅图像特征的匹配关系,并建立两视图间的单应关系矩阵H,恢复出两幅图像间的像素偏移关系;
D.像素偏差获取:根据模板中标出的目标及位置,通过步骤C获取的H矩阵,得到当前图像中目标的位置,计算图像中目标的位置移动到中心处的像素偏差。
4.如权利要求3所述的一种基于视觉伺服的输电线路无人机巡检云台控制方法,其特征是,所述步骤A中具体步骤为:
首先获得原始图像的积分图像,对原始图像I(x,y)进行积分,得到积分图像I(x,y);
然后,建立尺度空间,对图像进行预处理时,使用箱式滤波器对高斯核近似;
对于不同的尺度口,相应的正方形滤波器的尺寸S也做相应的调整,SURF算法使用箱式滤波器对高斯核函数近似,加权箱式滤波器在x,y和xy方向上对高斯二阶偏导近似;
最后,进行快速Hessian特征检测,由Hessian矩阵来进行图像极值点的检测。
5.如权利要求3所述的一种基于视觉伺服的输电线路无人机巡检云台控制方法,其特征是,所述步骤B中具体方法为:利用极值点的主方向即以极值点为中心选取某一半径的圆形区域,在此区域内计算哈尔小波在x和y方向上的相应值,记为hx,hy,计算出图像在harr小波的x,y方向的响应值后,对两个值进行因子为σ=2s的高斯加权,s是极值点所在的尺度,加权后的值分别表示在x和y方向上的方向分量,记为Whx,Why;对Whx,Why用直方图进行统计;将以极值点为中心的圆形区域分割成多个大小相同的扇形区域,分别统计每个扇形区域内的Whx,Why记为
Figure FDA00002045882900021
Figure FDA00002045882900022
其中Ω为相应的扇形区域,同时计算该区域的梯度值,取最大值所在的方向,主方向的度数根据Wx,Wy的反正切值来求得;在选定主方向后,首先将坐标轴旋转到主方向,按照主方向选取连长为20s的正方形区域将该区域划分为4×4的子区域,在每个子区域内计算5s*5s范围内的小波响应相当于主方向的水平和垂直方向的harr小波响应,记作dx,dy;同时将高斯权值赋给响应值,增加其对几何变换的鲁棒性,减小局部误差;接下来将每个子区域的响应以及响应的绝对值相加形成
Figure FDA00002045882900023
Figure FDA00002045882900024
Figure FDA00002045882900031
其中Φ为4×4的子区域,这样,每个子区域就有4维向量,一个SURF特征就是一个64维的特征向量。
6.如权利要求3所述一种基于视觉伺服的输电线路无人机巡检云台控制方法,其特征是,所述步骤C的具体步骤为:首先使用欧式距离来计算匹配关系,然后通过计算两视图间的单应矩阵即H矩阵来恢复全局的像素偏差dx,dy进而计算整幅图像的偏差,对H矩阵的求解利用RANSAC随机采样的模型估计方法来获得,通过随机采样建立模型需要的最小的样本集合,找到与该集合匹配的模型,然后检测其余样本与该模型的一致性,如果没有显著的一致性,包含外点的模型会被排除掉;通过几次迭代就找到包含与足够多的样本一致的模型。
7.如权利要求3所述的一种基于视觉伺服的输电线路无人机巡检云台控制方法,其特征是,所述步骤D中具体步骤为:根据模板中标出的目标及位置,通过步骤C获取的H矩阵,得到当前图像中目标的位置,计算图像中目标的位置移动到中心处的像素偏差;设模板图像中待识别目标位置为X,通过H矩阵得在待识别图像中的位置记为X',则X'=HX,由此得X'相对于图像中心的像素偏差Y;
定义当前位置摄像机采集图像的特征为s,目标位置的图像特征为s*,由于采用Look-After-Move模式,定义s与云台转动量的映射关系为:
                        s*=L(s)(px,py
其中,(px,py)为(t0-t1)时刻内的偏转量,由上文中的基于SURF特征匹配获得的单应矩阵给出的平移分量获得,L(s)为t0时刻获取的关于(px,py)的线性雅克比关系。
CN201210302421.0A 2012-08-23 2012-08-23 基于视觉伺服的输电线路无人机巡检云台控制方法 Active CN102929288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210302421.0A CN102929288B (zh) 2012-08-23 2012-08-23 基于视觉伺服的输电线路无人机巡检云台控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210302421.0A CN102929288B (zh) 2012-08-23 2012-08-23 基于视觉伺服的输电线路无人机巡检云台控制方法

Publications (2)

Publication Number Publication Date
CN102929288A true CN102929288A (zh) 2013-02-13
CN102929288B CN102929288B (zh) 2015-03-04

Family

ID=47644116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210302421.0A Active CN102929288B (zh) 2012-08-23 2012-08-23 基于视觉伺服的输电线路无人机巡检云台控制方法

Country Status (1)

Country Link
CN (1) CN102929288B (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679740A (zh) * 2013-12-30 2014-03-26 中国科学院自动化研究所 一种无人机对地目标roi提取方法
CN103775840A (zh) * 2014-01-01 2014-05-07 许洪 一种应急照明系统
CN104168455A (zh) * 2014-08-08 2014-11-26 北京航天控制仪器研究所 一种空基大场景摄像系统及方法
CN105031935A (zh) * 2014-04-16 2015-11-11 鹦鹉股份有限公司 提供具有传递稳定的图像序列的视频相机的旋翼无人机
CN105196292A (zh) * 2015-10-09 2015-12-30 浙江大学 一种基于迭代变时长视觉伺服控制方法
CN105425808A (zh) * 2015-11-10 2016-03-23 上海禾赛光电科技有限公司 机载式室内气体遥测系统及方法
CN105551032A (zh) * 2015-12-09 2016-05-04 国网山东省电力公司电力科学研究院 一种基于视觉伺服的杆塔图像采集系统及其方法
WO2016154947A1 (en) * 2015-03-31 2016-10-06 SZ DJI Technology Co., Ltd. Systems and methods for regulating uav operations
CN106356757A (zh) * 2016-08-11 2017-01-25 河海大学常州校区 一种基于人眼视觉特性的电力线路无人机巡检方法
CN107042511A (zh) * 2017-03-27 2017-08-15 国机智能科技有限公司 基于视觉反馈的巡视机器人云台调整方法
US9792613B2 (en) 2015-03-31 2017-10-17 SZ DJI Technology Co., Ltd Authentication systems and methods for generating flight regulations
CN107330917A (zh) * 2017-06-23 2017-11-07 歌尔股份有限公司 移动目标的跟踪拍摄方法和跟踪设备
CN107734254A (zh) * 2017-10-14 2018-02-23 上海瞬动科技有限公司合肥分公司 一种无人机自动择机拍照方法
CN108460786A (zh) * 2018-01-30 2018-08-28 中国航天电子技术研究院 一种无人机侦察目标的高速跟踪方法
CN108693892A (zh) * 2018-04-20 2018-10-23 深圳臻迪信息技术有限公司 一种跟踪方法、电子装置
CN109241969A (zh) * 2018-09-26 2019-01-18 旺微科技(上海)有限公司 一种多目标检测方法及检测系统
CN109240328A (zh) * 2018-09-11 2019-01-18 国网电力科学研究院武汉南瑞有限责任公司 一种基于无人机的杆塔自主巡检方法
CN109447946A (zh) * 2018-09-26 2019-03-08 中睿通信规划设计有限公司 一种架空通信光缆异常检测方法
CN109546573A (zh) * 2018-12-14 2019-03-29 杭州申昊科技股份有限公司 一种高空作业巡检机器人
WO2019127306A1 (en) * 2017-12-29 2019-07-04 Beijing Airlango Technology Co., Ltd. Template-based image acquisition using a robot
CN110069079A (zh) * 2019-05-05 2019-07-30 广东电网有限责任公司 一种基于焦距变换的机器人云台二次对准方法及相关设备
CN110084842A (zh) * 2019-05-05 2019-08-02 广东电网有限责任公司 一种机器人云台伺服二次对准方法及装置
CN111316185A (zh) * 2019-02-26 2020-06-19 深圳市大疆创新科技有限公司 可移动平台的巡检控制方法和可移动平台
CN112585946A (zh) * 2020-03-27 2021-03-30 深圳市大疆创新科技有限公司 图像拍摄方法、装置、可移动平台和存储介质
CN112847334A (zh) * 2020-12-16 2021-05-28 北京无线电测量研究所 一种基于视觉伺服的机械臂目标跟踪方法
US11094202B2 (en) 2015-03-31 2021-08-17 SZ DJI Technology Co., Ltd. Systems and methods for geo-fencing device communications
CN114281100A (zh) * 2021-12-03 2022-04-05 国网智能科技股份有限公司 一种不悬停无人机巡检系统及其方法
US11368002B2 (en) 2016-11-22 2022-06-21 Hydro-Quebec Unmanned aerial vehicle for monitoring an electrical line

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060133641A1 (en) * 2003-01-14 2006-06-22 Masao Shimizu Multi-parameter highly-accurate simultaneous estimation method in image sub-pixel matching and multi-parameter highly-accurate simultaneous estimation program
US20070031004A1 (en) * 2005-08-02 2007-02-08 Casio Computer Co., Ltd. Apparatus and method for aligning images by detecting features
CN101957325A (zh) * 2010-10-14 2011-01-26 山东鲁能智能技术有限公司 基于变电站巡检机器人变电站设备外观异常识别方法
CN102289676A (zh) * 2011-07-30 2011-12-21 山东鲁能智能技术有限公司 基于红外检测的变电站刀闸模式识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060133641A1 (en) * 2003-01-14 2006-06-22 Masao Shimizu Multi-parameter highly-accurate simultaneous estimation method in image sub-pixel matching and multi-parameter highly-accurate simultaneous estimation program
US20070031004A1 (en) * 2005-08-02 2007-02-08 Casio Computer Co., Ltd. Apparatus and method for aligning images by detecting features
CN101957325A (zh) * 2010-10-14 2011-01-26 山东鲁能智能技术有限公司 基于变电站巡检机器人变电站设备外观异常识别方法
CN102289676A (zh) * 2011-07-30 2011-12-21 山东鲁能智能技术有限公司 基于红外检测的变电站刀闸模式识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
仝如强: "SURF算法及其对运动目标的检查跟踪效果", 《西南科技大学学报》, vol. 26, no. 3, 30 September 2011 (2011-09-30) *
张游杰: "一种基于图像分析的云台预置位控制方法", 《现代电子技术》, vol. 35, no. 10, 15 May 2012 (2012-05-15) *
张锐娟: "基于SURF的图像配准方法研究", 《红外与激光工程》, vol. 38, no. 1, 28 February 2009 (2009-02-28) *
李丽: "基于SIFT特征匹配的电力设备外观异常检测方法", 《光学与光电技术》, vol. 8, no. 6, 31 December 2010 (2010-12-31) *
谢小竹: "基于云台控制的实时视频拼接", 《中国优秀硕士论文全文数据库 信息科技辑》, no. 12, 15 December 2009 (2009-12-15) *

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679740B (zh) * 2013-12-30 2017-02-08 中国科学院自动化研究所 一种无人机对地目标roi提取方法
CN103679740A (zh) * 2013-12-30 2014-03-26 中国科学院自动化研究所 一种无人机对地目标roi提取方法
CN103775840A (zh) * 2014-01-01 2014-05-07 许洪 一种应急照明系统
CN105031935A (zh) * 2014-04-16 2015-11-11 鹦鹉股份有限公司 提供具有传递稳定的图像序列的视频相机的旋翼无人机
CN105031935B (zh) * 2014-04-16 2019-01-25 鹦鹉无人机股份有限公司 提供具有传递稳定的图像序列的视频相机的旋翼无人机
CN104168455A (zh) * 2014-08-08 2014-11-26 北京航天控制仪器研究所 一种空基大场景摄像系统及方法
US9805372B2 (en) 2015-03-31 2017-10-31 SZ DJI Technology Co., Ltd Authentication systems and methods for generating flight regulations
US9870566B2 (en) 2015-03-31 2018-01-16 SZ DJI Technology Co., Ltd Authentication systems and methods for generating flight regulations
CN107409174B (zh) * 2015-03-31 2020-11-20 深圳市大疆创新科技有限公司 用于管制无人飞行器操作的系统和方法
US11094202B2 (en) 2015-03-31 2021-08-17 SZ DJI Technology Co., Ltd. Systems and methods for geo-fencing device communications
US11120456B2 (en) 2015-03-31 2021-09-14 SZ DJI Technology Co., Ltd. Authentication systems and methods for generating flight regulations
US11367081B2 (en) 2015-03-31 2022-06-21 SZ DJI Technology Co., Ltd. Authentication systems and methods for generating flight regulations
US9792613B2 (en) 2015-03-31 2017-10-17 SZ DJI Technology Co., Ltd Authentication systems and methods for generating flight regulations
US9805607B2 (en) 2015-03-31 2017-10-31 SZ DJI Technology Co., Ltd. Authentication systems and methods for generating flight regulations
WO2016154947A1 (en) * 2015-03-31 2016-10-06 SZ DJI Technology Co., Ltd. Systems and methods for regulating uav operations
US11961093B2 (en) 2015-03-31 2024-04-16 SZ DJI Technology Co., Ltd. Authentication systems and methods for generating flight regulations
CN107409174A (zh) * 2015-03-31 2017-11-28 深圳市大疆创新科技有限公司 用于管制无人飞行器操作的系统和方法
CN105196292B (zh) * 2015-10-09 2017-03-22 浙江大学 一种基于迭代变时长视觉伺服控制方法
CN105196292A (zh) * 2015-10-09 2015-12-30 浙江大学 一种基于迭代变时长视觉伺服控制方法
CN108918439B (zh) * 2015-11-10 2020-11-03 上海禾赛科技股份有限公司 机载式室内气体遥测系统及方法
CN105425808B (zh) * 2015-11-10 2018-07-03 上海禾赛光电科技有限公司 机载式室内气体遥测系统及方法
CN108918439A (zh) * 2015-11-10 2018-11-30 上海禾赛光电科技有限公司 机载式室内气体遥测系统及方法
CN105425808A (zh) * 2015-11-10 2016-03-23 上海禾赛光电科技有限公司 机载式室内气体遥测系统及方法
CN105551032B (zh) * 2015-12-09 2018-01-19 国网山东省电力公司电力科学研究院 一种基于视觉伺服的杆塔图像采集系统及其方法
CN105551032A (zh) * 2015-12-09 2016-05-04 国网山东省电力公司电力科学研究院 一种基于视觉伺服的杆塔图像采集系统及其方法
CN106356757B (zh) * 2016-08-11 2018-03-20 河海大学常州校区 一种基于人眼视觉特性的电力线路无人机巡检方法
CN106356757A (zh) * 2016-08-11 2017-01-25 河海大学常州校区 一种基于人眼视觉特性的电力线路无人机巡检方法
US11368002B2 (en) 2016-11-22 2022-06-21 Hydro-Quebec Unmanned aerial vehicle for monitoring an electrical line
CN107042511A (zh) * 2017-03-27 2017-08-15 国机智能科技有限公司 基于视觉反馈的巡视机器人云台调整方法
WO2018232837A1 (zh) * 2017-06-23 2018-12-27 歌尔股份有限公司 移动目标的跟踪拍摄方法和跟踪设备
US10645299B2 (en) 2017-06-23 2020-05-05 Goertek Inc. Method for tracking and shooting moving target and tracking device
CN107330917B (zh) * 2017-06-23 2019-06-25 歌尔股份有限公司 移动目标的跟踪拍摄方法和跟踪设备
CN107330917A (zh) * 2017-06-23 2017-11-07 歌尔股份有限公司 移动目标的跟踪拍摄方法和跟踪设备
CN107734254A (zh) * 2017-10-14 2018-02-23 上海瞬动科技有限公司合肥分公司 一种无人机自动择机拍照方法
WO2019127306A1 (en) * 2017-12-29 2019-07-04 Beijing Airlango Technology Co., Ltd. Template-based image acquisition using a robot
CN108460786A (zh) * 2018-01-30 2018-08-28 中国航天电子技术研究院 一种无人机侦察目标的高速跟踪方法
CN108693892A (zh) * 2018-04-20 2018-10-23 深圳臻迪信息技术有限公司 一种跟踪方法、电子装置
CN109240328A (zh) * 2018-09-11 2019-01-18 国网电力科学研究院武汉南瑞有限责任公司 一种基于无人机的杆塔自主巡检方法
CN109241969A (zh) * 2018-09-26 2019-01-18 旺微科技(上海)有限公司 一种多目标检测方法及检测系统
CN109447946A (zh) * 2018-09-26 2019-03-08 中睿通信规划设计有限公司 一种架空通信光缆异常检测方法
CN109447946B (zh) * 2018-09-26 2021-09-07 中睿通信规划设计有限公司 一种架空通信光缆异常检测方法
CN109546573A (zh) * 2018-12-14 2019-03-29 杭州申昊科技股份有限公司 一种高空作业巡检机器人
CN111316185A (zh) * 2019-02-26 2020-06-19 深圳市大疆创新科技有限公司 可移动平台的巡检控制方法和可移动平台
CN110084842A (zh) * 2019-05-05 2019-08-02 广东电网有限责任公司 一种机器人云台伺服二次对准方法及装置
CN110084842B (zh) * 2019-05-05 2024-01-26 广东电网有限责任公司 一种机器人云台伺服二次对准方法及装置
CN110069079A (zh) * 2019-05-05 2019-07-30 广东电网有限责任公司 一种基于焦距变换的机器人云台二次对准方法及相关设备
CN112585946A (zh) * 2020-03-27 2021-03-30 深圳市大疆创新科技有限公司 图像拍摄方法、装置、可移动平台和存储介质
CN112847334A (zh) * 2020-12-16 2021-05-28 北京无线电测量研究所 一种基于视觉伺服的机械臂目标跟踪方法
CN114281100A (zh) * 2021-12-03 2022-04-05 国网智能科技股份有限公司 一种不悬停无人机巡检系统及其方法
CN114281100B (zh) * 2021-12-03 2023-09-05 国网智能科技股份有限公司 一种不悬停无人机巡检系统及其方法

Also Published As

Publication number Publication date
CN102929288B (zh) 2015-03-04

Similar Documents

Publication Publication Date Title
CN102929288B (zh) 基于视觉伺服的输电线路无人机巡检云台控制方法
CN106607907B (zh) 一种移动视觉机器人及其测控方法
CN101359400B (zh) 一种基于视觉的管口空间位置定位方法
CN104626206B (zh) 一种非结构环境下机器人作业的位姿信息测量方法
CN103065323B (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN103065131B (zh) 一种复杂场景下自动目标识别跟踪方法及系统
CN103198477B (zh) 一种采用苹果套袋机器人进行视觉定位的方法
CN105509733A (zh) 非合作空间圆目标的相对位姿测量方法
CN109115184B (zh) 基于非合作目标协同测量方法及系统
CN107220601B (zh) 一种基于在线置信度判别的目标抓捕点预测方法
CN111259706B (zh) 一种车辆的车道线压线判断方法和系统
CN110796700B (zh) 基于卷积神经网络的多物体抓取区域定位方法
CN110434516A (zh) 一种智能焊接机器人系统及焊接方法
CN104408725A (zh) 一种基于tld优化算法的目标重捕获系统及方法
CN107843251A (zh) 移动机器人的位姿估计方法
CN110992422B (zh) 一种基于3d视觉的药盒姿态估计方法
CN102853835B (zh) 基于尺度不变特征变换的无人飞行器景象匹配定位方法
CN105059190A (zh) 基于视觉的汽车开门碰撞预警装置及方法
CN105184756A (zh) 一种鱼眼镜头的图像校正方法
WO2022228391A1 (zh) 一种终端设备定位方法及其相关设备
Lei et al. Radial coverage strength for optimization of monocular multicamera deployment
CN104268551A (zh) 基于视觉特征点的转向角度控制方法
CN114299039A (zh) 一种机器人及其碰撞检测装置和方法
CN116977328B (zh) 车底机器人主动视觉中的图像质量评估方法
Sheng et al. Mobile robot localization and map building based on laser ranging and PTAM

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 250002, No. 1, South Second Ring Road, Shizhong District, Shandong, Ji'nan

Co-patentee after: State Grid Corporation of China

Patentee after: Electric Power Research Institute of State Grid Shandong Electric Power Company

Address before: 250002, No. 1, South Second Ring Road, Shizhong District, Shandong, Ji'nan

Co-patentee before: State Grid Corporation of China

Patentee before: Electric Power Research Institute of Shandong Electric Power Corporation

EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20130213

Assignee: National Network Intelligent Technology Co., Ltd.

Assignor: Electric Power Research Institute of State Grid Shandong Electric Power Company

Contract record no.: X2019370000006

Denomination of invention: Unmanned aerial vehicle inspection head control method based on visual servo

Granted publication date: 20150304

License type: Exclusive License

Record date: 20191014

EE01 Entry into force of recordation of patent licensing contract
TR01 Transfer of patent right

Effective date of registration: 20201027

Address after: 250101 Electric Power Intelligent Robot Production Project 101 in Jinan City, Shandong Province, South of Feiyue Avenue and East of No. 26 Road (ICT Industrial Park)

Patentee after: National Network Intelligent Technology Co.,Ltd.

Address before: 250002, No. 1, South Second Ring Road, Shizhong District, Shandong, Ji'nan

Patentee before: ELECTRIC POWER RESEARCH INSTITUTE OF STATE GRID SHANDONG ELECTRIC POWER Co.

Patentee before: STATE GRID CORPORATION OF CHINA

TR01 Transfer of patent right
EC01 Cancellation of recordation of patent licensing contract

Assignee: National Network Intelligent Technology Co.,Ltd.

Assignor: ELECTRIC POWER RESEARCH INSTITUTE OF STATE GRID SHANDONG ELECTRIC POWER Co.

Contract record no.: X2019370000006

Date of cancellation: 20210324

EC01 Cancellation of recordation of patent licensing contract