CN112184834A - 一种架空输电线路自主巡检方法 - Google Patents

一种架空输电线路自主巡检方法 Download PDF

Info

Publication number
CN112184834A
CN112184834A CN202011067876.XA CN202011067876A CN112184834A CN 112184834 A CN112184834 A CN 112184834A CN 202011067876 A CN202011067876 A CN 202011067876A CN 112184834 A CN112184834 A CN 112184834A
Authority
CN
China
Prior art keywords
inspection
robot
transmission line
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011067876.XA
Other languages
English (en)
Inventor
王林
岳湘
李威
刘雨丹
陈亦来
陈定簪
吴雯丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gangchuang Intelligent Robot Co ltd
Original Assignee
Zhejiang Gangchuang Intelligent Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gangchuang Intelligent Robot Co ltd filed Critical Zhejiang Gangchuang Intelligent Robot Co ltd
Priority to CN202011067876.XA priority Critical patent/CN112184834A/zh
Publication of CN112184834A publication Critical patent/CN112184834A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02G—INSTALLATION OF ELECTRIC CABLES OR LINES, OR OF COMBINED OPTICAL AND ELECTRIC CABLES OR LINES
    • H02G1/00—Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines
    • H02G1/02—Methods or apparatus specially adapted for installing, maintaining, repairing or dismantling electric cables or lines for overhead lines or cables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及电力线路巡检的技术领域，公开了一种架空输电线路自主巡检方法，使用基于仿射不变特征的宽基线图像特征匹配方法建立起初次巡检图像信息与自动巡检图像信息之间的特征点对应关系，进而解算出相机参数的变化，根据相机参数变化对相机参数进行调整，使相机能够更好地对准巡检点，从而克服巡检机器人由于自身运动、定位误差和线路摆动等原因会导致巡检点的偏离，提高机器人自主巡检的质量。

Description

一种架空输电线路自主巡检方法
技术领域
本发明涉及电力线路巡检的技术领域，特别是涉及一种架空输电线路自主巡检方法。
背景技术
由于架空线路分布很广，又长期处于露天之下运行，所以经常会受到周围环境和大自然变化的影响，由于配电线路设备种类较输电线路多而复杂，需要对输电线路的各部件进行观察、检查和测量，以掌握线路的运行状况、及时发现设备缺陷和威胁线路安全的问题。
现有技术中采用巡检机器人进行自动巡检，一般地，巡检机器人通过记忆人工巡检操作自主进行架空输电线路巡检，无须操控人员在巡检现场对机器人进行操控，实现架空输电线路的无人化巡检，提升架空输电线路巡检人员的操作体验，然而在实际巡检过程中，机器人由于自身运动、定位误差和线路摆动等原因会导致巡检点的偏离，进而影响输电线路巡检的准确性。
发明内容
本发明的目的是提供一种架空输电线路自主巡检方法，以解决现有的巡检机器人由于自身运动、定位误差和线路摆动等原因会导致巡检点的偏离，进而影响输电线路巡检的准确性的问题。
为了解决上述问题，本发明提供一种架空输电线路自主巡检方法，包括如下步骤：
S1：初始时，由巡检人员操控巡检机器人进行初次线路巡检，巡检机器人在初次巡检过程中拍摄相应的初次巡检图像信息，巡检系统记录巡检人员的操作信息、机器人的参数信息、巡检点信息以及架空输电线路的障碍点信息；
S2：建立初次巡检图像信息与巡检机器人的各项参数之间的对应关系，并自动生成相对应的架空输电线路障碍列表；
S3：初次巡检结束后，对整个巡检过程进行回放，巡检人员从巡检图像信息中挑选出关键帧作为巡检系统应该覆盖的关键巡检点，并生成关键巡检点列表；
S4：巡检机器人根据架空输电线路障碍列表在自动巡检过程中执行系统中记录的巡检人员的操作；
S5：巡检机器人在自动巡检过程中针对关键巡检点拍摄相应的自动巡检图像信息；
S6：对比初次巡检图像信息与自动巡检图像信息，利用基于仿射不变特征的宽基线图像特征匹配方法计算初次巡检图像信息与自动巡检图像信息所对应的相机参数之间的变化量，根据变化量调整巡检机器人的参数，得到与初次巡检图像信息在同一视点下的自动巡检图像信息。
进一步地，在上述步骤S1中，机器人的参数信息包括机器人的位置信息、姿态信息以及各项传感器的参数信息。
进一步地，在上述步骤S2中，巡检人员对架空输电线路障碍列表进行核对、校正和验证。
进一步地，在上述步骤S3中，以关键巡检点为基点，通过相机视线的上下和左右运动实现对输电线路以及下方通道的全方位巡检。
本发明提供一种架空输电线路自主巡检方法，使用基于仿射不变特征的宽基线图像特征匹配方法建立起初次巡检图像信息与自动巡检图像信息之间的特征点对应关系，进而解算出相机参数的变化，根据相机参数变化对相机参数进行调整，使相机能够更好地对准巡检点，从而克服巡检机器人由于自身运动、定位误差和线路摆动等原因会导致巡检点的偏离，提高机器人自主巡检的质量。
附图说明
图1是本发明实施例中的架空输电线路障碍列表示意图。
图2是本发明实施例中的关键巡检点列表示意图。
图3是图像仿射不变特征提取示意图。
图4是仿射不变特征匹配效果图。
图5是对极几何示意图。
图6是相机成像的几何模型。
图7是椭圆与对称矩阵的关系。
图8是将各向异性区域变换为各向同性区域。
图9是变换区域选择示意图。
图10是变换各向异性区域为各向同性区域。
图中：901、白色矩形；902、白色椭圆。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
在本发明的描述中，需要理解的是，术语“上”、“下”、“左”、“右”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在一定的时间段内，架空输电线路是固定的静态线路，对路线进行巡检时须要关注的信息相对比较固定，因此对于同一条架空输电线路，其巡检任务是可以在巡检前进行任务规划的。由于架空输电线路巡检机器人挂在架空输电线路的地线上，其运动路线已经被地线规定了，仅需在遇到障碍时，根据架空输电线路的障碍列表采取相应的动作即可，因此易实现机器人的自主运动。
结合图1～10所示，示意性地显示了本发明实施例的一种架空输电线路自主巡检方法，包括如下步骤：
S1：初始时，由巡检人员操控巡检机器人进行初次线路巡检，巡检机器人在初次巡检过程中拍摄相应的初次巡检图像信息，巡检系统记录巡检人员的操作信息、机器人的参数信息、巡检点信息以及架空输电线路的障碍点信息，通过巡检人员操纵巡检机器人进行初次线路巡检，从而便于巡检机器人系统记录架空输电线路上的障碍点信息、巡检人员针对障碍点采取的动作信息、机器人的实时参数信息以及巡检点信息，从而对巡检机器人实施自动巡检时起到引导和参照作用，一般地，巡检系统自动记忆障碍点的位置的操作是，当机器人的触碰开关启动时，意味着遇到了障碍，记录机器人此时的位置，作为障碍点的位置；
S2：建立初次巡检图像信息与巡检机器人的各项参数之间的对应关系，并自动生成相对应的架空输电线路障碍列表，如图1所示，；
S3：初次巡检结束后，对整个巡检过程进行回放，巡检人员从巡检图像信息中挑选出关键帧作为巡检系统应该覆盖的关键巡检点，并生成关键巡检点列表，如图2所示，关键巡检点列表是机器人进行自主巡检的唯一依据；
S4：巡检机器人根据架空输电线路障碍列表在自动巡检过程中执行系统中记录的巡检人员的操作，具体地，当巡检机器人进行自主巡检时，如果触碰开关启动，机器人根据自身的高精度定位信息和架空输电线路障碍列表即可知道遇到了什么障碍，然后根据系统记忆采取相应的执行操作；
S5：巡检机器人在自动巡检过程中针对关键巡检点拍摄相应的自动巡检图像信息，对于所有的关键巡检点，机器人按照关键巡检点列表执行相应的巡检任务，即机器人到达巡检点列表中的某一位置时，机器人按照该位置所规定的巡检操作进行自主巡检，例如相机应该朝什么方向看，相机的焦距是多少等，如此即可实现机器人对架空输电线路的自主巡检；
S6：对比初次巡检图像信息与自动巡检图像信息，利用基于仿射不变特征的宽基线图像特征匹配方法计算初次巡检图像信息与自动巡检图像信息所对应的相机参数之间的变化量，根据变化量调整巡检机器人的参数，得到与初次巡检图像信息在同一视点下的自动巡检图像信息。
本实施例中的架空输电线路自主巡检方法，使用基于仿射不变特征的宽基线图像特征匹配方法建立起初次巡检图像信息与自动巡检图像信息之间的特征点对应关系，进而解算出相机参数的变化，根据相机参数变化对相机参数进行调整，使相机能够更好地对准巡检点，从而克服巡检机器人由于自身运动、定位误差和线路摆动等原因会导致巡检点的偏离，提高机器人自主巡检的质量。
具体地，在上述步骤S1中，机器人的参数信息包括机器人的位置信息、姿态信息以及各项传感器的参数信息。
进一步地，在上述步骤S2中，巡检人员对架空输电线路障碍列表进行核对、校正和验证。
进一步地，在上述步骤S3中，以关键巡检点为基点，通过相机视线的上下和左右运动实现对输电线路以及下方通道的全方位巡检。
以下对基于仿射不变特征的宽基线图像特征匹配方法的原理进行阐述：
两个相机在不同的视点对同一场景成像，由于两个视点处相机的位置和视角变化较大，所以对同一场景所成的两幅像差异较大，此类成像称为宽基线成像。对于自主巡检系统来说，由于自动巡检图像信息与初次巡检图像信息有较大差异，这其实对应着宽基线成像问题。
为了得到与初次巡检图像信息同一视点下的图像，需要计算两幅图像所对应的相机参数之间的变化量，根据变化量调整相机参数即可。但是要计算相机参数之间的变化量，首先需要在两幅图像之间进行图像特征匹配，以建立起两幅图像之间的坐标点对应关系。如图3所示，同一场景的具有射影变换关系的两幅像，在两幅图像中有同一局部区域，虽然是同一区域，但它的两幅图像之间发生了射影变换，由于图像区域较小，可以用仿射变换近似，这种近似在绝大多数情况下是合理，并能获得较高的计算精度。提取具有仿射变换关系的两个局部图像区域，由于它们是同一区域所成的两幅像，所以它们是匹配的；为了确定两个区域是否匹配，需要对两个区域进行描述，生成特征描述符，如果两个区域是匹配的，那么两个区域的特征描述符应该一样，即图像虽然发生了仿射变换，但特征描述符不变，因此特征描述符被称为仿射不变特征。
通过图像仿射不变特征匹配，建立起两幅图像中的坐标点之间的对应关系，如图4所示。
在已知同一场景的两幅图像之间的图像坐标对应关系和相机内部参数的条件下，就能够根据对极几何原理计算出相机外参数，即相机成两幅图像时的运动参数。
图5为对极几何的示意图。给定一对图像，对于一幅图像上的每点x，在另一幅图像中存在一条对应的对极线l′。在第二幅图像上，任何与该点x匹配的点x′必然在对极线l′上。该对极线是过点x与第一个摄像机中心C的射线在第二幅图像上的投影。因此，存在一个从一幅图像上的点到另一幅图像上与之对应的对极线的映射
Figure BDA0002714356830000051
这个映射是一个(奇异)对射，由称为基本矩阵的矩阵F表示。
根据公式E＝(K’)t*F*K，由基本矩阵F，求本质矩阵E(本质矩阵E反映了相机的位置和姿态的变化)。对E进行SVD分解得到R(相机旋转量)和T(相机平移量)。由于最终计算结果与实际情况相差一个尺度因子，该尺度因子的确定需要知道真实场景中的一个绝对尺寸，因此本方案采用高精度定位技术直接测量相机的平移量作为真实场景中的绝对尺寸使用，使计算出的相机运动参数与真实运动一致。
综上所述，计算相机位姿变化的关键是宽基线图像特征匹配技术，而宽基线图像特征匹配技术的核心问题又是提取仿射不变图像特征。本方案提出一种先进的仿射不变特征提取技术，提升了宽基线条件下的特征匹配能力，在相机发生了较大位姿变化的情况下，仍然可以精确地计算相机的运动参数，为众多计算机视觉应用技术奠定了坚实的技术基础。
接着，详细介绍基于Hessian矩阵的仿射不变特征提取技术。
首先，介绍基于Hessian矩阵的仿射变换计算技术：
下面证明Hessian矩阵反映了仿射不变特征区域的仿射变形，通过Hessian矩阵可以对仿射不变特征区域进行归一化。
定义i(x)表示一个图像区域，在该图像区域中，围绕x＝0点的图像区域是各向同性的，f(x)表示i(x)发生仿射变换后得到的图像区域。即
f(x)＝i(Ux)
其中U＝kR(θ)A，A表示仿射变换，R(θ)表示旋转，k表示任意常数。
f(x)的Hessian矩阵可以表达为：
Figure BDA0002714356830000061
Figure BDA0002714356830000062
因为在i(x)中，x＝0周围的图像区域是各向同性的，所以
Figure BDA0002714356830000063
Figure BDA0002714356830000064
式(2)表明：一点的Hessian矩阵反映了该点周围图像区域相对于它对应的各向同性的图像区域的仿射变形。
因此可以通过Hessian矩阵将一个仿射变换后的图像区域变回到各向同性区域，如式(3)所示：
f(A-1x)＝i(UA-1x)＝i(kR(θ)AA-1x)＝i(kR(θ)x) (3)
因为i(x)各向同性，而各向同性是尺度和旋转不变的，所以f(A-1x)＝i(kR(θ)x)也是各向同性的。
对于各向异性区域，滤波器的形状也要与区域的形状相适应，即建立仿射高斯尺度空间，如式(4)所示：
f(x)＝ig(Ux)＝g(Ux,σ)*i(Ux) (4)
但我们事先不知道仿射变换U，所以无法构造相应形状和大小的滤波器对图像进行滤波，只能用圆形滤波器对各向异性区域进行滤波，通过Hessian矩阵对仿射变换U进行粗略地估计，借助一定的迭代过程，逐步逼近真实的仿射变换。这个过程的数学表述如下：
用各向同性高斯滤波器对原图像区域进行滤波，即
Figure BDA0002714356830000065
(I为单位矩阵)，计算Hessian矩阵：
Figure BDA0002714356830000066
当j≥0时，循环以下过程：
Figure BDA0002714356830000071
Figure BDA0002714356830000072
直到
Figure BDA0002714356830000073
即Hj＝kI,k是一标量数值。其中Hj表示fj(x)的Hessian矩阵。
坐标(x,y)与(x′,y′)之间的仿射变换为：
Figure BDA0002714356830000074
除去平移所剩部分为：
Figure BDA0002714356830000075
其中θ＝arccos(1t),t＞1，其余的各个参数与图6中的各个参数一致。
中心位于原点的椭圆A′x2+2B′xy+C′y2＝1可以被看作单位圆在关联于对称阵
Figure BDA0002714356830000076
的线性映射下的图像，这里的D是带有H的特征值λ1和λ2的对角矩阵，两个特征值沿着D的主对角线排列，都是正实数，而P是以H的特征向量作为纵列的实数的酉矩阵。椭圆的长短轴分别沿着H的两个特征向量的方向，而两个与之对应的特征值分别是半长轴和半短轴的长度的平方的倒数，如图7所示。
因为Hessian矩阵也是对称矩阵，所以它可以写为如下形式：
Figure BDA0002714356830000077
其中P表示
Figure BDA0002714356830000078
的特征向量，λ1和λ2表示特征值。
将式(5)代入式(1)得：
Figure BDA0002714356830000079
假设在式(7)和式(8)中λ1＞λ2,t≥1，由于P是特征向量，对应着一个旋转操作，不改变区域的各向异性程度；s′,k2和R(θ)也都不改变区域的各向异性程度，所以
Figure BDA0002714356830000081
从以上推导可以得出以下结论：
使各向同性的图像区域变为各向异性的图像区域的仿射变换在两个正交方向上所产生的尺度变化之比可以通过Hessian矩阵进行衡量。
我们的目标是让各向异性的图像区域变为各向同性的区域，知道两个正交方向上的尺度变化之比后，就可以通过在一个方向上进行尺度变换，使两个方向上的尺度变化一样，图像区域就由各向异性变回各向同性。本文将利用该原理构造提取仿射不变特征，以克服因视角变化引起的各向异性的尺度变化。
接着介绍变各向异性尺度变换为各向同性尺度变换
根据是否与高斯平滑运算满足强交换关系，可将仿射变换参数分为以下两类：
一类是平移和旋转，与高斯平滑运算满足强交换关系。即：
G1Tu0＝TG1u0 G1Ru0＝RG1u0
其中，G1表示高斯平滑运算，T表示平移操作，u0表示图像，R表示旋转操作。
另一类是缩放和倾斜，与高斯平滑运算只满足弱交换关系。即：
G1Au0≠AG1u0 HλG1＝G1/λHλ
Figure BDA0002714356830000082
其中，A表示几何意义上的仿射变换，Hλ表示图像的几何缩放，λ表示缩放量，u0、u和v表示图像。
从以上仿射变换参数的分类可以看出：引起图像发生尺度变化的操作与高斯平滑运算满足弱交换关系。图像尺度变换的特殊之处在于：图像尺度的变化不是一个简单的几何变换，而是一个采样操作，为了正确地采样，在采样前需要对图像进行高斯平滑，高斯平滑方差的大小需要根据图像尺度的变化量确定。因为尺度变换操作与高斯平滑运算不满足强交换关系，所以当图像发生尺度变化时，并不知道图像尺度的变化量，也就无法确定如何对图像进行采样，这是处理图像尺度变化比处理旋转困难的原因所在。
在图像归一化的过程中，图像的尺度将发生变化，但归一化的方法无法对图像进行正确的高斯平滑操作，所以势必造成归一化后的图像不一致。
为了对图像进行正确的滤波，必须知道图像的尺度变化，从某种意义上讲，构造尺度空间和仿射尺度空间的目的就是为了计算各向同性和各向异性的尺度变化。本方案通过Hessian矩阵算得两个正交方向的尺度变化之比，下面介绍如何利用该尺度变化之比对图像区域进行正确的变换，使各向异性的尺度变化转化为各向同性的尺度变化。
定义图像u＝G1u0对其进行仿射变换后得到图像v＝G1Au0，其中仿射变换
Figure BDA0002714356830000091
Hλ表示图像发生了各向同性的尺度变换，变换量为λ；
Figure BDA0002714356830000098
表示在图像的x，y方向的尺度变化之比为t。
Figure BDA0002714356830000092
Figure BDA0002714356830000093
表示在图像的y方向做尺度变换之前，在y方向做高斯平滑，高斯核函数的方差为
Figure BDA0002714356830000094
t为尺度变化量。那么有以下关系成立：
Figure BDA0002714356830000095
Figure BDA0002714356830000096
由于旋转R2都不改变尺度变化的各向异性程度，所以式(10)和式(12)表明：对图像进行旋转和压缩可以使各向异性的尺度变化转化为各向同性的尺度变化。式(11)是该过程的核心，它的物理意义是：如果在x方向发生了倾斜，使图像在x方向的尺度缩小了t倍，那么需要在y方向通过式(11)的方式产生同样的尺度变换才能正确地将各向异性的尺度变化转化为各向同性的尺度变化。
本方案对仿射不变特征区域进行旋转压缩，使其各向异性的尺度变化转变为各向同性的尺度变化，如图8所示。
对椭圆形区域进行旋转，使椭圆的长轴与图像的x轴重合，旋转的角度是式(7)中的特征向量P与图像x轴所成的夹角。然后沿着长轴方向对椭圆进行压缩，直至其变为圆，压缩量为椭圆长短轴长度之比，即式(9)中的t。在压缩前要沿x轴对图像做高斯滤波，高斯滤波的方差为
Figure BDA0002714356830000097
其中c＝0.8。
图8通过椭圆到圆的变换过程说明了怎样将各向异性的尺度变化转化为各向同性的尺度变化。在实际计算过程中，我们要变换的区域是一个包含椭圆的面积更大的矩形图像区域，如图9所示，白色矩形901的长和宽分别与白色椭圆902的长短轴平行，长宽之比与椭圆的长短轴长度之比一样。这样做是合理的，只要图像在一个平面内，椭圆内图像的仿射变换和包含它的更大的图像区域的仿射变换是一致的。
实际的图像旋转和压缩过程如图10所示，旋转矩形区域，使矩形的长轴方向与图像x轴方向平行，压缩矩形直到其变为正方形。
经过以上的旋转压缩变换，各向异性的图像区域被变为各向同性的图像区域。由于各向同性的图像区域之间是相似变换关系，可以使用相似不变的特征提取算法提取相似不变特征。
本实施例中，基于Hessian矩阵的仿射不变特征提取与匹配算法步骤如下：
以下是仿射不变特征提取算法的详细步骤：
步骤1.用SIFT算法检测特征点。只检测而不描述，因为仿射不变特征提取算法在这一步只是为了选择迭代生成仿射不变特征区域(椭圆区域)的位置。也可以根据自己的需要选择其他的特征点检测算法。
步骤2.以步骤1中检测到的特征点为中心，用迭代算法迭代产生仿射不变特征区域，将仿射不变特征区域的二阶矩矩阵转化为对称矩阵的形式。
步骤3.求步骤2中的对称矩阵的特征值和特征向量，利用特征值和特征向量按照图10的方式对椭圆进行旋转压缩，使其变为圆。以特征点为中心取一正方形图像区域。
步骤4.在提取的正方形区域上使用SIFT算法提取SIFT特征点，并将SIFT特征点坐标变回原图像坐标.
步骤5.匹配特征点并用RANSAC算法滤除误匹配的点。
通过两幅图像之间匹配点的数量衡量算法的性能，匹配点越多算法性能越好。匹配点对之间用白色直线段相连，匹配点为线段的两个端点。可以看到，虽然图像发生了较为显著的仿射变换，但是匹配点的数量依然较多，足以支撑本质矩阵和相机外参数的计算。
应当理解的是，本发明中采用术语“第一”、“第二”等来描述各种信息，但这些信息不应限于这些术语，这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，“第一”信息也可以被称为“第二”信息，类似的，“第二”信息也可以被称为“第一”信息。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。

Claims (4)

1.一种架空输电线路自主巡检方法，其特征在于，包括如下步骤：
S1：初始时，由巡检人员操控巡检机器人进行初次线路巡检，巡检机器人在初次巡检过程中拍摄相应的初次巡检图像信息，巡检系统记录巡检人员的操作信息、机器人的参数信息、巡检点信息以及架空输电线路的障碍点信息；
S2：建立初次巡检图像信息与巡检机器人的各项参数之间的对应关系，并自动生成相对应的架空输电线路障碍列表；
S3：初次巡检结束后，对整个巡检过程进行回放，巡检人员从巡检图像信息中挑选出关键帧作为巡检系统应该覆盖的关键巡检点，并生成关键巡检点列表；
S4：巡检机器人根据架空输电线路障碍列表在自动巡检过程中执行系统中记录的巡检人员的操作；
S5：巡检机器人在自动巡检过程中针对关键巡检点拍摄相应的自动巡检图像信息；
S6：对比初次巡检图像信息与自动巡检图像信息，利用基于仿射不变特征的宽基线图像特征匹配方法计算初次巡检图像信息与自动巡检图像信息所对应的相机参数之间的变化量，根据变化量调整巡检机器人的参数，得到与初次巡检图像信息在同一视点下的自动巡检图像信息。
2.如权利要求1所述的架空输电线路自主巡检方法，其特征在于，在上述步骤S1中，机器人的参数信息包括机器人的位置信息、姿态信息以及各项传感器的参数信息。
3.如权利要求1所述的架空输电线路自主巡检方法，其特征在于，在上述步骤S2中，巡检人员对架空输电线路障碍列表进行核对、校正和验证。
4.如权利要求1所述的架空输电线路自主巡检方法，其特征在于，在上述步骤S3中，以关键巡检点为基点，通过相机视线的上下和左右运动实现对输电线路以及下方通道的全方位巡检。
CN202011067876.XA 2020-10-07 2020-10-07 一种架空输电线路自主巡检方法 Pending CN112184834A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011067876.XA CN112184834A (zh) 2020-10-07 2020-10-07 一种架空输电线路自主巡检方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011067876.XA CN112184834A (zh) 2020-10-07 2020-10-07 一种架空输电线路自主巡检方法

Publications (1)

Publication Number Publication Date
CN112184834A true CN112184834A (zh) 2021-01-05

Family

ID=73947453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011067876.XA Pending CN112184834A (zh) 2020-10-07 2020-10-07 一种架空输电线路自主巡检方法

Country Status (1)

Country Link
CN (1) CN112184834A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107167139A (zh) * 2017-05-24 2017-09-15 广东工业大学 一种变电站巡检机器人视觉定位导航方法及系统
CN109976344A (zh) * 2019-03-30 2019-07-05 南京理工大学 巡检机器人姿态矫正方法
CN110728715A (zh) * 2019-09-06 2020-01-24 南京工程学院 一种智能巡检机器人像机角度自适应调整方法
CN111037552A (zh) * 2019-12-06 2020-04-21 合肥科大智能机器人技术有限公司 一种配电房轮式巡检机器人的巡检配置及实施方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107167139A (zh) * 2017-05-24 2017-09-15 广东工业大学 一种变电站巡检机器人视觉定位导航方法及系统
CN109976344A (zh) * 2019-03-30 2019-07-05 南京理工大学 巡检机器人姿态矫正方法
CN110728715A (zh) * 2019-09-06 2020-01-24 南京工程学院 一种智能巡检机器人像机角度自适应调整方法
CN111037552A (zh) * 2019-12-06 2020-04-21 合肥科大智能机器人技术有限公司 一种配电房轮式巡检机器人的巡检配置及实施方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
RUAN LAKEMOND 等: "Hessian-Based Affine Adaptation of Salient Local Image Features", 《JOURNAL OF MATHEMATICAL IMAGING AND VISION》 *
杨化超等: "基于SIFT的宽基线立体影像密集匹配", 《测绘学报》 *
潘峥嵘等: "基于特征信息提取的双目视觉障碍物检测研究", 《计算机测量与控制》 *
王时哲等: "架空输电线路自主巡检机器人规划设计", 《宁夏电力》 *
田力 等: "输电线路杆塔无人机自动精细巡检系统研究", 《电力与能源》 *
谢凡等: "基于SIFT的单目移动机器人宽基线立体匹配", 《仪器仪表学报》 *

Similar Documents

Publication Publication Date Title
CN109308693B (zh) 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统
Xu et al. Pose estimation from line correspondences: A complete analysis and a series of solutions
US8600192B2 (en) System and method for finding correspondence between cameras in a three-dimensional vision system
JP4825980B2 (ja) 魚眼カメラの校正方法。
US10515259B2 (en) Method and system for determining 3D object poses and landmark points using surface patches
Fraundorfer et al. A minimal case solution to the calibrated relative pose problem for the case of two known orientation angles
CN110070564B (zh) 一种特征点匹配方法、装置、设备及存储介质
JP4825971B2 (ja) 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。
Kim et al. A camera calibration method using concentric circles for vision applications
US11488322B2 (en) System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same
Albl et al. Rolling shutter absolute pose problem with known vertical direction
US11625842B2 (en) Image processing apparatus and image processing method
CN111476841A (zh) 一种基于点云和图像的识别定位方法及系统
Kato et al. Identifying and localizing robots in a multi-robot system environment
Ventura et al. Structure and motion in urban environments using upright panoramas
Tezaur et al. A new non-central model for fisheye calibration
CN108537831B (zh) 对增材制造工件进行ct成像的方法及装置
Goto et al. 3D environment measurement using binocular stereo and motion stereo by mobile robot with omnidirectional stereo camera
CN112184834A (zh) 一种架空输电线路自主巡检方法
CN108564626B (zh) 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置
Wang et al. An automatic self-calibration approach for wide baseline stereo cameras using sea surface images
Liang et al. An integrated camera parameters calibration approach for robotic monocular vision guidance
Fabian et al. One-point visual odometry using a RGB-depth camera pair
JP2016194847A (ja) 画像検出装置、画像検出方法およびプログラム
WO2012076979A1 (en) Model-based pose estimation using a non-perspective camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210105