CN110132226B - 一种无人机巡线的距离及方位角测量系统和方法 - Google Patents

Abstract

本发明涉及一种无人机巡线测距和方位角测量系统及方法，所述系统包括无人机、无人机搭载的双目相机和机载计算机；机载计算机包括图像处理模块和数据处理模块；双目相机用来采集电力线图像信息，并将采集到的图像信息传输给图像处理模块；双目相机两个镜头的成像芯片处于同一平面；图像处理模块负责将图像信息转换成数据信息，并传送给数据处理模块。所述方法包括：S1：对相机全视场进行全部定标；S2：采集电力线图像信息，并将图像信息传输给图像处理模块；S3：对图像进行处理，并计算得到电力线偏离双目相机成像芯片构成的成像平面的中心点距离；S4：计算出无人机到电力线之间的垂直距离和无人机的方位角。本发明所述系统成本低、所述方法技术简单。

Description

一种无人机巡线的距离及方位角测量系统和方法

技术领域

本发明涉及无人机巡线技术领域，更具体地，涉及一种无人机巡线的距离和方位角测量系统和方法。

背景技术

国内电能输送和分配依靠输电网和配电网实现，因此电网的安全的对工业生产和人们的生活十分重要；传统人工检查线路安全主要靠肉眼识别，效率低，并存在很多隐患；近年利用无人机对输配电力线进行安全检查越来越多，无人机巡线主要是通过机载设备识别电力线的缺陷和故障，从各个不同角度来巡检电力线路上的存在的安全隐患；在巡检过程中，测量无人机与电力线之间的距离，判断两者是否处于一个安全距离内，同时确定无人机与电力线之间的方位角度就显得尤其重要。

在已有的巡线测距方法中有超声波测距、利用电场分布测距、红外测距、激光测距和单目光学相机等测距；其中超声波在空气衰减过快，分辨率低，在电力线测距中稳定性不够；电场强度分布测距误差大，计算复杂；红外测距容易受到太阳光的干扰，对物体所处环境有一定要求，价格相对比较昂贵；激光雷达器件由于其工作原理的特点，一般的激光雷达对电力线测量存在不稳定的问题，且成本高、功耗大，其他类似的雷达原理测距的方法都大致相同，电力巡线的实际应用中均有特点，分辨率要求较高的雷达价格较高；单目光学相机是一种工业上常用的测距方法，一般需要标定，在应用中需要已知被测对象的一些几何参数，才能够完成测距计算；目前行业内采用的测量电力线与无人机距离的方法都存在一定的特点和缺陷，对应用场景需要有一定的选择性。

在电力线巡检中，无人机相对电力线的距离和方位角是一个有检测意义的数据，需要动态测量；距离测量一般采用上述传感器；方位角的测量一般是使用云台，通过测量云台的偏转角来计算；一些如激光雷达等扫描传感器也可以获得，但这些方法存在一些不足和缺陷，如成本相对高，技术较复杂，还有场景需要一定的选择性。

发明内容

本发明为克服上述现有技术所述的无人机巡线的距离和方位角测量成本高、技术复杂的缺陷，提供一种无人机巡线的距离和方位角测量系统和方法。

所述系统包括无人机、无人机搭载的双目相机和机载计算机；

机载计算机包括图像处理模块和数据处理模块；

双目相机用来采集电力线图像信息，并将采集到的图像信息传输给图像处理模块；双目相机两个镜头的成像芯片处于同一平面；

图像处理模块负责对双目相机传输来的图像信息进行处理；将图像信息转换成数据信息；并将数据信息发送给数据处理模块；

数据处理模块负责对数据信息进行处理，从而得出无人机到电力线之间的距离和无人机的方位角。

所述方法应用于本发明所述的系统；

本发明所述方法所涉及的点、线和角都是建立在与电力线垂直的平面，且双目相机两个镜头的光心位于这个平面上，该平面为称截平面。

由于电力线在成像平面的像，是一条线，为了更清楚的阐述技术方案，所以我们取一个与成像平面垂直，并且过光心的平面，这个平面为截平面，电力线的像在这个截平面上的截点为本发明所述的电力线的像点。

本发明所述的无人机镜头平面是指经过双目相机两个镜头光心的水平面。

所述方法包括以下步骤：

S1：在无人机起飞执行任务前，调整双目相机，对相机全视场进行全部定标；

S2：控制无人机对电力线进行巡线，双目相机采集电力线图像信息，并将图像信息传输给图像处理模块；

S3：图像处理模块对S2获得的图像进行灰度化、二值化、形态学滤波、hough直线拟合处理，计算得到在双目相机成像芯片构成的成像平面上，成像平面中心点与电力线的距离，即电力线偏离的距离；

S4：数据处理模块根据S3所获得的在截平面上的电力线像点偏离双目相机成像芯片构成的成像平面中心的距离，计算出双目相机中心点到电力线的距离，即无人机到电力线之间的距离，并计算出无人机的方位角。

优选地，S2中无人机巡线过程中需控制无人机，使得无人机搭载的双目相机成像芯片构成的成像平面与电力线处于平行状态。

优选地，S3包括以下步骤：

S3.1：将S2采集的图像信息进行灰度化，图像中像素值若小于预设阈值(通过多次实验获得)，则将其置255，否则置0；

S3.2：遍历灰度图像的全部像素，完成二值化；

S3.3：对S3.2获得的二值图像进行形态学滤波；进行开运算处理，使得电力线区域的连通域与背景区分开；

S3.4：检测二值图像中的连通域，计算连通域的最小外接矩形，设该矩形的长边为w_r，短边为h_r；计算该连通域的线状指标μ＝w_r/h_r；若μ大于预设阈值(通过多次实验获得)，则将该连通域认定为电力线；

S3.5：对电力线的连通域进行图像细化处理，提取骨架信息，获得骨架图像；

S3.6：对骨架图像进行hough直线拟合，得到直线方程F；

S3.7：分别计算双目相机成像芯片构成的成像平面中心点坐标到拟合得到的电力线直线方程的垂直距离，得到电力线在成像平面上的像点与成像平面中心点之间的距离。双目相机的两个镜头可分别求得该距离。

由于双目相机含有两个镜头，两个镜头中与电力线距离短的镜头为距离电力线较近的镜头。

优选地，S4中无人机到电力线之间的垂直距离和无人机的方位角的计算为：根据无人机与电力线的位置关系以及双目测距原理和相似三角形原理，计算出双目相机中心点到电力线的距离，即无人机到电力线之间的距离，并计算出无人机的方位角。

优选地，无人机到电力线之间的垂直距离的计算公式为：

式中，h为无人机和电力线之间的垂直距离，f为相机的焦距，b为两个镜头之间的距离，δ为无人机飞行方向与电力线的夹角，通过δ角将两个镜头之间的距离投影到与电力线垂直的截平面上，x₁为距离电力线近的镜头的成像平面中心点到拟合得到的电力线直线方程的垂直距离，x₂为距离电力线远的镜头成像平面中心点到拟合得到的电力线直线方程的垂直距离。

由于双目相机含有两个镜头，两个镜头中与电力线距离短的镜头为距离电力线较近的镜头。

优选地，S4中无人机的方位角的计算公式为：

θ＝β-γ

β＝arctan(x₂/f)

x₂ ²+f²＝d²

式中，θ为截平面上无人机巡线时与电力线之间的方位角，D为距电力线较远的镜头光心到电力线的距离；β为截平面上电力线到无人机镜头平面之间的垂直线与电力线到距离电力线较远的镜头之间的连线所形成的夹角；

γ为截平面上电力线到无人机镜头平面之间的垂直线与电力线到两镜头之间的中点连线所形成的夹角；

d为距离电力线远的镜头光心到电力线在该镜头的成像点之间的距离。

本发明采用无人机搭载的光学双目相机测距法提供了一种无人机巡线的距离和方位角测量系统和方法；其测量系统结构简单，成本相对较低，利用三角测量法，通过空间解析几何运算得到无人机与电力线之间的距离、电力线与无人机搭载双目相机成像平面法线方向之间的夹角；双目测距方法在电力线测量中的运用，既包括了单目视觉的识别能力和特点，又包括了单目视觉不具备的能力和特点；不但可以测量电力线与无人机的距离，还能够测量无人机与电力线的之间的方向角。

与现有技术相比，本发明技术方案的有益效果是：本发明所述测量系统结构简单，成本相对较低；本发明所述方法技术简单，利用三角测量法，通过空间解析几何运算得到无人机与电力线之间的距离、电力线与无人机搭载双目相机成像平面法线方向之间的夹角；双目测距方法在电力线测量中的运用，既包括了单目视觉的识别能力和特点，又包括了单目视觉不具备的能力和特点；不但可以测量电力线与无人机的距离，还能够测量无人机与电力线的之间的方位角。

附图说明

图1为无人机与电力线位置示意图。

图2为双目相机的视场角示意图。

图3为图像处理流程图。

图4为无人机飞行方向与电力线的夹角。

图5为双目测距测方位角示意图。

图6为本发明流程示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1：

本实施例提供一种无人机巡线的距离和方位角测量系统。

所述系统包括无人机、无人机搭载的双目相机和机载计算机；

机载计算机包括图像处理模块和数据处理模块；

双目相机用来采集电力线图像信息，并将采集到的图像信息传输给图像处理模块；双目相机两个镜头的成像芯片处于同一平面；

图像处理模块负责对双目相机传输来的图像信息进行处理；将图像信息转换成数据信息；并将数据信息发送给数据处理模块；

数据处理模块负责对数据信息进行处理，从而得出无人机到电力线之间的距离和无人机的方位角。

实施例2：

本实施例提供一种无人机巡线的距离和方位角测量方法，所述方法应用于实施例1所述系统，其中，方位角是指无人机偏离电力线竖直方向的角度，即通过电力线并垂直于水平面向上的方向，如图5所示的θ；或从另外一个角度讲，是电力线与无人机搭载的双目相机成像平面法线方向的偏角，或称方位角，如图1所示的θ。

所如图1所示，双目相机成像芯片构成一个成像平面，该平面法线方向为n，电力线与成像平面平行；A、B为两根电力线，或者同一根电力线在不同时刻的位置；p1、p2为电力线上的目标点或是电力线上的缺陷；θ为电力线与无人机之间的方位角；双目相机开展测量工作时，A、B电力线与成像平面处于平行状态，成像平面可以在电力线的上方，侧面或下方，只要保证电力线处于成像平面平行状态，原则上双目相机可以在任何位置对电力线进行测量；所述方法基于双目测距原理，即三角测量法，采用无人机搭载一台具有完全相同的两个光学镜头的双目相机实时同步拍摄，通过几何数学运算，确定无人机与电力线的距离和无人机与电力线之间的方位角；同样可以测量电力线上某一故障点到无人机的距离和方位角。

电力线在成像平面的像，是一条线，为了更清楚的阐述技术方案，我们取一个与成像平面垂直，并且过光心的平面，这个平面是一个截平面，电力线的像在这个截平面上的截点，本实施例所说的电力线的像点。

无人机搭载的双目相机开始测量工作时，电力线与双目相机成像平面处于平行状态；双目相机实时同步对电力线进行拍摄，两个镜头成像芯片中心点之间的距离已知为b，每个相机有一个最大视场角，待测电力线应同时在两个镜头的视野内，即电力线要处于两个镜头的视场交叉区域Ω内，如图2所示，图中L₁、L₂为双目相机的两个镜头。

本实施例设定的场景是无人机在电力线正上方巡视；无人机在电力线侧方飞行时，电力线处于双目相机成像平面垂线附较近、双目视场重叠区。

本实施例的定标是指将每一个相机按照相机定标流程，进行畸变、标度等标定，结合相机视场大小标定好相机；在视场角和满视场像素数量，已知电力线直径时，单个相机可以通过待测电力线所占像素测量出距离；对双目相机，可通过三角测量法，计算出电力线与双目相机的距离。

本实施例运用三角测量法，测量无人机与电力线的距离和方位角的测量方法，如图6所示，所述方法包括如下步骤：

S1：定标。

电力线的宽度具有一定的规格，宽度已知为a；无人机起飞执行任务前，需要通过在实验室调整双目相机，通过对标准定标模板竖直方向的距离的标定；记录模板的标定格宽度在相机中所占有的像素数，据此得出距离和像素数之间的函数关系，通过这些函数关系，可以通过待测物体直径占有像素数计算获得；对相机全视场，需要全部定标。

S2：图像采集。

无人机起飞执行任务，在巡线过程中尽可能使电力线与无人机搭载的双目相机成像平面处于平行状态。双目相机同步启动拍摄，获取图像，并传输给图像处理模块。

S3：图像处理。

如图3所示，图像处理包含如下步骤：

S3.1：将S2的获得的图像进行灰度化，图像中像素值若小于预设阈值(通过多次实验获得)，则将其置255，否则置0；

S3.2：遍历灰度图像的全部像素，完成二值化；

S3.3：对S3.2获得的二值图像进行形态学滤波；进行开运算处理，使得电力线区域的连通域与背景区分开；

S3.4：检测二值图像中的连通域，计算连通域的最小外接矩形，设该矩形的长边为w_r，短边为h_r；计算该连通域的线状指标μ＝w_r/h_r；若μ大于预设阈值(通过多次实验获得)，则将该连通域认定为电力线。

S3.5：对电力线的连通域进行图像细化处理，提取骨架信息；

S3.6：对细化后的骨架图像进行hough直线拟合，得到直线方程；

S3.7：分别计算双目相机成像芯片构成的成像平面中心点坐标到拟合得到的电力线直线方程的距离，得到电力线在镜头成像面上的像点与各自中心点之间的距离。

S4：数据处理和计算

根据无人机与电力线的位置关系以及双目测距原理和相似三角形原理，如图5所示；

图中，P为电力线，L₁为双目相机中距离P较较近的镜头，L₂为双目相机中距离P较较远的镜头，成像平面为双目相机成像的平面，Q₁、Q₂、O₁、O₂都在成像平面上，在截平面上，Q₁为电力线在镜头L₁的成像平面所对应的成像点，Q₂为电力线在镜头L₂的成像平面所对应的成像点，O₁是L₁所对应在成像平面的中心点，O₂是L₂所对应在成像平面的中心点。

V为截面上电力线到双目相机镜头平面的垂点，K为镜头L₁到V点之间的距离，d是镜头L₂到Q₂之间的距离，x₁和x₂分别为电力线P在镜头L₁、L₂成像面上的像点与各自中心点之间的距离。

如图4所示，δ为无人机飞行方向与电力线的夹角；

由图5可知无人机到电力线的垂直距离h，其中f为相机的焦距，b为两个镜头之间的距离，θ为无人机巡线时与电力线之间的方位角，D为双目相机L₂到电力线的距离；β为截平面上电力线到无人机镜头平面之间的垂直线与电力线到距离电力线较远的镜头之间的连线所形成的夹角；

γ为截平面上电力线到无人机镜头平面之间的垂直线与电力线到两镜头之间的中点M连线所形成的夹角；

d为距离电力线远的镜头光心到电力线在该镜头的成像点之间的距离。

联立上式，解得电力线到无人机的垂直距离为

又有，x₂ ²+f²＝d²

可得D的值，因此γ可利用余弦定理求出；

由图可知θ＝β-γ；

至此，可求解无人机的方位角θ；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (5)

1.一种使用无人机巡线的距离和方位角测量系统的测量方法，其特征在于，所述无人机巡线的距离和方位角测量系统包括：包括无人机、无人机搭载的双目相机和机载计算机；

机载计算机包括图像处理模块和数据处理模块；

双目相机用来采集电力线图像信息，并将采集到的图像信息传输给图像处理模块；双目相机两个镜头的成像芯片处于同一平面；

图像处理模块负责对双目相机传输来的图像信息进行处理；将图像信息转换成数据信息；并将数据信息发送给数据处理模块；

数据处理模块负责对数据信息进行处理，从而得出无人机到电力线之间的距离和无人机的方位角；

所述方法包括以下步骤：

S1：在无人机起飞执行任务前，调整双目相机，对相机全视场进行全部定标；

S2：控制无人机对电力线进行巡线，采集电力线图像信息，并将图像信息传输给图像处理模块；

S3：图像处理模块对S2获得的图像进行灰度化、二值化、形态学滤波、hough直线拟合处理，计算得到电力线偏离双目相机成像芯片构成的成像平面中心的距离；

S3包括以下步骤：

S3.1：将S2采集的图像信息进行灰度化，图像中像素值若小于预设阈值，则将其置255，否则置0；

S3.2：遍历灰度图像的全部像素，完成二值化；

S3.3：对S3.2获得的二值图像进行形态学滤波；进行开运算处理，使得电力线区域的连通域与背景区分开；

S3.4：检测二值图像中的连通域，计算连通域的最小外接矩形，设该矩形的长边为w_r，短边为h_r；计算该连通域的线状指标μ＝w_r/h_r；若μ大于预设阈值，则将该连通域认定为电力线；

S3.5：对电力线的连通域进行图像细化处理，提取骨架信息，获得骨架图像；

S3.6：对骨架图像进行hough直线拟合，得到直线方程；

S3.7：分别计算双目相机成像芯片构成的成像平面中心点坐标到拟合得到的电力线直线方程的垂直距离，得到电力线偏离双目相机成像芯片构成的成像平面中心的距离；

S4：数据处理模块根据S3所获得的电力线偏离双目相机成像芯片构成的成像平面中心的距离，计算出无人机到电力线之间的垂直距离和无人机的方位角。

2.根据权利要求1所述的使用无人机巡线的距离和方位角测量系统的测量方法，其特征在于，S2中无人机巡线过程中需控制无人机，使得无人机搭载的双目相机成像芯片构成的成像平面与电力线处于平行状态。

3.根据权利要求2所述的使用无人机巡线的距离和方位角测量系统的测量方法，其特征在于，S4中无人机到电力线之间的垂直距离和无人机的方位角的计算为：根据无人机与电力线的位置关系以及双目测距原理和相似三角形原理，计算出电力线和无人机的垂直距离和无人机的方位角。

4.根据权利要求3所述的使用无人机巡线的距离和方位角测量系统的测量方法，其特征在于，无人机到电力线之间的垂直距离的计算公式为：

式中，h为电力线和无人机之间的垂直距离，f为相机的焦距，b为两个镜头之间的距离，δ为无人机水平飞行方向与电力线的夹角，x₁为距离电力线近的双目相机成像芯片构成的成像平面中心点坐标到拟合得到的电力线直线方程的垂直距离，x₂为距离电力线远的双目相机成像芯片构成的成像平面中心点坐标到拟合得到的电力线直线方程的垂直距离。

5.根据权利要求4所述的使用无人机巡线的距离和方位角测量系统的测量方法，其特征在于，S4中无人机的方位角的计算公式为：

θ＝β-γ

β＝arctan(x₂/f)

x₂ ²+f²＝d²

式中，θ为截平面上无人机巡线时与电力线之间的方位角，D为距电力线较远的镜头光心到电力线的距离；

β为截平面上电力线到无人机镜头平面之间的垂直线与电力线到距离电力线较远的镜头之间的连线所形成的夹角；

γ为电力线到距离电力线较远的镜头之间的连线与电力线到两镜头之间的中点连线；

d为距离电力线远的镜头光心到电力线在该镜头的成像点之间的距离；

其中，截平面为与电力线垂直的平面，且双目相机两个镜头的光心位于所述平面上。

Images