CN113670268B - 基于双目视觉的无人机和电力杆塔距离测量方法 - Google Patents

Abstract

本发明涉及一种基于双目视觉的无人机和电力杆塔距离测量方法，包括以下步骤：步骤S1:采用双目视觉摄像机，获取电力杆塔的图片；步骤S2:基于YOLACT算法对双目视觉摄像机拍摄到的电力杆塔图像进行实例分割，获得分割后的电力杆塔图像；步骤S3:通过SURF特征匹配方法对左右双目分割出的同一电力杆塔图像进行特征匹配，获得精确的特征点对;步骤S4:根据三角测距以及双目视觉中视差与深度的关系推出精确的深度图，进一步测算出无人机与电力杆塔之间的距离。本发明能精准测量无人机与电力杆塔之间的距离，保障无人机巡检期间机体的安全性与稳定性。

Description

基于双目视觉的无人机和电力杆塔距离测量方法

技术领域

本发明属于电力巡检系统与计算机视觉领域，具体涉及一种基于双目视觉的无人机和电力杆塔距离测量方法。

背景技术

随着电力系统的高速发展，国家对于电力线路的安全运行和供电可靠性的要求也水涨船高。由于电力传输线路以及电力杆塔在电网中起到十分重要的作用，其运行状态的安全稳定对于保证电网结构的完整性起着决定性作用。因此，为保障电站的正常工作，电力杆塔的日常巡检也就成了重中之重。

传统电力巡检采用人工巡检方式，但会耗费大量的人力与时间，而无人机巡检技术凭借其操作简单、视角独特、图片清晰的航拍功能，正在逐渐取代传统人工巡检，但由于无人机在电力杆塔周围会受到电磁干扰，出现机体远程可控性降低的现象，从而影响无人机控制的精确性。再加上目前市面上的无人机巡检方法大多不能精准反馈无人机与电力杆塔的准确距离。

发明内容

有鉴于此，本发明的目的在于提供一种基于双目视觉的无人机和电力杆塔距离测量方法，以解决上述问题。

为实现上述目的，本发明采用如下技术方案：

一种基于双目视觉的无人机和电力杆塔距离测量方法，包括以下步骤：

步骤S1:根据无人机搭载的双目视觉摄像机，获取电力杆塔的图片；

步骤S2:基于YOLACT算法对双目视觉摄像机拍摄到的电力杆塔图像进行实例分割，获得分割后的电力杆塔图像；

步骤S3:通过SURF特征匹配方法对左右双目分割出的同一电力杆塔图像进行特征匹配，获得精确的特征点对；

步骤S4:根据三角测距以及双目视觉中视差与深度的关系推出精确的深度图，进一步测算出无人机与电力杆塔之间的距离。

进一步的，所述步骤S2具体为：

步骤S21:对图片进行预处理，使其符合backbone的尺寸大小，并将其输入backbone进行特征提取；

步骤S22:通过YOLACT将实例分割分为两个子任务并行处理；

步骤S23:通过prediction head与NMS网络预测每一个实例的mask系数。

进一步的，所述backbone结构采用ResNet101+FPN网络，具体如下：

a.ResNet101共含有五个卷积模块，这五个模块的输出分别对YOLACT网络结构的C1到C5；

b.在ResNet101后增加一个FPN网络，FPN网络由ResNet101的C5经过一个卷积层得到P5，再对P5进行一次双线性插值放大，与经过卷积的C4相加得到P4，并同样的方法得到P3；此外，对P5进行卷积得到P6，对P6进行卷积得到P7；从而完成特征提取，并生成对应大小的anchor。

进一步的，所述步骤S22具体为：

P3通过Protonet生成一组针对全图的原型mask，每张图片有k个原型mask；

将backbone中的P3层特征抽取出来经过3个3×3卷积，然后再经过Upsampling+3×3卷积变为原图的四分之一大小，最后1×1卷积降低通道数至k，并生成k个138×138的原型mask。

进一步的，所述所述步骤S23具体为：在基于Anchor的检测模型基础上额外增加一个输出mask函数，也就是对于每一个边框输出c个类别的置信分数，4个回归量，k个mask系数；且mask系数有正有负，并基于tanh激活函数值域为(-1，1)的特性，在mask系数预测时使用tanh函数进行非线性激活；

prediction head在基于RetinaNet的基础上改进，通过共享一个3×3的卷积网络，然后各自经过3×3的卷积；其中a是每个P中的anchor数；将每一层的anchor数经过NMS后拼接起来得到所有的mask系数；

最后根据公式

M＝σ(PC^T)

其中，P为h×w×k的原型mask的集合，C为n×k的mask系数集合，代表有n个通过NMS和阈值过滤的实例，σ为sigmoid函数，最终得到的M的尺寸为h×w×n，即预测出n个mask。

进一步的，所述backbone的Loss函数由类别置信度损失L_cls、框回归损失L_box和mask损失L_loss三部分组成，其中类别置信度损失L_cls计算方式SSD中相同，即softmax损失

f(i,j)即矩阵f中的第i,j个元素，maxf_j即样本的所有分类得分中最大的得分；框回归损失L_box计算方式SSD中相同，即smooth-L1损失

L_loss为集成后的masks M和ground truth masks M_gt之间的二分类交叉熵损失

L_mask＝BCE(M,M_gt)。

进一步的，所述所述步骤S3具体为：

步骤S31:构建Hessian矩阵,对于向量f(x,y)，其Hessian矩阵为

接着通过Hessian矩阵的判别式

判断并检测图像的边缘点；为产生稳定的图像特征，在构建Hessian矩阵之前选择使用二阶标准高斯函数进行滤波，通过特定核间的卷积计算二阶偏导数，从而得到滤波后的Hessian矩阵

步骤S32:采用盒式滤波器近似代替高斯滤波器，并引入随尺度变化的权值来平衡误差，则Hessian矩阵的判别式变为

det(H)＝Dxx*Dyy-(0.9*Dxy)²

其中Dxx为x方向上的二阶偏导数，Dyy为y方向上的二阶偏导数，Dxy为先在x方向上求偏导，再在y方向上求偏导的二阶偏导数；

步骤S33:通过盒式滤波改变滤波器大小，通过积分图快速计算盒式滤波的响应图像，构建尺度空间；借助尺度空间可快速搜索并定位特征点，经过Hessian矩阵处理的每个像素点与三维图像空间和尺度空间邻域内的26个点进行比较，利用NMS初步确定特征点，再采用三维线性插值法得到亚像素级的特征点，同时滤除能量比较弱或是错误定位的特征点，筛选出最终稳定的特征点；

步骤S34:SURF算法对特征点的主方向进行分配，通过统计特征点圆形领域内的harr小波特征，以特征点为中心，统计在一定半径范围内以60度的扇形区域内x-y方向上的haar小波响应总和，并给这些响应值按照离特征点的远近赋予不同程度的权重，最后将最大值那个扇形的作为该特征点的主方向；

步骤S35:沿着特征点的主方向，在特征点周围框取一个边长为20s的正方形并将其分为16个子区域,s为特征点的尺度,，每个子区域统计25个像素的相对于主方向而言的水平方向和垂直方向的haar小波特征，得到四个值

∑dx,∑|dx|,∑dy,∑|dy|

即每个子区域的向量，作为SURF特征的描述子；

步骤S36:进行特征点的匹配，通过计算两个特征点间的欧式距离来确定匹配度，欧氏距离越短，代表两个特征点的匹配度越好，利用Hessian矩阵迹正负的判别快速排除方向相反的特征点。

进一步的，所述步骤S4具体为：

根据三角测量原理得到视差为：

d＝x^l-x^r

与深度z之间的关系为：

其中左右两个相机的光轴是平行的，x^l和x^r是点P在左右像平面上的成像点，T是左右相机的光心之间的距离，P为空间中的点，f是焦距，O_l和O_r是左右相机的光心；求出视差d即可求得深度z；

根据SURF算法对于实例分割后左右双目视觉图像的特征匹配图像，统计出各匹配点之间的距离，即为视差d；

根据双目视觉视差与深度距离关系求出深度图，再将立体匹配中由于几何畸变和噪声干扰产生的误差消除，从而进一步求出无人机与电力杆塔之间的精确距离。

本发明与现有技术相比具有以下有益效果：

本发明基于双目视觉的无人机和电力杆塔距离测量方法，能精准测量无人机与电力杆塔之间的距离，保障无人机巡检期间机体的安全性与稳定性，从而能准确定位故障发生位置，极大的保障电路的正常工作使用。

附图说明

图1是本发明一实施例中YOLACT的网络结构；

图2是本发明一实施例中Protonet的网络结构；

图3是本发明一实施例中Prediction Head的网络结构；

图4是本发明一实施例中SURF关键点定位；

图5是本发明一实施例中SURF算法特征点主方向判别；

图6是本发明一实施例中特征点描述子的生成；

图7是本发明一实施例中双目视差与深度距离关系。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

本发明提供一种基于双目视觉的无人机和电力杆塔距离测量方法，包括以下步骤：

步骤S1:采用双目视觉摄像机，获取电力杆塔的图片；

步骤S2:基于YOLACT算法对双目视觉摄像机拍摄到的电力杆塔图像进行实例分割，获得分割后的电力杆塔图像；

参考图1，在本实施例中，优选的，首先基于YOLACT算法对无人机上搭载的双目摄像头拍摄到的一系列电力杆塔的照片进行实例分割。

1.为使拍摄到的图片符合backbone的尺寸大小，需对图片进行预处理，并将其输入backbone进行特征提取。其中backbone结构与RetinaNet(即单步物体检测模型)相同，具体采用ResNet101(residual neural network，即残差神经网络，101表示卷积层+全连接层的总层数)+FPN网络。

11)ResNet101共含有五个卷积模块，这五个模块的输出分别对应图1中的C1到C5；

12)为了识别大尺度图像，需要在ResNet101后增加一个FPN网络。FPN网络由ResNet101的C5经过一个卷积层得到P5，再对P5进行一次双线性插值放大，与经过卷积的C4相加得到P4，并同样的方法得到P3。此外，对P5进行卷积得到P6，对P6进行卷积得到P7。从而完成特征提取，并生成对应大小的anchor(锚点，用于设置每一层实际响应的区域，使得某一层对特定大小的目标响应)：[24,48,96,192,384]，送入下一步。

2.根据图1，YOLACT将实例分割分为两个子任务并行处理。

21)P3通过Protonet生成一组针对全图的原型mask，每张图片有k个原型mask。

a.依据图2，将backbone中的P3层特征抽取出来经过3个3×3卷积，然后再经过Upsampling(上采样，用于放大图像)+3×3卷积变为原图的四分之一大小，最后1×1卷积降低通道数至k，并生成k个138×138的原型mask。

b.Protonet的作用有些类似语义分割模型，但Protonet部分的训练不单独设置损失，只在整个网络最后输出的mask上进行监督。

22)P3～P7通过prediction head与NMS网络预测每一个实例的mask系数。

a.对于mask系数，本发明在经典的基于Anchor的检测模型基础上额外增加了一个输出mask函数，也就是对于每一个边框输出c个类别的置信分数，4个回归量，k个mask系数。且mask系数有正有负，并基于tanh激活函数值域为(-1，1)的特性，在mask系数预测时使用tanh函数进行非线性激活。

b.根据图3，prediction head在基于RetinaNet的基础上改进，通过共享一个3×3的卷积网络，然后各自经过3×3的卷积。其中a是每个P中的anchor数。将每一层的anchor数经过NMS后拼接起来可得所有的mask系数。

3.最后根据公式

M＝σ(PC^T)

线性组合mask系数和原型mask。其中，P为h×w×k的原型mask的集合，C为n×k的mask系数集合，代表有n个通过NMS和阈值过滤的实例，σ为sigmoid函数(即取值范围在0～1的一个激活函数)，最终得到的M的尺寸为h×w×n，即预测出n个mask。

4.Loss函数由类别置信度损失L_cls、框回归损失L_box和mask损失L_loss三部分组成，其中类别置信度损失L_cls计算方式SSD中相同，即softmax损失

f(i,j)即矩阵f中的第i,j个元素，maxf_j即样本的所有分类得分中最大的得分。框回归损失L_box计算方式SSD中相同，即smooth-L1损失

L_loss为集成后的masks M和ground truth masks M_gt之间的二分类交叉熵损失

L_mask＝BCE(M,M_gt)

借助以上步骤，针对无人机拍摄到的电力杆塔的照片首先进行实例分割，区分出照片中的不同电力杆塔，并将分割结果转入下一步。

步骤S3:通过SURF特征匹配方法对左右双目分割出的同一电力杆塔图像进行特征匹配，获得精确的特征点对；

优选的，在本实施例中，步骤S3具体为：

首先构建Hessian矩阵——一个自变量为向量的二阶偏导数组成的方块矩阵。对于向量f(x,y)，其Hessian矩阵为

接着通过Hessian矩阵的判别式

判断并检测图像的边缘点。为产生稳定的图像特征，本实施例中在构建Hessian矩阵之前选择使用二阶标准高斯函数进行滤波，通过特定核间的卷积计算二阶偏导数，从而得到滤波后的Hessian矩阵

为提高SURF算法的运算速率以满足特征匹配的要求，本实施例中采用盒式滤波器近似代替高斯滤波器，并引入随尺度变化的权值来平衡误差，则Hessian矩阵的判别式变为

det(H)＝Dxx*Dyy-(0.9*Dxy)²

其中Dxx为x方向上的二阶偏导数，Dyy为y方向上的二阶偏导数，Dxy为先在x方向上求偏导，再在y方向上求偏导的二阶偏导数。基于此判别式，可将对图像的滤波转化成计算图像上不同区域间像素和的加减运算问题，借助积分图可快速计算像素灰度图之和，从而能快速判别特征点，提高运行速率。

为检测不同尺度的极值点，本实施中在保持图像大小不变的前提下，借助盒式滤波改变滤波器大小，通过积分图快速计算盒式滤波的响应图像，构建尺度空间。借助尺度空间可快速搜索并定位特征点，根据图4，经过Hessian矩阵处理的每个像素点与三维图像空间和尺度空间邻域内的26个点进行比较，利用NMS初步确定特征点，再采用三维线性插值法得到亚像素级的特征点，同时滤除能量比较弱或是错误定位的特征点，筛选出最终稳定的特征点。

同时为保证特征描述子的旋转不变性，SURF算法需要对特征点的主方向进行分配。根据图5，通过统计特征点圆形领域内的harr小波特征，即以特征点为中心，统计在一定半径范围内以60度的扇形区域内x-y方向上的haar小波响应总和，并给这些响应值按照离特征点的远近赋予不同程度的权重，最后将最大值那个扇形的作为该特征点的主方向。

沿着特征点的主方向，在特征点周围框取一个边长为20s(其中s为特征点的尺度)的正方形并将其分为16个子区域，每个子区域统计25个像素的相对于主方向而言的水平方向和垂直方向的haar小波特征，得到四个值

∑dx,∑|dx|,∑dy,∑|dy|

即每个子区域的向量。根据图6，由于存在16个子区域，每个子区域存在四个向量，因此共有16*4＝64维向量作为SURF特征的描述子。

最后进行特征点的匹配，通过计算两个特征点间的欧式距离来确定匹配度，欧氏距离越短，代表两个特征点的匹配度越好，除此之外利用Hessian矩阵迹正负的判别可快速排除方向相反的特征点。

步骤S4:根据三角测距以及双目视觉中视差与深度的关系推出精确的深度图，进一步测算出无人机与电力杆塔之间的距离。

优选的，在本实施例中，步骤S4具体为:通过找出每对图像间的对应关系，再根据三角测量原理，可得到视差图，本发明在已提取的特征点的基础上对其进行视差与深度的转换。依据图7，易求得视差

d＝x^l-x^r

与深度z之间的关系

其中左右两个相机的光轴是平行的，x^l和x^r是点P在左右像平面上的成像点，T是左右相机的光心之间的距离，P为空间中的点，f是焦距，O_l和O_r是左右相机的光心。因此只需要求出视差d即可求得深度z。根据SURF算法对于实例分割后左右双目视觉图像的特征匹配图像，统计出各匹配点之间的距离，即为视差d，根据双目视觉视差与深度距离关系求出深度图，再将立体匹配中可能由于几何畸变和噪声干扰产生的误差消除从而进一步求出无人机与电力杆塔之间的精确距离。

优选的，在本实施例中，为了将拍摄到的2D图像信息转化为3D空间物体信息，并由此重建和识别物体，需要对双目摄像机进行标定。而空间物体的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，而几何模型又是由摄像机参数所决定，因此摄像机的标定也就是求出内参和外参以及确定双目摄像头的相对位置关系，从而建立一个摄像机成像模型，明确空间坐标系中的物体点与成像平面中像素点之间的对应关系。

优选的，在本实施例中，由于需要测定无人机与电力杆塔之间的距离，因此需要在测距之前对双目摄像头的参数进行标定，且由于标定后需要对于同一目标进行特征匹配，因此也需要进行双目校正，使得检测到的同一特征点位于左右相机两张图像水平方向的同一条直线上，并进行相应的畸变校正，由此可以校正图像，大大加快特征点匹配的速度。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种基于双目视觉的无人机和电力杆塔距离测量方法，其特征在于，包括以下步骤：

步骤S1:采用双目视觉摄像机，获取电力杆塔的图片；

步骤S2:基于YOLACT算法对双目视觉摄像机拍摄到的电力杆塔图像进行实例分割，获得分割后的电力杆塔图像；

步骤S3:通过SURF特征匹配方法对左右双目分割出的同一电力杆塔图像进行特征匹配，获得精确的特征点对；

步骤S4:根据三角测距以及双目视觉中视差与深度的关系推出精确的深度图，进一步测算出无人机与电力杆塔之间的距离；

所述步骤S2具体为：

步骤S21:对图片进行预处理，使其符合backbone的尺寸大小，并将其输入backbone进行特征提取；

步骤S22:通过YOLACT将实例分割分为两个子任务并行处理；

步骤S23:通过prediction head与NMS网络预测每一个实例的mask系数；

所述backbone的Loss函数由类别置信度损失L_cls、框回归损失L_box和mask损失L_loss三部分组成，其中类别置信度损失L_cls计算方式SSD中相同，即softmax损失

f(i,j)即矩阵f中的第i,j个元素，maxf_j即样本的所有分类得分中最大的得分；框回归损失L_box计算方式SSD中相同，即smooth-L1损失

L_loss为集成后的masks M和ground truth masks M_gt之间的二分类交叉熵损失

L_loss＝BCE(M,M_gt)。

2.根据权利要求1所述的基于双目视觉的无人机和电力杆塔距离测量方法，其特征在于，所述backbone结构采用ResNet101+FPN网络，具体如下：

a.ResNet101共含有五个卷积模块，这五个模块的输出分别对YOLACT网络结构的C1到C5；

b.在ResNet101后增加一个FPN网络，FPN网络由ResNet101的C5经过一个卷积层得到P5，再对P5进行一次双线性插值放大，与经过卷积的C4相加得到P4，并同样的方法得到P3；此外，对P5进行卷积得到P6，对P6进行卷积得到P7；从而完成特征提取，并生成对应大小的anchor。

3.根据权利要求2所述的基于双目视觉的无人机和电力杆塔距离测量方法，其特征在于，所述步骤S22具体为：

P3通过Protonet生成一组针对全图的原型mask，每张图片有k个原型mask；

将backbone中的P3层特征抽取出来经过3个3×3卷积，然后再经过Upsampl ing+3×3卷积变为原图的四分之一大小，最后1×1卷积降低通道数至k，并生成k个138×138的原型mask。

4.根据权利要求3所述的基于双目视觉的无人机和电力杆塔距离测量方法，其特征在于，所述步骤S23具体为：在基于Anchor的检测模型基础上额外增加一个输出mask函数，也就是对于每一个边框输出c个类别的置信分数，4个回归量，k个mask系数；且mask系数有正有负，并基于tanh激活函数值域为(-1，1)的特性，在mask系数预测时使用tanh函数进行非线性激活；

prediction head在基于RetinaNet的基础上改进，通过共享一个3×3的卷积网络，然后各自经过3×3的卷积；其中a是每个P中的anchor数；将每一层的anchor数经过NMS后拼接起来得到所有的mask系数；

最后根据公式

M＝σ(PC^T)

其中，P为h×w×k的原型mask的集合，C为n×k的mask系数集合，代表有n个通过NMS和阈值过滤的实例，σ为sigmoid函数，最终得到的M的尺寸为h×w×n，即预测出n个mask。

5.根据权利要求1所述的基于双目视觉的无人机和电力杆塔距离测量方法，其特征在于，所述步骤S3具体为：

步骤S31:构建Hessian矩阵,对于向量f(x,y)，其Hessian矩阵为：

接着通过Hessian矩阵的判别式：

判断并检测图像的边缘点；为产生稳定的图像特征，在构建Hessian矩阵之前选择使用二阶标准高斯函数进行滤波，通过特定核间的卷积计算二阶偏导数，从而得到滤波后的Hessian矩阵：

步骤S32:采用盒式滤波器近似代替高斯滤波器，并引入随尺度变化的权值来平衡误差，则Hessian矩阵的判别式变为：

det(H)＝Dxx*Dyy-(0.9*Dxy)²

其中Dxx为x方向上的二阶偏导数，Dyy为y方向上的二阶偏导数，Dxy为先在x方向上求偏导，再在y方向上求偏导的二阶偏导数；

步骤S33:通过盒式滤波改变滤波器大小，通过积分图快速计算盒式滤波的响应图像，构建尺度空间；借助尺度空间可快速搜索并定位特征点，经过Hessian矩阵处理的每个像素点与三维图像空间和尺度空间邻域内的26个点进行比较，利用NMS初步确定特征点，再采用三维线性插值法得到亚像素级的特征点，同时滤除能量比较弱或是错误定位的特征点，筛选出最终稳定的特征点；

步骤S34:SURF算法对特征点的主方向进行分配，通过统计特征点圆形领域内的harr小波特征，以特征点为中心，统计在一定半径范围内以60度的扇形区域内x-y方向上的haar小波响应总和，并给这些响应值按照离特征点的远近赋予不同程度的权重，最后将最大值那个扇形的作为该特征点的主方向；

步骤S35:沿着特征点的主方向，在特征点周围框取一个边长为20s的正方形并将其分为16个子区域,s为特征点的尺度,每个子区域统计25个像素的相对于主方向而言的水平方向和垂直方向的haar小波特征，得到四个值：

∑dx,∑|dx|,∑dy,∑|dy|

即每个子区域的向量，作为SURF特征的描述子；

步骤S36:进行特征点的匹配，通过计算两个特征点间的欧式距离来确定匹配度，欧氏距离越短，代表两个特征点的匹配度越好，利用Hessian矩阵迹正负的判别快速排除方向相反的特征点。

6.根据权利要求1所述的基于双目视觉的无人机和电力杆塔距离测量方法，其特征在于，所述步骤S4具体为：

根据三角测量原理得到视差为：

d＝x^l-x^r

与深度z之间的关系为：

其中左右两个相机的光轴是平行的，x^l和x^r是点P在左右像平面上的成像点，T是左右相机的光心之间的距离，P为空间中的点，f是焦距，O_l和O_r是左右相机的光心；求出视差d即可求得深度z；

根据SURF算法对于实例分割后左右双目视觉图像的特征匹配图像，统计出各匹配点之间的距离，即为视差d；

根据双目视觉视差与深度距离关系求出深度图，再将立体匹配中由于几何畸变和噪声干扰产生的误差消除，从而进一步求出无人机与电力杆塔之间的精确距离。