CN113066120B - 一种基于机器视觉的智能杆塔倾斜检测方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的智能杆塔倾斜检测方法，具体步骤包括：S1、通过位于待测杆塔上方的相机拍摄所述待测杆塔的顶部图像；S2、基于机器学习训练的平面识别模型，识别所述S1拍摄图像中待测杆塔顶部的平面区域；S3、通过深度相机获得所述S2中平面区域的深度图；S4、根据所述S3中深度图计算获得所述平面区域的倾斜角度，即所述待测杆塔的倾斜角度；本发明优点在于，结合机器学习，可自动识别完成检测，提高了检测效率；并采用上部拍摄图像的方式，杆塔顶部遮挡物较少，可以获得较为清晰的杆塔图像，能大大提高测量精度。

Description

一种基于机器视觉的智能杆塔倾斜检测方法

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于机器视觉的智能杆塔倾斜检测方法。

背景技术

当今社会，电力和通信在日常生活和工业生产中的重要性不言而喻，这就对电力网和通信网的稳定性提出了很高的要求。杆塔作为空中电力网和通信网架设的基础，在电力网和通信网中起着至关重要的作用。由于外力作用、气候变化、地质灾害等因素的影响，杆塔容易发生倾斜，给电力网和通信网带来安全隐患，需要及时进行排查和修复。

现有的杆塔倾斜测量方法大致分为两类：一类是诸如铅锤测量法、经纬仪测量法、平面镜测量法等需要人工操作和干预的方法，这类方法操作复杂、耗时耗力，无法满足日益增长的测量需求；另一类是如采用倾角传感器、基于图像处理，激光点云等进行测量的只需少量或不需人工干预的方法，这类方法具有一定的智能性，是未来杆塔倾斜检测的趋势。智能方法中，倾角传感器测量法具有一定的局部性，而激光点云测量法成本又过高。

在基于图像处理的方法中，中国专利“杆塔倾斜智能图像辨识测量方法”(申请号CN201610661227.X)、中国专利“一种基于视频差异的输电线路杆塔倾斜的測量方法”(申请号CN201110157735.1)和中国专利“一种基于双目视觉的输电杆塔倾斜的测量方法”(申请号CN201910756618.3)均采用了静态监测方法，即相机静止安装在杆塔周围进行监测，这类静态监测方法至少存在下列不足：

1、需要为每个杆塔配备相应的相机(为对杆塔进行完整的监测，每座杆塔至少需要在相互垂直的两个方向上安装相机)、监测数据的传输需要额外的硬件支持、安装在野外的相机本身容易遭到破坏，会带来极高的材料成本、安装成本和维护成本。

2、由于杆塔的高度往往很高且远大于宽度，为从水平方向获取完整的杆塔图像，相机必须安装得比较远，这会导致图像中最为关键的杆塔宽度方向的图像(用于计算杆塔倾角)较窄，在相机分辨率有限且距离较远的情况下，不利于进行倾斜检测，最终导致检测精度过低甚至无法检测。

3、在如森林、城市等复杂环境下，杆塔下部通常会有大量遮挡物，这会对相机安装位置的选取带来很大的挑战，如想要将相机安装至较高的、合适的拍摄位置，则会进一步增加成本，甚至无法找到合适的安装位置。

发明内容

有鉴于此，本发明提供一种基于机器视觉的智能杆塔倾斜检测方法，能够解决上述问题。

为此目的，本发明由如下技术方案实施。

一种基于机器视觉的智能杆塔倾斜检测方法，具体步骤如下：

S1、通过位于待测杆塔上方的相机拍摄所述待测杆塔的顶部图像；

S2、基于机器学习训练的平面识别模型，识别所述S1拍摄图像中待测杆塔顶部的平面区域；

S3、通过深度相机获得所述S2中平面区域的深度图；

S4、根据所述S3中深度图计算获得所述平面区域的倾斜角度，即所述待测杆塔的倾斜角度。

更进一步，在所述S1中，所述相机的安装方式包括但不限于：固定安装于所述待测杆塔的上方，或安装于移动平台，或安装于飞行器下方。

更进一步，在所述S2中，所述平面识别模型训练方法包括：

S21、样本准备：收集不同角度、位置及高度拍摄的杆塔顶部图像作为输入量；人为标注杆塔顶部的平面区域，作为训练结果；

S22、模型训练：将样本输入机器学习模型中进行迭代训练，获得所述平面识别模型；所述机器学习模型包括但不限于卷积神经网络。

更进一步，在所述S1中，所述相机的安装于飞行器下方，所述飞行器为旋翼式无人机；所述相机中设置有杆塔识别模型；所述杆塔识别模型训练方法包括：

a、样本准备：收集不同角度、位置及高度拍摄的杆塔侧向图像作为输入量；人为标注杆塔，作为训练结果；

b、模型训练：将样本输入机器学习模型中进行迭代训练，获得所述杆塔识别模型；所述机器学习模型包括但不限于卷积神经网络；

所述飞行器飞行过程中通过所述相机识别所述待测杆塔，并由飞控系统控制所述飞行器飞行至所述待测杆塔的上方，再进行所述S1步骤。

更进一步，在所述S3中，所述深度相机包括但不限于结构光相机、双目相机；

保持所述深度相机的相机平面为水平面，或通过投影变换为水平面，并根据图像求解所述平面区域到所述相机平面的深度图；

对所述深度相机获得的深度图进行筛选，并记录所述平面区域中深度最大点A、深度最小点B及相应的深度数值。

更进一步，在所述S4中，根据所述深度图计算获得所述深度最大点A、深度最小点B的位置坐标，计算两点间向量与水平面的夹角；所述夹角等于所述待测杆塔的倾斜角度。

更进一步，在所述S4中，至少选取所述平面区域内两个点与所述深度最大点A、深度最小点B拟合形成一个平面，拟合方法包括但不限于最小二乘法；获得拟合平面的方程，并求解所述平面与水平面的夹角；所述夹角等于所述待测杆塔的倾斜角度。

更进一步，在所述S2中，所述平面识别模型训练方法还包括：

样本准备阶段中，人为标注杆塔基部的平面区域，并与杆塔顶部的平面区域共同作为训练结果输入机器学习模型中进行迭代训练。

更进一步，在所述S3中，分别通过所述深度相机获得杆塔顶部平面区域的深度图和杆塔基部平面区域的深度图。

更进一步，在所述S4中，在拍摄图像中确定所述杆塔顶部的平面区域的中心点，记为第一中心点；并根据深度图获取所述第一中心点的深度值l；

在拍摄图像中确定所述杆塔基部的平面区域的中心点，记为第二中心点；

在杆塔基部平面区域的深度图中选取边角处多个点，并计算多点的平均深度值L；

根据空间几何换算得出所述第一中心点与第二中心点之间水平方向的间距w；

计算所述待测杆塔的倾斜角度为：

其中，β为所述待测杆塔的倾斜角。

本发明具有如下优点：

1、降低了成本。可将相机依附可移动载体，并根据机器视觉引导进行运动，一套相机和载体设备即可完成所有杆塔的倾斜测量。

2、检测效率高。加入了深度学习模块和机器视觉模块，可自动识别完成检测，不需要人为干预，大大提高了检测效率。

3、安全性高。由于在杆塔上空进行检测作业，障碍物较少，拍摄限制较少，且存在障碍物的情况下也能通过机器视觉进行路径规划以避开障碍物，提高了检测作业的安全性。

4、测量精度高。由于在杆塔上空进行检测作业，杆塔顶部几乎没有遮挡物，可以获得较为清晰的杆塔图像，能大大提高测量精度；进一步，考虑相机平面和水平面存在的夹角，加入了投影变换算法，进一步提高了测量精度。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本发明的一个或几个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明流程图

图2为本发明实施例1中相机拍摄位示意图；

图3为本发明实施例1中求解原理示意图；

图4为本发明实施例2中求解原理示意图。

图中：

1-飞行器；2-相机；3-待测杆塔；301-第一中心点；302-第二中心点。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请实施例中的特征可以相互组合。

下面将结合附图，对本发明做进一步说明。

实施例1

首先针对方法适用平台进行说明，为了完成必要检测，系统需要包括相机2，实际可搭载的移动平台可以为升降机构或每个杆塔固定安装一套设备，但是考虑成本及无人化、自动化操作需求，本实施例中优选将上述拍摄装置搭载于飞行器1下方；具体选择多轴无人机作为移动平台，并通过云台连接各相机2，保持相机2平面与水平面平行设置。

一种基于机器视觉的智能杆塔倾斜检测方法，如图1所示，主要步骤如下：

首先，如可人工操控飞行器1运动至杆塔上空方法并不唯一；包括可利用GNSS定位技术导航至杆塔上空、可利用视觉SLAM(同步定位与建图)技术进行视觉引导至杆塔上空等。但是，人工操控存在难度大、效率低、成本高等问题；GNSS定位导航存在无法感知地形、无法感知并躲避杆塔周围的障碍等问题，容易造成不必要的损害。其中，视觉SLAM技术可感知地形和杆塔周围的障碍物，并根据现场环境进行实时路径规划，引导载体自主运动至杆塔上空，无需人为干预，具有很高的智能性和安全性，可大大节约成本、提高检测效率。故本实施例中优选地，利用视觉SLAM技术将载体引导运动至杆塔上空，具体方法为：

飞行器1的相机2中还设置有杆塔识别模型；杆塔识别模型训练方法包括：

a、样本准备：收集不同角度、位置及高度拍摄的杆塔侧向图像作为输入量；人为标注杆塔，作为训练结果；具体标注内容为在图像中标识出杆塔。

b、模型训练：将样本输入机器学习模型中进行迭代训练，获得杆塔识别模型；机器学习模型包括但不限于卷积神经网络。具体可预先采用CNN网络、SVM或者其他分类算法，使用包含杆塔和不包含杆塔的图片数据集，训练分类模型，当图片中检测到杆塔后，调用YOLOv3模型进行识别，选定出目标区域。

利用机器视觉进行目标识别，识别到杆塔后，利用视觉SLAM技术计算出杆塔和载体的相对位置并进行路径规划，最终引导载体携带相机2自主运动至杆塔上空，并由飞控系统控制飞行器1到达杆塔上空后，通过云台向下翻转相机2即可拍摄杆塔顶部图像，再进行S1步骤。

S1、如图2所示，通过位于待测杆塔3上方的相机2拍摄待测杆塔3的顶部图像。

S2、基于机器学习训练的平面识别模型，识别S1拍摄图像中待测杆塔3顶部的平面区域；由杆塔的普遍结构可知，杆塔顶部必然存在至少一个由点(或线)构成的平面，具体如高压输电塔中靠近顶部的隔断/隔层，在垂直方向上观察即为一个平面。故本实施例中优选地，在S2中，平面识别模型训练方法包括：

S21、样本准备：收集不同角度、位置及高度拍摄的杆塔顶部图像作为输入量；人为标注杆塔顶部的平面区域，作为训练结果；具体标注内容为在图像中画出该平面轮廓。

S22、模型训练：将样本输入机器学习模型中进行迭代训练，获得平面识别模型；机器学习模型包括但不限于卷积神经网络。

S3、通过深度相机获得S2中平面区域的深度图；优选地，在S3中，识别到该杆塔顶部平面后，可使用TOF深度相机或双目立体匹配求取其深度图(深度为图像中的点到相机平面的距离)。期间需要保持深度相机的相机平面为水平面，而在实际作业过程中，载体姿态和相机云台姿态必定处于不断变化中，于是相机2的平面相对于水平面可能存在一变化的夹角，此夹角可通过载体姿态和相机云台姿态实时求出，记为用绕相机2坐标轴(X-Y-Z)旋转的三个分量来表示为。因此，为提高测量精度，需要对相机坐标系下求得的深度、坐标点等进行投影变换，具体方法为：由可构造出相机平面到水平面的旋转矩阵,相机平面内的所有深度和坐标点乘以此旋转矩阵即投影到水平面上。

对深度相机获得的深度图进行筛选，并记录平面区域中深度最大点(A)、深度最小点(B)及相应的深度数值。

S4、根据S3中深度图计算获得平面区域的倾斜角度，即待测杆塔3的倾斜角度；优选地，在S4中，根据深度图计算获得深度最大点A、深度最小点B的位置坐标，其中可发现部分杆塔顶部平面深度计算时存在异常值，经过分析可知，是由于存在如避雷针一类凸出部导致平面上极值点选取偏差较大，故深度最小点B选取中需要增加一步异常值剔除步骤，将部分凸部的采集数据舍弃。

具体地，设深度最大点A的深度为c，在图像内的坐标为(a,b)；深度最小点B的深度为c₁，在图像内的坐标为(a₁,b₁)，则向量

记为

又有X-Y水平面的法向量为竖直Z轴，取单位向量

如图3所示，记向量

与

的夹角为θ与水平面的夹角为φ，则：

由几何关系可知夹角φ即为待测杆塔3的倾斜角度。

巡线检测工作流程：

(1)控制云台将相机2对准线路起始杆塔上部，结合训练结果进行机器视觉杆塔目标检测。以YOLOv3模型为例，将相机2采集到的图片信息输入模型，获得该图片包含的目标区域及类型，选定目标类型为杆塔的区域作为目标区域。进一步的，为例降低的计算量，可以对相机采集的图片进行降采样处理。另一种方法，预先采用CNN网络、SVM或者其他分类算法，使用包含杆塔和不包含杆塔的图片数据集，训练分类模型，当图片中检测到杆塔后，调用YOLOv3模型进行识别，选定出目标区域。

(2)检测到杆塔后，视觉SLAM引导无人机飞行至杆塔上方。

(3)控制相机云台将相机2调整为向下拍摄，进行机器视觉杆塔顶部平面目标检测，检测到顶部平面后，无人机缓慢下降高度，保证图像中包含完整的杆塔顶部平面同时使该平面区域占比面积尽可能大，以提高深度和坐标的精确度。

(4)检测图像目标区域中的深度的最大值点及最小值点，并得到这两个点的三维坐标。

(5)按前述方法对这两个点进行投影变换，消除无人机姿态变化和云台姿态变化带来的测量误差。

(6)按前述方法求取通过投影过的两点的直线与水平面的夹角，即为杆塔的倾斜角度，可存储于设备中或通过数据链路发送至控制中心。

(7)控制相机云台旋转，寻找下一座待检测的杆塔，重复(2)至(7)。

实施例2

本实施例在实施例1的基础上，针对S4进行调整，优选地，在S4中发现，拍摄的杆塔顶部平面图像中仍会存在少量凸起平面影响最大、最小值选取为；故为了提高求解倾角的准确性，本实施例中扩展为除了选取取深度最大值点A和最小值点B外，再选取平面区域中的N个深度值，使用N+2个值来拟合该平面，拟合方法包括但不限于最小二乘法；获得拟合平面的方程，求取该平面与水平面的夹角(面面角)即为杆塔的倾斜度。

实施例3

首先，利用机器视觉进行目标识别，识别到杆塔后，利用视觉SLAM技术计算出杆塔和载体的相对位置并进行路径规划，最终引导飞行器1携带相机2自主运动至杆塔上空，并由飞控系统控制飞行器1到达杆塔上空后，通过云台向下翻转相机2即可拍摄杆塔顶部图像，再进行S1步骤。

S1、通过位于待测杆塔3上方的相机2拍摄待测杆塔3的顶部图像；

S2、基于机器学习训练的平面识别模型，识别S1拍摄图像中待测杆塔3顶部的平面区域；由杆塔的普遍结构可知，杆塔顶部必然存在至少一个由点(或线)构成的平面，具体如高压输电塔中靠近顶部的隔断/隔层，在垂直方向上观察即为一个平面。同时，杆塔基部多为混凝土浇铸的方体结构，故在垂直方向上拍摄也为平面样式。

故本实施例中优选地，在S2中，平面识别模型训练方法包括：

S21、样本准备：收集不同角度、位置及高度拍摄的杆塔顶部图像作为输入量；人为标注杆塔顶部的平面区域和杆塔基部的平面区域，共同作为训练结果；具体标注内容为在图像中画出该平面轮廓。

S22、模型训练：将样本输入机器学习模型中进行迭代训练，获得平面识别模型；机器学习模型包括但不限于卷积神经网络。

S3、通过深度相机获得S2中平面区域的深度图；优选地，在S3中，识别到该杆塔顶部和基部的平面后，可使用TOF深度相机或双目立体匹配求取其深度图(深度为图像中的点到相机平面的距离)。期间需要保持深度相机的相机平面为水平面，而在实际作业过程中，载体姿态和相机云台姿态必定处于不断变化中，于是相机平面相对于水平面可能存在一变化的夹角，此夹角可通过载体姿态和相机云台姿态实时求出，记为用绕相机坐标轴(X-Y-Z)旋转的三个分量来表示为。因此，为提高测量精度，需要对相机坐标系下求得的深度、坐标点等进行投影变换，具体方法为：由可构造出相机平面到水平面的旋转矩阵,相机平面内的所有深度和坐标点乘以此旋转矩阵即投影到水平面上。

分别获得杆塔顶部平面区域的深度图和杆塔基部平面区域的深度图。

S4、根据S3中深度图计算获得平面区域的倾斜角度，即待测杆塔3的倾斜角度；优选地，结合图4所示，在S4中，在拍摄图像中确定杆塔顶部的平面区域的中心点，记为第一中心点301，具体可以采用四个边角处连线交叉点作为第一中心点301；并根据深度图获取第一中心点301的深度值l。

在拍摄图像中确定杆塔基部的平面区域的中心点，具体确定方式同上所述，并记为第二中心点302。

由于拍摄方向自上而下，故基部平面大部分被塔体遮盖，故测定深度时需要在杆塔基部平面区域的深度图中选取边角处多个点进行测定，避免测量点选取在塔体上，并计算多点的平均深度值L；

根据空间几何换算得出第一中心点301与第二中心点302之间水平方向的间距w；

计算待测杆塔3的倾斜角度为：

其中，β为待测杆塔3的倾斜角。

巡线检测工作流程：

(1)控制云台将相机2对准线路起始杆塔上部，结合训练结果进行机器视觉杆塔目标检测。以YOLOv3模型为例，将相机采集到的图片信息输入模型，获得该图片包含的目标区域及类型，选定目标类型为杆塔的区域作为目标区域。

(2)检测到杆塔后，视觉SLAM引导无人机飞行至杆塔上方。

(3)控制相机云台将相机2调整为向下拍摄，进行机器视觉杆塔顶部平面目标检测，检测到顶部平面后，无人机缓慢下降高度，保证图像中包含完整的杆塔顶部平面同时使该平面区域占比面积尽可能大，以提高深度和坐标的精确度。

(4)检测图像目标区域中杆塔顶部图像和杆塔基部图像。

(5)按前述方法对这两平面求解深度，其中进行投影变换，消除无人机姿态变化和云台姿态变化带来的测量误差。

(6)按前述方法求解顶部平面平移量并与塔体高度(两平面深度差值)做比值，依据反三角函数求解杆塔的倾斜角度，可存储于设备中或通过数据链路发送至控制中心。

(7)控制相机云台旋转，寻找下一座待检测的杆塔，重复(2)至(7)。

以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于机器视觉的智能杆塔倾斜检测方法，其特征在于，具体步骤包括：

S1、通过位于待测杆塔上方的相机拍摄待测杆塔的顶部图像；

S2、基于机器学习训练的平面识别模型，识别所述S1拍摄图像中待测杆塔顶部的平面区域；

S3、通过深度相机获得所述S2中平面区域的深度图；

S4、根据所述S3中深度图计算获得所述平面区域的倾斜角度，即所述待测杆塔的倾斜角度。

2.根据权利要求1所述的智能杆塔倾斜检测方法，其特征在于，在所述S1中，所述相机的安装方式包括但不限于：固定安装于所述待测杆塔的上方，或安装于移动平台，或安装于飞行器下方。

3.根据权利要求1或2所述的智能杆塔倾斜检测方法，其特征在于，在所述S2中，所述平面识别模型训练方法包括：

S21、样本准备：收集不同角度、位置及高度拍摄的杆塔顶部图像作为输入量；人为标注杆塔顶部的平面区域，作为训练结果；

S22、模型训练：将样本输入机器学习模型中进行迭代训练，获得所述平面识别模型；所述机器学习模型包括但不限于卷积神经网络。

4.根据权利要求3所述的智能杆塔倾斜检测方法，其特征在于，在所述S1中，所述相机的安装于飞行器下方，所述飞行器为旋翼式无人机；所述相机中设置有杆塔识别模型；所述杆塔识别模型训练方法包括：

a、样本准备：收集不同角度、位置及高度拍摄的杆塔侧向图像作为输入量；人为标注杆塔，作为训练结果；

b、模型训练：将样本输入机器学习模型中进行迭代训练，获得所述杆塔识别模型；所述机器学习模型包括但不限于卷积神经网络；

所述飞行器飞行过程中通过所述相机识别所述待测杆塔，并由飞控系统控制所述飞行器飞行至所述待测杆塔的上方，再进行所述S1步骤。

5.根据权利要求3所述的智能杆塔倾斜检测方法，其特征在于，在所述S3中，所述深度相机包括但不限于结构光相机、双目相机；

保持所述深度相机的相机平面为水平面，或将所述深度相机的相机平面通过投影变换为水平面，并根据所述S1中拍摄的待测杆塔的顶部图像求解所述平面区域到所述相机平面的深度图；

对所述深度相机获得的深度图进行筛选，并记录所述平面区域中深度最大点A、深度最小点B及相应的深度数值。

6.根据权利要求5所述的智能杆塔倾斜检测方法，其特征在于，在所述S4中，根据所述深度图计算获得所述深度最大点A、深度最小点B的位置坐标，计算两点间向量与水平面的夹角；所述夹角等于所述待测杆塔的倾斜角度。

7.根据权利要求5所述的智能杆塔倾斜检测方法，其特征在于，在所述S4中，至少选取所述平面区域内两个点与所述深度最大点A、深度最小点B拟合形成一个平面，拟合方法包括但不限于最小二乘法；获得拟合平面的方程，并求解所述平面与水平面的夹角；所述夹角等于所述待测杆塔的倾斜角度。

8.根据权利要求3所述的智能杆塔倾斜检测方法，其特征在于，在所述S2中，所述平面识别模型训练方法还包括：

样本准备阶段中，人为标注杆塔基部的平面区域，并与杆塔顶部的平面区域共同作为训练结果输入机器学习模型中进行迭代训练。

9.根据权利要求8所述的智能杆塔倾斜检测方法，其特征在于，在所述S3中，分别通过所述深度相机获得杆塔顶部平面区域的深度图和杆塔基部平面区域的深度图。

10.根据权利要求9所述的智能杆塔倾斜检测方法，其特征在于，在所述S4中，在拍摄图像中确定所述杆塔顶部的平面区域的中心点，记为第一中心点；并根据杆塔顶部平面区域的深度图获取所述第一中心点的深度值l；

在拍摄图像中确定所述杆塔基部的平面区域的中心点，记为第二中心点；

在杆塔基部平面区域的深度图中选取边角处多个点，并计算多个点的平均深度值L；

根据空间几何换算得出所述第一中心点与第二中心点之间水平方向的间距w；

计算所述待测杆塔的倾斜角度为：

其中，β为所述待测杆塔的倾斜角。

Images