CN111739011A - 一种电线杆倾斜检测方法及装置 - Google Patents

Abstract

本申请公开了一种电线杆倾斜检测方法及装置，方法包括：获取图像边缘与地平面平行的待测图像；将待测图像输入至训练好的电线杆检测模型中，获取包含电线杆的最优候选框；对最优候选框的图像中的电线杆进行直线检测，得到电线杆的边缘线段；计算电线杆两侧的边缘线段与地平面的两个夹角，若两个夹角相等，则判断电线杆未发生倾斜。本申请解决了当前巡检方法费时费力、效率低、而且准确性得不到保障的技术问题。

Description

一种电线杆倾斜检测方法及装置

技术领域

本申请涉及图像检测技术领域，尤其涉及一种电线杆倾斜检测方法及装置。

背景技术

电力杆塔是电网结构的重要组成部分，近年来，随着电网建设的快速发展，电网规模日益扩大，输电线路里程也快速增长。大部分输电线路走廊分布在郊区旷野，恶劣天气、山坡地理条件等客观自然条件的影响较大，其运行可靠性直接影响了电网的稳定运行。因此有必要适时进行输电线路巡视，及时发现电力安全缺陷。

目前电力杆塔的巡检还主要是人工巡检，巡检工作枯燥无味；而且巡检结果容易受巡检人员的状态影响，巡检结果不可靠。

发明内容

本申请提供了一种电线杆倾斜检测方法及装置，解决了当前巡检方法费时费力、效率低、而且准确性得不到保障的技术问题。

有鉴于此，本申请第一方面提供了一种电线杆倾斜检测方法，所述方法包括：

获取图像边缘与地平面平行的待测图像；

将所述待测图像输入至训练好的电线杆检测模型中，获取包含电线杆的最优候选框；

对所述最优候选框的图像中的电线杆进行直线检测，得到电线杆的边缘线段；

计算电线杆两侧的所述边缘线段与地平面的两个夹角，若两个所述夹角相等，则判断电线杆未发生倾斜。

可选的，在所述获取图像边缘与地平面平行的待测图像，之后还包括：

对所述待测图像进行预处理。

可选的，在所述将所述待测图像输入至训练好的电线杆检测模型中，获取包含电线杆的最优候选框，之前还包括：

对所述电线杆检测模型进行训练。

可选的，所述对所述电线杆检测模型进行训练包括：

获取大量的包含不同拍摄角度、不同状态、不同光线、不同距离以及不同背景的电线杆图像作为训练图像；

对所述训练图像进行预处理；

将所述预处理后的训练图像对Faster R-CNN神经网络模型进行训练，直到FasterR-CNN神经网络模型输出满足预置要求的所述最优候选框，即得到训练好的电线杆检测模型。

可选的，所述对所述最优候选框的图像中的电线杆进行直线检测，得到电线杆的边缘线段，具体包括：

采用高斯滤波器对所述最优候选框的图像进行平滑处理；

计算平滑处理后的所述最优候选框的图像中每个像素的梯度值和方向；

根据每个像素的所述梯度值和方向计算出所述最优候选框的图像中的锚点像素；

连接所述锚点像素，绘制最优候选框的图像中的边缘线段，所述边缘线段为电线杆的轮廓。

本申请第二方面提供一种电线杆倾斜检测装置，所述装置包括：

图像获取单元，用于获取图像边缘与地平面平行的待测图像；

电线杆检测单元，用于将所述待测图像输入至训练好的电线杆检测模型中，获取包含电线杆的最优候选框；

直线检测单元，用于对所述最优候选框的图像中的电线杆进行直线检测，得到电线杆的边缘线段；

夹角计算单元，用于计算电线杆两侧的所述边缘线段与地平面的两个夹角，若两个所述夹角相等，则判断电线杆未发生倾斜。

可选的，还包括：

第一预处理单元，用于对所述待测图像进行预处理。

可选的，还包括：

训练单元，用于对所述电线杆检测模型进行训练。

可选的，所述训练单元还包括：

训练图像获取单元，用于获取大量的包含不同拍摄角度、不同状态、不同光线、不同距离以及不同背景的电线杆图像作为训练图像；

第二预处理单元，用于对所述训练图像进行预处理；

训练单元，用于将所述预处理后的训练图像对Faster R-CNN神经网络模型进行训练，直到Faster R-CNN神经网络模型输出满足预置要求的所述最优候选框，即得到电线杆检测模型。

可选的，所述直线检测单元还包括：

滤波单元，用于采用高斯滤波器对所述最优候选框的图像进行平滑处理；

计算单元，用于计算平滑处理后的所述最优候选框的图像中每个像素的梯度值和方向；

锚点计算单元，用于根据每个像素的所述梯度值和方向计算出所述最优候选框的图像中的锚点像素；

边缘线段获取单元，用于连接所述锚点像素，绘制最优候选框的图像中的边缘线段，所述边缘线段为电线杆的轮廓。

从以上技术方案可以看出，本申请具有以下优点：

本申请中，提供了一种电线杆倾斜检测方法及装置，获取图像边缘与地平面平行的待测图像；将待测图像输入至训练好的电线杆检测模型中，获取包含电线杆的最优候选框；对最优候选框的图像中的电线杆进行直线检测，得到电线杆的边缘线段；计算电线杆两侧的边缘线段与地平面的两个夹角，若两个夹角相等，则判断电线杆未发生倾斜。本申请通过采用神经网络算法获取包含电线杆的最优候选框，仅对候选框内的图像进行直线检测，避免待测图像中其他物体的干扰；另外，通过直线检测获取电线杆的边缘线段，计算电线杆两侧边缘线段与水平面的夹角，并对两个夹角进行判断，使得计算过程简单快捷。

附图说明

图1为本申请一种电线杆倾斜检测方法的一个实施例的方法流程图；

图2为本申请一种电线杆倾斜检测方法的另一个实施例的方法流程图；

图3为本申请一种电线杆倾斜检测装置的一个实施例的结构示意图；

图4为本申请中采用的Faster R-CNN神经网络模型的检测流程图；

图5为本申请比较电线杆与水平面的夹角的实施例中的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请一种电线杆倾斜检测方法的一个实施例的方法流程图，如图1所示，图1中包括：

101、获取图像边缘与地平面平行的待测图像。

需要说明的是，所获取的待测图像应当是相机在水平状态下的拍摄图像，例如，可以采用带有陀螺仪传感器的无人机进行拍摄，以获取边缘与地平线相平行的待测图像。并且，待测图像中应该包含有完整的电线杆。

102、将待测图像输入至训练好的电线杆检测模型中，获取包含电线杆的最优候选框。

需要说明的是，本申请中采用的是基于神经网络的电线杆监测模型，通过采用大量的包含电线杆的图像作为训练图像对电线杆监测模型进行训练，直到能够获取包括完整电线杆的候选框时，得到训练好的电线杆监测模型。通过将待测图像输入至电线杆监测模型中，获取包含电线杆的最优候选框，以便于后续的直线检测。其中最优候选框的边缘也应当与水平面平行。

103、对最优候选框的图像中的电线杆进行直线检测，得到电线杆的边缘线段。

需要说明的是，获取最优候选框之后，可以对最优候选框中的图像进行直线检测，用于测量出图中电线杆的边缘线段，从而确定电线杆的轮廓。

104、计算电线杆两侧的边缘线段与地平面的两个夹角，若两个夹角相等，则判断电线杆未发生倾斜。

需要说明的是，当获取到电线杆的边缘线段之后，可以计算电线杆两侧的边缘线段与水平面的夹角，并对两个夹角进行判断，具体的，若两个夹角大小相等，则电线杆姿态正常；若两个夹角不相等，则电线杆发生倾斜。这种判断方式对于不同类型的电线杆都适用。

本申请通过采用神经网络算法获取包含电线杆的最优候选框，仅对候选框内的图像进行直线检测，避免待测图像中其他物体的干扰；另外，通过直线检测获取电线杆的边缘线段，计算电线杆两侧边缘线段与水平面的夹角，并对两个夹角进行判断，使得计算过程简单快捷。

本申请还提供了一种电线杆倾斜检测方法的另一个实施例，如图2所示，图2中包括：

201、获取大量的包含不同拍摄角度、不同状态、不同光线、不同距离以及不同背景的电线杆图像作为训练图像。

需要说明的是，为使获得的线杆检测模型的检测结果尽可能的准确，因此，采用大量的包含不同拍摄角度、不同状态、不同光线、不同距离以及不同背景的电线杆图像作为训练图像。

202、对训练图像进行预处理。

需要说明的是，由于神经网络模型的输入尺寸为任意大小。但往往受到硬件的限制(即运行算法的设备)，因此，需要将神经网络模型的图像输入尺寸设置到一个固定的长宽，但需要处理的图片数据大小不一，所以需要对训练图片进行缩放，使得训练图片大小变成统一的长宽比。另外，由于本申请对图像的亮度并不感兴趣，而更多地关注其内容，这时对每个数据点移除像素的均值是有意义的，因此，可以对训练图像进行归一化处理，使得移除图像的平均亮度值。

203、将预处理后的训练图像对Faster R-CNN神经网络模型进行训练，直到FasterR-CNN神经网络模型输出满足预置要求的最优候选框，即得到训练好的电线杆检测模型。

需要说明的是，本申请可以采用基于Faster R-CNN的深度学习神经网络进行检测识别。Faster R-CNN属于双阶目标检测算法，相对于常见的单阶检测算法SSD、YOLO而言，虽然Faster R-CNN的检测速度不如SSD、YOLO，但Faster R-CNN具有更高的检测准确率。为了保证后续电线杆状态识别的准确性，对电线杆的识别检测是后续处理的基础，检测的准确率相比检测速度更重要，所以采用Faster R-CNN作为电线杆检测识别的深度学习算法。

具体的，Faster R-CNN的检测流程如图4所示：将训练图片输入VGG16中进行特征提取，提取后的特征图共享于RPN(RegionProposal Network，区域生成网络)，生成原始的目标候选框，然后对原始候选框中提取的特征使用分类器判定类别，对属于电线杆特征的候选框，用回归器进一步调整其位置，直到得到包含完整电线杆的候选框。

204、获取图像边缘与地平面平行的待测图像。

需要说明的是，所获取的待测图像应当是相机在水平状态下的拍摄图像，例如，可以采用带有陀螺仪传感器的无人机进行拍摄，以获取边缘与地平线相平行的待测图像。并且，待测图像中应该包含有完整的电线杆。

205、对待测图像进行预处理。

需要说明的是，可以将神经网络模型的图像输入尺寸设置到一个固定的长宽，即对待测图片进行缩放，使得待测图片大小变成统一的长宽比。另外，由于本申请对图像的亮度并不感兴趣，而更多地关注待测图像的内容，因此对每个数据点移除像素的均值是有意义的，可以对待测图像进行归一化处理，使得移除图像的平均亮度值。

206、将待测图像输入至训练好的电线杆检测模型中，获取包含电线杆的最优候选框。

需要说明的是，本申请中采用的是基于神经网络的电线杆监测模型，通过采用大量的包含电线杆的图像作为训练图像对电线杆监测模型进行训练，直到能够获取包括完整电线杆的候选框时，得到训练好的电线杆监测模型。通过将待测图像输入至电线杆监测模型中，获取包含电线杆的最优候选框，以便于后续的直线检测。其中最优候选框的边缘也应当与水平面平行。

207、采用高斯滤波器对最优候选框的图像进行平滑处理。

需要说明的是，由于在实际应用过程中，摄像头在采集图像时由于受到光照、气候等因素的影响，使得采集的图像中含有噪声。本申请采用结合传统滤波与快速导向滤波的综合滤波方法来进行图像滤波处理，具有较强的边缘保留效果、较好的平滑效果。

208、计算平滑处理后的最优候选框的图像中每个像素的梯度大小和方向。

需要说明的是，计算每个像素的梯度大小和方向的公式如下：

式中，I(x,y)表示像素点(x，y)处的输出图像强度，g(x,y)表示像素点的梯度值，angle(x,y)表示像素角度，即梯度方向。

209、根据每个像素的梯度大小和方向计算出最优候选框的图像中的锚点像素。

需要说明的是，如果存在某个像素的梯度值大于或等于该像素点梯度方向上两个相邻像素的梯度值，则将此像素视为锚点像素。

210连接锚点像素，绘制最优候选框的图像中的边缘线段，边缘线段为电线杆的轮廓。

211、计算电线杆两侧的边缘线段与地平面的两个夹角，若两个夹角相等，则判断电线杆未发生倾斜。

需要说明的是，由于拍摄时可能存在一定误差，所以在基于此地平线计算出的夹角a和b，若a和b之差不大于10度，则判定姿态正常，若a和b之差大于10度，则判定发生倾斜。具体可参考图5，图5为比较电线杆与水平面的夹角的示意图。

以上是本申请的方法的实施例，本申请还包括一种电线杆倾斜检测装置的实施例，如图3所示，图3中包括：

图像获取单元301，用于获取图像边缘与地平面平行的待测图像。

电线杆检测单元302，用于将待测图像输入至训练好的电线杆检测模型中，获取包含电线杆的最优候选框。

直线检测单元303，用于对最优候选框的图像中的电线杆进行直线检测，得到电线杆的边缘线段。

夹角计算单元304，用于计算电线杆两侧的边缘线段与地平面的两个夹角，若两个夹角相等，则判断电线杆未发生倾斜。

在一种具体的实施方式中，还包括：

第一预处理单元305，用于对待测图像进行预处理。

训练单元306，用于对电线杆检测模型进行训练。

训练单元306还包括：

训练图像获取单元3061，用于获取大量的包含不同拍摄角度、不同状态、不同光线、不同距离以及不同背景的电线杆图像作为训练图像。

第二预处理单元3062，用于对训练图像进行预处理。

训练单元3063，用于将预处理后的训练图像对Faster R-CNN神经网络模型进行训练，直到Faster R-CNN神经网络模型输出满足预置要求的最优候选框，即得到电线杆检测模型。

直线检测单元303还包括：

滤波单元3031，用于采用高斯滤波器对最优候选框的图像进行平滑处理。

计算单元3032，用于计算平滑处理后的最优候选框的图像中每个像素的梯度值和方向。

锚点计算单元3033，用于计算出最优候选框的图像中的锚点像素，锚点像素为最优候选框的图像的边缘像素中大概率存在的像素；

边缘线段获取单元3034，用于连接锚点像素，绘制最优候选框的图像中的边缘线段，边缘线段为电线杆的轮廓。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种电线杆倾斜检测方法，其特征在于，包括：

获取图像边缘与地平面平行的待测图像；

将所述待测图像输入至训练好的电线杆检测模型中，获取包含电线杆的最优候选框；

对所述最优候选框的图像中的电线杆进行直线检测，得到电线杆的边缘线段；

计算电线杆两侧的所述边缘线段与地平面的两个夹角，若两个所述夹角相等，则判断电线杆未发生倾斜。

2.根据权利要求1所述的电线杆倾斜检测方法，其特征在于，在所述获取图像边缘与地平面平行的待测图像，之后还包括：

对所述待测图像进行预处理。

3.根据权利要求1所述的电线杆倾斜检测方法，其特征在于，在所述将所述待测图像输入至训练好的电线杆检测模型中，获取包含电线杆的最优候选框，之前还包括：

对所述电线杆检测模型进行训练。

4.根据权利要求3所述的电线杆倾斜检测方法，其特征在于，所述对所述电线杆检测模型进行训练包括：

获取大量的包含不同拍摄角度、不同状态、不同光线、不同距离以及不同背景的电线杆图像作为训练图像；

对所述训练图像进行预处理；

将所述预处理后的训练图像对Faster R-CNN神经网络模型进行训练，直到Faster R-CNN神经网络模型输出满足预置要求的所述最优候选框，即得到训练好的电线杆检测模型。

5.根据权利要求1所述的电线杆倾斜检测方法，其特征在于，所述对所述最优候选框的图像中的电线杆进行直线检测，得到电线杆的边缘线段，具体包括：

采用高斯滤波器对所述最优候选框的图像进行平滑处理；

计算平滑处理后的所述最优候选框的图像中每个像素的梯度值和方向；

根据每个像素的所述梯度值和方向计算出所述最优候选框的图像中的锚点像素；

连接所述锚点像素，绘制所述最优候选框的图像中的边缘线段，所述边缘线段为电线杆的轮廓。

6.一种电线杆倾斜检测装置，其特征在于，包括：

图像获取单元，用于获取图像边缘与地平面平行的待测图像；

电线杆检测单元，用于将所述待测图像输入至训练好的电线杆检测模型中，获取包含电线杆的最优候选框；

直线检测单元，用于对所述最优候选框的图像中的电线杆进行直线检测，得到电线杆的边缘线段；

夹角计算单元，用于计算电线杆两侧的所述边缘线段与地平面的两个夹角，若两个所述夹角相等，则判断电线杆未发生倾斜。

7.根据权利要求6所述的电线杆倾斜检测装置，其特征在于，还包括：

第一预处理单元，用于对所述待测图像进行预处理。

8.根据权利要求6所述的电线杆倾斜检测装置，其特征在于，还包括：

训练单元，用于对所述电线杆检测模型进行训练。

9.根据权利要求8所述的电线杆倾斜检测装置，其特征在于，所述训练单元还包括：

训练图像获取单元，用于获取大量的包含不同拍摄角度、不同状态、不同光线、不同距离以及不同背景的电线杆图像作为训练图像；

第二预处理单元，用于对所述训练图像进行预处理；

训练单元，用于将所述预处理后的训练图像对Faster R-CNN神经网络模型进行训练，直到Faster R-CNN神经网络模型输出满足预置要求的所述最优候选框，即得到训练好的电线杆检测模型。

10.根据权利要求6所述的电线杆倾斜检测装置，其特征在于，所述直线检测单元还包括：

滤波单元，用于采用高斯滤波器对所述最优候选框的图像进行平滑处理；

计算单元，用于计算平滑处理后的所述最优候选框的图像中每个像素的梯度值和方向；

锚点计算单元，用于根据每个像素的所述梯度值和方向计算出所述最优候选框的图像中的锚点像素；

边缘线段获取单元，用于连接所述锚点像素，绘制最优候选框的图像中的边缘线段，所述边缘线段为电线杆的轮廓。

Images