CN115713696A - 一种基于无人机采集图像的反光膜识别方法 - Google Patents

Abstract

本发明涉及一种基于无人机采集图像的反光膜识别方法，属于反光膜清理装置技术领域。包括以下步骤：1)图像的拍摄及截取；2)图像的拼接；3)图像的灰度转化；4)图像降噪和均衡化处理；5)结果分析以及计划安排。本发明能实现输电线路防护区内反光膜的快速识别和安排人员及时进行清理的工作要求，为无人机+输电运检领域的应用打好基础。

Description

一种基于无人机采集图像的反光膜识别方法

技术领域

本发明涉及一种基于无人机采集图像的反光膜识别方法，属于反光膜清理装置技术领域。

背景技术

近年来，为了更好的给苹果上色，大量的反光膜铺设在输电线路防护区内的苹果林地。由于反光膜质量轻，导电性好，一旦被风吹起散落在输电线路上，就有可能造成跳闸，从而影响城市的供电。基于反光膜的危害，对输电线路防护区的反光膜清理就成为了供电公司的一项重点工作。

以往对输电线路防护区的反光膜清理工作主要靠人工对所有的线路防护区进行巡检发现反光膜铺设地点，进而安排专人进行清理。这种清理模式存在着很大的弊端：1、人工巡检慢；2、人工巡检的范围小，仅局限在线路防护区，对线路防护区外的反光膜情况掌握的较少；3、难以对重点线路的重点区段的反光膜情况进行及时清理，清理计划难以分清重点。这就造成了反光膜清理工作不但费时费力而且还会因为某些重点线路的区段由于没有及时安排清理计划而造成反光膜跳闸情况的发生。

因此，亟需出现一种能解决上述技术问题的反光膜识别方法。

发明内容

本发明的目的在于克服上述现有技术存在的不足之处，提供一种基于多旋翼无人机采集图像的反光膜识别方法，能实现输电线路防护区内反光膜的快速识别和安排人员及时进行清理的工作要求，为无人机+输电运检领域的应用打好基础。

本发明的一种基于无人机采集图像的反光膜识别方法，其特殊之处在于包括以下步骤：

1)图像的拍摄及截取

操控无人机沿着输电线路通道中心线的路径进行飞行，设无人机飞行高度为H、镜头视野广角α、无人机镜头采集的边缘到通道中心线的宽度为L，求得飞机飞行的高度H，计算公式(1)如下：

拍摄到的照片长度A，由L求得A，计算公式(2)如下：

无人机在沿输电线路通道飞行时，不断间隔拍摄照片，其中a1，a2...am，am+1为拍摄的照片，L为拍摄的照片宽度，A为拍摄照片的长度；

为了后续照片的拼接顺利完成，因此，需要在无人机拍摄后一张照片时需要与前一张照片保持一定的重叠率，重叠率要达到80％以上，根据无人机的飞行速度为v，拍摄到的照片长度A，为保持重叠率，拍摄间隔时间满足公式(3)，求得t：

2)图像的拼接

无人机拍摄完成输电线路通道照片后，为了便于分析照片中的反光膜分布情况，需要将拍摄后的一张张分散的照片合成一张能够完整体现输电线路通道情况的照片，为了实现照片的拼接合成，使用拼接软件DJI Terra来完成，具体流程如下：

打开DJI Terra软件，新建任务，选择可见光；

(1)选择拍摄的照片文件夹添加进入软件中；

(2)选择拍摄的照片文件夹添加进入软件中；

(3)导入到系统中后，对任务进行设置，将空三中的场景设置为电力线场景，二维地图的场景设置为农田场景后点击开始重建；

(4)最终形成拼接后的图像；

3)图像的灰度转化

无人机拍摄的照片为彩色图像，彩色图像主要由R，G，B三种元素构成，即红，绿，蓝，图像的灰度化是消除掉色调和饱和度信息，保留亮度，将彩色的RGB图像转换为灰度图；

由于反光膜为银色，亮度最高，因此灰度化的过程就是保留最亮的反光膜部分，消除掉其他色调，使其突出显示；

优选的，所述灰度的转化过程利用MATLAB软件来实现，具体过程如下：

(1)编辑程序将需要转化的图像读取到MATLAB中；

(2)编写程序，采用rgb2gray函数对读取的目标图像进行灰度转化，保留反光膜所对应的亮度部分，将其他部分的色调消除；

(3)将转化完成的图像进行保存，保存的图片中仅显示亮度较高的部分；

4)图像降噪和均衡化处理

经过灰度处理的图片将马路和反光膜都凸显了出来，这就造成了反光膜识别的误差，将进行灰度处理完的照片进行均衡化处理，通过降噪处理将马路去除掉，从而使反光膜图像看起来更加清晰；

优选的，所述降噪处理采用均值滤波的方法进行降噪处理，该方法是对待处理的当前像素，选择一个模板，该模板为其邻近的若干像素组成，用模板中像素的均值来代替原像素值的方法，处理过程利用MATLAB软件进行，具体操作如下：

(1)编写程序将进行降噪的图像读取到MATLAB中；

(2)利用MATLAB中的conv2函数将读取的图像进行均值滤波处理，降低图像中的噪声；

(3)将处理完的图像进行保存；

5)结果分析以及计划安排

根据以上的分析，图像中凸显的部分即为该输电线路通道内的反光膜集中区域，根据分析结果，安排清理人员对显示的反光膜分布区域进行集中清理，从而确保输电线路的安全运行。

本发明同已有的方法相比较可产生如下积极效果：本发明解决了对输电线路防护区反光膜的排查人工巡检速度慢，巡检范围小的问题，能够及时对反光膜严重区域制定精准的清理计划，维护输电线路的运行安全。其具有：

1)排查快速、不受地理环境影响。该方法采用多旋翼无人机在输电线路上方沿线路方向对线路防护区进行拍照，拍照速度快，打破了人工巡检受地理环境的约束，直接沿线路拍照，排查速度快。

2)成本低、维护简单。该方法采用巡检用无人机，不产生新设备购买费用，可使用现有计算机进行编程结果分析，分析方法简便易操作。设备和数据维护简单。

3)识别率高。本发明对无人机拍摄照片进行识别，分析出反光膜的面积和位置信息，由于现有分析方法成熟，识别准确率高。

4)计划制定精准。本发明通过无人机在线路防护区上方沿线拍摄照片，并对照片进行反光膜图像识别，可实现对反光膜面积大的区域优先制定清理计划。

附图说明

图1为一种基于无人机采集图像的反光膜识别方法的流程图；

图2为步骤1中镜头广角α、飞机飞行高度H与镜头所采集的边缘到通道中心线的宽度L之间的三角函数关系图；

图3为步骤1)中无人机在输电线路通道中心的方沿线路方向飞行进行拍照的俯视图：

图4为步骤2)最终形成拼接后的图像；

图5为步骤3)灰度处理后的图像；

图6为步骤4)图像降噪和均衡化处理后的图像；

图7为实施例2中无人机拍摄的照片图像的拼接后的图像；

图8为实施例2中DJI Terra拼接后的图像；

图9为实施例2中灰度处理后图像；

图10为实施例2中降噪处理后图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本实施例的一种基于无人机采集图像的反光膜识别方法，请参阅图1-6，包括以下步骤：

1)图像的拍摄及截取

操控无人机沿着输电线路通道中心线的路径进行飞行，无人机飞行高度为H，镜头视野广角α(根据不同的镜头焦距可以得到镜头的广角，如表1所示)，无人机镜头采集的边缘到通道中心线的宽度为L。

表1：镜头视野广角与焦距之间的关系

焦距(mm)	24	35	50
				广角(<sup>0</sup>)	84	63.5	6.8

由于镜头广角α、飞机飞行高度H与镜头所采集的边缘到通道中心线的宽度L之间的三角函数关系如附图2所示；

由此可得到飞机飞行的高度为：

根据实际需求，需要采集到输电线路通道中心线两侧50m内的图像，即L＝50m，则可以得到当选择不同焦距的镜头时，飞机所需的飞行高度H如表2所示：

表2：不同焦距镜头下的飞行高度

焦距(mm)	24	35	50
				广角(0)	84	63.5	46.8
高度(m)	55.5	80.8	115.6

由于镜头采集到的图像的长度A与宽度L满足公式2：

因此，当图像宽度选择L＝50m时，采集到的图像长度A＝37.5m。

无人机在输电线路通道中心的方沿线路方向飞行进行拍照的俯视图如附图3所示。

由附图3可知，无人机在沿输电线路通道飞行时，不断间隔拍摄照片，其中a1，a2...am，am+1为拍摄的照片，L为拍摄的照片宽度，A为拍摄照片的长度。

为了后续照片的拼接顺利完成，因此，需要在无人机拍摄后一张照片时需要与前一张照片保持一定的重叠率，通过查阅资料可知重叠率要达到80％以上。根据无人机的飞行速度为v，拍摄到的照片长度A，为保持重叠率，拍摄间隔时间满足公式3：

由于v＝5m/s，A＝37.5m，因此，计算得到拍照间隔时间t<1.5s。考虑到拍照间隔时间过短所引起的照片量过大影响照片重叠的速度和效率，因此，综合实际无人机存储空间和重叠率，将无人机拍照间隔定为t＝1s。

2)图像的拼接

无人机拍摄完成输电线路通道照片后，为了便于分析照片中的反光膜分布情况，需要将拍摄后的一张张分散的照片合成一张能够完整体现输电线路通道情况的照片。为了实现照片的拼接合成，这个过程使用拼接软件DJI Terra来完成，首先，打开DJI Terra软件，新建任务，选择可见光；然后选择拍摄的照片文件夹添加进入软件中；再导入到系统中后，对任务进行设置，将空三中的场景设置为电力线场景，二维地图的场景设置为农田场景后点击开始重建；最终形成拼接后的图像如附图4所示。

3)图像的灰度转化

无人机拍摄的照片为彩色图像，彩色图像主要由R，G，B三种元素构成，即红，绿，蓝。图像的灰度化是消除掉色调和饱和度信息，保留亮度，将彩色的RGB图像转换为灰度图。

由于反光膜为银色，亮度最高，因此灰度化的过程就是保留最亮的反光膜部分，消除掉其他色调，使其突出显示。

灰度的转化过程利用MATLAB软件来实现：

(1)编辑程序将需要转化的图像读取到MATLAB中；

(2)编写程序，采用rgb2gray函数对读取的目标图像进行灰度转化，保留反光膜所对应的亮度部分，将其他部分的色调消除；

(3)将转化完成的图像进行保存，保存的图片中仅显示亮度较高的部分，如附图5所示。

4)图像降噪和均衡化处理

经过灰度处理的图片将马路和反光膜都凸显了出来，这就造成了反光膜识别的误差，为此，我们将进行灰度处理完的照片进行均衡化处理，通过降噪将马路去除掉，这样的反光膜图像看起来更加清晰。

采用均值滤波的方法对上述进行灰度处理的图像进行降噪处理，该方法是对待处理的当前像素，选择一个模板，该模板为其邻近的若干像素组成，用模板中像素的均值来代替原像素值的方法。处理过程利用MATLAB软件进行，具体操作如下：

(1)编写程序将进行降噪的图像读取到MATLAB中；

(2)利用MATLAB中的conv2函数将读取的图像进行均值滤波处理，降低图像中的噪声；

(3)将处理完的图像进行保存，处理后的图像如附图6所示。

5)结果分析以及计划安排

根据以上的分析，从附图6中可以得出，图像中凸显的部分即为该输电线路通道内的反光膜集中区域。根据分析结果，可以安排清理人员对附图6中显示的反光膜分布区域进行集中清理，从而确保输电线路的安全运行。

实施例2

本实施例的一种基于无人机采集图像的反光膜识别方法，参考附图7-10，在栖霞市臧家庄某果园中，对220kV霞义线路通道进行了拍摄，无人机镜头采集的边缘到通道中心线的宽度为L为50米，考虑到该线路的杆塔的相对高度最高不超过50米，因此，选择了焦距为24mm的镜头，广角α为840，无人机的飞行高度H为55.5m，飞行速度v为5m/s，拍照间隔t为1s，拍摄照片500张。

将无人机拍摄的500张照片，如附图7所示，通过DJI Terra进行图像拼接，DJITerra拼接后的照片如附图8所示；灰度处理后的图片如附图9所示，降噪处理后的图像如附图10所示，通过降噪处理后可以明显的看出反光膜的区域。

本发明基于多旋翼无人机采集图像的反光膜识别方法，能实现输电线路防护区内反光膜的快速识别和安排人员及时进行清理的工作要求，为无人机+输电运检领域的应用打好基础。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于无人机采集图像的反光膜识别方法，其特征在于包括以下步骤：

1)图像的拍摄及截取

操控无人机沿着输电线路通道中心线的路径进行飞行，设无人机飞行高度为H、镜头视野广角α、无人机镜头采集的边缘到通道中心线的宽度为L，求得飞机飞行的高度H，计算公式(1)如下：

拍摄到的照片长度A，由L求得A，计算公式(2)如下：

无人机在沿输电线路通道飞行时，不断间隔拍摄照片，其中a1，a2...am，am+1为拍摄的照片，L为拍摄的照片宽度，A为拍摄照片的长度；

为了后续照片的拼接顺利完成，因此，需要在无人机拍摄后一张照片时需要与前一张照片保持一定的重叠率，重叠率要达到80％以上，根据无人机的飞行速度为v，拍摄到的照片长度A，为保持重叠率，拍摄间隔时间满足公式(3)，求得t：

2)图像的拼接

无人机拍摄完成输电线路通道照片后，为了便于分析照片中的反光膜分布情况，需要将拍摄后的一张张分散的照片合成一张能够完整体现输电线路通道情况的照片，为了实现照片的拼接合成，使用拼接软件DJI Terra来完成；

3)图像的灰度转化

无人机拍摄的照片为彩色图像，彩色图像主要由R，G，B三种元素构成，即红，绿，蓝，图像的灰度化是消除掉色调和饱和度信息，保留亮度，将彩色的RGB图像转换为灰度图；

4)图像降噪和均衡化处理

经过灰度处理的图片将马路和反光膜都凸显了出来，这就造成了反光膜识别的误差，将进行灰度处理完的照片进行均衡化处理，通过降噪处理将马路去除掉，从而使反光膜图像看起来更加清晰；

5)结果分析以及计划安排

根据以上的分析，图像中凸显的部分即为该输电线路通道内的反光膜集中区域，根据分析结果，安排清理人员对显示的反光膜分布区域进行集中清理，从而确保输电线路的安全运行。

2.按照权利要求1所述的一种基于无人机采集图像的反光膜识别方法，其特征在于步骤2)图像的拼接具体流程如下：

打开DJI Terra软件，新建任务，选择可见光；

(1)选择拍摄的照片文件夹添加进入软件中；

(2)选择拍摄的照片文件夹添加进入软件中；

(3)导入到系统中后，对任务进行设置，将空三中的场景设置为电力线场景，二维地图的场景设置为农田场景后点击开始重建；

(4)最终形成拼接后的图像。

3.按照权利要求1所述的一种基于无人机采集图像的反光膜识别方法，其特征在于步骤3)图像的灰度转化过程利用MATLAB软件来实现，具体过程如下：

(1)编辑程序将需要转化的图像读取到MATLAB中；

(2)编写程序，采用rgb2gray函数对读取的目标图像进行灰度转化，保留反光膜所对应的亮度部分，将其他部分的色调消除；

(3)将转化完成的图像进行保存，保存的图片中仅显示亮度较高的部分。

4.按照权利要求1所述的一种基于无人机采集图像的反光膜识别方法，其特征在于步骤4)所述降噪处理采用均值滤波的方法进行降噪处理，该方法是对待处理的当前像素，选择一个模板，该模板为其邻近的若干像素组成，用模板中像素的均值来代替原像素值的方法，处理过程利用MATLAB软件进行，具体操作如下：

(1)编写程序将进行降噪的图像读取到MATLAB中；

(2)利用MATLAB中的conv2函数将读取的图像进行均值滤波处理，降低图像中的噪声；

(3)将处理完的图像进行保存。

Images