CN111985435A - 一种基于机器视觉的无人机水域监测巡航方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的无人机水域监测巡航方法，包括以下步骤：1、利用无人机进行水样图像的采集；2、水样图像预处理；3、进行图像的边缘检测；4、目标区域排序筛选，以获得水域的边缘图像；5、获取边缘凸包点并进行坐标系转换；6、水域巡航路线设定。本发明的方法具有成本低、准确率高，且可任意添加目标巡航节点的功能，为大型水域的水体监测提供了一种全新的无人机巡航监测新方案。本发明的巡航方法配合水体检测模型可以很好的达到对某一水域的实时监测任务。

Description

一种基于机器视觉的无人机水域监测巡航方法

技术领域

本发明涉及机器视觉在无人机水域巡航领域的应用，具体涉及一种基于机器视觉的无人机水域监测巡航方法。

背景技术

随着现代化进程地快速推进，出现了大量水域水质被污染的情况。为了能够更好地实时监测大面积水域的水质变换情况。需要对大面积水域水质进行实时的监测工作。

传统的水体检测主要包括稀释倍数法、铂钴比色法(即目视比色法)等。这两种方法都是通过人眼进行目测，存在主观性强，误差大，操作繁琐的问题。而且不同生理条件下，对颜色的判断也有差别。近年来出现的分光光度法主要利用特征波长的吸收光谱吸收光峰面积作为色度的衡量标准进行水体色度的检测，相较于传统方法在准确度上有显著提升，且用时短，效率高，能够避免视觉差异对结果产生的影响。但是它同样需要进行水样的采集与标准色度溶液的配置工作，需要人为参与，程序较为复杂。且不能对大面积水域进行实时的水质监测。伴随着深度学习的发展，有人提出了基于无人机图像的水体水质检测方法。此类方法对无人机的自动化巡航提出了更高的要求。

发明内容

针对无人机在大面积水域的巡航需求，本发明提供了一种基于机器视觉的无人机巡航方法。首先使用无人机进行水域边缘图像的搜集工作获取水域信息，使用机器视觉方法，对获取的图像进行边缘检测。通过机器视觉中的凸包计算获取水域边缘的凸包节点，并利用坐标系转换获得各凸包节点在实际世界坐标系中的经纬度信息。通过地图上凸包节点设计巡航路线，从而实现无人机水域监测巡航功能。本发明的方法适用于无人机在大面积水域水质监测过程当中的巡线导航。

为了实现上述目的，本发明采用了以下的技术方案：

步骤一：利用无人机进行水域图像的采集

在目标水域，设置无人机高度，并利用无人机采集监测水域的水域照片，尽可能拍摄水域的边缘图像，同时保证无人机的高度一致。拍摄的图像需要保证水域区域是图像中的主要内容。将搜集的到图像实时传输到电脑终端。

步骤二：水域图像预处理

将采集到的水样图像由彩色图像转换为灰度图像，同时对转换后的灰度图像进行直方图均值化处理，得到颜色调整图像，避免由于外部光强等多种因素导致图像关键像素不明显等问题的出现。

步骤三：进行图像的边缘检测

使用Canny算子对步骤二所得颜色调整图像进行边缘检测，通过边缘检测获得对应水域的水域边缘，通过此方法可以去除包括图像当中的树木、车道等干扰像素对制图的干扰。此时获得的水域边缘图像效果并不明显，还需要进一步对边缘检测后的图像进行形态学中的膨胀处理和高斯滤波处理，以便将图像中的边缘界线联通形成封闭边缘，并增加边缘界线的宽度与顺滑度；

步骤四：目标区域排序筛选

由于拍摄的图像当中存在很多干扰的物体，存在一些干扰边缘，但是在拍摄的图像当中，水域区域必定是最大的区域，因此对所有获取的封闭图像边缘通过边缘长度排序。通过opencv对步骤三处理后图像中所有封闭边缘的周长进行计算，从而得到各个封闭边缘对应的周长长度结果，然后对所有封闭边缘的周长通过opencv自带的sort()函数从大到小进行排序，最大周长的封闭边缘即为水域区域的封闭边缘。

对于最大周长的封闭边缘，使用凸包算法计算出该封闭边缘图像的凸包，仅保留凸包内的封闭边缘区域为白色，其他区域全部填充为黑色，从而获得水域的边缘图像。

步骤五：获取边缘凸包点并进行坐标系转换

获取整个水域边缘的凸包节点，并计算该凸包节点在图像当中的对应坐标位置，进行坐标系的转换处理，将所有凸包节点转换至实际空间中的经纬度坐标；

步骤六：水域巡航路线设定

将所有已经进行坐标系转换的凸包节点进行编号，按照不同的巡航需求选择不同编号的凸包节点设置巡航路线，使得无人机可以在指定的编号之间按照顺序进行指定的水域巡航功能，并在巡航过程中对水面进行拍摄。

所述的一种基于机器视觉的无人机水域监测巡航方法，其特征在于步骤二中，将采集到的水样图像由彩色图像转换为灰度图像的过程中，灰度梯度的取值范围为0～255，转换公式如下：

f＝0.31R+0.58G+0.11B

其中f表示灰度图像某像素坐标处的灰度值；

R、G、B分别表示RGB图像中红色通道、绿色通道和蓝色通道对应在某像素坐标处的通道参数值。

所述的一种基于机器视觉的无人机水域监测巡航方法，其特征在于步骤三中，使用Canny算子对颜色调整图像进行边缘检测时，使用sobel差分算子计算图像在x轴与y轴处的像素梯度值，以图像中像素梯度转变明显的像素点作为图像的边缘，具体进行边缘检测的过程如下：

1)、Canny算法中的梯度下限阈值与上限阈值分别设置为10与30，在使用sobel算子进行图像的边缘检测过程当中，s_x与s_y分别为x轴方向和y轴方向上的sobel算子，K表示目标图像中以像素点[i,j]为中心的3*3灰度矩阵，具体矩阵表达式如下：

2)、通过sobel算子与目标灰度矩阵像素点的卷积计算，可获得图像的[i,j]像素点处，分别在x轴方向和y轴方向上的梯度灰度值，其值分别由G_x与G_y进行表示；具体的x轴方向与y轴方向上的卷积计算过程如下：

G_x＝s_x*K

G_y＝s_y*K；

3)近似地用G_x与G_y的绝对值之和表示该像素点的总灰度梯度值G，计算公式如下：

当坐标点附近灰度值发生明显变换时，G较大，否则G较小，通过以上的计算获得的总灰度梯度值G作为边缘检测的评判标准进行有效的边缘检测。

相对于现有技术，本发明取得的有益效果是：

本发明的方法具有成本低、准确率高，且可任意添加目标巡航节点的功能，为大型水域的水体监测提供了一种全新的无人机巡航监测新方案。本发明的方法可与中国专利CN201911135262.8配合使用，通过本发明的方法确定无人机巡航监测方案，然后通过中国专利CN201911135262.8完成水质色度的监测工作。

附图说明

图1无人机水域监测巡航方法流程图；

图2水域灰度图；

图3水域边缘检测图；

图4水域边缘凸包节点图。

具体实施方式

下面结合具体实施例对本发明作进一步说明，但本发明的保护范围并不限于此。

实施例：

本发明提供了一种基于机器视觉的无人机水域监测巡航方法，具体包括以下步骤(方法流程图如图1所示)：

步骤一：利用无人机进行水样图像的采集；

步骤二：水样图像预处理；

步骤三：进行图像的边缘检测；

步骤四：目标区域排序筛选；

步骤五：获取边缘凸包点并进行坐标系转换；

步骤六：水域巡航路线设定。

1、利用无人机进行水样图像的采集：

在选定的水域，无人机在目标水域上空30m高度对目标水域进行垂直的图像数据拍摄。设定曝光时间为1/500秒，ISO速度为200，光圈值为f/2.2。并获取照片对应的经纬度坐标，并将照片的相关信息传输到电脑终端。

2、水样图像预处理

在图像预处理阶段，将RGB格式图像转换为灰度图像，在转换成灰度图像过程中，灰度梯度的取值范围为0～255。传统的灰度图像转换方式采用较为常见的加权平均法进行灰度梯度的计算，其中f表示灰度图像某像素坐标处的灰度值，而R、G、B则分别表示RGB图像中红色通道、绿色通道和蓝色通道对应在某像素坐标处的通道参数值。转换公式如下：

f＝0.31R+0.58G+0.11B

对进行完灰度图像转换后的图像，进行图像的直方图均值化处理，使用opencv当中的equalizeHist()函数实现。通过以上处理后的图像如图2所示。

3、进行图像的边缘检测：

边缘检测采用了当下主流的Canny边缘检测算法。由于边缘检测主要是对道路、植被等区域面积大，区分程度高的物体进行边缘检测，因此Canny算法中的梯度下限阈值与上限阈值设置为10与30，Canny边缘检测算法包含高斯平滑、一阶偏导的有限差分计算、非极大值抑制、双阈值算法检测及边缘连接等步骤。

使用Canny算子对颜色调整图像进行边缘检测时，使用sobel差分算子计算图像在x轴与y轴处的像素梯度值，以图像中像素梯度转变明显的像素点作为图像的边缘。

具体进行边缘检测的过程如下：

1)、Canny算法中的梯度下限阈值与上限阈值分别设置为10与30，在使用sobel算子进行图像的边缘检测过程当中，s_x与s_y分别为x轴方向和y轴方向上的sobel算子，K表示目标图像中以像素点[i,j]为中心的3*3灰度矩阵，具体矩阵表达式如下：

2)、通过sobel算子与目标灰度矩阵像素点的卷积计算，可获得图像的[i,j]像素点处，分别在x轴方向和y轴方向上的梯度灰度值，其值分别由G_x与G_y进行表示；具体的x轴方向与y轴方向上的卷积计算过程如下：

G_x＝s_x*K

G_y＝s_y*K；

3)近似地用G_x与G_y的绝对值之和表示该像素点的总灰度梯度值G，计算公式如下：

当坐标点附近灰度值发生明显变换时，G较大，否则G较小，通过以上的计算获得的总灰度梯度值G作为边缘检测的评判标准进行有效的边缘检测。

在进行canny边缘检测后对图像进行形态学中的膨胀处理与高斯滤波处理。两者的结合使用，可以有效地增加边缘曲线的宽度与顺滑度，避免目标区域过多而导致目标区域的错误提取，具体的边缘检测效果图如图3所示。

4.目标区域排序筛选：

通过opencv对步骤三处理后图像中所有封闭边缘的周长进行计算，从而得到各个封闭边缘对应的周长长度结果，然后对所有封闭边缘的周长通过opencv自带的sort()函数从大到小进行排序，最大周长的封闭边缘即为水域区域的封闭边缘。

对于最大周长的封闭边缘，使用凸包算法计算出该封闭边缘图像的凸包，仅保留凸包内的封闭边缘区域为白色，其他区域全部填充为黑色，此时便获得水域的边缘图像，具体的凸包与对应的凸包节点均在图4中展示。

5.获取边缘凸包节点并进行坐标系转换

由于无人机拍摄位置在图像的中心位置，依据无人机的高度、偏航角以及相机相对于地面的水平夹角，可以计算出图像中各凸包节点的坐标在世界坐标系当中相对于无人机的经纬度偏差分别为ΔJ和ΔW。假设各凸包节点i的经纬度坐标表示为(J_i，W_i)，无人机的经纬度表示为(J₀,W₀)，地球半径为6371千米，则对应的凸包节点i的经度和维度计算公式如下：

J_i＝J₀+ΔJ×180×(6371×1000×π)

W_i＝W₀+ΔW×180×(6371×1000×π)。

6.水域巡航路线设定

将所有已经进行的凸包节点进行编号，若需要对该水域的其他凸包节点进行巡航，还可以通过已计算的凸包节点坐标按照地图比例尺进行换算获得全新的凸包节点坐标。按照不同的水体监测任务选择目标凸包节点作为巡航节点进行巡航路线的规划。此巡航方法配合水体检测模型可以很好的达到对某一水域的实时监测任务。

本说明书所述的内容仅仅是对发明构思实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式。

Claims (3)

1.一种基于机器视觉的无人机水域监测巡航方法，其特征在于包括以下步骤过程：

步骤一：利用无人机进行水域图像的采集

在目标水域，设置无人机高度，并利用无人机采集监测目标水域的水样图像，将采集的到水样图像实时传输到电脑终端；

步骤二：水域图像预处理

将采集到的水样图像由彩色图像转换为灰度图像，同时对转换后的灰度图像进行直方图均值化处理，得到颜色调整图像；

步骤三：进行图像的边缘检测

使用Canny算子对步骤二所得颜色调整图像进行边缘检测，以除去图像中的杂物像素对图像的干扰，随后对边缘检测后的图像进行形态学中的膨胀处理和高斯滤波处理，以便将图像中的边缘界线联通形成封闭边缘，并增加边缘界线的宽度与顺滑度；

步骤四：目标区域排序筛选

通过opencv对步骤三处理后图像中所有封闭边缘的周长进行计算，从而得到各个封闭边缘对应的周长长度结果，然后对所有封闭边缘的周长从大到小进行排序，最大周长的封闭边缘即为水域区域的封闭边缘；

对于最大周长的封闭边缘，使用凸包算法计算出该封闭边缘图像的凸包，仅保留凸包内的封闭边缘区域为白色，其他区域全部填充为黑色，从而获得水域的边缘图像；

步骤五：获取边缘凸包点并进行坐标系转换

获取整个水域边缘的凸包节点，并计算该凸包节点在图像当中的对应坐标位置，进行坐标系的转换处理，将所有凸包节点转换至实际空间中的经纬度坐标；

步骤六：水域巡航路线设定

将所有已经进行坐标系转换的凸包节点进行编号，按照不同的巡航需求选择不同编号的凸包节点设置巡航路线，使得无人机可以在指定的编号之间按照顺序进行指定的水域巡航功能，并在巡航过程中对水面进行拍摄。

2.如权利要求1所述的一种基于机器视觉的无人机水域监测巡航方法，其特征在于步骤二中，将采集到的水样图像由彩色图像转换为灰度图像的过程中，灰度梯度的取值范围为0～255，转换公式如下：

f＝0.31R+0.58G+0.11B

其中f表示灰度图像某像素坐标处的灰度值；

R、G、B分别表示RGB图像中红色通道、绿色通道和蓝色通道对应在某像素坐标处的通道参数值。

3.如权利要求1所述的一种基于机器视觉的无人机水域监测巡航方法，其特征在于步骤三中，使用Canny算子对颜色调整图像进行边缘检测时，使用sobel差分算子计算图像在x轴与y轴处的像素梯度值，以图像中像素梯度转变明显的像素点作为图像的边缘，具体进行边缘检测的过程如下：

1)、Canny算法中的梯度下限阈值与上限阈值分别设置为10与30，在使用sobel算子进行图像的边缘检测过程当中，s_x与s_y分别为x轴方向和y轴方向上的sobel算子，K表示目标图像中以像素点[i,j]为中心的3*3灰度矩阵，具体矩阵表达式如下：

2)通过sobel算子与目标灰度矩阵像素点的卷积计算，可获得图像的[i,j]像素点处，分别在x轴方向和y轴方向上的梯度灰度值，其值分别由G_x与G_y进行表示；具体的x轴方向与y轴方向上的卷积计算过程如下：

G_x＝s_x*K

G_y＝s_y*K；

3)近似地用G_x与G_y的绝对值之和表示该像素点的总灰度梯度值G，计算公式如下：

当坐标点附近灰度值发生明显变换时，G较大，否则G较小，通过以上的计算获得的总灰度梯度值G作为边缘检测的评判标准进行有效的边缘检测。

Images