CN107563413B - 无人机航拍影像农田块对象精准提取方法 - Google Patents

Abstract

本发明提供了一种无人机航拍影像农田块对象精准提取方法，包括以下步骤：多尺度轮廓检测：输入一幅高分辨率航拍影像后，进行多尺度轮廓检测，获得图像中每一像素点处在不同尺度上的平均轮廓强度值；基于分水岭变换的底层分割块生成：通过分水岭变换将轮廓信息转化为最底层的分割块信息，同时得到相邻分割块之间轮廓的权重值；基于轮廓强度的多尺度分割图生成：通过分析轮廓权重信息来逐层组合分割块，得到不同尺度的分割图；基于图像分类的非农田区域剔除：通过基于SVM的图像分类来判定图像中每个像素点是属于农田类别还是非农田，并利用图像分类信息来剔除非农田分割块，只保留农田分割块。本发明最终实现了对农田块对象的精准、可靠提取。

Description

无人机航拍影像农田块对象精准提取方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种无人机航拍影像农田块对象精准提取方法。

背景技术

随着无人机技术、遥感技术和高精度定位技术的快速发展，无人机航拍遥感具有影像实时传输、高危地区探测、成本低、高分辨率、机动灵活等优点，兼具卫星影像的价格和航空影像的快速采集优势，通过不同航高可实现高空间、大面积的动态监测，也可以实现低空间较小范围内的精确监测，在国内外军民各领域已得到广泛应用。随着无人机航拍遥感数据的大量获取，智能化、精准农业应用成为热点和趋势，如智能病虫害监控、农作物长势监测、农药喷洒和无人播种等，而如何从海量的无人机航拍高分辨率遥感数据中提取农田、农作物的空间分布要素，成为制约精准农业发展的关键技术。

目前，无人机农药喷洒和无人播种过程中需要的农田块边界基本都是通过人工方式提取的，其效率低、成本高，且数据分布零散无法实现集中管理和更新。因此，农田块的自动、精确提取是精准农业应用的一项关键技术。近年来，计算机视觉和机器学习获得了快速发展，其中图像地物分类(land cover classification)和语义分割(semanticsegmentation，计算机图像处理中，语义分割是指对一幅图像中的所有像素进行标记，得到多个同质性区域，使得每个区域中所有像素属于同一类型的地物或目标)方法层出不穷。但现有图像分类和语义分割方法只能区分不同类别的地物类型(地面上的场景或目标类型，如建筑、道路、农田、林地等，本发明关注单块农田区域的精准提取)或目标，而不能很好地实现单个农田块(航拍图像中具有明显边缘的一块独立农田区域) 对象的分割。因此，实际应用中亟需一种针对高分辨率航拍图像的快速有效的农田块对象精准提取方法和方案，能够提取语义完整的、精确的农田块边缘。最近两年，作为语义分割的延伸，面向单个对象提取的实例分割(instance segmentation，实例分割是对图像语义分割的进一步延伸，实例分割在区分不同地物类型(如农田和建筑)的同时，也能区分属于同一类型的不同对象个体(如相邻的不同农田块，相邻的两栋建筑等)，称为对象实例)开始引起行业关注。

无人机航拍技术和高精度定位技术的发展使得精准农业应用成为趋势，而农田块的自动精确提取是智能农药喷洒、无人播种等精准农业应用的基础。现有地物(如农田、林地、建筑等)提取方法基本上都是采用特征提取加分类器分类的思路，只能提取大面积的农田区域，无法确定单块农田对象的边界，因而无法区分不同的农田地块，即无法实现单块农田对象的精准提取，从而无法满足现代精准农田应用的需求。

发明内容

本发明针对高分辨率无人机航拍影像，提出了一种基于多尺度实例分割的农田块对象精准提取方法，解决了单个农田块精准提取的问题，为精准农业应用提供基础支持信息。

本发明采用的技术方案是：

一种无人机航拍影像农田块对象精准提取方法，包括以下步骤：

步骤1，多尺度轮廓检测：输入一幅航拍影像后，进行多尺度轮廓检测，获得航拍影像中每一像素点处在不同尺度上的平均轮廓强度值；

步骤2，基于分水岭变换的底层分割块生成：通过分水岭变换将轮廓信息转化为最底层的分割块信息，同时得到相邻分割块之间轮廓的权重值；

步骤3，基于轮廓强度的多尺度分割图生成：通过分析轮廓权重信息来逐层组合分割块，得到不同尺度的分割图；

步骤4，基于图像分类的非农田区域剔除：通过基于SVM的图像分类来判定图像中每个像素点是属于农田类别还是非农田，并利用图像分类信息来剔除非农田分割块，只保留农田分割块。

进一步地，所述步骤1中多尺度轮廓检测具体包括以下步骤：

定义航拍影像中像素点(x，y)处方向θ上的轮廓强度为：

其中，g(t)与h(t)分别是像素点(x，y)处方向θ上两个局部区域内的特征直方图，t是相应的索引值。

进一步地，所述特征直方图采用两个半圆形的区域进行统计，或者采用两个矩形区域来统计。

进一步地，特征直方图提取的图像特征有亮度与光谱特征以及纹理特征。

进一步地，通过在多个尺度s上对G(x，y，θ)进行平均，并在多个方向θ上取最大的轮廓强度值，得到像素点(x，y)处的平均轮廓强度mG(x，y)：

其中，α_s是针对不同尺度s下轮廓强度G_s(x，y，θ)的权重。

进一步地，所述步骤2中基于分水岭变换的底层分割块生成具体包括以下步骤：

步骤S21，在由多尺度轮廓检测得到的轮廓强度中，选择多个轮廓强度局部最小值点Pi，其中i＝1-K，K为轮廓强度局部最小值点的个数；

步骤S22，把Pi作为种子点，应用分水岭变换，得到多个局部分割区域Ri 和任意两个相邻分割区域Ri和Rj之间的轮廓Cij；

步骤S23，设W(Cij)表示轮廓Cij的权重，定义为Cij上每个像素点的平均轮廓强度mG(x，y)；若W(Cij)越大就表示轮廓Cij越明显，区域Ri和区域Rj属于不同农田块的概率越大；反之，若W(Cij)越小就表示轮廓Cij越模糊，区域 Ri和区域Rj属于同一农田块的概率越大。

进一步地，设底层分割块组成第L0层的分割图，所述步骤3中基于轮廓强度的多尺度分割图生成具体包括以下步骤：

步骤S31，对于当前分割图，选择轮廓权重W(C)最小的一段轮廓，设为C^*，轮廓权重值的初始值来自基于分水岭变换的第L0层底层分割图；

步骤S32，设被轮廓C^*分隔开的两个分割块区域为R1和R2；

步骤S33，将R1和R2合并为区域R，并删除相应的轮廓C^*，形成新的分割图L1；

步骤S34，更新分割图中每条轮廓C的轮廓权重W(C)，W(C)是所述轮廓上每个像素点处的平均轮廓强度mG(x，y)；

步骤S35，以新的分割图L1为基础，重复步骤S31-S34，获得更上层的分割图Ln，直至分割图中不存在任何轮廓，即整幅图像为一个分隔块。

进一步地，所述步骤4中基于图像分类的非农田区域剔除具体包括以下步骤：

步骤S41，对航拍影像进行低层图像特征提取；

步骤S42，利用SVM分类器对图像中每个像素点进行分类，得到每个像素点是属于农田类别还是非农田；

步骤S43，通过分类信息与分割信息结合来剔除非农田区域。

进一步地，所述步骤S43通过统计每个分割块中属于农田类别的像素比例来实现，具体包括以下步骤：

若分割块中农田类别像素的比例大于特定阈值T，则保留所述分割块；否则，剔除所述分割块。

进一步地，所述特定阈值T＝80％。

本发明的有益效果如下：

1)提出了基于局部区域特征直方图统计的多尺度轮廓检测方法，通过在每个像素附近特定区域内的特征直方图统计提升了轮廓提取的鲁棒性，同时考虑了多尺度和多角度的轮廓信息，进一步保障了轮廓提取的稳定性；

2)利用分水岭变换将轮廓强度信息转化为分割块信息，利用轮廓信息来获得底层农田分割块的思路提升了对相邻农田块边缘的敏感性，能够精准地区分相邻的不同农田块；

3)基于轮廓强度的多尺度分割图生成思路，保证了农田块的语义完整性和分割的紧致性，使得到的分割块与实际的农田块一一对应，减少了过分割(将一块农田分割为多个区域，即分割块过多)和欠分割(将相邻的多块农田分割为一个区域，即分割不充分、分割块过少)；

4)利用图像分类信息对非农田分割区域进行了剔除，只留下农田类别对应的精准分割块，充分利用了分类对类别的表达能力和多尺度分割对边缘的保持能力。

附图说明

图1是基于多尺度实例分割的无人机航拍影像农田块对象精准提取总体流程图。

图2是基于半圆形(左)和矩形(右)的特征直方图统计区域设计图。

图3是由第Ln层分割图生成第Ln+1层分割图的过程示意图。

具体实施方式

本发明通过多尺度实例分割，实现了一种面向高分辨率航拍影像的农田块对象精准提取方法，可以为精准农业提供信息支持。下文中，结合附图和实施例对本发明作进一步阐述。

图1是基于多尺度实例分割的无人机航拍影像农田块对象精准提取总体流程图，主要包括以下步骤：

步骤1，多尺度轮廓检测：输入一幅高分辨率航拍影像后，首先对其进行多尺度轮廓检测，获得图像中每一像素点处在不用尺度上的平均轮廓强度值；

步骤2，基于分水岭变换的底层分割块生成：通过分水岭变换将轮廓信息转化为最底层的分割块信息，同时得到相邻分割块之间轮廓的权重值；

步骤3，基于轮廓强度的多尺度分割图生成：通过分析轮廓权重信息来逐层组合分割块，得到不同尺度的分割图，越大尺度的分割块表示越大尺寸的农田块对象；

步骤4，基于图像分类的非农田区域剔除：通过基于支持矢量机(SVM)的图像分类来判定图像中每个像素点是属于农田类别还是非农田，并利用图像分类信息来剔除非农田分割块，只保留农田分割块。最终得到每个农田块的分割结果，图1所示的结果图中用不同颜色表示不同的农田块，而黑色背景表示非农田区域。

以下对步骤1-步骤4进行进一步阐述。

步骤1，多尺度轮廓检测：

通过多尺度的轮廓(边缘)检测得到图像中每个像素点(x，y)处的轮廓强度值，轮廓强度值越大，表明这点处存在轮廓线的概率越大。定义图像中像素点位置 (x，y)处方向θ上的轮廓强度为：

其中，g(t)与h(t)分别是像素点(x，y)处方向θ上两个局部区域内的特征直方图，t是相应的索引值。本发明采用两个半圆形的区域来进行直方图统计，如图2所示。实际操作中，为计算方便也可以采用两个矩形区域来计算特征直方图。本发明提取的图像特征有亮度与光谱特征(如Lab色彩空间特征)以及纹理特征 (如灰度共生矩阵、Gabor滤波等)。

通过在多个尺度s上对G(x，y，θ)进行平均，并在多个方向θ上取最大的轮廓强度值，可以得到像素点(x，y)处的平均轮廓强度mG(x，y)：

其中α_s是针对不同尺度s下轮廓强度G_s(x，y，θ)的权重。

基于直方图统计信息来进行边缘检测可以提升边缘检测的鲁棒性，排除虚假边缘干扰，同时通过多尺度和多角度轮廓检测的方式进一步保证了轮廓检测的稳定性，为后续农田块精准分割提供了前提。

步骤2，基于分水岭变换的底层分割块生成：

分水岭变换的目的是将轮廓信息转为连续的分割区域，具体包括以下步骤：

步骤S21，在由多尺度轮廓检测得到的轮廓强度图中，选择多个局部最小值点Pi，这里i＝1～K，K为局部最小轮廓强度值的个数；

步骤S22，把这些局部最小值点Pi作为种子点，应用分水岭变换，得到多个局部分割区域Ri和任意两个相邻分割区域Ri和Rj之间的轮廓Cij。

步骤S23，设W(Cij)表示轮廓Cij的权重，定义为Cij上每个像素点的平均轮廓强度mG(x，y)。若权重值W(Cij)越大就表示轮廓Cij越明显，区域Ri和区域 Rj属于不同农田块的概率越大；反之，若W(Cij)越小就表示轮廓Cij越模糊，区域Ri和区域Rj属于同一农田块的概率越大。

通过以上步骤得到的分割图通常是过分割，即分割块过多，容易将一块农田分割为多个分割区域，因此需要对这种底层的分割块进行语义组合，生成更大尺度的分割块，使得分割块与实际农田块一一对应。

步骤3，基于轮廓强度的多尺度分割图生成：

利用之前生成的底层分割区域图，进行分层语义组合，可以生成不同尺度的分割区域图。设底层分割块组成第L0层的分割图，则更高层级的分割图生成具体步骤如下：

步骤S31，对于当前分割图，选择轮廓权重值W(C)最小的一段轮廓，设为 C^*，这里轮廓权重的初始值来自之前由分水岭变换生产的第L0层底层分割图。

步骤S32，设被轮廓C^*分隔开的两个分割块区域为R1和R2。

步骤S33，将R1和R2合并为区域R，并删除相应的轮廓C^*，形成新的分割图L1。

步骤S34，更新分割图中每条轮廓C的权重W(C)，W(C)是该轮廓上每个像素点处的平均轮廓强度mG(x，y)。

步骤S35，以新的分割图为基础，重复步骤S31～S34，获得更上层的分割图Ln，直至分割图中不存在任何轮廓，即整幅图像为一个分隔块。这样就得到不同尺度的分割图。从第Ln层分割图到第Ln+1层分割图的过程如图3所示，图中两个相邻区域之间轮廓附近的数字为该轮廓的权重W。

利用生成的多尺度分割图，根据当前数据集中农田块的大体尺度选择适当的分割层级，即得到图像的实例分割结果。但这里得到的分割结果中包括单块农田区域，也包括建筑、林地等非农田区域，需要通过分类方法把非农田区域剔除，得到只包含农田区域的语义分割块。

步骤4，基于图像分类的非农田区域剔除：

多尺度分割得到的结果中包括农田分割块和非农田分割块，可以通过支持矢量机(SVM)分类器对图像中的像素进行分类，判定像素是属于农田类别还是非农田，再基于这种图像分类信息把分割结果中的非农田区域剔除。具体包括以下步骤：

步骤S41，首先对原始航拍影像进行低层特征提取，包括Lab色彩空间特征、灰度共生矩阵特征和Gabor滤波器特征等。

步骤S42，利用SVM分类器对图像中每个像素进行分类，得到每个像素是属于农田类别(标记为1)还是非农田(标记为0)。

步骤S43，通过分类信息与分割信息结合来剔除建筑、林地等非农田分割块，具体可以通过统计每个分割块中属于农田类别的像素比例来实现：若分割块中农田类别像素的比例大于特定阈值T(如T＝80％)，则保留这个分割块；否则，剔除这个分割块。这样就得到只包含农田的分割块，最终达到对农田块对象进行精准分割和提取的目的。

本发明软件环境优选在Ubuntu 16.04操作系统下利用C/C++语言并结合 OpenCV图像处理库。

本发明所用到的轮廓检测方法可以选择任意有效的边缘或轮廓提取方法；所用到的农田/非农田分类方法可以选择监督分类方法，如支持矢量机(SVM)、人工神经网络(ANN)或深度神经网络(DNN)，也可以选择非监督分类方法，如K均值聚类(K-means)等；本发明针对无人机航拍得到的高分辨率影像进行农田块提取，但如果航空影像或卫星影像的分辨率足够高(比如优于0.5米)，本发明提供的方法同样适用。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (8)

1.一种无人机航拍影像农田块对象精准提取方法，其特征在于，包括以下步骤：

步骤1，多尺度轮廓检测：输入一幅航拍影像后，进行多尺度轮廓检测，获得航拍影像中每一像素点处在不同尺度上的平均轮廓强度值；

步骤2，基于分水岭变换的底层分割块生成：通过分水岭变换将轮廓信息转化为最底层的分割块信息，同时得到相邻分割块之间轮廓的权重值；

步骤3，基于轮廓强度的多尺度分割图生成：通过分析轮廓权重信息来逐层组合分割块，得到不同尺度的分割图；

步骤4，基于图像分类的非农田区域剔除：通过基于SVM的图像分类来判定图像中每个像素点是属于农田类别还是非农田，并利用图像分类信息来剔除非农田分割块，只保留农田分割块；

所述步骤2中基于分水岭变换的底层分割块生成具体包括以下步骤：

步骤S21，在由多尺度轮廓检测得到的轮廓强度中，选择多个轮廓强度局部最小值点Pi，其中i＝1-K，K为轮廓强度局部最小值点的个数；

步骤S22，把Pi作为种子点，应用分水岭变换，得到多个局部分割区域Ri和任意两个相邻分割区域Ri和Rj之间的轮廓Cij；

步骤S23，设W(Cij)表示轮廓Cij的权重，定义为Cij上每个像素点的平均轮廓强度mG(x,y)；若W(Cij)越大就表示轮廓Cij越明显，区域Ri和区域Rj属于不同农田块的概率越大；反之，若W(Cij)越小就表示轮廓Cij越模糊，区域Ri和区域Rj属于同一农田块的概率越大；

设底层分割块组成第L0层的分割图，所述步骤3中基于轮廓强度的多尺度分割图生成具体包括以下步骤：

步骤S31，对于当前分割图，选择轮廓权重W(C)最小的一段轮廓，设为C*，轮廓权重值的初始值来自基于分水岭变换的第L0层底层分割图；

步骤S32，设被轮廓C*分隔开的两个分割块区域为R1和R2；

步骤S33，将R1和R2合并为区域R，并删除相应的轮廓C*，形成新的分割图L1；

步骤S34，更新分割图中每条轮廓C的轮廓权重W(C)，W(C)是所述轮廓上每个像素点处的平均轮廓强度mG(x,y)；

步骤S35，以新的分割图L1为基础，重复步骤S31-S34，获得更上层的分割图Ln，直至分割图中不存在任何轮廓，即整幅图像为一个分隔块。

2.如权利要求1所述的一种无人机航拍影像农田块对象精准提取方法，其特征在于，所述步骤1中多尺度轮廓检测具体包括以下步骤：

定义航拍影像中像素点(x,y)处方向θ上的轮廓强度为：

其中，g(t)与h(t)分别是像素点(x,y)处方向θ上两个局部区域内的特征直方图，t是相应的索引值。

3.如权利要求2所述的一种无人机航拍影像农田块对象精准提取方法，其特征在于，所述特征直方图采用两个半圆形的区域进行统计，或者采用两个矩形区域来统计。

4.如权利要求3所述的一种无人机航拍影像农田块对象精准提取方法，其特征在于，特征直方图提取的图像特征有亮度与光谱特征以及纹理特征。

5.如权利要求4所述的一种无人机航拍影像农田块对象精准提取方法，其特征在于，通过在多个尺度s上对G(x,y,θ)进行平均，并在多个方向θ上取最大的轮廓强度值，得到像素点(x,y)处的平均轮廓强度mG(x,y)：

其中，α_s是针对不同尺度s下轮廓强度G_s(x,y,θ)的权重。

6.如权利要求1所述的一种无人机航拍影像农田块对象精准提取方法，其特征在于，所述步骤4中基于图像分类的非农田区域剔除具体包括以下步骤：

步骤S41，对航拍影像进行低层图像特征提取；

步骤S42，利用SVM分类器对图像中每个像素点进行分类，得到每个像素点是属于农田类别还是非农田；

步骤S43，通过分类信息与分割信息结合来剔除非农田区域。

7.如权利要求6所述的一种无人机航拍影像农田块对象精准提取方法，其特征在于，所述步骤S43通过统计每个分割块中属于农田类别的像素比例来实现，具体包括以下步骤：

若分割块中农田类别像素的比例大于特定阈值T，则保留所述分割块；否则，剔除所述分割块。

8.如权利要求7所述的一种无人机航拍影像农田块对象精准提取方法，其特征在于，所述特定阈值T＝80％。

Images