CN113888397A - 基于无人机遥感和图像处理技术的烟草清塘点株方法 - Google Patents

Abstract

本发明涉及一种基于无人机遥感和图像处理技术的烟草清塘点株方法，包括通过无人机遥感获取烟田的可见光正射影像，并拼接得到完整的烟田遥感影像图；将烟田遥感影像图通过HSV模型蒙版法过滤土壤背景信息，并依次进行灰度化处理、高斯滤波平滑图像、阈值二值化处理、形态学操作和开运算去噪操作，提取烟株图像轮廓；过滤像素面积过大和过小的轮廓，检测出烟株轮廓最小包围矩形并统计矩形的数量得到烟株数量。本发明中，结合无人机遥感和图像处理技术的方法进行清塘点株，具有巡查速度快、识别准确率高、成本低等优点，拓展了烟草农业生产的数字化、信息化新模式。

Description

基于无人机遥感和图像处理技术的烟草清塘点株方法

技术领域

本发明属于烟草农业技术领域，涉及一种基于无人机遥感和图像处理技术的烟草清塘点株方法。

背景技术

清塘点株是烟草生产过程中的关键环节，是指在烟苗移栽后进行准确清点以确保数量、面积、合同、人员四统一。目前普遍采用的多为人工清点方式，但是人工清点效率低、成本高，准确率难以统计，且无法在清点过程中同时核实种植面积、地块边界、人员等信息，给统计工作带来很大的难度。如果通过无人机遥感影像来做地块面积的计算，通过地块面积来估算烟株数量；则虽然烟株种植对行、间距有严格要求，但由于地块情况复杂多样，以及种植过程中行间距的把握存在误差，仍然存在清点的准确率难以保证的问题，使用效果不理想。

发明内容

有鉴于此，本发明的目的在于提供一种巡查速度快、识别准确率高、成本低的基于无人机遥感和图像处理技术的烟草清塘点株方法。

为达到上述目的，本发明提供如下技术方案：

一种基于无人机遥感和图像处理技术的烟草清塘点株方法，包括以下步骤：

S1、通过无人机遥感，获取烟田的可见光正射影像，并将正射影像图进行拼接得到完整的烟田遥感影像图；

S2、过滤所述烟田遥感影像图土壤背景信息以分离所述烟株与所述土壤背景；

S3、对经过分离的图像进行灰度处理、滤波处理以及二值化处理，从而得到二值化图像；

S4、对所述二值化图像进行形态学操作、开运算去噪操作以去除烟株周围无关的外部白色像素点干扰区域；

S5、提取烟株轮廓；

S6、计算轮廓信息检测出烟株轮廓最小包围矩形的左上角和右下角坐标信息，并在烟田遥感影像图烟株上圈出；

S7、统计圈出数量得到烟田遥感影像中烟株的数量。

进一步的，所述S2包括以下子步骤：

S20、将烟田遥感影像图从RGB格式转化为HSV模式，获取烟田遥感影像图中土壤背景区域与烟株区域对应的色相分量H、饱和度分量S、亮度分量V，设置目标区域的色相分量、饱和度分量和亮度分量的取值范围，使烟株部分被提取为目标区域，颜色变为白色，将土壤背景区域变为黑色，从而生成掩膜图；

S22、将所述掩膜图与对应的原始烟田遥感图像进行叠加，利用掩膜屏蔽作用对烟田遥感图土壤背景区域进行遮挡，从而有效地过滤烟田遥感影像土壤背景信息并最大限度的保持烟株信息，实现烟株与土壤背景分离。

进一步的，所述S20步骤中，所述色相分量H的取值范围为46≤H≤69，所述饱和度分量S的取值范围为0≤S≤255，所述亮度分量取值范围为0≤V≤255。

进一步的，在S22步骤中，定义所述掩膜图为第一个输入数组src1，烟田遥感影像图为第二个输入数组src2，dst为与输入数组大小相同的输出数组，其中所有元素的默认值为0，采用下式对掩膜图与烟田遥感影像图像进行“与”操作：

其中，mask为可选操作码。

进一步的，所述S3包括以下子步骤：

S30、对叠加后的图像进行灰度化处理，使所述叠加后的图像的颜色模式转换为灰度模式；

S32、对转换为灰度模式后的图像进行高斯滤波处理；

S34、对经过高斯滤波处理后的图像进行二值化处理提高烟株轮廓提取精确度。

进一步的，S30步骤中，通过下式计算单个分量的灰度值：

Y＝0.299R+0.587G+0.114B

其中，Y表示单个分量的灰度值；R、G、B分别表示RGB颜色模型下对应的三个通道分量。

进一步的，在所述S32步骤中，采用高斯滤波平滑图像的方法为：

定义输入图像为S(u，v)，通过二维高斯函数处理后得到G(u,v)作为输出图像，计算公式如下：

其中，σ为正态分布的标准偏差。

进一步的，在所述S34步骤中，阈值二值化处理的方法为：

设定灰度阈值T1＝26，当灰度值小于或等于阈值26时，设置其灰度值为0，大于阈值26时，设置其灰度值为最大值maxVal；使图像中背景区域的灰度值变为0，而烟株区域的灰度值变为maxVal。

进一步的，在所述S4步骤中，包括以下子步骤：

S40、定义3×3的十字形的结构元素

通过结构元素与图片进行形态学操作，返回指定形状和尺寸的结构元素；

S42、利用开运算进行先腐蚀再膨胀操作，分离烟株与部分背景区域，去除烟株周围无关的外部白色像素点干扰区域，保留其他部分不变。

进一步的，所述S5步骤包括以下子步骤：

S50、通过压缩水平方向、垂直方向、对角线方向的元素，只保留该方向的终点坐标，输出烟株的外侧轮廓信息，通过轮廓信息绘制出烟株轮廓；

S52、通过轮廓信息计算轮廓包围形状的像素面积，通过像素面积对过大或者过小的轮廓进行过滤，去除干扰信息。

本发明中，结合无人机遥感和图像处理技术的方法进行清塘点株，具有巡查速度快、识别准确率高、成本低等优点，在清点的同时还可以进行面积核实、边界确认、人员与地块信息匹配等工作，拓展了烟草农业生产的数字化、信息化新模式。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明基于无人机遥感和图像处理技术的烟草清塘点株方法的一个优选实施例的流程图。

图2为无人机烟田遥感后通过拼接得到的烟田遥感影像图。

图3为烟田遥感影像图转化为HSV颜色模型后的示意图。

图4为根据HSV颜色模型生成的颜色掩膜图。

图5为通过烟颜色掩膜图得到的HSV蒙版图。

图6为进行灰度化处理后得到的灰度图。

图7为采用高斯滤波平滑图像后得到的高斯滤波图。

图8为采用阈值二值化处理后得到的二值图。

图9为进行形态学操作和开运算去噪操作后得到的烟株去噪图。

图10为进行轮廓检测提取得到的烟株轮廓图。

图11为在烟田遥感影像图烟株上圈出最小包围矩形后的检测结果图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

如图1所示，本发明基于无人机遥感和图像处理技术的烟草清塘点株方法的一个优选实施例首先利用OpenCV将烟株遥感图像从RGB颜色模型转换为HSV颜色模型，通过HSV模型蒙版法对转换后的遥感图像进行处理，过滤多余背景信息，再通过二值化得到烟株轮廓二值图，通过形态学去噪、开运算去噪后提取烟株轮廓，最后通过对烟株轮廓包围形状面积进行计算、过滤去除多余干扰信息，得到轮廓清晰完整的烟株图像，进而为每一个烟株轮廓进行编号，统计编号数量得到最后的烟株数量。具体步骤如下：

步骤S1、对烟田进行无人机遥感，首先对移栽40天左右的烟田进行无人机遥感，获取烟田的可见光正射影像，并将正射影像图利用拼图软件进行拼接得到完整的RGB格式的烟田遥感影像图；要求影像的空间分辨率不低于1.25cm/pixel，如图2所示。

步骤S2、过滤所述烟田遥感影像图土壤背景信息以分离所述烟株与所述土壤背景；可包括以下子步骤：

步骤S20、将烟田遥感影像图从RGB格式转化为HSV模式，获取烟田遥感影像图中土壤背景区域与烟株区域对应的色相分量H、饱和度分量S、亮度分量V，设置目标区域的色相分量、饱和度分量和亮度分量的取值范围，使烟株部分被提取为目标区域，颜色变为白色，将土壤背景区域变为黑色，从而生成掩膜图。

如图3所示，为RGB格式的烟田遥感影像图转化为HSV颜色模型后的示意图。先通过HSV颜色模型获取烟田遥感影像中土壤背景区域与烟株区域对应的色相分量、饱和度分量、亮度分量。通过观测与统计对应的色相分量、饱和度分量和亮度分量的值，发现将色相分量、饱和度分量和亮度分量满足公式(1)的区域作为目标区域时，能够最大限度的将土壤背景与烟株分离，进而准确的统计烟株数量。通过公式(1)可将烟株部分提取为目标区域，颜色变为白色，而土壤部分未被提取，作为背景区域变为黑色，从而生成掩膜图，如图4所示。通过掩膜图可知其只能显示黑白两色，即目标区域为白色，背景为黑色。

式中，H为色相分量(Hue)、S为饱和度分量(Saturation)；V为亮度分量(Value)。

步骤S22、将所述掩膜图与对应的原始烟田遥感图像进行叠加，利用掩膜屏蔽作用对烟田遥感图土壤背景区域进行遮挡，从而有效地过滤烟田遥感影像土壤背景信息并最大限度的保持烟株信息，实现烟株与土壤背景分离。为了实现精确去除土壤背景，将掩膜图与烟田遥感影像图进行叠加时，利用掩膜屏蔽作用对烟田遥感影像图土壤背景区域进行遮挡；由于两个图像具有相同尺寸，定义掩膜图为第一个输入数组src1，烟田遥感影像图为第二个输入数组src2，dst为与输入数组大小相同的输出数组，其中所有元素的默认值为0，采用公式(2)对掩膜图与烟田遥感影像图像进行“与”操作：

其中，mask为可选操作码。则会在mask(I)≠0的区域即掩膜图像白色区域将烟田遥感影像图中对应区域的内容显示出来，在mask(I)＝0的区域即掩膜图像黑色区域对烟田遥感影像图中对应区域进行遮挡，通过二者叠加能够有效的过滤烟田遥感影像土壤背景信息并最大限度的保持烟株信息，实现烟株与土壤背景分离，如图5所示。

步骤S3、对经过分离的图像进行灰度处理、滤波处理以及二值化处理，从而得到二值化图像。具体可包括以下子步骤：

步骤S30、对叠加后的图像进行灰度化处理，使所述叠加后的图像的颜色模式转换为灰度模式。对图像进行灰度化处理时，先计算图像每一分量的灰度值；然后通过灰度化处理完成颜色空间从BGR模式转化为灰度模式，压缩图像原始数据量，减小图像原始数据量速后续处理速度，降低干扰同时避免条带失真。通过公式(3)得到每个分量的灰度值Y。通过灰度化后得到的图片如图6所示。

Y＝0.299R+0.587G+0.114B (3)

式中R、G、B分别表示RGB颜色模型下对应的三个通道分量。

步骤S32、对转换为灰度模式后的图像进行高斯滤波处理，通过高斯滤波平滑图像。其中，高斯滤波器利用高斯函数的形状来选择线性平滑滤波器，去除数字图像后期应用中噪声带来的误差。具体方法为：

建立二维的UV坐标系，定义输入图像为S(u，v)，利用邻域内像素的加权平均灰度值去替代模板中心像素点的值，通过二维高斯函数处理后得到G(u,v)作为输出图像。如公式(4)所示。通过公式(4)处理得到如图7所示的高斯滤波后的图像。

其中，σ为正态分布的标准偏差。

步骤S34、对经过高斯滤波处理后的图像进行二值化处理得到二值化图像，以提高烟株轮廓提取精确度。执行二值化处理时，设定灰度阈值T₁＝26，当灰度值小于或等于阈值26时，设置其灰度值为0，大于阈值26时，设置其灰度值为最大值maxVal(最大值一般等于＝255)，如公式(5)所示：

其中，dst(x，y)为阈值二值化处理后输出的像素的有灰度值；src(x，y)为阈值二值化处理前像素的灰度值。通过二值化处理后使图像中背景区域的灰度值变为0，而烟株区域的灰度值变为255，使得数据量大为减少，从而能凸显出烟株的轮廓，如图8所示。

步骤S4、对所述二值化图像进行形态学习操作、开运算去噪操作以去除烟株周围无关的外部白色像素点干扰区域；具体包括以下子步骤：

步骤S40、定义3×3的十字形的结构元素

通过结构元素与图片进行形态学操作，返回指定形状和尺寸的结构元素。

步骤S42、利用开运算进行先腐蚀再膨胀操作，分离烟株与部分背景区域，去除烟株周围无关的外部白色像素点干扰区域，保留其他部分不变，如图9所示。

步骤S5、提取烟株轮廓；具体包括以下子步骤：

步骤S50、通过压缩水平方向、垂直方向、对角线方向的元素，只保留该方向的终点坐标，输出烟株的外侧轮廓信息，通过轮廓信息绘制出烟株轮廓，如图10所示。

步骤S52、通过轮廓信息计算轮廓包围形状的像素面积，通过设立像素面积阈值过滤像素面积过大和过小的轮廓，去除干扰信息，得到轮廓清晰完整的烟株图像。可采用以下方法：

通过轮廓信息计算轮廓包围形状的像素面积ContoursArea，设立最小像素面积阈值T₂和最大像素面积阈值T₃，根据像素面积阈值对像素面积过小(即ContoursArea＜T₂)或者像素面积过大(即ContoursArea＞T₃)的轮廓进行过滤，去除干扰信息。本由于实施例中不存在面积较大的干扰信息，因此，本实施例只取T₂＝10，未设置最大像素面积阈值T₃；如公式(6)所示：

其中，Contours表示轮廓数量。当然，T₂和T₃的取值可根据实际情况进行调整，只要能过滤干扰信息即可。

步骤S6、通过筛选后的轮廓信息检测出烟株轮廓最小包围矩形的左上角和右下角坐标信息，并在烟田遥感影像图烟株上圈出，得到检测结果图，如图11所示。为便于统计，可在圈出矩形的同时给矩形编号。

步骤S7、根据最小包围矩形的编号统计矩形的数量即为烟田遥感影像中烟株的数量，还可将分析成果进行可视化的呈现与输出，以便于在清点的同时进行面积核实、边界确认、人员与地块信息匹配等工作。

本实施例中，应用无人机和图像处理技术的进行烟草清塘点株，相比较人工清塘点株有以下优势：

(1)可以大大提升工作效率，传统的人工清塘点株平均为20亩/人.天。无人机清塘点株的系统的能力由数据采集能力、数据处理能力、数据分析能力共同决定，其中无人机数据采集能力为5000亩/架.天，数据处理能力为2500亩/小时，识别能力为1500亩/分钟(根据服务器运算能力不同会有差别)，综合上述因素单架飞机作业的系统能力为5000亩/天，统计准确率高于93％。

(2)节省使用成本，传统人工清塘点株的成本为100元/人.天。无人机清塘点株的成本约2元/亩。

(3)传统人工清塘点株无法对烟田面积、种植密度进行统计且准确率难以核实。无人机清塘点株可以准确的计算烟株数量、烟田面积和种植密度，清塘点株的准确率在93％以上。

(4)在清点的同时还可以进行面积核实、边界确认、人员与地块信息匹配等工作。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于无人机遥感和图像处理技术的烟草清塘点株方法，其特征在于，包括以下步骤：

S1、通过无人机遥感，获取烟田的可见光正射影像，并将正射影像图进行拼接得到完整的烟田遥感影像图；

S2、过滤所述烟田遥感影像图土壤背景信息以分离所述烟株与所述土壤背景；

S3、对经过分离的图像进行灰度处理、滤波处理以及二值化处理，从而得到二值化图像；

S4、对所述二值化图像进行形态学操作、开运算去噪操作以去除烟株周围无关的外部白色像素点干扰区域；

S5、提取烟株轮廓；

S6、计算轮廓信息检测出烟株轮廓最小包围矩形的左上角和右下角坐标信息，并在烟田遥感影像图烟株上圈出；

S7、统计圈出数量得到烟田遥感影像中烟株的数量。

2.如权利要求1所述的基于无人机遥感和图像处理技术的烟草清塘点株方法，其特征在于，所述S2包括以下子步骤：

S20、将烟田遥感影像图从RGB格式转化为HSV模式，获取烟田遥感影像图中土壤背景区域与烟株区域对应的色相分量H、饱和度分量S、亮度分量V，设置目标区域的色相分量、饱和度分量和亮度分量的取值范围，使烟株部分被提取为目标区域，颜色变为白色，将土壤背景区域变为黑色，从而生成掩膜图；

S22、将所述掩膜图与对应的原始烟田遥感图像进行叠加，利用掩膜屏蔽作用对烟田遥感图土壤背景区域进行遮挡，从而有效地过滤烟田遥感影像土壤背景信息并最大限度的保持烟株信息，实现烟株与土壤背景分离。

3.如权利要求2所述的基于无人机遥感和图像处理技术的烟草清塘点株方法，其特征在于，所述S20步骤中，所述色相分量H的取值范围为46≤H≤69，所述饱和度分量S的取值范围为0≤S≤255，所述亮度分量取值范围为0≤V≤255。

4.根据权利要求2所述的基于无人机遥感和图像处理技术的烟草清塘点株方法，其特征在于，在S22步骤中，定义所述掩膜图为第一个输入数组src1，烟田遥感影像图为第二个输入数组src2，dst为与输入数组大小相同的输出数组，其中所有元素的默认值为0，采用下式对掩膜图与烟田遥感影像图像进行“与”操作：

其中，mask为可选操作码。

5.根据权利要求2所述的基于无人机遥感和图像处理技术的烟草清塘点株方法，其特征在于，所述S3包括以下子步骤：

S30、对叠加后的图像进行灰度化处理，使所述叠加后的图像的颜色模式转换为灰度模式；

S32、对转换为灰度模式后的图像进行高斯滤波处理；

S34、对经过高斯滤波处理后的图像进行二值化处理提高烟株轮廓提取精确度。

6.如权利要求5所述的基于无人机遥感和图像处理技术的烟草清塘点株方法，其特征在于，S30步骤中，通过下式计算单个分量的灰度值：

Y＝0.299R+0.587G+0.114B

其中，Y表示单个分量的灰度值；R、G、B分别表示RGB颜色模型下对应的三个通道分量。

7.根据权利要求5所述的基于无人机遥感和图像处理技术的烟草清塘点株方法，其特征在于，在所述S32步骤中，采用高斯滤波平滑图像的方法为：

定义输入图像为S(u，v)，通过二维高斯函数处理后得到G(u,v)作为输出图像，计算公式如下：

其中，σ为正态分布的标准偏差。

8.根据权利要求5所述的基于无人机遥感和图像处理技术的烟草清塘点株方法，其特征在于，在所述S34步骤中，阈值二值化处理的方法为：

设定灰度阈值T1＝26，当灰度值小于或等于阈值26时，设置其灰度值为0，大于阈值26时，设置其灰度值为最大值maxVal；使图像中背景区域的灰度值变为0，而烟株区域的灰度值变为maxVal。

9.根据权利要求1所述的基于无人机遥感和图像处理技术的烟草清塘点株方法，其特征在于，在所述S4步骤中，包括以下子步骤：

S40、定义3×3的十字形的结构元素

通过结构元素与图片进行形态学操作，返回指定形状和尺寸的结构元素；

S42、利用开运算进行先腐蚀再膨胀操作，分离烟株与部分背景区域，去除烟株周围无关的外部白色像素点干扰区域，保留其他部分不变。

10.根据权利要求1所述的基于无人机遥感和图像处理技术的烟草清塘点株方法，其特征在于，所述S5步骤包括以下子步骤：

S50、通过压缩水平方向、垂直方向、对角线方向的元素，只保留该方向的终点坐标，输出烟株的外侧轮廓信息，通过轮廓信息绘制出烟株轮廓；

S52、通过轮廓信息计算轮廓包围形状的像素面积，通过像素面积对过大或者过小的轮廓进行过滤，去除干扰信息。

Images