CN105139407A - 一种基于Kinect传感器的颜色深度匹配植株识别方法 - Google Patents

Abstract

本发明提供了一种基于Kinect传感器的颜色深度匹配植株识别方法，该方法包括：第一步，调用Kinect传感器彩色摄像头和红外摄像头；第二步，获取彩色图像和深度图像及其数据；第三步，对所获取的彩色图像和深度图像进行处理；第四步，彩色图像和深度图像匹配，提取植株目标。由于同时进行了彩色图像和深度图像的处理，并将两种图像匹配，在农业喷雾植株检测领域的应用中，能够更加精确的实现目标植株的检测。

Description

一种基于Kinect传感器的颜色深度匹配植株识别方法

技术领域

本发明涉及一种农业喷雾植株检测技术，尤其涉及一种基于Kinect传感器的颜色深度匹配植株识别方法。

背景技术

近年来，由于传感器具有微型化、数字化、智能化以及多功能化等特点，在农业果树、花卉等植株的农药喷雾领域起到重要的作用，基于传感器的植株检测技术也逐渐成为人们研究的一大热点。目前，基于传感器的植株检测技术主要有三种：红外线技术、超声波对靶技术和激光技术。基于红外线技术和超声波对靶技术的传感器检测方法，由于其受喷雾环境温度、湿度等因素的影响，对植株检测的精确性有很大的影响，从而降低了农药的有效利用率；基于激光技术的传感器检测方法，其高精度、高速度的检测特点，能够快速实现植株目标的实时检测，从而达到提高农药的有效利用率、减少农药对环境污染的目的，但是基于激光技术的传感器，其价格往往较高，运用在农业喷雾领域，增加了农药喷洒设备的成本，从经济层面上考虑，其实际应用的推广难度较大。Kinect传感器为微软公布的XBOX360体感周边外设，该设备的技术可以同时提供彩色图像和深度图像，从而获取三维空间的数据，且不受光线的影响，其价格也较便宜。

发明内容

为解决现有技术的不足，本发明的目的在于提供一种基于Kinect传感器的颜色深度匹配植株识别方法，能够更加精确的实现目标植株的检测。

本发明采用如下的技术方案：

一种基于Kinect传感器的颜色深度匹配植株识别方法，包括步骤：

步骤1，调用Kinect传感器彩色摄像头和红外摄像头；

步骤2，获取彩色图像和深度图像及其数据；

步骤3，对所获取的彩色图像和深度图像进行处理：将步骤2中所获取的RGB彩色图像颜色模型转换为HSV颜色模型，对色调H进行阀值限制，从而获取图像中绿色植株部分，显示为白色点阵，其余背景及杂物显示为黑色点阵，对HSV阀值处理后的图像进行Canny算子图像边缘检测处理，标识出图像中的植株的实际边缘；将步骤2中所获取的深度图像，限制需要检测的深度距离范围，显示限定范围内的物体，去除范围之外的干扰物，对限制深度范围后获取的深度图像，选用最大类间方差法对限定深度范围后的图像进行阀值处理，进一步去除背景干扰物，显示范围物体为白色，背景色为黑色；

步骤4，对步骤3处理后得到的彩色图像和深度图像进行相乘匹配，保留深度距离范围内的绿色植株目标，去除背景及其他杂物；所述彩色图像和深度图像进行相乘匹配方法的图像匹配原则为：当同一像素点的彩色图像和深度图像像素值均不为0时，表示该像素为目标植株点，保留该像素点；反之，若彩色图像和深度图像存在0像素值时，说明该像素点为误差点，去除该像素点。

进一步，所述步骤1，调用Kinect传感器彩色摄像头和红外摄像头，彩色摄像头所获取的彩色图像像素为640x480，红外摄像头所获取的深度图像像素为640x480。

进一步，所述步骤2，通过帧触发循环函数设定循环次数i，获取指定帧i+1的彩色图像和深度图像及其数据流。

进一步，所述步骤3，对色调H的阀值限制范围取[90，145]，限制需要检测的深度距离范围为[700，1200]，所选取的数值范围能够充分实现限定深度距离范围内对应植株目标有无、大小、形状等特征信息的检测。

进一步，所述步骤4中，彩色图像和深度图像进行相乘匹配方法的其数学模型如下：

$p_n=\left\{\begin{array}{cc}1,& c_n*d_n\≠0\\ 0,& c_n*d_n=0\end{array}\right.$

其中p_n为彩色图像和深度图像进行相乘匹配所得图像像素值的有无，有置1，无则置0；c_n为彩色图像的像素值，d_n为深度图像的像素值

本发明的有益效果在于：一种基于Kinect传感器的颜色深度匹配植株识别方法，通过彩色摄像头和深度摄像头获取彩色图像和深度图像，并对其进行相应的图像处理和匹配，实现限定深度距离范围内对应植株目标有无、大小、形状等特征信息的检测，满足农业喷雾植株目标检测的要求，提高喷雾的精确度和农药的有效利用率，降低农药喷洒的浪费以及对环境的影响。

附图说明

图1是本发明一种基于Kinect传感器的颜色深度匹配植株识别方法的步骤流程图；

图2是本发明基于图1的进一步步骤实施图；

图3是本发明通过MATLAB调用Kinect传感器获取的彩色图像；

图4是本发明对所获取的彩色图像处理后的效果图；

图5是本发明对所获取的深度图像处理后的效果图；

图6是本发明对处理后的彩色图像和深度图像进行匹配的效果图。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

参照图1所示，本发明提供一种基于Kinect传感器的颜色深度匹配植株识别方法，通过彩色摄像头和深度摄像头获取彩色图像和深度图像，并对其进行相应的图像处理和匹配，实现限定深度距离范围内对应植株目标有无、大小、形状等特征信息的检测。包括如下步骤：

步骤1，通过MATLAB软件调用Kinect传感器彩色摄像头和红外摄像头；

步骤2，获取彩色图像和深度图像及其数据；

步骤3，对所获取的彩色图像和深度图像进行处理；

步骤4，彩色图像和深度图像匹配，提取植株目标。

本发明相对现有技术来说，同时调用彩色摄像头和深度摄像头，对所获取的彩色图像和深度图像进行处理，从颜色以及深度信息这两方面同时进行目标植株的检测提取，因此在植株的检测识别上能够实现比现有技术的识别准确度更好。

参照图2所示，给出了基于图1的更详细的步骤实施图。本发明将结合图3～图6的实例对图1的各个步骤进行详细论述，实例的预期效果是识别与彩色图像图3中形状不规则的绿色植株(a)的枝叶部分。

步骤1：通过MATLAB软件调用Kinect传感器彩色摄像头和红外摄像头，将Kinect传感器接至计算机上，彩色摄像头所获取的彩色图像像素为640x480，红外摄像头所获取的深度图像像素为640x480。

步骤2：通过软件程序中的帧触发循环函数设定循环次数i，获取指定帧i+1的彩色图像和深度图像及其数据流。所获取的单帧图像数据以矩阵形式保存，其中彩色图像数据为640x480x3uint8格式，深度图像数据为640x480uint16格式。

步骤3：对所获取的彩色图像和深度图像进行处理。

(1)彩色图像处理：

将步骤2中所获取的RGB彩色图像颜色模型转换为HSV颜色模型，对色调H进行阀值限制，本发明实例中对色调H的阀值限制范围优先选取[90，145]，从而获取图像中绿色植株部分，显示为白色点阵，其余背景及杂物显示为黑色点阵，可根据实际需要，更改色调H的阀值范围。

对HSV阀值处理后的图像进行Canny算子图像边缘检测处理，标识出图像中的植株的实际边缘。在实际操作过程中，可根据需实现的效果不同，选取其他图像边缘检测的方法。

从图4中可以看出，Kinect所获取的彩色图像经处理后，可以去除其它非绿色物体的干扰，并将形状不规则的绿色植株(a)、(b)的枝叶部分从复杂的色彩环境中提取出来。

(2)深度图像处理：

将步骤2中所获取的深度图像，限制需要检测的深度距离范围，显示限定范围内的物体，去除范围之外的干扰物。其中，深度范围根据实际实施例选取，本发明实施选取的深度范围优选为[700，1200]，在深度范围内的数据保留，深度范围外的数据置为0。

对限制深度范围后获取的深度图像，选用最大类间方差法(OTSU)对限定深度范围后的图像进行阀值处理，进一步去除背景干扰物，显示范围物体为白色，背景色为黑色，此处选用的最大类间方差法(OTSU)是由日本学者大津(NobuyukiOtsu)于1979年提出的一种自适应的阀值确定的方法，在实际操作过程中，可根据需求使用其他算法对阀值范围进行限定。

从图5中可以看出，Kinect所获取的深度图像经处理后，所限制的深度范围[700，1200]内的植株(a)及其他物体均被保留，范围之外的干扰植株(b)和物体已被去除。

步骤4：对步骤3处理后得到的彩色图像和深度图像进行相乘匹配，保留深度距离范围内的绿色植株目标，去除背景及其他杂物。彩色图像和深度图像进行相乘匹配方法，其数学模型如下：

$p_n=\left\{\begin{array}{cc}1,& c_n*d_n\≠0\\ 0,& c_n*d_n=0\end{array}\right.$

其中p_n为彩色图像和深度图像进行相乘匹配所得图像像素值的有无，有置1，无则置0；c_n为彩色图像的像素值，d_n为深度图像的像素值。当同一像素点的彩色图像和深度图像像素值均不为0时，表示该像素为目标植株点，保留该像素点；反之，若彩色图像和深度图像存在0像素值时，说明该像素点为误差点，去除该像素点。

从图6中可以看出，实例的预期效果已经达到，通过处理后的彩色图像和深度图像的匹配，去除了彩色图像中绿色干扰植株(b)的枝叶部分，同时去除了深度图像中其他干扰物，仅保留了所需识别的形状不规则绿色植株(a)的枝叶部分。

本发明基于Kinect传感器采集的彩色图像和深度图像，通过颜色数据对彩色图像进行限制，深度距离对深度图像进行限制，同时从颜色和距离两方面对所获取的数据进行处理，更加精确的实现对植株目标有无、大小、形状等特征的检测。本发明可以广泛应用于农业喷雾领域的植株目标检测、植株生长状况等方面。

以上内容是结合具体的软件实施方法对本发明所作的进一步详细说明，不能认定本发明的具体实施只限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，采用其他软件或算法，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (5)

1.一种基于Kinect传感器的颜色深度匹配植株识别方法，其特征在于，包括步骤：

步骤1，调用Kinect传感器彩色摄像头和红外摄像头；

步骤2，获取彩色图像和深度图像及其数据；

步骤3，对所获取的彩色图像和深度图像进行处理：将步骤2中所获取的RGB彩色图像颜色模型转换为HSV颜色模型，对色调H进行阀值限制，从而获取图像中绿色植株部分，显示为白色点阵，其余背景及杂物显示为黑色点阵，对HSV阀值处理后的图像进行Canny算子图像边缘检测处理，标识出图像中的植株的实际边缘；将步骤2中所获取的深度图像，限制需要检测的深度距离范围，显示限定范围内的物体，去除范围之外的干扰物，对限制深度范围后获取的深度图像，选用最大类间方差法对限定深度范围后的图像进行阀值处理，进一步去除背景干扰物，显示范围物体为白色，背景色为黑色；

步骤4，对步骤3处理后得到的彩色图像和深度图像进行相乘匹配，保留深度距离范围内的绿色植株目标，去除背景及其他杂物；所述彩色图像和深度图像进行相乘匹配方法的图像匹配原则为：当同一像素点的彩色图像和深度图像像素值均不为0时，表示该像素为目标植株点，保留该像素点；反之，若彩色图像和深度图像存在0像素值时，说明该像素点为误差点，去除该像素点。

2.根据权利要求1所述的一种基于Kinect传感器的颜色深度匹配植株识别方法，其特征在于：所述步骤1，调用Kinect传感器彩色摄像头和红外摄像头，彩色摄像头所获取的彩色图像像素为640x480，红外摄像头所获取的深度图像像素为640x480。

3.根据权利要求1所述的一种基于Kinect传感器的颜色深度匹配植株识别方法，其特征在于：所述步骤2，通过帧触发循环函数设定循环次数i，获取指定帧i+1的彩色图像和深度图像及其数据流。

4.根据权利要求1所述的一种基于Kinect传感器的颜色深度匹配植株识别方法，其特征在于：所述步骤3，对色调H的阀值限制范围取[90，145]，限制需要检测的深度距离范围为[700，1200]。

5.根据权利要求1所述的一种基于Kinect传感器的颜色深度匹配植株识别方法，其特征在于：所述步骤4中，彩色图像和深度图像进行相乘匹配方法的其数学模型如下：

$p_n=\left\{\begin{array}{cc}1,& c_n*d_n\≠0\\ 0,& c_n*d_n=0\end{array}\right.$

其中p_n为彩色图像和深度图像进行相乘匹配所得图像像素值的有无，有置1，无则置0；c_n为彩色图像的像素值，d_n为深度图像的像素值。