CN104091175A - 一种基于Kinect深度信息获取技术的害虫图像自动识别方法 - Google Patents

Abstract

本发明涉及一种基于Kinect深度信息获取技术的害虫图像自动识别方法，与现有技术相比解决了害虫图像识别方法识别率低、鲁棒性差的缺陷。本发明包括以下步骤：像素位置转换；图像分割；方向校正；特征提取；特征训练及害虫识别。本发明能够自动识别害虫种类，提高了害虫的识别率与鲁棒性。

Description

一种基于Kinect深度信息获取技术的害虫图像自动识别方法

技术领域

本发明涉及图像识别技术领域，具体来说是一种基于Kinect深度信息获取技术的害虫图像自动识别方法。

背景技术

害虫是农作物生长中的大敌，在农作物整个生长期内都有发生，可造成农作物大量减产。现行的害虫分类、识别工作主要是依靠少数植保专家和农技人员来完成的，但害虫种类繁多，而每一位植保专家穷其所能也只能识别部分害虫。越来越多的迹象表明，对害虫识别需求的增多与害虫识别专家相对较少的矛盾已日益加剧，自动害虫图像的识别方法及系统的工作具有非常重要的意义。然而现有的自动害虫图像识别方法及系统识别率不高，鲁棒性较差。

通过Kinect深度信息获取技术可以很好的得到害虫图像的深度信息，利用深度信息可以更好地将害虫图像从背景图片中分割出来。如何开发出一种利用Kinect深度信息获取技术而进行害虫识别的方法已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中害虫图像识别方法识别率低、鲁棒性差的缺陷，提供一种基于Kinect深度信息获取技术的害虫图像自动识别方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于Kinect深度信息获取技术的害虫图像自动识别方法，包括以下步骤：

像素位置转换，将以像素为单位的数据转换成以实际距离为单位的数据；

图像分割，对基于实际距离为单位的图像进行分割；

方向校正，对提取的害虫点云进行方向校正，以保证害虫图像的平面与X-Y平面平行；

特征提取，对点云使用归一化的点云数量作为特征值，进行统计分析和特征提取；

特征训练及害虫识别，使用SVM分类器进行训练且通过SVM分类器分类得到害虫种类。

所述的像素位置转换包括以下步骤：

设Kinect拍摄的深度图X-Y平面尺寸为w×h，平面的中心位置为摄像头位置；

计算出Kinect返回的深度值相对应的实际距离深度，计算公式如下：

d＝Ktan(d_raw/2842.5+1.1863)-O

其中，d_raw为某点的深度值，K＝0.1236m,O＝0.037m；

根据实际距离深度值求出像素位置(i,j,d)的点所对应的实际位置(x,y,z)，其转换公式如下：

$\left\{\begin{array}{c}x=(i-\frac{w}{2})\×(d-10)\×s\×\frac{w}{h}\\ y=(j-\frac{h}{2})\×(d-10)\×s\\ z=d\end{array}\right.$

其中，s＝0.0021。

所述的图像分割包括以下步骤：

过滤点云，针对深度图数据转化后的点云个数进行基于距离的深度过滤，去除的深度距离大于拍摄时虫子与摄像头之间的距离；

对深度过滤后的点进行遍历，比较深度过滤后的点与原点之间的距离，得到与原点距离最近点的集合,

若最近点集合的内容大于1，则表示有多个最近点，

计算最近点集合中两点之间的距离差，若存在点A-点B>T，T为阈值，表示点A不属于点B周围，则判定提取时发生错误；

使用最近邻法则进行害虫图像提取，确定最近点所对应附近的点集属于同一个分类，以最近点为球心做半径8cm的球，将此球形范围内所有点作为害虫雏形；

针对球形范围，再次进行点云判断聚类，去除背景信息得到分割后的害虫图像。

所述的方向校正包括以下步骤：

使用最小二乘法进行平面拟合，得到平面的法向量为(a,b,c)；

对害虫图像点云进行坐标旋转变换，使其拟合平面旋转至X-Y平面平行，

设拟合平面旋转至与X-Y平面平行时需要绕Y轴逆时针的夹角为绕X轴逆时针旋转的夹角则：

设害虫图像点云中一点为： $\left[\begin{array}{c}{\mathrm{px}}_i\\ {\mathrm{py}}_i\\ {\mathrm{pz}}_i\end{array}\right],$ 则转换后的点 $\left[\begin{array}{c}{{\mathrm{px}}_i}^{\′\′}\\ {{\mathrm{py}}_i}^{\′\′}\\ {{\mathrm{pz}}_i}^{\′\′}\end{array}\right]$ 为：

所述的特征提取包括以下步骤：

设置总区间数、单独区间量；

获取每个区间内点云的数量，作为其害虫的深度区间的分布特征；

进行特征归一化，将每个区间点云的数量除以总的点云数；

组合特征矩阵，进行点云分布特征提取，将总区间数作为每幅图像的训练集特征量。

所述的特征训练及害虫识别包括以下步骤：

使用支持向量机SVM进行特征训练，

将提取到的特征矩阵看做五维空间的一点,作为害虫识别时该空间中的最优分类面；

通过核函数K(u,v)将非线性变换转为线性变换，使用的核函数为RBF径向基核函数：

K(u,v)＝exp(-γ||u-v||²)；

使用支持向量机SVM进行特征识别，判断出害虫种类。

有益效果

本发明的一种基于Kinect深度信息获取技术的害虫图像自动识别方法，与现有技术相比能够自动识别害虫种类，提高了害虫的识别率与鲁棒性。通过利用图像预处理，不变矩特征融合等一系列步骤，自动识别害虫种类，并可根据相关的害虫种类给出相应的预防措施，提升了害虫识别在农业生产中的实际应用价值。

附图说明

图1为本发明的方法流程图

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

如图1所示，本发明所述的一种基于Kinect深度信息获取技术的害虫图像自动识别方法，包括以下步骤：

第一步，像素位置转换，将以像素为单位的数据转换成以实际距离为单位的数据。Kinect获得的深度数据是以像素为单位记录的，在进行害虫识别时需要根据实际距离的大小进行距离判定，所以首先要把以像素为单位的数据转换成以实际距离为单位的数据。其具体步骤如下：

(1)设Kinect拍摄的深度图X-Y平面尺寸为w×h，本发明为640×480，平面的中心位置为摄像头位置。

(2)由于Kinect返回的深度值不是实际距离，而是一个相对数据，因此需要计算出相对应的实际距离深度d。

d＝Ktan(d_raw/2842.5+1.1863)-O

其中，d_raw为某点的深度值，K＝0.1236m,O＝0.037m。

(3)根据实际距离深度值，可求得像素位置为(i,j,d)的点的实际位置(x,y,z)，其转换公式为：

$\left\{\begin{array}{c}x=(i-\frac{w}{2})\×(d-10)\×s\×\frac{w}{h}\\ y=(j-\frac{h}{2})\×(d-10)\×s\\ z=d\end{array}\right.$

其中，s＝0.0021。

第二步，图像分割，对基于实际距离为单位的图像进行分割。为更有效的提取害虫的特征，需要进一步将害虫图像从背景图像中分割出来，因为Kinect可以获取到图像的深度信息，所以本发明的分割方法是基于距离的图像分割，该方法较平面图像的分割方法相比，对图像背景要求不高，分割准确。其具体步骤如下：

(1)过滤点云，针对深度图数据转化后的点云个数进行基于距离的深度过滤，去除的深度距离大于拍摄时虫子与摄像头之间的距离。640×480像素的深度图数据转化为点云个数为307200个，全部处理比较耗时，需要进行一个基于距离的深度过滤。在拍摄时虫子离摄像头距离不超过20cm的距离，所以要去除深度距离大于20cm的数据；同理，若拍摄时虫子离摄像头距离不超过40cm的距离，去除深度距离需要大于40cm的数据。

(2)对深度过滤后的点进行遍历，比较深度过滤后的点与原点之间的距离，得到与原点距离最近点的集合。因为Kinect获取到的图像为立体结构，立体结构中则存在原点位置旁边若干个点，与原点距离最近的点在一起组成最近点集合。若最近点集合的内容大于1，则表示在原点附近有多个最近点，即最近点附近的若干个点距离相同。对最近点集合内的点进行计算，计算最近点集合中两点之间的距离差，若存在点A-点B>T，T为阈值，(通常两个像素点距离超过5个像素就算A点不在B点周围，所以本发明将T值设为5)点A不属于点B周围，点A不在点B的附近，点A离原点较远。在实际中点A所反映的可能并不是害虫本身，而是害虫附近的绿叶、树枝等，因此判定提取时发生错误，重新进行Kinect图像的提取。

(3)使用最近邻法则进行害虫图像提取。根据最近邻法则，确定最近点所对应附近的点集属于同一个分类。以最近点(与原点最小的点)为球心做半径8cm的球，将此球形范围内所有点作为害虫雏形。

(4)针对球形范围，分析球形范围。再次进行点云判断聚类，本发明使用的是K均值聚类方法进行的聚类，聚类后去除背景信息得到分割后的害虫图像。

在此步结束后，可以成功地分割了害虫图像本身。但由于Kinect图像是基于深度获取的，所获得的是三维图像，在此就需要将其转换为二维平面，以进行后期的SVM训练和判断。

第三步，方向校正，对提取的害虫点云进行方向校正，以保证害虫图像的平面与X-Y平面平行。基于深度信息的害虫识别要求获得的害虫在空间方向上尽可能统一，要求与X-Y平面平行，故需要在提取特征前对提取的害虫点云进行方向上的校正。其具体步骤如下：

(1)使用最小二乘法进行平面拟合，得到平面的法向量为(a,b,c)。

(2)对害虫图像点云进行坐标旋转变换，使其拟合平面旋转至X-Y平面平行，

设拟合平面旋转至与X-Y平面平行时需要绕Y轴逆时针的夹角为绕X轴逆时针旋转的夹角则：

设害虫图像点云中一点为： $\left[\begin{array}{c}{\mathrm{px}}_i\\ {\mathrm{py}}_i\\ {\mathrm{pz}}_i\end{array}\right],$ 则转换后的点 $\left[\begin{array}{c}{{\mathrm{px}}_i}^{\′\′}\\ {{\mathrm{py}}_i}^{\′\′}\\ {{\mathrm{pz}}_i}^{\′\′}\end{array}\right]$ 为：

第四步，特征提取，对点云使用归一化的点云数量作为特征值，进行统计分析和特征提取。基于Kinect害虫识别所用特征主要为深度区间的分布特征，要获取深度区间的分布特征，首先考虑区间划分。进行区间划分时需要合理设定区间的长度及总区间数。

其具体步骤如下：

(1)设置总区间数、单独区间量。因为害虫的最大深度区间最大约在5cm左右，所以本发明设总的区间长度为5cm，按照每1cm划分一个区间，总的区间数为5。

(2)获取每个区间内点云的数量，作为其害虫的深度区间的分布特征。

(3)为了将特征数据转换标准形式，消除各个特征之间的相互影响，要对特征进行归一化，将每个区间点云的数量除以总的点云数。

(4)组合特征矩阵，进行点云分布特征提取，将总区间数作为每幅图像的训练集特征量。在本发明每幅图像有5个区间，则训练集的特征为5。

第五步，特征训练及害虫识别，使用SVM分类器进行训练且通过SVM分类器分类得到害虫种类。SVM分类器为现有技术内容，使用支持向量机(SVM)进行特征训练和识别。支持向量机在解决小样本、非线性及其高维模块识别中有许多特有的优势。其具体步骤如下：

(1)使用支持向量机SVM进行特征训练，

将提取到的特征矩阵看做五维空间的一点,作为害虫识别时该空间中的最优分类面；

通过核函数K(u,v)将非线性变换转为线性变换，使用的核函数为RBF径向基核函数：

K(u,v)＝exp(-γ||u-v||²)。

通过实验发现，采用径向基核函数进行特征训练，可以更准确的判断出害虫的类别。

(2)使用支持向量机SVM进行特征识别，判断出害虫种类。通过SVM特征学习后，对获取到的昆虫类别进行判断，得到害虫种类，还可以根据害虫种类去数据库中查询预防方法。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (6)

1.一种基于Kinect深度信息获取技术的害虫图像自动识别方法，其特征在于，包括以下步骤：

11)像素位置转换，将以像素为单位的数据转换成以实际距离为单位的数据；

12)图像分割，对基于实际距离为单位的图像进行分割；

13)方向校正，对提取的害虫点云进行方向校正，以保证害虫图像的平面与X-Y平面平行；

14)特征提取，对点云使用归一化的点云数量作为特征值，进行统计分析和特征提取；

15)特征训练及害虫识别，使用SVM分类器进行训练且通过SVM分类器分类得到害虫种类。

2.根据权利要求1所述的一种基于Kinect深度信息获取技术的害虫图像自动识别方法，其特征在于，所述的像素位置转换包括以下步骤：

21)设Kinect拍摄的深度图X-Y平面尺寸为w×h，平面的中心位置为摄像头位置；

22)计算出Kinect返回的深度值相对应的实际距离深度，计算公式如下：

d＝Ktan(d_raw/2842.5+1.1863)-O

其中，d_raw为某点的深度值，K＝0.1236m,O＝0.037m；

23)根据实际距离深度值求出像素位置(i,j,d)的点所对应的实际位置(x,y,z)，其转换公式如下：

$\left\{\begin{array}{c}x=(i-\frac{w}{2})\×(d-10)\×s\×\frac{w}{h}\\ y=(j-\frac{h}{2})\×(d-10)\×s\\ z=d\end{array}\right.$

其中，s＝0.0021。

3.根据权利要求1所述的一种基于Kinect深度信息获取技术的害虫图像自动识别方法，其特征在于，所述的图像分割包括以下步骤：

31)过滤点云，针对深度图数据转化后的点云个数进行基于距离的深度过滤，去除的深度距离大于拍摄时虫子与摄像头之间的距离；

32)对深度过滤后的点进行遍历，比较深度过滤后的点与原点之间的距离，得到与原点距离最近点的集合,

若最近点集合的内容大于1，则表示有多个最近点，

计算最近点集合中两点之间的距离差，若存在点A-点B>T，T为阈值，表示点A不属于点B周围，则判定提取时发生错误；

33)使用最近邻法则进行害虫图像提取，确定最近点所对应附近的点集属于同一个分类，以最近点为球心做半径8cm的球，将此球形范围内所有点作为害虫雏形；

34)针对球形范围，再次进行点云判断聚类，去除背景信息得到分割后的害虫图像。

4.根据权利要求1所述的一种基于Kinect深度信息获取技术的害虫图像自动识别方法，其特征在于，所述的方向校正包括以下步骤：

41)使用最小二乘法进行平面拟合，得到平面的法向量为(a,b,c)；

42)对害虫图像点云进行坐标旋转变换，使其拟合平面旋转至X-Y平面平行，

设拟合平面旋转至与X-Y平面平行时需要绕Y轴逆时针的夹角为绕X轴逆时针旋转的夹角则：

设害虫图像点云中一点为： $\left[\begin{array}{c}{\mathrm{px}}_i\\ {\mathrm{py}}_i\\ {\mathrm{pz}}_i\end{array}\right],$ 则转换后的点 $\left[\begin{array}{c}{{\mathrm{px}}_i}^{\′\′}\\ {{\mathrm{py}}_i}^{\′\′}\\ {{\mathrm{pz}}_i}^{\′\′}\end{array}\right]$ 为：

5.根据权利要求1所述的一种基于Kinect深度信息获取技术的害虫图像自动识别方法，其特征在于，所述的特征提取包括以下步骤：

51)设置总区间数、单独区间量；

52)获取每个区间内点云的数量，作为其害虫的深度区间的分布特征；

53)进行特征归一化，将每个区间点云的数量除以总的点云数；

54)组合特征矩阵，进行点云分布特征提取，将总区间数作为每幅图像的训练集特征量。

6.根据权利要求1所述的一种基于Kinect深度信息获取技术的害虫图像自动识别方法，其特征在于，所述的特征训练及害虫识别包括以下步骤：

61)使用支持向量机SVM进行特征训练，

将提取到的特征矩阵看做五维空间的一点,作为害虫识别时该空间中的最优分类面；

通过核函数K(u,v)将非线性变换转为线性变换，使用的核函数为RBF径向基核函数：

K(u,v)＝exp(-γ||u-v||²)；

62)使用支持向量机SVM进行特征识别，判断出害虫种类。