CN105787519A - 一种基于叶脉检测的树种分类方法 - Google Patents

Abstract

本发明公开了一种基于叶脉检测的树种分类方法。针对待分类的树种，该方法首先采集树叶图像，经预处理后提取树叶的叶脉图像，用卷积神经网络对叶脉图像进行训练得到一个区分树种的分类器，然后借助这个分类器，就能实现对未知树种的分类。本发明方法与常用的提取树叶轮廓特征进行树种分类的方法相比，有更高的准确性。同时，本方法能克服树叶大小、颜色变化等造成的干扰，有很强的可靠性。

Description

一种基于叶脉检测的树种分类方法

技术领域

本发明涉及计算机视觉技术及树种分类领域，尤其涉及一种基于叶脉检测的树种分类方法。

背景技术

树木是生态系统的重要组成部分，树种的识别与分类具有重要的作用。举例来说，不同树种在生态和经济效益上各有不同，准确地识别出不同树种是森林管理的基础。从植物生态学的角度来看，树叶、花、果实、根等都能作为树种分类的依据。然而，根深埋地下不易获得；花、果实是三维物体，难以借助图像处理技术进行分析。并且，不是所有的树种都有花和果实。因此，树叶是进行树种分类最有效和可靠的特征。

目前，在基于计算机视觉技术的植物分类领域，研究人员普遍采用树叶作为树种分类依据。例如，采用树叶轮廓作为分类特征，计算树叶轮廓的曲率、纵横轴比、矩形度、偏心率等形状特征来进行判断分类。但是这种方法对树叶轮廓进行了参数化处理，不能反映轮廓的原貌，结果存在一定偏差。另一种常用的方法是将树叶的颜色、纹理等特征作为输入，训练分类器进行分类。但树叶颜色、纹理等受光照、季节影响较大，因此也不适合作为分类特征。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于叶脉检测的树种分类方法。

本发明是通过以下技术方案来实现的：一种基于叶脉检测的树种分类方法，其特征在于，该方法包括以下步骤：

(1)采集待分类树种的树叶彩色图像；

(2)对步骤1得到的树叶彩色图像进行预处理，即通过OTSU算法得到分割前景和背景的最佳阈值，从而将背景像素点置为白色，并将树叶图像缩放到统一的尺寸；

(3)将步骤2所得的树叶图像从RGB色彩空间转换至HSI色彩空间，分离出H分量的图像并对其进行增强；

(4)将步骤3所得的H分量增强后的图像进行Canny边缘检测，得到属于叶脉的像素点；

(5)对步骤4所得的叶脉像素点进行Hough直线检测，将分离的点连接成线段，得到叶脉图像；

(6)将步骤5所得的不同树种的叶脉图像用基于LeNet的卷积神经网络进行训练，得到一个区分树种的分类器；

(7)用步骤6得到的分类器即可对未知树种进行分类。

进一步的，所述步骤2中，OTSU算法的实现方式如下：

记t为前景与背景的分割阈值，前景点数占图像比例为w0，平均灰度为u0；背景点数占图像比例为w1，平均灰度为u1，则图像的总平均灰度为：u＝w₀*u₀+w₁*u₁，前景和背景图象的方差为：g＝w₀*w₁*(u₀-u₁)*(u₀-u₁)；

当方差最大时，则认为前景和背景的差异最大，此时的阈值t就是分割前景和背景的最佳阈值；灰度值大于阈值t的像素点即为背景，从而可以将背景像素点的灰度值置为(255,255,255)，即白色，实现背景分割。

进一步的，所述步骤3中，从RGB色彩空间转换到HSI色彩空间的换算公式如下：

$H=\left\{\begin{array}{cc}0,& if\max =\min \\ 60*\frac{g-b}{\max -\min }+0,& if\max =randg\&GreaterEqual;b\\ 60*\frac{g-b}{\max -\min }+360,& if\max =randg<b\\ 60*\frac{b-r}{\max -\min }+120,& if\max =g\\ 60*\frac{r-g}{\max -\min }+240,& if\max =b\end{array}\right.;$

$\begin{array}{c}S=\left\{\begin{array}{cc}0,& ifI=0or\max =\min \\ \frac{\max -\min }{\max +\min },& if0<I\&le;\frac{1}{2}\\ \frac{\max -\min }{2-\max -\min },& ifI>\frac{1}{2}\end{array}\right.;\\ I=\frac{1}{2}(\max +\min );\end{array}$

其中，H为色度值，S为饱和度值，I为亮度值；式中的r、g、b分别为RGB色彩空间中用于描述颜色的红、绿、蓝分量；max和min分别表示最大值和最小值；经过以上变换，就能将树叶从RGB色彩空间转换到HSI色彩空间。

进一步的，所述步骤3中，对HSI色彩空间中的H分量进行增强的公式如下：

$H=255*{\left(\frac{H-H_{min}}{H_{max}-H_{min}}\right)}^p;$

其中，H_min和H_max分别表示H分量的最大值和最小值，p为参数，调整p的大小，可以将H分量进行不同程度的增强。

进一步的，所述步骤4中，Canny边缘检测的步骤如下：

①用高斯滤波器平滑图像，高斯平滑函数h(x,y)如下：

$h(x,y)=\frac{1}{2{\mathrm{\&pi;\&delta;}}^2}{e}^{-\frac{x^2+y^2}{2{\mathrm{\&delta;}}^2}};$

其中，(x,y)表示像素点的坐标，δ为参数，用于调节高斯滤波器的平滑程度；

令g(x,y)为平滑后的图像，用h(x,y)对图像f(x,y)的平滑表示为：

g(x,y)＝h(x,y)*f(x,y)；

其中，符号*表示卷积；

②用Sobel算子计算图像的梯度，Gx，Gy分别表示x，y方向的梯度分量，则梯度和梯度方向θ的计算方式如下：

$\&dtri;f(x,y)=\sqrt{Gx{(x,y)}^2+Gy{(x,y)}^2};$

θ(x,y)＝arctan(Gx(x,y)/Gy(x,y))；

③对梯度幅值进行非极大值抑制：沿着梯度线方向，将图像分割成多个n*n邻域，每个邻域的中心像素点与其相邻像素点的梯度值进行比较，若中心像素点的梯度值小于等于相邻像素点的梯度值，则将它的梯度值置为0；

④用双阈值法检测和连接边缘：设置两个阈值th1和th2，把梯度值小于th1的像素的H值设为0，得到图像1；把梯度值小于th2的像素的H值设为0，得到图像2；由于图像2的阈值较高，去除大部分噪声的同时也损失了有用的信息；而图像1的阈值较低，保留了较多的有用信息；因此，以图像2为基础，以图像1为补充来连结图像的边缘；至此可得到叶脉的像素点。

进一步的，所述步骤5中Hough直线检测的原理具体如下：

在直角坐标系下的一个点可以表示为极坐标系中的一条正弦曲线，直角坐标系中共线的点对应于极坐标系下相交的线；Hough变换是将直角坐标系下的问题转换到极坐标系进行处理，若极坐标下的正弦曲线有共同的交点(ρ，θ)，则相应直角坐标系下的点共线，且对应的直线方程为：ρ＝xcosθ+ysinθ，(x，y)为直角坐标系下的坐标；由此，将步骤4得到的叶脉像素点通过Hough变换进行直线检测，可将分离的点连接成线段，从而得到清晰的叶脉图像。

进一步的，所述步骤6中，除输入、输出层外，基于LeNet的卷积神经网络由五个部分组成，依次是卷积层C1、下采样层S1、卷积层C2、下采样层S2和一个全连接的多层感知机MLP；每层网络都由多个特征图组成，每个特征图对应一个特征，特征图中每个神经元仅与上一层的一个局部感受野的神经元相连，同一层的神经元权值共享；输出层神经元的个数与待分类树种的种类数相同；

卷积层的计算方法为：

$X_j^l=f({\mathrm{\&Sigma;}}_{i\&Element;M_j}{X}_i^{l-1}*k_{ij}^l+b_j^l);$

其中，l表示层数，M_j表示第j个特征图，k表示卷积核，b为偏置；

下采样层的计算方法为：

$X_j^l=f\left({\mathrm{\&beta;}}_j^{l}down\right(X_j^{l-1})+b_j^l);$

其中，down表示下采样函数，β表示权值，b为偏置；

卷积神经网络首先随机初始化模型参数，训练时不断调整参数使得输出值与期望值的误差不断减小，当误差值在可接受范围内时，完成训练得到分类器。

本发明的有益效果是：本发明通过提取树叶叶脉，并将其作为分类器的输入，用卷积神经网络模型来训练分类器用于树种分类。该方法准确率高，可以同时对大量树种进行分类，计算速度快，并且具有通用性，不受树种的种类限制。

附图说明

图1为本发明的方法流程图；

图2为基于LeNet的卷积神经网络的模型；

图3为基于LeNet的卷积神经网络的实例。

具体实施方式

下面结合实施例和附图对本发明作进一步的说明。

如图1所示，本发明基于叶脉检测的树种分类方法包括如下步骤：

步骤1：采集待分类树种的树叶彩色图像。

步骤2：对步骤1得到的树叶彩色图像进行预处理，通过OTSU算法将背景像素点置为白色，并将树叶图像缩放到统一的尺寸，以50*50为例。

OTSU算法的实现方式如下：

记t为前景与背景的分割阈值，前景点数占图像比例为w0，平均灰度为u0；背景点数占图像比例为w1，平均灰度为u1。

则图像的总平均灰度为：u＝w₀*u₀+w₁*u₁，前景和背景图象的方差：g＝w₀*w₁*(u₀-u₁)*(u₀-u₁)。

当方差最大时，可以认为前景和背景的差异最大，此时的阈值t就是分割前景和背景的最佳阈值。将灰度值大于t的像素点的像素值置为(255,255,255)，即白色，从而得到清晰的树叶图像。然后，再将前景分割后的图像尺寸缩放至50*50。

步骤3：将步骤2所得的树叶图像从RGB色彩空间转换至HSI色彩空间，分离H分量图像并对其进行增强。

从RGB色彩空间转换到HSI色彩空间的换算公式如下：

$H=\left\{\begin{array}{cc}0,& if\max =\min \\ 60*\frac{g-b}{\max -\min }+0,& if\max =randg\&GreaterEqual;b\\ 60*\frac{g-b}{\max -\min }+360,& if\max =randg<b\\ 60*\frac{b-r}{\max -\min }+120,& if\max =g\\ 60*\frac{r-g}{\max -\min }+240,& if\max =b\end{array}\right.;$

$\begin{array}{c}S=\left\{\begin{array}{cc}0,& ifI=0or\max =\min \\ \frac{\max -\min }{\max +\min },& if0<I\&le;\frac{1}{2}\\ \frac{\max -\min }{2-\max -\min },& ifI>\frac{1}{2}\end{array}\right.;\\ I=\frac{1}{2}(\max +\min );\end{array}$

对H分量进行增强的公式如下：

$H=255*{\left(\frac{H-H_{min}}{H_{max}-H_{min}}\right)}^p.$

一般地，p取3时，能得到较好的对比度增强的H分量的图像。由于HSI色彩空间将色调和亮度分离，避免了光照的影响，能较好地保留图像信息，方便后续处理。

步骤4：将步骤3所得的H分量增强后的图像进行Canny边缘检测，以得到属于叶脉的像素点。

Canny边缘检测的步骤如下：

①用高斯滤波器平滑图像，高斯平滑函数如下：

$h(x,y)=\frac{1}{2{\mathrm{\&pi;\&delta;}}^2}{e}^{-\frac{x^2+y^2}{2{\mathrm{\&delta;}}^2}};$

其中，(x,y)表示像素点的坐标，δ为参数，用于调节高斯滤波器的平滑程度。

令g(x,y)为平滑后的图像，用h(x,y)对图像f(x,y)的平滑可表示为：

g(x,y)＝h(x,y)*f(x,y)；

其中，符号*表示卷积。

②用Sobel算子计算图像的梯度，采用3*3模板为例，用Gx，Gy分别表示x，y方向的梯度分量，则梯度和梯度方向θ的计算方式如下：

$\&dtri;f(x,y)=\sqrt{Gx{(x,y)}^2+Gy{(x,y)}^2};$

θ(x,y)＝arctan(Gx(x,y)/Gy(x,y))。

③对梯度幅值进行非极大值抑制：沿着梯度线方向，将图像分割成多个3*3邻域，每个邻域的中心像素点与其相邻像素点的梯度值进行比较，若中心像素点的梯度值小于等于相邻像素点的梯度值，则将它的梯度值置为0；

④用双阈值法检测和连接边缘：设置两个阈值th1和th2，把梯度值小于th1的像素的H值设为0，得到图像1；把梯度值小于th2的像素的H值设为0，得到图像2。由于图像2的阈值较高，去除大部分噪声的同时也损失了有用的信息；而图像1的阈值较低，保留了较多的有用信息；因此，我们以图像2为基础，以图像1为补充来连结图像的边缘。至此可以得到叶脉的像素点，但此时部分像素点之间是彼此独立的，下一步需要将点连接成线段，才能得到清晰的叶脉图像。

步骤5：将步骤4得到的叶脉像素点通过Hough变换进行直线检测，将分离的叶脉像素点连接成线段，得到清晰的叶脉图像。Hough变换是将直角坐标系下的问题转换到极坐标系进行处理。在直角坐标系下的一个点可以表示为极坐标系中的一条正弦曲线，直角坐标系中共线的点对应于极坐标系下相交的线。若极坐标下的正弦曲线有共同的交点(ρ，θ)，则相应直角坐标系下的点共线，且对应的直线方程为：ρ＝xcosθ+ysinθ。由此，可用Hough直线检测将步骤4得到的离散的叶脉像素点连接成线段，获得清晰的叶脉图像。

步骤6：将步骤5所得的不同树种的叶脉图像用基于LeNet的卷积神经网络进行训练，得到一个区分树种的分类器。每个树种的叶脉图像为一类，为每一类添加不同标签。除输入、输出层外，基于LeNet的卷积神经网络由五个部分组成，依次是卷积层C1、下采样层S1、卷积层C2、下采样层S2和一个全连接的多层感知机MLP。每层网络都由多个特征图组成，每个特征图对应一个特征，特征图中每个神经元仅与上一层的一个局部感受野的神经元相连，同一层的神经元权值共享。输出层神经元的个数与待分类树种的种类数相同。

卷积层的计算方法为：

$X_j^l=f({\mathrm{\&Sigma;}}_{i\&Element;M_j}{X}_i^{l-1}*k_{ij}^l+b_j^l);$

其中，l表示层数，M_j表示第j个特征图，k表示卷积核，b为偏置；

下采样层的计算方法为：

$X_j^l=f\left({\mathrm{\&beta;}}_j^{l}down\right(X_j^{l-1})+b_j^l);$

其中，down表示下采样函数，β表示权值，b为偏置。

卷积神经网络首先随机初始化模型参数，训练时不断调整参数使得输出值与期望值的误差不断减小，当误差值在可接受范围内时，完成训练得到分类器。

以卷积层采用3*3卷积核，下采样层采用2*2邻域为例，该卷积神经网络的具体参数如图3。图中，C1、C2表示卷积层，采用3*3卷积核，S1、S2表示下采样层，对2*2邻域进行下采样。MLP表示一个全连接的多层感知机。右边一列表示每一步处理后的图像尺寸。经过卷积神经网络的训练，可以得到一个区分不同树种的分类器。

步骤7)用步骤6得到的分类器即可对未知树种进行分类。具体来说，输入某个树种的叶脉图像，分类器就能输出该图像属于哪个树种。

本发明通过提取叶脉图像，并借助叶脉图像训练卷积神经网络分类器来实现树种的分类。与传统的用树叶轮廓进行树种分类的方法相比，可靠性更高。同时，基于卷积神经网络的方法可以同时对大量树种进行分类，且准确性高。

Claims (7)

1.一种基于叶脉检测的树种分类方法，其特征在于，该方法包括以下步骤：

(1)采集待分类树种的树叶彩色图像；

(2)对步骤1得到的树叶彩色图像进行预处理，即通过OTSU算法得到分割前景和背景的最佳阈值，从而将背景像素点置为白色，并将树叶图像缩放到统一的尺寸；

(3)将步骤2所得的树叶图像从RGB色彩空间转换至HSI色彩空间，分离出H分量的图像并对其进行增强；

(4)将步骤3所得的H分量增强后的图像进行Canny边缘检测，得到属于叶脉的像素点；

(5)对步骤4所得的叶脉像素点进行Hough直线检测，将分离的点连接成线段，得到叶脉图像；

(6)将步骤5所得的不同树种的叶脉图像用基于LeNet的卷积神经网络进行训练，得到一个区分树种的分类器；

(7)用步骤6得到的分类器即可对未知树种进行分类。

2.根据权利要求1所述的基于叶脉检测的树种分类方法，其特征在于，所述步骤2中，OTSU算法的实现方式如下：

记t为前景与背景的分割阈值，前景点数占图像比例为w0，平均灰度为u0；背景点数占图像比例为w1，平均灰度为u1，则图像的总平均灰度为：u＝w₀*u₀+w₁*u₁，前景和背景图象的方差为：g＝w₀*w₁*(u₀-u₁)*(u₀-u₁)；

当方差最大时，则认为前景和背景的差异最大，此时的阈值t就是分割前景和背景的最佳阈值；灰度值大于阈值t的像素点即为背景，从而可以将背景像素点的灰度值置为(255,255,255)，即白色，实现背景分割。

3.根据权利要求1所述的基于叶脉检测的树种分类方法，其特征在于，所述步骤3中，从RGB色彩空间转换到HSI色彩空间的换算公式如下：

$H=\left\{\begin{array}{cc}0,& if\max =\min \\ 60*\frac{g-b}{\max -\min }+0,& if\max =randg\&GreaterEqual;b\\ 60*\frac{g-b}{\max -\min }+360,& if\max =randg<b\\ 60*\frac{b-r}{\max -\min }+120,& if\max =g\\ 60*\frac{r-g}{\max -\min }+240,& if\max =b\end{array}\right.;$

$\begin{array}{c}S=\left\{\begin{array}{cc}0,& ifI=0or\max =\min \\ \frac{\max -\min }{\max +\min },& if0<I\&le;\frac{1}{2}\\ \frac{\max -\min }{2-\max -\min },& ifI>\frac{1}{2}\end{array}\right.;\\ I=\frac{1}{2}\left(\max +\min \right);\end{array}$

其中，H为色度值，S为饱和度值，I为亮度值；式中的r、g、b分别为RGB色彩空间中用于描述颜色的红、绿、蓝分量；max和min分别表示最大值和最小值；经过以上变换，就能将树叶从RGB色彩空间转换到HSI色彩空间。

4.根据权利要求1所述的基于叶脉检测的树种分类方法，其特征在于，所述步骤3中，对HSI色彩空间中的H分量进行增强的公式如下：

$H=255*{\left(\frac{H-H_{min}}{H_{max}-H_{min}}\right)}^p;$

其中，H_min和H_max分别表示H分量的最大值和最小值，p为参数，调整p的大小，可以将H分量进行不同程度的增强。

5.根据权利要求1所述的基于叶脉检测的树种分类方法，其特征在于，所述步骤4中，Canny边缘检测的步骤如下：

①用高斯滤波器平滑图像，高斯平滑函数h(x,y)如下：

$h(x,y)=\frac{1}{2{\mathrm{\&pi;\&delta;}}^2}{e}^{-\frac{x^2+y^2}{2{\mathrm{\&delta;}}^2}};$

其中，(x,y)表示像素点的坐标，δ为参数，用于调节高斯滤波器的平滑程度；

令g(x,y)为平滑后的图像，用h(x,y)对图像f(x,y)的平滑表示为：

g(x,y)＝h(x,y)*f(x,y)；

其中，符号*表示卷积；

②用Sobel算子计算图像的梯度，Gx，Gy分别表示x，y方向的梯度分量，则梯度和梯度方向θ的计算方式如下：

$\&dtri;f(x,y)=\sqrt{Gx{(x,y)}^2+Gy{(x,y)}^2};$

θ(x,y)＝arctan(Gx(x,y)/Gy(x,y))；

③对梯度幅值进行非极大值抑制：沿着梯度线方向，将图像分割成多个n*n邻域，每个邻域的中心像素点与其相邻像素点的梯度值进行比较，若中心像素点的梯度值小于等于相邻像素点的梯度值，则将它的梯度值置为0；

④用双阈值法检测和连接边缘：设置两个阈值th1和th2，把梯度值小于th1的像素的H值设为0，得到图像1；把梯度值小于th2的像素的H值设为0，得到图像2；由于图像2的阈值较高，去除大部分噪声的同时也损失了有用的信息；而图像1的阈值较低，保留了较多的有用信息；因此，以图像2为基础，以图像1为补充来连结图像的边缘；至此可得到叶脉的像素点。

6.根据权利要求1所述的基于叶脉检测的树种分类方法，其特征在于，所述步骤5中，Hough直线检测的具体如下：

Hough变换是将直角坐标系下的问题转换到极坐标系进行处理；若极坐标下的正弦曲线有共同的交点(ρ，θ)，则相应直角坐标系下的点共线，且对应的直线方程为：ρ＝xcosθ+ysinθ；由此，将步骤4得到的叶脉像素点通过Hough变换进行直线检测，可将分离的点连接成线段，从而得到清晰的叶脉图像。

7.根据权利要求1所述的基于叶脉检测的树种分类方法，其特征在于，所述步骤6中，除输入、输出层外，基于LeNet的卷积神经网络由五个部分组成，依次是卷积层C1、下采样层S1、卷积层C2、下采样层S2和一个全连接的多层感知机MLP；每层网络都由多个特征图组成，每个特征图对应一个特征，特征图中每个神经元仅与上一层的一个局部感受野的神经元相连，同一层的神经元权值共享；输出层神经元的个数与待分类树种的种类数相同；

卷积层的计算方法为：

$X_j^l=f({\mathrm{\&Sigma;}}_{i\&Element;M_j}{X}_i^{l-1}*k_{ij}^l+b_j^l);$

其中，l表示层数，M_j表示第j个特征图，k表示卷积核，b为偏置；

下采样层的计算方法为：

$X_j^l=f\left({\mathrm{\&beta;}}_j^{l}down\right(X_j^{l-1})+b_j^l);$

其中，down表示下采样函数，β表示权值，b为偏置；

卷积神经网络首先随机初始化模型参数，训练时不断调整参数使得输出值与期望值的误差不断减小，当误差值在可接受范围内时，完成训练得到分类器。