CN105488536A - 一种基于多特征深度学习技术的农田害虫图像识别方法 - Google Patents

Abstract

本发明涉及一种基于多特征深度学习技术的农田害虫图像识别方法，与现有技术相比解决了复杂环境条件下害虫图像识别性能差的缺陷。本发明包括以下步骤：针对大规模害虫图像样本进行多特征提取，提取大规模害虫图像样本的颜色特征、纹理特征、形状特征、尺度不变特征转换特征和方向梯度直方图特征；多特征深度学习，对不同类型特征分别进行非监督字典训练，获得不同类型特征的稀疏表示；训练样本的多特征表示，通过结合不同类型特征，构建害虫图像样本的多特征表示形式-多特征稀疏编码直方图；构建多核学习分类器，通过学习害虫图像正负样本的稀疏编码直方图构建多核分类器，实现害虫图像的分类。本发明提高了害虫识别的准确率。

Description

一种基于多特征深度学习技术的农田害虫图像识别方法

技术领域

本发明涉及图像处理技术领域，具体来说是一种基于多特征深度学习技术的农田害虫图像识别方法。

背景技术

依靠科技创新促进农业发展成为当今发展农业的主题，计算机技术在新兴农业科技中占有相当重要的作用，害虫图像识别技术就是其中之一。利用该技术可以及时、准确地识别害虫，减少农药的使用，提高作物产量和质量，保护生态环境。现今已经提出了多种害虫图像识别方法在环境得到有效控制的前提下取得了一定的识别准确率。但在实际复杂的农田环境中，害虫图像受到来自背景环境的干扰，其识别性能将受到一定限制。多特征深度学习与多核学习技术可以综合学习害虫图像的多种类型特征，保证不会由于一种类型特征而影响总体的识别效果，因此如何增强害虫特征表现能力与有效分类成为亟需解决的问题。

发明内容

本发明的目的是为了解决现有技术中复杂环境条件下害虫图像识别性能差的缺陷，提供一种基于多特征深度学习技术的农田害虫图像识别方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种基于多特征深度学习技术的农田害虫图像识别方法，包括以下步骤：

针对大规模害虫图像样本进行多特征提取，提取大规模害虫图像样本的颜色特征、纹理特征、形状特征、尺度不变特征转换特征和方向梯度直方图特征；

多特征深度学习，对不同类型特征分别进行非监督字典训练，获得不同类型特征的稀疏表示；

训练样本的多特征表示，通过结合不同类型特征，构建害虫图像样本的多特征表示形式-多特征稀疏编码直方图；

构建多核学习分类器，通过学习害虫图像正负样本的稀疏编码直方图构建多核分类器，实现害虫图像的分类。

所述的针对大规模害虫图像样本进行多特征提取包括以下步骤：

提取害虫图像样本的颜色特征，包括均值、方差、标准差、偏度、峰度、熵，其分别定义如下：

$\mathrm{\μ}=\underset{i=0}{\overset{L-1}{\Σ}}ih\left(i\right),{\mathrm{\σ}}^2=\underset{i=0}{\overset{L-1}{\Σ}}{(i-\mathrm{\μ})}^{2}h\left(i\right)$

$s=\sqrt{1/n-1\underset{i=0}{\overset{L-1}{\Σ}}{(i-\mathrm{\μ})}^2},S=1/{\mathrm{\σ}}^3\underset{i=0}{\overset{L-1}{\Σ}}{(i-\mathrm{\μ})}^{3}h\left(i\right)$

$K=1/{\mathrm{\σ}}^4\underset{i=0}{\overset{L-1}{\Σ}}{(i-\mathrm{\μ})}^{4}h\left(i\right),RE=-\underset{i=0}{\overset{L-1}{\Σ}}h\left(i\right)log\[h\left(i\right)\]$

其中，μ为均值、σ²为方差、σ³为σ的三次方，σ⁴为σ的四次方，s为标准差、S为偏度、K表示峰度、RE为熵值、i表示颜色分量值、L表示图像灰度级数、h(i)表示颜色分量值为i的像素概率；

采用图像局部二值模式特征来提取害虫图像样本的纹理特征，其公式如下：

${\mathrm{LBP}}_{P,R}(x,y)=\underset{p=0}{\overset{P-1}{\Σ}}s(g_n-g_c)2^p$

且 $s\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ 0& x<0\end{array}\right.,$

其中LBP_P,R(x,y)表示局部二值模式特征，g_c表示中心像素点(x,y)的灰度值、g_n表示在半径R处相邻点的灰度值、P表示中心像素点周围相邻像素点的个数；

使用联合不变矩特征来提取害虫图像样本的形状特征，其定义如下：

${\mathrm{\&theta;}}_1=\sqrt{{\mathrm{\&phi;}}_2}/{\mathrm{\&phi;}}_1,$ θ₂＝φ₆/φ₁φ₄

${\mathrm{\&theta;}}_3=\sqrt{{\mathrm{\&phi;}}_5}/{\mathrm{\&phi;}}_4,$ θ₄＝φ₅/φ₃φ₄

θ₅＝φ₁φ₆/φ₂φ₃， ${\mathrm{\&theta;}}_6=({\mathrm{\&phi;}}_1+\sqrt{{\mathrm{\&phi;}}_2}){\mathrm{\&phi;}}_3/{\mathrm{\&phi;}}_6$

θ₇＝φ₁φ₅/φ₃φ₆， ${\mathrm{\&theta;}}_6=({\mathrm{\&phi;}}_1+{\mathrm{\&phi;}}_4)/\sqrt{{\mathrm{\&phi;}}_5}$

其中φ_i为Hu不变矩，θ_i是第i维联合不变矩特征；

提取害虫图像样本的尺度不变特征转换特征；

提取害虫图像样本的方向梯度直方图特征，取像素值下的梯度幅值G(x,y)和梯度方向α(x,y)，其计算公式如下：

$G\left(x,y\right)=\sqrt{{\left(H\left(x+1,y\right)-H\left(x-1,y\right)\right)}^2+{\left(H\left(x,y+1\right)-H\left(x,y-1\right)\right)}^2}$

α(x,y)＝arctan((H(x,y+1)-H(x,y-1))/(H(x+1,y)-H(x-1,y)))，

其中，H(x,y)为点(x,y)处的像素值，

其特征向量描述如下：在8×8块上分割4个4×4块，获得一个4×8共32维的特征向量；

在若干个害虫图像样本中均进行颜色特征、纹理特征、形状特征、尺度不变特征转换特征和方向梯度直方图特征的提取。

所述的多特征深度学习包括以下步骤：

针对第k种特征类型进行非监督字典训练，固定随机字典D^k对输入数据y^k进行稀疏表示，得到稀疏向量矩阵x^k，其公式如下：

$<D^k,x^k>=\underset{D,X}{\arg \min }\left|\right|y^k-D^k{x}^k|{|}_2^2,s.t.|\left|x_i^k\right|{|}_0\&le;T$

其中：x^k表示稀疏向量矩阵，通过||x_i||₀≤T进行系数限制；D^k表示第k类特征训练字典；y^k表示输入害虫图像第k类特征集合；

逐列更新随机字典D，其公式如下：

$\left|\right|Y-DX|{|}^2=||(Y-\underset{i\&NotEqual;s}{\&Sigma;}{d}_i{x}_T^i)-d_s{x}_T^s|{|}^2$

其中d_s表示D^k中第s列，表示第s个行矢量，表示字典的贡献矩阵；

判断误差是否满足精度要求或是否达到指定的迭代次数，满足则结束训练，产生非监督字典不满足则继续计算稀疏向量矩阵x^k并更新随机字典D^k；

对m种害虫图像样本特征均进行非监督字典学习方式，学习获得m种非监督字典，其中m种害虫图像样本特征包括颜色特征、纹理特征、形状特征、尺度不变特征转换特征和方向梯度直方图特征。

所述的训练样本的多特征表示包括以下步骤：

针对第k种特征类型的非监督字典与第k类特征获得表示该种特征的稀疏编码，其计算公式如下：

${\hat{a}}_i^k=\arg min\left|\right|{\mathrm{\&alpha;}}_i^k|{|}_1,s.t.||p_i^k-D_T^k{\mathrm{\&alpha;}}_i^k|{|}_2<\mathrm{\&epsiv;},k=1,...,m$

其中表示第k类害虫图像特征中第i个特征向量；

使用稀疏编码直方图来表示稀疏编码的分布情况，公式如下：

$H^k\left(q\right)=C_0\underset{i}{\overset{I}{\&Sigma;}}k\left(\right|\left|\frac{Y-c_i}{h}\right|{|}^2)\left|{\hat{a}}_{iq}^k\right|$

其中：H^k(q)表示第k类特征的稀疏编码直方图中第q个组距，C₀为归一化常数，k()表示一个各向同性核函数，分配不同的权值，对于远离中心点的位置分配较小的权值，靠近中心点的位置分配较大的权值，Y表示目标点，c_i表示图像中心点位置，表示第i个稀疏特征的第q维数据；

分别计算颜色特征、纹理特征、形状特征、尺度不变特征转换特征和方向梯度直方图特征的稀疏编码直方图，获得m类稀疏编码直方图H^k。

所述的构建多核学习分类器包括以下步骤：

对分类器的学习训练采取有监督的方式，对负样本与每个特征类别进行人为区分；获取N个训练样本，使用m类的稀疏编码直方图H^k，对m类特征和负样本图像特征均采取特征形式为其中j∈N，其多核学习公式如下：

$\underset{\left\{W_K\right\},b,\mathrm{\&xi;}}{\min }\frac{1}{2}\underset{k=1}{\overset{m}{\&Sigma;}}\frac{1}{{\mathrm{\&omega;}}_k}\left|\right|W_k|{|}^2+C\underset{i=1}{\overset{N}{\&Sigma;}}{\mathrm{\&xi;}}_i$

$s.t.y_i(\underset{k=1}{\overset{m}{\&Sigma;}}<W_k,R_k(H_i^k)>)+{\mathrm{\&xi;}}_i\&GreaterEqual;1,0\&le;i\&le;N,{\mathrm{\&xi;}}_i\&GreaterEqual;0,\underset{k=1}{\overset{m}{\&Sigma;}}{\mathrm{\&omega;}}_k=1,{\mathrm{\&omega;}}_k\&GreaterEqual;0$

其中ω_k表示对应核函数的权重，W_k为超平面参数；

使用支持向量机对不同的核函数学习不同的权值，对于测试样本，其分类的决策函数为：

$f\left(x\right)=\underset{k=1}{\overset{m}{\&Sigma;}}{\mathrm{\&omega;}}_k\underset{i=1}{\overset{N}{\&Sigma;}}{\mathrm{\&alpha;}}_i{y}_i{O}_k(H_i,x)+b$

其中，b为阀值量，O_k(H_i,x)表示不同的核函数。

所述的提取害虫图像样本的尺度不变特征转换特征包括以下步骤：

尺度空间极值点检测，采用角点检测方法进行极值点检测，获得候选特征点，由可变尺度高斯函数G(x,y,σ)与输入图像I(x,y)卷积得到尺度空间定义函数L(x,y,σ)，其公式如下：

L(x,y,σ)＝G(x,y,σ)*I(x,y)

其中，*为x和y上的卷积运算，

特征点D(x,y,σ)为：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)

其中k为相邻两尺度差异的常数因子；

对候选特征点过滤获得精确特征点，针对获选特征点处进行拟合函数运算，其公式如下：

$D\left(X\right)=D+\frac{\&part;D^T}{\&part;X}X+\frac{1}{2}{X}^T\frac{{\&part;}^{2}D}{\&part;X^2}X$

其中，D为D(x,y,σ)在特征点位置的值；

确定特征点方向，尺度空间中任一点L(x,y)处的梯度值m(x,y)与方向θ(x,y)分别为：

$m(x,y)=\sqrt{{\left(L\right(x+1,y)-L(x-1,y\left)\right)}^2+{\left(L\right(x,y+1)-L(x,y-1\left)\right)}^2}$

θ(x,y)＝arctan((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))；

其特征向量描述如下：以特征点为中心的16×16区域中4×4为一个单位，统计每个单位内的8维梯度直方图，每个特征点有4×4个单位，共4×4×8＝128维特征向量。

有益效果

本发明的一种基于多特征深度学习技术的农田害虫图像识别方法，与现有技术相比提高了害虫识别的准确率。利用害虫图像的全局特征(颜色、形状、纹理)与局部特征(HOG、SIFT)对害虫图像进行深度学习得到多特征表示-多特征编码直方图，结合多核学习分类器，实现了害虫图像识别较高的识别率。

附图说明

图1为本发明的方法流程图。

具体实施方式

为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：

本方法先获取大规模的害虫样本图像，此害虫样本图像只包括害虫个体，不包括外界环境的表达。针对害虫样本从颜色特征、纹理特征、形状特征、尺度不变特征转换特征和方向梯度直方图特征五个特征对不同的害虫进行区分。针对五个特征进行深度学习得到多特征表示-多特征编码直方图，再利用多核学习分类器，对害虫图像(包括外界环境的害虫图像)进行分类，从而提高了害虫图像的识别度。

如图1所示，本发明所述的一种基于多特征深度学习技术的农田害虫图像识别方法，包括以下步骤：

第一步，针对大规模害虫图像样本进行多特征提取，提取大规模害虫图像样本的颜色特征、纹理特征、形状特征、尺度不变特征转换(SIFT)特征和方向梯度直方图(HOG)特征。目前的害虫识别主要根据图像的单一特征进行，缺乏对多种特征的综合应用。单一特征限制了众多特征联合对图像进行诠释的可能，对提高害虫图像识别性能范围有限。基于以上分析，本发明综合考虑多种特征，包括全局特征(颜色、形状、纹理)和局部特征(SIFT、HOG)。得到的多种类型特征表示图像中包含的多种信息，从而提高识别性能。其具体包括以下步骤：

(1)提取害虫图像样本的颜色特征，包括均值、方差、标准差、偏度、峰度、熵，其分别定义如下：

$\mathrm{\&mu;}=\underset{i=0}{\overset{L-1}{\&Sigma;}}ih\left(i\right),{\mathrm{\&sigma;}}^2=\underset{i=0}{\overset{L-1}{\&Sigma;}}{(i-\mathrm{\&mu;})}^{2}h\left(i\right)$

$s=\sqrt{1/n-1\underset{i=0}{\overset{L-1}{\&Sigma;}}{(i-\mathrm{\&mu;})}^2},S=1/{\mathrm{\&sigma;}}^3\underset{i=0}{\overset{L-1}{\&Sigma;}}{(i-\mathrm{\&mu;})}^{3}h\left(i\right)$

$K=1/{\mathrm{\&sigma;}}^4\underset{i=0}{\overset{L-1}{\&Sigma;}}{(i-\mathrm{\&mu;})}^{4}h\left(i\right),RE=-\underset{i=0}{\overset{L-1}{\&Sigma;}}h\left(i\right)log\&lsqb;h\left(i\right)\&rsqb;$

其中，μ为均值、σ²为方差、σ³为σ的三次方，σ⁴为σ的四次方，s为标准差、S为偏度、K表示峰度、RE为熵值、i表示颜色分量值、L表示图像灰度级数、h(i)表示颜色分量值为i的像素概率。

(2)采用图像局部二值模式特征来提取害虫图像样本的纹理特征，其公式如下：

${\mathrm{LBP}}_{P,R}(x,y)=\underset{p=0}{\overset{P-1}{\&Sigma;}}s(g_n-g_c)2^p$

且 $s\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ 0& x<0\end{array}\right.,$

其中LBP_P,R(x,y)表示局部二值模式特征，g_c表示中心像素点(x,y)的灰度值、g_n表示在半径R处相邻点的灰度值、P表示中心像素点周围相邻像素点的个数。

(3)根据害虫图像的形状特征，使用联合不变矩特征来提取害虫图像样本的形状特征，其具有缩放、旋转不变性，能够对区域与轮廓进行统一表示。其定义如下：

${\mathrm{\&theta;}}_1=\sqrt{{\mathrm{\&phi;}}_2}/{\mathrm{\&phi;}}_1,$ θ₂＝φ₆/φ₁φ₄

${\mathrm{\&theta;}}_3=\sqrt{{\mathrm{\&phi;}}_5}/{\mathrm{\&phi;}}_4,$ θ₄＝φ₅/φ₃φ₄

θ₅＝φ₁φ₆/φ₂φ₃， ${\mathrm{\&theta;}}_6=({\mathrm{\&phi;}}_1+\sqrt{{\mathrm{\&phi;}}_2}){\mathrm{\&phi;}}_3/{\mathrm{\&phi;}}_6$

θ₇＝φ₁φ₅/φ₃φ₆， ${\mathrm{\&theta;}}_6=({\mathrm{\&phi;}}_1+{\mathrm{\&phi;}}_4)/\sqrt{{\mathrm{\&phi;}}_5}$

其中φ_i为Hu不变矩，θ_i是第i维联合不变矩特征。

(4)提取害虫图像样本的尺度不变特征转换特征，尺度不变特征转换(SIFT)特征是目前最有效的局部不变特征描述方法。作为特征描述子，其对于图像的旋转、平移、尺度变化和亮度变化具有不变性。其包括以下步骤：

A、尺度空间极值点检测，SIFT方法采用角点检测DoG(difference-of-Gaussianfunction)方法进行极值点检测，获得候选特征点，由可变尺度高斯函数G(x,y,σ)与输入图像I(x,y)卷积得到尺度空间定义函数L(x,y,σ)，其公式如下：

L(x,y,σ)＝G(x,y,σ)*I(x,y)

其中，*为x和y上的卷积运算，

特征点D(x,y,σ)为：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)

其中k为相邻两尺度差异的常数因子；

B、对候选特征点过滤获得精确特征点，由于计算获得特征点不一定位于整数坐标位置，需要对其进行定位，去除对比度低的特征点与边缘相应点。

针对获选特征点处进行拟合函数运算，其公式如下：

$D\left(X\right)=D+\frac{\&part;D^T}{\&part;X}X+\frac{1}{2}{X}^T\frac{{\&part;}^{2}D}{\&part;X^2}X$

其中，D为D(x,y,σ)在特征点位置的值；

C、确定特征点方向，尺度空间中任一点L(x,y)处的梯度值m(x,y)与方向θ(x,y)分别为：

$m(x,y)=\sqrt{{\left(L\right(x+1,y)-L(x-1,y\left)\right)}^2+{\left(L\right(x,y+1)-L(x,y-1\left)\right)}^2}$

θ(x,y)＝arctan((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))；

其特征向量描述如下：以特征点为中心的16×16区域中4×4为一个单位，统计每个单位内的8维梯度直方图，每个特征点有4×4个单位，共4×4×8＝128维特征向量。

(5)提取害虫图像样本的方向梯度直方图(HOG)特征，计算局部区域梯度上的梯度方向直方图构成特征，其为SIFT特征方法的最后两步，取像素值下的梯度幅值G(x,y)和梯度方向α(x,y)，其计算公式如下：

$G\left(x,y\right)=\sqrt{{\left(H\left(x+1,y\right)-H\left(x-1,y\right)\right)}^2+{\left(H\left(x,y+1\right)-H\left(x,y-1\right)\right)}^2}$

α(x,y)＝arctan((H(x,y+1)-H(x,y-1))/(H(x+1,y)-H(x-1,y)))，

其中，H(x,y)为点(x,y)处的像素值，

其特征向量描述如下：在8×8块上分割4个4×4块，获得一个4×8共32维的特征向量。

(6)在若干个害虫图像样本中均进行颜色特征、纹理特征、形状特征、尺度不变特征转换特征和方向梯度直方图特征的提取，形成害虫图像样本的5种特征集合。

第二步，多特征深度学习，采用深度学习理论中稀疏编码理论对不同类型特征分别进行非监督字典训练，获得不同类型特征的稀疏表示。经过针对大规模害虫图像样本进行多特征提取的步骤，共获得m＝5种害虫图像特征类型，包括颜色、纹理、形状、SIFT和HOG。在此基于深度学习稀疏编码理论，则针对第k种特征类型k∈m，采用KSVD方法进行非监督字典训练。其具体要求步骤如下：

(1)针对第k种特征类型(5种害虫图像特征类型之一)进行非监督字典训练，固定随机字典D^k对输入数据y^k进行稀疏表示，得到稀疏向量矩阵x^k，其公式如下：

$<D^k,x^k>=\underset{D,X}{\arg \min }\left|\right|y^k-D^k{x}^k|{|}_2^2,s.t.|\left|x_i^k\right|{|}_0\&le;T$

其中：x^k表示稀疏向量矩阵，通过||x_i||₀≤T进行系数限制；D^k表示第k类特征训练字典；y^k表示输入害虫图像第k类特征集合。

(2)逐列更新随机字典D，其公式如下：

$\left|\right|Y-DX|{|}^2=||(Y-\underset{i\&NotEqual;s}{\&Sigma;}{d}_i{x}_T^i)-d_s{x}_T^s|{|}^2$

其中d_s表示D^k中第s列，表示第s个行矢量，表示字典的贡献矩阵。

(3)判断误差是否满足精度要求或是否达到指定的迭代次数，满足则结束训练，产生非监督字典不满足则继续计算稀疏向量矩阵x^k并更新随机字典D^k。

(4)对m种害虫图像样本特征均进行非监督字典学习方式，学习获得m种非监督字典，其中m种害虫图像样本特征包括颜色特征、纹理特征、形状特征、尺度不变特征转换特征和方向梯度直方图特征。

第三步，训练样本的多特征表示，通过结合不同类型特征(分别针对m种非监督字典)，构建害虫图像样本的多特征表示形式-多特征稀疏编码直方图。其具体包括以下步骤：

(1)针对第k种特征类型的非监督字典与第k类特征获得表示该种特征的稀疏编码，其计算公式如下：

${\hat{a}}_i^k=\arg min\left|\right|{\mathrm{\&alpha;}}_i^k|{|}_1,s.t.||p_i^k-D_T^k{\mathrm{\&alpha;}}_i^k|{|}_2<\mathrm{\&epsiv;},k=1,...,m$

其中表示第k类害虫图像特征中第i个特征向量。

(2)使用稀疏编码直方图来表示稀疏编码的分布情况，公式如下：

$H^k\left(q\right)=C_0\underset{i}{\overset{I}{\&Sigma;}}k\left(\right|\left|\frac{Y-c_i}{h}\right|{|}^2)\left|{\hat{a}}_{iq}^k\right|$

其中：H^k(q)表示第k类特征的稀疏编码直方图中第q个组距，C₀为归一化常数，k()表示一个各向同性核函数，分配不同的权值，对于远离中心点的位置分配较小的权值，靠近中心点的位置分配较大的权值，Y表示目标点，c_i表示图像中心点位置，表示第i个稀疏特征的第q维数据。

(3)分别计算颜色特征、纹理特征、形状特征、尺度不变特征转换特征和方向梯度直方图特征的稀疏编码直方图，获得m类稀疏编码直方图H^k。

第四步，构建多核学习分类器，通过学习害虫图像正负样本的稀疏编码直方图构建多核分类器，实现害虫图像的分类。害虫图像正样本指需进行害虫分类的训练图像中，带有害虫的图像，即含有m类特征的图像。在实际应用中，还有一类图像是不含任何害虫的图像，即负样本，此类图像只有环境背景，无害虫体现，而在图像采集过程中，不可能做到只采集有害虫图像，不采集无害虫图像，因此分类器的分类过程中，也要考虑负样本的存在，则把负样本作为单独特殊(自定义)一类害虫图像进行分类处理即可。其主要包括以下步骤：

(1)对分类器的学习训练采取有监督的方式，对负样本与每个特征类别进行人为区分，人工区分出正样本(5个特征类别)和负样本。获取N个训练样本，使用m类的稀疏编码直方图H^k，对m类特征和负样本图像特征均采取特征形式为其中j∈N。在此将负样本图像也并入正样本训练中，就是将负样本列为另一类特殊的害虫类别，其多核学习公式如下：

$\underset{\left\{W_K\right\},b,\mathrm{\&xi;}}{\min }\frac{1}{2}\underset{k=1}{\overset{m}{\&Sigma;}}\frac{1}{{\mathrm{\&omega;}}_k}\left|\right|W_k|{|}^2+C\underset{i=1}{\overset{N}{\&Sigma;}}{\mathrm{\&xi;}}_i$

$s.t.y_i(\underset{k=1}{\overset{m}{\&Sigma;}}<W_k,R_k(H_i^k)>)+{\mathrm{\&xi;}}_i\&GreaterEqual;1,0\&le;i\&le;N,{\mathrm{\&xi;}}_i\&GreaterEqual;0,\underset{k=1}{\overset{m}{\&Sigma;}}{\mathrm{\&omega;}}_k=1,{\mathrm{\&omega;}}_k\&GreaterEqual;0$

其中ω_k表示对应核函数的权重，W_k为超平面参数。

(2)使用支持向量机对不同的核函数学习不同的权值，对于测试样本，其分类的决策函数为：

$f\left(x\right)=\underset{k=1}{\overset{m}{\&Sigma;}}{\mathrm{\&omega;}}_k\underset{i=1}{\overset{N}{\&Sigma;}}{\mathrm{\&alpha;}}_i{y}_i{O}_k(H_i,x)+b$

其中，b为阀值量，O_k(H_i,x)表示不同的核函数。分类向量机对多个图像进行分类，从而将害虫类别进行区分、分类，并将没有害虫的图像单独分为一类，实现害虫的图像识别处理。

在针对D1和D2样本库进行试验过程中，其中D1样本库包括训练集与测试集，训练集中有20张128×128蝴蝶图像，测试集中包含720张蝴蝶图像。D2样本库包括9个类目共225张昆虫图像，随机选取其中一部分作为训练样本，其余为测试样本。对于D1样本库中蝴蝶图像均具有相似的外形特征，比如形状，其主要的不同特征表现在纹理特征，因此基于多核学习可以根据识别害虫具体情况学习得到不同的核函数权重，实现自动分类识别。实验中将本发明方法与多种现有图像识别分类模型相比较，其中包括NSC(非负稀疏编码)、SVM(支持向量机)、SC(稀疏编码)、LRSC(低秩稀疏编码)、SCSPM(空间金字塔匹配稀疏编码)，在D1和D2样本库上比较结果如下表1：

表1在D1和D2样本库下不同方法识别率对比(％)

由以上表中结果可以看出，本发明所提出的方法在这两种公共训练集上表现性能均优于现有技术的其他方法，其应用有效并合理，能够达到识别害虫的功能，因此，本发明所提出的方法与系统性能较优，具有实用价值。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (6)

1.一种基于多特征深度学习技术的农田害虫图像识别方法，其特征在于，包括以下步骤：

11)针对大规模害虫图像样本进行多特征提取，提取大规模害虫图像样本的颜色特征、纹理特征、形状特征、尺度不变特征转换特征和方向梯度直方图特征；

12)多特征深度学习，对不同类型特征分别进行非监督字典训练，获得不同类型特征的稀疏表示；

13)训练样本的多特征表示，通过结合不同类型特征，构建害虫图像样本的多特征表示形式-多特征稀疏编码直方图；

14)构建多核学习分类器，通过学习害虫图像正负样本的稀疏编码直方图构建多核分类器，实现害虫图像的分类。

2.根据权利要求1所述的一种基于多特征深度学习技术的农田害虫图像识别方法，其特征在于，所述的针对大规模害虫图像样本进行多特征提取包括以下步骤：

21)提取害虫图像样本的颜色特征，包括均值、方差、标准差、偏度、峰度、熵，其分别定义如下：

$\mathrm{\&mu;}=\underset{i=0}{\overset{L-1}{\&Sigma;}}ih\left(i\right),{\mathrm{\&sigma;}}^2=\underset{i=0}{\overset{L-1}{\&Sigma;}}{(i-\mathrm{\&mu;})}^{2}h\left(i\right)$

$s=\sqrt{1/n-1\underset{i=0}{\overset{L-1}{\&Sigma;}}{(i-\mathrm{\&mu;})}^2},S=1/{\mathrm{\&sigma;}}^3\underset{i=0}{\overset{L-1}{\&Sigma;}}{(i-\mathrm{\&mu;})}^{3}h\left(i\right)$

$K=1/{\mathrm{\&sigma;}}^4\underset{i=0}{\overset{L-1}{\&Sigma;}}{(i-\mathrm{\&mu;})}^{4}h\left(i\right),RE=-\underset{i=0}{\overset{L-1}{\&Sigma;}}h\left(i\right)log\&lsqb;h\left(i\right)\&rsqb;$

其中，μ为均值、σ²为方差、σ³为σ的三次方，σ⁴为σ的四次方，s为标准差、S为偏度、K表示峰度、RE为熵值、i表示颜色分量值、L表示图像灰度级数、h(i)表示颜色分量值为i的像素概率；

22)采用图像局部二值模式特征来提取害虫图像样本的纹理特征，其公式如下：

${\mathrm{LBP}}_{P,R}(x,y)=\underset{p=0}{\overset{P-1}{\&Sigma;}}s(g_n-g_c)2^p$

且 $s\left(x\right)=\left\{\begin{array}{cc}1& x\&GreaterEqual;0\\ 0& x<0\end{array}\right.,$

其中LBP_P,R(x,y)表示局部二值模式特征，g_c表示中心像素点(x,y)的灰度值、g_n表示在半径R处相邻点的灰度值、P表示中心像素点周围相邻像素点的个数；

23)使用联合不变矩特征来提取害虫图像样本的形状特征，其定义如下：

${\mathrm{\&theta;}}_1=\sqrt{{\mathrm{\&phi;}}_2}/{\mathrm{\&phi;}}_1,{\mathrm{\&theta;}}_2={\mathrm{\&phi;}}_6/{\mathrm{\&phi;}}_1{\mathrm{\&phi;}}_4$

${\mathrm{\&theta;}}_3=\sqrt{{\mathrm{\&phi;}}_5}/{\mathrm{\&phi;}}_4,{\mathrm{\&theta;}}_4={\mathrm{\&phi;}}_5/{\mathrm{\&phi;}}_3{\mathrm{\&phi;}}_4$

${\mathrm{\&theta;}}_5={\mathrm{\&phi;}}_1{\mathrm{\&phi;}}_6/{\mathrm{\&phi;}}_2{\mathrm{\&phi;}}_3,{\mathrm{\&theta;}}_6=({\mathrm{\&phi;}}_1+\sqrt{{\mathrm{\&phi;}}_2}){\mathrm{\&phi;}}_3/{\mathrm{\&phi;}}_6$

${\mathrm{\&theta;}}_7={\mathrm{\&phi;}}_1{\mathrm{\&phi;}}_5/{\mathrm{\&phi;}}_3{\mathrm{\&phi;}}_6,{\mathrm{\&theta;}}_6=({\mathrm{\&phi;}}_1+{\mathrm{\&phi;}}_4)/\sqrt{{\mathrm{\&phi;}}_5}$

其中φ_i为Hu不变矩，θ_i是第i维联合不变矩特征；

24)提取害虫图像样本的尺度不变特征转换特征；

25)提取害虫图像样本的方向梯度直方图特征，取像素值下的梯度幅值G(x,y)和梯度方向α(x,y)，其计算公式如下：

$G(x,y)=\sqrt{{\left(H\right(x+1,y)-H(x-1,y\left)\right)}^2+{\left(H\right(x,y+1)-H(x,y-1\left)\right)}^2}$

α(x,y)＝arctan((H(x,y+1)-H(x,y-1))/(H(x+1,y)-H(x-1,y)))，

其中，H(x,y)为点(x,y)处的像素值，

其特征向量描述如下：在8×8块上分割4个4×4块，获得一个4×8共32维的特征向量；

26)在若干个害虫图像样本中均进行颜色特征、纹理特征、形状特征、尺度不变特征转换特征和方向梯度直方图特征的提取。

3.根据权利要求1所述的一种基于多特征深度学习技术的农田害虫图像识别方法，其特征在于，所述的多特征深度学习包括以下步骤：

31)针对第k种特征类型进行非监督字典训练，固定随机字典D^k对输入数据y^k进行稀疏表示，得到稀疏向量矩阵x^k，其公式如下：

$<D^k,x^k>=\underset{D,X}{\mathrm{argmin}}\left|\right|y^k-D^k{x}^k|{|}_2^2,s.t.|\left|x_i^k\right|{|}_0\&le;T$

其中：x^k表示稀疏向量矩阵，通过||x_i||₀≤T进行系数限制；D^k表示第k类特征训练字典；y^k表示输入害虫图像第k类特征集合；

32)逐列更新随机字典D，其公式如下：

$\left|\right|Y-DX|{|}^2=||(Y-\underset{i\&NotEqual;s}{\&Sigma;}{d}_i{x}_T^i)-d_s{x}_T^s|{|}^2$

其中d_s表示D^k中第s列，表示第s个行矢量，表示字典的贡献矩阵；

33)判断误差是否满足精度要求或是否达到指定的迭代次数，满足则结束训练，产生非监督字典不满足则继续计算稀疏向量矩阵x^k并更新随机字典D^k；

34)对m种害虫图像样本特征均进行非监督字典学习方式，学习获得m种非监督字典，其中m种害虫图像样本特征包括颜色特征、纹理特征、形状特征、尺度不变特征转换特征和方向梯度直方图特征。

4.根据权利要求1所述的一种基于多特征深度学习技术的农田害虫图像识别方法，其特征在于，所述的训练样本的多特征表示包括以下步骤：

41)针对第k种特征类型的非监督字典与第k类特征获得表示该种特征的稀疏编码，其计算公式如下：

${\hat{a}}_i^k=\arg min\left|\right|{\mathrm{\&alpha;}}_i^k|{|}_1,s.t.||p_i^k-D_T^k{\mathrm{\&alpha;}}_i^k|{|}_2<\mathrm{\&epsiv;},k=1,...,m$

其中表示第k类害虫图像特征中第i个特征向量；

42)使用稀疏编码直方图来表示稀疏编码的分布情况，公式如下：

$H^k\left(q\right)=C_0\underset{i}{\overset{I}{\&Sigma;}}k\left(\right|\left|\frac{Y-c_i}{h}\right|{|}^2)\left|{\hat{a}}_{iq}^k\right|$

其中：H^k(q)表示第k类特征的稀疏编码直方图中第q个组距，C₀为归一化常数，k()表示一个各向同性核函数，分配不同的权值，对于远离中心点的位置分配较小的权值，靠近中心点的位置分配较大的权值，Y表示目标点，c_i表示图像中心点位置，表示第i个稀疏特征的第q维数据；

43)分别计算颜色特征、纹理特征、形状特征、尺度不变特征转换特征和方向梯度直方图特征的稀疏编码直方图，获得m类稀疏编码直方图H^k。

5.根据权利要求1所述的一种基于多特征深度学习技术的农田害虫图像识别方法，其特征在于，所述的构建多核学习分类器包括以下步骤：

51)对分类器的学习训练采取有监督的方式，对负样本与每个特征类别进行人为区分；获取N个训练样本，使用m类的稀疏编码直方图H^k，对m类特征和负样本图像特征均采取特征形式为其中j∈N，其多核学习公式如下：

$\underset{\left\{W_K\right\},b,\mathrm{\&xi;}}{min}\frac{1}{2}\underset{k=1}{\overset{m}{\&Sigma;}}\frac{1}{{\mathrm{\&omega;}}_k}\left|\right|W_k|{|}^2+C\underset{i=1}{\overset{N}{\&Sigma;}}{\mathrm{\&xi;}}_i$

$\begin{array}{cc}s.t.y_i(\underset{k=1}{\overset{m}{\&Sigma;}}<W_k,R_k\left(H_i^k\right)>)+{\mathrm{\&xi;}}_i\&GreaterEqual;1,0\&le;i\&le;N,{\mathrm{\&xi;}}_i\&GreaterEqual;0,& \underset{k=1}{\overset{m}{\&Sigma;}}{\mathrm{\&omega;}}_k=1,{\mathrm{\&omega;}}_k\&GreaterEqual;0\end{array}$

其中ω_k表示对应核函数的权重，W_k为超平面参数；

52)使用支持向量机对不同的核函数学习不同的权值，对于测试样本，其分类的决策函数为：

$f\left(x\right)=\underset{k=1}{\overset{m}{\&Sigma;}}{\mathrm{\&omega;}}_k\underset{i=1}{\overset{N}{\&Sigma;}}{\mathrm{\&alpha;}}_i{y}_i{O}_k(H_i,x)+b$

其中，b为阀值量，O_k(H_i,x)表示不同的核函数。

6.根据权利要求2所述的一种基于多特征深度学习技术的农田害虫图像识别方法，其特征在于，所述的提取害虫图像样本的尺度不变特征转换特征包括以下步骤：

61)尺度空间极值点检测，采用角点检测方法进行极值点检测，获得候选特征点，由可变尺度高斯函数G(x,y,σ)与输入图像I(x,y)卷积得到尺度空间定义函数L(x,y,σ)，其公式如下：

L(x,y,σ)＝G(x,y,σ)*I(x,y)

其中，*为x和y上的卷积运算，

特征点D(x,y,σ)为：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)

其中k为相邻两尺度差异的常数因子；

62)对候选特征点过滤获得精确特征点，针对获选特征点处进行拟合函数运算，其公式如下：

$D\left(X\right)=D+\frac{\&part;D^T}{\&part;X}X+\frac{1}{2}{X}^T\frac{{\&part;}^{2}D}{\&part;X^2}X$

其中，D为D(x,y,σ)在特征点位置的值；

63)确定特征点方向，尺度空间中任一点L(x,y)处的梯度值m(x,y)与方向θ(x,y)分别为：

$m(x,y)=\sqrt{{\left(L\right(x+1,y)-L(x-1,y\left)\right)}^2+{\left(L\right(x,y+1)-L(x,y-1\left)\right)}^2}$

θ(x,y)＝arctan((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))；

其特征向量描述如下：以特征点为中心的16×16区域中4×4为一个单位，统计每个单位内的8维梯度直方图，每个特征点有4×4个单位，共4×4×8＝128维特征向量。