CN109948652A - 一种基于叶花融合的局部判别cca的植物物种识别方法 - Google Patents

Abstract

本发明涉及一种基于叶花融合的局部判别CCA的植物物种识别方法，包括以下步骤：根据包括叶图像和花图像的双视图特征集，构建两个加权相邻图；通过使类内相邻样本最相关、类间相邻样本最不相关且同一物种的叶子和花之间的相关性最大，获得两个降维的投影矩阵；使用具有测地线距离的1‑NN分类器来识别植物物种。本发明将局部判别嵌入(LDE)的思想引入典型相关分析(CCA)，构成局部判别典型相关分析(MLDCCA)方法，其识别准确且性能稳定，能够从两个植物器官中提取鉴别特征，同时很好地保留鉴别信息和数据结构，并在此基础上进一步推广应用。

Description

一种基于叶花融合的局部判别CCA的植物物种识别方法

技术领域

本发明属于图像识别技术领域，尤其是一种基于叶花融合的局部判别CCA的植物物种识别方法。

背景技术

自动植物物种识别对于保护物种多样性至关重要，这可以帮助普通人和植物学家更快地识别各种植物物种。植物种类可以通过它们的叶、花、皮、枝、种子、果实和整体来识别，而基于叶的自动植物物种识别是计算机科学、图像处理、算法科学、植物学和机器学习等几个领域中的重要课题。通过叶子中提取各种特征并用于植物物种识别的方法，其识别率很大程度上依赖于从植物叶片图像中提取的手工特征。深度学习可以自动从原始图像中学习分类特征，从而使得识别率得到了很大的提高，但是，深度学习方法需要大数据集和高性能计算机，并且需要大量时间来训练深度学习模型。

基于叶子的植物物种识别研究仍然是一个具有挑战性的课题，因为在大量的叶子中存在大的类内差异和大的类间相似性，所以很难区分这些易混淆的叶子。对于大量物种，用一个器官(如花和叶)识别植物物种是不够可靠的，因为不同的物种可能有非常相似的花或叶，而同一物种可能有非常不同的花或叶。

随着这种变化，植物花的外观更稳定，变异更少。因此，花可以与叶子合作来提高植物物种识别性能。例如，一种交互式网络应用系统利用几个不同的植物器官和视图，包括习性、花、果实、叶子和树皮，来识别植物物种，在该系统中，所有训练图像都是在一年内通过一个在公民科学倡议范围内建立的众包应用程序连续收集的。还有，研究人员通过融合叶和花的识别结果，提出了结合深度学习和手工设计特征，用于植物物种识别。实验结果表明，深度学习对自然环境下的植物物种识别具有鲁棒性，并且与仅基于叶的植物物种识别相比，叶和花图像的组合可以显著提高识别率。再有，研究人员描述了一种融合技术，用于从不同的植物器官图像中识别物种，他们首先使用最先进的DCNN从每个植物器官中提取置信度，然后部署各种融合方法，不仅包括传统的基于变换的方法(和规则、最大规则、乘积规则)，还包括基于分类的方法(SVM、K-NN分类器)，最后提出了一种用于物种识别的混合融合模型。与其他前馈神经网络相比，DCNN近年来取得了许多显著的改进。然而，训练DCNN的大量参数需要很多时间。

事实上，不同的植物器官图像是非线性复杂的异构数据，如何将多器官图像有效地结合起来识别物种是现有多模态物种识别方法中的一个关键问题。许多监督流形学习方法，如局部最大间隔判别嵌入(MMDE)和局部判别嵌入(LDE)及其变种，可以有效地保留判别信息和数据的局部结构，这些方法已经广泛用于图像分类。然而，它们是单视图学习方法，不考虑多模式数据集或多个视图特征集之间的关系。典型相关分析(CCA)是一种众所周知的多视图特征融合方法，可用于从多模态数据集中提取有价值的信息，但是，它不能利用判别信息，目前，已有几种用于非线性复杂图像分类的CCA判别修正模型，例如局部判别CCA(LDCCA)。因此，如何将局部最大间隔判别嵌入(MMDE)与例如局部判别CCA(LDCCA)技术结合在一起进行植物物种识别是目前迫切需要解决的问题。

发明内容

本发明的目的在于克服现有技术的不足，提出一种设计合理、识别准确且易于实现的基于叶花融合的局部判别CCA的植物物种识别方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于叶花融合的局部判别CCA的植物物种识别方法，包括以下步骤：

步骤1、根据包括叶图像和花图像的双视图特征集，构建两个加权相邻图；

步骤2、通过使类内相邻样本最相关、类间相邻样本最不相关且同一物种的叶子和花之间的相关性最大，获得两个降维的投影矩阵；

步骤3、使用具有测地线距离的1-NN分类器来识别植物物种。

所述步骤1的具体实现方法为：

双视图特征集为：设n个被标记为{c₁,c₂,…,c_n}的训练图像对其中x_i和y_i分别是相同物种的第i个叶图像和第i个花图像，(x，y)为相同物种的植物叶和花图像的测试图像对；

构造两个加权近邻图来表示双视图数据集的局部判别信息，X和Y的两个相邻权重分别设计如下：

其中||·||是欧式距离，c(x_i)是x_i的标签，η^x和η^y是两个局部调整参数并分别设置如下：

根据相邻权重和进行如下优化处理：

其中，F_xx＝XX^T,F_yy＝YY^T，

F^X和F^Y是反映样本之间相似性的两个加权自相关矩阵，其中元素分别是和I是一个单位矩阵，F_xx,F_yy分别是X和Y的自协方差矩阵，F_xy是X和Y的互协方差矩阵。

所述获得两个降维的投影矩阵的方法为：

利用下式进行特征值分解：

最优特征向量对应于上式中的几个最大特征值；假设双视图特征集的减少维数为d，将特征值从大到小排序，并选择对应于前d个特征值的d个特征向量w_x1,w_x2,...,w_xd与w_y1,w_y2,...,w_yd后，形成如下两个投影矩阵W_x和W_y：

W_x＝[w_x1,w_x2,...,w_xd]

W_y＝[w_y1,w_y2,...,w_yd]

通过投影矩阵W_x和W_y，将每个训练图像对(x_i,y_i)和测试图像对(x,y)投影到低维融合特征向量中，分别表示为和其中i＝1,2,...,n。

所述步骤3的具体实现方法为：利用训练分类器，然后用训练好的分类器来识别植物物种。

本发明的优点和积极效果是：

1、本发明基于多模态学习方案并将局部判别嵌入(LDE)的思想引入典型相关分析(CCA)，构成局部判别典型相关分析(MLDCCA)方法。在识别过程中，首先对输入数据所在流形的探索，构建了两个相邻图，然后通过使类内相邻样本最相关，类间相邻样本最不相关，同时同一物种的叶子和花之间的相关性最大，获得两个降维的投影矩阵，最后，使用具有测地线距离的1-NN分类器来识别植物物种。本发明在真实的叶和花图像数据集上进行实验，实验结果表明本发明识别准确且性能稳定。

2、本发明作为一种功能强大的监督多模态降维方法，能够从两个植物器官中提取鉴别特征，同时很好地保留鉴别信息和数据结构，并在此基础上进一步推广应用。

附图说明

图1是月季花的花及叶子图像样本；

图2是玫瑰花的花及叶子图像样本。

具体实施方式

以下结合附图对本发明实施例做进一步详述。

本发明的设计思想是：本发明将局部判别嵌入(LDE)的思想引入典型相关分析(CCA)，构成局部判别典型相关分析(MLDCCA)方法用于植物物种识别，其通过最大化来自同一类别的相邻样本的相关性和最小化来自不同类别的相邻样本的相关性，然后获得两个投影矩阵来实现特征提取。其主要技术手段是：(1)利用标签信息和数据结构将多种器官结合起来进行植物物种识别。(2)构造两个邻图，以局部方式测量类间可分离性和类内紧凑性。(3)将测地距离引入1-NN分类器。

下面首先对相关技术进行说明：

1、典型相关分析(CCA)

CCA是一种多模态学习方法，用于发现两种多视图数据之间的线性关系。它的目标是通过最大化双视图数据之间的相关性来寻找两个投影矩阵进行降维。假设一组来自n个样本的成对数据其中和是零均值的两个视图数据。表示为X＝[x₁,x₂,...,x_n]∈R^p×n和Y＝[y₁,y₂,...,y_n]∈R^q×n，CCA旨在通过最大化X和Y之间的相关系数，找到两个投影矩阵w_x∈R^p×d和w_y∈R^q×d。CCA的目标函数如下:

其中E代表数学期望，S_xx＝XX^T,S_yy＝YY^T分别是X和Y的自协方差矩阵，S_xy＝XY^T是X和Y的互协方差矩阵。

从方程(1)我们可以推断典型相关系数对于w_x和w_y的任意缩放是仿射不变的。然后，来自同一数据集的典型相关系数可以被约束为归一化单位方差。在这些约束条件下，CCA可以等价地重新表述为具有约束条件的以下优化问题:

方程(2)可以用拉格朗日乘数法求解，我们可以得到下面的广义特征值分解问题，

其中S_xy＝S_yx，λ是特征值。

在共轭正交约束下，我们可以获得多对投影方向这些方向由对应于方程(3)中广义特征值问题的前d个最大特征值的前d对特征值向量组成。其中d是降低维度。

2、局部判别嵌入(LDE)

假设m个数据点及其对应的类标签为假设属于同一类的数据点的任何子集位于子流形上。对于每个数据点x_i，它的k个最近邻N(x_i)可以分成同类近邻N_b(x_i)和异类近邻N_w(x_i)两个子集，其中N(x_i)＝N_b(x_i)∪N_w(x_i)。LDE的目标是找到一个投影矩阵A。其优化函数如下:

其中X＝[x₁,x₂,...,x_n]，α是合适的约束，0≤α≤1，D_w是对角矩阵，它的项是H_w的列和，即D_w＝∑_jH_w,ij；D_b是对角线矩阵，它的项是H_b的列和，即D_b＝∑_jH_b,ij。H_b和H_w分别表示定义为:和

3、测地距离测量

在子空间学习中，图像可以表示为高维空间中的一个点。空间中彼此靠近的点被认为比彼此远离的点更相似。一个关键因素是如何定义这些点之间的相似度来构建邻图。普通欧氏距离测量不适于在植物器官图像数据空间中定义这种相似性，因为数据位于非线性流形上，两个数据点之间的“真实距离”是测地距离，即沿着流形表面的距离，而不是直线欧氏距离。

根据上述分析，测地距离测量值定义为：

L(x_i,x_j)＝||x_i-x_j||+γ·l·(1-δ(x_i,x_j)) (5)

其中l＝max_ij||x_i-x_j||是欧几里德距离中的数据直径，γ∈[0,1]是一个调节参数，用于控制类别信息应包含的数量，并且是一个字符函数，即δ(.,.)，如果x_i和x_j属于同一类别，δ(x_i,x_j)＝1；否则δ(x_i,x_j)＝0，根据经验γ设定为0.01。

对于相邻点，输入空间中的欧氏距离可以很好地逼近测地距离，而测地距离可以通过相加相邻点之间的一系列“短跳”来逼近。对于叶或花的图像分类，很难使用欧氏距离作为相似性度量来有效地显示图像样本之间的差异，因此用作相似性度量的欧氏距离经常被测地距离代替，以获得图像样本之间的实际距离。

基于上述上述设计思想和相关技术，本发明提出一种改进的LDCCA(MLDCCA，局部判别典型相关分析)植物物种识别方法。类似于CCA和LDCCA，MLDCCA还旨在通过最大化来自同一类别的相邻样本的相关性和最小化来自不同类别的相邻样本的相关性来找到两个投影矩阵以实现特征缩减并保留局部辨别信息。下面对局部判别典型相关分析(MLDCCA)方法进行说明：

已知n个样本的n个特征对表示为X＝[x₁,x₂,...,x_n]∈R^p×n和Y＝[y₁,y₂,...,y_n]∈R^q×n，那么MLDCCA包括四个阶段。

(1)加权近邻图。首先构造两个加权近邻图来表示双视图数据集的局部判别信息。X和Y的两个相邻权重分别设计如下，

其中||·||是欧式距离，c(x_i)是x_i的标签，η^x和η^y是两个局部调整参数，通常简单地设置为

(2)优化问题。基于和MLDCCA的优化问题如下:

其中F_xx＝XX^T,F_yy＝YY^T，和

F^X和F^Y是反映样本之间相似性的两个加权自相关矩阵，其中元素分别是和而I是一个单位矩阵，F_xx,F_yy分别是X和Y的自协方差矩阵，F_xy是X和Y的互协方差矩阵。

然后应用拉格朗日乘数法求解方程(9)，相应的拉格朗日函数是

从方程(11)，我们可知

F_xyw_y＝λ₁F_xxw_x,F_yxw_x＝λ₂F_yyw_x

然后

然后

因为因此λ₁＝λ₂＝λ

方程(11)可以转化为广义特征值分解问题，

(3)特征值分解。求解方程(12)后，最优特征向量对应于方程(12)的几个最大特征值。假设双视图特征集的减少维数为d，在将特征值从大到小排序，并选择对应于前d个特征值的d个(d是(p,q)中的最小值)特征向量后，两个投影矩阵可以表示如下:

(4)降维。在获得投影矩阵W_X和W_Y之后，任何对(X，Y)都可以投影到低维融合特征向量中，该向量用作分类的特征。

从方程(6)和(7)，我们可以很容易地得出结论：(1)MLDCCA将全局和邻域判别信息嵌入到CCA中，因为F_xy包含全局互相关XY^T和两个局部加权互相关XF^XY^T和XF^YY^T；(2)允许节点i和j之间的两个判别邻权重根据k近邻自调整。判别邻权重反映每个数据点周围的局部性；(3)||x_i-x_j||越小(或||y_i-y_j||)，x_i和x_j越近(y_i或y_j)，因此(或)越大；(4)第i个和第j个节点之间的和允许根据k近邻进行自调，并且它们是对称的稀疏矩阵；(5)由于LDCCA仅利用局部近邻信息来计算相关矩阵，而没有考虑所有数据对之间的全局相关性，因此对这些相似矩阵估计的不准确会比MLDCCA更严重。

本发明基于局部判别典型相关分析(MLDCCA)方法进行植物物种识别，假设n个被标记为{c₁,c₂,…,c_n}的训练图像对其中x_i和y_i分别是相同物种的第i个叶图像和第i个花图像，相同物种的植物叶和花图像的测试图像对(x，y)以及降维d。具体包括以下步骤：

步骤1、构造两个权重分别由(6)和(7)定义的加权近邻图，并进行优化。

步骤2、对方程(12)进行特征值分解；选择与最大的d个(d小于或等于(p,q)中的最小值)特征值相对应的d个特征向量，并形成投影矩阵W_x和W_y；通过投影矩阵W_x和W_y，将每个训练图像对(x_i,y_i)和测试图像对(x,y)投影到低维融合特征向量中，分别表示为和其中i＝1,2,...,n。

步骤3、利用训练分类器，然后用训练好的分类器进行分类。

下面使用本发明在真实的叶和花图像数据集上进行实验，用以验证本发明性能，并将其与下面两种现有方法进行比较：使用手工设计的植物物种识别特征(HDF)和使用基于分数融合的多器官图像来识别植物(SFMO)。在HDF中，许多手工设计的特征从每一幅花卉和叶子图像中提取出来，并作为植物物种识别的矢量进行叠加。在SFMO中，利用CNN从每个植物器官中提取特征，通过基于分数的级融合策略融合这些特征，最后使用SVM分类器识别植物物种。所有实验均在具有3.0GHz CPU和4.0GB RAM的平台上通过MATLAB 2011b执行。

数据集：实验所采用的数据集是我们拍摄了大量的植物叶子和花的图像：这些叶子和花的图像是从中国西安的朱雀国家森林公园收集的。我们选择在相同条件下通过数码相机、智能手机和扫描仪对采集到的叶子和花拍照，以避免环境因素如光照和方向的影响，然后构建一个植物叶子和花的图像对数据集。该数据集包含来自10种植物的2500对叶和花的图像，每种植物50对图像，颜色JEPG格式为750×1024像素。图1和图2显示了一些叶子和花图像的样本。

实验结果：在实验中，每个植物器官图像(叶子和花)被对齐、灰度化并调整大小到32×32像素，每个像素256个灰度级，并匹配成图像对，其中首先对每个花图像进行背景裁剪。每个图像被连接成图像向量，然后用零均值归一化。为了克服小样本问题，PCA减少了图像向量，保持了近98％的图像能量，以选择最小数量的主成分作为特征维数。所有矢量图像对随机分为训练子集和测试子集，其中训练子集是来提取用于降维的两个投影矩阵和训练1-NN分类器，测试子集用于测试所提方法的性能。我们的测试涉及两个重要参数，即k(近邻大小)和d(减少维数)。逐步选择策略对于确定参数k和d更可行。具体来说，k根据训练集的大小从3到20选择，并观察k如何影响最终分类精度。固定k后，最佳d由最大识别率决定。调整方程(6)和(7)中的参数η^x和η^y，由等式(8)估算。使用具有测地距离的1-NN分类器进行物种识别。在下面的实验中，所有矢量图像对被分成两部分:70％用于训练，30％用于测试，选择与最大识别率相对应的k和d。基于实验，我们设定k＝10，d＝80。实验重复50次。最终识别结果是通过平均这50次运行的最大识别精度来计算的。识别结果如表1所示。

表1识别结果

为了进一步评估多器官输入和具有两种不同距离度量的1-NN分类器所取得的进展，(1)欧氏距离简记为NNE，(2)测地线距离简记为NNG，我们将多器官的结果与单个器官的结果进行比较，即分别从三个数据集，即花图像集、叶图像集和花+叶图像集，通过LDE提取特征，并通过NNE识别植物物种。这里，花+叶集表示分别通过LDE从相同物种的花图像和叶图像中提取特征，然后作为物种识别的矢量进行叠加。我们还将MLDCCA与两种广泛使用的多视图学习方法CCA和LDCCA进行了比较，并通过两种分类器NNE和NNG对MLDCCA的结果进行了比较。所有结果也显示在表1中。

从表1中，我们发现了几个事实。(1)在任何情况下，本发明所提出的方法MLDCCA都优于其他方法。原因是MLDCCA充分考虑了类别和局部信息以及两个不同器官之间的相关性，NNG可以有效地指示两个样本之间的相似性。应用NNG的MLDCCA略优于应用NNE的MLDCCA，因为NNG适用于物种分类。(2)SFMO和MLDCCA的结果高于其他方法，验证了多器官识别方法能够提高植物物种识别准确率。(3)HDF和LDE通过结合两个器官的花+叶图像集的结果不太理想，这表明简单地组合多器官图像而不考虑多器官图像之间的关系会降低识别率，因为LDE或HDF从多器官图像中叠加的特征不能很好地描述植物物种。(4)MLDCCA优于SFMO。原因是SFMO中的CNN通常需要大量的训练数据来训练，而我们的数据集对于CNN训练来说不够大。因此，SFMO的识别精度不会受益于多器官图像的组合。此外，在实验中，我们注意到SFMO的性能在很大程度上取决于训练数据集中每个物种内的图像变体。当每个物种的图像对数量足够大时，植物识别任务的性能会提高。总之，我们可以得出结论，两个器官的结合，特别是多视图学习方法和辨别信息确实有助于提高植物物种识别的性能。

从以上分析中，我们总结出本发明的优势主要来依赖于下三个因素:(1)使用两个局部近邻权重和一个局部相关性来有效地表达植物物种的分类性能；(2)1-NN分类器中的测地距离度量用来评估相似性；(3)多器官特征学习方法可以提取判别综合特征，而单器官植物识别方法忽略了不同器官之间的关系。

综上所述，本发明将LDE的思想引入到CCA中，实现多器官植物物种识别功能。叶和花的两器官图像集用于描述植物物种。此外，在1-NN分类器中，测地距离用于测量任意两个特征向量之间的相似性。通过最大化同一物种的叶和花之间的相关性以及最小化不同物种的叶和花之间的相关性，获得与叶和花相对应的两个投影矩阵来计算低维特征。在真实叶和花图像数据集上的实验结果表明，该方法比其他相比较的方法性能更好。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (4)

1.一种基于叶花融合的局部判别CCA的植物物种识别方法，其特征在于包括以下步骤：

步骤1、根据包括叶图像和花图像的双视图特征集，构建两个加权相邻图；

步骤2、通过使类内相邻样本最相关、类间相邻样本最不相关且同一物种的叶子和花之间的相关性最大，获得两个降维的投影矩阵；

步骤3、使用具有测地线距离的1-NN分类器来识别植物物种。

2.根据权利要求1所述的一种基于叶花融合的局部判别CCA的植物物种识别方法，其特征在于：所述步骤1的具体实现方法为：

双视图特征集为：设n个被标记为{c₁,c₂,…,c_n}的训练图像对其中x_i和y_i分别是相同物种的第i个叶图像和第i个花图像，(x，y)为相同物种的植物叶和花图像的测试图像对；

构造两个加权近邻图来表示双视图数据集的局部判别信息，X和Y的两个相邻权重分别设计如下：

其中||·||是欧式距离，c(x_i)是x_i的标签，η^x和η^y是两个局部调整参数并分别设置如下：

根据相邻权重和进行如下优化处理：

其中，F_xx＝XX^T,F_yy＝YY^T，

F^X和F^Y是反映样本之间相似性的两个加权自相关矩阵，其中元素分别是和I是一个单位矩阵，F_xx,F_yy分别是X和Y的自协方差矩阵，F_xy是X和Y的互协方差矩阵。

3.根据权利要求2所述的一种基于叶花融合的局部判别CCA的植物物种识别方法，其特征在于：所述获得两个降维的投影矩阵的方法为：

利用下式进行特征值分解：

最优特征向量对应于上式中的几个最大特征值；假设双视图特征集的减少维数为d，将特征值从大到小排序，并选择对应于前d个特征值的d个特征向量w_x1,w_x2,...,w_xd与w_y1,w_y2,...,w_yd后，形成如下两个投影矩阵W_x和W_y：

W_x＝[w_x1,w_x2,...,w_xd]

W_y＝[w_y1,w_y2,...,w_yd]

通过投影矩阵W_x和W_y，将每个训练图像对(x_i,y_i)和测试图像对(x,y)投影到低维融合特征向量中，分别表示为和其中i＝1,2,...,n。

4.根据权利要求3所述的一种基于叶花融合的局部判别CCA的植物物种识别方法，其特征在于：所述步骤3的具体实现方法为：利用训练分类器，然后用训练好的分类器来识别植物物种。