CN105631474B - 基于Jeffries-Matusita距离和类对决策树的高光谱数据多分类方法 - Google Patents

Abstract

本发明公开了一种基于Jeffries‑Matusita距离和类对决策树的高光谱数据多分类方法，其步骤如下：一、计算两两类别之间的Jeffries‑Matusita距离，得到Jeffries‑Matusita距离矩阵；二、基于总体可分性度量得到执行顺序表，构建类对决策树；三、采用基于Jeffries‑Matusita距离的加权核SVM分类器执行整个类对决策树策略所确定的分类任务，直到完成叶节点的二分类任务，得到最终单一类别属性。本发明通过引入Jeffries‑Matusita距离加权矩阵，使得分类器在训练的过程中充分利用样本的类间信息，且不会造成太大的参数波动。同时在区分单一样本时使用较少的二分类器，且每层“淘汰”了一半了类别，增强了加权分类的针对性，从而将每个子分类器的分类误差进一步降低，提高了分类精度，适用于高光谱数据的模式识别应用。

Description

基于Jeffries-Matusita距离和类对决策树的高光谱数据多 分类方法

技术领域

本发明属于模式识别领域，涉及一种单独定制子分类器的基于Jeffries-Matusita距离的加权核SVM分类方法。

背景技术

高光谱图像数据利用窄波段获取图像数据，通常从可见光波段到热红外波段获得数百个波段的数据，图像的光谱分辨率可达到纳米数量级。可以把整个数据看成三个维度的数据长方体，其中两维确定对象在观测平面中的位置，第三维确定对象在光谱波长中的位置。由于高光谱图像空间维与光谱维相结合这一特点，在目标识别过程中的表述区分能力十分优秀。在这种运用中，支持向量机(SVM)是一种非常有效的工具。由于其核函数和核技巧的使用，可以将非线性问题转化为线性问题求解。

高光谱图像数据各维度之间统计特征不同，可通过概率统计中的可分性概念进行定量分析，来对其进行综合利用。对于高光谱数据的多分类任务，某些特定波段会比其他波段包含更多的有用信息，可以通过波段处理方法来突出这些特定波段的作用。在SVM分类器的框架下，定制专属的加权核函数是最直接的方法，即根据各波段所含有用信息的多少来分配不同的加权系数。通过加权核函数可以精炼样本中对分类有帮助的信息，从而提高分类精度。

由于SVM在本质上只能完成二分类任务，加权核SVM同样是一个二分类器，所以高光谱数据的典型多分类应用往往需要借助多个SVM及一定的策略来构建多分类器。对于组建多分类器的各SVM，以往的研究都采取了一致对待的简单方案。更加精确的方法是采取一种更为有利的多分类方案，即根据各子分类器所处理的两类对象的特点对其进行核函数的单独定制。在多分类策略上，广泛应用的有OAA(One-Against-All，一对多)、OAO(One-Against-One，一对一)A&O(All-and-One，一对多和一对一混合)、DAG(Direct AcyclicGraph，有向无环图)以及BTS(Binary Tree of SVM，二叉树支持向量机)，他们各有优缺点，而多类支持向量机为了保证分类精度与泛化能力，通常会采取一种折衷的办法解决问题。类对决策树(Pairwise Decision Tree，PDT)是一种类似于“淘汰赛”的多类策略，在决策时每一层次并行处理多个“赛事”，即同时处理多个二分类问题，减少了单个样本所需的分类次数，进而减少潜在的累积误差；但是该策略需要一种好的分类器相配合，否则每一级分类所造成的误差都会直接传导并影响最终的分类精度。因此我们考虑将类对决策树与定制化的加权核SVM分类相结合，因为再优秀的分类器也有其适用范围，所以只有定制化的分类器才能得到满意的分类效果。

在鉴别模式识别中的分类有效性方面，分类错误率是一种常用的度量值。但是分类错误率函数过于复杂，以至于无法作为一种分析手段加以应用。因此错误率的最小上界被广泛运用。常用的错误率上界有Chernoff距离，Bhattacharyya距离和Jeffries-Matusita距离，Jeffries-Matusita距离作为错误率上界可以指导核分类器的分类策略，使得分类有效性好的波段在分类器中能够发挥更大的作用，从而提高分类精度。一般而言，Jeffries-Matusita距离较前两者的运算复杂度稍高，但是衡量的准确性也更好。

发明内容

为了有效提高当前基于OAO等策略的多分类器的分类精度，本发明提出了一种改进的基于Jeffries-Matusita距离的加权核SVM分类方法，通过引入Jeffries-Matusita距离加权矩阵，使得分类器在训练的过程中充分利用样本的类间信息，且不会造成太大的参数波动。同时在区分单一样本时使用较少的二分类器，且每层“淘汰”了一半了类别，增强了加权分类的针对性，从而将每个子分类器的分类误差进一步降低，提高了分类精度，适用于高光谱数据的模式识别应用。

本发明的目的是通过以下技术方案实现的：

一种基于Jeffries-Matusita距离和类对决策树的高光谱数据多分类方法，包括如下步骤：

一、计算两两类别之间的Jeffries-Matusita距离，得到Jeffries-Matusita距离矩阵；

二、基于总体可分性度量得到执行顺序表，构建类对决策树；

三、采用基于Jeffries-Matusita距离的加权核SVM分类器执行整个类对决策树策略所确定的分类任务，直到完成叶节点的二分类任务，得到最终单一类别属性。

本发明与现有技术相比，具有如下优点：

1、在传统的SVM分类方法中，引入Jeffries-Matusita距离加权矩阵，使得分类器在训练的过程中充分利用样本的类间信息，从而改善分类效率。Jeffries-Matusita距离求出的系数都小于1，引入加权核中之后，不会造成太大的参数波动，因而能起到较好的加权效果，从而引导分类器得出更好的分类精度。

2、与传统的OAO分类策略相比，本方法在区分单一样本时所使用的二分类器减少，提高了运算效率。同时对类对决策树策略下的各子分类器执行顺序给予合理指导，具体是通过利用Jeffries-Matusita距离计算得到的总体可分性度量来确定执行顺序，这就使得可分性好的类别首先从测试样本中被分出去，可分性不好的类别则依次放在后面进行区分，且每层“淘汰”了一半了类别，增强了加权分类的针对性，从而将每个子分类器的分类误差进一步降低。

附图说明

图1为本发明的流程图；

图2为类对决策树的结构图；

图3为标准多项式核函数分类效果图(部分结果截图)；

图4为基于Jeffries-Matusita距离加权核函数的分类效果图(部分结果截图)。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

具体实施方式一：本实施方式提供了一种基于Jeffries-Matusita距离和类对决策树的高光谱数据多分类方法，通过计算任意两个类别之间的Jeffries-Matusita距离作为可分性度量，指导类对决策树的构建以提高分类精度，对输入数据进行预处理并利用Jeffries-Matusita距离表示的可分性度量向量对单个子分类器进行加权，接着按照类对决策树的顺序使用加权核SVM子分类器对样本分类。如图1所示，共分为五个步骤，具体步骤如下：

步骤一：计算两两类别之间的Jeffries-Matusita距离。

1)对于拍摄的多光谱遥感图像其中Row,Column表示多光谱遥感图像的宽和长，B表示多光谱遥感图像的波段数目，设z＝1,2,...,N是B维的实数集样本，y_z∈{1,2,...,L}是与x_z相关的类别标签，其中N是样本数目，L是类别数目。

2)将同一类别的像素全部集中到一起，按标签序号的大小升序排列，方便进一步的数据处理。

3)选择两个不同的类别，设为第p类和第q类，p∈{1,2,...,L},q∈{1,2,...,L}。设n_p和n_q分别为训练样本中第p类和第q类样本的个数。对于样本的第k-1、k和k+1三个波段，首先将这三个波段的数据进行归一化处理，接着将这三个波段上的第p类和第q类样本的数据按照列向量的形式存到两个临时变量矩阵D_p和D_q中，其中D_p为n_p×3维的矩阵，D_q为n_q×3维的矩阵。

4)计算D_p与D_q每一列的均值，得到两个1×3的均值矩阵Mean_p与Mean_q。

5)计算D_p与D_q的协方差，得到两个3×3的协方差矩阵Cov_p与Cov_q。

6)对所有两两不相同的类别进行Jeffries-Matusita距离矩阵计算：

其中，Ω^k _p,q分别为第p类和第q类之间的Jeffries-Matusita距离，k为当前波段号。

7)计算Jeffries-Matusita距离矩阵该矩阵是一个三维矩阵，每一个元素都是一个B×1维的向量。由于Jeffries-Matusita距离为两个不同类别之间的参数，所以对角线上的元素为0向量，J_p,q为B×1的向量，p＝{1,2,...,L}，q＝{1,2,...,L}且p≠q，Ω^B _p,q为第p类和第q类之间的Jeffries-Matusita距离，i为波段数目。将第p类和第q类之间的距离与第q类和第p类之间的距离合并成一个距离。

8)重复第3)步到第6)步，直到对训练样本任意两个类别的所有维度都进行了Jeffries-Matusita距离的计算过程为止。

步骤二：基于总体可分性度量构建类对决策树。

多分类任务考虑类别总数大于等于3的情况。与普通的决策树构建过程不同，本方法利用Jeffries-Matusita距离指导类对决策树的构建。

1)为了确定类对决策树中二分类器的构建顺序，需要知道任意两个类别之间在全波段上的可分性，仍以第p类和第q类为例，令则可以得到一个全新的Jeffries-Matusita累加矩阵该矩阵是一个二维矩阵，其中作为第p类和第q类之间的总体可分性度量，Ωⁱ _p,q分别为第p类和第q类之间的Jeffries-Matusita距离，i为波段数目。

2)将任意两个类别的总体可分性度量按数值大小递减的顺序排列，可以得到任意两个类别之间的可分性度量的大小关系，作为构建类对决策树时的准则。设<Λ₁,Λ₂,...,Λ_W>为数值递减的顺序排列，W为两两类别之间总体可分性度量的个数，Λ₁为累加矩阵中的最大值，即其中p₁∈{1,2,...,L},q₁∈{1,2,...,L},p₁≠q₁；Λ₂为除外累加矩阵中的最大值，即其中p₂∈{1,2,...,p₁-1,p₁+1,...,L}，q₂∈{1,2,...,q₁-1,q₁+1,...,L},p₂≠q₂；依次类推，Λ_W为累加矩阵中的最小值。则类对决策树策略下的执行顺序表即为该排列顺序<Λ₁,Λ₂,...,Λ_W>。

3)首先构建类对决策树的起始层。按照<Λ₁,Λ₂,...,Λ_W>的顺序，选择Λ₁对应的两个类别。接着选择Λ₂对应的的两个类别，若Λ₂对应的两类别中有与Λ₁对应类别重复的类别，则依次选取Λ_i(i＞2)对应的两个类别，直到没有重复类别为止。重复这一步骤直到没有类别剩余或者仅有单一类别剩余。将一同选出的两个类别称为一个类对，若类别数目L是偶数，则类对个数为个；若类别数目L是奇数，则类对个数为个，其中[]表示取整部分，且最后的类对中仅有一类，称为单独类对。

4)对上述每一个类对构建一个二分类器，分类结果中的单一类别与其他类对结果中的单一类别组成一个新的待分类集合。对单独类对则无需构建二分类器，直接将该单独类对中的类别加入每一个待分类集合中即可。

5)接着构建类对决策树的中间层。对于每一个待分类集合，建立该待分类集合对应的中间节点。设待构建的中间层为第s层，若上层待分类集合中类别个数L^(s-1)为偶数，则对应中间节点的类别个数为若上层待分类集合中类别个数L^(s-1)为奇数，则对应中间节点的类别个数为根据第3)步中筛选类对的规则，按照<Λ₁,Λ₂,...,Λ_W>的顺序重新构建第s层的类对。

6)重复第4)步和第5)步，直到每一个待分类集合中只有一个类别时，将这些待分类集合作为类对决策树的叶节点。

步骤三：采用基于Jeffries-Matusita距离的加权核SVM分类器执行整个类对决策树策略所确定的分类任务，直到完成叶节点的二分类任务。

当类对决策树策略下的执行顺序确定之后，我们即可通过构建的子分类器(每个子分类都是二分类器)来完成所有L类的分类任务。每一个子分类器都将含有一个基于Jeffries-Matusita距离的子分类器指导系数，用于提高各子分类器的分类性能，获得置信率更高的分类结果。对于处理p,q类的子分类器来说，子分类器指导系数采用J_p,q。

1)将原始样本分为训练样本与测试样本，分别用二维矩阵TrainSamples和TestSamples来表示，矩阵的列向量对应单一像素各波段的光谱信息数据，其中训练样本占总样本的1/G，其余(G-1)/G剩余样本为测试样本，G为分组系数，即常说的“几折交叉验证”的折数。

2)对训练样本和测试样本进行归一化处理。

3)选择合适的核函数。由于多项式核具有较强的推广能力，且对高光谱数据类型来说运算速度较快，所以本发明选择多项式核作为SVM分类器的核函数；同时，为了将之前采用Jeffries-Matusita距离得到的分类指导系数引入到各子分类器当中，需要在SVM分类器的框架下采用加权改进的多项式核函数作为SVM的核函数：

K(J_p,qx,J_p,qx')＝(x^TJ_p,q ^TJ_p,qx'+1)^τ。

其中x为输入样本，τ为多项式核函数的幂次，一般取奇数。τ越大，则计算误差越小，但计算复杂度增加。τ一般取{1,3,5}。为了保证加权核SVM子分类器正确执行，在加权后还应对输入的样本数据进行归一化处理。

4)依照步骤二所确定的类对决策树分类策略，每一层都采用第3)步中所构建的基于Jeffries-Matusita距离的加权核SVM分类器去完成训练和测试。

5)反复执行第4)步，直到类对决策树策略所确定的分类任务都完成后，即执行至类对决策树的叶节点，这时整个针对测试样本的多分类任务即可终止。

具体实施方式二：本实施方式将改进的基于Jeffries-Matusita距离的加权核SVM多分类方法运用到高光谱图像数据分类过程中，结合类对决策树策略进一步提高分类精度。

首先给出高光谱图像数据的描述：

实验对象为Botswana高光谱图像数据，波长范围为400nm-2500nm，包含242个波段，数据集中剔除了大气吸收干扰的若干波段，留下了145个波段作为实验对象。Botswana数据集分为两个部分，第一部分为高光谱数据矩阵，其维度为1476×256×145，第二部分为每一个像元所对应的标识符矩阵，其维度是1476×256，一共包含14类样本。我们选取了图像中像素数最多的6类作为实验样本，类别及样本数详见表1。

表1各类别所对应的实验样本数

执行步骤一：输入高光谱图像数据和对应的标签，需要计算Jeffries-Matusita距离的波段N为145个。实验分组系数选择G＝2，即2折交叉验证。类别数目L＝6。计算每个波段任意两个不同类别的Jeffries-Matusita距离，得到矩阵Jeffries-Matusita距离矩阵J。

执行步骤二：计算Jeffries-Matusita累加矩阵将任意两个类别的总体可分性度量按数值大小递减的顺序排列，得到<Λ₁,Λ₂,...,Λ₁₅>。并依据此排列构建类对决策树，如图2所示，简洁起见，从第三层开始仅给出了类对决策树一半的分支与节点。类对决策树中起始层与中间层括号内数字表示一个类对，括号外数字表示单独类对；最后一层为叶节点，括号内数字表示对该样本的最终分类结果。

执行步骤三：将总体样本以2折分为训练样本与测试样本，利用分类指导系数J_p,q对各子分类器加权，接着对训练样本与测试样本归一化并按照类对决策树对其进行分类。由于多项式核在高光谱数据处理领域具有较好的参数适应性，因此取参数τ为3即可。

实验还加入了标准多项式核函数作为对比。保持输入样本不变，不对单个子分类器进行加权，且运用OAO策略依次分类。需要注意的是，采用标准多项式核函数的SVM分类方法，并不能采用本发明的类对决策树分类策略，因为类对决策树的生成需要指导信息，而采用标准多项式核函数的SVM分类方法并不能提供任何分类指导信息。

结论：对比试验的结果见表2。对于可分性较好的类别，如类别1、类别3和类别4，基于Jeffries-Matusita距离加权核的多分类方法与标准多项式核方法均有优良的分类结果；对于可分性较差的类别2、类别5和类别6，基于Jeffries-Matusita距离加权核的多分类方法的分类精度比标准多项式核方法的分类精度上升了5.73％、4.44％和10.45％，所有测试样本的总体精度也有3.42％的提升。也需要注意本发明方法的分类过程总时间有所增加，因为改进核方法对核函数中的每个元素都增加了加权系数的乘积运算，虽然对单一样本的分类次数减少，改进的核方法所消耗的时间还是比标准多项式核方法更多。且计算Jeffries-Matusita加权矩阵的时间还没有计入该耗时比较，这是因为这些加权矩阵具有通用性，当处理类似图像数据时可以直接采用先前算好的数据。所以综合这两方面因素，本方法实际消耗的时间大于标准多项式核方法，但换来的是更高的分类精度。

表2两种方法的分类精度及时间消耗的比较

图3为标准多项式核函数的分类结果图，图4为Jeffries-Matusita距离加权核函数的分类结果图，由于原图较大，故这两个图都是截取了部分相同区域后的截图。黑色区域为分类正确的样本，白色区域为分类错误的样本，灰色为未参与分类的背景区域。从两幅分类结果图对比也可看出，相对于标准多项式核方法来说，本方法提出的基于Jeffries-Matusita距离的多分类方法的分类正确率要更高一些。

Claims (4)

1.一种基于Jeffries-Matusita距离和类对决策树的高光谱数据多分类方法，其特征在于所述方法步骤如下：

一、计算两两类别之间的Jeffries-Matusita距离，得到Jeffries-Matusita距离矩阵；

二、基于总体可分性度量得到执行顺序表，利用Jeffries-Matusita距离构建类对决策树，具体步骤如下：

1)选择两个不同的类别，设为第p类和第q类，令则得到一个全新的Jeffries-Matusita累加矩阵其中作为第p类和第q类之间的总体可分性度量，Ωⁱ _p，q分别为第p类和第q类之间的Jeffries-Matusita距离，i为波段数目，L是类别数目；

2)将任意两个类别的总体可分性度量按数值大小递减的顺序排列，得到任意两个类别之间的可分性度量的大小关系，即类对决策树策略下的执行顺序<Λ₁,Λ₂,...,Λ_W>，作为构建类对决策树时的准则，W为两两类别之间总体可分性度量的个数，W＝L×(L-1)/2，Λ₁为累加矩阵中的最大值，即其中p₁∈{1,2,...,L},q₁∈{1,2,...,L},p₁≠q₁；Λ₂为除外累加矩阵中的最大值，即其中p₂∈{1,2,...,p₁-1,p₁+1,...,L}，q₂∈{1,2,...,q₁-1,q₁+1,...,L},p₂≠q₂；

3)构建类对决策树的起始层：①按照<Λ₁,Λ₂,...,Λ_W>的顺序，选择Λ₁对应的两个类别；②选择Λ₂对应的的两个类别，若Λ₂对应的两类别中有与Λ₁对应类别重复的类别，则依次选取Λ_i对应的两个类别，i>2，直到没有重复类别为止；③重复步骤②直到没有类别剩余或者仅有单一类别剩余；④将一同选出的两个类别称为一个类对，若类别数目L是偶数，则类对个数为个；若类别数目L是奇数，则类对个数为个，其中[]表示取整部分，且最后的类对中仅有一类，称为单独类对；

4)对上述每一个类对构建一个二分类器，分类结果中的单一类别与其他类对结果中的单一类别组成一个新的待分类集合；

5)构建类对决策树的中间层：对于每一个待分类集合，建立该待分类集合对应的中间节点，设待构建的中间层为第s层，若上层待分类集合中类别个数L^(s-1)为偶数，则对应中间节点的类别个数为若上层待分类集合中类别个数L^(s-1)为奇数，则对应中间节点的类别个数为根据第3)步中筛选类对的规则，按照<Λ₁,Λ₂,...,Λ_W>的顺序重新构建第s层的类对；

6)重复第4)步和第5)步，直到每一个待分类集合中只有一个类别时，将这些待分类集合作为类对决策树的叶节点；

三、采用基于Jeffries-Matusita距离的加权核SVM分类器执行整个类对决策树策略所确定的分类任务，直到完成叶节点的二分类任务，得到最终单一类别属性。

2.根据权利要求1所述的基于Jeffries-Matusita距离和类对决策树的高光谱数据多分类方法，其特征在于所述步骤一中，Jeffries-Matusita距离的计算公式如下：

其中，Ω^k _p,q分别为第p类和第q类之间的Jeffries-Matusita距离，k为当前波段号，Mean_p与Mean_q分别为第p类和第q类在第k-1、k和k+1三个波段上的均值矩阵，Cov_p与Cov_q分别为第p类和第q类在第k-1、k和k+1三个波段上的协方差矩阵；

Jeffries-Matusita距离矩阵的计算公式如下：

其中，p＝{1,2,...,L}，q＝{1,2,...,L}且p≠q，Ω^B _p,q为第p类和第q类之间的Jeffries-Matusita距离，B表示多光谱遥感图像的波段数目，L是类别数目。

3.根据权利要求1所述的基于Jeffries-Matusita距离和类对决策树的高光谱数据多分类方法，其特征在于所述步骤三的具体步骤如下：

1)将原始样本分为训练样本与测试样本，分别用二维矩阵TrainSamples和TestSamples来表示，矩阵的列向量对应单一像素各波段

的光谱信息数据，其中训练样本占总样本的1/G，其余(G-1)/G剩余样本为测试样本，G为分组系数；

2)对训练样本和测试样本进行归一化处理；

3)采用加权改进的多项式核函数K(J_p,qx,J_p,qx')作为SVM的核函数，且在加权后进行归一化处理；

4)依照步骤二所确定的类对决策树分类策略，每一层都采用第3)步中所构建的基于Jeffries-Matusita距离的加权核SVM分类器去完成训练和测试；

5)反复执行第4)步，直到类对决策树策略所确定的分类任务都完成后，即执行至类对决策树的叶节点，这时整个针对测试样本的多分类任务即可终止。

4.根据权利要求3所述的基于Jeffries-Matusita距离和类对决策树的高光谱数据多分类方法，其特征在于所述多项式核函数K(J_p,qx,J_p,qx')的计算公式如下：

K(J_p,qx,J_p,qx')＝(x^TJ_p,q ^TJ_p,qx'+1)^τ；

其中，x为输入样本，τ为多项式核函数的幂次，p＝{1,2,...,L}，q＝{1,2,...,L}且p≠q，Ω^k _p,q分别为第p类和第q类之间的Jeffries-Matusita距离，B表示多光谱遥感图像的波段数目，L是类别数目。