CN104504399A - 一种结合线性相关信息熵的多光谱数据有监督分类方法 - Google Patents

Abstract

一种结合线性相关信息熵的多光谱数据有监督分类方法，涉及一种基于线性相关信息熵和kNN分类器的遥感图像有监督分类方法。本发明的步骤为：一、人工采样后自动筛选有监督分类所需的训练样本集合；二、自动寻优确定kNN分类器算法的参数；三、使用kNN分类器算法完成对多光谱遥感图像的分类。本发明通过多变量输入的训练样本高效自动筛选过程以及分类器参数自动寻优步骤，有效改善了kNN分类器算法的分类精度且减少了分类时间，使之更加适合大数据量多光谱遥感图像的高精度分类任务。

Description

一种结合线性相关信息熵的多光谱数据有监督分类方法

技术领域

本发明属于遥感数据解译领域，涉及一种基于线性相关信息熵和kNN分类器的遥感图像有监督分类方法。

背景技术

目前，全球在应用中的大多数遥感成像系统都是多光谱的，它们能够在几个波段上同步采集图像，提供光谱特性的多个快照图像，比单一波段图像更有价值，在分类应用领域也能够获得比单一波段图像更佳的分类置信度。

分类的专题在不同应用中不尽相同，对于有监督分类(或简称监督分类)来说，分析人员必须为每个类别选择有代表性的像元作为训练区。如果多光谱图像中包含了极其丰富独特的视觉线索，就可以使用视觉检验等方法选择合适的训练区。一般情况下，必须借助其他信息，如土地数据或现有地图等来为每个类别选择具有代表性的训练区。因此，选择和检验训练区是一项非常费力的工作。

对分析人员而言，要求每个类别的样本具有相同性质，同时也需要具有一定的容许方差范围。因此在实际应用中，就需要选择不止一个训练区。如果类别方差较大，那么选择训练区也是很耗时的，同时我们也需要确定选择的训练区适合于图像分类应用。很多情况下很难选择完全同质的区域，一个常见的问题是稀疏的植被区，它可能被选择为植被类别或土壤类别。解决这个问题的一种方法是在建立最终类别特征之前从数据中清除这些突出的像元区域，可以根据给定的信号特征对训练区像元进行分类，如果一些训练像元被错误的分到其他类别，或一些像元与其所在类别的似然度比较小，应该从训练区排除这些像元点，需要根据剩余的像元重新计算信号特征；排除这些像元区域的另一种方法是当它们不满足特定的空间或光谱同质准则时，将其从训练区中排除。可见，上述两种方法均需要分析人员借助自己的经验来合理选择并运用相应的分析软件来达到目的，鉴于此，迫切需要一套能够自动判别有用分类像素集合，即包括类别标号的训练样本的分类方法。

除了上述问题，分类器的选择也是一个关键环节，针对多光谱成像波段数目不多(一般10个波段左右)、图像分辨率较高(使得样本容量大)特点，我们需要一种能够精细化处理样本数据的分类方法。k最近邻(k-Nearest Neighbor，kNN)分类器算法，是一个理论上比较成熟的方法，也是最简单有效的机器学习算法之一，比较适用于样本容量比较大的类域的自动分类。在kNN算法中，所选择的邻近点都是已经正确分类的对象，该方法在决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。kNN算法虽然从原理上也依赖于极限定理，但在类别决策时，只与极少量的相邻样本有关。由于kNN算法主要靠周围有限的邻近样本，而不是靠判别类域的方法来确定所属的类别，因此对于多光谱图像中类域交叉或重叠较多的待分类样本集(即测试样本)来说，kNN算法是一种合适的构建多光谱分类器的方法。

发明内容

本发明的目的在于提出一种针对多光谱数据特点的训练数据筛选方案，并结合kNN算法构成结合线性相关信息熵的多光谱数据有监督分类方法，对比传统kNN分类算法在减少计算时间的同时提高了分类精度。

本发明的目的是通过以下技术方案实现的：

一种结合线性相关信息熵的多光谱数据有监督分类方法，包括如下步骤：

步骤一、人工采样后自动筛选有监督分类所需的训练样本集合：

1)对于拍摄的多光谱遥感图像其中Row，Column表示多光谱遥感图像的宽和长，B表示多光谱遥感图像的波段数目，由图像分析人员按照F×F大小的采样器选择训练样本，用向量P_m，m＝1，...，F²来表示，每个P_m的维数都等于B，代表着该像素的各波段信息；

2)针对人工选择的训练样本进行自动筛选，设定每次选择的像素为M，即删除掉了F²-M个训练样本的像素；

3)计算所有可能选择的M个像素P₁，...，P_M的线性相关信息熵，并选出数值最大的一个线性相关信息熵，即则其中的便是从F²个像素中选定的M个像素；

4)对本次选择的F²个像素统一标注一个确定的类别标号Class^*，将选定的M个像素以数据对的形式归入训练样本集合，剩余的F²-M个像素也以数据对的形式归入遗弃样本集合；

5)如果需要继续选择更多的训练样本，则返回1)，否则进行步骤二。

步骤二、自动寻优确定kNN分类器算法的参数：

1)对kNN分类器参数k进行以下数据的遍历筛查：k∈{3，5，7，9}；

2)遵照kNN算法，以步骤一得到的训练样本集合为训练数据对kNN分类器进行训练，并用遗弃样本集合作为测试样本集合，计算各测试样本的判定类别标号；

3)根据各测试样本的判定类别标号统计出测试样本集合中所有像素的判定类别标号正确度，即整体分类精度，用OA来表示，对于分类器参数k的不同取值，分别计算各k对应的OA；

4)选择OA最大值所对应的k值作为kNN分类器算法的参数。

步骤三、使用kNN分类器算法完成对多光谱遥感图像的分类：

使用步骤一得到的训练样本集合作为训练数据对已知参数k的kNN分类器进行训练，之后对多光谱遥感图像上的未知类别像素进行分类。

本发明针对遥感图像分析人员面对的具体任务，提供了一种新的自动筛选训练样本方法，在筛除训练样本中的不合格像素或次优像素时，使用的是多变量输入的判别算法(线性相关信息熵)，从而能够一次对F×F采样器内的M个预选择像素进行整体评估，既高效，又能够保证选出的像素能够实现整体有用分类信息量最大；并且将遗弃的训练样本有效地结合到kNN分类器的参数选择过程中；最后借助kNN分类器算法对分析人员关心的测试样本进行自动分类，实现了一套高效、精准地有监督分类过程。本发明与现有技术相比，具有如下优点：

(1)本发明提出的基于线性相关信息熵的训练样本筛选过程，可以有效分析多变量(多光谱图像的像素向量)共同作用下的整体相关信息，并将该信息量用于评价多变量整体的有用分类信息，使得后续的分类器运算更加高效，分类结果也更准确。

(2)本发明提出的整套基于kNN的多光谱分类算法，密切结合了多光谱图像波段不多但分辨率较高的特征，设计了运算量相当的算法来对训练样本进行筛选，并且该步骤可以在分析人员完成每次F×F个像素的采样之后，由计算机自动执行，因此从实用的角度来说，不会带来任何计算压力，当分析人员选取完所有的训练样本之后，本发明方法还会借助遗弃的训练样本，自动给出kNN分类器参数k的最佳取值。

(3)解决了训练样本难以有效自动筛选的问题，并将遗弃的训练样本用于kNN分类器参数的自动寻优。

(4)本发明通过多变量输入的训练样本高效自动筛选过程以及分类器参数自动寻优步骤，有效改善了kNN分类器算法的分类精度且减少了分类时间，使之更加适合大数据量多光谱遥感图像的高精度分类任务。

附图说明

图1为本发明的流程图；

图2为具体实施方式二中实验1(本发明方法)的分类结果散点图；

图3为具体实施方式二中实验2(标准kNN方法)的分类结果散点图。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

具体实施方式一：如图1所示，本实施方式提供的结合线性相关信息熵的多光谱数据有监督分类方法共分为三个步骤，具体步骤如下：

步骤一：人工采样后自动筛选有监督分类所需的训练样本集合。

1)对于拍摄的多光谱遥感图像其中Row，Column表示多光谱遥感图像的宽和长，B表示多光谱遥感图像的波段数目，由图像分析人员按照F×F大小的采样器选择训练样本，为了保证后续筛选工作能够进行，要求F≥2，即一次可选择F²个像素的训练样本，用向量P_m，m＝1，...，F²来表示，每个P_m的维数都等于B，代表着该像素的各波段信息；

2)针对人工选择的训练样本进行自动筛选，设定每次选择的像素为M，即删除掉了F²-M个训练样本的像素；

3)计算所有可能选择的M个像素P₁，...，P_M的线性相关信息熵，并选出数值最大的一个线性相关信息熵，即则其中的便是从F²个像素中选定的M个像素；

4)对本次选择的F²个像素统一标注一个确定的类别标号Class^*，将选定的M个像素以数据对的形式归入训练样本集合，剩余的F²-M个像素也以数据对的形式归入遗弃样本集合；

5)如果需要继续选择更多的训练样本，则返回1)，否则进行后面的步骤。

下面给出上述步骤中使用的线性相关信息熵(CorrelationInformation Entropy，CIE)的计算方法：

对于从F²个像素中选出的M个像素P₁，...，P_M(其维数都等于B)，代表着该像素的各波段信息，可以合并成M×B维的矩阵Q：

Q＝{P_m(b)}_{1≤m≤M，1≤b≤B}。

接着，执行如下归一化步骤：

$\begin{array}{c}{\hat{P}}_m\left(b\right)=P_m\left(b\right)-\frac{P_{m\max }+P_{m\min }}{2}\\ {\tilde{P}}_m\left(b\right)=\frac{{\hat{P}}_m\left(b\right)}{\sqrt{\underset{i=1}{\overset{B}{\mathrm{\Σ}}}{\left({\hat{P}}_m\left(i\right)\right)}^2}}\end{array};$

其中，P_mmax和P_mmin分别代表P_m的最大元素和最小元素，进一步可得到归一化后的矩阵

$\tilde{Q}={\left\{{\tilde{P}}_m\left(b\right)\right\}}_{1\≤m\≤M,1\≤b\≤B}.$

接着，计算的相关矩阵S：

其中，“′”代表矩阵转置运算，计算出相关矩阵S的特征值λ_b，1≤b≤B，则线性相关信息熵的定义如下：

$\mathrm{CIE}(P_1,...,P_M)=1+\underset{b=1}{\overset{B}{\mathrm{\Σ}}}\frac{{\mathrm{\λ}}_b}{B}{\log }_B\frac{{\mathrm{\λ}}_b}{B}.$

若各像素的波段数据完全独立，则S除对角线外的所有元素皆为0，λ_b皆为1，CIE(P₁，...，P_M)取得最小值0；若各像素的波段数据完全相关，则S的所有元素皆为1，λ_b中仅一个特征值为B，其余特征值皆为0，CIE(P₁，...，P_M)取得最大值1。可见，线性相关信息熵可以衡量多变量输入向量之间的相关信息，而我们在选择训练数据的时候正是要挑出整体相关信息含量大的M个像素，因此该方法非常适合。

此外，在上述计算中，矩阵求解特征值是最为耗时的计算，但是由于多光谱遥感图像一般一次成像的波段数目在10个波段左右，因此相关矩阵S也是一个10维左右的方阵，求解其特征值运算的所消耗时间并不多，这也为该方案的推广提供了便利。

步骤二：自动寻优确定kNN分类器算法的参数。

1)考虑到kNN分类运算在图像处理领域常用的参数选择范围，一般k取10以内的数，同时考虑实施过程中所能承受的运算效率，因此我们对k进行以下数据的遍历筛查：k∈{3，5，7，9}。

2)遵照kNN算法，以前面得到的训练样本集合为训练数据对kNN分类器进行训练，并用遗弃样本集合作为测试样本集合，并计算各测试样本的判定类别标号。

3)由于遗弃样本集合中的每个数据对都包含了像素向量和其类别标号，据此类别标号就可以统计出测试样本集合中所有像素的判定类别标号正确度，即整体分类精度(Overall Accuracy，OA)。对于分类器参数k的不同取值，分别计算各k对应OA。

4)选择OA最大值所对应的k值作为kNN分类器算法的参数。

下面给出上述步骤中使用的kNN分类器算法：

设训练样本集合构成的矩阵为H＝[P₁，P₂，…，P_N]∈R^B×N，测试样本集合构成的矩阵为G＝[P_N+1，P_N+2，…，P_N+L]∈R^B×L，其中，R是全体实数集合，B是测试样本维数，N是训练样本总数，L是测试样本总数。在kNN分类器算法中，首先要计算每个测试样本到所有训练样本的距离：

$d_{\mathrm{ij}}=\sqrt{{|P_i-P_j|}^2}=\sqrt{{\left|P_i\right|}^2+{\left|P_j\right|}^2-2<P_i,P_j>};$

其中，i＝1，2，…，N，j＝N+1，N+2，…，N+L，“<>”代表内积运算。在实际计算中我们计算的实际是该距离的平方：

D_ij＝d_ij ²。

考虑到矩阵运算技巧，采用如下的快速运算方法，可以使上述计算在编程时代码紧凑而高效。以第i个测试样本P_N+i为例(为表述方便我们简记P_N+i为G(i))，需要计算其与所有N个训练样本的距离平方，可以按照下列快速运算方法执行，首先计算T₁＝H.^2，其中，“.^”代表对矩阵的每个元素求次方，T₁∈R^B×N。接着，将T₁中每列的元素求和得到T₂∈R^N×1，然后转换为一个1×N的矩阵T₀＝T₂′，其中，“′”代表矩阵转置运算。

对第i个测试样本G(i)做类似上面的运算，计算T₃＝G(i).^2，其中，T₃∈R^B×1。接着，对其列向量元素求和得到数值t₄，然后扩展出1×N维矩阵T₄＝[t₄t₄…t₄]∈R^1×N(即T₄由N个t₄组成)。则可得测试样本G(i)到所有N个训练样本的距离平方矩阵为：

D_i＝T₄+T₀-2G(i)′H；

其中，D_i∈R^1×N，所含各元素即测试样本G(i)到所有N个训练样本的距离平方。

从上述N个距离平方中，取数值最小的前k个(即kNN分类器参数k)，并记录其对应的训练样本类别标号，统计出现最多的类别标号作为此测试样本的判定类别。

重复以上步骤，直到所有L个测试样本都完成类别判定。

步骤三：使用kNN分类器算法完成对多光谱遥感图像的分类。

使用前面得到的训练样本集合作为训练数据对已知参数k的kNN分类器进行训练，之后就可以对多光谱遥感图像上的未知类别像素进行分类。

需要说明的是kNN分类器算法属于有监督分类，如果未知类别像素实际上属于训练样本所涵盖类别之外的某种类别，那么其分类结果是没有任何意义的，对于这种情况的解决办法，可以增加包含更多类别的训练样本，或者缩减测试样本覆盖的图像范围。

具体实施方式二：本实施方式选取一个标准的多光谱图像数据，FLCl数据集合。该数据是1966年6月拍摄于美国印第安纳州Tippecanoe郡南部某区域的机载12波段多光谱数据，并由相关科研人员实地调研给出了地面真实参考图，所以采用该数据集合进行实验，能够实际评估出分类器算法的分类精度。实验所用电脑的配置如下：Intel i32.3GHz处理器，4G内存。

实验1：利用本发明方法对FLCl数据集合进行分类。我们选取了FLCl图像中像素最多的5种农作物进行实验，以3×3大小的采样器选择训练样本，每次保留7个像素，对于每次筛选有种排列组合。5种农作物都各进行了20次采样，即选出了180个像素的训练样本，经过筛选之后，每种农作物都保留了140个像素的训练样本；5种农作物的测试样本分别为49240、26056、17627、15901、12433个像素。

执行步骤一：人工采样后自动筛选有监督分类所需的训练样本集合。

在进行自动筛选时，以3×3大小的采样器选择训练样本，设定每次保留的像素为7个，即自动删除2个。对5种农作物分别进行20次独立采样操作，最终获得的训练样本集为：

{(P₁，Class₁)，(P₂，Class₂)，…，(P₇₀₀，Class₇₀₀)}；

遗弃样本集为：

{(P₇₀₁，Class₇₀₁)，(P₇₀₂，Class₇₀₂)，…，(P₉₀₀，Class₉₀₀)}。

执行步骤二：自动寻优确定kNN分类器算法的参数。

将{(P₁，Class₁)，(P₂，Class₂)，…，(P₇₀₀，Class₇₀₀)}作为训练数据对kNN分类器进行训练，同时将{P₇₀₁，P₇₀₂，…，P₉₀₀}作为测试数据并计算各测试样本的判定类别标号，根据{Class₇₀₁，Class₇₀₂，…，Class₉₀₀}可以统计出遗弃样本集合中所有像素的整体分类精度(Overall Accuracy，OA)，对于分类器参数k的不同取值，分别计算其对应的OA，并选出OA最大时的参数k＝5作为kNN分类器算法的参数k。

执行步骤三：使用kNN分类器算法完成对多光谱遥感图像的分类。

以{(P₁，Class₁)，(P₂，Class₂)，…，(P₇₀₀，Class₇₀₀)}作为训练数据对参数k＝5的kNN分类器进行训练，对5种农作物的测试样本像素(分别为分别为49240、26056、17627、15901、12433个像素)进行类别标号确定。由于FLCl数据具有地面真实参考图，因此能够计算每种农作物的分类精度，同时也统计出所有测试样本的总体分类精度。此外，还对各执行步骤的时间消耗进行了统计。

实验2：作为与本发明提出的分类方法进行对比的实验，采用标准kNN分类器算法来进行对比实验，其中参数k直接使用实验1寻优的结果k＝5，不再进行确定kNN分类器算法参数的实验(这其实是为实验2节省了时间)。在对比实验中也采用相同的训练样本，即5种农作物同样都选取了180个像素的训练样本，但是并不经过筛选，测试样本也和实验1一致，对5种农作物的测试样本依像素进行分类，获得每种农作物的分类精度以及所有测试样本的总体分类精度。此外，对标准kNN分类器算法的时间消耗也进行了统计。

图2和图3分别是实验1和实验2的分类结果散点图，其中的白点表示分类错误的像素，仔细观察两图，可以发现实验1的错分类像素略少。具体分类精度如表1所示，对比本发明方法和传统kNN方法，尽管在类别4上精度稍有下降(下降幅度仅0.0629％)，其余4种类别精度提升比较明显；所有测试样本的总体分类精度更是提高了1.1191％。

表1 实验1和实验2的分类精度统计

	实验1	实验2
			类别1分类精度(％)	83.0210	82.2545
类别2分类精度(％)	60.4479	59.4171
			类别3分类精度(％)	85.9356	84.2986
类别4分类精度(％)	96.3693	96.4322
			类别5分类精度(％)	60.5430	57.0593
总体分类精度(％)	78.0392	76.9201

此外，我们还统计了两个实验的时间消耗，见表2。其中，实验1的耗时分为三部分，分别统计三个步骤的时间消耗，即步骤一的筛选训练样本时间，步骤二的分类器参数寻优时间，步骤三的kNN分类时间；而实验2则为单一的分类运算时间。可见，本发明方法通过筛选训练样本，简化了kNN算法所构建的分类器结构，有效减少了分类步骤的时间消耗，对该实施例而言减少了11.21秒，即使在所有步骤都包括在内的总体耗时上也有5.03秒的优势。

表2 实验1和实验2的运行时间统计

	实验1	实验2
			步骤一：筛选训练样本时间(秒)	2.57	0
步骤二：分类器参数寻优时间	3.61	0

(秒)
			步骤三：kNN分类时间(秒)	46.18	57.39
总体耗时(秒)	52.36	57.39

以上两个实验充分说明了本发明方案的可行及高执行效率，并较传统方案能够带来更好的分类精度。

Claims (4)

1.一种结合线性相关信息熵的多光谱数据有监督分类方法，其特征在于所述方法步骤如下：

步骤一、人工采样后自动筛选有监督分类所需的训练样本集合：

1)对于拍摄的多光谱遥感图像其中Row，Column表示多光谱遥感图像的宽和长，B表示多光谱遥感图像的波段数目，由图像分析人员按照F×F大小的采样器选择训练样本，用向量P_m，m＝1，...，F²来表示，每个P_m的维数都等于B，代表着该像素的各波段信息；

2)针对人工选择的训练样本进行自动筛选，设定每次选择的像素为M，即删除掉了F²-M个训练样本的像素；

3)计算所有可能选择的M个像素P₁，...，P_M的线性相关信息熵，并选出数值最大的一个线性相关信息熵，即则其中的便是从F²个像素中选定的M个像素；

4)对本次选择的F²个像素统一标注一个确定的类别标号Class^*，将选定的M个像素以数据对的形式归入训练样本集合，剩余的F²-M个像素也以数据对的形式 $(P_{M+1}^{*},{\mathrm{Class}}^{*}),...,(P_{F^2}^{*},{\mathrm{Class}}^{*})$ 归入遗弃样本集合；

5)如果需要继续选择更多的训练样本，则返回1)，否则进行步骤二；

步骤二、自动寻优确定kNN分类器算法的参数：

1)对kNN分类器参数k进行以下数据的遍历筛查：k∈{3，5，7，9}；

2)遵照kNN算法，以步骤一得到的训练样本集合为训练数据对kNN分类器进行训练，并用遗弃样本集合作为测试样本集合，计算各测试样本的判定类别标号；

3)根据各测试样本的判定类别标号统计出测试样本集合中所有像素的判定类别标号正确度，即整体分类精度，用OA来表示，对于分类器参数k的不同取值，分别计算各k对应的OA；

4)选择OA最大值所对应的k值作为kNN分类器算法的参数；

步骤三、使用kNN分类器算法完成对多光谱遥感图像的分类：

使用步骤一得到的训练样本集合作为训练数据对已知参数k的kNN分类器进行训练，之后对多光谱遥感图像上的未知类别像素进行分类。

2.根据权利要求1所述的结合线性相关信息熵的多光谱数据有监督分类方法，其特征在于所述F≥2。

3.根据权利要求1所述的结合线性相关信息熵的多光谱数据有监督分类方法，其特征在于所述步骤一中，线性相关信息熵的计算方法如下：

(1)对于从F²个像素中选出的M个像素P₁，...，P_M，代表着该像素的各波段信息可以合并成M×B维的矩阵Q：

Q＝{P_m(b)}_{1≤m≤M，1≤b≤B}；

(2)执行如下归一化步骤：

${\hat{P}}_m\left(b\right)=P_m\left(b\right)-\frac{p_{m\max }+P_{m\min }}{2}$

${\tilde{P}}_m\left(b\right)=\frac{{\hat{P}}_m\left(b\right)}{\sqrt{\underset{i=1}{\overset{B}{\mathrm{\&Sigma;}}}{\left({\hat{P}}_m\left(i\right)\right)}^2}};$

其中，P_mmax和P_mmin分别代表P_m的最大元素和最小元素，进一步可得到归一化后的矩阵

$\tilde{Q}={\left\{{\tilde{P}}_m\left(b\right)\right\}}_{1\&le;m\&le;M,1\&le;b\&le;B};$

(3)计算的相关矩阵S：

其中，“′”代表矩阵转置运算，计算出相关矩阵S的特征值λ_b，1≤b≤B，则线性相关信息熵的定义如下：

$\mathrm{CIE}(P_1,...,P_M)=1+\underset{b=1}{\overset{B}{\mathrm{\&Sigma;}}}\frac{{\mathrm{\&lambda;}}_b}{B}{\log }_B\frac{{\mathrm{\&lambda;}}_b}{B}.$

4.根据权利要求1所述的结合线性相关信息熵的多光谱数据有监督分类方法，其特征在于所述步骤二中，kNN分类器算法如下：

设训练样本集合构成的矩阵为H＝[P₁，P₂，…，P_N]∈R^B×N，测试样本集合构成的矩阵为G＝[P_N+1，P_N+2，…，P_N+L]∈R^B×L，其中，R是全体实数集合，B是测试样本维数，N是训练样本总数，L是测试样本总数；

按照下列运算方法计算测试样本P_N+i，简记为G(i)，与所有N个训练样本的距离平方：

首先计算T₁＝H.^2，其中，“.^”代表对矩阵的每个元素求次方，T₁∈R^B×N，接着将T₁中每列的元素求和得到T₂∈R^N×1，然后转换为一个1×N的矩阵T₀＝T₂′，其中，“′”代表矩阵转置运算；

对第i个测试样本G(i)做类似上面的运算，计算T₃＝G(i).^2，其中，T₃∈R^B×1，接着，对其列向量元素求和得到数值t₄，然后扩展出1×N维矩阵T₄＝[t₄ t₄ … t₄]∈R^1×N；

则可得测试样本G(i)到所有N个训练样本的距离平方矩阵为：

D_i＝T₄+T₀-2G(i)′H；

其中，D_i∈R^1×N，所含各元素即测试样本G(i)到所有N个训练样本的距离平方；

从上述N个距离平方中，取数值最小的前k个，并记录其对应的训练样本类别标号，统计出现最多的类别标号作为此测试样本的判定类别；

重复以上步骤，直到所有L个测试样本都完成类别判定。