CN1790379A - 一种遥感影像决策树分类系统及方法 - Google Patents

Abstract

本发明涉及遥感遥测技术领域，特别是一种遥感影像决策树分类系统及方法。系统包括：遥感影像存储单元、显示器、影像显示放缩漫游控制单元、训练区域人机交互定义单元、决策树生长与剪枝单元、决策树及分类精度评价结果文件保存单元、遥感影像分类处理单元、分类结果影像文件存储单元。方法包括：启动程序启动分类系统；遥感影像显示程序显示影像；训练区域定义程序定义训练样区；样本数据提取程序提取训练样本数据；决策树生长和剪枝程序生成决策树；精度评价程序计算分类精度评价指标；遥感影像逐像元分类处理程序生成分类结果影像。本发明可用于星载或机载传感器获取的各种遥感影像的分类处理。

Description

一种遥感影像决策树分类系统及方法

技术领域

本发明涉及遥感遥测技术领域，特别是一种遥感影像决策树分类系统及方法。

背景技术

利用星载或机载传感器可以获取反映地球表面地物空间分布及光谱信息的遥感影像。遥感影像覆盖范围一般很大，通过人工目视判读方法识别各种地物类型的空间分布并生成专题图，需要消耗大量的人力物力，分类结果也较易受解译者主观因素的影响。利用计算机设备和分类系统对遥感影像进行计算机辅助分类不仅可避免由于人工分类主观因素太大而引起的分类结果的非客观性，而且可以大大提高遥感影像分类速度，从而节省大量的人力物力，提高工作效率。

决策树分类技术是随者数字化、网络化、信息化时代的到来，在模式识别、数据挖掘领域应用逐步广泛的一种模式识别技术。这种技术已经成功应用于网络信息的识别和搜索，字符的识别分类，医学影像的分类识别。遥感影像分类系统的核心技术是分类规则的生成单元，在本系统中对应的是决策树生长与剪枝单元。国内外现有遥感影像分类系统的分类规则生成单元主要包括：平行管道法、马氏距离法、最小距离法、最大拟然法、光谱角制图法、神经元网络分类等，但尚未见采用决策树的遥感影像分类系统。

发明内容

本发明的目的在于提供一种遥感影像决策树分类系统及方法。

本发明是一种采用决策树分类规则有监督生成技术的遥感影像分类系统。将决策树分类规则有监督生成技术成功应用于遥感影像分类系统是本方案的技术创新点。

本系统总的结构、组成如图1所示。该系统建立在计算机系统之上，由计算机存储器、计算机处理器、内存单元、显示器等是本系统的基本结构组成，是本系统其它结构单元实现功能的基础。遥感影像存储单元、影像显示、放缩、漫游控制单元，为训练样地人机交互定义单元的功能实现提供了底层支持。决策树生长与剪枝单元、决策树精度评价单元分别完成决策树的训练生成和精度评价功能。遥感影像分类处理单元利用已经生成的决策树对输入影像进行逐像元分类处理。系统各个功能的中间处理结果可以通过四个存储单元：遥感影像存储单元、训练样本数据文件存储单元、决策树及分类精度评价结果文件存储单元和分类结果影像文件存储单元完成自/到计算机存储器的读写操作。本系统结构单元的相互关系可通过各单元的功能进一步描述如下：

(1)通过遥感影像存储单元将遥感影像读到计算机内存单元，通过影像显示装置(显示器)和影像显示放缩漫游控制单元显示影像，并且可以通过用户交互任意放大、缩小和漫游影像。

(2)用户通过训练区域人机交互定义单元，用鼠标在显示的影像上定义一些区域，用户知道这些区域的地物类型，并将该类型信息作为区域类别属性加以定义。这些已知类型的区域称为训练样区。

(3)将定义好的训练样区及在计算机内存中的影像，输入训练样本数据提取单元，经过处理后得到每个训练区域的训练样本数据。

(4)训练样本数据输入决策树生成单元，生成决策树；进而在决策树精度验证单元进行分类精度计算，并通过决测树、分类精度评价结果文件保存单元将处理结果以文件的形式保存到计算机硬盘中。

(5)以生成的决策树和遥感影像本身为输入，遥感影像分类处理单元完成遥感影像的分类处理，并输出分类结果影像。

本系统的核心技术是决策树分类规则有监督生成的实现方法，即决策树生长和剪枝方法，简称决策树生成方法。决策树生成方法是一种通过构造决策树来发现训练集中分类知识的模式识别方法，其核心是如何构造精度高、规模小的决策树。决策树是一棵根树，内部节点是最佳扩展属性，叶节点是类别属性；内部节点的最佳射出边是最佳扩展属性的取值。内部节点对应的数据集是不纯的，根节点对应的数据集是训练集E。其它内部节点对应的数据集是E的子集；叶节点对应的数据集是纯的训练子集。

如图4所示，构造决策树生长与剪枝分为三个步骤：1)决策树的生长：由训练集生成一个决策树；2)决测树剪枝：从训练集中随机抽取训练样本检验生成的决策树，剪去影响预测精度的分枝；3)决策树精度评价及结果输出。这三个步骤所涉及的关键技术方法的说明如下：

(1)决策树的生长

决策树的生长采用自上而下的方法，对应图4，处理流程可描述如下：

1)对于训练集E，若E是纯的，类别属性为X_i，则选择X_i为叶节点(也是根节点)，结束；否则把E作为当前数据集；

2)对于当前数据集，选择最佳扩展属性作为节点，根据最佳扩展属性的取值进行分值，并把数据集划分成不同的子数据集E’；

3)处理子数据集E’，若E’是纯的，类别属性值为X’_i，则选择X’_i为叶节点，转4)；否则把该数据集作为当前数据集，转2)；

4)若子数据集处理完，结束；否则转3)。

在以上过程中，找出最佳扩展属性是生长决策树的关键，它需要先确定扩展属性的形式，找出符合这种形式的所有扩展属性，然后评价这些扩展属性，选出最具判别能力的扩展属性作为最佳扩展属性。下面三个段落(2)～(5)对具体方法进行了说明。段落(6)对决策树的剪枝方法进行了说明。

(2)决策树的扩展属性形式

扩展属性的形式有单属性、数值联合属性和逻辑联合属性。这里决策树采用的是线性数值联合属性。线性数值联合属性的形式为：

$w_{d+1}+\underset{i=1}{\overset{d}{\mathrm{\Σ}}}\left(w_i{x}_i\right)---\left(1\right)$

其中x₁，x₂，...，x_d是d个不同描述属性的属性值变量，w₁，w₂，w₃，...，w_d+1为系数。这类扩展属性根据下式

$w_{d+1}+\underset{i=1}{\overset{d}{\mathrm{\Σ}}}\left(w_i{x}_i\right)\≤0$ 和 $w_{d+1}+\underset{i=1}{\overset{d}{\mathrm{\Σ}}}\left(w_i{x}_i\right)>0---\left(2\right)$

将当前数据集分成两枝。上式实际上在两个类别中间确定了一个超平面(Hyperplane)。

(3)决策树分裂好坏的判断标准

为了在一个树节点上找出一个好的超平面，需要定义一个判断好坏的标准(Goodness)。这里采用“二分”准则(towing criterion)。该准则认为：一个可以将数据集几乎等分为二个子集的超平面，而且尽量不将属于同一个类别的样本分到由超平面化分的两个子空间中去的超平面是较好的。设一个分裂(Split)将样本集划分为二个子集，落入左面的样本数为P_L，落入右面的样本数为P_R，则二分准则可写为

$(P_L\·P_R){\left(\underset{j}{\mathrm{\Σ}}|p\left(j\right|L)-p\left(j\right|R)|\right)}^2---\left(3\right)$

其中p(j|L)和p(j|R)分别表示类j在左、右面的样本数。能够将上式最大化的分裂或超平面就是一个好的分裂或超平面。

(4)构造超平面的方法

寻找一个好的超平面也就是确定(1)式各系数的数值，而且可以使(4-9)式达到最大值。这里所采用的方法是：假设P表示在一个树的节点上的n个样本的集合。首先随机产生一个超平面H，其形式为

$w_{d+1}+\underset{i=1}{\overset{d}{\mathrm{\Σ}}}\left(w_i{x}_i\right)=0$

然后将P中的每一个样本P_j＝(x_j1，x_j2，...，x_jd)代入下式

$V_j=w_{d+1}+\underset{i=1}{\overset{d}{\mathrm{\Σ}}}\left(w_i{x}_{\mathrm{ji}}\right)---\left(5\right)$

若V_j＞0，则样本P_j在平面的上面，否则在平面的下面。进而利用(3)式判断超平面的好坏。为了寻找最佳的超平面，可以依此设定一个参数w_k为待调整的参数，其它参数保持当前值不变，总可以寻找到一个可以使(3)式最大的w_k。

(5)避免陷入局部最大的方法

当无法改变当前的超平面以使二分准则取得更大的值时，超平面方程参数的搜索过程就出现了局部最大现象。局部最大使我们无法得到全局最大解。

该决策树生成方法实现了两种避免陷入局部最大的方案。一是重新启动随机生成初始参数的过程。二是在当前已经寻找到的最优参数W的基础上，生成一个新的参数W+αR，其中W为参数向量，W＝(w₁，w₂，...，w_d+1)，α为常数，R为一个随即方向向量，R＝(r₁，r₂，...，r_d)。

(6)决策树剪枝方法

决策树剪枝方法采样后剪枝算法，即在决策树生成后再进行剪枝，采用的是Brieman等提出的代价复杂度(Cost Complexity)剪枝法。

本发明采用这种基于决策树的遥感影像分类方案，和现有的遥感影像分类方案相比，有如下优点：(1)是一种非参数分类器，不要求训练样本符合特定统计分布的假设；(2)决策树产生的规则具有可解释性强，易于理解的特点；(3)决策树生成后的分类操作速度快。

附图说明

图1是本发明的遥感影像决策树分类系统的结构图。

图2是图1遥感影像决策树分类系统的结构中的决策树生长与剪枝单元装置的结构图。

图3是本发明的遥感影像决策树分类系统的方法流程图。

图4是总方法流程图3中“决策树生长与剪枝”的方法流程图。

具体实施方式

图1中，遥感影像决策树分类系统结构，由遥感影像存储单元1、计算机显示器2、影像显示放缩漫游控制单元3、训练区域人机交互定义单元4、训练样本数据提取单元5、训练样本数据文件存储取单元6、决策树生长与剪枝单元7、决策树精度验证单元8、决策树及分类精度评价结果文件保存单元9、遥感影像分类处理单元10、分类结果影像文件存储单元组成11，其中，遥感影像存储单元1连接于计算机存储器12和影像显示放缩漫游控制单元3之间，影像显示放缩漫游控制单元3连接于计算机显示器2和训练区域人机交互定义单元4之间，训练区域人机交互定义单元4连接于训练样本数据提取单元5，训练样本数据提取单元5连接于训练样本数据文件存储取单元6，训练样本数据文件存储取单元6分别连接于计算机存储器12和决策树生长与剪枝单元7，决策树生长与剪枝单元7连接于决策树精度评价单元8和决策树及分类精度评价结果文件保存单元9，决策树及分类精度评价结果文件保存单元9连接于遥感影像分类处理单元10，遥感影像分类处理单元10连接于分类结果影像文件存储单元11，以上各单元运行在计算机处理器和内存单元13。

图2中，遥感影像决策树分类系统(图1)中核心单元“决策树生成及剪枝单元”由顺序执行的决策树生长单元14和决策树剪枝单元15组成，以训练样本集为最初输入数据，剪枝后的决策树为输出结果。决策树的生长单元14由坐标轴平行单变量分裂单元16、不纯度计算单元17、斜线多变量分裂单元18、自根节点到叶节点分裂循环过程控制单元19组成。决策树剪枝单元15由剪枝精度测试子样本数据集随机抽取单元20、N个不同程度的剪枝方式生成单元21和决策树剪枝精度评价单元22组成。斜线多变量分裂单元18由超平面方程参数初始化单元23、方程参数依此调整的循环控制单元24和避免陷入局部最大的循环控制单元25组成。

各单元间的连接方式为：训练样本数据集26分别连接于坐标轴平行单变量分裂单元16、斜线多变量分裂单元18、剪枝精度测试子样本数据集随机抽取单元20；不纯度计算单元17分别连接于坐标轴平行单变量分裂单元16、超平面方程参数初始化单元23和当前参数在当前节点样本集上的不纯度单元27；当前参数在当前节点样本集上的不纯度单元27连接于方程参数依此调整的循环控制单元24；方程参数依此调整的循环控制单元24分别连接于当前参数在当前节点样本集上的不纯度单元27、避免陷入局部最大的循环控制单元25；避免陷入局部最大的循环控制单元25连接于当前参数在当前节点样本集上的不纯度单元27；坐标轴平行单变量分裂单元16连接于最佳分裂方式选择单元28；最佳分裂方式选择单元28连接于自根节点到叶节点分裂循环过程控制单元19；自根节点到叶节点分裂循环过程控制单元19连接于决策树生长单元14；决策树生长单元14连接于决策树决策树剪枝单元15；N个不同程度的剪枝方式生成单元21连接于N个剪枝后的决策树单元29；N个剪枝后的决策树单元29连接于决策树剪枝精度评价单元22；剪枝精度测试子样本数据集随机抽取单元20连接于决策树剪枝精度评价单元22；决策树剪枝精度评价单元22连接于剪枝后的决策树30。

图3遥感影像决策树分类系统的方法，其步骤如下：

步骤S3-1：启动该遥感影像分类系统；

步骤S3-2：通过遥感影像显示程序显示影像，用户可以对影像进行放缩、漫游等显示操作；

步骤S3-3：通过系统提供的训练区域定义程序，定义各个区域的类别属性；这些训练区域图形数据储存在计算机内存中，也可以永久保存到图形文件中；

步骤S3-4：以上一步处理结果为输入，通过样本数据提取程序提取训练样本数据；这些数据储存在计算机内存中，也可永久保存到数据文件中；

步骤S3-5：以上一步处理结果为输入，通过决策树生长与剪枝程序生成决策数，同时计算精度评价指标，处理结果可以永久保存为数据文件；

步骤S3-6：以上一步处理结果为输入，对遥感影像进行逐像元分类处理，输出分类结果影像。

(虚线表示可选择的程序输入方式)

图4决策树生长与剪枝程序的方法，其具体步骤如下：

步骤S4-1：以训练样本数据文件为输入，从中读取训练样本数据，生成训练样本集E；

步骤S4-2：对于训练集E，若E是纯的，类别属性为X_i，则选择X_i为叶节点(也是根节点)，转向S4-6；否则把E作为当前数据集，转S4-3；

步骤S4-3：对于当前数据集E，选择最佳扩展属性作为节点，根据最佳扩展属性的取值进行分枝，并把数据集划分成不同的子数据集E’；

步骤S4-4：处理子数据集E’，若子数据集E’是纯的，类别属性值为X’_i，则选择X’_i为叶节点，转S4-5；否则把该数据集作为当前数据集，即令E＝E’，转S4-3；

步骤S4-5：若子数据集E’处理完，S4-6；否则转S4-4；

步骤S4-6：终止决策树生长过程，将生成的决策树传给下一步骤；

步骤S4-7：执行基于代价复杂度的决策树剪枝过程；

步骤S4-8：决策树精度评价过程，该过程可以对系统产生的决策树分别训练样本集和精度检验样本集进行分类精度评价；

步骤S4-9：决策树及分类精度评价结果文件的输出(硬盘存储)。

Claims (6)

1.一种遥感影像决策树分类系统，由计算机存储器、计算机处理器、内存单元、显示器等是本系统的基本结构，是本系统的基础，遥感影像存储单元、影像显示、放缩、漫游控制单元，为训练样地人机交互定义单元的功能实现提供了底层支持，决策树生长与剪枝单元、决策树精度评价单元分别完成决策树的训练生成和精度评价，遥感影像分类处理单元利用已经生成的决策树对输入影像进行逐像元分类处理，系统各个中间处理结果可以通过四个存储单元：遥感影像存储单元、训练样本数据文件存储单元、决策树及分类精度评价结果文件存储单元和分类结果影像文件存储单元完成自/到计算机存储器的读写操作。

2.根据权利要求1的遥感影像决策树分类系统，其特征在于，遥感影像决策树分类系统，具体构成如下：由遥感影像存储单元(1)、计算机显示器(2)、影像显示放缩漫游控制单元(3)、训练区域人机交互定义单元(4)、训练样本数据提取单元(5)、训练样本数据文件存储取单元(6)、决策树生长与剪枝单元(7)、决策树精度验证单元(8)、决策树及分类精度评价结果文件保存单元(9)、遥感影像分类处理单元(10)、分类结果影像文件存储单元组成(11)，其中，遥感影像存储单元(1)连接于计算机存储器(12)和影像显示放缩漫游控制单元(3)之间，影像显示放缩漫游控制单元(3)连接于计算机显示器(2)和训练区域人机交互定义单元(4)之间，训练区域人机交互定义单元(4)连接于训练样本数据提取单元(5)，训练样本数据提取单元(5)连接于训练样本数据文件存储取单元(6)，训练样本数据文件存储取单元(6)分别连接于计算机存储器(12)和决策树生长与剪枝单元(7)，决策树生长与剪枝单元(7)连接于决策树精度评价单元(8)和决策树及分类精度评价结果文件保存单元(9)，决策树及分类精度评价结果文件保存单元(9)连接于遥感影像分类处理单元(10)，遥感影像分类处理单元(10)连接于分类结果影像文件存储单元(11)，以上各单元运行在计算机处理器和内存单元(13)。

3.根据权利要求1的遥感影像决策树分类系统，其特征在于，决策树生长和剪枝单元构成如下；

决策树生成及剪枝单元，由顺序执行的决策树生长单元(14)和决策树剪枝单元(15)组成，以训练样本集为最初输入数据，剪枝后的决策树为输出结果，决策树的生长单元(14)由坐标轴平行单变量分裂单元(16)、不纯度计算单元(17)、斜线多变量分裂单元(18)、自根节点到叶节点分裂循环过程控制单元(19)组成，决策树剪枝单元(15)由剪枝精度测试子样本数据集随机抽取单元(20)、N个不同程度的剪枝方式生成单元(21)和决策树剪枝精度评价单元(22)组成，斜线多变量分裂单元(18)由超平面方程参数初始化单元(23)、方程参数依此调整的循环控制单元(24)和避免陷入局部最大的循环控制单元(25)组成，

各单元间的连接方式为：训练样本数据集(26)分别连接于坐标轴平行单变量分裂单元(16)、斜线多变量分裂单元(18)、剪枝精度测试子样本数据集随机抽取单元(20)；不纯度计算单元(17)分别连接于坐标轴平行单变量分裂单元(16)、超平面方程参数初始化单元(23)和当前参数在当前节点样本集上的不纯度单元(27)；当前参数在当前节点样本集上的不纯度单元(27)连接于方程参数依此调整的循环控制单元(24)；方程参数依此调整的循环控制单元(24)分别连接于当前参数在当前节点样本集上的不纯度单元(27)、避免陷入局部最大的循环控制单元(25)；避免陷入局部最大的循环控制单元(25)连接于当前参数在当前节点样本集上的不纯度单元(27)；坐标轴平行单变量分裂单元(16)连接于最佳分裂方式选择单元(28)；最佳分裂方式选择单元(28)连接于自根节点到叶节点分裂循环过程控制单元(19)；自根节点到叶节点分裂循环过程控制单元(19)连接于决策树生长单元(14)；决策树生长单元(14)连接于决策树决策树剪枝单元(15)；N个不同程度的剪枝方式生成单元(21)连接于N个剪枝后的决策树单元(29)；N个剪枝后的决策树单元(29)连接于决策树剪枝精度评价单元(22)；剪枝精度测试子样本数据集随机抽取单元(20)连接于决策树剪枝精度评价单元(22)；决策树剪枝精度评价单元(22)连接于剪枝后的决策树(30)。

4.一种遥感影像决策树分类系统的方法，其步骤如下：

步骤S3-1：启动该遥感影像分类系统；

步骤S3-2：通过遥感影像显示程序显示影像，用户可以对影像进行放缩、漫游等显示操作；

步骤S3-3：通过系统提供的训练区域定义程序，定义各个区域的类别属性；这些训练区域图形数据储存在计算机内存中，也可以永久保存到图形文件中；

步骤S3-4：以上一步处理结果为输入，通过样本数据提取程序提取训练样本数据；这些数据储存在计算机内存中，也可永久保存到数据文件中；

步骤S3-5：以上一步处理结果为输入，通过决策树生长与剪枝程序生成决策数，同时计算精度评价指标，处理结果可以永久保存为数据文件；

步骤S3-6：以上一步处理结果为输入，对遥感影像进行逐像元分类处理，输出分类结果影像。

5.根据权利要求4的遥感影像决策树分类系统的方法，其特征在于，决策树生长与剪枝方法步骤如下：

分为三个步骤：1)决策树的生长：由训练集生成一个决策树；

2)决测树剪枝：从训练集中随机抽取训练样本检验生成的决策树，剪去影响预测精度的分枝；

3)决策树精度评价及结果输出。

6.根据权利要求4或5的遥感影像决策树分类系统的方法，其特征在于，决策树生长与剪枝的方法，其具体步骤如下：

步骤S4-1：以训练样本数据文件为输入，从中读取训练样本数据，生成训练样本集E；

步骤S4-2：对于训练集E，若E是纯的，类别属性为X_i，则选择X_i为叶节点(也是根节点)，转向S4-6；否则把E作为当前数据集，转S4-3；

步骤S4-3：对于当前数据集E，选择最佳扩展属性作为节点，根据最佳扩展属性的取值进行分枝，并把数据集划分成不同的子数据集E’；

步骤S4-4：处理子数据集E’，若子数据集E’是纯的，类别属性值为X’_i，则选择X’_i为叶节点，转S4-5；否则把该数据集作为当前数据集，即令E＝E’，转S4-3；

步骤S4-5：若子数据集E’处理完，S4-6；否则转S4-4；

步骤S4-6：终止决策树生长过程，将生成的决策树传给下一步骤；

步骤S4-7：执行基于代价复杂度的决策树剪枝过程；

步骤S4-8：决策树精度评价过程，该过程可以对系统产生的决策树分别训练样本集和精度检验样本集进行分类精度评价；

步骤S4-9：决策树及分类精度评价结果文件的输出。

Images