CN106844739A - 一种基于神经网络协同训练的遥感图像变化信息检索方法 - Google Patents

Abstract

本发明提供一种基于神经网络协同训练的遥感图像变化信息检索方法。主要包括以下两个过程：神经网络模板集训练过程，建立训练样本，对其进行特征提取并形成变化特征矢量，按照不同特征组合方式，训练形成不同的神经网络模板；遥感图像变化信息检索过程，用户根据应用需求输入目标查询变化影像对，利用训练好的神经网络模板集计算其归属概率值，同时计算与变化特征库中数据的距离，以距离与归属概率值的比值作为相似性，结合相关数据库信息，最终输出相似变化影像对。本发明很好地利用了已有训练样本，增强了变化信息检索方法的鲁棒性，提高了遥感图像变化信息检索的效率和准确性，能够很好应用在遥感图像变化信息快速发现和检索方面。

Description

一种基于神经网络协同训练的遥感图像变化信息检索方法

技术领域

本发明涉及图像检索技术领域和变化检测信息发掘领域，更具体的说，是涉及一种基于神经网络协同训练的遥感图像变化信息检索方法。

技术背景

由于人类赖以生存的地球及其环境随着时间的不断变化而变化，对于地表地物变化信息准确而及时地掌握，能够很好地辅助人类决策，对于人类应对自然环境的变化至关重要。遥感技术是能够宏观研究环境变化的重要手段，遥感数据作为一种重要的空间数据源，已经在环境监测、资源管理、灾害预报、重大工程监理、国防安全等领域发挥着重要作用。近年来，随着航天和航空遥感技术的飞速发展，遥感数据量正以每天TB级的速度在增长。这些不同遥感平台获取的具备多空间分辨率、多光谱分辨率、多时间分辨率的遥感数据，能够为不同应用领域的用户提供遥感信息支持。但同时，也为变化监测模型的普适性、时效性提出了更高的要求。因此，如何能够从海量的遥感数据中，设计实现一种能够满足不同用户不同应用需求的遥感变化信息快速发现和检索方式则成为一个关键问题，解决这个关键问题则必须具备高效准确的遥感图像变化信息检索方法。

近年来，国际上不同领域的学者针对不同的应用目标研究了大量的变化检测方法和模型，按照变化检测模型处理对象的不同，可以将变化检测方法划分为基于像素的变化检测方法和面向对象的变化检测方法(Zhu Z,Woodcock C E.Continuous changedetection and classification of land cover using all available Landsat data[J].Remote Sensing of Environment,2014,144(1):152-171)。传统的基于像素的变化检测方法，往往是针对中低分辨率卫星数据，其对数据预处理(辐射校正、几何校正或几何配准等)要求严格，对地物形状、纹理、结构、上下文关系等特征应用较少等缺陷。而面向对象变化检测方法，是基于“同物同谱，异物异谱”假设下，其对象多半是基于图像分割的基础上，分割粒度对于对象的表示至关重要，“过分割”和“欠分割”问题依然是一项重要问题(Hussain M,Chen D,Cheng A,et al.Change detection from remotely sensed images:From pixel-based to object-based approaches[J].Isprs Journal ofPhotogrammetry&Remote Sensing,2013,80(2):91-106；Deilami B R,Ahmad B B,SaffarM R A,et al.Review of Change Detection Techniques from Remotely Sensed Images[J].Research Journal of Applied Sciences Engineering&Technology,2015,2(10):221-229)。同时，受变化检测实验数据获取方式的限制，以及卫星、传感器多样性的限制，现有的变化检测方法往往是针对某类传感器或某类特殊应用，在海量多元遥感数据下的适用性和推广性较差。故，现有的变化检测方法并不能满足海量数据背景下，不同应用领域快速、有效地发现地表变化信息的需求。

基于内容的遥感图像的检索(Ma C,Dai Q,Liu J,et al.An improved SVM modelfor relevance feedback in remote sensing image retrieval[J].InternationalJournal of Digital Earth,2014,7(9):725-745)作为一种以遥感图像内容为查询方式的图像检索方式，相对于传统的基于关键字或元数据(传感器类型、轨道号、区域位置、获取时间等)的遥感图像查询检索方式，能有效利用遥感图像的不同层次的特征，在一定程度上满足了海量遥感数据背景下，不同用户对包含感兴趣目标或场景的遥感图像快速发现和获取需求。由于变化信息的发现，其本质也是基于一对或多对遥感影像相似变化的查询检索方式。然而由于用户对目标变化类型的理解往往存在差异性，因此如何充分利用已有的训练样本数据，以弥补个人理解差异，提高查询结果的准确性和效率，具有重要意义。

人工神经网络(Artificial Neural Network)又称连接机模型，是在现代神经学、生物学、心理学等学科研究的基础上产生的，它反映了生物神经系统处理外界事物的基本过程，是在模拟人脑神经组织的基础上发展起来的计算系统。它具有生物神经系统的基本特征，在一定程度上反映了人脑功能，是对生物系统的某种模拟，具有大规模并行、分布式处理、自组织、自学习等优点，被广泛应用于语音分析、图像识别、数字水印、计算机视觉等领域，取得了许多突出的成果，已经成为模式识别的强有力的工具。本发明将神经网络引入到遥感图像训练样本模式的识别中，同时鉴于单一神经网络模板的不稳定性，结合协同训练方法，提出了一种基于神经网络协同训练的遥感图像变化信息检索方法。本发明很好地利用了已有训练样本，增强了变化信息检索方法的鲁棒性，提高了遥感图像变化信息检索的效率和准确性，能够用于不同传感器、不同时相的遥感图像变化信息快速发现和检索方面。

发明内容

本发明提出了一种基于神经网络协同训练的遥感图像变化信息检索方法，其目的是充分利用已有的训练样本，提高了遥感图像变化信息检索的效率和准确性。同时，采用协同训练的方式，增强了变化信息检索方法的鲁棒性。该发明作为一种基于内容的变化检测信息的发现方式，较好地满足了不同应用领域的用户从海量的遥感数据集中，快速、有效地发现不同变化目标信息的需求。

一种基于神经网络协同训练的遥感图像变化信息检索方法包括以下几个步骤：

(1)训练样本库的构建

根据试验区域的地理、气候等原因，设定基本的变化类型。并从遥感图像中，裁切出对应变化的遥感图像块，以此作为基于神经网络协同训练的遥感图像变化信息检索方法的训练样本集。包括的主要步骤有：

(1-1)选定的原始遥感影像集，选定相同区域不同时相的遥感数据组成原始遥感影像集；

(1-2)假彩色图像生成，选择合适的波段组合形式，合成对应的假彩色图像；

(1-3)图像裁切，通过针对各景影像的四角裁切，实现图像的配准；

(1-4)分层分块的图像瓦片生成，按照分层分块的切割策略，对遥感影像进行切割，切割成分块的图像块，并实现分块后图像入库管理操作；

(1-5)变化样本的生成，按照正向全排法形成变化样本；

(1-6)训练样本库的生成，从(1-5)中生成的变化样本中，选取典型地物变化类型样本，形成典型变化训练样本库。

(2)神经网络模板集的训练过程

根据已有的训练样本，对样本进行特征提取，形成变化特征矢量，设置神经网络模板，按照不同特征组合方式，训练形成不同的神经网络模板集。主要包括以下几个步骤：

(2-1)训练样本选取设定，根据变化类型，选定不同类型的训练样本遥感图像对；

(2-2)特征提取，对训练样本遥感图像对进行特征提取，形成变化特征矢量；

(2-3)筛选特征子集，根据需求为不同的神经网络模板选取不同的特征子集，以作为神经网络模型的特征输入；

(2-4)构建神经网络结构，设置神经网络隐含层的个数，以及每个隐含层神经元的个数；

(2-5)神经网络训练，采用BP学习机制，用步骤2-1选定的训练样本，以及步骤2-2选定的特征子集，训练步骤2-4设定的神经网络结构参数；

(2-6)形成神经网络模板。

(3)遥感图像变化信息检索过程

(3-1)用户根据各自不同的应用需求，输入需要查询的变化前/后的目标变化影像对；

(3-2)分别对目标变化影像对提取特征矢量，并按照变化的顺序组成目标变化矢量；

(3-3)计算类别归属概率，归属概率为所有神经网络模板集的归属概率之和；计算公式如下所述：

其中，M为神经网络模板集中模板个数，p_ij为用第j个神经网络模板得到属于类别i的归属概率，P_i即为目标变化图像对属于类别i的归属概率。

(3-4)按照一定的距离度量算法，在变化特征库中，计算目标变化图像对的变化特征与特征库的距离，支持欧氏距离、加权欧氏距离和cos距离匹配函数；

(3-5)计算相似度并排序，目标变化图像对与特征库中第k个变化特征矢量的相似度为：

其中，d_k为步骤3-3中计算的目标变化图像对距离数据库中第k个变化特征矢量的距离，第k个变化图像对的类别为i,P_i为步骤2中计算的目标变化图像对属于类别i的归属概率值。

(3-6)根据相似变化特征矢量的排序结果，结合遥感影像库和元数据库信息，输出对应的相似变化检测影像对。

附图说明

此处提供的附图仅用于进一步阐述本发明，构成本发明的一部分，本申请的示意性实施例机器说明用于解释本发明申请，并不构成对本申请的不当限定，在附图中：

图1是本发明基于神经网络协同训练的遥感图像变化信息检索方法一实施例的流程图；

具体实施过程

下文结合说明书附图1，以Landsat-5和Landsat-8卫星遥感影像数据为例，对本发明的具体实施过程作详细说明。

如图1所示，基于内容的遥感图像变化检测信息检索方法包括以下几个步骤：

(1)训练样本库的构建

(1-1)选定的原始遥感影像集为：覆盖北京区域的Landsat 5和Landsat 8卫星的123行032列数据；时间跨度为1996-2015年；

(1-2)Landsat5和Landsat8的假彩色图像生成，其中，Landsat 5影像选取波段5、4、3，Landsat 8影像选取波段6、5、4分别作为红、绿、蓝三个波段合成假彩色图像。同时，需要将Landsat 8uint16的数据格式转化为uint8格式，保存格式为TIFF/Geotiff格式的彩色图像；

(1-3)图像裁切，通过针对各景影像的四角裁切，实现图像的配准；

(1-4)分层分块的图像瓦片生成，按照分层分块的切割策略，对遥感影像进行切割，切割成分块的图像块，并实现分块后图像入库管理操作。本发明的实施例中，图像块切割尺寸为128*128像素；

(1-5)变化样本的生成，按照正向全排法形成变化样本，以1996、1997、1998、1999、2000、2001和2002七年连续数据为例，简介几种组成方式。正向全排法，是指按照时间顺序的正序进行全排列，也即1996→1997、1996→1998、1996→1999、1996→2000、1996→2001、1996→2002、1997→1998、…、2001→2002，总共21组变化形式；

(1-6)训练样本库的生成，从(1-6)中生成的变化样本中，选取耕地->裸地、耕地->建筑物、耕地/植被->水、裸地->耕地、裸地->建筑物、裸地->水、水->耕地、水->裸地和水->建筑物等9种类型的变化样本，形成训练样本库。

表1训练样本类型说明表

(2)神经网络模板集的训练过程

根据已有的训练样本，对样本进行特征提取，形成变化特征矢量，设置神经网络模板，按照不同特征组合方式，训练形成不同的神经网络模板集。

(2-1)训练样本选取设定，根据变化类型，选定不同类型的遥感图像对作为训练样本；

(2-2)特征提取，对训练样本进行特征提取，形成变化特征矢量；

(2-3)筛选特征子集，根据需求，为不同的神经网络模板选取不同的特征子集，以作为神经网络模型的特征输入。本文采用的特征子集为：72维HSV空间直方图、9维三阶颜色矩、256维颜色自相关、51维改进的纹理谱、8维灰度共生矩阵、7维矩不变量、20维快速小波、337维颜色特征组合、86维纹理特征组合和423维所有特征组合，共计10种不同的模板；

(2-4)构建神经网络结构，设置神经网络隐含层的个数，以及每个隐含层神经元的个数,此处设置的隐含层个数为5个，每层的神经元个数分别为400、200、100、50、10；

(2-5)网络训练学习，采用BP学习机制，用步骤2-1选定的训练样本，以及步骤2-2选定的特征子集，训练步骤2-4设定的神经网络结构参数；

(2-6)形成10个神经网络模板集。

(3)遥感图像变化信息检索过程

(3-1)用户根据各自不同的应用需求，输入需要查询的变化前/后的目标变化影像对；

(3-2)对目标变化影像对各自提取特征矢量，并按照变化的顺序组成目标变化矢量；

(3-3)计算类别归属概率，归属概率为所有神经网络模板集的归属概率之和；计算公式如下所述：

其中，M为神经网络模板集中模板个数，p_ij为用第j个神经网络模板得到属于类别i的归属概率，P_i即为目标变化图像对属于类别i的归属概率。

(3-4)按照一定的距离度量算法，在变化特征库中，计算目标变化图像对的变化特征与特征库的距离，支持欧氏距离、加权欧氏距离和cos距离匹配函数；

(3-5)计算相似度并排序，目标变化图像对与特征库中第k个变化特征矢量的相似度为：

其中，d_k为步骤3-3中计算的目标变化图像对距离数据库中第k个变化特征矢量的距离，第k个变化图像对的类别为i,P_i为步骤2中计算的目标变化图像对属于类别i的归属概率值。

(3-6)根据相似变化特征矢量的排序结果，结合遥感影像库和元数据库信息，输出对应的相似变化检测影像对。

其中，遥感图像块特征提取，是指针对遥感图像的各个波段均提取以下图像特征：

(1)64维颜色直方图特征提取，计算遥感图像块的64维的直方图，构成64维颜色直方图特征矢量；

(2)三阶颜色矩特征提取，计算遥感图像块灰度的最小值，最大值，中值、一阶矩、二阶中心矩和三阶中心矩特征，构成6维的三阶颜色矩特征矢量；

(3)颜色相关图特征提取，计算遥感图像块的颜色相关图，构成256维颜色相关图特征矢量(J.Huang,S.R.Kumar,M.Mitra,etal.Combining Supervised Learning withColor Correlograms for Content-Based Image Retrieval[J].Proc.Computer Visionand Pattern recognition.1997,762～768)；

(4)改进的纹理谱特征(施智平，胡宏，李清勇等.基于纹理普描述子的图像检索[J].软件学报.16(6)(2005)pp:1039-1045)提取，计算遥感图像块的纹理谱，利并用纹理模式的对称不变性将256维直方图描述子划分为51维，使量化后的纹理谱更加紧凑，更加符合纹理的视觉特征，构成51维的改进的纹理谱特征矢量；

(5)灰度共生矩阵特征提取，计算遥感图像块的灰度共生矩阵，选取灰度共生矩阵能量、惯性矩、相关性和熵四个描述子的均值和方差构成8维的灰度共生矩阵特征矢量；

(6)矩不变量特征(Hu M K.Visual pattern recognition by moment invariant[J].IRE Trans Information Theory，1962，8：179-187)提取，计算遥感图像块的7阶矩不变量特征，构成7维矩不变量特征矢量，矩不变量特征的计算方式如下所示；

(7)快速小波特征提取，计算遥感图像块3层小波分解后的10个子图的均值和方差，构成20维的快速小波特征矢量。

本发明检索效果的评价指标有：

(1)查全率(recall)和查准率(Precision)：

其中，N_correct是正确检测到的图像数量，N_false是错误监测的图像数量，N_miss是漏掉未检出的图像数量。

除上述指标外，还可以用查全率-查准率曲线(PVR曲线)、查准率-检索图像数量曲线和查全率-检索图像数量曲线来表达基于内容图像检索的性能指标。

(2)覆盖率

在众多的基于内容的图像检索中，查全率和查准率应用较广，但是实际上，当显示的查询结果小于相关图像总数时，其N_miss是无法统计的，也即查全率在此种情况下无意义。本文，在此基础上，提出了覆盖率^[62]的概念：

其中，R为相关图像块的总数，为输出图像的前10i个图像块中相关图像的个数。当10i<R时，图像的覆盖率等于图像的查准率；当10i>R时，图像的覆盖率等于图像的查全率。在本文中R＝200，i取值为{1,2,3,4,5,10,20}之一。

(3)MAP指标

对于检索返回的结果，人们都希望相似的结果排在前面。基于排序的评价，就是通过相似结果的排列序号来反映检索算法的性能。MAP(Mean Average Precious)平均准确率，在考虑检索效果的排名同时，能有效的避免查全率、查准率和F-measure指标的单点局限性。其定义为：设相关图像的数目为N_r，实际的相关图像的数目N_S，相关图像的排序序号ρ_r，实际的相关图像的排序序号ρ_s，则MAP指标为：

Claims (4)

1.一种基于神经网络协同训练的遥感图像变化信息检索方法主要包括以下三个步骤：

(1)训练样本库的构建。根据试验区域的地理、气候等因素，设定变化类型。并从遥感图像中，裁切出包含对应变化的遥感图像块，以此作为基于神经网络协同训练的遥感图像变化信息检索方法的训练样本集；

(2)神经网络模板集的训练过程。对训练样本进行特征提取，形成变化特征矢量，并设置神经网络模板，按照不同特征组合方式，训练形成不同的神经网络模板集；

(3)遥感图像变化信息检索。

2.如权利要求1所述的方法，训练样本库的构建包括以下六个步骤：

(2-1)选定遥感影像搜索库，选定相同区域不同时相的遥感数据作为变化信息搜索的遥感影像库；

(2-2)假彩色图像合成，根据选择的遥感影像波段合成对应的假彩色图像；

(2-3)图像裁切，通过针对各景影像的四角裁切，实现图像的配准；

(2-4)分层分块的图像瓦片生成，按照分层分块的切割策略，对遥感影像进行切割分块，并对分块后图像进行入库管理操作；

(2-5)变化样本的生成，按照正向全排法形成变化样本；

(2-6)训练样本库的生成，从(1-5)中生成的变化样本中，选取典型地物变化类型样本，形成典型变化训练样本库。

3.如权利要求1所述的方法，神经网络模板集的训练过程还包括以下五个步骤：

(3-1)训练样本选取设定，根据变化类型，选定不同类型的训练样本遥感图像对；

(3-2)特征提取，对训练样本对进行特征提取，形成变化特征矢量；

(3-3)筛选特征子集，为不同的神将网络模板选取不同的特征子集，以作为神将网络模型的特征输入；

(3-4)构建神经网络结构，设置神经网络隐含层和每个隐含层神经元的个数；

(3-5)神经网络训练，采用BP学习机制，用步骤(3-1)选定的训练样本，以及步骤(3-2)选定的特征子集，训练步骤(3-4)设定的神经网络结构参数，并最终形成神经网络模板。

4.如权利要求2或3所述的方法，遥感图像变化信息检索包括以下六个步骤：

(4-1)用户根据各自不同的应用需求，输入需要查询的变化前/后的目标变化影像对；

(4-2)对目标变化影像对各自提取特征矢量，并按照变化的顺序组成目标变化矢量；

(4-3)计算类别归属概率，归属概率为所有神经网络模板集的归属概率之和；计算公式如下所述：

$P_i=\underset{j=1}{\overset{M}{\&Sigma;}}{p}_{ij}$

其中，M为神经网络模板集中模板个数，p_ij为用第j个神经网络模板得到属于类别i的归属概率，P_i即为目标变化图像对属于类别i的归属概率。

(4-4)按照一定的距离度量算法，在变化特征库中，计算目标变化图像对的变化特征与特征库的距离，支持欧氏距离、加权欧氏距离和cos距离匹配函数；

(4-5)计算相似度并排序，目标变化图像对与特征库中第k个变化特征矢量的相似度为：

$D_k=\frac{d_k}{P_i}$

其中，d_k为步骤3-3中计算的目标变化图像对距离数据库中第k个变化特征矢量的距离，第k个变化图像对的类别为i,P_i为步骤2中计算的目标变化图像对属于类别i的归属概率值。

(4-6)根据相似变化特征矢量的排序结果，结合遥感影像库和元数据库信息，输出对应的相似变化检测影像对。