CN108537121A - 气象环境参数与图像信息融合的自适应遥感场景分类方法 - Google Patents

Abstract

本发明涉及气象环境参数与图像信息融合的自适应遥感场景分类方法，可用于地理国情勘察、环境监测等方面；解决现有基于图像亮度值的方法容易受到环境的干扰，从而引起基于可见光的特征差异性大，不能有效的识别理解遥感场景问题。方法步骤包括：1)将天气数据标准化后利用全连接网络得到天气数据特征F_wea；2)利用步骤1)得到的天气数据特征F_wea构造自适应卷积神经网络；3)利用步骤2)构造的自适应卷积神经网络提取遥感图像特征F_rgb，并利用SoftMax分类器对其进行分类；4)训练和测试自适应卷积神经网络，并利用训练好的自适应卷积神经网络对遥感图像进行分类。

Description

气象环境参数与图像信息融合的自适应遥感场景分类方法

技术领域

本发明涉及信息处理技术领域，具体涉及气象环境参数与图像信息融合的自适应遥感场景分类方法，可用于地理国情勘察和环境监测等方面。

背景技术

随着航天技术的发展，越来越多的高分卫星被发射到太空中以获取地球表面数据，达到灾害监测、农业估产等目的，通常从卫星传送到地面的数据画幅巨大，为了充分利用这些大幅高分遥感数据，场景分类是非常重要的预处理手段，它对后续进一步的目标识别、变化检测、图像检索等任务有着重要的帮助；目前遥感影像的场景分类方法主要分为以下四类：

一是基于形状特征的方法。在遥感场景图像中，由各种目标产生的形状特征具有很强的判别性；形状特征往往具有位移、旋转、光照等不变性，根据侧重点不同，常见的形状特征可分为两种：基于边界和基于区域的。基于边界的形状特征利用的是形状外边界，基于区域的形状特征利用的是整个形状区域，形状特征中应用比较成功的有傅里叶描述符和矩不变量；除此之外，一些简单的形状因子如圆度、面积、偏心度以及主轴方向等也应用较多，除采用全局性特征进行描述的方法以外，也有研究者采用局部特征如直线段、圆弧、角点、高曲率来描述形状，局部特征的优点是可以克服遮挡问题；还有研究者提出了基于隐形马尔科夫模型的弹性形状匹配以及多尺度形状比较问题；在文献“R.Bellens,S.Gautama,L.Martinez-Fonte,W.Philips,J.C.-W.Chan,and F.Canters,“Improved classificationof VHR images of urban areas usingdirectional morphological profiles,”IEEETransactions on Geoscience andRemote Sensing,vol.46,no.10,pp.2803–2813,2008”中，作者通过结合高分遥感场景影像的形态学结构特征和图像特征来对场景进行表达；

二是基于纹理特征的方法。在遥感场景图像中，由森林、农田、城市建筑群等地物产生的纹理是常用的特征。在文献“M.Haralick,K.S.Shanmugam,and ItshakDinstein,"Textural Features for Image Classification,"IEEE Transactions on Systems,Man,and Cybernetics SMC,vol.3,no.6,pp.610-621,1973”中，Haralick等人提出可以从灰度意义上对纹理的空间依赖关系进行理解表达；此外还有Markov随机场、小波变换也是提取纹理特征有效的方法，针对遥感场景图像具有的多尺度特性，提取纹理特征时也需要考虑到不同空间尺度造成的纹理特征变化，在文献“S.Gholamhosein,A.Zhang,and L.Bian,"AMulti-Resolution Content-Based Retrieval Approach for Geographic Images,"Geoinformatica,1999”中，作者提出用图像小波多尺度分解系数提取图像多尺度的纹理特征；文献“R.Hubert,K.Seidel,and M Datcu,"Characteristic Scale Detection inRemote-Sensing Data,”vol.1,pp.116-118,1999”则通过自动测试遥感场景图像中不同尺度的纹理，进而提取出统一的纹理模型；文献“M.Pesaresiand A.Gerhardinger,“ImprovedTextural Built-up Presence Index for Automatic Recognition of HumanSettlements in Arid Regions with Scattered Vegetation,”IEEE Journal ofSelected Topics Applied Earth Observations and Remote Sensing,vol.4,no.1,pp.16–26,2011”中，作者针对高分辨率遥感场景图像进行纹理特征的提取；文献“A.K.Shackelford and C.H.Davis,“A Combined Fuzzy Pixel-Based and Object-BasedApproach for Classification of High-Resolution Multispectral Data over UrbanAreas,”IEEE Transactions on Geoscience and Remote Sensing,vol.41,no.10,pp.2354–2363,2003”中，作者则从像素层次和目标层次来对遥感场景图像提取特征，通过图像分割技术，得到场景中目标的分布，从而计算出各个目标的光谱和纹理特征，对整张遥感影像做表达；在文献“X.Huang,L.Zhang,and P.Li,“Classificationand Extraction ofSpatial Features in Urban Areas Using High-Resolution Multispectral Imagery,”IEEE Geoscience and Remote Sensing Letters,vol.4,no.2,pp.260–264,2007”中，作者根据在自然场景中常见的特征提取方法HOG，针对遥感场景图像，提出可以通过统计灰度影像中的各个像素的方向向量来计算图像表达；基于纹理特征的方法取得了一定的效果，但是这些特征泛化性能较差，当面对多种多样的遥感场景时，适用范围有限。

三是基于结构特征的方法。在遥感场景图像中，结构特征指目标和区域的空间推理、布局、相邻等关系，好的结构特征可以将空间关系存储在一个空间数据结构中，以致于相同的索引能够同时支持相对以及绝对的位置。从图像处理的角度上讲，结构特征特是布局特征，已经涉及到图像理解层次的问题，在文献“T.Shih.,J.Huang,C.Wang,J.Hung,andC.Kao."An Intelligent Content-Based Image Retrieval System Based on Color,Shapeand Spatial Relations,"In Proceedings of Natl.Sci.Counc.ROC,pp.232-243,2011”中，作者认为，与纹理特征相比，结构特征是更重要的基元；随着如SIFT、SURF等具有旋转尺度光照不变性的局部特征的发展，这些特征也渐渐用于遥感场景分类中，在文献“Y.Yang and S.Newsam,“Geographic Image Retrieval Using Local InvariantFeatures,”IEEE Geoscience and Remote Sensing Letters,vol.51,no.2,pp.818–832,2013”中，作者在SIFT特征的基础上利用BoW模型得到了遥感场景图像的中层表达，这种中层表达相对于底层特征，一般具有更强的鲁棒性；在文献“Y.Yang and S.Newsam,“SpatialPyramid Co-Occurrence for Image Classification,”In Proceedings of IEEEInternational Conference on Computer Vision,pp.1465-1472,2011”中，作者使用空间金字塔模型结合BoW得到了相对于BoW更好的表达效果；此外基于高阶局部特征统计信息的模型如VLAD，费舍尔向量也被用于遥感场景分类问题中。

四是基于深度特征的方法。利用深度学习方法来分类遥感场景影像是近年来兴起的一类新方法，基于深度网络模型比如说卷积神经网络目前在自然场景分类任务中已经获得了很好的效果，具体可参考文献“A.Krizhevsky,I.Sutskever,G E.Hinton,“ImageNetClassification with Deep Convolutional Neural Networks,”In Proceedings ofAdvances in Neural Information Processing Systems,pp.1097-1105,2012”，针对遥感数据量少的特性，目前在遥感场景分类任务中应用深度模型的方式主要是利用在自然场景上训练好的模型，此种方式的缺点是模型过于关注自然场景中数据的特性，不能考虑到遥感场景数据本身的特性。

上述特征都建立在可见光的基础之上，然而在不同环境下，同一场景的光线情况存在较大的差异性，这种差异性导致同一场景的遥感数据在不同环境下提取出的基于可见光的特征差别很大，给后续的分类识别带来困扰。因此，如何消除这种由于可见光信息的差异性大而引起的对场景的感知和理解的歧义，已经成为一个关键问题。

发明内容

本发明的目的是解决现有基于图像亮度值的方法容易受到环境的干扰，从而引起基于可见光的特征差异性大，不能有效的识别理解遥感场景问题，提出一种气象环境参数与图像信息融合的自适应遥感场景分类方法，以使得场景表达更为精细和充分，从而提高场景分类的精度。

本发明解决上述问题的技术方案是，

一种气象环境参数与图像信息融合的自适应遥感场景分类方法，包括以下步骤：

1)将天气数据标准化后利用全连接网络得到天气数据特征F_wea；

2)利用步骤1)得到的天气数据特征F_wea构造自适应卷积神经网络；

3)利用步骤2)构造的自适应卷积神经网络提取遥感图像特征F_rgb，并利用SoftMax分类器对其进行分类；

4)训练和测试自适应卷积神经网络，并利用训练好的自适应卷积神经网络对遥感图像进行分类。

进一步地，步骤1)具体为设初始天气特征向量为全连接网络有L层，从l层到l+1层的过程如下式：

其中，为第l+1层的权重，取随机初始化值；为第l+1层的基向量，取随机初始化值；为第l层的输出；为第l+1层的输出；sigmoid为激活函数；重复式(1)，得到第L+1层的输出记此输出为最终输出天气数据特征F_wea。

进一步地，步骤2)具体为设原始卷积神经网络第l层的卷积核参数为通过步骤1)得到的天气数据特征F_wea加权卷积核参数得到新的卷积核参数过程如下：

其中，W_transfer是变换矩阵，reshape是变形函数，⊙代表元素乘操作，公式(2)得到的即为原始卷积核参数的自适应参数。

进一步地，步骤3)具体为自适应卷积神经网络为多层网络结构，每一层由卷积、激活、池化三个操作组成，从第l层到第l+1层的计算由下式得到：

其中，公式(3)表示卷积操作，公式(4)表示激活操作，公式(5)表示池化操作；在公式(3)中，为第l+1层中卷积操作输出，表示第l+1层中第k个filter，表示第l+1层中第k个filter的偏重，表示第l层的输出；在公式(4)中，代表第l+1层中激活操作输出，max指取最大值操作；在公式(5)中，Z^l+1代表第l+1层的整体输出，pooling指池化操作；

卷积神经网络的第一层输入为RGB图像I_rgb，因此Z¹＝I_rgb，自适应层l的卷积核参数为步骤2)中得到的经过逐层的前向传播，得到最后一层网络的输出Z^L+1，记此输出为最终遥感图像特征F_rgb，再利用SoftMax分类器对此特征进行分类。

进一步地，步骤4)具体为：

4a)训练：将步骤1)中的全连接网络和步骤2)中的自适应卷积神经网络参数在采集的数据集上进行训练，训练方法为误差反向传播算法，利用的数据集为训练集；

4b)测试：将测试集中的图片和对应的天气数据输入训练得到的整体网络，根据预类别与实际类别的差异计算整体网络的分类精度，记分类正确的图像个数为R，分类准确率为accuracy，其中R_总为测试集总的样本个数：

accuracy＝R/R_总×100％ (6)

4c)分类：将一张任意的遥感图像和与其对应的天气数据输入网络中，即可输出该图像对应的遥感场景类别。

本发明与现有技术相比，具有以下技术效果：

1.本发明构造出根据天气特征自适应进行参数调节的卷积神经网络，同时利用天气特征和图像特征，克服传统方法受限于光照等环境影响的弊端，使得对场景的表达更加细化，使得学习到的特征更具有泛化性，从而提高了场景分类的精度。

2.本发明除采集到的场景图像的亮度值，还同时考虑到拍摄图像时的环境信息，通过此种方式能够有效避免场景感知和理解的歧义性问题。

3.本发明突破了现有方法中图像信息表达方式的局限，通过多特征融合，得到了图像场景的正确表达方式，克服了遥感图像地物复杂、类间相似性大的难点，可用于地理国情勘察和环境监测等方面。

附图说明

图1为本发明方法流程框架图；

图2为本发明利用全连接神经网络提取天气特征的示意图；

图3为本发明利用天气特征构造自适应的卷积神经网络的示意图；

图4为本发明利用自适应卷积神经网络提取图像特征的示意图。

具体实施方式

本发明提出一种基于天气数据和RGB数据(彩色图像)结合的自适应遥感场景分类方法，以使得场景表达更为精细和充分，从而提高场景分类的精度。本发明中涉及的环境信息包括常见的天气状态，由此形成天气现象参数，这些参数对应初始的天气特征。

如图1所示，本发明提供的气象环境参数与图像信息融合的自适应遥感场景分类方法，主要包括以下步骤：

1)将天气数据标准化之后利用全连接网络得到天气数据特征F_wea；

2)利用步骤1)得到的天气数据特征F_wea构造自适应卷积神经网络；

3)利用步骤2)构造的自适应卷积神经网络来提取遥感图像的特征F_rgb，并利用SoftMax分类器对其进行分类；

4)训练和测试自适应卷积神经网络，并利用训练好的网络对遥感图像进行分类。

本发明实现的具体步骤如下：

步骤1，利用全连接网络提取天气数据特征；

如图2所示，本发明所采集的天气状况共有34种，如下表：

因此，初始天气特征是一个34维的向量，向量的每个元素为1或0，代表有没有这种天气；因为各种天气之间存在着很强的关联性，因此本发明中将初始的天气特征输入一个全连接网络得到最终的天气特征，设初始的天气特征向量为(R代表有理数，是一个34维的有理数向量)全连接网络有L层，则从l层到l+1层的过程如下式所示：

其中，为第l+1层的权重，为随机初始化值；为第l+1层的基向量，为随机初始化值；为第l层的输出；为第l+1层的输出；sigmoid指激活函数；

重复上述过程L次，得到第L+1层的输出记此输出为网络最终的输出F_wea，参数和为随机初始化值；

步骤2，利用步骤1产生的天气数据特征构造自适应卷积神经网络；

如图3所示，卷积神经网络是一个多层网络结构，每一层由卷积、激活、池化三个操作组成，其中涉及到的参数有卷积核W_conv和偏重b_conv，这些参数的初始值是随机生成的，设原始卷积神经网络第l层的卷积核参数为则可以通过利用步骤1产生的天气特征F_wea来加权卷积核参数来得到新的卷积核参数过程如下：

其中，W_transfer是个变换矩阵，因为这里F_wea的维数一般与的维数不同，而后续的元素乘操作需要两者的维数相同，所以这里引入变换矩阵和reshape函数，共同作用达到两者维数相同的目的；reshape是变形函数，变换矩阵和变形函数的作用是将天气特征向量F_wea变换为与的维数相符合的矩阵，⊙代表元素乘操作，公式(2)得到的就是原始卷积核参数的自适应版本，相比原始的卷积核，新的卷积核可以有效结合天气信息，提取出图像中更有语义的特征；

步骤3，利用步骤2种构建的自适应的卷积神经网络提取遥感图像的深度特征；

如图4所示，自适应卷积神经网络是一个多层网络结构，每一层由卷积、激活、池化三个操作组成，从第l层到第l+1层的计算可由下式得到：

其中公式(3)表示卷积操作，公式(4)表示激活操作，公式(5)表示池化操作；在公式(3)中，为第l+1层中卷积操作输出，表示第l+1层中第k个filter，表示第l+1层中第k个filter的偏重，表示第l层的输出；在公式(4)中，代表第l+1层中激活操作输出，max指取最大值操作；在公式(5)中，Z^l+1代表第l+1层的整体输出，pooling指池化操作，因为最终得到的图像特征应该是一个特征向量，因此本发明中卷积神经网络最后一层的池化操作采取的是全局平均池化(global average pooling)。

此卷积神经网络的第一层输入为RGB图像I_rgb，因此Z¹＝I_rgb，自适应层l的卷积核参数为步骤2中得到的经过逐层的前向传播(共L层)，得到最后一层网络的输出Z^L+1，记这个输出为最终本发明遥感图像特征F_rgb，再利用SoftMax分类器对此特征进行分类，从而达到对遥感图像进行的分类的目的。

步骤4，训练和测试自适应卷积神经网络，并利用训练好的网络对遥感图像进行分类；采集到的场景图像每一张都有对应的天气数据和场景类别标注，先将已采集到的数据分为两部分，分别为训练集和测试集；

(4a)训练：本网络总共包括两个子网络模块，分别为步骤1中的全连接网络模块，步骤2中的自适应卷积神经网络模块；两个模块的参数需要在本发明采集的数据集上进行训练，训练的方法采取的是误差反向传播算法，利用的数据集为训练集；

(4b)测试：将测试集中的图片和对应的天气数据输入训练得到的整体网络中，根据预类别与实际类别的差异计算出整体网络的分类精度，记分类正确的图像个数为R，分类准确率则为(其中R_总为测试集总的样本个数)，accuracy表示分类准确率：

accuracy＝R/R_总×100％(6)

(4c)分类：将一张任意的遥感图像和与其对应的天气数据输入网络中，即可输出该图像对应的遥感场景类别。

Claims (5)

1.一种气象环境参数与图像信息融合的自适应遥感场景分类方法，其特征在于，包括以下步骤：

1)将天气数据标准化后利用全连接网络得到天气数据特征F_wea；

2)利用步骤1)得到的天气数据特征F_wea构造自适应卷积神经网络；

3)利用步骤2)构造的自适应卷积神经网络提取遥感图像特征F_rgb，并利用SoftMax分类器对其进行分类；

4)训练和测试自适应卷积神经网络，并利用训练好的自适应卷积神经网络对遥感图像进行分类。

2.根据权利要求1所述的气象环境参数与图像信息融合的自适应遥感场景分类方法，其特征在于：步骤1)具体为设初始天气特征向量为全连接网络有L层，从l层到l+1层的过程如下式：

其中，为第l+1层的权重，取随机初始化值；为第l+1层的基向量，取随机初始化值；为第l层的输出；为第l+1层的输出；sigmoid为激活函数；

重复式(1)，得到第L+1层的输出记此输出为最终输出天气数据特征F_wea。

3.根据权利要求2所述的气象环境参数与图像信息融合的自适应遥感场景分类方法，其特征在于：步骤2)具体为设原始卷积神经网络第l层的卷积核参数为通过步骤1)得到的天气数据特征F_wea加权卷积核参数得到新的卷积核参数过程如下：

其中，W_transfer是变换矩阵，reshape是变形函数，⊙代表元素乘操作，公式(2)得到的即为原始卷积核参数的自适应参数。

4.根据权利要求3所述的气象环境参数与图像信息融合的自适应遥感场景分类方法，其特征在于：步骤3)具体为自适应卷积神经网络为多层网络结构，每一层由卷积、激活、池化三个操作组成，从第l层到第l+1层的计算由下式得到：

其中，公式(3)表示卷积操作，公式(4)表示激活操作，公式(5)表示池化操作；在公式(3)中，为第l+1层中卷积操作输出，表示第l+1层中第k个filter，表示第l+1层中第k个filter的偏重，表示第l层的输出；在公式(4)中，代表第l+1层中激活操作输出，max指取最大值操作；在公式(5)中，Z^l+1代表第l+1层的整体输出，pooling指池化操作；

卷积神经网络的第一层输入为RGB图像I_rgb，因此Z¹＝I_rgb，自适应层l的卷积核参数为步骤2)中得到的经过逐层的前向传播，得到最后一层网络的输出Z^L+1，记此输出为最终遥感图像特征F_rgb，再利用SoftMax分类器对此特征进行分类。

5.根据权利要求4所述的气象环境参数与图像信息融合的自适应遥感场景分类方法，其特征在于：步骤4)具体为：

4a)训练：将步骤1)中的全连接网络和步骤2)中的自适应卷积神经网络参数在采集的数据集上进行训练，训练方法为误差反向传播算法，利用的数据集为训练集；

4b)测试：将测试集中的图片和对应的天气数据输入训练得到的整体网络，根据预类别与实际类别的差异计算整体网络的分类精度，记分类正确的图像个数为R，分类准确率为accuracy，其中R_总为测试集总的样本个数：

accuracy＝R/R_总×100％ (6)

4c)分类：将一张任意的遥感图像和与其对应的天气数据输入网络中，即可输出该图像对应的遥感场景类别。