CN107578003A - 一种基于地理标记图像的遥感图像迁移学习方法 - Google Patents

Abstract

本发明提供一种基于地理标记图像的遥感图像迁移学习方法。该方法可以通过对地理标记图像进行位置信息的提取以及类别信息的识别，进而迁移为遥感图像的样本信息，从而为遥感图像分类服务。该方法包括以下步骤：对收集的地理标记图像去除一些与场景无关的图像；使用视觉词汇模型对地理标记图像进行识别，得到图像识别类别信息；对地理标记图像读取其地理位置信息，进而映射到待处理的遥感图像上；对获得的图像识别类别信息，根据遥感图像重新进行类别映射；增加新获取的样本周围光谱相似的像素作为新的样本信息；使用获得的样本信息，训练支持向量机分类器，并对遥感图像进行分类，完成从地理标记图像到遥感图像的迁移学习。

Description

一种基于地理标记图像的遥感图像迁移学习方法

技术领域

本发明涉及遥感图像处理技术，具体的说，涉及一种基于地理标记图像的遥感图像迁移学习方法，该方法可以基于带有地理标记的数码照片，对数码照片提取其地理位置并进行图像内容的理解，进而对遥感图像进行自动分类，从而快速处理遥感图像，为遥感监测提供支持。

背景技术

目前，遥感技术目前被广泛应用于森林资源规划、农作物估产、环境评估、灾害监测等地学应用中。为了更好地使用遥感图像，需要首先把遥感图像转换为各种专题信息(如不同森林类型覆盖图、受灾区域专题图等)。而遥感图像分类技术是把遥感图像从数据转换为信息的重要技术手段。从是否需要训练样本来分，遥感图像分类方法分为监督分类和非监督分类。在遥感图像分类中最常用的是监督分类方法。监督分类方法，需要人工地确定分类体系、选取各个类别的训练样本等过程。监督分类分类方法能够保证获得比较好的分类精度。但是获取训练样本是一个耗时耗力的过程。因而如何自动地获取样本信息成为遥感图像自动分类的关键步骤。

而另一方面，随着互联网技术和智能移动终端的普及，目前很多用户都会在互联网上分享自己拍摄的带有地理标记(Geotagged)的图像，如专门的图像分享网站YahooFlickr，Google Picasa等，以及社交网站Facebook,Instagram，人人网等。这些社交网站并不是为科学研究而设计的，但是大量的地理标记图像对科学研究仍具有一定的价值。目前，德国University of Freiburg创建了Geo-wiki网站，该网站的目标是通过全球的志愿者进行已有全球地表覆盖分类产品的验证工作，并可以上传志愿者自己拍摄的带有地理标记的照片。上传的数据不仅能够进行已有全球覆盖分类产品的验证，还可以改进获得更高精度的分类产品。这些地理标记图像提供了地球表面的信息，可以辅助遥感图像分析。

因而，研究如何利用目前互联网上大量存在的、用户共享的地理标记图像，进而获取一定的地表覆盖真实信息作为训练样本，对遥感图像进行自动分类(指不需要进行样本的采集)具有一定的实用价值，能够提高遥感图像自动化处理水平。

而为了利用这些地理标记图像，首先需要做到能够自动理解图像的内容(即不需要人工逐图片地去理解每幅图片的内容)。计算机视觉领域的最新技术-视觉词汇模型能够较好地解决图像理解的问题。视觉词汇或特征包，英文为Bag of visual Words(BoW)或Bagof Features(BoF)，源于文本分类技术，在信息检索中，它假定对于一个文本，忽略其词序和语法、句法。将其仅仅看作是一些词集合，文本中每个词的出现都是独立的，不依赖于其他词是否出现，或者说这篇文章的作者在任意一个位置选择词汇都不受前面句子的影响而独立选择的。当图像作为一种文档对象时，图像中不同的局部区域或其特征可看作构成图像的词汇，其中相近的区域或其特征可以看作是同一个词。这样，就能够把视觉词汇或特征包技术应用到图像分类或识别中。Bag-of-words在计算机视觉中的应用首先由英国牛津大学Andrew Zisserman教授提出，为解决视频场景的搜索问题，其提出了使用Bag-of-words关键点投影的方法来表示图像信息。后续更多的研究者将此类方法归结为Bag-of-Features，并用于图像分类、目标识别和图像检索。Bag of Features模型与文本检索领域的Bag-of-Words方法相似，其把每幅图像描述为一个局部区域/关键点(Patches/KeyPoints)特征的无序集合。使用某种聚类算法(如K-means)将局部特征进行聚类，每个聚类中心被看作是词典中的一个视觉词汇(Visual Word)，相当于文本检索中的词，视觉词汇由聚类中心对应特征形成的码字(code word)来表示(可看当为一种特征量化过程)。所有视觉词汇形成一个视觉词典(Visual Vocabulary)，对应一个码书(code book)，即码字的集合，词典中所含词的个数反映了词典的大小。图像中的每个特征都将被映射到视觉词典的某个词上，这种映射可以通过计算特征间的距离去实现，然后统计每个视觉词的出现与否及次数，进而可把图像描述为一个维数相同的直方图向量，即Bag-of-Features。Bag-of-Features更多地是用于图像分类或对象识别。在上述思路下对训练集提取Bag-of-Features特征，在某种监督学习(如支持向量机分类器)的策略下，对训练集的Bag-of-Features特征向量进行训练，获得对象或场景的分类模型；对于待测图像，提取局部特征，计算局部特征与词典中每个码字的特征距离，选取最近距离的码字代表该特征，建立一个统计直方图，统计属于每个码字的特征个数，即为待测图像之Bag-of-Features特征；在分类模型下，对该特征进行预测从实现对待测图像的分类。分类或识别过程，支持向量机训练BOF特征得到分类模型，对待测图像BOF特征进行预测，完成分类，从而得到对图像内容的描述。

需要指出的是，这些地理标记图像大部分都是用户对自然场景目标(如建筑、道路、草地各种自然常见物体以及各种场景)进行拍摄得到的，因而图像理解的类别结果(如区分出每幅图像为道路、建筑、河流、湖泊、草地等类别信息)往往并不能在遥感图像中直接应用。遥感图像地表覆盖类型与这些自然场景具有一定的相似性，但更多是不同，比如遥感图像更主要用于区分建成区、水体、林地、草地等地表覆盖类别。因而，为了利用从自然场景图像理解的类别信息辅助遥感图像分类，需要进行不同分类体系的重新组织及转换。

本专利提出了一种基于地理标记图像的遥感图像迁移学习方法：针对遥感图像样本选择费时费力的特点，为了利用大量存在的带有地理标记的自然场景图像(主要由社交网络等互联网方式获得)，本专利所提出的遥感图像迁移学习方法，其核心是利用图像理解技术首先对自然场景图像进行场景内容的理解，然后把自然场景图像的地理位置信息、类别信息映射到待处理的遥感图像上，获取相应的地表覆盖样本信息，进而利用获得的样本信息对遥感图像进行自动分类。该技术方法可以利用大量存在的带有地理标记的自然场景图像，支持遥感图像的自动分类。

发明内容

本发明的目的是提供一种基于地理标记图像的遥感图像迁移学习方法。

本发明的基本思路为：首先对收集的地理标记图像去除掉一些地表覆盖类型无关的照片；使用视觉词汇模型对地理标记图像进行图像内容的理解；对地理标记图像提取其地理位置信息，根据投影转换方法，映射到待处理遥感图像的像素位置上；对地理标记图像内容理解的分类体系映射到待分类的遥感图像常用的分类体系上，得到相应遥感图像上的样本信息；基于获得的遥感图像上的样本信息，进行分类器的训练，并进行分类。

本发明的技术方案提供的一种基于地理标记图像的遥感图像迁移学习方法，其特征在于包括以下实施步骤：

A对收集的地理标记图像去除与场景无关的一些图像；

B使用视觉词汇模型对地理标记图像进行识别，得到图像识别类别信息；

C对地理标记图像读取其地理位置信息，并映射到待处理的遥感图像上；

D对步骤B中得到图像识别类别信息，根据待处理的遥感图像分类任务重新进行类别映射；

E对结合步骤C和步骤D得到的遥感图像上所有的初始样本集，在其周围开取3×3的窗口；窗口内所有与中心像素光谱值差异小于一定阈值的像素，则增加为新的样本，得到适应遥感图像的最终训练样本集；

F使用步骤E中最终得到的遥感图像训练样本集，选用支持向量机分类器对遥感图像进行分类。

上述实施步骤的特征在于：

步骤A中所述的场景无关的图像主要是指一些用户拍摄的诸如天空、落日、人脸、远方的山脉等类似的图像。这些图像的地理标记标出了用户拍摄时的地理位置，但是图像的内容并不显示拍摄位置的地表覆盖类型，因而这些图像对遥感图像的分类并没有帮助，需要去除掉这类的图像。

步骤B中所述的视觉词汇模型是目前对图像内容进行理解的常用的技术方法。该类技术首先使用提取图像中的局部兴趣点(比如SIFT算子)，对所有图像中的局部兴趣点使用某种聚类算法(如Kmeans)进行聚类，得到k(k可取100,200,500等整数)个聚类中心，这些聚类中心称为视觉词汇；然后每幅图像可以对所提取的每个局部兴趣点与这k个视觉词汇进行欧式距离的相似性比对，获得每个局部兴趣点最相似的某个视觉词汇，进而把每幅图像由不同局部兴趣点的分布表示映射为视觉词汇的分布表示；统计每幅图像中视觉词汇的统计直方图，得到每幅图像新的特征表示方法；使用直方图相似性计算方法，进而可以对两幅不同的图像进行相似性比对，进行图像内容的分类识别。

步骤C中所述的读取其地理位置信息是指，读取地理标记图像的地理位置字段，一般都是以经纬度的方式存储；然后需要根据所处理的遥感图像的投影方式(如Landsat系列卫星通常使用通用横轴墨卡托投影UTM)，对每幅图像所提取的经纬度坐标，经投影转换，映射到遥感图像上某个具体像素，建立起自然场景图像拍摄位置与遥感图像上某个像素位置的对应关系。

步骤D中所述的类别映射是指需要根据待处理的遥感图像常用的地表覆盖类型(如Landsat系统卫星常见的分类体系：农田、建成区、森林、草地、水体等)，对步骤B中的图像理解的类别信息，进行重组、映射到待处理遥感图像的地表覆盖分类体系上。如在自然场景中的建筑物、道路等都可以归类为遥感图像分类体系中的建成区类别；而自然场景中的湖泊、河流都可以归类为遥感图像分类体系中的水体类别。通过类似的类别组织、映射，把自然场景图像理解的分类类别信息转换为满足遥感图像地表覆盖分类需求的分类体系。

步骤E是指，通过步骤C和步骤D，得到一系列适应遥感图像的初始样本点(具体的图像像素位置以及对应的地表覆盖类型)；为了进一步增加图像样本的数量，同时考虑到地表覆盖类型具有一定的连续性(如遥感图像上的某一点为农田，其周围的像素有很大的概率仍是农田)，我们对步骤C和D获取的所有样本点取其周围的3×3窗口；窗口内所有与中心像素(即为步骤C和步骤D获得的初始样本点)光谱值差异小于一定阈值的像素，则增加为新的样本；新增加的样本的类别信息与中心像素的类别相同。通过步骤E，遥感图像上获得一定数量的最终样本集。

步骤E中阈值的设置主要是为了去除3×3窗口内明显与中心像素光谱不一致的像素(比如农田周围对应着道路的一个像素)，避免被错误地增加为样本，影响后续的分类精度。而阈值的确定是根据不同的地表覆盖类型相应设置的。

步骤E中阈值的具体计算过程为：对每一种地表覆盖类型(比如农田)的所有初始样本点(步骤C和步骤D的输出)，计算任意两两样本点之间的遥感图像光谱值差异(基于欧式距离计算)；求取所有同一地表覆盖类型的样本点两两之间光谱值差异的最大值，作为该地表覆盖类型的阈值。

步骤F是指，利用步骤E中最终得到的遥感图像训练样本集，训练一个支持向量机分类器；然后使用训练得到的分类器，对整幅遥感图像进行分类，完成从地理标记图像获取样本，并对待处理的遥感图像进行自动分类的迁移学习过程。

本发明与现有技术相比有如下特点：该基于地理标记图像的遥感图像迁移学习方法充分利用了目前广泛存在的地理标记图像，以及比较成熟的图像内容理解技术，能够为遥感图像自动产生一系列的训练样本，进而能够完成遥感图像地表覆盖类型的分类。该技术为遥感图像的快速自动化处理提供了技术支持，进而为遥感快速监测服务。

附图说明：

附图1是一种基于地理标记图像的遥感图像迁移学习方法流程图

具体实施方式：

采用本发明实现一种基于地理标记图像的遥感图像迁移学习方法的实施例如附图所示，现结合附图对其进行描述。

处理单元101对收集到的所有带有地理标记的自然场景图像，去除图像内容与遥感图像地表覆盖类型不相关的那部分图像。去除的图像主要是一些用户拍摄的诸如天空、落日、人脸、远方的山脉等类似的图像。这些图像的地理标记标出了用户拍摄时的地理位置，但是图像的内容并不显示拍摄位置的地表覆盖类型。去除的方法可以使用人工目视确认删除或其他自动处理技术方法。

处理单元102自然场景图像的理解，即把处理单元101处理后的场景相关图像块使用视觉词汇模型进行识别，得到每幅图像的场景类别识别结果，如得到每幅图像是属于建筑物、或是道路、或是河流、或是湖泊等类似的场景类别。

处理单元103地理位置映射，即读取每幅图像所含有的地理位置字段信息(通常以经纬度表示)，同时需要知道所处理的遥感图像的地图投影信息(如Landsat系列卫星常用的通用横轴墨卡托投影UTM)，使用投影转换公式把每幅图像的地理位置信息转换到遥感图像所采用的地图投影下。投影转换可以选用开源的Proj4软件包。然后根据遥感图像左上角的投影坐标以及图像的分辨率，把图像的投影坐标转化为遥感图像所对应的某个具体位置的像素。

处理单元104分类体系映射。该处理单元即构建一系列的组合规则，即把场景识别的分类体系组合合并为遥感图像地表覆盖所使用的分类体系。如把自然场景分类中的建筑物、道路合并为地表覆盖分类中的建成区；把自然场景分类中的河流、湖泊合并为地表覆盖分类中的水体。

分类体系的映射规则需要根据场景识别的分类体系以及待处理的遥感图像所采用的地表覆盖类型分类体系进行相应的设置。

处理单元105样本生成。把处理单元103和处理单元104的结果输出，在待处理的遥感图像上得到一系列初始样本点，这些样本点的类别通过处理单元104处理后具有新的类别属性。处理单元105在每个得到的初始样本点取其周围3×3的窗口；窗口内所有与中心像素的光谱差异值小于某个阈值的像素，被增加为新的样本点，其地表覆盖类别信息与中心像素类别相同。

假设为C(C为大于1的整数)类的分类任务，而对应第c(1<＝c<＝C的整数)类的初始样本点集合(由处理单元103和处理单元104的结果输出)为{x₁,x₂,…,x_n},则第c类的阈值T_c计算公式如下所示：

T_c＝max{||x₁-x₂||₂,||x₁-x₃||₂,…,||x₁-x_n||₂,||x₂-x₃||₂,…,||x₂-x_n||₂,…,||x_n-1-x_n||₂}

上式中，||.||₂为求取元素的欧式距离，max{.}为求取集合中的最大值。

求取T₁至T_C后，对于第c类地表覆盖类型的初始样本点的3×3的窗口内，所有与中心像素光谱差异值小于阈值T_c的像素则增加为新的样本点，其类别也为地表覆盖类型c类。

通过处理单元105，初始样本点通过增加其周围光谱相似的像素，大大增加了样本点数量，得到最终的遥感图像训练样本集。

处理单元106使用处理单元105获得的新的样本集合，选择支持向量机分类，进行分类器模型的训练。支持向量机分类中关键的核函数的选择，可以选择比较通用的径向基函数(radial basis function,RBF)；而径向基函数的尺度参数σ可以基于训练样本进行10-折交叉验证获得。得到稳定的分类模型后，对待处理的遥感图像逐像素进行分类，得到相应的地表覆盖分类结果。

本发明的一个实例在PC平台上实现，经实验验证，该图像迁移学习算法，利用具有地理标记的自然场景图像，提取其地理位置信息并进行场景的识别，进而迁移得到待分类的遥感图像样本信息，使用这些训练样本进行分类器的训练，能够得到比较可靠的分类器模型，对遥感图像能够进行自动分类(不需要获取额外的训练样本)，分类结果可靠，能够满足遥感快速监测的应用需求。

应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明，但不以任何方式限制本发明。因此，本领域技术人员应当理解，仍然可以对本发明进行修改或者等同替换；而一切不脱离本发明的精神和技术实质的技术方案及其改进，其均应涵盖在本发明专利的保护范围当中。

Claims (7)

1.一种基于地理标记图像的遥感图像迁移学习方法，其特征在于包括以下步骤：

A对收集的地理标记图像去除与场景无关的一些图像；图像的地理标记标出了用户拍摄时的地理位置，但是图像的内容并不显示拍摄位置的地表覆盖类型，因而这些图像对遥感图像的分类并没有帮助，需要去除掉这类的图像；

B使用视觉词汇模型对地理标记图像进行识别，得到图像识别类别信息；首先使用提取图像中的局部兴趣点(比如SIFT算子)，对所有图像中的局部兴趣点使用某种聚类算法(如Kmeans)进行聚类，得到k(k可取100,200,500等整数)个聚类中心，这些聚类中心称为视觉词汇；然后每幅图像可以对所提取的每个局部兴趣点与这k个视觉词汇进行欧式距离的相似性比对，获得每个局部兴趣点最相似的某个视觉词汇，进而把每幅图像由不同局部兴趣点的分布表示映射为视觉词汇的分布表示；统计每幅图像中视觉词汇的统计直方图，得到每幅图像新的特征表示方法；使用直方图相似性计算方法，进而可以对两幅不同的图像进行相似性比对，进行图像内容的分类识别；

C对地理标记图像读取其地理位置信息，并映射到待处理的遥感图像上；读取地理标记图像的地理位置字段，以经纬度的方式存储；然后需要根据所处理的遥感图像的投影方式，对每幅图像所提取的经纬度坐标，经投影转换，映射到遥感图像上某个具体像素，建立起自然场景图像拍摄位置与遥感图像上某个像素位置的对应关系；

D对步骤B中得到图像识别类别信息，根据待处理的遥感图像分类任务重新进行类别映射；对步骤B中的图像理解的类别信息，进行重组、映射到待处理遥感图像的地表覆盖分类体系上，通过类似的类别组织、映射，把自然场景图像理解的分类类别信息转换为满足遥感图像地表覆盖分类需求的分类体系；

E对结合步骤C和步骤D得到的遥感图像上所有的初始样本集，在其周围开取3×3的窗口；窗口内所有与中心像素光谱值差异小于一定阈值的像素，则增加为新的样本，得到适应遥感图像的最终训练样本集；

F利用步骤E中最终得到的遥感图像训练样本集，训练一个支持向量机分类器；然后使用训练得到的分类器，对整幅遥感图像进行分类，完成从地理标记图像获取样本，并对待处理的遥感图像进行自动分类的迁移学习过程。

2.根据权利要求1所述的方法，其特征在于步骤A中所述的场景无关的图像，是指那些对地表覆盖分类没有帮助的诸如天空、人脸等图像。去除的方法可以使用人工目视确认删除，或者使用人脸识别等特定目标自动识别算法去除。

3.根据权利要求1所述的方法，其特征在于步骤B中基于视觉词汇模型对地理标记图像进行类别识别。

4.根据权利要求1所述的方法，其特征在于步骤E中增加样本所选用的为3×3的窗口。

5.根据权利要求1所述的方法，其特征在于步骤E中3×3的窗口内所有与中心像素光谱值差异小于一定阈值的像素，被增加为新的样本。

6.根据权利要求1所述的方法，其特征在于步骤E中的阈值的计算过程为：对每一种地表覆盖类型的所有初始样本点，计算任意两两样本点之间的遥感图像光谱值差异(基于欧式距离计算)；求取两两之间光谱值差异的最大值，作为其阈值。

7.根据权利要求1所述的方法，其特征在于步骤F中采用支持向量机分类器对遥感图像进行分类。