CN116091845A - 基于图卷积网络和深度学习网络的遥感图像场景分类方法 - Google Patents
基于图卷积网络和深度学习网络的遥感图像场景分类方法 Download PDFInfo
- Publication number
- CN116091845A CN116091845A CN202310202458.4A CN202310202458A CN116091845A CN 116091845 A CN116091845 A CN 116091845A CN 202310202458 A CN202310202458 A CN 202310202458A CN 116091845 A CN116091845 A CN 116091845A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- graph
- feature
- network
- knowledge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013135 deep learning Methods 0.000 title claims abstract description 38
- 238000005096 rolling process Methods 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 230000019771 cognition Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 240000002044 Rhizophora apiculata Species 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000012010 growth Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000035784 germination Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于图卷积网络和深度学习网络的遥感图像场景分类方法，属于遥感技术领域，包括：构建遥感领域知识图谱，以遥感领域知识图谱为图数据建立图卷积网络；获取遥感图像，利用图卷积网络得到第一特征，并根据所述遥感领域知识图谱的推荐信息进行位置推荐，得到推荐区域；构建深度学习网络模型，对所述推荐区域进行特征提取，得到第二特征，对所述第一特征和所述第二特征进行融合，得到第三特征，对所述第三特征进行在线字典学习和特征编码，得到第四特征，对所述第四特征进行分类，得到场景分类结果。本发明的方法能够有效避免场景分类时的类别混淆的情况，分类的结果准确率高且分类精度高。
Description
技术领域
本发明涉及属于遥感图像分类技术领域，具体涉及一种基于图卷积网络和深度学习网络的遥感图像场景分类方法。
背景技术
高分辨率遥感图像分类是智能化遥感信息处理的一项重要任务，由于遥感图像分辨率的逐步提升，遥感图像的像素或者超像素仅仅包含地物底层信息，不能对图像高层语义内容进行描述，导致了传统的“面向像素”和“面向对象”的分类方法无法满足遥感图像高层次内容解译的需求。因此，“面向场景”的遥感图像分类引起了国内外研究学者的广泛关注，并成为了遥感领域的一个活跃的研究课题。目前所取得的研究成果基本上实现了从地物底层特征到高层场景语义理解上的跨越。高分辨率遥感场景分类任务的目的在于准确地识别出高分图像中局部区域高层次的知识抽象。例如，将一副高分辨率城市遥感图像划分为居民区、商业区和工业区场景这些抽象的语义类别。通常，一幅遥感场景中包含着多种地物类型，例如工业区场景中可能包含房屋建筑、道路、树木等一些地物目标。
与面向对象的分类任务不同，遥感场景中地物目标的形式多样、空间分布复杂等因素使得高分辨率遥感场景分类成为了一项相当有挑战性的任务，具体表现包括：（1）场景中地物目标多样化。由于遥感场景中地物目标在几何形状、尺度、方向、纹理等光学属性上的不同，语义类别相同的场景往往具有很大的视觉差异；（2）场景光照条件变化。在获取遥感图像时，成像条件的不同会导致相同类别的场景在辐射强度和颜色上出现很大差异；（3）场景类间相似性。不同的场景类别可能包含完全相同的地物类型，例如居民区和商业区这两类场景中都包括房屋、道路、树木、草坪等地物种类，两者的区别体现在这些地物的空间布局和密度分布上；（4）场景语义模糊性。某些复杂场景在视觉内容上可能与多种预定义的场景语义类别都十分接近，很难赋予其准确的语义类别。
其中（1）和（2）共同体现了遥感场景类内差异大的特点；（3）和（4）共同反映了遥感场景类间差异小的特点。另外，与自然场景图像拍摄时的水平视角不同，遥感场景拍摄时拍摄角度为自上而下的俯视视角，场景中地物的分布没有表现为明显的上下、前后的空间关系，也就是说，对遥感场景进行任意角度的旋转并不影响场景目视效果和对场景内容的解译。以上高分辨率遥感场景的这些特点导致了场景识别过程中很容易出现类别混淆的情况。为了提高场景分类准确性，需要从遥感场景自身特性出发，构造或自适应学习出场景描述能力更强的特征表达，从而跨越中低层场景特征与高层场景语义之间的“语义鸿沟”。因此，如何获得有较强场景描述能力和区分能力的场景级特征成为了遥感图像场景分类的关键问题。
发明内容
基于上述技术问题，本发明提供一种结合图卷积网络和深度学习网络的遥感图像场景分类方法，以遥感领域知识图谱为图数据构建图卷积网络，提取得到的特征更能够描述场景特点，之后利用深度学习网络在推荐区域二次提取特征，并将特征融合后，进行特征编码和特征学习，避免在分类时的场景类别混淆的情况，得到的分类结果精度高。
本发明提供一种基于图卷积网络和深度学习网络的遥感图像场景分类方法，该方法包括：
S1 构建遥感领域知识图谱，以遥感领域知识图谱为图数据建立图卷积网络；
S2 获取遥感图像，利用图卷积网络提取遥感图像的局部特征，得到第一特征，并根据所述遥感领域知识图谱的推荐信息进行位置推荐，得到与所述第一特征关联的图像区域，作为推荐区域；
S3 构建深度学习网络模型，包括特征提取模块、特征融合模块、特征学习模块和分类模块，将所述第一特征与对应的所述推荐区域输入所述深度学习网络模型，所述特征提取模块用于对所述推荐区域进行特征提取，得到第二特征，所述特征融合模块用于对所述第一特征和所述第二特征进行融合，得到第三特征，所述特征学习模块用于对所述第三特征进行在线字典学习和特征编码，得到第四特征，所述分类模块用于对所述第四特征进行分类，得到场景分类结果。
于本发明一具体实施例中，所述构建遥感领域知识图谱的步骤包括：
获取遥感样本数据，所述遥感样本数据包含场景标签，从所述遥感样本数据中提取得到场景显著对象、场景显著对象的区域；
根据所述场景显著对象和所述场景显著对象的区域构建遥感本体库；
获取地学知识和遥感资料，所述地学知识包括地学数据性知识、地学概念性知识、地学规律性知识，所述遥感资料包括场景资料、地物资料、环境资料、图像资料；
利用所述遥感本体库对所述地学知识和所述遥感资料进行本体化表达，得到扩充后的遥感本体库；
通过知识抽取的方法对所述扩充后的遥感本体库进行遥感实体的构建，并根据实体链接和实体归类在所述遥感实体之间建立具体关系；
将所述遥感实体、所述遥感实体间的关系图谱化，即得到遥感领域知识图谱。
于本发明一具体实施例中，所述遥感本体库包含对象属性、区域属性和关联关系属性中的至少一种，其中：
所述对象属性包括对象纹理结构、尺度大小和显著组成部分；
所述区域属性包括区域显著地物的类型组成、区域的行政区划名称、区域的地理结构类型和地质结构类型；
所述关联关系属性包括对象与对象之间、对象与地区之间的主要关联关系类型。
于本发明一具体实施例中，所述建立图卷积网络的步骤包括：
所述遥感领域知识图谱由节点和边构成，所述节点为所述遥感实体，所述边为所述遥感实体间的关系，根据所述节点和边构造邻接矩阵和对角矩阵，根据所述邻接矩阵和对角矩阵构建拉普拉斯矩阵；
通过傅里叶变换方法和所述拉普拉斯矩阵得到图卷积网络的卷积核；
以所述卷积核为基础构建图卷积网络，所述图卷积网络由两层图卷积层和一层图池化层构成。
于本发明一具体实施例中，步骤S2包括：
获取遥感图像，将所述遥感图像输入所述图卷积网络；
利用所述图卷积层对所述遥感图像进行图卷积操作，并利用所述图池化层进行最大图池化操作，输出得到的特征为所述第一特征；
利用遥感领域知识图谱中场景显著对象和场景显著对象的区域的知识，将所述第一特征相关联的区域进行标记，得到所述推荐区域。
于本发明一具体实施例中，所述特征提取模块包括深度学习网络，所述深度学习网络的最后一层为全连接层。
于本发明一具体实施例中，所述第一特征的维度与所述第二特征的维度相同。
于本发明一具体实施例中，所述特征学习模块包括在线字典和局部线性约束编码算法，所述在线字典通过遥感样本进行预训练得到。
于本发明一具体实施例中，预训练所述在线字典的步骤包括：
步骤一，获取遥感样本，对所述遥感样本进行密集SIFT特征提取，并对密集SIFT特征进行聚类，聚类中心作为原子构建在线字典；
步骤二，利用在线字典和局部线性约束编码算法对所述密集SIFT特征进行特征编码，得到所述密集SIFT矩阵的编码矩阵；
步骤三，根据在线字典学习算法基于所述编码矩阵逐个计算所述原子的重构误差；
步骤四，根据所有的所述原子的重构误差计算得到全局重构误差；
步骤五，利用所述全局重构误差通过最小二乘法对所述在线字典进行更新；
步骤六，重复步骤二-步骤五，直至重构误差达到预设要求或迭代次数达到预设值。
于本发明一具体实施例中，所述在线字典学习算法为MOD算法。
本发明提供的一种基于图卷积网络和深度学习网络的遥感图像场景分类方法，相对于现有技术，本发明的技术方案具有如下有益效果：
（1）通过构建遥感领域知识图谱，学习遥感图像场景对象和区域的知识，并以遥感领域知识图谱为图数据建立图卷积网络，能够在保留图像的信息的前提下，降低图像的尺寸，并增大图卷积核的感受野，以便于提取到包含高层语义的特征，且能防止过拟合，提取到的第一特征能更好的描述场景的语义信息。
（2）遥感领域知识图谱能够针对第一特征进行周围区域的推荐，然后用深度学习网络在推荐区域进行二次特征提取，增加能够描述图像的特征，且第一特征与第二特征的维度相同，便于将两种特征进行融合，融合特征能够更加全面和更具代表性，对于易混淆的图像也有较高的分类准确率。
（3）本发明所采用的在线字典学习方法是在不断重构与编码的过程中学习字典，所得到的在线字典更具有表达能力，而局部约束线性编码算法能令同类场景的遥感图像的编码系数更相近，而不同场景间遥感图像的编码系数差异更大，能有效避免遥感图像场景分类时的场景易混淆的情况，且得到的第四特征具有局部性和稀疏性，更加的易于分类，提高了分类的准确率和精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的方法流程图；
图2为本发明实施例的方法步骤框架图；
图3为本发明实施例的遥感领域知识图谱构建流程图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1和图2，本发明提供一种基于图卷积网络和深度学习网络的遥感图像场景分类方法，该方法包括：
S1 构建遥感领域知识图谱，以遥感领域知识图谱为图数据建立图卷积网络；
S2 获取遥感图像，利用图卷积网络提取遥感图像的局部特征，得到第一特征，并根据遥感领域知识图谱的推荐信息进行位置推荐，得到与第一特征关联的图像区域，作为推荐区域；
S3 构建深度学习网络模型，包括特征提取模块、特征融合模块、特征学习模块和分类模块，将第一特征与对应的推荐区域输入深度学习网络模型，特征提取模块用于对推荐区域进行特征提取，得到第二特征，特征融合模块用于对第一特征和第二特征进行融合，得到第三特征，特征学习模块用于对第三特征进行字典学习和特征编码，得到第四特征，分类模块用于对第四特征进行分类，得到场景分类结果。
请参阅图3，首先构建遥感领域知识图谱，构建的步骤包括：
步骤一：获取遥感样本数据，该遥感样本数据包含场景标签，从遥感样本数据中提取得到场景显著对象、场景显著对象的区域。
步骤二：根据场景显著对象和场景显著对象的区域构建遥感本体库，遥感本体库中携带有如下信息中的至少一种：（1）对象属性，包括对象纹理结构、尺度大小和显著组成部分等属性信息；（2）区域属性，包括区域显著地物的类型组成、区域的行政区划名称、区域的地理结构类型和地质结构类型等属性信息；（3）关联关系属性，包括对象与对象之间、对象与地区之间的主要关联关系类型等。
步骤三：获取地学知识和遥感资料，地学知识包括地学数据性知识、地学概念性知识、地学规律性知识，遥感资料包括场景资料、地物资料、环境资料、图像资料等。
地学知识为遥感领域知识图谱的构建提供了非常重要的知识支撑，分为数据性知识、概念性知识和规律性知识。
（1）地学数据性知识
指人们对一定地域范围内的特定地理实体的一种实例化的认知结果或其属性度量的结果。此处实例化的认知结果是关于地理实体特征的离散化度量，例如某地域范围内的土地利用专题数据是地学专家对该地域范围内的地理实体从人类利用土地资源的差异性角度认知的结果，其它类似的如地貌专题数据、生态分区数据等。此处的属性度量则是指从地学需要的角度对地理实体的某种属性特征的连续性度量，例如某个地区的 DEM 数据则是对区域地表海拔高度的连续性的度量结果。这些度量是对地理实体的理化属性认知后借助仪器或者技术方法的精确测量结果，对于表示地理实体的疏密程度和辨识地理实体定义/模式等方面具有重要意义，尤其是历史时间序列、多波段序列遥感影像以及不同来源的观测数据组合。
（2）地学概念性知识
指人们对具有相似或者相同属性的某一类地理实体的认知和定义，或者一定地域范围内的所有地理实体类型的系统性认知和定义。例如，“红树林”定义为“生长在热带、亚热带低能海岸潮间带上部，受周期性潮水浸淹，以红树植物为主体的常绿灌木或乔木组成的潮滩湿地木本生物群落”。对于一些易混淆或者本身就存在混淆的地类，例如乔木林和灌木林混交的地域，简单定义为“乔灌混交林”仍然难以进行准确分类，还需要借助一些类似“灌木覆盖度>40%的林地定义为灌木林”的定量化属性特征加以区分；此外，不同生长周期的植被或农作物，根据应用的需要也可以进行细分，例如处于发芽、生长、成熟等不同时期的小麦种植地。
概念性知识的本质是地学专家运用分析、综合思维对复杂地表的功能异质性进行划分或分门别类时的一种标准。因为这些区域功能上的异质性通常也会表现出不同的表观特征，所以它们在遥感影像视觉上也通常会表现出差异性，这也是遥感影像能够反应地表变化的主要原因。从“由下至上”（bottom-up）的角度看，这类标准是将实例的数据性知识通过分门别类进行价值浓缩的关键；而从“有上至下”（top-down）的角度看，这类标准又可以从地类全体所具有的共同特征角度，提升在遥感特征信息不全面时的地学认识精度。可见，这些概念性知识是连接地学领域与遥感领域的纽带。
（3）地学规律性知识
是人类对地表感兴趣目标或现象在时空分布及变化规律的高度抽象认知，例如植被类型随海拔高度变化的山地垂直带谱、种植作物的农事历区域性差异以及各种自然区划等。这类知识是发挥地学知识以“由上至下”的形式指导遥感影像解译的关键。首先，这些地学规律性知识所涉及的时空尺度对于遥感大数据分析时遥感影像的空间、时间、光谱分辨率的选择，或者遥感目标识别过程中的特征提取和利用，甚至 DEM 之类的辅助数据的综合利用，都具有重要指导意义。另外，这类规律性地学知识对遥感解译结果的合理性判断方面具有重要推理意义。尽管不同地域功能通常会表现出不同的表征特征，但这些不同的表征并非都能够被遥感观测数据所捕获，导致同类地物的遥感特征也可能会不同，而不同类的地物又可能会呈现相同的光谱，即遥感领域常说的“同物异谱”和“异物同谱”问题。这些规律性知识恰可以很大程度上克服这类问题，一个典型的例证就是在山地垂直带谱的帮助下，进行山地区域的植被精细分类。
从“由下至上”的视角看，规律性知识是地学知识图谱进行地学数据性知识和概念性知识进一步抽象认知的结果，也是知识价值密度最高的部分，通常也是直接指导人们管理和政策制定的依据。如果地学知识图谱不能够承载这类地学知识，就难以开展基于遥感大数据获取地学数据性知识进行的规律性知识抽取和更新，从而丧失遥感大数据处理的最具价值部分。
步骤四：利用遥感本体库对地学知识和遥感资料进行本体化表达，得到扩充后的遥感本体库。
步骤五：通过知识抽取的方法对扩充后的遥感本体库进行遥感实体的构建，并根据实体链接和实体归类在遥感实体之间建立具体关系。
步骤六：将遥感实体、遥感实体间的关系为基础建立多个三元组（遥感实体1，关系，遥感实体2），并将三元组之间连接起来进行图谱化，即得到遥感领域知识图谱。
所述遥感领域知识图谱以结构化的形式表示遥感信息，其为图结构的一种，而图卷积网络为处理图结构数据的卷积网络模型，将遥感领域知识图谱以图数据的形式建立图卷积网络，具体步骤如下：
1.定义遥感领域知识图谱为图，遥感领域知识图谱由节点和边构成，节点即为遥感实体，边即为遥感实体之间的关系，则是由节点集合和边的集合构成，G的拉普拉斯矩阵定义为：
上式为对称归一化的拉普拉斯矩阵，其中，I为单位矩阵；为对角矩阵，也称为节点的度矩阵，d=rowSum(S)，对角线上的元素依次为各个节点的度；A为邻接矩阵，由每条边的权值构成。边的权值表示和的相似度，邻接矩阵描述两个节点的连接关系，当A为1，则两个节点邻接，A为0，则两个节点不邻接。该拉普拉斯矩阵L描述图的拉普拉斯矩阵与图的性质之间的关系。
2.通过傅里叶变换得到图卷积网络的卷积核。对图G进行傅里叶变换需将L矩阵的一组特征向量作为傅里叶变换的基。将L分解可得到：
其中是由L的特征值组成的对角矩阵，U为L矩阵的n个特征向量，为正交矩阵。
定义为L的特征值，也即傅里叶变换的频率，将式（2）变形为：
则图G的傅里叶变换定义为：
其中，f是图上的N维向量，可以表示某个点的特征向量，表示第i个特征，即作用在第i个点上的信号，用图G的向量来表示；是L的第l行的特征值；表示第l个特征向量的第i个分量；f的图傅里叶变换就是与对应的特征向量进行内积运算；表示f的傅里叶变换。
用矩阵乘法将式（4）变形得到：
即f在图上傅里叶变换的矩阵形式为：
根据上述方法同理可得到图的傅里叶逆变换：
其中，式（7）的矩阵形式表达为：
由于傅里叶变换有一定的性质，在图域进行卷积，相当于在傅里叶域相乘，则根据卷积定理：函数卷积的傅里叶变换是函数傅立叶变换的乘积，即对于函数f与g两者的卷积是其函数傅立叶变换乘积的逆变换，得到图的卷积公式：
其中，表示对图G进行卷积；g为filter函数；表示哈达玛积；图G表示为，即图在每一点上的信号；U为傅里叶变换的基，也是拉普拉斯矩阵L的特征向量。
将g定义为一个拉普拉斯矩阵的函数g(L)，作用一次拉普拉斯矩阵L相当于在图上传播了一次邻居节点。将看作是可学习的卷积核，定义为一个拉普拉斯矩阵L中特征值的函数，其参数为，将式（9）变形得到：
第一个等号的等价，即为式（9）的内容；第二个等号的等价在于特征向量与矩阵相乘等于特征向量与特征值多项式相乘，特征值多项式为。
为了简化计算量，对式（10）中的filter函数做近似估计，得到：
其中，，是L的最大特征值，为N维的单位矩阵，为切比雪夫多项式，其定义为；表示为的多项式。
因为，式（11）同时可表示为：
其中，，，则卷积也可描述为：
其中，Uf为图G的傅里叶域；与Uf相乘即表示傅里叶域上的点乘；乘以即表示从傅里叶域回到图域。
3.以卷积核为基础构建卷积层数为2层的图卷积网络，并在图卷积层后加上一层图池化层，即得到了包含遥感领域知识图谱的内容信息的图卷积网络。
之后，获取遥感图像，将遥感图像输入图卷积网络，利用图卷积层对遥感图像进行图卷积操作，并利用图池化层进行最大图池化操作，输出得到的特征作为第一特征，其中，图池化操作的目的在于：在保留图像的信息的前提下，降低图像的尺寸，并增大图卷积核的感受野，以便于提取到包含高层语义的特征，且能防止过拟合。在提取第一特征的同时，由于遥感领域知识图谱包含场景显著对象、场景显著对象的区域及其区域属性等信息，利用遥感领域知识图谱对遥感图像进行该部分信息的比对和标识，将第一特征相关联的图像区域进行标记，得到推荐区域。因为在提取第一特征时，能从遥感领域知识图谱中学习到场景显著对象及区域的知识，令第一特征能更好的描述场景的语义信息，以便于后续辅助对遥感图像进行场景语义类别的区分。
构建深度学习网络模型，具体包括特征提取模块、特征融合模块、特征学习模块和分类模块，将第一特征和推荐区域输入深度网络模型，按照顺序进行处理：
（1）特征提取模块
该特征提取模块包括深度学习网络，可以是ResNet、VGG或其它类型的深度学习网络，本实施例采用ResNet-50，该网络包括四层子网络和一层全连接层，先将遥感图像均匀分割，将推荐区域进行标记，作为特征提取模块的输入，利用ResNet-50对遥感图像的推荐区域进行特征提取，得到第二特征，其中，全连接层的输入是子网络的维度，输出为目标维度，所述目标维度为第一特征的维度，以使得第二特征与第一特征的维度相同，便于后续的特征融合操作。需要说明的是，当采用其它深度学习网络时，其结构的最后一层均为全连接层，其输入为前一层网络层的维度，其输出为第一特征的维度。
（2）特征融合模块
该模块对第一特征和第二特征进行融合，得到第三特征，融合公式如下：
为融合特征，为第一特征，为第二特征，表示将两种特征合并。融合特征能够更加全面和更具代表性，对于易混淆的图像也有较高的分类准确率。
（3）特征学习模块
该模块包括在线字典和局部线性约束编码算法，在线字典需利用遥感样本进行学习和更新，其学习和更新的步骤如下：
获取一组遥感样本组成的集合，对遥感样本进行密集SIFT特征提取，并对特征进行聚类，构建初始的在线字典，采用在线字典学习方法对遥感样本进行循环学习，利用初始的在线字典对遥感样本进行局部线性约束重构，然后根据重构后的遥感样本和原始的遥感样本之间的误差对在线字典进行更新。
本实施例中采用的在线字典学习方法为MOD算法：
步骤一，获取遥感样本，之后初始化在线字典，记为B，该步骤主要为对遥感样本进行密集SIFT特征提取，得到密集SIFT特征作为局部描述符，记为，每个局部描述符的维度为W，之后将密集SIFT特征进行聚类，聚类中心作为原子构建在线字典。
步骤二，利用初始化的在线字典对遥感样本X进行特征编码，本实施例中采用局部约束线性编码的方法进行编码，具体过程为：对在线字典中的原子的空间位置进行约束，得到局部空间，将每个遥感样本的密集SIFT特征点映射为局部空间里原子的组合，以此进行特征编码。局部约束线性编码的目标函数为：
其中，表示X的编码矩阵，N为局部描述符的数目，为第i个局部描述符，代表X的在线字典，M为在线字典中原子的个数，令M大于W，使得字典具有超完备性，表示正则化参数，表示向量元素一一对应相乘，是约束项，用来确保局部线性约束编码的移动不变性，保证了相似的局部描述子会选择相近的原子进行重构，进而实现了局部约束，是局部控制因子，用来确保局部性权重的向量，其表达式如下：
其中，，是和之间的欧氏距离，参数表示的衰减速度。
利用局部线性约束编码的方法进行特征编码能够进一步保持局部性的方面，且具有局部平滑的效果，其编码性能较高。
步骤三，根据MOD算法进行重构，计算当前原子的重构误差，公式如下：
其中，表示第i个局部描述子对应的信号，为编码矩阵第i行的值，也为稀疏系数，表示2-范数，表示1-范数。
步骤四，计算全局重构误差，公式如下：
其中，表示F-范数。
步骤五，利用最小二乘法更新在线字典，公式为：
步骤六，重复迭代步骤二到步骤五，直至重构误差达到预设要求或迭代次数达到预设值。
经由上述步骤后得到更新后的特征学习模块，将第三特征输入特征学习模块，经由在线字典进行特征编码学习，得到第四特征。由于在线字典学习方法是在不断重构与编码的过程中学习字典，所得到的在线字典更具有表达能力，而局部约束线性编码算法能令同类场景的遥感图像的编码系数更相近，而不同场景间遥感图像的编码系数差异更大，能有效避免遥感图像场景分类时的场景易混淆的情况，且得到的第四特征具有局部性和稀疏性，更加的易于分类。
最后将第四特征输入分类模块，即可得到场景分类结果。本实施例中的分类模块为SVM分类器。
Claims (10)
1.一种基于图卷积网络和深度学习网络的遥感图像场景分类方法，其特征在于，该方法包括：
S1 构建遥感领域知识图谱，以遥感领域知识图谱为图数据建立图卷积网络；
S2 获取遥感图像，利用图卷积网络提取遥感图像的局部特征，得到第一特征，并根据所述遥感领域知识图谱的推荐信息进行位置推荐，得到与所述第一特征关联的图像区域，作为推荐区域；
S3 构建深度学习网络模型，包括特征提取模块、特征融合模块、特征学习模块和分类模块，将所述第一特征与对应的所述推荐区域输入所述深度学习网络模型，所述特征提取模块用于对所述推荐区域进行特征提取，得到第二特征，所述特征融合模块用于对所述第一特征和所述第二特征进行融合，得到第三特征，所述特征学习模块用于对所述第三特征进行在线字典学习和特征编码，得到第四特征，所述分类模块用于对所述第四特征进行分类，得到场景分类结果。
2.根据权利要求1所述的基于图卷积网络和深度学习网络的遥感图像场景分类方法，其特征在于，所述构建遥感领域知识图谱的步骤包括：
获取遥感样本数据，所述遥感样本数据包含场景标签，从所述遥感样本数据中提取得到场景显著对象、场景显著对象的区域；
根据所述场景显著对象和所述场景显著对象的区域构建遥感本体库；
获取地学知识和遥感资料，所述地学知识包括地学数据性知识、地学概念性知识、地学规律性知识，所述遥感资料包括场景资料、地物资料、环境资料、图像资料；
利用所述遥感本体库对所述地学知识和所述遥感资料进行本体化表达，得到扩充后的遥感本体库；
通过知识抽取的方法对所述扩充后的遥感本体库进行遥感实体的构建，并根据实体链接和实体归类在所述遥感实体之间建立具体关系；
将所述遥感实体、所述遥感实体间的关系图谱化，即得到遥感领域知识图谱。
3.根据权利要求2所述的基于图卷积网络和深度学习网络的遥感图像场景分类方法，其特征在于，所述遥感本体库包含对象属性、区域属性和关联关系属性中的至少一种，其中：
所述对象属性包括对象纹理结构、尺度大小和显著组成部分；
所述区域属性包括区域显著地物的类型组成、区域的行政区划名称、区域的地理结构类型和地质结构类型；
所述关联关系属性包括对象与对象之间、对象与地区之间的主要关联关系类型。
4.根据权利要求2所述的基于图卷积网络和深度学习网络的遥感图像场景分类方法，其特征在于，所述建立图卷积网络的步骤包括：
所述遥感领域知识图谱由节点和边构成，所述节点为所述遥感实体，所述边为所述遥感实体间的关系，根据所述节点和边构造邻接矩阵和对角矩阵，根据所述邻接矩阵和对角矩阵构建拉普拉斯矩阵；
通过傅里叶变换方法和所述拉普拉斯矩阵得到图卷积网络的卷积核；
以所述卷积核为基础构建图卷积网络，所述图卷积网络由两层图卷积层和一层图池化层构成。
5.根据权利要求4所述的基于图卷积网络和深度学习网络的遥感图像场景分类方法，其特征在于，步骤S2包括：
获取遥感图像，将所述遥感图像输入所述图卷积网络；
利用所述图卷积层对所述遥感图像进行图卷积操作，并利用所述图池化层进行最大图池化操作，输出得到的特征为所述第一特征；
利用遥感领域知识图谱中场景显著对象和场景显著对象的区域的知识，将所述第一特征相关联的区域进行标记，得到所述推荐区域。
6.根据权利要求1所述的基于图卷积网络和深度学习网络的遥感图像场景分类方法，其特征在于，所述特征提取模块包括深度学习网络，所述深度学习网络的最后一层为全连接层。
7.根据权利要求1所述的基于图卷积网络和深度学习网络的遥感图像场景分类方法，其特征在于，所述第一特征的维度与所述第二特征的维度相同。
8.根据权利要求1所述的基于图卷积网络和深度学习网络的遥感图像场景分类方法，其特征在于，所述特征学习模块包括在线字典和局部线性约束编码算法，所述在线字典通过遥感样本进行预训练得到。
9.根据权利要求8所述的基于图卷积网络和深度学习网络的遥感图像场景分类方法，其特征在于，预训练所述在线字典的步骤包括：
步骤一，获取遥感样本，对所述遥感样本进行密集SIFT特征提取，并对密集SIFT特征进行聚类，聚类中心作为原子构建在线字典；
步骤二，利用在线字典和局部线性约束编码算法对所述密集SIFT特征进行特征编码，得到所述密集SIFT矩阵的编码矩阵；
步骤三，根据在线字典学习算法基于所述编码矩阵逐个计算所述原子的重构误差；
步骤四，根据所有的所述原子的重构误差计算得到全局重构误差；
步骤五，利用所述全局重构误差通过最小二乘法对所述在线字典进行更新；
步骤六，重复步骤二-步骤五，直至重构误差达到预设要求或迭代次数达到预设值。
10.根据权利要求9所述的基于图卷积网络和深度学习网络的遥感图像场景分类方法，其特征在于，所述在线字典学习算法为MOD算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310202458.4A CN116091845B (zh) | 2023-03-06 | 2023-03-06 | 基于图卷积网络和深度学习网络的遥感图像场景分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310202458.4A CN116091845B (zh) | 2023-03-06 | 2023-03-06 | 基于图卷积网络和深度学习网络的遥感图像场景分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116091845A true CN116091845A (zh) | 2023-05-09 |
| CN116091845B CN116091845B (zh) | 2023-10-27 |
Family
ID=86188150
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310202458.4A Active CN116091845B (zh) | 2023-03-06 | 2023-03-06 | 基于图卷积网络和深度学习网络的遥感图像场景分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116091845B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117011555A (zh) * | 2023-10-07 | 2023-11-07 | 广东海洋大学 | 一种基于遥感图像识别的红树林生态检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111209915A (zh) * | 2019-12-25 | 2020-05-29 | 上海航天控制技术研究所 | 一种基于深度学习的三维图像同步识别和分割方法 |
| US20210209424A1 (en) * | 2020-01-06 | 2021-07-08 | Quantela Inc | Computer-based method and system for predicting and generating land use land cover (lulc) classification |
| CN113780097A (zh) * | 2021-08-17 | 2021-12-10 | 北京数慧时空信息技术有限公司 | 基于知识图谱和深度学习的耕地提取方法 |
| CN115661504A (zh) * | 2022-08-24 | 2023-01-31 | 北京数慧时空信息技术有限公司 | 基于迁移学习和视觉词包的遥感样本分类方法 |
-
2023
- 2023-03-06 CN CN202310202458.4A patent/CN116091845B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111209915A (zh) * | 2019-12-25 | 2020-05-29 | 上海航天控制技术研究所 | 一种基于深度学习的三维图像同步识别和分割方法 |
| US20210209424A1 (en) * | 2020-01-06 | 2021-07-08 | Quantela Inc | Computer-based method and system for predicting and generating land use land cover (lulc) classification |
| CN113780097A (zh) * | 2021-08-17 | 2021-12-10 | 北京数慧时空信息技术有限公司 | 基于知识图谱和深度学习的耕地提取方法 |
| CN115661504A (zh) * | 2022-08-24 | 2023-01-31 | 北京数慧时空信息技术有限公司 | 基于迁移学习和视觉词包的遥感样本分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张振超: "基于卷积神经网络模型的遥感影像场景分类研究", 《中国优秀硕士论文电子期刊网》 * |
| 张永军 等: "遥感知识图谱创建及其典型场景应用技术", 《遥感学报》, vol. 27, no. 2, pages 249 - 266 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117011555A (zh) * | 2023-10-07 | 2023-11-07 | 广东海洋大学 | 一种基于遥感图像识别的红树林生态检测方法 |
| CN117011555B (zh) * | 2023-10-07 | 2023-12-01 | 广东海洋大学 | 一种基于遥感图像识别的红树林生态检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116091845B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | A feature difference convolutional neural network-based change detection method | |
| Ming et al. | Land cover classification using random forest with genetic algorithm-based parameter optimization | |
| Adelabu et al. | Exploiting machine learning algorithms for tree species classification in a semiarid woodland using RapidEye image | |
| Akar et al. | Integrating multiple texture methods and NDVI to the Random Forest classification algorithm to detect tea and hazelnut plantation areas in northeast Turkey | |
| Su et al. | Machine learning-assisted region merging for remote sensing image segmentation | |
| Peng et al. | Combining GF-2 and RapidEye satellite data for mapping mangrove species using ensemble machine-learning methods | |
| Kavitha et al. | Retracted article: content based satellite image retrieval system using fuzzy clustering | |
| Mo et al. | Orbita hyperspectral satellite image for land cover classification using random forest classifier | |
| Saini et al. | Analyzing the impact of red-edge band on land use land cover classification using multispectral RapidEye imagery and machine learning techniques | |
| CN116091845B (zh) | 基于图卷积网络和深度学习网络的遥感图像场景分类方法 | |
| Zhao et al. | Land cover information extraction based on daily NDVI time series and multiclassifier combination | |
| Shi et al. | Mapping vegetation and land cover in a large urban area using a multiple classifier system | |
| Feng et al. | Land-cover classification of high-resolution remote sensing image based on multi-classifier fusion and the improved Dempster–Shafer evidence theory | |
| Li et al. | A new combination classification of pixel-and object-based methods | |
| Rawat et al. | Multisensor temporal approach for transplanted paddy fields mapping using fuzzy-based classifiers | |
| Nikfar et al. | Optimization of multiresolution segmentation by using a genetic algorithm | |
| Jijón-Palma et al. | Improving stacked-autoencoders with 1D convolutional-nets for hyperspectral image land-cover classification | |
| Im et al. | Fusion of feature selection and optimized immune networks for hyperspectral image classification of urban landscapes | |
| Yuan et al. | Combining synthetic aperture radar and multispectral images for land cover classification: a case study of Beijing, China | |
| Zhang et al. | Detailed mapping of a salt farm from Landsat TM imagery using neural network and maximum likelihood classifiers: a comparison | |
| Yusof et al. | The use of Landsat-8 and Sentinel-2 imageries in detecting and mapping rubber trees | |
| Liu et al. | Characterizing ecosystem functional type patterns based on subtractive fuzzy cluster means using Sentinel-2 time-series data | |
| Rajesh et al. | ANFIS based land cover/land use mapping of LISS IV imagery using optimized wavelet packet features | |
| Hidayat et al. | GEOBIA an (geographic) object-based image analysis for coastal mapping in Indonesia: A review | |
| Ouchra et al. | Comparison of Machine Learning Methods for Satellite Image Classification: A Case Study of Casablanca Using Landsat Imagery and Google Earth Engine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |