CN116644205A - 一种地理信息数据处理系统及方法 - Google Patents

一种地理信息数据处理系统及方法 Download PDF

Info

Publication number
CN116644205A
CN116644205A CN202310928101.4A CN202310928101A CN116644205A CN 116644205 A CN116644205 A CN 116644205A CN 202310928101 A CN202310928101 A CN 202310928101A CN 116644205 A CN116644205 A CN 116644205A
Authority
CN
China
Prior art keywords
remote sensing
hypergraph
vertex
data
sensing data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310928101.4A
Other languages
English (en)
Other versions
CN116644205B (zh
Inventor
祁明亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yuantu Technology Development Co ltd
Original Assignee
Beijing Yuantu Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yuantu Technology Development Co ltd filed Critical Beijing Yuantu Technology Development Co ltd
Priority to CN202310928101.4A priority Critical patent/CN116644205B/zh
Publication of CN116644205A publication Critical patent/CN116644205A/zh
Application granted granted Critical
Publication of CN116644205B publication Critical patent/CN116644205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种地理信息数据处理系统及方法，系统包括信息采集模块、遥感数据预处理模块、多模态遥感数据融合及分类模块、多模态遥感数据增强模块和遥感数据分割模块。本发明属于地理信息技术领域，具体是指一种地理信息数据处理系统及方法，本发明采用基于耦合自循环卷积神经网络的方法进行多模态遥感数据的融合和分类，提升了地理信息数据的可靠性和分类的准确性；采用基于数据本体的过采样和数据拼接的方法进行数据增强，提高了数据的可用性；采用基于超图构造的多模态遥感数据分割方法，提高了地理信息数据处理的跨模态兼容性和多模态融合数据的处理有效性。

Description

一种地理信息数据处理系统及方法
技术领域
本发明属于地理信息技术领域，具体为一种地理信息数据处理系统及方法。
背景技术
地理信息数据处理系统是用于收集、存储、管理和分析地理信息数据的软件系统，它能够处理和操作空间数据与属性数据，并提供各种功能和工具以支持地理数据的操作、分析。
但是，现有技术的地理信息数据处理系统面临着数据质量、数据一致性、数据可用性和处理准确率多方面的挑战，在已有的地理信息数据处理过程中，存在着遥感类别多样和数据模态多样导致数据分割处理困难、分类准确性降低和多模态数据属性表征困难的技术问题；在已有的地理信息数据处理过程中，存在着经过分类的多模态遥感数据易出现类不平衡或个别遥感数据类别所包括的研究数据样本数量不足，进而可能导致模型样本过拟合，降低后续数据处理的准确性和可靠性的技术问题；在已有的地理信息数据处理过程中，存在着缺少一种面向多模态遥感数据的模态间关系建模和分割方法，进而导致单一模态的分割方法不适用于多模态遥感数据处理的技术问题。
发明内容
针对上述情况，为克服现有技术的缺陷，本发明提供了一种地理信息数据处理系统及方法，针对在已有的地理信息数据处理过程中，存在着遥感类别多样和数据模态多样导致数据分割处理困难、分类准确性降低和多模态数据属性表征困难的技术问题，本方案创造性地采用基于耦合自循环卷积神经网络的方法进行多模态遥感数据的融合和分类，为后续的遥感数据分割提供更多地理信息，提升了地理信息数据的可靠性和分类的准确性；针对在已有的地理信息数据处理过程中，存在着经过分类的多模态遥感数据易出现类不平衡或个别遥感数据类别所包括的研究数据样本数量不足，进而可能导致模型样本过拟合，降低后续数据处理的准确性和可靠性的技术问题，本方案创造性地采用基于数据本体的过采样和数据拼接的方法进行数据增强，平衡了数据分类的遥感数据类别，减少了模型样本过拟合带来的负面影响，提高了数据的可用性；针对在已有的地理信息数据处理过程中，存在着缺少一种面向多模态遥感数据的模态间关系建模和分割方法，进而导致单一模态的分割方法不适用于多模态遥感数据处理的技术问题，本方案创造性地采用基于超图构造的多模态遥感数据分割方法，实现了多模态超图构造并通过分割得到多模态遥感数据的像素级语义，提高了地理信息数据处理的跨模态兼容性和多模态融合数据的处理有效性。
本发明采取的技术方案如下：本发明提供的一种地理信息数据处理系统，包括信息采集模块、遥感数据预处理模块、多模态遥感数据融合及分类模块、多模态遥感数据增强模块和遥感数据分割模块，所述信息采集模块对地理信息进行采集，得到遥感原始数据，并将所述遥感原始数据发送至遥感数据预处理模块；所述遥感数据预处理模块接收信息采集模块发送的遥感原始数据，对所述遥感原始数据进行矫正、噪声去除和归一化处理操作，得到多模态遥感数据集，并将所述多模态遥感数据集发送至多模态遥感数据融合及分类模块；所述多模态遥感数据融合及分类模块接收遥感数据预处理模块发送的多模态遥感数据集，基于耦合自循环卷积神经网络的方法进行多模态遥感数据的融合和分类，得到待增强遥感数据集，并将所述待增强遥感数据集发送至多模态遥感数据增强模块；所述多模态遥感数据增强模块接收多模态遥感数据融合及分类模块发送的待增强遥感数据集，利用基于数据本体的过采样和数据拼接的方法进行数据增强，平衡数据分类的遥感数据类别，得到增强遥感数据集，并将所述增强遥感数据集发送至遥感数据分割模块；所述遥感数据分割模块接收多模态遥感数据增强模块发送的增强遥感数据集，基于超图构造的多模态遥感数据分割方法进行分割，得到遥感分割数据。
本发明提供的一种地理信息数据处理方法及系统，该方法包括以下步骤：
步骤S1：信息采集；
步骤S2：遥感数据预处理；
步骤S3：多模态遥感数据融合及分类；
步骤S4：多模态遥感数据增强；
步骤S5：遥感数据分割。
进一步地，在步骤S1中，所述信息采集，具体指采集得到遥感原始数据。
进一步地，在步骤S2中，所述遥感数据预处理，具体指对所述遥感原始数据进行矫正、噪声去除和归一化处理操作，得到多模态遥感数据集X，所述多模态遥感数据集X包括高光谱遥感数据XHSI和光测距-合成孔径雷达数据XLS。
进一步地，在步骤S3中，所述多模态遥感数据融合及分类，具体指构建采用基于耦合自循环卷积神经网络的方法对所述多模态遥感数据集X进行数据融合和数据分类，具体包括以下步骤：
步骤S31：采用光谱空间特征提取器构建数据融合模型的卷积层和激活层，对所述多模态遥感数据集X进行特征提取，具体包括以下步骤：
步骤S311：使用三维卷积神经网络从高光谱遥感数据XHSI中提取得到三维光谱空间特征，计算公式为：
；
式中，是第i个输入样本所对应的三维光谱空间特征，ReLu（）是ReLu非线性激活函数，/>是三维卷积权重，/>是三维卷积运算符，{XHSI}i是第i个样本所对应的多模态高光谱遥感数据输入，/>是三维卷积偏置项；
步骤S312：使用二维卷积神经网络从三维光谱空间特征中整形并提取得到二维光谱空间特征/>，计算公式为：
；
式中，是第i个输入样本所对应的二维光谱空间特征，ReLu（）是ReLu非线性激活函数，/>是二维光谱空间特征卷积权重，/>是二维卷积运算符，/>是第i个样本所对应的二维光谱空间特征输入，/>是二维光谱空间特征卷积偏置项；
步骤S313：使用二维卷积神经网络从光测距-合成孔径雷达数据XLS中提取得到二维光测距-合成孔径雷达空间特征，计算公式为：
；
式中，是第i个输入样本所对应的二维光测距-合成孔径雷达空间特征，ReLu（）是ReLu非线性激活函数，/>是二维光测距-合成孔径雷达空间特征卷积权重，/>是二维卷积运算符，{XLS}i是第i个样本所对应的光测距-合成孔径雷达数据输入，/>是二维光测距-合成孔径雷达空间特征卷积偏置项；
步骤S32：采用多尺度耦合自循环模块构建数据融合模型的池化层，得到多模态遥感数据融合数据集Xf，具体包括以下步骤：
步骤S321：对所述二维光谱空间特征进行特征融合，并通过全局平均池化函数连接融合后的特征，计算公式为：
；
式中，I是第i个样本所对应的光谱特征池化值，GAP（）是全局平均池化函数，U·是串联运算符，K是耦合自循环模块的总层数，j是层级索引，/>是第i个样本位于第j层经过特征融合后的二维光谱空间融合特征；
步骤S322：对所述二维光测距-合成孔径雷达空间特征进行特征融合，并通过全局平均池化函数连接融合后的特征，计算公式为：
；
式中，是第i个样本所对应的光测距-合成孔径雷达特征池化值，GAP（）是全局平均池化函数，K是耦合自循环模块的总层数，j是层级索引，/>是第i个样本位于第j层经过特征融合后的二维光测距-合成孔径雷达空间融合特征；
步骤S323：通过串联光谱特征池化值和光测距-合成孔径雷达特征池化值，得到多模态遥感数据融合数据集Xf；
步骤S33：采用分类器构建数据分类模型，并构建全连接层计算多模态遥感数据的分类概率，得到多模态遥感数据分类模型MRSDC，具体包括以下步骤：
步骤S331：构建第一全连接层FC1，并通过第一全连接层FC1连接所述光谱特征池化值和所述光测距-合成孔径雷达特征池化值/>，计算公式为：
；
式中，是第i个样本所对应的多模态特征串联值，FC1（）是第一全连接层函数，[]是串联操作，/>是第i个样本所对应的光谱特征池化值，/>是第i个样本所对应的光测距-合成孔径雷达特征池化值；
步骤S332：构建第二全连接层，通过第二全连接层FC2连接各卷积核空间内的各个样本的多模态特征串联值，并采用softmax函数激活，计算公式为：
；
式中，是第i个样本的softmax分类值，softmax（）是激活函数，FC2（）是第二全连接层函数，S是卷积核的空间大小的集合，s是卷积核空间索引，/>是第i个样本所对应的多模态特征串联值；
步骤S333：通过交叉熵损失函数LCE优化分类器计算概率的准确率，所述交叉熵损失函数LCE的计算公式为：
；
式中，LCE是交叉熵损失函数，是第i个样本的真实概率，n是样本总数；
步骤S334：通过采用光谱空间特征提取器构建数据融合模型的卷积层和激活层、采用多尺度耦合自循环模块构建池化层、构建全连接层并采用分类器计算多模态遥感数据的分类概率，得到多模态遥感数据分类模型MRSDC；
步骤S34：使用多模态遥感数据分类模型MRSDC对所述多模态遥感数据融合数据集Xf进行数据分类，得到待增强遥感数据集DO。
进一步地，在步骤S4中，所述遥感数据增强，具体指采用过采样和数据拼接的方法，选取所述待增强遥感数据集DO中的部分数据作为原始训练遥感数据集DTR，并对所述原始训练遥感数据集DTR中的原始训练数据IO进行数据增强，包括以下步骤：
步骤S41：通过90°、180°和270°的角度旋转原始训练数据IO，得到旋转数据集DR；
步骤S42：依据步骤S41中的所述旋转数据集DR中的遥感数据的类型，建立遥感模板数据集DT，并选用数量较少的遥感数据类型作为少数类别遥感数据集DS；
步骤S43：统计旋转数据集DR中每个类别的遥感数据的数量，以数量最多的类型的遥感数据的数量作为基准，计算每种类别所需要增加的遥感数据数量；
步骤S44：对于每种类型的遥感数据，使用所述少数类别遥感数据集DS中一定数量的数据和所述遥感模板数据集DT中的随机数量的合成新的训练数据，得到合成训练遥感数据IN；
步骤S45：重复步骤S44，直到所述原始训练遥感数据集DTR中不同类别的遥感数据数量达到平衡，得到增强遥感数据集DGC。
进一步地，在步骤S5中，所述遥感数据分割，具体包括以下步骤：
步骤S51：图形投影，具体为采用卷积神经网络提取增强遥感数据集DGC中的特征，并将具有相似特征的像素分配至相同的顶点集，得到顶点集Γ，所述顶点集Γ的计算公式为：
；
式中，Γ是顶点集，γi是第i个超图顶点，i是顶点标号索引，|Γ|是超图顶点总量；
步骤S52：单模态超图构造，具体包括以下步骤：
步骤S521：定义超图构造所需要提取的超边集E，所述超边集E的计算公式为：
；
式中，E是超边集，εj是第j条超边，j是顶点标号索引，|E|是超边总量；
步骤S522：通过计算语义相似性Sij得到每个超图顶点γi的最近邻域空间，并使用超边εj连接最近邻域空间内的其他超图顶点γj，所述语义相似性Sij的计算公式为：
；
式中，Sij是语义相似性，exp（）是自然指数函数，d（）是距离度量函数，是超图顶点γi的顶点特征向量，/>是超边εj的超边特征向量，η是长度尺度超参数，i是顶点标号索引，j是超边标号索引；
步骤S523：通过确定超图顶点集Γ和超边集E，并通过超边连接相应的超图顶点进行超图构造，得到顶点特征矩阵集P，所述顶点特征矩阵集P的计算公式为：
；
式中，P是顶点特征矩阵集，是超图顶点γi的顶点特征向量，i是顶点标号索引，|Γ|是超图顶点总量；
步骤S524：通过确定超图顶点集Γ和超边集E，并通过超边连接相应的超图顶点进行超图构造，得到超边特征矩阵集Q，所述超边特征矩阵集Q的计算公式为：
；
式中，Q是超边特征矩阵集，是超边εi的超边特征向量，i是顶点标号索引，|E|是超边总量；
步骤S525：通过得到所述顶点特征矩阵集P和所述超边特征矩阵集Q，构造得到单模态超图Gsig；
步骤S53：自适应性超图学习，具体包括以下步骤：
步骤S531：构建顶点学习层，具体为采用注意力机制，计算超图顶点γi和最近邻域空间内的其他超图顶点γj之间的类同性Cij，计算公式为：
；
式中，Cij是超图顶点γi和最近邻域空间内的其他超图顶点γj之间的类同性，φ（）是激活函数，是顶点类同可训练参数和Wp1是顶点类同可训练权重，/>是超图顶点γi的顶点特征向量，/>是连接运算符，/>是最近邻域空间内的其他超图顶点γj的顶点特征向量，εi是以γi作为中心顶点的超边；
步骤S532：构建超边学习层，具体包括以下步骤：
步骤S5321：计算超边εi和相邻超边εj的联合表示，计算公式为：
；
式中，是超边εi和相邻超边εj的联合表示，Wq1是联合表示可训练权重，/>是联合表示可训练偏置项，εj是超边εi的相邻超边，/>是相邻超边εj的超边特征向量，/>是包含超图顶点γi的所有超边的集合；
步骤S5322：计算超图顶点γi和最近邻域空间内的其他超图顶点γj的上下文语义类同性，计算公式为：
；
式中，是超图顶点γi和最近邻域空间内的其他超图顶点γj的上下文语义类同性，Wq2是语义类同可训练权重，/>是超图顶点γi的特征向量，/>是最近邻域空间内的其他超图顶点γj的特征向量，/>是元素矩阵乘法，εj是超边εi的相邻超边，/>是相邻超边εj的超边特征向量，/>是包含超图顶点γi的所有超边的集合；
步骤S533：对联合表示和上下文语义类同性/>进行组合，构建超边学习层，计算公式为：
；
式中，是联合表示/>和上下文语义类同性/>的组合特征向量，L是/>中包含的超边数，l是超边计数索引，/>是包含超图顶点γi的所有超边的集合，/>是组合可学习矩阵，/>是是超边εi和相邻超边εj的联合表示，/>是超图顶点γi和最近邻域空间内的其他超图顶点γj的上下文语义类同性，/>是连接运算符；
步骤S54：多模态超图构造，具体包括以下步骤：
步骤S541：定义高光谱模态超图GHSI，得到高光谱模态顶点集ΓHSI和高光谱模态超边集EHSI，所述高光谱模态超图的计算公式为：
；
式中，ΓHSI是高光谱模态顶点集，EHSI是高光谱模态超边集；
步骤S542：定义光测距-合成孔径雷达模态超图GLS，得到光测距-合成孔径雷达模态顶点集ΓLS和光测距-合成孔径雷达模态超边集ELS，所述光测距-合成孔径雷达模态超图的计算公式为：
；
式中，ΓLS是高光谱模态顶点集，ELS是高光谱模态超边集；
步骤S543：计算高光谱模态顶点特征矩阵集PHSI，计算公式为：
；
式中，PHSI是高光谱模态顶点特征矩阵集，是高光谱模态超图顶点的特征向量，/>是高光谱模态超图顶点总量；
步骤S544：计算光测距-合成孔径雷达模态特征矩阵集PLS，计算公式为：
；
式中，PLS是光测距-合成孔径雷达模态顶点特征矩阵集，是光测距-合成孔径雷达模态超图顶点的特征向量，|ΓLS|是光测距-合成孔径雷达模态超图顶点总量；
步骤S545：计算多模态顶点间特征矩阵ψ，计算公式为：
；
式中，ψ是多模态顶点间特征矩阵，是高光谱模态顶点特征矩阵集PHSI的转置矩阵集，PLS是光测距-合成孔径雷达模态顶点特征矩阵集；
步骤S546：通过计算多模态顶点间特征矩阵，构造多模态超图GMuti；
步骤S55：超图动态更新，具体包括以下步骤：
步骤S551：计算所述多模态超图GMuti的顶点特征矩阵集PMuti，计算公式为：
；
式中，PMuti是多模态超图GMuti的顶点特征矩阵集，是多模态超图GMuti的第i个顶点的特征向量，|ΓMuti|是多模态超图GMuti的顶点总量；
步骤S552：通过多模态超图GMuti的顶点特征矩阵集PMuti重建多模态超边，计算公式为：
；
式中，是重建后的多模态超边，/>是多模态超图GMuti的第i个顶点，/>是多模态超图GMuti的第i个顶点的最近邻域空间内的第j个超图顶点，/>是多模态超图GMuti的第i个顶点的最近邻域空间内的所有其他超图顶点的集合，/>是多模态超图GMuti的顶点特征矩阵集；
步骤S553：通过重建多模态超边，得到更新多模态超图GMuti*；
步骤S56：数据分割，具体为使用动态更新后的更新多模态超图GMuti*输出语义张量，得到遥感分割数据DC。
采用上述方案本发明取得的有益效果如下：
（1）针对在已有的地理信息数据处理过程中，存在着遥感类别多样和数据模态多样导致数据分割处理困难、分类准确性降低和多模态数据属性表征困难的技术问题，本方案创造性地采用基于耦合自循环卷积神经网络的方法进行多模态遥感数据的融合和分类，为后续的遥感数据分割提供更多地理信息，提升了地理信息数据的可靠性和分类的准确性；
（2）针对在已有的地理信息数据处理过程中，存在着经过分类的多模态遥感数据易出现类不平衡或个别遥感数据类别所包括的研究数据样本数量不足，进而可能导致模型样本过拟合，降低后续数据处理的准确性和可靠性的技术问题，本方案创造性地采用基于数据本体的过采样和数据拼接的方法进行数据增强，平衡了数据分类的遥感数据类别，减少了模型样本过拟合带来的负面影响，提高了数据的可用性；
（3）针对在已有的地理信息数据处理过程中，存在着缺少一种面向多模态遥感数据的模态间关系建模和分割方法，进而导致单一模态的分割方法不适用于多模态遥感数据处理的技术问题，本方案创造性地采用基于超图构造的多模态遥感数据分割方法，实现了多模态超图构造并通过分割得到多模态遥感数据的像素级语义，提高了地理信息数据处理的跨模态兼容性和多模态融合数据的处理有效性。
附图说明
图1为本发明提供的一种地理信息数据处理系统的结构示意图；
图2为本发明提供的一种地理信息数据处理方法的流程示意图；
图3为本发明提供的一种地理信息数据处理方法的数据流图；
图4步骤S3的流程示意图；
图5为步骤S4的流程示意图；
图6为步骤S5的流程示意图。
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一，参阅图1和图3，本发明提供的一种地理信息数据处理系统，包括信息采集模块、遥感数据预处理模块、多模态遥感数据融合及分类模块、多模态遥感数据增强模块和遥感数据分割模块，所述信息采集模块对地理信息进行采集，得到遥感原始数据，并将所述遥感原始数据发送至遥感数据预处理模块；所述遥感数据预处理模块接收信息采集模块发送的遥感原始数据，对所述遥感原始数据进行矫正、噪声去除和归一化处理操作，得到多模态遥感数据集，并将所述多模态遥感数据集发送至多模态遥感数据融合及分类模块；所述多模态遥感数据融合及分类模块接收遥感数据预处理模块发送的多模态遥感数据集，基于耦合自循环卷积神经网络的方法进行多模态遥感数据的融合和分类，得到待增强遥感数据集，并将所述待增强遥感数据集发送至多模态遥感数据增强模块；所述多模态遥感数据增强模块接收多模态遥感数据融合及分类模块发送的待增强遥感数据集，利用基于数据本体的过采样和数据拼接的方法进行数据增强，平衡数据分类的遥感数据类别，得到增强遥感数据集，并将所述增强遥感数据集发送至遥感数据分割模块；所述遥感数据分割模块接收多模态遥感数据增强模块发送的增强遥感数据集，基于超图构造的多模态遥感数据分割方法进行分割，得到遥感分割数据。
实施例二，该实施例基于上述实施例，参阅图2，本发明提供的一种地理信息数据处理方法及系统，该方法包括以下步骤：
步骤S1：信息采集；
步骤S2：遥感数据预处理；
步骤S3：多模态遥感数据融合及分类；
步骤S4：多模态遥感数据增强；
步骤S5：遥感数据分割。
实施例三，该实施例基于上述实施例，参阅图1、图2和图3，在步骤S1中，所述信息采集，具体指采集得到遥感原始数据。
实施例四，该实施例基于上述实施例，参阅图1、图2和图3，在步骤S2中，所述遥感数据预处理，具体指对所述遥感原始数据进行矫正、噪声去除和归一化处理操作，得到多模态遥感数据集X，所述多模态遥感数据集X包括高光谱遥感数据XHSI和光测距-合成孔径雷达数据XLS。
实施例五，该实施例基于上述实施例，参阅图2、图3和图4，在步骤S3中，所述多模态遥感数据融合及分类，具体指构建采用基于耦合自循环卷积神经网络的方法对所述多模态遥感数据集X进行数据融合和数据分类，具体包括以下步骤：
步骤S31：采用光谱空间特征提取器构建数据融合模型的卷积层和激活层，对所述多模态遥感数据集X进行特征提取，具体包括以下步骤：
步骤S311：使用三维卷积神经网络从高光谱遥感数据XHSI中提取得到三维光谱空间特征，计算公式为：
；
式中，是第i个输入样本所对应的三维光谱空间特征，ReLu（）是ReLu非线性激活函数，/>是三维卷积权重，/>是三维卷积运算符，{XHSI}i是第i个样本所对应的多模态高光谱遥感数据输入，/>是三维卷积偏置项；
步骤S312：使用二维卷积神经网络从三维光谱空间特征中整形并提取得到二维光谱空间特征/>，计算公式为：
；
式中，是第i个输入样本所对应的二维光谱空间特征，ReLu（）是ReLu非线性激活函数，/>是二维光谱空间特征卷积权重，/>是二维卷积运算符，/>是第i个样本所对应的二维光谱空间特征输入，/>是二维光谱空间特征卷积偏置项；
步骤S313：使用二维卷积神经网络从光测距-合成孔径雷达数据XLS中提取得到二维光测距-合成孔径雷达空间特征，计算公式为：
；
式中，是第i个输入样本所对应的二维光测距-合成孔径雷达空间特征，ReLu（）是ReLu非线性激活函数，/>是二维光测距-合成孔径雷达空间特征卷积权重，/>是二维卷积运算符，{XLS}i是第i个样本所对应的光测距-合成孔径雷达数据输入，/>是二维光测距-合成孔径雷达空间特征卷积偏置项；
步骤S32：采用多尺度耦合自循环模块构建数据融合模型的池化层，得到多模态遥感数据融合数据集Xf，具体包括以下步骤：
步骤S321：对所述二维光谱空间特征进行特征融合，并通过全局平均池化函数连接融合后的特征，计算公式为：
；
式中，是第i个样本所对应的光谱特征池化值，GAP（）是全局平均池化函数，U·是串联运算符，K是耦合自循环模块的总层数，j是层级索引，/>是第i个样本位于第j层经过特征融合后的二维光谱空间融合特征；
步骤S322：对所述二维光测距-合成孔径雷达空间特征进行特征融合，并通过全局平均池化函数连接融合后的特征，计算公式为：
；
式中，是第i个样本所对应的光测距-合成孔径雷达特征池化值，GAP（）是全局平均池化函数，K是耦合自循环模块的总层数，j是层级索引，/>是第i个样本位于第j层经过特征融合后的二维光测距-合成孔径雷达空间融合特征；
步骤S323：通过串联光谱特征池化值和光测距-合成孔径雷达特征池化值，得到多模态遥感数据融合数据集Xf；
步骤S33：采用分类器构建数据分类模型，并构建全连接层计算多模态遥感数据的分类概率，得到多模态遥感数据分类模型MRSDC，具体包括以下步骤：
步骤S331：构建第一全连接层FC1，并通过第一全连接层FC1连接所述光谱特征池化值和所述光测距-合成孔径雷达特征池化值/>，计算公式为：
；
式中，是第i个样本所对应的多模态特征串联值，FC1（）是第一全连接层函数，[]是串联操作，/>是第i个样本所对应的光谱特征池化值，/>是第i个样本所对应的光测距-合成孔径雷达特征池化值；
步骤S332：构建第二全连接层，通过第二全连接层FC2连接各卷积核空间内的各个样本的多模态特征串联值，并采用softmax函数激活，计算公式为：
；
式中，是第i个样本的softmax分类值，softmax（）是激活函数，FC2（）是第二全连接层函数，S是卷积核的空间大小的集合，s是卷积核空间索引，/>是第i个样本所对应的多模态特征串联值；
步骤S333：通过交叉熵损失函数LCE优化分类器计算概率的准确率，所述交叉熵损失函数LCE的计算公式为：
；
式中，LCE是交叉熵损失函数，是第i个样本的真实概率，n是样本总数；
步骤S334：通过采用光谱空间特征提取器构建数据融合模型的卷积层和激活层、采用多尺度耦合自循环模块构建池化层、构建全连接层并采用分类器计算多模态遥感数据的分类概率，得到多模态遥感数据分类模型MRSDC；
步骤S34：使用多模态遥感数据分类模型MRSDC对所述多模态遥感数据融合数据集Xf进行数据分类，得到待增强遥感数据集DO；
通过执行上述操作，针对在已有的地理信息数据处理过程中，存在着遥感类别多样和数据模态多样导致数据分割处理困难、分类准确性降低和多模态数据属性表征困难的技术问题，本方案创造性地采用基于耦合自循环卷积神经网络的方法进行多模态遥感数据的融合和分类，为后续的遥感数据分割提供更多地理信息，提升了地理信息数据的可靠性和分类的准确性。
实施例六，该实施例基于上述实施例，参阅图2、图3和图5，在步骤S4中，所述遥感数据增强，具体指采用过采样和数据拼接的方法，选取所述待增强遥感数据集DO中的部分数据作为原始训练遥感数据集DTR，并对所述原始训练遥感数据集DTR中的原始训练数据IO进行数据增强，包括以下步骤：
步骤S41：通过90°、180°和270°的角度旋转原始训练数据IO，得到旋转数据集DR；
步骤S42：依据步骤S41中的所述旋转数据集DR中的遥感数据的类型，建立遥感模板数据集DT，并选用数量较少的遥感数据类型作为少数类别遥感数据集DS；
步骤S43：统计旋转数据集DR中每个类别的遥感数据的数量，以数量最多的类型的遥感数据的数量作为基准，计算每种类别所需要增加的遥感数据数量；
步骤S44：对于每种类型的遥感数据，使用所述少数类别遥感数据集DS中一定数量的数据和所述遥感模板数据集DT中的随机数量的合成新的训练数据，得到合成训练遥感数据IN；
步骤S45：重复步骤S44，直到所述原始训练遥感数据集DTR中不同类别的遥感数据数量达到平衡，得到增强遥感数据集DGC；
通过执行上述操作，针对在已有的地理信息数据处理过程中，存在着经过分类的多模态遥感数据易出现类不平衡或个别遥感数据类别所包括的研究数据样本数量不足，进而可能导致模型样本过拟合，降低后续数据处理的准确性和可靠性的技术问题，本方案创造性地采用基于数据本体的过采样和数据拼接的方法进行数据增强，平衡了数据分类的遥感数据类别，减少了模型样本过拟合带来的负面影响，提高了数据的可用性。
实施例七，该实施例基于上述实施例，参阅图2、图3和图6，在步骤S5中，所述遥感数据分割，具体包括以下步骤：
步骤S51：图形投影，具体为采用卷积神经网络提取增强遥感数据集DGC中的特征，并将具有相似特征的像素分配至相同的顶点集，得到顶点集Γ，所述顶点集Γ的计算公式为：
；
式中，Γ是顶点集，γi是第i个超图顶点，i是顶点标号索引，|Γ|是超图顶点总量；
步骤S52：单模态超图构造，具体包括以下步骤：
步骤S521：定义超图构造所需要提取的超边集E，所述超边集E的计算公式为：
；/>
式中，E是超边集，εj是第j条超边，j是顶点标号索引，|E|是超边总量；
步骤S522：通过计算语义相似性Sij得到每个超图顶点γi的最近邻域空间，并使用超边εj连接最近邻域空间内的其他超图顶点γj，所述语义相似性Sij的计算公式为：
；
式中，Sij是语义相似性，exp（）是自然指数函数，d（）是距离度量函数，是超图顶点γi的顶点特征向量，/>是超边εj的超边特征向量，η是长度尺度超参数，i是顶点标号索引，j是超边标号索引；
步骤S523：通过确定超图顶点集Γ和超边集E，并通过超边连接相应的超图顶点进行超图构造，得到顶点特征矩阵集P，所述顶点特征矩阵集P的计算公式为：
；
式中，P是顶点特征矩阵集，是超图顶点γi的顶点特征向量，i是顶点标号索引，|Γ|是超图顶点总量；
步骤S524：通过确定超图顶点集Γ和超边集E，并通过超边连接相应的超图顶点进行超图构造，得到超边特征矩阵集Q，所述超边特征矩阵集Q的计算公式为：
；
式中，Q是超边特征矩阵集，是超边εi的超边特征向量，i是顶点标号索引，|E|是超边总量；
步骤S525：通过得到所述顶点特征矩阵集P和所述超边特征矩阵集Q，构造得到单模态超图Gsig；
步骤S53：自适应性超图学习，具体包括以下步骤：
步骤S531：构建顶点学习层，具体为采用注意力机制，计算超图顶点γi和最近邻域空间内的其他超图顶点γj之间的类同性Cij，计算公式为：
；
式中，Cij是超图顶点γi和最近邻域空间内的其他超图顶点γj之间的类同性，φ（）是激活函数，是顶点类同可训练参数和Wp1是顶点类同可训练权重，/>是超图顶点γi的顶点特征向量，/>是连接运算符，/>是最近邻域空间内的其他超图顶点γj的顶点特征向量，/>是以γi作为中心顶点的超边；
步骤S532：构建超边学习层，具体包括以下步骤：
步骤S5321：计算超边εi和相邻超边εj的联合表示，计算公式为：
；
式中，是超边εi和相邻超边εj的联合表示，Wq1是联合表示可训练权重，/>是联合表示可训练偏置项，εj是超边εi的相邻超边，/>是相邻超边εj的超边特征向量，/>是包含超图顶点γi的所有超边的集合；
步骤S5322：计算超图顶点γi和最近邻域空间内的其他超图顶点γj的上下文语义类同性，计算公式为：
；
式中，是超图顶点γi和最近邻域空间内的其他超图顶点γj的上下文语义类同性，Wq2是语义类同可训练权重，/>是超图顶点γi的特征向量，/>是最近邻域空间内的其他超图顶点γj的特征向量，/>是元素矩阵乘法，εj是超边εi的相邻超边，/>是相邻超边εj的超边特征向量，/>是包含超图顶点γi的所有超边的集合；
步骤S533：对联合表示和上下文语义类同性/>进行组合，构建超边学习层，计算公式为：
；
式中，是联合表示/>和上下文语义类同性/>的组合特征向量，L是/>中包含的超边数，l是超边计数索引，/>是包含超图顶点γi的所有超边的集合，/>是组合可学习矩阵，/>是是超边εi和相邻超边εj的联合表示，/>是超图顶点γi和最近邻域空间内的其他超图顶点γj的上下文语义类同性，⊕是连接运算符；
步骤S54：多模态超图构造，具体包括以下步骤：
步骤S541：定义高光谱模态超图GHSI，得到高光谱模态顶点集ΓHSI和高光谱模态超边集EHSI，所述高光谱模态超图的计算公式为：
；
式中，ΓHSI是高光谱模态顶点集，EHSI是高光谱模态超边集；
步骤S542：定义光测距-合成孔径雷达模态超图GLS，得到光测距-合成孔径雷达模态顶点集ΓLS和光测距-合成孔径雷达模态超边集ELS，所述光测距-合成孔径雷达模态超图的计算公式为：
式中，ΓLS是高光谱模态顶点集，ELS是高光谱模态超边集；
步骤S543：计算高光谱模态顶点特征矩阵集PHSI，计算公式为：
；
式中，PHSI是高光谱模态顶点特征矩阵集，是高光谱模态超图顶点的特征向量，/>是高光谱模态超图顶点总量；
步骤S544：计算光测距-合成孔径雷达模态特征矩阵集PLS，计算公式为：
；/>
式中，PLS是光测距-合成孔径雷达模态顶点特征矩阵集，是光测距-合成孔径雷达模态超图顶点的特征向量，|ΓLS|是光测距-合成孔径雷达模态超图顶点总量；
步骤S545：计算多模态顶点间特征矩阵ψ，计算公式为：
；
式中，ψ是多模态顶点间特征矩阵，是高光谱模态顶点特征矩阵集PHSI的转置矩阵集，PLS是光测距-合成孔径雷达模态顶点特征矩阵集；
步骤S546：通过计算多模态顶点间特征矩阵，构造多模态超图GMuti；
步骤S55：超图动态更新，具体包括以下步骤：
步骤S551：计算所述多模态超图GMuti的顶点特征矩阵集PMuti，计算公式为：
；
式中，PMuti是多模态超图GMuti的顶点特征矩阵集，是多模态超图GMuti的第i个顶点的特征向量，|ΓMuti|是多模态超图GMuti的顶点总量；
步骤S552：通过多模态超图GMuti的顶点特征矩阵集PMuti重建多模态超边，计算公式为：
；
式中，是重建后的多模态超边，/>是多模态超图GMuti的第i个顶点，/>是多模态超图GMuti的第i个顶点的最近邻域空间内的第j个超图顶点，/>是多模态超图GMuti的第i个顶点的最近邻域空间内的所有其他超图顶点的集合，/>是多模态超图GMuti的顶点特征矩阵集；
步骤S553：通过重建多模态超边，得到更新多模态超图GMuti*；
步骤S56：数据分割，具体为使用动态更新后的更新多模态超图GMuti*输出语义张量，得到遥感分割数据DC；
通过执行上述操作，针对在已有的地理信息数据处理过程中，存在着缺少一种面向多模态遥感数据的模态间关系建模和分割方法，进而导致单一模态的分割方法不适用于多模态遥感数据处理的技术问题，本方案创造性地采用基于超图构造的多模态遥感数据分割方法，实现了多模态超图构造并通过分割得到多模态遥感数据的像素级语义，提高了地理信息数据处理的跨模态兼容性和多模态融合数据的处理有效性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程和方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程和方法所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (7)

1.一种地理信息数据处理系统，其特征在于：包括信息采集模块、遥感数据预处理模块、多模态遥感数据融合及分类模块、多模态遥感数据增强模块和遥感数据分割模块；
所述信息采集模块对地理信息进行采集，得到遥感原始数据，并将所述遥感原始数据发送至遥感数据预处理模块；
所述遥感数据预处理模块接收信息采集模块发送的遥感原始数据，对所述遥感原始数据进行矫正、噪声去除和归一化处理操作，得到多模态遥感数据集，并将所述多模态遥感数据集发送至多模态遥感数据融合及分类模块；
所述多模态遥感数据融合及分类模块接收遥感数据预处理模块发送的多模态遥感数据集，基于耦合自循环卷积神经网络的方法进行多模态遥感数据的融合和分类，得到待增强遥感数据集，并将所述待增强遥感数据集发送至多模态遥感数据增强模块；
所述多模态遥感数据增强模块接收多模态遥感数据融合及分类模块发送的待增强遥感数据集，利用基于数据本体的过采样和数据拼接的方法进行数据增强，平衡数据分类的遥感数据类别，得到增强遥感数据集，并将所述增强遥感数据集发送至遥感数据分割模块；
所述遥感数据分割模块接收多模态遥感数据增强模块发送的增强遥感数据集，基于超图构造的多模态遥感数据分割方法进行分割，得到遥感分割数据。
2.一种地理信息数据处理方法，应用于上述权利要求1所述的地理信息数据处理系统，其特征在于：该方法包括以下步骤：
步骤S1：信息采集；
步骤S2：遥感数据预处理；
步骤S3：多模态遥感数据融合及分类；
步骤S4：多模态遥感数据增强；
步骤S5：遥感数据分割；
在步骤S1中，所述信息采集，具体指采集得到遥感原始数据；
在步骤S2中，所述遥感数据预处理，具体指对所述遥感原始数据进行矫正、噪声去除和归一化处理操作，得到多模态遥感数据集X，所述多模态遥感数据集X包括高光谱遥感数据XHSI和光测距-合成孔径雷达数据XLS；
在步骤S3中，所述多模态遥感数据融合及分类，具体指构建采用基于耦合自循环卷积神经网络的方法对所述多模态遥感数据集X进行数据融合和数据分类，具体包括以下步骤：
步骤S31：采用光谱空间特征提取器构建数据融合模型的卷积层和激活层，对所述多模态遥感数据集X进行特征提取；
步骤S32：采用多尺度耦合自循环模块构建数据融合模型的池化层，得到多模态遥感数据融合数据集Xf；
步骤S33：采用分类器构建数据分类模型，并构建全连接层计算多模态遥感数据的分类概率，得到多模态遥感数据分类模型MRSDC；
步骤S34：使用多模态遥感数据分类模型MRSDC对所述多模态遥感数据融合数据集Xf进行数据分类，得到待增强遥感数据集DO。
3.根据权利要求2所述的一种地理信息数据处理方法，其特征在于：在步骤S31中，采用光谱空间特征提取器构建数据融合模型的卷积层和激活层，对所述多模态遥感数据集X进行特征提取，具体包括以下步骤：
步骤S311：使用三维卷积神经网络从高光谱遥感数据XHSI中提取得到三维光谱空间特征，计算公式为：
；
式中，是第i个输入样本所对应的三维光谱空间特征，ReLu（）是ReLu非线性激活函数，/>是三维卷积权重，/>是三维卷积运算符，{XHSI}i是第i个样本所对应的多模态高光谱遥感数据输入，/>是三维卷积偏置项；
步骤S312：使用二维卷积神经网络从三维光谱空间特征中整形并提取得到二维光谱空间特征/>，计算公式为：
；
式中，是第i个输入样本所对应的二维光谱空间特征，ReLu（）是ReLu非线性激活函数，/>是二维光谱空间特征卷积权重，/>是二维卷积运算符，/>是第i个样本所对应的二维光谱空间特征输入，/>是二维光谱空间特征卷积偏置项；
步骤S313：使用二维卷积神经网络从光测距-合成孔径雷达数据XLS中提取得到二维光测距-合成孔径雷达空间特征，计算公式为：
；
式中，是第i个输入样本所对应的二维光测距-合成孔径雷达空间特征，ReLu（）是ReLu非线性激活函数，/>是二维光测距-合成孔径雷达空间特征卷积权重，/>是二维卷积运算符，{XLS}i是第i个样本所对应的光测距-合成孔径雷达数据输入，/>是二维光测距-合成孔径雷达空间特征卷积偏置项。
4.根据权利要求3所述的一种地理信息数据处理方法，其特征在于：在步骤S32中，采用多尺度耦合自循环模块构建数据融合模型的池化层，得到多模态遥感数据融合数据集Xf，具体包括以下步骤：
步骤S321：对所述二维光谱空间特征进行特征融合，并通过全局平均池化函数连接融合后的特征，计算公式为：
；
式中，是第i个样本所对应的光谱特征池化值，GAP（）是全局平均池化函数，U·是串联运算符，K是耦合自循环模块的总层数，j是层级索引，/>是第i个样本位于第j层经过特征融合后的二维光谱空间融合特征；
步骤S322：对所述二维光测距-合成孔径雷达空间特征进行特征融合，并通过全局平均池化函数连接融合后的特征，计算公式为：
；
式中，是第i个样本所对应的光测距-合成孔径雷达特征池化值，GAP（）是全局平均池化函数，K是耦合自循环模块的总层数，j是层级索引，/>是第i个样本位于第j层经过特征融合后的二维光测距-合成孔径雷达空间融合特征；
步骤S323：通过串联光谱特征池化值和光测距-合成孔径雷达特征池化值，得到多模态遥感数据融合数据集Xf。
5.根据权利要求4所述的一种地理信息数据处理方法，其特征在于：在步骤S33中，采用分类器构建数据分类模型，并构建全连接层计算多模态遥感数据的分类概率，得到多模态遥感数据分类模型MRSDC，具体包括以下步骤：
步骤S331：构建第一全连接层FC1，并通过第一全连接层FC1连接所述光谱特征池化值和所述光测距-合成孔径雷达特征池化值/>，计算公式为：
；
式中，是第i个样本所对应的多模态特征串联值，FC1（）是第一全连接层函数，[]是串联操作，/>是第i个样本所对应的光谱特征池化值，/>是第i个样本所对应的光测距-合成孔径雷达特征池化值；
步骤S332：构建第二全连接层，通过第二全连接层FC2连接各卷积核空间内的各个样本的多模态特征串联值，并采用softmax函数激活，计算公式为：
；
式中，是第i个样本的softmax分类值，softmax（）是激活函数，FC2（）是第二全连接层函数，S是卷积核的空间大小的集合，s是卷积核空间索引，/>是第i个样本所对应的多模态特征串联值；
步骤S333：通过交叉熵损失函数LCE优化分类器计算概率的准确率，所述交叉熵损失函数LCE的计算公式为：
；
式中，LCE是交叉熵损失函数，是第i个样本的真实概率，n是样本总数；
步骤S334：通过采用光谱空间特征提取器构建数据融合模型的卷积层和激活层、采用多尺度耦合自循环模块构建池化层、构建全连接层并采用分类器计算多模态遥感数据的分类概率，得到多模态遥感数据分类模型MRSDC。
6.根据权利要求5所述的一种地理信息数据处理方法，其特征在于：在步骤S4中，所述遥感数据增强，具体指采用过采样和数据拼接的方法，选取所述待增强遥感数据集DO中的部分数据作为原始训练遥感数据集DTR，并对所述原始训练遥感数据集DTR中的原始训练数据IO进行数据增强，包括以下步骤：
步骤S41：通过90°、180°和270°的角度旋转原始训练数据IO，得到旋转数据集DR；
步骤S42：依据步骤S41中的所述旋转数据集DR中的遥感数据的类型，建立遥感模板数据集DT，并选用数量较少的遥感数据类型作为少数类别遥感数据集DS；
步骤S43：统计旋转数据集DR中每个类别的遥感数据的数量，以数量最多的类型的遥感数据的数量作为基准，计算每种类别所需要增加的遥感数据数量；
步骤S44：对于每种类型的遥感数据，使用所述少数类别遥感数据集DS中一定数量的数据和所述遥感模板数据集DT中的随机数量的合成新的训练数据，得到合成训练遥感数据IN；
步骤S45：重复步骤S44，直到所述原始训练遥感数据集DTR中不同类别的遥感数据数量达到平衡，得到增强遥感数据集DGC。
7.根据权利要求6所述的一种地理信息数据处理方法，其特征在于：在步骤S5中，所述遥感数据分割，具体包括以下步骤：
步骤S51：图形投影，具体为采用卷积神经网络提取增强遥感数据集DGC中的特征，并将具有相似特征的像素分配至相同的顶点集，得到顶点集Γ，所述顶点集Γ的计算公式为：
；
式中，Γ是顶点集，γi是第i个超图顶点，i是顶点标号索引，|Γ|是超图顶点总量；
步骤S52：单模态超图构造，具体包括以下步骤：
步骤S521：定义超图构造所需要提取的超边集E，所述超边集E的计算公式为：
；
式中，E是超边集，εj是第j条超边，j是顶点标号索引，|E|是超边总量；
步骤S522：通过计算语义相似性Sij得到每个超图顶点γi的最近邻域空间，并使用超边εj连接最近邻域空间内的其他超图顶点γj，所述语义相似性Sij的计算公式为：
；
式中，Sij是语义相似性，exp（）是自然指数函数，d（）是距离度量函数，是超图顶点γi的顶点特征向量，/>是超边εj的超边特征向量，η是长度尺度超参数，i是顶点标号索引，j是超边标号索引；
步骤S523：通过确定超图顶点集Γ和超边集E，并通过超边连接相应的超图顶点进行超图构造，得到顶点特征矩阵集P，所述顶点特征矩阵集P的计算公式为：
；
式中，P是顶点特征矩阵集，是超图顶点γi的顶点特征向量，i是顶点标号索引，|Γ|是超图顶点总量；
步骤S524：通过确定超图顶点集Γ和超边集E，并通过超边连接相应的超图顶点进行超图构造，得到超边特征矩阵集Q，所述超边特征矩阵集Q的计算公式为：
；
式中，Q是超边特征矩阵集，是超边εi的超边特征向量，i是顶点标号索引，|E|是超边总量；
步骤S525：通过得到所述顶点特征矩阵集P和所述超边特征矩阵集Q，构造得到单模态超图Gsig；
步骤S53：自适应性超图学习，具体包括以下步骤：
步骤S531：构建顶点学习层，具体为采用注意力机制，计算超图顶点γi和最近邻域空间内的其他超图顶点γj之间的类同性Cij，计算公式为：
；
式中，Cij是超图顶点γi和最近邻域空间内的其他超图顶点γj之间的类同性，φ（）是激活函数，是顶点类同可训练参数和Wp1是顶点类同可训练权重，/>是超图顶点γi的顶点特征向量，/>是连接运算符，/>是最近邻域空间内的其他超图顶点γj的顶点特征向量，εi是以γi作为中心顶点的超边；
步骤S532：构建超边学习层，具体包括以下步骤：
步骤S5321：计算超边εi和相邻超边εj的联合表示，计算公式为：
；
式中，是超边εi和相邻超边εj的联合表示，Wq1是联合表示可训练权重，/>是联合表示可训练偏置项，εj是超边εi的相邻超边，/>是相邻超边εj的超边特征向量，/>是包含超图顶点γi的所有超边的集合；
步骤S5322：计算超图顶点γi和最近邻域空间内的其他超图顶点γj的上下文语义类同性，计算公式为：
；
式中，是超图顶点γi和最近邻域空间内的其他超图顶点γj的上下文语义类同性，Wq2是语义类同可训练权重，/>是超图顶点γi的特征向量，/>是最近邻域空间内的其他超图顶点γj的特征向量，/>是元素矩阵乘法，εj是超边εi的相邻超边，/>是相邻超边εj的超边特征向量，/>是包含超图顶点γi的所有超边的集合；
步骤S533：对联合表示和上下文语义类同性/>进行组合，构建超边学习层，计算公式为：
；
式中，是联合表示/>和上下文语义类同性/>的组合特征向量，L是/>中包含的超边数，l是超边计数索引，/>是包含超图顶点γi的所有超边的集合，/>是组合可学习矩阵，/>是是超边εi和相邻超边εj的联合表示，/>是超图顶点γi和最近邻域空间内的其他超图顶点γj的上下文语义类同性，/>是连接运算符；
步骤S54：多模态超图构造，具体包括以下步骤：
步骤S541：定义高光谱模态超图GHSI，得到高光谱模态顶点集ΓHSI和高光谱模态超边集EHSI，所述高光谱模态超图的计算公式为：
；
式中，ΓHSI是高光谱模态顶点集，EHSI是高光谱模态超边集；
步骤S542：定义光测距-合成孔径雷达模态超图GLS，得到光测距-合成孔径雷达模态顶点集ΓLS和光测距-合成孔径雷达模态超边集ELS，所述光测距-合成孔径雷达模态超图的计算公式为：
；
式中，ΓLS是高光谱模态顶点集，ELS是高光谱模态超边集；
步骤S543：计算高光谱模态顶点特征矩阵集PHSI，计算公式为：
；
式中，PHSI是高光谱模态顶点特征矩阵集，是高光谱模态超图顶点的特征向量，|ΓHSI|是高光谱模态超图顶点总量；
步骤S544：计算光测距-合成孔径雷达模态特征矩阵集PLS，计算公式为：
；
式中，PLS是光测距-合成孔径雷达模态顶点特征矩阵集，是光测距-合成孔径雷达模态超图顶点的特征向量，|ΓLS|是光测距-合成孔径雷达模态超图顶点总量；
步骤S545：计算多模态顶点间特征矩阵，计算公式为：
；
式中，ψ是多模态顶点间特征矩阵，是高光谱模态顶点特征矩阵集PHSI的转置矩阵集，PLS是光测距-合成孔径雷达模态顶点特征矩阵集；
步骤S546：通过计算多模态顶点间特征矩阵，构造多模态超图GMuti；
步骤S55：超图动态更新，具体包括以下步骤：
步骤S551：计算所述多模态超图GMuti的顶点特征矩阵集PMuti，计算公式为：
；
式中，PMuti是多模态超图GMuti的顶点特征矩阵集，是多模态超图GMuti的第i个顶点的特征向量，|ΓMuti|是多模态超图GMuti的顶点总量；
步骤S552：通过多模态超图GMuti的顶点特征矩阵集PMuti重建多模态超边，计算公式为：
；
式中，是重建后的多模态超边，/>是多模态超图GMuti的第i个顶点，/>是多模态超图GMuti的第i个顶点的最近邻域空间内的第j个超图顶点，/>是多模态超图GMuti的第i个顶点的最近邻域空间内的所有其他超图顶点的集合，/>是多模态超图GMuti的顶点特征矩阵集；
步骤S553：通过重建多模态超边，得到更新多模态超图GMuti*；
步骤S56：数据分割，具体为使用动态更新后的更新多模态超图GMuti*输出语义张量，得到遥感分割数据DC。
CN202310928101.4A 2023-07-27 2023-07-27 一种地理信息数据处理系统及方法 Active CN116644205B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310928101.4A CN116644205B (zh) 2023-07-27 2023-07-27 一种地理信息数据处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310928101.4A CN116644205B (zh) 2023-07-27 2023-07-27 一种地理信息数据处理系统及方法

Publications (2)

Publication Number Publication Date
CN116644205A true CN116644205A (zh) 2023-08-25
CN116644205B CN116644205B (zh) 2023-10-31

Family

ID=87625166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310928101.4A Active CN116644205B (zh) 2023-07-27 2023-07-27 一种地理信息数据处理系统及方法

Country Status (1)

Country Link
CN (1) CN116644205B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292274A (zh) * 2023-11-22 2023-12-26 成都信息工程大学 基于深度语义字典零次学习的高光谱湿地图像分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190087726A1 (en) * 2017-08-30 2019-03-21 The Board Of Regents Of The University Of Texas System Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications
CN110796105A (zh) * 2019-11-04 2020-02-14 中国矿业大学 一种基于多模态数据融合的遥感图像语义分割方法
CN112101410A (zh) * 2020-08-05 2020-12-18 中国科学院空天信息创新研究院 一种基于多模态特征融合的图像像素语义分割方法及系统
CN114581773A (zh) * 2022-02-28 2022-06-03 西安电子科技大学 基于图卷积网络的多模态遥感数据分类方法
CN115049936A (zh) * 2022-08-12 2022-09-13 武汉大学 一种面向高分遥感影像的边界增强型语义分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190087726A1 (en) * 2017-08-30 2019-03-21 The Board Of Regents Of The University Of Texas System Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications
CN110796105A (zh) * 2019-11-04 2020-02-14 中国矿业大学 一种基于多模态数据融合的遥感图像语义分割方法
CN112101410A (zh) * 2020-08-05 2020-12-18 中国科学院空天信息创新研究院 一种基于多模态特征融合的图像像素语义分割方法及系统
CN114581773A (zh) * 2022-02-28 2022-06-03 西安电子科技大学 基于图卷积网络的多模态遥感数据分类方法
CN115049936A (zh) * 2022-08-12 2022-09-13 武汉大学 一种面向高分遥感影像的边界增强型语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吕军;石岚;: "基于高分辨率遥感影像数据处理与信息提取系统的设计及实现", 智能计算机与应用, no. 04 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292274A (zh) * 2023-11-22 2023-12-26 成都信息工程大学 基于深度语义字典零次学习的高光谱湿地图像分类方法
CN117292274B (zh) * 2023-11-22 2024-01-30 成都信息工程大学 基于深度语义字典零次学习的高光谱湿地图像分类方法

Also Published As

Publication number Publication date
CN116644205B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN109766858A (zh) 结合双边滤波的三维卷积神经网络高光谱影像分类方法
CN110348399A (zh) 基于原型学习机制和多维残差网络的高光谱智能分类方法
CN106537422A (zh) 用于捕获信息内的关系的系统和方法
Yuan et al. SPEDCCNN: spatial pyramid-oriented encoder-decoder cascade convolution neural network for crop disease leaf segmentation
Berretti et al. 3d mesh decomposition using reeb graphs
CN113657450B (zh) 基于注意机制的陆战场图像-文本跨模态检索方法及其系统
CN116644205B (zh) 一种地理信息数据处理系统及方法
Huo et al. A batch-mode active learning algorithm using region-partitioning diversity for SVM classifier
CN112633386A (zh) 基于sacvaegan的高光谱图像分类方法
CN111368691B (zh) 无监督高光谱遥感图像空谱特征提取方法
CN108021930A (zh) 一种自适应的多视角图像分类方法及系统
CN109002771B (zh) 一种基于递归神经网络的遥感图像分类方法
Makinen et al. The cosmic graph: Optimal information extraction from large-scale structure using catalogues
Guo et al. Dual graph U-Nets for hyperspectral image classification
CN111008989A (zh) 一种基于多值体元的机载多光谱lidar三维分割方法
Krishna et al. Fuzzy-twin proximal SVM kernel-based deep learning neural network model for hyperspectral image classification
CN115222896A (zh) 三维重建方法、装置、电子设备及计算机可读存储介质
CN114510594A (zh) 一种基于自注意力机制的传统纹样子图检索方法
Hu et al. Curve skeleton extraction from 3D point clouds through hybrid feature point shifting and clustering
CN111639697A (zh) 基于非重复采样与原型网络的高光谱图像分类方法
He et al. Robust adaptive graph regularized non-negative matrix factorization
Perina et al. Learning natural scene categories by selective multi-scale feature extraction
CN111126467B (zh) 一种基于多目标正余弦算法的遥感影像空谱聚类方法
Celik et al. Change detection without difference image computation based on multiobjective cost function optimization
Vandenberghe et al. How to make sense of 3D representations for plant phenotyping: a compendium of processing and analysis techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant