CN116682021A - 一种高分辨率遥感影像建筑物矢量轮廓数据提取方法 - Google Patents
一种高分辨率遥感影像建筑物矢量轮廓数据提取方法 Download PDFInfo
- Publication number
- CN116682021A CN116682021A CN202310578057.9A CN202310578057A CN116682021A CN 116682021 A CN116682021 A CN 116682021A CN 202310578057 A CN202310578057 A CN 202310578057A CN 116682021 A CN116682021 A CN 116682021A
- Authority
- CN
- China
- Prior art keywords
- building
- vector
- angle
- mask
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013598 vector Substances 0.000 title claims abstract description 238
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013075 data extraction Methods 0.000 title description 6
- 238000005457 optimization Methods 0.000 claims abstract description 43
- 230000011218 segmentation Effects 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 46
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 238000000547 structure data Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101100194363 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res2 gene Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004579 scanning voltage microscopy Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种高分辨率遥感影像建筑物矢量轮廓数据提取方法，旨在从高分辨率遥感影像中直接提取建筑物边缘规整的矢量轮廓数据。主要采用多任务分割模型预测建筑物掩膜、建筑物顶点概率分布和建筑物顶点角度，然后根据这些输出得出粗略的建筑物矢量轮廓结果并构建建筑物矢量轮廓特征数据，进一步利用基于图注意力网络的矢量优化模块优化前置网络的粗略矢量轮廓结果，得到最终规整的建筑物矢量轮廓数据。本发明简单易行，能够实现直接从遥感影像中提取建筑物矢量轮廓数据，不需要人工干预，得出规整的建筑物矢量轮廓结果。
Description
技术领域
本发明属于遥感影像建筑物矢量轮廓数据提取方法领域，特别涉及一种高分辨率遥感影像建筑物矢量轮廓数据提取方法。
背景技术
近年来，随着对地观测技术的飞速发展，遥感影像分辨率不断提高，为人们提供了丰富的信息来源，快速提取和分析这些信息将有助于我们更好地理解和分析城市环境。其中，建筑物是城市环境中最显著的地物之一，也是城市变迁和人类活动的重要指示因子。基于高分影像进行大范围建筑物矢量轮廓快速、准确的自动提取，可以为地图制图、城市规划、国土资源调查、地震救援等应用提供重要的数据支撑，具有广阔的应用前景。
传统的建筑物提取方法通常是由特征提取和标签分类器组成，通过为建筑物设计辨别性特征，如颜色、纹理、形状、直线等，然后对特征信息应用SVM、随机森林、决策树或其他技术来提取建筑物。由于这些方法高度依赖于人工设计的低层特征，智能化程度不高，且只在低分辨率遥感影像上具有较好的提取精度。随着高分辨率遥感影像的普及，这些方法已无法适应高分辨率遥感影像中建筑物的多样性和复杂性，出现算法鲁棒性差、准确度低等问题。近年来，深度学习技术在计算机视觉任务中取得了令人瞩目的成绩，其中图像分割模型被广泛用于建筑物提取，通过深度神经网络自适应地学习样本内在的多层级特征表达，能够很好的自适应处理高分辨率遥感影像中建筑物的复杂性。
虽然基于深度学习的建筑物提取已经取得了不少的研究成果，但由于高分辨率遥感影像中建筑物的光谱特征和纹理特征变化范围广，建筑物的边缘轮廓复杂多变且形状各异，使得现有基于卷积局部特征构建的像素级分类模型在提取建筑物边缘轮廓区域时具有很大的分类不确定性，难以准确的对建筑物边缘进行识别，使得提取的建筑物边缘轮廓出现锯齿、圆角以及难以保持整体几何形态特征等问题。另外，由于目前主流的建筑物提取模型大多提取的是建筑物栅格掩膜数据，而在实际应用分析中通常使用矢量数据，需要将模型提取的建筑物掩膜数据进行栅格转矢量后处理操作才能满足实际应用需求，无法实现端到端的建筑物矢量轮廓提取，且由于分割模型对建筑物轮廓边缘识别精度不高，导致栅格转矢量后，矢量结果也精度低。最后，大多数建筑物提取模型需要海量样本标签进行监督学习，但在高分辨率遥感影像中进行建筑物矢量标注耗时耗力，大部分数据集缺少样本标签或者标签质量低，导致模型无法适应新场景。
发明内容
本发明所要解决的技术问题是提供一种高分辨率遥感影像建筑物矢量轮廓数据提取方法。
本发明解决上述技术问题的技术方案如下：
一种高分辨率遥感影像建筑物矢量轮廓数据提取方法，包括以下步骤：
步骤1、获取原始遥感影像图像和对应的矢量轮廓标签数据构成训练数据集，然后根据矢量标签数据生成对应的掩膜标签、顶点标签和角度标签；
步骤2、建立基于图注意力网络的高分辨率遥感影像建筑物矢量轮廓提取模型，从训练数据集中获取训练数据，将训练数据和对应的掩膜标签、顶点标签和角度标签输入基于图注意力网络的高分辨率遥感影像建筑物矢量轮廓提取模型；
所述基于图注意力网络的高分辨率遥感影像建筑物矢量轮廓提取模型包括多任务分割模型、粗略的建筑物边缘矢量构建模块和基于图注意力的建筑物矢量优化模块，所述多任务分割模型用于根据建筑物的掩膜标签、顶点标签和角度标签建筑物同时获取建筑物边缘矢量角度方向特征Oangle、建筑物掩膜特征Omask和建筑物顶点分布特征Over；所述粗略的建筑物边缘矢量轮廓构建模块用于采用基于边缘矢量顶点和角度方向采样的方法，根据建筑物边缘矢量角度方向特征Oangle、建筑物掩膜特征Omask和建筑物顶点分布特征Over获取粗略的建筑物矢量轮廓结果Pboundary，所述基于图注意力的建筑物矢量轮廓优化模块用于对粗略的建筑物矢量轮廓结果Pboundary进行优化，去除冗余的坐标点，使矢量结果更加规整，得到最终优化后的建筑物矢量轮廓坐标集合P；
步骤3、根据得到的建筑物矢量轮廓坐标集合P与训练标签，利用损失函数计算损失值，通过重复进行步骤2对基于图注意力神经网络的建筑物矢量轮廓提取模型进行训练，调整模型参数，直到损失函数最小化后，模型训练完毕，得到最终的基于图注意力网络的高分辨率遥感影像建筑物矢量轮廓提取模型；
步骤4、根据最终的基于图注意力网络的高分辨率遥感影像建筑物矢量轮廓提取模型对遥感影像进行建筑物矢量轮廓提取。
进一步的，所述步骤1中，生成角度标签具体指的是计算当前位置P(x,y)和它指向建筑物顶点构成的向量与x轴方向构成的夹角θ∈[-π,π]，具体计算步骤如下：
步骤1.1、获取和掩膜标签同分辨率的角度标签矩阵，角度标签矩阵中每个值表示以该行列值为坐标的矢量点对应的角度标签；
步骤1.2、对角度标签矩阵中的每个矢量点匹配一个距离最近的顶点，继承该顶点指向的下一个顶点，作为该矢量点的方向。
进一步的，所述步骤2中，多任务分割模型采用骨干网络Res-U-Net提取图像的共享特征图，然后利用三个具有256个输出通道的卷积层和ReLU激活函数的任务分支来提取共享特征图中的高维语义特征，三个任务分支分别用于学习建筑物顶点分布特征、建筑物掩膜特征和建筑物边缘矢量角度方向特征。
进一步的，所述步骤2中，通过引入ECA模块来增强建筑物边缘角度和建筑物顶点的特征表示，最后通过1x1的卷积压缩通道数来获取建筑物边缘矢量角度方向特征Oangle、建筑物掩膜特征Omask和建筑物顶点分布特征Over。
进一步的，所述步骤2中，基于边缘矢量顶点和角度方向采样的方法包括以下步骤：
步骤2.1a、采用NMS算法去除掉距离过近的矢量点，然后对建筑物顶点分布特征Over采用大小为S，步长为p的滑动窗口对建筑物顶点分布进行采样，保留滑动窗口中概率最大的顶点；
步骤2.2a、对NMS算法过滤后的建筑物顶点分布按照概率排序，选取前N个顶点作为粗略的建筑物边缘矢量点Pboundary；
步骤2.3a、通过距离成本矩阵，采用匈牙利算法获取坐标点连接顺序，最后得出包含连接顺序的粗略边缘矢量点Pboundary。
进一步的，所述步骤2.3a中，距离成本矩阵由粗略的建筑物边缘矢量点Pboundary相互之间的正弦距离构建，采用匈牙利算法，把距离成本矩阵看作为任务分配的成本矩阵，当整体的成本最小时，可以得到建筑物矢量点的顺序都是两两对应的关系，避免了重复连接，最后得出包含连接顺序的粗略边缘矢量点Pboundary。
进一步的，基于图注意力的建筑物矢量优化模块的工作过程包括以下步骤：
步骤2.1b、首先利用粗略的建筑物矢量轮廓结果Pboundary和对应的卷积语义特征构建建筑物边缘矢量轮廓的图结构数据，其中图结构特征向量d融合U-Res-Net的res2层和out层中边缘矢量对应的特征向量以及Pboundary的坐标信息；
步骤2.2b、图注意力网络采用多层图注意力层提取图结构数据中的图结构语义特征；
步骤2.3b、根据图结构语义特征优化模块cls和offset两个任务分支，得出更加规整的矢量结果，其中优化模块cls用于根据图结构语义特征对粗略的建筑物矢量结果Pboundary的冗余节点进行取舍，去除掉不必要的矢量点后得出优化模块offset用于根据图结构语义特征对粗略的建筑物矢量结果Pboundary的空间坐标进行修正，使用sigmoid激活函数将特征值缩放到[0,1]，得出偏移向量doffset，然后通过doffset·2-1将值缩放到[-1,1]，优化后的建筑物边缘矢量结果P由/>和doffset计算得出，/> 超参数γ表示对偏移量结果的置信值。
进一步的，所述步骤3中，模型的损失函数包含基于图注意力的建筑物矢量优化模块损失lcls、形状约束损失lshape和多任务分割模型损失；其中，多任务分割模型由建筑物顶点损失lver、建筑物边缘矢量角度方向损失langle和建筑物分割掩膜损失lmask构成，总损失ltotal的计算公式如下所示：
ltotal＝λc·lcls+λs·lshape+λv·lver+λa·langle+λm·lmask
其中λc、λs、λv、λa和λm是各个模块对应的损失函数权重系数。
进一步的，所述步骤3中，构成多任务分割模型损失的lmask、langle和lver是通过多任务预测结果的建筑物分割掩膜Omask、建筑物边缘矢量角度方向Oangle和建筑物顶点Over与对应样本标签通过交叉熵损失得出，基于图注意力的建筑物矢量优化模块包含优化模块cls和优化模块offset两个任务分支，优化模块cls根据预测的矢量点取舍结果dcls与样本标签计算二值交叉熵损失，优化模块offset不进行单独监督学习，采用形状约束损失函数lshape来训练，形状约束损失函数lshape包含距离度量损失函数lcd和正弦损失函数lsine，即：lshape＝lcd+lsine。
本发明的有益效果为：(1)本发明实现端到端的遥感影像建筑物矢量轮廓提取，相比现有基于分割模型的建筑物轮廓提取只能得到建筑物轮廓栅格数据，本发明能直接从遥感影像中获取建筑物矢量轮廓数据；(2)本发明引入图注意力网络学习建筑物边缘矢量图结构之间的空间关系和上下文特征，从而实现对建筑物边缘矢量轮廓整体形状约束。相对于现有建筑物分割模型在建筑物边缘区域有很大的分类不确定性，卷积局部特征难以顾及建筑物整体形状，导致提取的建筑物轮廓边缘不符合建筑物基本的几何形态，本发明基于多任务分割模型，利用本发明中基于分割掩膜分类不确定性的建筑物边缘矢量采样方案，从多任务分割结果中构建建筑物边缘矢量轮廓的图结构特征，考虑建筑物整体形态受建筑物矢量节点之间空间位置的影响，使用图注意力网络捕捉节点之间的精细化特征，利用这些特征去优化建筑物矢量点之间的空间位置，弥补基于像素的卷积局部特征在边缘区域模糊的分割结果,提升建筑物边缘矢量轮廓提取的规整性。
附图介绍
图1为本发明的工作流程图；
图2为训练数据示意图，其中(a)图为遥感影像，(b)图为掩膜标签，(c)图为顶点标签，(d)图为角度标签；
图3为角度标签的角度差示意图；
图4为基于图注意力网络的高分辨率遥感影像建筑物矢量提取模型工作流程图；
图5为ECA模型工作流程示意图；
图6为多任务分割模型工作流程示意图；
图7为基于图注意力的建筑物矢量优化模块工作流程示意图；
图8为基于图注意力神经网络的高分辨率遥感影像建筑物矢量轮廓提取模型的训练过程示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，基于图注意力网络的高分辨率遥感影像建筑物矢量轮廓提取方法具体实施步骤如下：
步骤1：获取原始遥感影像图像和对应的训练标签构成训练数据集。
需要先验数据的遥感影像数据以及对应的矢量标签数据作为训练数据集标签，其中每个序列对应一栋建筑物实例。然后根据矢量标签数据生成对应的掩膜标签、顶点标签和角度标签，如图2所示，详情如下。
掩膜标签：是与遥感影像相同大小的矩阵Mmask∈FH×W，其中每个像素值为0或1，0表示背景，1表示建筑物。根据矢量标签数据绘制。
顶点标签：使用建筑物顶点矢量映射到与遥感影像相同大小的矩阵Mver∈FH×W中作为顶点标签，用于学习顶点的分布概率图。
角度标签：角度标签计算是当前位置P(x,y)和它指向建筑物顶点构成的向量与x轴方向构成的夹角θ∈[-π,π]。如图3所示，以当前位置P(x,y)为原点，x轴为正方向。按x轴逆时针旋转的角度为[0,π]，如P1(x1,y1)为P所指向的顶点，则P点对于的角度为按x轴顺时针旋转的角度为[-π,0]，如P2(x2,y2)为P所指向的顶点，则P点对于的角度为/>在实际计算中，假设P1(x1,y1)为P所指向的顶点，通过以下公式计算。
在角度标签生成时，需要获取和掩膜标签同分辨率的角度标签矩阵Mangle∈FH×W，该矩阵中每个值表示以该行列值为坐标的矢量点对应的角度标签。然而求这个角度标签需要该矢量点指向的顶点信息，这个信息显然只有建筑物顶点具有，因此对矩阵中的每个矢量点匹配一个距离最近的顶点，继承该顶点指向的下一个顶点，作为该矢量点的方向。在算法实现中，先生成每个位置对应的下一个顶点的矩阵Mnext∈FH×W×2，Mnext使用广度优先搜索算法生成。以顶点标签为搜索起点Set，所有起点同步搜索，遍历到的每个矢量点都与该起点具有相同的Mnext值，伪代码如下：
根据上述算法生成Mnext后结合公式(1)可以得出Mangle。
步骤2：设计基于图注意力网络的高分辨率遥感影像建筑物矢量轮廓提取模型，如图4所示。基于图注意力网络的高分辨率遥感影像建筑物矢量提取模型包括特征提取模块、多任务分割模块、基于图注意力网络的矢量优化模块。基于图注意力的建筑物矢量轮廓提取主要思想是将多任务分割模型提取的局部语义特征映射到建筑物顶点矢量点，然后利用卷积语义特征构建建筑物边缘矢量点的图结构特征，最后以图注意网络的图结构数据相邻特征学习能力对建筑物矢量轮廓提取结果进行优化，从而提升建筑物矢量边缘的规整性。
1)特征提取模块：采用Res-U-Net进行特征提取。Res-U-Net是用Resnet模块构造的U-Net编码器，ResNet是使用残差模块搭建的大规模卷积神经网络。残差模块中包含2个激活函数、2个卷积层、BN层和跳跃连接构成，残差模块分为两种，分别是Convolutionalblock和Identity Block。其中Conv Block用来改变网络的维度。
Res-U-Net利用Resnet模块构造U-Net编码器，然后再将学习的特征输入到解码器。编码器网络由一个卷积层，4个残差层组成。编码器提取特征后由上采样层将特征输入解码器。其中残差层都由残差模块组成，共四个残差层。第一个残差层由3个残差模块组成，第二个残差层由4个残差模块组成，第三个由6个残差模块组成，第四个由3个残差模块组成。每个残差模块有主干和旁路两个部分，如图5所示。编码器对数据进行了4次特征压缩，每个残差层压缩一次，特征图的空间尺寸减半，然后输入到上采样层。上采样层使用的是UpSampling2D方法，该方法用复制插值对原张量进行修改，也就是平均池化层的逆操作，这样能将图像尺寸统一后再输入解码器(Decoder)，保证后面解码器的每个卷积层的输入的特征图尺寸与编码器中对称处的尺寸相同。编码器内部结构如图6中所示。
在编码器部分，通过下采样的方法，将特征图的尺寸减半并进行特征提取。提取的特征从一个残差层传输到下一个残差层。编码器特征提取过传导至解码器，在解码器中会把特征图尺寸翻倍并且将语义信息通过跳跃连接合并起来，用于补充高维语义特征中缺失的低维语义特征。解码器每个阶段都会进行上采样。
本发明采用Res-U-Net作为多任务分割模型特征提取的骨干网络。网络通过编码器进行高维语义特征提取，其输出通过跳跃连接与上一层解码器输出di进行特征融合，最后得到di-1。本发明使用d0为多任务分割模型的共享特征。
2)多任务分割模型：本发明方法需要根据建筑物顶点分布、建筑物掩膜和建筑物边缘矢量角度方向去构建粗略的建筑物边缘矢量点和对应的语义特征，如果对每种任务单独提取，不仅计算量大，而且无法利用各任务之间的相关性来提升提取效果，因此本发明采用多任务分割模型来实现统一提取。本发明多任务分割模型主要包含三个任务分支，分别用于学习建筑物顶点分布特征、建筑物掩膜特征和建筑物边缘矢量角度方向特征，如图6所示。下面对提取流程进行详细介绍。
首先，将图像I∈R3×W×H输入多任务分割模型，利用骨干网络Res-U-Net提取图像的共享特征图得到其中/>s表示骨干网络的下采样因子。接着，使用三个具有256个输出通道的卷积层和ReLU激活函数来提取共享特征图中高维语义特征，得到建筑物的边缘方向特征图Fangle、掩膜特征图Fmask和顶点特征图Fver。
另外，由于建筑物的顶点特征和边缘角度特征与建筑物掩的膜特征之间具有很强的相关性，而通道注意力(ECA)模块能够有效地学习图像中不同通道之间的关系，实现软参数共享。而且最终ECA模块输出，不改变输入特征图的大小。假设ECA模块输入特征图F∈RC ×H×W。在空间维度，使用全局平均池化GAP，得到C×1×1的特征图。在做卷积操作时，卷积核大小k会影响到感受野。为解决不同输入特征图，提取不同范围的特征时，ECA使用了动态的卷积核，来做1×1卷积C1D，学习不同通道之间的重要性。其中k的计算如公式(2)所示设置γ＝2，b＝1，用于改变通道数C和卷积核之间的比例。
对于压缩后的特征图，进行通道特征学习。通过1×1卷积C1D，学习不同通道之间的重要性，此时输出的维度还是C×1×1。最后是通道注意力结合，将通道注意力的特征图C×1×1、原始输入特征图C×H×W，进行逐通道乘，最终输出具有通道注意力的特征图。ECA模块的模型图如图5所示，其中C＝256。
通过引入ECA模块来增强建筑物边缘角度和建筑物顶点的特征表示。增强后的建筑物边缘角度和顶点特征分别表示为F′ver和F′angle，计算方法如公式(3)和(4)所示。最后通过1x1的卷积压缩通道数来获取建筑物边缘矢量角度方向特征Oangle、建筑物掩膜特征Omask和建筑物顶点分布特征Over。
F′ver＝σ(C1D(GAP(Fseg+Fver)))·Fver+Fver (3)
F′angle＝σ(C1D(GAP(Fangle+Fseg)))·Fangle+Fangle (4)
3)粗略的建筑物边缘矢量构建模块：多任务分割模型获取了建筑物边缘矢量角度方向特征Oangle、建筑物掩膜特征Omask和建筑物顶点分布特征Over，需要进一步根据这些特征数据获取粗略的建筑物边缘矢量坐标点，为后续基于图注意力的建筑物矢量优化模块提供基础数据。现有方法大多采用建筑物掩膜边缘追踪算法获取建筑物的矢量轮廓数据，该方法的前提是需要先提取完整的建筑物实例掩膜结果，但是面对密集型建筑物群时，建筑物分割掩膜提取容易出现误检，导致提取的建筑物边缘矢量数据无法区分不同建筑物实例。针对此问题，本发明提出了一种基于边缘矢量顶点和角度方向采样的方法，首先基于建筑物顶点分布特征Over数据，按照概率排序获取N个顶点，然后根据正弦距离计算出顶点的距离成本矩阵，最后利用匈牙利算法获取建筑物顶点的连接顺序，得到粗略建筑物边缘矢量。下面将详细介绍该方法。
首先选取建筑物顶点分布Over中概率前N的建筑物顶点。但是直接选取前N个顶点会出现大量距离过近的顶点，需要将这些重复的提取结果舍去。因此，本发明采用NMS算法去除掉距离过近的矢量点，然后对建筑物顶点分布特征Over采用大小为S，步长为p的滑动窗口对建筑物顶点分布进行采样，保留滑动窗口中概率最大的顶点。接着对NMS算法过滤后的建筑物顶点分布按照概率排序，选取前N个顶点作为粗略的建筑物边缘矢量点Pboundary。但是Pboundary只是离散的矢量坐标点，还缺少连接顺序，无法构建图结构数据，下面将通过距离成本矩阵获取坐标点连接顺序。
距离成本矩阵由粗略的建筑物边缘矢量点Pboundary相互之间的正弦距离构建。首先获取正弦距离d，计算方法如公式(6)所示。其中，α和β是权重系数，其作用是为了均衡欧式距离和角度对正弦距离的影响，避免角度小而距离过远的点计算出的正弦距离过小而出现的错误匹配；θ表示为点x预测的向量方向与向量(x,y)方向的最小夹角；θprediction表示点x指向的下一个顶点相对于点x与正坐标轴的角度；θx,y表示点y相对于点x的角度。关于模型训练中点x预测向量的具体表示以及最小夹角θ的计算方法见数据集构建部分，如公式(5)所示。然后根据计算Pboundary的正弦距离按照两两匹配得出距离成本矩阵D∈FN，如公式(7)所示。
θ＝(θprediction-θx,y+π)modπ (5)
Dij＝d(Pi boundary,Pj boundary) (7)
如果单纯基于距离成本矩阵采用最邻近距离方法获取Pboundary的连接顺序，容易出现多个矢量点指向同一个矢量点的情况，导致重复连接。若采用匈牙利算法，把距离成本矩阵看作为任务分配的成本矩阵，当整体的成本最小时，既可以得到建筑物矢量点的顺序都是两两对应的关系，避免了重复连接，最后得出包含连接顺序的粗略边缘矢量点Pboundary。
4)基于图注意力的建筑物矢量优化模块：粗略的建筑物矢量轮廓结果Pboundary中还包含冗余的坐标点，并且整体的建筑物矢量轮廓形状不够规整。本发明通过基于图注意力的建筑物矢量优化模块对粗略的建筑物矢量结果Pboundary进行优化，得到更加规整的矢量结果，整体模型图如图7所示。
粗略的建筑物矢量结果Pboundary是基于多任务分割模型的结果采用建筑物矢量轮廓提取模块采样计算得出，利用的是像素级局部卷积特征，未充分挖掘建筑物矢量之间的空间关联特征，导致提取的建筑物矢量结果在形状规整方面效果不佳。基于图注意力的建筑物矢量优化模块可以利用图注意力网络学习各节点的领域关系，从领域关系中挖掘矢量节点间的空间关联特征。其思路是：首先利用粗略的建筑物矢量结果Pboundary和对应的卷积语义特征构建建筑物边缘矢量的图结构数据，然后利用图注意力网络提取数据中的图结构语义特征，最后利用优化模块得出更加规整的矢量结果。具体实现方法介绍如下：
首先利用粗略的建筑物矢量结果Pboundary和对应的卷积语义特征构建建筑物边缘矢量的图结构数据。为了丰富特征信息，图结构特征向量d(公式8)融合U-Res-Net的res2层和out层中边缘矢量对应的特征向量以及Pboundary的坐标信息。
d＝[(dres2+dout)||Pboundary] (8)
接着利用图注意力网络提取数据中的图结构语义特征。图结构语义特征提取部分采用多层图注意力层逐步的学习矢量空间邻域特征，图注意力层输入是特征向量输出是一组新的节点特征向量为了获得足够的表达能力，将输入的特征转换为更高级的特征，即对每个节点应用一个由权重矩阵参数化的共享线性变换W∈RF′×F。首先，在节点上执行共享的注意力机制，计算注意力系数eij(公式9)，表明了节点i的特征对节点j的重要性；接着，执行掩膜注意将图结构引入到注意力机制中，计算来自节点j∈Ni的注意力系数aij(公式10)，为了使系数在不同节点之间易于比较，使用Softmax函数进行归一化并引入LeakyReLU激活函数；最后，在得到归一化的注意力系数(公式11)之后，可以通过邻接节点特征的线性组合经过一个非线性激活函数来更新节点自身的特征输出d′(公式12)。为了强化模块的空间关联特征提取能力，模块由L层的图注意力层构成，di∈RF×N表示第i各图注意力层的输出特征向量，每层的图注意力层输出融合初始的特征向量，最终迭代到特征向量xL，其中xl＝1＝d，计算公式如(13)所示。
xl+1＝MLPl([xl||d′]) (13)
最后根据图结构语义特征优化模块的cls和offset两个任务分支，得出更加规整的矢量结果。其中优化模块cls是根据图结构语义特征对粗略的建筑物矢量结果Pboundary的冗余节点进行取舍，去除掉不必要的矢量点后得出优化模块offset是根据图结构语义特征对粗略的建筑物矢量结果Pboundary的空间坐标进行修正，使用sigmoid激活函数将特征值缩放到[0,1]，得出偏移向量doffset，然后通过doffset·2-1将值缩放到[-1,1]。优化后的建筑物边缘矢量结果P由/>和doffset计算得出，计算公式如(16)所示，其中超参数γ表示对偏移量结果的置信值。
dcls＝MLPcls(xL) (14)
doffset＝MLPoffset(xL) (15)
得到最终优化后的建筑物矢量坐标集合P。
步骤3：利用训练数据集，对构建的基于图注意力网络的高分辨率遥感影像建筑物矢量提取模型进行训练，结合损失函数，得到训练的基于图注意力网络的高分辨率遥感影像建筑物矢量提取模型。具体训练过程如图8所示。
采用损失函数对模型进行训练，使得所述总损失函数ltotal最小化。其中，目标损失函数中的权重参数λv＝5，λa＝5，λv＝1.0，λc＝0.25，λo＝0.1，λs＝0.1。此外，在训练时，采用Adam优化算法进行训练优化，其中最高迭代次数为100，参数β1＝0.5，β2＝0.999，初始学习率设为0.0001，通过联合优化目标损失函数来检测模型收敛进度，当模型收敛时，则停止训练。
损失函数：模型的损失函数包含基于图注意力的建筑物矢量优化模块损失lcls、形状约束损失lshape和多任务分割模型损失三个部分构成，其中，多任务分割模型又由建筑物顶点损失lver、建筑物边缘矢量角度方向损失langle和建筑物分割掩膜损失lmask构成。总损失ltotal计算如公式(17)所示，为了平衡不同损失函数之间数量级的差异，引入损失函数权重系数，使损失变化更加平滑。其中λc、λs、λv、λa和λm是各个模块对应的损失函数权重系数。
ltotal＝λc·lcls+λs·lshape+λv·lver+λa·langle+λm·lmask (17)
构成多任务分割模型损失的lmask、langle和lver是通过多任务预测结果的建筑物分割掩膜Omask、建筑物边缘矢量角度方向Oangle和建筑物顶点Over与对应样本标签通过交叉熵损失得出，计算公式分别为(18)、(19)和(20)。
基于图注意力的建筑物矢量优化模块包含优化模块cls和优化模块offset两个任务分支，优化模块cls根据预测的矢量点取舍结果dcls与样本标签计算二值交叉熵损失，计算公式如(21)所示。优化模块offset不进行单独监督学习，采用形状约束损失函数来训练。
根据上述模块，得到了建筑物边缘矢量结果P。为了从矢量离散数据的角度评估矢量结果与真实标签Pgt之间的差异，更好约束化简后的形状，对最终矢量P构建矢量形状约束损失函数。形状约束损失函数包含距离度量损失函数lcd和正弦损失函数lsine，计算矢量形状约束损失函数lshape，如公式(22)所示。
lshape＝lcd+lsine (22)
其中，距离度量损失函数是为了约束位置坐标与标签的距离，激励模型预测的矢量坐标更加靠近标签。本发明借鉴了3D点云领域的点云距离度量损失函数lcd来评估预测的矢量结果P与真实标签Pgt的距离差异，如公式(23)所示。
距离度量损失函数lcd可以驱动建筑物边缘矢量根据贴近真实建筑物边缘，但对于具有不同长度的线段，具有相同偏差的矢量点可能导致不同程度的形状差异，对于短线段，顶点的微小偏差在距离上变化小，却可能导致较大的形状改变。距离度量损失函数对微小偏差感知能力不够，因此引入正弦损失作为建筑物边缘额外的角度约束，提升模型对微小偏差感知能力，鼓励预测建筑物边缘矢量与真实标签矢量的匹配线段保持平行。正弦损失lsine计算预测的矢量结果P与真实标签Pgt整体矢量点切线方向的正弦值差，当lsine越小时说明预测的矢量结果P与真实标签Pgt越接近平行，计算公式如(24)所示，其中l表示建筑物边缘矢量结果中单个建筑物实例构成的线段。
4.模型使用。模型训练好之后，用遥感图像输入到训练好的基于图注意力网络的高分辨率遥感影像建筑物矢量提取模型中生成对应的建筑物矢量轮廓数据。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种高分辨率遥感影像建筑物矢量轮廓数据提取方法，其特征在于，包括以下步骤：
步骤1、获取原始遥感影像图像和对应的矢量轮廓标签数据构成训练数据集，然后根据矢量标签数据生成对应的掩膜标签、顶点标签和角度标签；
步骤2、建立基于图注意力网络的高分辨率遥感影像建筑物矢量轮廓提取模型，从训练数据集中选取训练数据，将训练数据和对应的掩膜标签、顶点标签和角度标签输入基于图注意力网络的高分辨率遥感影像建筑物矢量轮廓提取模型；
所述基于图注意力网络的高分辨率遥感影像建筑物矢量轮廓提取模型包括多任务分割模型、粗略的建筑物边缘矢量轮廓构建模块和基于图注意力的建筑物矢量轮廓优化模块，所述多任务分割模型用于根据建筑物的掩膜标签、顶点标签和角度标签同时获取建筑物边缘矢量角度方向特征Oangle、建筑物掩膜特征Omask和建筑物顶点分布特征Over；所述粗略的建筑物边缘矢量轮廓构建模块用于采用基于边缘矢量顶点和角度方向采样的方法，根据建筑物边缘矢量角度方向特征Oangle、建筑物掩膜特征Omask和建筑物顶点分布特征Over获取粗略的建筑物矢量轮廓结果Pboundary；所述基于图注意力的建筑物矢量轮廓优化模块用于对粗略的建筑物矢量轮廓结果Pboundary进行优化，去除冗余的坐标点，使矢量结果更加规整，得到最终优化后的建筑物矢量轮廓坐标集合P；
步骤3、根据得到的建筑物矢量轮廓坐标集合P和训练标签，利用损失函数计算损失值，通过重复进行步骤2对基于图注意力网络的高分辨率遥感影像建筑物矢量轮廓提取模型进行训练，调整模型参数，直到损失函数最小化后，模型训练完毕，得到最终的基于图注意力网络的高分辨率遥感影像建筑物矢量轮廓提取模型；
步骤4、根据最终的基于图注意力网络的高分辨率遥感影像建筑物矢量轮廓提取模型对遥感影像进行建筑物矢量提取。
2.根据权利要求1所述的高分辨率遥感影像建筑物矢量轮廓数据提取方法，其特征在于，所述步骤1中，生成角度标签具体指的是计算当前位置P(x,y)和它指向建筑物顶点构成的向量与x轴方向构成的夹角θ∈[-π,π]，具体计算步骤如下：
步骤1.1、获取和掩膜标签同分辨率的角度标签矩阵，角度标签矩阵中每个值表示以该行列值为坐标的矢量点对应的角度标签；
步骤1.2、对角度标签矩阵中的每个矢量点匹配一个距离最近的顶点，继承该顶点指向的下一个顶点，作为该矢量点的方向。
3.根据权利要求1所述的高分辨率遥感影像建筑物矢量轮廓数据提取方法，其特征在于，所述步骤2中，多任务分割模型采用骨干网络Res-U-Net提取图像的共享特征图，然后利用三个具有256个输出通道的卷积层和ReLU激活函数的任务分支来提取共享特征图中的高维语义特征，三个任务分支分别用于学习建筑物顶点分布特征、建筑物掩膜特征和建筑物边缘矢量角度方向特征。
4.根据权利要求1所述的高分辨率遥感影像建筑物矢量轮廓数据提取方法，其特征在于，所述步骤2中，通过引入ECA模块来增强建筑物边缘角度和建筑物顶点的特征表示，最后通过1x1的卷积压缩通道数来获取建筑物边缘矢量角度方向特征Oangle、建筑物掩膜特征Omask和建筑物顶点分布特征Over。
5.根据权利要求1所述的高分辨率遥感影像建筑物矢量轮廓数据提取方法，其特征在于，所述步骤2中，基于边缘矢量顶点和角度方向采样的方法包括以下步骤：
步骤2.1a、采用NMS算法去除掉距离过近的矢量点，然后对建筑物顶点分布特征Over采用大小为S，步长为p的滑动窗口对建筑物顶点分布进行采样，保留滑动窗口中概率最大的顶点；
步骤2.2a、对NMS算法过滤后的建筑物顶点分布按照概率排序，选取前N个顶点作为粗略的建筑物边缘矢量轮廓点Pboundary；
步骤2.3a、通过距离成本矩阵，采用匈牙利算法获取坐标点连接顺序，最后得出包含连接顺序的粗略边缘矢量轮廓点Pboundary。
6.根据权利要求5所述的高分辨率遥感影像建筑物矢量轮廓数据提取方法，其特征在于，所述步骤2.3a中，距离成本矩阵由粗略的建筑物边缘矢量轮廓点Pboundary相互之间的正弦距离构建，采用匈牙利算法，把距离成本矩阵看作为任务分配的成本矩阵，当整体的成本最小时，可以得到建筑物矢量轮廓点的顺序都是两两对应的关系，避免了重复连接，最后得出包含连接顺序的粗略边缘矢量轮廓点Pboundary。
7.根据权利要求1所述的高分辨率遥感影像建筑物矢量轮廓数据提取方法，其特征在于，基于图注意力的建筑物矢量优化模块的工作过程包括以下步骤：
步骤2.1b、首先利用粗略的建筑物矢量轮廓结果Pboundary和对应的卷积语义特征构建建筑物边缘矢量的图结构数据，其中图结构特征向量d融合U-Res-Net的res2层和out层中边缘矢量对应的特征向量以及Pboundary的坐标信息；
步骤2.2b、图注意力网络采用多层图注意力层提取图结构数据中的图结构语义特征；
步骤2.3b、根据图结构语义特征优化模块cls和offset两个任务分支，得出更加规整的矢量结果，其中优化模块cls用于根据图结构语义特征对粗略的建筑物矢量结果Pboundary的冗余节点进行取舍，去除掉不必要的矢量点后得出优化模块offset用于根据图结构语义特征对粗略的建筑物矢量结果Pboundary的空间坐标进行修正，使用sigmoid激活函数将特征值缩放到[0,1]，得出偏移向量doffset，然后通过doffset·2-1将值缩放到[-1,1]，优化后的建筑物边缘矢量结果P由/>和doffset计算得出，/> 超参数γ表示对偏移量结果的置信值。
8.根据权利要求1所述的高分辨率遥感影像建筑物矢量轮廓数据提取方法，其特征在于，所述步骤3中，模型的损失函数包含基于图注意力的建筑物矢量优化模块损失lcls、形状约束损失lshape和多任务分割模型损失；其中，多任务分割模型由建筑物顶点损失lver、建筑物边缘矢量角度方向损失langle和建筑物分割掩膜损失lmask构成，总损失ltotal的计算公式如下所示：
ltotal＝λc·lcls+λs·lshape+λv·lver+λa·langle+λm·lmask
其中λc、λs、λv、λa和λm是各个模块对应的损失函数权重系数。
9.根据权利要求8所述的高分辨率遥感影像建筑物矢量轮廓数据提取方法，其特征在于，所述步骤3中，构成多任务分割模型损失的lmask、langle和lver是通过多任务预测结果的建筑物分割掩膜Omask、建筑物边缘矢量角度方向Oangle和建筑物顶点Over与对应样本标签通过交叉熵损失得出，基于图注意力的建筑物矢量优化模块包含优化模块cls和优化模块offset两个任务分支，优化模块cls根据预测的矢量点取舍结果dcls与样本标签计算二值交叉熵损失，优化模块offset不进行单独监督学习，采用形状约束损失函数lshape来训练，形状约束损失函数lshape包含距离度量损失函数lcd和正弦损失函数lsine，即：lshape＝lcd+lsine。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310578057.9A CN116682021A (zh) | 2023-05-22 | 2023-05-22 | 一种高分辨率遥感影像建筑物矢量轮廓数据提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310578057.9A CN116682021A (zh) | 2023-05-22 | 2023-05-22 | 一种高分辨率遥感影像建筑物矢量轮廓数据提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116682021A true CN116682021A (zh) | 2023-09-01 |
Family
ID=87782846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310578057.9A Pending CN116682021A (zh) | 2023-05-22 | 2023-05-22 | 一种高分辨率遥感影像建筑物矢量轮廓数据提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116682021A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117333677A (zh) * | 2023-12-01 | 2024-01-02 | 吉奥时空信息技术股份有限公司 | 一种建筑物矢量轮廓提取方法 |
| CN117456144A (zh) * | 2023-11-10 | 2024-01-26 | 中国人民解放军海军航空大学 | 基于可见光遥感图像的目标建筑物三维模型优化方法 |
| CN117496309A (zh) * | 2024-01-03 | 2024-02-02 | 华中科技大学 | 建筑场景点云分割不确定性评估方法、系统及电子设备 |
-
2023
- 2023-05-22 CN CN202310578057.9A patent/CN116682021A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117456144A (zh) * | 2023-11-10 | 2024-01-26 | 中国人民解放军海军航空大学 | 基于可见光遥感图像的目标建筑物三维模型优化方法 |
| CN117456144B (zh) * | 2023-11-10 | 2024-05-07 | 中国人民解放军海军航空大学 | 基于可见光遥感图像的目标建筑物三维模型优化方法 |
| CN117333677A (zh) * | 2023-12-01 | 2024-01-02 | 吉奥时空信息技术股份有限公司 | 一种建筑物矢量轮廓提取方法 |
| CN117333677B (zh) * | 2023-12-01 | 2024-04-16 | 吉奥时空信息技术股份有限公司 | 一种建筑物矢量轮廓提取方法 |
| CN117496309A (zh) * | 2024-01-03 | 2024-02-02 | 华中科技大学 | 建筑场景点云分割不确定性评估方法、系统及电子设备 |
| CN117496309B (zh) * | 2024-01-03 | 2024-03-26 | 华中科技大学 | 建筑场景点云分割不确定性评估方法、系统及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108510532B (zh) | 基于深度卷积gan的光学和sar图像配准方法 | |
| CN111291212B (zh) | 基于图卷积神经网络的零样本草图图像检索方法和系统 | |
| CN116682021A (zh) | 一种高分辨率遥感影像建筑物矢量轮廓数据提取方法 | |
| Bhatti et al. | Geometric algebra applications in geospatial artificial intelligence and remote sensing image processing | |
| Kohli et al. | p³ & beyond: Move making algorithms for solving higher order functions | |
| Furukawa | SOM of SOMs | |
| CN110363178B (zh) | 基于局部和全局深度特征嵌入的机载激光点云分类方法 | |
| CN116797787B (zh) | 基于跨模态融合与图神经网络的遥感影像语义分割方法 | |
| CN111652240A (zh) | 一种基于cnn的图像局部特征检测与描述方法 | |
| CN114882524A (zh) | 一种基于全卷积神经网络的单目三维手势估计方法 | |
| Demir et al. | Guided proceduralization: Optimizing geometry processing and grammar extraction for architectural models | |
| Altinel et al. | Deep structured energy-based image inpainting | |
| CN117315169A (zh) | 基于深度学习多视密集匹配的实景三维模型重建方法和系统 | |
| CN114219701A (zh) | 敦煌壁画艺术风格转换方法、系统、计算机设备及存储介质 | |
| Giang et al. | Adaptive Spatial Complex Fuzzy Inference Systems With Complex Fuzzy Measures | |
| Wang et al. | Robust point cloud registration using geometric spatial refinement | |
| CN111666849B (zh) | 多视角深度网络迭代进化的多源遥感影像水体检测方法 | |
| CN112102156B (zh) | 基于因果流模型的可控汽车图像合成方法 | |
| CN112365456A (zh) | 基于三维点云数据的变电站设备分类方法 | |
| CN117252892B (zh) | 基于轻量化视觉自注意力网络的双分支人像自动抠图装置 | |
| CN116363329B (zh) | 基于CGAN与LeNet-5的三维图像生成方法及系统 | |
| Kwon et al. | Deep learning-based point cloud upsampling: a review of recent trends | |
| Garov et al. | Application and some fundamental study of GNN in forecasting | |
| CN113470046B (zh) | 一种面向医学图像超像素灰度纹理采样特征的图注意力网络分割方法 | |
| Wang et al. | Deep functional maps for simultaneously computing direct and symmetric correspondences of 3D shapes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |