CN116704376A - 基于单卫星图像的nDSM提取方法、装置及电子设备 - Google Patents
基于单卫星图像的nDSM提取方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116704376A CN116704376A CN202310973995.9A CN202310973995A CN116704376A CN 116704376 A CN116704376 A CN 116704376A CN 202310973995 A CN202310973995 A CN 202310973995A CN 116704376 A CN116704376 A CN 116704376A
- Authority
- CN
- China
- Prior art keywords
- ndsm
- value
- satellite image
- target
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 132
- 238000012549 training Methods 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000007306 turnover Effects 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims description 68
- 238000012545 processing Methods 0.000 claims description 56
- 230000006870 function Effects 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 10
- 230000005764 inhibitory process Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于单卫星图像的nDSM提取方法、装置及电子设备，包括：获取目标区域的单卫星图像和单卫星图像对应的翻转卫星图像；通过预先训练得到的nDSM提取网络，基于单卫星图像和/或翻转卫星图像，确定目标区域的目标nDSM值和目标高度分类图；其中，目标高度分类图用于区分目标区域内的建筑区域和非建筑区域；根据目标nDSM值和目标高度分类图，确定目标区域的高度估计结果。本发明可以仅基于单卫星图像，实现端到端直接输出nDSM值，还可以有效提高估计目标区域高度的准确度。
Description
技术领域
本发明涉及遥感监测技术领域，尤其是涉及一种基于单卫星图像的nDSM提取方法、装置及电子设备。
背景技术
目前，现有nDSM的获取更多的是通过DSM（Digital Surface Model，数字地表模型）减去DEM（Digital Elevation Model，数字高程模型）的方式获得，而DEM、DSM的获取更多是通过多视立体卫星图像、SAR图像等进行计算，或者通过人工、无人机进行现场测绘，这都需要巨大的成本付出，或计算繁琐，或工作周期过长。
相关技术也提出通过AI（Artificial Intelligence），人工智能）的方式直接从遥感影像进行高度识别，但是现有深度学习模型通常仅能直接预测DSM，无法直接地反应地表物体高度。
发明内容
有鉴于此，本发明的目的在于提供一种基于单卫星图像的nDSM提取方法、装置及电子设备，可以仅基于单卫星图像，实现端到端直接输出nDSM值，还可以有效提高估计目标区域高度的准确度。
第一方面，本发明实施例提供了一种基于单卫星图像的nDSM提取方法，包括：
获取目标区域的单卫星图像和所述单卫星图像对应的翻转卫星图像；
通过预先训练得到的nDSM提取网络，基于所述单卫星图像和/或所述翻转卫星图像，确定所述目标区域的目标nDSM值和目标高度分类图；其中，所述目标高度分类图用于区分所述目标区域内的建筑区域和非建筑区域；
根据所述目标nDSM值和所述目标高度分类图，确定所述目标区域的高度估计结果。
在一种实施方式中，通过预先训练得到的nDSM提取网络，基于所述单卫星图像和/或所述翻转卫星图像，确定所述目标区域的目标nDSM值和目标高度分类图，包括：
通过nDSM提取网络，基于所述单卫星图像确定所述目标区域的第一nDSM值和第一高度分类图；
以及，通过所述nDSM提取网络，基于所述翻转卫星图像确定所述目标区域的第二nDSM值和第二高度分类图；
其中，所述目标nDSM值包括第一nDSM值和第二nDSM值，所述目标高度分类图包括第一高度分类图和第二高度分类图。
在一种实施方式中，所述nDSM提取网络包括编码器、聚焦子网络和解码器，所述编码器包括多个尺度的特征提取单元，所述解码器包括多个尺度的第一上采样单元和一个第二上采样单元；
通过nDSM提取网络，基于所述单卫星图像确定所述目标区域的第一nDSM值和第一高度分类图，包括：
通过所述编码器中每个所述特征提取单元，提取所述单卫星图像的不同尺度的深层特征；
通过所述聚焦子网络，对所述编码器中位于末端的所述特征提取单元输出的所述深层特征进行聚焦，得到聚焦特征；
通过所述解码器中每个所述第一上采样单元和所述第二上采样单元，基于不同尺度的所述深层特征对所述聚焦特征进行上采样处理，得到所述目标区域的第一nDSM值和第一高度分类图。
在一种实施方式中，同一尺度的所述特征提取单元的输出端与所述第一上采样单元的输入端连接；
通过所述解码器中每个所述第一上采样单元和所述第二上采样单元，基于不同尺度的所述深层特征对所述聚焦特征进行上采样处理，得到所述目标区域的第一nDSM值和第一高度分类图，包括：
对于所述解码器中位于末端的第一上采样单元，通过该第一上采样单元，基于位于末端的所述特征提取单元输出的所述深层特征对所述聚焦特征进行上采样处理，得到该第一上采样单元输出的高度特征和Mask特征；其中，位于末端的第一上采样单元与所述编码器中位于末端的所述特征提取单元的尺度相同；
对于其他第一上采样单元，通过该第一上采样单元，基于与该第一上采样单元同一尺度的所述特征提取单元输出的所述深层特征，对该第一上采样单元对应的上一级第一上采样单元输出的高度特征和Mask特征分别进行上采样处理，得到该第一上采样单元输出的高度特征和Mask特征；
通过所述解码器中的所述第二上采样单元，对所述解码器中位于首端的第一上采样单元输出的高度特征和Mask特征分别进行上采样处理，得到所述目标区域的第一nDSM值和第一高度分类图；其中，位于首端的第一上采样单元与所述编码器中位于首端的所述特征提取单元的尺度相同。
在一种实施方式中，所述nDSM提取网络的训练步骤，包括：
获取第一训练卫星图像，以及所述第一训练卫星图像对应的DEM数据、DSM数据和建筑掩膜数据；
利用所述建筑掩膜数据对所述DEM数据和所述DSM数据进行掩膜处理，并基于掩膜处理后的所述DEM数据和所述DSM数据，确定所述第一训练卫星图像对应的nDSM标签；以及利用层次聚类算法对所述nDSM标签进行聚类处理，得到所述第一训练卫星图像对应的Mask标签；
对所述第一训练卫星图像进行数据增强处理得到第二训练卫星图像；其中，所述数据增强处理包括随机缩放处理、随机裁剪处理、随机旋转处理和光照对比度变换处理中的一种或多种；
通过所述nDSM提取网络，提取所述第一训练卫星图像或所述第二训练卫星图像的预测nDSM值和预测Mask值；
基于所述nDSM标签、所述Mask标签、所述预测nDSM值和所述预测Mask值确定目标损失值，以利用所述目标损失值对所述nDSM提取网络进行迭代训练。
在一种实施方式中，基于所述nDSM标签、所述Mask标签、所述预测nDSM值和所述预测Mask值确定目标损失值，以利用所述目标损失值对所述nDSM提取网络进行迭代训练，包括：
对所述nDSM标签将进行对数处理和极大值归一化处理，得到高度真值；以及将所述Mask标签作为Mask真值；
基于SmoothL1损失函数、所述高度真值和所述预测nDSM值，确定第一损失值；以及，基于交叉熵损失函数、所述Mask真值和所述预测Mask值确定第二损失值；
对所述第一损失值和所述第二损失值的加权和，确定为目标损失值，以利用所述目标损失值对所述nDSM提取网络进行迭代训练。
在一种实施方式中，根据所述nDSM值和所述高度分类图，确定所述目标区域的高度估计结果，包括：
对于所述目标区域中每个子区域，如果基于所述第一高度分类图确定该子区域对应的第一掩膜值为0，则将该子区域对应的所述第一nDSM值置为0，以对所述第一nDSM值进行抑制，得到抑制后第一nDSM值；
以及，如果基于所述第二高度分类图确定该子区域对应的第二掩膜值为0，则将该子区域对应的所述第二nDSM值置为0，以对所述第二nDSM值进行抑制，得到抑制后第二nDSM值；
将所述抑制后第一nDSM值和所述抑制后第二nDSM值中的最大nDSM值，确定为所述目标区域的高度估计结果。
第二方面，本发明实施例还提供一种基于单卫星图像的nDSM提取装置，包括：
图像获取模块，用于获取目标区域的单卫星图像和所述单卫星图像对应的翻转卫星图像；
提取模块，用于通过预先训练得到的nDSM提取网络，基于所述单卫星图像和/或所述翻转卫星图像，确定所述目标区域的目标nDSM值和目标高度分类图；其中，所述目标高度分类图用于区分所述目标区域内的建筑区域和非建筑区域；
高度估计模块，用于根据所述目标nDSM值和所述目标高度分类图，确定所述目标区域的高度估计结果。
第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现第一方面提供的任一项所述的方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现第一方面提供的任一项所述的方法。
本发明实施例提供的一种基于单卫星图像的nDSM提取方法、装置及电子设备，首先获取目标区域的单卫星图像和单卫星图像对应的翻转卫星图像；然后通过预先训练得到的nDSM提取网络，基于单卫星图像和/或翻转卫星图像，确定目标区域的目标nDSM值和目标高度分类图，该目标高度分类图用于区分目标区域内的建筑区域和非建筑区域；最后根据目标nDSM值和目标高度分类图，确定目标区域的高度估计结果。上述方法可以通过nDSM提取网络，仅基于单卫星图像及其翻转卫星图像实现端到端直接输出目标nDSM值，并利用目标高度分类图对目标nDSM值进行纠正，以得到高度估计结果，从而有效提高了估计目标区域高度的准确度。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于单卫星图像的nDSM提取方法的流程示意图；
图2为本发明实施例提供的一种nDSM提取网络的结构示意图；
图3为本发明实施例提供的一种nDSM提取网络的效果示意图；
图4为本发明实施例提供的一种数据集对示例图；
图5为本发明实施例提供的另一种基于单卫星图像的nDSM提取方法的流程示意图；
图6为本发明实施例提供的一种基于单卫星图像的nDSM提取装置的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，通过DSM减去DEM的方式获得nDSM的方式存在成本较高、计算繁琐、工作周期长等问题。通过AI获取nDSM的方式直接从遥感影像进行高度识别，但深度学习模型的训练需要大量数据集支持，要有一一对应的输入图像与输出高度对。尤其是一些新型的模型，更是需要相应图片的语义分割结果进行联合训练，无意更是加大了数据集收集难度。此外，大多数模型只能直接预测DSM，不能像nDSM那样直接反应地表物体高度。
例如，相较于相关技术提出的一种基于深度学习算法的单幅遥感影像高度信息估算方法，该方法只是一种类u-net的模型，没有利用语义分支进行特征加强及输出抑制；或者诸如相较于相关技术提出的一种单视遥感影像高度估计和语义分割多任务预测方法，该方法虽然有语义分支，但是要额外的语义标注，同时只能输出dsm。
基于此，本发明实施提供了一种基于单卫星图像的nDSM提取方法、装置及电子设备，可以仅基于单卫星图像，实现端到端直接输出nDSM值，还可以有效提高估计目标区域高度的准确度。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于单卫星图像的nDSM提取方法进行详细介绍，参见图1所示的一种基于单卫星图像的nDSM提取方法的流程示意图，该方法主要包括以下步骤S102至步骤S106：
步骤S102，获取目标区域的单卫星图像和单卫星图像对应的翻转卫星图像。其中，单卫星图像也即一张卫星图像（也可称之为，遥感影像），翻转卫星图像也即对单卫星图像进行翻转操作得到的卫星图像。
步骤S104，通过预先训练得到的nDSM提取网络，基于单卫星图像和/或翻转卫星图像，确定目标区域的目标nDSM值和目标高度分类图。其中，目标高度分类图用于区分目标区域内的建筑区域和非建筑区域，目标nDSM值包括第一nDSM值和第二nDSM值，目标高度分类图包括第一高度分类图和第二高度分类图。
在一种实施方式中，可以将单卫星图像输入至nDSM提取网络，以得到第一nDSM值和第一高度分类图；以及将翻转卫星图像输入至nDSM提取网络，以得到第二nDSM值和第二高度分类图，将第一nDSM值和第二nDSM值作为目标nDSM值，将第一高度分类图和第二高度分类图作为目标高度分类图。
步骤S106，根据目标nDSM值和目标高度分类图，确定目标区域的高度估计结果。
在一种实施方式中，可以利用第一高度分类图对第一nDSM值进行抑制，以及利用第二高度分类图对第二nDSM值进行抑制，并从抑制后的第一nDSM值和抑制后的第二nDSM值中选择一nDSM作为高度估计结果。
本发明实施例提供的基于单卫星图像的nDSM提取方法，可以通过nDSM提取网络，仅基于单卫星图像及其翻转卫星图像实现端到端直接输出目标nDSM值，并利用目标高度分类图对目标nDSM值进行纠正，以得到高度估计结果，从而有效提高了估计目标区域高度的准确度。
为便于对上述实施例进行理解，本发明实施例提供了一种nDSM提取网络的具体结构，参见图2所示的一种nDSM提取网络的结构示意图，nDSM提取网络包括编码器、聚焦子网络和解码器，编码器包括多个尺度的特征提取单元，解码器包括多个尺度的第一上采样单元和一个第二上采样单元，第一上采样单元可以为CFFM单元，每个CFFM单元均由两个CBR层和一个CFFM层组成，从而通过并行相交再并行的方式互相融合，并输出nDSM值和高度分类图，第二上采样单元可以为Upsample单元。
进一步的，同一尺度的特征提取单元的输出端与第一上采样单元的输入端连接。如图2所示，解码器包括4个CFFM单元，每个CFFM单元均与同一尺度的特征提取单元连接。
在一例中，编码器可以ConvNeXt为主干网络，编码器用于提取不同尺度的深层特征；聚焦子网络采用SCE网络中的TFSM层，作为特征query工具，聚焦子网络用于聚焦编码器输出的深层特征，以得到聚焦特征；解码器用于基于不同尺度的深层特征和聚焦特征确定高度特征和Mask特征，并基于高度特征得到nDSM值和高度分类图。
在上述图2的基础上，本发明实施例提供了一种通过预先训练得到的nDSM提取网络，基于单卫星图像和/或翻转卫星图像，确定目标区域的目标nDSM值和目标高度分类图的具体实施方式，参见如下（一）至（二）：
（一）通过nDSM提取网络，基于单卫星图像确定目标区域的第一nDSM值和第一高度分类图。在实际应用中，将单卫星图像输入至上述nDSM提取网络，即可得到该nDSM提取网络针对单卫星图像输出的第一nDSM值和第一高度分类图。
（二）通过nDSM提取网络，基于翻转卫星图像确定目标区域的第二nDSM值和第二高度分类图。在实际应用中，将翻转卫星图像输入至上述nDSM提取网络，即可得到该nDSM提取网络针对翻转卫星图像输出的第二nDSM值和第二高度分类图。
对于上述（一）或（二），nDSM提取网络对单卫星图像和翻转卫星图像进行处理的过程相同，因此，本发明实施例以通过nDSM提取网络，基于单卫星图像确定目标区域的第一nDSM值和第一高度分类图为例，对nDSM提取网络的处理过程进行进一步解释说明。具体可参见如下步骤1至步骤3：
步骤1，通过编码器中每个特征提取单元，提取单卫星图像的不同尺度的深层特征。
请继续参见图2，以编码器包括4个特征提取单元为例，编码器将提取得到4个尺度的深层特征，包括：深层特征、深层特征/>、深层特征/>、深层特征/>，表达式如下所示：
；其中，/>为单卫星图像。
步骤2，通过聚焦子网络，对编码器中位于末端的特征提取单元输出的深层特征进行聚焦，得到聚焦特征。
在一种实施方式中，采用SCE网络中的TFSM层，作为特征query工具（也即，聚焦子网络），进一步聚焦末端的特征提取单元输出的深层特征得到聚焦特征/>，表达式如下所示：
。
步骤3，通过解码器中每个第一上采样单元和第二上采样单元，基于不同尺度的深层特征对聚焦特征进行上采样处理，得到目标区域的第一nDSM值和第一高度分类图。在具体实现时，可以参见如下步骤3.1至步骤3.3：
步骤3.1，对于解码器中位于末端的第一上采样单元，通过该第一上采样单元，基于位于末端的特征提取单元输出的深层特征对聚焦特征进行上采样处理，得到该第一上采样单元输出的高度特征和Mask特征。其中，位于末端的第一上采样单元与编码器中位于末端的特征提取单元的尺度相同。
在一例中，请继续参见图2，解码器中的CFFM-0单元也即位于末端的第一上采样单元，通过解码器中的CFFM-0单元，对深层特征和聚焦特征/>进行上采样，以得到相应的高度特征/>和Mask特征/>。
步骤3.2，对于其他第一上采样单元，通过该第一上采样单元，基于与该第一上采样单元同一尺度的特征提取单元输出的深层特征，对该第一上采样单元对应的上一级第一上采样单元输出的高度特征和Mask特征分别进行上采样处理，得到该第一上采样单元输出的高度特征和Mask特征。
在一例中，请继续参见图2，通过解码器中的CFFM-1单元，对深层特征、高度特征/>、Mask特征/>进行上采样，以得到相应的高度特征/>和Mask特征/>；同理，通过解码器中的CFFM-2单元，对深层特征/>、高度特征/>、Mask特征/>进行上采样，以得到相应的高度特征/>和Mask特征/>；通过解码器中的CFFM-3单元，对深层特征/>、高度特征/>、Mask特征/>进行上采样，以得到相应的高度特征/>和Mask特征/>。
上述步骤3.1至步骤3.2的处理过程可参见下式：
；
；
；
；
。
步骤3.3，通过解码器中的第二上采样单元，对解码器中位于首端的第一上采样单元输出的高度特征和Mask特征分别进行上采样处理，得到目标区域的第一nDSM值和第一高度分类图；其中，位于首端的第一上采样单元与编码器中位于首端的特征提取单元的尺度相同。
在一例中，请继续参见图2，通过解码器中的单元对高度特征进行上采样处理，并利用一个1核的卷基层/>加sigmoid层，对上采样处理后的高度特征/>进行最终提取即可得到第一nDSM值。第一nDSM值表达式如下所示：
)。
同理，通过解码器中的单元对Mask特征/>进行上采样处理，最后通过一个n核的卷积层/>对上采样处理后的Mask特征/>进行最后提取即可得到第一高度分类图。第一高度分类图表达式如下所示：
。
本发明实施例经过依次四个CFFM层进行特征上采样且在传入CFFM层前及之后都分别传入深度特征以保证上采样后特征的精确性。
在具体实现时，可以按照上述步骤1至步骤3，基于单卫星图像确定目标区域的第一nDSM值/>和第一高度分类图/>：
；
以及基于翻转卫星图像确定目标区域的第二nDSM值/>和第二高度分类图/>：
。
在此基础上，本发明实施例提出了一种根据nDSM值和高度分类图，确定目标区域的高度估计结果的实施方式，参见如下步骤a至步骤c：
步骤a，对于目标区域中每个子区域，如果基于第一高度分类图确定该子区域对应的第一掩膜值为0，则将该子区域对应的第一nDSM值置为0，以对第一nDSM值进行抑制，得到抑制后第一nDSM值。
在具体实现时，如果第一高度分类图中该子区域对应的第一掩膜值为1，则表明该子区域为建筑区域，此时将保留该子区域对应的第一nDSM值；反之，如果第一高度分类图中该子区域对应的第一掩膜值为0，则表明该子区域为非建筑区域，此时将该子区域对应的第一nDSM值置为0，遍历所有子区域，即可得到抑制后第一nDSM值，其表达式如下所示：
。
步骤b，如果基于第二高度分类图确定该子区域对应的第二掩膜值为0，则将该子区域对应的第二nDSM值置为0，以对第二nDSM值进行抑制，得到抑制后第二nDSM值。
同理，如果第二高度分类图中该子区域对应的第二掩膜值为1，则表明该子区域为建筑区域，此时将保留该子区域对应的第二nDSM值；反之，如果第二高度分类图中该子区域对应的第二掩膜值为0，则表明该子区域为非建筑区域，此时将该子区域对应的第二nDSM值置为0，遍历所有子区域，即可得到抑制后第二nDSM值，其表达式如下所示：
。
步骤c，将抑制后第一nDSM值和抑制后第二nDSM值中的最大nDSM值，确定为目标区域的高度估计结果。具体的，如果抑制后第一nDSM值大于抑制后第二nDSM值，则高度估计结果/>等于/>；反之，如果抑制后第一nDSM值小于抑制后第二nDSM值/>，则高度估计结果/>等于/>。表达式如下所示：
。
本发明实施例适用模型预测的mask分支为基础，对输出的nDSM值进行再抑制，以mask为0的部分将对应的nDSM置为0。同时，对每个区域进行高度预测时，对同时将输入卫星影像进行翻转预测，综合两个结果作为最终的高度估计结果，诸如图3所示的一种nDSM提取网络的效果示意图，图3中的（a）为光学卫星影像，图3中的（b）为nDSM推理结果（也即最终的高度估计结果）。
进一步的，以学术内公用的为预测正确，对本发明实施例提供的基于单卫星图像的nDSM提取方法的预测精度，实验表明本发明实施例提供的基于单卫星图像的nDSM提取方法具有较高的预测精度。
在实际应用中，为使nDSM提取网络具有较高的预测精度，需要预先对nDSM提取网络进行训练，本发明实施例还提供了一种训练nDSM提取网络的实施方式，参见如下（1）至（5）：
（1）获取第一训练卫星图像，以及第一训练卫星图像对应的DEM数据、DSM数据和建筑掩膜数据。
在实际应用中，对给定的卫星图RGB、DEM影像与斜扫模型OSGB（也可称之为，倾斜摄影模型）,可以从斜扫模型OSGB中提取相应的高度矩阵DSM；还可以通过通用建筑检测模型获取建筑mask（也即，建筑掩膜数据）。
（2）利用建筑掩膜数据对DEM数据和DSM数据进行掩膜处理，并基于掩膜处理后的DEM数据和DSM数据，确定第一训练卫星图像对应的nDSM标签（也即，）；以及利用层次聚类算法对nDSM标签进行聚类处理，得到第一训练卫星图像对应的Mask标签（也即，/>）。
在一例中，可以根据地理位置信息，将RGB、DEM、DSM切分成wh大小的块（）。并通过如下公式构建数据对（/>）：
。
在一例中，对得到的逐像素进行统计，统计其分布情况，使用层次聚类法，判断其分布中心，为n类。不妨设分布区间端点为/>，于是将/>以此分类进行处理得到高度分类图/>，表达式如下所示：
；
诸如图4所示的一种数据集对示例图，其中图4中的（a）为第一训练卫星图像的示意图，图4中的（b）为nDSM标签的示意图，图4中的（c）为Mask标签的示意图。
（3）对第一训练卫星图像进行数据增强处理得到第二训练卫星图像；其中，数据增强处理包括随机缩放处理、随机裁剪处理/>、随机旋转处理/>和光照对比度变换处理/>中的一种或多种，具体如下所示：
。
其中，为第一训练卫星图像，/>为第二训练卫星图像。
（4）通过nDSM提取网络，提取第一训练卫星图像或第二训练卫星图像的预测nDSM值和预测Mask值。
在具体实现时，提取预测nDSM值和预测Mask值的具体过程可参见前述步骤1至步骤3，本发明实施例在此不再进行赘述。
（5）基于nDSM标签、Mask标签、预测nDSM值和预测Mask值确定目标损失值，以利用目标损失值对nDSM提取网络进行迭代训练。具体的，参见如下（5.1）至（5.3）：
（5.1）对nDSM标签将进行对数处理和极大值归一化处理，得到高度真值；以及将Mask标签作为Mask真值。
在一种实施方式中，本发明实施例以nDSM标签取对数再以极大值归一作为高度真值，以及Mask标签/>作为mask分支真值（也即，Mask真值）。
（5.2）基于SmoothL1损失函数、高度真值和预测nDSM值，确定第一损失值；以及，基于交叉熵损失函数、Mask真值和预测Mask值确定第二损失值；
（5.3）对第一损失值和第二损失值的加权和，确定为目标损失值，以利用目标损失值对nDSM提取网络进行迭代训练。
在一种实施方式中，本发明实施例利用SmoothL1损失函数，基于高度真值和预测nDSM值计算第一损失值，以及利用交叉熵损失函数，基于Mask真值和预测Mask值计算第二损失值，二者加权做和作为最终损失，进行整个网络模型的迭代。
具体的，可以按照如下公式确定目标损失值：
；
其中，为目标损失值，/>为SmoothL1损失函数，/>为交叉熵损失函数。
综上所述，本发明实施例提供的基于单卫星图像的nDSM提取方法，相较于现有技术至少具有以下特点：（1）不需要额外的语义分割Mask，而是单单从单一的DSM出发，构建了联合任务估计nDSM；（2）仅需要单张遥感影像，端到端直接输出nDSM，而不用通过nDSM-DEM的方式，具体的，本发明实施例只依赖遥感影像和nDSM数据，利用nDSM构建语义分支，直接输出nDSM。
进一步的，本发明实施例提供了基于单卫星图像的nDSM提取方法的另一种实施方式，参见图5所示的另一种基于单卫星图像的nDSM提取方法的流程示意图，主要包括：获取DEM、DSM数据；通过数据相减得到nDSM数据；获取卫星图像（也可称之为遥感影像）；对卫星图像进行建筑提取以将非建筑区域置为0；将建筑提取后的卫星图像与nDSM数据裁剪为数据对；nDSM数据按高度进行层次聚类得到高度分类Mask；根据卫星影像、ndsm数据，高度分类Mask训练NeXt-SCE模型；输入待推理的目标区域的卫星图像；使用NeXt-SCE模型推理高度估计结果及高度分类预测；使用推理的高度分类图Mask对估计的高度再纠正。
在图5的基础上，本发明实施例提供了一种基于单卫星图像的nDSM提取方法的具体实施方式，参见如下步骤一至步骤五：
步骤一，深度学习模型的训练的准备过程。本发明实施例首先收集公开的卫星影像与DEM影像，倾斜摄影模型，通过倾斜摄影模型提取对应区域DSM，通过通用建筑检测模型获取建筑mask，对DEM、DSM进行掩膜处理，获取nDSM，并将卫星影像、nDSM进行同位置同大小裁剪，形成训练所用数据对。
步骤二，数据分析深层利用过程。本发明实施例根据整理后的nDSM数据，分析其高度分布，进行高度分类，以不同的分类当作建筑类别，用于深度学习模型的训练。从而构建可用于联合任务NeXt-SCE模型（也即，上述nDSM提取网络）训练的数据集，构成输入为卫星影像，输出为nDSM，高度分类Mask的数据集。
步骤三，模型构建过程。本发明实施例根据任务特点，构建NeXt-SCE模型，选定以encoder-decoder为主体网络结构，ConvNeXt-base为网络backbone作为encoder提取卫星图像特征，以SCENet为基构建两个4层的decoder结构，充分利用ConvNeXt提取的4尺度特征，从分别生成预测的nDSM与高度分类Mask。
步骤四，模型的训练调优过程。由于nDSM数据难以标注、获取，本发明实施例通过若干数据增强的方式进行数据集的伪扩充，以让模型有更好的泛化性。包括但不限于随机旋转放缩，随机裁剪，光照对比度变换等。同时，考虑到nDSM值的分布情况，本发明实施例采用取对数函数后再归一的方式对nDSM进行再处理，最好分别以SmoothL1 Loss优化高度估计分支和交叉熵损失函数优化类别mask分支，让模型收敛更快、更好。
步骤五，模型输出的后处理部分。考虑到NeXt-SCE模型输出的目标nDSM值的特殊性，表示的仅是地表目标的高度信息，于是本发明实施例适用模型预测的目标高度分类图Mask为基础，对输出的目标nDSM值进行再抑制，以目标高度分类图Mask为0的部分将对应的目标nDSM值置为0。同时，对每个区域进行高度预测时，对同时将输入卫星影像进行翻转预测，综合两个结果作为最终的高度估计结果。
本发明实施例提供的基于单卫星图像的nDSM提取方法，不需要额外的语义分割Mask，而是单单从单一的DSM出发，构建了联合任务估计nDSM；另外，本发明实施例提供的基于单卫星图像的nDSM提取方法，仅需要单张遥感影像，端到端直接输出nDSM，而不用通过nDSM-DEM的方式。
对于前述实例提供的基于单卫星图像的nDSM提取方法，本发明实施例提供了一种基于单卫星图像的nDSM提取装置，参见图6所示的一种基于单卫星图像的nDSM提取装置的结构示意图，该装置主要包括以下部分：
图像获取模块602，用于获取目标区域的单卫星图像和单卫星图像对应的翻转卫星图像；
提取模块604，用于通过预先训练得到的nDSM提取网络，基于单卫星图像和/或翻转卫星图像，确定目标区域的目标nDSM值和目标高度分类图；其中，目标高度分类图用于区分目标区域内的建筑区域和非建筑区域；
高度估计模块606，用于根据目标nDSM值和目标高度分类图，确定目标区域的高度估计结果。
本发明实施例提供的基于单卫星图像的nDSM提取装置，可以通过nDSM提取网络，仅基于单卫星图像及其翻转卫星图像实现端到端直接输出目标nDSM值，并利用目标高度分类图对目标nDSM值进行纠正，以得到高度估计结果，从而有效提高了估计目标区域高度的准确度。
在一种实施方式中，提取模块604还用于：
通过nDSM提取网络，基于单卫星图像确定目标区域的第一nDSM值和第一高度分类图；
以及，通过nDSM提取网络，基于翻转卫星图像确定目标区域的第二nDSM值和第二高度分类图；
其中，目标nDSM值包括第一nDSM值和第二nDSM值，目标高度分类图包括第一高度分类图和第二高度分类图。
在一种实施方式中，nDSM提取网络包括编码器、聚焦子网络和解码器，编码器包括多个尺度的特征提取单元，解码器包括多个尺度的第一上采样单元和一个第二上采样单元；
提取模块604还用于：
通过编码器中每个特征提取单元，提取单卫星图像的不同尺度的深层特征；
通过聚焦子网络，对编码器中位于末端的特征提取单元输出的深层特征进行聚焦，得到聚焦特征；
通过解码器中每个第一上采样单元和第二上采样单元，基于不同尺度的深层特征对聚焦特征进行上采样处理，得到目标区域的第一nDSM值和第一高度分类图。
在一种实施方式中，同一尺度的特征提取单元的输出端与第一上采样单元的输入端连接；
提取模块604还用于：
对于所述解码器中位于末端的第一上采样单元，通过该第一上采样单元，基于位于末端的所述特征提取单元输出的所述深层特征对所述聚焦特征进行上采样处理，得到该第一上采样单元输出的高度特征和Mask特征；其中，位于末端的第一上采样单元与所述编码器中位于末端的所述特征提取单元的尺度相同；
对于其他第一上采样单元，通过该第一上采样单元，基于与该第一上采样单元同一尺度的所述特征提取单元输出的所述深层特征，对该第一上采样单元对应的上一级第一上采样单元输出的高度特征和Mask特征分别进行上采样处理，得到该第一上采样单元输出的高度特征和Mask特征；
通过所述解码器中的所述第二上采样单元，对所述解码器中位于首端的第一上采样单元输出的高度特征和Mask特征分别进行上采样处理，得到所述目标区域的第一nDSM值和第一高度分类图；其中，位于首端的第一上采样单元与所述编码器中位于首端的所述特征提取单元的尺度相同。
在一种实施方式中，还包括模型训练模块，用于：
获取第一训练卫星图像，以及第一训练卫星图像对应的DEM数据、DSM数据和建筑掩膜数据；
利用建筑掩膜数据对DEM数据和DSM数据进行掩膜处理，并基于掩膜处理后的DEM数据和DSM数据，确定第一训练卫星图像对应的nDSM标签；以及利用层次聚类算法对nDSM标签进行聚类处理，得到第一训练卫星图像对应的Mask标签；
对第一训练卫星图像进行数据增强处理得到第二训练卫星图像；其中，数据增强处理包括随机缩放处理、随机裁剪处理、随机旋转处理和光照对比度变换处理中的一种或多种；
通过nDSM提取网络，提取第一训练卫星图像或第二训练卫星图像的预测nDSM值和预测Mask值；
基于nDSM标签、Mask标签、预测nDSM值和预测Mask值确定目标损失值，以利用目标损失值对nDSM提取网络进行迭代训练。
在一种实施方式中，模型训练模块还用于：
对nDSM标签将进行对数处理和极大值归一化处理，得到高度真值；以及将Mask标签作为Mask真值；
基于SmoothL1损失函数、高度真值和预测nDSM值，确定第一损失值；以及，基于交叉熵损失函数、Mask真值和预测Mask值确定第二损失值；
对第一损失值和第二损失值的加权和，确定为目标损失值，以利用目标损失值对nDSM提取网络进行迭代训练。
在一种实施方式中，高度估计模块606还用于：
对于目标区域中每个子区域，如果基于第一高度分类图确定该子区域对应的第一掩膜值为0，则将该子区域对应的第一nDSM值置为0，以对第一nDSM值进行抑制，得到抑制后第一nDSM值；
以及，如果基于第二高度分类图确定该子区域对应的第二掩膜值为0，则将该子区域对应的第二nDSM值置为0，以对第二nDSM值进行抑制，得到抑制后第二nDSM值；
将抑制后第一nDSM值和抑制后第二nDSM值中的最大nDSM值，确定为目标区域的高度估计结果。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例提供了一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法 。
图7为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处理器70，存储器71，总线72和通信接口73，所述处理器70、通信接口73和存储器71通过总线72连接；处理器70用于执行存储器71中存储的可执行模块，例如计算机程序。
其中，存储器71可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatilememory），例如至少一个磁盘存储器。通过至少一个通信接口73（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线72可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器71用于存储程序，所述处理器70在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器70中，或者由处理器70实现。
处理器70可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器70中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器70可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器71，处理器70读取存储器71中的信息，结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于单卫星图像的nDSM提取方法，其特征在于，包括：
获取目标区域的单卫星图像和所述单卫星图像对应的翻转卫星图像；
通过预先训练得到的nDSM提取网络，基于所述单卫星图像和/或所述翻转卫星图像，确定所述目标区域的目标nDSM值和目标高度分类图；其中，所述目标高度分类图用于区分所述目标区域内的建筑区域和非建筑区域；
根据所述目标nDSM值和所述目标高度分类图，确定所述目标区域的高度估计结果。
2.根据权利要求1所述的基于单卫星图像的nDSM提取方法，其特征在于，通过预先训练得到的nDSM提取网络，基于所述单卫星图像和/或所述翻转卫星图像，确定所述目标区域的目标nDSM值和目标高度分类图，包括：
通过nDSM提取网络，基于所述单卫星图像确定所述目标区域的第一nDSM值和第一高度分类图；
以及，通过所述nDSM提取网络，基于所述翻转卫星图像确定所述目标区域的第二nDSM值和第二高度分类图；
其中，所述目标nDSM值包括第一nDSM值和第二nDSM值，所述目标高度分类图包括第一高度分类图和第二高度分类图。
3.根据权利要求2所述的基于单卫星图像的nDSM提取方法，其特征在于，所述nDSM提取网络包括编码器、聚焦子网络和解码器，所述编码器包括多个尺度的特征提取单元，所述解码器包括多个尺度的第一上采样单元和一个第二上采样单元；
通过nDSM提取网络，基于所述单卫星图像确定所述目标区域的第一nDSM值和第一高度分类图，包括：
通过所述编码器中每个所述特征提取单元，提取所述单卫星图像的不同尺度的深层特征；
通过所述聚焦子网络，对所述编码器中位于末端的所述特征提取单元输出的所述深层特征进行聚焦，得到聚焦特征；
通过所述解码器中每个所述第一上采样单元和所述第二上采样单元，基于不同尺度的所述深层特征对所述聚焦特征进行上采样处理，得到所述目标区域的第一nDSM值和第一高度分类图。
4.根据权利要求3所述的基于单卫星图像的nDSM提取方法，其特征在于，同一尺度的所述特征提取单元的输出端与所述第一上采样单元的输入端连接；
通过所述解码器中每个所述第一上采样单元和所述第二上采样单元，基于不同尺度的所述深层特征对所述聚焦特征进行上采样处理，得到所述目标区域的第一nDSM值和第一高度分类图，包括：
对于所述解码器中位于末端的第一上采样单元，通过该第一上采样单元，基于位于末端的所述特征提取单元输出的所述深层特征对所述聚焦特征进行上采样处理，得到该第一上采样单元输出的高度特征和Mask特征；其中，位于末端的第一上采样单元与所述编码器中位于末端的所述特征提取单元的尺度相同；
对于其他第一上采样单元，通过该第一上采样单元，基于与该第一上采样单元同一尺度的所述特征提取单元输出的所述深层特征，对该第一上采样单元对应的上一级第一上采样单元输出的高度特征和Mask特征分别进行上采样处理，得到该第一上采样单元输出的高度特征和Mask特征；
通过所述解码器中的所述第二上采样单元，对所述解码器中位于首端的第一上采样单元输出的高度特征和Mask特征分别进行上采样处理，得到所述目标区域的第一nDSM值和第一高度分类图；其中，位于首端的第一上采样单元与所述编码器中位于首端的所述特征提取单元的尺度相同。
5.根据权利要求4所述的基于单卫星图像的nDSM提取方法，其特征在于，所述nDSM提取网络的训练步骤，包括：
获取第一训练卫星图像，以及所述第一训练卫星图像对应的DEM数据、DSM数据和建筑掩膜数据；
利用所述建筑掩膜数据对所述DEM数据和所述DSM数据进行掩膜处理，并基于掩膜处理后的所述DEM数据和所述DSM数据，确定所述第一训练卫星图像对应的nDSM标签；以及利用层次聚类算法对所述nDSM标签进行聚类处理，得到所述第一训练卫星图像对应的Mask标签；
对所述第一训练卫星图像进行数据增强处理得到第二训练卫星图像；其中，所述数据增强处理包括随机缩放处理、随机裁剪处理、随机旋转处理和光照对比度变换处理中的一种或多种；
通过所述nDSM提取网络，提取所述第一训练卫星图像或所述第二训练卫星图像的预测nDSM值和预测Mask值；
基于所述nDSM标签、所述Mask标签、所述预测nDSM值和所述预测Mask值确定目标损失值，以利用所述目标损失值对所述nDSM提取网络进行迭代训练。
6.根据权利要求5所述的基于单卫星图像的nDSM提取方法，其特征在于，基于所述nDSM标签、所述Mask标签、所述预测nDSM值和所述预测Mask值确定目标损失值，以利用所述目标损失值对所述nDSM提取网络进行迭代训练，包括：
对所述nDSM标签将进行对数处理和极大值归一化处理，得到高度真值；以及将所述Mask标签作为Mask真值；
基于SmoothL1损失函数、所述高度真值和所述预测nDSM值，确定第一损失值；以及，基于交叉熵损失函数、所述Mask真值和所述预测Mask值确定第二损失值；
对所述第一损失值和所述第二损失值的加权和，确定为目标损失值，以利用所述目标损失值对所述nDSM提取网络进行迭代训练。
7.根据权利要求2所述的基于单卫星图像的nDSM提取方法，其特征在于，根据所述nDSM值和所述高度分类图，确定所述目标区域的高度估计结果，包括：
对于所述目标区域中每个子区域，如果基于所述第一高度分类图确定该子区域对应的第一掩膜值为0，则将该子区域对应的所述第一nDSM值置为0，以对所述第一nDSM值进行抑制，得到抑制后第一nDSM值；
以及，如果基于所述第二高度分类图确定该子区域对应的第二掩膜值为0，则将该子区域对应的所述第二nDSM值置为0，以对所述第二nDSM值进行抑制，得到抑制后第二nDSM值；
将所述抑制后第一nDSM值和所述抑制后第二nDSM值中的最大nDSM值，确定为所述目标区域的高度估计结果。
8.一种基于单卫星图像的nDSM提取装置，其特征在于，包括：
图像获取模块，用于获取目标区域的单卫星图像和所述单卫星图像对应的翻转卫星图像；
提取模块，用于通过预先训练得到的nDSM提取网络，基于所述单卫星图像和/或所述翻转卫星图像，确定所述目标区域的目标nDSM值和目标高度分类图；其中，所述目标高度分类图用于区分所述目标区域内的建筑区域和非建筑区域；
高度估计模块，用于根据所述目标nDSM值和所述目标高度分类图，确定所述目标区域的高度估计结果。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310973995.9A CN116704376B (zh) | 2023-08-04 | 2023-08-04 | 基于单卫星图像的nDSM提取方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310973995.9A CN116704376B (zh) | 2023-08-04 | 2023-08-04 | 基于单卫星图像的nDSM提取方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116704376A true CN116704376A (zh) | 2023-09-05 |
| CN116704376B CN116704376B (zh) | 2023-10-20 |
Family
ID=87829642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310973995.9A Active CN116704376B (zh) | 2023-08-04 | 2023-08-04 | 基于单卫星图像的nDSM提取方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116704376B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114821342A (zh) * | 2022-06-02 | 2022-07-29 | 中国科学院地理科学与资源研究所 | 一种遥感影像道路提取方法及系统 |
| WO2022170824A1 (zh) * | 2021-02-09 | 2022-08-18 | 北京迈格威科技有限公司 | 图像拼接的处理方法、装置、电子系统和设备、可读介质 |
| CN115953612A (zh) * | 2022-10-14 | 2023-04-11 | 航天宏图信息技术股份有限公司 | 一种基于ConvNeXt的遥感影像植被分类方法和装置 |
| CN116503744A (zh) * | 2023-06-28 | 2023-07-28 | 航天宏图信息技术股份有限公司 | 高度等级引导的单视角遥感影像建筑高度估计方法和装置 |
-
2023
- 2023-08-04 CN CN202310973995.9A patent/CN116704376B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022170824A1 (zh) * | 2021-02-09 | 2022-08-18 | 北京迈格威科技有限公司 | 图像拼接的处理方法、装置、电子系统和设备、可读介质 |
| CN114821342A (zh) * | 2022-06-02 | 2022-07-29 | 中国科学院地理科学与资源研究所 | 一种遥感影像道路提取方法及系统 |
| CN115953612A (zh) * | 2022-10-14 | 2023-04-11 | 航天宏图信息技术股份有限公司 | 一种基于ConvNeXt的遥感影像植被分类方法和装置 |
| CN116503744A (zh) * | 2023-06-28 | 2023-07-28 | 航天宏图信息技术股份有限公司 | 高度等级引导的单视角遥感影像建筑高度估计方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 付秀丽;黎玲萍;毛克彪;谭雪兰;李建军;孙旭;左志远;: "基于卷积神经网络模型的遥感图像分类", 高技术通讯, no. 03, pages 15 - 24 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116704376B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10614574B2 (en) | Generating image segmentation data using a multi-branch neural network | |
| CN112132156B (zh) | 多深度特征融合的图像显著性目标检测方法及系统 | |
| CN111369581B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN108229531B (zh) | 对象特征提取方法、装置、存储介质和电子设备 | |
| CN111814794B (zh) | 文本检测方法、装置、电子设备及存储介质 | |
| CN110781756A (zh) | 基于遥感图像的城市道路提取方法及装置 | |
| CN111968064B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN108229675B (zh) | 神经网络的训练方法、物体检测方法、装置和电子设备 | |
| CN109977832B (zh) | 一种图像处理方法、装置及存储介质 | |
| CN113807361B (zh) | 神经网络、目标检测方法、神经网络训练方法及相关产品 | |
| CN113221925B (zh) | 一种基于多尺度图像的目标检测方法及装置 | |
| CN113920538B (zh) | 目标检测方法、装置、设备、存储介质及计算机程序产品 | |
| CN115375999B (zh) | 应用于危化品车检测的目标检测模型、方法及装置 | |
| CN112597918A (zh) | 文本检测方法及装置、电子设备、存储介质 | |
| CN116563285B (zh) | 一种基于全神经网络的病灶特征识别与分割方法及系统 | |
| CN112967293A (zh) | 一种图像语义分割方法、装置及存储介质 | |
| CN116309612B (zh) | 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质 | |
| CN116798041A (zh) | 图像识别方法、装置和电子设备 | |
| CN116704376B (zh) | 基于单卫星图像的nDSM提取方法、装置及电子设备 | |
| CN111860465A (zh) | 基于超像素的遥感图像提取方法、装置、设备及存储介质 | |
| CN116704324A (zh) | 基于水下图像的目标检测方法、系统、设备以及存储介质 | |
| CN117693768A (zh) | 语义分割模型的优化方法和装置 | |
| CN115205855A (zh) | 融合多尺度语义信息的车辆目标识别方法、装置及设备 | |
| CN111160353A (zh) | 车牌识别方法、装置及设备 | |
| CN112465828B (zh) | 一种图像语义分割方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |