CN117274514A - 基于地空视角几何变换的遥感图像生成方法及装置 - Google Patents
基于地空视角几何变换的遥感图像生成方法及装置 Download PDFInfo
- Publication number
- CN117274514A CN117274514A CN202311084673.5A CN202311084673A CN117274514A CN 117274514 A CN117274514 A CN 117274514A CN 202311084673 A CN202311084673 A CN 202311084673A CN 117274514 A CN117274514 A CN 117274514A
- Authority
- CN
- China
- Prior art keywords
- ground
- image
- panoramic image
- remote sensing
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000009466 transformation Effects 0.000 title claims abstract description 41
- 230000000007 visual effect Effects 0.000 title claims abstract description 26
- 239000013598 vector Substances 0.000 claims abstract description 58
- 238000000605 extraction Methods 0.000 claims description 18
- 238000010276 construction Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 10
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008439 repair process Effects 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 125000004122 cyclic group Chemical group 0.000 description 4
- 238000003491 array Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 102100024002 Heterogeneous nuclear ribonucleoprotein U Human genes 0.000 description 1
- 101100507335 Homo sapiens HNRNPU gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Remote Sensing (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Graphics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种基于地空视角几何变换的遥感图像生成方法及装置，其中，方法包括：根据原始圆柱体投影获得第一地面全景图像，并进行立方体投影获得第二地面全景图像；对第一地面全景图像深度估计，获得第一深度图和初始地对空注意力掩膜；对第二地面全景图像特征提取，并得到特征向量，进而构建地对空注意力系数，将地对空注意力系数和初始地对空注意力掩膜加权处理，获得加权后的地对空注意力掩膜；将第一深度图、第一地面全景图像及地对空注意力掩膜进行几何转换，获得目标视角投影图像并修复，以生成最终的遥感图像。由此，解决了相关技术中的通过插值算法生成遥感图像，导致生成的遥感图像的质量较差，无法满足实际场景的应用需求的问题。
Description
技术领域
本申请涉及遥感图像生成技术领域，特别涉及一种基于地空视角几何变换的遥感图像生成方法及装置。
背景技术
相关技术中，可以通过插值算法对原始图像进行像素级别的插值，或者基于数据集进行语义匹配与提取，对地物关系进行精细重建，通过对地貌进行建模，生成遥感图像，从而可以将遥感技术应用在真实场景中。
然而，相关技术中的通过插值算法生成遥感图像，无法对多变的地貌进行准确的建模，造成遥感图像存在失真，导致生成的遥感图像的质量较差，无法满足实际场景的应用需求，亟待解决。
发明内容
本申请提供一种基于地空视角几何变换的遥感图像生成方法及装置，以解决相关技术中的通过插值算法生成遥感图像，无法对多变的地貌进行准确的建模，造成遥感图像存在失真，导致生成的遥感图像的质量较差，无法满足实际场景的应用需求的问题。
本申请第一方面实施例提供一种基于地空视角几何变换的遥感图像生成方法，包括以下步骤：采集原始圆柱体投影，并根据所述原始圆柱体投影获得第一地面全景图像；将所述第一地面全景图像进行立方体投影，根据所述立方体投影获得第二地面全景图像；对所述第一地面全景图像进行深度估计，得到所述第一地面全景图像的深度估计结果，基于所述深度估计结果获得所述第一地面全景图像的第一深度图和初始地对空注意力掩膜；对所述第二地面全景图像进行特征提取，得到目标方向的特征图，将所述特征图进行聚合，得到特征向量，利用所述特征向量构建经度和纬度的环路超图；根据所述环路超图构建地对空注意力系数，将所述地对空注意力系数和所述初始地对空注意力掩膜进行加权处理，获得所述地对空注意力系数加权后的地对空注意力掩膜；将所述第一深度图、所述第一地面全景图像以及所述地对空注意力掩膜进行几何转换，获得遥感视角下的目标视角投影图像；将所述目标视角投影图像输入至目标遥感图像生成模块中，以修复所述目标视角投影图像的纹理和细节，生成最终的遥感图像。
可选地，在本申请的一个实施例中，所述对所述第一地面全景图像进行深度估计，得到所述第一地面全景图像的深度估计结果，基于所述深度估计结果获得所述第一地面全景图像的第一深度图和初始地对空注意力掩膜，包括：利用目标图像生成网络，获得所述第一地面全景图像的第一深度图和初始地对空注意力掩膜预测，其中，所述目标图像生成网络输入的通道数量为3，输出的通道数量为2，其中，所述目标图像生成网络输出的第一个通道为所述第一深度图，输出的第二个通道为所述初始地对空注意力掩膜预测。
可选地，在本申请的一个实施例中，所述对所述第二地面全景图像进行特征提取，得到目标方向的特征图，将所述特征图进行聚合，得到特征向量，利用所述特征向量构建经度和纬度的环路超图，包括：将所述目标方向的全景图像输入至特征提取网络，使用ResNet(Residual Network，残差网络)结构获得所述目标方向上的特征图；将所述特征图输入特征聚合网络进行聚合，获得至少一个特征向量；将所述至少一个特征向量作为节点，构建所述经度和所述纬度的所述环路超图。
可选地，在本申请的一个实施例中，所述根据所述环路超图构建地对空注意力系数，基于所述地对空注意力系数和所述初始地对空注意力掩膜进行加权处理，获得所述地对空注意力系数加权后的地对空注意力掩膜，包括：将所述环路超图对超图节点特征进行预设卷积，获得所述环路超图的目标节点的新的特征，将所述新的特征组合成两组特征矩阵；将所述两组特征矩阵中的目标特征进行拼接，获得两个新的特征向量，将所述两个新的特征向量组合成二元数组，并将所述二元数组进行矩阵相乘，获得地对空注意力系数；将预测获得的所述初始地对空注意力掩模和所述地对空注意力系数进行加权处理，获得所述地对空注意力系数加权后的地对空注意力掩膜。
可选地，在本申请的一个实施例中，所述将所述第一深度图、所述第一地面全景图像以及所述地对空注意力掩膜进行几何转换，获得遥感视角下的目标视角投影图像，包括：将所述第一深度图和所述地对空注意力掩膜进行加权处理，获得加权后的第二深度图；利用所述第二深度图，将所述第一地面全景图像的齐次全景图像坐标转换为相机坐标系下的三维坐标，获得转换后的非齐次全景图像坐标；基于所述非齐次全景图像坐标，将第一地面全景图像的RGB像素值转换为遥感视角下的齐次遥感图像坐标；基于所述齐次遥感图像坐标，对所述第一地面全景图像中的每个像素点进行转换，获得所述最终的遥感图像的每个像素点的RGB值，基于所述RGB值获得所述遥感视角下的所述目标视角投影图像。
本申请第二方面实施例提供一种基于地空视角几何变换的遥感图像生成装置，包括：第一获取模块，用于采集原始圆柱体投影，并根据所述原始圆柱体投影获得第一地面全景图像；第二获取模块，用于将所述第一地面全景图像进行立方体投影，根据所述立方体投影获得第二地面全景图像；第三获取模块，用于对所述第一地面全景图像进行深度估计，得到所述第一地面全景图像的深度估计结果，基于所述深度估计结果获得所述第一地面全景图像的第一深度图和初始地对空注意力掩膜；第一确定模块，用于对所述第二地面全景图像进行特征提取，得到目标方向的特征图，将所述特征图进行聚合，得到特征向量，利用所述特征向量构建经度和纬度的环路超图；构建模块，用于根据所述环路超图构建地对空注意力系数，将所述地对空注意力系数和所述初始地对空注意力掩膜进行加权处理，获得所述地对空注意力系数加权后的地对空注意力掩膜；第二确定模块，用于将所述第一深度图、所述第一地面全景图像以及所述地对空注意力掩膜进行几何转换，获得遥感视角下的目标视角投影图像；生成模块，用于将所述目标视角投影图像输入至目标遥感图像生成模块中，以修复所述目标视角投影图像的纹理和细节，生成最终的遥感图像。
可选地，在本申请的一个实施例中，所述第三获取模块，包括：第一获取单元，用于利用目标图像生成网络，获得所述第一地面全景图像的第一深度图和初始地对空注意力掩膜预测，其中，所述目标图像生成网络输入的通道数量为3，输出的通道数量为2，其中，所述目标图像生成网络输出的第一个通道为所述第一深度图，输出的第二个通道为所述初始地对空注意力掩膜预测。
可选地，在本申请的一个实施例中，所述第一确定模块，包括：第一确定单元，用于将所述目标方向的全景图像输入至特征提取网络，使用ResNet结构获得所述目标方向上的特征图；第二确定单元，用于将所述特征图输入特征聚合网络进行聚合，获得至少一个特征向量；构建单元，用于将所述至少一个特征向量作为节点，构建所述经度和所述纬度的所述环路超图。
可选地，在本申请的一个实施例中，所述构建模块，包括：第二获取单元，用于将所述环路超图对超图节点特征进行预设卷积，获得所述环路超图的目标节点的新的特征，将所述新的特征组合成两组特征矩阵；第三获取单元，用于将所述两组特征矩阵中的目标特征进行拼接，获得两个新的特征向量，将所述两个新的特征向量组合成二元数组，并将所述二元数组进行矩阵相乘，获得地对空注意力系数；处理单元，用于将预测获得的所述初始地对空注意力掩模和所述地对空注意力系数进行加权处理，获得所述地对空注意力系数加权后的地对空注意力掩膜。
可选地，在本申请的一个实施例中，所述第二确定模块，包括：第三确定单元，用于将所述第一深度图和所述地对空注意力掩膜进行加权处理，获得加权后的第二深度图；第四确定单元，用于利用所述第二深度图，将所述第一地面全景图像的齐次全景图像坐标转换为相机坐标系下的三维坐标，获得转换后的非齐次全景图像坐标；转换单元，用于基于所述非齐次全景图像坐标，将第一地面全景图像的RGB像素值转换为遥感视角下的齐次遥感图像坐标；第五确定单元，用于基于所述齐次遥感图像坐标，对所述第一地面全景图像中的每个像素点进行转换，获得所述最终的遥感图像的每个像素点的RGB值，基于所述RGB值获得所述遥感视角下的所述目标视角投影图像。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于地空视角几何变换的遥感图像生成方法。
本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于地空视角几何变换的遥感图像生成方法。
本申请实施例可以根据原始圆柱体投影获得第一地面全景图像，将第一地面全景图像进行立方体投影获得第二地面全景图像，对第一地面全景图像进行深度估计，并获得第一深度图和初始地对空注意力掩膜，进而对第二地面全景图像进行特征提取，得到目标方向的特征图并聚合，得到特征向量，从而构建经度和纬度的环路超图，进而构建地对空注意力系数，将地对空注意力系数和初始地对空注意力掩膜进行加权处理，获得地对空注意力系数加权后的地对空注意力掩膜，将第一深度图、第一地面全景图像以及地对空注意力掩膜进行几何转换，获得遥感视角下的目标视角投影图像，并修复目标视角投影图像的纹理和细节，生成最终的遥感图像，进而有效的提升遥感图像的质量，满足实际场景的应用需求。由此，解决了相关技术中的通过插值算法生成遥感图像，无法对多变的地貌进行准确的建模，造成遥感图像存在失真，导致生成的遥感图像的质量较差，无法满足实际场景的应用需求的问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种基于地空视角几何变换的遥感图像生成方法的流程图；
图2为本申请一个具体实施例的环路超图中超边的构造过程示意图；
图3为本申请一个具体实施例的基于地空视角几何变换的遥感图像生成算法框架示意图；
图4为本申请一个具体实施例的地对空投影方式示意图；
图5为根据本申请实施例的基于地空视角几何变换的遥感图像生成装置的结构示意图；
图6为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于地空视角几何变换的遥感图像生成方法及装置。针对上述背景技术中心提到的相关技术中的通过插值算法生成遥感图像，无法对多变的地貌进行准确的建模，造成遥感图像存在失真，导致生成的遥感图像的质量较差，无法满足实际场景的应用需求的问题，本申请提供了一种基于地空视角几何变换的遥感图像生成方法，在该方法中，可以根据原始圆柱体投影获得第一地面全景图像，将第一地面全景图像进行立方体投影获得第二地面全景图像，对第一地面全景图像进行深度估计，并获得第一深度图和初始地对空注意力掩膜，进而对第二地面全景图像进行特征提取，得到目标方向的特征图并聚合，得到特征向量，从而构建经度和纬度的环路超图，进而构建地对空注意力系数，将地对空注意力系数和初始地对空注意力掩膜进行加权处理，获得地对空注意力系数加权后的地对空注意力掩膜，将第一深度图、第一地面全景图像以及地对空注意力掩膜进行几何转换，获得遥感视角下的目标视角投影图像，并修复目标视角投影图像的纹理和细节，生成最终的遥感图像，进而有效的提升遥感图像的质量，满足实际场景的应用需求。由此，解决了相关技术中的通过插值算法生成遥感图像，无法对多变的地貌进行准确的建模，造成遥感图像存在失真，导致生成的遥感图像的质量较差，无法满足实际场景的应用需求的问题。
具体而言，图1为本申请实施例所提供的一种基于地空视角几何变换的遥感图像生成方法的流程示意图。
如图1所示，该基于地空视角几何变换的遥感图像生成方法包括以下步骤：
在步骤S101中，采集原始圆柱体投影，并根据原始圆柱体投影获得第一地面全景图像。
可以理解的是，本申请实施例可以采集原始圆柱体投影，例如，可以利用地面全景相机，在选定的地面地点采集相机的原始圆柱体投影，并根据原始圆柱体投影获得第一地面全景图像Pe，从而有效的提升了遥感图像生成的可执行性。
在步骤S102中，将第一地面全景图像进行立方体投影，根据立方体投影获得第二地面全景图像。
可以理解的是，本申请实施例可以将第一地面全景图像进行立方体投影，根据立方体投影获得第二地面全景图像，例如，如图2所示，第二地面全景图像Pc可以包含六个方向，其中，六个方向分别为Pc1,Pc2,Pc3,Pc4,Pc5,Pc6，分别代表左方、前方、右方、后方、上方、下方六个方向，从而有效的提升了对地物关系进行建模的准确性。
在步骤S103中，对第一地面全景图像进行深度估计，得到第一地面全景图像的深度估计结果，基于深度估计结果获得第一地面全景图像的第一深度图和初始地对空注意力掩膜。
可以理解的是，本申请实施例可以对下述步骤中的第一地面全景图像进行深度估计，得到第一地面全景图像的深度估计结果，基于深度估计结果获得第一地面全景图像的第一深度图和初始地对空注意力掩膜，有效的提升了遥感图像的质量。
其中，在本申请的一个实施例中，对第一地面全景图像进行深度估计，得到第一地面全景图像的深度估计结果，基于深度估计结果获得第一地面全景图像的第一深度图和初始地对空注意力掩膜，包括：利用目标图像生成网络，获得第一地面全景图像的第一深度图和初始地对空注意力掩膜预测，其中，目标图像生成网络输入的通道数量为3，输出的通道数量为2，其中，目标图像生成网络输出的第一个通道为第一深度图，输出的第二个通道为初始地对空注意力掩膜预测。
在实际执行过程中，本申请实施例可以利用图像生成网络，对第一地面全景图像Pe进行第一深度图和初始地对空注意力掩膜预测，其中，目标图像生成网络输入的通道数量为3，尺寸为3×H×W，其中，H为第一全景图像的纵轴像素数量，W为第一全景图像的横轴像素数量，输出的通道数量为2，尺寸为2×H×W，其中，目标图像生成网络输出的第一个通道为第一深度图De，尺寸为1×H×W，输出的第二个通道为初始地对空注意力掩膜预测Me，尺寸为1×H×W，从而有效的提升了生成的遥感图像的质量。
在步骤S104中，对第二地面全景图像进行特征提取，得到目标方向的特征图，将特征图进行聚合，得到特征向量，利用特征向量构建经度和纬度的环路超图。
可以理解的是，本申请实施例可以对下述步骤中的第二地面全景图像进行特征提取，得到目标方向的特征图，将特征图进行聚合，得到特征向量，利用特征向量构建经度和纬度的环路超图，从而有效的降低了遥感图像的失真率，提升了遥感图像的质量。
其中，在本申请的一个实施例中，对第二地面全景图像进行特征提取，得到目标方向的特征图，将特征图进行聚合，得到特征向量，利用特征向量构建经度和纬度的环路超图，包括：将目标方向的全景图像输入至特征提取网络，使用ResNet结构获得目标方向上的特征图；将特征图输入特征聚合网络进行聚合，获得至少一个特征向量；将至少一个特征向量作为节点，构建经度和纬度的环路超图。
作为一种可能实现的方式，本申请实施例可以对第二地面全景图像进行特征提取，可以将第二地面全景图像中六个方向上的全景图像分别输入特征提取网络，首先使用ResNet结构，获得六个方向上的特征图，对经过特征提取的六个方向上的图像输入特征聚合网络，将特征图进行聚合，并获得特征向量，其中，六个特征向量分别为V1,V2,V3,V4,V5,V6，每个特征向量的尺寸均为1×C，即每个特征向量纵轴上的元素个数为1，横轴上元素个数为C。
另外，本申请实施例可以将第二地面全景图像的六个方向上的特征向量作为节点，构建经度和纬度两个环路超图，其中，每个环路超图的节点数量4，纬度环路超图Hlat的节点为V2,V4,V5,V6，分别对应第二地面全景图像的六个方向的前方、右方、上方、下方的图像特征向量，经度环路超图Hlon的节点为V1,V2,V3,V4，分别对应第二地面全景图像的六个方向的左方、前方、右方、后方的图像特征向量，通过K-Hop最近邻方法构建两个环路超图的超边，具体构造方式为：
εD＝{Nhopk(Vi)|Vi∈V}，
其中，Vi表示一个面图像的特征向量，V表示超图中的全部节点，Nhopk为k最近邻计算，即表示与(Vi)欧氏距离最近的k个其他节点所组成的集合。
在步骤S105中，根据环路超图构建地对空注意力系数，将地对空注意力系数和初始地对空注意力掩膜进行加权处理，获得地对空注意力系数加权后的地对空注意力掩膜。
可以理解的是，本申请实施例可以根据下述步骤中环路超图构建地对空注意力系数，将地对空注意力系数和初始地对空注意力掩膜进行加权处理，获得地对空注意力系数加权后的地对空注意力掩膜，从而有效的提升了遥感图像的质量。
其中，在本申请的一个实施例中，根据环路超图构建地对空注意力系数，基于地对空注意力系数和初始地对空注意力掩膜进行加权处理，获得地对空注意力系数加权后的地对空注意力掩膜，包括：将环路超图对超图节点特征进行预设卷积，获得环路超图的目标节点的新的特征，将新的特征组合成两组特征矩阵；将两组特征矩阵中的目标特征进行拼接，获得两个新的特征向量，将两个新的特征向量组合成二元数组，并将二元数组进行矩阵相乘，获得地对空注意力系数；将预测获得的初始地对空注意力掩模和地对空注意力系数进行加权处理，获得地对空注意力系数加权后的地对空注意力掩膜。
举例而言，本申请实施例可以将上述步骤中构建的两个环路超图在全部超边指导下，对超图节点特征进行HCNNConv+卷积，获得每个环路超图的全部4个节点的新特征，组合成两组特征矩阵。
接着，可以经过超图卷积后获得的两组特征矩阵分别为4×Clat和4×Clon，其中，Clat为纬度特征尺寸，Clon为经度特征尺寸，将两组特征矩阵的特征进行拼接，获得尺寸为1×4Clat和1×4Clon的两个特征向量，其中，Clat＝W/4，Clon＝H/4，将两个特征向量组合成二元数组，并进行矩阵相乘，获得尺寸为1×4Clon×4Clat的地对空注意力系数A，将上述步骤中预测获得的初始地对空注意力掩模Me和地对空注意力系数A进行相乘，获得地对空注意力系数加权后的地对空注意力掩膜Ma，从而有效的提升了遥感图像的精准性。
在步骤S106中，将第一深度图、第一地面全景图像以及地对空注意力掩膜进行几何转换，获得遥感视角下的目标视角投影图像。
可以理解的是，本申请实施例可以将下述步骤中的第一深度图、第一地面全景图像以及地对空注意力掩膜进行几何转换，获得遥感视角下的目标视角投影图像，通过对原始遥感图像进行几何变换，有效的提升遥感图像的质量，满足实际场景的应用需求。
其中，在本申请的一个实施例中，将第一深度图、第一地面全景图像以及地对空注意力掩膜进行几何转换，获得遥感视角下的目标视角投影图像，包括：将第一深度图和地对空注意力掩膜进行加权处理，获得加权后的第二深度图；利用第二深度图，将第一地面全景图像的齐次全景图像坐标转换为相机坐标系下的三维坐标，获得转换后的非齐次全景图像坐标；基于非齐次全景图像坐标，将第一地面全景图像的RGB像素值转换为遥感视角下的齐次遥感图像坐标；基于齐次遥感图像坐标，对第一地面全景图像中的每个像素点进行转换，获得最终的遥感图像的每个像素点的RGB值，基于RGB值获得遥感视角下的目标视角投影图像。
在实际执行过程中，本申请实施例可以将上述步骤中获得的第一深度图De和地对空注意力掩膜Ma进行加乘，获得加权后的第二深度图Da＝De×Ma，利用第二深度图Da将第一地面全景图像的齐次坐标(up,vp,1)转换为地面全景相机坐标系下的三维坐标其中，转换方式为：
其中，Kp为地面全景相机的内参，rp为经过地对空注意力掩膜的深度值。
接着，可以获得转换后的非齐次全景图像坐标，基于非齐次全景图像坐标，将第一地面全景图像的RGB像素值转换为遥感视角下的齐次遥感图像坐标，具体转换关系为，
其中，F为直角坐标系和球形坐标系下的三维点转换函数，Ks为遥感相机的相机内参，H为摇杆相机的轨道高度。
从而，可以基于齐次遥感图像坐标，对第一地面全景图像中的每个像素点进行转换，获得最终尺寸为Hs×Ws的遥感图像的每个像素点的RGB值，基于RGB值获得遥感视角下的目标视角投影图像。
在步骤S107中，将目标视角投影图像输入至目标遥感图像生成模块中，以修复目标视角投影图像的纹理和细节，生成最终的遥感图像。
可以理解的是，本申请实施例可以基于U-Net结构的图像生成，将目标视角投影图像输入至目标遥感图像生成模块中，以修复目标视角投影图像的纹理和细节，生成最终的遥感图像，其中，图像生成网络的输入通道数量为3，输出通道数量也为3，通过对原始遥感图像进行几何变换，从而生成具有更高质量和更丰富细节的遥感图像。
举例而言，如图3所示，本申请实施例可以由地对空投影、空中嵌入注意力和卫星图像生成三个主要模块组成，可以接受不同类型的地面全景图像作为输入，包括，立方体投影Pc、即第二地面全景图像，等距投影Pe、即第二地面全景图像及其相应的边缘图，输入可以通过三个模块生成给定位置的合成卫星图像，地面到空中投影模块采用编码器-解码器结构，从第二地面全景图像Pe及其边缘图预测出第一深度图De，利用来自地面视角的RGB和深度全景图像中的几何和距离信息，地面到空中投影模块通过基于几何的投影方法，从卫星视角重建输入位置的几何分布，卫星图像生成模块利用生成器和判别器网络合成缺失的纹理，基于重建的几何分布生成质量较高的遥感图像。
另外，由于两个视角之间存在可见性和遮挡关系的差异，地面全景相机捕获的每个像素在卫星相机中具有不同的可见性，因此可以引入空中嵌入注意力模块，首先使用编码器-解码器结构基于第二地面全景图像Pe及其边缘图预测一个简单的遮罩，即初始地对空注意力掩膜预测Me，然后，第二地面全景图像的每个方向的图像中提取特征，构建纬度和经度的两个循环超图，并通过超图学习在这两个方向上获取循环注意力，即地对空注意力系数，通过结合简单遮罩和循环注意力，可以得到一个注意力遮罩，即地对空注意力掩膜，在地面到空中投影过程中引导跨视角的几何变换。
综上，本申请实施例采用判别器建立条件生成对抗网络结构，利用从立方体图像特征构建的循环超图，引入空中注意力，有效地建模了两个视角之间的可见性和遮挡关系，并且专注于地面到空中视图合成，可以从地面全景图像生成跨视角和跨尺度的卫星图像。
例如，如图4所示，为捕捉相同目标时，地面全景图和卫星图像之间的几何对应关系，图4左侧，为地面图像和卫星图像的对齐情况，图4右侧为图像平面上的像素分布图，假设世界坐标系的X轴与卫星图像坐标的v轴平行，Y轴与卫星图像坐标的U轴平行，z轴垂直于地面平面，可以将目标物体在世界坐标系中的坐标表示为：
PW＝(xw,yw,zw)
另外，假设地面全景相机的外参数为RP和TP，在地面全景相机坐标系中，物体的坐标表示为(xg,yg,zg)，则(xg,yg,zg)＝RP(xw,yw,zw)+TP，假设地面全景相机位于世界坐标系的原点，设定RP＝I(单位矩阵)和TP＝0，因此，(xg,yg,zg)＝(xw,yw,zw)，第一地面全景图像使用球坐标系进行捕捉，第一地面全景图像中点的坐标表示为相应的关系可以表示为：
接着，可以将地面全景相机的内参数表示为Kg，将第一地面全景图像中点的坐标与其球坐标之间的关系表示为假设遥感相机的外参数为Rs和Ts，遥感相机的内参数表示为Ks，在遥感相机的坐标系中，目标点的坐标为(xs,ys,zs)，因此，(xs,ys,zs)＝Rs(xw,yw,zw)+Ts，此外，目标点在遥感相机中的图像坐标由/> 得到。
另外，从地面全景图像恢复卫星图像的几何恢复过程中，可以确定地面全景图像中任意像素(ug,vg)在地面全景相机坐标系中的坐标为接着，基于地面全景相机的外参数可以得到目标物体在世界坐标系中的球面空间坐标为对于卫星图像平面中的任意像素(us,vs)，在卫星相机坐标系中的坐标可以表示为/>因此，通过结合遥感相机的外参数，可以得到目标物体在世界坐标系中的笛卡尔坐标为/>假设地面全景相机的外参数定义为Rp＝diag(1,1,1)和Tp＝[0,0,0]，而遥感相机的外参数由Rs＝diag(1,1,-1)和Ts＝[0,0,H]得到，其中，H表示地面全景相机和遥感相机之间的高度差，由于(xw,yw,zw)和(θw,φw,rw)对应于相同目标的直角坐标系和球面坐标系的坐标，可以通过引入地面全景相机的外参数表示，即：
其中，F为直角坐标系和球形坐标系下的三维点转换函数，Ks为遥感相机的相机内参，H为摇杆相机的轨道高度，(us,vs)和(up,vp)分别为卫星图像和地面全景图像的像素，F为方程中从笛卡尔坐标系到球面坐标系的转换函数，F-1为方程中从笛卡尔坐标系到球面坐标系的逆转换函数。
在地对空中投影模块模块中，使用U-Net模型从等距投影中预测深度图，将预测的深度图作为地面全景相机的内参数估计，使得从第一全景图像中的给定像素点(up,vp)推断出目标的球面坐标(θp,φp,rp)，因此，可以在天空背景下重建了地面的几何分布，重建的几何结果输入到卫星图像生成模块中，卫星图像生成模块估计卫星相机的内参数，从而可以合成逼真的卫星图像并恢复缺失的纹理，以解决由于分辨率差异而产生的伪影问题。
在部分实施例中，由于本申请实施例基于深度的投影技术开发的初步的地面到空中投影转换方法，并没有准确捕捉到卫星图像形成的复杂性，具体而言，首先，由于空中到地面的拍摄视角引入了高度遮挡关系，卫星图像仅捕捉了具有相同地面位置(xs,ys)的像素中的最高点(具有最大zs值的目标点)，使得仅通过地面视角的深度图准确表示特定点的垂直分布变得困难，其次，直接将距离rp转换为zs并从接近可见性边界的z缓冲区中选择会导致网络的不可微分性，在估计的距离/高度中的细微变化可能导致输出投影的突变，使得梯度信号稀疏化，并导致不可见点的梯度为零，对于本应可见但由于高度估计的轻微不准确而不可见的点是次优的，相反，由于天空和地平线等极远地区的不连续深度与其他区域显著不同，准确预测深度值是困难的，另外，与空中到地面投影转换不同，在地面视角中，并非所有像素都可见到天空区域，因此，在地面到空中投影转换过程中包含冗余的天空数据是不必要的。
由此可知，上述步骤中的因素导致地面图像中的每个像素对卫星图像的贡献程度不同，由于贡献受到空间位置的影响，因此，可以建立一个与空间位置相关的注意力掩码，注意力掩码在地面到空中投影中以逐像素的方式引导深度数据的利用，第二地面全景图像由在以焦点为中心的球形空间内，从不同方向拍摄的图像组成，由于第二地面全景图像中丰富的方向信息，可以通过提取多样化的输入特征分析和构建空间分布关系，由于超图结构在建模多点关系和捕捉高阶关系方面的有效性，可以使用第二地面全景图像特征构建超图，其中，节点表示图像特征。
举例而言，本申请实施例可以使用ResNet和SAFA提取特征，并对由立方体映射获得的六个方向图像进行聚合，从立方体映射中提取的每个特征向量表示特定方向的信息，相同位置(方向)对应的特征向量具有一定的相似性，因此，通过考虑特征的相似性，可以建立方向之间的关联，如图2所示，为根据经度(纵向)和纬度(横向)将全景图划分为两个循环的示意图，经度循环包括四个方向：上、前、下和后，而纬度循环包括四个方向：左、前、右和后，根据这些循环构建了两个超图，其中，每个超图的节点表示来自相应四个方向的特征向量，对于每个超图，通过K-Hop最近邻方法构建，具体构造方式为：
εD＝{Nhopk(Vi)|Vi∈V}，
其中，Vi为一个面图像的特征向量，V为超图中的全部节点。
从而，本申请实施例可以有效的提升遥感图像的质量，满足实际场景的应用需求。
根据本申请实施例提出的基于地空视角几何变换的遥感图像生成方法，可以根据原始圆柱体投影获得第一地面全景图像，将第一地面全景图像进行立方体投影获得第二地面全景图像，对第一地面全景图像进行深度估计，并获得第一深度图和初始地对空注意力掩膜，进而对第二地面全景图像进行特征提取，得到目标方向的特征图并聚合，得到特征向量，从而构建经度和纬度的环路超图，进而构建地对空注意力系数，将地对空注意力系数和初始地对空注意力掩膜进行加权处理，获得地对空注意力系数加权后的地对空注意力掩膜，将第一深度图、第一地面全景图像以及地对空注意力掩膜进行几何转换，获得遥感视角下的目标视角投影图像，并修复目标视角投影图像的纹理和细节，生成最终的遥感图像，进而有效的提升遥感图像的质量，满足实际场景的应用需求。由此，解决了相关技术中的通过插值算法生成遥感图像，无法对多变的地貌进行准确的建模，造成遥感图像存在失真，导致生成的遥感图像的质量较差，无法满足实际场景的应用需求的问题。
其次参照附图描述根据本申请实施例提出的基于地空视角几何变换的遥感图像生成装置。
图5是本申请实施例的基于地空视角几何变换的遥感图像生成装置的方框示意图。
如图5所示，该基于地空视角几何变换的遥感图像生成装置10包括：第一获取模块100、第二获取模块200、第三获取模块300、第一确定模块400、构建模块500、第二确定模块600和生成模块700。
具体地，第一获取模块100，用于采集原始圆柱体投影，并根据原始圆柱体投影获得第一地面全景图像。
第二获取模块200，用于将第一地面全景图像进行立方体投影，根据立方体投影获得第二地面全景图像。
第三获取模块300，用于对第一地面全景图像进行深度估计，得到第一地面全景图像的深度估计结果，基于深度估计结果获得第一地面全景图像的第一深度图和初始地对空注意力掩膜。
第一确定模块400，用于对第二地面全景图像进行特征提取，得到目标方向的特征图，将特征图进行聚合，得到特征向量，利用特征向量构建经度和纬度的环路超图。
构建模块500，用于根据环路超图构建地对空注意力系数，将地对空注意力系数和初始地对空注意力掩膜进行加权处理，获得地对空注意力系数加权后的地对空注意力掩膜。
第二确定模块600，用于将第一深度图、第一地面全景图像以及地对空注意力掩膜进行几何转换，获得遥感视角下的目标视角投影图像。
生成模块700，用于将目标视角投影图像输入至目标遥感图像生成模块中，以修复目标视角投影图像的纹理和细节，生成最终的遥感图像。
可选地，在本申请的一个实施例中，第三获取模块300，包括：第一获取单元。
其中，第一获取单元，用于利用目标图像生成网络，获得第一地面全景图像的第一深度图和初始地对空注意力掩膜预测，其中，目标图像生成网络输入的通道数量为3，输出的通道数量为2，其中，目标图像生成网络输出的第一个通道为第一深度图，输出的第二个通道为初始地对空注意力掩膜预测。
可选地，在本申请的一个实施例中，第一确定模块400，包括：第一确定单元、第二确定单元和构建单元。
其中，第一确定单元，用于将目标方向的全景图像输入至特征提取网络，使用ResNet结构获得目标方向上的特征图。
第二确定单元，用于将特征图输入特征聚合网络进行聚合，获得至少一个特征向量。
构建单元，用于将至少一个特征向量作为节点，构建经度和纬度的环路超图。
可选地，在本申请的一个实施例中，构建模块500，包括：第二获取单元、第三获取单元和处理单元。
其中，第二获取单元，用于将环路超图对超图节点特征进行预设卷积，获得环路超图的目标节点的新的特征，将新的特征组合成两组特征矩阵。
第三获取单元，用于将两组特征矩阵中的目标特征进行拼接，获得两个新的特征向量，将两个新的特征向量组合成二元数组，并将二元数组进行矩阵相乘，获得地对空注意力系数。
处理单元，用于将预测获得的初始地对空注意力掩模和地对空注意力系数进行加权处理，获得地对空注意力系数加权后的地对空注意力掩膜。
可选地，在本申请的一个实施例中，第二确定模块600，包括：第三确定单元、第四确定单元、转换单元和第五确定单元。
其中，第三确定单元，用于将第一深度图和地对空注意力掩膜进行加权处理，获得加权后的第二深度图。
第四确定单元，用于利用第二深度图，将第一地面全景图像的齐次全景图像坐标转换为相机坐标系下的三维坐标，获得转换后的非齐次全景图像坐标。
转换单元，用于基于非齐次全景图像坐标，将第一地面全景图像的RGB像素值转换为遥感视角下的齐次遥感图像坐标。
第五确定单元，用于基于齐次遥感图像坐标，对第一地面全景图像中的每个像素点进行转换，获得最终的遥感图像的每个像素点的RGB值，基于RGB值获得遥感视角下的目标视角投影图像。
需要说明的是，前述对基于地空视角几何变换的遥感图像生成方法实施例的解释说明也适用于该实施例的基于地空视角几何变换的遥感图像生成装置，此处不再赘述。
根据本申请实施例提出的基于地空视角几何变换的遥感图像生成装置，可以根据原始圆柱体投影获得第一地面全景图像，将第一地面全景图像进行立方体投影获得第二地面全景图像，对第一地面全景图像进行深度估计，并获得第一深度图和初始地对空注意力掩膜，进而对第二地面全景图像进行特征提取，得到目标方向的特征图并聚合，得到特征向量，从而构建经度和纬度的环路超图，进而构建地对空注意力系数，将地对空注意力系数和初始地对空注意力掩膜进行加权处理，获得地对空注意力系数加权后的地对空注意力掩膜，将第一深度图、第一地面全景图像以及地对空注意力掩膜进行几何转换，获得遥感视角下的目标视角投影图像，并修复目标视角投影图像的纹理和细节，生成最终的遥感图像，进而有效的提升遥感图像的质量，满足实际场景的应用需求。由此，解决了相关技术中的通过插值算法生成遥感图像，无法对多变的地貌进行准确的建模，造成遥感图像存在失真，导致生成的遥感图像的质量较差，无法满足实际场景的应用需求的问题。
图6为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序。
处理器602执行程序时实现上述实施例中提供的基于地空视角几何变换的遥感图像生成方法。
进一步地，电子设备还包括：
通信接口603，用于存储器601和处理器602之间的通信。
存储器601，用于存放可在处理器602上运行的计算机程序。
存储器601可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器601、处理器602和通信接口603独立实现，则通信接口603、存储器601和处理器602可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，在具体实现上，如果存储器601、处理器602及通信接口603，集成在一块芯片上实现，则存储器601、处理器602及通信接口603可以通过内部接口完成相互间的通信。
处理器602可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的基于地空视角几何变换的遥感图像生成方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于地空视角几何变换的遥感图像生成方法，其特征在于，包括以下步骤：
采集原始圆柱体投影，并根据所述原始圆柱体投影获得第一地面全景图像；
将所述第一地面全景图像进行立方体投影，根据所述立方体投影获得第二地面全景图像；
对所述第一地面全景图像进行深度估计，得到所述第一地面全景图像的深度估计结果，基于所述深度估计结果获得所述第一地面全景图像的第一深度图和初始地对空注意力掩膜；
对所述第二地面全景图像进行特征提取，得到目标方向的特征图，将所述特征图进行聚合，得到特征向量，利用所述特征向量构建经度和纬度的环路超图；
根据所述环路超图构建地对空注意力系数，将所述地对空注意力系数和所述初始地对空注意力掩膜进行加权处理，获得所述地对空注意力系数加权后的地对空注意力掩膜；
将所述第一深度图、所述第一地面全景图像以及所述地对空注意力掩膜进行几何转换，获得遥感视角下的目标视角投影图像；以及
将所述目标视角投影图像输入至目标遥感图像生成模块中，以修复所述目标视角投影图像的纹理和细节，生成最终的遥感图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一地面全景图像进行深度估计，得到所述第一地面全景图像的深度估计结果，基于所述深度估计结果获得所述第一地面全景图像的第一深度图和初始地对空注意力掩膜，包括：
利用目标图像生成网络，获得所述第一地面全景图像的第一深度图和初始地对空注意力掩膜预测，其中，所述目标图像生成网络输入的通道数量为3，输出的通道数量为2，其中，所述目标图像生成网络输出的第一个通道为所述第一深度图，输出的第二个通道为所述初始地对空注意力掩膜预测。
3.根据权利要求1所述的方法，其特征在于，所述对所述第二地面全景图像进行特征提取，得到目标方向的特征图，将所述特征图进行聚合，得到特征向量，利用所述特征向量构建经度和纬度的环路超图，包括：
将所述目标方向的全景图像输入至特征提取网络，使用残差网络ResNet结构获得所述目标方向上的特征图；
将所述特征图输入特征聚合网络进行聚合，获得至少一个特征向量；
将所述至少一个特征向量作为节点，构建所述经度和所述纬度的所述环路超图。
4.根据权利要求1所述的方法，其特征在于，所述根据所述环路超图构建地对空注意力系数，基于所述地对空注意力系数和所述初始地对空注意力掩膜进行加权处理，获得所述地对空注意力系数加权后的地对空注意力掩膜，包括：
将所述环路超图对超图节点特征进行预设卷积，获得所述环路超图的目标节点的新的特征，将所述新的特征组合成两组特征矩阵；
将所述两组特征矩阵中的目标特征进行拼接，获得两个新的特征向量，将所述两个新的特征向量组合成二元数组，并将所述二元数组进行矩阵相乘，获得地对空注意力系数；
将预测获得的所述初始地对空注意力掩模和所述地对空注意力系数进行加权处理，获得所述地对空注意力系数加权后的地对空注意力掩膜。
5.根据权利要求1所述的方法，其特征在于，所述将所述第一深度图、所述第一地面全景图像以及所述地对空注意力掩膜进行几何转换，获得遥感视角下的目标视角投影图像，包括：
将所述第一深度图和所述地对空注意力掩膜进行加权处理，获得加权后的第二深度图；
利用所述第二深度图，将所述第一地面全景图像的齐次全景图像坐标转换为相机坐标系下的三维坐标，获得转换后的非齐次全景图像坐标；
基于所述非齐次全景图像坐标，将第一地面全景图像的RGB像素值转换为遥感视角下的齐次遥感图像坐标；
基于所述齐次遥感图像坐标，对所述第一地面全景图像中的每个像素点进行转换，获得所述最终的遥感图像的每个像素点的RGB值，基于所述RGB值获得所述遥感视角下的所述目标视角投影图像。
6.一种基于地空视角几何变换的遥感图像生成装置，其特征在于，包括：
第一获取模块，用于采集原始圆柱体投影，并根据所述原始圆柱体投影获得第一地面全景图像；
第二获取模块，用于将所述第一地面全景图像进行立方体投影，根据所述立方体投影获得第二地面全景图像；
第三获取模块，用于对所述第一地面全景图像进行深度估计，得到所述第一地面全景图像的深度估计结果，基于所述深度估计结果获得所述第一地面全景图像的第一深度图和初始地对空注意力掩膜；
第一确定模块，用于对所述第二地面全景图像进行特征提取，得到目标方向的特征图，将所述特征图进行聚合，得到特征向量，利用所述特征向量构建经度和纬度的环路超图；
构建模块，用于根据所述环路超图构建地对空注意力系数，将所述地对空注意力系数和所述初始地对空注意力掩膜进行加权处理，获得所述地对空注意力系数加权后的地对空注意力掩膜；
第二确定模块，用于将所述第一深度图、所述第一地面全景图像以及所述地对空注意力掩膜进行几何转换，获得遥感视角下的目标视角投影图像；以及
生成模块，用于将所述目标视角投影图像输入至目标遥感图像生成模块中，以修复所述目标视角投影图像的纹理和细节，生成最终的遥感图像。
7.根据权利要求6所述的装置，其特征在于，所述第三获取模块，包括：
第一获取单元，用于利用目标图像生成网络，获得所述第一地面全景图像的第一深度图和初始地对空注意力掩膜预测，其中，所述目标图像生成网络输入的通道数量为3，输出的通道数量为2，其中，所述目标图像生成网络输出的第一个通道为所述第一深度图，输出的第二个通道为所述初始地对空注意力掩膜预测。
8.根据权利要求6所述的装置，其特征在于，所述第一确定模块，包括：
第一确定单元，用于将所述目标方向的全景图像输入至特征提取网络，使用残差网络ResNet结构获得所述目标方向上的特征图；
第二确定单元，用于将所述特征图输入特征聚合网络进行聚合，获得至少一个特征向量；
构建单元，用于将所述至少一个特征向量作为节点，构建所述经度和所述纬度的所述环路超图。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的基于地空视角几何变换的遥感图像生成方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的基于地空视角几何变换的遥感图像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311084673.5A CN117274514A (zh) | 2023-08-25 | 2023-08-25 | 基于地空视角几何变换的遥感图像生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311084673.5A CN117274514A (zh) | 2023-08-25 | 2023-08-25 | 基于地空视角几何变换的遥感图像生成方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117274514A true CN117274514A (zh) | 2023-12-22 |
Family
ID=89207219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311084673.5A Pending CN117274514A (zh) | 2023-08-25 | 2023-08-25 | 基于地空视角几何变换的遥感图像生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117274514A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117456124A (zh) * | 2023-12-26 | 2024-01-26 | 浙江大学 | 一种基于背靠背双目鱼眼相机的稠密slam的方法 |
-
2023
- 2023-08-25 CN CN202311084673.5A patent/CN117274514A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117456124A (zh) * | 2023-12-26 | 2024-01-26 | 浙江大学 | 一种基于背靠背双目鱼眼相机的稠密slam的方法 |
| CN117456124B (zh) * | 2023-12-26 | 2024-03-26 | 浙江大学 | 一种基于背靠背双目鱼眼相机的稠密slam的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10944960B2 (en) | Free-viewpoint video generating method and free-viewpoint video generating system | |
| CN111598993B (zh) | 基于多视角成像技术的三维数据重建方法、装置 | |
| TWI709107B (zh) | 影像特徵提取方法及包含其顯著物體預測方法 | |
| CN104346608B (zh) | 稀疏深度图稠密化方法和装置 | |
| US20120257016A1 (en) | Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program | |
| US20130083966A1 (en) | Match, Expand, and Filter Technique for Multi-View Stereopsis | |
| US20210044787A1 (en) | Three-dimensional reconstruction method, three-dimensional reconstruction device, and computer | |
| CN107025660B (zh) | 一种确定双目动态视觉传感器图像视差的方法和装置 | |
| EP3186787A1 (en) | Method and device for registering an image to a model | |
| EP3293700B1 (en) | 3d reconstruction for vehicle | |
| CN113724379B (zh) | 融合图像与激光点云的三维重建方法及装置 | |
| CN115035235A (zh) | 三维重建方法及装置 | |
| CN117274514A (zh) | 基于地空视角几何变换的遥感图像生成方法及装置 | |
| CN112243518A (zh) | 获取深度图的方法、装置及计算机存储介质 | |
| CN114972634A (zh) | 基于特征体素融合的多视角三维可变形人脸重建方法 | |
| Hung et al. | Multipass hierarchical stereo matching for generation of digital terrain models from aerial images | |
| CN116152442B (zh) | 一种三维点云模型生成方法及装置 | |
| CN113920270B (zh) | 一种基于多视角全景的布局重建方法及其系统 | |
| CN107194334B (zh) | 基于光流模型的视频卫星影像密集匹配方法及系统 | |
| US20230326126A1 (en) | Generation of a 3d point cloud of a scene | |
| CN112215048B (zh) | 一种3d目标检测方法、装置和计算机可读存储介质 | |
| KR102146839B1 (ko) | 실시간 가상현실 구축을 위한 시스템 및 방법 | |
| Peng et al. | Projective reconstruction with occlusions | |
| KR102386002B1 (ko) | 요소 영상 배열에서 디스패리티 추정 방법 및 그 장치 | |
| CN116958449B (zh) | 城市场景三维建模方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |