CN117765168B - 一种卫星遥感图像的三维重建方法、装置及设备 - Google Patents
一种卫星遥感图像的三维重建方法、装置及设备 Download PDFInfo
- Publication number
- CN117765168B CN117765168B CN202311704814.9A CN202311704814A CN117765168B CN 117765168 B CN117765168 B CN 117765168B CN 202311704814 A CN202311704814 A CN 202311704814A CN 117765168 B CN117765168 B CN 117765168B
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- radiation field
- determining
- sensing image
- field model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 120
- 230000005855 radiation Effects 0.000 claims abstract description 142
- 210000005036 nerve Anatomy 0.000 claims abstract description 98
- 238000005070 sampling Methods 0.000 claims abstract description 56
- 238000005457 optimization Methods 0.000 claims abstract description 48
- 230000001537 neural effect Effects 0.000 claims abstract description 45
- 230000006870 function Effects 0.000 claims description 56
- 230000001052 transient effect Effects 0.000 claims description 56
- 238000012549 training Methods 0.000 claims description 27
- 238000003860 storage Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 239000003086 colorant Substances 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000002310 reflectometry Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 230000006872 improvement Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000003068 static effect Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 239000002245 particle Substances 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
在本说明书提供的一种卫星遥感图像的三维重建方法、装置及设备中，通过传感器，获取卫星采集的各遥感图像，确定各图像对应的有理多项式系数以及对应的元数据。再通过光束平差法，计算得到各图像的优化系数。其次，训练目标地区的神经辐射场模型。进一步，针对新视角遥感图像，确定该遥感图像上的相机射线，并确定该射线上的采样点。最后，将采样点输入训练完成的神经辐射场模型，得到解耦后遥感图像的新视角图像以及数字表面模型，该方法可以对遥感卫星拍摄的地区进行高质量的三维重建，提高了常规卫星拍摄遥感图像的利用率。
Description
技术领域
本说明书涉及计算机技术领域，尤其涉及一种卫星遥感图像的三维重建方法、装置及设备。
背景技术
近年来，随着计算机技术的发展，卫星技术也取得了进步。其中，如何对卫星采集的遥感图像对应地区进行三维重建，以对环境进行预测是重点研究方向。例如，利用三维重建结果对未来的城市规划进行预测，或对自然灾害进行预防等。
在现有技术中，一般采用多视图立体视觉(Multi-View Stereo，MVS)方法进行三维重建。但由于难以获取同一场景足够数量的量遥感图像，且获取的遥感图像的关键点往往因拍摄季节，拍摄天气，拍摄光照存在较大差异，导致无法基于常规卫星拍摄的遥感图像进行三维重建。
于是，为了对卫星采集的遥感图像对应的地区进行三维重建，提高现有资源的利用率。为此，本说明书提供一种卫星遥感图像的三维重建方法。
发明内容
本说明书提供一种卫星遥感图像的三维重建方法、装置、介质及设备，以部分解决现有技术存在的上述问题。
本说明书采用下述技术方案：
一种卫星遥感图像的三维重建方法，包括：
获取卫星采集的目标地区的各遥感图像，确定所述各遥感图像的有理多项式系数以及所述各遥感图像的元数据；
根据至少多张遥感图像、所述至少多张遥感图像的有理多项式系数以及所述至少多张遥感图像的元数据，通过光束平差法，计算得到所述至少多张遥感图像的优化系数以及检测到的关键点的三维坐标；
根据所述各遥感图像、所述至少多张遥感图像的优化系数以及所述各遥感图像的元数据，训练所述目标地区对应的神经辐射场模型；
针对新视角遥感图像，通过成像视角确定该遥感图像上各像素的相机射线，并根据预设步长确定每条相机射线上的采样点；
将所述采样点输入训练完成的神经辐射场模型，通过所述神经辐射场模型解耦该遥感图像中的瞬态物体，并得到解耦后遥感图像的新视角图像以及数字表面模型。
可选地，通过光束平差法，计算得到所述至少多张遥感图像的优化系数，具体包括：
确定所述至少多张遥感图像中的关键点；
使用光束平差法对所述有理多项式系数以及所述关键点进行计算，得到所述关键点对应的投影坐标；
通过计算所述投影坐标与至少多张遥感图像的实际像素点坐标的差，并将所述差的模的平方作为关键点的重投影误差；
使用光束平差法最小化所述重投影误差，得到所述至少多张遥感图像的有理多项式系数对应的优化系数。
可选地，根据所述各遥感图像的优化系数以及所述各遥感图像的元数据，训练所述目标地区对应的神经辐射场模型，具体包括：
根据用于计算所述至少多张遥感图像的优化系数的任一关键点，所述至少多张遥感图像的优化系数，通过所述光束平差法，确定检测到的关键点的三维坐标；
根据所述至少多张遥感图像的有理多项式系数，通过神经辐射场模型，得到所述检测出的关键点对应的预测坐标；
根据所述各遥感图像上各像素点的坐标以及所述各遥感图像的元数据，通过待训练的神经辐射场模型，得到所述各遥感图像上各像素点的预测像素值；
根据所述三维坐标与所述预测坐标之差，确定预测损失，根据确定出的各像素点的预测像素值与各像素点的像素值之差，确定瞬态损失；
根据所述各像素点的数量，对所述预测损失加权，并基于加权后的预测损失以及所述瞬态损失，确定总损失，并以总损失最小为优化目标训练所述目标地区对应的神经辐射场模型。
可选地，根据所述至少多张遥感图像的有理多项式系数，通过神经辐射场模型，得到所述检测到的关键点对应的预测坐标，具体包括：
根据所述至少多张遥感图像的有理多项式系数，建立穿过所述检测到的关键点的射线；
对所述射线进行采样，并将采样点输入神经辐射场模型，通过对所述神经辐射场模型的输出结果进行积分计算，得到所述检测到的关键点对应的深度值；
根据所述射线以及所述深度值，确定所述检测到的关键点对应的预测坐标。
可选地，根据所述各遥感图像上各像素点的坐标以及所述各遥感图像的元数据，通过神经辐射场模型，得到所述各遥感图像上各像素点的预测像素值，具体包括：
针对每个遥感图像上像素点，根据该像素点的坐标，该像素点的所在遥感图像的元数据，建立穿过该像素点的射线；
对所述射线进行采样，并将采样点输入神经辐射场模型，通过对所述神经辐射场模型的输出结果进行积分计算，得到该像素点的预测像素值；
根据确定出的各像素点的预测像素值与各像素点的像素值之差，确定瞬态损失，具体包括：
针对每个遥感图像上像素点，将该像素点的坐标以及该像素点的所在遥感图像的元数据输入不确定多层感知机模型，得到所述像素的不确定度，并根据所述不确定度以及预设的置信度公式，确定置信度；
确定所述预测颜色对应的像素点的像素点坐标，并根据所述像素点坐标，确定各图像上所述像素点坐标对应的各像素点的真值颜色；
针对每个像素点，根据该像素点的坐标的预测颜色与该像素点的坐标的真值颜色之差以及所述该像素点的置信度，计算得到瞬态损失。
可选地，在根据所述各遥感图像、所述各遥感图像的优化系数以及所述各遥感图像的元数据，训练所述目标地区对应的神经辐射场模型之前，所述方法还包括：
在所述各遥感图像中选取预设数量的像素点，确定各像素点对应的三维点，并确定各三维点对应的三维坐标；
针对每个三维坐标，根据预设的位置编码函数进行编码，得到编码后的坐标函数，并将所述坐标函数输入预设的神经辐射场模型，得到该三维坐标的共享特征，并以输出反射率为目标，确定入射光模型的第一层；
根据所述元数据中的太阳光入射方向以及所述位置编码函数，确定编码后的入射函数，并将所述入射函数输入预设的神经辐射场模型，以输出天空光颜色为目标，确定入射光模型的第二层；
根据所述入射函数以及所述共享特征，以输出太阳光能见度为目标，确定入射光模型的第三层；
根据所述入射光模型的第一层、所述入射光模型的第二层以及所述入射光模型的第三层，确定该三维坐标点的入射光模型；
将各三维坐标的所述入射光模型与所述神经辐射场模型结合，通过所述神经辐射场模型，得到的各三维坐标点的太阳光能见度、天空光颜色、反照率，并根据各三维坐标点的太阳光能见度、天空光颜色、反照率，确定各三维坐标点的颜色；
通过所述神经辐射场模型，对各三维坐标点所在的射线上的各三维坐标点积分，确定各三维坐标点所在的射线的颜色。
可选地，根据所述各遥感图像的优化系数以及所述各遥感图像的元数据，训练所述目标地区对应的神经辐射场模型，具体包括：
确定所述目标地区对应的神经辐射场模型，所述神经辐射场模型为使用神经辐射场模型学习具有瞬态物体和阴影建模的多视图卫星摄影测量模型；
根据用于计算所述至少多张遥感图像的优化系数的任一关键点，所述至少多张遥感图像的优化系数，通过所述光束平差法，确定检测到的关键点的三维坐标；
根据所述至少多张遥感图像的有理多项式系数，通过神经辐射场模型，得到所述检测出的关键点对应的预测坐标；
根据所述三维坐标与所述预测坐标之差，确定预测损失；
根据所述三维点对应的预测损失对能够自监督确定瞬态损失的目标地区对应的神经辐射场模型进行训练，直至满足预设标准，得到训练完成的神经辐射场模型。
一种卫星遥感图像的三维重建装置，包括：
接收模块，获取卫星采集的目标地区的各遥感图像，确定所述各遥感图像的有理多项式系数以及所述各遥感图像的元数据；
预处理模块，根据至少多张遥感图像、至少多张遥感图像的有理多项式系数以及至少多张遥感图像的元数据，使用光束平差法进行计算，得到所述至少多张遥感图像的优化系数以及检测到的关键点的三维坐标；
重建模块，根据所述各遥感图像、所述各遥感图像的优化系数以及所述各遥感图像的元数据，训练所述目标地区对应的神经辐射场模型；
采样模块，针对每张遥感图像，根据该遥感图像、该遥感图像的优化系数以及该遥感图像的元数据，确定该遥感图像上各像素的相机射线，并根据预设步长确定每条相机射线上的采样点；
输出模块，将所述采样点输入训练完成的神经辐射场模型，通过所述神经辐射场模型解耦该遥感图像中的瞬态物体，并得到解耦后遥感图像的新视角图像以及数字表面模型。
本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现卫星遥感图像的三维重建方法。
本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现卫星遥感图像的三维重建方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果：
通过先获取卫星采集的各遥感图像，并确定各图像对应的有理多项式系数以及对应的元数据。再通过光束平差法，计算得到各图像的优化系数。其次，训练目标地区的神经辐射场模型。进一步，针对每张遥感图像，确定该遥感图像上的相机射线，并确定该射线上的采样点。最后，将采样点输入训练完成的神经辐射场模型，得到解耦后遥感图像的新视角图像以及数字表面模型。
通过光束平差法得到优化系数精确遥感图像数据，并根据预测误差以及瞬态损失误差训练神经辐射场模型，并根据训练完成的神经辐射场模型对遥感图像进行建模的方式，使常规卫星拍摄遥感图像能够进行高质量建模，提高了常规卫星拍摄遥感图像的利用率。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书提供的一种卫星遥感图像的三维重建方法的流程示意图；
图2为本说明书提供的一种卫星遥感图像的三维重建方法的神经辐射场结构图；
图3为本说明书提供的一种卫星遥感图像的三维重建方法的不确定性多层感知机结构图；
图4为本说明书提供的一种卫星遥感图像的三维重建的装置流程示意图；
图5为本说明书提供的一种对应于图1的电子设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
此处需说明的是，本说明书提供的卫星遥感图像的三维重建方法可使用计算机或服务器执行，而对于执行方法的具体主体，本说明书在此不作限制。且为方便本说明书描述，本说明书以服务器执行该卫星遥感图像的三维重建方法为例进行说明。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书提供的卫星遥感图像的三维重建方法流程示意图，具体包括以下步骤：
S101：获取卫星采集的目标地区的各遥感图像，确定所述各遥感图像的有理多项式系数以及所述各遥感图像的元数据；
为了重建常规卫星采集指定区域遥感图像对应的三维场景，需要服务器先对已采集到的遥感图像以及对应数据进行确认才能进行后续重建。遥感图像因采集卫星距地面的距离过大，获取遥感图像的方式是通过常规卫星的有理多项式(Rational PolynomialCoefficients，RPC)相机，以类似线阵相机的线阵拍摄法，进行拍摄的方式获取图像或进行扫描的方式获取图像。该方法获取的遥感图像与常规地面使用的小孔成像原理进行拍摄的图像差距极大，需要确定发起请求的请求方提供额外的有理多项式系数以及常规元数据。其中，常规元数据包括：采集时间，像素大小以及太阳光入射角等数据。
具体的，服务器通过传感器，获取各遥感图像，并确认每一张遥感图像对应的有理多项式系数以及采集时间，像素大小以及太阳光入射角。其中，每个有理多项式系数由一个投影函数及其逆函数组成，描述了从三维的地理坐标到二维的卫星图像坐标之间的转换关系，其中投影函数建立了三维点与二维图像像素的投影关系，逆函数可使用定位函数表示。
S103：根据至少多张遥感图像、所述至少多张遥感图像的有理多项式系数以及所述至少多张遥感图像的元数据，通过光束平差法，计算得到所述至少多张遥感图像的优化系数以及检测到的关键点的三维坐标；
在大多数场景下，有理多项式系数用于实现坐标之间的相互转换，但是通过有理多项式系数将三维点投影到二维图像中时，每个图像中的二维点所在位置与对应的实际位置都会存在偏差，当该偏差较大时，偏差数量级会达到几十个像素，针对此问题，有必要以校正的方式对有理多项式系数模型进行优化，以减少有理多项式系数模型输出的二维点位置误差的方式得到优化系数，提升三维重建的精度。
在本说明书实施例中，确定至少多张遥感图像中的关键点。使用光束平差法对有理多项式系数以及关键点进行计算，得到关键点对应的投影坐标。通过计算投影坐标与至少多张遥感图像的实际像素点坐标的差，并将差的模的平方作为关键点的重投影误差。使用光束平差法最小化重投影误差，得到至少多张遥感图像的有理多项式系数对应的优化系数。
具体的，服务器基于预设的K个关键点坐标和获取的N个相机的有理多项式，即/>R3→R2，使用光束平差法计算关键点坐标{xk}和有理多项式{Pn}的重投影误差，并最小化重投影误差。其中，重投影误差定义为关键点的投影坐标u′mk＝Pm(xk)和实际坐标umk的平方差，公式如下：
使用根据重投影误差调整完成光束平差法，计算各关键点的三维坐标。
其中，服务器通过光束平差法计算时，使用的图像点坐标为在图像中检测到的关键点，具体检测方式可以是传统方法检测的SIFT关键点(Scale Invariant FeatureTransform)、ORB(Oriented fast and Rotated Beirf)关键点以及其他关键点中的一种或多种关键点，也可以是深度学习算法检测到的SuperPoint关键点。最后，服务器通过光束平差法将重投影误差最小化，从而确定了优化后的关键点坐标、优化后的有理多项式系数以及三维场景的边界。其中，优化后的有理多项式系数即优化系数。
S105：根据所述各遥感图像、所述各遥感图像的优化系数以及所述各遥感图像的元数据，训练所述目标地区对应的神经辐射场模型；
在服务器确定优化系数后，针对卫星以高频重访周期访问同一区域拍摄时，因大量聚集云团或点阵云团等气候现象造成的遮挡，难以获取大量无遮挡的高清多视角遥感影像，进而导致样本数量不足的问题，该问题会导致根据数量不足的高清多视角遥感影像进行神经辐射场训练时，训练收敛速度慢的问题，且得到的神经辐射场不能拟合出正确几何形状的问题。在本方法中，服务器通过确定光束平差法优化时获取的先验几何结构中的稀疏三维坐标，即真值，并根据真值以及预测坐标，通过深度监督损失函数，得到预测误差，并将预测误差用于训练目标地区对应的神经辐射场模型，以进行深度监督训练的方式解决本段提出的样本不足问题。
而与样本不足的问题不同的是，针对卫星以高频重访周期访问同一区域拍摄时，遥感图像上会出现重复概率极低的遮挡现象，如走动的人员、行驶的车辆以及飞掠的鸟群等瞬态现象。为获取准确的神经辐射场模型，服务器使用分离瞬态和静态物体的方法，达到了两者的解耦，解决了该现象导致的模型出现误差的问题。其中，使用分离瞬态和静态物体的方法，即服务器通过预设的像素不确定性多层感知机对图像像素的不确定性进行建模，并将其作为误差权重来构建瞬态损失函数以获取瞬态损失误差的方法，以解决本段上述提出的问题。
在获取到预测误差以及瞬态误差后，为输出更准确的目标地区对应的神经辐射场模型，服务器结合上述预测误差以及瞬态误差，得到总误差，并以总误差最小为目标对目标地区对应的神经辐射场模型的进行训练。
在本说明书实施例中，在根据各遥感图像、各遥感图像的优化系数以及各遥感图像的元数据，训练目标地区对应的神经辐射场模型之前，服务器在各遥感图像中选取预设数量的像素点，确定各像素点对应的三维点，并确定各三维点对应的三维坐标。针对每个三维坐标，根据预设的位置编码函数进行编码，得到编码后的坐标函数，并将坐标函数输入预设的神经辐射场模型，得到该三维坐标的共享特征，并以输出反射率为目标，确定入射光模型的第一层。根据元数据中的太阳光入射方向以及位置编码函数，确定编码后的入射函数，并将入射函数输入预设的神经辐射场模型，以输出天空光颜色为目标，确定入射光模型的第二层。根据入射函数以及共享特征，以输出太阳光能见度为目标，确定入射光模型的第三层。根据入射光模型的第一层、入射光模型的第二层以及入射光模型的第三层，确定该三维坐标点的入射光模型。将各三维坐标的入射光模型与神经辐射场模型结合，通过神经辐射场模型，得到的各三维坐标点的太阳光能见度、天空光颜色、反照率，并根据各三维坐标点的太阳光能见度、天空光颜色、反照率，确定各三维坐标点的颜色。通过神经辐射场模型，对各三维坐标点所在的射线上的各三维坐标点积分，确定各三维坐标点所在的射线的颜色。
在本说明书实施例中，服务器根据用于计算至少多张遥感图像的优化系数的任一关键点，至少多张遥感图像的优化系数，通过光束平差法，确定检测到的关键点的三维坐标。根据至少多张遥感图像的有理多项式系数，建立穿过检测到的关键点的射线。对射线进行采样，并将采样点输入神经辐射场模型，通过对神经辐射场模型的输出结果进行积分计算，得到检测到的关键点对应的深度值。根据射线以及深度值，确定检测到的关键点对应的预测坐标。针对每个遥感图像上像素点，根据该像素点的坐标，该像素点的所在遥感图像的元数据，建立穿过该像素点的射线。对射线进行采样，并将采样点输入神经辐射场模型，通过对神经辐射场模型的输出结果进行积分计算，得到该像素点的预测像素值。针对每个遥感图像上像素点，将该像素点的坐标以及该像素点的所在遥感图像的元数据输入不确定多层感知机模型，得到像素的不确定度，并根据不确定度以及预设的置信度公式，确定置信度。确定预测颜色对应的像素点的像素点坐标，并根据像素点坐标，确定各图像上像素点坐标对应的各像素点的真值颜色。针对每个像素点，根据该像素点的坐标的预测颜色与该像素点的坐标的真值颜色之差以及该像素点的置信度，计算得到瞬态损失。根据各像素点的数量，对预测损失加权，并基于加权后的预测损失以及瞬态损失，确定总损失，并以总损失最小为优化目标训练目标地区对应的神经辐射场模型。
具体的，本说明书提供了一种用于重建目标地区神经辐射场的卫星遥感图像的三维重建方法的神经辐射场结构图，如图2所示：使用一个神经辐射场模型表示多层感知机网络中的连续场景，服务器在该神经辐射场模型的输入为三维点的三维点坐标x＝(x，y，z)∈R3以及太阳光方向w＝(wx，wy，wz)∈R3，其中，Rn代指n维，输出为每个点的体积密度σ∈R+、反射率a＝(ar，ag，ab)∈R3、太阳光能见度s∈R+以及天空光颜色Isky＝(Ir，Ig，Ib)∈R3，具体公式如下：
由于神经网络难以从低维输入中学习高频函数，所以三维点坐标在输入神经辐射场网络之前通常会由服务器进行位置编码。其中，位置编码是指通过不同频率正余弦函数，建立低维的三维坐标以及编码长度为2L的高维坐标的映射关系，具体公式如下：
γ(x)＝[sin(x),cos(x),…,sin(2L-1x),cos(2L-1x)]
首先，服务器将三维点坐标x首先输入具有8个宽度为h的全连接层，生成共享特征F，并通过sigmoid激活函数输出体积密度σ和反射率a。并且，服务器还将太阳光方向w输入一个宽度为h/2的全连接层，并通过sigmoid激活函数输出天空光颜色lsky。此外，服务器还将共享特征F和太阳光方向w连接，通过3层宽度为h/2的全连接层与sigmoid激活函数，输出太阳光能见度s。在本说明书实施例中，h＝512。
因在卫星采集的遥感图像的场景中，该场景的表面反射率遵循朗伯模型，即每个表面在不同观测方向上的反射率相同。对于场景中的每个粒子，其接收并反射来自不同方向的光源。遥感场景下的光源主要是由直射的太阳光和漫反射的天空光组成，可得到粒子反射的颜色c。再根据粒子反射颜色，可以得到入射光模型，入射光模型可用公式表示，具体公式如下：
I＝s*Isun+Isky
c＝a*I
其中，太阳光Isun可以表示成归一化的等能白光，即Isun＝(1,1,1)，天空光Isky是一个可学习向量，且服务器根据存储在卫星图像元数据中的太阳光方向预测天空光颜色，将天空光作为漫反射光源，以照亮图像中的阴影区域。s表示太阳光能见度，即太阳光是否被遮挡。在本说明书实施例中，太阳光能见度为0表示粒子处于阴影中，太阳光被遮挡，光源只来自于天空光，而能见度为1，则表示光源同时来自于太阳光和天空光。
在服务器获取了空间中每个粒子反射的颜色后，使用经典体积渲染原理来对穿过场景边界的任何射线进行渲染，以获取对应射线的颜色。在本说明书实施例中，起点为o方向为d的射线用r(t)＝o+td表示。在此基础上，射线与图像平面交点的像素颜色C(r)可通过三维点沿射线的加权颜色值ci的积分计算。在本说明书实施例中，通过离散求和的方法来估计连续渲染积分，像素颜色C(r)具体公式如下：
αi＝1-exp(-σiδi)，δi＝ti+1-ti
其中，ci是沿着射线的离散三维点xi＝o+tid的颜色，ti的范围在场景的近边界tn和远边界tf之间。δi表示两个相邻采样点之间的距离。αi∈[0,1]表示当前点i处被占据的概率，当密度越高时，占据概率就越大。Ti∈[0,1]表示从原点到当前点的透明度，即前i-1个点都不被占据的概率乘积。
类似地，对于射线r的方向上观察到的深度D(r)，服务器使用与上式类似的方法进行渲染，用表示该过程。
通过光束平差法确定空间三维点及其对应的图像关键点，并将各三维点坐标作为真实三维点的坐标。通过神经辐射场模型，根据各三维点的对应的图像关键点，生成穿过各关键点以及场景的相机射线并在相机射线上采样，并将相机射线的采样点输入神经辐射场模型，通过神经辐射场模型内的公式计算出各三维点的相机射线的采样点的深度m，在此基础上，对相机射线进行整体积分，得到预测的三维点预测坐标即可用x’＝o+md表示。基于深度监督损失函数可定义为预测点x’与实际三维点坐标x的加权欧几里得距离，即通过D(r)计算出预测坐标，将预测坐标与光束平差法输出的三维点坐标的对比，得到了预测误差，其中，权重w(r)为该三维点在二维图像中的重投影误差的预设权重，具体公式如下：
其中，表示根据有理多项式系数对光束平差法获取的三维点对应的图像像素点生成穿过场景的相机射线集合。
通过服务器最小化模型预测三维点和真实三维点(真值)之间的距离，增加了神经辐射场的模型收敛速度，并在视图数量不足的情况下，大幅提升了的三维重建的精度。
通过在神经辐射场模型添加一个像素不确定性多次感知机网络，以实现对图像像素的不确定性进行建模，利用已建模的图像像素不确定性计算误差权重，以该误差权重来进一步构建瞬态损失函数。服务器将归一化的遥感图像的像素点的图像坐标p＝(u,v)和每个图像的瞬态嵌入tj输入不确定性多层感知机网络，得到图像中每个像素点的不确定性，具体公式如下：
根据本说明书提供的一种卫星遥感图像的三维重建方法的不确定性多层感知机结构图，如图3所示：对于各遥感图像上的每一个像素点，服务器根据校正后的有理多项式系数生成穿过该像素点的相机射线。其次，对相机射线采样，将采样点的坐标输入神经辐射场，通过神经辐射场对射线进行积分，得到该射线的颜色，并根据该像素点坐标以及该像素点所属图像的瞬态嵌入获取该像素点的不确定性。瞬态损失函数具体公式如下：
其中，该公式第一项表示基于不确定性β平衡不同观测像素和渲染颜色之间的颜色误差，该像素有更高的不确定性，往往表明为瞬态物体像素的概率更高，服务器减少该像素对应损失函数的权重。该公式第二项为正则化项，目的是为防止不确定性β恒定地等于1。λ0为超参数，目的是平衡该公式的第一项以及第二项。
服务器通过对图像像素的不确定性进行建模并构建瞬态损失函数，最终以无监督的方式将瞬态物体从静态的体积场中解耦。
需要额外说明的是，由于不确定性多层感知机用于在服务器计算损失函数时平衡不同观测像素的可信度，所以在该步骤之后的模型预测过程中该不确定性多层感知机不为必需组成。即在只在测试阶段，服务器通过MLP查询神经辐射场模型的密度、反照率、太阳能见度和天空光颜色，最后通过αi＝1-exp(-σiδi)在期望的视图方向合成新视图，并通过获取数字表面模型(Digital Surface Model，DSM)。
最后，计算总损失函数是由瞬态损失和深度监督损失组成，具体公式如下：
其中，λ1是平衡两种损失的超参数。在本说明书实施例中，λ1＝1000/3。
在本说明书实施例中，以重建神经辐射场方法重建神经辐射场模型的过程，对三维重建进行说明。具体的，重建神经辐射场方法重建神经辐射场模型可用于各种类型的场景三维重建。
此处需额外说明，在计算预测损失时，所使用的三维点是上一步骤光束平差法确定的三维点，这些三维点都是有深度的，且这些三维点本身都与对应遥感图像上的像素点有一一对应关系，而因计算瞬态损失的像素点为该遥感图像上的每一个像素点的颜色，故与计算预测损失的三维点对应的像素点存在相同点的情况，但在训练神经辐射场模型的过程中，该像素点将依然视为两个像素点以进行分别计算预测损失以及瞬态损失，计算预测损失的三维点取不同且多次时，本方法训练出的神经辐射场模型会更加精确。
S107：针对新视角遥感图像，通过成像视角确定该遥感图像上各像素的相机射线，并根据预设步长确定每条相机射线上的采样点。
因后续步骤进行的新视角合成需要一个观测点作为基准点，服务器通过预设步长对各射线进行采样，以得到采样点。
此处需要额外说明，预设步长并非必须为一固定值，即在本步骤中获取采样点为后续步骤中的所需，具体如何获取采样点，本说明书不作限制。而在本说明书实施例中，优先选取多层采样法，即在服务器在预设距离的采样点之后，服务器可根据上述训练好的神经辐射场模型对该相机射线输出的透明度，增加相机射线透光率变化点之间的权重，并降低透光率不发生变化采样点之间的采样点权重，反复筛选以获取各相机射线上更有效的采样点方法。
此处需要额外说明，因采样点为一三维坐标，故确定采样点的方法同样可用于确定三维点，即在步骤S105中的三维点，三维点，也可使用确定采样点的方法确定，但与本说明书提供三维点的确定方案相同，对于不同的神经辐射场模型，为获取更适合输入该模型的三维点，往往会有不同的三维点确定方式，本方法以本步骤获取采样点的方法以及S105中确定三维点的方法为例进行说明，但不对具体如何确定三维点的方式进行限制，即不限制用于确定训练神经辐射场模型三维点的方法。
S109：将所述采样点输入训练完成的神经辐射场模型，通过所述神经辐射场模型解耦该遥感图像中的瞬态物体，并得到解耦后遥感图像的新视角图像以及数字表面模型。
在获取了需要进行新视角合成的采样点后，根据该采样点与神经辐射场模型的相对位置，确定了新视角合成角度，再根据新视角合成角度，对训练好的神经辐射场模型会对应进行新视角合成，输出新视角图像以及数字表面模型。
具体的，服务器将位置编码后采样点和太阳光方向向量输入神经辐射场模型进行查询，最后通过体积渲染方程获取每个像素颜色值以及深度值，从进行新视图合成，得到解耦后遥感图像的新视角图像以及生成数字表面模型。
基于图1所示的卫星遥感图像的三维重建方法可达到：通过光束平差法得到优化系数精确遥感图像数据，并根据预测误差以及瞬态损失误差训练神经辐射场模型，并根据训练完成的神经辐射场模型对遥感图像进行建模的方式，使常规卫星拍摄遥感图像能够进行高质量建模，提高了常规卫星拍摄遥感图像的利用率。
本说明书提供方法还包括，该服务器在步骤S105训练所述目标地区对应的神经辐射场模型时，若目标地区对应的神经辐射场模型神经辐射场模型为使用神经辐射场模型学习具有瞬态物体和阴影建模的多视图卫星摄影测量模型(Sat Neural Radiance Field，Sat-NeRF)。根据用于计算至少多张遥感图像的优化系数的任一关键点，至少多张遥感图像的优化系数，通过光束平差法，确定检测到的关键点的三维坐标。根据至少多张遥感图像的有理多项式系数，通过神经辐射场模型，得到检测出的关键点对应的预测坐标。根据三维坐标与预测坐标之差，确定预测损失。根据各三维点对应的预测损失对能够自监督确定瞬态损失的目标地区对应的神经辐射场模型进行训练，直至满足预设标准，得到训练完成的神经辐射场模型。
具体的，根据目前Sat-NeRF可解耦瞬态物体的特性，实现了能够自监督确定瞬态损失的目标地区对应的神经辐射场模型，故可不进行瞬态损失误差的计算，仅依靠预测误差对神经辐射场进行训练，在降低服务器所需算力要求的情况下，得到训练好的模型，并依据训练好的模型进行后续步骤的瞬态物体解耦。
此处需额外说明，Sat-NeRF是以瞬态嵌入作为输入来优化每个视角图像的瞬态体积场，根据瞬态物体的随机性，使用高度不适定的方式来优化瞬态体积场的方法，相比步骤S105的方法，该解耦场景中静态和瞬态物体的解耦效果会导致获取的神经辐射场准确度较低。
本说明书还提供了与图1卫星遥感图像的三维重建方法的流程图对应的装置，如图4所示：
接收模块201，获取卫星采集的目标地区的各遥感图像，确定所述各遥感图像的有理多项式系数以及所述各遥感图像的元数据；
预处理模块203，根据至少多张遥感图像、所述至少多张遥感图像的有理多项式系数以及所述至少多张遥感图像的元数据，通过光束平差法，计算得到所述至少多张遥感图像的优化系数以及检测到的关键点的三维坐标；
重建模块205，根据所述各遥感图像、所述至少多张遥感图像的优化系数以及所述各遥感图像的元数据，训练所述目标地区对应的神经辐射场模型；
采样模块207，针对新视角遥感图像，通过成像视角确定该遥感图像上各像素的相机射线，并根据预设步长确定每条相机射线上的采样点；
输出模块209，将所述采样点输入训练完成的神经辐射场模型，通过所述神经辐射场模型解耦该遥感图像中的瞬态物体，并得到解耦后遥感图像的新视角图像以及数字表面模型。
可选地，预处理模块203，用于确定所述至少多张遥感图像中的关键点。使用光束平差法对所述有理多项式系数以及所述关键点进行计算，得到所述关键点对应的投影坐标。通过计算所述投影坐标与至少多张遥感图像的实际像素点坐标的差，并将所述差的模的平方作为关键点的重投影误差。使用光束平差法最小化所述重投影误差，得到所述至少多张遥感图像的有理多项式系数对应的优化系数。
可选地，重建模块205，用于根据用于计算所述至少多张遥感图像的优化系数的任一关键点，所述至少多张遥感图像的优化系数，通过所述光束平差法，确定检测到的关键点的三维坐标。根据所述至少多张遥感图像的有理多项式系数，通过神经辐射场模型，得到所述检测出的关键点对应的预测坐标。根据所述各遥感图像上各像素点的坐标以及所述各遥感图像的元数据，通过待训练的神经辐射场模型，得到所述各遥感图像上各像素点的预测像素值。根据所述三维坐标与所述预测坐标之差，确定预测损失，根据确定出的各像素点的预测像素值与各像素点的像素值之差，确定瞬态损失。根据所述各像素点的数量，对所述预测损失加权，并基于加权后的预测损失以及所述瞬态损失，确定总损失，并以总损失最小为优化目标训练所述目标地区对应的神经辐射场模型。
可选地，重建模块205，用于根据所述至少多张遥感图像的有理多项式系数，建立穿过所述检测到的关键点的射线。对所述射线进行采样，并将采样点输入神经辐射场模型，通过对所述神经辐射场模型的输出结果进行积分计算，得到所述检测到的关键点对应的深度值。根据所述射线以及所述深度值，确定所述检测到的关键点对应的预测坐标。
可选地，重建模块205，用于针对每个遥感图像上像素点，根据该像素点的坐标，该像素点所在遥感图像的元数据，建立穿过该像素点的射线。对所述射线进行采样，并将采样点输入神经辐射场模型，通过对所述神经辐射场模型的输出结果进行积分计算，得到该像素点的预测像素值。根据确定出的各像素点的预测像素值与各像素点的像素值之差，确定瞬态损失，具体包括：针对每个遥感图像上像素点，将该像素点的坐标以及该像素点的所在遥感图像的元数据输入不确定多层感知机模型，得到所述像素的不确定度，并根据所述不确定度以及预设的置信度公式，确定置信度。确定所述预测颜色对应的像素点的像素点坐标，并根据所述像素点坐标，确定各图像上所述像素点坐标对应的各像素点的真值颜色。针对每个像素点，根据该像素点的坐标的预测颜色与该像素点的坐标的真值颜色之差以及所述该像素点的置信度，计算得到瞬态损失。
可选地，重建模块205，用于在所述各遥感图像中选取预设数量的像素点，确定各像素点对应的三维点，并确定各三维点对应的三维坐标。针对每个三维坐标，根据预设的位置编码函数进行编码，得到编码后的坐标函数，并将所述坐标函数输入预设的神经辐射场模型，得到该三维坐标的共享特征，并以输出反射率为目标，确定入射光模型的第一层。根据所述元数据中的太阳光入射方向以及所述位置编码函数，确定编码后的入射函数，并将所述入射函数输入预设的神经辐射场模型，以输出天空光颜色为目标，确定入射光模型的第二层。根据所述入射函数以及所述共享特征，以输出太阳光能见度为目标，确定入射光模型的第三层。根据所述入射光模型的第一层、所述入射光模型的第二层以及所述入射光模型的第三层，确定该三维坐标点的入射光模型。将各三维坐标的所述入射光模型与所述神经辐射场模型结合，通过所述神经辐射场模型，得到的各三维坐标点的太阳光能见度、天空光颜色、反照率，并根据各三维坐标点的太阳光能见度、天空光颜色、反照率，确定各三维坐标点的颜色。通过所述神经辐射场模型，对各三维坐标点所在的射线上的各三维坐标点积分，确定各三维坐标点所在的射线的颜色。
可选地，重建模块205，用于确定所述目标地区对应的神经辐射场模型，所述神经辐射场模型为使用神经辐射场模型学习具有瞬态物体和阴影建模的多视图卫星摄影测量模型。根据用于计算所述至少多张遥感图像的优化系数的任一关键点，所述至少多张遥感图像的优化系数，通过所述光束平差法，确定检测到的关键点的三维坐标。根据所述至少多张遥感图像的有理多项式系数，通过神经辐射场模型，得到所述检测出的关键点对应的预测坐标。根据所述三维坐标与所述预测坐标之差，确定预测损失。根据所述三维点对应的预测损失对能够自监督确定瞬态损失的目标地区对应的神经辐射场模型进行训练，直至满足预设标准，得到训练完成的神经辐射场模型。
本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述卫星遥感图像的三维重建方法。
本说明书还提供了图5所示的一种对应于图1的电子设备的示意结构图。如图5，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1的卫星遥感图像的三维重建方法。当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种卫星遥感图像的三维重建方法，其特征在于，包括：
获取卫星采集的目标地区的各遥感图像，确定所述各遥感图像的有理多项式系数以及所述各遥感图像的元数据；
根据所述各遥感图像中的至少多张遥感图像、所述至少多张遥感图像的有理多项式系数以及所述至少多张遥感图像的元数据，通过光束平差法，计算得到所述至少多张遥感图像的优化系数以及检测到的关键点的三维坐标；
根据所述各遥感图像、所述至少多张遥感图像的优化系数以及所述各遥感图像的元数据，训练所述目标地区对应的神经辐射场模型；
针对新视角遥感图像，通过成像视角确定该遥感图像上各像素的相机射线，并根据预设步长确定每条相机射线上的采样点；
将所述采样点输入训练完成的神经辐射场模型，通过所述神经辐射场模型解耦该遥感图像中的瞬态物体，并得到解耦后遥感图像的新视角图像以及数字表面模型。
2.如权利要求1所述方法，其特征在于，通过光束平差法，计算得到所述至少多张遥感图像的优化系数，具体包括：
确定所述至少多张遥感图像中的关键点；
使用光束平差法对所述有理多项式系数以及所述关键点进行计算，得到所述关键点对应的投影坐标；
通过计算所述投影坐标与至少多张遥感图像的实际像素点坐标的差，并将所述差的模的平方作为关键点的重投影误差；
使用光束平差法最小化所述重投影误差，得到所述至少多张遥感图像的有理多项式系数对应的优化系数。
3.如权利要求1所述方法，其特征在于，根据所述至少多张遥感图像的优化系数以及所述至少多张遥感图像的元数据，训练所述目标地区对应的神经辐射场模型，具体包括：
根据用于计算所述至少多张遥感图像的优化系数的任一关键点，所述至少多张遥感图像的优化系数，通过所述光束平差法，确定检测到的关键点的三维坐标；
根据所述至少多张遥感图像的有理多项式系数，通过神经辐射场模型，得到所述检测到的关键点对应的预测坐标；
根据所述至少多张遥感图像上各像素点的坐标以及所述至少多张遥感图像的元数据，通过待训练的神经辐射场模型，得到所述至少多张遥感图像上各像素点的预测像素值；
根据所述三维坐标与所述预测坐标之差，确定预测损失，根据确定到的各像素点的预测像素值与各像素点的像素值之差，确定瞬态损失；
根据所述各像素点的数量，对所述预测损失加权，并基于加权后的预测损失以及所述瞬态损失，确定总损失，并以总损失最小为优化目标训练所述目标地区对应的神经辐射场模型。
4.如权利要求3所述方法，其特征在于，根据所述至少多张遥感图像的有理多项式系数，通过神经辐射场模型，得到所述检测到的关键点对应的预测坐标，具体包括：
根据所述至少多张遥感图像的有理多项式系数，建立穿过所述检测到的关键点的射线；
对所述射线进行采样，并将采样点输入神经辐射场模型，通过对所述神经辐射场模型的输出结果进行积分计算，得到所述检测到的关键点对应的深度值；
根据所述射线以及所述深度值，确定所述检测到的关键点对应的预测坐标。
5.如权利要求3所述方法，其特征在于，根据所述各遥感图像上各像素点的坐标以及所述各遥感图像的元数据，通过待训练的神经辐射场模型，得到所述各遥感图像上各像素点的预测像素值，具体包括：
针对每个遥感图像上像素点，根据该像素点的坐标，该像素点的所在遥感图像的元数据，建立穿过该像素点的射线；
对所述射线进行采样，并将采样点输入神经辐射场模型，通过对所述神经辐射场模型的输出结果进行积分计算，得到该像素点的预测像素值；
根据确定出的各像素点的预测像素值与各像素点的像素值之差，确定瞬态损失，具体包括：
针对每个遥感图像上像素点，将该像素点的坐标以及该像素点的所在遥感图像的元数据输入不确定多层感知机模型，得到所述像素的不确定度，并根据所述不确定度以及预设的置信度公式，确定置信度；
确定预测颜色对应的像素点的像素点坐标，并根据所述像素点坐标，确定各图像上所述像素点坐标对应的各像素点的真值颜色；
针对每个像素点，根据该像素点的坐标的预测颜色与该像素点的坐标的真值颜色之差以及所述该像素点的置信度，计算得到瞬态损失。
6.如权利要求1所述方法，其特征在于，在根据所述各遥感图像、所述各遥感图像的优化系数以及所述各遥感图像的元数据，训练所述目标地区对应的神经辐射场模型之前，所述方法还包括：
在所述各遥感图像中选取预设数量的像素点，确定各像素点对应的三维点，并确定各三维点对应的三维坐标；
针对每个三维坐标，根据预设的位置编码函数进行编码，得到编码后的坐标函数，并将所述坐标函数输入预设的神经辐射场模型，得到该三维坐标的共享特征，并以输出反射率为目标，确定入射光模型的第一层；
根据所述元数据中的太阳光入射方向以及所述位置编码函数，确定编码后的入射函数，并将所述入射函数输入预设的神经辐射场模型，以输出天空光颜色为目标，确定入射光模型的第二层；
根据所述入射函数以及所述共享特征，以输出太阳光能见度为目标，确定入射光模型的第三层；
根据所述入射光模型的第一层、所述入射光模型的第二层以及所述入射光模型的第三层，确定该三维坐标点的入射光模型；
将各三维坐标的所述入射光模型与所述神经辐射场模型结合，通过所述神经辐射场模型，得到的各三维坐标点的太阳光能见度、天空光颜色、反照率，并根据各三维坐标点的太阳光能见度、天空光颜色、反照率，确定各三维坐标点的颜色；
通过所述神经辐射场模型，对各三维坐标点所在的射线上的各三维坐标点积分，确定各三维坐标点所在的射线的颜色。
7.如权利要求1所述方法，其特征在于，根据所述各遥感图像的优化系数以及所述各遥感图像的元数据，训练所述目标地区对应的神经辐射场模型，具体包括：
确定所述目标地区对应的神经辐射场模型，所述神经辐射场模型为使用神经辐射场模型学习具有瞬态物体和阴影建模的多视图卫星摄影测量模型；
根据用于计算所述至少多张遥感图像的优化系数的任一关键点，所述至少多张遥感图像的优化系数，通过所述光束平差法，确定检测到的关键点的三维坐标；
根据所述至少多张遥感图像的有理多项式系数，通过神经辐射场模型，得到所述检测到的关键点对应的预测坐标；
根据所述三维坐标与所述预测坐标之差，确定预测损失；
根据所述三维点对应的预测损失对能够自监督确定瞬态损失的目标地区对应的神经辐射场模型进行训练，直至满足预设标准，得到训练完成的神经辐射场模型。
8.一种卫星遥感图像的三维重建装置，其特征在于，包括：
接收模块，获取卫星采集的目标地区的各遥感图像，确定所述各遥感图像的有理多项式系数以及所述各遥感图像的元数据；
预处理模块，根据所述各遥感图像中的至少多张遥感图像、至少多张遥感图像的有理多项式系数以及至少多张遥感图像的元数据，使用光束平差法进行计算，得到所述至少多张遥感图像的优化系数以及检测到的关键点的三维坐标；
重建模块，根据所述各遥感图像、所述各遥感图像的优化系数以及所述各遥感图像的元数据，训练所述目标地区对应的神经辐射场模型；
采样模块，针对每张遥感图像，根据该遥感图像、该遥感图像的优化系数以及该遥感图像的元数据，确定该遥感图像上各像素的相机射线，并根据预设步长确定每条相机射线上的采样点；
输出模块，将所述采样点输入训练完成的神经辐射场模型，通过所述神经辐射场模型解耦该遥感图像中的瞬态物体，并得到解耦后遥感图像的新视角图像以及数字表面模型。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～7任一项所述的方法。
10.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1～7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311704814.9A CN117765168B (zh) | 2023-12-12 | 2023-12-12 | 一种卫星遥感图像的三维重建方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311704814.9A CN117765168B (zh) | 2023-12-12 | 2023-12-12 | 一种卫星遥感图像的三维重建方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117765168A CN117765168A (zh) | 2024-03-26 |
| CN117765168B true CN117765168B (zh) | 2024-06-07 |
Family
ID=90309808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311704814.9A Active CN117765168B (zh) | 2023-12-12 | 2023-12-12 | 一种卫星遥感图像的三维重建方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117765168B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115205463A (zh) * | 2022-07-18 | 2022-10-18 | 中山大学·深圳 | 基于多球面场景表达的新视角图像生成方法、装置和设备 |
| CN115205494A (zh) * | 2022-07-08 | 2022-10-18 | 深圳思谋信息科技有限公司 | 对象建模方法、装置、计算机设备和存储介质 |
| CN115690324A (zh) * | 2022-11-15 | 2023-02-03 | 广州中思人工智能科技有限公司 | 一种基于点云的神经辐射场重建优化方法及装置 |
| CN116051766A (zh) * | 2022-12-30 | 2023-05-02 | 北京航空航天大学 | 一种基于神经辐射场地外行星表面环境重建方法 |
| CN116468917A (zh) * | 2023-03-17 | 2023-07-21 | 湖北星纪魅族科技有限公司 | 图像处理方法、电子设备及存储介质 |
| CN116935159A (zh) * | 2023-07-14 | 2023-10-24 | 咪咕文化科技有限公司 | 一种模型训练方法、重定位方法、设备和介质 |
-
2023
- 2023-12-12 CN CN202311704814.9A patent/CN117765168B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115205494A (zh) * | 2022-07-08 | 2022-10-18 | 深圳思谋信息科技有限公司 | 对象建模方法、装置、计算机设备和存储介质 |
| CN115205463A (zh) * | 2022-07-18 | 2022-10-18 | 中山大学·深圳 | 基于多球面场景表达的新视角图像生成方法、装置和设备 |
| CN115690324A (zh) * | 2022-11-15 | 2023-02-03 | 广州中思人工智能科技有限公司 | 一种基于点云的神经辐射场重建优化方法及装置 |
| CN116051766A (zh) * | 2022-12-30 | 2023-05-02 | 北京航空航天大学 | 一种基于神经辐射场地外行星表面环境重建方法 |
| CN116468917A (zh) * | 2023-03-17 | 2023-07-21 | 湖北星纪魅族科技有限公司 | 图像处理方法、电子设备及存储介质 |
| CN116935159A (zh) * | 2023-07-14 | 2023-10-24 | 咪咕文化科技有限公司 | 一种模型训练方法、重定位方法、设备和介质 |
Non-Patent Citations (3)
| Title |
|---|
| BARF：Bundle-Adjusting Neural Radiance Fields;Chen-Hsuan Lin etc.;arXiv:2104.06405v1;20210413;全文 * |
| NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis;Ben Mildenhall etc.;arXiv:2003.08934v2;20200803;全文 * |
| Sat-NeRF: Learning Multi-View Satellite Photogrammetry With Transient Objects and Shadow Modeling Using RPC Cameras;Roger Marí etc.;arXiv:2203.08896v2;20220421;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117765168A (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7413321B2 (ja) | 日常シーン復元エンジン | |
| US10984545B2 (en) | Estimating depth for a video stream captured with a monocular rgb camera | |
| Eltner et al. | Using deep learning for automatic water stage measurements | |
| CN116402942A (zh) | 一种融合多尺度图像特征的大规模建筑物三维重建方法 | |
| CN114972617A (zh) | 一种基于可导渲染的场景光照与反射建模方法 | |
| CN116958379A (zh) | 图像渲染方法、装置、电子设备、存储介质及程序产品 | |
| CN115272599A (zh) | 一种面向城市信息模型的三维语义地图构建方法 | |
| CN112907745B (zh) | 一种数字正射影像图生成方法及装置 | |
| CN117809016A (zh) | 一种基于深度学习的云层去除偏振定向方法 | |
| Agbossou | Fuzzy photogrammetric algorithm for city built environment capturing into urban augmented reality model | |
| CN117765168B (zh) | 一种卫星遥感图像的三维重建方法、装置及设备 | |
| CN116994012A (zh) | 一种基于生态修复的图斑匹配系统及匹配方法 | |
| Albeaik et al. | Virtual cities: 3d urban modeling from low resolution lidar data | |
| CN117765172B (zh) | 一种遥感图像三维重建的方法及装置 | |
| CN117765165A (zh) | 一种三维重建方法、装置、存储介质及电子设备 | |
| Rasmuson et al. | Addressing the shape-radiance ambiguity in view-dependent radiance fields | |
| CN117765171A (zh) | 一种三维模型重建的方法、装置、存储介质及电子设备 | |
| CN116612244B (zh) | 一种图像生成方法、装置、存储介质及电子设备 | |
| Wang | Towards Efficient 3D Reconstructions from High-Resolution Satellite Imagery | |
| Gorbatsevich et al. | Semi-Automatic Cityscape 3d Model Restoration Using Generative Adversarial Network | |
| Jiang et al. | RomniStereo: Recurrent Omnidirectional Stereo Matching | |
| CN118212366A (zh) | 基于多重遥感影像的运动目标三维重建方法及其装置 | |
| Billouard et al. | SAT-NGP: Unleashing Neural Graphics Primitives for Fast Relightable Transient-Free 3D reconstruction from Satellite Imagery | |
| Zhao et al. | Monocular Depth Estimation of Noncooperative Spacecraft Based on Deep Learning | |
| CN117765087A (zh) | 一维标尺无重叠视场多视觉传感器外参标定方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |