CN117274472A - 一种基于隐式三维表达的航空真正射影像生成方法和系统 - Google Patents

Abstract

本发明公开了一种基于隐式三维表达的航空真正射影像生成方法和系统，该方法包括：数据准备，至少包括航空影像，影像位姿与相机参数，正射影像地面分辨率；构建神经网络，利用已知相机内外参数的航空影像数据训练神经网络；渲染正射平行投影影像，即利用构建好的神经网络渲染每条光线对应的颜色，得到正射影像的像素值；根据正射影像的像素值，依据正射影像地面分辨率与坐标范围生成标准分幅的真正射影像。本发明对输入影像数据的重叠率、纹理特征要求低，能完全消除相对遮挡区域、不受显式三维重建精度影响，且能高效地利用高程数据，快速生成无损真正射影像。

Description

一种基于隐式三维表达的航空真正射影像生成方法和系统

技术领域

本发明属于计算机视觉三维重建技术领域，尤其涉及一种基于隐式三维表达的航空真正射影像生成技术，主要用于基础地理底图生产、二三维联合测图等领域。

背景技术

对中心投影影像进行数字纠正，可消除地形起伏及相机倾斜角度等因素造成的投影差，生成正射影像。但人工地物、树木等地面上有一定高度的目标，其中心投影差无法通过数字纠正消除，从而导致正射影像上存在投影差，使其地理参考作用受限。真正射影像制作旨在生成各像素均为正射投影的正射影像，如何从根本上消除投影差成为决定真正射影像质量的关键因素。

现有成熟的技术主要分为两类方法：①通过影像密集匹配生成三维点云，并通过显式三维重建生成带有真实纹理的三角网模型，由三角网模型进行正射投影采样得到真正射影像，其效果依赖三角网模型的几何精度与纹理精度，通常要求多视影像且影像间具备较高重叠度；②联合DSM、LiDAR等高程数据进行遮挡检测，非遮蔽区域直接纠正，而遮蔽区域则选取对该区域可视的影像区域进行纠正，其对地物高程信息数据要求较高且相邻区域纹理难以协调一致，无法处理地物复杂区域。现有方法对初始输入要求高且在绝对遮蔽区域完全失效，难以在数字测图等领域中较好地应用。

发明内容

本发明要解决的技术问题在于规避现有真正射影像生成中对测区三维高程及矢量信息要求高的难点，提供一种基于隐式三维表达的真正射影像生成方法。本发明利用已有视角航空影像数据，通过隐式三维表达训练神经网络，利用平行投影合成新视角影像，从而渲染得到真正射影像。

与现有方法相比，本发明对输入影像数据的重叠率、纹理特征要求低，能完全消除相对遮挡区域、不受显式三维重建精度影响，且能高效地利用高程数据，快速生成无损真正射影像。因此，该方法具有重要的实用价值和广泛的应用前景。

本发明解决其技术问题所采用的技术方案是：一种基于隐式三维表达的航空真正射影像生成方法，该方法包括以下步骤：

步骤1，数据准备，至少包括航空影像，影像位姿与相机参数，正射影像地面分辨率；

步骤2，构建神经网络，利用已知相机内外参数的航空影像数据训练神经网络；

对航空影像上每个像素对应的光线进行采样得到一系列的三维采样点，将这些三维采样点的坐标和视角作为神经网络的输入，三维采样点对应的颜色和体密度作为输出；

步骤3，渲染正射平行投影影像，即利用步骤2构建好的神经网络渲染每条光线对应的颜色，得到正射影像的像素值；

步骤4，根据正射影像的像素值，依据正射影像地面分辨率与坐标范围生成标准分幅的真正射影像。

进一步的，步骤1中还包括激光雷达数据。

进一步的，步骤2的具体实现方法为：

步骤2.1，沿光线r(t)采样三维空间点，t对应光线上的位置；

步骤2.2，构建神经网络F，采样点的坐标位置(x,y,z)和视角方向(θ,φ)作为输入，对应的颜色c和体密度σ作为输出构建一个全连接MLP神经网络F，对应关系为(c,σ)＝F(x,y,z,θ,φ)；

步骤2.3，渲染点投影航空影像：根据体绘制理论，沿光线r(t)积分得到光线在航空影像上对应的颜色其中δ_i＝t_i+1-t_i表示采样点间的距离；σ_i和c_i分别表示采样点t_i的体密度和颜色；/>表示光线从第一个采样点到t_i的累积透射率；

步骤2.4，限制约束条件：对于一组光线R，神经网络训练的损失函数定义为其中C(r(t)为光线r(t)在航空影像上对应的真正颜色。

进一步的，步骤2的具体实现方法为：

步骤2.1，沿光线r(t)采样三维空间点，t对应光线上的位置；

步骤2.2，构建神经网络F，采样点的坐标位置(x,y,z)和视角方向(θ,φ)作为输入，对应的颜色c和体密度σ作为输出构建一个全连接MLP神经网络F，对应关系为(c,σ)＝F(x,y,z,θ,φ)；

步骤2.3，渲染点投影航空影像：根据体绘制理论，沿光线r(t)积分得到光线在航空影像上对应的颜色其中δ_i＝t_i+1-t_i表示采样点间的距离；σ_i和c_i分别表示采样点t_i的体密度和颜色；/>表示光线从第一个采样点到t_i的累积透射率；

步骤2.4，限制约束条件：对于一组光线R，神经网络训练的损失函数分为L_c和L_lidar两部分，其中c_ij表示第j条光线的第i个采样点对应的颜色，c_lidar表示该采样点在三维空间中对应的激光雷达点云颜色，可通过K近邻算法寻找附近激光雷达点云并根据距离加权计算。

进一步的，步骤2.1中，每个像素对应的光线r(t)＝o+td从原点o发射，沿着方向d进行传播，对该光线进行采样，均匀或随机采样光线上的N个三维点，获得对应的坐标位置(x,y,z)和视角方向(θ,φ)，其中θ表示俯仰角，φ表示方位角；若激光雷达数据未知。

进一步的，步骤2.1中，每个像素对应的光线r(t)＝o+td从原点o发射，沿着方向d进行传播，对该光线进行采样，根据激光雷达数据计算场景中目标物体包围盒V＝{(x,y,z)|x∈(x_min,x_max),…∈(y_min,y_max),z∈(z_min,z_max)}，在光线与包围盒交集的范围内进行采样，其中x_min、x_max、y_min、y_max、z_min、z_max分别代表激光雷达数据在x、y、z三个方向上的最小值和最大值。采样点表示为t_i(i＝1,2,…,N)，其中N是采样点的个数；获得对应的坐标位置(x,y,z)和视角方向(θ,φ)，其中θ表示俯仰角，φ表示方位角。

进一步的，步骤3中，正射平行投影影像渲染的具体方法为：

步骤3.1，确定目标正射影像的目标范围在三维世界中x,y方向的坐标范围l_x,l_y，若激光雷达数据已知，则l_x＝x_max-x_min，l_y＝y_max-y_min；否则，根据航空影像相机位置的范围确定，即l_x＝pose_x_max-pose_x_min，l_y＝pose_y_max-pose_y_min，其中pose_x_max、pose_x_min、pose_y_max、pose_y_min分别代表所有航空影像相机位置在x、y两个方向上的最大值和最小值；

步骤3.2，确定目标正射影像的尺寸w、h，则需渲染w×h条光线，光线按照等间距平行且方向沿z轴排列，o_center为正射影像在三维世界的中心，d为光线间距，即正射影像的地面分辨率，

步骤3.3，确定正射影像在三维世界的中心o_center＝(x_center,y_center,z_center)，默认设为航空影像相机在三维世界中x,y,z三个方向的均值；

步骤3.4，确定每条光线的发射源位置 其中m代表目标正射影像的第m行，n代表目标正射影像的第n列；由于平行投影的特殊性，/>可设为同一值z_center，

步骤3.5，确定每条光线的发射方向，所有光线发射方向均为沿着z轴负方向；

步骤3.6，渲染每个光线的颜色，利用步骤2构建好的神经网络渲染每条光线对应的颜色，得到大小为w×h×3的颜色矩阵M，M中每个元素对应正射影像的像素值。

进一步的，步骤4中，真正射影像生成的具体方法为：

步骤4.1，依据正射影像地面分辨率与坐标范围确认地形图图幅；

步骤4.2，将步骤3中的各像素值记录至地形图幅范围，得到标准分幅的真正射影像。

进一步的，所述影像位姿与相机参数包括①影像位姿参数，即相机在三维空间中的位置和方向；②相机内部参数，即焦距、像主点位置、畸变参数。

本发明还提供一种基于隐式三维表达的航空真正射影像生成系统，包括如下模块：

数据准备模块，用于数据准备，至少包括航空影像，影像位姿与相机参数，正射影像地面分辨率；

神经网络构建模块，用于构建神经网络，利用已知相机内外参数的航空影像数据训练神经网络；

对航空影像上每个像素对应的光线进行采样得到一系列的三维采样点，将这些三维采样点的坐标和视角作为神经网络的输入，三维采样点对应的颜色和体密度作为输出；

渲染模块，用于渲染正射平行投影影像，即利用构建好的神经网络渲染每条光线对应的颜色，得到正射影像的像素值；

真正射影像生成模块，用于根据正射影像的像素值，依据正射影像地面分辨率与坐标范围生成标准分幅的真正射影像。

本发明产生的有益效果是：

1)本发明对航空影像，利用其影像位姿参数及相机内部参数，构造神经辐射辐射场，通过隐式三维表达训练神经网络，经过平行投影合成新的下视视角影像，从而渲染得到真正射影像；

2)支持LiDAR等地形数据辅助，对输入影像数据的重叠度、纹理特征要求低，可完全消除相对遮挡区域，不受显式三维重建精度影响，生成速度相对传统方法显著提升。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明实施例的总体流程图；

图2为本发明将已知视角航空影像数据输入神经辐射场原理图；

图3为本发明利用神经辐射场进行正射投影的原理图；

图4为本发明生成的真正射影像示例图。

图5为中心投影的航空影像与本发明生成的真正射影像的目视效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例的基于隐式三维表达的航空真正射影像生成方法，包括以下步骤：

步骤1，数据准备。本方法需要的输入数据包括：1)航空影像；2)影像对应的相机内外参数；3)正射影像地面分辨率d；4)激光雷达数据(可选)；

其中影像位姿与相机参数包括①影像位姿参数，即相机在三维空间中的位置和方向；②相机内部参数，即焦距、像主点位置、畸变参数。

步骤2，神经辐射场即神经网络构建如图2所示，具体方法如下：

从底层理解神经辐射场就是MLP全连神经网络，是一种面向三维隐式空间建模的深度学习模型，采样点的位置和视角作为输入，颜色和体密度作为输出。叫神经辐射场主要是因为这种结构的网络能够表示出一个三维场景中任意一点的颜色和体密度信息，即三维空间被表示为一组可学习且连续的辐射场。在三维领域中这种新技术被称为神经辐射场。

步骤1中的数据用于步骤2作为输入，对影像上每个像素对应的光线进行采样得到一系列的三维采样点，这个在详细的步骤说明，这些三维采样点的坐标和视角作为步骤2网络的输入，三维采样点对应的颜色和体密度作为输出。

步骤2.1，沿光线采样三维空间点。每个像素对应的光线r(t)＝o+td从原点o发射，沿着方向d进行传播，t对应光线上的位置。对该光线进行采样，获得对应的坐标位置(x,y,z)和视角方向(θ,φ)，其中θ表示俯仰角，φ表示方位角。若激光雷达数据未知，则均匀或随机采样光线上的N个三维点，否则，根据激光雷达数据计算场景中目标物体包围盒V＝{(x,y,z)|x∈(x_min,x_max),y∈(y_min,y_max),z∈(z_min,z_max)}，在光线与包围盒交集的范围内进行采样，其中x_min、x_max、y_min、y_max、z_min、z_max分别代表激光雷达数据在x、y、z三个方向上的最小值和最大值。采样点表示为t_i(i＝1,2,…,N)，其中N是采样点的个数。

步骤2.2，构建神经网络F。采样点的坐标位置(x,y,z)和视角方向(θ,φ)作为输入，对应的颜色c和体密度σ作为输出构建一个全连接MLP神经网络F，对应关系为(c,σ)＝F(x,y,z,θ,φ)。

步骤2.3，渲染点投影航空影像。根据体绘制理论，沿光线r(t)积分得到光线在航空影像上对应的颜色其中δ_i＝t_i+1-t_i表示采样点间的距离；σ_i和c_i分别表示采样点t_i的体密度和颜色；/>表示光线从第一个采样点到t_i的累积透射率。

步骤2.4，限制约束条件。对于一组光线R，若激光雷达数据未知，网络训练的损失函数定义为其中C(r(t))为光线r(t)在航空影像上对应的真正颜色。若激光雷达数据已知，网络训练的损失函数分为L_c和L_lidar两部分，其中c_ij表示第j条光线的第i个采样点对应的颜色。c_lidar表示该采样点在三维空间中对应的激光雷达点云颜色，可通过K近邻算法寻找附近激光雷达点云并根据距离加权计算。

步骤3，渲染正射平行投影影像，即利用步骤2构建好的神经网络渲染每条光线对应的颜色，得到正射影像的像素值；步骤3.1，确定目标正射影像的目标范围在三维世界中x,y方向的坐标范围l_x,l_y。若激光雷达数据已知，则l_x＝x_max-x_min，l_y＝y_max-y_min。否则，根据航空影像相机位置的范围确定，即l_x＝pose_x_max-pose_x_min，l_y＝pose_y_max-pose_y_min，其中pose_x_max、pose_x_min、pose_y_max、pose_y_min分别代表所有航空影像相机位置在x、y两个方向上的最大值和最小值。

步骤3.2，确定目标正射影像的尺寸w、h，则需渲染w×h条光线。如图3所示，光线按照等间距平行且方向沿z轴排列。o_center为正射影像在三维世界的中心，d为光线间距，即正射影像的地面分辨率。

步骤3.3，确定正射影像在三维世界的中心o_center＝(x_center,y_center,z_center)，默认设为航空影像相机在三维世界中x,y,z三个方向的均值。

步骤3.4，确定每条光线的发射源位置 其中m代表目标正射影像的第m行，n代表目标正射影像的第n列。如图3所示，由于平行投影的特殊性，/> 可设为同一值z_center，/> 步骤3.5，确定每条光线的发射方向。所有光线发射方向均为沿着z轴负方向。

步骤3.6，渲染每个光线的颜色。利用步骤2构建好的神经辐射场渲染每条光线对应的颜色，得到大小为w×h×3的颜色矩阵M，M中每个元素对应正射影像的像素值。

步骤4，真正射影像生成具体步骤如下：

步骤4.1，依据正射影像地面分辨率与坐标范围确认地形图图幅；

步骤4.2，将步骤3中的各像素值记录至地形图图幅范围，得到标准分幅的真正射影像。如图4所示结果，1988×1326×3的颜色矩阵形成分辨率为1988×1326的正射影像。

根据上述实施例的具体步骤，以某测区57张具有相机内外参数的影像为例，构建地面分辨率为1m的真正射影像。由于雷达数据未知，根据航空影像相机位置的范围确定目标范围在三维世界中x,y方向的坐标范围l_x＝1988，l_y＝1326。则目标正射影像的尺寸w＝1988、h＝1326。通过确定每条光线的发射源位置o_ij＝(x_ij,y_ij,z_ij)以及发射方向均为沿着z轴负方向的已知条件，渲染出大小为1988×1326×3颜色矩阵M，并生成大小为1988×1326的真正射影像。对本发明生成的真正射影像与中心投影的航空影像进行比较，目视效果如图5所示。图5的目视效果证明了本发明生成的真正射影像在建筑物等遮挡区域具有较好的效果。

另一方面，本发明实施例还提供一种基于隐式三维表达的航空真正射影像生成系统，包括如下模块：

数据准备模块，用于数据准备，至少包括航空影像，影像位姿与相机参数，正射影像地面分辨率；

神经网络构建模块，用于构建神经网络，利用已知相机内外参数的航空影像数据训练神经网络；

对航空影像上每个像素对应的光线进行采样得到一系列的三维采样点，将这些三维采样点的坐标和视角作为神经网络的输入，三维采样点对应的颜色和体密度作为输出；

渲染模块，用于渲染正射平行投影影像，即利用构建好的神经网络渲染每条光线对应的颜色，得到正射影像的像素值；

真正射影像生成模块，用于根据正射影像的像素值，依据正射影像地面分辨率与坐标范围生成标准分幅的真正射影像。

在具体操作时，本发明提出的方法可以借助计算机软件技术进行实施，以实现自动化的流程执行。实施该方法的系统装置可以包括存储相关计算机程序的可读存储介质，以及能够运行这些计算机程序的计算机设备。需要强调的是，这些实施方式都属于本发明的保护范围之内，可以被技术领域内的专业人员采用。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于隐式三维表达的航空真正射影像生成方法，其特征在于，包括如下步骤：

步骤1，数据准备，至少包括航空影像，影像位姿与相机参数，正射影像地面分辨率；

步骤2，构建神经网络，利用已知相机内外参数的航空影像数据训练神经网络；

对航空影像上每个像素对应的光线进行采样得到一系列的三维采样点，将这些三维采样点的坐标和视角作为神经网络的输入，三维采样点对应的颜色和体密度作为输出；

步骤3，渲染正射平行投影影像，即利用步骤2构建好的神经网络渲染每条光线对应的颜色，得到正射影像的像素值；

步骤4，根据正射影像的像素值，依据正射影像地面分辨率与坐标范围生成标准分幅的真正射影像。

2.根据权利要求1所述的基于隐式三维表达的航空真正射影像生成方法，其特征在于：步骤1中还包括激光雷达数据。

3.根据权利要求1所述的基于隐式三维表达的航空真正射影像生成方法，其特征在于：步骤2的具体实现方法为：

步骤2.1，沿光线r(t)采样三维空间点，t对应光线上的位置；

步骤2.2，构建神经网络F，采样点的坐标位置(x，y，z)和视角方向(θ，φ)作为输入，对应的颜色c和体密度σ作为输出构建一个全连接MLP神经网络F，对应关系为(c，σ)＝F(x，y，z，θ，φ)；

步骤2.3，渲染点投影航空影像：根据体绘制理论，沿光线r(t)积分得到光线在航空影像上对应的颜色其中δ_i＝t_i+1-t_i表示采样点间的距离；σ_i和c_i分别表示采样点t_i的体密度和颜色；/>表示光线从第一个采样点到t_i的累积透射率，N表示采样点的个数；

步骤2.4，限制约束条件：对于一组光线R，神经网络训练的损失函数定义为其中C(r(t)为光线r(t)在航空影像上对应的真正颜色。

4.根据权利要求2所述的基于隐式三维表达的航空真正射影像生成方法，其特征在于：步骤2的具体实现方法为：

步骤2.1，沿光线r(t)采样三维空间点，t对应光线上的位置；

步骤2.2，构建神经网络F，采样点的坐标位置(x，y，z)和视角方向(θ，φ)作为输入，对应的颜色c和体密度σ作为输出构建一个全连接MLP神经网络F，对应关系为(c，σ)＝F(x，y，z，θ，φ)；

步骤2.3，渲染点投影航空影像：根据体绘制理论，沿光线r(t)积分得到光线在航空影像上对应的颜色其中δ_i＝t_i+1-t_i表示采样点间的距离；σ_i和c_i分别表示采样点t_i的体密度和颜色；/>表示光线从第一个采样点到t_i的累积透射率，N表示采样点的个数；

步骤2.4，限制约束条件：对于一组光线R，神经网络训练的损失函数分为L_c和L_lidar两部分，其中c_ij表示第j条光线的第i个采样点对应的颜色，c_lidar表示该采样点在三维空间中对应的激光雷达点云颜色，可通过K近邻算法寻找附近激光雷达点云并根据距离加权计算。

5.根据权利要求3所述的基于隐式三维表达的航空真正射影像生成方法，其特征在于：步骤2.1中，每个像素对应的光线r(t)＝o+td从原点o发射，沿着方向d进行传播，对该光线进行采样，均匀或随机采样光线上的N个三维点，获得对应的坐标位置(x，y，z)和视角方向(θ，φ)，其中θ表示俯仰角，φ表示方位角。

6.根据权利要求4所述的基于隐式三维表达的航空真正射影像生成方法，其特征在于：步骤2.1中，每个像素对应的光线r(t)＝o+td从原点o发射，沿着方向d进行传播，对该光线进行采样，根据激光雷达数据计算场景中目标物体包围盒V＝{(x，y，z)|x∈(x_min，x_max)，y∈(y_min，y_max)，z∈(z_min，z_max)}，在光线与包围盒交集的范围内进行采样，其中x_min、x_max、y_min、y_max、z_min、z_max分别代表激光雷达数据在x、y、z三个方向上的最小值和最大值；采样点表示为t_i，i＝1，2，...，N，其中N是采样点的个数，获得对应的坐标位置(x，y，z)和视角方向(θ，φ)，其中θ表示俯仰角，φ表示方位角。

7.根据权利要求1所述的基于隐式三维表达的航空真正射影像生成方法，其特征在于：步骤3中，正射平行投影影像渲染的具体方法为：

步骤3.1，确定目标正射影像的目标范围在三维世界中x，y方向的坐标范围l_x，l_y，若激光雷达数据已知，则l_x＝x_max-x_min，l_y＝y_max-y_min；否则，根据航空影像相机位置的范围确定，即l_x＝pose_x_max-pose_x_min，l_y＝pose_y_max-pose_y_min，其中pose_x_max、pose_x_min、pose_y_max、pose_y_min分别代表所有航空影像相机位置在x、y两个方向上的最大值和最小值；

步骤3.2，确定目标正射影像的尺寸w、h，则需渲染w×h条光线，光线按照等间距平行且方向沿z轴排列，o_center为正射影像在三维世界的中心，d为光线间距，即正射影像的地面分辨率，

步骤3.3，确定正射影像在三维世界的中心o_center＝(x_center，y_center，z_center)，默认设为航空影像相机在三维世界中x，y，z三个方向的均值；

步骤3.4，确定每条光线的发射源位置o_mn＝(x_mn，y_mn，z_mn)， 其中m代表目标正射影像的第m行，n代表目标正射影像的第n列；由于平行投影的特殊性，/>可设为同一值z_center，

步骤3.5，确定每条光线的发射方向，所有光线发射方向均为沿着z轴负方向；

步骤3.6，渲染每个光线的颜色，利用步骤2构建好的神经网络渲染每条光线对应的颜色，得到大小为w×h×3的颜色矩阵M，M中每个元素对应正射影像的像素值。

8.根据权利要求1所述的基于隐式三维表达的航空真正射影像生成方法，其特征在于：步骤4中，真正射影像生成的具体方法为：

步骤4.1，依据正射影像地面分辨率与坐标范围确认地形图图幅；

步骤4.2，将步骤3中的各像素值记录至地形图幅范围，得到标准分幅的真正射影像。

9.根据权利要求1所述的基于隐式三维表达的航空真正射影像生成方法，其特征在于：所述影像位姿与相机参数包括①影像位姿参数，即相机在三维空间中的位置和方向；②相机内部参数，即焦距、像主点位置、畸变参数。

10.一种基于隐式三维表达的航空真正射影像生成系统，其特征在于，包括如下模块：

数据准备模块，用于数据准备，至少包括航空影像，影像位姿与相机参数，正射影像地面分辨率；

神经网络构建模块，用于构建神经网络，利用已知相机内外参数的航空影像数据训练神经网络；

对航空影像上每个像素对应的光线进行采样得到一系列的三维采样点，将这些三维采样点的坐标和视角作为神经网络的输入，三维采样点对应的颜色和体密度作为输出；

渲染模块，用于渲染正射平行投影影像，即利用构建好的神经网络渲染每条光线对应的颜色，得到正射影像的像素值；

真正射影像生成模块，用于根据正射影像的像素值，依据正射影像地面分辨率与坐标范围生成标准分幅的真正射影像。