CN114913297A - 一种基于mvs稠密点云的场景正射影像生成方法 - Google Patents

Abstract

本发明公开了一种基于MVS稠密点云的正射影像生成方法，属于地景建模与测绘技术领域。所述方法首先利用多视角立体三维重建(MVS)算法获取目标建模场景区域的稠密点云，然后利用点云滤波算法去除稠密点云中的离群点；然后利用地面标记点和相机位置计算出稠密点云中对应的水平面，计算出场景投影平面；计算出正射影像图像分辨率，利用点云中稠密点的RGB颜色值初步生成正射影像；处理空像素，优化正射影像最终效果。本发明在获得目标区域稠密点云的前提下，优点在于计算直接，避免了传统方法中从倾斜影像中生成正射影像时出现遮蔽现象的问题，从而提高了正射影像的准确率。

Description

一种基于MVS稠密点云的场景正射影像生成方法

技术领域

本发明属于地景建模与测绘技术领域，涉及一种利用多视角立体三维重建(MVS)算法得到的地面场景稠密点云生成正射影像的方法。

背景技术

随着计算机视觉技术的不断的发展，对地面场景进行建模并且生成目标场景的正射影像也处于越来越重要的地位。对地面场景建模常见的一种方法是利用倾斜影像采集地面场景的图像数据，再通过图像进一步完成地面场景三维模型的重建。具体而言，首先利用无人机倾斜摄影获得建模区域的图像，其次通过运动推断结构(Structrue-from-Motion，SfM)算法得到相机位置和姿势，然后利用多视图立体三维重建算法(Mulit-View Steros，MVS)得到地面场景的三维模型。其中SfM算法是可以从多幅二维图像中推断出相机的参数和场景三维结构的技术，其中相机的参数包括相机的内参和外参；而场景的三维结构是指图像中特征点的三维信息，称为稀疏点云。MVS三维重建是利用一组标定的二维多视角图像重建三维几何形状的算法；实现方法是利用SfM获取二维图像的相机参数和稀疏点云，重建出目标区域的详细信息，常见的输出结果是目标模型的稠密点云。

本发明在对目标地面场景建模的过程中，使用已生成的稠密点云生成目标地面场景的正射影像。

正射影像是具有正射投影性质的图像，其具有现势性和完整性。正射影像的快速准确的获取有着至关重要的作用，在实际应用中正射影像可作为背景控制信息，可评价其他数据的精度，可从中提取自然和人文信息，可用做地图的更新，也可用于数字城市建设和城市规划设计。对于地面场景建模而言，在建模的过程中，获得正射影像可以用来进一步完善建模结果，对目标场景进行分类，提高效率，优化建模的效果。

传统的正射影像生成方法是利用中心投影影像通过数字纠正的方法生成。但是在获取地面场景稠密点云的前提下，利用本发明所提出的方法可以直观准确的生成正射影像，可以避免在由中心投影影像制作正射影像过程中，逐像元进行辐射纠正、微分纠正和镶嵌所产生的运算量和误差。

发明内容

本发明针对目标区域地面场景正射影像的生成问题，提供一种基于MVS稠密点云生成正射影像的方法。以得到的正射影像为基础，可以进一步对目标区域进行分析，也可以完善地面场景的重建结果。

本发明提供的所述一种基于MVS稠密点云的场景正射影像生成方法，包括以下步骤：

S1：利用倾斜摄影的方法获得目标地面场景区域的航空影像，利用SfM算法和MVS算法获取目标地面场景区域稠密点云，然后利用滤波算法去除稠密点云中的离群点；

S2：利用地面标记点、SfM算法所得相机位置计算出稠密点云中对应的水平面表达式，对稠密点云进行旋转得到投影平面；

S3：计算正射影像的图像分辨率，利用稠密点云中三维点的颜色初步生成正射影像；

S4：利用相邻像素的颜色RGB信息处理空像素，优化正射影像最终效果。

进一步地，所述步骤S1中生成目标地面场景区域稠密点云的算法流程为：

S1-1：在无人机采集目标区域地景航拍图像的过程前，地面设置t个标记点；

S1-2：操作无人机采集的目标建模区域的图像，并获飞行过程中无人机地理位置信息；

S1-3：经过SfM获取相机外参与图像中特征点的三维信息，其中外参是指相机的位置与姿势；

S1-4：经过MVS重建获取的目标区域稠密点云，稠密点云中包含地面标记点对应的三维点集；稠密点云要求基本可以覆盖目标建模场景，没有大面积的缺失信息；

S1-5：利用PCL(Point Cloud Library)中提供的高斯滤波、条件滤波、基于随机采样一致性滤波等滤波方法去除稠密点云中的离群点。

至此，已经获得了目标区域地面场景的稠密点云，稠密点云基本覆盖目标区域，没有大面积的缺失信息，点云基本没有离群点。

进一步地，所属步骤S2中利用地面标记点、相机位置计算出稠密点云中对应的水平面，对目标场景稠密点云进行旋转得到投影平面的算法流程为：

S2-1：计算出一个参考向量

用于判断相对水平面法向量的方向；

S2-2：当在S1-1步骤中设置地面标记点时，利用地面标记点信息求解目标场景稠密点云中的相对水平面；

S2-3：若没有设置地面标记点，利用SfM得到的相机位置求解目标场景稠密点云中的相对水平面；

S2-4：利用相对水平面表达式计算出旋转矩阵R，通过旋转矩阵R将稠密进行旋转，使得场景中的水平面方向向量为(0,0,1)^T，将旋转后的水平面视为投影平面。

至此，已经计算出稠密点云中相对水平面的方程表达式，并将其作为投影平面，在后续步骤中得到正射影像。

进一步地，所述步骤S3计算正射影像的图像分辨率，利用稠密点云中三维点的颜色初步生成正射影像的算法流程为：

S3-1：从完成旋转的稠密点云中，选择生成正射影像的区域，记录其包围盒；

S3-2：计算正射影像图像分辨率M×N，其中，若设置地面标记点，利用地面标记点和设置的地面分辨率，计算出正射影像图像分辨率；若没有设置地面标记点，则利用生成正射影像的区域范围和点云密度，计算出正射影像图像分辨率；

S3-3：计算出点云中的三维点对应的像素坐标(i,j)，利用点云中三维点的颜色RGB值，初步确认每个像素的RGB颜色值。如果像素对应三维点数目为0，则记录空像素(i,j)，在后续的步骤中进行进一步处理空像素；如果对应三维点数目为1，像素(i,j)的RGB颜色值等于三维点RGB颜色值；如果对应三维点数目大于1，像素(i,j)的RGB颜色值等于多个三维点中z值最大的三维点的RGB颜色值。由于本发明要求稠密点云可以覆盖目标场景，没有大面积的缺失。所以空像素的数量较少，可以通过修复，进一步优化生成正射投影图的显示结果。

进一步地，所述步骤S4处理空像素，优化正射影像最终显示效果的算法流程为：

S4-1：若(i,j)为空像素，8-邻域像素全部不为空，则利用8-邻域像素的RGB颜色值计算(i,j)的RGB颜色值；

S4-2：若空像素(i,j)的8-邻域像素内的像素全部为空，则从相邻像素不全为空的像素开始计算；

S4-3：若空像素(i,j)的8-邻域内的像素部分为空，则只计算不为空的像素的颜色RGB的均值；

S4-4：根据每个空像素(i,j)的8-邻域内的像素的情况，计算出所有像素的RGB值。

本发明实施提供的一种利用目标场景中的稠密点云生成正射影像的方法。利用此正射影像对场景模型进行完善，也可以对目标场景进行分析。与传统生成正射影像的方法相比，在获得目标区域场景稠密点云的前提下，本发明的优点在于：

(1)可以通过稠密点云方便快捷的获得目标区域的正射影像，计算方式直接快捷。

(2)所生成的正射影像是直接从三维信息中生成的，所以避免传统方法中从倾斜影像中生成正射影像时出现的遮蔽现象，进而避免影像校准的过程，提高正射影像的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：

图1为本发明实施例提供的基于MVS算法重建地面场景稠密点云的正射影像方法流程图；

图2为获得目标区域地面场景稠密点云流程图

图3为目标区域地面场景稠密点云局部示意图；

图4为旋转目标地面场景稠密点云得到投影平面流程图；

图5为利用目标地面场景稠密点云生成正射影像流程图；

图6为利用稠密点云中三维点的颜色初步生成正射影像局部示意图；

图7为经过优化消除空像素局部示意图

图8为目标区域地面场景正射影像示意图

具体实施方式

为使本发明的技术方案更加清楚，下面结合附图对本发明做进一步阐述。整体流程图如图1所示。

具体地，一种基于MVS稠密点云的场景正射影像生成方法，具体包括以下步骤：

S1：利用倾斜摄影的方法获得目标地面场景区域的航空影像，利用SfM算法和MVS算法重建出所述目标区域的稠密点云，并通过滤波算法去除所述稠密点云中的离群点。

S2：利用地面标记点和SfM算法所得相机位置计算出所述稠密点云中对应的水平面表达式，旋转目标场景稠密点云得到投影平面。由于经过MVS重建出的地面场景稠密点云的水平面并不与XYZ直角坐标系中的某个坐标系平面平行。所以在此步骤中，旋转稠密点云使得稠密点云中的相对水平面与XOY平面平行。

S3：计算正射影像图像分辨率，利用稠密点云中三维点的颜色信息初步生成正射影像。

S4：利用相邻像素的颜色RGB值消除S3步骤生成的正射影像中存在的空像素。由于本发明要求稠密点云可以覆盖目标场景，没有大面积的缺失。所以空像素的数量较少，可以进行修复，进一步优化生成正射投影图的显示结果。

如图2流程图所示，步骤S1中获得目标区域地面场景稠密点云具体算法流程为：

S1-1：在无人机采集目标区域地景航拍图像的过程前，地面设置t个标记点，其中t＞2；

S1-2：对搭载倾斜相机的无人机进行巡航任务规划和手动操作，采集建模出目标区域的航拍图片，在此过程中记录无人机地理位置信息(POS点)，POS点主要包括GPS数据和IMU数据，即倾斜摄影测量中的外方位元素，其中GPS数据包括相机拍摄时经度、维度和高程数据；对于在地面设置的标记点，航拍图像中包括标记点信息；

S1-3：利用SfM得到图像对应的相机在稠密点云三维坐标系中的位置和姿势，并得到图像中特征点的三维信息；开源SfM算法包括：openSFM，openMVG，colmap等；

S1-4：利用SfM得到的相机位置姿势和特征点三维信息，经过MVS算法，重建得到目标区域的稠密点云。开源MVS算法包括：PMVS，openMVS，colmap等；此步骤中，会生成一组包含与稠密点云中的三维点集P_mark，P_mark与航拍图像中的地面标记点P_real一一对应；为了最终的正射影像的完整性，本发明要求稠密点云可以覆盖目标区域的场景，没有大面积的缺失信息；

S1-5：利用PCL库提供的基于随机采样一致性滤波的方法，删除稠密点云中的离群点；

最终目标区域建模稠密点云局部如图3所示，至此，已经获得了目标区域地面场景的稠密点云，稠密点云基本覆盖目标区域，没有大面积的缺失信息，点云基本没有离群点。

稠密点云的相对水平面并不与XYZ直角坐标系中的某个坐标系平面平行，在步骤S2中旋转稠密点云，将模型中的相对水平面旋转到与XOY平面平行，将相对水平面作为投影平面。如图4流程图所示，步骤S2具体算法流程为：

S2-1：在稠密点云中，随机选取一个三维点，记为p_t(x_t,y_t,z_t)^T；随机选择相机位置记为p_f(x_f,y_f,z_f)^T，利用p_t和p_f计算出一个参考向量

如公式(1所示，

在后续步骤中用于判断模型中相对水平面法向量的方向；

S2-2：当在S1-1步骤中地面设置标记点时，求解目标场景稠密点云中的相对水平面，水平面方程表达式记为a₁x+b₁y+z+c₁＝0；真实场景中的地面标记为P_real＝{P₁,P₂,…,P_n}，其中P_i＝(X_i,Y_i,Z_i)^T，而在稠密点云三维坐标中与P_real一一对应的三维点集为P_mark＝{p₁,p₂,…,p_n}，其中p_i＝(x_i,y_i,z_i)^T；

计算P_real中Z值最大值Z_max与最小值Z_min，若(Z_max-Z_min)≤0.05m，则可以判断目标场景内地面基本与水平面平行，即与P_real一一对应的点集P_mark拟合出的平面为模型场景中的相对水平面；采用最小二乘法利用三维点集合P_mark＝{p₁,p₂,…,p_n}拟合点云中的水平面；水平面方程表达式记为a₁x+b₁y+z+c₁＝0，最小二乘法矩阵表示如公式(2)所示：

Ax＝b (2)

其中

其中(x₁,y₁,z₁)^T,(x₂,y₂,z₂)^T,…,(x_n,y_n,z_n)^T表示P_mark中三维点坐标，使用正规方程x＝(A^TA)^-1A^Tb求得x中a₁,b₁,c₁的值，此时相对水平面法向量记为

若向量(a₁,b_1,1^T与参考向量

之间的夹角为锐角，则平面法向量记为

否则平面法向量记为

若(Z_max-Z_min)＞0.05m，表示目标场景内地面与水平面不平行，将地面标记点P_real中Z值代表的高度设置为同一常数，即可表示为真实场景中同一水平面的一组点，记为P_{horizontal_real}＝{P_h,1,P_h,2,…,P_h,n}，其中所有的Z值均设置为T，P_{horizontal_real}集合中的P_h,i与P_real中的P_i有相同X值和Y值，即若P_i＝(X_i,Y_i,Z_i)^T，则有P_h,i＝(X_i,Y_i,T)^T；

任选两地面标记点P_j和P_k之间的实际距离，记为l_n(单位：米m)；在稠密点云中计算地面标记点P_j和P_k在模型中的距离，记为l_m，则模型中的单位长度对应的真实场景中的实际距离记为l，计算方法如公式(3)所示：

由于在实际运算过程中P_j和P_k可能会存在较大误差，影响最终结果，因此l的计算如公式(4)所示：

其中p_i表示P_mark中第i个点，P_i表示P_real中第i个点，||p_i+1-p_i||计算p_i与p_i+1之间的距离；

点集合P_{horizontal_real}中的一点P_h,i在稠密点云中的坐标p_h,i＝(x_h,i,y_h,i,z_h,i)^T可以通过公式(5)计算：

其中Z_i表示与P_h,i有相同X值和Y值的地面标记点P_i的Z值，(x_i,y_i,z_i)^T表示地面标记点P_i对应的稠密点云中的三维点p_i的三维坐标。(a,b,c)^T表示目标场景点云中相对水平面的单位法向量，即a²+b²+c²＝1；相对水平面的法向量可等价表示为

其中

若向量(a₁,b₁,1)^T与参考向量

之间的夹角为锐角，则平面法向量记为

否则平面法向量记为

S2-3：若在采集图像的过程中，若地面没有设置标记点，则用如下方法计算模型中相对水平面的表达式a₁x+b₁y+z+c₁＝0；在无人机搭载倾斜相机采集数据时，获取的无人机影像会携带配套的POS点数据。使用POS点数据筛选出无人机保持在同一高度h进行巡航时获取的图像，结合这些图像经过SfM算法得到的相机位置，利用最小二乘法可以拟合出稠密点云场景坐标中高度为h的平面方程，此平面方程与水平面平行；若向量(a₁,b₁,1^T与参考向量

之间的夹角为锐角，则平面法向量记为

否则平面法向量记为

S2-4：使用Rodrigues公式，计算出向量

与向量(0,0,1)的旋转矩阵R，当

时，旋转矩阵R如公式(6)所示：

其中，

表示向量(a₁,b₁,1^T与向量(0,0,1)^T夹角的余弦值，此时

平面法向量

可以通过旋转矩阵R进行旋转，旋转后结果为

通过旋转矩阵R将稠密点云进行旋转，使得场景中的水平面平行于XOY平面，并将旋转后的水平面视为投影平面。对于稠密模型中的任意三维点p_before，可得旋转后的点p_after：

p_after＝Rp_before (7)

至此，已经计算出稠密点云中相对水平面的方程表达式，并将稠密点云进行旋转，水平面作为投影平面在后续的步骤中生成正射影像。

如图5流程图所示，步骤S3和S4利用旋转后的目标区域地面场景稠密点云生成正射影像具体算法流程为：

S3-1：从完成旋转的稠密点云中选择生成正射影像的区域。该区域用包围盒进行表示，x方向上最小值x_min和最大值x_max，y方向最小值y_min和最大值y_max，z方向上的最小值z_min和最大值z_max；

S3-2：计算正射影像图像分辨率。正射影像的图像分辨率记为M×N，其中M和N分别表示在图像的x方向上和图像的y方向的像素数量；设置地面分辨率为λ，单位像素覆盖实际场景λ×λ的面积(单位：平方厘米cm²)。可得像素分辨率M和N，分别如公式(8)、(9)所示：

其中l为模型中的单位长度对应的真实场景中的实际距离；设置地面分辨率为λ需要结合模型实际结果，如果地面分辨率为λ影像生成的正射影像效果；

若地面没有设置标记点，则无法准确计算出通过稠密三维点云生成正射影像的地面分辨率。此时利用稠密点云密度计算正射影像的地面分辨率。ρ为点云密度，表示稠密点云在XOY平面内单位面积内的点云数量，num表示点云中三维点的数量,如公式(10)所示：

此时，像素分辨率M和N由公式(11)、公式(12)计算，其中

运算表示向上取整运算：

其中r为给定参数，用来调整稠密点云中单位面积内对应的像素的数量；

S3-3：计算点云中的三维点对应的像素坐标(i,j)。对于点云中的三维点p(x_p,y_p,z_p)^T，可以通过以下公式计算出三维点对应在M×N图像中的像素坐标(i,j)如公式(13)、(14)所示，其中

运算表示向下取整运算：

点云场景中横坐标值为x_min，纵坐标值为y_min三维点对应在图像中的像素坐标为(1,1)；

S3-4：基于像素(i,j)对应三维点的数量，给出相应图像像素的颜色RGB值。具体而言：若像素(i,j)对应的三维点个数为1，像素(i,j)对应三维点记为p_i,j，则点p_i,j对应的颜色RGB值为像素(i,j)对应的颜色RGB值；若像素(i,j)对应的三维点的个数大于1，则像素(i,j)中对应的三维点记为{p₁,……,p_n}，n为三维点个数，三维点集合{p₁,……,p_n}中寻找z值最大对应的三维点p_h，三维点p_h的颜色RGB值为像素(i,j)对应的颜色RGB值；若像素(i,j)中对应的三维点的个数为0，则记录空像素(i,j)，在后续的步骤中进一步进行处理；至此，利用稠密点云中的颜色信息初步生成正射影像。

在步骤S4中，空像素(i,j)的8-邻域像素(i-1,j),(i+1,j),(j,j-1),(i,j+1),(i-1,j-1),(i-1,j+1),(i+1,j-1),(i+1,j+1)如果不全为空，则可以根据8-邻域内不为空的像素的RGB值计算出空像素(i,j)的RGB值。

S4-1：若(i,j)为空像素，8-邻域像素全部不为空，则计算(i,j)的RGB颜色值如公式(15)、(16)、(17)所示：

S4-2：若空像素(i,j)的8-邻域像素内的像素全部为空，则从相邻像素不全为空的像素开始计算。例如，空像素(i,j)的8邻域中，只有(i-1,j)、(i-1,j-1)、(i,j-1)、(i+1,j-1)四个像素有不为空，其他的四个像素都为空时，计算(i,j)的RGB颜色值如公式(18)、(19)、(20)所示：

S4-3：若空像素(i,j)的8-邻域内的像素部分为空，则只计算不为空的像素的颜色RGB的均值；

S4-4：根据每个空像素(i,j)的8-邻域内的像素的情况，计算出所有像素的RGB值。

初步生成正射影像没有进行优化的正射影像效果局部示意图如图6所示，图中白色像素为空像素。经过优化的正射影像局部示意图如图7所示。

最终生成的目标区域的正射影像如图8所示。

Claims (4)

1.一种基于MVS稠密点云的场景正射影像生成方法，其特征在于：所述方法具体包括如下步骤：

S1：利用倾斜摄影的方法获得目标地面场景区域的航空影像，利用运动推断结构算法和多视图立体重建算法获取所述目标场景区域三维稠密点云，然后利用滤波算法去除所述稠密点云中的离群点；

S2：利用地面标记点、运动推断结构算法所得相机位置计算出所述稠密点云中对应的水平面表达式，对所述稠密点云进行旋转得到投影平面；

S3：计算正射影像的图像分辨率，利用所述稠密点云中三维点的颜色初步生成正射影像；

S4：利用相邻像素的颜色RGB信息处理空像素，优化所述正射影像最终显示效果。

2.根据权利要求1所述的方法，其特征在于，S2具体流程如下：

S2-1：计算出一个参考向量

用于判断相对水平面法向量的方向；

S2-2：当在S1-1步骤中设置地面标记点时，利用所述地面标记点信息求解目标场景稠密点云中的相对水平面；

S2-3：若没有设置所述地面标记点，利用SfM得到的相机位置求解目标场景稠密点云中的相对水平面；

S2-4：利用相对水平面表达式计算出旋转矩阵R，通过旋转矩阵R将稠密点云进行旋转，使得稠密点云中的水平面方向向量为(0,0,1)^T，将旋转后得到的水平面视为投影平面。

3.根据权利要求1所述的方法，其特征在于，S3具体流程如下：

S3-1：从完成旋转的稠密点云中，选择生成正射影像的区域，记录所述生成正射影像区域的包围盒；

S3-2、计算正射影像图像分辨率M×N，其中，若设置地面标记点，利用地面标记点和设置的地面分辨率，计算出正射影像图像分辨率；若没有设置地面标记点，则利用生成正射影像的区域范围和点云密度，计算出正射影像的图像分辨率；

S3-3、计算出稠密点云中的三维点对应的像素坐标(i,j)，利用点云中三维点的颜色RGB值，初步确认每个像素的RGB颜色值，其中，如果像素(i,j)对应三维点数目为0，则记录空像素，在后续的步骤中进行进一步处理空像素；如果对应三维点数目为1，像素(i,j)的RGB颜色值等于三维点RGB颜色值；如果对应三维点数目大于1，像素(i,j)的颜色值等于多个三维点中z值最大的三维点的RGB颜色值。

4.根据权利要求1所述的方法，其特征在于，S4具体流程如下：

S4-1、若(i,j)为空像素，8-邻域像素全部不为空，则利用8-邻域像素的RGB颜色值计算(i,j)的RGB颜色值；

S4-2、若空像素(i,j)的8-邻域像素内的像素全部为空，则从相邻像素不全为空的像素开始计算；

S4-3、若空像素(i,j)的8-邻域内的像素部分为空，则只计算不为空的像素的颜色RGB的均值；

S4-4、根据每个空像素(i,j)的8-邻域内的像素的情况，计算出所有像素的RGB值。

Images