CN105825543A - 基于低空遥感影像的多视密集点云生成方法及系统 - Google Patents

Abstract

本发明提供基于低空遥感影像的多视密集点云生成方法及系统，主要用于低空遥感影像的密集点云生成，包括：首先，通过基于面元的多视立体匹配方式生成准密集的种子点；然后以物方面元为基准对PMVS生成的准密集匹配的种子点进行扩散及优化，最后进行异常值过滤。本发明相比原有的多视立体匹配方法，点云密度更高，提供了更清晰地表达地物的细节特征的技术方案。

Description

基于低空遥感影像的多视密集点云生成方法及系统

技术领域

本发明属于摄影测量及遥感影像多视立体匹配技术领域，涉及基于低空遥感影像的多视密集点云生成方法及系统。

背景技术

随着激光扫描和影像匹配技术的迅速发展，三维信息引起了越来越多的重视。三维信息的应用已经由简单的获取数字高程模型和数字表面模型扩展到了如考古、地形监测、面部几何和运动捕捉、文化遗产保护、森林和农作物建模以及理疗等其他领域。近年来随着摄影测量和计算机视觉技术的进步，基于影像的三维建模技术已经成为了激光扫描技术的一个主要的竞争者。同激光扫描技术相比，基于影像的三维重建技术的优势在于：

1)数据来源广泛，所有相机拍摄的影像均可以用于三维重建，包括卫星影像，数码相机、手机或平板电脑拍摄的照片甚至是视频流中截取的任意帧图像。无论相机是否经过标定。

2)成本低廉。

3)基于影像的三维重建生成的点云具有激光扫描点云不具备的颜色信息。

在摄影测量与计算机视觉领域，基于影像的三维重建方法可以分为密集匹配和多视立体匹配两类。

二十世纪七十年代，Remondino等首先提出应用两张相片对应像素采用摄影测量前方交会的方法计算地面点坐标。此后40年，立体匹配一直是摄影测量与遥感领域最受关注的问题之一。随着硬件和影像匹配技术的革新，基于摄影测量的三维建模可以在一个可以接受的时间内完成。一些学者关注如何利用摄影测量技术来生成稀疏的种子点，还有一些学者则专注于如何利用两张相邻相片质检的极线约束来实现逐像素基本的密集匹配。然而，基于基线约束的密集匹配方法仍不能解决两视匹配在噪声点和遮挡区域存在误匹配的问题。

随着一序列低成本的开源软件系统的出现，多视立体匹配已经成为计算机视觉领域最受欢迎的方法之一。多视立体匹配可以通过应用多张相片的荣誉信息来弱化遮挡和噪声的影响。在2006年Middlebury提出的一个多视立体重建的公共实验平台中证明，多视立体重建技术对于单独的对象或小范围场景的建模结果可以媲美激光扫描。然而，对于大场景的重建，虽然提出了很多方法用于提高点云的密度和精度，但其结果仍不能代替激光扫描点云数据。一般认为，平台高度在1000m以下的航空遥感称为低空遥感。由于低空遥感影像具有地面分辨率高、响应速度快、云下飞行等特点，在大场景的三维重建中得到了广泛关注。

发明内容

针对现有技术的缺点，本发明的目的是提供一种基于低空遥感影像的大场景多视密集三维点云生成方法及系统。

本发明的技术方案提供一种基于低空遥感影像的多视密集点云生成方法，包括以下步骤：

步骤1，通过基于面元的多视立体方式生成种子点，得到种子点的三维坐标(X,Y,Z)，面元的法向量(a,b,c)，种子点的颜色(R,G,B)；

步骤2，进行基于物方面元的点云扩散，包括对于每个种子点分别执行以下步骤进行扩散，

步骤2.1，将种子点投影到影像集合中的每张影像上，得到对应投影像点坐标；

步骤2.2，从影像集合中，选择投影像点与影像中心点距离最短的影像k为参考影像；

步骤2.3，从参考影像上取出一个预设大小的影像窗口，设影像窗口中有效像素为μ×μ个，将影像窗口中每个像素投影到物方面元上得到μ×μ个物点，添加到集合OP中，集合OP中的每条记录数据包括物点坐标(X，Y，Z)，物方面元法向量(a,b,c)，参考影像编号k；

步骤3，采用基于面元的多片几何约束方式优化点云，包括对集合OP中每个物点分别执行以下步骤进行优化，

步骤3.1，根据投影关系，将物点投影到参考影像中，求得参考影像对应像点坐标(x_0c,y_0c)；

步骤3.2，以投影点(x_0c,y_0c)为中心建立参考影像窗口rw_k；

步骤3.3，以物点为物方面元中心，根据当前的局部切平面法向量，将参考影像窗口rw_k投影到物方面元上求得对应物点坐标；第一次执行步骤3.3时，以步骤2.3中所得(a,b,c)为局部切平面法向量，之后执行步骤3.3时，采用上一次迭代执行步骤3.7时所得新的(a,b,c)；

步骤3.4，将物方面元上的物点投影到影像集合中除参考影像外的其他各影像i上，分别得到对应的影像窗口w_i；

步骤3.5，如果影像窗口w_i在某影像i的范围内，w_i与参考影像窗口rw_k的相关系数大于预设阈值，则将该影像i添加到搜索影像的集合中；

步骤3.6，针对参考影像窗口rw_k中的每个像素，分别与搜索影像集合中每张搜索影像窗口中的对应像素建立误差方程；

步骤3.7，根据误差方程进行最小二乘方法平差，得到改正后的面元法向量；根据预设改正值阈值和次数阈值判断是否达到迭代结束条件，是则进入步骤3.8，否则将所得改正后的面元法向量作为新的(a,b,c)，返回步骤3.3进行迭代；

步骤3.8，平差结束后，将平差得到的结果添加到优化后的点云集合中；

步骤4，异常值过滤，包括根据密度约束来过滤点云中的异常值。

而且，步骤3.6中，针对参考影像窗口rw_k中的每个像素，分别与搜索影像集合中每张搜索影像窗口中的对应像素建立误差方程如下，

$v_P={\mathrm{dh}}_{0i}+g_i(x_i,y_i)\·{\mathrm{dh}}_{1i}+h_{1i}(\frac{\∂g_i}{\∂x_i}{\mathrm{dx}}_i+\frac{\∂g_i}{\∂y_i}{\mathrm{dy}}_i)-\left(g_0\right(x_0,y_0)-h_{0i}-h_{1i}\·g_i(x_i,y_i\left)\right)$

其中，v_P为投影误差；h_0i、h_1i为搜索影像i到参考影像的辐射畸变系数；g_i(x_i,y_i)为面元上的投影点投影到搜索影像i上的像点重采样后的像素亮度值；g₀(x₀,y₀)为参考影像上影像窗口中的点重采样后的像素亮度值。

本发明还相应提供一种基于低空遥感影像的多视密集点云生成系统，包括以下模块：

第一模块，用于通过基于面元的多视立体方式生成种子点，得到种子点的三维坐标(X,Y,Z)，面元的法向量(a,b,c)，种子点的颜色(R,G,B)；

第二模块，用于进行基于物方面元的点云扩散，包括对于每个种子点分别执行以下步骤进行扩散，

步骤2.1，将种子点投影到影像集合中的每张影像上，得到对应投影像点坐标；

步骤2.2，从影像集合中，选择投影像点与影像中心点距离最短的影像k为参考影像；

步骤2.3，从参考影像上取出一个预设大小的影像窗口，设影像窗口中有效像素为μ×μ个，将影像窗口中每个像素投影到物方面元上得到μ×μ个物点，添加到集合OP中，集合OP中的每条记录数据包括物点坐标(X，Y,Z)，物方面元法向量(a,b,c)，参考影像编号k；

第三模块，用于采用基于面元的多片几何约束方式优化点云，包括对集合OP中每个物点分别执行以下步骤进行优化，

步骤3.1，根据投影关系，将物点投影到参考影像中，求得参考影像对应像点坐标(x_0c,y_0c)；

步骤3.2，以投影点(x_0c,y_0c)为中心建立参考影像窗口rw_k；

步骤3.3，以物点为物方面元中心，根据当前的局部切平面法向量，将参考影像窗口rw_k投影到物方面元上求得对应物点坐标；第一次执行步骤3.3时，以步骤2.3中所得(a,b,c)为局部切平面法向量，之后执行步骤3.3时，采用上一次迭代执行步骤3.7时所得新的(a,b,c)；

步骤3.4，将物方面元上的物点投影到影像集合中除参考影像外的其他各影像i上，分别得到对应的影像窗口w_i；

步骤3.5，如果影像窗口w_i在某影像i的范围内，w_i与参考影像窗口rw_k的相关系数大于预设阈值，则将该影像i添加到搜索影像的集合中；

步骤3.6，针对参考影像窗口rw_k中的每个像素，分别与搜索影像集合中每张搜索影像窗口中的对应像素建立误差方程；

步骤3.7，根据误差方程进行最小二乘方法平差，得到改正后的面元法向量；根据预设改正值阈值和次数阈值判断是否达到迭代结束条件，是则进入步骤3.8，否则将所得改正后的面元法向量作为新的(a,b,c)，返回步骤3.3进行迭代；

步骤3.8，平差结束后，将平差得到的结果添加到优化后的点云集合中；

第四模块，用于异常值过滤，包括根据密度约束来过滤点云中的异常值。

而且，步骤3.6中，针对参考影像窗口rw_k中的每个像素，分别与搜索影像集合中每张搜索影像窗口中的对应像素建立误差方程如下，

$v_P={\mathrm{dh}}_{0i}+g_i(x_i,y_i)\·{\mathrm{dh}}_{1i}+h_{1i}(\frac{\∂g_i}{\∂x_i}{\mathrm{dx}}_i+\frac{\∂g_i}{\∂y_i}{\mathrm{dy}}_i)-\left(g_0\right(x_0,y_0)-h_{0i}-h_{1i}\·g_i(x_i,y_i\left)\right)$

其中，v_P为投影误差；h_0i、h_1i为搜索影像i到参考影像的辐射畸变系数；gi(x_i,y_i)为面元上的投影点投影到搜索影像i上的像点重采样后的像素亮度值；g₀(x₀,y₀)为参考影像上影像窗口中的点重采样后的像素亮度值。

本发明的技术方案是根据物方面元的投影关系，对PMVS生成的点云进行扩散，再利用多片几何约束方法优化扩散后的点云结果，最后根据密度约束来过滤点云中的异常值。本发明利用多视立体匹配与密集匹配的优势，用多视立体匹配的方法生成了密集的点云数据，提高了多视立体匹配的点云密度，能够更清晰地表达地物的细节特征。

附图说明

图1为本发明实施例的概略分步示意图，其中图1a为pmvs面元示意图，图1b为面元扩散示意图，图1c为面元优化示意图。

图2为本发明实施例中影像窗口与物方面元的投影关系图。

具体实施方式

为了更好地理解本发明的技术方案，下面结合附图对本发明做进一步的详细说明。本发明的实施例是以一组五张低空遥感影像生成三维点云，参照图1，本发明实施例的步骤如下：

步骤1，通过基于面元的多视立体(PMVS,patch-basedmultiviewstereo)方法生成种子点。

如图1a，实施例首先输入影像相关参数，根据影像的内、外方位元素计算影像的P矩阵(投影矩阵)，通过影像及其对应的P矩阵可应用现有的PMVS方法生成初始的种子点云。PMVS生成的种子点云数据包括：种子点的三维坐标(X,Y,Z)，面元的法向量(a,b,c)，种子点的颜色(R,G,B)。

步骤2，基于物方面元的点云扩散，实现包括以下步骤，

如图1b，参照图2中的投影关系对点云进行扩散，扩散点云数量的多少与扩散面元的大小有关，如扩散面元的大小为μ×μ个像素，理论上点云的数目最多可以扩散μ×μ倍。

本发明所提出种子点的扩散方法是以(x_k,y_k)为中心，从参考影像中取出一个固定μ×μ大小的影像窗口r_k，将影像窗口中每个采样像素投影到PMVS的面元(patch)上得到μ×μ个点的物点坐标，将所求得的物点坐标添加到扩散后的点云集合OP中。集合OP中的每条记录数据包括物点坐标(X，Y,Z)(投影计算求得)，物方面元法向量(a,b,c)(与对应种子点法向量相同)，参考影像编号k(与对应种子点参考影像编号相同)。

具体对于每个种子点的扩散步骤如下：

步骤2.1，将种子点投影到影像集合I中的每张影像i上，得到对应投影像点坐标(x_i,y_i)(i∈I,i＝1,2,…,n)；

步骤2.2，从影像集合I中，选择投影像点与影像中心点距离最短的影像k(k∈I)作为参考影像，即：

$\sqrt{{x_k}^2+{y_k}^2}\≤\sqrt{{x_i}^2+{y_i}^2},(i=1,2...n,i\≠k)---\left(1\right)$

(x_i,y_i)与(x_k,y_k)为像点坐标，i和k为影像编号；

步骤2.3，从参考影像上取出一个预设大小的影像窗口，设影像窗口中有效像素为μ×μ个，将影像窗口中每个像素投影到物方面元上得到μ×μ个物点，添加到扩散后的物点集合中：

具体实施时，本领域技术人员可自行预设影像窗口的大小。实施例以(x_k,y_k)为中心，采样间隔为2个像素，从参考影像上取出一个17×17个像素大小的影像窗口r_k，将影像窗口中每个采样像素投影到物方面元上得到81个点的物点坐标，将所求得的物点坐标添加到扩散后的点云集合OP中。点云集合OP中原始为空，集合OP中的每条记录数据包括物点坐标(X，Y，Z)(投影计算求得)，物方面元法向量(a,b,c)(与对应种子点法向量相同)，参考影像编号k(与对应种子点参考影像编号相同)。

步骤3，应用基于面元的多片几何约束(patch-basedMPGC)匹配方法对集合OP中每个物点逐个优化。

如图1c，实施步骤中对每个物点进行迭代优化的具体实现步骤如下：

步骤3.1，根据投影关系，将物点投影到参考影像中，按公式(2)-(5)求得参考影像对应像点坐标(x_0c,y_0c)；

$\left(\begin{array}{c}k{u}_{0c}\\ {\mathrm{kv}}_{0c}\\ {\mathrm{kw}}_{0c}\end{array}\right)=R^{-1}\×\left(\begin{array}{c}{X}_c-X_{s0}\\ Y_c-Y_{s0}\\ Z_c-Z_{s0}\end{array}\right)---\left(2\right)$

λ＝R^-1(3)×(ku_0ckv_0ckw_0c)^T/(-f₀)(3)

$\left(\begin{array}{c}{u}_{0c}\\ v_{0c}\\ w_{0c}\end{array}\right)=\left(\begin{array}{c}k{u}_{0c}\\ {\mathrm{kv}}_{0c}\\ {\mathrm{kw}}_{0c}\end{array}\right)/\mathrm{\λ}---\left(4\right)$

$\left(\begin{array}{c}{x}_{0c}\\ y_{0c}\end{array}\right)=\left(\begin{array}{c}{R}^{-1}\left(1\right)\\ R^{-1}\left(2\right)\end{array}\right)\×\left(\begin{array}{c}{u}_{0c}\\ v_{0c}\\ w_{0c}\end{array}\right)---\left(5\right)$

式(2)中，R为参考影像的旋转矩阵，(X_c,Y_c,Z_c)为物点的在物空间坐标系中的坐标值，(X_s0,Y_s0,Z_s0)为参考影像外方位元素中的线元素，(ku_0c,kv_0c,kw_0c)为中间变量；

式(3)中，R^-1(3)为参考影像旋转矩阵逆矩阵的第三行，f₀为参考影像主距，λ为物点投影到参考影像的投影系数；

式(4)中，(u_0c,v_0c,w_0c)为像点(x_0c,y_0c)在像空间辅助系中的坐标；

式(5)中，(x_0c,y_0c)为物点(X_c,Y_c,Z_c)投影到参考影像上的像点坐标，R^-1(1)、R^-1(2)为参考影像旋转矩阵逆矩阵的第一、二行。

步骤3.2，以投影点为中心建立参考影像窗口rw_k：

以(x_0c,y_0c)为中心，一个像素为采样间隔，从参考影像上取出一个ν×ν个像素(ν可由用户预设，一般ν为7、9或11)的影像窗口，可记为rw_k，计算窗口内每个像素的像点坐标(x₀,y₀)，实施例以毫米为单位进行计算，也可以采用像素为单位计算。

步骤3.3，将参考影像窗口rw_k投影到物方面元上求得对应物点坐标：

以物点P(X_c,Y_c,Z_c)为物方面元中心，第一次执行步骤3.3时，以步骤2.3中记录的(a,b,c)为局部切平面法向量，面元方程按公式(6)计算，之后执行步骤3.3时，采用上一次迭代执行步骤3.7时计算改正后的面元法向量所得新的(a,b,c)。并将参考影像窗口按公式(7)-(9)投影到物方面元P上求得对应物点坐标(X,Y,Z)：

a(Y-Y_c)+b(Y-Y_c)+c(Z-Z_c)＝0(6)

$\left(\begin{array}{c}{u}_0\\ v_0\\ w_0\end{array}\right)=R\×\left(\begin{array}{c}{x}_0\\ y_0\\ -f_0\end{array}\right)---\left(7\right)$

$\mathrm{\λ}=\frac{a(X_c-X_{s0})+b(Y_c-Y_{s0})+c(Z_c-Z_{s0})}{{\mathrm{au}}_0+{\mathrm{bv}}_0+{\mathrm{cw}}_0}---\left(8\right)$

$\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)=\left(\begin{array}{c}{X}_{s0}\\ Y_{s0}\\ Z_{s0}\end{array}\right)+\mathrm{\λ}\×\left(\begin{array}{c}{u}_0\\ v_0\\ w_0\end{array}\right)---\left(9\right)$

式(7)中，(u₀,v₀,w₀)为影像窗口中各点的像空间辅助坐标；

式(8)中，λ表示影像窗口投影到P上的投影系数；

式(9)中，(X_s0,Y_s0,Z_s0)为参考影像外方位元素中的线元素。

步骤3.4，将面元P上的每个点投影到影像集合中除参考影像外的其他影像i上得到对应的影像窗口w_i(i＝1,2,…,n,i≠k)；按公式(10)-(13)，分别计算P上每个投影点投影到各搜索影像i上的像点坐标(x_i,y_i)，得到各搜索影像i上的相应影像窗口w_i：

$\left(\begin{array}{c}k{u}_i\\ {\mathrm{kv}}_i\\ {\mathrm{kw}}_i\end{array}\right)={R_i}^{-1}\×\left(\begin{array}{c}X-X_{si}\\ Y-Y_{si}\\ Z-Z_{si}\end{array}\right)---\left(10\right)$

λ_i＝R_i ^-1(3)×(ku_ikv_ikw_i)^T/(-f_i)(11)

$\left(\begin{array}{c}{u}_i\\ v_i\\ w_i\end{array}\right)=\left(\begin{array}{c}k{u}_i\\ {\mathrm{kv}}_i\\ k{w}_i\end{array}\right)/{\mathrm{\λ}}_i---\left(12\right)$

$\left(\begin{array}{c}{x}_i\\ y_i\end{array}\right)=\left(\begin{array}{c}{R_i}^{-1}\left(1\right)\\ {R_i}^{-1}\left(2\right)\end{array}\right)\×\left(\begin{array}{c}{u}_i\\ v_i\\ w_i\end{array}\right)---\left(13\right)$

式(10)中，R_i为影像i的旋转矩阵，R_i ^-1为影像i旋转矩阵的逆矩阵，(X_si,Y_si,Z_si)为影像i外方位元素中的线元素，(ku_i,kv_i,kw_i)为中间变量；

式(11)中，R_i ^-1(3)为影像i旋转矩阵逆矩阵的第三行，f_i为影像i主距，λ_i为三维点投影到影像i的投影系数；

式(12)中，(u_i,v_i,w_i)为P上的投影点投影到影像i上像点(x_i,y_i)的像空间辅助坐标；

式(13)中，(x_i,y_i)为影像i上的像点坐标，R_i ^-1(1)、R_i ^-1(2)为影像i旋转矩阵逆矩阵的第一、二行。

步骤3.5，如果影像窗口w_i在某影像i的范围内，w_i与参考影像窗口rw_k的相关系数大于预设阈值(具体实施时本领域技术人员可自行预设阈值，实施例设为0.6)，则将该影像i添加到搜索影像的集合SI中，为便于标记期间，各搜索影像仍采用原影像编号i；

步骤3.6，针对参考影像窗口rw_k中的每个像素，分别与搜索影像集合SI中每张搜索影像窗口中的对应像素建立误差方程(14)：

$v_P={\mathrm{dh}}_{0i}+g_i(x_i,y_i)\·{\mathrm{dh}}_{1i}+h_{1i}(\frac{\∂g_i}{\∂x_i}{\mathrm{dx}}_i+\frac{\∂g_i}{\∂y_i}{\mathrm{dy}}_i)-\left(g_0\right(x_0,y_0)-h_{0i}-h_{1i}\·g_i(x_i,y_i\left)\right)---\left(14\right)$

式(14)中，v_P为投影误差；h_0i、h_1i为搜索影像i到参考影像的辐射畸变系数；g_i(x_i,y_i)为P上的投影点投影到搜索影像i上的像点重采样后的像素亮度值；g₀(x₀,y₀)为参考影像上影像窗口中的点重采样后的像素亮度值。

步骤3.7，根据误差方程应用最小二乘方法平差，可以计算改正后的面元法向量，所得新的(a,b,c)。具体实施时可根据精度要求预设改正值阈值和次数阈值，实施例中设改正值阈值为10^-5，即当所有改正值小于10^-5时，停止迭代，如果不满足停止迭代条件，则将所得改正后的面元法向量作为新的(a,b,c)，返回步骤3.3进行迭代，重复步骤3.3-3.7。最小二乘方法为现有技术，本发明不予赘述。

步骤3.8，平差结束后，将平差得到的结果添加到优化后的点云集合中：

将迭代完成后的结果记录为txt文档，文档内容可提供全面的结果，包括：改正后物点坐标(X，Y,Z)、改正后面元法向量(a,b,c)、物点颜色(R,G,B)。具体实施时，可根据投影公式计算改正后的三维点坐标。

步骤4，根据密度约束过滤异常值：

根据点云的密度约束过滤异常值。实施例中，若以某点为中心，1m²范围内的点数小于点云的平均密度，则将该点视为异常值并过滤。

具体实施时，本发明所提供方法可基于软件技术实现自动运行流程，也可采用模块化方式实现相应系统。本发明还相应提供一种基于低空遥感影像的多视密集点云生成系统，包括以下模块：

第一模块，用于通过基于面元的多视立体方式生成种子点，得到种子点的三维坐标(X,Y,Z)，面元的法向量(a,b,c)，种子点的颜色(R,G,B)；

第二模块，用于进行基于物方面元的点云扩散；

第三模块，用于采用基于面元的多片几何约束方式优化点云；

第四模块，用于异常值过滤，包括根据密度约束来过滤点云中的异常值。

各模块具体实现可参见相应步骤，本发明不予赘述。

以下通过仿真实验来验证本发明的有效性：

仿真实验采用两组五张航向/旁向重叠的城市区域低空遥感影像(西北大学校区和阳江地区)，并得到准确的内外方位元素，相邻影像间的重叠度均大于80％，标准影像大小分别为3888×2592和8206×6078。

评价指标：对三维模型中的点云密度和精度两个方面进行评价。

(1)点云密度：统计完整的三维模型中每平方米中所含三维点的数量。

(2)点云精度：点云精度估计基于Dai在2012年提出的精度验证方法，方法中，设M_j是属于PMVS模型中第j个平面上物点的集合，平面j的方程为a_jX+b_jY+c_jZ+d_j＝0，M_j集合中物点坐标设为(X_i ^j,Y_i ^j,Z_i ^j)(i＝1,2,…,m_j)，m_j是M_j集合中物点坐标的个数，n是模型表面的个数，j＝1,2,…,n，点云的平均误差可以按照公式(15)来计算：

$error=\frac{1}{{\Σ}_{j=1}^n{m}_j}\underset{j=1}{\overset{n}{\Σ}}\underset{i=1}{\overset{m_j}{\Σ}}\frac{\left|a_j{X}_i^j+b_j{Y}_i^j+c_j{Z}_i^j+d_j\right|}{\sqrt{a_j^2+b_j^2+c_j^2}}---\left(15\right)$

仿真结果：根据评价指标，仿真实验的实验数据如下表所示：

表1：点云密度评价

表2：点云精度评价

实验区域	点数	异常值点数	异常值点数/点数	均误差(m)
					西北大学校区	7802802	1780	2.281/104	0.332
阳江地区	24003611	919	3.827/105	0.166

从实验结果对比图与PMVS的点云对比结果可以看出，相对于PMVS方法，本发明生成的点云密度有明显的提升，包含了更丰富的细节信息，如更清晰的建筑轮廓和篮球场附近停靠的车辆。从表1的实验结果可以看出，本发明生成点云的密度取决于影像的空间分辨率，在空间分辨率足够高的情况下，本发明生成的点云模型在密度上可以媲美激光扫描。从表2的精度评价结果中可以看出，本发明得到的实验结果存在很少的异常值，对于低空遥感影像的重建，本发明重建的点云的均误差很小，其结果是十分可靠的。

综上所述，本发明具有如下的优点：

(1)采用PMVS方法生成准密集的种子点，相对于传统的由特征匹配生成的种子点，该方法生成的种子点更密集、更均匀；

(2)利用物方面元的几何性质扩散种子点云，大大提高了多视立体方法重建点云的密度；

(3)采用基于面元的多片几何约束匹配方法逐点优化物点坐标，利用多片的冗余测量降低了噪声和遮挡的影响，生成点云的精度对于低空遥感影像重建结果是十分可靠的。

与传统的多视立体重建方法相比，本发明的方法都具有很明显的优势，既有很高的点云密度，又有较高的匹配精度，是一种可行的影响匹配方法。

以上内容是结合最佳实施方案对本发明说做的进一步详细说明，不能认定本发明的具体实施只限于这些说明。本领域的技术人员应该理解，在不脱离由所附权利要求书限定的情况下，可以在细节上进行各种修改，都应当视为属于本发明的保护范围。

Claims (4)

1.一种基于低空遥感影像的多视密集点云生成方法，其特征在于，包括以下步骤：

步骤1，通过基于面元的多视立体方式生成种子点，得到种子点的三维坐标(X,Y,Z)，面元的法向量(a,b,c)，种子点的颜色(R,G,B)；

步骤2，进行基于物方面元的点云扩散，包括对于每个种子点分别执行以下步骤进行扩散，

步骤2.1，将种子点投影到影像集合中的每张影像上，得到对应投影像点坐标；

步骤2.2，从影像集合中，选择投影像点与影像中心点距离最短的影像k为参考影像；

步骤2.3，从参考影像上取出一个预设大小的影像窗口，设影像窗口中有效像素为μ×μ个，将影像窗口中每个像素投影到物方面元上得到μ×μ个物点，添加到集合OP中，集合OP中的每条记录数据包括物点坐标(X，Y，Z)，物方面元法向量(a,b,c)，参考影像编号k；

步骤3，采用基于面元的多片几何约束方式优化点云，包括对集合OP中每个物点分别执行以下步骤进行优化，

步骤3.1，根据投影关系，将物点投影到参考影像中，求得参考影像对应像点坐标(x_0c,y_0c)；

步骤3.2，以投影点(x_0c,y_0c)为中心建立参考影像窗口rw_k；

步骤3.3，以物点为物方面元中心，根据当前的局部切平面法向量，将参考影像窗口rw_k投影到物方面元上求得对应物点坐标；第一次执行步骤3.3时，以步骤2.3中所得(a,b,c)为局部切平面法向量，之后执行步骤3.3时，采用上一次迭代执行步骤3.7时所得新的(a,b,c)；

步骤3.4，将物方面元上的物点投影到影像集合中除参考影像外的其他各影像i上，分别得到对应的影像窗口w_i；

步骤3.5，如果影像窗口w_i在某影像i的范围内，w_i与参考影像窗口rw_k的相关系数大于预设阈值，则将该影像i添加到搜索影像的集合中；

步骤3.6，针对参考影像窗口rw_k中的每个像素，分别与搜索影像集合中每张搜索影像窗口中的对应像素建立误差方程；

步骤3.7，根据误差方程进行最小二乘方法平差，得到改正后的面元法向量；根据预设改正值阈值和次数阈值判断是否达到迭代结束条件，是则进入步骤3.8，否则将所得改正后的面元法向量作为新的(a,b,c)，返回步骤3.3进行迭代；

步骤3.8，平差结束后，将平差得到的结果添加到优化后的点云集合中；

步骤4，异常值过滤，包括根据密度约束来过滤点云中的异常值。

2.根据权利要求1所述基于低空遥感影像的多视密集点云生成方法，其特征在于：步骤3.6中，针对参考影像窗口rw_k中的每个像素，分别与搜索影像集合中每张搜索影像窗口中的对应像素建立误差方程如下，

$v_P={\mathrm{dh}}_{0i}+g_i(x_i,y_i)\·{\mathrm{dh}}_{1i}+h_{1i}(\frac{\∂g_i}{\∂x_i}{\mathrm{dx}}_i+\frac{\∂g_i}{\∂y_i}{\mathrm{dy}}_i)-\left(g_0\right(x_0,y_0)-h_{0i}-h_{1i}\·g_i(x_i,y_i\left)\right)$

其中，v_P为投影误差；h_0i、h_1i为搜索影像i到参考影像的辐射畸变系数；g_i(x_i,y_i)为面元上的投影点投影到搜索影像i上的像点重采样后的像素亮度值；g₀(x₀,y₀)为参考影像上影像窗口中的点重采样后的像素亮度值。

3.一种基于低空遥感影像的多视密集点云生成系统，其特征在于，包括以下模块：

第一模块，用于通过基于面元的多视立体方式生成种子点，得到种子点的三维坐标(X,Y,Z)，面元的法向量(a,b,c)，种子点的颜色(R,G,B)；

第二模块，用于进行基于物方面元的点云扩散，包括对于每个种子点分别执行以下步骤进行扩散，

步骤2.1，将种子点投影到影像集合中的每张影像上，得到对应投影像点坐标；

步骤2.2，从影像集合中，选择投影像点与影像中心点距离最短的影像k为参考影像；

步骤2.3，从参考影像上取出一个预设大小的影像窗口，设影像窗口中有效像素为μ×μ个，将影像窗口中每个像素投影到物方面元上得到μ×μ个物点，添加到集合OP中，集合OP中的每条记录数据包括物点坐标(X，Y，Z)，物方面元法向量(a,b,c)，参考影像编号k；

第三模块，用于采用基于面元的多片几何约束方式优化点云，包括对集合OP中每个物点分别执行以下步骤进行优化，

步骤3.1，根据投影关系，将物点投影到参考影像中，求得参考影像对应像点坐标(x_0c,y_0c)；

步骤3.2，以投影点(x_0c,y_0c)为中心建立参考影像窗口rw_k；

步骤3.3，以物点为物方面元中心，根据当前的局部切平面法向量，将参考影像窗口rw_k投影到物方面元上求得对应物点坐标；第一次执行步骤3.3时，以步骤2.3中所得(a,b,c)为局部切平面法向量，之后执行步骤3.3时，采用上一次迭代执行步骤3.7时所得新的(a,b,c)；

步骤3.4，将物方面元上的物点投影到影像集合中除参考影像外的其他各影像i上，分别得到对应的影像窗口w_i；

步骤3.5，如果影像窗口w_i在某影像i的范围内，w_i与参考影像窗口rw_k的相关系数大于预设阈值，则将该影像i添加到搜索影像的集合中；

步骤3.6，针对参考影像窗口rw_k中的每个像素，分别与搜索影像集合中每张搜索影像窗口中的对应像素建立误差方程；

步骤3.7，根据误差方程进行最小二乘方法平差，得到改正后的面元法向量；根据预设改正值阈值和次数阈值判断是否达到迭代结束条件，是则进入步骤3.8，否则将所得改正后的面元法向量作为新的(a,b,c)，返回步骤3.3进行迭代；

步骤3.8，平差结束后，将平差得到的结果添加到优化后的点云集合中；

第四模块，用于异常值过滤，包括根据密度约束来过滤点云中的异常值。

4.根据权利要求1所述基于低空遥感影像的多视密集点云生成系统，其特征在于：步骤3.6中，针对参考影像窗口rw_k中的每个像素，分别与搜索影像集合中每张搜索影像窗口中的对应像素建立误差方程如下，

$v_P={\mathrm{dh}}_{0i}+g_i(x_i,y_i)\·{\mathrm{dh}}_{1i}+h_{1i}(\frac{\∂g_i}{\∂x_i}{\mathrm{dx}}_i+\frac{\∂g_i}{\∂y_i}{\mathrm{dy}}_i)-\left(g_0\right(x_0,y_0)-h_{0i}-h_{1i}\·g_i(x_i,y_i\left)\right)$

其中，v_P为投影误差；h_0i、h_1i为搜索影像i到参考影像的辐射畸变系数；g_i(x_i,y_i)为面元上的投影点投影到搜索影像i上的像点重采样后的像素亮度值；g₀(x₀,y₀)为参考影像上影像窗口中的点重采样后的像素亮度值。