CN103606151B - 基于影像点云的大范围虚拟地理场景自动构建方法 - Google Patents

Abstract

本发明公开了一种基于影像点云的大范围虚拟地理场景自动构建方法。包括如下步聚：（1）输入序列航空/航天摄影影像，及其对应的定向参数文件，进行影像分块裁剪存储、确定多视影像匹配的基准影像、搜索影像和待匹配区域等预处理工作；（2）采用附加物方信息约束和双向一致性验证的多视影像匹配方法，获取基准影像上待匹配区域内所有像素在搜索影像上的同名像点；（3）根据多像光束法平差，计算待匹配像素对应地物点的三维坐标，再结合其RGB颜色信息，并按照一定的数据结构，生成表达待匹配区域地理场景的三维影像点云。根据本发明的方法获得的影像点云可用于从序列影像中自动构建大范围地理场景的虚拟三维模型。

Description

基于影像点云的大范围虚拟地理场景自动构建方法

技术领域

本发明属于摄影测量、计算机视觉和虚拟地理环境领域，涉及基于影像的虚拟地理场景构建方法。

背景技术

地理场景的三维重建既是3DGIS和虚拟地理环境发展的关键技术，也是空间信息服务环境具备强沉浸感体验性的基础。快速且自动地实现大范围复杂地理场景的真三维虚拟重建，一直是GIS、计算机视觉、虚拟现实、摄影测量等领域的难点问题和研究热点。针对地理场景的数字化三维重建，当前的方法按技术实现的途径可主要分为两大类：基于三维激光扫描的方法和基于影像的方法。虽然三维激光扫描获得的三维点云的几何精度高、点的密度较大，但在从点云到三维模型的重建过程中，需对点云进行配准、滤波、分割、特征提取、表面格网构建、纹理映射等一系列的处理，人机交互工作量较大；而且，点云数据中缺乏纹理和语义信息，若要构建真实感较强的三维模型，必需额外进行纹理影像的采集和纹理映射，增加了自动化三维建模的处理复杂度。

相较于激光扫描点云，影像数据中所蕴含的信息要丰富很多，其集几何、属性、语义等多种隐含的或显示的信息于一身，是真实地理场景最直观、最简洁的记录方式。但是，现有基于影像的三维重建方法或是仅将影像视为纹理属性来用，或是仅利用影像来提取几何模型（格网、TIN等）；且在三维模型构建完成后，原始采集的带有各种定位信息的高分辨率的影像数据就不再使用。这种几何模型与纹理属性分开采集再映射融合的三维重建方法，一方面增加了数据处理的复杂度，一方面也使得重建场景的视觉效果不够真实。

在摄影测量领域，立体像对经相对定向和绝对定向后，可获得地理场景的真实感很强的视觉三维立体模型。然而，此视觉模型仍是一个不可接触的虚拟视像，也不能直接以数字化方式存储；需要同时保存其对应的原始立体像对和定向参数，才能在专业的数字摄影测量系统（VirtuoZo、JX4、ImageInfo-PixelGrid、Inpho等）中对其进行可视化与人机交互数据采集等操作。若能将视觉立体模型中所看到的每个地物点都以三维彩色点形式明确地编码并记录其几何空间信息和颜色属性，则可将基于原始影像呈现的视觉立体模型转换成可接触的数字化三维虚拟场景模型，从而有望以真实、简洁的数据模型来重建三维虚拟地理场景，并支持场景的可视化、交互及地理分析。显然，同时具有三维几何信息和二维颜色纹理信息的影像点云，是实现视觉立体模型到数字化虚拟场景转换的有效方法。

发明内容

本发明的目的在于针对现有基于影像的三维建模方法中人机交互操作过多、处理过程复杂和效率低下的不足，提出一种基于影像点云的大范围虚拟地理场景自动构建方法。本发明的影像点云是根据摄影测量原理，从序列航空或航天摄影影像中生成的同时具有三维激光扫描点云的三维几何信息和二维平面影像的颜色纹理属性的三维彩色点集，其能有效地将几何信息和颜色纹理信息进行一体化表达，且点集密度远远超过传统机载LiDAR点云，可有效地对现实地理场景进行真三维数字化重建和再现。

基于影像点云的大范围虚拟地理场景自动构建方法包括如下步骤：

步骤一，输入序列航空或航天摄影影像，及其对应的定向参数文件，进行影像分块裁剪存储、确定多视影像匹配的基准影像、搜索影像和待匹配区域等预处理工作；

步骤二，采用附加物方信息约束和双向一致性验证的多视影像匹配方法，获取基准影像上待匹配区域内所有像素在搜索影像上的同名像点；

步骤三，根据多像光束法平差，计算待匹配像素对应地物点的三维坐标，再结合其RGB颜色信息，并按照一定的数据结构，生成表达待匹配区域地理场景的三维影像点云。

所述步骤一具体包括：

（1）输入具有重叠度的n幅序列航空或航天摄影影像，及其对应的定向参数文件；

（2）将输入的序列影像，按t*t分块裁剪并存储，其中t为两位整数；

（3）确定一幅基准影像I₀和n-1幅搜索影像S₁、S_i、…、S_n-1，并根据影像间的重叠度，确定基准影像上的待匹配区域范围的左上角和右下角的行列号；

（4）将待匹配区域进行m*m均匀格网划分，以提高后续的多视影像匹配的效率。

所述步骤二具体包括：对于基准影像上m*m均匀格网划分的待匹配区域，依次取出每一块待匹配区域，对此区域内的每一个待匹配像素点并行进行如下的多视影像匹配过程。

（1）根据待匹配区域的最大高程Z_max和最小高程Z_min，确定待匹配点在各幅搜索影像上的候选同名点搜索范围；

（2）在同名点搜索范围内，分别计算待匹配点和各幅搜索影像上的每个候选点的匹配测度ρ₁、…、ρ_n-1，取n-1个匹配测度的平均值作为每个候选同名点和待匹配点的多像匹配测度，并以最大多像匹配测度所对应的各个候选同名点作为待匹配点在各幅搜索影像上的同名像点；

（3）对于每幅搜索影像上的同名像点，按照双像立体影像匹配的方式，确定其在基准影像上的同名点，并将该同名点和原来的待匹配点进行比较，如果其列号之间的差值小于一定的阈值，则认为该幅搜索影像上的同名像点有效，并将该同名像点放入基准影像上待匹配点的同名像点集合；若待匹配点在各幅搜索影像上都没有找到有效的同名像点，则该待匹配点为无效的点，其同名像点集合为空，并赋予其对应地物点的三维坐标为一个无效的值。

所述步骤三具体包括：

（1）对于待匹配区域内的每一个有效的待匹配点，利用此待匹配点在基准影像上的行列数值、及其对应的同名点集合中的各个同名点在各自搜索影像上的行列数值，根据多像光束法平差，计算待匹配点对应地物点的三维空间坐标X、Y、Z；再结合该待匹配点在基准影像上的RGB颜色信息，将此待匹配点从二维像素转换成一个三维彩色点；

（2）按照一定的数据结构，将待匹配区域内的所有三维彩色点组织成测区地理场景的三维影像点云。

本发明的基于影像点云的大范围虚拟地理场景自动构建方法是全自动的方法，仅需要用户指定一些初始输入参数。本发明根据多视摄影测量原理，将序列航空或航天摄影影像的重叠区域内的每一个二维平面像素转换成具有三维空间坐标和RGB颜色信息的彩色点，从而得到重叠区域内地理场景的超密集三维彩色点集，即影像点云。此种影像点云同时具有三维激光扫描点云的三维几何信息和二维平面影像的颜色纹理属性，能有效地将几何信息和颜色纹理信息进行一体化表达，可有效地对现实地理场景进行真三维数字化重建和再现；其点集密度远远超过传统机载LiDAR点云，可用于从序列影像中自动构建大范围地理场景的虚拟三维模型，有效地对现实地理场景进行真三维数字化重建和再现，解决了传统基于影像的三维建模过程中先几何建模再纹理映射的效率低下问题。

附图说明

图1是本发明实施例的方法框架图；

图2是本发明实施例搜索影像上同名像点的同名搜索核线示意图；

图3是本发明实施例多视摄影测量交会定点示意图；

图4是本发明实施例某地区局部区域的航空影像；

图5是本发明实施例生成的某地区地理场景的三维影像点云效果图。

具体实施方式

以下结合具体实施例，并参照附图，对本发明作进一步详细说明。

如图1所示，基于影像点云的大范围虚拟地理场景自动构建方法包括三部分：（1）影像数据准备与预处理；（2）逐像素的多视影像并行匹配；（3）影像点云生成。具体实施步骤为：

第一步：影像数据准备与预处理。

（1）输入具有重叠度的n幅序列航空/航天摄影影像，及其对应的定向参数文件，参数文件包括数码传感器的检校参数文件、每幅影像的外方位元素文件或RPC参数文件（航空摄影影像为空中三角测量处理后得到的外方位元素文件，航天摄影影像为RPC参数文件）、立体像对的空中三角测量处理后的相对定向像点坐标文件（用以自动计算测区的最大、最低高程，此文件不是必须使用）；

（2）将输入的序列影像，按t*t分块裁剪并存储（t为两位整数，如t取10，则每幅影像被裁剪成100块小块影像），存储时，各分块影像文件名的命名规则为：原始影像文件名+“_”+两位字符串表示的分块行数+两位字符串表示的分块列数（如第1行第9列处的小块影像，其名称为原始影像文件名_0109）；

（3）确定一幅基准影像I₀和n-1幅搜索影像S₁、S_i、…、S_n-1，并根据影像间的重叠度，确定基准影像上的待匹配区域范围的左上角和右下角的行列号；

若原始影像的宽度为Width、高度为Height（单位像素），影像间的重叠度为p%，则基准影像上的待匹配区域的左上角行列号（R_TL，C_TL）、右下角行列号（R_BR，C_BR）按下式计算：

$\left\{\begin{array}{c}{R}_{\mathrm{TL}}=\frac{\mathrm{Height}}{50};C_{\mathrm{TL}}=\mathrm{Width}\×(1-p\%)\\ R_{\mathrm{BR}}=\mathrm{Height}-\frac{\mathrm{Height}}{50};C_{\mathrm{BR}}=\mathrm{Width}\×p\%\end{array}\right.---(1)$

左上角的行号、右下角行号没取0和Height-1，是考虑影像间在竖直方向存在一定的偏移。

（4）将待匹配区域进行m*m均匀格网划分（参数m为任意整数，由人工指定），以提高后续的多视影像匹配的效率。

第二步：逐像素的多视影像并行匹配。

对于基准影像上m*m均匀格网划分的待匹配区域，依次取出每一块待匹配区域，对此区域内的每一个待匹配像素点并行进行如下的多视影像匹配过程。

（1）根据待匹配区域的最大高程Z_max和最小高程Z_min，确定待匹配点在各幅搜索影像上的候选同名点搜索范围（即同名搜索核线），确定基准影像上的待匹配点在某一幅搜索影像上的候选同名点的同名搜索核线的示意图如附图2所示，候选同名点q′所在的同名核线的两个端点q′_min、q′_max，其在搜索影像上的像平面坐标(x′,y′)按下式计算：

(x',y')=F(X,Y,Z)（2）

式中，F为影像的成像模型函数（航空影像的成像模型是共线方程，航天影像则是有理函数模型），（X,Y,Z）为像点对应地物点的物方三维坐标。

根据同名核线的两个端点坐标，则可按下式确定搜索核线的直线方程：

$\left\{\begin{array}{c}{y}^{\′}={\mathrm{kx}}^{\′}+b\\ k=({y^{\′}}_{\max }-{y^{\′}}_{\min })/({x^{\′}}_{\max }-{x^{\′}}_{\min });b={y^{\′}}_{\max }-{{\mathrm{kx}}^{\′}}_{\max }\end{array}\right.---\left(3\right)$

（2）在同名点搜索范围内，分别计算待匹配点和各幅搜索影像上的每个候选点的匹配测度ρ₁、…、ρ_n-1，取n-1个匹配测度的平均值作为每个候选同名点和待匹配点的多像匹配测度，并以最大多像匹配测度所对应的各个候选同名点作为待匹配点在各幅搜索影像上的同名像点；

对于基准影像上的待匹配点p和其在某幅搜索影像上的候选同名点q′，两点之间的匹配测度按如下的方法计算：

首先，分别以待匹配点p和候选同名点q′为中心在基准影像和搜索影像上取两个大小为N*N的影像窗口W、W′，按下式计算两个窗口在红、绿、蓝三个灰度通道内的灰度相关系数ρ^r _g、ρ^g _g、ρ^b _g，并取三个相关系数的平均值作为两个点之间的颜色相关系数ρ_c=(ρ^r _g+ρ^g _g+ρ^b _g)/3；

${\mathrm{\ρ}}_g^r=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{R}_{i,j}{R}_{i,j}^{\′}-\left(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{R}_{i,j}\right)\left(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{R}_{i,j}^{\′}\right)/N^2}{\sqrt{(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{R_{i,j}}^2-{\left(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{R}_{i,j}\right)}^2/N^2)(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{R_{i,j}^{\′}}^2-{\left(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{R}_{i,j}^{\′}\right)}^2/N^2)}}---\left(4\right)$

式中，R_i,j、R′_i,j分别表示影像窗口W、W′中第i行第j列像素的红色通道内的灰度值。

其次，分别以待匹配点p和候选同名点q′为中心在基准影像和搜索影像上取两个大小为16*16的灰度影像窗口W、W′，窗口内的像素值都取红绿、蓝三个灰度通道内的灰度值的平均值，计算待匹配点和搜索点的128维的SIFT特征向量T、T′，并按下式计算两点之间的特征相似度ρ_s；

ρ_s=T·T'/(length(T)×length(T'))（5）

最后，取颜色相关系数ρ_c和特征相似度ρ_s的平均值作为待匹配点和候选同名点之间的匹配测度ρ=(ρ_c+ρ_s)/2。

（3）对于每幅搜索影像上的同名像点，按照双像立体影像匹配的方式，确定其在基准影像上的同名点，并将该同名点和原来的待匹配点进行比较，如果其列号之间的差值小于一定的阈值，则认为该幅搜索影像上的同名像点有效，并将该同名像点放入基准影像上待匹配点的同名像点集合；若待匹配点在各幅搜索影像上都没有找到有效的同名像点，则该待匹配点为无效的点，其同名像点集合为空，并赋予其对应地物点的三维坐标为一个无效的值。

第三步：影像点云生成。

逐像素的多视影像匹配过程，确定了基准影像上的待匹配区域内的每个像素点p在各搜索影像上的k(k<=n-1)个同名像点集合｛q′₁、…、q′_k｝，然后按下面的多视摄影测量原理（如附图3所示）生成待匹配区域地理场景的影像点云。

（1）对于待匹配区域内的每一个有效的待匹配点，利用此待匹配点在基准影像上的行列数值、及其对应的同名点集合中的各个同名点在各自搜索影像上的行列数值，根据多像光束法平差，计算待匹配点对应地物点的三维空间坐标X、Y、Z；再结合该待匹配点在基准影像上的RGB颜色信息，将此待匹配点从二维像素转换成一个三维彩色点；

对于每幅影像上的像点，在影像内外方位元素已知的情况下，视像点的像平面坐标为观测值，可列出如下的像平面坐标(x,y)与对应物方三维坐标（X,Y,Z）之间的误差方程（以基准影像I₀为例）：

$\left\{\begin{array}{c}{v}_x^{I_0}=a_{11}^{I_0}\hat{x}-a_{12}^{I_0}\hat{y}-a_{13}^{I_0}\hat{z}-(x_{I_0}-x_{I_0}^0)\\ v_y^{I_0}=-a_{21}^{I_0}\hat{x}-a_{22}^{I_0}\hat{y}-a_{23}^{I_0}\hat{z}-(y_{I_0}-y_{I_0}^0)\end{array}\right.---\left(6\right)$

式中，

$\left\{\begin{array}{c}{a}_{11}^{I_0}=(a_1^{I_0}f+a_3^{I_0}{x}_{I_0})/\stackrel{\&OverBar;}{Z},a_{12}^{I_0}=(b_1^{I_0}f+b_3^{I_0}{x}_{I_0})/\stackrel{\&OverBar;}{Z},a_{13}^{I_0}=(c_1^{I_0}f+c_3^{I_0}{x}_{I_0})/\stackrel{\&OverBar;}{Z}\\ a_{21}^{I_0}=(a_2^{I_0}f+a_3^{I_0}{x}_{I_0})/\stackrel{\&OverBar;}{Z},a_{22}^{I_0}=(b_2^{I_0}f+b_3^{I_0}{x}_{I_0})/\stackrel{\&OverBar;}{Z},a_{23}^{I_0}=(c_2^{I_0}f+c_3^{I_0}{x}_{I_0})/\stackrel{\&OverBar;}{Z}\\ \stackrel{\&OverBar;}{Z}=a_3^{I_0}(X^0-X_{I_0})+b_3^{I_0}(Y^0-Y_{I_0})+c_3^{I_0}(Z^0-Z_{I_0})\end{array}\right.$

a^I0 _i、b^I0 _i、c^I0 _i(i=1,2,3)是由影像I₀的外方位角元素确定的旋转矩阵中的九个方向余弦；（X⁰,Y⁰,Z⁰）是地物点待求坐标（X,Y,Z）的近似值（可根据p和q′点，利用双像前方交会计算得到），是近似三维坐标的平差改正数，（x⁰ _I0,y⁰ _I0）是将近似三维坐标带入式（2）计算的点p在I₀上的近似像平面坐标。

因此，对于基准影像上的待匹配点p，及其在各搜索影像上的k(k<=n-1)个同名像点集合｛q′₁、…、q′_k｝，可以按式（6）列出2k个误差方程，则多像光束法平差的矩阵形式的误差方程如下式所示：

V=AX-L（7）

式中， $V={\left[\begin{array}{ccccccc}{v}_x^{I_0}& v_y^{I_0}& v_x^{S_1}& v_y^{S_1}& ...& v_x^{S_k}& v_y^{S_k}\end{array}\right]}^T,X={\left[\begin{array}{ccc}\hat{x}& \hat{y}& \hat{z}\end{array}\right]}^T$

$A=\left[\begin{array}{ccc}-a_{11}^{I_0}& -a_{12}^{I_0}& -a_{13}^{I_0}\\ -a_{21}^{I_0}& -a_{22}^{I_0}& -a_{23}^{I_0}\\ -a_{11}^{S_1}& -a_{12}^{S_1}& -a_{13}^{S_1}\\ -a_{12}^{S_1}& -a_{22}^{S_1}& -a_{23}^{S_1}\\ .& .& .\\ .& .& .\\ .& .& .\\ -a_{11}^{S_k}& -a_{12}^{S_k}& -a_{13}^{S_k}\\ -a_{21}^{S_k}& -a_{22}^{S_k}& -a_{23}^{S_k}\end{array}\right],L=\left[\begin{array}{c}{x}_{I_0}-x_{I_0}^0\\ y_{I_0}-y_{I_0}^0\\ x_{S_1}-x_{S_1}^0\\ y_{S_1}-y_{S_1}^0\\ .\\ .\\ .\\ x_{S_k}-x_{S_k}^0\\ y_{S_k}-y_{S_k}^0\end{array}\right]$

根据最小二乘间接平差原理，近似坐标改正数向量的解为：X=(A^TA)^-1(A^TL)

进而求出待匹配点对应地物点的三维坐标： $X=X^0+\hat{x},Y=Y^0+\hat{y},Z=Z^0+\hat{z}$

（2）按照一定的数据结构，将待匹配区域内的所有三维彩色点组织成测区地理场景的三维影像点云。

对于即具有三维坐标和RGB颜色信息的彩色点，定义如下的数据结构ColorPoint以对其进行描述：

本发明的影像点云则是密集三维彩色点的集合，其数据结构ImagePointCloud定义如下：

附图4、附图5展示了基于本发明的方法从航空影像生成的某地区地理场景的影像点云效果图，其中，附图4是局部区域的原始航空影像，附图5是对应于该区域地理场景的三维影像点云。

Claims (3)

1.基于影像点云的大范围虚拟地理场景自动构建方法，其特征在于包括如下步骤：

步骤一，输入序列航空或航天摄影影像，及其对应的定向参数文件，进行影像分块裁剪存储、确定多视影像匹配的基准影像、搜索影像和待匹配区域的预处理工作；

步骤二，采用附加物方信息约束和双向一致性验证的多视影像匹配方法，获取基准影像上待匹配区域内所有像素在搜索影像上的同名像点；具体过程为：

对于基准影像上m*m均匀格网划分的待匹配区域，依次取出每一块待匹配区域，对此区域内的每一个待匹配像素点并行进行如下的多视影像匹配过程：

(1)根据待匹配区域的最大高程Z_max和最小高程Z_min，确定待匹配点在各幅搜索影像上的候选同名像点搜索范围；

(2)在同名像点搜索范围内，分别计算待匹配点和各幅搜索影像上的每个候选点的匹配测度ρ₁、…、ρ_n-1，其中n为步骤一输入的序列影像的个数，取n-1个匹配测度的平均值作为每个候选同名像点和待匹配点的多像匹配测度，并以最大多像匹配测度所对应的各个候选同名像点作为待匹配点在各幅搜索影像上的同名像点；

(3)对于每幅搜索影像上的同名像点，按照双像立体影像匹配的方式，确定其在基准影像上的同名像点，并将该同名像点和原来的待匹配点进行比较，如果其列号之间的差值小于一定的阈值，则认为该幅搜索影像上的同名像点有效，并将该同名像点放入基准影像上待匹配点的同名像点集合；若待匹配点在各幅搜索影像上都没有找到有效的同名像点，则该待匹配点为无效的点，其同名像点集合为空，并赋予其对应地物点的三维坐标为一个无效的值；

步骤三，根据多像光束法平差，计算待匹配像素对应地物点的三维坐标，再结合其RGB颜色信息，并按照一定的数据结构，生成表达待匹配区域地理场景的三维影像点云，将获得的影像点云用于表达大范围地理场景的虚拟三维模型，实现从序列影像对虚拟地理场景的自动构建。

2.根据权利要求1所述的基于影像点云的大范围虚拟地理场景自动构建方法，其特征在于，所述步骤一的具体过程为：

(1)输入具有重叠度的n幅序列航空或航天摄影影像，及其对应的定向参数文件；

(2)将输入的序列影像，按t*t分块裁剪并存储，其中t为两位整数；

(3)确定一幅基准影像I₀和n-1幅搜索影像S₁、S_i、…、S_n-1，并根据影像间的重叠度，确定基准影像上的待匹配区域范围的左上角和右下角的行列号；

(4)将待匹配区域进行m*m均匀格网划分，以提高后续的多视影像匹配的效率。

3.根据权利要求1所述的基于影像点云的大范围虚拟地理场景自动构建方法，其特征在于，所述步骤三的具体过程为：

(1)对于待匹配区域内的每一个有效的待匹配点，利用此待匹配点在基准影像上的行列数值、及其对应的同名像点集合中的各个同名像点在各自搜索影像上的行列数值，根据多像光束法平差，计算待匹配点对应地物点的三维空间坐标X、Y、Z；再结合该待匹配点在基准影像上的RGB颜色信息，将此待匹配点从二维像素转换成一个三维彩色点；

(2)按照一定的数据结构，将待匹配区域内的所有三维彩色点组织成测区地理场景的三维影像点云。