CN114241125B - 一种基于多视角卫星影像精细三维建模方法及系统 - Google Patents

Abstract

本发明提供了一种基于多视角卫星影像精细三维重建方法及系统，所述方法包括：进行多视角卫星影像的连接点快速匹配；进行多视角影像光束法区域网平差；在完成区域网平差之后获取该分块格网的信息点云；利用获取的点云，进行点云曲面重建；对构建的曲面进行纹理贴图。本方法考虑到了纹理像素色彩过渡自然，通过加权和图像融合，在消除纹理缝隙的同时保证纹理图像清晰度。

Description

一种基于多视角卫星影像精细三维建模方法及系统

技术领域

本发明涉及遥感领域，特别地，涉及遥感影像三维建模领域。

背景技术

精细的三维模型兼具影像产品表达信息直观、形象的特性以及地形图的三维可量测等特点，被广泛应用于智慧城市、实景导航、古建文物保护、军事应用等多个领域。同时三维模型是实景中国建设的重要内容。目前，主要利用航空无人机倾斜摄影的方式进行三维建模，但是该建模方式效率低，航空摄影的方式因为空域限制且不能获得境外地区的三维模型，不能满足大规模三维建模的应用需求。

为此急需一种能够解决上述技术问题的满足大规模三维建模的应用需求的三维建模方法的技术方案。

发明内容

为此，发明了一种利用多视角卫星影像三维重建方法及系统，该方法能够精确、自动、快速地完成目标区域精细的三维模型，该方法可以实现大面积、大范围地区的快速精细化三维建模，大幅度提高建模处理效率，且能够完成对境外感兴趣目标区域的三维重建。

本发明实施例提供了一种基于多视角卫星影像精细三维重建方法：

步骤1、进行多视角卫星影像的连接点快速匹配；

步骤2、进行多视角影像光束法区域网平差；

步骤3、在完成区域网平差之后，根据影像的定向参数生成每一幅影像的核线影像，鉴于卫星影像一般较大，为了加快匹配速度，对影像进行分块处理，并采用金字塔的搜索策略；其中，影像分块可以根据影像及其空三参数，获取整个测区的高程范围，并按照高程范围对测区进行划分，得到整个测区的分块格网；随后针对每个分块格网进行并行运算处理，加速获取该分块格网的信息点云；金字塔约束主要是利用金字塔传递性对每层金字塔影像搜索范围进行动态设定，以减小搜索范围，加快匹配速度的同时保证匹配的正确性；然后分别对每个物方点做基于互相关信息的立体匹配，从而得到多张影像视差图，然后基于正射投影进行视差图融合，利用多片影像形成多余观测，来剔除遮挡区域的误匹配的点，获取目标区影像的融合后的视差图，快速提取目标区空间物体的高精度匹配点云；

步骤4、利用获取的点云，进行点云曲面重建；首先对输入点进行滤波和简化，然后建立点集的Delaunay三角剖分，三角形的半径R是通过顶点且不包含采样点的最小球体的半径，这个三角形有三条边界边，是初始的三角剖分曲面，它的边界是前进锋；最小半径的Delaunay三角形是贪婪算法的起点，该方法要保持候选三角形的优先队列，即当前曲面边界边上的三角形的有效性；当优先队列不为空时，算法从队列中弹出最合理的候选三角形并将其添加到曲面中；当新的边界边出现在前进的前沿时，新的候选三角形被推送到优先队列中；在二维光滑曲线重建的情况下，半径是一个很好的准则，而三维曲面重建还需要另一个准则，即曲面上三角形之间的二面角，即三角形法线之间的夹角；

候选三角形的选择步骤如下，任何被认为是下一个潜在候选的三角形t都与当前重建的前端共享一条边e；设b是t与e相对的顶点；t加在曲面上有四种类型；

第一种：延伸，如果b没有在表面上，则以b为新顶点，添加多边形；

第二种：如果b在前面，并且b前面的两个相邻顶点都在边e上，则填充孔多边形；

第三种：耳朵填充，如果b在前面，b前面的一个相邻顶点在边e上，则进行耳朵填充；

第四种：粘合，如果b在前面，而b前面的相邻顶点没有在边e上，则以b为顶点，e为一条边，添加新多边形；

步骤5、对构建的曲面进行纹理贴图；

在进行纹理贴图时，采用如下公式对选择的两张或两张以上的图像进行色彩融合：

纹理图像上面和面交界处按照反距离加权进行羽化处理，羽化后像素的灰度值计算公式：

式中：I′(x，y)为融合后的影像灰度值，I(x，y)为纹理影像1的原始灰度值，m_g和s_g分别为第1纹理影像的局部灰度均值与标准偏差，m_t和s_t分别为相邻的第2纹理影像(参考纹理)的局部灰度均值和标准偏差，c∈[0，1]为影像方差的扩展常数；b∈[0，1]为影像的亮度系数；D为羽化后的灰度值，Dk为该位置其中一张影像上灰度值，

为其对应的权值,d为羽化距离。

可选的，b取值为0.5。

可选的，c取值为0.4。

可选的，步骤1中，根据每张卫星影像附带的RPC参数文件和该影像覆盖区域的地面平均高程，通过有理函数模型，计算出每张影像的四个角点对应的地理经纬度坐标和每张影像的覆盖范围，然后计算两张影像的相交区域，根据相交区域的四个顶点坐标，建立影像间的多项式关系。

可选的，在原影像进行特征点提取，然后利用两张影像的多项式关系将特征点位窗口换算到搜索影像，进行特征点匹配。

可选的，利用基于多项式的随机抽样一致算法进行粗差点剔除，利用获得同名像点最后进行最小二乘匹配，得到高精度的连接点坐标。

可选的，步骤2中，首先确定各影像仿射变换参数和连接点地面三维初始坐标值；然后从每张影像上的控制点和连接点的像点坐标出发，按有理函数模型列出误差方程。

本发明还提供了一种多视角卫星影像精细三维重建系统，使用所述方法进行多视角卫星影像精细三维重建。

本发明的发明点及技术效果：

1、进行多视角卫星影像的连接点快速匹配时，采用基于多项式为初值的多视角卫星影像连接点匹配方法，该方法在获得匹配的连接点后，利用基于多项式的随机抽样一致算法进行粗差点剔除，利用获得同名像点最后进行最小二乘匹配，能够得到高精度的连接点坐标。

2、在完成影像连接点匹配和平差后，根据影像的定向参数生成每一幅影像的核线影像，鉴于卫星影像一般较大，为了加快匹配速度，对影像进行分块处理，并采用金字塔的搜索策略；其中，影像分块可以根据影像及其空三参数，获取整个测区的高程范围，并按照高程范围对测区进行划分，得到整个测区的分块格网。随后针对每个分块格网进行并行运算处理，加速获取该分块格网的信息点云。金字塔约束主要是利用金字塔传递性对每层金字塔影像搜索范围进行动态设定，以减小搜索范围，加快匹配速度的同时保证匹配的正确性。然后分别对每个物方点做基于互相关信息(SNCC)的立体匹配，从而得到多张影像视差图，然后基于正射投影进行视差图融合，利用多片影像形成多余观测，来剔除遮挡区域的误匹配的点，获取目标区影像的融合后的视差图，快速提取目标区空间物体的高精度匹配点云。这样，能够获得更好的稠密点云，同时又能保证匹配速度，能够有效避免遮挡带来的影响。

3、点云曲面重建时，建立点集的Delaunay三角剖分，三角形的半径是通过顶点且不包含采样点的最小球体的半径，这个三角形有三条边界边，是初始的三角剖分曲面，它的边界是前进锋。最小半径的Delaunay三角形是贪婪算法的起点，该方法要保持候选三角形的优先队列，即当前曲面边界边上的三角形的有效性。当优先队列不为空时，算法从队列中弹出最合理的候选三角形并将其添加到曲面中。当新的边界边出现在前进的前沿时，新的候选三角形被推送到优先队列中。在二维光滑曲线重建的情况下，半径是一个很好的准则，而三维曲面重建还需要另一个准则，即曲面上三角形之间的二面角，即三角形法线之间的夹角。其主要优点是生成具有边界的定向流形曲面，更贴合真实地物表面。相对于普通的Delaunay的曲面重建算法，输出曲面通常为在输入点的三维Delaunay三角剖分中选择的一些三角形的并集。这种算法要么通过生成选定四面体的边界作为输出，要么通过选择一组三角形来创建曲面，三角形是独立选择的，没有更好地利用真实地表模型的连续性特征。

4、对构建的曲面进行纹理贴图的过程中，选择使用透视投影模型来描述纹理映射,即纹理映射可用透视投影成像原理来表示。对于卫星影像模型，世界坐标系下模型的顶点坐标与像素间的真实对应关系可以用有理函数模型表示。首先利用有理函数模型，计算所有面对应的纹理面片，并去除有包含关系的面片，然后将所有面片组织在一张或多张纹理图像中，建立纹理图像和模型上每个点之间的对应关系，即完成模型的纹理贴图。

5、在纹理贴图过程中，考虑到了纹理像素色彩过渡自然，并通过图像融合公式和加权羽化公式的新算法，在消除纹理缝隙的同时保证了纹理图像清晰度。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例中的利用多视角卫星影像三维重建方法中的稠密点云获取流程图；

图2是本发明实施例中的利用多视角卫星影像三维重建方法中的基于多视卫星影像精细三维建模技术流程；

图3是本发明实施例中的利用多视角卫星影像三维重建方法中的候选三角形的选择步骤的t加在曲面上的四种类型；

图4是本发明实施例中的利用多视角卫星影像三维重建方法中的稠密点云提取结果；

图5是本发明实施例中的利用多视角卫星影像三维重建方法中的三维模型局部效果。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例中一种利用多视角卫星影像三维重建方法，请参考附图1，包括：

步骤1、进行多视角卫星影像的连接点快速匹配。采用基于多项式为初值的多视角卫星影像连接点匹配方法。该方法在根据每张卫星影像附带的RPC参数文件和该影像覆盖区域的地面平均高程，通过有理函数模型(公式1)，可以计算出每张影像的四个角点对应的地理经纬度坐标和每张影像的覆盖范围，然后计算两张影像的相交区域，根据相交区域的四个顶点坐标，建立影像间的多项式关系；接着在原影像进行特征点提取，然后利用两张影像的多项式关系将特征点位窗口换算到搜索影像，进行特征点匹配，然后利用基于多项式的随机抽样一致算法进行粗差点剔除，利用获得同名像点最后进行最小二乘匹配，得到高精度的连接点坐标。

步骤2、进行多视角影像光束法区域网平差。在连接点匹配完成之后，获得了影像的同名像点坐标。首先确定各影像仿射变换参数和连接点地面三维初始坐标值。然后从每张影像上的控制点和连接点的像点坐标出发，按有理函数模型列出误差方程。对于连接点还要求出地面位置的三维坐标，因此其误差方程不同于控制点的列法。影像像方坐标是未知数的非线性函数，因此需要对误差方程做线性化处理后，才能用最小二乘原理进行解算。然后通过迭代计算直到区域网平差收敛，平差结束。整个解算过程借助稀疏矩阵技术直接组建并存储系数矩阵，达到高效存储、快速解算的目的。

有理函数的实质是将像点坐标与对应的地面点坐标之间的关系表示为两个多项式的比值。常用的是其正解形式。采用地面点坐标表示像点坐标，如式(公式1)所示。

其中，上式是有理函数模型正变化公式，像点坐标(r,c)表示为以相应地面点空间坐标(X,Y,Z)为自变量的多项式的比值，p_i(X_n,Y_n,Z_n)为(i＝1，2，3，4)普通多项式，最高不超过3次，形式如下：

的多项式系数a₀，……，a₁₉称为有理函数系数，RPC参数文件里的已知量，(r_n，c_n)和(X_n，Y_n，Z_n)分别表示影像像素点坐标(r,c)和地面点坐标(X,Y,Z)的标准化坐标值。其值为：

其中，(Z₀，Y₀，X₀，r₀，c₀)为标准化的平移参数，(Z_s，Y_s，X_s，r_s，c_s)为标准化的比例参数，(Z₀，Y₀，X₀，r₀，c₀)与(Z_s，Y_s，X_s，r_s，c_s)均为卫星影像RPC参数文件里的已知值。

步骤3、在完成区域网平差之后，根据影像的定向参数生成每一幅影像的核线影像，鉴于卫星影像一般较大，为了加快匹配速度，对影像进行分块处理，并采用金字塔的搜索策略；其中，影像分块可以根据影像及其空三参数，获取整个测区的高程范围，并按照高程范围对测区进行划分，得到整个测区的分块格网。随后针对每个分块格网进行并行运算处理，加速获取该分块格网的信息点云。金字塔约束主要是利用金字塔传递性对每层金字塔影像搜索范围进行动态设定，以减小搜索范围，加快匹配速度的同时保证匹配的正确性。然后分别对每个物方点做基于互相关信息(SNCC)的立体匹配，从而得到多张影像视差图，然后基于正射投影进行视差图融合，利用多片影像形成多余观测，来剔除遮挡区域的误匹配的点，获取目标区影像的融合后的视差图，快速提取目标区空间物体的高精度匹配点云。其主要流程如图2所示。

互相关测度计算公式如下：

其中:SNCC(p₀，z)为像点p₀在高程为z处的SNCC测度；

为第i张搜索影像I_i与基准影像I₀的归一化互相关测度。s为基准影像I₀上匹配窗口(m行×n列)的像点，s_i(z)为搜索影像I_i上匹配窗口(高程为Z条件下的匹配窗口，m行×n列)的像点；I₀(s)为像元灰度值，I_i(s_i(z))为像元灰度值；

这样，能够获得更好的稠密点云，同时又能保证匹配速度，能够有效避免遮挡带来的影响。

步骤4、利用获取的点云，进行点云曲面重建。首先对输入点进行滤波和简化，然后建立点集的Delaunay三角剖分，三角形的半径R是通过顶点且不包含采样点的最小球体的半径，这个三角形有三条边界边，是初始的三角剖分曲面，它的边界是前进锋。最小半径的Delaunay三角形是贪婪算法的起点，该方法要保持候选三角形的优先队列，即当前曲面边界边上的三角形的有效性。当优先队列不为空时，算法从队列中弹出最合理的候选三角形并将其添加到曲面中。当新的边界边出现在前进的前沿时，新的候选三角形被推送到优先队列中。在二维光滑曲线重建的情况下，半径是一个很好的准则，而三维曲面重建还需要另一个准则，即曲面上三角形之间的二面角，即三角形法线之间的夹角。

候选三角形的选择步骤如下，任何被认为是下一个潜在候选的三角形t都与当前重建的前端共享一条边e。设b是t与e相对的顶点。t加在曲面上有四种类型。

(1)延伸，如果b没有在表面上，则以b为新顶点，添加多边形。如图3-a所示。

(2)如果b在前面，并且b前面的两个相邻顶点都在边e上，则填充孔多边形，如图3-b所示。

(3)耳朵填充，如果b在前面，b前面的一个相邻顶点在边e上，则进行耳朵填充，如图3-c所示。

(4)粘合，如果b在前面，而b前面的相邻顶点没有在边e上，则以b为顶点，e为一条边，添加新多边形，如图3-d所示。

这种算法的优点是生成具有边界的定向流形曲面，更贴合真实地物表面。相对于普通的Delaunay的曲面重建算法，输出曲面通常为在输入点的三维Delaunay三角剖分中选择的一些三角形的并集。这种算法的缺点是：要么通过生成选定四面体的边界作为输出，要么通过选择一组三角形来创建曲面，三角形是独立选择的，没有更好地利用真实地表模型的连续性特征。

步骤5、对构建的曲面进行纹理贴图。选择使用透视投影模型来描述纹理映射,即纹理映射可用透视投影成像原理来表示。对于卫星影像模型，世界坐标系下模型的顶点坐标与像素间的真实对应关系可以用有理函数模型表示。首先利用有理函数模型，计算所有面对应的纹理面片，并去除有包含关系的面片，然后将所有面片组织在一张或多张纹理图像中，建立纹理图像和模型上每个点之间的对应关系，即完成模型的纹理贴图。其中，在进行纹理贴图时，对选择的两张或两张以上的图像进行色彩融合，如公式2所示，纹理图像上面和面交界处按照反距离加权进行羽化处理，羽化后像素的灰度值计算公式如公式3所示：

式中：I′(x，y)为融合后的影像灰度值，I(x，y)为纹理影像1的原始灰度值，m_g和s_g分别为纹理影像1的局部灰度均值与标准偏差，m_t和s_t分别为相邻的纹理影像2(参考纹理)的局部灰度均值和标准偏差，c∈[0，1]为影像方差的扩展常数,c一般取值0.4；b∈[0，1]为影像的亮度系数，b取值为0.5。

其中D为羽化后的灰度值，Dk为该位置其中一张影像上灰度值，

为其对应的权值,d为羽化距离。

以上，考虑到了纹理像素色彩过渡自然，并通过加权和图像融合，从而在消除纹理缝隙的同时保证纹理图像清晰度。

试验验证：

为了验证方法的有效性，选取了银川地区的四景对高分七号卫星立体影像进行三维建模试验，影像空间分辨率为0.65米，拍摄时间为2021年1月，覆盖面积1200平方公里，包含平原、丘陵、山区和城市等地貌特征。附图4和附图5分别为稠密点云提取结果和重建模型效果。

可以理解，除了上述内容，还包括一些常规结构和常规方法，由于这些内容都是公知的，不再赘述。但这并不意味着本发明不存在这些结构和方法。

本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (8)

1.一种基于多视角卫星影像精细三维重建方法，其特征在于：

步骤1、进行多视角卫星影像的连接点快速匹配；在根据每张卫星影像附带的RPC参数文件和该影像覆盖区域的地面平均高程，通过有理函数模型，计算出每张影像的四个角点对应的地理经纬度坐标和每张影像的覆盖范围，然后计算两张影像的相交区域，根据相交区域的四个顶点坐标，建立影像间的多项式关系；接着在原影像进行特征点提取，然后利用两张影像的多项式关系将特征点位窗口换算到搜索影像，进行特征点匹配，然后利用基于多项式的随机抽样一致算法进行粗差点剔除，利用获得同名像点最后进行最小二乘匹配，得到高精度的连接点坐标；

步骤2、进行多视角影像光束法区域网平差；

步骤3、在完成区域网平差之后，根据影像的定向参数生成每一幅影像的核线影像，鉴于卫星影像一般较大，为了加快匹配速度，对影像进行分块处理，并采用金字塔的搜索策略；其中，影像分块可以根据影像及其空三参数，获取整个测区的高程范围，并按照高程范围对测区进行划分，得到整个测区的分块格网；随后针对每个分块格网进行并行运算处理，加速获取该分块格网的信息点云；金字塔约束主要是利用金字塔传递性对每层金字塔影像搜索范围进行动态设定，以减小搜索范围，加快匹配速度的同时保证匹配的正确性；然后分别对每个物方点做基于互相关信息的立体匹配，从而得到多张影像视差图，然后基于正射投影进行视差图融合，利用多片影像形成多余观测，来剔除遮挡区域的误匹配的点，获取目标区影像的融合后的视差图，快速提取目标区空间物体的高精度匹配点云；

步骤4、利用获取的点云，进行点云曲面重建；首先对输入点进行滤波和简化，然后建立点集的Delaunay三角剖分，三角形的半径R是通过顶点且不包含采样点的最小球体的半径，这个三角形有三条边界边，是初始的三角剖分曲面，它的边界是前进锋；最小半径的Delaunay三角形是贪婪算法的起点，该方法要保持候选三角形的优先队列，即当前曲面边界边上的三角形的有效性；当优先队列不为空时，算法从队列中弹出最合理的候选三角形并将其添加到曲面中；当新的边界边出现在前进的前沿时，新的候选三角形被推送到优先队列中；在二维光滑曲线重建的情况下，半径是一个很好的准则，而三维曲面重建还需要另一个准则，即曲面上三角形之间的二面角，即三角形法线之间的夹角；

候选三角形的选择步骤如下，任何被认为是下一个潜在候选的三角形t都与当前重建的前端共享一条边e；设b是t与e相对的顶点；t加在曲面上有四种类型；

第一种：延伸，如果b没有在表面上，则以b为新顶点，添加多边形；

第二种：如果b在前面，并且b前面的两个相邻顶点都在边e上，则填充孔多边形；

第三种：耳朵填充，如果b在前面，b前面的一个相邻顶点在边e上，则进行耳朵填充；

第四种：粘合，如果b在前面，而b前面的相邻顶点没有在边e上，则以b为顶点，e为一条边，添加新多边形；

步骤5、对构建的曲面进行纹理贴图；

在进行纹理贴图时，采用如下公式对选择的两张或两张以上的图像进行色彩融合：

纹理图像上面和面交界处按照反距离加权进行羽化处理，羽化后像素的灰度值计算公式：

式中：I′(x，y)为融合后的影像灰度值，I(x，y)为纹理影像1的原始灰度值，m_g和s_g分别为第1纹理影像的局部灰度均值与标准偏差，m_t和s_t分别为相邻的第2纹理影像(参考纹理)的局部灰度均值和标准偏差，c∈[0，1]为影像方差的扩展常数；b∈[0，1]为影像的亮度系数；D为羽化后的灰度值，Dk为该位置其中一张影像上灰度值，

为其对应的权值,d为羽化距离。

2.如权利要求1所述的方法，其特征在于：b取值为0.5。

3.如权利要求1所述的方法，其特征在于：c取值为0.4。

4.如权利要求1所述的方法，其特征在于：步骤1中，根据每张卫星影像附带的RPC参数文件和该影像覆盖区域的地面平均高程，通过有理函数模型，计算出每张影像的四个角点对应的地理经纬度坐标和每张影像的覆盖范围，然后计算两张影像的相交区域，根据相交区域的四个顶点坐标，建立影像间的多项式关系。

5.如权利要求4所述的方法，其特征在于：在原影像进行特征点提取，然后利用两张影像的多项式关系将特征点位窗口换算到搜索影像，进行特征点匹配。

6.如权利要求5所述的方法，其特征在于：利用基于多项式的随机抽样一致算法进行粗差点剔除，利用获得同名像点最后进行最小二乘匹配，得到高精度的连接点坐标。

7.如权利要求1所述的方法，其特征在于：步骤2中，首先确定各影像仿射变换参数和连接点地面三维初始坐标值；然后从每张影像上的控制点和连接点的像点坐标出发，按有理函数模型列出误差方程。

8.一种多视角卫星影像精细三维重建系统，其特征在于：使用权利要求1-7所述方法进行多视角卫星影像精细三维重建。

Images