CN117115336A - 一种基于遥感立体影像的点云重建方法 - Google Patents

Abstract

本发明公开了一种基于遥感立体影像的点云重建方法，属于图像处理及遥感影像分析技术领域，解决现有技术中成像模型精度低、解算收敛慢，密集匹配深度图精度不足，重建点云受噪声干扰等问题。本发明包括以下步骤：成像模型构建，通过特征匹配获取立体影像稀疏同名点对，利用相机标定获得成像模型参数初值，利用光束法平差优化成像模型参数；核线影像生成，通过双线性插值得到核线影像的像素值；密集匹配，利用互信息计算立体影像之间的匹配代价，通过优化能量函数计算视差图并进行优化；根据视差图计算出深度图，对深度图进行优化，然后生成初始点云，对点云降噪得到最终点云重建结果。本发明的方法具有普适性，用于遥感立体影像点云重建任务中。

Description

一种基于遥感立体影像的点云重建方法

技术领域

本发明属于图像处理及遥感影像分析技术领域，更具体地，涉及一种基于遥感立体影像的点云重建方法。

背景技术

基于遥感立体影像的点云重建的基本原理是通过测量影像上的二维像素坐标信息，在影像内外方位信息的辅助下，利用共线方程经过一系列的坐标变换恢复出像点在物方空间中的真实三维坐标信息。单幅影像通过基于共线方程的空间后方交会只能恢复出像素点在物方空间的坐标系中的一个方向，立体影像利用在两幅影像上同名点得到的两条方向线的前方交会可以确定像素点在物方空间坐标系中的三维坐标点。通过对立体影像重叠区域的每一个像素点进行空间前方交会得到每一点的三维坐标，将这些三维坐标汇集起来得到的点云数据，就完成了对立体影像的点云重建。

基于遥感立体影像的点云重建技术需要获得准确的成像内外参数以建立精确的成像模型，然后基于成像模型进行密集匹配和点云重建。现有的方法大多采用特征匹配以计算立体影像成像模型，容易受到特征匹配方法的精度影像，此外在解算成像模型参数时只能采用数值方法计算成像参数，迭代效率和参数精度受估算的初值影响较大。通过密集匹配建立的深度图的精细程度不够，导致重建点云的精度下降，并受到明显的噪声干扰。

综上所述,现有技术中的遥感立体影像点云重建方法存在如下技术问题：

1. 成像模型精度较低，成像模型的计算是以特征匹配的稀疏同名点对为基础的，遥感立体影像中存在大量重复模式，容易造成特征匹配的精度降低，从而影像成像模型精度；

2. 成像模型解算收敛较慢，通过数值方法计算成像模型参数时，收敛速度受参数初值影像较大，传统方法采用均值、0值的赋初值的方法导致收敛较慢，迭代次数增加；

3. 深度图精度不高，利用密集匹配计算的视差值建立的深度图往往存在精度较低，平滑性不足的问题；

4. 点云存在噪声，直接利用深度图重建的点云数据通常存在明显的离群点、空洞点等噪声干扰。

发明内容

针对现有技术的缺陷，本发明旨在提供一种基于遥感立体影像的点云重建方法，本发明在构建三维点云模型中，首先利用局部特征匹配、相机标定和光束法平差建立精确遥感立体影像成像模型，接着利用成像模型将原始影像转换成核线影像，然后对核线影像进行密集匹配，最后利用密集匹配生成的视差图得到深度图，并通过深度图优化、点云生成、点云降噪等步骤完成点云重建。

为实现上述目的，本发明采取如下的技术方案：

一种基于遥感立体影像的点云重建方法，包括以下步骤：

步骤1：成像模型构建：利用局部特征匹配、相机标定和光束法平差建立精确遥感立体影像成像模型；

步骤2：核线影像生成：核线影像生成的目的是将原始的影像按照核线方向排列，这样可以将左右影像的视差值由原来的在x和y方向两个方向的差异，转换成为在核线方向上的一维差异，包括核线重采样、像素插值；

步骤3：密集匹配：从核线影像中逐像素建立遥感立体影像的对应关系，从而估计立体影像间的视差；

步骤4：点云重建，根据立体影像的视差值计算出深度图，然后对深度图进行优化，基于优化后的深度图计算出物方点的三维坐标，最后对三维点云进行降噪处理得到最终的点云重建结果。

进一步，所述步骤1的具体步骤为：

步骤1.1：特征匹配，遥感立体影像特征匹配的目的是建立影像间稀疏的特征点对应关系，主要包括特征点提取、特征点描述、特征点匹配；

进一步，所述步骤1.1的具体步骤为：

步骤1.1.1：特征点提取，基于立体影像局部信息的提取立体影像的特征点，具体步骤为：一个以像素p为中心，半径为3的圆形邻域上，有16个像素点（p ₁、p ₂、...、p ₁₆）；定义一个阈值t，依次计算从p ₁到p ₁₆这16个点与中心像素p的像素差，如果有至少连续9个超过阈值，则将中心像素p定义为特征点候选点；以候选点p为中心的一个5×5的邻域内，如果有多个候选点，依次利用公式计算候选点中超过阈值的像素的差值累加求和，得到所有候选点的s值，最终保留s值最大的候选点作为特征点；

步骤1.1.2：特征点描述，利用公式计算影像的结构特征图，式中F表示结构特征图，I表示输入影像，I _mean 表示均值，m表示模版半径；分别采用0°，45°，90°和135°等4个滤波方向对结构特征图滤波得到方向特征图，然后选择特征点周围的4×4的邻域，对邻域内每一个像素按照0°，45°，90°和135°这4个方向将特征值排列成为一个4维特征向量，然后将16个像素的特征向量进行组合得到64维的特征向量；

步骤1.1.3：特征点匹配，以其中一幅立体影像为基准，基准影像中的每一个特征点分别遍历待匹配的影像中所有特征点，计算特征点特征描述子的欧式距离，保留距离最小的值作为匹配点对，采用RANSAC算法剔除误匹配点，得到最后的特征点匹配结果。

步骤1.2：相机标定，利用特征点匹配建立了立体影像的同名对应关系，根据相机成像原理进行相机标定获取成像系统内外参数以估计成像几何模型参数，通过标定获得的参数只是一个初步近似值；

步骤1.3：光束法平差，根据特征点匹配建立了立体影像的同名对应关系，相机标定得到的成像模型初步近似参数，利用光束法平差对原始的成像几何模型参数进行调整，达到立体影像之间几何关系的最优状态，光束法平差的误差方程可以用如下公式表示：

其中，其中和/>表示泰勒公式的残差，/>，/>，/>，φ，ω，κ表示外方位元素，X、Y、 Z表示地面点坐标值，这9个值是待优化的参数，x和y是立体影像特征点对中观测到的像点坐标值，（x）和（y）是根据各待优化参数的近似值计算出的像点坐标近似值。

进一步，所述步骤2的具体步骤为：

步骤2.1：核线重采样，一般情况下得到的遥感影像的扫描行与核线并不重合，对原始的遥感影像按照核线方向进行重采样，使得重采样后的影像水平行都在一条核线上；

步骤2.2：像素插值，重采样后的影像与原来的影像的像素不是一一对应的关系，对原始影像中与核线影像相应像点对应的最近邻的4个像点的像素值采用双线性插值计算得到核线影像上的重采样后的像点位置的像素值。

进一步，所述步骤3的具体步骤为：

步骤3.1：匹配代价计算，利用互信息计算立体影像之间的匹配代价，匹配代价用来衡量两个像素之间的相似程度；

步骤3.2：匹配代价的聚合，利用代价聚合对原始匹配代价进行去噪，消除匹配代价中噪声带来的对结果的不利影响；

步骤3.3：视差值计算，通过对相邻或更大范围的视差变化增加惩罚项，将惩罚项和匹配代价项组合成为一个完整优化模型，通过优化能量函数求得对应全局能量最小或近似最小的视差图；

步骤3.4：视差值的优化，利用平滑性约束条件，对初始视差图进行优化，以获得更加平滑、一致的视差图（视差图就是影像同名点对应关系的最终结果）。

进一步，所述步骤4的具体步骤为：

步骤4.1：深度值计算，根据立体密集匹配获得的每个同名点的视差值d，相机标定确定的相机焦距f，以及基线长度B，可以通过公式z=fB/d计算影像的深度值；

步骤4.2：深度图优化，将每个像点的深度值按照像点位置排列，得到深度图像，利用一致性约束和平滑性约束对初始深度图像进行优化，得到优化后的深度图像；

步骤4.3：点云生成，利用优化后深度图，以及先前已经获得的影像的内外方位元素，可以利用立体影像空间前方交会原理计算每一个像点对应的物点的三维坐标，将这些三维坐标组合起来完成点云重建；

步骤4.4：点云降噪，利用中值滤波方法对初始生成的点云数据进行降噪处理，剔除点云中的异常点，得到最终点云数据。

本发明同现有技术相比，其有益效果表现在：

1. 本发明提出一种基于局部结构特征图的特征匹配方法，结构特征图保留遥感立体影像中具有高度一致性的强结构信息，忽略差异较大的影像明暗、色彩等细节，可以极大提升特征匹配的精度和鲁棒性，从而提升成像模型计算的精度；

2. 本发明提出一种基于相机标定的成像参数初值计算方法，以特征点匹配建立的立体影像的同名对应关系为输入，根据相机成像原理进行相机标定获取成像系统内外参数以估计成像几何模型的参数初值。这样估计的初值与最终优化后的成像模型参数值差异很小，可以极大提高成像模型参数解算的收敛速度，并提高成像模型精度；

3. 本发明提出一种基于平滑性约束的深度图优化方法，利用平滑性先验，对初始计算的深度图建立优化模型，然后通过迭代求解、逐步精化的方法得到更精细的深度图；

4. 本发明提出一种基于中值滤波的点云降噪方法，可以有效地去除重建点云中存在的离群点、空洞点等噪声干扰。

5.本发明的第一步就是成像模型构建，有两个作用：

第一、就是获取成像模型参数，这样本发明可以不依赖外界输入成像模型参数，

第二、本发明的步骤里能够得到更加精细准确的参数，可以提高后续密集匹配精度和点云重建精度。最后的深度图优化，点云降噪目的是剔除错误点，提高点云的精度。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面将结合附图及具体实施方式对本发明作进一步的描述。

图1为本发明的流程的示意图，主要流程包括成像模型构建、核线影像生成、密集匹配、点云重建这4步。

一种基于遥感立体影像的点云重建方法，包括以下步骤：

步骤1：成像模型构建：利用局部特征匹配、相机标定和光束法平差建立精确遥感立体影像成像模型；

进一步，所述步骤1的具体步骤为：

步骤1.1：特征匹配，遥感立体影像特征匹配的目的是建立影像间稀疏的特征点对应关系，主要包括特征点提取、特征点描述、特征点匹配；

进一步，所述步骤1.1的具体步骤为：

步骤1.1.1：特征点提取，基于立体影像局部信息的提取立体影像的特征点，具体步骤为：一个以像素p为中心，半径为3的圆形邻域上，有16个像素点（p ₁、p ₂、...、p ₁₆）；定义一个阈值t，依次计算从p ₁到p ₁₆这16个点与中心像素p的像素差，如果有至少连续9个超过阈值，则将中心像素p定义为特征点候选点；以候选点p为中心的一个5×5的邻域内，如果有多个候选点，依次利用公式计算候选点中超过阈值的像素的差值累加求和，得到所有候选点的s值，最终保留s值最大的候选点作为特征点；

步骤1.1.2：特征点描述，利用公式计算影像的结构特征图，式中F表示结构特征图，I表示输入影像，I _mean 表示均值，m表示模版半径；分别采用0°，45°，90°和135°等4个滤波方向对结构特征图滤波得到方向特征图，然后选择特征点周围的4×4的邻域，对邻域内每一个像素按照0°，45°，90°和135°这4个方向将特征值排列成为一个4维特征向量，然后将16个像素的特征向量进行组合得到64维的特征向量；

步骤1.1.3：特征点匹配，以其中一幅立体影像为基准，基准影像中的每一个特征点分别遍历待匹配的影像中所有特征点，计算特征点特征描述子的欧式距离，保留距离最小的值作为匹配点对，采用RANSAC算法剔除误匹配点，得到最后的特征点匹配结果。

步骤1.2：相机标定，利用特征点匹配建立了立体影像的同名对应关系，根据相机成像原理进行相机标定获取成像系统内外参数以估计成像几何模型参数，通过标定获得的参数只是一个初步近似值；

步骤1.3：光束法平差，根据特征点匹配建立了立体影像的同名对应关系，相机标定得到的成像模型初步近似参数，利用光束法平差对原始的成像几何模型参数进行调整，达到立体影像之间几何关系的最优状态，光束法平差的误差方程可以用如下公式表示：

其中，其中和/>表示泰勒公式的残差，/>，/>，/>，φ，ω，κ表示外方位元素，X、Y、 Z表示地面点坐标值，这9个值是待优化的参数，x和y是立体影像特征点对中观测到的像点坐标值，（x）和（y）是根据各待优化参数的近似值计算出的像点坐标近似值。

步骤2：核线影像生成：核线影像生成的目的是将原始的影像按照核线方向排列，这样可以将左右影像的视差值由原来的在x和y方向两个方向的差异，转换成为在核线方向上的一维差异，包括核线重采样、像素插值；

进一步，所述步骤2的具体步骤为：

步骤2.1：核线重采样，一般情况下得到的遥感影像的扫描行与核线并不重合，对原始的遥感影像按照核线方向进行重采样，使得重采样后的影像水平行都在一条核线上；

步骤2.2：像素插值，重采样后的影像与原来的影像的像素不是一一对应的关系，对原始影像中与核线影像相应像点对应的最近邻的4个像点的像素值采用双线性插值计算得到核线影像上的重采样后的像点位置的像素值。

步骤3：密集匹配：从核线影像中逐像素建立遥感立体影像的对应关系，从而估计立体影像间的视差；

进一步，所述步骤3的具体步骤为：

步骤3.1：匹配代价计算，利用互信息计算立体影像之间的匹配代价，匹配代价用来衡量两个像素之间的相似程度；

步骤3.2：匹配代价的聚合，利用代价聚合对原始匹配代价进行去噪，消除匹配代价中噪声带来的对结果的不利影响；

步骤3.3：视差值计算，通过对相邻或更大范围的视差变化增加惩罚项，将惩罚项和匹配代价项组合成为一个完整优化模型，通过优化能量函数求得对应全局能量最小或近似最小的视差图；

步骤3.4：视差值的优化，利用平滑性约束条件，对初始视差图进行优化，以获得更加平滑、一致的视差图。

步骤4：点云重建，根据立体影像的视差值计算出深度图，然后对深度图进行优化，基于优化后的深度图计算出物方点的三维坐标，最后对三维点云进行降噪处理得到最终的点云重建结果。

进一步，所述步骤4的具体步骤为：

步骤4.1：深度值计算，根据立体密集匹配获得的每个同名点的视差值d，相机标定确定的相机焦距f，以及基线长度B，可以通过公式z=fB/d计算影像的深度值；

步骤4.2：深度图优化，将每个像点的深度值按照像点位置排列，得到深度图像，利用一致性约束和平滑性约束对初始深度图像进行优化，得到优化后的深度图像；

步骤4.3：点云生成，利用优化后深度图，以及先前已经获得的影像的内外方位元素，可以利用立体影像空间前方交会原理计算每一个像点对应的物点的三维坐标，将这些三维坐标组合起来完成点云重建；

步骤4.4：点云降噪，利用中值滤波方法对初始生成的点云数据进行降噪处理，剔除点云中的异常点，得到最终点云数据。

实施例

图1为本发明的基于遥感立体影像的点云重建的流程示意图，从图中可以看出：本发明实施例中，通过星载或机载立体相机已经获得相同场景的遥感立体影像数据，通过成像模型构建、核线影像生成、密集匹配、点云重建等步骤完成遥感立体影像点云重建；

1. 成像模型构建：首先，利用稀疏特征匹配算法提取立体影像间可靠的特征匹配点，这些特征点建立了立体影像的同名对应关系；接着，根据相机成像几何原理进行相机标定获取成像系统内外参数以估计成像几何模型参数，通过标定获得的参数只是一个初步近似值；最后，采用光束法平差对原始的成像几何模型参数进行调整，达到立体影像之间成像模型的最优状态；

2. 核线影像生成：首先，通过对原始的遥感影像进行核线重采样，使得重采样后的影像的水平行都在一条核线上；然后，确定重采样后的核线影像上的每个像点对应的原始影像中的4个最近邻像点位置，对原始影像中的4个像点的像素值进行双线性插值计算，得到核线影像上的新的像点位置的像素值。核线影像生成的目的是将原始的影像按照核线方向排列，这样可以将左右影像的视差值由原来的在x和y方向两个方向的差异，转换成为在核线方向上的一维差异；

3. 密集匹配：首先，利用互信息计算立体影像之间的匹配代价，匹配代价用来衡量两个像素之间的相似程度；接着，利用代价聚合对原始匹配代价进行去噪，消除匹配代价中噪声带来的对结果的不利影响；然后，通过对相邻或更大范围的视差变化增加惩罚项，将惩罚项和匹配代价项组合成为一个完整优化模型，通过优化能量函数求得对应全局能量最小或近似最小的视差图；最后，利用平滑性约束条件，对初始视差图进行优化。密集匹配的目的是从核线影像中逐像素建立遥感立体影像的同名点的对应关系，从而计算立体影像间的视差；

4. 点云重建：首先，根据立体影像的视差值计算出深度图；然后，对深度图进行优化；接着，基于优化后的深度图计算出物方点的三维坐标，生成初始点云；最后，对三维点云进行降噪处理得到最终的点云重建结果。

本发明的方法具有普适性，用于遥感立体影像点云重建任务中。以上仅是本发明众多具体应用范围中的代表性实施例，仅是帮助说明本发明方法及核心思想，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (6)

1.一种基于遥感立体影像的点云重建方法，其特征在于，包括以下步骤：

步骤1：成像模型构建：利用局部特征匹配、相机标定和光束法平差建立精确遥感立体影像成像模型；

步骤2：核线影像生成：将原始的影像按照核线方向排列，实现将左右影像的视差值由原来的在x和y两个方向的差异，转换成为在核线方向上的一维差异，包括核线重采样、像素插值；

步骤3：密集匹配：从核线影像中逐像素建立遥感立体影像的对应关系，从而估计立体影像间的视差；

步骤4：点云重建，根据立体影像的视差值计算出深度图，然后对深度图进行优化，基于优化后的深度图计算出物方点的三维坐标，最后对三维点云进行降噪处理得到最终的点云重建结果。

2.根据权利要求1所述的一种基于遥感立体影像的点云重建方法，其特征在于，所述步骤1的具体步骤为：

步骤1.1：特征匹配，遥感立体影像特征匹配的目的是建立影像间稀疏的特征点对应关系，主要包括特征点提取、特征点描述、特征点匹配；

步骤1.2：相机标定，利用特征点匹配建立了立体影像的同名对应关系，根据相机成像原理进行相机标定获取成像系统内外参数以估计成像模型参数，通过标定获得的参数只是一个初步近似值，得到成像模型初步近似参数；

步骤1.3：光束法平差，根据特征点匹配建立了立体影像的同名对应关系，相机标定得到的成像模型初步近似参数，利用光束法平差对原始的成像几何模型参数进行调整，达到立体影像之间几何关系的最优状态，光束法平差的误差方程可以用如下公式表示：

其中，其中和/>表示泰勒公式的残差，/>，/>，/>这三个外方位元素表示线元素，表示两个相机摄影中心的相对位移，也就是两个相机的成像坐标系的坐标原点的相对位移；φ，ω，κ表示外方位元素的角元素，表示两个相机的成像坐标系的相对旋转，X、Y、Z表示地面点坐标值，这9个值是待优化的参数，x和y是立体影像特征点对中观测到的像点坐标值，（x）和（y）是根据各待优化参数的近似值计算出的像点坐标近似值。

3.根据权利要求1所述的一种基于遥感立体影像的点云重建方法，其特征在于，所述步骤2的具体步骤为：

步骤2.1：核线重采样，对遥感影像的扫描行与核线并不重合情况，对原始的遥感影像按照核线方向进行重采样，使得重采样后的影像水平行都在一条核线上；

步骤2.2：像素插值，重采样后的影像与原来的影像的像素不是一一对应的关系，对原始影像中与核线影像相应像点对应的最近邻的4个像点的像素值采用双线性插值计算得到核线影像上的重采样后的像点位置的像素值。

4.根据权利要求1所述的一种基于遥感立体影像的点云重建方法，其特征在于，所述步骤3的具体步骤为：

步骤3.1：匹配代价计算，利用互信息计算立体影像之间的匹配代价，匹配代价用来衡量两个像素之间的相似程度；

步骤3.2：匹配代价的聚合，利用代价聚合对原始匹配代价进行去噪，消除匹配代价中噪声带来的对结果的不利影响；

步骤3.3：视差值计算，通过对相邻或更大范围的视差变化增加惩罚项，将惩罚项和匹配代价项组合成为一个完整优化模型，通过优化能量函数求得对应全局能量最小或近似最小的视差图；

步骤3.4：视差值的优化，利用平滑性约束条件，对初始视差图进行优化，以获得更加平滑、一致的视差图。

5.根据权利要求1所述的一种基于遥感立体影像的点云重建方法，其特征在于，所述步骤4的具体步骤为：

步骤4.1：深度值计算，根据立体密集匹配获得的每个同名点的视差值d，相机标定确定的相机焦距f，以及基线长度B，可以通过公式z=fB/d计算影像的深度值；

步骤4.2：深度图优化，将每个像点的深度值按照像点位置排列，得到深度图像，利用一致性约束和平滑性约束对初始深度图像进行优化，得到优化后的深度图像；

步骤4.3：点云生成，利用优化后深度图，以及先前已经获得的影像的内外方位元素，利用立体影像空间前方交会原理计算每一个像点对应的物点的三维坐标，将这些三维坐标组合起来完成点云重建；

步骤4.4：点云降噪，利用中值滤波方法对初始生成的点云数据进行降噪处理，剔除点云中的异常点，得到最终点云数据。

6.根据权利要求2所述的一种基于遥感立体影像的点云重建方法，其特征在于，所述步骤1.1的具体步骤为：

步骤1.1.1：特征点提取，基于立体影像局部信息的提取立体影像的特征点，具体步骤为：一个以像素p为中心，半径为3像素的圆形邻域上，有16个像素点（p ₁、p ₂、...、p ₁₆）；定义一个阈值t，依次计算从p ₁到p ₁₆这16个点与中心像素p的像素差，如果有至少连续9个超过阈值，则将中心像素p定义为特征点候选点；以候选点p为中心的一个5×5像素的邻域内，如果有多个候选点，依次利用公式计算候选点中超过阈值的像素的差值累加求和，得到所有候选点的s值，最终保留s值最大的候选点作为特征点；

步骤1.1.2：特征点描述，利用公式计算影像的结构特征图，式中F表示结构特征图，I表示输入影像，I _mean 表示均值，m表示模版半径；分别采用0°，45°，90°和135°等4个滤波方向对结构特征图滤波得到方向特征图，然后选择特征点周围的4×4像素的邻域，对邻域内每一个像素按照0°，45°，90°和135°这4个方向将特征值排列成为一个4维特征向量，然后将16个像素的特征向量进行组合得到64维的特征向量；

步骤1.1.3：特征点匹配，以其中一幅立体影像为基准，基准影像中的每一个特征点分别遍历待匹配的影像中所有特征点，计算特征点特征描述子的欧式距离，保留距离最小的值作为匹配点对，采用RANSAC算法剔除误匹配点，得到最后的特征点匹配结果。