CN110232738B - 基于视差图和关键点的多视图遥感图像立体重构方法 - Google Patents

Abstract

本发明公开了一种基于视差图和关键点的多视图遥感图像立体重构方法，主要解决现有技术中遥感图像重构精度不高的缺陷，其实现步骤为：(1)选择图像对；(2)生成地物类别标签；(3)生成融合地物类别标签的视差图；(4)生成每个图像对的数字表面模型DSM；(5)融合每个图像对的数字表面模型DSM；(6)标记关键点；(7)优化融合的数字表面模型DSM；(8)立体重构三维模型。本发明提高了建筑物与地面类别的遥感目标的重构精度，能够自适应地满足不同地物类别标签目标的视差计算精度要求，提高了遥感图像的重构速度。

Description

基于视差图和关键点的多视图遥感图像立体重构方法

技术领域

本发明属于图像重构技术领域，更进一步涉及遥感图像立体重构技术领域的一种基于视差图和关键点的多视图遥感图像立体重构方法。本发明可用于对同一卫星在不同角度不同时间拍摄的两张以上的光学遥感图像进行立体重构。

背景技术

立体重构是根据单视图或者多视图的图像对三维物体重建三维信息的过程，是在计算机中建立表达客观世界的虚拟现实的关键技术。工程技术领域中通常采用同一摄像机在不同角度不同时间拍摄的两张以上的图像，在同一物理空间点对不同图像中的成像点进行立体匹配，再结合摄像机的参数进行多视图立体重构。用多视图图像进行立体重构的方法是先对摄像机进行标定，即根据摄像机的参数计算出摄像机的图像坐标系与世界坐标系的关系，然后利用多个二维图像中的信息进行立体匹配重建出三维立体信息。

北京大学在其申请的专利文献“一种航拍影像三维重建的全局运动初始化方法和系统”(专利申请号：201811101135，公开号：109493415A)中公开了一种航拍影像的三维立体重构方法。该方法的步骤为，(1)对连续帧图像进行特征提取，并对提取的特征点进行匹配；(2)基于连续帧图像的特征点计算相机旋转量；(3)计算连续帧图像的相机光心在世界坐标系的位置；(4)根据计算出的相机旋转量和光心位置，进行三维点云的重建。虽然该方法实现了同时定位与建图的快速初始化，但是，该方法仍然存在的不足之处是，该方法直接将航拍影像中的连续帧图像作为图像对，使得用于立体重构的图像对质量较差，影响立体重构的效果，并且该方法对航拍影像中所有地物目标使用同样的方法进行特征点匹配，无法针对具有不同几何特征和高度差异的地物目标自适应地调整匹配策略，影响了视差计算的可靠性。

北京理工大学在其申请专利文献“基于优化启发的神经网络的光谱成像系统的重构方法”(专利申请号：201910162197，公开号：109697697A)中公开了一种遥感高光谱图像的立体重构方法。该方法的步骤为，(1)建立光谱成像系统的前向传播模型；(2)构建高光谱图像重构网络；(3)配置高光谱图像重构网络训练所需参数；(4)制作训练集训练高光谱图像重构网络；(5)使用训练得到的高光谱图像重构网络逐块重构目标高光谱图像。虽然该方法利用神经网络的建模能力保证重建结果具备高空间分辨率，但是，该方法仍然存在的不足之处是，该方法将遥感高光谱图像划分得到的若干块子图像逐块输入到重构网络中，并将重构网络输出的重构结果进行拼接，重构网络的时延和划分子图像块的方式使得对遥感高光谱图像的重构时间较长，并且该方法对遥感高光谱图像中所有目标使用同一个重构网络进行重构，无法适应建筑物和地面遥感目标由于高度差异和纹理特征不同而具有的不同重构需求。

发明内容

本发明的目的是针对上述现有技术存在的不足，提出了一种基于视差图和关键点的多视图遥感图像立体重构方法。本发明解决了现有图像重构技术中图像对质量差、重构时间长、不同目标视差计算可靠性差、无法适应不同目标的重构需求等缺点，提高了立体重构的精度。

本发明实现上述目的的思路是：先按照卫星拍摄偏角和拍摄日期选择用于立体重构的图像对，将每个图像对中的一张图像作为基准图像，利用LinkNet网络生成每个图像对的基准图像中每个像素点的地物类别标签，然后结合地物类别标签生成每个图像对的视差图，再通过三角测量操作得到每个图像对的数字表面模型DSM，融合所有图像对的数字表面模型DSM，最后通过标记关键点优化融合的数字表面模型DSM。

本发明的步骤包括如下：

(1)选择图像对：

(1a)输入同一卫星拍摄于同一区域的至少10张图像，将每张图像分别与其它图像组成图像对，每个图像对中的每张图像均包含道路、高架桥、建筑物、植被和地面五种地物目标外还均含有头部信息；

(1b)从所有图像对中选取卫星拍摄偏角差异大于5°且小于45°的图像对组成图像对集合；

(1c)若图像对集合中图像对的数量大于50，则将该图像对集合中的图像对按照卫星拍摄时间差异升序排序，从排序中选取前50个图像对组成待重构的图像对集合，若图像对集合中图像对的数量小于50，则直接将该图像对集合作为待重构的图像对集合；

(1d)将待重构的图像对集合中每个图像对中的一张图像作为基准图像，另一张图像作为辅助图像；

(2)生成地物类别标签：

将待重构的图像对集合中每个图像对的基准图像输入到训练好的语义分割网络LinkNet中，输出每张基准图像中每个像素点的地物类别标签；

(3)生成融合地物类别标签的视差图：

(3a)从待重构的图像对集合中任选一个未选过的图像对；

(3b)将所选基准图像中地物类别标签为建筑物类别标签的像素点的视差偏移范围设置为[-256,256]，地物类别标签为地面类别标签的像素点的视差偏移范围设置为[-32,32]，地物类别标签为五种类别标签中的其它类别标签的像素点的视差偏移范围设置为[-64,64]；

(3c)通过半全局匹配算法SGBM，利用所选图像对的基准图像和辅助图像生成该图像对的视差图；

(3d)判断是否选完待重构的图像对集合中的所有图像对，若是，则执行步骤(4)，否则，执行步骤(3a)；

(4)生成每个图像对的数字表面模型DSM：

对待重构的图像对集合中每个图像对生成的视差图进行三角测量操作，得到以二维图像形式存储的每个图像对的数字表面模型DSM；

(5)融合每个图像对的数字表面模型DSM；

(5a)从待重构的图像对集合中的每个图像对的数字表面模型DSM中选取一个未选过的像素点组成像素点集合，所选的每个像素点均位于各自对应数字表面模型DSM中的相同位置；

(5b)从像素点集合中任取一个未选过的像素点；

(5c)统计所选像素点与像素点集合中其它像素值之差的绝对值小于1的像素点的总数，将该总数除以像素点集合中像素点的总数作为所选像素点密度；

(5d)判断是否选完像素点集合中的所有像素点，若是，则执行步骤(5e)，否则，执行步骤(5b)；

(5e)选取像素点集合中像素点密度中的最大值，将该最大值对应的像素点作为稠密像素点；

(5f)判断是否选完待重构的图像对集合中每个图像对的数字表面模型DSM的所有像素点，若是，则将所有稠密像素点组成融合的数字表面模型DSM后执行步骤(6)，否则，执行步骤(5a)；

(6)标记关键点：

将融合的数字表面模型DSM中像素点密度大于0.5的所有像素点均标记为关键点，将其它像素点标记为非关键点；

(7)优化融合的数字表面模型DSM：

(7a)从融合的数字表面模型DSM中选取一个未选过的非关键点；

(7b)若所选非关键点的地物类别标签为建筑物类别标签，则将与所选非关键点相邻的5×5范围内地物类别标签为建筑物类别标签的所有关键点，组成所选非关键点的邻域建筑物关键点集合，计算所选非关键点的邻域建筑物关键点集合中所有像素的均值，作为所选非关键点的邻域均值；

(7c)判断非关键点的邻域建筑物关键点集合中的最大最小像素值之差是否小于2，若是，则用所选非关键点的邻域均值更新所选非关键点的像素值后执行步骤(7e)，否则，用所选非关键点的邻域建筑物关键点集合中像素值小于所选非关键点的邻域均值的所有像素点的像素均值，更新所选非关键点的像素值后执行步骤(7e)；

(7d)若所选非关键点的地物类别标签为地面类别标签，则将与所选非关键点相邻的100×100范围内地物类别标签为地面类别标签的所有关键点，组成所选非关键点的邻域地面关键点集合，用所选非关键点的邻域地面关键点集合中所有像素的均值更新所选非关键点的像素值；

(7e)判断是否选完融合的数字表面模型DSM中所有非关键点，若是，则得到优化的数字表面模型DSM后执行步骤(8)，否则，执行步骤(7a)；

(8)立体重构三维模型：

(8a)将优化的数字表面模型DSM中每个像素点的像素值，作为每个像素点的高度信息，与每个像素点在优化的数字表面模型DSM上的二维位置信息组成三维位置信息；

(8b)将所有像素点的三维位置信息组成三维模型，实现遥感图像的立体重构。

本发明与现有技术相比具有如下优点：

第一，由于本发明从所有图像对中选取卫星拍摄偏角差异大于5°且小于45°的图像对组成图像对集合，若图像对集合中图像对的数量大于50，则将该图像对集合中的图像对按照卫星拍摄时间差异升序排序，从排序中选取前50个图像对组成待重构的图像对集合，若图像对集合中图像对的数量小于50，则直接将该图像对集合作为待重构的图像对集合，克服了现有技术中用于立体重构的图像对质量较差，影响立体重构效果的缺点，使得本发明提高了整体立体重构的精度。

第二，由于本发明将地物类别标签为建筑物类别标签的像素点的视差偏移范围设置为[-256,256]，将地物类别标签为植被类别标签的像素点的视差偏移范围设置为[-32,32]，将地物类别标签为五种类别标签中的其它类别标签的像素点的视差偏移范围设置为[-64,64]，克服了现有技术无法针对具有不同几何特征和高度差异的地物目标自适应地调整匹配策略，影响视差计算的可靠性，使得本发明能够自适应地满足不同地物类别标签目标的视差计算精度要求。

第三，由于本发明对每个图像对生成的视差图进行三角测量操作，得到每个图像对的数字表面模型DSM进行立体重构，克服了现有技术将遥感高光谱图像划分得到的若干块子图像逐块输入到重构网络中，并将重构网络输出的重构结果进行拼接使得重构时间较长的缺点，使得本发明提高了遥感图像的重构速度。

第四，由于本发明利用关键点优化融合的数字表面模型DSM中地物类别标签为建筑物类别标签和地面类别标签的非关键点的像素值，克服了现有技术无法适应建筑物和地面遥感目标由于高度差异和纹理特征不同而具有不同重构需求的缺点，使得本发明提高了建筑物和地面遥感目标的重构精度。

附图说明

图1为本发明的流程图；

图2为本发明融合每个图像对的数字表面模型DSM步骤的流程图；

图3为本发明优化融合的数字表面模型DSM步骤的流程图。

具体实施方式

下面结合附图对本发明做进一步的详细描述。

参照附图1，对本发明的步骤做进一步的详细描述。

步骤1，选择图像对。

输入同一卫星拍摄于同一区域的至少10张图像，将每张图像分别与其它图像组成图像对，每个图像对中的每张图像均包含道路、高架桥、建筑物、植被和地面五种地物目标外还均含有头部信息。

所述的头部信息包括输入图像对应的卫星摄像机的归一化焦距、拍摄该输入图像时的光心位置、卫星拍摄偏角、卫星拍摄时间。

从所有图像对中选取卫星拍摄偏角差异大于5°且小于45°的图像对组成图像对集合，若图像对集合中图像对的数量大于50，则将该图像对集合中的图像对按照卫星拍摄时间差异升序排序，从排序中选取前50个图像对组成待重构的图像对集合，若图像对集合中图像对的数量小于50，则直接将该图像对集合作为待重构的图像对集合。

将待重构的图像对集合中每个图像对中的一张图像作为基准图像，另一张图像作为辅助图像。

步骤2，生成地物类别标签。

将待重构的图像对集合中每个图像对的基准图像输入到训练好的语义分割网络LinkNet中，输出每张基准图像中每个像素点的地物类别标签。

第一步，搭建一个14层的语义分割网络LinkNet，其结构依次为：第一卷积层→第一最大池化层→第一编码器→第二编码器→第三编码器→第四编码器→第四解码器→第三解码器→第二解码器→第一解码器→第一全卷积层→第二卷积层→第二全卷积层；其中，第一编码器的输出连接第一解码器的输入，第二编码器的输出连接第二解码器的输入，第三编码器的输出连接第三解码器的输入。

所述编码器的结构依次为：第一编码卷积层→第二编码卷积层→第三编码卷积层→第四编码卷积层；其中，第一编码卷积层的输入连接第二编码卷积层的输出，第三编码卷积层的输入连接第四编码卷积层的输出。

所述解码器结构依次为：第一解码卷积层→第一解码全卷积层→第二解码卷积层。

第二步，设置语义分割网络LinkNet的各层参数如下：

将第一卷积层的卷积核大小设置为7×7，步长设置为2；将第一最大池化层的池化窗口大小设置为3×3，步长设置为2；将第一全卷积层、第二全卷积层的卷积核大小依次设置为3×3、2×2，步长均设置为2；将第二卷积层的卷积核大小设置为3×3，步长设置为1。

编码器的参数设置如下：将第一编码卷积层、第二编码卷积层、第三编码卷积层、第四编码卷积层的卷积核大小均设置为3×3，步长依次设置为2、1、1、1。

解码器的参数设置如下：将第一解码卷积层、第二解码卷积层的卷积核大小均设置为1×1，步长设置为1；将第一解码全卷积层的卷积核大小设置为3×3，步长设置为2。

第三步，从遥感图像数据集中选取12876张图像和每张图像对应的真实语义信息矩阵组成训练集，每张图像均包含道路、高架桥、建筑物、植被和地面五种类别的地物目标。

第四步，将训练集中的每张图像输入到语义分割网络LinkNet中，输出训练集中每张图像每个像素点对应的预测地物类别标签，计算训练集中每张图像每个像素点对应的预测地物类别标签与其对应的真实地物类别标签的交叉熵损失值，采用随机梯度下降算法，最小化损失值，得到训练好的语义分割网络LinkNet。

第五步，将每个图像对中的基准图像分别输入到训练好的语义分割网络LinkNet中，输出每张基准图像中每个像素点对应的地物类别标签。

步骤3，生成融合地物类别标签的视差图。

从待重构的图像对集合中任选一个未选过的图像对，从所选基准图像中选取一个未选过的像素点。

若所选像素点中的地物类别标签为建筑物类别标签，则将该像素点的视差偏移范围设置为[-256,256]，若所选像素点中的地物类别标签为植被类别标签，则将该像素点的视差偏移范围设置为[-32,32]，若所选像素点中的地物类别标签为五种类别标签中的其它类别标签，则将该像素点的视差偏移范围设置为[-64,64]。

通过半全局匹配算法SGBM，利用所选图像对的基准图像和辅助图像生成该图像对的视差图，具体步骤如下：

第一步，创建一个与选取的基准图像相同大小的视差图，从选取的基准图像中选取一个未选过的像素点。

第二步，从所选像素点的视差偏移范围中选取一个未选过的视差偏移量，获取所选像素点在辅助图像上沿行坐标偏移该视差偏移量后的像素点。

第三步，计算基准图像上所选像素点和辅助图像上偏移后像素点的灰度值之差的绝对值，得到所选像素点对应该视差偏移量的灰度匹配代价。

第四步，判断是否选完所选像素点的视差偏移范围中的所有视差偏移量，若是，则将所选像素点的最小灰度匹配代价作为所选像素点的视差代价，并将该最小灰度匹配代价对应的视差偏移量作为所选像素点在视差图上的初始像素值，否则，执行第二步。

第五步，判断是否选完基准图像的所有像素点，若是，则执行第六步，否则，执行第一步。

第六步，选取所选基准图像中每个像素点为中心的邻域25个像素点作为所选像素点的邻域像素点，计算所选像素点与其每一个邻域像素点初始像素值之差的绝对值，得到所选像素点与其每一个邻域像素点的视差距离。

第七步，统计所选像素点与其每一个邻域像素点的视差距离等于1的像素点总数作为所选像素点的第一视差惩罚总数，将大于1的像素点总数作为所选像素点的第二视差惩罚总数

第八步，按照下式，计算所选像素点的视差能量：

E＝C+200×N₁+800×N₂

其中，E表示所选像素点的视差能量，C表示所选像素点的视差代价，N₁表示所选像素点的第一视差惩罚总数，N₂表示所选像素点的第二视差惩罚总数。

第九步，将所选基准图像所有像素点对应的视差能量之和作为视差图的总视差能量。

第十步，利用牛顿高斯迭代法对视差图的每个像素值进行迭代优化，使视差图的总视差能量最小，得到最优视差图。

以上为一个图像对的视差图生成过程，重复此过程直到选完待重构的图像对集合中所有图像对，得到每个图像对对应的视差图。

步骤4，生成每个图像对的数字表面模型DSM。

对每个图像对生成的视差图进行三角测量操作，得到以二维图像形式存储的每个图像对的数字表面模型DSM。所述三角测量操作的具体步骤如下：

第一步，任选一个图像对，从所选图像对的基准图像的头部信息中获取卫星摄像机的归一化焦距和拍摄该基准图像时的光心位置，从辅助图像的头部信息中获取卫星摄像机拍摄该辅助图像时的光心位置。

第二步，从所选图像对生成的视差图中选取一个未选过的像素点。

第三步，按照下式，计算所选像素点在地球表面上对应的区域与卫星摄像机间的距离：

其中，Z表示所选像素点在地球表面上对应的区域与卫星摄像机间的距离，f表示卫星摄像机的归一化焦距，b表示卫星摄像机拍摄基准图像和辅助图像的光心位置间的距离，d表示所选像素点在视差图中的像素值。

第四步，判断是否选完视差图中的所有像素点，若是，则执行第五步，否则，执行第二步。

第五步，将所选视差图的所有像素点在地球表面上对应与卫星摄像机间的距离，组成所选图像对的初始数字表面模型DSM。

第六步，从所有像素点在地球表面上对应与卫星摄像机间的所有距离中选取一个最大值，用该最大值减去初始数字表面模型DSM中每个像素值，得到所选图像对的最终数字表面模型DSM。

第七步，判断是否选完所有图像对，若是，则得到每个图像对的数字表面模型DSM，否则，执行第一步。

步骤5，融合每个图像对的数字表面模型DSM。

下面结合附图2，对本发明融合每个图像对的数字表面模型DSM的步骤做进一步的详细描述。

(5.1)从待重构的图像对集合中的每个图像对的数字表面模型DSM中选取一个未选过的像素点组成像素点集合，所选的每个像素点均位于各自对应数字表面模型DSM中的相同位置。

(5.2)从像素点集合中任取一个未选过的像素点。

(5.3)统计所选像素点与像素点集合中其它像素值之差的绝对值小于1的像素点的总数，将该总数除以像素点集合中像素点的总数作为所选像素点密度。

(5.4)判断是否选完像素点集合中的所有像素点，若是，则执行本步骤的(5.5)，否则，执行本步骤的(5.2)。

(5.5)判断是否选完待重构的图像对集合中每个图像对的数字表面模型DSM的所有像素点，若是，则将所有稠密像素点组成融合的数字表面模型DSM后执行步骤6，否则，执行本步骤的(5.1)。

步骤6，标记关键点。

将融合的数字表面模型DSM中像素点密度大于0.5的所有像素点均标记为关键点，将其它像素点标记为非关键点。

步骤7，优化融合的数字表面模型DSM。

下面结合附图3，对本发明优化融合的数字表面模型DSM的步骤做进一步的详细描述。

(7.1)从融合的数字表面模型DSM中选取一个未选过的非关键点；

(7.2)若所选非关键点的地物类别标签为建筑物类别标签，则将与所选非关键点相邻的5×5范围内地物类别标签为建筑物类别标签的所有关键点，组成所选非关键点的邻域建筑物关键点集合，计算所选非关键点的邻域建筑物关键点集合中所有像素的均值，作为所选非关键点的邻域均值；

(7.3)判断非关键点的邻域建筑物关键点集合中的最大最小像素值之差是否小于2，若是，则用所选非关键点的邻域均值更新所选非关键点的像素值后执行本步骤的(7.5)，否则，用所选非关键点的邻域建筑物关键点集合中像素值小于所选非关键点的邻域均值的所有像素点的像素均值，更新所选非关键点的像素值后执行本步骤的(7.5)；

(7.4)若所选非关键点的地物类别标签为地面类别标签，则将与所选非关键点相邻的100×100范围内地物类别标签为地面类别标签的所有关键点，组成所选非关键点的邻域地面关键点集合，用所选非关键点的邻域地面关键点集合中所有像素的均值更新所选非关键点的像素值；

(7.5)判断是否选完融合的数字表面模型DSM中所有非关键点，若是，则得到优化的数字表面模型DSM后执行步骤8，否则，执行本步骤的(7.1)。

步骤8，立体重构三维模型。

将优化的数字表面模型DSM中每个像素点的像素值，作为该像素点的高度信息，与该像素点在优化后的数字表面模型DSM上的二维位置信息组成三维位置信息。

将所有像素点的三维位置信息组成三维模型，实现遥感图像的立体重构。

Claims (5)

1.一种基于视差图和关键点的多视图遥感图像立体重构方法，其特征在于，按照卫星拍摄偏角和拍摄日期选择图像对，生成融合地物类别标签的视差图，利用关键点和地物类别标签优化数字表面模型DSM；该方法的具体步骤如下：

(1)选择图像对：

(1a)输入同一卫星拍摄于同一区域的至少10张图像，将每张图像分别与其它图像组成图像对，每个图像对中的每张图像均包含道路、高架桥、建筑物、植被和地面五种地物目标外还均含有头部信息；

(1b)从所有图像对中选取卫星拍摄偏角差异大于5°且小于45°的图像对组成图像对集合；

(1c)若图像对集合中图像对的数量大于50，则将该图像对集合中的图像对按照卫星拍摄时间差异升序排序，从排序中选取前50个图像对组成待重构的图像对集合，若图像对集合中图像对的数量小于50，则直接将该图像对集合作为待重构的图像对集合；

(1d)将待重构的图像对集合中每个图像对中的一张图像作为基准图像，另一张图像作为辅助图像；

(2)生成地物类别标签：

将待重构的图像对集合中每个图像对的基准图像输入到训练好的语义分割网络LinkNet中，输出每张基准图像中每个像素点的地物类别标签；

(3)生成融合地物类别标签的视差图：

(3a)从待重构的图像对集合中任选一个未选过的图像对；

(3b)将所选基准图像中地物类别标签为建筑物类别标签的像素点的视差偏移范围设置为[-256,256]，地物类别标签为地面类别标签的像素点的视差偏移范围设置为[-32,32]，地物类别标签为五种类别标签中的其它类别标签的像素点的视差偏移范围设置为[-64,64]；

(3c)通过半全局匹配算法SGBM，利用所选图像对的基准图像和辅助图像生成该图像对的视差图；

(3d)判断是否选完待重构的图像对集合中的所有图像对，若是，则执行步骤(4)，否则，执行步骤(3a)；

(4)生成每个图像对的数字表面模型DSM：

对待重构的图像对集合中每个图像对生成的视差图进行三角测量操作，得到以二维图像形式存储的每个图像对的数字表面模型DSM；

(5)融合每个图像对的数字表面模型DSM；

(5a)从待重构的图像对集合中的每个图像对的数字表面模型DSM中选取一个未选过的像素点组成像素点集合，所选的每个像素点均位于各自对应数字表面模型DSM中的相同位置；

(5b)从像素点集合中任取一个未选过的像素点；

(5c)统计所选像素点与像素点集合中其它像素值之差的绝对值小于1的像素点的总数，将该总数除以像素点集合中像素点的总数作为所选像素点密度；

(5d)判断是否选完像素点集合中的所有像素点，若是，则执行步骤(5e)，否则，执行步骤(5b)；

(5e)选取像素点集合中像素点密度中的最大值，将该最大值对应的像素点作为稠密像素点；

(5f)判断是否选完待重构的图像对集合中每个图像对的数字表面模型DSM的所有像素点，若是，则将所有稠密像素点组成融合的数字表面模型DSM后执行步骤(6)，否则，执行步骤(5a)；

(6)标记关键点：

将融合的数字表面模型DSM中像素点密度大于0.5的所有像素点均标记为关键点，将其它像素点标记为非关键点；

(7)优化融合的数字表面模型DSM：

(7a)从融合的数字表面模型DSM中选取一个未选过的非关键点；

(7b)若所选非关键点的地物类别标签为建筑物类别标签，则将与所选非关键点相邻的5×5范围内地物类别标签为建筑物类别标签的所有关键点，组成所选非关键点的邻域建筑物关键点集合，计算所选非关键点的邻域建筑物关键点集合中所有像素的均值，作为所选非关键点的邻域均值；

(7c)判断非关键点的邻域建筑物关键点集合中的最大最小像素值之差是否小于2，若是，则用所选非关键点的邻域均值更新所选非关键点的像素值后执行步骤(7e)，否则，用所选非关键点的邻域建筑物关键点集合中像素值小于所选非关键点的邻域均值的所有像素点的像素均值，更新所选非关键点的像素值后执行步骤(7e)；

(7d)若所选非关键点的地物类别标签为地面类别标签，则将与所选非关键点相邻的100×100范围内地物类别标签为地面类别标签的所有关键点，组成所选非关键点的邻域地面关键点集合，用所选非关键点的邻域地面关键点集合中所有像素的均值更新所选非关键点的像素值；

(7e)判断是否选完融合的数字表面模型DSM中所有非关键点，若是，则得到优化的数字表面模型DSM后执行步骤(8)，否则，执行步骤(7a)；

(8)立体重构三维模型：

(8a)将优化的数字表面模型DSM中每个像素点的像素值，作为每个像素点的高度信息，与每个像素点在优化的数字表面模型DSM上的二维位置信息组成三维位置信息；

(8b)将所有像素点的三维位置信息组成三维模型，实现遥感图像的立体重构。

2.根据权利要求1所述的基于视差图和关键点的多视图遥感图像立体重构方法，其特征在于，步骤(1a)中所述的头部信息包括输入图像对应的卫星摄像机的归一化焦距、拍摄该输入图像时的光心位置、卫星拍摄偏角、卫星拍摄时间。

3.根据权利要求1所述的基于视差图和关键点的多视图遥感图像立体重构方法，其特征在于，步骤(2)中所述将待重构的图像对集合中每个图像对的基准图像输入到训练好的语义分割网络LinkNet中，输出每张基准图像中每个像素点的地物类别标签的具体步骤如下：

第一步，搭建一个14层的语义分割网络LinkNet，其结构依次为：第一卷积层→第一最大池化层→第一编码器→第二编码器→第三编码器→第四编码器→第四解码器→第三解码器→第二解码器→第一解码器→第一全卷积层→第二卷积层→第二全卷积层；其中，第一编码器的输出连接第一解码器的输入，第二编码器的输出连接第二解码器的输入，第三编码器的输出连接第三解码器的输入；

所述编码器的结构依次为：第一编码卷积层→第二编码卷积层→第三编码卷积层→第四编码卷积层；其中，第一编码卷积层的输入连接第二编码卷积层的输出，第三编码卷积层的输入连接第四编码卷积层的输出；

所述解码器结构依次为：第一解码卷积层→第一解码全卷积层→第二解码卷积层；

第二步，设置语义分割网络LinkNet的各层参数如下：

将第一卷积层的卷积核大小设置为7×7，步长设置为2；将第一最大池化层的池化窗口大小设置为3×3，步长设置为2；将第一全卷积层、第二全卷积层的卷积核大小依次设置为3×3、2×2，步长均设置为2；将第二卷积层的卷积核大小设置为3×3，步长设置为1；

编码器的参数设置如下：将第一编码卷积层、第二编码卷积层、第三编码卷积层、第四编码卷积层的卷积核大小均设置为3×3，步长依次设置为2、1、1、1；

解码器的参数设置如下：将第一解码卷积层、第二解码卷积层的卷积核大小均设置为1×1，步长设置为1；将第一解码全卷积层的卷积核大小设置为3×3，步长设置为2；

第三步，从遥感图像数据集中选取12876张图像和每张图像对应的真实地物类别标签矩阵组成训练集，每张图像均包含道路、高架桥、建筑物、植被和地面五种类别的地物目标；

第四步，将训练集中的每张图像输入到语义分割网络LinkNet中，输出训练集中每张图像每个像素点对应的预测地物类别标签，计算训练集中每张图像每个像素点对应的预测地物类别标签与其对应的真实地物类别标签的交叉熵损失值，采用随机梯度下降算法，最小化损失值，得到训练好的语义分割网络LinkNet；

第五步，将每个图像对中的基准图像分别输入到训练好的语义分割网络LinkNet中，输出每张基准图像中每个像素点对应的地物类别标签。

4.根据权利要求1所述的基于视差图和关键点的多视图遥感图像立体重构方法，其特征在于，步骤(3d)中所述通过半全局匹配算法SGBM，利用所选图像对的基准图像和辅助图像生成该图像对的视差图的具体步骤如下：

第一步，创建一个与选取的基准图像相同大小的视差图，从选取的基准图像中选取一个未选过的像素点；

第二步，从所选像素点的视差偏移范围中选取一个未选过的视差偏移量，获取所选像素点在辅助图像上沿行坐标偏移该视差偏移量后的像素点；

第三步，计算基准图像上所选像素点和辅助图像上偏移后像素点的灰度值之差的绝对值，得到所选像素点对应该视差偏移量的灰度匹配代价；

第四步，判断是否选完所选像素点的视差偏移范围中的所有视差偏移量，若是，则将所选像素点的最小灰度匹配代价作为所选像素点的视差代价，并将该最小灰度匹配代价对应的视差偏移量作为所选像素点在视差图上的初始像素值，否则，执行第二步；

第五步，判断是否选完基准图像的所有像素点，若是，则执行第六步，否则，执行第一步；

第六步，选取所选基准图像中每个像素点为中心的邻域25个像素点作为所选像素点的邻域像素点，计算所选像素点与其每一个邻域像素点初始像素值之差的绝对值，得到所选像素点与其每一个邻域像素点的视差距离；

第七步，统计所选像素点与其每一个邻域像素点的视差距离等于1的像素点总数作为所选像素点的第一视差惩罚总数，将大于1的像素点总数作为所选像素点的第二视差惩罚总数；

第八步，按照下式，计算所选像素点的视差能量：

E＝C+200×N₁+800×N₂

其中，E表示所选像素点的视差能量，C表示所选像素点的视差代价，N₁表示所选像素点的第一视差惩罚总数，N₂表示所选像素点的第二视差惩罚总数；

第九步，将所选基准图像所有像素点对应的视差能量之和作为视差图的总视差能量；

第十步，利用牛顿高斯迭代法对视差图的每个像素值进行迭代优化，使视差图的总视差能量最小，得到最优视差图。

5.根据权利要求1所述的基于视差图和关键点的多视图遥感图像立体重构方法，其特征在于，步骤(4)中所述三角测量操作的具体步骤如下：

第一步，任选一个图像对，从所选图像对的基准图像的头部信息中获取卫星摄像机的归一化焦距和拍摄该基准图像时的光心位置，从辅助图像的头部信息中获取卫星摄像机拍摄该辅助图像时的光心位置；

第二步，从所选图像对生成的视差图中选取一个未选过的像素点；

第三步，按照下式，计算所选像素点在地球表面上对应的区域与卫星摄像机间的距离：

其中，Z表示所选像素点在地球表面上对应的区域与卫星摄像机间的距离，f表示卫星摄像机的归一化焦距，b表示卫星摄像机拍摄基准图像和辅助图像的光心位置间的距离，d表示所选像素点在视差图中的像素值；

第四步，判断是否选完视差图中的所有像素点，若是，则执行第五步，否则，执行第二步；

第五步，将所选视差图的所有像素点在地球表面上对应与卫星摄像机间的距离，组成所选图像对的初始数字表面模型DSM；

第六步，从所有像素点在地球表面上对应与卫星摄像机间的所有距离中选取一个最大值，用该最大值减去初始数字表面模型DSM中每个像素值，得到所选图像对的最终数字表面模型DSM；

第七步，判断是否选完所有图像对，若是，则得到每个图像对的数字表面模型DSM，否则，执行第一步。

Images