CN110189283A - 基于语义分割图的遥感图像dsm融合方法 - Google Patents

Abstract

本发明提供了一种基于语义分割图的遥感图像DSM融合方法，用于解决现有遥感图像DSM融合方法中存在的融合的遥感图像DSM精度较低的技术问题，实现步骤包括：获取多个有效时间差对应的图像对；获取每个有效时间差所对应的图像对a_i的视差图；获取每个有效时间差所对应的图像对a_i的数字表面模型DSM_i；获取语义分割图；基于语义分割图对遥感图像数字表面模型DSM进行融合。本发明根据语义分割图的标签信息对融合前的多个遥感图像DSM的高度值进行更改并将其限定在标准高度范围内，提高了融合的遥感图像DSM的精度。本发明成果可应用于城市规划、立体导航等领域。

Description

基于语义分割图的遥感图像DSM融合方法

技术领域

本发明属于遥感图像处理技术领域，涉及一种遥感图像的DSM融合方法，具体涉及一种基于语义分割图的遥感图像DSM融合方法，可用于城市规划、立体导航等领域中遥感图像的分析与处理。

背景技术

遥感图像DSM(Digital Surface Model)，即遥感图像数字表面模型，是指包含了地表建筑物、桥梁和树木等高度值的地面高程模型，真实地表达地面起伏情况。

遥感图像DSM融合是指将多个遥感图像DSM按一定的融合规则进行融合，以得到所含高度值更准确的DSM的过程。近年来，研究者对遥感图像DSM融合的研究较少，使用的都是简单的数学计算方法，未考虑融合前DSM的高度值的准确性的问题，得到的融合的遥感图像DSM精度较低。

目前实际应用中，对遥感图像DSM进行融合时使用最多的是中值法融合方法。OzgeC.Ozcanli在2015年Computer Vision&Pattern Recognition Workshops会议上发表的论文A comparison of stereo and multiview 3-D reconstruction using cross-sensorsatellite imagery中提出利用中值法对遥感图像DSM进行融合，融合过程中将多个DSM在相同像素点的高度值取中值的结果作为融合的遥感图像DSM在该像素点的高度值，该融合过程仅是将中值法这一数学计算方法作为融合规则对DSM进行融合，并未考虑如树木等存在的高度不连贯和高度值差异较大等问题，容易将融合前的多个DSM中错误的高度值代入计算，具有盲目性，导致最终得到的融合的遥感图像DSM精度较低。

语义分割图，即每个像素被赋予特定标签信息的图像。目前在遥感图像处理技术领域中，将单个尺度的由遥感图像和对应的语义分割图构成的遥感训练集输入深度卷积神经网络中，网络无法同时学习遥感图像的全局特征信息和细节特征信息，导致得到标签信息不够准确的语义分割图，进而无法利用该语义分割图提高融合的遥感图像DSM的精度。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出一种基于语义分割图的遥感图像DSM融合方法，用于解决现有技术中存在的融合的遥感图像DSM精度较低的技术问题。

为实现上述目的，本发明采取的技术方案包括如下步骤：

1、一种基于语义分割图的遥感图像DSM融合方法，其特征在于，包括如下步骤：

(1)获取多个有效时间差对应的图像对：

(1a)对n个卫星在不同时间对同一区域拍摄的n幅遥感图像进行组合方式配对，得到个图像对，并计算每个图像对中两幅遥感图像的时间差Δt，得到个时间差，n≥2；

(1b)按照升序的方式对个时间差进行排序，并选择前p个时间差作为有效时间差，该前p个有效时间差所对应的图像对为a₁,a₂,…,a_i,…,a_p，a_i表示第i个有效时间差所对应的图像对，a_i的一幅遥感图像为a_i1，另一幅遥感图像为a_i2，a_i1和a_i2的大小均为w×h，1≤i≤p，p≥1；

(2)获取每个有效时间差所对应的图像对a_i的视差图：

(2a)对每个图像对a_i的两幅遥感图像a_i1和a_i2进行校正，得到由大小均为的校正图像b_i1和b_i2构成的校正图像对b_i，p个图像对a₁,a₂,…,a_i,…,a_p的校正图像对为b₁,b₂,…,b_i,…,b_p；

(2b)采用半全局匹配算法计算b_i的大小为的视差图b_idisp，并将其作为a_i的视差图，p个图像对a₁,a₂,…,a_i,…,a_p的视差图为b_1disp,b_2disp,…,b_idisp,…,b_pdisp；

(3)获取每个有效时间差所对应的图像对a_i的数字表面模型DSM_i：

(3a)通过b_i1和b_idisp对b_i2进行配准，得到大小为的配准图像p个配准图像为

(3b)采用三角测量法，通过b_i1和计算a_i的3D点云，并通过3D点云构造a_i的大小为的数字表面模型DSM_i，p个图像对a₁,a₂,…,a_i,…,a_p的数字表面模型为DSM₁,DSM₂,…,DSM_i,…,DSM_p， 为DSM_i上坐标为(μ,σ)的像素点的高度值；

(4)获取语义分割图：

(4a)构建W个不同尺度的遥感训练集T₁,T₂,…,T_q,…,T_W，并将其分别输入深度卷积神经网络中，得到W个分割网络模型Model₁,Model₂,…,Model_q,…,Model_W，T_q和Model_q分别表示第q个尺度的遥感训练集和其分割网络模型，W≥2；

(4b)获取b_i1在Model₁,Model₂,…,Model_q,…,Model_W下的大小均为的W个语义分割图img_i1,img_i2,…,img_iq,…,img_iW，并将其作为a_i1的W个语义分割图，p个遥感图像a₁₁,a₂₁,…,a_i1,…,a_p1在Model₁,Model₂,…,Model_q,…,Model_W下的pW个语义分割图为其中 表示img_iq在坐标为的像素点的标签值，

(4c)计算a_i1的W个语义分割图img_i1,img_i2,…,img_iq,…,img_iW在坐标为的像素点的标签值的众数并对个众数构成的矩阵进行可视化，得到a_i1的语义分割图img_imod，p个遥感图像a₁₁,a₂₁,…,a_i1,…,a_p1的语义分割图为img_1mod,img_2mod,…,img_imod,…,img_pmod，其中

(4d)计算p个语义分割图img_1mod,img_2mod,…,img_imod,…,img_pmod在坐标为的像素点的标签值的众数并对个众数构成的矩阵进行可视化，得到语义分割图Img_fuse，

(5)基于语义分割图对遥感图像数字表面模型DSM进行融合：

(5a)统计a_i所在区域的带有人工标注的Ground truth语义分割图中每个标签值C_ε对应的高度范围并将其作为DSM₁,DSM₂,…,DSM_i,…,DSM_p融合的标准高度范围，ε为整数，ε≥1；

(5b)当时，若令若令计算的中值并对个中值构成的矩阵进行可视化，得到所有图像对的DSM₁,DSM₂,…,DSM_i,…,DSM_p融合的数字表面模型DSM_fuse，

本发明与现有技术相比，具有如下优点：

第一，本发明根据语义分割图的标签信息对融合前的多个遥感图像DSM的高度值进行更改并将其限定在标准高度范围内，避免了传统融合方法中直接利用中值法将融合前的多个DSM中错误的高度值代入计算而导致的融合的遥感图像DSM所含高度值不够准确的缺点，提高了融合的遥感图像DSM的精度。

第二，本发明将多个尺度遥感训练集分别输入深度卷积神经网络中，网络既可以通过较大尺度训练集学习到遥感图像的全局特征信息，又可以通过较小尺度训练集学习到遥感图像的细节特征信息，避免了单个尺度遥感训练集输入深度卷积神经网络中导致网络无法同时学习遥感图像的全局特征信息和细节特征信息的缺点，提高了语义分割图的精度，使其更好的应用于遥感图像的DSM融合。

附图说明

图1是本发明的实现流程图。

具体实施方式

下面结合附图和具体实施例，对本发明作进一步详细说明：

参照图1，本发明包括如下步骤：

步骤1)获取多个有效时间差对应的图像对：

步骤1a)对n个卫星在不同时间对同一区域拍摄的n幅遥感图像进行组合方式配对，得到个图像对，并计算每个图像对中两幅遥感图像的时间差Δt，得到个时间差，n≥2；

本实施例中使用的数据集为Urban Semantic 3D(US3D)，这是一个大型公共数据集，包括美国佛罗里达州杰克逊维尔市和美国内布拉斯加州奥马哈市的遥感图像以及语义分割图，其中n＝26；

本实施例中每个图像对中两幅遥感图像的时间差Δt的计算公式为：

Δt＝|t₁-t₂|

其中t₁表示每个图像对的一幅遥感图像的月份时间信息，t₂表示另一幅遥感图像的月份时间信息；

步骤1b)按照升序的方式对个时间差进行排序，并选择前p个时间差作为有效时间差，该前p个有效时间差所对应的图像对为a₁,a₂,…,a_i,…,a_p，a_i表示第i个有效时间差所对应的图像对，a_i的一幅遥感图像为a_i1，另一幅遥感图像为a_i2，a_i1和a_i2的大小均为w×h，1≤i≤p，p≥1；

本实施例中Urban Semantic 3D数据集的遥感图像的宽和高分别为w＝2048，h＝2048；

本实施例中p＝50，即选择前50个时间差作为有效时间差，该50个时间差的差值较小，对应的图像对的两幅遥感图像的内容差异较小，而当p＞50时，随着时间差的差值不断增大，对应的图像对的两幅遥感图像的内容差异增大，导致校正难度加大，当p＜50时，融合的遥感图像DSM精度会大幅度下降；

步骤2)获取每个有效时间差所对应的图像对a_i的视差图：

步骤2a)对每个图像对a_i的两幅遥感图像a_i1和a_i2进行校正，得到由大小均为的校正图像b_i1和b_i2构成的校正图像对b_i，p个图像对a₁,a₂,…,a_i,…,a_p的校正图像对为b₁,b₂,…,b_i,…,b_p；

本实施例中对每个图像对a_i的两幅遥感图像a_i1和a_i2进行校正的具体方法为：首先将遥感图像a_i1的相机旋转矩阵R_i1和相机投影矩阵P_i1以及a_i2的相机旋转矩阵R_i2和相机投影矩阵和P_i2输入到OpenCV函数库的stereoRectify函数中计算a_i1的单应性矩阵和a_i2的单应性矩阵接着将和分别输入到OpenCV函数库的initUndistortRectifyMap函数中计算a_i1的校正查找映射表map_i1和a_i2的校正查找映射表map_i2，最后将map_i1和map_i2分别输入到OpenCV函数库的remap函数中得到大小均为w×h的校正图像c_i1和c_i2，并对c_i1和c_i2分别进行中心裁剪，得到由大小均为的校正图像b_i1和b_i2构成的校正图像对b_i。

步骤2b)采用半全局匹配算法计算b_i的大小为的视差图b_idisp，并将其作为a_i的视差图，p个图像对a₁,a₂,…,a_i,…,a_p的视差图为b_1disp,b_2disp,…,b_idisp,…,b_pdisp；

本实施例中采用半全局匹配算法计算b_i的大小为视差图b_idisp的具体方法为：将b_i中的b_i1和b_i2输入OpenCV函数库的sgbm函数中，计算视差矩阵b_imetric，然后对b_imetric进行可视化得到b_i的大小为的视差图b_idisp；

步骤3)获取每个有效时间差所对应的图像对a_i的数字表面模型DSM_i：

步骤3a)通过b_i1和b_idisp对b_i2进行配准，得到大小为的配准图像p个配准图像为

本实施例中通过b_i1和b_idisp对b_i2进行配准的具体方法为：b_i1的所有像素点的列坐标和行坐标展开为其中表示b_i1的坐标为(x,y)位置的像素点的列坐标，表示b_i1的坐标为(x,y)位置的像素点的行坐标；

b_idisp的所有像素点的视差值构成的矩阵为则b_i2的坐标为(x,y)位置的像素点的列坐标和行坐标的计算公式分别为：

计算b_i2的所有像素点的行坐标和列坐标，结果为

步骤3b)采用三角测量法，通过b_i1和计算ai的3D点云，并通过3D点云构造a_i的大小为的数字表面模型DSM_i，p个图像对a₁,a₂,…,a_i,…,a_p的数字表面模型为DSM₁,DSM₂,…,DSM_i,…,DSM_p， 为DSM_i上坐标为(μ,σ)的像素点的高度值；

本实施例中，采用三角测量法，通过b_i1和计算a_i的3D点云的具体方法为：将b_i1的相机矩阵的相机矩阵b_i1在投影坐标系下的所有像素点坐标和在投影坐标系下的所有像素点坐标输入Opencv函数库的triangulatePoints函数中，得到a_i的3D点云；

步骤4)获取语义分割图：

步骤4a)构建W个不同尺度的遥感训练集T₁,T₂,…,T_q,…,T_W，并将其分别输入深度卷积神经网络中，得到W个分割网络模型Model₁,Model₂,…,Model_q,…,Model_W，T_q和Model_q分别表示第q个尺度的遥感训练集和其分割网络模型，W≥2；

本实施例中构建W个不同尺度的遥感训练集T₁,T₂,…,T_q,…,T_W的步骤为：选择G幅与b_i1类型相同且大小为的遥感图像，以及对应大小为的G幅语义分割图构成遥感训练集T₁，G≥1；接着对T₁中包含的G幅遥感图像和G幅语义分割图分别同时进行尺度比例为的切图处理，得到由大小均为的G_q幅遥感图像和G_q幅语义分割图构成的遥感训练集T_q，W个不同尺度的遥感训练集为T₁,T₂,…,T_q,…,T_W，W≥2，G_q＝2^2(q-1)G；

本实施例中W＝3，即构建3个不同尺度的遥感训练集T₁,T₂,T₃，其中遥感训练集T₁由大小均为1024×1024的G幅遥感图像和G幅语义分割图构成，遥感训练集T₂由大小均为512×512的4G幅遥感图像和4G幅语义分割图构成，遥感训练集T₃由大小均为256×256的16G幅遥感图像和16G幅语义分割图构成；

本实施例中G＝19374，本实施例中遥感训练集T₁采用了Urban Semantic 3D(US3D)遥感数据集中19374幅遥感图像和19374幅语义分割图。

步骤4b)获取b_i1在Model₁,Model₂,…,Model_q,…,Model_W下的大小均为的W个语义分割图img_i1,img_i2,…,img_iq,…,img_iW，并将其作为a_i1的W个语义分割图，p个遥感图像a₁₁,a₂₁,…,a_i1,…,a_p1在Model₁,Model₂,…,Model_q,…,Model_W下的pW个语义分割图为其中 表示img_iq在坐标为的像素点的标签值，

步骤4c)计算a_i1的W个语义分割图img_i1,img_i2,…,img_iq,…,img_iW在坐标为的像素点的标签值的众数并对个众数构成的矩阵进行可视化，得到a_i1的语义分割图img_imod，p个遥感图像a₁₁,a₂₁,…,a_i1,…,a_p1的语义分割图为img_1mod,img_2mod,…,img_imod,…,img_pmod，其中

步骤4d)计算p个语义分割图img_1mod,img_2mod,…,img_imod,…,img_pmod在坐标为的像素点的标签值的众数并对个众数构成的矩阵进行可视化，得到语义分割图Img_fuse，

步骤5)基于语义分割图对遥感图像数字表面模型DSM进行融合：

步骤5a)统计a_i所在区域的带有人工标注的Ground truth语义分割图中每个标签值C_ε对应的高度范围并将其作为DSM₁,DSM₂,…,DSM_i,…,DSM_p融合的标准高度范围，ε为整数，ε≥1；

本实施例中ε＝5，即a_i所在区域的带有人工标注的Ground truth语义分割图的标签信息对应5个不同的数值，其中1代表地面，2代表高植被，3代表建筑物，4代表水，5代表高架桥；

步骤5b)当时，若令若令计算的中值并对个中值构成的矩阵进行可视化，得到所有图像对的DSM₁,DSM₂,…,DSM_i,…,DSM_p融合的数字表面模型DSM_fuse，

本发明提高融合的遥感图像DSM精度的原理是：本发明引入精度较高的语义分割图的标签信息，将融合前的多个遥感图像DSM中的高度值更改并限定在标准高度范围内，达到对融合前的多个遥感图像DSM中偏离真实高度值较大的高度值进行矫正的目的，从而提高了融合的遥感图像DSM的精度。本发明引入的语义分割图精度较高的原因在于将多个尺度遥感训练集分别输入深度卷积神经网络中，网络既可以通过较大尺度训练集学习到遥感图像的全局特征信息，又可以通过较小尺度训练集学习到遥感图像的细节特征信息，最后对多个语义分割图进行融合，提高了语义分割图的精度，进而提高了融合的遥感图像DSM的精度。

Claims (3)

1.一种基于语义分割图的遥感图像DSM融合方法，其特征在于，包括如下步骤：

(1)获取多个有效时间差对应的图像对：

(1a)对n个卫星在不同时间对同一区域拍摄的n幅遥感图像进行组合方式配对，得到个图像对，并计算每个图像对中两幅遥感图像的时间差Δt，得到个时间差，n≥2；

(1b)按照升序的方式对个时间差进行排序，并选择前p个时间差作为有效时间差，该前p个有效时间差所对应的图像对为a₁,a₂,…,a_i,…,a_p，a_i表示第i个有效时间差所对应的图像对，a_i的一幅遥感图像为a_i1，另一幅遥感图像为a_i2，a_i1和a_i2的大小均为w×h，1≤i≤p，p≥1；

(2)获取每个有效时间差所对应的图像对a_i的视差图：

(2a)对每个图像对a_i的两幅遥感图像a_i1和a_i2进行校正，得到由大小均为的校正图像b_i1和b_i2构成的校正图像对b_i，p个图像对a₁,a₂,…,a_i,…,a_p的校正图像对为b₁,b₂,…,b_i,…,b_p；

(2b)采用半全局匹配算法计算b_i的大小为的视差图b_idisp，并将其作为a_i的视差图，p个图像对a₁,a₂,…,a_i,…,a_p的视差图为b_1disp,b_2disp,…,b_idisp,…,b_pdisp；

(3)获取每个有效时间差所对应的图像对a_i的数字表面模型DSM_i：

(3a)通过b_i1和b_idisp对b_i2进行配准，得到大小为的配准图像p个配准图像为

(3b)采用三角测量法，通过b_i1和计算a_i的3D点云，并通过3D点云构造a_i的大小为的数字表面模型DSM_i，p个图像对a₁,a₂,…,a_i,…,a_p的数字表面模型为DSM₁,DSM₂,…,DSM_i,…,DSM_p， 为DSM_i上坐标为(μ,σ)的像素点的高度值；

(4)获取语义分割图：

(4a)构建W个不同尺度的遥感训练集T₁,T₂,…,T_q,…,T_W，并将其分别输入深度卷积神经网络中，得到W个分割网络模型Model₁,Model₂,…,Model_q,…,Model_W，T_q和Model_q分别表示第q个尺度的遥感训练集和其分割网络模型，W≥2；

(4b)获取b_i1在Model₁,Model₂,…,Model_q,…,Model_W下的大小均为的W个语义分割图img_i1,img_i2,…,img_iq,…,img_iW，并将其作为a_i1的W个语义分割图，p个遥感图像a₁₁,a₂₁,…,a_i1,…,a_p1在Model₁,Model₂,…,Model_q,…,Model_W下的pW个语义分割图为其中 表示img_iq在坐标为的像素点的标签值，

(4c)计算a_i1的W个语义分割图img_i1,img_i2,…,img_iq,…,img_iW在坐标为的像素点的标签值的众数并对个众数构成的矩阵进行可视化，得到a_i1的语义分割图img_imod，p个遥感图像a₁₁,a₂₁,…,a_i1,…,a_p1的语义分割图为img_1mod,img_2mod,…,img_imod,…,img_pmod，其中

(4d)计算p个语义分割图img_1mod,img_2mod,…,img_imod,…,img_pmod在坐标为的像素点的标签值的众数并对个众数构成的矩阵进行可视化，得到语义分割图Img_fuse，

(5)基于语义分割图对遥感图像数字表面模型DSM进行融合：

(5a)统计a_i所在区域的带有人工标注的Ground truth语义分割图中每个标签值C_ε对应的高度范围并将其作为DSM₁,DSM₂,…,DSM_i,…,DSM_p融合的标准高度范围，ε为整数，ε≥1；

(5b)当时，若令若令计算的中值并对个中值构成的矩阵进行可视化，得到所有图像对的DSM₁,DSM₂,…,DSM_i,…,DSM_p融合的数字表面模型DSM_fuse，

2.根据权利要求1所述的基于语义分割图的遥感图像DSM融合方法，其特征在于，步骤(1b)中所述的计算每个图像对中两幅遥感图像的时间差Δt，计算公式为：

Δt＝|t₁-t₂|

其中t₁表示每个图像对的一幅遥感图像的时间信息，t₂表示另一幅遥感图像的时间信息。

3.根据权利要求1所述的基于语义分割图的遥感图像DSM融合方法，其特征在于，步骤(4a)中所述的构建W个不同尺度的遥感训练集T₁,T₂,…,T_q,…,T_W，实现步骤为：

(4a1)选择G幅与b_i1类型相同且大小为的遥感图像，以及对应大小为的G幅语义分割图构成遥感训练集T₁，G≥1；

(4a2)对T₁中包含的G幅遥感图像和G幅语义分割图分别同时进行切图处理，得到由大小均为的G_q幅遥感图像和G_q幅语义分割图构成的遥感训练集T_q，W个不同尺度的遥感训练集为T₁,T₂,…,T_q,…,T_W，W≥2，G_q＝2^2(q-1)G。