CN109919852B - 一种光学遥感图像的屋顶视角校正方法 - Google Patents

Abstract

本发明公开了一种光学遥感图像的屋顶视角校正方法，用于实现非正射情况下高层建筑物屋顶实际位置判定，该方法包括如下步骤：步骤1：采集并标注包含建筑物屋顶与墙体的原始光学遥感图像数据，将数据随机分为训练集、验证集和测试集；步骤2：训练和优化深度学习模型，获得目标像素级分类结果；步骤3：利用建筑物墙体与屋顶的相对位置关系，提取屋顶视角偏移主方向；步骤4：计算每个屋顶的视角偏移长度；步骤5：依据屋顶视角偏移长度，将屋顶位置移动到正射情况下的标准位置。本发明解决了现有建筑物提取方法只关注图像本身而忽略地理信息的问题，对建筑物的提取更加精细，易于实现计算自动化。

Description

一种光学遥感图像的屋顶视角校正方法

技术领域

本发明属于光学遥感图像处理与分析技术领域，具体涉及一种城市高层建筑物密集区域的屋顶实际位置判定技术。

背景技术

随着高分辨率遥感卫星技术的发展与进步，卫星图像的分辨率、拍摄频率都越来越高，为土地覆盖提取、地物变换监测等工作提供了更多、更可靠的数据支持。在城市遥感地物分类中，针对城市建筑物的准确分类对城市土地利用分类和变化监测具有意义。由于城市建筑物类别复杂、外观不同、高度不一、材质各异，在遥感图像呈现多样化的形状、纹理特征，建筑物提取常常成为遥感图像分类中的难点和关键问题。

通常情况下，提取建筑物所使用的遥感影像，按照遥感图像清晰度可以分为中低分辨率遥感影像以及高分辨率遥感影像。高分辨率遥感影像分辨率通常小于2m，从图像上能较准确的分辨建筑物轮廓，利用计算机视觉方法，能够更好的对建筑物对象的整体轮廓进行提取。例如，尹峰等提出了一种.基于角点的高分辨率遥感影像建筑物提取(地理空间信息，2018年)，付乾坤等提出了一种基于形态学建筑物指数的城市建筑物提取及其高度估算方法(遥感技术与应用，2015年)，中国专利申请CN2017105577771公开了一种基于边缘点特征的高分辨率遥感图像配准方法，中国专利申请CN2015109960542公开了一种基于多特征点的遥感图像配准方法。上述方法在提取建筑物以及遥感图像配准时，所使用的高分辨率遥感影像通常是正射情况下获得的遥感影像。这种情况下由于影像垂直投影，即使地面存在高低起伏也只产生较少的偏移，此时的地面即成像面可被近似看作一个平面，因此遥感图像上的图像像元坐标可直接反映地物的实际地理位置。

然而，在实际工作中，由于多种因素的影响，很多卫星影像并非理想情况下的正射影像，由于拍摄视角倾斜，造成大量高层建筑物对侧后方的地面形成遮挡，这时的成像面并非平面，图像像元坐标不能反映地物的实际地理位置。针对上述情况，现有方法难以处理对卫星拍摄角度问题，并且仅关注卫星图像的分类、识别算法，而未考虑到图像所隐含的地理信息；同时，现有方法通常将建筑物的房顶和墙体作为一个整体进行考虑，对建筑物分类提取不够精细，仅关注建筑物提取问题本身，未进行更加深入的分析。

发明内容

针对现有技术存在的上述不足，本发明提出一种基于高分辨率光学遥感图像的屋顶视角校正方法，用于实现非正射情况下城市高层建筑物密集区域屋顶实际位置判定。

为实现上述目的，本发明提供如下技术方案：

一种光学遥感图像的屋顶视角校正方法，用于实现非正射情况下高层建筑物屋顶实际位置判定，该方法包括如下步骤：

步骤1：采集并标注包含建筑物屋顶与墙体的原始光学遥感图像数据，将数据随机分为训练集、验证集和测试集；

步骤2：训练和优化深度学习模型，获得目标像素级分类结果；

步骤3：利用建筑物墙体与屋顶的相对位置关系，提取屋顶视角偏移主方向；

步骤4：计算每个屋顶的视角偏移长度；

步骤5：依据屋顶视角偏移长度，将屋顶位置移动到正射情况下的标准位置。

进一步地，所述分类结果包括建筑屋顶、墙体，从而获得建筑物屋顶和墙体的分割结果。

进一步地，所述步骤3包括如下子步骤：

子步骤31：计算屋顶视角偏移程度，该屋顶视角偏移程度为图像上的墙体像元数量与屋顶像元数量比值；

步骤32：计算屋顶视角偏移主方向，其中，通过对屋顶中心和邻接墙体中心进行连线，根据直线方向计算该屋顶视角偏移主方向。

进一步地，计算每个屋顶视角偏移主方向的偏移角度，并将偏移角度的中位数作为最终的偏移角度。

进一步地，当屋顶视角偏移程度小于预定值时，则确定原始图像为正射影像，直接进行配准实验。

进一步地，所述步骤4包括如下子步骤：

子步骤41：针对图像上分类为屋顶的像元，按照上述步骤3中计算出的偏移主方向计算偏移长度，计算在屋顶视角偏移相反方向上邻接墙体像元数量的数量；

子步骤42：对屋顶像元偏移长度进行求和，对每一个屋顶计算平均偏移长度。

进一步地，针对每个屋顶的每个像元，在屋顶视角偏移相反方向上搜索邻接的墙体像元，直到下一个像元为非墙体像元停止搜索，则最大的邻接墙体像元数即为屋顶偏移长度。

进一步地，所述步骤5包括如下子步骤：

子步骤51：针对原始影像中分类为屋顶的每一个像元，依据上述步骤4中计算出的平均偏移长度，按照偏移相反方向进行平移；

子步骤52：平移之后将原始位置上的屋顶像元记为无效值。

进一步地，步骤5之后好包括对视角校正后的图像进行配准试验，将视角校正后的图像与视角校正前的图像进行配准。

本发明通过使用深度学习和语义分割技术对遥感图像地物类型进行图像分类，实现建筑物屋顶、墙体等地物的分类；并基于墙体和屋顶的空间位置关系，计算屋顶视角偏移方向和偏移长度；最后利用图像处理将屋顶根据偏移量大小平移到正射情况下的位置。

与现有技术相比，本发明具有如下优点：

(1)考虑到非正射高分辨率遥感图像对高层建筑物的视角偏移问题，对图像所隐含的地理信息进行校正，解决了现有建筑物提取方法只关注图像本身而忽略地理信息的问题；

(2)将建筑物的房顶和墙体单独分类而非作为整体进行考虑，对建筑物的提取相对原有方法更加精细；

(3)对屋顶偏移方向和距离的计算能够自动化实现，相比现有的人工测量方法具有更高效的特点。

附图说明

图1为根据本发明的屋顶视角校正方法工作流程图；

图2为根据本发明的屋顶视角偏移示例影像图；

图3为根据本发明的屋顶偏移方向计算示意图；

图4为根据本发明的屋顶偏移量计算示意图；

图5为根据本发明的屋顶视角校正结果示意图。

具体实施方式

下面结合实施例和说明书附图，对本发明的具体实施方式进行详细描述。

如图1所示，本发明提供了一种基于高分辨率光学遥感图像的屋顶视角校正方法，该方法包括以下步骤：

首先，使用深度学习和语义分割技术对高分辨率遥感图像的地物信息进行提取，实现建筑物屋顶、墙体等类别的地物分类；

然后，基于建筑物屋顶与墙体的空间位置关系，计算屋顶视角偏移方向与偏移长度；

最后，利用图像处理技术将存在视角偏移现象的屋顶根据偏移量大小分别移动到正射情况下无偏移的位置。

本发明可以应用于城市高层建筑物密集区域屋顶实际位置判定、图像配准与地物变换检测，对城市建筑物数据采集、城市三维建模等工程应用具有重要的意义。

以下对上述方法进行详细说明。

步骤1：采集并标注包含建筑物屋顶与墙体的原始光学遥感图像数据，将数据随机分为训练集、验证集和测试集；

具体实施时，训练数据应覆盖尽可能多的情况，以保证训练集的完备性。所述训练集、验证集和测试集的比例可以根据需要进行调整。

步骤2：训练和优化深度学习模型，获得目标像素级分类结果；

基于深度学习和语义分割算法，利用所述训练集、验证集进行深度神经网络训练，对深度学习模型进行训练和优化，并将测试集输入训练好的深度学习模型，输出目标像素级分类结果。

所述目标分类结果包括高层建筑屋顶、墙体、平房和其他等，从而获得建筑物屋顶和墙体的分割结果。

上述步骤1、步骤2可以采用本技术领域中的已有技术实施，在此不再详细说明。

步骤3：利用建筑物墙体与屋顶的相对位置关系，提取屋顶视角偏移主方向；

所述的屋顶视角偏移主方向基于建筑物屋顶与墙体相对几何位置的统计，对整幅图像每个屋顶的方向进行计算，并求出所有屋顶的偏移方向中位数作为最后结果。具体而言，包括如下子步骤：

子步骤31：计算屋顶视角偏移程度。

屋顶视角偏移程度d由以下公式计算得出：

式中，Pw、Pr分别表示图像上的墙体、屋顶对应的像元数量，即屋顶视角偏移程度d为墙体像元数量与屋顶像元数量的比例，当d数值越大时，代表视角偏移引起的位移量越大。

如果根据计算结果，当屋顶视角偏移程度d小于预定值时，判断屋顶没有偏移，则确定为正射影像，可直接进行配准实验。

步骤32：计算屋顶视角偏移主方向。

本发明通过对屋顶中心和邻接墙体中心进行连线，根据直线方向，计算屋顶视角偏移主方向。

用(Rr，Rc)表示屋顶像元坐标，用(Wr、Wc)表示墙体像元坐标，r、c为栅格像元的行列数，则：

屋顶中心坐标Rcenter(rr，cr)为：

墙体中心坐标Wcenter(rw，cw)为：

因此，屋顶相对墙体的方向即屋顶视角偏移方向向量为：

利用反三角函数求偏移方向的角度：

由于遥感影像拍摄时，卫星相对于地面的高度远大于建筑物与地面的高度，因此可以把每个屋顶的视角偏移主方向视为相同的。

为减少计算误差，可以按照上述方法求出每个屋顶的偏移角度，最后计算偏移角度的中位数作为最终的偏移角度。

步骤4：计算每个屋顶的视角偏移长度；

根据上述步骤3得到的视角偏移主方向，从屋顶边缘处开始，计算每个屋顶的视角偏移长度；

在本发明中，所述的每个屋顶的视角偏移长度的计算采用屋顶上所有像元偏移长度的平均值作为每个屋顶的整体偏移长度。具体而言，通过如下子步骤进行计算：

子步骤41：针对图像上分类为屋顶的像元，按照上述步骤3中计算出的偏移方向计算偏移长度，计算在屋顶视角偏移相反方向上邻接墙体像元数量的数量；

Li＝argmax((Rr+n·tanA，Rc+n·cotA)∈Wc)，n≥0 (6)

其中，n表示屋顶偏移相反方向上的邻接墙体像元数量，Rr、Rc分别表示屋顶像元的行列坐标值，Wc表示墙体像元的集合。

因此，针对每个屋顶的每个像元，在屋顶偏移相反方向上搜索邻接的墙体像元，直到下一个像元非墙体停止搜索，则最大的邻接墙体像元数量即为屋顶偏移长度。

子步骤42：对屋顶像元偏移长度进行求和，对每一个屋顶计算平均偏移长度；

对屋顶像元偏移长度进行求和：

对每个屋顶的所有像元偏移长度进行求和是为了后续计算屋顶的平均偏移长度，从而能够对屋顶进行不变形平移。

计算每一个屋顶的平均偏移长度：

步骤5：依据屋顶视角偏移长度，将屋顶位置移动到正射情况下的标准位置；

依据屋顶视角偏移长度对屋顶位置进行平移，消除视角偏移的影响，将屋顶位置移动到正射情况下的标准位置。

所述的标准位置为以地面坐标为参考系，假设正射拍摄视角下的屋顶位置。

为了确保平移过程中屋顶形状不发生改变，将屋顶每个像元按照整体偏移长度进行整体平移，平移之后原有屋顶未被新屋顶覆盖的位置均可视为受到墙体遮挡而缺失信息的地面盲区。具体包括如下子步骤：

子步骤51：针对原始影像中分类为屋顶的每一个像元，依据上述步骤4中计算出的平均偏移长度，按照屋顶偏移相反方向进行平移，即：

R(Rr+Lcmean*tanA，Rc+Lcmean*cotA)＝R(Rr，Rc) (9)

从而将原有位置的屋顶像元R(Rc,Rc)移动到新位置R(Rr+Lcmean*tanA，Rc+Lcmean*cotA)。

子步骤52：平移之后将原始位置上的屋顶像元赋值为0，记为无效值；

R(Rr,Rc)＝0 (10)

进一步地，本发明还包括对视角校正后的图像进行配准试验，将视角校正后的图像与视角校正前的图像进行配准，以保证位置精度满足实际应用需要。

以上所述，仅为本发明部分具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的人员在本发明揭露的技术范围内，可理解想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (9)

1.一种光学遥感图像的屋顶视角校正方法，用于实现非正射情况下高层建筑物屋顶实际位置判定，该方法包括如下步骤：

步骤1：采集并标注包含建筑物屋顶与墙体的原始光学遥感图像数据，将数据随机分为训练集、验证集和测试集；

步骤2：训练和优化深度学习模型，获得目标像素级分类结果；

步骤3：利用建筑物墙体与屋顶的相对位置关系，提取屋顶视角偏移主方向；

步骤4：计算每个屋顶的视角偏移长度；

步骤5：依据屋顶视角偏移长度，将屋顶位置移动到正射情况下的标准位置；

其中，所述步骤3包括如下子步骤：

子步骤31：计算屋顶视角偏移程度，该屋顶视角偏移程度为图像上的墙体像元数量与屋顶像元数量比值；

步骤32：计算屋顶视角偏移主方向，其中，通过对屋顶中心和邻接墙体中心进行连线，根据直线方向计算该屋顶视角偏移主方向。

2.根据权利要求1所述的屋顶视角校正方法，其特征在于：所述分类结果包括建筑屋顶、墙体，从而获得建筑物屋顶和墙体的分割结果。

3.根据权利要求1所述的屋顶视角校正方法，其特征在于：计算每个屋顶视角偏移主方向的偏移角度，并将偏移角度的中位数作为最终的偏移角度。

4.根据权利要求1所述的屋顶视角校正方法，其特征在于：当屋顶视角偏移程度小于预定值时，则确定原始图像为正射影像，直接进行配准实验。

5.根据权利要求1所述的屋顶视角校正方法，其特征在于：所述步骤4包括如下子步骤：

子步骤41：针对图像上分类为屋顶的像元，按照上述步骤3中计算出的偏移主方向计算偏移长度，计算在屋顶视角偏移相反方向上邻接墙体像元的数量；

子步骤42：对屋顶像元偏移长度进行求和，对每一个屋顶计算平均偏移长度。

6.根据权利要求5所述的屋顶视角校正方法，其特征在于：针对每个屋顶的每个像元，在偏移相反方向上搜索邻接的墙体像元，直到下一个像元为非墙体像元停止搜索，则最大的邻接墙体像元数即为屋顶偏移长度。

7.根据权利要求5所述的屋顶视角校正方法，其特征在于：所述步骤5包括如下子步骤：

子步骤51：针对原始影像中分类为屋顶的每一个像元，依据上述步骤4中计算出的平均偏移长度，按照偏移相反方向进行平移；

子步骤52：平移之后将原始位置上的屋顶像元记为无效值。

8.根据权利要求1所述的屋顶视角校正方法，其特征在于：步骤5之后好包括对视角校正后的图像进行配准试验，将视角校正后的图像与视角校正前的图像进行配准。

9.根据权利要求1-8任一项所述的屋顶视角校正方法，其特征在于：所述光学遥感图像为高分辨率光学遥感图像。

Images