CN113222918A - 多边形语义匹配检测高分辨率正射影像阴影方法 - Google Patents

Abstract

本发明公开一种多边形语义匹配检测高分辨率正射影像阴影方法。首先根据数字建筑模型DBM和影像拍摄瞬间的太阳高度角、方位角生成人工阴影多边形；接着描述多边形的特征和邻近多边形的语义特征，并将其作为衡量匹配相似性的指标；然后对两幅影像进行第一级阴影匹配，根据邻近平均距离搜索得到每个人工阴影多边形对应的待匹配集合，通过计算每个待匹配对的相似值，筛选出候选匹配对及其对应的初始概率值；最后采用第二级阴影匹配对候选匹配集进行邻域迭代匹配，以邻近匹配对的支持系数计算出的最大概率值作为语义迭代匹配的标准确定最终的匹配对，检测出影像中建筑物阴影。本发明能有效解决阴影检测精度不高以及相似地物难以区分的阴影检测问题。

Description

多边形语义匹配检测高分辨率正射影像阴影方法

技术领域

本发明涉及图像处理技术领域，特别是涉及一种高分辨率正射影像建筑物阴影检测方法。

技术背景

高分辨率航空影像中阴影的存在严重影响了影像的质量，主要包括：①改变了影像中地物的光谱特性，使其在影像分析过程中产生差别；②使影像中阴影覆盖区域的地物信息发生改变，影响后期影像处理的效率；③在正射纠正的过程中，影像中存在的阴影也会随着建筑物的纠正发生不同程度的位移变化，但此时阴影区发生的位移变化并没有将影像中的阴影区纠正到正确的位置。因此，对高分辨率正射影像中的阴影进行检测成为正射影像提高质量及精度的必要环节。

基于模型的阴影检测方法能够准确提取建筑物与阴影之间的数学关系，并且使用起来相对简单。基于模型的阴影检测方法在高分辨率航空影像的阴影检测中得到了较为广泛的应用，但该类方法仍存在以下不足：

(1)基于模型的阴影检测方法依赖先验知识如数字表面模型DSM、传感器等参数、光照条件等信息，先验信息的缺乏限制了该类方法的广泛应用。

(2)基于模型的阴影检测算法不能兼顾实用性、准确性和复杂性。

(3)大部分研究方法是从遥感影像中提取阴影，但对高分辨率正射影像中阴影检测的研究却很少。目前大多数方法只适用于简单建筑物的阴影检测，还没有有效的方法来准确检测出影像中复杂建筑物的阴影区域。

针对以上问题，本发明利用数字建筑模型(Digital Building Model,DBM)与原始航空影像确定航片拍摄瞬间的太阳高度角、太阳方位角创建人工阴影多边形，进而通过对高分辨率正射影像和人工阴影影像进行多边形语义匹配，实现对高分辨率正射影像中的阴影进行检测。

发明内容

本研究提出了一种多边形语义匹配检测高分辨率正射影像阴影的方法，解决了目前高分辨率正射影像阴影检测中误检、漏检以及复杂建筑物阴影检测精度不高等问题。

为了实现上述技术目的，本发明的技术方案为：

多边形语义匹配检测高分辨率正射影像阴影，具体步骤为：

1、根据数字建筑模型DBM和高分辨率航空影像拍摄瞬间的太阳高度角、方位角生成人工阴影多边形。

首先手动确定阴影关系，即一个建筑物阴影的长度和方向与三维建筑物模型的关系。图1描述了基于DBM数据的人工阴影生成的原理。其中，Bldg为建筑物的DBM模型，h为建筑物高度，多边形A′B′C′EFG为生成的人工阴影多边形，L为阴影的长度。通过手动测量出阴影多边形ASP的方向(β)计算出建筑物Bldg屋顶拐点对应的地理坐标。以建筑物Bldg屋顶拐点A(x_A，y_A)为例，该点对应的人工阴影多边形拐点A′的坐标为(x_A′，y_A′)。根据上述相同方法确定出人工阴影多边形拐点A′(x_A′，y_A′)、B′(x_B′，y_B′)、C′(x_C′，y_C′)的坐标。而多边形A′B′C′EFG中的拐点E(x_E，y_E)、F(x_F，y_F)、G(x_G，y_G)坐标为建筑物Bldg的地面拐点坐标，进而建筑物对应的阴影多边形的拐点坐标被完全确定。该方法生成的阴影多边形被称作人工阴影多边形(Artificial Shadow Polygon，ASP)。

2、提取阴影特征，包括阴影多边形的特征和邻近阴影多边形的语义特征。

(1)阴影多边形的特征主要通过四种特征进行描述，即：①位置相似度(C₁)是通过两个多边形重心之间的距离比例；②方向相似度(C₂)是通过两个阴影多边形的最小面积外接矩形的方向夹角来衡量；③形状相似度(C₃)是通过计算两个阴影多边形的多级弦长差值来描述；④面积相似度(C₄)是通过两个阴影多边形重叠区域的面积的比例。

(2)邻近阴影多边形的语义特征是对阴影多边形的4种特征进行改进，分别为：①邻近多边形位置相似度(r₁)是通过计算两个多边形的邻近距离的比值来描述；②邻近多边形方向相似度(r₂)是通过计算两个邻近多边形外接矩形的相对方向的比例来描述；③邻近多边形面积相似度(r₃)是通过计算两个邻近多边形面积的比值来衡量；④邻近多边形形状相似度(r₄)是通过计算两个邻近多边形的形状特征的比例来描述。

3、对两幅影像进行第一级阴影匹配，根据邻近平均距离搜索得到每个人工阴影多边形对应的待匹配集合，通过计算每个待匹配对的相似值，筛选出候选匹配对及其对应的初始概率值

(1)阴影多边形搜索空间确定

对人工影像中所有的人工阴影多边形重心构建Delaunay三角网，计算人工阴影多边形s_i的邻近距离的平均值作为搜索半径，记为

然后以多边形s_i的重心

为圆心，

为圆半径，确定该搜索范围内的待匹配多边形。

(2)阴影多边形相似度衡量指标

对阴影多边形的特征(位置相似性C₁、方向相似性C₂、形状相似性C₃、面积相似性C₄)进行加权。对比分析四种特征，其重要性依次为：C₁>C₄>C₂>C₃，根据层次分析法计算出各相似评价指标权重大小，进而计算出多边形的相似系数ρ(s_i，t_j)。

(3)阴影多边形初始匹配

对每个人工阴影多边形和对应的待匹配多边形匹配的概率值进行估算，即把每个待匹配对相关系数相加，除以所有待匹配对的相关系数和，作为初始概率

剔除不满足概率阈值的待匹配多边形，并将满足条件的待匹配阴影多边形作为候选集合，记为

4、采用第二级阴影匹配，对候选匹配集进行邻域迭代匹配，以邻近匹配对的支持系数计算出的最大概率值作为语义迭代匹配的标准，确定最终的匹配对，检测出正射影像中建筑物阴影。

(1)邻近多个多边形关系描述

通过计算人工阴影多边形间的重心距离，对比距离值确定每个人工阴影多边形s_i的邻近多边形s_h1和s_h2，同时确定两个邻近多边形对应的候选匹配对集合。

(2)邻近多个多边形相似度衡量指标

根据四种邻近特征相似相似性计算出邻近多边形的相关系数r(s_i|t_j；s_h，t_k)。通过分析阴影多边形的特征，将建筑阴影多边形分为三种类型：①简单的阴影多边形包含单个建筑的阴影多边形，直接投影在地面上；②中等复杂的阴影多边形包含单个建筑的阴影多边形，并投影到其他建筑上；③复杂的阴影多边形是由多个建筑阴影多边形组成的。进而，确定四种邻近特征的重要性依次为：r₁＞r₂＞r₃＞r₄，根据层次分析法计算出不同类型建筑物阴影之间的特征权重。

(3)邻近多个多边形匹配

对候选匹配对(s_j，t_j)的初始匹配概率p(s_i，t_j))和邻近多边形的相关系数r(s_i|t_j；s_h，t_k)进行叠加计算，确定多边形s_i的支持系数ρ(s_i|t_j；s_h，t_k)。然后，对人工阴影多边形s_h对应的候选匹配对集合A′_sh′逐一进行遍历，计算人工阴影多边形s_i的邻域支持系数q_ij。最后，通过综合阴影多边形匹配对(s_i，t_j)的初始概率值

与邻域支持系数

对候选匹配对(s_i，t_j)的概率值重新计算。根据多个邻近候选匹配多边形对匹配概率进行迭代更新。

当两次迭代过程中每个候选匹配对的匹配概率变化量小于Δp_stop，停止迭代。根据最终的概率矩阵确定矩阵中每一行和每一列的匹配概率值最大的候选匹配对，作为最终的匹配结果，完成第二级阴影匹配，进而实现阴影检测。

本发明提出的多边形语义匹配方法，通过对人工阴影多边形(ASPs)与实际阴影多边形(RSPs)进行分级匹配来实现阴影检测。该方法在检测过程中不仅考虑了阴影多边形的相似性还考虑了阴影多边形的邻近关系，有效地解决了复杂建筑物阴影检测精度不高的问题。

附图说明

图1为本发明实施例的基于DBM的人工阴影生成原理图

图2为本发明实施例的正射影像图

图3为本发明实施例的利用DBM数据生成的建筑物平面模型

图4为本发明实施例的阴影检测流程图

图5为本发明实施例的构建建筑物Build1的人工阴影多边形

图6为本发明实施例的人工阴影影像阴影多边形

图7为本发明实施例的阴影多边形几何特征

图8为本发明实施例的邻近目标相对几何关系

图9为本发明实施例的待匹配对搜索图

图10为本发明实施例的邻近匹配对搜索

图11为本发明实施例的匹配结果图

图12为本发明实施例的阴影检测结果图

具体实施方式

下面结合本发明中的实施例附图详细说明本发明的具体实施方式。显然，所描述的实施例仅是本发明中的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域的普通技术人员在没有做出创造性劳动前提的条件下所进行的其他所有实施例，都属于本发明的保护范围。

实施例：

本文选用了美国丹弗地区城市高分辨率航空影像作为实验数据，该地区建筑高度最高为445.1feet，其他许多建筑高度都在100m左右。该航空影像由RC30航空相机拍摄得到，飞机飞行的高度为1650m，其中航向重叠率为65％，旁向重叠率为30％。通过对原始影像进行正射纠正得到的影像如图2所示。数字建筑模型DBM为美国丹弗地区，该数据描述了建筑结构、三维坐标、拓扑关系等，覆盖了整个丹佛市如图3所示。

具体实施中，本发明技术方案可采用计算机编程自动运行的方式进行。

本发明所提供的多边形语义匹配检测高分辨率正射影像阴影程序的具体运行步骤可以参考流程图(图4)：

步骤1)根据数字建筑模型DBM和高分辨率航空影像拍摄瞬间的太阳高度角、方位角生成人工阴影多边形；

以建筑物Build 1为例，见图5。由于影像上阴影的方向即影像成像时刻太阳的方位角，因此通过手动量测建筑物Build 1的阴影方向，进而确定该影像拍摄瞬间太阳方位角β为57.500°，接着测量出建筑物Build 1的阴影长度L为125.781feet。然后，将DBM中建筑物Build 1的顶点坐标、阴影长度L以及影像拍摄瞬间太阳方位角β相结合计算出建筑物Build1的ASP构建的拐点坐标。以建筑物Bldg屋顶拐点A(x_A，y_A)为例，该点对应的人工阴影多边形拐点p₁的坐标为

计算公式为：

式中，Lcos(β)、Lsin(β)分别表示位于地面上的阴影多边形ASP边界拐角点与屋顶拐角点的横坐标之差和纵坐标之差。阴影多边形ASP的边长L^[9]计算公式如下：

计算出影像拍摄瞬间太阳高度角α＝49.812°，进而，计算出建筑物Build 1的ASP构建的拐点p_i(i＝1-3)的坐标。建筑物Build 1边界点p4、p5和p6为DBM数据中建筑物Build1的边界点，进而直接确定DBM数据中边界点p4、p5和p6，得到建筑物Build 1的人工阴影多边形。

根据上述操作步骤，生成DBM数据中120栋建筑物的人工阴影，并将相应像素的灰度值分配为0(即黑色)(如图6所示)，同时得到120栋建筑物的人工阴影多边形的边界坐标。

步骤2)从人工阴影多边形中提取阴影特征，包括阴影多边形的特征和邻近阴影多边形的语义特征；

(1)阴影多边形的特征主要包括位置相似性C₁、方向相似性C₂、形状相似性C₃、面积相似性C₄，计算公式如下：

式中，D为人工多边形ASP和实际多边形RSP之间距离的最大值，

和

分别是人工阴影多边形ASP和实际阴影多边形RSP的在大地坐标系中的重心坐标；(x_a，y_a)、(x_a′，y_a′)分别表示人工阴影多边形ASP和实际阴影多边形RSP的轮廓特征点在大地坐标系中的坐标，m、n分别为人工阴影多边形ASP和实际阴影多边形RSP轮廓特征点数目；Area(ASP)、Area(RSP)分别表示人工阴影多边形ASP和实际阴影多边形RSP的面积，见图7。

(2)邻近阴影多边形的语义特征主要抱愧邻近多边形位置相似度(r₁)、邻近多边形方向相似度(r₂)、邻近多边形面积相似度(r₃)、邻近多边形形状相似度(r₄)，计算公式为：

式中，C₁(a₁，a_h)表示人工阴影多边形a₂和a_h(h＝2-5)的位置相似值，C₁(b₁，b_k)表示实际阴影多边形b₁和b_k(k＝2-4)的位置相似值；θ(a₁，a_h)、θ(b₁，b_k)分别表示人工阴影多边形a₁、a_h(h＝2-5)和实际阴影多边形b₁、b_k(k＝2-4)的外接矩形的方向之差；a₁a_h或b₁b_k表示两个多边形的重心连线；θ(a₁，a₂；b₁，b₂)表示重心连线之间的夹角，并将其值归一化为[0，π/2]；Area(·)表示对应多边形的面积；F(·)表示对应多边形的形状特征值，见图8。

步骤3)根据阴影多边形的搜索半径确定该搜索范围内阴影多边形的待匹配多边形；

通过构建Delaunay三角网来确定ASPs的邻近人工阴影多边形(如图9(a)所示)。在此基础上，通过邻域搜索半径选择出每个ASP的待匹配实际阴影多边形(RSP)。匹配运算的效率及准确度对邻域搜索半径较敏感，搜索邻域范围随着半径增大而增加，计算时间增加；搜索半径过小可能会导致合适的邻域对象没有被选中，进而影响匹配精度。因此，本文采用邻近多边形重心距离的平均值作为搜索半径。图9(a)中，以ASP s1的重心坐标为中心，邻近多边形重心距离的平均值

为搜索半径，确定RSPt_j(j＝1-6)作为ASP s1的待匹配多边形(图9(b))。

步骤4)计算阴影多边形特征的权重值和阴影多边形的相似系数；

根据阴影多边形的位置相似性(C₁)，方向相似性(C₂)、形状相似性(C₃)和面积相似性(C₄)四种不同类型的相似性，利用公式(3.13)计算ASP和RSP之间的相关系数。

ρ(s₁,t_j′)＝ω₁·C₁+ω₂·C₂+ω₃·C₃+ω₄·C₄ (j′＝1-6 (5)

根据层次分析法计算出各相似评价指标权重大小分别为ω₁＝0.483，ω₂＝0.272，ω₃＝0.157和ω₄＝0.088。

步骤5)计算初始概率值筛选出待匹配多边形中的候选匹配多边形，完成第一级阴影匹配；

根据公式(6)对每个待匹配对的概率值进行估算，计算待匹配多边形的初始概率，剔除概率值小于阈值α为0.5的实际阴影多边形，确定每个人工阴影多边形的候选匹配集合。

步骤6)确定每个人工阴影多边形的邻近多边形和对应的候选匹配对集合；

通过对比人工阴影多边形间的邻域距离，确定邻近距离较近的两个人工阴影多边形，进而得到两个邻近多边形对应的候选匹配对。图10中，人工阴影多边形s1的邻近多边形s2和s9，同时对应的候选匹配对集合分别为A′_s2＝{t3}和A′_s9＝{t1，t6}。

步骤7)确定邻近阴影多边形的语义特征权重值的大小，计算邻近多边形的相关系数；

根据邻近多边形的类型，即简单阴影多边形、中等复杂阴影多边形和复杂阴影多边形，其特征权重计算结果分以下三种情况：

a)s₁和s_h(h＝2,6)均为相同类型的阴影多边形，权重值分别为：ω₁＝0.483、ω₂＝0.272、ω₃＝0.157和ω₄＝0.088；

b)s₁为简单阴影多边形、s_h(h＝2,6)为中等复杂阴影多边形；或s₁为中等复杂阴影多边形、s_h(h＝2,6)为复杂阴影多边形，权重值分别为：ω₁＝0.539、ω₂＝0.297、ω₃＝0.164。

c)s₁为简单阴影多边形、s_h(h＝2,6)为复杂阴影多边形，权重值分别为：ω₁＝0.750、ω₃＝0.250。

根据四种邻近特征相似相似性计算出邻近多边形的相关系数r(s_l|t_j；s_h，t_k)，即，

r(s₁|t_j；s_h,t_k)＝ω₁·r₁+ω₂·r₂+ω₃·r₃+ω₄·r₄(j＝1-3；h＝2,6；k＝4,5,9)(7)

步骤8)对邻近多个多边形进行邻域迭代匹配；

①计算多边形s₁的支持系数。即，

②计算邻近支持系数。对人工阴影多边形s_h对应的候选匹配对集合A′_sh′逐一进行遍历，计算人工阴影多边形s₁的邻域支持系数q_ij，即，

式中，p(s_h，t_k)(h＝2，6；k＝4，5，9)表示阴影多边形候选匹配对(s_h，t_k)的匹配概率。通过计算，若

则候选匹配多边形t_j(j＝1-3)被选择；若

则候选匹配多边形t_j(j＝1-3)被剔除。假设多边形t₁不能满足上述要求。

③更新初始匹配概率。通过综合阴影多边形匹配对(s_l，t_j)的初始概率值

与邻域支持系数

对候选匹配对(s_l，t_j)(j＝2，3)的概率值重新计算，即，

式中，A_H表示人工人影多边形s_l的候选匹配集合。

④迭代更新匹配概率。由于人工阴影多边形中存在多个邻近候选匹配多边形，需要对公式(9)中的匹配概率迭代更新，即，

式中，

和

分别表示第r^th、(r+1)^th次迭代时(s_l，t_j)的匹配概率。

为r次迭代时(s₁，t_j)的邻域支持系数。当计算出两次迭代过程中候选对的匹配概率的差值小于0.005，迭代停止。确定矩阵中每一行和每一列的匹配概率最大的候选匹配对，作为最终的匹配结果，进而实现阴影检测(图11)。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.多边形语义匹配检测高分辨率正射影像阴影方法，其具体步骤如下：

步骤1)根据数字建筑模型DBM和高分辨率航空影像拍摄瞬间的太阳高度角、方位角生成人工阴影多边形；

步骤2)从人工阴影多边形中提取阴影特征，包括阴影多边形的特征和邻近阴影多边形的语义特征；

步骤3)根据阴影多边形的搜索半径确定该搜索范围内阴影多边形的待匹配多边形；

步骤4)计算阴影多边形特征的权重值和阴影多边形的相似系数；

步骤5)计算初始概率值筛选出待匹配多边形中的候选匹配多边形，完成第一级阴影匹配；

步骤6)确定每个人工阴影多边形的邻近多边形和对应的候选匹配对集合；

步骤7)确定邻近阴影多边形的语义特征权重值的大小，计算邻近多边形的相关系数；

步骤8)对邻近多个多边形进行邻域迭代匹配，当两次迭代过程中每个候选匹配对的匹配概率变化量小于设定值时，停止迭代；根据最终的概率矩阵确定矩阵中每一行和每一列的匹配概率值最大的候选匹配对，作为最终的匹配结果，完成第二级阴影匹配，进而实现阴影检测。

2.根据权利要求1所述的多边形语义匹配检测高分辨率正射影像阴影方法，其特征在于：在步骤2)所述的阴影多边形的特征和邻近阴影多边形的语义特征：

阴影多边形的特征通过阴影多边形位置相似度、阴影多边面积相似度、阴影多边方向相似度和阴影多边形状相似度；邻近阴影多边形的语义特征包括邻近多边形位置相似度、邻近多边形面积相似度、邻近多边形方向相似度和邻近多边形形状相似度。

3.根据权利要求1所述的多边形语义匹配检测高分辨率正射影像阴影方法，其特征在于：在步骤3)阴影多边形的搜索半径：

阴影多边形的搜索半径主要是根据人工阴影多边形重心构建Delaunay三角网计算人工阴影多边形的邻近距离的平均值。

4.根据权利要求1所述的多边形语义匹配检测高分辨率正射影像阴影方法，其特征在于：在步骤4)计算阴影多边形特征的权重值：

对阴影多边形的四种特征进行对比分析，利用层次分析法确定每个阴影多边形的特征的权重。

5.根据权利要求1所述的多边形语义匹配检测高分辨率正射影像阴影方法，其特征在于：在步骤5)所述的计算初始概率值并确定候选匹配多边形：

对阴影多边形的概率值估算即把每个待匹配对相关系数相加，除以所有待匹配对的相关系数和，计算出初始概率值，剔除不满足概率阈值的待匹配多边形确定候选匹配多边形。

6.根据权利要求1所述的多边形语义匹配检测高分辨率正射影像阴影方法，其特征在于：在步骤6)所述的确定每个人工阴影多边形的邻近多边形和对应的候选匹配对集合：

通过计算人工阴影多边形间的重心距离，对比距离值确定每个人工阴影多边形的距离最近的两个多边形为邻近多边形，进而确定两个邻近多边形对应的候选匹配对集合。

7.根据权利要求4所述的多边形语义匹配检测高分辨率正射影像阴影方法，其特征在于：在步骤7)所述的确定邻近阴影多边形的语义特征权重值的大小：

根据邻近阴影多边形的语义特征，将建筑阴影多边形分为简单阴影多边形、中等复杂阴影多边形和复杂阴影多边形三种类型，通过分析邻近多个多边形之间的关系利用层次分析法进行加权计算出不同邻近多边形之间的权重值。

8.根据权利要求1所述的多边形语义匹配检测高分辨率正射影像阴影方法，其特征在于：在步骤8)所述的邻域迭代匹配：

综合阴影多边形匹配对的初始概率值与邻域支持系数对候选匹配对的概率值重新计算；对人工阴影多边形对应的候选匹配对集合逐一进行遍历，迭代更新概率值。

Images