CN115797777A - 一种基于层次化学习的多等级灾害检测方法 - Google Patents

Abstract

本发明公开了一种基于层次化学习的多等级灾害检测方法，包括：从任务拆解的角度对建筑损毁多等级检测问题进行层次化分析，构建基于多任务层次化的灾害检测模型；或利用图结构的方式对建筑损毁多等级检测问题进行层次化分析，将表征信息按照不同节点间的层级关系进行传递，构建基于图编码层次化的灾害检测模型；利用基于多任务层次化的灾害检测模型或基于图编码层次化的灾害检测模型对灾害前后的双时相特征图进行检测，得到建筑损毁检测结果。本发明从层次化学习的角度将建筑损毁多等级检测问题的经验建模进网络，提高了建筑损毁检测精度。

Description

一种基于层次化学习的多等级灾害检测方法

技术领域

本发明涉及遥感图像灾害检测技术领域，更具体的说是涉及一种基于层次化学习的多等级灾害检测方法。

背景技术

对灾害进行多等级检测中，2019年xView参赛者发布了一个基本方法，同时发布了一个多级灾害检测的数据集，该方法将这个问题分解为两个步骤。第一步是训练目标的定位，第二步是对目标的损害程度进行分类。定位网络使用语义分割常定位网络使用U-Net，这是一个在语义分割中经常使用的编解码结构，它能有效地提取建筑目标的特征。分类网络使用的是残差网络ResNet50，它认为没有损坏是一种损坏等，直接输出损坏分类，效果不是很理想。2020年发表在ICLR研讨会上的一篇论文将两步预测的问题转变为一步预测，这是将定位和分类融合在一个网络中，直接输出损伤分类结果。同年的一篇论文提出了一个双边特征融合网络，以增强前后时间图像特征的互动和关联，并在数据增强中使用了CutMix方法来学习困难样本。2021年，BDANet提出了两级卷积神经网络，第一级采用U-Net提取建筑物的定位，参数共享第二级双分支多尺度分类网络的权重，并提出了双边关注机制，沟通灾前和灾后图像的信息，取得了良好效果。

当前大多数对灾害检测问题更多的视为变化检测，即检测多时相图像中的变化区域，通过灾害前和灾害后图像的差异识别出受损区域，这种方法仅考虑了像素级别的“是否受灾”问题，并没有专门针对多等级的灾害评估设计相应的算法。有一小部分算法考虑了多等级的问题，但也仅仅是将变化检测的分类部分从二分类拓展为多分类，没有考虑灾害评估中蕴含的先验信息，故效果并不理想。

因此，如何提供一种考虑灾害评估中蕴含的先验信息，提高检测精度的基于层次化学习的多等级灾害检测方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于层次化学习的多等级灾害检测方法，从层次化学习的角度将建筑损毁多等级检测问题的经验建模进网络，提高了建筑损毁检测精度

为了实现上述目的，本发明采用如下技术方案：

一种基于层次化学习的多等级灾害检测方法，包括：

从任务拆解的角度对建筑损毁多等级检测问题进行层次化分析，构建基于多任务层次化的灾害检测模型；或利用图结构的方式对建筑损毁多等级检测问题进行层次化分析，将表征信息按照不同节点间的层级关系进行传递，构建基于图编码层次化的灾害检测模型；

利用所述基于多任务层次化的灾害检测模型或所述基于图编码层次化的灾害检测模型对灾害前后的双时相特征图进行检测，得到建筑损毁检测结果。

进一步的，所述基于多任务层次化的灾害检测模型为显式多阶段灾害检测模型，所述显式多阶段灾害检测模型将建筑损毁多等级检测任务划分为三个任务，每个任务对应一个预测网络；

其中，任务一对应的预测网路对是否为建筑进行检测，其数学表达式为：P(T＝1)＝φ₁(I)；

任务二对应的预测网络对建筑是否受损进行检测，其数学表达式为：P(F＝1)＝P(F＝1|T＝1)×P(T＝1)＝φ₂(T)；

任务三对应的预测网路对建筑的受损程度进行检测，其数学表达式为：P(V)＝P(V|F＝1,T＝1)×P(F＝1|T＝1)×P(T＝1)＝φ₃(F)；

其中，P(T＝1)表示“当前像素是建筑”，P(F＝1|T＝1)表示“当前像素是建筑，且受损”，P(V＝1|F＝1,T＝1)表示“当前像素是建筑，且受损，受损程度为某个等级”；φ₁、φ₂、φ₃分别是三个阶段对应三个任务的网络参数。

进一步的，所述基于多任务层次化的灾害检测模型为隐式联合灾害检测模型，所述隐式联合灾害检测模型将建筑损毁多等级检测任务划分为三个任务，每个任务对应一个预测网络，三个任务所对应的三个预测网络在较浅层时共享底层特征，在较深层时各自学习独享的参数；

三个任务对应的预测网络的损失函数分别如下：

其中，N表示图像中总的像素数，t_i、y_i、z_i分别表示三个独立任务的标签，θ₁、θ₂、θ₃分别表示三个预测网络的参数，x_i表示两时相图像差异的特征图；f(x_i；θ₁)表示网络预测的结果；

将三个任务的损失进行加权求和，作为所述隐式联合灾害检测模型最终的损失：

loss＝α₁loss1+α₂loss2+α₃loss3

其中，α₁、α₂、α₃分别表示三个损失的权重。

进一步的，三个损失的权重根据任务之间的难易度进行设置，或根据任务的重要程度进行设置，或使用注意力的方式让所述隐式联合灾害检测模型学习到一组权重。

进一步的，针对建筑损毁多等级检测问题构建的图结构中，每条边代表一条有效的转移关系支路，数据通过沿边的表征转换进行节点间的消息传递；与当前节点存在转移关系的节点为邻居节点；将低层级的节点作为父节点，将高层级的节点作为子节点。

进一步的，所述基于图编码层次化的灾害检测模型的图结构为有向图，且消息传递方向为自顶向下传播；对于自顶向下传播的有向图，用数学表达式表示为：

上式表示：对于每一个节点k，考虑其邻居节点{parent(k)}，将节点k本身与其邻居节点进行融合，将低层次的信息显式传递给高层次，帮助高层次的任务学习；其中，σ表示对节点线性映射到隐空间，

表示节点k的初始表征，

表示低层级邻居节点的初始表征，{parent(k)}表示节点k的所有低层级邻居节点的集合。

进一步的，所述基于图编码层次化的灾害检测模型的图结构为有向图，且消息传递方向为自底向上传播；对于自底向上传播的有向图，用数学表达式表示为：

上式表示：对每一个节点k，考虑其邻居节点{child(k)}，并对节点k本身与其邻居节点进行融合，将高层次的信息显式传递给低层次，帮助低层次的任务学习；其中，

为高层级邻居节点的初始表征，{child(k)}为节点k的所有高层级邻居节点的集合。

进一步的，所述基于图编码层次化的灾害检测模型的图结构为无向图，所述无向图中存在边的部分为双向连接，其消息传递方向为双向传播；无向图为自顶向下传播的有向图与自底向上传播的有向图的结合，其数学表达式为：

进一步的，所述基于图编码层次化的灾害检测模型的图结构为无权图，所述无权图中，节点间的连接边具有相同的权重，表示节点间的消息传递概率相同。

进一步的，所述基于图编码层次化的灾害检测模型的图结构为有权图，所述有权图中，各连接边的权重根据先验消息转移概率设置，先验消息转移概率的数学计算公式为：

f_p(e_j,k)＝1

其中，f_c(e_j,k)表示消息自顶向下传递的边使用的先验消息转移概率，f_p(e_j,k)表示消息自底向上传递的边使用的先验消息转移概率，N_k表示节点k的像素数量，N_j表示节点j的像素数量；e_j,k表示节点j到节点k的连接。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于层次化学习的多等级灾害检测方法，有益效果为：

1、本发明提出了一个通用的灾害检测架构，通过分层学习来实现多层次的灾害检测(MLDD)，以实现细粒度的损害级别分类。

2、本发明构建了一个端到端的分层学习架构，与多重MLDD方法兼容。通过通过建立从粗到细的任务关联，提出了两个新的方法，即多任务层次结构和图编码层次结构。

3、本发明所提出的方法在大规模的建筑物损坏评估数据集xBD中取得了最先进的性能，并在具有挑战性的细粒度的建筑损坏级别的任务中显示出优势

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的基于层次化学习的多等级灾害检测方法的流程图；

图2为本发明提供的显式多阶段灾害检测模型的结构示意图；

图3为本发明提供的隐式联合灾害检测模型的结构示意图；

图4为本发明提供的建筑损毁多等级检测的层级关系示意图；

图5为本发明提供的基于图编码层次化的灾害检测模型的结构示意图；

图6为本发明提供的三种消息传递方式对应的图结构；

图7为本发明提供的无权图和有权图的结构示意图；

图8为本发明提供的基于层次化学习的灾害检测与其他检测模型之间的可视化检测结果对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例公开了一种基于层次化学习的多等级灾害检测方法，包括：

从任务拆解的角度对建筑损毁多等级检测问题进行层次化分析，构建基于多任务层次化的灾害检测模型；或利用图结构的方式对建筑损毁多等级检测问题进行层次化分析，将表征信息按照不同节点间的层级关系进行传递，构建基于图编码层次化的灾害检测模型；

利用基于多任务层次化的灾害检测模型或基于图编码层次化的灾害检测模型对灾害前后的双时相特征图进行检测，得到建筑损毁检测结果。

在一个具体实施例中，本发明将复杂的建筑多等级损毁检测问题重新拆解为：(1)输入原图，输出“是否是建筑”；(2)在“是建筑”的基础上，输出“建筑是否受损”；(3)在“建筑受损”的基础上，输出“建筑受损程度”，利用数学公式表达如下：

P(T)＝φ₁(I)

P(F)＝P(F|T＝1)×P(T)＝T₂(T)

P(V)＝p(V|F＝1,T＝1)×P(F|T＝1)×P(T)＝φ₃(F)

其中，P(T)是对“是否是建筑的预测概率，P(F)是对“建筑是否受损”的预测概率，P(V)是对“建筑受损程度”的预测概率，φ₁、φ₂、φ₃分别是三个阶段对应三个任务的网络参数。

可以从上述数学公式中看出，本发明方法是利用条件概率连乘的方式进行分别的学习。对于条件概率连乘，本发明提出了两种模型方法，分别是显式多阶段模型与隐式联合模型。

具体而言，若基于多任务层次化的灾害检测模型为显式多阶段灾害检测模型，如图2所示，显式多阶段灾害检测模型将建筑损毁多等级检测任务划分为三个任务，每个任务对应一个预测网络；

其中，任务一对应的预测网路对是否为建筑进行检测，其数学表达式为：P(T＝1)＝φ₁(I)；

任务二对应的预测网络对建筑是否受损进行检测，其数学表达式为：P(F＝1)＝P(F＝1|T＝1)×P(T＝1)＝φ₂(T)；

任务三对应的预测网路对建筑的受损程度进行检测，其数学表达式为：P(V)＝P(V|F＝1,T＝1)×P(F＝1|T＝1)×P(T＝1)＝φ₃(F)；

其中，P(T＝1)表示“当前像素是建筑”，P(F＝1|T＝1)表示“当前像素是建筑，且受损”，P(V＝1|F＝1,T＝1)表示“当前像素是建筑，且受损，受损程度为某个等级”；φ₁(I)、φ₂(T)、φ₃(F)分别表示上述三个任务的网络预测结果。

对于任务一“是否是建筑”，是一个二分类任务，预测网络仅关注于对建筑进行预测。对于任务二“是否建筑受损”，同样是一个二分类任务，预测网络接收到的数据全部是“是建筑”，在这个基础上进行“是否受损”的预测。对于任务三“建筑受损程度”，与之前不同的是，是一个三分类问题(“轻微受损”、“严重受损”、“完全损毁”)，预测网络接收到的数据全部是“受损建筑”，在此基础上进行“受损程度”的预测。

本发明对三个任务分别训练三个预测网络，每个预测网络仅专注于自己的那一小部分任务，可以有效的减少多任务耦合部分所造成的偏差，由于减少了每部分所带来的偏置，简化了模型的学习目标，使模型可以更好的归纳出任务要点。

更有利的，显示多阶段灾害模型是针对每个任务分别构造预测网络去训练，无法使用全部的样本空间，会造成一定的数据浪费。例如对“建筑是否受损”这个问题中，只能抽取出“是建筑”的样本，再对其进行“是否受损”的预测。那么此时，任务可以被描述成“假设此像素是建筑，那么它受损的概率有多大”，这就是不能使用全部样本训练这个模型的原因，因为无法获得的信息是，那些“非建筑”的像素，它们“是否受损”。如果直接使用0作为标签，会很大程度上误导模型的学习。

根据上述提及的显示多阶段灾害检测模型的数学表达式可知，P(T＝1)即“是建筑”是有明确标签的，P(F＝1|T＝1)即“当前像素是建筑，且受损”是有明确标签的，P(V＝1|F＝1,T＝1)即“当前像素是建筑，且受损，受损程度为某个等级”同样是有明确标签的，且转化后的三个任务是可以使用全部样本的。因此可以通过学习转化后的三个任务，对之前定义的三个任务进行隐式的学习。

由此，本实施例提出，将基于多任务层次化的灾害检测模型采用隐式联合灾害检测模型，如图3所示，隐式联合灾害检测模型将建筑损毁多等级检测任务划分为三个任务，每个任务对应一个预测网络，三个任务所对应的三个预测网络在较浅层时共享底层特征，在较深层时各自学习独享的参数；

由于每个预测网络都有标签信息进行监督，因此，每个分支都会产生一个当前任务的损失，三个任务对应的预测网络的损失函数分别如下：

其中，N表示图像中总的像素数，t_i、y_i、z_i分别表示三个独立任务的标签，θ₁、θ₂、θ₃分别表示三个预测网络的参数，x_i表示两时相图像差异的特征图；f(x_i；θ₁)表示网络预测的结果；

将三个任务的损失进行加权求和，作为隐式联合灾害检测模型最终的损失：

loss＝α₁loss1+α₂loss2+α₃loss3

其中，α₁、α₂、α₃分别表示三个损失的权重。三个共享底层特征的预测网络同时根据目标进行优化，充分利用全部的样本空间。

具体而言，三个损失的权重根据任务之间的难易度进行设置，或根据任务的重要程度进行设置，或使用注意力的方式让隐式联合灾害检测模型学习到一组权重。

可知，隐式联合灾害检测模型相比于显式多阶段灾害检测模型在样本选择空间上进行了优化，利用了全部的样本，且多个任务之间由于共享了底层特征，可以相互提高，并减少了很多参数量和计算量，仅有少部分参数是各自独立的。

在其他实施例中，本发明还根据每个任务之间的关联对模型进行了进一步优化，利用图结构将层次化信息在节点间传递，从信息传递的角度对层次化信息进行编码，提高了模型的效率。

在对多时相图像进行多等级受灾程度的分类中，通常是用不同的神经元分别对每类进行预测。但是在建筑的多等级灾害检测任务中，节点之间是存在逻辑关系的，且它们所属不同的层级关系。因此，本发明针对任务的特性，设计了基于图编码层次化的灾害检测模型，其具体结构如图5所示，核心思路是将表征信息按照节点间的层级关系进行传递，使不同层级间的预测可以相互借鉴，增加层级间的信息流动。例如，在对“建筑的受损等级”预测中，“建筑是否受损”的节点表征会对“受损等级”有很大的帮助。例如若建筑无受损，那么受损等级的概率就应该趋近于0。这种层次关系可用图的方式进行建模，每个预测目标对应于图结构中的节点，目标与目标间的相关性可用图结构中有连接关系的边表示。基于此，本发明对建筑的多等级灾害检测问题可由图4表示。

在图结构中，有三个基本要素需要去探讨，(1)节点。此问题中，按照人类的经验，将五节点分类问题拓展为七节点分类问题，分别是“不是建筑”、“是建筑”、“无受损”、“有受损”、“轻微受损”、“严重受损”、“完全受损”；(2)节点的连接关系。针对层级之间的消息传递，从有向图和无向图两个角度进行了探讨，其中，有向图分为自顶向下连接与自底向上连接，无向图不考虑具体的方向，也可视为自顶向下与自底向上连接的结合；(3)边的权重，即节点间的状态转移矩阵。不同层级之间，不同节点的信息流动概率需要研究，并且提出了平均消息传递与先验消息传递两种方式，并辅以实验进行验证。

图卷积神经网络(GCN)是一种卷积神经网络，但其可以在图上进行消息传递，并可利用图的结构信息，增强节点表征。本发明利用了图卷积神经网络的基本思想，提出了针对层次化任务的图编码网络模型，在层次图中，每条边代表一条有效的转移关系支路，数据可以通过沿边的表征转换来进行节点间的消息传递。与当前节点存在转移关系的节点称之为邻居节点，为了便于标识，将低层级的节点称为父节点(例如此任务中的最低层级为“是否是建筑“预测)，将高层级的节点称为子节点(此任务中的最高层级为”受损程度“预测)。

那么，对于节点k来说，与其可能存在消息传递的关联邻居由它本身的转换、邻居父节点、邻居子节点构成N(k)＝{n_k,child(k),parent(k)}。则经过图编码后的节点k的隐藏状态可利用数学公式表示为

其中，

代表着节点的转换，

表示dim维的实数域，

表示N×dim的实数域，

表示N维的实数域，

表示实数域，dim表示特征向量的维度，N表示邻居节点的数量。v_j表示节点j的嵌入式表征，

表示节点j向节点k传递消息时的偏置，σ表示非线性激活，v_k表示节点k的嵌入式表征，

表示节点g向节点k传递消息时的偏置，N(k)表示节点k的所有邻居节点，g_k,j表示节点j向节点k传递的消息，u_k,j表示节点j和节点k传递消息的权重。d(j,k)表示从节点j到节点k的层次连接关系，包括自顶向下、自底向上和自循环的边。

表示层次转移概率f_d(k,j)(e_kj)，其中自循环的边使用a_k,k＝1，自顶向下的边使用f_c(e_j,k)，自底向上的边使用f_p(e_j,k)；f_d(k,j)表示层次转移概率，e_kj表示节点k到节点j的连接，f_c表示自顶向下方向的转移概率，e_j,k表示节点j到节点k的连接，f_p表示自底向上的转移概率。整张图的边的特征矩阵F＝{a_0,0,a_0,1,…,a_C-1,C-1}表示层次图的加权邻接矩阵。最终，节点k的输出隐藏状态h_k表示融合了层次图结构的表征，其作为最后用作预测的节点特征。

上述计算过程是一个总结性的公式描述，但还有一些重要参数需要确认。例如，当f_c(e_j,k)＝0,f_p(e_j,k)＝1时退化为一个自底向上的有向图，当f_c(e_j,k)＝1,f_p(e_j,k)＝0时退化为一个自顶向下的有向图；不同层级间的f_d(k,j)(e_kj)＝t_k,j可以各不相同，代表着层级间的消息转移概率。下面，分别从消息转移方向和消息转移概率来进行分析。

具体而言，在多等级灾害检测的任务中，认为不同层级间的信息相互有促进作用。类似于特征金字塔，不同尺度的特征图进行融合有利于模型对表征的学习。

因此，针对消息传递方向，如图6所示，本发明提出了有向图和无向图两种形式的层次化图，其中有向图又包括自顶向下传播和自底向上传播两种方式。对于自顶向下传播，对每一个节点k，考虑其邻居节点{parent(k)}，将节点本身于其邻居节点进行融合，将低层次的信息显式传递给高层次，帮助高层次的任务学习。用数学公式可表示为

对于消息传递方向为自顶向下传播的有向图，用数学表达式表示为：

其中，σ表示对节点线性映射到隐空间，

表示节点k的初始表征，

表示低层级邻居节点的初始表征，{parent(k)}表示节点k的所有低层级邻居节点的集合。

对于消息传递方向为自底向上传播的有向图，用数学表达式表示为：

其中，

为高层级邻居节点的初始表征，{child(k)}为节点k的所有高层级邻居节点的集合。

无向图可以看成是一种特殊的有向图，即存在边的部分都是双向连接的。对多等级灾害检测任务来说，可以同时用高层次特征和低层次特征进行相互的融合并促进，来提高各个层次的分类效果，达到层次化细粒度分类的目的。在双向消息传播中，节点k的邻居节点为{parent(k),child(k)}，即用“是否是建筑“与”受损程度“对”建筑是否受损“进行融合来提高此任务的分类精度。无向图可以看作是自顶向下有向图和自底向上有向图的结合，同时考虑两个方向的信息流动，用数学公式可表示为：

在其他实施例中，在层次化结构中，节点与节点间的连接边的权重也是一个重要的因素。如图7所示，图结构可进一步分为有权图和无权图，有权图就是图中的每一条边都会有不同的权重，无权图就是图中的每条边都有相同的权重，也可以表达为权重均为1，即无权图相比于有权图不加以区分节点与节点间的权重系数。在层次化图中，不同权重代表着不同的消息传递概率，例如对“建筑受损“节点来说，对”轻微受损“、”严重受损“、”完全损毁“三个节点的转移概率是不同的。因此，本发明提出了两种消息转移概率，分别是平均消息概率和先验消息概率。

具体而言，平均消息概率传递对应着无权图，即模型不去特殊考虑每个层级间的概率转移，只要节点与节点间存在连接关系，就将消息进行传递。

先验消息概率传递是有权图的一种，每个边的传递概率各不相同。可以认为层次间不同的传递概率有助于模型的学习。例如在某场严重的灾害中(如8级地震)，大多数建筑都“完全损毁“，那么对于”建筑损毁“节点来说，会有很大概率转移到”完全受损“节点，因此需要在图结构中增大这两个边之前的权重来使模型更好的学习。基于此假设，根据特征的分布得到了数据中的先验概率，并将其作为连接边的权重。需要注意的是，在检测任务中，只有父节点到子节点(自顶向下)存在此先验转移概率，但每个子节点都对应于一个父节点，也即当子节点发生时，可以找到唯一确定的父节点，因此子节点到父节点(自底向上)仅有权重为1的转移概率。先验转移概率的数学公式如下所示

f_p(e_j,k)＝1

其中，f_c(e_j,k)表示消息自顶向下传递的边使用的先验消息转移概率，f_p(e_j,k)表示消息自底向上传递的边使用的先验消息转移概率，N_k表示节点k的像素数量，N_j表示节点j的像素数量；e_j,k表示节点j到节点k的连接。

下面以具体实验，进一步验证本发明方法的效果。

1、数据集的获取

xBD是迄今为止最大的建筑损毁评估数据集，在45362平方公里的图像中包含了850736个建筑实例标注。数据集的标注由世界各地专门研究各种灾害类型的专家指导，以评估灾前和灾后卫星图像的建筑物损害情况。该数据集的空间分辨率为0.8m，为不同等级的损伤评估提供了大量的地面细节。xBD从世界各地捕获了不同灾害类型下对不同类型和密度的建筑造成的损害，灾害包括5种，分别是地震、洪灾、火山喷发、山火和飓风。

另外，xBD数据集不光是把建筑进行无受损/受损情况的二元分类，而是细化了对受灾等级的划分，使建筑受损可以得到更加精细的受损程度评估。受损程度分为了4类，分别为无受损、轻微受损、严重受损、完全损毁。

此数据集覆盖地理范围大，考虑的灾害类型多，且对损毁程度有精细的分类，相比于灾害类型单一且仅预测二元受灾情况的数据集来说，对算法提出了更高的要求。

2、评价指标

本发明采取的评价指标与xView2官方比赛的评价指标保持一致，方便与其他模型进行对比。具体而言，本发明对建筑定位计算了F1分数(loc)，此分数主要考察对建筑定位的效果；同时，在受损方面，无损毁(dmg1)、轻微损毁(dmg2)、严重损毁(dmg3)、完全损毁(dmg4)四个受损等级分别得到四个F1分数，同理代表对不同等级的分类效果，这四个等级综合起来得到受损F1(dmg)。最终得分兼顾建筑定位精度与建筑损毁精度，具体的得分计算公式如下。

score＝0.3×loc+0.7×dmg

3、基于多任务层次化的对比实验

该实验主要是为了验证在基于多任务层次化的灾害检测模型中，显式多阶段灾害检测模型和隐式联合灾害检测模型分别的效果。为了验证策略的泛化性，在四种不同的骨架网络上进行了实验，排除单一结构的误差影响。同时，与不用多任务层次化的基准模型进行了对比，来验证本发明提出算法的有效性。实验结果如表1所示。

表1

从实验结果可以看出，使用多任务层次化比不使用多任务层次化的基准模型均有得分的提升，且相比于显式多阶段灾害检测模型，隐式联合检测模型表现出了更优的性能。尤其可关注对受灾等级2和受灾等级3的得分情况，可以看到隐式联合灾害检测模型表现出了非常强势的检测性能。显式多阶段灾害检测模型虽然整体表现不如隐式联合模型，但在受灾情况的整体表现中也显著强于不加此策略的基准模型。这再一次证明了本发明提出的两种基于多任务层次化的多等级灾害检测模型的有效性。

4、基于图编码层次化的消息传递方向消融实验

本实验主要为了验证在基于图编码层次化的灾害检测模型中，不同消息传递方向对灾害检测效果的影响。图编码结构可分为有向图和无向图，有向图的消息聚合方向又可分为自顶向下和自底向上两种，基准模型为不加图编码层次化的灾害检测模型。同样的，为了验证策略的泛化性，在四种不同的骨架网络上进行了实验，排除单一结构的误差影响。实验结果如表2所示。

表2

从实验结果可以看出，使用图编码层次化策略比不加层次化的基准模型均有得分的提升。对于消息传递方向来说，自顶向下消息传递比自底向上消息传递效果要好，这证明了低层次分类的特征(例如，是否受损)有助于增强对高层次分类(例如，受损等级)的精度。高层次特征对低层次分类也有一定作用，但并不十分显著。而从四个模型的结果上看，双向传递的效果最好，最少也有近2个点的提升，这表明当前分类节点与邻居父节点与邻居子节点进行信息交互，可以相互传达层次信息，互相促进分类精度的提升。

5、基于图编码层次化的消息传递概率消融实验

本实验主要为了验证在基于图编码层次化的灾害检测模型中，不同消息传递概率对灾害检测效果的影响。基准模型为不加图编码层次化策略的模型，平均消息传递是不考虑每个层级间的转移概率，每个节点与每个节点之间的交互都遵循着同样的概率分布，而先验消息传递是通过统计数据分布中层级间的转移概率，通过此概率来对节点进行信息的交互。同样，为了验证策略的泛化性，在四种模型上分别进行了实验，实验结果如表3所示。

表3

从上述实验结果中可以分析得出，使用图编码层次化优于不使用层次化策略的基准模型，且层次间以先验概率进行消息传递的效果优于以平均概率进行消息传递的效果，这证明考虑转移概率是对多层次的灾害检测任务有效。同时，从四个模型的结果来看，基于先验概率的图编码层次化相比有基准模型有1个点以上的提升。

6、四种层次化灾害检测模型对比

本实验主要是将四种灾害检测方法进行对比，实验结果如表4所示。

表4

从实验结果可以看出，基于预训练的层次化灾害检测方法比一步式的灾害检测方法好，但是均不如本发明新提出的基于多任务层次化的灾害检测模型与基于图编码层次化的灾害检测模型。从效果上来看，基于图编码层次化的灾害检测模型达到了最好的结果，且相比于预训练层次化的灾害检测方法训练速度大大加快，不需要重复训练。基于多任务层次化的灾害检测模型虽然效果上稍稍逊色于图编码层次化的模型，但是其优点在于对新层次的适应性，即可以新增层次等级，但是图编码的方式需要一开始就将层次结构图定义好，若添加层次等级需要从头训练。综上，本发明提出的两种层次化灾害检测方法相比现有的方法效果都得到了提升，且针对不同的场景有各自的优势。

7、基于层次化学习的灾害检测可视化效果

本发明对表4中四种灾害检测模型在xBD数据集上进行了效果对比，并可视化了最终的结果。黑色部分为非建筑的区域，绿色为无受损的建筑，黄色为轻微损毁的建筑，橙色为严重损毁的建筑，红色为完全损毁的建筑。可视化效果如图8所示。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于层次化学习的多等级灾害检测方法，其特征在于，包括：

从任务拆解的角度对建筑损毁多等级检测问题进行层次化分析，构建基于多任务层次化的灾害检测模型；或利用图结构的方式对建筑损毁多等级检测问题进行层次化分析，将表征信息按照不同节点间的层级关系进行传递，构建基于图编码层次化的灾害检测模型；

利用所述基于多任务层次化的灾害检测模型或所述基于图编码层次化的灾害检测模型对灾害前后的双时相特征图进行检测，得到建筑损毁检测结果。

2.根据权利要求1所述的一种基于层次化学习的多等级灾害检测方法，其特征在于，所述基于多任务层次化的灾害检测模型为显式多阶段灾害检测模型，所述显式多阶段灾害检测模型将建筑损毁多等级检测任务划分为三个任务，每个任务对应一个预测网络；

其中，任务一对应的预测网路对是否为建筑进行检测，其数学表达式为：P(T＝1)＝φ₁(I)；

任务二对应的预测网络对建筑是否受损进行检测，其数学表达式为：P(F＝1)＝P(F＝1|T＝1)×P(T＝1)＝φ₂(T)；

任务三对应的预测网路对建筑的受损程度进行检测，其数学表达式为：P(V)＝P(V|F＝1,T＝1)×P(F＝1|T＝1)×P(T＝1)＝φ₃(F)；

其中，P(T＝1)表示“当前像素是建筑”，P(F＝1|T＝1)表示“当前像素是建筑，且受损”，P(V＝1|F＝1,T＝1)表示“当前像素是建筑，且受损，受损程度为某个等级”；φ₁、φ₂、φ₃分别是三个阶段对应三个任务的网络参数。

3.根据权利要求1所述的一种基于层次化学习的多等级灾害检测方法，其特征在于，所述基于多任务层次化的灾害检测模型为隐式联合灾害检测模型，所述隐式联合灾害检测模型将建筑损毁多等级检测任务划分为三个任务，每个任务对应一个预测网络，三个任务所对应的三个预测网络在较浅层时共享底层特征，在较深层时各自学习独享的参数；

三个任务对应的预测网络的损失函数分别如下：

其中，N表示图像中总的像素数，t_i、y_i、z_i分别表示三个独立任务的标签，θ₁、θ₂、θ₃分别表示三个预测网络的参数，x_i表示两时相图像差异的特征图；f(x_i；θ₁)表示网络预测的结果；

将三个任务的损失进行加权求和，作为所述隐式联合灾害检测模型最终的损失：

loss＝α₁loss1+α₂loss2+α₃loss3

其中，α₁、α₂、α₃分别表示三个损失的权重。

4.根据权利要求3所述的一种基于层次化学习的多等级灾害检测方法，其特征在于，三个损失的权重根据任务之间的难易度进行设置，或根据任务的重要程度进行设置，或使用注意力的方式让所述隐式联合灾害检测模型学习到一组权重。

5.根据权利要求1所述的一种基于层次化学习的多等级灾害检测方法，其特征在于，针对建筑损毁多等级检测问题构建的图结构中，每条边代表一条有效的转移关系支路，数据通过沿边的表征转换进行节点间的消息传递；与当前节点存在转移关系的节点为邻居节点；将低层级的节点作为父节点，将高层级的节点作为子节点。

6.根据权利要求5所述的一种基于层次化学习的多等级灾害检测方法，其特征在于，所述基于图编码层次化的灾害检测模型的图结构为有向图，且消息传递方向为自顶向下传播；对于自顶向下传播的有向图，用数学表达式表示为：

上式表示：对于每一个节点k，考虑其邻居节点{parent(k)}，将节点k本身与其邻居节点进行融合，将低层次的信息显式传递给高层次，帮助高层次的任务学习；其中，σ表示对节点线性映射到隐空间，

表示节点k的初始表征，

表示低层级邻居节点的初始表征，{parent(k)}表示节点k的所有低层级邻居节点的集合。

7.根据权利要求5所述的一种基于层次化学习的多等级灾害检测方法，其特征在于，所述基于图编码层次化的灾害检测模型的图结构为有向图，且消息传递方向为自底向上传播；对于自底向上传播的有向图，用数学表达式表示为：

上式表示：对每一个节点k，考虑其邻居节点{child(k)}，并对节点k本身与其邻居节点进行融合，将高层次的信息显式传递给低层次，帮助低层次的任务学习；其中，

为高层级邻居节点的初始表征，{child(k)}为节点k的所有高层级邻居节点的集合。

8.根据权利要求5所述的一种基于层次化学习的多等级灾害检测方法，其特征在于，所述基于图编码层次化的灾害检测模型的图结构为无向图，所述无向图中存在边的部分为双向连接，其消息传递方向为双向传播；无向图为自顶向下传播的有向图与自底向上传播的有向图的结合，其数学表达式为：

9.根据权利要求5所述的一种基于层次化学习的多等级灾害检测方法，其特征在于，所述基于图编码层次化的灾害检测模型的图结构为无权图，所述无权图中，节点间的连接边具有相同的权重，表示节点间的消息传递概率相同。

10.根据权利要求5所述的一种基于层次化学习的多等级灾害检测方法，其特征在于，所述基于图编码层次化的灾害检测模型的图结构为有权图，所述有权图中，各连接边的权重根据先验消息转移概率设置，先验消息转移概率的数学计算公式为：

f_p(e_j，k)＝1

其中，f_c(e_j,k)表示消息自顶向下传递的边使用的先验消息转移概率，f_p(e_j,k)表示消息自底向上传递的边使用的先验消息转移概率，N_k表示节点k的像素数量，N_j表示节点j的像素数量；e_j,k表示节点j到节点k的连接。

Images