CN115512222A - 一种线下训练-线上学习的灾害场景地物损毁评估方法 - Google Patents

一种线下训练-线上学习的灾害场景地物损毁评估方法 Download PDF

Info

Publication number
CN115512222A
CN115512222A CN202211172718.XA CN202211172718A CN115512222A CN 115512222 A CN115512222 A CN 115512222A CN 202211172718 A CN202211172718 A CN 202211172718A CN 115512222 A CN115512222 A CN 115512222A
Authority
CN
China
Prior art keywords
disaster
damage
post
ground object
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211172718.XA
Other languages
English (en)
Inventor
钟燕飞
郑卓
马爱龙
王俊珏
张良培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202211172718.XA priority Critical patent/CN115512222A/zh
Publication of CN115512222A publication Critical patent/CN115512222A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/817—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level by voting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明涉及一种基于线下训练‑线上学习框架的灾害场景地物损毁评估方法，用于快速、准确的多灾害场景地物损毁评估，支撑灾害应急响应应用。通过线下训练‑线上学习框架不断对齐模型在未知区域、未知灾种数据中的统计特征分布，克服未知区域与未知灾种带来的分布漂移问题；并设计了端到端的多任务灾前地物提取与灾后损毁评估深度网络模型，将灾前地物区域提取与灾后地物损毁评估可微分地整合在一起，解决了传统损毁评估模型无法同时具备端到端训练、推理与目标一致性预测的问题。本发明能够解决现有的模型难以泛化到未知区域、未知灾种以及评估目标语义不一致等问题，有效支撑准确的分钟级城市灾害快速应急响应。

Description

一种线下训练-线上学习的灾害场景地物损毁评估方法
技术领域
本发明属于高分辨率遥感影像识别领域，特别涉及一种线下训练-线上学习的灾害场景地物损毁评估方法。
背景技术
当突发灾难发生时，快速而准确的地物损害评估对于人道主义援助和灾害应急响应至关重要。然而，由于通信和交通基础设施有限，直接人力评估地物损毁可能是危险、困难和缓慢的。遥感技术是实现建筑物损害评估的一种安全和有效的方法。高空间分辨率遥感图像可以准确地反映地球表面，并能迅速提供大面积的观测数据，以支持地物损害评估。利用双时相遥感图像对进行地物损毁评估可以被视为两个基本子任务的组合：地物灾前分类和地物灾后损毁评估。地物灾前分类，也被称为地物提取，在遥感领域得到了广泛的研究，其目的是为灾前图像上的每个像素分配一个独特的语义标签，以表示地物的区域。然后根据灾前图像上的地物分类结果，对灾后图像上的每一个地物实例分配一个反映损坏程度的唯一损坏等级标签，进行损坏分类。
目前主流的地物损毁评估方法主要采用端到端的孪生全卷积神经网络，以及级联的受灾区域提取与区域损毁评估方法；端到端的孪生全卷积神经网络法将地物损毁评估视作多时相像素级分类任务，可实施端到端训练与推理，但由于灾害条件下成像条件恶劣、不同灾种对不同地物的影响机制多样，造成的损毁通常复杂多变，导致该方法容易出现“同物多损”问题，即一个地物实例仅有一种损毁级别，但由于像素分类范式不可避免的逐像素判别，导致一个地物出现多种损毁级别。为克服这一问题，级联的受灾区域提取与区域损毁评估方法，通过将任务分解为两个子任务，先确定受灾地物所在的区域，再对该区域进行全局语义判别从而克服“同物多损”问题，但该方法具有两个独立阶段，其无法端到端训练与推理，导致模型难以获得最优解，在灾害应急场景，模型处理速度远低于端到端方法，无法满足应急场景；与此同时，上述两类方法均未考虑模型在未知区域与未知灾种的泛化问题。
为了解决上述问题，亟需一个多场景泛用、端到端、目标语义一致的地物损毁评估框架，稳健地对各种灾害场景进行快速地物损毁评估；当新灾害事件发生时，可快速迁移模型参数分布，解决特征分布漂移问题，完成未知区域、未知灾种等高不确定性灾害场景下的模型泛化，实现准确的分钟级城市灾害快速应急响应应用。
发明内容
本发明的目的在于提出一种线下训练-线上学习的灾害场景地物损毁评估方法。
提出的线下训练-线上学习的灾害场景地物损毁评估方法通过线下训练-线上学习框架不断对齐模型在未知区域、未知灾种数据中的统计特征分布，克服未知区域与未知灾种带来的分布漂移问题；并设计了端到端的多任务灾前地物提取与灾后损毁评估深度网络模型，将灾前地物区域提取与灾后地物损毁评估可微分地整合在一起，解决了传统损毁评估模型无法同时具备端到端训练、推理与目标一致性预测的问题。
本发明提供基于线下训练-线上学习框架的灾害场景地物损毁评估方法，实现步骤如下：
步骤1，构建灾害场景地物损毁评估影像样本数据库，并按比例划分为训练集、无标注集与验证集，对训练集、无标注集与验证集做归一化处理，对训练集进行辐射、几何、尺度的数据增强处理；对无标注集进行随机的辐射、几何、尺度的数据增强处理；
步骤2，构建线下的多任务灾前地物提取与灾后损毁评估深度网络模型，并采用基于梯度的线下训练算法求解模型参数；
步骤3，构建线上的多任务灾前地物提取与灾后损毁评估深度网络模型，并加载线下训练获得的模型参数；利用无标注集与线上学习算法对线上的多任务灾前地物提取与灾后损毁评估深度网络模型进行滑动平均参数更新；
步骤4，基于训练收敛后的线上深度网络模型，对待评估数据进行预测，利用输出概率获取损毁评估结果。
进一步的，步骤1具体实现包括如下子步骤：
步骤1.1，建立地物灾种分类体系，确定灾种类型与地物损毁程度体系；
步骤1.2，根据灾种类型确定高分辨率遥感影像收集区域与时间，并采集相应的灾前、灾害高分辨率遥感影像对，根据不同灾种不同地物的损毁程度分类体系，对影像中的感兴趣地物进行位置与损毁程度的像素集标注，并保留大量影像作为无标注数据，形成灾害场景地物损毁评估影像样本数据库；
步骤1.3，将灾害场景地物损毁评估影像样本数据库按一定比例划分成三个部分，用于模型线下训练的训练集A1，用于线上学习的无标注训练集A2与用于精度评估的测试集B；
步骤1.4，将训练集A1，A2与测试集B进行归一化，并对训练集A1进行辐射、几何、尺度的数据增强处理；对无标注集A2进行随机的辐射、几何、尺度的数据增强处理。
进一步的，步骤2具体实现包括如下子步骤：
步骤2.1，构建多任务灾前地物提取与灾后损毁评估框架，该框架中包含特征差异化的图像编码器，任务差异化的上下文提取器，灾前地物提取与灾后损毁评估双任务解码器；
步骤2.2，构建特征差异化的图像编码器，复用已有的视觉层次化卷积神经网络ResNet-50，作为单张图像的编码器，进行特征提取；由于灾前、灾后图像中地物模式相同，但灾害发生导致成像环境剧烈改变，灾后图像统计量具有明显差异，这里在图像编码器中共享全部卷积层权重，对灾前、灾后图像分别单独构建可学习的线性批归一化层，以克服上述特征统计差异问题。
步骤2.3，对灾前、灾后特征图，分别构建任务差异化的上下文提取器，为进行空间上下文的高效提取，这里设计了一种空间压缩池化自注意力网络，作为上下文提取器，对灾前、灾后特征图增加特异性的上下文信息。空间压缩池化自注意力网络由3个空间压缩池化自注意力层堆叠组合而成，每层由逐点全连接层、归一化层、空间压缩池化自注意力层、残差层归一化层以及多层感知机层构成，其中空间压缩池化自注意力层输入特征图X，通过逐点全连接层投影为3个独立的特征图Q,K,V，并对其进行层归一化运算；利用空间平均池化运算对高维的Q，K特征图进行空间维度的8倍降维，获得低维特征图avg(Q),avg(K)；接着利用低维特征图avg(Q),avg(K)进行标准多头自注意力计算，从而获得上下文增强的特征图Qc,接着对Qc进行层归一化并与之前的输入相加构成残差连接，即残差层归一化层；同时将将残差归一化特征输入多层感知机进行线性变换，并与输入特征图相加，得到空间压缩池化自注意力层的输出特征；此处同时将空间压缩池化自注意力层输出特征与编码器中对应空间分辨率的特征图进行相加，实现细节特征与语义特征的互补；步骤2.4，构建灾前地物提取与灾后损毁评估双任务解码器，每个任务的解码器均由1个分层聚合器后接4层卷积层实现，不同在于灾前地物提取子解码器的输出通道数为地物类别数，灾后损毁评估子解码器的输出通道数为损毁分级数。
分层聚合器旨在将多个不同分辨率的特征，利用双线性插值上采样到相同的最高分辨率并进行线性投影与求和运算，得到一个高分辨率特征图，用于后续任务的卷积特征表示；为了令灾后损毁评估子解码器获取双时相对比信息，通过将灾前地物提取子解码器中分层聚合器输出的高分辨率地物特征图与灾后损毁评估子解码器中分层聚合器输出的高分辨率受灾地物特征图进行通道维拼接，再输入后续4个卷积层提取双时相对比信息；
步骤2.5，构建多任务灾前地物提取与灾后损毁评估损失函数并利用训练集A1进行基于梯度的线下训练多个多任务灾前地物提取与灾后损毁评估深度网络模型：
L＝Lloc+Ldam
其中Lloc为灾前地物提取损失函数，多类别(感兴趣地物类别大于1)通过交叉熵实现，二类别(感兴趣地物类别等于1)通过二类交叉熵与soft-dice损失函数实现；Ldam为灾后损毁评估损失函数，通过多类交叉熵与在线难样本挖掘实现；通过反向传播求解参数梯度，从而利用神经网络优化器进行梯度下降训练网络模型。
进一步的，步骤3具体实现包括如下子步骤：
步骤3.1，在线上加载所有多任务灾前地物提取与灾后损毁评估深度网络模型F1及其线下训练的网络参数，并构建一个新的多任务灾前地物提取与灾后损毁评估深度网络模型F2，对训练好的参数进行动量为0.99的滑动平均处理，用于新网络模型的参数初始化；
步骤3.2，线上学习旨在令模型F2通过回归的方式渐进学习模型F1的特征表示，充分挖掘线下模型已学习的知识表示，同时利用未标注的新增数据A2，线上调整拟合的特征分布，克服跨灾种、跨区域的分布漂移问题；具体以一定批次大小输入无标注灾前灾后影像对数据到模型F1，并对其再一次进行随机色彩扰动、几何翻转、旋转等数据增强操作，输入到模型F2；对两个模型输出的似然作均方根误差损失计算，并反向传播求得参数梯度，并对模型F2进行动量为0.99的滑动平均参数更新，反复迭代直至达到收敛条件；
进一步的，步骤4具体实现包括如下子步骤：
步骤4.1,对于新的灾前、灾后遥感影像对，将其进行归一化之后输入到步骤3.2中获得的网络模型中，得到网络输出的地物灾前分类概率图与灾后损毁评估概率图；
步骤4.2，利用地物灾前分类概率，取最大值(若是二类则以0.5为决策阈值)获取分类结果，并利用种子填充算法、区域提议算法提取地物目标实例；进一步，在灾后损毁评估概率图中获取每个地物目标实例区域的区域损毁概率图，对每个区域损毁概率图取最大值，获取区域损毁分类图，利用多数投票算法，找到最大置信的损毁级别，作为该目标实例区域的损毁级别；迭代所有地物目标实例，得到最终灾后损毁评估图。
在本发明中我们所提出的基于线下训练-线上学习框架的灾害场景地物损毁评估方法具有以下两个显著特点。一是基于线下训练-线上学习框架的模型训练与分布对齐方法。针对未知区域与位置灾种数据带来的数据分布漂移，提出了一种基于一致性正则与动量更新的线上学习策略，结合线下训练获得的较为稳健的模型参数，形成一种面向未知分布数据的迭代式模型训练、调整方法，克服传统独立同分布训练模式下模型泛化难的问题。第二个显著特点是多任务灾前地物提取与灾后损毁评估深度网络模型。针对传统端到端模型目标语义不一致、级联模型训练复杂、效率低下的问题，提出了一种多任务端到端损毁评估网络模型，其揭示了目标语义不一致的本质在于目标先验的缺失，基于此设计了多任务灾前地物提取与灾后损毁评估框架，其包含特征差异化的图像编码器，任务差异化的上下文提取器，灾前地物提取与灾后损毁评估双任务解码器；其中图像编码器与上下文提取器用于提取成像干扰鲁棒、灾种自适应的目标先验特征表示，并通过双任务解码器，将目标先验特征传递至损毁评估子解码器，从而在损毁评估阶段实现目标范围的强语义一致约束，实现可同时端到端训练、推理、语义一致的地物损毁评估。
附图说明
图1是本发明实施例1的步骤1中xView2建筑物灾害损毁评估数据集的部分可视化图。
图2是本发明实施例1的步骤2中设计的多任务灾前地物提取与灾后损毁评估深度网络模型示意图。
图3是本发明实施例1的步骤2.3中设计的空间压缩池化自注意力层示意图。
图4是本发明实施例1的步骤4中模型的部分预测结果图。
具体实施方式
下面通过实施例，进一步阐明本发明的突出特点和显著进步，仅在于说明本发明而决不限制本发明。
实施例1
(一)使用公开数据xView2建筑物灾害损毁评估数据集作为灾害场景地物损毁评估影像样本数据库，xView2训练数据集包含11034对WorldView-3、Geoeye高分辨率光学遥感影像，每张影像大小为1024×1024像素，各灾种样例见图1。
1.1，感兴趣地物类别为建筑物，灾种分类体系包含地震、野火、火山爆发、飓风、洪涝、海啸6大灾种，地物损毁程度分为无损毁、轻度损毁、中度损毁、严重损毁与完全损毁；
1.2，使用公开数据xView2建筑物灾害损毁评估数据集，其已包含19个灾害事件的灾前、灾后影像对及其标注；
1.3，将xView2建筑物灾害损毁评估数据集按一定比例划分成三个部分，具体为用于模型线下训练的训练集A1(9168对)、用于线上学习的无标注集A2(933对)与用于精度评估的测试集B(933对)；
1.4，将训练集A1，A2与测试集B进行归一化，并对训练集进行随机翻转、随机角度旋转、随机色彩抖动、随机光照抖动数据增强运算。
(二)构建线下的多任务灾前地物提取与灾后损毁评估深度网络模型，并采用基于梯度的线下训练算法求解模型参数；
2.1，构建多任务灾前地物提取与灾后损毁评估框架，如图2，该框架中包含特征差异化的图像编码器，任务差异化的上下文提取器，灾前地物提取与灾后损毁评估双任务解码器；
2.2，构建特征差异化的图像编码器，复用现有的ResNet-50(由一个卷积层、4个残差模块串联而成，每个残差模块由1个1x1卷积、1个3x3卷积、1x1卷积组成，并在输入与卷积输出之间构造残差连接；每个卷积层后接可学习的线性批归一化层)，作为单张图像的编码器，进行特征提取；由于灾前、灾后图像中地物模式相同，但灾害发生导致成像环境剧烈改变，灾后图像统计量具有明显差异，这里在图像编码器中共享全部卷积层权重，对灾前、灾后图像分别单独构建可学习的线性批归一化层，以克服上述特征统计差异问题；
2.3，对灾前、灾后特征图，分别构建任务差异化的上下文提取器，为进行空间上下文的高效提取，这里设计了一种空间压缩池化自注意力网络，作为上下文提取器，对灾前、灾后特征图增加特异性的上下文信息。空间压缩池化自注意力网络由3个空间压缩池化自注意力层(如图3)堆叠组合而成，每层由逐点全连接层、归一化层、多头自注意力层、残差层归一化层以及多层感知机层构成，其中空间压缩池化自注意力层输入特征图X，通过逐点全连接层投影为3个独立的特征图Q,K,V，并对三者分别进行层归一化运算；利用空间平均池化运算对高维的归一化后的Q，K特征图进行空间维度的8倍降维，获得低维特征图avg(Q),avg(K)；接着利用低维特征图avg(Q),avg(K)进行标准多头自注意力计算，从而获得上下文增强的特征图Qc,接着对Qc进行层归一化并与之前的输入相加构成残差连接，即残差层归一化层；同时将残差归一化特征输入多层感知机进行线性变换，并与输入特征图相加，得到空间压缩池化自注意力层的输出特征；此处同时将空间压缩池化自注意力层输出特征与编码器中对应空间分辨率的特征图进行相加，实现细节特征与语义特征的互补。空间池化压缩自注意力层通过空间池化运算，在有效提升特征感受野的同时，显著降低了后续标准自注意力运算的计算量，能充分提取不同灾情阶段影像的空间模式信息，提升特征判别性；
2.4，构建灾前地物提取与灾后损毁评估双任务解码器，每个任务的解码器均由1个分层聚合器后接4层卷积层实现，不同在于灾前地物提取子解码器的输出通道数为地物类别数，灾后损毁评估子解码器的输出通道数为损毁分级数。分层聚合器旨在将多个不同分辨率的特征，利用双线性插值上采样到相同的最高分辨率并进行线性投影与求和运算，得到一个高分辨率特征图，用于后续任务的卷积特征表示；为了令灾后损毁评估子解码器获取双时相对比信息，通过将灾前地物提取子解码器中分层聚合器输出的高分辨率地物特征图与灾后损毁评估子解码器中分层聚合器输出的高分辨率受灾地物特征图进行通道维拼接，再输入后续4个卷积层提取双时相对比信息。
2.5，构建多任务灾前地物提取与灾后损毁评估损失函数并利用训练集A1进行基于梯度的线下训练多个多任务灾前地物提取与灾后损毁评估深度网络模型：
L＝Lloc+Ldam
其中Lloc为灾前地物提取损失函数，多类别通过交叉熵实现，二类别通过二类交叉熵与soft-dice损失函数实现；Ldam为灾后损毁评估损失函数，通过多类交叉熵与在线难样本挖掘实现；通过反向传播求解参数梯度，从而利用动量为0.9的SGD优化器进行梯度下降训练网络模型。
(三)构建线上的多任务灾前地物提取与灾后损毁评估深度网络模型，并加载线下训练获得的模型参数；利用无标注集与线上学习算法对线上的多任务灾前地物提取与灾后损毁评估深度网络模型进行滑动平均参数更新；
3.1,在线上加载所有多任务灾前地物提取与灾后损毁评估深度网络模型F1及其线下训练的网络参数，并构建一个新的多任务灾前地物提取与灾后损毁评估深度网络模型F2，对训练好的参数进行动量为0.99的滑动平均处理，用于新网络模型的参数初始化；
3.2，线上学习旨在令模型F2通过回归的方式渐进学习模型F1的特征表示，充分挖掘线下模型已学习的知识表示，同时利用未标注的新增数据A2，线上调整拟合的特征分布，克服跨灾种、跨区域的分布漂移问题；具体以批次大小16，输入无标注灾前灾后影像对数据到模型F1，并对其再一次进行概率为0.9的随机色彩扰动、几何翻转、旋转等数据增强操作，输入到模型F2；对两个模型输出的似然作均方根误差损失计算作为一致性正则项，并反向传播求得参数梯度，并对模型F2进行动量为0.99的滑动平均参数更新，反复迭代60000步；
(四)基于训练收敛后的深度网络模型，对待评估数据进行预测，利用输出概率获取损毁评估结果；
4.1,对于新的灾前、灾后遥感影像对，将其进行归一化之后输入到步骤3.2中获得的网络模型中，得到网络输出的地物灾前分类概率图与灾后损毁评估概率图；
4.2，利用地物灾前分类概率，取最大值(若是二类则以0.5为决策阈值)获取分类结果，并利用种子填充算法、区域提议算法提取地物目标实例；进一步，在灾后损毁评估概率图中获取每个地物目标实例区域的区域损毁概率图，对每个区域损毁概率图取最大值，获取区域损毁分类图，利用多数投票算法，找到最大置信的损毁级别，作为该目标实例区域的损毁级别；迭代所有地物目标实例，得到最终灾后损毁评估图，其结果如图4。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种线下训练-线上学习的灾害场景地物损毁评估方法，其特征在于，包括以下步骤：
步骤1，构建灾害场景地物损毁评估影像样本数据库，并按比例划分为训练集、无标注集与验证集，对训练集、无标注集与验证集做归一化处理，然后对归一化后的训练集和无标注集进行随机数据增强处理；
步骤2，构建线下的多任务灾前地物提取与灾后损毁评估深度网络模型，并采用基于梯度的线下训练算法求解模型参数；
步骤3，构建线上的多任务灾前地物提取与灾后损毁评估深度网络模型，并加载线下训练获得的模型参数；利用无标注集与线上学习算法对线上的多任务灾前地物提取与灾后损毁评估深度网络模型进行滑动平均参数更新
步骤4，基于训练收敛后的线上深度网络模型，对待评估数据进行预测，利用输出概率获取损毁评估结果。
2.根据权利要求1所述的一种基于线下训练-线上学习框架的灾害场景地物损毁评估方法，其特征在于：步骤1中对训练集进行辐射、几何、尺度的数据增强处理；对无标注集进行随机的辐射、几何、尺度的数据增强处理。
3.根据权利要求1所述的一种基于线下训练-线上学习框架的灾害场景地物损毁评估方法，其特征在于：步骤1的具体实现包括如下子步骤：
步骤1.1，建立地物灾种分类体系，确定灾种类型与地物损毁程度体系；
步骤1.2，根据灾种类型确定高分辨率遥感影像收集区域与时间，并采集相应的灾前、灾害高分辨率遥感影像对，根据不同灾种不同地物的损毁程度分类体系，对影像中的感兴趣地物进行位置与损毁程度的像素集标注，并保留大量影像作为无标注数据，形成灾害场景地物损毁评估影像样本数据库；
步骤1.3，将灾害场景地物损毁评估影像样本数据库按一定比例划分成三个部分，用于模型线下训练的训练集A1，用于线上学习的无标注训练集A2与用于精度评估的测试集B；
步骤1.4，将训练集A1、A2与测试集B进行归一化，并对训练集A1进行辐射、几何、尺度的数据增强处理；对无标注集A2进行随机的辐射、几何、尺度的数据增强处理。
4.根据权利要求1所述的一种基于线下训练-线上学习框架的灾害场景地物损毁评估方法，其特征在于：步骤2的具体实现包括如下子步骤：
步骤2.1，构建多任务灾前地物提取与灾后损毁评估框架，该框架中包含特征差异化的图像编码器，任务差异化的上下文提取器，灾前地物提取与灾后损毁评估双任务解码器；
步骤2.2，构建特征差异化的图像编码器，复用已有的视觉层次化卷积神经网络，作为单张图像的编码器，进行特征提取，图像编码器中共享全部卷积层权重，对灾前、灾后图像分别单独构建可学习的线性批归一化层，以克服上述特征统计差异问题；
步骤2.3，对灾前、灾后特征图，分别构建任务差异化的上下文提取器，为进行空间上下文的高效提取，设计了一种空间压缩池化自注意力网络，作为上下文提取器，对灾前、灾后特征图增加特异性的上下文信息；空间压缩池化自注意力网络由3个空间压缩池化自注意力层堆叠组合而成，每层由逐点全连接层、归一化层、空间压缩池化自注意力层、残差层归一化层以及多层感知机层构成，其中空间压缩池化自注意力层输入特征图X，通过逐点全连接层投影为3个独立的特征图Q,K,V，并对三者分别进行层归一化运算；利用空间平均池化运算对高维的Q，K特征图进行空间维度的8倍降维，获得低维特征图avg(Q),avg(K)；接着利用低维特征图avg(Q),avg(K)进行标准多头自注意力计算，从而获得上下文增强的特征图Qc,接着对Qc进行层归一化并与之前的输入相加构成残差连接，即残差层归一化层；同时将残差归一化特征输入多层感知机进行线性变换，并与输入特征图相加，得到空间压缩池化自注意力层的输出特征；此处同时将空间压缩池化自注意力层输出特征与编码器中对应空间分辨率的特征图进行相加，实现细节特征与语义特征的互补；
步骤2.4，构建灾前地物提取与灾后损毁评估双任务解码器，每个任务的解码器均由1个分层聚合器后接4层卷积层实现，不同在于灾前地物提取子解码器的输出通道数为地物类别数，灾后损毁评估子解码器的输出通道数为损毁分级数；分层聚合器旨在将多个不同分辨率的特征，利用双线性插值上采样到相同的最高分辨率并进行线性投影与求和运算，得到一个高分辨率特征图，用于后续任务的卷积特征表示；为了令灾后损毁评估子解码器获取双时相对比信息，通过将灾前地物提取子解码器中分层聚合器输出的高分辨率地物特征图与灾后损毁评估子解码器中分层聚合器输出的高分辨率受灾地物特征图进行通道维拼接，再输入后续4个卷积层提取双时相对比信息；
步骤2.5，构建多任务灾前地物提取与灾后损毁评估损失函数并利用训练集进行基于梯度的线下训练多个多任务灾前地物提取与灾后损毁评估深度网络模型：
L＝Lloc+Ldam
其中Lloc为灾前地物提取损失函数，多类别通过交叉熵实现，二类别通过二类交叉熵与soft-dice损失函数实现；Ldam为灾后损毁评估损失函数，通过多类交叉熵与在线难样本挖掘实现；通过反向传播求解参数梯度，从而利用神经网络优化器进行梯度下降训练网络模型。
5.根据权利要求4所述的一种基于线下训练-线上学习框架的灾害场景地物损毁评估方法，其特征在于：已有的视觉层次化卷积神经网络为ResNet-50，ResNet-50由一个卷积层、4个残差模块串联而成，每个残差模块由1个1x1卷积、1个3x3卷积、1x1卷积组成，并在输入与卷积输出之间构造残差连接；每个卷积层后接可学习的线性批归一化层。
6.根据权利要求1所述的一种基于线下训练-线上学习框架的灾害场景地物损毁评估方法，其特征在于：步骤3的具体实现包括如下子步骤：
步骤3.1，在线上加载所有多任务灾前地物提取与灾后损毁评估深度网络模型F1及其线下训练的网络参数，并构建一个新的多任务灾前地物提取与灾后损毁评估深度网络模型F2，对训练好的参数进行动量为0.99的滑动平均处理，用于新网络模型的参数初始化；
步骤3.2，线上学习旨在令模型F2通过回归的方式渐进学习模型F1的特征表示，充分挖掘线下模型已学习的知识表示，同时利用未标注的新增数据，线上调整拟合的特征分布，克服跨灾种、跨区域的分布漂移问题；具体以一定批次大小输入无标注灾前灾后影像对数据到模型F1，并对其再一次进行随机色彩扰动、几何翻转、旋转数据增强操作，输入到模型F2；对两个模型输出的似然作均方根误差损失计算，并反向传播求得参数梯度，并对模型F2进行动量为0.99的滑动平均参数更新，反复迭代直至达到收敛条件。
7.根据权利要求1所述的一种基于线下训练-线上学习框架的灾害场景地物损毁评估方法，其特征在于：步骤4的具体实现包括如下子步骤：
步骤4.1，对于新的灾前、灾后遥感影像对，将其进行归一化之后输入到步骤3中获得的网络模型中，得到网络输出的地物灾前分类概率图与灾后损毁评估概率图；
步骤4.2，利用地物灾前分类概率，取最大值获取分类结果，并利用种子填充算法、区域提议算法提取地物目标实例；进一步，在灾后损毁评估概率图中获取每个地物目标实例区域的区域损毁概率图，对每个区域损毁概率图取最大值，获取区域损毁分类图，利用多数投票算法，找到最大置信的损毁级别，作为该目标实例区域的损毁级别；迭代所有地物目标实例，得到最终灾后损毁评估图。
CN202211172718.XA 2022-09-26 2022-09-26 一种线下训练-线上学习的灾害场景地物损毁评估方法 Pending CN115512222A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211172718.XA CN115512222A (zh) 2022-09-26 2022-09-26 一种线下训练-线上学习的灾害场景地物损毁评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211172718.XA CN115512222A (zh) 2022-09-26 2022-09-26 一种线下训练-线上学习的灾害场景地物损毁评估方法

Publications (1)

Publication Number Publication Date
CN115512222A true CN115512222A (zh) 2022-12-23

Family

ID=84505964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211172718.XA Pending CN115512222A (zh) 2022-09-26 2022-09-26 一种线下训练-线上学习的灾害场景地物损毁评估方法

Country Status (1)

Country Link
CN (1) CN115512222A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117236520A (zh) * 2023-11-10 2023-12-15 国网四川省电力公司电力应急中心 一种分布式多无人机集群协同调度系统及其方法
CN117633480A (zh) * 2024-01-26 2024-03-01 南京捷茂机电工程有限公司 一种运动训练效果的量化评估方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117236520A (zh) * 2023-11-10 2023-12-15 国网四川省电力公司电力应急中心 一种分布式多无人机集群协同调度系统及其方法
CN117236520B (zh) * 2023-11-10 2024-01-26 国网四川省电力公司电力应急中心 一种分布式多无人机集群协同调度系统及其方法
CN117633480A (zh) * 2024-01-26 2024-03-01 南京捷茂机电工程有限公司 一种运动训练效果的量化评估方法及系统
CN117633480B (zh) * 2024-01-26 2024-04-05 南京捷茂机电工程有限公司 一种运动训练效果的量化评估方法及系统

Similar Documents

Publication Publication Date Title
CN110705457B (zh) 一种遥感影像建筑物变化检测方法
US11568639B2 (en) Systems and methods for analyzing remote sensing imagery
Sony et al. A systematic review of convolutional neural network-based structural condition assessment techniques
CN108776772B (zh) 一种跨时间建筑物变化检测建模方法以及检测装置、方法及存储介质
CN110598600A (zh) 一种基于unet神经网络的遥感图像云检测方法
CN115512222A (zh) 一种线下训练-线上学习的灾害场景地物损毁评估方法
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
CN110991430B (zh) 基于遥感图像的地物识别及覆盖率计算方法及系统
CN111242026B (zh) 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法
CN111797920B (zh) 门控特征融合的深度网络不透水面遥感提取方法及系统
CN112837320B (zh) 一种基于并行空洞卷积的遥感影像语义分割方法
CN111611918B (zh) 基于航拍数据和深度学习的交通流数据集采集及构建方法
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN111242028A (zh) 基于U-Net的遥感图像地物分割方法
CN114550014A (zh) 道路分割方法及计算机装置
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN115909077A (zh) 基于无监督光谱解混神经网络的高光谱图像变化检测方法
Mahphood et al. Virtual first and last pulse method for building detection from dense LiDAR point clouds
Kee et al. Cracks identification using mask region-based denoised deformable convolutional network
Wu et al. Application and Research of the Image Segmentation Algorithm in Remote Sensing Image Buildings
CN117496162B (zh) 一种红外卫星遥感影像薄云去除方法、装置及介质
CN115456957B (zh) 一种全尺度特征聚合的遥感影像变化检测的方法
CN112598722B (zh) 一种基于可变形卷积网络的图像立体匹配方法以及系统
CN115953577A (zh) 一种基于有监督长程相关的遥感图像语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination