CN116309623B - 一种多源信息融合增强的建筑物分割方法及系统 - Google Patents

Abstract

本申请公开了一种多源信息融合增强的建筑物分割方法及系统，其中方法包括：将遥感图像对应的光谱特征图像和高程信息图像输入到训练好的建筑物分割模型，使得双流网络分别提取光谱特征图像和高程信息图像的特征；将双流网络提取的光谱特征和高程特征输入到特征融合模块，使得特征融合模块对光谱特征和高程特征进行特征融合和去噪；将完成融合的光谱特征和高程特征输入到注意力机制模块，从而逐步融合底层信息上采样回到原图大小，在特征逐步上采样过程中，将每一次上采样后的特征进行预测，并使用金字塔损失函数对模型进行训练，获得高精度的图像分割掩码。从而解决了现有技术无法有效整合数字表面模型图像中的信息，导致分割效果较差的问题。

Description

一种多源信息融合增强的建筑物分割方法及系统

技术领域

本申请涉及建筑物语义分割技术领域，尤其涉及一种多源信息融合增强的建筑物分割方法及系统。

背景技术

屋顶太阳能发电是分布式光伏发电的一种，通常把太阳能电池板装在建筑物的屋顶，不需要占用额外的土地资源。将建筑物屋顶光伏电池板发出的电就地消纳或直接接入附近电网，不仅降低了碳排放，还帮助用户节省了电费。建筑物屋顶面积的大小直接影响太阳能的装机容量，所以，高精度的识别建筑物屋顶面积对分布式太阳能光伏发电非常重要。

传统建筑物语义分割任务通常采用单模态输入，深度学习在单模态遥感图像的语义分割方面取得了显著的成果。然而，由于RGB图像缺乏丰富多样的信息，特别是在具有挑战性的场景下，一些待识别物体与背景的光谱特征相似时，单模态方法无法取得令人满意的结果。近年来的研究表明，在数字表面模型(DSM)图像中使用高程信息可以帮助分割模型克服待识别物体和背景光谱特征相似问题。但是，在引入高程信息时也会带来一定的噪声，传统方法只是简单地将两种模态的特征图相加，并在通道方向上进行拼接，而忽略了基于同一类别区域的特征融合往往具有相似特征的事实。所以，有效整合数字表面模型图像中的信息对提高分割效果至关重要。

发明内容

本申请提供了一种多源信息融合增强的建筑物分割方法及系统，用于解决现有技术无法有效整合数字表面模型图像中的信息，导致分割效果较差的问题。

有鉴于此，本申请第一方面提供了一种多源信息融合增强的建筑物分割方法，所述方法包括：

将遥感图像对应的光谱特征图像和高程信息图像输入到训练好的建筑物分割模型，使得所述建筑物分割模型中的双流网络分别提取光谱特征图像和高程信息图像的特征；

将所述双流网络的每一分支网络提取的光谱特征和高程特征输入到特征融合模块，使得特征融合模块对所述光谱特征和所述高程特征进行特征融合和去噪；

将完成融合的所述光谱特征和所述高程特征输入到注意力机制模块，从而逐步融合底层信息上采样回到原图大小，在特征逐步上采样过程中，将每一次上采样后的特征进行预测，并使用金字塔损失函数对模型进行训练，获得高精度的图像分割掩码。

可选地，所述特征融合模块对所述光谱特征和所述高程特征进行特征融合和去噪，具体包括：

S21、特征融合模块将所述光谱特征和所述高程特征与对应图像不同比例、不同类别的标签图进行点积运算；

S22、利用标签映射的类别掩码聚合通道上与类别掩码匹配的光谱特征和高程特征，将每个类别掩码聚合的特征映射按通道方向进行拼接；

S23、对经过处理的所述光谱特征和所述高程特征之间进行逐元素求和操作，从而完成特征融合和去噪。

可选地，步骤S21-步骤S23的具体过程为：

；

式中，i=1，2，3，4为特征提取网络第i个Transformer模块输出特征，M为标签图，j为标签图中不同的类别，C _cat为通道拼接操作，Ri和Di分别为第i个Transformer模块提取的光谱特征和高程特征，Fi表示Ri和Di融合后的特征。

可选地，所述使用金字塔损失函数对模型进行训练，具体过程包括：

；

式中，C为交叉熵损失函数，Yi为每一次上采样输出预测值，G为对应图像标签值，i表示编码器特征提取的不同阶段，j为标签图中的不同类别，Pj表示标签真实值中属于第j个类别的像素个数在一张图像所有像素中所占比例，L表示预测值与真实值的损失。

可选地，所述建筑物分割模型的训练过程具体为：

获取高分辨率卫星图像和对应的高程信息图像从而构建数据集，并将所述数据集划分为训练集、验证集和测试集；

根据高分辨率卫星图像和对应的高程信息图像，构建多源信息融合增强的建筑物分割模型；

通过所述训练集对所述建筑物分割模型进行训练后，通过所述验证集对所述建筑物分割模型进行测试，从而得到训练好的建筑物分割模型。

可选地，所述通过所述训练集对所述建筑物分割模型进行训练后，通过所述验证集对所述建筑物分割模型进行测试，从而得到训练好的所述建筑物分割模型，之后包括：

通过训练好的所述建筑物分割模型对待检测的遥感图像进行建筑物的分割。

本申请第二方面提供一种多源信息融合增强的建筑物分割系统，所述系统包括：

提取单元，用于将遥感图像对应的光谱特征图像和高程信息图像输入到训练好的建筑物分割模型，使得所述建筑物分割模型中的双流网络分别提取光谱特征图像和高程信息图像的特征；

融合单元，用于将所述双流网络的每一分支网络提取的光谱特征和高程特征输入到特征融合模块，使得特征融合模块对所述光谱特征和所述高程特征进行特征融合和去噪；

分割单元，用于将完成融合的所述光谱特征和所述高程特征输入到注意力机制模块，从而逐步融合底层信息上采样回到原图大小，在特征逐步上采样过程中，将每一次上采样后的特征进行预测，并使用金字塔损失函数对模型进行训练，获得高精度的图像分割掩码。

可选地，所述融合单元，具体用于：

将所述双流网络的每一分支网络提取的光谱特征和高程特征输入到特征融合模块，使得特征融合模块将所述光谱特征和所述高程特征与对应图像不同比例、不同类别的标签图进行点积运算；

利用标签映射的类别掩码聚合通道上与类别掩码匹配的光谱特征和高程特征，将每个类别掩码聚合的特征映射按通道方向进行拼接；

对经过处理的所述光谱特征和所述高程特征之间进行逐元素求和操作，从而完成特征融合和去噪。

可选地，所述融合单元的融合过程表示为：

；

式中，i=1，2，3，4为特征提取网络第i个Transformer模块输出特征，M为标签图，j为标签图中不同的类别，C _cat为通道拼接操作，Ri和Di分别为第i个Transformer模块提取的光谱特征和高程特征，Fi表示Ri和Di融合后的特征。

可选地，所述使用金字塔损失函数对模型进行训练，具体过程包括：

；

式中，C为交叉熵损失函数，Yi为每一次上采样输出预测值，G为对应图像标签值，i表示编码器特征提取的不同阶段，j为标签图中的不同类别，Pj表示标签真实值中属于第j个类别的像素个数在一张图像所有像素中所占比例，L表示预测值与真实值的损失。

从以上技术方案可以看出，本申请具有以下优点：

（1）本申请提供的一种多源信息增强的建筑物分割方法，所提出的多模态输入，克服了单模态分割时光谱特征相似的情况。

（2）提出高效的特征融合模块，避免了在引入高程信息特征的同时带来一定的冗余信息，有效的融合同一类别在不同通道、不同模态间的特征。

（3）提出金字塔损失函数，对每一次上采样的特征图进行损失计算，对每一层的输出进行优化，重点关注特征在不同尺度下的特征信息。为了克服图像中类别不平衡的问题，本发明在交叉熵损失函数前加了一个系数（1-Pj），Pj表示标签真实值中属于第j个类别的像素个数在一张图像所有像素中所占比例，当类别的像素值越少时，损失函数反向传播过程中会更加的注意到比例较少的类别。

附图说明

图1为本申请实施例中提供的一种多源信息融合增强的建筑物分割方法的流程示意图；

图2为本申请实施例中提供的一种双分支的特征提取网络的结构示意图；

图3为本申请实施例中提供的一种特征融合模块的结构示意图；

图4为本申请实施例中提供的一种注意力机制模块的结构示意图；

图5为本申请实施例中提供的一种验证模型的结构示意图；

图6为本申请实施例中提供的一种多源信息融合增强的建筑物分割系统的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，本申请实施例中提供的一种多源信息融合增强的建筑物分割方法，包括：

步骤101、将遥感图像对应的光谱特征图像和高程信息图像输入到训练好的建筑物分割模型，使得建筑物分割模型中的双流网络分别提取光谱特征图像和高程信息图像的特征；

需要说明的是，如图2所示，本实施例建筑物分割模型的双流网络为双分支的特征提取网络，其中，图2上部分的为光谱特征提取网络，图2下部分的为高程信息特征提取网络，模型输入为具有光谱信息的RGB图像和具有高程信息的DSM图像，图2中的双分支的特征提取网络由4个级联的Transformer模块组成，输入通过特征提取网络提取出多尺度下的特征，图像每经过一个Transformer模块，尺寸大小下采样为原来图像尺寸大小的二分之一，通道数变为原来的2倍。光谱特征提取网络输出特征R1、R2、R3、R4和高程信息提取网络输出特征D1、D2、D3、D4为相对应每一Transformer模块输出特征图。得到对应的输出特征图后输入到相应的特征交互模块，融合两种不同的特征信息，然后进入注意力机制模块，建立全局上下文之间的联系，最后通过1×1卷积逐步上采样到原图大小，生成预测掩码，值得注意的是每次上采样得到的特征图都会做一次预测，并计算损失。下面对每一模块进行详细说明。

步骤102、将双流网络的每一分支网络提取的光谱特征和高程特征输入到特征融合模块，使得特征融合模块对光谱特征和高程特征进行特征融合和去噪；

需要说明的是，如图3所示，特征融合模块，在模型训练过程中，利用标签图中不同类别的掩码，融合同一类别在不同模态上的特征，从而增强每个类别的特征表征，减少类间差异。分类掩码从每个输入网络的标签映射中分解，使用标签的先验知识。

具体的，特征融合模块由4个特征交互模块组成，每一个特征交互模块输入为双分支特征提取网络相应的输出特征Ri和Di（i=1，2，3，4），Ri和Di表示第i个Transformer模块提取的光谱特征和高程特征（高程信息特征），然后Ri和Di分别与对应图像不同比例不同类别的标签图Mj（j=1，2，3）进行点积运算，j表示待分割物体类别。利用标签映射的类别掩码聚合通道上与类别掩码匹配的光谱图像特征和高程信息特征，对应位置“1”表示保留特征，对应位置“0”表示去除冗余特征。然后，将每个类别掩码聚合的特征映射按通道方向进行拼接。最后，我们在经过处理的特征Ri和特征Di之间进行逐元素求和操作。具体过程包括：

；

式中，i=1，2，3，4为特征提取网络第i个Transformer模块输出特征，M为标签图，j为标签图中不同的类别，C _cat为通道拼接操作，Ri和Di分别为第i个Transformer模块提取的光谱特征和高程特征，Fi表示Ri和Di融合后的特征。

步骤103、将完成融合的光谱特征和高程特征输入到注意力机制模块，从而逐步融合底层信息上采样回到原图大小，在特征逐步上采样过程中，将每一次上采样后的特征进行预测，并使用金字塔损失函数对模型进行训练，获得高精度的图像分割掩码。

需要说明的是，如图4所示，注意力机制模块输入为特征交互模块输出Fi，Fi首先经过一个全局平均池化层将特征Fi重塑为一维向量，再经过两个全连接层，得到每一个通道的权重，具体过程包括：

；

其中，Avg表示全局平均池化操作，表示两个全连接层操作，最后用得到的权重w和特征Fi做矩阵乘法运算。具体过程包括：

；

所得特征融合了光谱特征和高程信息特征。

金字塔损失模块：将每次上采样后得到的特征做预测得到Yi再与对应标签值进行损失计算，对每一层的输出进行优化，重点关注特征在不同尺度下的特征信息。为了克服图像中类别不平衡的问题，本发明在交叉熵损失函数前加了一个系数（1-Pj），Pj表示标签真实值中属于第j个类别的像素个数在一张图像所有像素中所占比例，当类别的像素值越少时，损失函数反向传播过程中会更加的注意到比例较少的类别。具体过程包括：

；

式中，C为交叉熵损失函数，Yi为每一次上采样输出预测值，G为对应图像标签值，i表示编码器特征提取的不同阶段，j为标签图中的不同类别，Pj表示标签真实值中属于第j个类别的像素个数在一张图像所有像素中所占比例，L表示预测值与真实值的损失。

需要说明的是，完整模型在训练过程中，由于特征融合模块和金字塔损失函数模块引入了先验信息，在后续验证和测试时需要把特征交互模块和金字塔损失函数模块删除，将原输入到特征交互模块的Ri和Di直接输入到对应的注意力机制模块，验证模型如图5所示，图5展示了模型验证时的网络架构，网络架构为双分支的特征提取网络，其中上面的为光谱特征提取网络，下面的为高程信息特征提取网络，模型输入为具有光谱信息的RGB图像和具有高程信息的DSM图像，图中的双分支的特征提取网络由4个级联的Transformer模块组成，输入通过特征提取网络提取出多尺度下的特征，图像每经过一个Transformer模块，尺寸大小下采样为原来图像尺寸大小的二分之一，通道数变为原来的2倍。光谱特征提取网络输出特征R1、R2、R3、R4和高程信息提取网络输出特征D1、D2、D3、D4为相对应每一Transformer模块输出特征图。得到输出特征图后输入到相应的注意力机制模块，构建全局上下文信息，然后分别通过1×1卷积改变通道数，最后逐步上采样会原图大小，同时生成预测掩码，在上采样过程中融合对应的底层语义特征的信息。

在一个实施例中，本申请的多源信息融合增强的建筑物分割方法，还提供了一种建筑物分割模型的训练过程，包括：

获取高分辨率卫星图像和对应的高程信息图像从而构建数据集，并将数据集划分为训练集、验证集和测试集；

根据高分辨率卫星图像和对应的高程信息图像，构建多源信息融合增强的建筑物分割模型；

通过训练集对建筑物分割模型进行训练后，通过验证集对建筑物分割模型进行测试，从而得到训练好的建筑物分割模型。

最后，通过训练好的建筑物分割模型对待检测的遥感图像进行建筑物的分割。

以上为本申请实施例中提供的一种多源信息融合增强的建筑物分割方法，以下为本申请实施例中提供的一种多源信息融合增强的建筑物分割系统。

请参阅图6，本申请实施例中提供的一种多源信息融合增强的建筑物分割系统，包括：

提取单元201，用于将遥感图像对应的光谱特征图像和高程信息图像输入到训练好的建筑物分割模型，使得建筑物分割模型中的双流网络分别提取光谱特征图像和高程信息图像的特征；

融合单元202，用于将双流网络的每一分支网络提取的光谱特征和高程特征输入到特征融合模块，使得特征融合模块对光谱特征和高程特征进行特征融合和去噪；

分割单元203，用于将完成融合的光谱特征和高程特征输入到注意力机制模块，从而逐步融合底层信息上采样回到原图大小，在特征逐步上采样过程中，将每一次上采样后的特征进行预测，并使用金字塔损失函数对模型进行训练，获得高精度的图像分割掩码。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个（项）”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（英文全称：Read-OnlyMemory，英文缩写：ROM）、随机存取存储器（英文全称：Random Access Memory，英文缩写：RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (4)

1.一种多源信息融合增强的建筑物分割方法，其特征在于，包括：

将遥感图像对应的光谱特征图像和高程信息图像输入到训练好的建筑物分割模型，使得所述建筑物分割模型中的双流网络分别提取光谱特征图像和高程信息图像的特征；

将所述双流网络的每一分支网络提取的光谱特征和高程特征输入到特征融合模块，使得S21、特征融合模块将所述光谱特征和所述高程特征与对应图像不同比例、不同类别的标签图进行点积运算；S22、利用标签映射的类别掩码聚合通道上与类别掩码匹配的光谱特征和高程特征，将每个类别掩码聚合的特征映射按通道方向进行拼接；S23、对经过处理的所述光谱特征和所述高程特征之间进行逐元素求和操作，从而完成特征融合和去噪；

将完成融合的所述光谱特征和所述高程特征输入到注意力机制模块，从而逐步融合底层信息上采样回到原图大小，在特征逐步上采样过程中，将每一次上采样后的特征进行预测，并使用金字塔损失函数对模型进行训练，获得高精度的图像分割掩码；

其中，步骤S21-步骤S23的具体过程为：

；

式中，i=1，2，3，4为特征提取网络第i个Transformer模块输出特征，为标签图，j为标签图中不同的类别，/>为通道拼接操作，/>和/>分别为第i个Transformer模块提取的光谱特征和高程特征，/>为/>和/>融合后的特征；

所述使用金字塔损失函数对模型进行训练，具体过程包括：

；

式中，C为交叉熵损失函数，为每一次上采样输出预测值，G为对应图像标签值，i表示编码器特征提取的不同阶段，j为标签图中的不同类别，/>表示标签真实值中属于第j个类别的像素个数在一张图像所有像素中所占比例，L表示预测值与真实值的损失。

2.根据权利要求1所述的多源信息融合增强的建筑物分割方法，其特征在于，所述建筑物分割模型的训练过程具体为：

获取高分辨率卫星图像和对应的高程信息图像从而构建数据集，并将所述数据集划分为训练集、验证集和测试集；

根据高分辨率卫星图像和对应的高程信息图像，构建多源信息融合增强的建筑物分割模型；

通过所述训练集对所述建筑物分割模型进行训练后，通过所述验证集对所述建筑物分割模型进行测试，从而得到训练好的建筑物分割模型。

3.根据权利要求2所述的多源信息融合增强的建筑物分割方法，其特征在于，所述通过所述训练集对所述建筑物分割模型进行训练后，通过所述验证集对所述建筑物分割模型进行测试，从而得到训练好的所述建筑物分割模型，之后包括：

通过训练好的所述建筑物分割模型对待检测的遥感图像进行建筑物的分割。

4.一种多源信息融合增强的建筑物分割系统，其特征在于，包括：

提取单元，用于将遥感图像对应的光谱特征图像和高程信息图像输入到训练好的建筑物分割模型，使得所述建筑物分割模型中的双流网络分别提取光谱特征图像和高程信息图像的特征；

融合单元，用于将所述双流网络的每一分支网络提取的光谱特征和高程特征输入到特征融合模块，使得特征融合模块将所述光谱特征和所述高程特征与对应图像不同比例、不同类别的标签图进行点积运算；利用标签映射的类别掩码聚合通道上与类别掩码匹配的光谱特征和高程特征，将每个类别掩码聚合的特征映射按通道方向进行拼接；对经过处理的所述光谱特征和所述高程特征之间进行逐元素求和操作，从而完成特征融合和去噪；

分割单元，用于将完成融合的所述光谱特征和所述高程特征输入到注意力机制模块，从而逐步融合底层信息上采样回到原图大小，在特征逐步上采样过程中，将每一次上采样后的特征进行预测，并使用金字塔损失函数对模型进行训练，获得高精度的图像分割掩码

其中，所述融合单元的融合过程表示为：

；

式中，i=1，2，3，4为特征提取网络第i个Transformer模块输出特征，为标签图，j为标签图中不同的类别，/>为通道拼接操作，/>和/>分别为第i个Transformer模块提取的光谱特征和高程特征，/>为/>和/>融合后的特征；

所述使用金字塔损失函数对模型进行训练，具体过程包括：

；

式中，C为交叉熵损失函数，为每一次上采样输出预测值，G为对应图像标签值，i表示编码器特征提取的不同阶段，j为标签图中的不同类别，/>表示标签真实值中属于第j个类别的像素个数在一张图像所有像素中所占比例，L表示预测值与真实值的损失。