CN115731391A

CN115731391A - 一种目标区域提取装置以及提取方法

Info

Publication number: CN115731391A
Application number: CN202211220145.3A
Authority: CN
Inventors: 李哲; 孟庆民; 张雁南; 王铁; 高有
Original assignee: Beijing Vastriver Technology Co ltd
Current assignee: Beijing Vastriver Technology Co ltd
Priority date: 2022-10-08
Filing date: 2022-10-08
Publication date: 2023-03-03

Abstract

本发明公开一种目标区域提取装置以及提取方法，其中一实施例的提取装置包括：图像输入模块用于将多个多光谱遥感图像进行处理生成输入至所述三维特征提取网络的第一图像数据，以及输入至一维特征提取网络的第二图像数据：三维特征提取网络用于对第一图像数据进行三维的特征提取后输出关联所述多光谱遥感图像的第一特征向量；一维特征提取网络对第二图像数据进行一维的特征提取后输出区分目标区域和非目标区域的第二特征向量：数据融合模块用于以预设的权重参数对第二特征向量和所述第一特征向量进行融合并分类，得到与所述第二特征向量和第一特征向量对应的图像类别概率；图像输出模块根据所述图像类别概率输出包括目标区域的目标区域图像。

Description

一种目标区域提取装置以及提取方法

技术领域

本发明涉及图像目标提取领域。更具体地，涉及一种目标区域提取装置以及提取方法。

背景技术

水稻是我国最主要的粮食作物，实时准确地提取水稻种植区域对水稻产量预估、精准农业实施以及灾害状况评估具有重要意义，为政府制定国家粮食安全政策提供宝贵信息。传统的水稻区域提取方法依靠人工实地测量，通过行政系统逐级上报汇总，费时费力且精度较差。

基于卫星影像的提取方法往往通过植被指数阈值法或地物分类获取大范围的水稻区域。但是受限于卫星重访周期、影像分辨率和天气条件等，卫星影像成本较高且无法满足实时准确的种植区域提取要求。并且，植被指数和阈值的选取受水稻品种、生育期等因素影响，泛化能力较差且在作物类型复杂时精度较低。并且，现有的地物分类方法往往针对光学和高光谱遥感图像进行设计，对于多光谱图像适用性较差，且准确率有待提升。

发明内容

本发明的目的在于提供一种目标区域提取装置以及提取方法，以解决现有技术存在的问题中的至少一个。

为达到上述目的，本发明采用下述技术方案：

本发明第一方面提供一种目标区域提取装置，包括：图像输入模块、与所述图像输入模块串联的已训练的三维特征提取网络、与所述图像输入模块串联且与所述三维特征提取网络并联的已训练的一维特征提取网络、数据融合模块以及图像输出模块，其中：

所述图像输入模块，用于将多个多光谱遥感图像进行处理生成输入至所述三维特征提取网络的第一图像数据，以及输入至所述一维特征提取网络的第二图像数据：

所述三维特征提取网络，用于对输入的所述第一图像数据进行三维的特征提取后输出关联所述多光谱遥感图像的第一特征向量；

所述一维特征提取网络，用于对输入的所述第二图像数据进行一维的特征提取后输出区分目标区域和非目标区域的第二特征向量：

数据融合模块，用于以预设的权重参数对所述第二特征向量和所述第一特征向量进行融合并分类，得到与所述第二特征向量和所述第一特征向量对应的图像类别概率；

图像输出模块，用于根据所述图像类别概率输出包括目标区域的目标区域图像。

进一步的，所述图像输入模块包括：

第一图像数据生成单元，用于将所述多光谱遥感图像以预设切片值进行切片生成三维切片数据，所述三维切片数据作为所述第一图像数据；

第二图像数据生成单元，用于根据所述光谱遥感图像的波段参数分别生成第一一维数据、第二一维数据以及第三一维数据，对所述第一一维数据、第二一维数据以及所述第三一维数据在光谱的维度上组合后生成所述第二图像数据；

所述波段参数包括归一化植被指数、比值植被指数以及所述光谱波段数，其中，

所述归一化植被指数根据以下公式得到：

所述比值植被指数根据以下公式得到：

其中，Band_q为所述光谱遥感图像中波段q的反射率值，Band_p为所述光谱遥感图像中波段p的反射率值；

所述第一一维数据包括任意两个波段确定的归一化植被指数；

所述第二一维数据包括任意两个波段确定的比值植被指数；

所述第三一维数据包括各个波段的光谱数据。

进一步的，所述第二图像数据生成单元进一步用于将所述第一一维数据进行归一化和卷积处理，将所述第二一维数据进行归一化和卷积处理，以及将所述第三一维数据进行归一化和卷积处理，并将归一化和卷积处理后的第一一维数据、第二一维数据以及所述第三一维数据在光谱维度上进行组合，从而得到所述第二图像数据。

进一步的，所述三维特征提取网络包括：

三维卷积模块、至少一个与所述三维卷积模块串联的三维特征提取模块以及与所述三维特征提取模块串联的第一全连接层，

其中，

所述三维卷积模块用于将输入的所述第一图像数据进行三维卷积输出三维卷积特征图，

三维特征提取模块用于以所述三维卷积特征图为输入，对所述三维卷积特征图进行特征关联、校准以及池化后输出三维池化特征图；

第一全连接层用于以所述三维池化特征图为输入，将所述三维池化特征图进行连接输出所述第一特征向量。

进一步的，三维特征提取模块包括依次串联的空间自注意力单元、三维残差单元、第一特征校准单元、以及第一池化层，

其中，所述空间自注意力单元的另一端和所述三维卷积模块串联，

所述第一池化层的另一端和所述第一全连接层串联，

空间自注意力单元用于以所述三维卷积特征图为输入，计算所述三维卷积特征图的中心像素与其他像素的关联特征，输出空间关联特征图；

三维残差单元，用于根据所述空间关联特征图进行残差计算得到三维残差特征图输出；

第一特征校准单元用于以三维残差特征图为输入，确定所述三维残差特征图中的各个相邻通道之间的相关性，输出三维校准特征图；

第一池化层用于将所述三维校准特征图进行池化压缩，从而输出三维池化特征图。

进一步的，空间自注意力单元包括：

子特征图生成单元，用于以所述三维卷积特征图为输入，分别输出第一子特征图、第二子特征图以及第三子特征图，各个子特征图满足以下公式：

F_1，2，3＝ReLU(f_bn(F*W_3×3×1+b))；

其中，F_1，2，3分别对应于第一子特征图、第二子特征图以及第三子特征图，W和b代表的权重和偏差，X为输入的三维卷积特征图，μ和σ²分别为输入的三维卷积特征图均值和方差，∈、γ和β为训练参数；

空间自注意力权重图生成单元，用于对第一子特征图和第二子特征图进行形状重构从而生成对应的第一子特征矩阵和第二子特征矩阵，并将所述第一子特征矩阵与第二子特征矩阵的转置矩阵进行乘积计算以及归一化处理，从而生成空间自注意力权重图；

原始特征尺寸图生成单元，用于将第三子特征图与空间自注意力权重图的转置矩阵相乘并进行特征重构，从而得到原始特征尺寸图；

空间关联特征图生成单元，用于将原始特征尺寸图乘以比例系数，并将乘积结果添加到输入的三维卷积特征图中，得到空间关联特征图并输出。

进一步的，第一特征校准单元包括：

第一描述符确定单元，用于以三维残差特征图为输入，通过以下计算公式确定所述三维残差特征图的每个通道对应的第一描述符y：

其中，X^l为输入的三维残差特征图，S为输入的三维残差特征图的高度或宽度，x_i,j,c为输入的三维残差特征图中像素点的位置；

第一特征重校准向量单元，用于根据所述第一描述符并通过以下计算公式确定所述三维残差特征图的多个相邻通道之间的第一相关性向量ω_c：

其中，M为整数，β^m为M个三维特征提取模块中第m个三维特征提取模块中第一特征重校准向量单元的训练参数，

为M个三维特征提取模块中第m个三维特征提取模块中第一特征重校准向量单元的第c个通道的描述符；

三维校准特征图输出单元，用于根据所述第一相关性向量并通过以下公式确定所述三维残差特征图的全部通道的相关性，从而输出所述三维校准特征图

其中，x_c为所述三维校准特征图中的第c个通道的像素点，

进一步的，一维特征提取网络包括：一维卷积模块、至少一个与所述一维卷积模块串联的一维特征提取模块以及与所述一维特征提取模块串联的第二全连接层，

一维卷积模块用于将输入的所述第二图像数据进行一维卷积输出一维卷积特征图，

一维特征提取模块用于对所述一维卷积特征图进行残差计算、特征校准以及池化后输出一维池化特征图，

第二全连接层，用于以所述一维池化特征图为输入，将所述一维池化特征图进行连接输出所述第二特征向量。

进一步的，所述一维特征提取模块包括依次串联的一维残差单元、第二特征校准单元、以及第二池化层，

其中，所述一维残差单元的另一端和所述一维卷积模块串联，

所述第二池化层的另一端和所述第二全连接层串联，

一维残差单元，用于根据所述一维卷积特征图进行残差计算得到一维残差特征图输出；

第二特征校准单元用于以所述一维残差特征图为输入，确定所述一维残差特征图中的各个相邻通道之间的相关性，输出一维校准特征图；

第二池化层用于将所述一维校准特征图进行池化压缩，从而输出一维池化特征图。

本发明第二方面提供一种利用本发明第一方面的目标提取装置提取目标区域图像的方法，所述方法包括：

将多个多光谱遥感图像进行处理生成输入至所述三维特征提取网络的第一图像数据，以及输入至所述一维特征提取网络的第二图像数据：

对输入的所述第一图像数据进行三维的特征提取后输出关联所述多光谱遥感图像的第一特征向量；

对输入的所述第二图像数据进行一维的特征提取后输出区分目标区域和非目标区域的第二特征向量：

以预设的权重参数对所述第二特征向量和所述第一特征向量进行融合并分类，得到与所述第二特征向量和所述第一特征向量一一对应的图像类别概率；

根据所述图像类别概率输出包括目标区域的目标区域图像。

本发明的有益效果如下：

本发明实施例的目标区域提取装置，利用所述三维特征提取网络提取多光谱图像深层空间光谱组合特征，以及利用一维特征提取网络挖掘光谱信息，提取用于区分目标区域与非目标区域的深层光谱特征，形成了双分支的网络架构，本发明实施例的目标提取装置具有成本低、准确率高以及提取速度快等优点。利用本发明实施例的目标提取装置提取的目标区域图像，能够准确的将目标区域和非目标区域进行区分，提取目标区域准确、完整。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明。

图1示出本发明实施例的目标区域提取装置的网络架构示意图；

图2示出本发明实施例的图像输入模块的架构示意图；

图3示出本发明一个实施例的第一图像数据的示意图；

图4示出本发明一个实施例的第二图像数据的意图；

图5示出本发明一个实施例的三维特征提取网络的框架示意图；

图6示出本发明一个实施例的二维卷积和三维卷积的示意图；

图7示出本发明一个实施例的三维特征提取模块的框架示意图；

图8示出本发明一个实施例的空间自注意力单元的框架示意图；

图9示出本发明一个实施例的空间自注意力单元的特征提取过程；

图10示出本发明一个实施例的三维残差单元的框架示意图；

图11示出本发明一个实施例的第一特征校准单元的框架示意图；

图12示出本发明一个实施例的第一特征校准单元的特征提取过程；

图13示出本发明实施例的三维特征提取网络和一维特征提取网络的框架示意图；

图14a～图14e示出以一个多光谱遥感图像为输入的采用不同方式得到的目标区域图像；

图15a～图15e示出以另一个多光谱遥感图像为输入的采用不同方式得到的目标区域图像；

图16a～图16e示出以另一个多光谱遥感图像为输入的采用不同方式得到的目标区域图像。

具体实施方式

为了更清楚地说明本发明，下面结合实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

基于前述论述，本发明的第一个实施例提出一种目标区域提取装置，如图1所示，其网络架构包括：图像输入模块、与所述图像输入模块串联的已训练的三维特征提取网络、与所述图像输入模块串联且与所述三维特征提取网络并联的已训练的一维特征提取网络、数据融合模块以及图像输出模块，其中：

数据融合模块，用于以预设的权重参数对所述第二特征向量和所述第一特征向量进行融合并分类，得到与所述第二特征向量和所述第一特征向量一一对应的图像类别概率；

图像输出模块，用于根据所述图像类别概率、所述第二特征向量和所述第一特征向量输出包括目标区域的目标区域图像。

在一个可选的实施例中，多光谱遥感图像为通过无人机遥感平台采集的，

通过无人机遥感平台采集的多光谱遥感图像具有多光谱、多空间和高时间分辨率的特点，可以实现定点多角度观测，通过频繁拍摄当前农田的多光谱影像，精准指导农作物的作业区域，有效提高目标提取区域的实时性和准确性。

在一个具体示例中，本发明实施例的目标提取装置应用于提取多光谱遥感图像中的水稻区域，现以该具体应用对本发明示例的目标提取装置的工作流程和原理进行说明。

在一个可选的实施例中，如图2所示，所述图像输入模块包括第一图像数据生成单元以及第二图像数据生成单元，

第一图像数据生成单元用于将所述多光谱遥感图像以预设切片值进行切片生成三维切片数据，所述三维切片数据作为所述第一图像数据；

第二图像数据生成单元用于根据所述光谱遥感图像的波段参数分别生成第一一维数据、第二一维数据以及第三一维数据，对所述第一一维数据、第二一维数据以及所述第三一维数据在光谱的维度上组合后生成所述第二图像数据。

也就是说，本发明实施例的第一图像数据生成单元和第二图像数据单元分别生成三维数据和一维数据，分别作为三维特征提取网络和一维特征提取网络的输入，实现三维提取空间特征、一维提取光谱特征的双分支的特征提取，从而提高特征提取的准确性。

本发明实施例中，第一图像数据生成单元通过切片处理的方式对整个多光谱遥感图像进行逐像素的标签分配和高效的特征提取，如图3所示，对整幅多光谱图像以预设切片值进行切片处理，在一个可选的实施例中，三维切片数据以预设切片值为宽度和高度，以多光谱遥感图像中的波段数量为通道数，即深度，示例性的，多光谱遥感图像具有6个波段，切片大小设置为11×11，则三维切片数据的大小为11×11×6，作为三维特征提取网络的输入。本实施例中，切片大小不宜过大，否则会引进较多的负面信息同时增加计算量。

本实施例中，第二图像数据生成单元用于提取多光谱遥感图像中的光谱信息，分别计算6个波段之间的归一化植被指数(NDVI)和比值植被指数(RVI)，与原始光谱数据组合形成一维的第二图像数据，作为一维特征提取网络的输入。

在一个可选的实施例中，所述波段参数包括归一化植被指数、比值植被指数以及所述光谱波段数，其中，

所述归一化植被指数NDVI根据以下公式得到：

所述比值植被指数RVI根据以下公式得到：

其中，Band_q为所述光谱遥感图像中波段q的反射率值，Band_p为所述光谱遥感图像中波段p的反射率值。

基于上述公式可知，两个不同的波段具有不同的归一化植被指数NDVI和比值植被指数RVI，因此，本发明实施例对全部波段中两两一组的波段分别进行归一化植被指数NDVI和比值植被指数RVI的计算，从而分别生成多个第一一维数据以及多个第二一维数据。

在一个可选的实施例中，所述第一一维数据包括任意两个波段确定的归一化植被指数；所述第二一维数据包括任意两个波段确定的比值植被指数；所述第三一维数据包括各个波段的光谱数据。进一步的，为提高各个光谱信息的特征提取准确性，本发明实施例的第一一维数据包括全部的波段中全部的两个波段组合对应的归一化植被指数，第三一维数据包括全部的波段中全部的两个波段组合对应的归一化植被指数。

示例性的，多光谱遥感图像中包括6个波段，则任意两个波段能够形成15个不同波段组合的归一化植被指数和比值植被指数，因此，第一一维数据的深度与全部波段中任意两个波段组合的组合数量相同，第三一维数据的深度与全部波段中任意两个波段组合的组合数量相同，以提取准确的光谱信息。如图4所示，第一一维数据为1×1×15的三维数据，其包括归一化植被指数，第三一维数据为1×1×15的三维数据，其包括比值植被指数，第二一维数据为1×1×6的三维数据，其包括全部波段的原始光谱数据。

在一个可选的实施例中，所述第二图像数据生成单元进一步用于将所述第一一维数据进行归一化和卷积处理，将所述第二一维数据进行归一化和卷积处理，以及将所述第三一维数据进行归一化和卷积处理，并将归一化和卷积处理后的第一一维数据、第二一维数据以及所述第三一维数据在光谱维度上进行组合，从而得到所述第二图像数据。

如图4所示，在第二图像数据生成单元根据多光谱遥感图像生成第一一维数据、第二一维数据以及第三一维数据后，分别对各个一维数据进行归一化和卷积处理以进行特征提取，然后在光谱维度上组合后形成1×1×36的第二图像数据，作为一维特征提取网络的输入。

在一个可选的实施例中，如图5所示，所述三维特征提取网络包括：

其中，

第一全连接层用于以所述三维池化特征图为输入，将所述三维池化特征图进行连接输出所述第一特征向量，其中，所述第一特征向量的维度数量根据所述多光谱遥感图像的目标类别确定。

本发明实施例的三维特征提取网络以样本点为中心的空间11×11邻域为输入，即第一图像数据为输入，三维特征提取网络在空间和光谱维度上都会滑动进行特征提取，能够更好地保留多光谱遥感图像固有的光谱信息。

本发明实施例中，所述三维卷积模块用于将输入的所述第一图像数据进行三维卷积输出三维卷积特征图。如图6左侧的(a)所示，标准二维卷积操作如下：学习的二维卷积核沿空间维度移动，并将核权重与相应区域内像素值的相乘求和，以捕获空间特征并生成一个通道的特征图。但二维卷积对多光谱图像效果较差，并且很容易导致光谱失真，因为它会在卷积开始时破坏波段之间的相关性。因此，本发明实施例采用三维卷积进行特征提取的方式充分利用多光谱遥感图像的光谱信息。

如图6右侧的(b)所示，与二维卷积不同，三维卷积核是三维的，在空间和光谱维度上都会滑动。三维卷积模块的输出是由许多立方体堆叠而成的特征图，其中每个立方体通过对输入多频带的加权值求和而产生。这样，三维卷积能够更好地保留多光谱遥感图像固有的光谱信息，从而能够在不进行任何预处理或后处理的情况下有效地提取深层空间光谱组合特征。

在一个可选的实施例中，如图7所示，三维特征提取模块包括依次串联的空间自注意力单元、三维残差单元、第一特征校准单元、以及第一池化层，

所述第一池化层的另一端和所述第一全连接层串联，

在一个可选的实施例中，如图8所示，空间自注意力单元包括：

F_1，2，3＝ReLU(f_bn(F*W_3×3×1+b))(2-1)；

其中，ReLU激活函数，f_bn(X)BN层函数关于X的函数关系，*表示3D卷积，F_1，2，3分别对应于第一子特征图、第二子特征图以及第三子特征图，W和b代表的权重和偏差，X为输入的三维卷积特征图，μ和σ²分别为输入的三维卷积特征图均值和方差，∈、γ和β为训练参数；

考虑到类边界周围的邻域空间支持通常是无效的，因为这些邻域像素有时与中心像素的类别不同，因此，在三维卷积运算期间，这些相邻像素将对特征学习产生负面影响。

因此，在三维卷积模块进行三维卷积后，为了更有效地进行地物分类需要考虑中心像素与其周围环境之间的潜在相关性，本发明实施例在与三维卷积模块串联的三维特征校准模块中引入空间自注意力单元(Position Attention Modul，PAM)。空间自注意力单元能够计算中心像素和周围像素特征之间的相似性，为不同的特征分配权重。因此，空间自注意力单元可以自适应地增强周围像素与中心像素相关的远距离特征，同时抑制不必要的特征，以改善预测中心像素时的空间特征表示，提高三维特征提取网络的准确性。

本发明实施例的三维特征提取模块以三维卷积模块生成的三维卷积特征图为输入，经三维特征提取模块的各个单元的处理后输出三维池化特征图，本实施例的三维特征提取模块以在三维残差单元的基础上，引入空间自注意力单元和第一特征校准单元提高特征信息的有效性。

现以示例性说明空间自注意力单元的特征提取过程，具体的，如图9所示：

特征图F经过三个不同的CBR单元得到子特征图F₁、F₂、F₃，表达式如下：

F_1，2，3＝ReLU(f_bn(F*W_3×3×1+b))(2-1)；

ReLU激活函数，f_bn(X)BN层函数关于X的函数关系，*表示3D卷积，F_1，2，3分别对应于第一子特征图F₁、第二子特征图F₂以及第三子特征图F₃，W和b代表的权重和偏差，X为输入的三维卷积特征图，μ和σ²分别为输入的三维卷积特征图均值和方差，∈、γ和β为训练参数。

本实施例中，CBR单元由卷积层(Conv)、归一化层(BN)以及激活函数层(Relu)构成。生成不同子特征图的CBR单元具有不同的权重参数，从而得到具有不同权重参数的子特征图F₁、F₂、F₃，子特征图F₁、F₂、F₃输入均来自同一个输入，即三维卷积模块输出的三维卷积特征图。

利用空间自注意力权重图生成单元计算第一子特征图F₁和第二子特征图F₂之间的相似性，即将第一子特征图F₁从三维转换为二维的子特征矩阵，示例性的，第一子特征图F₁的大小为S×S×B，则转换后的第一子特征矩阵为B×(S×S)，第二子特征图F₂的大小为S×S×B，转换后得到第二子特征矩阵并将其转置后得到转置的第二子特征矩阵F₂ ^T，将第一子特征矩阵F₁和转置的第二子特征矩阵F₂ ^T相乘，并将结果利用softmax函数进行归一化处理从而生成二维的空间自注意力权重图A_spa，空间自注意力权重图A_spa的大小(S×S)×(S×S)，为计算公式如下：

本实施例中，两个子特征矩阵的乘法用于计算任意两个像素值的乘积，而softmax函数对每个位置的所有特征值进行归一化，因此A_spa(c₁,c₂)是原始特征图上第c₂个通道对第c₁个通道的影响权重。

随后，原始特征尺寸图生成单元将第三子特征图F₃与空间自注意力权重图A_spa的转置矩阵相乘并进行特征重构，从而得到原始特征尺寸图F₄，将二维的注意力权重映射到三维的空间特征域。最后，空间关联特征图生成单元将原始特征尺寸图F₄乘以比例系数α添加到输入特征(三维卷积特征图)中，从而得到了具有长程上下文表示的空间关联特征图。

空间关联特征图能够使用较少的参数有效地增强全局特征表示，通过计算特征图的中心特征和周围特征之间的相似性，为不同的特征分配权重，自适应地增强其他像素与中心像素相关的特征，同时抑制不必要的特征，有效改善预测中心像素时的空间特征表示。在一个具体示例中，α初始化为0，并在整个训练过程中逐步学习。

在一个可选的实施例中，如图10所示，ResNet(残差网络)能够很好地处理消失梯度问题，因此，本发明实施例利用三维残差网络构建三维残差单元，如图10所示，三维残差单元包括多个串联的三维残差块(ResBlocks)，最后一个三维残差块输出的特征添加到三维残差单元的输入中，例如空间关联特征图，经激活函数层后输出三维残差特征图。在一个具体示例中，三维残差块由依次串联的卷积层(Conv)、归一化层(BN)、激活函数层(Relu)、卷积层(Conv)以及归一化层(BN)构成。

在一个可选的实施例中，如图11所示，第一特征校准单元包括：

其中，x_c为所述三维校准特征图中的第c个通道的像素点。

现有的卷积操作基本上默认对输入特征图的所有通道进行融合，这包括空间上(H和W)以及通道间(C)的特征融合，为了提升模型的精度、减少计算量，本发明实施例利用第一特征校准单元(Feature Recalibration Module，FRM)自动学习到不同通道特征的重要程度，从而提升分类性能。

现以示例性说第一特征校准单元的特征提取过程，具体的，如图12所示，

第一特征校准单元以上一单元输出的特征图为输入，例如三维残差单元输出的三维残差特征图

中的任意一个特征图X^l为输入，即输入的三维残差特征图

重新校准后输出三维校准特征图

具体地说，首先计算一个描述符y，该描述符y通过全局平均池化进行特征图压缩操作来表征每个通道：

其中，X^l为输入的三维残差特征图，S为输入的三维残差特征图的高度或宽度，x_i,j,c为输入的三维残差特征图中像素点的位置。

示例性的，如图12所示，原大小为S×S×B的三维残差特征图X^l，经计算后确定每个通道对应的第一描述符y，所有通道的第一描述符y的特征大小为1×1×B。

进一步的，为了找到有用的特征映射，第一特征重校准向量单元沿着通道维度将描述符y重新加权，通过考虑预设数量的局部邻域，例如图12所示的4个相邻通道，利用一维卷积沿着通道维度捕获所有通道间的依赖关系，形成了如图12所示的以预设数量的局部相邻通道为捕获尺寸、以全部通道为捕获终点的特征图。进一步的，第一特征重校准向量单元通过设置第一相关性向量ω_c对全部通道的描述符进行关联，两者之间满足方差函数，从而形成图12所示的特征大小为1×1×B的以方差函数为表征的第一相关性向量ω_c，第一相关性向量ω_c与描述符y满足以下公式：

为M个三维特征提取模块中第m个三维特征提取模块中第一特征重校准向量单元的第c个通道的描述符。

本实施例中，ω_c是一种特征重校准向量，在得到第一特征重校准向量ω_c后，进一步将第一特征重校准向量ω_c与输入的残差特征图X^l进行乘积计算，从而将输入的残差特征图X^l转换为三维校准特征图

来强调多个卷积通道的特征，计算量小，并且对多光谱遥感图像分类有显著的改进。

三维校准特征图

通过执行如下的计算来产生：

其中，x_c为所述三维校准特征图中的第c个通道的像素点，

本发明实施例在空间自注意力单元实现中心像素和其他像素的空间关联的基础上，引入的第一特征校准单元捕获空间关联特征图的通道的局部相关性，并在抑制无用特征的同时选择性地增强有用特征。与空间自注意力单元的所有像素点的关联不同，第一特征校准单元关注多个相邻通道之间的相互依赖关系，这在保持特征提取效果的同时大大减少了计算量，提高了特征提取效率。

在一个可选的实施例中，如图13所示，一维特征提取网络包括：一维卷积模块、至少一个与所述一维卷积模块串联的一维特征提取模块以及与所述一维特征提取模块串联的第二全连接层，

本发明在采用所述三维特征提取网络提取多光谱图像深层空间光谱组合特征的基础上，本发明另设置了与三维特征提取网络并联的一维特征提取网络，本发明实施例的一维特征提取网络以根据波段参数生成的图像数据为输入，即第二图像数据作为一维特征提取图像的输入。由于第一图像数据为一维向量，因此，一维特征提取网络中的各个模块均进行的是一维操作，进一步利用一维特征提取网络挖掘光谱图像中的一维光谱信息。

在一个可选的实施例中，如图13所示，所述一维特征提取模块包括依次串联的一维残差单元、第二特征校准单元、以及第二池化层，

所述第二池化层的另一端和所述第二全连接层串联，

本实施例中，一维残差单元的主体网络结构同三维残差单元的网络结构类似，包括多个串联的一维残差块，最后一个一维残差块输出的特征添加到一维残差单元的输入中，例如一维卷积特征图，经激活函数层后输出一维残差特征图。在一个具体示例中，三维残差块由依次串联的卷积层(Conv)、归一化层(BN)、激活函数层(Relu)、卷积层(Conv)以及归一化层(BN)构成。具体网络架构可参见图10所示的三维残差单元，不同的，一维残差单元的输入、操作以及输出不同。

基于同样的原理，本发明实施例的第二特征校准单元的结构、公式以及特征校准过程同样可参见上述实施例的第二特征校准单元，示例性的，以一维残差特征图为输入，第二描述符确定单元通过以下计算公式确定所述一维残差特征图的每个通道对应的第二描述符y_一维：

其中，X_一维为输入的一维残差特征图，S为输入的一维残差特征图的高度或宽度，x_i,j,c为输入的三维残差特征图中像素点的位置；

然后，第二特征重校准向量单元根据所述第二描述符y_一维并通过以下计算公式确定所述一维残差特征图的多个相邻通道之间的第二相关性向量ω_c一维

其中，M为整数，β_一维 ^m为M个一维特征提取模块中第m个一维特征提取模块中第二特征重校准向量单元的训练参数，

为M个三维特征提取模块中第m个三维特征提取模块中第二特征重校准向量单元的第c个通道的描述符；

一维校准特征图输出单元根据所述第二相关性向量并通过以下公式确定所述一维残差特征图的全部通道的相关性，从而输出所述一维校准特征图

其中，x_c为所述一维校准特征图中的第c个通道的像素点。

进一步的，本发明实施例中，将一维校准特征图输出至第二池化层以进行特征压缩，供第二全连接层快速进行节点的连接从而输出第二特征向量。

在一个可选的实施例中，所述第一特征向量和所述第二特征向量的维度数量根据所述多光谱遥感图像的目标类别确定，例如，最终的提取目标是要将样本分为10类，所以需要将输出的维度为10维，每一维是一个概率，通过比较10个概率的大小，选出最大的概率即可得到输入的多光谱图像中的各个像素分类。

进一步的，在一个可选的实施例中，第一全连接层和第二全连接层的神经元的数量等于目标类别的数量，经第一全连接层输出多个第一特征向量F-B₁，第二全连接层输出多个第二特征向量F-B₂，数据融合模块以预设的权重参数对所述第二特征向量和所述第一特征向量进行融合并分类，示例性的，如图13所示，第一特征向量的权重参数为θ，第二特征向量的权重参数为1-θ，θ是一个范围[0,1]之间的可学习参数，第一特征向量和第二特征向量添加到softmax函数中进行归一化处理后得到与所述第二特征向量和所述第一特征向量一一对应的图像类别概率，也就是说，最终的图像类别概率是经是由第一特征向量F-B₁和第二特征向量F-B₂得分的加权和得到的加权向量，每个加权向量的值为类别概率。

图像输出模块根据数据融合模块输出的类别概率生成目标区域图像，经提取后的目标区域图像中仅包括目标区域，非目标区域在本发明实施例的目标提取装置的提取后被消除。

示例性的，采用运行时间和提取精度评价本发明实施例的目标区域图像和相关技术的目标区域图像，

实验数据为6波段tif格式无人机多光谱图像，大小为1280×960。

图14a示出一个实施例的无人机拍摄的多光谱遥感图像，图14b示出以图14a的图像为输入，采用植被指数阈值法(阈值0.2)生成的目标区域图像；图14c示出以图14a的图像为输入，采用植被指数阈值法(阈值0.5)生成的目标区域图像；图14d示出以图14a的图像为输入，采用基于SVM的地物分类方法生成的目标区域图像；图14e示出以图14a的图像为输入，利用本发明实施例的目标提取装置提取的目标区域图像。

图15a示出另一个实施例的无人机拍摄的多光谱遥感图像，图15b示出以图15a的图像为输入，采用植被指数阈值法(阈值0.2)生成的目标区域图像；图15c示出以图15a的图像为输入，采用植被指数阈值法(阈值0.5)生成的目标区域图像；图15d示出以图15a的图像为输入，采用基于SVM的地物分类方法生成的目标区域图像；图15e示出以图15a的图像为输入，利用本发明实施例的目标提取装置提取的目标区域图像。

图16a示出另一个实施例的无人机拍摄的多光谱遥感图像，图16b示出以图16a的图像为输入，采用植被指数阈值法(阈值0.2)生成的目标区域图像；图16c示出以图16a的图像为输入，采用植被指数阈值法(阈值0.5)生成的目标区域图像；图16d示出以图16a的图像为输入，采用基于SVM的地物分类方法生成的目标区域图像；图16e示出以图16a的图像为输入，利用本发明实施例的目标提取装置提取的目标区域图像。

综合三组不同多光谱遥感图像数据的实验结果，可以发现植被指数阈值法提取的水稻区域不完整且存在较多虚警，无法准确的区分水稻与其他植被。在实验过程中，选择了0.2和0.5两种阈值，对比两种阈值的提取结果可以看出，植被指数阈值法的提取效果与阈值选取密切相关，阈值过高会导致提取结果不完整，阈值过低会产生较多虚警；对比不同场景的提取结果可以看出，对于地物类型及分布简单的场景提取效果较好，对于复杂场景提取效果很差，且最佳阈值的选取随场景变化而变化，泛化能力较差。这是因为无人机遥感影像具有较高的空间分辨率，水稻的空间特征特别是纹理信息不断丰富，导致现阶段仅依靠光谱信息的植被指数阈值法已经不能满足水稻区域提取的精度要求，提取结果不完整且存在大量的虚警。

而基于SVM的地物分类方法利用多光谱图像的空间特征和光谱特征，相较于传统的植被指数阈值法提取效果较好，但仍存在虚警和水稻区域提取不完整的问题。这是因为基于SVM的地物分类方法主要分为特征提取和分类器设计两部分，手工构建图像光谱特征和空间特征，利用训练好的分类器进行判别。通过手工构建特征往往仅能得到图像的底层特征，特征提取不充分，且由于地物结构不规则和混合像元的存在，这种方法对不同地物的边缘难以正确分类，会出现水稻区域提取不完整等一系列问题。

而相较于上述两种方法，本发明实施例的目标提取装置通过获取图像的深层特征确保水稻区域提取的准确和完整，从三组数据的实验结果来看，本发明实施例得到的目标区域图像不存在虚警情况且提取结果较为完整，提取的水稻区域内仅存在少量的孔洞，这是由于图像中存在地物遮挡造成的，也就是说，本发明实施例能够准确还原多光谱遥感图像中的目标区域。

因此，综上所述，传统的植被指数阈值法和基于SVM的地物分类方法水稻区域提取结果不完整且存在一定虚警。本发明渠道的目标区域图像的提取精度较高，进一步的，以图14a～图14e的图像数据为例，从定量角度比较了现有方法与本发明算法的提取结果，如表1-1所示。实验环境为Intel i5-10400 CPU、16G RAM和Nvidia GeForce RTX 2080GPU。

表1-1水稻区域提取精度对比

通过上述表格数据可知，本发明实施例的目标提取装置在优先保证提取精度的同时具有较快的运行时间，相较于现有方法在实时性和准确性上有所提升。本发明实施例的方法，利用所述三维特征提取网络提取多光谱图像深层空间光谱组合特征，以及利用一维特征提取网络挖掘光谱信息，提取用于区分目标区域与非目标区域的深层光谱特征，形成了双分支的网络架构，本发明实施例的目标提取装置具有成本低、准确率高以及提取速度快等优点。利用本发明实施例的目标提取装置提取的目标区域图像，能够准确的将目标区域和非目标区域进行区分，提取目标区域准确、完整，为后续长势监测、产量预估等等应用奠定基础。

本发明另一个实施例提出一种目标提取方法，该方法包括以下步骤：

根据所述图像类别概率输出包括目标区域的目标区域图像。

值得说明的是，本发明实施例的方法可参见前述目标提取装置的原理和流程，在此不再赘述。同样的，每一步骤的方法的具体过程也可参见前述的原理，在此不再赘述。

基于本发明实施例的方法，利用所述三维特征提取网络提取多光谱图像深层空间光谱组合特征，以及利用一维特征提取网络挖掘光谱信息，提取用于区分目标区域与非目标区域的深层光谱特征，形成了双分支的网络架构，能够准确的将目标区域和非目标区域进行区分，提取目标区域准确、完整，为后续长势监测、产量预估等等应用奠定基础。

在本发明的描述中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于本领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims

1.一种目标区域提取装置，其特征在于，包括：图像输入模块、与所述图像输入模块串联的已训练的三维特征提取网络、与所述图像输入模块串联且与所述三维特征提取网络并联的已训练的一维特征提取网络、数据融合模块以及图像输出模块，其中：

所述图像输入模块用于将多个多光谱遥感图像进行处理生成输入至所述三维特征提取网络的第一图像数据，以及输入至所述一维特征提取网络的第二图像数据：

所述三维特征提取网络用于对输入的所述第一图像数据进行三维的特征提取后输出关联所述多光谱遥感图像的第一特征向量；

所述一维特征提取网络用于对输入的所述第二图像数据进行一维的特征提取后输出区分目标区域和非目标区域的第二特征向量：

所述数据融合模块用于以预设的权重参数对所述第二特征向量和所述第一特征向量进行融合并分类，得到与所述第二特征向量和所述第一特征向量对应的图像类别概率；

所述图像输出模块，用于根据所述图像类别概率输出包括目标区域的目标区域图像。

2.根据权利要求1所述的装置，其特征在于，所述图像输入模块包括：

第二图像数据生成单元用于根据所述光谱遥感图像的波段参数分别生成第一一维数据、第二一维数据以及第三一维数据，对所述第一一维数据、第二一维数据以及所述第三一维数据在光谱的维度上组合后生成所述第二图像数据；

所述归一化植被指数根据以下公式得到：

所述比值植被指数根据以下公式得到：

所述第一一维数据包括根据任意两个波段确定的归一化植被指数；

所述第二一维数据包括根据任意两个波段确定的比值植被指数；

所述第三一维数据包括各个波段的光谱数据。

3.根据权利要求2所述的装置，其特征在于，所述第二图像数据生成单元进一步用于将所述第一一维数据进行归一化和卷积处理，将所述第二一维数据进行归一化和卷积处理，以及将所述第三一维数据进行归一化和卷积处理，并将归一化和卷积处理后的第一一维数据、第二一维数据以及所述第三一维数据在光谱维度上进行组合，从而得到所述第二图像数据。

4.根据权利要求1所述的装置，其特征在于，所述三维特征提取网络包括：

其中，

所述三维特征提取模块用于以所述三维卷积特征图为输入，对所述三维卷积特征图进行特征关联、校准以及池化后输出三维池化特征图；

所述第一全连接层用于以所述三维池化特征图为输入，将所述三维池化特征图进行连接输出所述第一特征向量。

5.根据权利要求4所述的装置，其特征在于，所述三维特征提取模块包括依次串联的空间自注意力单元、三维残差单元、第一特征校准单元、以及第一池化层，

所述第一池化层的另一端和所述第一全连接层串联，

所述空间自注意力单元用于以所述三维卷积特征图为输入，计算所述三维卷积特征图的中心像素与其他像素的关联特征，输出空间关联特征图；

所述三维残差单元，用于根据所述空间关联特征图进行残差计算得到三维残差特征图输出；

所述第一特征校准单元用于以所述三维残差特征图为输入，确定所述三维残差特征图中的各个相邻通道之间的相关性，输出三维校准特征图；

所述第一池化层用于将所述三维校准特征图进行池化压缩，从而输出三维池化特征图。

6.根据权利要求5所述的装置，其特征在于，所述空间自注意力单元包括：

F_1，2，3＝ReLU(f_bn(F*W_3×3×1+b))；