CN116863342B - 一种基于大尺度遥感影像的松材线虫病死木提取方法 - Google Patents

Abstract

本发明提供了一种基于大尺度遥感影像的松材线虫病死木提取方法，涉及遥感图像处理技术领域，该方法包括：包括以下的步骤：步骤S1、将大尺度遥感影像网格化，得到多个网格图片；步骤S2、将网格图片输入至预检测网络中，进行特征提取，输出特征图，该特征图为包含目标置信度的网格图片；步骤S3、计算特征图包含目标的置信度分数，若置信度分数超过设定阈值，则该特征图包含目标，参与后续检测，若置信度分数没有超过设定阈值，则该特征图不包含目标，不参与后续检测，实现了对基于大尺度遥感影像的松材线虫病死木的快速准确提取。

Description

一种基于大尺度遥感影像的松材线虫病死木提取方法

技术领域

本发明涉及遥感图像处理技术领域，具体的，本发明涉及一种基于大尺度遥感影像的松材线虫病死木提取方法。

背景技术

松材线虫病又名松树萎蔫病，是一种由松材线虫引起的松树毁灭性病害，一般都是大范围。因此需要护林员履行疫情监测责任，建立人工地面网格化疫情监测网络，采用引入无人机、卫星遥感等新技术，对辖区内的松树开展每月一次的日常监测和秋季专项调查，及时发现松树异常情况。采用遥感技术对松林进行检测得范围一般较大，但由于计算资源GPU的限制，这些大尺度的图像不能直接进行检测，现有的主流遥感图像检测方案是将大尺度图像进行裁剪为不同的块（通常为1024×1024像素），对所有块进行检测，最后对检测结果合并。但松材线虫病死木在大尺度遥感影像中的目标稀疏分布且倾向于高度聚集在某些区域，其他很多区域并不包含松材线虫病死木，一整片树林的所有图像参与检测，不仅耗费更多的计算资源和时间，同时可能也会出现误检的情况。

因此，本发明提供了一种基于大尺度遥感影像的松材线虫病死木提取方法，能够准确快速的对松材线虫病死木进行检测，大大提升检测速度。

发明内容

为了克服现有技术的不足，本发明提供了一种基于大尺度遥感影像的松材线虫病死木提取方法，以解决上述的技术问题。

本发明解决其技术问题所采用的技术方法是：一种基于大尺度遥感影像的松材线虫病死木提取方法，其改进之处在于：包括以下的步骤：

步骤S1、将大尺度遥感影像网格化，得到多个网格图片；

步骤S2、将网格图片输入至预检测网络中，进行特征提取，输出特征图，该特征图为包含目标置信度的网格图片；

步骤S3、计算特征图包含目标的置信度分数，若置信度分数超过设定阈值，则该特征图包含目标，参与后续检测，若置信度分数没有超过设定阈值，则该特征图不包含目标，不参与后续检测；其中，计算特征图包含目标的置信度分数，训练过程中的loss函数定义如下：

；

其中，L是预检测网络训练过程的loss函数，S为网格的数量，为focal loss，计算正负样本的损失，/>是正负样本的判断，正样本为1，负样本为0，/>是每个网格的分数，/>是网格的位置索引，/>；

所述的步骤S2之后、步骤S3之前，还包括以下的步骤S100：

在预检测网络中加入融合卷积模块，将预检测网络输出的特征图输入到融合卷积模块中进行融合卷积，生成具有丰富感受野的特征图，并跳转至步骤S3，计算该具有丰富感受野的特征图的包含目标的置信度分数；其中，具体包括以下步骤：

步骤S1001、在预检测网络中加入融合卷积模块，将预检测网络输出的特征图X输入到融合卷积模块中；

步骤S1002、对输入到融合卷积模块的特征图进行卷积核大小为第一设定值的卷积，得到卷积后的第一特征图；

步骤S1003、对输入到融合卷积模块的特征图进行卷积核大小为第二设定值的卷积，得到卷积后的第二特征图；

步骤S1004、将卷积后的第一特征图和卷积后的第二特征图相加，得到融合了两种卷积核卷积效果的融合后特征图；

步骤S1005、将该融合后特征图经进行全局平均池化GAP，并经过全连接层FC，得到携带不同规模信息的特征向量；

步骤S1006、对特征向量经过两次softmax函数得到两个带有软注意力的特征向量a和特征向量b，计算公式如下：

其中，/>是A的第c行，/>表示a的第c个元素，/>表示B的第c行，表示b的第c个元素，c和d表示空间维度；

步骤S1007、将输入到融合卷积模块的特征图X与得到的特征向量a和特征向量b相乘后再进行相加，得到了具有丰富感受野的特征图V，计算公式如下：

其中，/>是经过卷积后得到的不同分支的特征图，HxW是特征图的维度。

进一步的，所述的步骤S1，包括以下的步骤：

所述的大尺度遥感影像为1024×1024像素的图像；

划分为16×16的网格图片，每个网格图片大小为64×64像素。

进一步的，所述的步骤S2中，进行特征提取，包括以下的步骤：

找到每张网格图片中需要识别目标的中心点位置，判断中心点位置落在哪个网格区域，则该区域为正样本，即该网格图片包含目标，输出为特征图。

本发明的有益效果是：将大尺度的遥感图像进行网格化分块，通过预检测判断每个网格图片中是否包含待检测目标，提高了提取目标网格图片的准确度、减小了计算量，减少了计算资源的浪费，加快了检测的速度；并且，还可以融合多种大卷积核卷积结构，获得更丰富的感受野，充分得到遥感影像中的上下文信息，更好地捕捉复杂图像空间的多尺度特征，使预检测更加精准，进而使提取目标网格图片也更加精准，进一步减小了计算量，减少了计算资源的浪费，加快了检测的速度。

附图说明

图1为本发明的一种基于大尺度遥感影像的松材线虫病死木提取方法中融合卷积的原理示意图。

图2为本发明的一种基于大尺度遥感影像的松材线虫病死木提取方法中预检测网络的原理示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，专利中涉及到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。

松材线虫病死木在大尺度遥感影像中的目标稀疏分布且倾向于高度聚集在某些区域，如果直接将大尺度遥感影像进行裁剪分块，会得到很多不包含待检测目标的图像块，而这些不包含目标的图像块通过检测器浪费了大量的计算资源，增加了成本的同时也降低了检测的速度，甚至可能会出现检测器对这些并没有病死的树木的图像块进行错误检测的情况，降低检测精度。

作为实施例之一，本发明提供了一种基于大尺度遥感影像的松材线虫病死木提取方法，包括以下的步骤S1、步骤S2、步骤S100和步骤S3：

步骤S1、将大尺度遥感影像网格化，得到多个网格图片；

例如，所述的大尺度遥感影像为1024×1024像素的图像；

划分为16×16的网格图片，每个网格图片大小为64×64像素。

步骤S2、将网格图片输入至预检测网络中，进行特征提取，输出特征图X，该特征图X为包含目标置信度的网格图片；

具体的，进行特征提取，包括以下的步骤：

找到每张网格图片中需要识别目标的中心点位置，判断中心点位置落在哪个网格区域，则该区域为正样本，即该网格图片包含目标，输出为特征图X；

步骤S100、在预检测网络中加入融合卷积模块，将预检测网络输出的特征图X输入到融合卷积模块中进行融合卷积，生成具有丰富感受野的特征图V，并跳转至步骤S3，计算该具有丰富感受野的特征图的包含目标的置信度分数，如此，可以充分得到遥感影像中的上下文信息，更好地捕捉复杂图像空间的多尺度特征，使预检测更加精准，减小了计算量，减少了计算资源的浪费，加快了检测的速度；

步骤S3、计算该具有丰富感受野的特征图V包含目标的置信度分数，若置信度分数超过设定阈值，则该特征图包含目标，参与后续检测，若置信度分数没有超过设定阈值，则该特征图不包含目标，不参与后续检测；

具体的，计算特征图包含目标的置信度分数，训练过程中的loss函数定义如下：

；

其中，L是预检测网络训练过程的loss函数，S为网格的数量，对于1024×1024像素的图像，S为16，为focal loss，计算正负样本的损失，/>是正负样本的判断，正样本为1，负样本为0，/>是每个网格的分数，/>是网格的位置索引，/>。

如此，便实现了对基于大尺度遥感影像的松材线虫病死木的快速准确提取。获取了置信度分数超过设定阈值的特征图，舍弃不包含目标的网格图片，只获取包含目标的网格图片，之后，将特征图进行检测，以实现对松材线虫病死木的检测，是本技术领域内的常规技术手段，因此本发明省略了对后续检测的详细表述。

大尺度遥感影像中的目标稀疏分布且倾向于高度聚集在某些区域，因此会出现很多区域并不包含目标的情况，现有的识别计算方法在计算时，这些不包含目标的区域仍然会带入网络中进行计算，浪费了大量的计算资源增加了成本的同时也降低了检测的速度，因此本发明将图像网格化，将大尺度的图像进行分割保留关键信息，以输入为1024×1024像素的图像为例，将其划分为16×16的网格，每个网格大小为64×64像素；并在后续的预检测网络中得到每个网格图片包含目标的置信度分数，从而判断网格图片是否包含目标，只有包含目标的网格图片才参与后续检测任务，其余不包含目标的网格图片则不进行后续检测，这种方式提高了提取目标网格图片的准确度、减小了计算量，减少了计算资源的浪费，加快了检测的速度。同时本发明的预检测的方法是通用的，适用于不同的目标检测器，能够方便集成到其他目标检测器中。

进一步的，参照图1所示，所述的步骤S100，包括以下的步骤：

步骤S1001、在预检测网络中加入融合卷积模块，将预检测网络输出的特征图X输入到融合卷积模块中；

步骤S1002、对输入到融合卷积模块的特征图X进行卷积核大小为第一设定值的卷积，例如，卷积核大小为5，得到卷积后的第一特征图；

步骤S1003、对输入到融合卷积模块的特征图X进行卷积核大小为第二设定值的卷积，例如，卷积核大小为7，得到卷积后的第二特征图；

步骤S1004、将卷积后的第一特征图和卷积后的第二特征图相加，得到融合了两种卷积核卷积效果的融合后特征图，该融合后特征图经过两个大卷积核卷积的结合含有丰富的感受野；

步骤S1005、将该融合后特征图经进行全局平均池化GAP，并经过全连接层FC，得到携带不同规模信息的特征向量；

步骤S1006、对特征向量经过两次softmax函数得到两个带有软注意力的特征向量a和特征向量b，计算公式如下：

其中，/>是A的第c行，/>表示a的第c个元素，/>表示B的第c行，表示b的第c个元素，c和d表示空间维度；

步骤S1007、将输入到融合卷积模块的原特征图X与得到的特征向量a和特征向量b相乘后再进行相加，得到了具有丰富感受野的特征图V，计算公式如下：

其中，/>是经过卷积后得到的不同分支的特征图，HxW是特征图的维度。如此，融合多种大卷积核卷积结构，通过对卷积核的动态选择机制，允许每个神经元根据输入信息的多尺度自适应地调整其感受野（卷积核）的大小，可以更好地捕捉复杂图像空间的多尺度特征，获得更丰富的感受野，充分得到遥感影像中的上下文信息，更好地捕捉复杂图像空间的多尺度特征，使预检测更加精准，进而使提取目标网格图片也更加精准，进一步减小了计算量，减少了计算资源的浪费，加快了检测的速度。

参照图2所示，在目标检测算法的骨干网络提取特征阶段，以Resnet50网络为例，将其最后输出的特征图C5作为输入加入到预检测网络中，首先经过融合卷积模块得到带有丰富感受野信息的特征图，然后经过具3×3步长为2的卷积层，以获得大小为16×16×256的低维特征映射。然后我们将其馈送到具有512个滤波器的1×1卷积层，然后是另一个具有1个滤波器的1×1卷积层，以生成大小为16×16×1的对象激活图M。每个位置处的M的值表示其对应网格的分数。

在推理阶段，特征图经过预检测网络得到每个网格的分数，对于每个网格只有得分超过阈值T的网格才被认为包含目标，将此网格的特征图送入FPN层参与后续的检测。其他网格则认为并不包含目标不参与后续计算，这种方式大大减少了计算量，加快了检测速度。

作为实施例之二，与实施例之一的区别在于，不包括步骤S100、在预检测网络中加入融合卷积模块，将预检测网络输出的特征图输入到融合卷积模块中进行融合卷积，生成具有丰富感受野的特征图，并跳转至步骤S3，计算该具有丰富感受野的特征图的包含目标的置信度分数，即本发明的一种基于大尺度遥感影像的松材线虫病死木提取方法，包括以下的步骤S1、步骤S2和步骤S3：

步骤S1、将大尺度遥感影像网格化，得到多个网格图片；

例如，所述的大尺度遥感影像为1024×1024像素的图像；

划分为16×16的网格图片，每个网格图片大小为64×64像素；

步骤S2、将网格图片输入至预检测网络中，进行特征提取，输出特征图，该特征图为包含目标置信度的网格图片；

具体的，进行特征提取，包括以下的步骤：

找到每个网格图片中需要识别目标的中心点位置，中心点位置落在哪个区域则此区域为正样本，即该网格图片包含目标，输出为特征图；

步骤S3、计算该特征图包含目标的置信度分数，若置信度分数超过阈值，则该特征图包含目标，参与后续检测，若置信度分数没有超过阈值，则该特征图不包含目标，不参与后续检测；

具体的，计算特征图包含目标的置信度分数，训练过程中的loss函数定义如下：

；

其中，L是预检测网络训练过程的loss函数，S为网格的数量，为focal loss，计算正负样本的损失，/>是正负样本的判断，正样本为1，负样本为0，/>是每个网格的分数，/>是网格的位置索引，/>。如此，便实现了对基于大尺度遥感影像的快速松材线虫病死木的准确提取。

本发明的基于大尺度遥感影像的快速松材线虫病死木提取方法，将大尺度的遥感图像进行网格化分块，通过预检测判断每个网格图片中是否包含待检测目标，提高了提取目标网格图片的准确度、减小了计算量，减少了计算资源的浪费，加快了检测的速度；并且，还可以融合多种大卷积核卷积结构，获得更丰富的感受野，充分得到遥感影像中的上下文信息，更好地捕捉复杂图像空间的多尺度特征，使预检测更加精准，进而使提取目标网格图片也更加精准，进一步减小了计算量，减少了计算资源的浪费，加快了检测的速度。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (3)

1.一种基于大尺度遥感影像的松材线虫病死木提取方法，其特征在于：包括以下的步骤：

步骤S1、将大尺度遥感影像网格化，得到多个网格图片；

步骤S2、将网格图片输入至预检测网络中，进行特征提取，输出特征图，该特征图为包含目标置信度的网格图片；

步骤S3、计算特征图包含目标的置信度分数，若置信度分数超过设定阈值，则该特征图包含目标，参与后续检测，若置信度分数没有超过设定阈值，则该特征图不包含目标，不参与后续检测；其中，计算特征图包含目标的置信度分数，训练过程中的loss函数定义如下：

；

其中，L是预检测网络训练过程的loss函数，S为网格的数量，为focal loss，计算正负样本的损失，/>是正负样本的判断，正样本为1，负样本为0，/>是每个网格的分数，/>是网格的位置索引，/>；

所述的步骤S2之后、步骤S3之前，还包括以下的步骤S100：

在预检测网络中加入融合卷积模块，将预检测网络输出的特征图输入到融合卷积模块中进行融合卷积，生成具有丰富感受野的特征图，并跳转至步骤S3，计算该具有丰富感受野的特征图的包含目标的置信度分数；其中，具体包括以下步骤：

步骤S1001、在预检测网络中加入融合卷积模块，将预检测网络输出的特征图X输入到融合卷积模块中；

步骤S1002、对输入到融合卷积模块的特征图进行卷积核大小为第一设定值的卷积，得到卷积后的第一特征图；

步骤S1003、对输入到融合卷积模块的特征图进行卷积核大小为第二设定值的卷积，得到卷积后的第二特征图；

步骤S1004、将卷积后的第一特征图和卷积后的第二特征图相加，得到融合了两种卷积核卷积效果的融合后特征图；

步骤S1005、将该融合后特征图经进行全局平均池化GAP，并经过全连接层FC，得到携带不同规模信息的特征向量；

步骤S1006、对特征向量经过两次softmax函数得到两个带有软注意力的特征向量a和特征向量b，计算公式如下：

其中，/>是A的第c行，/>表示a的第c个元素，/>表示B的第c行，/>表示b的第c个元素，c和d表示空间维度；

步骤S1007、将输入到融合卷积模块的特征图X与得到的特征向量a和特征向量b相乘后再进行相加，得到了具有丰富感受野的特征图V，计算公式如下：

其中 ，/>是经过卷积后得到的不同分支的特征图，HxW是特征图的维度。

2.如权利要求1所述的一种基于大尺度遥感影像的松材线虫病死木提取方法，其特征在于：所述的步骤S1，包括以下的步骤：

所述的大尺度遥感影像为1024×1024像素的图像；

划分为16×16的网格图片，每个网格图片大小为64×64像素。

3.如权利要求1所述的一种基于大尺度遥感影像的松材线虫病死木提取方法，其特征在于：所述的步骤S2中，进行特征提取，包括以下的步骤：

找到每张网格图片中需要识别目标的中心点位置，判断中心点位置落在哪个网格区域，则该区域为正样本，即该网格图片包含目标，输出为特征图。