CN113033520A - 一种基于深度学习的树木线虫病害木识别方法及系统 - Google Patents

一种基于深度学习的树木线虫病害木识别方法及系统 Download PDF

Info

Publication number
CN113033520A
CN113033520A CN202110569852.2A CN202110569852A CN113033520A CN 113033520 A CN113033520 A CN 113033520A CN 202110569852 A CN202110569852 A CN 202110569852A CN 113033520 A CN113033520 A CN 113033520A
Authority
CN
China
Prior art keywords
disease
wood
probability
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110569852.2A
Other languages
English (en)
Other versions
CN113033520B (zh
Inventor
佃袁勇
韩泽民
林浩然
周靖靖
周志翔
王鹏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong Agricultural University
Original Assignee
Huazhong Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong Agricultural University filed Critical Huazhong Agricultural University
Priority to CN202110569852.2A priority Critical patent/CN113033520B/zh
Publication of CN113033520A publication Critical patent/CN113033520A/zh
Application granted granted Critical
Publication of CN113033520B publication Critical patent/CN113033520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于深度学习的树木线虫病害木识别方法及系统,其方法包括采集树木线虫病害区域的影像信息，对影像信息中的病害木位点进行标记并形成标记点；基于标记点构建以病害木位点为中心的二维高斯空间置信图；构建多尺度空间注意力卷积神经网络模型，并利用二维高斯空间置信图结合深度学习算法对多尺度空间注意力卷积神经网络模型进行训练；利用训练后的多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果。本发明可提高目标识别的准确性，通过多尺度空间注意力卷积神经网络模型融合不同感受野下的特征图，将多分辨率的深度信息整合到常规空间语义中，提升模型对于病害木与周围关系的学习和识别能力。

Description

一种基于深度学习的树木线虫病害木识别方法及系统
技术领域
本发明涉及森林病虫害防治技术领域，尤其涉及一种基于深度学习的树木线虫病害木识别方法及系统。
背景技术
目前，森林病虫害已经严重威胁到森林可持续发展的进程，每年造成经济损失高达数亿元。比如，松材线虫由于其具有扩散快，致病机理复杂等问题，已经成为林业管理中主要的防治对象。然而基于传统人工调查的方法耗时耗力，不能很好的掌握病害发生范围，往往错过了最佳防治期限。同时，遭受松材线虫病害的森林由于其林分组成和爆发程度多样，使得利用传统分类手段在识别病害木的研究并不能实现良好的泛化能力，往往一种方法只适用于特定条件下的检测场景。在森林复杂的背景之下，树冠没有固定的特征形态，且冠幅大小各异，单一的特征提取结构很难为多种目标的识别提供全面的信息，而且森林还中存在着大量连片的其他用地类型（如裸土、水域、房屋建筑、农田等）的干扰，在单木水平上的检测效果并不令人满意。针对检测效果不佳的现状，目前主要存在的原因如下：
（1）在复杂的森林背景下，通过人工设计的底层特征并不能有效反映图像丰富的信息，同时由于森林裸土和阴影的存在，极大阻碍了检测效果。如何提取有效的特征在一定程度上决定了模型的分类能力。然而，对于最终用户来说，定义这些复杂的特征通常需要大量的经验和专家知识。而且，即使经过各种特征的复杂设计过程，仍然很难找到最有效的特征用于识别不同的对象。
（2）在众多的目标检测任务中，都是采用勾画外接框的标记方法，而在实际的森林病害木调查中，都是以坐标点的标记方式。这给利用传统标记方式的训练框架带来了难度。通过内业标记病害木范围的方法不仅增加了工作量，而且容易引入人为误差，如何基于标记点来生成病害木的可训练范围将是研究的重点。
（3）森林检测环境较为复杂，面对分布各异的病害木检测任务，在保证准确检测病害木的前提下，尽量多的检测病害木也非常关键，在一般的森林病害木发病区域，既包含零散分布的检测对象，也包含集中分布的检测对象。前者的检测需要模型能够学习更加广泛的空间信息，以达到识别距离较远的对象；后者的检测需要模型学习目标之间的边界信息，如何解决间距较近的树冠被误判为一个对象的情况。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，基于深度学习的树木线虫病害木识别方法，涉及植物病虫害防治领域，解决了现有树木病虫害分类识别方法存在的图像识别率低、模型结构复杂、预测精准度低的问题，提供一种基于深度学习的树木线虫病害木识别方法及系统。
本发明解决上述技术问题的技术方案如下：一种基于深度学习的树木线虫病害木识别方法，包括如下步骤：
采集树木线虫病害区域的影像信息，对所述影像信息中的病害木位点进行标记并形成标记点；
基于所述标记点构建以病害木位点为中心的二维高斯空间置信图；
构建多尺度空间注意力卷积神经网络模型，并利用所述二维高斯空间置信图结合深度学习算法对所述多尺度空间注意力卷积神经网络模型进行训练；
利用训练后的所述多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果。
在上述技术方案的基础上，本发明还可以做如下改进：
进一步：在对所述影像信息中的病害木位点进行标记后，还包括如下步骤：
对病害木位点的标记点进行数据扩充，并基于数据扩充后的病害木位点的标记点来构建以病害木位点为中心的二维高斯空间置信图。
上述进一步方案的有益效果是：针对多尺度目标实际可获取的样本不足与不均衡问题，通过对病害木位点的标记点进行数据扩充，实现病害木位点数据量的增加，避免由于实际情况中无法获得足够多的样本数据而带来的训练不完全的问题，在一定程度上缓解过拟合问题，在没有增在飞行作业的情况下，在单位面积上，提高小目标出现的频率。
进一步：所述对病害木位点的标记点进行数据扩充具体包括如下步骤：
根据病害木的冠幅大小设定匹配的外接矩形，并输出矩形框内的图像对象，生成病害木数据集；
选择病害密度小于预设密度阈值的有林地区生成由若干随机点组成的随机点矩阵，并在随机点位置处粘贴所述病害木数据集中的图像对象；
当所有粘贴的图像对象的像素总和与原影像信息的像素总和的比例大于预设比例阈值时，数据扩充结束。
上述进一步方案的有益效果是：通过设定与病害木的冠幅大小匹配的外接矩形，可以选定包含病害木位点的区域图像对象，并在病害密度小于预设密度阈值的有林地区进行粘贴扩充，可以实现病害木数点的有效扩充，便于后续训练完全、充分，进而保证识别结果的准确性。
进一步：所述基于所述标记点构建以病害木位点为中心的二维高斯空间置信图具体包括如下步骤：
根据病害木位点构建二维高斯核函数
Figure 609402DEST_PATH_IMAGE001
，
Figure 74012DEST_PATH_IMAGE002
（1）
其中，，l ={ l 1 , l 2 , l 3 ,…,l k }，l k
Figure 588170DEST_PATH_IMAGE003
R2,为所述图像影像中病害木的位置，
Figure 780117DEST_PATH_IMAGE004
对应高斯核函数的局部作用范围；
根据所述二维高斯核函数计算每个病害木位点对应的病害概率矩阵；
将每个病害木位点对应的病害概率矩阵进行叠加，得到所述二维高斯空间置信图。
上述进一步方案的有益效果是：根据标记点构建二维高斯空间置信图，可以将病害木位点转化为概率图来表示，从而代替传统标记框的检测方式，更加直观，并且便于后续对多尺度空间注意力卷积神经网络模型进行训练。
进一步：所述构建多尺度空间注意力卷积神经网络模型的具体方法为：
采用深度残差网络ResNet作为主干网络，构建包含编码器和解码器的多尺度空间注意力卷积神经网络模型；
其中，所述编码器包括残差卷积层集以及由多个不同扩张率的扩张卷积层组成的多扩张卷积联合空间注意力模块；
所述残差卷积层集对所述影像信息进行初步特征提取出处理,得到初步空间特征;
多个不同扩张率的所述扩张卷积层分别对所述初步空间特征进行二次特征提取处理,并得到对应不同尺度的二次空间特征，经过Sigmoid函数处理由多个扩张卷积层输出的二次空间特征形成的特征集，并输出多尺度空间注意力卷积神经网络模型的空间监督权重
Figure 702812DEST_PATH_IMAGE005
；
将所述特征集与卷积核为1的卷积层进行卷积处理，得到密集空间特征;
所述解码器将所述密集空间特征与其他不同尺度层对应的密集空间特征进行融合，得到融合不同感受野的多尺度空间注意力特征层。
上述进一步方案的有益效果是：通过残差卷积层集对所述影像信息进行初步特征提取，并由不同扩张率的所述扩张卷积层对所述残差卷积层集输出的初步空间特征进行二次特征提取处理，得到对应的二次空间特征，增大特征图感受野的同时，保持特征图尺寸，避免空间位置信息的损失，突出主要信息的权重，弱化无用信息（比如背景信息），提高模型对特征图包含的空间位置信息的利用能力，有利于帮助学习到有效特征，以提高训练效果，并有利于后续提高识别精度。
进一步：所述利用所述二维高斯空间置信图结合深度学习算法对所述多尺度空间注意力卷积神经网络模型进行训练具体包括如下步骤：
随机选取训练集中设定数量的影像信息输入至所述多尺度空间注意力卷积神经网络模型并进行训练，并计算用于表征所述多尺度空间注意力卷积神经网络模型的病害木概率预测值与真实概率值之间偏差程度的损失函数值；
其中，损失函数采用MSE，具体计算公式如下：
Figure 322012DEST_PATH_IMAGE006
式中，
Figure 57887DEST_PATH_IMAGE007
代表二维高斯核置信图中每个病害木位点的真实概率值，
Figure 866574DEST_PATH_IMAGE008
代表多尺度空间注意力卷积神经网络模型对每个病害木位点的预测值；
重复上述步骤，直至训练集中所有的影像信息全部被选取并输入至所述多尺度空间注意力卷积神经网络模型进行训练；
根据所述损失函数值取最小值时确定高斯核函数的参数，完成训练。
上述进一步方案的有益效果是：通过训练计算损失函数值的大小，即可表征所述多尺度空间注意力卷积神经网络模型的病害木概率预测值与真实概率值之间偏差程度，进而根据损失函数值来确定高斯核函数的参数，完成对模型的训练。
进一步：所述利用训练后的所述多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果具体包括如下步骤：
将目标区域对应的目标影像信息输入至训练后的所述多尺度空间注意力卷积神经网络模型进行识别，得到用于表征每个像素对应位置处病害概率的预测图；
采用概率松弛算法对所述预测图进行处理，得到局部区域像素的病害概率最大值，将病害概率最大值的像素坐在位置作为局部区域预测位点，以最终生成目标区域的病害预测点位图。
上述进一步方案的有益效果是：通过所述多尺度空间注意力卷积神经网络模型识别出每个像素位置处的病害概率，然后根据概率松弛算法搜索得到局部像素的概率最大值，并将病害概率最大值的像素坐在位置作为局部区域预测位点，这样可以强化病害最大的中心点的概率，并弱化邻域像素的概率，进而使得局部区域的病害点更加集中、明确。
进一步：所述采用概率松弛算法对所述预测图进行处理，得到局部区域像素的病害概率最大值的具体方法为：
设要将有N个像素的原始集合
Figure 332190DEST_PATH_IMAGE009
分为M个类，分类结果集合
Figure 59975DEST_PATH_IMAGE010
，
Figure 860309DEST_PATH_IMAGE011
表示
Figure 190797DEST_PATH_IMAGE012
的初始概率，且
Figure 448603DEST_PATH_IMAGE013
和
Figure 425917DEST_PATH_IMAGE014
，
根据所述初始概率计算逐次迭代概率，具体计算公式为：
Figure 526597DEST_PATH_IMAGE015
Figure 853585DEST_PATH_IMAGE016
式中，
Figure 231477DEST_PATH_IMAGE017
表示迭代前局部区域像素对i和j的病害概率值，
Figure 160119DEST_PATH_IMAGE018
表示迭代后局部区域像素对i和j的病害概率值，
Figure 436510DEST_PATH_IMAGE019
表示迭代过程中像素对i和j病害概率的增量，
Figure 249746DEST_PATH_IMAGE020
表示像素对i和j以及像素对k和l之间的相容性，
Figure 544461DEST_PATH_IMAGE020
=1表示符合相容性，
Figure 424430DEST_PATH_IMAGE020
=-1表示不符合相容性;
Figure 437385DEST_PATH_IMAGE020
=2表示不确定；
根据迭代过程中的所有像素的病害概率值，并确定局部区域像素的病害概率最大值。
进一步：所述的基于深度学习的树木线虫病害木识别方法还包括如下步骤：
根据所述病害预测点位图和实际病害点位图对所述病害预测结果进行评价，具体计算公式为：
Figure 867361DEST_PATH_IMAGE021
Figure 954265DEST_PATH_IMAGE022
Figure 693551DEST_PATH_IMAGE023
式中，P为精度准确度，R 为召回准确度，F1分数是精确度和召回率之间的调和平均值，TP为真实病害被检测出来的数量，FP为非病害但被检测为病害的数，FN为真实病害但未被检测出来的数。
上述进一步方案的有益效果是：通过采用精度准确度和召回准确度可以准确评价多尺度空间注意力卷积神经网络模型预测的病害预测点位的准确性和完整性，以便确定病害预测效果，为森林病虫害防治提供有力的辅助。
本发明还提供了一种基于深度学习的树木线虫病害木识别系统，包括：
采集标记模块，用于采集树木线虫病害区域的影像信息，对所述影像信息中的病害木位点进行标记并形成标记点；
高斯空间置信图模块，用于基于所述标记点构建以病害木位点为中心的二维高斯空间置信图；
神经网络模型模块，用于构建多尺度空间注意力卷积神经网络模型，并利用所述二维高斯空间置信图结合深度学习算法对所述多尺度空间注意力卷积神经网络模型进行训练；
识别模块，用于利用训练后的所述多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果。
本发明的基于深度学习的树木线虫病害木识别方法及系统，通过对采集的线虫病害区域的影像信息进行标记，并构建二维高斯空间置信图,利用二维高斯空间置信图对多尺度空间注意力卷积神经网络模型进行训练，最后利用训练后的模型对目标区域树木线虫病害进行预测识别，可以进一步提高目标识别的准确性，通过多尺度空间注意力卷积神经网络模型融合不同感受野下的特征图，将多分辨率的深度信息整合到常规的空间语义中，提升模型对于病害木与周围关系的学习和识别能力。
附图说明
图1为本发明一实施例的基于深度学习的树木线虫病害木识别方法流程示意图；
图2为本发明一实施例的数据扩充前后影像信息示意图；
图3为本发明一实施例的高斯核函数分布示意图；
图4a为本发明一实施例的标准卷积的扩张卷积特征提取示意图；
图4b为本发明一实施例的标准卷积的扩张卷积特征提取示意图；
图5为本发明一实施例的不同σ值二维高斯函数空间分布示意图；
图6为发明一实施例的基于深度学习的树木线虫病害木识别系统的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种基于深度学习的树木线虫病害木识别方法, 包括如下步骤：
S1：采集树木线虫病害区域的影像信息，对所述影像信息中的病害木位点进行标记并形成标记点；
S3：基于所述标记点构建以病害木位点为中心的二维高斯空间置信图；
S4：构建多尺度空间注意力卷积神经网络模型，并利用所述二维高斯空间置信图结合深度学习算法对所述多尺度空间注意力卷积神经网络模型进行训练；
S5：利用训练后的所述多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果。
在本发明的一个或多个实施例中，所述步骤S1中，采集树木线虫病害区域的影像信息可以选自以下其中一种，其中影像分辨率要求在1m以下：
（1）无人机航飞多光谱影像；
（2）高分卫星遥感影像；
（3）低空航飞多光谱影像。
可选地，在本发明的一个或多个实施例中，所述步骤S1中在对所述影像信息中的病害木位点进行标记后，还包括如下步骤：
S2：对病害木位点的标记点进行数据扩充，并基于数据扩充后的病害木位点的标记点来构建以病害木位点为中心的二维高斯空间置信图。
针对多尺度目标实际可获取的样本不足与不均衡问题，通过对病害木位点的标记点进行数据扩充，实现病害木位点数据量的增加，避免由于实际情况中无法获得足够多的样本数据而带来的训练不完全的问题，在一定程度上缓解过拟合问题，在没有增在飞行作业的情况下，在单位面积上，提高小目标出现的频率。
由于深度学习模型需求非常多的样本数据，才能学习到充足的知识。但在实际检测任务中标记数据往往达不到训练要求。因此，对样本数据集的扩充就显得非常重要了。数据扩充是一种通过对原有数据进行特定方法的处理，从而在原有数据的基础上产生新的数据，从而实现样本数据量的增加。数据扩充可以在一定程度上可以缓解由于实际情况中无法获得足够多的样本数据而带来的训练不完全的问题，在一定程度上缓解过拟合问题。本发明是实施例中，为了增强模型对于多目标的监测能力，在没有增在飞行作业的情况下，对训练数据进行扩充，从而在单位面积上，提高小目标出现的频率。
在本发明的一个或多个实施例中，所述步骤2中，所述对病害木位点的标记点进行数据扩充具体包括如下步骤：
S21：根据病害木的冠幅大小设定匹配的外接矩形，并输出矩形框内的图像对象，生成病害木数据集；
这里，需要指出的是，由于树木线虫病害木的病害程度多样，需要尽量保证选择的对象多样化。
S22：选择病害密度小于预设密度阈值的有林地区生成由若干随机点组成的随机点矩阵，并在随机点位置处粘贴所述病害木数据集中的图像对象；
S23：当所有粘贴的图像对象的像素总和与原影像信息的像素总和的比例大于预设比例阈值时，数据扩充结束。
通过设定与病害木的冠幅大小匹配的外接矩形，可以选定包含病害木位点的区域图像对象，并在病害密度小于预设密度阈值的有林地区进行粘贴扩充，可以实现病害木数点的有效扩充，便于后续训练完全、充分，进而保证识别结果的准确性。
如图2所示，左边为数据扩充前的影像信息，右边为经过数据扩充后的影响信息，可以明显看出经过数据扩充后，影响信息中的标记点变多了，这样便于后续进行充分训练。
在本发明的一个或多个实施例中，所述步骤3中，所述基于所述标记点构建以病害木位点为中心的二维高斯空间置信图具体包括如下步骤：
S31：根据病害木位点构建二维高斯核函数
Figure 239808DEST_PATH_IMAGE001
，
Figure 129267DEST_PATH_IMAGE002
（1）
其中，l ={ l 1 , l 2 , l 3 ,…,l k }，l k
Figure 398574DEST_PATH_IMAGE003
R2,为所述图像影像中病害木的位置，
Figure 121810DEST_PATH_IMAGE004
对应高斯核函数的局部作用范围；
S32：根据所述二维高斯核函数计算每个病害木位点对应的病害概率矩阵；
S33：将每个病害木位点对应的病害概率矩阵进行叠加，得到所述二维高斯空间置信图；
Figure 843779DEST_PATH_IMAGE024
（2）
二维高斯核函数置信图即将每一类坐标用一个概率图来表示，对图片中的每个像素位置都给一个概率，表示该点属于对应类别关键点的概率，距离关键点位置越近的像素点的概率越接近1，距离关键点越远的像素点的概率越接近0，具体可以通过高斯函数（Gaussian function）进行模拟，已知图像中病害木的位置L = {L1,L2,L3,…,Lk}，Lk
Figure 536928DEST_PATH_IMAGE003
R2,根据公式（1）计算二维高斯核函数
Figure 706747DEST_PATH_IMAGE001
，其中
Figure 787836DEST_PATH_IMAGE004
控制高斯核函数的局部作用范围，
Figure 934783DEST_PATH_IMAGE004
越大，高斯核函数的局部影响范围就会越大，最后将每个病害木位置的病害概率矩阵进行叠加即可得到置信图。
根据标记点构建二维高斯空间置信图，可以将病害木位点转化为概率图来表示，从而代替传统标记框的检测方式，更加直观，并且便于后续对多尺度空间注意力卷积神经网络模型进行训练。如图3所示，为本发明实施例构建的二维高斯核空间置信图。
在本发明的一个或多个实施例中，所述步骤S4中，所述构建多尺度空间注意力卷积神经网络模型的具体方法为：
S41：采用深度残差网络ResNet作为主干网络，构建包含编码器和解码器的多尺度空间注意力卷积神经网络模型；
其中，所述编码器包括残差卷积层集以及由多个不同扩张率的扩张卷积层组成的多扩张卷积联合空间注意力模块。
S42：所述残差卷积层集对所述影像信息进行初步特征提取出处理,得到初步空间特征;
具体来说，残差卷积层集第一层由卷积层，批处理归一化层和ReLU激活函数层组成，然后是最大池化层和四个残差层，以逐渐降低分辨率并增加特征图通道的数量。各个层的通道数分别为64、64、128、256和512。
S43：多个不同扩张率的所述扩张卷积层分别对所述初步空间特征进行二次特征提取处理,并得到对应不同尺度的二次空间特征，经过Sigmoid函数处理由多个扩张卷积层输出的二次空间特征形成的特征集，并输出多尺度空间注意力卷积神经网络模型的空间监督权重
Figure 306990DEST_PATH_IMAGE005
；
本发明的实施例中，多扩张卷积联合空间注意力模块（Atrous_Block）由四个不同扩张率的扩张卷积层（Rate=3，6，12，18）组成，用于方便提取不同尺度空间特征，Sigmoid函数处理由多个扩张卷积层输出的二次空间特征形成的特征集，并输出预测概率，作为主干网络特征的空间监督权重W，如公式（3），来突出目标特征，弱化背景信息。
Figure 285310DEST_PATH_IMAGE025
（3）
式中，
Figure 209404DEST_PATH_IMAGE026
表示卷积核为1的卷积层，
Figure 172810DEST_PATH_IMAGE027
代表四个不同扩张率的扩张卷积层联合后的特征集。
S44：将所述特征集与卷积核为1的卷积层进行卷积处理，得到密集空间特征;
S45：所述解码器将所述密集空间特征与其他不同尺度层对应的密集空间特征进行融合，得到融合不同感受野的多尺度空间注意力特征层。
通过残差卷积层集对所述影像信息进行初步特征提取，并由不同扩张率的所述扩张卷积层对所述残差卷积层集输出的初步空间特征进行二次特征提取处理，得到对应的二次空间特征，增大特征图感受野的同时，保持特征图尺寸，避免空间位置信息的损失，突出主要信息的权重，弱化无用信息（比如背景信息），提高模型对特征图包含的空间位置信息的利用能力，有利于帮助学习到有效特征，以提高训练效果，并有利于后续提高识别精度。
如图4a和图4b所示，其中，图4a展示了标准卷积特征提取示意图，图4b为扩张率为1的扩张卷积特征提取示意图。可以明显看出，经过多尺度扩张卷积后的所述输出的融合不同感受野的多尺度空间注意力特征层视野明显增大。
本实施例的多尺度空间注意力卷积神经网络模型具有以下三个方面的特点：
（1）采用深度残差网络ResNet作为主干网络，并舍弃全局池化层和全链接层，加速模型收敛，提高分类精度；
（2）在主干网络后增加一个多扩张卷积联合空间注意力模块，用来突出主要信息的权重，帮助模型学习到有效特征；
（3）解码器融合更多的浅层特征，提高模型对特征图包含的空间位置信息的利用能力。
在本发明的一个或多个实施例中，所述步骤S4中，所述利用所述二维高斯空间置信图结合深度学习算法对所述多尺度空间注意力卷积神经网络模型进行训练具体包括如下步骤：
S46：随机选取训练集中设定数量的影像信息输入至所述多尺度空间注意力卷积神经网络模型并进行训练，并计算用于表征所述多尺度空间注意力卷积神经网络模型的病害木概率预测值与真实概率值之间偏差程度的损失函数值；
其中，损失函数采用MSE，具体计算公式如下：
Figure 332396DEST_PATH_IMAGE006
（4）
式中，
Figure 368485DEST_PATH_IMAGE007
代表二维高斯核置信图中每个病害木位点的真实概率值，
Figure 276529DEST_PATH_IMAGE008
代表多尺度空间注意力卷积神经网络模型对每个病害木位点的预测值；
S47：重复上述步骤，直至训练集中所有的影像信息全部被选取并输入至所述多尺度空间注意力卷积神经网络模型进行训练；
S48：根据所述损失函数值取最小值时确定高斯核函数的参数，完成训练。
通过训练计算损失函数值的大小，即可表征所述多尺度空间注意力卷积神经网络模型的病害木概率预测值与真实概率值之间偏差程度，进而根据损失函数值来确定高斯核函数的参数，完成对模型的训练。
本发明的实施例中，将训练模型的初始学习率设置在0.001，每次随机选取4张训练样本组成一个Batch输入至网络中训练，直到训练集所有数据完成训练，每一次训练看做一次迭代（Iteation），每次迭代输出一次损失函数值。其中损失函数（loss function）是用来估量模型的预测值与真实值的不一致程度，损失函数越小，模型的鲁棒性越好。
在训练阶段还需要选定合适的高斯核参数来达到理想的预测效果，图5中分别举例了当σ为1，2，3时置信图的图样。实际应用中可以根据实地的检测对象做具体参数的调整。
在本发明的一个或多个实施例中，所述步骤S5中，所述利用训练后的所述多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果具体包括如下步骤：
S51：将目标区域对应的目标影像信息输入至训练后的所述多尺度空间注意力卷积神经网络模型进行识别，得到用于表征每个像素对应位置处病害概率的预测图；
模型预测是指当模型的参数确定后，进行前向传播过程，利用最终模型求解待分类影像中每一个像素属于每个类别的概率。在模型预测过程中，为了防止内存溢出，通常将待分类影像裁剪为固定大小的图像块分别进行预测，然后再拼接成整张图像。然而由于卷积操作会将图像块的边界用0填充，因此这种预测方法会使得每个图像块边界像元的预测精度会低于中心像元的预测精度，拼接后得到的分类图像有明显的拼接痕迹。
本发明的实施例中，为了得到更好的预测结果，本方法采取边缘舍弃策略，采用滑动窗口的方式获取有一定重叠区域的图像块，然后对每一张预测的图像块保留中间某一区域的分类结果，舍弃边缘不准确的结果，再依次拼接，这样能够避免明显的拼接痕迹，提升影像预测效果。
S52：采用概率松弛算法对所述预测图进行处理，得到局部区域像素的病害概率最大值，将病害概率最大值的像素坐在位置作为局部区域预测位点，以最终生成目标区域的病害预测点位图。
松弛迭代算法是一种图像的分割算法，其基本思想是:图像中每一个像素的归属不仅应该由其本身来决定，而且应该受到它的邻域像素的影响。该方法以像素为操作对象，既可基于灰度进行，也可基于梯度值进行，借助迭代逐步确定像素的归类。在每次迭代中需要用到称为相容性的原则。据此，松弛迭代算法可分为离散松弛算法、模糊松弛算法、概率松弛算法等。本发明采用的是概率松弛迭代算法。
通过所述多尺度空间注意力卷积神经网络模型识别出每个像素位置处的病害概率，然后根据概率松弛算法搜索得到局部像素的概率最大值，并将病害概率最大值的像素坐在位置作为局部区域预测位点，这样可以强化病害最大的中心点的概率，并弱化邻域像素的概率，进而使得局部区域的病害点更加集中、明确。
需要特征指出的是，本发明的实施例中，为了剔除更多的噪声，本方法在采用概率松弛算法对所述预测图进行处理前，对概率小于0.5的像素赋值0。
在本发明的一个或多个实施例中，所述步骤S52中，所述采用概率松弛算法对所述预测图进行处理，得到局部区域像素的病害概率最大值的具体方法为：
S521：设要将有N个像素的原始集合
Figure 522703DEST_PATH_IMAGE009
分为M个类，分类结果集合
Figure 938510DEST_PATH_IMAGE028
，
Figure 625843DEST_PATH_IMAGE011
表示
Figure 970368DEST_PATH_IMAGE029
的初始概率，且
Figure 438258DEST_PATH_IMAGE013
和
Figure 923335DEST_PATH_IMAGE014
；
S522：根据所述初始概率计算逐次迭代概率，具体计算公式为：
Figure 996333DEST_PATH_IMAGE015
（5）
Figure 511759DEST_PATH_IMAGE016
（6）
式中，
Figure 670208DEST_PATH_IMAGE017
表示迭代前局部区域像素对i和j的病害概率值，
Figure 850654DEST_PATH_IMAGE018
表示迭代后局部区域像素对i和j的病害概率值，
Figure 824164DEST_PATH_IMAGE019
表示迭代过程中像素对i和j病害概率的增量，
Figure 431863DEST_PATH_IMAGE020
表示像素对i和j以及像素对k和l之间的相容性，
Figure 812028DEST_PATH_IMAGE020
=1表示符合相容性，
Figure 671531DEST_PATH_IMAGE020
=-1表示不符合相容性;
Figure 453542DEST_PATH_IMAGE020
=2表示不确定。
根据公式（5）和（6）可知，在每次迭代的过程中，对每个像素的灰度（或概率密度）来说是一次由其各个邻域像素对它进行加权调整过程，它从具有相同灰度性质的邻域像素得到正的调整量，而从具有不同灰度性质的邻域像素得到负的调整量。
这里，相容性指每对相邻像素之间的某种关系，例如对
Figure 497722DEST_PATH_IMAGE030
和
Figure 620311DEST_PATH_IMAGE031
，有相容性
Figure 532772DEST_PATH_IMAGE020
。需要注意的是，
Figure 841393DEST_PATH_IMAGE032
不一定对称，即
Figure 869523DEST_PATH_IMAGE033
。在实际应用中，对每一个像素点一般只考虑它与其8个邻域的像素点的关系，所以对像素
Figure 224281DEST_PATH_IMAGE034
来说，如果像素
Figure 924122DEST_PATH_IMAGE035
不在它的8个邻域像素点中，则
Figure 352829DEST_PATH_IMAGE020
= 0。
另外，逐次迭代的概率
Figure 597866DEST_PATH_IMAGE036
可根据初始概率的相容性计算。具体来说，如果
Figure 252969DEST_PATH_IMAGE037
大且
Figure 117020DEST_PATH_IMAGE020
为正，则应该增高
Figure 774135DEST_PATH_IMAGE038
使之与高概率事件
Figure 658914DEST_PATH_IMAGE031
相容。反之，如果
Figure 394789DEST_PATH_IMAGE037
大且
Figure 203476DEST_PATH_IMAGE020
为负，则应该降低
Figure 403514DEST_PATH_IMAGE038
，因为它与高概率事件
Figure 131298DEST_PATH_IMAGE031
不相容。当然，如果
Figure 993950DEST_PATH_IMAGE037
小或
Figure 527699DEST_PATH_IMAGE020
接近0，则不必过多改变
Figure 519926DEST_PATH_IMAGE038
，因为这表示
Figure 559557DEST_PATH_IMAGE031
或者可能性不大，或者
Figure 66762DEST_PATH_IMAGE030
无关。这样看来，可借助乘积
Figure 444348DEST_PATH_IMAGE039
来确定对
Figure 884557DEST_PATH_IMAGE038
的增量
Figure 954144DEST_PATH_IMAGE040
。
S523：根据迭代过程中的所有像素的病害概率值，并确定局部区域像素的病害概率最大值。
在本发明的一个或多个实施例中，所述的基于深度学习的树木线虫病害木识别方法还包括如下步骤：
S6：根据所述病害预测点位图和实际病害点位图对所述病害预测结果进行评价，具体计算公式为：
Figure 27273DEST_PATH_IMAGE021
Figure 902826DEST_PATH_IMAGE022
Figure 135224DEST_PATH_IMAGE023
式中，P为精度准确度，R 为召回准确度，F1分数是精确度和召回率之间的调和平均值，TP为真实病害被检测出来的数量，FP为非病害但被检测为病害的数，FN为真实病害但未被检测出来的数。
通过采用精度准确度和召回准确度可以准确评价多尺度空间注意力卷积神经网络模型预测的病害预测点位的准确性和完整性，以便确定病害预测效果，为森林病虫害防治提供有力的辅助。
为了验证本发明在实际树木线虫病害木识别与定位中的效果，实验选取了湖北省宜昌市境内典型松材线虫发病区域中的病害松树为研究对象，利用了高分辨率航空遥感多光谱影像（空间分辨率0.1m）对马尾松纯林和针阔混交林中不同病害程度的病发区域进行病害木识别定位，其结果定位精度如下表1。
表1精度评价结果
Figure 687297DEST_PATH_IMAGE041
表注：表中纯林（低）代表纯林虫害低爆发区域，纯林（高）代表纯林虫害高爆发区域，混交林（低）代表混交林虫害低爆发区域，混交林（高）代表混交林虫害高爆发区域。
结果表明，该方法在多个复杂场景中的检测精度都能达到0.8以上，其中在混交林中的整体检测效果略高于纯林，在高爆发区的检测效果低于低爆发区。
本发明还提供了一种基于深度学习的树木线虫病害木识别系统，包括：
采集标记模块，用于采集树木线虫病害区域的影像信息，对所述影像信息中的病害木位点进行标记并形成标记点；
高斯空间置信图模块，用于基于所述标记点构建以病害木位点为中心的二维高斯空间置信图；
神经网络模型模块，用于构建多尺度空间注意力卷积神经网络模型，并利用所述二维高斯空间置信图结合深度学习算法对所述多尺度空间注意力卷积神经网络模型进行训练；
识别模块，用于利用训练后的所述多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果。
在本发明的一个或多个实施例中，所述树木线虫病害木识别系统还包括数据扩充模块，用于对病害木位点的标记点进行数据扩充，所述基于数据扩充后的病害木位点的标记点来构建以病害木位点为中心的二维高斯空间置信图。
针对多尺度目标实际可获取的样本不足与不均衡问题，通过对病害木位点的标记点进行数据扩充，实现病害木位点数据量的增加，避免由于实际情况中无法获得足够多的样本数据而带来的训练不完全的问题，在一定程度上缓解过拟合问题，在没有增在飞行作业的情况下，在单位面积上，提高小目标出现的频率。
在本发明的一个或多个实施例中，所述数据扩充模块对病害木位点的标记点进行数据扩充的具体实现为：
根据病害木的冠幅大小设定匹配的外接矩形，并输出矩形框内的图像对象，生成病害木数据集；
选择病害密度小于预设密度阈值的有林地区生成由若干随机点组成的随机点矩阵，并在随机点位置处粘贴所述病害木数据集中的图像对象；
当所有粘贴的图像对象的像素总和与原影像信息的像素总和的比例大于预设比例阈值时，数据扩充结束。
通过设定与病害木的冠幅大小匹配的外接矩形，可以选定包含病害木位点的区域图像对象，并在病害密度小于预设密度阈值的有林地区进行粘贴扩充，可以实现病害木数点的有效扩充，便于后续训练完全、充分，进而保证识别结果的准确性。
在本发明的一个或多个实施例中，所述高斯空间置信图模块基于所述标记点构建以病害木位点为中心的二维高斯空间置信图具体包括如下步骤：
根据病害木位点构建二维高斯核函数
Figure 762569DEST_PATH_IMAGE042
，
Figure 192544DEST_PATH_IMAGE002
（1）
其中，l ={ l 1 , l 2 , l 3 ,…,l k }，l k
Figure 13870DEST_PATH_IMAGE003
R2,为所述图像影像中病害木的位置，
Figure 815473DEST_PATH_IMAGE004
对应高斯核函数的局部作用范围；
根据所述二维高斯核函数计算每个病害木位点对应的病害概率矩阵；
将每个病害木位点对应的病害概率矩阵进行叠加，得到所述二维高斯空间置信图。
根据标记点构建二维高斯空间置信图，可以将病害木位点转化为概率图来表示，从而代替传统标记框的检测方式，更加直观，并且便于后续对多尺度空间注意力卷积神经网络模型进行训练。如图3所示，为本发明实施例构建的二维高斯核空间置信图。
在本发明的一个或多个实施例中，所述神经网络模型模块构建多尺度空间注意力卷积神经网络模型的具体实现为：
采用深度残差网络ResNet作为主干网络，构建包含编码器和解码器的多尺度空间注意力卷积神经网络模型；
其中，所述编码器包括残差卷积层集以及由多个不同扩张率的扩张卷积层组成的多扩张卷积联合空间注意力模块；
所述残差卷积层集对所述影像信息进行初步特征提取出处理,得到初步空间特征;
多个不同扩张率的所述扩张卷积层分别对所述初步空间特征进行二次特征提取处理,并得到对应不同尺度的二次空间特征，经过Sigmoid函数处理由多个扩张卷积层输出的二次空间特征形成的特征集，并输出多尺度空间注意力卷积神经网络模型的空间监督权重
Figure 722249DEST_PATH_IMAGE005
；
将所述特征集与卷积核为1的卷积层进行卷积处理，得到密集空间特征;
所述解码器将所述密集空间特征与其他不同尺度层对应的密集空间特征进行融合，得到融合不同感受野的多尺度空间注意力特征层。
通过残差卷积层集对所述影像信息进行初步特征提取，并由不同扩张率的所述扩张卷积层对所述残差卷积层集输出的初步空间特征进行二次特征提取处理，得到对应的二次空间特征，增大特征图感受野的同时，保持特征图尺寸，避免空间位置信息的损失，突出主要信息的权重，弱化无用信息（比如背景信息），提高模型对特征图包含的空间位置信息的利用能力，有利于帮助学习到有效特征，以提高训练效果，并有利于后续提高识别精度。
在本发明的一个或多个实施例中，所述神经网络模型模块利用所述二维高斯空间置信图结合深度学习算法对所述多尺度空间注意力卷积神经网络模型进行训练的具体实现为：
随机选取训练集中设定数量的影像信息输入至所述多尺度空间注意力卷积神经网络模型并进行训练，并计算用于表征所述多尺度空间注意力卷积神经网络模型的病害木概率预测值与真实概率值之间偏差程度的损失函数值；
其中，损失函数采用MSE，具体计算公式如下：
Figure 188871DEST_PATH_IMAGE006
式中，
Figure 520495DEST_PATH_IMAGE007
代表二维高斯核置信图中每个病害木位点的真实概率值，
Figure 915836DEST_PATH_IMAGE043
代表多尺度空间注意力卷积神经网络模型对每个病害木位点的预测值；
如此重复，直至训练集中所有的影像信息全部被选取并输入至所述多尺度空间注意力卷积神经网络模型进行训练；
根据所述损失函数值取最小值时确定高斯核函数的参数，完成训练。
通过训练计算损失函数值的大小，即可表征所述多尺度空间注意力卷积神经网络模型的病害木概率预测值与真实概率值之间偏差程度，进而根据损失函数值来确定高斯核函数的参数，完成对模型的训练。
在本发明的一个或多个实施例中，所述识别模块利用训练后的所述多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果的具体实现为：
将目标区域对应的目标影像信息输入至训练后的所述多尺度空间注意力卷积神经网络模型进行识别，得到用于表征每个像素对应位置处病害概率的预测图；
采用概率松弛算法对所述预测图进行处理，得到局部区域像素的病害概率最大值，将病害概率最大值的像素坐在位置作为局部区域预测位点，以最终生成目标区域的病害预测点位图。
通过所述多尺度空间注意力卷积神经网络模型识别出每个像素位置处的病害概率，然后根据概率松弛算法搜索得到局部像素的概率最大值，并将病害概率最大值的像素坐在位置作为局部区域预测位点，这样可以强化病害最大的中心点的概率，并弱化邻域像素的概率，进而使得局部区域的病害点更加集中、明确。
在本发明的一个或多个实施例中，所述识别模块采用概率松弛算法对所述预测图进行处理，得到局部区域像素的病害概率最大值的具体实现为：
设要将有N个像素的原始集合
Figure 309908DEST_PATH_IMAGE044
分为M个类，分类结果集合
Figure 393270DEST_PATH_IMAGE045
，
Figure 766352DEST_PATH_IMAGE011
表示
Figure 785123DEST_PATH_IMAGE046
的初始概率，且
Figure 791126DEST_PATH_IMAGE047
和
Figure 101015DEST_PATH_IMAGE048
，
根据所述初始概率计算逐次迭代概率，具体计算公式为：
Figure 17019DEST_PATH_IMAGE015
Figure 269009DEST_PATH_IMAGE016
式中，
Figure 283013DEST_PATH_IMAGE017
表示迭代前局部区域像素对i和j的病害概率值，
Figure 317965DEST_PATH_IMAGE018
表示迭代后局部区域像素对i和j的病害概率值，
Figure 150792DEST_PATH_IMAGE019
表示迭代过程中像素对i和j病害概率的增量，
Figure 386732DEST_PATH_IMAGE049
表示像素对i和j以及像素对k和l之间的相容性，
Figure 242693DEST_PATH_IMAGE049
=1表示符合相容性，
Figure 143653DEST_PATH_IMAGE049
=-1表示不符合相容性;
Figure 408150DEST_PATH_IMAGE049
=2表示不确定；
根据迭代过程中的所有像素的病害概率值，并确定局部区域像素的病害概率最大值。
在本发明的一个或多个实施例中，所述树木线虫病害木识别系统还包括评价模块，用于根据所述病害预测点位图和实际病害点位图对所述病害预测结果进行评价，具体计算公式为：
Figure 674046DEST_PATH_IMAGE021
Figure 79619DEST_PATH_IMAGE022
Figure 862899DEST_PATH_IMAGE023
式中，P为精度准确度，R 为召回准确度，F1分数是精确度和召回率之间的调和平均值，TP为真实病害被检测出来的数量，FP为非病害但被检测为病害的数，FN为真实病害但未被检测出来的数。
通过采用精度准确度和召回准确度可以准确评价多尺度空间注意力卷积神经网络模型预测的病害预测点位的准确性和完整性，以便确定病害预测效果，为森林病虫害防治提供有力的辅助。
本发明的基于深度学习的树木线虫病害木识别方法及系统，通过对采集的线虫病害区域的影像信息进行标记，并构建二维高斯空间置信图,利用二维高斯空间置信图对多尺度空间注意力卷积神经网络模型进行训练，最后利用训练后的模型对目标区域树木线虫病害进行预测识别，可以进一步提高目标识别的准确性，通过多尺度空间注意力卷积神经网络模型融合不同感受野下的特征图，将多分辨率的深度信息整合到常规的空间语义中，提升模型对于病害木与周围关系的学习和识别能力。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的树木线虫病害木识别方法, 其特征在于，包括如下步骤：
采集树木线虫病害区域的影像信息，对所述影像信息中的病害木位点进行标记并形成标记点；
基于所述标记点构建以病害木位点为中心的二维高斯空间置信图；
构建多尺度空间注意力卷积神经网络模型，并利用所述二维高斯空间置信图结合深度学习算法对所述多尺度空间注意力卷积神经网络模型进行训练；
利用训练后的所述多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果。
2.根据权利要求1所述的基于深度学习的树木线虫病害木识别方法, 其特征在于，在对所述影像信息中的病害木位点进行标记后，还包括如下步骤：
对病害木位点的标记点进行数据扩充，并基于数据扩充后的病害木位点的标记点来构建以病害木位点为中心的二维高斯空间置信图。
3.根据权利要求2所述的基于深度学习的树木线虫病害木识别方法, 其特征在于，所述对病害木位点的标记点进行数据扩充具体包括如下步骤：
根据病害木的冠幅大小设定匹配的外接矩形，并输出矩形框内的图像对象，生成病害木数据集；
选择病害密度小于预设密度阈值的有林地区生成由若干随机点组成的随机点矩阵，并在随机点位置处粘贴所述病害木数据集中的图像对象；
当所有粘贴的图像对象的像素总和与原影像信息的像素总和的比例大于预设比例阈值时，数据扩充结束。
4.根据权利要求1所述的基于深度学习的树木线虫病害木识别方法, 其特征在于，所述基于所述标记点构建以病害木位点为中心的二维高斯空间置信图具体包括如下步骤：
根据病害木位点构建二维高斯核函数
Figure 911910DEST_PATH_IMAGE001
：
Figure 676604DEST_PATH_IMAGE002
（1）
其中，l ={ l 1 , l 2 , l 3 ,…,l k }，l k
Figure 507157DEST_PATH_IMAGE003
R2,为所述图像影像中病害木的位置，
Figure 999187DEST_PATH_IMAGE004
对应高斯核函数的局部作用范围；
根据所述二维高斯核函数计算每个病害木位点对应的病害概率矩阵；
将每个病害木位点对应的病害概率矩阵进行叠加，得到所述二维高斯空间置信图。
5.根据权利要求4所述的基于深度学习的树木线虫病害木识别方法, 其特征在于，所述构建多尺度空间注意力卷积神经网络模型的具体方法为：
采用深度残差网络ResNet作为主干网络，构建包含编码器和解码器的多尺度空间注意力卷积神经网络模型；
其中，所述编码器包括残差卷积层集以及由多个不同扩张率的扩张卷积层组成的多扩张卷积联合空间注意力模块；
所述残差卷积层集对所述影像信息进行初步特征提取出处理,得到初步空间特征;
多个不同扩张率的所述扩张卷积层分别对所述初步空间特征进行二次特征提取处理,并得到对应不同尺度的二次空间特征，经过Sigmoid函数处理由多个扩张卷积层输出的二次空间特征形成的特征集，并输出多尺度空间注意力卷积神经网络模型的空间监督权重
Figure 989008DEST_PATH_IMAGE005
；
将所述特征集与卷积核为1的卷积层进行卷积处理，得到密集空间特征;
所述解码器将所述密集空间特征与其他不同尺度层对应的密集空间特征进行融合，得到融合不同感受野的多尺度空间注意力特征层。
6.根据权利要求5所述的基于深度学习的树木线虫病害木识别方法, 其特征在于，所述利用所述二维高斯空间置信图结合深度学习算法对所述多尺度空间注意力卷积神经网络模型进行训练具体包括如下步骤：
随机选取训练集中设定数量的影像信息输入至所述多尺度空间注意力卷积神经网络模型并进行训练，并计算用于表征所述多尺度空间注意力卷积神经网络模型的病害木概率预测值与真实概率值之间偏差程度的损失函数值；
其中，损失函数采用MSE，具体计算公式如下：
Figure 675336DEST_PATH_IMAGE006
式中，
Figure 993185DEST_PATH_IMAGE007
代表二维高斯核置信图中每个病害木位点的真实概率值，
Figure 39638DEST_PATH_IMAGE008
代表多尺度空间注意力卷积神经网络模型对每个病害木位点的预测值；
重复上述步骤，直至训练集中所有的影像信息全部被选取并输入至所述多尺度空间注意力卷积神经网络模型进行训练；
根据所述损失函数值取最小值时确定高斯核函数的参数，完成训练。
7.根据权利要求5所述的基于深度学习的树木线虫病害木识别方法, 其特征在于，所述利用训练后的所述多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果具体包括如下步骤：
将目标区域对应的目标影像信息输入至训练后的所述多尺度空间注意力卷积神经网络模型进行识别，得到用于表征每个像素对应位置处病害概率的预测图；
采用概率松弛算法对所述预测图进行处理，得到局部区域像素的病害概率最大值，将病害概率最大值的像素坐在位置作为局部区域预测位点，以最终生成目标区域的病害预测点位图。
8.根据权利要求7所述的基于深度学习的树木线虫病害木识别方法, 其特征在于，所述采用概率松弛算法对所述预测图进行处理，得到局部区域像素的病害概率最大值的具体方法为：
设要将有N个像素的原始集合
Figure 150812DEST_PATH_IMAGE009
分为M个类，分类结果集合
Figure 929412DEST_PATH_IMAGE010
，
Figure 796874DEST_PATH_IMAGE011
表示
Figure 460068DEST_PATH_IMAGE012
的初始概率，且
Figure 96585DEST_PATH_IMAGE013
和
Figure 311666DEST_PATH_IMAGE014
，
根据所述初始概率计算逐次迭代概率，具体计算公式为：
Figure 446850DEST_PATH_IMAGE015
Figure 100685DEST_PATH_IMAGE016
式中，
Figure 529392DEST_PATH_IMAGE017
表示迭代前局部区域像素对i和j的病害概率值，
Figure 728424DEST_PATH_IMAGE018
表示迭代后局部区域像素对i和j的病害概率值，
Figure 632795DEST_PATH_IMAGE019
表示迭代过程中像素对i和j病害概率的增量，
Figure 74009DEST_PATH_IMAGE020
表示像素对i和j以及像素对k和l之间的相容性，
Figure 685119DEST_PATH_IMAGE020
=1表示符合相容性，
Figure 55052DEST_PATH_IMAGE020
=-1表示不符合相容性;
Figure 649981DEST_PATH_IMAGE020
=2表示不确定；
根据迭代过程中的所有像素的病害概率值，并确定局部区域像素的病害概率最大值。
9.根据权利要求7所述的基于深度学习的树木线虫病害木识别方法, 其特征在于，还包括如下步骤：
根据所述病害预测点位图和实际病害点位图对所述病害预测结果进行评价，具体计算公式为：
Figure 629307DEST_PATH_IMAGE021
Figure 157241DEST_PATH_IMAGE022
Figure 963654DEST_PATH_IMAGE023
式中，P为精度准确度，R 为召回准确度，F1分数是精确度和召回率之间的调和平均值，TP为真实病害被检测出来的数量，FP为非病害但被检测为病害的数，FN为真实病害但未被检测出来的数。
10.一种基于深度学习的树木线虫病害木识别系统，其特征在于，包括：
采集标记模块，用于采集树木线虫病害区域的影像信息，对所述影像信息中的病害木位点进行标记并形成标记点；
高斯空间置信图模块，用于基于所述标记点构建以病害木位点为中心的二维高斯空间置信图；
神经网络模型模块，用于构建多尺度空间注意力卷积神经网络模型，并利用所述二维高斯空间置信图结合深度学习算法对所述多尺度空间注意力卷积神经网络模型进行训练；
识别模块，用于利用训练后的所述多尺度空间注意力卷积神经网络模型对目标区域树木线虫病害进行预测识别，得到病害预测结果。
CN202110569852.2A 2021-05-25 2021-05-25 一种基于深度学习的树木线虫病害木识别方法及系统 Active CN113033520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110569852.2A CN113033520B (zh) 2021-05-25 2021-05-25 一种基于深度学习的树木线虫病害木识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110569852.2A CN113033520B (zh) 2021-05-25 2021-05-25 一种基于深度学习的树木线虫病害木识别方法及系统

Publications (2)

Publication Number Publication Date
CN113033520A true CN113033520A (zh) 2021-06-25
CN113033520B CN113033520B (zh) 2021-08-13

Family

ID=76455679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110569852.2A Active CN113033520B (zh) 2021-05-25 2021-05-25 一种基于深度学习的树木线虫病害木识别方法及系统

Country Status (1)

Country Link
CN (1) CN113033520B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114130034A (zh) * 2021-11-19 2022-03-04 天津大学 基于注意力机制与强化学习的多智能体游戏ai设计方法
CN114550017A (zh) * 2022-04-25 2022-05-27 北京林业大学 基于移动端的松材线虫病一体化预警及检测方法和装置
CN115205853A (zh) * 2022-09-19 2022-10-18 华中农业大学 一种基于图像的柑橘果实检测与识别方法及系统
CN115457360A (zh) * 2022-09-17 2022-12-09 海南大学 一种基于双注意力机制多源融合的水上目标检测方法
CN115861822A (zh) * 2023-02-07 2023-03-28 海豚乐智科技(成都)有限责任公司 一种目标局部点与全局结构化匹配方法及装置
CN116012376A (zh) * 2023-03-23 2023-04-25 深圳佑驾创新科技有限公司 目标检测方法、装置以及车辆
CN116310913A (zh) * 2023-05-12 2023-06-23 江苏苏海信息科技(集团)有限公司 基于小型无人机测量技术的自然资源调查监测方法及装置
CN117197148A (zh) * 2023-11-08 2023-12-08 天津海关动植物与食品检测中心 一种基于热成像的木材钻蛀类害虫检测方法、系统和介质
CN117975312A (zh) * 2024-03-28 2024-05-03 安徽大学 用于松材线虫病识别的无人机拍摄图像处理系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120328161A1 (en) * 2011-06-22 2012-12-27 Palenychka Roman Method and multi-scale attention system for spatiotemporal change determination and object detection
CN109949368A (zh) * 2019-03-14 2019-06-28 郑州大学 一种基于图像检索的人体三维姿态估计方法
CN110046598A (zh) * 2019-04-23 2019-07-23 中南大学 即插即用的多尺度空间和通道注意遥感影像目标检测方法
CN110084161A (zh) * 2019-04-17 2019-08-02 中山大学 一种人体骨骼关键点的快速检测方法及系统
CN111814647A (zh) * 2020-07-01 2020-10-23 重庆工商大学 一种二阶段的自行车小类关键点置信度图像cnn识别方法
CN112329703A (zh) * 2020-11-20 2021-02-05 北京林业大学 一种适宜识别松材线虫病遥感影像的深度卷积神经网络的构建方法
CN112927253A (zh) * 2019-12-06 2021-06-08 四川大学 基于卷积神经网络的岩心fib-sem图像分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120328161A1 (en) * 2011-06-22 2012-12-27 Palenychka Roman Method and multi-scale attention system for spatiotemporal change determination and object detection
CN109949368A (zh) * 2019-03-14 2019-06-28 郑州大学 一种基于图像检索的人体三维姿态估计方法
CN110084161A (zh) * 2019-04-17 2019-08-02 中山大学 一种人体骨骼关键点的快速检测方法及系统
CN110046598A (zh) * 2019-04-23 2019-07-23 中南大学 即插即用的多尺度空间和通道注意遥感影像目标检测方法
CN112927253A (zh) * 2019-12-06 2021-06-08 四川大学 基于卷积神经网络的岩心fib-sem图像分割方法
CN111814647A (zh) * 2020-07-01 2020-10-23 重庆工商大学 一种二阶段的自行车小类关键点置信度图像cnn识别方法
CN112329703A (zh) * 2020-11-20 2021-02-05 北京林业大学 一种适宜识别松材线虫病遥感影像的深度卷积神经网络的构建方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114130034A (zh) * 2021-11-19 2022-03-04 天津大学 基于注意力机制与强化学习的多智能体游戏ai设计方法
CN114550017A (zh) * 2022-04-25 2022-05-27 北京林业大学 基于移动端的松材线虫病一体化预警及检测方法和装置
CN114550017B (zh) * 2022-04-25 2022-07-12 北京林业大学 基于移动端的松材线虫病一体化预警及检测方法和装置
CN115457360B (zh) * 2022-09-17 2024-09-13 海南大学 一种基于双注意力机制多源融合的水上目标检测方法
CN115457360A (zh) * 2022-09-17 2022-12-09 海南大学 一种基于双注意力机制多源融合的水上目标检测方法
CN115205853A (zh) * 2022-09-19 2022-10-18 华中农业大学 一种基于图像的柑橘果实检测与识别方法及系统
CN115205853B (zh) * 2022-09-19 2022-12-27 华中农业大学 一种基于图像的柑橘果实检测与识别方法及系统
CN115861822A (zh) * 2023-02-07 2023-03-28 海豚乐智科技(成都)有限责任公司 一种目标局部点与全局结构化匹配方法及装置
CN116012376A (zh) * 2023-03-23 2023-04-25 深圳佑驾创新科技有限公司 目标检测方法、装置以及车辆
CN116310913A (zh) * 2023-05-12 2023-06-23 江苏苏海信息科技(集团)有限公司 基于小型无人机测量技术的自然资源调查监测方法及装置
CN116310913B (zh) * 2023-05-12 2023-07-25 江苏苏海信息科技(集团)有限公司 基于小型无人机测量技术的自然资源调查监测方法及装置
CN117197148A (zh) * 2023-11-08 2023-12-08 天津海关动植物与食品检测中心 一种基于热成像的木材钻蛀类害虫检测方法、系统和介质
CN117197148B (zh) * 2023-11-08 2024-02-02 天津海关动植物与食品检测中心 一种基于热成像的木材钻蛀类害虫检测方法、系统和介质
CN117975312A (zh) * 2024-03-28 2024-05-03 安徽大学 用于松材线虫病识别的无人机拍摄图像处理系统
CN117975312B (zh) * 2024-03-28 2024-06-07 安徽大学 用于松材线虫病识别的无人机拍摄图像处理系统

Also Published As

Publication number Publication date
CN113033520B (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN113033520B (zh) 一种基于深度学习的树木线虫病害木识别方法及系统
CN109919108B (zh) 基于深度哈希辅助网络的遥感图像快速目标检测方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN110163110B (zh) 一种基于迁移学习和深度特征融合的行人重识别方法
CN109145939B (zh) 一种小目标敏感的双通道卷积神经网络语义分割方法
CN105701502B (zh) 一种基于蒙特卡罗数据均衡的图像自动标注方法
CN114092832B (zh) 一种基于并联混合卷积网络的高分辨率遥感影像分类方法
CN110569901A (zh) 一种基于通道选择的对抗消除弱监督目标检测方法
CN109029363A (zh) 一种基于深度学习的目标测距方法
CN106909902A (zh) 一种基于改进的层次化显著模型的遥感目标检测方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
Liu et al. Survey of road extraction methods in remote sensing images based on deep learning
CN108776777A (zh) 一种基于Faster RCNN的遥感影像对象间空间关系的识别方法
CN118230175B (zh) 基于人工智能的不动产测绘数据处理方法及系统
CN104408731B (zh) 基于区域图和统计相似性编码的sar图像分割方法
CN106096658A (zh) 基于无监督深度空间特征编码的航拍图像分类方法
CN115311502A (zh) 基于多尺度双流架构的遥感图像小样本场景分类方法
CN113034592A (zh) 基于自然语言描述的三维场景目标检测建模及检测方法
CN114913434B (zh) 一种基于全局关系推理的高分辨率遥感影像变化检测方法
CN112329771A (zh) 一种基于深度学习的建筑材料样本识别方法
CN115761502A (zh) 基于混合卷积的sar图像变化检测方法
CN115527050A (zh) 图像特征匹配方法、计算机设备和可读存储介质
CN111611960A (zh) 一种基于多层感知神经网络大区域地表覆盖分类方法
CN114913485A (zh) 一种多层级特征融合的弱监督检测方法
CN118279320A (zh) 基于自动提示学习的目标实例分割模型建立方法及其应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant