CN117115668B - 一种作物冠层表型信息提取方法、电子设备及存储介质 - Google Patents

一种作物冠层表型信息提取方法、电子设备及存储介质 Download PDF

Info

Publication number
CN117115668B
CN117115668B CN202311374559.6A CN202311374559A CN117115668B CN 117115668 B CN117115668 B CN 117115668B CN 202311374559 A CN202311374559 A CN 202311374559A CN 117115668 B CN117115668 B CN 117115668B
Authority
CN
China
Prior art keywords
crop
module
attention
information
canopy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311374559.6A
Other languages
English (en)
Other versions
CN117115668A (zh
Inventor
饶元
万天与
王坦
金�秀
侯文慧
高祥
王玉伟
柳迎春
朱军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Agricultural University AHAU
Original Assignee
Anhui Agricultural University AHAU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Agricultural University AHAU filed Critical Anhui Agricultural University AHAU
Priority to CN202311374559.6A priority Critical patent/CN117115668B/zh
Publication of CN117115668A publication Critical patent/CN117115668A/zh
Application granted granted Critical
Publication of CN117115668B publication Critical patent/CN117115668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Abstract

本发明公开了一种作物冠层表型信息提取方法、电子设备及存储介质，属于图像处理技术领域。本发明采用编码器‑解码器架构设计语义分割模型，融合基于多维权重聚合的动态卷积神经网络与基于级联自注意力的作物特征提取网络，增强对环境因素和作物生长分布差异的鲁棒性。在编、解码器连接处引入作物上下文信息提取模块，并联有效的空洞卷积组合捕获作物冠层像素点与其邻域像素点特征以辅助分类决策，提升模型对作物冠层像素与背景像素的辨别能力。构建作物多尺度特征聚合模块优化解码器结构，提升模型对由于作物特性或基因型导致的小尺度作物个体识别效果，以兼顾更多作物品种的表型提取。本发明能够提升作物冠层表型信息的提取效率与精度。

Description

一种作物冠层表型信息提取方法、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，更具体地说，涉及一种作物冠层表型信息提取方法、电子设备及存储介质。
背景技术
作物冠层表型信息如作物覆盖度、叶面积指数和冠层宽度等是育种工作的重要参考。其中，冠层覆盖度反映作物与杂草竞争土壤养分和光照的能力；叶面积指数是作物区域物质循环和能量流动过程等研究的重要指标；冠层宽度是反映作物群体特征、作物冠层结构长势的重要株型参数。因此，提供一种面向高分辨率遥感影像中作物冠层表型信息提取方法，高通量、准确地获取作物冠层表型信息对育种工作中作物长势分析、产量估测等任务具有十分重要的现实意义。
基于RGB图像的低空无人机遥感技术具有高时效性、高通量、低成本等优势，可作为作物冠层数据采集的关键技术手段。传统图像处理算法缺乏对颜色、纹理特征的鲁棒性，且过于依赖人工设计特征。深度学习的出现克服了传统的图像处理算法的不足，目前已经被大量使用在计算机视觉、自然语言处理、语音识别等多个领域。
在计算机视觉领域中，图像的语义分割是一个像素级任务，其目的是聚集属于同一目标的像素，从而在像素级别理解图像。随着深度学习技术的不断发展，语义分割技术在农业、遥感领域广泛应用。然而由于作物生长环境的复杂性和田间作物品种、实际种植情况的多样性，基于语义分割的作物冠层表型信息提取工作还存在如下问题：①自然环境下，存在光照多变、背景复杂等因素，同时由于大田不同种植规范导致的作物生长分布差异性，语义分割模型对作物特征的提取方式与提取能力难以满足实际需求；②对田间作物图像的语义分割过程中，一个像素点所属类别的划分不仅由该像素点决定，还受其邻域像素点特征反映的作物种植方式、作物种植密度等信息所影响。若仅基于单个像素点特征对其进行类别划分，易导致像素点分类错误、语义分割效果不佳、作物冠层表型信息提取精度低；③不同品种作物的大小特性和同种作物的不同基因型均会导致作物个体在尺度上存在差异，随着语义分割模型中特征提取网络层数的加深，频繁的下采样操作导致小尺度作物或长势稀疏的作物品种难以得到有效分割。
发明内容
1.发明要解决的技术问题
针对作物生长环境的复杂性和田间作物品种、实际种植情况的多样性导致作物冠层表型信息提取效果不佳的问题，本发明提供了一种作物冠层表型信息提取方法、电子设备及存储介质，本发明采用编码器-解码器架构设计面向作物冠层表型信息提取的语义分割模型，融合基于多维权重聚合的动态卷积神经网络与基于级联自注意力的作物特征提取网络，增强特征提取网络对环境因素和作物生长分布差异的鲁棒性。在模型编、解码器连接处引入作物上下文信息提取模块，并联有效的空洞卷积组合捕获作物冠层像素点与其邻域像素点特征以辅助分类决策，进而提升模型对作物冠层像素与背景像素的辨别能力。构建作物多尺度特征聚合模块优化解码器结构，充分利用各解码模块生成的多尺度特征并根据重要性权重进行聚合，提升模型对由于作物特性或基因型导致的小尺度作物个体的识别效果。本发明适用于多种作物的叶面积指数、冠层宽度、冠层长度、冠层覆盖度和长势情况等表型信息的有效提取，能够提升作物冠层表型信息的提取效率与精度，具有输出结果鲁棒、收敛快速且稳定的特点。
2.技术方案
为达到上述目的，本发明提供的技术方案为：
本发明第一方面提供一种作物冠层表型信息提取方法，所述方法包括如下步骤：
S110：获取田间作物高分辨率遥感图像，将所述田间作物高分辨率遥感图像归一化处理，将归一化处理后的图像随机切片为512×512大小得到作物切片图像，标注作物切片图像建立作物冠层数据集并划分为训练集、验证集和测试集；
S120：构建基于多维权重聚合的动态卷积神经网络，所述基于多维权重聚合的动态卷积神经网络由基于多维注意力的动态卷积模块残差连接堆叠而成，所述基于多维注意力的动态卷积模块包括多维注意力提取模块和多维注意力聚合模块；
S130：构建基于级联自注意力的作物特征提取网络，所述基于级联自注意力的作物特征提取网络包括固定间隔自注意力模块、局部分区自注意力模块和随机窗口自注意力模块；
S140：构建作物上下文信息提取模块，所述提取模块由并行连接的不同空洞率空洞卷积模块、作物上下文信息交互融合子模块构成；
S150：构建作物多尺度特征聚合模块，所述作物多尺度特征聚合模块首先拼接不同尺度特征，再以双分支聚合特征并分别添加可学习参数以平衡重要性权重，最后残差连接各分支结果得到输出特征图；
S160：配置面向作物冠层表型信息提取的语义分割模型。所述面向作物冠层表型信息提取的语义分割模型包括编码器结构、解码器结构和跳跃连接结构；
S170：输入作物图像数据训练步骤S160所述面向作物冠层表型信息提取的语义分割模型，训练结果可用于后续作物表型信息提取；
S180：计算作物冠层表型信息，计算的表型信息包括但不限于叶面积指数、冠层宽度、冠层长度、冠层覆盖度和长势情况。
作为一个示例，所述步骤S120中基于多维权重聚合的动态卷积神经网络构建方法包括：
构建基于多维注意力的动态卷积模块，所述基于多维注意力的动态卷积模块包括多维注意力提取模块和多维注意力聚合模块；所述多维注意力提取模块可根据输入样本，计算不同维度上的注意力权重；所述多维注意力聚合模块，将计算出的注意力权重与卷积核参数进行聚合；
残差连接结构将所述基于多维注意力的动态卷积模块构建为作物特征提取模块；
分别构建第一作物特征提取模块、第二作物特征提取模块和第三作物特征提取模块，输入的作物切片图像通过一系列依次连接的作物特征提取模块提取不同感受野下的语义特征；
三个串联的作物特征提取模块构成基于多维权重聚合的动态卷积神经网络。
作为一个示例，所述步骤S130中基于级联自注意力的作物特征提取网络构建方法包括：
构建固定间隔自注意力模块以感知作物整体分布特征，所述固定间隔自注意力模块将输入特征图按超参数指定的切片数量进行划分，进而对每个切片中的像素点按从上至下、从左至右进行编号，最后对相同编号的像素点按组分别进行多头自注意力运算。
构建局部分区自注意力模块以充分提取每个地块中作物冠层特征，所述局部分区自注意力模块将输入特征图划分为固定大小切片，进而对每个固定大小切片内所有像素点进行多头自注意力运算。
构建随机窗口自注意力模块以增强模型对作物种植标准差异的鲁棒性，所述随机窗口自注意力模块将输入特征图按超参数指定的窗口数量进行划分，随机抽取每个窗口内的1个像素点按组分别进行多头自注意力运算。
将固定间隔自注意力模块、局部分区自注意力模块和随机窗口自注意力模块以级联的形式构建基于级联自注意力的作物特征提取基础模块，并将基于级联自注意力的作物特征提取基础模块重复堆叠构建基于级联自注意力的作物特征提取网络。
作为一个示例，所述步骤S140中作物上下文信息提取模块构建与输入处理过程包括：
配置满足作物冠层表型信息提取需求感受野大小的空洞率组合；
根据所述空洞率组合构建空洞卷积模块；
并联所述空洞卷积模块得到输出结果，最后传入作物上下文信息交互融合子模块合并输出结果得到作物上下文交互融合信息/>。
作为一个示例，所述作物上下文信息交互融合子模块由作物多头独立自注意力计算通道与双层交互计算通道串联而成。首先将作物上下文多尺度信息按通道数进行展开得到作物多头独立上下文信息。进而，通过矩阵映射，将作物多头独立上下文信息映射至高维空间，得到作物高维上下文信息。随后，对作物高维上下文信息每个通道进行自注意力运算得到作物上下文融合信息/>。对作物上下文融合信息分别开展双层交互计算分别得到作物上下文空间交互信息/>、作物上下文通道交互信息/>。最后，将作物上下文融合信息与上下文空间交互信息、上下文通道交互信息分别作逐元素相乘并将二者输出逐元素相加得到作物上下文交互融合信息/>。
作为一个示例，所述步骤S150中作物多尺度特征聚合模块构建方法包括：
多尺度特征聚合模块旨在聚合模型不同层次的特征图，解码器各阶段特征图按不同深度可分为浅层特征、中间层特征和深层特征，所述多尺度特征聚合模块构建方法包括：
将三种来自解码器不同层次特征图上采样至输入图像分辨率大小；
将三种来自解码器不同层次特征图的通道数调整至与浅层特征图通道数一致，并按从浅层至深层顺序进行拼接；
将拼接得到的特征图在双分支中分别使用1×1卷积调整通道数、按特征尺度在通道上求和，得到聚合分支输出特征图/>和累加分支输出特征图/>。
在双分支上分别添加可学习参数、/>用于调整/>和/>的重要性权重，并将结果进行残差连接以获取输出特征图，该过程可表示为。
作为一个示例，所述步骤S160中面向作物冠层表型信息提取的语义分割模型包括编码器结构、解码器结构和跳跃连接结构：
编码器结构包括步骤S120所述的基于多维权重聚合的动态卷积神经网络和步骤S130所述的基于级联自注意力的作物特征提取网络，跳跃连接结构中包括步骤S140所述的作物上下文信息提取模块，解码器结构包括S150所述的作物多尺度特征聚合模块。
作为一个示例，所述步骤S170使用任一品种作物数据集训练S160所述面向作物冠层表型信息提取的语义分割模型，获得对应作物冠层语义分割模型权重，可用于后续作物表型信息提取。
作为一个示例，所述步骤S180获取待分割的作物图像，将所述作物图像输入步骤S160构建的面向作物冠层表型信息提取的语义分割模型；获取对应的分割结果，所述分割结果表示为作物像素与背景像素。可基于分割结果，统计作物像素与总像素的比值获取冠层覆盖度，结合球面叶片倾斜分布函数计算叶面积指数，依据单位像素对应的实际长度计算得到冠层宽度等表型信息。
本发明第二方面提供一种电子设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如上述的方法。
本发明第三方面提供一种可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如上述的方法。
3.有益效果
采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：
（1）本发明提出一种基于多维权重聚合的动态卷积神经网络，其根据不同的输入样本计算三个维度上的注意力并聚合，得到不同的卷积核参数，相比于传统卷积神经网络具有更强的作物特征提取能力与表达能力，具有在背景、光照等扰动情况下捕获作物纹理、颜色和长势等特征的优势；层级结构将输入图片生成低维与高维语义等信息，有利于后续对多尺度的特征利用；相对于简单的重复堆叠动态卷积操作，残差连接能使模型更易于优化，缓解梯度消失和梯度爆炸等问题。
（2）本发明构建基于级联自注意力的作物特征提取网络，其侧重于以线性计算复杂度提取作物不同分布情况下的语义信息；首先采用固定间隔自注意力模块感知作物整体分布特征，再通过局部分区自注意力模块保证每个地块中作物冠层特征被充分提取，最后引入随机窗口自注意力模块增强对作物种植规范差异的鲁棒性。
（3）本发明通过设计不同空洞率组合从而构建作物上下文信息提取模块，并联有效的空洞卷积组合捕获作物冠层像素点与其周围像素点的相关信息辅助分类决策，进而提升模型对作物冠层像素与背景像素的辨别能力，克服了空洞率组合不合理产生棋盘格效应导致的作物上下文信息提取不充分与传统语义分割模型中由于缺少上下文信息提取模块导致作物冠层分割效果不佳的问题。
（4）本发明为保证模型对小尺度作物个体识别的准确性，设计了作物多尺度特征聚合模块并嵌入解码器结构末端，该模块先拼接解码器结构各层提供的多尺度特征，随后按重要性权重进行聚合，避免了由于作物特性或基因型导致的作物个体尺度小而冠层结构无法得到有效识别的问题。
附图说明
图1为本发明作物冠层表型信息提取方法流程图；
图2为本发明中基于多维权重聚合的动态卷积神经网络结构框图；
图3为本发明中基于级联自注意力的作物特征提取网络结构框图；
图4为本发明中不同空洞率组合下输出像素点对感受野内输入像素点的利用情况说明图；其中图4中的（a）为空洞率组合=[1,2,3]时的情况说明图；图4中的（b）为空洞率组合/>=[1,2,4]时的情况说明图；图4中的（c）为空洞率组合/>=[1,2,5]时的情况说明图；图4中的（d）为空洞率组合/>=[1,2,9]时的情况说明图；
图5为本发明中作物上下文信息提取模块结构框图；
图6为本发明中作物上下文信息交互融合子模块结构框图；
图7为本发明中作物多尺度特征聚合模块结构框图；
图8为本发明中面向作物冠层表型信息提取的语义分割模型结构框图。
具体实施方式
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。
实施例1
为了解决背景技术所述作物冠层表型信息提取工作存在的问题，构建一个对环境因素和作物生长分布差异鲁棒的特征提取网络至关重要；其次，一个像素点与周围像素点的关联定义为上下文信息，设计上下文信息提取模块以辅助分类决策，有助于作物冠层表型信息的精确提取；最后，语义分割模型提取的低维特征包含更多小尺度作物像素但语义信息不够丰富，高维特征具有丰富的语义信息但包含较少小尺度作物像素，同时各尺度特征对于小尺度作物分割具有不同程度的重要性。因此，按重要性权重聚合多尺度特征是提升作物冠层表型信息提取精度的关键。
有鉴于此，参看图1，本实施例的一种作物冠层表型信息提取方法，包括如下步骤：
S110：获取田间作物高分辨率遥感图像，将所述田间作物高分辨率遥感图像归一化处理，将归一化处理后的图像随机切片为512×512大小，得到作物切片图像，根据作物切片图像建立作物冠层数据集并划分为训练集、验证集和测试集；
所述的田间作物高分辨率遥感图像由无人机在田间采集并由DJI Terra合成得到。田间作物包括但不限于大豆、小麦和玉米，本实施例中作物以大豆为例。将输入的田间大豆作物高分辨率遥感图像大小归一化处理后，随机裁剪为高度为512，宽度为512，通道数为3的作物切片图像，即作物切片图像的尺寸为(512，512，3)；进而以6：2：2比例划分训练集、验证集和测试集，以建立大豆冠层数据集。
S120：构建基于多维权重聚合的动态卷积神经网络，所述基于多维权重聚合的动态卷积神经网络由基于多维注意力的动态卷积模块残差连接堆叠而成。如图2所示，具体而言：
首先设计基于多维注意力的动态卷积模块，该基于多维注意力的动态卷积模块包括多维注意力提取模块和多维注意力聚合模块。所述多维注意力提取模块可根据输入样本，计算不同维度上的注意力权重；所述多维注意力聚合模块，将计算出的注意力权重与卷积核参数进行聚合。
多维注意力提取模块在卷积层中根据卷积核数量、卷积核通道数和卷积核尺寸三个不同维度，进行注意力计算。多维注意力提取模块结构依次是：输入层→全局平均池化层→FC层→ReLu→3×[FC→Sigmoid]。
多维注意力聚合模块的权重聚合函数公式为：
上述式中，表示卷积核数量维度上的注意力，/>表示卷积核通道上的注意力，/>表示卷积核尺寸维度上的注意力，/>表示沿不同维度的张量乘法操作。
残差连接结构将所述基于多维注意力的动态卷积模块构建为作物特征提取模块，具体分别构建为第一作物特征提取模块、第二作物特征提取模块和第三作物特征提取模块，串联各作物特征提取模块构建基于多维权重聚合的动态卷积神经网络，输入的作物切片图像通过一系列依次连接的作物特征提取模块提取不同感受野下的语义特征。
S130：构建基于级联自注意力的作物特征提取网络，结合图3，构建步骤包括：
S131：设计固定间隔自注意力模块以感知作物整体分布特征。给定超参数，以此将输入特征图形状/>划分为/>个尺寸为/>切片，特征图尺寸表示为/>。随后将特征图尺寸调整为/>并对各个切片中像素点按从上至下、从左至右进行编号，对相同编号的像素点按组进行多头自注意力计算。本实施例中，超参数/>设置为4，特征图大小为（8,8,64）。固定间隔自注意力模块将特征图尺寸调整为(8,8,64)→（16,4,64），对4个4×4的切片中每个像素点依次按/>命名，其中/>表示第/>个切片，最后对/>各组分别做多头自注意力计算。
S132：设计局部分区自注意力模块以充分提取每个地块中作物冠层特征。给定超参数，以此将输入特征图形状/>划分为/>个尺寸为/>的固定大小切片，特征图尺寸表示为/>，随后将特征图尺寸调整为,从地块局部意义角度，/>可视为包含作物目标的固定大小切片的下标，/>可视为该固定大小切片内作物目标的像素点位置。最后在各个固定大小切片内分别进行多头自注意力计算。本实施例中，超参数PS设置为2，特征图大小为（8,8,64）。局部自注意力模块将特征图尺寸调整为(8,8,64)→（16,4,64），对16个2×2的固定大小切片分别做多头自注意力计算。
S133：设计随机窗口自注意力模块以增强对作物种植规范差异导致的小尺度作物的鲁棒性。给定超参数以此将输入特征图/>划分为/>个尺寸为的窗口，特征图尺寸表示为/>，随后将特征图尺寸调整为并对各个窗口中像素点按从上至下、从左至右进行编号，各窗口内随机取出1个像素点按组进行多头自注意力计算。本实施例中，超参数/>设置为4，特征图大小为（8,8,64）。随机窗口自注意力模块将特征图尺寸调整为(8,8,64)→（4,16,64），对4个4×4的窗口中每个像素点依次按/>命名，其中/>表示第/>个窗口。随后在每个窗口中随机取一个像素，以/>为例，对组内像素点做多头自注意力计算，该过程重复/>次。
S134：构建基于级联自注意力的作物特征提取网络，即将固定间隔自注意力模块、局部分区自注意力模块和随机窗口自注意力模块以级联的形式构建基于级联自注意力的作物特征提取基础模块，并将基于级联自注意力的作物特征提取基础模块重复堆叠12次构建基于级联自注意力的作物特征提取网络。
S140：构建作物上下文信息提取模块
首先配置满足作物冠层表型信息提取需求感受野大小的空洞率组合。本实施例中空洞率组合的公约数不大于1且空洞率组合遵循公式：
其中，需要使空洞率组合中/>，/>为卷积核大小。
如图4所示，作为一个示例，当空洞率组合分别选择为[1,2,3]，[1,2,4],[1,2,5]时，图4中的(a)，图4中的(b)，图4中的(c)分别反映三种组合最后一个空洞卷积的输出特征图中每个像素点对输入特征图像素点的利用情况。如图4中的(d)所示，图4中的(a)，图4中的(b)，图4中的(c)这种空洞率组合的配置方法克服了空洞卷积中普遍存在的网格现象。
如图5所示，根据所述空洞率组合构建空洞卷积模块，并联所述空洞卷积模块，将作物特征提取模块输出特征图输入并联的空洞卷积模块，拼接得到作物上下文多尺度信息/>；随后作物上下文信息交互融合子模块得到作物上下文交互融合信息/>。
S141：构建作物上下文信息交互融合子模块
如图6所示，对于步骤S140所述输入的作物上下文多尺度信息，设计作物多头独立自注意力计算通道进行处理。具体的，首先将作物上下文多尺度信息/>按通道数进行展开得到作物多头独立上下文信息/>。进而，通过矩阵映射/>、/>、/>，将作物多头独立上下文信息/>映射至高维空间/>、/>、/>，得到作物高维上下文信息/>。随后，对作物高维上下文信息/>每个通道进行自注意力运算得到作物上下文融合信息/>。对作物上下文融合信息/>分别开展双层交互计算分别得到作物上下文空间交互信息/>、作物上下文通道交互信息/>。其中双层交互计算通道包括空间交互计算与通道交互计算，空间交互计算由级联的1×1卷积与ReLU激活函数组成，通道交互计算由全局平均池化、级联的1×1卷积与ReLU激活函数组成。最后，将作物上下文融合信息/>与上下文空间交互信息/>、上下文通道交互信息/>分别作逐元素相乘并将二者输出逐元素相加得到作物上下文交互融合信息/>。该过程可表示为：
其中，、/>、/>均表示映射矩阵，/>表示矩阵转置，/>表示作物多头独立上下文信息，/>表示多头自注意力运算，/>表示作物上下文融合信息，/>表示双层交互计算中的空间交互计算，/>表示双层交互计算中的通道交互计算，/>表示矩阵逐元素乘法，/>表示矩阵逐元素加法，/>表示本模块输出的作物上下文交互融合信息。
S150：构建作物多尺度特征聚合模块，该模块旨在聚合模型不同层次的特征图，特征图按不同深度可分为浅层特征、中间层特征和深层特征。
如图7所示，所述多尺度特征聚合模块构建步骤包括：
将三种来自解码器不同层次特征图上采样至输入图像分辨率大小；
将三种来自解码器不同层次特征图使用1×1卷积调整至相同通道数得到，其中/>表示由浅至深的第/>层特征图，并按从浅层至深层顺序进行拼接得到/>；
将拼接得到的特征图在双分支中分别使用1×1卷积调整通道数、按特征尺度在通道上求和，得到聚合分支输出特征图/>和累加分支输出特征图/>。在双分支上分别添加可学习参数/>、/>用于调整/>和/>的重要性权重，并将结果进行残差连接以获取输出特征图，该过程可表示为。
S160：配置面向作物冠层表型信息提取的语义分割模型。所述面向作物冠层表型信息提取的语义分割模型包括编码器结构、解码器结构和跳跃连接结构；
如图8所示，将步骤S120所述基于多维权重聚合的动态卷积神经网络和步骤S130所述基于级联自注意力的作物特征提取网络引入到所述编码器结构中。对于一个给定尺寸为，通道数为/>的输入图像/>，所述编码器结构首先使用所述基于多维权重聚合的动态卷积神经网络进行特征提取。步骤S120中所述第一特征提取模块、第二特征提取模块和第三特征提取模块输出特征图分辨率大小分别为/>，将第三特征提取模块的输出特征图/>划分为/>个切片，该过程可表述为：
其中每个切片的大小为，/>表示切片的数量。将/>个切片通过线性映射序列化后添加位置编码以保留空间信息，该过程可表述为：
其中表示切片的线性映射，/>表示嵌入的位置编码，输出的/>被送入步骤S130所述基于级联自注意力的作物特征提取网络以生成新的特征表述。
所述解码器结构包括从上至下的第一解码模块、第二解码模块、第三解码模块、第四解码模块，各解码模块由堆叠的卷积操作和一个上采样操作构成，通过依次连接的解码模块将编码器分支提取到的特征图恢复到原始分辨率，在第一解码模块后引入步骤S150所述的作物多尺度特征聚合模块；
所述跳跃连接结构指将编码器结构中所述基于多维权重聚合的动态卷积神经网络第一特征提取模块、第二特征提取模块和第三特征提取模块输出特征图分别传递给第一解码模块、第二解码模块和第三解码模块，将浅层低维信息以拼接的方式融入解码器分辨率复原过程中，有助于后续的作物切片图像分割，并在每个跳跃连接结构中引入步骤S140所述作物上下文信息提取模块捕获作物像素点与其周围像素点的相关信息辅助分类决策，进而提升作物冠层信息提取精度；
最后，所述面向作物冠层表型信息提取的语义分割模型可实现像素级别的密集预测与作物冠层信息端到端的提取。
S170：将大豆冠层数据集输入步骤S160所述面向作物冠层表型信息提取的语义分割模型进行训练，获得大豆冠层语义分割模型权重。
具体的，将步骤S160所述面向作物冠层表型信息提取的语义分割模型中解码器的最后一个卷积核输出通道数调整为预定数量，本实施例中预定数量为2，分别代表背景与大豆。将上述步骤构建的大豆冠层数据集（共4800张）输入到面向作物冠层表型信息提取的语义分割模型中。整个训练过程采用Adam优化函数进行梯度优化，训练分为两个阶段，第一阶段冻结模型编码器所有参数，以1×10-4的学习率训练100个epoch，第二个阶段解冻所有参数，以1×10-5的学习率训练100个epoch。
S180：利用S170所述大豆冠层表型信息提取模型权重实现作物精确分割，获得大豆冠层表型信息；
具体的，首先将步骤S170所述大豆冠层表型信息提取模型权重加载至S160所述面向作物冠层表型信息提取的语义分割模型中，随后获取待分割大豆图像，将所述待分割大豆图像输入步骤S160构建的面向作物冠层表型信息提取的语义分割模型；获取对应的分割结果，所述分割结果包括大豆像素与背景像素，其中，分割结果的大豆像素点被设置为RGB=(128,128,0)，背景像素点被设置为(0,0,0)。基于分割结果可根据公式，其中，/>为作物冠层图像拍摄角度，/>为叶片角度分布，结合球面叶片倾斜分布函数与数据的垂直拍摄角度，代入化简后使用/>计算得到叶面积指数。依据分割结果中大豆群体冠层区域/>在南北方向上最大像素宽度/>，在东西方向上最大像素长度/>，结合单位像素对应的实际长度/>计算得到冠层宽度/>，冠层长度/>。统计作物像素数量/>与总像素数量/>，进而计算二者比值/>，以获取冠层覆盖度。对计算得到的关键表型信息进行相关性分析、主成分分析，设计符合表型监测领域的作物长势评价体系。
本实施例中，随机抽取未参与训练的切片图像测试面向作物冠层表型信息提取的语义分割模型，并对模型进行评估。以大豆冠层数据集为例，步骤S160构建的面向作物冠层表型信息提取的语义分割模型在测试集上的平均交并比达到95.3％，平均像素精度达到了98.2%。实验证明，本实施例实现了作物冠层表型信息的有效提取，能够提升作物冠层表型的提取效率与精度，且具有输出结果鲁棒、收敛快速且稳定等特点。
实施例2
本实施例的一种电子设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行实施例1所述的方法。
实施例3
本实施例的一种可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行实施例1所述的方法。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的实施方式及实施例，均应属于本发明的保护范围。

Claims (8)

1.一种作物冠层表型信息提取方法，其特征在于，包括如下步骤：
S110：获取田间作物高分辨率遥感图像，将所述田间作物高分辨率遥感图像归一化处理，将归一化处理后的图像随机切片，得到作物切片图像，标注作物切片图像建立作物冠层数据集；
S120：构建基于多维权重聚合的动态卷积神经网络，所述神经网络由基于多维注意力的动态卷积模块残差连接堆叠而成，所述基于多维注意力的动态卷积模块包括多维注意力提取模块和多维注意力聚合模块；
S130：构建基于级联自注意力的作物特征提取网络，所述提取网络包括固定间隔自注意力模块、局部分区自注意力模块和随机窗口自注意力模块；
S140：构建作物上下文信息提取模块，所述提取模块由并行连接的不同空洞率空洞卷积模块、作物上下文信息交互融合子模块构成；
S150：构建作物多尺度特征聚合模块，该模块旨在聚合模型不同层次的特征图，特征图按不同深度可分为浅层特征、中间层特征和深层特征；
所述作物多尺度特征聚合模块构建步骤包括：
将三种来自解码模块不同层次特征图上采样至输入图像分辨率大小；
将三种来自解码模块不同层次特征图使用1×1卷积调整至相同通道数得到，其中/>表示由浅至深的第/>层特征图，并按从浅层至深层顺序进行拼接得到/>；
将拼接得到的特征图X cat在双分支中分别使用1×1卷积调整通道数、按特征尺度在通道上求和，得到聚合分支输出特征图X Adj和累加分支输出特征图X Sum；
在双分支上分别添加可学习参数、/>用于调整/>和/>的重要性权重，并将结果进行残差连接以获取输出特征图，该过程可表示为；
S160：配置面向作物冠层表型信息提取的语义分割模型，所述语义分割模型包括编码器结构、解码器结构和跳跃连接结构；所述编码器结构包括步骤S120所述的基于多维权重聚合的动态卷积神经网络和步骤S130所述的基于级联自注意力的作物特征提取网络，跳跃连接结构包括步骤S140所述的作物上下文信息提取模块；解码器结构包括从上至下的第一解码模块、第二解码模块、第三解码模块、第四解码模块，各解码模块由堆叠的卷积操作和一个上采样操作构成，通过依次连接的解码模块将编码器分支提取到的特征图恢复到原始分辨率，在第一解码模块后引入步骤S150所述的作物多尺度特征聚合模块；
S170：输入作物图像数据训练步骤S160所述语义分割模型，训练结果用于后续作物表型信息提取；
S180：计算作物冠层表型信息，计算的表型信息包括但不限于叶面积指数、冠层宽度、冠层长度、冠层覆盖度和长势情况。
2.根据权利要求1所述的一种作物冠层表型信息提取方法，其特征在于，步骤S120中，所述多维注意力提取模块根据输入样本，计算不同维度上的注意力权重；所述多维注意力聚合模块，将计算出的注意力权重与卷积核参数进行聚合；
残差连接结构将所述基于多维注意力的动态卷积模块构建为作物特征提取模块；并分别构建第一作物特征提取模块、第二作物特征提取模块和第三作物特征提取模块，三个串联的作物特征提取模块构成基于多维权重聚合的动态卷积神经网络；
输入的作物切片图像通过一系列依次连接的作物特征提取模块提取不同感受野下的语义特征。
3.根据权利要求2所述一种作物冠层表型信息提取方法，其特征在于，步骤S130中，
所述固定间隔自注意力模块用于感知作物整体分布特征，该模块将输入特征图按超参数指定的切片数量进行划分，进而对每个切片中的像素点按从上至下、从左至右进行编号，最后对相同编号的像素点按组分别进行多头自注意力运算；
所述局部分区自注意力模块用于充分提取每个地块中作物冠层特征，该模块将输入特征图划分为固定大小切片，进而对每个固定大小切片内所有像素点进行多头自注意力运算；
所述随机窗口自注意力模块用于增强模型对作物种植标准差异的鲁棒性，该模块将输入特征图按超参数指定的窗口数量进行划分，随机抽取每个窗口内的单个像素点按组分别进行多头自注意力运算；
固定间隔自注意力模块、局部分区自注意力模块和随机窗口自注意力模块以级联的形式构建基于级联自注意力的作物特征提取基础模块，并将基于级联自注意力的作物特征提取基础模块重复堆叠构建基于级联自注意力的作物特征提取网络。
4.根据权利要求3所述一种作物冠层表型信息提取方法，其特征在于，步骤S140中，所述作物上下文信息提取模块构建与输入处理过程包括：
配置满足作物冠层表型信息提取需求感受野大小的空洞率组合；
根据所述空洞率组合构建空洞卷积模块；
并联所述空洞卷积模块得到输出结果，随后传入作物上下文信息交互融合子模块合并输出结果得到作物上下文交互融合信息X out。
5.根据权利要求4所述的一种作物冠层表型信息提取方法，其特征在于：作物上下文信息交互融合子模块构建与输入处理过程包括：
首先将作物上下文多尺度信息按通道数进行展开得到作物多头独立上下文信息；进而，通过矩阵映射，将作物多头独立上下文信息/>映射至高维空间，得到作物高维上下文信息/>；随后，对作物高维上下文信息每个通道进行自注意力运算得到作物上下文融合信息/>；对作物上下文融合信息分别开展双层交互计算分别得到作物上下文空间交互信息/>、作物上下文通道交互信息/>；最后，将作物上下文融合信息与上下文空间交互信息、上下文通道交互信息分别作逐元素相乘并将二者输出逐元素相加得到作物上下文交互融合信息/>，该过程可表示为：
其中，、/>、/>均表示映射矩阵，/>表示矩阵转置，/>表示作物多头独立上下文信息，/>表示多头自注意力运算，/>表示作物上下文融合信息，/>表示双层交互计算中的空间交互计算，/>表示双层交互计算中的通道交互计算，/>表示矩阵逐元素乘法，/>表示矩阵逐元素加法，/>表示本模块输出的作物上下文交互融合信息。
6.根据权利要求5所述一种作物冠层表型信息提取方法，其特征在于，步骤S180中，获取待分割的作物图像，将所述作物图像输入步骤S160构建的面向作物冠层表型信息提取的语义分割模型；获取对应的分割结果，所述分割结果表示为作物像素与背景像素；基于分割结果，结合球面叶片倾斜分布函数计算叶面积指数，依据单位像素对应的实际长度计算冠层宽度、冠层长度，统计作物像素与总像素的比值获取冠层覆盖度，结合关键表型信息设计作物长势评价体系。
7.一种电子设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器依次连接，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-6任一项所述的方法。
8.一种可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-6任一项所述的方法。
CN202311374559.6A 2023-10-23 2023-10-23 一种作物冠层表型信息提取方法、电子设备及存储介质 Active CN117115668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311374559.6A CN117115668B (zh) 2023-10-23 2023-10-23 一种作物冠层表型信息提取方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311374559.6A CN117115668B (zh) 2023-10-23 2023-10-23 一种作物冠层表型信息提取方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN117115668A CN117115668A (zh) 2023-11-24
CN117115668B true CN117115668B (zh) 2024-01-26

Family

ID=88809525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311374559.6A Active CN117115668B (zh) 2023-10-23 2023-10-23 一种作物冠层表型信息提取方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117115668B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019133973A1 (en) * 2017-12-29 2019-07-04 Ohio State Innovation Foundation Crop health sensing system
CN112446890A (zh) * 2020-10-14 2021-03-05 浙江工业大学 基于空洞卷积和多尺度融合的黑色素瘤分割方法
CN113850825A (zh) * 2021-09-27 2021-12-28 太原理工大学 基于上下文信息和多尺度特征融合的遥感图像道路分割方法
CN114048810A (zh) * 2021-11-10 2022-02-15 东华大学 一种基于多层次特征提取网络的高光谱图像分类方法
CN114549552A (zh) * 2022-02-15 2022-05-27 上海翰宇生物科技有限公司 基于空间邻域分析的肺部ct图像分割装置
CN116152498A (zh) * 2023-02-28 2023-05-23 哈尔滨工业大学 基于数据驱动的金属表面缺陷语义分割网络与训练方法
CN116229056A (zh) * 2022-12-16 2023-06-06 长沙理工大学 基于双分支特征融合的语义分割方法、装置、设备
CN116543165A (zh) * 2023-07-03 2023-08-04 东华理工大学南昌校区 一种基于双通道复合深度网络的遥感图像果树分割方法
US20230316555A1 (en) * 2020-08-14 2023-10-05 Agriculture Victoria Services Pty Ltd System and Method for Image-Based Remote Sensing of Crop Plants

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021043904A1 (en) * 2019-09-05 2021-03-11 Basf Se System and method for identification of plant species
CN113705641B (zh) * 2021-08-16 2023-11-10 武汉大学 基于富上下文网络的高光谱图像分类方法
CN114202696B (zh) * 2021-12-15 2023-01-24 安徽大学 基于上下文视觉的sar目标检测方法、装置和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019133973A1 (en) * 2017-12-29 2019-07-04 Ohio State Innovation Foundation Crop health sensing system
US20230316555A1 (en) * 2020-08-14 2023-10-05 Agriculture Victoria Services Pty Ltd System and Method for Image-Based Remote Sensing of Crop Plants
CN112446890A (zh) * 2020-10-14 2021-03-05 浙江工业大学 基于空洞卷积和多尺度融合的黑色素瘤分割方法
CN113850825A (zh) * 2021-09-27 2021-12-28 太原理工大学 基于上下文信息和多尺度特征融合的遥感图像道路分割方法
CN114048810A (zh) * 2021-11-10 2022-02-15 东华大学 一种基于多层次特征提取网络的高光谱图像分类方法
CN114549552A (zh) * 2022-02-15 2022-05-27 上海翰宇生物科技有限公司 基于空间邻域分析的肺部ct图像分割装置
CN116229056A (zh) * 2022-12-16 2023-06-06 长沙理工大学 基于双分支特征融合的语义分割方法、装置、设备
CN116152498A (zh) * 2023-02-28 2023-05-23 哈尔滨工业大学 基于数据驱动的金属表面缺陷语义分割网络与训练方法
CN116543165A (zh) * 2023-07-03 2023-08-04 东华理工大学南昌校区 一种基于双通道复合深度网络的遥感图像果树分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BFMNet: Bilateral feature fusion network with multi-scale context aggregation for real-time semantic segmentation;Jin Liu 等;《ELSEVIER》;全文 *
基于 FPN Res-Unet的高分辨率遥感影像 建筑物变化检测;王明常 等;《吉林大学学报（地球科学版）》;全文 *
基于活动轮廓模型的图像分割改进算法;陈树越 等;《常州大学学报（自然科学版）》;全文 *

Also Published As

Publication number Publication date
CN117115668A (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN110119728B (zh) 基于多尺度融合语义分割网络的遥感图像云检测方法
Akar et al. Integrating multiple texture methods and NDVI to the Random Forest classification algorithm to detect tea and hazelnut plantation areas in northeast Turkey
Guan et al. Integration of orthoimagery and lidar data for object-based urban thematic mapping using random forests
CN111738111A (zh) 基于多分支级联空洞空间金字塔的高分辨遥感图像的道路提取方法
CN107358260B (zh) 一种基于表面波cnn的多光谱图像分类方法
CN103413151B (zh) 基于图正则低秩表示维数约简的高光谱图像分类方法
CN109919206A (zh) 一种基于全空洞卷积神经网络的遥感影像地表覆盖分类方法
CN103020265B (zh) 图像检索的方法和系统
CN111985543A (zh) 一种高光谱图像分类模型的构建方法、分类方法及系统
CN104217436B (zh) 基于多特征联合稀疏图的sar图像分割方法
CN108154094A (zh) 基于子区间划分的高光谱图像非监督波段选择方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
Zhang et al. Multi-temporal SAR image classification of coastal plain wetlands using a new feature selection method and random forests
Xiao et al. Segmentation of multispectral high-resolution satellite imagery using log Gabor filters
CN113361373A (zh) 一种农业场景下的航拍图像实时语义分割方法
CN115909052A (zh) 一种基于混合卷积神经网络的高光谱遥感图像分类方法
CN111860233A (zh) 基于选择注意力网络的sar图像复杂建筑物提取方法及系统
CN113657326A (zh) 一种基于多尺度融合模块和特征增强的杂草检测方法
CN114022408A (zh) 基于多尺度卷积神经网络的遥感图像云检测方法
CN110084284A (zh) 基于区域卷积神经网络的目标检测与二级分类算法及装置
CN104835196A (zh) 一种车载红外图像彩色化三维重建方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN116385902A (zh) 一种遥感大数据处理方法、系统及云平台
Sjahputera et al. Clustering of detected changes in high-resolution satellite imagery using a stabilized competitive agglomeration algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant