CN117079126A - 用于确定作物生育期的方法、存储介质及处理器 - Google Patents

用于确定作物生育期的方法、存储介质及处理器 Download PDF

Info

Publication number
CN117079126A
CN117079126A CN202310992429.2A CN202310992429A CN117079126A CN 117079126 A CN117079126 A CN 117079126A CN 202310992429 A CN202310992429 A CN 202310992429A CN 117079126 A CN117079126 A CN 117079126A
Authority
CN
China
Prior art keywords
crop
growth period
module
classification model
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310992429.2A
Other languages
English (en)
Inventor
曾平平
孙亚洲
籍延宝
宋扬
马斌
郭柏成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zoomlion Smart Agriculture Co ltd
Original Assignee
Zoomlion Smart Agriculture Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zoomlion Smart Agriculture Co ltd filed Critical Zoomlion Smart Agriculture Co ltd
Priority to CN202310992429.2A priority Critical patent/CN117079126A/zh
Publication of CN117079126A publication Critical patent/CN117079126A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例提供一种用于确定作物生育期的方法、存储介质及处理器。方法包括：获取农业区域内的作物在预设时间段内不同角度的作物图像；将获取到的多个作物图像合并成作物图像数据集，并对作物图像数据集进行预处理；将经过预处理后的作物图像数据集输入至多分类模型中，以通过多分类模型输出作物的预测生育期，其中，多分类模型是以卷积神经网络模型架构为基本模型架构构建的，多分类模型包括依次连接的输入模块、中间模块以及输出模块，输入模块包括焦点结构，中间模块采用无参数注意力机制，输出模块包括全卷积网络。本发明有效提高了作物生育期的识别效率和识别结果的准确性。

Description

用于确定作物生育期的方法、存储介质及处理器
技术领域
本申请涉及农业技术领域，具体涉及一种用于确定作物生育期的方法、作物生育期识别装置、作物生育期识别系统、存储介质及处理器。
背景技术
水稻是我国三大主要粮食作物之一，其产量和质量在我国一直备受重视。为了保持和提高稻米的产量和品质，必须利用来自稻田的信息对水稻生育期进行准确的监测识别和分析。水稻的整个生育期包括移栽期、返青期、分蘖期、拔节期、孕穗期、抽穗期、乳熟期以及成熟期。水稻生育期是重要的农业信息，识别关键生育期对水稻田间生产和管理起着重要的作用，也是监测水稻长势和进行水稻产量分析的重要依据。目前的作物生育期预测方法主要包括人工观测和神经网络预测，而传统的人工观测水稻生育期方式难以满足农业现代化发展的需求，迫切需要对自动识别水稻发育期的方法进行研究，以减少劳动成本，提高观测准确性和实时性。而现有的神经网络预测方法基于神经网络结构的特点，需将输入的图片进行统一的尺寸裁剪，而往往输入的图片数据数量巨大，裁剪需要耗费大量的时间，造成识别效率低。且神经网络模型参数多，需要大量的数据进行训练，并反复调参，不仅耗时长且难以提升识别的准确率。
发明内容
本申请实施例的目的是提供一种用于确定作物生育期的方法、作物生育期识别装置、作物生育期识别系统、存储介质及处理器。
为了实现上述目的，本申请第一方面提供一种用于确定作物生育期的方法，包括：
获取农业区域内的作物在预设时间段内不同角度的作物图像；
将获取到的多个作物图像合并成作物图像数据集，并对作物图像数据集进行预处理；
将经过预处理后的作物图像数据集输入至多分类模型中，以通过多分类模型输出作物的预测生育期，其中，多分类模型是以卷积神经网络模型架构为基本模型架构构建的，多分类模型包括依次连接的输入模块、中间模块以及输出模块，输入模块包括焦点结构，中间模块采用无参数注意力机制，输出模块包括全卷积网络。
在本申请的实施例中，方法还包括多分类模型的训练步骤，训练步骤包括：在作物处于多个历史生育期时，获取农业区域在每个历史生育期内的不同角度的历史区域图像，历史区域图像包括种植作物区域的图像和未种植作物区域的图像；将获取到的多个历史区域图像划分为多个历史区域图像数据集，并为每个历史区域图像数据集添加样本标签，样本标签包括正样本标签和负样本标签，正样本标签用于标定种植作物区域的图像，负样本标签用于标定未种植作物区域的图像；对全部的历史区域图像数据集进行预处理，并将全部的历史区域图像数据集划分为训练集、验证集以及测试集；以卷积神经网络模型为基本模型，以及根据归一化损失函数、中心损失函数构建待训练的多分类模型；通过训练集对待训练的多分类模型进行预训练，通过测试集对多分类模型进行测试，通过验证集对多分类模型进行验证并调参；针对验证集中的任意一个历史区域图像，在历史区域图像的损失值与上一个历史区域图像的损失值之间的偏差值符合预设条件的情况下，确定得到训练完成的分类模型。
在本申请的实施例中，方法还包括：根据归一化损失函数和中心损失函数确定多分类模型的损失函数表达式。
在本申请的实施例中，损失函数表达式如公式(1)所示：
其中，L是指损失函数，Ls是指归一化损失函数，Lc是指中心损失函数，xi是指倒数第2个卷积层输出的特征向量，w和b分别是指最后一个卷积层的权重和偏置，m是指单组样本数据的大小，n是指发育期的类别个数，log函数的输入为损失函数的结果，wx+b是指全卷积层的输出，Cyi是指样本i所对应的类别的所有样本特征的平均特征，或者说同类样本特征的中心点，λ为常数。
在本申请的实施例中，输入模块还包括与焦点结构连接的普通卷积网络，以及与普通卷积网络连接的自适应可分离卷积网络。
在本申请的实施例中，中间模块包括第一子模块、第二子模块、第三子模块以及第四子模块，第一子模块、第二子模块、第三子模块以及第四子模块分别包括多个依次连接的深度可分离卷积网络和深度可分离卷积块，其中，无参数注意力机制应用于深度可分离卷积网络和深度可分离卷积块之间。
在本申请的实施例中，通过多分类模型输出作物的预测生育期包括：输出与作物图像数据集对应的多个多维生育期概率矩阵；针对任意一个多维生育期概率矩阵，通过软投票法确定各生育期概率的平均值；将各生育期概率的平均值中最大平均值对应的生育期输出为作物的预测生育期。
本申请第二方面提供一种处理器，被配置成执行上述的用于确定作物生育期的方法。
本申请第三方面提供一种作物生育期识别装置，包括：
图像获取模块，用于获取农业区域内的作物在预设时间段内不同角度的作物图像；
图像处理模块，用于将获取到的多个作物图像合并成作物图像数据集，并对作物图像数据集进行预处理；
预测模块，用于将经过预处理后的作物图像数据集输入至多分类模型中，以通过多分类模型输出作物的预测生育期，其中，多分类模型是以卷积神经网络模型架构为基本模型架构构建的，多分类模型包括依次连接的输入模块、中间模块以及输出模块，输入模块包括焦点结构，中间模块采用无参数注意力机制，输出模块包括全卷积网络。
本申请第四方面提供一种作物生育期识别系统，包括作物生育期识别装置。
本申请第五方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得所述处理器被配置成执行上述的用于确定作物生育期的方法。
通过上述技术方案，有效提高了作物生育期的识别效率和识别结果的准确性。通过获取多角度的作物图像，并经过简单的预处理之后，输入至基于卷积神经网络基本架构构建多分类模型，其中，该多分类模型的输入模块引入焦点结构，中间模块引入无参数注意力机制，输出模块引入全卷积网络。能够在保留图像更多原始信息的情况下，降低模型参数，提升识别实时性，从而提高了生育期识别的精度。
本申请实施例的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：
图1示意性示出了根据本申请实施例的用于确定作物生育期的方法的流程示意图；
图2示意性示出了根据本申请实施例的农场农田摄像头安装示意图；
图3示意性示出了根据本申请实施例的分类模型的结构图；
图4示意性示出了根据本申请实施例的作物生育期识别装置的结构框图；
图5示意性示出了根据本申请实施例的计算机设备的内部结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1示意性示出了根据本申请实施例的用于确定作物生育期的方法的流程示意图。如图1所示，在本申请一实施例中，提供了一种用于确定作物生育期的方法，包括以下步骤：
步骤101，获取农业区域内的作物在预设时间段内不同角度的作物图像。
步骤102，将获取到的多个作物图像合并成作物图像数据集，并对作物图像数据集进行预处理。
步骤103，将经过预处理后的作物图像数据集输入至多分类模型中，以通过多分类模型输出作物的预测生育期，其中，多分类模型是以卷积神经网络模型架构为基本模型架构构建的，多分类模型包括依次连接的输入模块、中间模块以及输出模块，输入模块包括焦点结构，中间模块采用无参数注意力机制，输出模块包括全卷积网络。
农业区域是指从事农业生产活动的区域，一般指以耕作业为中心、主要种植粮食作物和经济作物的区域，又称农区。作物，是指种植在农业区域内的农作物，如水稻，小麦等。应当理解的是，预设时间段可以根据实际生产需求任意进行设置，例如一周、三个月等。以作物为水稻、预设时间段为三个月为例，处理器可以获取农业区域内的水稻在三个月内不同角度的水稻图像。
应当理解的是，为了能够获取目标物的图像，通常情况下需要通过图像采集设备进行获取，且该图像采集设备固定于目标物的附近。而对于一个不可移动的目标物，固定在其附近的图像采集设备往往只能采集固定角度的目标物图像，且由于角度的限定，往往无法获取到目标物的全部细节。在本技术方案中，需要获取的是不同角度下的作物图像，同一株作物在无非自然因素的影响下其在农业区域的位置为固定的，也就是说，作物可视为不可移动的。因此，在本技术方案中，为了能够获取到作物不同角度的图像，可以在农业区域的任意多个位置固定对应的图像采集设备，从而保证能够采集到的作物图像细节清晰。以单块水稻农田为例，如图2所示，提供了一种农场农田摄像头安装示意图。具体地，在如图2所示的水稻农田东南西北四个方位安置多个摄像头，摄像头的架设高度H可以为2.5米-3.5米之间，摄像头分辨率大于4160x3120，摄像头为农田专用高分辨率摄像头，帧率无要求。摄像头均正视前方，并以45度俯视农田，从而保证农田区域均被覆盖，能够实现多角度高清晰度地收集农田内的水稻图像。
进一步地，处理器在获取到多角度的作物图像之后，将所有采集到的作物图像合并成一个图像数据集，并对该图像数据集进行预处理。其中，预处理可以是指统计图像的均值、标准差，以及对图像数据集进行归一化处理，经过预处理后的图像数据集可输入至分类模型中。在本技术方案中，多分类模型是以卷积神经网络模型架构为基本模型架构构建的，多分类模型包括依次连接的输入模块、中间模块以及输出模块，输入模块包括焦点结构，中间模块采用无参数注意力机制，输出模块包括全卷积网络。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为“平移不变人工神经网络”。应当理解的是，本技术方案采集了大量高分辨率的多角度作物图像，为了使得神经网络能够快速应对如此大量的清晰图像，故在卷积神经网络的输入层引入焦点结构代替普通卷积网络，通过焦点结构的功能提升神经网络的采样速度，且使得神经网络在采样时尽可能保留图像的原始信息。其中，焦点结构可以是指Focus结构，Focus结构主要是用于将输入的图片的大小进行放缩、同时不影响图像本身的内容，将一张图变成多张图进行操作，这样可以有效的提升Flops速度。
进一步地，无参数注意力机制可以是指SimAM注意力机制，SimAM是一种基于相似度的注意力模块，能够对输入的信息进行选择性地加权处理，在保证计算效率的情况下，提高了注意力机制的精度。因此，在本技术方案中，在神经网络的中间模块中引入SimAM注意力机制取代原有的SE注意力机制，无需再向原始神经网络添加参数，就可以推断特征图的3-D关注权重，使得神经网络更为灵活有效。SimAM注意力机制能够在一定程度上帮助卷积神经网络提升表达能力，从而提升识别准确率。
进一步地，全卷积网络是一种能够将全连接层替换成卷积层的一种神经网络结构。传统的卷积神经网络的最后一层通常为全连接层，用于将卷积层提取的特征映射转化为分类或回归输出。而全卷积网络则使用卷积层来实现从特征图到输出图的转换，使得神经网络可以接收任意尺寸的输入图像，并输出相同尺寸的输出图像，旨在于解决传统卷积神经网络只能处理固定尺寸输入图像的问题。因此，在本技术方案中，为了能够从一定程度上降低耗时，增加识别实时性，故在神经网络的输出层中引入1x1的全卷积网络替代原有的全连接层，从而无需在输入前将图像数据集统一裁剪至固定尺寸，有效缩短了识别时长，提高识别效率。
进一步地，预处理后的图像数据集输入至多分类模型后，即可输出作物在预设时间段内的预测生育期。其中，从作物出苗开始到作物成熟的时间被称为生育期。农作物生育期，一般来讲，是从播种到成熟所经历的时间。以水稻为例，水稻的生育期可以划分为青期、分蘖期、孕穗期、始穗期、抽穗期、齐穗期以及完熟期7个阶段。
上述技术方案，通过获取多角度的作物图像，并经过简单的预处理之后，输入至基于卷积神经网络基本架构构建多分类模型，其中，该多分类模型的输入模块引入焦点结构，中间模块引入无参数注意力机制，输出模块引入全卷积网络。能够在保留图像更多原始信息的情况下，降低模型参数，提升识别实时性，从而提高了生育期识别的精度。
图1为一个实施例中用于确定作物生育期的方法的流程示意图。应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其他的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，在基于卷积神经网络模型架构为基本模型架构构建多分类模型之后，为了能够多分类模型的识别精度，需要对模型进行训练。在本技术方案中，可以通过收集作物历史生育期的数据对模型进行训练。具体地，在作物处于多个历史生育期时，获取农业区域在每个历史生育期内的不同角度的历史区域图像，历史区域图像包括种植作物区域的图像和未种植作物区域的图像。应当理解的是，种植作物区域图像是指种植有农作物的区域图像，未种植作物区域图像是指包括种植有杂草或者裸地的区域图像。以水稻为例，在水稻处于多个历史生育期时，处理器获取每个生育期内多个角度的水稻图像、杂草图像以及裸地图像。为了能够提升模型的识别精度，输入图像在选取的时候可以不限于作物本身，可以适当引入杂草或裸地作为对照组。
进一步地，处理器将获取到的多个历史区域图像划分为多个历史区域图像数据集之后，为了方便区分出作物和非作物的图像，可以为作物和非作物设置不同的标记。具体地，可以为每个历史区域图像数据集添加样本标签，样本标签包括正样本标签和负样本标签，正样本标签用于标定种植作物区域的图像，负样本标签用于标定未种植作物区域的图像，因此，种植作物区域的图像对应的标签为1，未种植作物区域的图像对应的标签为0。在对图像数据划分标签之后，处理器对全部的历史区域图像数据集进行预处理，并将全部的历史区域图像数据集划分为训练集、验证集以及测试集，即可输入至多分类模型中进行模型训练。在本技术方案中，训练集、验证集以及测试集的划分可按照8：1：1的比例进行划分。
进一步地，以卷积神经网络模型为基本模型，以及根据归一化损失函数、中心损失函数构建待训练的多分类模型。其中归一化损失函数可以是指softmaxloss损失函数，中心损失函数可以是指Centerloss损失函数。损失函数是用来评测模型的预测值与真实值的相似程度，softmaxloss是由Fully Connected Layer、Softmax Function以及Cross-entropyLoss组合而成的损失函数，softmaxloss损失函数能够有效地增大类间距离，但是却无法缩小类内间的距离。Centerloss中心损失函数是利用监督信息来提高神经网络的性能，能够将每一类样本的特征向量拉到自己对应类别的中心点上，从而加强类内的相似性，使得同一类样本之间的距离变小，从而提高分类精度，促进训练收敛，减小过拟合的可能性。因此，在本技术方案中通过softmaxloss损失函数联合Centerloss中心损失函数，使得分类模型在学习阶段能够更大地缩小类内间的距离，拉大类间距离，实现反向传播训练，从而让模型对水作物各生育期具有更好的区分能力。
进一步地，处理器通过训练集对待训练的多分类模型进行预训练，同时通过测试集对多分类模型进行测试，通过验证集对多分类模型进行验证并调参。针对验证集中的任意一个历史区域图像，在历史区域图像的损失值与上一个历史区域图像的损失值之间的偏差值符合预设条件的情况下，确定得到训练完成的分类模型。
在一个实施例中，根据softmaxloss损失函数联合Centerloss中心损失函数确定出分类模型的损失函数表达式，具体地，损失函数表达式如公式(1)所示：
其中，L是指损失函数，Ls是指归一化损失函数，Lc是指中心损失函数，xi是指倒数第2个卷积层输出的特征向量，w和b分别是指最后一个卷积层的权重和偏置，m是指单组样本数据的大小，n是指发育期的类别个数，log函数的输入为损失函数的结果，wx+b是指全卷积层的输出，Cyi是指样本i所对应的类别的所有样本特征的平均特征，或者说同类样本特征的中心点，λ为常数。
在一个实施例中，输入模块还包括与焦点结构连接的普通卷积网络，以及与普通卷积网络连接的自适应可分离卷积网络。中间模块包括第一子模块、第二子模块、第三子模块以及第四子模块，第一子模块、第二子模块、第三子模块以及第四子模块分别包括多个依次连接的深度可分离卷积网络和深度可分离卷积块，其中，无参数注意力机制应用于深度可分离卷积网络和深度可分离卷积块之间。具体地，如图3所示，提供了分类模型的结构图，卷积神经网络包括输入模块，输入模块包括依次连接的Focus结构、3x3的普通卷积Conv网络，以及一个自适应可分离卷积SepConv网络。与输入模块连接的为中间模块，中间模块包括四个子模块，第一子模块中包含2个依次连接的MBConv+MBConvBlock结构，其卷积核大小为3，第二子模块中包含2个依次连接的MBConv+MBConvBlock结构，其卷积核大小为5，第三子模块中包含3个依次连接的MBConv+MBConvBlock结构，其卷积核大小为3，第四子模块中包含3个依次连接的MBConv+MBConvBlock结构，其卷积核大小为5。在MBConv和MBConvBlock中，引入了SimAM注意力机制，通过借助这种三维注意力机制替代原有SE注意力机制，无需再向原始网络添加参数，就可以推断特征图的3-D关注权重，更为灵活有效，能够在一定程度上帮助卷积神经网络提升表达能力，从而提升识别准确率。最后为与中间模块连接的输出模块，在输出模块中包括Maxpooling，以及多个1x1的全卷积网络，最终输出每个类别的概率值，输出模块中使用全卷积网络替代传统的全连接层，大幅度降低参数量，从一定程度上降低耗时，增加识别实时性。
在一个实施例中，处理器通过安装在农业区域周围的图像采集设备采集作物在预设时间段内多角度的作物图像之后，将所有采集到的作物图像合并成一个图像数据集，并对该图像数据集进行预处理。预处理后的图像数据集输入至多分类模型后，即可输出作物在预设时间段内的预测生育期。具体地，处理器将图像数据集输入至多分类模型之后，多分类模型首先输出与作物图像数据集对应的多个多维生育期概率矩阵，其次，针对任意一个多维生育期概率矩阵，通过软投票法分别确定各生育期概率的平均值，最终，将各生育期概率的平均值中最大平均值对应的生育期输出为作物的预测生育期。其中，软投票法也称为加权平均概率投票，是一种使用输出类概率分类的投票法，其通过输入权重，得到每个类概率的加权平均值，并选择值较大的那一类作为输出。例如，对于某个样本，模型1的预测结果是类别A的概率为99％，是类别B的概率为1％，模型2的预测结果是类别A的概率为49％，是类别B的概率为51％，模型3的预测结果是类别A的概率为49％，是类别B的概率为51％。那么，通过软投票法最终对于类别A的预测概率的平均为(99+49+49)/3＝65.67％，对于类别B的预测概率的平均为(1+51+51)/3＝34.33％，因此软投票法的预测结果为A。
以单块水稻农田为例，在水稻农田东南西北四个方位分别安置一个摄像头，针对任意一株水稻，处理器通过四个摄像头获取该株水稻对应的四个角度的四张图像，将四张图像进行预处理后输入到多分类模型中，多分类模型首先输出一个对应的多维生育期概率矩阵，其次针对该多维生育期概率矩阵，通过软投票法分别确定各生育期概率的平均值。具体地，以水稻生育期划分为始穗期、抽穗期以及齐穗期为例，例如四张图像对应的各生育期概率分别为：
(1)始穗期98％、抽穗期1％、齐穗期1％；
(2)始穗期95％、抽穗期2％、齐穗期1％；
(3)始穗期99％、抽穗期1％、齐穗期0％；
(4)始穗期2％、抽穗期98％、齐穗期0％。
基于软投票法，始穗期的概率为(98+95+99+2)/4＝73.5％，抽穗期的概率为(1+2+1+98)/3＝25.5％，齐穗期的概率为(1+1)/4＝0.5％，概率平均值最大的为73.5％的始穗期，因此将始穗期输出为该株水稻当前的预测生育期。
在一个实施例中，如图4所示，提供了一种作物生育期识别装置，包括：
图像获取模块410，用于获取农业区域内的作物在预设时间段内不同角度的作物图像；
图像处理模块420，用于将获取到的多个作物图像合并成作物图像数据集，并对作物图像数据集进行预处理；
预测模块430，用于将经过预处理后的作物图像数据集输入至多分类模型中，以通过多分类模型输出作物的预测生育期，其中，多分类模型是以卷积神经网络模型架构为基本模型架构构建的，多分类模型包括依次连接的输入模块、中间模块以及输出模块，输入模块包括焦点结构，中间模块采用无参数注意力机制，输出模块包括全卷积网络。
在一个实施例中，提供了一种作物生育期识别系统，包括作物生育期识别装置。
上述技术方案，通过在农田多个方位安装的摄像头进行多角度俯视高清拍摄农田，拍摄图像更清晰，覆盖面越广，采集数据更便捷、更标准规范、更高效，有利于精准识别判断。基于基本的神经网络架构构建多分类的模型，在模型的输入层引入改造的Focus结构替代原有的普通卷积，能够对高分辨图像进行下采样，可保留图像更多原始信息。在中间模块中引入SimAM注意力机制替代传统的SE注意力机制，无需再增加参数，提升了网络表达能力。在输出模块中引入全卷积层替代全连接层，使得模型对输入图像再无尺寸硬性要求，有效降低模型参数量，提升识别实时性。损失函数使用Softmaxloss损失函数联合centerloss训练，让模型在训练过程中对水稻生育期的区分能力更强。本技术方案有效提高了水稻生育期的识别效率和识别结果的准确性。
本申请实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述用于确定作物生育期的方法。
本申请实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述用于确定作物生育期的方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、存储器(图中未示出)和数据库(图中未示出)。其中，该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A04。该非易失性存储介质A04存储有操作系统B01、计算机程序B02和数据库(图中未示出)。该内存储器A03为非易失性存储介质A04中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的数据库用于存储用于确定作物生育期的方法数据。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序B02被处理器A01执行时以实现一种用于确定作物生育期的方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本申请实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取农业区域内的作物在预设时间段内不同角度的作物图像；将获取到的多个作物图像合并成作物图像数据集，并对作物图像数据集进行预处理；将经过预处理后的作物图像数据集输入至多分类模型中，以通过多分类模型输出作物的预测生育期，其中，多分类模型是以卷积神经网络模型架构为基本模型架构构建的，多分类模型包括依次连接的输入模块、中间模块以及输出模块，输入模块包括焦点结构，中间模块采用无参数注意力机制，输出模块包括全卷积网络。
在一个实施例中，方法还包括多分类模型的训练步骤，训练步骤包括：在作物处于多个历史生育期时，获取农业区域在每个历史生育期内的不同角度的历史区域图像，历史区域图像包括种植作物区域的图像和未种植作物区域的图像；将获取到的多个历史区域图像划分为多个历史区域图像数据集，并为每个历史区域图像数据集添加样本标签，样本标签包括正样本标签和负样本标签，正样本标签用于标定种植作物区域的图像，负样本标签用于标定未种植作物区域的图像；对全部的历史区域图像数据集进行预处理，并将全部的历史区域图像数据集划分为训练集、验证集以及测试集；以卷积神经网络模型为基本模型，以及根据归一化损失函数、中心损失函数构建待训练的多分类模型；通过训练集对待训练的多分类模型进行预训练，通过测试集对多分类模型进行测试，通过验证集对多分类模型进行验证并调参；针对验证集中的任意一个历史区域图像，在历史区域图像的损失值与上一个历史区域图像的损失值之间的偏差值符合预设条件的情况下，确定得到训练完成的分类模型。
在一个实施例中，方法还包括：根据归一化损失函数和中心损失函数确定多分类模型的损失函数表达式。
在一个实施例中，损失函数表达式如公式(1)所示：
其中，L是指损失函数，Ls是指归一化损失函数，Lc是指中心损失函数，xi是指倒数第2个卷积层输出的特征向量，w和b分别是指最后一个卷积层的权重和偏置，m是指单组样本数据的大小，n是指发育期的类别个数，log函数的输入为损失函数的结果，wx+b是指全卷积层的输出，Cyi是指样本i所对应的类别的所有样本特征的平均特征，或者说同类样本特征的中心点，λ为常数。
在一个实施例中，输入模块还包括与焦点结构连接的普通卷积网络，以及与普通卷积网络连接的自适应可分离卷积网络。
在一个实施例中，中间模块包括第一子模块、第二子模块、第三子模块以及第四子模块，第一子模块、第二子模块、第三子模块以及第四子模块分别包括多个依次连接的深度可分离卷积网络和深度可分离卷积块，其中，无参数注意力机制应用于深度可分离卷积网络和深度可分离卷积块之间。
在一个实施例中，通过多分类模型输出作物的预测生育期包括：输出与作物图像数据集对应的多个多维生育期概率矩阵；针对任意一个多维生育期概率矩阵，通过软投票法确定各生育期概率的平均值；将各生育期概率的平均值中最大平均值对应的生育期输出为作物的预测生育期。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取农业区域内的作物在预设时间段内不同角度的作物图像；将获取到的多个作物图像合并成作物图像数据集，并对作物图像数据集进行预处理；将经过预处理后的作物图像数据集输入至多分类模型中，以通过多分类模型输出作物的预测生育期，其中，多分类模型是以卷积神经网络模型架构为基本模型架构构建的，多分类模型包括依次连接的输入模块、中间模块以及输出模块，输入模块包括焦点结构，中间模块采用无参数注意力机制，输出模块包括全卷积网络。
在一个实施例中，方法还包括多分类模型的训练步骤，训练步骤包括：在作物处于多个历史生育期时，获取农业区域在每个历史生育期内的不同角度的历史区域图像，历史区域图像包括种植作物区域的图像和未种植作物区域的图像；将获取到的多个历史区域图像划分为多个历史区域图像数据集，并为每个历史区域图像数据集添加样本标签，样本标签包括正样本标签和负样本标签，正样本标签用于标定种植作物区域的图像，负样本标签用于标定未种植作物区域的图像；对全部的历史区域图像数据集进行预处理，并将全部的历史区域图像数据集划分为训练集、验证集以及测试集；以卷积神经网络模型为基本模型，以及根据归一化损失函数、中心损失函数构建待训练的多分类模型；通过训练集对待训练的多分类模型进行预训练，通过测试集对多分类模型进行测试，通过验证集对多分类模型进行验证并调参；针对验证集中的任意一个历史区域图像，在历史区域图像的损失值与上一个历史区域图像的损失值之间的偏差值符合预设条件的情况下，确定得到训练完成的分类模型。
在一个实施例中，方法还包括：根据归一化损失函数和中心损失函数确定多分类模型的损失函数表达式。
在一个实施例中，损失函数表达式如公式(1)所示：
其中，L是指损失函数，Ls是指归一化损失函数，Lc是指中心损失函数，xi是指倒数第2个卷积层输出的特征向量，w和b分别是指最后一个卷积层的权重和偏置，m是指单组样本数据的大小，n是指发育期的类别个数，log函数的输入为损失函数的结果，wx+b是指全卷积层的输出，Cyi是指样本i所对应的类别的所有样本特征的平均特征，或者说同类样本特征的中心点，λ为常数。
在一个实施例中，输入模块还包括与焦点结构连接的普通卷积网络，以及与普通卷积网络连接的自适应可分离卷积网络。
在一个实施例中，中间模块包括第一子模块、第二子模块、第三子模块以及第四子模块，第一子模块、第二子模块、第三子模块以及第四子模块分别包括多个依次连接的深度可分离卷积网络和深度可分离卷积块，其中，无参数注意力机制应用于深度可分离卷积网络和深度可分离卷积块之间。
在一个实施例中，通过多分类模型输出作物的预测生育期包括：输出与作物图像数据集对应的多个多维生育期概率矩阵；针对任意一个多维生育期概率矩阵，通过软投票法确定各生育期概率的平均值；将各生育期概率的平均值中最大平均值对应的生育期输出为作物的预测生育期。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框，以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所做的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种用于确定作物生育期的方法，其特征在于，所述方法包括：
获取农业区域内的作物在预设时间段内不同角度的作物图像；
将获取到的多个作物图像合并成作物图像数据集，并对所述作物图像数据集进行预处理；
将经过预处理后的所述作物图像数据集输入至多分类模型中，以通过所述多分类模型输出所述作物的预测生育期，其中，所述多分类模型是以卷积神经网络模型架构为基本模型架构构建的，所述多分类模型包括依次连接的输入模块、中间模块以及输出模块，所述输入模块包括焦点结构，所述中间模块采用无参数注意力机制，所述输出模块包括全卷积网络。
2.根据权利要求1所述的用于确定作物生育期的方法，其特征在于，所述方法还包括所述多分类模型的训练步骤，所述训练步骤包括：
在作物处于多个历史生育期时，获取农业区域在每个历史生育期内的不同角度的历史区域图像，所述历史区域图像包括种植作物区域的图像和未种植作物区域的图像；
将获取到的多个历史区域图像划分为多个历史区域图像数据集，并为每个历史区域图像数据集添加样本标签，所述样本标签包括正样本标签和负样本标签，所述正样本标签用于标定所述种植作物区域的图像，所述负样本标签用于标定所述未种植作物区域的图像；
对全部的历史区域图像数据集进行预处理，并将全部的历史区域图像数据集划分为训练集、验证集以及测试集；
以卷积神经网络模型为基本模型，以及根据归一化损失函数、中心损失函数构建待训练的多分类模型；
通过所述训练集对所述待训练的多分类模型进行预训练，通过所述测试集对所述多分类模型进行测试，通过所述验证集对所述多分类模型进行验证并调参；
针对所述验证集中的任意一个历史区域图像，在所述历史区域图像的损失值与上一个历史区域图像的损失值之间的偏差值符合预设条件的情况下，确定得到训练完成的分类模型。
3.根据权利要求2所述的用于确定作物生育期的方法，其特征在于，所述方法还包括：
根据所述归一化损失函数和所述中心损失函数确定所述多分类模型的损失函数表达式。
4.根据权利要求3所述的用于确定作物生育期的方法，其特征在于，所述损失函数表达式如公式(1)所示：
其中，L是指所述损失函数，Ls是指所述归一化损失函数，Lc是指所述中心损失函数，xi是指倒数第2个卷积层输出的特征向量，w和b分别是指最后一个卷积层的权重和偏置，m是指单组样本数据的大小，n是指发育期的类别个数，log函数的输入为所述损失函数的结果，wx+b是指全卷积层的输出，Cyi是指样本i所对应的类别的所有样本特征的平均特征，或者说同类样本特征的中心点，λ为常数。
5.根据权利要求1所述的用于确定作物生育期的方法，其特征在于，所述输入模块还包括与所述焦点结构连接的普通卷积网络，以及与所述普通卷积网络连接的自适应可分离卷积网络。
6.根据权利要求1所述的用于确定作物生育期的方法，其特征在于，所述中间模块包括第一子模块、第二子模块、第三子模块以及第四子模块，所述第一子模块、所述第二子模块、所述第三子模块以及所述第四子模块分别包括多个依次连接的深度可分离卷积网络和深度可分离卷积块，其中，所述无参数注意力机制应用于所述深度可分离卷积网络和所述深度可分离卷积块之间。
7.根据权利要求1所述的用于确定作物生育期的方法，其特征在于，通过所述多分类模型输出所述作物的预测生育期包括：
输出与所述作物图像数据集对应的多个多维生育期概率矩阵；
针对任意一个多维生育期概率矩阵，通过软投票法确定各生育期概率的平均值；
将所述各生育期概率的平均值中最大平均值对应的生育期输出为所述作物的预测生育期。
8.一种处理器，其特征在于，被配置成执行根据权利要求1至7中任意一项所述的用于确定作物生育期的方法。
9.一种作物生育期识别装置，其特征在于，包括：
图像获取模块，用于获取农业区域内的作物在预设时间段内不同角度的作物图像；
图像处理模块，用于将获取到的多个作物图像合并成作物图像数据集，并对所述作物图像数据集进行预处理；
预测模块，用于将经过预处理后的所述作物图像数据集输入至多分类模型中，以通过所述多分类模型输出所述作物的预测生育期，其中，所述多分类模型是以卷积神经网络模型架构为基本模型架构构建的，所述多分类模型包括依次连接的输入模块、中间模块以及输出模块，所述输入模块包括焦点结构，所述中间模块采用无参数注意力机制，所述输出模块包括全卷积网络。
10.一种作物生育期识别系统，其特征在于，包括权利要求9所述的作物生育期识别装置。
11.一种机器可读存储介质，该机器可读存储介质上存储有指令，其特征在于，该指令在被处理器执行时使得所述处理器被配置成执行根据权利要求1至7中任一项所述的用于确定作物生育期的方法。
CN202310992429.2A 2023-08-07 2023-08-07 用于确定作物生育期的方法、存储介质及处理器 Pending CN117079126A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310992429.2A CN117079126A (zh) 2023-08-07 2023-08-07 用于确定作物生育期的方法、存储介质及处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310992429.2A CN117079126A (zh) 2023-08-07 2023-08-07 用于确定作物生育期的方法、存储介质及处理器

Publications (1)

Publication Number Publication Date
CN117079126A true CN117079126A (zh) 2023-11-17

Family

ID=88701580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310992429.2A Pending CN117079126A (zh) 2023-08-07 2023-08-07 用于确定作物生育期的方法、存储介质及处理器

Country Status (1)

Country Link
CN (1) CN117079126A (zh)

Similar Documents

Publication Publication Date Title
CN107067043B (zh) 一种农作物病虫害检测方法
Zhang et al. EPSA-YOLO-V5s: A novel method for detecting the survival rate of rapeseed in a plant factory based on multiple guarantee mechanisms
US20210365683A1 (en) Image processing based advisory system and a method thereof
CN109344738A (zh) 农作物病虫草害识别方法及装置
An et al. Real-time monitoring method of strawberry fruit growth state based on YOLO improved model
Selvi et al. Weed detection in agricultural fields using deep learning process
Ye et al. An image-based approach for automatic detecting tasseling stage of maize using spatio-temporal saliency
Shankar et al. Application of UAV for pest, weeds and disease detection using open computer vision
CN115620151A (zh) 物候期识别方法、装置、电子设备和存储介质
Guo et al. Panicle Ratio Network: streamlining rice panicle measurement by deep learning with ultra-high-definition aerial images in the field
Zhang et al. Automatic counting of lettuce using an improved YOLOv5s with multiple lightweight strategies
CN115379150B (zh) 可远程自动化生成水稻生长过程动态视频的系统和方法
CN117079126A (zh) 用于确定作物生育期的方法、存储介质及处理器
CN115147835B (zh) 一种基于改进RetinaNet的自然果园场景下的凤梨成熟度检测方法
Cuong et al. Pest Early Detection in Greenhouse Using Machine Learning.
CN113537131B (zh) 基于图像识别的土地资源分析模型训练方法及分析方法
Dinca et al. Halyomorpha halys detection in orchard from UAV images using convolutional neural networks
CN114937030A (zh) 一种用于智慧农业种植生菜的表型参数计算方法
Abdulla et al. Deep learning and IoT for Monitoring Tomato Plant.
CN111476129A (zh) 一种基于深度学习的土壤杂质检测方法
Gunes et al. Classification of hazelnuts with CNN based deep learning system
CN115660236B (zh) 作物物候期预测方法、装置、电子设备和存储介质
CN116052141B (zh) 作物生育期的识别方法、装置、设备及介质
Gill et al. Agricultural Pests Classification Using Deep Convolutional Neural Networks and Transfer Learning
Coviello et al. In-field grape berries counting for yield estimation using dilated CNNS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination