CN116051996A - 一种基于多模态信息的二阶段农作物生长预测方法 - Google Patents

一种基于多模态信息的二阶段农作物生长预测方法 Download PDF

Info

Publication number
CN116051996A
CN116051996A CN202310058257.1A CN202310058257A CN116051996A CN 116051996 A CN116051996 A CN 116051996A CN 202310058257 A CN202310058257 A CN 202310058257A CN 116051996 A CN116051996 A CN 116051996A
Authority
CN
China
Prior art keywords
layer
crop growth
crop
feature map
growth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310058257.1A
Other languages
English (en)
Inventor
贾宁
郑纯军
王庆军
王锡纲
王洪岩
王江浩
崔新明
王文腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Neusoft University of Information
Original Assignee
Dalian Neusoft University of Information
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Neusoft University of Information filed Critical Dalian Neusoft University of Information
Priority to CN202310058257.1A priority Critical patent/CN116051996A/zh
Publication of CN116051996A publication Critical patent/CN116051996A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多模态信息的二阶段农作物生长预测方法，包括采集农作物的生长状态的视频图像，并记录视频图像拍摄时间；提取视频图像中的关键区域获取特征图；基于3D卷积神经网络识别模型对特征图进行识别训练获取获得完整的农作物生长状态的数据；通过传感器采集农作物周边生长环境的实时数据，对不同的实时数据与完整的农作物生长周期数据进行相关性分析并排序，获得相关性特征列表；相关性特征列表基于预测农作物生长模型预测农作物生长状况。解决了现有农业图像脱离真实的应用场景，使结果无法迁移至现实的作物种植中，且个性化因素较强，稳定度不高，同时，对单个模态的农作物数据进行分析和预测，使得农作物生长预测精度不高的问题。

Description

一种基于多模态信息的二阶段农作物生长预测方法
技术领域
本发明涉及农作物生长监测技术领域，尤其涉及一种基于多模态信息的二阶段农作物生长预测方法。
背景技术
现在的农作物有很多都是规模化种植，并且正朝着智能化的方向大幅迈进，在作物的监测管理上大量减少了人力投入。人工智能的使用在幼苗选育、作物温室栽培等场景下都进行了有益的探索。智慧农业朝着品质好、产量高、能耗少、自动化等目标迈进，涵盖了农业生产的整个阶段。
计算机视觉图像识别和传感器信息采集是智慧农业技术的重要组成部分，农作物的生长态势的监控与预测是本发明的重点应用场景。现在很多农作物生长基地都装有摄像头，但采集到的图像数量和类型有限，这会导致数据驱动的深度学习算法最终效果降低。然而，现有的开源农业图像数据集往往脱离真实的应用场景，使用该类数据集获得的结果无法迁移至现实的作物种植中，自建的农业图像数据的个性化因素较强，稳定度不高，同时，现有的农作物生长模型往往使用单个模态的数据进行分析和预测，使得农作物生长预测精度不高。
发明内容
本发明提供一种基于多模态信息的二阶段农作物生长预测方法，以克服现有的开源农业图像数据集往往脱离真实的应用场景，使用该类数据集获得的结果无法迁移至现实的作物种植中，且自建的农业图像数据的个性化因素较强，稳定度不高，同时，现有的农作物生长模型往往使用单个模态的数据进行分析和预测，使得农作物生长预测精度不高的问题。
为了实现上述目的，本发明的技术方案是：
一种基于多模态信息的二阶段农作物生长预测方法，包括：
步骤S1：周期性采集农作物的生长状态与农作物的种植面积的视频图像，并记录所述视频图像的拍摄时间，所述视频图像为含有时间特性的图像序列；
步骤S2:提取所述视频图像中的关键区域，并获取特征图，所述特征图为包含农作物的图片；
步骤S3：基于3D卷积神经网络识别模型对所述特征图进行识别训练，获取农作物的空间维度特征与时间维度特征，以获得完整的农作物生长周期的状态数据；所述空间维度特征包括农作物的叶片数量、叶面积以及株高，所述时间维度特征为农作物的生长时期；
步骤S4：通过传感器周期性采集农作物周边生长环境的实时数据，对不同的所述实时数据与完整的农作物生长周期的状态数据，进行相关性分析并排序获得相关性特征列表Lrank；
所述实时数据包括空气温度、空气湿度、光照强度、co2浓度、土壤温度、土壤湿度、土壤氮含量、土壤磷含量以及土壤钾含量；
步骤S5：建立预测农作物生长模型，所述预测农作物生长模型根据相关性特征列表Lrank预测农作物的生长状况。
进一步的，步骤S2中所述获取特征图具体为：
步骤S2.1：按照预设固定时间段为单位提取视频图像，并将所述视频图像截取若干原始图像，所述视频图像通过编程截取获得含有农作物的粗粒度区域图片；
步骤S2.2：所述粗粒度区域图片经过haar-like特征提取获得农作物生长状况的矩形特征，所述haar-like特征包括缘特征、线性特征、中心特征和对角线特征；
步骤S2.3：应用积分图计算方法获取所述矩形特征的矩形特征值，所述积分图包括垂直计算积分图以及45度积分图；
步骤S2.4：使用Adaboost算法根据所述矩形特征值选出含有农作物生长状况的矩形特征的图片，并形成与之对应的弱分类器，每个所述含有农作物的矩形特征形成一个固定区域，并通过加权平均的方式将这些固定区域进行叠加；
由于每个所述固定区域是一个弱分类器，则按照加权投票的方式将所述弱分类器叠加形成强分类器；并将所述强分类器串联组成获得级联结构的层叠分类器；
步骤S2.5:所述级联结构的层叠分类器根据农作物出现在图像中的位置，对所述原始图片重新进行特征提取获取特征图。
进一步的，步骤S3中所述3D卷积神经网络识别模型由输入开始，依次包括第一层硬连接层、第二层卷积层、第三层下采样层、第四层卷积层、第五层下采样层、第六层卷积层、第七层注意力层、第八层全连接层以及第九层归一化指数函数层；
所述第一层硬连接层，用于对特征图的图像帧进行分类获取特征通道信息，并将特征通道信息传递至第二卷积层，所述特征通道信息包括灰度、水平方向梯度、垂直方向梯度、水平方向光流场以及垂直方向光流场；
所述第二层卷积层对第一层硬连接层所输出的特征通道信息进行卷积操作，并获得优化特征图传递至第三层下采样层；
所述第三层下采样层接收所述优化特征图，进行下采样操作获取第一中间特征图，所述第三层下采样层为池化层；
所述第四层卷积层对所述第三层下采样层的输出的第一中间特征图进行卷积操作，获得第二中间特征图；
所述第五层下采样层接收所述第二中间特征图进行下采样操作，获得第三中间特征图；
所述第六层卷积层对所述第三中间特征图进行卷积操作，获得第四中间特征图，并传输至第七层注意力层；
所述第七层注意力层对所述第四中间特征图根据不同权重值进行过滤，获取最优特征图；
所述最优特征图依次经过第八层全连接层与第九层归一化指数函数层进行分类识别，获得完整的农作物生长状态的数据。
进一步的，步骤S4中所述获得相关性特征列表Lrank具体为
利用Person分析方法对不同的所述实时数据与完整的农作物生长周期数据进行相关性分析，计算方法如公式(1)所示：
Figure BDA0004060840820000031
其中，变量x,y分别是传感器特征和同一时刻的生长状态识别结果，
Figure BDA0004060840820000032
分别是变量x,y的均值，xi，yi分别是变量x,y的第i个观测点的值，相关系数r取值范围是[-1,1]，表示变量x,y的线性相关程度，r的绝对值越大，变量x,y的相关程度越强，n是特征维数；
对不同的所述实时数据与完整的农作物生长周期数据进行相关性分析后进行降序排序，获得基于相关性分析的相关性特征列表Lrank。
进一步的，步骤S5中所述的预测农作物生长模型具体为
步骤S5.1:建立双向三层的LSTM模型，所述LSTM模型的结构如公式(2)所示：
Figure BDA0004060840820000041
其中，Wf代表忘记门的权重；Wi代表输入门的权重；
Figure BDA0004060840820000042
代表单元的权重；Wo代表输出门的权重；bf代表Wf所对应的偏置；bi代表Wi所对应的偏置；
Figure BDA0004060840820000043
代表
Figure BDA0004060840820000044
对应的偏置；bo代表Wo对应的偏置；xt为输入序列；ht为当前隐藏层状态；ht-1为上一个隐藏层状态；ft为忘记门；it为输入门；ot为输出门；Ct-1为上一个单元；Ct为当前单元。
步骤S5.2：所述双向三层的LSTM模型接收传感器周期性采集的农作物周边生长环境的实时数据，并采用均方差作为评估指标获取均方差最低的相关性特征列表Lrank的子序列；
步骤S5.3：以所述相关性特征列表Lrank的子序列作为双向三层的LSTM模型的输入，通过对所述实时数据按照时间顺序/逆序训练捕获相对应的农作物生长状态的数据，并传输至全连接层进行分类获取农作物生长状态的数据所对应的实时数据；
步骤S5.4：预测农作物生长模型根据农作物生长状态的数据所对应的实时数据，并结合所述3D卷积神经网络识别模型实现对未来农作物生长状态的预测。
有益效果：本发明提供了一种基于多模态信息的二阶段农作物生长预测方法，针对农作物图像数据不足的情况，使用摄像头实时采集完整的农作物生长周期内的农作物生长数据的视频图像，并提取视频图像中的关键区域获取特征图，通过3D卷积神经网络识别模型农作物生长状态的识别，通过传感器周期性采集农作物周边生长环境的实时数据，获取贡献度最高的实时数据，联合预测农作物生长模型的识别结果，提高了农作物生长预测的精度，使得对未来的植物生长状态进行精确预测，便于为种植农户和企业提供每日的农作物生长状态信息，及时对安排农作物保护和收获等农事活动做出提醒。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于多模态信息的二阶段农作物生长预测方法的流程框图；
图2为本发明一种基于多模态信息的二阶段农作物生长预测方法的流程图；
图3为本发明一种基于多模态信息的二阶段农作物生长预测方法的3D卷积神经网络识别模型的结构示意图；
图4为本发明一种基于多模态信息的二阶段农作物生长预测方法的预测农作物生长模型结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供了一种基于多模态信息的二阶段农作物生长预测方法，如图1至图2所示，包括：
本发明结合农作物生长的具体场景，基于深度学习方法通过多模态信息的二阶段农作物生长预测方法对农作物的生长情况进行识别和预测，该方法分为两个阶段，分别为基于3D卷积神经网络识别模型的农作物生长状态识别阶段与基于预测农作物生长模型的农作物生长预测阶段，具体实现方法如下：
步骤S1：周期性采集农作物的生长状态与农作物的种植面积的视频图像，并记录所述视频图像的拍摄时间，所述视频图像为含有时间特性的图像序列；所述视频图像的采集选用摄像头，所述摄像头包括长焦摄像头与短焦摄像头；
步骤S2:提取所述视频图像中的关键区域，并获取特征图，所述特征图为包含农作物的图片；
步骤S3：基于3D卷积神经网络识别模型对所述特征图进行识别训练，获取农作物的空间维度特征与时间维度特征，以获得完整的农作物生长周期的状态数据；所述空间维度特征包括农作物的叶片数量、叶面积以及株高，所述时间维度特征为农作物的生长时期；
步骤S4：通过传感器周期性采集农作物周边生长环境的实时数据，对不同的所述实时数据与完整的农作物生长周期的状态数据，进行相关性分析并排序获得相关性特征列表Lrank；
所述实时数据包括空气温度、空气湿度、光照强度、co2浓度、土壤温度、土壤湿度、土壤氮含量、土壤磷含量以及土壤钾含量；
步骤S5：建立预测农作物生长模型，所述预测农作物生长模型根据相关性特征列表Lrank预测农作物的生长状况。
采用摄像头实时采集完整的农作物生长周期内的农作物生长数据的视频图像，并提取视频图像中的关键区域获取特征图，通过3D卷积神经网络识别模型农作物生长状态的识别，通过传感器周期性采集农作物周边生长环境的实时数据，获取贡献度最高的实时数据，联合预测农作物生长模型的识别结果，提高了农作物生长预测的精度。
在具体实施例中，步骤S2中所述获取特征图具体为：
步骤S2.1：按照预设固定时间段为单位提取视频图像，并将所述视频图像截取若干原始图像，所述视频图像通过编程截取获得含有农作物的粗粒度区域图片；
农作物生长状态识别采用视频模态的序列信息，进行有效的作物状态识别，这是一种利用图片特征的形变或运动轨迹进行分类的任务，农作物在生长时会引起根、叶，株杆等部位产生形变，如果将这种变化提取出来，即可实现对于农作物生长状态的识别；由于视频图像由安装在户外的摄像头采集获得，户外环境在短时间内很难发生明显的变化，因此选择每2个小时截取视频中的1s视频作为基础，并将这1s的视频以100ms为单位切割出来，最终可以每隔2个小时截图视频中的10张原始图像；
步骤S2.2：所述粗粒度区域图片经过haar-like特征提取获得农作物生长状况的矩形特征，所述haar-like特征包括缘特征、线性特征、中心特征和对角线特征；
步骤S2.3：应用积分图计算方法获取所述矩形特征的矩形特征值，所述积分图包括垂直计算积分图以及45度积分图；
步骤S2.4：使用Adaboost算法根据所述矩形特征值选出含有农作物生长状况的矩形特征的图片，并形成与之对应的弱分类器，每个所述含有农作物的矩形特征形成一个固定区域，并通过加权平均的方式将这些固定区域进行叠加；
按照加权投票的方式将所述弱分类器叠加形成强分类器；并将所述强分类器串联获得级联结构的层叠分类器；
步骤S2.5:所述级联结构的层叠分类器根据农作物出现在图像中的位置，对所述原始图片重新进行特征提取获取特征图。
根据农作物出现在图像中的位置，按照采样频率对所有原始图像进行重新提取获取特征图，然后将所述特征图组合生成新的视频图像，且所述特征图为仅保留包含农作物的图像，并实现视频段与时间节点的映射。
在具体实施例中，如图3所示，步骤S3中所述3D卷积神经网络识别模型由输入开始，依次包括第一层硬连接层、第二层卷积层、第三层下采样层、第四层卷积层、第五层下采样层、第六层卷积层、第七层注意力层、第八层全连接层以及第九层归一化指数函数层；
所述第一层硬连接层，用于对特征图的图像帧进行分类获取特征通道信息，并将特征通道信息传递至第二卷积层，所述特征通道信息包括灰度、水平方向梯度、垂直方向梯度、水平方向光流场以及垂直方向光流场；
第一层硬连接层应用了一个固定的hardwired核，对所述特征图的原始的图像帧进行处理，产生5个特征通道信息，所述灰度、水平方向梯度、垂直方向梯度通道以帧为单位计算，水平方向光流场以及垂直方向光流每隔1帧计算1次，所述特征通道信息需要利用两帧的信息才能提取出来；
所述第二层卷积层采用7*7*3的3D卷积核，对第一层硬连接层所输出的特征通道信息进行卷积操作，并获得两组分辨率为54*34的二维优化特征图；
所述第三层下采样层接收优化特征图，采用2*2的采样窗口对所述优化特征图进行下采样操作输出分辨率降低为27*17的第一中间特征图，所述第三层下采样层为池化层；
所述第四层卷积层采用7*6*3的3D卷积核对所述第三层下采样层输出的第一中间特征图进行卷积操作，获得分辨率为21*12的第二中间特征图；
所述第五层下采样层接收分辨率为21*12的第二中间特征图，采用3*3的采样窗口对所述分辨率为21*12的第二中间特征图进行下采样操作，获得分辨率为7*4的第三中间特征图；
所述第六层卷积层采用分辨率为7*4的2D卷积核对第三中间特征图进行卷积操作，获得分辨率为1*1的第四中间特征图，并传输至第七层注意力层；
所述第七层注意力层对所述分辨率为1*1的第四中间特征图根据不同权重值进行过滤，获取分辨率为128*1的最优特征图；
所述128*1的最优特征图依次经过第八层全连接层与第九层归一化指数函数层进行分类识别，并将所有的128*1的二维特征图的特征尺寸拉平为1个维度获得完整的农作物生长状态的数据。
设计3D卷积神经网络(3D Convolutional Neural Networks,3D CNN)识别模型，捕获沿着空间和时间维度的农作物特征，并实现农作物生长时期、叶片、株高、叶面积等信息的分类。所述3D卷积神经网络识别模型可以从相邻的帧生成多个信息通道，并在每个通道中分别执行卷积和下采样操作，且卷积层中的特征图都会与上一层中的多个相邻帧相连。为了提取不同类型特征图，在每一个位置都采用两个尺寸相同，核特征不同的卷积核，此时在第二层卷积层形成了两组尺寸相同的特征图，第三层下采样层采用了最大池化层，对所述第二层卷积层的特征图进行下采样，从而得到空间分辨率降低的特征图，第四层卷积层在5个通道中分别采用9*9*3的3D卷积核，第五层下采样层是下采样操作，第六层卷积层只在空间维度上卷积，第七层注意力层通过不同权重的特征图进行过滤筛选，放大有效的特征，抑制无效的特征，最后依次经过全连接层和归一化指数函数(Softmax)层，输出预测作物生长时期、叶片、株高、叶面积等信息。
在具体实施例中，步骤S4中所述获得相关性特征列表Lrank具体为
为了初步确定不同环境特征对农作物生长的可信度，首先根据传感器信息进行相关性分析，此处选择了Person方法进行相关性分析，利用Person分析方法对不同的所述实时数据与完整的农作物生长周期数据进行相关性分析，计算方法如公式(1)所示：
Figure BDA0004060840820000081
其中，变量x,y分别是传感器特征和同一时刻的生长状态识别结果，
Figure BDA0004060840820000082
分别是变量x,y的均值，xi，yi分别是变量x,y的第i个观测点的值，相关系数r取值范围是[-1,1]，表示变量x,y的线性相关程度，r的绝对值越大，变量x,y的相关程度越强，n是特征维数；
对不同的所述实时数据与完整的农作物生长周期数据进行相关性分析后进行降序排序，获得基于相关性分析的相关性特征列表Lrank；
在具体实施例中，如图4所示，步骤S5中所述的预测农作物生长模型具体为
步骤S5.1:建立双向三层的LSTM模型，所述LSTM模型的结构如公式(2)所示：
Figure BDA0004060840820000091
其中，Wf代表忘记门的权重；Wi代表输入门的权重；
Figure BDA0004060840820000092
代表单元的权重；Wo代表输出门的权重；bf代表Wf所对应的偏置；bi代表Wi所对应的偏置；
Figure BDA0004060840820000093
代表
Figure BDA0004060840820000094
对应的偏置；bo代表Wo对应的偏置；xt为输入序列；ht为当前隐藏层状态；ht-1为上一个隐藏层状态；ft为忘记门；it为输入门；ot为输出门；Ct-1为上一个单元；Ct为当前单元，
Figure BDA0004060840820000095
为获取Ct的中间变量；忘记门ft与上一个状态Ct-1联合决定数据是否保留；
利用短期记忆网络(Long Short-Term Memory，LSTM)训练循环神经网络模型，寻找特征列表Lrank的有效特征，预测农作物生长情况。由于传感器采集的实时信息是基于时间序列的信息，且所述实时数据与农作物生长状态的数据存在一定的关联，因此，考虑增加具有短期记忆能力的神经网络模型，引入了LSTM模型来控制输入信息的累积速度，有选择地加入新的实时数据与农作物生长状态的数据信息，并有选择地遗忘之前积累的输入信息，所述忘记门是一个非线性函数，它可以控制记忆积累信息，或者选择忘记记忆信息。
步骤S5.2：所述双向三层的LSTM模型接收传感器周期性采集的农作物周边生长环境的实时数据，并采用均方差作为评估指标获取均方差最低的相关性特征列表Lrank的子序列；
步骤S5.3：以所述相关性特征列表Lrank的子序列作为双向三层的LSTM模型的输入，通过对所述实时数据按照时间顺序/逆序训练捕获相对应的农作物生长状态的数据，并传输至全连接层进行分类获取农作物生长状态的数据所对应的实时数据；
步骤S5.4：预测农作物生长模型根据农作物生长状态的数据所对应的实时数据，并结合所述3D卷积神经网络识别模型实现对未来农作物生长状态的预测。
采用了双向三层的LSTM模型，双向是指存在两个传递相反信息的循环层，第一循环层按时间顺序传递信息，第二循环层按时间逆序传递信息，它意味着过去和未来的信息均可以成功捕获，这是由于传感器采集实时数据的特征时序因素可以由当前时刻的上一时刻与下一时刻的若干帧的输入信息共同决定。因此，按照该思路设计了双向三层的LSTM模型(预测农作物生长模型)，以相关性特征列表Lrank的子序列作为双向三层的LSTM模型的输入，以同一时刻的农作物生长状态识别结果作为标签，采用均方差作为评估指标，寻找均方差最低时的特征列表Lrank的子序列，并将其作为筛选后的LSTM模型的输入，用以预测今后的农作物生长状态，该方法可以为种植农户和企业提供每日的农作物生长状态信息，为他们安排农作物保护和收获等重要的农事活动做出及时的提醒，且本文提供的的基于多模态信息的二阶段农作物生长预测方法通用性较强，可将其应用到更多的农作物的生长状态的识别与预测中，本方法预测获得的农作物生长状态的精度较高，基于多模态信息获得的农作物生长信息覆盖面较广，误差较低，且鲁棒性较好，系统的容错能力较强。同时本方法适用于自建的农作物图像和文本数据源，用户可以自主训练模型，以适应环境的变化，且传感器的实时数据信息的特征提取列表可自适应用户自建数据源的特点，从而寻找最能代表当前环境的传感器的实时数据。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于多模态信息的二阶段农作物生长预测方法，其特征在于，包括：
步骤S1：周期性采集农作物的生长状态与农作物的种植面积的视频图像，并记录所述视频图像的拍摄时间，所述视频图像为含有时间特性的图像序列；
步骤S2:提取所述视频图像中的关键区域，并获取特征图，所述特征图为包含农作物的图片；
步骤S3：基于3D卷积神经网络识别模型对所述特征图进行识别训练，获取农作物的空间维度特征与时间维度特征，以获得完整的农作物生长周期的状态数据；所述空间维度特征包括农作物的叶片数量、叶面积以及株高，所述时间维度特征为农作物的生长时期；
步骤S4：通过传感器周期性采集农作物周边生长环境的实时数据，对不同的所述实时数据与完整的农作物生长周期的状态数据，进行相关性分析并排序获得相关性特征列表Lrank；
所述实时数据包括空气温度、空气湿度、光照强度、co2浓度、土壤温度、土壤湿度、土壤氮含量、土壤磷含量以及土壤钾含量；
步骤S5：建立预测农作物生长模型，所述预测农作物生长模型根据相关性特征列表Lrank预测农作物的生长状况。
2.根据权利要求1所述的一种基于多模态信息的二阶段农作物生长预测方法，其特征在于，步骤S2中所述获取特征图具体为：
步骤S2.1：按照预设固定时间段为单位提取视频图像，并将所述视频图像截取若干原始图像，所述视频图像通过编程截取获得含有农作物的粗粒度区域图片；
步骤S2.2：所述粗粒度区域图片经过haar-like特征提取获得农作物生长状况的矩形特征，所述haar-like特征包括缘特征、线性特征、中心特征和对角线特征；
步骤S2.3：应用积分图计算方法获取所述矩形特征的矩形特征值，所述积分图包括垂直计算积分图以及45度积分图；
步骤S2.4：使用Adaboost算法根据所述矩形特征值选出含有农作物生长状况的矩形特征的图片，并形成与之对应的弱分类器，每个所述含有农作物的矩形特征形成一个固定区域，并通过加权平均的方式将这些固定区域进行叠加；
按照加权投票的方式将所述弱分类器叠加形成强分类器；并将所述强分类器串联获得级联结构的层叠分类器；
步骤S2.5:所述级联结构的层叠分类器根据农作物出现在图像中的位置，对所述原始图片重新进行特征提取获取特征图。
3.根据权利要求1所述的一种基于多模态信息的二阶段农作物生长预测方法，其特征在于，步骤S3中所述3D卷积神经网络识别模型由输入开始，依次包括第一层硬连接层、第二层卷积层、第三层下采样层、第四层卷积层、第五层下采样层、第六层卷积层、第七层注意力层、第八层全连接层以及第九层归一化指数函数层；
所述第一层硬连接层，用于对特征图的图像帧进行分类获取特征通道信息，并将特征通道信息传递至第二卷积层，所述特征通道信息包括灰度、水平方向梯度、垂直方向梯度、水平方向光流场以及垂直方向光流场；
所述第二层卷积层对第一层硬连接层所输出的特征通道信息进行卷积操作，并获得优化特征图传递至第三层下采样层；
所述第三层下采样层接收所述优化特征图，进行下采样操作获取第一中间特征图，所述第三层下采样层为池化层；
所述第四层卷积层对所述第三层下采样层的输出的第一中间特征图进行卷积操作，获得第二中间特征图；
所述第五层下采样层接收所述第二中间特征图进行下采样操作，获得第三中间特征图；
所述第六层卷积层对所述第三中间特征图进行卷积操作，获得第四中间特征图，并传输至第七层注意力层；
所述第七层注意力层对所述第四中间特征图根据不同权重值进行过滤，获取最优特征图；
所述最优特征图依次经过第八层全连接层与第九层归一化指数函数层进行分类识别，获得完整的农作物生长状态的数据。
4.根据权利要求1所述的一种基于多模态信息的二阶段农作物生长预测方法，其特征在于，步骤S4中所述获得相关性特征列表Lrank具体为
利用Person分析方法对不同的所述实时数据与完整的农作物生长周期数据进行相关性分析，计算方法如公式(1)所示：
Figure FDA0004060840810000031
其中，变量x,y分别是传感器特征和同一时刻的生长状态识别结果，
Figure FDA0004060840810000032
分别是变量x,y的均值，xi，yi分别是变量x,y的第i个观测点的值，相关系数r取值范围是[-1,1]，表示变量x,y的线性相关程度，r的绝对值越大，变量x,y的相关程度越强，n是特征维数；
对不同的所述实时数据与完整的农作物生长周期数据进行相关性分析后进行降序排序，获得基于相关性分析的相关性特征列表Lrank。
5.根据权利要求1所述的一种基于多模态信息的二阶段农作物生长预测方法，其特征在于，步骤S5中所述的预测农作物生长模型具体为
步骤S5.1:建立双向三层的LSTM模型，所述LSTM模型的结构如公式(2)所示：
Figure FDA0004060840810000033
其中，Wf代表忘记门的权重；Wi代表输入门的权重；
Figure FDA0004060840810000034
代表单元的权重；Wo代表输出门的权重；bf代表Wf所对应的偏置；bi代表Wi所对应的偏置；
Figure FDA0004060840810000035
代表
Figure FDA0004060840810000036
对应的偏置；bo代表Wo对应的偏置；xt为输入序列；ht为当前隐藏层状态；ht-1为上一个隐藏层状态；ft为忘记门；it为输入门；ot为输出门；Ct-1为上一个单元；Ct为当前单元。
步骤S5.2：所述双向三层的LSTM模型接收传感器周期性采集的农作物周边生长环境的实时数据，并采用均方差作为评估指标获取均方差最低的相关性特征列表Lrank的子序列；
步骤S5.3：以所述相关性特征列表Lrank的子序列作为双向三层的LSTM模型的输入，通过对所述实时数据按照时间顺序/逆序训练捕获相对应的农作物生长状态的数据，并传输至全连接层进行分类获取农作物生长状态的数据所对应的实时数据；
步骤S5.4：预测农作物生长模型根据农作物生长状态的数据所对应的实时数据，并结合所述3D卷积神经网络识别模型实现对未来农作物生长状态的预测。
CN202310058257.1A 2023-01-13 2023-01-13 一种基于多模态信息的二阶段农作物生长预测方法 Pending CN116051996A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310058257.1A CN116051996A (zh) 2023-01-13 2023-01-13 一种基于多模态信息的二阶段农作物生长预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310058257.1A CN116051996A (zh) 2023-01-13 2023-01-13 一种基于多模态信息的二阶段农作物生长预测方法

Publications (1)

Publication Number Publication Date
CN116051996A true CN116051996A (zh) 2023-05-02

Family

ID=86117894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310058257.1A Pending CN116051996A (zh) 2023-01-13 2023-01-13 一种基于多模态信息的二阶段农作物生长预测方法

Country Status (1)

Country Link
CN (1) CN116051996A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116310844A (zh) * 2023-05-18 2023-06-23 四川凯普顿信息技术股份有限公司 一种农业作物生长监测系统
CN116307266A (zh) * 2023-05-15 2023-06-23 山东建筑大学 作物生长预测方法、装置、电子设备及存储介质
CN116757507A (zh) * 2023-08-14 2023-09-15 武汉理工大学 一种作物灌浆过程预测方法、系统、电子设备及存储介质
CN116863403A (zh) * 2023-07-11 2023-10-10 仲恺农业工程学院 一种农作物大数据环境监测方法、装置及电子设备
CN117237800A (zh) * 2023-08-01 2023-12-15 广州智在信息科技有限公司 基于人工智能的作物生长监控方法及计算机设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116307266A (zh) * 2023-05-15 2023-06-23 山东建筑大学 作物生长预测方法、装置、电子设备及存储介质
CN116310844A (zh) * 2023-05-18 2023-06-23 四川凯普顿信息技术股份有限公司 一种农业作物生长监测系统
CN116863403A (zh) * 2023-07-11 2023-10-10 仲恺农业工程学院 一种农作物大数据环境监测方法、装置及电子设备
CN116863403B (zh) * 2023-07-11 2024-01-02 仲恺农业工程学院 一种农作物大数据环境监测方法、装置及电子设备
CN117237800A (zh) * 2023-08-01 2023-12-15 广州智在信息科技有限公司 基于人工智能的作物生长监控方法及计算机设备
CN116757507A (zh) * 2023-08-14 2023-09-15 武汉理工大学 一种作物灌浆过程预测方法、系统、电子设备及存储介质
CN116757507B (zh) * 2023-08-14 2023-11-10 武汉理工大学 一种作物灌浆过程预测方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN116051996A (zh) 一种基于多模态信息的二阶段农作物生长预测方法
CN108734208B (zh) 基于多模态深度迁移学习机制的多源异构数据融合系统
Chen et al. An improved Yolov3 based on dual path network for cherry tomatoes detection
CN110532961B (zh) 一种基于多尺度注意机制网络模型的语义交通信号灯检测方法
CN111898503B (zh) 基于云覆盖遥感影像和深度学习的作物识别方法和系统
Lv et al. A visual identification method for the apple growth forms in the orchard
CN115115830A (zh) 一种基于改进Transformer的家畜图像实例分割方法
Paymode et al. Tomato leaf disease detection and classification using convolution neural network
CN113470076A (zh) 一种平养鸡舍黄羽鸡多目标跟踪方法
CN116681929A (zh) 一种麦类作物病害图像识别方法
CN117830788B (zh) 一种多源信息融合的图像目标检测方法
CN111027436A (zh) 一种基于深度学习的东北黑木耳病虫害图像识别系统
CN117789037A (zh) 作物生长期预测方法及装置
Zhang et al. A precise apple leaf diseases detection using BCTNet under unconstrained environments
Ärje et al. Automatic flower detection and classification system using a light-weight convolutional neural network
Dhayabarani et al. Detection of weed using neural networks
CN117392535A (zh) 一种面向复杂环境的果树花芽目标检测与白点率估算方法
CN116977862A (zh) 一种植物生长阶段视频检测方法
CN117095153A (zh) 一种多模态果实感知系统、装置及存储介质
Araneta et al. Controlled Environment for Spinach Cultured Plant with Health Analysis using Machine Learning
Li et al. Early drought plant stress detection with bi-directional long-term memory networks
Amemiya et al. Appropriate grape color estimation based on metric learning for judging harvest timing
Stanski et al. Flower detection using object analysis: new ways to quantify plant phenology in a warming tundra biome
Wang et al. Integrating field images and microclimate data to realize multi-day ahead forecasting of maize crop coverage using CNN-LSTM
Li et al. Research on the application and future development of visual recognition in modern agriculture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination