CN113705937A - 联合机器视觉与作物模型的作物估产方法 - Google Patents

联合机器视觉与作物模型的作物估产方法 Download PDF

Info

Publication number
CN113705937A
CN113705937A CN202111251584.6A CN202111251584A CN113705937A CN 113705937 A CN113705937 A CN 113705937A CN 202111251584 A CN202111251584 A CN 202111251584A CN 113705937 A CN113705937 A CN 113705937A
Authority
CN
China
Prior art keywords
crop
model
observation
state
date
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111251584.6A
Other languages
English (en)
Other versions
CN113705937B (zh
Inventor
史良胜
韩景晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202111251584.6A priority Critical patent/CN113705937B/zh
Publication of CN113705937A publication Critical patent/CN113705937A/zh
Application granted granted Critical
Publication of CN113705937B publication Critical patent/CN113705937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Animal Husbandry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mining & Mineral Resources (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Agronomy & Crop Science (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种联合机器视觉与作物模型的作物估产方法，包括：对作物进行多角度拍摄冠层照片；从上述的多角度照片中提取作物状态观测数据；将从所有照片中提取的同一类作物状态数据进行融合；使用作物生长模型，结合当前日期的数据对作物生长进行预测，得到下一日期的作物状态；使用数据同化方法，将步骤3中融合后的观测数据与步骤4中预测的状态进行加权，以得到当前日期的作物状态的最优估计；将上述最优估计的作物状态作为步骤4的初始条件，再预测下一拍摄日期的作物状态；重复上述步骤，直到将所有观测数据都进行同化更新，从而得到作物全生长季的作物状态和产量的预测值。本发明可以通过观测数据来纠正模型偏差，从而提高产量预测精度。

Description

联合机器视觉与作物模型的作物估产方法
技术领域
本发明属于作物产量智能预测的技术领域，具体涉及一种联合机器视觉与作物模型的作物估产方法。
背景技术
作物估产对国家粮食安全保障具有重大意义。中国南方作物以小农模式为主，田块分散且面积小，其管理方式也因人而异。这些因素使得不同的田块生长差异明显，从而给作物产量预测带来了巨大的挑战。
目前，我国的农业估产方式主要依赖于人工调查，该方法人力资源消耗大，时间耗费长且精度低。随着遥感技术的发展，无人机与卫星也逐渐被应用于农业估产。这些技术对天气要求高，获取的数据时空分辨率低，因此不适用于多雨且田块面积小的中国南方地区。
智能手机的普及使得高时空分辨率的农田影像获取变得简单。已有的研究表明，可以使用机器视觉方法来从高分辨率影像中提取农田信息，如估算叶面积指数(LAI)，监测生育期变化等等。但目前对提取出的农田信息缺乏有效的利用手段，仅仅作为一个新监测手段，对当下的作物状态进行估计，难以被应用于产量预测。作物生长模型可以利用气象数据，作物生理数据与环境数据来模拟作物生长，从而进行产量预测。而作物模型不可避免得结构误差与输入误差会导致最终的预测产量精度大幅下降。
因此，在人工调查和卫星无人机遥感技术难以应用的背景下，单一地使用机器视觉技术或是作物模型方法，依然不能保证作物估产精度。
发明内容
本发明的目的在于针对现有技术的不足之处，提供一种联合机器视觉与作物模型的作物估产方法，该方法联合使用了机器视觉模型与作物生长模型，可以通过观测数据来纠正模型偏差，从而提高产量预测精度。
为解决上述技术问题，本发明采用如下技术方案：
一种联合机器视觉与作物模型的作物估产方法，其特征在于，包括如下步骤：
步骤1，采用拍摄设备在一个或多个日期对作物进行多角度拍摄冠层照片；
步骤2，使用机器视觉模型从步骤S1中的多角度照片中提取作物状态观测数据，并对各个观测数据的不确定性进行量化；
步骤3，将从所有照片中提取的同一类作物状态数据融合为一个，并将同一次观测的所有照片得到的多组作物状态融合为一组；
步骤4，使用作物生长模型，结合当前日期的初始条件、作物参数、农田管理数据和气象数据对作物生长进行预测，得到下一拍摄日期的作物状态；
步骤5，使用数据同化方法，将步骤3中融合后的观测数据与步骤4中预测的状态进行加权，以得到当前日期的作物状态的最优估计；
步骤6，将步骤5得到的最优估计的作物状态作为步骤4的初始条件，再进行预测得到下一拍摄日期的作物状态，并执行步骤5进行更新；重复上述步骤，直到将得到的所有观测数据都进行同化更新，从而得到最终作物全生长季的作物状态和产量的预测值。
进一步地，步骤2中，机器视觉模型采用卷积神经网络模型，其任务采用分类任务，其运用包含以下几个子步骤：
步骤2-1、模型训练：
模型选择卷积神经网络，损失函数采用交叉熵损失，在标签建立上使用分布式标签，标签的数目为M，标签满足正态分布：
Figure 338323DEST_PATH_IMAGE001
其中，
Figure 735806DEST_PATH_IMAGE002
为训练标签的实际值田间观测值，
Figure 527045DEST_PATH_IMAGE003
为标签的标准差；
步骤2-2、模型应用：
对于每一张照片，经过步骤2-1中训练好的模型计算后对每一个观测类型输出一个概率分布，使用该概率分布计算出该观测的期望与方差。
进一步地，步骤3中融合的方法为：对同一日期观测的所有照片解译出的作物状态进行加权平均，权重依据各张照片的标准差确定。
进一步地，步骤4具体还包含如下几个子步骤：
步骤4-1数据收集：
收集初始条件、作物参数、农田管理数据、以及气象数据；
步骤4-2模型初始化：
对敏感作物参数进行抽样，各样本参数均采用正态分布来生成，其正态分布均值为步骤4-1中所收集的参数值；
步骤4-3模型预测：
在模型初始化后，即进行模型预测，每一个模型样本的预测状态均包含每天的作物状态。
进一步地，步骤4-1中的初始条件包括但不限于：播种日期、种植密度、移栽日期、土壤结构参数、土壤氮素状况、土壤含水率或地表水层深度；
收集作物参数包括但不限于：各生育期所需积温、各生育期单位叶面积质量、各生育期干物质分配系数；
收集的农田管理数据包括但不限于：各次灌水时间及灌水量、各次施肥时间及施肥类型与施肥量；
收集的气象数据包括：日最高温、日最低温、日总辐射量、日平均风速、日平均水汽压或日平均湿度、日降水量。
进一步地，步骤4-2中的敏感参数包括但不限于：各生育期所需积温、各生育期单位叶面积质量、各生育期干物质分配系数、叶片死亡速率。
进一步地，步骤4-3中的作物状态包括但不限于：绿叶质量、黄叶质量、茎质量(
Figure 668176DEST_PATH_IMAGE004
)、穗质量、生育期绿叶面积指数、黄叶面积指数、茎面积指数、穗面积指数。
进一步地，步骤5具体包括如下子步骤：
步骤5-1构建先验状态矩阵：
通过步骤4得到t时刻的状态向量组成矩阵
Figure 523743DEST_PATH_IMAGE005
:
Figure 92128DEST_PATH_IMAGE006
式中，i表示样本标号，N代表样本数量，
Figure 573925DEST_PATH_IMAGE007
代表t日期第i个模型样本的预测状态 向量；
步骤5-2构建观测矩阵：
通过步骤3得到t日期的观测期望和观测方差来生成观测矩阵，生成方法基于正太 分布的抽样，正太分布的均值为步骤3得到的各个观测的期望，方差为S3得到的各个观测的 方差，抽样的数量与步骤4的作物模型样本数一致，最终抽样得到的观测矩阵
Figure 518747DEST_PATH_IMAGE008
为:
Figure 700592DEST_PATH_IMAGE009
式中，i表示样本标号，N代表样本数量，
Figure 705457DEST_PATH_IMAGE010
代表t日期第i个观测样本的观测状态 向量，
Figure 205708DEST_PATH_IMAGE011
由多个观测值组成：
Figure 891905DEST_PATH_IMAGE012
式中，
Figure 426791DEST_PATH_IMAGE013
表示t日期的 第i个观测样本抽样得到的各类观测状态观测值, 如在步骤2中解译出了更多作物状态，则 扩充该观测向量；
步骤5-3状态更新：
使用数据同化方法，利用t日期的观测矩阵
Figure 858951DEST_PATH_IMAGE008
更新预测矩阵
Figure 112078DEST_PATH_IMAGE014
，得到更新后的预 测矩阵
Figure 133123DEST_PATH_IMAGE015
：
Figure 788096DEST_PATH_IMAGE016
式中，a表示同化更新过程，f代表预测过程，H代表观测算子，
Figure 636228DEST_PATH_IMAGE017
代表t日期的卡尔 曼增益，表示为：
Figure 111072DEST_PATH_IMAGE018
式中，
Figure 935808DEST_PATH_IMAGE019
为t日期的观测误差矩阵；
Figure 179708DEST_PATH_IMAGE020
为t日期的状态向量协方差矩阵，表示为：
Figure 195812DEST_PATH_IMAGE021
式中，
Figure 361214DEST_PATH_IMAGE022
代表集合平均值。
与现有技术相比，本发明的有益效果为：
1）本发明联合使用了机器视觉模型与作物生长模型，既利用了先验的物理知识，可对作物生长进行预测；又融入了实测数据，可以通过观测数据来纠正模型偏差，从而提高产量预测精度；
2）本发明观测数据获取简便，本发明所需设备仅为智能手机或数码相机，且不需要额外的标定过程和特定的拍摄要求，在各种天气情况下都可以采集田间照片，获取观测数据；
3）本发明观测类型丰富，由于使用获取的数码照片分辨率高，可以提取到传统观测无法获取的叶质量，茎质量与穗质量；在一次观测中获取的照片可以提取至少六类作物状态；
4）本发明可评价观测得不确定性，其使用了深度卷积神经网络的分类任务，对照片的预测以概率分布的形式输出，可用以计算观测方差，有效避免了观测误差的影响；
5）本发明可实时给出预测结果，由于其使用了顺序性数据同化方法EnKF，计算速度快，每获取一张田间照片都能立即提高最终产量的估计精度，可以对作物产量实时预测；
6）可拓展性强；由于作物模型状态变量丰富，观测类型状态丰富，随着作物模型的发展与图片解译手段的进步，可同化的观测类型会逐步变多，该方法对产量预测结果会随之提高。
附图说明
图1为本发明实施例作物估产方法的流程图；
图 2 为本发明实施例中多个日期拍摄的多角度作物冠层照片；
图 3 为本发明实施例中使用卷积神经网络模型从照片中提取的穗质量概率分布、期望和方差，其中，图3（a）为从图2的e1中提取的穗质量概率分布、期望和方差，图3（b）为从图2的e2中提取的穗质量概率分布、期望和方差；
图 4 为本发明实施例中在无观测和有观测情况下对植物面积指数的预测结果；
图 5 为本发明实施例中涉及的在无观测和有观测情况下对产量形成的预测结果。
具体实施方式
下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合具体实施例对本发明作进一步说明，但不作为本发明的限定。
本发明提供一种联合机器视觉与作物模型的作物估产方法，如图1所示，包括以下步骤：
步骤1，采用拍摄设备在一个或多个日期拍摄作物多角度冠层照片；其中，可在农田不同的地点进行拍摄，其拍摄角度也可在保证不拍摄到其他物体的前提下选择任意角度拍摄。在本实施例分别在不同的六天拍摄，每次拍摄两张，拍摄的照片及对应日期如图2所示，当然在别的实施例中可以根据需要选择别的拍摄日期和角度 。
步骤2，使用机器视觉模型从步骤1中的多角度照片中提取作物状态观测数据，并对各个观测数据的不确定性进行量化，其中，作物状态包括但不限于物候期(DVS)，植物面积指数(PAI)，地上生物量(AGB)，叶片质量(LEA)，茎质量(STE)，穗质量(GRA)等；在该步骤中，机器视觉模型采用卷积神经网络模型，其任务采用分类任务而非回归任务，其运用包含以下几个子步骤：
步骤2-1、模型训练：
模型可选择任意架构的卷积神经网络，损失函数可采用交叉熵损失，在标签建立上使用分布式标签而非传统的One-Hot标签，标签的数目为M，标签满足正态分布：
Figure 989642DEST_PATH_IMAGE023
其中，
Figure 353627DEST_PATH_IMAGE024
为训练标签的实际值田间观测值，
Figure 543562DEST_PATH_IMAGE025
为标签的标准差；
步骤2-2、模型应用：
对于每一张照片，经过步骤2-1中训练好的模型计算，会对每一个观测类型输出一个概率分布，使用该概率分布可计算该观测的期望与方差；
具体操作中，将拍摄的作物冠层照片输入选择好的卷积神经网络，计算出各类作物状态的概率分布，其中，作物状态的概率分布包括但不限于：物候期（DVS），植物面积指数(PAI)，地上生物量（AGB），叶片质量（LEA），茎质量（STE），穗质量（GRA）。在本实施例中，使用卷积神经网络从图2的e1和图2的e2中提取的GRA的概率分布、期望和方差如图3所示，其中，图3（a）为从图2的e1中提取的穗质量概率分布、期望和方差，图3（b）为从图2的e2中提取的穗质量概率分布、期望和方差。利用上述作物状态概率分布计算对应作物状态的均值和标准差，以观测类型GRA为例，计算公式为：
Figure 992998DEST_PATH_IMAGE026
Figure DEST_PATH_IMAGE027
其中，
Figure 425116DEST_PATH_IMAGE028
是GRA的标签类别编号，M是概率分布的标签类别数量，
Figure 643608DEST_PATH_IMAGE029
是将编号
Figure 1515DEST_PATH_IMAGE028
转换 为GRA值的函数，
Figure 672668DEST_PATH_IMAGE030
是GRA标签类别
Figure 174056DEST_PATH_IMAGE028
对应的概率。
步骤3，将步骤2中从所有照片中提取的同一类作物状态数据融合为一个，并将从同一次观测的所有照片中得到的多组作物状态被融合为一组；
在该步骤中，将同一日期的一张或多张照片转化为观测向量
Figure 247054DEST_PATH_IMAGE031
:
Figure 778792DEST_PATH_IMAGE032
式中，
Figure 937241DEST_PATH_IMAGE033
表示t日期的各观测 状态，如在步骤2中解译出了更多作物状态，则扩充该观测向量。
之后对同一日期观测的所有照片解译出的作物状态进行加权平均，权重依据各张 照片的标准差确定；以观测类型GRA为例，其融合后期望
Figure 648845DEST_PATH_IMAGE034
和方差
Figure 841929DEST_PATH_IMAGE035
满足：
Figure 541638DEST_PATH_IMAGE036
Figure 452962DEST_PATH_IMAGE037
其中，
Figure 764995DEST_PATH_IMAGE028
是照片的编号，
Figure 812586DEST_PATH_IMAGE038
是照片的数量，
Figure 686126DEST_PATH_IMAGE039
是第
Figure 22429DEST_PATH_IMAGE028
张照片的的GRA的期望值，
Figure 138153DEST_PATH_IMAGE040
是第
Figure 40250DEST_PATH_IMAGE028
张照片的的GRA的方差值。
在本实施例中，一组观测向量是将同一天的两张照片解译的12个观测融合成6个观测，同一天的一组融合后观测向量包含了6个期望和6个标准差；全生长季六次观测的期望和标准差如表一和表二所示；
表一 融合后各类观测期望
Figure 583227DEST_PATH_IMAGE041
表二 融合后各类观测的标准差
Figure 702099DEST_PATH_IMAGE042
步骤4，在无观测情况下，结合当前日期的初始条件、作物参数、农田管理数据和气象数据对作物生长进行预测，得到下一拍摄日期的作物状态：
Figure 621513DEST_PATH_IMAGE043
式中，i表示样本标号，N代表样本数量，
Figure 378117DEST_PATH_IMAGE044
代表t日期第i个模型样本的预测状态 向量；
在该步骤中，作物模型可以是各种不同机制的作物模型，包括但不限于ORYZA2000、CERES、RiceGrow、AquaCrop、APSIM等，使用的数据同化方法包括但不限定集合卡尔曼滤波方法（EnKF），该步骤具体包含如下几个子步骤：
步骤4-1数据收集：
收集初始条件包括但不限于：播种日期、种植密度、移栽日期、土壤结构参数、土壤氮素状况、土壤含水率或地表水层深度等；
收集作物参数包括但不限于：各生育期所需积温、各生育期单位叶面积质量、各生育期干物质分配系数等；
收集的农田管理数据包括但不限于：各次灌水时间及灌水量、各次施肥时间及施肥类型与施肥量等；
收集的气象数据包括：日最高温、日最低温、日总辐射量、日平均风速、日平均水汽压或日平均湿度、日降水量。
步骤4-2模型初始化：
集合卡尔曼滤波方法（EnKF）通过生成大量作物模型样本组成样本集合来模拟作物生长，各样本数据均来自于步骤4-1；为实现EnKF方法，需对敏感作物参数进行抽样，敏感参数包括但不限于：各生育期所需积温、各生育期单位叶面积质量、各生育期干物质分配系数、叶片死亡速率等。各样本参数均采用正态分布来生成，其正态分布均值为S4-1中所收集的参数值。
步骤4-3模型预测：
在模型初始化后，即可进行模型预测，每一个模型样本的预测状态均包含每天的 作物状态，作物状态包括但不限于：绿叶质量（
Figure 91995DEST_PATH_IMAGE045
）、黄叶质量(
Figure 701093DEST_PATH_IMAGE046
)、茎质量(
Figure 158619DEST_PATH_IMAGE047
)、穗质量(
Figure 972991DEST_PATH_IMAGE048
)、生育期(
Figure 123350DEST_PATH_IMAGE049
)、绿叶面积指数(
Figure 951235DEST_PATH_IMAGE050
)、黄叶面积指数（
Figure 946873DEST_PATH_IMAGE051
）、茎面积指数（
Figure 474806DEST_PATH_IMAGE052
）、穗面积指数（
Figure 796066DEST_PATH_IMAGE053
）等。
在本实施例，以植物面积指数(PAI)预测为例，在无观测情况下(即单一作物模型的预测) ，结合当前日期的相关参数对作物生长进行预测，得到下一拍摄日期的作物状态结果如图4中点划线所示。
步骤5，作物模型更新；使用数据同化方法，将步骤3中融合后的观测数据与步骤4中预测的状态进行加权，以得到当前日期的作物状态的最优估计；该步骤具体包括如下子步骤：
步骤5-1构建先验状态矩阵：
通过步骤4得到t日期的状态向量组成矩阵
Figure 848598DEST_PATH_IMAGE054
:
Figure 913506DEST_PATH_IMAGE055
式中i表示样本标号，N代表样本数量，
Figure 699541DEST_PATH_IMAGE007
代表t日期第i个模型样本的预测状态向 量；
步骤5-2构建观测矩阵：
通过步骤3得到t日期的观测期望和观测方差来生成观测矩阵，生成方法基于正太 分布的抽样，正太分布的均值为步骤3得到的各个观测的期望，方差为步骤3得到的各个观 测的方差，抽样的数量与步骤4的作物模型样本数一致，最终抽样得到的观测矩阵
Figure 926123DEST_PATH_IMAGE008
为:
Figure 752038DEST_PATH_IMAGE056
式中，i表示样本标号，N代表样本数量，
Figure 151795DEST_PATH_IMAGE010
代表t日期第i个观测样本的观测状态 向量，
Figure 592004DEST_PATH_IMAGE057
由多个观测值组成：
Figure 255067DEST_PATH_IMAGE058
式中，
Figure 485453DEST_PATH_IMAGE059
表示t日期的第i个观测样本抽样得到的各类观测状态观测值, 如在步骤2中解译出了更多作物状态，则扩 充该观测向量；
步骤5-3状态更新：
使用EnKF方法，利用t日期的观测矩阵
Figure 892164DEST_PATH_IMAGE008
更新预测矩阵
Figure 452458DEST_PATH_IMAGE014
，得到更新后的预测矩 阵
Figure 20842DEST_PATH_IMAGE015
：
Figure 797912DEST_PATH_IMAGE060
式中，a表示同化更新过程，f代表预测过程，H代表观测算子，
Figure 8314DEST_PATH_IMAGE017
代表t日期的卡尔 曼增益，表示为：
Figure 626377DEST_PATH_IMAGE061
式中，
Figure 365663DEST_PATH_IMAGE019
为t日期的观测误差矩阵；
Figure 131493DEST_PATH_IMAGE020
为t日期的状态向量协方差矩阵，表示为：
Figure 381471DEST_PATH_IMAGE062
式中，
Figure 650779DEST_PATH_IMAGE022
代表集合平均值。
以植物面积指数(PAI)预测为例，同化了观测数据后的结果如图4中实线所示。
步骤6，作物长势和产量预测；将步骤5得到的最优估计的作物状态作为步骤4的初 始条件，再进行预测得到下一拍摄日期的作物状态，并执行步骤5进行更新；重复上述步骤， 直到将得到的所有观测数据都进行同化更新，从而得到最终作物全生长季的作物状态和产 量的预测值。在该步骤中，即用在步骤5同化更新后的状态向量
Figure 29807DEST_PATH_IMAGE015
替换在步骤4预测得到的
Figure 17355DEST_PATH_IMAGE014
，然后再次运行步骤4和步骤5，重复运行，直到基于步骤1、步骤2和步骤3得到的观测数 据全部被同化，从而得到最终作物全生长季的作物状态和产量的预测值。
在该实施例中，将步骤3中得到的所有观测数据全部同化后，即可得到作物的生长过程和产量的形成过程，其预测结果如图5所示。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (8)

1.一种联合机器视觉与作物模型的作物估产方法，其特征在于，包括如下步骤：
步骤1，采用拍摄设备在一个或多个日期对作物进行多角度拍摄冠层照片；
步骤2，使用机器视觉模型从步骤S1中的多角度照片中提取作物状态观测数据，并对各个观测数据的不确定性进行量化；
步骤3，将从所有照片中提取的同一类作物状态数据融合为一个，并将同一次观测的所有照片得到的多组作物状态融合为一组；
步骤4，使用作物生长模型，结合当前日期的初始条件、作物参数、农田管理数据和气象数据对作物生长进行预测，得到下一拍摄日期的作物状态；
步骤5，使用数据同化方法，将步骤3中融合后的观测数据与步骤4中预测的状态进行加权，以得到当前日期的作物状态的最优估计；
步骤6，将步骤5得到的最优估计的作物状态作为步骤4的初始条件，再进行预测得到下一拍摄日期的作物状态，并执行步骤5进行更新；重复上述步骤，直到将得到的所有观测数据都进行同化更新，从而得到最终作物全生长季的作物状态和产量的预测值。
2.根据权利要求1所述的联合机器视觉与作物模型的作物估产方法，其特征在于，步骤2中，机器视觉模型采用卷积神经网络模型，其任务采用分类任务，其运用包含以下几个子步骤：
步骤2-1、模型训练：
模型选择卷积神经网络，损失函数采用交叉熵损失，在标签建立上使用分布式标签，标签的数目为M，标签满足正态分布：
Figure 8579DEST_PATH_IMAGE001
其中，
Figure 867951DEST_PATH_IMAGE002
为训练标签的实际值田间观测值，
Figure 539104DEST_PATH_IMAGE003
为标签的标准差；
步骤2-2、模型应用：
对于每一张照片，经过步骤2-1中训练好的模型计算后对每一个观测类型输出一个概率分布，使用该概率分布计算出该观测的期望与方差。
3.根据权利要求1所述的联合机器视觉与作物模型的作物估产方法，其特征在于，步骤3中融合的方法为：对同一日期观测的所有照片解译出的作物状态进行加权平均，权重依据各张照片的标准差确定。
4.根据权利要求1所述的联合机器视觉与作物模型的作物估产方法，其特征在于，步骤4具体还包含如下几个子步骤：
步骤4-1数据收集：
收集初始条件、作物参数、农田管理数据、以及气象数据；
步骤4-2模型初始化：
对敏感作物参数进行抽样，各样本参数均采用正态分布来生成，其正态分布均值为步骤4-1中所收集的参数值；
步骤4-3模型预测
在模型初始化后，即进行模型预测，每一个模型样本的预测状态均包含每天的作物状态。
5.根据权利要求4所述的联合机器视觉与作物模型的作物估产方法，其特征在于，步骤4-1中的初始条件包括但不限于：播种日期、种植密度、移栽日期、土壤结构参数、土壤氮素状况、土壤含水率或地表水层深度；
收集作物参数包括但不限于：各生育期所需积温、各生育期单位叶面积质量、各生育期干物质分配系数；
收集的农田管理数据包括但不限于：各次灌水时间及灌水量、各次施肥时间及施肥类型与施肥量；
收集的气象数据包括：日最高温、日最低温、日总辐射量、日平均风速、日平均水汽压或日平均湿度、日降水量。
6.根据权利要求4所述的联合机器视觉与作物模型的作物估产方法，其特征在于，步骤4-2中的敏感参数包括但不限于：各生育期所需积温、各生育期单位叶面积质量、各生育期干物质分配系数、叶片死亡速率。
7.根据权利要求4所述的联合机器视觉与作物模型的作物估产方法，其特征在于，步骤4-3中的作物状态包括但不限于：绿叶质量、黄叶质量、茎质量、穗质量、生育期绿叶面积指数、黄叶面积指数、茎面积指数、穗面积指数。
8.根据权利要求1所述的联合机器视觉与作物模型的作物估产方法，其特征在于，步骤5具体包括如下子步骤：
步骤5-1构建先验状态矩阵：
通过步骤4得到t日期的状态向量组成矩阵
Figure 276378DEST_PATH_IMAGE004
:
Figure 349376DEST_PATH_IMAGE005
式中，i表示样本标号，N代表样本数量，
Figure 379649DEST_PATH_IMAGE006
代表t日期第i个模型样本的预测状态向量；
步骤5-2构建观测矩阵：
通过步骤3得到t日期的观测期望和观测方差来生成观测矩阵，生成方法基于正太分布 的抽样，正太分布的均值为步骤3得到的各个观测的期望，方差为S3得到的各个观测的方 差，抽样的数量与步骤4的作物模型样本数一致，最终抽样得到的观测矩阵
Figure 334835DEST_PATH_IMAGE007
为:
Figure 607291DEST_PATH_IMAGE008
式中，i表示样本标号，N代表样本数量，
Figure 534796DEST_PATH_IMAGE009
代表t日期第i个观测样本的观测状态向 量，
Figure 735970DEST_PATH_IMAGE010
由多个观测值组成：
Figure 116136DEST_PATH_IMAGE011
式中，
Figure 929634DEST_PATH_IMAGE012
表示t日期的第i个 观测样本抽样得到的各类观测状态观测值， 如在步骤2中解译出了更多作物状态，则扩充 该观测向量；
步骤5-3状态更新：
使用数据同化方法，利用t日期的观测矩阵
Figure 649328DEST_PATH_IMAGE013
更新预测矩阵
Figure 21403DEST_PATH_IMAGE014
，得到更新后的预测矩 阵
Figure 888865DEST_PATH_IMAGE015
：
Figure 4589DEST_PATH_IMAGE016
式中，a表示同化更新过程，f代表预测过程，H代表观测算子，
Figure 405221DEST_PATH_IMAGE017
代表t日期的卡尔曼增 益，表示为：
Figure 948198DEST_PATH_IMAGE018
式中，
Figure 302956DEST_PATH_IMAGE019
为t日期的观测误差矩阵；
Figure 222370DEST_PATH_IMAGE020
为t日期的状态向量协方差矩阵，表示为：
Figure 277176DEST_PATH_IMAGE021
式中，
Figure 991054DEST_PATH_IMAGE022
代表集合平均值。
CN202111251584.6A 2021-10-27 2021-10-27 一种联合机器视觉与作物模型的农田估产方法 Active CN113705937B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111251584.6A CN113705937B (zh) 2021-10-27 2021-10-27 一种联合机器视觉与作物模型的农田估产方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111251584.6A CN113705937B (zh) 2021-10-27 2021-10-27 一种联合机器视觉与作物模型的农田估产方法

Publications (2)

Publication Number Publication Date
CN113705937A true CN113705937A (zh) 2021-11-26
CN113705937B CN113705937B (zh) 2022-01-14

Family

ID=78646982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111251584.6A Active CN113705937B (zh) 2021-10-27 2021-10-27 一种联合机器视觉与作物模型的农田估产方法

Country Status (1)

Country Link
CN (1) CN113705937B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965161A (zh) * 2023-02-14 2023-04-14 联通(四川)产业互联网有限公司 一种基于人工智能和历史数据的农作物产量预测方法
CN117197062A (zh) * 2023-08-30 2023-12-08 武汉大学 一种基于rgb图像的叶片氮含量测量方法及系统
CN117634225A (zh) * 2024-01-24 2024-03-01 中国农业科学院农业资源与农业区划研究所 基于作物生长通用模型和曲线拟合法的油料作物产量模拟调参方法和系统

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824223A (zh) * 2014-02-21 2014-05-28 浙江大学 基于MapReduce和神经网络的农作物产量遥感估算方法
CN103955860A (zh) * 2014-04-17 2014-07-30 中国农业大学 一种基于集合卡尔曼滤波同化的区域作物估产方法
US20170161560A1 (en) * 2014-11-24 2017-06-08 Prospera Technologies, Ltd. System and method for harvest yield prediction
CN106845428A (zh) * 2017-01-26 2017-06-13 中国科学院遥感与数字地球研究所 一种作物产量遥感估算方法及系统
CN109345039A (zh) * 2018-11-13 2019-02-15 中国水利水电科学研究院 一种综合考虑水盐胁迫的作物产量预测方法
CN109558939A (zh) * 2018-10-29 2019-04-02 广东奥博信息产业股份有限公司 一种基于神经网络的作物生长模型选择方法及装置
CN109829234A (zh) * 2019-01-30 2019-05-31 北京师范大学 一种基于高分辨率遥感数据和作物模型的跨尺度高精度动态作物长势监测和估产方法
CN110222870A (zh) * 2019-05-05 2019-09-10 中国农业大学 同化卫星荧光数据与作物生长模型的区域冬小麦估产方法
CN110321917A (zh) * 2019-04-24 2019-10-11 武汉大学 无参数的农田数据同化方法
CN110321774A (zh) * 2019-04-04 2019-10-11 平安科技（深圳）有限公司 农作物灾情评估方法、装置、设备及计算机可读存储介质
CN110579987A (zh) * 2019-09-10 2019-12-17 西京学院 基于lora通讯的智慧果园信息控制系统及方法
CN110633841A (zh) * 2019-08-13 2019-12-31 中国农业大学 基于集合采样的省级范围地块尺度快速数据同化产量预测方法
CN110927082A (zh) * 2019-11-25 2020-03-27 北京大学 一种基于无人机成像高光谱遥感的冬小麦产量预测方法
CN111241912A (zh) * 2019-12-18 2020-06-05 安徽易刚信息技术有限公司 一种基于机器学习算法的多植被指数的水稻产量估测方法
CN111275567A (zh) * 2020-01-15 2020-06-12 新疆疆天航空科技有限公司 基于无人机影像的senp棉花产量估算方法及估算模型构建方法
CN111932388A (zh) * 2020-07-06 2020-11-13 广东技术师范大学 基于多层级变量分析的作物产量预测方法和装置
CN112257908A (zh) * 2020-09-30 2021-01-22 嘉应学院 一种山区农业多源异构数据的整合方法及装置
US10949661B2 (en) * 2018-11-21 2021-03-16 Amazon Technologies, Inc. Layout-agnostic complex document processing system
CN112711900A (zh) * 2020-12-02 2021-04-27 济南浪潮高新科技投资发展有限公司 一种农作物数字孪生建模方法
WO2021126484A1 (en) * 2019-12-16 2021-06-24 X Development Llc Edge-based crop yield prediction

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824223A (zh) * 2014-02-21 2014-05-28 浙江大学 基于MapReduce和神经网络的农作物产量遥感估算方法
CN103955860A (zh) * 2014-04-17 2014-07-30 中国农业大学 一种基于集合卡尔曼滤波同化的区域作物估产方法
US20170161560A1 (en) * 2014-11-24 2017-06-08 Prospera Technologies, Ltd. System and method for harvest yield prediction
CN106845428A (zh) * 2017-01-26 2017-06-13 中国科学院遥感与数字地球研究所 一种作物产量遥感估算方法及系统
CN109558939A (zh) * 2018-10-29 2019-04-02 广东奥博信息产业股份有限公司 一种基于神经网络的作物生长模型选择方法及装置
CN109345039A (zh) * 2018-11-13 2019-02-15 中国水利水电科学研究院 一种综合考虑水盐胁迫的作物产量预测方法
US10949661B2 (en) * 2018-11-21 2021-03-16 Amazon Technologies, Inc. Layout-agnostic complex document processing system
CN109829234A (zh) * 2019-01-30 2019-05-31 北京师范大学 一种基于高分辨率遥感数据和作物模型的跨尺度高精度动态作物长势监测和估产方法
CN110321774A (zh) * 2019-04-04 2019-10-11 平安科技（深圳）有限公司 农作物灾情评估方法、装置、设备及计算机可读存储介质
CN110321917A (zh) * 2019-04-24 2019-10-11 武汉大学 无参数的农田数据同化方法
CN110222870A (zh) * 2019-05-05 2019-09-10 中国农业大学 同化卫星荧光数据与作物生长模型的区域冬小麦估产方法
CN110633841A (zh) * 2019-08-13 2019-12-31 中国农业大学 基于集合采样的省级范围地块尺度快速数据同化产量预测方法
CN110579987A (zh) * 2019-09-10 2019-12-17 西京学院 基于lora通讯的智慧果园信息控制系统及方法
CN110927082A (zh) * 2019-11-25 2020-03-27 北京大学 一种基于无人机成像高光谱遥感的冬小麦产量预测方法
WO2021126484A1 (en) * 2019-12-16 2021-06-24 X Development Llc Edge-based crop yield prediction
CN111241912A (zh) * 2019-12-18 2020-06-05 安徽易刚信息技术有限公司 一种基于机器学习算法的多植被指数的水稻产量估测方法
CN111275567A (zh) * 2020-01-15 2020-06-12 新疆疆天航空科技有限公司 基于无人机影像的senp棉花产量估算方法及估算模型构建方法
CN111932388A (zh) * 2020-07-06 2020-11-13 广东技术师范大学 基于多层级变量分析的作物产量预测方法和装置
CN112257908A (zh) * 2020-09-30 2021-01-22 嘉应学院 一种山区农业多源异构数据的整合方法及装置
CN112711900A (zh) * 2020-12-02 2021-04-27 济南浪潮高新科技投资发展有限公司 一种农作物数字孪生建模方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A.B. PAYNE ET AL.: "Estimation of mango crop yield using image analysis – Segmentation method", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》 *
DANYANG YU ET AL.: "Improvement of sugarcane yield estimation by assimilating UAV-derived plant height observations", 《EUROPEAN JOURNAL OF AGRONOMY》 *
QI YANG ET AL.: "A near real-time deep learning approach for detecting rice phenology based on UAV images", 《AGRICULTURAL AND FOREST METEOROLOGY》 *
QI YANG ET AL.: "Deep convolutional neural networks for rice grain yield estimation at the ripening stage using UAV-based remotely sensed images", 《FIELD CROPS RESEARCH》 *
陈文文: "基于机器学习的玉米环境因子分析及其产量预测方法研究", 《中国优秀硕士学位论文全文数据库 (农业科技辑)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965161A (zh) * 2023-02-14 2023-04-14 联通(四川)产业互联网有限公司 一种基于人工智能和历史数据的农作物产量预测方法
CN115965161B (zh) * 2023-02-14 2023-06-13 联通(四川)产业互联网有限公司 一种基于人工智能和历史数据的农作物产量预测方法
CN117197062A (zh) * 2023-08-30 2023-12-08 武汉大学 一种基于rgb图像的叶片氮含量测量方法及系统
CN117634225A (zh) * 2024-01-24 2024-03-01 中国农业科学院农业资源与农业区划研究所 基于作物生长通用模型和曲线拟合法的油料作物产量模拟调参方法和系统
CN117634225B (zh) * 2024-01-24 2024-04-30 中国农业科学院农业资源与农业区划研究所 基于作物生长通用模型和曲线拟合法的油料作物产量模拟调参方法和系统

Also Published As

Publication number Publication date
CN113705937B (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
CN113705937B (zh) 一种联合机器视觉与作物模型的农田估产方法
CN109829234B (zh) 一种基于高分辨率遥感数据和作物模型的跨尺度高精度动态作物长势监测和估产方法
CN110222475B (zh) 一种基于无人机多光谱遥感反演冬小麦植株含水率的方法
CN110751094B (zh) 一种基于gee综合遥感影像和深度学习方法的作物估产方法
CN106372592B (zh) 一种基于冬小麦面积指数的冬小麦种植面积计算方法
Sharma et al. Wheat crop yield prediction using deep LSTM model
Robertson et al. Predicting growth and development of pigeonpea: a simulation model
CN109800921B (zh) 基于遥感物候同化和粒子群优化的区域冬小麦估产方法
CN113221765B (zh) 一种基于数字相机影像有效像元的植被物候期提取方法
CN112836575B (zh) 一种基于作物物候期的多时序影像水稻估产方法
CN117114374B (zh) 一种基于天气预测的智慧农业灌溉管理系统
CN114387516A (zh) 一种针对复杂地形环境下中小田块的单季稻sar识别方法
Richardson et al. Remotely-sensed spectral indicators of sorghum development and their use in growth modeling
CN116704356B (zh) 基于卷积神经网络的玉米耐盐碱鉴定方法及系统
CN116403048B (zh) 一种基于多模态数据融合的农作物生长估计模型构建方法
Jing-Feng et al. Rice yield estimation using remote sensing and simulation model
WO2023131949A1 (en) A versatile crop yield estimator
CN114359544B (zh) 基于T-SAE农作物植株铅浓度Vis-NIR光谱深度迁移学习方法
CN108596379B (zh) 一种预测陆地生态系统植物群落覆被的技术与装置
Guo et al. High-throughput estimation of plant height and above-ground biomass of cotton using digital image analysis and Canopeo
Alves et al. From reanalysis data to inference: a framework for linking environment to plant disease epidemics at the regional scale
Liu et al. Landsat-observed changes in forest cover and attribution analysis over Northern China from 1996‒2020
CN113743178A (zh) 一种基于卷积神经网络的出苗密度估算方法
CN115019205B (zh) 一种基于无人机多光谱影像的油菜花期spad和lai估测方法
Liu et al. Regional winter wheat yield prediction by integrating MODIS LAI into the WOFOST model with sequential assimilation technique

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant