CN111144168A - 农作物生长周期的识别方法、设备以及系统 - Google Patents

农作物生长周期的识别方法、设备以及系统 Download PDF

Info

Publication number
CN111144168A
CN111144168A CN201811302625.8A CN201811302625A CN111144168A CN 111144168 A CN111144168 A CN 111144168A CN 201811302625 A CN201811302625 A CN 201811302625A CN 111144168 A CN111144168 A CN 111144168A
Authority
CN
China
Prior art keywords
image
plot
growth cycle
crop growth
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811302625.8A
Other languages
English (en)
Other versions
CN111144168B (zh
Inventor
陈伟涛
王洪彬
李�昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201811302625.8A priority Critical patent/CN111144168B/zh
Publication of CN111144168A publication Critical patent/CN111144168A/zh
Application granted granted Critical
Publication of CN111144168B publication Critical patent/CN111144168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/259—Fusion by voting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种农作物生长周期的识别方法、设备及系统。所述农作物生长周期的识别方法包括：利用农作物生长周期的时间先验，获取一地块在农作物生长周期的地块图像序列；对所述地块图像序列中每一地块图像进行自适应分割；将分割后的各子图输入卷积神经网络，获得各子图的图像特征；将各子图的图像特征输入超参神经网络，获得所述地块图像序列中每一地块图像的图像特征权重；利用农作物生长周期的时间先验，构建所述地块在农作物生长周期的地块图像的图像特征权重序列；将所述图像特征权重序列输入长短期记忆网络，获得所述地块的农作物生长周期识别结果。本申请的技术方案，实现了更为准确的农作物生长周期的识别，节省了人力。

Description

农作物生长周期的识别方法、设备以及系统
技术领域
本申请属于深度学习和农业科学技术的交叉领域，尤其涉及一种农作物生长周期的识别方法、农作物生长周期的识别系统、生长周期识别设备、网络训练设备、计算设备以及计算机可读存储介质。
背景技术
深度学习逐渐成为主流的计算和机器学习实现方法，可被用于图像、语音、视频、自然语言处理等多种场景，且在图像、语音、视频、自然语言处理等领域都取得比传统方法更好的结果。
农作物生长周期的识别对于农业生产十分重要，在玉米，小麦，水稻，棉花等作物中都有广泛的应用，精准的生长周期识别可以有效地指导农业生产。现有技术中，生长周期的识别一般需要资深的农业技术人员去现场查看，这样虽然可以利用专家知识来获知生长周期，但如果每天对每个地块区域都进行现场观察则代价巨大，而且一个专家也不一定对多种作物都熟悉。
因此，如何将深度学习应用于农业科学技术领域，进一步节省人力实现全年全天候的精准自动化农作物生长周期的识别是本领域亟待解决的重要难题。
发明内容
有鉴于此，本申请提供了一种农作物生长周期的识别方法、农作物生长周期的识别系统、生长周期识别设备、网络训练设备、计算设备以及计算机可读存储介质，实现了更为准确的农作物生长周期的识别，节省了人力。
为实现上述目的，本申请提供技术方案如下：
根据本申请的第一方面，提出了一种农作物生长周期的识别方法，包括：
利用农作物生长周期的时间先验，获取一地块在农作物生长周期的地块图像序列；
对所述地块图像序列中每一地块图像进行自适应分割；
将分割后的各子图输入卷积神经网络，获得各子图的图像特征；
将各子图的图像特征输入超参神经网络，获得所述地块图像序列中每一地块图像的图像特征权重；
利用农作物生长周期的时间先验，构建所述地块在农作物生长周期的地块图像的图像特征权重序列；
将所述图像特征权重序列输入长短期记忆网络，获得所述地块的农作物生长周期识别结果。
根据本申请的第二方面，提出了一种农作物生长周期的识别系统，包括生长周期识别设备；
所述生长周期识别设备，用于利用农作物生长周期的时间先验，获取一地块在农作物生长周期的地块图像序列；对所述地块图像序列中每一地块图像进行自适应分割；将分割后的各子图输入卷积神经网络，获得各子图的图像特征；将各子图的图像特征输入超参神经网络，获得所述地块图像序列中每一地块图像的图像特征权重；利用农作物生长周期的时间先验，构建所述地块在农作物生长周期的地块图像的图像特征权重序列；将所述图像特征权重序列输入长短期记忆网络，获得所述地块的农作物生长周期识别结果。
根据本申请的第三方面，提出了一种生长周期识别设备，包括：
地块图像序列获取模块，用于利用农作物生长周期的时间先验，获取一地块在农作物生长周期的地块图像序列；
地块图像分割模块，用于对所述地块图像序列中每一地块图像进行自适应分割；
图像特征提取模块，用于将分割后的各子图输入卷积神经网络，获得各子图的图像特征；
图像特征权重获得模块，用于将各子图的图像特征输入超参神经网络，获得所述地块图像序列中每一地块图像的图像特征权重；
图像特征权重序列构建模块，用于利用农作物生长周期的时间先验，构建所述地块在农作物生长周期的地块图像的图像特征权重序列；
生长周期识别模块，用于将所述图像特征权重序列输入长短期记忆网络，获得所述地块的农作物生长周期识别结果。
根据本申请的第四方面，提出了一种网络训练设备，包括：
卷积神经网络训练模块，用于根据一地块在农作物生长周期的多个地块图像自适应分割后的多个子图训练卷积神经网络；所述卷积神经网络的输入为子图，输出为子图的图像特征；
超参神经网络训练模块，用于根据所述地块在农作物生长周期的多个地块图像自适应分割后的多个子图的图像特征，按注意力机制训练超参神经网络；所述超参神经网络的输入为子图的图像特征，输出为地块图像的图像特征权重；
长短期记忆网络训练模块，用于根据所述地块在农作物生长周期的多个地块图像的图像特征权重序列训练所述长短期记忆网络；所述长短期记忆网络的输入为图像特征权重序列，输出为地块的农作物生长周期识别结果。
根据本申请的第四方面，提出了一种计算设备，包括：适于实现各指令的处理器以及存储设备，所述存储设备存储有多条指令，所述指令适于由处理器加载并执行上述农作物生长周期的识别方法。
根据本申请的第五方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于执行上述农作物生长周期的识别方法。
由以上技术方案可见，本申请通过利用农作物生长周期的时间先验，获取一地块在农作物生长周期的地块图像序列，对该地块图像序列中每一地块图像进行自适应分割，将分割后的各子图输入卷积神经网络，获得各子图的图像特征，然后将各子图的图像特征输入超参神经网络，获得该地块图像序列中每一地块图像的图像特征权重，再利用农作物生长周期的时间先验，构建该地块在农作物生长周期的地块图像的图像特征权重序列，最终将图像特征权重序列输入长短期记忆网络，获得该地块的农作物生长周期识别结果，由于通过卷积神经网络获得子图的图像特征，并基于超参神经网络获得地块图像的图像特征权重，最终用长短期记忆网络模型输出精准的农作物生长周期识别结果，实现了更为准确的农作物生长周期的识别，节省了人力。
为让本申请的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一种农作物生长周期的识别系统的结构示意图；
图2示出了本申请一种农作物生长周期的识别系统中生长周期识别设备以及网络训练设备之间的交互示意图；
图3示出了本申请一种生长周期识别设备的结构示意图；
图4示出了本申请一种网络训练设备的结构示意图；
图5示出了本申请一种农作物生长周期的识别方法的流程示意图；
图6为本申请提供的农作物生长周期的识别的具体实施例示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面参考本申请的若干代表性实施方式，详细阐释本申请的原理和精神。
虽然本申请提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本申请实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行。
针对现有技术中农作物生长周期的识别一般需要资深的农业技术人员去现场查看进而得出识别结果存在的农作物生长周期识别代价大、浪费人力的技术缺陷，本申请的申请人提出了一种农作物生长周期的识别系统，其通过卷积神经网络获得子图的图像特征，并基于超参神经网络获得地块图像的图像特征权重，最终用长短期记忆网络模型输出农作物生长周期识别结果，最终达到精准识别农作物生长周期的目的。
下面介绍本申请的具体技术方案。本申请提出了一种农作物生长周期的识别系统，图1示出了该农作物生长周期的识别系统的结构示意图，请参阅图1，该识别系统包括生长周期识别设备100以及网络训练设备200。图2示出了识别系统中生长周期识别设备与网络训练设备之间的交互示意图，请参阅图1、图2，在本申请中：
S1：网络训练设备根据地块在农作物生长周期的多个地块图像自适应分割后的多个子图训练卷积神经网络。
在本申请的一种实施方式中，首先不考虑时间信息，对地块图像的子图，单独训练一个卷积神经网络。卷积神经网络已经被成功应用于包括分类和检测等图像任务中。在本申请的一种实施方式中，首先获取预先设定的训练数据，基于训练数据对卷积神经网络进行训练。这些训练数据即地块在农作物生长周期的多个地块图像自适应分割后的多个子图和子图的图像特征。在本申请的一种实施方式中，可以训练残差神经网络来提取子图的图像特征。残差神经网络是卷积神经网络中一种应用较多的结构，它的基本单元是残差块，可表示如下：
H(x)＝F(x)+x。其中，F(x)＝H(x)-x即残差，最终残差神经网络输出y＝F(x,{w1})+w2x。
其中，w1和w2为需要学习的训练参数。
本申请采用但不限于残差卷积神经网络来提取子图的图像特征。
S2：生长周期识别设备利用农作物生长周期的时间先验，获取一地块在农作物生长周期的地块图像序列。
在本申请的一种实施方式中，由于农作物的生长周期具有较强的时间先验，即从第一个生长周期开始，在一定的时间间隔下具有一定概率是某个对应的生长周期：即p(z|t)～P，其中z表示生长周期，t表示时间间隔，P表示某种概率分布。基于以上先验，如要识别出某个地块一年期内农作物的所有生长周期，则要先利用农作物生长周期的时间先验，考虑时间信息，获取地块在农作物生长周期的地块图像序列。
本申请的一种实施方式中，农作物在一时间段内的地块图像一般为多个，且为了保证农作物的幼苗或花穗等小目标特征，地块图像为高分辨率图像，其分辨率一般大于一预设的像素阈值，像素阈值在本申请的一种实施方式中诸如为1000×1000像素。
S3：生长周期识别设备对地块图像序列中每一地块图像进行自适应分割。
在本申请的一种实施方式中，对地块图像进行自适应分割，得到多个子图的个数由地块图像的分辨率决定。
在本申请的一种实施方式中，按照如下方式进行地块图像的自适应分割：
对每一地块图像分割后的每一子图，在预设像素范围内与上一子图按预设像素值重叠递增累加。例如，对一幅像素为W×H像素的高分辨率的地块图像，可将其分割成(T(W)/1000)×(T(H)/1000)个子图，其中，T操作表示千位向上取整，在具体的实施例中可按照从左到右、从上到下进行分割。此外为保留子图相邻之间的边缘信息，每个子图在T(W)×T(H)范围内和上一个子图按n个(诸如50个)像素重叠递增累加，最后一个重叠则由W-1000和H-1000的值确定。
在本申请的一种实施方式中，所有切割出的子图的分辨率皆大于像素阈值，像素阈值诸如为1000×1000像素。
S4：生长周期识别设备将分割后的各子图输入卷积神经网络，获得各子图的图像特征。
在本申请的一种实施方式中，可采用已训练好的卷积神经网络来提取子图的图像特征。
在本申请的一种实施方式中，可以采用卷积神经网络中的残差神经网络模型来提取子图的图像特征。本申请采用但不限于残差卷积神经网络来提取图像特征，在如图6所示的具体实施例中，最终输出从左到右、从上到下的子图的所有特征，图6中所示的数字表示具体的第几个子图，如图6中的一个地块图像T对应的子图T1、T2……T8，共8个子图的图像特征。可以看到这种自适应像素大小的分割提取特征方式可以有效处理各种分辨率的高分辨率地块图像。
S5：网络训练设备根据地块在农作物生长周期的多个地块图像自适应分割后的多个子图的图像特征，训练超参神经网络。
超参神经网络对各子图的图像特征进行处理，可以获得地块图像序列中每一地块图像的图像特征权重。在本申请的一种实施方式中，超参神经网络和生成网络结构或权重的超参网络类似，是一种辅助网络，其输出的是特征权重，表示各个子图的融合投票结果。
在本申请的一种实施方式中，可以按注意力机制训练超参神经网络。超参投票神经网络的结构可以采用双向长短期记忆网络模型Bi-LSTM结构，以保证在任意当前的位置输出都是所有位置的融合学习结果，并最终由注意力机制模型attention选择出最显著的输出。
在本申请的一种实施方式中，Bi-LSTM网络如下：
Figure BDA0001852782820000061
Figure BDA0001852782820000062
Figure BDA0001852782820000063
Figure BDA0001852782820000064
Figure BDA0001852782820000065
Figure BDA0001852782820000066
Figure BDA0001852782820000067
Figure BDA0001852782820000068
Figure BDA0001852782820000069
Figure BDA00018527828200000610
Figure BDA00018527828200000611
Figure BDA00018527828200000612
Figure BDA00018527828200000613
其中，
Figure BDA00018527828200000614
表示前向输入门激活，δ表示logistic sigmod激活函数，W表示h对应要学习的权重，h表示隐层，下标i表示输入门激活对应的权重，上标f表示网络前向，Wi f表示输入门激活前向对应的权重，下标t表示当前序列位置，
Figure BDA00018527828200000615
表示序列前一个隐层前向输出，U表示h对应要学习的权重，x表示输入，即子图的图像特征，xt表示当前输入，
Figure BDA00018527828200000616
表示h对应前向输入门激活要学习的权重，b表示偏置，
Figure BDA00018527828200000617
表示输入门激活前向偏置；
Figure BDA00018527828200000618
表示后向输入门激活，上标k表示网络后向，Wi k表示输入门激活后向对应的权重，
Figure BDA00018527828200000619
表示序列前一个隐层后向输出，
Figure BDA00018527828200000620
表示h对应后向输入门激活要学习的权重，
Figure BDA00018527828200000621
表示输入门激活后向偏置。
ft f表示前向遗忘门激活，ft f中左边的f表示遗忘门激活，
Figure BDA0001852782820000071
表示x对应前向遗忘门激活需要学习的权重，
Figure BDA0001852782820000072
表示h对应前向遗忘门激活需要学习的权重，
Figure BDA0001852782820000073
表示遗忘门前向偏置。
ft k表示后向遗忘门激活，
Figure BDA0001852782820000074
表示x对应后向遗忘门激活需要学习的权重，
Figure BDA0001852782820000075
表示h对应后向遗忘门激活需要学习的权重，
Figure BDA0001852782820000076
表示遗忘门后向偏置。
Figure BDA0001852782820000077
表示单元状态前向的临时变量，tanh表示正切函数，
Figure BDA0001852782820000078
表示h对应单元状态前向的临时变量需要学习的参数，
Figure BDA0001852782820000079
表示x对应单元状态前向的临时变量需要学习的参数，
Figure BDA00018527828200000710
表示单元状态临时变量的前向偏置。
Figure BDA00018527828200000711
表示单元状态后向的临时变量，
Figure BDA00018527828200000712
表示h对应单元状态后向的临时变量需要学习的参数，
Figure BDA00018527828200000713
表示x对应单元状态后向的临时变量需要学习的参数，
Figure BDA00018527828200000714
表示单元状态临时变量的后向偏置。
Figure BDA00018527828200000715
表示前向单元状态，⊙表示hadamard乘积，
Figure BDA00018527828200000716
在本申请的一种实施方式中可采用随机初始化或0初始化的方式，
Figure BDA00018527828200000717
表示后向单元状态。
Figure BDA00018527828200000718
表示输出门前向激活，o表示输出门。
Figure BDA00018527828200000719
表示输出门后向激活，
Figure BDA00018527828200000720
表示当前隐层前向输出，
Figure BDA00018527828200000721
表示当前隐层后向输出，ht表示当前隐层输出，为每个子图的融合投票结果。
不同于序列到序列的注意力机制学习方式，为了从不定长的所有子图的图像特征的融合投票结果中选择出地块最显著区域的投票结果，在本申请的一种实施方式中，注意力机制模型的学习目标是学习到在该地块图像的子图的融合投票结果是否显著，并学习显著子图中最显著的子图，这样容易对任意分辨率的地块图像进行处理。基于此，超参神经网络可以按如下注意力机制训练：学习每一地块图像的图像特征权重大小，并学习图像特征权重最大的地块图像。
在本申请的一种实施方式中，注意力机制模型由如下几个公式表示：
gt＝agtht
Figure BDA0001852782820000081
Sj＝{st|t＝1...L}
Figure BDA0001852782820000082
其中，gt表示当前注意力的权重分配，agt表示ht对应gt所需学习的参数，st表示归一化当前权重分配，j取值为0和1，表示地块是否显著，如果地块显著，则st(s＝0|gt)＞st(s＝1|gt)，Sj＝{st|t＝1...L}表示注意力权重分配，L表示地块图像的可分割的子图个数，argmax表示求解最大Sj的位置，M表示最终在子图的融合投票结果中取得最显著的那个作为地块图像的融合投票结果。
S6：生长周期识别设备将各子图的图像特征输入超参神经网络，获得地块图像序列中每一地块图像的图像特征权重。
在本申请的一种实施方式中，生长周期识别设备基于超参神经网络对各子图的图像特征进行投票，得到每一地块图像的融合投票结果，即图像特征权重。
S7：生长周期识别设备利用农作物生长周期的时间先验，构建地块在农作物生长周期的地块图像的图像特征权重序列。
如前所述，在本申请的一种实施方式中，由于农作物的生长周期具有较强的时间先验，即从第一个生长周期开始，在一定的时间间隔下具有一定概率是某个对应的生长周期：即p(z|t)～P，其中z表示生长周期，t表示时间间隔，P表示某种概率分布。基于以上先验，从生长周期的前一天背景开始到生长周期结束，构造地块图像的图像特征权重序列V：[V1,V2...VL]，对棉花等多种农作物，L<365，序列V是一个长度比较理想的序列，然后将该序列送入一个长短期记忆网络即可得到某个地块一年期内农作物每天所处的生长周期。
S8：网络训练设备根据地块在农作物生长周期的多个地块图像的图像特征权重序列训练长短期记忆网络。
在本申请的一种实施方式中，子图的图像特征作为超参神经网络的输入，同时超参神经网络的输出又作为长短期记忆网络的输入，这两个网络可以放在一起进行训练。
S9：生长周期识别设备将图像特征权重序列输入长短期记忆网络，获得地块的农作物生长周期识别结果。
在本申请的一种实施方式中，将基于时间先验构建的图像特征权重序列作为训练后的长短期记忆网络的输入，得到地块的农作物生长周期识别结果。
在本申请的一种实施方式中，基于时间先验，如要识别出某个地块一年期内农作物的所有生长周期，则获取该地块的农作物于所有生长周期的地块图像做自适应分割，并利用卷积神经网络模型提取分割后子图的图像特征，即从生长周期的前一天背景开始到生长周期结束的所有地块图像的子图的图像特征，在经过超参神经网络模型的投票，得到的融合投票结果即地块图像的图像特征权重构造图像特征权重序列V：[V1,V2...VL]，对棉花等多种农作物，L<365，序列V是一个长度比较理想的序列，然后将该序列送入一个长短期记忆网络模型LSTM即可得到某个地块一年期内农作物每天所处的生长周期。
在本申请的一种实施方式中，生长周期识别设备可部署在移动端，也可以通过网络服务的调用方式向外提供服务。
因此，本申请提供的一种农作物生长周期的识别系统，通过获取农作物于一时间段的地块图像，通过卷积神经网络提取地块图像对应的子图的图像特征，然后通过构建的超参神经网络得到子图的融合投票结果，最终通过长短期记忆网络确定出地块的农作物生长周期识别结果，由于构建了卷积神经网络提取子图的图像特征，构建超参神经网络来对子图的图像特征进行投票，并最终用长短期记忆网络输出精准的农作物生长周期识别结果，实现了更为准确的农作物生长周期的识别，节省了人力。
图3示出了本申请一种生长周期识别设备的结构示意图，请参阅图3，生长周期识别设备100包括：
地块图像序列获取模块101，用于利用农作物生长周期的时间先验，获取一地块在农作物生长周期的地块图像序列。
在本申请的一种实施方式中，由于农作物的生长周期具有较强的时间先验，即从第一个生长周期开始，在一定的时间间隔下具有一定概率是某个对应的生长周期：即p(z|t)～P，其中z表示生长周期，t表示时间间隔，P表示某种概率分布。基于以上先验，如要识别出某个地块一年期内农作物的所有生长周期，则要先利用农作物生长周期的时间先验，考虑时间信息，获取地块在农作物生长周期的地块图像序列。
本申请的一种实施方式中，农作物在一时间段内的地块图像一般为多个，且为了保证农作物的幼苗或花穗等小目标特征，地块图像为高分辨率图像，其分辨率一般大于一预设的像素阈值，像素阈值在本申请的一种实施方式中诸如为1000×1000像素。
地块图像分割模块102，用于对地块图像序列中每一地块图像进行自适应分割。
在本申请的一种实施方式中，对地块图像进行自适应分割，得到多个子图的个数由地块图像的分辨率决定。
在本申请的一种实施方式中，按照如下方式进行地块图像的自适应分割：
对每一地块图像分割后的每一子图，在预设像素范围内与上一子图按预设像素值重叠递增累加。例如，对一幅像素为W×H像素的高分辨率的地块图像，可将其分割成(T(W)/1000)×(T(H)/1000)个子图，其中，T操作表示千位向上取整，在具体的实施例中可按照从左到右、从上到下进行分割。此外为保留子图相邻之间的边缘信息，每个子图在T(W)×T(H)范围内和上一个子图按n个(诸如50个)像素重叠递增累加，最后一个重叠则由W-1000和H-1000的值确定。在本申请的一种实施方式中，所有切割出的子图的分辨率皆大于像素阈值，像素阈值诸如为1000×1000像素。
图像特征提取模块103，用于将分割后的各子图输入卷积神经网络，获得各子图的图像特征。
在本申请的一种实施方式中，可采用已训练好的卷积神经网络来提取子图的图像特征。
在本申请的一种实施方式中，可以采用卷积神经网络中的残差神经网络模型来提取子图的图像特征。本申请采用但不限于残差卷积神经网络来提取图像特征，在如图6所示的具体实施例中，最终输出从左到右、从上到下的子图的所有特征，图6中所示的数字表示具体的第几个子图，如图6中的一个地块图像T对应的子图T1、T2……T8，共8个子图的图像特征。可以看到这种自适应像素大小的分割提取特征方式可以有效处理各种分辨率的高分辨率地块图像。
图像特征权重获得模块104，用于将各子图的图像特征输入超参神经网络，获得地块图像序列中每一地块图像的图像特征权重。
生长周期识别设备基于超参神经网络对各子图的图像特征进行投票，得到每一地块图像的融合投票结果，即图像特征权重。
图像特征权重序列构建模块105，用于利用农作物生长周期的时间先验，构建地块在农作物生长周期的地块图像的图像特征权重序列。
在本申请的一种实施方式中，基于农作物生长周期的时间先验，从生长周期的前一天背景开始到生长周期结束，构造地块图像的图像特征权重序列V：[V1,V2...VL]，对棉花等多种农作物，L<365，序列V是一个长度比较理想的序列，然后将该序列送入一个长短期记忆网络即可得到某个地块一年期内农作物每天所处的生长周期。
生长周期识别模块106，用于将图像特征权重序列输入长短期记忆网络，获得地块的农作物生长周期识别结果。
在本申请的一种实施方式中，将基于时间先验构建的图像特征权重序列作为训练后的长短期记忆网络的输入，得到地块的农作物生长周期识别结果。
在本申请的一种实施方式中，基于时间先验，如要识别出某个地块一年期内农作物的所有生长周期，则获取该地块的农作物于所有生长周期的地块图像做自适应分割，并利用卷积神经网络模型提取分割后子图的图像特征，即从生长周期的前一天背景开始到生长周期结束的所有地块图像的子图的图像特征，在经过超参神经网络模型的投票，得到的融合投票结果即地块图像的图像特征权重构造图像特征权重序列V：[V1,V2...VL]，对棉花等多种农作物，L<365，序列V是一个长度比较理想的序列，然后将该序列送入一个长短期记忆网络模型LSTM即可得到某个地块一年期内农作物每天所处的生长周期。
图4示出了本申请一种网络训练设备的结构示意图，请参阅图4，网络训练设备200包括：
卷积神经网络训练模块201，用于根据一地块在农作物生长周期的多个地块图像自适应分割后的多个子图训练卷积神经网络；所述卷积神经网络的输入为子图，输出为子图的图像特征。
在本申请的一种实施方式中，首先不考虑时间信息，对地块图像的子图，单独训练一个卷积神经网络。卷积神经网络已经被成功应用于包括分类和检测等图像任务中。在本申请的一种实施方式中，首先获取预先设定的训练数据，基于训练数据对卷积神经网络进行训练。这些训练数据即地块在农作物生长周期的多个地块图像自适应分割后的多个子图和子图的图像特征。在本申请的一种实施方式中，可以训练残差神经网络来提取子图的图像特征。残差神经网络是卷积神经网络中一种应用较多的结构，它的基本单元是残差块，可表示如下：
H(x)＝F(x)+x。其中，F(x)＝H(x)-x即残差，最终残差神经网络输出y＝F(x,{w1})+w2x。
其中，w1和w2为需要学习的训练参数。
本申请采用但不限于残差卷积神经网络来提取子图的图像特征。
超参神经网络训练模块202，用于根据所述地块在农作物生长周期的多个地块图像自适应分割后的多个子图的图像特征，按注意力机制训练超参神经网络；所述超参神经网络的输入为子图的图像特征，输出为地块图像的图像特征权重。
超参神经网络对各子图的图像特征进行处理，可以获得地块图像序列中每一地块图像的图像特征权重。在本申请的一种实施方式中，超参神经网络和生成网络结构或权重的超参网络类似，是一种辅助网络，其输出的是特征权重，表示各个子图的融合投票结果。
在本申请的一种实施方式中，可以按注意力机制训练超参神经网络。超参投票神经网络的结构可以采用双向长短期记忆网络模型Bi-LSTM结构，以保证在任意当前的位置输出都是所有位置的融合学习结果，并最终由注意力机制模型attention选择出最显著的输出。
不同于序列到序列的注意力机制学习方式，为了从不定长的所有子图的图像特征的融合投票结果中选择出地块最显著区域的投票结果，在本申请的一种实施方式中，注意力机制模型的学习目标是学习到在该地块图像的子图的融合投票结果是否显著，并学习显著子图中最显著的子图，这样容易对任意分辨率的地块图像进行处理。基于此，超参神经网络可以按如下注意力机制训练：学习每一地块图像的图像特征权重大小，并学习图像特征权重最大的地块图像。
长短期记忆网络训练模块203，用于根据所述地块在农作物生长周期的多个地块图像的图像特征权重序列训练所述长短期记忆网络；所述长短期记忆网络的输入为图像特征权重序列，输出为地块的农作物生长周期识别结果。
在本申请的一种实施方式中，子图的图像特征作为超参神经网络的输入，同时超参神经网络的输出又作为长短期记忆网络的输入，这两个网络可以放在一起进行训练。
在介绍了本申请的农作物生长周期的识别系统、生长周期识别设备、网络训练设备之后，接下来，参考附图对本申请的方法进行介绍。该方法的实施可以参见上述系统的实施，重复之处不再赘述。
图5示出了本申请一种农作物生长周期的识别方法的流程示意图，请参阅图5，所述方法包括：
S101：利用农作物生长周期的时间先验，获取一地块在农作物生长周期的地块图像序列。
在本申请的一种实施方式中，由于农作物的生长周期具有较强的时间先验，即从第一个生长周期开始，在一定的时间间隔下具有一定概率是某个对应的生长周期：即p(z|t)～P，其中z表示生长周期，t表示时间间隔，P表示某种概率分布。基于以上先验，如要识别出某个地块一年期内农作物的所有生长周期，则要先利用农作物生长周期的时间先验，考虑时间信息，获取地块在农作物生长周期的地块图像序列。
本申请的一种实施方式中，农作物在一时间段内的地块图像一般为多个，且为了保证农作物的幼苗或花穗等小目标特征，地块图像为高分辨率图像，其分辨率一般大于一预设的像素阈值，像素阈值在本申请的一种实施方式中诸如为1000×1000像素。
S102：对地块图像序列中每一地块图像进行自适应分割。
在本申请的一种实施方式中，对地块图像进行自适应分割，得到多个子图的个数由地块图像的分辨率决定。
在本申请的一种实施方式中，按照如下方式进行地块图像的自适应分割：
对每一地块图像分割后的每一子图，在预设像素范围内与上一子图按预设像素值重叠递增累加。例如，对一幅像素为W×H像素的高分辨率的地块图像，可将其分割成(T(W)/1000)×(T(H)/1000)个子图，其中，T操作表示千位向上取整，在具体的实施例中可按照从左到右、从上到下进行分割。此外为保留子图相邻之间的边缘信息，每个子图在T(W)×T(H)范围内和上一个子图按n个(诸如50个)像素重叠递增累加，最后一个重叠则由W-1000和H-1000的值确定。在本申请的一种实施方式中，所有切割出的子图的分辨率皆大于像素阈值，像素阈值诸如为1000×1000像素。
S103：将分割后的各子图输入卷积神经网络，获得各子图的图像特征。
在本申请的一种实施方式中，首先不考虑时间信息，对地块图像的子图，单独训练一个卷积神经网络。卷积神经网络已经被成功应用于包括分类和检测等图像任务中。在本申请的一种实施方式中，首先获取预先设定的训练数据，基于训练数据对卷积神经网络进行训练。这些训练数据即地块在农作物生长周期的多个地块图像自适应分割后的多个子图和子图的图像特征。在本申请的一种实施方式中，可以训练残差神经网络来提取子图的图像特征。
在本申请的一种实施方式中，可采用已训练好的卷积神经网络来提取子图的图像特征。
在本申请的一种实施方式中，可以采用卷积神经网络中的残差神经网络模型来提取子图的图像特征。本申请采用但不限于残差卷积神经网络来提取图像特征，在如图6所示的具体实施例中，最终输出从左到右、从上到下的子图的所有特征，图6中所示的数字表示具体的第几个子图，如图6中的一个地块图像T对应的子图T1、T2……T8，共8个子图的图像特征。可以看到这种自适应像素大小的分割提取特征方式可以有效处理各种分辨率的高分辨率地块图像。
S104：将各子图的图像特征输入超参神经网络，获得地块图像序列中每一地块图像的图像特征权重。
超参神经网络对各子图的图像特征进行处理，可以获得地块图像序列中每一地块图像的图像特征权重。在本申请的一种实施方式中，可以按注意力机制训练超参神经网络。超参投票神经网络的结构可以采用双向长短期记忆网络模型Bi-LSTM结构，以保证在任意当前的位置输出都是所有位置的融合学习结果，并最终由注意力机制模型attention选择出最显著的输出。
不同于序列到序列的注意力机制学习方式，为了从不定长的所有子图的图像特征的融合投票结果中选择出地块最显著区域的投票结果，在本申请的一种实施方式中，注意力机制模型的学习目标是学习到在该地块图像的子图的融合投票结果是否显著，并学习显著子图中最显著的子图，这样容易对任意分辨率的地块图像进行处理。基于此，超参神经网络可以按如下注意力机制训练：学习每一地块图像的图像特征权重大小，并学习图像特征权重最大的地块图像。
在本申请的一种实施方式中，生长周期识别设备基于超参神经网络对各子图的图像特征进行投票，得到每一地块图像的融合投票结果，即图像特征权重。
S105：利用农作物生长周期的时间先验，构建地块在农作物生长周期的地块图像的图像特征权重序列。
如前所述，在本申请的一种实施方式中，由于农作物的生长周期具有较强的时间先验，即从第一个生长周期开始，在一定的时间间隔下具有一定概率是某个对应的生长周期：即p(z|t)～P，其中z表示生长周期，t表示时间间隔，P表示某种概率分布。基于以上先验，从生长周期的前一天背景开始到生长周期结束，构造地块图像的图像特征权重序列V：[V1,V2...VL]，对棉花等多种农作物，L<365，序列V是一个长度比较理想的序列，然后将该序列送入一个长短期记忆网络即可得到某个地块一年期内农作物每天所处的生长周期。
S106：将图像特征权重序列输入长短期记忆网络，获得所述地块的农作物生长周期识别结果。
在本申请的一种实施方式中，子图的图像特征作为超参神经网络的输入，同时超参神经网络的输出又作为长短期记忆网络的输入，这两个网络可以放在一起进行训练。
在本申请的一种实施方式中，将基于时间先验构建的图像特征权重序列作为训练后的长短期记忆网络的输入，得到地块的农作物生长周期识别结果。
在本申请的一种实施方式中，基于时间先验，如要识别出某个地块一年期内农作物的所有生长周期，则获取该地块的农作物于所有生长周期的地块图像做自适应分割，并利用卷积神经网络模型提取分割后子图的图像特征，即从生长周期的前一天背景开始到生长周期结束的所有地块图像的子图的图像特征，在经过超参神经网络模型的投票，得到的融合投票结果即地块图像的图像特征权重构造图像特征权重序列V：[V1,V2...VL]，对棉花等多种农作物，L<365，序列V是一个长度比较理想的序列，然后将该序列送入一个长短期记忆网络模型LSTM即可得到某个地块一年期内农作物每天所处的生长周期。
本申请构建的超参神经网络可被用于图像、语音、视频、机器翻译、农作物识别等多种场景。
本申请还提出了一种计算设备，包括：适于实现各指令的处理器以及存储设备，所述存储设备存储有多条指令，所述指令适于由处理器加载并执行上述农作物生长周期的识别方法。
本申请还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于执行上述农作物生长周期的识别方法。
综上所述，本申请提供了一种农作物生长周期的识别方法、农作物生长周期的识别系统、生长周期识别设备、网络训练设备、计算设备以及计算机可读存储介质。
本申请可以基于高分辨率图像并采用超参神经网络对农作物生长周期进行识别，能够有效利用农作物生长的时间先验以及表现当前生长周期的地块显著先验对每一天采集的高分辨率地块图像进行识别以判断当天这块地进入哪个生长周期。在本申请中，可以对高分辨率地块图像进行自适应分割并基于卷积神经网络来提取分割后的小地块图像特征，基于超参神经网络来完成所有小地块的投票，获取投票特征，从生长周期开始的前一天起构造投票特征序列，用一个LSTM网络来得到最终这块地在序列当前位置的生长周期。本申请建立在超参神经网络的基础上，可以有效处理高分辨率的地块图像，同时充分利用图像特征之外的时间信息，对于渐变的农作物生长周期识别比传统的仅仅利用图像特征的方法具有显著的优势，可以获得更为准确的生长周期信息，并且节省了人力。
本申请提供的技术方案已应用于新疆三块棉花地的生长周期识别中，且取得了98.384％的识别准确率。作为对比，当仅利用卷积神经网络识别并进行人工投票时，识别准确率为95.226％；若仅利用卷积神经网络识别未进行投票识别准确率仅为92.724％。因此，本申请方案在农作物生长周期的识别过程中具有重大意义。
应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
上述实施例阐明的单元、装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
虽然通过实施例描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。

Claims (14)

1.一种农作物生长周期的识别方法，其特征在于，包括：
利用农作物生长周期的时间先验，获取一地块在农作物生长周期的地块图像序列；
对所述地块图像序列中每一地块图像进行自适应分割；
将分割后的各子图输入卷积神经网络，获得各子图的图像特征；
将各子图的图像特征输入超参神经网络，获得所述地块图像序列中每一地块图像的图像特征权重；
利用农作物生长周期的时间先验，构建所述地块在农作物生长周期的地块图像的图像特征权重序列；
将所述图像特征权重序列输入长短期记忆网络，获得所述地块的农作物生长周期识别结果。
2.根据权利要求1所述的方法，其特征在于，对所述地块图像序列中每一地块图像进行自适应分割，包括：对每一地块图像分割后的每一子图，在预设像素范围内与上一子图按预设像素值重叠递增累加。
3.根据权利要求1所述的方法，其特征在于，所述卷积神经网络根据所述地块在农作物生长周期的多个地块图像自适应分割后的多个子图训练而成。
4.根据权利要求1所述的方法，其特征在于，所述超参神经网络是根据所述地块在农作物生长周期的多个地块图像自适应分割后的多个子图的图像特征，按注意力机制训练而成。
5.根据权利要求4所述的方法，其特征在于，所述超参神经网络按注意力机制训练，包括：学习每一地块图像的图像特征权重大小，并学习图像特征权重最大的地块图像。
6.根据权利要求5所述的方法，其特征在于，所述长短期记忆网络根据所述地块在农作物生长周期的多个地块图像的图像特征权重序列训练而成。
7.一种农作物生长周期的识别系统，其特征在于，包括生长周期识别设备；
所述生长周期识别设备，用于利用农作物生长周期的时间先验，获取一地块在农作物生长周期的地块图像序列；对所述地块图像序列中每一地块图像进行自适应分割；将分割后的各子图输入卷积神经网络，获得各子图的图像特征；将各子图的图像特征输入超参神经网络，获得所述地块图像序列中每一地块图像的图像特征权重；利用农作物生长周期的时间先验，构建所述地块在农作物生长周期的地块图像的图像特征权重序列；将所述图像特征权重序列输入长短期记忆网络，获得所述地块的农作物生长周期识别结果。
8.根据权利要求7所述的系统，其特征在于，还包括：
网络训练设备，用于根据所述地块在农作物生长周期的多个地块图像自适应分割后的多个子图训练所述卷积神经网络；根据所述地块在农作物生长周期的多个地块图像自适应分割后的多个子图的图像特征，按注意力机制训练所述超参神经网络；根据所述地块在农作物生长周期的多个地块图像的图像特征权重序列训练所述长短期记忆网络。
9.一种生长周期识别设备，其特征在于，包括：
地块图像序列获取模块，用于利用农作物生长周期的时间先验，获取一地块在农作物生长周期的地块图像序列；
地块图像分割模块，用于对所述地块图像序列中每一地块图像进行自适应分割；
图像特征提取模块，用于将分割后的各子图输入卷积神经网络，获得各子图的图像特征；
图像特征权重获得模块，用于将各子图的图像特征输入超参神经网络，获得所述地块图像序列中每一地块图像的图像特征权重；
图像特征权重序列构建模块，用于利用农作物生长周期的时间先验，构建所述地块在农作物生长周期的地块图像的图像特征权重序列；
生长周期识别模块，用于将所述图像特征权重序列输入长短期记忆网络，获得所述地块的农作物生长周期识别结果。
10.根据权利要求9所述的生长周期识别设备，其特征在于，所述地块图像分割模块具体用于：对每一地块图像分割后的每一子图，在预设像素范围内与上一子图按预设像素值重叠递增累加。
11.一种网络训练设备，其特征在于，包括：
卷积神经网络训练模块，用于根据一地块在农作物生长周期的多个地块图像自适应分割后的多个子图训练卷积神经网络；所述卷积神经网络的输入为子图，输出为子图的图像特征；
超参神经网络训练模块，用于根据所述地块在农作物生长周期的多个地块图像自适应分割后的多个子图的图像特征，按注意力机制训练超参神经网络；所述超参神经网络的输入为子图的图像特征，输出为地块图像的图像特征权重；
长短期记忆网络训练模块，用于根据所述地块在农作物生长周期的多个地块图像的图像特征权重序列训练所述长短期记忆网络；所述长短期记忆网络的输入为图像特征权重序列，输出为地块的农作物生长周期识别结果。
12.根据权利要求11所述的网络训练设备，其特征在于，所述超参神经网络训练模块具体用于按如下注意力机制训练超参神经网络：学习每一地块图像的图像特征权重大小，并学习图像特征权重最大的地块图像。
13.一种计算设备，其特征在于，所述计算设备包括：适于实现各指令的处理器以及存储设备，所述存储设备存储有多条指令，所述指令适于由处理器加载并执行权利要求1至6任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于执行权利要求1至6任一项所述的方法。
CN201811302625.8A 2018-11-02 2018-11-02 农作物生长周期的识别方法、设备以及系统 Active CN111144168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811302625.8A CN111144168B (zh) 2018-11-02 2018-11-02 农作物生长周期的识别方法、设备以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811302625.8A CN111144168B (zh) 2018-11-02 2018-11-02 农作物生长周期的识别方法、设备以及系统

Publications (2)

Publication Number Publication Date
CN111144168A true CN111144168A (zh) 2020-05-12
CN111144168B CN111144168B (zh) 2023-04-18

Family

ID=70515275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811302625.8A Active CN111144168B (zh) 2018-11-02 2018-11-02 农作物生长周期的识别方法、设备以及系统

Country Status (1)

Country Link
CN (1) CN111144168B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906648A (zh) * 2021-03-24 2021-06-04 深圳前海微众银行股份有限公司 一种地块中对象的分类方法、装置及电子设备
CN113792744A (zh) * 2021-09-14 2021-12-14 东北农业大学 一种低功耗广域网内农作物生长数据传输系统及方法
CN114998656A (zh) * 2022-06-09 2022-09-02 中国科学院宁波材料技术与工程研究所 一种穴盘苗分类方法及系统
CN116863403A (zh) * 2023-07-11 2023-10-10 仲恺农业工程学院 一种农作物大数据环境监测方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103823371A (zh) * 2014-02-12 2014-05-28 无锡中科智能农业发展有限责任公司 基于神经网络模型的农业精准施肥系统及施肥方法
CN106778845A (zh) * 2016-12-01 2017-05-31 浙江省柯桥中学 一种基于叶色检测的植物生长状况监测方法
US20170316324A1 (en) * 2016-04-27 2017-11-02 Virginia Polytechnic Institute And State University Computerized Event-Forecasting System and User Interface
CN107563389A (zh) * 2017-09-11 2018-01-09 合肥工业大学 一种基于深度学习的农作物病害识别方法
CN108052512A (zh) * 2017-11-03 2018-05-18 同济大学 一种基于深度注意力机制的图像描述生成方法
WO2018153322A1 (zh) * 2017-02-23 2018-08-30 北京市商汤科技开发有限公司 关键点检测方法、神经网络训练方法、装置和电子设备
CN108717586A (zh) * 2018-05-10 2018-10-30 江南大学 一种基于长短时记忆网络的水产养殖环境溶解氧预测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103823371A (zh) * 2014-02-12 2014-05-28 无锡中科智能农业发展有限责任公司 基于神经网络模型的农业精准施肥系统及施肥方法
US20170316324A1 (en) * 2016-04-27 2017-11-02 Virginia Polytechnic Institute And State University Computerized Event-Forecasting System and User Interface
CN106778845A (zh) * 2016-12-01 2017-05-31 浙江省柯桥中学 一种基于叶色检测的植物生长状况监测方法
WO2018153322A1 (zh) * 2017-02-23 2018-08-30 北京市商汤科技开发有限公司 关键点检测方法、神经网络训练方法、装置和电子设备
CN107563389A (zh) * 2017-09-11 2018-01-09 合肥工业大学 一种基于深度学习的农作物病害识别方法
CN108052512A (zh) * 2017-11-03 2018-05-18 同济大学 一种基于深度注意力机制的图像描述生成方法
CN108717586A (zh) * 2018-05-10 2018-10-30 江南大学 一种基于长短时记忆网络的水产养殖环境溶解氧预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SARAH TAGHAVI NAMIN等: "Deep phenotyping: deep learning for temporal phenotype/genotype classification" *
张琴: "基于WebGIS的小麦苗情远程监测与诊断系统" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906648A (zh) * 2021-03-24 2021-06-04 深圳前海微众银行股份有限公司 一种地块中对象的分类方法、装置及电子设备
CN113792744A (zh) * 2021-09-14 2021-12-14 东北农业大学 一种低功耗广域网内农作物生长数据传输系统及方法
CN113792744B (zh) * 2021-09-14 2023-09-05 东北农业大学 一种低功耗广域网内农作物生长数据传输系统及方法
CN114998656A (zh) * 2022-06-09 2022-09-02 中国科学院宁波材料技术与工程研究所 一种穴盘苗分类方法及系统
CN116863403A (zh) * 2023-07-11 2023-10-10 仲恺农业工程学院 一种农作物大数据环境监测方法、装置及电子设备
CN116863403B (zh) * 2023-07-11 2024-01-02 仲恺农业工程学院 一种农作物大数据环境监测方法、装置及电子设备

Also Published As

Publication number Publication date
CN111144168B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111144168B (zh) 农作物生长周期的识别方法、设备以及系统
CN110929603B (zh) 一种基于轻量级卷积神经网络的天气图像识别方法
CN110210513B (zh) 数据分类方法、装置及终端设备
CN103400143B (zh) 一种基于多视角的数据子空间聚类方法
DE102018111905A1 (de) Domänenspezifische Sprache zur Erzeugung rekurrenter neuronaler Netzarchitekturen
US20160098633A1 (en) Deep learning model for structured outputs with high-order interaction
CN110163813A (zh) 一种图像去雨方法、装置、可读存储介质及终端设备
CN110929622A (zh) 视频分类方法、模型训练方法、装置、设备及存储介质
CN103020909B (zh) 基于多尺度结构自相似与压缩感知的单图像超分辨率方法
CN104008538A (zh) 基于单张图像超分辨率方法
CN110222760A (zh) 一种基于winograd算法的快速图像处理方法
CN111126481A (zh) 一种神经网络模型的训练方法及装置
CN110555819A (zh) 基于红外和可见光图像融合的设备监测方法、装置及设备
CN111046821A (zh) 一种视频行为识别方法、系统及电子设备
CN110264407B (zh) 图像超分辨模型训练及重建方法、装置、设备及存储介质
JP7536893B2 (ja) 自己注意ベースのニューラルネットワークを使用した画像処理
CN107729885B (zh) 一种基于多重残差学习的人脸增强方法
DE202023104300U1 (de) Ein auf Deep Learning basierendes System zur Erkennung, Klassifizierung und Optimierung der landwirtschaftlichen Produktivität von Obstkrankheiten
CN117372881A (zh) 一种烟叶病虫害智能识别方法、介质及系统
CN118154867A (zh) 一种半监督遥感图像语义分割方法与系统
CN111310837A (zh) 车辆改装识别方法、装置、系统、介质和设备
CN111914596A (zh) 车道线检测方法、装置、系统及存储介质
CN111414922A (zh) 特征提取方法、图像处理方法、模型训练方法及装置
CN111652242B (zh) 图像处理方法、装置、电子设备及存储介质
CN116826734A (zh) 一种基于多输入模型的光伏发电功率预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant