CN109815846B - 图像处理方法、装置、存储介质和电子装置 - Google Patents

Abstract

本发明公开了一种图像处理方法、装置、存储介质和电子装置。该方法包括：获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集，其中的每个第一图像用于指示第一目标植物在拍摄时刻正在经历的生长状态；通过图像识别模型对第一目标图像集进行识别处理，图像识别模型为对样本图像进行训练所得到的用于识别植物的生长状态的模型；输出由图像识别模型处理得到的用于指示第一目标植物的目标生长状态的目标结果，目标生长状态为在第一生长状态之后的下一个生长状态，第一生长状态为拍摄时刻距离当前时刻最近的第一图像所指示的第一目标植物正在经历的生长状态。本发明解决了对植物的生长状态进行确定的效率低的技术问题。

Description

图像处理方法、装置、存储介质和电子装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种图像处理方法、装置、存储介质和电子装置。

背景技术

目前，在识别植物所处的生长状态时，通常是针对每一种植物，预先建立好知识库来供园丁学习。其中，每个园丁学习整个知识库中的一部分知识，然后专门维护自己熟悉的那一部分品种的植物，进而根据人工来经验确定植物的生长状态。

上述方法虽然可以实现对植物的生长状态进行确定，但是随着植物的规模扩大，需要的园丁的规模就扩大，这样投入的人力成本较大。并且不同园丁的知识水平不一致，会导致对同一种植物的生长状态的预测出现不同的结果，使得对植物的生长状态进行确定的准确性低，从而导致对植物的生长状态进行确定的效率低。

针对上述的对植物的生长状态进行确定的效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像处理方法、装置、存储介质和电子装置，以至少解决相关技术中对植物的生长状态进行确定的效率低的技术问题。

根据本发明实施例的一个方面，提供了一种图像处理方法。该方法包括：获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集，其中，第一目标图像集中所包含的每个第一图像用于指示第一目标植物在拍摄时刻正在经历的生长状态；通过图像识别模型对第一目标图像集进行识别处理，其中，图像识别模型为对样本图像进行训练所得到的用于识别植物的生长状态的模型；输出由图像识别模型处理得到的用于指示第一目标植物的目标生长状态的目标结果，其中，目标生长状态为在第一生长状态之后的下一个生长状态，第一生长状态为在预定时间段内，拍摄时刻距离当前时刻最近的第一图像所指示的第一目标植物正在经历的生长状态。

根据本发明实施例的另一方面，还提供了一种图像处理装置。该装置包括：获取单元，用于获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集，其中，第一目标图像集中所包含的每个第一图像用于指示第一目标植物在拍摄时刻正在经历的生长状态；处理单元，用于通过图像识别模型对第一目标图像集进行识别处理，其中，图像识别模型为对样本图像进行训练所得到的用于识别植物的生长状态的模型；输出单元，用于输出由图像识别模型处理得到的用于指示第一目标植物的目标生长状态的目标结果，其中，目标生长状态为在第一生长状态之后的下一个生长状态，第一生长状态为在预定时间段内，拍摄时刻距离当前时刻最近的第一图像所指示的第一目标植物正在经历的生长状态。

根据本发明实施例的另一方面，还提供了一种存储介质。该存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行本发明实施例的图像处理方法。

根据本发明实施例的另一方面，还提供了一种电子装置。该电子装置包括存储器和处理器，其特征在于，存储器中存储有计算机程序，处理器被设置为通过计算机程序执行本发明实施例的图像处理方法。

在本发明实施例中，获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集，其中，第一目标图像集中所包含的每个第一图像用于指示第一目标植物在拍摄时刻正在经历的生长状态；通过图像识别模型对第一目标图像集进行识别处理，其中，图像识别模型为对样本图像进行训练所得到的用于识别植物的生长状态的模型；输出由图像识别模型处理得到的用于指示第一目标植物的目标生长状态的目标结果，其中，目标生长状态为在第一生长状态之后的下一个生长状态，第一生长状态为在预定时间段内，拍摄时刻距离当前时刻最近的第一图像所指示的第一目标植物正在经历的生长状态。由于获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集，然后将第一目标图像集输入至预先训练好的图像识别模型，通过图像识别模型对第一目标图像集进行识别处理，就可以直接得到用于指示第一目标植物的目标生长状态的目标结果，达到了对植物的生长状态进行预测的目的，避免了通过人工来识别植物的生长状态，从而实现了提高对植物的生长状态进行确定的效率的技术效果，进而解决了相关技术对植物的生长状态进行确定的效率低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种图像处理方法的硬件环境的示意图；

图2是根据本发明实施例的一种图像处理方法的流程图；

图3是根据本发明实施例的一种通过卷积神经网络提取特征的方法的流程图；

图4是根据本发明实施例的一种通过卷积神经网络提取特征的示意图；

图5是根据本发明实施例的一种特征序列的示意图；

图6是根据本发明实施例的一种神经网络的结构示意图；

图7是根据本发明实施例的一种模型训练过程的示意图；

图8是根据本发明实施例的一种通过模型预测植物的生长状态的方法的流程图；

图9是根据本发明实施例的一种植物的萌芽期的示意图；

图10是根据本发明实施例的一种植物的开花期的示意图；

图11是根据本发明实施例的一种植物的结果期的示意图；

图12是根据本发明实施例的一种植物的枯萎期的示意图；

图13是根据本发明实施例的一种待输入训练好的目标模型的图片序列的示意图；

图14是根据本发明实施例的一种通过目标模型对图片序列进行处理得到的处理结果的示意图；

图15是根据本发明实施例的一种图像处理装置的示意图；以及

图16是根据本发明实施例的一种电子装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一个方面，提供了一种图像处理方法的实施例。

根据本发明实施例的一个方面，提供了一种图像处理方法。可选地，作为一种可选的实施方式，上述图像处理方法可以但不限于应用于如图1所示的环境中。其中，图1是根据本发明实施例的一种图像处理方法的硬件环境的示意图。如图1所示，用户102可以与用户设备104之间可以进行数据交互，用户设备104中可以但不限于包括存储器106和处理器108。

在该实施例中，用户设备104可以输入在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集，其中，第一目标图像集中所包含的每个第一图像用于指示第一目标植物在拍摄时刻正在经历的生长状态，通过存储器106可以存储第一目标图像集，通过处理器108执行步骤S102，通过网络110将上述第一目标图像集发送给服务器112。服务器112中包含有数据库114和处理器116。

服务器112在获取到上述用于指示第一目标植物的目标生长状态的目标结果之后，通过处理器116使用训练好的图像识别模型对第一目标图像集进行识别处理，得到用于指示第一目标植物的目标生长状态的目标结果，其中，图像识别模型为对样本图像进行训练所得到的用于识别植物的生长状态的模型，目标生长状态为在第一生长状态之后的下一个生长状态，第一生长状态为在预定时间段内，拍摄时刻距离当前时刻最近的第一图像所指示的第一目标植物正在经历的生长状态，

服务器112可以通过数据库114存储用于指示第一目标植物的目标生长状态的目标结果，进而执行步骤S104，通过网络110将用于指示第一目标植物的目标生长状态的目标结果返回给用户设备104。

在相关技术中，通常上根据经验人工确定植物的生长状态，导致人力成本大，对植物的生长状态进行确定的准确性低，存在对植物的生长状态进行确定的效率低的问题。而本发明实施例由于获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集，然后将第一目标图像集输入至预先训练好的图像识别模型，通过图像识别模型对第一目标图像集进行识别处理，就可以直接得到用于指示第一目标植物的目标生长状态的目标结果，达到了对植物的生长状态进行预测的目的，避免了通过人工来识别植物的生长状态，从而实现了提高对植物的生长状态进行确定的效率的技术效果，进而解决了相关技术对植物的生长状态进行确定的效率低的技术问题。

图2是根据本发明实施例的一种图像处理方法的流程图。如图2所示，该方法可以包括以下步骤：

步骤S202，获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集。

在步骤S202提供的技术方案中，获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集，其中，第一目标图像集中所包含的每个第一图像用于指示第一目标植物在拍摄时刻正在经历的生长状态。

在该实施例中，植物的生长状态用于指示植物在生长过程中所处的生命状态，并且按照时间是有规律的，比如，植物在不同的时间会经历萌芽期、幼苗期、绿叶期、开花期、结果期、枯萎期等生长状态。该实施例的第一目标植物为待预测生长状态的植物，可以为不同种类的植物，比如，为花、草、树等植物，此处不做任何限制。当前时刻之前的预定时间段可以为第一目标植物在当前时刻之前的生长时间段，在该生长时间段内，第一植物可以经历多个生长状态，比如，经历萌芽期、幼苗期、开花期等生长状态。需要说明的是，该实施例的当前时刻为获取第一目标图像集的时刻。

获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集，该第一目标图像集可以为图片集合，可以在预定时间段内的不同时刻对第一目标植物进行拍摄，得到多个第一图像，比如，在预定时间段内的时刻1到时刻n对第一目标植物进行拍摄，得到多个第一图像，可以得到上百张图像。该实施例还可以在预定时间段内对第一目标植物持续监控，得到多个第一图像，该多个第一图像形成第一目标图像集，每个第一图像用于指示第一目标植物在拍摄时刻正在经历的生长状态，比如，第一目标图像集包括用于指示第一目标植物在时刻1经历萌芽期的第一图像、用于指示第一目标植物在时刻2经历幼苗期的第一图像、用于指示第一目标植物在时刻3经历开花期的第一图像，此处不做任何限制。

需要说明的是，由于第一目标植物经历的每个生长状态对应一段时间，在该段时间内的不同的时刻对第一目标植物进行拍摄所得到的第一图像，可以指示第一目标植物的同一个生长状态。

步骤S204，通过图像识别模型对第一目标图像集进行识别处理。

在步骤S204提供的技术方案中，在获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集之后，通过图像识别模型对第一目标图像集进行识别处理，其中，图像识别模型为对样本图像进行训练所得到的用于识别植物的生长状态的模型。

在该实施例中，通过预先建立的图像识别模型对第一目标图像集进行识别处理。在建立图像识别模型时，可以采集大量样本图像，可以采集与第一目标植物的种类相同的植物在每个生长状态的多个图像，得到样本图像，其中，每个图像都可以指示出植物在图像拍摄时刻所经历的生长状态。在得到样本图像之后，通过样本图像和样本图像中的每个图像所指示的植物的生长状态对初始训练模型进行训练，得到图像识别模型。

可选地，该实施例在样本图像中，针对每个生长状态的多个图像提取出植物的特征，可以通过卷积神经网络对每个图像提取特征，来得到包括多个特征的特征向量，比如，该特征向量包括是否开花、花的形状、叶子的颜色等特征，通过特征向量和对应的生长状态对初始训练模型进行训练，该初始训练模型可以为初始建立的循环神经网络模型。通过对初始训练模型进行训练，从而得到目标参数，该目标参数也即模型的优化参数，可以将通过该目标参数确定的循环神经网络模型和卷积神经网络作为一个整体来得到最终的图像识别模型。

可选地，该实施例可以按照分布一致性算法、去噪等算法对用于指示每个生长状态的数据和对应的特征向量进行预处理，再从预处理后的数据中进行特征提取、特征变换、特征归一、特征组合等得到用于训练初始训练模型的特征，进一步通过优化算法、假设函数、损失函数、决策边界、收敛速度、迭代策略等对特征进行进一步处理，通过处理后的特征对初始训练模型进行训练，得到图像识别模型。

可选地，该实施例在得到图像识别模型之后，还可以对图像识别模型进行交叉验证、评估目标、过拟合、欠拟合等评价，从而确定用于识别植物的生长状态的模型，进而通过图像识别模型对第一目标图像集进行识别处理，使该图像识别模型可以用于识别植物的生长状态，比如，识别出植物待经历的下一个生长状态。

步骤S206，输出由图像识别模型处理得到的用于指示第一目标植物的目标生长状态的目标结果。

在步骤S206提供的技术方案中，在通过图像识别模型对第一目标图像集进行识别处理之后，输出由图像识别模型处理得到的用于指示第一目标植物的目标生长状态的目标结果，其中，目标生长状态为在第一生长状态之后的下一个生长状态，第一生长状态为在预定时间段内，拍摄时刻距离当前时刻最近的第一图像所指示的第一目标植物正在经历的生长状态。

在该实施例中，通过图像识别模型对第一目标图像集进行识别处理，可以得到用于指示第一目标植物的目标生长状态的目标结果，进而输出该目标结果。其中，目标生长状态为第一目标植物在经历第一生长状态之后对第一目标植物进行预测的下一个生长状态，该第一生长状态为在预定时间段内，拍摄时刻距离当前时刻最近的第一图像所指示的第一目标植物正在经历的生长状态，比如，预定时间段包括当前时刻之前的拍摄时刻1、拍摄时刻2和拍摄时刻3，其中，拍摄时刻3距离当前时刻最近，则将拍摄时刻3所指示的第一目标植物正在经历的生长状态确定为第一生长状态，也即，在预定时间段内，第一生长状态为第一目标植物经历的最后一个生长状态，而该目标生长状态为第一目标植物在预定时间段内未经历的一个生长状态。

可选地，如果上述第一生长状态和第一目标植物在当前时刻的生长状态相同，则目标生长状态为当前时刻之后第一目标植物待经历的下一个生长状态，比如，预定时间段包括当前时刻之前的拍摄时刻1、拍摄时刻2和拍摄时刻3，其中，拍摄时刻3所指示的第一目标植物正在经历的生长状态为第一生长状态，为绿叶期，第一目标植物在当前时刻的生长状态也为绿叶期，则目标生长状态为当前时刻之后第一目标植物待经历的开花期。

可选地，如果第一生长状态和第一目标植物在当前时刻的生长状态不相同，则目标生长状态可以为第一目标植物在当前时刻的生长状态，比如，预定时间段包括当前时刻之前的拍摄时刻1、拍摄时刻2和拍摄时刻3，其中，拍摄时刻3所指示的第一目标植物正在经历的生长状态为第一生长状态，为绿叶期，第一目标植物在当前时刻的生长状态也为开花期，则目标生长状态可以为第一目标植物在当前时刻的开花期。

可选地，如果第一生长状态和第一目标植物在当前时刻的生长状态不相同，则目标生长状态可以为第一目标植物在当前时刻之前的生长状态，比如，预定时间段包括当前时刻之前的拍摄时刻1、拍摄时刻2和拍摄时刻3，其中，拍摄时刻3所指示的第一目标植物正在经历的生长状态为第一生长状态，为绿叶期，第一目标植物在当前时刻的生长状态也为枯萎期，则目标生长状态可以为第一目标植物在当前时刻之前的开花期。

通过上述步骤S202至步骤S206，由于获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集，然后将第一目标图像集输入至预先训练好的图像识别模型，通过图像识别模型对第一目标图像集进行识别处理，就可以直接得到用于指示第一目标植物的目标生长状态的目标结果，达到了对植物的生长状态进行预测的目的，避免了通过人工来识别植物的生长状态，降低了人力成本，且提高了对植物的生长状态进行确定的准确性，从而实现了提高对植物的生长状态进行确定的效率的技术效果，进而解决了相关技术对植物的生长状态进行确定的效率低的技术问题。

下面对该实施例的图像识别模型的训练方法进行介绍。

作为一种可选的实施方式，在步骤S204，通过图像识别模型对第一目标图像集进行识别处理之前，该方法还包括：确定第二目标植物已经历过的多个生长状态，且获取每个生长状态对应的第二目标图像集，其中，第二目标植物与第一目标植物为相同种类的植物，多个生长状态包括目标生长状态，每个生长状态对应的第二目标图像集中所包含的每个第二图像，用于指示第二目标植物在拍摄时刻正在经历的生长状态；将每个生长状态对应的第二目标图像集确定为一个样本图像，得到多个样本图像；通过多个生长状态和多个样本图像对子图像识别模型进行训练，得到图像识别模型。

在该实施例中，在通过图像识别模型对第一目标图像集进行识别处理之前，确定第二目标植物，比如，搜集与第一目标植物的种类相同的第二目标植物，该第二目标植物的数量可以为多个。确定第二目标植物已经历过的多个生长状态，比如，已经历过的萌芽期、幼苗期、绿叶期、开花期、结果期、枯萎期等完整的生命周期，其中，多个生长状态包括对第一目标植物进行预测得到的目标状态。在确定第二目标植物已经历过的多个生长状态之后，获取每个生长状态对应的第二目标图像集，比如，获取萌芽期的第二目标图像集，获取幼苗期的第二目标图像集，获取绿叶期的第二目标图像集，获取开花期的第二目标图像集，获取结果期的第二目标图像集，获取枯萎期的第二目标图像集。

该实施例的第二目标图像集包括对第二目标植物在每个生长状态对应的时间段内的不同拍摄时刻进行拍摄得到的多个第二图像，该多个第二图像的格式可以相同。可选地，针对同一个第二目标植物，比如，针对同一株栀子花，对在每个生长状态对应的时间段内的不同拍摄时刻进行拍摄得到多个第二图像，也可以对种类相同的多个第二目标植物，比如，对多株栀子花，在每个生长状态对应的时间段内的不同拍摄时刻进行拍摄得到多个第二图像，可以得到上百张第二图像，每个第二图像均用于指示第二目标植物在拍摄时刻正在经历的生长状态，也即，第二目标图像集中的多个第二图像均用于指示第一目标植物相同的生长状态，比如，多个第二图像均用于指示第二目标植物的萌芽期、幼苗期、绿叶期、开花期、结果期、枯萎期中的任一种生长状态。

在获取每个生长状态对应的第二目标图像集之后，可以将每个生长状态对应的第二目标图像集确定为一个样本图像，从而得到多个样本图像，也即，该实施例的生长状态的数量和样本图像的数量是相同的。

举例而言，获取第二目标植物的训练样本1、训练样本2和训练样本3，将训练样本1、训练样本2和训练样本3中第二目标植物在萌芽期不同时刻拍摄得到的多个第二图像确定为第二目标植物在萌芽期的第二图像集，将该萌芽期的第二图像集确定为一个样本图像；将训练样本1、训练样本2和训练样本3中第二目标植物在绿叶期不同时刻拍摄得到的多个第二图像确定为第二目标植物在绿叶期的第二图像集，将该绿叶期的第二图像集确定为一个样本图像；将训练样本1、训练样本2和训练样本3中第二目标植物在开花期不同时刻拍摄得到的多个第二图像确定为第二目标植物在开花期的第二图像集，将该开花期的第二图像集确定为一个样本图像；将训练样本1、训练样本2和训练样本3中第二目标植物在结果期不同时刻拍摄得到的多个第二图像确定为第二目标植物在结果期的第二图像集，将该结果期的第二图像集确定为一个样本图像。

在得到多个样本图像之后，通过用于指示多个生长状态的数据和多个样本图像对子图像识别模型进行训练，建立多个生长状态和多个样本图像之间的关联关系，得到图像识别模型的参数，进而通过该参数确定图像识别模型，其中，子图像识别模型可以为初始训练模型，可以为初始建立的循环神经网络模型。

作为一种可选的实施方式，通过多个生长状态和多个样本图像对子图像识别模型进行训练，得到图像识别模型包括：获取每个样本图像的特征向量，得到多个特征向量，其中，每个特征向量包括第二目标植物在经历每个生长状态时的生物特征；通过多个生长状态和多个特征向量对子图像识别模型进行训练；基于训练后的子图像识别模型确定图像识别模型。

在该实施例中，在通过多个生长状态和多个样本图像对子图像识别模型进行训练，得到图像识别模型时，可以获取每个样本图像的特征向量，也即，从每个样本图像中提取出特征向量，该特征向量可以包括一组用于指示是否开花、花的大小、花的颜色、花的形状、叶子的颜色、叶子的形状等第二目标植物在经历对应的生长状态时的生物特征，可以将其表示为[x0，x1，x2...xn]，其中，x0，x1，x2...xn分别用于表示特征向量中的每一个生物特征。这样与每个生长状态对应的样本图像都可以提取出一个特征向量，则多个样本图像可以提取出多个特征向量。在获取每个样本图像的特征向量，得到多个特征向量之后，可以通过用于指示多个生长状态的数据和多个特征向量对子图像识别模型进行训练，比如，通过([x0，x1，x2...xn]，y0)、([x0，x1，x2...xn]，y1)、([x0，x1，x2...xn]，y2)、([x0，x1，x2...xn]，y3)对子图像识别模型进行训练，其中，y0、y1、y2、y13用于指示生长状态，进而基于训练后的子图像识别模型确定图像识别模型。

作为一种可选的实施方式，获取每个样本图像的特征向量，得到多个特征向量包括：通过目标卷积神经网络获取每个样本图像的特征向量，得到多个特征向量；通过多个生长状态和多个特征向量对子图像识别模型进行训练包括：通过多个生长状态和多个特征向量对循环神经网络中的子图像识别模型进行训练；基于训练后的子图像识别模型确定图像识别模型包括：将目标卷积神经网络和训练后的循环神经网络中的子图像识别模型，确定为图像识别模型。

在该实施例中，在获取每个样本图像的特征向量，得到多个特征向量时，可以通过目标卷积神经网络提取每个样本图像的特征向量，得到多个特征向量。可选地，该实施例的目标卷积神经网络可以预先通过目标样本图像和初始建立的卷积神经网络模型进行训练得到，比如，目标样本图像包括采集的植物的多个第三图像，每个第三图像对应植物的生物特征，而这些生物特征可以是人工确定的，通过多个第三图像和每个第三图像对应的植物的生物特征对初始建立的卷积神经网络模型进行训练，得到用于建立目标卷积神经网络的参数，进而通过用于建立目标卷积神经网路的参数确定目标卷积神经网络。进而向训练好的目标卷积神经网络输入每个样本图像，也即，向目标卷积神经网络输入在每个拍摄时刻拍摄的得到的第二图像。可选地，该实施例的目标卷积神经网络可以选择VGG卷积神经网络，也可以选择ImageNet卷积神经网络等其它的卷积神经网络，此处不做任何限制。

可选地，该实施例将原始的第二图像，用三个不同的特征视野去做卷积处理，得到第一个卷积层的结果，其中，一张原始的第二图像，会被映射成是用三个不同的卷积核去计算第二图像得到的结果(3层的特征图)。对第一个卷积层的结果进行池化处理，得到一个池化层，从而可以缩小特征图的大小，比如，将一个卷积核(例如3x3)，简化为1x1的过程，可以取3x3的矩阵里最大的那个数，其它8个都抛弃。在得到池化层之后，再对这个池化层的每一层，再用不同于上述特征视野的三个不同的特征视野去做卷积处理，就能得到第二个卷基层的结果(9层的特征图)，再对其进行一次池化处理，就能得到最终的池化结果，该池化结果为用计算机语言描述的诸如花型、叶色等人类可以理解的生物特征。其中，一次卷积处理对应一次池化处理，卷积处理和池化处理的次数可以根据得到的特征的效果来确定。

植物的生长状态是有规律的，都是按照一定顺序的，比如，一个植物的生长，都是经历了萌芽期、幼苗期、开花期、结果期和枯萎期这个顺序的，这个正好和循环神经网络对应起来，循环神经网络的状态就对应了植物的生长状态。在通过目标卷积神经网络获取每个样本图像的特征向量，得到多个特征向量之后，可以通过多个生长状态和多个特征向量对循环神经网络中的子图像识别模型进行训练，也即，循环神经网络的输入是用于指示多个生长状态的数据和多个特征向量。其中，子图像识别模型可以为玄幻神经网络中初始建立的训练模型。

在循环神经网络中，O_t＝g(VS_t)，S_t＝f(UX_t+WS_t-1)，其中，U、V、W用于表示训练的参数，X_t用于表示t时刻输入，O_t用于表示t时刻输出，S_t用于表示t时刻记忆，捕捉了时间点上的信息，S_t-1用于表示t-1时刻记忆。在计算O_t的时候，不仅用到了X_t，还用到了用于表示t-1时刻输入的X_t-1，还会间接用到用于表示t-2时刻输入的X_t-2等，这样循环神经网络将不仅利用了特征向量，还用了特征向量序列(特征序列)以及这个序列隐含的时间顺序，这个就可以与植物的生长状态对应起来。

在通过多个生长状态和多个特征向量对循环神经网络中的子图像识别模型进行训练之后，可以将目标卷积神经网络和训练后的循环神经网络中的子图像识别模型，确定为图像识别模型，也即，将目标卷积神经网络和训练后的循环神经网络整合到一起，从而目标卷积神经网络输出的多个特征向量是一个中间过程的数据，将这个中间过程的数据直接输入到循环神经网络中，对循环神经网络中的子图像识别模型进行训练，得到图像识别模型。在训练好图像识别模型之后，就可以将新样本图像(第一目标图像集)输入到训练好的图像识别模型，则可以输出这个新样本的下一个生长状态，从而避免了通过人工来识别植物的生长状态，降低了人力成本，且提高了对植物的生长状态进行确定的准确性，实现了提高对植物的生长状态进行确定的效率。

作为一种可选的实施方式，在通过多个生长状态和多个特征向量对循环神经网络中的子图像识别模型进行训练之前，该方法还包括：对多个特征向量按照目标顺序进行排序，得到特征序列，其中，目标顺序为与多个特征向量一一对应的多个生长状态按照经历每个生长状态的时间进行排列的顺序；通过多个生长状态和多个特征向量对循环神经网络中的子图像识别模型进行训练包括：通过多个生长状态和特征序列对循环神经网络中的子图像识别模型进行训练。

在该实施例中，植物的生长状态都是按照一定顺序的，在通过多个生长状态和多个特征向量对循环神经网络中的子图像识别模型进行训练之前，可以对多个特征向量按照目标顺序进行排序，该目标顺序为时间顺序，可以为与多个特征向量一一对应的多个生长状态按照经历每个生长状态的时间进行排列的顺序，比如，萌芽期在第一周、幼苗期在第二周、开花期在第三周、结果期在第五周和第六周，枯萎期在第七周，则多个特征向量可以按照萌芽期、幼苗期、开花期、结果期、枯萎期对应的时间进行排序，得到特征序列。

在对多个特征向量按照目标顺序进行排序，得到特征序列之后，通过多个生长状态和特征序列对循环神经网络中的子图像识别模型进行训练，也即，循环神经网络的输入是一个有前后顺序的特征序列，这个序列的格式可以为([x0，x1，x2...xn]，y0)、([x0，x1，x2...xn]，y1)、([x0，x1，x2...xn]，y2)、([x0，x1，x2...xn]，y3)，其中，x0，x1，x2...xn用于表示通过目标卷积神经网络对第二图像提取出来的生物特征，y0、y1、y2、y3用于表示对应的生长状态。

作为一种可选的实施方式，在步骤S204，通过图像识别模型对第一目标图像集进行识别处理之前，该方法还包括：确定目标植物集中所包含的每个第二目标植物已经历过的多个生长状态，且获取每个生长状态对应的第二目标图像集，其中，目标植物集中包括的多个第二目标植物的种类包括第一目标植物的种类，多个生长状态包括目标生长状态，每个生长状态对应的第二目标图像集中所包含的每个第二图像，用于指示第二目标植物在拍摄时刻正在经历的生长状态；将每个第二目标植物的每个生长状态的第二目标图像集，确定为一个样本图像，得到多个样本图像；通过每个第二目标植物已经历过的多个生长状态和多个样本图像对子图像识别模型进行训练，得到图像识别模型。

在该实施例中，图像识别模型可以用于对各类植物的生长状态的预测。在训练图像识别模型时，可以针对不同种类的植物采集用于训练图像识别模型的样本。该实施例的目标植物集包括的多个第二目标植物的种类包括第一目标植物的种类，可以确定目标植物集中所包含的每个第二目标植物已经历过的多个生长状态，且获取每个生长状态对应的第二目标图像集，该多个生长状态包括目标生长状态，每个生长状态对应的第二目标图像集中所包含的每个第二图像，用于指示第二目标植物在拍摄时刻正在经历的生长状态。

举例而言，多个第二目标植物包括栀子花、月季花，确定栀子花经历的多个生长状态为萌芽期、幼苗期、开花期、结果期，确定月季花经历的多个生长状态为萌芽期、幼苗期、开花期、结果期。获取栀子花在萌芽期对应的第二目标图像集、在幼苗期对应的第二目标图像集、在开花期对应的第二目标图像集、在结果期对应的第二目标图像集，栀子花的每个生长状态对应的第二目标图像集中所包含的每个第二图像，用于指示栀子花在拍摄时刻正在经历的生长状态；获取月季花在萌芽期对应的第二目标图像集、在幼苗期对应的第二目标图像集、在开花期对应的第二目标图像集、在结果期对应的第二目标图像集，月季花的每个生长状态对应的第二目标图像集中所包含的每个第二图像，用于指示月季花在拍摄时刻正在经历的生长状态。

需要说明的是，上述多个第二目标植物包括栀子花和月季花仅为本发明实施例的一种举例，并不代表本发明实施例的多个第二目标植物仅包括栀子花和月季花，还可以包括更多的植物，此处不再一一举例说明。

在获取每个生长状态对应的第二目标图像集之后，将每个第二目标植物的每个生长状态的第二目标图像集，确定为一个样本图像，得到多个样本图像，进而通过每个第二目标植物已经历过的多个生长状态和多个样本图像对子图像识别模型进行训练，得到图像识别模型，使得训练好的图像识别样本可以用于对各类植物的生长状态进行预测，避免了通过人工来识别植物的生长状态，降低了人力成本，且提高了对植物的生长状态进行确定的准确性，从而实现了提高对植物的生长状态进行确定的效率的效果。

下面对该实施例的使用图像识别模型的方法进行介绍。

作为一种可选的实施方式，步骤S204，通过图像识别模型对第一目标图像集进行识别处理包括：基于目标卷积神经网络获取第一目标图像集中所包含的每个第一图像的目标特征向量，得到多个目标特征向量；通过训练后的循环神经网络中的子图像识别模型对多个目标特征向量进行处理。

在该实施例中，在使用图像识别模型对第一目标图像集进行识别处理时，可以先基于图像识别模型中的目标卷积神经网络获取第一目标图像集中所包含的每个第一图像的目标特征向量，得到多个目标特征向量，该多个目标特征向量为一个中间过程的数据，进而通过训练后的循环神经网络中的子图像识别模型对多个目标特征向量进行处理，即可输出用于指示第一目标植物的下一个目标生长状态的目标结果。

该实施例通过目标卷积神经网络得到第一目标植物在每个生长状态的特征向量，这样就能得到一个特征序列。然后将这个特征序列输入到训练后循环神经网络里，就可以预测出下一个生长状态。整个过程可以用照相机持续监控，输入一系列按照时间排序的照片，这样就可以推断出下一个时间节点的生长状态，避免了通过人工来识别植物的生长状态，降低了人力成本，且提高了对植物的生长状态进行确定的准确性，从而实现了提高对植物的生长状态进行确定的效率的效果。

作为一种可选的实施方式，在步骤S202，获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集之后，该方法还包括：基于拍摄时刻对第一目标图像集中所包含的多个第一图像进行排序；通过图像识别模型对第一目标图像集进行识别处理包括：通过图像识别模型对排序后的多个第一图像进行处理。

在该实施例中，训练好的图像识别模型通过具有时间前后顺序的特征序列进行训练得到的，在获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集之后，可以对第一目标图像集中包括的多个第一图像进行预处理，可以基于拍摄时刻对第一目标图像集中所包含的多个第一图像进行排序，也即，对多个第一图像按照时间顺序进行排序，比如，第一目标图像集中的一系列照片(时刻0到时刻n)，按照时间顺序输入至图像识别模型中，这样通过图像识别模型对排序后的多个第一图像进行处理，即可得到第一目标植物在时刻n+1的生长状态。

作为一种可选的实施方式，在步骤S202，获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集之后，该方法还包括：将每个第一图像的格式转化为与图像识别模型相匹配的目标格式；通过图像识别模型对第一目标图像集进行识别处理包括：通过图像识别模型对目标格式的第一目标图像集进行处理。

在该实施例中，在获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集之后，对第一目标图像集中的多个第一图像进行预处理，可以将每个第一图像的格式转化为与图像识别模型相匹配的目标格式，使得图像识别模型可以对每个第一图像进行处理，比如，提取每个第一图像的特征。

作为一种可选的实施方式，每个第一图像的格式包括以下至少之一：每个第一图像的尺寸；每个第一图像的扩展名；每个第一图像所占的内存大小。

在该实施例中，每个第一图像的格式可以包括每个第一图像的尺寸，比如，第一图像的长、宽尺寸，该每个第一图像的尺寸可以和在训练图像识别模型时用到的第二目标图像集中的第二图像的尺寸相同；该实施例每个第一图像的格式还可以包括每个第一图像的扩展名，该每个第一图像的扩展名可以和在训练图像识别模型时用到的第二目标图像集中的第二图像的扩展名相同；该实施例每个第一图像的格式还可以包括每个第一图像的所占的内存大小，该每个第一图像所占的内存大小可以和在训练图像识别模型时用到的第二目标图像集中的第二图像所占的内存大小相同。

需要说明的是，上述每个第一图像的格式仅为本发明实施例的一种优选实施方式，并不代表本发明实施例的第一图像的格式仅包括尺寸、扩展名、所占的内存大小，任何可以使得图像识别模型对每个第一图像进行处理的格式都在本发明实施例的范围之内，此处不再一一举例说明。

作为一种可选的实施方式，步骤S206，输出由图像识别模型处理得到的用于指示第一目标植物的目标生长状态的目标结果包括以下至少之一：显示用于指示目标生长状态的目标图片；显示用于指示目标生长状态的目标文本；播放用于指示目标生长状态的目标语音。

在该实施例中，用于指示第一目标植物的目标生长状态的目标结果可以为目标图片，该目标图片可以为在对图像识别模型进行训练时用到的第二目标图像集中的与目标生长状态相对应的一张图片，可以展示该目标图片，使用户清楚第一目标植物待经历的生长状态；用于指示第一目标植物的目标生长状态的目标结果还可以为目标文本，比如，为萌芽期、幼苗期、绿叶期、开花期、结果期的文本，可以显示该目标文本，使用户清楚第一目标植物待经历的生长状态；用于指示第一目标植物的目标生长状态的目标结果还可以为目标语音，比如，为萌芽期、幼苗期、绿叶期、开花期、结果期的语音，可以播放该目标语音，使用户清楚第一目标植物待经历的生长状态。

需要说明的是，该实施例的上述用于指示第一目标植物的目标生长状态的目标结果仅为本发明实施例的优选实施方式，并不代表本发明实施例的目标结果仅为上述方式，任何可以用于指示第一目标植物的目标生长状态的目标结果都在本发明实施例的范围之内，此处不再一一举例说明。

该实施例可以拍摄植物在各个生长状态的图片，得到每个生长状态的图片集合，然后通过目标卷积神经网络对每个图片集合进行特征抽取，就能得到特征序列，将特征序列和对应的生长周期放入循环神经网络，即可训练出整个图像识别模型(包含卷积神经网络和循环神经网络)。在训练好图像识别模型之后，将新样本可以按照格式放入到这个完整的图像识别模型中，就能推断植物在下一个时间节点的生长状态，达到了对植物的生长状态进行预测的目的，避免了通过人工来识别植物的生长状态，降低了人力成本，且提高了对植物的生长状态进行确定的准确性，从而实现了提高对植物的生长状态进行确定的效率的效果。

下面结合优选的实施例对本发明的技术方案进行说明。

该实施例通过卷积神经网络得到植物各个生长状态的特征向量，然后将各个生长状态的特征向量组成一个特征序列，用生长状态的特征序列作为训练好的循环神经网络模型的输入，来推断下一个生长状态。

该实施例的对植物生长状态的确定方法包括了两部分，分别是建立模型和使用模型。在建立模型时，通过卷积神经网络对输入的植物的多个生长状态的图像进行特征提取，得到与多个生长状态一一对应的多个特征向量，该特征向量包括可以用于指示是否开花、花的形状、花的颜色、叶子的颜色等特征，多个特征向量按照多个生长状态对应的时间进行排序，从而得到特征序列；向循环神经网络输入特征序列，比如，输入一系列时刻的特征向量，例如，时刻0的特征向量包括植物的生长状态为绿叶期的花型特征和叶色特征，时刻1的特征向量包括植物的生长状态为开花期的花型特征和叶色特征，时刻2的特征向量包括植物的生长状态为结果期的花型特征和叶色特征，直到时刻n的生长状态的花型特征和叶色特征，这样就能训练出一个循环神经网络，这个训练好的循环神经网络的输入是一个特征序列，输出是这个序列的下一个生长状态；在使用模型时，可以将待确定生长状态的植物在时刻0到时刻n的图像输入至上述包括卷积神经网络和循环神经网络的训练好的模型中，即可得到植物在时刻n+1的生长状态。

下面对该实施例的模型建立方法进行介绍。

该实施例的卷积神经网络用于提取图像的特征，可以输入每个时刻的照片，输出包括每个时刻的特征向量的一组特征序列。该卷积神经网络可以为VGG，也可以为ImageNet等其它卷积神经网络，此处不做任何限制。

图3是根据本发明实施例的一种通过卷积神经网络提取特征的方法的流程图。如图3所示，该方法包括以下步骤：

步骤S301，输入植物的原始图像。

该原始图像可以为在不同时刻对植物拍摄的照片。

步骤S302，用三个特征视野对原始图像进行卷积处理，得到第一个卷积层结果。

步骤S303，在池化层对第一个卷积层的结果进行池化处理，得到池化结果，以缩小卷积层的结果。

步骤S304，用另外的三个特征视野对池化结果进行卷积处理，得到第二个卷积层结果。

步骤S305，对第二卷积层的结果再进行一次池化，得到最终的池化结果。

图4是根据本发明实施例的一种通过卷积神经网络提取特征的示意图。如图4所示，植物的生长状态包括生长状态1……生长状态n。向卷积层输入植物在每个状态对应的原始图像，用三个不同的特征视野去做卷积处理，得到第一个卷积层的结果，也即，一张原始图片，会被映射成用三个不同的卷积核去计算原始图像得到的结果，其中，特征视野不限于三个。在池化层对卷积层的结果进行池化处理，得到一个池化层，从而缩小卷积层的结果的大小，比如，在池化层中，将一个卷积核(例如，3x3)，简化为1x1的结果，则可以将3x3的矩阵里最大的那个数最为池化的结果，而将其它8个都去掉。

可选地，对池化层的每一层，再用另外的三个不同的特征视野去做卷积操作，就能得到第二个卷积层的结果，该第二卷积层的结果再进行一次池化，就可以得到最终的池化结果，这个池化结果，就是用计算机语言描述的包括诸如花型、叶色等人类理解的特征的特性向量。

图5是根据本发明实施例的一种特征序列的示意图。如图5所示，植物的每个生长状态，都会抽取出这么一个特征向量，则对一个完整的生长状态的植物，则能建立每个生长状态的特征向量，比如，生长状态1对应一个特征向量a、生长状态2对应一个特征向量b……生长状态n对应一个特征向量z，从而就可以得到一个特征序列。

下面对该实施例的循环神经网络的训练方法进行介绍。

植物的生长过程都是按照一定生长顺序进行的，比如，一个植物的生长，都是经历了萌芽期、幼苗期、开花期、结果期和枯萎期这样的生长顺序的。这可以与循环神经网络可以对应起来，其中，循环神经网络的状态对应了植物的生长状态。

在该实施例中，循环神经网络的输入是一个有时间前后顺序的特征序列，这个序列的格式可以如下：

([x0，x1，x2...xn]，y0)；

([x0，x1，x2...xn]，y1)；

([x0，x1，x2...xn]，y2)；

([x0，x1，x2...xn]，y3)。

其中，[x0，x1，x2...xn]用于表示通过卷积神经网络对植物在每个生长状态的图像提取出来的特征向量，y0、y1、y2、y3用于表示对应的生长状态，可以通过人工确定。

将上述特征序列放入循环神经网络中，即可训练出通过特征序列来预测下一个时刻状态的循环神经网络。

图6是根据本发明实施例的一种神经网络的结构示意图。如图6所示，O_t＝g(VS_t)，S_t＝f(UX_t+WS_t-1)，其中，U、V、W用于表示训练的参数，X_t用于表示t时刻输入，O_t用于表示t时刻输出，O_t-1用于表示t-1时刻输出，O_t+1用于表示t+1时刻输出，S_t用于表示t时刻记忆，S_t-1用于表示t-1时刻记忆。在计算O_t的时候，不仅用到了X_t，还用到了X_t-1(t-1时刻输入)，间接用到了X_t-2(t+1时刻输入)等，这样循环神经网络将不仅利用了特征向量，还用了特征向量序列(特征序列)以及这个序列隐含的时间顺序，这个就可以与植物的生长状态对应起来。

图7是根据本发明实施例的一种模型训练过程的示意图。如图7所示，可以通过目标图像样本和目标图像样本中的已知特征对卷积神经网络中初始建立的子目标模型进行训练，得到训练好的卷积神经网络，也即，该训练好的卷积神经网络为预先已经确定好参数的用于提取图像特征的模型。向该训练好的卷积神经网络输入多个训练样本，比如，输入训练样本1、训练样本2和训练样本3，其中，训练样本1包括植物1的萌芽期图片、绿叶期图片、开花期图片、结果期图片，训练样本2包括植物2在萌芽期图片、绿叶期图片、开花期图片、结果期图片，训练样本3包括植物3在的萌芽期的图片、绿叶期图片、开花期图片、结果期图片。

通过训练好的卷积神经网络对训练样本1中的图片进行特征提取，得到萌芽期的特征向量、绿叶期的特征向量、开花期的特征向量、结果期的特征向量，从而组成第一特征序列；通过卷积神经网络对训练样本2中的图片进行特征提取，得到萌芽期的特征向量、绿叶期的特征向量、开花期的特征向量、结果期的特征向量，从而组成第二特征序列；通过卷积神经网络对训练样本3中的图片进行特征提取，得到萌芽期的特征向量、绿叶期的特征向量、开花期的特征向量、结果期的特征向量，从而组成第三特征序列。

将第一特征序列和与第一特征序列中的各个特征向量对应的生长状态，第二特征序列和与第二特征序列中的各个特征向量对应的生长状态，第三特征序列和与第三特征序列中的各个特征向量对应的生长状态输入至循环神经网络中的初始建立的子目标模型进行训练，从而得到训练好的循环神经网络。

需要说明的是，该实施例的卷积神经网络和循环神经网络会被整合到一起，得到目标模型，卷积神经网络输出的特征序列是一个中间过程，这个中间过程的数据会直接输入到循环神经网络里，从而卷积神经网络和循环神经网络作为一个完整的模型进行使用，而不是单个模型的分开使用。

下面对本发明实施例的使用模型的方法进行介绍。

图8是根据本发明实施例的一种通过模型预测植物的生长状态的方法的流程图。如图8所示，该方法包括以下步骤：

步骤S801，获取植物的图片序列。

在该实施例中，获取对植物在一段时间(时刻1、时刻2……时刻n)进行拍摄得到的多张图片，比如，通过照相机对植物进行持续监控，得到植物的多张图片，可以按照时间顺序对多张图片进行排序，得到图片序列，比如，与时刻1对应的图片1、与时刻2对应的图片2、与时刻3对应的图片3……与时刻n对应的图片n。

步骤S802，通过目标模型对图片序列进行处理，得到n+1时刻的生长状态。

在该实施例中，可以先将图片序列中的图片转化为与目标模型匹配的格式，比如，将图片序列中的图片转化为与对目标模型进行训练时所使用的图像样本的格式相同的格式，该格式可以包括尺寸、内存大小、扩展名等，再输入至训练好的目标模型中，通过目标模型对图片序列进行处理，得到n+1时刻的生长状态。

步骤S803，输出n+1时刻的生长状态。

下面从产品侧对该实施例的对植物的生长状态进行确定的方法进行介绍。

该实施例包括模型训练部分和模型计算部分。

在模型训练时，搜集某一种植物在每个生长状态的图片集合，例如，搜集栀子花在每个生长状态的图片集合。

图9是根据本发明实施例的一种植物的萌芽期的示意图。如图9所示，为栀子花在萌芽期的图片集合，此处对萌芽期的图片集合中的图片数量不做任何限制。

图10是根据本发明实施例的一种植物的开花期的示意图。如图10所示，为栀子花在开花期的图片集合，此处对开花期的图片集合中的图片数量不做任何限制。

图11是根据本发明实施例的一种植物的结果期的示意图。如图11所示，为栀子花在结果期的图片集合，此处对结果期的图片集合中的图片数量不做任何限制。

图12是根据本发明实施例的一种植物的枯萎期的示意图。如图12所示，为栀子花在枯萎期的图片集合，此处对枯萎期的图片集合中的图片数量不做任何限制。

该实施例针对一种特定的植物，比如，栀子花，拍摄栀子花在各个生长状态的图片，得到每个生长状态的图片集合，将图片集合和所处生长状态输入到模型优化器，即可得到模型的优化参数，该优化参数可以包括卷积核的个数、卷积+池化的次数等。

可选地，该实施例通过训练好的卷积神经网络对每个图片集合进行特征抽取，得到特征向量，其中，多个生长状态对应多个特征向量，该多个特征向量组成特征序列，将特征序列和与特征序列中的各个特征向量对应的生长状态输入至循环神经网络中，以对初始建立的子目标模型进行训练，即可训练出整个目标模型(包含卷积神经网络和循环神经网络)。

在模型计算时，将图片序列输入到训练好的目标模型里。

图13是根据本发明实施例的一种待输入训练好的目标模型的图片序列的示意图。如图13所示，将栀子花的图片序列输入至训练好的目标模型中，该图片序列包括栀子花在萌芽期、开花期、结果期的图片。

图14是根据本发明实施例的一种通过目标模型对图片序列进行处理得到的处理结果的示意图。如图14所示，通过训练好的目标模型对图片序列进行处理，得到栀子花的下一个生长状态，也即，枯萎期，将与枯萎期对应的图片输出来进行显示。其中，与枯萎期对应的图片可以为在训练模型时所使用的栀子花处于枯萎期的图片。

该实施例可以通过照相机对植物进行持续监控，向卷积神经网络输入一系列按照时间排序的植物照片，通过卷积神经网络对按照时间排序的植物照片进行处理，可以得到植物在每个生长状态的特征向量，通过植物在每个生长状态的特征向量组成一个特征序列，将该特征序列输入至训练好的循环神经网络中，通过训练好的神经网络就能预测出植物的下一个生长状态，也即，推断出植物在下一个时间节点的生长状态，从而避免了人工根据经验识别植物的生长状态，降低了人工成本，且提高了对植物的生长状态进行识别的准确度，进而提高了对植物的生长状态进行确定的准确度。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

根据本发明实施例的另一方面，还提供了一种用于实施上述图像处理方法的图像处理装置。图15是根据本发明实施例的一种图像处理装置的示意图，如图15所示，该图像处理装置150可以包括：获取单元10、处理单元20和输出单元30。

获取单元10，用于获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集，其中，第一目标图像集中所包含的每个第一图像用于指示第一目标植物在拍摄时刻正在经历的生长状态。

处理单元20，用于通过图像识别模型对第一目标图像集进行识别处理，其中，图像识别模型为对样本图像进行训练所得到的用于识别植物的生长状态的模型。

输出单元30，用于输出由图像识别模型处理得到的用于指示第一目标植物的目标生长状态的目标结果，其中，目标生长状态为在第一生长状态之后的下一个生长状态，第一生长状态为在预定时间段内，拍摄时刻距离当前时刻最近的第一图像所指示的第一目标植物正在经历的生长状态。

可选地，该实施例的装置还包括：第一确定单元，用于在通过图像识别模型对第一目标图像集进行识别处理之前确定第二目标植物已经历过的多个生长状态，且获取每个生长状态对应的第二目标图像集，其中，第二目标植物与第一目标植物为相同种类的植物，多个生长状态包括目标生长状态，每个生长状态对应的第二目标图像集中所包含的每个第二图像，用于指示第二目标植物在拍摄时刻正在经历的生长状态；第二确定单元，用于将每个生长状态对应的第二目标图像集确定为一个样本图像，得到多个样本图像；训练单元，用于通过多个生长状态和多个样本图像对子图像识别模型进行训练，得到图像识别模型。

需要说明的是，该实施例中的获取单元10。可以用于执行本申请实施例中的步骤S202，该实施例中的处理单元20可以用于执行本申请实施例中的步骤S204，该实施例中的输出单元30可以用于执行本申请实施例中的步骤S206。

此处需要说明的是，上述单元与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述单元作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。其中，硬件环境包括网络环境。

根据本发明实施例的又一方面，还提供了一种用于实施上述图像处理方法的电子装置。

图16是根据本发明实施例的一种电子装置的结构框图。如图16所示，该电子装置包括存储器1602和处理器1604，该存储器中存储有计算机程序，该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器1604可以被设置为通过计算机程序执行以下步骤：

S1，获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集，其中，第一目标图像集中所包含的每个第一图像用于指示第一目标植物在拍摄时刻正在经历的生长状态；

S2，通过图像识别模型对第一目标图像集进行识别处理，其中，图像识别模型为对样本图像进行训练所得到的用于识别植物的生长状态的模型。

S3，输出由图像识别模型处理得到的用于指示第一目标植物的目标生长状态的目标结果，其中，目标生长状态为在第一生长状态之后的下一个生长状态，第一生长状态为在预定时间段内，拍摄时刻距离当前时刻最近的第一图像所指示的第一目标植物正在经历的生长状态。

可选地，本领域普通技术人员可以理解，图16所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图16其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图16中所示更多或者更少的组件(如网络接口等)，或者具有与图16所示不同的配置。

其中，存储器1602可用于存储软件程序以及模块，如本发明实施例中的图像处理方法和装置对应的程序指令/模块，处理器1604通过运行存储在存储器1602内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像处理方法。存储器1602可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1602可进一步包括相对于处理器1604远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1602具体可以但不限于用于存储在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集等信息。作为一种示例，如图16所示，上述存储器1602中可以但不限于包括上述图像处理装置150中的获取单元10、处理单元20和输出单元30。此外，还可以包括但不限于上述图像处理装置中的其他单元，本示例中不再赘述。

上述的传输装置1606用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1606包括一个网络适配器(NetworkInterface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1606为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子装置还包括：显示器1608，用于显示上述目标代码在第一目标函数中的执行状态；连接总线1610，用于连接上述电子装置中的各个模块部件。

根据本发明的实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集，其中，第一目标图像集中所包含的每个第一图像用于指示第一目标植物在拍摄时刻正在经历的生长状态；

S2，通过图像识别模型对第一目标图像集进行识别处理，其中，图像识别模型为对样本图像进行训练所得到的用于识别植物的生长状态的模型；

S3，输出由图像识别模型处理得到的用于指示第一目标植物的目标生长状态的目标结果，其中，目标生长状态为在第一生长状态之后的下一个生长状态，第一生长状态为在预定时间段内，拍摄时刻距离当前时刻最近的第一图像所指示的第一目标植物正在经历的生长状态。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，在通过图像识别模型对第一目标图像集进行识别处理之前，确定第二目标植物已经历过的多个生长状态，且获取每个生长状态对应的第二目标图像集，其中，第二目标植物与第一目标植物为相同种类的植物，多个生长状态包括目标生长状态，每个生长状态对应的第二目标图像集中所包含的每个第二图像，用于指示第二目标植物在拍摄时刻正在经历的生长状态；

S2，将每个生长状态对应的第二目标图像集确定为一个样本图像，得到多个样本图像；

S3，通过多个生长状态和多个样本图像对子图像识别模型进行训练，得到图像识别模型。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取每个样本图像的特征向量，得到多个特征向量，其中，每个特征向量包括第二目标植物在经历每个生长状态时的生物特征；

S2，通过多个生长状态和多个特征向量对子图像识别模型进行训练；基于训练后的子图像识别模型确定图像识别模型。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，通过目标卷积神经网络获取每个样本图像的特征向量，得到多个特征向量；

S2，通过多个生长状态和多个特征向量对循环神经网络中的子图像识别模型进行训练；

S3，将目标卷积神经网络和训练后的循环神经网络中的子图像识别模型，确定为图像识别模型。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，在通过多个生长状态和多个特征向量对循环神经网络中的子图像识别模型进行训练之前，对多个特征向量按照目标顺序进行排序，得到特征序列，其中，目标顺序为与多个特征向量一一对应的多个生长状态按照经历每个生长状态的时间进行排列的顺序；

S2，通过多个生长状态和特征序列对循环神经网络中的子图像识别模型进行训练。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，基于目标卷积神经网络获取第一目标图像集中所包含的每个第一图像的目标特征向量，得到多个目标特征向量；

S2，通过训练后的循环神经网络中的子图像识别模型对多个目标特征向量进行处理。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，在通过图像识别模型对第一目标图像集进行识别处理之前，确定目标植物集中所包含的每个第二目标植物已经历过的多个生长状态，且获取每个生长状态对应的第二目标图像集，其中，目标植物集中包括的多个第二目标植物的种类包括第一目标植物的种类，多个生长状态包括目标生长状态，每个生长状态对应的第二目标图像集中所包含的每个第二图像，用于指示第二目标植物在拍摄时刻正在经历的生长状态；

S2，将每个第二目标植物的每个生长状态的第二目标图像集，确定为一个样本图像，得到多个样本图像；

S3，通过每个第二目标植物已经历过的多个生长状态和多个样本图像对子图像识别模型进行训练，得到图像识别模型。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，在获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集之后，基于拍摄时刻对第一目标图像集中所包含的多个第一图像进行排序；

S2，通过图像识别模型对排序后的多个第一图像进行处理。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，在获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集之后，将每个第一图像的格式转化为与图像识别模型相匹配的目标格式；

S2，通过图像识别模型对目标格式的第一目标图像集进行处理。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下至少之一步骤的计算机程序：

S1，显示用于指示目标生长状态的目标图片；

S2，显示用于指示目标生长状态的目标文本；

S3，播放用于指示目标生长状态的目标语音。

可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (11)

1.一种图像处理方法，其特征在于，包括：

获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集，其中，所述第一目标图像集中所包含的每个第一图像用于指示所述第一目标植物在拍摄时刻正在经历的生长状态；

通过图像识别模型对所述第一目标图像集进行识别处理，其中，所述图像识别模型为对样本图像进行训练所得到的用于识别植物的生长状态的模型；

输出由所述图像识别模型处理得到的用于指示所述第一目标植物的目标生长状态的目标结果，其中，所述目标生长状态为在第一生长状态之后的下一个生长状态，所述第一生长状态为在所述预定时间段内，拍摄时刻距离所述当前时刻最近的所述第一图像所指示的所述第一目标植物正在经历的生长状态，如果所述第一生长状态和第一目标植物在所述当前时刻的生长状态相同，则所述目标生长状态为当前时刻之后所述第一目标植物待经历的下一个生长状态，如果所述第一生长状态和所述第一目标植物在所述当前时刻的生长状态不相同，则所述目标生长状态为所述第一目标植物在所述当前时刻的生长状态，或者，所述目标生长状态为所述第一目标植物在所述当前时刻之前的生长状态；

在通过图像识别模型对所述第一目标图像集进行识别处理之前，所述方法还包括：

确定第二目标植物已经历过的多个生长状态，且获取每个所述生长状态对应的第二目标图像集，其中，所述第二目标植物与所述第一目标植物为相同种类的植物，所述多个生长状态包括所述目标生长状态，每个所述生长状态对应的所述第二目标图像集中所包含的每个第二图像，用于指示所述第二目标植物在拍摄时刻正在经历的所述生长状态，所述第二目标图像集包括对所述第二目标植物在每个生长状态对应的时间段内的不同拍摄时刻进行拍摄得到的多个所述第二图像，所述第二目标图像集中的多个第二图像均用于指示所述第一目标植物相同的生长状态；

将每个所述生长状态对应的所述第二目标图像集确定为一个所述样本图像，得到多个样本图像；

获取每个所述样本图像的特征向量，得到多个特征向量，其中，每个所述特征向量包括所述第二目标植物在经历每个所述生长状态时的生物特征；

对所述多个特征向量按照目标顺序进行排序，得到特征序列，其中，所述目标顺序为与所述多个特征向量一一对应的所述多个生长状态按照经历每个所述生长状态的时间进行排列的顺序；

通过所述多个生长状态和所述多个特征向量对子图像识别模型进行训练；

基于训练后的所述子图像识别模型确定所述图像识别模型；

其中，获取每个所述样本图像的特征向量，得到多个特征向量包括：

通过目标卷积神经网络获取每个所述样本图像的特征向量，得到所述多个特征向量，

具体为：输入植物的原始图像；

用三个不同的特征视野对所述原始图像进行卷积处理，得到第一个卷积层结果；

在池化层对所述第一个卷积层的结果进行池化处理，得到池化结果，以缩小卷积层的结果；

用另外的三个不同的特征视野对所述池化结果进行卷积处理，得到第二个卷积层结果；

对所述第二个卷积层的结果再进行一次池化，得到最终的池化结果。

2.根据权利要求1所述的方法，其特征在于，

通过所述多个生长状态和所述多个特征向量对所述子图像识别模型进行训练包括：通过所述多个生长状态和所述多个特征向量对循环神经网络中的所述子图像识别模型进行训练；

基于训练后的所述子图像识别模型确定所述图像识别模型包括：将所述目标卷积神经网络和训练后的所述循环神经网络中的所述子图像识别模型，确定为所述图像识别模型。

3.根据权利要求2所述的方法，其特征在于，

通过所述多个生长状态和所述多个特征向量对循环神经网络中的所述子图像识别模型进行训练包括：通过所述多个生长状态和所述特征序列对所述循环神经网络中的所述子图像识别模型进行训练。

4.根据权利要求2所述的方法，其特征在于，通过图像识别模型对所述第一目标图像集进行识别处理包括：

基于所述目标卷积神经网络获取所述第一目标图像集中所包含的每个所述第一图像的目标特征向量，得到多个目标特征向量；

通过训练后的所述循环神经网络中的所述子图像识别模型对所述多个目标特征向量进行处理。

5.根据权利要求1至4中任意一项所述的方法，其特征在于，

在获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集之后，所述方法还包括：基于所述拍摄时刻对所述第一目标图像集中所包含的多个所述第一图像进行排序；

通过图像识别模型对所述第一目标图像集进行识别处理包括：通过所述图像识别模型对排序后的多个所述第一图像进行处理。

6.根据权利要求1至4中任意一项所述的方法，其特征在于，

在获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集之后，所述方法还包括：将每个所述第一图像的格式转化为与所述图像识别模型相匹配的目标格式；

通过图像识别模型对所述第一目标图像集进行识别处理包括：通过所述图像识别模型对所述目标格式的所述第一目标图像集进行处理。

7.根据权利要求6所述的方法，其特征在于，每个所述第一图像的格式包括以下至少之一：

每个所述第一图像的尺寸；

每个所述第一图像的扩展名；

每个所述第一图像所占的内存大小。

8.根据权利要求1至4中任意一项所述的方法，其特征在于，输出由所述图像识别模型处理得到的用于指示所述第一目标植物的目标生长状态的目标结果包括以下至少之一：

显示用于指示所述目标生长状态的目标图片；

显示用于指示所述目标生长状态的目标文本；

播放用于指示所述目标生长状态的目标语音。

9.一种图像处理装置，其特征在于，包括：

获取单元，用于获取在当前时刻之前的预定时间段内拍摄第一目标植物所得到的第一目标图像集，其中，所述第一目标图像集中所包含的每个第一图像用于指示所述第一目标植物在拍摄时刻正在经历的生长状态；

处理单元，用于通过图像识别模型对所述第一目标图像集进行识别处理，其中，所述图像识别模型为对样本图像进行训练所得到的用于识别植物的生长状态的模型；

输出单元，用于输出由所述图像识别模型处理得到的用于指示所述第一目标植物的目标生长状态的目标结果，其中，所述目标生长状态为在第一生长状态之后的下一个生长状态，所述第一生长状态为在所述预定时间段内，拍摄时刻距离所述当前时刻最近的所述第一图像所指示的所述第一目标植物正在经历的生长状态，如果所述第一生长状态和第一目标植物在所述当前时刻的生长状态相同，则所述目标生长状态为当前时刻之后所述第一目标植物待经历的下一个生长状态，如果所述第一生长状态和所述第一目标植物在所述当前时刻的生长状态不相同，则所述目标生长状态为所述第一目标植物在所述当前时刻的生长状态，或者，所述目标生长状态为所述第一目标植物在所述当前时刻之前的生长状态；

所述装置还包括：

第一确定单元，用于在通过图像识别模型对所述第一目标图像集进行识别处理之前确定第二目标植物已经历过的多个生长状态，且获取每个所述生长状态对应的第二目标图像集，其中，所述第二目标植物与所述第一目标植物为相同种类的植物，所述多个生长状态包括所述目标生长状态，每个所述生长状态对应的所述第二目标图像集中所包含的每个第二图像，用于指示所述第二目标植物在拍摄时刻正在经历的所述生长状态，所述第二目标图像集包括对所述第二目标植物在每个生长状态对应的时间段内的不同拍摄时刻进行拍摄得到的多个所述第二图像，所述第二目标图像集中的多个第二图像均用于指示所述第一目标植物相同的生长状态；

第二确定单元，用于将每个所述生长状态对应的所述第二目标图像集确定为一个所述样本图像，得到多个样本图像；

训练单元，用于通过所述多个生长状态和所述多个样本图像对子图像识别模型进行训练，得到所述图像识别模型；

所述训练单元还用于：

获取每个所述样本图像的特征向量，得到多个特征向量，其中，每个所述特征向量包括所述第二目标植物在经历每个所述生长状态时的生物特征；

对所述多个特征向量按照目标顺序进行排序，得到特征序列，其中，所述目标顺序为与所述多个特征向量一一对应的所述多个生长状态按照经历每个所述生长状态的时间进行排列的顺序；

通过所述多个生长状态和所述多个特征向量对子图像识别模型进行训练；

基于训练后的所述子图像识别模型确定所述图像识别模型；

其中，获取每个所述样本图像的特征向量，得到多个特征向量包括：

通过目标卷积神经网络获取每个所述样本图像的特征向量，得到所述多个特征向量，

具体为：输入植物的原始图像；

用三个不同的特征视野对所述原始图像进行卷积处理，得到第一个卷积层结果；

在池化层对所述第一个卷积层的结果进行池化处理，得到池化结果，以缩小卷积层的结果；

用另外的三个不同的特征视野对池化结果进行卷积处理，得到第二个卷积层结果；

对所述第二个卷积层的结果再进行一次池化，得到最终的池化结果。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述的方法。

11.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至8任一项中所述的方法。

Images