CN115170973A - 一种智能化稻田杂草识别方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种智能化稻田杂草识别方法、装置、设备及介质，涉及计算机视觉技术领域。该智能化稻田杂草识别方法包括：根据多个第一视频获取第一图片集；所述第一图片集包括多个第一图片，所述第一图片携带有所述第一视频的杂草种类信息；搜索最佳的深度残差网络结构得到第一深度残差网络结构；根据多个所述第一图片集和所述杂草种类信息训练所述深度残差网络得到稻田杂草识别模型；将第二图片输入至所述稻田杂草识别模型得到第一识别结果。本申请通过输入稻田杂草视频和杂草种类信息，利用深度残差网络的人工智能识别模型对输入图片进行识别获得识别结果，从而智能高效地实现对稻田杂草的识别。

Description

一种智能化稻田杂草识别方法、装置、设备及介质

技术领域

本申请涉及计算机视觉技术领域，特别涉及一种智能化稻田杂草识别方法、装置、设备及介质。

背景技术

稻田经常出现多种杂草，杂草会影响稻田产量，造成水稻严重减产。为了减少杂草为稻田产量的不利影响，去除杂草是必不可少的一项工作。而不同的杂草需要不同的除草方式，目前多是采用人工实地勘察，或者智能图像监测系统来获取稻田的实时情况，再由人工通过观察监测系统提供的图像/视频来判断杂草的种类，然而这两种方式均需要消耗较多的人力、效率较低，如何智能高效的实现杂草识别为目前面临的重要技术问题。

发明内容

本申请的目的在于至少一定程度上解决相关技术中存在的技术问题之一。

为此，本申请实施例的一个目的在于提供一种智能化稻田杂草识别方法。

为了达到上述技术目的，本申请实施例所采取的技术方案包括：

一方面，本申请实施例提供了一种智能化稻田杂草识别方法，包括：

获取多个第一视频，所述第一视频为稻田杂草视频，所述第一视频携带有杂草种类信息；

根据多个所述第一视频获取第一图片集；所述第一图片集包括多个第一图片，所述第一图片携带有所述第一视频的杂草种类信息；

搜索最佳的深度残差网络结构得到第一深度残差网络结构；

根据多个所述第一图片集和所述杂草种类信息训练所述深度残差网络得到稻田杂草识别模型，所述深度残差网络具有所述第一深度残差网络结构；

获取第二图片；

将所述第二图片输入至所述稻田杂草识别模型得到第一识别结果。

第二方面，本申请实施例提供了一种智能化稻田杂草识别装置，包括：

第一获取单元，用于获取多个第一视频，所述第一视频为稻田杂草视频，所述第一视频携带有杂草种类信息；

第二获取单元，用于根据多个所述第一视频获取第一图片集；所述第一图片集包括多个第一图片，所述第一图片携带有所述第一视频的杂草种类信息：

稻田杂草识别模型构建单元，用于搜索最佳的深度残差网络结构得到第一深度残差网络结构；根据多个所述第一图片集和所述杂草种类信息训练所述深度残差网络得到稻田杂草识别模型，所述深度残差网络具有所述第一深度残差网络结构；

第三获取单元，用于获取获取第二图片；

识别单元，用于将所述第二图片输入至所述稻田杂草识别模型得到第一识别结果。

第三方面，本申请实施例提供了一种计算机设备，所述计算机设备包括：

处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行，以实现如前所述的智能化稻田杂草识别方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行，以实现如前所述的智能化稻田杂草识别方法。

本申请的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到：

本申请实施例所公开的一种智能化稻田杂草识别方法，包括获取多个第一视频，所述第一视频为稻田杂草视频，所述第一视频携带有杂草种类信息；

根据多个所述第一视频获取第一图片集；所述第一图片集包括多个第一图片，所述第一图片携带有所述第一视频的杂草种类信息；

搜索最佳的深度残差网络结构得到第一深度残差网络结构；

根据多个所述第一图片集和所述杂草种类信息训练所述深度残差网络得到稻田杂草识别模型，所述深度残差网络具有所述第一深度残差网络结构；

获取第二图片；

将所述第二图片输入至所述稻田杂草识别模型得到第一识别结果。

本申请通过输入稻田杂草视频和杂草种类信息，利用深度残差网络的人工智能识别模型对输入图片进行识别获得识别结果，从而智能高效地实现对稻田杂草的识别。

附图说明

为了更清楚地说明本申请实施例或者现有技术中的技术方案，下面对本申请实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。

图1为本申请实施例中提供的一种智能化稻田杂草识别方法的流程图；

图2为本申请实施例中提供的一种智能化稻田杂草识别方法的获取第一图片集的流程图；

图3为本申请实施例中的深度残差网络的结构示意图；

图4为本申请实施例中的深度残差网络的又一结构示意图；

图5为本申请实施例中的深度残差网络的修正后的结构示意图；

图6为本申请实施例中提供的一种智能化稻田杂草识别装置。

具体实施方式

下面结合说明书附图和具体的实施例对本申请进行进一步的说明。所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

稻田经常出现多种杂草，杂草会影响稻田产量，造成水稻严重减产。为了减少杂草为稻田产量的不利影响，去除杂草是必不可少的一项工作。而不同的杂草需要不同的除草方式，目前多是采用人工实地勘察，或者智能图像监测系统来获取稻田的实时情况，再由人工通过观察监测系统提供的图像/视频来判断段杂草的种类，然而这两种方式均需要消耗较多的人工、效果较低，如何智能高效的实现杂草识别为目前面临的重要技术问题。

因此，本申请实施例针对上述问题提供的技术方案至少能够部分地解决上述问题的至少之一。

需要说明的是，以上的应用场景仅为示例，并不作为对本申请实施例的限制。本申请中多个的含义为超过1个，即2个、3个，以及3个以上。

如图1所示，本申请实施例提供的一种智能化稻田杂草识别方法，包括：

步骤S100：获取多个第一视频，所述第一视频为稻田杂草视频，所述第一视频携带有杂草种类信息；

步骤S200，根据多个所述第一视频获取多个第一图片集；所述第一图片集包括多个第一图片，所述第一图片携带有所述第一视频的杂草种类信息；

步骤S300，搜索最佳的深度残差网络结构得到第一深度残差网络结构；

步骤S400，根据多个所述第一图片集和所述杂草种类信息训练所述深度残差网络得到稻田杂草识别模型，所述深度残差网络具有所述第一深度残差网络结构；

步骤S500，获取第二图片；

步骤S600，将所述第二图片输入至所述稻田杂草识别模型得到第一识别结果。

本实施例通过输入稻田杂草视频和杂草种类信息，利用深度残差网络的人工智能识别模型对输入图片进行识别获得识别结果，从而智能高效地实现对稻田杂草的识别。不包含步骤S300的情况下，也能够实现上述智能识别。设置了该步骤S300，可以获取最佳深度残差网络结构作为识别模型。

步骤S100中的第一视频的生成过程如下。在一个完整的水稻生长周期内，农业技术人员每天进行巡田，如果发现田间杂草，则当场分辨所有杂草的种类并记录一些与杂草相关的信息，然后拍摄一段田间杂草的短视频。这些短视频即为本实施例中的多个第一视频。可选地，杂草相关信息包括杂草种类信息，比如包括稗草、莎草、竹节菜、笄石菖、鸭舌草和莲子草。

可选地，为了拍摄到各种环境下的田间杂草图片，每天巡田的时间和路线不固定。当然人力充足的情况下，可以多条或者每条线路、多时段进行巡田和视频记录。对于已发现草害的稻田位置须每天跟踪拍摄，直到该位置的草害消失或者被治理。

可选地，第一视频的拍摄具有缓慢变化的拍摄角度和拍摄距离，且拍摄画面包括杂草本身的轮廓特征和页面特征。拍摄短视频时，须缓慢改变拍摄的距离和角度，画面须包括杂草本身或者水稻叶片上的草害特征。

可选地，按照预设路径保存第一视频，所述预设路径的文件夹名称包括日期、杂草种类，每个所述第一视频的命名包括环境信息和序号。比如，整理当天拍摄的稻田杂草短视频，保存路径的格式为：当天日期/杂草种类/短视频名称，存在多种杂草时，使用“+”连接，例如文件夹“20211025/稗草+莎草”，每个视频的命名格式为“温度+水位+湿度+序号”，例如“20.5+5.1+20.6+01”，表示温度为20.5℃，水位为5.1cm，湿度为20.6%，序号01表示当天拍摄的第一个视频。序号用于区别不同的视频。

由于步骤S100中的第一视频关联了杂草的种类信息，步骤S200中从多个所述第一视频获取多个第一图片集中的每一帧图片也关联了杂草的种类信息。具体地，一个第一视频可获取一个第一图片集，多个第一视频就可以获得多个第一图片集。

如图2所示，在一些实施例中，所述根据多个所述第一视频获取多个第一图片集，包括：

根据每一个所述第一视频获取第三图片集，所述第三图片集为所述第一视频的所有图片帧根据时间序列构成的图片集；

构建所述第一图片集；

从所述第三图片集中获取第一图片，检测该第一图片是否模糊，并检测该第一图片与所述第一图片集中的已有图片是否相似；若所述第一图片不模糊且与所述第一图片集中的已有图片均不相似，则将所述第一图片作为第一目标图片，且获取第一预设间隔帧数的图片作为下一个第一图片；若所述第一图片模糊或者所述第一图片与所述第一图片集中的任意已有图片相似，则获取第二预设间隔帧数的图片作为下一个第一图片；

将所述第一目标图片存储在所述第一图片集中。

在该实施例中，经过筛选获得图片清晰且互不相似的第一图片作为训练集，用于对深度残差网络模型的训练。多个第一视频中的每一个视频均是采用上述方法来筛选第一图片的。

该实施例中，第一视频中的所有图片按照时序排列构成第三图片集，从第三图片集中选择时序排在第一的图片作为第一图片，然后判断该第一图片是否模糊，如果模糊就将第一预设间隔帧数的图片作为下一个第一图片，再检测该第一图片是否模糊。如果不模糊，就存在第一图片集中。存储之后，获取第二预设间隔帧数的图片作为第一图片，然后对该第一图片进行模糊检测和相似性检测。如果该第一图片模糊或者与第一图片集中的任意一个图片相似，则将第一预设间隔帧数的图片作为下一个第一图片；如果该第一图片不模糊且与第一图片集中的所有图片均不相似，则将该第一图片存在第一图片集中，将第二预设间隔帧数的图片作为第一图片。

可选地，为了减少检测的工作量，可将模糊检测和相似检测顺序执行。首先对第一图片进行模糊检测，模糊检测结果为是，则不需要进行相似检测，直接第一预设间隔帧数的图片作为下一个第一图片。当模糊检测结果为否，才进行相似检测，以检测该第一图片与第一图片集中的所有图片是否相似，如果相似则将第一预设间隔帧数的图片作为第一图片，继续顺序执行模糊检测和相似检测；如果不相似，则将该第一图片作为第一目标图片，存储在第一图片集中，并将第二预设间隔帧数的图片作为下一个第一图片，继续顺序执行模糊检测和相似检测。

上述过程持续执行至第三图片集中的图片被全部检测，或者说，持续执行至无法获取到时序比当前第一图片的时序靠后的下一个第一图片，则停止执行，第一图片集完成。

可选地，第一预设间隔帧数可以为1。即在检测到当前第一图片模糊或者相似时，就将下一帧的图片作为第一图片。也可以将第一预设间隔帧数设置为2-10帧。由于视频是连续的图片帧组成，在当前图片模糊或者存在相似的情况下，其相邻近的图片帧可能也会出现这种检测结果，因此可将第一预设间隔帧数设置为略大于1的数值，可以减少不必要的检测。

可选地，第二预设间隔帧数为15-30帧，比如，可设置为20帧。由于视频中的图片帧是连续的，在当前帧确定为第一目标图片进行存储后，就没有必要将其临近的图片帧再作为第一目标图片进行存储，因为存储后的第一图片集是用作训练集的，相近的图片用作训练集是不必要的。同时，如果将该临近图片帧作为第一图片，在进行相似检测的时候，很有可能与当前存储的第一目标图片是相似的，而无法通过相似检测，导致产生不必要的检测步骤。

可选地，第一预设间隔帧数小于第二预设间隔帧数。这样的设置可以兼顾检测的高效和训练集数量的保证。

在将所有的第一视频进行上述处理后，即可得到多个可用于训练的第一图片。

在一些实施例中，所述检测该第一图片是否模糊，包括：

计算所述第一图片的梯度矩阵，

计算梯度矩阵所有元素的方差，如果该方差小于预定方差阈值，则判断所述第一图片模糊；如果该方差大于等于预定方差阈值，则判断所述第一图片不模糊。

在拍摄短视频的过程中，可能存在抖动，造成短视频中有些图像会比较模糊，这些图像不利于杂草识别模型的训练；可以采用Laplacian算子计算图像的梯度矩阵，进而计算梯度矩阵所有元素的方差，如果该方差小于预定的阈值，表明该图像内容比较平滑，在处理时认为该图像是模糊的。

在一些实施例中，检测该第一图片与所述第一图片集中的已有图片是否相似，包括：

利用双线性插值将所述第一图片和所述第一图片集中的所有图片的尺寸压缩至第一尺寸；

利用超绿色法将压缩后的所有图片转为灰度图片；

计算灰度图片所有像素点的均值，对灰度图片进行二值化处理，大于均值的像素点记为1，小于均值的像素点记为0，得到仅包含0或1的矩阵；

计算第一图片对应的矩阵和所述第一图片集中的每个图片所对应的矩阵的差的绝对值，得到仅包含0和1的差值矩阵；

计算所述差值矩阵的所有元素的和，当所述差值矩阵的所有元素的和小于预设差值阈值，则判断所述第一图片和第一图片集中的对应图片相似，当所述差值矩阵的所有元素的和大于等于预设差值阈值，则判断所述第一图片和第一图片集中的对应图片不相似。

短视频中的连续多帧图像在内容上可能是相似的，这里通过比较两张图片的平均哈希特征值的差异判断两张图片是否相似。计算图片平均哈希特征值的步骤为：使用双线性插值将图片的尺寸压缩至10*10的大小(可以是其它m*n的大小)，然后采用超绿色法将其转为灰度图片，公式为ExG=2G-R-B，超绿色提取杂草和水稻的效果较好，而无关的土壤背景能较明显的被抑制；计算灰度图片100个像素点的均值，对灰度图片进行二值化处理，大于均值的像素点记为1，小于均值的像素点记为0，最后得到仅包含0或1的矩阵即为该图片的哈希特征值；比较两张图片哈希特征值差异的步骤为：计算两张图片哈希特征值对应矩阵的差，对两个矩阵的每个元素作差并取绝对值，得到仅包含0和1的新矩阵，该矩阵包含了两张图片的差异信息，对该矩阵的100个元素求和，最后的和值代表了这两张图片的差异程度，如果该和值小于预定的阈值，在处理时认为这两张图片是相似的。上述检测模糊和相似的两个预定阈值是通过测试确定的，在各种阈值条件下(模糊和相似的阈值分别单独测试)，从10个测试短视频中提取图片，选取图片提取结果最好的那个阈值，使用这两个阈值可以提取清晰有效的稻田杂草图片。可以理解的是，上述示例中的数字仅为例举，不代表对本实施例的具体限定，具体数值可灵活设置。

在一些实施例中，如图3-4所示，所述深度残差网络结构包括输入部分、中间部分和输出部分；

所述中间部分由4个残差Block组成，每个残差Block由多个卷积Layer和旁路连接组成，每个卷积Layer由BatchNorm批归一化、ReLU激活函数和Conv2D卷积按顺序连接而成，

所述输出部分为多输出形式，每一个输出针对一种杂草类别，一次识别同时判断多种杂草的存在情况。

在本实施例中，可通过AutoKeras自动机器学习库（ENAS神经架构搜索的开源实现库）搜索最佳的深度残差网络结构，该网络结构包括输入部分、中间部分和输出部分。输入部分参考ResNet的结构。

中间部分由4个残差Block组成，每个残差Block由多个卷积Layer和旁路连接组成，每个卷积Layer由BatchNorm批归一化、ReLU激活函数、Conv2D卷积按顺序连接而成。

输出部分修改为多输出形式，每一个输出针对一种杂草类别，一次识别可以同时判断多种杂草的存在情况，这对同时存在多种草害的场景有更好的识别效果。

在一些实施例中，如图3-4所示，所述中间部分的结构通过从ENAS搜索空间中寻找最佳的深度残差网络结构来确定，所述ENAS搜索空间的内容包括：

每一个残差Block所包含卷积Layer的数量，数量范围为1-5个；

每一个残差Block中第一个卷积Layer的步长为2，其余卷积Layer的步长为1；

每一个残差Block中卷积Layer的通道数，第一个Layer的通道数从16、32、64、128、256、512中选取，如果当前残差Block中Layer的数量超过2，则最后一个卷积Layer的通道数是第一个卷积Layer的4倍；其余Layer的通道数与第一个Layer一致；

每一个卷积Layer的卷积核大小，从1x1、3x3和5x5三种大小中选取其一；

所述ENAS搜索空间的大小为(5*6*3)^4，将以上搜索空间的规则编码为AutoKears的搜索空间，AutoKeras通过自动训练并比较深度残差网络结构，选取识别率最高的那一个；

在搜索的过程中，损失函数的计算方式为，每一个输出对应一个交叉熵误差，计算所有输出的交叉熵误差的平均值作为整个网络的损失。

整个ENAS搜索空间的大小为(5*6*3)^4，将以上搜索空间的规则编码为AutoKears的搜索空间，AutoKeras通过自动训练并比较海量的深度残差网络结构，最后选取识别率最高的那一个。在搜索的过程中，损失函数的计算方式为，每一个输出对应一个交叉熵误差，所有输出的交叉熵误差取平均，作为整个神经网络的损失。

在图3中，7*7、3*3是指卷积核的大小，64 指的是通道数，/2表示卷积核每次移动2个步长。

在一些实施例中，训练上述深度残差网络，得到稻田杂草识别模型。

在一些实施例中，所述第一视频还携带有环境温度信息、环境湿度信息和稻田水位信息。在第一视频生成过程中，还需要记录环境信息，比如杂草所在处空气的温度和湿度、杂草所在位置的稻田水位，按照预设路径保存第一视频的具体示例可为：保存路径的格式为：当天日期/杂草种类，存在多种杂草时，使用“+”连接，例如文件夹“20211025/稗草+莎草”，每个视频的命名格式为“温度+水位+湿度+序号”，例如“20.5+5.1+20.6+01”，表示温度为20.5℃，水位为5.1cm，湿度为20.6%，序号01表示当天拍摄的第一个视频。

可选地，全连接的输入中增加空气温度、稻田水位和空气湿度这三个环境信息。将所述环境温度信息、环境湿度信息和稻田水位信息添加在每一个输出的全连接中，全连接的输出为2个，包括输入图片为第一杂草种类的概率和输入图片不是第一杂草种类的概率。

在该实施例中，修改上述深度残差网络，考虑到杂草的生长与气候环境以及稻田水位密切相关，加入上述杂草相关环境信息的输入，添加的位置为每一个输出的全连接中，全连接的输入中增加空气温度、稻田水位和空气湿度，全连接的输出仍为2个，这样整个网络的输入信息包括杂草图片本身以及温湿度和水位信息。如图5所示。

训练阶段，将训练过的图片的温湿度以及水位求和，并记录训练过的图片的数量，以待推理阶段使用；损失函数，每一个输出对应一个交叉熵误差，所有输出的交叉熵误差取平均，作为整个神经网络的损失。

在一些实施例中，还包括部署上述稻田杂草识别模型。

在训练阶段输入信息包括图片本身以及环境湿度、环境温度和稻田水位，在推理阶段仅需图片，环境湿度、环境温度和稻田水位取训练阶段时它们的平均值，例如稻田水位使用训练阶段的水位总和除以训练图片的数量。

在一些实施例中，模型部署后记录已经识别过的稻田杂草图片，经技术人员核查纠正识别结果后，加入上述数据集，重新训练和部署模型，该步骤可重复。

在一些实施例中，第二图片来源于第二视频，第二视频可以是由相关人员现场拍摄取得，也可以是由无人机或者其他智能拍摄装备拍摄取得。第二图片还可以是经过云端等途径获取。从第二视频获得第二图片的过程可参考第一图片的生成过程。对第二视频中的图片经过相同的模糊检测和相似检测后来获取第二图片，将第二图片输入至训练后的模型中即可获得识别结果。

本申请实施例具有以下至少之一的有益效果：

1、在搭建稻田杂草识别模型时，输出部分改为多输出，对于同时存在多种杂草的稻田图片可以识别出多个杂草类型，同时，在输入部分充分考虑到了杂草生长的气候环境和稻田水位。

2、使用ENAS神经架构搜索技术可以自动尝试各种神经网络,从而寻找出最适合于稻田杂草识别的神经网络结构以及对应的超参数，无需手动尝试各种网络结构以及手动调整超参数。

3、通过拍摄短视频并提取图片的方式可以高效地采集稻田杂草图片，拍摄每个短视频的时间为10-30秒，经过提取程序可以大约得到50张杂草图片，在效率上高于拍摄照片；由于在现场已经准确地辨认过杂草的种类，所以在构建数据集时无需逐个图片地标注，提高了图片获取的效率。

如图6所示，本申请实施例提供的一种智能化稻田杂草识别装置，包括：

第一获取单元，用于获取多个第一视频，所述第一视频为稻田杂草视频，所述第一视频携带有杂草种类信息；

第二获取单元，用于根据多个所述第一视频获取多个第一图片集；所述第一图片集包括多个第一图片，所述第一图片携带有所述第一视频的杂草种类信息：

稻田杂草识别模型构建单元，用于搜索最佳的深度残差网络结构得到第一深度残差网络结构；根据多个所述第一图片集和所述杂草种类信息训练所述深度残差网络得到稻田杂草识别模型，所述深度残差网络具有所述第一深度残差网络结构；

第三获取单元，用于获取第二图片；

识别单元，用于将所述第二图片输入至所述稻田杂草识别模型得到第一识别结果。

可以理解的是，如图1所示的智能化稻田杂草识别方法实施例中的内容均适用于本智能化稻田杂草识别装置实施例中，本智能化稻田杂草识别装置实施例所具体实现的功能与如图1所示的智能化稻田杂草识别方法实施例相同，并且达到的有益效果与如图1所示的智能化稻田杂草识别方法实施例所达到的有益效果也相同。

本申请实施例还提供了一种计算机设备，所述计算机设备包括：

处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行，以实现前述的智能化稻田杂草识别方法。

可以理解的是，如图1所示的智能化稻田杂草识别方法实施例中的内容均适用于本实施例中，本实施例所具体实现的功能与如图1所示的智能化稻田杂草识别方法实施例相同，并且达到的有益效果与如图1所示的智能化稻田杂草识别方法实施例所达到的有益效果也相同。

本申请实施例还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行，以实现如前所述的智能化稻田杂草识别方法。

可以理解的是，如图1所示的智能化稻田杂草识别方法实施例中的内容均适用于本实施例中，本实施例所具体实现的功能与如图1所示的智能化稻田杂草识别方法实施例相同，并且达到的有益效果与如图1所示的智能化稻田杂草识别方法实施例所达到的有益效果也相同。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或方框有时能以相反顺序被执行。此外，在本申请的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本申请，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本申请是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本申请。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本申请的范围，本申请的范围由所附权利要求书及其等同方案的全部范围来决定。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备（可以是个人计算机，游戏服务器，或者网络设备等）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

以上是对本申请的较佳实施进行了具体说明，但本申请并不限于实施例，熟悉本领域的技术人员在不违背本申请精神的前提下可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

在本说明书的描述中，参考术语“一个实施方式”、“另一实施方式”或“某些实施方式”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

尽管已经示出和描述了本申请的实施方式，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (10)

1.一种智能化稻田杂草识别方法，其特征在于，包括：

获取多个第一视频，所述第一视频为稻田杂草视频，所述第一视频携带有杂草种类信息；

根据多个所述第一视频获取多个第一图片集；所述第一图片集包括多个第一图片，所述第一图片携带有所述第一视频的杂草种类信息；

搜索最佳的深度残差网络结构得到第一深度残差网络结构；

根据多个所述第一图片集和所述杂草种类信息训练所述深度残差网络得到稻田杂草识别模型，所述深度残差网络具有所述第一深度残差网络结构；

获取第二图片；

将所述第二图片输入至所述稻田杂草识别模型得到第一识别结果。

2.根据权利要求1所述的智能化稻田杂草识别方法，其特征在于：

所述根据多个所述第一视频获取多个第一图片集，包括：

根据每一个所述第一视频获取第三图片集，所述第三图片集为所述第一视频的所有图片帧根据时间序列构成的图片集；

构建所述第一图片集；

从所述第三图片集中获取第一图片，检测该第一图片是否模糊，并检测该第一图片与所述第一图片集中的已有图片是否相似；若所述第一图片不模糊且与所述第一图片集中的已有图片均不相似，则将所述第一图片作为第一目标图片，且获取第一预设间隔帧数的图片作为下一个第一图片；若所述第一图片模糊或者所述第一图片与所述第一图片集中的任意已有图片相似，则获取第二预设间隔帧数的图片作为下一个第一图片；

将所述第一目标图片存储在所述第一图片集中。

3.根据权利要求2所述的智能化稻田杂草识别方法，其特征在于，

所述检测该第一图片是否模糊，包括：

计算所述第一图片的梯度矩阵，

计算梯度矩阵所有元素的方差，如果该方差小于预定方差阈值，则判断所述第一图片模糊；如果该方差大于等于预定方差阈值，则判断所述第一图片不模糊。

4.根据权利要求2所述的智能化稻田杂草识别方法，其特征在于，

检测该第一图片与所述第一图片集中的已有图片是否相似，包括：

利用双线性插值将所述第一图片和所述第一图片集中的所有图片的尺寸压缩至第一尺寸；

利用超绿色法将压缩后的所有图片转为灰度图片；

计算灰度图片所有像素点的均值，对灰度图片进行二值化处理，大于均值的像素点记为1，小于均值的像素点记为0，得到仅包含0或1的矩阵；

计算第一图片对应的矩阵和所述第一图片集中的每个图片所对应的矩阵的差的绝对值，得到仅包含0和1的差值矩阵；

计算所述差值矩阵的所有元素的和，当所述差值矩阵的所有元素的和小于预设差值阈值，则判断所述第一图片和第一图片集中的对应图片相似，当所述差值矩阵的所有元素的和大于等于预设差值阈值，则判断所述第一图片和第一图片集中的对应图片不相似。

5.根据权利要求1所述的智能化稻田杂草识别方法，其特征在于，

所述深度残差网络结构包括输入部分、中间部分和输出部分；

所述中间部分由4个残差Block组成，每个残差Block由多个卷积Layer和旁路连接组成，每个卷积Layer由BatchNorm批归一化、ReLU激活函数和Conv2D卷积按顺序连接而成，

所述输出部分为多输出形式，每一个输出针对一种杂草类别，一次识别同时判断多种杂草的存在情况。

6.根据权利要求5所述的智能化稻田杂草识别方法，其特征在于，

所述中间部分的结构通过从ENAS搜索空间中寻找最佳的深度残差网络结构来确定，所述ENAS搜索空间的内容包括：

每一个残差Block所包含卷积Layer的数量，数量范围为1-5个；

每一个残差Block中第一个卷积Layer的步长为2，其余卷积Layer的步长为1；

每一个残差Block中卷积Layer的通道数，第一个Layer的通道数从16、32、64、128、256、512中选取，如果当前残差Block中Layer的数量超过2，则最后一个卷积Layer的通道数是第一个卷积Layer的4倍；其余Layer的通道数与第一个Layer一致；

每一个卷积Layer的卷积核大小，从1x1、3x3和5x5三种大小中选取其一；

所述ENAS搜索空间的大小为(5*6*3)^4，将以上搜索空间的规则编码为AutoKears的搜索空间，AutoKeras通过自动训练并比较深度残差网络结构，选取识别率最高的那一个；

在搜索的过程中，损失函数的计算方式为，每一个输出对应一个交叉熵误差，计算所有输出的交叉熵误差的平均值作为整个网络的损失。

7.根据权利要求6所述的智能化稻田杂草识别方法，其特征在于，

所述第一视频还携带有环境温度信息、环境湿度信息和稻田水位信息；

将所述环境温度信息、环境湿度信息和稻田水位信息添加在每一个输出的全连接中，在每一个全连接层的输入张量中附加这3个维度的数值，每一个全连接的输出为2个，包括输入图片为第一杂草种类的概率和输入图片不是第一杂草种类的概率。

8.一种智能化稻田杂草识别装置，其特征在于，包括：

第一获取单元，用于获取多个第一视频，所述第一视频为稻田杂草视频，所述第一视频携带有杂草种类信息；

第二获取单元，用于根据多个所述第一视频获取多个第一图片集；所述第一图片集包括多个第一图片，所述第一图片携带有所述第一视频的杂草种类信息：

稻田杂草识别模型构建单元，用于搜索最佳的深度残差网络结构得到第一深度残差网络结构；根据多个所述第一图片集和所述杂草种类信息训练所述深度残差网络得到稻田杂草识别模型，所述深度残差网络具有所述第一深度残差网络结构；

第三获取单元，用于获取第二图片；

识别单元，用于将所述第二图片输入至所述稻田杂草识别模型得到第一识别结果。

9.一种计算机设备，所述计算机设备包括：

处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行，以实现如权利要求1至7任一项所述的智能化稻田杂草识别方法。

10.一种计算机可读存储介质，其特征在于，

所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行，以实现如权利要求1至7任一项所述的智能化稻田杂草识别方法。

Images