CN110796011A - 一种基于深度学习的稻穗识别方法、系统、装置及介质 - Google Patents

Abstract

本发明涉及一种基于深度学习的稻穗识别方法、系统、装置和介质，方法包括获取农田的多个原始水稻样本图像，并根据所有原始水稻样本图像构建水稻图像数据库；对所有原始水稻样本图像进行处理，得到多个目标水稻样本图像并存储入水稻图像数据库中，从水稻图像数据库中获取目标水稻数据集；基于YOLOv3深度学习方法，对目标水稻数据集进行训练，得到神经网络稻穗识别模型；利用神经网络稻穗识别模型对农田中的待检测稻穗进行识别，得到识别结果。本发明能够克服农田复杂背景环境的干扰因素，实现稻穗这类小目标的定位和识别，定位和识别效果得到了大大提升，有利于通过稻穗来观察水稻的生长状态，有助于保障水稻产量，促进了智慧农业的发展。

Description

一种基于深度学习的稻穗识别方法、系统、装置及介质

技术领域

本发明涉及智慧农业和信息化农业技术领域，尤其涉及一种基于深度学习的稻穗识别方法、系统、装置和介质。

背景技术

水稻是我国最主要的粮食作物，我国水稻种植面积达3000万公顷，产量占粮食总产量的40％，水稻生产担负着确保我国粮食安全的重大责任。在保证水稻产量的过程中，实施精准农作是其中最重要的一环。而实施精准农作的前提是实时、准确获取农田信息和水稻生长动态，例如实时获取和观察水稻稻穗的生产状态。

随着科技的迅速发展和农业信息化的普及，越来越多的人工智能应用到农业领域中，例如土壤分析、农业灌溉和农药喷洒等。但对于小物体的识别，特别是农田水稻稻穗的识别上，鲜有人应用。

对于农田环境，背景十分复杂，有各种杂乱的叶子、光照影响等影响因素，因此，目前传统的目标识别方法无法较好地识别出小目标，对稻穗识别的效果不佳，无法更好地帮助观察水稻的生长状态。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于深度学习的稻穗识别方法、系统、装置和介质，能够在农田复杂环境下识别出分散杂乱的小目标，对稻穗的定位效果和识别效果好，有利于通过稻穗来观察水稻的生长状态。

本发明解决上述技术问题的技术方案如下：

一种基于深度学习的稻穗识别方法，包括以下步骤：

步骤1：获取农田的多个原始水稻样本图像，并根据所有原始水稻样本图像构建水稻图像数据库；

步骤2：对所述水稻图像数据库中的所有原始水稻样本图像进行处理，得到多个目标水稻样本图像，将所有目标水稻样本图像存储入所述水稻图像数据库中，并从所述水稻图像数据库中获取目标水稻数据集；

步骤3：基于YOLOv3深度学习方法，对所述目标水稻数据集进行训练，得到神经网络稻穗识别模型；

步骤4：利用所述神经网络稻穗识别模型对农田中的待检测稻穗进行识别，得到识别结果。

本发明的有益效果是：通过获取多个原始水稻样本图像，并构建水稻图像数据库，便于对原始水稻样本图像进行管理，从而方便后续的图像处理和训练，获得识别率较高的神经网络稻穗识别模型；通过对水稻图像数据库中的所有原始水稻样本图像进行处理，便于获取质量较高的目标水稻数据集，为后续深度学习方法提供样本，从而方便后续的深度学习训练，有效提高训练质量，从而提高神经网络稻穗识别模型对待检测稻穗的定位和识别的准确率；由于农田环境较为复杂，背景十分复杂，干扰因素众多，稻穗本身属于小目标，在整个原始水稻样本图像中，有很多稻穗，且占整个图像的面积小、分布杂乱、不集中，而YOLOv3(You Only Look Once version 3的缩写)深度学习方法，是一种基于深度卷积神经网络的多目标物体检测算法，基于深度卷积神经网络，对样本数据集进行训练，获得训练好的神经网络权值参数，再利用该训练好的神经网络权值参数对稻穗进行识别，能有效定位出复杂农田环境下的稻穗，因此，采用基于YOLOv3深度学习方法对目标水稻数据集进行训练，具有较好的训练效果，得到的神经网络稻穗识别模型克服了农田复杂背景环境的干扰因素，对稻穗的定位和识别效果得到了大大提升，为稻穗这些小目标的识别提供了理论基础，从而有利于通过稻穗来观察水稻的生长状态，有助于保障水稻产量，促进了智慧农业的发展。

在上述技术方案的基础上，本发明还可以做如下改进：

进一步：在所述步骤1中，获取多个原始水稻样本图像的具体步骤包括：

步骤1.1：利用无人机遥感对所述农田进行拍摄，得到水稻样本视频数据；

步骤1.2：从所述水稻样本视频数据中提取多个原始水稻样本图像；

在所述步骤1中，构建所述水稻图像数据库的具体步骤包括：

步骤1.3：采用Django框架和Python Web编写方法，将所有原始水稻样本图像制作成所述水稻图像数据库。

进一步：在所述步骤2中，得到多个目标水稻样本图像的具体步骤包括：

步骤2.1：对所有原始水稻样本图像进行筛选，得到多个中间水稻样本图像；

步骤2.2：对所有中间水稻样本图像进行切割，得到多个预处理水稻样本图像；

步骤2.3：对每个预处理水稻样本图像分别进行格式转换，得到每个预处理水稻样本图像一一对应的转换水稻样本图像；

步骤2.4：对每个转换水稻样本图像分别进行标注，得到每个转换水稻样本图像一一对应的标注水稻样本图像；

步骤2.5：对每个标注水稻样本图像分别进行滤波，得到每个标注水稻样本图像一一对应的目标水稻样本图像。

进一步：所述步骤2.4的具体步骤包括：

步骤2.4.1：对于任一个转换水稻样本图像，确定转换水稻样本图像中每个第一稻穗图像一一对应的外接矩形集合；

步骤2.4.2：将每个所述外接矩形集合中的最小外接矩形作为对应的第一稻穗图像所对应的目标外接矩形，并按照所述目标外接矩形对对应的第一稻穗图像进行标注，得到对应的转换水稻样本图像中每个第一稻穗图像一一对应的标注矩形框；根据对应的转换水稻样本图像中所有第一稻穗图像的所有标注矩形框，得到对应的转换水稻样本图像所对应的标注水稻样本图像；

步骤2.4.3：遍历每个转换水稻样本图像，并按照所述步骤2.4.1至所述步骤2.4.2的方法，得到每个转换水稻样本图像一一对应的标注水稻样本图像。

进一步：所述步骤2.5的具体步骤包括：

步骤2.5.1：对于任一个标注水稻样本图像中的任一个第二稻穗图像对应的标注矩形框，以所述标注矩形框内的任一个像素点为中心点，确定所述中心点的提取范围，并提取所述提取范围内每个像素点一一对应的RGB颜色分量，将所述提取范围内每个像素点一一对应的RGB颜色分量分别进行颜色转换，得到所述提取范围内每个像素点一一对应的HSV颜色分量；

步骤2.5.2：提取所述提取范围内每个像素点的HSV颜色分量中的H通道分量，并将所述提取范围内所有像素点的所有H通道分量进行平均运算，得到所述提取范围的H通道分量均值，将所述H通道分量均值作为对应的所述中心点的目标H通道分量值；

步骤2.5.3：遍历对应的第二稻穗图像的所述标注矩形框内的每个像素点，按照所述步骤2.5.1至所述步骤2.5.2的方法，得到对应的第二稻穗图像的所述标注矩形框内的每个像素点一一对应的目标H通道分量值；

步骤2.5.4：将对应的第二稻穗图像的所述标注矩形框的所有目标H通道分量值按照从大到小的顺序排序，得到目标H通道分量值序列，并从所述目标H通道分量值序列的前端选取最大目标H通道分量值，从所述目标H通道分量值序列的后端选取最小目标H通道分量值；

步骤2.5.5：根据所述最大目标H通道分量值和所述最小目标H通道分量值，制作滤波掩膜，并利用所述滤波掩膜对对应的第二稻穗图像进行滤波，得到对应的第二稻穗图像所对应的滤波稻穗图像；

步骤2.5.6：遍历对应的标注水稻样本图像中的每个第二稻穗图像，并按照所述步骤2.5.1至所述步骤2.5.5的方法，得到对应的标注水稻样本图像中每个第二稻穗图像一一对应的滤波稻穗图像；根据所有第二稻穗图像的所有滤波稻穗图像，得到对应的标注水稻样本图像所对应的目标水稻样本图像；

步骤2.5.7：遍历每个标注水稻样本图像，并按照所述步骤2.5.1至所述步骤2.5.6的方法，得到每个标注水稻样本图像一一对应的目标水稻样本图像。

进一步：所述步骤3的具体步骤包括：

步骤3.1：基于所述YOLOv3深度学习方法，构建训练模型，并自定义所述训练模型的训练参数；

步骤3.2：根据所述训练参数，利用所述训练模型对所述目标水稻数据集进行训练，得到训练好的权值参数；

步骤3.3：根据训练好的所述权值参数构建所述神经网络稻穗识别模型；

其中，训练参数包括训练样本数量、先验框尺寸、迭代次数、读取类别、类别概率、预测框尺寸、置信度阈值和交叉区域阈值。

依据本发明的另一方面，提供了一种基于深度学习的稻穗识别系统，包括图像获取模块、数据库构建模块、处理模块、训练模块和识别模块；

所述图像获取模块，用于获取农田的多个原始水稻样本图像；

所述数据库构建模块，用于根据所有原始水稻样本图像构建水稻图像数据库；

所述处理模块，用于对所述水稻图像数据库中的所有原始水稻样本图像进行处理，得到多个目标水稻样本图像，将所有目标水稻样本图像存储入所述水稻图像数据库中，并从所述水稻图像数据库中获取目标水稻数据集；

所述训练模块，用于基于YOLOv3深度学习方法，对所述目标水稻数据集进行训练，得到神经网络稻穗识别模型；

所述识别模块，用于利用所述神经网络稻穗识别模型对农田中的待检测稻穗进行识别，得到识别结果。

本发明的有益效果是：通过图像获取模块获取多个原始水稻样本图像，并通过数据库构建模块构建水稻图像数据库，便于对原始水稻样本图像进行管理，从而方便后续的图像处理和训练，获得识别率较高的神经网络稻穗识别模型；通过处理模块对水稻图像数据库中的所有原始水稻样本图像进行处理，便于获取质量较高的目标水稻数据集，为后续深度学习方法提供样本，从而方便后续的深度学习训练，有效提高训练质量，从而提高神经网络稻穗识别模型对待检测稻穗的定位和识别的准确率；通过训练模块，采用基于YOLOv3深度学习方法对目标水稻数据集进行训练，具有较好的训练效果，得到的神经网络稻穗识别模型克服了农田复杂背景环境的干扰因素，对稻穗的定位和识别效果得到了大大提升，为稻穗这些小目标的识别提供了理论基础，从而有利于通过稻穗来观察水稻的生长状态，有助于保障水稻产量，促进了智慧农业的发展。

依据本发明的另一方面，提供了一种基于深度学习的稻穗识别装置，包括处理器、存储器和存储在所述存储器中且可运行在所述处理器上的计算机程序，所述计算机程序运行时实现本发明的一种基于深度学习的稻穗识别方法中的步骤。

本发明的有益效果是：通过存储在存储器上的计算机程序，并运行在处理器上，实现本发明的稻穗识别，基于YOLOv3深度学习方法，得到的神经网络稻穗识别模型克服了农田复杂背景环境的干扰因素，对稻穗的定位和识别效果得到了大大提升，为稻穗这些小目标的识别提供了理论基础，从而有利于通过稻穗来观察水稻的生长状态，有助于保障水稻产量，促进了智慧农业的发展。

依据本发明的另一方面，提供了一种计算机存储介质，所述计算机存储介质包括：至少一个指令，在所述指令被执行时实现本发明的一种基于深度学习的稻穗识别方法中的步骤。

本发明的有益效果是：通过执行包含至少一个指令的计算机存储介质，实现本发明的稻穗识别，基于YOLOv3深度学习方法，得到的神经网络稻穗识别模型克服了农田复杂背景环境的干扰因素，对稻穗的定位和识别效果得到了大大提升，为稻穗这些小目标的识别提供了理论基础，从而有利于通过稻穗来观察水稻的生长状态，有助于保障水稻产量，促进了智慧农业的发展。

附图说明

图1为本发明实施例一中一种基于深度学习的稻穗识别方法的流程示意图；

图2为本发明实施例一中提取原始水稻样本图像和制作水稻图像数据库的流程示意图；

图3为本发明实施例一中得到多个目标水稻样本图像的流程示意图；

图4为本发明实施例一中第一稻穗图像对应的标注矩形框的示意图；

图5为本发明实施例一中转换水稻样本图像标注后的标注水稻样本图像的示意图；

图6为本发明实施例一中第二稻穗图像的一个中心点在3*3像素提取范围内提取的H通道分量；

图7为本发明实施例一中经过标注和滤波后得到的目标水稻样本图像的示意图；

图8为本发明实施例一中训练得到神经网络稻穗识别模型的流程示意图；

图9为本发明实施例一中待检测稻穗的识别结果示意图；

图10为本发明实施例二中一种基于深度学习的稻穗识别系统的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

下面结合附图，对本发明进行说明。

实施例一、如图1所示，一种基于深度学习的稻穗识别方法，包括以下步骤：

S1：获取农田的多个原始水稻样本图像，并根据所有原始水稻样本图像构建水稻图像数据库；

S2：对所述水稻图像数据库中的所有原始水稻样本图像进行处理，得到多个目标水稻样本图像，将所有目标水稻样本图像存储入所述水稻图像数据库中，并从所述水稻图像数据库中获取目标水稻数据集；

S3：基于YOLOv3深度学习方法，对所述目标水稻数据集进行训练，得到神经网络稻穗识别模型；

S4：利用所述神经网络稻穗识别模型对农田中的待检测稻穗进行识别，得到识别结果。

通过获取多个原始水稻样本图像，并构建水稻图像数据库，便于对原始水稻样本图像进行管理，从而方便后续的图像处理和训练，获得识别率较高的神经网络稻穗识别模型；通过对水稻图像数据库中的所有原始水稻样本图像进行处理，便于获取质量较高的目标水稻数据集，为后续深度学习方法提供样本，从而方便后续的深度学习训练，有效提高训练质量，从而提高神经网络稻穗识别模型对待检测稻穗的定位和识别的准确率；由于农田环境较为复杂，背景十分复杂，干扰因素众多，稻穗本身属于小目标，在整个原始水稻样本图像中，有很多稻穗，且占整个图像的面积小、分布杂乱、不集中，采用基于YOLOv3深度学习方法对目标水稻数据集进行训练，具有较好的训练效果，得到的神经网络稻穗识别模型克服了农田复杂背景环境的干扰因素，对稻穗的定位和识别效果得到了大大提升，为稻穗这些小目标的识别提供了理论基础，从而有利于通过稻穗来观察水稻的生长状态，有助于保障水稻产量，促进了智慧农业的发展。

优选地，如图2所示，在S1中，获取多个原始水稻样本图像的具体步骤包括：

S1.1：利用无人机遥感对所述农田进行拍摄，得到水稻样本视频数据；

S1.2：从所述水稻样本视频数据中提取多个原始水稻样本图像；

在S1中，构建所述水稻图像数据库的具体步骤包括：

S1.3：采用Django框架和Python Web编写方法，将所有原始水稻样本图像制作成所述水稻图像数据库。

无人机遥感是一种基于无人机载遥感传感器，无人机采用遥控器来操纵，通过地面遥控器定位对其进行实时控制，操作手可使用遥控器对其进行实时控制，其旋翼飞行时产生的向下气流有助于压倒水稻叶片，能更好的拍摄稻穗，同时远距离操控不会对水稻的生长产生影响，后期可对图片、视频进行图像处理，从而方便进行对稻穗的识别；通过无人机遥感拍摄的水稻样本视频数据，并从该水稻样本视频数据中提取原始水稻样本图像，与传统的通过拍摄照片获得图像的方式相比，能在短时间内获得大量原始水稻样本图像，省时省力，方便后续水稻图像数据库的制作和图像处理；采用Django框架和Python Web制作方法，方便制作MySQL关系型的水稻图像数据库，对于数据的安全性和完整性具有较好的保障，由于拍摄视频、获取图像的来源可能不同，采集地点、采集时间、采集人员和采集设备也可能不同，通过MySQL关系型的水稻图像数据库，方便对获取的原始水稻样本图像进行统一管理，并方便后续对所有的原始水稻样本图像进行统一处理，从而便于提高训练效果，得到定位和识别率较高的神经网络稻穗识别模型。

具体地，在本实施例S1.1中，利用大疆经纬四旋翼机DJI Matrice 100搭载DJIZenmuse X3一体式云台相机，抗风性能较强。配合云台相机减震系统，在空旷农田有风环境下，依然能采集到清晰的图像，能获取稳定的水稻样本视频数据；

在本实施例S1.2中，将大疆经纬M100平台所获得的水稻视频数据导入Premiere时间轴，对该水稻视频数据进行适当删减，然后按序列帧导出，在导出界面调整参数以JPEG格式导出图像数据，共得到19000余张原始水稻样本图像；

在本实施例S1.3中，以Django为核心框架，通过PyMySQL驱动关联MySQL，通过Web网页前端上传原始水稻样本图像至数据存储区域，同时存储对应的存储路径，其中，开发环境选择Eclipse开发环境；Django核心框架具备功能全的特点，拥有非常完善的后台管理系统，非常符合本系统开发的功能需求；MySQL数据库支持多种编程语言API接口，结构体积小，存储速度快。

优选地，如图3所示，在S2中，得到多个目标水稻样本图像的具体步骤包括：

S2.1：对所有原始水稻样本图像进行筛选，得到多个中间水稻样本图像；

S2.2：对所有中间水稻样本图像进行切割，得到多个预处理水稻样本图像；S2.3：对每个预处理水稻样本图像分别进行格式转换，得到每个预处理水稻样本图像一一对应的转换水稻样本图像；

S2.4：对每个转换水稻样本图像分别进行标注，得到每个转换水稻样本图像一一对应的标注水稻样本图像；

S2.5：对每个标注水稻样本图像分别进行滤波，得到每个标注水稻样本图像一一对应的目标水稻样本图像。

通过筛选和切割，有利于去除较模糊和图像过大等低质量的原始水稻样本图像，一方面方便水稻图像数据库的管理，另一方面便于提供高质量的预处理水稻样本图像，从而提高后续的训练效果；通过格式转换，避免拍摄视频、获取图像的来源可能不同，或者采集地点、采集时间、采集人员和采集设备不同而导致的图像数据混乱，方便获得高质量的转换水稻图像数据；通过标注，方便将每个转换水稻样本图像中的稻穗目标涵盖进来，从而方便后续的训练；而通过每个标注水稻样本图像的滤波，方便滤除杂乱的背景等干扰因素，提高后续的训练效果，以便得到定位和识别率高的神经网络稻穗识别模型，有效提高了农田复杂环境下的分散杂乱的稻穗识别准确率。

具体地，在本实施例S2.1中，发现导出的19000余张原始水稻样本图像有许多模糊的图像，经过精密的筛选后，保留了1500余张中间水稻样本图像；

在本实施例S2.2中，利用Photoshop软件，在Photoshop中用切片选择工具新建一个自动切片的动作，在动作中调整好参数将一张图像切为16份，在导出时储存为Web所用格式，动作完成，然后在文件-自动-批处理中设置好源文件夹、目标文件夹和刚设置好的动作，开始自动切割图像数据，最终获得24000余张预处理水稻样本图像；

在本实施例S2.3中，利用格式工厂将每个预处理水稻样本图像格式转换为bmp格式，并将每个格式转换后的转换水稻样本图像进行分装并重命名；

在本实施例S2.4中，选择安装Anaconda作为python集成安装环境，运行pythonlabelImg.py，并具体利用labelImg开源软件对每个转换水稻样本图像进行标注。

优选地，S2.4的具体步骤包括：

S2.4.1：对于任一个转换水稻样本图像，确定转换水稻样本图像中每个第一稻穗图像一一对应的外接矩形集合；

S2.4.2：将每个所述外接矩形集合中的最小外接矩形作为对应的第一稻穗图像所对应的目标外接矩形，并按照所述目标外接矩形对对应的第一稻穗图像进行标注，得到对应的转换水稻样本图像中每个第一稻穗图像一一对应的标注矩形框；根据对应的转换水稻样本图像中所有第一稻穗图像的所有标注矩形框，得到对应的转换水稻样本图像所对应的标注水稻样本图像；

S2.4.3：遍历每个转换水稻样本图像，并按照S2.4.1至S2.4.2的方法，得到每个转换水稻样本图像一一对应的标注水稻样本图像。

传统的标注方式只是在原图上进行标注，背景干扰太多，稻穗小且分布杂乱，标注框只能是矩形，难免会把叶片等非稻穗目标物体涵盖进来，影响训练，标注框过大过小都不能很好地解决问题；通过本发明中的最小外接矩形作为对应第一稻穗图像的目标外接矩形，得到每个第一稻穗图像一一对应的标注矩形框，方便后续提取标注矩形框内每个像素点的目标H通道分量值，进而便于获得对应的第一稻穗图像的最大目标H通道分量值和最小目标H通道分量值，进而方便制作滤波掩膜，为制作滤波掩模滤除杂乱背景干扰做提供前期准备，从而有助于提高标注和滤波效果，有效克服干扰因素。

具体地，本实施例利用labelImg开源软件，在任一个转换水稻样本图像中，人工寻找需要所标注的目标，确定最小外接矩形，即得到目标外接矩形，并按照目标外接矩形，按住鼠标左键从目标外接矩形的左上角开始，向右下角拖拉，直到目标外接矩形右下角停止，松开鼠标左键，此时该转换水稻样本图像的图像显示区域会出现一个彩色矩形框，框住欲标注的目标，即为对应的第一稻穗图像的标注矩形框，且在样本标注信息操作模块的信息显示框中会出现彩色的标注矩形框左上角坐标和右下角坐标，如图4所示，可以看到红色的标注矩形框，信息显示框中的坐标信息也是用红色字体显示；每个转换水稻样本图像中包含多个第一稻穗图像，因此，可以标注多个目标，生成多个对应的彩色的标注矩形框及其坐标信息，如图5所示；通过上述方法，对每个转换水稻样本图像分别进行标注。

优选地，S2.5的具体步骤包括：

S2.5.1：对于任一个标注水稻样本图像中的任一个第二稻穗图像对应的标注矩形框，以所述标注矩形框内的任一个像素点为中心点，确定所述中心点的提取范围，并提取所述提取范围内每个像素点一一对应的RGB颜色分量，将所述提取范围内每个像素点一一对应的RGB颜色分量分别进行颜色转换，得到所述提取范围内每个像素点一一对应的HSV颜色分量；

S2.5.2：提取所述提取范围内每个像素点的HSV颜色分量中的H通道分量，并将所述提取范围内所有像素点的所有H通道分量进行平均运算，得到所述提取范围的H通道分量均值，将所述H通道分量均值作为对应的所述中心点的目标H通道分量值；

S2.5.3：遍历对应的第二稻穗图像的所述标注矩形框内的每个像素点，按照S2.5.1至S2.5.2的方法，得到对应的第二稻穗图像的所述标注矩形框内的每个像素点一一对应的目标H通道分量值；

S2.5.4：将对应的第二稻穗图像的所述标注矩形框的所有目标H通道分量值按照从大到小的顺序排序，得到目标H通道分量值序列，并从所述目标H通道分量值序列的前端选取最大目标H通道分量值，从所述目标H通道分量值序列的后端选取最小目标H通道分量值；

S2.5.5：根据所述最大目标H通道分量值和所述最小目标H通道分量值，制作滤波掩膜，并利用所述滤波掩膜对对应的第二稻穗图像进行滤波，得到对应的第二稻穗图像所对应的滤波稻穗图像；

S2.5.6：遍历对应的标注水稻样本图像中的每个第二稻穗图像，并按照S2.5.1至S2.5.5的方法，得到对应的标注水稻样本图像中每个第二稻穗图像一一对应的滤波稻穗图像；根据所有第二稻穗图像的所有滤波稻穗图像，得到对应的标注水稻样本图像所对应的目标水稻样本图像；

S2.5.7：遍历每个标注水稻样本图像，并按照S2.5.1至S2.5.6的方法，得到每个标注水稻样本图像一一对应的目标水稻样本图像。

由于对于农田环境，稻穗所处的背景环境复杂，有叶片等干扰，标注矩形框中依然有很多杂乱背景干扰，影响后续YOLOv3深度学习方法对目标水稻图像的训练，致使训练效果不佳。为此需要做一个背景掩模，将杂乱的背景滤除，本实施例中，以标注矩形框内的任一个像素点为中心点，并提取一定的提取范围内每个像素点的RGB颜色分量，由于稻穗颜色具有较为一致的色彩特征，通常为黄色，即具有一定范围的H通道分量值，因此通过颜色转换成HSV颜色分量，再提取每个像素点的HSV颜色分量中的H通道分量，便于获取每个像素点对应的目标H通道分量值，从而便于获取每个第二稻穗图像对应的标注矩形框对应的最大目标H通道分量值和最小目标H通道分量值；再根据最大目标H通道分量值和最小目标H通道分量值制作出的滤波掩膜，能保留稻穗的黄色部分，滤除掉杂乱背景；本实施例通过上述滤波方式结合标注矩形框，一方面能有效克服杂乱背景干扰因素，方便后续的训练，提高训练效果，从而大大提高稻穗识别率，另一方面还将滤波后的目标水稻样本图像保存在水稻图像数据库中作为新的样本图像，增扩了样本数据。

具体地，本实施例设置提取范围为3*3像素，将鼠标光标移动到要探测H值的像素点上，即任一个标注水稻样本图像中任一个第二稻穗图像的标注矩形框内的一个像素点，点击鼠标右键，则会以该像素点为中心点，提取3*3范围内9个像素点的RGB颜色分量，并转换为HSV颜色模型，提取9个像素点的H通道分量，如图6所示，然后对该3*3领域内的9个像素点的H通道分量进行平均运算，得到最终的H通道分量均值，显示在Spyder软件的Console对话框中，即作为该中心点的目标H通道分量值。

具体地，本实施例中将对应的第二稻穗图像的标注矩形框的所有目标H通道分量值按照从大到小的顺序排序，并找出一个最大值和最小值，即分别为最大目标H通道分量值和最小目标H通道分量值，根据该最大目标H通道分量值和最小目标H通道分量值制作滤波掩膜，然后将该滤波掩膜与第二稻穗图像进行逻辑“与”操作，得到对应的滤波稻穗图像；按照上述同样的方法对任一个标注水稻样本图像进行滤波处理，得到对应的目标水稻样本图像，如图7所示。

需要说明的是，本发明中的第一稻穗图像是指在转换水稻样本图像中的任一个稻穗的图像，而第二稻穗图像是指在标注水稻样本图像中的任一个稻穗的图像，二者可以是同一个稻穗依次进行格式转换和标注后的图像。

具体地，本实施例在S2.5.5之后，还将每个第二稻穗图像所一一对应的滤波稻穗图像中标注信息的格式从BMP格式转换为XML格式；其中，标注信息包括对应的滤波稻穗图像中标注矩形框的位置坐标、高、宽和大小。

由于利用YOLOv3深度学习算法进行目标水稻图像集的训练，样本标签必须为通用的XML格式，且通用XML格式可以和其他样本数据库的标注信息合并，因此通过将标注的格式转换为XML格式，便于后续利用YOLOv3深度学习方法获取标注信息，能够方便获取符合要求的目标水稻数据集，从而保证基于YOLOv3深度学习方法的训练过程的顺利进行，得到定位和识别率较高的神经网络稻穗识别模型。

优选地，如图8所示，S3的具体步骤包括：

S3.1：基于所述YOLOv3深度学习方法，构建训练模型，并自定义所述训练模型的训练参数；

S3.2：根据所述训练参数，利用所述训练模型对所述目标水稻数据集进行训练，得到训练好的权值参数；

S3.3：根据训练好的所述权值参数构建所述神经网络稻穗识别模型；

其中，训练参数包括训练样本数量、先验框尺寸、迭代次数、读取类别、类别概率、预测框尺寸、置信度阈值和交叉区域阈值。

在利用所述YOLOv3深度学习方法对目标水稻数据集进行训练之前，需要构建训练模型，并自定义合适的训练参数，基于自定义的训练参数，对目标水稻数据进行训练，能保证得到训练好的权值参数，从而得到训练好的神经网络稻穗识别模型，对农田复杂环境下的稻穗进行有效定位和识别。

具体地，本实施例中目标水稻数据集中的样本数量为5000张，利用YOLOv3深度学习方法构建训练模型过程中，为每种采样尺度设定3种先验框，共聚类出9种尺寸的先验框，分别为：(10x13)、(16x30)、(33x23)、(30x61)、(62x45)、(59x119)、(116x90)、(156x198)和(373x326)；train.py文件中的input_shape＝(64,64)，epochs＝30，yolo.py文件中的self.score＝0.01，self.iou＝0.5保持的50％，self.model_image_size＝(64,64)，同步改为64*64大小。

具体地，本实施例中按照上述训练参数对目标水稻数据集进行训练，获得训练好的权值参数，存储在模型权值文件trained_weights.h5，调用该模型权值文件，即可对待检测稻穗进行识别，其中，得到一个待检测稻穗的识别结果如图9所示。

实施例二、如图10所示，一种基于深度学习的稻穗识别系统，包括图像获取模块、数据库构建模块、处理模块、训练模块和识别模块；

所述图像获取模块，用于获取农田的多个原始水稻样本图像；

所述数据库构建模块，用于根据所有原始水稻样本图像构建水稻图像数据库；

所述处理模块，用于对所述水稻图像数据库中的所有原始水稻样本图像进行处理，得到多个目标水稻样本图像，将所有目标水稻样本图像存储入所述水稻图像数据库中，并从所述水稻图像数据库中获取目标水稻数据集；

所述训练模块，用于基于YOLOv3深度学习方法，对所述目标水稻数据集进行训练，得到神经网络稻穗识别模型；

所述识别模块，用于利用所述神经网络稻穗识别模型对农田中的待检测稻穗进行识别，得到识别结果。

通过图像获取模块获取多个原始水稻样本图像，并通过数据库构建模块构建水稻图像数据库，便于对原始水稻样本图像进行管理，从而方便后续的图像处理和训练，获得识别率较高的神经网络稻穗识别模型；通过处理模块对所有的原始水稻样本图像进行处理，便于获取质量较高的目标水稻数据集，为后续深度学习方法提供样本，从而方便后续的深度学习训练，有效提高训练质量，从而提高神经网络稻穗识别模型对待检测稻穗的定位和识别的准确率；通过训练模块，采用基于YOLOv3深度学习方法对目标水稻数据集进行训练，具有较好的训练效果，得到的神经网络稻穗识别模型克服了农田复杂背景环境的干扰因素，对稻穗的定位和识别效果得到了大大提升，为稻穗这些小目标的识别提供了理论基础，从而有利于通过稻穗来观察水稻的生长状态，有助于保障水稻产量，促进了智慧农业的发展。

优选地，所述图像获取模块具体用于：

利用无人机遥感对所述农田进行拍摄，得到水稻样本视频数据；

从所述水稻样本视频数据中提取多个原始水稻样本图像。

优选地，所述数据库构建模块具体用于：

所述制作单元用于采用Django框架和Python Web编写方法，将所有原始水稻样本图像制作成所述水稻图像数据库。

优选地，所述处理模块包括筛选单元、切割单元、格式转换单元、标注单元和滤波单元；

所述筛选单元用于对所有原始水稻样本图像进行筛选，得到多个中间水稻样本图像；

所述切割单元用于对所有中间水稻样本图像进行切割，得到多个预处理水稻样本图像；

所述格式转换单元用于对每个预处理水稻样本图像分别进行格式转换，得到每个预处理水稻样本图像一一对应的转换水稻样本图像；

所述标注单元用于对每个转换水稻样本图像分别进行标注，得到每个转换水稻样本图像一一对应的标注水稻样本图像；

所述滤波单元用于对每个标注水稻样本图像分别进行滤波，得到每个标注水稻样本图像一一对应的目标水稻样本图像。

优选地，所述标注单元具体用于：

对于任一个转换水稻样本图像，确定转换水稻样本图像中每个第一稻穗图像一一对应的外接矩形集合；

将每个所述外接矩形集合中的最小外接矩形作为对应的第一稻穗图像所对应的目标外接矩形，并按照所述目标外接矩形对对应的第一稻穗图像进行标注，得到对应的转换水稻样本图像中每个第一稻穗图像一一对应的标注矩形框；根据对应的转换水稻样本图像中所有第一稻穗图像的所有标注矩形框，得到对应的转换水稻样本图像所对应的标注水稻样本图像；

遍历每个转换水稻样本图像，得到每个转换水稻样本图像一一对应的标注水稻样本图像。

优选地，所述滤波单元具体用于：

对于任一个标注水稻样本图像中的任一个第二稻穗图像对应的标注矩形框，以所述标注矩形框内的任一个像素点为中心点，确定所述中心点的提取范围，并提取所述提取范围内每个像素点一一对应的RGB颜色分量，将所述提取范围内每个像素点一一对应的RGB颜色分量分别进行颜色转换，得到所述提取范围内每个像素点一一对应的HSV颜色分量；

提取所述提取范围内每个像素点的HSV颜色分量中的H通道分量，并将所述提取范围内所有像素点的所有H通道分量进行平均运算，得到所述提取范围的H通道分量均值，将所述H通道分量均值作为对应的所述中心点的目标H通道分量值；

遍历对应的第二稻穗图像的所述标注矩形框内的每个像素点，得到对应的第二稻穗图像的所述标注矩形框内的每个像素点一一对应的目标H通道分量值；

将对应的第二稻穗图像的所述标注矩形框的所有目标H通道分量值按照从大到小的顺序排序，得到目标H通道分量值序列，并从所述目标H通道分量值序列的前端选取最大目标H通道分量值，从所述目标H通道分量值序列的后端选取最小目标H通道分量值；

根据所述最大目标H通道分量值和所述最小目标H通道分量值，制作滤波掩膜，并利用所述滤波掩膜对对应的第二稻穗图像进行滤波，得到对应的第二稻穗图像所对应的滤波稻穗图像；

遍历对应的标注水稻样本图像中的每个第二稻穗图像，得到对应的标注水稻样本图像中每个第二稻穗图像一一对应的滤波稻穗图像；根据所有第二稻穗图像的所有滤波稻穗图像，得到对应的标注水稻样本图像所对应的目标水稻样本图像；

遍历所述标注水稻图像数据库中的每个标注水稻样本图像，得到每个标注水稻样本图像一一对应的目标水稻样本图像。

优选地，所述训练模块具体用于：

基于所述YOLOv3深度学习方法，构建训练模型，并自定义所述训练模型的训练参数；

根据所述训练参数，利用所述训练模型对所述目标水稻数据集进行训练，得到训练好的权值参数；

根据训练好的所述权值参数构建所述神经网络稻穗识别模型；

其中，训练参数包括训练样本数量、先验框尺寸、迭代次数、读取类别、类别概率、预测框尺寸、置信度阈值和交叉区域阈值。

实施例三、基于实施例一和实施例二，本实施例还公开了一种基于深度学习的稻穗识别装置，包括处理器、存储器和存储在所述存储器中且可运行在所述处理器上的计算机程序，所述计算机程序运行时实现如图1所示的S1至S4的具体步骤。

通过存储在存储器上的计算机程序，并运行在处理器上，实现本发明的稻穗识别，基于YOLOv3深度学习方法，得到的神经网络稻穗识别模型克服了农田复杂背景环境的干扰因素，对稻穗的定位和识别效果得到了大大提升，为稻穗这些小目标的识别提供了理论基础，从而有利于通过稻穗来观察水稻的生长状态，有助于保障水稻产量，促进了智慧农业的发展。

本实施例还提供一种计算机存储介质，所述计算机存储介质上存储有至少一个指令，所述指令被执行时实现所述S1至S4的具体步骤。

通过执行包含至少一个指令的计算机存储介质，实现本发明的稻穗识别，基于YOLOv3深度学习方法，得到的神经网络稻穗识别模型克服了农田复杂背景环境的干扰因素，对稻穗的定位和识别效果得到了大大提升，为稻穗这些小目标的识别提供了理论基础，从而有利于通过稻穗来观察水稻的生长状态，有助于保障水稻产量，促进了智慧农业的发展。

本实施例中S1至S4的未尽细节，详见实施例一及图1至图9的内容，具体不再赘述。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的稻穗识别方法，其特征在于，包括以下步骤：

步骤1：获取农田的多个原始水稻样本图像，并根据所有原始水稻样本图像构建水稻图像数据库；

步骤2：对所述水稻图像数据库中的所有原始水稻样本图像进行处理，得到多个目标水稻样本图像，将所有目标水稻样本图像存储入所述水稻图像数据库中，并从所述水稻图像数据库中获取目标水稻数据集；

步骤3：基于YOLOv3深度学习方法，对所述目标水稻数据集进行训练，得到神经网络稻穗识别模型；

步骤4：利用所述神经网络稻穗识别模型对农田中的待检测稻穗进行识别，得到识别结果。

2.根据权利要求1所述的基于深度学习的稻穗识别方法，其特征在于，在所述步骤1中，获取多个原始水稻样本图像的具体步骤包括：

步骤1.1：利用无人机遥感对所述农田进行拍摄，得到水稻样本视频数据；

步骤1.2：从所述水稻样本视频数据中提取多个原始水稻样本图像；

在所述步骤1中，构建所述水稻图像数据库的具体步骤包括：

步骤1.3：采用Django框架和Python Web编写方法，将所有原始水稻样本图像制作成所述水稻图像数据库。

3.根据权利要求2所述的基于深度学习的稻穗识别方法，其特征在于，在所述步骤2中，得到多个目标水稻样本图像的具体步骤包括：

步骤2.1：对所有原始水稻样本图像进行筛选，得到多个中间水稻样本图像；

步骤2.2：对所有中间水稻样本图像进行切割，得到多个预处理水稻样本图像；

步骤2.3：对每个预处理水稻样本图像分别进行格式转换，得到每个预处理水稻样本图像一一对应的转换水稻样本图像；

步骤2.4：对每个转换水稻样本图像分别进行标注，得到每个转换水稻样本图像一一对应的标注水稻样本图像；

步骤2.5：对每个标注水稻样本图像分别进行滤波，得到每个标注水稻样本图像一一对应的目标水稻样本图像。

4.根据权利要求3所述的基于深度学习的稻穗识别方法，其特征在于，所述步骤2.4的具体步骤包括：

步骤2.4.1：对于任一个转换水稻样本图像，确定转换水稻样本图像中每个第一稻穗图像一一对应的外接矩形集合；

步骤2.4.2：将每个所述外接矩形集合中的最小外接矩形作为对应的第一稻穗图像所对应的目标外接矩形，并按照所述目标外接矩形对对应的第一稻穗图像进行标注，得到对应的转换水稻样本图像中每个第一稻穗图像一一对应的标注矩形框；根据对应的转换水稻样本图像中所有第一稻穗图像的所有标注矩形框，得到对应的转换水稻样本图像所对应的标注水稻样本图像；

步骤2.4.3：遍历每个转换水稻样本图像，并按照所述步骤2.4.1至所述步骤2.4.2的方法，得到每个转换水稻样本图像一一对应的标注水稻样本图像。

5.根据权利要求4所述的基于深度学习的稻穗识别方法，其特征在于，所述步骤2.5的具体步骤包括：

步骤2.5.1：对于任一个标注水稻样本图像中的任一个第二稻穗图像对应的标注矩形框，以所述标注矩形框内的任一个像素点为中心点，确定所述中心点的提取范围，并提取所述提取范围内每个像素点一一对应的RGB颜色分量，将所述提取范围内每个像素点一一对应的RGB颜色分量分别进行颜色转换，得到所述提取范围内每个像素点一一对应的HSV颜色分量；

步骤2.5.2：提取所述提取范围内每个像素点的HSV颜色分量中的H通道分量，并将所述提取范围内所有像素点的所有H通道分量进行平均运算，得到所述提取范围的H通道分量均值，将所述H通道分量均值作为对应的所述中心点的目标H通道分量值；

步骤2.5.3：遍历对应的第二稻穗图像的所述标注矩形框内的每个像素点，按照所述步骤2.5.1至所述步骤2.5.2的方法，得到对应的第二稻穗图像的所述标注矩形框内的每个像素点一一对应的目标H通道分量值；

步骤2.5.4：将对应的第二稻穗图像的所述标注矩形框的所有目标H通道分量值按照从大到小的顺序排序，得到目标H通道分量值序列，并从所述目标H通道分量值序列的前端选取最大目标H通道分量值，从所述目标H通道分量值序列的后端选取最小目标H通道分量值；

步骤2.5.5：根据所述最大目标H通道分量值和所述最小目标H通道分量值，制作滤波掩膜，并利用所述滤波掩膜对对应的第二稻穗图像进行滤波，得到对应的第二稻穗图像所对应的滤波稻穗图像；

步骤2.5.6：遍历对应的标注水稻样本图像中的每个第二稻穗图像，并按照所述步骤2.5.1至所述步骤2.5.5的方法，得到对应的标注水稻样本图像中每个第二稻穗图像一一对应的滤波稻穗图像；根据所有第二稻穗图像的所有滤波稻穗图像，得到对应的标注水稻样本图像所对应的目标水稻样本图像；

步骤2.5.7：遍历每个标注水稻样本图像，并按照所述步骤2.5.1至所述步骤2.5.6的方法，得到每个标注水稻样本图像一一对应的目标水稻样本图像。

6.根据权利要求1所述的基于深度学习的稻穗识别方法，其特征在于，所述步骤3的具体步骤包括：

步骤3.1：基于所述YOLOv3深度学习方法，构建训练模型，并自定义所述训练模型的训练参数；

步骤3.2：根据所述训练参数，利用所述训练模型对所述目标水稻数据集进行训练，得到训练好的权值参数；

步骤3.3：根据训练好的所述权值参数构建所述神经网络稻穗识别模型；

其中，训练参数包括训练样本数量、先验框尺寸、迭代次数、读取类别、类别概率、预测框尺寸、置信度阈值和交叉区域阈值。

7.一种基于深度学习的稻穗识别系统，其特征在于，包括图像获取模块、数据库构建模块、处理模块、训练模块和识别模块；

所述图像获取模块，用于获取农田的多个原始水稻样本图像；

所述数据库构建模块，用于根据所有原始水稻样本图像构建水稻图像数据库；

所述处理模块，用于对所述水稻图像数据库中的所有原始水稻样本图像进行处理，得到多个目标水稻样本图像，将所有目标水稻样本图像存储入所述水稻图像数据库中，并从所述水稻图像数据库中获取目标水稻数据集；

所述训练模块，用于基于YOLOv3深度学习方法，对所述目标水稻数据集进行训练，得到神经网络稻穗识别模型；

所述识别模块，用于利用所述神经网络稻穗识别模型对农田中的待检测稻穗进行识别，得到识别结果。

8.根据权利要求7所述的基于深度学习的稻穗识别系统，其特征在于，所述处理模块包括筛选单元、切割单元、格式转换单元、标注单元和滤波单元；

所述筛选单元用于对所有原始水稻样本图像进行筛选，得到多个中间水稻样本图像；

所述切割单元用于对所有中间水稻样本图像进行切割，得到多个预处理水稻样本图像；

所述格式转换单元用于对每个预处理水稻样本图像分别进行格式转换，得到每个预处理水稻样本图像一一对应的转换水稻样本图像；

所述标注单元用于对每个转换水稻样本图像分别进行标注，得到每个转换水稻样本图像一一对应的标注水稻样本图像；

所述滤波单元用于对每个标注水稻样本图像分别进行滤波，得到每个标注水稻样本图像一一对应的目标水稻样本图像。

9.一种基于深度学习的稻穗识别装置，其特征在于，包括处理器、存储器和存储在所述存储器中且可运行在所述处理器上的计算机程序，所述计算机程序运行时实现如权利要求1至6任一项权利要求所述的方法步骤。

10.一种计算机存储介质，其特征在于，所述计算机存储介质包括：至少一个指令，在所述指令被执行时实现如权利要求1至6任一项所述的方法步骤。

Images