CN111814545A - 作物识别方法、装置、电子设备及存储介质 - Google Patents

Abstract

本说明书一个或多个实施例提供了一种作物识别方法，包括：获取包含作物的图像；提取上述图像的色彩特征、纹理特征和光谱特征中的至少一个特征作为作物识别模型的输入特征；基于上述作物识别模型，根据上述图像的色彩特征、纹理特征和光谱特征中的至少一个特征，识别出所述图像中的作物；其中，所述作物识别模型是用于基于所述输入特征识别出图像中作物的更快速区域卷积神经网络(Faster‑RCNN)模型。对应上述作物识别方法，本说明书还提供了作物识别装置、电子设备以及计算机可读介质。

Description

作物识别方法、装置、电子设备及存储介质

技术领域

本说明书一个或多个实施例涉及图像识别技术领域，尤其涉及一种作物识别方法、作物识别装置、电子设备以及计算机可读存储介质。

背景技术

作物指农作物的简称，通常包括油料作物、粮食作物、经济作物等等。作物在播种后的出苗率通常是衡量作物产量的一个重要指标。农作物中很重要的一类是使用穴播机进行播种的农作物，通常被称为穴播作物。穴播机是按照一定行距和穴距将种子成穴播种的种植机械，每穴可播种1粒种子或数粒种子，分别称单粒精播种和多粒穴播，主要用于玉米、棉花、甜菜、向日葵、豆类等中耕作物。由于穴播作物种植范围广泛，对农业经济影响巨大，其出苗率是某些地区农作物产量的重要的决策性指标之一。

然而，对于作物出苗率的检测目前需要通过人工目视识别、调查并获取田间作物的出苗情况并进行统计得到。而人工目视识别判断的精确性会受到由于不同的判别标准等诸多因素的影响，并且人工成本过高，大部分农户难以承担，因此，作物的自动识别成为作物产量监测过程中不可缺少的一环。

发明内容

有鉴于此，本说明书一个或多个实施例提出一种作物识别方法，可以从包含作物的图像中快速并精确地识别出其中的作物，从而可以确定作物的出苗以及生长情况等等。

本说明书实施例所述的作物识别方法可以包括：获取包含作物的图像；提取上述图像的色彩特征、纹理特征和光谱特征中的至少一个特征作为作物识别模型的输入特征；以及基于上述作物识别模型，根据上述图像的色彩特征、纹理特征和光谱特征中的至少一个特征，识别出所述图像中的作物；其中，上述作物识别模型是用于基于上述输入特征识别出图像中作物的更快速区域卷积神经网络(Faster-RCNN)模型。

其中，上述获取包含作物的图像可以包括：获取由无人机拍摄的包含作物的彩色图像和近红外波段图像；或者获取由图像拍摄装置拍摄得到包含作物的彩色图像以及通过光谱相机拍摄得到包含作物的近红外波段图像。

其中，提取所述图像的色彩特征可以包括：分别提取所述彩色图像上每个像素点在R、G、B三个基色波段上的分量；以及将所述每个像素点在R、G、B三个基色波段上的分量作为所述图像的色彩特征。

其中，提取所述图像的纹理特征可以包括：通过色彩空间转换，将所述彩色图像转换至HSV色彩空间；提取所述HSV色彩空间中彩色图像上每个像素点在H通道、S通道以及V通道上的分量；以及将所述每个像素点在H、S、V三个通道上的分量作为所述图像的纹理特征。

其中，提取所述图像的光谱特征可以包括：提取所述近红外波段图像每个像素点在近红外波段上的分量；以及将所述每个像素点在近红外波段上的分量作为所述图像的光谱特征。

上述方法可以进一步包括：将上述作物识别模型的多个输入特征进行特征融合，将融合后的至少一个特征作为所述作物识别模型的输入特征。

其中，将上述作物识别模型的多个输入特征进行特征融合可以包括：对作物识别模型的输入特征执行主成分分析变换，将主成分分析变换输出的前N个特征作为所述作物识别模型更新后的输入特征；其中，N为预先确定的作物识别模型的输入特征的数量。

其中，上述Faster-RCNN模型的区域生成网络中锚窗的尺度参数以及长宽比可以根据上述图像的尺寸、上述作物占所述图像的比例以及所述图像的分辨率中的至少一项设定。

其中，上述图像为由无人机或飞行器拍摄的图像且上述作物为玉米时，所述锚窗的尺度参数可以包括8像素、16像素和32像素，所述锚窗的长宽比可以包括1:3、1:2、1:1、2:1和3:1；或者上述图像为由无人机或飞行器拍摄的图像且所述为棉花时，所述锚窗的尺度参数包括32像素、64像素和128像素，所述锚窗的长宽比包括1:3、1:2、1:1、3:4和4:3。

上述方法可以进一步包括：

获取多个图像作为样本，其中，每个样本已标注有用于标识目标物所在位置的至少一个目标框；

提取所述样本的色彩特征、纹理特征以及光谱特征中的至少一个特征；

对提取的所述至少一个特征进行特征融合，得到融合后的至少一个特征作为Faster-RCNN模型的输入特征；

基于所述Faster-RCNN模型，根据所述输入特征，得到用于标识样本中目标物所在的位置的预测目标框；

根据每个样本的预测目标框与标注的目标框确定所述作物识别模型的识别误差；以及

根据所述识别误差调整上述Faster-RCNN模型的参数。

上述方法可以进一步包括：对上述样本进行数据增强得到新的样本。

其中，上述数据增强包括：像素内容变换、图像空间几何变换以及坐标转换缩放中的一项或多项。

对应上述作物识别方法，本说明书的实施例还提出了一种作物识别装置，可以包括：

图像获取模块，用于获取包含作物的图像；

特征提取模块，用于提取上述图像的色彩特征、纹理特征和光谱特征中的至少一个特征作为作物识别模型的输入特征；以及

识别模块，用于基于作物识别模型，根据所述图像的色彩特征、纹理特征和光谱特征中的至少一个特征，识别出所述图像中的作物；其中，上述作物识别模型是用于基于上述输入特征识别出图像中作物的Faster-RCNN模型。

本说明书的一个或多个实施例还提供了一种电子设备，可以包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述作物识别方法。

本说明书的一个或多个实施例还提供了一种非暂态计算机可读存储介质，其中，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述作物识别方法。

可以看出，上述作物识别方法采用了通过有监督训练方式得到的Faster-RCNN模型作为作物识别模型，可以充分利用Faster-RCNN模型在目标检测应用中速度快、识别精度高的优势，在保障作物识别精度的同时，大大提高了作物识别的效率。

此外，在上述作物识别技术方案中，可以利用图像的色彩特征、纹理特征以及光谱特征之一或其任意组合来进行作物识别，充分利用了作物与周围的土壤或者其他物质等背景在色彩、纹理以及光谱等等方面的不同特性，保障作物识别的精度。特别是在综合考虑图像的色彩特征、纹理特征以及光谱特征进行作物识别的情况下，可以极大地提高作物识别的精度。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一个或多个实施例所述的作物识别方法的流程示意图；

图2为本说明书一些实施例所述的从图像中提取纹理特征的流程示意图；

图3为本说明书一些实施例所述的作物识别方法的流程示意图；

图4为本说明书一个或多个实施例所述的作物识别模型的训练方法流程示意图；

图5a为进行像素内容变换之前的图像；

图5b为进行像素内容变换之后的图像；

图6a和6b显示了针对无人机拍摄的具有相同形态但是具有不同空间角度的图像中玉米苗的识别结果；

图7a和7b显示了针对无人机拍摄的具有不同形态以及不同空间角度的图像中玉米苗的识别结果；

图8显示了针对无人机拍摄的带有阴影区域的图像中玉米苗的识别结果；

图9为本说明书的一个或多个实施例所述的作物识别装置内部结构示意图；

图10为本说明书一个或多个实施例所述的电子设备硬件结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

本说明书的一个或多个实施例提出一种作物识别方法，可以从包含作物的图像中快速并精确地识别出其中作物在图像中的位置，从而可以据此确定作物的出苗及生长情况。

图1显示了本说明书一个或多个实施例所述的作物识别方法的实现流程。如图1所示，该方法可以包括：

在步骤102，获取包含作物的图像。

目前，随着无人机技术和软硬件技术的发展，无人机技术已经成为现代农业数字化管理与决策的重要支柱，在农业数字化管理和决策中得到了广泛的应用。如此，在本说明书的一个或多个实施例中，上述图像可以是由无人机拍摄的包含作物的彩色图像和/或近红外波段图像。

在本说明书的另一些实施例中，还可以在有人驾驶或无人驾驶的其他飞行器上安装图像拍摄装置和/或光谱相机，从而可以在这些飞行器作业时同步进行上述彩色图像和/或近红外波段图像的拍摄。

在本说明书的又一些实施例中，上述图像还可以是由管理人员拍摄的包含作物的彩色图像和/或近红外波段图像。具体地，管理人员可以通过照相机或者移动终端中的图像拍摄装置等拍摄得到上述包含作物的彩色图像；此外，管理人员还可以通过光谱相机拍摄得到上述包含作物的近红外波段图像。

在本说明书的实施例中，上述彩色图像通常是指RGB模式的彩色图像。可以理解，在彩色图像处理中，最常用的色彩空间是RGB色彩空间，常用于颜色显示和图像处理。RGB色彩空间通常采用三维坐标的模型形式，非常容易被理解。

在步骤104，提取上述图像的色彩特征、纹理特征和光谱特征中的至少一个特征作为作物识别模型的输入特征。

在本说明书的一些实施例中，上述图像包括彩色图像时，上述色彩特征可以包括：上述彩色图像上每个像素点在R、G、B三个基色波段上的分量。

基于以上信息，在本说明书的一些实施例中，上述步骤104所述的提取上述图像的色彩特征可以包括：分别提取上述彩色图像上每个像素点在R、G、B三个基色波段上的分量；以及将上述每个像素点在R、G、B三个基色波段上的分量作为上述图像的色彩特征。

在本说明书的一些实施例中，上述图像包括彩色图像时，上述纹理特征可以包括：上述彩色图像上每个像素点在H、S、V三个波段上的分量。

可以理解，除了RGB色彩空间之外，HSV色彩空间也是常用的一种色彩空间模型。HSV是针对用户观感的一种颜色模型，侧重于色彩表示，用于表示色彩是什么颜色、深浅如何、以及明暗如何。HSV色彩空间中的H代表色相。色相是指色彩的相貌，是色彩最显著的特征，是不同波长的色彩被感觉的结果。光谱上的红、橙、黄、绿、青、蓝、紫就是七种不同的基本色相。S代表纯度，也称彩度、艳度、浓度、饱和度，是指色彩的纯净程度。V代表明度，明度是指色彩的明暗、深浅程度的差别，它取决于反射光的强弱，包括两个含义：一是指一种颜色本身的明与暗，而是指不同色相之间存在着明与暗的差别。

除了具备色彩方面的特征，上述H、S、以及V三个分量，特别是其中的H和S分量还可以用于描述图像的纹理特性。以穴播作物为例，由于通常穴播作物的骨架等特征也反映了图像的纹理，而穴播作物的骨架特征可以从上述分量当中提取，例如，玉米苗的骨架特征就可以从上述H分量和S分量甚至是V分量当中提取，且提取出的玉米苗骨架较为清晰，同时可以减少影像噪声对玉米苗骨架提取的影响，可以很好的将玉米苗与背景分割出来，对于部分较为模糊的玉米苗也能够有很好的提取结果。因此，通常也可以认为彩色图像上每个像素点在H、S、V三个波段上的分量也可以用于表达图像的纹理特性。如此，在本说明书一些实施例所述的识别方法中，充分利用作物的骨架特征包含在上述H、S、V三个波段上的分量的特点，可以直接利用上述彩色图像上每个像素点在H、S、V三个波段上的分量，将其作为图像的纹理特征，而无需对图像进行诸如灰度变换等其他处理，从而大大地简化了上述方法中纹理特征提取的过程，在能够保障作物识别精度的同时，大大提高了作物识别的效率。

基于以上信息，在本说明书的一些实施例中，上述步骤104所述的提取上述图像中的纹理特征可以通过下面图2所示的方法提取。如图2所示，该方法可以包括：

在步骤202，通过色彩空间转换，将上述彩色图像转换至HSV色彩空间；

在步骤204，提取上述HSV色彩空间中彩色图像上每个像素点在H、S、V三个通道上的分量；以及

在步骤206，将上述每个像素点在H、S、V三个通道上的分量作为上述图像的纹理特征。

在本说明书的实施例中，可以基于色彩空间转换算法，根据彩色图像每个像素点在R、G、B三个基色波段上的分量换算得到每个像素点在H、S、V三个通道上的分量。例如，对于上述彩色图像上的每个像素点，可以基于如下算式，根据该像素点在R、G、B三个基色波段上的分量[r,g,b]换算得到该像素点在H、S、V三个通道上的分量[h,s,v]。在换算过程中，为了表达方便，可以假设如下两个参量：max＝max(r,g,b)，也即三个基色波段上的分量的最大值；以及，min＝min(r,g,b)，也即三个基色波段上的分量的最小值。此时，

v＝max

需要说明的是，通常，对于上述H通道上的分量，通过上述算式得到的是一个角度，因此，在本说明书的实施例中，作为上述色彩特征的H通道上的分量可以具体为上述角度的数值或者是根据上述角度换算得到的弧度值。

可以看出，通过上述算式即可以根据该像素点在R、G、B三个基色波段上的分量[r,g,b]换算得到该像素点在H、S、V三个通道上的分量[h,s,v]。

在本说明书的一些实施例中，上述图像包括近红外波段图像时，上述光谱特征可以包括：上述近红外波段图像每个像素点在近红外波段上的分量，也即可以将每个像素点在近红外波段上的数值取出作为上述光谱特征。此时，上述提取近红外波段图像的光谱特征可以包括：提取上述近红外波段图像每个像素点在近红外波段上的分量；并将所述每个像素点在近红外波段上的分量作为所述图像的光谱特征。

可以看出，在本说明书的实施例中，在进行作物识别时，特别是进行穴播作物识别时，可以考虑所拍摄图像的色彩特征、纹理特征以及光谱特征中的任意一项或其任意组合，因为这些特征从不同角度刻画了图像的内容，因此，可以利用作物与背景在色彩、纹理以及光谱等方面的不同保障作物识别的精度和效果。特别地，在综合考虑图像色彩特征、纹理特征以及光谱特征的情况下，可以极大地提高作物识别的精度。

在步骤106，基于作物识别模型，根据上述图像的色彩特征、纹理特征和光谱特征中的至少一个特征，识别出上述图像中的作物；其中，上述作物识别模型是用于基于输入特征识别出图像中作物的Faster-RCNN模型。

在本说明书的实施例中，上述作物识别模型是经过训练的Faster-RCNN模型，其输入特征可以为图像的色彩特征、纹理特征和光谱特征中的至少一个特征或对上述多个特征进行特征融合后得到的至少一个特征(关于特征融合将在后文中详细描述)，输出为图像中目标物所在的目标框。上述作物识别模型可以通过有监督的方式训练得到，具体的训练方法将在后文中详细描述，在此暂且略过。

其中，Faster-RCNN模型是在Fast-RCNN的基础上做的进一步的改进，Faster-RCNN模型在其结构之中加入了区域建议网络(RPN，Region Proposal Network)，用来选取候选区。在Faster-RCNN模型中使用RPN取代了选择性搜索算法，使得模型的训练以及预测速度大大提升，并且Faster-RCNN使用了新的损失函数使得网络的精度得到提升。如此，在本说明书实施例所述的作物识别方法中采用了Faster-RCNN模型作为作物识别模型可以充分利用Faster-RCNN模型在目标检测应用中速度快、识别精度高的优势，在保障作物识别精度的同时大大提高作物识别的效率。

在Faster-RCNN模型中，要进行目标检测的图像将首先通过卷积层进行卷积得到特征图像；然后，将特征图像送入RPN网络生成候选区域，再通过感兴趣区域池化层(ROIPooling Layer)基于生成的候选区域对特征图像进行池化，从而得到候选区的特征图；最后，再将候选区的特征图送入分类器以及进行边框回归，得到目标物所在的候选区域。相比选择性搜索算法，RPN网络是通过在特征图上进行窗口滑动，生成特征向量，并将特征向量输入到分类区层和边框回归层当中。在RPN网络的窗口滑动过程中，会同时出现多个锚窗(Anchor Boxs)，锚窗是以当前滑动窗口的中心作为窗口的中心。假设对当前滑窗有K个锚窗，那么边框回归时就会有4K个特征输出用来确定中心x、y和长宽w、h，分类时就会有2K个输出，用来区分前景和背景。

Faster-RCNN模型会将每个锚窗判别为前景(正样本)或背景(负样本)。其中，Faster-RCNN模型判别的依据是锚窗与真实目标框的交并比(IoU，Intersection-over-Union)。例如，当IoU大于0.7时，可以判断当前锚窗为正样本；当IoU小于0.7时，可以判断当前锚窗为负样本。需要说明的是，上述与IoU的值进行比较的阈值可以根据具体的应用环境灵活设置，通常取值范围为(0,1)。之后，还可以进一步将正、负样本的标签传入Faster-RCNN模型当中进行训练。

为了适应多目标任务，上述Faster-RCNN还定义了新的损失函数，如下表达式所示：

其中，上述表达式中的i代表当前图像的第i个锚窗；p_i代表锚窗预测为正/负样本的概率；p_i ^*代表锚框真实为正/负样本的概率。t_i代表锚窗与实际边框的位置向量，分别为中心坐标x、y以及长宽w、h；t_i ^*为锚框到实际边框的位置的偏移量。此外，N_cis代表锚框的尺度参数；N_reg代表生成的锚框个数；L_cis(p_i,p_i ^*)代表目标类别的损失函数；L_reg(t_i,t_i ^*)为边框的损失函数，满足L_reg(t_i,t_i ^*)＝R(t_i,t_i ^*)，其中，R是激活函数，表达式如下所示，其中，x为t_i与t_i ^*的差值：

目前的RPN网络通常使用3种尺度和3种长宽比的锚窗，例如，RPN网络默认的锚窗的尺度参数为128像素、256像素、512像素或64像素、128像素、256像素，默认的锚窗的长宽比为1:2、1:1、2:1。因此，通过计算每个滑窗可以得到9个锚窗。然而，上述锚窗尺度参数以及长宽比的设置通常适用于VOC数据集或ImageNet训练集。该数据集或训练集主要为照片数据集，待识别的物体偏大，而并不适用于基于无人机或者其他飞行器上拍摄装置(简称飞行器)所拍摄图像的作物识别。如此，在本说明书的技术方案中，针对无人机或者其他飞行器所拍摄图像中作物识别这一具体的应用，需要对上述锚窗的尺度参数以及长宽比进行重新设计，以便提高作物识别的精度。

在本说明书的一些实施例中，上述Faster-RCNN模型RPN网络中锚窗的尺度参数以及长宽比可以根据所拍摄图像的尺寸、作物占所拍摄图像中的比例以及所述图像的分辨率中的至少一项设定。具体地，可以根据作物在所拍摄图像中的大小、作物的尺寸以及图像的分辨率确定。

对于锚窗的尺度参数，通常可以根据所用的数据集进行修改，主要需要考虑到作物在图像中的大小以及影像本身的大小，以穴播作物为例，对于目标较小的穴播作物，如玉米苗可以修改为8像素、16像素、32像素；而对于目标较大的穴播作物，如棉花则可以增大为32像素、64像素、128像素。同时锚窗的尺度参数也与所用的数据的分辨率有关，对于分辨率较小的数据，锚窗的尺度参数应设置的较小，而对于分辨率较大的数据锚窗的尺度参数也应调整的更大一些，例如，当上述图像为无人机或者其他飞行器上拍摄装置拍摄的远景图像时，作物在图像中的比例将很小，此时所设置的锚窗的尺度参数就应该比较小，即可以使用上述尺度参数。反之，当上述图像为管理人员通过照相机等终端设备拍摄的近景图像时，作物在图像中的比例将会比较大，此时所设置的锚窗的尺度参数就应该比较大，即可以使用默认的锚窗尺度参数。

对于锚窗的长宽比，通常可以根据待识别作物的形态进行调整，仍以穴播作物为例，当待识别的穴播作物为玉米时，上述的穴播作物的形状基本为条状(植株比较窄)，此时，所设置的锚窗的长宽比就应当适用于上述条状目标物的检测，因此，在默认长宽比1:2、1:1、2:1的基础之上再加入1：3和3：1这两种长宽比来进行优化。而如果待检测的穴播作物为棉花时，穴播作物的形状就比较方正(植株比较宽)，此时，所设置的锚窗的长宽比就应当适用于上述方块状的目标物的检测，因此，在默认长宽比1:2、1:1、2:1的基础之上再加入3:4和4:3这两种长宽比来进行优化。

特别地，对于无人机或者其他飞行器上拍摄装置所拍摄的玉米苗图像，通过实验证明可以将上述锚窗的尺度参数设置为8像素、16像素和32像素，上述锚窗的长宽比设置为1:3、1:2、1:1、2:1和3:1，如此可以得到15个锚窗。此外，对于无人机或者其他飞行器上拍摄装置所拍摄的棉花苗图像，通过实验证明可以将上述锚窗的尺度参数设置为32像素、64像素和128像素，上述锚窗的长宽比设置为1:2、1:1、2:1、3:4和4:3，如此也可以得到15个锚窗。可以看出，本说明书的实施例可以根据作物的形态、作物在图像中所占的比例以及图像的分辨率调整锚窗的尺度参数和长宽比，并适当增加锚窗的数量，可以更好地适应玉米等条状穴播作物、棉花等方块状穴播作物以及这些作物和所拍摄图像之间的尺度参数，最大化无人机所拍摄图像中玉米、棉花等穴播作物的识别精度。

可以看出，上述作物识别方法采用了通过有监督训练方式得到的Faster-RCNN模型作为作物识别模型，可以充分利用Faster-RCNN模型在目标检测方面的优势，同时，还可以根据作物的形态、作物在图像中所占的比例、图像的分辨率等因素调整锚窗的尺度参数和长宽比，使得上述作物识别方法不仅适用于玉米等条状粮食作物的识别，也适用于棉花等方块状经济作物的识别，不仅适用于管理人员拍摄的近景图像中作物的识别，也适用于无人机或者其他飞行器拍摄的远景图像中作物的识别，保障了各种作物在各种图像中识别的精度，同时也具有很高的作物识别的效率，为统计穴播作物的出苗率奠定了技术基础。

此外，在上述作物识别方法中，可以考虑所拍摄图像的色彩特征、纹理特征以及光谱特征中的任意一项或其任意组合，因此，可以利用作物与背景在色彩、纹理以及光谱等方面的不同保障作物识别的精度和效果。特别地，在综合考虑图像色彩特征、纹理特征以及光谱特征的情况下，可以极大地提高作物识别的精度。

此外，从上述方案还可以看出，上述作物识别方法中输入至上述作物识别模型的输入特征最多包含了7个(作为色彩特征的R、G、B三个基色波段的分量，作为纹理特征的H、S、V三个通道的分量，以及作为光谱特征的近红外波段分量)。随着输入特征的增多，Faster-RCNN模型的结构就会越来越复杂，负担越来越重，这反而会降低模型的目标检测精度，而且其训练以及识别过程的耗时也会越来越长。另一方面，上述多个输入特征中也可能会有一些信息的冗余，因此，在本说明书的一个或多个实施例中，为了在保障作物识别准确率的基础之上提高作物识别的效率，可以将上述作物识别模型的多个输入特征进行特征融合，并将融合后的至少一个特征作为所述作物识别模型的输入特征。通过上述特征融合可以进行输入特征的降维，实现信息的简化。

具体地，在本说明书的一些实施例中，可以基于主成分分析的方法将上述多个输入特征合并为有限个数量较少的输入特征，从而达到特征降维和信息简化的目的，降低作物识别模型的负担，在保障作物识别精度的基础之上提高作物识别的效率。

可以理解，主成分分析法是设法将原来众多具有一定相关性的多个特征，重新组合成一组新的互相无关的综合特征来代替原来的特征。主成分分析法是考察多个变量间相关性的一种多元统计方法，研究如何通过少数几个主成分来揭示多个变量间的内部结构，即从原始变量中导出少数几个主成分，使它们尽可能多地保留原始变量的信息，且彼此间互不相关。因此，通过主成分分析法可以减少模型的输入特征的数量但是可以尽可能多地保留原始变量的信息，也即在基本不损失信息的情况下，降低特征的数量，从而降低模型的复杂度，提高模型训练以及运行的效率。

具体地，在本说明书的实施例中，可以对所述作物识别模型的输入特征执行主成分分析变换，将所述主成分分析变换输出的前N个特征作为所述作物识别模型更新后的输入特征；其中，N为预先确定的作物识别模型的输入特征的数量，其中，N可以是自然数，一般小于通过前述特征提取方法所提取的特征的数量，例如，在本说明书的上述实施例中N<7。需要说明的是，N可以根据实际应用场景灵活设置的，例如，考虑到Faster-RCNN模型的训练效率和精度，在本说明书的实施例中，其优选的取值范围可以为[3,5]等。

具体地，在本说明书的另一些实施例中，还可以利用属性约简的方式对上述作物识别模型的多个输入特征进行约简，去除其中的冗余信息。目前，选取相似性高的数据训练模型已被证实可以增强训练效率，有效的提高模型的泛化能力。具体地，在本说明书的实施例中，上述属性约简可以包括：根据上述作物识别模型的输入特征确定原始的条件属性集合以及原始的特征决策表；初始化约简集为空集；对上述条件属性集中的每一个条件属性，分别根据上述特征决策表计算其属性重要度增量；挑选上述属性重要度增量最大的条件属性加入约简集，并将之从条件属性集合中删除；当上述属性重要度增量的最大值不为0时，返回挑选属性重要度增量最大的条件属性加入约简集的步骤；当上述属性重要度增量的最大值为0时，输出上述约简集，作为上述作物识别模型的输入特征。更进一步，上述属性约简还可以包括：对于约简集的每个条件属性，分别确定删除所述条件属性后的属性重要度变化量；如果删除所条件属性后，属性重要度变化量为0，则将所述条件属性从所述约简集中删除；输出所述约简集，作为所述作物识别模型的输入特征。

在本说明书的一些实施例中，上述条件属性集合至少包括图像的色彩特征、纹理特征和光谱特征中的至少一个特征。较佳地，可以将上述彩色图像上每个像素点的R、G、B三个基色波段分量，H、S、V三个通道的分量以及近红外波段分量这7个输入特征依次作为条件属性列入条件属性集合A，A＝{a₁,a₂,a₃,…,a_n|n＝7}。并且，可以将各个像素是否为作物作为决策属性d，得到原始的特征决策表。接下来，可以通过下述算式计算每个条件属性a_i的属性重要度增量：

其中，U表示特征决策表样本集；POS_R(U)＝{{x||d([x]_R)|＝1}}表示上述特征决策表关于R的正域。

通过上述主成分分析和/或属性简约的方式可以去除输入特征之间的冗余，并根据输入特征之间的相关性进行特征的组合，达到降低输入特征数量的目的，从而可以降低作物识别模型的负担，在保证作物识别精度的同时，进一步提高作物识别的效率。

图3显示了本说明书一些实施例所述的作物识别方法的实现流程。如图3所述，该方法主要包括：

在步骤302，获取由无人机拍摄的包含作物的彩色图像和近红外波段图像。

在步骤304，提取上述彩色图像上每个像素点在R、G、B三个基色波段上的分量。

在步骤306，将上述彩色图像转换至HSV色彩空间。

在步骤308，提取上述HSV色彩空间中彩色图像上每个像素点在H、S、V三个通道上的分量。

在步骤310，提取上述近红外波段图像上的近红外波段分量。

需要说明的是，上述步骤304、306以及310的执行顺序不受其步骤序号的限定。这三个步骤可以按照任意顺序先后执行也可以并行执行，而不会影响本说明书实施例方法的实施。

在步骤312，对上述彩色图像上每个像素点在R、G、B三个基色波段上的分量、上述彩色图像上每个像素点在H、S、V三个通道上的分量以及上述近红外波段分量进行特征融合，得到预定数量的输入特征。

具体地，上述特征融合可以采用上述主成分分析和/或属性约简的方法实现。

在步骤314，基于作物识别模型，根据上述预定数量的输入特征，识别出上述彩色图像中的作物；其中，上述作物识别模型是用于基于所述预定数量的输入特征识别出上述彩色图像中作物的Faster-RCNN模型。

需要说明的是，上述各个步骤的具体实现方法可以参考上述各个实施例的具体实现方式，在此不再重复说明。

可以看出，在上述作物识别方法中，不仅仅应用了无人机拍摄的彩色图像的色彩特征还应用了彩色图像的纹理特征以及光谱特征，充分利用作物与背景的土壤等色彩、纹理以及光谱特性完全不同的特点，从而可以大大提高作物识别的精度。

此外，上述作物识别方法采用了通过有监督训练方式得到的Faster-RCNN模型作为作物识别模型可以充分利用Faster-RCNN在目标检测方面精度高和速度快的优势，进一步保障了作物识别的精度，同时也提高了作物识别的效率。

进一步，上述作物识别方法是根据无人机拍摄的作物图像来进行分析和识别的，通过无人机进行图像采集，免去了管理人员的人工拍摄的工作，这不仅节省了大量的人力，还大大提高了图像采集的效率；而且无人机拍摄得到的图像比人工拍摄的近景图像具有更广的覆盖范围，也即每张图片可以包含的作物更多，从而使得在对一个地域范围内的作物出苗以及生长情况进行检测和统计时，通过无人机拍摄得到的待分析处理的图像数量将大大小于人工拍摄得到的图像数量，这在另一个方面也可以大大提高了作物识别过程的整体效率。

还有，上述方法还可以通过属性简约和/或主成分分析的方式去除输入特征之间的冗余，并根据输入特征之间的相关性进行特征的组合，达到降低输入特征数量的目的，从而可以降低作物识别模型的负担，在保证作物识别精度的同时，进一步提播作物识别的效率。

下面将结合具体的示例详细说明上述作物识别模型的训练方法。

图4显示本说明书一些实施例所述的作物识别模型的训练方法。如图4所示，该方法主要包括：

在步骤402，获取多个图像作为样本，其中，每个样本已标注有用于标识目标物所在位置的至少一个目标框。

在步骤404，提取上述样本的色彩特征、纹理特征以及光谱特征中的至少一个特征。

在步骤406，对上述提取的特征进行特征融合，得到融合后的至少一个特征作为Faster-RCNN模型的输入特征。

在本说明书的实施例中，上述特征融合可以包括上述主成分分析和/或属性简约对上述输入特征进行合并和/或约简。

也就是说，实际的作物识别时应用了怎样的输入特征，Faster-RCNN模型就需要用怎样的输入特征来进行训练。

在步骤408，基于上述Faster-RCNN模型，根据所述输入特征，得到用于标识样本中目标物所在的位置的预测目标框。

在步骤410，根据每个样本的预测目标框与标注的目标框确定所述作物识别模型的识别误差。

在步骤412，根据上述识别误差调整上述Faster-RCNN模型的参数。

在本说明书的实施例中，上述调整可以基于梯度下降原则通过反向传播的方式进行。

在本说明书的实施例中，在上述对Faster-RCNN模型进行训练的过程中，可以使用交替优化的方法来进行。上述交替优化的方法可以包含两层的训练，其中，第一层训练可以首先使用ImageNet给定的预训练参数对Faster-RCNN模型的参数进行初始化。然后，再设置迭代次数、学习率以及动量等参数，例如，可以设置迭代次数为70000次，学习率为0.001，动量设置为0.9。使用经过上述设置的Faster-RCNN模型，先对已有的无人机拍摄的图像进行预测，并人工修正目标框。最后，再将这些数据添加入下一层的训练当中。可以看出，第一层训练的主要的目的是为了增强数据量，同时筛选样本，使得有更多的样本可以用于下一层的训练。第二层的训练也是首先使用ImageNet网络参数进行初始化，同样，需要设置迭代次数、学习率以及动量等参数，例如仍可以设置迭代次数70000次，此时，学习率可以设置为0.0001，动量仍设置为0.9。在此，将学习率设置的更小是为了提高模型的精度。经过上述两层的交替训练，最后得到的Faster-RCNN模型即为所需要的作物识别模型。需要说明的是，上述的参数设置仅仅是一个举例，在本说明书的实施例中，还可以设置其他的训练参数对作物识别模型进行训练。在本说明书实施例中，采用上述训练参数主要是考虑到作为目标物的作物在无人机或者飞行器所拍摄图像当中较小，色彩纹理等信息较为模糊，因此，采用两层交替训练的方式，先进行粗粒度的训练，避免模型无法收敛，并在第一层训练的基础之上再进行细粒度的训练，从而提高模型的精度。并且在进行第一层训练时学习率设置的相对较低，防止出现过高的学习率所导致的模型难以收敛。采用上述训练参数其次是考虑到作物在无人机或者飞行器图像中的形态和像素信息差异很大，因此需要选取合适的迭代次数，防止出现由于迭代次数设置的太高造成过拟合导致网络的泛化能力不够，或者出现由于迭代次数设置的太低导致网络模型不收敛。

在本说明书的实施例中，为了进一步提高作物识别的精度，上述方法可以进一步包括：对上述样本进行数据增强得到新的样本，从而扩充样本的数量以及多样性。

在本说明书的实施例中，上述数据增强可以包括：像素内容变换、图像空间几何变换以及坐标转换缩放中的一项或多项。

其中，像素内容变换是指通过随机增加或者减少图像中每一个像素的像素值来改变图像的亮度。在具体的应用中可以通过随机增强对比度的方式来进行像素内容变换，具体可以包括：对图像中每个像素的像素值乘以一个系数来改变对比度。这种随机增加对比度的方式是在RGB色彩空间完成的。此外，在具体的应用中，还可以通过随机增强色调和/或随机增强饱和度的方式来进行像素内容变换，具体可以包括：首先，将图像从RGB色彩空间转换到HSV色彩空间；之后，通过增加或减小图像每个像素的H通道分量来改变色调和/或通过将图像每个像素的S通道分量乘以一个系数来改变饱和度；最后，再将图像从HSV色彩空间转换到RGB色彩空间。可以看出，这种随机增强色调和/或随机增强饱和度的方式是在HSV色彩空间完成的。在本说明书的一些实施例中，可以既随机增强对比度又随机增强色调和饱和度，例如，先通过上述方法调整图像的对比度，再通过上述方法调整图像的色调和饱和度。图5a为进行像素内容变换之前的图像(以灰度图显示)；图5b为进行上述像素内容变换之后的图像(以灰度图显示)。可以看出，进行上述像素内容变换之后，图像的对比度、色调以及饱和度都得到了增强，更加有利于目标检测。

其中，图像空间几何变换包括随机扩展、随机裁剪并缩放、随机进行水平镜像操作以及随机旋转等操作。通过随机扩展可以将大尺度图像变换为小尺度图像，从而提升目标的检测效果。通过随机裁剪并缩放，可以针对不同尺度的目标，从而提升作物识别模型对目标尺度的鲁棒性。随机进行水平镜像操作后图像中各像素点的y坐标保持不变，x坐标变为w-x，如此可以增加样本角度的多样性。随机旋转是指将图像平移一定位置之后，再进行旋转，使得目标的角度发生改变，从而可以获取得到更多角度的目标，也可以增加样本角度的多样性。

其中，坐标转换缩放主要涉及到两个部分：第一个部分就是坐标的旋转；第二个部分就是坐标的缩放。其中，对于坐标的旋转，假设目标框的原始坐标为(x,y)，转换后的坐标为(s,t)，旋转的角度为β,那么就可以根据如下表达式进行坐标的旋转：

同时，由于对部分图像进行了缩放，所以在生成新的目标框的时候也需要对坐标进行缩放。假设目标框的原始坐标为(x,y)，转换后的坐标为(s,t)，λ_x为x轴上的缩放系数，λ_y为Y轴上的缩放系数，那么就可以通过如下表达式实现坐标的缩放：

在本说明书的一些实施例中，上述数据增强的过程具体可以包括：首先，对样本图像进行标注并获得目标框；然后，通过上述任意一种或多种方法对样本图像进行数据增强，同时进行相应的坐标转换和平移等操作。之后将新生成的图像文件保存在指定路径下，同时将新生成的目标框文件也保存在指定路径下，并确保图像文件和目标框文件的一一对应。这样，基于一张图像可以得到多个图像，从而极大地增加数据的数据量。例如，在本说明书的一些实施例中，通过上述方法可以对一张图像进行数据增强得到20张图像。在经过上述数据增强之后，利用数据增强后的大量样本进行训练可以大大提高作物识别模型的精度。具体地，通过上述方法进行训练得到的作物识别模型，可以在由无人机拍摄的图像中识别出较小尺寸的作物并且具有很高的识别精度。

图6a和6b显示了针对无人机拍摄的具有相同形态但是具有不同空间角度的图像中玉米苗的识别结果。其中，图像中的矩形框代表识别出的玉米苗(目标框)所在的位置。

图7a和7b显示了针对无人机拍摄的具有不同形态以及不同空间角度的图像中玉米苗的识别结果。其中，图像中的矩形框代表识别出的玉米苗(目标框)所在的位置。

图8显示了针对无人机拍摄的带有阴影区域的图像中玉米苗的识别结果。其中，图像中的矩形框代表识别出的玉米苗(目标框)所在的位置。

从上述图6-8所示的玉米苗的识别结果可以看出，通过本说明书实施例所述的作物识别方法可以从无人机拍摄的图像中有效并且高精度地识别出玉米苗，从而大大提高对玉米苗出苗和生长情况的检测的效率。

需要说明的是，在通过上述方法识别出图像中的作物之后，可以分别统计得到每个图像上的作物的数量，进而统计出指定区域或者单位区域内作物的数量；然后，再根据统计出的作物的数量与在该区域内播种的种子数量进行相应计算，从而可以得到作物的出苗率等指标，并最终利用这些指标指导播种或者耕种的行为或方式，从而到达保障或提高作物的总体产量的目的。需要说明的是，上述方法特别适用于穴播作物的出苗率统计，从而可以更加准确地指导穴播作物的播种和耕种。

基于上述作物识别方法，本说明书的一个或多个实施例还提供了一个作物识别装置，其内部结构如图9所示，主要包括：

图像获取模块902，用于获取包含作物的图像；

特征提取模块904，用于提取上述图像的色彩特征、纹理特征和光谱特征中的至少一个特征作为作物识别模型的输入特征；

识别模块906，用于基于上述作物识别模型，根据上述图像的色彩特征、纹理特征以及光谱特征中的至少一个特征，识别出上述图像中的作物；其中，上述作物识别模型是用于基于上述输入特征识别出图像中作物的Faster-RCNN模型。

在本说明书的一些实施例中，上述图像获取模块902可以获取包含作物的彩色图像和/或近红外波段图像，具体地可以是由无人机拍摄的包含作物的彩色图像和/或近红外波段图像；或者由图像拍摄装置拍摄得到包含作物的彩色图像以及通过光谱相机拍摄得到包含作物的近红外波段图像。

在本说明书的一些实施例中，上述特征提取模块904可以包括一下三个单元中的至少一个：

色彩特征提取单元，用于分别提取所拍摄彩色图像上每个像素点在R、G、B三个基色波段上的分量；

纹理特征提取单元，用于通过色彩空间转换，将拍摄的彩色图像转换至HSV色彩空间，以及提取所述HSV色彩空间中彩色图像上每个像素点在H通道、S通道以及V通道上的分量；以及

光谱特征提取单元，用于提取所拍摄的近红外波段图像上每个像素点在近红外波段上的分量。

在本说明书的一些实施例中，上述装置可以进一步包括：特征融合模块908，用于将上述作物识别模型的多个输入特征进行特征融合，将融合后的至少一个特征作为所述作物识别模型的输入特征。

在本说明书的一些实施例中，上述特征融合模块908可以包括以下两个单元中的至少一个：

主成分分析单元，用于对上述作物识别模型的输入特征执行主成分分析变换，将上述主成分分析变换输出的前N个特征作为上述作物识别模型更新后的输入特征；其中，N为预先确定的作物识别模型的输入特征的数量；

属性约简单元，用于根据上述作物识别模型的输入特征确定原始的条件属性集合以及原始的特征决策表；初始化约简集为空集；对上述条件属性集中的每一个条件属性，分别根据上述特征决策表计算其属性重要度增量；挑选所述属性重要度增量最大的条件属性加入约简集，并将之从条件属性集合中删除；当所述属性重要度增量的最大值不为0时，返回挑选所述属性重要度增量最大的条件属性加入约简集的步骤；当所述属性重要度增量的最大值为0时，输出所述约简集，作为所述作物识别模型的输入特征。

在本说明书的一些实施例中，上述属性约简单元进一步用于对于所述约简集的每个条件属性，分别确定删除所述条件属性后的属性重要度变化量；如果删除所条件属性后，属性重要度变化量为0，则将所述条件属性从所述约简集中删除；输出所述约简集，作为所述作物识别模型的输入特征。

需要说明的是，上述作物识别装置的各个模块的具体实现方法可以参考前述各个实施例，在此不再重复说明。

需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成上述的方法。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

图10示出了本说明书实施例所述的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所述的作物识别方法。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所述的作物识别方法时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。例如，在本说明书的实施例中，上述存储器1020中可以包含以下模块：图像获取模块902、特征提取模块904、识别模块906以及特征融合模块908。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (14)

1.一种作物识别方法，包括：

获取包含作物的图像；

提取所述图像的色彩特征、纹理特征和光谱特征中的至少一个特征作为作物识别模型的输入特征；

基于所述作物识别模型，根据所述图像的色彩特征、纹理特征和光谱特征中的至少一个特征，识别出所述图像中的作物；其中，所述作物识别模型是用于基于所述输入特征识别出图像中作物的更快速区域卷积神经网络Faster-RCNN模型。

2.根据权利要求1所述的方法，其中，所述获取包含作物的图像包括：

获取由无人机拍摄的包含作物的彩色图像和近红外波段图像；或者

获取由图像拍摄装置拍摄得到包含作物的彩色图像以及通过光谱相机拍摄得到包含作物的近红外波段图像。

3.根据权利要求2所述的方法，其中，提取所述图像的纹理特征包括：

通过色彩空间转换，将所述彩色图像转换至HSV色彩空间；

提取所述HSV色彩空间中彩色图像上每个像素点在H通道、S通道以及V通道上的分量；以及

将所述每个像素点在H、S、V三个通道上的分量作为所述图像的纹理特征。

4.根据权利要求2所述的方法，其中，提取所述图像的光谱特征包括：

提取所述近红外波段图像每个像素点在近红外波段上的分量；

将所述每个像素点在近红外波段上的分量作为所述图像的光谱特征。

5.根据权利要求1所述的方法，进一步包括：将所述作物识别模型的多个输入特征进行特征融合，将融合后的至少一个特征作为所述作物识别模型的输入特征。

6.根据权利要求5所述的方法，其中，将所述作物识别模型的多个输入特征进行特征融合包括：

对所述作物识别模型的输入特征执行主成分分析变换，将所述主成分分析变换输出的前N个特征作为所述作物识别模型更新后的输入特征；其中，N为预先确定的作物识别模型的输入特征的数量；和/或

根据所述作物识别模型的输入特征确定原始的条件属性集合以及原始的特征决策表；初始化约简集为空集；对所述条件属性集中的每一个条件属性，分别根据所述特征决策表计算其属性重要度增量；挑选所述属性重要度增量最大的条件属性加入约简集，并将之从条件属性集合中删除；当所述属性重要度增量的最大值不为0时，返回挑选所述属性重要度增量最大的条件属性加入约简集的步骤；当所述属性重要度增量的最大值为0时，输出所述约简集，作为所述作物识别模型的输入特征。

7.根据权利要求1所述的方法，其中，所述Faster-RCNN模型的区域生成网络中锚窗的尺度参数以及长宽比根据所述图像的尺寸、所述作物占所述图像的比例以及所述图像的分辨率中的至少一项设定。

8.根据权利要求7所述的方法，其中，所述图像为无人机或飞行器拍摄的图像且所述作物为玉米时，所述锚窗的尺度参数包括8像素、16像素和32像素，所述锚窗的长宽比包括1:3、1:2、1:1、2:1和3:1；或者

所述图像为由无人机或飞行器拍摄的图像且所述作物为棉花时，所述锚窗的尺度参数包括32像素、64像素和128像素，所述锚窗的长宽比包括1:3、1:2、1:1、3:4和4:3。

9.根据权利要求1所述的方法，其中，所述方法进一步包括：

获取多个图像作为样本，其中，每个样本已标注有用于标识目标物所在位置的至少一个目标框；

提取所述样本的色彩特征、纹理特征以及光谱特征中的至少一个特征；

对提取的所述至少一个特征进行特征融合，得到融合后的至少一个特征作为Faster-RCNN模型的输入特征；

基于所述Faster-RCNN模型，根据所述输入特征，得到用于标识样本中目标物所在的位置的预测目标框；

根据每个样本的预测目标框与标注的目标框确定所述作物识别模型的识别误差；以及

根据所述识别误差调整所述Faster-RCNN模型的参数。

10.根据权利要求9所述的方法，其中，所述方法进一步包括：在提取所述样本的色彩特征、纹理特征以及光谱特征中的至少一个特征之前，对所述样本进行数据增强得到新的样本。

11.根据权利要求10所述的方法，其中，所述数据增强包括：像素内容变换、图像空间几何变换以及坐标转换缩放中的一项或多项。

12.一种作物识别装置，包括：

图像获取模块，用于获取包含作物的图像；

特征提取模块，用于提取上述图像的色彩特征、纹理特征和光谱特征中的至少一个特征作为作物识别模型的输入特征；以及

识别模块，用于基于作物识别模型，根据所述图像的色彩特征、纹理特征和光谱特征中的至少一个特征，识别出所述图像中的作物；其中，所述作物识别模型是用于基于所述输入特征识别出图像中作物的更快速区域卷积神经网络Faster-RCNN模型。

13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至11中任意一项所述的作物识别方法。

14.一种非暂态计算机可读存储介质，其中，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1至11中任意一项所述的作物识别方法。

Images