CN109859101A - 农作物冠层热红外图像识别方法及系统 - Google Patents

Abstract

本发明实施例提供了一种农作物冠层热红外图像识别方法及系统，采用基于图像特征的模板标定方法，将从目标农作物冠层的可见光图像中提取的第一农作物冠层区域作为参考图像，应用仿射变换算法将参考图像和热红外图像进行配准，可以解决不同传感器因视角存在差异而导致的图像间无法精确匹配的问题。根据配准的结果对热红外图像中的第二农作物冠层区域进行识别，而不是直接对热红外图像中的第二农作物冠层区域进行识别，可以避免现有技术中农作物冠层热红外图像在识别过程中所存在的复杂噪声干扰较多、目标区域与环境背景之间灰度差别小等而导致识别精确度较低的问题。

Description

农作物冠层热红外图像识别方法及系统

技术领域

本发明实施例涉及图像识别技术领域，更具体地，涉及农作物冠层热红外图像识别方法及系统。

背景技术

随着信息技术快速普及和发展，热红外成像技术日益成熟，已受到农业科学工作者的广泛关注。农作物冠层热红外图像能够反映作物生殖生长信息，是获取植株生理生态指标参数的重要途径。目前冠层热红外图像识别技术已成为精细农业领域的热点和难点。国内外学者在热红外图像识别技术上取得了诸多研究成果，为更好发挥热红外图像在农业生产中的优势奠定了理论及技术基础。

早在1963年，农作物冠层热红外图像就用来研究并监测植物病害的发展。但由于热红外图像易受噪声干扰，且目标与背景之间灰度差别较小，因此目前针对红外图像的交互式图割方法的效率有待于进一步提高，同时由于没有充分考虑图像的模糊信息，即像素的灰度接近程度和空间相关性，导致对于低对比度图像的边缘部分和模糊部分的分割效果较差。因此如何精准识别出农作物冠层热红外图像成为其有效应用的关键。有学者通过引入模糊位置先验来定义能量函数的似然能，提出了模糊图割的概念。另有学者基于峰谷法提出了用于红外目标分类、识别的边距离分布特征概念。由于点状温度演化为面状冠层时具有一定的误差，导致仅以热成像图像信息特征为分割依据难以达到理想精度，所以基于水平集的热红外图像分割方法得到了快速发展。另有学者建立了一种自适应调整边缘指示器函数，增强演化曲线边界的匀称性，但仍未解决灰度分布不均的热红外图像的边缘识别问题。为此，有学者提出了全变差最小的梯度转移融合方法，还有学者建立了一种新的广义梯度向量流snakes模型，在平滑噪声的同时，提高了弱边缘的保护能力。Harris算子可提取彩色和热红外图像的对应角点，估计分割模型参数，用于识别目标图像，但当外点较多时，识别率较低。还有其他学者通过仿射变换计算参考图像与目标图像，构建特征三角形的变换参数，提取了热红外图像。有学者通过计算待配准图像与参考图像的映射关系，求解像素点所在位置的梯度模之和的最大值，从而确定变换模型参数，但对于红外图像中经常出现的伪边缘噪声比较敏感。还有学者采用二值化Ostu算法和Canny边缘检测算法对热红外图像进行掩膜处理，实现对土壤背景的剔除，但分割质量受冠层叶片的温度差别影响较大。

因此，现急需提供一种农作物冠层热红外图像识别方法及系统，以解决农作物冠层热红外图像在识别过程中所存在的复杂噪声干扰较多、目标区域与环境背景之间灰度差别小等导致识别精度较低的问题。

发明内容

为克服上述问题或者至少部分地解决上述问题，本发明实施例提供了一种农作物冠层热红外图像识别方法及系统。

第一方面，本发明实施例提供了一种农作物冠层热红外图像识别方法，包括：

分别获取目标农作物冠层的可见光图像和热红外图像；

提取所述可见光图像中的第一农作物冠层区域，并将所述第一农作物冠层区域作为参考图像；

基于仿射变换算法，将所述参考图像和所述热红外图像进行配准，并识别所述热红外图像中的第二农作物冠层区域。

第二方面，本发明实施例提供了一种农作物冠层热红外图像识别系统，包括：

图像获取模块，用于分别获取目标农作物冠层的可见光图像和热红外图像；

第一农作物冠层区域获取模块，用于提取所述可见光图像中的第一农作物冠层区域，并将所述第一农作物冠层区域作为参考图像；

第二农作物冠层区域获取模块，用于基于仿射变换算法，将所述参考图像和所述热红外图像进行配准，并识别所述热红外图像中的第二农作物冠层区域。

第三方面，本发明实施例提供了一种电子设备，包括：

至少一个处理器、至少一个存储器、通信接口和总线；其中，

所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行第一方面提供的农作物冠层热红外图像识别方法。

第四方面，本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面提供的农作物冠层热红外图像识别方法。

本发明实施例提供的一种农作物冠层热红外图像识别方法及系统，采用基于图像特征的模板标定方法，将从目标农作物冠层的可见光图像中提取的第一农作物冠层区域作为参考图像，应用仿射变换算法将参考图像和热红外图像进行配准，可以解决不同传感器因视角存在差异而导致的图像间无法精确匹配的问题。根据配准的结果对热红外图像中的第二农作物冠层区域进行识别，而不是直接对热红外图像中的第二农作物冠层区域进行识别，可以避免现有技术中农作物冠层热红外图像在识别过程中所存在的复杂噪声干扰较多、目标区域与环境背景之间灰度差别小等导致识别精度较低的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种农作物冠层热红外图像识别方法的流程示意图；

图2为本发明实施例提供的一种农作物冠层热红外图像识别方法中预设模糊神经网络模型的结构示意图；

图3为本发明实施例提供的一种农作物冠层热红外图像识别系统的结构示意图；

图4为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明实施例的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明实施例中的具体含义。

如图1所示，本发明实施例提供了一种农作物冠层热红外图像识别方法，包括：

S1，分别获取目标农作物冠层的可见光图像和热红外图像；

S2，提取所述可见光图像中的第一农作物冠层区域，并将所述第一农作物冠层区域作为参考图像；

S3，基于仿射变换算法，将所述参考图像和所述热红外图像进行配准，并识别所述热红外图像中的第二农作物冠层区域。

具体地，由于农作物冠层的热红外图像不仅边缘模糊不均，而且图像灰度变化剧烈，难以完成边缘特征信息的有效提取，而农作物冠层的可见光图像是信息最为客观的成像形式之一，且图像边缘特性优势明显，因此本发明实施例中充分利用农作物冠层的可见光图像的优势，考虑到热红外图像像素的灰度接近程度和空间相关性，采用模板标定法，提取农作物冠层的热红外图像区域，旨在有效提高识别精度和效率上有突破性进展。

本发明实施例中提供的一种农作物冠层热红外图像识别方法，可以通过具有热红外和可见光双传感器通道的便携式红外热像仪分别获取目标农作物冠层的可见光图像和热红外图像，具体可以将便携式红外热像仪垂直于目标农作物冠层设置，便携式红外热像仪的镜头与目标农作物冠层的距离为110cm，由于目标农作物生长在地上，为使操作方便，可以直接令镜头与地面的距离为110cm。手动调节便携式红外热像仪的焦距和光圈，并设置自动白平衡。在使用便携式红外热像仪拍摄获取目标农作物冠层的可见光图像和热红外图像时，目标农作物冠层位于镜头的中心区域，且设置便携式红外热像仪得到的图像的分辨率均为480×640像素。得到的可见光图像为彩色图像，得到的热红外图像可以显示出目标农作物冠层不同位置的温度差异。本发明实施例中的目标农作物冠层是指需要确定热红外图像的农作物冠层，具体可以为红小豆冠层，可以选用红小豆宝清红和136号品种。

在获取目标农作物冠层的可见光图像后，提取可见光图像中的第一农作物冠层区域，并将其作为参考图像，这里所说的参考图像可以认为是识别热红外图像中的第二农作物冠层区域所需的模板。由于可见光图像中包括第一农作物冠层区域和背景区域，提取可见光图像中的第一农作物冠层区域具体可以指，将可见光图像中的第一农作物冠层区域和背景区域进行分割，进而提取出第一农作物冠层区域。

需要说明的是，这里第一农作物冠层区域的“第一”主要用于与热红外图像中第二农作物冠层区域的“第二”进行区分，以说明这两个农作物冠层区域的来源不同，本领域技术人员不能将其理解为其他含义或起限定作用。

由于传感器之间存在着视角偏差，会使得到的热红外图像与参考图像之间对应的特征点或特征线段数目发生变化，因此对应的特征点或特征线段位置关系不能作为唯一可靠的空间对齐准则。因此本发明实施例中在确定参考图像后，基于仿射变换算法，将参考图像和热红外图像进行配准，并识别热红外图像中的第二农作物冠层区域。由于图像中的线段经过仿射变换后，能够保持稳定的定量约束关系，配准后可建立热红外图像与参考图像之间的参数约束。仿射变换算法是一种图像处理算法，主要由两个基本操作组成：1)坐标的空间变换；2)灰度内插。其中，坐标的空间变换可以是指图像中像素点位置的空间变换，具体可以包括尺度变换、旋转、平移以及偏移等操作。

将参考图像和热红外图像进行配准具体可以指将参考图像映射至热红外图像坐标系下，并对应与热红外图像中的第二农作物冠层区域。最后根据配准的结果对热红外图像中的第二农作物冠层区域进行识别，即以参考图像为模板对第二农作物冠层区域进行识别。

本发明实施例中提供的农作物冠层热红外图像识别方法，采用基于图像特征的模板标定方法，将从目标农作物冠层的可见光图像中提取的第一农作物冠层区域作为参考图像，应用仿射变换算法将参考图像和热红外图像进行配准，可以解决不同传感器因视角存在差异而导致的图像间无法精确匹配的问题。根据配准的结果对热红外图像中的第二农作物冠层区域进行识别，而不是直接对热红外图像中的第二农作物冠层区域进行识别，可以避免现有技术中农作物冠层热红外图像在识别过程中所存在的复杂噪声干扰较多、目标区域与环境背景之间灰度差别小等导致识别精度较低的问题。

在上述实施例的基础上，本发明实施例中提供的农作物冠层热红外图像识别方法，所述提取所述可见光图像中的第一农作物冠层区域，具体包括：

获取所述可见光图像的R、G、B三个颜色分量，并基于预设模糊神经网络模型，分离出所述第一农作物冠层区域；

其中，所述预设模糊神经网络模型由包含有样本农作物冠层区域的样本可见光图像的R、G、B三个颜色分量作为输入，所述样本可见光图像中的所述样本农作物冠层区域或所述样本可见光图像中的背景图像作为输出，采用梯度下降的误差反向传播法进行训练得到。

具体地，本发明实施例中，可见光图像的R、G、B三个颜色分量分别为红色分量、绿色分量和蓝色分量。将三个颜色分量分别输入至预设模糊神经网络模型，预设模糊神经网络模型的结构如图2所示，从输入至输出依次包括：输入层(Input lager)、模糊化层(Fuzzification layer)、正则化层(Regularization layer)、规则层(Rule evel)和输出层(Output lager)，其中输入层的节点数为3，分别为R、G、B节点，分别对应于可见光图像的R、G、B三个颜色分量，分别以向量形式表示；利用高斯隶属函数将每个颜色分量均划分为2个子空间，R节点划分为子空间r₁和子空间r₂，G节点划分为子空间g₁和子空间g₂，B节点划分为子空间b₁和子空间b₂，即模糊化层的节点数为6；由此可得模糊规则为8条，因此正则化层的节点数为8，分别为W₁、W₂、W₃、W₄、W₅、W₆、W₇、W₈。规则层的节点数为8，分别为 第五层为输出层，输出结果为目标农作物冠层区域的像素或可见光图像中背景区域的像素，输出层的输出结果记为向量Y，输出层节点数为1。最终可以确定预设模糊神经网络模型的拓扑结构为3-6-8-8-1型。

选择高斯隶属函数对输入层的向量进行模糊化操作，模糊化层中的每个节点代表一个语言变量值。高斯隶属函数表达式如下：

式中，为隶属度函数聚类极值，c_i为隶属度函数聚类中心；σ_i为隶属度函数聚类宽度，i为模糊化层中的第i个节点，i的取值为1至8。在预设模糊神经网络模型中，将输入层中各颜色分量的隶属度均划分2个类别。

预设模糊神经网络模型中的正则化层的规则适应度为 表示第i个模糊规则的模糊子集构成的第j个模糊集合，网络规则适应度w_i可由模糊化后的属度乘积表示：

将第i个节点对应的第i条规则适用度与所有模糊规则适用度之和的比值，作为归一化适用度表示为：

将所有模糊规则结果之和作为整个预设模糊神经网络模型的总输出Y：

公式(4)中，每一条模糊规则输出函数f_i表示为

其中，p_i是预设模糊神经网络模型的模糊规则参数集合，是对应于R节点的模糊规则参数集合，是对应于G节点的模糊规则参数集合，是对应于B节点的模糊规则参数集合，m取值为1或2。

本发明实施例中采用梯度下降的误差反向传播法对预设模糊神经网络模型进行训练，调整误差函数学习规则。将由包含有样本农作物冠层区域的样本可见光图像的R、G、B三个颜色分量作为输入，样本可见光图像中的样本农作物冠层区域或样本可见光图像中的背景图像作为输出。

本发明实施例中调整误差函数定义为：

公式(6)中，Y为预设模糊神经网络模型实际输出的向量，D为预设模糊神经网络模型期望输出的向量，E为Y与D之间的误差函数。通过梯度下降法调整预设模糊神经网络模型参数：函数聚类宽度方差σ_i、函数聚类中心c_i和模糊规则参数p_i。令η表示学习速度，α表示惯性系数，模型参数具体修正方法如公式(7)至(9)所示。

函数聚类宽度方差σ_i的学习规则为：

函数聚类中心c_i的学习规则为：

模糊规则参数p_i的学习规则为：

在网络训练过程中给定η和α的值，利用式(7)～(9)可得预设模糊神经网络模型参数。

本发明实施例中，根据实际问题的需要，可通过调节预设模糊神经网络模型参数从而训练预设模糊神经网络模型。

例如，可以在包含有样本农作物冠层的样本可见光图像上选取50个不同区域，共16085个像素作为训练样本集。每个学习样本实际输出与期望输出的最大偏差，即学习精度为0.001，学习速度为0.8，惯性系数为0.5，最大学习次数为1000。选取训练样本集中的像素集合为具体训练集，对预设模糊神经网络模型进行学习，当迭代38次时，可知预设模糊神经网络模型的误差为0.000952，满足误差精度要求。

需要说明的是，本发明实施例中将正确分类像素中超出参考图像的区域视为过分割，参考图像溢出正确分类像素的区域视为欠分割，参考图像中属于正确分类像素区域的部分为有效分割。可以计算得到不同情况下获得的参考图像的像素数占可见光图像的像素总数的比率，即有效分割率、欠分割率以及过分割率，以用于评价目标农作物冠层的可见光图像的分割效果。

在上述实施例的基础上，本发明实施例中提供的农作物冠层热红外图像识别方法，为进一步验证预设模糊神经网络模型的有效性，应用图像熵来评价对目标农作物冠层的可见光图像的分割效果。由于熵表示图像所包含的平均信息量的多少，因此提取得到的第一农作物冠层区域与可见光图像之间的熵值变化越小，表明对可见光图像的分割效果越好。熵值H(X)的表达式如下：

其中，p(x_i)表示灰度值为x_i的像素数与图像总像素数之比。

根据公式(10)分别计算原始可见光图像和第一农作物冠层区域的熵值。通过计算得到，原始可见光图像的平均熵值为3.8944，第一农作物冠层区域的平均熵值为3.6485，二者仅相差0.1459。由此可知，本发明实施例中提供的预设模糊神经网络模型不仅较大程度地避免了因图像噪声干扰带来的分割误差，而且可以有效降低初始轮廓线位置影响，较为完整地保留了农作物冠层图像信息。

在上述实施例的基础上，本发明实施例中提供的农作物冠层热红外图像识别方法，所述基于仿射变换算法，将所述参考图像和所述热红外图像进行配准，具体包括：

基于全局线性仿射变换算法，构建仿射变换模型；所述仿射变换模型用于将所述参考图像映射至热红外图像坐标系下；

基于所述仿射变换模型，将所述参考图像和所述热红外图像进行配准。

具体地，本发明实施例中假设目标农作物冠层的热红外图像为没有凹凸的平整区域，利用全局线性仿射变换算法，构建仿射变换模型，即求解参考图像与热红外原始图像之间的映射关系，将参考图像映射至热红外图像坐标系下；

设X＝[x₁,y₁]^T为参考图像中任意一点P的坐标，参考图像的任意一点P都可以在热红外图像中找到对应的映射点P’，设B为P’的坐标，则转换过程表示如下：

其中，A为一个非奇异矩阵(即det(A)≠0)，且A＝[a,b；c,d]，t＝[t_x,t_y]^t为图像在水平方向和垂直方向上的偏移量，全局线性仿射变换算法具有6个自由度，公式如下：

其中，由x’、y’、z’组成的向量[x’；y’；z’]是热红外图像[x；y；z]经过平移、旋转、缩放后与对应的参考图像配准所得的特征向量。

由矩阵性质可知，非奇异矩阵的转置矩阵也是非奇异矩阵，因此对于公式(11)中非奇异矩阵A转置后所得的A^T同样为非奇异矩阵。对矩阵A^T进行正交分解可得A^T＝QP，两边进行转置操作后可得：

A＝P^TQ^T (13)

其中，Q为一个正交矩阵，P为一个上三角矩阵，可以将下三角矩阵P^T和正交矩阵Q^T分别记为：

令公式(14)中ρ＝ω₁/ω，μ＝ω₂/ω，结合式(11)、式(13)、式(14)可得：

公式(15)中，ω为尺度因子、μ为切边因子、ρ为尺度比例因子、θ为旋转因子、t为水平方向和垂直方向上的平移因子，t可以表示为t＝[t_x；t_y]。θ为参考图像和热红外图像之间由平移、旋转、缩放、和错切等线性变换所形成的角度偏移，对应的单位矢量为：

E＝[cos(θ),sin(θ)]^T (16)

经等式变换后对应的矢量E′的表达式为：

其中，ω、μ、ρ、θ由t得来，则公式(17)可化简为：

从公式(18)中可知，矢量的偏移角α′为

上式中，x₁与x′₁分别为热红外图像及参考图像中相对应的特征点对的横坐标。公式(19)即为仿射变换模型。参考图像与热红外图像中相对应的方向矢量间存在某一定量参数约束关系，并且两者之间矢量的偏移只与μ、ρ、θ等参数因子有关，因此，参数因子μ、ρ、θ即为仿射变换模型中的仿射变换参数。根据公式(19)，已知热红外图像及参考图像中任意三对相对应的特征点对即可确定唯一的仿射变换模型参数值。根据公式(19)，即可将参考图像和所述热红外图像进行配准。

在上述实施例的基础上，本发明实施例中提供的农作物冠层热红外图像识别方法，所述基于所述仿射变换模型，将所述参考图像和所述热红外图像进行配准，具体包括：

分别在所述参考图像和所述热红外图像中标定相互对应的特征点对和特征线段对，基于所述特征点对、所述特征线段对以及所述仿射变换模型，确定所述仿射变换模型中仿射变换参数的初始取值；

改变所述仿射变换参数的取值，将所述参考图像和所述热红外图像进行配准，直至确定所述参考图像在所述热红外图像坐标系下的最佳配准位置。

具体地，本发明实施例中，采用特征点对和边缘特征相结合的图像特征提取方式，分别在目标农作物冠层的热红外图像和参考图像中标定经比例缩放、旋转、平移等仍可以保持一致性的特征点对、特征线段对等特征信息。为提高识别效率，优先选取热红外图像和参考图像中冠层的边缘点以及图像中心作为特征点进行配准。

将标定得到的特征点对以及特征线段对代入至仿射变换模型中，即可确定出仿射变换模型中仿射变换参数的初始取值。改变仿射变换参数的取值，将参考图像和热红外图像进行配准，直至确定参考图像在热红外图像坐标系下的最佳配准位置。本发明实施例中将参数因子μ、ρ、θ的最优解，作为仿射变换参数的最终取值。可将参数因子构成的向量(μ,ρ,θ)记为H，并将公式(19)简记为α′＝F(α；H)。对于给定的向量H，可将参考图像中特征线段集合I的映射集合记为F(I；H)，将热红外图像中的特征线段集合V的映射集合记为F(V；H)。以集合F(I；H)中的方向为行，集合F(V；H)中的方向为列，构建方向差矩阵L，方向差矩阵L中各元素的计算公式为：

其中，i＝1,2,...,m_i，m_i为集合I中特征线段的个数；j＝1,2,...,M_i，M_i为集合V中特征线段的个数。G(X)为高斯隶属函数，本发明实施例中可自定义高斯隶属函数的方向。

例如，本发明实施例中可将旋转因子θ的取值调整为-1，使特征线段处于平行状态，还可以将平移因子t_x的取值增加15，使参考图像在水平方向的位置向正方向调整15个像素单位，将平移因子t_y的取值减小45，使参考图像在垂直方向的位置向负方向调整45个像素单位，以实现特征点对的坐标匹配。还可以调整尺度比例因子ρ，将参考图像缩小至0.9倍，完成特征线段的长度匹配，最终可实现热红外图像中的第二农作物冠层区域与参考图像的精确配准。精确配准过程中，依次调整仿射变换参数，让参考图像的窗口在热红外图像上有序地移动，每次变换位置后的配准结果都与第二农作物冠层区域相比较，直至找到最佳配准位置。仿射变换参数调整过程中温度和熵值变化如表1所示。

表1温度和熵值变化

由表1可以看出，调整旋转因子θ，配准结果的温度范围变为16.35～19.71℃，平均温度较初始识别有所上升，但调整平移因子t后温度值范围发生变化，减至16.35～19.63℃，平均温度也降至17.9866℃，经尺度比例因子ρ调整过后，最终温度范围调整至16.35～19.52℃，平均温度继续下降至17.8393℃。整个调整过程中配准结果的温度所在区间范围和平均值虽然有所波动，但通过逐步调整变换仿射变换参数，可最终实现热红外图像中的第二农作物冠层区域与参考图像的精确配准。

在上述实施例的基础上，本发明实施例中提供的农作物冠层热红外图像识别方法，在所述识别所述热红外图像中的第二农作物冠层区域之前，还包括：对所述热红外图像进行滤波处理，并对所述参考图像进行插值处理。

具体地，由于热红外传感器在获取温度信息时，会一定程度地受到噪声干扰，这些噪声会影响第二农作物冠层区域识别的精确度，因此在对热红外图像中的第二农作物冠层区域识别之前，应对热红外图像进行滤波处理。然后按上述步骤得到参考图像和热红外图像间的仿射变换参数，并将仿射变换参数输入到参考图像的仿射变换模型中，通过对仿射变换参数进行调整转换到热红外图像坐标系中。同时，为完成后续对热红外图像中的第二农作物冠层区域的精确识别，还需要对参考图像进行插值处理。具体可将参考图像进行坐标变换与线性插值，以消除噪声的干扰，进而保留参考图像主要边缘特征，以用于精准识别热红外图像中的第二农作物冠层区域。

在上述实施例的基础上，本发明实施例中提供的农作物冠层热红外图像识别方法，所述识别所述热红外图像中的第二农作物冠层区域，具体包括：

依次提取所述参考图像中各像素点的第一像素点取值，以及依次提取所述热红外图像中各像素点的第二像素点取值；

对于所述参考图像中的任一像素点，若所述任一像素点的所述第一像素点取值为0，则令所述热红外图像中与所述任一像素点相同位置的像素点的所述第二像素点取值为0；

更新所述热红外图像中每一像素点的所述第二像素点取值，所述热红外图像中所述第二像素点取值不为0的位置构成所述第二农作物冠层区域。

具体地，本发明实施例中，首先依次提取出参考图像的第一像素矩阵中各像素点的第一像素点取值，以及依次提取热红外图像的第二像素矩阵中各像素点的第二像素点取值。也即依次提取第一像素矩阵中第i行第j列的像素点的第一像素点取值M_ij，并且依次提取第二像素矩阵中第i行第j列的像素点的第二像素点取值N_ij。对于参考图像中的任一像素点，若任一像素点的第一像素点取值为0，则令热红外图像中与任一像素点相同位置的像素点的第二像素点取值为0。即若M_ij＝0，则令N_ij＝0。否则，N_ij的取值不变。更新热红外图像中每一像素点的第二像素点取值，最终得到取值不为0的N_ij对应的像素点构成的第二农作物冠层区域，实现对热红外图像中的第二农作物冠层区域的识别。

在上述实施例的基础上，本发明实施例中提供的农作物冠层热红外图像识别方法，还包括：

基于所述第二农作物冠层区域的熵值以及所述第二农作物冠层区域条件下所述热红外图像的熵值，确定所述热红外图像与所述第二农作物冠层区域之间的互信息熵；

基于所述互信息熵，确定识别所述热红外图像中的第二农作物冠层区域时的识别质量。

具体地，本发明实施例中提供的农作物冠层热红外图像识别方法，互信息熵是信息论中的一个重要基本概念，它可作为两个变量之间相关性的量度，或一个变量包含另一个变量的信息量的量度，本发明实施例中将互信息熵作为热红外图像识别的客观分析监督评价指标之一。其计算公式为：

I(X,Y)＝H(X)-H(Y|X) (22)

公式(22)中H(Y|X)中的X是第二农作物冠层区域的图像像素点矩阵，Y为热红外图像的图像像素点，H(X)为第二农作物冠层区域的熵值，H(Y|X)为第二农作物冠层区域条件下热红外图像的熵值，I(X，Y)为互信息熵，互信息熵的取值越大，表明识别出的第二农作物冠层区域与热红外图像中实际的农作物冠层区域差异越小，即识别质量越高。随机选取5组样本可见光图像以及对应的样本热红外图像，应用本发明实施例中提供的农作物冠层热红外图像识别方法识别样本热红外图像以及通过现有技术中存在的农作物冠层热红外图像识别方法识别样本热红外图像，得到的互信息熵结果对比，如表2所示。

由表2可知，采用本发明实施例中提供的农作物冠层热红外图像识别方法识别样本热红外图像的互信息熵值的范围为3.2017～4.6635，互信息熵的平均值为4.3687；采用现有技术中存在的农作物冠层热红外图像识别方法识别样本热红外图像的互信息熵值的范围为3.7973～5.2794，互信息熵的平均值为3.9815。本发明实施例中提供的方法与现有技术中提供的方法中互信息熵之差仅为0.3872，所以本发明实施例中识别热红外图像得到的第二农作物冠层区域的信息包含了热红外图像中大量的有效信息。

表2热红外图像识别效果指标对比

如图3所示，在上述实施例的基础上，本发明实施例中提供了一种农作物冠层热红外图像识别系统，包括：图像获取模块31、第一农作物冠层区域获取模块32和第二农作物冠层区域获取模块33。其中，图像获取模块31用于同时获取目标农作物冠层的可见光图像和热红外图像；

第一农作物冠层区域获取模块32用于提取所述可见光图像中的第一农作物冠层区域，并将所述第一农作物冠层区域作为参考图像；

第二农作物冠层区域获取模块33用于基于仿射变换算法，将所述参考图像和所述热红外图像进行配准，并识别所述热红外图像中的第二农作物冠层区域。

具体地，本发明实施例中提供的农作物冠层热红外图像识别系统中各模块实现的功能与上述方法类实施例中各流程的处理过程是一一对应的，实现的效果也是一致的，本发明实施例中在此不再赘述。

在上述实施例的基础上，本发明实施例中提供的农作物冠层热红外图像识别系统中，第一农作物冠层区域获取模块32具体用于：

获取所述可见光图像的R、G、B三个颜色分量，并基于预设模糊神经网络模型，分离出所述第一农作物冠层区域；

其中，所述预设模糊神经网络模型由包含有样本农作物冠层区域的样本可见光图像的R、G、B三个颜色分量作为输入，所述样本可见光图像中的所述样本农作物冠层区域或所述样本可见光图像中的背景图像作为输出，采用梯度下降的误差反向传播法进行训练得到。

在上述实施例的基础上，本发明实施例中提供的农作物冠层热红外图像识别系统中，第二农作物冠层区域获取模块33具体用于：

基于全局线性仿射变换算法，构建仿射变换模型；所述仿射变换模型用于将所述参考图像映射至热红外图像坐标系下；

基于所述仿射变换模型，将所述参考图像和所述热红外图像进行配准。

在上述实施例的基础上，本发明实施例中提供的农作物冠层热红外图像识别系统中，第二农作物冠层区域获取模块33还具体用于：

分别在所述参考图像和所述热红外图像中标定相互对应的特征点对和特征线段对，基于所述特征点对、所述特征线段对以及所述仿射变换模型，确定所述仿射变换模型中仿射变换参数的初始取值；

改变所述仿射变换参数的取值，将所述参考图像和所述热红外图像进行配准，直至确定所述参考图像在所述热红外图像坐标系下的最佳配准位置。

在上述实施例的基础上，本发明实施例中提供的农作物冠层热红外图像识别系统中，还包括：处理模块；

所述处理模块用于在所述识别所述热红外图像中的第二农作物冠层区域之前，对所述热红外图像进行滤波处理，并对所述参考图像进行插值处理。

在上述实施例的基础上，本发明实施例中提供的农作物冠层热红外图像识别系统中，第二农作物冠层区域获取模块33还具体用于：

依次提取所述参考图像中各像素点的第一像素点取值，以及依次提取所述热红外图像中各像素点的第二像素点取值；

对于所述参考图像中的任一像素点，若所述任一像素点的所述第一像素点取值为0，则令所述热红外图像中与所述任一像素点相同位置的像素点的所述第二像素点取值为0；

更新所述热红外图像中每一像素点的所述第二像素点取值，所述热红外图像中所述第二像素点取值不为0的位置构成所述第二农作物冠层区域。

在上述实施例的基础上，本发明实施例中提供的农作物冠层热红外图像识别系统中，还包括：识别质量确定模块；

所述识别质量确定模块具体用于：

基于所述第二农作物冠层区域的熵值以及所述第二农作物冠层区域条件下所述热红外图像的熵值，确定所述热红外图像与所述第二农作物冠层区域之间的互信息熵；

基于所述互信息熵，确定识别所述热红外图像中的第二农作物冠层区域时的识别质量。

如图4所示，在上述实施例的基础上，本发明实施例中还提供了一种电子设备，包括：处理器(processor)401、存储器(memory)402、通信接口(Communications Interface)403和总线404；其中，

所述处理器401、存储器402、通信接口403通过总线404完成相互间的通信。所述存储器402存储有可被所述处理器401执行的程序指令，处理器401用于调用存储器402中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：S1，分别获取目标农作物冠层的可见光图像和热红外图像；S2，提取所述可见光图像中的第一农作物冠层区域，并将所述第一农作物冠层区域作为参考图像；S3，基于仿射变换算法，将所述参考图像和所述热红外图像进行配准，并识别所述热红外图像中的第二农作物冠层区域。

存储器402中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在上述实施例的基础上，本发明实施例中还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：S1，分别获取目标农作物冠层的可见光图像和热红外图像；S2，提取所述可见光图像中的第一农作物冠层区域，并将所述第一农作物冠层区域作为参考图像；S3，基于仿射变换算法，将所述参考图像和所述热红外图像进行配准，并识别所述热红外图像中的第二农作物冠层区域。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种农作物冠层热红外图像识别方法，其特征在于，包括：

同时获取目标农作物冠层的可见光图像和热红外图像；

提取所述可见光图像中的第一农作物冠层区域，并将所述第一农作物冠层区域作为参考图像；

基于仿射变换算法，将所述参考图像和所述热红外图像进行配准，并识别所述热红外图像中的第二农作物冠层区域。

2.根据权利要求1所述的农作物冠层热红外图像识别方法，其特征在于，所述提取所述可见光图像中的第一农作物冠层区域，具体包括：

获取所述可见光图像的R、G、B三个颜色分量，并基于预设模糊神经网络模型，分离出所述第一农作物冠层区域；

其中，所述预设模糊神经网络模型由包含有样本农作物冠层区域的样本可见光图像的R、G、B三个颜色分量作为输入，所述样本可见光图像中的所述样本农作物冠层区域或所述样本可见光图像中的背景图像作为输出，采用梯度下降的误差反向传播法进行训练得到。

3.根据权利要求1所述的农作物冠层热红外图像识别方法，其特征在于，所述基于仿射变换算法，将所述参考图像和所述热红外图像进行配准，具体包括：

基于全局线性仿射变换算法，构建仿射变换模型；所述仿射变换模型用于将所述参考图像映射至热红外图像坐标系下；

基于所述仿射变换模型，将所述参考图像和所述热红外图像进行配准。

4.根据权利要求3所述的农作物冠层热红外图像识别方法，其特征在于，所述基于所述仿射变换模型，将所述参考图像和所述热红外图像进行配准，具体包括：

分别在所述参考图像和所述热红外图像中标定相互对应的特征点对和特征线段对，基于所述特征点对、所述特征线段对以及所述仿射变换模型，确定所述仿射变换模型中仿射变换参数的初始取值；

改变所述仿射变换参数的取值，将所述参考图像和所述热红外图像进行配准，直至确定所述参考图像在所述热红外图像坐标系下的最佳配准位置。

5.根据权利要求1所述的农作物冠层热红外图像识别方法，其特征在于，在所述识别所述热红外图像中的第二农作物冠层区域之前，还包括：对所述热红外图像进行滤波处理，并对所述参考图像进行插值处理。

6.根据权利要求5所述的农作物冠层热红外图像识别方法，其特征在于，所述识别所述热红外图像中的第二农作物冠层区域，具体包括：

依次提取所述参考图像中各像素点的第一像素点取值，以及依次提取所述热红外图像中各像素点的第二像素点取值；

对于所述参考图像中的任一像素点，若所述任一像素点的所述第一像素点取值为0，则令所述热红外图像中与所述任一像素点相同位置的像素点的所述第二像素点取值为0；

更新所述热红外图像中每一像素点的所述第二像素点取值，所述热红外图像中所述第二像素点取值不为0的位置构成所述第二农作物冠层区域。

7.根据权利要求1-6中任一项所述的农作物冠层热红外图像识别方法，其特征在于，还包括：

基于所述第二农作物冠层区域的熵值以及所述第二农作物冠层区域条件下所述热红外图像的熵值，确定所述热红外图像与所述第二农作物冠层区域之间的互信息熵；

基于所述互信息熵，确定识别所述热红外图像中的第二农作物冠层区域时的识别质量。

8.一种农作物冠层热红外图像识别系统，其特征在于，包括：

图像获取模块，用于同时获取目标农作物冠层的可见光图像和热红外图像；

第一农作物冠层区域获取模块，用于提取所述可见光图像中的第一农作物冠层区域，并将所述第一农作物冠层区域作为参考图像；

第二农作物冠层区域获取模块，用于基于仿射变换算法，将所述参考图像和所述热红外图像进行配准，并识别所述热红外图像中的第二农作物冠层区域。

9.一种电子设备，其特征在于，包括：

至少一个处理器、至少一个存储器、通信接口和总线；其中，

所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行如权利要求1-7中任一项所述的农作物冠层热红外图像识别方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1-7中任一项所述的农作物冠层热红外图像识别方法。