CN108990944A - 基于可见光热红外图像融合的无人机遥感喷药一体化方法及装置 - Google Patents

Abstract

本发明公开了一种基于可见光热红外图像融合的无人机遥感喷药一体化方法及装置，属于农作植保喷药技术领域，包括以下步骤：1)设定飞行路线；2)利用可见光相机和热红外相机分别采集农田作物的可见光图像和热红外图像，并将图像传输给处理器；3)对可见光图像和热红外图像依次进行配准和融合，并提取出融合图像中的病斑轮廓和颜色特征信息；4)根据融合图像中的病斑轮廓和颜色特征信息建立作物病害种类判别模型；5)重复步骤1)至3)，根据作物病害种类判别模型对提取出的融合图像进行作物病害种类的判别；6)根据作物病害种类控制不同药箱的开口阀门。将热红外图像与可见光图像融合，可以包含更多的图像信息，提高病害判别的准确性。

Description

基于可见光热红外图像融合的无人机遥感喷药一体化方法及 装置

技术领域

本发明涉及农作植保喷药技术领域，具体地说，涉及一种基于可见光热红外图像融合的无人机遥感喷药一体化方法及装置。

背景技术

世界各国对植保无人机应用程度有所不同，但总的来说，农业航空技术是国家农业生产的重要组成部分，在农业生产中的应用比重不断加大。随着科技的迅速发展，无人机的使用已越来越广，农业相关的基础设施也在不断地改进，喷药无人机采用智能操控使用喷药无人机代替人工传统喷药设备来喷洒农药,大大减少了农业生产对劳动力的需求。小型无人机喷药具有地形适应性好、喷洒效果好、施药效率高、易操作等优点。无人机喷药多数为低量超地量喷洒，且操作人员远离施药区域，减少了农药中毒风险，无人机旋翼产生的向下气流还有助于增加雾流对作物的穿透性。

日本是最早将微小型农用无人机用于农业生产的国家之一。1987年，Yamaha公司受日本农业部委托，生产出第一台农用无人机——20kg级喷药无人机“R-50”，之后日本将无人机直升机广泛应用于大田作物。经过20多年的发展，日本已经从1995年的307架增加到现在的2400多架，操作人员14000多人，成为世界上农用无人机喷药第一大国。

美国是农业航空应用技术最成熟的国家之一，经历了由有人驾驶直升机植保技术向无人机植保技术的发展过程，现已形成较完善的农业航空产业体系。据统计，美国目前农用飞机达9000多架，占世界总拥有量的28％，农业航空对农业的直接贡献率为15％以上。

除日本、美国之外，俄罗斯、韩国等国家也将植保无人机广泛应用于农业。俄罗斯地广人稀，拥有数目庞大的农用飞机作业队伍，数量高达1.1万架，年处理耕地面积约占总耕地面积的35％以上。韩国于2003年首次引进无人直升机用于农业航空作业。其后农用无人机数量以及农业航空作业面积都在逐年增加，韩国的农林水产食品部和农协中央会计划以后每年增加100架。

20世纪50年代，我国开始开展航空施药技术的研究和应用，2004年由科技部863计划、农业部南京农机化所等开始对无人机植保进行研究和推广；2007年我国第一架工程型植保无人直升机的产业化探索；近两年全国范围内的推广试用。

近年来随着民用无人机的发展，植保无人机也开始“飞”入寻常百姓家。根据相关人士称，随着土地流转规模的扩大，我国植保无人机产业存在着千亿元的潜在市场。虽然国内植保无人机发展前景可观，但目前发展仍面临着诸多障碍。

目前的旋翼无人机空中喷药通常由人工操作，不够智能化，无法针对田块不同区域的病害情况进行精细化的变量喷药，造成药液浪费，影响喷药的效果。

发明内容

本发明的目的为提供一种基于可见光热红外图像融合的无人机遥感喷药一体化方法，将热红外图像与可见光图像融合，可以包含更多的图像信息，提高病害判别的准确性，发挥多源信息融合的优势。

本发明的另一目的为提供一种基于可见光热红外图像融合的无人机遥感喷药一体化装置，该系统可用于实现上述无人机遥感喷药方法。

为了实现上述目的，本发明提供的基于可见光热红外图像融合的无人机遥感喷药一体化方法包括以下步骤：

1)设定飞行路线，使无人机按照设定的飞行路线飞行；

2)利用搭载在无人机上的可见光相机和热红外相机分别采集农田作物的可见光图像和热红外图像；

3)对可见光图像和热红外图像依次进行配准和融合，并提取出融合图像中的病斑轮廓和颜色特征信息；

4)根据融合图像中的病斑轮廓和颜色特征信息建立作物病害种类判别模型；

5)重复步骤1)至3)，根据作物病害种类判别模型对提取出的融合图像进行作物病害种类的判别；

6)根据作物病害种类控制不同药箱的开口阀门，进行喷药。

红外热成像技术是利用物体自身各部分对红外热辐射的差异把红外辐射图像转换为可视图像的技术，该技术可根据病害侵染作物叶片时，叶片表面温度会出现变化，从而判断作物是否发生病害，甚至可以对植物病害进行预测。可见光图像能更加直接的通过颜色反映植物的病害情况，热红外图像能通过叶面温度变化判断病害情况，如果能将可见光图像和热红外图像融合，提高油菜病害的判别准确率，实现更加精准的变量喷药。

上述技术方案中，将热红外图像与可见光图像融合，可以包含更多的图像信息，提高病害判别的准确性，发挥多源信息融合的优势。实现对病害的提前预测和实时防治，在保证治理农作物现有病害的同时，提早发现农作物存在的病害情况有助于在病害的萌芽时期遏制其扩散，可大大减小病害所造成的损失

具体的方案为步骤1)中的飞行路线设定为“几”字形。

另一个具体的方案为步骤2)中的可见光相机和热红外相机分别对无人机前方45°的农田作物进行图像采集。可以很好的避免低空飞行产生的风场带来的影响。

另一个具体的方案为步骤3)中对可见光图像和热红外图像进行配准的过程包括：

3-1)对热红外图像进行二值化处理，利用射线轮廓特征点提取的方法提取热红外图像特征点集A；并对可见光图像进行预处理得到作物的叶片边缘图像I_O；

3-2)待配准的可见光图像I_O和热红外图像I_IR的对应点间满足下式的变换关系：

其中，(x，y)为热红外图像I_IR的像素点坐标；(x₀，y₀)为可见光图像I_O中对应的配准点；s_x，s_y为不同坐标方向上的尺度变换因子；θ为I_O和I_IR之间的旋转变换因子；b_x，b_y为不同坐标方向上的平移变换因子；

改变变换尺度变换因子s_x，s_y，求出变换后的区域中心坐标(x_i，y_i)，根据热红外图像相同的间隔角度提取可见光图像特征点集B；

3-3)对热红外图像特征点集A和可见光图像特征点集B进行最大最小距离计算，并取前k个求和，得到求和结果最小的变换尺度因子，完成可见光和热红外图像配准。

图像配准的过程即确定最佳平移因子、选择因子和尺度因子。

步骤3-1)中采用射线轮廓特征点提取方法进行特征点提取，具体方式为确定作物轮廓质点，以质点为原点做间隔θ角度的射线，将射线与轮廓的交点作为特征点。

更具体的方案为步骤3-2)待配准的可见光图像I_O和热红外图像I_IR的对应点间满足下式的变换关系：

其中，b₀为可见光相机和热红外相机中心点之间的水平距离，为确定值。

图像采集可以同时获得可见光、热红外图像，两个图像中心点在水平方向有微小的偏移，竖直方向相同且无旋转，因此可以简化成上述式子，配准过程仅需确定两个坐标方向最优的尺度变换因子，这降低了计算复杂度，同时参量的减少可以提高配准精度。

更具体的方案为步骤3)中对配准后的可见光图像和热红外图像进行融合的过程包括：

3-4)对热红外图像I_IR和可见光图像I_O分别进行J级L方向多尺度、多方向NSCT分解，得到两个图像不同尺度、方向上子带图像的NSCT系数，低频子带图像系数记为各级带通子带图像系数记为

3-5)按照低频子带图像系数融合规则和带通子带图像系数融合规则进行系数融合，得到融合图像的低频子带系数和带通子带系数

3-6)对进行NSCT逆变换，得到融合图像I_F。

经过NSCT分解进行油菜热红外和可见光图像的融合，NSCT可以在保证作物热红外图像中病斑与叶片差异优势的同时，又保留可见光图像中作物叶片病斑灰度分布较为一致的特征，以获取一个病斑轮廓特征明显的融合效果。根据融合图像的病斑大小轮廓以及颜色特征，对所采集数量足够的图像I_F建立作物病害种类判别模型，由于融合图像I_F与可见光图像、热红外图像相比较包含更多的信息，因此大大提升了判别模型的精度，为实现变量喷药奠定了基础。

另一个更具体的方案为可见光相机和热红外相机分别对无人机前方45°的农田作物进行图像采集，步骤3)还包括对倾斜拍摄的热红外和可见光图像进行几何校正。

为了实现上述另一目的，本发明提供的基于可见光热红外图像融合的无人机遥感喷药一体化装置包括：

无人机主体，底部设有三轴云台；

图像采集系统，包括设置在三轴云台上的可见光相机和热红外相机；

喷药系统，包括对称设置在无人机主体两侧的药箱以及从药箱引出的喷头；

处理器，设置在无人机主体中央，且电连接至图像采集系统和喷药系统，用于处理农田作物的可见光图像和热红外图像，生成作物病害种类判别模型，同时根据该模型进行作物病害种类的判别，并根据作物病害种类控制不同药箱的开口阀门，进行喷药。

通过将无人机采集的农作物病害情况图像直接上传至处理器进行处理，处理器能够快速处理可见光热红外融合图像并生成决策，进行变量喷药，实现喷药时间和图像采集至生成处方图时间一致，实现遥感喷药一体化的功能。

优选地，可见光相机和热红外相机的角度与水平面保持45°。可以很好的避免低空飞行产生的风场带来的影响。

优选地，喷头为静电离心式喷头。

与现有技术相比，本发明的有益效果为：

本发明的基于可见光热红外图像融合的无人机遥感喷药一体化方法及装置与传统的喷药方法或装置相比，不仅能够实现针对不同病虫害情况实现精细化变量喷药，同时可以实现遥感喷药一体化，大大提高喷药的效率。

附图说明

图1为本发明装置实施例的无人机的飞行路线；

图2为本发明装置实施例的无人机遥感喷药一体化装置的结构示意图；

图3为本发明装置实施例的药箱侧视图。

图中各附图标记为：1、无人机主体；2、可见光相机；3、热红外相机；4、药箱；5、喷头；6、喷杆；7、阀门。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。

装置实施例

参见图1至图3，本实施例的基于可见光热红外图像融合的无人机遥感喷药一体化装置包括无人机主体1、图像采集系统、喷药系统和处理器。无人机主体的底部设有三轴云台。

图像采集系统包括设置在三轴云台上的可见光相机2和热红外相机3。喷药系统包括对称设置在无人机主体两侧的药箱4以及从药箱4引出有喷杆6，并在喷杆6的端部设有喷头5。药箱4用隔板分隔为三个部分，每个部分放置针对不同病害的药液，并通过三个阀门7进行控制，如图3所示。处理器设置在无人机主体1的中央，且电连接至图像采集系统和喷药系统，用于处理农田作物的可见光图像和热红外图像，生成作物病害种类判别模型，同时根据该模型进行作物病害种类的判别，并根据作物病害种类控制不同药箱的开口阀门，进行喷药。

本实施例采用中型的旋翼无人机，喷杆6选用轻质铝合金材质，长1.5m，药箱4的载药量为6kg，满载情况下的飞行时间大约为10-15分钟。植保无人机在田块上方沿“几”字形路线飞行，如图1，无人机在纵向飞行的同时进行喷药和采集图像作业，每隔0.5s进行一次图像采集，横向飞行时调整无人机的位置，防止出现重喷和漏喷，根据喷杆6的长度和雾滴的覆盖面积，将纵向间隔设置为4m。喷药作业的高度控制在2m，作业速度控制在1m/s。

热红外相机3和可见光相机2搭载在同一个三轴云台上，并列安装在同一水平线上，保证两个相机拍摄的图像具有较高的一致性，云台可以通过三个无刷电机在水平、横滚、俯仰三个轴的调节对两个相机进行增稳，三轴云台位于无人机的正下方，两个相机的角度与水平面保持45°，可以获取前方2m的农作物图像信息。

在喷洒过程中，药箱4中的药液会一直减少，为了保证作业时无人机的整体重心处于中间位置，设置两个药箱于无人机的两侧，同时进行供给喷药，两个药箱的总载药量为6kg，每个药箱为3kg，单个药箱用隔板分隔为三个部分，每个部分放置针对不同病害的药液。喷杆6也位于无人机的中间位置，位于喷杆6末端的喷头5为静电离心式喷头，两个喷头的总覆盖宽度为4m。

在开始作业时(满载状态)，药箱4的重量为5kg，三轴云台和相机的总重量为8kg，要保证两者互不干扰，因此将三轴云台和中心的距离设置为0.5m，将药箱4和中心的距离设置为0.8m，在喷洒过程中，调节药箱的位置，使重心保持平衡。

可见光相机2和热红外相机3在获得图像之后将图像传输至处理器直接进行处理，在满足图像运算要求的情况下，减小了传输过程中可能存在的数据丢失可能性，同时节省了传输所需的时间。

本实施例的作物为油菜。

首先，对倾斜拍摄的热红外图像和可见光图像进行几何校正；随后，需要对相同场景下的可见光图像和热红外图像进行配准，通常情况下待配准的可见光图像I_O和热红外图像I_IR的对应点间满足下式的变换关系：

其中，(x，y)为热红外图像I_IR的一点像素坐标；(x₀，y₀)为可见光图像I_O中对应的配准点；s_x，s_y为不同坐标方向上的尺度变换因子；θ为I_O和I_IR之间的旋转变换因子；b_x，b_y为不同坐标方向上的平移变换因子；图像配准的过程即确定最佳平移因子、选择因子和尺度因子。

图像采集系统可以同时获得可见光图像和热红外图像，两个图像中心点在水平方向有微小的偏移，竖直方向相同且无旋转，因此上式可以简化为：

其中b₀为可见光相机和热红外相机中心点之间的水平距离，为确定值。因此，配准过程仅需确定两个坐标方向最优的尺度变换因子，这降低了计算复杂度，同时参量的减少可以提高配准精度。

关于如何确定像素坐标和配准点坐标，需要提取可见光图像和热红外图像的特征点，本实施例采用射线轮廓特征点提取方法进行特征点提取，具体方式为确定油菜轮廓质点，以质点为原点做间隔θ角度的射线，将射线与轮廓的交点作为特征点。

整个配准过程是：首先，进行热红外图像二值化，计算区域中心利用射线轮廓特征点提取方法提取热红外图像特征点集A；其次，对可见光图像进行预处理得到叶片边缘图像I_O；随后，不断改变变换尺度因子s_x，s_y，求出变换后的区域中心坐标(x_i，y_i)，根据热红外图像相同的间隔角度提取可见光图像特征点集B；最后，进行A和B点集的最大最小距离计算(Hausdorff距离)并取前k个求和，得到求和结果最小的变换尺度因子，完成可见光和热红外图像配准。

完成配准后经过NSCT分解进行油菜热红外图像和可见光图像的融合，NSCT可以在保证油菜热红外图像中油菜病斑与油菜叶片差异优势的同时，又保留可见光图像中油菜叶片病斑灰度分布较为一致的特征，以获取一个病斑轮廓特征明显的融合效果。

热红外图像I_IR和可见光图像I_O的整个融合过程为：首先，对热红外图像I_IR和可见光图像I_O分别进行J级L方向多尺度、多方向NSCT分解，得到两个图像不同尺度、方向上子带图像的NSCT系数，低频子带图像系数记为各级带通子带图像系数记为 随后，按照低频子带系数融合规则和带通子带系数融合规则进行系数融合，得到融合图像的低频子带系数和带通子带系数最后，对进行NSCT逆变换，得到融合图像_IF。

根据融合图像的病斑大小轮廓以及颜色特征，对所采集数量足够的图像I_F进行油菜病害种类判别模型建立(油菜菌核病、油菜白锈病、油菜霜霉病)，由于融合图像I_F与可见光图像、热红外图像相比较包含更多的信息，因此大大提升了判别模型的精度，为实现变量喷药奠定了基础。

另外，可以通过混淆矩阵和支持向量机进行种类判别模型精度的提高。得到病害种类判别模型之后，利用模型对输入的可见光和热红外图像生成判别结果，处理器将判别结果转换为药箱阀门的控制命令，实现变量喷药。

方法实施例

本实施例的基于可见光热红外图像融合的无人机遥感喷药一体化方法包括以下步骤：

S1设定飞行路线，使无人机按照设定的飞行路线飞行，飞行路线设定为“几”字形。

S2利用搭载在无人机上的可见光相机和热红外相机分别对无人机前方45°的农田，采集农田作物的可见光图像和热红外图像，并将图像传输给处理器。

S3对倾斜拍摄的热红外和可见光图像进行几何校正，对可见光图像和热红外图像依次进行配准和融合，并提取出融合图像中的病斑轮廓和颜色特征信息；

S301对热红外图像进行二值化处理，利用射线轮廓特征点提取的方法提取热红外图像特征点集A；并对可见光图像进行预处理得到作物的叶片边缘图像I_O；

S302待配准的可见光图像I_O和热红外图像I_IR的对应点间满足下式的变换关系：

其中，(x，y)为热红外图像I_IR的像素点坐标；(x₀，y₀)为可见光图像I_O中对应的配准点；s_x，s_y为不同坐标方向上的尺度变换因子；θ为I_O和I_IR之间的旋转变换因子；b_x，b_y为不同坐标方向上的平移变换因子；

针对本实施例，图像采集系统可以同时获得可见光、热红外图像，两个图像中心点在水平方向有微小的偏移，竖直方向相同且无旋转，因此上式可以简化为：

其中b₀为可见光相机和热红外相机中心点之间的水平距离，为确定值；

改变变换尺度变换因子s_x，s_y，求出变换后的区域中心坐标(x_i，y_i)，根据热红外图像相同的间隔角度提取可见光图像特征点集B；

S303对热红外图像特征点集A和可见光图像特征点集B进行最大最小距离计算，并取前k个求和，得到求和结果最小的变换尺度因子，完成可见光和热红外图像配准；

S304对热红外图像I_IR和可见光图像I_O分别进行J级L方向多尺度、多方向NSCT分解，得到两个图像不同尺度、方向上子带图像的NSCT系数，低频子带图像系数记为各级带通子带图像系数记为

S305按照低频子带图像系数融合规则和带通子带图像系数融合规则进行系数融合，得到融合图像的低频子带系数和带通子带系数

S306对进行NSCT逆变换，得到融合图像I_F。

S4根据融合图像中的病斑轮廓和颜色特征信息建立作物病害种类判别模型；

S5重复步骤S1至S3，根据作物病害种类判别模型对提取出的融合图像进行作物病害种类的判别；

S6处理器根据作物病害种类控制不同药箱的开口阀门，进行喷药。

Claims (10)

1.一种基于可见光热红外图像融合的无人机遥感喷药一体化方法，其特征在于，包括以下步骤：

1)设定飞行路线，使无人机按照设定的飞行路线飞行；

2)利用搭载在无人机上的可见光相机和热红外相机分别采集农田作物的可见光图像和热红外图像；

3)对可见光图像和热红外图像依次进行配准和融合，并提取出融合图像中的病斑轮廓和颜色特征信息；

4)根据融合图像中的病斑轮廓和颜色特征信息建立作物病害种类判别模型；

5)重复步骤1)至3)，根据作物病害种类判别模型对提取出的融合图像进行作物病害种类的判别；

6)根据作物病害种类控制不同药箱的开口阀门，进行喷药。

2.根据权利要求1所述的无人机遥感喷药一体化方法，其特征在于：

步骤1)中所述的飞行路线设定为“几”字形。

3.根据权利要求1所述的无人机遥感喷药一体化方法，其特征在于：

步骤2)中所述的可见光相机和热红外相机分别对无人机前方45°的农田作物进行图像采集。

4.根据权利要求1所述的无人机遥感喷药一体化方法，其特征在于，步骤3)中对可见光图像和热红外图像进行配准的过程包括：

3-1)对热红外图像进行二值化处理，利用射线轮廓特征点提取的方法提取热红外图像特征点集A；并对可见光图像进行预处理得到作物的叶片边缘图像I_O；

3-2)待配准的可见光图像I_O和热红外图像I_IR的对应点间满足下式的变换关系：

其中，(x,y)为热红外图像I_IR的像素点坐标；(x₀,y₀)为可见光图像I_O中对应的配准点；s_x，s_y为不同坐标方向上的尺度变换因子；θ为I_O和I_IR之间的旋转变换因子；b_x，b_y为不同坐标方向上的平移变换因子；

改变变换尺度变换因子s_x，s_y，求出变换后的区域中心坐标(x_i,y_i)，根据热红外图像相同的间隔角度提取可见光图像特征点集B；

3-3)对热红外图像特征点集A和可见光图像特征点集B进行最大最小距离计算，并取前k个求和，得到求和结果最小的变换尺度因子，完成可见光和热红外图像配准。

5.根据权利要求4所述的无人机遥感喷药一体化方法，其特征在于，步骤3-2)待配准的可见光图像I_O和热红外图像I_IR的对应点间满足下式的变换关系：

其中，b₀为可见光相机和热红外相机中心点之间的水平距离，为确定值。

6.根据权利要求5所述的无人机遥感喷药一体化方法，其特征在于，步骤3)中对配准后的可见光图像和热红外图像进行融合的过程包括：

3-4)对热红外图像I_IR和可见光图像I_O分别进行J级L方向多尺度、多方向NSCT分解，得到两个图像不同尺度、方向上子带图像的NSCT系数，低频子带图像系数记为各级带通子带图像系数记为

3-5)按照低频子带图像系数融合规则和带通子带图像系数融合规则进行系数融合，得到融合图像的低频子带系数和带通子带系数

3-6)对进行NSCT逆变换，得到融合图像I_F。

7.根据权利要求4所述的无人机遥感喷药一体化方法，其特征在于：

所述的可见光相机和热红外相机分别对无人机前方45°的农田作物进行图像采集，步骤3)还包括对倾斜拍摄的热红外和可见光图像进行几何校正。

8.一种基于可见光热红外图像融合的无人机遥感喷药一体化装置，其特征在于，包括：

无人机主体，底部设有三轴云台；

图像采集系统，包括设置在所述三轴云台上的可见光相机和热红外相机；

喷药系统，包括对称设置在所述无人机主体两侧的药箱以及从所述药箱引出的喷头；

处理器，设置在所述无人机主体中央，且电连接至所述图像采集系统和喷药系统，用于处理农田作物的可见光图像和热红外图像，生成作物病害种类判别模型，同时根据该模型进行作物病害种类的判别，并根据作物病害种类控制不同药箱的开口阀门，进行喷药。

9.根据权利要求8所述的无人机遥感喷药一体化装置，其特征在于：

所述的可见光相机和热红外相机的角度与水平面保持45°。

10.根据权利要求8所述的无人机遥感喷药一体化装置，其特征在于：

所述的喷头为静电离心式喷头。