CN109285141B - 一种植保无人机喷施效果的实时检测方法 - Google Patents
一种植保无人机喷施效果的实时检测方法 Download PDFInfo
- Publication number
- CN109285141B CN109285141B CN201810847312.4A CN201810847312A CN109285141B CN 109285141 B CN109285141 B CN 109285141B CN 201810847312 A CN201810847312 A CN 201810847312A CN 109285141 B CN109285141 B CN 109285141B
- Authority
- CN
- China
- Prior art keywords
- image
- spraying
- infrared
- target
- temperature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005507 spraying Methods 0.000 title claims abstract description 172
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000000694 effects Effects 0.000 title claims abstract description 24
- 238000011897 real-time detection Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 239000007921 spray Substances 0.000 claims abstract description 9
- 239000003814 drug Substances 0.000 claims description 52
- 238000001931 thermography Methods 0.000 claims description 32
- 238000012937 correction Methods 0.000 claims description 23
- 239000000575 pesticide Substances 0.000 claims description 22
- 230000007613 environmental effect Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 15
- 239000003795 chemical substances by application Substances 0.000 claims description 13
- 229940079593 drug Drugs 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000007499 fusion processing Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 239000000126 substance Substances 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000007788 liquid Substances 0.000 description 15
- 230000005855 radiation Effects 0.000 description 12
- 230000009466 transformation Effects 0.000 description 12
- 238000009499 grossing Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 229910052704 radon Inorganic materials 0.000 description 2
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000000889 atomisation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000002420 orchard Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Radiation Pyrometers (AREA)
Abstract
本发明涉及植保喷施检测领域，尤其涉及一种植保无人机喷施效果的实时检测方法，所述无人机上设有机器视觉摄像装置及红外热成像摄像装置，包括预先将药剂进行调温处理，使药剂施药区域与未施药区域形成温差，采集喷施目标的可见光图像和红外图像，通过图像处理，分别获得喷施目标的总面积St和施药区域的总面积Sc，从而获得药剂覆盖喷施目标的占比Sc/St。该检测方法可实现实时检测，具有检测准确度高、图像采集和处理速度快、检测耗时短等特点。
Description
技术领域
本发明涉及植保喷施检测领域，尤其涉及一种植保无人机喷施效果的实时检测方法。
背景技术
目前，植保无人机药液喷施效果的检测方法主要有两种：其一是机载机器视觉检测方法，该方法采用无人机搭载工业摄像头的方案，拍摄药液从植保无人机上雾化喷出后在空中自由散落到雾化液滴击中目标或地面的全过程，从中提取雾化后雾滴群的空中飞行轨迹，预测与判断喷施药液的到达区域。该检测方法由于无法克服喷施药液雾化微滴粒径太小、药液为无色透明液体和喷雾击中喷施目标后立刻消失等问题，导致其无法准确检测到药液雾化后的散落情况，检测误差极大，对药液施药区域的检测更无从谈起。
其二是铺垫湿敏纸的方法，在喷施目标上铺垫湿敏纸的方法，虽然可以用于分析喷施药液雾化后击中目标的雾滴散落情况，但该方法是一种间接检测方法，所以无法返回其在线检测结果，且检测耗时长。
而因现有植保无人机药液喷施控制方法中缺少对其喷施效果的实时检测这项技术环节，植保无人机药液喷施控制方法被迫以开环控制为主，只能采用连续不间断喷施的单一喷施方案。这种方案虽然能适应平原、田间的药液喷施需求，但对于丘陵山地果园中果树的药液喷施作业，由于开环控制对靶精准喷施效果差的原因，就会造成极大的药液浪费、环境污染与低效喷施等问题。
发明内容
本发明的目的在于克服现有技术中的至少一点不足，提供一种检测准确度高、检测耗时短的植保无人机喷施效果的实时检测方法。
为实现上述目的，本发明采用的技术方案是：
提供一种植保无人机喷施效果的实时检测方法，所述无人机上设有机器视觉摄像装置及红外热成像摄像装置，包括以下步骤：
S1：对药剂进行调温处理，使药剂的温度在喷施目标承受能力之内，并使药剂的温度与喷施目标的温度形成温差，且该温差大于红外热成像摄像装置的热分辨率，再将经调温处理的药剂放置于无人机上；
S2：通过无人机上的喷施装置将调温处理的药剂喷施于喷施目标上，喷施目标的施药区域与未施药区域将形成温差；喷施装置为喷嘴；
S3：在喷施过程中，机器视觉摄像装置采集喷施目标的可见光图像，同时，红外热成像摄像装置采集喷施目标的红外图像，对可见光图像和红外图像进行图像配准和融合处理，以获取融合后的图像；对可见光图像或融合后的图像进行处理以获取喷施目标的冠层轮廓，并计算出喷施目标的总面积St；对融合后的图像进行处理并分析融合后的图像上的温度场变化，判断出施药区域，经检测和计算得到施药区域的总面积Sc，从而得出药剂覆盖喷施目标的占比为Sc/St。
自然界中一切温度高于绝对零度的物体都能不断地辐射红外线（即热辐射），这类红外线是一种人眼不可见的光波，不同温度的物体发出的红外辐射强度不同，从而红外辐射波长也不同，由于施药区域与未施药区域存在明显的温差，则施药区域与未施药区域的红外辐射强度不同，发出的红外辐射波长不同，通过红外热成像摄像装置的红外探测器能探测到施药区域与未施药区域的温差变化带来的红外辐射光波变化，再经热成像形成实时的热轮廓及热分布图（既红外图像），实现喷施效果的实时监控和检测。
红外图像虽能直观得到整颗喷施目标的温度信息，但红外图像信噪比低、无彩色信息、且缺少层次感，只有喷施目标的大致轮廓，无法对其进行详细的辨识，可见光图像的光谱信息丰富，对比度相对较高，包含丰富的细节信息，但在黑暗背景下不易观察，因此对可见光图像和红外图像进行图像配准和融合处理，融合后图像的可识别度和温度分布的清晰度得到提高，有利于图像分析。对药剂进行调温处理，使药剂的温度与喷施目标的温度形成温差，药剂的温度应在喷施目标承受能力之内，以免药剂温度过高或过低而影响喷施目标的正常生长，此外，药剂与喷施目标的温差应大于红外热成像摄像装置的热分辨率，避免因温差过小而使红外探测器无法探测到药剂与喷施目标的温差，调温后，将药剂放置于无人机上，当无人机飞至喷施目标上空后，再通过喷施装置将调温的药剂喷施于喷施目标上，完成喷施后，由于调温的药剂与喷施目标存在较大温差，喷施目标的施药区域的温度将明显区别于未施药区域的温度。
红外热成像摄像装置的温敏度高，能探测出极细微的温度变化，且该装置不受天气、地势等环境因素的影响，故能精确检测出药剂覆盖喷施目标的占比及喷施装置的喷施误差等喷施效果信息，且机器视觉摄像装置与红外热成像摄像装置的图像采集和处理速度快，不仅能实时监控和检测，而且检测耗时也较短。
优选地，在所述步骤S3之前，还包括经标定方法获取机器视觉摄像装置的内参和外参，并根据内参和外参对机器视觉摄像装置采集的可见光图像进行畸变校正的步骤。通过标定方法获取机器视觉摄像装置的焦距、图像中心、畸变系数等内参和旋转矩阵与平移矩阵等外参，对机器视觉摄像装置进行标定，再通过标定结果对采集的可见光图像进行畸变校正。由于可见光图像在生成和传递过程中，易出现偏色、模糊、几何失真、几何倾斜等不同程度的畸变，通过对可见光图像进行畸变校正，能获取更清晰、更真实的可见光图像。标定方法可选用棋盘格标定方法。
优选地，所述步骤S3中，在对可见光图像和红外图像进行图像配准和融合处理之前，先对采集到的红外图像进行环境干扰校正处理，消除环境因素对红外图像的干扰。无人机在飞行和喷施过程中，环境因素的干扰，导致采集的红外图像不清晰，所以需对采集的红外图像进行预处理，消除环境因素的影响。
进一步优选地，所述步骤S3中，环境干扰校正处理包括对红外图像采用小波变换的多尺度分解获取高频部分及低频部分，并对高频部分进行滤波处理，对低频部分进行校正处理。起伏背景下红外图像不可避免地受到人为干扰、探测器低频扫描噪声和高频探测噪声的影响，导致所获取的红外图像受到较为严重的噪声污染，同时，由于探测器距离目标较远，成像图像上目标与背景的灰度差较小，图像的信噪比较低，对目标的检测存在一定的难度，因此，需要对采集的红外图像进行必要的噪声平滑和背景杂波抑制处理。常规的噪声平滑方法主要有均值滤波法、中值滤波法和空间匹配滤波法，这些方法均能有效滤除噪声的同时也使得目标的信息受到一定程度的损失，因此，在选择噪声平滑方法时需要在消除噪声和增强目标特征两者之间进行兼顾选择，优选地，可通过对小波变换获取的高频部分进行局部重叠参考变换的中值滤波处理，消除一般噪声与运动噪声，对小波变换获取的低频部分，采用基于动态参考温度场的非均匀性校正方法，实现低频校正，有效去除环境温度对红外成像的影响。
进一步优选地，所述步骤S3中，环境干扰校正处理还包括抖动补偿处理。无人机飞行过程中，红外热成像摄像装置易产生抖动而使采集的红外图像模糊，所以需对采集的红外图像进行抖动补偿处理，即采用二维傅立叶变换对拍摄过程中的抖动而形成的模糊图像进行处理，对得到的结果进行归一化和二值化变换，并结合模糊图像实际情况，采用基于Radon变换的极大值(MRT)算法估算出抖动模糊的方向，最终得到清晰的红外图像。
优选地，所述步骤S3中，分别对红外图像与可见光图像进行SIFT特征提取，在不同的特征空间上查找关键点，利用关键点匹配得到红外图像与可见光图像的匹配点对准，从而获取每个红外局部图像与可见光图像的旋转与平移矩阵参数，然后对红外图像与可见光图像进行图像融合，对融合后的图像进行温度阈值分割，对阈值分割的像素个数进行计算，对应得出施药区域的面积Sc，从而得到药剂覆盖喷施目标的占比Sc/St。SIFT特征是图像的局部特征，有如下优点：其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；多量性，即使少数的几个物体也可以产生大量的SIFT特征向量；因此使用SIFT特征进行图像配准能够保证配准精度。
优选地，所述步骤S3中，关于喷施目标的冠层轮廓的获取方式有两种方案。
第一种方案：对融合后的图像进行二值化处理，以获取喷施目标的冠层轮廓，计算出喷施目标的总面积St。
第二种方案：对可见光图像进行Canny边缘检测处理，以喷施目标的绿色分量为统计参考量，计算多尺度Harris角点，以获取喷施目标的冠层轮廓。通过Canny边缘检测处理，精准确定可见光图像边缘的位置，再以喷施目标的绿色分量为统计分量，采用多尺度Harris角点提取方法，获得喷施目标的冠层轮廓。Harris角点提取方法不受摄像机姿态及光照的影响，能在较大尺度下可靠地消除误检，检测出真正的角点，准确获得喷施目标的冠层轮廓，计算出喷施目标的总面积St。
与现有技术相比，本发明技术方案的有益效果是：该检测方法预先将药剂进行调温处理，使药剂施药区域与未施药区域形成温差，再采集喷施目标的可见光图像和红外图像，通过图像处理，获得药剂覆盖喷施目标的占比Sc/St，可实现药剂喷施效果的实施监控；同时，红外热成像摄像装置的温敏度高，能探测出极细微的温度变化，且该装置不受天气、地势等环境因素的影响，故能精确检测出药剂覆盖喷施目标的占比及喷施装置的喷施误差等喷施效果信息，此外，机器视觉摄像装置与红外热成像摄像装置的图像采集和处理速度快，检测耗时也较短。
附图说明
图1为本发明所述药剂喷施示意图；
图2为本发明所述喷施目标上的药剂分布示意图；
附图标号说明：1无人机；2喷施装置；3红外热成像摄像装置；4机器视觉摄像装置；5药剂；6喷施目标；7未施药区域；8施药区域。
具体实施方式
为了更好地理解本发明，下面结合实施例进一步阐明本发明的内容，但本发明不仅仅局限于下面的实施例。
实施例1
一种植保无人机1喷施效果的实时检测方法，如图1、2所述，所述无人机1上设有机器视觉摄像装置4及红外热成像摄像装置3，包括以下步骤：
S1：对药剂5进行调温处理，使药剂5的温度在喷施目标6承受能力之内，并使药剂5的温度与喷施目标6的温度形成温差，且该温差大于红外热成像摄像装置3的热分辨率，再将经调温处理的药剂5放置于无人机1上；
S2：通过无人机1上的喷施装置2将调温处理的药剂5喷施于喷施目标6上，喷施目标6的施药区域8与未施药区域7将形成温差；喷施装置为喷嘴；
S3：在喷施过程中，机器视觉摄像装置4采集喷施目标6的可见光图像，同时，红外热成像摄像装置3采集喷施目标6的红外图像，对可见光图像和红外图像进行图像配准和融合处理，以获取融合后的图像；对可见光图像或融合后的图像进行处理以获取喷施目标6的冠层轮廓，并计算出喷施目标6的总面积St；对融合后的图像进行处理并分析融合后的图像上的温度场变化，判断出施药区域8，经检测和计算得到施药区域8的总面积Sc，从而得出药剂5覆盖喷施目标6的占比为Sc/St。
自然界中一切温度高于绝对零度的物体都能不断地辐射红外线（即热辐射），这类红外线是一种人眼不可见的光波，不同温度的物体发出的红外辐射强度不同，从而红外辐射波长也不同，由于施药区域8与未施药区域7存在明显的温差，则施药区域8与未施药区域7的红外辐射强度不同，发出的红外辐射波长不同，通过红外热成像摄像装置3的红外探测器能探测到施药区域8与未施药区域7的温差变化带来的红外辐射光波变化，再经热成像形成实时的热轮廓及热分布图（既红外图像），实现喷施效果的实时监控和检测。
红外图像虽能直观得到整颗喷施目标6的温度信息，但红外图像信噪比低、无彩色信息、且缺少层次感，只有喷施目标6的大致轮廓，无法对其进行详细的辨识，可见光图像的光谱信息丰富，对比度相对较高，包含丰富的细节信息，但在黑暗背景下不易观察，因此对可见光图像和红外图像进行图像配准和融合处理，融合后图像的可识别度和温度分布的清晰度得到提高，有利于图像分析。
对药剂5进行调温处理，使药剂5的温度与喷施目标6的温度形成温差，药剂5的温度应在喷施目标6承受能力之内，以免药剂5温度过高或过低而影响喷施目标6的正常生长，此外，药剂5与喷施目标6的温差应大于红外热成像摄像装置3的热分辨率，避免因温差过小而使红外探测器无法探测到药剂5与喷施目标6的温差，调温后，将药剂5放置于无人机1上，当无人机1飞至喷施目标6上空后，再通过喷施装置2将调温的药剂5喷施于喷施目标6上，完成喷施后，由于调温的药剂5与喷施目标6存在较大温差，喷施目标6的施药区域8的温度将明显区别于未施药区域7的温度。
红外热成像摄像装置3的温敏度高，能探测出极细微的温度变化，且该装置不受天气、地势等环境因素的影响，故能精确检测出药剂5覆盖喷施目标6的占比及喷施装置2的喷施误差等喷施效果信息，且机器视觉摄像装置4与红外热成像摄像装置3的图像采集和处理速度快，不仅能实时监控和检测，而且检测耗时也较短。
其中，在所述步骤S3之前，还包括经标定方法获取机器视觉摄像装置4的内参和外参，并根据内参和外参对机器视觉摄像装置4采集的可见光图像进行畸变校正的步骤。通过标定方法获取机器视觉摄像装置4的焦距、图像中心、畸变系数等内参和旋转矩阵与平移矩阵等外参，对机器视觉摄像装置4进行标定，再通过标定结果对采集的可见光图像进行畸变校正。由于可见光图像在生成和传递过程中，易出现偏色、模糊、几何失真、几何倾斜等不同程度的畸变，通过对可见光图像进行畸变校正，能获取更清晰、更真实的可见光图像。标定方法可选用棋盘格标定方法。
其中，所述步骤S3中，在对可见光图像和红外图像进行图像配准和融合处理之前，先对采集到的红外图像进行环境干扰校正处理，消除环境因素对红外图像的干扰。无人机1在飞行和喷施过程中，环境因素的干扰，导致采集的红外图像不清晰，所以需对采集的红外图像进行预处理，消除环境因素的影响。
具体地，所述步骤S3中，环境干扰校正处理包括对红外图像采用小波变换的多尺度分解获取高频部分及低频部分，并对高频部分进行滤波处理，对低频部分进行校正处理。起伏背景下红外图像不可避免地受到人为干扰、探测器低频扫描噪声和高频探测噪声的影响，导致所获取的红外图像受到较为严重的噪声污染，同时，由于探测器距离目标较远，成像图像上目标与背景的灰度差较小，图像的信噪比较低，对目标的检测存在一定的难度，因此，需要对采集的红外图像进行必要的噪声平滑和背景杂波抑制处理。常规的噪声平滑方法主要有均值滤波法、中值滤波法和空间匹配滤波法，这些方法均能有效滤除噪声的同时也使得目标的信息受到一定程度的损失，因此，在选择噪声平滑方法时需要在消除噪声和增强目标特征两者之间进行兼顾选择，优选地，可通过对小波变换获取的高频部分进行局部重叠参考变换的中值滤波处理，消除一般噪声与运动噪声，对小波变换获取的低频部分，采用基于动态参考温度场的非均匀性校正方法，实现低频校正，有效去除环境温度对红外成像的影响。
具体地，所述步骤S3中，环境干扰校正处理还包括抖动补偿处理。无人机1飞行过程中，红外热成像摄像装置3易产生抖动而使采集的红外图像模糊，所以需对采集的红外图像进行抖动补偿处理，即采用二维傅立叶变换对拍摄过程中的抖动而形成的模糊图像进行处理，对得到的结果进行归一化和二值化变换，并结合模糊图像实际情况，采用基于Radon变换的极大值(MRT)算法估算出抖动模糊的方向，最终得到清晰的红外图像。
其中，所述步骤S3中，分别对红外图像与可见光图像进行SIFT特征提取，在不同的特征空间上查找关键点，利用关键点匹配得到红外图像与可见光图像的匹配点对准，从而获取每个红外局部图像与可见光图像的旋转与平移矩阵参数，然后对红外图像与可见光图像进行图像融合，对融合后的图像进行温度阈值分割，对阈值分割的像素个数进行计算，对应得出施药区域8的面积Sc，从而得到药剂5覆盖喷施目标6的占比Sc/St。SIFT特征是图像的局部特征，有如下优点：其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；多量性，即使少数的几个物体也可以产生大量的SIFT特征向量；因此使用SIFT特征进行图像配准能够保证配准精度。其中，所述步骤S3中，关于喷施目标6的冠层轮廓的获取方式有两种方案。
第一种方案：对融合后的图像进行二值化处理，以获取喷施目标6的冠层轮廓，计算出喷施目标6的总面积St。
第二种方案：对可见光图像进行Canny边缘检测处理，以喷施目标6的绿色分量为统计参考量，计算多尺度Harris角点，以获取喷施目标6的冠层轮廓。通过Canny边缘检测处理，精准确定可见光图像边缘的位置，再以喷施目标6的绿色分量为统计分量，采用多尺度Harris角点提取方法，获得喷施目标6的冠层轮廓。Harris角点提取方法不受摄像机姿态及光照的影响，能在较大尺度下可靠地消除误检，检测出真正的角点，准确获得喷施目标6的冠层轮廓，计算出喷施目标6的总面积St。本发明优选第二种方案以获取喷施目标6的冠层轮廓，从而计算出喷施目标6的总面积St。
实施前，先对机器视觉摄像装置4进行标定，再对药剂5进行调温处理，既使药剂5的温度与喷施目标6的温差大于红外热成像摄像装置3的热分辨率，又使药剂5的温度在喷施目标6的承受能力之内，然后，将调温处理的药剂5放置于无人机1上，通过无人机1上的喷施装置2将药剂5喷施在喷施目标6上，喷施过程中，机器视觉摄像装置4采集喷施目标6的可见光图像，并通过Canny边缘检测处理，确定可见光图像边缘的位置，再以喷施目标6的绿色分量为统计分量，采用多尺度Harris角点提取方法，获得喷施目标6的冠层轮廓，并计算出喷施目标6的总面积St，与此同时，红外热成像摄像装置3采集喷施目标6的红外图像，并对红外图像采用小波变换的多尺度分解获取高频部分及低频部分，对高频部分进行滤波处理，对低频部分进行校正处理，并对采集的红外图像进行抖动补偿处理，消除环境因素的影响，然后，分别对红外图像与可见光图像进行SIFT特征提取和匹配处理，从而获取每个红外局部图像与可见光图像的旋转与平移矩阵参数，然后对红外图像与可见光图像进行图像融合，对融合后的图像进行温度阈值分割，对阈值分割的像素个数进行计算，对应得出施药区域8的面积Sc，从而得到药剂5覆盖喷施目标6的占比Sc/St。该检测方法可实现药剂5喷施效果的实施监控，且红外热成像摄像装置3的温敏度高，能探测出极细微的温度变化，该装置不受天气、地势等环境因素的影响，能精确检测出药剂5覆盖喷施目标6的占比及喷施装置2的喷施误差等喷施效果信息，此外，机器视觉摄像装置4与红外热成像摄像装置3的图像采集和处理速度快，检测耗时短。
实施例2
本实施例的技术方案与实施例1基本相同，其区别在于，当喷施目标6与周围环境的温度差大于红外热成像摄像装置3的热分辨率时，仅通过无人机1上的红外热成像摄像装置3采集喷施目标6的红外图像，对采集的红外图像进行温度阈值分割，根据施药区域8与未施药区域7的温差，检测出施药区域8，对阈值分割的像素个数进行计算，对应得到施药区域8总面积Sc，与此同时，根据喷施目标6与环境的温差，检测出喷施目标6的冠层轮廓，对阈值分割的像素个数进行计算，对应得到喷施目标6总面积St，从而得出药剂5覆盖喷施目标6的占比为Sc/St。
当喷施目标6与周围环境的温度差大于红外热成像摄像装置3的热分辨率，可直接对采集的红外图像进行温度阈值分割，并根据喷施目标6与环境的温差检测出喷施目标6的冠层轮廓，对阈值分割的像素个数进行计算，对应得到喷施目标6总面积St；本实施例所述的检测方法没有采集喷施目标6的可见光图像，由于采集的红外图像无彩色信息、缺少层次感，所以难以对喷施目标6进行精确的辨识，检测精度不高，但耗时更短，是一种对喷施效果粗略、快捷的检测方法。
本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (8)
1.一种植保无人机喷施效果的实时检测方法，其特征在于，所述无人机（1）上设有机器视觉摄像装置（4）及红外热成像摄像装置（3），包括以下步骤：
S1：对药剂（5）进行调温处理，使药剂（5）的温度在喷施目标（6）承受能力之内，并使药剂（5）的温度与喷施目标（6）的温度形成温差，且该温差大于红外热成像摄像装置（3）的热分辨率，再将经调温处理的药剂（5）放置于无人机（1）上；
S2：通过无人机（1）上的喷施装置（2）将调温处理的药剂（5）喷施于喷施目标（6）上，喷施目标（6）的施药区域（8）与未施药区域（7）将形成温差；
S3：在喷施过程中，机器视觉摄像装置（4）采集喷施目标（6）的可见光图像，同时，红外热成像摄像装置（3）采集喷施目标（6）的红外图像，对可见光图像和红外图像进行图像配准和融合处理，以获取融合后的图像；对可见光图像或融合后的图像进行处理以获取喷施目标（6）的冠层轮廓，并计算出喷施目标（6）的总面积St；对融合后的图像进行处理并分析融合后的图像上的温度场变化，判断出施药区域（8），经检测和计算得到施药区域（8）的总面积Sc，从而得出药剂（5）覆盖喷施目标（6）的占比为Sc/St。
2.根据权利要求1所述植保无人机喷施效果的实时检测方法，其特征在于，在所述步骤S3之前，还包括经标定方法获取机器视觉摄像装置（4）的内参和外参，并根据内参和外参对机器视觉摄像装置（4）采集的可见光图像进行畸变校正的步骤。
3.根据权利要求1所述的植保无人机喷施效果的实时检测方法，其特征在于，所述步骤S3中，在对可见光图像和红外图像进行图像配准和融合处理之前，先对采集到的红外图像进行环境干扰校正处理，消除环境因素对红外图像的干扰。
4.根据权利要求3所述植保无人机喷施效果的实时检测方法，其特征在于，所述步骤S3中，环境干扰校正处理包括对红外图像采用小波变换的多尺度分解获取高频部分及低频部分，并对高频部分进行滤波处理，对低频部分进行校正处理。
5.根据权利要求3所述植保无人机喷施效果的实时检测方法，其特征在于，所述步骤S3中，环境干扰校正处理还包括抖动补偿处理。
6.根据权利要求1所述植保无人机喷施效果的实时检测方法，其特征在于，所述步骤S3中，分别对红外图像与可见光图像进行SIFT特征提取，在不同的特征空间上查找关键点，利用关键点匹配得到红外图像与可见光图像的匹配点对准，从而获取每个红外局部图像与可见光图像的旋转与平移矩阵参数，然后对红外图像与可见光图像进行图像融合，对融合后的图像进行温度阈值分割，对阈值分割的像素个数进行计算，对应得出施药区域（8）的总面积Sc，从而得到药剂（5）覆盖喷施目标（6）的占比Sc/St。
7.根据权利要求6所述植保无人机喷施效果的实时检测方法，其特征在于，对融合后的图像进行二值化处理，以获取喷施目标（6）的冠层轮廓，计算出喷施目标（6）的总面积St。
8.根据权利要求1所述植保无人机喷施效果的实时检测方法，其特征在于，所述步骤S3中，对可见光图像进行Canny边缘检测处理，以喷施目标（6）的绿色分量为统计参考量，计算多尺度Harris角点，以获取喷施目标（6）的冠层轮廓，计算出喷施目标（6）的总面积St。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810847312.4A CN109285141B (zh) | 2018-07-27 | 2018-07-27 | 一种植保无人机喷施效果的实时检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810847312.4A CN109285141B (zh) | 2018-07-27 | 2018-07-27 | 一种植保无人机喷施效果的实时检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109285141A CN109285141A (zh) | 2019-01-29 |
| CN109285141B true CN109285141B (zh) | 2021-06-25 |
Family
ID=65182792
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810847312.4A Active CN109285141B (zh) | 2018-07-27 | 2018-07-27 | 一种植保无人机喷施效果的实时检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109285141B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494186B (zh) * | 2022-01-25 | 2022-11-08 | 国网吉林省电力有限公司电力科学研究院 | 一种高压输变电线路电气设备的故障检测方法 |
| CN115931415B (zh) * | 2023-02-22 | 2023-05-16 | 埃森农机常州有限公司 | 一种大豆玉米带状复合种植喷药植保机喷施效果测试装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102313688A (zh) * | 2011-07-25 | 2012-01-11 | 北京农业信息技术研究中心 | 航空施药中药雾分布与飘移趋势遥测系统及方法 |
| CN104615150A (zh) * | 2014-12-17 | 2015-05-13 | 中国科学院合肥物质科学研究院 | 一种基于机器视觉的自适应精准喷雾设备及方法 |
| CN107484745A (zh) * | 2017-09-04 | 2017-12-19 | 刘先余 | 一种农林业用无人机喷药系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9792557B2 (en) * | 2015-01-14 | 2017-10-17 | Accenture Global Services Limited | Precision agriculture system |
-
2018
- 2018-07-27 CN CN201810847312.4A patent/CN109285141B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102313688A (zh) * | 2011-07-25 | 2012-01-11 | 北京农业信息技术研究中心 | 航空施药中药雾分布与飘移趋势遥测系统及方法 |
| CN104615150A (zh) * | 2014-12-17 | 2015-05-13 | 中国科学院合肥物质科学研究院 | 一种基于机器视觉的自适应精准喷雾设备及方法 |
| CN107484745A (zh) * | 2017-09-04 | 2017-12-19 | 刘先余 | 一种农林业用无人机喷药系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109285141A (zh) | 2019-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109241837B (zh) | 一种植保无人机精准喷施控制方法 | |
| Tripathi et al. | Removal of rain from videos: a review | |
| CN109059869B (zh) | 一种检测植保无人机对果树喷施效果的方法 | |
| Rudol et al. | Human body detection and geolocalization for UAV search and rescue missions using color and thermal imagery | |
| CN110428008A (zh) | 一种基于多融合传感器的目标探测与识别装置和方法 | |
| WO2017080102A1 (zh) | 飞行装置、飞行控制系统及方法 | |
| CN107239748A (zh) | 基于棋盘格标定技术的机器人目标识别与定位方法 | |
| CN109285141B (zh) | 一种植保无人机喷施效果的实时检测方法 | |
| CN110232389A (zh) | 一种基于绿色作物特征提取不变性的立体视觉导航方法 | |
| US7609318B2 (en) | Imaging system utilizing spatial image oscillation | |
| CN111739031B (zh) | 一种基于深度信息的作物冠层分割方法 | |
| CN108592876A (zh) | 基于激光扫描成像原理的隧道外观病害检测机器人 | |
| US20230026811A1 (en) | System and method for removing haze from remote sensing images | |
| CN106530281A (zh) | 基于边缘特征的无人机图像模糊判断方法及系统 | |
| CN114764871B (zh) | 一种基于机载激光点云的城市建筑物属性提取方法 | |
| CN116805313B (zh) | 一种喷雾机喷头的缺陷检测方法 | |
| Sun et al. | Fusion of infrared and visible images for remote detection of low-altitude slow-speed small targets | |
| Steward et al. | Machine-vision weed density estimation for real-time, outdoor lighting conditions | |
| CN107341455B (zh) | 一种区域多特征的检测方法及检测装置 | |
| Miller et al. | Person tracking in UAV video | |
| Tsoulias et al. | An approach for monitoring temperature on fruit surface by means of thermal point cloud | |
| CN112613568B (zh) | 基于可见光及红外多光谱图像序列的目标识别方法和装置 | |
| CN110796677B (zh) | 一种基于多波段特性的卷云虚警源检测方法 | |
| Tian | Sensor-based precision chemical application systems | |
| CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |