CN114332629B - 基于高速视觉耦合轮廓特征提取的多农药雾滴撞击叶面延迟性的测量方法 - Google Patents
基于高速视觉耦合轮廓特征提取的多农药雾滴撞击叶面延迟性的测量方法 Download PDFInfo
- Publication number
- CN114332629B CN114332629B CN202210008903.9A CN202210008903A CN114332629B CN 114332629 B CN114332629 B CN 114332629B CN 202210008903 A CN202210008903 A CN 202210008903A CN 114332629 B CN114332629 B CN 114332629B
- Authority
- CN
- China
- Prior art keywords
- pesticide
- image
- leaf surface
- fogdrops
- impact
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000575 pesticide Substances 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000000605 extraction Methods 0.000 title claims abstract description 24
- 230000000007 visual effect Effects 0.000 title claims abstract description 20
- 230000008878 coupling Effects 0.000 title claims abstract description 16
- 238000010168 coupling process Methods 0.000 title claims abstract description 16
- 238000005859 coupling reaction Methods 0.000 title claims abstract description 16
- 239000007921 spray Substances 0.000 claims abstract description 20
- 238000005259 measurement Methods 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 239000003595 mist Substances 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 14
- 230000003116 impacting effect Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 229910052736 halogen Inorganic materials 0.000 claims description 5
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 claims description 5
- 229910052721 tungsten Inorganic materials 0.000 claims description 5
- 239000010937 tungsten Substances 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 150000002367 halogens Chemical class 0.000 claims description 4
- 238000010845 search algorithm Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000005507 spraying Methods 0.000 abstract description 9
- 230000001276 controlling effect Effects 0.000 abstract description 7
- 235000009024 Ceanothus sanguineus Nutrition 0.000 abstract description 2
- 240000003553 Leptospermum scoparium Species 0.000 abstract description 2
- 235000015459 Lycium barbarum Nutrition 0.000 abstract description 2
- 230000008021 deposition Effects 0.000 abstract description 2
- 238000009826 distribution Methods 0.000 abstract description 2
- 239000007788 liquid Substances 0.000 abstract description 2
- 238000004445 quantitative analysis Methods 0.000 abstract description 2
- 230000001105 regulatory effect Effects 0.000 abstract description 2
- 238000001228 spectrum Methods 0.000 abstract description 2
- 239000003814 drug Substances 0.000 abstract 1
- 241000196324 Embryophyta Species 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 244000269722 Thea sinensis Species 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 125000005843 halogen group Chemical group 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
基于高速视觉耦合轮廓特征提取的多农药雾滴撞击叶面延迟性的测量方法，包括以下步骤：搭建高速视觉捕捉系统、标定高速摄像机系统、采集雾滴撞击叶面图像、视频图像预处理、ROI区域选取、农药雾滴识别、农药雾滴轮廓提取、农药雾滴形心提取、农药雾滴跟踪计时，即可获得多农药雾滴撞击叶面延迟性。本发明为优化农药喷施参数，尤其为控制施药量、优化雾滴粒谱分布、调配药液含量提供定量的分析手段；所得测量结果对发展精准施药技术、提高茶树农药喷雾的沉积效率具有理论意义和应用价值。
Description
技术领域
本发明属于图像处理领域及视觉测量领域，具体涉及基于高速视觉耦合轮廓特征提取的多农药雾滴撞击叶面延迟性的测量方法。
背景技术
高速运动目标的检测和跟踪与人们的日常工作和生活息息相关，在智能医疗、工业质量检测、机器人跟踪导航、体育赛事、力学测试分析、智能交通、生物观察、影视特技及军事视觉制导等方面有着及其广泛的应用。运用高速视觉技术可以通过高速视觉传感器代替人眼获取目标的图像信息，由图像处理设备对获取的图像进行分析和处理，获取目标的颜色，纹理，轮廓，区域等图像特征，并利用图像特征对目标进行识别检测，运动分析等操作。其不与待测目标接触，因而可以保证无侵入的测量目标而不对目标产生任何附加的影响如表面损伤、质量增加等等，并且随着电子芯片技术和工艺的发展，视觉图像传感器分辨率和帧率的提高，基于高速视觉技术对运动目标跟踪检测的精度也越来越高。
目前，高速视觉技术在植物保护领域里具有广阔的应用前景，中国是世界上农药使用和生产的大国，由于在喷药过程中会发生雾滴飘移以及农药流失从而造成农药使用率的下降，进而威胁非靶标生物和环境质量。喷头是植保施药机械的关键部件，其性能的好坏直接决定农药喷雾的质量，喷头所需要的喷雾效果由农药雾滴撞击植物叶片产生效果所体现，因此研究喷头雾滴飞行与撞击植物叶面过程，有助于深入了解农药雾滴撞击植物叶面过程机理，对植保机械喷头优化设计，研发高效施药技术有重要的参考意义。然而农药喷雾过程中雾滴从喷头喷出到撞击植物叶片的过程持续时间极短，并且农药雾滴飞行与撞击叶面的过程是微观的，农药雾滴粒径处于亚毫米级。传统方法使用传感器进行目标检测跟踪，存在精度不高并且受限于检测目标大小的问题；如使用常规摄影方法，则无法捕捉分析农药雾滴飞行与撞击叶面的过程。
发明内容
本发明目的在于提供基于高速视觉耦合轮廓特征提取的多农药雾滴撞击叶面延迟性的测量方法，可以获取农药喷雾过程中多农药雾滴持续撞击舒茶早叶片的延迟时间。
基于高速视觉耦合轮廓特征提取的多农药雾滴撞击叶面延迟性的测量方法，包括以下步骤：
(1)搭建高速视觉捕捉系统：高速视觉捕捉系统包括图像采集装置、辅助照明设备、计算机处理系统，图像采集装置包括高速摄像机；
(2)标定高速摄像机系统：使用张氏标定法对摄相机参数进行标定，标定用来得到摄相机的内外参数和摄相机在空间坐标系中的相对位置关系，后期可以通过空间坐标转换将世界坐标系转换为像素坐标系获得雾滴实际运动的位移；
(3)采集雾滴撞击叶面图像：系统标定完成后，摆放并固定产生雾滴的喷头与受撞击的叶片，使得雾滴的飞行轨迹正好位于视场的中心，通过计算机系统控制高速摄像机采集多雾滴撞击叶面的过程，利用图像采集装置采集雾滴撞击叶面图像；
(4)视频图像预处理：采用高斯滤波算法对采集得到的雾滴撞击叶面图像去噪，然后对图像进行灰度化处理；
(5)ROI区域选取：将预处理之后的图像进行ROI区域选取，使用帧间差分算法搭配背景减除算法对采集的连续的两帧图像进行差分运算，获取差分后运动区域的位置变化，运动区域包括运动的雾滴、振动的叶片以及可能出现的其他运动物体；
(6)农药雾滴识别：使用基于模板的平均绝对值算法，对步骤(5)获取的运动区域中的农药雾滴进行识别，跟踪检测雾滴的飞行；
(7)农药雾滴轮廓提取：跟踪检测雾滴后，采用八邻域快速轮廓搜索算法对被识别农药雾滴的形状进行轮廓搜索，从而提取农药雾滴轮廓；
(8)农药雾滴形心提取：采用基于椭圆拟合的形心提取算法提取雾滴的中心；
(9)农药雾滴跟踪计时：对农药雾滴进行跟踪，启动计时器，当农药雾滴形心坐标未到达叶面区域时，一直处于计时状态；当农药雾滴形心坐标到达叶面区域时，跟踪停止，计时结束，检测出农药雾滴从喷头喷出后和到达舒茶早叶面的飞行时间，计算雾滴撞击舒茶早叶面的延迟时间。
优选地，所述步骤(1)中，图像采集装置还包括短焦镜头、三脚支架、图像采集卡、图像读取器；辅助照明设备包括四个卤钨灯；计算机处理系统包括图像采集装置控制系统和图像处理软件分析系统，图像采集装置控制系统负责对图像采集装置进行控制，调整系统的测量参数，图像处理软件分析系统负责对图像进行数据提取与分析。
优选地，所述步骤(2)中，标定方法如下，固定好高速摄像机，并通过USB与计算机处理系统相连，调节镜头的焦距直至能够在图像采集装置控制系统中最清晰的看到物体表面表征；将预先设计好的棋盘靶标放置在待测位置，手动改变棋盘格的位姿，使用相机采集15张标定图像并储存至计算机系统；读取储存至计算机的图像，导入图片后输入棋盘格大小，进行标定；将世界坐标系换算为像素坐标系。
优选地，所述步骤(5)中，ROI选取的区域大小为550×650pixel，区域包括雾滴的运动区域与叶片的接触标。
优选地，所述步骤(6)中，农药雾滴识别方法具体如下，首先确定农药雾滴的模板图像T(x,y)，fi(x,y)为后续的搜索图像，在搜索fi(x,y)中，取以(i,j)为左上角，M×N的子图，计算其与模板图的相似度；在所有能够取到的子图中，找到与模板图最相似的子图作为最终结果，绝对差分图像D(i,j)越小相似度越高，找到最小的D(i,j)识别农药雾滴。
优选地，所述步骤(6)中，跟踪检测雾滴的飞行方法如下包括以下步骤：
(1)前景目标区域的粗提取，在YcbCr空间中，对高斯滤波后的Cb分量使用帧间差分法获得帧差结果D(x,y)，得到的非零区域作为运动目标的大致区域；
(2)对获得的帧差图像D(x,y)进行水平投影和垂直投影，获取准确的运动区域DetRegion；
(3)在运动区域DetRegion中进行背景差分，得到完整的运动目标；
(4)利用滑动平均法对非运动区域进行更新，而雾滴运动区域不参与背景更新。
优选地，所述步骤(7)中，轮廓搜索过程如下：
(1)采样雾滴的运动区域，然后从左顶点开始顺时钟遍历采样图像中的每个像素点，找到与目标特征相符的像素点；
(2)将当前点Pcur的位置存入轮廓点序列中，并设置当前点的方向为dircur，其中，所述当前点Pcur为所在行中第一个左邻域像素点为0的目标像素点；
(3)由当前点的方向dircur按照一定的顺序对下一个与目标特征相符的点Pnext进行查找，把找到的第一个特征像素点存入轮廓序列中，将找到的点和该点的方向dirrnext作为新的当前点和当前点方向，对后续的点进行搜索；
(4)判断当前点的位置和初始值是否相同，如果相同，则轮廓搜索完毕；否则返回(3)继续寻找。
优选地，所述步骤(9)中，检测出农药雾滴从喷头喷出后和到达舒茶早叶面的飞行时间td，该飞行时间由飞行总帧数n除以拍摄帧率FR得到，即
优选地，所述步骤(9)中，雾滴撞击舒茶早叶面的延迟时间计算方法如下，设第一个农药雾滴从喷头喷出时刻为初始时刻T0，第n个雾滴撞击到叶面的时刻为Tn，第n个农药雾滴撞击到叶面的延迟时间表示为T＝Tn-T0。
与现有技术相比，本发明的有益效果是：
1)本发明将高速视觉耦合轮廓特征提取技术应用到农药喷施植物保护领域，利用融合了传感器高速图像采集、计算机图像处理、模式识别与深度学习的高速视觉测量技术，对农药雾滴喷施动力学过程实现高帧率拍摄、高速度记录的动态实时跟踪，再通过基于多种算法的雾滴轮廓特征提取，以完成多农药雾滴撞击舒茶早叶面延迟时间的的测量。
2)本发明为后续优化农药喷施参数，尤其为控制施药量、优化雾滴粒谱分布、调配药液含量提供定量的分析手段；所得测量结果对发展精准施药技术、提高茶树农药喷雾的沉积效率具有理论意义和应用价值。
附图说明
图1为本发明实施例中基于高速视觉耦合轮廓特征提取的多农药雾滴撞击叶面延迟性的测量方法的流程图；
图2为本发明实施例中高速视觉测量系统的组成图；
图3为本发明实施例中多农药雾滴持续撞击舒茶早叶面姿态示意图；
图4为本发明实施例中帧间差分结果示意图；
图5为本发明实施例中利用模板匹配完成农药雾滴识别过程示意图；
图6为本发明实施例中八邻域轮廓搜索算法中轮廓点方向与像素点位置定义示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，基于高速视觉耦合轮廓特征提取的多农药雾滴撞击叶面延迟性的测量方法，包括以下步骤：
(1)搭建高速视觉捕捉系统：高速视觉捕捉系统包括图像采集装置，辅助照明设备，计算机处理系统。图像采集装置由短焦镜头、高速摄像机、三脚支架、图像采集卡、图像读取器组成；辅助照明设备包括四个卤钨灯；计算机处理系统是视觉测量的终端，负责对拍摄中图像采集装置进行控制，调整拍摄系统的测量参数，另一方面通过图像处理软件分析获取的视频文件，得到最终的测量信息。计算机处理系统包括图像采集装置控制系统和图像处理软件分析系统，图像采集装置控制系统负责对图像采集装置进行控制，调整系统的测量参数，图像处理软件分析系统负责对图像进行数据提取与分析。
将高速摄像机固定在三脚支架上，搭配短焦镜头以及辅助照明设备对多雾滴撞击叶面过程进行拍摄，拍摄前调整好三脚支架的摆放位置，镜头的焦距长短与光圈大小，卤钨灯的摆放位置，确保摄像机在高速拍摄下进光量充足，光照均匀，成像清晰，这里将镜头水平正对着受农药雾滴撞击的靶标叶片，将高速摄像机摆放在距离靶标20cm处，将四个卤钨灯环绕在靶标四周。
高速视觉测量系统测量多雾滴撞击叶面延迟性的流程如图2所示，首先搭建好一整套的视觉测量装置，将镜头与图像采集装置连接固定，图像采集装置与计算机系统连接，辅助照明设备进行安置，然后进行图像采集，包括标定图像的采集和雾滴运动视频图像的采集，最后利用图像处理软件分析系统结合几何系统标定结果获得雾滴的飞行时间和飞行轨迹，最终得到雾滴撞击叶面的延迟性。
(2)标定高速摄像机系统：使用张氏标定法对摄相机参数进行标定，标定用来得到摄相机的内外参数和摄相机在空间坐标系中的相对位置关系，后期可以通过空间坐标转换将世界坐标系转换为像素坐标系获得雾滴实际运动的位移。
标定流程如下：固定好高速摄像机，并通过USB与计算机系统相连，调节镜头的焦距直至能够在图像采集软件中最清晰的看到物体表面表征；将预先设计好的棋盘靶标放置在待测位置，手动改变棋盘格的位姿，使用相机采集15张标定图像并储存至计算机系统；使用MATLAB中Stereo Camera Calibrator工具箱，读取储存至计算机的15张图像，导入图片后输入棋盘格大小，点击Calibrate，进行标定；点击Export Camera Parameters，可以看到相机参数；将世界坐标系换算为像素坐标系，换算公式为：
其中，表示像素坐标系，/>表示世界坐标系，dx和dy表示1个像素有多少长度，即用传感器的尺寸除以像素数量，f表示焦距，cx和cy表示中心点在像素坐标系中的位置，为旋转矩阵，/>为平移向量。
(3)采集雾滴撞击叶面图像：系统标定完成后，摆放并固定产生雾滴的喷头与受撞击的叶片，使得雾滴的飞行轨迹正好位于视场的中心，通过计算机系统控制高速摄像机采集多雾滴撞击叶面的过程，设置好拍摄帧率，拍摄帧率越大进光量越小，拍摄出来的图案越暗，拍摄帧率应同时满足高速要求与图像明度要求，利用图像采集装置采集雾滴撞击叶面图像。图3为多农药雾滴持续撞击舒茶早叶面姿态示意图，主要展现了实验过程捕捉到的农药雾滴的飞行姿态。
(4)视频图像预处理：对采集到的图像进行预处理，预处理过程包括采用高斯滤波与彩色图像灰度化，图像在生成和传输过程中常常因受到各种噪声的干扰和影响而使图像降质，对后续图像雾滴的识别与检测产生不利影响，采用高斯滤波算法对图像去噪可以抑制噪声，改善图像的质量，高斯函数确定的高斯核可以在抗噪声干扰和边缘检测精确定位之间提供较好的折中方案；摄像机采集的图像为RGB彩色图像，并不能反映图像的形态特征，对图像进行灰度化处理为之后图像识别和图像分析等上层操作做准备。
(5)ROI区域选取：将预处理之后的图像进行ROI区域选取，ROI选取的区域大小为550×650pixel，区域包括雾滴的运动区域与叶片的接触。在图像中选取一个矩形区域作为分析区域，设置后大多数函数只在矩形内运行，选取的目的是剔除无用信息，提高计算效率。设置好ROI区域后，在图像序列的ROI内截取合适的模板图像作为后续帧中目标图像的匹配基准，并且使用图像匹配算法模板图像在后续图像中的像素坐标。
使用帧间差分算法搭配背景减除算法对采集的连续的两帧图像进行差分运算，获取差分后雾滴的位置变化。算法步骤如下：1)从图像序列中选择拍摄影像中连续的两帧图像第i帧,第i-1帧,两帧的像素值分别对应fi(x,y)，fi-1(x,y)对两帧图像作差，得到绝对差分图像Di(x,y)，Di(x,y)＝|fi(x,y)-fi-1(x,y)|。2)使用阈值T，将差分图像Di(x,y)的像素值转换成二值图像Ti(x,y)。将大于阈值T的像素设为255，认为其为前景目标像素，否则是背景像素, 背景减除法将当前帧和背景减除，获取雾滴的运动区域，算法步骤如下：1)假设第i帧背景图像为Bi(x,y),将Bi(x,y)与当前帧图像fi(x,y)相减，获取绝对差分结果Di(x,y)。2)设置阈值T，将差分结果二值化，得到含有运动目标的图像Ti(x,y)。3)采用形态学滤波法对图像Ti(x,y)进行处理，提取准确的目标区域。
如图4所示，(a)和(b)分别是序列图像中连续两帧fn(x,y)，fn+1(x,y)，(c)是(a)与(b)帧间差分后的结果，可以得到雾滴在两帧时间内的位置变化情况；背景减除算法可以减除不含运动目标的场景，将喷头不发生农药雾滴时的场景作为被减去的背景，剔除图像中的静止信息。将帧间差分法与背景减除法协同使用可以有效提取出运动目标，在本发明中，运动目标为农药雾滴。
ROI更新算法可以在图像中选择感兴趣的区域作为跟踪雾滴的区域，因此利用此算法可以减少搜索的范围，减小计算量，提高计算效率。在创建ROI时，用帧间差分获取的DetRegion作为ROI的初始值，后续使用如下方法对ROI的大小进行更新：Wi+1＝αDx,i＝α∣xc,i-xc.i-1∣，Hi+1＝βDy,i＝β∣yc,i-yc,i-1∣,其中Wi+1和Hi+1分别是下一帧ROI的宽度和高度，Dx,i和Dy,i分别是前后第i帧与第i-1帧质心x方向的距离，α和β分别是宽度和高度的缩放因子。此算法可将多农药雾滴活动区域被锁定在一矩形区域内，其中喷头到舒茶早叶面距离为矩形长度。
(6)农药雾滴识别：使用基于模板的平均绝对值算法，对步骤(5)获取的运动区域中的农药雾滴进行识别，跟踪检测雾滴的飞行。如图5所示，首先确定农药雾滴的模板图像T(x,y)，fi(x,y)为后续的搜索图像，目的是在fi(x,y)找到与T(x,y)匹配的区域。算法思路如下：在搜索fi(x,y)中，取以(i,j)为左上角，M×N的子图，计算其与模板图的相似度；在所有能够取到的子图中，找到与模板图最相似的子图作为最终结果，相似度测度公式如下，D(i,j)越小相似度越高，找到最小的D(i,j)识别农药雾滴。
跟踪检测雾滴的飞行。具体实现过程如下：
1)前景目标区域的粗提取，在YcbCr空间中,对高斯滤波后的Cb分量使用帧间差分法获得帧差结果D(x,y)，得到的非零区域作为运动目标的大致区域。
2)对获得的帧差图像D(x,y)进行水平投影和垂直投影，获取准确的运动区域DetRegion。
3)在运动区域DetRegion中进行背景差分，得到完整的运动目标。
4)利用滑动平均法对非运动区域进行更新，而雾滴运动区域不参与背景更新。
(7)农药雾滴轮廓提取：跟踪检测雾滴后，提取雾滴的边缘轮廓信息。图像的边缘部分集中了图像大部分信息，图像边缘的确定与提取对于农药雾滴的识别至关重要，使用Canny边缘检测算法提取整幅图像的边缘部分。设置计算梯度值增强图像各点领域强度的变化值；设置阈值，对提取到的图像边缘点进行筛选，剔除某些不合理的边缘点；使用Canny梯度算子对图像灰度值的梯度进行近似，图像在x和y方向上偏导数的两个矩阵分别为
在进行边缘检测之后，需要通过边缘跟踪来将离散的边缘串接起来。为保证精度的同时降低计算量，采用八邻域快速轮廓搜索算法对被识别农药雾滴的形状进行轮廓搜索，雾滴轮廓的形状接近于椭圆形。搜索过程如下：
1)采样雾滴的运动区域，然后从左顶点开始顺时钟遍历采样图像中的每个像素点，找到与目标特征相符的像素点。如果该像素点的邻域像素是值为255的像素，则设置这个点像素所在的位置是当前点的位置；否则继续遍历，直到该像素点的邻域像素是值为0的目标像素点。
2)将当前点Pcur的八邻域像素点位置位置，如图6中(c)所示，存入轮廓点序列中，并设置当前点的方向为dircur＝3。
3)由当前点的方向dircur按照如图6中(d)所示的顺序对下一个与目标特征相符的点Pnext进行查找，把找到的第一个特征像素点存入轮廓序列中，将找到的点和该点的方向dirnext作为新的当前点和当前点方向，对后续的点进行搜索。
4)判断当前点的位置和初始值是否相同，如果相同，则轮廓搜索完毕；否则返回3)继续寻找。
(8)农药雾滴形心提取：采集到的图像中可能会出现拖影现象，雾滴轮廓从圆状变为椭圆状或柱状，可采用基于椭圆拟合的形心提取算法提取雾滴的中心，将第n帧中雾滴的位置用该形心坐标Cn(x,y)表示。
(9)农药雾滴跟踪计时：根据上述算法，当农药雾滴形心坐标Cn(x,y)到达叶面区域，跟踪停止。最终检测出农药雾滴从喷头喷出后和到达舒茶早叶面的飞行时间td，该飞行时间由飞行总帧数n除以拍摄帧率FR，添加计时器，设第一个农药雾滴从喷头喷出时刻为初始时刻T0，第n个雾滴撞击到叶面的时刻为Tn，第n个农药雾滴撞击到叶面的延迟时间表示为T＝Tn-T0。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
Claims (7)
1.基于高速视觉耦合轮廓特征提取的多农药雾滴撞击叶面延迟性的测量方法，其特征在于，包括以下步骤：
(1)搭建高速视觉捕捉系统：高速视觉捕捉系统包括图像采集装置、辅助照明设备、计算机处理系统，图像采集装置包括高速摄像机；
(2)标定高速摄像机系统：使用张氏标定法对摄相机参数进行标定，标定用来得到摄相机的内外参数和摄相机在空间坐标系中的相对位置关系，后期可以通过空间坐标转换将世界坐标系转换为像素坐标系获得雾滴实际运动的位移；
(3)采集雾滴撞击叶面图像：系统标定完成后，摆放并固定产生雾滴的喷头与受撞击的叶片，使得雾滴的飞行轨迹正好位于视场的中心，通过计算机系统控制高速摄像机采集多雾滴撞击叶面的过程，利用图像采集装置采集雾滴撞击叶面图像；
(4)视频图像预处理：采用高斯滤波算法对采集得到的雾滴撞击叶面图像去噪，然后对图像进行灰度化处理；
(5)ROI区域选取：将预处理之后的图像进行ROI区域选取，使用帧间差分算法搭配背景减除算法对采集的连续的两帧图像进行差分运算，获取差分后运动区域的位置变化，运动区域包括运动的雾滴、振动的叶片以及可能出现的其他运动物体；
(6)农药雾滴识别：使用基于模板的平均绝对值算法，对步骤(5)获取的运动区域中的农药雾滴进行识别，跟踪检测雾滴的飞行；
其中，农药雾滴识别方法具体如下，首先确定农药雾滴的模板图像T(x,y)，fi(x,y)为后续的搜索图像，在搜索fi(x,y)中，取以(i,j)为左上角，M×N的子图，计算其与模板图的相似度；在所有能够取到的子图中，找到与模板图最相似的子图作为最终结果，绝对差分图像D(i,j)越小相似度越高，找到最小的D(i,j)识别农药雾滴；
跟踪检测雾滴的飞行方法包括以下步骤：
(601)前景目标区域的粗提取，在YcbCr空间中，对高斯滤波后的Cb分量使用帧间差分法获得帧差结果D(x,y)，得到的非零区域作为运动目标的大致区域；
(602)对获得的帧差图像D(x,y)进行水平投影和垂直投影，获取准确的运动区域DetRegion；
(603)在运动区域DetRegion中进行背景差分，得到完整的运动目标；
(604)利用滑动平均法对非运动区域进行更新，而雾滴运动区域不参与背景更新；
(7)农药雾滴轮廓提取：跟踪检测雾滴后，采用八邻域快速轮廓搜索算法对被识别农药雾滴的形状进行轮廓搜索，从而提取农药雾滴轮廓；
(8)农药雾滴形心提取：采用基于椭圆拟合的形心提取算法提取雾滴的中心；
(9)农药雾滴跟踪计时：对农药雾滴进行跟踪，启动计时器，当农药雾滴形心坐标未到达叶面区域时，一直处于计时状态；当农药雾滴形心坐标到达叶面区域时，跟踪停止，计时结束，检测出农药雾滴从喷头喷出后和到达叶面的飞行时间，计算雾滴撞击叶面的延迟时间。
2.根据权利要求1所述的基于高速视觉耦合轮廓特征提取的多农药雾滴撞击叶面延迟性的测量方法，其特征在于：所述步骤(1)中，图像采集装置还包括短焦镜头、三脚支架、图像采集卡、图像读取器；辅助照明设备包括四个卤钨灯；计算机处理系统包括图像采集装置控制系统和图像处理软件分析系统，图像采集装置控制系统负责对图像采集装置进行控制，调整系统的测量参数，图像处理软件分析系统负责对图像进行数据提取与分析。
3.根据权利要求1所述的基于高速视觉耦合轮廓特征提取的多农药雾滴撞击叶面延迟性的测量方法，其特征在于：所述步骤(2)中，标定方法如下，固定好高速摄像机，并通过USB与计算机处理系统相连，调节镜头的焦距直至能够在图像采集装置控制系统中最清晰的看到物体表面表征；将预先设计好的棋盘靶标放置在待测位置，手动改变棋盘格的位姿，使用相机采集15张标定图像并储存至计算机系统；读取储存至计算机的图像，导入图片后输入棋盘格大小，进行标定；将世界坐标系换算为像素坐标系。
4.根据权利要求1所述的基于高速视觉耦合轮廓特征提取的多农药雾滴撞击叶面延迟性的测量方法，其特征在于：所述步骤(5)中，ROI选取的区域大小为550×650px，区域包括雾滴的运动区域与叶片的接触标。
5.根据权利要求1所述的基于高速视觉耦合轮廓特征提取的多农药雾滴撞击叶面延迟性的测量方法，其特征在于，所述步骤(7)中，轮廓搜索过程如下：
(1)采样雾滴的运动区域，然后从左顶点开始顺时钟遍历采样图像中的每个像素点，找到与目标特征相符的像素点；
(2)将当前点Pcur的位置存入轮廓点序列中，并设置当前点的方向为dircur，其中，所述当前点Pcur为所在行中第一个左邻域像素点为0的目标像素点；
(3)由当前点的方向dircur按照一定的顺序对下一个与目标特征相符的点Pnext进行查找，把找到的第一个特征像素点存入轮廓序列中，将找到的点和该点的方向dirrnext作为新的当前点和当前点方向，对后续的点进行搜索；
(4)判断当前点的位置和初始值是否相同，如果相同，则轮廓搜索完毕；否则返回(3)继续寻找。
6.根据权利要求1所述的基于高速视觉耦合轮廓特征提取的多农药雾滴撞击叶面延迟性的测量方法，其特征在于：所述步骤(9)中，检测出农药雾滴从喷头喷出后和到达叶面的飞行时间td，该飞行时间由飞行总帧数n除以拍摄帧率FR得到，即
7.根据权利要求1所述的基于高速视觉耦合轮廓特征提取的多农药雾滴撞击叶面延迟性的测量方法，其特征在于：所述步骤(9)中，雾滴撞击叶面的延迟时间计算方法如下，设第一个农药雾滴从喷头喷出时刻为初始时刻T0，第n个雾滴撞击到叶面的时刻为Tn，第n个农药雾滴撞击到叶面的延迟时间表示为T＝Tn-T0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210008903.9A CN114332629B (zh) | 2022-01-06 | 2022-01-06 | 基于高速视觉耦合轮廓特征提取的多农药雾滴撞击叶面延迟性的测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210008903.9A CN114332629B (zh) | 2022-01-06 | 2022-01-06 | 基于高速视觉耦合轮廓特征提取的多农药雾滴撞击叶面延迟性的测量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114332629A CN114332629A (zh) | 2022-04-12 |
| CN114332629B true CN114332629B (zh) | 2024-04-19 |
Family
ID=81025452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210008903.9A Active CN114332629B (zh) | 2022-01-06 | 2022-01-06 | 基于高速视觉耦合轮廓特征提取的多农药雾滴撞击叶面延迟性的测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332629B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115254482B (zh) * | 2022-08-11 | 2023-08-04 | 重庆科技学院 | 一种用于检测sf6吸附剂浸出液的喷雾装置和喷雾调控方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105277495A (zh) * | 2015-10-26 | 2016-01-27 | 北京农业信息技术研究中心 | 一种时序模式雾滴叶面蒸发特性监测采集方法 |
| CN107110754A (zh) * | 2015-10-12 | 2017-08-29 | 深圳市大疆创新科技有限公司 | 喷洒质量检测装置、系统、方法以及采样辅助装置 |
| CN107421856A (zh) * | 2017-07-17 | 2017-12-01 | 安徽农业大学 | 基于雾滴撞击舒茶早叶面沉积效果选择典型农药的方法 |
| CN109816678A (zh) * | 2019-02-27 | 2019-05-28 | 青岛伴星智能科技有限公司 | 一种基于视觉的喷嘴雾化角度自动检测系统及方法 |
| US10969342B1 (en) * | 2017-03-31 | 2021-04-06 | Jiangsu University | Pesticide droplet leaf transmembrane absorption observation apparatus |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11465162B2 (en) * | 2019-12-21 | 2022-10-11 | Verdant Robotics, Inc. | Obscurant emission to assist image formation to automate agricultural management and treatment |
-
2022
- 2022-01-06 CN CN202210008903.9A patent/CN114332629B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107110754A (zh) * | 2015-10-12 | 2017-08-29 | 深圳市大疆创新科技有限公司 | 喷洒质量检测装置、系统、方法以及采样辅助装置 |
| CN105277495A (zh) * | 2015-10-26 | 2016-01-27 | 北京农业信息技术研究中心 | 一种时序模式雾滴叶面蒸发特性监测采集方法 |
| US10969342B1 (en) * | 2017-03-31 | 2021-04-06 | Jiangsu University | Pesticide droplet leaf transmembrane absorption observation apparatus |
| CN107421856A (zh) * | 2017-07-17 | 2017-12-01 | 安徽农业大学 | 基于雾滴撞击舒茶早叶面沉积效果选择典型农药的方法 |
| CN109816678A (zh) * | 2019-02-27 | 2019-05-28 | 青岛伴星智能科技有限公司 | 一种基于视觉的喷嘴雾化角度自动检测系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| Pu Chen,et al..Effect of varying remote cylinder speeds on plough-breast performance in alternative shifting tillage.Computers and Electronics in Agriculture.2021,第1-11页. * |
| 叶面雾滴沉积分布直接检测算法研究;李睿;张伟;王訢丞;符海霸;于丽娟;张平;;中国农机化学报;20200315(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114332629A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6305171B2 (ja) | シーン内の物体を検出する方法 | |
| CN103745203B (zh) | 基于视觉注意和均值漂移的目标检测与跟踪方法 | |
| Chen et al. | Human shadow removal with unknown light source | |
| CN104835175B (zh) | 一种基于视觉注意机制的核环境中目标检测方法 | |
| CN107239748A (zh) | 基于棋盘格标定技术的机器人目标识别与定位方法 | |
| Hassaan et al. | Precision forestry: trees counting in urban areas using visible imagery based on an unmanned aerial vehicle | |
| CN103778645B (zh) | 一种基于图像的圆形目标实时跟踪方法 | |
| WO2013088175A1 (en) | Image processing method | |
| CN103093191A (zh) | 一种三维点云数据结合数字影像数据的物体识别方法 | |
| CN102542289A (zh) | 一种基于多高斯计数模型的人流量统计方法 | |
| CN109492525B (zh) | 一种测量基站天线工程参数的方法 | |
| CN110443247A (zh) | 一种无人机地面运动小目标实时检测系统及方法 | |
| CN109086724A (zh) | 一种加速的人脸检测方法及存储介质 | |
| Li et al. | Road markings extraction based on threshold segmentation | |
| CN106446925A (zh) | 一种基于图像处理的海豚身份识别的方法 | |
| Rao et al. | Object tracking system using approximate median filter, Kalman filter and dynamic template matching | |
| CN114332629B (zh) | 基于高速视觉耦合轮廓特征提取的多农药雾滴撞击叶面延迟性的测量方法 | |
| CN108320310B (zh) | 基于图像序列的空间目标三维姿态估计方法 | |
| CN114580559A (zh) | 一种基于单目视觉系统的测速方法 | |
| CN115760893A (zh) | 一种基于核相关滤波算法的单雾滴粒径和速度测量方法 | |
| CN112197705A (zh) | 一种基于视觉和激光测距的果实定位方法 | |
| Lee et al. | Real-time automatic vehicle management system using vehicle tracking and car plate number identification | |
| CN114299137A (zh) | 激光光斑中心定位方法及测试系统 | |
| Miller et al. | Person tracking in UAV video | |
| CN112613568B (zh) | 基于可见光及红外多光谱图像序列的目标识别方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |