CN114612577A - 一种基于双目立体视觉的果园智能喷药方法及系统 - Google Patents
一种基于双目立体视觉的果园智能喷药方法及系统 Download PDFInfo
- Publication number
- CN114612577A CN114612577A CN202210365206.9A CN202210365206A CN114612577A CN 114612577 A CN114612577 A CN 114612577A CN 202210365206 A CN202210365206 A CN 202210365206A CN 114612577 A CN114612577 A CN 114612577A
- Authority
- CN
- China
- Prior art keywords
- fruit tree
- binocular
- pictures
- orchard
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005507 spraying Methods 0.000 title claims abstract description 61
- 239000000575 pesticide Substances 0.000 title claims abstract description 48
- 239000002420 orchard Substances 0.000 title claims abstract description 38
- 230000004438 eyesight Effects 0.000 title claims abstract description 25
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 62
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 239000007921 spray Substances 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 21
- 239000003814 drug Substances 0.000 claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims description 34
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000008030 elimination Effects 0.000 claims description 6
- 238000003379 elimination reaction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000003702 image correction Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 241000196324 Embryophyta Species 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 241000238631 Hexapoda Species 0.000 description 5
- 241000607479 Yersinia pestis Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004009 herbicide Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000002917 insecticide Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Agronomy & Crop Science (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了一种基于双目立体视觉的果园智能喷药方法及系统，喷药装置在果园行走过程中采用双目摄像头采集实时视频数据并且通过轻量化目标检测算法进行实时果树检测；当检测到果树时喷药装置暂停，启用双目摄像头拍摄一对图片；根据相机标定结果对上述的一对图片进行图像矫正；将矫正后的一对图片进行立体匹配，得到两者对应像素点；根据立体匹配结果得到视差图，并根据三角测量原理计算得到深度图；利用深度图信息结合目标检测结果推算出果树距离；最后根据检测到的果树目标在拍摄图像的区域，调整喷头的高度和角度，保证喷头正对果树实施喷药。本方案能够获取到更加精准的果树距离、具体方位影响喷药实际效果的信息，从而实现更为精准的施药。
Description
技术领域
本申请涉及果园植保技术领域，具体涉及一种基于双目立体视觉的果园智能喷药方法及系统。
背景技术
果园植保顾名思义是对果园的果树进行养护，其中对果树定期的喷药这是果园植保的必要工作。以往对果树喷药都是人工进行喷药，不仅费时费力，而且还会对作业人员产生危害。随着农业设备的发展，可以实现自主喷药的果园喷药机器人成为了替代人工喷药的首选。
专利号CN209711222U公开了基于机器视觉的自主精准喷药机器人，将机器视觉应用于植物识别,并利用神经网络进行数据训练,通过训练后的分类集进行农作物与杂草的识别,喷头能够根据农作物与杂草的高度进行调节。专利号CN201420469177.1公开了一种基于机器视觉的除虫除草喷药机器人,能够快速有效的识别田间草害和虫害,并根据草害和虫害程度定点变量喷洒除草剂和(或)除虫剂,适合农机实时田间作业,大大提高了作业效率,降低了农田管理成本。专利号CN201920087478.0涉及一种基于机器视觉的果树喷药机器人,包括行走底盘及设置在所述行走底盘上的喷药机构,控制模块,循迹模块和导向模块，可实现定点喷药,精准喷药,自动化程度高,节省人力,节省农药,环境污染小,可适应的地形广泛。专利号CN201420469177.1公开了一种基于机器视觉的除虫除草喷药机器人,其包括可行走的车架,药水箱,视觉导航装置,视觉感知装置,动力装置,主控系统和喷药装置。能够快速有效的识别田间草害和虫害,并根据草害和虫害程度定点变量喷洒除草剂和(或)除虫剂,适合农机实时田间作业,大大提高了作业效率,降低了农田管理成本。
但是，现有的果园喷药机器人设计的视觉技术多是对杂草或果树进行识别，进而针对性喷洒农药。而缺乏喷药机器人与果树的间距以及方位等影响喷药精准度的详细信息，很难真正做到精细喷药。
发明内容
本申请为了解决上述技术问题，提出了如下技术方案：
第一方面，本申请实施例提供了一种基于双目立体视觉的果园智能喷药方法，所述方法包括：喷药装置在果园行走过程中采用双目摄像头采集实时视频数据并且通过轻量化目标检测算法进行实时果树检测；当检测到果树喷药装置暂停，启用双目摄像头拍摄一对图片；根据相机标定结果对上述的一对图片进行图像矫正；将矫正后的一对图片进行立体匹配，得到两者对应像素点；根据立体匹配结果得到视差图，并根据三角测量原理计算得到深度图；利用深度图信息结合目标检测结果推算出果树距离；最后根据检测到的果树目标在拍摄图像的区域，调整喷头的高度和角度，保证喷头正对果树实施喷药。
采用上述实现方式，相比已有基于视觉的喷药技术，不仅仅只是检测出果树的大体位置，而且能够获取到更加精准的果树距离、具体方位等影响喷药实际效果的信息，从而实现更为精准的施药。
结合第一方面，在第一方面第一种可能的实现方式中，所述喷药装置在果园行走过程中采用双目摄像头采集实时视频数据并且通过轻量化目标检测算法进行实时果树检测，包括：通过轻量化目标检测算法NanoDet采用无锚点框的回归方式，主干网络采用MobileNetV2用于提取特征；之后接特征金字塔网络FPN进行特征融合；最后接检测头回归目标的中心距四边的距离，最后转换为目标检测框。
结合第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，所述根据相机标定结果对上述的一对图片进行图像矫正，包括：根据摄像头定标后获得的单目内参数据和双目相对位置关系；分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。
结合第一方面第二种可能的实现方式，在第一方面第三种可能的实现方式中，所述分别对左右视图进行消除畸变和行对准，包括：获取摄像头标定后的各项参数，首先采用OpenCV中的stereoRectify函数得到校正旋转矩阵R、投影矩阵P、重投影矩阵Q，然后采用initUndistortRectifyMap函数得出校准映射参数；最后利用remap来校准输入的左右图像。
结合第一方面第三种可能的实现方式，在第一方面第四种可能的实现方式中，所述将矫正后的一对图片进行立体匹配，得到两者对应像素点，包括：获取同一点在多个成像面上像点的对应关系；利用一点在同一位置下两个成像点之间的视差信息求取该点本身的三维信息。
第二方面，本申请实施例提供了一种基于双目立体视觉的果园智能喷药系统，所述系统包括：检测模块，用于喷药装置在果园行走过程中采用双目摄像头采集实时视频数据并且通过轻量化目标检测算法进行实时果树检测；拍照模块，用于当检测到果树喷药装置暂停，启用双目摄像头拍摄一对图片；图像矫正模块，用于根据相机标定结果对上述的一对图片进行图像矫正；立体匹配模块，用于将矫正后的一对图片进行立体匹配，得到两者对应像素点；计算模块，用于根据立体匹配结果得到视差图，并根据三角测量原理计算得到深度图；距离获取模块，用于利用深度图信息结合目标检测结果推算出果树距离；喷药模块，用于最后根据检测到的果树目标在拍摄图像的区域，调整喷头的高度和角度，保证喷头正对果树实施喷药。
结合第二方面，在第二方面第一种可能的实现方式中，所述检测模块包括：提取特征单元，用于通过轻量化目标检测算法NanoDet采用无锚点框的回归方式，主干网络采用MobileNetV2用于提取特征；特征融合单元，用于之后接特征金字塔网络FPN进行特征融合；转换单元，用于最后接检测头回归目标的中心距四边的距离，最后转换为目标检测框。
结合第二方面第一种可能的实现方式，在第二方面第二种可能的实现方式中，所述图像矫正模块包括：第一获取单元，用于根据摄像头定标后获得的单目内参数据和双目相对位置关系；矫正单元，用于分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。
结合第二方面第二种可能的实现方式，在第二方面第三种可能的实现方式中，所述矫正单元包括：获取子单元，用于获取摄像头标定后的各项参数，首先采用OpenCV中的stereoRectify函数得到校正旋转矩阵R、投影矩阵P、重投影矩阵Q，第一校准子单元，用于然后采用initUndistortRectifyMap函数得出校准映射参数；第二校准子单元，用于最后利用remap来校准输入的左右图像。
结合第二方面第三种可能的实现方式，在第二方面第四种可能的实现方式中，所述立体匹配模块包括：第二获取单元，获取同一点在多个成像面上像点的对应关系；计算单元，用于利用一点在同一位置下两个成像点之间的视差信息，求取该点本身的三维信息。
附图说明
图1为本申请实施例提供的一种基于双目立体视觉的果园智能喷药方法的流程示意图；
图2为本申请实施例提供的三角测量原理的示意图；
图3为本申请实施例提供的一种基于双目立体视觉的果园智能喷药系统的示意图。
具体实施方式
下面结合附图与具体实施方式对本方案进行阐述。
图1为本申请实施例提供的一种基于双目立体视觉的果园智能喷药方法的流程示意图，参见图1，本实施例中的基于双目立体视觉的果园智能喷药方法包括：
S101, 喷药装置在果园行走过程中采用双目摄像头采集实时视频数据并且通过轻量化目标检测算法进行实时果树检测。
S102，当检测到果树喷药装置暂停，启用双目摄像头拍摄一对图片。
S103，根据相机标定结果对上述的一对图片进行图像矫正。
S104，将矫正后的一对图片进行立体匹配，得到两者对应像素点。
S105，根据立体匹配结果得到视差图，并根据三角测量原理计算得到深度图。
S106，利用深度图信息结合目标检测结果推算出果树距离。
S107，最后根据检测到的果树目标在拍摄图像的区域，调整喷头的高度和角度，保证喷头正对果树实施喷药。
本实施例中轻量化目标检测算法采用NanoDet。具体的，NanoDet是一种用于移动端的开源目标检测算法，采用无锚点框的回归方式，主干网络采用MobileNetV2用于提取特征，之后接特征金字塔网络（FPN）进行特征融合，最后接检测头回归目标的中心距四边的距离，最后转换为目标检测框。模型文件只有1.8 MB，在移动 ARM CPU 上达到 97fps(10.23ms)，能满足实时性目标检测的要求。
图像校正是根据摄像头定标后获得的单目内参数据（焦距、成像原点、畸变系数）和双目相对位置关系（旋转矩阵和平移向量），分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。校正反映到图像上就是要把消除畸变后的两幅图像严格地行对应，使得两幅图像的对极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。
具体的，获取摄像头标定后的各项参数，首先采用OpenCV中的stereoRectify函数得到校正旋转矩阵R、投影矩阵P、重投影矩阵Q，再采用initUndistortRectifyMap函数得出校准映射参数，然后用remap函数来校准输入的左右图像。
立体匹配是寻找同一点在多个成像面上像点的对应关系，后续利用一点在同一位置下两个成像点之间的视差信息，可以求取该点本身的三维信息。
具体的，立体匹配一般包括匹配代价计算、匹配代价叠加、视差获取、视差细化（亚像素级）四个步骤。匹配代价计算是整个立体匹配算法的基础，实际是对不同视差下进行灰度相似性测量，常见的方法有灰度差的平方SD（squared intensity differences），灰度差的绝对值AD（absolute intensity differences）等。匹配代价叠加分为全局和局部叠加，全局算法基于原始匹配代价进行后续算法计算。而区域算法则需要通过窗口叠加来增强匹配代价的可靠性。对于区域算法来说，在完成匹配代价的叠加以后，只需在一定范围内选取叠加匹配代价最优的点（SAD和SSD取最小值，NCC取最大值）作为对应匹配点，如胜者为王算法WTA（Winner-take-all）。而全局算法则直接对原始匹配代价进行处理，一般会先给出一个能量评价函数，然后通过不同的优化算法来求得能量的最小值，同时每个点的视差值就可以计算出来。视差细化是指大多数立体匹配算法计算出来的视差都是一些离散的特定整数值，可满足一般应用的精度要求。但在一些精度要求比较高的场合，如精确的三维重构中，就需要在初始视差获取后采用一些措施对视差进行细化，如匹配代价的曲线拟合、图像滤波、图像分割等。
在得到双目图片对应的视差图后，可以根据三角测量原理计算得到对应的深度图。
具体的，三角测量原理利用相似三角形原理，如图2所示，其中PL是左成像点，PR是右成像点，OL是左光圈中心，OR是右光圈中心，P是物体位置，f是焦距，b是两个摄像头光圈中心之间的距离，uL是左侧光心与左侧成像点距离， uR是右侧光心与右侧成像点距离。这些参数都是已知，根据(b-uL-uR)/b=(z-f)/z 可推导出：z=fb/d 从而得出深度z。
之后就可以利用图像中的三维信息可以推算出果树的距离和具体方位等进行智能喷药。
具体的，根据第一步的目标检测结果，调整喷头和双目相机所在的转杆（左右转动和上下移动），使得果树目标在摄像头采集图像的正中央区域，此时喷头应正对果树树冠。此时，根据目标检测结果获取果树的深度信息，得到果树的距离。当距离小于1米，启动喷药。当距离过远时，会调度喷药车驶近果树，保证距离果树小于1米范围。
需注意，喷头和双目相机的位置要尽可能靠近、相机镜头与喷头朝向一致、且跟随转杆转动同步，进而保证当果树目标出现的双目相机拍摄图像的正中央区域时，双目相机和喷头都正对果树。
本申请通过双目摄像头实时检测果树目标，当出现果树目标，就会暂停喷药车，进行双目拍摄并通过双目立体视觉算法结合目标检测结果计算出当前喷药车到果树的距离，当距离过远（大于1米），喷药车会向果树目标驶近到1米内，之后调整喷头的高度和角度保证果树目标在图像的中心区域，此时喷头将正对树冠，最后开始喷药。相比已有基于视觉的喷药技术，能够获取到更加精准的果树距离、具体方位等影响喷药实际效果的信息，得以实现更为精准的施药，而不仅仅只是检测出果树的大体位置。
与上述实施例提供的一种基于双目立体视觉的果园智能喷药方法相对应，本申请还提供了一种基于双目立体视觉的果园智能喷药系统的实施例。
参见图3，基于双目立体视觉的果园智能喷药系统20包括：检测模块201、拍照模块202、图像矫正模块203、立体匹配模块204、计算模块205、距离获取模块206和喷药模块207。
检测模块201，用于喷药装置在果园行走过程中采用双目摄像头采集实时视频数据并且通过轻量化目标检测算法进行实时果树检测。拍照模块202，用于当检测到果树喷药装置暂停，启用双目摄像头拍摄一对图片。图像矫正模块203，用于根据相机标定结果对上述的一对图片进行图像矫正。立体匹配模块204，用于将矫正后的一对图片进行立体匹配，得到两者对应像素点。计算模块205，用于根据立体匹配结果得到视差图，并根据三角测量原理计算得到深度图。距离获取模块206，用于利用深度图信息结合目标检测结果推算出果树距离。喷药模块207，用于最后根据检测到的果树目标在拍摄图像的区域，调整喷头的高度和角度，保证喷头正对果树实施喷药。
具体地，本实施例中所述检测模块201包括：提取特征单元，用于通过轻量化目标检测算法NanoDet采用无锚点框的回归方式，主干网络采用MobileNetV2用于提取特征。特征融合单元，用于之后接特征金字塔网络FPN进行特征融合。转换单元，用于最后接检测头回归目标的中心距四边的距离，最后转换为目标检测框。
所述图像矫正模块203包括：第一获取单元，用于根据摄像头定标后获得的单目内参数据和双目相对位置关系。矫正单元，用于分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。
进一步地，所述矫正单元包括：获取子单元，用于获取摄像头标定后的各项参数，首先采用OpenCV中的stereoRectify函数得到校正旋转矩阵R、投影矩阵P、重投影矩阵Q。第一校准子单元，用于然后采用initUndistortRectifyMap函数得出校准映射参数。第二校准子单元，用于最后利用remap函数来校准输入的左右图像。
所述立体匹配模块204包括：第二获取单元，获取同一点在多个成像面上像点的对应关系；计算单元，用于利用一点在同一位置下两个成像点之间的视差信息，求取该点本身的三维信息。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种基于双目立体视觉的果园智能喷药方法，其特征在于，所述方法包括：
喷药装置在果园行走过程中采用双目摄像头采集实时视频数据并且通过轻量化目标检测算法进行实时果树检测；
当检测到果树喷药装置暂停，启用双目摄像头拍摄一对图片；
根据相机标定结果对上述的一对图片进行图像矫正；
将矫正后的一对图片进行立体匹配，得到两者对应像素点；
根据立体匹配结果得到视差图，并根据三角测量原理计算得到深度图；
利用深度图信息结合目标检测结果推算出果树距离；
最后根据检测到的果树目标在拍摄图像的区域，调整喷头的高度和角度，保证喷头正对果树实施喷药。
2.根据权利要求1所述的基于双目立体视觉的果园智能喷药方法，其特征在于，所述喷药装置在果园行走过程中采用双目摄像头采集实时视频数据并且通过轻量化目标检测算法进行实时果树检测，包括：
通过轻量化目标检测算法NanoDet采用无锚点框的回归方式，主干网络采用MobileNetV2用于提取特征；
之后接特征金字塔网络FPN进行特征融合；
最后接检测头回归目标的中心距四边的距离，最后转换为目标检测框。
3.根据权利要求2所述的基于双目立体视觉的果园智能喷药方法，其特征在于，所述根据相机标定结果对上述的一对图片进行图像矫正，包括：
根据摄像头定标后获得的单目内参数据和双目相对位置关系；
分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。
4.根据权利要求3所述的基于双目立体视觉的果园智能喷药方法，其特征在于，所述分别对左右视图进行消除畸变和行对准，包括：
获取摄像头标定后的各项参数，首先采用OpenCV中的stereoRectify函数得到校正旋转矩阵R、投影矩阵P、重投影矩阵Q，
然后采用initUndistortRectifyMap函数得出校准映射参数；
最后利用remap函数来校准输入的左右图像。
5.根据权利要求4所述的基于双目立体视觉的果园智能喷药方法，其特征在于，所述将矫正后的一对图片进行立体匹配，得到两者对应像素点，包括：
获取同一点在多个成像面上像点的对应关系；
利用一点在同一位置下两个成像点之间的视差信息求取该点本身的三维信息。
6.一种基于双目立体视觉的果园智能喷药系统，其特征在于，所述系统包括：
检测模块，用于喷药装置在果园行走过程中采用双目摄像头采集实时视频数据并且通过轻量化目标检测算法进行实时果树检测；
拍照模块，用于当检测到果树喷药装置暂停，启用双目摄像头拍摄一对图片；
图像矫正模块，用于根据相机标定结果对上述的一对图片进行图像矫正；
立体匹配模块，用于将矫正后的一对图片进行立体匹配，得到两者对应像素点；
计算模块，用于根据立体匹配结果得到视差图，并根据三角测量原理计算得到深度图；
距离获取模块，用于利用深度图信息结合目标检测结果推算出果树距离；
喷药模块，用于最后根据检测到的果树目标在拍摄图像的区域，调整喷头的高度和角度，保证喷头正对果树实施喷药。
7.根据权利要求6所述的基于双目立体视觉的果园智能喷药系统，其特征在于，所述检测模块包括：
提取特征单元，用于通过轻量化目标检测算法NanoDet采用无锚点框的回归方式，主干网络采用MobileNetV2用于提取特征；
特征融合单元，用于之后接特征金字塔网络FPN进行特征融合；
转换单元，用于最后接检测头回归目标的中心距四边的距离，最后转换为目标检测框。
8.根据权利要求7所述的基于双目立体视觉的果园智能喷药系统，其特征在于，所述图像矫正模块包括：
第一获取单元，用于根据摄像头定标后获得的单目内参数据和双目相对位置关系；
矫正单元，用于分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐。
9.根据权利要求8所述的基于双目立体视觉的果园智能喷药系统，其特征在于，所述矫正单元包括：
获取子单元，用于获取摄像头标定后的各项参数，首先采用OpenCV中的stereoRectify函数得到校正旋转矩阵R、投影矩阵P、重投影矩阵Q，
第一校准子单元，用于然后采用initUndistortRectifyMap函数得出校准映射参数；
第二校准子单元，用于最后利用remap函数来校准输入的左右图像。
10.根据权利要求9所述的基于双目立体视觉的果园智能喷药系统，其特征在于，所述立体匹配模块包括：
第二获取单元，获取同一点在多个成像面上像点的对应关系；
计算单元，用于利用一点在同一位置下两个成像点之间的视差信息，求取该点本身的三维信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210365206.9A CN114612577A (zh) | 2022-04-08 | 2022-04-08 | 一种基于双目立体视觉的果园智能喷药方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210365206.9A CN114612577A (zh) | 2022-04-08 | 2022-04-08 | 一种基于双目立体视觉的果园智能喷药方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114612577A true CN114612577A (zh) | 2022-06-10 |
Family
ID=81868915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210365206.9A Pending CN114612577A (zh) | 2022-04-08 | 2022-04-08 | 一种基于双目立体视觉的果园智能喷药方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114612577A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115183876A (zh) * | 2022-09-09 | 2022-10-14 | 国网山西省电力公司电力科学研究院 | 电力设备温度测量方法及装置、存储介质、计算机设备 |
| CN115178551A (zh) * | 2022-07-08 | 2022-10-14 | 喵喵黑科技(深圳)有限公司 | 一种基于物联网的宠物饮水机自清洁控制系统 |
| CN115861439A (zh) * | 2022-12-08 | 2023-03-28 | 重庆市信息通信咨询设计院有限公司 | 一种深度信息测量方法、装置、计算机设备和存储介质 |
| CN116819229A (zh) * | 2023-06-26 | 2023-09-29 | 广东电网有限责任公司 | 一种输电线路的测距方法、装置、设备和存储介质 |
-
2022
- 2022-04-08 CN CN202210365206.9A patent/CN114612577A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115178551A (zh) * | 2022-07-08 | 2022-10-14 | 喵喵黑科技(深圳)有限公司 | 一种基于物联网的宠物饮水机自清洁控制系统 |
| CN115183876A (zh) * | 2022-09-09 | 2022-10-14 | 国网山西省电力公司电力科学研究院 | 电力设备温度测量方法及装置、存储介质、计算机设备 |
| CN115183876B (zh) * | 2022-09-09 | 2022-12-09 | 国网山西省电力公司电力科学研究院 | 电力设备温度测量方法及装置、存储介质、计算机设备 |
| CN115861439A (zh) * | 2022-12-08 | 2023-03-28 | 重庆市信息通信咨询设计院有限公司 | 一种深度信息测量方法、装置、计算机设备和存储介质 |
| CN115861439B (zh) * | 2022-12-08 | 2023-09-29 | 重庆市信息通信咨询设计院有限公司 | 一种深度信息测量方法、装置、计算机设备和存储介质 |
| CN116819229A (zh) * | 2023-06-26 | 2023-09-29 | 广东电网有限责任公司 | 一种输电线路的测距方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114612577A (zh) | 一种基于双目立体视觉的果园智能喷药方法及系统 | |
| CN110728715B (zh) | 一种智能巡检机器人摄像机角度自适应调整方法 | |
| US8340402B2 (en) | Device and method for detecting a plant | |
| US20040264761A1 (en) | System and method for detecting crop rows in an agricultural field | |
| US20040264762A1 (en) | System and method for detecting and analyzing features in an agricultural field | |
| JP3850541B2 (ja) | 高度計測装置 | |
| CN105716539A (zh) | 一种快速高精度的三维形面测量方法 | |
| Malekabadi et al. | Disparity map computation of tree using stereo vision system and effects of canopy shapes and foliage density | |
| CN106846385B (zh) | 基于无人机的多传感遥感影像匹配方法、装置和系统 | |
| CN114905512B (zh) | 一种智能巡检机器人全景追踪及避障方法及系统 | |
| CN110849269A (zh) | 一种田间玉米棒几何尺寸测量系统及方法 | |
| CN109543496A (zh) | 一种图像采集方法、装置、电子设备及系统 | |
| CN111950524B (zh) | 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统 | |
| CN113406604A (zh) | 一种激光雷达和摄像机位置标定的装置和方法 | |
| CN110414384B (zh) | 智能稻麦收获机导航线跟踪方法 | |
| CN107633537A (zh) | 一种基于投影的摄像头标定方法 | |
| CN102542563A (zh) | 一种移动机器人前向单目视觉的建模方法 | |
| Megalingam et al. | Adding intelligence to the robotic coconut tree climber | |
| Zhao et al. | Theoretical design and first test in laboratory of a composite visual servo-based target spray robotic system | |
| CN115147495A (zh) | 一种针对车载系统的标定方法、装置以及系统 | |
| CN112102419A (zh) | 双光成像设备标定方法及系统、图像配准方法 | |
| CN113553958A (zh) | 一种高速公路绿化带检测方法和装置 | |
| CN112233121A (zh) | 一种基于双目空间定位和智能分割的果实产量估算方法 | |
| Bayat et al. | The Architecture of a stereo image based system to measure tree geometric parameters | |
| CN117456013B (zh) | 基于对抗生成网络的雷视一体机自动标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |