CN111950524B - 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统 - Google Patents
一种基于双目视觉和rtk的果园局部稀疏建图方法和系统 Download PDFInfo
- Publication number
- CN111950524B CN111950524B CN202010889827.8A CN202010889827A CN111950524B CN 111950524 B CN111950524 B CN 111950524B CN 202010889827 A CN202010889827 A CN 202010889827A CN 111950524 B CN111950524 B CN 111950524B
- Authority
- CN
- China
- Prior art keywords
- longitude
- image
- latitude
- tree
- fruit tree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000013507 mapping Methods 0.000 title claims abstract description 25
- 239000002420 orchard Substances 0.000 title claims abstract description 22
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 110
- 230000000007 visual effect Effects 0.000 claims abstract description 18
- 238000013135 deep learning Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000003780 insertion Methods 0.000 claims description 3
- 230000037431 insertion Effects 0.000 claims description 3
- 238000003491 array Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000008685 targeting Effects 0.000 description 6
- 230000007547 defect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 244000182264 Lucuma nervosa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
Abstract
本发明公开了一种基于双目视觉和RTK的果园局部稀疏建图方法和系统,利用农业作业车辆安装的高精度定位RTK及双目视觉测距模块,基于深度学习方法识别果树,并通过双目测距并结合RTK得到每棵树的经纬度坐标,获得局部稀疏建图。本发明公开的系统包括双目视觉模块和RTK定位模块;所述双目视觉模块包括左右两个用于采集果园果树视觉图像的摄像机,分别为左摄像机和右摄像机,左右视觉图像经过计算后获取果树坐标;RTK定位模块获取RTK模块所在位置的经纬度信息;双目视觉模块和RTK定位模块安装于作业车辆上,双目视觉模块的左摄像机和右摄像机对称安装于RTK定位模块的RTK天线左右两侧。
Description
技术领域
本发明涉及果园建图方法和系统,通过获取每棵果树的经纬度坐标,最终实现果园局部稀疏建图。
背景技术
地图是农业领域无人农机作业路径规划的前提,尤其是我国山地丘陵地区环境下的自动导航与驾驶,更是离不开作业环境的地图,由于缺少作业环境地图,一定程度上已经限制了当前我国无人农机自动驾驶作业的实际应用及推广。当前,基于路径规划的方法,不管是传统的人工势场法、蚁群算法或A*、D*算法,还是目前比较流行的SLAM(即时定位与建图)或VSLAM(基于视觉的即时定位与建图)算法,都要基于全局或局部已知的地图。由于果园环境下的特殊性,目前常用的建图方法如SLAM或无人机航拍都不能有效地解决其无人行走机械的路径规划问题。比如SLAM多用于室内,在室外环境下视觉SLAM容易受光线条件的影响,激光SLAM成本高,单线激光雷达又完全满足不了需求。无人机航拍虽然可以建出比较高精度的俯视地图,但是人工成本高,需要专业的人员进行航拍并构建地图,如果环境发生变化就要重新建图,另外还需要做地图与实际定位的坐标匹配,对农机作业或管理人员来说操作技术难度大。
本发明专利针对果园的主要目标果树进行建图,将每棵树当成一个坐标点来看待,并计算出这个点的经纬度。如果得到了这个点的经纬度,那么就可以方便实现无人农机作业的路径规划、果树定靶等功能,在完成一次建图情况下,下次无人农机作业路径规划、果树定靶等无需再引入任何传感器或设备进行辅助目标识别。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,本发明公开了一种基于双目视觉和RTK的果园局部稀疏建图方法和系统,利用农业作业车辆安装的高精度定位RTK及双目视觉测距模块,基于深度学习方法识别果树,并通过双目测距并结合RTK得到每棵树的经纬度坐标,获得局部稀疏建图。
为了达到上述目的,本发明公开的系统采用以下技术方案予以实现:
一种基于双目视觉和RTK的果园局部稀疏建图系统,包括双目视觉模块和RTK定位模块;所述双目视觉模块包括左右两个用于采集果园果树视觉图像的摄像机,分别为左摄像机和右摄像机,左右视觉图像经过计算后获取果树坐标;RTK定位模块获取RTK模块所在位置的经纬度信息;双目视觉模块和RTK定位模块安装于作业车辆上,双目视觉模块的左摄像机和右摄像机对称安装于RTK定位模块的RTK天线左右两侧。
本发明公开的一种基于双目视觉和RTK的果园局部稀疏建图方法,其局部稀疏建图方法包括以下步骤:
(1)双目视觉相机成像;采集得到时间连续的一帧帧的图像;其图像采集方法为:利用双目摄像头拍摄在行进过程中的视频,将视频按每秒30帧张图像解压成多张图像;
(2)对第i帧图像,通过深度学习算法对果树进行识别,并获取视觉图像中第k棵果树中心的像素坐标Pik(x,y);深度学习算法核心采用卷积神经网络,深度学习步骤包括对收集的果树原始图像进行预处理,构成训练集和测试集,计算训练集和测试集的均值图像,通过深度学习识别出在第i帧图像中的第k棵树中心的像素坐标Pik(x,y);
(a)原始图像预处理包括:利用LabelImg软件对图像进行标签制作,即:将图像中每一颗果树用长方形框将其框起来,并保存这一棵树的标签(x,y,w,h)。其中,包括(x,y)为该棵树在图像中的中心点坐标、w为果树宽度、h为果树高度;随后对标注好的数据集按8:2比例分为训练集和测试集;
(b)使用深度神经网络训练算法Yolo-v3对模型进行训练;其中,设置学习率为:0.001、每次输入图像张数为:2000;
(c)部署训练好的深度学习模型,对新获取的图像进行识别,获得第i帧图像中第k棵果树在图像中的像素坐标Pik(x,y);
(3)进行机器视觉立体匹配并计算视差,根据每棵树中心的像素坐标、视差以及相机参数计算第i帧图像的第k棵果树的三维坐标Pik(xc,yc,zc)为:
其中,双目相机的参考坐标系为坐标系XYZ,其中坐标轴X指向右侧、坐标轴Y指向正上方、坐标轴Z指向正前方;f为相机焦距,B为是两个相机的基线距离,y=yl=yr,下标l表示双目视觉左相机,下标r表示双目视觉中右相机,xr-xl为视差;
(4)根据第i帧图像的第k棵果树的三维坐标Pik(xc,yc,zc),结合RTK坐标系下获取的坐标,计算得到该棵果树在WGS-84坐标系下经纬度坐标Fik(xik,yik,zik);从而得到双目相机所获连续图像中识别得到的果树坐标集;
(5)针对双目相机所获得连续图像中识别得到的果树坐标集,进行实时聚类,从而获得每棵树的唯一经纬度坐标。
作为本发明公开的方法的一种优选实施方式:所述步骤(5)的实时聚类方法步骤包括:
(a)假定双目视觉和RTK得到第1帧图像F1中的共k1棵果树,其经纬度坐标分别为并这将k1棵树的经纬度坐标分别存放在S1[]、S2[]、...、Sk1[]个数组中;
(b)基于双目视觉和RTK得到第2帧图像F2中的共k2棵果树,其经纬度坐标分别为将F2中的每个经纬度坐标依次和F1中的每个经纬度坐标计算平面距离:/>
计算获得共k2组,每组共k1个平面距离;
(c)取其中,1≤i≤k2,1≤k1′≤k1。如果/>将坐标点F2i存放在一个新的数组Sk1+i[N]中;如果距离/>则认为坐标F2i和坐标F1k1′为同一棵树的经纬度坐标,并将F2i插入到F1k1′所在的数组最后一个元素后;其中,Threshold为设定的阈值;
(d)以此类推,基于双目视觉和RTK得到第j帧图像Fj中的共kj棵果树,其经纬度坐标分别为将Fj中的每个经纬度坐标依次和上一相邻图像Fj-1中的每个经纬度坐标计算平面距离,并按步骤(c)依次插入相应的数组或新数组中;
(e)计算每棵树对应经纬度加权平均值;通过步骤(a)~(d),不断迭代将新的图像中识别计算出来的果树的经纬度坐标插入进相应的距离阈值小于Threshold的数组中,获得数组S1[N1]、S2[N2]、...、Sm[Nm](其中,Sm[Nm]表示第m棵果树在多张图像中分别获得的经纬度坐标,共计Nm个坐标),并对各数组中的各元素进行加权求和计算新的经纬度加权平均值;即:第m棵果树的经纬度加权平均值其中,αmi为数组Sm[Nm]中元素Sm(i)的置信度权值,数组Sm[Nm]中各元素置信度和值满足:/>由于在建图的过程认为RTK和双目视觉模是前进的,一般情况下,相机距离果树越近所测量的结果的误差越小,因此可以认为,αmi+1≥αmi(1≤i≤Nm-1);αm1、αm2...αmi的取值服从指数型分布,即αmi=αm1qi-1,并满足/>其中q为权重公比;由此计算获得:
(f)判断步骤(e)计算获得的经纬度加权平均值是否为果树最终坐标。
作为本发明公开的方法的一种优选实施方式:所述Threshold的值为30cm。
作为本发明公开的方法的一种优选实施方式:
i)设双目相机的水平可视角度为H,RTK移动方向的方位角为Azimuth,聚类数目为N(N>1);根据步骤(e)获得的第m棵果树的经纬度加权平均值Fm,计算其相对于RTK当前的经纬度的方位角PTR;
ii)当数组Sm[Nm]内的元素数量Nm>N且方位角PTR满足条件:H/2≤(PTR-Azimuth)%360)≤(360-H/2)时,即认为果树已经出了相机的视野,此时将该数组的加权平均值Fm作为一棵树的坐标P(m),至此便完成了该棵果树建模;
iii)当数组Sm[Nm]内的元素数量Nm<N且PTR也满足:H/2≤(PTR-Azimuth)%360)≤360-H/2时,即认为果树已经出了相机的视野,仅清空该数组即可,并不将该数组的加权平均值作为果树的坐标。
本发明的有益效果是:
1、由于果园环境下的特殊性,目前常用的建图方法如SLAM或无人机航拍都不能有效地解决其无人行走机械的路径规划问题。比如SLAM多用于室内,在室外环境下视觉SLAM容易受光线条件的影响,激光SLAM成本高,单线激光雷达又完全满足不了需求。无人机航拍虽然可以建出比较高精度的俯视地图,但是人工成本高,需要专业的人员进行航拍并构建地图,如果环境发生变化就要重新建图,另外还需要做地图与实际定位的坐标匹配,对农机作业或管理人员来说操作技术难度大。
本发明针对果园的主要目标果树进行建图,将每棵树当成一个坐标点来看待,并计算出这个点的经纬度。如果得到了这个点的经纬度,那么就可以方便实现无人农机作业的路径规划、果树定靶等功能,在完成一次建图情况下,下次无人农机作业路径规划、果树定靶等无需再引入任何传感器或设备进行辅助目标识别。从而克服上述建图方法的缺点。
2、本发明利用无人行走机械安装的高精度定位RTK及双目视觉测距模块,基于深度学习方法识别果树,并通过双目测距并结合RTK得到每棵树的经纬度坐标,获得局部稀疏建图的方法。本发明中,针对双目视觉通常存在的技术难点并予以解决。
(1)首先需要进行目标识别,以找到目标点,即找到果树而非其他物体;然后再进行立体匹配,以找到左右图像的对应点。本发明专利利用深度学习算法,来进行果树的目标识别。
(2)在建图过程中,通过车载的双目视觉系统移动,将获得连续的一帧帧图像,要确定每一棵树的唯一经纬度坐标,需要识别每一棵树在每一帧图像上的具体身份。利用人工进行每棵树的标注通常是不现实的,其他常用的方法可以有光流跟踪法、实例分割等方法,但这些方法往往需要较大的算力。本专利利用实时聚类方法,将不同帧的同一个棵果树归类到同一簇中,从而实现对果树的具体身份识别,从而克服其他方法的缺点。
附图说明
图1为本发明公开的系统的一种具体实施方式的组成结构示意图;
图2为本发明公开的建图方法的一种具体实施方式的算法示意图;
图3为本发明的聚类流程图;
图4为本发明的一种具体实施例的稀疏建图测试结果。
附图标记说明:
1-左摄像机,2-右摄像机,3-RTK天线,4-作业车辆。
具体实施方式
下面结合附图及实施例描述本发明具体实施方式:
如图1~4所示,其示出了本发明的具体实施方式,如图所示,本发明的系统的具体实施例如下:
一种基于双目视觉和RTK的果园局部稀疏建图系统,其实现方法包括:
所述系统包括双目视觉模块和RTK定位模块构成。双目视觉模块包括左右两个摄像机,用于采集果园果树视觉图像,左右视觉图像经过计算后可以获取果树坐标;RTK定位模块用于获取RTK模块所在位置的经纬度信息。双目视觉模块和RTK定位模块安装于作业车辆上,双目视觉模块的左右摄像机对称安装于RTK天线左右两侧。(图1)
本发明的方法的具体实施例如下:
一种基于双目视觉和RTK的果园局部稀疏建图方法(图2),所述局部稀疏建图方法包括以下步骤:
(1)双目视觉相机成像,采集得到时间连续的一帧帧的图像。其图像采集方法为:利用双目摄像头拍摄在行进过程中的视频,将视频按每秒30帧张图像解压成多张图像。
(2)对第i帧图像,通过深度学习算法对果树进行识别,并获取视觉图像中第k棵果树中心的像素坐标Pik(x,y)。其深度学习算法核心采用卷积神经网络,深度学习步骤包括对收集的果树原始图像进行预处理,构成训练集和测试集,计算训练集和测试集的均值图像,通过深度学习识别出在第i帧图像中的第k棵树中心的像素坐标Pik(x,y)。
(a)原始图像预处理包括:利用LabelImg软件对图像进行标签制作,即:将图像中每一颗果树用长方形框将其框起来,并保存这一棵树的标签(x,y,w,h)。其中,包括(x,y)为该棵树在图像中的中心点坐标、w为果树宽度、h为果树高度。随后对标注好的数据集按8:2比例分为训练集和测试集。
(b)使用深度神经网络训练算法Yolo-v3对模型进行训练。其中,设置学习率为:0.001、每次输入图像张数为:2000。
(c)部署训练好的深度学习模型,对新获取的图像进行识别,获得第i帧图像中第k棵果树在图像中的像素坐标Pik(x,y)。
(3)进行机器视觉立体匹配并计算视差,根据每棵树中心的像素坐标、视差以及相机参数计算第i帧图像的第k棵果树的三维坐标Pik(xc,yc,zc)为:
其中,双目相机的参考坐标系为坐标系XYZ,其中坐标轴X指向右侧、坐标轴Y指向正上方、坐标轴Z指向正前方。f为相机焦距,B为是两个相机的基线距离,y=yl=yr,下标l表示双目视觉左相机,下标r表示双目视觉中右相机,xr-xl为视差。
(4)根据第i帧图像的第k棵果树的三维坐标Pik(xc,yc,zc),结合RTK坐标系下获取的坐标,计算得到该棵果树在WGS-84坐标系下经纬度坐标Fik(xik,yik,zik);从而得到双目相机所获连续图像中识别得到的果树坐标集。
(5)针对双目相机所获得连续图像中识别得到的果树坐标集,进行实时聚类,从而获得每棵树的唯一经纬度坐标。如图3,其实时聚类方法步骤包括:
(a)假定双目视觉和RTK得到第1帧图像F1中的共k1棵果树,其经纬度坐标分别为并这将k1棵树的经纬度坐标分别存放在S1[]、S2[]、...、Sk1[]个数组中。
(b)基于双目视觉和RTK得到第2帧图像F2中的共k2棵果树,其经纬度坐标分别为将F2中的每个经纬度坐标依次和F1中的每个经纬度坐标计算平面距离:/>
计算获得共k2组,每组共k1个平面距离。
(c)取其中,1≤i≤k2,1≤k1′≤k1。如果/>将坐标点F2i存放在一个新的数组Sk1+i[N]中;如果距离/>则认为坐标F2i和坐标F1k1′为同一棵树的经纬度坐标,并将F2i插入到F1k1′所在的数组最后一个元素后。其中,Threshold为设定的阈值,本专利设定Threshold值为30cm,但不限定于为该值。
(d)以此类推,基于双目视觉和RTK得到第j帧图像Fj中的共kj棵果树,其经纬度坐标分别为将Fj中的每个经纬度坐标依次和上一相邻图像Fj-1中的每个经纬度坐标计算平面距离,并按步骤(c)依次插入相应的数组或新数组中。
(e)计算每棵树对应经纬度加权平均值。通过步骤(a)~(d),不断迭代将新的图像中识别计算出来的果树的经纬度坐标插入进相应的距离阈值小于Threshold的数组中,获得数组S1[N1]、S2[N2]、...、Sm[Nm](其中,Sm[Nm]表示第m棵果树在多张图像中分别获得的经纬度坐标,共计Nm个坐标),并对各数组中的各元素进行加权求和计算新的经纬度加权平均值。即:第m棵果树的经纬度加权平均值其中,ami为数组Sm[Nm]中元素Sm(i)的置信度权值,数组Sm[Nm]中各元素置信度和值满足:/>由于在建图的过程认为RTK和双目视觉模是前进的,一般情况下,相机距离果树越近所测量的结果的误差越小,因此可以认为,ami+1≥ami(1≤i≤Mm-1)。本专利中,αm1、αm2...αmi的取值服从指数型分布,即αmi=αm1qi-1,并满足/>其中q为权重公比。由此计算获得:/>
(f)判断步骤(e)计算获得的经纬度加权平均值是否为果树最终坐标。
i)设双目相机的水平可视角度为H,RTK移动方向的方位角为Azimuth,聚类数目为N(N>1)。根据步骤(e)获得的第m棵果树的经纬度加权平均值Fm,计算其相对于RTK当前的经纬度的方位角PTR。
ii)当数组Sm[Nm]内的元素数量Nm>N且方位角PTR满足条件:H/2≤(PTR-Azimuth)%360)≤(360-H/2)时,即认为果树已经出了相机的视野,此时将该数组的加权平均值Fm作为一棵树的坐标P(m),至此便完成了该棵果树建模。
iii)当数组Sm[Nm]内的元素数量Nm<N且PTR也满足:H/2≤(PTR-Azimuth)%360)≤360-H/2时,即认为果树已经出了相机的视野,仅清空该数组即可,并不将该数组的加权平均值作为果树的坐标。
通常,双目视觉通常存在以下难点:(1)首先需要进行目标识别,以找到目标点,即找到果树而非其他物体;然后再进行立体匹配,以找到左右图像的对应点。本发明专利利用深度学习算法,来进行果树的目标识别。(2)在建图过程中,通过车载的双目视觉系统移动,将获得连续的一帧帧图像,要确定每一棵树的唯一经纬度坐标,需要识别每一棵树在每一帧图像上的具体身份。利用人工进行每棵树的标注通常是不现实的,其他常用的方法可以有光流跟踪法、实例分割等方法,但这些方法往往需要较大的算力。本专利利用实时聚类方法,将不同帧的同一个棵果树归类到同一簇中,从而实现对果树的具体身份识别,从而克服其他方法的缺点。
另外,具体的,设定的RTK移动速度为1m/s,双目相机采集图像的速度为30fps,基于深度学习的实时目标检测速度为20fps,上述设定的阈值Threshold=30cm,上述设定的数组聚类数量N=25,公比q=1.1。通过实验验证,最终得到的基于双目立体视觉和深度学习的果园稀疏建图结果如图4所示。
其中,如图4所示,虚线为双目相机和RTK走过的路线,空心圆图形是通过每帧图片计算得到的果树的经纬度,五角星图形为经过聚类得到的果树的唯一经纬度,方块图形代表果树的实际坐标。通过对比表明,基于双目立体视觉和深度学习计算得到的果树坐标与实际坐标的偏差在20厘米以内,通过该方法可以较为准确的标记出果园果树的分布情况,为实现在果园环境下的无人驾驶农机的路径规划提供基本的地图。
综上所述,本发明专利包括基于双目视觉和RTK的果园局部稀疏建图系统,由农业作业车辆安装的高精度定位RTK及双目视觉测距模块组成。本发明专利针对果园的主要目标果树进行建图,将每棵树当成一个坐标点来看待,并计算出这个点的经纬度。其局部稀疏建图的方法包括:基于深度学习方法识别视觉图像中的目标果树;通过双目测距并结合RTK得到每棵树的经纬度坐标;然后对获得的每颗目标果树进行实时聚类并最终获取唯一的加权经纬度坐标。通过获取每棵目标果树的经纬度坐标,那么就可以方便实现无人农机作业的路径规划、果树定靶等功能,在完成一次建图情况下,后续无人农机作业路径规划、果树定靶等无需再引入任何传感器或设备进行辅助目标识别。
上面结合附图对本发明优选实施方式作了详细说明,但是本发明不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化,这些变化涉及本领域技术人员所熟知的相关技术,这些都落入本发明专利的保护范围。
不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解,本发明不限于特定的实施方式,本发明的范围由所附权利要求限定。
Claims (3)
1.一种基于双目视觉和RTK的果园局部稀疏建图方法,其特征在于,所述局部稀疏建图方法包括以下步骤:
(1)双目视觉相机成像;采集得到时间连续的一帧帧的图像;其图像采集方法为:利用双目摄像头拍摄在行进过程中的视频,将视频按每秒30帧张图像解压成多张图像;
(2)对第i帧图像,通过深度学习算法对果树进行识别,并获取视觉图像中第k棵果树中心的像素坐标Pik(x,y);深度学习算法核心采用卷积神经网络,深度学习步骤包括对收集的果树原始图像进行预处理,构成训练集和测试集,计算训练集和测试集的均值图像,通过深度学习识别出在第i帧图像中的第k棵树中心的像素坐标Pik(x,y);
(a)原始图像预处理包括:利用LabelImg软件对图像进行标签制作,即:将图像中每一颗果树用长方形框将其框起来,并保存这一棵树的标签(x,y,w,h);其中,包括(x,y)为该棵树在图像中的中心点坐标、w为果树宽度、h为果树高度;随后对标注好的数据集按8:2比例分为训练集和测试集;
(b)使用深度神经网络训练算法Yolo-v3对模型进行训练;其中,设置学习率为:0.001、每次输入图像张数为:2000;
(c)部署训练好的深度学习模型,对新获取的图像进行识别,获得第i帧图像中第k棵果树在图像中的像素坐标Pik(x,y);
(3)进行机器视觉立体匹配并计算视差,根据每棵树中心的像素坐标、视差以及相机参数计算第i帧图像的第k棵果树的三维坐标Pik(xc,yc,zc)为:
其中,双目相机的参考坐标系为坐标系XYZ,其中坐标轴X指向右侧、坐标轴Y指向正上方、坐标轴Z指向正前方;f为相机焦距,B为是两个相机的基线距离,y=yl=yr,下标l表示双目视觉左相机,下标r表示双目视觉中右相机,xr-xl为视差;
(4)根据第i帧图像的第k棵果树的三维坐标Pik(xc,yc,zc),结合RTK坐标系下获取的坐标,计算得到该棵果树在WGS-84坐标系下经纬度坐标Fik(xik,yik,zik);从而得到双目相机所获连续图像中识别得到的果树坐标集;
(5)针对双目相机所获得连续图像中识别得到的果树坐标集,进行实时聚类,从而获得每棵树的唯一经纬度坐标;
所述步骤(5)的实时聚类方法步骤包括:
(a)假定双目视觉和RTK得到第1帧图像F1中的共k1棵果树,其经纬度坐标分别为并这将k1棵树的经纬度坐标分别存放在S1[]、S2[]、…、Sk1[]个数组中;
(b)基于双目视觉和RTK得到第2帧图像F2中的共k2棵果树,其经纬度坐标分别为将F2中的每个经纬度坐标依次和F1中的每个经纬度坐标计算平面距离:/>
计算获得共k2组,每组共k1个平面距离;
(c)取其中,1≤i≤k2,1≤k1'≤k1;如果/>将坐标点F2i存放在一个新的数组Sk1+i[N]中;如果距离则认为坐标F2i和坐标F1k1'为同一棵树的经纬度坐标,并将F2i插入到F1k1'所在的数组最后一个元素后;其中,Threshold为设定的阈值;
(d)以此类推,基于双目视觉和RTK得到第j帧图像Fj中的共kj棵果树,其经纬度坐标分别为将Fj中的每个经纬度坐标依次和上一相邻图像Fj-1中的每个经纬度坐标计算平面距离,并按步骤(c)依次插入相应的数组或新数组中;
(e)计算每棵树对应经纬度加权平均值;通过步骤(a)~(d),不断迭代将新的图像中识别计算出来的果树的经纬度坐标插入进相应的距离阈值小于Threshold的数组中,获得数组S1[N1]、S2[N2]、…、Sm[Nm],其中,Sm[Nm]表示第m棵果树在多张图像中分别获得的经纬度坐标,共计Nm个坐标,并对各数组中的各元素进行加权求和计算新的经纬度加权平均值;即:第m棵果树的经纬度加权平均值其中,ami为数组Sm[Nm]中元素Sm(i)的置信度权值,数组Sm[Nm]中各元素置信度和值满足:/>由于在建图的过程认为RTK和双目视觉模是前进的,相机距离果树越近所测量的结果的误差越小,因此,ami+1≥ami(1≤i≤Nm-1);am1、am2…ami的取值服从指数型分布,即αmi=αm1qi-1,并满足其中q为权重公比;由此计算获得:/>
(f)判断步骤(e)计算获得的经纬度加权平均值是否为果树最终坐标。
2.如权利要求1所述的局部稀疏建图方法,其特征在于:所述Threshold的值为30cm。
3.如权利要求2所述的局部稀疏建图方法,其特征在于:
i)设双目相机的水平可视角度为H,RTK移动方向的方位角为Azimuth,聚类数目为N(N>1);根据步骤(e)获得的第m棵果树的经纬度加权平均值Fm,计算其相对于RTK当前的经纬度的方位角PTR;
ii)当数组Sm[Nm]内的元素数量Nm>N且方位角PTR满足条件:H/2≤(PTR-Azimuth)%360)≤(360-H/2)时,即认为果树已经出了相机的视野,此时将该数组的加权平均值Fm作为一棵树的坐标P(m),至此便完成了该棵果树建模;
iii)当数组Sm[Nm]内的元素数量Nm<N且PTR也满足:H/2≤(PTR-Azimuth)%360)≤360-H/2时,即认为果树已经出了相机的视野,仅清空该数组即可,并不将该数组的加权平均值作为果树的坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010889827.8A CN111950524B (zh) | 2020-08-28 | 2020-08-28 | 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010889827.8A CN111950524B (zh) | 2020-08-28 | 2020-08-28 | 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111950524A CN111950524A (zh) | 2020-11-17 |
CN111950524B true CN111950524B (zh) | 2024-03-29 |
Family
ID=73367481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010889827.8A Active CN111950524B (zh) | 2020-08-28 | 2020-08-28 | 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111950524B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112833292A (zh) * | 2021-02-04 | 2021-05-25 | 东北农业大学 | 一种夹持杆、夹持机构以及植被覆盖度采集装置 |
CN114721441B (zh) * | 2022-06-10 | 2022-08-05 | 南京航空航天大学 | 多信源融合的车载无人机自主降落控制方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107255446A (zh) * | 2017-08-01 | 2017-10-17 | 南京农业大学 | 一种矮化密植果树冠层三维地图构建系统和方法 |
CN108489496A (zh) * | 2018-04-28 | 2018-09-04 | 北京空间飞行器总体设计部 | 基于多源信息融合的非合作目标相对导航运动估计方法及系统 |
US10255670B1 (en) * | 2017-01-08 | 2019-04-09 | Dolly Y. Wu PLLC | Image sensor and module for agricultural crop improvement |
WO2019080924A1 (zh) * | 2017-10-26 | 2019-05-02 | 广州极飞科技有限公司 | 导航图配置方法、避障方法以及装置、终端、无人飞行器 |
WO2020168668A1 (zh) * | 2019-02-22 | 2020-08-27 | 广州小鹏汽车科技有限公司 | 一种车辆的slam建图方法及系统 |
-
2020
- 2020-08-28 CN CN202010889827.8A patent/CN111950524B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10255670B1 (en) * | 2017-01-08 | 2019-04-09 | Dolly Y. Wu PLLC | Image sensor and module for agricultural crop improvement |
CN107255446A (zh) * | 2017-08-01 | 2017-10-17 | 南京农业大学 | 一种矮化密植果树冠层三维地图构建系统和方法 |
WO2019080924A1 (zh) * | 2017-10-26 | 2019-05-02 | 广州极飞科技有限公司 | 导航图配置方法、避障方法以及装置、终端、无人飞行器 |
CN108489496A (zh) * | 2018-04-28 | 2018-09-04 | 北京空间飞行器总体设计部 | 基于多源信息融合的非合作目标相对导航运动估计方法及系统 |
WO2020168668A1 (zh) * | 2019-02-22 | 2020-08-27 | 广州小鹏汽车科技有限公司 | 一种车辆的slam建图方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111950524A (zh) | 2020-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110349250B (zh) | 一种基于rgbd相机的室内动态场景的三维重建方法 | |
Dong et al. | 4D crop monitoring: Spatio-temporal reconstruction for agriculture | |
CN111259809B (zh) | 基于DANet的无人机海岸线漂浮垃圾巡检系统 | |
CN110097553B (zh) | 基于即时定位建图与三维语义分割的语义建图系统 | |
CN110956651B (zh) | 一种基于视觉和振动触觉融合的地形语义感知方法 | |
US20210390329A1 (en) | Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium | |
CN105678689B (zh) | 高精地图数据配准关系确定方法及装置 | |
Levinson et al. | Traffic light mapping, localization, and state detection for autonomous vehicles | |
Lookingbill et al. | Reverse optical flow for self-supervised adaptive autonomous robot navigation | |
CN107491071B (zh) | 一种智能多机器人协同测图系统及其方法 | |
CN110334701B (zh) | 数字孪生环境下基于深度学习和多目视觉的数据采集方法 | |
CN111950524B (zh) | 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统 | |
Kang et al. | Accurate fruit localisation using high resolution LiDAR-camera fusion and instance segmentation | |
CN116258817B (zh) | 一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和系统 | |
CN110197106A (zh) | 物件标示系统及方法 | |
CN104457758B (zh) | 基于视频采集的Visual Map数据库建立方法及利用该数据库的室内视觉定位方法 | |
CN106446785A (zh) | 基于双目视觉的可行道路检测方法 | |
CN104182968A (zh) | 宽基线多阵列光学探测系统模糊动目标分割方法 | |
Xiang et al. | Field‐based robotic leaf angle detection and characterization of maize plants using stereo vision and deep convolutional neural networks | |
CN113256731A (zh) | 基于单目视觉的目标检测方法及装置 | |
CN110569387B (zh) | 基于深度哈希算法的雷达-图像跨模态检索方法 | |
CN112613437B (zh) | 一种违章建筑识别方法 | |
Gao et al. | Height-variable monocular vision ranging technology for smart agriculture | |
CN113496163A (zh) | 障碍物识别方法和装置 | |
CN111144279A (zh) | 一种智能辅助驾驶中障碍物的识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |