CN115294562B - 一种植保机器人作业环境智能感知方法 - Google Patents

一种植保机器人作业环境智能感知方法 Download PDF

Info

Publication number
CN115294562B
CN115294562B CN202210851499.1A CN202210851499A CN115294562B CN 115294562 B CN115294562 B CN 115294562B CN 202210851499 A CN202210851499 A CN 202210851499A CN 115294562 B CN115294562 B CN 115294562B
Authority
CN
China
Prior art keywords
trunk
dimensional
plant protection
protection robot
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210851499.1A
Other languages
English (en)
Other versions
CN115294562A (zh
Inventor
蒙艳玫
陈世锋
韦锦
董振
朱纪洪
蒙丽雯
陈贵
张佳承
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi University
Original Assignee
Guangxi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi University filed Critical Guangxi University
Priority to CN202210851499.1A priority Critical patent/CN115294562B/zh
Publication of CN115294562A publication Critical patent/CN115294562A/zh
Application granted granted Critical
Publication of CN115294562B publication Critical patent/CN115294562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种植保机器人作业环境智能感知方法，包括如下步骤：①多传感器标定与数据预处理；②树木图像识别；③预测树干尺寸及位置；④检测树干三维边界框；⑤植保机器人运动规划。本发明能够使植保机器人自动识别环境中的树木，随后对植保机器人进行后续的运动规划，完成浇水施肥等工作。不仅能适应丘陵山地等复杂环境，而且大幅度提高了植保机器人对树木的检测精度，使得植保机器人的自动化和智能化程度得到大幅度的提升。

Description

一种植保机器人作业环境智能感知方法
技术领域
本发明涉及一种植保机器人作业环境智能感知方法。
背景技术
近年来，随着农林业现代化水平不断提高，农林业的生产逐渐由劳动密集型转变为技术密集型，植保机器人得到较大的发展。然而林区的环境复杂，对于农作物和林区树木的检测大多依赖人工，工作效率低。目前农用植保无人机已较为成熟，但其面临着续航差、携带量少等问题，对于枝叶较为茂盛的植物，并不能准确地对植物根茎部位进行施肥、喷洒农药。而移动植保机器人尚未大量地应用于农田林区的植保中。目前国内很多研究机构对移动植保机器人的检测系统进行了一定程度的研究，比如：济南大学研究了一种基于支持向量机的识别算法对进行葡萄园垄行识别与农业机器人作业路径规划；北京林业大学使用三维激光扫描系统对林区立木进行扫描，获取了立木高度、胸径、树冠体积等测树因子；济南大学利用单线激光雷达感知环境，对采集到的点云数据进行处理得到导航线。
目前移动植保机器人的环境检测的缺点有二。一是目前植保机器人多采用单一传感器获取环境信息，而单一传感器有其局限性：摄像头受光线影响大，且难以获得准确的深度信息；GPS信号易受树木的遮挡，容易出现射频干扰、多路径效应等现象；而激光雷达获取的点云与图像相比较为稀疏，因此融合多个传感器弥补单一传感器的缺点有其必要性。二是目前研究的植保移动机器人环境检测算法多面向开阔农田或半结构化果园等环境，对于复杂的山地丘陵等环境不具有适用性。
发明内容
为解决上述技术问题，本发明提供了一种植保机器人作业环境智能感知方法，该植保机器人作业环境智能感知方法不仅能适应丘陵山地等复杂环境，而且大幅度提高了植保机器人对目标的检测精度，使得植保机器人的自动化和智能化程度得到大幅度的提升。
本发明通过以下技术方案得以实现。
本发明提供的一种植保机器人作业环境智能感知方法，包括如下步骤：
①多传感器标定与数据预处理：对多个传感器进行标定，从多线激光雷达和双目相机获取相对应的三维点云数据与二维图像，并对点云进行去畸变和滤波等预处理；
②树干图像识别：使用树木检测模型对二维图像中树干进行识别，得到树干二维检测框；
③预测树干尺寸及位置：根据树木检测图像预测树干的三维目标位置并扩大三维搜索范围；
④检测树干三维边界框：用激光雷达点云通过三维检测网络预测树干三维边界框；
⑤植保机器人运动规划：将树干的含三维边界的位置信息转换到植保机器人坐标系中，与尺寸信息一并输入到植保机器人的控制中心，通过控制中心对植保机器人进行后续的运动规划。
所述树木检测模型通过YOLOv5目标检测算法训练得到。
所述树木检测模型训练和测试所用数据，包含人工林环境中采集到的不同气候、不同光照条件的数据。
所述步骤③包括如下步骤：
A.预测树干尺寸：使用尺寸预测网络估计树干的尺寸，得到树干尺寸；
B.预测树干位置：使用双目视觉立体匹配算法实现树干的三维空间定位；
C.扩展三维搜索范围：对树干三维边界框进行缩放排列后得到多个三维候选区域。
所述尺寸预测网络采用了ResNet50的网络架构，其输入为步骤②得到的图像二维感兴趣区域，经过卷积和自适应全局平均池化得到图像特征，随后将图像特征输入尺寸预测模块，输出树干尺寸。
所述尺寸预测模块由两个全连接层组成，网络训练的batch size为16，epochs为20，混合学习率为0.0001，训练次数为20K。
所述三维检测网络包括候选区生成网络和边界框回归网络两个子网络拥有相同结构。
所述步骤④包括如下步骤：
a.点云输入：三维检测网络的输入为步骤③得到的候选区域内的点云(N,3)，其中N为输入点云的数量，每个单点的坐标维度为3；
b.特征提取:使用特征提取网络得到点云的局部特征和全局特征，并将其整合；
c.三维参数回归：将提取的点云特征输入到全连接层中进行回归，并通过Softmax分类器将目标分类到预先定义模板，并预测每个类别的残差得到尺寸信息。
9、如权利要求8所述的植保机器人作业环境智能感知方法，其特征在于：所述步骤b包括如下步骤：
b1.使用最远点采样算法提取定量的K个主要特征点作为关键点，随后使用K近邻算法搜寻关键点的邻域，使用球形搜索算法得到球形区域，然后将K个球形区域输入到特征提取层中，得到K个区域的局部特征；
b2.使用注意力机制将K个区域的局部特征聚合到一起，首先使用一个共享函数g(·)来为每一个局部特征学习其注意力得分Si，将学习到的注意力得分Si与局部特征加权求和得到聚合的局部特征；
b3.直接将整体点云输入特征提取层，得到整体点云的全局特征；
b4.将全局特征和局部特征赋权连接成一个特征向量。
本发明的有益效果在于：能够使植保机器人自动识别环境中的树木，随后对植保机器人进行后续的运动规划，完成浇水施肥等工作。不仅能适应丘陵山地等复杂环境，而且大幅度提高了植保机器人对树木的检测精度，使得植保机器人的自动化和智能化程度得到大幅度的提升。
附图说明
图1是本发明至少一种实施方式的流程示意图；
图2是图1中三维检测网络的网络结构示意图；
图3是本发明至少一种实施方式的三维目标候选框示意图。
具体实施方式
下面进一步描述本发明的技术方案，但要求保护的范围并不局限于所述。
实施例1
如图1、图2所示的一种植保机器人作业环境智能感知方法，其特征在于：包括如下步骤：
①多传感器标定与数据预处理：对多个传感器进行标定，从多线激光雷达和双目相机获取相对应的三维点云数据与二维图像，并对点云进行去畸变和滤波等预处理；
②树干图像识别：使用树木检测模型对二维图像中树干进行识别，得到树干二维检测框；
③预测树干尺寸及位置：根据树木检测图像预测树干的三维目标位置并扩大三维搜索范围；
④检测树干三维边界框：用激光雷达点云通过三维检测网络预测树干三维边界框；
⑤植保机器人运动规划：将树干的含三维边界的位置信息转换到植保机器人坐标系中，与尺寸信息一并输入到植保机器人的控制中心，通过控制中心对植保机器人进行后续的运动规划。
实施例2
基于实施例1，所述树木检测模型通过YOLOv5目标检测算法训练得到。
实施例3
基于实施例2，所述树木检测模型训练和测试所用数据，包含人工林环境中采集到的不同气候、不同光照条件的数据。
实施例4
基于实施例1，所述步骤③包括如下步骤：
A.预测树干尺寸：使用尺寸预测网络估计树干的尺寸，得到树干尺寸；
B.预测树干位置：使用双目视觉立体匹配算法实现树干的三维空间定位；
C.扩展三维搜索范围：对树干三维边界框进行缩放排列后得到多个三维候选区域。
实施例5
基于实施例4，所述尺寸预测网络采用了ResNet50的网络架构，其输入为步骤②得到的图像二维感兴趣区域，经过卷积和自适应全局平均池化得到图像特征，随后将图像特征输入尺寸预测模块，输出树干尺寸。
实施例6
基于实施例5，所述尺寸预测模块由两个全连接层组成，网络训练的batch size为16，epochs为20，混合学习率为0.0001，训练次数为20K。
实施例7
基于实施例1，所述三维检测网络包括候选区生成网络和边界框回归网络，两个子网络拥有相同结构。
实施例8
基于实施例1，所述步骤④包括如下步骤：
a.点云输入：三维检测网络的输入为步骤③得到的候选区域内的点云(N,3)，其中N为输入点云的数量，每个单点的坐标维度为3；
b.特征提取:使用特征提取网络得到点云的局部特征和全局特征，并将其整合；
c.三维参数回归：将点云的全局特输入到全连接层中进行回归，并通过Softmax分类器将目标分类到预先定义模板，并预测每个类别的残差得到尺寸信息。
实施例9
基于实施例8，所述步骤b包括如下步骤：
b1.使用最远点采样算法提取定量的K个主要特征点作为关键点，随后使用K近邻算法搜寻关键点的邻域，使用球形搜索算法得到球形区域，然后将K个球形区域输入到特征提取层中，得到K个区域的局部特征；
b2.使用注意力机制将K个区域的局部特征聚合到一起，首先使用一个共享函数g(·)来为每一个局部特征学习其注意力得分Si，将学习到的注意力得分Si与局部特征加权求和得到聚合的局部特征；
b3.直接将整体点云输入特征提取层，得到整体点云的全局特征；
b4.将全局特征和局部特征赋权连接成一个特征向量。
实施例10
基于上述实施例，具体采用如下步骤：
步骤一，对多个传感器进行标定，使用标定好的多线激光雷达和双目相机在实际林区环境中进行数据采集，得到的三维点云数据以及与之对应的二维图像。随后去除三维点云数据的畸变，并对点云进行滤波以及对地面点云进行滤除。
步骤二，使用在实际树林中采集的数据对YOLOv5识别算法进行训练，得到树木检测模型。在实际检测过程中，先对摄像头采集的图像进行颜色校正，然后识别树干得到二维检测框。
步骤三，使用图像检测树干尺寸及位置。使用二维检测网络预测树干的尺寸，随后使用双目立体匹配算法实现树干的三维空间定位，最后对树干三维边界框进行适当的缩放，得到三维候选区域。
步骤四，基于步骤三得到的候选区域，使用激光雷达点云预测最合适的树干边界框，即预测精确的树干位置。
步骤五，采集数据完成数据集的标注，使用标注的训练集对树干检测系统进行训练。在实际环境感知任务过程中，检测出机器人周围的树干尺寸及其中心坐标，随后对植保机器人进行后续的运动规划，完成浇水施肥等工作。
实施例11
基于上述实施例，具体采用如下步骤：
步骤一，多传感器标定与数据预处理。
在使用多个传感器进行环境感知任务之前，需要先对传感器自身、传感器与传感器之间进行标定，以获得准确的数据和不同传感器坐标系之间的转换关系。本专利采用的传感器有多线激光雷达、双目相机、惯性测量单元(Inertial Measurement Unit,IMU)，标定步骤包括：1)双目相机内参标定；2)激光雷达与双目相机外参标定；3)激光雷达与IMU外参标定。
在进行环境感知任务时，使用标定好的多线激光雷达和双目相机在实际林区环境中进行数据采集，得到的激光雷达点云数据以及与之对应的二维图像。随后对激光雷达点云数据进行预处理，具体步骤如下：
1)去除点云扫描畸变。由于植保机器人实际工作环境大多为丘陵山地，在路面不平坦的情况下，即使以低速运行也会不可避免地产生晃动，利用比激光雷达有着更高频率的IMU则能够较好地消除植保机器人由于晃动引起的扫描畸变。对IMU测量值在单次激光雷达扫描时间内进行预积分，获得在积分时间内机器人的位姿变化，进而对激光雷达点云数据进行矫正。
2)对点云进行预处理。由于激光雷达采集的点云数据量较大，使用滤波器对点云预处理能减少点云数量，提高算法效率。首先使用VoxelGrid体素滤波器对点云进行降采样处理；随后用统计滤波对点云去噪，去除离群特征点；最后用直通滤波器过滤不感兴趣区域的点云，由于摄像头获取的图像范围比激光雷达点云的范围小，因此去除固定高度和宽度以外的点云，以减少点云数量，提升整体系统效率。
3)地面点云滤除。有效地除去地面点，提取非地面点数据能够提高后续检测算法的处理效率和精度。由于实际工作环境为丘陵山地，地面起伏坡度较大，采用布料滤波算法(Cloth Simulation Filter,CSF)对地面点云进行滤除。
步骤二，树木图像识别。
在这一步骤当中，使用彩色图像进行树干的识别，得到准确的二维检测框为后续预测树干的三维参数做准备。树木识别的具体过程如下：
1)颜色校正。为避免树林中复杂环境下不同光线强弱对图像识别精度的影响，使用基于图像熵约束的灰度世界法对采集的图像进行颜色校正：
①首先分别计算图像R,G,B三个颜色通道的一维离散相对熵HR：
Figure BDA0003753695520000091
式中，k表示颜色通道，Pk，i表示k颜色通道中灰度值为i的像素在图像中的比例。
②然后分别计算三通道的约束增益系数；
Figure BDA0003753695520000101
式中，Kr、Kg、Kb分别为原始灰度世界算法的三通道增益系数。
③最后利用约束增益系数对图像进行颜色校正。
2)模型训练。使用YOLOv5目标检测算法在双目相机采集的左图像上检测出树干的二维检测框。在训练过程中，先对图像进行颜色校正，随后使用在实际树林中采集的数据进行训练，得到训练好的树木检测模型。
3)目标识别。在实际检测过程中，先对摄像头采集到的图像进行颜色校正，然后使用树木检测模型识别树干，得到二维感兴趣区域(region of interest,ROI)。
步骤三，使用图像预测树干尺寸及位置。
在这一步骤中，我们需要使用图像预测树干的尺寸与位置范围，为使用激光雷达点云精确检测树干做准备。由于树干几何形状接近圆柱体，这里仅预测人工林树木胸径D及其树高H，(先验地把方向角预测为0，长、宽相等且等于直径)以简化算法过程，提高效率。所有需要预测的参数包括：树木胸径D、树高H以及树木在激光雷达坐标系中的位置{X，Y，Z}，共5个参数。二维检测流程如下：
1)预测树干尺寸。使用卷积神经网络估计树干尺寸，其中特征提取部分采用了ResNet50的网络架构。具体过程如下：首先将步骤三得到的二维感兴趣区域(region ofinterest,ROI)输入预训练好的ResNet50网络，经过卷积和自适应全局平均池化(AdaptiveGlobal Average Pooling)得到图像特征；随后将得到的图像特征输入尺寸预测网络模块，经过两个全连接层(Fully Connected Layer)，最后输出树干尺寸{H，D}。网络训练的batchsize为16，epochs为20，混合学习率为0.0001，训练次数为20K。
进一步地，基于树干的平均尺寸
Figure BDA0003753695520000111
对尺寸进行预测。尺寸回归采用平滑L1损失函数：
Figure BDA0003753695520000112
式中，S*是尺寸的ground truth，
Figure BDA0003753695520000113
是树干的平均尺寸，δ是相对于网络预测的平均值的估计残差。
2)预测树干位置。使用双目视觉立体匹配算法实现树干的三维空间定位。具体过程如下：①对双目摄像头采集的左图像和右图像进行灰度化和二值化处理，并采用高斯滤波算法进行去噪；②在左图像和右图像中进行ORB特征点检测，并去除步骤三得到的左图像的感兴趣区域(ROI)外的特征点；③使用KNN算法对两图像中的特征点进行匹配；④使用RANSAC算法剔除误匹配；⑤根据双目视觉测距原理计算特征点深度Z，公式如下：
Figure BDA0003753695520000114
式中，f为焦距；B为基线距离，即两摄像头的间距。(xl，yl)为目标点{X，Y，Z}投影到左摄像头成像平面上点的坐标，d为视差，即特征点投影到左摄像头成像平面上点(xl，yl)的横坐标，与其投影到右摄像头成像平面上点(xr，yr)的横坐标之间的差值。
进一步地，取同一感兴趣区域(ROI)内所有匹配特征点深度的均值
Figure BDA0003753695520000115
作为该树干的实际深度Z；取感兴趣区域(ROI)的中心像素点
Figure BDA0003753695520000116
到相机坐标系中的投影{X，Y}camera作为树干的坐标，进而得到树干的中心位置{X，Y，Z}camera。
3)扩展三维搜索范围。由双目图像数据估计树干尺寸及位置，即得到了树干的三维边界框。为提高定位精度，提高检测系统的鲁棒性，我们对树干三维边界框进行适当的缩放，得到三维候选区域，为下一步使用激光雷达点云精确检测树干做准备。扩展得到的三维候选框如图3，由投影定理，三维候选框沿着相机的投影光线分布，其大小与相机距离成正比。公式表达如下：
Figure BDA0003753695520000121
其中,bradar，small为缩小框，bradar，large为放大框。c∈(0，1)为三维边界框的缩放参数；B为相机坐标到激光雷达坐标系的投影方程组：
Figure BDA0003753695520000122
投影方程组包含形如公式(6)的8个投影约束方程，对应三维候选框的8个顶点。其中，R为旋转矩阵，T为平移矩阵，具体参数由激光雷达与双目相机的外参标定决定。将以上所求多个三维候选框沿着投影光线等距按大小排列，最终生成多个候选区域。
步骤四，使用点云检测树干三维边界框。
在这一步骤中，目标是使用激光雷达点云预测最合适的树干三维边界框。三维检测网络包括候选区生成网络(RPN)和边界框回归网络(BRN)两个子网络，它们拥有相同结构。三维检测网络结构图如图2，具体过程如下：
1)点云输入。由步骤三得到的多个候选区域，分别将其内包含的激光雷达点云(N,3)输入三维检测网络，其中N为输入点云的数量，每个单点的坐标维度为3。
2)局部特征提取。首先通过采样层对输入点云进行采样，使用最远点采样算法(Farthest Point Sampling,FPS)提取定量的K个主要特征点作为关键点；随后使用K近邻算法(KNN)搜寻采样层提取出的关键点的邻域来组成K个区域，使用球形搜索算法将超出关键点固定半径的点云进行剔除，得到球形区域；然后将K个球形区域输入到特征提取层中，得到K个区域的局部特征。
进一步地，使用注意力机制将K个区域的局部特征Fi＝{f1…fk…fK}聚合到一起。首先使用一个共享函数g(·)来为每一个局部特征学习其注意力得分Si：
Si＝g(fi，W)  (7)
式中，g(·)由一个多层感知机(Multi-layer Perceptrons,MLP)和一个softmax组成；W为MLP的共享学习权重。
随后，将学习到的注意力得分Si与局部特征加权求和得到聚合的局部特征：
Figure BDA0003753695520000131
3)全局特征提取与特征融合。另一个分支则直接将整体点云输入特征提取层，得到整体点云的全局特征。进一步地，随后，为避免全局特征因点云密度不均匀而不能很好地挖掘点云的局部特征的问题，把局部点云特征和整体点云全局特征向量连接成一个特征向量，为这两个特征向量设置不同的权重以提高最终提取的特征的可信度。
4)特征提取层。上述步骤提及的特征提取层是简化的PointNet网络：输入的点云数据经过T-Net对齐后，经过MPL提取特征并提升维度到64，随后使用T-Net对齐特征，再经过MLP提取1024维度的特征，最后使用最大池化层(Max-pooling Layer)把点云数据整合为输入点云的全局特征。
5)三维参数回归。将提取的特征输入到全连接层(Fully Connected Layer)中，对三维检测框的参数进行回归：通过候选区域中心C＝{cx，cy，cz}和x,y,z方向上的估计残差计算得到预测位置C预测＝C+C残差；通过使用Softmax分类器将目标分类到预先定义的NS(Numbers of Scale)个大小模板中，并预测每个类别的残差得到尺寸信息。
候选区生成网络(RPN)输出的是树干的位置{X，Y，Z}radar以及置信度(objectness)，然后将当前估计位置的点云输入到边界框回归网络(BRN)，最后由边界框回归网络输出树干的位置{X，Y，Z}radar和尺寸信息{H，D}。
进一步地，在网络的训练过程中，使用如下的多任务损失函数对RPN和BRN进行优化：
Figure BDA0003753695520000141
式中，Lobj，Lsize-cls分别为树干对象和树干尺寸的分类损失，采用交叉熵损失函数；λloc为权重函数；1obj表示给定的候选区域是否为真，即候选区域是否包含树干点云；Lloc,Lsize-reg分别为位置和尺寸的回归损失，采用平滑L1损失函数；
Figure BDA0003753695520000142
为正则项，防止网络过拟合。
步骤五，系统训练及植保机器人后续运动规划。
数据采集。使用搭载了标定好的双目相机、多线激光雷达和IMU的植保机器人，在实际人工林环境中的晴天、阴天、雨天等不同光照条件下采集数据作为训练数据和测试数据。
系统训练。对采集的图片，进行颜色校正后，使用标注工具labelImg进行标注，将标注框紧贴图片中树木树干的边缘位置；使用点云标注工具annotate对预处理后的点云数据进行手工标注，仅标注树木树干，为其点云赋予类别标签和尺寸信息。利用标注的训练集对二维图像识别、二维检测网络和三维检测网络进行训练，得到训练好的树干检测系统。
后续运动规划。在植保机器人实际运行过程中，根据检测得到的图像数据和激光雷达点云数据，检测出机器人周围树木树干的尺寸及其中心坐标。随后，将树干的位置信息转换到植保机器人坐标系中，与尺寸信息一并输入到植保机器人的控制中心，通过控制中心对植保机器人进行后续的运动规划，完成浇水施肥、喷洒农药等工作。

Claims (6)

1.一种植保机器人作业环境智能感知方法，其特征在于：包括如下步骤：
①双目相机、多线激光雷达以及惯性测量单元IMU标定与数据预处理：对双目相机、多线激光雷达以及惯性测量单元IMU进行标定，从多线激光雷达和双目相机获取相对应的三维点云数据与二维图像，并对点云进行去畸变和滤波预处理；
②树干图像识别：使用树木检测模型对二维图像中树干进行识别，得到树干检测图像；
③预测树干尺寸及位置：根据树干检测图像预测树干的三维目标位置并扩大三维搜索范围；
④检测树干三维边界框：用激光雷达点云通过三维检测网络预测树干三维边界框；
⑤植保机器人运动规划：将树干的含三维边界的位置信息转换到植保机器人坐标系中，与尺寸信息一并输入到植保机器人的控制中心，通过控制中心对植保机器人进行后续的运动规划；
所述步骤③包括如下步骤：
A.预测树干尺寸：使用尺寸预测网络估计树干的尺寸，得到树干尺寸；
B.预测树干位置：使用双目视觉立体匹配算法实现树干的三维空间定位；
C.扩展三维搜索范围：对树干三维边界框进行缩放排列后得到多个三维候选区域；
所述步骤④包括如下步骤：
a.点云输入：三维检测网络的输入为步骤③得到的候选区域内的点云(N, 3)，其中N为输入点云的数量，每个单点的坐标维度为3；
b.特征提取: 使用特征提取网络得到点云的局部特征和全局特征，并将其整合；
c.三维参数回归：将提取的点云特征输入到全连接层中进行回归，并通过Softmax分类器将目标分类到预先定义模板，并预测每个类别的残差得到尺寸信息；
所述步骤b包括如下步骤：
b1. 使用最远点采样算法提取定量的K个主要特征点作为关键点，随后使用K近邻算法搜寻关键点的邻域，使用球形搜索算法得到球形区域，然后将K个球形区域输入到特征提取层中，得到K个区域的局部特征；
b2. 使用注意力机制将K个区域的局部特征聚合到一起，首先使用一个共享函数来为每一个局部特征学习其注意力得分 ，将学习到的注意力得分 与局部特征加权求和得到聚合的局部特征；
b3. 直接将整体点云输入特征提取层，得到整体点云的全局特征；
b4. 将全局特征和局部特征赋权连接成一个特征向量。
2.如权利要求1所述的植保机器人作业环境智能感知方法，其特征在于：所述树木检测模型通过YOLOv5目标检测算法训练得到。
3.如权利要求2所述的植保机器人作业环境智能感知方法，其特征在于：所述树木检测模型训练和测试所用数据，包含人工林环境中采集到的不同气候、不同光照条件的数据。
4.如权利要求1所述的植保机器人作业环境智能感知方法，其特征在于：所述尺寸预测网络采用了ResNet50的网络架构，其输入为步骤②得到的图像二维感兴趣区域，经过卷积和自适应全局平均池化得到图像特征，随后将图像特征输入尺寸预测模块，输出树干尺寸。
5. 如权利要求4所述的植保机器人作业环境智能感知方法，其特征在于：所述尺寸预测模块由两个全连接层组成，网络训练的batch size为16，epochs为20，混合学习率为0.0001，训练次数为20K。
6.如权利要求1所述的植保机器人作业环境智能感知方法，其特征在于：所述三维检测网络包括候选区生成网络和边界框回归网络，两个子网络拥有相同结构。
CN202210851499.1A 2022-07-19 2022-07-19 一种植保机器人作业环境智能感知方法 Active CN115294562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210851499.1A CN115294562B (zh) 2022-07-19 2022-07-19 一种植保机器人作业环境智能感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210851499.1A CN115294562B (zh) 2022-07-19 2022-07-19 一种植保机器人作业环境智能感知方法

Publications (2)

Publication Number Publication Date
CN115294562A CN115294562A (zh) 2022-11-04
CN115294562B true CN115294562B (zh) 2023-05-09

Family

ID=83825223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210851499.1A Active CN115294562B (zh) 2022-07-19 2022-07-19 一种植保机器人作业环境智能感知方法

Country Status (1)

Country Link
CN (1) CN115294562B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117882546B (zh) * 2024-03-13 2024-05-24 山西诚鼎伟业科技有限责任公司 一种面向农业作业机器人的智能化种植方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111243017A (zh) * 2019-12-24 2020-06-05 广州中国科学院先进技术研究所 基于3d视觉的智能机器人抓取方法
CN113310488A (zh) * 2021-04-29 2021-08-27 西安交通大学 一种基于slam的果园机器人导航方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10657372B2 (en) * 2017-02-16 2020-05-19 Walmart Apollo, Llc Systems and methods for identifying and displaying optimal locations for a garden
CN107607053B (zh) * 2017-09-20 2019-09-20 浙江农林大学 一种基于机器视觉和三维重建技术的立木胸径测量方法
CN108921330A (zh) * 2018-06-08 2018-11-30 新疆林科院森林生态研究所 一种森林管理系统
CN110244322B (zh) * 2019-06-28 2023-04-18 东南大学 基于多源传感器的路面施工机器人环境感知系统及方法
CN110806585B (zh) * 2019-10-16 2021-10-19 北京理工华汇智能科技有限公司 一种基于树干聚类跟踪的机器人定位方法及系统
CN111179335A (zh) * 2019-12-28 2020-05-19 东北林业大学 一种基于双目视觉的立木测定方法
CN111489358B (zh) * 2020-03-18 2022-06-14 华中科技大学 一种基于深度学习的三维点云语义分割方法
CN113778081B (zh) * 2021-08-19 2022-07-22 中国农业科学院农业资源与农业区划研究所 一种基于激光雷达和视觉的果园路径识别方法和机器人
CN114485667B (zh) * 2022-01-13 2024-05-24 中国农业大学 一种轻智能化的果园地头导航方法
CN114689038B (zh) * 2022-04-12 2024-10-22 华南农业大学 基于机器视觉的果实检测定位与果园地图构建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111243017A (zh) * 2019-12-24 2020-06-05 广州中国科学院先进技术研究所 基于3d视觉的智能机器人抓取方法
CN113310488A (zh) * 2021-04-29 2021-08-27 西安交通大学 一种基于slam的果园机器人导航方法

Also Published As

Publication number Publication date
CN115294562A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN111429514A (zh) 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN111553245A (zh) 基于机器学习算法和多源遥感数据融合的植被分类方法
CN109146889A (zh) 一种基于高分辨率遥感图像的农田边界提取方法
CN109255302A (zh) 目标物识别方法及终端、移动装置控制方法及终端
Lin et al. Automatic detection of plant rows for a transplanter in paddy field using faster r-cnn
CN117409339A (zh) 一种用于空地协同的无人机作物状态视觉识别方法
CN113065562A (zh) 一种基于语义分割网络的作物垄行提取及主导航线选取方法
CN111811502B (zh) 一种运动载体多源信息融合导航方法及系统
CN115294562B (zh) 一种植保机器人作业环境智能感知方法
CN116486287A (zh) 基于环境自适应机器人视觉系统的目标检测方法及系统
Biglia et al. 3D point cloud density-based segmentation for vine rows detection and localisation
Zou et al. The fusion of satellite and unmanned aerial vehicle (UAV) imagery for improving classification performance
CN115032648A (zh) 一种基于激光雷达密集点云的三维目标识别与定位方法
CN112434569A (zh) 一种无人机热成像系统
Buddha et al. Weed detection and classification in high altitude aerial images for robot-based precision agriculture
Zhong et al. Identification and depth localization of clustered pod pepper based on improved Faster R-CNN
CN116994029A (zh) 一种用于多源数据的融合分类方法及系统
Buttar Satellite Imagery Analysis for Crop Type Segmentation Using U-Net Architecture
CN115761265A (zh) 一种用于提取激光雷达点云中变电站设备的方法及装置
Khan et al. A deep learning-based detection system of multi-class crops and orchards using a UAV
Li et al. Low-altitude remote sensing-based global 3D path planning for precision navigation of agriculture vehicles-beyond crop row detection
Li et al. Application of Deep Learning Techniques in UAV Image Recognition and Tracking
CN118604865B (zh) 一种基于田间信息约束的农机定位方法
CN118397483A (zh) 基于yolo网络的果树靶标定位和导航线区域分割方法
Jiang et al. Potentials of Deep Learning Frameworks for Tree Trunk Detection in Orchard to Enable Autonomous Navigation System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant