CN116385640A - 一种基于果实分布的猕猴桃采摘机器人覆盖路径规划方法 - Google Patents

一种基于果实分布的猕猴桃采摘机器人覆盖路径规划方法 Download PDF

Info

Publication number
CN116385640A
CN116385640A CN202310324729.3A CN202310324729A CN116385640A CN 116385640 A CN116385640 A CN 116385640A CN 202310324729 A CN202310324729 A CN 202310324729A CN 116385640 A CN116385640 A CN 116385640A
Authority
CN
China
Prior art keywords
picking
area
fruit
kiwi
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310324729.3A
Other languages
English (en)
Inventor
崔永杰
王寅初
曹丹丹
贾亮升
马利
何智
李子旭
李凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest A&F University
Original Assignee
Northwest A&F University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest A&F University filed Critical Northwest A&F University
Priority to CN202310324729.3A priority Critical patent/CN116385640A/zh
Publication of CN116385640A publication Critical patent/CN116385640A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/092Reinforcement learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种基于果实分布的猕猴桃采摘机器人覆盖路径规划方法。所述方法包括;提出一种猕猴桃果实坐标投影方法,获得猕猴桃果实在果园环境中的分布情况;提出一种猕猴桃采摘区域划分算法,结合猕猴桃采摘机器人有效采摘区域对猕猴桃果实进行采摘区域划分,将传统的基于网格的覆盖路径规划转换为各采摘区域间的旅行商求解问题;构建深度强化学习模型,求解猕猴桃采摘机器人对各采摘区域的遍历顺序。本发明所提方法根据猕猴桃果实分布进行覆盖路径规划避免猕猴桃采摘机器人对无果实区域进行遍历,相比于传统覆盖路径规划方法有效的缩短了覆盖路径,提高了猕猴桃采摘机器人的导航效率。

Description

一种基于果实分布的猕猴桃采摘机器人覆盖路径规划方法
技术领域
本发明涉及一种基于果实分布的猕猴桃采摘机器人覆盖路径规划方法,属于农业机器人与人工智能的组合优化领域。
背景技术
随着猕猴桃产业和产量的不断增加,人工采摘已逐渐不能适应市场需求,研制猕猴桃采摘机器人可以更高效,省时、确保猕猴桃的优质性,有利于实现猕猴桃产业机械化、信息化和标准化。覆盖路径规划是结合采摘机器人工作范围和猕猴桃果园环境规划出一条可行的采摘作业路径使机器人按该规划路径行进可以完成对果园内所有果实的采摘作业。
当前大部分农业采摘机器采用基于网格的覆盖路径规划方法如:Boustrophedon算法、BSA算法。这些覆盖路径规划方法对作业区域进行网格划分然后规划出遍历所有网格的覆盖路径,对于作物分布较为均匀如麦田、稻田等作业环境具有较好的规划效率,而猕猴桃果实在果园环境中并非均匀分布,传统的覆盖路径规划方法会造成采摘机器人过多遍历无果实区域,从而造成覆盖路径过长降低整体的作业效率。
因此,根据猕猴桃果实的分布规划猕猴桃采摘机器人的覆盖作业路径,可以避免猕猴桃采摘机器人对无果实区域进行遍历,从而提高猕猴桃采摘机器人整体作业效率。
发明内容
本发明提供了一种基于果实分布的猕猴桃采摘机器人覆盖的路径规划方法,能够将猕猴桃果实坐标投影至栅格地图中,并根据果实分布情况进行采摘区域划分及覆盖路径规划,缩短覆盖路径长度提高猕猴桃采摘机器人整体作业效率,所述方法包括以下步骤:
步骤1、通过激光雷达获取猕猴桃果园环境点云信息,建立猕猴桃果园栅格地图;
步骤2、通过深度相机采集猕猴桃果实图像信息,采用YOLO v4深度学习网络识别猕猴桃果实,得到猕猴桃果实在相机坐标系下的坐标;
步骤3、分析地图坐标系与相机坐标系的转换关系,将步骤2获取的猕猴桃果实坐标信息投影到栅格地图中,得到猕猴桃果实在果园环境中的分布情况;
步骤4、结合猕猴桃采摘机器人有效采摘区域提出一种猕猴桃果实采摘区域划分算法,将所有果实划分到相应的采摘区域内,将采摘区域中心点作为猕猴桃采摘机器人的工作位置,果实采摘区域划分算法步骤如下:
步骤4.1、确定采摘区域的初始中心点;
步骤4.2、标记以该点为中心的采摘区域内包含的所有果实坐标点;
步骤4.3、分别计算该区域内以其他果实坐标点为中心的采摘区域范围内所包含的果实坐标点数量;
步骤4.4、将包含果实坐标点最多的区域设置为最终区域;
步骤5、构建深度强化学习模型,求解猕猴桃采摘机器人对各个采摘区域的遍历顺序。
其中,所述步骤1中,猕猴桃果园为棚架式种植模式,行间距4m、列向间距2m、棚架高1.8m,将地垄区域设置为不可通行区域。
其中,所述步骤2中,果实坐标投影方法的相机坐标系与地图坐标系之间的转换关系为:
FM(xM,yM)=FI(xIcos(α)+yIsin(α)+dx,yIcos(α)-xIsin(α)+dy)
其中,(xI,yI)为猕猴桃果实在相机坐标系FI下的坐标位置;α为相机坐标系与地图坐标系之间的夹;(dx,dy)为相机在地图坐标系FM下的坐标位置。
其中,所述步骤4中,猕猴桃采摘机器人由履带式移动底盘搭载六自由度UR5机械臂组成,机械臂工作空间半径为0.85m的半球区域,机械臂底座高度为1.1m,猕猴桃棚架高1.8m,计算出有效采摘区域在二维平面的投影为一个半径为0.48m的圆形区域,其内接正方形的边长为0.68m。
其中,所述步骤5中,机器人t时刻的状态st对应机器人所在的采摘区域中心点。
其中,所述步骤5中,将每个行间设置为单独的工作区,机器人在每个行间进行独立规划,并且在每两个行间交接的头部与尾部各设置一个集结点,令机器人遍历完一个工作区所有状态点后,移动到距其最近的集结点,并从这个集结点移动到下一个工作区的状态点。
其中,所述步骤5中,深度强化学习模型包括用于指导猕猴桃采摘机器人状态转换的动作选择策略和用于学习训练经验的奖励更新网络。
其中,动作选择策略以距机器人当前所在状态最近的四个状态作为机器人下一步的动作选择范围。
其中,奖励更新网络是模型学习过程的实时反馈信号,其奖励函数为:
Figure SMS_1
其中ln为当前回合的路径长度;μ为调整系数;Rreach为基础奖励值;Pcover为所有采摘区域的集合;Pg为当前已遍历的采摘区域集合。
本发明提供一种基于果实分布的猕猴桃采摘机器人覆盖路径规划方法。首先,利用激光雷达,采集猕猴桃果园环境点云信息,构建二维栅格地图,在构建地图的过程中实时采集果实坐标信息,将果实坐标投影至栅格地图中,得到猕猴桃在果园环境中的分布情况。然后,结合猕猴桃采摘机器人的有效采摘区域提出一种猕猴桃果实采摘区域划分算法,将传统的基于网格的覆盖路径规划转换为求解各采摘区域遍历顺序的旅行商问题。最后,构建深度强化学习模型,用于求解猕猴桃采摘机器人对各采摘区域的遍历顺序。本发明所提方法根据果实分布进行覆盖路径规划避免猕猴桃采摘机器人对无果实区域进行遍历,相比于传统覆盖路径规划方法有效的缩短了覆盖路径,提高了猕猴桃采摘机器人的导航效率。
附图说明
图1为一个实施例中基于果实分布的猕猴桃采摘机器人覆盖路径规划方法流程图;
图2为一个实施例中猕猴桃果园地图建立流程图;
图3为一个实施例中猕猴桃果园栅格地图;
图4为一个实施例中相机坐标系与地图坐标系的位置关系示意图;
图5为一个实施例中猕猴桃果实坐标投影效果图;
图6为一个实施例中猕猴桃采摘机器人有效采摘区域示意图;
图7为一个实施例中猕猴桃采摘区域划分算法流程图;
图8为一个实施例中猕猴桃采摘区域划分效果;
图9为一个实施例中深度强化学习模型结构图;
图10为一个实施例中猕猴桃果园工作区域划分示意图;
图11为一个实施例中深度强化学习训练过程中覆盖路径长度统计图;
图12为一个实施例中深度强化学习训练的最优覆盖路径。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步详细描述。
图1表示本发明所提供的基于果实分布的猕猴桃采摘机器人覆盖路径规划方法流程图,如图1所示,该方法包括如下步骤:
1.地图构建与果实坐标投影
实验猕猴桃果园为棚架式种植模式,行间距4m、列向间距2m、棚架高1.8m。地图建立流程如图2所示,通过上位机控制控制移动底盘对猕猴桃果园进行遍历,将激光雷达采集到的果园点云信息通过串口通信传到上位机,采用Cartographer算法接收并处理点云,最后输出猕猴桃果园二维栅格地图如图3所示。在猕猴桃采摘机器人移动过程中,通过深度相机采集猕猴桃果实图像,利用YOLO v4深度学习网络实时识别猕猴桃果实并输出坐标信息,输出的果实坐标以相机坐标系FI为参考坐标系,t时刻相机坐标系FI与地图坐标系FM的位置关系如图4所示。控制移动平台完成果园环境的遍历,得到的果实投影效果如图5所示,其中绿色点表示猕猴桃果实在二维地图中的坐标投影。
2.果实采摘区域划分
猕猴桃采摘机器人由履带式移动底盘搭载六自由度UR5机械臂组成,机械臂工作空间半径为0.85m的半球区域,机械臂底座高度为1.1m。结合棚架高度计算出猕猴桃采摘机器人实际有效采摘区域为图6所示的黄色区域。将该区域投影至二维平面,计算出有效采摘区域在二维平面的投影为一个半径为0.48m的圆形区域,其内接正方形的边长为0.68m。
图7表示猕猴桃果实采摘区域划分算法流程图,首先确定采摘区域的初始中心点,并以该点为圆心画出猕猴桃采摘机器人有效采摘区域。标记出该区域中包含的果实坐标点。然后分别以被标记的果实坐标点为区域中心点,并计算出各自区域的果实坐标点数量,最后将含有最多果实坐标的区域设置为最终区域。而后重复上述步骤直至所有果实坐标点均被划分到相应的采摘区域中结束采摘区域划分。
图8表示对果实坐标进行采摘区域划分的效果,其中蓝色区域为采摘区域,红色点表示采摘区域中心点,在实际采摘作业时令采摘机器人在每个采摘区域的区域中心点进行采摘作业。
3.构建深度强化学习模型求解采摘区域遍历顺序
在对猕猴桃果实坐标进行采摘区域划分后,构建深度强化学习模型求解猕猴桃采摘机器人对各采摘区域的遍历顺序。图9表示深度强化学习模型结构示意图,深度强化学习模型包括用于指导猕猴桃采摘机器人状态转换的动作选择策略和用于学习训练经验的奖励更新网络。
动作选择策略以距机器人当前所在区域最近的四个区域作为机器人下一步的动作选择范围,且每个状态机器人只能遍历一次。为了防止猕猴桃采摘机器人经过地垄区域,将每个行间设置为单独的工作区,机器人在每个行间进行独立规划,并且在每两个行间交接的头部与尾部各设置一个集结点,令机器人遍历完一个工作区所有状态点后,移动到距其最近的集结点,并从这个集结点移动到下一个工作区的状态点。工作区的划分如图10所示,其中蓝色区域是根据地垄划分的工作区,绿色区域表示两个工作区之间的集结点。
奖励函数是强化学习训练过程的实时反馈信号,其衡量机器人在不同状态下的动作价值,从而获得累计奖励值最大的解。本实施例中深度强化学习模型的奖励函数为:
Figure SMS_2
其中ln为当前回合的路径长度;μ为调整系数;Rreach为基础奖励值;Pcover为所有采摘区域的集合;Pg为当前已遍历的采摘区域集合。
本实施例中深度强化学习的神经网络采用TensorFlow框架,其余功能通过Python语言编写。训练步数为20000次,学习率α取0.1,折损率γ为0.9,训练过程中的覆盖路径长度统计图与最短覆盖路径如图11、12所示。
以上所述仅为本发明所公开的基于果实分布的猕猴桃采摘机器人覆盖路径规划方法的优选实施方式,并非用于限定本说明书实施例的保护范围。凡在本说明书实施例的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书实施例保护范围之内。

Claims (10)

1.一种基于果实分布的猕猴桃采摘机器人覆盖路径规划方法,其特征在于,所述方法包括:
步骤1、通过激光雷达获取猕猴桃果园环境点云信息,建立猕猴桃果园栅格地图;
步骤2、通过深度相机采集猕猴桃果实图像信息,采用YOLO v4深度学习网络识别猕猴桃果实,得到猕猴桃果实在相机坐标系下的坐标;
步骤3、将步骤2获取的猕猴桃果实坐标信息投影到栅格地图中,得到猕猴桃果实在果园环境中的分布情况;
步骤4、结合猕猴桃采摘机器人有效采摘区域提出一种猕猴桃果实采摘区域划分算法,将所有果实划分到相应的采摘区域内,将采摘区域中心点作为猕猴桃采摘机器人的工作位置,果实采摘区域划分算法步骤如下:
步骤4.1、确定采摘区域的初始中心点;
步骤4.2、标记以该点为中心的采摘区域内所包含的所有果实坐标点;
步骤4.3、分别计算该区域内以其他果实坐标点为中心的采摘区域范围内所包含的果实坐标点数量;
步骤4.4、将包含果实坐标点最多的区域设置为最终区域;
步骤5、构建深度强化学习模型,求解猕猴桃采摘机器人对各个采摘区域的遍历顺序。
2.根据权利要求1所述方法,其特征在于,所述步骤1中,猕猴桃果园为棚架式种植模式,行间距4m、列向间距2m、棚架高1.8m,将地垄区域设置为不可通行区域。
3.根据权利要求1所述的方法,其特征在于,所述步骤2中,果实坐标投影方法的相机坐标系与地图坐标系之间的转换关系为:
FM(xM,yM)=FI(xIcos(α)+yIsin(α)+dx,yIcos(α)-xIsin(α)+dy)
其中,(xI,yI)为猕猴桃果实在相机坐标系FI下的坐标位置;α为相机坐标系与地图坐标系之间的夹;(dx,dy)为相机在地图坐标系FM下的坐标位置。
4.根据权利要求1所述方法,其特征在于,所述步骤4中,猕猴桃采摘机器人由履带式移动底盘搭载六自由度UR5机械臂组成,机械臂工作空间半径为0.85m的半球区域,机械臂底座高度为1.1m,猕猴桃棚架高1.8m,计算出有效采摘区域在二维平面的投影为一个半径为0.48m的圆形区域,其内接正方形的边长为0.68m。
5.根据权利要求1所述方法,其特征在于,所述步骤5中,机器人t时刻的状态st对应机器人所在的采摘区域中心点。
6.根据权利要求1所述方法,其特征在于,所述步骤5中,将每个行间设置为单独的工作区,机器人在每个行间进行独立规划,并且在每两个行间交接的头部与尾部各设置一个集结点,令机器人遍历完一个工作区所有状态点后,移动到距其最近的集结点,并从这个集结点移动到下一个工作区的状态点。
7.根据权利要求1所述方法,其特征在于,所述步骤5中,深度强化学习算法包括用于指导猕猴桃采摘机器人状态转换的动作选择策略和用于学习训练经验的奖励更新网络。
8.根据权利要求7所述方法,其特征在于,所述动作选择策略以距机器人当前所在状态最近的四个状态作为机器人下一步的动作选择范围。
9.根据权利要求7所述方法,其特征在于,所述奖励更新网络是模型学习过程的实时反馈信号,奖励函数为:
Figure QLYQS_1
其中ln为当前回合的路径长度;μ为调整系数;Rreach为基础奖励值;Pcover为所有采摘区域的集合;Pg为当前已遍历采摘区域的集合。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1至7任一项所述基于果实分布的猕猴桃采摘机器人覆盖路径规划方法的步骤。
CN202310324729.3A 2023-03-29 2023-03-29 一种基于果实分布的猕猴桃采摘机器人覆盖路径规划方法 Pending CN116385640A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310324729.3A CN116385640A (zh) 2023-03-29 2023-03-29 一种基于果实分布的猕猴桃采摘机器人覆盖路径规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310324729.3A CN116385640A (zh) 2023-03-29 2023-03-29 一种基于果实分布的猕猴桃采摘机器人覆盖路径规划方法

Publications (1)

Publication Number Publication Date
CN116385640A true CN116385640A (zh) 2023-07-04

Family

ID=86972590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310324729.3A Pending CN116385640A (zh) 2023-03-29 2023-03-29 一种基于果实分布的猕猴桃采摘机器人覆盖路径规划方法

Country Status (1)

Country Link
CN (1) CN116385640A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117426255A (zh) * 2023-12-07 2024-01-23 南京农业大学 基于视觉和力觉反馈的双孢菇自动采摘系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117426255A (zh) * 2023-12-07 2024-01-23 南京农业大学 基于视觉和力觉反馈的双孢菇自动采摘系统及方法
CN117426255B (zh) * 2023-12-07 2024-04-12 南京农业大学 基于视觉和力觉反馈的双孢菇自动采摘系统及方法

Similar Documents

Publication Publication Date Title
JP7086203B2 (ja) 植物体耕作データ測定方法、作業経路計画方法及び装置、システム
CN107037827B (zh) 无人机航空作业任务分配与航迹规划联合优化方法及装置
CN107289950A (zh) 植保无人机作业航线规划方法及植保无人机
CN116385640A (zh) 一种基于果实分布的猕猴桃采摘机器人覆盖路径规划方法
CN112015200B (zh) 一种农业无人机群协同作业系统、协同作业方法及无人机
CN113920474B (zh) 一种智能监管柑橘种植态势的物联网系统及方法
KR101109337B1 (ko) 자동 해충 인지 및 방제 시스템 및 방법
Li et al. A multi-arm robot system for efficient apple harvesting: Perception, task plan and control
Ahmadi et al. Bonnbot-i: A precise weed management and crop monitoring platform
CN113065562A (zh) 一种基于语义分割网络的作物垄行提取及主导航线选取方法
Binbin et al. Research progress on autonomous navigation technology of agricultural robot
Chen et al. Design and implementation of a novel internet of things irrigation system with a precision irrigation robot
CN117281016B (zh) 基于无人机遥感的间作系统的灌溉决策方法、装置和系统
CN114485667A (zh) 一种轻智能化的果园地头导航方法
CN117268399A (zh) 基于同向路径规划的无人机彩绘植物播种方法及系统
CN117389310A (zh) 一种农业无人机喷洒作业控制系统
CN117032230A (zh) 一种农业机器人行进路径确定方法、装置和农业机器人
CN117109574A (zh) 一种农用运输机械覆盖路径规划方法
Cao et al. Optimal coverage path planning algorithm of the tractor-formation based on probabilistic roadmaps
Polyakov Agriculture 4.0: the theoretical concept and its practical implementation
CN113804201B (zh) 对包含目标特征的作业对象的导航方法、装置及电子设备
CN115316172A (zh) 一种基于植保无人机的纳米农药施药方法及系统
Cao et al. A tractor formation coverage path planning method based on rotating calipers and probabilistic roadmaps algorithm
CN114302339A (zh) 能覆盖机器人信号的无人机定位的增广Lagrange方法
CN118525629B (zh) 一种智能深耕施肥机的营养液输送系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination