CN112372633B - 机器人的果园树形架型自主推理与场景理解方法 - Google Patents

机器人的果园树形架型自主推理与场景理解方法 Download PDF

Info

Publication number
CN112372633B
CN112372633B CN202011104320.3A CN202011104320A CN112372633B CN 112372633 B CN112372633 B CN 112372633B CN 202011104320 A CN202011104320 A CN 202011104320A CN 112372633 B CN112372633 B CN 112372633B
Authority
CN
China
Prior art keywords
crown
tree
point cloud
orchard
dimensional depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011104320.3A
Other languages
English (en)
Other versions
CN112372633A (zh
Inventor
刘继展
何蒙
单海勇
彭赟
毛罕平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Publication of CN112372633A publication Critical patent/CN112372633A/zh
Application granted granted Critical
Publication of CN112372633B publication Critical patent/CN112372633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种机器人的果园树形架型自主推理与场景理解方法，属于农业机器人领域。针对半结构化的果园复杂环境，机器人通过激光雷达自主导航和锁定树冠，获得树冠的主枝‑柱架骨架特征，与内置在控制系统中的果园农艺知识库比对，实现果园树形架型的自主推理，进而基于不同果园树形架型自动选择对应在手相机初定位模式，完成树冠三维轮廓粗成像，最后自动选择对应的树冠分区模式实现近距离的场景理解、目标识别和定位。本发明解决了机器人作业时，对未知果园场景的完全依赖摸索式探测的适应性差、效率极低问题，实现了果园场景的自主连续理解。

Description

机器人的果园树形架型自主推理与场景理解方法
技术领域
本发明涉及农业机器人领域，特别涉及一种机器人的果园树形架型自主推理与场景理解方法。
背景技术
果园是典型的半结构化复杂环境，对果园场景的有效理解是保证机器人自主连续作业的核心。基于对果园场景的充分理解，机器人才能实现在果园内导航行走和连续果实逐个采摘、套袋、整枝、打叶、授粉等复杂动作决策。而现有研究尚难以满足机器人在果园现场连续作业的需要，主要存在如下问题：
(1)果园的建园规范、树形架型存在很大差异，现有导航和作业或依赖先验信息与预航行建图，或完全依赖机器人对完全未知复杂果园及树冠环境的摸索式探测，巨大的算力消耗导致机器人的适应性差、效率极低；
(2)现有研究分别以树行探测、果实等目标分割提取的单一研究为主，而缺乏机器人在果园现场连续作业过程不同尺度、不同任务的场景自主连续理解，无法满足机器人在果园行走、寻找目标、作业的复杂决策需要。
发明内容
针对现有技术中存在不足，本发明提供了一种机器人的果园树形架型自主推理与场景理解方法，实现在复杂果园树行环境下机器人对果园树形架型特征的自主推理、基于果园树形架型特征的自主场景理解与决策。
本发明是通过以下技术手段实现上述技术目的的。
机器人的果园树形架型自主推理与场景理解方法，包括果园树形架型的自主推理、基于果园树形架型的树冠三维轮廓粗成像和基于果园树形架型的树冠分区理解；所述果园树形架型的自主推理为：提取树冠的主枝-柱架骨架特征，并与控制系统中的果园农艺知识库进行在线比对，确定果园树形架型；所述基于果园树形架型的树冠三维轮廓粗成像建立全树冠轮廓的稀疏点云图像，控制系统应用基于果园树形架型的树冠分区模式完成全树冠轮廓稀疏点云图像的分区、分区作业顺序规划，在每一分区内，由在手三维深度相机根据作业顺序，实现近距离的场景理解、目标识别和定位。
进一步的技术方案，所述果园农艺知识库的建立过程为：在机器人作业前，通过对多主枝自然形、纺锤形、自然开心形、双层栅篱型、Y字型、篱架型的果园树形架型进行形态学分析，提取各树形架型的树冠轮廓和主枝-柱架骨架的三维结构关键特征。
进一步的技术方案，所述树冠的主枝-柱架骨架特征提取，具体为：在树行线上随机抽取树干的二维深度点云簇，根据二维激光雷达与全局三维深度相机的点云坐标对齐关系，以线上二维点云簇为基础进行三维点云的聚类竖直生长，从而获得二维点簇对应的树冠的三维点云簇，控制系统由树冠的三维点云簇提取获得树冠的主枝-柱架骨架特征。
更进一步的技术方案，所述树行线的获取过程为：通过二维激光雷达水平激光扫描，在探测距离D1内获得机器人所处区域两侧的树干、行外和行间障碍物的多个二维深度点云簇，控制系统对各二维深度点云簇进行拟合，获得两侧树行线；所述两侧树行线用与机器人中线的对比计算，获得机器人车头的方向偏差角和机器人中心相对两侧树行的位置偏差，控制系统根据方向偏差角和位置偏差进行机器人相对两侧树行线的纠偏。
进一步的技术方案，所述建立全树冠轮廓的稀疏点云图像，具体为：
1)控制系统根据二维激光雷达扫描和树行线提取，获取各树干二维深度点云簇，并确定各树干9二维深度点云簇在世界坐标系内的中心坐标，控制机械臂带动在手三维深度相机向各树干对应的树冠移动；
2)控制系统根据果园树形架型的自主推理方法判定树形架型自动选择基于树形架型的在手相机初定位模式，控制机械臂带动在手三维深度相机应用进行初定位；
3)依据基于树形架型的在手相机初定位模式和在手三维深度相机的视场范围变换位姿，控制机械臂带动在手三维深度相机对近前方树冠目标进行多视点的移动探测，获得不同视点的稀疏3D点云图像；
4)控制系统将移动探测中在手三维深度相机不同视点变换为全局坐标的位姿表达，根据不同视点间的位置和姿态变换矩阵关系，完成不同视点的稀疏点云3D图像快速拼接，建立全树冠轮廓的稀疏点云图像。
更进一步的技术方案，所述基于树形架型的在手相机初定位模式为：
1)多主枝自然形：在各树干点云簇的中心位置竖直生长树冠的中心线，在中心线上以离地高度H1处为球心，以R1为半径确定球面，在手三维深度相机定位于该球面上，且在手三维深度相机的视轴朝向球心；
2)纺锤形：在各树干点云簇的中心位置竖直生长树冠的中心线，基于该中心线以R2为半径确定圆柱面，在手三维深度相机定位于该圆柱面上，且在手三维深度相机的视轴朝向中心线；
3)自然开心形：在各树干点云簇的中心位置竖直生长树冠的中心线，在中心线上以离地高度H2处为球心，以R3为半径确定球面，在手三维深度相机定位于该球面上，且在手三维深度相机的视轴朝向球心；
4)水平棚架型：在手三维深度相机与水平棚架骨架水平面U的距离为kD3，且在手三维深度相机的视轴垂直所述水平面U；
5)Y字型：分别以所提取树冠骨架线的Y字两斜架为中心线，以R3为半径确定圆柱面，在手三维深度相机定位于该圆柱面上，且在手三维深度相机的视轴朝向主枝骨架线；
6)篱架型：在手三维深度相机与篱架骨架竖直面W的距离为kD3，且在手三维深度相机的视轴垂直所述竖直面W；
其中：R1＝Ra+kD3，树冠半径Ra根据多主枝自然形果树的树冠尺寸统计确定，k为比例系数，D3为在手三维深度相机的探测距离；R3＝Rb+kD3，树冠半径Rb根据多主枝自然形果树的树冠尺寸统计确定。
进一步的技术方案，所述基于果园树形架型的树冠分区模式为：
1)多主枝自然形：在所述球面的坐标系(D，θ，
Figure BDA0002726440240000031
)内以水平夹角值θ0和竖直夹角值
Figure BDA0002726440240000032
进行分区；
2)纺锤形：在所述圆柱面的坐标系(R，β，h)内以柱体横截面夹角值β0和柱高值h0进行分区；
3)自然开心形：在所述球面的坐标系(D，θ，
Figure BDA0002726440240000033
)内以水平夹角值θ0和竖直夹角值
Figure BDA0002726440240000035
进行分区；
4)水平棚架型：在平行于水平棚架骨架水平面U内以水平坐标值x0和竖直坐标值y0分区；
5)Y字型：在所述柱面坐标系(R，β，h)内以柱体横截面夹角值β0和柱高值h0进行分区；
6)篱架型：在平行于篱架骨架竖直面W内以水平坐标值x0和竖直坐标值y0分区；
其中：D为全树冠轮廓稀疏点云图像上的点与球心的距离，θ为全树冠轮廓稀疏点云图像上的点与球心连线在水平面内的夹角，
Figure BDA0002726440240000034
为全树冠轮廓稀疏点云图像上的点与球心连线在竖直平面内的夹角，R为全树冠轮廓稀疏点云图像上的点与中心线的距离，β为全树冠轮廓稀疏点云图像上的点到中心线的垂线在水平面内的夹角，h为树冠沿中心线的高度。
本发明的有益效果为：本发明一种机器人的果园树形架型自主推理与场景理解方法，包括果园树形架型的自主推理、基于果园树形架型的树冠三维轮廓粗成像和基于果园树形架型的树冠分区理解；果园树形架型的自主推理具体为：提取树冠的主枝-柱架骨架特征，并与控制系统中的果园农艺知识库进行在线比对，确定果园树形架型；基于果园树形架型的树冠三维轮廓粗成像建立全树冠轮廓的稀疏点云图像，控制系统应用基于果园树形架型的树冠分区模式完成全树冠轮廓稀疏点云图像的分区、分区作业顺序规划，在每一分区内，由在手三维深度相机根据作业顺序，实现近距离的场景理解、目标识别和定位。本发明解决了机器人作业时，对未知果园场景的完全依赖摸索式探测的适应性差、效率极低问题，实现了果园场景的自主连续理解，方法简化、实时性和稳定性好。
附图说明
图1为本发明机器人场景感知系统与果园树行关系示意图；
图2为果园常见树形架型示意图，图2(a)为多主枝自然形示意图，图2(b)为纺锤形示意图，图2(c)为自然开心形示意图，图2(d)为水平棚架型示意图，图2(e)为Y字型示意图，图2(f)为篱架型示意图；
图3为基于树形架型的在手三维深度相机初定位模式示意图，图3(a)为基于多主枝自然形的在手三维深度相机初定位模式示意图，图3(b)为基于纺锤形的在手三维深度相机初定位模式示意图，图3(c)为基于自然开心形的在手三维深度相机初定位模式示意图，图3(d)为基于水平棚架型的在手三维深度相机初定位模式示意图，图3(e)为基于Y字型的在手三维深度相机初定位模式示意图，图3(f)为基于篱架型的在手三维深度相机初定位模式示意图；
图4为基于果园树形架型的树冠分区模式示意图，图4(a)为基于多主枝自然形、基于自然开心形的树冠分区模式示意图，图4(b)为基于纺锤形的树冠分区模式示意图，图4(c)为基于水平棚架型的树冠分区模式示意图，图4(d)为基于Y字型的树冠分区模式示意图，图4(e)为基于篱架型的树冠分区模式示意图。
图中，1.二维激光雷达，2.机器人底盘，3.机械臂，4.全局三维深度相机，5.末端执行器，6.在手三维深度相机，7.树冠，8.树干。
具体实施方式
下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。
如图1所示，机器人场景感知系统包括、二维激光雷达1、全局三维深度相机4、在手三维深度相机6和控制系统，二维激光雷达1和全局三维深度相机4水平安装于机器人底盘2的正前部，二维激光雷达1和全局三维深度相机4在机器人基坐标下点云坐标对齐，在手三维深度相机6安装于机械臂3的末端执行器5上；二维激光雷达1、全局三维深度相机4、在手三维深度相机6均与控制系统进行通信。二维激光雷达1的探测距离为D1，全局三维深度相机4的探测距离为D2，在手三维深度相机6的探测距离为D3。二维激光雷达1的离地高度为H，果园树干8的最低高度为H0，且H<H0。
如图2所示，果园的常见树形架型包括多主枝自然形、纺锤形、自然开心形、水平棚架型、Y字型和篱架型。
一种机器人的果园树形架型自主推理与场景理解方法，包括果园树形架型的自主推理方法、基于果园树形架型的树冠三维轮廓粗成像方法和基于果园树形架型的树冠分区理解方法。
果园树形架型的自主推理方法，具体包括如下步骤：
步骤(1)，通过多主枝自然形、纺锤形、自然开心形、双层栅篱型、Y字型、篱架型的形态学分析，提取各树形架型的树冠轮廓、主枝-柱架骨架的三维结构关键特征，建立含有多主枝自然形、纺锤形、自然开心形、水平棚架型、Y字型和篱架型的三维形态结构关键特征的果园农艺知识库；在机器人作业前，果园农艺知识库内置于控制系统内；
步骤(2)，机器人通过二维激光雷达1的水平激光扫描，在探测距离D1内获得机器人所处区域两侧的树干8、行外和行间障碍物的多个二维深度点云簇；
步骤(3)，控制系统对各二维深度点云簇进行拟合获得两侧树行线；
步骤(4)，控制系统通过二维激光雷达1进行机器人中线与两侧树行线的对比计算，获得机器人车头的方向偏差角和机器人中心相对两侧树行的位置偏差，并根据方向偏差角和位置偏差控制底盘2的运动，完成机器人相对两侧树行线的纠偏，使机器人到达与两侧树行平行和居中的位置；
步骤(5)，控制系统在树行线上随机选取树干8的二维深度点云簇，并根据二维激光雷达1与全局三维深度相机4的点云坐标对齐关系，以线上二维点云簇为基础进行三维点云的聚类竖直生长，从而获得二维点簇对应的树冠7三维点云簇，三维点云由全局三维深度相机4获得；
步骤(6)，控制系统针对树冠7的三维点云簇提取获得树冠7的主枝-柱架骨架特征；
步骤(7)，将提取获得的树冠7的主枝-柱架骨架特征与内置于控制系统的果园农艺知识库进行在线比对，从而实现对树形架型的自主推理。
基于果园树形架型的树冠三维轮廓粗成像方法，具体包括如下：
(1)控制系统根据二维激光雷达1扫描和树行线提取，获取各树干8二维深度点云簇，并确定各树干8二维深度点云簇在世界坐标系内的中心坐标，控制机械臂3带动在手三维深度相机6向各树干8对应的树冠7移动；
(2)控制系统根据果园树形架型的自主推理方法判定树形架型自动选择基于树形架型的在手相机初定位模式，控制机械臂3带动在手三维深度相机6应用进行初定位；
(3)控制系统依据基于树形架型的在手相机初定位模式，并根据在手三维深度相机6的视场范围变换位姿，控制机械臂3带动在手三维深度相机6对近前方树冠7目标进行多视点的移动探测，获得不同视点的稀疏3D点云图像；
(4)控制系统根据机械臂运动学坐标变换矩阵，将移动探测中在手三维深度相机6不同视点变换为全局坐标的位姿表达，再根据不同视点间的位置和姿态变换矩阵关系，完成不同视点的稀疏点云3D图像快速拼接，建立全树冠7轮廓的稀疏点云图像。
如图3所示，基于树形架型的在手相机初定位模式为：
①多主枝自然形(图3(a))：在各树干8点云簇的中心位置竖直生长树冠7的中心线，在中心线上以离地高度H1处为球心，以R1为半径确定球面，其中R1＝Ra+kD3，H1根据多主枝自然形果树的树冠7离地高度与树冠7尺寸统计确定，树冠半径Ra根据多主枝自然形果树的树冠7尺寸统计确定，k为比例系数，k＝0.2～0.4；在手三维深度相机6定位于该球面上，且在手三维深度相机6的视轴朝向球心；
②纺锤形(图3(b))：在各树干8点云簇的中心位置竖直生长树冠7的中心线，基于该中心线以R2为半径确定圆柱面，其中R2根据纺锤形果树的树冠7尺寸统计确定；在手三维深度相机6定位于该圆柱面上，且在手三维深度相机6的视轴朝向中心线；
③自然开心形(图3(c))：在各树干8点云簇的中心位置竖直生长树冠7的中心线，在中心线上以离地高度H2处为球心，以R3为半径确定球面，其中R3＝Rb+kD3，H2根据自然开心形果树的树冠7离地高度与树冠7尺寸统计确定，树冠半径Rb根据多主枝自然形果树的树冠7尺寸统计确定；在手三维深度相机6定位于该球面上，且在手三维深度相机6的视轴朝向球心；
④水平棚架型(图3(d))：在手三维深度相机6提取的水平棚架骨架水平面为U，且在手三维深度相机6的视轴垂直该水平面U，在手三维深度相机6与水平面U的距离为kD3；
⑤Y字型(图3(e))：分别以所提取树冠骨架线的Y字两斜架为中心线，以R3为半径确定圆柱面，其中R3根据Y字型果树的树冠7尺寸统计确定；在手三维深度相机6定位于该圆柱面上，且在手三维深度相机6的视轴朝向主枝骨架线；
⑥篱架型(图3(f))：在手三维深度相机6提取的篱架骨架竖直面为W，且在手三维深度相机6的视轴垂直该竖直面W，在手三维深度相机6与竖直面W的距离为kD3。
基于果园树形架型的树冠分区理解方法，具体为：在建立全树冠7轮廓稀疏点云图像后，控制系统应用基于果园树形架型的树冠分区模式完成全树冠7轮廓稀疏点云图像的分区，并完成分区作业顺序规划，在每一分区内，在手三维深度相机6根据作业顺序，实现近距离的场景理解、目标识别和定位。
如图4所示，基于果园树形架型的树冠分区模式为：
①多主枝自然形(图4(a))：在各树干8点云簇的中心位置竖直生长树冠7的中心线，在中心线上以离地高度H1处为球心，在球面坐标系(D，θ，
Figure BDA0002726440240000071
)内以水平夹角值θ0和竖直夹角值
Figure BDA0002726440240000072
进行分区；其中D为全树冠7轮廓稀疏点云图像上的点与球心的距离，θ为全树冠7轮廓稀疏点云图像上的点与球心连线在水平面内的夹角，
Figure BDA0002726440240000073
为全树冠7轮廓稀疏点云图像上的点与球心连线在竖直平面内的夹角；
②纺锤形(图4(b))：在各树干8点云簇的中心位置竖直生长树冠7的中心线，在柱面坐标系(R，β，h)内以柱体横截面夹角值β0和柱高值h0进行分区；其中R为全树冠7轮廓稀疏点云图像上的点与中心线的距离，β为全树冠7轮廓稀疏点云图像上的点到中心线的垂线在水平面内的夹角，h为树冠7沿中心线的高度；
③自然开心形(图4(a))：在各树干8点云簇的中心位置竖直生长树冠7的中心线，在中心线上以离地高度H2处为球心，在球面坐标系(D，θ，
Figure BDA0002726440240000074
)内以水平夹角值θ0和竖直夹角值
Figure BDA0002726440240000075
进行分区；
④水平棚架型(图4(c))：在平行于水平棚架骨架的水平面内以水平坐标值x0和竖直坐标值y0分区；
⑤Y字型(图4(d))：分别以所提取树冠7骨架线的Y字两斜架为中心线，在柱面坐标系(R，β，h)内以柱体横截面夹角值β0和柱高值h0进行分区；
⑥篱架型(图4(e))：在平行于篱架骨架的竖直面内以水平坐标值x0和竖直坐标值y0分区。
所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (6)

1.机器人的果园树形架型自主推理与场景理解方法，其特征在于，包括果园树形架型的自主推理、基于果园树形架型的树冠三维轮廓粗成像和基于果园树形架型的树冠分区理解；所述果园树形架型的自主推理为：提取树冠的主枝-柱架骨架特征，并与控制系统中的果园农艺知识库进行在线比对，确定果园树形架型；所述基于果园树形架型的树冠三维轮廓粗成像建立全树冠轮廓的稀疏点云图像，控制系统应用基于果园树形架型的树冠分区模式完成全树冠轮廓稀疏点云图像的分区、分区作业顺序规划，在每一分区内，由在手三维深度相机根据作业顺序，实现近距离的场景理解、目标识别和定位；
所述建立全树冠轮廓的稀疏点云图像，具体为：
1)控制系统根据二维激光雷达(1)扫描和树行线提取，获取各树干(8)二维深度点云簇，并确定各树干(8)二维深度点云簇在世界坐标系内的中心坐标，控制机械臂(3)带动在手三维深度相机(6)向各树干(8)对应的树冠(7)移动；
2)控制系统根据果园树形架型的自主推理方法判定树形架型自动选择基于树形架型的在手相机初定位模式，控制机械臂(3)带动在手三维深度相机(6)应用进行初定位；
3)依据基于树形架型的在手相机初定位模式和在手三维深度相机(6)的视场范围变换位姿，控制机械臂带动在手三维深度相机(6)对近前方树冠(7)目标进行多视点的移动探测，获得不同视点的稀疏3D点云图像；
4)控制系统将移动探测中在手三维深度相机(6)不同视点变换为全局坐标的位姿表达，根据不同视点间的位置和姿态变换矩阵关系，完成不同视点的稀疏点云3D图像快速拼接，建立全树冠(7)轮廓的稀疏点云图像。
2.根据权利要求1所述的机器人的果园树形架型自主推理与场景理解方法，其特征在于，所述果园农艺知识库的建立过程为：在机器人作业前，通过对多主枝自然形、纺锤形、自然开心形、双层栅篱型、Y字型、篱架型的果园树形架型进行形态学分析，提取各树形架型的树冠轮廓和主枝-柱架骨架的三维结构关键特征。
3.根据权利要求1所述的机器人的果园树形架型自主推理与场景理解方法，其特征在于，所述树冠的主枝-柱架骨架特征提取，具体为：在树行线上随机抽取树干(8)的二维深度点云簇，根据二维激光雷达(1)与全局三维深度相机(4)的点云坐标对齐关系，以线上二维点云簇为基础进行三维点云的聚类竖直生长，从而获得二维点簇对应的树冠(7)的三维点云簇，控制系统由树冠(7)的三维点云簇提取获得树冠(7)的主枝-柱架骨架特征。
4.根据权利要求3所述的机器人的果园树形架型自主推理与场景理解方法，其特征在于，所述树行线通过如下过程获取：通过二维激光雷达(1)水平激光扫描，在探测距离D1内获得机器人所处区域两侧的树干(8)、行外和行间障碍物的多个二维深度点云簇，控制系统对各二维深度点云簇进行拟合，获得两侧树行线；所述两侧树行线用与机器人中线的对比计算，获得机器人车头的方向偏差角和机器人中心相对两侧树行的位置偏差，控制系统根据方向偏差角和位置偏差进行机器人相对两侧树行线的纠偏。
5.根据权利要求1所述机器人的果园树形架型自主推理与场景理解方法，其特征在于，所述基于树形架型的在手相机初定位模式为：
1)多主枝自然形：在各树干(8)点云簇的中心位置竖直生长树冠的中心线，在中心线上以离地高度H1处为球心，以R1为半径确定球面，在手三维深度相机(6)定位于该球面上，且在手三维深度相机(6)的视轴朝向球心；
2)纺锤形：在各树干(8)点云簇的中心位置竖直生长树冠的中心线，基于该中心线以R2为半径确定圆柱面，在手三维深度相机(6)定位于该圆柱面上，且在手三维深度相机(6)的视轴朝向中心线；
3)自然开心形：在各树干(8)点云簇的中心位置竖直生长树冠的中心线，在中心线上以离地高度H2处为球心，以R3为半径确定球面，在手三维深度相机(6)定位于该球面上，且在手三维深度相机(6)的视轴朝向球心；
4)水平棚架型：在手三维深度相机(6)与水平棚架骨架水平面U的距离为kD3，且在手三维深度相机(6)的视轴垂直所述水平面U；
5)Y字型：分别以所提取树冠(7)骨架线的Y字两斜架为中心线，以R3为半径确定圆柱面，在手三维深度相机(6)定位于该圆柱面上，且在手三维深度相机(6)的视轴朝向主枝骨架线；
6)篱架型：在手三维深度相机(6)与篱架骨架竖直面W的距离为kD3，且在手三维深度相机(6)的视轴垂直所述竖直面W；
其中：R1＝Ra+kD3，树冠半径Ra根据多主枝自然形果树的树冠(7)尺寸统计确定，k为比例系数，D3为在手三维深度相机(6)的探测距离；R3＝Rb+kD3，树冠半径Rb根据多主枝自然形果树的树冠(7)尺寸统计确定。
6.根据权利要求5所述的机器人的果园树形架型自主推理与场景理解方法，其特征在于，所述基于果园树形架型的树冠分区模式为：
1)多主枝自然形：在所述球面的坐标系
Figure FDA0003316796590000021
内以水平夹角值θ0和竖直夹角值
Figure FDA0003316796590000022
进行分区；
2)纺锤形：在所述圆柱面的坐标系(R，β，h)内以柱体横截面夹角值β0和柱高值h0进行分区；
3)自然开心形：在所述球面的坐标系
Figure FDA0003316796590000023
内以水平夹角值θ0和竖直夹角值
Figure FDA0003316796590000024
进行分区；
4)水平棚架型：在平行于水平棚架骨架水平面U内以水平坐标值x0和竖直坐标值y0分区；
5)Y字型：在所述圆柱面坐标系(R，β，h)内以柱体横截面夹角值β0和柱高值h0进行分区；
6)篱架型：在平行于篱架骨架竖直面W内以水平坐标值x0和竖直坐标值y0分区；
其中：D为全树冠(7)轮廓稀疏点云图像上的点与球心的距离，θ为全树冠(7)轮廓稀疏点云图像上的点与球心连线在水平面内的夹角，
Figure FDA0003316796590000031
为全树冠(7)轮廓稀疏点云图像上的点与球心连线在竖直平面内的夹角，R为全树冠(7)轮廓稀疏点云图像上的点与中心线的距离，β为全树冠(7)轮廓稀疏点云图像上的点到中心线的垂线在水平面内的夹角，h为树冠(7)沿中心线的高度。
CN202011104320.3A 2020-10-09 2020-10-15 机器人的果园树形架型自主推理与场景理解方法 Active CN112372633B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011071545 2020-10-09
CN2020110715453 2020-10-09

Publications (2)

Publication Number Publication Date
CN112372633A CN112372633A (zh) 2021-02-19
CN112372633B true CN112372633B (zh) 2022-02-15

Family

ID=74581566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011104320.3A Active CN112372633B (zh) 2020-10-09 2020-10-15 机器人的果园树形架型自主推理与场景理解方法

Country Status (1)

Country Link
CN (1) CN112372633B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113702995B (zh) * 2021-09-01 2022-08-19 国网江苏省电力有限公司扬州供电分公司 一种用于辅助挂放接地线作业的空间定位系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI117490B (fi) * 2004-03-15 2006-10-31 Geodeettinen Laitos Menetelmä puustotunnusten määrittämiseksi laserkeilaimen, kuvainformaation ja yksittäisten puiden tulkinnan avulla
CN101866495B (zh) * 2010-06-01 2012-03-28 中国科学院自动化研究所 基于骨架点云的树木建模方法
CN103871100B (zh) * 2014-04-02 2016-09-21 中国科学院自动化研究所 基于点云与数据驱动的树木模型重建方法
CN109409429B (zh) * 2018-10-28 2021-08-20 南京林业大学 一种基于激光雷达点云数据的树种分类方法
CN110298914B (zh) * 2019-05-29 2023-05-09 江苏大学 一种建立果园中果树冠层特征地图的方法
CN110702028B (zh) * 2019-09-04 2020-09-15 中国农业机械化科学研究院 一种果园树干三维检测定位方法及装置
CN111539473B (zh) * 2020-04-23 2023-04-28 中国农业大学 基于3D Lidar的果园行间导航线提取方法

Also Published As

Publication number Publication date
CN112372633A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN111602517B (zh) 一种串型水果分布式视觉主动感知方法及其应用
CN112715162B (zh) 一种智能化采摘串型水果的系统
CN101356877B (zh) 一种温室环境下黄瓜采摘机器人系统及采摘方法
WO2023050783A1 (zh) 除草机器人及其除草路径的规划方法、装置和介质
CN111612896B (zh) 一种基于机载激光雷达树点云重建三维树模型的方法
Zhaoxin et al. Design a robot system for tomato picking based on YOLO v5
CN114260895B (zh) 一种采摘机器人机械臂抓取避障方向确定的方法及其系统
Silwal et al. Bumblebee: A Path Towards Fully Autonomous Robotic Vine Pruning.
CN116439018B (zh) 一种七自由度水果采摘机器人及其采摘方法
CN111046846A (zh) 一种机器人前方障碍通过性判断的方法
CN112372633B (zh) 机器人的果园树形架型自主推理与场景理解方法
CN112802099A (zh) 一种适用于串型水果的采摘方法
Cuevas-Velasquez et al. Real-time stereo visual servoing for rose pruning with robotic arm
Yang et al. Vision based fruit recognition and positioning technology for harvesting robots
Jin et al. Far-near combined positioning of picking-point based on depth data features for horizontal-trellis cultivated grape
Jin et al. Intelligent tomato picking robot system based on multimodal depth feature analysis method
CN108196538A (zh) 基于三维点云模型的田间农业机器人自主导航系统及方法
CN113400303B (zh) 基于rrt*算法的六轴机器人果蔬采摘路径规划方法
Zhang et al. A heuristic tomato-bunch harvest manipulator path planning method based on a 3D-CNN-based position posture map and rapidly-exploring random tree
CN114485667A (zh) 一种轻智能化的果园地头导航方法
CN116993750A (zh) 基于多模态结构语义特征的激光雷达slam方法
CN115810188A (zh) 基于单张二维图像的树上果实三维位姿识别方法及系统
Wang et al. Fast and safe exploration via adaptive semantic perception in outdoor environments
Shamshiri et al. An overview of visual servoing for robotic manipulators in digital agriculture
Pan et al. Pheno-Robot: An Auto-Digital Modelling System for In-Situ Phenotyping in the Field

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant