CN112243698B - 一种基于多传感器融合技术的核桃自动化采摘及收集方法 - Google Patents

一种基于多传感器融合技术的核桃自动化采摘及收集方法 Download PDF

Info

Publication number
CN112243698B
CN112243698B CN202011137624.XA CN202011137624A CN112243698B CN 112243698 B CN112243698 B CN 112243698B CN 202011137624 A CN202011137624 A CN 202011137624A CN 112243698 B CN112243698 B CN 112243698B
Authority
CN
China
Prior art keywords
picking
robot
walnut
trunk
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011137624.XA
Other languages
English (en)
Other versions
CN112243698A (zh
Inventor
傅松玲
王兆成
刘毅
马玉华
黄铖
周梦钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Agricultural University AHAU
Original Assignee
Anhui Agricultural University AHAU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Agricultural University AHAU filed Critical Anhui Agricultural University AHAU
Priority to CN202011137624.XA priority Critical patent/CN112243698B/zh
Publication of CN112243698A publication Critical patent/CN112243698A/zh
Application granted granted Critical
Publication of CN112243698B publication Critical patent/CN112243698B/zh
Priority to US17/475,329 priority patent/US11406061B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D51/00—Apparatus for gathering together crops spread on the soil, e.g. apples, beets, nuts, potatoes, cotton, cane sugar
    • A01D51/002—Apparatus for gathering together crops spread on the soil, e.g. apples, beets, nuts, potatoes, cotton, cane sugar for apples or nuts
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D91/00—Methods for harvesting agricultural products
    • A01D91/04—Products growing above the soil
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0217—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with energy consumption, time reduction or distance reduction criteria
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种基于多传感器融合技术的核桃自动化采摘及收集方法，包括以下步骤：步骤1.1，当启动自动化采摘导引车后，进行导引车路径规划；步骤1.2，远程控制导引车按照一预定规则在园区运动，并收集整个园区的激光数据；步骤1.3，建立二维离线地图；步骤1.4，在上述地图上标注采摘道路；步骤2.1，执行系统初始化；步骤2.2，获得待采集队列；步骤2.3，自动化采摘系统确定并发送采摘任务：步骤2.4，机器人依次到达采摘目标点；步骤2.5，完成核桃抖动掉落作业；步骤2.6，进行抖落核桃的收集。本发明所提供的方法能够获取高精度果实坐标，精准高效地完成自主采摘。

Description

一种基于多传感器融合技术的核桃自动化采摘及收集方法
技术领域
本发明涉及农业自动化采摘技术领域，尤其涉及一种基于多传感器融合技术、机器人导航定位技术的核桃自动化采摘及收集方法。
背景技术
农业自动化作业是当下智慧农业的发展趋势，现有已存在多种农业自动化采摘的解决方案。例如：
专利申请CN201810413367.4提出了一种果实自动采摘方法及机器人，包括如下步骤：S1获取待采摘果实的图像，并反馈至智能控制系统；S2智能控制系统处理所述图像，并判断果实是否成熟，若是，则进行S3，若否，则重复S1；S3、智能控制系统对已经成熟的果实进行定位，并向采摘机器人发送采摘指令；S4、智能控制系统控制采摘机器人对已经成熟的果实进行采摘。
专利申请CN201910478830.8提出了一种基于无人机的山核桃采摘和收集装置及方法，包括采摘无人机装置、识别定位系统、固定装置、采摘装置、收集装置、控制中心。识别定位系统位于采摘无人机上方，固定装置、采摘装置均位于采摘无人机下方。根据识别定位系统采摘无人机飞行到指定位置，固定装置为两个伸出的自动可伸缩夹爪，用于夹取两个树枝固定机身。采摘装置通过伺服电机实现玻璃纤维杆的偏心变速旋转击打，实现对山核桃树枝的变力、变位置及变角度击打，确保山核桃被击落。收集无人机与收集网连接，击落的山核桃落入到收集网内，且收集无人机内置有压力传感器。
专利申请CN202010640990.0提出了一种果实模拟采摘、转运智能小车组，由采摘车和转运车构成，采摘车用于果实的识别采摘，转运车用于果实的转运存储，为未来可自动采摘、转运果实的智能农业设备提供了一种可行设计方式。
然而上述方案均存在着诸多不足：方案一中仅支持单果树作业，整体采摘运行效率低、仅依靠图像传感器，采集精度不高易对果树造成损伤；方案二的缺点除了单果树采集效率低外，对于隐藏在内部的果实通过图像难以准确定位与识别；方案三基于预设黑色导引线进行导引车定位，不仅前期改造成本高，同时也面临着后期维护的风险。
因此，如何克服2D图像果实定位精度较差的不足，实现更智能、高效率的自动化采摘是亟需解决的一大难题。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于多传感器融合技术的核桃自动化采摘及收集方法。
为实现上述目的，本发明提供的技术方案如下：
本发明提供了一种基于多传感器融合技术的核桃自动化采摘及收集方法，所述方法包括以下步骤：
步骤1.1，当启动自动化采摘导引车后，进行导引车路径规划；
步骤1.2，远程控制导引车按照一预定规则在园区运动，并通过车载2D激光传感器收集整个园区的激光数据；
步骤1.3，使用SLAM的建图模块，建立二维离线地图；
步骤1.4，根据园区实际情况，在上述地图上标注采摘道路；
步骤2.1，执行系统初始化：在采摘机器人上电后，初始化机器人自动化采摘系统，启动传感器、加载离线建立的地图和采摘道路点；
步骤2.2，执行核桃成熟的预测与目标果树定位，并获得待采集队列：根据核桃成熟周期，设置机器人巡逻周期；每个巡逻周期内，通过采摘机器人上的图像传感器结合图像识别技术，检测并预测每个果树的成熟度情况，其中成熟度＝成熟的核桃数量/检测到核桃的数量；将每个果树的成熟度结果反馈到用户交互层面，经过用户对成熟度进行二次确认，将经过确认的相应果树的坐标加入待采集队列中；
步骤2.3，自动化采摘系统确定并发送采摘任务：根据步骤2.2得到的待采集队列，当队列中采摘点数量满足预设数量N，将待采集队列的坐标发送到采摘机器人，采摘机器人根据坐标按照预定规则确定执行采摘的相应顺序；
步骤2.4，机器人依次到达采摘目标点：以机器人当前点为起点，第一个采摘点为终点，规划一条机器人路径并发送给机器人执行，机器人运动过程中，通过激光传感器与离线地图数据进行匹配，以一定频率更新机器人坐标，指导机器人运行至机器人坐标与第一个采摘目标点欧式距离满足阈值；
步骤2.5，机器人定位树干坐标并启动树干夹具：通过2D图像传感器识别视野内树干，结合3D深度传感器获取图像传感器中对应树干的深度信息，选择最近的树干作为待夹取目标树干；在确定了目标树干后将目标树干的三维位姿发送给夹取控制模块，控制树干夹具夹取树干，以一定频率抖动树干夹具，完成核桃抖动掉落作业；
步骤2.6，利用地面掉落核桃定位模块进行抖落核桃的收集：通过2D图像传感器采集核桃掉落后的地面图像数据，使用图像识别算法检测核桃位置；通过传感器标定技术，结合3D传感器获取每个核桃的3D坐标，而后控制核桃夹具夹取每个核桃并放入核桃收集箱中；
其中，图像识别算法和传感器标定技术具体包括以下流程：
step1：收集一定数量的核桃图像样本，对图像中的核桃进行人工标注；
step2：基于标注数据训练离线图像分割网络模型；
step3：使用标定板分别采集2D和3D相机下的标定板对应坐标数据，通过奇异值分解计算基于当前数据的最优2D和3D相机外参；
step3：软件控制2D相机拍照并加载离线图像分割网络模型；
step4：调用分割网络模型预测核桃2D包围框；
step5：将2D包围框中心点像素坐标{X_2d,Y_2d}，通过下列公式转换到3D相机坐标系；
Figure BDA0002737250090000031
其中p表示像素坐标系，c表示相机坐标系，M1表示2D相机和3D相机的内参，M2表示2D相机和3D相机外参；～表示3D相机像素坐标和相机坐标关系，为已知量；
step6：将所有2D坐标核桃中心点转换到3D坐标系下，由于核桃体积大小无显著变化，设置基于3D坐标的搜索距离D；基于每个3D核桃总标点，搜索距离D内的所有3D坐标，得到每个核桃3D坐标集合Ki，其中i表示第i个核桃。计算每个集合的3D坐标法向量；结合核桃3D坐标、法向量、夹具长度，筛选可抓核桃并设置抓取优先级队列；
step7：根据优先级队列分别控制夹具夹取核桃并放入核桃搜集箱；
步骤2.7，依次巡逻所有采摘点，直到完成所有采摘点核桃的采摘作业：当前采摘目标点采摘完成后，判断是否完成所有采摘点的采摘作业；若没有，则在队列中删除当前采摘目标点、将下一个采摘点更新为待采集队列的第一个采摘点，循环执行步骤2.4到步骤2.7，直至待采集队列中的果树采集完毕；
步骤2.8，当完成所有采摘作业后，机器人回到果实收集点回收所有核桃；回收完成后机器人返回充电桩进行充电直到下一次巡逻周期或采摘指令。
进一步的，步骤1.1中路径规划遵循路径闭环原则，明确导引车建图需要行走的路径，可根据离线建图效果进行调整；步骤1.3中在地图建立完成后，还包括：对地图进行检验，并根据检验结果反馈给建图模块进行智能学习以提高后续建图的准确性。
进一步的，所述规则包括果树与机器人的曼哈顿距离、果树成熟度、人为指定；最近树干是通过对树干3D坐标序列和机器人当前坐标之间的欧式距离进行计算并进行排序后获得。
为了确保电量充足，所述方法还包括：步骤2.9，记录每一次的采集队列的采摘点数量、机器人行走路径长度以及所耗费的电池电量，将最近一段时间的记录数据进行训练学习，获得当前状态下机器人每一个采摘点所耗费的平均电量、每行走单位长度所耗费的平均电量并保存；步骤2.1进一步包括，上电后还根据机器人的当前电量、每一个采摘点所耗费的平均电量、每行走单位长度所耗费的平均电量智能设定预设数量N。
其中，步骤1.1至步骤1.4由离线模块执行，步骤2.1至步骤2.9由在线模块执行。
本发明使用了多传感器融合技术、图像识别技术、导航定位技术来综合实现全自动化核桃采摘，具有如下优点：(1)本发明通过结合2D图像传感器和3D深度传感器进行多维度的判断，相对于方案一和二中使用图像进行果实定位的方式，大大提高了果实定位的精度；(2)本发明结合SLAM技术实现了机器人自动导航和准确定位，基于激光数据通过离线和在线地图匹配算法，可高频定位机器人当前位姿；(3)无需方案三铺设导引线等前期改造作业和后期维护工作，实施便捷；(4)通过树干夹取抖动装置能够获取果树成熟果实而不会出现由于视野被遮挡导致的无法采摘现象，同时通过掉落后的图像检测和核桃夹取装置，能实现快速果实收集作业，提高了采集完成度。本发明基于更高精度的果实定位和机器人动作定位，最终获得了高自动化程度、高效率的采摘机器人系统作业流程。
附图说明
图1为本发明中核桃自动化采摘作业的流程示意图；
图2为本发明中一实施例所示的果实采摘园区环境的示意图；
图3为本发明中一实施例所示的基于2D、3D数据进行树干定位的示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
本发明提出了一种基于多传感器融合技术的核桃自动化采摘及收集方法，系统作业流程图如图1，主要由离线模块和在线模块执行作业，具体如下：
离线模块利用导航定位技术实现采摘点辅助确定，包括：通过控制导引车收集园区激光数据，通过SLAM(simultaneous localization and mapping)的离线建图模块，建立园区2D地图，为后续的采摘点提供先验地图信息。
结合图1，离线模块执行如下步骤：
步骤1.1，当启动自动化采摘导引车后，进行导引车路径规划；路径规划遵循路径闭环原则，明确导引车建图需要行走的路径。作为一实施例，导引车行走路径可如图2箭头路径所示，其中行走路径根据离线建图效果可进行多次调整。
步骤1.2，远程控制导引车按照一预定规则在园区运动，并通过车载2D激光传感器收集整个园区的激光数据。
步骤1.3，使用SLAM的建图模块，建立二维离线/在线地图。在地图建立完成后，还可以对地图进行检验。并根据检验结果反馈给建图模块进行智能学习以提高后续建图的准确性。
其中，SLAM基于视觉、激光、里程计、IMU灯传感器等，即时构建用于导航定位的地图。
步骤1.4，根据园区实际情况，在上述地图上标注采摘道路点。其中采摘道路点需根据采摘机器人作业半径进行规划，确保采摘路径能够覆盖每棵树的采摘区域。作为一实施例，图2所示的果实采摘园区环境示意图中示例出了采摘道路点、果树的相对位置；另外，还图示了果实收集点以及导引车的充电桩位置。
在线模块用于果实的在线作业控制，利用了多传感器融合技术、图像识别技术，具体执行如下步骤：
步骤2.1，通过系统初始化模块执行系统初始化：在采摘机器人上电后，初始化机器人自动化采摘系统，启动传感器、加载离线建立的地图和采摘道路点；
步骤2.2，通过核桃成熟预测与定位模块进行核桃成熟的预测与目标果树定位，包括：根据核桃成熟周期，设置机器人巡逻周期；每个巡逻周期内，通过采摘机器人上的图像传感器结合图像识别技术，检测并预测每个果树的成熟度情况，其中成熟度＝成熟的核桃数量/检测到核桃的数量，成熟的核桃数量的统计包含当前检测到未完全成熟、但在即将到来的采摘时间时预计能够成熟的核桃；而后将每个果树成熟度结果反馈到用户交互UI层面，经过用户对成熟度进行二次确认，将经过确认的相应果树的坐标加入待采集队列中；其中，经过确认的相应果树，具体为成熟度超过阈值的果树。
步骤2.3，自动化采摘系统确定并发送采摘任务：根据步骤2.2得到的待采集队列，当队列中采摘点数量满足预设数量N，将待采集队列的坐标发送到采摘机器人，优选地发送至承载机器人的导引车，采摘机器人根据坐标按照预定规则确定执行采摘的相应顺序。其中规则包括但不限于果树与机器人的曼哈顿距离、果树成熟度、人为指定等，可以根据果树与机器人的曼哈顿距离、果树成熟度、人为指定来确定采摘的先后顺序。
步骤2.4，机器人依次到达采摘目标点：以机器人当前点为起点，第一个采摘点为终点，规划一条机器人路径并发送给机器人执行，机器人运动过程中，通过2D/3D激光传感器或图像传感器与离线地图数据进行匹配，以一定频率更新机器人坐标，指导机器人运行至机器人坐标与第一个采摘目标点欧式距离满足阈值；
步骤2.5，机器人定位树干坐标并启动树干夹具：通过2D图像传感器识别视野内树干，结合3D深度传感器获取图像传感器中对应树干的深度信息，选择最近的树干作为待夹取目标树干。
结合图3所示，其中{xc,yc}表示像素坐标系下的树干坐标，{xw,yw,zw}表示根据2D像素坐标和3D传感器得到的树干3D世界坐标；对树干3D坐标序列和机器人当前坐标之间的欧式距离进行计算，并进行排序，将最近树干作为夹取树干。
在确定了夹取树干后将树干三维位姿发送给夹取控制模块，控制树干夹具夹取树干，以一定频率抖动树干夹具，完成核桃抖动掉落作业。
步骤2.6，利用地面掉落核桃定位模块进行抖落核桃的收集：通过2D图像传感器采集核桃掉落后的地面图像数据，使用图像识别算法检测核桃位置；通过传感器标定技术，结合3D传感器获取每个核桃的3D坐标，而后控制核桃夹具夹取每个核桃并放入核桃收集箱中。
进一步的，其中，图像识别算法和传感器标定技术具体包括以下流程：
step1：收集一定数量的核桃图像样本，对图像中的核桃进行人工标注；
step2：基于标注数据训练离线图像分割网络模型；
step3：使用标定板分别采集2D和3D相机下的标定板对应坐标数据，通过奇异值分解计算基于当前数据的最优2D和3D相机外参；
step3：软件控制2D相机拍照并加载离线图像分割网络模型；
step4：调用分割网络模型预测核桃2D包围框；
step5：将2D包围框中心点像素坐标{X_2d,Y_2d}，通过下列公式转换到3D相机坐标系；
Figure BDA0002737250090000081
其中p表示像素坐标系，c表示相机坐标系，M1表示2D相机和3D相机的内参，M2表示2D相机和3D相机外参；～表示3D相机像素坐标和相机坐标关系，为已知量；
step6：将所有2D坐标核桃中心点转换到3D坐标系下，由于核桃体积大小无显著变化，设置基于3D坐标的搜索距离D；基于每个3D核桃总标点，搜索距离D内的所有3D坐标，得到每个核桃3D坐标集合Ki，其中i表示第i个核桃。计算每个集合的3D坐标法向量；结合核桃3D坐标、法向量、夹具长度，筛选可抓核桃并设置抓取优先级队列；
step7：根据优先级队列分别控制夹具夹取核桃并放入核桃搜集箱。
步骤2.7，依次巡逻所有采摘点，直到完成所有采摘点核桃的采摘作业：当前采摘目标点采摘完成后，判断是否完成所有采摘点的采摘作业；若没有，则将下一个采摘点更新为待采集队列的第一个采摘点，循环执行步骤2.4到步骤2.7，直至待采集队列中的果树采集完毕；
步骤2.8，当完成所有采摘作业后，机器人回到果实收集点回收所有核桃，并返回充电桩进行充电直到下一次巡逻周期或采摘指令。
为了确保作业时电量的充足，还包括：
步骤2.9，记录每一次的采集队列的采摘点数量、机器人行走路径长度以及所耗费的电池电量，将最近一段时间的记录数据进行训练学习，获得当前状态下机器人每一个采摘点所耗费的平均电量、每行走单位长度所耗费的平均电量并保存。
步骤2.1进一步包括，上电后还根据机器人的当前电量、每一个采摘点所耗费的平均电量、每行走单位长度所耗费的平均电量智能设定预设数量N。
由于电量使用数据是最近一段时间的数据，因而充分考虑了电池的老化程度、机器的工况等因素，能够提高作业的可靠性，减少缺电情况的发生。
本发明通过多种技术的协作实现了高效准确的全自动化核桃采摘作业。
以上所述仅为本发明的较佳实施例，并不用于限制本发明，凡在本发明的精神和原则内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于多传感器融合技术的核桃自动化采摘及收集方法，其特征在于，所述方法包括以下步骤：
步骤1.1，当启动自动化采摘导引车后，进行导引车路径规划；
步骤1.2，远程控制导引车按照一预定规则Ⅰ在园区运动，并通过车载2D激光传感器收集整个园区的激光数据；
步骤1.3，使用SLAM的建图模块，建立二维离线地图；
步骤1.4，根据园区实际情况，在上述地图上标注采摘道路；
步骤2.1，执行系统初始化：在采摘机器人上电后，初始化机器人自动化采摘系统，启动传感器、加载离线建立的地图和采摘道路点；
步骤2.2，执行核桃成熟的预测与目标果树定位，并获得待采集队列；
步骤2.3，自动化采摘系统确定并发送采摘任务：根据步骤2.2得到的待采集队列，当队列中采摘目标点数量满足预设数量N，将待采集队列的坐标发送到采摘机器人，采摘机器人根据坐标按照预定规则Ⅱ确定执行采摘的相应顺序；
步骤2.4，机器人依次到达采摘目标点：以机器人当前点为起点，第一个采摘目标点为终点，规划一条机器人路径并发送给机器人执行，机器人运动过程中，通过激光传感器与离线地图数据进行匹配，以一定频率更新机器人坐标，指导机器人运行至机器人坐标与第一个采摘目标点欧式距离满足阈值；
步骤2.5，机器人定位树干坐标并启动树干夹具：通过2D图像传感器识别视野内树干，结合3D深度传感器获取图像传感器中对应树干的深度信息，选择最近的树干作为待夹取目标树干；在确定了目标树干后将目标树干的三维位姿发送给夹取控制模块，控制树干夹具夹取树干，以一定频率抖动树干夹具，完成核桃抖动掉落作业；
步骤2.6，利用地面掉落核桃定位模块进行抖落核桃的收集：通过2D图像传感器采集核桃掉落后的地面图像数据，使用图像识别算法检测核桃位置；通过传感器标定技术，结合3D传感器获取每个核桃的3D坐标，而后控制核桃夹具夹取每个核桃并放入核桃收集箱中；
步骤2.7，依次巡逻所有采摘目标点，直到完成所有采摘目标点核桃的采摘作业：当前采摘目标点采摘完成后，判断是否完成所有采摘目标点的采摘作业；若没有，则在队列中删除当前采摘目标点、将下一个采摘目标点更新为待采集队列的第一个采摘目标点，循环执行步骤2.4到步骤2.7，直至待采集队列中的果树采集完毕；
步骤2.8，当完成所有采摘作业后，机器人回到果实收集点回收所有核桃。
2.根据权利要求1所述的方法，其特征在于，步骤1.1至步骤1.4由离线模块执行，步骤2.1至步骤2.8由在线模块执行。
3.根据权利要求1所述的方法，其特征在于，步骤1.1中路径规划遵循路径闭环原则，明确导引车建图需要行走的路径，可根据离线建图效果进行调整。
4.根据权利要求1所述的方法，其特征在于，步骤1.3中在地图建立完成后，还包括：对地图进行检验，并根据检验结果反馈给建图模块进行智能学习以提高后续建图的准确性。
5.根据权利要求1-4任一项所述的方法，其特征在于，步骤2.2具体包括：根据核桃成熟周期，设置机器人巡逻周期；每个巡逻周期内，通过采摘机器人上的图像传感器结合图像识别技术，检测并预测每个果树的成熟度情况，其中成熟度=成熟的核桃数量/ 检测到核桃的数量；将每个果树的成熟度结果反馈到用户交互层面，经过用户对成熟度进行二次确认，将经过确认的相应果树的坐标加入待采集队列中。
6.根据权利要求1所述的方法，其特征在于，所述预定规则Ⅱ包括果树与机器人的曼哈顿距离、果树成熟度、人为指定。
7.根据权利要求1所述的方法，其特征在于，最近树干是通过对树干3D坐标序列和机器人当前坐标之间的欧式距离进行计算并进行排序后获得。
8.根据权利要求1所述的方法，其特征在于，所述步骤2.8还包括机器人返回充电桩进行充电直到下一次巡逻周期或采摘指令。
9.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
步骤2.9，记录每一次的采集队列的采摘目标点数量、机器人行走路径长度以及所耗费的电池电量，将最近一段时间的记录数据进行训练学习，获得当前状态下机器人每一个采摘目标点所耗费的平均电量、每行走单位长度所耗费的平均电量并保存；
步骤2.1进一步包括，上电后还根据机器人的当前电量、每一个采摘目标点所耗费的平均电量、每行走单位长度所耗费的平均电量智能设定预设数量N。
CN202011137624.XA 2020-10-22 2020-10-22 一种基于多传感器融合技术的核桃自动化采摘及收集方法 Active CN112243698B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011137624.XA CN112243698B (zh) 2020-10-22 2020-10-22 一种基于多传感器融合技术的核桃自动化采摘及收集方法
US17/475,329 US11406061B2 (en) 2020-10-22 2021-09-14 Automated walnut picking and collecting method based on multi-sensor fusion technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011137624.XA CN112243698B (zh) 2020-10-22 2020-10-22 一种基于多传感器融合技术的核桃自动化采摘及收集方法

Publications (2)

Publication Number Publication Date
CN112243698A CN112243698A (zh) 2021-01-22
CN112243698B true CN112243698B (zh) 2021-08-13

Family

ID=74263457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011137624.XA Active CN112243698B (zh) 2020-10-22 2020-10-22 一种基于多传感器融合技术的核桃自动化采摘及收集方法

Country Status (2)

Country Link
US (1) US11406061B2 (zh)
CN (1) CN112243698B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113099847B (zh) * 2021-05-25 2022-03-08 广东技术师范大学 一种基于果实三维参数预测模型的果实采摘方法
CN113228938A (zh) * 2021-05-31 2021-08-10 广东若铂智能机器人有限公司 采摘机器人slam激光视觉导航方法
CN113728805B (zh) * 2021-07-27 2023-01-31 江苏农林职业技术学院 一种浆果收获机械装置及其控制方法
CN113728806B (zh) * 2021-11-05 2022-01-18 季华实验室 果实采摘机器人控制方法、装置、电子设备及存储介质
CN115004949B (zh) * 2022-07-25 2023-08-29 嘉应学院 基于图像识别的高效水果采摘装置
CN115299245B (zh) * 2022-09-13 2023-07-14 南昌工程学院 一种智能水果采摘机器人的控制方法及控制系统
CN115316132B (zh) * 2022-09-13 2023-08-18 中国农业机械化科学研究院集团有限公司 一种猕猴桃采摘装置及采摘方法
CN116616045B (zh) * 2023-06-07 2023-11-24 山东农业工程学院 一种基于植物生长的采摘方法及采摘系统
CN116821854B (zh) * 2023-08-30 2023-12-08 腾讯科技（深圳）有限公司 一种目标投影的匹配融合方法及相关装置
CN117337691B (zh) * 2023-09-21 2024-04-05 仲恺农业工程学院 基于深度神经网络的火龙果采摘方法及采摘机器人
CN116985150B (zh) * 2023-09-28 2023-12-26 北京市农林科学院智能装备技术研究中心 串果柔顺收集轨迹规划方法及装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3457712A (en) * 1966-01-06 1969-07-29 Russell Dunplop Gould Tree shaking apparatus
US3460331A (en) * 1967-06-12 1969-08-12 Alex J Galis Tree shaker apparatus
US3785131A (en) * 1972-09-15 1974-01-15 D Friday Fruit harvesting apparatus
US4194347A (en) * 1978-03-10 1980-03-25 Fmc Corporation Method and apparatus for shaking trees grown in rows
US5473875A (en) * 1993-12-09 1995-12-12 Zehavi; Eitan Tree-shaking apparatus with direction and frequency optimization capability
US6931829B2 (en) * 2002-12-12 2005-08-23 Fmc Technologies, Inc. Fruit harvester collection apparatus with compact conveyor arrangement and associated methods
US6925792B2 (en) * 2002-12-12 2005-08-09 Fmc Technologies, Inc. Tree-fruit harvester including deflector with pivoting upper portion and associated methods
US6938403B2 (en) * 2002-12-12 2005-09-06 Fmc Technologies, Inc. Fruit harvester including telescoping boom and related methods
US7032370B2 (en) * 2002-12-12 2006-04-25 Fmc Technologies, Inc. Fruit trailer for fruit harvesting system and associated methods
US6945022B2 (en) * 2002-12-12 2005-09-20 Fmc Technologies, Inc. Fruit harvester including pivotable fruit deflector and associated methods
US7765780B2 (en) * 2003-12-12 2010-08-03 Vision Robotics Corporation Agricultural robot system and method
ES2253135B2 (es) * 2006-01-31 2006-12-16 Universidad Politecnica De Madrid Sistema de vision artificial para recolectar pequeños frutos cultivados en hileras.
KR100784830B1 (ko) * 2006-06-19 2007-12-17 대한민국 벤치 재배형 딸기 수확 로봇 시스템
US20110022231A1 (en) * 2009-07-25 2011-01-27 Jeffrey Walker Apparatuses, Systems and Methods for Automated Crop Picking
JP5494183B2 (ja) * 2010-04-23 2014-05-14 株式会社Ｉｈｉ 自動収穫装置
US9832929B1 (en) * 2013-11-05 2017-12-05 William Majors Harvesting head and machine for mechanically harvesting olives, grapes and the like
WO2015180021A1 (zh) * 2014-05-26 2015-12-03 中国科学院自动化研究所 剪枝机器人系统
WO2016033020A1 (en) * 2014-08-26 2016-03-03 The Wine Group Conversion of harvester picking head
US9696162B2 (en) * 2015-09-17 2017-07-04 Deere & Company Mission and path planning using images of crop wind damage
US10433484B2 (en) * 2016-05-31 2019-10-08 Nexgen Ag, LLC Independent frequency control of the shaker head of a harvester
NL2017599B1 (en) * 2016-10-10 2018-04-16 Rijk Zwaan Zaadteelt En Zaadhandel Bv Method and system for picking up and collecting plant matter
AU2017357645B2 (en) * 2016-11-08 2022-11-10 Dogtooth Technologies Limited A robotic fruit picking system
CN206433397U (zh) * 2017-01-13 2017-08-25 安徽工程大学 一种苹果采摘机器人导航控制系统
GB201802335D0 (en) * 2018-02-13 2018-03-28 Norwegian Univ Of Life Sciences Device for picking fruit
CN108617264A (zh) * 2018-05-03 2018-10-09 无锡智高点技术研发有限公司 一种果实自动采摘方法及机器人
CN108781763A (zh) * 2018-05-21 2018-11-13 昆明理工大学 一种基于单片机控制的自走轮式核桃采摘机
US11589509B2 (en) * 2018-10-26 2023-02-28 Deere & Company Predictive machine characteristic map generation and control system
CN109605375A (zh) * 2019-01-08 2019-04-12 太原工业学院 一种智能番茄采摘机器人的控制方法
CN109863874B (zh) * 2019-01-30 2021-12-14 深圳大学 一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质
CN110832991B (zh) * 2019-10-24 2021-07-13 广州大学 一种基于图像识别的采摘机
CN111360780A (zh) * 2020-03-20 2020-07-03 北京工业大学 一种基于视觉语义slam的垃圾捡拾机器人

Also Published As

Publication number Publication date
US11406061B2 (en) 2022-08-09
US20220124979A1 (en) 2022-04-28
CN112243698A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN112243698B (zh) 一种基于多传感器融合技术的核桃自动化采摘及收集方法
CN111602517B (zh) 一种串型水果分布式视觉主动感知方法及其应用
CN113791641B (zh) 一种基于飞行器的设施检测方法及控制设备
CN101356877B (zh) 一种温室环境下黄瓜采摘机器人系统及采摘方法
CN108073167A (zh) 一种基于深度相机与激光雷达的定位与导航方法
CN109333549B (zh) 一种基于机器视觉的乒乓球拾取移动机器人及控制方法
CN110122073A (zh) 一种基于机器视觉的草莓采摘机器人
CN110969660B (zh) 一种基于三维立体视觉和点云深度学习的机器人上料系统
CN110134147A (zh) 一种植保无人机的自主路径规划方法及装置
CN114080905B (zh) 基于数字双胞胎的采摘方法及云采摘机器人系统
CN108633482A (zh) 一种水果采摘飞行器
CN116494201A (zh) 一种监控一体化的电力机房巡检机器人及无人巡检方法
CN112428268A (zh) 基于机器视觉的车载机械臂式水果拾取装箱系统及方法
CN109729835A (zh) 一种基于双目视觉的油茶果采摘系统及控制方法
CN115271200A (zh) 一种用于名优茶的智能连贯采摘系统
CN117546681A (zh) 引导机器人采摘和运送水果的协同作业方法、系统及平台
CN115589845A (zh) 一种智能采棉机器人及其采棉作业路径规划方法
CN114578817B (zh) 基于多传感器检测及多数据融合的智能搬运车的控制方法
LU502977B1 (en) Automated walnut picking and collecting method based on multi-sensor fusion technology
CN106204516B (zh) 一种机器人的自动充电方法及装置
CN109977884A (zh) 目标跟随方法和装置
CN106767823A (zh) 基于不完全信息情况下的智能移动路径规划方法
CN109909989A (zh) 一种沙滩垃圾收集机器人
CN116391506A (zh) 一种番茄果实高速收集系统及方法和番茄果实采摘机
CN116257081A (zh) 无人机与地面无人车协同去雄作业系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant