CN111552300A - 一种基于实例分割和路径规划的农作物采摘系统 - Google Patents

一种基于实例分割和路径规划的农作物采摘系统 Download PDF

Info

Publication number
CN111552300A
CN111552300A CN202010516050.0A CN202010516050A CN111552300A CN 111552300 A CN111552300 A CN 111552300A CN 202010516050 A CN202010516050 A CN 202010516050A CN 111552300 A CN111552300 A CN 111552300A
Authority
CN
China
Prior art keywords
crop
coordinates
mechanical arms
mask
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010516050.0A
Other languages
English (en)
Inventor
孙桂玲
王若斌
钱诚
周帆
杜雅雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN202010516050.0A priority Critical patent/CN111552300A/zh
Publication of CN111552300A publication Critical patent/CN111552300A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Environmental Sciences (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于计算机视觉的提高作物采摘精度和控制机械臂运动自动寻路的系统。该系统结合Yolact在ResNet‑101上的工作，将传统的两阶段实例分割模型修改为一阶段模型，从最深层生成64个鲁棒掩模，并依次根据4层特征金字塔网络输出预测系数，对不同图层的掩模系数赋予不同的权重以提高掩模精度。既定位植株，又生成掩膜逐像素地将作物紧密覆盖，并输出作物中心点及轮廓坐标。然后使用A*算法及其启发函数依次利用这些坐标进行分段最短路径规划并生成对应的G代码语句控制机械臂在植株间和植株上进行运动，最后机械爪结合作物中心点和轮廓坐标采摘作物。

Description

一种基于实例分割和路径规划的农作物采摘系统
技术领域
本发明涉及智慧农业中的智能采摘，特别是涉及一种控制机械手的自动寻路和识别农作物的抓取系统。
背景技术
当前世界上应用最多的主要有2种形式的采摘机械：一是通过震摇或撞击等形式使果实与果树分离的采果机，摇动和捕获方法通常会导致损害程度，这是新鲜水果所无法接受的；第二种方法是利用采摘机器人技术进行选择性农作物收获。20世纪80年代起，相关领域的专家和工程师便开始着手于农作物采摘机器人的研制和开发。所采用的典型方法是将计算机视觉系统与机械手和末端执行器结合起来，以便有选择地采摘个别成熟的农作物。
目前农作物自动化采摘系统中较为常用的深度神经网络算法，如Faster R-CN和YOLOv3等，主要实现的是采摘对象的目标检测功能。然而，上述的深度神经网络算法只能利用边界框粗略地计算出目标的位置，无法准确地提取轮廓和形状信息。但是，农作物采摘工作的难点在于即使是相同类型农作物，在不同环境下的外观变化很大，包括颜色、形状、大小、质地和反射特性。因此，为了实现对农作物的采摘点的精确定位，需要高精度的农作物轮廓和形状识别，这意味着单一的目标检测办法不能满足对农作物的采摘要求
在智能采摘过程中，机器人路径规划的常用算法是蚁群算法及其优化算法。这类算法要求多个机器人进行采摘，并遍历所有路径释放“信息素”，所需的搜索时间长，复杂度高，且在搜索进行到一定程度后，容易出现所以机器人得到相同解这种“停滞现象”，使得搜索空间受到限制。此外，信息素更新策略，路径搜索策略和最优解保留策略都带有经验性，没有经过严格的理论论证。因此基本蚁群算法的求解效率不高、收敛性较差、求解结果具有较大的分散性
发明内容
为了解决检测精度低，形状识别效果差，路径搜索时间长，长时间搜索后停滞这种问题，本发明提出了一种启发式自动寻路抓取系统。
本发明提供了一种实例分割的掩模获取方法，使用ResNet-101网络结构和FPN图像金字塔来提取图像特征。特征图一方面送入FCN全卷积网络生成64个原型掩模，另一方面添加预测头进行相应的系数预测，根据产生系数的特征图深度乘上对应的系数与原型掩模组合后使用Sigmoid函数激活。最终得到目标的实例分割结果以及掩模所覆盖的轮廓坐标。
本发明提供了一种启发式路径规划算法。在空间的每层平面之间根据农农作物的种植规律和植被特性设定导航点作为平面之间的通路来缩短搜索时间，在每一层平面上进行启发式路径搜索，寻找到达最近导航点的最短路径。每进行一次搜索，都将出发节点坐标输出为一个符合G代码规则的机械臂定位指令，指导机械臂进行移动。机械臂移动到指定位置后，根据实例分割所得轮廓坐标进行农作物抓取。
本发明包含了一种安装于小车的六轴机械臂，具有直线插补，圆弧插补，加减速插补，多轴同步旋转插补，工作台坐标设定等功能。机械臂使用G代码进行指令控制，有两种控制机械臂运动的方式，一是只关心末端定位位置，这时只要给定机械臂末端坐标值和定位姿态，机械臂自动计算各轴角度，自动直线插补运行到定位点；二是只关心各轴角度，这时只需输入各轴角度的目标值，机械臂自动按照角度值使各轴同步插补到目标。
本发明的优点和积极效果
与现有技术相比，本发明具有如下优点和积极效果：
第一，图像分割速度快，可以达到实时分割，分割精度和掩模精度高。
第二，路径规划速度快，路径短。
第三，根据坐标直接控制机械爪，抓取精度高，农作物损伤小。
附图说明
图1为系统结构流程图。
图2为原型掩模网络。
图3为预测头网络。
图4为A*路径规划说明图。
具体实施方式
本发明的目的是利用计算机快速定位农作物，并尽可能准确地识别农作物的轮廓并将轮廓坐标输出。基于这个坐标，机械手能够以更高的效率进行移动并准确地采摘农作物。
首先，如图1，将农作物图像输入到ResNet-101，输出C1-C5。为了生成更鲁棒的掩模并提高小目标的检测精度，需要一个特征金字塔网络(FPN)。在这个过程中，经过1×1的卷积，C5生成P5。经过双线性插值放大后，加入C4得到P4，C4与1×1进行卷积。同样，P3也产生了。P5与3×3卷积得到P6。为了避免过度检测导致掩模覆盖或者重复分割，没有再继续卷积生成P7。图像尺寸和通道数如表1所示。P3作为最深的一层，可以被认为是一个模板，拥有最丰富的特征信息从而可以提高小目标的检测结果。于是，将P3被输入到一个如图2的FCN网络中获得64个原型掩模。
表1：图像通道数
Figure BSA0000211012250000031
然后，本发明使用P3到P6共四层添加预测头来进行系数预测，对RetinaNet的多任务分支，并进行了融合，每一层都产生三种系数。参考图3，第一个是类别系数，对应COCO数据集中的81类分割对象。第二个是轮廓系数。4表示一个四维位置信息。第三个是掩模系数，64表示生成64个原型掩模。在这三种情况中，“a”表示锚点的数量。每层每个像素产生三个锚点。这些锚的高宽比是1∶2，1∶1，2∶1。在不同尺度的层中，锚点的基本边长分别为24、48、96、192。由于掩模系数应该包括正、负数，所以使用tanh来激活它们。
最后，本发明使用矩阵乘法将系数和原型掩模组合，并使用sigmoid函数激活后输出。
M＝σ(PCT) (1)
组合过程中，考虑到不同深度的图像具有不同置信度的特征信息，越深层的图像上的特征越可靠，所以对不同深度图像施加不同的权重，P3开始分别为1.75，1.26，1.24，和1.13
并使用快速非极大值抑制
首先，将矩阵X的对角和下三角位置设为0：
Figure BSA0000211012250000032
然后，只保留列方向上的最大值，形成最大IoU矩阵K：
Figure BSA0000211012250000033
最后，利用阈值t(K＜t)对矩阵进行处理，并为每个类别保留最优解。
通过以上操作，得到图像的实例分割结果，并将所识别的农作物标签、中心点坐标和轮廓坐标信息输出。
在本发明提出的路径规划算法中，通过上一步获得轮廓坐标信息后，以预设的农作物种植点，枝杈位置和分割所得农作物中心点设为导航点进行路径规划。
寻路算法使用如公式4所示的启发函数
F(n)＝G(n)+H(n) (4)
其中G(n)表示从初始结点到任意结点n的代价，H(n)表示从结点n到目标点的启发式评估代价。如果H(n)经常都比从n移动到目标的实际代价小(或者相等)，则A*保证能找到一条最短路径。如果H(n)精确地等于从n移动到目标的代价，则A*将会仅仅寻找最佳路径而不扩展别的任何结点，这会运行得非常快。如果H(n)有时比从n移动到目标的实际代价高，则A*不能保证找到一条最短路径，但它会运行得更快。所以可以得到一个结果，那就是理想情况下可以最快地得到最短路径。但如果设定的到目标的代价太低，仍会得到最短路径，不过速度变慢了；如果设定的代价太高，那就放弃了寻找最短路径，但可以得到更快的运行速度。
参考图4，格子左上角为F，左下角为G，右下角为H，实心方格为墙壁。从起点A开始，并把它就加入到一个由方格组成的open list。查看与起点A相邻的方格，忽略其中非法地形占领不可走的方格，把其中可到达的八个方格也加入到open list中，并把起点A设置为这些方格的父节点。把A从open list中移除，加入到close list中，close list中的每个方格都是现在不需要再关注的。
在每一次的搜索过程中，需要遍历周围相邻的所有可以行走格子，考虑到种植场所环境相对规则，分别设定每个格子前往相邻格子的代价，上下左右四个格子的均为10，四个角的格子为14。既然沿着到达指定方格的路径到达当前方格，那么计算出该方格的G值的方法就是找出其父节点的G值，然后按是直线方向还是斜线方向加上10或14。随着离开起点而得到更多的方格，依次递归。H采用欧几里得距离的平方，相加得到每个格子的总代价F，总代价最低的格子即为当前所得路径的一部分。
然后将F最小的格子从open list里取出，放到close list中并检查周围相邻的格子，将可走的格子放入open list。如果某个相邻的方格已经在open list中，则检查这条路径是否更优，即是否具有更小的G。如果没有，不做任何操作。相反，如果G值更小，则把那个方格的父亲设为当前方格，然后重新计算那个方格的G值和F值。最后从终点，依次向前寻找父节点，即为最终路径。图4依次选取右上角标有次序，总代价为40，54，74，74，74，68的格子。
依次在出发点到农作物种植点，农作物种植点到枝杈根部，枝杈根部到农作物中心点三个平面上分段进行最短路径规划，并将每一个节点位置坐标按照机械臂所使用的G语言语句输出到文本文件以供机械臂读取进行移动。最后，机械臂的手爪根据中心点的坐标和轮廓左边进行对应的果蔬采摘工作。

Claims (1)

1.一种基于实例分割和路径规划的农作物采摘系统，其特征在于一种安装于小车的六轴机械臂，机械臂使用G代码进行指令控制，只要给定机械臂末端坐标值和定位姿态，机械臂自动计算各轴角度，自动直线插补运行到定位点。其特征在于，通过如下编程手段提高精度与速度：
(1)使用ResNet-101网络结构和FPN图像金字塔来提取图像特征。
(2)使用FCN全卷积网络生成64个原型掩模。
(3)添加预测头预测3组系数，对不同深度的图像施加不同的权重。
(4)使用快速非极大值抑制方法和sigmoid激活函数。
(5)启发式评估代价H采用欧几里得距离的平方，减少开方运算。
(6)在出发点到作物种植点，作物种植点到枝杈根部，枝杈根部到作物中心点之间分段进行最短路径规划。
(7)根据作物中心点坐标、轮廓坐标生成G代码语句直接控制机械爪进行采摘。
CN202010516050.0A 2020-06-09 2020-06-09 一种基于实例分割和路径规划的农作物采摘系统 Pending CN111552300A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010516050.0A CN111552300A (zh) 2020-06-09 2020-06-09 一种基于实例分割和路径规划的农作物采摘系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010516050.0A CN111552300A (zh) 2020-06-09 2020-06-09 一种基于实例分割和路径规划的农作物采摘系统

Publications (1)

Publication Number Publication Date
CN111552300A true CN111552300A (zh) 2020-08-18

Family

ID=72005223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010516050.0A Pending CN111552300A (zh) 2020-06-09 2020-06-09 一种基于实例分割和路径规划的农作物采摘系统

Country Status (1)

Country Link
CN (1) CN111552300A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036387A (zh) * 2020-11-06 2020-12-04 成都索贝数码科技股份有限公司 基于门控卷积神经网络的新闻画面拍摄角度识别方法
CN112164077A (zh) * 2020-09-25 2021-01-01 陕西师范大学 基于自下而上路径增强的细胞实例分割方法
CN112544235A (zh) * 2020-12-04 2021-03-26 江苏省农业科学院 一种智能水果采摘机器人
CN113534823A (zh) * 2021-09-16 2021-10-22 季华实验室 种植机器人路径规划方法、装置、电子设备和存储介质
CN114029945A (zh) * 2021-10-13 2022-02-11 大连理工大学 一种类球形果实采摘机械臂的抓取路径控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107309876A (zh) * 2017-07-14 2017-11-03 广西师范大学 机械手采摘的控制方法
CN109828267A (zh) * 2019-02-25 2019-05-31 国电南瑞科技股份有限公司 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法
CN110154031A (zh) * 2019-06-20 2019-08-23 西北工业大学 一种多工业机器人协同焊接控制方法
CN110706267A (zh) * 2019-09-04 2020-01-17 五邑大学 一种基于采矿过程的矿石三维坐标获取方法及其装置
CN110717003A (zh) * 2019-09-27 2020-01-21 四川长虹电器股份有限公司 基于路径规划的智能购物车自主导航与自动跟随方法
US20200164513A1 (en) * 2018-11-27 2020-05-28 Cloudminds (Beijing) Technologies Co., Ltd. Positioning and navigation method for a robot, and computing device thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107309876A (zh) * 2017-07-14 2017-11-03 广西师范大学 机械手采摘的控制方法
US20200164513A1 (en) * 2018-11-27 2020-05-28 Cloudminds (Beijing) Technologies Co., Ltd. Positioning and navigation method for a robot, and computing device thereof
CN109828267A (zh) * 2019-02-25 2019-05-31 国电南瑞科技股份有限公司 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法
CN110154031A (zh) * 2019-06-20 2019-08-23 西北工业大学 一种多工业机器人协同焊接控制方法
CN110706267A (zh) * 2019-09-04 2020-01-17 五邑大学 一种基于采矿过程的矿石三维坐标获取方法及其装置
CN110717003A (zh) * 2019-09-27 2020-01-21 四川长虹电器股份有限公司 基于路径规划的智能购物车自主导航与自动跟随方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112164077A (zh) * 2020-09-25 2021-01-01 陕西师范大学 基于自下而上路径增强的细胞实例分割方法
CN112164077B (zh) * 2020-09-25 2023-12-29 陕西师范大学 基于自下而上路径增强的细胞实例分割方法
CN112036387A (zh) * 2020-11-06 2020-12-04 成都索贝数码科技股份有限公司 基于门控卷积神经网络的新闻画面拍摄角度识别方法
CN112544235A (zh) * 2020-12-04 2021-03-26 江苏省农业科学院 一种智能水果采摘机器人
CN113534823A (zh) * 2021-09-16 2021-10-22 季华实验室 种植机器人路径规划方法、装置、电子设备和存储介质
CN114029945A (zh) * 2021-10-13 2022-02-11 大连理工大学 一种类球形果实采摘机械臂的抓取路径控制方法

Similar Documents

Publication Publication Date Title
CN111552300A (zh) 一种基于实例分割和路径规划的农作物采摘系统
CN110488859A (zh) 一种基于改进Q-learning算法的无人机航路规划方法
Kim et al. The convolution neural network based agent vehicle detection using forward-looking sonar image
CN114147708B (zh) 基于改进的天牛须搜索算法的机械臂避障路径规划方法
Silwal et al. Bumblebee: A Path Towards Fully Autonomous Robotic Vine Pruning.
CN114407030B (zh) 一种自主导航配网带电作业机器人及其工作方法
CN115299245B (zh) 一种智能水果采摘机器人的控制方法及控制系统
CN112809665A (zh) 一种基于改进rrt算法的机械臂运动规划方法
CN110362116A (zh) 基于改进蚁群算法的变压器微型仿生鱼全局路径规划方法
Nemlekar et al. Robotic lime picking by considering leaves as permeable obstacles
Spero et al. Path planning for a mobile robot in a rough terrain environment
Li et al. Peduncle collision-free grasping based on deep reinforcement learning for tomato harvesting robot
Qiao et al. Sample-based frontier detection for autonomous robot exploration
CN115576333B (zh) 最优向避障策略
CN115237140A (zh) 一种基于3d点云的d3-td3机器人路径规划方法
CN116466701A (zh) 一种无人水面艇能耗最小轨迹规划方法
CN114415652B (zh) 一种轮式机器人路径规划方法
Tang et al. Autonomous 3D exploration of indoor environment based on wavefront algorithm
Xue et al. Real-time 3D grid map building for autonomous driving in dynamic environment
Wang et al. Fast and safe exploration via adaptive semantic perception in outdoor environments
Zhang et al. Visual navigation of mobile robots in complex environments based on distributed deep reinforcement learning
Pan et al. Pheno-Robot: An Auto-Digital Modelling System for In-Situ Phenotyping in the Field
Tang et al. Picking trajectory planning of citrus based on improved immune algorithm and binocular vision
Pan et al. A Novel Mapping and Navigation Framework for Robot Autonomy in Orchards
GL SUN et al. Research and realization of crop instance segmentation based on YOLACT

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200818