CN111602517A - 一种串型水果分布式视觉主动感知方法及其应用 - Google Patents

一种串型水果分布式视觉主动感知方法及其应用 Download PDF

Info

Publication number
CN111602517A
CN111602517A CN202010466512.2A CN202010466512A CN111602517A CN 111602517 A CN111602517 A CN 111602517A CN 202010466512 A CN202010466512 A CN 202010466512A CN 111602517 A CN111602517 A CN 111602517A
Authority
CN
China
Prior art keywords
picking
view
small
fruit
string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010466512.2A
Other languages
English (en)
Other versions
CN111602517B (zh
Inventor
熊俊涛
李中行
陈淑绵
卜榕彬
钟灼
刘柏林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN202010466512.2A priority Critical patent/CN111602517B/zh
Publication of CN111602517A publication Critical patent/CN111602517A/zh
Application granted granted Critical
Publication of CN111602517B publication Critical patent/CN111602517B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Economics (AREA)
  • Evolutionary Biology (AREA)
  • Strategic Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Environmental Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Robotics (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Medical Informatics (AREA)

Abstract

本发明公开了一种串型水果分布式视觉主动感知方法及其应用。本发明采用大视场相机获取果树的大视场图像，以进行大视场目标感知，得到各个串型水果目标的采摘优先级，同时确定二次感知的各采摘预备点；然后驱动机械手到达一个采摘预备点后，小视场相机随着机械手运动，近距离感知和观察串型水果，获取动态的小视场图像，实现小视场目标的主动感知与采摘智能决策。本发明可以减少采摘作业信息决策不足和机械手作业活动冗余的技术问题，有效提高串型水果的采摘效率。

Description

一种串型水果分布式视觉主动感知方法及其应用
技术领域
本发明涉及水果智能采摘领域，特别涉及一种串型水果分布式视觉主动感 知方法及其应用。
背景技术
我国是龙眼、葡萄、荔枝等串型水果的主要生产国，种植和生产总量位居 世界前列，具有巨大的经济潜力。但目前这些串型水果的收获基本依靠人工采 摘，劳动强度大，采摘费用高。人工采摘的过程包括肉眼判断水果成熟度和品 质，然后结合工具进行手工采摘。有研究表明，在整个水果种植生产过程中， 采摘水果所耗费的劳动力占水果种植劳动力总量的35％～45％。随着果园发展 的规范化、规模化，人工采摘成本会变得更高。近年来，随着智能机器人的发 展，采摘机器人的研究和应用越来越多，给果园管理和水果采摘带来一定的效 益。水果采摘机器人在采摘水果之前，需要先将机器人人工或自动移动到果树 前，然后通过视觉传感器将水果从复杂的果园环境中识别出来，再根据水果空 间信息进行水果的定位、选择和采摘。目前水果采摘机器人的研究重点主要是 单个水果的识别采摘，比如苹果、猕猴桃和草莓等，而对串型水果的识别方法 较少，因此迫切需要开展串型水果采摘机器人的相关研究。
目前，水果采摘机器人的视觉系统主要是单一集中式系统，在同一时刻， 视觉传感器仅获取采摘对象及其狭小空间范围的视觉信息，这些视觉信息可以 辅助机器人近距离摘落水果，但不能帮助机器人获取果树大范围的水果分布信 息，难以对水果采摘顺序进行规划，因此整体采摘效率较低。
水果采摘机器人获取水果采摘点信息的传感器主要包括二维的单目视觉、 多目视觉、三维kinect、红外设备和激光设备等；水果具体采摘点的识别是单次 规划的，即水果采摘机器人移动到目标水果前，根据此时的视觉信息确定采摘 点和采摘任务。如果水果和采摘点干扰较少，则采摘成功；如果干扰较大，则 可能导致采摘任务失败，即受复杂的野外采摘环境、视觉系统限制、角度、遮 挡和光照条件变化等因素影响，采摘机器人的小视场视觉系统容易丢失采摘目 标，从而导致采摘任务失败。因此，如何重新确定最佳的采摘角度、位置和采 摘姿态，成为水果智能采摘领域亟需解决的重要问题。
发明内容
本发明的目的在于克服现有技术中存在的缺点，提供一种串型水果分布式 视觉主动感知方法，可以实现采摘场景下大视场目标感知与小视场采摘决策的 联合协作，有效解决采摘作业信息决策不足和机械手作业活动冗余的问题，提 高串型水果识别率，有效降低采摘遮挡或重叠水果的不确定性，提高串型水果 的采摘效率。
本发明的另一目的在于提供一种串型水果采摘机器人，采用上述串型水果 分布式视觉主动感知方法进行串型水果采摘。
本发明的目的通过下述技术方案实现：
一种串型水果分布式视觉主动感知方法，包括下述步骤：
(1)确定多类视觉传感器信息的耦合关系，布置分布式视觉方案；
(2)采用大视场相机获取果树的大视场图像，以进行大视场目标感知：即 利用实例分割网络(Mask R-CNN)对大视场图像中的串型水果目标进行检测和 识别，获得串型水果的空间信息，利用视觉显著性算法评估大视场图像中的串 型水果目标的品质状态，然后根据串型水果目标的空间信息和品质状态进行多 目标采摘顺序规划，得到各个串型水果目标的采摘优先级，同时确定二次感知 的各采摘预备点；
(3)驱动机械手到达一个采摘预备点后，小视场相机随着机械手运动，近 距离感知和观察串型水果，获取动态的小视场图像，以进行二次感知：结合智 能推理与知识建模方法建立视觉与机械手关联的运动控制模型，实现小视场目 标的主动感知与采摘智能决策，即机械手通过自主学习和探索到达采摘串型水 果的最优视角，小视场相机在最优视角处再次获取图像进行姿态估计，并计算 采摘点的位置，机械手运动至采摘点的位置并执行采摘动作，将采摘完成的串 型水果放入收集装置；
(4)驱动机械手到达另一个采摘预备点，重复执行步骤(3)，直到所有 采摘预备点的串型水果目标采摘完毕。
一种串型水果采摘机器人，包括机械手、移动平台、大视场相机、小视场 相机和控制系统；大视场相机竖直固定在移动平台上，且位于机械手的一侧， 其相对于机器人基点的位置是固定的；小视场相机固定在机械手末端执行器的 下方，其相对于机器人基点的位置是随末端执行器一起变化；是采用所述的串 型水果分布式视觉主动感知方法进行串型水果采摘。
所述大视场相机和小视场相机采用Kinect相机；其中，大视场相机是Kinect V2，小视场相机是Kinect DK。每个Kinect相机均包含两个视觉传感器，即彩 色视觉传感器和深度视觉传感器。
步骤(1)中，所述确定多类视觉传感器信息的耦合关系，包括大视场相机 和小视场相机的空间映射关系，以及相机内部视觉传感器之间的变换矩阵。首 先对Kinect相机中的彩色视觉传感器和深度视觉传感器进行标定，得到深度视 觉传感器到彩色视觉传感器的外参数矩阵Tdept h2rgb，再结合深度图、深度视觉 传感器内参数Kdept h和彩色视觉传感器的内参数Krgb，得到深度图像素点所对应 的彩色图像素点，获得深度图对应的彩色映射图，公式如下：
其中：
Figure BDA0002512824740000031
式中，Zrgb：彩色视觉传感器像素点的对应的深度值
prgb：彩色视觉传感器像素点的像素坐标，要求解的目标值
Zdept h：深度视觉传感器像素点的对应的深度值
pdept h：深度视觉传感器像素点的像素坐标
Krgb：单目标定时获得的彩色视觉传感器内参数
Kdept h：单目标定时获得的深度视觉传感器内参数
Rrgb：两个视觉传感器(即彩色视觉传感器和深度视觉传感器)对同一幅棋盘格 计算获得的彩色视觉传感器的旋转矩阵
Rdept h：两个视觉传感器对同一幅棋盘格计算获得的深度视觉传感器的旋转矩阵
Trgb：两个视觉传感器对同一幅棋盘格计算获得的彩色视觉传感器的平移矩阵
Tdept h：两个视觉传感器对同一幅棋盘格计算获得的深度视觉传感器的平移矩阵
R：最终的旋转矩阵
T：最终的平移矩阵
Rdept h2rgb：深度传感器到彩色传感器的旋转矩阵
Rdept h2rgb：深度传感器到彩色传感器的平移矩阵。
步骤(1)中，所述布置分布式视觉方案，是指根据自然环境图像采集与分 析实验，设计大视场相机和小视场相机结合的分布式视觉方案，进而确定大视 场相机、小视场相机与机械手的空间坐标映射关系，建立关系模型。如图3所示， 假设{B}为机器人基坐标系，{C1}为大视场相机坐标系，{C2}为小视场相机坐标系， {E}为末端执行器坐标系，{P}为基于大视场相机的采摘预备点坐标系，{H}为基 于小视场相机的采摘点坐标系。
步骤(2)中，所述视觉显著性算法，即改进Itti显著图模型，是提取多尺度 亮度、方向、拮抗颜色对(R-G,B-Y,Cr-Cb,S-H)等金字塔特征，在中等尺度 上进行特征融合加权计算，得到像素级视觉显著图。
步骤(2)中，所述评估水果目标品质状态，是指大视场相机通过Mask R-CNN 识别的水果区域在显著图中匹配，获得各水果目标的视觉显著信息，然后计算 各水果目标的平均显著度来量化完好水果的品质状态。
步骤(2)中，所述多目标采摘顺序规划，是对Mask R-CNN识别的大视场 图像中所有串型水果区域，采摘顺序规划模型收集各串水果的面积、距离信息 和平均显著度数据，归一化之后映射到三维空间，将顺序规划问题转化为旅行 商问题，利用遗传算法定义遗传算法的适应度函数，在显著度-面积-深度距离空 间下迭代搜索最优采摘顺序路径，为每个水果分配采摘优先级，最终得到串型 水果的采摘顺序并在大视场图像中标记出序号，进而引导机械手有序采摘树上 串型水果目标。
步骤(2)中，所述确定采摘预备点，是取串型水果区域中心点作为水果点， 结合大视场相机所获得的深度图计算出水果点的三维世界坐标，将水果点坐标 的深度减去X厘米(X为根据实验确定的最佳距离，一般为：5～15cm)确定为 预备点Pbig。
步骤(3)中，所述的智能推理与知识建模方法建立视觉与机械手关联的运 动控制模型，是建立用于近距离视图规划和位姿估计的小视场二次感知系统， 实现小视场目标的主动感知与采摘智能决策。在对所述小视场目标进行主动感 知与采摘智能决策之前，先对小视场相机获取的小视场图像进行自适应球状栅 格化，使得机械手能够在串型水果目标的一定距离内运动，避免小视场相机寻 找目标过程中离串型水果目标过近而影响串型水果采摘点的识别，因此通过对 小视场相机的数据分析建立关系函数G，基于该关系函数G与机械手采摘域信息 进行小视场相机所获取图像的自适应球状栅格划分。假设关系函数G为：
G(XC,YC,ZC)＝H×A-1×N
其中Xc,Yc,Zc为小视场相机坐标系{C}中某点的坐标，H设定为小视场相机与 串型水果目标的深度距离，矩阵A包含了小视场相机的内参参数(f，dx，dy， u0，v0)，其中f是小视场相机的焦距，dx和dy是小视场相机拍摄图像的x、y方向 的单位像素物理大小，u0和v0是图像坐标系的原点位置；N＝[u v 1]T，其中u 和v是自适应栅格划分后的栅格中心所在像素点位置。拟定的小视场视觉图像的 自适应栅格划分示意图如图3所示。
为了使得自适应划分栅格引导机械手在目标左右和上下移动的同时，也满 足机械手在串型水果目标的侧后方观察目标需求，拟定自适应球状栅格在相应 像素点上所对应的深度距离表示为：
Figure BDA0002512824740000051
其中，r为根据视觉实验确定的球状栅格半径，与视场大小相关；Px和Py为 图像中心像素点的位置，Pz＝H+r，L(x,y,z)是机械手的有效工作范围，因此结 合关系函数G和深度距离Z球进行小视场从视觉的自适应球状栅格划分。
步骤(3)中，所述小视场目标的主动感知与采摘智能决策，是指进行所述 图像自适应球状栅格化后，结合PPO强化学习算法，对栅格图像建立目标函数： F(x)＝w1*p(x)+w2*m(q(x))，式中，权重值w1+w2＝1，x∈R3表示机械 手末端执行器的三维位置向量，p为场景中检测到的串型水果的归一化大小；
Figure RE-GDA0002594516620000052
为经典的机械手可操作性得分指标，其中q(x)为机械手 在x状态下时的各关节角，det(J(q))为雅可比行列式。
步骤(3)中，所述机械手通过自主学习和探索到达采摘串型水果的最优视 角，是指为了得到目标函数最优解，进而构建最优视角，是采用虚拟实验的方 法，在仿真系统内建立PPO强化学习网络，其示意图如图6所示。首先，根据 机械手各转轴运动特点建立仿真机械手随机运动模型，当机械手末端执行器移 动到小视域栅格图像中的下一观察位置时，目标函数的值发生改变，为了使串 型水果目标的信息最大化，即最大化目标函数，建立对应奖赏机制；通过随机 运动探寻不同观察位置不同的目标函数值，更新最大目标函数maxF(x)的值，即 F(xi)>maxF(x)时，maxF(x)＝F(xi)，终止回合并根据maxF(x)大小给予奖励；同时根据时间的花销给予惩罚，惩罚指标按串型水果分布形态复杂程度和不同 遮挡程度进行设置。具体为：
Rpublis h＝Rrestart-k1f1(x)-k2f2(x)
式中，Rrestart为惩罚初始值，权重值k1+k2＝1，f1(x)为串型水果分布形 态复杂程度归一化大小，f2(x)为不同遮挡程度归一化大小。在下一回合中机械 手会随机探寻另一条道路以获取更高的maxF(x)，通过多次训练，得出目标函数 最优解，最终得到机械手最优观测视角的姿态信息以及对应的采摘预备点。
步骤(3)中，所述进行二次感知，是首先通过手眼标定获得小视场相机到 末端执行器的转换矩阵Tsmall 2end，该矩阵是固定的，获得一次即可，使用目标 检测算法检测出小视场图像中的串型水果目标位置，选取水果预测框正上方的 150*150像素的区域为结果母枝感兴趣区域，利用语义分割网络分割出果梗的 像素，取其像素区域中心点作为采摘点，结合小视场相机获得的深度图计算出 采摘点的三维世界坐标，结合所述手眼标定获得的小视场相机到末端执行器的 转换矩阵Tsmall 2end，和当前末端执行器到基座标的转换矩阵Tend 2base，将采摘 点转换到机器人基坐标下，控制机器人进行采摘，小视场坐标Psmall到机器人基 座标Pbase的转换公式如下：Pbase＝Tend 2base·Tsmal l2end·Psmall。
步骤(3)中，所述结合智能推理与知识建模方法建立视觉与机械手关联的 运动控制模型，首先是大视场相机求出各个串形水果区域在大视场相机坐标系 下的预备点Pbig并进行排序，结合所述手眼标定获得小视场相机到机器人基座标 的转换矩阵Tbig 2base，将预备点由大视场相机坐标系转换到机器人基坐标系Pbase， 再结合小视场相机到末端执行器的转换矩阵Tsmall 2end，算出预备点坐标P预备点， 将该坐标发送给机械手，即可使小视场相机到达预备点，进行小视场二次感知， 过程公式如下：
Figure BDA0002512824740000061
为了使末端执行器移动到采摘点 执行采摘任务，假设机械手末端执行器相对于机器人基坐标系有如下变换关系：
T采摘点＝Tend 2base·Tsmall 2end·T采摘点2small
其中T采摘点2small为采摘点坐标系到小视场相机的变换矩阵。将T采摘点发送 给机械手，即可使机械手末端执行器到达采摘点，完成水果采摘作业。
本发明与现有技术相比具有如下优点和效果：
(1)本发明通过分布式视觉方案，大视场相机确定大范围水果和品质判断， 辅助采摘顺序规划；小视场相机确定具体采摘水果的姿态和位置信息，辅助具 体采摘过程，减少采摘作业信息决策不足和机械手作业活动冗余的技术问题， 有效提高串型水果的采摘效率。
(2)本发明通过分布式视觉主动感知方法来智能观察串型水果目标，机械 手通过不断探索找到最适宜的采摘点，降低采摘遮挡或重叠水果的不确定性， 切实解决单次采摘失败导致机器人终止任务的问题，提高采摘机器人的智能化 与自动化水平，提高采摘机器人的工作效率和水果收获率。
附图说明
图1为本发明的串型水果采摘机器人的结构示意图。
图2为机械手的结构示意图。其中，1、基座；2、J1-J2模组；3、下臂；4、 J3-J4模组；5、上臂；6、J5-J6模组；7、末端执行器。
图3为本发明的大视场相机、小视场相机与机械手的空间坐标映射关系图。
图4为本发明的Mask R-CNN网络结构图。
图5为本发明的自适应栅格划分示意图。
图6为本发明的确定最优视角示意图。
图7为本发明的采摘流程图。
具体实施方式
下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。 基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所 获得的所有其他实施例，都属于本发明保护的范围。需要说明，若本发明实施 例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指 示仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如 果该特定姿态发生改变时，则该方向性指示也相应地随之改变。另外，若本发 明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等 的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明 所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示 或者隐含地包括至少一个该特征。
实施例1
一种串型水果采摘机器人，如图1所示，包括机械手、移动平台、大视场相 机、小视场相机和控制系统；大视场相机即Kinect V2相机，竖直固定在移动平 台上，且位于机械手的一侧，其相对于机器人基点的位置是固定的；小视场相 机即Kinect DK相机，固定在机械手末端执行器的下方，其相对于机器人基点的 位置是随末端执行器一起变化；控制系统为内置有串型水果分布式视觉主动感 知方法的嵌入式设备。
如图2所示，机械手的本体结构包括基座、J1-J2模组2、下臂3、J3-J4模组 4、上臂5、J5-J6模组6、末端执行器7，这些部件依次相连接。
串型水果采摘机器人采用串型水果分布式视觉主动感知方法进行采摘工作。 本实施例以荔枝为例进行说明，但本发明同样适用于其他串型水果。当大视场 相机KinectV2获取得到场景图像后，由嵌入式设备运行改进Itti模型计算视觉显 著图，同步地，运行实例分割算法识别并检测多串荔枝，结合显著图得到各串 荔枝区域显著值，采用TSP-GA算法进行采摘顺序规划，以每串荔枝的正前方5～ 15厘米作为采摘预备点，驱动机械手到达各预备点后，启用小视场相机Kinect DK进行二次感知，近距离观察荔枝的遮挡情况，自主学习探索荔枝目标的最优 采摘视角，进行姿态估计以及计算采摘点的位置，最后将采摘点发送到机械手， 执行采摘动作，将采摘完成的荔枝放入收集装置中，再按照规划好的采摘顺序 依次执行大小视场图像获取与采摘动作。
如图4和图5所示，具体实施步骤如下，如图7所示：
步骤1：从Kinect V2采集得到的大视场图像，使用实例分割网络和改进Itti 模型识别荔枝串及计算显著信息，再根据识别结果，建模为旅行商问题求解模 式，定义适应度函数，使用遗传算法计算得到荔枝串的采摘顺序{P1,P2,…,Pn}。
具体地，本实施例中的实例分割网络为：Mask R-CNN，其中损失函数为 Loss＝Lbox+Lcls+Lmask,Lbox为目标边框回归误差，Lcls为目标类别预测 误差，Lmask为目标分割像素误差，网络结构图如图4所示。
具体地，本实施例中的改进Itti模型为，对输入图像进行线性滤波，其三通 道图像为r,g,b。提取亮度特征图I、超红算子R特征，超绿算子G特征、超黄算 子Y特征和超蓝算子B特征、YCbCr颜色空间下的Cr特征和Cb特征、HSV颜色空 间下的S特征和H特征，Gabor滤波在θ∈{0°,45°,90°,135°}四个角度下的方向特 征[G1,G2,G3,G4]，形成13幅特征图。其中I＝(r+g+b)/3,R＝g-(r+b)/2,
Figure BDA0002512824740000091
G＝g-(r+g)/2。
对以上13幅特征图生成九个尺度的高斯图像金字塔，得到117幅金字塔特征 图，其中高斯核大小为5*5,且第一尺度是图像原尺寸。令尺度为c∈{2,3,4}的特征 图为中心特征图，尺度为s＝c+δ(δ∈{3,4})的特征图为周围特征图。所有中心 特征图与周围特征图均缩放至第五尺度，进行以下公式所述运算得到54副新特 征图，
Figure BDA0002512824740000092
表示图像减法运算。
Figure BDA0002512824740000093
Figure BDA0002512824740000094
Figure BDA0002512824740000095
Figure BDA0002512824740000096
Figure BDA0002512824740000097
Figure BDA0002512824740000098
对以上54副特征图进行归一化N(·)操作，根据以下公式融合特征图并生成视 觉显著图Saliency。
Figure BDA0002512824740000099
Figure BDA00025128247400000910
Figure BDA00025128247400000911
Figure BDA00025128247400000912
Figure BDA00025128247400000913
Figure BDA00025128247400000914
具体地，本实施例中使用的顺序规划模型(TSP-GA)，为遗传算法求解旅 行商问题最短路径的方法。对每个水果的面积、平均显著度和空间信息(包含 水果目标与末端执行器、水果目标之间的距离)归一化之后映射为三维空间， 将采摘顺序规划问题转化为旅行商问题，采用遗传算法(本实施例以遗传算法 为例进行说明，但其他优化算法同样适用于本发明)求解旅行商经过的最短路 径，解得城市点序号即为各水果目标的采摘优先级。
其中，面积、显著度和距离信息归一化操作如下：
Figure RE-GDA0002594516620000101
Figure RE-GDA0002594516620000102
Figure BDA0002512824740000103
遗传算法的适应度函数为
Figure BDA0002512824740000104
D(i,j)表示水果目标i与水果目标j在三维空间下的距离。
步骤2：根据采摘顺序，以每个目标区域前的10cm作为二次感知预备点， 先到达第一个二次感知预备点P1，执行二次感知策略。
具体地，本实施例的二次感知策略为，首先从图5所示中的小视场相机获取 小视域图像，对小视域图像进行图像自适应球状栅格化。
对于所述的图像自适应球状栅格化，具体实施方式为，建立深度距离与小 视场相机视场的关系函数，基于该函数与机械手采摘域进行有效深度图像的自 适应球状栅格划分。假设关系函数G为：
Figure BDA0002512824740000105
式中，H为设定的小视场相机与相机拍摄图像的深度距离，f是小视场相机 的焦距，dx和dy是小视场相机拍摄图像的x,y方向每单位像素的物理大小， u0和v0是图像坐标系的原点位置，u和v是自适应球状栅格划分后的栅格中心 所在像素点位置。但是该方法自适应划分后的栅格只能使机械手在目标左右和 上下移动，不能往水果侧后方观察目标，因此设计了自适应球状栅格划分方法， 在上述公式的基础上有：
Figure BDA0002512824740000111
结合式1.1，1.2，有
Figure RE-GDA0002594516620000112
则此时自适应球状栅格在相应像素点上所对应的深度距离为：
Figure BDA0002512824740000113
其中，r为根据实验确定的球状栅格半径，Px,Py为图像中心像素点的位置， PZ＝H+r,L(x,y,z)是机械手的有效工作范围。
因此建立了G函数和式1.1-1.4进行大视域的自适应球状栅格划分。
具体地，进行图像自适应球状栅格化后，结合PPO强化学习，对栅格图像建 立目标函数：F(x)＝w1*p(x)+w2*m(q(x))，式中，权重值w1+w2＝1，x∈ R3表示机器人末端执行器的三维位置向量，p为场景中检测到的串型水果的归一 化大小；
Figure RE-GDA0002594516620000114
为经典的机械手可操作性得分指标，其中q(x) 为机械手在x状态下时的各关节角，det(J(q))为雅可比行列式。
为了得到目标函数最优解，进而构建最优视角，采用虚拟实验的方法，在 仿真系统内建立PPO强化学习网络，其示意图如图6所示。首先，根据机械手 各转轴运动特点建立仿真机械手随机运动模型，当机械手末端执行器移动到小 视域栅格图像中的下一观察位置时，目标函数的值发生改变，为了使串型水果 的目标信息最大化，即最大化目标函数，建立对应奖赏机制。通过随机运动探 寻不同观察位置不同的目标函数值，更新最大目标函数maxF(x)的值，即 F(xi)>maxF(x)时，maxF(x)＝F(xi)，终止回合并根据maxF(x)大小给予奖励， 示意图如图3。同时根据时间的花销给予惩罚，惩罚指标按串型水果分布形态复 杂程度和不同程度遮挡进行设置。具体为：
Rpublis h＝Rrestart-k1f1(x)-k2f2(x)
式中，Rrestart为惩罚初始值，权重值k1+k2＝1，f1(x)为串型水果分布形 态复杂程度归一化大小，f2(x)为不同遮挡程度归一化大小。在下一回合中机械 手会随机探寻另一条道路以获取更高的maxF(x)，通过多次训练，得出目标函数 最优解，最终得到机械手最优观测视角的姿态信息以及对应的采摘预备点。
步骤3：根据改进RRT路径规划方法，进行机械手运动至采摘预备点的路径 规划。
具体地，改进的RRT路径规划方法，在传统方法的基础上，通过调节新节 点扩展方向，以自适应的方式来改进RRT实现快速高效路径规划。假设自适应 函数F为：
Figure BDA0002512824740000121
其中，k1为随机点方向的步长，单位是mm或(°)；k2为目标点方向的步长， 单位是mm或(°)。Prand是随机位姿；Pnear是搜索树上离随机位姿最近的位姿；Pgoal是目标位姿。针对不同环境，调整k1、k2实现自适应变化。则RRT方法中搜索步 长为λ，新节点构造函数Pnew实现自适应路径规划。
Figure BDA0002512824740000122
其中，引入遗传算法对RRT方法产生地初始路径进行优化，而适应度函数 是影响遗传算法收敛速度及能否找到最优解的直接因素，因此将路径长度和机 械手与障碍物最小距离引入适应度函数为：
C＝m/S+nD
式中，C为路径的整体评价值，S为路径长度，D为与障碍物的距离。m和n 分别为路径长度和与障碍物距离的加权因子。通过改变加权因子m和n的值，可 以得到不同重要程度的路径，然后进行反复迭代，完成路径优化。
步骤4：利用YOLOV3算法和UNet算法进行采摘点识别，获取采摘点的位置 坐标。
具体地，YOLOV3算法检测出水果的区域，取区域上方150x150的像素区域 作为果梗的候选区域，用UNet语义分割算法分割出果梗的像素，结合深度图去 掉深度为0的像素，取剩余像素中心点，结合相机内参算出该点三维坐标作为采 摘点。通过ROS(Roboticoperating system)结合步骤3中的改进RRT路径规 划方法对到达采摘点的路径进行规划。
步骤5：机械手根据运动规划结果执行采摘动作，完成采摘任务，继续执行 接下来的{P2,…,Pn}的采摘。
步骤6：n次顺序采摘执行完成后，重新捕获大视场图像，继续以上步骤。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡 是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或 直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种串型水果分布式视觉主动感知方法，其特征在于包括下述步骤：
(1)确定多类视觉传感器信息的耦合关系，布置分布式视觉方案；
(2)采用大视场相机获取果树的大视场图像，以进行大视场目标感知：即利用实例分割网络Mask R-CNN对大视场图像中的串型水果目标进行检测和识别，获得串型水果的空间信息，利用视觉显著性算法评估大视场图像中的串型水果目标的品质状态，然后根据串型水果目标的空间信息和品质状态进行多目标采摘顺序规划，得到各个串型水果目标的采摘优先级，同时确定二次感知的各采摘预备点；
(3)驱动机械手到达一个采摘预备点后，小视场相机随着机械手运动，近距离感知和观察串型水果，获取动态的小视场图像，以进行二次感知：结合智能推理与知识建模方法建立视觉与机械手关联的运动控制模型，实现小视场目标的主动感知与采摘智能决策，即机械手通过自主学习和探索到达采摘串型水果的最优视角，小视场相机在最优视角处再次获取图像进行姿态估计，并计算采摘点的位置，机械手运动至采摘点的位置并执行采摘动作，将采摘完成的串型水果放入收集装置；
(4)驱动机械手到达另一个采摘预备点，重复执行步骤(3)，直到所有采摘预备点的串型水果目标采摘完毕。
2.根据权利要求1所述的串型水果分布式视觉主动感知方法，其特征在于：步骤(1)中，所述确定多类视觉传感器信息的耦合关系，包括大视场相机和小视场相机的空间映射关系，以及相机内部视觉传感器之间的变换矩阵；所述布置分布式视觉方案，是指根据自然环境图像采集与分析实验，设计大视场相机和小视场相机结合的分布式视觉方案，进而确定大视场相机、小视场相机与机械手的空间坐标映射关系，建立关系模型。
3.根据权利要求1所述的串型水果分布式视觉主动感知方法，其特征在于：步骤(2)中，所述视觉显著性算法，即改进Itti显著图模型，是提取多尺度亮度、方向、拮抗颜色对(R-G,B-Y,Cr-Cb,S-H)等金字塔特征，在中等尺度上进行特征融合加权计算，得到像素级视觉显著图；所述评估水果目标品质状态，是指大视场相机通过Mask R-CNN识别的水果区域在显著图中匹配，获得各水果目标的视觉显著信息，然后计算各水果目标的平均显著度来量化完好水果的品质状态。
4.根据权利要求1所述的串型水果分布式视觉主动感知方法，其特征在于：步骤(2)中，所述多目标采摘顺序规划，是对Mask R-CNN识别的大视场图像中所有串型水果区域，采摘顺序规划模型收集各串水果的面积、距离信息和平均显著度数据，归一化之后映射到三维空间，将顺序规划问题转化为旅行商问题，利用遗传算法定义遗传算法的适应度函数，在显著度-面积-深度距离空间下迭代搜索最优采摘顺序路径，为每个水果分配采摘优先级，最终得到串型水果的采摘顺序并在大视场图像中标记出序号，进而引导机械手有序采摘树上串型水果目标。
5.根据权利要求1所述的串型水果分布式视觉主动感知方法，其特征在于：步骤(3)中，在对所述小视场目标进行主动感知与采摘智能决策之前，先对小视场相机获取的小视场图像进行自适应球状栅格化，使得机械手能够在串型水果目标的一定距离内运动，通过对小视场相机的数据分析建立关系函数G，基于该关系函数G与机械手采摘域信息进行小视场相机所获取图像的自适应球状栅格划分。
6.根据权利要求5所述的串型水果分布式视觉主动感知方法，其特征在于：步骤(3)中，所述小视场目标的主动感知与采摘智能决策，是指进行所述图像自适应球状栅格化后，结合PPO强化学习算法，对栅格图像建立目标函数：F(x)＝w1*p(x)+w2*m(q(x))，式中，权重值w1+w2＝1，x∈R3表示机械手末端执行器的三维位置向量，p为场景中检测到的串型水果的归一化大小；
Figure RE-FDA0002594516610000021
为经典的机械手可操作性得分指标，其中q(x)为机械手在x状态下时的各关节角，det(J(q))为雅可比行列式。
7.根据权利要求1所述的串型水果分布式视觉主动感知方法，其特征在于：步骤(3)中，所述机械手通过自主学习和探索到达采摘串型水果的最优视角，是指采用虚拟实验的方法，在仿真系统内建立PPO强化学习网络：首先，根据机械手各转轴运动特点建立仿真机械手随机运动模型，当机械手末端执行器移动到小视域栅格图像中的下一观察位置时，目标函数的值发生改变，为了使串型水果目标的信息最大化，即最大化目标函数，建立对应奖赏机制；通过随机运动探寻不同观察位置不同的目标函数值，更新最大目标函数maxF(x)的值，即F(xi)>maxF(x)时，maxF(x)＝F(xi)，终止回合并根据maxF(x)大小给予奖励；同时根据时间的花销给予惩罚，惩罚指标按串型水果分布形态复杂程度和不同遮挡程度进行设置，具体为：
Rpublis h＝Rrestart-k1f1(x)-k2f2(x)
式中，Rrestart为惩罚初始值，权重值k1+k2＝1，f1(x)为串型水果分布形态复杂程度归一化大小，f2(x)为不同遮挡程度归一化大小；在下一回合中机械手会随机探寻另一条道路以获取更高的maxF(x)，通过多次训练，得出目标函数最优解，最终得到机械手最优观测视角的姿态信息以及对应的采摘预备点。
8.根据权利要求1所述的串型水果分布式视觉主动感知方法，其特征在于：步骤(3)中，所述进行二次感知，是首先通过手眼标定获得小视场相机到末端执行器的转换矩阵Tsmall 2end，该矩阵是固定的，获得一次即可，使用目标检测算法检测出小视场图像中的串型水果目标位置，选取水果预测框正上方的150*150像素的区域为结果母枝感兴趣区域，利用语义分割网络分割出果梗的像素，取其像素区域中心点作为采摘点，结合小视场相机获得的深度图计算出采摘点的三维世界坐标，结合所述手眼标定获得的小视场相机到末端执行器的转换矩阵Tsmall 2end，和当前末端执行器到基座标的转换矩阵Tend 2base，将采摘点转换到机器人基坐标下，控制机器人进行采摘，小视场坐标Psma ll到机器人基座标Pbase的转换公式如下：Pbase＝Tend 2base.Tsmall 2end.Psmall。
9.根据权利要求1所述的串型水果分布式视觉主动感知方法，其特征在于：步骤(3)中，所述结合智能推理与知识建模方法建立视觉与机械手关联的运动控制模型，首先是大视场相机求出各个串形水果区域在大视场相机坐标系下的预备点Pbig并进行排序，结合所述手眼标定获得小视场相机到机器人基座标的转换矩阵Tbig 2base，将预备点由大视场相机坐标系转换到机器人基坐标系Pbase，再结合小视场相机到末端执行器的转换矩阵Tsmall 2end，算出预备点坐标P预备点，将该坐标发送给机械手，即可使小视场相机到达预备点，进行小视场二次感知，过程公式如下：
Figure FDA0002512824730000031
为了使末端执行器移动到采摘点执行采摘任务，假设机械手末端执行器相对于机器人基坐标系有如下变换关系：
T采摘点＝Tend 2base·Tsmall 2end·T采摘点2small
其中T采摘点2small为采摘点坐标系到小视场相机的变换矩阵；将T采摘点发送给机械手，即可使机械手末端执行器到达采摘点，完成水果采摘作业。
10.一种串型水果采摘机器人，其特征在于：包括机械手、移动平台、大视场相机、小视场相机和控制系统；大视场相机竖直固定在移动平台上，且位于机械手的一侧，其相对于机器人基点的位置是固定的；小视场相机固定在机械手末端执行器的下方，其相对于机器人基点的位置是随末端执行器一起变化；是采用权利要求1～9中任一项所述的串型水果分布式视觉主动感知方法进行串型水果采摘。
CN202010466512.2A 2020-05-28 2020-05-28 一种串型水果分布式视觉主动感知方法及其应用 Active CN111602517B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010466512.2A CN111602517B (zh) 2020-05-28 2020-05-28 一种串型水果分布式视觉主动感知方法及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010466512.2A CN111602517B (zh) 2020-05-28 2020-05-28 一种串型水果分布式视觉主动感知方法及其应用

Publications (2)

Publication Number Publication Date
CN111602517A true CN111602517A (zh) 2020-09-01
CN111602517B CN111602517B (zh) 2021-09-24

Family

ID=72194558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010466512.2A Active CN111602517B (zh) 2020-05-28 2020-05-28 一种串型水果分布式视觉主动感知方法及其应用

Country Status (1)

Country Link
CN (1) CN111602517B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112136505A (zh) * 2020-09-07 2020-12-29 华南农业大学 一种基于视觉选择注意机制的水果采摘顺序规划方法
CN112369208A (zh) * 2020-12-01 2021-02-19 大连理工大学 一种类球形果实的采摘顺序动态规划方法
CN112414409A (zh) * 2020-11-16 2021-02-26 天津航天中为数据系统科技有限公司 一种基于串结构的自主巡检路径规划方法及飞行器
CN112544235A (zh) * 2020-12-04 2021-03-26 江苏省农业科学院 一种智能水果采摘机器人
CN112580646A (zh) * 2020-12-08 2021-03-30 北京农业智能装备技术研究中心 番茄果实成熟度分割方法及采摘机器人
CN112715162A (zh) * 2021-01-21 2021-04-30 重庆文理学院 一种智能化采摘串型水果的系统
CN112784735A (zh) * 2021-01-21 2021-05-11 重庆文理学院 基于单目相机与双目相机识别串型水果母枝的方法
CN112818781A (zh) * 2021-01-21 2021-05-18 重庆文理学院 基于视觉缩放法判断串型水果母枝干扰类型的方法
CN112990103A (zh) * 2021-04-16 2021-06-18 苏州大学 一种基于机器视觉的串采二次定位方法
CN113228938A (zh) * 2021-05-31 2021-08-10 广东若铂智能机器人有限公司 采摘机器人slam激光视觉导航方法
CN113276082A (zh) * 2021-05-31 2021-08-20 广东若铂智能机器人有限公司 冗余7轴双臂协作采摘机器人
CN114179104A (zh) * 2021-12-13 2022-03-15 盐城工学院 一种基于视觉识别的采摘机器人控制方法及系统
CN114788455A (zh) * 2022-04-12 2022-07-26 苏州大学 一种基于目标检测的串番茄单粒采摘方法及系统
CN115250744A (zh) * 2022-07-29 2022-11-01 四川启睿克科技有限公司 一种多角度草莓采摘系统及方法
CN115316129A (zh) * 2022-08-12 2022-11-11 华南农业大学 基于双目视觉识别的自适应仿生采摘装置及串果采摘方法
CN115546621A (zh) * 2022-11-28 2022-12-30 浙江托普云农科技股份有限公司 一种作物长势分析方法、装置及应用
CN115997560A (zh) * 2022-12-30 2023-04-25 北京中科原动力科技有限公司 一种基于机械臂的果实采摘方法、系统及装置
CN116038701A (zh) * 2022-12-30 2023-05-02 北京中科原动力科技有限公司 一种四轴机械臂的手眼标定方法及装置
CN116508493A (zh) * 2023-04-27 2023-08-01 仲恺农业工程学院 一种龙门履带式茶叶采摘机器人及其采摘方法
CN116652951A (zh) * 2023-06-08 2023-08-29 广东技术师范大学 一种非结构化大作业空间的机器人视觉定位方法及装置
CN116968039A (zh) * 2023-09-25 2023-10-31 浩科机器人（苏州）有限公司 用于机器人智能控制的动作执行优化方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470165A (zh) * 2018-03-22 2018-08-31 常州大学 一种采摘机器人果实视觉协同搜索方法
CN109521774A (zh) * 2018-12-27 2019-03-26 南京芊玥机器人科技有限公司 一种基于强化学习的喷涂机器人轨迹优化方法
US10304179B2 (en) * 2016-07-05 2019-05-28 Sharp Kabushiki Kaisha Maturity determination device and maturity determination method
CN109863874A (zh) * 2019-01-30 2019-06-11 深圳大学 一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质
CN110226413A (zh) * 2019-06-26 2019-09-13 佛山科学技术学院 一种机器人采摘多串堆叠葡萄的方法
CN110852186A (zh) * 2019-10-22 2020-02-28 华南农业大学 一种树上柑橘的视觉识别与采摘顺序规划方法及其仿真系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10304179B2 (en) * 2016-07-05 2019-05-28 Sharp Kabushiki Kaisha Maturity determination device and maturity determination method
CN108470165A (zh) * 2018-03-22 2018-08-31 常州大学 一种采摘机器人果实视觉协同搜索方法
CN109521774A (zh) * 2018-12-27 2019-03-26 南京芊玥机器人科技有限公司 一种基于强化学习的喷涂机器人轨迹优化方法
CN109863874A (zh) * 2019-01-30 2019-06-11 深圳大学 一种基于机器视觉的果蔬采摘方法、采摘装置及存储介质
CN110226413A (zh) * 2019-06-26 2019-09-13 佛山科学技术学院 一种机器人采摘多串堆叠葡萄的方法
CN110852186A (zh) * 2019-10-22 2020-02-28 华南农业大学 一种树上柑橘的视觉识别与采摘顺序规划方法及其仿真系统

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112136505A (zh) * 2020-09-07 2020-12-29 华南农业大学 一种基于视觉选择注意机制的水果采摘顺序规划方法
CN112414409A (zh) * 2020-11-16 2021-02-26 天津航天中为数据系统科技有限公司 一种基于串结构的自主巡检路径规划方法及飞行器
CN112369208B (zh) * 2020-12-01 2021-07-13 大连理工大学 一种类球形果实的采摘顺序动态规划方法
CN112369208A (zh) * 2020-12-01 2021-02-19 大连理工大学 一种类球形果实的采摘顺序动态规划方法
CN112544235A (zh) * 2020-12-04 2021-03-26 江苏省农业科学院 一种智能水果采摘机器人
CN112580646A (zh) * 2020-12-08 2021-03-30 北京农业智能装备技术研究中心 番茄果实成熟度分割方法及采摘机器人
CN112715162B (zh) * 2021-01-21 2022-03-08 重庆文理学院 一种智能化采摘串型水果的系统
CN112818781A (zh) * 2021-01-21 2021-05-18 重庆文理学院 基于视觉缩放法判断串型水果母枝干扰类型的方法
CN112784735A (zh) * 2021-01-21 2021-05-11 重庆文理学院 基于单目相机与双目相机识别串型水果母枝的方法
CN112715162A (zh) * 2021-01-21 2021-04-30 重庆文理学院 一种智能化采摘串型水果的系统
CN112990103A (zh) * 2021-04-16 2021-06-18 苏州大学 一种基于机器视觉的串采二次定位方法
CN113228938A (zh) * 2021-05-31 2021-08-10 广东若铂智能机器人有限公司 采摘机器人slam激光视觉导航方法
CN113276082A (zh) * 2021-05-31 2021-08-20 广东若铂智能机器人有限公司 冗余7轴双臂协作采摘机器人
CN114179104A (zh) * 2021-12-13 2022-03-15 盐城工学院 一种基于视觉识别的采摘机器人控制方法及系统
CN114788455B (zh) * 2022-04-12 2023-08-25 苏州大学 一种基于目标检测的串番茄单粒采摘方法及系统
CN114788455A (zh) * 2022-04-12 2022-07-26 苏州大学 一种基于目标检测的串番茄单粒采摘方法及系统
CN115250744B (zh) * 2022-07-29 2023-09-15 四川启睿克科技有限公司 一种多角度草莓采摘系统及方法
CN115250744A (zh) * 2022-07-29 2022-11-01 四川启睿克科技有限公司 一种多角度草莓采摘系统及方法
CN115316129A (zh) * 2022-08-12 2022-11-11 华南农业大学 基于双目视觉识别的自适应仿生采摘装置及串果采摘方法
CN115316129B (zh) * 2022-08-12 2024-03-12 华南农业大学 基于双目视觉识别的自适应仿生采摘装置及串果采摘方法
CN115546621B (zh) * 2022-11-28 2023-02-28 浙江托普云农科技股份有限公司 一种作物长势分析方法、装置及应用
CN115546621A (zh) * 2022-11-28 2022-12-30 浙江托普云农科技股份有限公司 一种作物长势分析方法、装置及应用
CN115997560B (zh) * 2022-12-30 2023-12-01 北京中科原动力科技有限公司 一种基于机械臂的果实采摘方法、系统及装置
CN116038701A (zh) * 2022-12-30 2023-05-02 北京中科原动力科技有限公司 一种四轴机械臂的手眼标定方法及装置
CN116038701B (zh) * 2022-12-30 2023-12-05 北京中科原动力科技有限公司 一种四轴机械臂的手眼标定方法及装置
CN115997560A (zh) * 2022-12-30 2023-04-25 北京中科原动力科技有限公司 一种基于机械臂的果实采摘方法、系统及装置
CN116508493A (zh) * 2023-04-27 2023-08-01 仲恺农业工程学院 一种龙门履带式茶叶采摘机器人及其采摘方法
CN116508493B (zh) * 2023-04-27 2024-04-05 仲恺农业工程学院 一种龙门履带式茶叶采摘机器人及其采摘方法
CN116652951A (zh) * 2023-06-08 2023-08-29 广东技术师范大学 一种非结构化大作业空间的机器人视觉定位方法及装置
CN116652951B (zh) * 2023-06-08 2024-04-05 广州鑫帅机电设备有限公司 一种非结构化大作业空间的机器人视觉定位方法及装置
CN116968039A (zh) * 2023-09-25 2023-10-31 浩科机器人（苏州）有限公司 用于机器人智能控制的动作执行优化方法及系统
CN116968039B (zh) * 2023-09-25 2023-12-12 浩科机器人（苏州）有限公司 用于机器人智能控制的动作执行优化方法及系统

Also Published As

Publication number Publication date
CN111602517B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN111602517B (zh) 一种串型水果分布式视觉主动感知方法及其应用
Ling et al. Dual-arm cooperation and implementing for robotic harvesting tomato using binocular vision
Sarig Robotics of fruit harvesting: A state-of-the-art review
CN108972494A (zh) 一种仿人机械手抓取控制系统及其数据处理方法
CN113696186B (zh) 复杂光照条件下基于视触融合的机械臂自主移动抓取方法
CN109045676B (zh) 一种象棋识别学习算法和基于该算法的机器人智动化系统与方法
Zhaoxin et al. Design a robot system for tomato picking based on yolo v5
CN107909889B (zh) 一种基于视觉引导的五子棋人机对弈实验教学系统
CN115299245B (zh) 一种智能水果采摘机器人的控制方法及控制系统
CN111243017A (zh) 基于3d视觉的智能机器人抓取方法
CN114260895B (zh) 一种采摘机器人机械臂抓取避障方向确定的方法及其系统
Li et al. Development and field evaluation of a robotic harvesting system for plucking high-quality tea
Fernando et al. Ai based greenhouse farming support system with robotic monitoring
Mangaonkar et al. Fruit harvesting robot using computer vision
Rajendran et al. Towards autonomous selective harvesting: A review of robot perception, robot design, motion planning and control
CN112369208B (zh) 一种类球形果实的采摘顺序动态规划方法
CN115861780B (zh) 一种基于yolo-ggcnn的机械臂检测抓取方法
CN115937314B (zh) 一种油茶果生长姿态检测方法
CN115810188A (zh) 基于单张二维图像的树上果实三维位姿识别方法及系统
Li A Visual Recognition and Path Planning Method for Intelligent Fruit‐Picking Robots
CN115139315A (zh) 一种采摘机械臂抓取运动规划方法
CN114998573A (zh) 一种基于rgb-d特征深度融合的抓取位姿检测方法
CN115589845A (zh) 一种智能采棉机器人及其采棉作业路径规划方法
CN112372633B (zh) 机器人的果园树形架型自主推理与场景理解方法
Tang et al. Picking trajectory planning of citrus based on improved immune algorithm and binocular vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant