CN102914967A - 采摘机器人的自主导航和人机协同采摘作业系统 - Google Patents

采摘机器人的自主导航和人机协同采摘作业系统 Download PDF

Info

Publication number
CN102914967A
CN102914967A CN2012103551401A CN201210355140A CN102914967A CN 102914967 A CN102914967 A CN 102914967A CN 2012103551401 A CN2012103551401 A CN 2012103551401A CN 201210355140 A CN201210355140 A CN 201210355140A CN 102914967 A CN102914967 A CN 102914967A
Authority
CN
China
Prior art keywords
picking robot
harvesting
picking
plucking
behavior module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103551401A
Other languages
English (en)
Other versions
CN102914967B (zh
Inventor
汤一平
俞立
孙明轩
徐建明
欧林林
陈国定
邢科新
倪洪杰
余世明
何德峰
董辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201210355140.1A priority Critical patent/CN102914967B/zh
Publication of CN102914967A publication Critical patent/CN102914967A/zh
Application granted granted Critical
Publication of CN102914967B publication Critical patent/CN102914967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

一种采摘机器人的自主导航和人机协同采摘作业系统，包括采摘机器人的行走部分，采摘机器手，用于自主导航、避障、定位和路径规划等功能的Agent，用于完成人-机协同采摘信息交互的无线传感网，用于在人机协同采摘作业中为采摘管理人员提供远程干预和管理的计算机，用于获取采摘区域全景立体视频图像的全景立体视觉传感器。本发明提供一种具有自然柔顺性好、机构简单、控制复杂度低、有限智能化、采摘效率高、环境适应性好、制造和维护成本低、采摘过程中不损害采摘对象和作物的采摘机器人的自主导航和人机协同采摘作业系统。

Description

采摘机器人的自主导航和人机协同采摘作业系统
技术领域
本发明属于全景视觉技术、移动机器人的导航技术、无线传感网技术、人工智能技术和人机协同技术在颗粒状农作物自动化采摘方面的应用，尤其适用于人机协同的多采摘机器人的自主导航和采摘作业。
背景技术
20世纪末，由于农业机械设计和制造技术趋于成熟，电子信息技术的快速发展，一批面向生产者应用的各种机电一体化技术产品开发出来并装备到农业机械上，使得诸如耕整、插秧、小麦收获等工作对象是均质平面的农业生产作业实现了机械化和自动化。而对于实现工作对象是分散的、并且需根据判断进行选择的上作如除草、间苗、蔬菜收获和水果收获等作业的机械化和自动化则是极为困难的，这些作业要求农业机械具备很高的智能。
随着计算机技术和信息采集与处理技术的发展，人工智能、机器视觉等新技术在农业机械中的应用研究得到了重视。结合了农艺技术、机械技术、电子技术、信息技术和人工智能技术的农业机器人的研制是当前国内外农业机具研究领域的研究热点之一。机器视觉用各种成像系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释，能依据视觉敏感和反馈的某种程度的智能完成一定的任务。尤其是近年来，机器视觉技术的快速发展，为农业机器人的自主导航和农作物的识别提供了一种新的解决方案；全景立体视觉技术的出现为农业机器人的自主导航和农作物的识别定位提供了极大的便利。
农作物采摘作业是农作物生产链中最耗时、最费力的一个环节。同时,采摘作业质量的好坏还直接影响到产品的后续加工和储存。如何以低成本获得高品质的产品是农作物生产环节中必须重视和考虑的问题。由于采摘作业的复杂性,目前我国采摘作业的规模化、自动化和智能化程度仍然很低，基本上农作物采摘作业都是手工进行，就棉花采摘这一项来说每年约需要人工采摘成本8个亿。随着人口的老龄化和农业劳动力的减少,农业生产成本也相应提高,这样会大大降低产品的市场竞争力。因此采摘机器人是未来智能农业机械的发展方向。
采摘机器人工作在高度非结构化的环境下，采摘对象是有生命的生物体。同工业机器人相比，采摘机器人具有以下的特点：1）采摘对象娇嫩、易脆,形状复杂且个体之间的差异性大；2）采摘对象大多数被树叶、树枝等掩盖，增大了机器人视觉定位难度，降低采摘成功率，同时对采摘机械手的避障提出了更高的要求；3）采摘机器人工作在非结构化的环境下，环境条件随着季节、天气的变化而发生变化，环境信息完全是未知的、开放的，对采摘机器人的智能控制水平要求高，在视觉、知识推理和判断等方面具有相当的智能；4）采摘对象是有生命的、易脆的生物体，要求在采摘过程中对果实无任何损伤，这就要求机器人的末端执行器具有柔顺性、灵巧性；5）由于缺少对采摘机器人的研究，沿用了工业机器人的设计思想，导致了采摘机器人的价格昂贵；6）采摘作业动作的复杂性，采摘机器人一般是采摘作业、移动同时进行，采摘区域的行走不是连接出发点和终点的最短距离，而是具有狭窄的范围，较长的距离及遍及整个田间表面等特点；7）由于采摘的延续时间长，需要在采摘过程中避免农作物受到损害，以免影响采摘的产量，比如棉花的采摘需要经历2个多月的时间；8）希望在采摘过程中进行分类，以提高采摘物的品质和减少后续的分拣工序。
采摘机器人中无论采用何种移动机构，都存在移动机器人的自主导航问题。目前移动机器人有多种导航方式，根据环境信息的完整程度、导航指示信号的类型、导航地域等因素的不同，可以分为基于地图导航、基于信标导航、基于GPS和视觉导航以及基于感知器导航等。基于地图的导航方式，事先要将机器人的作业环境输入控制系统内，形成电子地图。在结构化、环境条件已知的情况下，可以采用此种方法。基于信标导航，需要在作业环境的确定位置设立信标。机器人通过安装在身体上的测量装置检测其与信标的相互关系，推算自身的位姿。这种方式下，机器人的定位误差只取决于机器人与各信标的相对位置，在工业自动导引小车中用到这种方法。采摘机器人的作业环境复杂，需要机器人根据环境的变化自行确定行走的方向。因此，视觉导航成为采摘机器人自主导航的首选方法。
视觉导航技术的基本原理是，利用视觉传感器作为感知元件，获取周边环境的图像。经过图像二值化、滤波等图像处理后，利用Hough变换等技术提取边界信息。然后根据模式识别技术，确定障碍物的方位和机器人的行走路线。控制器经过路径规划、优化，控制移动机构左右两轮的电机，指挥机器人在无人干涉情况下自主移动到预定的位置。视觉导航需要处理大量的图像数据，需要采用专用的图像处理卡。目前，有些研究者利用DSP芯片实现图像数据的采集、数字化转换、分析和处理的全部功能，直接将处理结果传送给主机。另一方面，目前在基于视觉导航的行走机器人技术方面基本上采用一般的彩色摄像机作为视觉感知元件，要获取采摘机器人周边环境的视频图像往往需要用多个摄像机分别朝着不同的方向进行拍摄，并用多视频图像数据融合的方式进行处理；另一种方案是采用云台技术不断地扫描行走机器人的周边环境；上述这两种方式都会增加硬件和软件成本，造成了在图像分析处理上很大的负担。对于非结构化的采摘环境采用全方位的智能感知是必不可少的。
发明内容
为了克服已有的农作物采摘机器人的自然柔顺性差、机构复杂、控制复杂度高、智能化要求高、制造和维护成本昂贵、容易损伤采摘对象、环境适应性差和采摘效率不高等不足，本发明提供一种具有自然柔顺性好、机构简单、控制复杂度低、有限智能化、采摘效率高、环境适应性好、制造和维护成本低、采摘过程中不损害采摘对象和作物的采摘机器人的自主导航和人机协同采摘作业系统。
本发明解决其技术问题所采用的技术方案是：
一种采摘机器人的自主导航和人机协同采摘作业系统，包括采摘机器人，用于实现人-采摘机器人之间进行信息交互的、并能用于采摘机器人的空间定位的无线传感网和用于对采摘现场和采摘机器人的状态进行综合分析处理和判断的、并用于在人机协同采摘作业中为采摘管理人员提供远程干预和管理的计算机；
所述的采摘机器人包括：行走部分、采摘机器手、用于获取采摘区域全景立体视频图像的全景立体视觉传感器和用于实现采摘机器人的自主导航、避障、定位和路径规划功能的智能体，以下简称Agent，所述的Agent根据所述的全景立体视觉传感器感知的信息进行分析、计算和推理，在常规情况下，根据所述的采摘管理人员下达的采摘区域和采摘时间的采摘作业调度决策，自动做出路径规划，驱动所述的行走部分和所述的采摘机器手完成边行走边采摘的任务操作；在非常规情况下通过无线传感网向采摘管理人员提供非规则事件等信息，请求采摘管理人员的干预；
所述的Agent包括任务规划行为模块、协调行为模块、与采摘管理人的交互行为模块、紧急行为模块、路径识别行为模块、避障行为模块、定位行为模块、路径跟踪行为模块、采摘边界识别行为模块、行走行为模块、转向行为模块、采摘对象的识别和分类行为模块、采摘对象的空间定位行为模块和采摘行为模块；
所述的无线传感网，用于采摘管理人员与采摘机器人之间的信息交互，同时也能为采摘机器人的空间定位提供信息；采用一种以ns级的冲击脉冲在短距离内高速传输数据的无线通信技术，通过所述的无线传感网将分布在采摘区域中的采摘机器人与所述的采摘管理人员构成一个人-采摘机器人一体化的采摘管理和控制系统，根据需求、环境和采摘对象的变化，通过动态自组织的方式协同地感知和采集网络分布区域的多采摘机器人和各种采摘对象的信息，形成一种人与采摘机器人相互激发、优势互补、共同寻求问题求解的协同机制。
进一步，所述的行走行为模块中，采用模糊控制方法；根据全景视觉成像特点，经过图像分割和滤波数字图像处理，两农作物行间在全景成像上呈现出向着成像中心圆的一条直线；采用Hough变换来检测农作物行中心线；利用Hough变换得到边界线将不连续的边缘像素点连接起来；对采摘机器人采用模糊导航控制，用γ0和θr0表示采摘机器人的期望位置和姿态，导航角θr(t)表示采摘机器人的轴线与两作物行中线的偏角，单位：rad，导航距γ(t)表示采摘机器人导航全景视觉传感器的中心在地面的投影点到两作物行中线的距离，单位：mm，转角控制输出δ(t)表示主动导向轮的转角变化量，控制输出μ(t)表示两侧后轮的转速差；
将模糊导航控制归纳为双输入双输出的模糊控制求解问题，首先，确定隶属函数、模糊集进行模糊化直线函数能快速调整较大误差，钟形和Bell型函数变化平滑性；在误差较大时，考虑调整的速度，采用三角形隶属函数；在误差允许范围内，采用曲线型隶属函数；取γ、θr、μ和δ的模糊子集，在各自论域中均划分为7个集合“左大(LB)”、“左中(LM)”、“左小(LS)”、“零(ZE)”、“右小(RS)”、“右中(RM)”、“右大(RB)”；通过实验得到参数γ、θr、μ和δ的有效论域；输入变量γ和θr具有相似的变化特性，均设置相同的隶属函数；输出变量μ和δ也具有相似的变化特性，也设置相同的隶属函数；
建立控制规则，用模糊条件语句来描述控制规则：
Ri:if Q1 is Ai and Q2 is Bi,then U1 is Ci and U2 is Di;
Ri表示第i条控制规则，Q1表示导航角语言变量，Q2表示导航距语言变量，U1表示转角控制输出语言变量，U2表示两侧后轮的转速差输出语言变量；它们的语言值在相应论域中的模糊子集分别为Ai、Bi、Ci和Di，根据控制规则建立输入和输出控制规律表，根据输入变量得到相应的输出变量；
利用重心法进行解模糊化处理，得到输出变量μ和δ的精确控制值。
所述的避障行为模块，通过全景立体视觉的方式检测出行进方向上的障碍物，障碍物全景立体视觉检测过程为：1）去除全景立体图像中非立体视觉视场方位的部分，对全景图像进行展开和极线校正，这部分主要通过展开图像内径、外径、以及柱状展开图上极线校正来完成；2）对展开图像采用边缘检测技术初步检测出疑似障碍物的边缘信息，通过阈值调整，检测出障碍物的边缘信息；3）对采摘机器人所获取的全景立体图像对中的所有疑似障碍物点利用极线约束进行立体匹配，根据匹配的像素对的图像坐标值进行立体视觉空间点的重建，根据全景立体视觉传感器成像时，图像坐标、全景立体视觉传感器的坐标以及现实世界坐标系之间的关系，计算得出其相应的高度值，当高度大于给定阈值时则判定为障碍物点；障碍物点的高度以及障碍物点与采摘机器人的距离的计算方法由公式（1）~公式（2）表示；
d=(bcosγ1cosγ2)/sin(γ1-γ2)（1）
h=H-b-d×arctanγ2=H-d×arctanγ1（2）
式中，d表示障碍物点A与采摘机器人的全景立体视觉轴线在地面上投影点的距离，b表示构成全景立体视觉的两个全景视觉传感器的视点间的距离，γ1表示障碍物点A在上全景视觉传感器上成像的入射角，γ2表示障碍物点A在下全景视觉传感器上成像的入射角，h表示障碍物点A的高度，H表示上全景视觉传感器的视点到地面的距离；
在检测出障碍物后就需要让采摘机器人采取避障行为，所述避障行为的流程为：步骤1）如果没有检测到障碍物，则沿着两作物行中线前进；步骤2）如果检测到前进方向存在障碍物，获得障碍物的距离信息，判断障碍物与采摘机器人的距离是否小于2米，如果是则进入避障区；步骤3）进入障碍区后减速前进，启动避障策略，绕开障碍物；步骤4）关闭避障策略，继续从步骤1）开始执行，直至遍历整个采摘区域；避障策略采用模糊控制算法来实现。
所述的路径识别行为模块，采用直线路径模型来规划采摘机器人的导航路径，将采摘机器人当前位姿数据作为输入，采摘机器人姿态调整量作为输出；将农作物采摘场景分割成行走区域和非行走区域，用色调信息特征就能将场景中的土地、水和采摘对象区分开来；分割的方法是采集这三种物体的样本块，用前反馈神经网络的方法来识别场景，输入的图像中的土壤颜色就是采摘机器人的可行走区域。
所述的协调行为模块包括外部协调单元和内部协调单元，内部协调单元对直行采摘行为模块、转向行为模块、行走行为模块、避障行为模块和路径识别行为模块进行选择，决定哪个行为模块被激活，并对同时激活的行为模块进行协调；1）体现紧急事件最优先的原则，一旦所述的紧急行为模块发出紧急请求时所述的协调行为模块首先让所述的直行采摘行为模块、所述的转向行为模块和所述的避障行为模块设置为休眠锁定状态，接着通过与所述的采摘管理人的交互行为模块向采摘管理人员请求干预，当采摘管理人员处理完紧急事件后才能解除所述的直行采摘行为模块、所述的转向行为模块和所述的避障行为模块设置为休眠锁定状态；2）体现按采摘作业顺序工作的原则，协调好所述的采摘机器人边行走、边采摘的动作，当检测到所述的机器手的采摘范围内有采摘对象时停止行走，当周边的采摘对象都采摘结束时再启动行走；在行走、采摘和转向行为的同时其他行为模块均处于激活状态，并以多线程的方式分别运行在所述的Agent中。
所述的与采摘管理人的交互行为模块，包括以下交互行为：1）请求干预的交互行为，当采摘机器人发生紧急事件、采摘机器人内部的存放容器已满等情况时，请求采摘管理人员干预；2）接受采摘调度指令的交互行为，当采摘管理人员下达采摘任务后，将采摘任务转达给所述的任务规划行为模块，在所述的任务规划行为模块做出遍历路径规划后，将遍历路径规划反馈给采摘管理人员；3）协商的交互行为，根据所述的Agent根据自身感知的情况，通过对自身知识的推理，能向采摘管理人员提供适当的帮助和建议；4）提供采摘现场信息的交互行为，负责响应来自采摘管理人员的上传信息指令，将所述的Agent所感知到的全景视频信息和分析得到的状态信息上传给采摘管理人员。
所述的任务规划行为模块，所述的Agent根据所述的采摘管理人员发出的采摘调度指令，在规定的采摘区域内做出遍历路径规划，控制采摘机器人沿规划出的路径以直线方式行走，至田埂边界后掉头，然后沿反方向直线运行如此反复迁回，直到整个采摘区域被覆盖。
所述的紧急行为模块，所述的紧急行为是所述的采摘机器人优先级最高的行为，在所述的采摘机器人避障行为失败后或者是发生颠倒不能行走等事故就切换到所述的紧急行为；当所述的紧急行为发生时，所述的Agent立刻向采摘管理人员发出请求干预信息，等待采摘管理人员到现场干预处理，请求干预信息是以紧急行为发生的空间位置显示在所述的计算机的显示屏上，在显示屏上显示有以所述的农用拖拉机为中心的电子地图，电子地图上标明了请求干预信息发出采摘机器人的空间位置。
所述的路径跟踪行为模块，采摘机器人以迂回行走的方式进行全区域覆盖采摘，识别并跟踪采摘轨迹，采用无线定位技术定位采摘机器人的空间位置，记录每时间点采摘机器人的空间位置来实现采摘轨迹的跟踪。
所述采摘管理人员驾驶乘坐在农用拖拉机中，经采摘区域的田埂对分布在采摘区域内的各所述的采摘机器人进行巡视；对所述的采摘机器人发生的各种非常规情况，即紧急行为进行及时的处置，对所述的采摘机器人发出的采摘农作物装卸请求做出响应，将所述的采摘机器人的容器中的采摘农作物转移到所述的农用拖拉机的收集箱中；所述的农用拖拉机驾驶室内配置了所述的计算机，所述的计算机中安装了采摘管理和控制系统软件，所述的采摘管理人员通过所述的计算机对分布在各区域内的所述的采摘机器人进行采摘管理和控制；所述的计算机通过所述的无线传感网与分布在各区域内的所述的采摘机器人中的所述的Agent进行信息交。
本发明的技术构思为：采摘机器人的导航技术是智能型采摘机器人自主完成任务的核心技术。由于采摘机器人的工作特点是作业、移动同时进行，容易受到作物栽培方式以及采摘过程的影响，采摘机器人需要根据已知信息做出路径规划，并在行进过程中，不断感知周围的局部环境信息，自主地做出决策。这其中包括三个主要内容：避障、定位和路径规划。
因此，采摘机器人需要具有高度自规划、自组织、自适应能力，能适合于在复杂的非结构化环境中工作。理想的采摘机器人的目标是在没有人的干预、无需对环境做任何规定和改变的条件下，有目的地移动和完成相应的采摘任务。但是以目前的自动导航技术水平，要全自动化地完成农作物采摘机器人导航这样复杂的任务仍然存在着很大的困难；在复杂的非结构化环境中采摘机器人发生任何突发事件都是有可能的；理论和实践都表明：一味追求高度的智能采摘机器人技术，越来越表现出很强的局限性，需要运用人机一体化的思想，从系统论的角度加以研究；在某些情况下人的核心作用是不可替代的，人的适当参与能有效增强采摘机器人处理突发事件和不精确事件的能力，无线通信技术的发展为采摘机器人与人的协作工作提供了便利；人通过无线通信技术适当地对采摘机器人进行干预，能有效地加强采摘机器人的实用性，降低采摘机器人的智能控制水平要求；另外，一个人可以通过无线传感网技术同时管理和控制多个采摘机器人的采摘作业。
在人机协同采摘作业方面，采摘机器人擅长什么、人擅长什么，怎么实现优势互补，如何实现优势互补，如何协同工作等这些都需要分析与解决。人-采摘机器人一体化的技术路线是采取以人为主，人与采摘机器人共同组成一个系统，各自执行自己最擅长的工作，在平等合作的基础上，共同认知，共同决策；在实际运行中，相互理解、相互作用、取长补短和协同工作。
要实现人-采摘机器人一体化的技术路线，需要充分发挥人与采摘机器人各自的特点，以协同最优为目标。借助一个既能理解人的思维和行为，又能理解采摘机器人行为的中间体，在人与采摘机器人之间建立一种柔性的耦合关系。人具有特有的认知和行为特点，决定了这个中间体只能是由人根据自身特点、经验知识创造的，并具有人类某些重要意识属性和行为特点的“代理人”。这个中间体驻留在与机器紧密相连的人机接口系统中。中间体需要具有适用于不同人的认知和行为特点的能力，这是建立在对人的认知和行为特点充分理解的基础之上的。因此中间体本质上是一个知识系统。让中间体作为人和采摘机器人之间信息、知识沟通的桥梁，既不需要构建具有超智能化的采摘机器人，又避免了人与采摘机器人之间生硬的、刻板的直接接触，增加了系统的柔顺性和灵巧性。
人工智能的最新发展，找到了可以充当人与机器中间体的对象，这就是目前在人工智能领域中研究很热的Agent技术。Agent指的是一些具有信念、意图、承诺等认知特性，在一定环境下能持续自主发挥作用，逻辑上相对独立的智能计算实体。
一般来说，Agent具有下述特点：
1）驻留性：Agent作为一个逻辑上相对独立的计算实体，是存在于一定的环境之中的，本发明中的Agent驻留在采摘机器人中，Agent的信念、意图、目标以及行为来源于采摘环境感知和人的控制指令，并能通过采摘机器人的动作和行为作用于环境。
2）自主性：作为一个智能的问题求解器，Agent具有独立控制自己行为和内部状态的能力，在没有人的直接干预下，能适应外界动态多变的采摘环境，独立自主地解决其意识倾向的目标问题，即自主导航和采摘。
3）应答性：是指Agent能够感知所处的采摘环境和来自于人的控制指令，并能实时地对环境作出应答，如自主避障等，并能接受人的采摘调度控制指令。
4）主动性：Agent的行为不仅仅表现为简单地对其周围环境作出响应，而且能够适时、适势的采取主动行动，以实现其承诺的目标，如采摘路径规划和采摘区域内自动寻找采摘对象。
5）社会性：只有把Agent置于Multi-agent系统之中，Agent才能最大程度地发挥其作用，这就需要Agent具有与其它Agent、人、组织进行会话、协商、合作和竞争的能力，以适应复杂多变的动态环境，如大面积棉田的采摘任务的调度。
WLAN无线局域网是一种高速无线接入网络，是传统有线网络的延伸。无线局域网具备移动性好，设备安装快速、简单、灵活，投资少、扩展能力强等诸多优点，非常适合于实现人-采摘机器人一体化的技术路线中多Agent的应答性和社会性的需求。无线传感网技术将分布在采摘区域中的采摘机器人与采摘监控中心构成一个人-采摘机器人一体化的采摘管理和控制系统，根据需求、环境和采摘对象的变化，可以通过动态自组织的方式协同地感知和采集网络分布区域的多采摘机器人和各种采摘对象的信息，形成一种人与采摘机器人相互激发、优势互补、共同寻求问题求解的协同机制。人与采摘机器人协同的目的是“如何让人和采摘机器人更好地协作解决问题”。这里Agent的主要任务是“如何协助人解决问题”。
人在人-采摘机器人一体化的采摘管理和控制系统中处于主要支配地位，采摘管理人员主要利用自身知识在不同层次上进行信息的抽取、提炼和融合，对采摘管理和控制系统的目标、状态和行为进行感知和决策，根据自己的需要和采摘机器人的采摘、分级、包装以及运输等需要定制Agent的功能；采摘管理人员向Agent传授知识，从而逐步培养具有一定主动性和智能性的Agent；采摘管理人员有了新的感知采摘机器人状态的途径。不仅可以通过直接观察来感知采摘机器人的当前状态，还能通过Agent的增强型的反馈来间接感知；Agent成为采摘管理人员执行决策的一种辅助，通过对自身知识的推理，能够向采摘管理人员提供适当的帮助和建议。
在人-采摘机器人一体化的采摘管理和控制系统中，采摘机器人摆脱了只能直接与采摘管理人员交互的局面，交互的任务更为明确、直接和柔性化；Agent可以将采摘管理人员的不精确的、模糊的执行命令转化为具体命令，使采摘机器人接受起来更加容易；采摘机器人的信息感知和处理技术，只需要强调有限智能化，信息的增强、提炼和转化由Agent和人来协同完成。
人-采摘机器人一体化的采摘管理和控制系统在三个层面上实现协同，即感知层面、智能层面(主事判断、推理、决策和创造)和执行层面。
感知层面上采用采摘机器人上传感器感知。采摘机器人的全景视觉传感器对采摘环境和采摘对象进行精确感知，进而将所感知的部分信息、通过无线传感网传递给采摘管理人员，由采摘管理人员分析，进而给出决策；同时也为采摘机器人的执行层面提供有限智能控制和管理。
智能层面采用采摘管理人员与采摘机器人共同决策。采摘管理人员主要从事形象思维、灵感思维等创造性思维，采摘管理人员的中枢神经系统通过对人、采摘机器人、采摘环境所感知信息的综合处理、判断、决策，通过无线传感网向采摘机器人的控制系统发出控制指令。同时采摘机器人的控制系统根据自身感知的综合信息进行复杂的快速计算和严密的逻辑推理，在常规情况下自动做出必要选择，驱动自动导航模块和采摘模块完成相应的任务操作；在非常规情况下通过无线传感网向采摘管理人员提供非规则事件等信息，请求采摘管理人员的干预。
在智能层面上，采摘管理人员需要做出采摘机器人、采摘区域和采摘时间的采摘作业调度决策；如大面积棉田的棉花采摘，采摘调度的复杂性、随机性和动态性使得单纯依靠采摘机器人本身的智能很难获得优化的调度解，采用人机协同的方式将人和采摘机器人的优势结合起来解决采摘作业调度难题是一种可行的技术路线。采摘管理人员根据感知层面上所获得的采摘环境等信息以及采摘目标任务制定采摘机器人-时间甘特图和采摘区域-时间甘特图，最后将采摘任务分派给分布在各采摘区域的采摘机器人。
在智能层面上，采摘管理人员需要对采摘机器人处于非常规情况下的事件进行综合分析、处理和判断，比如采摘机器人发生意外颠倒、无法行走、较长时间寻找不到采摘对象等等，采摘人员根据事件的类型进行干预。
在智能层面上，采摘机器人需要做到：根据规定的采摘区域和采摘作物生长情况实现自动导航，根据在采摘环境中行走过程中所遇到的障碍物实现自动避障，在采摘环境中行走过程中自动识别采摘对象，根据采摘对象的大小、形状和颜色对采摘对象进行分类，根据所识别采摘对象分析出其空间位置并控制采摘机器手对准采摘对象进行采摘，根据采摘机器人的收集采摘对象容器中的采摘量的多少确定采摘机器人需要回到采摘收集处，根据采摘机器人的供电电源或者供能情况确定是否需要进行能源补充等。
执行层面上由采摘机器人执行自动导航和采摘任务。
采摘机器人在田间作业时，采摘区域主要分为已收获区、未收获区、田端、田外区域等四个区域。在制定采摘机器人-时间甘特图和采摘区域-时间甘特图后，采摘管理人员就分派给各采摘机器人完成未收获区内采摘任务，各采摘机器人需要制定相应的遍历路径规划，遍历路径规划是一种特殊的路径规划方法，它涉及到一条可行路径的规划，以便使采摘机器人运行轨迹充满一整块区域，也就是指采摘机器人完全覆盖所有无障碍区域的运动。
采摘机器人运动控制包括底层控制和上层控制两大部分，底层运动控制涉及的内容主要包括伺服控制、轨迹跟踪、路径跟踪、反馈镇定、采摘机器手的控制等，上层运动控制包括视觉分析、定位、障碍物检测与避障、路径规划、导航、视觉跟踪、遥控操作以及人机协同等。
采摘机器人视觉导航时，一般选择农作物区域和非农作物区域之间的分界线，或直接以行状农作物目标作为导航路径。理论上，可以利用图像处理中的区域分割以及边缘检测的方法来检测此分界线；但是由于农田处于非结构化自然环境中，采摘对象生长区域往往由许多个体植株组成，内部结构复杂，一致性比较差；考虑到农作物或果树等目标自然形成的行线基本上都为直线，采摘机器人前进方向局部范围内近似呈直线，因此，可以采用直线路径模型来规划采摘机器人的导航路径，这样导航控制的目标是使采摘机器人沿两农作物行间自主前进，将采摘机器人当前位姿数据作为输入，采摘机器人姿态调整量作为输出。
超宽带通信技术是一种以ns级的冲击脉冲在短距离内高速传输数据的无线通信技术。这种通信技术具有隐蔽性好、穿透能力强、定位精度高以及功耗低等特点，在人-采摘机器人一体化的采摘管理和控制系统中，具有十分重要的现实作用，这种超宽带通信技术能方便的构成人-采摘机器人之间通信的传感网，同时也能为采摘机器人的空间定位以及轨迹跟踪提供准确信息。
实现行走系列的采摘机器人的关键是：1）以农作物行中心线为基准线的基于全景视觉的自动导航技术，实现其自主行走；2）在采摘机器人的信息感知和处理方面采用有限智能化方法来加强采摘机器人的实用性，降低采摘机器人的智能控制水平要求；3）设计一种具有一定主动性和智能性的Agent，作为人和采摘机器人之间信息、知识沟通的桥梁，既不需要构建具有超智能化的采摘机器人，又可避免人与采摘机器人之间生硬的、刻板的直接接触，增加系统的柔顺性和灵巧性。
本发明的有益效果主要表现在：1）采用了以农作物行中心线为基准线的基于全景视觉的自动导航技术，实现了采摘机器人的自主行走；2）在采摘机器人的信息感知和处理方面采用有限智能化方法来加强采摘机器人的实用性，降低采摘机器人的智能控制水平要求；3）设计一种具有一定主动性和智能性的Agent，作为人和采摘机器人之间信息、知识沟通的桥梁，既不需要构建具有超智能化的采摘机器人，又可避免人与采摘机器人之间生硬的、刻板的直接接触，增加系统的柔顺性和灵巧性；4）采用超宽带通信技术，方便地构成人-采摘机器人之间通信的无线传感网，便于实现人-机协同采摘作业，同时也为分布在采摘区域中的各采摘机器人的空间定位以及轨迹跟踪提供准确信息；5）在人-机协同采摘作业过程中，人的适当参与有效地增强采摘机器人处理突发事件和不精确事件的能力；另一方面，常规情况下的事件和重复性的采摘作业均由采摘机器人自主处理和完成，极大的解放了人的劳动强度，拓广了采摘管理人员的管理范围，提高了采摘效率；6）运用人机协同的观点，发挥人在农作物采摘控制与管理中的核心作用，强调人与采摘机器人在两者共同组成的系统中协同工作，实现有效的信息集成与系统优化，充分发掘和利用计算机及无线网络通讯技术最新成果的技术优势，通过人与采摘机器人的有机结合，获得最佳协调效益和综合效益。
附图说明
图1为一种仿生农作物采摘机器人的正视图；
图2为构建人-机协同采摘作业通信环境的无线传感网的拓扑图；
图3为一种仿生农作物采摘机器人系统框图；
图4为棉花采摘现场的图像；
图5为采摘机器人自主行走部分的控制原理图；
图6为驻留在采摘机器人中的Agent的功能框图；
图7为某一采摘机器人进行迂回遍历采摘区域的轨迹图；
图8为全景立体成像原理以及全景立体视觉范围的说明图，其中，(a)为所述的全景立体视觉传感器的外观图，(b)表示了全景立体成像的空间物点检测模型，(c)表示了全景立体成像的成像范围；
图9为一种采用气动人工肌肉技术来实现采摘机器手的示意图；
图10为在采摘现场实现人-机协同采摘作业的示意图；
图11为全景立体视觉检测障碍物的说明图；
图12为模糊控制器控制采摘机器人自主行走和避障的控制框图；
图13为全景立体视觉传感器中的上全景视觉传感器所采集的采摘现场图像；
图14为基于全景立体视觉的障碍物检测流程框图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图14，一种采摘机器人的自主导航和人机协同采摘作业系统，包括采摘机器人的行走部分，用于采摘农作物对象的采摘机器人的采摘机器手，用于实现采摘机器人的自主导航、避障、定位和路径规划等功能的智能体，以下简称Agent，用于实现人-采摘机器人之间进行信息交互的、并能用于采摘机器人的空间定位的无线传感网，用于对采摘现场和采摘机器人的状态进行综合分析处理和判断的、并用于在人机协同采摘作业中为采摘管理人员提供远程干预和管理的计算机，用于获取采摘区域全景立体视频图像的全景立体视觉传感器，用于对采摘机器人处于非常规情况下的事件进行人工干预的以及对采摘机器人进行采摘调度规划的采摘管理人员，用于乘载采摘管理人员以及收集和运输采摘对象的农用拖拉机；
所述的采摘机器人主要包括：所述的行走部分、所述的采摘机器手、所述的全景立体视觉传感器和所述的Agent，所述的Agent根据所述的全景立体视觉传感器感知的信息进行分析、计算和推理，在常规情况下，根据所述的采摘管理人员下达的采摘区域和采摘时间的采摘作业调度决策，自动做出路径规划，驱动所述的行走部分和所述的采摘机器手完成边行走边采摘的任务操作；在非常规情况下通过无线传感网向采摘管理人员提供非规则事件等信息，请求采摘管理人员的干预；
所述的行走部分，采用四轮行走机器人，如附图1、附图3所示，其中两个后轮为独立的主动轮，两个前轮为主动导向轮，主动导向轮由小功率高减速的电机驱动，控制导向轮的转角，两个主动轮分别由两个轮毂电机驱动；采摘机器人的行走部分按照电机协调算法把行走部分的运动要求分解为对三个电机的控制命令，最后控制导向轮的转动和两个后轮的差动来实现行走部分的运动；设计时行走部分本体的最大宽度值不能超过采摘农作物垄间狭窄宽度，行走部分本体设计按照工业机器人现有技术规范进行设计；
所述的采摘机器手，采用一种基于气动人工肌肉的采摘管道，其外形呈管三自由度肌肉状，如附图9所示，管内分隔成三个互成120°的扇形柱状空腔，分别控制三个空腔的压力来实现沿中心轴Z方向的伸缩及任意一个方向的弯曲，从而实现三个自由度的控制；通过控制三个空腔的压力使得采摘管道的采摘口对准采摘对象；当采摘口对准采摘对象时控制脉冲式真空发生模块动作产生脉冲式真空气流将采摘对象吸入到采摘管道中；
所述的全景立体视觉传感器，如附图8所示，附图8(a)为所述的全景立体视觉传感器的外观图，附图8(b)表示了全景立体成像的空间物点检测模型，附图8(c)表示了全景立体成像的成像范围，主要用于获取仿生农作物采摘机器人周边的全景立体视觉视频图像，通过USB接口与所述的Agent的硬件连接；
所述的无线传感网，用于采摘管理人员与采摘机器人之间的信息交互，附图2为采摘管理人员与采摘机器人之间构成的无线传感网拓扑图，无线定位技术为采摘机器人的空间定位提供信息；具体采用一种以ns级的冲击脉冲在短距离内高速传输数据的无线通信技术，通过所述的无线传感网将分布在采摘区域中的采摘机器人与采摘管理人员构成一个人-采摘机器人一体化的采摘管理和控制系统，根据需求、环境和采摘对象的变化，可以通过动态自组织的方式协同地感知和采集网络分布区域的多采摘机器人和各种采摘对象的信息，形成一种人与采摘机器人相互激发、优势互补、共同寻求问题求解的协同机制；
所述的采摘管理人员驾驶乘坐在所述的农用拖拉机中，如附图10所示，经采摘区域的田埂对分布在采摘区域内的各所述的采摘机器人进行巡视；对所述的采摘机器人发生的各种非常规情况，即紧急行为进行及时的处置，对所述的采摘机器人发出的采摘农作物装卸请求做出响应，将所述的采摘机器人的容器中的采摘农作物转移到所述的农用拖拉机的收集箱中；所述的农用拖拉机驾驶室内配置了所述的计算机，所述的计算机中安装了采摘管理和控制系统软件，所述的采摘管理人员通过所述的计算机对分布在各区域内的所述的采摘机器人进行采摘管理和控制；所述的计算机通过所述的无线传感网与分布在各区域内的所述的采摘机器人中的所述的Agent进行信息交互；
所述的采摘管理人员根据感知层面上所获得的采摘环境等信息以及采摘目标任务制定采摘机器人-时间甘特图和采摘区域-时间甘特图，然后将采摘任务分派给分布在各采摘区域的所述的采摘机器人中驻留的所述的Agent；
所述的Agent，驻留在所述的采摘机器人中，其硬件主要包括：A/D转换器、D/A转换器、并行I/O接口、USB接口、存储单元、CPU、无线通信模块，如附图3所示；其软件主要包括：任务规划行为模块、协调行为模块、与采摘管理人的交互行为模块、紧急行为模块、路径识别行为模块、避障行为模块、定位行为模块、路径跟踪行为模块、采摘边界识别行为模块、行走行为模块、转向行为模块、采摘对象的识别和分类行为模块、采摘对象的空间定位行为模块和采摘行为模块，如附图6所示；所述的Agent驻留在所述的采摘机器人中，如附图2、附图3所示；
所述的任务规划行为模块，所述的Agent根据所述的采摘管理人员发出的采摘调度指令，在规定的采摘区域内做出遍历路径规划，控制采摘机器人沿规划出的路径以直线方式行走，至田埂边界后掉头，然后沿反方向直线运行如此反复迁回，直到整个采摘区域被覆盖，遍历路径规划如附图7所示；
所述的紧急行为模块，主要是基于安全因素的考虑，所述的紧急行为是所述的采摘机器人优先级最高的行为，一般在所述的采摘机器人避障行为失败后或者是发生颠倒不能行走等事故就切换到所述的紧急行为；当所述的紧急行为发生时，所述的Agent立刻向所述的采摘管理人员发出请求干预信息，等待所述的采摘管理人员到现场干预处理，请求干预信息是以紧急行为发生的空间位置显示在所述的计算机的显示屏上，在显示屏上显示有以所述的农用拖拉机为中心的电子地图，电子地图上标明了请求干预信息发出采摘机器人的空间位置；
所述的路径识别行为模块，考虑到农作物或果树等目标自然形成的行线基本上都为直线，如附图4所示，所述的采摘机器人前进方向局部范围内近似呈直线，因此，可以采用直线路径模型来规划采摘机器人的导航路径，这样导航控制的目标是使采摘机器人沿两农作物行间自主前进，将采摘机器人当前位姿数据作为输入，采摘机器人姿态调整量作为输出；本发明中将农作物采摘场景分割成行走区域和非行走区域，用色调信息特征就能将场景中的土地、水和采摘对象区分开来；分割的方法是采集这三种物体的样本块，用前反馈神经网络的方法来识别场景，输入的图像中的土壤颜色就是采摘机器人的可行走区域；
由于棉花等农作物的采摘延续时间长，需要进行分阶段采摘，采摘后农作物本体仍然生长的田间；因此，仅仅用视觉方式来区分已收获区和未收获区存在着较大困难，本发明采用无线定位技术记录每个所述的采摘机器人的行走轨迹，某个阶段中在电子地图上所述的机器人遍历的轨迹区域作为已收获区；反之作为未收获区，对于田端和田外区域用前反馈神经网络的方法来进行识别；
所述的避障行为模块，当采摘机器人遇到采摘环境中的障碍时执行避障行为，它的目的是当采摘机器人在行走的路径中遇到障碍物的时候，使采摘机器人顺利地避开障碍，并对障碍周围区域进行充分覆盖采摘；
所述的行走行为模块，当所述的路径识别行为模块所识别的结果基本上是沿两农作物行间行走时，调整采摘机器人的方向角与沿两农作物行间方向一致，等待所述的协调行为模块的激活；
所述的定位行为模块，采摘机器人根据原始位置和已运行的距离、方向并由定位系统和定位算法确定自身状态的行为，是采摘机器人实现自主运动的基础行为；
所述的路径跟踪行为模块，采摘机器人以迂回行走的方式进行全区域覆盖采摘，需要识别并跟踪采摘轨迹的行为是采摘机器人主要的行为，本发明中采用无线定位技术定位采摘机器人的空间位置，记录每时间点采摘机器人的空间位置来实现采摘轨迹的跟踪；
所述的采摘边界识别行为模块，采摘边界识别行为是采摘机器人在行走中通过根据所述的定位行为模块对其在采摘中的位置和已建立的区域地图上目标点进行比较，从而识别是否到达边界的过程；
所述的转向行为模块，当所述的采摘机器人的所述的避障行为模块检测到田埂边界或障碍边界即切换到转向行为，该行为与采摘机器人的路径跟踪行为配合完成的全区域覆盖采摘任务；
所述的采摘对象的识别和分类行为模块，根据所述的全景立体视觉传感器获得的全景视频信息，采用数字图像处理技术对采摘对象的特征进行识别和分类；如对棉花的采摘，对成熟的棉桃进行高、中、低分类，而对未成熟的棉桃置之不理；
所述的采摘对象的空间定位行为模块，根据所述的采摘对象的识别和分类行为模块所识别和分类的结果，并根据所述的全景立体视觉传感器获得的全景视频信息，依据立体成像原理计算出采摘对象的空间位置，从而为采摘机器手提供采摘对象的空间位置信息；
所述的采摘行为模块，主要用于直接控制采摘机器手的动作，当所述的采摘对象的空间定位行为模块计算出采摘对象的空间位置后，所述的采摘行为模块驱动采摘机器手的动作对准采摘对象并控制脉冲式真空发生模块动作产生脉冲式真空气流将采摘对象吸入到采摘管道中；
所述的协调行为模块，分为外部协调和内部协调，内部协调主要对上述各行为模块进行选择，决定哪个行为模块被激活，并对同时激活的行为模块进行协调；1）体现紧急事件最优先的原则，一旦所述的紧急行为模块发出紧急请求时所述的协调行为模块首先让所述的直行采摘行为模块、所述的转向行为模块和所述的避障行为模块设置为休眠锁定状态，接着通过与所述的采摘管理人的交互行为模块向采摘管理人员请求干预，当采摘管理人员处理完紧急事件后才能解除所述的直行采摘行为模块、所述的转向行为模块和所述的避障行为模块设置为休眠锁定状态；2）体现按采摘作业顺序工作的原则，主要是协调好所述的采摘机器人边行走、边采摘的动作，以保证在采摘时刻不行走，在行走中不采摘，当检测到所述的机器手的采摘范围内有采摘对象时停止行走，当周边的采摘对象都采摘结束时再启动行走；对于迂回式的采摘作业顺序是：行走→采摘→…行走→采摘→转向→行走→采摘→…；在行走、采摘和转向行为的同时其他行为模块均处于激活状态，并以多线程的方式分别运行在所述的Agent中；
所述的与采摘管理人的交互行为模块，主要有以下几类交互行为：1）请求干预的交互行为，当采摘机器人发生紧急事件、采摘机器人内部的存放容器已满等情况时，请求采摘管理人员干预；2）接受采摘调度指令的交互行为，当采摘管理人员下达采摘任务后，将采摘任务转达给所述的任务规划行为模块，在所述的任务规划行为模块做出遍历路径规划后，将遍历路径规划反馈给采摘管理人员；3）协商的交互行为，根据所述的Agent根据自身感知的情况，通过对自身知识的推理，能向采摘管理人员提供适当的帮助和建议；4）提供采摘现场信息的交互行为，负责响应来自采摘管理人员的上传信息指令，将所述的Agent所感知到的全景视频信息和分析得到的状态信息上传给采摘管理人员；
在所述的行走行为模块中，考虑到全景机器视觉的敏感性和田间环境的复杂性，在本发明中采用模糊控制方法；根据全景视觉成像特点，经过图像分割和滤波等数字图像处理，两农作物行间在全景成像上基本上呈现出向着成像中心圆的一条直线，如附图13中的一条粗黑线，关于全景视觉成像原理和全景立体视觉测量原理参见论文“同向式双目立体全方位视觉传感器的设计，传感技术学报，2010（23）第6期，P791~798”；本发明采用Hough变换来检测农作物行中心线，Hough变换是利用图像的全局特性而检测已知图形参数的一种方法；在前面已经定义了直线路径模型的情况下，利用Hough变换得到边界线将不连续的边缘像素点连接起来；Hough变换的主要优点是受噪声和曲线间断的影响较小，这对农田环境中检测采摘机器人跟踪路径有效；关于Hough变换的实现算法参见教科书“计算机视觉-一种现代方法，电子工业出版社，ISBN7-120-00086-1”；本发明对采摘机器人采用模糊导航控制，控制流程如图12所示，用γ0和θr0表示采摘机器人的期望位置和姿态，导航角θr(t)表示采摘机器人的轴线与两作物行中线的偏角，单位：rad，导航距γ(t)表示采摘机器人导航全景视觉传感器的中心在地面的投影点到两作物行中线的距离，单位：mm，转角控制输出δ(t)表示主动导向轮的转角变化量，控制输出μ(t)表示两侧后轮的转速差；本发明的模糊导航控制可以归纳为双输入双输出的模糊控制求解问题，首先，确定隶属函数、模糊集进行模糊化直线函数能快速调整较大误差，钟形和Bell型函数变化平滑，有利于控制的平稳性；在误差较大时，主要考虑调整的速度，采用三角形隶属函数；在误差允许范围内，主要考虑平稳性，采用曲线型隶属函数；
取γ、θr、μ和δ的模糊子集，在各自论域中均划分为7个集合“左大(LB)”、“左中(LM)”、“左小(LS)”、“零(ZE)”、“右小(RS)”、“右中(RM)”、“右大(RB)”；通过实验得到参数γ、θr、μ和δ的有效论域；输入变量γ和θr具有相似的变化特性，均设置相同的隶属函数；输出变量μ和δ也具有相似的变化特性，也设置相同的隶属函数；
进一步，建立控制规则，用模糊条件语句来描述控制规则：
Ri:if Q1 is Ai and Q2 is Bi,then U1 is Ci and U2 is Di;
Ri表示第i条控制规则，Q1表示导航角语言变量，Q2表示导航距语言变量，U1表示转角控制输出语言变量，U2表示两侧后轮的转速差输出语言变量；它们的语言值在相应论域中的模糊子集分别为Ai、Bi、Ci和Di，根据控制规则建立输入和输出控制规律表，实际应用中，只要根据输入变量就能得到相应的输出变量；
更进一步，利用重心法进行解模糊化处理，得到输出变量μ和δ的精确控制值，关于解模糊化的原理参见模糊控制技术的相关书籍；
所述的避障行为模块，其核心是要通过全景立体视觉的方式检测出行进方向上的障碍物，障碍物全景立体视觉检测算法的主要思路是：1）去除全景立体图像中非立体视觉视场方位的部分，对全景图像进行展开和极线校正，这部分主要通过展开图像内径、外径、以及柱状展开图上极线校正来完成；2）对展开图像采用边缘检测技术初步检测出疑似障碍物的边缘信息，通过阈值调整，检测出障碍物的边缘信息；3）对采摘机器人所获取的全景立体图像对中的所有疑似障碍物点利用极线约束进行立体匹配，根据匹配的像素对的图像坐标值进行立体视觉空间点的重建，根据全景立体视觉传感器成像时，图像坐标、全景立体视觉传感器的坐标以及现实世界坐标系之间的关系，计算得出其相应的高度值，当高度大于给定阈值时则判定为障碍物点；检测算法实现步骤如附图14所示；障碍物点的高度以及障碍物点与采摘机器人的距离的计算方法由公式（1）~公式（2）表示；
d=(bcosγ1cosγ2)/sin(γ1-γ2)（1）
h=H-b-d×arctanγ2=H-d×arctanγ1（2）
式中，d表示障碍物点A与采摘机器人的全景立体视觉轴线在地面上投影点的距离，b表示构成全景立体视觉的两个全景视觉传感器的视点间的距离，γ1表示障碍物点A在上全景视觉传感器上成像的入射角，γ2表示障碍物点A在下全景视觉传感器上成像的入射角，h表示障碍物点A的高度，H表示上全景视觉传感器的视点到地面的距离，障碍物计算检测原理如附图11所示；
进一步，在检测出障碍物后就需要让采摘机器人采取避障行为，避障行为的算法流程为：步骤1）如果没有检测到障碍物，则沿着两作物行中线前进；步骤2）如果检测到前进方向存在障碍物，获得障碍物的距离信息，判断障碍物与采摘机器人的距离是否小于2米，如果是则进入避障区；步骤3）进入障碍区后减速前进，启动避障策略，绕开障碍物；步骤4）关闭避障策略，继续从步骤1）开始执行，直至遍历整个采摘区域；避障策略采用模糊控制算法来实现；
所述的基于气动人工肌肉的采摘管道，其外形呈管三自由度肌肉状，管内分隔成三个互成120°的扇形柱状空腔，分别控制三个空腔的压力来实现沿中心轴Z方向的伸缩及任意一个方向的弯曲，从而实现三个自由度的控制，如附图9和附图3所示；在所述的基于气动人工肌肉的采摘管道的内外管壁的橡胶基体中，夹有芳香族聚酰胺增强纤维，纤维走向与肌肉的轴向有一夹角α，本发明中考虑到所述的基于气动人工肌肉的采摘管道的柔软性，将夹角α设计为70°~80°；这样由于纤维单方向增强效果的影响，沿垂直于纤维方向的变形比沿纤维方向变形容易得多；为了便于工业化大规模生产，本发明采用模具制作方式制造所述的基于气动人工肌肉的采摘管道，将所述的基于气动人工肌肉的采摘管道分成若干个部件，包括：管道终端1、管道终端密封体2、管道本体3、管道连接密封体4、管道连接法兰5和通气管6；构成最简单的所述的基于气动人工肌肉的采摘管道的方式是将所述的管道终端密封体2插入所述的管道本体3的一端，接着将所述的管道终端1盖住所述的管道终端密封体2并用自攻螺钉7将所述的管道终端密封体2和所述的管道本体3的一端固定在一起；进一步，将所述的管道连接密封体4插入所述的管道本体3的另一端，接着将所述的管道连接法兰5的三个孔对准所述的管道连接密封体4的三个孔并盖住，然后用自攻螺钉7将所述的管道连接密封体4和所述的管道本体3的另一端固定连接在一起，最后将三根通气管6分别插入所述的管道连接法兰5的三个孔中，如附图9所示；
所述的计算机，作为无线访问接入点(AP，Access Point)，接入点和安置在采摘机器人中的无线网卡都配有高增益天线，本发明采用朗讯无线网桥AP-1000作为接入点，与WaveLAN／PCMCIA无线网卡共同实现无线通信，以无线方式入网的采摘机器人具有可移动性，在一定的区域移动而同时又随时与所述的计算机保持通信联系，一个AP，即一台所述的计算机可支持100多个采摘机器人的接入，最大传输范围可达几十千米，完全满足大面积农作物人-机协同采摘的需要。

Claims (10)

1.一种采摘机器人的自主导航和人机协同采摘作业系统，其特征在于：包括采摘机器人，用于实现人-采摘机器人之间进行信息交互的、并能用于采摘机器人的空间定位的无线传感网和用于对采摘现场和采摘机器人的状态进行综合分析处理和判断的、并用于在人机协同采摘作业中为采摘管理人员提供远程干预和管理的计算机；
所述的采摘机器人包括：行走部分、采摘机器手、用于获取采摘区域全景立体视频图像的全景立体视觉传感器和用于实现采摘机器人的自主导航、避障、定位和路径规划功能的智能体，以下简称Agent，所述的Agent根据所述的全景立体视觉传感器感知的信息进行分析、计算和推理，在常规情况下，根据所述的采摘管理人员下达的采摘区域和采摘时间的采摘作业调度决策，自动做出路径规划，驱动所述的行走部分和所述的采摘机器手完成边行走边采摘的任务操作；在非常规情况下通过无线传感网向采摘管理人员提供非规则事件等信息，请求采摘管理人员的干预；
所述的Agent包括任务规划行为模块、协调行为模块、与采摘管理人的交互行为模块、紧急行为模块、路径识别行为模块、避障行为模块、定位行为模块、路径跟踪行为模块、采摘边界识别行为模块、行走行为模块、转向行为模块、采摘对象的识别和分类行为模块、采摘对象的空间定位行为模块和采摘行为模块；
所述的无线传感网，用于采摘管理人员与采摘机器人之间的信息交互，同时也能为采摘机器人的空间定位提供信息；采用一种以ns级的冲击脉冲在短距离内高速传输数据的无线通信技术，通过所述的无线传感网将分布在采摘区域中的采摘机器人与所述的采摘管理人员构成一个人-采摘机器人一体化的采摘管理和控制系统，根据需求、环境和采摘对象的变化，通过动态自组织的方式协同地感知和采集网络分布区域的多采摘机器人和各种采摘对象的信息，形成一种人与采摘机器人相互激发、优势互补、共同寻求问题求解的协同机制。
2.如权利要求1所述的采摘机器人的自主导航和人机协同采摘作业系统，其特征在于：所述的行走行为模块中，采用模糊控制方法；根据全景视觉成像特点，经过图像分割和滤波数字图像处理，两农作物行间在全景成像上呈现出向着成像中心圆的一条直线；采用Hough变换来检测农作物行中心线；利用Hough变换得到边界线将不连续的边缘像素点连接起来；对采摘机器人采用模糊导航控制，用γ0和θr0表示采摘机器人的期望位置和姿态，导航角θr(t)表示采摘机器人的轴线与两作物行中线的偏角，单位：rad，导航距γ(t)表示采摘机器人导航全景视觉传感器的中心在地面的投影点到两作物行中线的距离，单位：mm，转角控制输出δ(t)表示主动导向轮的转角变化量，控制输出μ(t)表示两侧后轮的转速差；
将模糊导航控制归纳为双输入双输出的模糊控制求解问题，首先，确定隶属函数、模糊集进行模糊化直线函数能快速调整较大误差，钟形和Bell型函数变化平滑性；在误差较大时，考虑调整的速度，采用三角形隶属函数；在误差允许范围内，采用曲线型隶属函数；取γ、θr、μ和δ的模糊子集，在各自论域中均划分为7个集合“左大(LB)”、“左中(LM)”、“左小(LS)”、“零(ZE)”、“右小(RS)”、“右中(RM)”、“右大(RB)”；通过实验得到参数γ、θr、μ和δ的有效论域；输入变量γ和θr具有相似的变化特性，均设置相同的隶属函数；输出变量μ和δ也具有相似的变化特性，也设置相同的隶属函数；
建立控制规则，用模糊条件语句来描述控制规则：
Ri:if Q1 is Ai and Q2 is Bi,then U1 is Ci and U2 is Di;
Ri表示第i条控制规则，Q1表示导航角语言变量，Q2表示导航距语言变量，U1表示转角控制输出语言变量，U2表示两侧后轮的转速差输出语言变量；它们的语言值在相应论域中的模糊子集分别为Ai、Bi、Ci和Di，根据控制规则建立输入和输出控制规律表，根据输入变量得到相应的输出变量；
利用重心法进行解模糊化处理，得到输出变量μ和δ的精确控制值。
3.如权利要求2所述的采摘机器人的自主导航和人机协同采摘作业系统，其特征在于：所述的避障行为模块，通过全景立体视觉的方式检测出行进方向上的障碍物，障碍物全景立体视觉检测过程为：1）去除全景立体图像中非立体视觉视场方位的部分，对全景图像进行展开和极线校正，这部分主要通过展开图像内径、外径、以及柱状展开图上极线校正来完成；2）对展开图像采用边缘检测技术初步检测出疑似障碍物的边缘信息，通过阈值调整，检测出障碍物的边缘信息；3）对采摘机器人所获取的全景立体图像对中的所有疑似障碍物点利用极线约束进行立体匹配，根据匹配的像素对的图像坐标值进行立体视觉空间点的重建，根据全景立体视觉传感器成像时，图像坐标、全景立体视觉传感器的坐标以及现实世界坐标系之间的关系，计算得出其相应的高度值，当高度大于给定阈值时则判定为障碍物点；障碍物点的高度以及障碍物点与采摘机器人的距离的计算方法由公式（1）~公式（2）表示；
d=(bcosγ1cosγ2)/sin(γ1-γ2)（1）
h＝H-b-d×arctanγ2＝H-d×arctanγ1（2）
式中，d表示障碍物点A与采摘机器人的全景立体视觉轴线在地面上投影点的距离，b表示构成全景立体视觉的两个全景视觉传感器的视点间的距离，γ1表示障碍物点A在上全景视觉传感器上成像的入射角，γ2表示障碍物点A在下全景视觉传感器上成像的入射角，h表示障碍物点A的高度，H表示上全景视觉传感器的视点到地面的距离；
在检测出障碍物后就需要让采摘机器人采取避障行为，所述避障行为的流程为：步骤1）如果没有检测到障碍物，则沿着两作物行中线前进；步骤2）如果检测到前进方向存在障碍物，获得障碍物的距离信息，判断障碍物与采摘机器人的距离是否小于2米，如果是则进入避障区；步骤3）进入障碍区后减速前进，启动避障策略，绕开障碍物；步骤4）关闭避障策略，继续从步骤1）开始执行，直至遍历整个采摘区域；避障策略采用模糊控制算法来实现。
4.如权利要求3所述的采摘机器人的自主导航和人机协同采摘作业系统，其特征在于：所述的路径识别行为模块，采用直线路径模型来规划采摘机器人的导航路径，将采摘机器人当前位姿数据作为输入，采摘机器人姿态调整量作为输出；将农作物采摘场景分割成行走区域和非行走区域，用色调信息特征就能将场景中的土地、水和采摘对象区分开来；分割的方法是采集这三种物体的样本块，用前反馈神经网络的方法来识别场景，输入的图像中的土壤颜色就是采摘机器人的可行走区域。
5.如权利要求4所述的采摘机器人的自主导航和人机协同采摘作业系统，其特征在于：所述的协调行为模块包括外部协调单元和内部协调单元，内部协调单元对直行采摘行为模块、转向行为模块、行走行为模块、避障行为模块和路径识别行为模块进行选择，决定哪个行为模块被激活，并对同时激活的行为模块进行协调；1）体现紧急事件最优先的原则，一旦所述的紧急行为模块发出紧急请求时所述的协调行为模块首先让所述的直行采摘行为模块、所述的转向行为模块和所述的避障行为模块设置为休眠锁定状态，接着通过与所述的采摘管理人的交互行为模块向采摘管理人员请求干预，当采摘管理人员处理完紧急事件后才能解除所述的直行采摘行为模块、所述的转向行为模块和所述的避障行为模块设置为休眠锁定状态；2）体现按采摘作业顺序工作的原则，协调好所述的采摘机器人边行走、边采摘的动作，当检测到所述的机器手的采摘范围内有采摘对象时停止行走，当周边的采摘对象都采摘结束时再启动行走；在行走、采摘和转向行为的同时其他行为模块均处于激活状态，并以多线程的方式分别运行在所述的Agent中。
6.如权利要求1~5之一所述的采摘机器人的自主导航和人机协同采摘作业系统，其特征在于：所述的与采摘管理人的交互行为模块，包括以下交互行为：1）请求干预的交互行为，当采摘机器人发生紧急事件、采摘机器人内部的存放容器已满等情况时，请求采摘管理人员干预；2）接受采摘调度指令的交互行为，当采摘管理人员下达采摘任务后，将采摘任务转达给所述的任务规划行为模块，在所述的任务规划行为模块做出遍历路径规划后，将遍历路径规划反馈给采摘管理人员；3）协商的交互行为，根据所述的Agent根据自身感知的情况，通过对自身知识的推理，能向采摘管理人员提供适当的帮助和建议；4）提供采摘现场信息的交互行为，负责响应来自采摘管理人员的上传信息指令，将所述的Agent所感知到的全景视频信息和分析得到的状态信息上传给采摘管理人员。
7.如权利要求1~6之一所述的采摘机器人的自主导航和人机协同采摘作业系统，其特征在于：所述的任务规划行为模块，所述的Agent根据所述的采摘管理人员发出的采摘调度指令，在规定的采摘区域内做出遍历路径规划，控制采摘机器人沿规划出的路径以直线方式行走，至田埂边界后掉头，然后沿反方向直线运行如此反复迁回，直到整个采摘区域被覆盖。
8.如权利要求1~6之一所述的采摘机器人的自主导航和人机协同采摘作业系统，其特征在于：所述的紧急行为模块，所述的紧急行为是所述的采摘机器人优先级最高的行为，在所述的采摘机器人避障行为失败后或者是发生颠倒不能行走等事故就切换到所述的紧急行为；当所述的紧急行为发生时，所述的Agent立刻向采摘管理人员发出请求干预信息，等待采摘管理人员到现场干预处理，请求干预信息是以紧急行为发生的空间位置显示在所述的计算机的显示屏上，在显示屏上显示有以所述的农用拖拉机为中心的电子地图，电子地图上标明了请求干预信息发出采摘机器人的空间位置。
9.如权利要求1~6之一所述的采摘机器人的自主导航和人机协同采摘作业系统，其特征在于：所述的路径跟踪行为模块，采摘机器人以迂回行走的方式进行全区域覆盖采摘，识别并跟踪采摘轨迹，采用无线定位技术定位采摘机器人的空间位置，记录每时间点采摘机器人的空间位置来实现采摘轨迹的跟踪。
10.如权利要求1~6之一所述的采摘机器人的自主导航和人机协同采摘作业系统，其特征在于：所述采摘管理人员驾驶乘坐在农用拖拉机中，经采摘区域的田埂对分布在采摘区域内的各所述的采摘机器人进行巡视；对所述的采摘机器人发生的各种非常规情况，即紧急行为进行及时的处置，对所述的采摘机器人发出的采摘农作物装卸请求做出响应，将所述的采摘机器人的容器中的采摘农作物转移到所述的农用拖拉机的收集箱中；所述的农用拖拉机驾驶室内配置了所述的计算机，所述的计算机中安装了采摘管理和控制系统软件，所述的采摘管理人员通过所述的计算机对分布在各区域内的所述的采摘机器人进行采摘管理和控制；所述的计算机通过所述的无线传感网与分布在各区域内的所述的采摘机器人中的所述的Agent进行信息交互。
CN201210355140.1A 2012-09-21 2012-09-21 采摘机器人的自主导航和人机协同采摘作业系统 Active CN102914967B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210355140.1A CN102914967B (zh) 2012-09-21 2012-09-21 采摘机器人的自主导航和人机协同采摘作业系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210355140.1A CN102914967B (zh) 2012-09-21 2012-09-21 采摘机器人的自主导航和人机协同采摘作业系统

Publications (2)

Publication Number Publication Date
CN102914967A true CN102914967A (zh) 2013-02-06
CN102914967B CN102914967B (zh) 2015-01-28

Family

ID=47613380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210355140.1A Active CN102914967B (zh) 2012-09-21 2012-09-21 采摘机器人的自主导航和人机协同采摘作业系统

Country Status (1)

Country Link
CN (1) CN102914967B (zh)

Cited By (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218660A (zh) * 2013-03-11 2013-07-24 北京航空航天大学 一种基于泛化模糊竞争神经网的航路选择方法
CN103325106A (zh) * 2013-04-15 2013-09-25 浙江工业大学 基于LabVIEW的运动工件分拣方法
CN103442457A (zh) * 2013-08-28 2013-12-11 江苏大学 基于Zigbee技术的采摘机器人传感器无线传输装置及方法
CN103716399A (zh) * 2013-12-30 2014-04-09 上海交通大学 基于无线网络的远程交互果实采摘协同异步控制系统及方法
CN103760902A (zh) * 2014-01-14 2014-04-30 上海海事大学 一种基于模糊控制的无人水面艇直线路径跟踪方法
CN103891697A (zh) * 2014-03-28 2014-07-02 南通职业大学 一种室内自主移动喷药机器人及其变量喷药方法
CN104423554A (zh) * 2013-09-03 2015-03-18 联想(北京)有限公司 电子设备及其控制方法
CN104950894A (zh) * 2015-07-02 2015-09-30 朱宇晨 一种自组织机器人系统
CN105929752A (zh) * 2016-06-22 2016-09-07 吴童 基于机器人采摘荔枝控制系统
CN106105446A (zh) * 2016-07-08 2016-11-16 黄光瑜 一种庄稼耕作打印机
CN106416587A (zh) * 2015-08-13 2017-02-22 苏州宝时得电动工具有限公司 割草机的定位误差消除方法、装置及系统
WO2017042789A1 (en) * 2016-07-20 2017-03-16 Universidad Tecnológica De Panamá Harvesting and lawn care robot
CN106843221A (zh) * 2017-03-07 2017-06-13 普倩萌 一种多农业机器人的转弯协调控制方法及装置
CN106950987A (zh) * 2017-03-27 2017-07-14 西南科技大学 一种基于uwb雷达的甘蔗收割机地形跟随系统及实现方法
CN107479552A (zh) * 2017-08-29 2017-12-15 烟台大学 基于Agent的轨道机器人自组织控制系统
CN107481247A (zh) * 2017-07-27 2017-12-15 许文远 一种智慧农业用采摘机器人控制系统及方法
CN107562057A (zh) * 2017-09-07 2018-01-09 南京昱晟机器人科技有限公司 一种机器人智能导航控制方法
GB2553618A (en) * 2016-06-07 2018-03-14 Kms Projects Ltd Harvesting of crops
CN107831685A (zh) * 2017-10-13 2018-03-23 南方科技大学 一种群体机器人的控制方法和系统
CN107976918A (zh) * 2016-10-24 2018-05-01 菜鸟智能物流控股有限公司 一种任务切换方法和相关装置
CN108279678A (zh) * 2018-02-24 2018-07-13 浙江大学 一种用于检测植株生长状况的田间自动行走装置及其行走控制方法
CN108602296A (zh) * 2016-01-22 2018-09-28 莱福特压力机和剪刀股份有限公司 用于处理废金属回收场上的废金属的方法和用于这种方法的剪压机或压机或剪切机
CN108628294A (zh) * 2017-03-20 2018-10-09 北京军石科技有限公司 一种多机器人靶标自主协同控制系统及其控制方法
CN108628314A (zh) * 2018-06-13 2018-10-09 西安交通大学 一种多机协作草坪修剪机器人系统及方法
CN108718704A (zh) * 2018-04-18 2018-11-02 常州大学 一种人机交互式野外果蔬采收机器人系统及其采收方法
CN108873913A (zh) * 2018-08-22 2018-11-23 深圳乐动机器人有限公司 自移动设备协同作业控制方法、装置、存储介质和系统
CN109005904A (zh) * 2018-09-07 2018-12-18 浙江赞城科技有限公司 一种智能精准的茶叶采收装置
CN109099925A (zh) * 2018-08-31 2018-12-28 江苏大学 一种无人农机导航路径规划与作业质量评估方法与装置
CN109202848A (zh) * 2018-09-12 2019-01-15 西南大学 基于Leap Motion与机器视觉的人机协作采摘机器人及其控制方法
CN109278040A (zh) * 2017-07-22 2019-01-29 西北农林科技大学 一种具有导航避障功能的农业巡视机器人
CN109479520A (zh) * 2018-12-25 2019-03-19 南京工程学院 一种果蔬采摘机器人双边遥操作控制方法
CN109542099A (zh) * 2018-11-26 2019-03-29 江苏农牧科技职业学院 一种农机控制方法
CN109588114A (zh) * 2018-12-20 2019-04-09 武汉科技大学 一种应用于水果采摘机器人的并行识别采摘系统及方法
CN109589048A (zh) * 2018-12-21 2019-04-09 湖南酷陆网络科技有限公司 清扫方法、清扫子机器、清扫系统及计算机可读存储介质
CN109634270A (zh) * 2018-10-25 2019-04-16 丰疆智慧农业股份有限公司 用于无人驾驶农机的作业控制系统及作业控制方法
CN109716253A (zh) * 2016-09-26 2019-05-03 洋马株式会社 路径生成系统
CN109862778A (zh) * 2016-08-18 2019-06-07 泰维先进技术有限公司 用于收割和稀释的无人机群管理的系统和方法
CN109901593A (zh) * 2019-04-08 2019-06-18 广州思谋信息科技有限公司 一种基于三点定位技术智能农机路径规划系统
CN109976340A (zh) * 2019-03-19 2019-07-05 中国人民解放军国防科技大学 一种基于深度增强学习的人机协同动态避障方法及系统
CN110262499A (zh) * 2019-06-27 2019-09-20 北京埃索特核电子机械有限公司 一种双移动机器人同步控制系统与方法
CN110427536A (zh) * 2019-08-12 2019-11-08 深圳忆海原识科技有限公司 一种类脑决策与运动控制系统
CN110597263A (zh) * 2019-09-25 2019-12-20 福州大学 一种无人餐厅自动送餐路径规划方法
CN110587610A (zh) * 2019-09-23 2019-12-20 芜湖安普机器人产业技术研究院有限公司 基于5g云调度系统的农场用独立悬架移动机器人控制系统
CN110618679A (zh) * 2019-08-22 2019-12-27 北京交通大学 基于无线通信网络的多agv智能协同工作系统
CN110865534A (zh) * 2019-11-15 2020-03-06 合肥工业大学 含有改进的卡尔曼滤波的导航定位的智能跟随系统
CN110895409A (zh) * 2018-08-23 2020-03-20 珠海格力电器股份有限公司 避让障碍物的控制方法
CN111012254A (zh) * 2019-12-30 2020-04-17 北京太坦科技有限公司 智能扫地机器人
CN111201896A (zh) * 2019-12-28 2020-05-29 苏州博田自动化技术有限公司 基于视觉导航的采摘机器人及控制方法
CN111240288A (zh) * 2020-01-20 2020-06-05 广东博智林机器人有限公司 计算模型构建及配置计算的方法、装置、设备及存储介质
CN111300430A (zh) * 2020-03-27 2020-06-19 梅其珍 双模协作机器人控制系统
CN111413970A (zh) * 2020-03-18 2020-07-14 天津大学 超宽带与视觉融合的室内机器人定位与自主导航方法
US10788835B2 (en) 2017-11-13 2020-09-29 Raven Industries, Inc. Safety system for autonomous operation of off-road and agricultural vehicles using machine learning for detection and identification of obstacles
CN111738528A (zh) * 2020-07-20 2020-10-02 北京云迹科技有限公司 机器人调度方法及第一机器人
CN112060072A (zh) * 2019-06-11 2020-12-11 华邦电子股份有限公司 一种协同型机器人控制系统和方法
CN112171667A (zh) * 2020-09-21 2021-01-05 济南浪潮高新科技投资发展有限公司 基于嵌入式的采摘机器人智能避障系统及避障方法
CN112385398A (zh) * 2020-10-22 2021-02-23 成都大学 一种用于自动采摘农机的高精度定位方法
WO2021070158A1 (en) * 2019-10-10 2021-04-15 The State Of Israel, Ministry Of Agriculture & Rural Development Agricultural Research Organization Human-robot guiding system for agricultural objects detection in unstructured and noisy environment by integrated laser and vision
CN112712128A (zh) * 2021-01-11 2021-04-27 中南民族大学 基于神经网络的智能采摘方法、设备、存储介质及装置
CN112734727A (zh) * 2021-01-11 2021-04-30 安徽理工大学 一种基于改进深度神经网络的苹果采摘方法
CN112944287A (zh) * 2021-02-08 2021-06-11 西湖大学 一种具有主动光源的空中修补系统
CN112975961A (zh) * 2021-02-20 2021-06-18 华南理工大学 基于ctb-rrt*算法的采摘机械臂运动规划方法
CN113079826A (zh) * 2021-05-08 2021-07-09 大连交通大学 履带式专用农业采摘机器人及其采摘方法
CN113268352A (zh) * 2021-06-11 2021-08-17 中科院软件研究所南京软件技术研究院 面向通用服务机器人的多指令响应式任务协同管理方法
CN113330915A (zh) * 2021-05-26 2021-09-03 华南农业大学 双目视觉识别的自适应棉花收获方法及智能机械收获装置
CN113728806A (zh) * 2021-11-05 2021-12-03 季华实验室 果实采摘机器人控制方法、装置、电子设备及存储介质
CN113940198A (zh) * 2021-10-25 2022-01-18 季华实验室 多机器人水果采摘方法、装置、电子设备及存储介质
CN114246064A (zh) * 2021-11-16 2022-03-29 中国农业科学院都市农业研究所 一种油橄榄采摘机器人装置及方法
CN114260894A (zh) * 2021-12-22 2022-04-01 上海科技大学 全自动采棉机器人及控制方法
CN114488877A (zh) * 2021-12-29 2022-05-13 江苏绿港现代农业发展股份有限公司 一种遥控日光温室运输车装置及其遥控控制方法
CN114586548A (zh) * 2022-04-08 2022-06-07 重庆邮电大学 一种虚拟远程水果采摘系统及方法
CN114675659A (zh) * 2022-05-28 2022-06-28 广州市盛望信息科技有限公司 一种农用机器人运动控制方法及系统
CN115202369A (zh) * 2022-09-14 2022-10-18 深圳市信诚创新技术有限公司 吸尘机器人的路径控制方法、装置、设备及存储介质
CN115380714A (zh) * 2022-09-20 2022-11-25 浙江工业大学之江学院 一种用于棉花采摘的机器人
CN116214527A (zh) * 2023-05-09 2023-06-06 南京泛美利机器人科技有限公司 一种增强人机协作适应性的三体协同智能决策方法和系统
EP4100827A4 (en) * 2020-02-05 2024-03-27 Plus One Robotics Inc INTERVENTION SYSTEMS AND METHODS FOR ROBOT PICKING SYSTEMS

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201807523A (zh) 2016-08-22 2018-03-01 金寶電子工業股份有限公司 移動式機器人的即時導航方法
CN107843251B (zh) * 2017-10-18 2020-01-31 广东宝乐机器人股份有限公司 移动机器人的位姿估计方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1945351A (zh) * 2006-10-21 2007-04-11 中国科学院合肥物质科学研究院 一种机器人导航定位系统及导航定位方法
CN101635995A (zh) * 2009-09-01 2010-01-27 东南大学 适应复杂地形的无线传感器网络设备
CN101770236A (zh) * 2008-12-31 2010-07-07 吉林市北华航天科技有限公司 环卫机器人控制系统
US20100292839A1 (en) * 2009-05-15 2010-11-18 Samsung Electronics Co., Ltd. Mobile robot system and method of controlling the same
CN101976079A (zh) * 2010-08-27 2011-02-16 中国农业大学 智能导航控制系统及方法
CN202085493U (zh) * 2011-05-24 2011-12-28 中国农业大学 番茄采摘机器人系统
CN102495633A (zh) * 2011-12-22 2012-06-13 中国人民解放军国防科学技术大学 一种平流层驻留飞艇姿态控制方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1945351A (zh) * 2006-10-21 2007-04-11 中国科学院合肥物质科学研究院 一种机器人导航定位系统及导航定位方法
CN101770236A (zh) * 2008-12-31 2010-07-07 吉林市北华航天科技有限公司 环卫机器人控制系统
US20100292839A1 (en) * 2009-05-15 2010-11-18 Samsung Electronics Co., Ltd. Mobile robot system and method of controlling the same
CN101635995A (zh) * 2009-09-01 2010-01-27 东南大学 适应复杂地形的无线传感器网络设备
CN101976079A (zh) * 2010-08-27 2011-02-16 中国农业大学 智能导航控制系统及方法
CN202085493U (zh) * 2011-05-24 2011-12-28 中国农业大学 番茄采摘机器人系统
CN102495633A (zh) * 2011-12-22 2012-06-13 中国人民解放军国防科学技术大学 一种平流层驻留飞艇姿态控制方法

Cited By (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218660B (zh) * 2013-03-11 2015-08-19 北京航空航天大学 一种基于泛化模糊竞争神经网的航路选择方法
CN103218660A (zh) * 2013-03-11 2013-07-24 北京航空航天大学 一种基于泛化模糊竞争神经网的航路选择方法
CN103325106A (zh) * 2013-04-15 2013-09-25 浙江工业大学 基于LabVIEW的运动工件分拣方法
CN103325106B (zh) * 2013-04-15 2015-11-25 浙江工业大学 基于LabVIEW的运动工件分拣方法
CN103442457A (zh) * 2013-08-28 2013-12-11 江苏大学 基于Zigbee技术的采摘机器人传感器无线传输装置及方法
CN103442457B (zh) * 2013-08-28 2016-06-15 江苏大学 基于Zigbee技术的采摘机器人传感器无线传输装置及方法
CN104423554A (zh) * 2013-09-03 2015-03-18 联想(北京)有限公司 电子设备及其控制方法
CN104423554B (zh) * 2013-09-03 2017-12-26 联想(北京)有限公司 电子设备及其控制方法
CN103716399A (zh) * 2013-12-30 2014-04-09 上海交通大学 基于无线网络的远程交互果实采摘协同异步控制系统及方法
CN103716399B (zh) * 2013-12-30 2016-08-17 上海交通大学 基于无线网络的远程交互果实采摘协同异步控制系统及方法
CN103760902A (zh) * 2014-01-14 2014-04-30 上海海事大学 一种基于模糊控制的无人水面艇直线路径跟踪方法
CN103760902B (zh) * 2014-01-14 2016-06-08 上海海事大学 一种基于模糊控制的无人水面艇直线路径跟踪方法
CN103891697A (zh) * 2014-03-28 2014-07-02 南通职业大学 一种室内自主移动喷药机器人及其变量喷药方法
CN104950894A (zh) * 2015-07-02 2015-09-30 朱宇晨 一种自组织机器人系统
CN104950894B (zh) * 2015-07-02 2019-05-14 朱宇晨 一种自组织机器人系统
CN106416587A (zh) * 2015-08-13 2017-02-22 苏州宝时得电动工具有限公司 割草机的定位误差消除方法、装置及系统
CN108602296A (zh) * 2016-01-22 2018-09-28 莱福特压力机和剪刀股份有限公司 用于处理废金属回收场上的废金属的方法和用于这种方法的剪压机或压机或剪切机
GB2553618A (en) * 2016-06-07 2018-03-14 Kms Projects Ltd Harvesting of crops
US11470781B2 (en) 2016-06-07 2022-10-18 Kms Projects Limited Method and apparatus for selectively harvesting crops
CN105929752A (zh) * 2016-06-22 2016-09-07 吴童 基于机器人采摘荔枝控制系统
CN106105446A (zh) * 2016-07-08 2016-11-16 黄光瑜 一种庄稼耕作打印机
WO2017042789A1 (en) * 2016-07-20 2017-03-16 Universidad Tecnológica De Panamá Harvesting and lawn care robot
CN109862778A (zh) * 2016-08-18 2019-06-07 泰维先进技术有限公司 用于收割和稀释的无人机群管理的系统和方法
CN109862778B (zh) * 2016-08-18 2022-03-01 泰维空中机器人技术有限公司 用于收割和稀释的无人机群管理的系统和方法
CN109716253B (zh) * 2016-09-26 2022-04-01 洋马动力科技有限公司 路径生成系统
CN109716253A (zh) * 2016-09-26 2019-05-03 洋马株式会社 路径生成系统
WO2018077032A1 (zh) * 2016-10-24 2018-05-03 菜鸟智能物流控股有限公司 一种任务切换方法和相关装置
CN107976918A (zh) * 2016-10-24 2018-05-01 菜鸟智能物流控股有限公司 一种任务切换方法和相关装置
CN107976918B (zh) * 2016-10-24 2020-10-13 菜鸟智能物流控股有限公司 一种任务切换方法和相关装置
CN106843221A (zh) * 2017-03-07 2017-06-13 普倩萌 一种多农业机器人的转弯协调控制方法及装置
CN108628294A (zh) * 2017-03-20 2018-10-09 北京军石科技有限公司 一种多机器人靶标自主协同控制系统及其控制方法
CN106950987A (zh) * 2017-03-27 2017-07-14 西南科技大学 一种基于uwb雷达的甘蔗收割机地形跟随系统及实现方法
CN109278040A (zh) * 2017-07-22 2019-01-29 西北农林科技大学 一种具有导航避障功能的农业巡视机器人
CN107481247A (zh) * 2017-07-27 2017-12-15 许文远 一种智慧农业用采摘机器人控制系统及方法
CN107479552A (zh) * 2017-08-29 2017-12-15 烟台大学 基于Agent的轨道机器人自组织控制系统
CN107562057A (zh) * 2017-09-07 2018-01-09 南京昱晟机器人科技有限公司 一种机器人智能导航控制方法
CN107831685B (zh) * 2017-10-13 2023-03-14 南方科技大学 一种群体机器人的控制方法和系统
CN107831685A (zh) * 2017-10-13 2018-03-23 南方科技大学 一种群体机器人的控制方法和系统
US10788835B2 (en) 2017-11-13 2020-09-29 Raven Industries, Inc. Safety system for autonomous operation of off-road and agricultural vehicles using machine learning for detection and identification of obstacles
US11734917B2 (en) 2017-11-13 2023-08-22 Raven Industries, Inc. Safety system for autonomous operation of off-road and agricultural vehicles using machine learning for detection and identification of obstacles
CN108279678A (zh) * 2018-02-24 2018-07-13 浙江大学 一种用于检测植株生长状况的田间自动行走装置及其行走控制方法
CN108718704A (zh) * 2018-04-18 2018-11-02 常州大学 一种人机交互式野外果蔬采收机器人系统及其采收方法
CN108628314A (zh) * 2018-06-13 2018-10-09 西安交通大学 一种多机协作草坪修剪机器人系统及方法
CN108873913A (zh) * 2018-08-22 2018-11-23 深圳乐动机器人有限公司 自移动设备协同作业控制方法、装置、存储介质和系统
CN110895409A (zh) * 2018-08-23 2020-03-20 珠海格力电器股份有限公司 避让障碍物的控制方法
CN109099925B (zh) * 2018-08-31 2021-07-20 江苏大学 一种无人农机导航路径规划与作业质量评估方法与装置
CN109099925A (zh) * 2018-08-31 2018-12-28 江苏大学 一种无人农机导航路径规划与作业质量评估方法与装置
CN109005904A (zh) * 2018-09-07 2018-12-18 浙江赞城科技有限公司 一种智能精准的茶叶采收装置
CN109202848A (zh) * 2018-09-12 2019-01-15 西南大学 基于Leap Motion与机器视觉的人机协作采摘机器人及其控制方法
CN109634270A (zh) * 2018-10-25 2019-04-16 丰疆智慧农业股份有限公司 用于无人驾驶农机的作业控制系统及作业控制方法
CN109542099B (zh) * 2018-11-26 2021-05-07 江苏农牧科技职业学院 一种农机控制方法
CN109542099A (zh) * 2018-11-26 2019-03-29 江苏农牧科技职业学院 一种农机控制方法
CN109588114B (zh) * 2018-12-20 2021-07-06 武汉科技大学 一种应用于水果采摘机器人的并行识别采摘系统及方法
CN109588114A (zh) * 2018-12-20 2019-04-09 武汉科技大学 一种应用于水果采摘机器人的并行识别采摘系统及方法
CN109589048A (zh) * 2018-12-21 2019-04-09 湖南酷陆网络科技有限公司 清扫方法、清扫子机器、清扫系统及计算机可读存储介质
CN109589048B (zh) * 2018-12-21 2021-10-22 湖南酷陆网络科技有限公司 清扫方法、清扫子机器、清扫系统及计算机可读存储介质
CN109479520A (zh) * 2018-12-25 2019-03-19 南京工程学院 一种果蔬采摘机器人双边遥操作控制方法
CN109479520B (zh) * 2018-12-25 2022-02-11 南京工程学院 一种果蔬采摘机器人双边遥操作控制方法
CN109976340B (zh) * 2019-03-19 2022-02-08 中国人民解放军国防科技大学 一种基于深度增强学习的人机协同动态避障方法及系统
CN109976340A (zh) * 2019-03-19 2019-07-05 中国人民解放军国防科技大学 一种基于深度增强学习的人机协同动态避障方法及系统
CN109901593A (zh) * 2019-04-08 2019-06-18 广州思谋信息科技有限公司 一种基于三点定位技术智能农机路径规划系统
CN112060072B (zh) * 2019-06-11 2023-06-20 华邦电子股份有限公司 一种协同型机器人控制系统和方法
CN112060072A (zh) * 2019-06-11 2020-12-11 华邦电子股份有限公司 一种协同型机器人控制系统和方法
CN110262499B (zh) * 2019-06-27 2022-04-05 北京埃索特核电子机械有限公司 一种双移动机器人同步控制方法
CN110262499A (zh) * 2019-06-27 2019-09-20 北京埃索特核电子机械有限公司 一种双移动机器人同步控制系统与方法
CN110427536A (zh) * 2019-08-12 2019-11-08 深圳忆海原识科技有限公司 一种类脑决策与运动控制系统
CN110618679A (zh) * 2019-08-22 2019-12-27 北京交通大学 基于无线通信网络的多agv智能协同工作系统
CN110587610A (zh) * 2019-09-23 2019-12-20 芜湖安普机器人产业技术研究院有限公司 基于5g云调度系统的农场用独立悬架移动机器人控制系统
CN110597263B (zh) * 2019-09-25 2021-11-26 福州大学 一种无人餐厅自动送餐路径规划方法
CN110597263A (zh) * 2019-09-25 2019-12-20 福州大学 一种无人餐厅自动送餐路径规划方法
US11931890B2 (en) 2019-10-10 2024-03-19 The State Of Israel, Ministry Of Agriculture & Rural Development, Agricultural Research Organization (Aro) (Volcani Institute) Human-robot guiding system for agricultural objects detection in unstructured and noisy environment by integrated laser and vision
WO2021070158A1 (en) * 2019-10-10 2021-04-15 The State Of Israel, Ministry Of Agriculture & Rural Development Agricultural Research Organization Human-robot guiding system for agricultural objects detection in unstructured and noisy environment by integrated laser and vision
CN110865534A (zh) * 2019-11-15 2020-03-06 合肥工业大学 含有改进的卡尔曼滤波的导航定位的智能跟随系统
CN111201896A (zh) * 2019-12-28 2020-05-29 苏州博田自动化技术有限公司 基于视觉导航的采摘机器人及控制方法
CN111012254A (zh) * 2019-12-30 2020-04-17 北京太坦科技有限公司 智能扫地机器人
CN111240288B (zh) * 2020-01-20 2021-03-16 广东博智林机器人有限公司 计算模型构建及配置计算的方法、装置、设备及存储介质
CN111240288A (zh) * 2020-01-20 2020-06-05 广东博智林机器人有限公司 计算模型构建及配置计算的方法、装置、设备及存储介质
EP4100827A4 (en) * 2020-02-05 2024-03-27 Plus One Robotics Inc INTERVENTION SYSTEMS AND METHODS FOR ROBOT PICKING SYSTEMS
CN111413970A (zh) * 2020-03-18 2020-07-14 天津大学 超宽带与视觉融合的室内机器人定位与自主导航方法
CN111300430A (zh) * 2020-03-27 2020-06-19 梅其珍 双模协作机器人控制系统
CN111738528A (zh) * 2020-07-20 2020-10-02 北京云迹科技有限公司 机器人调度方法及第一机器人
CN112171667A (zh) * 2020-09-21 2021-01-05 济南浪潮高新科技投资发展有限公司 基于嵌入式的采摘机器人智能避障系统及避障方法
CN112385398A (zh) * 2020-10-22 2021-02-23 成都大学 一种用于自动采摘农机的高精度定位方法
CN112734727A (zh) * 2021-01-11 2021-04-30 安徽理工大学 一种基于改进深度神经网络的苹果采摘方法
CN112712128A (zh) * 2021-01-11 2021-04-27 中南民族大学 基于神经网络的智能采摘方法、设备、存储介质及装置
CN112944287A (zh) * 2021-02-08 2021-06-11 西湖大学 一种具有主动光源的空中修补系统
CN112975961A (zh) * 2021-02-20 2021-06-18 华南理工大学 基于ctb-rrt*算法的采摘机械臂运动规划方法
CN112975961B (zh) * 2021-02-20 2022-04-22 华南理工大学 基于ctb-rrt*算法的采摘机械臂运动规划方法
CN113079826A (zh) * 2021-05-08 2021-07-09 大连交通大学 履带式专用农业采摘机器人及其采摘方法
CN113330915A (zh) * 2021-05-26 2021-09-03 华南农业大学 双目视觉识别的自适应棉花收获方法及智能机械收获装置
CN113330915B (zh) * 2021-05-26 2022-08-30 华南农业大学 双目视觉识别的自适应棉花收获方法及智能机械收获装置
CN113268352A (zh) * 2021-06-11 2021-08-17 中科院软件研究所南京软件技术研究院 面向通用服务机器人的多指令响应式任务协同管理方法
CN113268352B (zh) * 2021-06-11 2024-03-08 中科院软件研究所南京软件技术研究院 面向通用服务机器人的多指令响应式任务协同管理方法
CN113940198A (zh) * 2021-10-25 2022-01-18 季华实验室 多机器人水果采摘方法、装置、电子设备及存储介质
CN113728806B (zh) * 2021-11-05 2022-01-18 季华实验室 果实采摘机器人控制方法、装置、电子设备及存储介质
CN113728806A (zh) * 2021-11-05 2021-12-03 季华实验室 果实采摘机器人控制方法、装置、电子设备及存储介质
CN114246064A (zh) * 2021-11-16 2022-03-29 中国农业科学院都市农业研究所 一种油橄榄采摘机器人装置及方法
CN114260894A (zh) * 2021-12-22 2022-04-01 上海科技大学 全自动采棉机器人及控制方法
CN114488877A (zh) * 2021-12-29 2022-05-13 江苏绿港现代农业发展股份有限公司 一种遥控日光温室运输车装置及其遥控控制方法
CN114586548A (zh) * 2022-04-08 2022-06-07 重庆邮电大学 一种虚拟远程水果采摘系统及方法
CN114675659A (zh) * 2022-05-28 2022-06-28 广州市盛望信息科技有限公司 一种农用机器人运动控制方法及系统
CN115202369B (zh) * 2022-09-14 2022-11-18 深圳市信诚创新技术有限公司 吸尘机器人的路径控制方法、装置、设备及存储介质
CN115202369A (zh) * 2022-09-14 2022-10-18 深圳市信诚创新技术有限公司 吸尘机器人的路径控制方法、装置、设备及存储介质
CN115380714A (zh) * 2022-09-20 2022-11-25 浙江工业大学之江学院 一种用于棉花采摘的机器人
CN116214527A (zh) * 2023-05-09 2023-06-06 南京泛美利机器人科技有限公司 一种增强人机协作适应性的三体协同智能决策方法和系统
CN116214527B (zh) * 2023-05-09 2023-08-11 南京泛美利机器人科技有限公司 一种增强人机协作适应性的三体协同智能决策方法和系统

Also Published As

Publication number Publication date
CN102914967B (zh) 2015-01-28

Similar Documents

Publication Publication Date Title
CN102914967B (zh) 采摘机器人的自主导航和人机协同采摘作业系统
CN111602517B (zh) 一种串型水果分布式视觉主动感知方法及其应用
CN103057678B (zh) 海底生物捕捞机器人的自主导航和人机协同捕捞作业系统
Mousazadeh A technical review on navigation systems of agricultural autonomous off-road vehicles
CN106909148A (zh) 基于农田环境感知的农机无人驾驶导航方法
CN106843216A (zh) 一种基于回溯搜索的生物激励机器人完全遍历路径规划方法
Chun-Fu et al. Research on visual navigation algorithm of AGV used in the small agile warehouse
Jun et al. Autonomous driving system design for formula student driverless racecar
Cheein et al. Algebraic path tracking to aid the manual harvesting of olives using an automated service unit
Yang et al. Vision based fruit recognition and positioning technology for harvesting robots
CN116382290A (zh) 一种玉米作物多模态数据采集平台车及其控制方法
Tiozzo Fasiolo et al. Recent trends in mobile robotics for 3D mapping in agriculture
CN115589845A (zh) 一种智能采棉机器人及其采棉作业路径规划方法
Zhan et al. Application of image process and distance computation to WMR obstacle avoidance and parking control
CN215707042U (zh) 一种应用于海洋牧场的资源环境监测系统
Oliveira et al. On the intelligent control design of an agricultural mobile robot for cotton crop monitoring
CN113587946A (zh) 一种田间农业机械视觉导航系统及方法
CN110162057B (zh) 一种智能地空异构多机器人性能评估系统的评估方法
Guan et al. Intelligent obstacle avoidance algorithm for mobile robots in uncertain environment
Hameed et al. Task and motion planning for selective weed conrol using a team of autonomous vehicles
Hutsol et al. Robotic technologies in horticulture: analysis and implementation prospects
TWI806721B (zh) 自主移動式人工智慧菇類栽培監控系統及方法
Bi et al. CURE: A Hierarchical Framework for Multi-Robot Autonomous Exploration Inspired by Centroids of Unknown Regions
Karouta et al. Autonomous platforms
Zhang et al. Large-Model and Generative-Intelligence Agricultural Robot Systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant