CN103057678A - 海底生物捕捞机器人的自主导航和人机协同捕捞作业系统 - Google Patents

Abstract

一种捕捞机器人的自主导航和人机协同捕捞作业系统，包括捕捞机器人，用于对捕捞现场和捕捞机器人的状态进行综合分析处理和判断的、并用于在人机协同捕捞作业中为捕捞管理人员提供远程干预和管理的计算机，用于乘载捕捞管理人员以及收集和运输捕捞对象的母船，用于定位母船空间位置的GPS；捕捞机器人中的Agent与水面母船进行信息交互，并自主完成海底行走、对捕捞对象的识别和空间定位、控制捕捞等动作。本发明提供一种具有机构简单、控制复杂度低、有限智能化、捕捞效率高、环境适应性好、制造和维护成本低、能针对性的实现捕捞的深海捕捞机器人的自主导航和人机协同捕捞作业系统。

Description

海底生物捕捞机器人的自主导航和人机协同捕捞作业系统

技术领域

本发明属于全景视觉技术、海底捕捞机器人的导航技术、人工智能技术和人机协同技术在海底生物资源探索和捕捞方面的应用，尤其适用于人机协同的多捕捞机器人的自主导航和捕捞作业。

背景技术

深海生物捕捞，即对深海生物进行捕捞，把生物从深海捕获出水进行科学研究或者其他商业用途。目前通常采用一种拖网捕获技术，它是一种利用船舶航行的拖拽式捕捞方式。底拖网是一种用于对深海底栖生物等小型生物进行捕获技术。这种底拖网技术对生态系统造成了灾难性伤害，珊瑚、海绵、鱼类和其它动物都将因此受到捕杀。同时众多海洋生物的栖息地—海山等水下生态系统也遭到了严重的破坏。这种捕捞方式对海洋生态系统造成了无法弥补的损失。由于拖网技术很难对生物进行有针对性的捕获，往往造成不分青红皂白的“滥杀无辜”，成功率低且浪费资源。

近年来水下机器人越来越多地运用于人类对深海资源的探索。其中，对深海生物资源的探索也是极为重要的一环。深潜器最直观的优点在于科学家可以远程进行操控并且针对性高，也不会对深海环境造成破坏。但是目前水下机器人十分昂贵，应用于商业用途的海底生物捕捞仍然存在着很多问题。

水下机器人又称无人遥控潜水器，其工作方式是由水面母船上的工作人员通过连接潜水器的脐带提供动力，操纵或控制潜水器，采用水下电视、声呐等专用设备进行观察，并由机械手进行水下作业。在深海生物捕获中，水下机器人使用机械手把捕获的生物放入收集舱中带上水面。其中水下电视系统是最具有发展潜力的一种观察设备。如美国的伍兹霍尔（Woods Hole）海洋研究所开发了一台名为“全球最棒的漂流者”的深潜水下机器人，它配备有高清晰度摄像头，能在深达3000米的水下工作，科学家可远距离操作，将水中抓获的生物存放在机器人的收集舱中。但是，目前使用在水下机器人中的水下电视系统所获取的图像仍然是平面视觉信息，无法获得被捕获对象的深度信息；而且视觉范围十分有限。这种水下机器人的制造成本极其昂贵。

随着计算机技术和信息采集与处理技术的发展，人工智能、机器视觉等新技术在水下机器人的应用研究得到了重视。结合了海底针对性的捕捞技术、机械技术、电子技术、信息技术和人工智能技术的水下捕捞机器人的研制是当前国内外海洋机器人研究领域的研究热点之一。机器视觉用各种成像系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释，能依据视觉敏感和反馈的某种程度的智能完成一定的任务。尤其是近年来，机器视觉技术的快速发展，为捕捞机器人的自主导航和海底生物的识别提供了一种新的解决方案；全景立体视觉技术的出现为捕捞机器人的自主导航和海底生物的识别定位提供了极大的便利。

捕捞机器人中无论采用何种移动机构，都存在移动机器人的自主导航问题。目前移动机器人有多种导航方式，根据环境信息的完整程度、导航指示信号的类型、导航地域等因素的不同，可以分为基于地图导航、基于信标导航、基于GPS和视觉导航以及基于感知器导航等。基于地图的导航方式，事先要将机器人的作业环境输入控制系统内，形成电子地图。在结构化、环境条件已知的情况下，可以采用此种方法。基于信标导航，需要在作业环境的确定位置设立信标。机器人通过安装在身体上的测量装置检测其与信标的相互关系，推算自身的位姿。这种方式下，机器人的定位误差只取决于机器人与各信标的相对位置，在工业自动导引小车中用到这种方法。捕捞机器人的作业环境复杂，需要机器人根据环境的变化自行确定行走的方向。上述这些方法在海底环境中难以实施，因此，视觉导航成为捕捞机器人自主导航的首选方法。

视觉导航技术的基本原理是，利用视觉传感器作为感知元件，获取海底周边环境的图像。经过图像二值化、滤波等图像处理后，利用Hough变换等技术提取边界信息。然后根据模式识别技术，确定障碍物的方位和机器人的行走路线。控制器经过路径规划、优化，控制捕捞机器人的行走机构，指挥捕捞机器人在无人干涉情况下自主移动到预定的位置。视觉导航需要处理大量的图像数据，需要采用专用的图像处理卡。目前，有些研究者利用DSP芯片实现图像数据的采集、数字化转换、分析和处理的全部功能，直接将处理结果传送给主机。另一方面，目前在基于视觉导航的行走机器人技术方面基本上采用一般的彩色摄像机作为视觉感知元件，要获取捕捞机器人周边环境的视频图像往往需要用多个摄像机分别朝着不同的方向进行拍摄，并用多视频图像数据融合的方式进行处理；另一种方案是采用云台技术不断地扫描行走机器人的周边环境；上述这两种方式都会增加硬件和软件成本，造成了在图像分析处理上很大的负担。对于非结构化的捕捞环境采用全方位的智能感知是必不可少的。

发明内容

为了克服已有的海底生物捕捞机器人的机构复杂、控制复杂度高、智能化要求高、制造和维护成本昂贵、难以实现针对性的捕捞、环境适应性差和捕捞效率不高等不足，本发明提供一种具有机构简单、控制复杂度低、有限智能化、捕捞效率高、环境适应性好、制造和维护成本低、能针对性的实现捕捞的深海捕捞机器人的自主导航和人机协同捕捞作业系统。

本发明解决其技术问题所采用的技术方案是：

一种捕捞机器人的自主导航和人机协同捕捞作业系统，包括捕捞机器人，用于实现人-捕捞机器人之间进行信息交互的通信网和用于对捕捞现场和捕捞机器人的状态进行综合分析处理和判断的、并用于在人机协同捕捞作业中为捕捞管理人员提供远程干预和管理的、安置在水面母船控制室中的计算机；

所述捕捞机器人，包括外部形状类似于海龟的捕捞机器人的本体，基于人工肌肉的具有海底行走和捕捞海底生物两种功能的机器手，用于感知水深的压力传感器，用于检测捕捞机器人行走方向的数字罗盘，用于获取捕捞机器人周边360°的全景立体视觉视频图像的双目立体全景视觉传感器和用于控制机器手协调海底行走、对捕捞对象的识别和空间定位、自主导航、控制捕捞动作以及与水面母船进行信息交互的智能体，以下简称Agent，与水面母船进行通信和能源设备提供设备连接的脐带；

所述的捕捞机器人本体，外形非常类似于海龟，底部平坦，背部隆起，俯视呈现椭圆形，如附图1所示；所述的捕捞机器人本体内部分隔成为三个空间，一个空间为收集舱，位于本体的底部，用于存放捕捞对象；一个空间为控制设备仪器仪表舱，位于本体的背部，控制设备仪器仪表舱中安装着所述的智能体、其他控制仪器仪表以及备用电源，所述的脐带接入到控制设备仪器仪表舱内与所述的智能体通信接口和备用电源进行连接；所述的双目立体全景视觉传感器，自带有为捕捞机器人提供照明的环形LED光源，固定在所述的捕捞机器人本体的背部上，用于获取仿生海底生物捕捞机器人周边的全景立体视觉视频图像，接入到控制设备仪器仪表舱内与所述的智能体的USB接口进行连接；所述的压力传感器，固定在所述的捕捞机器人本体的背部上，接入到控制设备仪器仪表舱内与所述的智能体的A/D接口进行连接，用于检测所述的捕捞机器人本体所受到的海水压力，从而从压力值推算出所述的捕捞机器人本体所处的深度；所述的数字罗盘，安置在控制设备仪器仪表舱内，与所述的智能体的I/O接口进行连接，用于检测所述的捕捞机器人的行走方向，根据所述的捕捞机器人行走控制与行走方向得到所述的捕捞机器人在海底行走的轨迹；一个空间为浮力舱，位于收集舱和控制设备仪器仪表舱之间，主要用于控制所述的捕捞机器人行走时的稳定性以及升降；

所述的浮力舱上开有两个口，一个口用电磁阀控制其开和闭，当开的状态时浮力舱与外界相通，当闭的状态时浮力舱与外界隔绝；另一个口与水泵输入口连接，水泵工作时将浮力舱的海水抽出，在浮力舱中形成一定的真空，使得捕捞机器人上浮；因此当要控制捕捞机器人的下降时，控制电磁阀开让海水进入所述的浮力舱；当要控制捕捞机器人的上升时，控制电磁阀关闭然后使水泵工作让所述的浮力舱中的海水抽出，使得捕捞机器人具有向上的浮力；

所述的数字罗盘，采用电子磁罗盘作辅助传感器，精度在1°左右，其误差不随时间累积，与惯性导航信息进行融合，可以提高捕捞机器人的航向精度；本发明中采用美国Honwell公司生产的HMR3500电子磁罗盘，内部装有全球地磁修正模型，能根据时间和地理经纬度对地磁模型进行补偿修正，得到地理北方位，该传感器还具备使用环境的磁场补偿功能；

所述的捕捞机器人包括：捕捞机器手、用于获取捕捞区域全景立体视频图像的全景立体视觉传感器和用于实现捕捞机器人的自主导航、避障、定位和路径规划功能的智能体，以下简称Agent，所述的Agent根据所述的全景立体视觉传感器感知的信息进行分析、计算和推理，在常规情况下，根据在母船上的所述的捕捞管理人员下达的捕捞区域和捕捞时间的捕捞作业调度决策，自动做出路径规划，驱动所述的捕捞机器手完成边行走边捕捞的任务操作；在非常规情况下通过所述的脐带向捕捞管理人员提供非规则事件等信息，请求捕捞管理人员的干预；

所述的Agent包括任务规划行为模块、协调行为模块、与捕捞管理人的交互行为模块、紧急行为模块、避障行为模块、升降行为模块、路径跟踪行为模块、行走行为模块、转向行为模块、捕捞对象的识别模块、捕捞对象的空间定位行为模块和捕捞行为模块；

所述的通信网，用于在母船上的捕捞管理人员与在深海作业的各捕捞机器人之间的信息交互；所述的通信网通过所述的脐带将分布在捕捞区域中的捕捞机器人与所述的捕捞管理人员构成一个人-捕捞机器人一体化的捕捞管理和控制系统，根据需求、环境和捕捞对象的变化，通过动态自组织的方式协同地感知和采集网络分布区域的多捕捞机器人和各种捕捞对象的信息，形成一种人与捕捞机器人相互激发、优势互补、共同寻求问题求解的协同机制。

所述的避障行为模块，通过全景立体视觉的方式检测出行进方向上的障碍物，障碍物全景立体视觉检测过程为：1）去除全景立体图像中非立体视觉视场方位的部分，对全景图像进行展开和极线校正，这部分主要通过展开图像内径、外径、以及柱状展开图上极线校正来完成；2）对展开图像采用边缘检测技术初步检测出疑似障碍物的边缘信息，通过阈值调整，检测出障碍物的边缘信息；3）对捕捞机器人所获取的全景立体图像对中的所有疑似障碍物点利用极线约束进行立体匹配，根据匹配的像素对的图像坐标值进行立体视觉空间点的重建，根据全景立体视觉传感器成像时，图像坐标、全景立体视觉传感器的坐标以及现实世界坐标系之间的关系，计算得出其相应的高度值，当高度大于给定阈值时则判定为障碍物点；障碍物点的高度以及障碍物点与捕捞机器人的距离的计算方法由公式（1）~公式（2）表示；

d=(bcosγ₁cosγ₂)/sin(γ₁-γ₂)                            （1）

h=H-b-d×arctanγ₂=H-d×arctanγ₁                         （2）

式中，d表示障碍物点A与捕捞机器人的全景立体视觉轴线在海底面上投影点的距离，b表示构成全景立体视觉的两个全景视觉传感器的视点间的距离，γ₁表示障碍物点A在上全景视觉传感器上成像的入射角，γ₂表示障碍物点A在下全景视觉传感器上成像的入射角，h表示障碍物点A的高度，H表示上全景视觉传感器的视点到海底面的距离；

在检测出障碍物后就需要让捕捞机器人采取避障行为，所述避障行为的流程为：步骤1）如果没有检测到障碍物，则沿着所设定的方向继续前进；步骤2）如果检测到前进方向存在障碍物，获得障碍物的距离信息，判断障碍物与捕捞机器人的距离是否小于2米，如果是则进入避障区；步骤3）进入障碍区后减速前进，启动避障策略，绕开障碍物；步骤4）关闭避障策略，继续从步骤1）开始执行，直至遍历整个捕捞区域；避障策略采用模糊控制算法来实现。

所述的协调行为模块包括外部协调单元和内部协调单元，内部协调单元对直行捕捞行为模块、转向行为模块、行走行为模块和避障行为模块进行选择，决定哪个行为模块被激活，并对同时激活的行为模块进行协调；1）体现紧急事件最优先的原则，一旦所述的紧急行为模块发出紧急请求时所述的协调行为模块首先让所述的直行捕捞行为模块、所述的转向行为模块和所述的避障行为模块设置为休眠锁定状态，接着通过与所述的捕捞管理人的交互行为模块向捕捞管理人员请求干预，当捕捞管理人员处理完紧急事件后才能解除所述的直行捕捞行为模块、所述的转向行为模块和所述的避障行为模块设置为休眠锁定状态；2）体现按捕捞作业顺序工作的原则，协调好所述的捕捞机器人边行走、边捕捞的动作，当检测到所述的机器手的捕捞范围内有捕捞对象时停止行走，当周边的捕捞对象都捕捞结束时再启动行走；在行走、捕捞和转向行为的同时其他行为模块均处于激活状态，并以多线程的方式分别运行在所述的Agent中。

所述的与捕捞管理人的交互行为模块，包括以下交互行为：1）请求干预的交互行为，当捕捞机器人发生紧急事件、捕捞机器人中捕捞舱已满等情况时，请求捕捞管理人员干预；2）接受捕捞调度指令的交互行为，当捕捞管理人员下达捕捞任务后，将捕捞任务转达给所述的任务规划行为模块，在所述的任务规划行为模块做出遍历路径规划后，将遍历路径规划反馈给捕捞管理人员；3）协商的交互行为，根据所述的Agent根据自身感知的情况，通过对自身知识的推理，能向捕捞管理人员提供适当的帮助和建议；4）提供捕捞现场信息的交互行为，负责响应来自捕捞管理人员的上传信息指令，将所述的Agent所感知到的全景视频信息和分析得到的状态信息上传给捕捞管理人员。

所述的任务规划行为模块，所述的Agent根据所述的捕捞管理人员发出的捕捞调度指令，在规定的捕捞区域内做出遍历路径规划，控制捕捞机器人沿规划出的路径以直线方式行走，至规定边界后掉头，然后沿反方向直线运行如此反复迁回，直到整个捕捞区域被覆盖。

所述的紧急行为模块，所述的紧急行为是所述的捕捞机器人优先级最高的行为，在所述的捕捞机器人避障行为失败后或者是发生颠倒不能行走等事故就切换到所述的紧急行为；当所述的紧急行为发生时，所述的Agent立刻向捕捞管理人员发出请求干预信息，等待捕捞管理人员进行远程干预处理；当规定时间内没有接到所述的管理人员干预情况下，自动启动所述的升降行为模块工作，使得捕捞机器人浮出海面；

所述的路径跟踪行为模块，捕捞机器人以迂回行走的方式进行全区域覆盖捕捞，识别并跟踪捕捞轨迹，采用所述的数字罗盘跟踪所述捕捞机器人的行走方位，根据所述捕捞机器人的行走速率跟踪行走轨迹，根据母船上的GPS空间位置信息计算在海底的各捕捞机器人的空间位置信息，记录每时间点各捕捞机器人的空间位置来实现各捕捞机器人的捕捞轨迹的跟踪；

所述捕捞管理人员乘坐在母船控制室中，通过母船中控制室内的计算机对分布在捕捞区域内的各所述的捕捞机器人进行网络巡视；对所述的捕捞机器人发生的各种非常规情况，即紧急行为进行及时的处置，对所述的捕捞机器人发出的捕捞海底生物装卸请求做出响应，对所述的捕捞机器人的进行上浮控制，待所述的捕捞机器人上浮到海面上时，作业人员将所述的捕捞机器人本体的底部从本体上卸下，用空的收集舱更换盛满了捕捞对象的收集舱，重新将所述的捕捞机器人本体的底部连接到本体上，然后将所述的捕捞机器人放入海中继续进行捕捞；所述的母船的控制室内配置了所述的计算机，所述的计算机中安装了捕捞管理和控制系统软件，所述的捕捞管理人员通过所述的计算机对分布在各区域内的所述的捕捞机器人进行捕捞管理和控制；所述的计算机通过所述的通信网与分布在各区域内的所述的捕捞机器人中的所述的Agent进行信息交互；

本发明的技术构思为：捕捞机器人的导航技术是智能型捕捞机器人自主完成任务的核心技术。由于捕捞机器人的工作特点是捕捞作业、移动同时进行，容易受到海底环境以及捕捞过程的影响，捕捞机器人需要根据已知信息做出路径规划，并在行进过程中，不断感知周围的局部环境信息，自主地做出决策。这其中包括三个主要内容：避障、定位和路径规划。

因此，捕捞机器人需要具有高度自规划、自组织、自适应能力，能适合于在复杂的非结构化环境中工作。理想的捕捞机器人的目标是在没有人的干预、无需对环境做任何规定和改变的条件下，有目的地移动和完成相应的捕捞任务。但是以目前的自动导航技术水平，要全自动化地完成海底生物捕捞机器人导航这样复杂的任务仍然存在着很大的困难；在复杂的非结构化海底环境中捕捞机器人发生任何突发事件都是有可能的；理论和实践都表明：一味追求高度的智能捕捞机器人技术，越来越表现出很强的局限性，需要运用人机一体化的思想，从系统论的角度加以研究；在某些情况下人的核心作用是不可替代的，人的适当参与能有效增强捕捞机器人处理突发事件和不精确事件的能力，无线通信技术的发展为捕捞机器人与人的协作工作提供了便利；人通过无线通信技术适当地对捕捞机器人进行干预，能有效地加强捕捞机器人的实用性，降低捕捞机器人的智能控制水平要求；另外，一个人可以通过通信网技术同时管理和控制多个捕捞机器人的捕捞作业。

在人机协同捕捞作业方面，捕捞机器人擅长什么、人擅长什么，怎么实现优势互补，如何实现优势互补，如何协同工作等这些都需要分析与解决。人-捕捞机器人一体化的技术路线是采取以人为主，人与捕捞机器人共同组成一个系统，各自执行自己最擅长的工作，在平等合作的基础上，共同认知，共同决策；在实际运行中，相互理解、相互作用、取长补短和协同工作。

要实现人-捕捞机器人一体化的技术路线，需要充分发挥人与捕捞机器人各自的特点，以协同最优为目标。借助一个既能理解人的思维和行为，又能理解捕捞机器人行为的中间体，在人与捕捞机器人之间建立一种柔性的耦合关系。人具有特有的认知和行为特点，决定了这个中间体只能是由人根据自身特点、经验知识创造的，并具有人类某些重要意识属性和行为特点的“代理人”。这个中间体驻留在与机器紧密相连的人机接口系统中。中间体需要具有适用于不同人的认知和行为特点的能力，这是建立在对人的认知和行为特点充分理解的基础之上的。因此中间体本质上是一个知识系统。让中间体作为人和捕捞机器人之间信息、知识沟通的桥梁，既不需要构建具有超智能化的捕捞机器人，又避免了人与捕捞机器人之间生硬的、刻板的直接接触，增加了系统的柔顺性和灵巧性。

人工智能的最新发展，找到了可以充当人与机器中间体的对象，这就是目前在人工智能领域中研究很热的Agent技术。Agent指的是一些具有信念、意图、承诺等认知特性，在一定环境下能持续自主发挥作用，逻辑上相对独立的智能计算实体。

一般来说，Agent具有下述特点：

1）驻留性：Agent作为一个逻辑上相对独立的计算实体，是存在于一定的环境之中的，本发明中的Agent驻留在捕捞机器人中，Agent的信念、意图、目标以及行为来源于捕捞环境感知和人的控制指令，并能通过捕捞机器人的动作和行为作用于环境。

2）自主性：作为一个智能的问题求解器，Agent具有独立控制自己行为和内部状态的能力，在没有人的直接干预下，能适应外界动态多变的捕捞环境，独立自主地解决其意识倾向的目标问题，即自主导航和捕捞。

3）应答性：是指Agent能够感知所处的捕捞环境和来自于人的控制指令，并能实时地对环境作出应答，如自主避障等，并能接受人的捕捞调度控制指令。

4）主动性：Agent的行为不仅仅表现为简单地对其海底周围环境作出响应，而且能够适时、适势的采取主动行动，以实现其承诺的目标，如捕捞路径规划和捕捞区域内自动寻找捕捞对象。

5）社会性：只有把Agent置于Multi-agent系统之中，Agent才能最大程度地发挥其作用，这就需要Agent具有与其它Agent、人、组织进行会话、协商、合作和竞争的能力，以适应复杂多变的动态环境，如大面积棉田的捕捞任务的调度。

通信网技术将分布在捕捞区域中的捕捞机器人与捕捞监控中心构成一个人-捕捞机器人一体化的捕捞管理和控制系统，根据需求、环境和捕捞对象的变化，可以通过动态自组织的方式协同地感知和采集网络分布区域的多捕捞机器人和各种捕捞对象的信息，形成一种人与捕捞机器人相互激发、优势互补、共同寻求问题求解的协同机制。人与捕捞机器人协同的目的是“如何让人和捕捞机器人更好地协作解决问题”。这里Agent的主要任务是“如何协助人解决问题”。

人在人-捕捞机器人一体化的捕捞管理和控制系统中处于主要支配地位，捕捞管理人员主要利用自身知识在不同层次上进行信息的抽取、提炼和融合，对捕捞管理和控制系统的目标、状态和行为进行感知和决策，根据自己的需要和捕捞机器人的捕捞、分级、包装以及运输等需要定制Agent的功能；捕捞管理人员向Agent传授知识，从而逐步培养具有一定主动性和智能性的Agent；捕捞管理人员有了新的感知捕捞机器人状态的途径。不仅可以通过直接观察来感知捕捞机器人的当前状态，还能通过Agent的增强型的反馈来间接感知；Agent成为捕捞管理人员执行决策的一种辅助，通过对自身知识的推理，能够向捕捞管理人员提供适当的帮助和建议。

在人-捕捞机器人一体化的捕捞管理和控制系统中，捕捞机器人摆脱了只能直接与捕捞管理人员交互的局面，交互的任务更为明确、直接和柔性化；Agent可以将捕捞管理人员的不精确的、模糊的执行命令转化为具体命令，使捕捞机器人接受起来更加容易；捕捞机器人的信息感知和处理技术，只需要强调有限智能化，信息的增强、提炼和转化由Agent和人来协同完成。

人-捕捞机器人一体化的捕捞管理和控制系统在三个层面上实现协同，即感知层面、智能层面(主事判断、推理、决策和创造)和执行层面。

感知层面上采用捕捞机器人上传感器感知。捕捞机器人的全景视觉传感器对捕捞环境和捕捞对象进行精确感知，进而将所感知的部分信息、通过通信网传递给捕捞管理人员，由捕捞管理人员分析，进而给出决策；同时也为捕捞机器人的执行层面提供有限智能控制和管理。

智能层面采用捕捞管理人员与捕捞机器人共同决策。捕捞管理人员主要从事形象思维、灵感思维等创造性思维，捕捞管理人员的中枢神经系统通过对人、捕捞机器人、捕捞环境所感知信息的综合处理、判断、决策，通过通信网向捕捞机器人的控制系统发出控制指令。同时捕捞机器人的控制系统根据自身感知的综合信息进行复杂的快速计算和严密的逻辑推理，在常规情况下自动做出必要选择，驱动自动导航模块和捕捞模块完成相应的任务操作；在非常规情况下通过通信网向捕捞管理人员提供非规则事件等信息，请求捕捞管理人员的干预。

在智能层面上，捕捞管理人员需要做出捕捞机器人、捕捞区域和捕捞时间的捕捞作业调度决策；如大面积海底生物的捕捞，捕捞调度的复杂性、随机性和动态性使得单纯依靠捕捞机器人本身的智能很难获得优化的调度解，采用人机协同的方式将人和捕捞机器人的优势结合起来解决捕捞作业调度难题是一种可行的技术路线。捕捞管理人员根据感知层面上所获得的捕捞环境等信息以及捕捞目标任务制定捕捞机器人-时间甘特图和捕捞区域-时间甘特图，最后将捕捞任务分派给分布在各捕捞区域的捕捞机器人。

在智能层面上，捕捞管理人员需要对捕捞机器人处于非常规情况下的事件进行综合分析、处理和判断，比如捕捞机器人发生意外颠倒、无法行走、较长时间寻找不到捕捞对象等等，捕捞人员根据事件的类型进行干预。

在智能层面上，捕捞机器人需要做到：根据规定的捕捞区域和捕捞对象生长情况实现自动导航，根据在捕捞环境中行走过程中所遇到的障碍物实现自动避障，在捕捞环境中行走过程中自动识别捕捞对象，根据捕捞对象的大小、形状和颜色对捕捞对象进行识别分类，根据所识别捕捞对象分析出其空间位置并控制捕捞机器手对准捕捞对象进行捕捞，根据捕捞机器人的收集捕捞对象收集舱中的捕捞量的多少确定捕捞机器人需要回到海面上，根据捕捞机器人的供电电源或者供能情况确定是否需要进行能源补充等。

执行层面上由捕捞机器人执行自动导航和捕捞任务。

捕捞机器人在海底捕捞作业时，捕捞区域主要分为已捕捞区、未捕捞区等二个区域。在制定捕捞机器人-时间甘特图和捕捞区域-时间甘特图后，捕捞管理人员就分派给各捕捞机器人完成未捕捞区内捕捞任务，各捕捞机器人需要制定相应的遍历路径规划，遍历路径规划是一种特殊的路径规划方法，它涉及到一条可行路径的规划，以便使捕捞机器人运行轨迹充满一整块区域，也就是指捕捞机器人完全覆盖所有无障碍区域的运动。

捕捞机器人运动控制包括底层控制和上层控制两大部分，底层运动控制涉及的内容主要包括伺服控制、轨迹跟踪、路径跟踪、反馈镇定、捕捞机器手的控制等，上层运动控制包括视觉分析、定位、障碍物检测与避障、路径规划、导航、视觉跟踪、遥控操作以及人机协同等。

捕捞机器人视觉导航时，捕捞机器人前进方向局部范围内近似呈直线，因此，可以采用直线路径模型来规划捕捞机器人的导航路径，将捕捞机器人当前位姿数据作为输入，捕捞机器人姿态调整量作为输出。

实现行走系列的捕捞机器人的关键是：1）以数字罗盘所指出的方向为基准线的基于全景视觉的自动导航技术，实现其自主行走；2）在捕捞机器人的信息感知和处理方面采用有限智能化方法来加强捕捞机器人的实用性，降低捕捞机器人的智能控制水平要求；3）设计一种具有一定主动性和智能性的Agent，作为人和捕捞机器人之间信息、知识沟通的桥梁，既不需要构建具有超智能化的捕捞机器人，又可避免人与捕捞机器人之间生硬的、刻板的直接接触，增加系统的柔顺性和灵巧性。

本发明的有益效果主要表现在：1）采用了以数字罗盘所指出的方向为基准线的基于全景视觉的自动导航技术，实现了捕捞机器人的自主行走；2）在捕捞机器人的信息感知和处理方面采用有限智能化方法来加强捕捞机器人的实用性，降低捕捞机器人的智能控制水平要求；3）设计一种具有一定主动性和智能性的Agent，作为人和捕捞机器人之间信息、知识沟通的桥梁，既不需要构建具有超智能化的捕捞机器人，又可避免人与捕捞机器人之间生硬的、刻板的直接接触，增加系统的柔顺性和灵巧性；4）采用有线通信技术构成人捕捞机器人之间通信的通信网，便于实现人-机协同捕捞作业；5）在人-机协同捕捞作业过程中，人的适当参与有效地增强捕捞机器人处理突发事件和不精确事件的能力；另一方面，常规情况下的事件和重复性的捕捞作业均由捕捞机器人自主处理和完成，极大的解放了人的劳动强度，拓广了捕捞管理人员的管理范围，提高了捕捞效率；6）运用人机协同的观点，发挥人在海底生物捕捞控制与管理中的核心作用，强调人与捕捞机器人在两者共同组成的系统中协同工作，实现有效的信息集成与系统优化，充分发掘和利用计算机及无线网络通讯技术最新成果的技术优势，通过人与捕捞机器人的有机结合，获得最佳协调效益和综合效益。

附图说明

图1为驻留在捕捞机器人中的Agent的功能框图；

图2为一种仿生海底生物捕捞机器人的行走示意图，其中，1为本体，2为四肢，3为收集舱，4为浮力舱，5为Agent，6为双目立体全景视觉传感器；

图3为一种仿生海底生物捕捞机器人的捕捞示意图，，其中，1为本体，8为捕捞管道，3为收集舱，4为浮力舱，5为Agent，6为双目立体全景视觉传感器，7为海参等海底生物；

图4为在捕捞现场实现人-机协同捕捞作业的示意图，其中，9为捕捞机器人，10为脐带，11为母船；

图5为全景立体视觉检测障碍物的说明图；

图6为全景立体视觉传感器的结构图；

图7为全景立体成像原理以及全景立体视觉范围的说明图，其中，(a)为所述的全景立体视觉传感器的外观图，(b)表示了全景立体成像的空间物点检测模型，(c)表示了全景立体成像的成像范围；

图8为基于人工肌肉的捕捞机器手。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图8，一种捕捞机器人的自主导航和人机协同捕捞作业系统，包括捕捞机器人，用于对捕捞现场和捕捞机器人的状态进行综合分析处理和判断的、并用于在人机协同捕捞作业中为捕捞管理人员提供远程干预和管理的计算机，用于对捕捞机器人处于非常规情况下的事件进行人工干预的以及对捕捞机器人进行捕捞调度规划的捕捞管理人员，用于乘载捕捞管理人员以及收集和运输捕捞对象的母船，用于定位母船空间位置的GPS；

所述的捕捞机器人，包括外部形状类似于海龟的捕捞机器人的本体，基于人工肌肉的具有海底行走和捕捞海底生物两种功能的机器手，用于感知水深的压力传感器，用于检测捕捞机器人行走方向的数字罗盘，用于获取捕捞机器人周边360°的全景立体视觉视频图像的双目立体全景视觉传感器和用于控制机器手协调海底行走、对捕捞对象的识别和空间定位、自主导航、控制捕捞动作以及与水面母船进行信息交互的智能体，以下简称Agent，与水面母船进行通信和能源设备提供设备连接的脐带；

所述的捕捞机器人本体，外形非常类似于海龟，底部平坦，背部隆起，俯视呈现椭圆形，如附图1所示；所述的捕捞机器人本体内部分隔成为三个空间，一个空间为收集舱，位于本体的底部，用于存放捕捞对象；一个空间为控制设备仪器仪表舱，位于本体的背部，控制设备仪器仪表舱中安装着所述的智能体、其他控制仪器仪表以及备用电源，所述的脐带接入到控制设备仪器仪表舱内与所述的智能体通信接口和备用电源进行连接；所述的双目立体全景视觉传感器，自带有为捕捞机器人提供照明的环形LED光源，固定在所述的捕捞机器人本体的背部上，用于获取仿生海底生物捕捞机器人周边的全景立体视觉视频图像，接入到控制设备仪器仪表舱内与所述的智能体的USB接口进行连接；所述的压力传感器，固定在所述的捕捞机器人本体的背部上，接入到控制设备仪器仪表舱内与所述的智能体的A/D接口进行连接，用于检测所述的捕捞机器人本体所受到的海水压力，从而从压力值推算出所述的捕捞机器人本体所处的深度；所述的数字罗盘，安置在控制设备仪器仪表舱内，与所述的智能体的I/O接口进行连接，用于检测所述的捕捞机器人的行走方向，根据所述的捕捞机器人行走控制与行走方向得到所述的捕捞机器人在海底行走的轨迹；一个空间为浮力舱，位于收集舱和控制设备仪器仪表舱之间，主要用于控制所述的捕捞机器人行走时的稳定性以及升降；

所述的浮力舱上开有两个口，一个口用电磁阀控制其开和闭，当开的状态时浮力舱与外界相通，当闭的状态时浮力舱与外界隔绝；另一个口与水泵输入口连接，水泵工作时将浮力舱的海水抽出，在浮力舱中形成一定的真空，使得捕捞机器人上浮；因此当要控制捕捞机器人的下降时，控制电磁阀开让海水进入所述的浮力舱；当要控制捕捞机器人的上升时，控制电磁阀关闭然后使水泵工作让所述的浮力舱中的海水抽出，使得捕捞机器人具有向上的浮力；

所述的Agent根据所述的全景立体视觉传感器感知的信息进行分析、计算和推理，在常规情况下，根据所述的捕捞管理人员下达的捕捞区域和捕捞时间的捕捞作业调度决策，自动做出路径规划，驱动所述的捕捞机器手完成边行走边捕捞的任务操作；在非常规情况下通过通信网向捕捞管理人员提供非规则事件等信息，请求捕捞管理人员的干预；

所述的捕捞机器手，采用一种基于气动人工肌肉的捕捞管道，其外形呈管三自由度肌肉状，如附图8所示，管内分隔成三个互成120°的扇形柱状空腔，分别控制三个空腔的压力来实现沿中心轴Z方向的伸缩及任意一个方向的弯曲，从而实现三个自由度的控制；通过控制三个空腔的压力使得捕捞管道的捕捞口对准捕捞对象；所述的捕捞机器手有两个功能，一个功能是实现捕捞机器人在海底的行走，另一个功能是实现捕捞对象吸入捕捞；当捕捞口对准捕捞对象时控制脉冲式真空发生模块动作产生脉冲式真空气流将捕捞对象吸入到捕捞管道中；

所述的全景立体视觉传感器，如附图7所示，包括两台具有相同参数的无死角的固定单视点的全方位视觉装置，以下简称ODVS，两台ODVS按照全方位的极线平面要求以背靠背的方式结合在一起，如附图6所示；在ODVS的折反射镜面设计上通过增大视觉垂直范围来扩大两个合成的ODVS视觉重叠区域来获得较大的双目立体视觉范围，并使双目立体ODVS具有同时知觉、融合力和立体感；附图7(a)为所述的全景立体视觉传感器的外观图，附图7(b)表示了全景立体成像的空间物点检测模型，附图7(c)表示了全景立体成像的成像范围，主要用于获取仿生海底生物捕捞机器人周边的全景立体视觉视频图像，通过USB接口与所述的Agent的硬件连接；

所述的通信网，用于捕捞管理人员与捕捞机器人之间的信息交互，附图4为乘坐在母船控制室内的捕捞管理人员与捕捞机器人之间构成的通信网拓扑图，GPS定位技术为母船提供了空间位置信息，安装在捕捞机器人内的数字罗盘为捕捞机器人的行走方向提供方位信息；通过所述的通信网将分布在捕捞区域中的捕捞机器人与捕捞管理人员构成一个人-捕捞机器人一体化的捕捞管理和控制系统，根据需求、环境和捕捞对象的变化，协同地感知和采集网络分布区域的多捕捞机器人和各种捕捞对象的信息，形成一种人与捕捞机器人相互激发、优势互补、共同寻求问题求解的协同机制；

所述的脐带主要由单模光纤线和电芯线构成，采用单模光纤线主要是为了满足传输3000米左右的信息需要；电芯线和单模光缆线均为单内涂层；这些线的外面模压或填充柔软而耐用的模压树脂或纤维，所述的脐带的外表面履盖耐磨材料层；把镀锡铜线用作电芯线；把聚乙烯或聚丙烯用作电芯线的内涂层的材料；把凯夫拉纤维或碳树脂用作模压树脂，把聚乙烯或聚丙烯用作耐磨外涂层的材料；把特氛隆用作单模光纤线的内涂层的材料；单模光纤线为水面母船与智能体之间提供信息交互的通道，电芯线为所述的捕捞机器人提供电源；

所述的捕捞管理人员驾驶乘坐在所述的母船的控制室中，通过通信网对分布在捕捞区域内的各所述的捕捞机器人进行巡视；对所述的捕捞机器人发生的各种非常规情况，即紧急行为进行及时的处置，对所述的捕捞机器人发出的捕捞海底生物装卸请求做出响应，控制请求的捕捞机器人上升到海面，然后将所述的捕捞机器人的本体底部从本体上卸下，用空的收集舱更换盛满了捕捞对象的收集舱，重新将所述的捕捞机器人本体的底部连接到本体上，接着将所述的捕捞机器人放入海中继续进行捕捞；所述的母船的控制室内配置了所述的计算机，所述的计算机中安装了捕捞管理和控制系统软件，所述的捕捞管理人员通过所述的计算机对分布在各区域内的所述的捕捞机器人进行捕捞管理和控制；所述的计算机通过所述的通信网与分布在各区域内的所述的捕捞机器人中的所述的Agent进行信息交互；

所述的捕捞管理人员根据感知层面上所获得的捕捞环境等信息以及捕捞目标任务制定捕捞机器人-时间甘特图和捕捞区域-时间甘特图，然后将捕捞任务分派给分布在各捕捞区域的所述的捕捞机器人中驻留的所述的Agent；

所述的Agent，驻留在所述的捕捞机器人中，其硬件主要包括：A/D转换器、D/A转换器、并行I/O接口、USB接口、存储单元、CPU、无线通信模块；其软件主要包括：任务规划行为模块、协调行为模块、与捕捞管理人的交互行为模块、紧急行为模块、升降行为模块、避障行为模块、定位行为模块、路径跟踪行为模块、行走行为模块、转向行为模块、捕捞对象的识别行为模块、捕捞对象的空间定位行为模块和捕捞行为模块，如附图1所示；所述的Agent驻留在所述的捕捞机器人中，如附图2、附图3所示；

所述的任务规划行为模块，所述的Agent根据所述的捕捞管理人员发出的捕捞调度指令，在规定的捕捞区域内做出遍历路径规划，控制捕捞机器人沿规划出的路径以直线方式行走，至边界后掉头，然后沿反方向直线运行如此反复迁回，直到整个捕捞区域被覆盖；

所述的紧急行为模块，主要是基于安全因素的考虑，所述的紧急行为是所述的捕捞机器人优先级最高的行为，一般在所述的捕捞机器人避障行为失败后或者是发生颠倒不能行走等事故就切换到所述的紧急行为；当所述的紧急行为发生时，所述的Agent立刻向所述的捕捞管理人员发出请求干预信息，等待所述的捕捞管理人员干预处理；当规定时间内没有接到所述的管理人员干预情况下，自动启动所述的升降行为模块工作，使得捕捞机器人浮出海面；

所述的升降行为模块，用于控制捕捞机器人的上升或下降，当捕捞机器人上升到海面时上升动作自动停止，当捕捞机器人下降至海底时下降动作自动停止；所述的升降行为模块一方面由母船上的捕捞人员通过计算机控制，另一方面由捕捞机器人的Agent控制；母船上的捕捞人员的控制具有优先权；

所述的避障行为模块，当捕捞机器人遇到捕捞环境中的障碍时执行避障行为，它的目的是当捕捞机器人在行走的路径中遇到障碍物的时候，使捕捞机器人顺利地避开障碍，并对障碍周围区域进行充分覆盖捕捞；

控制机器手的三个自由度动作装置的包括：用于通入所述的机器手中捕捞管道内空腔的压力发生器，用于对通入各捕捞管道内空腔的压力进行控制的压力比例控制阀，用于对通入各捕捞管道内空腔的压力进行检测的压力传感器，用于对各压力比例控制阀进行协调控制的压力比例控制器，用于吸入捕捞对象的脉冲式负压发生模块，用于控制执行捕捞动作的捕捞控制模块，用于控制行走动作的行走控制模块；

所述的行走控制模块，从属于Agent，用以控制所述的基于人工肌肉的机器手完成三个自由度的协调动作，使得所述的捕捞机器人实现向前、向后、向左和向右的移动；

所述的捕捞控制模块，从属于Agent，用以控制所述的基于人工肌肉的捕捞机器手的三个自由度的动作，使得捕捞机器手的捕捞口对准捕捞对象；当捕捞口对准捕捞对象时控制所述的脉冲式负压发生模块动作产生脉冲式负压将捕捞对象吸入到捕捞管道中；

所述的Agent还包括全景立体图像获取单元、自主导航模块和智能视频分析模块、与母船信息交互模块，任务规划行为模块；

所述的全景立体图像获取单元，用于获取初始化信息和全景立体视频图像；

所述的自主导航模块，用于从所述的双目立体全景视觉传感器获取的全景立体视觉视频图像，解析仿生海底生物捕捞机器人周围的地域环境，完成路径规划和避障任务；

所述的智能视频分析模块，用于从所述的双目立体全景视觉传感器获取的全景立体视觉视频图像，从全景立体视觉视频图像中解析出捕捞对象、捕捞对象大小以及所处的空间位置，为针对性的捕捞提供捕捞口的空间位置信息；

所述的与母船信息交互模块，用于将所述的捕捞机器人周围的全景立体视频图像传输给母船、接受从母船发出的控制指令；包括以下交互行为：1）请求干预的交互行为，当捕捞机器人发生紧急事件、捕捞机器人的收集舱已满等情况时，请求捕捞管理人员干预；2）接受捕捞调度指令的交互行为，当捕捞管理人员下达捕捞任务后，将捕捞任务转达给所述的任务规划行为模块，在所述的任务规划行为模块做出遍历路径规划后，将遍历路径规划反馈给母船上的管理人员；3）协商的交互行为，根据所述的Agent根据自身感知的情况，通过对自身知识的推理，能向母船上的管理人员提供适当的帮助和建议；4）提供捕捞现场信息的交互行为，负责响应来自捕捞管理人员的上传信息指令，将所述的Agent所感知到的全景视频信息、捕捞机器人的行走方向和深度信息和分析得到的状态信息上传给捕捞管理人员；

所述的转向行为模块，当所述的捕捞机器人的所述的避障行为模块检测到捕捞边界或障碍边界即切换到转向行为，该行为与捕捞机器人的路径跟踪行为配合完成的全区域覆盖捕捞任务；

所述的捕捞对象的识别行为模块，根据所述的全景立体视觉传感器获得的全景视频信息，采用数字图像处理技术对捕捞对象的特征进行识别；

所述的捕捞对象的空间定位行为模块，根据所述的捕捞对象的识别行为模块所识别的结果，并根据所述的全景立体视觉传感器获得的全景视频信息，依据立体成像原理计算出捕捞对象的空间位置，从而为捕捞机器手提供捕捞对象的空间位置信息；

所述的捕捞行为模块，主要用于直接控制捕捞机器手的动作，当所述的捕捞对象的空间定位行为模块计算出捕捞对象的空间位置后，所述的捕捞行为模块驱动捕捞机器手的动作对准捕捞对象并控制脉冲式真空发生模块动作产生脉冲式真空气流将捕捞对象吸入到捕捞管道中；

所述的协调行为模块，分为外部协调和内部协调，内部协调主要对上述各行为模块进行选择，决定哪个行为模块被激活，并对同时激活的行为模块进行协调；1）体现紧急事件最优先的原则，一旦所述的紧急行为模块发出紧急请求时所述的协调行为模块首先让所述的直行捕捞行为模块、所述的转向行为模块和所述的避障行为模块设置为休眠锁定状态，接着通过与所述的捕捞管理人的交互行为模块向捕捞管理人员请求干预，当捕捞管理人员处理完紧急事件后才能解除所述的直行捕捞行为模块、所述的转向行为模块和所述的避障行为模块设置为休眠锁定状态；2）体现按捕捞作业顺序工作的原则，主要是协调好所述的捕捞机器人边行走、边捕捞的动作，以保证在捕捞时刻不行走，在行走中不捕捞，当检测到所述的机器手的捕捞范围内有捕捞对象时停止行走，当周边的捕捞对象都捕捞结束时再启动行走；对于迂回式的捕捞作业顺序是：行走→捕捞→…行走→捕捞→转向→行走→捕捞→…；在行走、捕捞和转向行为的同时其他行为模块均处于激活状态，并以多线程的方式分别运行在所述的Agent中；

所述的与捕捞管理人的交互行为模块，主要有以下几类交互行为：1）请求干预的交互行为，当捕捞机器人发生紧急事件、捕捞机器人内部的捕捞舱已满等情况时，请求捕捞管理人员干预；2）接受捕捞调度指令的交互行为，当捕捞管理人员下达捕捞任务后，将捕捞任务转达给所述的任务规划行为模块，在所述的任务规划行为模块做出遍历路径规划后，将遍历路径规划反馈给捕捞管理人员；3）协商的交互行为，根据所述的Agent根据自身感知的情况，通过对自身知识的推理，能向捕捞管理人员提供适当的帮助和建议；4）提供捕捞现场信息的交互行为，负责响应来自捕捞管理人员的上传信息指令，将所述的Agent所感知到的全景视频信息和分析得到的状态信息上传给捕捞管理人员；

所述的避障行为模块，其核心是要通过全景立体视觉的方式检测出行进方向上的障碍物，障碍物全景立体视觉检测算法的主要思路是：1）去除全景立体图像中非立体视觉视场方位的部分，对全景图像进行展开和极线校正，这部分主要通过展开图像内径、外径、以及柱状展开图上极线校正来完成；2）对展开图像采用边缘检测技术初步检测出疑似障碍物的边缘信息，通过阈值调整，检测出障碍物的边缘信息；3）对捕捞机器人所获取的全景立体图像对中的所有疑似障碍物点利用极线约束进行立体匹配，根据匹配的像素对的图像坐标值进行立体视觉空间点的重建，根据全景立体视觉传感器成像时，图像坐标、全景立体视觉传感器的坐标以及现实世界坐标系之间的关系，计算得出其相应的高度值，当高度大于给定阈值时则判定为障碍物点；障碍物点的高度以及障碍物点与捕捞机器人的距离的计算方法由公式（1）~公式（2）表示；

d=(bcosγ₁cosγ₂)/sin(γ₁-γ₂)                            （1）

h=H-b-d×arctanγ₂=H-d×arctanγ₁                         （2）

式中，d表示障碍物点A与捕捞机器人的全景立体视觉轴线在海底面上投影点的距离，b表示构成全景立体视觉的两个全景视觉传感器的视点间的距离，γ₁表示障碍物点A在上全景视觉传感器上成像的入射角，γ₂表示障碍物点A在下全景视觉传感器上成像的入射角，h表示障碍物点A的高度，H表示上全景视觉传感器的视点到海底面的距离，障碍物计算检测原理如附图5所示；

进一步，在检测出障碍物后就需要让捕捞机器人采取避障行为，避障行为的算法流程为：步骤1）如果没有检测到障碍物，则沿着所设定的方向前进；步骤2）如果检测到前进方向存在障碍物，获得障碍物的距离信息，判断障碍物与捕捞机器人的距离是否小于2米，如果是则进入避障区；步骤3）进入障碍区后减速前进，启动避障策略，绕开障碍物；步骤4）关闭避障策略，继续从步骤1）开始执行，直至遍历整个捕捞区域；避障策略采用模糊控制算法来实现；

进一步，所述的基于人工肌肉的捕捞管道，所述捕捞管道的外形呈管三自由度肌肉状，管内分隔成三个互成120°的扇形柱状空腔，如附图8所示；通过分别控制三个空腔的压力来实现沿中心轴Z方向的伸缩及任意一个方向的弯曲，实现三个自由度的控制；在所述的基于人工肌肉的捕捞管道的内外管壁的橡胶基体中，夹有芳香族聚酰胺增强纤维，纤维走向与肌肉的轴向有一夹角α，考虑到所述的基于人工肌肉的捕捞管道的柔软性，将夹角α设计为70°~80°；这样由于纤维单方向增强效果的影响，沿垂直于纤维方向的变形比沿纤维方向变形容易得多；

所述的定位行为模块，与所述的母船的相对位置的定位是由安装在捕捞机器人的仪器舱中的数字罗盘所指定的行走方向和所述的路径跟踪行为模块的历史跟踪结果来确定的；所述的母船的定位是由GPS来确定的；

所述的数字罗盘，采用电子磁罗盘作辅助传感器，精度在1°左右，其误差不随时间累积，与惯性导航信息进行融合，可以提高捕捞机器人的航向精度；本发明中采用美国Honwell公司生产的HMR3500电子磁罗盘，内部装有全球地磁修正模型，能根据时间和地理经纬度对地磁模型进行补偿修正，得到地理北方位，该传感器还具备使用环境的磁场补偿功能。

本发明不加任何修改，可以直接用于海底生物调查等勘探工作。

Claims (10)

1.一种海底生物捕捞机器人的自主导航和人机协同捕捞作业系统，其特征在于：包括捕捞机器人，用于对捕捞现场和捕捞机器人的状态进行综合分析处理和判断的、并用于在人机协同捕捞作业中为捕捞管理人员提供远程干预和管理的计算机，用于乘载捕捞管理人员以及收集和运输捕捞对象的母船，用于定位母船空间位置的GPS；

所述的捕捞机器人，包括捕捞机器人的本体，基于人工肌肉的具有海底行走和捕捞海底生物两种功能的机器手，用于感知水深的压力传感器，用于检测捕捞机器人行走方向的数字罗盘，用于获取捕捞机器人周边360°的全景立体视觉视频图像的双目立体全景视觉传感器和用于控制机器手协调海底行走、对捕捞对象的识别和空间定位、自主导航、控制捕捞动作以及与水面母船进行信息交互的智能体，以下简称Agent，与水面母船进行通信和能源设备提供设备连接的脐带；

所述的Agent根据所述的全景立体视觉传感器感知的信息进行分析、计算和推理，根据所述的捕捞管理人员下达的捕捞区域和捕捞时间的捕捞作业调度决策，自动做出路径规划，驱动所述的捕捞机器手完成边行走边捕捞的任务操作；通过通信网向捕捞管理人员提供非规则事件信息，请求捕捞管理人员的干预；

所述的Agent驻留在所述的捕捞机器人中，所述的Agent包括任务规划行为模块、协调行为模块、与捕捞管理人的交互行为模块、紧急行为模块、升降行为模块、避障行为模块、定位行为模块、路径跟踪行为模块、行走行为模块、转向行为模块、捕捞对象的识别行为模块、捕捞对象的空间定位行为模块和捕捞行为模块；

所述的通信网，用于捕捞管理人员与捕捞机器人之间的信息交互，GPS为母船提供空间位置信息，安装在捕捞机器人内的数字罗盘为捕捞机器人的行走方向提供方位信息；通过所述的通信网将分布在捕捞区域中的捕捞机器人与捕捞管理人员构成一个人-捕捞机器人一体化的捕捞管理和控制系统，协同地感知和采集网络分布区域的多捕捞机器人和各种捕捞对象的信息。

2.如权利要求1所述的海底生物捕捞机器人的自主导航和人机协同捕捞作业系统，其特征在于：捕捞管理人员驾驶乘坐在所述的母船的控制室中，通过通信网对分布在捕捞区域内的各所述的捕捞机器人进行巡视；对所述的捕捞机器人发生的各种非常规情况，即紧急行为进行及时的处置，对所述的捕捞机器人发出的捕捞海底生物装卸请求做出响应，控制请求的捕捞机器人上升到海面，然后将所述的捕捞机器人的本体底部从本体上卸下，用空的收集舱更换盛满了捕捞对象的收集舱，重新将所述的捕捞机器人本体的底部连接到本体上，接着将所述的捕捞机器人放入海中继续进行捕捞；所述的母船的控制室内配置了所述的计算机，所述的计算机中安装了捕捞管理和控制系统软件，所述的捕捞管理人员通过所述的计算机对分布在各区域内的所述的捕捞机器人进行捕捞管理和控制；所述的计算机通过所述的通信网与分布在各区域内的所述的捕捞机器人中的所述的Agent进行信息交互。

3.如权利要求1或2所述的海底生物捕捞机器人的自主导航和人机协同捕捞作业系统，其特征在于：所述的紧急行为模块，所述的紧急行为是所述的捕捞机器人优先级最高的行为，在所述的捕捞机器人避障行为失败后或者是发生颠倒不能行走事故就切换到所述的紧急行为；当所述的紧急行为发生时，所述的Agent立刻向所述的捕捞管理人员发出请求干预信息，等待所述的捕捞管理人员干预处理；当规定时间内没有接到所述的管理人员干预情况下，自动启动所述的升降行为模块工作，使得捕捞机器人浮出海面。

4.如权利要求1或2所述的海底生物捕捞机器人的自主导航和人机协同捕捞作业系统，其特征在于：所述的升降行为模块，用于控制捕捞机器人的上升或下降，当捕捞机器人上升到海面时上升动作自动停止，当捕捞机器人下降至海底时下降动作自动停止；所述的升降行为模块一方面由母船上的捕捞人员通过计算机控制，另一方面由捕捞机器人的Agent控制；母船上的捕捞人员的控制具有优先权。

5.如权利要求1或2所述的海底生物捕捞机器人的自主导航和人机协同捕捞作业系统，其特征在于：所述的协调行为模块包括外部协调单元和内部协调单元，内部协调单元对直行捕捞行为模块、升降行为模块、转向行为模块、行走行为模块和避障行为模块进行选择，决定哪个行为模块被激活，并对同时激活的行为模块进行协调；1）体现紧急事件最优先的原则，一旦所述的紧急行为模块发出紧急请求时所述的协调行为模块首先让所述的直行捕捞行为模块、所述的转向行为模块和所述的避障行为模块设置为休眠锁定状态，接着通过与所述的捕捞管理人的交互行为模块向捕捞管理人员请求干预，当捕捞管理人员处理完紧急事件后才能解除所述的直行捕捞行为模块、所述的转向行为模块和所述的避障行为模块设置为休眠锁定状态；2）体现按捕捞作业顺序工作的原则，协调好所述的捕捞机器人边行走、边捕捞的动作，当检测到所述的机器手的捕捞范围内有捕捞对象时停止行走，当周边的捕捞对象都捕捞结束时再启动行走；在行走、捕捞和转向行为的同时其他行为模块均处于激活状态，并以多线程的方式分别运行在所述的Agent中。

6.如权利要求1或2所述的海底生物捕捞机器人的自主导航和人机协同捕捞作业系统，其特征在于：所述的与捕捞管理人的交互行为模块，包括以下交互行为：1）请求干预的交互行为，当捕捞机器人发生紧急事件、捕捞机器人中的捕捞舱已满等情况时，请求捕捞管理人员干预；2）接受捕捞调度指令的交互行为，当捕捞管理人员下达捕捞任务后，将捕捞任务转达给所述的任务规划行为模块，在所述的任务规划行为模块做出遍历路径规划后，将遍历路径规划反馈给捕捞管理人员；3）协商的交互行为，根据所述的Agent根据自身感知的情况，通过对自身知识的推理，能向捕捞管理人员提供适当的帮助和建议；4）提供捕捞现场信息的交互行为，负责响应来自捕捞管理人员的上传信息指令，将所述的Agent所感知到的全景视频信息和分析得到的状态信息上传给捕捞管理人员。

7.如权利要求1或2所述的海底生物捕捞机器人的自主导航和人机协同捕捞作业系统，其特征在于：所述的任务规划行为模块，所述的Agent根据所述的捕捞管理人员发出的捕捞调度指令，在规定的捕捞区域内做出遍历路径规划，控制捕捞机器人沿规划出的路径以直线方式行走，至捕捞边界后掉头，然后沿反方向直线运行如此反复迁回，直到整个捕捞区域被覆盖。

8.如权利要求1或2所述的海底生物捕捞机器人的自主导航和人机协同捕捞作业系统，其特征在于：所述的避障行为模块，通过全景立体视觉的方式检测出行进方向上的障碍物，障碍物全景立体视觉检测算法的主要思路是：1）去除全景立体图像中非立体视觉视场方位的部分，对全景图像进行展开和极线校正，这部分主要通过展开图像内径、外径、以及柱状展开图上极线校正来完成；2）对展开图像采用边缘检测技术初步检测出疑似障碍物的边缘信息，通过阈值调整，检测出障碍物的边缘信息；3）对捕捞机器人所获取的全景立体图像对中的所有疑似障碍物点利用极线约束进行立体匹配，根据匹配的像素对的图像坐标值进行立体视觉空间点的重建，根据全景立体视觉传感器成像时，图像坐标、全景立体视觉传感器的坐标以及现实世界坐标系之间的关系，计算得出其相应的高度值，当高度大于给定阈值时则判定为障碍物点；障碍物点的高度以及障碍物点与捕捞机器人的距离的计算方法由公式（1）~公式（2）表示；

d=(bcosγ₁cosγ₂)/sin(γ₁-γ₂)                           （1）

h=H-b-d×arctanγ₂=H-d×arctanγ₁                        （2）

式中，d表示障碍物点A与捕捞机器人的全景立体视觉轴线在海底面上投影点的距离，b表示构成全景立体视觉的两个全景视觉传感器的视点间的距离，γ₁表示障碍物点A在上全景视觉传感器上成像的入射角，γ₂表示障碍物点A在下全景视觉传感器上成像的入射角，h表示障碍物点A的高度，H表示上全景视觉传感器的视点到海底面的距离；

在检测出障碍物后就需要让捕捞机器人采取避障行为，避障行为的算法流程为：步骤1）如果没有检测到障碍物，则沿着所设定的方向前进；步骤2）如果检测到前进方向存在障碍物，获得障碍物的距离信息，判断障碍物与捕捞机器人的距离是否小于2米，如果是则进入避障区；步骤3）进入障碍区后减速前进，启动避障策略，绕开障碍物；步骤4）关闭避障策略，继续从步骤1）开始执行，直至遍历整个捕捞区域；避障策略采用模糊控制算法来实现。

9.如权利要求1或2所述的海底生物捕捞机器人的自主导航和人机协同捕捞作业系统，其特征在于：所述的定位行为模块，与所述的母船的相对位置的定位是由安装在捕捞机器人的仪器舱中的数字罗盘所指定的行走方向和所述的路径跟踪行为模块的历史跟踪结果来确定的；所述的母船的定位是由GPS来确定的；

所述的数字罗盘，采用电子磁罗盘作辅助传感器，精度在1°左右，其误差不随时间累积，与惯性导航信息进行融合，可以提高捕捞机器人的航向精度；本发明中采用美国Honwell公司生产的HMR3500电子磁罗盘，内部装有全球地磁修正模型，能根据时间和地理经纬度对地磁模型进行补偿修正，得到地理北方位，该传感器还具备使用环境的磁场补偿功能。

10.如权利要求1或2所述的海底生物捕捞机器人的自主导航和人机协同捕捞作业系统，其特征在于：所述的捕捞对象的识别行为模块，根据所述的全景立体视觉传感器获得的全景视频信息，采用数字图像处理技术对捕捞对象的特征进行识别；

所述的捕捞对象的空间定位行为模块，根据所述的捕捞对象的识别行为模块所识别的结果，并根据所述的全景立体视觉传感器获得的全景视频信息，依据立体成像原理计算出捕捞对象的空间位置，从而为捕捞机器手提供捕捞对象的空间位置信息；

所述的捕捞行为模块，用于直接控制捕捞机器手的动作，当所述的捕捞对象的空间定位行为模块计算出捕捞对象的空间位置后，所述的捕捞行为模块驱动捕捞机器手的动作对准捕捞对象并控制脉冲式真空发生模块动作产生脉冲式真空气流将捕捞对象吸入到捕捞管道中。

Images