CN112975969B - 机器人控制和视觉感知一体化控制器系统和方法 - Google Patents

Abstract

本发明提出一种机器人控制和视觉感知一体化控制器系统和方法，其中，系统包括：机器人控制模块、视觉感知模块和工业总线通讯模块，其中，机器人控制模块、视觉感知模块和工业总线通讯模块集成在一个IPC中，机器人控制模块和视觉感知模块通信连接，机器人控制模块通过工业总线通讯模块与机器人本体交互，其中，机器人控制模块中包括：第一实时Linux操作系统单元、基于PC的底层运动控制单元、基于ROS2的上层运动控制单元；视觉感知模块包括：第二实时Linux操作系统单元、基于Detectron2的图像识别单元和图像处理单元。在一个工业PC上能够实现机器人控制、视觉感知和总线数据传输的功能，降低了系统的复杂度，降低了集成难度，提升了系统的可靠性。

Description

机器人控制和视觉感知一体化控制器系统和方法

技术领域

本发明涉及人工智能技术领域，尤其涉及一种机器人控制和视觉感知一体化控制器系统和方法。

背景技术

通常，将机器人控制中的每个控制功能进行单独开发，比如，机器人运动控制模块、机器人视觉感知模块(具有深度学习能力)、工业总线通讯模块集成在2到3个不同的硬件。

这势必会导致一些功能无法便捷的实现、系统冗余、及系统的复杂程度增加(模块间的通讯、实时性数据交换、数据缓存等)，在集成应用中增加了难度。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种机器人控制和视觉感知一体化控制器系统，以实现在一个工业PC上能够实现机器人控制、视觉感知、和总线数据传输的功能，降低了系统的复杂度，降低了集成难度。

本发明的第二个目的在于提出一种机器人控制和视觉感知一体化控制器的控制方法。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

本发明的第五个目的在于提出一种计算机程序产品。

为达上述目的，本发明第一方面实施例提出了一种机器人控制和视觉感知一体化控制器系统，包括：机器人控制模块、视觉感知模块和工业总线通讯模块，其中，所述机器人控制模块、所述视觉感知模块和所述工业总线通讯模块集成在一个IPC中，所述机器人控制模块和所述视觉感知模块通信连接，所述机器人控制模块通过所述工业总线通讯模块与机器人交互，其中，

所述机器人控制模块中包括：第一实时Linux操作系统单元、基于PC的底层运动控制单元、基于ROS2的上层运动控制单元；

所述视觉感知模块包括：第二实时Linux操作系统单元、基于Detectron2的图像识别单元和图像处理单元。

为达上述目的，本发明第二方面实施例提出了一种机器人控制和视觉感知一体化控制器的控制方法，

所述方法应用在如第一方面实施例所述的机器人控制和视觉感知一体化控制器系统上，所述方法包括以下步骤：

所述视觉感知模块采集机器人周围的环境信息，识别所述环境信息中的环境参数；

所述机器人控制模块接收所述视觉感知模块发送的所述环境参数，根据所述环境参数生成所述机器人的运动参数；

所述机器人控制模块将所述运动参数传输至命令管理器单元，以使得命令管理器单元生成与所述运动参数对应的运动控制指令；

所述工业总线通讯模块将所述运动控制指令发送给所述机器人以使得所述机器人执行所述运行控制指令。

为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如第二方面实施例所述的机器人控制和视觉感知一体化控制器的控制方法。

为了实现上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第二方面实施例所述的机器人控制和视觉感知一体化控制器的控制方法。

为了实现上述目的，本发明第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行如第二方面实施例所述的机器人控制和视觉感知一体化控制器的控制方法。

本发明的实施例，至少具有如下技术效果：

将机器人控制模块、视觉感知模块和工业总线通讯模块统一于一个IPC中，能够实现高效、稳定和智能的控制。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例所提供的一种机器人控制和视觉感知一体化控制器系统的结构示意图；

图2是根据本发明一个实施例的机器人控制和视觉感知一体化控制器系统的场景示意图；以及

图3为本发明一个具体实施例所提供的一种机器人控制和视觉感知一体化控制器系统的结构示意图；

图4为本发明另一个具体实施例所提供的一种机器人控制和视觉感知一体化控制器系统的结构示意图；以及

图5是根据本发明一个实施例的一种机器人控制和视觉感知一体化控制器的控制方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

为了解决背景技术中提到的技术问题，本发明提出了的方案中，在软件方面：为了构建智能协作机器人控制和深度视觉语义学习的一体化控制平台，实现软件控制模块、视觉模块和总线模块的交互及实时数据传输。

在硬件方面：为了使得在一个工业电脑(IPC)上能够完成机器人控制功能、视觉感知功能和工业总线的功能。

下面参考附图描述本发明实施例的机器人控制和视觉感知一体化控制器系统。

图1为本发明实施例所提供的一种机器人控制和视觉感知一体化控制器系统的结构示意图。如图1所示，该系统包括：机器人控制模块100、视觉感知模块200和工业总线通讯模块300，其中，机器人控制模块100、视觉感知模块200和工业总线通讯模块300集成在一个IPC中，机器人控制模块100和视觉感知模块200通信连接，机器人控制模块200通过工业总线通讯模块300与机器人交互，其中，

机器人控制模块100中包括：第一实时Linux操作系统单元110、基于PC的底层运动控制单元120、基于ROS2的上层运动控制单元130；

在本实施例中，首先构建机器人的操作环境，该系统包括第一实时Linux操作系统单元110，并对系统进行了实时化补丁处理(如在该系统中安装了Preempt_RT补丁、Xenomai双核补丁)，并对系统内核进行裁剪(卸载掉系统中冗余的模块，优化系统的实时性)，使得系统具有实时性(系统控制周期1KHz的时候，抖动在50us)，来减小系统产生的抖动，实现稳定的连接，高品质平滑的轨迹规划和实时控制。

还可以构建基于PC的底层运动控制单元120，(如构建了基于Codesys的软PLC)使得系统具有基本的运动控制能力，涉及到使能伺服、停止伺服、状态监测、曲线绘制、轴的点位控制等。该部分更多集中于单轴的控制和状态的监测，该单元运行于以上修改的系统中(实时化补丁和内核裁剪)，并设置封装好模块运行的优先级和接口函数(模块实现实时性)。

还可以构建基于ROS2(Robot Operating System)的运动控制单元130。

其中，基于ROS2的上层运动控制单元130包括：笛卡尔空间直线运动子单元131、笛卡尔空间速度运动子单元132、笛卡尔空间点位运动子单元133、力控子单元134、关节空间点位运动子单元135、关节空间连续运动子单元136、关节空间速度运动子单元137。为了实现好的控制效果增加动力学补偿模块实现前馈控制(用于阻抗控制和提高运动控制的品质如减小力矩波动和静态误差，该模块也运行于修改的实时系统中)，数据间的通讯采用消息、服务和动作的方式，本实施例中的运动子单元(Moveit！)的产生的轨迹基于Gazebo等组件进行运动仿真，该子单元运行于以上修改的系统中。

在本实施例中，力控子单元134的控制方式包括以下至少一种：

阻抗控制、导纳控制、力/位混合控制。

在本实施例中，笛卡尔空间直线运动子单元131、笛卡尔空间速度运动子单元132、笛卡尔空间点位运动子单元133布局在基于ROS2的上层应用中，关节空间点位运动子单元135、关节空间连续运动子单元136、关节空间速度运动子单元137布局在底层运动控制模块中。两者之间的通讯采用TCP/IP、消息传递或者共享内存的方式，通讯方式取决于所配置的模块等。

在本实施例中，该机器人控制模块100中还可以包括：基本的状态监测模块(比如系统的使能、报警、奇异等，用于机器人完成任务控制功能。

在本实施例中，参照如图2所示的运动组织图，基于ROS2和Moveit！构建笛卡尔空间直线运动子单元131、笛卡尔空间速度运动子单元132、笛卡尔空间点位运动子单元133、力控子单元134(阻抗控制、导纳控制、力/位混合控制)，上述子单元会产生一组关节角度位置/速度/力矩；总线数据接口：将上层生成的命令传输至总线数据接口，进行数据解释，并传输至命令管理器；命令管理器模块：对总线数据接口模块和检测状态模块传输的数据进行逻辑解析和决策，产生相应的命令；关节空间点位运动子单元135、关节空间连续运动子单元136、关节空间速度运动子单元137、夹爪点位运动子单元块、夹爪速度运动子单元执行命令管理器模块发送的指令；状态接口模块：捕获所有系统产生的状态，比如关节运动的速度、角度、力矩、使能、运动状态等；检测状态模块：判断系统当前运行是否安全、关节是否超限、是否奇异等；参数管理器模块：用于配置模块的可变参数。

视觉感知模块200包括：第二实时Linux操作系统单元210、基于Detectron2的图像识别单元220。其中，视觉感知模块200用于感知机器人周围环境、识别物体、并作出决策。

在本实施例中，基于Detectron2的图像识别单元220，包括：

配置在Linux系统中的Nvidia驱动子单元221，CUDA平台子单元222,Pytorch神经网络子单元223。

就识别物体具体来说，视觉感知模块200构建以下操作环境：基于实时Linux的操作系统(如对系统内核进行修改后的系统Ubuntu),基于Detectron2的图像识别架构，采用MaskRCNN实现物体的识别和语义分割。具体实现分为以下几个步骤：

步骤1：配置视觉感知的环境，在第二实时Linux操作系统单元210中，配置Nvidia驱动，CUDA平台,构建虚拟环境并安装Pytorch神经网络框架，并在虚拟环境中安装OpenCV等软件，以此来构建基于Detectron2的图像识别单元220的图像识别架构

步骤2：针对特定应用采集被操作对象的图片和周围环境的图片，采用VGG ImageAnnotator、LabelMe等软件进行标注图片中的类别。

步骤3：将图片的训练集和测试集在基于Detectron2的架构中训练和测试(可以选择在其它高性能的机器上进行训练)。得到相应训练好的神经网络，进而配置在控制器中。进行图像的推理和周围环境的感知，并用图像处理工具加工和提取图像的尺寸大小、位置坐标、语义信息等，用于特定任务的执行(如采用基于位置视觉伺服的方式对物体进行动态追踪和自适应抓取)。其中，在图像推理中采用MaskRCNN的神经网络架构。

视觉感知模块200将得到的数据传递给机器人控制模块100，数据通讯采用消息或者服务(基于ROS的数据交互方式)的传递方式，视觉感知模块200将运行于实时系统中，实现精准和实时的数据传输和分析，用于高品质的运动控制。

工业总线通讯模块300是为了与支持各种工业总线(比如EtherCAT/Profinet等)的伺服关节进行通讯，控制伺服的运动。

在本实施例中，工业总线通讯模块300是为了实现机器人控制器与伺服驱动器及IO外设的互联通讯。采用工业以太网线将各个设备进行连接，形成现场设备级、车间级的数字化通讯网络，完成状态监测、控制、和远程传输功能。

首先，工业总线通讯模块300在控制和感知平台上配置EtherCAT主站，配置方式可以选择基于Codesys平台的总线配置，或者基于开源IGH EtherCAT总线，或者开源SOEMEtherCAT总线、或者德国Acontis公司EtherCAT的主站方案。

其次，将基于EtherCAT总线驱动器设备的XML描述文件配置到工业总线通讯模块300中。通过以太网线将控制器和驱动器相互连接。

最后，工业总线通讯模块300采用服务数据对象SDO和过程数据对象PDO进行传感器数据的获取，并将控制器产生的命令发送至相应的PDO进行电机和IO设备的控制，其中，工业总线通讯模块300运行于以上修改好的实时系统中。

由此，本发明实施例的机器人控制和视觉感知一体化控制器系统，与现有技术的不同点在于现有的技术方案是机器人运动控制模块、机器人视觉感知(具有深度学习能力)模块、工业总线通讯模块集成在2到3个不同的硬件平台，这势必会导致一些功能无法友好的实现，系统设备冗余，成本增加，系统的复杂程度增加(模块间的通讯、实时数据交换、数据缓存等)，给集成应用带来了难题。该公开方法能够将机器人控制、视觉感知、工业总线统一起来，最终实现稳定高效智能的控制。

如图3所示，机器人控制和视觉感知一体化平台实现时，包括CPU、GPU和总线，其中，GPU用于为视觉感知模块200，其中，GPU可并行加速，CPU用于支持机器人控制模块的负复杂计算，总线用于为为工业总线通讯模块300提供基于以太网的通讯总线，交互过程如图4所示，在交互过程中，整个交互过程操作环境基于Linux操作系统(如Ubuntu)，视觉感知模块200将不活的图像等信息基于ROS通讯发送给机器人控制模块100(图中的系统控制)，机器人控制模块100基于工业总线通讯模块控制机器人。

在实际控制过程中，如图5所示，该方法包括：

步骤501，视觉感知模块采集机器人周围的环境信息，识别环境信息中的环境参数。

其中，视觉感知模块采集机器人周围的环境信息，可以是基于摄像头采集的视频信息，可以是基于温度传感器等采集的温度信息，可以是基于距离传感器检测到的障碍物距离信息等，显然，环境参数包括视频信息中图像的类别、尺寸等。

步骤502，机器人控制模块接收视觉感知模块发送的环境参数，根据环境参数生成机器人的运动参数。

在本实施例中，机器人控制模块接收视觉感知模块发送的环境参数，根据环境参数生成机器人的运动参数，其中，该运动参数包括执行动作的类型、执行动作的关节等。

在一些可能的实施例中，可以根据深度学习技术预先训练深度学习模型，从而，将获取到的环境参数输入到对应的深度学习模型，以得到对应的运动参数。

在另一些可能的实施例中，也可以构建动作序列时序图，该时序图的连接边为环境参数，连接单元为参考运动参数，从而，可以根据环境参数在时序图中对应路径包含的参考运动参数确定运动参数。

步骤503，机器人控制模块将运动参数传输至命令管理器单元，以使得命令管理器单元生成与运动参数对应的运动控制指令。

在本实施例中，机器人控制模块将运动参数传输至命令管理器单元，以使得命令管理器单元生成与运动参数对应的运动控制指令，该控制指令用于控制对应的关节执行和运动参数对应的动作。

其中，命令管理器单元中可以预先存储有运动参数和运动控制指令的对应关系，根据该对应关系确定对应的运动控制指令。

步骤504，工业总线通讯模块将运动控制指令发送给机器人以使得机器人执行运行控制指令。

在本实施例中，工业总线通讯模块将运动控制指令发送给机器人以使得机器人执行运行控制指令。

当然，在本发明的一个实施例中，为了保证机器人的安全，机器人控制模块通过状态接口单元获取机器人的当前状态信息，并将当前状态信息发送给机器人控制模块中的检测状态单元，该当前状态信息包括当前机器人的运动参数、运动位置、剩余电量等，只有通过检测状态单元检测当前状态信息属于预设的安全状态信息，才会将运动参数传输至命令管理器模块，其中，预设的安全状态信息可以包括电量范围，运动位置黑名单，运动参数对应的关节角度范围等。

综上，本发明实施例的机器人控制和视觉感知一体化控制器系统，将机器人控制模块、视觉感知模块和工业总线通讯模块统一于一个IPC中，能够实现高效、稳定和智能的控制。

为了实现上述实施例，本发明还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如上述实施例所描述的机器人控制和视觉感知一体化控制器的控制方法。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，当存储介质中的指令由处理器被执行时，使得能够

实现如上述实施例所描述的机器人控制和视觉感知一体化控制器的控制方法。

为了实现上述实施例，本发明还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，

实现如上述实施例所描述的机器人控制和视觉感知一体化控制器的控制方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种机器人控制和视觉感知一体化控制器系统，其特征在于，包括：机器人控制模块、视觉感知模块和工业总线通讯模块，其中，所述机器人控制模块、所述视觉感知模块和所述工业总线通讯模块集成在一个IPC中，所述机器人控制模块和所述视觉感知模块通信连接，所述机器人控制模块通过所述工业总线通讯模块与机器人交互，其中，

所述机器人控制模块中包括：第一实时Linux操作系统单元、基于PC的底层运动控制单元、基于ROS2的上层运动控制单元，其中，所述第一实时Linux操作系统单元预先进行了实时化补丁处理和内核裁剪处理，所述实时化补丁处理包括向所述Linux操作系统单元安装Preempt_RT补丁；

其中，所述基于ROS2的上层运动控制单元包括：笛卡尔空间直线运动子单元、笛卡尔空间速度运动子单元、笛卡尔空间点位运动子单元、力控子单元、关节空间点位运动子单元、关节空间连续运动子单元、关节空间速度运动子单元，所述笛卡尔空间直线运动子单元、所述笛卡尔空间速度运动子单元、所述笛卡尔空间点位运动子单元布局在基于ROS2的上层应用中，所述关节空间点位运动子单元、所述关节空间连续运动子单元、所述关节空间速度运动子单元布局在基于软PLC的模块中；其中，所述力控子单元的控制方式包括以下至少一种：

阻抗控制、导纳控制、力/位混合控制，构建了动力学补偿模块实现前馈控制，用于阻抗控制和提高运动控制的品质如减小力矩波动和静态误差，所述动力学补偿模块也运行于修改的实时系统中；

所述视觉感知模块包括：第二实时Linux操作系统单元、基于Detectron2的图像识别单元和图像处理单元，采用MaskRCNN实现物体的识别和语义分割；

其中，所述视觉感知模块将得到的数据传递给所述机器人控制模块，数据通讯采用消息或者服务，即基于ROS2的数据交互方式的传递方式，所述视觉感知模块运行于实时系统中，实现精准和实时的数据传输和分析，用于高品质的运动控制；

所述工业总线通讯模块用于支持与各种工业总线的伺服关节进行通讯，控制伺服的运动；

所述机器人控制和视觉感知一体化控制器系统，进一步包括：CPU、GPU和总线；其中，GPU用于为视觉感知模块并行加速，CPU用于支持机器人控制模块的复杂度计算，总线用于为工业通讯总线提供基于以太网的通讯总线。

2.如权利要求1所述的系统，其特征在于，所述基于Detectron2的图像识别单元，包括：

配置在Linux系统中的Nvidia驱动子单元，CUDA平台子单元, Pytorch神经网络子单元。

3.一种机器人控制和视觉感知一体化控制器的控制方法，其特征在于，所述方法应用在如权利要求1任一所述的机器人控制和视觉感知一体化控制器系统上，所述方法包括以下步骤：

所述视觉感知模块采集机器人周围的环境信息，识别所述环境信息中的环境参数；

所述机器人控制模块接收所述视觉感知模块发送的所述环境参数，根据所述环境参数生成所述机器人的运动参数；

所述机器人控制模块将所述运动参数传输至命令管理器单元，以使得命令管理器单元生成与所述运动参数对应的运动控制指令；

所述工业总线通讯模块将所述运动控制指令发送给所述机器人以使得所述机器人执行所述运动控制指令。

4.如权利要求3所述的方法，其特征在于，在所述将所述运动参数传输至命令管理器模块之前，还包括：

所述机器人控制模块通过状态接口单元获取所述机器人的当前状态信息，并将所述当前状态信息发送给所述机器人控制模块中的检测状态单元；

通过所述检测状态单元检测所述当前状态信息属于预设的安全状态信息。

5.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求3或4所述的机器人控制和视觉感知一体化控制器的控制方法。

6.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求3或4所述的机器人控制和视觉感知一体化控制器的控制方法。

Images