CN111618848A - 多机器人的协作控制方法、装置及计算机设备 - Google Patents

Abstract

本申请公开了一种多机器人的协作控制方法、装置及计算机设备，涉及计算机技术领域。其中方法包括：首先获取待搬运物体的物体信息以及当前可用的至少一机器人的机器人信息；根据所述物体信息，识别所述待搬运物体的搬运插入孔的位置信息；依据所述位置信息和所述机器人信息，分别向所述至少一机器人发送控制指令，以便控制所述至少一机器人的前置连接头一一插入对应的所述搬运插入孔；若确定所述至少一机器人均插入各自对应的所述搬运插入孔，则分别向所述至少一机器人发送指示搬运的指令。本申请可代替人工操控方式，可实现精准的多台机器人的协作控制，减少控制偏差。

Description

多机器人的协作控制方法、装置及计算机设备

技术领域

本申请涉及控制技术领域，尤其是涉及到一种多机器人的协作控制方法、装置及计算机设备。

背景技术

让机器人解放人类的劳动力一直是工程师们的理想，也是最初研究机器人的初衷。经过几十年的发展，我们已经看到有一些机器人已经可以在一些场景中发挥作用，大大提高了工作效率。

在多台机器人协作与实际结合的领域，大多由于该问题本身的复杂性没有得到广泛的应用。例如，如果需要多台机器人协作搬运某容器，需要人工分析容器的抬起位置、抬起方式、行进控制等。然后操控多台机器人共同搬运该容器。

然而，这种人工控制多机器人协作的方式，复杂度较大，很难精准实现多台机器人的协作控制，如果控制产生偏差，很容易使得抬起的容器坠落、或者根本无法抬起该容器等情况发生。

发明内容

有鉴于此，本申请提供了一种多机器人的协作控制方法、装置及计算机设备，主要目的在于解决目前人工控制多机器人协作的方式，复杂度较大，很难精准实现多台机器人的协作控制的技术问题。

根据本申请的一个方面，提供了一种多机器人的协作控制方法，该方法包括：

获取待搬运物体的物体信息以及当前可用的至少一机器人的机器人信息；

根据所述物体信息，识别所述待搬运物体的搬运插入孔的位置信息；

依据所述位置信息和所述机器人信息，分别向所述至少一机器人发送控制指令，以便控制所述至少一机器人的前置连接头一一插入对应的所述搬运插入孔；

若确定所述至少一机器人均插入各自对应的所述搬运插入孔，则分别向所述至少一机器人发送指示搬运的指令。

根据本申请的另一个方面，提供了一种多机器人的协作控制装置，该装置包括：

获取模块，用于获取待搬运物体的物体信息以及当前可用的至少一机器人的机器人信息；

识别模块，用于根据所述物体信息，识别所述待搬运物体的搬运插入孔的位置信息；

发送模块，用于依据所述位置信息和所述机器人信息，分别向所述至少一机器人发送控制指令，以便控制所述至少一机器人的前置连接头一一插入对应的所述搬运插入孔；

所述发送模块，还用于若确定所述至少一机器人均插入各自对应的所述搬运插入孔，则分别向所述至少一机器人发送指示搬运的指令。

根据本申请的又一个方面，提供了一种非易失性可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述多机器人的协作控制方法。

根据本申请的再一个方面，提供了一种计算机设备，包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述多机器人的协作控制方法。

借由上述技术方案，本申请提供的一种多机器人的协作控制方法、装置及计算机设备。与现有通过人工控制多机器人协作的方式相比，本申请可预先根据待搬运物体的物体信息，识别待搬运物体的搬运插入孔的位置信息，然后依据识别出的位置信息和当前可用的至少一机器人的机器人信息，向这些机器人发送精准的控制指令，以便精准控制多机器人协作搬运同一物体。代替人工操控方式，可实现精准的多台机器人的协作控制，减少控制偏差，进而可避免抬起的容器坠落、或者根本无法抬起该容器等情况发生。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本地申请的不当限定。在附图中：

图1示出了本申请实施例提供的一种多机器人的协作控制方法的流程示意图；

图2示出了本申请实施例提供的另一种多机器人的协作控制配置方法的流程示意图；

图3示出了本申请实施例提供的一种容器示例的结构示意图；

图4示出了本申请实施例提供的一种多机器人的协作控制装置的流程示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。

针对目前人工控制多机器人协作的方式，复杂度较大，很难精准实现多台机器人的协作控制的技术问题，本实施例提供了一种多机器人的协作控制方法，可代替人工进行精确的多机器人的协作控制，如图1所示，该方法包括：

101、获取待搬运物体的物体信息以及当前可用的至少一机器人的机器人信息。

其中，物体信息可包括物体的外形尺寸、重量、包含的搬运插入孔个数以及具体分布位置等信息。机器人信息可包含当前可用的机器人数量、机器人型号、机器人的前置连接头个数以及分布位置等信息。

对于本实施例的执行主体可为用于多台机器人协作控制的装置或设备，可配置在控制中心侧，该控制中心可为能够操控多台机器人的服务端，可连接有用户操控客户端等，以实现一些人为操控需求。如由用户通过操控客户端向服务端发送该待搬运物体的搬运指令，然后服务端根据指令执行本实施例的具体实现过程。

102、根据获取到的物体信息，识别待搬运物体的搬运插入孔的位置信息。

例如，首先根据物体信息中包含的搬运插入孔的坐标尺寸位置，定位搬运插入孔处于待搬运物体中所在的大致位置，然后可通过图像识别技术，进行进一步精确识别搬运插入孔的位置信息，然后做相应记录，记录时可做映射记录，即将不同的搬运插入孔分别进行标号，如孔1、2、3…等，然后分别记录这些插入孔标号分别对应的位置坐标信息。

103、依据识别到的位置信息和获取到的机器人信息，分别向至少一机器人发送控制指令，以便控制这些机器人的前置连接头一一插入对应的搬运插入孔。

例如，首先根据当前可用机器人的机器人信息，和识别到的各个搬运插入孔的位置信息，规划所用的机器人(负责此次搬运任务的机器人)，以及这些机器人各自对应的搬运插入孔，即各自负责插入的搬运插入孔。然后根据这些搬运插入孔的位置信息，向这些机器人发送相应的控制指令，以便控制这些机器人进行左右上下等的移动，使得机器人的前置连接头能够对准各自对应负责插入的搬运插入孔，并进行相应的插入操作。

104、若确定至少一机器人均插入各自对应的搬运插入孔，则分别向这些机器人发送指示搬运的指令。

例如，在机器人成功插入到自己对应负责插入的搬运插入孔(如可通过机器人上的传感器来判定是否已经成功插入)后，可返回相应的插入成功响应信息，以便判别是否已经插入成功。当负责此次搬运任务的机器人全部返回插入成功的响应信息时，可向这些机器人发送指示搬运的指令，这些机器人会相应抬起待搬运物体，然后按照规划的路线行进，其中需要保持这些机器人的运动方向一致性，搬运操作动作的一致性，以避免抬起的容器发生坠落、运输途中坠落等情况。

通过本实施例中的多机器人的协作控制方法，与现有通过人工控制多机器人协作的方式相比，本实施例可预先根据待搬运物体的物体信息，识别待搬运物体的搬运插入孔的位置信息，然后依据识别出的位置信息和当前可用的至少一机器人的机器人信息，向这些机器人发送精准的控制指令，以便精准控制多机器人协作搬运同一物体。代替人工操控方式，可实现精准的多台机器人的协作控制，减少控制偏差，进而可避免抬起的容器坠落、或者根本无法抬起该容器等情况发生。

进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例中的具体实施过程，提供了另一种多机器人的协作控制方法，如图2所示，该方法包括：

201、获取待搬运物体的物体信息以及当前可用的至少一机器人的机器人信息。

例如，可利用如图3形状的长方体容器作为待搬运的物体。该容器的特点是底面每个角的两侧均有一个插入孔，用于四个机器人根据需要从前后两侧或左右两侧将容器搬运起来。容器被搬起后，机器人会向前移动，使容器能坐落在机器人前置的托板上，从而能够使四个机器人和容器一起移动。

202、对待搬运物体的搬运插入孔进行图像识别，得到识别图像信息。

例如，可利用双目相机对待搬运物体的搬运插入孔进行图像识别，得到识别图像信息。

203、根据识别图像信息，并结合不同的识别条件下对样本搬运插入孔的位置识别信息，确定待搬运物体的搬运插入孔的位置信息。

可选的，识别条件至少包括拍摄角度、和/或拍摄距离、和/或拍摄时的光线强度、和/或拍摄时的天气、和/或拍摄时的时间等。通过这种方式，可结合不同的识别条件，准确识别出待搬运物体的搬运插入孔的位置信息，提高后续插孔控制的精确性，提高了整体的物体搬运效率。

为了说明具体的技术实现过程，可选的，步骤203具体可包括：根据不同的识别条件下对样本搬运插入孔的位置识别信息，训练得到识别模型；然后以识别图像信息为输入参数，利用训练得到的识别模型计算得到待搬运物体的搬运插入孔的位置信息。其中该识别模型可为深度学习模型，通过这种可选方式，结合历史大数据，可准确分析出待搬运物体的搬运插入孔的位置信息，提高后续插孔控制的精确性。

示例性的，上述根据不同识别条件下对样本搬运插入孔的位置识别信息，训练得到识别模型，具体可包括：首先统计不同的识别条件下样本搬运插入孔的样本图像信息，以及样本图像信息各自对应的插入孔位置标记；然后创建训练集，该训练集中可包含样本图像信息与插入孔位置标记之间的映射关系；最后基于创建得到的训练集，利用MobileNet-SSD算法训练得到MobileNet-SSD模型。

在本实施例中，可通过对待搬运物体的搬运插入孔进行图像识别的方式，获取得到该搬运插入孔。并且由于不同拍摄视角、不同拍摄距离、不同光线强度、不同天气(对光线亮度的影响，如果是室内搬运可忽略不计)、不同时间(对光线亮度的影响，如果是室内搬运有统一的照明灯，则可忽略不计)等条件下，对搬运插入孔的图像识别都会存在一定的差异性，因此为了精确识别得到待搬运物体的搬运插入孔，可利用MobileNet-SSD模型对搬运插入孔进行精确计算，进而精确定位搬运插入孔的位置。

例如，基于上述图3样式的容器，为了精确找到容器的四个底角的搬运插入孔。具体方式可包括：A和B；

A、创建训练集。

由于容器是统一设计，虽然箱子的大小会根据不同的需要进行梯度设计，但所有大小的容器的底角搬运插入孔处都遵循统一标准。为了能使机器人准确识别出容器的搬运插入孔，需要制定较大的搬运插入孔数据集，包括不同拍摄视角、不同拍摄距离、不同光线强度、不同天气、不同时间等条件下的插入孔照片作为训练集。并且这些插入孔照片中都标记了正确的搬运插入孔位置，相当于训练集中保存了不同条件下拍摄出的插入孔照片以及插入孔照片中正确搬运插入孔位置，二者之间的映射关系。

B、基于创建得到的训练集，利用MobileNet-SSD算法训练得到MobileNet-SSD模型，该模型用于识别不同条件下拍摄出的插入孔照片中的正确搬运插入孔位置，进而实现相机视野中目标的定位。

在具体的训练过程中，可选取训练集中的一部分数据作为测试集，然后利用测试集中的数据对每次训练得到的MobileNet-SSD进行测试，如输入测试图片，然后将输出的与该测试图片对应的搬运插入孔位置，与该测试图片正确标记的搬运插入孔位置进行对比，如果一致，说明模型计算准确，否则说明模型计算错误。经过测试后，如果模型的平均准确率在90％以上，即可作为训练达标的MobileNet-SSD模型，后续可利用训练达标的MobileNet-SSD模型进行具体应用计算。如果模型的平均准确率低于90％，则再次训练直至平均准确率在90％以上，停止训练。

基于上述可选方式得到的MobileNet-SSD模型，上述以步骤202得到的识别图像信息为输入参数，利用识别模型计算得到待搬运物体的搬运插入孔的位置信息，具体可包括：将识别图像信息输入到MobileNet-SSD模型中，以便获取与识别图像信息对应相似度大于预设阈值的目标样本图像信息，以及与目标样本图像信息对应的目标插入孔位置标记；进而利用该目标插入孔位置标记，输出待搬运物体的搬运插入孔的位置信息。通过这种可选方式，融合了MobileNet-SSD算法模型在本场景应用中的优势，可准确识别出待搬运物体的搬运插入孔的位置信息，提高后续插孔控制的精确性，提高了整体的物体搬运效率。

204、根据待搬运物体的物体信息，确定待搬运物体的外形信息和重心信息。

205、依据待搬运物体的外形信息、重心信息和搬运插入孔的位置信息，并结合当前可用的至少一机器人的机器人信息，规划所需使用的至少一目标机器人，以及至少一目标机器人各自对应的搬运插入孔。

在本实施例中，除了预先设定待搬运物体由几个机器人负责进行搬运以外。为了更加智能化的实现物体搬运过程。可根据识别得到的搬运插入孔轮廓的位置信息、以及待搬运物体的外形信息和重心信息，并结合已有的机器人数量，规划出针对一些规则类或非规则类形状的待搬运物体的机器人分配方案，如类似于三角形的物体，可利用3个机器人负责抬起搬运，其中每个机器人负责一个底角；类似于方形的物体，可利用4个机器人负责抬起搬运，其中每个机器人负责一个底角等。以保证多台机器人对物体搬运时的支撑点平衡，避免由于搬运物体受力不均而导致坠落的情况发生。

206、向至少一目标机器人分别发送控制指令，以便控制至少一目标机器人的前置连接头一一插入对应的搬运插入孔。

在本实施例中，根据待搬运物体的规格设计尺寸以及插入孔的特定位置，可预先设定待搬运物体由几个机器人负责进行搬运。例如，如图3所示，长方体容器，有四个底角，每个底角由一个机器人负责抬起。在控制单个机器人对其对应的搬运插入孔进行连接头插入的过程中，根据搬运插入孔轮廓的位置信息，图像中检测出搬运插入孔轮廓后需要将机器人前置连接头垂直轮廓平面并居中插入，假定机器人侧面以及容器侧面均与地面垂直，在连接校准过程中需要调整的自由度共有四个，具体可包括：连接头相对机器人基坐标系(x,y,z),以及机器人前置面与检测插入孔轮廓所在平面的夹角θ。预定义的目标位置为(x^*,y^*,z^*,θ^*)，即插入孔连接的位置，然后根据该目标位置，调整机器人的连接头，使得该连接头垂直该搬运插入孔轮廓平面并居中插入搬运插入孔。

207、若确定至少一目标机器人均插入各自对应的搬运插入孔，则分别向至少一目标机器人发送指示搬运的指令。

可选的，步骤207具体可包括：设置至少一机器人中的主从关系，主从关系为一主机器人与至少一从机器人的关系，其中，主机器人为负责牵引搬运的机器人，从机器人为配合所述主机器人进行搬运的机器人。以便由主机器人负责牵引搬运，且由其他从机器人配合主机器人进行搬运。

例如，基于图3所示的容器，利用四个机器人分别负责各自对应的容器底角抬起，四个机器人的合运动即为容器的运动轨迹，运动的自由度和灵活度都得到了提高。针对运动过程中机器人间的主从关系，采用去中心化的分布式控制从策略，每个机器人的状态可用有限维空间定义，两两机器人之间状态共享，运动时，随机指定其中一个为主机器人master(除了随机以外，还可根据机器人的剩余电量，性能、易损坏可能性等选择出最优的一个机器人作为master)，其余三个为从机器人slave，实现编队控制(formationcontrol)，其中由master负责主要牵引搬运，其他几个slave配合master进行搬运，从而保证待搬运物体不与机器人产生相对运动，而导致待搬运物体在运输途中掉下。

为了方便理解本实施例的实施过程，给出如下示例性的实施流程，但不限于此：

例如，基于图3所示的待搬运容器和机器人，具体实施过程如步骤a至f：

a、利用双目相机通过矩形平面四个角点，确定容器上的搬运插入孔轮廓所在平面位置及朝向。

b、调整机器人前置平面(具有连接头)使其与该搬运插入孔轮廓平面平行。

c、在确定搬运插入孔的位置信息后，根据该位置信息，动态调整机器人前置连接头的空间位置，其中，水平的x轴和y轴方向由机器人万向轮完成，高度的z轴方向由前置连接头尾部所连接的线性导轨完成。

d、经过动态调整使得前置连接头到达预定义位置(即对应插入孔位置)，执行最后一小段前置运动，将连接头插入到搬运插入孔中。

e、在确定所有机器人都成功插入各自对应的搬运插入孔后，向这些机器人发送指令，使得这些机器人共同抬起搬运该容器。

f、在搬运过程中，设置主从关系，如指定其中一个为主，其余三个为从，在行进过程中，由“主”机器人负责主要牵引搬运，其他几个“从”机器人配合“主”机器人进行搬运，从而保证容器不与机器人产生相对运动导致容器在运输途中掉下。

通过本实施例中的多机器人的协作控制方法，将多台机器人协作与搬运系统相结合的方式，设计了一款搬运机器人及相应的编队控制与调度控制方案，该方案可用于室内室外、大小规模的搬运场景。与现有通过人工控制多机器人协作的方式相比，可代替人工操控方式，可实现精准的多台机器人的协作控制，减少控制偏差，进而可避免抬起的容器坠落、或者根本无法抬起该容器等情况发生，可满足具体的搬运需求。

进一步的，作为图1至图2所示方法的具体实现，本实施例提供了一种多机器人的协作控制装置，如图4所示，该装置包括：获取模块31、识别模块32、发送模块33。

获取模块31，可用于获取待搬运物体的物体信息以及当前可用的至少一机器人的机器人信息；

识别模块32，可用于根据所述物体信息，识别所述待搬运物体的搬运插入孔的位置信息；

发送模块33，可用于依据所述位置信息和所述机器人信息，分别向所述至少一机器人发送控制指令，以便控制所述至少一机器人的前置连接头一一插入对应的所述搬运插入孔；

所述发送模块33，还可用于若确定所述至少一机器人均插入各自对应的所述搬运插入孔，则分别向所述至少一机器人发送指示搬运的指令。

在具体的应用场景中，识别模块32，具体可用于对所述待搬运物体的搬运插入孔进行图像识别，得到识别图像信息；根据所述识别图像信息，并结合不同的识别条件下对样本搬运插入孔的位置识别信息，确定所述待搬运物体的搬运插入孔的位置信息。

在具体的应用场景中，识别模块32，具体还可用于根据不同的识别条件下对样本搬运插入孔的位置识别信息，训练得到识别模型，其中，所述识别条件至少包括拍摄角度、和/或拍摄距离、和/或拍摄时的光线强度、和/或拍摄时的天气、和/或拍摄时的时间；以所述识别图像信息为输入参数，利用所述识别模型计算得到所述待搬运物体的搬运插入孔的位置信息。

在具体的应用场景中，识别模块32，具体可用于统计不同的识别条件下样本搬运插入孔的样本图像信息，以及所述样本图像信息各自对应的插入孔位置标记；创建训练集，所述训练集中包含所述样本图像信息与所述插入孔位置标记之间的映射关系；

基于所述训练集，利用MobileNet-SSD算法训练得到MobileNet-SSD模型。

在具体的应用场景中，识别模块32，具体可用于将所述识别图像信息输入到所述MobileNet-SSD模型中，以便获取与所述识别图像信息对应相似度大于预设阈值的目标样本图像信息，以及与所述目标样本图像信息对应的目标插入孔位置标记；利用所述目标插入孔位置标记，输出所述待搬运物体的搬运插入孔的位置信息。

在具体的应用场景中，发送模块33，具体可用于根据所述物体信息，确定所述待搬运物体的外形信息和重心信息；依据所述外形信息、所述重心信息和所述位置信息，并结合当前可用的至少一机器人的机器人信息，规划所需使用的至少一目标机器人，以及所述至少一目标机器人各自对应的搬运插入孔；向所述至少一目标机器人分别发送控制指令，以便控制所述至少一目标机器人的前置连接头插入各自对应的搬运插入孔。

在具体的应用场景中，发送模块33，具体还可用于设置所述至少一机器人中的主从关系，所述主从关系为一主机器人与至少一从机器人的关系，其中，所述主机器人为负责牵引搬运的机器人，所述从机器人为配合所述主机器人进行搬运的机器人。

需要说明的是，本实施例提供的一种多机器人的协作控制配置装置所涉及各功能单元的其它相应描述，可以参考图1至图2中的对应描述，在此不再赘述。

基于上述如图1和图2所示方法，相应的，本实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1和图2所示的多机器人的协作控制方法。

基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景的方法。

基于上述如图1、图2所示的方法，以及图4所示的虚拟装置实施例，为了实现上述目的，本实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该实体设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1和图2所示的多机器人的协作控制方法。

可选的，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。

本领域技术人员可以理解，本实施例提供的计算机设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述实体设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。通过应用本实施例的技术方案，将多台机器人协作与搬运系统相结合的方式，设计了一款搬运机器人及相应的编队控制与调度控制方案，该方案可用于室内室外、大小规模的搬运场景。与现有通过人工控制多机器人协作的方式相比，可代替人工操控方式，可实现精准的多台机器人的协作控制，减少控制偏差，进而可避免抬起的容器坠落、或者根本无法抬起该容器等情况发生，可满足具体的搬运需求。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种多机器人的协作控制方法，其特征在于，包括：

获取待搬运物体的物体信息以及当前可用的至少一机器人的机器人信息；

根据所述物体信息，识别所述待搬运物体的搬运插入孔的位置信息；

依据所述位置信息和所述机器人信息，分别向所述至少一机器人发送控制指令，以便控制所述至少一机器人的前置连接头一一插入对应的所述搬运插入孔；

若确定所述至少一机器人均插入各自对应的所述搬运插入孔，则分别向所述至少一机器人发送指示搬运的指令。

2.根据权利要求1所述的方法，其特征在于，所述根据所述物体信息，识别所述待搬运物体的搬运插入孔的位置信息，具体包括：

对所述待搬运物体的搬运插入孔进行图像识别，得到识别图像信息；

根据所述识别图像信息，并结合不同的识别条件下对样本搬运插入孔的位置识别信息，确定所述待搬运物体的搬运插入孔的位置信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述识别图像信息，并结合不同的识别条件下对样本搬运插入孔的位置识别信息，确定所述待搬运物体的搬运插入孔的位置信息，具体包括：

根据不同的识别条件下对样本搬运插入孔的位置识别信息，训练得到识别模型，其中，所述识别条件至少包括拍摄角度、和/或拍摄距离、和/或拍摄时的光线强度、和/或拍摄时的天气、和/或拍摄时的时间；

以所述识别图像信息为输入参数，利用所述识别模型计算得到所述待搬运物体的搬运插入孔的位置信息。

4.根据权利要求3所述的方法，其特征在于，所述根据不同识别条件下对样本搬运插入孔的位置识别信息，训练得到识别模型，具体包括：

统计不同的识别条件下样本搬运插入孔的样本图像信息，以及所述样本图像信息各自对应的插入孔位置标记；

创建训练集，所述训练集中包含所述样本图像信息与所述插入孔位置标记之间的映射关系；

基于所述训练集，利用MobileNet-SSD算法训练得到MobileNet-SSD模型。

5.根据权利要求4所述的方法，其特征在于，所述以所述识别图像信息为输入参数，利用所述识别模型计算得到所述待搬运物体的搬运插入孔的位置信息，具体包括：

将所述识别图像信息输入到所述MobileNet-SSD模型中，以便获取与所述识别图像信息对应相似度大于预设阈值的目标样本图像信息，以及与所述目标样本图像信息对应的目标插入孔位置标记；

利用所述目标插入孔位置标记，输出所述待搬运物体的搬运插入孔的位置信息。

6.根据权利要求1所述的方法，其特征在于，依据所述位置信息和所述机器人信息，分别向所述至少一机器人发送控制指令，以便控制所述至少一机器人的前置连接头一一插入对应的所述搬运插入孔，具体包括：

根据所述物体信息，确定所述待搬运物体的外形信息和重心信息；

依据所述外形信息、所述重心信息和所述位置信息，并结合当前可用的至少一机器人的机器人信息，规划所需使用的至少一目标机器人，以及所述至少一目标机器人各自对应的搬运插入孔；

向所述至少一目标机器人分别发送控制指令，以便控制所述至少一目标机器人的前置连接头一一插入对应的搬运插入孔。

7.根据权利要求1所述的方法，其特征在于，所述若确定所述至少一机器人均插入各自对应的所述搬运插入孔，则分别向所述至少一机器人发送指示搬运的指令，具体包括：

设置所述至少一机器人中的主从关系，所述主从关系为一主机器人与至少一从机器人的关系，其中，所述主机器人为负责牵引搬运的机器人，所述从机器人为配合所述主机器人进行搬运的机器人。

8.一种多机器人的协作控制装置，其特征在于，包括：

获取模块，用于获取待搬运物体的物体信息以及当前可用的至少一机器人的机器人信息；

识别模块，用于根据所述物体信息，识别所述待搬运物体的搬运插入孔的位置信息；

发送模块，用于依据所述位置信息和所述机器人信息，分别向所述至少一机器人发送控制指令，以便控制所述至少一机器人的前置连接头一一插入对应的所述搬运插入孔；

所述发送模块，还用于若确定所述至少一机器人均插入各自对应的所述搬运插入孔，则分别向所述至少一机器人发送指示搬运的指令。

9.一种非易失性可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至7中任一项所述的多机器人的协作控制方法。

10.一种计算机设备，包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7中任一项所述的多机器人的协作控制方法。

Images