CN114415731B - 多飞行机器人协同作业方法、装置、电子设备和存储介质 - Google Patents

多飞行机器人协同作业方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114415731B
CN114415731B CN202210300427.8A CN202210300427A CN114415731B CN 114415731 B CN114415731 B CN 114415731B CN 202210300427 A CN202210300427 A CN 202210300427A CN 114415731 B CN114415731 B CN 114415731B
Authority
CN
China
Prior art keywords
flying
target object
robot
robots
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210300427.8A
Other languages
English (en)
Other versions
CN114415731A (zh
Inventor
杨鹏
王豪
刘振
黄秀韦
张立华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202210300427.8A priority Critical patent/CN114415731B/zh
Publication of CN114415731A publication Critical patent/CN114415731A/zh
Application granted granted Critical
Publication of CN114415731B publication Critical patent/CN114415731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying

Abstract

本发明涉及机器人控制领域，具体为一种多飞行机器人协同作业方法、装置、电子设备和存储介质。该多飞行机器人协同作业方法包括步骤：获取目标物体的三维信息，三维信息包括目标物体尺寸信息和目标物体坐标信息；根据三维信息计算飞行机器人数量、各个飞行机器人的作业位置和搬运力；根据飞行机器人数量和各个飞行机器人的搬运力，构建协同作业约束模型；根据协同作业约束模型，控制所有飞行机器人飞行到对应的作业位置；控制各个机械臂协同抓取目标物体；控制飞行机器人携带目标物体沿飞行路径抵达指定位置，本发明协同控制多个飞行机器人并构建约束模型干预其行为，以使实现稳定且安全的空中搬运作业。

Description

多飞行机器人协同作业方法、装置、电子设备和存储介质
技术领域
本发明涉及机器人控制领域，具体涉及一种多飞行机器人协同作业方法、装置、电子设备和存储介质。
背景技术
随着机器人技术及飞行控制技术的快速发展与日益成熟，飞行机器人在越来越多的领域中得到了广泛应用。作业型飞行机器人是一种将多旋翼飞行器与作业装置（多自由度机械臂）相结合的具备空中主动作业能力的新型机器人。该机器人因机动性强、灵活性高、具备悬停能力等特点，可以迅速到达地面机器人和人类难以进入的高危复杂环境中执行作业任务，包括高空障碍物清除、危险物品转移、人类不可到达地区物品采样等。
实际应用时，许多空中作业场景中单个飞行机器人有限的飞行能力和承载能力已无法满足过于繁重的日常空中作业任务，因此往往需要两个或多个飞行机器人进行空中协同作业，从而有效地完成空中工作任务，例如大型物体搬运、大范围地图三维建模、大范围抗震救灾等，然而目前现有技术局限于对单个飞行机器人进行控制，对于多个飞行机器人则无法实现更稳定、更安全的协同控制。
因此，现有技术有待改进和发展。
发明内容
本发明的目的在于提供一种多飞行机器人协同作业方法、装置、电子设备和存储介质，通过在多个飞行机器人之间构建协同作业约束模型进而实现更稳定和更安全的控制。
第一方面，本申请提供一种多飞行机器人协同作业方法，用于飞行机器人的控制系统，以控制多个飞行机器人协同搬运目标物体；所述飞行机器人上设置有机械臂和深度相机，所述多飞行机器人协同作业方法包括以下步骤：
S1.获取所述目标物体的三维信息，所述三维信息包括目标物体尺寸信息和目标物体坐标信息；
S2.根据所述三维信息计算飞行机器人数量、各个所述飞行机器人的作业位置和搬运力；
S3.根据所述飞行机器人数量和各个所述飞行机器人的搬运力，构建协同作业约束模型；
S4.根据所述协同作业约束模型，控制所有所述飞行机器人飞行到对应的作业位置；
S5.控制各个机械臂协同抓取所述目标物体；
S6.控制所述飞行机器人携带所述目标物体沿飞行路径抵达指定位置。
通过设置协同作业约束模型，多个飞行机器人的运动受该模型约束，能够有效防止飞行机器人作业期间因意外因素（例如错误指令、外界干扰等）导致发生作业事故。
进一步的，步骤S1的具体步骤包括：
S11.获取所述目标物体的深度图像；
S12.从所述深度图像中提取出目标物体图像；
S13.根据所述目标物体图像获取所述目标物体尺寸信息；
S14.根据所述目标物体图像，获取所述目标物体在相机坐标系下的位置信息，并把所述位置信息转换为大地坐标系下的所述目标物体坐标信息。
拍摄深度图像即能够获取相机坐标系下的目标物体的坐标信息，再将其坐标转换为大地坐标系下的坐标，能够快速获得适用于飞行机器人抓取的坐标信息，其算法简单，操作简便快捷。
进一步的，步骤S2的具体步骤包括：
S21.根据所述目标物体尺寸信息和所述目标物体坐标信息，获取所述目标物体的总质量和质心坐标信息；
S22.根据所述目标物体的总质量和单个飞行机器人的最大提升载荷量，计算出所需的所述飞行机器人的最少数量；
S23.根据所述最少数量确定所述飞行机器人数量；
S24.基于所述飞行机器人数量，计算各个所述飞行机器人的搬运力。
根据目标物体的尺寸和质量，经计算预先确定飞行机器人的数量，有利于避免过多的飞行机器人搬运目标物体导致资源浪费。
进一步的，步骤S23之后还包括步骤：
S25.以所述目标物体的质心为中心布置多个作业位置，所述作业位置的数量与所述飞行机器人数量相同。
作业位置根据质心分布，能够避免升空时目标物体失去平衡导致坠落。
进一步的，所述协同作业约束模型包括：
a.性能约束：
Figure 924633DEST_PATH_IMAGE001
；
Figure 45036DEST_PATH_IMAGE002
；
其中，
Figure 510259DEST_PATH_IMAGE003
为第
Figure 46414DEST_PATH_IMAGE004
个飞行机器人最大外负载提升力，
Figure 313316DEST_PATH_IMAGE005
为所述目标物体 的总质量，
Figure 401358DEST_PATH_IMAGE006
为重力加速度，
Figure 606074DEST_PATH_IMAGE007
为所述飞行机器人数量，
Figure 493390DEST_PATH_IMAGE008
为所述飞行机器人的搬运力；
b.空间约束：
Figure 99951DEST_PATH_IMAGE009
；
其中，
Figure 280266DEST_PATH_IMAGE010
为两个所述飞行机器人之间协同作业的最小安全距离，
Figure 237858DEST_PATH_IMAGE011
为两个所 述飞行机器人之间协同作业的最大安全距离，
Figure 666215DEST_PATH_IMAGE012
为第
Figure 330545DEST_PATH_IMAGE004
个飞行机器人与第
Figure 212920DEST_PATH_IMAGE013
个飞行机器人 之间的距离；
c.环境约束：
Figure 392228DEST_PATH_IMAGE014
；
Figure 932931DEST_PATH_IMAGE015
；
Figure 264817DEST_PATH_IMAGE016
；
其中，
Figure 803246DEST_PATH_IMAGE017
为飞行机器人在大地坐标系中沿
Figure 719118DEST_PATH_IMAGE018
轴靠近大地坐标系原点的边界，
Figure 735616DEST_PATH_IMAGE019
为飞行机器人在大地坐标系中沿
Figure 919079DEST_PATH_IMAGE018
轴远离大地坐标系原点的边界，
Figure 831672DEST_PATH_IMAGE020
为第
Figure 234840DEST_PATH_IMAGE004
个飞行 机器人在大地坐标系中的
Figure 55028DEST_PATH_IMAGE018
轴坐标，
Figure 673092DEST_PATH_IMAGE021
为飞行机器人在大地坐标系中沿
Figure 569635DEST_PATH_IMAGE022
轴靠近大地坐 标系原点的边界，
Figure 148515DEST_PATH_IMAGE023
为飞行机器人在大地坐标系中沿
Figure 21662DEST_PATH_IMAGE022
轴远离大地坐标系原点的边界，
Figure 759810DEST_PATH_IMAGE024
为第
Figure 810943DEST_PATH_IMAGE004
个飞行机器人在大地坐标系中的
Figure 681379DEST_PATH_IMAGE022
轴坐标，
Figure 46633DEST_PATH_IMAGE025
为飞行机器人在大地坐标系中 沿
Figure 91818DEST_PATH_IMAGE026
轴靠近大地坐标系原点的边界，
Figure 313852DEST_PATH_IMAGE027
为飞行机器人在大地坐标系中沿
Figure 618057DEST_PATH_IMAGE026
轴远离大地坐 标系原点的边界，
Figure 849318DEST_PATH_IMAGE028
为第
Figure 296480DEST_PATH_IMAGE004
个飞行机器人在大地坐标系中的
Figure 673103DEST_PATH_IMAGE026
轴坐标；
d.时间约束：
Figure 776188DEST_PATH_IMAGE029
；
其中，
Figure 231047DEST_PATH_IMAGE030
为所述飞行机器人之间协同作业需要的最短时间间隔，
Figure 735978DEST_PATH_IMAGE031
为第
Figure 362131DEST_PATH_IMAGE004
个飞行机器人和第
Figure 936201DEST_PATH_IMAGE013
个飞行机器人之间协同作业时间间隔，
Figure 509265DEST_PATH_IMAGE032
为所述飞行机器人之间 协同作业需要的最长时间间隔。
进一步的，步骤S4的具体步骤包括：
S41.获取所有所述作业位置的坐标信息；
S42.获取各个所述作业位置对应在所述目标物体上的抓取点的坐标信息；
S43.将各个所述作业位置的坐标信息和各个抓取点的坐标信息分配到各个所述飞行机器人；
S44.控制各个所述飞行机器人按所分配的作业位置的坐标信息移动到对应的作业位置上。
进一步的，步骤S5的具体步骤包括：
S51.基于各个所述飞行机器人的作业位置的坐标信息，根据以下公式求解各个机械臂末端相对于飞行机器人的位置：
Figure 822697DEST_PATH_IMAGE033
；
其中，
Figure 557434DEST_PATH_IMAGE034
为第
Figure 353221DEST_PATH_IMAGE004
个飞行机器人的所述作业位置，
Figure 729976DEST_PATH_IMAGE035
为第
Figure 432002DEST_PATH_IMAGE004
个飞行机器人对应 的抓取点的位置，
Figure 72062DEST_PATH_IMAGE036
为第
Figure 620724DEST_PATH_IMAGE004
个飞行机器人的机体坐标系到所述大地坐标系的旋转矩阵，
Figure 270011DEST_PATH_IMAGE037
为第
Figure 823615DEST_PATH_IMAGE004
个机械臂末端相对于飞行机器人的位置；
S52.根据各个机械臂末端相对于飞行机器人的位置，控制各个所述机械臂协同抓取所述目标物体。
第二方面，本发明还提供了一种多飞行机器人协同作业装置，用于飞行机器人的控制系统，以控制多个飞行机器人协同搬运目标物体；所述飞行机器人上设置有机械臂和深度相机，所述多飞行机器人协同作业装置包括：
获取模块，用于获取所述目标物体的三维信息，所述三维信息包括目标物体尺寸信息和目标物体坐标信息；
计算模块，用于根据所述三维信息计算飞行机器人数量、各个所述飞行机器人的作业位置和搬运力；
构建模块，用于根据所述飞行机器人数量和各个所述飞行机器人的搬运力，构建协同作业约束模型；
第一控制模块，用于根据所述协同作业约束模型，控制所有所述飞行机器人飞行到对应的作业位置；
第二控制模块，用于控制各个机械臂协同抓取所述目标物体；
第三控制模块，用于控制所述飞行机器人携带所述目标物体沿飞行路径抵达指定位置。
通过约束多个飞行机器人之间的行为，有利于减少碰撞的发生，同时能够确保高空作业的安全性。
第三方面，本发明提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述多飞行机器人协同作业方法中的步骤。
第四方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述多飞行机器人协同作业方法中的步骤。
由上可知，本申请首先根据目标物体的外形和位置确定飞行机器人的所需数量，然后为该飞行机器人群组设定协同作业约束模型，飞行机器人的行为受模型所约束，对飞行机器人的所有控制都需要符合约束才能被执行，因此能够有效避免因发送错误指令或因受外界干扰导致飞行机器人产生异常行为以致作业事故的发生，进而使多个机器人在搬运同一个目标物体时，能够实现更加稳定和安全的作业。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1为本申请实施例提供的多飞行机器人协同作业方法的一种流程图。
图2为本申请实施例飞行机器人的结构示意图。
图3为本申请实施例多个飞行机器人的控制系统结构示意图。
图4为本申请实施例两个飞行机器人协同搬运目标物体的示意图。
图5为本申请实施例三个飞行机器人协同搬运目标物体的示意图。
图6为本申请实施例多飞行机器人协同作业装置的一种结构示意图。
图7为本申请实施例提供的电子设备的结构示意图。
标号说明：
100、多旋翼飞行平台；110、深度相机；120、电池模块；130、激光雷达；140、螺旋桨；150、无刷电机；160、电子调速器；170、起落架；180、控制中心；200、机械臂；210、作业夹爪；220、前臂；230、上臂；240、关节电机；310、一级控制系统；311、数据接收单元；312、数据处理单元；313、数据存储单元；314、指令发送单元；320、次级控制系统；321、控制单元；322、飞行器单元；323、机械臂单元；324、监测单元；400、获取模块；500、计算模块；600、构建模块；700、第一控制模块；800、第二控制模块；900、第三控制模块；1301、处理器；1302、存储器；1303、通信总线。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
如图1所示，在某些实施例中，一种多飞行机器人协同作业方法，用于飞行机器人的控制系统，以控制多个飞行机器人协同搬运目标物体；飞行机器人上设置有机械臂和深度相机，包括步骤：
S1.获取目标物体的三维信息，三维信息包括目标物体尺寸信息和目标物体坐标信息；
S2.根据三维信息计算飞行机器人数量、各个飞行机器人的作业位置和搬运力；
S3.根据飞行机器人数量和各个飞行机器人的搬运力，构建协同作业约束模型；
S4.根据协同作业约束模型，控制所有飞行机器人飞行到对应的作业位置；
S5.控制各个机械臂协同抓取目标物体；
S6.控制飞行机器人携带目标物体沿飞行路径抵达指定位置。
本实施例中，参考附图2，飞行机器人包括：
多旋翼飞行平台100，深度相机110安装在多旋翼飞行平台100中，多旋翼飞行平台100还包括电池模块120、激光雷达130、螺旋桨140、无刷电机150、电子调速器160、起落架170、控制中心180；深度相机110和激光雷达130均用于获取飞行机器人周围环境的三维信息，以为控制系统提供图像信息和数据信息；起落架170通过舵机控制能够进行下降和抬升动作，起落架170抬升时，能够有效拓宽机械臂的作业空间，有利于机械臂灵活作业；控制中心180集成了气压计、IMU、GPS和多种传感器，用于确保飞行机器人和机械臂均能够在协同约束模型的规定下实现稳定有效的控制。
机械臂200，机械臂200包括作业夹爪210、前臂220、上臂230和多个关节电机240，作业夹爪210、前臂220和上臂230之间均安装有关节电机240，通过控制关节电机240以实现对作业夹爪210、前臂220和上臂230的控制。
需要说明的是，根据不同的作业场景，机械臂200不仅限于单臂机械臂，也可以是多臂机械臂，例如双臂机械臂，但不仅限于此；作业夹爪210也不仅限于夹钳式的夹爪，也可以是气吸式吸盘、磁吸式吸盘，但不仅限于此。
本实施例中，参考附图3，多个飞行机器人的控制系统包括一级控制系统310和配置在各个飞行机器人（例如图3中的飞行机器人1至飞行机器人N）上的次级控制系统320。在获得搬运任务后，一级控制系统310根据获取的数据计算出作业所需的飞行机器人数量、各个飞行机器人的作业位置和搬运力，并构建出协同作业约束模型，经过一级控制系统310的分配，各个飞行机器人的次级控制系统320均获取到对应的作业位置、所需的搬运力以及协同作业约束模型的规定，次级控制系统320在运行时时刻满足于协同作业约束模型。
进一步的，一级控制系统310包括：
数据接收单元311，用于接收各个飞行机器人从空中发送回来的信息，包括各次级控制系统320中飞行器状态信息、机械臂状态信息、以及深度相机、激光雷达所检测的周围环境信息等，接收内容包括视频数据、图片数据、传感器数据、系统状态数据等。
数据处理单元312，用于对接收到的信息进行处理，包括检测各个次级控制系统320是否存在异常，计算各个次级控制系统320是否满足协同作业约束模型等，数据处理后生成各个次级控制系统320下一步的作业指令。
数据存储单元313，用于对各个次级控制系统320对应的飞行机器人的工作状态信息进行存储，操作者可以通过手机或者线路访问一级控制系统310，对空中协同作业的数据实时情况进行了解与可视化。
指令发送单元314，用于给所有次级控制系统320发送作业指令，用于协同控制所有飞行机器人空中作业之间的配合。指令发送单元314通过无线数传将指令信号从地面端发送给空中各个飞行机器人。
进一步的，次级控制系统320包括：控制单元321、飞行器单元322、机械臂单元323和监测单元324。
其中，控制单元321包括：
飞行控制模块，用于控制多个螺旋桨140的运动，当次级控制系统320获得作业位置后，飞行控制模块将依据获得的作业位置进行飞行路径规划。获得各个无刷电机150需要的运动信息后，飞行控制模块通过输出电机信号来驱动无刷电机150运行。在飞行机器人运动的同时，飞行控制模块将实时进行飞行器的位置信息检测并进行调整，以使得飞行器安全、稳定的运行。
机械臂控制模块，用于控制机械臂200的运动，当次级控制系统接收到抓取点信息后，机械臂控制模块将依据获得的信息进行运动轨迹规划。获得各个关节电机需要的运动信息后，机械臂控制模块通过输出电机信号来驱动各个关节电机运行。在作业机械臂运动的同时，机械臂控制模块将实时进行机械臂的状态信息检测并进行调整，以使得机械臂安全、稳定的运行。
飞行器单元322用于执行飞行机器人空中飞行功能；机械臂单元323用于执行飞行机器人机械臂作业功能；监测单元324包括深度相机、激光雷达、多种传感器等，用于飞行机器人系统检测异常信息，以保障空中作业的顺利。
本实施例中，利用飞行机器人通过高空作业，实现地形的跨越，飞行机器人在对各种地区进行搬运任务时不再受地形所限制，同时还能够执行高空搬运工作，拥有较高的适用性和实用性，而协同控制多个飞行机器人，能够进一步实现搬运较重较大的物体，同时飞行搬运在高空中几乎没有遮挡，能够实现两点一线的直线搬运路线，大大提高了搬运效率。
本实施例中，为了减少资源浪费，在搬运开始前需要取得目标物体的尺寸信息和坐标信息，尺寸信息包括目标物体中各个部分的所有尺寸数值，如孔径、孔深、弧度和棱边长度等；坐标信息包括目标物体中各个部分的所有轮廓边线上每个点在大地坐标系下的坐标值；根据尺寸信息和坐标信息确定搬运该目标物体所需的飞行机器人数量、作业位置和搬运力，进一步的，因为需要协同控制多个飞行机器人，其控制量大且难度较高，为了避免因操作者意外下发错误的指令导致飞行机器人之间相互碰撞，或与外界物体（例如树木、电线杆或建筑等）刮擦以致损坏，通过构建协同作业约束模型限制飞行机器人的行动，例如规定飞行机器人之间的最小距离，当距离传感器监测两个飞行机器人之间距离过近时，则自动控制所有机器人进入悬停状态，处于悬停状态后再由用户或系统对该两个飞行机器人进行位置调整，调整至符合协同作业约束模型的规定后方可继续进行作业。
需要说明的是，协同作业约束模型适用在整个作业过程，包括控制飞行机器人移动到作业位置、飞行机器人携带目标物体的飞行过程等都需要时刻符合协同作业约束模型的规定，各个飞行机器人上均布置有对应的传感器实现实时监测，确保整个作业过程飞行机器人的稳定性和安全性。
进一步的，步骤S1的具体步骤包括：
S11.获取目标物体的深度图像；
S12.从深度图像中提取出目标物体图像；
S13.根据目标物体图像获取目标物体尺寸信息；
S14.根据目标物体图像，获取目标物体在相机坐标系下的位置信息，并把位置信息转换为大地坐标系下的目标物体坐标信息。
本实施例中，为了确保能够顺利实现搬运，在执行搬运任务前，需要先派遣多架飞行机器人前往目标物体的位置，围绕目标物体利用深度相机拍摄多个视角的深度图像，因为深度图像中目标物体的坐标是基于相机坐标系的，因此为了顺利使机械臂准确抓取到目标物体，需要将目标物体在相机坐标下的位置信息转换为大地坐标系下的目标物体坐标信息（相机坐标系在大地坐标系下都能够找到明确的相对位置，因此不同位置拍摄的深度图像中目标物体的所有点线面都能够被转换，此为现有技术，在此不再赘述）。
同时，拍摄所得的深度图像中包含有目标物体和其他背景元素，为了提高抓取的准确率，采用分隔策略（现有技术，不再赘述）从深度图像中将目标物体从其他复杂的背景元素中区分出来，从而得到仅包含目标物体的目标物体图像。
需要说明的是，经深度相机拍摄所得的深度图像中各个像素点均包含对应的坐标值，为现有技术，在此不再赘述。
在某些实施例中，步骤S2的具体步骤包括：
S21.根据目标物体尺寸信息和目标物体坐标信息，获取目标物体的总质量和质心坐标信息；
S22.根据目标物体的总质量和单个飞行机器人的最大提升载荷量（此为飞行机器人本身的性能参数，反映飞行机器人所能提升的最大重量），计算出所需的飞行机器人的最少数量；
S23.根据最少数量确定飞行机器人数量；
S24.基于飞行机器人数量，计算各个飞行机器人的搬运力。
本实施例中，根据目标物体的尺寸信息和坐标信息，利用微元法（现有技术，不再赘述）计算目标物体的各个部分的体积，然后通过引入目标物体的质量密度（例如，可根据目标物体的种类预先通过统计方法得到该类物体的质量密度，工作时根据目标物体的种类查询得到该质量密度，但不限于此），从而计算出目标物体的各个部分的质量，进而获得目标物体的总质量，而根据目标物体的各个部分的质量和尺寸即能够通过计算获得目标物体的质心位置（即在大地坐标系中的质心坐标）。
然后根据目标物体的各个部分的质量、目标物体的总质量、目标物体的各个部分的尺寸、目标物体的整体尺寸和单个飞行机器人的最大提升载荷量，计算出所需的飞行机器人的最少数量。
例如在某些实施例中，所需的飞行机器人的最少数量=目标物体的总质量/单个飞行机器人的最大提升载荷量；
在实际应用时，最终确定的飞行机器人数量可以大于或等于最少数量；最少数量为刚好满足搬运需求，其资源利用率最高，但有可能存在部分飞行机器人电量不足，或意外损坏导致搬运期间整体的搬运力不足，有导致目标物体坠落的风险；因此用户可以留有一定裕度，配置数量稍微大于最少数量的飞行机器人（例如增多1、2个），有效防止因搬运力不足导致坠落的事故发生。
本实施例中，确定飞行机器人数量后，则根据以下公式计算各个飞行机器人的搬运力：
Figure 900155DEST_PATH_IMAGE038
；
其中，
Figure 873796DEST_PATH_IMAGE039
为各个飞行机器人的搬运力，
Figure 61195DEST_PATH_IMAGE040
为目标物体的总质量，
Figure 731954DEST_PATH_IMAGE041
为重力加速 度，
Figure 244975DEST_PATH_IMAGE042
为飞行机器人数量。
在某些实施例中，参考附图4和附图5，步骤S23之后还包括步骤：
S25.以目标物体的质心为中心布置多个作业位置，作业位置的数量与飞行机器人数量相同。
本实施例中，依据目标物体质心位置，以目标物体质心位置为中心布置飞行机器人作业位置，例如附图4中的目标物体呈棒状，则作业位置可以设置在两端点处；又例如附图5中的目标物体呈三角形，则作业位置可以设置在三个角位；又例如目标物体呈正方体，从俯视角度观察，目标物体的四条棱边均布置有相同数量（也可以是不同数量）的作业位置（如各个棱边外侧都有2个作业位置，则共有8个作业位置）；又例如目标物体呈球体，则作业位置可以绕球心（即质心）均匀环布，则从俯视角度观察，各个作业位置绕目标物体的圆心均匀环布；又例如目标物体呈不规则形状，则从俯视角度观察，各个作业位置分部于目标物体的外轮廓的周边。以目标物体质心为中心合理布置作业位置能够有效保证机械臂提升物体时的稳定性，增加搬运时的稳定性。
在实际应用时，多飞行机器人对目标物体进行空中协同作业涉及到众多条件因素，因此需要正确处理飞行机器人之间的多种约束关系，在满足飞行机器人性能要求的前提下，进一步实现空中各个飞行机器人之间的相互配合，避免在飞行作业过程中对彼此产生碰撞威胁，规避环境威胁，以保证最终顺利完成作业任务。
因此，在某些实施例中，协同作业约束模型包括：
a.性能约束：
Figure 581279DEST_PATH_IMAGE001
；
Figure 87215DEST_PATH_IMAGE002
；
其中，
Figure 864678DEST_PATH_IMAGE003
为第
Figure 237016DEST_PATH_IMAGE004
个飞行机器人最大外负载提升力，
Figure 732719DEST_PATH_IMAGE005
为目标物体的总 质量，
Figure 511189DEST_PATH_IMAGE006
为重力加速度，
Figure 736633DEST_PATH_IMAGE007
为飞行机器人数量，
Figure 325878DEST_PATH_IMAGE008
为飞行机器人的搬运力；
b.空间约束：
Figure 339837DEST_PATH_IMAGE009
；
其中，
Figure 875992DEST_PATH_IMAGE010
为两个飞行机器人之间协同作业的最小安全距离，
Figure 877315DEST_PATH_IMAGE011
为两个飞行机 器人之间协同作业的最大安全距离，
Figure 230936DEST_PATH_IMAGE012
为第
Figure 701232DEST_PATH_IMAGE004
个飞行机器人与第
Figure 791810DEST_PATH_IMAGE013
个飞行机器人之间的距 离；
c.环境约束：
Figure 132792DEST_PATH_IMAGE014
；
Figure 844265DEST_PATH_IMAGE015
；
Figure 864174DEST_PATH_IMAGE016
；
其中，
Figure 804448DEST_PATH_IMAGE017
为飞行机器人在大地坐标系中沿
Figure 216581DEST_PATH_IMAGE018
轴靠近大地坐标系原点的边界，
Figure 584109DEST_PATH_IMAGE019
为飞行机器人在大地坐标系中沿
Figure 747106DEST_PATH_IMAGE018
轴远离大地坐标系原点的边界，
Figure 491071DEST_PATH_IMAGE020
为第
Figure 400121DEST_PATH_IMAGE004
个飞行 机器人在大地坐标系中的
Figure 689282DEST_PATH_IMAGE018
轴坐标，
Figure 355887DEST_PATH_IMAGE021
为飞行机器人在大地坐标系中沿
Figure 824914DEST_PATH_IMAGE022
轴靠近大地坐 标系原点的边界，
Figure 526154DEST_PATH_IMAGE023
为飞行机器人在大地坐标系中沿
Figure 297801DEST_PATH_IMAGE022
轴远离大地坐标系原点的边界，
Figure 470943DEST_PATH_IMAGE024
为第
Figure 494394DEST_PATH_IMAGE004
个飞行机器人在大地坐标系中的
Figure 33828DEST_PATH_IMAGE022
轴坐标，
Figure 179639DEST_PATH_IMAGE025
为飞行机器人在大地坐标系中 沿
Figure 883153DEST_PATH_IMAGE026
轴靠近大地坐标系原点的边界，
Figure 257765DEST_PATH_IMAGE027
为飞行机器人在大地坐标系中沿
Figure 668017DEST_PATH_IMAGE026
轴远离大地坐 标系原点的边界，
Figure 906101DEST_PATH_IMAGE028
为第
Figure 34594DEST_PATH_IMAGE004
个飞行机器人在大地坐标系中的
Figure 524481DEST_PATH_IMAGE026
轴坐标；
d.时间约束：
Figure 802622DEST_PATH_IMAGE029
；
其中，
Figure 227918DEST_PATH_IMAGE030
为飞行机器人之间协同作业需要的最短时间间隔，
Figure 92975DEST_PATH_IMAGE043
为第
Figure 120974DEST_PATH_IMAGE004
个飞行机 器人和第
Figure 240240DEST_PATH_IMAGE013
个飞行机器人之间协同作业时间间隔，
Figure 649486DEST_PATH_IMAGE032
为飞行机器人之间协同作业需要 的最长时间间隔。
本实施例中，性能约束中需满足各个飞行机器人的最大外负载提升力之和，大于目标物体的总重力，这是保证飞行机器人能进行目标物体空中提升的作业性能保障。需要说明的是，
Figure 690255DEST_PATH_IMAGE044
；其中
Figure 708895DEST_PATH_IMAGE045
为最大提升载荷量，为了确保飞行机器人能够协同提升目标物体，计算出飞行机器人的搬运力后，根据该搬运力对飞行机器人进行选型，所选择的飞行机器人的最大外负载提升力需要大于该搬运力。
空间约束中飞行机器人之间的距离指的是任一个飞行机器人机体的中心位置到另一个飞行机器人机体的中心位置之间的距离。完成空中协同作业任务需要保证飞行机器人之间具有相对合理有效的空间距离。即首先距离不能太远，要确保多机之间能够相互配合；其次距离也不能太近，应保持相对安全距离防止邻近飞行机器人之间因为过于拥挤而发生碰撞（例如最小安全距离为0.5m，最大安全距离为1m，但不仅限于此，根据实际应用情况调整）。
环境约束中各飞行机器人进行协同作业飞行时，需要利用自身搭载的深度相机、 激光雷达等检测设备对飞行环境的相关信息进行感知，并根据感知的三维环境信息通过控 制系统对协同作业中的飞行路径实时进行调节，环境约束界定了各个飞行机器人的实时飞 行空间，因为飞行机器人在飞行过程中自身在大地坐标系下的位置坐标会时刻改变，因而 环境约束中界定的范围（对应为飞行空间）对应的坐标值也是时刻改变的，然而根据界定的 范围所划定的飞行空间大小不变，例如，假设第
Figure 682667DEST_PATH_IMAGE046
个飞行机器人所界定的空间范围为：
Figure 839979DEST_PATH_IMAGE047
，
Figure 906725DEST_PATH_IMAGE048
，
Figure 151892DEST_PATH_IMAGE049
，即界定出的飞行空间呈1立方米的立方体，且第
Figure 760597DEST_PATH_IMAGE046
个飞行机器人位于该立方体的中心，当第
Figure 823231DEST_PATH_IMAGE046
个飞行机器人意外超出界定的空间范围时（例如 失速、急停或过大的起步加速度等情况会导致该现象发生），则违反协同作业约束模型，此 时一级控制系统310接收到各个飞行机器人发送的信息控制各个飞行机器人暂停作业，经 排查分析后，直至满足协同作业约束模型的规定才重新向各个飞行机器人的次级控制系统 320发送恢复作业的指令，以确保在复杂的飞行环境中进行安全有效的协同作业飞行。
时间约束中，飞行机器人之间协同作业时间间隔指的是任一个飞行机器人的机械 臂开始作业时，到另一个飞行机器人的机械臂也开始作业时之间的时间间隔，即时间约束 规定了另一个飞行机器人的机械臂需要在
Figure 635329DEST_PATH_IMAGE030
与
Figure 700500DEST_PATH_IMAGE050
的时间范围内（例如5ms-10ms、 1s-2s等，但不仅限于此，根据实际应用情况调整）开始进行作业，从而确保各个飞行机器人 之间对目标物体进行作业时，在时间维度上保持相应配合，以便顺利完成协同作业。
在某些实施例中，步骤S4的具体步骤包括：
S41.获取所有作业位置的坐标信息；
S42.获取各个作业位置对应在目标物体上的抓取点的坐标信息（抓取点可以根据所获取的目标物体的三维信息进行预先设定，或利用现有的算法，例如特征识别算法等，根据图像识别出目标物体上能作为抓取点的特征，例如吊钩、卡扣等，参考附图4和附图5，抓取点可以为目标物体的端点、角点等）；
S43.将各个作业位置的坐标信息和各个抓取点的坐标信息分配到各个飞行机器人；
S44.控制各个飞行机器人按所分配的作业位置的坐标信息移动到对应的作业位置上。本实施例中，抓取点的坐标信息可以通过目标物体坐标信息获得，因此抓取点坐标的参考坐标系为大地坐标系，例如目标物体上设有吊环，则能够根据目标物体坐标信息获得该吊环的具体坐标，从而实现准确抓取。
各个飞行机器人根据获得的作业位置的坐标信息，飞向各自的作业位置上，此过程中将会通过飞行机器人搭载的激光雷达以及深度相机实时检测机体与目标物体是否满足安全作业距离，如果检测出某一飞行机器人不满足安全作业距离，则通过一级控制系统310调整该次级控制系统320，直至满足安全作业要求距离。
需要说明的是，飞行机器人移动到作业位置上其路径规划和导航均为现有技术，在此不再赘述。
在某些实施例中，步骤S5的具体步骤包括：
S51.基于各个飞行机器人的作业位置的坐标信息，根据以下公式求解各个机械臂末端相对于飞行机器人的位置：
Figure 648864DEST_PATH_IMAGE033
；
其中，
Figure 69350DEST_PATH_IMAGE034
为第
Figure 431061DEST_PATH_IMAGE004
个飞行机器人的作业位置，
Figure 80348DEST_PATH_IMAGE035
为第
Figure 99863DEST_PATH_IMAGE004
个飞行机器人对应的抓 取点的位置，
Figure 176404DEST_PATH_IMAGE036
为第
Figure 212362DEST_PATH_IMAGE004
个飞行机器人的机体坐标系到大地坐标系的旋转矩阵，
Figure 727657DEST_PATH_IMAGE037
为第
Figure 916193DEST_PATH_IMAGE004
个机械臂末端相对于飞行机器人的位置；
S52.根据各个机械臂末端相对于飞行机器人的位置，控制各个机械臂协同抓取目标物体。
本实施例中，飞行机器人已到达作业位置上，一般处于悬停状态，在获得抓取点的位置信息后，即能够通过计算求解出机械臂末端相对于飞行机器人的位置，从而通过机械臂控制模块规划出运动轨迹（即机械臂末端的姿态），进而准确地控制机械臂末端抓取目标物体。
当各个机械臂均抓取目标物体后，次级控制系统320获取一级控制系统310发送的飞起指令，各个飞行机器人开始携带目标物体协同升空并按规划路线移动。整个移动过程中，各飞行机器人实时读取系统的气压计、IMU、GPS、以及各个传感器的信号，各次级控制系统320时刻进行检测是否存在异常信息，如果次级控制系统320存在异常信息则停止执行作业，等待降落指令，只有当次级控制系统320检测一切正常时才进入下一个作业环节。
空中飞行作业时将获取所有飞行机器人参数，为保障飞行安全，飞行机器人搭载的深度相机及传感器将实时检测周围环境的障碍物信息。通过导航定位系统计算出各个飞行机器人位置信息与目的地位置信息，并通过控制系统计算出各个飞行机器人与任务结束位置之间的空中飞行路径，飞行至结束位置的过程中需实时进行飞行机器人位姿控制。该过程将实时检测飞行机器人位置信息与机械臂作用力信息，通过机械臂控制模块来进行机械臂位置和姿态控制，作业过程中将控制机械臂末端的速度、位置以及方向等信息。该过程将持续进行判断各飞行机器人是否满足协同作业约束模型，只有当次级控制系统320检测满足协同作业约束模型时才进入下一个作业环节。当各个飞行机器人协同飞行抵达指定位置时，接收一级控制系统310的指令后机械臂释放目标物体，并准备降落，系统协同作业结束。
请参照图6，图6是本申请一些实施例中的一种多飞行机器人协同作业装置，用于飞行机器人的控制系统，以控制多个飞行机器人协同搬运目标物体；飞行机器人上设置有机械臂和深度相机，该多飞行机器人协同作业装置以计算机程序的形式集成在该多飞行机器人协同作业装置的后端控制设备中，该多飞行机器人协同作业装置包括：
获取模块400，用于获取目标物体的三维信息，三维信息包括目标物体尺寸信息和目标物体坐标信息；
计算模块500，用于根据三维信息计算飞行机器人数量、各个飞行机器人的作业位置和搬运力；
构建模块600，用于根据飞行机器人数量和各个飞行机器人的搬运力，构建协同作业约束模型；
第一控制模块700，用于根据协同作业约束模型，控制所有飞行机器人飞行到对应的作业位置；
第二控制模块800，用于控制各个机械臂协同抓取目标物体；
第三控制模块900，用于控制飞行机器人携带目标物体沿飞行路径抵达指定位置。
在某些实施例中，获取模块400用于在获取目标物体的三维信息，三维信息包括目标物体尺寸信息和目标物体坐标信息时，具体执行以下步骤：
S11.获取目标物体的深度图像；
S12.从深度图像中提取出目标物体图像；
S13.根据目标物体图像获取目标物体尺寸信息；
S14.根据目标物体图像，获取目标物体在相机坐标系下的位置信息，并把位置信息转换为大地坐标系下的目标物体坐标信息。
在某些实施例中，计算模块500用于在根据三维信息计算飞行机器人数量、各个飞行机器人的作业位置和搬运力时，具体执行以下步骤：
S21.根据目标物体尺寸信息和目标物体坐标信息，获取目标物体的总质量和质心坐标信息；
S22.根据目标物体的总质量和单个飞行机器人的最大提升载荷量，计算出所需的飞行机器人的最少数量；
S23.根据最少数量确定飞行机器人数量；
S24.基于飞行机器人数量，计算各个飞行机器人的搬运力。
在某些实施例中，计算模块500用于在根据最少数量确定飞行机器人数量之后还执行以下步骤：
S25.以目标物体的质心为中心布置多个作业位置，作业位置的数量与飞行机器人数量相同。
在某些实施例中，构建模块600中的协同作业约束模型包括：
a.性能约束：
Figure 117629DEST_PATH_IMAGE001
；
Figure 126036DEST_PATH_IMAGE002
；
其中，
Figure 631973DEST_PATH_IMAGE003
为第
Figure 737332DEST_PATH_IMAGE004
个飞行机器人最大外负载提升力，
Figure 421255DEST_PATH_IMAGE005
为目标物体的总 质量，
Figure 608303DEST_PATH_IMAGE006
为重力加速度，
Figure 403084DEST_PATH_IMAGE007
为飞行机器人数量，
Figure 549900DEST_PATH_IMAGE008
为飞行机器人的搬运力；
b.空间约束：
Figure 139145DEST_PATH_IMAGE009
；
其中，
Figure 450040DEST_PATH_IMAGE010
为两个飞行机器人之间协同作业的最小安全距离，
Figure 533665DEST_PATH_IMAGE011
为两个飞行机 器人之间协同作业的最大安全距离，
Figure 285720DEST_PATH_IMAGE012
为第
Figure 763975DEST_PATH_IMAGE004
个飞行机器人与第
Figure 234271DEST_PATH_IMAGE013
个飞行机器人之间的距 离；
c.环境约束：
Figure 853077DEST_PATH_IMAGE014
；
Figure 787535DEST_PATH_IMAGE015
；
Figure 984161DEST_PATH_IMAGE016
；
其中，
Figure 925442DEST_PATH_IMAGE017
为飞行机器人在大地坐标系中沿
Figure 68978DEST_PATH_IMAGE018
轴靠近大地坐标系原点的边界，
Figure 546358DEST_PATH_IMAGE019
为飞行机器人在大地坐标系中沿
Figure 976202DEST_PATH_IMAGE018
轴远离大地坐标系原点的边界，
Figure 155511DEST_PATH_IMAGE020
为第
Figure 883164DEST_PATH_IMAGE004
个飞行 机器人在大地坐标系中的
Figure 464318DEST_PATH_IMAGE018
轴坐标，
Figure 768128DEST_PATH_IMAGE021
为飞行机器人在大地坐标系中沿
Figure 372416DEST_PATH_IMAGE022
轴靠近大地坐 标系原点的边界，
Figure 169339DEST_PATH_IMAGE023
为飞行机器人在大地坐标系中沿
Figure 932896DEST_PATH_IMAGE022
轴远离大地坐标系原点的边界，
Figure 376647DEST_PATH_IMAGE024
为第
Figure 546859DEST_PATH_IMAGE004
个飞行机器人在大地坐标系中的
Figure 570310DEST_PATH_IMAGE022
轴坐标，
Figure 375324DEST_PATH_IMAGE025
为飞行机器人在大地坐标系中 沿
Figure 989976DEST_PATH_IMAGE026
轴靠近大地坐标系原点的边界，
Figure 693490DEST_PATH_IMAGE027
为飞行机器人在大地坐标系中沿
Figure 330751DEST_PATH_IMAGE026
轴远离大地坐 标系原点的边界，
Figure 678687DEST_PATH_IMAGE028
为第
Figure 605186DEST_PATH_IMAGE004
个飞行机器人在大地坐标系中的
Figure 655050DEST_PATH_IMAGE026
轴坐标；
d.时间约束：
Figure 817041DEST_PATH_IMAGE029
；
其中，
Figure 304304DEST_PATH_IMAGE030
为飞行机器人之间协同作业需要的最短时间间隔，
Figure 775606DEST_PATH_IMAGE031
为第
Figure 814231DEST_PATH_IMAGE004
个飞 行机器人和第
Figure 514334DEST_PATH_IMAGE013
个飞行机器人之间协同作业时间间隔，
Figure 86130DEST_PATH_IMAGE032
为飞行机器人之间协同作业 需要的最长时间间隔。
在某些实施例中，第一控制模块700用于在根据协同作业约束模型，控制所有飞行机器人飞行到对应的作业位置时，具体执行以下步骤：
S41.获取所有作业位置的坐标信息；
S42.获取各个作业位置对应在目标物体上的抓取点的坐标信息；
S43.将各个作业位置的坐标信息和各个抓取点的坐标信息分配到各个飞行机器人；
S44.控制各个飞行机器人按所分配的作业位置的坐标信息移动到对应的作业位置上。
在某些实施例中，第二控制模块800用于在控制各个机械臂协同抓取目标物体时，具体执行以下步骤：
S51.基于各个飞行机器人的作业位置的坐标信息，根据以下公式求解各个机械臂末端相对于飞行机器人的位置：
Figure 226868DEST_PATH_IMAGE033
；
其中，
Figure 798794DEST_PATH_IMAGE034
为第
Figure 709113DEST_PATH_IMAGE004
个飞行机器人的作业位置，
Figure 893670DEST_PATH_IMAGE035
为第
Figure 723086DEST_PATH_IMAGE004
个飞行机器人对应的抓 取点的位置，
Figure 671057DEST_PATH_IMAGE036
为第
Figure 873149DEST_PATH_IMAGE004
个飞行机器人的机体坐标系到大地坐标系的旋转矩阵，
Figure 747433DEST_PATH_IMAGE037
为第
Figure 669121DEST_PATH_IMAGE004
个机械臂末端相对于飞行机器人的位置；
S52.根据各个机械臂末端相对于飞行机器人的位置，控制各个机械臂协同抓取目标物体。
请参照图7，图7为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器1301和存储器1302，处理器1301和存储器1302通过通信总线1303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器1302存储有处理器1301可执行的计算机程序，当计算设备运行时，处理器1301执行该计算机程序，以执行上述第一方面的实施例的任一可选的实现方式中的多飞行机器人协同作业方法，以实现以下功能：获取目标物体的三维信息，三维信息包括目标物体尺寸信息和目标物体坐标信息；根据三维信息计算飞行机器人数量、各个飞行机器人的作业位置和搬运力；根据飞行机器人数量和各个飞行机器人的搬运力，构建协同作业约束模型；根据协同作业约束模型，控制所有飞行机器人飞行到对应的作业位置；控制各个机械臂协同抓取目标物体；控制飞行机器人携带目标物体沿飞行路径抵达指定位置。
本申请实施例提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述第一方面的实施例的任一可选的实现方式中的多飞行机器人协同作业方法，以实现以下功能：获取目标物体的三维信息，三维信息包括目标物体尺寸信息和目标物体坐标信息；根据三维信息计算飞行机器人数量、各个飞行机器人的作业位置和搬运力；根据飞行机器人数量和各个飞行机器人的搬运力，构建协同作业约束模型；根据协同作业约束模型，控制所有飞行机器人飞行到对应的作业位置；控制各个机械臂协同抓取目标物体；控制飞行机器人携带目标物体沿飞行路径抵达指定位置。
其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-OnlyMemory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种多飞行机器人协同作业方法，用于飞行机器人的控制系统，以控制多个飞行机器人协同搬运目标物体；所述飞行机器人上设置有机械臂和深度相机，其特征在于，包括步骤：
S1.获取所述目标物体的三维信息，所述三维信息包括目标物体尺寸信息和目标物体坐标信息；
S2.根据所述三维信息计算飞行机器人数量、各个所述飞行机器人的作业位置和搬运力；
S3.根据所述飞行机器人数量和各个所述飞行机器人的搬运力，构建协同作业约束模型；
S4.根据所述协同作业约束模型，控制所有所述飞行机器人飞行到对应的作业位置；
S5.控制各个机械臂协同抓取所述目标物体；
S6.控制所述飞行机器人携带所述目标物体沿飞行路径抵达指定位置；
所述协同作业约束模型包括：
a.性能约束：
Figure DEST_PATH_IMAGE001
；
Figure DEST_PATH_IMAGE002
；
其中，
Figure DEST_PATH_IMAGE003
为第
Figure DEST_PATH_IMAGE004
个飞行机器人最大外负载提升力，
Figure DEST_PATH_IMAGE005
为所述目标物体的总质量，
Figure DEST_PATH_IMAGE006
为重力加速度，
Figure DEST_PATH_IMAGE007
为所述飞行机器人数量，
Figure DEST_PATH_IMAGE008
为所述飞行机器人的搬运力；
b.空间约束：
Figure DEST_PATH_IMAGE009
；
其中，
Figure DEST_PATH_IMAGE010
为两个所述飞行机器人之间协同作业的最小安全距离，
Figure DEST_PATH_IMAGE011
为两个所述飞行机器人之间协同作业的最大安全距离，
Figure DEST_PATH_IMAGE012
为第
Figure 543163DEST_PATH_IMAGE004
个飞行机器人与第
Figure DEST_PATH_IMAGE013
个飞行机器人之间的距离；
c.环境约束：
Figure DEST_PATH_IMAGE014
；
Figure DEST_PATH_IMAGE015
；
Figure DEST_PATH_IMAGE016
；
其中，
Figure DEST_PATH_IMAGE017
为飞行机器人在大地坐标系中沿
Figure DEST_PATH_IMAGE018
轴靠近大地坐标系原点的边界，
Figure DEST_PATH_IMAGE019
为飞行机器人在大地坐标系中沿
Figure 522621DEST_PATH_IMAGE018
轴远离大地坐标系原点的边界，
Figure DEST_PATH_IMAGE020
为第
Figure 36779DEST_PATH_IMAGE004
个飞行机器人在大地坐标系中的
Figure 884518DEST_PATH_IMAGE018
轴坐标，
Figure DEST_PATH_IMAGE021
为飞行机器人在大地坐标系中沿
Figure DEST_PATH_IMAGE022
轴靠近大地坐标系原点的边界，
Figure DEST_PATH_IMAGE023
为飞行机器人在大地坐标系中沿
Figure 105415DEST_PATH_IMAGE022
轴远离大地坐标系原点的边界，
Figure DEST_PATH_IMAGE024
为第
Figure 911566DEST_PATH_IMAGE004
个飞行机器人在大地坐标系中的
Figure 647440DEST_PATH_IMAGE022
轴坐标，
Figure DEST_PATH_IMAGE025
为飞行机器人在大地坐标系中沿
Figure DEST_PATH_IMAGE026
轴靠近大地坐标系原点的边界，
Figure DEST_PATH_IMAGE027
为飞行机器人在大地坐标系中沿
Figure 236554DEST_PATH_IMAGE026
轴远离大地坐标系原点的边界，
Figure DEST_PATH_IMAGE028
为第
Figure 639853DEST_PATH_IMAGE004
个飞行机器人在大地坐标系中的
Figure 102059DEST_PATH_IMAGE026
轴坐标；
d.时间约束：
Figure DEST_PATH_IMAGE029
；
其中，
Figure DEST_PATH_IMAGE030
为所述飞行机器人之间协同作业需要的最短时间间隔，
Figure DEST_PATH_IMAGE031
为第
Figure 512180DEST_PATH_IMAGE004
个飞行机器人和第
Figure 452454DEST_PATH_IMAGE013
个飞行机器人之间协同作业时间间隔，
Figure DEST_PATH_IMAGE032
为所述飞行机器人之间协同作业需要的最长时间间隔；
步骤S4的具体步骤包括：
S41.获取所有所述作业位置的坐标信息；
S42.获取各个所述作业位置对应在所述目标物体上的抓取点的坐标信息；
S43.将各个所述作业位置的坐标信息和各个抓取点的坐标信息分配到各个所述飞行机器人；
S44.控制各个所述飞行机器人按所分配的作业位置的坐标信息移动到对应的作业位置上；
步骤S5的具体步骤包括：
S51.基于各个所述飞行机器人的作业位置的坐标信息，根据以下公式求解各个机械臂末端相对于飞行机器人的位置：
Figure DEST_PATH_IMAGE033
；
其中，
Figure DEST_PATH_IMAGE034
为第
Figure 631632DEST_PATH_IMAGE004
个飞行机器人的所述作业位置，
Figure DEST_PATH_IMAGE035
为第
Figure 795897DEST_PATH_IMAGE004
个飞行机器人对应的抓取点的位置，
Figure DEST_PATH_IMAGE036
为第
Figure 224473DEST_PATH_IMAGE004
个飞行机器人的机体坐标系到大地坐标系的旋转矩阵，
Figure DEST_PATH_IMAGE037
为第
Figure 171700DEST_PATH_IMAGE004
个机械臂末端相对于飞行机器人的位置；
S52.根据各个机械臂末端相对于飞行机器人的位置，控制各个所述机械臂协同抓取所述目标物体。
2.根据权利要求1所述的多飞行机器人协同作业方法，其特征在于，步骤S1的具体步骤包括：
S11.获取所述目标物体的深度图像；
S12.从所述深度图像中提取出目标物体图像；
S13.根据所述目标物体图像获取所述目标物体尺寸信息；
S14.根据所述目标物体图像，获取所述目标物体在相机坐标系下的位置信息，并把所述位置信息转换为大地坐标系下的所述目标物体坐标信息。
3.根据权利要求1所述的多飞行机器人协同作业方法，其特征在于，步骤S2的具体步骤包括：
S21.根据所述目标物体尺寸信息和所述目标物体坐标信息，获取所述目标物体的总质量和质心坐标信息；
S22.根据所述目标物体的总质量和单个飞行机器人的最大提升载荷量，计算出所需的所述飞行机器人的最少数量；
S23.根据所述最少数量确定所述飞行机器人数量；
S24.基于所述飞行机器人数量，计算各个所述飞行机器人的搬运力。
4.根据权利要求3所述的多飞行机器人协同作业方法，其特征在于，步骤S23之后还包括步骤：
S25.以所述目标物体的质心为中心布置多个作业位置，所述作业位置的数量与所述飞行机器人数量相同。
5.一种多飞行机器人协同作业装置，用于飞行机器人的控制系统，以控制多个飞行机器人协同搬运目标物体；所述飞行机器人上设置有机械臂和深度相机，其特征在于，所述多飞行机器人协同作业装置包括：
获取模块，用于获取所述目标物体的三维信息，所述三维信息包括目标物体尺寸信息和目标物体坐标信息；
计算模块，用于根据所述三维信息计算飞行机器人数量、各个所述飞行机器人的作业位置和搬运力；
构建模块，用于根据所述飞行机器人数量和各个所述飞行机器人的搬运力，构建协同作业约束模型；
第一控制模块，用于根据所述协同作业约束模型，控制所有所述飞行机器人飞行到对应的作业位置；
第二控制模块，用于控制各个机械臂协同抓取所述目标物体；
第三控制模块，用于控制所述飞行机器人携带所述目标物体沿飞行路径抵达指定位置；
构建模块中的协同作业约束模型包括：
a.性能约束：
Figure 284013DEST_PATH_IMAGE001
；
Figure 884759DEST_PATH_IMAGE002
；
其中，
Figure 331789DEST_PATH_IMAGE003
为第
Figure 879445DEST_PATH_IMAGE004
个飞行机器人最大外负载提升力，
Figure 846264DEST_PATH_IMAGE005
为目标物体的总质量，
Figure 86753DEST_PATH_IMAGE006
为重力加速度，
Figure 755500DEST_PATH_IMAGE007
为飞行机器人数量，
Figure 841268DEST_PATH_IMAGE008
为飞行机器人的搬运力；
b.空间约束：
Figure 928173DEST_PATH_IMAGE009
；
其中，
Figure 73983DEST_PATH_IMAGE010
为两个飞行机器人之间协同作业的最小安全距离，
Figure 230027DEST_PATH_IMAGE011
为两个飞行机器人之间协同作业的最大安全距离，
Figure 119486DEST_PATH_IMAGE012
为第
Figure 60897DEST_PATH_IMAGE004
个飞行机器人与第
Figure 643188DEST_PATH_IMAGE013
个飞行机器人之间的距离；
c.环境约束：
Figure 286528DEST_PATH_IMAGE014
；
Figure 979677DEST_PATH_IMAGE015
；
Figure 306753DEST_PATH_IMAGE016
；
其中，
Figure 59946DEST_PATH_IMAGE017
为飞行机器人在大地坐标系中沿
Figure 941314DEST_PATH_IMAGE018
轴靠近大地坐标系原点的边界，
Figure 687422DEST_PATH_IMAGE019
为飞行机器人在大地坐标系中沿
Figure 72267DEST_PATH_IMAGE018
轴远离大地坐标系原点的边界，
Figure 730781DEST_PATH_IMAGE020
为第
Figure 99446DEST_PATH_IMAGE004
个飞行机器人在大地坐标系中的
Figure 931136DEST_PATH_IMAGE018
轴坐标，
Figure 950913DEST_PATH_IMAGE021
为飞行机器人在大地坐标系中沿
Figure 780329DEST_PATH_IMAGE022
轴靠近大地坐标系原点的边界，
Figure 636289DEST_PATH_IMAGE023
为飞行机器人在大地坐标系中沿
Figure 209353DEST_PATH_IMAGE022
轴远离大地坐标系原点的边界，
Figure 818058DEST_PATH_IMAGE024
为第
Figure 83954DEST_PATH_IMAGE004
个飞行机器人在大地坐标系中的
Figure 161632DEST_PATH_IMAGE022
轴坐标，
Figure 803966DEST_PATH_IMAGE025
为飞行机器人在大地坐标系中沿
Figure 532756DEST_PATH_IMAGE026
轴靠近大地坐标系原点的边界，
Figure 969554DEST_PATH_IMAGE027
为飞行机器人在大地坐标系中沿
Figure 534527DEST_PATH_IMAGE026
轴远离大地坐标系原点的边界，
Figure 511710DEST_PATH_IMAGE028
为第
Figure 845740DEST_PATH_IMAGE004
个飞行机器人在大地坐标系中的
Figure 726144DEST_PATH_IMAGE026
轴坐标；
d.时间约束：
Figure 778413DEST_PATH_IMAGE029
；
其中，
Figure 231391DEST_PATH_IMAGE030
为飞行机器人之间协同作业需要的最短时间间隔，
Figure 482244DEST_PATH_IMAGE031
为第
Figure 260844DEST_PATH_IMAGE004
个飞行机器人和第
Figure 784098DEST_PATH_IMAGE013
个飞行机器人之间协同作业时间间隔，
Figure 306347DEST_PATH_IMAGE032
为飞行机器人之间协同作业需要的最长时间间隔；
第一控制模块用于在根据协同作业约束模型，控制所有飞行机器人飞行到对应的作业位置时，具体执行以下步骤：
S41.获取所有作业位置的坐标信息；
S42.获取各个作业位置对应在目标物体上的抓取点的坐标信息；
S43.将各个作业位置的坐标信息和各个抓取点的坐标信息分配到各个飞行机器人；
S44.控制各个飞行机器人按所分配的作业位置的坐标信息移动到对应的作业位置上；
第二控制模块用于在控制各个机械臂协同抓取目标物体时，具体执行以下步骤：
S51.基于各个飞行机器人的作业位置的坐标信息，根据以下公式求解各个机械臂末端相对于飞行机器人的位置：
Figure 614968DEST_PATH_IMAGE033
；
其中，
Figure 361207DEST_PATH_IMAGE034
为第
Figure 122490DEST_PATH_IMAGE004
个飞行机器人的作业位置，
Figure 432117DEST_PATH_IMAGE035
为第
Figure 595246DEST_PATH_IMAGE004
个飞行机器人对应的抓取点的位置，
Figure 512386DEST_PATH_IMAGE036
为第
Figure 760965DEST_PATH_IMAGE004
个飞行机器人的机体坐标系到大地坐标系的旋转矩阵，
Figure 625015DEST_PATH_IMAGE037
为第
Figure 891918DEST_PATH_IMAGE004
个机械臂末端相对于飞行机器人的位置；
S52.根据各个机械臂末端相对于飞行机器人的位置，控制各个机械臂协同抓取目标物体。
6.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-4任一项所述多飞行机器人协同作业方法中的步骤。
7.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-4任一项所述多飞行机器人协同作业方法中的步骤。
CN202210300427.8A 2022-03-25 2022-03-25 多飞行机器人协同作业方法、装置、电子设备和存储介质 Active CN114415731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210300427.8A CN114415731B (zh) 2022-03-25 2022-03-25 多飞行机器人协同作业方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210300427.8A CN114415731B (zh) 2022-03-25 2022-03-25 多飞行机器人协同作业方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN114415731A CN114415731A (zh) 2022-04-29
CN114415731B true CN114415731B (zh) 2022-06-17

Family

ID=81264421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210300427.8A Active CN114415731B (zh) 2022-03-25 2022-03-25 多飞行机器人协同作业方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114415731B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114955455A (zh) * 2022-06-14 2022-08-30 乐聚(深圳)机器人技术有限公司 机器人控制方法、服务器、机器人及存储介质
CN115609582B (zh) * 2022-10-11 2023-07-07 江苏高倍智能装备有限公司 一种多移动机械手协同搬运控制方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018008320A (ja) * 2016-07-11 2018-01-18 国立大学法人広島大学 多関節ロボットアーム及びｕａｖ
CN107804474A (zh) * 2017-09-29 2018-03-16 华南理工大学 携带冗余度机械臂的多旋翼飞行机器人整机系统设计方法
CN112859916A (zh) * 2021-01-15 2021-05-28 中国人民解放军国防科技大学 一种基于速度调整策略的多无人机抵达时间协同控制方法
CN113282109A (zh) * 2021-07-23 2021-08-20 季华实验室 无人飞行器与人协同作业系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3526119B1 (en) * 2016-10-13 2021-12-01 Alexander Poltorak Apparatus and method for balancing aircraft with robotic arms
CN107309872B (zh) * 2017-05-08 2021-06-15 南京航空航天大学 一种带有机械臂的飞行机器人及其控制方法
US10890921B2 (en) * 2018-05-31 2021-01-12 Carla R. Gillett Robot and drone array
US11794342B2 (en) * 2020-07-17 2023-10-24 Intrinsic Innovation Llc Robot planning using unmanned aerial vehicles
CN113359427B (zh) * 2021-07-15 2022-09-06 南开大学 多无人机协同飞行吊运系统及定位消摆控制方法
CN113282110B (zh) * 2021-07-23 2021-10-22 季华实验室 飞行机器人与人的协同作业方法及其装置、飞行机器人

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018008320A (ja) * 2016-07-11 2018-01-18 国立大学法人広島大学 多関節ロボットアーム及びｕａｖ
CN107804474A (zh) * 2017-09-29 2018-03-16 华南理工大学 携带冗余度机械臂的多旋翼飞行机器人整机系统设计方法
CN112859916A (zh) * 2021-01-15 2021-05-28 中国人民解放军国防科技大学 一种基于速度调整策略的多无人机抵达时间协同控制方法
CN113282109A (zh) * 2021-07-23 2021-08-20 季华实验室 无人飞行器与人协同作业系统

Also Published As

Publication number Publication date
CN114415731A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN114415731B (zh) 多飞行机器人协同作业方法、装置、电子设备和存储介质
CN109398688B (zh) 一种旋翼飞行双机械臂目标定位抓取系统及方法
US11834174B2 (en) Control of drone-load system method, system, and apparatus
US20210309364A1 (en) Automatic return method, appratus and unmanned aerial vehicle
EP3249487A2 (en) Uav and uav landing control device and method
US9975632B2 (en) Aerial vehicle system
CN103984357B (zh) 一种基于全景立体成像设备的无人机自动避障飞行系统
JP2023129723A (ja) 飛行体及び飛行体の制御方法
CN108563235B (zh) 一种多旋翼无人机、抓取目标物体的方法、装置及设备
CN106873627A (zh) 一种自动巡检输电线路的多旋翼无人机及方法
EP3660231A1 (en) System and method for autonomous operation of heavy machinery
CN104820429A (zh) 基于超声波距离检测的无人机避障系统及其控制方法
WO2015100899A1 (zh) 基于无线充电奇数轴飞行器的智能巡航机器人
WO2021237618A1 (zh) 抓捕辅助方法、地面指挥平台、无人机、系统及存储介质
CN210954741U (zh) 用于原油长输管线巡检领域的无人机自动充电系统
US11873100B2 (en) Drone system, drone, movable body, drone system control method, and drone system control program
US11634226B1 (en) Modular delivery units for use in aerial vehicles
Xu et al. Vision-based autonomous landing of unmanned aerial vehicle on a motional unmanned surface vessel
WO2018068193A1 (zh) 控制方法、控制装置、飞行控制系统与多旋翼无人机
CN111813148A (zh) 一种无人机降落方法、系统、设备和存储介质
WO2023010451A1 (zh) 无人机调度方法、服务器、停机坪设备、系统及存储介质
CN113568427A (zh) 无人机自主着陆移动平台的方法及系统
CN112859923A (zh) 一种无人机视觉编队飞行控制系统
CN108128455A (zh) 一种多旋翼无人机控制方法
CN114330832A (zh) 一种智能快递包裹配送系统及其工作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant