CN109398688A - 一种旋翼飞行双机械臂目标定位抓取系统及方法 - Google Patents

一种旋翼飞行双机械臂目标定位抓取系统及方法 Download PDF

Info

Publication number
CN109398688A
CN109398688A CN201811366685.6A CN201811366685A CN109398688A CN 109398688 A CN109398688 A CN 109398688A CN 201811366685 A CN201811366685 A CN 201811366685A CN 109398688 A CN109398688 A CN 109398688A
Authority
CN
China
Prior art keywords
target
rotor
mechanical arms
double mechanical
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811366685.6A
Other languages
English (en)
Other versions
CN109398688B (zh
Inventor
谭建豪
殷旺
王耀南
钟杭
刘力铭
余淼
曹章
尚畇凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN201811366685.6A priority Critical patent/CN109398688B/zh
Publication of CN109398688A publication Critical patent/CN109398688A/zh
Application granted granted Critical
Publication of CN109398688B publication Critical patent/CN109398688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C27/00—Rotorcraft; Rotors peculiar thereto
    • B64C27/04—Helicopters
    • B64C27/08—Helicopters with two or more rotors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1682—Dual arm manipulator; Coordination of several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D1/00—Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
    • B64D1/22—Taking-up articles from earth's surface
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons

Abstract

本发明属于无人机技术领域，公开了一种旋翼飞行双机械臂目标定位抓取系统及方法，系统包括旋翼飞行器，机载计算机，双机械臂系统，飞行控制器，电源与通信集成电路模块，视觉传感器；方法包括：通过视觉传感器实时获取环境视频流信息，采用MobileNet‑SSD模型来训练识别抓取目标；将深度相机和AprilTag视觉定位切换使用，精确获取所是被目标的三维坐标信息；引入FCL碰撞，采用RRT_Connect路径规划算法进行机械臂的逆向运动学运算，完成空间无碰撞双臂规划与抓取。本发明能有效提升无人机与外界环境进行交互影响的能力，提升旋翼无人机从目标识别、运动规划到稳定抓取的自主性与精确性。

Description

一种旋翼飞行双机械臂目标定位抓取系统及方法
技术领域
本发明属于无人机技术领域，尤其涉及一种旋翼飞行双机械臂目标定位抓取系统及方法。
背景技术
目前，业内常用的现有技术是这样的：
随着无人机技术得到快速发展，多旋翼无人机也开始走进人们的视野，多旋翼无人机有着垂直起降和悬停的能力，操作简单、体积小巧、飞行灵活，所以其在航拍检测、农林、安全执法、电网巡检、边防巡逻等领域得到了越来越广泛的应用。但这些都仅仅停留在观测的层面，并未有效的与环境互动，对于危险物品排查及运输、灾难救援、快速补给等一些危险或者特殊任务，现有无人机很难做到。因此，在旋翼无人机上安装灵活的机械手臂和“眼睛”(视觉传感器)使得其具备与环境相互作用的能力，极大的拓展了其应用领域，具备应用价值。
2017年，包，仓等人在发明专利《一种带有机械臂的飞行机器人及其控制方法》(公开号：CN107309872A)中公开了一种机械臂的空中作业控制方法，机械臂安装在无人机的下方。该发明专利虽然实现了旋翼无人机与机械臂的结合，解决旋翼无人机与环境交互的问题，但是其所述的系统机械臂为单臂系统，且自由度少，在抓取时单臂容易引起无人机不稳定，且单臂抓取局限性大，应用范围受到限制。
综上所述，现有技术存在的问题是：
(1)现有技术中，旋翼飞行机械臂均为单臂系统，难以稳定重心，自由度较少，且抓取对象容易受到限制；
(2)现有技术中，大多旋翼飞行机械臂系统未配备多视觉传感器，不能实时与环境进行交互，大都为人工控制抓取，未形成基于视觉和机械臂规划的识别与抓取系统；
(3)现有技术中，旋翼飞行机械臂系统未有采用深度卷积网络对环境中目标进行检测识别，因此大多都是识别对象单一，不具备识别多样性，且识别精度低，鲁棒性差。
(4)现有技术中，旋翼飞行机械臂系统在硬件上均未设计电源与通信集中模块，在硬件软件连接与调试过程中，存在大量繁琐的线路连接操作，且难以安装，极易产生接线失误导致重要模块损坏，同时可能导致重心不稳。
旋翼飞行机械臂系统，由于机械臂的抓取运动会使得飞行器存在重心不稳的问题，且要使得旋翼飞行机械臂实现与环境的自主交互，则必须配备有先进的多视觉传感器和先进的环境感知和目标识别定位算法，以及改良的机械臂系统和运动规划算法，以此提高旋翼飞行机械臂系统的自主性、稳定性及鲁棒性，使得旋翼飞行机械臂系统有更加广泛的实际应用，具备现实价值。
发明内容
针对现有技术存在的问题，本发明提供了一种旋翼飞行双机械臂目标定位抓取系统及方法。
本发明是这样实现的，一种旋翼飞行双机械臂目标定位抓取系统，包括旋翼飞行器，双机械臂系统，电源与通信集成电路模块，机载计算机，飞行控制器，视觉传感器；
所述旋翼飞行器机架为四或六旋翼，包括机架平台、旋翼飞行器机架及与旋翼飞行器机架相连的四个或六个机臂；
所述旋翼飞行器机架还包括飞行平台动力系统：四或六组或无刷电机、无刷电调以及旋翼桨，每组电机安装在机架机臂上且与其对应的电调连接，旋翼桨安装在对应的电机上；GPS定位模块，为无人机提供定位服务；
双机械臂系统安装在旋翼飞行器机架的下方定制固定板上；
自制电源与通信集成电路模块通过四个支撑棒安装在旋翼飞行器机架正上方，其为所有的硬件模块供电、实现模块之间相互通信；
机载计算机和飞行控制器安装在机架与自制集成电路模块中间位置，所有的软件算法程序在机载计算机中运行；
飞行控制器通过通信模块给所有飞行器硬件模块发送任务指令；
视觉传感器安装在机架前下端边缘位置，实时获取环境RGB视频流。
本发明所述的双机械臂系统由两个单机械臂组合而成，是由两个4自由度的机械臂构成的机械臂系统，且两个单机械臂在机械结构上完全一致。所述双机械臂系统，安装在旋翼飞行器下方定制固定板上，两个单机械臂平行安装在固定板左右两端；
其中，每一个单机械臂的机械结构包括一个左右转向机构、两个上下收放机构以及一个夹持机构，4个自由度，共有4个舵机，舵机与舵机之间通过连接件连接，第一个舵机连接在固定板上，第四个舵机与机械爪子连接组成夹持机构。
本发明的进一步改进，所述电源与通信集成电路模块包括：11V直流稳压电路给飞行器自动收放脚架供电，电调电机及信号接口服务于飞行平台动力系统，5V UBEC稳压电路和电量检测电路服务于飞行控制系统，19V直流稳压电路和FT4232通信电路服务于机载计算机平台，12V直流稳压电路给双机械臂系统供电，飞行控制系统MAVLINK协议通过FT4232通信电路及UART与机载计算机建立通信连接，双机械臂通过DYNAMIXEL PROTOCOL2.0协议和FT4232通信电路与机载计算机建立通信。
所述的目标定位抓取方法包括以下步骤：
步骤1：通过视觉传感器实时获取环境视频流信息，采用MobileNet-SSD网络识别目标，锁定待抓取目标物；
步骤2：根据步骤1锁定抓取目标后，采用图像传感器获取目标的点云3D数据和AprilTag视觉定位切换的分段方法,精确获取目标的三维坐标；
步骤3：根据步骤2中的三维信息，引入FCL碰撞检测机制，根据末端位姿信息进行机械臂逆向运动学运算，采用RRT_Connect路径规划算法得到双臂运动轨迹，实现协同规划抓取。
进一步地，步骤1中MobileNet-SSD训练网络实现待抓取目标检测，步骤如下：收集待抓取物体的数据集，并对数据集进行初始化处理，标注数据；划分训练集和测试集，制作LMDB文件；通过MobileNet-SSD训练模型，输出训练文件；通过视觉传感器实时获取环境视频流信息，在机载计算机上运行上述训练模型识别并锁定待抓取目标。
进一步地，步骤二中获取目标3D坐标，先采用深度传感器获取目标3D信息，当飞行器运动至接近目标物时切换至AprilTag视觉定位获取3D信息，其距离阈值为1(米)，步骤2所采用图像传感器和AprilTag视觉定位切换分段的具体步骤如下：
(1)视觉传感器实时获取视频流，通过步骤2方法确定目标并给定目标框；
(2)通过视觉传感器获取目标RGB图像，获取目标像素坐标(x,y)，得到深度图像，IR图像，从而得到目标深度值Z；
(3)基于棋盘格，采用张正友标定法对视觉传感器进行标定，获取其内参矩阵C和外参矩阵T；
(4)基于相机参数，根据相机坐标系和图像坐标系之间的转换关系得到图像中目标相对于相机坐标系的三维坐标，坐标转换关系为：
式中，(x,y)表示图像像素坐标系；(X,Y,Z)表示相机坐标系；C表示相机内参矩阵；T表示相机外部参数矩阵。
(5)深度相机获取的三维信息传递给飞行器，旋翼飞行器不断飞行运动至接近目标，设置循环，判断距离是否满足Z≤1(单位：米)，若否，则继续使用该图像传感器获取3D坐标；若是，则转至第(6)步采用AprilTag视觉定位方法获取目标更精确3D坐标；
(6)通过图像传感器，获取图像特征，计算像素梯度得到幅值图像，得到梯度方向；
(7)将相似的梯度方向和幅值集群到一个组件，即每个节点代表一个像素，使用加权最小二乘法，提取场景中的直线，将方形区域同态映射为正方形，与Tag库进行匹配，取0-15号Tag标签作为实验对象，大小君取为10cm和15cm两种，调用AprilTag视觉库得到目标精确3D坐标。
(8)将获取的3D坐标实时通过权力要求1中所述的电源与通信集成电路模块传送给飞行控制器和机载计算机。
其中：当旋翼无人机在空中搜索目标对象时，此时目标与无人机距离较远，而深度相机的深度测距范围适合在1m-10m之间，所以此时选取深度相机获取目标3D坐标，当无人机接近目标时且在1m内时，采用AprilTag视觉库获取目标3D坐标。
进一步地，步骤三中引入FCL碰撞检测机制，根据末端位姿信息进行机械臂逆向运动学运算，采用RRT_Connect路径规划算法得到双臂运动轨迹，实现协同规划抓取的实现步骤如下：
(1)创建机械臂规划群，建立4自由度机械臂的部位连接关系，建立关节空间笛卡尔坐标系；
(2)创建机器人目标位姿，将获取的3D坐标即机械臂末端位姿信息，作为机械臂系统的输入；
(3)把终端位姿作为输入，采用RRT_Connect算法采样输出关节空间集合；
(4)引入FCL碰撞检测机制，结合输出关节空间集合，得到一条不与环境中任何障碍碰撞的最优轨迹。
本发明的另一目的在于提供一种旋翼飞行双机械臂目标定位抓取计算机程序，所述旋翼飞行双机械臂目标定位抓取计算机程序实现所述的旋翼飞行双机械臂目标定位抓取方法。
本发明的另一目的在于提供一种终端，所述终端至少搭载实现所述旋翼飞行双机械臂目标定位抓取方法的控制器。
本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的旋翼飞行双机械臂目标定位抓取方法。
综上所述，本发明的优点及积极效果为：
本发明设计为多旋翼带双机械臂系统，双机械臂对称置于无人机下方，具有更好的稳定性，双臂的应用前景也更为广泛。
本发明利用较先进的深度学习、计算机视觉算法和机械臂规划算法，形成了从目标识别，精确视觉定位到机械臂轨迹规划抓取的完整方法与系统，具有实际意义。
本发明设计了电源与通信集成电路模块，进一步保障无人机各个硬件模块之间的通信与供电，提升无人机整体可靠性。
为了更好地说明本发明方法的技术有效性，将该专利所使用算法进行数据验证。在目标识别算法中以键盘、背包、椅子等物品作为深度网络训练集，测试得到目标检测识别平均精度均值为71.3％MAP，检测识别速度约38帧，达到实时检测效果，且检测识别类别不限，样本大小不限，相比于现有技术中的特征点匹配检测等算法有较大的优势；
在目标定位算法上，经过测试，深度传感器三维定位适用于距离约1-10m有效范围，该范围内的定位精度约为0.10m,属于粗略定位，因此当距离范围处于1m内时，切换至AprilTag精确定位，其定位精度约为0.03m，在误差允许范围之内，此类定位方法有效，相比于目前飞行器常用的单一视觉定位，定位更灵活精确，鲁棒性更高；
在机械臂运动规划算法上，经过测试，其平均规划即算法解算时长约为3.5-4.5s，规划算法求解得到的可行解与目标位置的误差不超过0.015m，从开始规划解算到机械臂运动规划至目标位置实施抓取共计时长一般不超过6s，其中，机械臂运动速度可根据实际情况进行微调，且双机械臂几乎为同时规划，其解算精度在可接受范围之内，具有较好的技术效果。
附图说明
图1是本发明实施例提供的旋翼飞行双机械臂目标定位抓取系统示意图。
图中：1、旋翼飞行器机架；2、双机械臂系统；3、飞行控制器；4、自制电源与通信集成电路模块；5、机载计算机；6、视觉传感器。
图2是本发明实施例提供的双机械臂系统结构示意图。
图3是本发明实施例提供的系统电源与通信集成电路模块的详细连接关系图。
图4是本发明实施例提供的图3中11V直流稳压电路图。
图5是本发明实施例提供的图3中电调分电机及信号接口图。
图6是本发明实施例提供的图3中5VUBEC稳压电路图。
图7是本发明实施例提供的图3中电量监测电路图。
图8是本发明实施例提供的图3中19V直流稳压电路图。
图9是本发明实施例提供的图3中12V直流稳压电路图。
图10是本发明实施例提供的系统总体实现原理图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现有技术中，旋翼飞行机械臂均为单臂系统，难以稳定重心，且抓取对象容易受到限制；大多旋翼飞行机械臂系统未配备多视觉传感器，不能实时与环境进行环境，大都为人工控制抓取，未形成基于视觉和机械臂规划的识别与抓取系统。
下面结合具体分析对本发明的应用坐进一步描述。
如图1所示，本发明实施例提供的旋翼飞行双机械臂目标定位抓取系统，包括：旋翼飞行器机架1、双机械臂系统2、飞行控制器3、自制电源与通信集成电路模块4、机载计算机5、视觉传感器6；
旋翼飞行器机架1，在机架的下方安装有双机械臂系统，另外电源与通信集成电路模块、机载计算机、飞行控制器安装在机架上方，按照电源与通信集成电路4在上，机载计算机5在中，飞行控制器3在下进行安装，视觉传感器安装在机架下方边缘位置。
所述旋翼飞行器机架1为四(或六)旋翼，包括机架平台：飞行器机架及与机架相连的四个或六个机臂；飞行平台动力系统：四(六)组或无刷电机、无刷电调以及旋翼桨，每组电机安装在机架机臂上且与其对应的电调连接，旋翼桨安装在对应的电机上；GPS定位模块，为无人机提供定位服务。
双机械臂系统2安装在旋翼飞行器机架的下方定制固定板上；
自制电源与通信集成电路模块通过四个支撑棒安装在旋翼飞行器机架正上方，其为所有的硬件模块供电、实现模块之间相互通信；
机载计算机和飞行控制器安装在机架与自制集成电路模块中间位置，所有的软件算法程序在机载计算机中运行；
飞行控制器通过通信模块给所有飞行器硬件模块发送任务指令；
视觉传感器RealSense R2006安装在机架前下端边缘位置，实时获取环境RGB视频流。
如图2所示双机械臂系统有两个单机械臂组合而成，是由两个是由两个4自由度的机械臂构成的双机械臂系统，且两个单机械臂在机械结构上完全一致。所述双机械臂系统，安装在旋翼飞行器下方定制固定板上，两个单机械臂平行安装在固定板左右两端，其中，每一个单机械臂的机械结构包括一个左右转向机构、两个上下收放机构以及一个夹持机构，4个自由度，共有4个舵机，舵机与舵机之间通过连接件连接，第一个舵机连接在固定板上，第四个舵机与机械爪子连接组成夹持机构。
如图3所示电源与通信集成电路模块连接关系，其中，图4表示11V直流稳压电路给飞行器自动收放脚架供电，图5表示电调电机及信号接口电路服务于飞行平台动力系统，图6表示5V UBEC稳压电路和图7表示的电量检测电路服务于飞行控制系统，图8中的19V直流稳压电路配合FT4232通信电路服务于机载计算机平台，图9中的12V直流稳压电路给双机械臂系统供电，飞行控制系统MAVLINK协议通过FT4232通信电路及UART与机载计算机建立通信连接，双机械臂通过DYNAMIXEL PROTOCOL2.0协议和FT4232通信电路与机载计算机建立通信。
如图10所示为一种旋翼飞行双机械臂目标定位抓取系统硬件和软件结合的框架，其中本发明所述的目标定位抓取方法包括以下步骤：
步骤1：通过视觉传感器实时获取环境视频流信息，采用MobileNet-SSD网络识别目标，锁定待抓取目标物；
步骤2：根据步骤1锁定抓取目标后，采用图像传感器获取目标的点云3D数据和AprilTag视觉定位切换的分段方法,精确获取目标的三维坐标；
步骤3：根据步骤2中的三维信息，引入FCL碰撞检测机制，根据末端位姿信息进行机械臂逆向运动学运算，采用RRT_Connect路径规划算法得到双臂运动轨迹，实现协同规划抓取。
其中步骤1，MobileNet-SSD训练网络实现待抓取目标检测，步骤如下：收集待抓取物体的数据集，并对数据集进行初始化处理，标注数据；划分训练集和测试集，制作LMDB文件；通过MobileNet-SSD训练模型，输出训练文件；通过视觉传感器实时获取环境视频流信息，在机载计算机上运行上述训练模型识别并锁定待抓取目标。
以键盘、书籍、鼠标、手机等物品为例测试本发明中目标检测识别网络，检测识别结果中可以看出键盘可信度为98％，鼠标可信度为80％，另外可测试得到目标检测识别平均精度均值为71.3％MAP，检测识别速度约38帧，达到实时检测效果，且检测识别类别不限，样本大小不限，相比于现有技术中的特征点匹配检测等算法有较大的优势。
步骤二中获取目标3D坐标，先采用深度传感器获取目标3D信息，当飞行器运动至接近目标物时切换至示AprilTag视觉定位获取3D信息，其距离阈值为1(米)，步骤2所采用图像传感器和AprilTag视觉定位切换分段的具体步骤如下：
(1)视觉传感器实时获取视频流，通过步骤2方法确定目标并给定目标框；
(2)通过视觉传感器获取目标RGB图像，获取目标像素坐标(x,y)，得到深度图像，IR图像，从而得到目标深度值Z。
其中一个仿真中，简单检测识别书本并实时获取其目标中心某像素点三维位置信息反馈显示，图中右边显示框中三个值分别(x,y,z)，即目标位置相对于摄像传感器的坐标。
(3)基于棋盘格，采用张正友标定法对视觉传感器进行标定，获取其内参矩阵C和外参矩阵T；
(4)基于相机参数，根据相机坐标系和图像坐标系之间的转换关系得到图像中目标相对于相机坐标系的三维坐标，坐标转换关系为：
式中，(x,y)表示图像像素坐标系；(X,Y,Z)表示相机坐标系；C表示相机内参矩阵；T表示相机外部参数矩阵。
(5)深度相机获取的三维信息传递给飞行器，旋翼飞行器不断飞行运动至接近目标，设置循环，判断距离是否满足Z≤1(单位：米)，若否，则继续使用该图像传感器获取3D坐标；若是，则转至第(6)步采用AprilTag视觉定位方法获取目标更精确3D坐标。
(6)通过图像传感器，获取图像特征，计算像素梯度得到幅值图像，得到梯度方向；
(7)将相似的梯度方向和幅值集群到一个组件，即每个节点代表一个像素，使用加权最小二乘法，提取场景中的直线，将方形区域同态映射为正方形，与Tag库进行匹配，取0-15号Tag标签作为实验对象，大小都取为10cm和15cm两种，调用AprilTag视觉库得到目标精确3D坐标。
(8)将获取的3D坐标实时通过权力要求1中所述的电源与通信集成电路模块传送给飞行控制器和机载计算机。
其中：当旋翼无人机在空中搜索目标对象时，此时目标与无人机距离较远，而深度相机的深度测距范围适合在1m-20m之间，所以此时选取深度相机获取目标3D坐标，当无人机接近目标时且在1m内时，采用AprilTag视觉库获取目标3D坐标。
步骤三中引入FCL碰撞检测机制，根据末端位姿信息进行机械臂逆向运动学运算，采用RRT_Connect路径规划算法得到双臂运动轨迹，实现协同规划抓取的实现步骤如下：
(1)创建机械臂规划群，建立4自由度机械臂的部位连接关系，建立关节空间笛卡尔坐标系，创建URDF文件；
(2)中间步骤部分，创建机器人目标位姿，将获取的3D坐标即机械臂末端位姿信息，作为机械臂系统的输入；
(3)把终端位姿作为输入，采用RRT_Connect算法采样输出关节空间集合；
(4)引入FCL碰撞检测机制，结合输出关节空间集合，得到一条不与环境中任何障碍碰撞的最优轨迹，实现运动规划。
为证明与解释相关步骤中的细节，特举例说明。
首先创建URDF文件，该文件中定义关节与关节之间的关系，并且建立机械臂的基准坐标系，以及各个关节初始化位置，例如在URDF文件中定义base_link关节的初始化坐标为(0.003889,0.029746,-0.075699)，末端位姿初始状态四元数表示为(0,1,0,0)。
打开MoveIt配置助手，创建碰撞免检矩阵、创建规划群，创建虚拟关节等，最后生成仿真环境。
取待抓取目标位置坐标为(0.06,0.21,0.75)(单位：m)，然后启动程序开始运行本发明专利机械臂运动规划方法，经过约3s的规划机械臂生成从初始位置到末端位置的一系列关节运动信息，得到规划所示的仿真结果。
列举一个规划结果中关节的运动信息，用数据表示：
time_from_start:positions:[-0.00010606236812165936,0.10214788717763565,0.07238222171577066]，
velocities:[-0.0003995765630509095,0.384829250979326,0.27269086945146415]，
accelerations:[-0.0010391832412044797,1.0008297415883136,0.7091901972422131]。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种旋翼飞行双机械臂目标定位抓取方法，其特征在于，所述旋翼飞行双机械臂目标定位抓取方法包括：
通过视觉传感器实时获取环境视频流信息，并采用MobileNet-SSD模型训练识别抓取目标；
将深度相机和AprilTag视觉定位切换使用，获取识别抓取目标的三维坐标信息；
引入FCL碰撞，采用RRT_Connect路径规划算法进行机械臂的逆向运动学运算，进行空间无碰撞双臂规划与抓取。
2.如权利要求1所述的旋翼飞行双机械臂目标定位抓取方法，其特征在于，所述旋翼飞行双机械臂目标定位抓取方法具体包括：
步骤1：通过视觉传感器实时获取环境视频流信息，采用MobileNet-SSD网络识别目标，锁定待抓取目标物；
步骤2：根据步骤1锁定抓取目标后，采用图像传感器获取目标的点云3D数据和AprilTag视觉定位切换的分段方法,获取目标的三维坐标；
步骤3：根据步骤2中的三维信息，引入FCL碰撞检测机制，根据末端位姿信息进行机械臂逆向运动学运算，采用RRT_Connect路径规划算法得到双臂运动轨迹，实现协同规划抓取。
3.如权利要求2所述的旋翼飞行双机械臂目标定位抓取方法，其特征在于，步骤1中MobileNet-SSD训练网络实现待抓取目标检测，步骤如下：
收集待抓取物体的数据集，并对数据集进行初始化处理，标注数据；
划分训练集和测试集，制作LMDB文件；
通过MobileNet-SSD训练模型，输出训练文件；
通过视觉传感器实时获取环境视频流信息，在机载计算机上运行MobileNet-SSD训练模型识别并锁定待抓取目标。
4.如权利要求2所述的旋翼飞行双机械臂目标定位抓取方法，其特征在于，步骤2中获取目标3D坐标，先采用深度传感器获取目标3D信息，当飞行器运动至接近目标物时切换至AprilTag视觉定位获取3D信息，其距离阈值为1米；
所采用图像传感器和AprilTag视觉定位切换分段的具体步骤包括：
(1)视觉传感器实时获取视频流，通过步骤2方法确定目标并给定目标框；
(2)通过视觉传感器获取目标RGB图像，获取目标像素坐标(x,y)，得到深度图像，IR图像，得到目标深度值Z；
(3)基于棋盘格，采用张正友标定法对视觉传感器进行标定，获取内参矩阵C和外参矩阵T；
(4)基于相机参数，根据相机坐标系和图像坐标系之间的转换关系得到图像中目标相对于相机坐标系的三维坐标，坐标转换关系为：
式中，(x,y)表示图像像素坐标系；(X,Y,Z)表示相机坐标系；C表示相机内参矩阵；T表示相机外部参数矩阵；
(5)深度相机获取的三维信息传递给飞行器，旋翼飞行器不断飞行运动至接近目标，设置循环，判断距离是否满足Z≤1米，若否，则继续使用该图像传感器获取3D坐标；若是，则转至第(6)步采用AprilTag视觉定位方法获取目标更精确3D坐标；
(6)通过图像传感器，获取图像特征，计算像素梯度得到幅值图像，得到梯度方向；
(7)将相似的梯度方向和幅值集群到一个组件，即每个节点代表一个像素，使用加权最小二乘法，提取场景中的直线，将方形区域同态映射为正方形，与Tag库进行匹配，取0-15号Tag标签作为对象，大小都取为10cm和15cm两种，调用AprilTag视觉库得到目标精确3D坐标；
(8)将获取的3D坐标实时通过权力要求1中所述的电源与通信集成电路模块传送给飞行控制器和机载计算机。
5.如权利要求2所述的旋翼飞行双机械臂目标定位抓取方法，其特征在于，步骤3中引入FCL碰撞检测机制，根据末端位姿信息进行机械臂逆向运动学运算，采用RRT_Connect路径规划算法得到双臂运动轨迹，实现协同规划抓取的实现步骤包括：
1)创建机械臂规划群，建立4自由度机械臂的部位连接关系，建立关节空间笛卡尔坐标系；
2)创建机器人目标位姿，将获取的3D坐标即机械臂末端位姿信息，作为机械臂系统的输入；
3)把终端位姿作为输入，采用RRT_Connect算法采样输出关节空间集合；
4)引入FCL碰撞检测机制，结合输出关节空间集合，得到一条不与环境中任何障碍碰撞的最优轨迹。
6.一种旋翼飞行双机械臂目标定位抓取计算机程序，其特征在于，所述旋翼飞行双机械臂目标定位抓取计算机程序实现权利要求1～5任意一项所述的旋翼飞行双机械臂目标定位抓取方法。
7.一种终端，其特征在于，所述终端至少搭载实现权利要求1～5任意一项所述旋翼飞行双机械臂目标定位抓取方法的控制器。
8.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-5任意一项所述的旋翼飞行双机械臂目标定位抓取方法。
9.一种实施权利要求1-5任意一项所述的旋翼飞行双机械臂目标定位抓取方法的旋翼飞行双机械臂目标定位抓取系统，其特征在于，所述旋翼飞行双机械臂目标定位抓取系统包括旋翼飞行器机架、双机械臂系统、自制电源与通信集成电路模块、机载计算机、飞行控制器及视觉传感器；
所述旋翼飞行器机架为四或六旋翼，包括机架平台、旋翼飞行器机架及与旋翼飞行器机架相连的四个或六个机臂；
所述旋翼飞行器机架还包括飞行平台动力系统：四或六组或无刷电机、无刷电调以及旋翼桨，每组电机安装在机架机臂上且与其对应的电调连接，旋翼桨安装在对应的电机上；GPS定位模块，为无人机提供定位服务；
双机械臂系统安装在旋翼飞行器机架的下方定制固定板上；
自制电源与通信集成电路模块通过四个支撑棒安装在旋翼飞行器机架正上方，其为所有的硬件模块供电、实现模块之间相互通信；
机载计算机和飞行控制器安装在机架与自制集成电路模块中间位置，所有的软件算法程序在机载计算机中运行；
飞行控制器通过通信模块给所有飞行器硬件模块发送任务指令；
视觉传感器安装在机架前下端边缘位置，实时获取环境RGB视频流。
10.如权利要求9所述的旋翼飞行双机械臂目标定位抓取系统，其特征在于，所述的双机械臂系统由两个单机械臂组合而成，由两个4自由度的机械臂构成机械臂系统，且两个单机械臂机械结构一致；
所述双机械臂系统，安装在旋翼飞行器下方定制固定板上，两个单机械臂平行安装在固定板左右两端；每一个单臂的机械结构包括一个左右转向机构、两个上下收放机构以及一个夹持机构；4个自由度的机械臂，共有4个舵机；
舵机与舵机之间通过连接件连接，第一个舵机连接在固定板上，第四个舵机与机械爪子连接组成夹持机构；
所述电源与通信集成电路模块包括：11V直流稳压电路给飞行器自动收放脚架供电；
电调电机及信号接口服务于飞行平台动力系统；
5V UBEC稳压电路和电量检测电路服务于飞行控制系统；
19V直流稳压电路和FT4232通信电路服务于机载计算机平台；
12V直流稳压电路给双机械臂系统供电；
飞行控制系统MAVLINK协议通过FT4232通信电路及UART与机载计算机建立通信连接；
双机械臂通过DYNAMIXEL PROTOCOL2.0协议和FT4232通信电路与机载计算机建立通信。
CN201811366685.6A 2018-11-16 2018-11-16 一种旋翼飞行双机械臂目标定位抓取系统及方法 Active CN109398688B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811366685.6A CN109398688B (zh) 2018-11-16 2018-11-16 一种旋翼飞行双机械臂目标定位抓取系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811366685.6A CN109398688B (zh) 2018-11-16 2018-11-16 一种旋翼飞行双机械臂目标定位抓取系统及方法

Publications (2)

Publication Number Publication Date
CN109398688A true CN109398688A (zh) 2019-03-01
CN109398688B CN109398688B (zh) 2020-06-30

Family

ID=65473774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811366685.6A Active CN109398688B (zh) 2018-11-16 2018-11-16 一种旋翼飞行双机械臂目标定位抓取系统及方法

Country Status (1)

Country Link
CN (1) CN109398688B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109895099A (zh) * 2019-03-28 2019-06-18 哈尔滨工业大学（深圳） 一种基于自然特征的飞行机械臂视觉伺服抓取方法
CN110065075A (zh) * 2019-05-29 2019-07-30 哈尔滨工业大学 一种基于视觉的空间细胞机器人外部状态感知方法
CN110259067A (zh) * 2019-06-11 2019-09-20 清华大学 机器人的瓷砖铺设位置识别方法和系统
CN110378937A (zh) * 2019-05-27 2019-10-25 浙江工业大学 基于Kinect摄像头的工业机械臂人机安全距离检测方法
CN110569861A (zh) * 2019-09-01 2019-12-13 中国电子科技集团公司第二十研究所 一种基于点特征和轮廓特征融合的图像匹配定位方法
CN110587600A (zh) * 2019-08-20 2019-12-20 南京理工大学 基于点云的带电作业机器人自主路径规划方法
CN110651686A (zh) * 2019-10-12 2020-01-07 北京理工华汇智能科技有限公司 一种基于割胶机械臂的割胶方法及系统
CN111618848A (zh) * 2020-04-28 2020-09-04 平安科技（深圳）有限公司 多机器人的协作控制方法、装置及计算机设备
CN112161173A (zh) * 2020-09-10 2021-01-01 国网河北省电力有限公司检修分公司 一种电网布线参数检测装置及检测方法
CN113276109A (zh) * 2021-04-21 2021-08-20 国网上海市电力公司 一种基于rrt算法的双机械臂解耦运动规划方法及系统
CN113371180A (zh) * 2021-07-06 2021-09-10 季华实验室 作业型飞行机器人系统、降落控制方法、装置及电子设备
CN113534093A (zh) * 2021-08-13 2021-10-22 北京环境特性研究所 飞机目标的螺旋桨叶片数量反演方法及目标识别方法
CN113955097A (zh) * 2021-11-01 2022-01-21 广东汇天航空航天科技有限公司 一种旋翼飞行器的舵机位移处理方法和装置
CN114083533A (zh) * 2021-11-09 2022-02-25 广州富港生活智能科技有限公司 一种基于机械臂的数据处理方法及装置
CN117631691A (zh) * 2024-01-25 2024-03-01 安徽大学 一种多旋翼无人机抓取轨迹设计方法、装置、设备及介质
CN113276109B (zh) * 2021-04-21 2024-04-26 国网上海市电力公司 一种基于rrt算法的双机械臂解耦运动规划方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206012963U (zh) * 2016-08-11 2017-03-15 赵志鑫 设有双机械臂的无人飞行器
CN107139178A (zh) * 2017-05-10 2017-09-08 哈尔滨工业大学深圳研究生院 一种无人机及其基于视觉的抓取方法
CN107240063A (zh) * 2017-07-04 2017-10-10 武汉大学 一种面向移动平台的旋翼无人机自主起降方法
CN107463181A (zh) * 2017-08-30 2017-12-12 南京邮电大学 一种基于AprilTag的四旋翼飞行器自适应追踪系统
CN108248845A (zh) * 2018-01-31 2018-07-06 湖南大学 一种基于动态重心补偿的旋翼飞行机械臂系统及算法
CN108596886A (zh) * 2018-04-17 2018-09-28 福州大学 基于深度学习的航拍图像绝缘子掉片故障快速检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206012963U (zh) * 2016-08-11 2017-03-15 赵志鑫 设有双机械臂的无人飞行器
CN107139178A (zh) * 2017-05-10 2017-09-08 哈尔滨工业大学深圳研究生院 一种无人机及其基于视觉的抓取方法
CN107240063A (zh) * 2017-07-04 2017-10-10 武汉大学 一种面向移动平台的旋翼无人机自主起降方法
CN107463181A (zh) * 2017-08-30 2017-12-12 南京邮电大学 一种基于AprilTag的四旋翼飞行器自适应追踪系统
CN108248845A (zh) * 2018-01-31 2018-07-06 湖南大学 一种基于动态重心补偿的旋翼飞行机械臂系统及算法
CN108596886A (zh) * 2018-04-17 2018-09-28 福州大学 基于深度学习的航拍图像绝缘子掉片故障快速检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李赟程: "基于ROS平台下高维构形空间中机械臂的运动规划研究", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109895099A (zh) * 2019-03-28 2019-06-18 哈尔滨工业大学（深圳） 一种基于自然特征的飞行机械臂视觉伺服抓取方法
CN110378937A (zh) * 2019-05-27 2019-10-25 浙江工业大学 基于Kinect摄像头的工业机械臂人机安全距离检测方法
CN110065075B (zh) * 2019-05-29 2021-11-02 哈尔滨工业大学 一种基于视觉的空间细胞机器人外部状态感知方法
CN110065075A (zh) * 2019-05-29 2019-07-30 哈尔滨工业大学 一种基于视觉的空间细胞机器人外部状态感知方法
CN110259067A (zh) * 2019-06-11 2019-09-20 清华大学 机器人的瓷砖铺设位置识别方法和系统
CN110587600A (zh) * 2019-08-20 2019-12-20 南京理工大学 基于点云的带电作业机器人自主路径规划方法
CN110587600B (zh) * 2019-08-20 2022-04-19 南京理工大学 基于点云的带电作业机器人自主路径规划方法
CN110569861A (zh) * 2019-09-01 2019-12-13 中国电子科技集团公司第二十研究所 一种基于点特征和轮廓特征融合的图像匹配定位方法
CN110569861B (zh) * 2019-09-01 2022-11-22 中国电子科技集团公司第二十研究所 一种基于点特征和轮廓特征融合的图像匹配定位方法
CN110651686A (zh) * 2019-10-12 2020-01-07 北京理工华汇智能科技有限公司 一种基于割胶机械臂的割胶方法及系统
CN110651686B (zh) * 2019-10-12 2021-10-19 北京理工华汇智能科技有限公司 一种基于割胶机械臂的割胶方法及系统
CN111618848A (zh) * 2020-04-28 2020-09-04 平安科技（深圳）有限公司 多机器人的协作控制方法、装置及计算机设备
CN112161173A (zh) * 2020-09-10 2021-01-01 国网河北省电力有限公司检修分公司 一种电网布线参数检测装置及检测方法
CN112161173B (zh) * 2020-09-10 2022-05-13 国网河北省电力有限公司检修分公司 一种电网布线参数检测装置及检测方法
CN113276109A (zh) * 2021-04-21 2021-08-20 国网上海市电力公司 一种基于rrt算法的双机械臂解耦运动规划方法及系统
CN113276109B (zh) * 2021-04-21 2024-04-26 国网上海市电力公司 一种基于rrt算法的双机械臂解耦运动规划方法及系统
CN113371180A (zh) * 2021-07-06 2021-09-10 季华实验室 作业型飞行机器人系统、降落控制方法、装置及电子设备
CN113534093A (zh) * 2021-08-13 2021-10-22 北京环境特性研究所 飞机目标的螺旋桨叶片数量反演方法及目标识别方法
CN113534093B (zh) * 2021-08-13 2023-06-27 北京环境特性研究所 飞机目标的螺旋桨叶片数量反演方法及目标识别方法
CN113955097A (zh) * 2021-11-01 2022-01-21 广东汇天航空航天科技有限公司 一种旋翼飞行器的舵机位移处理方法和装置
CN114083533A (zh) * 2021-11-09 2022-02-25 广州富港生活智能科技有限公司 一种基于机械臂的数据处理方法及装置
CN114083533B (zh) * 2021-11-09 2024-04-09 广州富港生活智能科技有限公司 一种基于机械臂的数据处理方法及装置
CN117631691A (zh) * 2024-01-25 2024-03-01 安徽大学 一种多旋翼无人机抓取轨迹设计方法、装置、设备及介质
CN117631691B (zh) * 2024-01-25 2024-04-12 安徽大学 一种多旋翼无人机抓取轨迹设计方法、装置、设备及介质

Also Published As

Publication number Publication date
CN109398688B (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN109398688A (zh) 一种旋翼飞行双机械臂目标定位抓取系统及方法
CN108453738B (zh) 一种基于Opencv图像处理的四旋翼飞行器空中自主抓取作业的控制方法
Duan et al. Visual measurement in simulation environment for vision-based UAV autonomous aerial refueling
Loianno et al. Cooperative localization and mapping of MAVs using RGB-D sensors
CN105847684A (zh) 无人机
Luo et al. A survey of intelligent transmission line inspection based on unmanned aerial vehicle
CN110000785A (zh) 农业场景无标定机器人运动视觉协同伺服控制方法与设备
CN108248845A (zh) 一种基于动态重心补偿的旋翼飞行机械臂系统及算法
CN105912980A (zh) 无人机以及无人机系统
Bian et al. A novel monocular-based navigation approach for UAV autonomous transmission-line inspection
CN109857144A (zh) 无人机、无人机控制系统及控制方法
CN109858437B (zh) 基于生成查询网络的行李体积自动分类方法
CN113625774B (zh) 局部地图匹配与端到端测距多无人机协同定位系统和方法
Xu et al. A cascade adaboost and CNN algorithm for drogue detection in UAV autonomous aerial refueling
CN205693767U (zh) 无人机系统
CN110187720A (zh) 无人机导引方法、装置、系统、介质及电子设备
CN110498039A (zh) 一种基于仿生扑翼飞行器的智能监控系统
Magree et al. Monocular visual mapping for obstacle avoidance on UAVs
Schofield et al. Autonomous power line detection and tracking system using UAVs
CN109885091B (zh) 一种无人机自主飞行控制方法及系统
Huang et al. Visual servoing of a micro quadrotor landing on a ground platform
Deng et al. A binocular vision-based measuring system for UAVs autonomous aerial refueling
CN109709975A (zh) 一种基于视觉slam的四旋翼飞行器室内安防系统及方法
CN105930766A (zh) 无人机
CN108733076B (zh) 一种无人机抓取目标物体的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant