CN108563235A - 一种多旋翼无人机、抓取目标物体的方法、装置及设备 - Google Patents

一种多旋翼无人机、抓取目标物体的方法、装置及设备 Download PDF

Info

Publication number
CN108563235A
CN108563235A CN201810507670.0A CN201810507670A CN108563235A CN 108563235 A CN108563235 A CN 108563235A CN 201810507670 A CN201810507670 A CN 201810507670A CN 108563235 A CN108563235 A CN 108563235A
Authority
CN
China
Prior art keywords
unmanned plane
target object
mechanical arm
control
planning path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810507670.0A
Other languages
English (en)
Other versions
CN108563235B (zh
Inventor
郝祁
张志建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern University of Science and Technology
Original Assignee
Southern University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern University of Science and Technology filed Critical Southern University of Science and Technology
Priority to CN201810507670.0A priority Critical patent/CN108563235B/zh
Publication of CN108563235A publication Critical patent/CN108563235A/zh
Application granted granted Critical
Publication of CN108563235B publication Critical patent/CN108563235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D1/00—Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
    • B64D1/22—Taking-up articles from earth's surface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明实施例公开了一种多旋翼无人机、抓取目标物体的方法、装置及设备，所述多旋翼无人机包括：无人机机体和设置于所述无人机机体下方的至少两个机械臂，且每个机械臂远离所述无人机机体的一端配置有仿生机械手；所述机械臂以及仿生机械手用于在控制模块的控制下抓取目标物体或者支撑所述无人机机体在特定平面行走或者支撑所述无人机机体降落在杆形物上。通过在无人机机体下方配置至少两个机械臂，且每个机械臂远离无人机机体的一端配置有仿生机械手，实现了无人机通过所述机械臂以及仿生机械手抓取目标物体或者在特定平面行走或者降落在杆形物上，使得无人机具备了与环境进行复杂交互的能力。

Description

一种多旋翼无人机、抓取目标物体的方法、装置及设备
技术领域
本发明实施例涉及无人机领域，尤其涉及一种多旋翼无人机、抓取目标物体的方法、装置及设备。
背景技术
随着以旋翼型飞行器为代表的无人机技术的飞速发展，无人机在航拍、侦察、农业、快递运输、灾难救援等领域得到了广泛应用。
但是，目前的无人机机械臂的自由度通常较低，无法与环境发生复杂的交互动作，并且也不具备仿生性，导致无人机无法在陆地行走。并且现有的无人机在抓取目标物体方面技术尚不成熟，还局限于依赖室内动捕系统的抓取，而且主要针对室内静止物体的抓取，当目标物体处于室外且没有动捕系统的环境时则无法进行有效抓取，尤其当抓取物体是移动物体时，更无法进行准确抓取。
发明内容
本发明提供一种多旋翼无人机、抓取目标物体的方法、装置及设备，所述多旋翼无人机可以与环境进行复杂的交互。
为实现上述目的，本发明实施例采用如下技术方案：
第一方面，本发明实施例提供了一种多旋翼无人机，包括：无人机机体和设置于所述无人机机体下方的至少两个机械臂，且每个机械臂远离所述无人机机体的一端配置有仿生机械手；
所述机械臂以及仿生机械手用于在控制模块的控制下抓取目标物体或者支撑所述无人机机体在特定平面行走或者支撑所述无人机机体降落在杆形物上。
进一步的，所述机械臂为至少三自由度机械臂，所述仿生机械手包括至少三根手指，每根手指包括至少三个关节，各关节之间通过弹簧和弹性线连接；
所述至少三根手指在控制模块的控制下进行缩放以抓取目标物体或者支撑所述无人机机体在特定平面行走或者支撑所述无人机机体降落在杆形物上。
进一步的，所述多旋翼无人机还包括：摄像模块和检测模块，其中，
所述摄像模块包括双目相机，与所述控制模块相连，用于在无人机抓取目标物体时实时获取目标物体与无人机之间的相对位置信息，并将所述相对位置信息反馈给控制模块，以使控制模块根据所述相对位置信息确定无人机追踪目标物体的规划路径；
所述检测模块包括配置在无人机机体上的光流传感器、全球定位系统GPS、惯性测量单元IMU以及分别配置在所述机械臂以及仿生机械手上的编码器；所述光流传感器、GPS、IMU以及编码器分别与所述控制模块相连；
所述光流传感器用于在无人机抓取目标物体的过程中实时计算得到目标物体在x、y、z方向上的移动速度，并将所述移动速度反馈给控制模块，以使控制模块根据所述移动速度确定无人机追踪目标物体的规划路径；
所述GPS以及IMU用于实时检测无人机机体的状态信息，并将所述状态信息反馈给控制模块，所述编码器用于向控制模块实时反馈无人机机械臂以及仿生机械手的实际状态，以使控制模块根据所述状态信息、实际状态控制无人机机体、机械臂以及仿生机械手动作，实现对目标物体的抓取或者实现无人机在特定平面行走或者降落在杆形物上。
第二方面，本发明实施例提供了一种无人机抓取目标物体的方法，所述方法包括：
实时获取目标物体与无人机之间的相对位置信息；
根据所述相对位置信息确定无人机追踪目标物体的规划路径；
控制所述无人机基于所述规划路径追踪所述目标物体；
当无人机与所述目标物体之间的相对距离达到设定阈值时，控制无人机机体、机械臂以及仿生机械手动作以抓取所述目标物体。
进一步的，所述实时获取目标物体与无人机之间的相对位置信息，包括：
分别确定目标物体在无人机装载的双目相机对应的左、右两个成像平面上的成像点对应的横坐标；
基于所述横坐标计算目标物体在所述左、右两个成像平面上的成像点之间的距离；
根据所述左、右两个成像平面之间存在的几何关系，结合双目相机的参数以及所述成像点之间的距离，计算所述目标物体与无人机之间的相对深度信息；
其中，所述双目相机的参数包括相机焦距以及摄像头中心距。
进一步的，所述根据所述相对位置信息确定无人机追踪目标物体的规划路径，包括：
根据所述相对深度信息基于预先设计的动态轨迹规划，实时计算无人机追踪目标物体的规划路径；
其中，所述预先设计的动态轨迹规划为：
xd(t)＝Δx(t)exp(-w1*t)+∫vTxdt
yd(t)＝Δy(t)exp(-w2*t)+∫vTydt
zd(t)＝Δz(t)exp(-w3*t)+∫vTzdt+ρ；
xd(t)、yd(t)、zd(t)分别表示无人机在x、y、z方向上的规划路径，t表示时间，Δx(t)、Δy(t)、Δz(t)为目标物体与无人机之间的相对深度信息，w1、w2、w3为系统的控制参数，vTx、vTy、vTz分别为目标物体在x、y、z方向上的移动速度，当所述目标物体为静止目标物体时，vTx、vTy、vTz均为0，ρ为目标物体的高度。
进一步的，当所述目标物体为移动目标物体时，所述根据所述相对位置信息确定无人机追踪目标物体的规划路径之前，还包括：
通过无人机装载的光流传感器计算得到目标物体在x、y、z方向上的移动速度。
进一步的，当无人机与所述目标物体之间的相对距离达到设定阈值时，控制无人机以及机械臂动作以抓取所述目标物体，包括：
基于自适应滑膜控制算法控制无人机机体、机械臂以及仿生机械手抓取所述目标物体，其中，控制无人机机体、机械臂以及仿生机械手抓取所述目标物体的控制量包括：
qk′＝qd′+λe
其中，F表示无人机的升力，τx、τy和τz分别表示无人机机体在无人机机体坐标系下关于x、y、z三轴的三个扭矩，τn×1为无人机机械臂上n个电机的转动角度的控制量、R、Q、I分别为系统的转换矩阵,θd、为无人机机体的横滚角和俯仰角，Ψ为无人机机体的偏航角，为系统矩阵的预测估计，A，K为系统的正定增益矩阵，s表示滑膜面，qd为无人机机械臂复合系统的预期状态矩阵，λ为正定矩阵，e为无人机机械臂以及仿生机械手复合系统的实际状态与预期状态之间的误差矩阵。
进一步的，无人机机械臂以及仿生机械手复合系统的实际状态由配置在无人机机械臂以及仿生机械手上的编码器实时反馈。
进一步的，所述控制所述无人机基于所述规划路径追踪所述目标物体，包括：
通过配置在无人机机体上的全球定位系统GPS以及惯性测量单元IMU实时检测无人机机体的状态信息；
根据所述无人机机体的状态信息以及所述规划路径生成控制量，以控制所述无人机机体动作，使无人机沿着所述规划路径追踪所述目标物体。
进一步的，所述控制所述无人机基于所述规划路径追踪所述目标物体，包括：
若所述规划路径中包含飞行空间受阻的路径，则控制无人机降落并通过机械臂以及仿生机械手在陆地上行走，以通过所述飞行空间受阻的路径；或者
若所述规划路径中包含陆地行走受阻的路径，则控制无人机起飞以通过所述陆地行走受阻的路径。
进一步的，所述控制无人机降落并通过机械臂以及仿生机械手在陆地上行走，包括：
通过配置在无人机机械臂以及仿生机械手上的编码器实时反馈所述机械臂以及仿生机械手的状态信息；
根据所述状态信息以及规划路径生成控制量，以控制无人机的动力学系统运动，使无人机向所述规划路径靠近。
第三方面，本发明实施例提供了一种无人机抓取目标物体的装置，所述装置包括：
获取模块，用于实时获取目标物体与无人机之间的相对位置信息；
确定模块，用于根据所述相对位置信息确定无人机追踪目标物体的规划路径；
追踪模块，用于控制所述无人机基于所述规划路径追踪所述目标物体；
抓取模块，用于当无人机与所述目标物体之间的相对距离达到设定阈值时，控制无人机机体、机械臂以及仿生机械手动作以抓取所述目标物体。
第四方面，本发明实施例提供了一种电子设备，包括第一存储器、第一处理器及存储在存储器上并可在第一处理器上运行的计算机程序，所述第一处理器执行所述计算机程序时实现如上述第二方面所述的无人机抓取目标物体的方法。
第五方面，本发明实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现如上述第二方面所述的无人机抓取目标物体的方法。
本发明实施例提供的一种多旋翼无人机，通过在无人机机体下方配置至少两个机械臂，且每个机械臂远离无人机机体的一端配置有仿生机械手，实现了无人机通过所述机械臂以及仿生机械手抓取目标物体或者在特定平面行走或者降落在杆形物上，使得无人机具备了与环境进行复杂交互的能力。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。
图1为本发明实施例一提供的一种多旋翼无人机的结构示意图；
图2为本发明实施例一提供的一种仿生机械手的结构示意图；
图3为本发明实施例一提供的一种多旋翼无人机的结构模块示意图；
图4为本发明实施例二提供的一种无人机抓取目标物体的方法流程示意图；
图5为本发明实施例二提供的一种像素坐标系与图像坐标系的示意图；
图6为本发明实施例二提供的一种相机成像原理图；
图7为本发明实施例二提供的一种双目测距原理图；
图8为本发明实施例二提供的一种控制无人机机械臂以及仿生机械手行走的控制回路示意图；
图9为本发明实施例三提供的一种无人机抓取目标物体的系统架构图；
图10为本发明实施例四提供的一种无人机抓取目标物体的装置结构示意图；
图11为本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
图1为本发明实施例一提供的一种多旋翼无人机的结构示意图。参见图1所示，所述多旋翼无人机包括：无人机机体100(包括旋翼101)和设置于无人机机体100下方的两个机械臂110，且每个机械臂110远离无人机机体100的一端配置有仿生机械手111；
机械臂110以及仿生机械手111用于在控制模块(图1中未示出，可参见3所示)的控制下抓取目标物体或者支撑无人机机体100在特定平面行走或者支撑无人机机体100降落在杆形物上。
进一步的，为了提高机械臂的自由度，本实施中的机械臂110为至少三自由度机械臂。为了提高仿生机械手111的仿生性能，本实施中的仿生机械手111包括至少三根手指，每根手指包括至少三个关节，各关节之间通过高强度的细线贯穿连接，为了使仿生机械手111的性能更加完善，实现高灵活自由活动，各关节之间又通过弹簧和弹性线连接，通过与之相连的电机转动带动所述至少三根手指进行缩放，具体可以参见图2所示的仿生机械手的结构示意图。所述至少三根手指具体用于在控制模块的控制下进行缩放以抓取目标物体或者支撑所述无人机机体在特定平面行走或者支撑所述无人机机体降落在杆形物上。在无人机工作的过程中(例如进行拍摄、监控、投放快递或者抓取物体等)，若无人机需要降落到地面时，可将仿生机械手111的状态切换至图2中的210状态，此时无人机类似于双足机器人，通过对双足(即机械臂110和仿生机械手111)进行步态轨迹规划，从而实现双足无人机的行走。当无人机在飞行过程中，可控制仿生机械手111一定程度的闭合(例如图2中的状态220或者状态230)，从而实现无人机抓取目标物体或者降落到树枝等复杂环境中进行特定的工作。通过在无人机机体100下方配置两个机械臂110，且每个机械臂110远离无人机机体100的一端配置有仿生机械手111，使得该多旋翼无人机除了可以飞行，还可以在陆地上行走，进一步还可以降落在杆形物上等，提高了无人机在复杂环境下执行复杂任务的能力。
进一步的，参见图3所示的一种多旋翼无人机的结构模块示意图，所述多旋翼无人机还包括：摄像模块320和检测模块330，其中，
摄像模块320包括双目相机321，与控制模块310相连，用于在无人机抓取目标物体时实时获取目标物体与无人机之间的相对位置信息，并将所述相对位置信息反馈给控制模块310，以使控制模块310根据所述相对位置信息确定无人机追踪目标物体的规划路径；
检测模块330包括配置在无人机机体上的光流传感器331、全球定位系统GPS332、惯性测量单元IMU333以及分别配置在所述机械臂以及仿生机械手上的编码器334；光流传感器331、GPS332、IMU333以及编码器334分别与控制模块310相连；
光流传感器331用于在无人机抓取目标物体的过程中实时计算得到目标物体在x、y、z方向上的移动速度，并将所述移动速度反馈给控制模块310，以使控制模块310根据所述移动速度确定无人机追踪目标物体的规划路径；
GPS332以及IMU333用于实时检测无人机机体的状态信息，并将所述状态信息反馈给控制模块310，编码器334用于向控制模块310实时反馈无人机机械臂以及仿生机械手的实际状态，以使控制模块310根据所述状态信息、实际状态控制无人机机体、机械臂以及仿生机械手动作，实现对目标物体的抓取或者实现无人机在特定平面行走或者降落在杆形物上。
本实施例提供的一种多旋翼无人机，通过在无人机机体下方配置两个机械臂，且每个机械臂远离无人机机体的一端配置有仿生机械手，实现了无人机通过所述机械臂以及仿生机械手抓取目标物体或者在特定平面行走或者降落在杆形物上，使得无人机具备了与环境进行复杂交互的能力。
实施例二
图4为本发明实施例二提供的一种无人机抓取目标物体的方法流程示意图。本实施例公开的无人机抓取目标物体的方法应用于上述实施例一提供的多旋翼无人机，可以适用于室外环境，且不依赖动捕系统，可以对静止物体或者移动物体进行有效抓取。该方法可以由无人机抓取目标物体的装置来执行，其中该装置可由软件和/或硬件实现，可集成在上述实施例一提供的无人机机体中或者集成在专门服务于无人机的服务器中。具体参见图4所示，该方法可以包括如下步骤：
410、实时获取目标物体与无人机之间的相对位置信息。
其中，实时获取目标物体与无人机之间的相对位置信息的目的是为了实时根据所述相对位置信息调整无人机追踪目标物体的路径，以使无人机不断地靠近目标物体。
具体的，可以通过如下方式实时获取目标物体与无人机之间的相对位置信息：
分别确定目标物体在无人机装载的双目相机对应的左、右两个成像平面上的成像点对应的横坐标；
基于所述横坐标计算目标物体在所述左、右两个成像平面上的成像点之间的距离；
根据所述左、右两个成像平面之间存在的几何关系，结合双目相机的参数以及所述成像点之间的距离，计算所述目标物体与无人机之间的相对深度信息；
其中，所述双目相机的参数包括相机焦距以及摄像头中心距，所述目标物体与无人机之间的相对深度信息表征了目标物体与无人机之间的相对位置关系。
在双目相机的成像过程中，存在着四个坐标系，分别为：像素坐标系、图像坐标系、相机坐标系以及世界坐标系。参见图5所示的像素坐标系与图像坐标系的示意图，像素坐标系以图像的左上角为原点Oo，横纵坐标(u，v)分别表示该像素点在图像中的列数和行数；xO1y为图像坐标系，其原点O1为相机的光轴与图像平面的交点，一般为图像平面的中心，也称为图像的主点，根据像素坐标系与图像坐标系的关系，可以将两坐标系下的点进行相互转换。参见图6所示的相机成像原理图，O为相机的光心，ZC为相机的光轴，光轴和图像平面的交点为O1，坐标系O-XCYCZC为相机坐标系，OW-XWYWZW为世界坐标系，OO1之间的距离为相机的焦距f。
对于实际场景中目标物体的三维估计可以通过双目立体视觉技术来确定，具体，参见图7所示的双目测距原理图，OL和OR分别为左、右相机的光心，左、右相机的光轴以及各自的成像平面如图7所示，左、右相机的光心之间的距离为B，即摄像头中心距为B，两台相机在同一平面，左、右相机的投影中心的Y坐标相等，同一时刻空间点P(x，y，z)在左、右相机成像平面上的成像点分别为XL和XR，根据三角几何关系有：
其中，上述公式中各个量所在的坐标系为：XL、XR和Y分别在左、右相机的图像平面下，即在图像平面坐标系下的坐标，原点分别为左、右相机的光轴与像平面的交点，f和B为常量，分别为相机的焦距和摄像头中心距，x、y、z是在左相机坐标系下的坐标，原点为OL。视差d为成像点XL和XR之间的距离，且根据几何关系有：
d＝B-(XL-XR)
即得到空间点P的相对深度信息。
420、根据所述相对位置信息确定无人机追踪目标物体的规划路径。
具体的，根据所述相对位置信息确定无人机追踪目标物体的规划路径，包括：
根据所述相对深度信息基于预先设计的动态轨迹规划，实时计算无人机追踪目标物体的规划路径；
其中，所述预先设计的动态轨迹规划为：
xd(t)＝Δx(t)exp(-w1*t)+∫vTxdt
yd(t)＝Δy(t)exp(-w2*t)+∫vTydt
zd(t)＝Δz(t)exp(-w3*t)+∫vTzdt+ρ；
其中，xd(t)、yd(t)、zd(t)分别表示无人机在x、y、z方向上的规划路径，t表示时间，Δx(t)、Δy(t)、Δz(t)为目标物体与无人机之间的相对深度信息，w1、w2、w3为系统的控制参数，w1、w2、w3通常取0.5，vTx、vTy、vTz分别为目标物体在x、y、z方向上的移动速度，当所述目标物体为静止目标物体时，vTx、vTy、vTz均为0，ρ为目标物体的高度。
所述目标物体在x、y、z方向上的移动速度vTx、vTy、vTz可以通过无人机装载的光流传感器计算得到目标物体在x、y、z方向上的移动速度。
430、控制所述无人机基于所述规划路径追踪所述目标物体。
具体的，控制无人机基于所述规划路径追踪所述目标物体包括：通过配置在无人机机体上的GPS以及IMU实时检测无人机机体的状态信息；并根据所述无人机机体的状态信息以及所述规划路径生成控制量，以控制所述无人机机体动作，使无人机沿着所述规划路径追踪所述目标物体。其中，所述状态信息具体包括无人机的实时位置信息，速度信息(包括当前速度下的惯性信息)以及姿态信息。基于所述规划路径无人机机体的上述状态信息在每个时刻理论上都应是预设的确定状态，通过实时检测无人机机体的实际状态信息并结合无人机追踪目标物体的规划路径生成控制量，所述控制量用于使无人机机体的实际状态信息向预设的确定状态无限接近。所述控制量具体可包括无人机的升力，无人机机体在无人机机体坐标系下关于x、y、z三轴的三个扭矩，无人机机体的横滚角、俯仰角以及偏航角。
进一步的，所述控制所述无人机基于所述规划路径追踪所述目标物体，包括：
若所述规划路径中包含飞行空间受阻的路径，则控制无人机降落并通过机械臂以及仿生机械手在陆地上行走，以通过所述飞行空间受阻的路径；或者
若所述规划路径中包含陆地行走受阻的路径，则控制无人机起飞以通过所述陆地行走受阻的路径。
例如，所述规划路径中包含森林，无人机无法飞行通过，则控制无人机降落并通过机械臂以及仿生机械手在陆地上行走，以通过所述森林。或者在行走中遇到河流，无人机无法行走通过，则控制无人机起飞通过飞行的方式通过所述河流。无人机的行走与无人机的飞行类似，首先需要预先进行轨迹规划，对于无人机的行走所述轨迹规划实质是对无人机的步态轨迹进行规划，然后根据预先规划的步态轨迹控制无人机机械臂以及仿生机械手的各关节的转动角度，所述各关节的转动均通过电机实现。
具体的，参见图8所示的控制无人机机械臂以及仿生机械手行走的控制回路示意图，所述控制无人机降落并通过机械臂以及仿生机械手在陆地上行走，包括：
通过配置在无人机机械臂以及仿生机械手上的编码器实时反馈所述机械臂以及仿生机械手的状态信息；
根据所述状态信息以及规划路径(即步态轨迹)生成控制量，以控制无人机的动力学系统运动，使无人机向所述规划路径靠近。所述无人机的动力学系统具体可以指控制无人机机械臂以及仿生机械手动作的各电机。
440、当无人机与所述目标物体之间的相对距离达到设定阈值时，控制无人机机体、机械臂以及仿生机械手动作以抓取所述目标物体。
具体的，基于自适应滑膜控制算法控制无人机机体、机械臂以及仿生机械手抓取所述目标物体，其中，控制无人机机体、机械臂以及仿生机械手抓取所述目标物体的控制量包括：
qk′＝qd′+λe
其中，F表示无人机的升力，τx、τy和τz分别表示无人机机体在无人机机体坐标系下关于x、y、z三轴的三个扭矩，τn×1为无人机机械臂以及仿生机械手的n个电机的转动角度的控制量、R、Q、I分别为系统的转换矩阵,θd、为无人机机体的横滚角和俯仰角，Ψ为无人机机体的偏航角，为系统矩阵的预测估计，A，K为系统的正定增益矩阵，s表示滑膜面，qd为无人机机械臂以及仿生机械手复合系统的预期状态矩阵，λ为正定矩阵，e为无人机机械臂以及仿生机械手复合系统的实际状态与预期状态之间的误差矩阵。无人机机械臂以及仿生机械手复合系统的实际状态由配置在无人机机械臂以及仿生机械手上的编码器实时反馈，所述实际状态具体包括机械臂以及仿生机械手各关节的角度信息。τ(3)表示矩阵τ中的第三个量，τ(n+6)表示矩阵τ中的第n+6个量，矩阵τ是一个多行一列的向量，sgn(x)是符号函数，当x>0时，sgn(x)＝1；当x<0时，sgn(x)＝-1；当x＝0时，sgn(x)＝0。
本实施例提供的无人机抓取目标物体的方法，通过双目相机实时获取目标物体与无人机之间的相对深度信息，然后根据所述深度信息按照预设的轨迹规划得到无人机追踪目标物体的路径，进而控制无人机追踪目标物体，当无人机靠近目标物体时，控制无人机机体、机械臂以及仿生机械手动作，实现了无人机在没有动捕系统的环境下对目标物体进行有效抓取，且可针对移动目标物体可以进行有效抓取。
实施例三
图9为本发明实施例三提供的一种无人机抓取目标物体的系统架构图。在上述实施例的基础上，本实施例提供的无人机抓取目标物体的系统架构图适用于抓取静止目标物体。具体参见图9所示，所述系统架构图包括：
无人机机体910、双目相机920、配置在无人机机体上的GPS、IMU等传感器930、自适应控制器940、机械臂和仿生机械手950和配置在机械臂和仿生机械手上的编码器951。
基于上述系统架构图无人机抓取目标物体的过程具体为：首先无人机利用双目相机识别检测出需要抓取的目标物体，并将检测到的无人机与目标物体之间的相对深度信息反馈给自适应控制器，自适应控制器依据所述相对深度信息确定无人机追踪目标物体的规划路径，并基于规划路径控制无人机机体动作，使无人机逐渐接近目标物体，在无人机接近目标物体的过程中，通过配置在无人机机体上的GPS、IMU等传感器实时检测无人机机体的状态信息，并将所述状态信息反馈给自适应控制器，以使自适应控制器控制无人机逐渐接近目标物体。当无人机与目标物体之间的距离达到设定阈值时，自适应控制器控制机械臂以及仿生机械手动作，以抓取目标物体，在抓取目标物体的过程中，通过配置在无人机机体上的GPS、IMU等传感器以及配置在机械臂和仿生机械手上的编码器向自适应控制器实时反馈无人机机体、机械臂以及仿生机械手的状态信息，以使自适应控制器实时控制机无人机机体、机械臂以及仿生机械手动作，以便实现对目标物体的稳定抓取。
本实施例提供的无人机抓取目标物体的方法，通过双目相机实时获取目标物体与无人机之间的相对深度信息，然后由自适应控制器根据所述相对深度信息确定无人机追踪目标物体的路径，进而控制无人机追踪目标物体，当无人机靠近目标物体时，控制无人机机体、机械臂以及仿生机械手动作，实现了无人机在没有动捕系统的环境下对目标物体进行有效抓取。
实施例四
图10为本发明实施例四提供的一种无人机抓取目标物体的装置结构示意图，参见图10所示，该装置包括：获取模块1010、确定模块1020、追踪模块1030和抓取模块1040；
其中，获取模块1010用于实时获取目标物体与无人机之间的相对位置信息；确定模块1020用于根据所述相对位置信息确定无人机追踪目标物体的规划路径；追踪模块1030用于控制所述无人机基于所述规划路径追踪所述目标物体；抓取模块1040用于当无人机与所述目标物体之间的相对距离达到设定阈值时，控制无人机机体、机械臂以及仿生机械手动作以抓取所述目标物体。
本实施例提供的无人机抓取目标物体的装置，通过双目相机实时获取目标物体与无人机之间的相对深度信息，然后根据所述深度信息按照预设的轨迹规划得到无人机追踪目标物体的路径，进而控制无人机追踪目标物体，当无人机靠近目标物体时，控制无人机、机械臂以及仿生机械手动作，实现了无人机在没有动捕系统的环境下对目标物体进行有效抓取，且可针对移动目标物体可以进行有效抓取。
实施例五
图11为本发明实施例五提供的一种电子设备的结构示意图。如图11所示，该电子设备包括：第一处理器1170、第一存储器1171及存储在第一存储器1171上并可在第一处理器1170上运行的计算机程序；其中，第一处理器1170的数量可以是一个或多个，图11中以一个第一处理器1170为例；第一处理器1170执行所述计算机程序时实现如上述实施例中所述的无人机抓取目标物体的方法。如图11所示，所述电子设备还可以包括第一输入装置1172和第一输出装置1173。第一处理器1170、第一存储器1171、第一输入装置1172和第一输出装置1173可以通过总线或其他方式连接，图11中以通过总线连接为例。
第一存储器1171作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中无人机抓取目标物体的装置/模块(例如，无人机抓取目标物体的装置中的获取模块1010和确定模块1020等)。第一处理器1170通过运行存储在第一存储器1171中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的无人机抓取目标物体的方法。
第一存储器1171可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，第一存储器1171可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，第一存储器1171可进一步包括相对于第一处理器1170远程设置的存储器，这些远程存储器可以通过网络连接至电子设备/存储介质。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
第一输入装置1172可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。第一输出装置1173可包括显示屏等显示设备。
实施例六
本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种无人机抓取目标物体的方法，该方法包括：
实时获取目标物体与无人机之间的相对位置信息；
根据所述相对位置信息确定无人机追踪目标物体的规划路径；
控制所述无人机基于所述规划路径追踪所述目标物体；
当无人机与所述目标物体之间的相对距离达到设定阈值时，控制无人机机体、机械臂以及仿生机械手动作以抓取所述目标物体。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的无人机抓取目标物体的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random AccessMemory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，存储介质，或者网络设备等)执行本发明各个实施例所述的。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (15)

1.一种多旋翼无人机，其特征在于，包括：无人机机体和设置于所述无人机机体下方的至少两个机械臂，且每个机械臂远离所述无人机机体的一端配置有仿生机械手；
所述机械臂以及仿生机械手用于在控制模块的控制下抓取目标物体或者支撑所述无人机机体在特定平面行走或者支撑所述无人机机体降落在杆形物上。
2.根据权利要求1所述的多旋翼无人机，其特征在于，所述机械臂为至少三自由度机械臂，所述仿生机械手包括至少三根手指，每根手指包括至少三个关节，各关节之间通过弹簧和弹性线连接；
所述至少三根手指在控制模块的控制下进行缩放以抓取目标物体或者支撑所述无人机机体在特定平面行走或者支撑所述无人机机体降落在杆形物上。
3.根据权利要求1所述的多旋翼无人机，其特征在于，还包括：摄像模块和检测模块，其中，
所述摄像模块包括双目相机，与所述控制模块相连，用于在无人机抓取目标物体时实时获取目标物体与无人机之间的相对位置信息，并将所述相对位置信息反馈给控制模块，以使控制模块根据所述相对位置信息确定无人机追踪目标物体的规划路径；
所述检测模块包括配置在无人机机体上的光流传感器、全球定位系统GPS、惯性测量单元IMU以及分别配置在所述机械臂以及仿生机械手上的编码器；所述光流传感器、GPS、IMU以及编码器分别与所述控制模块相连；
所述光流传感器用于在无人机抓取目标物体的过程中实时计算得到目标物体在x、y、z方向上的移动速度，并将所述移动速度反馈给控制模块，以使控制模块根据所述移动速度确定无人机追踪目标物体的规划路径；
所述GPS以及IMU用于实时检测无人机机体的状态信息，并将所述状态信息反馈给控制模块，所述编码器用于向控制模块实时反馈无人机机械臂以及仿生机械手的实际状态，以使控制模块根据所述状态信息、实际状态控制无人机机体、机械臂以及仿生机械手动作，实现对目标物体的抓取或者实现无人机在特定平面行走或者降落在杆形物上。
4.一种抓取目标物体的方法，应用于上述权利要求1-3中任一项所述的多旋翼无人机，其特征在于，所述方法包括：
实时获取目标物体与无人机之间的相对位置信息；
根据所述相对位置信息确定无人机追踪目标物体的规划路径；
控制所述无人机基于所述规划路径追踪所述目标物体；
当无人机与所述目标物体之间的相对距离达到设定阈值时，控制无人机机体、机械臂以及仿生机械手动作以抓取所述目标物体。
5.根据权利要求4所述的方法，其特征在于，所述实时获取目标物体与无人机之间的相对位置信息，包括：
分别确定目标物体在无人机装载的双目相机对应的左、右两个成像平面上的成像点对应的横坐标；
基于所述横坐标计算目标物体在所述左、右两个成像平面上的成像点之间的距离；
根据所述左、右两个成像平面之间存在的几何关系，结合双目相机的参数以及所述成像点之间的距离，计算所述目标物体与无人机之间的相对深度信息；
其中，所述双目相机的参数包括相机焦距以及摄像头中心距。
6.根据权利要求5所述的方法，其特征在于，所述根据所述相对位置信息确定无人机追踪目标物体的规划路径，包括：
根据所述相对深度信息基于预先设计的动态轨迹规划，实时计算无人机追踪目标物体的规划路径；
其中，所述预先设计的动态轨迹规划为：
xd(t)＝Δx(t)exp(-w1*t)+∫vTxdt
yd(t)＝Δy(t)exp(-w2*t)+∫vTydt
zd(t)＝Δz(t)exp(-w3*t)+∫vTzdt+ρ；
xd(t)、yd(t)、zd(t)分别表示无人机在x、y、z方向上的规划路径，t表示时间，Δx(t)、Δy(t)、Δz(t)为目标物体与无人机之间的相对深度信息，w1、w2、w3为系统的控制参数，vTx、vTy、vTz分别为目标物体在x、y、z方向上的移动速度，当所述目标物体为静止目标物体时，vTx、vTy、vTz均为0，ρ为目标物体的高度。
7.根据权利要求6所述的方法，其特征在于，当所述目标物体为移动目标物体时，所述根据所述相对位置信息确定无人机追踪目标物体的规划路径之前，还包括：
通过无人机装载的光流传感器计算得到目标物体在x、y、z方向上的移动速度。
8.根据权利要求4所述的方法，其特征在于，所述当无人机与所述目标物体之间的相对距离达到设定阈值时，控制无人机机体、机械臂以及仿生机械手动作以抓取所述目标物体，包括：
基于自适应滑膜控制算法控制无人机机体、机械臂以及仿生机械手抓取所述目标物体，其中，控制无人机机体、机械臂以及仿生机械手抓取所述目标物体的控制量包括：
qk′＝qd′+λe
其中，F表示无人机的升力，τx、τy和τz分别表示无人机机体在无人机机体坐标系下关于x、y、z三轴的三个扭矩，τn×1为无人机机械臂以及仿生机械手的n个电机的转动角度的控制量、R、Q、I分别为系统的转换矩阵,θd、为无人机机体的横滚角和俯仰角，Ψ为无人机机体的偏航角，为系统矩阵的预测估计，A，K为系统的正定增益矩阵，s表示滑膜面，qd为无人机机械臂以及仿生机械手复合系统的预期状态矩阵，λ为正定矩阵，e为无人机机械臂以及仿生机械手复合系统的实际状态与预期状态之间的误差矩阵。
9.根据权利要求8所述的方法，其特征在于，无人机机械臂以及仿生机械手复合系统的实际状态由配置在无人机机械臂以及仿生机械手上的编码器实时反馈。
10.根据权利要求4所述的方法，其特征在于，所述控制所述无人机基于所述规划路径追踪所述目标物体，包括：
通过配置在无人机机体上的全球定位系统GPS以及惯性测量单元IMU实时检测无人机机体的状态信息；
根据所述无人机机体的状态信息以及所述规划路径生成控制量，以控制所述无人机机体动作，使无人机沿着所述规划路径追踪所述目标物体。
11.根据权利要求4或10所述的方法，其特征在于，所述控制所述无人机基于所述规划路径追踪所述目标物体，包括：
若所述规划路径中包含飞行空间受阻的路径，则控制无人机降落并通过机械臂以及仿生机械手在陆地上行走，以通过所述飞行空间受阻的路径；或者
若所述规划路径中包含陆地行走受阻的路径，则控制无人机起飞以通过所述陆地行走受阻的路径。
12.根据权利要求11所述的方法，其特征在于，所述控制无人机降落并通过机械臂以及仿生机械手在陆地上行走，包括：
通过配置在无人机机械臂以及仿生机械手上的编码器实时反馈所述机械臂以及仿生机械手的状态信息；
根据所述状态信息以及规划路径生成控制量，以控制无人机的动力学系统运动，使无人机向所述规划路径靠近。
13.一种无人机抓取目标物体的装置，配置于上述权利要求1-3中任一项所述的多旋翼无人机，其特征在于，所述装置包括：
获取模块，用于实时获取目标物体与无人机之间的相对位置信息；
确定模块，用于根据所述相对位置信息确定无人机追踪目标物体的规划路径；
追踪模块，用于控制所述无人机基于所述规划路径追踪所述目标物体；
抓取模块，用于当无人机与所述目标物体之间的相对距离达到设定阈值时，控制无人机机体、机械臂以及仿生机械手动作以抓取所述目标物体。
14.一种电子设备，包括第一存储器、第一处理器及存储在存储器上并可在第一处理器上运行的计算机程序，其特征在于，所述第一处理器执行所述计算机程序时实现如权利要求4-12中任一项所述的无人机抓取目标物体的方法。
15.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现如权利要求4-12中任一项所述的无人机抓取目标物体的方法。
CN201810507670.0A 2018-05-24 2018-05-24 一种多旋翼无人机、抓取目标物体的方法、装置及设备 Active CN108563235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810507670.0A CN108563235B (zh) 2018-05-24 2018-05-24 一种多旋翼无人机、抓取目标物体的方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810507670.0A CN108563235B (zh) 2018-05-24 2018-05-24 一种多旋翼无人机、抓取目标物体的方法、装置及设备

Publications (2)

Publication Number Publication Date
CN108563235A true CN108563235A (zh) 2018-09-21
CN108563235B CN108563235B (zh) 2022-02-08

Family

ID=63539588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810507670.0A Active CN108563235B (zh) 2018-05-24 2018-05-24 一种多旋翼无人机、抓取目标物体的方法、装置及设备

Country Status (1)

Country Link
CN (1) CN108563235B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347186A (zh) * 2019-07-17 2019-10-18 中国人民解放军国防科技大学 基于仿生双目联动的地面运动目标自主跟踪系统
CN111003183A (zh) * 2018-10-05 2020-04-14 极光飞行科学公司 用于自主物体拾取的地面操作
CN111169638A (zh) * 2018-11-13 2020-05-19 极光飞行科学公司 用于航空包裹拾取和递送的系统和方法
CN111649906A (zh) * 2020-08-06 2020-09-11 中国空气动力研究与发展中心低速空气动力研究所 一种风洞试验的受油机模型支撑装置的滑膜跟随控制方法
CN112068576A (zh) * 2020-07-21 2020-12-11 华中科技大学 一种基于任务分级时序优化的水下无人艇-双机械臂协同控制方法
CN112340042A (zh) * 2020-11-16 2021-02-09 中山大学 一种多功能无人机
CN112792809A (zh) * 2020-12-30 2021-05-14 深兰人工智能芯片研究院（江苏）有限公司 机械手的控制方法、装置、延缓跌落设备及存储介质
CN112960116A (zh) * 2021-01-27 2021-06-15 湖南迈克森伟电子科技有限公司 一种近距离的无人机空中投放物资平台
CN113070885A (zh) * 2021-03-12 2021-07-06 国网浙江永康市供电有限公司 一种无人机搭载绝缘机械臂带电作业的方法
CN113371180A (zh) * 2021-07-06 2021-09-10 季华实验室 作业型飞行机器人系统、降落控制方法、装置及电子设备
CN113636079A (zh) * 2021-10-18 2021-11-12 西南石油大学 一种物流无人机及其货物投放方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090294584A1 (en) * 2008-06-02 2009-12-03 Gilbert Lovell Stabilized UAV recovery system
CN104875882A (zh) * 2015-05-21 2015-09-02 合肥学院 四轴飞行器
CN106064378A (zh) * 2016-06-07 2016-11-02 南方科技大学 一种无人机机械臂的控制方法和装置
CN106595671A (zh) * 2017-02-22 2017-04-26 南方科技大学 一种基于强化学习的无人机路径规划方法和装置
CN107223275A (zh) * 2016-11-14 2017-09-29 深圳市大疆创新科技有限公司 多路传感数据融合的方法和系统
CN107656545A (zh) * 2017-09-12 2018-02-02 武汉大学 一种面向无人机野外搜救的自主避障与导航方法
CN108733076A (zh) * 2018-05-24 2018-11-02 南方科技大学 一种无人机抓取目标物体的方法、装置及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090294584A1 (en) * 2008-06-02 2009-12-03 Gilbert Lovell Stabilized UAV recovery system
CN104875882A (zh) * 2015-05-21 2015-09-02 合肥学院 四轴飞行器
CN106064378A (zh) * 2016-06-07 2016-11-02 南方科技大学 一种无人机机械臂的控制方法和装置
CN107223275A (zh) * 2016-11-14 2017-09-29 深圳市大疆创新科技有限公司 多路传感数据融合的方法和系统
CN106595671A (zh) * 2017-02-22 2017-04-26 南方科技大学 一种基于强化学习的无人机路径规划方法和装置
CN107656545A (zh) * 2017-09-12 2018-02-02 武汉大学 一种面向无人机野外搜救的自主避障与导航方法
CN108733076A (zh) * 2018-05-24 2018-11-02 南方科技大学 一种无人机抓取目标物体的方法、装置及电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ERDING ALTUK,等: "Quadrotor Control Using Dual Camera Visual Feedback", 《PROCEEDINGS OFTBR 2003 IEEE INLERO~TIOORL CONFERENCE ON ROBOTICS &AUTOMITION 》 *
JUSTIN THOMAS,等: "Toward Image Based Visual Servoing for Aerial Grasping and Perching", 《PROCEEDINGS OF 2014 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》 *
于乃功，等: "仿人型机械臂抓取目标路径规划的研究", 《研究 开发》 *
都业贵: "基于视觉伺服的飞行机械臂抓取控制", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111003183A (zh) * 2018-10-05 2020-04-14 极光飞行科学公司 用于自主物体拾取的地面操作
CN111169638A (zh) * 2018-11-13 2020-05-19 极光飞行科学公司 用于航空包裹拾取和递送的系统和方法
CN110347186B (zh) * 2019-07-17 2022-04-05 中国人民解放军国防科技大学 基于仿生双目联动的地面运动目标自主跟踪系统
CN110347186A (zh) * 2019-07-17 2019-10-18 中国人民解放军国防科技大学 基于仿生双目联动的地面运动目标自主跟踪系统
CN112068576A (zh) * 2020-07-21 2020-12-11 华中科技大学 一种基于任务分级时序优化的水下无人艇-双机械臂协同控制方法
CN111649906A (zh) * 2020-08-06 2020-09-11 中国空气动力研究与发展中心低速空气动力研究所 一种风洞试验的受油机模型支撑装置的滑膜跟随控制方法
CN112340042A (zh) * 2020-11-16 2021-02-09 中山大学 一种多功能无人机
CN112792809A (zh) * 2020-12-30 2021-05-14 深兰人工智能芯片研究院（江苏）有限公司 机械手的控制方法、装置、延缓跌落设备及存储介质
CN112960116A (zh) * 2021-01-27 2021-06-15 湖南迈克森伟电子科技有限公司 一种近距离的无人机空中投放物资平台
CN113070885A (zh) * 2021-03-12 2021-07-06 国网浙江永康市供电有限公司 一种无人机搭载绝缘机械臂带电作业的方法
CN113371180A (zh) * 2021-07-06 2021-09-10 季华实验室 作业型飞行机器人系统、降落控制方法、装置及电子设备
CN113636079A (zh) * 2021-10-18 2021-11-12 西南石油大学 一种物流无人机及其货物投放方法
CN113636079B (zh) * 2021-10-18 2021-12-21 西南石油大学 一种物流无人机及其货物投放方法

Also Published As

Publication number Publication date
CN108563235B (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
CN108563235A (zh) 一种多旋翼无人机、抓取目标物体的方法、装置及设备
Barry et al. High‐speed autonomous obstacle avoidance with pushbroom stereo
US9928649B2 (en) Interface for planning flight path
US9947230B2 (en) Planning a flight path by identifying key frames
EP3540550B1 (en) Method for acquiring images from arbitrary perspectives with uavs equipped with fixed imagers
CN108351653B (zh) 用于uav飞行控制的系统和方法
CN107077152A (zh) 控制方法、设备、系统、无人机和可移动平台
Rozantsev et al. Flight dynamics-based recovery of a UAV trajectory using ground cameras
CN109254587B (zh) 在无线充电条件下稳定悬停的小型无人机及其控制方法
US11340620B2 (en) Navigating a mobile robot
CN109643131A (zh) 无人机、其控制方法以及记录介质
WO2019227333A1 (zh) 集体照拍摄方法和装置
Valenti et al. An autonomous flyer photographer
CN108733076B (zh) 一种无人机抓取目标物体的方法、装置及电子设备
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
Gazdag et al. Autonomous racing of micro air vehicles and their visual tracking within the micro aerial vehicle and motion capture (mimo) arena
Williams et al. Scalable distributed collaborative tracking and mapping with micro aerial vehicles
Shakev et al. Autonomous flight control and precise gestural positioning of a small quadrotor
Lee et al. Vision-based perimeter defense via multiview pose estimation
Krishna et al. Autonomous observation of multiple USVs from UAV while prioritizing camera tilt and yaw over UAV motion
Xiao et al. Vision-based learning for drones: A survey
Ajmera et al. Autonomous visual tracking and landing of a quadrotor on a moving platform
Ning et al. Dynamic obstacle avoidance of quadcopters with monocular camera based on image-based visual servo
Perron Enabling autonomous mobile robots in dynamic environments with computer vision
Fu et al. Rotating 3D laser mapping system for Multi-rotor drones

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant