CN116353828A - 一种无人机空中捕获地面物体的装置和方法 - Google Patents

一种无人机空中捕获地面物体的装置和方法 Download PDF

Info

Publication number
CN116353828A
CN116353828A CN202310305318.XA CN202310305318A CN116353828A CN 116353828 A CN116353828 A CN 116353828A CN 202310305318 A CN202310305318 A CN 202310305318A CN 116353828 A CN116353828 A CN 116353828A
Authority
CN
China
Prior art keywords
capturing
ground
aerial vehicle
unmanned aerial
ground object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310305318.XA
Other languages
English (en)
Other versions
CN116353828B (zh
Inventor
张秦岭
甄咪
郑丽丽
王放
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202310305318.XA priority Critical patent/CN116353828B/zh
Publication of CN116353828A publication Critical patent/CN116353828A/zh
Application granted granted Critical
Publication of CN116353828B publication Critical patent/CN116353828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D1/00—Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
    • B64D1/22—Taking-up articles from earth's surface
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/70—Energy storage systems for electromobility, e.g. batteries

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明属于无人机应用技术和图像处理技术领域，具体涉及一种无人机空中捕获地面物体的装置和方法，本发明将空中作业无人机对地面物体的捕获分为2个阶段，母机逼近阶段和下降捕获阶段。其中，母机逼近阶段基于视觉导引确保无人机移动到地面物体的正上方，下降捕获阶段则基于飞机下降或挂载装置下降进行视觉导引的主动捕获作业。本发明能够实现面向海上、高原、岛礁等场景等恶劣环境的地面物体的捕获，进而实现无人机在各种恶劣环境下对目标物体的有效抓取，在物资投送过程中能够降低人力成本，提高投送效率。

Description

一种无人机空中捕获地面物体的装置和方法
技术领域
本发明属于无人机应用技术和图像处理技术领域，具体涉及一种无人机空中捕获地面物体的装置和方法。
背景技术
近年来，无人机系统技术取得飞跃式发展，以感知和处理为典型特征的人工智能技术在无人机应用领域也在不断深度融合发展。在应急救援、公共安全、工业工程、军事斗争等领域，高自主、高可靠、高效率的无人智能化多式物资投送需求对无人机技术的发展产生了新的牵引。其中，使用空中无人机进行物资投送是一种非常重要的技术途径，针对指挥调度、控制作业、运输投送、跨平台自主转运接驳等新质能力研发是近年来的热点之一。
目前，空中无人机平台对地面物体的捕获或抓取还是通过人工地面辅助帮助完成，对操作人员具有一定的危险性且效率较低，作业过程受风的影响较大，对海上、高原、岛礁等场景的物资投送难以适用。随着计算机技术和人工智能技术的飞速发展，采用视觉图像处理来辅助捕获过程可以有效提高精确度和成功率。
发明内容
有鉴于此，本发明提供一种无人机空中捕获地面物体的装置和方法，将空中作业无人机对地面物体的捕获分为2个阶段，母机逼近阶段和下降捕获阶段。其中，母机逼近阶段基于视觉导引确保无人机移动到地面物体的正上方，下降捕获阶段则基于飞机下降或挂载装置下降进行视觉导引的主动捕获作业。本发明能够实现面向海上、高原、岛礁等场景等恶劣环境的地面物体的捕获，进而实现无人机在各种恶劣环境下对目标物体的有效抓取，在物资投送过程中能够降低人力成本，提高投送效率。
为了实现上述技术目的，本发明所采用的具体技术方案为：
一种无人机空中捕获地面物体的装置，适用于具备空中悬停能力的无人机平台；所述捕获物体的装置包括空中对接结构体、视觉伺服处理器、主动补偿动力模块、电磁捕获模块以及地面对接结构体；
所述空中对接结构体为所述捕获物体的装置的空中部分，用于通过自身对接壳体与所述地面对接结构体进行逼近配合实现对接作业；
所述视觉伺服处理器与所述空中对接结构体相对固定设置，用于对地面物体进行图像采集以及特征提取；
所述主动补偿动力模块由四组螺旋桨组成，安装在所述空中对接结构体上，用于对所述空中对接结构体执行平面位置的动力控制；
所述电磁捕获模块为由多个电磁铁组成的电磁捕获阵列，安装在所述对接壳体上，用于产生电磁吸力进行地面物体的捕获作业并产生动作到位信号；
所述地面对接结构体固定在所述地面物体上，设置有能够与所述对接壳体相互对接的对接结构件，并设置有吸合结构体；所述吸合结构体用于在所述对接壳体及所述对接结构件对接后，与所述电磁捕获阵列进行吸合；
所述无人机基于所述视觉伺服处理器所收集的特征进行捕获过程的姿态保持以及伺服控制油门给定；
所述主动补偿动力模块基于视觉伺服处理器所收集的特征进行空中对接结构体执行平面位置的动力控制。
进一步的，所述对接壳体为圆台形壳体；所述对接结构件为能够扣合在所述对接壳体内的圆台形；所述吸合结构提固定在所述对接结构件的顶面处。
进一步的，所述螺旋桨的数量为四组，以所述对接壳体的中轴中心对称分布
发明还提出一种无人机空中捕获地面物体的方法，应用于上述的无人机空中捕获地面物体的装置，其特征在于，所述捕获地面物体的方法包括如下步骤：
步骤100，视觉伺服处理器通过自身的摄像头实时获取正下方地面图像并进行处理，当地面物体进入摄像头视野，视觉伺服处理器通过信息处理获得地空之间的相对位置信息，发送给无人机飞控计算机指引无人机平台修正与地面物体的平面坐标差；
步骤200，地空之间的平面坐标差低于设定阈值，确定无人机已抵达地面物体上空，通过无人机机腹安装的吊放机构或以无人机下降高度的方式将所述捕获地面物体的装置向下投送；
步骤300，捕获地面物体的装置在向地面物体逼近过程中，根据视觉伺服处理器获取的相对位置信息进行计算，控制主动补偿动力模块，调整空中对接结构体的位姿，使空中装置对地面物体进行主动逼近控制；
步骤400，空中对接结构体与地面对接结构体对接逼近卡位，最终通过呈圆形多点位的电磁捕获模块与吸合结构体完成吸合捕获并产生到位信号；
步骤500，识别目标捕获完成信号，通知无人机吊放机构收起装置或无人机直接上升拉起地面物体。
进一步的，所述步骤100执行时，视觉伺服处理器采用Harris算法实现角点检测，地面物体所在的色块中心的角点像素坐标为u、v，通过对投影公式中外参矩阵的求解获取地面物体角点与空中对接结构体之间的相对位置信息；
角点测试的公式是：
Figure BDA0004146676370000051
相机投影公式是：
Figure BDA0004146676370000052
其中，
Figure BDA0004146676370000053
为外参矩阵。
进一步的，所述视觉伺服处理器内设置有比例-积分-微分控制器，分别用于控制4个螺旋桨的转速；所述步骤300具体为：通过视觉伺服处理器对地面物体周围环境进行图像采集、特征提取以及执行所述步骤200，得到目标角点和空中对接结构体之间坐标的相对值Δx1、Δy1、Δx2＝-Δx1以及Δy2＝-Δy1，对于为正的偏差值进行PID控制，进而输出对应的PWM信号，确定对应的螺旋桨的转速；PID控制的公式如下：
Figure BDA0004146676370000054
Figure BDA0004146676370000055
式中，KP、KI以及KD为PID参数。
进一步的，所述到位信号基于安装在捕获地面物体的装置的吸合面上的金属弹簧针产生的地线信号获得。
进一步的，圆形多点位的所述电磁捕获模块的吸合及释放动作通过处理器控制继电器来实现。
进一步的，当所述捕获地面物体的装置获得吸合捕获到位信号后，无人机吊放机构收起装置或无人机直接上升拉起地面物体，并进行下一步投送作业。
采用上述技术方案，本发明能够带来以下有益效果：
本发明提供的一种无人机抓取目标物体的方法，通过实时获取对接锥形结构体和目标物体之间的相对位置信息，根据所述的相对位置信息进一步控制主动补偿动力模块使装置对索降过程中的地面目标物体进行主动逼近控制，最终通过圆形多点位的电磁捕获模块完成吸合捕获，并通过安装在装置吸合面的金属弹簧针产生的地线信号传给无人机，无人机进行下一步动作，实现了无人机对目标物体的精确抓取。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明具体实施方式中提供的一种无人机空中捕获地面物体的装置外形图；
图2为本发明具体实施方式中提供的一种无人机空中捕获地面物体的方法流程示意图；
图3为本发明具体实施方式中提供的一种空中悬停无人机抓取目标的系统图；
图4为本发明具体实施方式中提供的一种空中悬停无人机抓取地面物体的方法的流程示意图；
图5为本发明具体实施方式中提供的一种相机成像原理图；
图6为本发明具体实施方式中提供的一种世界坐标系图；
图7为本发明具体实施方式中提供的一种像素坐标系与图像坐标系关系的示意图；
其中：1、对接锥形结构体；2、主动补偿动力模块；3、电磁捕获模块；4、地面对接结构体；5、地面物体。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所讲述的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
在本发明的一个实施例中，提供一种无人机空中捕获地面物体的装置，适用于具备空中悬停能力的无人机平台；如图1所示，捕获物体的装置包括空中对接结构体、视觉伺服处理器、主动补偿动力模块2、电磁捕获模块3以及地面对接结构体4；
空中对接结构体为捕获物体的装置的空中部分，用于通过自身对接壳体与地面对接结构体4进行逼近配合实现对接作业；
视觉伺服处理器与空中对接结构体相对固定设置，用于对地面物体5进行图像采集以及特征提取；
主动补偿动力模块2由四个螺旋桨组成，安装在空中对接结构体上，用于对空中对接结构体执行平面位置的动力控制；
电磁捕获模块3为由多个电磁铁组成的电磁捕获阵列，安装在对接壳体上，用于产生电磁吸力进行地面物体5的捕获作业并产生动作到位信号；
地面对接结构体4固定在地面物体5上，设置有能够与对接壳体相互对接的对接结构件，并设置有吸合结构体；吸合结构体用于在对接壳体及对接结构件对接后，与电磁捕获阵列进行吸合；
无人机基于视觉伺服处理器所收集的特征进行捕获过程的姿态保持以及伺服控制油门给定；
主动补偿动力模块2基于视觉伺服处理器所收集的特征进行空中对接结构体执行平面位置的动力控制。本实施例的空中对接结构体可搭载于无人直升机、多旋翼无人机、复合翼无人机等具备空中悬停能力的无人机平台，搭载在机身下腹部重心位置，
本实施例的视觉伺服处理器可安装在空中对接结构体的下方朝向地面处。
本实施例的螺旋桨的数量至少为三组，以便实现对对接壳体进行360°水平方向的调整，螺旋桨的数量可根据具体工况进行增加。
本实施例的对接壳体为中空壳体，一般设置为底部开口大于顶部，以便实现套装在地面对接结构体4件时导向电磁捕获模块3与吸合结构体实现吸合。
在一个实施例中，对接壳体为圆台形壳体；对接结构件为能够扣合在对接壳体内的圆台形；吸合结构提固定在对接结构件的顶面处。
在一个实施例中，螺旋桨的数量为四组，以对接壳体的中轴中心对称分布，使空中对接结构体在重力和垂直向上推力作用下具备一定的抗风扰能力。
本实施例的无人机空中捕获地面物体的装置(以下简称“装置”)的视觉伺服处理器对地面物体5的表面颜色特征进行识别处理，指引无人机平台修正与地面物体5的平面坐标差；当到达地面特定物体上空时，通过无人机机腹安装的吊放机构将装置向下投送；视觉伺服处理器对地面特定物体进行识别，控制主动补偿动力模块2使装置对索降过程中的地面物体5进行主动逼近控制；空中对接结构体与地面对接结构体4通过锥形对接逼近卡位，最终通过圆形多点位的电磁捕获模块3完成吸合捕获并产生到位信号；无人机收到捕获地面物体5动作完成的信号，上升高度吊送地面物体5进行下一步投送作业。
如图3所示，本发明提供基于无人机空中捕获地面物体的装置的一种空中悬停无人机抓取目标的系统，包括无人机以及搭载在无人机上的对接锥形结构体1、视觉伺服处理器、主动补偿动力模块2、电磁捕获模块3，以及地面对接结构体4等；
对接锥形结构体1是装置的空中部分，通过自身圆锥形壳体与地面对接结构体4进行逼近配合对接作业，为其他模块提供安装支持，并在下降过程中主动补偿动力模块2的动力控制；
视觉伺服处理器用于正向下对地面物体5进行图像采集、特征提取、姿态保持、伺服控制油门给定，其输出产生PWM控制信号并与主动补偿动力模块2连接，并及时将电磁捕获模块3产生的动作到位信号反馈给无人机，无人机则可进行下一步动作。
基于同样的发明构思，本发明还提出一种无人机空中捕获地面物体的方法，应用于上述的无人机空中捕获地面物体的装置，如图2所示，捕获地面物体的方法包括如下步骤：
步骤100，视觉伺服处理器通过自身的摄像头实时获取正下方地面图像并进行处理，当地面物体5进入摄像头视野，视觉伺服处理器通过信息处理获得地空之间的相对位置信息，发送给无人机飞控计算机指引无人机平台修正与地面物体5的平面坐标差；
步骤200，地空之间的平面坐标差低于设定阈值，确定无人机已抵达地面物体5上空，通过无人机机腹安装的吊放机构或以无人机下降高度的方式将捕获地面物体的装置向下投送；
步骤300，捕获地面物体的装置在向地面物体5逼近过程中，根据视觉伺服处理器获取的相对位置信息进行计算，控制主动补偿动力模块2使空中装置对地面物体5进行主动逼近控制；
步骤400，空中对接结构体与地面对接结构体4对接逼近卡位，最终通过呈圆形多点位的电磁捕获模块3与吸合结构体完成吸合捕获并产生到位信号；
步骤500，识别目标捕获完成信号，通知无人机吊放机构收起装置或无人机直接上升拉起地面物体5。
在一个实施例中，步骤100执行时，视觉伺服处理器采用Harris算法实现角点检测，地面物体5所在的色块中心的角点像素坐标为u、v，通过对投影公式中外参矩阵的求解获取地面物体5角点与空中对接结构体之间的相对位置信息；
角点测试的公式是：
Figure BDA0004146676370000131
相机投影公式是：
Figure BDA0004146676370000132
其中，
Figure BDA0004146676370000133
为外参矩阵。
在一个实施例中，视觉伺服处理器内设置有比例-积分-微分控制器，分别用于控制4个螺旋桨的转速；
步骤300具体为：通过视觉伺服处理器对地面物体5周围环境进行图像采集、特征提取以及执行步骤200，得到目标角点和空中对接结构体之间坐标的相对值Δx1、Δy1、Δx2＝-Δx1以及Δy2＝-Δy1，对于为正的偏差值进行PID控制，进而输出对应的PWM信号，确定对应的风扇的转速；PID控制的公式如下：
Figure BDA0004146676370000141
Figure BDA0004146676370000142
式中，KP、KI以及KD为PID参数。
在一个实施例中，到位信号基于安装在捕获地面物体的装置的吸合面上的金属弹簧针产生的地线信号获得。
在一个实施例中，圆形多点位的电磁捕获模块3的吸合及释放动作通过处理器控制继电器来实现。
在一个实施例中，当捕获地面物体的装置获得吸合捕获到位信号后，无人机吊放机构收起装置或无人机直接上升拉起地面物体5，并进行下一步投送作业。
如图4所示，本实施例提供的一种空中悬停无人机抓取目标物体的方法流程示意图，包含如下步骤：
步骤100：视觉伺服处理器通过自身的摄像头实时获取正下方地面图像并进行处理，当地面物体5进入摄像头视野，视觉伺服处理器通过信息处理获得地空之间的相对位置信息，发送给无人机飞控计算机指引无人机平台修正与地面物体5的平面坐标差；
该步骤主要是利用视觉伺服处理器自身的摄像头拍摄当前环境下的图片，并通过视觉伺服处理器利用目标检测算法实时检测是否存在目标，如果检测出目标，就对目标进行定位，解算目标物体相对于无人机的坐标，具体包括：
步骤101：无人机移动飞行，利用视觉伺服处理器自身的摄像头拍摄当前环境下的图片，可以得到RGB图像和对应的二维灰度图像，同时视觉伺服处理器利用基于灰度变化的Harrris角点检测算法对得到的灰度图像进行处理。本系统运用微分运算和构建局部自相关矩阵来求每一像素点的角点响应值，并进行阈值判断。首先计算图像像素点的灰度值I在x方向和y方向上的梯度Ix和Iy，以及二者的乘积和各自的平方，构建结构张量M；使用高斯滤波函数对图像进行噪声过滤，得到新的M；计算原图像上所有像素的角点响应值，即R值；并进行局部非极大值抑制，将一定窗口范围内的极大值对应的像素点判断为候选角点；设定阈值，选取符合条件的最终角点，得到该角点的像素坐标(u,v)。
其中，角点测试用下式表示：
Figure BDA0004146676370000151
其中图像像素点在x方向和y方向上的梯度Ix和Iy为：
Figure BDA0004146676370000152
Figure BDA0004146676370000161
算法选用的可以过滤噪声的高斯平滑滤波窗口，离散的高斯函数表达式为：
Figure BDA0004146676370000162
局部结构张量M为：
Figure BDA0004146676370000163
式中
Figure BDA0004146676370000164
角点响应值R为：
Figure BDA0004146676370000165
式中
Figure BDA0004146676370000166
为矩阵M的行列式；/>
Figure BDA0004146676370000167
为矩阵M的迹。k为经验系数，一般取0.04～0.06。
步骤102：相机经过摄像机投影公式进行标定，进而求得视觉伺服处理器和目标的相对位置，如图5、图6所示，其中涉及到以下四个坐标系：
OW-XW,YW,ZW：世界坐标系，可以以任意点为原点，主要用来描述相机位置，单位m；
OC-XC,YC,ZC：相机坐标系，以光心为原点，单位m；
oxy-x,y：图像坐标系，以相机光轴与成像平面的交点为原点，通常情况下是成像平面的中点，单位mm；
ouv-u,v：像素坐标系，以图像左上角为原点，单位pixel。
其中的点P(XW,YW,ZW)为世界坐标系中的一点，即为生活中真实的一点，点p为点P在图像中的成像点，在图像坐标系中的坐标为(x,y)，在像素坐标系中的坐标为(u,v)。构建世界坐标系只是为了更好的描述相机的位置在哪里，所以其坐标原点任意找即可。从世界坐标系到相机坐标系，涉及到旋转和平移，可以用旋转矩阵和平移向量来描述。从相机坐标系到图像坐标系，属于透视投影关系，而像素坐标系和图像坐标系都在成像平面上，只是各自的原点和度量单位不一样，具体如图7所示。那么通过上面四个坐标系的转换就可以得到一个点从像素坐标系转换到世界坐标系的公式，如下：
Figure BDA0004146676370000171
其中，(XW,YW,ZW)是该点的世界坐标，原点可定义在世界的任意位置，在本发明中将原点定义为彩色方块的中心；(u,v)为该点在像素坐标系下的坐标；(XC,YC,ZC)为该点在图像坐标系下的坐标；T为世界坐标系原点到相机坐标系原点的平移坐标向量，R为从世界坐标系到相机坐标系的旋转矩阵，
Figure BDA0004146676370000181
为相机的外参矩阵；(u0,v0)为底片图像的中点在像素坐标系下的坐标，f为相机的焦距，其值为图5中OC到oxy的距离，/>
Figure BDA0004146676370000182
为相机的内参矩阵。内参矩阵可通过张正友标定获取，外参矩阵可通过PNP估计获得，由于我们需要获得任意时刻的对接锥形结构体1相对于目标即世界坐标原点的位置，即视觉伺服处理器和目标的相对位置，所以只需要求得外参即可。
步骤103：视觉伺服处理器得到和目标的相对位置信息后，将该信息发送给无人机飞控计算机指引无人机平台修正与地面物体5的平面坐标差，使无人机精确悬停在目标物体上方。
步骤200：地空之间的平面坐标差低于设定阈值，确定无人机已抵达地面物体5上空，通过无人机机腹安装的吊放机构或以无人机下降高度的方式将装置向下投送；
步骤300：装置在向地面物体5逼近过程中，根据视觉伺服处理器获取的相对位置信息进行计算，控制主动补偿动力模块2使空中装置对地面物体5进行主动逼近控制；
该步骤中，由于视觉伺服处理器随对接锥形结构体1同步下降，所以需要时刻获取和目标的相对位置信息，具体方法同步骤102，即相机不断进行标定，时刻获取和目标的相对位置信息，并根据该相对位置信息控制主动补偿动力模块2使空中装置对地面物体5进行主动逼近控制。视觉伺服处理器内设置有4个比例-积分-微分控制器(PID控制器)，分别用于控制四个螺旋桨的转速。通过视觉伺服处理器对目标周围环境进行图像采集、特征提取以及步骤102方法，可以得到目标角点和空中对接结构体之间坐标的相对值Δx1、Δy1、Δx2＝-Δx1、Δy2＝-Δy1，对于为正的偏差值进行PID控制，进而输出对应的PWM信号，确定对应的风扇的转速。PID控制的公式如下：
Figure BDA0004146676370000191
Figure BDA0004146676370000192
式中，KP、KI、KD为PID参数。
步骤400：空中对接结构体与地面对接结构体4通过锥形对接逼近卡位，最终通过圆形多点位的电磁捕获模块3完成吸合捕获并产生到位信号；
步骤500：识别目标捕获完成信号，通知无人机吊放机构收起装置或无人机直接上升拉起地面物体5；
步骤600：无人机上升高度吊送地面物体5进行下一步投送作业。
综上，本实施例视觉伺服处理器通过信息处理获得地空之间的相对位置信息，发送给无人机飞控计算机指引无人机平台修正与地面物体5的平面坐标差，当地空之间的平面坐标差低于设定阈值时，确定无人机已抵达并悬停在地面物体5上空，通过无人机机腹安装的吊放机构或以无人机下降高度的方式将装置向下投送，装置在向地面物体5逼近过程中，根据视觉伺服处理器获取的相对位置信息进行计算，控制主动补偿动力模块2使空中装置对地面物体5进行主动逼近控制，空中对接结构体与地面对接结构体4通过锥形对接逼近卡位，最终通过圆形多点位的电磁捕获模块3完成吸合捕获并产生到位信号，视觉伺服处理器识别目标捕获完成信号并通知无人机吊放机构收起装置或无人机直接上升拉起地面物体5并进行下一步投送作业，实现了无人机对目标物体的精确抓取。本发明通过结合无人机技术、图像处理技术以及电磁学方面的技术，将无人机应用于一些环境较为复杂的物资投送工作中。这一方法相比于传统的物资投送方法来说更加智能化，投送效率、安全性都更高了。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种无人机空中捕获地面物体的装置，其特征在于：适用于具备空中悬停能力的无人机平台；所述捕获物体的装置包括空中对接结构体、视觉伺服处理器、主动补偿动力模块、电磁捕获模块以及地面对接结构体；
所述空中对接结构体为所述捕获物体的装置的空中部分，用于通过自身对接壳体与所述地面对接结构体进行逼近配合实现对接作业；
所述视觉伺服处理器与所述空中对接结构体相对固定设置，用于对地面物体进行图像采集以及特征提取；
所述主动补偿动力模块由四个螺旋桨组成，安装在所述空中对接结构体上，用于对所述空中对接结构体执行平面位置的动力控制；
所述电磁捕获模块为由多个电磁铁组成的电磁捕获阵列，安装在所述对接壳体上，用于产生电磁吸力进行地面物体的捕获作业并产生动作到位信号；
所述地面对接结构体固定在所述地面物体上，设置有能够与所述对接壳体相互对接的对接结构件，并设置有吸合结构体；所述吸合结构体用于在所述对接壳体及所述对接结构件对接后，与所述电磁捕获阵列进行吸合；
所述无人机基于所述视觉伺服处理器所收集的特征进行捕获过程的姿态保持以及伺服控制油门给定；
所述主动补偿动力模块基于视觉伺服处理器所收集的特征进行空中对接结构体执行平面位置的动力控制。
2.根据权利要求1所述的捕获地面物体的装置，其特征在于，所述对接壳体为圆台形壳体；所述对接结构件为能够扣合在所述对接壳体内的圆台形；所述吸合结构提固定在所述对接结构件的顶面处。
3.根据权利要求1所述的捕获地面物体的装置，其特征在于，所述螺旋桨的数量为四组，以所述对接壳体的中轴中心对称分布。
4.一种无人机空中捕获地面物体的方法，应用于权利要求1-3之任一项所述的无人机空中捕获地面物体的装置，其特征在于，所述捕获地面物体的方法包括如下步骤：
步骤100，视觉伺服处理器通过自身的摄像头实时获取正下方地面图像并进行处理，当地面物体进入摄像头视野，视觉伺服处理器通过信息处理获得地空之间的相对位置信息，发送给无人机飞控计算机指引无人机平台修正与地面物体的平面坐标差；
步骤200，地空之间的平面坐标差低于设定阈值，确定无人机已抵达地面物体上空，通过无人机机腹安装的吊放机构或以无人机下降高度的方式将所述捕获地面物体的装置向下投送；
步骤300，捕获地面物体的装置在向地面物体逼近过程中，根据视觉伺服处理器获取的相对位置信息进行计算，控制主动补偿动力模块，调整空中对接结构体的位姿，使空中装置对地面物体进行主动逼近控制；
步骤400，空中对接结构体与地面对接结构体对接逼近卡位，最终通过呈圆形多点位的电磁捕获模块与吸合结构体完成吸合捕获并产生到位信号；
步骤500，识别目标捕获完成信号，通知无人机吊放机构收起装置或无人机直接上升拉起地面物体。
5.根据权利要求4所述的捕获地面物体的方法，其特征在于，所述步骤100执行时，视觉伺服处理器采用Harris算法实现角点检测，地面物体所在的色块中心的角点像素坐标为u、v，通过对投影公式中外参矩阵的求解获取地面物体角点与空中对接结构体之间的相对位置信息；
角点测试的公式是：
Figure FDA0004146676350000031
相机投影公式是：
Figure FDA0004146676350000032
其中，
Figure FDA0004146676350000041
为外参矩阵。
6.根据权利要求4所述的捕获地面物体的方法，其特征在于，所述视觉伺服处理器内设置有比例-积分-微分控制器，分别用于控制4个螺旋桨的转速；
所述步骤300具体为：通过视觉伺服处理器对地面物体周围环境进行图像采集、特征提取以及执行所述步骤200，得到目标角点和空中对接结构体之间坐标的相对值Δx1、Δy1、Δx2＝-Δx1以及Δy2＝-Δy1，对于为正的偏差值进行PID控制，进而输出对应的PWM信号，确定对应的螺旋桨的转速；PID控制的公式如下：
Figure FDA0004146676350000042
Figure FDA0004146676350000043
式中，KP、KI以及KD为PID参数。
7.根据权利要求4所述的捕获地面物体的方法，其特征在于，所述到位信号基于安装在捕获地面物体的装置的吸合面上的金属弹簧针产生的地线信号获得。
8.根据权利要求4所述的捕获地面物体的方法，其特征在于，圆形多点位的所述电磁捕获模块的吸合及释放动作通过处理器控制继电器来实现。
9.根据权利要求4所述的捕获地面物体的方法，其特征在于，当所述捕获地面物体的装置获得吸合捕获到位信号后，无人机吊放机构收起装置或无人机直接上升拉起地面物体，并进行下一步投送作业。
CN202310305318.XA 2023-03-24 2023-03-24 一种无人机空中捕获地面物体的装置和方法 Active CN116353828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310305318.XA CN116353828B (zh) 2023-03-24 2023-03-24 一种无人机空中捕获地面物体的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310305318.XA CN116353828B (zh) 2023-03-24 2023-03-24 一种无人机空中捕获地面物体的装置和方法

Publications (2)

Publication Number Publication Date
CN116353828A true CN116353828A (zh) 2023-06-30
CN116353828B CN116353828B (zh) 2024-08-02

Family

ID=86935813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310305318.XA Active CN116353828B (zh) 2023-03-24 2023-03-24 一种无人机空中捕获地面物体的装置和方法

Country Status (1)

Country Link
CN (1) CN116353828B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107598935A (zh) * 2017-09-07 2018-01-19 苏州三体智能科技有限公司 巡逻机器人系统及方法
CN108883825A (zh) * 2016-04-29 2018-11-23 深圳市大疆创新科技有限公司 用于无人飞行器运输和数据采集的系统和方法
US20190087635A1 (en) * 2017-09-21 2019-03-21 Amazon Technologies, Inc. Object detection and avoidance for aerial vehicles
CN109760840A (zh) * 2019-01-30 2019-05-17 沈阳大学 一种无人机自主抓取控制系统及其控制方法
CN113900453A (zh) * 2021-12-13 2022-01-07 南京理工大学 四旋翼无人机空中充电子母机精准对接控制方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108883825A (zh) * 2016-04-29 2018-11-23 深圳市大疆创新科技有限公司 用于无人飞行器运输和数据采集的系统和方法
CN107598935A (zh) * 2017-09-07 2018-01-19 苏州三体智能科技有限公司 巡逻机器人系统及方法
US20190087635A1 (en) * 2017-09-21 2019-03-21 Amazon Technologies, Inc. Object detection and avoidance for aerial vehicles
CN109760840A (zh) * 2019-01-30 2019-05-17 沈阳大学 一种无人机自主抓取控制系统及其控制方法
CN113900453A (zh) * 2021-12-13 2022-01-07 南京理工大学 四旋翼无人机空中充电子母机精准对接控制方法及系统

Also Published As

Publication number Publication date
CN116353828B (zh) 2024-08-02

Similar Documents

Publication Publication Date Title
CN109398688B (zh) 一种旋翼飞行双机械臂目标定位抓取系统及方法
CN107240063B (zh) 一种面向移动平台的旋翼无人机自主起降方法
Paul et al. A multirotor platform employing a three-axis vertical articulated robotic arm for aerial manipulation tasks
US20200290753A1 (en) Method and device for docking an unmanned aerial vehicle with a moveable docking station
CN107943073A (zh) 无人机起降方法、设备、系统及无人机
Kim et al. A vision-based target tracking control system of a quadrotor by using a tablet computer
CN107463181A (zh) 一种基于AprilTag的四旋翼飞行器自适应追踪系统
Paul et al. Landing of a multirotor aerial vehicle on an uneven surface using multiple on-board manipulators
US20220137647A1 (en) System and method for operating a movable object based on human body indications
Shimahara et al. Aerial manipulation for the workspace above the airframe
Nieuwenhuisen et al. Collaborative object picking and delivery with a team of micro aerial vehicles at MBZIRC
Premachandra et al. A study on hovering control of small aerial robot by sensing existing floor features
Kadouf et al. Colour-based object detection and tracking for autonomous quadrotor UAV
Miyazaki et al. Wire-suspended device control based on wireless communication with multirotor for long reach-aerial manipulation
CN115159149A (zh) 一种基于视觉定位的取料卸货方法及其装置
Kim et al. Vision-based collaborative lifting using quadrotor UAVs
CN116353828B (zh) 一种无人机空中捕获地面物体的装置和方法
Kim et al. Tablet PC-based visual target-following system for quadrotors
Mejias et al. Two seconds to touchdown-vision-based controlled forced landing
CN208903135U (zh) 一种基于双目摄像头的抗风舰艇无人机动态目标捕捉装置
Expert et al. Controlling docking, altitude and speed in a circular high-roofed tunnel thanks to the optic flow
CN207380555U (zh) 面向自主搬运任务的无人机系统
CN107783542A (zh) 无人机的控制方法和控制系统
CN107363831B (zh) 基于视觉的遥操作机器人控制系统及方法
Kominami et al. Active tethered hook: Heavy load movement using hooks that move actively with micro UAVs and winch system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant