CN113065499B - 基于视觉学习驱动的空中机器人集群控制方法及系统 - Google Patents

基于视觉学习驱动的空中机器人集群控制方法及系统 Download PDF

Info

Publication number
CN113065499B
CN113065499B CN202110398811.1A CN202110398811A CN113065499B CN 113065499 B CN113065499 B CN 113065499B CN 202110398811 A CN202110398811 A CN 202110398811A CN 113065499 B CN113065499 B CN 113065499B
Authority
CN
China
Prior art keywords
aerial robot
camera
module
network model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110398811.1A
Other languages
English (en)
Other versions
CN113065499A (zh
Inventor
王耀南
范泷文
钟杭
李玲
缪志强
张辉
林杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202110398811.1A priority Critical patent/CN113065499B/zh
Publication of CN113065499A publication Critical patent/CN113065499A/zh
Application granted granted Critical
Publication of CN113065499B publication Critical patent/CN113065499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Abstract

本发明公开了一种基于视觉学习驱动的空中机器人集群控制方法及系统，包括以下步骤：采用摄像头模块扫描获取当前空中机器人全方位周围场景图像；对全方位周围场景图像进行预处理，得到预处理后的全方位周围场景图像；根据预处理后的全方位周围场景图像和预设的网络模型，得到网络模型输出的控制量；检测空中机器人当前运行状态信息，根据当前运行状态信息确认当前空中机器人运行正常时，获取当前空中机器人前一次运行的目标速度，根据前一次运行的目标速度和网络模型输出的控制量得到最终控制量，根据最终控制量实现对当前空中机器人的控制，解决了传统空中机器人无法在通讯困难以及GPS拒止的环境中实现集群的问题。

Description

基于视觉学习驱动的空中机器人集群控制方法及系统
技术领域
本发明涉及空中机器人集群控制领域，尤其涉及一种基于视觉学习驱动的空中机器人集群控制方法及系统。
背景技术
近年来，空中机器人理论和技术得到了快速发展，空中机器人能够实现的功能愈发强大，在一些领域正渐渐取代载人飞行器，尤其是在一些人类难以到达的环境和具有挑战的项目有着很高的效率。然而,由于任务需求和工作环境变得不断繁杂，单架空中机器人在任务执行能力上显露出了局限性。多空中机器人群系统不但能发挥空中机器人的优势，还能避免单空中机器人的局限性，在部分个体发生故障的情况下还可以完成多样的任务，是未来空中机器人发展的重要方向。
传统的空中机器人集群技术是利用内部的通信和信息共享优势,得到相互间的位置关系，通过虚拟结构法、领航者-跟随者、基于人工势场的控制方法以及基于模型预测控制的控制算法来进行集群编队的控制，这些控制算法需要强大的通信带宽以及准确的GPS定位信号。在城市和野外飞行环境中，受大型建筑物等的影响，无线通信的通信信号容易被干扰、遮挡，这给通讯控制带来了极大的困难。受多种因素的影响，包括与GPS卫星有关的误差、与信号传播有关的误差、与接收设备有关的误差，这种误差在空中机器人集群系统中会严重降低系统的鲁棒性。特别是在GPS拒止的环境中，传统的机器人集群算法无法实现。
针对这种通信困难或者GPS拒止的环境中，传统算法已经满足不了现代社会的需要，因此需要采用新的方法使空中机器人能够在复杂环境依旧保持高鲁棒性的集群控制。
发明内容
针对以上技术问题，本发明提供一种基于视觉学习驱动的空中机器人集群控制方法及系统。
本发明解决其技术问题采用的技术方案是：
基于视觉学习驱动的空中机器人集群控制方法，方法包括以下步骤：
步骤S200：采用摄像头模块扫描获取当前空中机器人全方位周围场景图像；
步骤S300：对全方位周围场景图像进行预处理，得到预处理后的全方位周围场景图像；
步骤S500：根据预处理后的全方位周围场景图像和预设的网络模型，得到网络模型输出的控制量；
步骤S600：检测空中机器人当前运行状态信息，根据当前运行状态信息确认当前空中机器人运行正常时，获取当前空中机器人前一次运行的目标速度，根据前一次运行的目标速度和网络模型输出的控制量得到最终控制量，根据最终控制量实现对当前空中机器人的控制，其中，空中机器人包括摄像头模块、计算机模块和飞控模块，运行状态信息包括速度、位置、航向信息，以及摄像头模块、计算机模块和飞控模块间连接信号。
优选地，全方位周围场景图像包括多张图像，步骤S300包括：
步骤S310：对全方位周围场景图像中的多张图像进行灰度变换，采用高斯滤波抑制噪声并平滑图像，得到第一图像；
步骤S320：对第一图像进行二值化操作，得到第二图像；
步骤S330：对第二图像进行特征点提取与匹配，并按照预设顺序排序拼接，形成一张图像。
优选地，步骤S500之前还包括：
步骤S400：预训网络模型，得到预设的网络模型。
优选地，预设的网络模型包括速度预测的全连接层和碰撞预测的全连接层，步骤S400包括：
步骤S410：采集预训练所需要的训练集图像；
步骤S420：将训练集图像输入初始网络模型进行训练确定网络权值参数，得到预设的网络模型，其中，在速度预测的全连接层处采用均方误差损失函数，在碰撞预测的全连接层处采用交叉熵损失函数。
优选地，预设的网络模型中的总的损失函数为：
Figure BDA0003019488160000021
其中,Lall表示总的损失函数，a表示加权比例，epoch表示循环迭代次数，Lvel表示均方误差损失函数，Lcol表示交叉熵损失函数。
优选地，步骤S600中最终控制量的计算公式具体为：
νout＝b(1-β)νin+(1-b)νlastout
其中，νout为最终控制量，β为碰撞概率，b为低通滤波参数，νin为网络模型输出的控制量，νlastout为空中机器人前一次运行的目标速度。
优选地，步骤S600还包括：
根据当前运行状态信息确定空中机器人运行状态异常时，输出返回控制指令，控制空中机器人返回。
优选地，步骤S200之前还包括：
步骤S100：发送启动指令，启动指令用于控制摄像头模块和飞控模块开始工作。
基于视觉学习驱动的空中机器人集群控制系统，包括多架空中机器人，每一空中机器人包括空中机器人本体和均安装在空中机器人本体上的摄像头模块、计算机模块和飞控模块，摄像头模块连接计算机模块，计算机模块连接飞控模块；
摄像头模块用于扫描获取空中机器人全方位周围场景图像并发送至计算机模块；
计算机模块用于执行其上的方法，得到最终控制量并发送至飞控模块；
飞控模块用于根据接收的最终控制量实现对空中机器人集群控制。
优选地，摄像头模块包括第一摄像头、第二摄像头、第三摄像头、第四摄像头、第五摄像头和第六摄像头，第一摄像头设置于空中机器人本体的正前方，第二摄像头、第三摄像头和第四摄像头以每隔90°均匀设置于空中机器人本体的其余三周，第五摄像头设置于空中机器人本体的顶部，第六摄像头设置于空中机器人本体的底部，每个摄像头的视野范围为120°。
上述基于视觉学习驱动的空中机器人集群控制方法及系统，采用全方位的摄像头模块来代替空中机器人之间的通信交流以及GPS来获取相对位置的方式，通过神经网络学习集群的规则算法得到预设的网络模型，对获取到的全方位的周围场景图像进行处理后直接输入，直接为各空中机器人输出最终控制量，实现集群的控制，解决了传统空中机器人无法在通讯困难以及GPS拒止的环境中实现集群的问题。
附图说明
图1为本发明一实施例提供的基于视觉学习驱动的空中机器人集群控制方法的流程图；
图2为空中机器人的正视图；
图3为空中机器人的俯视图；
图4为空中机器人的视觉集群示意图；
图5为全方位周围场景图像预处理结果示意图；
图6为本发明另一实施例提供的基于视觉学习驱动的空中机器人集群控制方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。
在一个实施例中，如图1所示，一种基于视觉学习驱动的空中机器人集群控制方法，方法包括以下步骤：
步骤S200：采用摄像头模块扫描获取空中机器人全方位周围场景图像。
具体地，空中机器人具体可以为无人机但不仅限于此，摄像头模块的视野覆盖空中机器人的各个方向，用于扫描四周场景，并获取到全方位的周围场景图像。
在本实施例中，摄像头模块包括第一摄像头1、第二摄像头2、第三摄像头3、第四摄像头4、第五摄像头5和第六摄像头6，第一摄像头1设置于空中机器人的正前方，第二摄像头2、第三摄像头3和第四摄像头4以每隔90°均匀设置于空中机器人的其余三周(具体为空中机器人的正后方、正左方和正右方)，第五摄像头5设置于空中机器人的顶部，第六摄像头6设置于空中机器人的底部，每个摄像头的视野范围为120°，如图2、3和4所示。
步骤S300：对全方位周围场景图像进行预处理，得到预处理后的全方位周围场景图像。
具体地，全方位周围场景图像包括多张图像，在本实施例中，从摄像头模块一次性获得6张图像。
在一个实施例中，步骤S300包括：步骤S310：对全方位周围场景图像中的多张图像进行灰度变换，采用高斯滤波抑制噪声并平滑图像，得到第一图像。
步骤S310中的高斯滤波处理公式具体为：
Figure BDA0003019488160000051
其中，Ti,j为滤波模板中目标值的大小，i,j为滤波模板中位置下标，σ为方差，滤波模板的大小为(2k+1)，k代表高斯滤波时模板的中心位置。
步骤S320：对第一图像进行二值化操作，得到第二图像。
步骤S330：对第二图像进行特征点提取与匹配，并按照预设顺序排序拼接，形成一张图像。
具体地，将6张处理后的图片进行特征点提取与匹配，并按照摄像头1、2、3、4、5、6的顺序进行拼接，形成一张图片，如图5所示。
在一个实施例中，步骤S500：根据预处理后的全方位周围场景图像和预设的网络模型，得到网络模型输出的控制量。
进一步地，如图6所示，在步骤S500之前，还包括步骤S400：预训网络模型，得到预设的网络模型。
具体地，网络模型包括该体系结构，其中共享部分由一个ResNet-8组成，其中有3个残差块，然后是通过dropout和ReLU(线性整流函数，Rectified Linear Unit)非线性模块，最后将网络分成2个分离的完全连接层，一个为速度预测的全连接层，输出速度控制量，另一个为碰撞预测的全连接层，输出碰撞概率。
在一个实施例中，步骤S400包括：
步骤S410：采集预训练所需要的训练集图像。
具体地，空中机器人群预先采用手动位置控制模式，控制空中机器人在环境中无碰撞飞行，采集预训练所需要的训练集图片，预训练的图片进行人工标注速度和碰撞概率，作为预先训练的数据集。
步骤S420：将训练集图像输入初始网络模型进行训练确定网络权值参数，得到预设的网络模型，其中，在速度预测的全连接层处采用均方误差损失函数，在碰撞预测的全连接层处采用交叉熵损失函数。
具体地，在速度预测的全连接层处采用均方误差损失函数Lvel，在碰撞预测的全连接层处采用交叉熵损失函数Lcol，预设的网络模型中总的损失函数定义为：
Figure BDA0003019488160000061
其中,Lall表示总的损失函数，a表示加权比例，epoch表示循环迭代次数。
其中，设置网络迭代起始学习率为0.001，指数衰减等于10-5，a通过实验验证选择0.1，进行重复训练确定得到网络权值参数w，使得网络模型的准确性更高。
为了验证本发明的空中机器人集群控制方法及系统的精确度，在网络训练中得到网络模型准确率为94.2％，权值参数数量为3.5×105，它的帧率为20fps，完全能满足实际需求。
在一个实施例中，步骤S600：检测空中机器人当前运行状态信息，根据当前运行状态信息确认当前空中机器人运行正常时，获取当前空中机器人前一次运行的目标速度，根据前一次运行的目标速度和网络模型输出的控制量得到最终控制量，根据最终控制量实现对当前空中机器人的控制，其中，空中机器人包括摄像头模块、计算机模块和飞控模块，运行状态信息包括速度、位置、航向信息，以及摄像头模块、计算机模块和飞控模块间连接信号。进一步地，图2和图3中的7表示计算机模块。
具体地，步骤S600中最终控制量的计算公式具体为：
νout＝b(1-β)νin+(1-b)νlastout
其中，νout为最终控制量，β为碰撞概率，b为低通滤波参数，νin为网络模型输出的控制量，νlastout为空中机器人前一次运行的目标速度。
具体地，将控制量输入，使用低通滤波调制后得到的速度νout为飞控模块中的控制器提供平滑、连续的输入，进一步地，在实际测试过程中，b取值为0.8。
在一个实施例中，步骤S600还包括：根据当前运行状态信息确定空中机器人运行状态异常时，输出返回控制指令，控制空中机器人返回。
具体地，当空中机器人的速度、位置、航向信息中的至少一个不在对应的预设合理范围值内时，和/或检测到控制机器人的模块间连接信号异常时，则确定空中机器人运行状态异常，控制空中机器人返回。
在一个实施例中，如图6所示，步骤S200之前还包括步骤S100：发送启动指令，启动指令用于控制摄像头模块和飞控模块开始工作。
具体地，计算机模块发送空中机器人系统启动指令，摄像头模块和飞控模块根据启动指令开始工作，飞控模块控制空中机器人本体升空并运行。
上述一种基于视觉学习驱动的空中机器人集群控制方法，针对当前空中机器人系统的集群鲁棒性不足，采用多个全方位的摄像头来代替空中机器人之间的通信交流以及GPS来获取相对位置的方式，从全方位的视角图像直接输入，通过神经网络学习集群的规则算法，直接为空中机器人输出控制量，实现集群的分布式自主控制，每个空中机器人完全依赖于本地视觉信息的机载电脑处理来计算自身的实际速度，避免了空中机器人之间相互通信占用带宽资源，集群中个别空中机器人的故障和损失也不会影响其他空中机器人的功能，该方法对场景具有很强的鲁棒性，使密集的空中机器人群体能够一致地飞行，而不发生相互碰撞，不依赖于视觉标记或相互之间的通信，因此适合于在GPS被拒绝的环境中或在无线链路不可靠的情况。
在一个实施例中，一种基于视觉学习驱动的空中机器人集群控制系统，包括多架空中机器人，每一空中机器人包括空中机器人本体和均安装在空中机器人本体上的摄像头模块、计算机模块和飞控模块，摄像头模块连接计算机模块，计算机模块连接飞控模块；摄像头模块用于扫描获取空中机器人全方位周围场景图像并发送至计算机模块；计算机模块用于获取摄像头模块扫描获取的空中机器人全方位周围场景图像；对全方位周围场景图像进行预处理，得到预处理后的全方位周围场景图像；根据预处理后的全方位周围场景图像和预设的网络模型，得到网络模型输出的控制量；检测空中机器人当前运行状态信息，根据当前运行状态信息确认当前空中机器人运行正常时，获取当前空中机器人前一次运行的目标速度，根据前一次运行的目标速度和网络模型输出的控制量得到最终控制量并发送至飞控模块，其中，空中机器人包括摄像头模块、计算机模块和飞控模块，运行状态信息包括速度、位置、航向信息，以及摄像头模块、计算机模块和飞控模块间连接信号；飞控模块用于根据接收的最终控制量实现对空中机器人集群控制。
在一个实施例中，摄像头模块包括第一摄像头、第二摄像头、第三摄像头、第四摄像头、第五摄像头和第六摄像头，第一摄像头设置于空中机器人本体的正前方，第二摄像头、第三摄像头和第四摄像头以每隔90°均匀设置于空中机器人本体的其余三周(具体为空中机器人的正后方、正左方和正右方)，第五摄像头设置于空中机器人本体的顶部，第六摄像头设置于空中机器人本体的底部，每个摄像头的视野范围为120°。
具体地，本发明中空中机器人平台选用大疆M100但不限于此。本发明中计算机模块选用NVIDIA公司的NVIDIA JETSON NANO开发模块，但不限于此。本发明中摄像头模块选用openMV Cam M7，但不限于此。
关于一种基于视觉学习驱动的空中机器人集群控制系统的具体限定可以参见上文中对于一种基于视觉学习驱动的空中机器人集群控制方法的限定，在此不再赘述。
上述一种基于视觉学习驱动的空中机器人集群控制系统，针对当前空中机器人系统的集群鲁棒性不足，采用多个全方位的摄像头来代替空中机器人之间的通信交流以及GPS来获取相对位置的方式，从全方位的视角图像直接输入，通过神经网络学习集群的规则算法，直接为空中机器人输出控制量，实现集群的分布式自主控制，每个空中机器人完全依赖于本地视觉信息的计算机模块处理来计算自身的实际速度，避免了空中机器人之间相互通信占用带宽资源，集群中个别空中机器人的故障和损失也不会影响其他空中机器人的功能，该系统对场景具有很强的鲁棒性，使密集的空中机器人群体能够一致地飞行，而不发生相互碰撞，不依赖于视觉标记或相互之间的通信，因此适合于在GPS被拒绝的环境中或在无线链路不可靠的情况。
以上对本发明所提供的一种基于视觉学习驱动的空中机器人集群控制方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (6)

1.基于视觉学习驱动的空中机器人集群控制方法，其特征在于，所述方法包括以下步骤：
步骤S200：采用摄像头模块扫描获取当前空中机器人全方位周围场景图像；
步骤S300：对所述全方位周围场景图像进行预处理，得到预处理后的全方位周围场景图像；
步骤S500：根据所述预处理后的全方位周围场景图像和预设的网络模型，得到网络模型输出的控制量；
步骤S600：检测空中机器人当前运行状态信息，根据所述当前运行状态信息确认当前空中机器人运行正常时，获取当前空中机器人前一次运行的目标速度，根据前一次运行的目标速度和所述网络模型输出的控制量得到最终控制量，根据所述最终控制量实现对当前空中机器人的控制，其中，空中机器人包括摄像头模块、计算机模块和飞控模块，所述运行状态信息包括速度、位置、航向信息，以及所述摄像头模块、所述计算机模块和所述飞控模块间连接信号；
所述步骤S500之前还包括：
步骤S400：预训网络模型，得到预设的网络模型；
所述预设的网络模型包括速度预测的全连接层和碰撞预测的全连接层，所述步骤S400包括：
步骤S410：采集预训练所需要的训练集图像；
步骤S420：将所述训练集图像输入初始网络模型进行训练确定网络权值参数，得到预设的网络模型，其中，在速度预测的全连接层处采用均方误差损失函数，在碰撞预测的全连接层处采用交叉熵损失函数；
所述预设的网络模型中的总的损失函数为：
Figure FDA0003651721060000011
其中,Lall表示总的损失函数，a表示加权比例，epoch表示循环迭代次数，Lvel表示均方误差损失函数，Lcol表示交叉熵损失函数；
步骤S600中最终控制量的计算公式具体为：
νout＝b(1-β)νin+(1-b)vlastout
其中，νout为最终控制量，β为碰撞概率，b为低通滤波参数，νin为网络模型输出的控制量，vlastout为空中机器人前一次运行的目标速度。
2.根据权利要求1所述的方法，其特征在于，所述全方位周围场景图像包括多张图像，所述步骤S300包括：
步骤S310：对所述全方位周围场景图像中的多张图像进行灰度变换，采用高斯滤波抑制噪声并平滑图像，得到第一图像；
步骤S320：对所述第一图像进行二值化操作，得到第二图像；
步骤S330：对所述第二图像进行特征点提取与匹配，并按照预设顺序排序拼接，形成一张图像。
3.根据权利要求1所述的方法，其特征在于，步骤S600还包括：
根据所述当前运行状态信息确定空中机器人运行状态异常时，输出返回控制指令，控制空中机器人返回。
4.根据权利要求1所述的方法，其特征在于，步骤S200之前还包括：
步骤S100：发送启动指令，所述启动指令用于控制所述摄像头模块和所述飞控模块开始工作。
5.基于视觉学习驱动的空中机器人集群控制系统，其特征在于，包括多架空中机器人，每一空中机器人包括空中机器人本体和均安装在所述空中机器人本体上的摄像头模块、计算机模块和飞控模块，所述摄像头模块连接所述计算机模块，所述计算机模块连接所述飞控模块；
所述摄像头模块用于扫描获取空中机器人全方位周围场景图像并发送至所述计算机模块；
所述计算机模块用于执行权利要求1至4中任一项所述的方法，得到最终控制量并发送至所述飞控模块；
所述飞控模块用于根据接收的所述最终控制量实现对空中机器人集群控制。
6.根据权利要求5所述的控制系统，其特征在于，所述摄像头模块包括第一摄像头、第二摄像头、第三摄像头、第四摄像头、第五摄像头和第六摄像头，所述第一摄像头设置于所述空中机器人本体的正前方，所述第二摄像头、所述第三摄像头和所述第四摄像头以每隔90°均匀设置于所述空中机器人本体的其余三周，所述第五摄像头设置于所述空中机器人本体的顶部，所述第六摄像头设置于所述空中机器人本体的底部，每个摄像头的视野范围为120°。
CN202110398811.1A 2021-04-14 2021-04-14 基于视觉学习驱动的空中机器人集群控制方法及系统 Active CN113065499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110398811.1A CN113065499B (zh) 2021-04-14 2021-04-14 基于视觉学习驱动的空中机器人集群控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110398811.1A CN113065499B (zh) 2021-04-14 2021-04-14 基于视觉学习驱动的空中机器人集群控制方法及系统

Publications (2)

Publication Number Publication Date
CN113065499A CN113065499A (zh) 2021-07-02
CN113065499B true CN113065499B (zh) 2022-07-01

Family

ID=76566889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110398811.1A Active CN113065499B (zh) 2021-04-14 2021-04-14 基于视觉学习驱动的空中机器人集群控制方法及系统

Country Status (1)

Country Link
CN (1) CN113065499B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103925920A (zh) * 2014-04-10 2014-07-16 西北工业大学 一种基于图像透视的微型无人机室内自主导航方法
CN104298239A (zh) * 2014-09-29 2015-01-21 湖南大学 一种室内移动机器人增强地图学习路径规划方法
CN105759836A (zh) * 2016-03-14 2016-07-13 武汉卓拔科技有限公司 一种基于3d摄像头的无人机避障方法及装置
CN108801241A (zh) * 2017-04-07 2018-11-13 辉达公司 使用深度神经网络执行自主路径导航
CN109032173A (zh) * 2018-07-09 2018-12-18 上海交通大学 一种基于空地交互的车载无人机系统
CN109933081A (zh) * 2017-12-15 2019-06-25 北京京东尚科信息技术有限公司 无人机避障方法、避障无人机以及无人机避障装置
CN110514206A (zh) * 2019-08-02 2019-11-29 中国航空无线电电子研究所 一种基于深度学习的无人机飞行路径预测方法
CN112099505A (zh) * 2020-09-17 2020-12-18 湖南大学 一种低复杂度的移动机器人视觉伺服编队控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3311363B1 (en) * 2015-06-17 2020-08-05 Rosemount Aerospace Inc. System and method for processing captured images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103925920A (zh) * 2014-04-10 2014-07-16 西北工业大学 一种基于图像透视的微型无人机室内自主导航方法
CN104298239A (zh) * 2014-09-29 2015-01-21 湖南大学 一种室内移动机器人增强地图学习路径规划方法
CN105759836A (zh) * 2016-03-14 2016-07-13 武汉卓拔科技有限公司 一种基于3d摄像头的无人机避障方法及装置
CN108801241A (zh) * 2017-04-07 2018-11-13 辉达公司 使用深度神经网络执行自主路径导航
CN109933081A (zh) * 2017-12-15 2019-06-25 北京京东尚科信息技术有限公司 无人机避障方法、避障无人机以及无人机避障装置
CN109032173A (zh) * 2018-07-09 2018-12-18 上海交通大学 一种基于空地交互的车载无人机系统
CN110514206A (zh) * 2019-08-02 2019-11-29 中国航空无线电电子研究所 一种基于深度学习的无人机飞行路径预测方法
CN112099505A (zh) * 2020-09-17 2020-12-18 湖南大学 一种低复杂度的移动机器人视觉伺服编队控制方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Adaptive Image-Based Leader–Follower Formation Control of Mobile Robots With Visibility Constraints;J. Lin, Z. Miao, H. Zhong, W. Peng, Y. Wang and R. Fierro;《IEEE Transactions on Industrial Electronics》;20200520;第6010-6019页 *
Survey on UAV navigation in GPS denied environments;G. Balamurugan, J. Valarmathi and V. P. S. Naidu;《2016 International Conference on Signal Processing, Communication, Power and Embedded System (SCOPES)》;20161231;第198-204页 *
Vision-Based Formation Control of Mobile Robots With FOV Constraints and Unknown Feature Depth;Z. Miao, H. Zhong, J. Lin, Y. Wang, Y. Chen and R. Fierro;《IEEE Transactions on Control Systems Technology》;20200923;第2231-2238页 *
旋翼飞行机器人多机视觉跟踪定位系统及方法;王耀南，罗琼华，陈彦杰，谭建豪，刘芯;《仪器仪表学报》;20180228;第1-10页 *
旋翼飞行机器人视觉定位方法及系统;李力，王耀南，刘洪剑，谭建豪，钟杭;《机器人》;20160229;第8-16页 *

Also Published As

Publication number Publication date
CN113065499A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
US20210390329A1 (en) Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium
US20210081681A1 (en) Object identification apparatus, moving body system, object identification method, object identification model learning method, and object identification model learning apparatus
Wang et al. Real-time underwater onboard vision sensing system for robotic gripping
CN107481292A (zh) 车载摄像头的姿态误差估计方法和装置
CN108320051B (zh) 一种基于gru网络模型的移动机器人动态避碰规划方法
CN109033245B (zh) 一种移动机器人视觉-雷达图像跨模态检索方法
CN112201078B (zh) 一种基于图神经网络的自动泊车停车位检测方法
CN111507161B (zh) 利用合并网络进行异质传感器融合的方法和装置
CN111831010A (zh) 一种基于数字空间切片的无人机避障飞行方法
CN114526728A (zh) 一种基于自监督深度学习的单目视觉惯导定位方法
CN113065499B (zh) 基于视觉学习驱动的空中机器人集群控制方法及系统
CN114326821B (zh) 基于深度强化学习的无人机自主避障系统及方法
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
CN112241180B (zh) 一种无人机移动平台降落引导的视觉处理方法
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
Shakirzyanov et al. Method for unmanned vehicles automatic positioning based on signal radially symmetric markers recognition of underwater targets
CN113848884A (zh) 一种基于特征融合和时空约束的无人驾驶工程机械决策方法
CN111950386A (zh) 基于功能智能的微型无人机环境自适应导航场景识别方法
CN110910450A (zh) 一种基于混合特征感知神经网络进行3d目标检测的方法
CN116902003B (zh) 基于激光雷达与摄像头混合模态的无人驾驶方法
CN113808161B (zh) 基于机器视觉的车载多旋翼无人机车辆跟踪方法
CN116863430B (zh) 一种面向自动驾驶的点云融合方法
US11948326B2 (en) Fixed or movable electronic device with NPU and ISP
CN114677859B (zh) 无人机航线自动校正方法和装置
Jhan et al. Development of low-cost camera-based UAV control strategy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant