CN112781595B - 基于深度相机的室内飞艇定位与避障系统 - Google Patents

基于深度相机的室内飞艇定位与避障系统 Download PDF

Info

Publication number
CN112781595B
CN112781595B CN202110045320.9A CN202110045320A CN112781595B CN 112781595 B CN112781595 B CN 112781595B CN 202110045320 A CN202110045320 A CN 202110045320A CN 112781595 B CN112781595 B CN 112781595B
Authority
CN
China
Prior art keywords
depth camera
airship
key frame
key
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110045320.9A
Other languages
English (en)
Other versions
CN112781595A (zh
Inventor
王宏伟
王磊
刘洋
王薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110045320.9A priority Critical patent/CN112781595B/zh
Publication of CN112781595A publication Critical patent/CN112781595A/zh
Application granted granted Critical
Publication of CN112781595B publication Critical patent/CN112781595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)

Abstract

提供了基于深度相机的室内飞艇定位与避障系统。所提供的基于深度相机的室内飞艇定位与避障方法，包括：通过在所述室内飞行的飞艇所携带的深度相机捕获视频；从所述视频中提取多个关键帧，每个关键帧包括相关联的特征点与描述子；通过相邻关键帧的匹配的特征点确定所述深度相机的位姿；对连续的多个关键帧与检测到的回环通过非线性优化得到全局一致的所述深度相机的运动轨迹；根据运动轨迹与所述视频建立所述飞艇所处室内场景的地图；根据各关键帧识别关键帧中的障碍物，根据深度相机到识别出的障碍物的距离、方向与所述飞艇的尺寸和速度选择避障策略；以及根据避障策略驱动所述飞艇在所述室内飞行。

Description

基于深度相机的室内飞艇定位与避障系统
技术领域
本发明涉及飞行器技术领域，具体是涉及一种基于深度相机的室内飞艇同时定位与避障方案。
背景技术
无人机在环境的监测、农业勘察和航空摄影等方面用途十分广泛，并且成本较低，从而在市场上得到普及，越来越受到人们的认可。但是无人机高速运转的旋翼裸露在外，一旦发生故障会对周围人群带来伤害，同时其续航性差，因此在人群密集和需要长时间工作的场合使用受到限制。而飞艇本身续航能力强，并且运动速度较慢，艇身由巨大的气囊组成，即使出现故障坠落速度也不会过高，安全性能有保障，因此可以弥补无人机的在室内人群密集场所使用受限的缺点。
室外环境可以用GPS进行定位，成本较低且精度高，但是在室内无GPS信号的条件下则需要通过其他方式来实现定位。对于机器人和无人机来说，在探索未知环境的时候，需要同时解决自身定位和外界感知两个问题。像这样一边估计主体自身位置，一边建立周围环境的模型的方式叫做同时定位与建图(Simultaneous Localization and Mapping)，简称SLAM技术。在SLAM技术中常用的传感器有激光雷达和相机，并依此分为激光SLAM和视觉SLAM。基于激光的方式成熟，可靠性高，建图方式直接。但是激光雷达作为传感器安装要求较高，并且仅能探测到2D平面的障碍物信息，探测不到垂直平面的信息，建立的地图为二维地图，所提供的环境信息有限等问题。相机作为传感器，成本较低并且容易安装，同时可以适用于大部分环境，获取环境的语义信息。语义在此处泛指机器人对周围环境内容的理解，例如了解环境中的物体类别以及它们的关系等。能正确地理解环境的高级语义信息再结合传统的SLAM算法便可以构建出可用的语义地图。如何利用相机实现飞行器的定位，同时获取周围环境的语义信息并为飞行器提供避障策略成为一个关键问题。本申请针对无人机使用受限的室内长时间工作场合，提出一种基于深度相机的室内飞艇定位与避障方案，弥补这一应用空白。
发明内容
本发明的一个目的在于克服现有技术的缺点与不足，在无人机使用受限的室内环境采用飞艇，并基于此提供一种基于深度相机的定位与避障方案。相较于无人机，飞艇具有续航性好和安全的特点，同时相较于传统地图信息缺少的激光SLAM方案，基于深度相机的同时定位与避障方案可以充分利用图像中的语义信息，实现定位并同时根据语义信息提供避障策略。
本发明提供了一种室内飞艇实时的定位和避障方案。定位需要周围环境的信息，同时建图又依赖于自身的位置，是一个同时进行的过程，所以称为同时定位与建图技术。首先通过RGB-D相机获取视频，利用相邻图像间的信息解算相机的位姿，将相机的位姿表现出来即得到相机的运动轨迹。但是仅通过相邻帧计算位姿会产生误差，而地图的建立又依赖于相机的位置，因此要得到全局一致的相机轨迹和地图还需要将得到的位姿进行优化，同时采用回环检测对视频中图像进行相似度比较，检测飞艇是否到达同一位置，如果确认到达同一位置则也将信息输入到优化部分进行优化而消除仅通过相邻关键帧计算位姿产生的误差。另外，由于RGB-D相机可以同时获得彩色图和深度图，在对视频中的关键帧图像利用预先训练好的神经网络模型确定彩色图中的语义信息之后，可以同时根据深度图的深度信息，通过预先设置好的避障方式中选取避障策略。
根据本申请的第一方面，提供了一种基于深度相机的室内飞艇定位与避障方法，包括：通过在所述室内飞行的飞艇所携带的深度相机捕获视频；从所述视频中提取多个关键帧，每个关键帧包括相关联的特征点与描述子；通过相邻关键帧的的匹配的特征点确定所述深度相机的位姿；对连续的多个关键帧与检测到的回环通过非线性优化得到全局一致的所述深度相机的运动轨迹；根据运动轨迹与所述视频建立所述飞艇所处室内场景的地图；根据各关键帧识别关键帧中的障碍物，根据深度相机到识别出的障碍物的距离、方向与所述飞艇的尺寸和速度选择避障策略；以及根据避障策略驱动所述飞艇在所述室内飞行。
根据本申请的第一方面，提供了进一步的基于深度相机的室内飞艇定位与避障方法，其中所述飞艇包括所述气囊(1)，位于所述气囊两侧的推进装置(2)，位于所述气囊底部的吊舱(3)与其位于所述吊舱(3)内部设置的通信模块(5)和固定于所述吊舱下方固定的深度相机(4)。
根据本申请的第一方面，提供了进一步的基于深度相机的室内飞艇定位与避障方法，其中从所述视频中提取多个关键帧包括：从所述视频提取多个所包括的特征点的数量大于阈值的帧；若所提取的当前帧相对于时间上相邻的前一个关键帧的对应深度相机的位姿变化大于阈值，和/或所述当前帧相对于时间上相邻的前一个关键帧的语义信息差距大于阈值，确定所述当前帧为关键帧。
根据本申请的第一方面，提供了进一步的基于深度相机的室内飞艇定位与避障方法，其中特征点包括关键点和同关键点关联的描述子；通过如下步骤确定帧中的特征点的关键点：通过对从所提取的多个帧的第二帧得到的彩色图计算梯度求得表示纹理特征的Harris角点的响应值R，以及将彩色图的每个点的响应值所表达的图称为响应值图；通过对深度图做进行u、v方向两方向差分得到像素的Z坐标在两个像素轴的梯度Gdzu与Gdzv，并计算表示每个像素点的几何特征变化G＝Gdzu+Gdzv；其中，像素点在三维空间中的坐标为(X,Y,Z)，u、v是像素坐标系的坐标轴；综合纹理特征和几何特征为每个像素计算S＝R+w·G，根据为各像素计算的S选取具有局部最大值的像素作为关键点。
根据本申请的第一方面，提供了进一步的基于深度相机的室内飞艇定位与避障方法，其中通过如下步骤确定同关键点关联的描述子：在关键点周围取大小为30×30的邻域窗口，在每个窗口内随机选取128个随机点对，用所选取128个随机点对构建128维的描述子，其中描述子各维度值的构建方式如下：
其中，p(x),p(y)为对应的随机点对(x,y)的像素值。
根据本申请的第一方面，提供了进一步的基于深度相机的室内飞艇定位与避障方法，其中通过相邻关键帧的的匹配的特征点确定所述深度相机的位姿包括：根据相邻关键帧的第一关键帧的特征点记为{x1,…,xn}与第一关键帧相邻的特征点记为{x1′,…,xn′}，其中n为正整数，获取第一关键帧的特征点{x1,…,xn}与第二关键帧的特征点{x1′,…,xn′}中的匹配点对(pi,p′i)，i为正整数，i＜＝n，其中所获取的匹配点对中P＝{p1,...,pk}是来自第一关键帧的特征点集合，而P＝{p1',...,pk'}是来自第二关键帧的特征点集合；通过集合P与P'用迭代最近点(Iterative Closest Point,ICP)的方式得到第二帧时所述深度相机的位姿相对于所述第一帧时的位姿变化；累积所述深度相机的位姿变化得到深度相机的位姿。
根据本申请的第一方面，提供了进一步的基于深度相机的室内飞艇定位与避障方法，其中使用滑动窗口法来对窗口内包括的多个连续关键帧采用非线性优化的方式进行优化，得到全局一致的运动轨迹和地图。
根据本申请的第一方面，提供了进一步的基于深度相机的室内飞艇定位与避障方法，其中对于提取的关键帧，根据其每个特征点的描述子获取其单词向量；若所述提取的关键帧的单词向量同具有已知拍摄位置的帧的单词向量一致，识别出拍摄所述提取的关键帧的位置；根据拍摄所述提取的关键帧的位置是否在深度相机的运动轨迹中出现过来检测回环；以及根据检测出的回环消除所述深度相机的运动轨迹的误差。
根据本申请的第一方面，提供了进一步的基于深度相机的室内飞艇定位与避障方法，其中通过如下步骤从提取的关键帧中获取单词向量：离线大量采集图像并提取特征点及描述子，并通过对特征点的描述子聚类生成含有k个单词的词典，将提取的每个关键帧按照是否包含某个单词来生成单词向量，从而每个关键帧可以通过是否包含所述词典中的某个单词来生成单词向量。
根据本申请的第一方面，提供了进一步的基于深度相机的室内飞艇定位与避障方法，其中通过如下步骤识别关键帧中的障碍物：通过预先训练好的神经网络模型，对关键帧图像进行实例分割，获得图像中各物体的类别、位置框的语义信息。
根据本申请的第二方面，提供了计算机，包括处理器与存储器，所述存储器中存储有程序，当所述程序被所述处理器执行时，使得所述处理器执行根据本申请第一方面的基于深度相机的室内飞艇定位与避障方法。
附图说明
图1为本发明的实施例的飞艇的示意图。
图2为本发明的实施例的飞艇定位与避障系统的示意图。
图3为本发明的实施例的飞艇定位与避障系统的流程图。
图4为本发明的实施例的飞艇避障的流程图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。
图1为本发明的实施例的飞艇的示意图。
系统整体包括飞艇囊体(1)和处于飞艇囊体两侧的推进装置(2)，飞艇囊体底部有所用的深度相机(4)和用于固定深度相机的吊舱(3)并且吊舱内部搭载与地面站通信模块(5)使得地面站实时处理。地面站是例如计算机或服务器。
本申请提供了一种基于深度相机的定位与建图方法，该方法包括：通过RGB-D相机获取所在环境的多个位置的彩色图和深度图；通过基于特征点的方式根据相邻帧彩色图解算相机的运动轨迹；通过非线性优化的方式减小误差，得到全局一致的相机轨迹；通过事先训练好的神经网络模型对各个图像进行识别，获取图像的语义信息；通过与彩色图对应的深度图获得障碍物的距离信息；结合语义信息和距离信息，并根据预先设置的相应避障方式进行避障。
图2为本发明的实施例的飞艇定位与避障系统的示意图。
飞艇定位与避障系统包括飞艇运动控制与采集模块、前端模块、后端非线性优化模块、回环检测模块、以及语义信息提取与避障模块。
飞艇运动控制与图像采集模块操作飞艇的推进装置(2)与深度相机(4)(也参看图1)，使飞艇在要为之绘制地图的室内场景中漫游飞行，飞行中通过深度相机采集室内场景的视频，以从视频中构建室内场景的3D地图。
深度相机采集视频流，从视频流中提取关键帧。提取的关键帧被提供给前端模块、后端模块、回环检测模块与语义信息提取与避障模块。前端模块用视频流中提取的关键帧与关键帧内的特征点，根据相邻帧的特征点的对应关系估计拍摄相邻关键帧时深度相机的位姿变化，继而累积相机的位姿变化得到飞艇的运动轨迹。
关键帧也被提供给后端非线性优化模块、回环检测模块与语义信息提取与避障模块。后端非线性优化模块使用滑动窗口法对于滑动窗口内的关键帧采用非线性优化的方式进行优化，得到全局一致的运动轨迹和地图。回环检测模块通过词袋模型的方法比较图像的相似性来确定飞艇是否到达同一位置。若识别出飞艇在不同时刻到达了同一位置，则检测出回环。回环检测模块将检测出的回环信息提供给后端非线性优化模块。后端非线性优化模块还根据回环信息优化飞艇的运动轨迹。
语义信息提取与避障模块根据从关键帧中获取的各彩色图像形成的图像序列，通过预先训练好的神经网络模型，对彩色图像序列进行实例分割，获得图像中各物体的类别、位置框等语义信息，同时通过与彩色图像对应的深度图获得障碍物中的距离。对于常见障碍物的种类和距离预先设置不同的避障策略，将避障策略提供给飞艇运动控制与图像采集模块，调整飞艇的运动速度和/或方向，从而保证飞艇能够顺利飞行。
图3为本发明的实施例的飞艇定位与避障系统的流程图。
提取关键帧：运用基于特征点的方式对相邻关键帧提取特征点。
关键帧的选取方式：
(1)图像本身特征点数量充足，分布均匀
(2)当前的关键帧作为下一个关键帧的参考帧
(3)基于当前帧和参考帧之间的语义信息的差距或者相机的位姿变化来确定当前帧是否为关键帧。
特征点包括关键点和描述子：
传统特征点的提取大多只考虑RGB图像，只提取二维纹理特征，此种方法在纹理丰富的场景中效果较好，但是在缺少纹理信息时则无法有效表述特征，此时深度信息就显得尤为重要。基于此本申请将RGB图像的纹理特征与深度图像的几何特征进行结合，提出了一种表现更好的特征选取方式。
首先根据RGB图像考虑纹理特征，借鉴Harris算法思想计算像素点的响应值，对于图像中的像素点(u,v)其灰度值为I(u,v)，以其为中心的窗口移动微小位移(δu,δv)后的灰度变化为
w(u,v)为二维高斯平滑函数，用来提高算法的抗噪能力。I(u+δu,v+δv)在(u,v)处进行泰勒展开，可以近似得：
其中Iu，Iv分别为该像素点(u,v)在u方向和v方向的梯度，定义自相关矩阵其特征值可以描述纹理特征，但是由于特征值求取比较复杂，用响应值R代替求特征值。
R＝det(M(u,v))-α*trace(M(u,v))2
＝λ1*λ2-α*(λ1+λ2)2
α为常数，取值范围0.04～0.06，λ1、λ2为M(u,v)的特征值
R为正值时，检测到的是角点；R为负值时，检测到的是边缘；R很小时，检测到的是平坦区域，由此对每一个像素点计算其响应值R。
之前仅仅通过与周围像素点像素值的相对关系来确定是否为关键点，相当于只考虑了关键点的纹理特征，在此基础上再利用深度图像提取图像的几何特征。设P的坐标为[X,Y,Z]T，投影到物理成像平面的成像点P'坐标为[X',Y',Z']T，相机的焦距为f，则由相似三角形像素坐标系与成像平面相差一个缩放和原点的平移，假设像素坐标在u轴缩放了α倍，在v上缩放了β倍，同时原点平移了[cx,cy]T。则有
令fx＝αf，fy＝βf则有小孔成像模型公式：
其中为相机的内参矩阵，为相机本身的固定参数，可以通过标定得到。P为二维像素点对应的三维空间坐标。因此，对于图像当中的全部像素点都可计算得到其在三维空间中的坐标并仍然以图像形式保存，即此时每个像素点由其在三维空间的坐标(X,Y,Z)三个值组成。对深度图像进行像素u方向和v方向的差分得到z坐标在两个像素轴的梯度Gdzu，Gdzv，对图像上每一个像素点计算G＝Gdzu+Gdzv，G体现图像中深度信息的变化程度。
再融合纹理特征和几何特征S＝R+w*G其中w为常数，由于RGB图像包含更多信息且深度图误差更多因此w值较小，且应用时可以具体调整。因此，每个点的最终响应值中，不仅包含了纹理信息的变化，也包含了几何信息的变化情况，在纹理变化不明显的情况下，深度信息发生变化的边缘同样可以被检测到，并且计算梯度时只需要进行差分运算，计算速度快。
最后在响应值图上选取局部最大值作为关键点。对于描述子在关键点周围取大小为30×30的邻域窗口，在窗口内随机选两点，比较两者像素的大小，进行如下二进制赋值：
p(x),p(y)为随机点x,y的像素值，对一个窗口共选取128对随机点，构建128维的描述子。
前端模块通过相邻两帧关键帧之间图像提取到的特征点进行特征匹配。考虑两个时刻(t与t+1，t时刻的图像为It，t+1时刻的图像为It+1)图像，如果在图像It中提取到特征点{x1,…,xn}，在图像It+1中提取到特征点{x1′,…,xn′}，对It和It+1中每一个特征点计算其描述子的距离，距离最近的作为一组匹配点对。而对于配对好的3D点对：
P＝{p1,…,pn}与P′＝{p1′,…,pn′}，可通过迭代最近点(Iterative ClosestPoint,ICP)的方式估算相机的运动。
后端非线性优化模块：单纯利用相邻帧的匹配关系解算位姿会产生误差，并且随着时间增长累计误差会越来越大。因此，在前端确定当前帧为关键帧后，进一步使用滑动窗口法来对窗口内包括的多个连续关键帧进行优化。滑动窗口包括多个连续的关键帧，并且在把当前帧加入到滑动窗口中同时删除滑动窗口中最早的关键帧，以保证滑动窗口的规模大小不变。对于滑动窗口内的关键帧采用非线性优化的方式进行优化，得到全局一致的运动轨迹和地图。
回环检测模块：通过词袋模型的方法比较图像的相似性来确定飞艇是否到达同一位置。预先加载一个词袋字典，词典的构建使用k近邻算法，过程如下：
1、对离线采集的大量图像按照所述方式提取特征点的128维描述子
2、在所有描述子中随机选取k个描述子c1,…,ck作为中心点
3、对每一个描述子，计算它和各个作为中心点的c1,…,ck的每个的距离，取到k个中心距离最小的中心点作为该描述子的类别
4、重新随机选取k个中心点，作为重新计算每个类别的中心点；
5、重复上述3和4过程直到算法收敛，得到了k个优选的中心点代表k个类别；
通过这个预加载的词典将图像中每一个局部特征点的描述子转换为一个单词，词典里包含着所有的单词：{w1,w2...wk}
从图像中获取特征点与描述子，根据描述子将其转换为一个单词。从而根据每个图像的所有描述子得到每个图像对应一个单词向量，如图像A，根据它含有的单词可以记为VA＝1·w1+0·w2+...1·wn，1代表包含该单词，0代表不包含。之后便可以通过一个k维向量表示该图像，对大量离线采集的图像生成词向量。飞艇飞行过程中对获取的关键帧生成词向量，通过词袋向量的距离来表示图像间的相似性，如果发现飞艇到达曾到达的位置，就把信息提供给后端处理，用于消除累计误差，由此保证得到的运动轨迹的准确性和依赖于位姿建立周围环境地图的准确性。
图4为本发明的实施例的飞艇避障的流程图。
语义信息提取与避障模块：对从深度相机实时获取的视频中提取的关键帧中的彩色图像，组成彩色图像序列，通过预先训练好的神经网络模型，对所述彩色图像序列进行实例分割，获得图像中各物体的类别、位置框等语义信息，同时通过与彩色图对应的深度图获得障碍物中的距离。对于常见障碍物的种类和距离预先设置不同的避障策略从而保证飞艇能够顺利飞行，具体如图4所示。如果根据语义信息检测到障碍物，从获取了语义信息的彩图图像对应的深度图中获取深度信息，根据飞艇的位姿(从例如后端非线性优化模块获得)计算所识别的障碍物相对飞艇的方向信息与距离信息。以及还通过多个障碍物相对于飞艇的方向信息与距离信息，确定室内空间中多个障碍物之间的距离是否能容纳飞艇安全飞过。若多个障碍物所形成的空间能容纳飞艇安全飞行，语义信息提取与避障模块指示飞艇运动控制与图像采集模块保持当前的航行速度和/或方向。若多个障碍物所形成的空间不能容纳飞艇安全飞行，语义信息提取与避障模块选择避障策略，指示飞艇运动控制与图像采集模块改变当前的航行速度和/或方向以躲避障碍。
本发明与现有技术相比，具有如下优点和有益效果：本发明提供了一种基于深度相机的室内飞艇定位与避障方案。室外无人机可以依赖GPS信号进行定位，定位精度较高且成本较低但是在无GPS信号的室内人员密集和长时间工作的环境使用则受到限制。传统基于激光的SLAM方案中地图所提供的信息有限。本发明采用深度相机作为飞艇的传感器，实现了室内飞艇的同时定位与避障。本发明对输入的视频中选取关键帧再采用基于特征点的方式实现相邻图像间的位姿估计，同时对关键帧进行回环检测并采用非线性优化的方法对估计的位姿进行优化，实现全局一致的轨迹，对彩色图用预先训练好的神经网络模型进行识别提取语义信息的同时结合深度图提供的距离信息提供避障方式。本发明可以实现室内无GPS信号的环境下飞艇进行自主的定位和避障，具有十分广阔的使用价值和应用前景。

Claims (10)

1.一种基于深度相机的室内飞艇定位与避障方法，包括：
通过在所述室内飞行的飞艇所携带的深度相机捕获视频；
从所述视频中提取多个关键帧，每个关键帧包括相关联的特征点与描述子；
通过相邻关键帧的匹配的特征点确定所述深度相机的位姿；
对连续的多个关键帧与检测到的回环通过非线性优化得到全局一致的所述深度相机的运动轨迹；
根据运动轨迹与所述视频建立所述飞艇所处室内场景的地图；
根据各关键帧识别关键帧中的障碍物，根据深度相机到识别出的障碍物的距离、方向与所述飞艇的尺寸和速度选择避障策略；以及
根据避障策略驱动所述飞艇在所述室内飞行。
2.根据权利要求1所述的方法，其中
所述飞艇包括气囊，位于所述气囊两侧的推进装置，位于所述气囊底部的吊舱与其位于所述吊舱内部设置的通信模块和固定于所述吊舱下方固定的深度相机。
3.根据权利要求1或2所述的方法，其中
从所述视频中提取多个关键帧包括：
从所述视频提取多个所包括的特征点的数量大于阈值的帧；若所提取的当前帧相对于时间上相邻的前一个关键帧的对应深度相机的位姿变化大于阈值，和/或所述当前帧相对于时间上相邻的前一个关键帧的语义信息差距大于阈值，确定所述当前帧为关键帧。
4.根据权利要求3所述的方法，其中特征点包括关键点和同关键点关联的描述子；
通过如下步骤确定帧中的特征点的关键点：
通过对从所提取的多个帧的第二帧得到的彩色图计算梯度求得表示纹理特征的Harris角点的响应值R，以及将彩色图的每个点的响应值所表达的图称为响应值图；
通过对深度图做进行u、v方向两方向差分得到像素的Z坐标在两个像素轴的梯度Gdzu与Gdzv，并计算表示每个像素点的几何特征变化G＝Gdzu+Gdzv；其中，像素点在三维空间中的坐标为(X,Y,Z)，u、v是像素坐标系的坐标轴；
综合纹理特征和几何特征为每个像素计算S＝R+w·G，根据为各像素计算的S选取具有局部最大值的像素作为关键点。
5.根据权利要求4所述的方法，其中
通过如下步骤确定同关键点关联的描述子：
在关键点周围取大小为30×30的邻域窗口，在每个窗口内随机选取128个随机点对，用所选取128个随机点对构建128维的描述子，其中描述子各维度值的构建方式如下：
其中，p(x),p(y)为对应的随机点对(x,y)的像素值。
6.根据权利要求5所述的方法，其中
通过相邻关键帧的匹配的特征点确定所述深度相机的位姿包括：
根据相邻关键帧的第一关键帧的特征点记为{x1,…,xn}与第一关键帧相邻的特征点记为{x1′,…,xn′}，其中n为正整数，获取第一关键帧的特征点{x1,…,xn}与第二关键帧的特征点{x1′,…,xn′}中的匹配点对(pi,p'i)，i为正整数，i＜＝n，其中所获取的匹配点对中P＝{p1,...,pk}是来自第一关键帧的特征点集合，而P′＝{p1′,...,pk′}是来自第二关键帧的特征点集合；通过集合P与P'用迭代最近点的方式得到第二关键帧时所述深度相机的位姿相对于所述第一关键帧时的位姿变化；
累积所述深度相机的位姿变化得到深度相机的位姿。
7.根据权利要求6所述的方法，其中
使用滑动窗口法来对窗口内包括的多个连续关键帧采用非线性优化的方式进行优化，得到全局一致的运动轨迹和地图。
8.根据权利要求7所述的方法，其中
对于提取的关键帧，根据其每个特征点的描述子获取其单词向量；
若所述提取的关键帧的单词向量同具有已知拍摄位置的帧的单词向量一致，识别出拍摄所述提取的关键帧的位置；
根据拍摄所述提取的关键帧的位置是否在深度相机的运动轨迹中出现过来检测回环；以及
根据检测出的回环消除所述深度相机的运动轨迹的误差。
9.根据权利要求8所述的方法，其中
通过如下步骤从提取的关键帧中获取单词向量：
离线大量采集图像并提取特征点及描述子，并通过对特征点的描述子聚类生成含有k个单词的词典，将提取的每个关键帧按照是否包含某个单词来生成单词向量，从而每个关键帧通过是否包含所述词典中的某个单词来生成单词向量。
10.根据权利要求1或2所述的方法，其中
通过如下步骤识别关键帧中的障碍物：通过预先训练好的神经网络模型，对关键帧图像进行实例分割，获得图像中各物体的类别、位置框的语义信息。
CN202110045320.9A 2021-01-12 2021-01-12 基于深度相机的室内飞艇定位与避障系统 Active CN112781595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110045320.9A CN112781595B (zh) 2021-01-12 2021-01-12 基于深度相机的室内飞艇定位与避障系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110045320.9A CN112781595B (zh) 2021-01-12 2021-01-12 基于深度相机的室内飞艇定位与避障系统

Publications (2)

Publication Number Publication Date
CN112781595A CN112781595A (zh) 2021-05-11
CN112781595B true CN112781595B (zh) 2023-08-01

Family

ID=75755963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110045320.9A Active CN112781595B (zh) 2021-01-12 2021-01-12 基于深度相机的室内飞艇定位与避障系统

Country Status (1)

Country Link
CN (1) CN112781595B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118068850A (zh) * 2024-04-17 2024-05-24 泰诺尔(北京)科技有限公司 一种无人机返航控制方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761990B2 (en) * 2011-03-30 2014-06-24 Microsoft Corporation Semi-autonomous mobile device driving with obstacle avoidance
US10665115B2 (en) * 2016-01-05 2020-05-26 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
JP6487010B2 (ja) * 2017-10-26 2019-03-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ある環境内で無人航空機を制御する方法、ある環境のマップを生成する方法、システム、プログラムおよび通信端末
EP3508936B1 (en) * 2017-11-02 2020-03-18 Autel Robotics Co., Ltd. Obstacle avoidance method and apparatus, movable object, and computer-readable storage medium
CN108827306B (zh) * 2018-05-31 2022-01-07 北京林业大学 一种基于多传感器融合的无人机slam导航方法及系统
CN110657803B (zh) * 2018-06-28 2021-10-29 深圳市优必选科技有限公司 机器人定位方法、装置以及存储装置
CN111609854A (zh) * 2019-02-25 2020-09-01 北京奇虎科技有限公司 基于多个深度相机的三维地图构建方法及扫地机器人

Also Published As

Publication number Publication date
CN112781595A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN110349250B (zh) 一种基于rgbd相机的室内动态场景的三维重建方法
CN110221603B (zh) 一种基于激光雷达多帧点云融合的远距离障碍物检测方法
CN108805906A (zh) 一种基于深度图的运动障碍物检测及定位方法
Chandel et al. Occlusion detection and handling: a review
CN111275763A (zh) 闭环检测系统、多传感器融合slam系统及机器人
CN108398672A (zh) 基于前倾2d激光雷达移动扫描的路面与障碍检测方法
US20190378287A1 (en) System and method for object recognition using depth mapping
Bovcon et al. Obstacle detection for usvs by joint stereo-view semantic segmentation
Zhang et al. Multiple vehicle-like target tracking based on the velodyne lidar
CN113223045A (zh) 基于动态物体语义分割的视觉与imu传感器融合定位系统
Chen Monocular vision-based obstacle detection and avoidance for a multicopter
WO2024114119A1 (zh) 一种基于双目相机引导的传感器融合方法
Zhou et al. Fast, accurate thin-structure obstacle detection for autonomous mobile robots
CN112781595B (zh) 基于深度相机的室内飞艇定位与避障系统
Cigla et al. Onboard stereo vision for drone pursuit or sense and avoid
CN116879870A (zh) 一种适用于低线束3d激光雷达的动态障碍物去除方法
CN117367427A (zh) 一种适用于室内环境中的视觉辅助激光融合IMU的多模态slam方法
Byrne et al. Expansion segmentation for visual collision detection and estimation
Shinde et al. Multi-view geometry and deep learning based drone detection and localization
CN112945233A (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
Cigla et al. Image-based visual perception and representation for collision avoidance
García-García et al. 3D visual odometry for road vehicles
Bardas et al. 3D tracking and classification system using a monocular camera
CN115482282A (zh) 自动驾驶场景下具有多目标追踪能力的动态slam方法
CN114219836B (zh) 一种基于时空信息辅助的无人机视频车辆跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant