CN107478220A - 无人机室内导航方法、装置、无人机及存储介质 - Google Patents

无人机室内导航方法、装置、无人机及存储介质 Download PDF

Info

Publication number
CN107478220A
CN107478220A CN201710617848.2A CN201710617848A CN107478220A CN 107478220 A CN107478220 A CN 107478220A CN 201710617848 A CN201710617848 A CN 201710617848A CN 107478220 A CN107478220 A CN 107478220A
Authority
CN
China
Prior art keywords
scene image
unmanned plane
frame
key frame
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710617848.2A
Other languages
English (en)
Other versions
CN107478220B (zh
Inventor
周翊民
欧明华
吕琴
李志飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201710617848.2A priority Critical patent/CN107478220B/zh
Publication of CN107478220A publication Critical patent/CN107478220A/zh
Application granted granted Critical
Publication of CN107478220B publication Critical patent/CN107478220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

本发明适用计算机技术领域,提供了一种无人机室内导航方法、装置、无人机及存储介质,该方法包括:通过无人机上设置的单目摄像头对当前场景进行拍摄,以得到对应的场景图像,并通过无人机上设置的惯性测量单元获取无人机的惯性测量数据,对每帧场景图像进行特征检测和特征跟踪,对惯性测量数据进行预处理,将跟踪的场景图像特征与预处理后的惯性测量数据进行结合,生成融合数据,对每帧数据进行非线性优化,根据融合数据和非线性优化后的每帧场景图像,对无人机状态进行闭环检测和姿态图优化,以对无人机进行导航,从而实现了无人机在GPS信号弱或无GPS信号的室内环境下的自动导航,有效地降低了无人机导航的成本,提高了无人机导航的精度和效率。

Description

无人机室内导航方法、装置、无人机及存储介质
技术领域
本发明属于无人机导航技术领域,尤其涉及一种无人机室内导航方法、装置、无人机及存储介质。
背景技术
随着嵌入式技术、传感器信息融合以及导航与控制等理论的完善,四旋翼无人机得到了迅速的发展。四旋翼无人机重量轻、载荷较小、续航能力较差,虽然得益于体积优势,能够在狭小空间飞行,但整体结构及性能也决定了它只能在低空、短航情况下工作,如峡谷、室内、树林等较为封闭的环境。在这类环境下,全球定位系统(GPS)信号一般较弱,还可能由于房屋结构之类的原因完全接收不到GPS信号。可见,无人机在无GPS的环境中的导航是一个亟待解决的问题。
基于单目视觉的无人机室内导航技术由于研究成本较低、传感器简单,被广泛应用,然而,单一的单目视觉传感器没有办法获取图像深度信息,也就没有办法获得无人机的运动轨迹和地图的真实大小。常见的基于单目视觉的室内导航,一般会采用单目摄像机结合激光雷达的方式,激光雷达成本较高,并不能普遍使用,单纯的视觉导航也难以建立完整的场景模型,导航精度有限。而单目视觉结合超声波传感器,虽然在成本方面相对低廉,但存在较大的误差,无法满足室内高精度的导航要求。
相对单目而言,双目相机可以通过两个相机之间的基线,估计空间点的位置,双目可以在运动时估计深度,甚至可以在静止时估计,避免可单目的许多麻烦。但是,双目的问题在于双目相机的配置与标定较为复杂,深度量程也受双目的基线与分辨率限制,此外,通过双目图像计算距离,是一件非常消耗计算量的事情。
利用深度相机进行无人机室内导航是一种新兴技术,它的最大特点是可以通过结构光或飞行时间(Time-of-Flight)原理,直接测出图像中各像素离相机的距离,因此,它比传统相机能够提供更丰富的信息,不必像单目或双目那样费力的计算深度,然而,深度相机对环境的要求比较高,在昏暗的环境下以及特征不明显的情况下并不适用,且成本较高。
发明内容
本发明的目的在于提供一种无人机室内导航方法、装置、无人机及存储介质,旨在解决由于现有技术无法中在GPS信号弱或无GPS信号的室内环境中,无人机自主导航的精度和效率不高的问题。
一方面,本发明提供了一种无人机室内导航方法,所述方法包括下述步骤:
通过无人机上设置的单目摄像头对当前场景进行拍摄,以得到对应的场景图像,并通过所述无人机上设置的惯性测量单元获取所述无人机的惯性测量数据;
对所述每帧场景图像进行特征检测和特征跟踪,获得场景图像特征,对所述惯性测量数据进行预处理;
将所述跟踪的场景图像特征与所述预处理后的惯性测量数据进行融合,生成融合数据;
对所述每帧场景图像进行非线性优化,根据所述融合数据和所述非线性优化后的每帧场景图像,对无人机状态进行闭环检测和姿态图优化,以对所述无人机进行导航。
另一方面,本发明提供了一种无人机室内导航装置,所述装置包括:
数据获取单元,用于通过无人机上设置的单目摄像头对当前场景进行拍摄,以得到对应的场景图像,并通过所述无人机上设置的惯性测量单元获取所述无人机的惯性测量数据;
预处理单元,用于对所述每帧场景图像进行特征检测和特征跟踪,获得场景图像特征,对所述惯性测量数据进行预处理;
数据融合单元,用于将所述跟踪的场景图像特征与所述预处理后的惯性测量数据进行融合,生成融合数据;以及
优化导航单元,用于对所述每帧场景图像进行非线性优化,根据所述融合数据和所述非线性优化后的每帧场景图像,对无人机状态进行闭环检测和姿态图优化,以对所述无人机进行导航。
另一方面,本发明还提供了一种无人机,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述一种无人机室内导航方法所述的步骤。
另一方面,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述一种无人机室内导航方法所述的步骤。
本发明通过无人机上设置的单目摄像头对当前场景进行拍摄,得到场景图像,通过无人机上设置的惯性测量单元获取无人机的惯性测量数据,对每帧场景图像进行特征的检测和跟踪,对惯性测量数据进行预处理,将跟踪得到的场景图像特征与惯性测量数据进行融合,生成融合数据,根据融合数据和非线性优化后的每帧场景图像,对无人机状态进行闭环检测和姿态图优化,以对无人机进行室内导航,从而通过单目摄像机和惯性测量单元的结合,实现了无人机在GPS信号弱或无GPS信号的室内环境下的自动导航,有效地提高了导航的精度、降低了导航的计算量,有效地提高了无人机室内导航的效率,另一方面,单目摄像机和惯性测量单元体积小、重量较为轻便、且安装方便简单,可有效降低导航成本。
附图说明
图1是本发明实施例一提供的无人机室内导航方法的实现流程图;
图2是本发明实施例二提供的无人机室内导航装置的结构示意图;
图3是本发明实施例二提供的无人机室内导航装置的优选结构示意图;以及
图4是本发明实施例三提供的无人机的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述:
实施例一:
图1示出了本发明实施例一提供的无人机室内导航方法的实现流程,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在步骤S101中,通过无人机上设置的单目摄像头对当前场景进行拍摄,以得到对应的场景图像,并通过无人机上设置的惯性测量单元获取无人机的惯性测量数据。
在本发明实施例中,在无人机上设置的视觉传感器为单目摄像头,除视觉传感器外,在无人机上另设了用来对无人机进行惯性测量的惯性测量单元(IMU,Inertialmeasurement unit),可测量得到无人机的惯性测量数据,本发明实施例通过单目摄像头与惯性测量单元相结合的方式,实现无人机在全球定位信号(GPS)弱或无法接受到GPS信号的室内环境下的自主导航。其中,惯性测量数据可包括加速度计数据、陀螺仪数据和磁力计数据等。
在步骤S102中,将每帧场景图像进行特征检测和特征跟踪,获得场景图像特征,对惯性测量数据进行预处理。
在本发明实施例中,检测并跟踪每帧场景图像的特征,具体地,可通过KTL(Kanade-Lucas-Tomasi Tracking)稀疏光流算法检测并跟踪场景图像的角点特征。在对惯性测量数据进行预处理时,将每对相邻的两帧场景图像间连续的惯性测量数据进行预积分,预积分后可获得无人机当前位姿、瞬时速度等,从而通过将相邻两帧场景图像间连续的惯性测量数据积分为常量,有效地避免对惯性测量数据进行重复积分。
在步骤S103中,将跟踪的场景图像特征与预处理后的惯性测量数据进行融合,生成融合数据。
在本发明实施例中,可通过预设的松耦合传感器融合方式,将每帧场景图像的场景图像特征与预处理后的惯性测量数据进行融合,具体地,可通过扩展卡尔曼滤波器实现每帧场景图像的场景图像特征与惯性测量数据的融合,生成融合数据。其中,融合数据可包括姿态、速度、重力矢量、陀螺仪偏差以及3D特征位置。
优选地,在将场景图像特征与预处理后的惯性测量数据进行融合后,计算每帧场景图像中场景图像特征的平均视差,从中选取平均视差超过预设视差阈值的场景图像,将选取的场景图像设置为关键帧,检测每对相邻关键帧之间的对应关系,当该对应关系满足预设的旋转条件时,恢复每对相邻关键帧之间的相对旋转,从而在场景图像中选取关键帧,并对关键帧之间的位置进行恢复,有效地提高了后续无人机导航的精度。具体地,在检测当前关键帧与当前关键帧的前一帧之间的对应关系时,可检测前一帧中跟踪的特征数量是否超过了预设数量阈值,当超过时,计算前一帧与当前关键帧的平均视差之差是否大于预设像素值,当大于时,可认为当前关键帧与前一帧满足预设的旋转条件,可通过预设的五点法恢复当前关键帧与前一帧之间的相对旋转。
在步骤S104中,对每帧场景图像进行非线性优化,根据融合数据和非线性优化后的每帧场景图像,对无人机状态进行闭环检测和姿态图优化,以对无人机进行导航。
在本发明实施例中,可通过预设的RANSAC随机采样一致性算法,对每帧场景图像进行非线性优化,以对每帧场景图像中错误的特征点匹配进行滤除,排除每帧场景图像的场景图像特征中的异常点。其中,RANSAC随机采样一致性算法处理的特征点集合可通过对场景图像中的特征进行前后双向追踪得到。
优选地,在对每帧场景图像进行特征点误匹配去除后,通过预设的滑动窗口检测算法,对每帧场景图像的视觉信息进行优化,以进一步地去除场景图像噪声、降低特征跟踪误差。
在本发明实施例中,通过预设的闭环检测和姿态图优化方式对融合数据、非线性优化后的场景图像进行处理,以对无人机当前状态进行估计,得到无人机当前状态的均值和不确定性,从而对无人机进行室内导航。
在本发明实施例中,在通过预设的闭环检测对非线性优化后的场景图像进行处理的过程中,从所有非线性优化后的场景图像中选取关键帧,由这些关键帧组合成关键帧数据,检测关键帧数据集中每对相邻关键帧的相似度,从中获取相似度满足预设的闭环条件的相邻关键帧,对这些满足闭环条件的关键帧进行相似变换的计算、闭环融合和姿态图优化,从而减少关键帧中的累积误差。其中,当相邻关键帧之间的相似点超过预设的相似点数量阈值时,可认为相邻关键帧满足闭环条件。
在本发明实施例中,在通过姿态图优化方式对融合数据、非线性优化后的场景图像进行处理的过程中,可采用局部优化、全局优化等方式实现姿态图优化过程,得到无人机当前状态的均值和不确定性。
在本发明实施例中,通过无人机上单目摄像头拍摄场景图像,并通过无人机上惯性测量单元获得惯性测量数据,对帧场景图像进行特征的检测和跟踪,对惯性测量数据进行预处理,将跟踪得到的场景图像特征与惯性测量数据进行融合,生成融合数据,根据融合数据和非线性优化后的每帧场景图像,对无人机状态进行闭环检测和姿态图优化,以对无人机进行室内导航,从而通过非线性优化、闭环检测、姿态图优化等有效地提高了导航的精度、降低了导航的计算量,有效地提高了无人机室内导航的效率。另外,本发实施例通过单目摄像机和惯性测量单元的结合,实现了无人机在GPS信号弱或无GPS信号的室内环境下的自动导航,单目摄像机和惯性测量单元体积小、重量较为轻便、且安装方便简单,可有效降低导航成本。
实施例二:
图2示出了本发明实施例二提供的无人机室内导航装置的结构,为了便于说明,仅示出了与本发明实施例相关的部分,其中包括:
数据获取单元21,用于通过无人机上设置的单目摄像头对当前场景进行拍摄,以得到对应的场景图像,并通过无人机上设置的惯性测量单元获取无人机的惯性测量数据。
在本发明实施例中,在无人机上设置的视觉传感器为单目摄像头,除视觉传感器外,在无人机上另设了用来对无人机进行惯性测量的惯性侧脸单元,可测量得到无人机的惯性测量数据,本发明实施例通过单目摄像头与惯性测量单元相结合的方式,实现无人机在全球定位信号(GPS)弱或无法接受到GPS信号的室内环境下的自主导航。其中,惯性测量数据可包括加速度计数据、陀螺仪数据和磁力计数据等。
预处理单元22,用于对每帧场景图像进行特征检测和特征跟踪,获得场景图像特征,对惯性测量数据进行预处理。
在本发明实施例中,检测并跟踪每帧场景图像的特征,具体地,可通过KTL(Kanade-Lucas-Tomasi Tracking)稀疏光流算法检测并跟踪场景图像的角点特征。在对惯性测量数据进行预处理时,将每对相邻的两帧场景图像间连续的惯性测量数据进行预积分,预积分后可获得无人机当前位姿、瞬时速度等,从而通过将相邻两帧场景图像间连续的惯性测量数据积分为常量,有效地避免对惯性测量数据进行重复积分。
数据融合单元23,用于将跟踪的场景图像特征与预处理后的惯性测量数据进行融合,生成融合数据。
在本发明实施例中,可通过预设的松耦合传感器融合方式,将每帧场景图像的场景图像特征与预处理后的惯性测量数据进行融合,具体地,可通过扩展卡尔曼滤波器实现每帧场景图像的场景图像特征与惯性测量数据的融合,生成融合数据。其中,融合数据可包括姿态、速度、重力矢量、陀螺仪偏差以及3D特征位置。
优化导航单元24,用于对每帧场景图像进行非线性优化,根据融合数据和非线性优化后的每帧场景图像,对无人机状态进行闭环检测和姿态图优化,以对无人机进行导航。
在本发明实施例中,可通过预设的RANSAC随机采样一致性算法,对每帧场景图像进行非线性优化,以对每帧场景图像中错误的特征点匹配进行滤除,排除每帧场景图像的场景图像特征中的异常点。其中,RANSAC随机采样一致性算法处理的特征点集合可通过对场景图像中的特征进行前后双向追踪得到。优选地,在对每帧场景图像进行特征点误匹配去除后,通过预设的滑动窗口检测算法,对每帧场景图像的视觉信息进行优化,以进一步地去除场景图像噪声、降低特征跟踪误差。
在本发明实施例中,通过预设的闭环检测和姿态图优化方式对融合数据、非线性优化后的场景图像进行处理,以对无人机当前状态进行估计,得到无人机当前状态的均值和不确定性,从而对无人机进行室内导航。
在本发明实施例中,在通过预设的闭环检测对非线性优化后的场景图像进行处理的过程中,从所有非线性优化后的场景图像中选取关键帧,由这些关键帧组合成关键帧数据,检测关键帧数据集中每对相邻关键帧的相似度,从中获取相似度满足预设的闭环条件的相邻关键帧,对这些满足闭环条件的关键帧进行相似变换的计算、闭环融合和姿态图优化,从而减少关键帧中的累积误差。
在本发明实施例中,通过预设的闭环检测和姿态图优化方式对融合数据、非线性优化后的场景图像进行处理,以对无人机当前状态进行估计,得到无人机当前状态的均值和不确定性,从而对无人机进行室内导航。
优选地,如图3所示,无人机室内导航装置还包括关键帧查找单元34和图像旋转单元35,其中:
关键帧查找单元34,用于在每帧场景图像中查找场景图像特征的平均视差超过预设视差阈值的场景图像,将场景图像特征的平均视差超过视差阈值的场景图像设置为关键帧。
图像帧旋转单元35,用于检测每对相邻关键帧之间的对应关系,当对应关系满足预设的旋转条件时,恢复每对关键帧之间的相对旋转。
在本发明实施例中,在将场景图像特征与预处理后的惯性测量数据进行融合后,计算每帧场景图像中场景图像特征的平均视差,从中选取平均视差超过预设视差阈值的场景图像,将选取的场景图像设置为关键帧,检测每对相邻关键帧之间的对应关系,当该对应关系满足预设的旋转条件时,恢复每对相邻关键帧之间的相对旋转,从而在场景图像中选取关键帧,并对关键帧之间的位置进行恢复,有效地提高了后续无人机导航的精度。具体地,在检测当前关键帧与当前关键帧的前一帧之间的对应关系时,可检测前一帧中跟踪的特征数量是否超过了预设数量阈值,当超过时,计算前一帧与当前关键帧的平均视差之差是否大于预设像素值,当大于时,可认为当前关键帧与前一帧满足预设的旋转条件,可通过预设的五点法恢复当前关键帧与前一帧之间的相对旋转。
优选地,优化导航单元24包括:
数据集生成单元361,用于根据非线性优化后的每帧场景图像,构建由关键帧组合成的关键帧数据集;
相似度检测单元362,用于检测关键帧数据集中每对相邻关键帧的相似度,并获取相似度,满足预设的闭环条件的关键帧;以及
闭环检测单元363,用于对相似度满足闭环条件的关键帧进行相似变换的计算,并对相似度满足闭环条件的关键帧进行闭环融合和姿态图优化。
在本发明实施例中,通过无人机上单目摄像头拍摄场景图像,并通过无人机上惯性测量单元获得惯性测量数据,对帧场景图像进行特征的检测和跟踪,对惯性测量数据进行预处理,将跟踪得到的场景图像特征与惯性测量数据进行融合,生成融合数据,根据融合数据和非线性优化后的每帧场景图像,对无人机状态进行闭环检测和姿态图优化,以对无人机进行室内导航,从而通过非线性优化、闭环检测、姿态图优化等有效地提高了导航的精度、降低了导航的计算量,有效地提高了无人机室内导航的效率。另外,本发明实施例通过单目摄像机和惯性测量单元的结合,实现了无人机在GPS信号弱或无GPS信号的室内环境下的自动导航,单目摄像机和惯性测量单元体积小、重量较为轻便、且安装方便简单,可有效降低导航成本。
在本发明实施例中,无人机室内导航装置的各单元可由相应的硬件或软件单元实现,各单元可以为独立的软、硬件单元,也可以集成为一个软、硬件单元,在此不用以限制本发明。
实施例三:
图4示出了本发明实施例三提供的无人机的结构,为了便于说明,仅示出了与本发明实施例相关的部分。
本发明实施例的无人机4包括处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。该处理器40执行计算机程序42时实现上述方法实施例中的步骤,例如图1所示的步骤S101至S104。或者,处理器40执行计算机程序42时实现上述装置实施例中各单元的功能,例如图2所示单元21至24的功能。
在本发明实施例中,通过无人机上单目摄像头拍摄场景图像,并通过无人机上惯性测量单元获得惯性测量数据,对帧场景图像进行特征的检测和跟踪,对惯性测量数据进行预处理,将跟踪得到的场景图像特征与惯性测量数据进行融合,生成融合数据,根据融合数据和非线性优化后的每帧场景图像,对无人机状态进行闭环检测和姿态图优化,以对无人机进行室内导航,从而通过非线性优化、闭环检测、姿态图优化等有效地提高了导航的精度、降低了导航的计算量,有效地提高了无人机室内导航的效率。另外,本发实施例通过单目摄像机和惯性测量单元的结合,实现了无人机在GPS信号弱或无GPS信号的室内环境下的自动导航,单目摄像机和惯性测量单元体积小、重量较为轻便、且安装方便简单,可有效降低导航成本。
实施例四:
在本发明实施例中,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述方法实施例中的步骤,例如,图1所示的步骤S101至S104。或者,该计算机程序被处理器执行时实现上述装置实施例中各单元的功能,例如图2所示单元21至24的功能。
在本发明实施例中,通过无人机上单目摄像头拍摄场景图像,并通过无人机上惯性测量单元获得惯性测量数据,对帧场景图像进行特征的检测和跟踪,对惯性测量数据进行预处理,将跟踪得到的场景图像特征与惯性测量数据进行融合,生成融合数据,根据融合数据和非线性优化后的每帧场景图像,对无人机状态进行闭环检测和姿态图优化,以对无人机进行室内导航,从而通过非线性优化、闭环检测、姿态图优化等有效地提高了导航的精度、降低了导航的计算量,有效地提高了无人机室内导航的效率。另外,本发实施例通过单目摄像机和惯性测量单元的结合,实现了无人机在GPS信号弱或无GPS信号的室内环境下的自动导航,单目摄像机和惯性测量单元体积小、重量较为轻便、且安装方便简单,可有效降低导航成本。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质,例如,ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种无人机室内导航方法,其特征在于,所述方法包括下述步骤:
通过无人机上设置的单目摄像头对当前场景进行拍摄,以得到对应的场景图像,并通过所述无人机上设置的惯性测量单元获取所述无人机的惯性测量数据;
对所述每帧场景图像进行特征检测和特征跟踪,获得场景图像特征,对所述惯性测量数据进行预处理;
将所述跟踪的场景图像特征与所述预处理后的惯性测量数据进行融合,生成融合数据;
对所述每帧场景图像进行非线性优化,根据所述融合数据和所述非线性优化后的每帧场景图像,对无人机状态进行闭环检测和姿态图优化,以对所述无人机进行导航。
2.如权利要求1所述的方法,其特征在于,对所述拍摄的场景图像进行特征检测和特征跟踪,获得场景图像特征,对所述惯性测量数据进行预处理的步骤,包括:
检测并跟踪所述场景图像的角点特征,将所述每对相邻的两帧场景图像间测量的所述惯性测量数据进行积分。
3.如权利要求1所述的方法,其特征在于,将所述跟踪的场景图像特征与所述预处理后的惯性测量数据进行融合,生成相应的融合数据的步骤,包括:
通过预设的松耦合传感器融合方式,将所述每帧场景图像的场景图像特征与所述预处理后的惯性测量数据进行融合,生成所述融合数据。
4.如权利要求1所述的方法,其特征在于,将所述跟踪的场景图像特征与所述预处理后的惯性测量数据进行融合的步骤之后,对所述每帧场景图像进行非线性优化的步骤之前,所述方法还包括:
在所述每帧场景图像中查找所述场景图像特征的平均视差超过预设视差阈值的场景图像,将所述场景图像特征的平均视差超过所述视差阈值的场景图像设置为关键帧;
检测所述每对相邻关键帧之间的对应关系,当所述对应关系满足预设的旋转条件时,恢复所述每对相邻关键帧之间的相对旋转。
5.如权利要求4所述的方法,其特征在于,根据所述融合数据和所述非线性优化后的每帧场景图像,对无人机状态进行闭环检测和姿态图优化的步骤,包括:
根据所述非线性优化后的每帧场景图像,构建由所述关键帧组合成的关键帧数据集;
检测所述关键帧数据集中每对相邻关键帧的相似度,并获取所述相似度满足预设的闭环条件的所述关键帧;
对所述相似度满足所述闭环条件的所述关键帧进行相似变换的计算,并对所述相似度满足所述闭环条件的所述关键帧进行闭环融合和姿态图优化。
6.一种无人机室内导航装置,其特征在于,所述装置包括:
数据获取单元,用于通过无人机上设置的单目摄像头对当前场景进行拍摄,以得到对应的场景图像,并通过所述无人机上设置的惯性测量单元获取所述无人机的惯性测量数据;
预处理单元,用于对所述每帧场景图像进行特征检测和特征跟踪,获得场景图像特征,对所述惯性测量数据进行预处理;
数据融合单元,用于将所述跟踪的场景图像特征与所述预处理后的惯性测量数据进行融合,生成融合数据;以及
优化导航单元,用于对所述每帧场景图像进行非线性优化,根据所述融合数据和所述非线性优化后的每帧场景图像,对无人机状态进行闭环检测和姿态图优化,以对所述无人机进行导航。
7.如权利要求6所述的装置,其特征在于,所述装置还包括:
关键帧查找单元,用于在所述每帧场景图像中查找所述场景图像特征的平均视差超过预设视差阈值的场景图像,将所述场景图像特征的平均视差超过所述视差阈值的场景图像设置为关键帧;以及
图像旋转单元,用于检测所述每对相邻关键帧之间的对应关系,当所述对应关系满足预设的旋转条件时,恢复所述每对关键帧之间的相对旋转。
8.如权利要求7所述的装置,其特征在于,所述优化导航单元包括:
数据集生成单元,用于根据所述非线性优化后的每帧场景图像,构建由所述关键帧组合成的关键帧数据集;
相似度检测单元,用于检测所述关键帧数据集中每对相邻关键帧的相似度,并获取所述相似度,满足预设的闭环条件的所述关键帧;以及
闭环检测单元,用于对所述相似度满足所述闭环条件的所述关键帧进行相似变换的计算,并对所述相似度满足所述闭环条件的所述关键帧进行闭环融合和姿态图优化。
9.一种无人机,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN201710617848.2A 2017-07-26 2017-07-26 无人机室内导航方法、装置、无人机及存储介质 Active CN107478220B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710617848.2A CN107478220B (zh) 2017-07-26 2017-07-26 无人机室内导航方法、装置、无人机及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710617848.2A CN107478220B (zh) 2017-07-26 2017-07-26 无人机室内导航方法、装置、无人机及存储介质

Publications (2)

Publication Number Publication Date
CN107478220A true CN107478220A (zh) 2017-12-15
CN107478220B CN107478220B (zh) 2021-01-15

Family

ID=60597968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710617848.2A Active CN107478220B (zh) 2017-07-26 2017-07-26 无人机室内导航方法、装置、无人机及存储介质

Country Status (1)

Country Link
CN (1) CN107478220B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108489482A (zh) * 2018-02-13 2018-09-04 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
CN108564616A (zh) * 2018-03-15 2018-09-21 中国科学院自动化研究所 快速鲁棒的rgb-d室内三维场景重建方法
CN108731700A (zh) * 2018-03-22 2018-11-02 东南大学 一种视觉惯性里程计中的加权欧拉预积分方法
CN108827306A (zh) * 2018-05-31 2018-11-16 北京林业大学 一种基于多传感器融合的无人机slam导航方法及系统
CN109116397A (zh) * 2018-07-25 2019-01-01 吉林大学 一种车载多相机视觉定位方法、装置、设备及存储介质
CN109976379A (zh) * 2019-03-15 2019-07-05 上海工程技术大学 一种激光雷达和深度相机融合的自主导航及避障无人机
CN109974693A (zh) * 2019-01-31 2019-07-05 中国科学院深圳先进技术研究院 无人机定位方法、装置、计算机设备及存储介质
CN110196047A (zh) * 2019-06-20 2019-09-03 东北大学 基于tof深度相机与imu的平仓机器人自主定位方法
CN110446159A (zh) * 2019-08-12 2019-11-12 上海工程技术大学 一种室内无人机精确定位与自主导航的系统及方法
CN110455286A (zh) * 2019-07-22 2019-11-15 深圳联合飞机科技有限公司 一种无人机导航方法、导航装置、电子设备及存储介质
CN111354042A (zh) * 2018-12-24 2020-06-30 深圳市优必选科技有限公司 机器人视觉图像的特征提取方法、装置、机器人及介质
CN111951198A (zh) * 2019-05-16 2020-11-17 杭州海康机器人技术有限公司 一种无人机航拍图像拼接优化的方法、装置和存储介质
CN112154444A (zh) * 2019-10-17 2020-12-29 深圳市大疆创新科技有限公司 目标检测与跟踪方法、系统、可移动平台、相机及介质
CN112767373A (zh) * 2021-01-27 2021-05-07 大连理工大学 一种基于单目相机的机器人室内复杂场景避障方法
CN113720331A (zh) * 2020-12-25 2021-11-30 北京理工大学 多相机融合的无人机建筑物内导航定位方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080059068A1 (en) * 2006-09-05 2008-03-06 Honeywell International Inc. Method and system for autonomous vehicle navigation
CN101413799A (zh) * 2008-11-26 2009-04-22 大连理工大学 一种用于室外移动目标的组合导航系统
CN104154910A (zh) * 2014-07-22 2014-11-19 清华大学 一种微型无人机室内定位方法
CN104316947A (zh) * 2014-08-26 2015-01-28 南京航空航天大学 Gnss/ins超紧组合导航装置及相对导航系统
CN104848867A (zh) * 2015-05-13 2015-08-19 北京工业大学 基于视觉筛选的无人驾驶汽车组合导航方法
JP2016540211A (ja) * 2013-11-27 2016-12-22 ザ トラスティーズ オブ ザ ユニバーシティー オブ ペンシルバニア 回転翼型小型飛行体(mav)での屋内環境及び屋外環境における安定自律飛行のためのマルチセンサの融合
CN106940186A (zh) * 2017-02-16 2017-07-11 华中科技大学 一种机器人自主定位与导航方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080059068A1 (en) * 2006-09-05 2008-03-06 Honeywell International Inc. Method and system for autonomous vehicle navigation
CN101413799A (zh) * 2008-11-26 2009-04-22 大连理工大学 一种用于室外移动目标的组合导航系统
JP2016540211A (ja) * 2013-11-27 2016-12-22 ザ トラスティーズ オブ ザ ユニバーシティー オブ ペンシルバニア 回転翼型小型飛行体(mav)での屋内環境及び屋外環境における安定自律飛行のためのマルチセンサの融合
CN104154910A (zh) * 2014-07-22 2014-11-19 清华大学 一种微型无人机室内定位方法
CN104316947A (zh) * 2014-08-26 2015-01-28 南京航空航天大学 Gnss/ins超紧组合导航装置及相对导航系统
CN104848867A (zh) * 2015-05-13 2015-08-19 北京工业大学 基于视觉筛选的无人驾驶汽车组合导航方法
CN106940186A (zh) * 2017-02-16 2017-07-11 华中科技大学 一种机器人自主定位与导航方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭力等: "基于单目视觉的室内微型飞行器位姿估计与环境构建", 《南京航空航天大学学报》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108489482A (zh) * 2018-02-13 2018-09-04 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
CN108564616A (zh) * 2018-03-15 2018-09-21 中国科学院自动化研究所 快速鲁棒的rgb-d室内三维场景重建方法
CN108564616B (zh) * 2018-03-15 2020-09-01 中国科学院自动化研究所 快速鲁棒的rgb-d室内三维场景重建方法
CN108731700A (zh) * 2018-03-22 2018-11-02 东南大学 一种视觉惯性里程计中的加权欧拉预积分方法
CN108731700B (zh) * 2018-03-22 2020-07-31 东南大学 一种视觉惯性里程计中的加权欧拉预积分方法
CN108827306A (zh) * 2018-05-31 2018-11-16 北京林业大学 一种基于多传感器融合的无人机slam导航方法及系统
CN108827306B (zh) * 2018-05-31 2022-01-07 北京林业大学 一种基于多传感器融合的无人机slam导航方法及系统
CN109116397A (zh) * 2018-07-25 2019-01-01 吉林大学 一种车载多相机视觉定位方法、装置、设备及存储介质
CN111354042A (zh) * 2018-12-24 2020-06-30 深圳市优必选科技有限公司 机器人视觉图像的特征提取方法、装置、机器人及介质
CN111354042B (zh) * 2018-12-24 2023-12-01 深圳市优必选科技有限公司 机器人视觉图像的特征提取方法、装置、机器人及介质
CN109974693A (zh) * 2019-01-31 2019-07-05 中国科学院深圳先进技术研究院 无人机定位方法、装置、计算机设备及存储介质
CN109974693B (zh) * 2019-01-31 2020-12-11 中国科学院深圳先进技术研究院 无人机定位方法、装置、计算机设备及存储介质
CN109976379A (zh) * 2019-03-15 2019-07-05 上海工程技术大学 一种激光雷达和深度相机融合的自主导航及避障无人机
CN111951198A (zh) * 2019-05-16 2020-11-17 杭州海康机器人技术有限公司 一种无人机航拍图像拼接优化的方法、装置和存储介质
CN111951198B (zh) * 2019-05-16 2024-02-02 杭州海康威视数字技术股份有限公司 一种无人机航拍图像拼接优化的方法、装置和存储介质
CN110196047A (zh) * 2019-06-20 2019-09-03 东北大学 基于tof深度相机与imu的平仓机器人自主定位方法
CN110455286A (zh) * 2019-07-22 2019-11-15 深圳联合飞机科技有限公司 一种无人机导航方法、导航装置、电子设备及存储介质
CN110446159A (zh) * 2019-08-12 2019-11-12 上海工程技术大学 一种室内无人机精确定位与自主导航的系统及方法
CN112154444A (zh) * 2019-10-17 2020-12-29 深圳市大疆创新科技有限公司 目标检测与跟踪方法、系统、可移动平台、相机及介质
CN112154444B (zh) * 2019-10-17 2021-12-17 深圳市大疆创新科技有限公司 目标检测与跟踪方法、系统、可移动平台、相机及介质
CN113720331A (zh) * 2020-12-25 2021-11-30 北京理工大学 多相机融合的无人机建筑物内导航定位方法
CN113720331B (zh) * 2020-12-25 2023-12-19 北京理工大学 多相机融合的无人机建筑物内导航定位方法
CN112767373B (zh) * 2021-01-27 2022-09-02 大连理工大学 一种基于单目相机的机器人室内复杂场景避障方法
CN112767373A (zh) * 2021-01-27 2021-05-07 大连理工大学 一种基于单目相机的机器人室内复杂场景避障方法

Also Published As

Publication number Publication date
CN107478220B (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN107478220A (zh) 无人机室内导航方法、装置、无人机及存储介质
Xiao et al. Dynamic-SLAM: Semantic monocular visual localization and mapping based on deep learning in dynamic environment
Dai et al. Rgb-d slam in dynamic environments using point correlations
CN109211241B (zh) 基于视觉slam的无人机自主定位方法
Alkendi et al. State of the art in vision-based localization techniques for autonomous navigation systems
CN109461208B (zh) 三维地图处理方法、装置、介质和计算设备
CN109885080B (zh) 自主控制系统及自主控制方法
US8213706B2 (en) Method and system for real-time visual odometry
CN109520497A (zh) 基于视觉和imu的无人机自主定位方法
CN109029433A (zh) 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN105953796A (zh) 智能手机单目和imu融合的稳定运动跟踪方法和装置
CN105931275A (zh) 基于移动端单目和imu融合的稳定运动跟踪方法和装置
Yin et al. Dynam-SLAM: An accurate, robust stereo visual-inertial SLAM method in dynamic environments
He et al. Wearable ego-motion tracking for blind navigation in indoor environments
Menozzi et al. Development of vision-aided navigation for a wearable outdoor augmented reality system
CN111899276A (zh) 一种基于双目事件相机的slam方法及系统
Chen et al. Stereo visual inertial pose estimation based on feedforward-feedback loops
Rahman et al. Contour based reconstruction of underwater structures using sonar, visual, inertial, and depth sensor
CN116989772B (zh) 一种空地多模态多智能体协同定位与建图方法
Zhu et al. PairCon-SLAM: Distributed, online, and real-time RGBD-SLAM in large scenarios
Hong et al. Visual inertial odometry using coupled nonlinear optimization
CN106155077A (zh) 一种四旋翼飞行器控制系统及控制方法
Kessler et al. Multi-Sensor indoor pedestrian navigation system with vision aiding
Ling et al. RGB-D inertial odometry for indoor robot via keyframe-based nonlinear optimization
Hu et al. Accuracy enhancement for the front-end tracking algorithm of RGB-D SLAM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant