CN113155126A - 一种基于视觉导航的多机协同目标高精度定位系统及方法 - Google Patents

一种基于视觉导航的多机协同目标高精度定位系统及方法 Download PDF

Info

Publication number
CN113155126A
CN113155126A CN202110004880.XA CN202110004880A CN113155126A CN 113155126 A CN113155126 A CN 113155126A CN 202110004880 A CN202110004880 A CN 202110004880A CN 113155126 A CN113155126 A CN 113155126A
Authority
CN
China
Prior art keywords
image
matching
point cloud
pose
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110004880.XA
Other languages
English (en)
Other versions
CN113155126B (zh
Inventor
姜梁
吴国强
马晓军
黄坤
包文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Spaceflight Electronic Technology Research Institute
Aerospace Times Feihong Technology Co ltd
Original Assignee
China Spaceflight Electronic Technology Research Institute
Aerospace Times Feihong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Spaceflight Electronic Technology Research Institute, Aerospace Times Feihong Technology Co ltd filed Critical China Spaceflight Electronic Technology Research Institute
Priority to CN202110004880.XA priority Critical patent/CN113155126B/zh
Publication of CN113155126A publication Critical patent/CN113155126A/zh
Application granted granted Critical
Publication of CN113155126B publication Critical patent/CN113155126B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于视觉导航的多机协同目标高精度定位系统及方法,包括:视觉惯性里程计模块,通过滑动窗口滤波器融合视觉测量与惯性测量的结果,对无人机位姿进行稳定跟踪,同时获取地表点云;景象匹配模块,通过分析点云的高程分布实现地表平坦性分析,对于平坦的点云,采用景象匹配,实现在地理环境下对无人机位姿的观测;地形匹配模块,通过分析点云的高程分布实现地表平坦性分析,对于起伏的点云,采用地形匹配实现在地理环境下对无人机位姿的观测;基准图管理模块,利用栅格和四叉树混合索引结构实现地理信息的存储和有效检索,为景象匹配和地形匹配提供地图数据,同时通过优化的线段提取实时图和基准图中的稳定结构。

Description

一种基于视觉导航的多机协同目标高精度定位系统及方法
【技术领域】
本发明涉及图像处理技术领域,尤其涉及一种基于视觉导航的多机协同目 标高精度定位系统及方法。
【背景技术】
现阶段的无人机多机协同研究主要集中在无人机飞行控制及多机编队决 策控制方面的研究,少有在无人机多机协同智目标高精度定位方面的研究。
因此,有必要研究一种基于视觉导航的多机协同目标高精度定位系统及方 法来应对现有技术的不足,以解决或减轻上述一个或多个问题。
【发明内容】
有鉴于此,本发明提供了一种基于视觉导航的多机协同目标高精度定位系 统及方法,解决了无人机集群侦察系统中战场目标高精度定位的诸多问题,包 括:
1)多架无人机航拍侦察过程中,多架无人机所拍摄图像的视角或视场各 不相同造成的成像区域具有较大片面性和重叠性问题;
2)受光照、气候条件和成像机理的限制,单一视觉导航存在误差较大, 目标位置的定位坐标精度不高的问题;
3)多源图像的图像特征有较大差异,单一特征难以完成同种场景在同一 坐标系下的配准的问题;
4)多视角图像景象匹配带来的图像检索及基准图管理难度大的问题;
实现对目标进行全天候条件下的高精度定位,涉及到的关键技术包括联合 定位框架的设计、视觉惯性里程计、景象匹配、地形匹配以及基准图的设计等 五个部分。
一方面,本发明提供一种基于视觉导航的多机协同目标高精度定位系统,所 述多机协同目标高精度定位系统包括:
视觉惯性里程计模块,通过滑动窗口滤波器融合视觉测量与惯性测量的结 果,对无人机位姿进行稳定跟踪,同时获取地表点云;
景象匹配模块,通过分析点云的高程分布实现地表平坦性分析,对于平坦的 点云,采用景象匹配,实现在地理环境下对无人机位姿的观测;
地形匹配模块,通过分析点云的高程分布实现地表平坦性分析,对于起伏的 点云,采用地形匹配实现在地理环境下对无人机位姿的观测;
基准图管理模块,利用栅格和四叉树混合索引结构实现地理信息的存储和有 效检索,为景象匹配和地形匹配提供地图数据,同时通过优化的线段提取实时图 和基准图中的稳定结构。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述视 觉惯性里程计模块包括:
图像测量单元,追踪和检测新的图像特征,对于追踪到的特征,利用基础矩 阵测试剔除离群点;
IMU预积分单元,将与位姿的初始状态有关的部分从积分过程中剔除;
紧耦合滑动窗口滤波单元,将先验信息、IMU测量与视觉测量同时优化,转 化为对位姿和地标位置的约束。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述景 象匹配模块包括:
图像正射校正单元,用于消除图像的透视形变,恢复图像的物理尺度以及相 机与图像的空间位置关系;
校正匹配单元,利用图像的线段信息和矩信息校正飞机的偏航角和绝对地理 坐标。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述地 形匹配单元利用迭代最近点算法实现地形匹配。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述基 准图管理模块进行景象匹配时,利用图像正射校正得到的地理坐标和空域半径提 取出对应的图像块,根据叶节点的位置关系将图像块有序合并成一个大图;在大 图中找到与地理坐标对应的图像像素位置,根据空域半径和先验误差裁剪出参考 图,并基于该参考图得到与其关联的线段信息和图像矩。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述基 准图管理器进行地形匹配时,利用在滑动窗口滤波器中维护的地表点云中心位置 的地理坐标和空域半径,在混合索引树中执行一个半径检索;找到被检索到的四 叉树叶节点,并提取出对应的高程图像块;对高程数据进行采集和降采样,并组 织成地形参考点云Q。
如上所述的方面和任一可能的实现方式,进一步提供一种基于视觉导航的多 机协同目标高精度定位方法,所述高精度定位方法包括以下步骤:
S1:通过滑动窗口滤波器融合视觉测量与惯性测量的结果,对无人机位姿进 行稳定跟踪,同时获取地表点云;
S2:通过分析点云的高程分布实现地表平坦性分析,对于平坦的点云,采用 景象匹配,实现在地理环境下对无人机位姿的观测;
S3:通过分析点云的高程分布实现地表平坦性分析,对于起伏的点云,采用 地形匹配实现在地理环境下对无人机位姿的观测;
S4:利用栅格和四叉树混合索引结构实现地理信息的存储和有效检索,为景 象匹配和地形匹配提供地图数据,同时通过优化的线段提取实时图和基准图中的 稳定结构。
如上所述的方面和任一可能的实现方式,进一步提供一种可读存储介质,计 算机可读存储介质为非易失性存储介质或非瞬态存储介质,其上存储有计算机程 序,其特征在于,所述计算机程序被处理器运行时执行所述的高精度定位方法的 步骤。
如上所述的方面和任一可能的实现方式,进一步提供一种基于视觉导航的多 机协同目标高精度定位装置,包括存储器、处理器和显示器,所述存储器上存储 有可在所述处理器上运行的计算机程序,所述显示器显示处理器的运行结果,所 述处理器运行所述计算机程序时执行所述的高精度定位方法的步骤。
与现有技术相比,本发明可以获得包括以下技术效果:
1)本发明采用基于IMU的视觉导航对于视觉测量,在相邻的帧间追踪特 征,并在最近的图像中检测新的特征,可以在较长的时间内实现对无人机位姿 的稳定跟踪,降低积累的漂移误差;
2)采用景象匹配和地形匹配相结合的方式对采集到的图像进行匹配,针对 不同的地形和环境特点采用不同的方式,实现多幅图像匹配,提升了匹配准确 率;
3)采用基于栅格和四叉树的混合索引多文件数据结构实现基准图和地形 图的管理和检索,提升了检索的效率,降低了管理的复杂程度。
当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有技术 效果。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使 用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些 实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可 以根据这些附图获得其它的附图。
图1是本发明一个实施例提供的基于视觉导航的多机协同目标高精度定 位系统框图;
图2是本发明一个实施例提供的景象匹配定位技术总体方案流程图;
图3是本发明一个实施例提供的图像匹配算法流程图;
图4是本发明一个实施例提供的线段优化流程图;
图5是本发明一个实施例提供的基准图空间数据结构图;
图6是本发明一个实施例提供的景象匹配时基准图管理器的工作流程图;
图7是本发明一个实施例提供的地形匹配时基准图管理器的工作流程图。
【具体实施方式】
为了更好的理解本发明的技术方案,下面结合附图对本发明实施例进行详 细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实 施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前 提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨 在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一 种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
本发明提供一种基于视觉导航的多机协同目标高精度定位系统及方法, 为实现对目标进行全天候条件下的高精度定位,涉及到的关键技术包括联合定位 框架的设计、视觉惯性里程计、景象匹配、地形匹配以及基准图的设计等五个部 分。所述多机协同目标高精度定位系统包括:
视觉惯性里程计模块,通过滑动窗口滤波器融合视觉测量与惯性测量的结 果,对无人机位姿进行稳定跟踪,同时获取地表点云;
景象匹配模块,通过分析点云的高程分布实现地表平坦性分析,对于平坦的 点云,采用景象匹配,实现在地理环境下对无人机位姿的观测;
地形匹配模块,通过分析点云的高程分布实现地表平坦性分析,对于起伏的 点云,采用地形匹配实现在地理环境下对无人机位姿的观测;
基准图管理模块,利用栅格和四叉树混合索引结构实现地理信息的存储和有 效检索,为景象匹配和地形匹配提供地图数据,同时通过优化的线段提取实时图 和基准图中的稳定结构。
所述视觉惯性里程计模块包括:
图像测量单元,追踪和检测新的图像特征,对于追踪到的特征,利用基础矩 阵测试剔除离群点;
IMU预积分单元,将与位姿的初始状态有关的部分从积分过程中剔除;
紧耦合滑动窗口滤波单元,将先验信息、IMU测量与视觉测量同时优化,转 化为对位姿和地标位置的约束。
所述景象匹配模块包括:
图像正射校正单元,用于消除图像的透视形变,恢复图像的物理尺度以及相 机与图像的空间位置关系;
校正匹配单元,利用图像的线段信息和矩信息校正飞机的偏航角和绝对地理 坐标。
所述地形匹配单元利用迭代最近点算法实现地形匹配。
所述基准图管理模块进行景象匹配时,利用图像正射校正得到的地理坐标和 空域半径提取出对应的图像块,根据叶节点的位置关系将图像块有序合并成一个 大图;在大图中找到与地理坐标对应的图像像素位置,根据空域半径和先验误差 裁剪出参考图,并基于该参考图得到与其关联的线段信息和图像矩。
所述基准图管理器进行地形匹配时,利用在滑动窗口滤波器中维护的地表点 云中心位置的地理坐标和空域半径,在混合索引树中执行一个半径检索;找到被 检索到的四叉树叶节点,并提取出对应的高程图像块;对高程数据进行采集和降 采样,并组织成地形参考点云Q。
一种基于视觉导航的多机协同目标高精度定位方法,所述高精度定位方法包 括以下步骤:
S1:通过滑动窗口滤波器融合视觉测量与惯性测量的结果,对无人机位姿进 行稳定跟踪,同时获取地表点云;
S2:通过分析点云的高程分布实现地表平坦性分析,对于平坦的点云,采用 景象匹配,实现在地理环境下对无人机位姿的观测;
S3:通过分析点云的高程分布实现地表平坦性分析,对于起伏的点云,采用 地形匹配实现在地理环境下对无人机位姿的观测;
S4:利用栅格和四叉树混合索引结构实现地理信息的存储和有效检索,为景 象匹配和地形匹配提供地图数据,同时通过优化的线段提取实时图和基准图中的 稳定结构。
一种可读存储介质,计算机可读存储介质为非易失性存储介质或非瞬态存储 介质,其上存储有计算机程序,所述计算机程序被处理器运行时执行所述的高精 度定位方法的步骤。
如上所述的方面和任一可能的实现方式,进一步提供一种基于视觉导航的多 机协同目标高精度定位装置,包括存储器、处理器和显示器,所述存储器上存储 有可在所述处理器上运行的计算机程序,所述显示器显示处理器的运行结果,所 述处理器运行所述计算机程序时执行所述的高精度定位方法的步骤。
本发明中联合定位框架融合来自视觉惯性里程计对无人机位姿的测量以及 景象/地形匹配对无人机位姿的测量,同时决定在什么时间进行景象/地形匹配, 以及采用何种匹配方式。视觉惯性里程计实现对无人机位姿的稳定跟踪。景象匹 配和地形匹配实现在地理环境下对无人机位姿的观测。基准图负责为景象匹配和 地形匹配提供地图数据。利用基于滑动窗口滤波器的优化算法融合视觉惯性里程 计和景象/地形匹配的测量数据,通过对里程计生成点云的平坦性分析实现景象匹 配或地形匹配方法的选择。利用优化的线段提取技术实现对实时图和基准图中稳 定结构的提取,利用基于线段的匹配策略实现景象匹配。利用迭代最近点(ICP) 算法将视觉惯性里程计生成的地表点云和地形点云进行匹配,从而实现对无人机 位姿的测量。利用栅格和四叉树混合索引结构实现大范围地理信息的存储和有效 检索。
本发明采用基于IMU的视觉导航对于视觉测量,在相邻的帧间追踪特征,并 在最近的图像中检测新的特征,可以在较长的时间内实现对无人机位姿的稳定跟 踪,降低积累的漂移误差。采用景象匹配和地形匹配相结合的方式对采集到的图 像进行匹配,针对不同的地形和环境特点采用不同的方式,实现多幅图像匹配, 提升了匹配准确率。采用基于栅格和四叉树的混合索引多文件数据结构实现基准 图和地形图的管理和检索,提升了检索的效率,降低了管理的复杂程度。
图1展示了无人机目标定位系统框图,它主要由视觉惯性里程计、景象匹配、 地形匹配和基准图管理器四部分组成。视觉惯性里程计利用滑动窗口滤波器融合 视觉测量与惯性测量的结果,可以在较长的时间内实现对无人机位姿的稳定跟 踪,它累积的漂移误差要远小于单纯利用IMU进行积分的结果,因此景象匹配或 地形匹配可以在较长的时间间隔中执行。由于视觉惯性里程计的漂移分布在位置 和航向四个维度上,因而可考虑利用景象匹配或地形匹配得到无人机的绝对地理 位置和航向信息,实现类似于SLAM中的闭环效果,最终达到校正无人机位姿的 目的。
景象匹配主要针对平原环境,地形匹配主要针对山区、丘陵等地表起伏较大 的环境。为了确定何时采用何种匹配方法,我们利用视觉惯性里程计感知到的地 表点云,通过分析点云的高程分布实现地表平坦性分析。对于比较平坦的点云, 采用景象匹配;而对于起伏较大的点云,采用地形匹配。
考虑到基准图管理器的研制要求,设计一种基于栅格和四叉树的混合索引多 文件数据结构实现对卫星基准图的有效管理。
1、视觉惯性里程计
对于视觉测量,在相邻的帧间追踪特征,并在最近的图像中检测新的特征。 对于IMU测量,利用预积分处理两个图像帧间的惯性测量结果。
(1)图像测量模块
对于每一个新的图像,利用KLT稀疏光流法追踪特征,与此同时也在其中检 测新的图像特征,从而在每幅图像中维护足够数量的特征。对于追踪到的特征, 进一步利用基础矩阵测试剔除离群点。
在图像测量模块中也实现了对关键帧的选择,如果当前图像与前一帧的视差 较大,或者当前图像中跟踪的特征数量较少,那么就把当前图像作为新的关键帧。 关键帧将作为景象匹配的感知图像,由于景象匹配会有一定的时延,所以需要保 存关键帧的位姿数据,待景象匹配完成后,将校正结果通过关键帧的位姿图反馈 到定位系统中。
(2)IMU预积分
传统的惯性积分对位姿的初始状态非常敏感,一旦初始状态的估计有了变化 就需要重新积分,非常不利于对状态的实时估计。惯性预积分将与位姿的初始状 态有关的部分从积分过程中剔除,避免了状态估计的重新积分。此外,当IMU的 零偏估计有微小变化时,可通过一阶泰勒近似快速更新预积分结果。
从IMU获取的加速度量测
Figure BDA0002882839620000111
角速度量测
Figure BDA0002882839620000112
由如下公式给出:
Figure BDA0002882839620000113
IMU的测量是在本体坐标系中执行的,它由重力加速度、平台运动以及地球 自转组成,并受到加速度零偏ba、陀螺仪零偏bω以及加性噪声的影响。 由于地球自转的角速度非常小,一般应用在微型无人机上的MEMS并不具有非常 高的测量精度,因此在进行积分时一般不考虑地球自转因素。假设加性噪声为零 均值高斯噪声、零偏为随机游走,则两个时刻之间的IMU积分公式如下:
Figure BDA0002882839620000121
其中
Figure BDA0002882839620000122
由式(2)可知,IMU状态的传播依赖位置、速度和朝向的初值。在积分时,只 要这些初值的估计有了变化就需要重新积分,因此非常耗时。预积分就是为了解 决这个问题被提出来的:
Figure BDA0002882839620000123
其中,
Figure BDA0002882839620000124
Figure BDA0002882839620000131
由式(5)可知,预积分项
Figure BDA0002882839620000132
Figure BDA0002882839620000133
完全依赖于IMU的 测量、零偏以及加性噪声,而与其他因素无关。如果采用中点积分的方式,并将 加性噪声看做零,那么式(5)的传播方程如下:
Figure BDA0002882839620000134
综上,误差项的连续时间线性动力系统方程如下:
Figure BDA0002882839620000135
误差状态的协方差矩阵
Figure BDA0002882839620000136
可利用一阶近似递归计算如下:
Figure BDA0002882839620000137
与此同时,
Figure BDA0002882839620000138
的jacobian矩阵可递归计算为:
Jt+δt=(I+Ftδt)Jt (9)
利用递归的方式,可以得到协方差矩阵
Figure BDA0002882839620000141
和jacobian矩阵
Figure BDA0002882839620000142
预 积分项
Figure BDA0002882839620000143
Figure BDA0002882839620000144
相对于零偏的一阶近似可写作:
Figure BDA0002882839620000145
而具有协方差
Figure BDA0002882839620000146
的IMU测量模型可写为:
Figure BDA0002882839620000147
(3)紧耦合滑动窗口滤波器
滑动窗口滤波器是一种高效的次优滤波器,当窗口大小设置为1时,它的作 用相当于扩展卡尔曼滤波器;当窗口大小设置为关键帧的数量时,它的作用相当 于全局光束法平差。将先验信息、IMU测量与视觉测量同时优化,转化为对位姿 和地标位置的约束,可以有效提升无人机对自身位姿和周围环境的感知能力。
在滑动窗口滤波器中维护的状态为:
Figure BDA0002882839620000148
其中xk表示记录第k幅图像时的IMU状态,λi表示特征的观测量。 滑动窗口滤波器需要优化的目标函数如下:
Figure BDA0002882839620000151
其中||rp-Hpχ||2表示先验残差,
Figure BDA0002882839620000152
表示IMU测 量残差,
Figure BDA0002882839620000153
表示视觉测量残差。
IMU的测量残差可表示为:
Figure BDA0002882839620000154
视觉测量残差可表示为:
Figure BDA0002882839620000161
如图2所示为景象匹配定位技术总体方案流程图。景象匹配与地形匹配包括:
(1)图像正射校正
图像正射校正可以消除图像的透视形变,恢复图像的物理尺度以及相机与图 像的空间位置关系。具体步骤如下:
(a)计算相机坐标系向导航坐标系的姿态变换矩阵
载机坐标系->导航坐标系:
Figure BDA0002882839620000162
光电载荷坐标系->载机坐标系:
Figure BDA0002882839620000163
相机坐标系->光电载荷坐标系:
Figure BDA0002882839620000164
相机坐标系->导航坐标系:
Figure BDA0002882839620000165
(b)相机坐标系->导航坐标系:
Figure BDA0002882839620000166
取航拍图像的四个角点A、B、C和D,利用式(16)得到它们的地理坐标:
Figure BDA0002882839620000167
其中(x,y)表示图像坐标,(xw,yw,h)表示与图像点对应的地面点在导 航坐标系中的地理坐标,h为飞行器相对地面的高度,λ为尺度因子,K 为相机内参矩阵。
根据四个角点的地理坐标与基准图分辨率计算正射影像的框架。用四个角点 中最大的X坐标减去最小的X坐标再除以分辨率即为正射影像的行数,同理也可 以计算出正射影像的列数,如式(17)所示。
rows=(Xmax-Xmin)/resolution
cols=(Ymax-Ymin)/resolution 17)
建立cols列rows行的矩阵,即为正射后影像的框架,然后就可以计算框架 内每个点的相对地理坐标。
(c)填充正射框架
对正射框架内由A,B,C和D包围的四边形区域内的每个像素p,利用式(18) 得到航拍图像中的对应位置q,取q的四个近邻像素,并利用双线性插值实现像 素p的填充。
Figure BDA0002882839620000171
(2)图像匹配
如图4所示,展示了图像匹配算法流程图,它主要针对异源图像匹配,其设 计思路主要基于以下两点:一是利用图像的线段信息;二是利用图像的矩信息。 图像的线段信息和图像的矩信息在异源图像中都能得到较好的保留,基于线段信 息得到的匹配参数可以用来校正飞机的偏航角和绝对地理坐标,但不是所有的地 方都具有丰富的线段特征,因而其应用场景有限;基于图像矩得到的匹配参数无 法校正飞机的偏航角,仅能校正飞机的绝对地理坐标,但它的应用范围比基于线 段匹配的方法更广。
为充分利用上述两种方法的优点,本方案引入两个判断步骤。在第一个判断 步骤,如果从实时图或参考图中提取的线段数量太少或线段夹角太小,则采用基 于图像矩的图像匹配方法,否则采用基于线段的匹配方法;在第二个判断步骤, 当利用基于线段的图像匹配方法提取的匹配参数不合法时(位置偏离超出阈值或 航向角偏离超过阈值),则采用基于图像矩的图像匹配方法。
在构造图像匹配参数时采用了基于线段端点和基于直线对的方法,前者通过 重合线段端点实现匹配,后者通过尽可能地重合对应直线实现匹配,两种匹配方 法具有互补性,且均能获得欧式变换参数。
Figure BDA0002882839620000181
利用LSD提取的直线段容易出现断裂情况和双边情况,利用线段优化可以将 首尾相连的线段连接起来,同时可以将间距很小且平行的线段合并成一个线段, 从而达到降低线段数量、提高线段质量的目的。如图5所示,展示了线段优化步 骤的流程图。
(3)地形匹配
通过视觉惯性里程计的设计可以发现,由于采用了稀疏光流跟踪,重建的地 表点云也是稀疏的。因此无法采用基于条带的地形匹配方法,而基于区域的地形 匹配是具有可行性的一种选择。利用迭代最近点(ICP)算法实现地形匹配,具体 步骤如下:
(1)计算在滑动窗口滤波器中维护的地表点云P的水平包围盒,计算该包 围盒的外接圆半径r;
(2)以无人机的当前估计地理位置为中心,以r^'(r^'=r+Δ)为半径在基准 图管理器中采样地形点云Q;
(3)为Q构造kdtree,将P变换到Q的坐标系中成为P^',计算P^'中每个 点到Q的最近邻点的距离,通过最小化式(20),实现P与Q的匹配;
Figure BDA0002882839620000191
基准图及地形图的检索部分:
通过基准图和地形图的检索技术构建基准图管理器,基准图管理器为图像匹 配提供参考图以及参考图的线段信息和图像矩,为了能够管理较大空间范围的卫 星基准图,采用栅格+四叉树混合索引结构进行组织。图5展示了基准图空间数 据结构,其中顶层栅格索引常驻内存,而其余信息在系统磁盘中保存。
图6展示了基准图管理器在景象匹配时的工作流程:利用图像正射校正得到 的地理坐标和空域半径,在混合索引树中执行一个半径检索;找到被检索到的四 叉树叶节点,并提取出它们对应的图像块,根据叶节点的位置关系将图像块有序 合并成一个大图;在大图中找到与地理坐标对应的图像像素位置,根据空域半径 和先验误差裁剪出参考图,并基于该参考图得到与其关联的线段信息和图像矩。
图7展示了基准图管理器在地形匹配时的工作流程:利用在滑动窗口滤波器 中维护的地表点云P中心位置的地理坐标和空域半径,在混合索引树中执行一个 半径检索;找到被检索到的四叉树叶节点,并提取出它们对应的高程图像块;对 高程数据进行采集和降采样,并组织成地形参考点云Q。
以上对本申请实施例所提供的一种基于视觉导航的多机协同目标高精度 定位系统及方法,进行了详细介绍。以上实施例的说明只是用于帮助理解本申 请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思 想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容 不应理解为对本申请的限制。
如在说明书及权利要求书当中使用了某些词汇来指称特定组件。本领域技 术人员应可理解,硬件制造商可能会用不同名词来称呼同一个组件。本说明书 及权利要求书并不以名称的差异来作为区分组件的方式,而是以组件在功能上 的差异来作为区分的准则。如在通篇说明书及权利要求书当中所提及的“包 含”、“包括”为一开放式用语,故应解释成“包含/包括但不限定于”。“大致”是 指在可接收的误差范围内,本领域技术人员能够在一定误差范围内解决所述技 术问题,基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方 式,然所述描述乃以说明本申请的一般原则为目的,并非用以限定本申请的范 围。本申请的保护范围当视所附权利要求书所界定者为准。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排 他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而 且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有 的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不 排除在包括所述要素的商品或者系统中还存在另外的相同要素。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关 系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时 存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后 关联对象是一种“或”的关系。
上述说明示出并描述了本申请的若干优选实施例,但如前所述,应当理解 本申请并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可 用于各种其他组合、修改和环境,并能够在本文所述申请构想范围内,通过上 述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化 不脱离本申请的精神和范围,则都应在本申请所附权利要求书的保护范围内。

Claims (9)

1.一种基于视觉导航的多机协同目标高精度定位系统,其特征在于,所述高精度定位系统包括:
视觉惯性里程计模块,通过滑动窗口滤波器融合视觉测量与惯性测量的结果,对无人机位姿进行稳定跟踪,同时获取地表点云;
景象匹配模块,通过分析点云的高程分布实现地表平坦性分析,对于平坦的点云,采用景象匹配,实现在地理环境下对无人机位姿的观测;
地形匹配模块,通过分析点云的高程分布实现地表平坦性分析,对于起伏的点云,采用地形匹配实现在地理环境下对无人机位姿的观测;
基准图管理模块,利用栅格和四叉树混合索引结构实现地理信息的存储和有效检索,为景象匹配和地形匹配提供地图数据,同时通过优化的线段提取实时图和基准图中的稳定结构。
2.根据权利要求1所述的高精度定位系统,其特征在于,所述视觉惯性里程计模块包括:
图像测量单元,追踪和检测新的图像特征,对于追踪到的特征,利用基础矩阵测试剔除离群点;
IMU预积分单元,将与位姿的初始状态有关的部分从积分过程中剔除;
紧耦合滑动窗口滤波单元,将先验信息、IMU测量与视觉测量同时优化,转化为对位姿和地标位置的约束。
3.根据权利要求2所述的高精度定位系统,其特征在于,所述景象匹配模块包括:
图像正射校正单元,用于消除图像的透视形变,恢复图像的物理尺度以及相机与图像的空间位置关系;
校正匹配单元,利用图像的线段信息和矩信息校正飞机的偏航角和绝对地理坐标。
4.根据权利要求3所述的高精度定位系统,其特征在于,所述地形匹配单元利用迭代最近点算法实现地形匹配。
5.根据权利要求4所述的高精度定位系统,其特征在于,所述基准图管理模块进行景象匹配时,利用图像正射校正得到的地理坐标和空域半径提取出对应的图像块,根据叶节点的位置关系将图像块有序合并成一个大图;在大图中找到与地理坐标对应的图像像素位置,根据空域半径和先验误差裁剪出参考图,并基于该参考图得到与其关联的线段信息和图像矩。
6.根据权利要求5所述的高精度定位系统,其特征在于,所述基准图管理器进行地形匹配时,利用在滑动窗口滤波器中维护的地表点云中心位置的地理坐标和空域半径,在混合索引树中执行一个半径检索;找到被检索到的四叉树叶节点,并提取出对应的高程图像块;对高程数据进行采集和降采样,并组织成地形参考点云Q。
7.一种基于视觉导航的多机协同目标高精度定位方法,包括上述权利要求1-6之一所述的高精度定位系统,其特征在于,所述高精度定位方法包括以下步骤:
S1:通过滑动窗口滤波器融合视觉测量与惯性测量的结果,对无人机位姿进行稳定跟踪,同时获取地表点云;
S2:通过分析点云的高程分布实现地表平坦性分析,对于平坦的点云,采用景象匹配,实现在地理环境下对无人机位姿的观测;
S3:通过分析点云的高程分布实现地表平坦性分析,对于起伏的点云,采用地形匹配实现在地理环境下对无人机位姿的观测;
S4:利用栅格和四叉树混合索引结构实现地理信息的存储和有效检索,为景象匹配和地形匹配提供地图数据,同时通过优化的线段提取实时图和基准图中的稳定结构。
8.一种可读存储介质,计算机可读存储介质为非易失性存储介质或非瞬态存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求7所述的高精度定位方法的步骤。
9.一种基于视觉导航的多机协同目标高精度定位装置,包括存储器、处理器和显示器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述显示器显示处理器的运行结果,其特征在于,所述处理器运行所述计算机程序时执行权利要求7所述的高精度定位方法的步骤。
CN202110004880.XA 2021-01-04 2021-01-04 一种基于视觉导航的多机协同目标高精度定位系统及方法 Active CN113155126B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110004880.XA CN113155126B (zh) 2021-01-04 2021-01-04 一种基于视觉导航的多机协同目标高精度定位系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110004880.XA CN113155126B (zh) 2021-01-04 2021-01-04 一种基于视觉导航的多机协同目标高精度定位系统及方法

Publications (2)

Publication Number Publication Date
CN113155126A true CN113155126A (zh) 2021-07-23
CN113155126B CN113155126B (zh) 2023-10-20

Family

ID=76878241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110004880.XA Active CN113155126B (zh) 2021-01-04 2021-01-04 一种基于视觉导航的多机协同目标高精度定位系统及方法

Country Status (1)

Country Link
CN (1) CN113155126B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113932727A (zh) * 2021-11-29 2022-01-14 中国电建集团成都勘测设计研究院有限公司 基于扫描全站仪与gnss的边坡变形监测方法及系统
CN117333688A (zh) * 2023-12-01 2024-01-02 西安现代控制技术研究所 一种基于多维梯度特征的高精度地形匹配方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102306180A (zh) * 2011-08-29 2012-01-04 北京建筑工程学院 一种基于海量激光雷达栅格点云数据的建模方法
CN102506868A (zh) * 2011-11-21 2012-06-20 清华大学 基于联邦滤波的sins/smans/trns组合导航方法及系统
CN104075691A (zh) * 2014-07-09 2014-10-01 广州市城市规划勘测设计研究院 基于cors和icp算法的地面激光扫描仪快速测量地形的方法
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
CN107687850A (zh) * 2017-07-26 2018-02-13 哈尔滨工业大学深圳研究生院 一种基于视觉和惯性测量单元的无人飞行器位姿估计方法
CN108917753A (zh) * 2018-04-08 2018-11-30 中国人民解放军63920部队 基于从运动恢复结构的飞行器位置确定方法
CN109579843A (zh) * 2018-11-29 2019-04-05 浙江工业大学 一种空地多视角下的多机器人协同定位及融合建图方法
CN110274602A (zh) * 2018-03-15 2019-09-24 奥孛睿斯有限责任公司 室内地图自动构建方法及系统
CN110285806A (zh) * 2019-07-05 2019-09-27 电子科技大学 基于多次位姿校正的移动机器人快速精确定位算法
CN110849374A (zh) * 2019-12-03 2020-02-28 中南大学 地下环境定位方法、装置、设备及存储介质
CN111024066A (zh) * 2019-12-10 2020-04-17 中国航空无线电电子研究所 一种无人机视觉-惯性融合室内定位方法
CN111161337A (zh) * 2019-12-18 2020-05-15 南京理工大学 一种动态环境下的陪护机器人同步定位与构图方法
CN111238488A (zh) * 2020-03-18 2020-06-05 湖南云顶智能科技有限公司 一种基于异源图像匹配的飞行器精确定位方法
CN111854692A (zh) * 2019-04-26 2020-10-30 李涛 一种在道路测设中的无人机影像匹配点云的测量方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102306180A (zh) * 2011-08-29 2012-01-04 北京建筑工程学院 一种基于海量激光雷达栅格点云数据的建模方法
CN102506868A (zh) * 2011-11-21 2012-06-20 清华大学 基于联邦滤波的sins/smans/trns组合导航方法及系统
CN104075691A (zh) * 2014-07-09 2014-10-01 广州市城市规划勘测设计研究院 基于cors和icp算法的地面激光扫描仪快速测量地形的方法
CN106595659A (zh) * 2016-11-03 2017-04-26 南京航空航天大学 城市复杂环境下多无人机视觉slam的地图融合方法
CN107687850A (zh) * 2017-07-26 2018-02-13 哈尔滨工业大学深圳研究生院 一种基于视觉和惯性测量单元的无人飞行器位姿估计方法
CN110274602A (zh) * 2018-03-15 2019-09-24 奥孛睿斯有限责任公司 室内地图自动构建方法及系统
CN108917753A (zh) * 2018-04-08 2018-11-30 中国人民解放军63920部队 基于从运动恢复结构的飞行器位置确定方法
CN109579843A (zh) * 2018-11-29 2019-04-05 浙江工业大学 一种空地多视角下的多机器人协同定位及融合建图方法
CN111854692A (zh) * 2019-04-26 2020-10-30 李涛 一种在道路测设中的无人机影像匹配点云的测量方法
CN110285806A (zh) * 2019-07-05 2019-09-27 电子科技大学 基于多次位姿校正的移动机器人快速精确定位算法
CN110849374A (zh) * 2019-12-03 2020-02-28 中南大学 地下环境定位方法、装置、设备及存储介质
CN111024066A (zh) * 2019-12-10 2020-04-17 中国航空无线电电子研究所 一种无人机视觉-惯性融合室内定位方法
CN111161337A (zh) * 2019-12-18 2020-05-15 南京理工大学 一种动态环境下的陪护机器人同步定位与构图方法
CN111238488A (zh) * 2020-03-18 2020-06-05 湖南云顶智能科技有限公司 一种基于异源图像匹配的飞行器精确定位方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113932727A (zh) * 2021-11-29 2022-01-14 中国电建集团成都勘测设计研究院有限公司 基于扫描全站仪与gnss的边坡变形监测方法及系统
CN117333688A (zh) * 2023-12-01 2024-01-02 西安现代控制技术研究所 一种基于多维梯度特征的高精度地形匹配方法
CN117333688B (zh) * 2023-12-01 2024-03-15 西安现代控制技术研究所 一种基于多维梯度特征的高精度地形匹配方法

Also Published As

Publication number Publication date
CN113155126B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN112014857B (zh) 用于智能巡检的三维激光雷达定位导航方法及巡检机器人
CN111024066B (zh) 一种无人机视觉-惯性融合室内定位方法
WO2022007776A1 (zh) 目标场景区域的车辆定位方法、装置、设备和存储介质
CN107167826B (zh) 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法
CN108267141B (zh) 道路点云数据处理系统
CN106595659A (zh) 城市复杂环境下多无人机视觉slam的地图融合方法
CN110298914B (zh) 一种建立果园中果树冠层特征地图的方法
CN112419374B (zh) 一种基于图像配准的无人机定位方法
CN110726406A (zh) 一种改进的非线性优化单目惯导slam的方法
CN105352509A (zh) 地理信息时空约束下的无人机运动目标跟踪与定位方法
US9495747B2 (en) Registration of SAR images by mutual information
EP4124829B1 (en) Map construction method, apparatus, device and storage medium
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN113593017A (zh) 露天矿地表三维模型构建方法、装置、设备及存储介质
CN114199240A (zh) 无gps信号下二维码、激光雷达与imu融合定位系统及方法
CN109596121A (zh) 一种机动站自动目标检测与空间定位方法
CN113155126A (zh) 一种基于视觉导航的多机协同目标高精度定位系统及方法
CN115272596A (zh) 一种面向单调无纹理大场景的多传感器融合slam方法
JP2023525927A (ja) 車両位置推定システム及び方法
CN115451948A (zh) 一种基于多传感器融合的农业无人车定位里程计方法及系统
CN113515128B (zh) 一种无人车实时路径规划方法及存储介质
Majdik et al. Micro air vehicle localization and position tracking from textured 3d cadastral models
CN117029870A (zh) 一种基于路面点云的激光里程计
CN111829514A (zh) 一种适用于车辆底盘集成控制的路面工况预瞄方法
Toth et al. Terrain-based navigation: Trajectory recovery from LiDAR data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant