CN112710985A - 一种多漫游器协同导航方法、电子设备及存储介质 - Google Patents

一种多漫游器协同导航方法、电子设备及存储介质 Download PDF

Info

Publication number
CN112710985A
CN112710985A CN202011281429.4A CN202011281429A CN112710985A CN 112710985 A CN112710985 A CN 112710985A CN 202011281429 A CN202011281429 A CN 202011281429A CN 112710985 A CN112710985 A CN 112710985A
Authority
CN
China
Prior art keywords
rover
map
image
point cloud
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011281429.4A
Other languages
English (en)
Inventor
贺亮
郑博
曹涛
李木子
韩宇
胡涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aerospace Control Technology Institute
Original Assignee
Shanghai Aerospace Control Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aerospace Control Technology Institute filed Critical Shanghai Aerospace Control Technology Institute
Priority to CN202011281429.4A priority Critical patent/CN112710985A/zh
Publication of CN112710985A publication Critical patent/CN112710985A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/10Position of receiver fixed by co-ordinating a plurality of position lines defined by path-difference measurements, e.g. omega or decca systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种多漫游器协同导航方法、电子设备及存储介质,所述方法包括图像相似性算子表征、地图相似区域搜索、地图重叠区域拼接、漫游器位姿与三维点联合优化四个内容的多漫游器协同导航方法。通过基于L1范数形式的相对相似性评分函数和阈值抑制算法快速搜索到地图重叠区域,并通过求解稀疏特征点地图的转换关系进行地图拼接,最终对漫游器位姿与三维点云进行联合优化,最终得到多漫游器行进过程中地图与位姿拼接结果,从而获得多漫游器的协同导航信息。本发明实现了对地外天体表面进行长距离、大范围、高效率的探测。

Description

一种多漫游器协同导航方法、电子设备及存储介质
技术领域
本发明涉及计算机图形学技术领域,特别涉及一种多漫游器协同导航方法、电子设备及存储介质。
背景技术
漫游器是地外天体探索最有效的探测方式,导航系统是漫游器系统中重要组成部分。基于单目/双目视觉的漫游器导航方法一直是近些年计算机视觉、计算机图形学领域非常重要的研究内容。从月球漫游器开始的历代地外天体漫游器的探测方式都遵循着单漫游器的探测方式,这种探测方式存在很多受限之处。单漫游器探测手段单一、范围有限、效率偏低、探测通道狭窄,这些都是亟待解决的问题。多漫游器协同探测方式将原有的小范围线型探测拓展为大范围带状多漫游器协同探测,提高探测效率,扩大探测范围。现有的漫游器协同导航方法给出如下:
方法一,在多漫游器大范围探测中地图匹配和状态优化若干方面的技术研究。博士论文,哈尔滨工业大学,2013年。该论文中,利用激光雷达获得地外天体表面全局高程地图,并将局部三维地图与之匹配,然后将全局高程图与局部地图匹配的对应关系进行优化,优化漫游器导航参数与相邻运动状态间的矩阵关系,得到满足大范围漫游精度的导航信息参数。但是该方法是单漫游器大范围导航技术,依然探测范围和探测效率受限。
方法二,在多移动机器人协同导航中相互位姿测量和地图拼接若干方面的技术研究。SCI文献,机器人研究国际期刊,2006年。该论文中利用不同移动机器人之间相互测量信息,共享测量信息进行相对位姿确定,从而进行局部地图的拼接获得大范围地图和每个移动机器人的姿态。但是该方法有一定的局限性,需要移动机器人相互能遇到并且测量相对位姿,否则无法拼接地图。
方法三,在提高多移动机器人地图拼接效率若干方面的技术研究。EI会议,机器人学和自动化国际会议,2005年。改论文中提出了基于哈夫变换的拼接方法,可以直接对多移动机器人的栅格地图拼接,不需要在地图中提取特征,算法效率较高。但是该方法只适用于小范围拼接,且拼接精度较差,不满足用于大范围导航探测的地图精度。
现有技术中没有真正对基于视觉信息辅助的多漫游器协同导航方法进行研究,并且提出方法导航范围和导航精度较低。
发明内容
本发明的目的是提供一种多漫游器协同导航方法、电子设备及存储介质,实现对地外天体表面进行长距离、大范围、高效率的探测的目的。
为了实现以上目的,本发明通过以下技术方案实现:
一种多漫游器协同导航方法,包括:步骤S1、获取多个漫游器探测视觉SLAM过程中的地图重叠区域。步骤S2、对所述地图重叠区域进行地图拼接,得到特征地图。步骤S3、根据所述特征地图对所述多个漫游器位姿和三维点云进行联合优化,得到多个漫游器的协同导航信息。
优选地,所述步骤S1包括:
步骤S1.1、利用漫游器路径中对目标拍摄的序列图像作为目标图像训练集,根据所述目标图像训练集建立每一帧图像的描述向量和训练集字典
步骤S1.2、计算所述训练集字典中的每个单词的逆文档频率和译频率,并为每个单词分配权重,构成单词的词袋;
步骤S1.3、构建基于L1范数形式的相似性评分函数,计算不同组的图像序列之间的相似性评分,并归一化所述相似性评分,利用阈值抑制算法对低相似性区域进行抑制;
步骤S1.4、绘制相似性评分图,确定时间上连续的相似区域为所述地图重叠区域。
优选地,所述步骤S1.1包括:提取所述目标图像训练集中图像特征点;
根据所述图像特征点采用聚类法生成k-d树;将所述k-d树的树叶子层作为单词生成所述训练集字典。
优选地,还包括:第i个所述单词的权重ηi采用如下公式表示:
ηi=TFi×IDFi
式中,TFi表示第i个单词的译频率,IDFi表示第i个单词的逆文档频率,i∈[1,2,…,N];
所述目标图像训练集中的图像A的描述向量采用如下公式进行表示:
VA=[η12,…,ηN]
式中,VA表示图像A的描述向量。
优选地,所述步骤S2包括:寻找任意两个漫游器的目标图像之间的坐标系转换关系,
利用对极约束对每帧左右眼图像剔除误匹配的点,根据每帧左右眼图像中匹配的点,在每帧左眼坐标系下建立三维点云,将每张所述目标图像左右眼的描述子联合作为三维描述子,建立基础点云,得到所述特征地图。
优选地,所述步骤S3包括:
将基础坐标系下的三维点云坐标和漫游器位姿作为初始估计值进行联合优化;
建立P点实际观测与投影到像素坐标系下的坐标之间的误差e:
Figure BDA0002780920950000031
式中,[up,vp]表示P点在左眼像素坐标系下坐标;[u,v]表示P点实际观测坐标。
构建漫游器与三维点云的位姿优化函数f(x)如下:
Figure BDA0002780920950000032
式中,eij表示第i帧相机观测第j个三维点的误差;i表示第i帧相机;j表示第j个三维点。
通过李代数形式的代入并进行一阶泰勒展开,优化函数可以写成:
Figure BDA0002780920950000033
式中,Jij表示为误差函数eij对待优化变量的偏导数;x表示待优化变量;
对Δx求偏导数,得到
Figure BDA0002780920950000034
令其等于0,则方程转化为
Figure BDA0002780920950000041
求解此方程,得到待优化变量的改变量,进而对所述待优化变量进行调整,直到代价函数小于预设的阈值,完成对漫游器和三维点云坐标的联合估计。
另一方面,本发明还提供一种电子设备,包括处理器和存储器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时,实现上文所述的方法。
再一方面,本发明还提供一种可读存储介质,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现上文所述的方法。
本发明具有以下优点之一:
本发明与其他多漫游器协同探测方法的不同之处在于本发明的实质是对多个漫游器探测视觉SLAM过程中的路径重叠区域,通过地图相似区域搜索、地图重叠区域拼接和漫游器与三维点云联合优化完成多漫游器地图与轨迹拼接,从而获得多漫游器相对导航参数。
本发明与计算机图形学和计算机视觉有关,多漫游器协同导航信息的获取是通过基于视觉图像信息源,对多漫游器视觉SLAM过程中的路径重叠区域进行地图与轨迹拼接得到的。为实现地图相似区域搜索,本发明提出了基于L1范数形式的相似性评分函数与阈值抑制算法,以词袋与字典模型为基础,对地图相似区域进行快速搜索;为实现地图重叠区域拼接,本发明提出了将特征点地图拼接问题转化为求解两个漫游器重叠区域的位姿变换关系,提高匹配和拼接效率,避免了传统ICP方法计算代价消耗过大问题;为实现获得更为精准的多漫游器导航信息,本发明提出了对漫游器与三维点云进行联合优化的方法,以计算转换关系得到的三维点云和漫游器位姿为初始值,将实际观测与投影观测误差作为待优化变量进行优化调整,直到代价函数小于一定的阈值。
本发明对多漫游器拍摄的序列图像提取ORB(Oriented FAST and RotatedBRIEF)特征(ORB特征包括特征点和描述子。特征点用于筛选比较“特殊”的点,而描述子用来描述某个点周围的特征;ORB是目前最快速稳定的特征点检测和提取算法),利用词袋模型对稀疏特征点地图进行拼接,并且将直接拼接问题转化为求解重叠区域漫游器位姿的转换关系,并对漫游器位姿信息进行联合优化。避免了直接对多漫游器相对位姿进行测量与拼接,多漫游器无需在相互视场范围内相遇并分享互测信息,也避免了直接进行地图拼接造成的计算代价消耗过大、拼接精度较低的问题。
附图说明
图1为本发明一实施例提供的一种多漫游器协同导航方法的流程示意图;
图2为本发明一实施例提供的一种多漫游器协同导航方法中的多漫游器图像重叠区域搜索过程示意图;
图3为本发明一实施例提供的一种多漫游器协同导航方法中的稀疏特征点地图拼接过程示意图;
图4为本发明一实施例提供的一种多漫游器协同导航方法中的三维点云生成与坐标系转换流程示意图。
具体实施方式
以下结合附图和具体实施方式对本发明提出的一种多漫游器协同导航方法、电子设备及存储介质作进一步详细说明。根据下面说明,本发明的优点和特征将更清楚。需要说明的是,附图采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂,请参阅附图。须知,本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容能涵盖的范围内。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
如图1所示,本实施例提供一种多漫游器协同导航方法,包括:
步骤S1、获取多个漫游器探测视觉SLAM(同步定位与地图构建,SimultaneousLocalization And Mapping)过程中的地图重叠区域。
步骤S2、对所述地图重叠区域进行地图拼接,得到特征地图。
步骤S3、根据所述特征地图对所述多个漫游器位姿和三维点云进行联合优化,得到多个漫游器的协同导航信息。
如图2所示,所述步骤S1主要是进行地图相似区域搜索,即寻找多个漫游器的行进路径上的重叠区域,就是寻找不同漫游器拍摄的序列图像之间符合要求的时间上连续的相似部分。包括:
步骤S1.1、利用漫游器路径中对目标拍摄的序列图像作为目标图像训练集,并以此建立每一帧图像的描述向量和训练集字典。
步骤S1.2、计算所述训练集字典中的每个单词的逆文档频率和译频率,并为每个单词分配权重,构成单词的词袋。
步骤S1.3、构建基于L1范数形式的相似性评分函数,计算不同组的图像序列之间的相似性评分,并归一化所述相似性评分,利用阈值抑制算法对低相似性区域进行抑制。
步骤S1.4、绘制相似性评分图,确定时间上连续的相似区域为所述地图重叠区域。
所述步骤S1.1包括:提取所述目标图像训练集中每张(每帧)图像的特征点。
根据所述训练集包含的图像特征点采用聚类法生成k-d树;将所述k-d树的树叶子层作为单词生成所述训练集字典(即选取与目标图像环境相似的图像集建立所述训练集字典)。
计算所述训练集字典中每一单词的IDF(逆文档频率),代表某单词查询时在训练集字典中以较低的频率出现,频率越低则分类图像时区分度越高;计算每个所述单词的TF(译频率),代表一副图像中某个特征出现在其中的频率。
则第i个单词的IDFi采用如下公式进行表示:
Figure BDA0002780920950000071
式中,n表示图像中出现的单词总次数;ni表示表示某个单词出现的次数。
则第i个单词的TFi采用如下公式进行表示:
Figure BDA0002780920950000072
为每个单词赋权,ωi的权重等于TF与IDF的乘积,即,第i个所述单词的权重ηi采用如下公式表示:
ηi=TFi×IDFi (3)
式中,TFi表示第i个单词的译频率,IDFi表示第i个单词的逆文档频率,i∈[1,2,…,N];ωi表示图像中第i个单词。
IDF的思想是某个单词在训练集字典中出现的频率越低,则分类图像时的区分度越高;TF的思想是某个单词在一幅图像中经常出现,则分类图像时区分度就越高。通过IDF与TF为每个单词赋权之后,对于目标图像A,目标图像A的特征点可以对应到许多单词,组成它的BoW(词袋)A。
A={(ω11),(ω22),…,(ωNN)} (4)
所述目标图像训练集中的表征目标图像A的描述向量采用如下公式进行表示:
VA=[η12,…,ηN] (5)
式中,VA表示目标图像A的描述向量。
之后,计算不同组图像的相似性评分;对低相似性图像进行抑制;时间连续多对图像为所述地图重叠区域。
具体的,例如,采用L1范数形式的相似性评分函数来构建两幅目标图像(例如目标图像A和目标图像B)的相似性评价函数s(VA-VB),其表示如下:
Figure BDA0002780920950000073
式中,VA表示目标图像A的描述向量,VB表示目标图像B的描述向量。
因为L1范数的解通常是稀疏的,倾向于选择数目较少的一些非常大的值或者数目较多的一些非常小的值,而且L1范数是L0范数的最优凸近似,能更好表示两幅目标图像的差异度。最后为相似性评价函数值绘制相应的相似性函数表,通过亮度不同的区域找到地图相似区域,并利用阈值抑制算法找到时间上连续的目标图像对作为地图重叠区域。
如图3所示,所述步骤S2包括:寻找任意两个漫游器的目标图像之间的坐标系转换关系,利用对极约束对每帧左右眼图像剔除误匹配的点,根据每帧左右眼图像中匹配的点,在每帧左眼坐标系下建立三维点云,将每张所述目标图像左右眼的描述子联合作为三维描述子,建立基础点云,得到所述特征地图。
具体的,在本实施例中多漫游器指的是两个和两个以上的漫游器,为了便于理解,我们以两个漫游器的具有重叠区域的稀疏特征点地图拼接为例进行说明。
两个漫游器的地图重叠区域拼接,可以转化为寻找两个漫游器的目标图像之间坐标系的转换关系。通过较小的稀疏特征点地图拼接,可以获得较大范围的所述特征地图,相比于传统的ICP配准拼接,通过寻找两个漫游器的目标图像之间坐标系的转换关系可以大大减小计算量。
假设两个漫游器中的第一漫游器拍摄第1帧图像时的左眼坐标系为O1x1y1z1和第二漫游器拍摄第1帧图像时的左眼坐标系为O2x2y2z2
两个漫游器分别对环境进行扫描,形成多组目标图像序列,利用改进的词袋模型搜索两个漫游器拍摄的目标图像的重叠区域,寻找到第一漫游器从第J帧开始的连续n帧目标图像与第二漫游器从第K帧开始的连续n帧目标图像为S1中的地图重叠区域部分。
假设观测到的特征点P点在第一漫游器拍摄第1帧图像时的左眼坐标系O1x1y1z1,第二漫游器拍摄第1帧图像时的左眼坐标系O2x2y2z2,第一漫游器拍摄第J帧图像时的左眼坐标系(第一漫游器第J帧图像所在的相机左眼坐标系)OJxJyJzJ,第二漫游器拍摄第K帧图像时的左眼坐标系(第二漫游器第K帧图像所在的相机左眼坐标系)OKxKyKzK中的坐标分别为P1,P2,PJ,PK,则有:
P1=R1PJ+t1 (7)
P2=R2PK+t2 (8)
PJ=RJKPK+tJK (9)
其中,R1,t1是第J帧图像左眼坐标系相对于第1帧图像左眼坐标系的旋转矩阵和平移矩阵。
R2,t2是第K帧图像左眼坐标系相对于第1帧图像左眼坐标系的旋转矩阵和平移矩阵。
RJK,tJK是第一漫游器第J帧图像所在的相机左眼坐标系OJxJyJzJ相对于第二漫游器第K帧图像所在的相机左眼坐标系OKxKyKzK的旋转矩阵和平移矩阵。整理后得:
Figure BDA0002780920950000091
O2x2y2z2相对于O1x1y1z1的转换关系R,t分别为:
Figure BDA0002780920950000092
Figure BDA0002780920950000093
建立第一漫游器和第二漫游器所拍摄的重叠区域地图之间的联系,在每一帧左眼坐标系下建立三维点云,将每张左眼目标图像和右眼目标图像中的描述子联合作为三维描述子,建立基础点云,完成两个漫游器稀疏特征点地图(地图重叠区域)的拼接,得到更大范围的所述特征地图。
如图4所示,所述步骤S3为漫游器位姿与三维点联合优化,包括:第一个漫游器拍摄的第J帧图像的三维点云设为基础点云,将基础点云坐标和漫游器位姿作为初始估计值进行联合优化(通过计算地图重叠区域的位姿变换关系,得到基础坐标系下的三维点云坐标、每帧目标图像的左眼坐标系相对于基础坐标系的转换矩阵,并将其作为初始值,进行联合优化)。
建立P点实际观测与投影到左眼像素坐标系下的坐标之间的误差e:
Figure BDA0002780920950000101
式中,[up,vp]表示P点在左眼像素坐标系下坐标;[u,v]表示P点实际观测坐标。
构建漫游器(漫游器设有的相机)与三维点云的位姿优化函数f(x)如下:
Figure BDA0002780920950000102
式中,eij表示第i帧相机观测第j个三维点的误差;i表示第i帧相机;j表示第j个三维点。
用李代数的形式表示如下:
Figure BDA0002780920950000103
式中,[X,Y,Z]表示P点在基础坐标系下的坐标;[X′,Y′,Z′]表示P点转换到左眼坐标系下的坐标。
则待优化变量x为:
x=[ξ1…ξm p1…pn]T (16)
式中,ξ1…ξm分别表示李代数形式的第i帧左眼相机坐标系相对于基础坐标系的转换关系;p1…pn表示第j个三维点的基础坐标系下的坐标。
通过李代数形式的代入并进行一阶泰勒展开,优化函数可以成
Figure BDA0002780920950000104
式中,Jij表示误差函数对待优化变量的偏导数。
对Δx求偏导数,得到
Figure BDA0002780920950000105
令其等于0,则方程转化为:
Figure BDA0002780920950000111
其中,误差函数eij只和第i帧相机图像和第j个三维点有关。
联合优化就是求解此方程(18),得到待优化变量的改变量,进而对待优化变量进行调整,直到代价函数小于一定的阈值,完成对相机和三维点云位置的联合估计。其中,最重要的是求解两个偏导数
Figure BDA0002780920950000112
其中,误差函数eij可以简化为:
Figure BDA0002780920950000113
式中,
Figure BDA0002780920950000114
为误差函数eij对相机(漫游器)位姿的偏导数
Figure BDA0002780920950000115
代入得到:
Figure BDA0002780920950000116
式中,fx表示相机与三维点云位姿优化函数对x的偏导数;fy表示相机与三维点云位姿优化函数对y的偏导数;I表示单位矩阵;Ri表示旋转矩阵;p表示P点在基础坐标系下的坐标;ti表示平移矩阵。
对于
Figure BDA0002780920950000117
同样进行计算,代入得到:
Figure BDA0002780920950000118
上一阶计算得到的三维点云和相机位姿作为待优化变量的初始者,进行迭代,求解方程组得到待优化变量的改变量,进而对待优化变量进行调整,直到代价函数小于预设的阈值,完成对相机位姿和三维点位置(坐标)的估计。由此,通过联合优化算法得到精度更好的三维点云和漫游器的位姿的估计结果。
如图4所示,图4对该部分内容进行了描述,所述步骤S3具体包括以下过程:所述步骤S3.1、建立基础点云与坐标系。
步骤S3.2、对待处理目标图像帧的左右眼图像特征点提取。
步骤S3.2.1、对特征点进行匹配,并踢出误匹配特征点。
步骤S3.3、提取待处理图像的三维点云,构建字典和图像描述向量,使用图像描述向量生成三维点描述子。
步骤S3.4、将待处理图像帧点云和基础点云进行匹配。
步骤S3.5、计算图像帧点云之间的坐标转换关系,并对已匹配的三维点分类,分为已匹配存储的点云和未存储的点云。
步骤S3.6、将未存储的点云加入到基础点云中,对基础点云进行扩充。
步骤S3.7、重复上述过程至遍历所有相似的图像帧。
另一方面,本实施例还提供一种电子设备,包括处理器和存储器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时,实现上文所述的方法。
再一方面,本实施例还提供一种可读存储介质,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现上文所述的方法。
综上,本实施例与其他多漫游器协同探测方法的不同之处在于本实施例的实质是对多个漫游器探测视觉SLAM过程中的路径重叠区域,通过地图相似区域搜索、地图重叠区域拼接和漫游器与三维点云联合优化完成多漫游器地图与轨迹拼接,从而获得多漫游器相对导航参数。
本实施例与计算机图形学和计算机视觉有关,多漫游器协同导航信息的获取是通过基于视觉图像信息源,对多漫游器视觉SLAM过程中的路径重叠区域进行地图与轨迹拼接得到的。为实现地图相似区域搜索,本实施例提出了基于L1范数形式的相似性评分函数与阈值抑制算法,以词袋与字典模型为基础,对地图相似区域进行快速搜索;为实现地图重叠区域拼接,本实施例提出了将特征点地图拼接问题转化为求解两个漫游器重叠区域的位姿变换关系,提高匹配和拼接效率,避免了传统ICP方法计算代价消耗过大问题;为实现获得更为精准的多漫游器导航信息,本发明提出了对漫游器与三维点云进行联合优化的方法,以计算转换关系得到的三维点云和漫游器位姿为初始值,将实际观测与投影观测误差作为待优化变量进行优化调整,直到代价函数小于一定的阈值。
本实施例对多漫游器拍摄的序列图像提取ORB(Oriented FAST and RotatedBRIEF)特征(ORB特征包括特征点和描述子。特征点用于筛选比较“特殊”的点,而描述子用来描述某个点周围的特征;ORB是目前最快速稳定的特征点检测和提取算法),利用词袋模型对稀疏特征点地图进行拼接,并且将直接拼接问题转化为求解重叠区域漫游器位姿的转换关系,并对漫游器位姿信息进行联合优化。避免了直接对多漫游器相对位姿进行测量与拼接,多漫游器无需在相互视场范围内相遇并分享互测信息,也避免了直接进行地图拼接造成的计算代价消耗过大、拼接精度较低的问题。
应当注意的是,在本文的实施方式中所揭露的装置和/或方法,也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的,例如,附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用于执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
尽管本发明的内容已经通过上述优选实施例作了详细介绍,但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后,对于本发明的多种修改和替代都将是显而易见的。因此,本发明的保护范围应由所附的权利要求来限定。

Claims (8)

1.一种多漫游器协同导航方法,其特征在于,包括:
步骤S1、获取多个漫游器探测视觉SLAM过程中的地图重叠区域;
步骤S2、对所述地图重叠区域进行地图拼接,得到特征地图;
步骤S3、根据所述特征地图对所述多个漫游器位姿和三维点云进行联合优化,得到多个漫游器的协同导航信息。
2.如权利要求1所述的多漫游器协同导航方法,其特征在于,所述步骤S1包括:
步骤S1.1、利用漫游器路径中对目标拍摄的序列图像作为目标图像训练集,根据所述目标图像训练集建立每一帧图像的描述向量和训练集字典;
步骤S1.2、计算所述训练集字典中的每个单词的逆文档频率和译频率,并为每个单词分配权重,构成单词的词袋;
步骤S1.3、构建基于L1范数形式的相似性评分函数,计算不同组的图像序列之间的相似性评分,并归一化所述相似性评分,利用阈值抑制算法对低相似性区域进行抑制;
步骤S1.4、绘制相似性评分图,确定时间上连续的相似区域为所述地图重叠区域。
3.如权利要求2所述的多漫游器协同导航方法,其特征在于,所述步骤S1.1包括:提取所述目标图像训练集中图像特征点;
根据所述图像特征点采用聚类法生成k-d树;将所述k-d树的树叶子层作为单词生成所述训练集字典。
4.如权利要求3所述的多漫游器协同导航方法,其特征在于,还包括:第i个所述单词的权重ηi采用如下公式表示:
ηi=TFi×IDFi
式中,TFi表示第i个单词的译频率,IDFi表示第i个单词的逆文档频率,i∈[1,2,…,N];
所述目标图像训练集中的图像A的描述向量采用如下公式进行表示:
VA=[η12,…,ηN]
式中,VA表示图像A的描述向量。
5.如权利要求4所述的多漫游器协同导航方法,其特征在于,所述步骤S2包括:寻找任意两个漫游器的目标图像之间的坐标系转换关系,
利用对极约束对每帧左右眼图像剔除误匹配的点,根据每帧左右眼图像中匹配的点,在每帧左眼坐标系下建立三维点云,将每张所述目标图像左右眼的描述子联合作为三维描述子,建立基础点云,得到所述特征地图。
6.如权利要求5所述的多漫游器协同导航方法,其特征在于,所述步骤S3包括:
将基础坐标系下的三维点云坐标和漫游器位姿作为初始估计值进行联合优化;
建立P点实际观测与投影到像素坐标系下的坐标之间的误差e:
Figure FDA0002780920940000021
式中,[up,vp]表示P点在左眼像素坐标系下坐标;[u,v]表示P点实际观测坐标;
构建漫游器与三维点云的位姿优化函数f(x)如下:
Figure FDA0002780920940000022
式中,eij表示第i帧相机观测第j个三维点的误差;i表示第i帧相机;j表示第j个三维点;
通过李代数形式的代入并进行一阶泰勒展开,优化函数可以写成:
Figure FDA0002780920940000023
式中,Jij表示为误差函数eij对待优化变量的偏导数;x表示待优化变量;
对Δx求偏导数,得到
Figure FDA0002780920940000024
令其等于0,则方程转化为
Figure FDA0002780920940000025
求解此方程,得到待优化变量的改变量,进而对所述待优化变量进行调整,直到代价函数小于预设的阈值,完成对漫游器和三维点云坐标的联合估计。
7.一种电子设备,其特征在于,包括处理器和存储器,所述存储器上存储有计算机程序,所述计算机程序被所述处理器执行时,实现权利要求1至6中任一项所述的方法。
8.一种可读存储介质,其特征在于,所述可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现权利要求1至6中任一项所述的方法。
CN202011281429.4A 2020-11-16 2020-11-16 一种多漫游器协同导航方法、电子设备及存储介质 Pending CN112710985A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011281429.4A CN112710985A (zh) 2020-11-16 2020-11-16 一种多漫游器协同导航方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011281429.4A CN112710985A (zh) 2020-11-16 2020-11-16 一种多漫游器协同导航方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112710985A true CN112710985A (zh) 2021-04-27

Family

ID=75543225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011281429.4A Pending CN112710985A (zh) 2020-11-16 2020-11-16 一种多漫游器协同导航方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112710985A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070200755A1 (en) * 2006-02-28 2007-08-30 Hamilton Jeffery A Method and a system for communicating information to a land surveying rover located in an area without cellular coverage
US20100280699A1 (en) * 2009-04-29 2010-11-04 Honeywell International Inc. System and method for simultaneous localization and map building
WO2016142285A1 (en) * 2015-03-06 2016-09-15 Thomson Licensing Method and apparatus for image search using sparsifying analysis operators
CN106096658A (zh) * 2016-06-16 2016-11-09 华北理工大学 基于无监督深度空间特征编码的航拍图像分类方法
US20180074210A1 (en) * 2016-09-09 2018-03-15 Trimble Inc. Advanced navigation satellite system positioning method and system using delayed precise information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070200755A1 (en) * 2006-02-28 2007-08-30 Hamilton Jeffery A Method and a system for communicating information to a land surveying rover located in an area without cellular coverage
US20100280699A1 (en) * 2009-04-29 2010-11-04 Honeywell International Inc. System and method for simultaneous localization and map building
WO2016142285A1 (en) * 2015-03-06 2016-09-15 Thomson Licensing Method and apparatus for image search using sparsifying analysis operators
CN106096658A (zh) * 2016-06-16 2016-11-09 华北理工大学 基于无监督深度空间特征编码的航拍图像分类方法
US20180074210A1 (en) * 2016-09-09 2018-03-15 Trimble Inc. Advanced navigation satellite system positioning method and system using delayed precise information

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
田阳 等: "一种三维地形特征提取和匹配方法", 《宇航学报》 *
顾远凌: "火星表面多漫游器协同构建导航地图方法研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 *

Similar Documents

Publication Publication Date Title
CN107967457B (zh) 一种适应视觉特征变化的地点识别与相对定位方法及系统
CN107063228B (zh) 基于双目视觉的目标姿态解算方法
Persson et al. Robust stereo visual odometry from monocular techniques
Saeedi et al. Vision-based 3-D trajectory tracking for unknown environments
Konolige et al. FrameSLAM: From bundle adjustment to real-time visual mapping
Frost et al. Object-aware bundle adjustment for correcting monocular scale drift
CN109579825B (zh) 基于双目视觉和卷积神经网络的机器人定位系统及方法
Li et al. Real-time simultaneous localization and mapping for uav: A survey
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
Boroson et al. 3D keypoint repeatability for heterogeneous multi-robot SLAM
Alcantarilla et al. Large-scale dense 3D reconstruction from stereo imagery
Lee et al. RS-SLAM: RANSAC sampling for visual FastSLAM
Yabuuchi et al. Visual localization for autonomous driving using pre-built point cloud maps
Li Stereo vision and Lidar based dynamic occupancy grid mapping: Application to scenes analysis for intelligent vehicles
Zhang et al. Improved feature point extraction method of ORB-SLAM2 dense map
CN111198563B (zh) 一种用于足式机器人动态运动的地形识别方法及系统
Aggarwal Autonomous navigation of intelligent vehicles using vision based method
Verma et al. Vision based object follower automated guided vehicle using compressive tracking and stereo-vision
CN112710985A (zh) 一种多漫游器协同导航方法、电子设备及存储介质
Aggarwal Machine vision based SelfPosition estimation of mobile robots
Brink Stereo vision for simultaneous localization and mapping
Wang et al. Robot mapping using local invariant feature detectors
Wang et al. Data association and map management for robot SLAM using local invariant features
Warren Long-range stereo visual odometry for unmanned aerial vehicles
Stückler et al. Combining the strengths of sparse interest point and dense image registration for rgb-d odometry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210427

WD01 Invention patent application deemed withdrawn after publication