CN113465600B - 一种导航方法、装置及电子设备和存储介质 - Google Patents
一种导航方法、装置及电子设备和存储介质 Download PDFInfo
- Publication number
- CN113465600B CN113465600B CN202010236681.7A CN202010236681A CN113465600B CN 113465600 B CN113465600 B CN 113465600B CN 202010236681 A CN202010236681 A CN 202010236681A CN 113465600 B CN113465600 B CN 113465600B
- Authority
- CN
- China
- Prior art keywords
- image
- coordinate system
- orb
- world coordinate
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了一种导航方法、装置及电子设备和计算机可读存储介质，该方法包括：基于目标环境下的ArUco码确定世界坐标系，并根据世界坐标系下每个ORB特征点的三维坐标建立目标环境对应的三维点云图；其中，多个ArUco码分布于目标环境的任意位置；获取图像采集设备采集的当前图像，并根据当前图像中的ORB特征点确定图像采集设备在世界坐标系下的绝对位姿；获取导航路径，在当前图像中确定属于导航路径的目标ORB特征点，并基于图像采集设备在世界坐标系下的当前三维坐标、绝对位姿和目标ORB特征点的三维坐标进行导航。本申请提供的导航方法，能够实现稳定可靠的自主定位与导航，有利于降低导航的环境依赖性。
Description
技术领域
本申请涉及导航技术领域，更具体地说，涉及一种导航方法、装置及电子设备和计算机可读存储介质。
背景技术
以图像采集设备作为主要传感器的视觉定位与导航方式是诸如移动机器人、无人机等移动平台设备实现自主定位导航的一种重要方法。利用图像采集设备捕获到的图像数据包含丰富的场景信息，通过图像处理和计算机视觉技术可以实现对图像采集设备在三维空间的实时位姿估计，从而为移动平台提供精准的位置和方向信息。
在相关技术中，在地面上铺设不同颜色的引导线、布设条形码或QR码等地面信标，通过对图像采集设备采集到的图像信号进行简单处理来实现定位导航。上述基于地面信标的引导方式在小场景下易于实现，但其对环境依赖性较高，对地标的污染和机械磨损非常敏感、可靠性一般，环境布置复杂，灵活性难以满足要求，维护成本高。
因此，如何降低导航对环境的依赖性是本领域技术人员需要解决的技术问题。
发明内容
本申请的目的在于提供一种导航方法、装置及电子设备和计算机可读存储介质，有利于降低导航对环境的依赖性。
为实现上述目的，本申请提供了一种导航方法，包括：
基于目标环境下的ArUco码确定世界坐标系，并根据所述世界坐标系下每个ORB特征点的三维坐标建立所述目标环境对应的三维点云图；其中，多个所述ArUco码分布于所述目标环境的任意位置；
获取图像采集设备采集的当前图像，并根据所述当前图像中的ORB特征点确定所述图像采集设备在所述世界坐标系下的绝对位姿；
获取导航路径，在所述当前图像中确定属于所述导航路径的目标ORB特征点，并基于所述图像采集设备在所述世界坐标系下的当前三维坐标、所述绝对位姿和所述目标ORB特征点的三维坐标进行导航。
其中，所述基于目标环境下的ArUco码确定世界坐标系，并根据所述世界坐标系下每个ORB特征点的三维坐标建立所述目标环境对应的三维点云图，包括：
利用所述图像采集设备采集所述目标环境下不同位置的图像；其中，所述图像包括第一图像和第二图像，所述第一图像和所述第二图像为相邻的两幅图像；
基于所述第一图像和所述第二图像中相同ORB特征点之间的对极约束关系确定所述第一图像对应的位姿，并根据所述位姿计算所述第一图像中所有ORB特征点的三维坐标；
当所述第一图像中包含所述ArUco码时，基于所述ArUco码的角点计算所述第一图像在所述世界坐标系下的相对位姿；
利用所述位姿和所述相对位姿的对应关系更新所述第一图像中所有ORB特征点的三维坐标，得到每个所述世界坐标系下每个所述ORB特征点的三维坐标；
根据所述世界坐标系下每个所述ORB特征点的三维坐标建立所述目标环境对应的三维点云图。
其中，所述根据所述位姿计算所述第一图像中所有ORB特征点的三维坐标，包括：
根据所述位姿利用三角测量原理计算所述第一图像中所有ORB特征点的深度信息；
基于每个所述ORB特征点的深度信息、每个所述ORB特征点在所述第一图像中的坐标和所述图像采集设备的内参计算每个所述ORB特征点的三维坐标。
其中，所述基于所述ArUco码的角点计算所述第一图像在所述世界坐标系下的相对位姿，包括：
利用所述图像采集设备的针孔成像模型基于所述ArUco码的角点在所述第一图像中的坐标和在所述ArUco码的坐标系下的坐标计算所述第一图像在所述世界坐标系下的相对位姿。
其中，所述根据所述当前图像中的ORB特征点确定所述图像采集设备在所述世界坐标系下的绝对位姿，包括：
确定所述当前图像中的ORB特征点为基准ORB特征点；
确定所述基准ORB特征点在所述当前图像中的二维坐标和在所述三维点云图中的三维坐标；
根据所述二维坐标与所述三维坐标计算所述图像采集设备在所述世界坐标系下的绝对位姿。
其中，所述获取导航路径，在所述当前图像中确定属于所述导航路径的目标ORB特征点，包括：
获取导航路径，在所有所述基准ORB特征点中确定属于所述导航路径的ORB特征点为候选ORB特征点；
将所有所述候选ORB特征点中与所述图像采集设备的当前位置距离最近的ORB特征点确定为所述目标ORB特征点。
其中，所述基于所述图像采集设备在所述世界坐标系下的当前三维坐标、所述绝对位姿和所述目标ORB特征点的三维坐标进行导航，包括：
根据所述绝对位姿计算所述图像采集设备的当前方向，并根据所述图像采集设备在所述世界坐标系下的当前三维坐标和所述目标ORB特征点的三维坐标计算所述图像采集设备的行进方向；
根据所述当前方向和所述行进方向计算所述图像采集设备的偏航角，并基于所述偏航角进行导航。
为实现上述目的，本申请提供了一种导航装置，包括：
建图模块，用于基于目标环境下的ArUco码确定世界坐标系，并根据所述世界坐标系下每个ORB特征点的三维坐标建立所述目标环境对应的三维点云图；其中，多个所述ArUco码分布于所述目标环境的任意位置；
定位模块，用于获取图像采集设备采集的当前图像，并根据所述当前图像中的ORB特征点确定所述图像采集设备在所述世界坐标系下的绝对位姿；
导航模块，用于获取导航路径，在所述当前图像中确定属于所述导航路径的目标ORB特征点，并基于所述图像采集设备在所述世界坐标系下的当前三维坐标、所述绝对位姿和所述目标ORB特征点的三维坐标进行导航。
为实现上述目的，本申请提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述导航方法的步骤。
为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述导航方法的步骤。
通过以上方案可知，本申请提供的一种导航方法，包括：基于目标环境下的ArUco码确定世界坐标系，并根据所述世界坐标系下每个ORB特征点的三维坐标建立所述目标环境对应的三维点云图；其中，多个所述ArUco码分布于所述目标环境的任意位置；获取图像采集设备采集的当前图像，并根据所述当前图像中的ORB特征点确定所述图像采集设备在所述世界坐标系下的绝对位姿；获取导航路径，在所述当前图像中确定属于所述导航路径的目标ORB特征点，并基于所述图像采集设备在所述世界坐标系下的当前三维坐标、所述绝对位姿和所述目标ORB特征点的三维坐标进行导航。
在本申请中，目标环境中贴有少量ArUco码，移动平台设备只需搭载单目图像采集设备即可获取包括ArUco码的图像数据，基于目标环境中的ArUco码可以确定世界坐标系，进而目标环境的三维点云图，其中的所有ORB特征点均具备世界坐标系下的三维坐标。由于ArUco码可以分布在目标环境中的任意可见位置，不需要对环境进行特殊布置，即使有污损也不会对定位造成影响，降低了环境依赖性。基于上述三维点云图可以确定移动平台设备的绝对位姿和绝对位置，进而实现导航。本申请仅利用单目图像采集设备即可实现移动平台设备的精准定位与导航，无须借助其他传感器，系统结构简单，实现成本低。由此可见，本申请提供的导航方法，使搭载单目图像采集设备的移动平台设备可以在贴有少量ArUco码的目标环境中，实现稳定可靠的自主定位与导航，降低了导航的环境依赖性。本申请还公开了一种导航装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对实施例或背景技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本申请的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请，但并不构成对本申请的限制。在附图中：
图1为本申请实施例提供的一种导航系统的架构示意图；
图2为本申请实施例提供的一种导航方法的流程图；
图3为图2中步骤S101的细化流程图；
图4为本申请实施例提供的一种建立三维点云图的示意图；
图5为本申请实施例提供的一种ArUco码的坐标示意图；
图6为本申请实施例提供的另一种导航方法的流程图；
图7为本申请实施例提供的一种虚拟导航路径的示意图；
图8为本申请实施例提供的一种导航装置的结构示意图；
图9为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解本申请提供的导航方法，下面对其使用的系统进行介绍。参见图1，其示出了本申请实施例提供的一种导航系统的架构图，如图1所示，包括移动平台设备100、处理器200和客户端300。
其中，移动平台设备100上搭载单目图像采集设备，在贴有少量ArUco码的目标环境中移动，采集不同位置的图像数据，该图像数据中包括多个ORB特征点。移动平台设备100将图像数据发送至处理器200，处理器200识别图像数据中的ArUco码，基于ArUco码建立世界坐标系，目标环境中的所有ORB特征点均在该世界坐标系下进行表示，所有ORB特征点的三维坐标组成目标环境对应的三维点云图。
客户端300设置有输入装置和显示装置，显示装置可以用于显示单目图像采集设备拍摄到的目标环境的真实图像，即上述图像数据，还可以用于显示处理器建立的三维点云图。用户可以利用输入装置设置起始点、目的点和路径形状，例如直线、曲线等。处理器200基于用户的设置生成导航路径，该导航路径包括多个ORB特征点，每个ORB特征点的三维坐标均在世界坐标系下表示。处理器200基于图像采集设备采集的当前图像确定移动平台设备100在世界坐标系下的绝对位姿，基于上述导航路径对移动平台设备100进行导航。
本申请实施例公开了一种导航方法，有利于降低导航对环境的依赖性。
参见图2，本申请实施例提供的一种导航方法的流程图，如图2所示，包括：
S101：基于目标环境下的ArUco码确定世界坐标系，并根据所述世界坐标系下每个ORB特征点的三维坐标建立所述目标环境对应的三维点云图；其中，多个所述ArUco码分布于所述目标环境的任意位置；
本实施例的执行主体为上述处理器，目的为对搭载单目图像采集设备的移动平台设备进行导航，本步骤旨在构建融合ArUco码与ORB特征点的点云地图。ArUco码是一个二进制平方标记，它由一个宽的黑边和一个内部的二进制矩阵组成。ORB特征包括特征点和特征描述子。特征点用于筛选比较“特殊”的点，而描述子用来描述该特征点周围的特征。图像的特征点可以简单的理解为图像中特征比较显著的点，如轮廓点、较暗区域(区域中各像素点的平均亮度小于第一亮度预设值)中的亮点(亮度大于第二亮度预设值，第二亮度预设值大于或等于第一亮度预设值)、较亮区域(区域中各像素点的平均亮度大于第二亮度预设值)中的暗点(亮度大于第一亮度预设值)等。
在具体实施中，目标环境中贴有少量ArUco码，该ArUco码用于建立世界坐标系，其可以分布在目标环境中的任意可见位置，不需要对环境进行特殊布置，即使有污损也不会对定位造成影响。已知内参的图像采集设备在目标环境中运动，采集不同位置的图像数据，该图像数据中包括多个ORB特征点。基于相邻两幅图像中相同ORB特征点可以确定图像采集设备当前的旋转矩阵和平移向量，进而可以得到当前图像中ORB特征点的三维坐标。此处相邻两幅图像为图像采集设备在目标环境中运动时空间上的相邻两幅图像。需要说明的是，由于上述计算得到的平移向量具有尺度不确定性，该三维坐标并不能够反映目标环境的真实空间结构，需要利用目标环境中的ArUco码确定尺度因子。可以理解的是，目标环境中分布少量的ArUco码，因此图像采集设备采集到的部分图像数据中包括ArUco码，基于这部分ArUco码可以建立世界坐标系，利用世界坐标系可以确定图像采集设备的真实偏移向量，即确定三维坐标的尺度因子，进而对上述计算得到的三维坐标进行修正，恢复出目标环境中稀疏点云的三维结构，得到具有真实尺度的三维点云图，即该三维点云图中所有ORB特征点均具备世界坐标系下的三维坐标以及ORB特征描述子。
S102：获取图像采集设备采集的当前图像，并根据所述当前图像中的ORB特征点确定所述图像采集设备在所述世界坐标系下的绝对位姿；
本步骤旨在对图像采集设备的当前位置进行定位，利用上一步骤建立的三维点云图计算图像采集设备的当前位姿，此处的当前位姿以世界坐标系为依据。
作为一种可行的实施方式，本步骤可以包括：确定所述当前图像中的ORB特征点为基准ORB特征点；确定所述基准ORB特征点在所述当前图像中的二维坐标和在所述三维点云图中的三维坐标；根据所述二维坐标与所述三维坐标计算所述图像采集设备在所述世界坐标系下的绝对位姿。
在具体实施中，由于ORB特征在平移、旋转和缩放的变换下都具有较好的鲁棒性，所以图像采集设备采集到的图像数据会匹配到三维点云图中的ORB特征点，即上述基准ORB特征点。此时，已知基准ORB特征点在当前图像中的二维坐标和其在世界坐标系下的三维坐标，通过求解PnP(Perspective-n-Point)问题，可以得到图像采集设备在世界坐标系下的绝对位姿，即利用具有真实尺度的三维点云图，实时计算图像采集设备在世界坐标系下的绝对位姿，即在一个明确的目标环境内，可以随时获取图像采集设备在该目标环境中的绝对位置和绝对姿态。
S103：获取导航路径，在所述当前图像中确定属于所述导航路径的目标ORB特征点，并基于所述图像采集设备在所述世界坐标系下的当前三维坐标、所述绝对位姿和所述目标ORB特征点的三维坐标进行导航。
本步骤旨在基于图像采集设备的绝对位姿规划导航路径，实现对移动平台设备的导航。在具体实施中，由于三维点云图不具备场景辨识条件，所以需要用户根据起始点和目的点合理规划路径形状，处理器生成一系列连续的三维坐标点，组成一条虚拟的导航路径，其中每个点的坐标都是在世界坐标系下表示。搭载单目图像采集设备的移动平台设备可以根据图像采集设备的绝对位姿确定自身在目标环境中的绝对位置和方向，通过在虚拟导航路径中指定一个前进方向，实现导航。在本步骤中，处理器生成的虚拟导航路径在现实环境中不可见，不会受到外界影响，且可随时对导航路径进行重新规划。
在本申请实施例中，目标环境中贴有少量ArUco码，移动平台设备只需搭载单目图像采集设备即可获取包括ArUco码的图像数据，基于目标环境中的ArUco码可以确定世界坐标系，进而目标环境的三维点云图，其中的所有ORB特征点均具备世界坐标系下的三维坐标。由于ArUco码可以分布在目标环境中的任意可见位置，不需要对环境进行特殊布置，即使有污损也不会对定位造成影响，降低了对环境的依赖性。基于上述三维点云图可以确定移动平台设备的绝对位姿和绝对位置，进而实现导航。本申请实施例仅利用单目图像采集设备即可实现移动平台设备的精准定位与导航，无须借助其他传感器，系统结构简单，实现成本低。由此可见，本申请实施例提供的导航方法，使搭载单目图像采集设备的移动平台设备可以在贴有少量ArUco码的目标环境中，实现稳定可靠的自主定位与导航，降低了导航的环境依赖性。
下面将详细介绍建立目标环境对应的三维点云图的过程，即如图3所示，上述实施例中的步骤S101可以包括：
S11：利用所述图像采集设备采集所述目标环境下不同位置的图像；其中，所述图像包括第一图像和第二图像，所述第一图像和所述第二图像为相邻的两幅图像；
在本步骤中，搭载图像采集设备的移动平台设备在贴有少量ArUco码的目标环境中移动，图像采集设备采集不同位置的图像数据，即第一图像和第二图像为空间上的两幅相邻图像。通过提取图像数据中的ORB特征点，可以匹配相邻两帧图像之间的相同的ORB特征点，从而得到图像之间的数据关联，它们都对应着目标环境中的真实空间点。
S12：基于所述第一图像和所述第二图像中相同ORB特征点之间的对极约束关系确定所述第一图像对应的位姿，并根据所述位姿计算所述第一图像中所有ORB特征点的三维坐标；
如图4所示，假设一空间点P(坐标未知)，其在第一图像中投影的像素坐标为pl＝[ul vl 1]T，在第二图像中投影的像素坐标为pr＝[ur vr 1]T。pl与pr之间存在对极约束关系其中K为已知的图像采集设备内参，R为图像采集设备发生的旋转，t为图像采集设备发生的平移。通过两幅相邻图像中多对相同ORB特征点之间的对极约束关系，可以求解出旋转矩阵R和不具真实尺度的平移向量t，本步骤中第一图像对应的位姿即为[R|t]。
对于相邻图像中匹配到的ORB特征点pl与pr，取xl＝K-1pl,xr＝K-1pr，则有关系根据相邻图像之间图像采集设备发生的相对运动[R|t]，利用三角测量原理，通过求解匹配点的深度信息sl，可以得到对应空间点的三维坐标/>由局部特征点云的三维空间结构，通过Bundle Adjustment最小化重影误差可以求得第二图像相对于第一图像图像采集设备的位姿，此处的位姿中的平移向量t具有尺度不确定性。即所述根据所述位姿计算所述第一图像中所有ORB特征点的三维坐标的步骤包括：根据所述位姿利用三角测量原理计算所述第一图像中所有ORB特征点的深度信息；基于每个所述ORB特征点的深度信息、每个所述ORB特征点在所述第一图像中的坐标和所述图像采集设备的内参计算每个所述ORB特征点的三维坐标。
S13：当所述第一图像中包含所述ArUco码时，基于所述ArUco码的角点计算所述第一图像在所述世界坐标系下的相对位姿；
在本步骤中，当图像采集设备看到ArUco码即第一图像中包含所述ArUco码时，通过图像处理，可以获取ArUco码每个角点在第一图像中的像素坐标p＝[u v 1]T，即如图5所示的坐标。再基于角点在自身坐标系下的三维物理坐标P＝[x y 0 1]T，根据图像采集设备的针孔成像模型sp＝KTP，可以由四对角点求得图像采集设备本身的坐标系与世界坐标系之间的相对位姿关系，其中，s为角点在世界坐标系下的深度信息，T为第一图像在世界坐标系下的相对位姿。即所述基于所述ArUco码的角点计算所述第一图像在所述世界坐标系下的相对位姿的步骤包括：利用所述图像采集设备的针孔成像模型基于所述ArUco码的角点在所述第一图像中的坐标和在所述ArUco码的坐标系下的坐标计算所述第一图像在所述世界坐标系下的相对位姿。
S14：利用所述位姿和所述相对位姿的对应关系更新所述第一图像中所有ORB特征点的三维坐标，得到每个所述世界坐标系下每个所述ORB特征点的三维坐标；
S15：根据所述世界坐标系下每个所述ORB特征点的三维坐标建立所述目标环境对应的三维点云图。
由于上述步骤求得的相对位姿为世界坐标系下的相对位姿，具有真实尺度，即平移向量t符合真实的目标环境，由此可以得到第一图像与第二图像之间图像采集设备真实的运动轨迹，从而反推出之前图像采集设备的真实运动轨迹，进一步恢复出世界坐标系下每个ORB特征点的三维坐标，从而得到目标环境对应的三维点云图。
本申请实施例公开了一种导航方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
参见图6，本申请实施例提供的另一种导航方法的流程图，如图6所示，包括：
S201：基于目标环境下的ArUco码确定世界坐标系，并根据所述世界坐标系下每个ORB特征点的三维坐标建立所述目标环境对应的三维点云图；其中，多个所述ArUco码分布于所述目标环境的任意位置；
S202：确定所述当前图像中的ORB特征点为基准ORB特征点，确定所述基准ORB特征点在所述当前图像中的二维坐标和在所述三维点云图中的三维坐标；
S203：根据所述二维坐标与所述三维坐标计算所述图像采集设备在所述世界坐标系下的绝对位姿。
S204：获取导航路径，在所有所述基准ORB特征点中确定属于所述导航路径的ORB特征点为候选ORB特征点；
S205：将所有所述候选ORB特征点中与所述图像采集设备的当前位置距离最近的ORB特征点确定为所述目标ORB特征点。
在本实施例中，如图7所示，导航路径为处理器生成的虚拟导航路径，其中包括多个ORB特征点，即候选ORB特征点，在其中为移动平台设备提供行进方向的引导点，即目标ORB特征点。在具体实施中，为了保证导航的准确度，可以将候选ORB特征点中与图像采集设备的当前位置距离最近的ORB特征点确定为目标ORB特征点。
S206：根据所述绝对位姿计算所述图像采集设备的当前方向，并根据所述图像采集设备在所述世界坐标系下的当前三维坐标和所述目标ORB特征点的三维坐标计算所述图像采集设备的行进方向；
在本步骤中，若图像采集设备的当前位置在世界坐标系下的三维坐标为PC＝[xcyc zc]T，目标ORB特征点在世界坐标系下的三维坐标为PL＝[xl yl zl]T，行进方向的方向向量VL＝[xl-xc yl-yc zl-zc]T。移动平台设备当前方向的方向向量为VC＝R-1[0 0 1]T，R为移动平台设备在世界坐标系下的绝对位姿。
S207：根据所述当前方向和所述行进方向计算所述图像采集设备的偏航角，并基于所述偏航角进行导航。
在本步骤中，根据上一步骤计算得到的当前方向和行进方向计算偏航角，并基于该偏航角控制搭载该图像采集设备移动平台设备的运动方向。具体的，偏航角的计算公式为：
由此可见，本实施例利用单目图像采集设备采集图像数据，构建融合ArUco码与ORB特征点的三维点云图，其中的所有ORB特征点具有在世界坐标系下的三维坐标。利用ORB特征点的三维坐标计算图像采集设备在世界坐标系下的实时位姿，并通过在处理器中规划的虚拟导航路径完成移动平台设备的自主导航。
下面对本申请实施例提供的一种导航装置进行介绍，下文描述的一种导航装置与上文描述的一种导航方法可以相互参照。
参见图8，本申请实施例提供的一种导航装置的结构图，如图8所示，包括：
建图模块801，用于基于目标环境下的ArUco码确定世界坐标系，并根据所述世界坐标系下每个ORB特征点的三维坐标建立所述目标环境对应的三维点云图；其中，多个所述ArUco码分布于所述目标环境的任意位置；
定位模块802，用于获取图像采集设备采集的当前图像，并根据所述当前图像中的ORB特征点确定所述图像采集设备在所述世界坐标系下的绝对位姿；
导航模块803，用于获取导航路径，在所述当前图像中确定属于所述导航路径的目标ORB特征点，并基于所述图像采集设备在所述世界坐标系下的当前三维坐标、所述绝对位姿和所述目标ORB特征点的三维坐标进行导航。
在本申请实施例中，目标环境中贴有少量ArUco码，移动平台设备只需搭载单目图像采集设备即可获取包括ArUco码的图像数据，基于目标环境中的ArUco码可以确定世界坐标系，进而目标环境的三维点云图，其中的所有ORB特征点均具备世界坐标系下的三维坐标。由于ArUco码可以分布在目标环境中的任意可见位置，不需要对环境进行特殊布置，即使有污损也不会对定位造成影响，降低了环境依赖性。基于上述三维点云图可以确定移动平台设备的绝对位姿和绝对位置，进而实现导航。本申请实施例仅利用单目图像采集设备即可实现移动平台设备的精准定位与导航，无须借助其他传感器，系统结构简单，实现成本低。由此可见，本申请实施例提供的导航装置，使搭载单目图像采集设备的移动平台设备可以在贴有少量ArUco码的目标环境中，实现稳定可靠的自主定位与导航，降低了导航的环境依赖性。
在上述实施例的基础上，作为一种优选实施方式，所述建图模块801包括：
采集单元，用于利用所述图像采集设备采集所述目标环境下不同位置的图像；其中，所述图像包括第一图像和第二图像，所述第一图像和所述第二图像为相邻的两幅图像；
第一确定单元，用于基于所述第一图像和所述第二图像中相同ORB特征点之间的对极约束关系确定所述第一图像对应的位姿，并根据所述位姿计算所述第一图像中所有ORB特征点的三维坐标；
第一计算单元，用于当所述第一图像中包含所述ArUco码时，基于所述ArUco码的角点计算所述第一图像在所述世界坐标系下的相对位姿；
更新单元，用于利用所述位姿和所述相对位姿的对应关系更新所述第一图像中所有ORB特征点的三维坐标，得到每个所述世界坐标系下每个所述ORB特征点的三维坐标；
建立单元，用于根据所述世界坐标系下每个所述ORB特征点的三维坐标建立所述目标环境对应的三维点云图。
在上述实施例的基础上，作为一种优选实施方式，所述第一确定单元包括：
确定子单元，用于基于所述第一图像和所述第二图像中相同ORB特征点之间的对极约束关系确定所述第一图像对应的位姿；
第一计算子单元，用于根据所述位姿利用三角测量原理计算所述第一图像中所有ORB特征点的深度信息；
第二计算子单元，用于基于每个所述ORB特征点的深度信息、每个所述ORB特征点在所述第一图像中的坐标和所述图像采集设备的内参计算每个所述ORB特征点的三维坐标。
在上述实施例的基础上，作为一种优选实施方式，所述第一计算单元具体为当所述第一图像中包含所述ArUco码时，利用所述图像采集设备的针孔成像模型基于所述ArUco码的角点在所述第一图像中的坐标和在所述ArUco码的坐标系下的坐标计算所述第一图像在所述世界坐标系下的相对位姿的单元。
在上述实施例的基础上，作为一种优选实施方式，所述定位模块802包括：
获取单元，用于获取图像采集设备采集的当前图像；
第二确定单元，用于确定所述当前图像中的ORB特征点为基准ORB特征点；
第三确定单元，用于确定所述基准ORB特征点在所述当前图像中的二维坐标和在所述三维点云图中的三维坐标；
第二计算单元，用于根据所述二维坐标与所述三维坐标计算所述图像采集设备在所述世界坐标系下的绝对位姿。
在上述实施例的基础上，作为一种优选实施方式，所述导航模块803包括：
第四确定单元，用于获取导航路径，在所有所述基准ORB特征点中确定属于所述导航路径的ORB特征点为候选ORB特征点；
第五确定单元，用于将所有所述候选ORB特征点中与所述图像采集设备的当前位置距离最近的ORB特征点确定为所述目标ORB特征点；
导航单元，用于基于所述图像采集设备在所述世界坐标系下的当前三维坐标、所述绝对位姿和所述目标ORB特征点的三维坐标进行导航。
在上述实施例的基础上，作为一种优选实施方式，所述导航单元包括：
第三计算子单元，用于根据所述绝对位姿计算所述图像采集设备的当前方向，并根据所述图像采集设备在所述世界坐标系下的当前三维坐标和所述目标ORB特征点的三维坐标计算所述图像采集设备的行进方向；
导航子单元，用于根据所述当前方向和所述行进方向计算所述图像采集设备的偏航角，并基于所述偏航角进行导航。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请还提供了一种电子设备，参见图9，本申请实施例提供的一种电子设备900的结构图，如图9所示，可以包括处理器11和存储器12。该电子设备900还可以包括多媒体组件13，输入/输出(I/O)接口14，以及通信组件15中的一者或多者。
其中，处理器11用于控制该电子设备900的整体操作，以完成上述的导航方法中的全部或部分步骤。存储器12用于存储各种类型的数据以支持在该电子设备900的操作，这些数据例如可以包括用于在该电子设备900上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件13可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器12或通过通信组件15发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口14为处理器11和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件15用于该电子设备900与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件15可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，电子设备900可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的导航方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述导航方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器12，上述程序指令可由电子设备900的处理器11执行以完成上述的导航方法。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (9)
1.一种导航方法，其特征在于，包括：
基于目标环境下的ArUco码确定世界坐标系，并根据所述世界坐标系下每个ORB特征点的三维坐标建立所述目标环境对应的三维点云图；其中，多个所述ArUco码分布于所述目标环境的任意位置；
获取图像采集设备采集的当前图像，并根据所述当前图像中的ORB特征点确定所述图像采集设备在所述世界坐标系下的绝对位姿；
获取导航路径，在所述当前图像中确定属于所述导航路径的目标ORB特征点，并基于所述图像采集设备在所述世界坐标系下的当前三维坐标、所述绝对位姿和所述目标ORB特征点的三维坐标进行导航；
其中，所述基于目标环境下的ArUco码确定世界坐标系，并根据所述世界坐标系下每个ORB特征点的三维坐标建立所述目标环境对应的三维点云图，包括：
利用所述图像采集设备采集所述目标环境下不同位置的图像；其中，所述图像包括第一图像和第二图像，所述第一图像和所述第二图像为相邻的两幅图像；
基于所述第一图像和所述第二图像中相同ORB特征点之间的对极约束关系确定所述第一图像对应的位姿，并根据所述位姿计算所述第一图像中所有ORB特征点的三维坐标；
当所述第一图像中包含所述ArUco码时，基于所述ArUco码的角点计算所述第一图像在所述世界坐标系下的相对位姿；
利用所述位姿和所述相对位姿的对应关系更新所述第一图像中所有ORB特征点的三维坐标，得到每个所述世界坐标系下每个所述ORB特征点的三维坐标；
根据所述世界坐标系下每个所述ORB特征点的三维坐标建立所述目标环境对应的三维点云图。
2.根据权利要求1所述导航方法，其特征在于，所述根据所述位姿计算所述第一图像中所有ORB特征点的三维坐标，包括：
根据所述位姿利用三角测量原理计算所述第一图像中所有ORB特征点的深度信息；
基于每个所述ORB特征点的深度信息、每个所述ORB特征点在所述第一图像中的坐标和所述图像采集设备的内参计算每个所述ORB特征点的三维坐标。
3.根据权利要求1所述导航方法，其特征在于，所述基于所述ArUco码的角点计算所述第一图像在所述世界坐标系下的相对位姿，包括：
利用所述图像采集设备的针孔成像模型基于所述ArUco码的角点在所述第一图像中的坐标和在所述ArUco码的坐标系下的坐标计算所述第一图像在所述世界坐标系下的相对位姿。
4.根据权利要求1所述导航方法，其特征在于，所述根据所述当前图像中的ORB特征点确定所述图像采集设备在所述世界坐标系下的绝对位姿，包括：
确定所述当前图像中的ORB特征点为基准ORB特征点；
确定所述基准ORB特征点在所述当前图像中的二维坐标和在所述三维点云图中的三维坐标；
根据所述二维坐标与所述三维坐标计算所述图像采集设备在所述世界坐标系下的绝对位姿。
5.根据权利要求4所述导航方法，其特征在于，所述获取导航路径，在所述当前图像中确定属于所述导航路径的目标ORB特征点，包括：
获取导航路径，在所有所述基准ORB特征点中确定属于所述导航路径的ORB特征点为候选ORB特征点；
将所有所述候选ORB特征点中与所述图像采集设备的当前位置距离最近的ORB特征点确定为所述目标ORB特征点。
6.根据权利要求1至5中任一项所述导航方法，其特征在于，所述基于所述图像采集设备在所述世界坐标系下的当前三维坐标、所述绝对位姿和所述目标ORB特征点的三维坐标进行导航，包括：
根据所述绝对位姿计算所述图像采集设备的当前方向，并根据所述图像采集设备在所述世界坐标系下的当前三维坐标和所述目标ORB特征点的三维坐标计算所述图像采集设备的行进方向；
根据所述当前方向和所述行进方向计算所述图像采集设备的偏航角，并基于所述偏航角进行导航。
7.一种导航装置，其特征在于，包括：
建图模块，用于基于目标环境下的ArUco码确定世界坐标系，并根据所述世界坐标系下每个ORB特征点的三维坐标建立所述目标环境对应的三维点云图；其中，多个所述ArUco码分布于所述目标环境的任意位置；
定位模块，用于获取图像采集设备采集的当前图像，并根据所述当前图像中的ORB特征点确定所述图像采集设备在所述世界坐标系下的绝对位姿；
导航模块，用于获取导航路径，在所述当前图像中确定属于所述导航路径的目标ORB特征点，并基于所述图像采集设备在所述世界坐标系下的当前三维坐标、所述绝对位姿和所述目标ORB特征点的三维坐标进行导航；
其中，所述建图模块，包括：
采集单元，用于利用所述图像采集设备采集所述目标环境下不同位置的图像；其中，所述图像包括第一图像和第二图像，所述第一图像和所述第二图像为相邻的两幅图像；
第一确定单元，用于基于所述第一图像和所述第二图像中相同ORB特征点之间的对极约束关系确定所述第一图像对应的位姿，并根据所述位姿计算所述第一图像中所有ORB特征点的三维坐标；
第一计算单元，用于当所述第一图像中包含所述ArUco码时，基于所述ArUco码的角点计算所述第一图像在所述世界坐标系下的相对位姿；
更新单元，用于利用所述位姿和所述相对位姿的对应关系更新所述第一图像中所有ORB特征点的三维坐标，得到每个所述世界坐标系下每个所述ORB特征点的三维坐标；
建立单元，用于根据所述世界坐标系下每个所述ORB特征点的三维坐标建立所述目标环境对应的三维点云图。
8.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述导航方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述导航方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010236681.7A CN113465600B (zh) | 2020-03-30 | 2020-03-30 | 一种导航方法、装置及电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010236681.7A CN113465600B (zh) | 2020-03-30 | 2020-03-30 | 一种导航方法、装置及电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113465600A CN113465600A (zh) | 2021-10-01 |
| CN113465600B true CN113465600B (zh) | 2024-05-28 |
Family
ID=77864880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010236681.7A Active CN113465600B (zh) | 2020-03-30 | 2020-03-30 | 一种导航方法、装置及电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113465600B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107677279A (zh) * | 2017-09-26 | 2018-02-09 | 上海思岚科技有限公司 | 一种定位建图的方法及系统 |
| CN107977977A (zh) * | 2017-10-20 | 2018-05-01 | 深圳华侨城卡乐技术有限公司 | 一种vr游戏的室内定位方法、装置以及存储介质 |
| CN108629843A (zh) * | 2017-03-24 | 2018-10-09 | 成都理想境界科技有限公司 | 一种实现增强现实的方法及设备 |
| CN208313291U (zh) * | 2017-01-24 | 2019-01-01 | 厦门万久科技股份有限公司 | 一种基于ArUco标签的AGV机器人视觉定位系统 |
| CN109374003A (zh) * | 2018-11-06 | 2019-02-22 | 山东科技大学 | 一种基于ArUco码的移动机器人视觉定位与导航方法 |
| JP2020024142A (ja) * | 2018-08-07 | 2020-02-13 | 日本電信電話株式会社 | 計測校正装置、計測校正方法、及びプログラム |
-
2020
- 2020-03-30 CN CN202010236681.7A patent/CN113465600B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN208313291U (zh) * | 2017-01-24 | 2019-01-01 | 厦门万久科技股份有限公司 | 一种基于ArUco标签的AGV机器人视觉定位系统 |
| CN108629843A (zh) * | 2017-03-24 | 2018-10-09 | 成都理想境界科技有限公司 | 一种实现增强现实的方法及设备 |
| CN107677279A (zh) * | 2017-09-26 | 2018-02-09 | 上海思岚科技有限公司 | 一种定位建图的方法及系统 |
| CN107977977A (zh) * | 2017-10-20 | 2018-05-01 | 深圳华侨城卡乐技术有限公司 | 一种vr游戏的室内定位方法、装置以及存储介质 |
| JP2020024142A (ja) * | 2018-08-07 | 2020-02-13 | 日本電信電話株式会社 | 計測校正装置、計測校正方法、及びプログラム |
| CN109374003A (zh) * | 2018-11-06 | 2019-02-22 | 山东科技大学 | 一种基于ArUco码的移动机器人视觉定位与导航方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113465600A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110084832B (zh) | 相机位姿的纠正方法、装置、系统、设备和存储介质 | |
| CN104848858B (zh) | 二维码以及用于机器人的视觉-惯性组合导航系统及方法 | |
| CN111337947A (zh) | 即时建图与定位方法、装置、系统及存储介质 | |
| CN104748751B (zh) | 姿态矩阵的计算方法及基于姿态矩阵的定位导航方法 | |
| CN110246182B (zh) | 基于视觉的全局地图定位方法、装置、存储介质和设备 | |
| CN111121754A (zh) | 移动机器人定位导航方法、装置、移动机器人及存储介质 | |
| CN111174799A (zh) | 地图构建方法及装置、计算机可读介质、终端设备 | |
| CN107478214A (zh) | 一种基于多传感器融合的室内定位方法及系统 | |
| CN112556685B (zh) | 导航路线的显示方法、装置和存储介质及电子设备 | |
| WO2022193508A1 (zh) | 位姿优化方法、装置、电子设备、计算机可读存储介质、计算机程序及程序产品 | |
| CN113048980B (zh) | 位姿优化方法、装置、电子设备及存储介质 | |
| JP2009169845A (ja) | 自律移動ロボット及び地図更新方法 | |
| CN108549376A (zh) | 一种基于信标的导航定位方法及系统 | |
| Tomažič et al. | Fusion of visual odometry and inertial navigation system on a smartphone | |
| CN113587934B (zh) | 一种机器人、室内定位方法、装置和可读存储介质 | |
| CN113474819A (zh) | 信息处理装置、信息处理方法和程序 | |
| KR20230003803A (ko) | 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 | |
| CN113610702B (zh) | 一种建图方法、装置、电子设备及存储介质 | |
| JP2023503750A (ja) | ロボットの位置決め方法及び装置、機器、記憶媒体 | |
| CN113465600B (zh) | 一种导航方法、装置及电子设备和存储介质 | |
| TWI798789B (zh) | 導航裝置、導航系統、導航方法及記錄有導航程式的記錄媒體 | |
| JP2021518953A (ja) | ナビゲートする方法及びシステム | |
| KR20210051002A (ko) | 포즈 추정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 | |
| KR20210048928A (ko) | 가상 객체를 구현할 위치를 결정하는 방법 및 이를 수행하는 단말 | |
| CN115019167B (zh) | 基于移动终端的融合定位方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |