CN116188827A - 一种视觉重定位方法、装置、设备及存储介质 - Google Patents
一种视觉重定位方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116188827A CN116188827A CN202310305551.8A CN202310305551A CN116188827A CN 116188827 A CN116188827 A CN 116188827A CN 202310305551 A CN202310305551 A CN 202310305551A CN 116188827 A CN116188827 A CN 116188827A
- Authority
- CN
- China
- Prior art keywords
- image
- pose
- extracting
- image information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请提供一种视觉重定位方法、装置、电子设备及存储介质,通过获取用于视觉重定位的第一图像;从地图数据库中获取与第一图像匹配的第二图像;分别提取第一图像和第二图像中目标区域的图像信息,所述图像信息包括主方向和角点;根据图像信息对第一图像进行位姿估计,得到第一图像的初始位姿;基于初始位姿,对第一图像和第二图像中的特征点进行匹配以生成匹配点对,根据生成的所有匹配点对进行位姿估计,得到第一图像的位姿。本方案中,视觉重定位结合了目标区域的图像信息,而非完全依赖特征提取来恢复位姿,目标区域的图像信息基本不会变化且对光照变化不敏感,解决了目前视觉重定位对光照变化敏感的问题,实现了快速又鲁棒的视觉重定位。
Description
技术领域
本申请涉及视觉导航技术领域,具体涉及一种视觉重定位方法、装置、设备及存储介质。
背景技术
VSLAM(Visual Simultaneous Localization and Mapping,视觉同时定位和建图)是一个集合了视觉里程计、建图和重定位的算法系统,近年来发展很快。在AR(Augmented Reality,增强现实)、VR(Virtual Reality,虚拟现实)、机器人(例如,扫地机器人、服务机器人等)、无人驾驶设备(例如,无人驾驶汽车、无人机)等领域中得到广泛应用。
重定位算法主要是解决定位失败的相机基于全局地图重新搜索自身的位置信息的过程,也就是在已有地图上恢复位姿的过程。
最传统的方式是基于特征点来做重定位,当前图片中2D特征点和已知的3D地图中的特征点利用描述子进行匹配,而后再根据匹配上的点集计算相机到地图的变换关系,即在地图中的位姿。优点是解释性强、稳定、快速;难点在于特征点对于相机的角度变换、光照的变换是比较敏感的,在这些情况下,特征点的匹配精度比较低,所以导致定位难以快速恢复。
随着深度学习的发展,可以利用神经网络强大的特征学习和拟合能力来做重定位。根据网络的不同任务,出现基于特征学习和回归的两种方法。优点是鲁棒性比较好,抗光照以及环境变化影响,缺点是深度学习对内存以及计算资源需求很大,在现有嵌入式产品中基本无法使用。
发明内容
本申请的目的是提供一种视觉重定位方法及装置、一种自主移动设备、一种电子设备以及一种计算机可读存储介质。
本申请第一方面提供一种视觉重定位方法,包括:
获取用于视觉重定位的第一图像;
从地图数据库中获取与第一图像匹配的第二图像,第一图像和第二图像中均包括目标区域;
分别提取第一图像和第二图像中目标区域的图像信息,所述图像信息包括主方向和角点;
根据第一图像和第二图像中目标区域的图像信息对第一图像进行位姿估计,得到第一图像的初始位姿;
基于第一图像的初始位姿,对第一图像和第二图像中的特征点进行匹配以生成匹配点对,根据生成的所有匹配点对进行位姿估计,得到第一图像的位姿。
在一种可能的实现方式中,所述分别提取第一图像和第二图像中目标区域的图像信息之前,还包括:
对第一图像和第二图像中的特征点进行匹配以生成初始匹配点对;
确定生成的初始匹配点对的数量小于预设阈值。
在一种可能的实现方式中,所述目标区域包括天花板区域;提取所述第一图像中目标区域的图像信息,包括:
对所述第一图像进行逆透视变换,得到仰视天花板区域的变换图像;
提取所述变换图像中天花板区域的图像信息。
在一种可能的实现方式中,所述提取所述变换图像中天花板区域的图像信息,包括:
基于霍夫变换提取所述变换图像中天花板区域的主方向;
基于角点检测提取所述变换图像中天花板区域的角点。
在一种可能的实现方式中,所述基于霍夫变换提取所述变换图像中天花板区域的主方向,包括:
基于霍夫变换提取所述变换图像中天花板区域上的至少一条直线;
将所述至少一条直线中最长直线的方向确定为所述天花板区域的主方向。
在一种可能的实现方式中,所述根据第一图像和第二图像中目标区域的图像信息对第一图像进行位姿估计,得到第一图像的初始位姿,包括:
比较第一图像和第二图像中目标区域的主方向,得到第一图像对应的偏航角;
比较第一图像和第二图像中目标区域的角点的平移信息,得到第一图像对应的坐标;
根据第一图像对应的偏航角和坐标得到第一图像的初始位姿。
在一种可能的实现方式中,所述从地图数据库中获取与第一图像匹配的第二图像,包括:
从地图数据库中获取与第一图像相似度最大的第二图像。
本申请第二方面提供一种自主移动设备,包括:
图像传感器,用于采集用于视觉重定位的第一图像;
存储器,用于存储地图数据库;
处理器,用于从所述存储器存储的地图数据库中获取与所述图像传感器采集的第一图像匹配的第二图像,第一图像和第二图像中均包括目标区域,分别提取第一图像和第二图像中目标区域的图像信息,所述图像信息包括主方向和角点,根据第一图像和第二图像中目标区域的图像信息对第一图像进行位姿估计,得到第一图像的初始位姿,基于第一图像的初始位姿,对第一图像和第二图像中的特征点进行匹配以生成匹配点对,根据生成的所有匹配点对进行位姿估计,得到第一图像的位姿。
本申请第三方面提供一种视觉重定位装置,包括:
第一获取模块,用于获取用于视觉重定位的第一图像;
第二获取模块,用于从地图数据库中获取与第一图像匹配的第二图像,第一图像和第二图像中均包括目标区域;
区域提取模块,用于分别提取第一图像和第二图像中目标区域的图像信息,所述图像信息包括主方向和角点;
第一位姿估计模块,用于根据第一图像和第二图像中目标区域的图像信息对第一图像进行位姿估计,得到第一图像的初始位姿;
第二位姿估计模块,用于基于第一图像的初始位姿,对第一图像和第二图像中的特征点进行匹配以生成匹配点对,根据生成的所有匹配点对进行位姿估计,得到第一图像的位姿。
在一种可能的实现方式中,所述第二位姿估计模块,还用于在所述区域提取模块分别提取第一图像和第二图像中目标区域的图像信息之前,对第一图像和第二图像中的特征点进行匹配以生成初始匹配点对;
确定生成的初始匹配点对的数量小于预设阈值。
在一种可能的实现方式中,所述目标区域包括天花板区域;
所述区域提取模块,具体用于:
对所述第一图像进行逆透视变换,得到仰视天花板区域的变换图像;
提取所述变换图像中天花板区域的图像信息。
在一种可能的实现方式中,所述区域提取模块,具体用于:
基于霍夫变换提取所述变换图像中天花板区域的主方向;
基于角点检测提取所述变换图像中天花板区域的角点。
在一种可能的实现方式中,所述区域提取模块,具体用于:
基于霍夫变换提取所述变换图像中天花板区域上的至少一条直线;
将所述至少一条直线中最长直线的方向确定为所述天花板区域的主方向。
在一种可能的实现方式中,所述第一位姿估计模块,具体用于:
比较第一图像和第二图像中目标区域的主方向,得到第一图像对应的偏航角;
比较第一图像和第二图像中目标区域的角点的平移信息,得到第一图像对应的坐标;
根据第一图像对应的偏航角和坐标得到第一图像的初始位姿。
在一种可能的实现方式中,所述第二获取模块,具体用于:
从地图数据库中获取与第一图像相似度最大的第二图像。
本申请第四方面提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序以实现本申请第一方面所述的方法。
本申请第五方面提供一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现本申请第一方面所述的方法。
相较于现有技术,本申请提供的视觉重定位方法、装置、电子设备及存储介质,通过获取用于视觉重定位的第一图像;从地图数据库中获取与第一图像匹配的第二图像,第一图像和第二图像中均包括目标区域;分别提取第一图像和第二图像中目标区域的图像信息,所述图像信息包括主方向和角点;根据第一图像和第二图像中目标区域的图像信息对第一图像进行位姿估计,得到第一图像的初始位姿;基于第一图像的初始位姿,对第一图像和第二图像中的特征点进行匹配以生成匹配点对,根据生成的所有匹配点对进行位姿估计,得到第一图像的位姿。本方案中,视觉重定位结合了目标区域的图像信息,而非完全依赖特征提取来恢复位姿,目标区域的图像信息基本不会变化且对光照变化不敏感,很好解决了目前视觉重定位对光照变化敏感的问题,实现了快速又鲁棒的视觉重定位。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本申请提供的一种视觉重定位方法的流程图;
图1a示出了装载相机的移动机器人在房间内自主导航的示意图;
图2示出了相机视角下的第一图像;
图3示出了经过逆透视变换后的第一图像;
图4示出了从经过逆透视变换后的第一图像中提取的天花板区域的主方向以及角点的示意图;
图5示出了本申请提供的步骤S104的流程图;
图6示出了本申请提供的另一种视觉重定位方法的流程图;
图7示出了本申请提供的一种视觉重定位装置的结构示意图;
图8示出了本申请提供的一种电子设备的示意图;
图9示出了本申请提供的一种计算机可读存储介质的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
另外,术语“第一”和“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例提供一种视觉重定位方法及装置、一种电子设备以及计算机可读存储介质,下面结合附图进行说明。
请参考图1,其示出了本申请的一些实施方式所提供的一种视觉重定位方法的流程图,如图所示,所述视觉重定位方法,可以包括以下步骤:
S101、获取用于视觉重定位的第一图像。
请参考图1a,其中所示为装载相机的移动机器人在房间内自主导航的示意图,以扫地机器人为例,其上装载着单目相机或者双目相机,在清扫房间的过程中需要视觉重定位。第一图像为扫地机器人相机拍摄的用于视觉重定位的图像,例如单目相机当前拍摄的图像,或者双目相机中左路相机当前拍摄的图像。
第一图像中包括目标区域,目标区域的主方向和角点基本不会变化且对光照变化不敏感。例如,该目标区域可以是房顶的天花板区域或者其他用户预先选定的区域,本申请不做限定。
S102、从地图数据库中获取与第一图像匹配的第二图像,第二图像中包括目标区域。
地图数据库是扫地机器人预先构建或预先存储的3D地图。
上述步骤S102具体可以实现为:从地图数据库中获取与第一图像相似度最大的第二图像。也就是,第二图像是通过相似度确定的,例如地图数据库中预先设置了多张关键帧用于特征点提取与匹配,计算第一图像与多张关键帧的相似度,从中选出相似度最大的关键帧作为第二图像。
S103、分别提取第一图像和第二图像中目标区域的图像信息,所述图像信息包括主方向和角点。
实际应用中,相机可能为斜向上视角,固定在扫地机器人上,同时在地面运动,可以看到天花板区域,如图2所示为相机视角下的第一图像。
以目标区域为天花板区域为例,提取第一图像中目标区域的图像信息的步骤,具体包括:对第一图像进行逆透视变换,得到仰视天花板区域的变换图像;提取变换图像中天花板区域的图像信息,也就是提取天花板区域的主方向和角点。本实施例中,经过逆透视变换后可以得到仰视房顶视角的第一图像,用于后续计算相机的旋转角度及坐标。如图3所示为经过逆透视变换后的第一图像。
上述提取仰视天花板区域的变换图像中天花板区域的图像信息,具体包括:基于霍夫变换提取所述变换图像中天花板区域的主方向;基于角点检测提取所述变换图像中天花板区域的角点。
具体的,可以基于霍夫变换提取所述变换图像中天花板区域上的至少一条直线,将所述至少一条直线中最长直线的方向确定为天花板区域的主方向。如图4所示为从经过逆透视变换后的第一图像中提取的天花板区域的主方向以及角点。
同理,可以提取得到第二图像中目标区域的图像信息。
S104、根据第一图像和第二图像中目标区域的图像信息对第一图像进行位姿估计,得到第一图像的初始位姿。
具体的,如图5所示,上述步骤S104可以实现如下:
S201、比较第一图像和第二图像中目标区域的主方向,得到第一图像对应的偏航角;
S202、比较第一图像和第二图像中目标区域的角点的平移信息,得到第一图像对应的坐标;
S203、根据第一图像对应的偏航角和坐标得到第一图像的初始位姿。
例如,比较第一图像的天花板主方向与第二图像的天花板主方向,可以得到第一图像对应相机的偏航角,又有相机固定在扫地机器人上,俯仰角以及横滚角都是固定的。通过角点在第一图像和第二图像这两张图像之间平移,得到相机坐标的x,y值,又机器人在地面行驶,所以垂直坐标z也可认为是不变的,至此,通过天花板的主方向和角点得到了相机初始位姿,也就是第一图像的初始位姿。位姿包括六个自由度,位置坐标(x,y,z)和三个方向角(偏航角、俯仰角、横滚角)。
相机初始位姿的具体计算过程如下:
请参考图1a,由相机固定在扫地机器人上可知,相机俯仰角、横滚角都保持不变,通过上述天花板主方向的比较可以确定相机偏航角,进而得到相机的旋转矩阵R,由于机器人在水平面上运动,因此只需要再确定相机在水平方向的位移ΔX、ΔY就可以得到平移向量t,然后可以计算相机在第一图像和第二图像之间完整的位姿变换。
相机在水平方向的位移ΔX、ΔY可以通过角点在第一图像和第二图像这两张图像之间平移的平移得到,具体可以通过以下公式得到:
其中,(Δu,Δv)为角点坐标在第一图像和第二图像之间的变化量,
相机位姿变换计算公式:P=R*P′+t;
其中,P表示相机在拍摄第一图像时的坐标,P′表示相机在拍摄第二图像时的坐标,P′点经过R、t变换后得到P点,P′点根据地图数据库是已知的;
P(X,Y,Z)到P′(X′,Y′,Z′)的变换计算公式如下:
综上,第一图像对应的相机的初始位姿为相机位置坐标P(X,Y,Z)以及三个方向角(偏航角、俯仰角、横滚角)。
S105、基于第一图像的初始位姿,对第一图像和第二图像中的特征点进行匹配以生成匹配点对,根据生成的所有匹配点对进行位姿估计,得到第一图像的位姿。
本实施例中,在初始位姿的约束下,将第一图像中的2D特征点和第二图像中的3D特征点利用描述子进行匹配,提高了特征点匹配的精度,而后再根据匹配上的点集计算相机到地图的变换关系,也就是可以得到第一图像的位姿。
具体的,可以采用PnP算法进行位姿估计。PnP(全称Perspective-n-Points),指3D到2D点对的物体运动定位问题,即已知物体在世界坐标系下的坐标,以及物体在相机的图像平面的像素坐标,求解相机的位姿。
相较于现有技术,本申请提供的视觉重定位方法中,视觉重定位结合了目标区域的图像信息,而非完全依赖特征提取来恢复位姿,目标区域的图像信息基本不会变化且对光照变化不敏感,很好解决了目前视觉重定位对光照变化敏感的问题,实现了快速又鲁棒的视觉重定位。
请参考图6,其示出了本申请的一些实施方式所提供的另一种视觉重定位方法的流程图,如图6所示,所述视觉重定位方法,可以包括以下步骤:
S301、获取用于视觉重定位的第一图像;
S302、从地图数据库中获取与第一图像匹配的第二图像,第一图像和第二图像中均包括目标区域;
S303、对第一图像和第二图像中的特征点进行匹配以生成匹配点对;
S304、判断生成的匹配点对的数量是否小于预设阈值;若是,跳转步骤S305,否则跳转步骤S308;
S305、分别提取第一图像和第二图像中目标区域的图像信息,所述图像信息包括主方向和角点;
S306、根据第一图像和第二图像中目标区域的图像信息对第一图像进行位姿估计,得到第一图像的初始位姿;
S307、基于第一图像的初始位姿,对第一图像和第二图像中的特征点重新进行匹配以生成匹配点对;
S308、根据生成的所有匹配点对进行位姿估计,得到第一图像的位姿。
本实施例中,当光照以及环境变化影响较大时会导致匹配点对数量不足,也就是小于预设阈值,预设阈值可以设置为15,此时引入目标区域的图像信息对相机位姿进行校正。当匹配点对数量足够时,说明光照以及环境变化影响较小,可以直接根据生成的所有匹配点对进行位姿估计,以提高视觉重定位的效率。
在上述的实施例中,提供了一种视觉重定位方法,与之相对应的,本申请还提供一种自主移动设备,该自主移动设备,包括:
图像传感器,用于采集用于视觉重定位的第一图像;
存储器,用于存储地图数据库;
处理器,用于从所述存储器存储的地图数据库中获取与所述图像传感器采集的第一图像匹配的第二图像,第一图像和第二图像中均包括目标区域,分别提取第一图像和第二图像中目标区域的图像信息,所述图像信息包括主方向和角点,根据第一图像和第二图像中目标区域的图像信息对第一图像进行位姿估计,得到第一图像的初始位姿,基于第一图像的初始位姿,对第一图像和第二图像中的特征点进行匹配以生成匹配点对,根据生成的所有匹配点对进行位姿估计,得到第一图像的位姿。
所述处理器分别提取第一图像和第二图像中目标区域的图像信息之前,还用于:
对第一图像和第二图像中的特征点进行匹配以生成初始匹配点对;
确定生成的初始匹配点对的数量小于预设阈值。
所述目标区域包括天花板区域,所述处理器提取所述第一图像中目标区域的图像信息,包括:
对所述第一图像进行逆透视变换,得到仰视天花板区域的变换图像;
提取所述变换图像中天花板区域的图像信息。
所述处理器提取所述变换图像中天花板区域的图像信息,包括:
基于霍夫变换提取所述变换图像中天花板区域的主方向;
基于角点检测提取所述变换图像中天花板区域的角点。
所述处理器基于霍夫变换提取所述变换图像中天花板区域的主方向,包括:
基于霍夫变换提取所述变换图像中天花板区域上的至少一条直线;
将所述至少一条直线中最长直线的方向确定为所述天花板区域的主方向。
所述处理器根据第一图像和第二图像中目标区域的图像信息对第一图像进行位姿估计,得到第一图像的初始位姿,包括:
比较第一图像和第二图像中目标区域的主方向,得到第一图像对应的偏航角;
比较第一图像和第二图像中目标区域的角点的平移信息,得到第一图像对应的坐标;
根据第一图像对应的偏航角和坐标得到第一图像的初始位姿。
所述处理器从地图数据库中获取与第一图像匹配的第二图像,包括:
从地图数据库中获取与第一图像相似度最大的第二图像。
本申请实施例提供的自主移动设备,与本申请前述实施例提供的视觉重定位方法出于相同的发明构思,具有相同的有益效果。
在上述的实施例中,提供了一种视觉重定位方法,与之相对应的,本申请还提供一种视觉重定位装置。本申请实施例提供的视觉重定位装置可以实施上述视觉重定位方法,该视觉重定位装置可以通过软件、硬件或软硬结合的方式来实现。例如,该视觉重定位装置可以包括集成的或分开的功能模块或单元来执行上述各方法中的对应步骤。请参考图7,其示出了本申请的一些实施方式所提供的一种视觉重定位装置的示意图。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
如图7所示,所述视觉重定位装置10可以包括:
第一获取模块101,用于获取用于视觉重定位的第一图像;
第二获取模块102,用于从地图数据库中获取与第一图像匹配的第二图像,第一图像和第二图像中均包括目标区域;
区域提取模块103,用于分别提取第一图像和第二图像中目标区域的图像信息,所述图像信息包括主方向和角点;
第一位姿估计模块104,用于根据第一图像和第二图像中目标区域的图像信息对第一图像进行位姿估计,得到第一图像的初始位姿;
第二位姿估计模块105,用于基于第一图像的初始位姿,对第一图像和第二图像中的特征点进行匹配以生成匹配点对,根据生成的所有匹配点对进行位姿估计,得到第一图像的位姿。
在一种可能的实现方式中,所述第二位姿估计模块105,还用于在所述区域提取模块103分别提取第一图像和第二图像中目标区域的图像信息之前,对第一图像和第二图像中的特征点进行匹配以生成初始匹配点对;
确定生成的初始匹配点对的数量小于预设阈值。
在一种可能的实现方式中,所述目标区域为天花板区域;
所述区域提取模块103,具体用于:
对所述第一图像进行逆透视变换,得到仰视天花板区域的变换图像;
提取所述变换图像中天花板区域的图像信息。
在一种可能的实现方式中,所述区域提取模块103,具体用于:
基于霍夫变换提取所述变换图像中天花板区域的主方向;
基于角点检测提取所述变换图像中天花板区域的角点。
在一种可能的实现方式中,所述区域提取模块103,具体用于:
基于霍夫变换提取所述变换图像中天花板区域上的至少一条直线;
将所述至少一条直线中最长直线的方向确定为所述天花板区域的主方向。
在一种可能的实现方式中,所述第一位姿估计模块104,具体用于:
比较第一图像和第二图像中目标区域的主方向,得到第一图像对应的偏航角;
比较第一图像和第二图像中目标区域的角点的平移信息,得到第一图像对应的坐标;
根据第一图像对应的偏航角和坐标得到第一图像的初始位姿。
在一种可能的实现方式中,所述第二获取模块102,具体用于:
从地图数据库中获取与第一图像相似度最大的第二图像。
本申请实施例提供的视觉重定位装置10,与本申请前述实施例提供的视觉重定位方法出于相同的发明构思,具有相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的视觉重定位方法对应的电子设备,所述电子设备可以是用于客户端的电子设备,例如机器人、手机、笔记本电脑、平板电脑、台式机电脑等,以执行上述视觉重定位方法。
请参考图8,其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图8所示,所述电子设备20包括:处理器200,存储器201,总线202和通信接口203,所述处理器200、通信接口203和存储器201通过总线202连接;所述存储器201中存储有可在所述处理器200上运行的计算机程序,所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的视觉重定位方法。
其中,存储器201可能包含高速随机存取存储器(RAM:Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中,存储器201用于存储程序,所述处理器200在接收到执行指令后,执行所述程序,前述本申请实施例任一实施方式揭示的所述视觉重定位方法可以应用于处理器200中,或者由处理器200实现。
处理器200可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201,处理器200读取存储器201中的信息,结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的视觉重定位方法出于相同的发明构思,具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的视觉重定位方法对应的计算机可读介质,请参考图9,其示出的计算机可读存储介质为光盘30,其上存储有计算机程序(即程序产品),所述计算机程序在被处理器运行时,会执行前述任意实施方式所提供的视觉重定位方法。
需要说明的是,所述计算机可读存储介质的例子还可以包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质,在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的视觉重定位方法出于相同的发明构思,具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是,附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、系统和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,系统或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,其均应涵盖在本申请的权利要求和说明书的范围当中。
Claims (11)
1.一种视觉重定位方法,其特征在于,包括:
获取用于视觉重定位的第一图像;
从地图数据库中获取与第一图像匹配的第二图像,第一图像和第二图像中均包括目标区域;
分别提取第一图像和第二图像中目标区域的图像信息,所述图像信息包括主方向和角点;
根据第一图像和第二图像中目标区域的图像信息对第一图像进行位姿估计,得到第一图像的初始位姿;
基于第一图像的初始位姿,对第一图像和第二图像中的特征点进行匹配以生成匹配点对,根据生成的所有匹配点对进行位姿估计,得到第一图像的位姿。
2.根据权利要求1所述的方法,其特征在于,所述分别提取第一图像和第二图像中目标区域的图像信息之前,还包括:
对第一图像和第二图像中的特征点进行匹配以生成初始匹配点对;
确定生成的初始匹配点对的数量小于预设阈值。
3.根据权利要求1所述的方法,其特征在于,所述目标区域包括天花板区域;提取所述第一图像中目标区域的图像信息,包括:
对所述第一图像进行逆透视变换,得到仰视天花板区域的变换图像;
提取所述变换图像中天花板区域的图像信息。
4.根据权利要求3所述的方法,其特征在于,所述提取所述变换图像中天花板区域的图像信息,包括:
基于霍夫变换提取所述变换图像中天花板区域的主方向;
基于角点检测提取所述变换图像中天花板区域的角点。
5.根据权利要求4所述的方法,其特征在于,所述基于霍夫变换提取所述变换图像中天花板区域的主方向,包括:
基于霍夫变换提取所述变换图像中天花板区域上的至少一条直线;
将所述至少一条直线中最长直线的方向确定为所述天花板区域的主方向。
6.根据权利要求1所述的方法,其特征在于,所述根据第一图像和第二图像中目标区域的图像信息对第一图像进行位姿估计,得到第一图像的初始位姿,包括:
比较第一图像和第二图像中目标区域的主方向,得到第一图像对应的偏航角;
比较第一图像和第二图像中目标区域的角点的平移信息,得到第一图像对应的坐标;
根据第一图像对应的偏航角和坐标得到第一图像的初始位姿。
7.根据权利要求1所述的方法,其特征在于,所述从地图数据库中获取与第一图像匹配的第二图像,包括:
从地图数据库中获取与第一图像相似度最大的第二图像。
8.一种自主移动设备,其特征在于,包括:
图像传感器,用于采集用于视觉重定位的第一图像;
存储器,用于存储地图数据库;
处理器,用于从所述存储器存储的地图数据库中获取与所述图像传感器采集的第一图像匹配的第二图像,第一图像和第二图像中均包括目标区域,分别提取第一图像和第二图像中目标区域的图像信息,所述图像信息包括主方向和角点,根据第一图像和第二图像中目标区域的图像信息对第一图像进行位姿估计,得到第一图像的初始位姿,基于第一图像的初始位姿,对第一图像和第二图像中的特征点进行匹配以生成匹配点对,根据生成的所有匹配点对进行位姿估计,得到第一图像的位姿。
9.一种视觉重定位装置,其特征在于,包括:
第一获取模块,用于获取用于视觉重定位的第一图像;
第二获取模块,用于从地图数据库中获取与第一图像匹配的第二图像,第一图像和第二图像中均包括目标区域;
区域提取模块,用于分别提取第一图像和第二图像中目标区域的图像信息,所述图像信息包括主方向和角点;
第一位姿估计模块,用于根据第一图像和第二图像中目标区域的图像信息对第一图像进行位姿估计,得到第一图像的初始位姿;
第二位姿估计模块,用于基于第一图像的初始位姿,对第一图像和第二图像中的特征点进行匹配以生成匹配点对,根据生成的所有匹配点对进行位姿估计,得到第一图像的位姿。
10.一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序以实现如权利要求1至7任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310305551.8A CN116188827A (zh) | 2023-03-24 | 2023-03-24 | 一种视觉重定位方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310305551.8A CN116188827A (zh) | 2023-03-24 | 2023-03-24 | 一种视觉重定位方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116188827A true CN116188827A (zh) | 2023-05-30 |
Family
ID=86446461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310305551.8A Pending CN116188827A (zh) | 2023-03-24 | 2023-03-24 | 一种视觉重定位方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116188827A (zh) |
-
2023
- 2023-03-24 CN CN202310305551.8A patent/CN116188827A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109345588B (zh) | 一种基于Tag的六自由度姿态估计方法 | |
US10033985B2 (en) | Camera pose estimation apparatus and method for augmented reality imaging | |
US20190080467A1 (en) | Pose determination with semantic segmentation | |
CN111046125A (zh) | 一种视觉定位方法、系统及计算机可读存储介质 | |
CN110111388B (zh) | 三维物体位姿参数估计方法及视觉设备 | |
EP3502621A1 (en) | Visual localisation | |
JP2018523881A (ja) | データを位置合わせする方法及びシステム | |
JP2014530391A (ja) | ローカライズされ、セグメンテーションされた画像のネットワークキャプチャ及び3dディスプレイ | |
CN111459269B (zh) | 一种增强现实显示方法、系统及计算机可读存储介质 | |
CN110349212B (zh) | 即时定位与地图构建的优化方法及装置、介质和电子设备 | |
CN110926478B (zh) | 一种ar导航路线纠偏方法、系统及计算机可读存储介质 | |
CN111928842B (zh) | 一种基于单目视觉实现slam定位的方法及相关装置 | |
US20200226392A1 (en) | Computer vision-based thin object detection | |
CN112154486A (zh) | 用于多用户增强现实购物的系统和方法 | |
Kroeger et al. | Video registration to sfm models | |
CN112102404B (zh) | 物体检测追踪方法、装置及头戴显示设备 | |
Liu et al. | Accurate real-time visual SLAM combining building models and GPS for mobile robot | |
CN112085842B (zh) | 深度值确定方法及装置、电子设备和存储介质 | |
Barath et al. | A Large-Scale Homography Benchmark | |
CN110880003A (zh) | 一种图像匹配方法、装置、存储介质及汽车 | |
CN116188827A (zh) | 一种视觉重定位方法、装置、设备及存储介质 | |
CN112184766B (zh) | 一种对象的跟踪方法、装置、计算机设备和存储介质 | |
CN115902977A (zh) | 基于视觉和gps的变电站机器人双重定位方法及系统 | |
CN113763468B (zh) | 一种定位方法、装置、系统及存储介质 | |
WO2019080257A1 (zh) | 电子装置、车祸现场全景图像展示方法和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |