CN115063480A - 位姿确定方法、装置、电子设备和可读存储介质 - Google Patents

位姿确定方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN115063480A
CN115063480A CN202210729520.0A CN202210729520A CN115063480A CN 115063480 A CN115063480 A CN 115063480A CN 202210729520 A CN202210729520 A CN 202210729520A CN 115063480 A CN115063480 A CN 115063480A
Authority
CN
China
Prior art keywords
coordinate system
inertial
pose
image
world coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210729520.0A
Other languages
English (en)
Inventor
洪毅强
胡良军
王�琦
张伟杰
刘泽凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
MIGU Comic Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
MIGU Comic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Culture Technology Co Ltd, MIGU Comic Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202210729520.0A priority Critical patent/CN115063480A/zh
Publication of CN115063480A publication Critical patent/CN115063480A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种位姿确定方法、装置、电子设备和可读存储介质，属于定位技术领域；本申请提供的位姿确定方法包括：基于相邻两帧图像的图像数据对视觉惯性定位系统进行初始化，得到重力方向；基于所述重力方向确定世界坐标系到惯性坐标系的转换关系；根据所述转换关系，将当前帧图像在世界坐标系中的坐标转换到惯性坐标系下，得到所述当前帧图像在所述惯性坐标系下的第一位姿。本申请提供的技术方案能够解决相关技术中位姿定位方式复杂、定位效率低的问题。

Description

位姿确定方法、装置、电子设备和可读存储介质
技术领域
本申请属于定位技术领域，具体涉及一种位姿确定方法、装置、电子设备和可读存储介质。
背景技术
目前，场景式增强现实(Augmented Reality，AR)视觉惯导定位在日常生活中得到了广泛应用，例如大型商场的虚拟购物、虚拟广告，火车站、机场等大型建筑内的地图导航，旅游景点内的虚实融合体验等。现有的视觉惯导定位方案中，大多是基于地图点云构建、重定位、跟踪方案等来实现位姿定位，但是这些方案计算方式复杂，定位效率较低。
发明内容
本申请实施例提供了一种位姿确定方法、装置、电子设备和可读存储介质，能够解决相关技术中位姿定位方式复杂、定位效率低的问题。
第一方面，本申请实施例提供了一种位姿确定方法，包括：
基于相邻两帧图像的图像数据对视觉惯性定位系统进行初始化，得到重力方向；
基于所述重力方向确定世界坐标系到惯性坐标系的转换关系；
根据所述转换关系，将当前帧图像在世界坐标系中的坐标转换到惯性坐标系下，得到所述当前帧图像在所述惯性坐标系下的第一位姿。
第二方面，本申请实施例提供了一种位姿确定装置，包括：
初始化模块，用于基于相邻两帧图像的图像数据对视觉惯性定位系统进行初始化，得到重力方向；
确定模块，用于基于所述重力方向确定世界坐标系到惯性坐标系的转换关系；
转换模块，用于根据所述转换关系，将当前帧图像在世界坐标系中的坐标转换到惯性坐标系下，得到所述当前帧图像在所述惯性坐标系下的第一位姿。
第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的位姿确定方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的位姿确定方法的步骤。
本申请实施例中，在确定世界坐标系到惯性坐标系的转换关系后，进而对于相机采集的当前帧图像，也就能够基于所述转换关系，将当前帧图像在世界坐标系下的坐标转换到惯性坐标系下，进而得到所述当前帧图像在所述惯性坐标系下的第一位姿。这样，也就无需再经过地图点云构建、重定位等方式来实现位姿定位，使得电子设备对于位姿的确定方法更加简单快速，有效提升了电子设备基于相机采集图像来实现位姿定位的效率。
附图说明
图1是本申请实施例提供的一种位姿确定方法的流程图；
图2是本申请实施例提供的一种位姿确定方法中所涉及的惯性坐标系的示意图；
图3是本申请实施例提供的一种位姿确定方法中场景识别的流程图；
图4是本申请实施例提供的一种位姿确定方法中视觉共视关系的示意图；
图5是本申请实施例提供的一种位姿确定装置的结构图；
图6是本申请实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的位姿确定方法进行详细地说明。
请参照图1，图1是本申请实施例提供的一种位姿确定方法的流程图，如图1所示，所述方法包括以下步骤：
步骤101、基于相邻两帧图像的图像数据对视觉惯性定位系统进行初始化，得到重力方向。
需要说明的是，本申请实施例提供的方法可以是应用于电子设备，如手机、平板电脑、计算机、智能穿戴设备等。为更好地理解，以下将以电子设备作为执行主体来对本申请实施例提供的位姿确定方法进行说明。
本申请实施例中，所述相邻两帧图像可以是电子设备的相机(或者也称摄像头)采集的图像帧中的任意相邻两帧。
可选地，电子设备在启动摄像头后，依次获取摄像头采集的图像帧，并对依次获取的图像帧按照其采集顺序，基于相邻两帧的图像数据对视觉惯性定位系统(Visual-Inertial Odometry，VIO)进行初始化，直至VIO初始化成功。例如，基于摄像头启动后获取的第一帧图像和第二帧图像，若这两帧图像的图像数据进行VIO初始化失败，则继续基于第二帧图像和第三帧图像的图像数据对VIO进行初始化，若失败，则继续基于第三帧图像和第四帧图像的图像数据对VIO进行初始化，直至VIO初始化成功。
可以理解地，相机(或者称摄像头)采集的图像，是平面的二维图像，而相机采集的图像对应的实际场景是三维空间的，例如对应世界坐标系，通过相机采集的图像(二维)与该图像实际场景(三维)之间的匹配关系，也即能够得到二维到三维的对应关系，进而也就能够计算出相机采集图像在世界坐标系下的位姿。所述视觉惯性定位系统能够实现视觉(visual)信息和惯性信息的融合，相机采集图像也即代表了视觉信息，相机采集图像能够转换到世界坐标系下，进而所述视觉惯性定位系统能够实现相机采集图像从世界坐标系到惯性坐标系的转换。如图2所示，惯性坐标系的x轴、y轴、z轴分别对应俯仰角(pitch)、偏航角(yaw)和横滚角(roll)。
步骤102、基于所述重力方向确定世界坐标系到惯性坐标系的转换关系。
需要说明地，惯性坐标系与惯性测量单元(Inertial Measurement Unit，IMU)数据相关，IMU数据用于测量物体三轴姿态角以及加速度，而IMU数据中加速度是受重力影响的，进而确定出重力方向，才能基于IMU数据估计出位姿。
本申请实施例中，在基于相邻两帧图像的图像数据对视觉惯性定位系统初始化的过程中，也即需要通过获取相机采集图像和IMU数据来进行连续的特征跟踪和位姿计算，以完成对视觉惯性定位系统的初始化。位姿计算与重力方向相关，进而基于对视觉惯性定位系统的初始化，也就能够得到重力方向，进而以通过重力方向来确定世界坐标系到惯性坐标系的转换关系，进而能够更加简单快速地实现对当前帧图像的位姿计算。
步骤103、根据所述转换关系，将当前帧图像在世界坐标系中的坐标转换到惯性坐标系下，得到所述当前帧图像在所述惯性坐标系下的第一位姿。
本申请实施例中，在确定世界坐标系到惯性坐标系的转换关系后，进而对于相机采集的当前帧图像，也就能够基于所述转换关系，将当前帧图像在世界坐标系下的坐标转换到惯性坐标系下，进而得到所述当前帧图像在所述惯性坐标系下的第一位姿。这样，也就无需再经过地图点云构建、重定位等方式来实现位姿定位，使得电子设备对于位姿的确定方法更加简单快速，有效提升了电子设备基于相机采集图像来实现位姿定位的效率。
可选地，所述基于相邻两帧图像的图像数据对视觉惯性定位系统进行初始化，得到重力方向，包括：
获取相邻两帧图像分别对应的第一IMU数据和第二IMU数据；
基于所述第一IMU数据和所述第二IMU数据对视觉惯性定位系统进行初始化，得到所述重力方向。
例如，所述相邻两帧图像包括第一图像帧和第二图像帧，也即获取第一图像帧对应的第一IMU数据和第二图像帧对应的第二IMU数据。进一步地，通过对第一IMU数据和第二IMU数据进行IMU预积分，能够得到平移量、速度和旋转量等数据，另外可以获取相机采集的所述相邻两帧图像对应的相机坐标系下到世界坐标系的位置等参数，进而基于平移量、速度等这些参数对视觉惯性定位系统进行初始化，以得到所述重力方向，从而以对当前帧图像的位姿实现快速定位。
可选地，所述基于所述第一IMU数据和所述第二IMU数据对视觉惯性定位系统进行初始化，得到所述重力方向，包括：
基于所述第一IMU数据和所述第二IMU数据计算IMU预积分的平移量和速度；
分别获取所述相邻两帧图像从相机坐标系转换到世界坐标系的位置，并获取所述相邻两帧图像转换到所述世界坐标系的位置的差值；
获取所述世界坐标系到所述惯性坐标系的旋转量以及相机坐标系相对于所述惯性坐标系的位移；
基于所述平移量、所述速度、所述差值、所述旋转量及所述位移构建初始化矩阵方程；
基于所述初始化矩阵方程对所述视觉惯性定位系统进行初始化，得到重力方向。
具体地，在获得相邻两帧图像分别对应的第一IMU数据和第二IMU数据后，基于所述第一IMU数据和第二IMU数据计算IMU预积分的平移量和速度。
其中，所述相邻两帧图像为相机采集的图像，进而也就能够获取该相邻两帧图像在相机坐标系下的坐标位置，并将所述相邻两帧图像从相机坐标系转换到世界坐标系，获取所述相邻两帧图像转换到世界坐标系后的坐标位置的差值。例如，相邻两帧图像分别为第一图像帧和第二图像帧，也即将第一图像帧从相机坐标系转换到世界坐标系，将第二图像帧从相机坐标系转换到世界坐标系，并获取第一图像帧在世界坐标系下的坐标位置与第二图像帧在世界坐标系下的坐标位置之间的差值。其中，图像帧中某一特征点从相机坐标系到世界坐标系的转换可以是参照相关技术，本申请对此不作赘述。
另外，还需获取世界坐标系到惯性坐标系的旋转量，以及相机坐标系相对于惯性坐标系的位移。其中，世界坐标系到惯性坐标系的旋转量的获取可以是参考相关技术，而相机坐标系相对于惯性坐标系的位移，可以是以相机坐标系中的某个特征点为参考，将该特征点转换到惯性坐标系下，基于该特征点的位移来确定相机坐标系相对于惯性坐标系的位移。
进一步地，基于上述获取的平移量、速度、差值、旋转量及所述位移构建初始化矩阵方程，基于对所述初始化矩阵方程求解以得到重力方向，进而以实现对视觉惯性定位系统的初始化。
例如，构建初始化矩阵方程如下：
Figure BDA0003712535130000061
其中，假设所述相邻两帧图像分别为相机在k时刻和k+1时刻采集的两帧图像，进而获取k时刻图像对应的第一IMU数据和k+1时刻对应的第二IMU数据，基于第一IMU数据和第二IMU数据计算IMU预积分的平移量和速度，也即上述公式中的平移量
Figure BDA0003712535130000062
和速度
Figure BDA0003712535130000063
Figure BDA0003712535130000064
和
Figure BDA0003712535130000065
分别为k时刻和k+1时刻这两帧图像从相机坐标系到世界坐标系的位置，
Figure BDA0003712535130000066
为相机坐标系相对于惯性坐标系的位移，
Figure BDA0003712535130000067
为k时刻图像从世界坐标系到惯性坐标系的旋转，
Figure BDA0003712535130000068
为k+1时刻图像从惯性坐标系到世界坐标系的旋转，Δt为k时刻和k+1时刻的时间间隔，I为三维的单位阵，gw为重力方向，
Figure BDA0003712535130000071
为k时刻的速度，
Figure BDA0003712535130000072
为k+1时刻的速度。
进而，通过上述初始化矩阵，能够求解得到重力方向，这样也就能够完成对视觉惯性定位系统的初始化，进而以基于重力方向来确定世界坐标系到惯性坐标系的转换关系，更有助于快速实现对当前帧图像的位姿定位。
本申请实施例中，所述相邻帧图像包括第一图像帧，所述基于所述重力方向确定世界坐标系到惯性坐标系的转换关系，包括：
获取所述第一图像帧在世界坐标系下的第二位姿；
基于所述重力方向及所述第二位姿确定世界坐标系到惯性坐标系的转换关系。
需要说明地，第一图像帧为相机采集的图像，基于第一图像帧中特征点在相机坐标系下的坐标及对应于在世界坐标系下的坐标，进而能够得出图像特征点3D-2D的匹配关系，从而计算第一图像帧在世界坐标系下的第二位姿，基于该第二位姿及视觉惯性定位系统初始化后得到的重力方向，从而确定世界坐标系到惯性坐标系的转换关系。
其中，所述获取所述第一图像帧在世界坐标系下的第二位姿，包括：
获取所述第一图像帧的第一全局描述子；
获取目标地图中每一帧地图图像的第二全局描述子；
获取与所述第一全局描述子相似性最大的目标第二全局描述子，并基于所述目标第二全局描述子确定对应的关键地图帧；
获取所述关键地图帧中3D特征点与2D特征点的匹配关系，根据所述匹配关系确定所述第一图像帧在世界坐标系下的第二位姿。
本申请实施例中，获取第一图像帧的全局描述子，也即第一全局描述子；同时，对目标地图中的图像通过深度网络模型提取全局描述子，也即第二全局描述子，其中所述目标地图可以是指包括了所述第一图像帧中场景的地图，所述目标地图为世界坐标系下的地图图像。进一步地，计算所述第一全局描述子与所述第二全局描述子的余弦相似性，根据最大相似性获取与第一全局描述子最相似的目标第二全局描述子，该目标第二全局描述子对应的地图帧图像也即是与第一图像帧最相似的地图帧图像，进而将该最相似的地图帧图像确定为关键地图帧。
如图3所示，可以是将目标地图和第一图像帧分别输入特征提取网络，得到特征提取网络分别输出的第二全局描述子和第一全局描述子，对所述第二全局描述子和所述第一全局描述子进行相似性计算，得到与第一全局描述子相似性最高的目标第二全局描述子，进一步将该目标第二全局描述子对应的地图帧图像确定为关键帧图像。其中，所述特征提取网络可以是预先训练好的神经网络模型，神经网络模型的训练方式可以是参照相关技术，本实施例不做赘述。
其中，关键地图帧图像为世界坐标系下的地图帧图像，进而获取所述关键地图帧图像中的3D特征点，同时获取关键地图帧中的2D特征点，进而也就能够确定所述关键地图帧中3D特征点与2D特征点的匹配关系；获取所述第一图像帧中的2D特征点，基于3D特征点与2D特征点的匹配关系也就能够获取所述第一图像帧中的3D特征点，进而基于所述第一图像帧中的3D特征点计算所述第一图像帧在世界坐标系下的第二位姿。其中，所述第二位姿包括旋转参数Rcw和平移参数tcw。
本申请实施例中，通过将第一图像帧的第一全局描述子与目标地图的第二全局描述子进行相似性比较，以得到与第一图像帧最相似的关键地图帧，基于关键地图帧来确定3D特征点与2D特征点的匹配关系，这样也就能够根据所述匹配关系来确定第一图像帧在世界坐标系下的第二位姿，使得对于第一图像帧的位姿的确定更加准确。
需要说明的是，所述相邻两帧图像为电子设备对相机采集的图像按照采集顺序依次用来进行视觉惯性定位系统初始化的图像，直至视觉惯性定位系统初始化成功，其中所述第一图像帧可以是所述相邻两帧图像中的任一帧，或者也可以是使得视觉惯性定位系统初始化成功的第一帧图像。
进一步地，在确定第一图像帧的第二位姿后，则基于所述第二位姿和重力方向确定世界坐标系到惯性坐标系的转换关系。可选地，所述基于所述重力方向及所述第二位姿确定世界坐标系到惯性坐标系的转换关系，包括：
基于所述重力方向确定世界坐标系到惯性坐标系的转换系数；
基于所述转换系数及所述第二位姿确定世界坐标系到惯性坐标系的转换关系。
本申请实施例中，在基于相邻两帧图像对视觉惯性定位系统初始化，得到重力方向后，基于所述重力方向获取世界坐标系到惯性坐标系的转换系数。例如，可以是基于罗德里格斯公式对所述重力方向进行转换，以确定世界坐标系到惯性坐标系的转换系数。进一步地，基于所述转换系数及第二位姿确定世界坐标系到惯性坐标系的转换关系，例如可以是基于转换系数与所述第二位姿的乘积来确定世界坐标系到惯性坐标系的转换关系。
其中，所述第二位姿为相邻两帧图像中第一图像帧的位姿，通过第二位姿与重力方向确定的转换关系来确定世界坐标系到惯性坐标系的转换关系，也就能够基于图像帧的位姿来建立世界坐标系到惯性坐标系的转换关系，进而对于相机采集的后续图像帧的位姿也就能够基于所述转换关系来确定，使得对于位姿的定位更加简单、快速，无需再通过重定位等方式来实现位姿定位。
可选地，所述基于所述重力方向确定世界坐标系到惯性坐标系的转换系数，包括：
基于所述重力方向确定世界坐标系下的重力加速度和惯性坐标系下的重力加速度；
根据所述世界坐标系下的重力加速度和惯性坐标系下的重力加速度确定所述世界坐标系和所述惯性坐标系之间的旋转矩阵；
根据所述旋转矩阵确定世界坐标系到惯性坐标系的转换系数。
具体地，在基于视觉惯性定位系统初始化得到重力方向后，例如基于上述实施例中建立的初始化矩阵求解得到的重力方向，可以是对所述重力方向进行优化，得到在图像坐标系下的重力，所述图像坐标系为所述相邻两帧图像中第一图像帧对应的图像坐标系；获取世界坐标系下的重力加速度和惯性坐标系下的重力加速度，进而通过所述世界坐标系下的重力加速度和惯性坐标系下的重力加速度之间的关系求解出世界坐标系与惯性坐标系之间的旋转矩阵，基于该旋转矩阵也就能够获得世界坐标系到惯性坐标系的转换系数。
进一步地，基于所述转换系数及第一图像帧的第二位姿确定世界坐标系到惯性坐标系的转换关系。例如，可以得到如下公式：
Figure BDA0003712535130000101
其中，
Figure BDA0003712535130000102
表示世界坐标系到惯性坐标系的转换系数，Tc w表示第一图像帧的第二位姿，该第二位姿为第一图像帧在世界坐标系下的位姿，
Figure BDA0003712535130000103
表示第一图像帧在惯性坐标系的位姿，进而基于上述公式也就能够得到世界坐标系到惯性坐标系的转换关系，也即图像帧在惯性坐标下的位姿为转换系数与该图像帧在世界坐标系下的位姿的乘积。
需要说明地，
Figure BDA0003712535130000104
其中，
Figure BDA0003712535130000105
为第一图像帧在惯性坐标系下的旋转参数，
Figure BDA0003712535130000106
为第一图像帧在惯性坐标系下的平移参数。
本申请实施例中，在确定世界坐标系到惯性坐标系的转换关系后，进而对于相机采集的当前帧图像，也就能够将当前帧图像在世界坐标系下的坐标转换到惯性坐标系下，以得到当前帧图像在关系坐标系下的第一位姿。
例如，获取当前帧图像在世界坐标系下的位姿
Figure BDA0003712535130000107
基于上述转换关系得到以下公式：
Figure BDA0003712535130000108
其中，
Figure BDA0003712535130000109
为当前帧图像在惯性坐标系的第一位姿，
Figure BDA00037125351300001010
为世界坐标系到惯性坐标系的转换系数，
Figure BDA00037125351300001011
为当前帧图像在世界坐标系下的位姿。
这样，通过确定世界坐标系到惯性坐标系的转换关系，也就使得对于当前帧图像的位姿的确定方式更加便捷，无需再通过重定位等方式来确定位姿，有效提升了位姿定位的效率。
可选地，所述方法还包括：
基于所述当前帧图像和所述当前帧图像的前一帧图像构建非线性最小二乘问题，以对所述当前帧图像的位姿进行优化，获得优化后的第三位姿；
进一步地，所述根据所述转换关系，将当前帧图像在世界坐标系中的坐标转换到惯性坐标系下，得到所述当前帧图像在所述惯性坐标系下的第一位姿，包括：
根据所述转换关系，将所述第三位姿在世界坐标系中的坐标转换到惯性坐标系下，得到所述当前帧图像在所述惯性坐标系下的第一位姿。
本申请实施例中，电子设备能够基于构建非线性最小二乘问题来对相机采集的当前帧图像的位姿进行优化。可选地，可以是先对当前帧图像构建IMU约束，得到当前帧图像与前一帧图像的相对位姿关系，并以此估算当前帧图像的位姿；构建当前帧图像与前一帧图像的视觉共视关系，得到共视的地标(landmark)信息，然后构建非线性最小二乘问题，以对当前帧图像的相关参数进行优化，以得到当前帧图像优化后的位姿。
需要说明地，对于相机连续采集的图像，这些图像中的两个或两个以上的图像可能存在视觉共视关系。如图4所示，相机采集的前四帧图像都对应第一个共视点(也即图4中左边第一个五角星)，第三帧图像和第四帧图像对应第二个共视点，第四帧图像和第五帧图像对应第三个共视点。基于图像帧之间的视觉共视关系，能够更好地构建相邻图像帧之间的非线性最小二乘问题。
可选地，可以是基于如下公式构建非线性最小二乘问题：
Figure BDA0003712535130000111
其中，j为当前帧图像，j＝i+1，也即i为当前帧图像的前一帧图像，Vi,j表示第i帧与第j帧之间的共视特征点，
Figure BDA0003712535130000112
表示第i帧与第j帧关于共视点p的视觉约束，Ti、Tj、ρp分别表示第i帧的位姿、第j帧的位姿以及p点在源帧下的逆深度，
Figure BDA0003712535130000113
表示0时刻先验约束，其中M0表示0时刻的IMU运动约束，C0表示0时刻的视觉(camera)约束，
Figure BDA0003712535130000114
表示i与i+1之间的IMU约束，Mi表示i时刻的运动约束，Mi+1表示i+1时刻的运动约束，∑vis表示视觉约束权重，∑prior表示先验约束权重，∑imu表示IMU约束权重。
基于上述公式构建非线性最小二乘问题后，进行非线性优化，进而以对当前帧图像的IMU数据进行优化，基于优化后的IMU数据计算当前帧图像优化后的位姿，也即获得第三位姿。
进一步地，基于世界坐标系到惯性坐标系的转换关系，将所述第三位姿在世界坐标系下的坐标转换到惯性坐标系下，进而得到所述当前帧图像在所述惯性坐标系下的第一位姿。
本申请实施例中，所述转换关系：图像帧在惯性坐标系下的位姿为转换世界坐标系到惯性坐标系的转换系数与该图像帧在世界坐标系下的位姿的乘积，进而基于所述转换关系也就能够计算当前图像帧的第一位姿。具体的，所述当前图像帧的第一位姿可通过如下公式表示：
Figure BDA0003712535130000121
其中，
Figure BDA0003712535130000122
表示世界坐标系到惯性坐标系的转换系数，
Figure BDA0003712535130000123
表示当前图像帧的第三位姿，
Figure BDA0003712535130000124
表示第一图像帧在惯性坐标系的第一位姿，进而基于上述公式也就能够得到当前图像帧转换到惯性坐标系下的第一位姿。
本申请实施例中，对于相机采集的当前帧图像，通过对当前帧图像和前一帧图像构建非线性最小二乘问题，以对当前帧图像的位姿进行优化，基于优化后的位姿来进行世界坐标系到惯性坐标系的转换，以得到当前帧图像在惯性坐标系下的位姿。这样，通过对当前帧图像的位姿进行优化，能够有效提升当前帧图像位姿定位的准确性。
请参照图5，图5是本申请实施例提供的一种位姿确定装置的结构图，如图5所示，所述位姿确定装置500包括：
初始化模块501，用于基于相邻两帧图像的图像数据对视觉惯性定位系统进行初始化，得到重力方向；
确定模块502，用于基于所述重力方向确定世界坐标系到惯性坐标系的转换关系；
转换模块503，用于根据所述转换关系，将当前帧图像在世界坐标系中的坐标转换到惯性坐标系下，得到所述当前帧图像在所述惯性坐标系下的第一位姿。
可选地，所述初始化模块501还用于：
获取相邻两帧图像分别对应的第一惯性测量单元IMU数据和第二IMU数据；
基于所述第一IMU数据和所述第二IMU数据对视觉惯性定位系统进行初始化，得到所述重力方向。
可选地，所述初始化模块501还用于：
基于所述第一IMU数据和所述第二IMU数据计算IMU预积分的平移量和速度；
分别获取所述相邻两帧图像从相机坐标系转换到世界坐标系的位置，并获取所述相邻两帧图像转换到所述世界坐标系的位置的差值；
获取所述世界坐标系到所述惯性坐标系的旋转量以及相机坐标系相对于所述惯性坐标系的位移；
基于所述平移量、所述速度、所述差值、所述旋转量及所述位移构建初始化矩阵方程；
基于所述初始化矩阵方程对所述视觉惯性定位系统进行初始化，得到重力方向。
可选地，所述相邻两帧图像包括第一图像帧，所述确定模块502包括：
获取单元，用于获取所述第一图像帧在世界坐标系下的第二位姿；
确定单元，用于基于所述重力方向及所述第二位姿确定世界坐标系到惯性坐标系的转换关系。
可选地，所述获取单元还用于：
获取所述第一图像帧的第一全局描述子；
获取目标地图中每一帧地图图像的第二全局描述子；
获取与所述第一全局描述子相似性最大的目标第二全局描述子，并基于所述目标第二全局描述子确定对应的关键地图帧；
获取所述关键地图帧中3D特征点与2D特征点的匹配关系，根据所述匹配关系确定所述第一图像帧在世界坐标系下的第二位姿。
可选地，所述确定单元还用于：
基于所述重力方向确定世界坐标系到惯性坐标系的转换系数；
基于所述转换系数及所述第二位姿确定世界坐标系到惯性坐标系的转换关系。
可选地，所述确定单元还用于：
基于所述重力方向确定世界坐标系下的重力加速度和惯性坐标系下的重力加速度；
根据所述世界坐标系下的重力加速度和惯性坐标系下的重力加速度确定所述世界坐标系和所述惯性坐标系之间的旋转矩阵；
根据所述旋转矩阵确定世界坐标系到惯性坐标系的转换系数。
可选地，所述装置还包括：
优化模块，用于基于所述当前帧图像和所述当前帧图像的前一帧图像构建非线性最小二乘问题，以对所述当前帧图像的位姿进行优化，获得优化后的第三位姿；
所述转换模块503还用于：
根据所述转换关系，将所述第三位姿在世界坐标系中的坐标转换到惯性坐标系下，得到所述当前帧图像在所述惯性坐标系下的第一位姿。
本申请实施例中，所述装置在确定世界坐标系到惯性坐标系的转换关系后，进而对于相机采集的当前帧图像，也就能够基于所述转换关系，将当前帧图像在世界坐标系下的坐标转换到惯性坐标系下，进而得到所述当前帧图像在所述惯性坐标系下的第一位姿。这样，也就无需再经过地图点云构建、重定位等方式来实现位姿定位，使得对于位姿的确定方法更加简单快速，有效提升了所述装置基于相机采集图像来实现位姿定位的效率。
本申请实施例中的位姿确定装置500可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，本申请实施例不作具体限定。
本申请实施例中的位姿确定装置500可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的位姿确定装置500能够实现图1所述方法实施例实现的各个过程，为避免重复，这里不再赘述。
本申请实施例还提供了一种电子设备。请参见图6，图6是本申请实施例提供的一种电子设备的结构图，如图6所示，所述电子设备包括：处理器600、存储器620及存储在所述存储器620上并可在所述处理器600上运行的程序或指令，处理器600，用于读取存储器620中的程序或指令；所述电子设备还包括总线接口和收发机610。
收发机610，用于在处理器600的控制下接收和发送数据。
其中，在图6中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器600代表的一个或多个处理器和存储器620代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机610可以是多个元件，即包括发送机和收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器600负责管理总线架构和通常的处理，存储器620可以存储处理器600在执行操作时所使用的数据。
其中，处理器600，用于读取存储器620中的程序或指令，执行如下步骤：
基于相邻两帧图像的图像数据对视觉惯性定位系统进行初始化，得到重力方向；
基于所述重力方向确定世界坐标系到惯性坐标系的转换关系；
根据所述转换关系，将当前帧图像在世界坐标系中的坐标转换到惯性坐标系下，得到所述当前帧图像在所述惯性坐标系下的第一位姿。
可选地，处理器600，还用于读取存储器620中的程序或指令，执行如下步骤：
获取相邻两帧图像分别对应的第一惯性测量单元IMU数据和第二IMU数据；
基于所述第一IMU数据和所述第二IMU数据对视觉惯性定位系统进行初始化，得到所述重力方向。
可选地，处理器600，还用于读取存储器620中的程序或指令，执行如下步骤：
基于所述第一IMU数据和所述第二IMU数据计算IMU预积分的平移量和速度；
分别获取所述相邻两帧图像从相机坐标系转换到世界坐标系的位置，并获取所述相邻两帧图像转换到所述世界坐标系的位置的差值；
获取所述世界坐标系到所述惯性坐标系的旋转量以及相机坐标系相对于所述惯性坐标系的位移；
基于所述平移量、所述速度、所述差值、所述旋转量及所述位移构建初始化矩阵方程；
基于所述初始化矩阵方程对所述视觉惯性定位系统进行初始化，得到重力方向。
可选地，所述相邻两帧图像包括第一图像帧，处理器600，还用于读取存储器620中的程序或指令，执行如下步骤：
获取所述第一图像帧在世界坐标系下的第二位姿；
基于所述重力方向及所述第二位姿确定世界坐标系到惯性坐标系的转换关系。
可选地，处理器600，还用于读取存储器620中的程序或指令，执行如下步骤：
获取所述第一图像帧的第一全局描述子；
获取目标地图中每一帧地图图像的第二全局描述子；
获取与所述第一全局描述子相似性最大的目标第二全局描述子，并基于所述目标第二全局描述子确定对应的关键地图帧；
获取所述关键地图帧中3D特征点与2D特征点的匹配关系，根据所述匹配关系确定所述第一图像帧在世界坐标系下的第二位姿。
可选地，处理器600，还用于读取存储器620中的程序或指令，执行如下步骤：
基于所述重力方向确定世界坐标系到惯性坐标系的转换系数；
基于所述转换系数及所述第二位姿确定世界坐标系到惯性坐标系的转换关系。
可选地，处理器600，还用于读取存储器620中的程序或指令，执行如下步骤：
基于所述重力方向确定世界坐标系下的重力加速度和惯性坐标系下的重力加速度；
根据所述世界坐标系下的重力加速度和惯性坐标系下的重力加速度确定所述世界坐标系和所述惯性坐标系之间的旋转矩阵；
根据所述旋转矩阵确定世界坐标系到惯性坐标系的转换系数。
可选地，处理器600，还用于读取存储器620中的程序或指令，执行如下步骤：
基于所述当前帧图像和所述当前帧图像的前一帧图像构建非线性最小二乘问题，以对所述当前帧图像的位姿进行优化，获得优化后的第三位姿；
根据所述转换关系，将所述第三位姿在世界坐标系中的坐标转换到惯性坐标系下，得到所述当前帧图像在所述惯性坐标系下的第一位姿。
本申请实施例中，在确定世界坐标系到惯性坐标系的转换关系后，进而对于相机采集的当前帧图像，也就能够基于所述转换关系，将当前帧图像在世界坐标系下的坐标转换到惯性坐标系下，进而得到所述当前帧图像在所述惯性坐标系下的第一位姿。这样，也就无需再经过地图点云构建、重定位等方式来实现位姿定位，使得电子设备对于位姿的确定方法更加简单快速，有效提升了电子设备基于相机采集图像来实现位姿定位的效率。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图1所述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图1所述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (11)

1.一种位姿确定方法，其特征在于，包括：
基于相邻两帧图像的图像数据对视觉惯性定位系统进行初始化，得到重力方向；
基于所述重力方向确定世界坐标系到惯性坐标系的转换关系；
根据所述转换关系，将当前帧图像在世界坐标系中的坐标转换到惯性坐标系下，得到所述当前帧图像在所述惯性坐标系下的第一位姿。
2.根据权利要求1所述的方法，其特征在于，所述基于相邻两帧图像的图像数据对视觉惯性定位系统进行初始化，得到重力方向，包括：
获取相邻两帧图像分别对应的第一惯性测量单元IMU数据和第二IMU数据；
基于所述第一IMU数据和所述第二IMU数据对视觉惯性定位系统进行初始化，得到所述重力方向。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一IMU数据和所述第二IMU数据对视觉惯性定位系统进行初始化，得到所述重力方向，包括：
基于所述第一IMU数据和所述第二IMU数据计算IMU预积分的平移量和速度；
分别获取所述相邻两帧图像从相机坐标系转换到世界坐标系的位置，并获取所述相邻两帧图像转换到所述世界坐标系的位置的差值；
获取所述世界坐标系到所述惯性坐标系的旋转量以及相机坐标系相对于所述惯性坐标系的位移；
基于所述平移量、所述速度、所述差值、所述旋转量及所述位移构建初始化矩阵方程；
基于所述初始化矩阵方程对所述视觉惯性定位系统进行初始化，得到重力方向。
4.根据权利要求1所述的方法，其特征在于，所述相邻两帧图像包括第一图像帧，所述基于所述重力方向确定世界坐标系到惯性坐标系的转换关系，包括：
获取所述第一图像帧在世界坐标系下的第二位姿；
基于所述重力方向及所述第二位姿确定世界坐标系到惯性坐标系的转换关系。
5.根据权利要求4所述的方法，其特征在于，所述获取所述第一图像帧在世界坐标系下的第二位姿，包括：
获取所述第一图像帧的第一全局描述子；
获取目标地图中每一帧地图图像的第二全局描述子；
获取与所述第一全局描述子相似性最大的目标第二全局描述子，并基于所述目标第二全局描述子确定对应的关键地图帧；
获取所述关键地图帧中3D特征点与2D特征点的匹配关系，根据所述匹配关系确定所述第一图像帧在世界坐标系下的第二位姿。
6.根据权利要求4所述的方法，其特征在于，所述基于所述重力方向及所述第二位姿确定世界坐标系到惯性坐标系的转换关系，包括：
基于所述重力方向确定世界坐标系到惯性坐标系的转换系数；
基于所述转换系数及所述第二位姿确定世界坐标系到惯性坐标系的转换关系。
7.根据权利要求6所述的方法，其特征在于，所述基于所述重力方向确定世界坐标系到惯性坐标系的转换系数，包括：
基于所述重力方向确定世界坐标系下的重力加速度和惯性坐标系下的重力加速度；
根据所述世界坐标系下的重力加速度和惯性坐标系下的重力加速度确定所述世界坐标系和所述惯性坐标系之间的旋转矩阵；
根据所述旋转矩阵确定世界坐标系到惯性坐标系的转换系数。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述当前帧图像和所述当前帧图像的前一帧图像构建非线性最小二乘问题，以对所述当前帧图像的位姿进行优化，获得优化后的第三位姿；
所述根据所述转换关系，将当前帧图像在世界坐标系中的坐标转换到惯性坐标系下，得到所述当前帧图像在所述惯性坐标系下的第一位姿，包括：
根据所述转换关系，将所述第三位姿在世界坐标系中的坐标转换到惯性坐标系下，得到所述当前帧图像在所述惯性坐标系下的第一位姿。
9.一种位姿确定装置，其特征在于，包括：
初始化模块，用于基于相邻两帧图像的图像数据对视觉惯性定位系统进行初始化，得到重力方向；
确定模块，用于基于所述重力方向确定世界坐标系到惯性坐标系的转换关系；
转换模块，用于根据所述转换关系，将当前帧图像在世界坐标系中的坐标转换到惯性坐标系下，得到所述当前帧图像在所述惯性坐标系下的第一位姿。
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-8中任一项所述的位姿确定方法的步骤。
11.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-8中任一项所述的位姿确定方法的步骤。
CN202210729520.0A 2022-06-24 2022-06-24 位姿确定方法、装置、电子设备和可读存储介质 Pending CN115063480A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210729520.0A CN115063480A (zh) 2022-06-24 2022-06-24 位姿确定方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210729520.0A CN115063480A (zh) 2022-06-24 2022-06-24 位姿确定方法、装置、电子设备和可读存储介质

Publications (1)

Publication Number Publication Date
CN115063480A true CN115063480A (zh) 2022-09-16

Family

ID=83203085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210729520.0A Pending CN115063480A (zh) 2022-06-24 2022-06-24 位姿确定方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN115063480A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117288187A (zh) * 2023-11-23 2023-12-26 北京小米机器人技术有限公司 机器人位姿确定方法、装置、电子设备及存储介质
WO2024087066A1 (zh) * 2022-10-26 2024-05-02 北京小米移动软件有限公司 图像定位方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024087066A1 (zh) * 2022-10-26 2024-05-02 北京小米移动软件有限公司 图像定位方法、装置、电子设备及存储介质
CN117288187A (zh) * 2023-11-23 2023-12-26 北京小米机器人技术有限公司 机器人位姿确定方法、装置、电子设备及存储介质
CN117288187B (zh) * 2023-11-23 2024-02-23 北京小米机器人技术有限公司 机器人位姿确定方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11313684B2 (en) Collaborative navigation and mapping
Panahandeh et al. Vision-aided inertial navigation based on ground plane feature detection
CN111046125A (zh) 一种视觉定位方法、系统及计算机可读存储介质
CN115063480A (zh) 位姿确定方法、装置、电子设备和可读存储介质
CN110617814A (zh) 单目视觉和惯性传感器融合的远距离测距系统及方法
KR102198851B1 (ko) 물체의 3차원 모델 데이터 생성 방법
CN113377888B (zh) 训练目标检测模型和检测目标的方法
CN112284400B (zh) 车辆的定位方法、装置、电子设备及计算机可读存储介质
Cheng et al. Mobile robot indoor dual Kalman filter localisation based on inertial measurement and stereo vision
CN109300143A (zh) 运动向量场的确定方法、装置、设备、存储介质和车辆
CN111459269A (zh) 一种增强现实显示方法、系统及计算机可读存储介质
WO2014026021A1 (en) Systems and methods for image-based searching
Xian et al. Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
CN110780325A (zh) 运动对象的定位方法及装置、电子设备
CN113570716A (zh) 云端三维地图构建方法、系统及设备
JP7375149B2 (ja) 測位方法、測位装置、ビジュアルマップの生成方法およびその装置
CN112037261A (zh) 一种图像动态特征去除方法及装置
US20210248773A1 (en) Positioning method and apparatus, and mobile device
Sun et al. Accurate deep direct geo-localization from ground imagery and phone-grade gps
Kuriakose et al. Distance estimation methods for smartphone-based navigation support systems
Ayadi et al. The skyline as a marker for augmented reality in urban context
CN112880675B (zh) 用于视觉定位的位姿平滑方法、装置、终端和移动机器人
CN115345921A (zh) 一种三维重建方法、装置、无人设备以及存储介质
Hashimoto et al. Self-localization from a 360-Degree Camera Based on the Deep Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination