CN115205419A - 即时定位与地图构建方法、装置、电子设备及可读存储介质 - Google Patents

即时定位与地图构建方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN115205419A
CN115205419A CN202210163295.9A CN202210163295A CN115205419A CN 115205419 A CN115205419 A CN 115205419A CN 202210163295 A CN202210163295 A CN 202210163295A CN 115205419 A CN115205419 A CN 115205419A
Authority
CN
China
Prior art keywords
image
pose information
information
frame
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210163295.9A
Other languages
English (en)
Inventor
向学勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202210163295.9A priority Critical patent/CN115205419A/zh
Publication of CN115205419A publication Critical patent/CN115205419A/zh
Priority to PCT/CN2023/076247 priority patent/WO2023160445A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种即时定位与地图构建方法、装置、电子设备及可读存储介质，属于通信技术领域。该方法包括：根据采集的第i‑1帧图像的最终位姿信息，确定采集的第i帧图像的初始位姿信息，i为大于1的整数；将第i帧图像的初始位姿信息与第一插值变量融合，得到第i帧图像的最终位姿信息，第一插值变量为在采集第i帧图像前得到的最后一个插值变量，第一插值变量为第一图像的初始位姿信息与目标位姿信息之间的插值变量，第一图像为在第i帧图像前采集的图像中为关键帧的图像，目标位姿信息为对第一图像的初始位姿信息进行优化后的位姿信息；基于第i帧图像的最终位姿信息和第i帧图像，进行即时定位与地图构建。

Description

即时定位与地图构建方法、装置、电子设备及可读存储介质
技术领域
本申请属于通信技术领域，具体涉及一种即时定位与地图构建方法、装置、电子设备及可读存储介质。
背景技术
随着通信技术的不断发展，电子设备的功能越来越丰富。例如，电子设备可以通过跟踪当前场景的每个图像帧的位姿，进行即时定位与地图构建。
其中，在相关技术中，电子设备可以基于滤波的方法或基于优化的方法，对电子设备即时获取的当前场景的图像帧的位姿进行处理，并输出处理后的位姿，如此可以实现对每个图像帧的位姿的跟踪。
然而，按照上述方法，由于一方面，基于滤波的方法无法对图像帧的位姿进行校正，从而导致电子设备跟踪位姿的准确性较差；另一方面，基于优化的方法的计算量较大，从而使得电子设备处理单个图像帧的位姿的时间较长，进而导致电子设备跟踪位姿的延时较长；因此可能导致电子设备进行即时定位与地图构建的效果较差。
发明内容
本申请实施例的目的是提供一种即时定位与地图构建方法、装置、电子设备及可读存储介质，能够解决电子设备进行即时定位与地图构建的效果较差的问题。
第一方面，本申请实施例提供了一种即时定位与地图构建方法，该方法包括：根据采集的第i-1帧图像的最终位姿信息，确定采集的第i帧图像的初始位姿信息，i为大于1的整数；将第i帧图像的初始位姿信息与第一插值变量融合，得到第i帧图像的最终位姿信息，第一插值变量为在采集第i帧图像前得到的最后一个插值变量，第一插值变量为第一图像的初始位姿信息与目标位姿信息之间的插值变量，第一图像为在第i帧图像前采集的图像中为关键帧的图像，目标位姿信息为对第一图像的初始位姿信息进行优化后的位姿信息；基于第i帧图像的最终位姿信息和第i帧图像，进行即时定位与地图构建。
第二方面，本申请实施例提供了一种即时定位与地图构建装置，该装置包括采集模块、确定模块、融合模块和处理模块；确定模块，用于根据采集模块采集的第i-1帧图像的最终位姿信息，确定采集模块采集的第i帧图像的初始位姿信息，i为大于1的整数；融合模块，用于将第i帧图像的初始位姿信息与第一插值变量融合，得到第i帧图像的最终位姿信息，第一插值变量为在采集模块采集第i帧图像前得到的最后一个插值变量，第一插值变量为第一图像的初始位姿信息与目标位姿信息之间的插值变量，第一图像为在第i帧图像前采集模块采集的图像中为关键帧的图像，目标位姿信息为对第一图像的初始位姿信息进行优化后的位姿信息；处理模块，用于基于第i帧图像的最终位姿信息和第i帧图像，进行即时定位与地图构建。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中，可以根据采集的第i-1帧图像的最终位姿信息，确定采集的第i帧图像的初始位姿信息，i为大于1的整数；且将第i帧图像的初始位姿信息与第一插值变量融合，得到第i帧图像的最终位姿信息，第一插值变量为在采集第i帧图像前得到的最后一个插值变量，第一插值变量为第一图像的初始位姿信息与目标位姿信息之间的插值变量，第一图像为在第i帧图像前采集的图像中为关键帧的图像，目标位姿信息为对第一图像的初始位姿信息进行优化后的位姿信息；并基于第i帧图像的最终位姿信息和第i帧图像，进行即时定位与地图构建。通过该方案，由于电子设备可以基于第i帧图像，以及第一插值变量与根据第i-1帧图像的最终位姿信息确定的该第i帧图像的初始位姿信息融合后的位姿信息，进行即时定位与地图构建，且该第一插值变量为电子设备在该第i帧图像前采集的图像中为关键帧的图像的优化前后的初始位姿信息之间的插值变量，因此，一方面电子设备可以对该第i帧图像的初始位姿进行校正，从而可以提高跟踪位姿的准确性，另一方面电子设备只需对为关键帧的图像计算插值变量，从而可以缩短跟踪位姿的延时。如此，可以确保电子设备输出高频率高精度的位姿信息，进而可以提高电子设备进行即时定位与地图构建的效果。
附图说明
图1是本申请实施例提供的即时定位与地图构建方法的流程图；
图2是本申请实施例提供的即时定位与地图构建装置的示意图；
图3是本申请实施例提供的电子设备的示意图；
图4是本申请实施例提供的电子设备的硬件示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的即时定位与地图构建方法、装置、电子设备及可读存储介质进行详细地说明。
即时定位与地图构建是指运动物体根据传感器的信息，一边计算自身位置，一边构建环境地图的过程。目前，即时定位与地图构建已经应用在机器人、虚拟现实和增强现实等领域，其用途包括传感器自身的定位，以及后续的路径规划、场景理解。目前，主流的即时定位与地图构建方法一般分为基于滤波和基于优化的两种类型。基于滤波的方法是用前一时刻各种状态的值来估计下一个时刻；而基于优化的方法则是将所有状态看成为变量，把运动方程和观测方程看成是变量间的约束，构造误差函数，最小化这个误差的二次型。
然而，以多状态约束下的卡尔曼滤波器MSCKF(Multi-State Constraint KalmanFilter,MSCKF)为代表的基于滤波的方法，具有算法功耗较低、算法输出频率较高、即时定位精度良好的特点，比较适用于移动终端的应用场景。但由于其理论体系框架并不完整，缺乏地图构建的功能；再者，空间即时定位的误差将随着该方法运行时间的加长而逐渐变大；并且，在实际应用中一旦出现电子设备定位失败的情况，整个MSCKF系统将无法继续运行，因此可能导致现有的MSCKF系统鲁棒性较差。而基于优化的方法，具备系统模块完备(同时包含即时定位模块、地图构建模块)，即时定位精度较高的特点，整个系统的鲁棒性也较强。但由于该方法在运行时计算量比较大，相应的算法功耗很高，算法输出频率较低，因此该方法并不适用于移动终端高输出速率、低计算功耗的应用需要。如此，导致电子设备进行即时定位与地图构建的效果较差。
为了解决上述问题，本申请实施例中，电子设备可以根据采集的第i-1帧图像的最终位姿信息，确定采集的第i帧图像的初始位姿信息，i为大于1的整数；且将第i帧图像的初始位姿信息与第一插值变量融合，得到第i帧图像的最终位姿信息，第一插值变量为在采集第i帧图像前得到的最后一个插值变量，第一插值变量为第一图像的初始位姿信息与目标位姿信息之间的插值变量，第一图像为在第i帧图像前采集的图像中为关键帧的图像，目标位姿信息为对第一图像的初始位姿信息进行优化后的位姿信息；并基于第i帧图像的最终位姿信息和第i帧图像，进行即时定位与地图构建。通过该方法，一方面由于电子设备可以对该第i帧图像的初始位姿进行校正，因此可以提高跟踪位姿的准确性，另一方面由于电子设备只需对为关键帧的图像计算插值变量，因此可以缩短跟踪位姿的延时。如此，可以确保电子设备输出高频率高精度的位姿信息，进而可以提高电子设备进行即时定位与地图构建的效果。
本申请实施例提供一种即时定位与地图构建方法，图1示出了本申请实施例提供的即时定位与地图构建方法的流程图。如图1所示，本申请实施例提供的即时定位与地图构建方法可以包括下述的步骤101至步骤103。
步骤101、电子设备根据采集的第i-1帧图像的最终位姿信息，确定采集的第i帧图像的初始位姿信息。
本申请实施例中，上述i为大于1的整数。
可选地，本申请实施例中，电子设备在即时定位与地图构建过程中，可以通过电子设备中的传感器实时采集电子设备所处的场景的图像。
本申请实施例中，图像的位姿信息可以指示图像在三维空间中的位置。
可选地，本申请实施例中，位姿信息可以包括旋转坐标和位移坐标。
例如，位姿信息T＝{R，P}，其中，R为旋转坐标，包括在三维空间中以X轴为中心的旋转坐标、以Y轴为中心的旋转坐标和以Z轴为中心的旋转坐标；P为位移坐标，包括在三维空间中在X轴上的坐标、在Y轴上的坐标和在Z轴上的坐标。
下面对电子设备在确定采集的第i帧图像的初始位姿信息的具体方法进行详细说明。
可选地，本申请实施例中，上述步骤101具体可以通过下述的步骤101a，以及步骤A或步骤B实现。
步骤101a、电子设备采用滤波算法，对第i-1帧图像的最终位姿信息处理，得到第一位姿信息。
可选地，本申请实施例中，滤波算法的原理可以为：
x＝f(xi-1)+n
其中，x为第一位姿信息，xi-1为第i-1帧图像的最终位姿信息，f为转移矩阵，n为噪声项。
可以看出，电子设备可以根据第i-1帧图像的最终位姿信息，计算得到第一位姿信息。
可选地，本申请实施例中，电子设备在得到第一位姿信息之后，可以判断第一位姿信息与第i-1帧图像的最终位姿信息的匹配情况，并根据该匹配情况确定执行步骤A，或执行步骤B。
步骤A、电子设备在第一位姿信息与第i-1帧图像的最终位姿信息的匹配度小于或等于预设匹配度的情况下，将第i-1帧图像的最终位姿信息确定为第i帧图像的初始位姿信息。
可选地，本申请实施例中，预设匹配度可以为系统默认的或用户根据实际使用需求设置的。
可以理解，第一位姿信息与第i-1帧图像的最终位姿信息的匹配度小于或等于预设匹配度，即第一位姿信息与第i-1帧图像的最终位姿信息相差过大。
示例性地，若电子设备在采集当前场景的图像的过程中，出现定位失败的情况，例如电子设备长时间采集白墙的图像，则电子设备在采用滤波算法进行运算时，由于误差的累计，会出现计算出的位姿信息异常，即该位姿信息(即第一位姿信息)与前一帧图像(即第i-1帧图像)的最终位姿信息的匹配度小于或等于预设匹配度。
可选地，本申请实施例中，电子设备可以保存整个定位过程的历史信息，在第一位姿信息与第i-1帧图像的最终位姿信息的匹配度小于或等于预设匹配度时，将第i-1帧图像的最终位姿信息确定为第i帧图像的初始位姿信息，从而可以减少误差，确保第i帧图像的初始位姿信息的准确性。
步骤B、电子设备在第一位姿信息与第i-1帧图像的最终位姿信息的匹配度大于预设匹配度的情况下，将第一位姿信息确定为第i帧图像的初始位姿信息。
可以理解，第一位姿信息与第i-1帧图像的最终位姿信息的匹配度大于预设匹配度，即第一位姿信息与第i-1帧图像的最终位姿信息相差不大，此时，电子设备可以将第一位姿信息确定为第i帧图像的初始位姿信息，即第i帧图像的初始位姿信息为电子设备采用滤波算法，对第i-1帧图像的最终位姿信息处理得到的位姿信息。
本申请实施例中，由于电子设备可以通过判断第i-1帧图像的最终位姿信息，与采用滤波算法对第i-1帧图像的最终位姿信息处理得到的位姿信息(即第一位姿信息)之间的匹配度，将第i-1帧图像的最终位姿信息，或第一位姿信息确定第i帧图像的初始位姿信息，因此可以确保第i帧图像的初始位姿信息的准确性。
步骤102、电子设备将第i帧图像的初始位姿信息与第一插值变量融合，得到第i帧图像的最终位姿信息。
本申请实施例中，第一插值变量为在采集第i帧图像前得到的最后一个插值变量。
需要说明的是，电子设备可以通过对为关键帧的图像的位姿信息的计算，得到一个插值变量，电子设备在计算的过程中，不再对新采集的为关键帧的图像的位姿信息进行计算，直至该次计算结束；若电子设备在该次计算结束后又采集到一张为关键帧的图像，则电子设备可以通过对该图像的位姿信息的计算，得到一个新的插值变量。
本申请实施例中，第一插值变量为第一图像的初始位姿信息与目标位姿信息之间的插值变量。
本申请实施例中，目标位姿信息可以为对第一图像的初始位姿信息进行优化后的位姿信息。
本申请实施例中，第一图像为在第i帧图像前采集的图像中为关键帧的图像。
可选地，本申请实施例中，电子设备采集的图像中为关键帧的图像，可以为电子设备长时间采集的一帧图像，或者可以为电子设备采集的图像中包括未采集过的元素的图像等。
可选地，本申请实施例中，电子设备可以通过坐标运算，将第i帧图像的初始位姿信息与第一插值变量进行融合，并得到第i帧图像的最终位姿信息。
例如，若第i帧图像的初始位姿信息为
Figure BDA0003515620730000081
第一插值变量为
Figure BDA0003515620730000082
则电子设备可以通过坐标运算
Figure BDA0003515620730000083
以将第i帧图像的初始位姿信息与第一插值变量进行融合，并得到第i帧图像的最终位姿信息Tout＝{Rout,Pout}。
可选地，本申请实施例中，电子设备可以通过卡尔曼滤波方法将第i帧图像的初始位姿信息与第一插值变量融合，得到第i帧图像的最终位姿信息。
下面对本申请实施例提供的即时定位与地图构建方法进行示例性地说明。
示例性地，假设第a帧图像为在第i帧图像前采集的图像中为关键帧的图像，电子设备可以计算第a帧图像的初始位姿信息与对第a帧图像的初始位姿信息进行优化后的位姿信息(即目标位姿信息)之间的插值变量，若第i帧图像为电子设备计算得到该插值变量后采集的图像，则电子设备可以将第i帧图像的初始位姿信息与该插值变量(即第一插值变量)融合，得到第i帧图像的最终位姿信息；若第i帧图像为电子设备计算得到该插值变量前采集的图像，则电子设备可以将第i帧图像的初始位姿信息与上一次计算得到的插值变量(即第一插值变量)融合，得到第i帧图像的最终位姿信息。如此，可以确保得到的第i帧图像的最终位姿信息的准确性。
对于电子设备确定第一插值变量，以及优化第一图像的初始位姿信息的具体方法将在下述的实施例中进行详细描述，为了避免重复，此处不予赘述。
步骤103、电子设备基于第i帧图像的最终位姿信息和第i帧图像，进行即时定位与地图构建。
本申请实施例中，电子设备可以基于第i帧图像的最终位姿信息和第i帧图像，进行即时定位与地图构建，以构建出第i帧图像对应的三维地图。
可选地，本申请实施例中，电子设备可以将构建出的第i帧图像对应的三维地图，与第i帧图像之前构建的每一帧图像对应的三维地图进行叠加，从而可以实现对当前场景的即时定位与地图构建。
需要说明的是，若电子设备在采集第i帧图像前并未得到任何一个插值变量，则电子设备可以直接基于第i帧图像的初始位姿信息和第i帧图像，进行即时定位与地图构建；或者，电子设备可以对第i帧图像的初始位姿信息进行优化，且确定一个差值变量，并将第i帧图像的初始位姿信息与该插值变量进行融合，得到第i帧图像的最终位姿信息，从而电子设备可以基于第i帧图像的最终位姿信息和第i帧图像，进行即时定位与地图构建。
在本申请实施例提供的即时定位与地图构建方法中，由于电子设备可以基于第i帧图像，以及第一插值变量与根据第i-1帧图像的最终位姿信息确定的该第i帧图像的初始位姿信息融合后的位姿信息，进行即时定位与地图构建，且该第一插值变量为电子设备在该第i帧图像前采集的图像中为关键帧的图像的优化前后的初始位姿信息之间的插值变量，因此，一方面电子设备可以对该第i帧图像的初始位姿进行校正，从而可以提高跟踪位姿的准确性，另一方面电子设备只需对为关键帧的图像计算插值变量，从而可以缩短跟踪位姿的延时。如此，可以确保电子设备输出高频率高精度的位姿信息，进而可以提高电子设备进行即时定位与地图构建的效果。
可选地，本申请实施例中，在上述步骤101之前，本申请实施例提供的即时定位与地图构建方法还可以包括下述的步骤104和步骤105。
步骤104、电子设备基于M个位姿信息、M组偏移信息和第一图像的初始位姿信息，对第一图像的初始位姿信息进行优化，得到目标位姿信息。
本申请实施例中，上述M个位姿信息为M帧图像最近一次优化后的位姿信息，M帧图像为在第一图像前采集的图像中为关键帧的图像，
本申请实施例中，上述M组偏移信息中的每组偏移信息为第一图像的特征点相对于上述M帧图像中的一帧图像的特征点的偏移量。
可选地，本申请实施例中，图像的特征点可以为图像中的顶点、角点或中心点等任意可能的点。
可选地，本申请实施例中，图像中的特征点的数量可以为一个也可以为多个，具体可以由电子设备根据采集的图像确定。
可选地，本申请实施例中，不同图像的特征点的数量可以相同也可以不同。
可选地，本申请实施例中，第一图像与上述M帧图像中的一帧图像之间相对应的特征点的数量可以为N个，N为大于或等于0的整数；可以理解，此时该组偏移信息中包括N个偏移量。
对于电子设备确定上述M组偏移信息的具体方法将在下述的实施例中进行详细描述，为了避免重复，此处不予赘述。
下面对电子设备优化第一图像的初始位姿信息的具体方法进行详细说明。
可选地，本申请实施例中，上述步骤104具体可以通过下述的步骤104a和步骤104b实现。
步骤104a、电子设备根据上述M组偏移信息，确定M组三维位置信息。
本申请实施例中，上述M组偏移信息与上述M组三维位置信息一一对应，每组三维位置信息可以用于指示基于上述M帧图像中的一帧图像构建的三维地图中的特征点。
可选地，本申请实施例中，当上述M组偏移信息中的一组偏移信息中包括N个偏移量时，电子设备根据该组偏移信息确定的一组三维位置信息可以指示构建的三维地图中的N个特征点。
可选地，本申请实施例中，对于上述M组偏移信息中的每组偏移信息，电子设备可以根据第一图像的特征点相对于上述M帧图像中的一帧图像的特征点的偏移量，确定用于指示基于该帧图像构建的三维地图中的特征点的一组三维位置信息。
步骤104b、电子设备采用预设光束法平差算法，对上述M个位姿信息、第一图像的初始位姿信息和上述M组三维位置信息进行处理，得到目标位姿信息。
可选地，本申请实施例中，预设光束法平差算法的原理可以为：
Figure BDA0003515620730000111
其中，T为图像的初始位姿信息，P为三维位置信息，Z为二维观测，π为投影方程，M为第一图像前为关键帧的图像的数量，N为M组三维位置信息指示的三维地图中的特征点的数量。
可以看出，电子设备可以对上述M个位姿信息、第一图像的初始位姿信息和上述M组三维位置信息进行处理，从而得到目标位姿信息。
需要说明的是，本申请实施例中，电子设备采用预设光束法平差算法，在得到目标位姿信息的同时，可以对上述M个位姿信息进行优化，以使电子设备在下一次采用预设光束法平差算法得到新的第一图像的目标位姿信息时，可以基于优化后的M个位姿信息，从而可以提高电子设备即时定位的精度。
本申请实施例中，由于电子设备可以根据M组偏移信息，确定与该M组偏移信息一一对应的，且可以指示构建的三维地图中的特征点的M组三维位置信息，并采用预设光束法平差算法计算得到对第一图像的初始位姿信息优化后的位姿信息，因此可以提高电子设备对第一图像的初始位姿信息进行优化的准确性，从而电子设备在即时定位与地图构建时，可以提高地图构建的精度。
步骤105、电子设备根据第一图像的初始位姿信息中的第一旋转坐标和第一位移坐标，以及目标位姿信息中的第二旋转坐标和第二位移坐标，确定第一插值变量。
对于旋转坐标和位移坐标的详细描述，具体可以参照上述实施例中的相关描述，为了避免重复，此处不再赘述。
下面对电子设备确定第一插值变量的具体方法进行详细说明。
可选地，本申请实施例中，上述步骤105具体可以通过下述的步骤105a至步骤105c实现。
步骤105a、电子设备根据第一旋转坐标和第二旋转坐标，确定目标旋转坐标。
可选地，本申请实施例中，电子设备可以对第一旋转坐标的转置和第二旋转坐标进行乘法运算，得到目标旋转坐标。
步骤105b、电子设备根据目标旋转坐标、第一位移坐标、第二位移坐标，确定目标位移坐标。
可选地，本申请实施例中，电子设备可以将目标旋转坐标和第一位移坐标进行乘法运算，得到中间位移坐标；并将第二位移坐标与中间位移坐标进行减法运算，得到目标位移坐标。
步骤105c、电子设备将目标旋转坐标和目标位移坐标，确定为第一插值变量。
下面对本申请实施例提供的即时定位与地图构建方法进行示例性地说明。
示例性地，假设第一图像的初始位姿信息中的第一旋转坐标为
Figure BDA0003515620730000121
第一位移坐标为
Figure BDA0003515620730000122
第一图像的目标位姿信息中的第二旋转坐标为
Figure BDA0003515620730000123
第二位移坐标为
Figure BDA0003515620730000124
那么，电子设备可以根据第一旋转坐标和第二旋转坐标，确定目标旋转坐标
Figure BDA0003515620730000125
电子设备可以根据目标旋转坐标、第一位移坐标、第二位移坐标，确定目标位移坐标
Figure BDA0003515620730000126
如此，电子设备可以将目标旋转坐标
Figure BDA0003515620730000127
和目标位移坐标
Figure BDA0003515620730000128
确定为第一插值变量。
本申请实施例中，电子设备可以根据第一图像的初始位姿信息中的第一旋转坐标和第一图像的目标位姿信息中的第二旋转坐标，确定出目标旋转坐标，且根据目标旋转坐标、第一图像的初始位姿信息中的第一位移坐标和第一图像的目标位姿信息中的第二位移坐标，确定出目标位移坐标。从而电子设备可以将目标旋转坐标和目标位移坐标，确定为第一插值变量，以方便进一步地进行融合处理。
本申请实施例中，由于电子设备可以基于M帧在第一图像前采集的图像中为关键帧的图像最近一次优化后的位姿信息、M组偏移信息和第一图像的初始位姿信息，对第一图像的初始位姿信息进行优化，并可以根据优化后的位姿信息中的旋转坐标和位移坐标，以及第一图像的初始位姿信息中的旋转坐标和位移坐标，确定第一插值变量，即电子设备可以基于优化前后的第一图像的位姿信息中的坐标确定第一插值变量，因此可以提高电子设备确定第一插值变量的准确性。
下面对电子设备确定上述M组偏移信息的具体方法进行详细说明。
可选地，本申请实施例中，在上述步骤104之前，本申请实施例提供的即时定位与地图构建方法还可以包括下述的步骤106。
步骤106、电子设备根据第一图像的特征点的二维位置信息和上述M帧图像的特征点的二维位置信息，确定上述M组偏移信息。
可选地，本申请实施例中，第一图像的特征点的二维位置信息可以由电子设备通过滤波方法确定。
可选地，本申请实施例中，二维位置信息可以用于指示第一图像的特征点在第一图像中的位置。
可选地，本申请实施例中，电子设备确定第一图像的特征点的二维位置信息的原理如下：
zk＝h(xk)+rk
其中，zk为第一图像的特征点的二维位置信息(即二维观测)，xk为第一图像的初始位姿信息，rk为噪声项，h为观测矩阵。
可以看出，电子设备可以根据第一图像的初始位姿信息，通过滤波方法确定第一图像的特征点的二维位置信息。
可选地，本申请实施例中，M组偏移信息中的每组偏移信息可以为第一图像的特征点相对于上述M帧图像中的一帧图像的特征点的图像坐标之差。
例如，第一图像的特征点A(x1，y1)相对于上述M帧图像中的一帧图像的特征点A’(x2，y2)的偏移量，为x＝|x1-x2|，y＝|y1-y2|。
需要说明的是，本申请实施例中，每组偏移信息包括第一图像的特征点中与上述M帧图像中的一帧图像中对应的全部特征点的偏移量。
例如，假设第一图像包括特征点1、特征点2和特征点3，上述M帧图像中的一帧图像a包括与特征点1对应的特征点1’，与特征点3对应的特征点3’和特征点4，那么，该组偏移信息可以包括特征点1与特征点1’的图像坐标之差，以及特征点3与特征点3’的图像坐标之差。
本申请实施例中，由于电子设备可以根据第一图像的特征点的二维位置信息和M帧图像的特征点的二维位置信息，确定M组偏移信息，因此电子设备可以获取第一图像与采集第一图像前采集的为关键帧的每张图像之间的偏移信息，以方便电子设备基于该偏移信息得到准确的目标位姿信息，进而可以提高电子设备即时定位与地图构建的精度。
本申请实施例提供的即时定位与地图构建方法，执行主体可以为即时定位与地图构建装置。本申请实施例中以即时定位与地图构建装置执行即时定位与地图构建的方法为例，说明本申请实施例提供的即时定位与地图构建装置。
结合图2，本申请实施例提供一种即时定位与地图构建装置20，该即时定位与地图构建装置20可以包括：采集模块21、确定模块22、融合模块23和处理模块24。确定模块22，可以用于根据采集模块21采集的第i-1帧图像的最终位姿信息，确定采集模块21采集的第i帧图像的初始位姿信息，i为大于1的整数。融合模块23，可以用于将第i帧图像的初始位姿信息与第一插值变量融合，得到第i帧图像的最终位姿信息，第一插值变量为在采集模块采集第i帧图像前得到的最后一个插值变量，第一插值变量为第一图像的初始位姿信息与目标位姿信息之间的插值变量，第一图像为在第i帧图像前采集模块采集的图像中为关键帧的图像，目标位姿信息为对第一图像的初始位姿信息进行优化后的位姿信息。处理模块24，可以用于基于第i帧图像的最终位姿信息和第i帧图像，进行即时定位与地图构建。
一种可能的实现方式中，上述即时定位与地图构建装置20还可以包括优化模块。优化模块，可以用于在确定模块22根据采集模块21采集的第i-1帧图像的最终位姿信息，确定采集模块21采集的第i帧图像的初始位姿信息之前，基于M个位姿信息、M组偏移信息和第一图像的初始位姿信息，对第一图像的初始位姿信息进行优化，得到目标位姿信息，M个位姿信息为M帧图像最近一次优化后的位姿信息，M帧图像为在第一图像前采集模块21采集的图像中为关键帧的图像，每组偏移信息为第一图像的特征点相对于M帧图像中的一帧图像的特征点的偏移量。确定模块22，还可以用于根据第一图像的初始位姿信息中的第一旋转坐标和第一位移坐标，以及目标位姿信息中的第二旋转坐标和第二位移坐标，确定第一插值变量。
一种可能的实现方式中，确定模块22，具体可以用于根据M组偏移信息，确定M组三维位置信息，M组偏移信息与M组三维位置信息一一对应，每组三维位置信息用于指示基于M帧图像中的一帧图像构建的三维地图中的特征点。优化模块，具体可以用于采用预设光束法平差算法，对M个位姿信息、第一图像的初始位姿信息和M组三维位置信息进行处理，得到目标位姿信息。
一种可能的实现方式中，确定模块22，还可以用于在优化模块基于M个位姿信息、M组偏移信息和第一图像的初始位姿信息，对第一图像的初始位姿信息进行优化，得到目标位姿信息之前，根据第一图像的特征点的二维位置信息和M帧图像的特征点的二维位置信息，确定M组偏移信息。
一种可能的实现方式中，确定模块22，具体可以用于根据第一旋转坐标和第二旋转坐标，确定目标旋转坐标。确定模块22，具体可以用于根据目标旋转坐标、第一位移坐标、第二位移坐标，确定目标位移坐标。确定模块22，具体可以用于将目标旋转坐标和目标位移坐标，确定为第一插值变量。
一种可能的实现方式中，处理模块24，具体可以用于采用滤波算法，对第i-1帧图像的最终位姿信息处理，得到第一位姿信息。确定模块22，具体可以用于在第一位姿信息与第i-1帧图像的最终位姿信息的匹配度小于或等于预设匹配度的情况下，将第i-1帧图像的最终位姿信息确定为第i帧图像的初始位姿信息。确定模块22，具体可以用于在第一位姿信息与第i-1帧图像的最终位姿信息的匹配度大于预设匹配度的情况下，将第一位姿信息确定为第i帧图像的初始位姿信息。
在本申请实施例提供的即时定位与地图构建装置中，由于该即时定位与地图构建装置可以基于第i帧图像，以及第一插值变量与根据第i-1帧图像的最终位姿信息确定的该第i帧图像的初始位姿信息融合后的位姿信息，进行即时定位与地图构建，且该第一插值变量为该即时定位与地图构建装置在该第i帧图像前采集的图像中为关键帧的图像的优化前后的初始位姿信息之间的插值变量，因此，一方面该即时定位与地图构建装置可以对该第i帧图像的初始位姿进行校正，从而可以提高跟踪位姿的准确性，另一方面该即时定位与地图构建装置只需对为关键帧的图像计算插值变量，从而可以缩短跟踪位姿的延时。如此，可以确保该即时定位与地图构建装置输出高频率高精度的位姿信息，进而可以提高该即时定位与地图构建装置进行即时定位与地图构建的效果。
本实施例中各种实现方式具有的有益效果具体可以参见上述方法实施例中相应实现方式所具有的有益效果，为避免重复，此处不再赘述。
本申请实施例中的即时定位与地图构建装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的即时定位与地图构建装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的即时定位与地图构建装置能够实现图1的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图3所示，本申请实施例还提供一种电子设备300，包括处理器301和存储器302，存储器302上存储有可在所述处理器301上运行的程序或指令，该程序或指令被处理器301执行时实现如上述即时定位与地图构建方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图4为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图4中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器1010，可以用于根据传感器1005采集的第i-1帧图像的最终位姿信息，确定传感器1005采集的第i帧图像的初始位姿信息，i为大于1的整数。处理器1010，还可以用于将第i帧图像的初始位姿信息与第一插值变量融合，得到第i帧图像的最终位姿信息，第一插值变量为在采集模块采集第i帧图像前得到的最后一个插值变量，第一插值变量为第一图像的初始位姿信息与目标位姿信息之间的插值变量，第一图像为在第i帧图像前采集模块采集的图像中为关键帧的图像，目标位姿信息为对第一图像的初始位姿信息进行优化后的位姿信息。处理器1010，还可以用于基于第i帧图像的最终位姿信息和第i帧图像，进行即时定位与地图构建。
一种可能的实现方式中，处理器1010，还可以用于在根据传感器1005采集的第i-1帧图像的最终位姿信息，确定传感器1005采集的第i帧图像的初始位姿信息之前，基于M个位姿信息、M组偏移信息和第一图像的初始位姿信息，对第一图像的初始位姿信息进行优化，得到目标位姿信息，M个位姿信息为M帧图像最近一次优化后的位姿信息，M帧图像为在第一图像前传感器1005采集的图像中为关键帧的图像，每组偏移信息为第一图像的特征点相对于M帧图像中的一帧图像的特征点的偏移量。处理器1010，还可以用于根据第一图像的初始位姿信息中的第一旋转坐标和第一位移坐标，以及目标位姿信息中的第二旋转坐标和第二位移坐标，确定第一插值变量。
一种可能的实现方式中，处理器1010，具体可以用于根据M组偏移信息，确定M组三维位置信息，M组偏移信息与M组三维位置信息一一对应，每组三维位置信息用于指示基于M帧图像中的一帧图像构建的三维地图中的特征点。处理器1010，具体可以用于采用预设光束法平差算法，对M个位姿信息、第一图像的初始位姿信息和M组三维位置信息进行处理，得到目标位姿信息。
一种可能的实现方式中，处理器1010，还可以用于在基于M个位姿信息、M组偏移信息和第一图像的初始位姿信息，对第一图像的初始位姿信息进行优化，得到目标位姿信息之前，根据第一图像的特征点的二维位置信息和M帧图像的特征点的二维位置信息，确定M组偏移信息。
一种可能的实现方式中，处理器1010，具体可以用于根据第一旋转坐标和第二旋转坐标，确定目标旋转坐标。处理器1010，具体可以用于根据目标旋转坐标、第一位移坐标、第二位移坐标，确定目标位移坐标。处理器1010，具体可以用于将目标旋转坐标和目标位移坐标，确定为第一插值变量。
一种可能的实现方式中，处理器1010，具体可以用于采用滤波算法，对第i-1帧图像的最终位姿信息处理，得到第一位姿信息。处理器1010，具体可以用于在第一位姿信息与第i-1帧图像的最终位姿信息的匹配度小于或等于预设匹配度的情况下，将第i-1帧图像的最终位姿信息确定为第i帧图像的初始位姿信息。处理器1010，具体可以用于在第一位姿信息与第i-1帧图像的最终位姿信息的匹配度大于预设匹配度的情况下，将第一位姿信息确定为第i帧图像的初始位姿信息。
在本申请实施例提供的电子设备中，由于电子设备可以基于第i帧图像，以及第一插值变量与根据第i-1帧图像的最终位姿信息确定的该第i帧图像的初始位姿信息融合后的位姿信息，进行即时定位与地图构建，且该第一插值变量为电子设备在该第i帧图像前采集的图像中为关键帧的图像的优化前后的初始位姿信息之间的插值变量，因此，一方面电子设备可以对该第i帧图像的初始位姿进行校正，从而可以提高跟踪位姿的准确性，另一方面电子设备只需对为关键帧的图像计算插值变量，从而可以缩短跟踪位姿的延时。如此，可以确保电子设备输出高频率高精度的位姿信息，进而可以提高电子设备进行即时定位与地图构建的效果。
本实施例中各种实现方式具有的有益效果具体可以参见上述方法实施例中相应实现方式所具有的有益效果，为避免重复，此处不再赘述。
应理解的是，本申请实施例中，输入单元1004可以包括图形处理器(GraphicsProcessing Unit，GPU)10041和麦克风10042，图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072中的至少一种。触控面板10071，也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1009可以包括易失性存储器或非易失性存储器，或者，存储器1009可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1009包括但不限于这些和任意其它适合类型的存储器。
处理器1010可包括一个或多个处理单元；可选的，处理器1010集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现如上述即时定位与地图构建方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如上述即时定位与地图构建方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述即时定位与地图构建方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种即时定位与地图构建方法，其特征在于，所述方法包括：
根据采集的第i-1帧图像的最终位姿信息，确定采集的第i帧图像的初始位姿信息，i为大于1的整数；
将所述第i帧图像的初始位姿信息与第一插值变量融合，得到所述第i帧图像的最终位姿信息，所述第一插值变量为在采集所述第i帧图像前得到的最后一个插值变量，所述第一插值变量为第一图像的初始位姿信息与目标位姿信息之间的插值变量，所述第一图像为在所述第i帧图像前采集的图像中为关键帧的图像，所述目标位姿信息为对所述第一图像的初始位姿信息进行优化后的位姿信息；
基于所述第i帧图像的最终位姿信息和所述第i帧图像，进行即时定位与地图构建。
2.根据权利要求1所述的方法，其特征在于，所述根据采集的第i-1帧图像的最终位姿信息，确定采集的第i帧图像的初始位姿信息之前，所述方法还包括：
基于M个位姿信息、M组偏移信息和所述第一图像的初始位姿信息，对所述第一图像的初始位姿信息进行优化，得到所述目标位姿信息，所述M个位姿信息为M帧图像最近一次优化后的位姿信息，所述M帧图像为在所述第一图像前采集的图像中为关键帧的图像，每组偏移信息为所述第一图像的特征点相对于所述M帧图像中的一帧图像的特征点的偏移量；
根据所述第一图像的初始位姿信息中的第一旋转坐标和第一位移坐标，以及所述目标位姿信息中的第二旋转坐标和第二位移坐标，确定所述第一插值变量。
3.根据权利要求2所述的方法，其特征在于，所述基于M个位姿信息、M组偏移信息和所述第一图像的初始位姿信息，对所述第一图像的初始位姿信息进行优化，得到所述目标位姿信息，包括：
根据所述M组偏移信息，确定M组三维位置信息，所述M组偏移信息与所述M组三维位置信息一一对应，每组三维位置信息用于指示基于所述M帧图像中的一帧图像构建的三维地图中的特征点；
采用预设光束法平差算法，对所述M个位姿信息、所述第一图像的初始位姿信息和所述M组三维位置信息进行处理，得到所述目标位姿信息。
4.根据权利要求3所述的方法，其特征在于，所述基于M个位姿信息、M组偏移信息和所述第一图像的初始位姿信息，对所述第一图像的初始位姿信息进行优化，得到所述目标位姿信息之前，所述方法还包括：
根据所述第一图像的特征点的二维位置信息和所述M帧图像的特征点的二维位置信息，确定所述M组偏移信息。
5.根据权利要求2至4中任一项所述的方法，其特征在于，所述根据所述第一图像的初始位姿信息中的第一旋转坐标和第一位移坐标，以及所述目标位姿信息中的第二旋转坐标和第二位移坐标，确定所述第一插值变量，包括：
根据所述第一旋转坐标和所述第二旋转坐标，确定目标旋转坐标；
根据所述目标旋转坐标、所述第一位移坐标、所述第二位移坐标，确定目标位移坐标；
将所述目标旋转坐标和所述目标位移坐标，确定为所述第一插值变量。
6.根据权利要求1所述的方法，其特征在于，所述根据采集的第i-1帧图像的最终位姿信息，确定采集的第i帧图像的初始位姿信息，包括：
采用滤波算法，对所述第i-1帧图像的最终位姿信息处理，得到第一位姿信息；
在所述第一位姿信息与所述第i-1帧图像的最终位姿信息的匹配度小于或等于预设匹配度的情况下，将所述第i-1帧图像的最终位姿信息确定为所述第i帧图像的初始位姿信息；
在所述第一位姿信息与所述第i-1帧图像的最终位姿信息的匹配度大于预设匹配度的情况下，将所述第一位姿信息确定为所述第i帧图像的初始位姿信息。
7.一种即时定位与地图构建装置，其特征在于，所述装置包括采集模块、确定模块、融合模块和处理模块；
所述确定模块，用于根据所述采集模块采集的第i-1帧图像的最终位姿信息，确定所述采集模块采集的第i帧图像的初始位姿信息，i为大于1的整数；
所述融合模块，用于将所述第i帧图像的初始位姿信息与第一插值变量融合，得到所述第i帧图像的最终位姿信息，所述第一插值变量为在所述采集模块采集所述第i帧图像前得到的最后一个插值变量，所述第一插值变量为第一图像的初始位姿信息与目标位姿信息之间的插值变量，所述第一图像为在所述第i帧图像前所述采集模块采集的图像中为关键帧的图像，所述目标位姿信息为对所述第一图像的初始位姿信息进行优化后的位姿信息；
所述处理模块，用于基于所述第i帧图像的最终位姿信息和所述第i帧图像，进行即时定位与地图构建。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括优化模块；
所述优化模块，用于在所述确定模块根据所述采集模块采集的所述第i-1帧图像的最终位姿信息，确定所述采集模块采集的所述第i帧图像的初始位姿信息之前，基于M个位姿信息、M组偏移信息和所述第一图像的初始位姿信息，对所述第一图像的初始位姿信息进行优化，得到所述目标位姿信息，所述M个位姿信息为M帧图像最近一次优化后的位姿信息，所述M帧图像为在所述第一图像前所述采集模块采集的图像中为关键帧的图像，每组偏移信息为所述第一图像的特征点相对于所述M帧图像中的一帧图像的特征点的偏移量；
所述确定模块，还用于根据所述第一图像的初始位姿信息中的第一旋转坐标和第一位移坐标，以及所述目标位姿信息中的第二旋转坐标和第二位移坐标，确定所述第一插值变量。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-6中任一项所述的即时定位与地图构建方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-6中任一项所述的即时定位与地图构建方法的步骤。
CN202210163295.9A 2022-02-22 2022-02-22 即时定位与地图构建方法、装置、电子设备及可读存储介质 Pending CN115205419A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210163295.9A CN115205419A (zh) 2022-02-22 2022-02-22 即时定位与地图构建方法、装置、电子设备及可读存储介质
PCT/CN2023/076247 WO2023160445A1 (zh) 2022-02-22 2023-02-15 即时定位与地图构建方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210163295.9A CN115205419A (zh) 2022-02-22 2022-02-22 即时定位与地图构建方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN115205419A true CN115205419A (zh) 2022-10-18

Family

ID=83574247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210163295.9A Pending CN115205419A (zh) 2022-02-22 2022-02-22 即时定位与地图构建方法、装置、电子设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN115205419A (zh)
WO (1) WO2023160445A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023160445A1 (zh) * 2022-02-22 2023-08-31 维沃移动通信有限公司 即时定位与地图构建方法、装置、电子设备及可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105527968A (zh) * 2014-09-29 2016-04-27 联想(北京)有限公司 信息处理方法和信息处理装置
US10782137B2 (en) * 2019-01-28 2020-09-22 Qfeeltech (Beijing) Co., Ltd. Methods, apparatus, and systems for localization and mapping
CN112967340A (zh) * 2021-02-07 2021-06-15 咪咕文化科技有限公司 同时定位和地图构建方法、装置、电子设备及存储介质
CN115205419A (zh) * 2022-02-22 2022-10-18 维沃移动通信有限公司 即时定位与地图构建方法、装置、电子设备及可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023160445A1 (zh) * 2022-02-22 2023-08-31 维沃移动通信有限公司 即时定位与地图构建方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
WO2023160445A1 (zh) 2023-08-31

Similar Documents

Publication Publication Date Title
CN108447097B (zh) 深度相机标定方法、装置、电子设备及存储介质
EP2728548B1 (en) Automated frame of reference calibration for augmented reality
CN114581532A (zh) 多相机外参的联合标定方法、装置、设备和介质
CN107358633A (zh) 一种基于三点标定物的多相机内外参标定方法
CN112967340A (zh) 同时定位和地图构建方法、装置、电子设备及存储介质
CN116051600A (zh) 产品检测轨迹的优化方法和装置
WO2023160445A1 (zh) 即时定位与地图构建方法、装置、电子设备及可读存储介质
CN116079697A (zh) 一种基于图像的单目视觉伺服方法、装置、设备及介质
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN112629565B (zh) 像机与惯性测量单元旋转关系校准方法、装置和设备
CN111275769B (zh) 一种单目视觉参数的校正方法及装置
CN113628284B (zh) 位姿标定数据集生成方法、装置、系统、电子设备及介质
CN115294280A (zh) 三维重建方法、装置、设备、存储介质和程序产品
CN111489376A (zh) 跟踪交互设备的方法、装置、终端设备及存储介质
CN115396597A (zh) 视频防抖拼接方法及相关设备
CN115065827A (zh) 视频编码方法、装置、电子设备及介质
CN114882194A (zh) 房间点云数据的处理方法和装置、电子设备和存储介质
CN110180185B (zh) 一种时间延迟测量方法、装置、系统及存储介质
CN110942007B (zh) 手部骨骼参数确定方法、装置、电子设备和存储介质
Saponaro et al. Towards auto-calibration of smart phones using orientation sensors
CN114782646B (zh) 房屋模型的建模方法、装置、电子设备和可读存储介质
CN114842059A (zh) 房屋点云配准方法和装置、电子设备和可读存储介质
CN117007078A (zh) 陀螺仪零偏的估计方法、装置、设备、存储介质和产品
CN116993906A (zh) 控制虚拟对象的方法、装置、设备及计算机可读介质
CN115278071A (zh) 图像处理方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination