CN113899364B - 定位方法及装置、设备、存储介质 - Google Patents
定位方法及装置、设备、存储介质 Download PDFInfo
- Publication number
- CN113899364B CN113899364B CN202111154872.XA CN202111154872A CN113899364B CN 113899364 B CN113899364 B CN 113899364B CN 202111154872 A CN202111154872 A CN 202111154872A CN 113899364 B CN113899364 B CN 113899364B
- Authority
- CN
- China
- Prior art keywords
- image frame
- pose
- positioning
- target image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 136
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000005259 measurement Methods 0.000 claims abstract description 278
- 230000008859 change Effects 0.000 claims abstract description 155
- 238000012545 processing Methods 0.000 claims abstract description 62
- 230000008569 process Effects 0.000 claims description 46
- 230000000007 visual effect Effects 0.000 claims description 21
- 230000005484 gravity Effects 0.000 claims description 20
- 230000010354 integration Effects 0.000 claims description 20
- 238000007781 pre-processing Methods 0.000 claims description 17
- 230000004807 localization Effects 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 7
- 230000003068 static effect Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 description 35
- 238000005457 optimization Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 230000002411 adverse Effects 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000012512 characterization method Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000017105 transposition Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Abstract
本申请公开了一种定位方法及装置、设备、存储介质，定位方法包括：获取第一历史图像帧的拍摄时间至目标图像帧的拍摄时间的拍摄期间测量得到的若干惯性测量数据；基于若干惯性测量数据进行定位处理，得到第一历史图像帧与目标图像帧之间的位姿变化信息；基于位姿变化信息以及至少一个参考因子，确定目标图像帧的位姿，其中，至少一个参考因子包括若干惯性测量数据。上述方案，能够提高定位准确度。
Description
技术领域
本申请涉及定位领域，特别是涉及一种定位方法及装置、设备、存储介质。
背景技术
目前，定位方式主要有视觉惯性定位。其中，视觉惯性定位的方式主要通过设备拍摄到的图像之间的图像信息，构建三维地图，然后确定设备的位置。其中，该定位方式比较依赖外部环境，在动态、光照剧烈变化、弱纹理、远景和遮挡等情况下，视觉定位无法很好正常工作。具体地，在这种情况下，设备拍摄得到的图像中提取得到的信息较少，则无法很好地进行定位。
发明内容
本申请至少提供一种定位方法及装置、设备、存储介质。
本申请提供了一种定位方法，包括：获取第一历史图像帧的拍摄时间至目标图像帧的拍摄时间的拍摄期间测量得到的若干惯性测量数据；基于若干惯性测量数据进行定位处理，得到第一历史图像帧与目标图像帧之间的位姿变化信息；基于位姿变化信息以及至少一个参考因子，确定目标图像帧的位姿，其中，至少一个参考因子包括若干惯性测量数据。
因此，通过获取第一历史图像帧至目标图像帧之间的惯性测量数据，并依据该惯性测量数据进行定位处理，即可获取这两帧图像之间的位姿变化信息，进而可以根据该位姿变化信息得到目标图像帧的位姿信息。另外，在获取位姿变化信息之后，再结合参考因子，确定目标图像帧的位姿，由此，可以获取得到更为准确的位姿。上述过程主要利用惯性测量数据进行位姿变化的计算进而实现定位，故减少了视觉方面对定位的不良影响，从而减少了因为外部环境等因素造成定位准确度较低的情况。
其中，至少一个参考因子还包括关于目标图像帧和第一历史图像帧的图像信息。
因此，除基于位姿变化信息、惯性测量数据以外，还结合图像信息得到目标图像帧的位姿，故能够提高定位精度。
其中，基于位姿变化信息以及至少一个参考因子，确定目标图像帧的位姿，包括：基于位姿变化信息，确定目标图像帧的第一位姿；以及，利用位姿变化信息以及至少一个参考因子，构建本次定位对应的总能量关系，其中，本次定位对应的总能量关系用于确定目标图像帧的需优化的位姿偏差；利用本次定位对应的总能量关系，对第一位姿进行优化，得到目标图像帧的位姿。
因此，通过利用位姿变化信息以及至少一个参考因子构建总能量关系，通过总能量关系确定位姿偏差，从而对目标图像帧的第一位姿进行优化。
其中，利用位姿变化信息以及至少一个参考因子，构建本次定位对应的总能量关系，包括：分别利用每个参考因子，确定参考因子对应的测量能量关系，以及，利用位姿变化信息确定运动先验能量关系；基于运动先验能量关系以及每个参考因子对应的测量能量关系，构建本次定位对应的总能量关系。
因此，对每一参考因子都构建对应的测量能量关系，并结合运动先验能量关系，使得获取到的总能量关系确定的位姿偏差更准确。
其中，所述分别利用每个所述参考因子，确定所述参考因子对应的测量能量关系，包括：获取若干惯性测量数据的预积分信息；利用若干惯性测量数据的预积分信息，构建惯性测量能量关系。
因此，通过将预积分信息构建的惯性测量能量关系与运动先验能量关系进行结合，相比于单一的运动先验能量关系而言，确定的位姿偏差更准确。
其中，位姿变化信息包括至少一种位姿变化量，至少一种位姿变化量包括位置变化量和/或姿态变化量；利用位姿变化信息确定运动先验能量关系，包括：利用至少一次定位对应的若干参数，确定运动先验能量关系，其中，至少一次定位包括本次定位，每次定位对应的若干参数包括定位过程中得到的位姿变化量、定位过程中采用的若干惯性测量数据的起始测量时刻和结束测量时刻的位置差、以及起始测量时刻对应的起始姿态信息。
因此，通过获取历史定位的位姿变化量以及若干惯性测量数据的测量期间的位置差，确定运动先验能量关系，使得构建的运动先验能量关系更准确，进而得到优化的位姿更准确。
其中，位姿变化信息还包括位姿变化量的确定度表征信息；利用至少一次定位对应的若干参数，确定运动先验能量关系，包括：基于每次定位过程中得到的确定度表征信息，得到对应次定位的权重；利用至少一次定位的权重以及若干参数，确定运动先验能量关系；和/或，至少一次定位为多次定位，利用至少一次定位对应的若干参数，确定运动先验能量关系，包括：从多次定位中，剔除满足去除条件的定位；其中，去除条件为定位对应的位姿变化量以及位姿变化量的确定度表征信息之间的预设处理结果满足第一预设要求；利用经剔除后的剩余次定位对应的若干参数，确定运动先验能量关系。
因此，通过确定度表征信息，得到对应的权重，使得构建的运动先验能量关系更准确。另外，通过对参数进行筛选，以剔除异常参数，进而使得获取到的运动先验能量关系更为准确。
其中，起始姿态信息包括偏航角信息；和/或，每次定位对应的第一历史图像帧与目标图像帧中，拍摄最早的图像帧为起始图像帧，拍摄最晚的图像帧为结束图像帧；在利用至少一次定位对应的若干参数，确定运动先验能量关系之前，方法还包括：将至少一次定位中的每次定位作为目标定位，基于目标定位对应的若干惯性测量数据的预积分信息、起始图像帧的位姿和结束图像帧的位姿，确定目标定位对应的起始姿态信息、起始测量时刻的位置和结束测量时刻的位置。
因此，通过使用偏航角信息构建运动先验能量，使得构建得到的运动先验能量关系更准确。另外，通过预积分信息以及相关图像帧的位姿，确定若干惯性测量数据的起始测量时刻和结束测量时刻的位置，实现对起始测量时刻和结束测量时刻的位置的校正，进而提高运动先验能量关系的准确性。
其中，参考因子还包括关于目标图像帧和第一历史图像帧的图像信息，分别利用每个参考因子，确定参考因子对应的测量能量关系，包括：利用图像信息，确定图像信息对应的视觉测量能量关系；在利用图像信息，确定图像信息对应的视觉测量能量关系之前，方法还包括：对若干参考图像帧的特征点进行匹配，得到特征点匹配结果，其中，若干参考图像包括至少一次定位过程中的第一历史图像帧和目标图像帧，且至少一次定位包括本次定位；利用图像信息，确定图像信息对应的视觉测量能量关系，包括：基于特征点匹配结果，从若干参考图像帧中确定至少一对匹配图像帧，其中，每对匹配图像帧存在匹配特征点对；利用每对匹配图像帧的位姿以及匹配特征点对在匹配图像帧中的位置，确定视觉测量能量关系。
因此，通过二维点信息构建视觉测量能量关系，而非通过三维点信息构建视觉测量能量关系，减少了因为三维点的精度问题造成视觉测量能量关系不准确的情况出现，从而使得获取得到的视觉测量能量关系更准确。
其中，在基于运动先验能量关系以及每个参考因子对应的测量能量关系，构建本次定位对应的总能量关系之前，方法还包括：基于历史定位对应的总能量关系，确定优化先验能量关系；基于运动先验能量关系以及每个参考因子对应的测量能量关系，构建本次定位对应的总能量关系，包括：基于运动先验能量关系、优化先验能量关系以及每个参考因子对应的测量能量关系，构建本次定位对应的总能量关系。
因此，通过结合优化先验能量关系构建总能量关系，使得确定的位姿偏差更准确。
其中，历史定位对应的总能量关系为上一次定位对应的总能量关系；和/或，目标图像帧对应的位姿偏差至少由目标图像帧的位姿以及目标图像帧之前的第一数量图像帧对应的位姿以及目标图像帧对应的惯性信息确定；基于历史定位对应的总能量关系，确定优化先验能量关系，包括：利用第二历史图像帧的位姿、第二历史图像帧之前的第二数量图像帧对应的位姿、目标图像帧的位姿、以及第二历史图像帧对应的惯性信息，更新得到第二历史图像帧对应的新的位姿偏差，其中，第二历史图像帧为历史定位中的目标图像帧，第二数量小于第一数量；将历史定位对应的总能量关系中的位姿偏差替换为新的位姿偏差，得到优化先验能量关系。
因此，通过利用目标图像帧的位姿替换第二历史图像帧之前第一数量图像帧的最早图像帧的位姿，以更新第二历史图像帧对应的位姿偏差，进而使得确定得到的优化先验能量关系关联于目标图像帧的位姿，进而使得利用能量关系确定的目标图像帧的位姿偏差更准确。
其中，总能量关系表示位姿偏差与总能量之间的关系；利用本次定位对应的总能量关系，对第一位姿进行优化，得到目标图像帧的位姿，包括：利用本次定位对应的总能量关系，确定使总能量满足第二预设要求的位姿偏差；基于确定的位姿偏差对目标图像帧的第一位姿进行优化；和/或，位姿变化信息包括至少一种位姿变化量；基于位姿变化信息，确定目标图像帧的第一位姿，包括：利用目标图像帧对应的位姿变化量，确定目标图像帧的位姿。
因此，通过使得总能量关系满足第二预设要求的位姿偏差，并基于该位姿偏差对目标图像帧的第一位姿进行优化，使得最终目标图像帧的位姿更准确。另外，通过位姿变化量，即可确定目标图像帧的位姿，整个过程方便快捷。
其中，对若干惯性测量数据进行定位处理是由定位模型执行；和/或，基于若干惯性测量数据进行定位处理，得到第一历史图像帧与目标图像帧之间的位姿变化信息，包括：利用惯性测量数据以及参考运动状态信息，确定本次定位处理得到的最终运动状态信息，其中，参考运动状态信息为历史定位处理对应的最终运动状态信息；基于本次定位处理得到的最终运动状态信息，得到第一历史图像帧与目标图像帧之间的位姿变化信息。
因此，通过结合历史定位处理得到的最终运动状态信息，使得此次定位处理得到的最终运动状态信息更为准确。
其中，定位方法由定位系统执行，在基于位姿变化信息以及至少一个参考因子，确定目标图像帧的位姿之前，方法还包括：判断定位系统的参数是否已初始化，其中，参数包括重力方向、惯性偏置量中的至少一者；响应于参数已初始化，则执行基于位姿变化信息以及至少一个参考因子，确定目标图像帧的位姿；响应于参数未初始化，则选择与目标图像帧对应的状态匹配的初始化方式，对定位系统的参数进行初始化，再执行基于位姿变化信息以及至少一个参考因子，确定目标图像帧的位姿，其中，状态包括运动状态和静止状态。
因此，通过在定位系统未经初始化的情况下，选择与目标图像帧对应的状态匹配的初始化方式，对定位系统的参数进行初始化，使得初始化得到的参数更准确。
其中，定位方法由定位系统执行，在基于位姿变化信息以及至少一个参考因子，确定目标图像帧的位姿之后，方法还包括：基于目标图像帧的位姿，对定位系统的参数进行优化，其中，参数包括重力方向、惯性偏置量中的至少一者。
因此，通过对定位系统的参数进行优化，使得下一次定位的精度更高。
其中，目标图像帧的位姿表示待定位对象在目标图像帧的拍摄时刻的位姿，目标图像帧和第一历史图像帧是由与待定位对象相对固定的拍摄装置拍摄得到，惯性测量数据是由与待定位对象相对固定的惯性测量装置测量得到；和/或，获取第一历史图像帧的拍摄时间至目标图像帧的拍摄时间的拍摄期间测量得到的若干惯性测量数据之后，方法还包括：对惯性测量数据进行预处理，其中，经预处理的惯性测量数据用于进行定位处理，预处理包括将惯性测量数据转换到重力系下、去除偏置、去除重力和归一化中的一种或多种。
因此，通过由与待定位对象相对固定的拍摄装置拍摄得到目标图像帧以及与待定位对象相对固定的惯性测量装置得到惯性测量数据，因此，可以实现对任意的对象进行定位。另，通过对惯性测量数据进行预处理，使得得到的位姿变化信息更为准确。
本申请提供了一种定位装置，包括：数据获取模块，用于获取第一历史图像帧至目标图像帧的拍摄期间测量得到的若干惯性测量数据；定位处理模块，用于基于若干惯性测量数据进行定位处理，得到第一历史图像帧与目标图像帧之间的位姿变化信息；位姿确定模块，用于基于位姿变化信息以及至少一个参考因子，确定目标图像帧的位姿，其中，至少一个参考因子包括若干惯性测量数据。
本申请提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述定位方法。
本申请提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述定位方法。
上述方案，通过获取第一历史图像帧至目标图像帧之间的惯性测量数据，并依据该惯性测量数据进行定位处理，即可获取这两帧图像之间的位姿变化信息，进而可以根据该位姿变化信息得到目标图像帧的位姿信息。另外，在获取位姿变化信息之后，再结合参考因子，确定目标图像帧的位姿，由此，可以获取得到更为准确的位姿。上述过程主要利用惯性测量数据进行位姿变化的计算进而实现定位，故减少了视觉方面对定位的不良影响，从而减少了因为外部环境等因素造成定位准确度较低的情况。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请定位方法一实施例的流程示意图；
图2是本申请定位方法一实施例中示出步骤S13的流程示意图；
图3是本申请定位方法一实施例的另一流程示意图；
图4是本申请定位装置一实施例的结构示意图；
图5是本申请电子设备一实施例的结构示意图；
图6是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图1，图1是本申请定位方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取第一历史图像帧的拍摄时间至目标图像帧的拍摄时间的拍摄期间测量得到的若干惯性测量数据。
其中，目标图像帧和第一历史图像帧可以是由待定位对象获取，也可以是由与待定位对象的位置相对固定的摄像组件拍摄得到，即摄像组件的位姿情况可以表示所述待定位对象的位姿情况。当然，惯性测量数据同样可以是由待定位对象获取，也可以是由与待定位对象的位置相对固定的惯性传感器获取得到，即惯性传感器的位姿情况可以表示所述待定位对象的位姿情况。
待定位对象可以是设备，也可以是任意具有生命的动物体。例如，待定位对象可以是车辆、机器人、人、小猫、小狗等。可以理解的是，当待定位对象为设备时，上述摄像组件和惯性传感器可以为该设备中的组件，或者为该设备以外的组件。
惯性测量数据指的是惯性传感器测量得到的数据。其中，惯性传感器的数量可以是多个，例如，惯性传感器可以是加速度计，也可以是陀螺仪等。待定位对象与惯性传感器之间的位置相对固定。即，惯性传感器在目标时间段内测量得到的惯性测量数据可以代表待定位对象在目标时间段内的惯性测量数据。其中，若目标图像帧和第一历史图像帧之间包括多帧图像时，惯性测量数据则包括各相邻图像帧的拍摄时间之间的惯性测量数据。
步骤S12：基于若干惯性测量数据进行定位处理，得到第一历史图像帧与目标图像帧之间的位姿变化信息。
其中，位姿变化信息可以包括第一历史图像帧与目标图像帧之间的相对位移，也可以包括二者之间的相对旋转。
本公开实施例中，位姿变化信息包括相对位移和相对旋转为例。
步骤S13：基于位姿变化信息以及至少一个参考因子，确定目标图像帧的位姿，其中，至少一个参考因子包括若干惯性测量数据。
具体地，可以使用第一历史图像帧的位姿信息以及第一历史图像帧与目标图像帧之间的位姿变化信息，确定目标图像帧对应的第一位姿。其中，可以认为目标图像帧的位姿为拍摄目标图像帧时待定位对象的位姿。
然后，使用至少一个参考因子，对目标图像帧对应的第一位姿进行优化，得到优化后的目标图像帧对应的位姿。
当然，若目标图像帧与第一历史图像帧之间包括若干图像帧时，同样可通过至少一个参考因子，对第一位姿进行优化，从而确定中间帧的位姿。这里的中间帧指的是第一历史图像帧与目标图像帧之间的其中一帧。
上述方案，通过获取第一历史图像帧至目标图像帧之间的惯性测量数据，并依据该惯性测量数据进行定位处理，即可获取这两帧图像之间的位姿变化信息，进而可以根据该位姿变化信息得到目标图像帧的位姿信息。另外，在获取位姿变化信息之后，再结合参考因子，确定目标图像帧的位姿，由此，可以获取得到更为准确的位姿。上述过程主要利用惯性测量数据进行位姿变化的计算进而实现定位，故减少了视觉方面对定位的不良影响，从而减少了因为外部环境等因素造成定位准确度较低的情况。
另，一般的视觉惯性定位方法中需要计算预积分，因此需要对惯性传感器的偏置量等参数进行精确的标定，而本公开实施例提供的技术方案只需要对惯性测量数据进行定位处理，无需预积分，因此，无需对惯性传感器的偏置量等参数进行精确的标定，简化了定位流程。
一些公开实施例中，对若干惯性测量数据进行定位处理是由定位模型执行的。其中，获取第一历史图像帧与目标图像帧之间的位姿变化信息的方式可以是：
利用惯性测量数据以及参考运动状态信息，确定本次定位处理得到的最终运动状态信息。然后，基于本次定位处理得到的最终运动状态信息，得到第一历史图像帧与目标图像帧之间的位姿变化信息。该位姿变化信息可以认为是待定位对象在第一历史图像帧的拍摄时间至目标图像帧的拍摄时间之间的位置变化和/或姿态变化。两个时间点之间的位置变化具体可以是二者之间的相对位移。姿态变化具体可以是待定位对象朝向的变化。
其中，参考运动状态信息为历史定位处理得到的最终运动状态信息。例如，本次定位处理为对待定位对象执行的第四次定位处理，则历史定位处理可以是对同一待定位对象执行的第三次定位处理，还可以是第二次和第三次的结合，也还可以是本次以前所有次定位处理的结合。其中，本公开实施例选择将上一次定位处理中获取得到的最终运动状态信息，作为本次定位处理过程中的参考运动状态信息。本次定位处理得到的最终运动状态信息能够用于推导待定位对象在第一历史图像帧的拍摄时间点至目标图像帧的拍摄时间点之间的运动。同理，参考运动状态信息能够用于确定历史定位处理中对应第一历史图像帧的拍摄时间点至对应的目标图像帧的拍摄时间点之间的运动。本次定位处理和历史定位处理对应的最终运动状态信息具体可以包括待定位对象在对应时间段内各个时刻的运动参数。例如，运动参数可以包括待定位对象在各个时刻的加速度和角速度，或待定位对象在各个时刻的运动速度和运动方向等。一些应用场景中，在待定位对应为人类的情况下，最终运动状态信息可以认为是用于表示基于惯性测量数据得到的加速度和角速度的一个局部窗口，可以类似于人类运动的加速度和角速度，但因为各种因素的作用，其可能带有一定的噪声。
其中，对若干惯性测量数据进行定位处理是由定位模型执行的。具体地，利用惯性测量数据以及参考运动状态信息，确定本次定位处理得到的最终运动状态信息包括以下步骤：基于惯性测量数据，得到第一历史图像帧至目标图像帧之间的初始运动状态信息，再对参考运动状态信息与初始运动状态信息进行融合，得到该最终运动状态信息。初始运动状态信息具体可以包括待定位对象在第一历史图像帧的拍摄时间点至目标图像帧的拍摄时间点之间各个时刻的运动参数。例如，初始运动状态信息可以包括待定位对象在各个时刻的加速度和角速度，或待定位对象在各个时刻的运动速度和运动方向等。具体地，初始运动状态信息的形式可以是用于描述待定位对象在目标时间段内的运动的隐层状态矩阵。其中，初始运动状态信息可以用于推导待定位对象在目标时间段内的运动。但因为传感器的偏置等因素的影响，导致获取得到的初始运动状态含有噪声，所以若仅使用初始运动状态信息推导待定位对象在目标时间段内的运动，或许会存在一定的误差。
具体地，最终运动状态信息和参考运动状态信息的形式也可以是用于描述待定位对象在对应时间段内运动的隐层状态矩阵。本公开实施例认为待定位对象的运动是连续且有规律的，因此，通过用于表示待定位对象在对应时间段内的运动的初始运动状态信息与用于表示待定位对象在历史定位处理对应的时间段内运动的参考运动状态信息进行融合，以估计待定位对象在本次定位处理对应时间段内更准确的最终运动状态信息，从而可以根据该最终运动状态信息估计待定位对象在对应时间段内的运动。
其中，定位模型包括第一子网络和第二子网络以及第三子网络。其中，第一子网络可以是残差网络，如ResNet18网络。第二子网络可以是LSTM(Long Short-Term Memory，长短期记忆网络)。其中，第一子网络可以用于执行基于惯性测量数据，得到第一历史图像帧至目标图像帧之间的初始运动状态信息的步骤。第二子网络用于执行对参考运动状态信息与初始运动状态信息进行融合，得到该最终运动状态信息的步骤，第三子网络用于执行基于本次定位处理得到的最终运动状态信息，得到第一历史图像帧与目标图像帧之间的位姿变化信息的步骤。通过结合上一次定位处理对应的最终运动状态信息，使得此次定位处理得到的最终运动状态信息更为准确。
本公开实施例中，获取到若干惯性测量数据之后，定位方法还包括以下步骤：
对惯性测量数据进行预处理。其中，经预处理的惯性测量数据用于进行定位处理。预处理包括将惯性测量数据转换到重力系下、去除偏置、去除重力和归一化中的一种或多种。其中，预处理还包括对惯性测量数据进行固定帧率插值，并将插值后的数据进行缓存。通过对惯性测量数据进行预处理，使得得到的位姿变化信息更为准确。
一些公开实施例中，定位方法由定位系统执行。在执行步骤S13之前，还包括以下步骤：判断定位系统的参数是否已初始化。其中，参数包括重力方向、惯性偏置量中的至少一者。响应于参数已初始化，则执行步骤S13。响应于参数未初始化，则选择与目标图像帧对应的状态匹配的初始化方式，对定位系统的参数进行初始化，然后再执行上述步骤S13。其中，状态包括运动状态和静止状态。其中，选择与目标图像帧对应的状态匹配的初始化方式以前，先确定目标图像帧对应的状态。其中，确定目标图像帧对应的状态的方式可以是若连续若干帧图像中跟踪到的二维特征在图像平面上的平均位移低于第一阈值，和/或惯性测量数据的标准差低于第二阈值，则认为目标图像帧对应的状态为静止状态，否则，认为目标图像帧对应的状态为运动状态。
静止状态对应的初始化方式为静止初始化，而运动状态对应的初始化方式为运动初始化。其中，静止初始化方式包括将初始平移设置为0，初始局部重力为最近两帧图像之间的加速度计测量值的平均值。初始旋转与局部初始重力对齐。初始陀螺仪偏置是最近两帧图像之间陀螺仪测量值的平均值。初始加速度偏置设置为0。最近两帧指的是目标图像帧以及目标图像帧的前一帧。
运动状态对应的初始化为仅通过视觉定位获取没有尺寸的姿势，然后将惯性测量数据预积分结果与视觉定位的结果进行对齐以恢复尺寸、速度、重力和惯性偏置量。
通过在定位系统未经初始化的情况下，选择与目标图像帧对应的状态匹配的初始化方式，对定位系统的参数进行初始化，使得初始化得到的参数更准确。
一些公开实施例中，请同时参见图2，图2是本申请定位方法一实施例中示出步骤S13的流程示意图。如图2所示，上述步骤S13包括以下步骤：
步骤S131：基于位姿变化信息，确定目标图像帧的第一位姿。
其中，目标图像帧的第一位姿表示待定位对象在目标图像帧的拍摄时刻的位姿。本公开实施例中，目标图像和第一历史图像帧是由待定位对象相对固定的拍摄装置拍摄得到，惯性测量数据是由与待定位对象相对固定的惯性测量装置测量得到的。通过由与待定位对象相对固定的拍摄装置拍摄得到目标图像帧以及与待定位对象相对固定的惯性测量装置得到惯性测量数据，因此，可以实现对任意的对象进行定位。
具体地，位姿变化信息包括至少一种位姿变化量。其中，至少一种位姿变化量包括位置变化量以及姿态变化量。获取目标图像帧的第一位姿的方式可以是利用目标图像帧对应的位姿变化量，确定目标图像帧的第一位姿。具体地，第一历史图像帧的位姿已知，基于第一历史图像帧与目标图像帧之间的位姿变化量，即可得到目标图像帧的第一位姿。通过确定位置变化量以及姿态变化量，使得确定的第一位姿更准确。
步骤S132：利用位姿变化信息以及至少一个参考因子，构建本次定位对应的总能量关系。
其中，本次定位对应的总能量关系用于确定目标图像帧的需优化的位姿偏差。
可选地，分别利用每个参考因子，确定参考因子对应的测量能量关系。以及，利用位姿变化信息确定运动先验能量关系。最后，基于运动先验能量关系以及每个参考因子对应的测量能量关系，构建本次定位对应的总能量关系。
一些公开实施例中，获取若干惯性测量数据的预积分信息。然后利用若干惯性测量数据的预积分信息，构建惯性测量能量关系。
其中，基于惯性测量数据的预积分信息，构建定惯性测量能量关系的方式可参见一般公知的技术。
此处简单列举获取惯性测量能量关系cu的方式：
其中，Hk是上一次定位过程对应的雅可比矩阵，
是本次定位关于位姿的雅可比矩阵，
是本次定位关于惯性偏置量的雅可比矩阵，
是上一次定位对应的位姿偏差，
是本次定位对应的位姿偏差，
为本次定位对应的惯性偏置量对应的偏差。∑u是惯性测量能量关系对应的协方差矩阵，ruk+1是惯性传感器测量残差。其中，获取上述各参数的方式可参见一般公知的技术，此处不再赘述。
其中，获取运动先验能量关系的方式可以是：
利用至少一次定位对应的若干参数，确定运动先验能量关系。至少一次定位为多次定位。多次为两次及以上。其中，至少一次定位包括本次定位，每次定位对应的若干参数包括定位过程中得到的位姿变化量、定位对应的起始测量时刻与结束测量时刻之间的位置差以及起始测量时刻对应的起始姿态信息。其中，起始测量时刻与结束测量时刻之间的位置差指的是待定位对象在起始测量时刻的位置与待定位对象在结束测量时刻之间的位置之差。起始测量时刻的起始姿态信息指的是待定位对象在起始测量时刻的朝向。
通过获取历史定位的位姿变化量以及若干惯性测量数据的测量期间的位置差，确定运动先验能量关系，使得构建的运动先验能量关系更准确，进而得到优化的位姿更准确。
其中，起始图像帧的起始姿态信息包括偏航角信息。一般惯性测量数据并非以偏航角的形式呈现，通过将惯性测量数据转换为四元数形式。其中，若以XYZ坐标轴的方式转换得到的偏航角若为90°，则调整坐标系为YXZ坐标轴的方式重新获取偏航角信息。通过使用偏航角信息构建运动先验能量，使得构建得到的运动先验能量关系更准确。
可选地，位姿变化信息还包括位姿变化量的确定度表征信息。其中，确定度表征信息可以用于表示确定度，也可用于表示不确定度。基于每次定位过程中得到的确定度表征信息，得到对应次定位的权重。其中，定位的权重是基于定位对应的确定度表征信息的预设倍数确定得到，其中，预设倍数为自然数。具体地，该权重可以为基于预设倍数的确定度表征信息变换得到的协方差矩阵。可选地，在确定度表征信息用于表示确定度时，预设倍数一般小于或等于1，例如预设倍数可以是0.1等，
当然，这仅为举例，在其他实施例中，预设倍数还可以大于1。在确定度表征信息用于表示不确定度时，预设倍数一般大于或等于1，例如预设倍数可以是10等，当然，这仅为举例，在其他实施例中，预设倍数还可以小于1。
利用至少一次定位的权重以及若干参数，确定运动先验能量关系。可选地，可以先确定各次定位的运动先验能量关系，再基于各次定位的权重，将各次定位的运动先验能量关系进行结合，得到最终的运动先验能量关系。通过确定度表征信息，得到对应的权重，使得构建的运动先验能量关系更准确。
具体地，获取运动先验能量关系cn的方式可以是：
其中，每次定位对应的若干惯性测量数据的起始测量时刻为i时刻、结束测量时刻为j时刻，pi和pj分别表示第i时刻和第j时刻对应的待定位对象的位置、dij表示定位模型输出的第i时刻和第j时刻之间的位姿变化量。
表示第i时刻对应的目标对象的偏航角矩阵。T表示转置。∑ij表示定位模型对应的协方差矩阵(权重)，该协方差矩阵由确定度表征信息获取得到。具体地，确定度表征信息为三维向量，三维向量中的三个元素为该协方差矩阵的对角元素的对数。可选地，可以将确定度表征信息的预设倍数作为该协方差矩阵的对角元素的对数。其中，此处确定度表征信息用于表示不确定度，该确定度表征信息可以是原始的确定度表征信息，也可以是扩大预设倍数后的表征信息。
其中，每次定位对应的第一历史图像帧与目标图像帧中，拍摄最早的图像帧为起始图像帧，拍摄最晚的图像帧为结束图像帧。本公开实施例中，认为第一历史图像帧即为起始图像帧，目标图像帧即为结束图像帧。以及，位姿变化信息包括至少一种位姿变化量。至少一种位姿变化量包括位置变化量和/或姿态变化量。
为减少时间戳误差导致定位精度下降的问题出现，本公开实施例还可提供以下方式，获取更为准确的运动先验能量关系。在获取运动先验能量关系之前，还包括以下步骤：将至少一次定位中的每次定位作为目标定位，基于目标定位对应的若干惯性测量数据的预积分信息、起始图像帧的位姿和结束图像帧的位姿，确定目标定位对应的起始姿态信息、起始测量时刻的位置和结束测量时刻的位置。具体地，若目标定位为历史定位，则目标定位中起始图像帧的位姿和结束图像帧的位姿均可以是优化前的第一位姿，也可以是经优化后的位姿。而目标定位为本次定位时，起始图像帧的位姿和结束图像帧的位姿为优化前的第一位姿。即，若目标定位为上一次定位，则上一次定位中起始姿态信息、起始测量时刻的位置和结束测量时刻的位置可以由上一次定位过程中的若干惯性测量数据的预积分信息、起始图像帧的位姿和结束图像帧的位姿确定。当然，在另一些公开实施例中，可以认为待定位对象在起始测量时刻的位姿与拍摄起始图像帧时的位姿相同，结束测量时刻的位姿与拍摄结束图像帧时的位姿相同。
具体地，通过预积分信息以及起始图像帧的位姿、结束图像帧的位姿，确定目标定位对应的起始姿态信息、起始测量时刻和结束测量时刻的位置的具体方式可以是：
其中，m表示起始图像帧，n表示结束图像帧。i表示起始测量时刻，j表示结束测量时刻。pIi表示起始测量时刻的位置，w表示世界坐标系，例如WpIi表示起始测量时刻在世界坐标系下的位置，其他同理。pIj表示结束测量时刻的位置，RIi表示起始姿态信息。pIm表示起始图像帧的位置，vIm表示起始图像帧的速度，Δtm表示起始图像帧的拍摄时间与起始测量时刻之间的时间间隔。RIm表示起始图像帧对应的姿态信息，
表示不考虑初速度和重力情况下，使用起始图像帧和起始测量时刻之间的惯性测量数据进行预积分得到的位置。pIj表示结束测量时刻的位置，
表示起始图像帧和起始测量时刻之间的惯性测量数据进行预积分得到的姿态，上述三个公式中其他相同符号的不同上下标，可参见上述解析，此处不再赘述。通过时间戳的方式从若干图像帧中选择拍摄时间与i时刻最接近图像帧作为起始图像帧，与j时刻最接近的图像帧作为结束图像帧。
由此，得到的最终的运动先验能量关系
其中，
表示第k+1次定位中的位姿偏差。H表示对应的雅可比矩阵，r表示对应的测量残差。∑n为最终的运动先验能量关系对应的协方差矩阵。该协方差矩阵可以由定位模型输出的确定度表征信息以及预积分信息获取得到。下标的含义参见上述。
具体获取的方式∑n可以是：
其中，∑ij是基于定位模型输出的确定度表征信息的预设倍数确定的协方差矩阵。
和
分别是j、i时刻预积分对应的协方差矩阵的位姿部分。w表示世界坐标系，T表示转置。下标的含义参见上述。
其中，在计算运动先验能量关系中若使用了预积分信息，则可以认为最终得到的运动先验能量关系包含了惯性测量能量关系，因此，可以不必再使用惯性测量能量关系，构建总能量关系。通过预积分信息以及相关图像帧的位姿，确定若干惯性测量数据的起始测量时刻和结束测量时刻的位置，实现对起始测量时刻和结束测量时刻的位置的校正，进而提高运动先验能量关系的准确性。
一些公开实施例中，从多次定位中，剔除满足去除条件的定位。其中，去除条件为定位对应的位姿变化量以及位姿变化量的确定度表征信息之间的预设处理结果满足第一预设要求。然后利用经剔除后的剩余次定位对应的若干参数，确定运动先验能量关系。具体地，通过获取位姿变化量对应的马氏距离来去除异常定位。具体地，去除条件可以是在
大于阈值。d表示滤波器初步估计的位姿变化量，
表示定位模型输出的位姿变化量。其中，H，P表示运动先验能量关系中的测量雅可比矩阵和相应的状态协方差。
表示定位系统的状态协方差矩阵，其中，该矩阵由运动先验能量关系以及视觉测量能量关系对应的协方差矩阵融合得到。当然，除了将其剔除，还可采用将运动先验能量关系对应的协方差矩阵放大若干倍用于减轻测量数据不准确的情况，例如放大十倍。通过对参数进行筛选，以剔除异常参数，进而使得获取到的运动先验能量关系更为准确。
其中，基于惯性测量能量关系和运动先验能量关系构建的总能量关系可以是：
其中，这里的
为k+1次定位确定的位姿偏差。Hu为惯性测量能量关系中的雅可比矩阵，ru为惯性测量能量关系中的测量残差，Hn为运动先验能量关系中的雅可比矩阵，rn为运动先验能量关系中的测量残差。∑n为运动先验能量关系对应的协方差矩阵，∑z为惯性测量能量关系对应的协方差矩阵，可以认为协方差可以是对应关系中的权重。
当然，若运动先验能量关系的获取结合了预积分信息，则该总能量关系中可以不包括惯性测量能量关系的相关参数。
一些公开实施例中，至少一个参考因子还包括关于目标图像帧和第一历史图像帧的图像信息。可选地，目标图像帧和第一历史图像帧之间包括多帧图像时，则还可包括目标图像帧和第一历史图像帧之间各图像帧的图像信息。除基于位姿变化信息、惯性测量数据以外，还结合图像信息得到目标图像帧的位姿，故能够提高定位精度。
其中，分别利用每个参考因子，确定参考因子对应的测量能量关系的方式，包括：利用图像信息，确定图像信息对应的视觉测量能量关系。具体地，利用图像信息，确定图像信息对应的视觉测量能量关系之前，还包括以下步骤：对若干参考图像帧的特征点进行匹配，得到特征点匹配结果。其中，若干参考图像包括至少一次定位过程中的第一历史图像帧和目标图像帧。且至少一次定位包括本次定位。其中，特征点匹配结果包括特征点集合。若一特征点同时存在与两帧参考图像帧中，则该特征点会加入特征点集合。当然，在其他实施例中，只有在特征点同时存在于三帧及以上的参考图像帧中，才将其加入特征点集合。其中，该特征点为二维特征点。
基于特征点匹配结果，从若干参考图像帧中确定至少一对匹配图像帧。其中，每对匹配图像帧存在匹配特征点对。利用每对匹配图像帧的位姿以及匹配特征点对在匹配图像帧中的位置，确定视觉测量能量关系。其中，若匹配图像帧不为历史定位中的目标图像帧，即匹配图像帧为本次定位中第一历史图像帧与目标图像帧之间的图像帧或目标图像帧，则匹配图像帧的位姿为第一位姿，若匹配图像帧为历史定位中的目标图像帧，则匹配图像帧的位姿可以是优化前的第一位姿或优化后的位姿。通过二维点信息构建视觉测量能量关系，而非通过三维点信息构建视觉测量能量关系，减少了因为三维点的精度问题造成视觉测量能量关系不准确的情况出现，从而使得获取得到的视觉测量能量关系更准确。
具体地，获取视觉能量关系的方式为：
其中，F为各参考图像帧能跟踪上的特征点集合，其中，若一个特征点被两帧及以上的参考图像帧观测到，该特征点即可加入特征点集合。C为能跟踪到二维特征点集合F的相机状态集合。
为第k个特征点在第j帧参考图像帧上的二维位置。K是拍摄组件的投影矩阵，Ri表示第i帧参考图像帧对应的摄像组件的旋转矩阵。T表示转置。∑Z为对应的协方差矩阵。本式中提出的i帧为在先拍摄的参考图像帧，j帧为在后拍摄的参考图像帧。
其中，在获取总能量关系之前，还可包括以下步骤：基于历史定位对应的总能量关系，确定优化先验能量关系。该优化先验能量关系可用于构建总能量关系。通过结合优化先验能量关系构建总能量关系，使得确定的位姿的偏差更准确。具体地，获取优化先验能量关系的方式可以是：利用第二历史图像帧的位姿、第二历史图像帧之前的第二数量图像帧对应的位姿、目标图像帧的位姿以及第二历史图像帧对应的惯性信息，更新得到第二历史图像帧对应的新的位姿偏差。其中，第二历史图像帧为历史定位中的目标图像帧。其中，目标图像帧对应的位姿偏差至少由目标图像帧的位姿以及目标图像帧之前的第一数量图像帧对应的位姿以及目标图像帧对应的惯性信息确定。其中，第二数量小于第一数量。其中，第一数量图像帧可以是前若干次定位过程中对应的目标图像帧。其中，第一数量图像帧的位姿可以是经历史定位过程优化后的位姿，还可以是优化前的第一位姿。
其中，本次定位所使用的第一历史图像帧与上一次定位所使用的第一历史图像帧并非同一帧。例如，若第一次执行定位，第一历史图像帧可以是拍摄的首帧，该首帧作为世界坐标系的原点，目标图像帧为拍摄的第3帧，因第一次执行定位后，第2帧和第3帧的位姿已知，第二次执行定位使用的第一历史图像帧可以是第2帧也可以是第3帧，若第二次执行定位使用的第一历史图像帧为第2帧，则目标图像帧为第4帧，同理若第二次执行定位所使用的第一历史图像帧为第3帧，则目标图像帧可以是第5帧。对于第二次执行定位而言，第二历史图像帧为第3帧。当然，在此次定位过程中，所使用的第二历史图像帧的位姿可以是经上一次定位优化后的位姿，另一些公开实施例还可以是经优化前的位姿。
然后将历史定位对应的总能量关系中的位姿偏差替换为新的位姿偏差，得到优化先验能量关系。其中，目标图像帧对应的惯性信息可以是惯性偏置。其中，惯性偏置具体可以包括加速度偏置以及角速度偏置等。通过利用目标图像帧的位姿替换第二历史图像帧之前第一数量图像帧的最早图像帧的位姿，以更新第二历史图像帧对应的位姿偏差，进而使得确定得到的优化先验能量关系关联于目标图像帧的位姿，进而使得利用能量关系确定的目标图像帧的位姿偏差更准确。
其中，获取优化先验能量关系
的方式为：
其中，Hk+1为k+1次定位对应的雅可比矩阵。
为目标图像帧对应的位姿偏差，rk+1为对应的测量残差。
然后，基于运动先验能量关系、视觉测量能量关系以及优化先验能量关系、惯性测量能量关系中的一者或多者，构建本次定位对应的总能量关系。
一些公开实施例中，基于运动先验能量关系以及惯性测量能量关系构建本次定位对应的总能量关系，另一些公开实施例中，基于运动先验能量关系以及视觉测量能量关系构建本次定位对应的总能量关系，或者基于运动先验能量关系、视觉测量能量关系以及视觉测量能量关系构建本次定位对应的总能量关系，还可以是基于运动先验能量关系、视觉测量能量关系以及优化先验能量关系、惯性测量能量关系构建本次定位对应的总能量关系。
步骤S133：利用本次定位对应的总能量关系，对第一位姿进行优化，得到目标图像帧的位姿。
其中，总能量关系表示位姿偏差与总能量之间的关系。具体地，利用本次定位对应的总能量关系，对第一位姿进行优化，得到目标图像帧的位姿的方式可以是：利用本次定位对应的总能量关系，确定总能量满足第二预设要求的位姿偏差。其中，第二预设要求可以是总能量最小。然后基于确定的位姿偏差对目标图像帧的第一位姿进行优化。具体地，将获取到的位姿偏差与目标图像帧的第一位姿进行求和，得到目标图像帧优化后的位姿。
从而，最小化总能量关系从而更新各个图像帧对应的状态以及惯性传感器的偏置。
具体地，最小化总能量关系的方式为：
其中，这里的
为k+1次定位确定的位姿偏差。Hk+1为优化先验能量关系中的雅可比矩阵，rk+1为优化先验能量关系中的测量残差。Hz为视觉测量能量关系中的雅可比矩阵，rz为视觉测量能量关系中的测量残差，Hn为运动先验能量关系中的雅可比矩阵，rn为运动先验能量关系中的测量残差。∑n为运动先验能量关系对应的协方差矩阵，∑z为视觉测量能量关系对应的协方差矩阵。
通过上述公式，能够求解得到最终的
与第一位姿进行求和，得到优化后的位姿。其中，求取得到的惯性传感器的偏置可以取代定位系统中原始的偏置，以便后续的位姿计算更准确。当然，若需要优化的还包括惯性传感器的偏置、重力方向等参数时，上述
则还可表示包括所有待优化的参数对应的偏差，也就是在这种情况下，
包括位姿偏差以及各偏置量等参数对应的偏差的总偏差。
另一些公开实施例中，在确定目标图像帧的位姿后，还可基于目标图像帧的位姿，对定位系统的参数进行优化。具体地，通过调整包含位姿偏差和参数的偏差的总偏差，得到本次定位过程中需要优化的参数偏差，再将获取到的偏差与对应的参数进行相加，得到优化后的参数。最后使用该优化后的参数替换定位系统中的参数。其中，参数包括重力方向、惯性偏置量中的至少一者。下一次定位过程中，可以使用优化后的参数进行定位。通过对定位系统的参数进行优化，使得下一次定位的精度更高。
为更好地理解本公开实施例提供的技术方案，请参考下例。请同时参见图3，图3是本申请定位方法一实施例的另一流程示意图。如图3所示，本公开实施例提供的定位方法包括如下步骤：
步骤S21：摄像组件获取若干图像帧。
其中，若干图像帧指的是第一历史图像帧至目标图像帧之间的图像帧。
步骤S22：进行特征提取以及跟踪。
具体地，对若干图像帧进行特征提取以及跟踪，得到若干图像帧对应的图像信息。
步骤S23：惯性传感器获取若干惯性测量数据。
其中，若干惯性测量数据指的是第一历史图像帧的拍摄时间至目标图像帧的拍摄时间之间的拍摄期间的惯性测量数据。
具体获取方式如上述，此处不再赘述。
步骤S24：进行数据缓存。
具体地，在数据缓存中执行将惯性测量数据转换到重力系下、去除偏置、去除重力和归一化中的一种或多种。
步骤S25：输入定位模型。
具体地，将若干惯性测量数据输入定位模型。定位模型基于若干惯性测量数据进行定位处理得到本次定位处理的位姿变化信息。具体定位模型对若干惯性测量数据进行定位处理的方式如上述，此处不再赘述。
步骤S26：进行预积分。
具体对惯性测量数据进行预积分的方式可参见一般的公知技术，此处不再赘述。
步骤S27：判断定位系统是否初始化。
具体的判断方式如上述，此处不再赘述。
若判断结果为定位系统未进行初始化，则执行步骤S28，否则执行步骤S29。
步骤S28：进行静止初始化/运动初始化。
具体进行静止初始化/运动初始化的方式如上述此处不再赘述。
步骤S29：进行异常点检测。
其中异常点检测就是上文中去除满足第二预设条件的数据的步骤，故此处不再赘述。
步骤S30：进行优化和更新。
具体地，基于图像信息、预积分信息以及位姿变化信息构建总能量关系并对各图像帧对应的位姿进行优化和更新，得到最终的目标图像帧的位姿。
步骤S31：优化参数。
具体地，可以进行优化的定位系统参数可以包括加速度偏置Ba、角速度偏置Bg以及定位系统其他可以优化的参数R。
其中，上述步骤之间的关系并非严格按照上述顺序执行，例如，步骤S21和步骤S23可同步执行。步骤S22和步骤S24以及步骤S26也可同步执行等。
具体地，定位系统的输入可以包括摄像组件和惯性传感器的输出，即第一历史图像至目标图像帧之间的所有图像帧以及若干惯性测量数据。分别对各图像帧和惯性测量数据进行预处理。对图像帧进行预处理的方式主要是特征提取和跟踪。对惯性测量数据进行预处理也可分为两步，一是进行预积分，二是在数据缓存中执行将惯性测量数据转换到重力系下、去除偏置、去除重力和归一化中的一种或多种。将经过第二种预处理后的惯性测量数据输入定位模型得到第一历史图像帧和目标图像帧之间的位姿变化信息。然后，在进行预积分和图像预处理之后，判断定位系统是否进行了初始化，若是，则进行异常点检测，其中异常点检测就是上文中去除满足第二预设条件的数据的步骤。然后基于图像信息、预积分信息以及位姿变化信息构建总能量关系并对各图像帧对应的位姿进行优化和更新，否则进行系统初始化。在对位姿进行优化更新之后，对定位系统的参数进行优化。当然，在他实施例中，还可根据历史的总能量关系构建此次定位过程中的总能量关系。
通过获取第一历史图像帧至目标图像帧之间的惯性测量数据，并依据该惯性测量数据进行定位，即可获取这两帧图像之间的位姿变化信息，若第一历史图像帧为世界坐标系的原点或其位姿已知，则可以根据该位姿变化信息得到目标图像帧的位姿信息。另外，在获取位姿变化信息之后，再结合参考因子，确定目标图像帧的位姿，由此，可以获取得到更为准确的位姿。上述过程减少了视觉方面对定位的影响，从而减少了因为外部环境等因素造成定位准确度较低的情况。
进一步地，将定位模型对应的运动先验(位姿变化信息)、IMU信息和视觉信息进行紧耦合，在正常视觉环境下，能取得高精度定位效果，在极端挑战视觉环境下，由于运动先验的鲁棒性，能取得较为鲁棒的跟踪。
进一步地，本公开实施例提供的技术方案可以与其他定位算法或传感器进行耦合，进行定位导航。
本公开实施例提供的定位方法可应用于增强现实、虚拟现实、机器人、自动驾驶、游戏、影视、教育、电子商务、旅游、智慧医疗、室内装修设备、智慧家居、智能制造以及维修装配等场景中。
其中，定位方法的执行主体可以是定位装置，例如，定位方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该定位方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
请参阅图4，图4是本申请定位装置一实施例的结构示意图。定位装置40包括数据获取模块41、定位处理模块42以及位姿确定模块43。数据获取模块41，用于获取第一历史图像帧的拍摄时间至目标图像帧的拍摄时间的拍摄期间测量得到的若干惯性测量数据；定位处理模块42，用于基于若干惯性测量数据进行定位处理，得到第一历史图像帧与目标图像帧之间的位姿变化信息；位姿确定模块43，用于基于位姿变化信息以及至少一个参考因子，确定目标图像帧的位姿，其中，至少一个参考因子包括若干惯性测量数据。
上述方案，通过获取第一历史图像帧至目标图像帧之间的惯性测量数据，并依据该惯性测量数据进行定位处理，即可获取这两帧图像之间的位姿变化信息，进而可以根据该位姿变化信息得到目标图像帧的位姿信息。另外，在获取位姿变化信息之后，再结合参考因子，确定目标图像帧的位姿，由此，可以获取得到更为准确的位姿。上述过程主要利用惯性测量数据进行位姿变化的计算进而实现定位，故减少了视觉方面对定位的不良影响，从而减少了因为外部环境等因素造成定位准确度较低的情况。
一些公开实施例中，至少一个参考因子还包括关于目标图像帧和第一历史图像帧的图像信息。
上述方案，除基于位姿变化信息、惯性测量数据以外，还结合图像信息得到目标图像帧的位姿，故能够提高定位精度。
一些公开实施例中，位姿确定模块43基于位姿变化信息以及至少一个参考因子，确定目标图像帧的位姿，包括：基于位姿变化信息，确定目标图像帧的第一位姿；以及，利用位姿变化信息以及至少一个参考因子，构建本次定位对应的总能量关系，其中，本次定位对应的总能量关系用于确定目标图像帧的需优化的位姿偏差；利用本次定位对应的总能量关系，对第一位姿进行优化，得到目标图像帧的位姿。
上述方案，通过利用位姿变化信息以及至少一个参考因子构建总能量关系，通过总能量关系确定位姿偏差，从而对目标图像帧的第一位姿进行优化。
一些公开实施例中，位姿确定模块43利用位姿变化信息以及至少一个参考因子，构建本次定位对应的总能量关系，包括：分别利用每个参考因子，确定参考因子对应的测量能量关系，以及，利用位姿变化信息确定运动先验能量关系；基于运动先验能量关系以及每个参考因子对应的测量能量关系，构建本次定位对应的总能量关系。
上述方案，对每一参考因子都构建对应的测量能量关系，并结合运动先验能量关系，使得获取到的总能量关系确定的位姿偏差更准确。
一些公开实施例中，位姿确定模块43分别利用每个参考因子，确定参考因子对应的测量能量关系，包括：获取若干惯性测量数据的预积分信息；利用若干惯性测量数据的预积分信息，构建惯性测量能量关系。
上述方案，通过将预积分信息构建的惯性测量能量关系与运动先验能量关系进行结合，相比于单一的运动先验能量关系而言，确定的位姿偏差更准确。
一些公开实施例中，位姿变化信息包括至少一种位姿变化量，至少一种位姿变化量包括位置变化量和/或姿态变化量；位姿确定模块43利用位姿变化信息确定运动先验能量关系，包括：利用至少一次定位对应的若干参数，确定运动先验能量关系，其中，至少一次定位包括本次定位，每次定位对应的若干参数包括定位过程中得到的位姿变化量、定位过程中采用的若干惯性测量数据的起始测量时刻和结束测量时刻的位置差、以及起始测量时刻对应的起始姿态信息。
上述方案，通过获取历史定位的位姿变化量以及若干惯性测量数据的测量期间的位置差，确定运动先验能量关系，使得构建的运动先验能量关系更准确，进而得到优化的位姿更准确。
一些公开实施例中，位姿变化信息还包括位姿变化量的确定度表征信息；位姿确定模块43利用至少一次定位对应的若干参数，确定运动先验能量关系，包括：基于每次定位过程中得到的确定度表征信息，得到对应次定位的权重；利用至少一次定位的权重以及若干参数，确定运动先验能量关系；和/或，至少一次定位为多次定位，利用至少一次定位对应的若干参数，确定运动先验能量关系，包括：从多次定位中，剔除满足去除条件的定位；其中，去除条件为定位对应的位姿变化量以及位姿变化量的确定度表征信息之间的预设处理结果满足第一预设要求；利用经剔除后的剩余次定位对应的若干参数，确定运动先验能量关系。
上述方案，通过确定度表征信息，得到对应的权重，使得构建的运动先验能量关系更准确。另外，通过对参数进行筛选，以剔除异常参数，进而使得获取到的运动先验能量关系更为准确。
一些公开实施例中，起始姿态信息包括偏航角信息；和/或，每次定位对应的第一历史图像帧与目标图像帧中，拍摄最早的图像帧为起始图像帧，拍摄最晚的图像帧为结束图像帧；在利用至少一次定位对应的若干参数，确定运动先验能量关系之前，位姿确定模块43法还用于：将至少一次定位中的每次定位作为目标定位，基于目标定位对应的若干惯性测量数据的预积分信息、起始图像帧的位姿和结束图像帧的位姿，确定目标定位对应的起始姿态信息、起始测量时刻的位置和结束测量时刻的位置。
上述方案，通过使用偏航角信息构建运动先验能量，使得构建得到的运动先验能量关系更准确。另外，通过预积分信息以及相关图像帧的位姿，确定若干惯性测量数据的起始测量时刻和结束测量时刻的位置，实现对起始测量时刻和结束测量时刻的位置的校正，进而提高运动先验能量关系的准确性。
一些公开实施例中，参考因子还包括关于目标图像帧和第一历史图像帧的图像信息，分别利用每个参考因子，确定参考因子对应的测量能量关系，包括利用图像信息，确定图像信息对应的视觉测量能量关系。在利用图像信息，确定图像信息对应的视觉测量能量关系之前，位姿确定模块43还用于：对若干参考图像帧的特征点进行匹配，得到特征点匹配结果，其中，若干参考图像包括至少一次定位过程中的第一历史图像帧和目标图像帧，且至少一次定位包括本次定位；利用图像信息，确定图像信息对应的视觉测量能量关系，包括：基于特征点匹配结果，从若干参考图像帧中确定至少一对匹配图像帧，其中，每对匹配图像帧存在匹配特征点对；利用每对匹配图像帧的位姿以及匹配特征点对在匹配图像帧中的位置，确定视觉测量能量关系。
上述方案，通过二维点信息构建视觉测量能量关系，而非通过三位点信息构建视觉测量能量关系，减少了因为三维点的精度问题造成视觉测量能量关系不准确的情况出现，从而使得获取得到的视觉测量能量关系更准确。
一些公开实施例中，在基于运动先验能量关系以及每个参考因子对应的测量能量关系，构建本次定位对应的总能量关系之前，位姿确定模块43还用于：基于历史定位对应的总能量关系，确定优化先验能量关系；基于运动先验能量关系以及每个参考因子对应的测量能量关系，构建本次定位对应的总能量关系，包括：基于运动先验能量关系、优化先验能量关系以及每个参考因子对应的测量能量关系，构建本次定位对应的总能量关系。
上述方案，通过结合优化先验能量关系构建总能量关系，使得确定的位姿偏差更准确。
一些公开实施例中，历史定位对应的总能量关系为上一次定位对应的总能量关系；和/或，目标图像帧对应的位姿偏差至少由目标图像帧的位姿以及目标图像帧之前的第一数量图像帧对应的位姿以及目标图像帧对应的惯性信息确定；位姿确定模块43基于历史定位对应的总能量关系，确定优化先验能量关系，包括：利用第二历史图像帧的位姿、第二历史图像帧之前的第二数量图像帧对应的位姿、目标图像帧的位姿、以及第二历史图像帧对应的惯性信息，更新得到第二历史图像帧对应的新的位姿偏差，其中，第二历史图像帧为历史定位中的目标图像帧，第二数量小于第一数量；将历史定位对应的总能量关系中的位姿偏差替换为新的位姿偏差，得到优化先验能量关系。
上述方案，通过利用目标图像帧的位姿替换第二历史图像帧之前第一数量图像帧的最早图像帧的位置，以更新第二历史图像帧对应的位姿偏差，进而使得确定得到的优化先验能量关系关联于目标图像帧的位姿，进而使得利用能量关系确定的目标图像帧的位姿偏差更准确。
一些公开实施例中，总能量关系表示位姿偏差与总能量之间的关系；位姿确定模块43利用本次定位对应的总能量关系，对第一位姿进行优化，得到目标图像帧的位姿，包括：利用本次定位对应的总能量关系，确定使总能量满足第二预设要求的位姿偏差；基于确定的位姿偏差对目标图像帧的第一位姿进行优化；和/或，位姿变化信息包括至少一种位姿变化量；基于位姿变化信息，确定目标图像帧的第一位姿，包括：利用目标图像帧对应的位姿变化量，确定目标图像帧的位姿。
上述方案，通过使得总能量关系满足第二预设要求的位姿偏差，并基于该位姿偏差对目标图像帧的第一位姿进行优化，使得最终目标图像帧的位姿更准确。另外，通过位姿变化量，即可确定目标图像帧的位姿，整个过程方便快捷。
一些公开实施例中，对若干惯性测量数据进行定位处理是由定位模型执行；和/或，定位处理模块42基于若干惯性测量数据进行定位处理，得到第一历史图像帧与目标图像帧之间的位姿变化信息，包括：利用惯性测量数据以及参考运动状态信息，确定待定位对象在本次定位处理得到的最终运动状态信息，其中，参考运动状态信息为上一次定位处理对应的最终运动状态信息；基于本次定位处理得到的最终运动状态信息，得到第一历史图像帧与目标图像帧之间的位姿变化信息。
上述方案，通过结合上一次定位处理得到的最终运动状态信息，使得此次定位处理得到的最终运动状态信息更为准确。
一些公开实施例中，定位方法由定位系统执行，在基于位姿变化信息以及至少一个参考因子，确定目标图像帧的位姿之前，位姿确定模块43还用于：判断定位系统的参数是否已初始化，其中，参数包括重力方向、惯性偏置量中的至少一者；响应于参数已初始化，则执行基于位姿变化信息以及至少一个参考因子，确定目标图像帧的位姿；响应于参数未初始化，则选择与目标图像帧对应的状态匹配的初始化方式，对定位系统的参数进行初始化，再执行基于位姿变化信息以及至少一个参考因子，确定目标图像帧的位姿，其中，状态包括运动状态和静止状态。
上述方案，通过在定位系统未经初始化的情况下，选择与目标图像帧对应的状态匹配的初始化方式，对定位系统的参数进行初始化，使得初始化得到的参数更准确。
一些公开实施例中，定位方法由定位系统执行，在基于位姿变化信息以及至少一个参考因子，确定目标图像帧的位姿之后，位姿确定模块43还用于：基于目标图像帧的位姿，对定位系统的参数进行优化，其中，参数包括重力方向、惯性偏置量中的至少一者。
上述方案，通过对定位系统的参数进行优化，使得下一次定位的精度更高。
一些公开实施例中，目标图像帧的位姿表示待定位对象在目标图像帧的拍摄时刻的位姿，目标图像帧和第一历史图像帧是由与待定位对象相对固定的拍摄装置拍摄得到，惯性测量数据是由与待定位对象相对固定的惯性测量装置测量得到；和/或，获取第一历史图像帧的拍摄时间至目标图像帧的拍摄时间的拍摄期间测量得到的若干惯性测量数据之后，数据获取模块41还用于：对惯性测量数据进行预处理，其中，经预处理的惯性测量数据用于进行定位处理，预处理包括将惯性测量数据转换到重力系下、去除偏置、去除重力和归一化中的一种或多种。
上述方案，通过由与待定位对象相对固定的拍摄装置拍摄得到目标图像帧以及与待定位对象相对固定的惯性测量装置得到惯性测量数据，因此，可以对任意的对象进行定位。另，通过对惯性测量数据进行预处理，使得得到的位姿变化信息更为准确。
上述方案，通过获取第一历史图像帧至目标图像帧之间的惯性测量数据，并依据该惯性测量数据进行定位处理，即可获取这两帧图像之间的位姿变化信息，进而可以根据该位姿变化信息得到目标图像帧的位姿信息。另外，在获取位姿变化信息之后，再结合参考因子，确定目标图像帧的位姿，由此，可以获取得到更为准确的位姿。上述过程主要利用惯性测量数据进行位姿变化的计算进而实现定位，故减少了视觉方面对定位的不良影响，从而减少了因为外部环境等因素造成定位准确度较低的情况。
请参阅图5，图5是本申请电子设备一实施例的结构示意图。电子设备50包括存储器51和处理器52，处理器52用于执行存储器51中存储的程序指令，以实现上述任一定位方法实施例中的步骤。在一个具体的实施场景中，电子设备50可以包括但不限于：医疗设备、微型计算机、台式电脑、服务器，此外，电子设备50还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器52用于控制其自身以及存储器51以实现上述任一定位方法实施例中的步骤。处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器52可以由集成电路芯片共同实现。
上述方案，通过获取第一历史图像帧至目标图像帧之间的惯性测量数据，并依据该惯性测量数据进行定位处理，即可获取这两帧图像之间的位姿变化信息，进而可以根据该位姿变化信息得到目标图像帧的位姿信息。另外，在获取位姿变化信息之后，再结合参考因子，确定目标图像帧的位姿，由此，可以获取得到更为准确的位姿。上述过程主要利用惯性测量数据进行位姿变化的计算进而实现定位，故减少了视觉方面对定位的不良影响，从而减少了因为外部环境等因素造成定位准确度较低的情况。
请参阅图6，图6是本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令61，程序指令61用于实现上述任一定位方法实施例中的步骤。
上述方案，通过获取第一历史图像帧至目标图像帧之间的惯性测量数据，并依据该惯性测量数据进行定位处理，即可获取这两帧图像之间的位姿变化信息，进而可以根据该位姿变化信息得到目标图像帧的位姿信息。另外，在获取位姿变化信息之后，再结合参考因子，确定目标图像帧的位姿，由此，可以获取得到更为准确的位姿。上述过程主要利用惯性测量数据进行位姿变化的计算进而实现定位，故减少了视觉方面对定位的不良影响，从而减少了因为外部环境等因素造成定位准确度较低的情况。
本公开涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的AR效果。示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。
可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (17)
1.一种定位方法，其特征在于，包括：
获取第一历史图像帧的拍摄时间至目标图像帧的拍摄时间的拍摄期间测量得到的若干惯性测量数据；
基于所述若干惯性测量数据进行定位处理，得到所述第一历史图像帧与所述目标图像帧之间的位姿变化信息；
基于所述位姿变化信息以及至少一个参考因子，确定所述目标图像帧的位姿，其中，所述至少一个参考因子包括所述若干惯性测量数据；
其中，所述基于所述位姿变化信息以及至少一个参考因子，确定所述目标图像帧的位姿，包括：
基于所述位姿变化信息，确定所述目标图像帧的第一位姿；以及，
利用所述位姿变化信息以及所述至少一个参考因子，构建本次定位对应的总能量关系，其中，本次定位对应的总能量关系用于确定所述目标图像帧的需优化的位姿偏差；
利用本次定位对应的总能量关系，对所述第一位姿进行优化，得到所述目标图像帧的位姿；
其中，所述利用所述位姿变化信息以及所述至少一个参考因子，构建本次定位对应的总能量关系，包括：
分别利用每个所述参考因子，确定所述参考因子对应的测量能量关系，以及，
利用所述位姿变化信息确定运动先验能量关系；
基于所述运动先验能量关系以及每个所述参考因子对应的测量能量关系，构建本次定位对应的总能量关系。
2.根据权利要求1所述的方法，其特征在于，所述至少一个参考因子还包括关于所述目标图像帧和第一历史图像帧的图像信息。
3.根据权利要求 1所述的方法，其特征在于，所述分别利用每个所述参考因子，确定所述参考因子对应的测量能量关系，包括：
获取所述若干惯性测量数据的预积分信息；
利用所述若干惯性测量数据的预积分信息，构建惯性测量能量关系。
4.根据权利要求1所述的方法，其特征在于，所述位姿变化信息包括至少一种位姿变化量，所述至少一种位姿变化量包括位置变化量和/或姿态变化量；所述利用所述位姿变化信息确定运动先验能量关系，包括：
利用至少一次定位对应的若干参数，确定运动先验能量关系，其中，所述至少一次定位包括本次定位，每次所述定位对应的若干参数包括所述定位过程中得到的所述位姿变化量、所述定位过程中采用的所述若干惯性测量数据的起始测量时刻和结束测量时刻的位置差、以及所述起始测量时刻对应的起始姿态信息。
5.根据权利要求4所述的方法，其特征在于，所述位姿变化信息还包括所述位姿变化量的确定度表征信息；所述利用至少一次定位对应的若干参数，确定运动先验能量关系，包括：
基于每次定位过程中得到的所述确定度表征信息，得到对应次定位的权重；
利用所述至少一次定位的权重以及所述若干参数，确定运动先验能量关系；
和/或，所述至少一次定位为多次定位，所述利用至少一次定位对应的若干参数，确定运动先验能量关系，包括：
从所述多次定位中，剔除满足去除条件的定位；其中，所述去除条件为所述定位对应的位姿变化量以及所述位姿变化量的确定度表征信息之间的预设处理结果满足第一预设要求；
利用经剔除后的剩余次定位对应的若干参数，确定运动先验能量关系。
6.根据权利要求4所述的方法，其特征在于，所述起始姿态信息包括偏航角信息；
和/或，每次定位对应的所述第一历史图像帧与所述目标图像帧中，拍摄最早的图像帧为起始图像帧，拍摄最晚的图像帧为结束图像帧；在所述利用至少一次定位对应的若干参数，确定运动先验能量关系之前，所述方法还包括：
将所述至少一次定位中的每次定位作为目标定位，基于所述目标定位对应的若干惯性测量数据的预积分信息、起始图像帧的位姿和所述结束图像帧的位姿，确定所述目标定位对应的所述起始姿态信息、所述起始测量时刻的位置和所述结束测量时刻的位置。
7.根据权利要求1所述的方法，其特征在于，所述参考因子还包括关于所述目标图像帧和第一历史图像帧的图像信息，所述分别利用每个所述参考因子，确定所述参考因子对应的测量能量关系，包括：
利用所述图像信息，确定所述图像信息对应的视觉测量能量关系；
在所述利用所述图像信息，确定所述图像信息对应的视觉测量能量关系之前，所述方法还包括：
对若干参考图像帧的特征点进行匹配，得到特征点匹配结果，其中，所述若干参考图像包括至少一次定位过程中的第一历史图像帧和目标图像帧，且所述至少一次定位包括本次定位；
所述利用所述图像信息，确定所述图像信息对应的视觉测量能量关系，包括：
基于所述特征点匹配结果，从所述若干参考图像帧中确定至少一对匹配图像帧，其中，每对所述匹配图像帧存在匹配特征点对；
利用每对所述匹配图像帧的位姿以及所述匹配特征点对在所述匹配图像帧中的位置，确定所述视觉测量能量关系。
8.根据权利要求1所述的方法，其特征在于，在所述基于所述运动先验能量关系以及每个所述参考因子对应的测量能量关系，构建本次定位对应的总能量关系之前，所述方法还包括：
基于历史定位对应的总能量关系，确定优化先验能量关系；
所述基于所述运动先验能量关系以及每个所述参考因子对应的测量能量关系，构建本次定位对应的总能量关系，包括：
基于所述运动先验能量关系、优化先验能量关系以及每个所述参考因子对应的测量能量关系，构建本次定位对应的总能量关系。
9.根据权利要求8所述的方法，其特征在于，所述历史定位对应的总能量关系为上一次定位对应的总能量关系；
和/或，所述目标图像帧对应的位姿偏差至少由所述目标图像帧的位姿以及所述目标图像帧之前的第一数量图像帧对应的位姿以及所述目标图像帧对应的惯性信息确定；所述基于历史定位对应的总能量关系，确定优化先验能量关系，包括：
利用第二历史图像帧的位姿、所述第二历史图像帧之前的第二数量图像帧对应的位姿、所述目标图像帧的位姿、以及所述第二历史图像帧对应的惯性信息，更新得到所述第二历史图像帧对应的新的位姿偏差，其中，所述第二历史图像帧为所述历史定位中的目标图像帧，所述第二数量小于所述第一数量；
将所述历史定位对应的总能量关系中的所述位姿偏差替换为所述新的位姿偏差，得到所述优化先验能量关系。
10.根据权利要求1所述的方法，其特征在于，所述总能量关系表示所述位姿偏差与总能量之间的关系；所述利用本次定位对应的总能量关系，对所述第一位姿进行优化，得到所述目标图像帧的位姿，包括：
利用本次定位对应的总能量关系，确定使所述总能量满足第二预设要求的所述位姿偏差；
基于确定的所述位姿偏差对所述第一位姿进行优化；
和/或，所述位姿变化信息包括至少一种位姿变化量；所述基于所述位姿变化信息，确定所述目标图像帧的第一位姿，包括：
利用所述目标图像帧对应的位姿变化量，确定所述目标图像帧的第一位姿。
11.根据权利要求1所述的方法，其特征在于，所述基于所述若干惯性测量数据进行定位处理是由定位模型执行；
和/或，所述基于所述若干惯性测量数据进行定位处理，得到所述第一历史图像帧与所述目标图像帧之间的位姿变化信息，包括：
利用所述惯性测量数据以及参考运动状态信息，确定本次所述定位处理得到的最终运动状态信息，其中，所述参考运动状态信息为历史所述定位处理得到的最终运动状态信息；
基于本次所述定位处理得到的最终运动状态信息，得到所述第一历史图像帧与所述目标图像帧之间的位姿变化信息。
12.根据权利要求1所述的方法，其特征在于，所述定位方法由定位系统执行，在所述基于所述位姿变化信息以及至少一个参考因子，确定所述目标图像帧的位姿之前，所述方法还包括：
判断所述定位系统的参数是否已初始化，其中，所述参数包括重力方向、惯性偏置量中的至少一者；
响应于所述参数已初始化，则执行所述基于所述位姿变化信息以及至少一个参考因子，确定所述目标图像帧的位姿；
响应于所述参数未初始化，则选择与所述目标图像帧对应的状态匹配的初始化方式，对所述定位系统的参数进行初始化，再执行所述基于所述位姿变化信息以及至少一个参考因子，确定所述目标图像帧的位姿，其中，所述状态包括运动状态和静止状态。
13.根据权利要求1所述的方法，其特征在于，所述定位方法由定位系统执行，在所述基于所述位姿变化信息以及至少一个参考因子，确定所述目标图像帧的位姿之后，所述方法还包括：
基于所述目标图像帧的位姿，对所述定位系统的参数进行优化，其中，所述参数包括重力方向、惯性偏置量中的至少一者。
14.根据权利要求1所述的方法，其特征在于，所述目标图像帧的位姿表示待定位对象在所述目标图像帧的拍摄时刻的位姿，所述目标图像帧和第一历史图像帧是由与待定位对象相对固定的拍摄装置拍摄得到，所述惯性测量数据是由与所述待定位对象相对固定的惯性测量装置测量得到；
和/或，所述获取第一历史图像帧的拍摄时间至目标图像帧的拍摄时间的拍摄期间测量得到的若干惯性测量数据之后，所述方法还包括：
对所述惯性测量数据进行预处理，其中，经所述预处理的所述惯性测量数据用于进行所述定位处理，所述预处理包括将所述惯性测量数据转换到重力系下、去除偏置、去除重力和归一化中的一种或多种。
15.一种定位装置，其特征在于，包括：
数据获取模块，用于获取第一历史图像帧至目标图像帧的拍摄期间测量得到的若干惯性测量数据；
定位处理模块，用于基于所述若干惯性测量数据进行定位处理，得到所述第一历史图像帧与所述目标图像帧之间的位姿变化信息；
位姿确定模块，用于基于所述位姿变化信息以及至少一个参考因子，确定所述目标图像帧的位姿，其中，所述至少一个参考因子包括所述若干惯性测量数据；
其中，所述位姿确定模块，用于基于所述位姿变化信息以及至少一个参考因子，确定所述目标图像帧的位姿，包括：
基于所述位姿变化信息，确定所述目标图像帧的第一位姿；以及，
利用所述位姿变化信息以及所述至少一个参考因子，构建本次定位对应的总能量关系，其中，本次定位对应的总能量关系用于确定所述目标图像帧的需优化的位姿偏差；
利用本次定位对应的总能量关系，对所述第一位姿进行优化，得到所述目标图像帧的位姿；
其中，所述利用所述位姿变化信息以及所述至少一个参考因子，构建本次定位对应的总能量关系，包括：
分别利用每个所述参考因子，确定所述参考因子对应的测量能量关系，以及，
利用所述位姿变化信息确定运动先验能量关系；
基于所述运动先验能量关系以及每个所述参考因子对应的测量能量关系，构建本次定位对应的总能量关系。
16.一种电子设备，其特征在于，包括存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至14任一项所述的方法。
17.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至14任一项所述的方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111154872.XA CN113899364B (zh) | 2021-09-29 | 2021-09-29 | 定位方法及装置、设备、存储介质 |
| PCT/CN2021/143905 WO2023050634A1 (zh) | 2021-09-29 | 2021-12-31 | 定位方法及装置、设备、存储介质及计算机程序产品 |
| TW111108665A TW202314593A (zh) | 2021-09-29 | 2022-03-09 | 定位方法及設備、電腦可讀儲存媒體 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111154872.XA CN113899364B (zh) | 2021-09-29 | 2021-09-29 | 定位方法及装置、设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113899364A CN113899364A (zh) | 2022-01-07 |
| CN113899364B true CN113899364B (zh) | 2022-12-27 |
Family
ID=79189637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111154872.XA Active CN113899364B (zh) | 2021-09-29 | 2021-09-29 | 定位方法及装置、设备、存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN113899364B (zh) |
| TW (1) | TW202314593A (zh) |
| WO (1) | WO2023050634A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114543797A (zh) * | 2022-02-18 | 2022-05-27 | 北京市商汤科技开发有限公司 | 位姿预测方法和装置、设备、介质 |
| CN116718153B (zh) * | 2023-08-07 | 2023-10-27 | 成都云智北斗科技有限公司 | 一种基于gnss和ins的形变监测方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492316A (zh) * | 2018-02-13 | 2018-09-04 | 视辰信息科技(上海)有限公司 | 一种终端的定位方法和装置 |
| CN112819860A (zh) * | 2021-02-18 | 2021-05-18 | Oppo广东移动通信有限公司 | 视觉惯性系统初始化方法及装置、介质和电子设备 |
| CN112902953A (zh) * | 2021-01-26 | 2021-06-04 | 中国科学院国家空间科学中心 | 一种基于slam技术的自主位姿测量方法 |
| CN113012224A (zh) * | 2021-03-12 | 2021-06-22 | 浙江商汤科技开发有限公司 | 定位初始化方法和相关装置、设备、存储介质 |
| CN113052897A (zh) * | 2021-03-25 | 2021-06-29 | 浙江商汤科技开发有限公司 | 定位初始化方法和相关装置、设备、存储介质 |
| CN113256718A (zh) * | 2021-05-27 | 2021-08-13 | 浙江商汤科技开发有限公司 | 定位方法和装置、设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017172778A1 (en) * | 2016-03-28 | 2017-10-05 | Sri International | Collaborative navigation and mapping |
| CN107747941B (zh) * | 2017-09-29 | 2020-05-15 | 歌尔股份有限公司 | 一种双目视觉定位方法、装置及系统 |
| CN111507132B (zh) * | 2019-01-31 | 2023-07-07 | 杭州海康机器人股份有限公司 | 一种定位方法、装置及设备 |
| CN112884840A (zh) * | 2021-03-29 | 2021-06-01 | 湖南国科微电子股份有限公司 | 一种视觉定位方法、装置、设备及存储介质 |
| CN113847907A (zh) * | 2021-09-29 | 2021-12-28 | 深圳市慧鲤科技有限公司 | 定位方法及装置、设备、存储介质 |
-
2021
- 2021-09-29 CN CN202111154872.XA patent/CN113899364B/zh active Active
- 2021-12-31 WO PCT/CN2021/143905 patent/WO2023050634A1/zh unknown
-
2022
- 2022-03-09 TW TW111108665A patent/TW202314593A/zh unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492316A (zh) * | 2018-02-13 | 2018-09-04 | 视辰信息科技(上海)有限公司 | 一种终端的定位方法和装置 |
| CN112902953A (zh) * | 2021-01-26 | 2021-06-04 | 中国科学院国家空间科学中心 | 一种基于slam技术的自主位姿测量方法 |
| CN112819860A (zh) * | 2021-02-18 | 2021-05-18 | Oppo广东移动通信有限公司 | 视觉惯性系统初始化方法及装置、介质和电子设备 |
| CN113012224A (zh) * | 2021-03-12 | 2021-06-22 | 浙江商汤科技开发有限公司 | 定位初始化方法和相关装置、设备、存储介质 |
| CN113052897A (zh) * | 2021-03-25 | 2021-06-29 | 浙江商汤科技开发有限公司 | 定位初始化方法和相关装置、设备、存储介质 |
| CN113256718A (zh) * | 2021-05-27 | 2021-08-13 | 浙江商汤科技开发有限公司 | 定位方法和装置、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Robust visual inertial odometry using a direct EKF-based approach;M. Bloesch 等;《Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)》;20151231;全文 * |
| 基于双目匹配技术的室内定位方法研究与实现;刘钰卿;《中国优秀硕士学位论文全文数据库》;20190915;全文 * |
| 基于视觉与惯性导航的无人机室内定位关键技术研究;张骁;《中国优秀硕士学位论文全文数据库》;20181215;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023050634A1 (zh) | 2023-04-06 |
| TW202314593A (zh) | 2023-04-01 |
| CN113899364A (zh) | 2022-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111156984B (zh) | 一种面向动态场景的单目视觉惯性slam方法 | |
| CN107990899B (zh) | 一种基于slam的定位方法和系统 | |
| CN109307508B (zh) | 一种基于多关键帧的全景惯导slam方法 | |
| CN109029433B (zh) | 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法 | |
| US8452080B2 (en) | Camera pose estimation apparatus and method for augmented reality imaging | |
| CN111795686B (zh) | 一种移动机器人定位与建图的方法 | |
| CN111354042A (zh) | 机器人视觉图像的特征提取方法、装置、机器人及介质 | |
| CN113899364B (zh) | 定位方法及装置、设备、存储介质 | |
| CN110717927A (zh) | 基于深度学习和视惯融合的室内机器人运动估计方法 | |
| US20220051031A1 (en) | Moving object tracking method and apparatus | |
| EP2851868A1 (en) | 3D Reconstruction | |
| CN111623773B (zh) | 一种基于鱼眼视觉和惯性测量的目标定位方法及装置 | |
| CN113012224B (zh) | 定位初始化方法和相关装置、设备、存储介质 | |
| CN111307146B (zh) | 一种基于双目相机和imu的虚拟现实头戴显示设备定位系统 | |
| CN111609868A (zh) | 一种基于改进光流法的视觉惯性里程计方法 | |
| CN112179373A (zh) | 一种视觉里程计的测量方法及视觉里程计 | |
| CN113847907A (zh) | 定位方法及装置、设备、存储介质 | |
| CN112907633A (zh) | 动态特征点识别方法及其应用 | |
| CN113916223B (zh) | 定位方法及装置、设备、存储介质 | |
| CN113327270A (zh) | 视觉惯导方法、装置、设备及计算机可读存储介质 | |
| CN114022556A (zh) | 定位初始化方法、装置和计算机可读存储介质 | |
| CN114882106A (zh) | 位姿确定方法和装置、设备、介质 | |
| US11158119B2 (en) | Systems and methods for reconstructing a three-dimensional object | |
| US11443455B2 (en) | Prior informed pose and scale estimation | |
| CN114983302B (zh) | 姿态的确定方法、装置、清洁设备、存储介质及电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40059203 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |