CN115239758A - 时间戳校正方法、装置、设备、介质及计算机程序产品 - Google Patents

时间戳校正方法、装置、设备、介质及计算机程序产品 Download PDF

Info

Publication number
CN115239758A
CN115239758A CN202210576177.0A CN202210576177A CN115239758A CN 115239758 A CN115239758 A CN 115239758A CN 202210576177 A CN202210576177 A CN 202210576177A CN 115239758 A CN115239758 A CN 115239758A
Authority
CN
China
Prior art keywords
key frame
frame image
motion data
motion
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210576177.0A
Other languages
English (en)
Inventor
蒿杰
詹恒泽
孙亚强
梁俊
史佳锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Institute of Artificial Intelligence and Advanced Computing
Original Assignee
Xintiao Technology Guangzhou Co ltd
Guangdong Institute of Artificial Intelligence and Advanced Computing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xintiao Technology Guangzhou Co ltd, Guangdong Institute of Artificial Intelligence and Advanced Computing filed Critical Xintiao Technology Guangzhou Co ltd
Priority to CN202210576177.0A priority Critical patent/CN115239758A/zh
Priority to PCT/CN2022/103380 priority patent/WO2023226156A1/zh
Publication of CN115239758A publication Critical patent/CN115239758A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种时间戳校正方法、装置、设备、介质及计算机程序产品，该方法包括：获取相机图像，选取所述相机图像中的关键帧图像，提取相邻关键帧图像之间的运动数据；对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，以及所述相对位姿对应的运动残差；根据所述关键帧图像对应的路标点和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差；根据所述时差对所述关键帧图像的时间戳和所述运动数据的时间戳进行校正。本发明用以解决现有技术中相机和IMU之间的时间戳存在偏差的缺陷，提高视觉惯性里程计的计算精度。

Description

时间戳校正方法、装置、设备、介质及计算机程序产品
技术领域
本发明涉及传感器数据处理技术领域，尤其涉及一种时间戳校正方法、装置、设备、介质及计算机程序产品。
背景技术
在SLAM(Simultaneous Localization and Mapping，同步定位与建图)系统中，通常包含相机与IMU(Inertial Measurement Unit，惯性测量单元)这两种传感器。SLAM系统对这两个传感器进行采样，获得相应的图像数据和IMU数据，以及获得图像数据和IMU数据对应的采样时间戳。通常假设获得的采样时间戳即为传感器采样时刻对应的时间，然而系统存在的触发延时、传输延时和没有准确同步时钟等问题，使得相机和IMU之间的时间戳存在偏差，而相机与IMU数据流时间戳上的偏差将影响VIO(visual-inertial odometry，视觉惯性里程计)系统的工作，从而降低视觉惯性里程计的计算精度。
发明内容
本发明提供一种时间戳校正方法、装置、设备、存储介质及计算机程序产品，用以解决现有技术中相机和IMU之间的时间戳存在偏差的缺陷，提高视觉惯性里程计的计算精度。
本发明提供一种时间戳校正方法，包括：
获取相机图像，选取所述相机图像中的关键帧图像，提取相邻关键帧图像之间的运动数据；
对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，以及所述相对位姿对应的运动残差；
根据所述关键帧图像对应的路标点和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差；
根据所述时差对所述关键帧图像的时间戳和所述运动数据的时间戳进行校正。
根据本发明提供的一种时间戳校正方法，所述获取相机图像，选取所述相机图像中的关键帧图像，提取相邻关键帧图像之间的运动数据的步骤包括：
根据第一预设采集频率和预设时段获取相机图像，根据预设规则选取所述相机图像中的关键帧图像；
根据第二预设采集频率和所述预设时段获取惯性传感器IMU数据；
根据所述IMU数据提取相邻关键帧图像之间的运动数据。
根据本发明提供的一种时间戳校正方法，所述对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，以及所述相对位姿对应的运动残差的步骤包括：
对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，其中，所述相对位姿包括位置差、速度差和转角差；
根据所述位置差、所述速度差和所述转角差计算运动残差。
根据本发明提供的一种时间戳校正方法，所述根据所述关键帧图像对应的路标点和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差的步骤包括：
根据所述关键帧图像对应的路标点，计算所述关键帧图像与所述路标点之间的重投影误差；
根据所述重投影误差和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差。
根据本发明提供的一种时间戳校正方法，所述根据所述重投影误差和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差的步骤包括：
获取所述相对位姿对应的第一信息矩阵，以及所述重投影误差对应的第二信息矩阵；
根据所述重投影误差、所述运动残差、所述第一信息矩阵以及所述第二信息矩阵，确定优化方程；
根据所述优化方程，计算所述关键帧图像与所述运动数据之间的时差。
根据本发明提供的一种时间戳校正方法，所述根据所述优化方程，计算所述关键帧图像与所述运动数据之间的时差的步骤包括：
将所述关键帧图像的顶点坐标和边特征点代入所述优化方程，计算得到所述关键帧图像与所述运动数据之间的时差。
本发明还提供一种时间戳校正装置，包括：
运动数据提取模块，用于获取相机图像，选取所述相机图像中的关键帧图像，提取相邻关键帧图像之间的运动数据；
预积分模块，用于对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，以及所述相对位姿对应的运动残差；
时差计算模块，用于根据所述关键帧图像对应的路标点和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差；
时间戳校正模块，用于根据所述时差对所述关键帧图像的时间戳和所述运动数据的时间戳进行校正。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述时间戳校正方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述时间戳校正方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述时间戳校正方法。
本发明提供的时间戳校正方法、装置、设备、存储介质及计算机程序产品，通过获取相机图像，选取相机图像中的关键帧图像，并提取相邻关键帧图像之间的运动数据，通过对运动数据进行预积分，得到相对位姿与运动残差，根据关键帧图像对应的路标点和运动残差，计算关键帧图像与运动数据之间的时差，最终根据时差对关键帧图像和运动数据进行时间戳校正，消除了相机与IMU之间的时间戳偏差，而相机与IMU在时间戳上的偏差将影响VIO系统的工作，降低视觉惯性里程计的计算精度，因此，本发明可以提高视觉惯性里程计的计算精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的时间戳校正方法的流程示意图之一；
图2是本发明提供的时间戳校正方法的流程示意图之二；
图3是本发明提供的时间戳校正装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图2描述本发明的时间戳校正方法。
请参照图1，本发明提供一种时间戳校正方法，包括：
步骤S100，获取相机图像，选取所述相机图像中的关键帧图像，提取相邻关键帧图像之间的运动数据；
具体地，在SLAM系统中，通常包含相机与IMU这两种传感器。SLAM系统对这两个传感器进行采样，获得相应的图像数据和IMU数据，以及获得数据的时间戳。通常假设获得数据的时间戳为传感器采样时刻对应的时间，然而系统存在的触发延时和传输延时等问题，使得相机和IMU的时间戳与真实采样时间之间存在偏差，本申请提出的时间戳校正方法即是为了解决上述问题。首先，以一定的帧率获取一段时间段内的相机图像，例如，在图像帧率为30hz的情况下，采集3分钟之内的相机图像，共5400帧相机图像，按照每隔5帧确定一张关键帧图像的规则，从这些相机图像中选取一定数量的关键帧图像，IMU传感器的采集频率大于图像帧率，然后提取相邻的关键帧图像对应的时刻之内的IMU数据，即本实施例中的运动数据，IMU传感器采集到的数据主要是多个方向的加速度和多个方向的角速度，表示SLAM系统的运动状态的变化。
步骤S200，对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，以及所述相对位姿对应的运动残差；
对于IMU传感器中的陀螺仪来说，需要被估计的数据有
Figure BDA0003660475660000051
其中Ti＝[Ri,Pi]∈SE(3)，其中，vi为关键帧图像i对应的SLAM系统在获得关键帧图像i时的速度，
Figure BDA0003660475660000061
分别为陀螺仪和加速度计的偏差，对于SLAM系统而言，通过对IMU数据进行预积分操作，可以获得连续两帧关键帧图像i到关键帧图像i+1之间SLAM系统的相对位姿，Δpi,i+1，Δvi,i+1，ΔRi,i+1分别表示关键帧图像i到关键帧图像i+1之间SLAM系统位置的变化，速度的变化以及转角的变化。还可获得整个测量向量的信息矩阵∑Ii,i+1。
具体地，得到IMU残差的方法可以通过如下公式实现，其中，
Figure BDA0003660475660000068
表示IMU残差，
Figure BDA0003660475660000062
Figure BDA0003660475660000063
其中，
Figure BDA0003660475660000064
表示关键帧图像i对应的SLAM系统的转角信息矩阵的转置；
Figure BDA0003660475660000065
其中，g表示重力加速度；
Figure BDA0003660475660000066
步骤S300，根据所述关键帧图像对应的路标点和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差；
具体地，关键帧图像对应的路标点是指现实世界中的3D点，关键帧图像i与3D点Xj之间存在视觉残差，定义视觉残差为rij，则rij＝uij-∏(TwcXj)，其中，uij是3D路标点Xj在关键帧图像i上的投影，其信息矩阵为∑ij，Twc表示世界坐标系到相机坐标系的转换，给定k+1个关键帧图像，及各关键帧图像的状态量Sk＝{S0,…Sk}，同时给定L个3D路标点集，3D路标点集的状态量为x＝{x0,…x(l-1)}，于是，相机与IMU的时差优化问题就可以表示为IMU残差以及视觉残差的组合，表示公式为
Figure BDA0003660475660000067
其中，Kj表示观测到第j个3D路标点的关键帧图像集合。
本实施例提出的时间戳校正方法将相机与IMU的时差作为状态变量的一部分。在IMU与相机存在时间偏差dt的情况下，令tIMU＝tcam+dt，那么相机图像的时间戳比对应数据真实的采样时间戳大dt。假设，第K帧关键帧图像Ik对应的时间戳为tk，那么，关键帧图像Ik真实的采样时间为tk-dt。对于Ik上的一个特征点
Figure BDA0003660475660000071
来说，其图像坐标为uij，特征点
Figure BDA0003660475660000072
在tk时间的真实位置已经发生偏移，假设，特征点
Figure BDA0003660475660000073
在短时间dt内在图像平面内的运动为匀速运动，那么在tk时刻，特征点
Figure BDA0003660475660000074
估计的坐标为
Figure BDA0003660475660000075
其中，
Figure BDA0003660475660000076
为特征点
Figure BDA0003660475660000077
在图像像素平面内的运动速度，可以通过前后两个关键帧的特征点的位置进行估计，即，
Figure BDA0003660475660000078
基于上述假设，在VIO系统中，将经时间偏差校正后的带参数dt的特征点坐标
Figure BDA0003660475660000079
替换之前的特征点坐标，从而将时间偏差参数dt引入了上述优化方程，于是上述优化方程可以写成带时间差的形式，即，
Figure BDA00036604756600000710
构建图优化过程中的顶点和边，顶点表示待优化的未知变量，边为连接优化变量之间的残差公式，并且进行优化计算出时差dt。
步骤S400，根据所述时差对所述关键帧图像的时间戳和所述运动数据的时间戳进行校正。
具体地，根据上述内容计算得到相机与IMU的时差之后，根据计算得到的时差，对关键帧图像的时间戳和运动数据的时间戳进行校正，从而消除时间戳偏差对VIO系统的影响，提高视觉惯性里程计的计算精度。
本实施例通过获取相机图像，选取相机图像中的关键帧图像，并提取相邻关键帧图像之间的运动数据，通过对运动数据进行预积分，得到相对位姿与运动残差，根据关键帧图像对应的路标点和运动残差，计算关键帧图像与运动数据之间的时差，最终根据时差对关键帧图像和运动数据进行时间戳校正，消除了相机与IMU之间的时间戳偏差，而相机与IMU在时间戳上的偏差将影响VIO系统的工作，降低视觉惯性里程计的计算精度，因此，本发明可以提高视觉惯性里程计的计算精度。
在一个实施例中，本申请实施例提供的时间戳校正方法，还可以包括：
步骤S101，根据第一预设采集频率和预设时段获取相机图像，根据预设规则选取所述相机图像中的关键帧图像；
步骤S102，根据第二预设采集频率和所述预设时段获取惯性传感器IMU数据；
步骤S103，根据所述IMU数据提取相邻关键帧图像之间的运动数据。
具体地，以一定的帧率获取一段时间段内的相机图像，例如，在图像帧率(即本实施例中的第一预设采集频率)为30hz的情况下，采集3分钟(即本实施例中的预设时段)之内的相机图像，在第二预设采集频率的基础上，采集预设时段内的IMU数据，根据相机和IMU的特性可知，第二预设采集频率大于第一预设采集频率，而3分钟内共采集到5400帧相机图像，按照每隔5帧确定一张关键帧图像的规则，从这些相机图像中选取一定数量的关键帧图像，然后提取相邻的关键帧图像对应的时刻之内的IMU数据，即本实施例中的运动数据，IMU传感器采集到的数据主要是多个方向的加速度和多个方向的角速度，表示SLAM系统的运动状态的变化。
本实施例通过一定频率采集一定时段内的相机图像和IMU数据，根据采集到的图像和IMU数据计算关键帧图像与运动数据之间的时差，最终根据时差对关键帧图像和运动数据进行时间戳校正，消除了相机与IMU之间的时间戳偏差，提高视觉惯性里程计的计算精度。
在一个实施例中，本申请实施例提供的时间戳校正方法，还可以包括：
步骤S201，对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，其中，所述相对位姿包括位置差、速度差和转角差；
步骤S202，根据所述位置差、所述速度差和所述转角差计算运动残差。
具体地，对于SLAM系统而言，对IMU数据进行预积分操作可以获得连续两帧关键帧图像i到关键帧图像i+1之间SLAM系统的相对位姿，相对位姿包括Δpi,i+1，Δvi,i+1，和ΔRi,i+1，其中，Δpi,i+1表示关键帧图像i到关键帧图像i+1之间SLAM系统位置的变化，即本实施例中的位置差；Δvi,i+1表示关键帧图像i到关键帧图像i+1之间SLAM系统速度的变化，即本实施例中的速度差；以及ΔRi,i+1表示关键帧图像i到关键帧图像i+1之间SLAM系统转角的变化，即本实施例中的转角差，通过以下公式据位置差、速度差和转角差计算运动残差，
Figure BDA0003660475660000091
其中，
Figure BDA0003660475660000092
表示关键帧图像i对应的SLAM系统的转角信息矩阵的转置；
Figure BDA0003660475660000093
其中，g表示重力加速度；
Figure BDA0003660475660000094
本实施例通过预积分计算运动残差，根据运动残差对关键帧图像和运动数据进行时间戳校正，消除了相机与IMU之间的时间戳偏差，提高视觉惯性里程计的计算精度。
在一个实施例中，本申请实施例提供的时间戳校正方法，还可以包括：
步骤S310，根据所述关键帧图像对应的路标点，计算所述关键帧图像与所述路标点之间的重投影误差；
步骤S320，根据所述重投影误差和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差。
具体地，定义重投影误差(即上述视觉残差)为rij，则rij＝uij-∏(TwcXj)，其中，uij是路标点Xj在关键帧图像i上的投影，其信息矩阵为∑ij，Twc表示世界坐标系到相机坐标系的转换，给定k+1个关键帧图像，及各关键帧图像的状态量Sk＝{S0,…Sk}，同时给定L个3D路标点集，3D路标点集的状态量为x＝{x0,…x(l-1)}，于是，相机与IMU的优化问题就可以表示为IMU残差以及重投影误差的组合，表示公式为
Figure BDA0003660475660000101
构建图优化过程中的顶点和边，顶点表示待优化的未知变量，边为连接优化变量之间的残差公式，并且进行优化计算出时差dt。
本实施例根据关键帧图像对应的路标点和运动残差，计算关键帧图像与运动数据之间的时差，消除了相机与IMU之间的时间戳偏差，提高了视觉惯性里程计的计算精度。
请参照图2，在一个实施例中，本申请实施例提供的时间戳校正方法，还可以包括：
步骤S321，获取所述相对位姿对应的第一信息矩阵，以及所述重投影误差对应的第二信息矩阵；
步骤S322，根据所述重投影误差、所述运动残差、所述第一信息矩阵以及所述第二信息矩阵，确定优化方程；
步骤S323，根据所述优化方程，计算所述关键帧图像与所述运动数据之间的时差。
本实施例提供的时间戳校正方法将相机与IMU的时差作为状态变量的一部分。在IMU与相机存在时间偏差dt的情况下，令tIMU＝tcam+dt，那么相机图像的时间戳比对应数据真实的采样时间戳大dt。假设，第K帧关键帧图像Ik对应的时间戳为tk，那么，关键帧图像Ik真实的采样时间为tk-dt。对于Ik上的一个特征点
Figure BDA0003660475660000111
来说，其图像坐标为uij，特征点
Figure BDA0003660475660000112
在tk时间的真实位置已经发生偏移，假设，特征点
Figure BDA0003660475660000113
在短时间dt内在图像平面内的运动为匀速运动，那么在tk时刻，特征点
Figure BDA0003660475660000114
估计的坐标为
Figure BDA0003660475660000115
其中，
Figure BDA0003660475660000116
为特征点
Figure BDA0003660475660000117
在图像像素平面内的运动速度，可以通过前后两个关键帧的特征点的位置进行估计，即，
Figure BDA0003660475660000118
基于上述假设，在VIO系统中，将经时间偏差校正后的带参数dt的特征点坐标
Figure BDA0003660475660000119
替换之前的特征点坐标，从而将时间偏差参数dt引入了上述优化方程，于是上述优化方程可以写成带时间差的形式，即，
Figure BDA00036604756600001110
其中，∑Ii,i+1为第一信息矩阵，∑ij为第二信息矩阵。
本实施例根据重投影误差、运动残差、第一信息矩阵以及第二信息矩阵计算关键帧图像与运动数据之间的时差，消除了相机与IMU之间的时间戳偏差，提高了视觉惯性里程计的计算精度。
在一个实施例中，本申请实施例提供的时间戳校正方法，还可以包括：
步骤S3231，将所述关键帧图像的顶点坐标和边特征点代入所述优化方程，计算得到所述关键帧图像与所述运动数据之间的时差。
构建图优化过程中的顶点和边，将关键帧图像中的顶点作为与时差dt相同的待优化的未知变量，边作为连接优化变量之间的残差公式，代入优化方程并且进行优化，计算出时差dt。
本实施例通过计算出相机与IMU的时差，消除了相机与IMU之间的时间戳偏差，提高了视觉惯性里程计的计算精度。
下面对本发明提供的时间戳校正装置进行描述，下文描述的时间戳校正装置与上文描述的时间戳校正方法可相互对应参照。
请参照图3，本发明还提供一种时间戳校正装置，包括：
运动数据提取模块10，用于获取相机图像，选取所述相机图像中的关键帧图像，提取相邻关键帧图像之间的运动数据；
预积分模块20，用于对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，以及所述相对位姿对应的运动残差；
时差计算模块30，用于根据所述关键帧图像对应的路标点和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差；
时间戳校正模块40，用于根据所述时差对所述关键帧图像的时间戳和所述运动数据的时间戳进行校正。
可知地，所述运动数据提取模块，包括：
图像获取单元，用于根据第一预设采集频率和预设时段获取相机图像，根据预设规则选取所述相机图像中的关键帧图像；
IMU数据获取单元，用于根据第二预设采集频率和所述预设时段获取惯性传感器IMU数据；
运动数据提取单元，用于根据所述IMU数据提取相邻关键帧图像之间的运动数据。
可知地，所述预积分模块，包括：
预积分单元，用于对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，其中，所述相对位姿包括位置差、速度差和转角差；
运动残差计算单元，用于根据所述位置差、所述速度差和所述转角差计算运动残差。
可知地，所述时差计算模块，包括：
重投影误差计算单元，用于根据所述关键帧图像对应的路标点，计算所述关键帧图像与所述路标点之间的重投影误差；
第一时差计算单元，用于根据所述重投影误差和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差。
可知地，所述第一时差计算单元，包括：
信息矩阵获取单元，用于获取所述相对位姿对应的第一信息矩阵，以及所述重投影误差对应的第二信息矩阵；
优化方程确定单元，用于根据所述重投影误差、所述运动残差、所述第一信息矩阵以及所述第二信息矩阵，确定优化方程；
第二时差计算单元，用于根据所述优化方程，计算所述关键帧图像与所述运动数据之间的时差。
可知地，所述第二时差计算单元，包括：
第三时差计算单元，用于将所述关键帧图像的顶点坐标和边特征点代入所述优化方程，计算得到所述关键帧图像与所述运动数据之间的时差。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行时间戳校正方法，该方法包括：获取相机图像，选取所述相机图像中的关键帧图像，提取相邻关键帧图像之间的运动数据；对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，以及所述相对位姿对应的运动残差；根据所述关键帧图像对应的路标点和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差；根据所述时差对所述关键帧图像的时间戳和所述运动数据的时间戳进行校正。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的时间戳校正方法，该方法包括：获取相机图像，选取所述相机图像中的关键帧图像，提取相邻关键帧图像之间的运动数据；对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，以及所述相对位姿对应的运动残差；根据所述关键帧图像对应的路标点和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差；根据所述时差对所述关键帧图像的时间戳和所述运动数据的时间戳进行校正。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的时间戳校正方法，该方法包括：获取相机图像，选取所述相机图像中的关键帧图像，提取相邻关键帧图像之间的运动数据；对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，以及所述相对位姿对应的运动残差；根据所述关键帧图像对应的路标点和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差；根据所述时差对所述关键帧图像的时间戳和所述运动数据的时间戳进行校正。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种时间戳校正方法，其特征在于，包括：
获取相机图像，选取所述相机图像中的关键帧图像，提取相邻关键帧图像之间的运动数据；
对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，以及所述相对位姿对应的运动残差；
根据所述关键帧图像对应的路标点和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差；
根据所述时差对所述关键帧图像的时间戳和所述运动数据的时间戳进行校正。
2.根据权利要求1所述的时间戳校正方法，其特征在于，所述获取相机图像，选取所述相机图像中的关键帧图像，提取相邻关键帧图像之间的运动数据的步骤包括：
根据第一预设采集频率和预设时段获取相机图像，根据预设规则选取所述相机图像中的关键帧图像；
根据第二预设采集频率和所述预设时段获取惯性传感器IMU数据；
根据所述IMU数据提取相邻关键帧图像之间的运动数据。
3.根据权利要求1所述的时间戳校正方法，其特征在于，所述对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，以及所述相对位姿对应的运动残差的步骤包括：
对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，其中，所述相对位姿包括位置差、速度差和转角差；
根据所述位置差、所述速度差和所述转角差计算运动残差。
4.根据权利要求1所述的时间戳校正方法，其特征在于，所述根据所述关键帧图像对应的路标点和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差的步骤包括：
根据所述关键帧图像对应的路标点，计算所述关键帧图像与所述路标点之间的重投影误差；
根据所述重投影误差和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差。
5.根据权利要求4所述的时间戳校正方法，其特征在于，所述根据所述重投影误差和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差的步骤包括：
获取所述相对位姿对应的第一信息矩阵，以及所述重投影误差对应的第二信息矩阵；
根据所述重投影误差、所述运动残差、所述第一信息矩阵以及所述第二信息矩阵，确定优化方程；
根据所述优化方程，计算所述关键帧图像与所述运动数据之间的时差。
6.根据权利要求5所述的时间戳校正方法，其特征在于，所述根据所述优化方程，计算所述关键帧图像与所述运动数据之间的时差的步骤包括：
将所述关键帧图像的顶点坐标和边特征点代入所述优化方程，计算得到所述关键帧图像与所述运动数据之间的时差。
7.一种时间戳校正装置，其特征在于，包括：
运动数据提取模块，用于获取相机图像，选取所述相机图像中的关键帧图像，提取相邻关键帧图像之间的运动数据；
预积分模块，用于对所述运动数据进行预积分，得到所述相邻关键帧图像的相对位姿，以及所述相对位姿对应的运动残差；
时差计算模块，用于根据所述关键帧图像对应的路标点和所述运动残差，计算所述关键帧图像与所述运动数据之间的时差；
时间戳校正模块，用于根据所述时差对所述关键帧图像的时间戳和所述运动数据的时间戳进行校正。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述时间戳校正方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述时间戳校正方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述时间戳校正方法。
CN202210576177.0A 2022-05-24 2022-05-24 时间戳校正方法、装置、设备、介质及计算机程序产品 Pending CN115239758A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210576177.0A CN115239758A (zh) 2022-05-24 2022-05-24 时间戳校正方法、装置、设备、介质及计算机程序产品
PCT/CN2022/103380 WO2023226156A1 (zh) 2022-05-24 2022-07-01 时间戳校正方法、装置、设备、介质及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210576177.0A CN115239758A (zh) 2022-05-24 2022-05-24 时间戳校正方法、装置、设备、介质及计算机程序产品

Publications (1)

Publication Number Publication Date
CN115239758A true CN115239758A (zh) 2022-10-25

Family

ID=83667803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210576177.0A Pending CN115239758A (zh) 2022-05-24 2022-05-24 时间戳校正方法、装置、设备、介质及计算机程序产品

Country Status (2)

Country Link
CN (1) CN115239758A (zh)
WO (1) WO2023226156A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304992A (zh) * 2023-05-22 2023-06-23 智道网联科技(北京)有限公司 传感器时差确定方法、装置、计算机设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9116001B2 (en) * 2012-06-14 2015-08-25 Qualcomm Incorporated Adaptive estimation of frame time stamp latency
CN107869989B (zh) * 2017-11-06 2020-02-07 东北大学 一种基于视觉惯导信息融合的定位方法及系统
CN108629793B (zh) * 2018-03-22 2020-11-10 中国科学院自动化研究所 使用在线时间标定的视觉惯性测程法与设备
CN110246147B (zh) * 2019-05-14 2023-04-07 中国科学院深圳先进技术研究院 视觉惯性里程计方法、视觉惯性里程计装置及移动设备
CN112907633B (zh) * 2021-03-17 2023-12-01 中国科学院空天信息创新研究院 动态特征点识别方法及其应用
CN114216455A (zh) * 2021-11-04 2022-03-22 天津工业大学 同时优化时间偏差的视觉惯性里程计系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304992A (zh) * 2023-05-22 2023-06-23 智道网联科技(北京)有限公司 传感器时差确定方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2023226156A1 (zh) 2023-11-30

Similar Documents

Publication Publication Date Title
CN111795686B (zh) 一种移动机器人定位与建图的方法
CN112598757B (zh) 一种多传感器时间空间标定方法及装置
CN111354042A (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
CN114018274B (zh) 车辆定位方法、装置及电子设备
CN111609868A (zh) 一种基于改进光流法的视觉惯性里程计方法
CN111127584A (zh) 建立视觉地图的方法和装置、电子设备和存储介质
CN114136315A (zh) 一种基于单目视觉辅助惯性组合导航方法及系统
CN115239758A (zh) 时间戳校正方法、装置、设备、介质及计算机程序产品
CN112985450B (zh) 一种具有同步时间误差估计的双目视觉惯性里程计方法
CN108827287B (zh) 一种复杂环境下的鲁棒视觉slam系统
CN113759347B (zh) 坐标关系的标定方法、装置、设备及介质
CN114812601A (zh) 视觉惯性里程计的状态估计方法、装置、电子设备
CN111998870B (zh) 一种相机惯导系统的标定方法和装置
CN115727871A (zh) 一种轨迹质量检测方法、装置、电子设备和存储介质
CN114440877B (zh) 一种异步多相机视觉惯性里程计定位方法
CN111307176B (zh) 一种vr头戴显示设备中视觉惯性里程计的在线标定方法
CN111811501B (zh) 一种基于树干特征的无人机定位方法、无人机及存储介质
CN113847907A (zh) 定位方法及装置、设备、存储介质
CN113946151A (zh) 针对自动驾驶车辆的数据处理方法、装置和自动驾驶车辆
CN113159197A (zh) 一种纯旋转运动状态判定方法及装置
CN113436349A (zh) 一种3d背景替换方法、装置、存储介质和终端设备
CN112037261A (zh) 一种图像动态特征去除方法及装置
CN111678515A (zh) 设备状态估计方法、装置、电子设备及存储介质
CN113587920B (zh) 运动测量方法、装置、电子设备及计算机可读存储介质
CN114370870B (zh) 适用于位姿测量卡尔曼滤波的滤波器更新信息筛选方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221226

Address after: Room 1722, No. 2, Kailuo Avenue, Huangpu District, Guangzhou, Guangdong 510700

Applicant after: Lingjian Technology (Guangzhou) Co.,Ltd.

Address before: 510530 room 801, building B2, No. 11, Kaiyuan Avenue, Huangpu District, Guangzhou, Guangdong

Applicant before: Guangdong Institute of artificial intelligence and advanced computing

Applicant before: Xintiao Technology (Guangzhou) Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240429

Address after: 510530 room 801, building B2, No. 11, Kaiyuan Avenue, Huangpu District, Guangzhou, Guangdong

Applicant after: Guangdong Institute of artificial intelligence and advanced computing

Country or region after: China

Address before: Room 1722, No. 2, Kailuo Avenue, Huangpu District, Guangzhou, Guangdong 510700

Applicant before: Lingjian Technology (Guangzhou) Co.,Ltd.

Country or region before: China

TA01 Transfer of patent application right