CN114040128B - 时间戳延时标定方法及系统、设备和计算机可读存储介质 - Google Patents

时间戳延时标定方法及系统、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN114040128B
CN114040128B CN202111409154.2A CN202111409154A CN114040128B CN 114040128 B CN114040128 B CN 114040128B CN 202111409154 A CN202111409154 A CN 202111409154A CN 114040128 B CN114040128 B CN 114040128B
Authority
CN
China
Prior art keywords
sequence
video
data
delay
correlation coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111409154.2A
Other languages
English (en)
Other versions
CN114040128A (zh
Inventor
曾灿灿
顾升宇
王强
张小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visionstar Information Technology Shanghai Co ltd
Original Assignee
Visionstar Information Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visionstar Information Technology Shanghai Co ltd filed Critical Visionstar Information Technology Shanghai Co ltd
Priority to CN202111409154.2A priority Critical patent/CN114040128B/zh
Publication of CN114040128A publication Critical patent/CN114040128A/zh
Application granted granted Critical
Publication of CN114040128B publication Critical patent/CN114040128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H04N5/95—Time-base error compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种视频与惯性数据时间戳延时标定方法及系统、设备和计算机可读存储介质，其中，该方法包括：计算在视频数据中所有相邻帧之间的相对转角，以获取第一序列，所述第一序列中的每一个值表示相邻帧之间的相对转角大小；将惯性数据的旋转分量按照所述视频数据中相邻帧的时间间隔进行积分后，得到第二序列；计算所述第一序列与所述第二序列的互相关系数；利用所述互相关系数确定视频与惯性数据之间的时间戳延时。本发明提供的技术方案只使用视频数据中相邻两帧图像之间的相对旋转，以及惯性数据中的角加速度数据，一方面使用最少的数据达到了方法最大的通用性，另一方面通过使用互相关分析和相位相关分析计算可以极大的提高标定的精度。

Description

时间戳延时标定方法及系统、设备和计算机可读存储介质
技术领域
本发明涉及计算机视觉领域，尤其涉及一种视频与惯性数据时间戳延时标定方法及系统、设备和计算机可读存储介质。
背景技术
在计算机视觉系统中，使用相机和惯性测量单元(Inertial Measurement Unit，IMU)的视觉惯性测程法近年来取得了很好的效果，利用相机可以获取视频数据，利用IMU可以获取惯性数据，因为视觉(即视频数据)和IMU的信息(即惯性数据)有互补的特点，这些融合视觉和惯性信息进行位姿估计的方法一般都需要严格的视频与惯性数据的时间戳对齐，否则不仅影响系统的精度，还会导致系统极易崩溃。
但是，目前许多同时提供了视频与惯性数据的设备，例如智能手机、GoPro运动相机、insta360全景相机等，由于没有使用硬件对视频与惯性数据的时间戳进行同步，因此两者之间可能存在一定的延时，并且这个延时并不是固定值，而是每次开始采集数据时都会变化，因此无法通过事先标定得知某一次采集数据的延时。而对于GoPro运动相机、insta360全景相机来说，其延时可能达到几十毫秒甚至几百毫秒，在这样大的延时下，基于视频与惯性数据的视觉惯性里程计(Visual-Inertial Odometry，VIO)已经无法正常运行，需要进行在线的延时标定。
目前，现有的视觉和惯性延时标定的方法主要分为离线标定和在线标定两种，离线标定需要使用标定板等特殊设备，还需要比较专业的采集方式才能进行标定，导致定位成本较高，定位程序比较复杂，而且很难使用在前面所述的在线使用或者每次都会变化的场景中，应用场景比较局限，方法不具有通用性，另外，在线标定主要是通过使用EKF算法或非线性优化在线优化，其需要有一个比较好的初值，或视觉与惯性数据的延时较小，使得vio算法可以勉强运行，定位的精度也不高，所以如何设计出具备通用性的定位方法而且能提高定位精度一直就是业界亟待突破的问题。
发明内容
有鉴于此，本发明的目的在于提供一种视频与惯性数据时间戳延时标定方法及系统、设备和计算机可读存储介质，只使用视频数据中相邻两帧图像之间的相对旋转，以及惯性数据中的角加速度数据，一方面使用最少的数据达到了方法最大的通用性，另一方面通过使用互相关分析和相位相关分析计算可以极大的提高标定的精度。
一方面，本发明提出一种视频与惯性数据时间戳延时标定方法，其中，所述视频与惯性数据时间戳延时标定方法包括：
步骤一，计算在视频数据中所有相邻帧之间的相对转角，以获取第一序列，所述第一序列中的每一个值表示相邻帧之间的相对转角大小；
步骤二，将惯性数据的旋转分量按照所述视频数据中相邻帧的时间间隔进行积分后，得到第二序列；
步骤三，计算所述第一序列与所述第二序列的互相关系数；
步骤四，利用所述互相关系数确定视频与惯性数据之间的时间戳延时。
优选的，所述第一序列为其中任意一个元素/>代表的是从所述视频数据中第i-1帧图像到第i帧图像的相对转角大小。
优选的，所述积分的计算方式为：
ri,i+1＝R+tati+n2AxisAngle(ΔR)；
其中，Angle2Rotation表示操作旋转向量转为旋转矩阵，Rotation2AxisAngle表示旋转矩阵转为旋转向量，△t表示连续的两个惯性数据之间的时间差，wx、wy、wz分别表示这两个惯性数据的x，y，z三个分量的平均值，△R是以旋转矩阵的形式表示积分区间里面的惯性测量单元转过的角度，ri,i+1是以旋转向量的形式表示积分区间里面的惯性测量单元转过的角度，所述第二序列为其中/>表示将惯性数据的旋转分量按照所述视频数据中第n-1帧与第n帧之间的时间间隔进行积分后的值。
优选的，所述互相关系数为序列C1，其中，所述序列C1中的第k项的计算方式为：
其中k＝-m+1,…,n-1，L1(i)表示所述第一序列L1中的第i个值，L2(i+k)表示所述第二序列L2中的第i+k个值，如果i+k<0或i+k>n，则L2(i+k)＝0；
其中，在所述序列C1中的找出最大值，并将所述最大值对应的两个序列之间的延时计为第一延时t1。
优选的，所述计算所述第一序列与所述第二序列的互相关系数还包括：
在-T/2到T/2之间重新选择积分的起点并再次按照步骤二进行积分得到多个序列，每个序列分别与所述第一序列L1计算相关系数，并找到所述相关系数最大的一个序列为第三序列L3，将重新选择的积分起点与所述惯性数据起始点的时间差记为t2，则视频与惯性数据之间的延时为第二延时t1+t2，其中，T为所述视频数据中相邻帧的时间间隔，所述相关系数的计算方式为：
其中，X和Y是两个序列，cov(X,Y)表示序列X与序列Y的协方差，var(X)表示序列X的方差，var(Y)表示序列Y的方差。
优选的，所述利用所述互相关系数确定视频与惯性数据之间的时间戳延时包括：
对所述第一序列L1与所述第三序列L3分别做离散傅里叶变换得到F1和F3；
计算F1和F3的互功率谱，并进行离散傅里叶反变换得到相位相关系数，所述相位相关系数为一个序列且序列中的最大值对应的时间差为延时t3；
计算所述视频与惯性数据之间的时间戳延时t＝t1+t2+t3。
另一方面，本发明还提出一种视频与惯性数据时间戳延时标定系统，所述视频与惯性数据时间戳延时标定系统包括：
转角计算模块，用于计算在视频数据中所有相邻帧之间的相对转角，以获取第一序列，所述第一序列中的每一个值表示相邻帧之间的相对转角大小；
积分计算模块，用于将惯性数据的旋转分量按照所述视频数据中相邻帧的时间间隔进行积分后，得到第二序列；
互相关系数计算模块，用于计算所述第一序列与所述第二序列的互相关系数；
时间戳延时计算模块，用于利用所述互相关系数确定视频与惯性数据之间的时间戳延时。
优选的，所述第一序列为其中任意一个元素/>代表的是从所述视频数据中第i-1帧图像到第i帧图像的相对转角大小。
优选的，所述积分的计算方式为：
ri,i+1＝Rotation2AxisAngle(ΔR)；
其中，Angle2Rotation表示操作旋转向量转为旋转矩阵，Rotation2AxisAngle表示旋转矩阵转为旋转向量，△t表示连续的两个惯性数据之间的时间差，wx、wy、wz分别表示这两个惯性数据的x，y，z三个分量的平均值，△R是以旋转矩阵的形式表示积分区间里面的惯性测量单元转过的角度，ri,i+1是以旋转向量的形式表示积分区间里面的惯性测量单元转过的角度，所述第二序列为其中/>表示将惯性数据的旋转分量按照所述视频数据中第n-1帧与第n帧之间的时间间隔进行积分后的值。
优选的，所述互相关系数为序列C1，其中，所述序列C1中的第k项的计算方式为：
其中k＝-m+1,…,n-1，L1(i)表示所述第一序列L1中的第i个值，L2(i+k)表示所述第二序列L2中的第i+k个值，如果i+k<0或i+k>n，则L2(i+k)＝0；
其中，在所述序列C1中的找出最大值，并将所述最大值对应的两个序列之间的延时计为第一延时t1。
优选的，所述互相关系数计算模块还用于：
在-T/2到T/2之间重新选择积分的起点并再次按照步骤二进行积分得到多个序列，每个序列分别与所述第一序列L1计算相关系数，并找到所述相关系数最大的一个序列为第三序列L3，将重新选择的积分起点与所述惯性数据起始点的时间差记为t2，则视频与惯性数据之间的延时为第二延时t1+t2，其中，T为所述视频数据中相邻帧的时间间隔，所述相关系数的计算方式为：
其中，X和Y是两个序列，cov(X,Y)表示序列X与序列Y的协方差，var(X)表示序列X的方差，var(Y)表示序列Y的方差。
优选的，所述时间戳延时计算模块还用于：
对所述第一序列L1与所述第三序列L3分别做离散傅里叶变换得到F1和F3；
计算F1和F3的互功率谱，并进行离散傅里叶反变换得到相位相关系数，所述相位相关系数为一个序列且序列中的最大值对应的时间差为延时t3；
计算所述视频与惯性数据之间的时间戳延时t＝t1+t2+t3。
另一方面，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的视频与惯性数据时间戳延时标定方法的步骤。
另一方面，本发明还提供一种设备，其中，所述设备包括存储器和处理器，所述存储器存储计算机处理指令，所述处理器通过调用所述计算机处理指令来执行上述任一项所述的视频与惯性数据时间戳延时标定方法。
本发明提供的技术方案具有以下优点：只使用视频数据中相邻两帧图像之间的相对旋转，以及惯性数据中的角加速度数据，一方面使用最少的数据达到了方法最大的通用性，另一方面通过使用互相关分析和相位相关分析计算可以极大的提高标定的精度。
附图说明
图1为本发明一实施方式中视频与惯性数据时间戳延时标定方法的流程示意图；
图2为本发明一实施方式中视频与惯性数据时间戳延时标定系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下将对本发明所提供的一种视频与惯性数据时间戳延时标定方法进行详细说明。
请参阅图1，为本发明一实施方式中视频与惯性数据时间戳延时标定方法的流程示意图。
在步骤S1中，步骤一，计算在视频数据中所有相邻帧之间的相对转角，以获取第一序列，第一序列中的每一个值表示相邻帧之间的相对转角大小。
在本实施方式中，第一序列为其中任意一个元素/>代表的是从所述视频数据中第i-1帧图像到第i帧图像的相对转角大小。在本实施方式中，由于旋转有多种表示方法，而旋转的表示方法并不影响后续的计算流程，因此为简单起见，这里直接将旋转表示成轴角的形式，即一个三维的旋转轴和一个一维的转角大小，忽略旋转轴，只考虑相对转角大小。
在步骤S2中，步骤二，将惯性数据的旋转分量按照视频数据中相邻帧的时间间隔进行积分后，得到第二序列。
在本实施方式中，所述积分的计算方式为：
ri,i+1＝Rotation2AxisAngle(ΔR)；
其中，Angle2Rotation表示操作旋转向量转为旋转矩阵，Rotation2AxisAngle表示旋转矩阵转为旋转向量，△t表示连续的两个惯性数据之间的时间差，wx、wy、wz分别表示这两个惯性数据的x，y，z三个分量的平均值，△R是以旋转矩阵的形式表示积分区间里面的惯性测量单元(IMU)转过的角度，ri,i+1是以旋转向量(Axis Angle)的形式表示积分区间里面的惯性测量单元转过的角度，所述第二序列为其中/>表示将惯性数据的旋转分量(即IMU输出的角速度分量)按照所述视频数据中第n-1帧与第n帧之间的时间间隔进行积分后的值。
在本实施方式中，如果视频数据中相邻帧的时间间隔是T毫秒，则将惯性数据的旋转分量(即IMU输出的角速度分量)按照每隔T毫秒进行积分，积分后得到第二序列为
在本实施方式中，在计算机视觉系统中，使用相机和惯性测量单元(InertialMeasurement Unit，IMU)的视觉惯性测程法近年来取得了很好的效果，利用相机可以获取视频数据，利用IMU可以获取惯性数据，这些融合视觉和惯性信息进行位姿估计的方法一般都需要严格的视频与惯性数据的时间戳对齐，否则不仅影响系统的精度，还会导致系统极易崩溃。
在步骤S3中，步骤三，计算第一序列与第二序列的互相关系数。
在本实施方式中，所述互相关系数为序列C1，其中，所述序列C1中的第k项的计算方式为：
其中k＝-m+1,…,n-1，L1(i)表示所述第一序列L1中的第i个值，L2(i+k)表示所述第二序列L2中的第i+k个值，如果i+k<0或i+k>n，则82(i+k)＝0；
其中，在所述序列C1中的找出最大值，并将所述最大值对应的两个序列之间的延时计为第一延时t1。在本实施方式中，得到的互相关系数总共有m+n-1项，找出其中的最大值，其所在的位置即对应着两个序列之间的延时t1，为视频与惯性数据之间的第一延时。
在本实施方式中，所述计算所述第一序列与所述第二序列的互相关系数还包括：
在-T/2到T/2之间重新选择积分的起点并再次按照步骤二进行积分得到多个序列，每个序列分别与所述第一序列L1计算相关系数，并找到所述相关系数最大的一个序列为第三序列L3，将重新选择的积分起点与所述惯性数据起始点的时间差记为t2，则视频与惯性数据之间的延时为第二延时t1+t2，其中，T为所述视频数据中相邻帧的时间间隔，所述相关系数的计算方式为：
其中，X和Y是两个序列，cov(X,Y)表示序列X与序列Y的协方差，var(X)表示序列X的方差，var(Y)表示序列Y的方差。
在本实施方式中，步骤S2中是从第一个惯性数据(即imu数据)开始积分的，而由于视频与惯性数据之间的延时是任意的，因此积分从第一个数据开始可能不够精确，因此需要进行更精确的计算，找到精确的起始点开始积分，对imu的时间戳都加上t1，得到粗略对齐后的imu序列。
在本实施方式中，积分的周期为T，因此在时间-T/2到T/2内，选择不同的起点再次按照步骤二进行积分，得到多组序列，将这多组序列分别与L1计算互相关系数，其中互相关值最大的一组即为最佳的对齐序列(记为L3)，其起始点的相对imu序列第一个数据的时间差为t2，则所求的视频与惯性数据之间延时为第二延时t1+t2。
在本实施方式中，上述步骤可以使得标定的延时精度达到imu数据的周期精度，例如对于200hz的imu数据，则标定的精度可以达到1/200＝0.005秒的精度，足以满足绝大多数vio算法的要求。如果需要更高的精度，则对L1与L3进行相位相关分析，在频域内可以得到更高的标定精度。
在步骤S4中，步骤四，利用互相关系数确定视频与惯性数据之间的时间戳延时。
在本实施方式中，所述利用所述互相关系数确定视频与惯性数据之间的时间戳延时包括：
对所述第一序列L1与所述第三序列L3分别做离散傅里叶变换得到F1和F3；
计算F1和F3的互功率谱，并进行离散傅里叶反变换得到相位相关系数，所述相位相关系数为一个序列且序列中的最大值对应的时间差为延时t3；
计算所述视频与惯性数据之间的时间戳延时t＝t1+t2+t3。
在本实施方式中，对L1与83做相位相关分析，首先对L1和L3分别做离散傅里叶变换得到F1和F3，之后计算F1与F3的互功率谱，之后再进行离散傅里叶反变换得到相位相关系数。与互相关类似，这一步得到的也是一个序列，序列中的最大值对应的时间差便是更加精确的延时t3，此时所求视频与惯性数据之间的时间戳延时t＝t1+t2+t3。
其计算公式如下：
其中为离散傅里叶变换，/>为离散傅里叶反变换，r表示相位相关系数。
在本实施方式中，t1是第一次做互相关分析之后取最大值对应的时间差得到的第一延时(也可称之为粗略延时)，在这个第一延时周围重新再次做积分得到一个增量t2，然后在t1+t2的基础上再做相位相关分析得到增量t3。
本发明具体实施方式中提供的步骤S1只需要得到视频数据中相邻两帧图片之间的相对转角，而旋转的表示形式有多种，可以采用一维的旋转角度，也可以采用3维的欧拉角，或是四元素表示，因此序列L1,L2,L3中的每个元素都可以是3维的。不管序列中的转角是如何表示的，后面依然可以计算互相关系数和相位相关，整个流程并没有实质性的改变，其中相对转角可以通过光流、特征点匹配或者视觉SLAM的方式得到，因此本发明的技术方案不需要借助标定板等特殊设备，解决了现有技术中大部分方法需要借助标定板的缺陷，本发明的技术方案不需要借助标定板等外物，具有更高的通用性。
在本实施方式中，步骤S4中得到的时间戳延时可以使得标定的延时精度达到惯性数据(即imu数据)的周期精度，足以满足绝大多数vio算法的要求，例如对于200Hz的imu数据，则标定的精度可以达到1/200＝0.005秒的精度，所以，步骤S4中得到的时间戳延时是一种高精度的。
在本发明的其它实施方式中，如果需要更高的精度，则对L1与L3进行相位相关分析，在频域内可以得到更高的标定精度。具体的，在步骤S4中得到的时间戳延时的附近进行多次重新积分，多次计算互相关系数，确定其中最佳的时间戳延时，然后，通过相位相关分析确定视频与惯性数据之间的时间戳精确延时。
在本发明的其它实施方式中，互相关分析就是计算互相关系数然后找最大值的过程，相位相关分析就是计算互功率谱然后找最大值的过程，在步骤S3中已经计算了互相关系数，其实已经是做了互相关分析，计算出了一个延时t2，步骤S4是在t1的基础上前面微调一下，多次计算互相关系数，每一组都是一个数组，然后取多组互相关系数里面的最大值(即在矩阵里面找一个最大值)，这个最大值对应的微调量就是t2。
现存的许多自标定方法可以标定相机和imu之间的延时，但是都是假设两者的延时比较小，在毫秒级，而本发明的技术方案可以在延时非常大的情况下，如秒级甚至分钟级，依然可以可靠的标定出两者的时间戳延时。但是，本发明的技术方案使用的互相关分析可以处理延时非常大的情况，并且在初步计算出延时t1之后，会根据t1的结果重新积分，以及相位相关分析，再次寻找最佳的延时。这样做既扩大了可以处理的延时数量级，又保证了足够的标定精度。
现有方法一般是将视觉数据(即视频数据)和惯性数据耦合到一起处理的，因此对数据的噪声，以及各项参数的初始值更敏感。但是，本发明的技术方案是分开计算视觉数据和惯性数据，对数据的噪声，以及传感器的各项参数的敏感性更低。
现有技术由于imu数据存在信号噪声和零漂，因此其它方法无法单独标定延时，或者标定延时需要给出比较精确的信号噪声和零漂值。但是，本发明的技术方案采用互相关分析的方法，噪声和零漂对结果没有明显影响，因此标定程序更加简单、稳定性更高。
请参阅图2，为本发明一实施方式中视频与惯性数据时间戳延时标定系统的结构示意图。
在本实施方式中，视频与惯性数据时间戳延时标定系统10包括：转角计算模块11、积分计算模块12、互相关系数计算模块13、时间戳延时计算模块14。
转角计算模块11，用于计算在视频数据中所有相邻帧之间的相对转角，以获取第一序列，所述第一序列中的每一个值表示相邻帧之间的相对转角大小。
在本实施方式中，所述第一序列为其中任意一个元素代表的是从所述视频数据中第i-1帧图像到第i帧图像的相对转角大小。
积分计算模块12，用于将惯性数据的旋转分量按照所述视频数据中相邻帧的时间间隔进行积分后，得到第二序列。
在本实施方式中，所述积分的计算方式为：
ri,i+1＝Rotation2AxisAngle(ΔR)；
其中，Angle2Rotation表示操作旋转向量转为旋转矩阵，Rotation2AxisAngle表示旋转矩阵转为旋转向量，△t表示连续的两个惯性数据之间的时间差，wx、wy、wz分别表示这两个惯性数据的x，y，z三个分量的平均值，△R是以旋转矩阵的形式表示积分区间里面的惯性测量单元(IMU)转过的角度，ri,i+1是以旋转向量(Axis Angle)的形式表示积分区间里面的惯性测量单元转过的角度，所述第二序列为其中/>表示将惯性数据的旋转分量(即IMU输出的角速度分量)按照所述视频数据中第n-1帧与第n帧之间的时间间隔进行积分后的值。
互相关系数计算模块13，用于计算所述第一序列与所述第二序列的互相关系数。
在本实施方式中，所述互相关系数为序列C1，其中，所述序列C1中的第k项的计算方式为：
其中k＝-m+1,…,n-1，L1(i)表示所述第一序列L1中的第i个值，L2(i+k)表示所述第二序列L2中的第i+k个值，如果i+k<0或i+k>n，则L2(i+k)＝0；
其中，在所述序列C1中的找出最大值，并将所述最大值对应的两个序列之间的延时计为第一延时t1。
在本实施方式中，互相关系数计算模块13还用于：
在-T/2到T/2之间重新选择积分的起点并再次按照步骤二进行积分得到多个序列，每个序列分别与所述第一序列L1计算相关系数，并找到所述相关系数最大的一个序列为第三序列L3，将重新选择的积分起点与所述惯性数据起始点的时间差记为t2，则视频与惯性数据之间的延时为第二延时t1+t2，其中，T为所述视频数据中相邻帧的时间间隔，所述相关系数的计算方式为：
其中，X和Y是两个序列，cov(X,Y)表示序列X与序列Y的协方差，var(X)表示序列X的方差，var(Y)表示序列Y的方差。
时间戳延时计算模块14，用于利用所述互相关系数确定视频与惯性数据之间的时间戳延时。
在本实施方式中，时间戳延时计算模块14还用于：
对所述第一序列L1与所述第三序列L3分别做离散傅里叶变换得到F1和F3；
计算F1和F3的互功率谱，并进行离散傅里叶反变换得到相位相关系数，所述相位相关系数为一个序列且序列中的最大值对应的时间差为延时t3；
计算所述视频与惯性数据之间的时间戳延时t＝t1+t2+t3。
在本实施方式中，装置项中的详细说明可以参阅前述方法项中相关对应的详细说明，在此不做重复记载。
另一方面，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的视频与惯性数据时间戳延时标定方法的步骤。
另一方面，本发明还提供一种设备，其中，所述设备包括存储器和处理器，所述存储器存储计算机处理指令，所述处理器通过调用所述计算机处理指令来执行上述的视频与惯性数据时间戳延时标定方法。
本发明提供的技术方案具有以下优点：
本发明的技术方案不需要借助标定板等特殊设备，解决了现有技术中大部分方法需要借助标定板的缺陷，本发明的技术方案不需要借助标定板等外物，具有更高的通用性；
本发明的技术方案使用的互相关分析可以处理延时非常大的情况，并且在初步计算出延时t1之后，会根据t1的结果重新积分，以及相位相关分析，再次寻找最佳的延时。这样做既扩大了可以处理的延时数量级，又保证了足够的标定精度；
本发明的技术方案是分开计算视觉数据和惯性数据，对数据的噪声，以及传感器的各项参数的敏感性更低；
本发明的技术方案采用互相关分析的方法，噪声和零漂对结果没有明显影响，因此标定程序更加简单、稳定性更高。
值得注意的是，上述实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，的存储介质，如ROM/RAM、磁盘或光盘等。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频与惯性数据时间戳延时标定方法，其特征在于，所述视频与惯性数据时间戳延时标定方法包括：
步骤一，计算在视频数据中所有相邻帧之间的相对转角，以获取第一序列，所述第一序列中的每一个值表示相邻帧之间的相对转角大小；
步骤二，将惯性数据的旋转分量按照所述视频数据中相邻帧的时间间隔进行积分后，得到第二序列；
步骤三，计算所述第一序列与所述第二序列的互相关系数；所述计算所述第一序列与所述第二序列的互相关系数还包括：
在-T/2到T/2之间重新选择积分的起点并再次按照步骤二进行积分得到多个序列，每个序列分别与所述第一序列L1计算相关系数，并找到所述相关系数最大的一个序列为第三序列L3，将重新选择的积分起点与所述惯性数据起始点的时间差记为t2，则视频与惯性数据之间的延时为t＝t1+t2，其中，T为所述视频数据中相邻帧的时间间隔，t1为视频与惯性数据之间的原始延时，所述相关系数的计算方式为：
其中，X和Y是两个序列，cov(X,Y)表示序列X与序列Y的协方差，var(X)表示序列X的方差，var(Y)表示序列Y的方差；
步骤四，利用所述互相关系数确定视频与惯性数据之间的时间戳延时。
2.如权利要求1所述的视频与惯性数据时间戳延时标定方法，其特征在于，所述第一序列为其中任意一个元素/>代表的是从所述视频数据中第i-1帧图像到第i帧图像的相对转角大小。
3.如权利要求2所述的视频与惯性数据时间戳延时标定方法，其特征在于，所述积分的计算方式为：
ri,i+1＝Rotation2AxisAngle(ΔR)；
其中，Angle2Rotation表示操作旋转向量转为旋转矩阵，Rotation2AxisAngle表示旋转矩阵转为旋转向量，△t表示连续的两个惯性数据之间的时间差，wx、wy、wz分别表示所述两个惯性数据的x，y，z三个分量的平均值，△R是以旋转矩阵的形式表示积分区间里面的惯性测量单元转过的角度，ri,i+1是以旋转向量的形式表示积分区间里面的惯性测量单元转过的角度，所述第二序列为其中/>表示将惯性数据的旋转分量按照所述视频数据中第n-1帧与第n帧之间的时间间隔进行积分后的值。
4.如权利要求3所述的视频与惯性数据时间戳延时标定方法，其特征在于，所述利用所述互相关系数确定视频与惯性数据之间的时间戳延时包括：
对所述第一序列L1与所述第三序列L3分别做离散傅里叶变换得到F1和F3；
计算F1和F3的互功率谱，并进行离散傅里叶反变换得到相位相关系数，所述相位相关系数为一个序列且序列中的最大值对应的时间差为延时t3；
计算所述视频与惯性数据之间的时间戳延时t＝t1+t2+t3。
5.一种视频与惯性数据时间戳延时标定系统，其特征在于，所述视频与惯性数据时间戳延时标定系统包括：
转角计算模块，用于计算在视频数据中所有相邻帧之间的相对转角，以获取第一序列，所述第一序列中的每一个值表示相邻帧之间的相对转角大小；
积分计算模块，用于将惯性数据的旋转分量按照所述视频数据中相邻帧的时间间隔进行积分后，得到第二序列；
互相关系数计算模块，用于计算所述第一序列与所述第二序列的互相关系数；
所述互相关系数计算模块还用于：
在-T/2到T/2之间重新选择积分的起点并再次按照步骤二进行积分得到多个序列，每个序列分别与所述第一序列L1计算相关系数，并找到所述相关系数最大的一个序列为第三序列L3，将重新选择的积分起点与所述惯性数据起始点的时间差记为t2，则视频与惯性数据之间的延时为t＝t1+t2，其中，T为所述视频数据中相邻帧的时间间隔，t1为视频与惯性数据之间的原始延时，所述相关系数的计算方式为：
其中，X和Y是两个序列，cov(X,Y)表示序列X与序列Y的协方差，var(X)表示序列X的方差，var(Y)表示序列Y的方差；
时间戳延时计算模块，用于利用所述互相关系数确定视频与惯性数据之间的时间戳延时。
6.如权利要求5所述的视频与惯性数据时间戳延时标定系统，其特征在于，所述第一序列为其中任意一个元素/>代表的是从所述视频数据中第i-1帧图像到第i帧图像的相对转角大小。
7.如权利要求6所述的视频与惯性数据时间戳延时标定系统，其特征在于，所述积分的计算方式为：
ri,i+1＝Rotation2AxisAngle(ΔR)；
其中，Angle2Rotation表示操作旋转向量转为旋转矩阵，Rotation2AxisAngle表示旋转矩阵转为旋转向量，△t表示连续的两个惯性数据之间的时间差，wx、wy、wz分别表示所述两个惯性数据的x，y，z三个分量的平均值，△R是以旋转矩阵的形式表示积分区间里面的惯性测量单元转过的角度，ri,i+1是以旋转向量的形式表示积分区间里面的惯性测量单元转过的角度，所述第二序列为其中/>表示将惯性数据的旋转分量按照所述视频数据中第n-1帧与第n帧之间的时间间隔进行积分后的值。
8.如权利要求7所述的视频与惯性数据时间戳延时标定系统，其特征在于，所述时间戳延时计算模块还用于：
对所述第一序列L1与所述第三序列L3分别做离散傅里叶变换得到F1和F3；
计算F1和F3的互功率谱，并进行离散傅里叶反变换得到相位相关系数，所述相位相关系数为一个序列且序列中的最大值对应的时间差为延时t3；
计算所述视频与惯性数据之间的时间戳延时t＝t1+t2+t3。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的视频与惯性数据时间戳延时标定方法的步骤。
10.一种设备，其特征在于，所述设备包括存储器和处理器，所述存储器存储计算机处理指令，所述处理器通过调用所述计算机处理指令来执行上述权利要求1-4中任一项所述的视频与惯性数据时间戳延时标定方法。
CN202111409154.2A 2021-11-24 2021-11-24 时间戳延时标定方法及系统、设备和计算机可读存储介质 Active CN114040128B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111409154.2A CN114040128B (zh) 2021-11-24 2021-11-24 时间戳延时标定方法及系统、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111409154.2A CN114040128B (zh) 2021-11-24 2021-11-24 时间戳延时标定方法及系统、设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114040128A CN114040128A (zh) 2022-02-11
CN114040128B true CN114040128B (zh) 2024-03-01

Family

ID=80138719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111409154.2A Active CN114040128B (zh) 2021-11-24 2021-11-24 时间戳延时标定方法及系统、设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114040128B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130022078A (ko) * 2011-08-24 2013-03-06 권광석 모바일 매핑 시스템 및 이의 제어 방법
CN103292810A (zh) * 2013-05-29 2013-09-11 哈尔滨工程大学 一种旋转式惯导系统信号同步补偿方法
CN108307118A (zh) * 2018-02-10 2018-07-20 北京理工大学 一种基于惯导参数流形优化的低延时视频稳像方法
CN108629793A (zh) * 2018-03-22 2018-10-09 中国科学院自动化研究所 使用在线时间标定的视觉惯性测程法与设备
CN108933896A (zh) * 2018-07-30 2018-12-04 长沙全度影像科技有限公司 基于惯性测量单元的全景视频稳像的方法及系统
WO2019080748A1 (zh) * 2017-10-25 2019-05-02 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
WO2019080046A1 (zh) * 2017-10-26 2019-05-02 深圳市大疆创新科技有限公司 惯性测量单元的漂移标定方法、设备及无人飞行器
US10284752B1 (en) * 2018-05-22 2019-05-07 BioForce Analytics LLC Method for determining a start offset between a video recording device and an inertial measurement unit for use in synchronizing motion data of an object collected by the inertial measurement unit attached to the object with video frames captured by an image sensor of the video recording device of the object in motion
JP2019074532A (ja) * 2017-10-17 2019-05-16 有限会社ネットライズ Ｓｌａｍデータに実寸法を付与する方法とそれを用いた位置測定
CN110708465A (zh) * 2019-10-21 2020-01-17 厦门美图之家科技有限公司 视频抖动校正方法、装置、可读存储介质及电子设备
WO2020087846A1 (zh) * 2018-10-31 2020-05-07 东南大学 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法
CN111784784A (zh) * 2020-09-07 2020-10-16 蘑菇车联信息科技有限公司 Imu内参的标定方法、装置、电子设备仪及存储介质
KR102218843B1 (ko) * 2019-11-19 2021-02-22 광운대학교 산학협력단 스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130022078A (ko) * 2011-08-24 2013-03-06 권광석 모바일 매핑 시스템 및 이의 제어 방법
CN103292810A (zh) * 2013-05-29 2013-09-11 哈尔滨工程大学 一种旋转式惯导系统信号同步补偿方法
JP2019074532A (ja) * 2017-10-17 2019-05-16 有限会社ネットライズ Ｓｌａｍデータに実寸法を付与する方法とそれを用いた位置測定
WO2019080748A1 (zh) * 2017-10-25 2019-05-02 深圳岚锋创视网络科技有限公司 一种全景视频防抖的方法、装置及便携式终端
WO2019080046A1 (zh) * 2017-10-26 2019-05-02 深圳市大疆创新科技有限公司 惯性测量单元的漂移标定方法、设备及无人飞行器
CN108307118A (zh) * 2018-02-10 2018-07-20 北京理工大学 一种基于惯导参数流形优化的低延时视频稳像方法
CN108629793A (zh) * 2018-03-22 2018-10-09 中国科学院自动化研究所 使用在线时间标定的视觉惯性测程法与设备
US10284752B1 (en) * 2018-05-22 2019-05-07 BioForce Analytics LLC Method for determining a start offset between a video recording device and an inertial measurement unit for use in synchronizing motion data of an object collected by the inertial measurement unit attached to the object with video frames captured by an image sensor of the video recording device of the object in motion
CN108933896A (zh) * 2018-07-30 2018-12-04 长沙全度影像科技有限公司 基于惯性测量单元的全景视频稳像的方法及系统
WO2020087846A1 (zh) * 2018-10-31 2020-05-07 东南大学 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法
CN110708465A (zh) * 2019-10-21 2020-01-17 厦门美图之家科技有限公司 视频抖动校正方法、装置、可读存储介质及电子设备
KR102218843B1 (ko) * 2019-11-19 2021-02-22 광운대학교 산학협력단 스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법
CN111784784A (zh) * 2020-09-07 2020-10-16 蘑菇车联信息科技有限公司 Imu内参的标定方法、装置、电子设备仪及存储介质

Also Published As

Publication number Publication date
CN114040128A (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN111354042B (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
CN110009681B (zh) 一种基于imu辅助的单目视觉里程计位姿处理方法
US20080232678A1 (en) Localization method for a moving robot
Furrer et al. Evaluation of combined time-offset estimation and hand-eye calibration on robotic datasets
CN110517324B (zh) 基于变分贝叶斯自适应算法的双目vio实现方法
EP2572319A1 (fr) Procede et systeme pour fusionner des donnees issues de capteurs d&#39;images et de capteurs de mouvement ou de position
CN110954134B (zh) 陀螺仪偏差校正方法、校正系统、电子设备及存储介质
US11985292B1 (en) Residual error mitigation in multiview calibration
CN112484719A (zh) 用于利用惯性约束来增强非惯性跟踪系统的系统和方法
US11042984B2 (en) Systems and methods for providing image depth information
CN112050806B (zh) 一种移动车辆的定位方法及装置
CN112465877B (zh) 一种基于运动状态估计的卡尔曼滤波视觉追踪稳定方法
AU2020101196A4 (en) Method and system for testing working modality of thin-walled member based on monocular visual optical flow tracking
JP2017220176A (ja) 判定装置、判定方法、および判定プログラム
US11527006B2 (en) System and method for dynamic stereoscopic calibration
TWI752594B (zh) 一種資訊處理方法、電子設備、儲存媒體和程式
CN111696044B (zh) 一种大场景动态视觉观测方法及装置
CN113899364B (zh) 定位方法及装置、设备、存储介质
CN114040128B (zh) 时间戳延时标定方法及系统、设备和计算机可读存储介质
US9245343B1 (en) Real-time image geo-registration processing
US20090244313A1 (en) Compound eye photographing apparatus, control method therefor, and program
US7800653B2 (en) Systems and methods for compensating signal drift according to a calculated absolute difference value
WO2019058487A1 (ja) ３次元復元画像処理装置、３次元復元画像処理方法及び３次元復元画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体
CN113159197A (zh) 一种纯旋转运动状态判定方法及装置
Ham et al. Absolute scale estimation of 3d monocular vision on smart devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant