CN111060138B - 标定方法及装置、处理器、电子设备、存储介质 - Google Patents

标定方法及装置、处理器、电子设备、存储介质 Download PDF

Info

Publication number
CN111060138B
CN111060138B CN201911420020.3A CN201911420020A CN111060138B CN 111060138 B CN111060138 B CN 111060138B CN 201911420020 A CN201911420020 A CN 201911420020A CN 111060138 B CN111060138 B CN 111060138B
Authority
CN
China
Prior art keywords
spline curve
imaging device
inertial sensor
spline
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911420020.3A
Other languages
English (en)
Other versions
CN111060138A (zh
Inventor
慕翔
陈丹鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN201911420020.3A priority Critical patent/CN111060138B/zh
Priority to JP2022528154A priority patent/JP2023502635A/ja
Priority to PCT/CN2020/083047 priority patent/WO2021134960A1/zh
Priority to KR1020227016373A priority patent/KR20220079978A/ko
Publication of CN111060138A publication Critical patent/CN111060138A/zh
Priority to TW109116666A priority patent/TWI766282B/zh
Application granted granted Critical
Publication of CN111060138B publication Critical patent/CN111060138B/zh
Priority to US17/836,093 priority patent/US20220319050A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P21/00—Testing or calibrating of apparatus or devices covered by the preceding groups
    • G01P21/02—Testing or calibrating of apparatus or devices covered by the preceding groups of speedometers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P21/00—Testing or calibrating of apparatus or devices covered by the preceding groups

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Manufacturing & Machinery (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Gyroscopes (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种标定方法及装置、处理器、电子设备、存储介质。该方法包括：获取成像设备的至少两个位姿和惯性传感器的至少两个第一采样数据；对所述至少两个位姿进行样条拟合处理得到第一样条曲线，对所述至少两个第一采样数据进行样条拟合处理得到第二样条曲线；依据所述第一样条曲线与所述第二样条曲线，得到所述成像设备与所述惯性传感器之间的时空偏差，所述时空偏差包括位姿转换关系、采样时间偏移量中的至少一个。

Description

标定方法及装置、处理器、电子设备、存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种标定方法及装置、处理器、电子设备、存储介质。
背景技术
基于成像设备采集到的数据与惯性传感器采集到的数据可实现多种特定功能。由于成像设备与惯性传感器之间存在位姿偏差，或成像设备与惯性传感器之间存在的采样时间偏差，导致基于成像设备与惯性传感器实现的特定功能的效果不佳。因此如何确定成像设备与惯性传感器之间的时空偏差(包括位姿偏差、采样时间偏差中的至少一个)具有非常重要的意义。
发明内容
本申请提供一种标定方法及装置、处理器、电子设备、存储介质。
第一方面，提供了一种标定方法，所述方法包括：
获取成像设备的至少两个位姿和惯性传感器的至少两个第一采样数据；
对所述至少两个位姿进行样条拟合处理得到第一样条曲线，对所述至少两个第一采样数据进行样条拟合处理得到第二样条曲线；
依据所述第一样条曲线与所述第二样条曲线，得到所述成像设备与所述惯性传感器之间的时空偏差，所述时空偏差包括位姿转换关系、采样时间偏移量中的至少一个。
在该方面中，通过对成像设备的至少两个位姿进行样条拟合处理得到第一样条曲线，以及惯性传感器的第一采样数据进行样条拟合处理得到第二样条曲线。依据第一样条曲线与第二样条曲线之间确定成像设备与惯性传感器之间的位姿转换关系和/或采样时间偏移量，可提高获得的成像设备与惯性传感器之间的位姿转换关系和/或采样时间偏移量的精度。
结合本申请任一实施方式，所述时空偏差包括位姿转换关系；
在所述依据所述第一样条曲线与所述第二样条曲线，得到所述成像设备与所述惯性传感器之间的时空偏差之前，所述方法还包括：
获取预设的参考位姿转换关系；
依据所述参考位姿转换关系对所述第二样条曲线进行转换，得到第三样条曲线；
所述依据所述第一样条曲线与所述第二样条曲线，得到所述成像设备与所述惯性传感器之间的时空偏差，包括：
依据所述第一样条曲线与所述第三样条曲线，得到第一差异；
在所述第一差异小于或等于第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系。
通过对成像设备的位姿进行样条拟合处理得到第一样条曲线，以及对惯性传感器的第一采样数据进行样条拟合处理得到第二样条曲线。基于参考位姿转换关系对第一样条曲线转化得到第三样条曲线。由于第一样条曲线与第三样条曲线均为连续函数曲线，依据第一样条曲线与第三样条曲线之间的差异确定参考位姿转换关系是否为成像设备与惯性传感器之间的位姿转换关系，可提高获得的成像设备与惯性传感器之间的位姿转换关系的精度。
结合本申请任一实施方式，所述时空偏差还包括采样时间偏移量；所述第一样条曲线中的点均携带时间戳信息；
所述在所述第一差异小于或等于第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系之前，所述方法还包括：
获取预设的第一时间偏移量；
将所述第三样条曲线中的点的时间戳与所述第一时间偏移量相加，得到第四样条曲线；
所述依据所述第一样条曲线与所述第三样条曲线，得到第一差异，包括：
依据所述第四样条曲线与所述第一样条曲线，得到所述第一差异；
所述在所述第一差异小于或等于第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，包括：
在所述第一差异小于或等于所述第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量。
通过将第三样条曲线中的点的时间戳与第一时间偏移量相加获得第四样条曲线，再依据第四样条曲线与第一样条曲线之间的差异确定第一时间偏移量是否为成像设备与陀螺仪之间的时间偏差，以及确定第一位姿转换关系是否为成像设备与陀螺仪之间的位姿转换关系，可提高获得的成像设备与惯性传感器之间的位姿转换关系和时间偏差的精度。
结合本申请任一实施方式，所述惯性传感器包括惯性测量单元；所述至少两个位姿包括至少两个姿态；所述至少两个第一采样数据包括至少两个第一角速度；
所述对所述至少两个位姿进行样条拟合处理得到第一样条曲线，包括：
依据所述至少两个姿态，得到所述成像设备的至少两个第二角速度；
对所述至少两个第二角速度进行样条拟合处理，得到所述第一样条曲线；
所述对所述至少两个第一采样数据进行样条拟合处理得到第二样条曲线，包括：
对所述至少两个第一角速度进行样条拟合处理，得到所述第二样条曲线。
基于成像设备的至少两个姿态获得成像设备的角速度与时间的函数曲线(即第一样条曲线)，并可基于惯性测量单元中的陀螺仪获得惯性测量单元的角速度与时间的函数曲线(即第二样条曲线)。依据第一样条曲线和第二样条曲线，可确定成像设备与惯性测量单元之间的位姿转换关系和/或采样时间偏移量。
结合本申请任一实施方式，所述至少两个位姿还包括至少两个第一位置；所述至少两个第一采样数据还包括至少两个第一加速度；
所述在所述第一差异小于或等于所述第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量之前，所述方法还包括：
依据所述至少两个第一位置，得到所述成像设备的至少两个第二加速度；
对所述至少两个第二加速度进行样条拟合处理得到第五样条曲线，对所述至少两个第一加速度进行样条拟合处理得到第六样条曲线；
依据所述第五样条曲线和所述第六样条曲线，得到第二差异；
所述在所述第一差异小于或等于所述第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量，包括：
在所述第一差异小于或等于所述第一阈值，且所述第二差异小于或等于第二阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量。
在前一种实施方式的基础上，利用了惯性测量单元的加速度计采样得到的数据和成像设备的第一位置，得到第二差异。在依据第一差异和第二差异确定参考位姿转换关系是否为成像设备与惯性测量单元之间的位姿转换关系，以及确定第一时间偏移量为成像设备与惯性测量单元之间的采样时间偏移量，可提高获得的成像设备与惯性传感器之间的位姿转换关系和时间偏差的精度。
结合本申请任一实施方式，所述惯性传感器包括惯性测量单元；所述至少两个位姿包括至少两个第二位置；所述至少两个第一采样数据包括至少两个第三加速度；
所述对所述至少两个位姿进行样条拟合处理得到第一样条曲线，包括：
依据所述至少两个第二位置，得到所述成像设备的至少两个第四加速度；
对所述至少两个第四加速度进行样条拟合处理，得到所述第一样条曲线；
所述对所述至少两个第一采样数据进行样条拟合处理得到第二样条曲线，包括：
对所述至少两个第三加速度进行样条拟合处理，得到所述第二样条曲线。
基于成像设备的至少两个第二位置获得成像设备的加速度与时间的函数曲线(即第一样条曲线)，并可基于惯性测量单元中的加速度计获得惯性测量单元的加速度与时间的函数曲线(即第二样条曲线)。依据第一样条曲线和第二样条曲线，可确定成像设备与惯性测量单元之间的位姿转换关系和/或采样时间偏移量。
结合本申请任一实施方式，所述至少两个位姿还包括至少两个第二姿态；所述至少两个第一采样数据还包括至少两个第三角速度；
所述在所述第一差异小于或等于所述第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量之前，所述方法还包括：
依据所述至少两个第二姿态，得到所述成像设备的至少两个第四角速度；
对所述至少两个第四角速度进行样条拟合处理得到第七样条曲线，对所述至少两个第三角速度进行样条拟合处理得到第八样条曲线；
依据所述第七样条曲线和所述第八样条曲线，得到第三差异；
所述在所述第一差异小于或等于所述第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量，包括：
在所述第一差异小于或等于所述第一阈值，且所述第三差异小于或等于第三阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量。
在前一种实施方式的基础上利用了惯性测量单元的陀螺仪采样得到的数据和成像设备的第二姿态，得到第三差异。在依据第一差异和第三差异确定参考位姿转换关系是否为成像设备与惯性测量单元之间的位姿转换关系，以及确定第一时间偏移量为成像设备与惯性测量单元之间的采样时间偏移量，可提高获得的成像设备与惯性传感器之间的位姿转换关系和时间偏差的精度。
结合本申请任一实施方式，所述时空偏差包括采样时间偏移量；
在所述依据所述第一样条曲线与所述第二样条曲线，得到所述成像设备与所述惯性传感器之间的时空偏差之前，所述方法还包括：
获取预设的第二时间偏移量；
将所述第一样条曲线中的点的时间戳与所述第二时间偏移量相加，得到第九样条曲线；
依据所述第九样条曲线与所述第二样条曲线，得到第四差异；
所述依据所述第一样条曲线与所述第二样条曲线，得到所述成像设备与所述惯性传感器之间的时空偏差，包括：
在所述第四差异小于或等于第四阈值的情况下，确定所述第二时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量。
结合本申请任一实施方式，所述成像设备和所述惯性传感器属于电子设备，所述方法还包括：
使用所述成像设备采集至少两张图像；
在所述成像设备采集所述至少两张图像的过程中，获得所述惯性传感器的至少两个第二采样数据；
依据所述至少两张图像、所述至少两个第二采样数据和所述时空偏差，得到所述电子设备的成像设备在采集所述图像时的位姿。
基于标定得到的成像设备和惯性测量单元之间的位姿转换关系，以及成像设备和惯性测量单元之间的采样时间偏移量，实现电子设备的定位，可挺高定位精度。
第二方面，提供一种标定装置，所述装置包括：
获取单元，用于获取成像设备的至少两个位姿和惯性传感器的至少两个第一采样数据；
第一处理单元，用于对所述至少两个位姿进行样条拟合处理得到第一样条曲线，对所述至少两个第一采样数据进行样条拟合处理得到第二样条曲线；
第二处理单元，用于依据所述第一样条曲线与所述第二样条曲线，得到所述成像设备与所述惯性传感器之间的时空偏差，所述时空偏差包括位姿转换关系、采样时间偏移量中的至少一个。
结合本申请任一实施方式，所述时空偏差包括位姿转换关系；
所述获取单元，还用于在所述依据所述第一样条曲线与所述第二样条曲线，得到所述成像设备与所述惯性传感器之间的时空偏差之前，获取预设的参考位姿转换关系；
所述第一处理单元，还用于依据所述参考位姿转换关系对所述第二样条曲线进行转换，得到第三样条曲线；
所述第二处理单元，用于：
依据所述第一样条曲线与所述第三样条曲线，得到第一差异；
在所述第一差异小于或等于第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系。
结合本申请任一实施方式，所述时空偏差还包括采样时间偏移量；所述第一样条曲线中的点均携带时间戳信息；
所述获取单元，还用于在所述第一差异小于或等于第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系之前，获取预设的第一时间偏移量；
所述第一处理单元，用于将所述第三样条曲线中的点的时间戳与所述第一时间偏移量相加，得到第四样条曲线；
所述第二处理单元，用于依据所述第四样条曲线与所述第一样条曲线，得到所述第一差异；
所述第二处理单元，用于在所述第一差异小于或等于所述第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量。
结合本申请任一实施方式，所述惯性传感器包括惯性测量单元；所述至少两个位姿包括至少两个姿态；所述至少两个第一采样数据包括至少两个第一角速度；
所述第一处理单元，用于：
依据所述至少两个姿态，得到所述成像设备的至少两个第二角速度；
对所述至少两个第二角速度进行样条拟合处理，得到所述第一样条曲线；
对所述至少两个第一角速度进行样条拟合处理，得到所述第二样条曲线。
结合本申请任一实施方式，所述至少两个位姿还包括至少两个第一位置；所述至少两个第一采样数据还包括至少两个第一加速度；
所述第一处理单元，用于在所述第一差异小于或等于所述第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量之前，依据所述至少两个第一位置，得到所述成像设备的至少两个第二加速度；
所述第一处理单元，用于对所述至少两个第二加速度进行样条拟合处理得到第五样条曲线，对所述至少两个第一加速度进行样条拟合处理得到第六样条曲线；
所述第二处理单元，用于依据所述第五样条曲线和所述第六样条曲线，得到第二差异；
所述第二处理单元，用于在所述第一差异小于或等于所述第一阈值，且所述第二差异小于或等于第二阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量。
结合本申请任一实施方式，所述惯性传感器包括惯性测量单元；所述至少两个位姿包括至少两个第二位置；所述至少两个第一采样数据包括至少两个第三加速度；
所述第一处理单元，用于：
依据所述至少两个第二位置，得到所述成像设备的至少两个第四加速度；
对所述至少两个第四加速度进行样条拟合处理，得到所述第一样条曲线；
对所述至少两个第三加速度进行样条拟合处理，得到所述第二样条曲线。
结合本申请任一实施方式，所述至少两个位姿还包括至少两个第二姿态；所述至少两个第一采样数据还包括至少两个第三角速度；
所述第一处理单元，用于在所述第一差异小于或等于所述第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量之前，所述方法还包括：
所述第一处理单元，用于依据所述至少两个第二姿态，得到所述成像设备的至少两个第四角速度；
所述第二处理单元，用于对所述至少两个第四角速度进行样条拟合处理得到第七样条曲线，对所述至少两个第三角速度进行样条拟合处理得到第八样条曲线；
依据所述第七样条曲线和所述第八样条曲线，得到第三差异；
所述第二处理单元，用于在所述第一差异小于或等于所述第一阈值，且所述第三差异小于或等于第三阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量。
结合本申请任一实施方式，所述时空偏差包括采样时间偏移量；
所述获取单元，还用于在所述依据所述第一样条曲线与所述第二样条曲线，得到所述成像设备与所述惯性传感器之间的时空偏差之前，获取预设的第二时间偏移量；
所述第一处理单元，用于将所述第一样条曲线中的点的时间戳与所述第二时间偏移量相加，得到第九样条曲线；
所述第二处理单元，用于依据所述第九样条曲线与所述第二样条曲线，得到第四差异；
所述第二处理单元，用于在所述第四差异小于或等于第四阈值的情况下，确定所述第二时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量。
结合本申请任一实施方式，所述成像设备和所述惯性传感器属于所述标定装置；
所述标定装置使用所述成像设备采集至少两张图像；
所述标定装置在所述成像设备采集所述至少两张图像的过程中，获得所述惯性传感器的至少两个第二采样数据；
所述标定装置依据所述至少两张图像、所述至少两个第二采样数据和所述时空偏差，得到所述标定装置的成像设备在采集所述图像时的位姿。
第三方面，提供了一种处理器，所述处理器用于执行如上述第一方面及其任意一种可能实现的方式的方法。
第四方面，提供了一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。
第六方面，提供了一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1为本申请实施例提供的一种标定方法的流程示意图；
图2a为本申请实施例提供的一种对惯性传感器的角速度进行样条拟合处理之前的示意图；
图2b为本申请实施例提供的一种对惯性传感器的角速度进行样条拟合处理之后的示意图；
图3为本申请实施例提供的另一种标定方法的流程示意图；
图4为本申请实施例提供的另一种标定方法的流程示意图；
图5为本申请实施例提供的另一种标定方法的流程示意图；
图6为本申请实施例提供的另一种标定方法的流程示意图；
图7为本申请实施例提供的另一种标定方法的流程示意图；
图8为本申请实施例提供的另一种标定方法的流程示意图；
图9为本申请实施例提供的一种同名点的示意图；
图10为本申请实施例提供的一种标定装置的结构示意图；
图11为本申请实施例提供的一种标定装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
惯性传感器可用于测量角速度、加速度等物理量。由于基于成像设备采集到的图像可获得成像设备的位姿等信息，将惯性传感器与成像设备结合，可实现一些特定功能。例如，将包含加速度计和陀螺仪的惯性测量单元(inertial measurement unit，IMU)以及成像设备装载于无人机上，利用IMU采集到的加速度信息和角速度信息以及成像设备采集到的图像实现无人机的定位。又例如，利用成像设备上安装的陀螺仪采集到的陀螺仪的角速度实现成像设备的防抖功能。
在上述将惯性传感器与成像设备结合的过程中，通过处理器对惯性传感器获得的数据和通过成像设备获得的数据进行处理。处理器将接收到的惯性传感器获得的数据和成像设备获得的数据进行处理，可实现上述特定功能。
一方面，由于成像设备的位姿与惯性传感器的位姿不同，即成像设备与惯性传感器之间存在位姿偏差，若处理器在处理惯性传感器获得的数据和成像设备获得的数据时未考虑成像设备与惯性传感器之间的位姿偏差，或处理器在处理惯性传感器获得的数据和成像设备获得的数据时获得成像设备与惯性传感器之间的位姿偏差的精度不高，将导致实现的定位等特定功能的效果不佳(如定位精度不高)。
另一方面，通过利用在同一时刻下惯性传感器获得的数据(如角速度、加速度)和通过成像设备获得的数据(如通过采集到的图像获得的成像设备的位姿)可实现定位等功能。举例来说，无人机上装载有摄像头、惯性传感器以及中央处理器(central processingunit，CPU)，CPU在时间戳a下获取到成像设备的第一数据(如图像)以及惯性传感器的第二数据(如角速度)，CPU进而可依据第一数据和第二数据得到无人机在a时刻下的位姿。
也就是说，基于成像设备获得的数据和惯性传感器获得的数据实现的定位等功能需要通过CPU对同一时间戳下获取到的的惯性传感器的数据与成像设备的数据进行处理，得到该时间戳下的位姿。但若成像设备的采样时间与惯性传感器的采样时间存在偏差(下文将称为时间偏差)，将导致CPU获取到的成像设备的数据的时间戳不准确或CPU获取到的惯性传感器的时间戳不准确。举例来说(例1)，假设成像设备在时间a时采样得到的数据为第一数据，惯性传感器在时间a时采样获得的数据为第二数据，惯性传感器在时间b时采样获得的数据为第三数据。成像设备将第一数据发送至CPU，惯性传感器将第二数据和第三数据发送至CPU，但由于成像设备发送数据的速度于惯性传感器发送数据的速度不同，CPU在时间c时接收到了第二数据，给第二数据添加的时间戳为c，在时间d时接收到了第一数据和第三数据，给第一数据和第三数据添加的时间戳均为d，其中，时间戳b与时间戳c不同。
显然，时间戳的不准确将导致定位等功能精确度低。接着例1继续举例，由于第一数据的时间戳与第三数据的时间戳相同，CPU将对第一数据和第三数据进行处理，得到时间d时的位姿。由于第一数据的采样时间(a)与第三时间的采样时间(b)不同，时间d时的位姿的精度低。
基于上述两个方面，如何确定成像设备与惯性传感器之间的位姿转换关系(即上述位姿偏差)和/或采样时间偏移量具有非常重要的意义。位姿转换关系和/或采样时间偏移量可以包括位姿转换关系，位姿转换关系和/或采样时间偏移量也可以包括采样时间偏移量，位姿转换关系和/或采样时间偏移量还可以包括位姿转换关系和采样时间偏移量。
基于本申请实施例提供的标定方法可依据成像设备采集到的图像与惯性传感器采集到的数据确定成像设备与惯性传感器之间的时空偏差。
请参阅图1，图1是本申请实施例(一)提供的一种标定方法的流程示意图。
101、获取成像设备的至少两个位姿和惯性传感器的至少两个第一采样数据。
本申请实施例中的步骤的执行主体为第一终端，该第一终端包括：手机、计算机、平板电脑、服务器。
本申请实施例中，成像设备包括相机、摄像头。惯性传感器包括：陀螺仪、加速度、IMU。
本申请实施例中，位姿包括位置、姿态中的一个，其中，姿态包括：俯仰角、滚转角、偏航角。例如，成像设备的至少两个位姿可以是成像设备的至少两个位置，成像设备的至少两个位姿也可以是成像设备的至少两个姿态。
本申请实施例中，第一采样数据为惯性传感器的采样数据。例如，在惯性传感器为陀螺仪的情况下，第一采样数据包括角速度。又例如，在惯性传感器为加速度计的情况下，第一采样数据包括加速度。
第一终端获取至少两个位姿和至少两个第一采样数据的方式可以是接收用户通过输入组件输入的至少两个位姿和至少两个第一采样数据，其中，输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器等。也可以是接收第二终端发送的至少两个位姿和至少两个第一采样数据，其中，第二终端包括手机、计算机、平板电脑、服务器等。
102、对上述至少两个位姿进行样条拟合处理得到第一样条曲线，对上述至少两个第一采样数据进行样条拟合处理得到第二样条曲线。
本申请实施例中，上述至少两个位姿中的每个位姿均携带时间戳，上述至少两个第一采样数据中的每个第一采样数据均携带时间戳。例如，惯性传感器A的第一采样数据a的时间戳信息表征的时间戳为2019年12月6日14点46分30秒，则第一采样数据a为惯性传感器A在2019年12月6日14点46分30秒采集到的角速度。
至少两个位姿中的任意两个位姿的时间戳均不同，至少两个第一采样数据中的任意两个第一采样数据的时间戳均不同。
可选的，按时间戳从小到大的顺序对至少两个位姿排序可得到位姿序列。由于位姿序列为至少两个离散的点，为方便后续处理，需获得成像设备的位姿与时间之间的连续函数，即获得成像设备在任意时刻下的位姿。
在一种可能实现的方式中，通过对位姿序列进行样条拟合处理，可得到成像设备的采位姿与时间之间的函数曲线，即第一样条曲线。如图2a所示，若以x轴表示时间、y轴表示成像设备的位姿建立坐标系xoy，则可根据每一个位姿的时间戳以及每一个位姿的大小在坐标系xoy中确定唯一的一个点。从图2a中可以看出，位姿序列在坐标系xoy中是离散的点，也就是说，成像设备在任意两个位姿的时间戳之间的时间段内的位姿是未知的。通过对位姿序列进行样条拟合处理，可得到如图2b所示的样条曲线，即为成像设备的位姿与时间之间的函数曲线。
同理，可对至少两个第一采样数据进行样条拟合处理，得到惯性传感器的采样数据与时间之间的连续函数曲线，即第二样条曲线。
在该种可能实现的方式中，通过对至少两个位姿进行样条曲线拟合处理，可得到成像设备的位姿与时间之间的函数曲线，进而得到成像设备在任意时刻下的位姿。通过对至少两个第一采样数据进行样条曲线拟合处理，可得到惯性传感器的采样数据与时间之间的函数曲线，进而得到惯性传感器在任意时刻下的采样数据。
可选的，上述样条拟合处理可通过B样条拟合(B-spline)、三次样条插值(cubicspline interpolation)等样条拟合算法实现，本申请对此不做限定。
103、依据上述第一样条曲线与上述第二样条曲线，得到上述成像设备与上述惯性传感器之间的时空偏差。
本申请实施例中，时空偏差可以包括位姿转换关系，时空偏差也可以包括采样时间偏移量，时空偏差还可以包括位姿转换关系和采样时间偏移量。
本申请实施例中，在位姿包括位置的情况下，第一采样数据包括加速度。在位姿包括姿态的情况下，第一采样数据包括角速度。即在第一样条曲线为成像设备的位置与时间之间的连续函数曲线的情况下，第二样条曲线为惯性传感器的加速度与时间之间的连续函数曲线。在第一样条曲线为成像设备的姿态与时间之间的连续函数曲线的情况下，第二样条曲线为惯性传感器的角速度与时间之间的连续函数曲线。
在第一样条曲线为成像设备的位置与时间之间的连续函数曲线的情况下，可对第一样条曲线进行两次求导，得到成像设备的加速度与时间之间的连续函数曲线(下文将称为加速度样条曲线)。在第一样条曲线为成像设备的姿态与时间之间的连续函数曲线的情况下，可对第一样条曲线进行一次求导，得到成像设备的角速度与时间之间的连续函数曲线(下文将称为角速度样条曲线)。
在成像设备与惯性传感器之间不存在位姿偏差或采样时间偏差，且第一样条曲线为成像设备的位置与时间之间的连续函数曲线的情况下，加速度样条曲线与第二样条曲线相同。因此，可依据加速度样条曲线和第二样条曲线确定成像设备与惯性传感器之间的时空偏差。
在成像设备与惯性传感器之间不存在位姿偏差或采样时间偏差，且第一样条曲线为成像设备的姿态与时间之间的连续函数曲线的情况下，角速度样条曲线与第二样条曲线相同。因此，可依据角速度样条曲线和第二样条曲线确定成像设备与惯性传感器之间的时空偏差。
在一种可能实现的方式中，首先假设成像设备与惯性传感器之间的位姿偏差为待确定位姿转换关系，和/或，假设成像设备与惯性传感器之间的采样时间偏移量为待确定时间偏移量。依据待确定位姿转换关系和/或待确定时间偏移量对加速度样条曲线进行转换，得到转换后的加速度样条曲线。在转换后的加速度样条曲线与第二样条曲线之间的差异小于或等于第一预期值的情况下，表征转换后的加速度样条曲线与第二样条曲线相同，进而可确定待确定位姿转换关系和/或待确定时间偏移量为成像设备与惯性传感器之间的位姿偏差和/或采样时间偏移量。
在另一可能实现的方式中，首先假设成像设备与惯性传感器之间的位姿偏差为待确定位姿转换关系，和/或，假设成像设备与惯性传感器之间的采样时间偏移量为待确定时间偏移量。依据待确定位姿转换关系和/或待确定时间偏移量对角速度样条曲线进行转换，得到转换后的角速度样条曲线。在转换后的角速度样条曲线与第二样条曲线之间的差异小于或等于第二预期值的情况下，表征转换后的角速度样条曲线与第二样条曲线相同，进而可确定待确定位姿转换关系和/或待确定时间偏移量为成像设备与惯性传感器之间的位姿偏差和/或采样时间偏移量。
在又一种可能实现的方式中，首先假设在两条曲线之间的差异小于或等于第三预期值的情况下，确定两条曲线相同。通过将加速度样条曲线与第三预期值相加，得到相加后的加速度样条曲线。依据相加后的加速度样条曲线和第二样条曲线，得到相加后的加速度样条曲线与第二样条曲线之间的位姿转换关系，作为成像设备与惯性传感器之间的位姿偏差，和/或，依据相加后的加速度样条曲线和第二样条曲线，得到相加后的加速度样条曲线与第二样条曲线之间的时间偏差，作为成像设备与惯性传感器之间的时间偏移量。
在又一种可能实现的方式中，首先假设在两条曲线之间的差异小于或等于第四预期值的情况下，确定两条曲线相同。通过将角速度样条曲线与第四预期值相加，得到相加后的角速度样条曲线。依据相加后的角速度样条曲线和第二样条曲线，得到相加后的角速度样条曲线与第二样条曲线之间的转换关系，作为成像设备与惯性传感器之间的位姿偏差，和/或，依据相加后的加速度样条曲线和第二样条曲线，得到相加后的加速度样条曲线与第二样条曲线之间的时间偏差，作为成像设备与惯性传感器之间的时间偏移量。
本实施例通过对成像设备的至少两个位姿进行样条拟合处理得到第一样条曲线，以及惯性传感器的第一采样数据进行样条拟合处理得到第二样条曲线。依据第一样条曲线与第二样条曲线之间确定成像设备与惯性传感器之间的位姿转换关系和/或采样时间偏移量，可提高获得的成像设备与惯性传感器之间的位姿转换关系和/或采样时间偏移量的精度。
接下来将详细阐述如何确定成像设备与惯性传感器之间的采样时间偏移量。请参阅图3，图3是本申请实施例(二)提供的另一种标定方法的流程示意图。
301、获取预设的参考位姿转换关系、成像设备的至少两个位姿和惯性传感器的至少两个第一采样数据。
本申请实施例中，预设的参考位姿转换关系参考位姿转换关系包括位姿转换矩阵和偏移量。
第一终端获取参考位姿转换关系参考位姿转换关系的方式可以是接收用户通过输入组件输入的参考位姿转换关系参考位姿转换关系，其中，输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器等。第一终端获取参考位姿转换关系的方式也可以是接收第三终端发送的参考位姿转换关系参考位姿转换关系至少两个至少两个，其中，第三终端包括手机、计算机、平板电脑、服务器等。
302、对上述至少两个位姿进行样条拟合处理得到第一样条曲线，对上述至少两个第一采样数据进行样条拟合处理得到第二样条曲线。
本步骤可参见步骤102，此处将不再赘述。
303、依据上述参考位姿转换关系对上述第二样条曲线进行转换，得到第三样条曲线。
本申请实施例中，每一个位姿均携带时间戳信息。上述至少两个位姿为成像设备在不同时刻下的位姿，即至少两个位姿中的任意两个位姿的时间戳均不同。例如，成像设备A的至少两个姿态包含姿态B、姿态C，其中，姿态B包含俯仰角a、滚转角b、偏航角c，姿态B的时间戳为时间戳D，姿态C包含俯仰角d、滚转角e、偏航角f，姿态B的时间戳为时间戳E。则由姿态B和姿态C可知成像设备A在时间戳D下的俯仰角为a、滚转角为b、偏航角为c，成像设备B在时间戳E下的俯仰角为d、滚转角为e、偏航角为f。
由于成像设备与惯性传感器之间存在位姿偏差，导致基于成像设备获得的位姿与基于惯性传感器获得的位姿之间存在偏差。若能确定成像设备与惯性传感器之间的真实位姿转换关系，即可基于该真实位姿转换关系对基于成像设备获得的位姿或惯性传感器获得的位姿进行转换，以减小成像设备与惯性传感器之间的位姿偏差。举例来说，假设成像设备与惯性传感器之间的位姿偏差为C，若位姿偏差C对应的位姿转换关系为D，基于成像设备获得的位姿为A，基于惯性传感器获得位姿为B，即A与B之间的偏差为C。将A与D相乘得到位姿E(即基于位姿转换关系对姿态A进行转换)，则位姿E与位姿B相同，或将B与D相乘得到位姿F(即基于位姿转换关系对姿态B进行转换)，则位姿F与位姿A相同。
换句话说，在不确定成像设备与惯性传感器之间的位姿偏差的情况下，无法获得成像设备与惯性传感器之间的真实位姿转换关系。通过假设一个成像设备与惯性传感器之间的转换关系(即上述参考位姿转换关系)，依据基于成像设备获得的位姿和基于惯性传感器获得的位姿之间的误差可确定参考位姿转换关系与真实位姿转换关系之间的偏差。在一种可能实现的方式中，将第二样条曲线与参考位姿转换关系相乘，得到第三样条曲线。
304、依据上述第一样条曲线与上述第三样条曲线，得到第一差异。
在一种可能实现的方式中，将第一样条曲线与第三样条曲线中时间戳相同的点之间的差，作为第一差异。例如，第一样条曲线中包含点a和点b，第三样条曲线中包含点c和点d。点a和点c的时间戳均为A，点b和点d的时间戳均为B。可将点a与点c的差作为第一差异。也可将点b与点d的差作为第一差异。还可将点a与点c的差以及点b和与点d的差的均值作为第一差异。
在另一种可能实现的方式中，确定第一样条曲线与第三样条曲线中时间戳相同的点之间的差，得到第一差值。将第一差值与第一参考值的和作为第一差异，其中，第一参考值为实数，可选的，第一参考值为0.0001米。举例来说，第一样条曲线中包含点a和点b，第三样条曲线中包含点c和点d。点a和点c的时间戳均为A，点b和点d的时间戳均为B。点a与点c的差为C，点b与点d的差为D。假设第一参考值为E。可将C+E作为第一差异。也可将D+E作为第一差异。还可将(C+E+D+E)/2作为第一差异。
在又一种可能实现的方式中，确定第一样条曲线与第三样条曲线中时间戳相同的点之间的差，得到第二差值。将第二差值的平方作为第一差异。举例来说，第一样条曲线中包含点a和点b，第三样条曲线中包含点c和点d。点a和点c的时间戳均为A，点b和点d的时间戳均为B。点a与点c的差为C，点b与点d的差为D。可将C2作为第一差异。也可将D2作为第一差异。还可将(C2+D2)/2作为第一差异。
305、在上述第一差异小于或等于第一阈值的情况下，确定上述参考位姿转换关系为上述成像设备与上述惯性传感器之间的位姿转换关系。
由于第三样条曲线与第一样条曲线之间的差异(即第一差异)可用于表征参考位姿转换关系与真实位姿转换关系之间的偏差，可将第一差异小于或等于预期值(即上述第一阈值)作为求解参考位姿转换关系的约束条件。上述第一阈值的单位为米，第一阈值的取值范围为正数，可选的，第一阈值的取值为1毫米。
举例来说，假设第一样条曲线满足：y＝f(x)，其中，f(·)为陀螺仪的角速度与时间之间的函数曲线，y为陀螺仪的角速度，x为时间；第二样条曲线满足：u＝v(x)，其中，v(·)为陀螺仪的角速度与时间之间的函数曲线，u为陀螺仪的角速度，x为时间；参考位姿转换关系为；Q，第三样条曲线满足：s＝v(x)·Q＝r(x)，其中，r(·)为成像设备的角速度与时间之间的函数曲线，s为成像设备的角速度，x为时间。若第一阈值为1毫米，则|r(x)-f(x)|≤1mm，即|v(x)·Q-f(x)|≤1mm…式(1)。由于在式(1)中f(x)和v(x)均为已知，通过求解该不等式即可确定参考位姿转换关系Q。
可选的，可通过列文伯格马夸尔特算法(levenberg-marquard algorithm)、高斯牛顿迭代法(gauss-newton iteration method)中任意一种求解式(1)。
本实施例通过对成像设备的位姿进行样条拟合处理得到第一样条曲线，以及对惯性传感器的第一采样数据进行样条拟合处理得到第二样条曲线。基于参考位姿转换关系参考位姿转换关系对第一样条曲线转化得到第三样条曲线。由于第一样条曲线与第三样条曲线均为连续函数曲线，依据第一样条曲线与第三样条曲线之间的差异确定参考位姿转换关系参考位姿转换关系是否为成像设备与惯性传感器之间的位姿转换关系，可提高获得的成像设备与惯性传感器之间的位姿转换关系的精度。
在实施例(二)的基础上本申请实施例还提供了一种确定惯性传感器与成像设备之间的时间偏差的方法。
请参阅图4，图4是本申请实施例(三)提供的另一种标定方法的流程示意图。
401、获取预设的第一时间偏移量。
本实施例确定成像设备与惯性传感器之间的时间偏差的思路与实施例(二)确定成像设备与惯性传感器之间的位姿转换关系相同。即若成像设备与惯性传感器之间不存在时间偏差，则在同一时刻下成像设备的角速度与惯性传感器的角速度之间的偏差较小。
基于此思路，本实施首先假设成像设备与惯性传感器之间的时间偏差为第一时间偏移量，后续处理中，将成像设备的位姿与时间的函数曲线加上该第一时间偏移量即可获得惯性传感器的角速度与时间的函数曲线。
第一终端获取第一时间偏移量的方式可以是接收用户通过输入组件输入的第一时间偏移量，其中，输入组件包括：键盘、鼠标、触控屏、触控板和音频输入器等。也可以是接收第三终端发送的第一时间偏移量，其中，第二终端包括手机、计算机、平板电脑、服务器等。第三终端与第二终端可以是同一个终端，也可以是不同的终端，
402、将上述第三样条曲线中的点的时间戳与上述第一时间偏移量相加，得到第四样条曲线。
第四样条曲线
403、依据上述第四样条曲线与上述第一样条曲线，得到上述第一差异。
与实施例(一)中依据第一样条曲线与第三样条曲线得到第一差异的实现方式不同，本实施例中，依据第一样条曲线与第四样条曲线得到第一差异。
在一种可能实现的方式中，将第四样条曲线与第三样条曲线中时间戳相同的点之间的差，作为第一差异。例如，第四样条曲线中包含点a和点b，第三样条曲线中包含点c和点d。点a和点c的时间戳均为A，点b和点d的时间戳均为B。可将点a与点c的差作为第一差异。也可将点b与点d的差作为第一差异。还可将点a与点c的差以及点b和与点d的差的均值作为第一差异。
在另一种可能实现的方式中，确定第四样条曲线与第三样条曲线中时间戳相同的点之间的差，得到第三差值。将第三差值与第二参考值的和作为第一差异，其中，第三参考值为实数，可选的，第三参考值为0.0001米。举例来说，第四样条曲线中包含点a和点b，第三样条曲线中包含点c和点d。点a和点c的时间戳均为A，点b和点d的时间戳均为B。点a与点c的差为C，点b与点d的差为D。假设第一参考值为E。可将C+E作为第一差异。也可将D+E作为第一差异。还可将(C+E+D+E)/2作为第一差异。
在又一种可能实现的方式中，确定第四样条曲线与第三样条曲线中时间戳相同的点之间的差，得到第四差值。将第四差值的平方作为第一差异。举例来说，第四样条曲线中包含点a和点b，第三样条曲线中包含点c和点d。点a和点c的时间戳均为A，点b和点d的时间戳均为B。点a与点c的差为C，点b与点d的差为D。可将C2作为第一差异。也可将D2作为第一差异。还可将(C2+D2)/2作为第一差异。
404、在上述第一差异小于或等于上述第一阈值的情况下，确定上述参考位姿转换关系为上述成像设备与上述惯性传感器之间的位姿转换关系，以及确定上述第一时间偏移量为上述成像设备与上述惯性传感器之间的采样时间偏移量第四样条曲线。
由于第一时间偏移量为假想的成像设备与惯性传感器之间的时间偏差，步骤202获得的第四样条曲线应与第三样条曲线相同。但在实际应用中，第四样条曲线与第三样条曲线之间会存在误差，因此，在本申请实施例中，将第四样条曲线与第三样条曲线之间的差异小于或等于上述第一阈值的情况视为第四样条曲线与第三样条曲线相同。在第四样条曲线与第三样条曲线相同的情况下，即可确定第一时间偏移量为成像设备与惯性传感器之间的时间偏差，再结合实施例(二)可知参考位姿转换关系为成像设备与惯性传感器之间的位姿转换关系。
本实施例通过将第三样条曲线中的点的时间戳与第一时间偏移量相加获得第四样条曲线，再依据第四样条曲线与第一样条曲线之间的差异确定第一时间偏移量是否为成像设备与陀螺仪之间的时间偏差，以及确定参考位姿转换关系是否为成像设备与陀螺仪之间的位姿转换关系，可提高获得的成像设备与惯性传感器之间的位姿转换关系和时间偏差的精度。
需要理解的是，实施例(三)提供的技术方案为在实施例(二)的基础上实现的。在实际处理中，也可在不确定成像设备与惯性传感器之间的位姿转换关系的情况下，确定成像设备与惯性传感器之间的采样时间偏差。
在一种可能实现的方式中，获取预设的第二时间偏移量、成像设备的至少两个位姿和惯性传感器的至少两个第一采样数据。对至少两个位姿进行样条拟合处理得到第一样条曲线，对至少两个第一采样数据进行样条拟合处理得到第二样条曲线。将第一样条曲线中的点的时间戳与第二时间偏移量相加，得到第九样条曲线。依据第九样条曲线与第二样条曲线，得到第四差异。在第四差异小于或等于第四阈值的情况下，确定第二时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量。
在上述惯性传感器为IMU的情况下，本申请实施例还提供了一种对成像设备与IMU进行标定的方法，请参阅图5，图5为本申请实施例(四)提供步骤102的一种可能实现方式的流程示意图。
501、依据上述至少两个姿态，得到上述成像设备的至少两个第二角速度。
本实施例中，上述至少两个位姿包括至少两个姿态，至少两个第一采样数据包括至少两个第一角速度。其中，至少两个第一角速度通过IMU中的陀螺仪采样获得。
通过对成像设备的至少两个姿态进行求导，可得到成像设备的至少两个第二角速度。
502、对上述至少两个第二角速度进行样条拟合处理，得到上述第一样条曲线，对上述至少两个第一角速度进行样条拟合处理，得到上述第二样条曲线。
本步骤的实现过程可参见步骤102，其中，至少两个第二角速度对应步骤102中的至少两个位姿，至少两个第一角速度对应步骤102中的至少两个第一采样数据。
基于本实施例提高的技术方案，可基于成像设备的至少两个姿态获得成像设备的角速度与时间的函数曲线(即第一样条曲线)，并可基于IMU中的陀螺仪获得IMU的角速度与时间的函数曲线(即第二样条曲线)。依据第一样条曲线和第二样条曲线，可确定成像设备与IMU之间的位姿转换关系和/或采样时间偏移量，例如，可使用实施例(二)所提供的技术方案确定成像设备与IMU之间的位姿转换关系和/或采样时间偏移量。
由于IMU中除了陀螺仪之外还包括加速度计，可在实施例(四)的基础上利用IMU中的加速度计采样获得的数据提高得到的成像设备与IMU之间的位姿转换关系和/或采样时间偏移量的精度。
请参阅图6，图6为本申请实施例(五)提供另一种标定方法的流程示意图。
601、依据上述至少两个第一位置，得到上述成像设备的至少两个第二加速度。
本实施例中，上述至少两个位姿还包括至少两个第一位置，上述至少两个第一采样数据还包括至少两个第一加速度。其中，至少两个第一加速度通过IMU中的加速度计样获得。
602、对上述至少两个第二加速度进行样条拟合处理得到第五样条曲线，对上述至少两个第一加速度进行样条拟合处理得到第六样条曲线。
本步骤的实现过程可参见步骤102，其中，至少两个第二加速度对应步骤102中的至少两个位姿，第五样条曲线对应步骤102中的第一样条曲线，至少两个第一加速度对应步骤102中的至少两个第一采样数据，第六样条曲线对应步骤102中的第二样条曲线。
603、依据上述第五样条曲线和上述第六样条曲线，得到第二差异。
本步骤可参见步骤403，其中，第五样条曲线对应步骤403中的第一样条曲线，第六样条曲线对应步骤403中的第四样条曲线，第二差异对应步骤403中的第一差异。
604、在上述第一差异小于或等于上述第一阈值，且上述第二差异小于或等于第二阈值的情况下，确定上述参考位姿转换关系为上述成像设备与上述惯性传感器之间的位姿转换关系，以及确定上述第一时间偏移量为上述成像设备与上述惯性传感器之间的采样时间偏移量。
若成像设备与IMU之间不存在位姿偏差和/或采样时间偏移量，则成像设备的角速度与IMU的角速度之间的差异应较小，且成像设备的加速度与IMU的加速度之间的差异也应较小。因此，本实施例中，在第一差异小于或等于上述第一阈值，且第二差异小于或等于第二阈值的情况下，确定参考位姿转换关系为成像设备与惯性测量单元之间的位姿转换关系，以及确定第一时间偏移量为成像设备与惯性传感器之间的采样时间偏移量。
本实施例在实施例(四)的基础上利用了IMU的加速度计采样得到的数据和成像设备的第一位置，得到第二差异。在依据第一差异和第二差异确定参考位姿转换关系是否为成像设备与IMU之间的位姿转换关系，以及确定第一时间偏移量为成像设备与IMU之间的采样时间偏移量，可提高获得的成像设备与惯性传感器之间的位姿转换关系和时间偏差的精度。
此外，还可基于IMU中的加速度计采集到的数据与成像设备的位置，实现对成像设备与IMU的标定。请参阅图7，图7为本申请实施例(六)提供步骤102的另一种可能实现方式的流程示意图。
701、依据上述至少两个第二位置，得到上述成像设备的至少两个第四加速度。
本实施例中，上述至少两个位姿包括至少两个第二位置，至少两个第一采样数据包括至少两个第三加速度。其中，至少两个第三加速度通过IMU中的加速度计采样获得。
通过对成像设备的至少两个第二位置进行两次求导，可得到成像设备的至少两个第四加速度。
702、对上述至少两个第四加速度进行样条拟合处理，得到上述第一样条曲线，对上述至少两个第三加速度进行样条拟合处理，得到上述第二样条曲线。
本步骤的实现过程可参见步骤102，其中，至少两个第四加速度对应步骤102中的至少两个位姿，至少两个第三加速度对应步骤102中的至少两个第一采样数据。
基于本实施例提高的技术方案，可基于成像设备的至少两个第二位置获得成像设备的加速度与时间的函数曲线(即第一样条曲线)，并可基于IMU中的加速度计获得IMU的加速度与时间的函数曲线(即第二样条曲线)。依据第一样条曲线和第二样条曲线，可确定成像设备与IMU之间的位姿转换关系和/或采样时间偏移量，例如，可使用实施例(二)所提供的技术方案确定成像设备与IMU之间的位姿转换关系和/或采样时间偏移量。
由于IMU中除了加速度计之外还包括陀螺仪，可在实施例(六)的基础上利用IMU中的陀螺仪采样获得的数据提高得到的成像设备与IMU之间的位姿转换关系和/或采样时间偏移量的精度。
请参阅图8，图8为本申请实施例(七)提供另一种标定方法的流程示意图。
801、依据上述至少两个第二姿态，得到上述成像设备的至少两个第四角速度。
本实施例中，上述至少两个位姿还包括至少两个第二姿态，上述至少两个第一采样数据还包括至少两个第四角速度。其中，至少两个第四角速度通过IMU中的陀螺仪采样获得。
802、对上述至少两个第四角速度进行样条拟合处理得到第七样条曲线，对上述至少两个第三角速度进行样条拟合处理得到第八样条曲线。
本步骤的实现过程可参见步骤102，其中，至少两个第四角速度对应步骤102中的至少两个位姿，第七样条曲线对应步骤102中的第一样条曲线，至少两个第三角速度对应步骤102中的至少两个第一采样数据，第八样条曲线对应步骤102中的第二样条曲线。
803、依据上述第七样条曲线和上述第八样条曲线，得到第三差异。
本步骤可参见步骤403，其中，第七样条曲线对应步骤403中的第一样条曲线，第八样条曲线对应步骤403中的第四样条曲线，第三差异对应步骤403中的第一差异。
804、在上述第一差异小于或等于上述第一阈值，且上述第三差异小于或等于第三阈值的情况下，确定上述参考位姿转换关系为上述成像设备与上述惯性传感器之间的位姿转换关系，以及确定上述第一时间偏移量为上述成像设备与上述惯性传感器之间的采样时间偏移量。
若成像设备与IMU之间不存在位姿偏差和/或采样时间偏移量，则成像设备的角速度与IMU的角速度之间的差异应较小，且成像设备的加速度与IMU的加速度之间的差异也应较小。因此，本实施例中，在第一差异小于或等于上述第一阈值，且第三差异小于或等于第三阈值的情况下，确定参考位姿转换关系为成像设备与惯性测量单元之间的位姿转换关系，以及确定第一时间偏移量为成像设备与惯性传感器之间的采样时间偏移量。
本实施例在实施例(六)的基础上利用了IMU的陀螺仪采样得到的数据和成像设备的第二姿态，得到第三差异。在依据第一差异和第三差异确定参考位姿转换关系是否为成像设备与IMU之间的位姿转换关系，以及确定第一时间偏移量为成像设备与IMU之间的采样时间偏移量，可提高获得的成像设备与惯性传感器之间的位姿转换关系和时间偏差的精度。
基于本申请实施例提供的技术方案，本申请实施例还提供了几种应用场景：
场景A：成像设备和IMU属于电子设备，基于成像设备和IMU可实现对电子设备的定位。实现过程如下：
使用成像设备采集至少两张图像，并在成像设备采集至少两张图像的过程中，获得IMU采集到的至少两个第二采样数据。其中，成像设备采集的图像的数量大于或等于1，第二采样数据包括角速度和/或加速度。举例来说，电子设备在参考时间段内使用成像设备采集了至少两张图像，且电子设备在参考时间段内使用IMU采集获得包括角速度和/或加速度的至少两个第二采样数据。
通过对至少两张图像进行特征点匹配处理，可确定至少两张图像中的同名点。依据同名点在至少两张图像中的坐标，可得到同名点在图像坐标系下的运动轨迹，即电子设备在图像坐标系下的运动轨迹(下文将称为第一运动轨迹)。依据至少两个第二采样数据，可得到电子设备在世界坐标系下的运动轨迹(下文将称为第二运动轨迹)。
本申请实施例中，同一个物理点在两张不同的图像中的像素点互为同名点。在图9所示的两张图像，其中，像素点A与像素点C互为同名点，像素点B与像素点D互为同名点。
基于本申请实施例提供的技术方案对电子设备中的成像设备和IMU进行标定，确定成像设备和IMU之间的位姿转换关系为第一位姿转换关系，确定成像设备和IMU之间的采样时间偏移量为第一采样时间偏移量。
将第一运动轨迹时间戳与第一采样时间偏移量相加，得到第三运动轨迹。依据第一位姿转换关系对第三运动轨迹进行转换，得到第四运动轨迹。依据第二运动轨迹与第四运动轨迹，得到第二运动轨迹与第四运动轨迹之间的位姿转换关系，即电子设备在图像坐标系下的运动轨迹与电子设备在世界坐标系下的位姿转换关系(下文将称为第二位姿转换关系)。
依据第二位姿转换关系和第一运动轨迹，得到第五运动轨迹，即为电子设备在世界坐标系下的运动轨迹。
采集到的至少两张图像均包含时间戳，将至少两张图像的时间戳中的最小时间戳作为参考时间戳。获取电子设备在参考时间戳下的位姿(下文将称为初始位姿)。
依据初始位姿和第五运动轨迹，可确定电子设备在目标时间段内的任意时刻下的位姿，其中，目标时间段为采集至少两张图像的时间段。
场景B：增强现实(augmented reality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，该技术可以将虚拟信息与真实环境实时地叠加到一个画面。智能终端可基于IMU与相机实现AR技术，其中，智能终端包括：手机、计算机、平板电脑。例如，手机基于IMU和相机可实现AR技术。
为提高智能终端实现的AR技术的效果，可使用本申请实施例提供的技术方案对智能终端的IMU和相机进行标定。
在一种对智能终端的IMU和相机进行标定的可能实现的方式中，通过移动智能终端对标定板进行拍摄，获得至少六张图像和至少六个IMU数据(包括角速度和加速度)。基于本申请实施例提供的技术方案可利用至少六张图像和至少六个IMU数据，得到智能终端的相机与智能终端的IMU之间的位姿转换关系，基于本申请实施例提供的技术方案可利用至少六张图像和至少六个IMU数据，得到智能终端的相机与智能终端的IMU之间的位姿转换关系和时间偏差。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。
请参阅图10，图10为本申请实施例提供的一种标定装置的结构示意图，该装置1包括：获取单元11、第一处理单元12、第二处理单元13、确定单元14、第三处理单元15以及第四处理单元16，其中：
获取单元11，用于获取成像设备的至少两个位姿和惯性传感器的至少两个第一采样数据；
第一处理单元12，用于对所述至少两个位姿进行样条拟合处理得到第一样条曲线，对所述至少两个第一采样数据进行样条拟合处理得到第二样条曲线；
第二处理单元13，用于依据所述第一样条曲线与所述第二样条曲线，得到所述成像设备与所述惯性传感器之间的时空偏差，所述时空偏差包括位姿转换关系、采样时间偏移量中的至少一个。
结合本申请任一实施方式，所述时空偏差包括位姿转换关系；
所述获取单元11，还用于在所述依据所述第一样条曲线与所述第二样条曲线，得到所述成像设备与所述惯性传感器之间的时空偏差之前，获取预设的参考位姿转换关系；
所述第一处理单元12，还用于依据所述参考位姿转换关系对所述第二样条曲线进行转换，得到第三样条曲线；
所述第二处理单元13，用于：
依据所述第一样条曲线与所述第三样条曲线，得到第一差异；
在所述第一差异小于或等于第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系。
结合本申请任一实施方式，所述时空偏差还包括采样时间偏移量；所述第一样条曲线中的点均携带时间戳信息；
所述获取单元11，还用于在所述第一差异小于或等于第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系之前，获取预设的第一时间偏移量；
所述第一处理单元12，用于将所述第三样条曲线中的点的时间戳与所述第一时间偏移量相加，得到第四样条曲线；
所述第二处理单元13，用于依据所述第四样条曲线与所述第一样条曲线，得到所述第一差异；
所述第二处理单元13，用于在所述第一差异小于或等于所述第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量。
结合本申请任一实施方式，所述惯性传感器包括惯性测量单元；所述至少两个位姿包括至少两个姿态；所述至少两个第一采样数据包括至少两个第一角速度；
所述第一处理单元12，用于：
依据所述至少两个姿态，得到所述成像设备的至少两个第二角速度；
对所述至少两个第二角速度进行样条拟合处理，得到所述第一样条曲线；
对所述至少两个第一角速度进行样条拟合处理，得到所述第二样条曲线。
结合本申请任一实施方式，所述至少两个位姿还包括至少两个第一位置；所述至少两个第一采样数据还包括至少两个第一加速度；
所述第一处理单元12，用于在所述第一差异小于或等于所述第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量之前，依据所述至少两个第一位置，得到所述成像设备的至少两个第二加速度；
所述第一处理单元12，用于对所述至少两个第二加速度进行样条拟合处理得到第五样条曲线，对所述至少两个第一加速度进行样条拟合处理得到第六样条曲线；
所述第二处理单元13，用于依据所述第五样条曲线和所述第六样条曲线，得到第二差异；
所述第二处理单元13，用于在所述第一差异小于或等于所述第一阈值，且所述第二差异小于或等于第二阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量。
结合本申请任一实施方式，所述惯性传感器包括惯性测量单元；所述至少两个位姿包括至少两个第二位置；所述至少两个第一采样数据包括至少两个第三加速度；
所述第一处理单元12，用于：
依据所述至少两个第二位置，得到所述成像设备的至少两个第四加速度；
对所述至少两个第四加速度进行样条拟合处理，得到所述第一样条曲线；
对所述至少两个第三加速度进行样条拟合处理，得到所述第二样条曲线。
结合本申请任一实施方式，所述至少两个位姿还包括至少两个第二姿态；所述至少两个第一采样数据还包括至少两个第三角速度；
所述第一处理单元12，用于在所述第一差异小于或等于所述第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量之前，所述方法还包括：
所述第一处理单元12，用于依据所述至少两个第二姿态，得到所述成像设备的至少两个第四角速度；
所述第二处理单元13，用于对所述至少两个第四角速度进行样条拟合处理得到第七样条曲线，对所述至少两个第三角速度进行样条拟合处理得到第八样条曲线；
依据所述第七样条曲线和所述第八样条曲线，得到第三差异；
所述第二处理单元13，用于在所述第一差异小于或等于所述第一阈值，且所述第三差异小于或等于第三阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量。
结合本申请任一实施方式，所述时空偏差包括采样时间偏移量；
所述获取单元，还用于在所述依据所述第一样条曲线与所述第二样条曲线，得到所述成像设备与所述惯性传感器之间的时空偏差之前，获取预设的第二时间偏移量；
所述第一处理单元12，用于将所述第一样条曲线中的点的时间戳与所述第二时间偏移量相加，得到第九样条曲线；
所述第二处理单元13，用于依据所述第九样条曲线与所述第二样条曲线，得到第四差异；
所述第二处理单元13，用于在所述第四差异小于或等于第四阈值的情况下，确定所述第二时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量。
结合本申请任一实施方式，所述成像设备和所述惯性传感器属于所述标定装置1；
所述标定装置1使用所述成像设备采集至少两张图像；
所述标定装置1在所述成像设备采集所述至少两张图像的过程中，获得所述惯性传感器的至少两个第二采样数据；
所述标定装置1依据所述至少两张图像、所述至少两个第二采样数据和所述时空偏差，得到所述标定装置的成像设备在采集所述图像时的位姿。
本实施例通过对成像设备的至少两个位姿进行样条拟合处理得到第一样条曲线，以及惯性传感器的第一采样数据进行样条拟合处理得到第二样条曲线。依据第一样条曲线与第二样条曲线之间确定成像设备与惯性传感器之间的位姿转换关系和/或采样时间偏移量，可提高获得的成像设备与惯性传感器之间的位姿转换关系和/或采样时间偏移量的精度。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
图11为本申请实施例提供的一种标定装置的硬件结构示意图。该标定装置2包括处理器21，存储器22，输入装置23，输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本申请实施例对此不作限定。应当理解，本申请的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。
处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。可选的，处理器21可以是多个GPU构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本申请实施例不作限定。
存储器22可用于存储计算机程序指令，以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random accessmemory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。
输入装置23用于输入数据和/或信号，以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件，也可以是一个整体的器件。
可理解，本申请实施例中，存储器22不仅可用于存储相关指令，还可用于存储相关数据，如该存储器22可用于存储通过输入装置23获取的第一采样数据，又或者该存储器22还可用于存储通过处理器21得到的时空偏差等等，本申请实施例对于该存储器中具体所存储的数据不作限定。
可以理解的是，图11仅仅示出了一种标定装置的简化设计。在实际应用中，标定装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、存储器等，而所有可以实现本申请实施例的标定装置都在本申请的保护范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本申请各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital versatiledisc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-only memory，ROM)或随机存储存储器(random access memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims (10)

1.一种标定方法，其特征在于，所述方法包括：
获取成像设备的至少两个位姿和惯性传感器的至少两个第一采样数据；
对所述至少两个位姿进行样条拟合处理得到第一样条曲线，对所述至少两个第一采样数据进行样条拟合处理得到第二样条曲线；
获取预设的参考位姿转换关系；
依据所述参考位姿转换关系对所述第二样条曲线进行转换，得到第三样条曲线；
依据所述第一样条曲线与所述第三样条曲线，得到第一差异；
在所述第一差异小于或等于第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的时空偏差，所述时空偏差包括位姿转换关系；
或，获取成像设备的至少两个位姿和惯性传感器的至少两个第一采样数据；
对所述至少两个位姿进行样条拟合处理得到第一样条曲线，对所述至少两个第一采样数据进行样条拟合处理得到第二样条曲线；
获取预设的第二时间偏移量；
将所述第一样条曲线中的点的时间戳与所述第二时间偏移量相加，得到第九样条曲线；
依据所述第九样条曲线与所述第二样条曲线，得到第四差异；
在所述第四差异小于或等于第四阈值的情况下，确定所述第二时间偏移量为所述成像设备与所述惯性传感器之间的时空偏差，所述时空偏差包括采样时间偏移量。
2.根据权利要求1所述的方法，其特征在于，在所述时空偏差包括所述位姿转换关系的情况下，所述时空偏差还包括采样时间偏移量；所述第一样条曲线中的点均携带时间戳信息；
所述在所述第一差异小于或等于第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系之前，所述方法还包括：
获取预设的第一时间偏移量；
将所述第三样条曲线中的点的时间戳与所述第一时间偏移量相加，得到第四样条曲线；
所述依据所述第一样条曲线与所述第三样条曲线，得到第一差异，包括：
依据所述第四样条曲线与所述第一样条曲线，得到所述第一差异；
所述在所述第一差异小于或等于第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，包括：
在所述第一差异小于或等于所述第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量。
3.根据权利要求2所述的方法，其特征在于，所述惯性传感器包括惯性测量单元；所述至少两个位姿包括至少两个姿态；所述至少两个第一采样数据包括至少两个第一角速度；
所述对所述至少两个位姿进行样条拟合处理得到第一样条曲线，包括：
依据所述至少两个姿态，得到所述成像设备的至少两个第二角速度；
对所述至少两个第二角速度进行样条拟合处理，得到所述第一样条曲线；
所述对所述至少两个第一采样数据进行样条拟合处理得到第二样条曲线，包括：
对所述至少两个第一角速度进行样条拟合处理，得到所述第二样条曲线。
4.根据权利要求3中所述的方法，其特征在于，所述至少两个位姿还包括至少两个第一位置；所述至少两个第一采样数据还包括至少两个第一加速度；
所述在所述第一差异小于或等于所述第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量之前，所述方法还包括：
依据所述至少两个第一位置，得到所述成像设备的至少两个第二加速度；
对所述至少两个第二加速度进行样条拟合处理得到第五样条曲线，对所述至少两个第一加速度进行样条拟合处理得到第六样条曲线；
依据所述第五样条曲线和所述第六样条曲线，得到第二差异；
所述在所述第一差异小于或等于所述第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量，包括：
在所述第一差异小于或等于所述第一阈值，且所述第二差异小于或等于第二阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量。
5.根据权利要求2所述的方法，其特征在于，所述惯性传感器包括惯性测量单元；所述至少两个位姿包括至少两个第二位置；所述至少两个第一采样数据包括至少两个第三加速度；
所述对所述至少两个位姿进行样条拟合处理得到第一样条曲线，包括：
依据所述至少两个第二位置，得到所述成像设备的至少两个第四加速度；
对所述至少两个第四加速度进行样条拟合处理，得到所述第一样条曲线；
所述对所述至少两个第一采样数据进行样条拟合处理得到第二样条曲线，包括：
对所述至少两个第三加速度进行样条拟合处理，得到所述第二样条曲线。
6.根据权利要求5中所述的方法，其特征在于，所述至少两个位姿还包括至少两个第二姿态；所述至少两个第一采样数据还包括至少两个第三角速度；
所述在所述第一差异小于或等于所述第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量之前，所述方法还包括：
依据所述至少两个第二姿态，得到所述成像设备的至少两个第四角速度；
对所述至少两个第四角速度进行样条拟合处理得到第七样条曲线，对所述至少两个第三角速度进行样条拟合处理得到第八样条曲线；
依据所述第七样条曲线和所述第八样条曲线，得到第三差异；
所述在所述第一差异小于或等于所述第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量，包括：
在所述第一差异小于或等于所述第一阈值，且所述第三差异小于或等于第三阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系，以及确定所述第一时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量。
7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述成像设备和所述惯性传感器属于电子设备，所述方法还包括：
使用所述成像设备采集至少两张图像；
在所述成像设备采集所述至少两张图像的过程中，获得所述惯性传感器的至少两个第二采样数据；
依据所述至少两张图像、所述至少两个第二采样数据和所述时空偏差，得到所述电子设备的成像设备在采集所述图像时的位姿。
8.一种标定装置，其特征在于，所述装置包括：
获取单元，用于获取成像设备的至少两个位姿和惯性传感器的至少两个第一采样数据；
第一处理单元，用于对所述至少两个位姿进行样条拟合处理得到第一样条曲线，对所述至少两个第一采样数据进行样条拟合处理得到第二样条曲线；
第二处理单元，用于依据所述第一样条曲线与所述第二样条曲线，得到所述成像设备与所述惯性传感器之间的时空偏差，所述时空偏差包括位姿转换关系、采样时间偏移量中的至少一个；
所述获取单元，还用于在所述依据所述第一样条曲线与所述第二样条曲线，得到所述成像设备与所述惯性传感器之间的时空偏差之前，获取预设的参考位姿转换关系；
所述第一处理单元，还用于依据所述参考位姿转换关系对所述第二样条曲线进行转换，得到第三样条曲线；
所述第二处理单元，还用于依据所述第一样条曲线与所述第三样条曲线，得到第一差异；
所述第二处理单元，还用于在所述第一差异小于或等于第一阈值的情况下，确定所述参考位姿转换关系为所述成像设备与所述惯性传感器之间的位姿转换关系；
或，获取单元，用于获取成像设备的至少两个位姿和惯性传感器的至少两个第一采样数据；
第一处理单元，用于对所述至少两个位姿进行样条拟合处理得到第一样条曲线，对所述至少两个第一采样数据进行样条拟合处理得到第二样条曲线；
第二处理单元，用于依据所述第一样条曲线与所述第二样条曲线，得到所述成像设备与所述惯性传感器之间的时空偏差，所述时空偏差包括位姿转换关系、采样时间偏移量中的至少一个；
所述获取单元，还用于在所述依据所述第一样条曲线与所述第二样条曲线，得到所述成像设备与所述惯性传感器之间的时空偏差之前，获取预设的第二时间偏移量；
所述第一处理单元，还用于将所述第一样条曲线中的点的时间戳与所述第二时间偏移量相加，得到第九样条曲线；
所述第二处理单元，还用于依据所述第九样条曲线与所述第二样条曲线，得到第四差异；
所述第二处理单元，还用于在所述第四差异小于或等于第四阈值的情况下，确定所述第二时间偏移量为所述成像设备与所述惯性传感器之间的采样时间偏移量。
9.一种电子设备，其特征在于，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器执行所述计算机指令时，所述电子设备执行如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行权利要求1至7中任意一项所述的方法。
CN201911420020.3A 2019-12-31 2019-12-31 标定方法及装置、处理器、电子设备、存储介质 Active CN111060138B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201911420020.3A CN111060138B (zh) 2019-12-31 2019-12-31 标定方法及装置、处理器、电子设备、存储介质
JP2022528154A JP2023502635A (ja) 2019-12-31 2020-04-02 較正方法および装置、プロセッサ、電子機器、記憶媒体
PCT/CN2020/083047 WO2021134960A1 (zh) 2019-12-31 2020-04-02 标定方法及装置、处理器、电子设备、存储介质
KR1020227016373A KR20220079978A (ko) 2019-12-31 2020-04-02 보정 방법 및 장치, 프로세서, 전자 기기, 저장 매체
TW109116666A TWI766282B (zh) 2019-12-31 2020-05-20 標定方法、電子設備及儲存介質
US17/836,093 US20220319050A1 (en) 2019-12-31 2022-06-09 Calibration method and apparatus, processor, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911420020.3A CN111060138B (zh) 2019-12-31 2019-12-31 标定方法及装置、处理器、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN111060138A CN111060138A (zh) 2020-04-24
CN111060138B true CN111060138B (zh) 2022-01-28

Family

ID=70305937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911420020.3A Active CN111060138B (zh) 2019-12-31 2019-12-31 标定方法及装置、处理器、电子设备、存储介质

Country Status (6)

Country Link
US (1) US20220319050A1 (zh)
JP (1) JP2023502635A (zh)
KR (1) KR20220079978A (zh)
CN (1) CN111060138B (zh)
TW (1) TWI766282B (zh)
WO (1) WO2021134960A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111551191B (zh) * 2020-04-28 2022-08-09 浙江商汤科技开发有限公司 传感器外参数标定方法及装置、电子设备和存储介质
CN113701745B (zh) * 2020-05-21 2024-03-08 杭州海康威视数字技术股份有限公司 一种外参变化检测方法、装置、电子设备及检测系统
US12061255B2 (en) 2021-10-27 2024-08-13 GM Global Technology Operations LLC Scan matching and radar pose estimator for an autonomous vehicle based on hyper-local submaps
US11965978B2 (en) * 2021-10-27 2024-04-23 GM Global Technology Operations LLC Calibration pipeline for estimating six degrees of freedom (6DoF) alignment parameters for an autonomous vehicle
US11977149B2 (en) 2021-10-27 2024-05-07 GM Global Technology Operations LLC Filtering and aggregating detection points of a radar point cloud for an autonomous vehicle
CN117147903A (zh) * 2022-05-22 2023-12-01 远也科技（苏州）有限公司 一种确定运动参数的方法、装置及系统
CN115980391B (zh) * 2023-03-21 2023-10-10 中国汽车技术研究中心有限公司 事件数据记录系统的加速度传感器测试方法、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014130854A1 (en) * 2013-02-21 2014-08-28 Regents Of The Univesity Of Minnesota Extrinsic parameter calibration of a vision-aided inertial navigation system
CN107314778A (zh) * 2017-08-04 2017-11-03 广东工业大学 一种相对姿态的标定方法、装置及系统
CN207923150U (zh) * 2017-08-04 2018-09-28 广东工业大学 一种深度相机和惯性测量单元相对姿态的标定系统
CN109029433A (zh) * 2018-06-28 2018-12-18 东南大学 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN110058205A (zh) * 2019-05-24 2019-07-26 中国人民解放军陆军炮兵防空兵学院郑州校区 一种基于迭代最近点算法的警戒雷达系统误差校正方法
CN110057352A (zh) * 2018-01-19 2019-07-26 北京图森未来科技有限公司 一种相机姿态角确定方法及装置
CN110378968A (zh) * 2019-06-24 2019-10-25 深圳奥比中光科技有限公司 相机和惯性测量单元相对姿态的标定方法及装置
CN110398979A (zh) * 2019-06-25 2019-11-01 天津大学 一种基于视觉与姿态融合的无人驾驶工程作业设备循迹方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7424212B2 (en) * 2004-11-12 2008-09-09 Fujifilm Corporation Camera shaking correcting method, camera shaking correcting device, and image pickup device
US9678102B2 (en) * 2011-11-04 2017-06-13 Google Inc. Calibrating intertial sensors using an image sensor
CN103994765B (zh) * 2014-02-27 2017-01-11 北京工业大学 一种惯性传感器的定位方法
CN104062977B (zh) * 2014-06-17 2017-04-19 天津大学 基于视觉slam的四旋翼无人机全自主飞行控制方法
CN104764452A (zh) * 2015-04-23 2015-07-08 北京理工大学 一种基于惯性和光学跟踪系统的混合位姿跟踪方法
FR3053133B1 (fr) * 2016-06-27 2018-08-17 Parrot Drones Procede de conversion dynamique d'attitude d'un drone a voilure tournante
US10281930B2 (en) * 2016-07-25 2019-05-07 Qualcomm Incorporated Gimbaled universal drone controller
CN109613543B (zh) * 2018-12-06 2020-09-25 深圳前海达闼云端智能科技有限公司 激光点云数据的修正方法、装置、存储介质和电子设备
CN110296717B (zh) * 2019-06-21 2020-08-28 上海芯仑光电科技有限公司 一种事件数据流的处理方法及计算设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014130854A1 (en) * 2013-02-21 2014-08-28 Regents Of The Univesity Of Minnesota Extrinsic parameter calibration of a vision-aided inertial navigation system
CN107314778A (zh) * 2017-08-04 2017-11-03 广东工业大学 一种相对姿态的标定方法、装置及系统
CN207923150U (zh) * 2017-08-04 2018-09-28 广东工业大学 一种深度相机和惯性测量单元相对姿态的标定系统
CN110057352A (zh) * 2018-01-19 2019-07-26 北京图森未来科技有限公司 一种相机姿态角确定方法及装置
CN109029433A (zh) * 2018-06-28 2018-12-18 东南大学 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN110058205A (zh) * 2019-05-24 2019-07-26 中国人民解放军陆军炮兵防空兵学院郑州校区 一种基于迭代最近点算法的警戒雷达系统误差校正方法
CN110378968A (zh) * 2019-06-24 2019-10-25 深圳奥比中光科技有限公司 相机和惯性测量单元相对姿态的标定方法及装置
CN110398979A (zh) * 2019-06-25 2019-11-01 天津大学 一种基于视觉与姿态融合的无人驾驶工程作业设备循迹方法及装置

Also Published As

Publication number Publication date
JP2023502635A (ja) 2023-01-25
TW202127375A (zh) 2021-07-16
US20220319050A1 (en) 2022-10-06
TWI766282B (zh) 2022-06-01
CN111060138A (zh) 2020-04-24
KR20220079978A (ko) 2022-06-14
WO2021134960A1 (zh) 2021-07-08

Similar Documents

Publication Publication Date Title
CN111060138B (zh) 标定方法及装置、处理器、电子设备、存储介质
US20210233275A1 (en) Monocular vision tracking method, apparatus and non-transitory computer-readable storage medium
CN109949422B (zh) 用于虚拟场景的数据处理方法以及设备
CN107888828B (zh) 空间定位方法及装置、电子设备、以及存储介质
CN112288853B (zh) 三维重建方法、三维重建装置、存储介质
CN110660098B (zh) 基于单目视觉的定位方法和装置
CN113361365B (zh) 定位方法和装置、设备及存储介质
CN109767470B (zh) 一种跟踪系统初始化方法及终端设备
CN113031783B (zh) 运动轨迹更新方法、头戴式显示设备和计算机可读介质
CN109040525B (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN112819860A (zh) 视觉惯性系统初始化方法及装置、介质和电子设备
CN110956666A (zh) 运动数据标定方法、装置、终端设备及存储介质
CN116079697B (zh) 一种基于图像的单目视觉伺服方法、装置、设备及介质
CN114543797A (zh) 位姿预测方法和装置、设备、介质
CN112818898B (zh) 模型训练方法、装置和电子设备
CN107145706B (zh) 虚拟现实vr设备融合算法性能参数的评估方法及装置
CN112950726B (zh) 摄像头朝向标定方法及相关产品
CN115082516A (zh) 一种目标跟踪方法、装置、设备及介质
CN109255095B (zh) Imu数据的积分方法、装置、计算机可读介质及电子设备
CN117906634A (zh) 一种设备检测方法、装置、设备及介质
CN115482275A (zh) 位置参数获取方法、装置、设备及介质
CN117710591A (zh) 空间地图处理方法、装置、电子设备、介质及程序产品
CN117911503A (zh) 位姿估计方法、装置、电子设备及存储介质
CN117745834A (zh) 相机标定方法、系统、设备、介质及产品
CN114964273A (zh) 即时定位和地图构建方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40018186

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant