CN112113582A - 时间同步处理方法、电子设备及存储介质 - Google Patents

时间同步处理方法、电子设备及存储介质 Download PDF

Info

Publication number
CN112113582A
CN112113582A CN201910545218.8A CN201910545218A CN112113582A CN 112113582 A CN112113582 A CN 112113582A CN 201910545218 A CN201910545218 A CN 201910545218A CN 112113582 A CN112113582 A CN 112113582A
Authority
CN
China
Prior art keywords
different sensors
angular velocity
information
sensors
velocity information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910545218.8A
Other languages
English (en)
Inventor
王潇峰
刘余钱
章国锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN201910545218.8A priority Critical patent/CN112113582A/zh
Priority to KR1020217017070A priority patent/KR20210084622A/ko
Priority to JP2021531851A priority patent/JP2022510418A/ja
Priority to PCT/CN2020/076836 priority patent/WO2020253260A1/zh
Publication of CN112113582A publication Critical patent/CN112113582A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Manufacturing & Machinery (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Navigation (AREA)
  • Gyroscopes (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开实施例公开了时间同步处理方法、电子设备及存储介质，包括：通过两个不同的传感器获取电子设备发生旋转运动时的角速度信息，其中，两个不同的传感器均设置在电子设备上且刚性连接；通过对两个不同的传感器各自获取的两个角速度信息进行对齐处理，确定两个不同传感器之间的延时时间信息；根据延时时间信息对两个不同的传感器各自的测量结果进行时间同步处理，能够提高时间同步精确度。

Description

时间同步处理方法、电子设备及存储介质
技术领域
本公开实施例涉及计算机视觉领域，具体涉及时间同步处理方法、电子设备及存储介质。
背景技术
视觉惯性里程计是目前计算机视觉领域研究的热点，广泛应用于电子设备的导航和娱乐中，主要原理是将视觉和惯性传感器进行融合，从而在运动过程中估计相机自身的位置和姿态，得到准确的定位信息，其属于自主式导航。
由于不同传感器存在不同的触发延时和传输延时，因此，电子设备在融合不同传感器的测量结果时，需要确定不同传感器之间的延时时间信息。目前，通常采用三维空间中的运动来标定不同传感器之间的延时时间信息，或者采用将不同传感器之间的时间延时作为常数处理。然而，在电子设备运动过程中，不同传感器之间的延时时间信息是变化的，因此，存在时间同步精确度低的问题。
发明内容
本公开实施例期望提供一种时间同步处理方法、电子设备及存储介质。
第一方面，本公开实施例提供一种时间同步处理方法，所述方法包括：
通过两个不同的传感器获取电子设备发生旋转运动时的角速度信息，其中，所述两个不同的传感器均设置在所述电子设备上且刚性连接；
通过对所述两个不同的传感器各自获取的两个角速度信息进行对齐处理，确定所述两个不同传感器之间的延时时间信息；
根据所述延时时间信息对所述两个不同的传感器各自的测量结果进行时间同步处理。
在一些实施例中，所述两个不同的传感器中的至少之一为位姿式传感器；所述通过两个不同的传感器获取电子设备发生旋转运动时的角速度信息，包括：
通过所述位姿式传感器获取所述电子设备发生旋转运动时的位姿旋转矩阵信息；
通过所述位姿旋转矩阵信息获取所述电子设备发生旋转运动时的角速度信息。
在一些实施例中，所述两个不同的传感器中的至少之一为陀螺式传感器；所述通过两个不同的传感器获取电子设备发生旋转运动时的角速度信息，包括：
通过所述陀螺式传感器获取所述电子设备发生旋转运动时的角速度信息。
在一些实施例中，所述通过对所述两个不同的传感器各自获取的两个角速度信息进行对齐处理，确定所述两个不同传感器之间的延时时间信息，包括：
对所述两个不同的传感器中的至少之一进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息；
根据对齐后的两个角速度信息，确定所述两个不同传感器之间的延时时间信息。
在一些实施例中，所述对所述两个不同的传感器中的至少之一进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息，包括：
当所述两个不同的传感器均为陀螺式传感器时，对所述两个陀螺式传感器各自获取的两个角速度信息中的至少之一进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息。
在一些实施例中，所述对所述两个不同的传感器中的至少之一进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息，包括：
当所述两个不同的传感器均为位姿式传感器时，对所述两个位姿式传感器各自获取的两个位姿旋转矩阵信息中的至少之一进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息。
在一些实施例中，所述对所述两个不同的传感器中的至少之一进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息，包括：
当所述两个不同的传感器分别为位姿式传感器和陀螺式传感器时，对所述位姿式传感器获取的位姿旋转矩阵信息进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息。
在一些实施例中，在所述通过对所述两个不同的传感器各自获取的两个角速度信息进行对齐处理，确定所述两个不同传感器之间的延时时间信息之后，所述方法还包括：
通过对所述两个不同的传感器各自获取的两个角速度信息进行对齐处理，确定所述两个传感器之间的外参，所述外参包括所述两个不同传感器各自对应的不同坐标轴之间的旋转参数和所述两个传感器之间的误差参数。
在一些实施例中，在所述通过对所述两个不同的传感器各自获取的两个角速度信息进行对齐处理，确定所述两个不同传感器之间的延时时间信息之后，所述方法还包括：
存储所述延时时间信息；
在所述电子设备处于非运动状态的情况下，根据存储的所述延时时间信息，对所述两个不同的传感器各自的测量结果进行时间同步处理。
在一些实施例中，所述根据对齐后的两个角速度信息，确定所述两个不同传感器之间的延时时间信息，包括：
根据所述对齐后的两个角速度信息，确定所述两个不同传感器发生旋转运动时的不同时刻对应的子误差方程；
对所述不同时刻对应的子误差方程求和，得到最终误差方程；
对所述最终误差方程进行最小值处理，得到所述延时时间信息。
在一些实施例中，所述对所述最终误差方程进行最小值处理，得到所述延时时间，包括：
对所述最终误差方程进行非线性化处理，得到第一最小化方程；
对所述第一最小化方程的求解，直到满足预设第一阈值的情况下，获取所述第一最小化方程中的所述延时时间信息。
在一些实施例中，所述对所述最终误差方程进行最小值处理，得到所述延时时间，包括：
对所述最终误差方程进行迭代最近点处理，得到第二最小化方程；
对所述第二最小化方程的求解，直到满足预设第二阈值的情况下，获取所述第二最小化方程中的所述延时时间信息。
在一些实施例中，在所述根据所述时间延迟信息对所述两个不同的传感器各自的测量结果进行时间同步处理之后，所述方法还包括：
对同步后的测量结果进行融合处理，实现电子设备的数据处理功能。
第二方面，本公开实施例提供一种时间同步处理装置，所述装置包括第一获取模块、对齐模块和同步模块，其中，
所述第一获取模块，用于通过两个不同的传感器获取电子设备发生旋转运动时的角速度信息，其中，所述两个不同的传感器均设置在所述电子设备上且刚性连接；
所述对齐模块，用于通过对所述两个不同的传感器各自获取的两个角速度信息进行对齐处理，确定所述两个不同传感器之间的延时时间信息；
所述同步模块，用于根据所述延时时间信息对所述两个不同的传感器各自的测量结果进行时间同步处理。
在一些实施例中，所述第一获取模块，具体用于通过位姿式传感器获取所述电子设备发生旋转运动时的位姿旋转矩阵信息；通过所述位姿旋转矩阵信息获取所述电子设备发生旋转运动时的角速度信息，其中，所述两个不同的传感器中的至少之一为位姿式传感器。
在一些实施例中，所述第一获取模块，具体用于通过陀螺式传感器获取所述电子设备发生旋转运动时的角速度信息，其中，所述两个不同的传感器中的至少之一为陀螺式传感器。
在一些实施例中，对齐模块包括：
第一对齐模块，用于对所述两个不同的传感器中的至少之一进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息；
第二对齐模块，用于根据对齐后的两个角速度信息，确定所述两个不同传感器之间的延时时间信息。
在一些实施例中，第一对齐模块，具体用于当所述两个不同的传感器均为陀螺式传感器时，对所述两个陀螺式传感器各自获取的两个角速度信息中的至少之一进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息。
在一些实施例中，第一对齐模块，具体用于当所述两个不同的传感器均为位姿式传感器时，对所述两个位姿式传感器各自获取的两个位姿旋转矩阵信息中的至少之一进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息。
在一些实施例中，第一对齐模块，具体用于当所述两个不同的传感器分别为位姿式传感器和陀螺式传感器时，对所述位姿式传感器获取的位姿旋转矩阵信息进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息。
在一些实施例中，所述装置还包括：
第二获取单元，用于通过对所述两个不同的传感器各自获取的两个角速度信息进行对齐处理，确定所述两个传感器之间的外参，所述外参包括所述两个不同传感器各自对应的不同坐标轴之间的旋转参数和所述两个传感器之间的误差参数。
在一些实施例中，所述装置还包括：
第三获取单元，用于存储所述延时时间信息；在所述电子设备处于非运动状态的情况下，根据存储的所述延时时间信息，对所述两个不同的传感器各自的测量结果进行时间同步处理。
在一些实施例中，所述第二对齐模块包括：
第四获取模块，用于根据所述对齐后的两个角速度信息，确定所述两个不同传感器发生旋转运动时的不同时刻对应的子误差方程；
第五获取模块，用于对所述不同时刻对应的子误差方程求和，得到最终误差方程；
第六获取模块，用于对所述最终误差方程进行最小值处理，得到所述延时时间信息。
在一些实施例中，第六获取模块，具体用于对所述最终误差方程进行非线性化处理，得到第一最小化方程；对所述第一最小化方程的求解，直到满足预设第一阈值的情况下，获取所述第一最小化方程中的所述延时时间信息。
在一些实施例中，第六获取模块，具体用于对所述最终误差方程进行迭代最近点处理，得到第二最小化方程；对所述第二最小化方程的求解，直到满足预设第二阈值的情况下，获取所述第二最小化方程中的所述延时时间信息。
在一些实施例中，所述装置还包括：
融合模块，用于对同步后的测量结果进行融合处理；
执行模块，用于根据融合处理的结果对所述电子设备执行以下至少之一的操作：定位处理、测距处理、电子设备所在场景的目标检测、生成或更新地图。第三方面，本公开实施例提供一种电子设备，所述电子设备至少包括处理器、存储器和通信总线，所述存储器存储有所述处理器可执行指令；所述通信总线用于连接所述处理器和所述存储器；当所述可执行指令被执行时，所述处理器执行时实现上述时间同步处理方法中的步骤。
在一些实施例中，所述电子设备设置有两个不同的传感器，且所述两个不同的传感器刚性连接。
第四方面，本公开实施例提供一种计算机可读存储介质，其上存储可执行指令，所述可执行指令被处理器执行时实现上述时间同步处理方法中的步骤。
本公开实施例提供了一种时间同步处理方法、电子设备及存储介质，通过均设置在电子设备上且刚性连接的两个不同的传感器，获取电子设备发生旋转运动时的角速度信息；通过对两个不同的传感器各自获取的两个角速度信息进行对齐处理，确定两个不同传感器之间的延时时间信息，然后根据延时时间信息对两个不同的传感器各自的测量结果进行时间同步处理，由此充分利用刚性连接角速度信息相同的原理，实现电子设备上不同传感器的时间同步。
通过本公开实施例的技术方案可知，本公开实施例要求电子设备能够发生旋转运动即要求电子设备最少只需要绕一轴的旋转，便可标定电子设备上不同传感器之间的延时时间信息，而无需必须要求绕多轴的运动，降低了不同传感器时间同步的复杂度，能够适应不同场景的需求；与此同时，本公开实施例也可以基于电子设备绕多轴旋转产生的旋转运动来标定延时时间，如此能够得到更加丰富的旋转信息，以提高时间同步的精确度；本公开实施例要求传感器能够独立获取角速度，便可以确定不同传感器之间的延时时间信息，能够广泛的用于多种传感器之间的时间同步，具有普遍适应性；本公开实施例是基于软件来实现时间同步的方法，无需额外部署用于时间同步的专用硬件；本公开实施例根据实时获取的延时时间信息进行时间同步，能够实现在线时间同步处理；本公开实施例通过电子设备发生旋转运动时获取的角速度信息确定延时时间信息，不再是将延时时间信息当作常数处理，提高了时间同步的精确度。
附图说明
图1为本公开实施例提供一种适用于时间同步处理方法的架构示意图一；
图2A为本公开实施例提供一种适用于时间同步处理方法的架构示意图二；
图2B为本公开实施例提供一种适用于时间同步处理方法的架构示意图三；
图3为本公开实施例提供一种时间同步处理方法的实现流程示意图一；
图4为本公开实施例中示例性地视觉传感器的角速度和惯性传感器的角速度之间存在时间延时的示意图；
图5为本公开实施例中示例性地视觉传感器的角速度和惯性传感器的角速度同步后的示意图；
图6为本公开实施例提供一种时间同步处理方法的实现流程示意图二；
图7为本公开实施例提供一种时间同步处理方法的实现流程示意图三；
图8为本公开实施例提供一种时间同步处理方法的实现流程示意图四；
图9为本公开实施例采用四元数表示位姿式传感器测量位姿旋转矩阵信息的示意图一；
图10为本公开实施例采用四元数表示位姿式传感器测量位姿旋转矩阵信息的示意图二；
图11为本公开实施例提供一种时间同步处理装置的组成结构示意图；
图12为本公开实施例提供的电子设备的组成结构示意图。
具体实施方式
为了使本公开实施例的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施例作进一步地详细描述，所描述的实施例不应视为对本公开实施例的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开实施例保护的范围。
图1为本公开实施例提供一种适用于时间同步处理方法的架构示意图一，如图1所示，该架构为一台电子设备20，该电子设备20包括处理器21、两个不同的传感器22和存储器23，两个不同的传感器22将获取的信息交由处理器21进行处理。两个不同的传感器22中的传感器可以为直接测量角速度的传感器，还可以为间接测量角速度的传感器，该间接测量角速度的传感器为能够独立估计传感器自身的旋转运动即获取位姿旋转矩阵信息的传感器，本公开实施例这里不作限制。
其中，两个不同的传感器22中的不同传感器刚性固定，也就是说，电子设备的两个不同的传感器22之间是相对固定的。在运动过程中，不同传感器在同一时刻测得的角速度是一样的。两个不同的传感器22将获取的信息输入到电子设备20的处理器21中，处理器21通过执行本公开实施例提供的方法进行时间同步处理。
在一些实施例中，该时间同步处理方法的架构还可以如图2A和2B所示，该架构为一台电子设备20，与图1不同的是，该电子设备20设置有两个传感器，该两个传感器包括第一传感器22a和第二传感器22b，该第一传感器22a和第二传感器22b将获取的信息交由电子设备20的处理器进行处理，以实现本公开实施例提供的时间同步处理的方法。
如图2A和图2B所示，第一传感器22a和第二传感器22b可以设置在电子设备的不同位置，也可以设置在电子设备的相同位置。例如，第一传感器22a和第二传感器22b可以均设置在车辆的轮胎部位；还可以第一传感器22a设置在车辆的轮胎部位，第二传感器22b设置在车辆的车载装置部分，本公开实施例这里不作限制。
本公开实施例中，该两个传感器可以为直接测量角速度的传感器，还可以为间接测量角速度的传感器，该间接测量角速度的传感器为能够独立估计传感器自身的旋转运动即获取位姿旋转矩阵信息的传感器，本公开实施例这里不作限制。
例如，当传感器为直接测量角速度的传感器时，处理器可以直接通过对角速度信息进行处理；当传感器为间接测量角速度的传感器时，处理器先根据位姿旋转矩阵信息获取角速度信息，再对获取的角速度信息进行处理。
一般来说，电子设备在实施的过程中可以为各种类型的具有信息处理能力的设备，例如电子设备可以包括移动机器人设备、无人驾驶设备和各类移动终端，其中，无人驾驶设备包括车辆、飞机和舰艇，本公开实施例这里不作限制。
基于上述架构，本公开实施例提出一种时间同步处理方法，能够解决不同传感器之间时间延时标定精度低和复杂的问题。该时间同步处理方法所实现的功能可以通过电子设备中的处理器调用可执行指令来实现，当然可执行指令可以保存在存储器的存储介质中，可见，该电子设备至少包括处理器和存储介质。
实施例一
图3为本公开实施例中提供一种时间同步处理方法的实现流程示意图一，应用于电子设备中，如图3所示，电子设备实现时间同步处理方法包括：
S101、通过两个不同的传感器获取电子设备发生旋转运动时的角速度信息，其中，两个不同的传感器均设置在电子设备上且刚性连接。
本公开实施例中，电子设备设置有两个不同的传感器，该两个不同的传感器刚性连接。也就是说，电子设备的两个不同的传感器之间是相对固定的。在电子设备发生旋转运动过程时，两个不同的传感器在同一时刻获取的角速度信息是相同的。
需要说明的是，本公开实施例中两个不同的传感器包括结构不同的传感器和，结构相同但安装位置不同的传感器。
例如，当两个不同的传感器为结构不同的传感器时，电子设备中的两个不同传感器可以包括以下中的任意两个：视觉传感器、惯性传感器、磁力传感器、激光雷达传感器和轮式传感器，本公开实施例这里不作限制。
又例如，当两个不同的传感器为结构相同但位置不同的传感器时，电子设备中的两个不同传感器可以为安装在电子设备的不同位置的视觉传感器，或者，可以为安装在电子设备的不同位置的磁力传感器，本公开实施例这里不作限制。
本公开实施例中，电子设备的角速度信息可以为通过两个不同的传感器获取预设时间段内发生旋转运动时的角速度信息。也就是说，电子设备发生旋转运动时，会旋转一定角度，进而电子设备在预设时间内，能够通过不同传感器获取角速度信息。
需要说明的是，该角度可以任意角度，时间段可以是用户根据实际情况设置的，例如，可以设置该时间段为半个小时或者十五分钟等，本公开实施例这里不做限制。
示例性地，电子设备包括移动机器人设备、无人驾驶设备和各类移动终端，本公开实施例这里不作限制。
需要说明的是，获取角速度信息的传感器还可以基于直接获取角速度信息和间接获取角速度信息进行分类，其中，一种类型的传感器为陀螺式传感器，其能够直接测量角速度信息；另一种类型的传感器为位姿式传感器，其能够间接测量角速度信息。
其中，陀螺式传感器和位姿式传感器为结构不同的传感器。
在一种实施例中，电子设备通过两个不同的传感器获取电子设备发生旋转运动时的角速度信息包括：基于两个不同类型或者相同类型的传感器，获取角速度信息。
当两个不同的传感器中的至少之一为位姿式传感器时，通过两个不同的传感器获取电子设备发生旋转运动时的角速度信息，包括：通过位姿式传感器获取电子设备发生旋转运动时的位姿旋转矩阵信息；通过位姿旋转矩阵信息获取电子设备发生旋转运动时的角速度信息。
当两个不同的传感器中至少之一为陀螺式传感器时，通过两个不同的传感器获取电子设备发生旋转运动时的角速度信息，包括：通过陀螺式传感器获取电子设备发生旋转运动时的角速度信息。
也就是说，本公开实施例中，通过两种不同的传感器获取电子设备发生旋转运动时的角速度信息包括：
第一种：两个不同的传感器均为陀螺式传感器。通过陀螺式传感器直接测量电子设备发生旋转运动时的角速度信息。
第二种：两个不同的传感器均为位姿式传感器。通过位姿式传感器先获取电子设备发生旋转运动时的位姿旋转矩阵信息，再通过位姿旋转矩阵信息计算得到电子设备发生旋转运动时的角速度信息。
第三种：两个不同的传感器中一个为位姿式传感器，另一个为陀螺式传感器。位姿式传感器获取角速度信息包括：通过位姿式传感器先获取电子设备发生旋转运动时的位姿旋转矩阵信息，再通过位姿旋转矩阵信息计算得到电子设备发生旋转运动时的角速度信息。陀螺式传感器获取角速度信息包括：通过陀螺式传感器直接测量电子设备发生旋转运动时的角速度信息。
示例性地，陀螺式传感器包括惯性传感器、磁力传感器和轮式里程传感器，位姿式传感器包括视觉传感器和激光雷达传感器，本公开实施例这里不作限制。
S102、通过对两个不同的传感器各自获取的两个角速度信息进行对齐处理，确定两个不同传感器之间的延时时间信息。
本公开实施例中，由于不同传感器的数据获取频率是不同的，因此，在电子设备获取两个不同传感器的角速度信息之后，需要对两个不同传感器各自获取的两个角速度信息进行对齐处理，确定两个不同传感器之间的延时时间信息。
需要说明的是，本公开实施例中对两个角速度信息进行对齐处理在于使两个不同传感器各自获取的角速度信息在频率上是一致的，如此，便可以基于对齐后的两个角速度信息，确定两个不同传感器之间的延时时间信息。
本公开实施例中，可以通过对两个不同的传感器各自获取的两个角速度进行插值处理，以对齐两个不同传感器各自获取的两个角速度信息。
示例性地，插值处理包括线性插值、三次样条插值和球面插值，本公开实施例这里不作限制。
S103、根据延时时间信息对两个不同的传感器各自的测量结果进行时间同步处理。
本公开实施例中，电子设备在确定两个不同传感器之间的延时时间信息之后，可以根据延时时间信息对两个不同传感器各自的测量结果进行时间同步处理。
需要说明的是，电子设备对两个不同传感器各自的测量结果进行时间同步处理为确定同一时刻的两个不同传感器各自的测量结果，从而可以解决不同传感器存在的触发延时和传输延时导致的时间同步精确低的问题。
本公开实施例中，两个不同传感器各自的测量结果为电子设备发生运动时，该两个不同传感器各自测量电子设备运动而得到的测量结果。
示例性地，电子设备通过传感器测量得到的测量结果可以包括角速度信息、方位角信息和加速度信息。例如，惯性传感器的测量信息可以为电子设备发生旋转运动的角速度信息和加速度信息；磁力传感器的测量信息可以为电子设备发生旋转运动的方位角信息，本公开实施例这里不做限制。
在一种实施例中，电子设备上设置有三个以上的传感器，且该三个以上的传感器之间是刚性连接的；通过该三个以上的传感器获取电子设备发生旋转运动时的角速度信息；通过对三个以上不同的传感器各自获取的角速度信息进行对齐处理，确定三个以上不同的传感器之间的延时时间信息；根据延时时间信息，对三个以上不同的传感器各自的测量结果进行时间同步处理。
需要说明的是，当电子设备中设置有两个传感器时，那么通过该两个传感器之间的延时时间，便可以对两个不同的传感器各自的测量结果进行时间同步处理，以实现两个传感器的时间同步。
当电子设备中设置有三个以上的传感器时，那么将三个以上传感器进行两两组合，以获取任意两个传感器之间的延时时间信息，再通过该延时时间信息对同一时刻任意两个不同传感器各自的测量结果进行时间同步处理，以实现三个以上的传感器的时间同步处理。
可以理解的是，本公开实施例中电子设备不仅可以实现两个不同的传感器对应的各自测量结果的时间同步处理，还可以实现三个以上传感器对应的各自测量结果的时间同步处理。
示例性地，当电子设备设置的两个不同传感器为视觉传感器和惯性传感器时，可以通过获取的视觉传感器和惯性传感器之间的延时时间信息，确定位于同一时刻的视觉传感器的测量结果和惯性传感器的测量结果，实现视觉传感器的测量结果和惯性传感器的测量结果的时间同步处理；
当电子设备设置的三个传感器为视觉传感器、惯性传感器和激光雷达传感器时，可以预先确定位于同一时刻的视觉传感器的测量结果和惯性传感器的测量结果，实现视觉传感器的测量结果和惯性传感器的测量结果的时间同步处理；再确定位于同一时刻的视觉传感器的测量结果和激光雷达传感器的测量结果，实现视觉传感器的测量结果和激光雷达传感器的测量结果的时间同步处理，如此，通过两次测量结果的时间同步处理，便可以实现视觉传感器、惯性传感器和激光雷达传感器这三个传感器之间的测量结果的时间同步。
需要说明的是，上述仅仅以视觉传感器、惯性传感器和激光雷达传感器进行举例，并不用来限制本公开实施例。
为了能够更加清楚的呈现两个不同传感器的测量结果在同步之前和同步之后的差别，下面以两个不同传感器中的一个传感器为视觉传感器，另一个传感器为惯性传感器，测量结果为角速度信息为例，对本公开实施例中时间同步处理进行说明。
图4为本公开实施例中示例性地视觉传感器的角速度信息和惯性传感器的角速度信息之间存在时间延时的示意图。图5为本公开实施例中示例性地视觉传感器的角速度和惯性传感器的角速度同步后的示意图。如图4和图5所示，虚线表示为视觉传感器的角速度，实线表示为惯性传感器的角速度。
从图4可以看出，视觉传感器的角速度曲线与惯性传感器的角速度曲线错开，而且视觉传感器的角速度曲线是滞后的。通过视觉传感器和惯性传感器之间的延时时间信息，对视觉传感器的角速度进行同步后，从图5可以看出，视觉传感器的角速度曲线与惯性传感器的角速度曲线是对齐的，没有错开，从而能够根据确定的延时时间信息，实现视觉传感器与惯性传感器之间的角速度信息的时间同步处理。
本公开实施例中，电子设备在获取两个不同传感器之间的延时时间信息之后，可以直接根据延时时间信息对两个不同的传感器各自的测量结果进行时间同步处理。
示例性地，当电子设备设置的两个不同传感器为视觉传感器和惯性传感器时，可以在电子设备运动过程中，通过获取的视觉传感器和惯性传感器之间的延时时间信息，对两个不同的传感器各自的测量结果进行时间同步处理，即在电子设备处于运动状态时进行在线时间同步处理。
当然，本公开实施例也可以将确定的延时时间信息不进行在线时间同步处理，而是存储下来，以便于在待需要时进行离线时间同步处理。
在一种实施例中，在通过对两个不同的传感器各自获取的两个角速度信息进行对齐处理，确定两个不同传感器之间的延时时间信息之后，电子设备还可以存储延时时间信息；在电子设备处于非运动状态的情况下，根据存储的延时时间信息，对两个不同的传感器各自的测量结果进行时间同步处理。
也就是说，本公开实施例的电子设备既可以进行在线时间同步，还可以进行离线时间同步，其时间同步更加灵活。同时，本公开实施例中的时间同步均无需借助标定参照物，如棋盘格图像，其时间同步更加方便简单，普适性强。
本公开实施例要求电子设备能够发生旋转运动即要求电子设备最少只需要绕一轴的旋转，便可标定电子设备上不同传感器之间的延时时间信息，而无需必须要求绕多轴的运动，降低了不同传感器时间同步的复杂度，能够适应不同场景的需求；与此同时，本公开实施例也可以基于电子设备绕多轴旋转产生的旋转运动来标定延时时间，如此能够得到更加丰富的旋转信息，以提高时间同步的精确度；本公开实施例要求传感器能够独立获取角速度，便可以确定不同传感器之间的延时时间信息，能够广泛的用于多种传感器之间的时间同步，具有普遍适应性；本公开实施例是基于软件来实现时间同步的方法，无需额外部署用于时间同步的专用硬件；本公开实施例根据实时获取的延时时间信息进行时间同步，能够在线进行时间同步处理；本公开实施例通过电子设备发生旋转运动时获取的角速度信息确定延时时间信息，不再是将延时时间信息当作常数处理，提高了时间同步的精确度。
图6为本公开实施例提供一种时间同步处理方法的实现流程示意图二，如图6所示，在本公开实施例中，电子设备通过对两个不同的传感器各自获取的两个角速度信息进行对齐处理，确定两个不同传感器之间的延时时间信息，即S102，可以包括S102a和S102b，如下：
S102a、对两个不同的传感器中的至少之一进行插值处理，以对齐两个不同传感器各自获取的两个角速度信息。
本公开实施例中，不同类型传感器的插值处理与相同类型传感器的处理可能不同。因此，可基于两个传感器的不同类型，对两个传感器各自获取的角速度信息进行插值处理，以对齐两个不同传感器各自获取的两个角速度信息。
例如，当两个不同的传感器均为陀螺式传感器时，对两个陀螺式传感器各自获取的两个角速度信息中的至少之一进行插值处理，以对齐两个不同传感器各自获取的两个角速度信息。
又例如，当两个不同的传感器均为位姿式传感器时，对两个位姿式传感器各自获取的两个位姿旋转矩阵信息中的至少之一进行插值处理，以对齐两个不同传感器各自获取的两个角速度信息。
再例如，当两个不同的传感器分别为位姿式传感器和陀螺式传感器时，对位姿式传感器获取的位姿旋转矩阵信息进行插值处理，以对齐两个不同传感器各自获取的两个角速度信息。
本公开实施例中，在两个不同的传感器为相同类型的传感器，如均为陀螺式传感器或者均为位姿式传感器时，可以对两个不同的传感器各自获取的两个角速度信息中的至少之一进行插值处理，或者对两个不同的传感器各自获取的两个角位姿旋转矩阵信息的至少之一进行插值处理。
需要说明的是，对两个不同的传感器中的至少之一进行插值处理包括对两个传感器进行插值处理和对两个传感器中的一个传感器进行插值处理。
在一种实施例中，对两个传感器进行插值处理包括：选取一个数据获取频率作为标准数据获取频率，根据该标准数据获取频率对两个传感器获取的角速度信息进行插值处理。其中，该标准数据获取频率，可以在两个传感器的各自数据获取频率之间或者高于两个传感器的各自数据获取频率。
示例性地，如果两个传感器的数据获取频率分别为10Hz和15Hz，则可以选取高于该两个传感器的数据获取频率作为标准数据获取频率，如标准数据获取频率为17Hz。当然，也可以选取介于两个传感器的数据获取频率之间的频率作为标准数据获取频率，如标准数据获取频率为13Hz。
如果选取的标准数据获取频率为13Hz，那么根据标准数据获取频率对两个传感器获取的角速度信息进行插值处理，即为使第一传感器的角速度获取频率和第二传感器的角速度获取频率分别与标准获取频率相同，均为13Hz。如此，能够解决由于不同传感器数据获取频率不一致导致数据处理存在的偏差的问题，有助于基于对齐后的角速度信息得到更加精确地延时时间信息。
在一种实施例中，两个传感器为第一传感器和第二传感器，第一传感器的数据获取频率高于第二传感器的获取数据的频率；对两个传感器中的一个传感器进行插值处理包括：根据第一传感器的数据获取频率，对第二传感器获取的角速度信息进行插值处理。
示例性地，如果第一传感器的数据获取频率为15Hz，第二传感器的数据获取频率为10Hz，那么电子设备可以根据第一传感器的数据获取频率15Hz，对第二传感器获取的角速度信息进行插值，即第一传感器的角速度获取频率与第二传感器的角速度信息获取频率相同，均为15Hz。如此，解决了由于不同传感器数据获取频率不一致导致数据处理存在的偏差的问题，有助于基于对齐后的角速度信息得到更加精确地延时时间信息。
在一种实施例中，当电子设备上的两个不同的传感器分别为位姿式传感器和陀螺式传感器时，对位姿式传感器获取的位姿旋转矩阵信息进行插值处理，以对齐两个不同传感器各自获取的两个角速度信息，可以包括S01、S02和S03，如下：
S01、从位姿旋转矩阵信息中，获取相邻的位姿旋转矩阵信息。
本公开实施例中，电子设备在获取位姿旋转矩阵信息之后，可以从位姿旋转矩阵信息中，获取相邻的位姿旋转矩阵信息。
需要说明的是，电子设备中位姿式传感器在预设时间段内发生旋转运动时的位姿旋转矩阵信息为多个位姿旋转矩阵信息。
示例性地，当位姿式传感器为视觉传感器时，电子设备可以获取相邻帧图像的位姿旋转矩阵信息，当位姿式传感器为激光雷达传感器时，电子设备通过激光雷达传感器可以单独的获取在预设时间段内的位姿旋转矩阵信息，用于估计电子设备的旋转运动。
S02、根据陀螺式传感器获取角速度信息的频率，对相邻的位姿旋转矩阵信息进行插值处理，获取插值后的旋转矩阵信息。
本公开实施例中，电子设备在获取相邻的位姿旋转矩阵信息之后，可以根据相邻的位姿旋转矩阵信息，获取插值后的旋转矩阵信息。
需要说明的是，在根据相邻的位姿旋转矩阵信息，获取插值后的旋转矩阵信息的过程中可以构建插值模型，进而通过插值模型和相邻的位姿旋转矩阵信息，获取插值后的旋转矩阵信息。
可以理解的是，插值模型用于通过相邻的位姿旋转信息在有限个点处的取值状况，估算出相邻位姿旋转信息之间的其他相邻位姿旋转信息。
示例性地，该插值模型可以包括球面线性插值(Spherical LinearInterpolation)模型、三次样条插值(Cubic Spline Interpolation)模型和最邻近插值模型，本公开实施例这里不作限制。
S03、对插值后的旋转矩阵信息进行微分处理，获取位姿式传感器对应的角速度信息，以对齐姿态式传感器和陀螺式传感器各自获取的两个角速度信息。
本公开实施例中，电子设备在获取插值后的旋转矩阵信息之后，可以根据几何方式对插值后的旋转矩阵信息进行微分处理，获取位姿式传感器对应的角速度信息。
需要说明的是，在对插值后的旋转矩阵信息进行微分处理，获取位姿式传感器对应的角速度信息的过程中可以构建微分模型。通过构建的微分模型和插值后的旋转矩阵信息，获取位姿式传感器对应的角速度信息。
示例性地，微分模型为公式(1)。
Figure BDA0002103725640000181
其中，q(t)'为微分位姿旋转矩阵信息，w为第二子角速度信息，q(t)为插值后的位姿旋转矩阵信息。
需要说明的是，本公开实施例中的预设微分模型是用于表征角速度信息的模型。在一些可能的实现方式中，该微分模型可以是四元数微分模型或其他数学表达形式的模型，本公开实施例这里不作限定。
S102b、根据对齐后的两个角速度信息，确定两个不同传感器之间的延时时间信息。
本公开实施例中，考虑到电子设备发生旋转运动过程，不同传感器在同一时刻获取的角速度信息是相同的，因此，电子设备可以根据对齐后的两个角速度信息，确定两个不同传感器之间的延时时间信息。
需要说明的是，电子设备根据对齐后的两个角速度信息，确定两个不同传感器之间的延时时间信息的过程中可以先构建误差模型，再根据对齐后的两个角速度信息和该误差模型，确定两个不同传感器之间的延时时间信息。
本公开实施例中，在构建误差模型过程中，由于不同传感器对应不同的坐标轴，而在比较不同传感器之间的角速度信息时要求在同一个坐标系对应的坐标轴下，因此，在构建误差模型时，引入了两个不同传感器各自对应的不同坐标轴之间的旋转参数，以使得同一时刻的两个不同传感器的角速度信息在同一坐标轴下。
又考虑到不同传感器获取角速度信息存在偏差，因此，在构建误差模型时，引入两个传感器之间的误差参数，使得通过误差模型确定的延时时间信息能够更加精确。
示例性地，误差模型可以如公式(2)：
f(Q12,td,bg)＝||w1(t)-[Q12w2(t+td)-bg]||2………………………(2)
其中，Q12为两个不同传感器各自对应的不同坐标轴之间的旋转参数；td为两个不同传感器之间的延时时间信息；bg为两个传感器之间的误差参数，w1(t)和w2(t)分别为同一时刻t的两个不同传感器各自获取的角速度信息，f(Q12,td,bg)为角速度之间的误差。
在一种实施例中，在通过对两个不同的传感器各自获取的两个角速度信息进行对齐处理，确定两个不同传感器之间的延时时间信息之后，电子设备还可以通过对两个不同的传感器各自获取的两个角速度信息进行对齐处理，确定两个传感器之间的外参，外参包括两个不同传感器各自对应的不同坐标轴之间的旋转参数和两个传感器之间的误差参数。
本公开实施例中，本申请通过对齐后的两个角速度信息，不仅可以获取延时时间信息，还可以获取两个传感器之间的旋转参数和误差参数，使得电子设备的功能更加丰富。
图7为本公开实施例提供一种时间同步处理方法的实现流程示意图三，如图7所示，电子设备根据对齐后的两个角速度信息，确定两个不同传感器之间的延时时间信息，即步骤S102b，可以包括S102b1、S102b2和S102b3，如下：
S102b1、根据对齐后的两个角速度信息，确定两个不同传感器发生旋转运动时的不同时刻对应的子误差方程。
本公开实施例中，电子设备在对齐两个不同传感器各自获取的两个角速度信息之后，可以根据对齐后的两个角速度信息，确定两个不同传感器发生旋转运动时的不同时刻对应的子误差方程。
需要说明的是，预设时间段内不同时刻n可以根据实际情况进行预设设置，如可以在预设时间段内设置15个时刻或者设置20个时刻，进而得到对应时刻的子误差方程，本公开实施例这里不作限制。
示例性地，如果时刻1对应的不同传感器的角速度信息为w1(1)和w2(1+td)；时刻2对应的不同传感器的角速度信息为w1(2)和w2(2+td)，依次类推，时刻n对应的不同传感器的角速度信息为w1(n)和w2(n+td)，则当误差模型为公式(2)时，其对应的不同时刻n对应的子误差方程为：
时刻1对应的子误差方程为公式(3)：
f(1)＝||w1(1)-[Q12w2(1+td)-bg]||2………………………(3)
时刻2对应的子误差方程为公式(4)：
f(2)＝||w1(2)-[Q12w2(2+td)-bg]||2………………………(4)
依次类推，时刻n对应的子误差方程为公式(5)：
f(n)＝||w1(n)-[Q12w2(n+td)-bg]||2………………………(5)
S102b2、对不同时刻对应的子误差方程求和，得到最终误差方程。
本公开实施例中，在电子设备确定两个不同传感器发生旋转运动时的不同时刻对应的子误差方程之后，对不同时刻对应的子误差方程求和，得到最终误差方程。
需要说明的是，本公开实施例是通过求取不同时刻的累计误差以获取延时时间信息，进而需要对不同时刻对应的子误差方程求和得到最终误差方程。
示例性地，当不同时刻对应的子误差方程分别为上述公式(3)、公式(4)和公式(5)时，则对应的最终误差方程为公式(6)：
f(Q12、td、bg)＝f(1)+f(2).....+f(n)……………………(6)
S102b3、对最终误差方程进行最小值处理，得到延时时间信息。
本公开实施例中，电子设备在对不同时刻对应的子误差方程求和，得到最终误差方程之后，可以对最终误差方程进行最小值处理，得到延时时间信息。
需要说明的是，电子设备的最小值处理是为了使得最终误差方程值最小，进而估计出误差模型中的延时时间信息、旋转参数和传感器之间的误差参数。
示例性地，电子设备对最终误差方程进行最小值处理可以通过非线性化模型或者迭代最近点模型，来对最终误差方程进行最小值处理。
本公开实施例中，电子设备对最终误差方程进行最小值处理，得到延时时间信息的过程为：对最终误差方程进行迭代最近点处理，得到第二最小化方程；对第二最小化方程的求解，直到满足预设第二阈值的情况下，获取第二最小化方程中的延时时间信息。
需要说明的是，电子设备对最终误差方程进行迭代最近点处理，得到第二最小化方程时，可以设置延时时间在预设时间段之间。例如，可以用黄金分割法选定一个延时时间，再代入误差模型，这时，得到的误差项就只有旋转参数和传感器之间的误差参数这个两个未知数了，这里可以再通过迭代最近点处理，便可以获取旋转参数和传感器之间的误差参数。
示例性地，假设延时时间信息在[-1,1]之间，用黄金分割法选定一个延时时间为0.3，此时，得到的第二最小化方程为公式(7)：
Figure BDA0002103725640000211
其中，f(Q12,bg)为角速度之间的误差，n为最邻近点对的个数，Q12为两传感器之间的旋转矩阵bg为传感器之间的误差参数，wi1(t)和wi2(t)分别为两个传感器分别对应的角速度中点云中的一点。
本公开实施例中，电子设备对最终误差方程进行最小值处理，得到延时时间信息的过程还可以为：对最终误差方程进行非线性优化处理，得到第一最小化方程；对第一最小化方程的求解，直到满足预设第一阈值的情况下，获取第一最小化方程中的延时时间信息。
需要说明的是，由于最终误差方程为非线性函数，需要对其进行泰勒展开，通过对最终误差方程进行最小化迭代，寻找满足预设第一阈值时对应的延时时间信息，从而使得最终误差方程下降到最小值。
本公开实施例中，对最终误差方程进行非线性优化处理，得到第一最小化方程的过程中可以构建非线性优化模型。基于最终误差方程和非线性优化模型，确定第一最小化方程。
示例性地，预设非线性优化模型可以包括高斯牛顿(Gauss-Newton)算法模型或者莱文贝格－马夸特(Levenberg-Marquardt)算法模型，第一阈值可以根据用户实际需要进行设定，如为0.1或者0.01，本公开实施例这里不作限制。
本公开实施例中，对第一最小化方程的求解，直到满足预设第一阈值时，获取第一最小化方程中的延时时间信息，包括：
当确定是第一次确定延时时间时信息，根据预设初始变量值和预设非线性优化模型，获取当前变量值；根据初始变量值、当前变量值和第一最小化方程，确定最小化方程的当前求解值，当该当前求解值满足预设第一阈值时，获取第一最小化方程中的延时时间信息。
需要说明的是，第一最小化方程是由相邻变量值对应的最终误差方程构成，如，第一最小化方程可以为公式(8)。
e＝f(xk+1)-f(xk)………………………………(8)
其中，xk+1为当前变量值，xk为初始变量值，e为最小化方程的当前求解值。
当确定是非第一次确定延时时间信息，获取上一次变量值；根据上一次变量值和预设非线性优化模型，获取当前变量值；根据上一次变量值、当前变量值和第一最小化方程，确定最小化方程的当前求解值，当该当前求解值满足预设第一阈值时，获取第一最小化方程中的延时时间信息。
需要说明的是，当该当前求解值不满足预设第一阈值时，需要根据当前变量值和预设非线性优化模型，获取下一个变量值；根据下一次变量值、当前变量值和第一最小化方程，确定最小化方程的下一次求解值，并依次判断该下一次求解值是否满足预设第一阈值，直到当下一次求解值满足该预设第一阈值时，迭代结束，确定第一最小化方程中的延时时间信息。
本公开实施例中，电子设备通过对最终误差方程进行最小化处理得到延时时间信息的同时，还可以得到旋转参数和传感器偏差参数，如此，通过得到的旋转参数能够使得不同坐标系的测量信息转化到同一个坐标系中。
在一种实施例中，电子设备在所述根据所述延时时间信息对所述两个不同的传感器各自的测量结果进行时间同步处理之后，电子设备还对同步后的测量结果进行融合处理；根据融合处理的结果对电子设备执行以下至少之一的操作：定位处理、测距处理、电子设备所在场景的目标检测、生成或者更新地图。
本公开实施例中，对同步后的两个测量进行融合处理包括：对位于同一时刻的两个测量结果进行分析和综合，以得到可靠的融合处理的结果。
示例性地，将融合处理的结果应用于定位处理过程中，可以实现对电子设备的精确定位；将融合处理的结果应用于测距处理过程中，可以提高测量精度；将融合处理的结果应用于电子设备所在场景的目标检测过程中，可以得到精确的目标检测结果；将融合处理结果应用于生成或者更新地图过程中时，可以得到精确的地图。
本公开实施例中，电子设备对同步后的测量结果进行融合的过程中，可以构建融合算法模型，以得到精确的融合处理结果。
示例性地，融合算法模型可以包括卡尔曼滤波融合算法模型和聚类分析识别算法模型，本公开实施例这里不做限制。
在一种实施例中，可以采用卡尔曼滤波融合算法模型对同步后的测量结果进行融合处理，包括：利用电子设备设置的两个不同传感器的测量结果进行状态传播，从而可以由上一个时刻的第一测量结果的位姿估计得到当前时刻位姿的估计，再利用当前时刻的第二测量结果作为观测信息，对当前时刻位姿的初步估计进行校正，从而得到当前时刻位姿的一个最优的估计，该最优的估计即为融合处理结果。
需要说明的是，本公开实施例中的时间同步处理方法同样可以适用于三个以上的传感器。当电子设备设置有三个以上的传感器时，获取每两个传感器之间的延时时间信息，基于该延时时间信息，对每个传感器的测量结果进行融合处理，以得到融合处理的结果。
可以理解的是，与只有两个传感器对应的测量结果进行融合相比，通过对三个以上的传感器对应的测量结果进行融合处理能够使得更加精确的测量结果。
图8为本公开实施例提供一种时间同步处理方法的实现流程示意图四，如图8所示，本公开实施例中，电子设备上设置的两个不同的传感器为视觉传感器和惯性传感器，电子设备实现时间同步处理方法可以包括以下步骤：
S201、通过惯性传感器，获取电子设备发生旋转运动时的第一角速度信息。
本公开实施例中，电子设备上的惯性传感器可以独立获取角速度信息，其包括有陀螺单元，能够通过惯性传感器的陀螺单元，获取电子设备发生旋转运动时的角速度信息。
需要说明的是，惯性传感器是测量电子设备的三轴姿态角(或角速率)以及加速度的传感器，该惯性传感器除了包括陀螺单元，还可以包括加速度单元，其中，加速度单元检测电子设备在其坐标的三轴的加速度信息。
S202、通过视觉传感器，获取电子设备发生旋转运动时的位姿旋转矩阵信息。
本公开实施例中，电子设备上的视觉传感器可以独立获取位姿旋转矩阵信息，其包括有位姿估计单元，能够通过视觉传感器的位姿估计单元，获取电子设备发生旋转运动时的位姿旋转矩阵信息。
需要说明的是，视觉传感器主要由一个或者两个图形传感器组成，还要配以光投射器及其他辅助设备，其可以通过获取在预设时间段内原始图像，并将获取的图像与内存中基准进行比较和分析，从而得到位姿旋转矩阵信息，进而解算出电子设备的位姿旋转矩阵信息。
示例性地，电子设备可以通过四元数表示电子设备的旋转运动；还可以通过三维旋转群表示电子设备的旋转运动，本公开实施例这里不作限制。
S203、根据位姿旋转矩阵信息，获取视觉传感器对应的第二角速度信息，以对齐视觉传感器的第二角速度信息和惯性传感器的第一角速度信息。
本公开实施例中，由于视觉传感器通常图像频率为10Hz，而惯性传感器的频率为100Hz，那么视觉传感器两帧图像之间就有接近于10个惯性传感器测量的第一角速度信息，因此，能够对视觉传感器的位姿旋转矩阵信息进行插值处理，以使得视觉传感器与惯性传感器的频率一致，进而通过插值后的位姿旋转矩阵信息获取得到的第二角速度信息，能够与第一角速度信息对齐。
需要说明的是，基于旋转运动的不同表示形式，其要求构建的插值模型也是不同，如，对于四元数表示的电子设备的旋转运动，可以通过构建球面线性插值模型，对该位姿旋转矩阵进行插值处理；对于三维旋转群表示电子设备的旋转运动，可以通过构建三次样条插值模型和最邻近插值模型，对该位姿旋转矩阵信息进行插值处理。
对于采用四元数表示电子设备的旋转运动，则要求通过四个参数来表示三维旋转；对于采用三维旋转群表示电子设备的旋转运动，则要求九个参数来表示三维旋转，可见，采用三维旋转群表示电子设备的旋转运动，其对应的计算过程复杂。
下面以四元数表示电子设备的旋转运动，以球面线性插值模型为例对视觉传感器的位姿旋转矩阵信息的插值处理过程进行举例说明。
示例性的，四元数是由实数加虚数组成的，如公式(9)：
q(e0,e1,e2,e3)＝e0+e1i+e2j+e3k (9)
其中，e0、e1、e2、e3是实数，i、j、k是相互正交的虚数单位，q为用四元数表示的位姿旋转矩阵信息。
利用四元数表示位姿旋转矩阵信息的方式包括三角式和指数式，其中指数式表达为公式(10)。
q＝ewt/2 (10)
其中，w为角速度，t为时刻，q为四元数的指数映射表示的位姿旋转矩阵信息。
示例性，构建的球面插值模型为公式(11)。
Figure BDA0002103725640000251
其中，q0和q1分别为相邻的姿态旋转矩阵，q(t)为对姿态旋转矩阵进行球面插值处理得到插值后的位姿旋转矩阵信息。
可以理解的是，根据姿态旋转矩阵信息q0和q1以及球面插值模型，可以获取插值后的位姿旋转矩阵信息。
示例性的，图9为本公开实施例采用四元数表示位姿式传感器测量位姿旋转矩阵信息的示意图一，如图9所示，电子设备连续运动从上一时刻旋转到当前时刻，也即从实线圆旋转到虚线圆。图10为本公开实施例采用四元数表示位姿式传感器测量位姿旋转矩阵信息的示意图二，如图10所示，为从图9中摘出来的虚线框的平面视图，q0和q1分别为相邻的姿态旋转矩阵，q(t)为对姿态旋转矩阵进行球面插值处理得到插值后的位姿旋转矩阵信息，旋转的角度为△θ，t为时间，为0≤t≤1。
本公开实施例中，在根据插值后的位姿旋转矩阵信息获取第二角速度信息的过程中，可以构建微分模型，再根据插值后的位姿旋转矩阵信息和微分模型，获取视觉传感器对应的角速度信息。该微分模型如公式(1)。
可以理解的是，电子设备通过位姿旋转矩阵信息先插值处理，再微分处理，便可以间接得获取第二角速度信息，如此，能够适应较多传感器之间的时间同步，具备普遍适用性。
S204、根据第一角速度信息和第二角速度信息，确定视觉传感器与惯性传感器之间的延时时间信息。
本公开实施例中，电子设备在获取第一角速度信息和第二角速度信息之后，还可以根据第一角速度信息和第二角速度信息，确定视觉传感器与惯性传感器之间的延时时间信息。
可以理解的是，通过第一角速度信息和第二角速度信息，不仅可以求解出视觉传感器和惯性传感器之间的延时时间信息，还可以求解出旋转参数和传感器之间的误差参数。
S205、根据延时时间信息，对视觉传感器的测量结果和惯性传感器的测量结果进行时间同步处理。
本公开实施例要求电子设备能够发生旋转运动即要求电子设备最少只需要绕一轴的旋转，便可标定电子设备上不同传感器之间的延时时间信息，而无需必须要求绕多轴的运动，降低了不同传感器时间同步的复杂度，能够适应不同场景的需求；与此同时，本公开实施例也可以基于电子设备绕多轴旋转产生的旋转运动来标定延时时间，如此能够得到更加丰富的旋转信息，以提高时间同步的精确度；本公开实施例要求传感器能够独立获取角速度，便可以确定不同传感器之间的延时时间信息，能够广泛的用于多种传感器之间的时间同步，具有普遍适应性；本公开实施例是基于软件来实现时间同步的方法，无需额外部署用于时间同步的专用硬件；本公开实施例根据实时获取的延时时间信息进行时间同步，能够在线进行时间同步处理；本公开实施例通过电子设备发生旋转运动时获取的角速度信息确定延时时间信息，不再是将延时时间信息当作常数处理，提高了时间同步的精确度。
并且，本公开实施例提供的一种时间同步处理方法能够应用于无人驾驶或者移动机器人导航中，当在无人驾驶或者移动机器人导航过程中，该无人驾驶电子设备或者移动机器人电子设备能够通过本公开实施例提供的时间同步处理方法实现精确的定位。
此外，本公开实施例仅仅是以视觉传感器和惯性传感器进行举例来说明电子设备实现时间同步处理方法的过程，本公开实施例提供的一种时间同步处理方法并不局限于视觉传感器和惯性传感器这两个传感器之间，还可以适用于其他传感器，只要其他传感器能够独立获取角速度信息和位姿旋转矩阵信息即可。同时，本公开实施例还可以适用于包括三个以上传感器的电子设备，即上述时间同步方法同样适应于三个以上传感器的电子设备中。
本公开实施例所提供的几个方法实施例中所揭露的方法，在不导致执行逻辑错误或悖论的前提下可以任意组合，得到新的方法实施例。
在上述时间同步处理方法的实现基础上，本公开实施例提供一种时间同步处理装置，图11为本公开实施例提供的一种时间同步处理装置的组成结构示意图，如图11所示，时间同步处理装置300包括第一获取模块301、对齐模块302和同步模块303，其中，
第一获取模块301，用于通过两个不同的传感器获取电子设备发生旋转运动时的角速度信息；
对齐模块302，用于通过对所述两个不同的传感器各自获取的两个角速度信息进行对齐处理，确定所述两个不同传感器之间的延时时间信息；
同步模块303，用于根据所述延时时间信息对所述两个不同的传感器各自的测量结果进行时间同步处理。
本公开实施例的时间同步处理装置，要求能够发生旋转运动即要求置最少只需要绕一轴的旋转，便可标定不同传感器之间的延时时间信息，而无需必须要求绕多轴的运动，降低了不同传感器时间同步的复杂度，能够适应不同场景的需求；与此同时，本公开实施例也可以基于多轴旋转产生的旋转运动来标定延时时间，如此能够得到更加丰富的旋转信息，以提高时间同步的精确度；本公开实施例要求传感器能够独立获取角速度，便可以确定不同传感器之间的延时时间信息，能够广泛的用于多种传感器之间的时间同步，具有普遍适应性；本公开实施例是基于软件来实现时间同步的方法，无需额外部署用于时间同步的专用硬件；本公开实施例根据实时获取的延时时间信息进行时间同步，能够实现在线时间同步处理；本公开实施例通过发生旋转运动时获取的角速度信息确定延时时间信息，不再是将延时时间信息当作常数处理，提高了时间同步的精确度。
在其他实施例中，第一获取模块301，具体用于通过所述位姿式传感器获取所述电子设备发生旋转运动时的位姿旋转矩阵信息；通过所述位姿旋转矩阵信息获取所述电子设备发生旋转运动时的角速度信息，其中，所述两个不同的传感器中的至少之一为位姿式传感器。
本公开实施例的时间同步装置，能够通过位姿式传感器间接的获取角速度信息，以进一步基于该角速度信息确定时间延时，实现不同传感器的时间同步。如此，能够广泛的用于多种传感器之间的时间同步，具有普遍适应性。
示例性地，位姿式传感器包括视觉传感器和激光雷达传感器，本公开实施例这里不作限制。
在其他实施例中，第一获取模块301，具体用于通过所述陀螺式传感器获取所述电子设备发生旋转运动时的角速度信息，其中，所述两个不同的传感器中的至少之一为陀螺式传感器。
本公开实施例的时间同步装置，能够通过陀螺式传感器直接测量得到角速度信息，以进一步基于该角速度信息确定时间延时，实现不同传感器的时间同步。如此，能够广泛的用于多种传感器之间的时间同步，具有普遍适应性。
示例性地，陀螺式传感器包括惯性传感器、磁力传感器和轮式里程传感器，本公开实施例这里不作限制。
在其他实施例中，对齐模块302包括：
第一对齐模块302a，用于对所述两个不同的传感器中的至少之一进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息；
第二对齐模块302b，根据对齐后的两个角速度信息，确定所述两个不同传感器之间的延时时间信息。
本公开实施例的时间同步装置，先对齐两个不同传感器各自获取的两个角速度信息，再根据对齐后的两个角速度信息确定延时时间信息，使得两个角速度的获取频率一致，进而能够得到更加精确地延时时间信息。
示例性地，插值处理包括线性插值、三次样条插值和球面插值，本公开实施例这里不作限制。
在其他实施例中，第一对齐模块302a，具体用于当所述两个不同的传感器均为陀螺式传感器时，对所述两个陀螺式传感器各自获取的两个角速度信息中的至少之一进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息。
在其他实施例中，第一对齐模块302a，具体用于当所述两个不同的传感器均为位姿式传感器时，对所述两个位姿式传感器各自获取的两个位姿旋转矩阵信息中的至少之一进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息。
在其他实施例中，第一对齐模块302a，具体用于当所述两个不同的传感器分别为位姿式传感器和陀螺式传感器时，对所述位姿式传感器获取的位姿旋转矩阵信息进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息。
本公开实施例的时间同步装置，基于两个不同的传感器均为陀螺式传感器、均为位姿式传感器或者分别为位姿式传感器和陀螺式传感器，进行不同的插值处理，以对齐两个不同传感器各自获取的两个角速度信息。如此，给出了实现两个角速度信息对齐的具体实现方式，能够应用于不同组合情况的两个传感器，具有普适性。
在其他实施例中，时间同步处理装置300还包括：
第二获取单元304，用于通过对所述两个不同的传感器各自获取的两个角速度信息进行对齐处理，确定所述两个传感器之间的外参，所述外参包括所述两个不同传感器各自对应的不同坐标轴之间的旋转参数和所述两个传感器之间的误差参数。
本公开实施例的时间同步处理装置，通过对两个不同的传感器各自获取的两个角速度信息进行对齐处理，不仅可以获取延时时间信息，还可以获取两个传感器之间的旋转参数和误差参数，使得电子设备的功能更加丰富。
在其他实施例中，时间同步处理装置300还包括：
第三获取单元305，用于存储所述延时时间信息；在所述电子设备处于非运动状态的情况下，根据存储的所述延时时间信息，对所述两个不同的传感器各自的测量结果进行时间同步处理。
本公开实施例的时间同步处理装置，既可以在运动过程中基于得到的延时时间信息进行在线时间同步，还可以将延时时间存储下来进行离线时间同步，其时间同步更加灵活。同时，该时间同步无需借助标定参照物，如棋盘格图像，其时间同步更加方便简单，普适性强。
在其他实施例中，第二对齐模块302b包括：
第四获取模块302b1，用于根据所述对齐后的两个角速度信息，确定所述两个不同传感器发生旋转运动时的不同时刻对应的子误差方程；
第五获取模块302b2，用于对所述不同时刻对应的子误差方程求和，得到最终误差方程；
第六获取模块302b3，用于对所述最终误差方程进行最小值处理，得到所述延时时间信息。
本公开实施例的时间同步处理装置，通过构建两个不同传感器发生旋转运动时的不同时刻对应的子误差方程，再对求和得到的最终误差方程进行最小值处理，得到延时时间信息，能够基于累计误差的处理，得到最优的处理结果，以得到更加精确的延时时间信息。
在其他实施例中，第六获取模块302b3，具体用于对所述最终误差方程进行非线性化处理，得到第一最小化方程；对所述第一最小化方程的求解，直到满足预设第一阈值的情况下，获取所述第一最小化方程中的所述延时时间信息。
在其他实施例中，第六获取模块302b3，具体用于对所述最终误差方程进行迭代最近点处理，得到第二最小化方程；对所述第二最小化方程的求解，直到满足预设第二阈值的情况下，获取所述第二最小化方程中的所述延时时间信息。
本公开实施例的时间同步处理装置，可以通过对最终误差方程进行迭代最近点处理或者非线性化处理，得到延时时间信息。如此，使得获取延时时间信息更加灵活。
在其他实施例中，时间同步处理装置300还包括：
融合模块307，用于对同步后的测量结果进行融合处理；
执行模块308，用于根据融合处理的结果对所述电子设备执行以下至少之一的操作：定位处理、测距处理、电子设备所在场景的目标检测、生成或更新地图。
本公开实施例的时间同步处理装置，在对不同传感器各自获取的测量结果进行同步处理之后，还将同步后的两个测量结果进行融合处理，能够将融合处理的结果应用于定位处理过程中，实现精确的定位；将融合处理的结果应用于测距处理过程中，能够提高测量精度；将融合处理的结果应用于电子设备所在场景的目标检测过程中，能够得到精确的目标检测结果；将融合处理结果应用于生成或者更新地图过程中，能够得到精确的地图。
本公开实施例提供一种电子设备，图12为本公开实施例提供的电子设备的组成结构示意图，如图12所示，电子设备至少包括处理器21、存储器23、通信接口24和通信总线25，其中，通信总线25用于实现处理器21、存储器23、通信接口24和两个不同的传感器之间的连接通信；通信接口24用于获取角速度信息和位姿旋转矩阵信息；处理器21用于执行存储器23中存储的可执行指令，以实现上述实施例提供的时间同步处理方法中的步骤。
本公开实施例的电子设备，要求最少只需要绕一轴的旋转，便可标定不同传感器之间的延时时间信息，而无需必须要求绕多轴的运动，降低了不同传感器时间同步的复杂度，能够适应不同场景的需求；与此同时，基于绕多轴旋转产生的旋转运动来标定延时时间，如此能够得到更加丰富的旋转信息，以提高时间同步的精确度；本公开实施例要求传感器能够独立获取角速度，便可以确定不同传感器之间的延时时间信息，能够广泛的用于多种传感器之间的时间同步，具有普遍适应性；本公开实施例是基于软件来实现时间同步的方法，无需额外部署用于时间同步的专用硬件；本公开实施例根据实时获取的延时时间信息进行时间同步，能够实现在线时间同步处理；本公开实施例通过电子设备发生旋转运动时获取的角速度信息确定延时时间信息，不再是将延时时间信息当作常数处理，提高了时间同步的精确度。
本公开实施例所提供的几个设备实施例中所揭露的特征，在不导致执行逻辑错误或悖论的前提下可以任意组合，得到新的设备实施例。
本公开实施例所提供的几个方法或者设备实施例中所揭露的特征，在不导致执行逻辑错误或悖论的前提下可以任意组合，得到新的方法实施例或者设备实施例。
另外，在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：磁性随机存取存储器(FRAM，ferromagnetic random access memory)、只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、快闪存储器(FlashMemory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)等各种可以存储程序代码的介质，本公开实施例不作限制。
基于前述实施例，本公开实施例提供了一种计算机可读存储介质，其上存储有可执行指令，该可执行指令被上述处理器执行时实现上述实施例中的时间同步处理中步骤。
本领域内的技术人员应明白，本公开实施例可提供为方法、系统、或计算机程序产品。因此，本公开实施例可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开实施例是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本公开实施例中的较佳实施例而已，并非用于限定本公开实施例的保护范围。

Claims (10)

1.一种时间同步处理方法，其特征在于，所述方法包括：
通过两个不同的传感器获取电子设备发生旋转运动时的角速度信息，其中，所述两个不同的传感器均设置在所述电子设备上且刚性连接；
通过对所述两个不同的传感器各自获取的两个角速度信息进行对齐处理，确定所述两个不同传感器之间的延时时间信息；
根据所述延时时间信息对所述两个不同的传感器各自的测量结果进行时间同步处理。
2.根据权利要求1所述的方法，其特征在于，所述两个不同的传感器中的至少之一为位姿式传感器；所述通过两个不同的传感器获取电子设备发生旋转运动时的角速度信息，包括：
通过所述位姿式传感器获取所述电子设备发生旋转运动时的位姿旋转矩阵信息；
通过所述位姿旋转矩阵信息获取所述电子设备发生旋转运动时的角速度信息。
3.根据权利要求1或2所述的方法，其特征在于，所述两个不同的传感器中的至少之一为陀螺式传感器；所述通过两个不同的传感器获取电子设备发生旋转运动时的角速度信息，包括：
通过所述陀螺式传感器获取所述电子设备发生旋转运动时的角速度信息。
4.根据权利要求1所述的方法，其特征在于，所述通过对所述两个不同的传感器各自获取的两个角速度信息进行对齐处理，确定所述两个不同传感器之间的延时时间信息，包括：
对所述两个不同的传感器中的至少之一进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息；
根据对齐后的两个角速度信息，确定所述两个不同传感器之间的延时时间信息。
5.根据权利要求4所述的方法，其特征在于，所述对所述两个不同的传感器中的至少之一进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息，包括：
当所述两个不同的传感器均为陀螺式传感器时，对所述两个陀螺式传感器各自获取的两个角速度信息中的至少之一进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息。
6.根据权利要求4所述的方法，其特征在于，所述对所述两个不同的传感器中的至少之一进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息，包括：
当所述两个不同的传感器均为位姿式传感器时，对所述两个位姿式传感器各自获取的两个位姿旋转矩阵信息中的至少之一进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息。
7.根据权利要求4所述的方法，其特征在于，所述对所述两个不同的传感器中的至少之一进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息，包括：
当所述两个不同的传感器分别为位姿式传感器和陀螺式传感器时，对所述位姿式传感器获取的位姿旋转矩阵信息进行插值处理，以对齐所述两个不同传感器各自获取的两个角速度信息。
8.一种时间同步处理装置，其特征在于，所述装置包括第一获取模块、对齐模块和同步模块，其中，
所述第一获取模块，用于通过两个不同的传感器获取电子设备发生旋转运动时的角速度信息，其中，所述两个不同的传感器均设置在所述电子设备上且刚性连接；
所述对齐模块，用于通过对所述两个不同的传感器各自获取的两个角速度信息进行对齐处理，确定所述两个不同传感器之间的延时时间信息；
所述同步模块，用于根据所述延时时间信息对所述两个不同的传感器各自的测量结果进行时间同步处理。
9.一种电子设备，所述电子设备至少包括处理器、存储器和通信总线，所述存储器存储有所述处理器可执行指令；所述通信总线用于连接所述处理器和所述存储器，当所述可执行指令被执行时，所述处理器执行时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其上存储可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1至7任一项所述的方法。
CN201910545218.8A 2019-06-21 2019-06-21 时间同步处理方法、电子设备及存储介质 Pending CN112113582A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910545218.8A CN112113582A (zh) 2019-06-21 2019-06-21 时间同步处理方法、电子设备及存储介质
KR1020217017070A KR20210084622A (ko) 2019-06-21 2020-02-26 시간 동기화 처리 방법, 전자 기기 및 저장 매체
JP2021531851A JP2022510418A (ja) 2019-06-21 2020-02-26 時間同期処理方法、電子機器及び記憶媒体
PCT/CN2020/076836 WO2020253260A1 (zh) 2019-06-21 2020-02-26 时间同步处理方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910545218.8A CN112113582A (zh) 2019-06-21 2019-06-21 时间同步处理方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112113582A true CN112113582A (zh) 2020-12-22

Family

ID=73796638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910545218.8A Pending CN112113582A (zh) 2019-06-21 2019-06-21 时间同步处理方法、电子设备及存储介质

Country Status (4)

Country Link
JP (1) JP2022510418A (zh)
KR (1) KR20210084622A (zh)
CN (1) CN112113582A (zh)
WO (1) WO2020253260A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177440A (zh) * 2021-04-09 2021-07-27 深圳市商汤科技有限公司 图像同步方法、装置、电子设备和计算机存储介质
CN113591015A (zh) * 2021-07-30 2021-11-02 北京小狗吸尘器集团股份有限公司 时间延迟的计算方法、装置、存储介质及电子设备
CN113610136A (zh) * 2021-07-30 2021-11-05 深圳元戎启行科技有限公司 传感器数据同步方法、装置、计算机设备和存储介质
CN114413878A (zh) * 2021-12-24 2022-04-29 苏州浪潮智能科技有限公司 一种时间校准系统、方法、电子设备及存储介质
CN114414888A (zh) * 2022-01-25 2022-04-29 广州小鹏自动驾驶科技有限公司 数据处理方法、数据处理装置、车辆和存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113310505B (zh) * 2021-06-15 2024-04-09 苏州挚途科技有限公司 传感器系统的外参标定方法、装置及电子设备
CN113848696B (zh) * 2021-09-15 2022-09-16 北京易航远智科技有限公司 基于位置信息的多传感器时间同步方法
CN114217665B (zh) * 2021-12-21 2024-08-06 清华大学 一种相机和激光雷达时间同步方法、装置及存储介质
CN115235527B (zh) * 2022-07-20 2023-05-12 上海木蚁机器人科技有限公司 传感器外参标定方法、装置以及电子设备
CN115451932B (zh) * 2022-09-16 2024-05-24 湖南航天机电设备与特种材料研究所 多通道陀螺仪数据同步采集与计算方法、系统
CN115979277B (zh) * 2023-02-22 2023-06-02 广州导远电子科技有限公司 时间同步方法、装置、电子设备和计算机可读存储介质
CN117034201A (zh) * 2023-10-08 2023-11-10 东营航空产业技术研究院 一种多源实时数据融合方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104009833A (zh) * 2013-02-26 2014-08-27 赫克斯冈技术中心 传感器同步方法和与之有关的传感器测量系统
CN107728617A (zh) * 2017-09-27 2018-02-23 速感科技（北京）有限公司 多目在线标定方法、可移动机器人及系统
CN108680196A (zh) * 2018-04-28 2018-10-19 远形时空科技（北京）有限公司 一种时延校正方法、系统及计算机可读介质
CN108871311A (zh) * 2018-05-31 2018-11-23 北京字节跳动网络技术有限公司 位姿确定方法和装置
CN109029433A (zh) * 2018-06-28 2018-12-18 东南大学 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN109186596A (zh) * 2018-08-14 2019-01-11 深圳清华大学研究院 Imu测量数据生成方法、系统、计算机装置及可读存储介质
CN109506617A (zh) * 2018-12-28 2019-03-22 歌尔科技有限公司 传感器数据处理方法、存储介质、电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002090151A (ja) * 2000-09-14 2002-03-27 Japan Aviation Electronics Industry Ltd センサ異常判定回路および操向制御装置
CN103616710A (zh) * 2013-12-17 2014-03-05 靳文瑞 基于fpga的多传感器组合导航时间同步系统
CN104501817A (zh) * 2014-11-24 2015-04-08 李青花 一种基于误差消除的车载导航系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104009833A (zh) * 2013-02-26 2014-08-27 赫克斯冈技术中心 传感器同步方法和与之有关的传感器测量系统
CN107728617A (zh) * 2017-09-27 2018-02-23 速感科技（北京）有限公司 多目在线标定方法、可移动机器人及系统
CN108680196A (zh) * 2018-04-28 2018-10-19 远形时空科技（北京）有限公司 一种时延校正方法、系统及计算机可读介质
CN108871311A (zh) * 2018-05-31 2018-11-23 北京字节跳动网络技术有限公司 位姿确定方法和装置
CN109029433A (zh) * 2018-06-28 2018-12-18 东南大学 一种移动平台上基于视觉和惯导融合slam的标定外参和时序的方法
CN109186596A (zh) * 2018-08-14 2019-01-11 深圳清华大学研究院 Imu测量数据生成方法、系统、计算机装置及可读存储介质
CN109506617A (zh) * 2018-12-28 2019-03-22 歌尔科技有限公司 传感器数据处理方法、存储介质、电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177440A (zh) * 2021-04-09 2021-07-27 深圳市商汤科技有限公司 图像同步方法、装置、电子设备和计算机存储介质
CN113591015A (zh) * 2021-07-30 2021-11-02 北京小狗吸尘器集团股份有限公司 时间延迟的计算方法、装置、存储介质及电子设备
CN113610136A (zh) * 2021-07-30 2021-11-05 深圳元戎启行科技有限公司 传感器数据同步方法、装置、计算机设备和存储介质
CN114413878A (zh) * 2021-12-24 2022-04-29 苏州浪潮智能科技有限公司 一种时间校准系统、方法、电子设备及存储介质
CN114413878B (zh) * 2021-12-24 2024-02-13 苏州浪潮智能科技有限公司 一种时间校准系统、方法、电子设备及存储介质
CN114414888A (zh) * 2022-01-25 2022-04-29 广州小鹏自动驾驶科技有限公司 数据处理方法、数据处理装置、车辆和存储介质

Also Published As

Publication number Publication date
JP2022510418A (ja) 2022-01-26
KR20210084622A (ko) 2021-07-07
WO2020253260A1 (zh) 2020-12-24

Similar Documents

Publication Publication Date Title
CN112113582A (zh) 时间同步处理方法、电子设备及存储介质
CN111102978B (zh) 一种车辆运动状态确定的方法、装置及电子设备
CN111156998B (zh) 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
Panahandeh et al. Vision-aided inertial navigation based on ground plane feature detection
Langelaan State estimation for autonomous flight in cluttered environments
CN109991636A (zh) 基于gps、imu以及双目视觉的地图构建方法及系统
US20210183100A1 (en) Data processing method and apparatus
CN111380514A (zh) 机器人位姿估计方法、装置、终端及计算机存储介质
Crocoll et al. Model‐aided navigation for a quadrotor helicopter: A novel navigation system and first experimental results
Eckenhoff et al. Sensor-failure-resilient multi-imu visual-inertial navigation
CN108731664B (zh) 机器人状态估计方法、装置、计算机设备和存储介质
US20240312061A1 (en) High-precision odometry estimation method based on double-layer filtering framework
CN110824453A (zh) 一种基于图像跟踪与激光测距的无人机目标运动估计方法
CN114046800B (zh) 一种基于双层滤波框架的高精度里程估计方法
Poshtan et al. Cascaded Kalman and particle filters for photogrammetry based gyroscope drift and robot attitude estimation
Sanchez-Lopez et al. Visual marker based multi-sensor fusion state estimation
CN108318027A (zh) 载体的姿态数据的确定方法和装置
CN112116651A (zh) 一种基于无人机单目视觉的地面目标定位方法和系统
CN112985391A (zh) 一种基于惯性和双目视觉的多无人机协同导航方法和装置
CN110967017A (zh) 一种用于双移动机器人刚体协作搬运的协同定位方法
Liu et al. High altitude monocular visual-inertial state estimation: Initialization and sensor fusion
CN113218389B (zh) 一种车辆定位方法、装置、存储介质及计算机程序产品
Brink et al. Filter-based calibration for an IMU and multi-camera system
CN110832274A (zh) 地面坡度计算方法、装置、设备及存储介质
CN114812601A (zh) 视觉惯性里程计的状态估计方法、装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201222

RJ01 Rejection of invention patent application after publication