CN111381487B - 多传感器同步授时系统、方法、装置及电子设备 - Google Patents
多传感器同步授时系统、方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111381487B CN111381487B CN201811647921.1A CN201811647921A CN111381487B CN 111381487 B CN111381487 B CN 111381487B CN 201811647921 A CN201811647921 A CN 201811647921A CN 111381487 B CN111381487 B CN 111381487B
- Authority
- CN
- China
- Prior art keywords
- sensors
- sensing data
- synchronous
- sensor
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G04—HOROLOGY
- G04G—ELECTRONIC TIME-PIECES
- G04G7/00—Synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
Abstract
本申请公开了多传感器同步授时系统、方法和装置，机器人，以及电子设备。其中，所述系统的机器人通过来源于第一时钟信号源的触发信号触发多个传感器采集感知数据，向服务器发送同步授时请求；服务器根据该请求，确定多个传感器的感知数据，根据多个传感器间感知数据帧间变化的相关度，确定多个传感器间感知数据的同步帧差；根据同步帧差，确定多个传感器间感知数据的时间偏移量；向机器人回送时间偏移量；机器人根据时间偏移量，对多个传感器的感知数据执行时间对齐。采用这种处理方式，使得可在数据层面检测多个传感器同步授时的准确性，并实现多个传感器的同步授时校准；因此，可以有效提升多传感器同步授时准确性，确保对各传感器精确授时。
Description
技术领域
本申请涉及自动化技术领域，具体涉及多传感器同步授时系统、方法和装置，机器人，以及电子设备。
背景技术
在无人驾驶及机器人等领域中，机器感知是重要组成部分，多传感器融合的感知系统利用多个传感器探测感知周围的环境。各传感器数据的同步是保证感知效果及感知性能的重要的环节。通过时钟信号源的同步触发，各传感器可以达到高精度的同步数据采集。
目前，主要采用以下两种常用的多传感器同步授时方法。方法一、各传感器之间不做严格时间同步，各传感器各自采集到数据后，根据操作系统时间为感知数据标记一个近似的时间戳，该方式具有授时难度低的优点。方法二、通过高精度时钟信号源，如gps/北斗/ntp等高精度时钟信号源，对同一系统(如无人驾驶车辆等等)内的各传感器进行精确授时，并利用高精度脉冲信号触发传感器进行数据采集，并且将高精度时钟信号源的触发时钟信号作为传感器所采集到的数据的时间戳，该方式的优点是各传感器可以得到高的采集时间精度。
然而，在实现本发明过程中，发明人发现上述技术方案至少存在如下问题：1)方法一无法对原始数据做严格意义的时空对齐，从而增加了感知数据融合难度；2)方法二对于无法接受高精度时钟信号源时间戳的传感器，将无法进行此类的传感器同步，同时也无法在数据层面检测是否严格意义的采集时间对齐。综上所述，现有技术存在多传感器同步授时准确性较低的问题。
发明内容
本申请提供多传感器同步授时系统，以解决现有技术存在的多传感器同步授时准确性较低的问题。本申请另外提供多传感器同步授时方法和装置，机器人以及电子设备。
本申请提供一种多传感器同步授时系统，包括：
机器人，用于通过来源于第一时钟信号源的触发信号，触发多个传感器采集感知数据，向服务器发送同步授时请求；以及，接收所述服务器回送的所述多个传感器间感知数据的时间偏移量，并根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐；
服务器，用于接收所述同步授时请求，确定所述多个传感器的感知数据，并根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差；根据所述同步帧差，确定所述时间偏移量；向所述机器人回送所述时间偏移量。
本申请还提供一种多传感器同步授时方法，包括：
通过来源于第一时钟信号源的触发信号，触发多个传感器采集感知数据；
向服务器发送同步授时请求；
接收所述服务器回送的所述多个传感器间感知数据的时间偏移量；
根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐。
本申请还提供一种多传感器同步授时装置，包括：
传感器触发单元，用于通过来源于第一时钟信号源的触发信号，触发多个传感器采集感知数据；
感知数据发送单元，用于向服务器发送同步授时请求；
时间偏移量接收单元，用于接收所述服务器回送的所述多个传感器间感知数据的时间偏移量；
时间对齐单元，用于根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐。
本申请还提供一种机器人，包括：
多个传感器；
第一时钟信号源；
处理器；以及
存储器，用于存储实现多传感器同步授时方法的程序，该设备通电并通过所述处理器运行该多传感器同步授时方法的程序后，执行下述步骤：通过来源于所述第一时钟信号源的触发信号，触发多个传感器采集感知数据，向服务器发送同步授时请求；以及，接收所述服务器回送的所述多个传感器间感知数据的时间偏移量，并根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐。
本申请还提供一种多传感器同步授时方法，包括：
接收机器人发送的同步授时请求；
确定所述机器人的多个传感器的感知数据；
根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差；
根据所述同步帧差，确定所述多个传感器间感知数据的时间偏移量；
向所述机器人回送所述时间偏移量。
本申请还提供一种多传感器同步授时装置，包括：
请求接收单元，用于接收机器人发送的同步授时请求；
感知数据确定单元，用于确定所述机器人的多个传感器的感知数据；
同步帧差确定单元，用于根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差；
时间偏移量确定单元，用于根据所述同步帧差，确定所述多个传感器间感知数据的时间偏移量；
时间偏移量回送单元，用于向所述机器人回送所述时间偏移量。
本申请还提供一种电子设备，包括：
处理器；以及
存储器，用于存储实现多传感器同步授时方法的程序，该设备通电并通过所述处理器运行该多传感器同步授时方法的程序后，执行下述步骤：接收机器人发送的同步授时请求；确定所述机器人的多个传感器的感知数据；根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差；根据所述同步帧差，确定所述多个传感器间感知数据的时间偏移量；向所述机器人回送所述时间偏移量。
本申请还提供一种多传感器同步授时方法，包括：
通过来源于第一时钟信号源的触发信号，触发多个传感器采集感知数据；
根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差；
根据所述同步帧差，确定所述多个传感器间感知数据的时间偏移量；
根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐。
可选的，所述相关度根据所述多个传感器的相对变换数据确定；所述相对变换数据包括所述传感器采集的相邻两帧感知数据间的相对变换数据。
可选的，所述根据所述多个传感器间感知数据帧间变化的相关度，并确定所述多个传感器间感知数据同步帧差，包括：
针对多个同步帧差，获取所述同步帧差对应的所述相关度；
将所述相关度的最大值对应的同步帧差，作为所述感知数据同步帧差。
可选的，所述根据所述同步帧差，并确定所述多个传感器间感知数据的时间偏移量，包括：
将多对具有所述同步帧差的两帧感知数据的时间差值的平均值，作为所述时间偏移量。
可选的，所述根据所述多个传感器间感知数据帧间变化的相关度，并确定所述多个传感器间感知数据的同步帧差，包括：
针对所述多个传感器中的第一传感器和第二传感器的两两组合，根据所述第一传感器和第二传感器间感知数据帧间变化的相关度，确定所述第一传感器和第二传感器间感知数据同步帧差；其中，所述第一传感器包括感知数据的时间为第一时间的传感器，所述第二传感器包括感知数据的时间为第二时间的传感器。
可选的，在所述根据所述多个传感器间感知数据帧间变化的相关度，并确定所述多个传感器间感知数据的同步帧差之前，还包括：
判断当前时间距离上一次同步授时校准时间的时长是否达到时长阈值；若是，则进入下一步。
可选的，在所述根据所述多个传感器间感知数据帧间变化的相关度，并确定所述多个传感器间感知数据的同步帧差之前，还包括：
若所述多个传感器的感知数据相互投影时无法对齐，则进入下一步。
可选的，所述根据所述多个传感器间感知数据帧间变化的相关度，并确定所述多个传感器间感知数据的同步帧差，包括：
根据所述多个传感器间预设数量的多帧感知数据帧间变化的相关度，确定所述同步帧差。
可选的，还包括：
根据所述第一时钟信号源，生成第一时钟脉冲信号；
根据所述第一时钟脉冲信号，生成所述触发信号和对应传感器触发时刻的所述第一时间。
本申请还提供一种多传感器同步授时装置，包括：
传感器触发及时间分配单元，用于通过来源于第一时钟信号源的触发信号，触发多个传感器采集感知数据；
同步帧差确定单元，用于根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差；
时间偏移量确定单元，用于根据所述同步帧差，确定所述多个传感器间感知数据的时间偏移量；
同步校准单元，用于根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐。
本申请还提供一种机器人，包括：
多个传感器；
第一时钟信号源；
处理器；以及
存储器，用于存储实现多传感器同步授时方法的程序，该设备通电并通过所述处理器运行该多传感器同步授时方法的程序后，执行下述步骤：通过来源于第一时钟信号源的触发信号，触发多个传感器采集感知数据；根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差；根据所述同步帧差，确定所述多个传感器间感知数据的时间偏移量；根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各种方法。
本申请还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各种方法。
与现有技术相比，本申请具有以下优点：
本申请实施例提供的多传感器同步授时系统，包括机器人和服务器，机器人通过来源于第一时钟信号源的触发信号触发多个传感器采集感知数据，向服务器发送同步授时请求；服务器根据该请求，确定多个传感器的感知数据，根据多个传感器间感知数据帧间变化的相关度，确定多个传感器间感知数据的同步帧差；根据同步帧差，确定多个传感器间感知数据的时间偏移量；向机器人回送时间偏移量；机器人根据时间偏移量，对多个传感器的感知数据执行时间对齐；这种处理方式，使得可在数据层面检测多个传感器同步授时的准确性，在检测到多种感知数据的数据时间戳未对齐时，可实现多个传感器的同步授时的校准；因此，可以有效提升多传感器同步授时准确性，从而确保对同一系统内的各传感器进行精确授时。
附图说明
图1是本申请提供的一种多传感器同步授时方法的实施例的流程图；
图2是本申请提供的一种多传感器同步授时方法的实施例的示意图；
图3是本申请提供的一种多传感器同步授时方法的实施例的示意图；
图4是本申请提供的一种多传感器同步授时方法的实施例的示意图；
图5是本申请提供的一种多传感器同步授时方法的实施例的具体流程图；
图6是本申请提供的一种多传感器同步授时装置的实施例的结构示意图；
图7是本申请提供的一种多传感器同步授时装置的实施例的具体示意图；
图8是本申请提供的一种机器人的实施例的示意图；
图9是本申请提供的一种机器人的实施例的具体示意图；
图10是本申请提供的一种多传感器同步授时系统的实施例的示意图；
图11是本申请提供的一种多传感器同步授时方法的实施例的流程图；
图12是本申请提供的一种多传感器同步授时定位装置的实施例的示意图；
图13是本申请提供的一种机器人的实施例的示意图；
图14是本申请提供的一种多传感器同步授时方法的实施例的流程图；
图15是本申请提供的一种多传感器同步授时定位装置的实施例的示意图；
图16是本申请提供的一种机器人的实施例的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请中，提供了多传感器同步授时系统、方法和装置，机器人，以及电子设备。在下面的实施例中逐一对各种方案进行详细说明。
第一实施例
请参考图1，其为本申请提供的一种多传感器同步授时方法的实施例的流程图。该方法的执行主体包括多传感器同步授时装置，该装置可部署在机器人系统中。本申请提供的一种多传感器同步授时方法包括：
步骤S101：通过来源于第一时钟信号源的触发信号，触发多个传感器采集感知数据。
本申请实施例提供的方法，可通过第一时钟信号源触发机器人系统内多个异构传感器进行数据采集。所述机器人，可以是无人车、清洁机器人、医疗机器人、军用机器人、助残机器人等等。
以无人驾驶车辆(也称为轮式机器人)为例，其传感器可包括以下几种：图像传感器(摄像头)、超声波雷达、激光雷达以及毫米波雷达等等，每一个传感器都需要连接自己的处理器(如MCU，ECU等等)。当前最先进的智能汽车采用了十几个传感器(仅指应用于自动驾驶功能)，如5颗低线束激光雷达，加上6颗摄像头、3颗毫米波雷达，由这些传感器融合的感知系统利用多个传感器探测感知周围的环境。应用本申请实施例提供的方法，可实现机器人系统内多个异构传感器的处理器之间的时钟(定时器)同步。
所述第一时钟信号源，包括高精度时钟信号源，如GPS(Global PositioningSystem，全球定位系统)时钟、北斗时钟、NTP(网络授时方式)时钟等等。
以GPS时钟为例，其能够按照用户需求输出符合规约的时间信息格式，从而完成同步授时服务，其主要原理是通过GPS或其他卫星导航系统的信号驯服晶振，从而实现高精度的频率和时间信号输出，是目前达到纳秒级授时精度和稳定度在1E12量级频率输出的最有效方式。
GPS时钟主要分为两类，一类是GPS授时仪，主要输出时标信息，包括1PPS(秒脉冲，一秒一个脉冲)及TOD(Time of Day,年月日时分秒)信息；另外一类是GPS同步时钟，后者输出利用卫星信号驯服OCXO或者铷钟得到的高稳定频率信息，以及本地恢复的更平稳的时标信号。
GPS同步时钟主要由以下几部分组成：GPS/GNSS接收机，其中可以为GPS/GLONASS/BD/GALILEO等，高精度OCXO或铷钟，本地同步校准单元，测差单元，误差处理及控制结构，输入输出等几部分。
在本实施例中，所述多传感器同步授时装置，可通过高精度时钟信号源产生PPS等高精度时钟脉冲信号；再通过高精度时钟脉冲触发单元，生成触发传感器的固定频率(如50Hz等等)或者自定义频率的触发信号及对应触发时刻的时间戳；然后通过传感器触发及授时单元，利用触发信号触发传感器，采集感知数据并打时间戳。
所述多个传感器，包括可接受第一时钟信号源时间戳的传感器，也包括不接受第一时钟信号源时间戳的传感器。为了便于描述，下面将可接受第一时钟信号源时间戳的传感器称为第一传感器，将不接受第一时钟信号源时间戳的传感器称为第二传感器。
所述第一传感器，包括但不限于激光测距仪(Li DAR，简称激光雷达)、毫米波雷达(Radio)等等。所述第二传感器，包括但不限于图像传感器(Camera，简称摄像机)、超声波雷达等等。
本申请实施例提供的方法，通过第一时钟信号源触发机器人系统内多个异构传感器(包括第一传感器和第二传感器)进行数据采集，并将第一时钟信号源的触发时钟信号作为其中第一传感器所采集到的感知数据的时间戳，由此使得第一传感器的感知数据可以得到高的采集时间精度，实现对第一传感器的精确授时。对于机器人系统内的第二传感器，由于其无法接受第一时钟信号源时间戳，因此可根据第二时钟信号源为这类感知数据标记时间戳，第二传感器各自处理器之间的时钟需要进行同步。
由此可见，所述感知数据对应的时间戳(数据采集时间信息)，包括第一时间或第二时间。其中，所述第一时间是指，根据所述第一时钟信号源确定的对应所述传感器触发时刻的时间，该时间是由授时单元直接赋值的时间戳To，该时间戳与授时单元所提供时间戳一致。所述第二时间，包括第二时钟信号源的时间，该时间是由授时单元之外的第二时钟信号源赋值的时间戳Ts，该时间戳由于系统的延迟等,会与授时单元的时钟有一个相对时延offset＝Ts-To。
所述第二时钟信号源，又称为第三方时钟信号源，可以是机器人的操作系统时钟(简称系统时钟)等等。系统时钟，可以是基于CMOS工艺的高性能处理器时钟系统，是由振荡器(信号源)、定时唤醒器、分频器等组成的电路。常用的信号源有晶体振荡器和RC振荡器。
以无人驾驶车辆为例，其主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶的目的，其中计算机系统的操作系统的时钟信号即可作为第二时钟信号源，机器人的操作系统可以是Ubuntu、ROS、Android操作系统等等。
在步骤S101通过来源于第一时钟信号源的触发信号触发多个传感器，以使所述传感器采集感知数据之后，就可以进入下一步骤，根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据同步帧差。
步骤S103：根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差。
本申请提供的方法，基于以下原理设计：假设多个传感器之间刚性连接，若各传感器是严格同步且各传感器感受野(Receptive Field)相同，并且周围环境静止，则在所有传感器一起运动时，所感知的数据也一起变化，当所有传感器停止变化时，所感知的数据也停止变化。如果各传感器之间的同步有一个相对的时间延迟offset，则对应的感知数据变化也会有一个相同的offset。基于此原理，本申请提供的方法利用同一传感器内前后两个时刻的相对变化，实现不同传感器之间的在线同步授时校验及同步校准。
所述刚性连接是指，传感器和传感器之间通过不会发生形变的结构连接，以保证采集到的前后帧相对变化是由于整体的运动产生的，而不是相对运动产生的。
例如，机器人包括传感器A和传感器B，A和B可以是同类也可以是不同类传感器，如A为激光雷达，B为摄像机，A和B刚性连接，周围环境静止或者部分静止。A和B可由相同频率或者不同频率的时间脉冲触发。通过实现一组静止-运动-静止-运动…的传感器运动，可获得一组时序的传感器感知数据，通过求同一个传感器内前后两帧感知数据的相对变换，得到传感器A的感知数据在时序上的变化「Va1，Va2，Va3…，VaN」，对应的时间戳为「Ta1，Ta2，Ta3…，TaN」，传感器B的感知数据在时序上的变化「Vb1，Vb2，Vb3…，VbN」，对应的时间戳为「Tb1，Tb2，Tb3…，TbN」。
如图2所示，其中一条曲线表示激光雷达的感知数据在时序上的前后帧变化情况，另一条曲线表示摄像机的感知数据在时序上的前后帧变化情况，通过对比两个传感器的感知数据变化，如摄像机在t2时刻到t3时刻间的变化、与雷达在t3时刻到t4时刻间的变化规律相同，都是感知数据的数值保持不变阶段；摄像机在t3时刻到t4时刻间的变化、与雷达在t4时刻到t5时刻间的变化规律相同，都是感知数据的数值上升阶段；摄像机在t4时刻到t5时刻间的变化、与雷达在t5时刻到t6时刻间的变化规律相同，都是感知数据的数值下降阶段等等；由此可见，两种感知数据的时间戳的偏移量为offset。
图3为本实施例中实际采集的激光雷达和摄像机的数据时序变化曲线。由图3可见，两个传感器感知数据的峰值对应时间基本一致，同时谷值对应时间也基本一致，由此可见，这两个传感器基本达到了同步授时。
通过对比图2和图3，本申请技术方案的发明人发现两个传感器的感知数据在时序上的前后帧变化具有很强的相关性，可通过这种相关性可获取两个传感器之间的时间上的相对位移offset。基于这种技术构思，本申请实施例提供的方法，根据两个传感器分别采集的多帧感知数据，确定两个传感器的感知数据在时序上的前后帧变化的相关度(又称为相关系数)，并将相关度表达为两个传感器的同步帧差的函数。
所述相关度，可根据所述多个传感器的相对变换数据确定。所述相对变换数据，包括同一传感器采集的相邻两帧感知数据间的相对变换数据。
所述同步帧差，包括两个传感器在同一时刻采集的感知数据在帧序号上的差值。例如，在2018/11/30 12:00:00同时触发激光雷达和摄像机采集感知数据，激光雷达的感知数据的时间戳来源于GPS时钟，即：2018/11/30 12:00:00，摄像机的感知数据的时间戳来源于操作系统，即：2018/11/30 12:00:01，假设激光雷达在2018/11/30 12:00:00-2018/11/30 12:00:01这1秒钟的时间段内共采集了10帧点云数据，第1帧的时间戳为2018/11/3012:00:00，第10帧的时间戳为2018/11/30 12:00:01，由于摄像机在2018/11/30 12:00:00采集的数据的时间戳为2018/11/30 12:00:01，因此激光雷达和摄像机的同步帧差为9。
在本实施例中，可将两个传感器之间的相关系数(correlation coefficient)表示为如下公式：
其中，k为所述同步帧差，
为传感器A的N帧感知数据的平均值，
为传感器B的N帧感知数据的平均值，Va(i-k)为传感器A的第i-k帧的感知数据，Vb(i)为传感器B的第i帧的感知数据。
如图4所示，步骤S103可包括如下子步骤：
步骤S1031：针对多个同步帧差，获取所述同步帧差对应的所述相关度。
所述多个同步帧差，可以是1帧、2帧…10帧等等。根据上述公式，可计算得到各个同步帧差对应的所述相关度。
步骤S1032：将所述相关度的最大值对应的同步帧差，作为所述感知数据同步帧差。
通过分析可知，在传感器A和传感器B两类感知数据对齐的时刻，即根据同步帧差对感知数据的进行对齐后，如雷达数据的第i-k帧与相机的第i帧对齐，C(k)将得到最大值。如图4所示，当两个传感器间时间偏移量为0时，二者间的相关系数最大，偏移量越大，则相关系数越小，趋于0。因此，在确定相关度与同步帧差间的函数关系后，就可以根据两个传感器的多帧感知数据，求解使得C(k)达到最大值的同步帧差。
具体实施时，可根据传感器采集数据的场景等因素，确定要依据的感知数据的帧数，如可根据100帧感知数据求解同步帧差,帧数越多，相关的峰值会越明显。
需要说明的是，上述公式假设不同传感器前后帧的时间差相同，即Va(i+1)与Va(i)的时间差与Vb(i+1)与Vb(i)的时间差相同，且具有固定的帧间时间差，对于时间差不同的情形，可通过插值等方法生成具有相同时间差的序列Va’与Vb’，以保证传感器的上述相关性公式成立。
本申请提供的方法，通常只需要在有需求的情况下开启，以对机器人的多传感器做时间相关性校准。例如，对于新安装的设备，或者长时间没有校准过的设备，或者感知系统工作时实时发现不同传感器的感知数据相互投影时无法对齐等情况，通常要通过本申请提供的方法做相关性校准。
在一个示例中，在步骤S103之前，还可包括如下步骤：判断当前时间距离上一次同步授时校准时间的时长是否达到时长阈值；若是，则步骤S103。所述时长阈值，可根据业务需求确定，例如，设置为一周，即：每周执行一次本申请提供的方法。
在另一个示例中，在步骤S103之前，还可包括如下步骤：若所述多个传感器的感知数据相互投影时无法对齐，则进入步骤S103。例如，在采集感知数据过程中，tx时刻发现时间偏移量为0.5ms，此后操作系统根据该值对所有无法根据GPS时钟信号源打时间戳的传感器进行同步授时；但是，过了1小时后，发现多个传感器的感知数据相互投影无法对齐，则开启校准，通过执行本申请提供的方法，确定时间偏移量改为1ms，此后根据该值对多传感器进行同步授时。采用这种处理方式，使得可在数据层面检测多传感器的感知数据是否严格意义的采集时间对齐；因此，可以有效提升多传感器同步授时准确性。
在本实施例中，所述多传感器同步授时装置，针对机器人的多个传感器进行两两组合，针对每一对传感器计算时间偏移量。具体实施时，可以是将一个第一传感器和一个第二传感器组对，计算第二传感器与第一传感器的时间偏移量；也可以是将两个第二传感器组对，计算两个第二传感器间的时间偏移量，同时还要计算其中一个第二传感器与一个第一传感器的时间偏移量，由此推算出另一个第二传感器与第一传感器的时间偏移量。
在确定所述多个传感器间感知数据同步帧差之后，就可以进入下一步骤根据所述同步帧差确定时间偏移量。
步骤S105：根据所述同步帧差，确定所述多个传感器间感知数据的时间偏移量。
在确定所述多个传感器间感知数据同步帧差后，就可以根据具有所述同步帧差的两帧数据各自对应的时间戳，确定所述时间偏移量。
在一个示例中，可以取任意两帧具有所述同步帧差的数据各自对应的时间戳，将两个时间戳的差值作为时间偏移量。例如，上例中的激光雷达与摄像机间同步帧差为9，则可以取激光雷达的第i帧第一感知数据和摄像机的第i+9帧第二感知数据，将这两帧感知数据各自的时间戳的差值作为时间偏移量，如这两帧数据的时间戳差值为1秒，则时间偏移量为1秒。
在另一个示例中，将多对具有所述同步帧差的两帧感知数据的时间差值的平均值作为所述时间偏移量。采用这种处理方式的原因在于，即使在固定触发频率下，各传感器由于计算时间戳的方法不同，每一帧的时间会有一个很微小的扰动,例如激光点云的时间戳由于计算方法的不同，会有稍微的扰动，前后帧会差0.001量级的扰动，为减少该扰动对估计时间戳的影响，将多个两帧时间戳差值的平均值作为时间偏移量。采用这种处理方式，可以有效提升时间偏移量的准确性。
例如，上例中的激光雷达与摄像机间同步帧差为9，则可以取第i帧第一感知数据和第i+9帧第二感知数据，假设二者时间差值为1秒；第i+1帧第一感知数据和第i+1+9帧第二感知数据，假设二者时间差值为1.001秒；…,第i+50帧第一感知数据和第i+50+9帧第二感知数据，假设二者时间差值为0.999秒；将所有对感知数据的时间戳差值的平均值，即(1+1.001+…+0.999)/50,作为时间偏移量。
步骤S107：根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐。
在确定多个传感器间感知数据采集时间的偏移量后，就可以对所述多个传感器间感知数据执行时间对齐。当所述第一传感器采集感知数据时，可将该感知数据的时间戳设置为传感器触发时刻对应的GPS时间；当所述第二传感器采集感知数据时，将该感知数据的时间戳设置为：操作系统时间与时间偏移量的差值，由此实现多传感器的同步授时。
从上述实施例可见，本申请实施例提供的多传感器同步授时方法，通过来源于第一时钟信号源的触发信号触发多个传感器采集感知数据，所述多个传感器包括至少一个第一传感器和至少一个第二传感器,所述第一传感器采集的第一感知数据的时间包括第一时间，所述第二传感器采集的第二感知数据的时间包括第二时间，所述第一时间是指根据所述第一时钟信号源确定的对应所述传感器触发时刻的时间，所述第二时间包括根据第二时钟信号源确定的时间；根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据同步帧差；根据所述同步帧差，确定所述第一时间与所述第二时间之间的时间偏移量；根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐；这种处理方式，使得可在数据层面检测多个传感器同步授时的准确性，在检测到多种感知数据的数据时间戳未对齐时，可实现多个传感器的同步授时的校准；因此，可以有效提升多传感器同步授时准确性，从而确保对同一系统内的各传感器进行精确授时。
在上述的实施例中，提供了一种多传感器同步授时方法，与之相对应的，本申请还提供一种多传感器同步授时装置。该装置是与上述方法的实施例相对应。
第二实施例
请参看图6，其为本申请的多传感器同步授时装置的实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种多传感器同步授时装置，包括：
传感器触发单元601，用于通过来源于第一时钟信号源的触发信号，触发多个传感器采集感知数据；
同步帧差确定单元602，用于根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差；
时间偏移量确定单元603，用于根据所述同步帧差，确定所述多个传感器间感知数据的时间偏移量；
同步校准单元604，用于根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐。
可选的，所述相关度根据所述多个传感器的相对变换数据确定；所述相对变换数据包括所述传感器采集的相邻两帧感知数据间的相对变换数据。
可选的，所述同步帧差确定单元602包括：
相关度获取子单元，用于针对多个同步帧差，获取所述同步帧差对应的所述相关度；
同步帧差确定子单元，用于将所述相关度的最大值对应的同步帧差，作为所述感知数据的同步帧差。
可选的，所述时间偏移量确定单元603，具体用于将多对具有所述同步帧差的两帧感知数据的时间差值的平均值，作为所述时间偏移量。
可选的，所述同步帧差确定单元602，具体用于针对所述多个传感器中的第一传感器和第二传感器的两两组合，根据所述第一传感器和第二传感器间感知数据帧间变化的相关度，确定所述第一传感器和第二传感器间感知数据同步帧差；其中，所述第一传感器包括感知数据的时间为第一时间的传感器，所述第二传感器包括感知数据的时间为第二时间的传感器。
请参考图7，其为本申请的机器人的实施例的示意图。在本实施例中，所述装置还包括：
第一判断单元701，用于判断当前时间距离上一次同步授时校准时间的时长是否达到时长阈值；若是，则启动所述同步帧差确定单元602。
可选的，还包括：
第二判断单元，用于判断所述多个传感器的感知数据相互投影时是否无法对齐；若是，则启动所述同步帧差确定单元602。
可选的，所述述同步帧差确定单元602，具体用于根据所述多个传感器间预设数量的多帧感知数据帧间变化的相关度，确定所述同步帧差。
可选的，还包括：
脉冲信号生成单元，用于根据所述第一时钟信号源，生成第一时钟脉冲信号；
触发信号及第一时间生成单元，用于根据所述第一时钟脉冲信号，生成所述触发信号和对应传感器触发时刻的所述第一时间。
从上述实施例可见，本申请实施例提供的多传感器同步授时装置，通过来源于第一时钟信号源的触发信号触发多个传感器采集感知数据，所述多个传感器包括至少一个第一传感器和至少一个第二传感器,所述第一传感器采集的第一感知数据的时间包括第一时间，所述第二传感器采集的第二感知数据的时间包括第二时间，所述第一时间是指根据所述第一时钟信号源确定的对应所述传感器触发时刻的时间，所述第二时间包括根据第二时钟信号源确定的时间；根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据同步帧差；根据所述同步帧差，确定所述第一时间与所述第二时间之间的时间偏移量；根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐；这种处理方式，使得可在数据层面检测多个传感器同步授时的准确性，在检测到多种感知数据的数据时间戳未对齐时，可实现多个传感器的同步授时的校准；因此，可以有效提升多传感器同步授时准确性，从而确保对同一系统内的各传感器进行精确授时。
第三实施例
请参考图8，其为本申请的机器人的实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种机器人，该机器人包括：第一时钟信号源801、多个传感器802、处理器803和存储器804。
所述存储器，用于存储实现多传感器同步授时方法的程序，该设备通电并通过所述处理器运行该多传感器同步授时方法的程序后，执行下述步骤：通过来源于第一时钟信号源的触发信号，触发多个传感器采集感知数据；根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差；根据所述同步帧差，确定所述多个传感器间感知数据的时间偏移量；根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐。
所述机器人，可以是无人车、清洁机器人、医疗机器人、军用机器人、助残机器人等等。
如图9所示，本实施例的机器人为无人车900，并将GPS时钟作为第一时钟信号源，该时钟接收GPS卫星系统999发射的卫星信号。由图9可见，耦合到无人车900或包括在无人车900中的组件可包括推进系统902、传感器系统904、控制系统906、外围设备908、电源910、计算装置911以及用户接口912。计算装置911可包括处理器913和存储器914。计算装置911可以是无人车900的控制器或控制器的一部分。存储器914可包括处理器913可运行的指令916，并且还可存储地图数据915。处理器913可采用车机主处理器芯片(车机CPU)等等，它是无人车900中最重要的部分，承担着运算，存储和控制的功能。其中，地图数据915可通过网络从服务器端请求下载，所述程序指令916包括所述实现多传感器同步授时方法的程序。
该无人车900的传感器系统904可包括以下几种多个传感器：相机934、超声波雷达936、激光雷达932、毫米波雷达930、全球定位系统模块926以及惯性测量单元928等等，其中全球定位系统模块926可作为GPS时钟使用。通过处理器913执行所述实现多传感器同步授时方法的程序，使得对多传感器进行同步授时，同步授时的多传感器的感知数据通过传感器融合算法944进行数据融合。
从上述实施例可见，本申请实施例提供的机器人，通过来源于第一时钟信号源的触发信号触发机器人包括的多个传感器，以使所述传感器采集感知数据，所述感知数据的时间包括第一时间或第二时间，所述第一时间是指根据所述第一时钟信号源确定的对应所述传感器触发时刻的时间，所述第二时间包括根据第二时钟信号源确定的时间；根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据同步帧差；根据所述同步帧差，确定所述第一时间与所述第二时间之间的时间偏移量；根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐；这种处理方式，使得可在数据层面检测多个传感器同步授时的准确性，在检测到多种感知数据的数据时间戳未对齐时，可实现多个传感器的同步授时的校准；因此，可以有效提升多传感器同步授时准确性，从而确保对同一系统内的各传感器进行精确授时。
第四实施例
请参考图10，其为本申请的多传感器同步授时系统实施例的结构示意图。由于系统实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的系统实施实施例仅仅是示意性的。
本实施例的一种多传感器同步授时系统，包括：机器人1001和服务器1002。
所述机器人1001，用于通过来源于第一时钟信号源的触发信号，触发多个传感器采集感知数据，向所述服务器1002发送同步授时请求；以及，接收所述服务器回送的所述多个传感器间感知数据的时间偏移量，并根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐。
所述同步授时请求，可包括所述多个传感器的感知数据。其中，所述多个传感器包括至少一个第一传感器和至少一个第二传感器,所述第一传感器采集的第一感知数据的时间包括第一时间，所述第二传感器采集的第二感知数据的时间包括第二时间，所述第一时间是指根据所述第一时钟信号源确定的对应所述传感器触发时刻的时间，所述第二时间包括根据第二时钟信号源确定的时间。
在一个示例中，所述机器人1001，还用于判断当前时间距离上一次同步授时校准时间的时长是否达到时长阈值；若是，则向所述服务器1002发送同步授时请求。所述同步授时请求可包括每个传感器的预设帧数的感知数据。
所述预设帧数，可根据业务需求确定，如设置为100帧等等。所述预设帧数越大，则同步授时的准确性越高，但是消耗的网络流量也越多。
在另一个示例中，所述机器人1001，还用于若所述多个传感器的感知数据相互投影时无法对齐，则向所述服务器1002发送同步授时请求。
所述服务器1002，用于接收所述同步授时请求，确定所述多个传感器的感知数据，并根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差；根据所述同步帧差，确定所述时间偏移量；向所述机器人1001回送所述时间偏移量。
所述服务器1002，可具体用于根据所述同步授时请求获取所述多个传感器的感知数据。
从上述实施例可见，本申请实施例提供的多传感器同步授时系统，包括机器人和服务器，机器人通过来源于第一时钟信号源的触发信号触发多个传感器采集感知数据，向服务器发送同步授时请求；服务器根据该请求，确定多个传感器的感知数据，根据多个传感器间感知数据帧间变化的相关度，确定多个传感器间感知数据的同步帧差；根据同步帧差，确定多个传感器间感知数据的时间偏移量；向机器人回送时间偏移量；机器人根据时间偏移量，对多个传感器的感知数据执行时间对齐；这种处理方式，使得可在数据层面检测多个传感器同步授时的准确性，在检测到多种感知数据的数据时间戳未对齐时，可实现多个传感器的同步授时的校准；因此，可以有效提升多传感器同步授时准确性，从而确保对同一系统内的各传感器进行精确授时。
第五实施例
请参考图11，其为本申请的多传感器同步授时方法的实施例的流程图。由于方法实施例基本相似于系统实施例，所以描述得比较简单，相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本实施例的一种多传感器同步授时方法，包括如下步骤：
步骤S1101：通过来源于第一时钟信号源的触发信号，触发多个传感器采集感知数据；
步骤S1103：向服务器发送同步授时请求；
步骤S1105：接收所述服务器回送的所述多个传感器间感知数据的时间偏移量；
步骤S1107：根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐。
从上述实施例可见，本申请实施例提供的多传感器同步授时方法，通过来源于第一时钟信号源的触发信号触发多个传感器采集感知数据，向服务器发送同步授时请求，以使得服务器根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差；根据所述同步帧差，确定所述多个传感器间感知数据的时间偏移量；向所述机器人回送所述时间偏移量；机器人根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐；这种处理方式，使得可在数据层面检测多个传感器同步授时的准确性，在检测到多种感知数据的数据时间戳未对齐时，可实现多个传感器的同步授时的校准；因此，可以有效提升多传感器同步授时准确性，从而确保对同一系统内的各传感器进行精确授时。
在上述的实施例中，提供了一种多传感器同步授时方法，与之相对应的，本申请还提供一种多传感器同步授时装置。该装置是与上述方法的实施例相对应。
第六实施例
请参看图12，其为本申请的多传感器同步授时装置的实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种多传感器同步授时装置，包括：
传感器触发单元1201，用于通过来源于第一时钟信号源的触发信号，触发多个传感器采集感知数据；
感知数据发送单元1203，用于向服务器发送同步授时请求；
时间偏移量接收单元1205，用于接收所述服务器回送的所述多个传感器间感知数据的时间偏移量；
时间对齐单元1207，用于根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐。
第七实施例
请参考图13，其为本申请的机器人实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种机器人，该机器人包括：多个传感器1301；第一时钟信号源1302、处理器1303和存储器1304；所述存储器，用于存储实现多传感器同步授时方法的程序，该设备通电并通过所述处理器运行该多传感器同步授时方法的程序后，执行下述步骤：通过来源于所述第一时钟信号源的触发信号，触发多个传感器采集感知数据，向服务器发送同步授时请求；以及，接收所述服务器回送的所述多个传感器间感知数据的时间偏移量，并根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐。
第八实施例
请参考图14，其为本申请的多传感器同步授时方法的实施例的流程图。由于方法实施例基本相似于系统实施例，所以描述得比较简单，相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
本实施例的一种多传感器同步授时方法，包括如下步骤：
步骤S1401：接收机器人发送的同步授时请求；
步骤S1403：确定所述机器人的多个传感器的感知数据；
步骤S1405：根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差；
步骤S1407：根据所述同步帧差，确定所述时间偏移量；
步骤S1409：向所述机器人回送所述时间偏移量。
从上述实施例可见，本申请实施例提供的多传感器同步授时方法，通过服务器接收机器人发送的同步授时请求，确定所述机器人的多个传感器的感知数据，根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差；根据所述同步帧差，确定所述多个传感器间感知数据的时间偏移量；向所述机器人回送所述时间偏移量，以使得机器人根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐；这种处理方式，使得可在数据层面检测多个传感器同步授时的准确性，在检测到多种感知数据的数据时间戳未对齐时，可实现多个传感器的同步授时的校准；因此，可以有效提升多传感器同步授时准确性，从而确保对同一系统内的各传感器进行精确授时。
在上述的实施例中，提供了一种多传感器同步授时方法，与之相对应的，本申请还提供一种多传感器同步授时装置。该装置是与上述方法的实施例相对应。
第九实施例
请参看图15，其为本申请的多传感器同步授时装置的实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
本申请另外提供一种多传感器同步授时装置，包括：
请求接收单元1501，用于接收机器人发送的同步授时请求；
感知数据确定单元1503，用于确定所述机器人的多个传感器的感知数据；
同步帧差确定单元1505，用于根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差；
时间偏移量确定单元1507，用于根据所述同步帧差，确定所述时间偏移量；
时间偏移量回送单元1509，用于向所述机器人回送所述时间偏移量。
第十实施例
请参考图16，其为本申请的电子设备实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
本实施例的一种电子设备，该电子设备包括：处理器1601和存储器1602；所述存储器，用于存储实现多传感器同步授时方法的程序，该设备通电并通过所述处理器运行该多传感器同步授时方法的程序后，执行下述步骤：接收机器人发送的同步授时请求；确定所述机器人的多个传感器的感知数据；根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差；根据所述同步帧差，确定所述时间偏移量；向所述机器人回送所述时间偏移量。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
Claims (18)
1.一种多传感器同步授时系统，其特征在于，包括：
机器人，用于通过来源于第一时钟信号源的触发信号，触发多个传感器采集感知数据，向服务器发送同步授时请求；以及，接收所述服务器回送的所述多个传感器间感知数据的时间偏移量，并根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐；
服务器，用于接收所述同步授时请求，确定所述多个传感器的感知数据，并根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差；根据所述同步帧差，确定所述时间偏移量；向所述机器人回送所述时间偏移量；所述同步帧差包括不同传感器在同一时刻采集的感知数据在帧序号上的差值。
2.一种多传感器同步授时方法，其特征在于，包括：
通过来源于第一时钟信号源的触发信号，触发多个传感器采集感知数据；
向服务器发送同步授时请求；
接收所述服务器回送的所述多个传感器间感知数据的时间偏移量；
根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐；
其中，所述服务器根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差；根据所述同步帧差，确定所述时间偏移量；向所述机器人回送所述时间偏移量；所述同步帧差包括不同传感器在同一时刻采集的感知数据在帧序号上的差值。
3.一种多传感器同步授时装置，其特征在于，包括：
传感器触发单元，用于通过来源于第一时钟信号源的触发信号，触发多个传感器采集感知数据；
感知数据发送单元，用于向服务器发送同步授时请求；
时间偏移量接收单元，用于接收所述服务器回送的所述多个传感器间感知数据的时间偏移量；
时间对齐单元，用于根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐；
其中，所述服务器根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差；根据所述同步帧差，确定所述时间偏移量；向所述机器人回送所述时间偏移量；所述同步帧差包括不同传感器在同一时刻采集的感知数据在帧序号上的差值。
4.一种机器人，其特征在于，包括：
多个传感器；
第一时钟信号源；
处理器；以及
存储器，用于存储实现多传感器同步授时方法的程序，该设备通电并通过所述处理器运行该多传感器同步授时方法的程序后，执行下述步骤：通过来源于所述第一时钟信号源的触发信号，触发多个传感器采集感知数据，向服务器发送同步授时请求；以及，接收所述服务器回送的所述多个传感器间感知数据的时间偏移量，并根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐；
其中，所述服务器根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差；根据所述同步帧差，确定所述时间偏移量；向所述机器人回送所述时间偏移量；所述同步帧差包括不同传感器在同一时刻采集的感知数据在帧序号上的差值。
5.一种多传感器同步授时方法，其特征在于，包括：
接收机器人发送的同步授时请求；
确定所述机器人的多个传感器的感知数据；
根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差，所述同步帧差包括不同传感器在同一时刻采集的感知数据在帧序号上的差值；
根据所述同步帧差，确定所述多个传感器间感知数据的时间偏移量；
向所述机器人回送所述时间偏移量。
6.一种多传感器同步授时装置，其特征在于，包括：
请求接收单元，用于接收机器人发送的同步授时请求；
感知数据确定单元，用于确定所述机器人的多个传感器的感知数据；
同步帧差确定单元，用于根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差，所述同步帧差包括不同传感器在同一时刻采集的感知数据在帧序号上的差值；
时间偏移量确定单元，用于根据所述同步帧差，确定所述多个传感器间感知数据的时间偏移量；
时间偏移量回送单元，用于向所述机器人回送所述时间偏移量。
7.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储实现多传感器同步授时方法的程序，该设备通电并通过所述处理器运行该多传感器同步授时方法的程序后，执行下述步骤：接收机器人发送的同步授时请求；确定所述机器人的多个传感器的感知数据；根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差，所述同步帧差包括不同传感器在同一时刻采集的感知数据在帧序号上的差值；根据所述同步帧差，确定所述多个传感器间感知数据的时间偏移量；向所述机器人回送所述时间偏移量。
8.一种多传感器同步授时方法，其特征在于，包括：
通过来源于第一时钟信号源的触发信号，触发多个传感器采集感知数据；
根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差，所述同步帧差包括不同传感器在同一时刻采集的感知数据在帧序号上的差值；
根据所述同步帧差，确定所述多个传感器间感知数据的时间偏移量；
根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐。
9.根据权利要求8所述的方法，其特征在于，所述相关度根据所述多个传感器的相对变换数据确定；所述相对变换数据包括所述传感器采集的相邻两帧感知数据间的相对变换数据。
10.根据权利要求8所述的方法，其特征在于，所述根据所述多个传感器间感知数据帧间变化的相关度，并确定所述多个传感器间感知数据的同步帧差，包括：
针对多个同步帧差，获取所述同步帧差对应的所述相关度；
将所述相关度的最大值对应的同步帧差，作为所述感知数据的同步帧差。
11.根据权利要求8所述的方法，其特征在于，所述根据所述同步帧差，并确定所述多个传感器间感知数据的时间偏移量，包括：
将多对具有所述同步帧差的两帧感知数据的时间差值的平均值，作为所述时间偏移量。
12.根据权利要求8所述的方法，其特征在于，所述根据所述多个传感器间感知数据帧间变化的相关度，并确定所述多个传感器间感知数据的同步帧差，包括：
针对所述多个传感器中的第一传感器和第二传感器的两两组合，根据所述第一传感器和第二传感器间感知数据帧间变化的相关度，确定所述第一传感器和第二传感器间感知数据同步帧差；其中，所述第一传感器包括感知数据的时间为第一时间的传感器，所述第二传感器包括感知数据的时间为第二时间的传感器。
13.根据权利要求8所述的方法，其特征在于，在所述根据所述多个传感器间感知数据帧间变化的相关度，并确定所述多个传感器间感知数据的同步帧差之前，还包括：
判断当前时间距离上一次同步授时校准时间的时长是否达到时长阈值；若是，则进入下一步。
14.根据权利要求8所述的方法，其特征在于，在所述根据所述多个传感器间感知数据帧间变化的相关度，并确定所述多个传感器间感知数据的同步帧差之前，还包括：
若所述多个传感器的感知数据相互投影时无法对齐，则进入下一步。
15.根据权利要求8所述的方法，其特征在于，所述根据所述多个传感器间感知数据帧间变化的相关度，并确定所述多个传感器间感知数据的同步帧差，包括：
根据所述多个传感器间预设数量的多帧感知数据帧间变化的相关度，确定所述同步帧差。
16.根据权利要求8所述的方法，其特征在于，还包括：
根据所述第一时钟信号源，生成第一时钟脉冲信号；
根据所述第一时钟脉冲信号，生成所述触发信号和对应传感器触发时刻的所述第一时间。
17.一种多传感器同步授时装置，其特征在于，包括：
传感器触发单元，用于通过来源于第一时钟信号源的触发信号，触发多个传感器采集感知数据；
同步帧差确定单元，用于根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差，所述同步帧差包括不同传感器在同一时刻采集的感知数据在帧序号上的差值；
时间偏移量确定单元，用于根据所述同步帧差，确定所述多个传感器间感知数据的时间偏移量；
同步校准单元，用于根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐。
18.一种机器人，其特征在于，包括：
多个传感器；
第一时钟信号源；
处理器；以及
存储器，用于存储实现多传感器同步授时方法的程序，该设备通电并通过所述处理器运行该多传感器同步授时方法的程序后，执行下述步骤：通过来源于第一时钟信号源的触发信号，触发多个传感器采集感知数据；根据所述多个传感器间感知数据帧间变化的相关度，确定所述多个传感器间感知数据的同步帧差，所述同步帧差包括不同传感器在同一时刻采集的感知数据在帧序号上的差值；根据所述同步帧差，确定所述多个传感器间感知数据的时间偏移量；根据所述时间偏移量，对所述多个传感器的感知数据执行时间对齐。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811647921.1A CN111381487B (zh) | 2018-12-29 | 2018-12-29 | 多传感器同步授时系统、方法、装置及电子设备 |
| PCT/CN2019/127719 WO2020135382A1 (zh) | 2018-12-29 | 2019-12-24 | 多传感器同步授时系统、方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811647921.1A CN111381487B (zh) | 2018-12-29 | 2018-12-29 | 多传感器同步授时系统、方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111381487A CN111381487A (zh) | 2020-07-07 |
| CN111381487B true CN111381487B (zh) | 2022-01-11 |
Family
ID=71126940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811647921.1A Active CN111381487B (zh) | 2018-12-29 | 2018-12-29 | 多传感器同步授时系统、方法、装置及电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111381487B (zh) |
| WO (1) | WO2020135382A1 (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111934843A (zh) * | 2020-07-31 | 2020-11-13 | 深圳市智绘科技有限公司 | 一种面向智能无人系统的多传感器数据同步采集方法 |
| CN111970351B (zh) * | 2020-08-11 | 2021-06-22 | 震坤行工业超市(上海)有限公司 | 一种基于数据对齐的物联网多维传感优化方法及系统 |
| CN112485806B (zh) * | 2020-09-27 | 2023-12-05 | 浙江众合科技股份有限公司 | 一种激光雷达和相机时间同步系统及方法 |
| CN112363383B (zh) * | 2020-10-26 | 2022-04-05 | 上海感探号信息科技有限公司 | 一种时间轴统一系统及方法 |
| EP4246837A4 (en) * | 2020-12-01 | 2024-01-03 | Huawei Tech Co Ltd | COMMUNICATION METHOD AND APPARATUS |
| CN114647179A (zh) * | 2020-12-18 | 2022-06-21 | 华为技术有限公司 | 主时钟装置、从时钟装置和时间同步方法 |
| CN112787740A (zh) * | 2020-12-26 | 2021-05-11 | 武汉光庭信息技术股份有限公司 | 一种多传感器时间同步装置及方法 |
| CN112907928A (zh) * | 2021-01-26 | 2021-06-04 | 徐州徐工矿业机械有限公司 | 一种挖掘机多信号无线同步采集及分类系统 |
| CN113037458B (zh) * | 2021-03-02 | 2022-07-08 | 中国地震局地球物理研究所 | 一种高精度同步授时系统 |
| CN113411156A (zh) * | 2021-06-24 | 2021-09-17 | 青岛蚂蚁机器人有限责任公司 | 一种slam导航agv的传感器时间同步方法 |
| CN113744532A (zh) * | 2021-09-14 | 2021-12-03 | 东风汽车集团股份有限公司 | 一种基于车路协同的城市交通客车盲区预警方法及装置 |
| CN114006672B (zh) * | 2021-09-17 | 2024-04-02 | 东风汽车集团股份有限公司 | 一种车载多传感器数据同步采集方法及系统 |
| CN114415489B (zh) * | 2021-12-02 | 2023-09-22 | 北京罗克维尔斯科技有限公司 | 一种车载传感器时间同步方法、装置、设备和介质 |
| CN114200496A (zh) * | 2021-12-09 | 2022-03-18 | 桂林电子科技大学 | 一种可实时再生的卫星信号模拟系统及方法 |
| CN114338951A (zh) * | 2021-12-30 | 2022-04-12 | 智道网联科技(北京)有限公司 | 传感器同步方法、装置、系统及车辆 |
| CN114739445B (zh) * | 2022-01-27 | 2023-12-15 | 厦门万宾科技有限公司 | 一种城市级排水管网增强扫描方法及系统 |
| CN114964175B (zh) * | 2022-03-30 | 2023-05-23 | 华南理工大学 | 多传感器数据同步采集装置及采集方法 |
| CN116232524B (zh) * | 2023-05-11 | 2023-07-25 | 北京米波通信技术有限公司 | 接收机板间信号的同步方法及相关设备 |
| CN117040678B (zh) * | 2023-10-10 | 2023-12-22 | 北京理工大学 | 一种基于硬件时间同步的时延控制方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3227021A1 (de) * | 1982-07-20 | 1984-01-26 | Deutsche Bundespost, vertreten durch den Präsidenten des Fernmeldetechnischen Zentralamtes, 6100 Darmstadt | Verfahren zur bildung von lese- und schreibadressen |
| CN1216648A (zh) * | 1996-12-26 | 1999-05-12 | Ntt移动通信网株式会社 | 帧同步电路 |
| CN101282230A (zh) * | 2007-04-05 | 2008-10-08 | 中兴通讯股份有限公司 | 广播数据全网同步的实现方法 |
| CN101394244A (zh) * | 2007-09-17 | 2009-03-25 | 中兴通讯股份有限公司 | 一种时分基站系统中非同源时钟域帧同步信号的产生方法 |
| CN101631016A (zh) * | 2009-04-14 | 2010-01-20 | 华中科技大学 | 一种现场总线的时间同步方法 |
| JP2013098885A (ja) * | 2011-11-04 | 2013-05-20 | Panasonic Corp | 無線通信システム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040092259A (ko) * | 2003-04-25 | 2004-11-03 | 삼성전자주식회사 | 기지국 장치를 위한 위성 클럭 동기 시스템 및 이를이용한 기지국 시스템의 위성 클럭 동기화 방법 |
| CN102421187B (zh) * | 2011-12-01 | 2014-02-19 | 北京航天测控技术有限公司 | 一种无线传感器网络的高精度时钟同步方法 |
| US9204486B2 (en) * | 2012-03-30 | 2015-12-01 | Texas Instruments Incorporated | Coexistence of wireless sensor networks with other wireless networks |
| EP2770339B1 (de) * | 2013-02-26 | 2019-11-27 | Hexagon Technology Center GmbH | Sensorsynchronisationsverfahren und ebensolches Sensormesssystem |
| CN107923991B (zh) * | 2015-03-26 | 2021-03-30 | 英国石油勘探运作有限公司 | 地震勘测方法 |
| JP6487386B2 (ja) * | 2016-07-22 | 2019-03-20 | ファナック株式会社 | 時刻精度を維持するためのサーバ、方法、プログラム、記録媒体、及びシステム |
| JP6868271B2 (ja) * | 2017-04-08 | 2021-05-12 | 学校法人関西学院 | 無線通信同期回復方法およびそれを用いたセンサネットワークシステム |
| CN108923876B (zh) * | 2018-06-27 | 2020-11-27 | 北京旷视机器人技术有限公司 | 时间同步方法、装置及系统 |
-
2018
- 2018-12-29 CN CN201811647921.1A patent/CN111381487B/zh active Active
-
2019
- 2019-12-24 WO PCT/CN2019/127719 patent/WO2020135382A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3227021A1 (de) * | 1982-07-20 | 1984-01-26 | Deutsche Bundespost, vertreten durch den Präsidenten des Fernmeldetechnischen Zentralamtes, 6100 Darmstadt | Verfahren zur bildung von lese- und schreibadressen |
| CN1216648A (zh) * | 1996-12-26 | 1999-05-12 | Ntt移动通信网株式会社 | 帧同步电路 |
| CN101282230A (zh) * | 2007-04-05 | 2008-10-08 | 中兴通讯股份有限公司 | 广播数据全网同步的实现方法 |
| CN101394244A (zh) * | 2007-09-17 | 2009-03-25 | 中兴通讯股份有限公司 | 一种时分基站系统中非同源时钟域帧同步信号的产生方法 |
| CN101631016A (zh) * | 2009-04-14 | 2010-01-20 | 华中科技大学 | 一种现场总线的时间同步方法 |
| JP2013098885A (ja) * | 2011-11-04 | 2013-05-20 | Panasonic Corp | 無線通信システム |
Non-Patent Citations (2)
| Title |
|---|
| 基于无人机多传感器数据采集的电力线路安全巡检及智能诊断;彭向阳,陈驰,饶章权,杨必胜,麦晓明,王柯;《高电压技术》;20150131;第41卷(第1期);159-166 * |
| 多传感器信息融合中时间同步方法的研究;刘钊，戴斌，刘大学;《计算机仿真》;20090630;第26卷(第6期);124-127 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020135382A1 (zh) | 2020-07-02 |
| CN111381487A (zh) | 2020-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111381487B (zh) | 多传感器同步授时系统、方法、装置及电子设备 | |
| CN112672415B (zh) | 多传感器时间同步方法、装置、系统、电子设备及介质 | |
| CN109905194B (zh) | 一种车载终端系统和同步数据获取方法、装置 | |
| CN111860604B (zh) | 数据融合方法、系统及计算机存储介质 | |
| WO2021047271A1 (zh) | 一种时间同步方法及装置 | |
| EP3613648B1 (en) | A time source recovery system for an autonomous driving vehicle | |
| CN111309094A (zh) | 一种传感器设备采集数据的同步板卡及方法 | |
| CN113016153B (zh) | 验证在自动驾驶车辆中使用的传感器的定时 | |
| US10969783B2 (en) | Time source ranking system for an autonomous driving vehicle | |
| CN111007554A (zh) | 数据采集时间同步系统和方法 | |
| CN103797735A (zh) | 用于使车辆的车载电网中的网络参与者同步的方法和装置 | |
| CN114025055A (zh) | 一种数据处理的方法、装置、系统、设备及存储介质 | |
| CN112383675B (zh) | 一种时间同步方法、装置及终端设备 | |
| CN112865902B (zh) | 数据采集和时间同步方法、装置、电子设备及存储介质 | |
| CN111934843A (zh) | 一种面向智能无人系统的多传感器数据同步采集方法 | |
| CN114964175A (zh) | 多传感器数据同步采集装置及采集方法 | |
| Faizullin et al. | Open-source lidar time synchronization system by mimicking GNSS-clock | |
| CN111556226A (zh) | 一种相机系统 | |
| CN105910617B (zh) | 一种车载导航系统中采样点时间同步的方法及装置 | |
| CN113267186B (zh) | 一种数据同步采集系统及数据同步采集方法 | |
| CN113985431A (zh) | 一种数据采集方法、系统、装置、电子设备及存储介质 | |
| CN116830689A (zh) | 一种时间同步方法、装置及存储介质 | |
| CN113890665A (zh) | 一种时间同步方法、系统、存储介质及处理器 | |
| CA3200304C (en) | Clock synchronisation | |
| US20230121125A1 (en) | Method and device for dating camera images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230712 Address after: Room 437, Floor 4, Building 3, No. 969, Wenyi West Road, Wuchang Subdistrict, Yuhang District, Hangzhou City, Zhejiang Province Patentee after: Wuzhou Online E-Commerce (Beijing) Co.,Ltd. Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK Patentee before: ALIBABA GROUP HOLDING Ltd. |
|
| TR01 | Transfer of patent right |