CN112865902B - 数据采集和时间同步方法、装置、电子设备及存储介质 - Google Patents

数据采集和时间同步方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112865902B
CN112865902B CN202011554097.2A CN202011554097A CN112865902B CN 112865902 B CN112865902 B CN 112865902B CN 202011554097 A CN202011554097 A CN 202011554097A CN 112865902 B CN112865902 B CN 112865902B
Authority
CN
China
Prior art keywords
time
image
exposure
pulses
trigger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011554097.2A
Other languages
English (en)
Other versions
CN112865902A (zh
Inventor
陈海波
雷晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenlan Artificial Intelligence Shenzhen Co Ltd
Original Assignee
Shenlan Artificial Intelligence Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenlan Artificial Intelligence Shenzhen Co Ltd filed Critical Shenlan Artificial Intelligence Shenzhen Co Ltd
Priority to CN202011554097.2A priority Critical patent/CN112865902B/zh
Publication of CN112865902A publication Critical patent/CN112865902A/zh
Application granted granted Critical
Publication of CN112865902B publication Critical patent/CN112865902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
    • G06F1/12—Synchronisation of different clock signals provided by a plurality of clock generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本申请涉及自动驾驶技术领域，提供了一种数据采集和时间同步方法、装置、电子设备及存储介质，其中方法包括：接收相机基于各个触发脉冲反馈的曝光脉冲和图像；基于各个曝光脉冲的接收时间间隔，从所述各个曝光脉冲中确定所述标记触发脉冲对应的标记曝光脉冲；基于所述标记触发脉冲和所述标记曝光脉冲的对应关系，以及各个曝光脉冲和图像的对应关系，确定各个图像对应的触发脉冲；基于各个图像对应触发脉冲的发送时间，以及各个图像的曝光时长，确定各个图像的采集时间。本申请提供的方法、装置、电子设备及存储介质，降低了数据传输延时和数据传输噪声的干扰，提高了图像的采集时间的准确性，提高了图像数据的可靠性。

Description

数据采集和时间同步方法、装置、电子设备及存储介质
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种数据采集和时间同步方法、装置、电子设备及存储介质。
背景技术
在自动驾驶领域，车辆都会安装多种传感器来感知和探测复杂的道路环境，比如摄像头、激光雷达等。各个传感器产生的数据通过不同的硬件接口传输到数据处理系统。
现有技术中，数据处理系统收到各个传感器采集的数据后，才添加采集时间，进而根据添加的采集时间，判断各个传感器采集的数据是否同步。各个传感器数据的采集时间的确定受到多个因素的影响，例如各个传感器的参考时间不统一、数据输出延时和数据丢失等，使得数据处理系统无法精准地对数据进行时间同步，数据可靠性差。
发明内容
本申请提供一种数据采集和时间同步方法、装置、电子设备及存储介质，降低了数据传输延时和数据传输噪声的干扰，提高了图像的采集时间的准确性，提高了图像数据的可靠性。
本申请提供一种数据采集方法，包括：
接收相机基于各个触发脉冲反馈的曝光脉冲和图像；所述各个触发脉冲中包含标记触发脉冲，所述标记触发脉冲与其余触发脉冲的发送时间间隔不同；
基于各个曝光脉冲的接收时间间隔，从所述各个曝光脉冲中确定所述标记触发脉冲对应的标记曝光脉冲；
基于所述标记触发脉冲和所述标记曝光脉冲的对应关系，以及各个曝光脉冲和图像的对应关系，确定各个图像对应的触发脉冲；
基于各个图像对应触发脉冲的发送时间，以及各个图像的曝光时长，确定各个图像的采集时间。
根据本申请提供的数据采集方法，所述其余触发脉冲的发送时间间隔相等。
本申请提供一种时间同步方法，包括：
确定图像的采集时间；
确定点云数据的采集时间；
若所述图像的采集时间与所述点云数据的采集时间相同，则对所述图像和所述点云数据进行时间同步；
其中，所述图像的采集时间是基于上述数据采集方法确定的。
根据本申请提供的时间同步方法，所述确定点云数据的采集时间，包括：
确定携带有同步时钟信号的数据采集指令；
将所述数据采集指令发送至至少两个激光雷达，以触发所述至少两个激光雷达基于所述同步时钟信号进行点云数据采集并回传。
根据本申请提供的时间同步方法，所述激光雷达采用冗余的RS422总线接收所述数据采集指令。
根据本申请提供的时间同步方法，所述确定携带有同步时钟信号的数据采集指令，之前包括：
接收时钟校准信号；
基于所述时钟校准信号，对本地时钟信号进行校准；
基于校准后的本地时钟信号，确定所述同步时钟信号。
本申请还提供一种数据采集装置，包括：
数据接收单元，用于接收相机基于各个触发脉冲反馈的曝光脉冲和图像；所述各个触发脉冲中包含标记触发脉冲，所述标记触发脉冲与其余触发脉冲的发送时间间隔不同；
脉冲标记单元，用于基于各个曝光脉冲的接收时间间隔，从所述各个曝光脉冲中确定所述标记触发脉冲对应的标记曝光脉冲；
脉冲对应单元，用于基于所述标记触发脉冲和所述标记曝光脉冲的对应关系，以及各个曝光脉冲和图像的对应关系，确定各个图像对应的触发脉冲；
时间确定单元，用于基于各个图像对应触发脉冲的发送时间，以及各个图像的曝光时长，确定各个图像的采集时间。
本申请还提供一种时间同步装置，包括：
图像时间确定单元，用于确定图像的采集时间；
点云时间确定单元，用于确定点云数据的采集时间；
时间同步单元，用于若所述图像的采集时间与所述点云数据的采集时间相同，则对所述图像和所述点云数据进行时间同步；
其中，所述图像的采集时间是基于上述数据采集装置确定的。
本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据采集方法或时间同步方法的步骤。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据采集方法或时间同步方法的步骤。
本申请提供的数据采集和时间同步方法、装置、电子设备及存储介质，根据标记触发脉冲和标记曝光脉冲的对应关系，以及各个曝光脉冲和图像的对应关系，确定各个图像对应的触发脉冲，进而根据各个图像对应触发脉冲的发送时间，以及各个图像的曝光时长，确定各个图像的采集时间，由于各个图像的采集时间是以触发脉冲的发送时间为基准确定的，触发脉冲的发送时间可以根据数据处理系统进行精准地确定，降低了数据传输延时和数据传输噪声的干扰，提高了图像的采集时间的准确性，提高了图像数据的可靠性。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的数据采集方法的流程示意图；
图2为本申请提供的数据采集中的脉冲波形示意图；
图3为本申请提供的时间同步方法的流程示意图；
图4为本申请提供的点云数据采集时间确定方法的流程示意图；
图5为本申请提供的激光雷达的接线示意图；
图6为本申请提供的同步时钟信号校准方法的流程示意图；
图7为本申请提供的数据处理系统的工作示意图；
图8为本申请提供的数据采集装置的结构示意图；
图9为本申请提供的时间同步装置的结构示意图；
图10为本申请提供的点云时间确定单元的结构示意图；
图11为本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请提供的数据采集方法的流程示意图，如图1所示，该方法包括：
步骤110，接收相机基于各个触发脉冲反馈的曝光脉冲和图像；各个触发脉冲中包含标记触发脉冲，标记触发脉冲与其余触发脉冲的发送时间间隔不同。
具体地，本申请实施例中数据采集方法的执行主体为数据处理系统。相机进行图像采集的工作原理为：数据处理系统发送触发脉冲作为图像采集驱动信号，相机接收到触发脉冲后反馈曝光脉冲并进行图像采集，经过曝光后，将曝光得到的图像反馈至数据处理系统，以供数据处理系统中的数据处理器进行图像处理。
理想情况下，相机接收一个触发脉冲，反馈一个曝光脉冲和一张图像。曝光时长为相机采集图像时开始曝光至曝光结束的时间。曝光时长会由相机记录并写入图像中。
由于大部分相机内部没有时钟源，无法为图像添加采集时间，或者相机内部的时钟源的时间与数据处理系统的时间不一致，使得图像的采集时间不够准确。此外，数据传输过程中，可能出现网络传输延时、数据丢帧等情况，使得图像的采集时间更加难以确定。
可以在每个采集周期内对触发脉冲进行设置，使得发送的各个触发脉冲中包含标记触发脉冲。标记触发脉冲也能触发相机进行图像采集，不同的是，该标记触发脉冲与其余触发脉冲的发送时间间隔不同。标记触发脉冲的数量可以根据实际情况进行设置，优选地，标记触发脉冲可以设置为1个。
例如，其余触发脉冲之间的发送时间间隔可以为0.1秒，则在一个采集周期(1秒)内，包含10个触发脉冲。可以将增加的标记触发脉冲的位置设置在第1个触发脉冲和第2个触发脉冲之间，则该标记触发脉冲的发送时间间隔小于0.1秒，与其余10个触发脉冲的发送时间间隔均不相同。相应地，在一个采集周期内，有11个触发脉冲，相机接收11个触发脉冲，并反馈11个曝光脉冲和11张图像。
步骤120，基于各个曝光脉冲的接收时间间隔，从各个曝光脉冲中确定标记触发脉冲对应的标记曝光脉冲。
具体地，由于每一曝光脉冲是根据每一触发脉冲产生的，因此，各个曝光脉冲的接收时间间隔也会与各个触发脉冲的发送时间间隔呈现相同的时间规律。标记曝光脉冲是根据标记触发脉冲产生的。根据标记触发脉冲的发送时间间隔，能够确定标记曝光脉冲的接收时间间隔。
例如，在一个采集周期中，标记触发脉冲位于第1个触发脉冲和第2个触发脉冲之间，其发送时间间隔为0.05秒，而其余触发脉冲的发送时间间隔为0.1秒。则相应地，标记曝光脉冲的接收时间间隔也为0.05秒，其余曝光脉冲的接收时间间隔为0.1秒。根据此规律，可以在接收到的曝光脉冲中确定标记曝光脉冲。
步骤130，基于标记触发脉冲和标记曝光脉冲的对应关系，以及各个曝光脉冲和图像的对应关系，确定各个图像对应的触发脉冲。
具体地，由于一个采集周期中，标记触发脉冲和标记曝光脉冲是相互对应的，可以确定各个触发脉冲和各个曝光脉冲之间的对应关系。进而根据各个曝光脉冲和图像的对应关系，确定各个图像对应的触发脉冲。
例如，根据标记触发脉冲和其余触发脉冲之间的发送时间间隔，可以确定标记触发脉冲与其余触发脉冲之间的位置关系，进而确定标记曝光脉冲与其余曝光脉冲之间的位置关系。根据标记触发脉冲和标记曝光脉冲的对应关系，将各个触发脉冲与各个曝光脉冲一一对应，进而确定各个图像对应的触发脉冲。
步骤140，基于各个图像对应触发脉冲的发送时间，以及各个图像的曝光时长，确定各个图像的采集时间。
具体地，各个图像的曝光时长可以由数据处理系统从图像中直接读取，再根据各个图像对应触发脉冲的发送时间，可以得到各个图像的采集时间。
例如，一个采集周期内任一触发脉冲i的发送时间为Ti。相机接收该触发脉冲并反馈曝光脉冲的过程中的时间间隔为T0，该时间间隔主要由相机本身的设备属性确定，通常是固定不变的。根据该触发脉冲i，相机采集图像的曝光时长为Δt，该曝光时长由相机记录并写入图像中，并且可以由数据处理系统读取出来。则该图像的采集时间可以用公式表示为：
Figure BDA0002858444570000071
式中，T为任一触发脉冲i对应的图像的采集时间。
特别地，相机接收该触发脉冲并反馈曝光脉冲的过程中的时间间隔T0较短，可以忽略不计。
在一个采集周期内，11个触发脉冲的发送时间可以记为{T1，T2，…，T11}。若该采集周期内，每一图像的曝光时长为Δt，忽略相机接收触发脉冲并反馈曝光脉冲的过程中的时间间隔T0，则该采集周期内采集得到的11张图像的采集时间可以确定为：
Figure BDA0002858444570000072
此外，为了获得更好的图像采集效果，还可以对相机的曝光时间进行设置，即每一张图像的曝光时长Δt是可以根据实际情况进行设置的。
现有技术中，由于数据传输延时或者数据传输噪声的影响，使得每一曝光脉冲的接收时间是不准确的。本申请实施例中的方案采用每一触发脉冲的发送时间为基准，确定各个图像的采集时间。由于触发脉冲的发送时间可以精准确定，所以各个图像的采集时间也是准确的。即使在图像的传输过程中出现了丢帧，也可以根据各个图像与触发脉冲之间的对应关系确定传输的图像及其采集时间。
本申请实施例提供的数据采集方法，根据标记触发脉冲和标记曝光脉冲的对应关系，以及各个曝光脉冲和图像的对应关系，确定各个图像对应的触发脉冲，进而根据各个图像对应触发脉冲的发送时间，以及各个图像的曝光时长，确定各个图像的采集时间，由于各个图像的采集时间是以触发脉冲的发送时间为基准确定的，触发脉冲的发送时间可以根据数据处理系统进行精准地确定，降低了数据传输延时和数据传输噪声的干扰，提高了图像的采集时间的准确性，提高了图像数据的可靠性。
基于上述实施例，其余触发脉冲的发送时间间隔相等。
具体地，可以对触发脉冲的发送时间间隔进行设置，使得其余触发脉冲的发送时间间隔均相等。对于标记触发脉冲，则可以根据实际需要将其设置在任意两个其余触发脉冲之间。
相应地，其余触发脉冲对应的曝光脉冲的接收时间间隔也是相等的。根据曝光脉冲的接收时间间隔，可以判断数据传输中的延时情况和判断图像是否发生丢失。
本申请提供的数据采集方法，其余触发脉冲的发送时间间隔相等，使得标记触发脉冲易于辨认和识别，同时还可以根据触发脉冲对应的曝光脉冲的接收时间间隔判断数据传输情况。
图2为本申请提供的数据采集中的脉冲波形示意图，如图2所示，数据采集是根据PPS(Pulse Per Second，秒脉冲)信号确定的。t1，t2和t3分别是第1至第3采集周期的PPS信号的上升沿时间。t4，t5和t6分别是对第1至第3采集周期对应的GPRMC(推荐定位信息)信号解析后得到的时间，采集周期的长度可以设置为1秒。
其中，在第1个采集周期内，包含10个触发脉冲。触发脉冲的发送时间间隔均为0.1秒。可以将增加的标记触发脉冲的位置设置在第1个触发脉冲和第2个触发脉冲之间。相应地，标记曝光脉冲的位置设置在第1个曝光脉冲和第2个曝光脉冲之间。根据标记触发脉冲和标记曝光脉冲的对应关系，以及各个曝光脉冲和图像的对应关系，确定各个图像对应的触发脉冲。
对于GPRMC信号和PPS信号，由于通过串口传输会存在一定的延时，而且GPRMC开始传输时间与PPS上升沿时间之间的时差不是固定不变的，因此，想得到精确的PPS信号上升沿时间，需要消除串口传输延时。此时，可以根据设定的采集周期时间，以及GPRMC信号，确定采集周期PPS信号的上升沿时间，即下一采集周期PPS信号的上升沿时间等于上一采集周期对应的GPRMC信号的解析时间与采集周期的和。例如，t2＝t4+1，t3＝t5+1等。
基于上述任一实施例，图3为本申请提供的时间同步方法的流程示意图，如图3所示，该方法包括：
步骤310，确定图像的采集时间；
步骤320，确定点云数据的采集时间；
步骤330，若该图像的采集时间与该点云数据的采集时间相同，对该图像和该点云数据进行时间同步；
其中，该图像的采集时间是基于上述实施例中的数据采集方法确定的。
具体地，本申请实施例中时间同步方法的执行主体为数据处理系统。该数据处理系统与若干个相机连接，接收每一相机发送的图像，并确定每一图像的采集时间。该数据处理系统与若干个激光雷达连接，接收每一激光雷达发送的点云数据。点云数据的采集时间可以由激光雷达内部的时钟源确定，也可以由该数据处理系统确定。
如果任一图像的采集时间和任一点云数据的采集时间相同，则可以对该图像和该点云数据进行时间同步，经过时间同步处理后，可以对该图像和该点云数据进行数据融合。例如，如果该图像和该点云数据是对同一目标物体采集后得到的，则可以将该点云数据投影到该图像中，确定该目标物体在图像中的位置坐标等。
本申请提供的时间同步方法，通过确定图像的采集时间和点云数据的采集时间，对采集时间相同的图像和点云数据进行时间同步，使得数据处理系统能够精准地对数据进行时间同步，提高了数据的可靠性。
基于上述任一实施例，图4为本申请提供的点云数据采集时间确定方法的流程示意图，如图4所示，步骤320包括：
步骤3201，确定携带有同步时钟信号的数据采集指令；
步骤3202，将数据采集指令发送至至少两个激光雷达，以触发各个激光雷达基于同步时钟信号进行点云数据采集并回传。
具体地，同步时钟信号为触发多个传感器进行数据同步采集的时钟信号。同步时钟信号可以为远程时钟信号，例如接收到的GPS(Global Positioning System，全球定位系统)时钟信号，也可以为本地时钟信号，例如晶体振荡器产生的时钟信号。数据采集指令为触发各个传感器进行数据采集的指令。
将数据采集指令发送至至少两个激光雷达，触发各个激光雷达同时进行点云数据采集，并将采集得到的点云数据回传。
本申请提供的时间同步方法，采用携带有同步时钟信号的数据采集指令触发多个激光雷达进行数据采集和回传，使得多个激光雷达能够共同基于同步时钟信号进行点云数据的采集，减小了各个激光雷达采集的点云数据之间的时间差，提高了点云数据的可靠性，同时提高了数据处理的准确性和便捷性。
基于上述任一实施例，激光雷达采用冗余的RS422总线接收数据采集指令。
具体地，大型车辆可以配置多个激光雷达。在大型车辆的自动驾驶方案中，由于各个激光雷达距离较远，同步时钟信号可能无法支持远距离传输，例如GPRMC(推荐定位信息)和PPS，使得各个激光雷达无法接收到同步时钟信号，或者接收到的同步时钟信号延时较大。
因此，激光雷达可以采用冗余的RS422总线接收携带有同步时钟信号的数据采集指令。RS422总线采用全双工通信的方式，最大传输速率为10Mb/s，最大传输距离约1219米，可以有效地保证数据传输的实时性。
图5为本申请提供的激光雷达的接线示意图，如图5所示，激光雷达2距离FPGA时间同步板距离较远，采用两路冗余的RS422总线与FPGA时间同步板连接，一路采用RS232接口转接RS422总线，一路采用TTL接口转接RS422总线，通过该连接方式实现GPRMC信号和PPS信号的增程传输，经过测试，与激光雷达1接收时钟信号的时间相比，激光雷达2接收时钟信号的延时约1us，相比于现有技术，该方案大幅度地减小了数据传输延时，提高了数据传输的实时性。
基于上述任一实施例，图6为本申请提供的同步时钟信号校准方法的流程示意图，如图6所示，步骤3201之前包括：
步骤32001，接收时钟校准信号；
步骤32002，基于时钟校准信号，对本地时钟信号进行校准；
步骤32003，基于校准后的本地时钟信号，确定同步时钟信号。
具体地，此处的本地时钟信号为数据处理系统的内部时钟源发出的时钟信号。可以基于外部的时钟信号对本地时钟信号进行校准。例如，当GPS信号稳定时，可以将GPS提供的时钟信号作为时钟校准信号，对本地时钟信号进行校准。校准完毕之后，当GPS信号丢失时，内置的时钟源会保持输出高精度的本地时钟信号。
还可以对时间校准的频率进行设置，使得执行上述时钟校准方法的装置中内置的时钟源一直保持准确状态。
可以将校准后的本地时钟信号作为同步时钟信号。
可以利用定位系统提供的精准授时服务，实现对本地时钟信号的校准。定位系统包括GPS或者北斗系统(BeiDou Navigation Satellite System，BDS)。
图7为本申请提供的数据处理系统的工作示意图，如图7所示，该系统安装在车辆上，包括GNSS(Global Navigation Satellite System，全球导航卫星系统)板卡、FPGA(Field Programmable Gate Array，现场可编程门阵列)时间同步板、激光雷达、计算单元和相机组成。该系统还可以包括其他传感器，例如超声波和毫米波。其他传感器可以通过CAN总线方式传输探测到的障碍物信号。通常，由计算单元在接收到数据的同时将系统时间加入到数据上。
该系统上电时，由GNSS板卡接收卫星授时信号，将GPRMC信号和PPS信号发给FPGA时间同步板，由FPGA时间同步板将GPRMC信号和PPS信号转发至激光雷达进行时间同步处理，同时触发相机进行拍照并接受相机输出的曝光脉冲，记录相机曝光脉冲的接收时间。
车辆行驶在无卫星信号地区时，GNSS板卡会通过内部晶振计算实时时间并继续发出GPRMC信号和PPS信号，FPGA时间同步板直接进行转发。
当车辆行驶过程中出现GNSS板卡停止输出GPRMC信号或PPS信号时，由FPGA时间同步板内部精度且稳定的晶振进行时间计时，保证时间的连续性，在GNSS板卡启动首次授时后，FPGA在不断电情况下即可稳定实现系统时间，进行数据采集和时间同步工作，不再受到GNSS板卡输出影响。
下面对本申请提供的数据采集装置进行描述，下文描述的数据采集装置与上文描述的数据采集方法可相互对应参照。
基于上述任一实施例，图8为本申请提供的数据采集装置的结构示意图，如图8所示，该装置包括：
数据接收单元810，用于接收相机基于各个触发脉冲反馈的曝光脉冲和图像；各个触发脉冲中包含标记触发脉冲，标记触发脉冲与其余触发脉冲的发送时间间隔不同；
脉冲标记单元820，用于基于各个曝光脉冲的接收时间间隔，从各个曝光脉冲中确定标记触发脉冲对应的标记曝光脉冲；
脉冲对应单元830，用于基于标记触发脉冲和标记曝光脉冲的对应关系，以及各个曝光脉冲和图像的对应关系，确定各个图像对应的触发脉冲；
时间确定单元840，用于基于各个图像对应触发脉冲的发送时间，以及各个图像的曝光时长，确定各个图像的采集时间。
具体地，数据接收单元810用于接收相机基于各个触发脉冲反馈的曝光脉冲和图像，脉冲标记单元820用于确定标记触发脉冲对应的标记曝光脉冲，脉冲对应单元830用于确定各个图像对应的触发脉冲，时间确定单元840用于确定各个图像的采集时间。
本申请实施例提供的数据采集装置，根据标记触发脉冲和标记曝光脉冲的对应关系，以及各个曝光脉冲和图像的对应关系，确定各个图像对应的触发脉冲，进而根据各个图像对应触发脉冲的发送时间，以及各个图像的曝光时长，确定各个图像的采集时间，由于各个图像的采集时间是以触发脉冲的发送时间为基准确定的，触发脉冲的发送时间可以根据数据处理系统进行精准地确定，降低了数据传输延时和数据传输噪声的干扰，提高了图像的采集时间的准确性，提高了图像数据的可靠性。
基于上述任一实施例，其余触发脉冲的发送时间间隔相等。
下面对本申请提供的时间同步装置进行描述，下文描述的时间同步装置与上文描述的时间同步方法可相互对应参照。
基于上述任一实施例，图9为本申请提供的时间同步装置的结构示意图，如图9所示，该装置包括：
图像时间确定单元910，用于确定图像的采集时间；
点云时间确定单元920，用于确定点云数据的采集时间；
时间同步单元930，用于若该图像的采集时间与该点云数据的采集时间相同，则对该图像和该点云数据进行时间同步；
其中，该图像的采集时间是基于上述实施例中的数据采集装置确定的。
本申请实施例提供的时间同步装置，通过确定图像的采集时间和点云数据的采集时间，对采集时间相同的图像和点云数据进行时间同步，使得数据处理系统能够精准地对数据进行时间同步，提高了数据的可靠性。
基于上述任一实施例，图10为本申请提供的点云时间确定单元的结构示意图，如图10所示，点云时间确定单元920包括：
指令确定子单元9201，用于确定携带有同步时钟信号的数据采集指令；
指令发送子单元9202，用于将数据采集指令发送至至少两个激光雷达，以触发各个激光雷达基于同步时钟信号进行点云数据采集并回传。
基于上述任一实施例，激光雷达采用冗余的RS422总线接收数据采集指令。
基于上述任一实施例，该装置还包括时钟校准单元，时钟校准单元用于：
接收时钟校准信号；
基于时钟校准信号，对本地时钟信号进行校准；
基于校准后的本地时钟信号，确定同步时钟信号。
基于上述任一实施例，图11为本申请提供的电子设备的结构示意图，如图11所示，该电子设备可以包括：处理器(Processor)1110、通信接口(Communications Interface)1120、存储器(Memory)1130和通信总线(Communications Bus)1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑命令，以执行如下方法：
接收相机基于各个触发脉冲反馈的曝光脉冲和图像；各个触发脉冲中包含标记触发脉冲，标记触发脉冲与其余触发脉冲的发送时间间隔不同；基于各个曝光脉冲的接收时间间隔，从各个曝光脉冲中确定标记触发脉冲对应的标记曝光脉冲；基于标记触发脉冲和标记曝光脉冲的对应关系，以及各个曝光脉冲和图像的对应关系，确定各个图像对应的触发脉冲；基于各个图像对应触发脉冲的发送时间，以及各个图像的曝光时长，确定各个图像的采集时间。
或者，确定图像的采集时间；确定点云数据的采集时间；若该图像的采集时间与该点云数据的采集时间相同，则对该图像和该点云数据进行时间同步；其中，该图像的采集时间是数据采集方法确定的。
此外，上述的存储器1130中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器可以调用存储器中的逻辑指令，实现上述数据采集方法或时间同步方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本申请实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：
接收相机基于各个触发脉冲反馈的曝光脉冲和图像；各个触发脉冲中包含标记触发脉冲，标记触发脉冲与其余触发脉冲的发送时间间隔不同；基于各个曝光脉冲的接收时间间隔，从各个曝光脉冲中确定标记触发脉冲对应的标记曝光脉冲；基于标记触发脉冲和标记曝光脉冲的对应关系，以及各个曝光脉冲和图像的对应关系，确定各个图像对应的触发脉冲；基于各个图像对应触发脉冲的发送时间，以及各个图像的曝光时长，确定各个图像的采集时间。
或者，确定图像的采集时间；确定点云数据的采集时间；若该图像的采集时间与该点云数据的采集时间相同，则对该图像和该点云数据进行时间同步；其中，该图像的采集时间是数据采集方法确定的。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述数据采集方法或时间同步方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种数据采集方法，其特征在于，包括：
接收相机基于各个触发脉冲反馈的曝光脉冲和图像；所述各个触发脉冲中包含标记触发脉冲，所述标记触发脉冲与其余触发脉冲的发送时间间隔不同，所述其余触发脉冲的发送时间间隔相等，所述标记触发脉冲用于触发所述相机进行图像采集；
基于各个曝光脉冲的接收时间间隔，从所述各个曝光脉冲中确定所述标记触发脉冲对应的标记曝光脉冲；
基于所述标记触发脉冲和所述标记曝光脉冲的对应关系，以及各个曝光脉冲和图像的对应关系，确定各个图像对应的触发脉冲；
基于各个图像对应触发脉冲的发送时间，以及各个图像的曝光时长，确定各个图像的采集时间。
2.一种时间同步方法，其特征在于，包括：
确定图像的采集时间；
确定点云数据的采集时间；
若所述图像的采集时间与所述点云数据的采集时间相同，则对所述图像和所述点云数据进行时间同步；
其中，所述图像的采集时间是基于权利要求1所述的数据采集方法确定的。
3.根据权利要求2所述的时间同步方法，其特征在于，所述确定点云数据的采集时间，包括：
确定携带有同步时钟信号的数据采集指令；
将所述数据采集指令发送至至少两个激光雷达，以触发所述至少两个激光雷达基于所述同步时钟信号进行点云数据采集并回传。
4.根据权利要求3所述的时间同步方法，其特征在于，所述激光雷达采用冗余的RS422总线接收所述数据采集指令。
5.根据权利要求3所述的时间同步方法，其特征在于，所述确定携带有同步时钟信号的数据采集指令，之前包括：
接收时钟校准信号；
基于所述时钟校准信号，对本地时钟信号进行校准；
基于校准后的本地时钟信号，确定所述同步时钟信号。
6.一种数据采集装置，其特征在于，包括：
数据接收单元，用于接收相机基于各个触发脉冲反馈的曝光脉冲和图像；所述各个触发脉冲中包含标记触发脉冲，所述标记触发脉冲与其余触发脉冲的发送时间间隔不同，所述其余触发脉冲的发送时间间隔相等，所述标记触发脉冲用于触发所述相机进行图像采集；
脉冲标记单元，用于基于各个曝光脉冲的接收时间间隔，从所述各个曝光脉冲中确定所述标记触发脉冲对应的标记曝光脉冲；
脉冲对应单元，用于基于所述标记触发脉冲和所述标记曝光脉冲的对应关系，以及各个曝光脉冲和图像的对应关系，确定各个图像对应的触发脉冲；
时间确定单元，用于基于各个图像对应触发脉冲的发送时间，以及各个图像的曝光时长，确定各个图像的采集时间。
7.一种时间同步装置，其特征在于，包括：
图像时间确定单元，用于确定图像的采集时间；
点云时间确定单元，用于确定点云数据的采集时间；
时间同步单元，用于若所述图像的采集时间与所述点云数据的采集时间相同，则对所述图像和所述点云数据进行时间同步；
其中，所述图像的采集时间是基于权利要求6所述的数据采集装置确定的。
8.根据权利要求7所述的时间同步装置，其特征在于，所述点云时间确定单元包括：
指令确定子单元，用于确定携带有同步时钟信号的数据采集指令；
指令发送子单元，用于将所述数据采集指令发送至至少两个激光雷达，以触发所述至少两个激光雷达基于所述同步时钟信号进行点云数据采集并回传。
9.根据权利要求8所述的时间同步装置，其特征在于，所述激光雷达采用冗余的RS422总线接收所述数据采集指令。
10.根据权利要求8所述的时间同步装置，其特征在于，还包括时钟校准单元，所述时钟校准单元用于：
接收时钟校准信号；
基于所述时钟校准信号，对本地时钟信号进行校准；
基于校准后的本地时钟信号，确定所述同步时钟信号。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1所述的数据采集方法，或者如权利要求2至5任一项所述的时间同步方法的步骤。
12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1所述的数据采集方法，或者如权利要求2至5任一项所述的时间同步方法的步骤。
CN202011554097.2A 2020-12-24 2020-12-24 数据采集和时间同步方法、装置、电子设备及存储介质 Active CN112865902B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011554097.2A CN112865902B (zh) 2020-12-24 2020-12-24 数据采集和时间同步方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011554097.2A CN112865902B (zh) 2020-12-24 2020-12-24 数据采集和时间同步方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112865902A CN112865902A (zh) 2021-05-28
CN112865902B true CN112865902B (zh) 2023-06-23

Family

ID=75996701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011554097.2A Active CN112865902B (zh) 2020-12-24 2020-12-24 数据采集和时间同步方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112865902B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113985389B (zh) * 2021-09-30 2024-02-09 苏州浪潮智能科技有限公司 一种时间同步校准装置、自动识别路径设备、方法及介质
CN113922910B (zh) * 2021-10-09 2023-09-19 广东汇天航空航天科技有限公司 传感器时间同步处理方法、装置和系统
CN114827173B (zh) * 2022-04-20 2023-10-10 美的集团(上海)有限公司 数据同步系统、方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270567A (zh) * 2014-09-11 2015-01-07 深圳市南航电子工业有限公司 高精度同步的多路图像采集系统及其时间同步方法
CN107014296A (zh) * 2017-03-30 2017-08-04 中国铁道科学研究院 综合巡检车接触网巡检系统高速定位触发方法及装置
CN108881727A (zh) * 2018-07-26 2018-11-23 中国科学院紫金山天文台 一种远程事件同步设备
CN110198415A (zh) * 2019-05-26 2019-09-03 初速度（苏州）科技有限公司 一种图像时间戳的确定方法和装置
CN110567453A (zh) * 2019-08-21 2019-12-13 北京理工大学 仿生眼多通道imu与相机硬件时间同步方法和装置
WO2020113358A1 (en) * 2018-12-03 2020-06-11 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for synchronizing vehicle sensors and devices

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270567A (zh) * 2014-09-11 2015-01-07 深圳市南航电子工业有限公司 高精度同步的多路图像采集系统及其时间同步方法
CN107014296A (zh) * 2017-03-30 2017-08-04 中国铁道科学研究院 综合巡检车接触网巡检系统高速定位触发方法及装置
CN108881727A (zh) * 2018-07-26 2018-11-23 中国科学院紫金山天文台 一种远程事件同步设备
WO2020113358A1 (en) * 2018-12-03 2020-06-11 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for synchronizing vehicle sensors and devices
CN110198415A (zh) * 2019-05-26 2019-09-03 初速度（苏州）科技有限公司 一种图像时间戳的确定方法和装置
CN110567453A (zh) * 2019-08-21 2019-12-13 北京理工大学 仿生眼多通道imu与相机硬件时间同步方法和装置

Also Published As

Publication number Publication date
CN112865902A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112865902B (zh) 数据采集和时间同步方法、装置、电子设备及存储介质
CN111381487B (zh) 多传感器同步授时系统、方法、装置及电子设备
CN112672415B (zh) 多传感器时间同步方法、装置、系统、电子设备及介质
CN109587405B (zh) 时间同步方法和装置
US20180003822A1 (en) Environmental sensing device and information acquiring method applied to environmental sensing device
US9182493B2 (en) Fine time assistance for global navigation satellite systems
CN102882586B (zh) 一种卫星时间同步系统
CN111860604B (zh) 数据融合方法、系统及计算机存储介质
KR101179135B1 (ko) 위성 항법 시각 생성 장치 및 방법
CN110620632A (zh) 一种时间同步方法及装置
CN111585682A (zh) 传感器时间同步方法、装置及终端设备
CN114025055A (zh) 一种数据处理的方法、装置、系统、设备及存储介质
TW201409060A (zh) 同步導航資料的方法、接收機及裝置
TW201409061A (zh) 同步導航資料的方法、接收機及裝置
CN113572556A (zh) 一种时间同步方法、传感器及系统
CN112769516A (zh) 数据同步采集方法、装置、电子设备及存储介质
EP2913690B1 (en) Positioning system and method
EP3264132A1 (en) Pulsed radio timing and propagation correction in spatial measurement
CN112995524A (zh) 高精采集车及其照片曝光信息生成系统、方法和同步装置
CN113922910B (zh) 传感器时间同步处理方法、装置和系统
CN115047464A (zh) 双探头多波束测深方法和装置
TW201409059A (zh) 同步導航資料的方法、接收機及裝置
CA3200304C (en) Clock synchronisation
CN115267789B (zh) 双探头多波束控制方法、装置及多波束探测系统
US20230306728A1 (en) Depth camera assembly, device for collecting depth image and multi-sensor fusion system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant