CN114157382B - 一种光视一体机时间同步控制系统 - Google Patents

一种光视一体机时间同步控制系统 Download PDF

Info

Publication number
CN114157382B
CN114157382B CN202111627538.1A CN202111627538A CN114157382B CN 114157382 B CN114157382 B CN 114157382B CN 202111627538 A CN202111627538 A CN 202111627538A CN 114157382 B CN114157382 B CN 114157382B
Authority
CN
China
Prior art keywords
time
image data
point cloud
point
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111627538.1A
Other languages
English (en)
Other versions
CN114157382A (zh
Inventor
程坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETHIK Group Ltd
Original Assignee
CETHIK Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETHIK Group Ltd filed Critical CETHIK Group Ltd
Priority to CN202111627538.1A priority Critical patent/CN114157382B/zh
Publication of CN114157382A publication Critical patent/CN114157382A/zh
Application granted granted Critical
Publication of CN114157382B publication Critical patent/CN114157382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0602—Systems characterised by the synchronising information used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0602—Systems characterised by the synchronising information used
    • H04J3/0614—Systems characterised by the synchronising information used the synchronising signal being characterised by the amplitude, duration or polarity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0658—Clock or time synchronisation among packet nodes
    • H04J3/0661—Clock or time synchronisation among packet nodes using timestamps

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种光视一体机时间同步控制系统，光视一体机包括激光雷达和摄像头模组，光视一体机时间同步控制系统包括主控制器、激光雷达、摄像头模组和传感器数据融合装置。本发明基于主控制器维护的时间信息产生秒脉冲信号及时间计数器的多传感融合中的高精度时间同步方法，实现了可靠的帧同步方法。

Description

一种光视一体机时间同步控制系统
技术领域
本申请属于智能感知领域，具体涉及一种光视一体机时间同步控制系统。
背景技术
随着半导体技术的发展，带动图像传感器的飞速发展提供了更高分辨率和更高帧率的二维图像数据，激光雷达技术的普及则实现了更高精度的三维测距。可靠的感知来源于多种传感器针对同一被测空间的同时探测。因此实现多种传感器的时间同步成为多传感器融合技术中的基本技术及目标。
现有多传感融合技术中，主要的实现形式为各传感器在完成初始化之后各自独立工作，GPS模块同时分别提供给各传感器同步的时间信息，各传感器依据GPS所提供的时间信息，将感知数据加上时间戳。例如ROS的多传感器时间同步机制Time Synchronizer：通过时间同步器统一接收所有的传感器数据，只有当所有的传感器的时间戳相同时，才产生一个同步结果，因此该机制大大降低了具有时间同步感知结果的可能性。
现有激光雷达多采用机械旋转扫描型或MEMS的微振镜扫描型，扫描型的激光雷达由于机械部件自身旋转特性，无法实现类似于半导体器件一样的精确控制，因此，激光雷达的扫描频率总是在一个范围内波动，随着时间的累积，积分非线性将带来较大的误差，这是造成多传感融合过程中的时间同步精度差的主要原因。并且现有技术所实现的多传感融合中，由于各种设备之间的晶振工作频率不一致，稳定性不够，带来的直接后果就是传感器之间的时间同步精度差，甚至无法实现时间同步。
发明内容
本申请的目的在于提供一种光视一体机时间同步控制系统，时间高精度的时间匹配。
为实现上述目的，本申请所采取的技术方案为：
一种光视一体机时间同步控制系统，所述光视一体机包括激光雷达和摄像头模组，所述光视一体机时间同步控制系统包括主控制器、所述激光雷达、所述摄像头模组和传感器数据融合装置，其中：
所述主控制器，用于维护自身的时间信息，根据自身的时间信息同步产生秒脉冲信号以及时间计数器，并向所述激光雷达输出时间信息和时间计数器，向所述摄像头模组输出秒脉冲信号；
所述激光雷达，用于接收主控制器输出的时间信息和时间计数器，基于时间信息和时间计数器维护的时间为采集的每帧点云数据加上时间戳，并将加上时间戳后的点云数据发送至所述传感器数据融合装置；
所述摄像头模组，用于根据主控制器发送的秒脉冲信号进行图像采集，并将采集的每帧图像数据反馈至所述主控制器；
所述主控制器，还用于基于自身维护的时间信息为所述摄像头模组反馈的每帧图像数据加上时间戳，并将加上时间戳后的图像数据发送至所述传感器数据融合装置；
所述传感器数据融合装置，用于接收激光雷达发送的点云数据和摄像头模组发送的图像数据，并对具有相同时间戳的点云数据和图像数据进行数据融合。
以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
作为优选，所述传感器数据融合装置，对具有相同时间戳的点云数据和图像数据进行数据融合，包括：
基于曝光时区跨度，判断具有相同时间戳的点云数据和图像数据是否时间同步，若时间不同步则结束本次数据融合；
否则进一步基于激光雷达的体素点和摄像头模组的像素点，判断具有相同时间戳的点云数据和图像数据是否时间同步，若时间不同步则结束本次数据融合；否则进行数据融合。
作为优选，所述光视一体机为全局曝光型光视一体机，则所述摄像头模组为全局摄像头模组，所述激光雷达为扫描型激光雷达；
所述基于曝光时区跨度，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：
令一帧图像数据的曝光时间跨度为
令一帧点云数据的曝光时间跨度为
若在/>范围之内，则当前具有相同时间戳的点云数据和图像数据时间同步；反之当前具有相同时间戳的点云数据和图像数据时间不同步。
作为优选，所述基于激光雷达的体素点和摄像头模组的像素点，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：
对一帧点云数据中的每一个体素点进行标号，并根据点云数据的时间戳为每一个体素点标定出相对的曝光时刻；
对一帧图像数据中的每一个像素点进行标号，并根据图像数据的时间戳为每一个像素点标定出相对的曝光时刻；
取当前帧图像数据的帧起始时刻为曝光延迟时刻为/>则查询曝光时刻位于/>至/>时间范围内的体素点；
根据查询到的体素点的标号找出标号相对应的像素点，若所查询到的体素点和所找到的像素点的曝光时刻相同，则表示具有相同时间戳的点云数据和图像数据是否时间同步；否则时间不同步。
作为优选，所述光视一体机为卷帘曝光型光视一体机，则所述摄像头模组为卷帘摄像头模组，所述激光雷达为扫描型激光雷达；
所述基于曝光时区跨度，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：
令一帧图像数据的曝光时间跨度为
令一帧点云数据的曝光时间跨度为
若和/>的范围存在交叉，且/>和/>的相对起始位置小于一列点云数据的曝光时间跨度，则当前具有相同时间戳的点云数据和图像数据时间同步；反之当前具有相同时间戳的点云数据和图像数据时间不同步。
作为优选，所述基于激光雷达的体素点和摄像头模组的像素点，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：
对一帧点云数据中的每一个体素点进行标号，并根据点云数据的时间戳为每一个体素点标定出相对的曝光时刻；
对一帧图像数据中的每一个像素点进行标号，并根据图像数据的时间戳为每一个像素点标定出相对的曝光时刻；
取当前帧图像数据的帧起始时刻为曝光延迟时刻为/>第n列像素点的曝光时刻为/>则查询曝光时刻位于/>至/>时间范围内的体素点；
根据查询到的体素点的标号找出标号相对应的像素点，若所找出的像素点正好位于第n列，则此列像素点与体素点匹配成功；否则此列像素点与体素点匹配不成功；
遍历图像数据中的每一列像素点，若匹配成功的比例大于阈值，则表示具有相同时间戳的点云数据和图像数据是否时间同步；否则时间不同步。
本申请提供的光视一体机时间同步控制系统，通过主控制器维护的时间信息产生秒脉冲信号及时间计数器实现多传感器数据融合中的高精度时间同步。具体实现激光雷达与摄像头每帧图像之间的时间同步，以及激光雷达体素点与摄像头的像素点之间的时间同步。
附图说明
图1为本申请的光视一体机时间同步控制系统的结构示意图；
图2为本申请全局曝光型光视一体机曝光相对时区示意图；
图3为本申请光视一体机体素点与像素点曝光相对示意图；
图4为本申请卷帘曝光型光视一体机曝光相对时区示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。
本实施例基于主控制器维护的时间信息产生秒脉冲信号及时间计数器的多传感融合中的高精度时间同步方法，实现了可靠的帧同步方法。
如图1所示，本实施例的光视一体机包括激光雷达和摄像头模组，因此光视一体机时间同步控制系统包括主控制器、所述激光雷达、所述摄像头模组和传感器数据融合装置。
主控制器，用于维护自身的时间信息，根据自身的时间信息同步产生秒脉冲信号以及时间计数器，并向所述激光雷达输出时间信息和时间计数器，向所述摄像头模组输出秒脉冲信号；
激光雷达，用于接收主控制器输出的时间信息和时间计数器，基于时间信息和时间计数器维护的时间为采集的每帧点云数据加上时间戳，并将加上时间戳后的点云数据发送至所述传感器数据融合装置；
摄像头模组，用于根据主控制器发送的秒脉冲信号进行图像采集，并将采集的每帧图像数据反馈至所述主控制器；
主控制器，还用于基于自身维护的时间信息为所述摄像头模组反馈的每帧图像数据加上时间戳，并将加上时间戳后的图像数据发送至所述传感器数据融合装置；
传感器数据融合装置，用于接收激光雷达发送的点云数据和摄像头模组发送的图像数据，并对具有相同时间戳的点云数据和图像数据进行数据融合。
即本实施例的光视一体机时间同步控制系统的一种工作流程为：
1)系统在上电完成初始化，摄像头模组进入掉电模式；
2)配置主控制器进入工作状态，完成时间的维护并输出时间信息、秒脉冲信号及时间计数器；
3)配置激光雷达工作参数，进入工作状态，激光雷达根据接收到主控制器发送的时间信息和时间计数器，为每帧的点云数据加上时间戳；
4)主控制器根据自身维护的的时间信息和秒脉冲信号，唤醒摄像头，摄像头模组完成相应帧数的图像采集之后，譬如20帧之后(所述摄像头的帧率初始化配置应大于20帧)重新进入掉电模式，等待下一次秒脉冲信号的到来；
5)主控制器接收摄像头模组采集的图像数据，并将主控制器维护的时间信息作为时间戳加入图像数据。
本实施例由于摄像头模组是根据秒脉冲信号进行唤醒操作，因此每秒钟的图像起始精度主要由秒脉冲信号决定。
为了保证数据融合具有高精度的时间同步，保证数据融合的有效性，本实施例在进行数据融合之前先基于曝光时区跨度，判断具有相同时间戳的点云数据和图像数据是否时间同步，若时间不同步则结束本次数据融合；
否则进一步基于激光雷达的体素点和摄像头模组的像素点，判断具有相同时间戳的点云数据和图像数据是否时间同步，若时间不同步则结束本次数据融合；否则进行数据融合。
经过对帧时间和像素时间的双重同步判断，能够将用于数据融合的数据的时间保持高同步性。需要说明的是，传感器数据融合装置进行的数据融合操作为激光雷达和摄像头数据融合的常规操作，其具体的数据融合步骤不做作本申请的重点，在此不再进行详述。
根据摄像头模组的类型的不同，光视一体机可分为全局曝光型光视一体机和卷帘曝光型光视一体机，以下根据不同类型的光视一体机对诊时间和像素时间的同步判断进行详述。
(一)光视一体机为全局曝光型光视一体机，则所述摄像头模组为全局摄像头模组，所述激光雷达为扫描型激光雷达。
如图2所示，基于曝光时区跨度，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：
令一帧图像数据的曝光时间跨度为
令一帧点云数据的曝光时间跨度为
摄像头一帧图像全局曝光时区跨度较小，扫描型激光雷达一帧点云数据曝光时区跨度较大，即远大于/>全局曝光型的摄像头曝光时区应该包含在激光雷达一帧点云数据曝光时区方位内。因此若/>在/>范围之内，则当前具有相同时间戳的点云数据和图像数据时间同步；反之当前具有相同时间戳的点云数据和图像数据时间不同步。
如图3所示，光视一体机中激光雷达体素点和摄像头的像素点是一对多的关系，主要是由于摄像头的像素分辨率远高于激光雷达的分辨率，因此几个像素点和激光雷达的一个体素点对应。因此基于激光雷达的体素点和摄像头模组的像素点，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：
对一帧点云数据中的每一个体素点进行标号，并根据点云数据的时间戳为每一个体素点标定出相对的曝光时刻；其中一维扫描型激光雷达的每列体素点的曝光时刻是一致的。二维扫描型激光雷达的每个体素点的曝光时刻均由标定给出相对时间。
对一帧图像数据中的每一个像素点进行标号，并根据图像数据的时间戳为每一个像素点标定出相对的曝光时刻；
取当前帧图像数据的帧起始时刻为曝光延迟时刻为/>则查询曝光时刻位于/>至/>时间范围内的体素点；
根据查询到的体素点的标号找出标号相对应的像素点，若所查询到的体素点和所找到的像素点的曝光时刻相同，则表示具有相同时间戳的点云数据和图像数据是否时间同步；否则时间不同步。
即本实施例的摄像头全局曝光模式下：所有像素点的曝光时间均为同一时刻，即帧起始时刻为曝光延迟时刻为/>则曝光时刻为/>然后查询对应时间范围内的体素点的曝光时刻，根据查询到的体素点标号，再找出对应的像素点标号，将像素点和体素点进行比对，即可实现该体素点对应位置的信息融合同步，将此体素点即可作为融合基准。
(二)光视一体机为卷帘曝光型光视一体机，则所述摄像头模组为卷帘摄像头模组，所述激光雷达为扫描型激光雷达。
如图4所示，则基于曝光时区跨度，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：
令一帧图像数据的曝光时间跨度为
令一帧点云数据的曝光时间跨度为通常/>
若和/>的范围存在交叉，且/>和/>的相对起始位置小于一列点云数据的曝光时间跨度，则当前具有相同时间戳的点云数据和图像数据时间同步；反之当前具有相同时间戳的点云数据和图像数据时间不同步。
基于激光雷达的体素点和摄像头模组的像素点，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：
对一帧点云数据中的每一个体素点进行标号，并根据点云数据的时间戳为每一个体素点标定出相对的曝光时刻；
对一帧图像数据中的每一个像素点进行标号，并根据图像数据的时间戳为每一个像素点标定出相对的曝光时刻；
取当前帧图像数据的帧起始时刻为曝光延迟时刻为/>第n列像素点的曝光时刻为/>则查询曝光时刻位于/>至/>时间范围内的体素点；
根据查询到的体素点的标号找出标号相对应的像素点，若所找出的像素点正好位于第n列，则此列像素点与体素点匹配成功；否则此列像素点与体素点匹配不成功；
遍历图像数据中的每一列像素点，若匹配成功的比例大于阈值，则表示具有相同时间戳的点云数据和图像数据是否时间同步；否则时间不同步。
即本实施例的摄像头卷帘曝光模式下：每列像素处于同一曝光时刻，每列之间的曝光时刻间隔是固定的，譬如帧起始时刻为每列曝光延迟时刻为/>则第n列的曝光时刻为/>然后查询对应时间范围内的体素点的曝光时刻，根据查询到的体素点标号，再找出对应的像素点标号，如果该像素点标号正好在第n列像素的曝光时刻，那么即表明此体素点为融合基准点，否则再寻找下一列像素对应的体素点，如果所有位置都寻找完毕，无对应的体素点，则此帧图像为非曝光时间同步点，最后根据所匹配的像素点和体素点的比例，进行最终的时间同步判据。
本实施例在进行数据融合之前根据不仅对帧时间进行判断，还进一步根据像素时间进行判断，为摄像头像素点与激光雷达体素点实现多对一配准(图像分辨率一般远高于激光雷达的空间分辨率)，针对每一个像素点，依据曝光时刻标定出相对的曝光时间，针对每一个体素点，依据曝光时刻标定出相对的曝光时间，像素点的时间如果与体素点的曝光时间一致，则表明此点具有有效的数据融合结果，反之，则表明数据融合结果不可信，从而保证数据融合的有效性，正在实现数据的时间同步。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种光视一体机时间同步控制系统，所述光视一体机包括激光雷达和摄像头模组，其特征在于，所述光视一体机时间同步控制系统包括主控制器、所述激光雷达、所述摄像头模组和传感器数据融合装置，其中：
所述主控制器，用于维护自身的时间信息，根据自身的时间信息同步产生秒脉冲信号以及时间计数器，并向所述激光雷达输出时间信息和时间计数器，向所述摄像头模组输出秒脉冲信号；
所述激光雷达，用于接收主控制器输出的时间信息和时间计数器，基于时间信息和时间计数器维护的时间为采集的每帧点云数据加上时间戳，并将加上时间戳后的点云数据发送至所述传感器数据融合装置；
所述摄像头模组，用于根据主控制器发送的秒脉冲信号进行图像采集，并将采集的每帧图像数据反馈至所述主控制器；
所述主控制器，还用于基于自身维护的时间信息为所述摄像头模组反馈的每帧图像数据加上时间戳，并将加上时间戳后的图像数据发送至所述传感器数据融合装置；
所述传感器数据融合装置，用于接收激光雷达发送的点云数据和摄像头模组发送的图像数据，并对具有相同时间戳的点云数据和图像数据进行数据融合；
其中，所述传感器数据融合装置，对具有相同时间戳的点云数据和图像数据进行数据融合，包括：
基于曝光时区跨度，判断具有相同时间戳的点云数据和图像数据是否时间同步，若时间不同步则结束本次数据融合；
否则进一步基于激光雷达的体素点和摄像头模组的像素点，判断具有相同时间戳的点云数据和图像数据是否时间同步，若时间不同步则结束本次数据融合；否则进行数据融合。
2.如权利要求1所述的光视一体机时间同步控制系统，其特征在于，所述光视一体机为全局曝光型光视一体机，则所述摄像头模组为全局摄像头模组，所述激光雷达为扫描型激光雷达；
所述基于曝光时区跨度，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：
令一帧图像数据的曝光时间跨度为；
令一帧点云数据的曝光时间跨度为；
若在/>范围之内，则当前具有相同时间戳的点云数据和图像数据时间同步；反之当前具有相同时间戳的点云数据和图像数据时间不同步。
3.如权利要求2所述的光视一体机时间同步控制系统，其特征在于，所述基于激光雷达的体素点和摄像头模组的像素点，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：
对一帧点云数据中的每一个体素点进行标号，并根据点云数据的时间戳为每一个体素点标定出相对的曝光时刻；
对一帧图像数据中的每一个像素点进行标号，并根据图像数据的时间戳为每一个像素点标定出相对的曝光时刻；
取当前帧图像数据的帧起始时刻为，曝光延迟时刻为/>，则查询曝光时刻位于/>至/>时间范围内的体素点；
根据查询到的体素点的标号找出标号相对应的像素点，若所查询到的体素点和所找到的像素点的曝光时刻相同，则表示具有相同时间戳的点云数据和图像数据是否时间同步；否则时间不同步。
4.如权利要求1所述的光视一体机时间同步控制系统，其特征在于，所述光视一体机为卷帘曝光型光视一体机，则所述摄像头模组为卷帘摄像头模组，所述激光雷达为扫描型激光雷达；
所述基于曝光时区跨度，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：
令一帧图像数据的曝光时间跨度为；
令一帧点云数据的曝光时间跨度为；
若和/>的范围存在交叉，且/>和/>的相对起始位置小于一列点云数据的曝光时间跨度，则当前具有相同时间戳的点云数据和图像数据时间同步；反之当前具有相同时间戳的点云数据和图像数据时间不同步。
5.如权利要求4所述的光视一体机时间同步控制系统，其特征在于，所述基于激光雷达的体素点和摄像头模组的像素点，判断具有相同时间戳的点云数据和图像数据是否时间同步，包括：
对一帧点云数据中的每一个体素点进行标号，并根据点云数据的时间戳为每一个体素点标定出相对的曝光时刻；
对一帧图像数据中的每一个像素点进行标号，并根据图像数据的时间戳为每一个像素点标定出相对的曝光时刻；
取当前帧图像数据的帧起始时刻为，曝光延迟时刻为/>，第/>列像素点的曝光时刻为/>，则查询曝光时刻位于/>至/>时间范围内的体素点；
根据查询到的体素点的标号找出标号相对应的像素点，若所找出的像素点正好位于第列，则此列像素点与体素点匹配成功；否则此列像素点与体素点匹配不成功；
遍历图像数据中的每一列像素点，若匹配成功的比例大于阈值，则表示具有相同时间戳的点云数据和图像数据是否时间同步；否则时间不同步。
CN202111627538.1A 2021-12-28 2021-12-28 一种光视一体机时间同步控制系统 Active CN114157382B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111627538.1A CN114157382B (zh) 2021-12-28 2021-12-28 一种光视一体机时间同步控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111627538.1A CN114157382B (zh) 2021-12-28 2021-12-28 一种光视一体机时间同步控制系统

Publications (2)

Publication Number Publication Date
CN114157382A CN114157382A (zh) 2022-03-08
CN114157382B true CN114157382B (zh) 2024-02-09

Family

ID=80449252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111627538.1A Active CN114157382B (zh) 2021-12-28 2021-12-28 一种光视一体机时间同步控制系统

Country Status (1)

Country Link
CN (1) CN114157382B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019119842A1 (zh) * 2017-12-20 2019-06-27 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
WO2020067751A1 (ko) * 2018-09-28 2020-04-02 재단법인대구경북과학기술원 이종 센서 간의 데이터 융합 장치 및 방법
CN111756463A (zh) * 2019-03-29 2020-10-09 北京航迹科技有限公司 用于车辆的时间同步系统和方法
CN112230240A (zh) * 2020-09-30 2021-01-15 深兰人工智能(深圳)有限公司 激光雷达与相机数据的时空同步系统、装置及可读介质
CN113014812A (zh) * 2021-03-01 2021-06-22 中电海康集团有限公司 一种摄像头与激光雷达时间同步控制系统
CN113099211A (zh) * 2021-03-31 2021-07-09 华南理工大学 一种具备时间同步的立体视觉数据采集系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019079219A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. CALIBRATION OF SENSORS MOUNTED ON AN AUTONOMOUS VEHICLE

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019119842A1 (zh) * 2017-12-20 2019-06-27 杭州海康威视数字技术股份有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
WO2020067751A1 (ko) * 2018-09-28 2020-04-02 재단법인대구경북과학기술원 이종 센서 간의 데이터 융합 장치 및 방법
CN111756463A (zh) * 2019-03-29 2020-10-09 北京航迹科技有限公司 用于车辆的时间同步系统和方法
CN112230240A (zh) * 2020-09-30 2021-01-15 深兰人工智能(深圳)有限公司 激光雷达与相机数据的时空同步系统、装置及可读介质
CN113014812A (zh) * 2021-03-01 2021-06-22 中电海康集团有限公司 一种摄像头与激光雷达时间同步控制系统
CN113099211A (zh) * 2021-03-31 2021-07-09 华南理工大学 一种具备时间同步的立体视觉数据采集系统及方法

Also Published As

Publication number Publication date
CN114157382A (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN109104259B (zh) 一种多传感器对时同步系统和方法
EP3438776B1 (en) Method, apparatus and computer program for a vehicle
CN103744372B (zh) 无人机电力巡检的多传感器时间同步方法与系统
EP2616769B1 (en) Stereo camera device, correction method, and program
CN112577517A (zh) 一种多元定位传感器联合标定方法和系统
JP3315474B2 (ja) 画像形成装置
CN113014812B (zh) 一种摄像头与激光雷达时间同步控制系统
CN112787740A (zh) 一种多传感器时间同步装置及方法
CN108449552B (zh) 标记图像采集时刻的方法及系统
CN108282242B (zh) 时空同步装置及系统、地图采集车及地图智能生产系统
CN111860604A (zh) 数据融合方法、系统及计算机存储介质
KR20210087495A (ko) 센서 데이터 처리 방법, 장치, 전자 기기 및 시스템
CN114157382B (zh) 一种光视一体机时间同步控制系统
CN111193568A (zh) 时间同步方法、装置、系统、存储介质及车辆
JP4303354B2 (ja) ３次元画像入力装置
WO2023165569A1 (zh) 多传感器同步定位方法、装置、系统及存储介质
CN116684740A (zh) 感知训练数据生成方法、装置、计算机设备和存储介质
CN114089373B (zh) 基于图像融合激光的雷达系统扫描方法及装置
FI129971B (en) The intelligent synchronization method of the web monitoring system
CN115876206A (zh) 一种双体制视觉融合的导航相机相对成像测量方法
CN116828281A (zh) 车载摄像头系统数据处理方法、装置、设备及介质
CN113099211A (zh) 一种具备时间同步的立体视觉数据采集系统及方法
AU2020431041B2 (en) Ranging sensor calibration system and ranging sensor calibration method
JP2002074346A (ja) ３次元画像入力装置
CN117579927A (zh) 具有多台工业相机的光学测量装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant