CN109218562B - 时钟同步方法、装置、设备、存储介质和车辆 - Google Patents

时钟同步方法、装置、设备、存储介质和车辆 Download PDF

Info

Publication number
CN109218562B
CN109218562B CN201811044823.9A CN201811044823A CN109218562B CN 109218562 B CN109218562 B CN 109218562B CN 201811044823 A CN201811044823 A CN 201811044823A CN 109218562 B CN109218562 B CN 109218562B
Authority
CN
China
Prior art keywords
collector
image
calibration
correction time
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811044823.9A
Other languages
English (en)
Other versions
CN109218562A (zh
Inventor
谢远帆
周珣
李诗锐
王亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811044823.9A priority Critical patent/CN109218562B/zh
Publication of CN109218562A publication Critical patent/CN109218562A/zh
Priority to JP2019160980A priority patent/JP6878531B2/ja
Priority to US16/561,617 priority patent/US11363192B2/en
Priority to EP19195624.2A priority patent/EP3621286B1/en
Application granted granted Critical
Publication of CN109218562B publication Critical patent/CN109218562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0733—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

本发明实施例中提供了一种时钟同步方法、装置、设备、存储介质和车辆。所述方法包括：确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化，确定标定采集器在不同图像的采集修正时刻相对所述基准坐标系的第二位姿变化，其中不同图像的采集修正时刻是依据不同图像采集时刻和预先确定的各修正时间变量确定的，依据图像采集器的第一位姿变化，以及各修正时间变量对应的标定采集器的第二位姿变化，对图像采集器与标定采集器进行时钟同步。本发明实施例的方案解决了相关技术中使用外部触发的采集器带来的成本较高且需要内部布线的问题，能够使用无外部触发的采集器进行信息采集，实现对多个无外部触发的采集器进行时钟同步。

Description

时钟同步方法、装置、设备、存储介质和车辆
技术领域
本发明实施例涉及时钟同步技术领域，尤其涉及一种时钟同步方法、装置、设备、存储介质和车辆。
背景技术
随着技术的不断发展，自动驾驶技术也逐渐受到人们的青睐，自动驾驶技术可以将驾驶员从一些驾驶相关的职责中解放出来，在自动驾驶过程中，需要在自动驾驶系统上安装多个采集器，通过多个采集器采集周围一定视野范围内的车辆行驶环境和交通状况等信息，并根据获取的车辆行驶环境和交通状况等信息进行安全的自动驾驶。而在上述过程中，保证多个采集器同步采集车辆行驶环境和交通状况等信息是自动驾驶技术的一个重要环节。
在相关的安装有多个采集器的自动驾驶系统中，外部触发的采集器可以通过接口接收外部控制信号，并依据外部控制信号控制多个外部触发的采集器进行同步采集，比如控制多个外部触发的相机同时曝光采集。但是，由于外部触发的采集器的成本较高，且需要内部布线，同时鉴于无外部触发的采集器不需要触发，且对系统要求更低的优点，在实际使用过程中通常会选择无外部触发的采集器，而不会选择外部触发的采集器。然而，如何对多个无外部触发的采集器进行时钟同步是非常有必要的。
发明内容
本发明实施例中提供一种时钟同步方法、装置、设备、存储介质和车辆，以实现对多个无外部触发的采集器进行时钟同步。
第一方面，本发明实施例中提供了一种时钟同步方法，所述方法包括：
确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化；
确定标定采集器在不同图像的采集修正时刻相对所述基准坐标系的第二位姿变化，其中不同图像的采集修正时刻是依据不同图像采集时刻和预先确定的各修正时间变量确定的；
依据图像采集器的第一位姿变化，以及各修正时间变量对应的标定采集器的第二位姿变化，对图像采集器与标定采集器进行时钟同步。
第二方面，本发明实施例中还提供了一种时钟同步装置，所述装置包括：
第一位姿确定模块，用于确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化；
第二位姿确定模块，用于确定标定采集器在不同图像的采集修正时刻相对所述基准坐标系的第二位姿变化，其中不同图像的采集修正时刻是依据不同图像采集时刻和预先确定的各修正时间变量确定的；
时钟同步执行模块，用于依据图像采集器的第一位姿变化，以及各修正时间变量对应的标定采集器的第二位姿变化，对图像采集器与标定采集器进行时钟同步。
第三方面，本发明实施例中还提供了一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的时钟同步方法。
第四方面，本发明实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的时钟同步方法。
第五方面，本发明实施例中还提供了一种车辆，包括车体，所述车体上设置有本发明任意实施例提供的设备，以及与所述设备通信连接的图像采集器和标定采集器。
本发明实施例中提供了一种时钟同步方案，确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化，确定标定采集器在不同图像的采集修正时刻相对所述基准坐标系的第二位姿变化，其中不同图像的采集修正时刻是依据不同图像采集时刻和预先确定的各修正时间变量确定的，依据图像采集器的第一位姿变化，以及各修正时间变量对应的标定采集器的第二位姿变化，对图像采集器与标定采集器进行时钟同步。本发明实施例的方案解决了相关技术中需要使用外部触发的采集器，以及使用外部触发的采集器带来的成本较高且需要内部布线的问题，能够使用无外部触发的采集器进行信息采集，实现对多个无外部触发的采集器进行时钟同步，进而实现多个无外部触发的采集器的同步采集。
附图说明
图1是本发明实施例一中提供的时钟同步方法的流程示意图；
图2是本发明实施例二中提供的时钟同步方法的流程示意图；
图3是本发明实施例三中提供的时钟同步装置的结构示意图；
图4是本发明实施例四中提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一中提供的时钟同步方法的流程示意图，本实施例可适用于实现多个采集器同步采集的情况，例如，实现自动驾驶系统上多个相机进行同步曝光采集的场景。该方法可以由时钟同步装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在任何具有网络通信功能的设备上。
如图1所示，本发明实施例中的时钟同步方法可以包括：
S101、确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化。
在本发明实施例中，图像采集器可以在不同的图像采集时刻对场景进行图像采集，得到不同图像采集时刻通过图像采集器采集的不同图像。为了定量描述在不同图像采集时刻对应的图像采集器的位姿之间的变化情况，可以选取一个基准坐标系，例如可以将其中一图像采集器在任一时刻的坐标系选作基准坐标系。通过基准坐标系可以定量的描述图像采集器在不同图像采集时刻的位姿变化。其中，位姿可以包括位置和姿态，位置可以采用平移矩阵T表示，姿态可以采用旋转矩阵R表示，位姿可以涉及六个自由度，其参数可以采用：X、Y、Z、α、β和γ表示。
在本发明实施例中，第一位姿变化可以是指图像采集器在不同图像采集时刻采集图像时相对基准坐标系的各个位姿之间的变化。例如，以图像采集器采集的两帧图像为例，两帧图像可以定义为第一帧图像和第二帧图像，第一帧图像和第二帧图像分别对应不同的图像采集时刻，第一位姿变化可以理解为图像采集器采集第一帧图像时相对基准坐标系的位姿与图像采集器采集第二帧图像时相对基准坐标系的位姿之间的变化。需要说明的是，由于图像采集器在不同图像采集时刻采集到图像包括但不限于上述第一帧图像和第二帧图像，相应的，图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化不仅可以包括图像采集器采集第一帧图像和第二帧图像时相对基准坐标系的位姿变化，还可以包括图像采集器采集其他不同帧图像时相对基准坐标系的位姿变化。
在本发明实施例中，在2D-2D相机位姿估计原理中，可以依据图像采集器采集的两帧图像，以及采集的两帧图像之间的特征点的对应关系，获知图像采集器采集两帧图像时相对基准坐标系的位姿变化。具体过程可以为：从图像采集器采集的每一帧图像中提取至少一个特征点，并根据图像采集器采集的两帧图像的特征点匹配结果获知图像采集器采集两帧图像时相对基准坐标系的位姿变化。可以理解的是，上述图像采集器采集的两帧图像并不是随意选取，两帧图像之间需要进行特征点匹配，得到两帧图像间的特征点对应关系后才可以获知图像采集器采集两帧图像时相对基准坐标系的位姿变化。基于上述情况，在确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化时，本实施例中图像采集器在不同图像采集时刻采集的不同图像间需要存在特征点对应关系。依据图像采集器在不同图像采集的不同图像，基于2D-2D相机位姿估计原理可以确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化，以及分别确定图像采集器采集不同图像时的不同图像采集时刻。
示例性的，以图像采集器采集的两帧图像为例，两帧图像可以定义为第一帧图像和第二帧图像，依据图像采集器采集的第一帧图像和第二帧图像，基于2D-2D相机位姿估计原理确定图像采集器采集第一帧图像时和图像采集器采集第二帧图像时相对基准坐标系的位姿变化。具体的，基于2D-2D相机位姿估计原理可以对两帧图像间的特征点进行匹配，得到两帧间的特征点对应关系，并根据两帧间的特征点对应关系得到图像采集器采集第一帧图像时和图像采集器采集第二帧图像时相对基准坐标系的位姿变化。图像采集器的不同图像采集时刻中包括但不限于上述采集第一帧图像的图像采集时刻和采集第二帧图像的图像采集时刻，还可以包括采集其他帧图像的图像采集时刻，因此在确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化时，可以参见上述确定图像采集器采集第一帧图像时和图像采集器采集第二帧图像时相对基准坐标系的位姿变化的操作，从而可以得到图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化。
S102、确定标定采集器在不同图像的采集修正时刻相对基准坐标系的第二位姿变化，其中不同图像的采集修正时刻是依据不同图像采集时刻和预先确定的各修正时间变量确定的。
在本发明实施例中，图像采集器的采集时刻可以为相对图像采集器的时钟所标定的采集时刻，标定采集器的采集时刻可以为相对标定采集器的时钟所标定的采集时刻。具体的，图像采集器和标定采集器均可以通过自身时钟信号进行采集控制且二者同步进行采集，也就是说，图像采集器的理想采集时刻与标定采集器的理想采集时刻相同，当图像采集器的时钟和标定采集器的时钟同步时，那么图像采集器的实际采集时刻与标定采集器的实际采集时刻相同；当图像采集器的时钟和标定采集器的时钟不同步时，那么图像采集器的实际采集时刻与标定采集器的实际采集时刻不同。
示例性的，以图像采集器和标定采集器均依据时钟控制指令在某一时刻A进行采集为例，图像采集器在自身时钟所标定的A采集时刻采集对应的图像，标定采集器也在自身时钟所标定的A采集时刻采集标定采集器所需要的数据。需要说明的是，上述A采集时刻分别是相对图像采集器的时钟和相对标定采集器的时钟确定的。若图像采集器的时钟和标定采集器的时钟不同步，则图像采集器的A采集时刻与标定采集器的A采集时刻在标准时钟下不一致，比如在实际采集过程中当图像采集器的时钟对应的A采集时刻已经到达时，标定采集器的时钟对应的A采集时刻还没有到达，可能还在B采集时刻，其中，B采集时刻早于A采集时刻。
在本发明实施例中，基于上述情况，可以通过对标定采集器对应的采集时刻进行时间修正，以使得图像采集器对应的采集时刻与修正后的标定采集器的对应的采集时刻在实际采集过程中保持一致。具体的，依据图像采集器的不同图像采集时刻和预先确定的修正时间变量，可以对标定采集器对应的不同采集时刻进行修正，得到修正后标定采集器对应的不同图像的采集修正时刻。在对标定采集器对应的采集时刻进行修正时，可以预先估计标定采集器的时钟与图像采集器的时钟之间的时钟误差范围，并根据时钟误差范围确定修正时间变量，以便根据该修正时间变量对标定采集器对应的采集时刻进行时间修正。
示例性的，以图像采集器采集的两帧图像为例，图像采集器采集上述两帧图像时，图像采集器对应的两个图像的图像采集时刻分别为t1和t2，标定采集器对应的两个采集时刻分别也为t1和t2，但是由于标定采集器和图像采集器之间的时钟误差，需要对标定采集器对应的两个采集时刻进行修正。具体的，可以采用预先确定的修正时间变量dt对标定采集器对应的两个采集时刻t1和t2进行修正，分别得到t1+dt和t2+dt，修正后的t1+dt和t2+dt在实际采集过程中才会与图像采集器对应的两个图像的图像采集时刻t1和t2保持一致。
在本发明实施例中，在根据时钟误差范围确定修正时间变量时，由于不清楚标定采集器的时钟与图像采集器的时钟之间的具体时钟误差，仅仅可以估计一个大体的时钟误差范围，因此，可以在该时钟误差范围内确定一个精度，并根据确定的精度确定在该时钟误差范围之内确定多个修正时间变量。进而，可以依据图像采集器的不同图像采集时刻和预先确定的各修正时间变量，来确定标定采集器的不同图像的采集修正时刻。
示例性的，假设预先估计的标定采集器的时钟与图像采集器的时钟之间的时钟误差范围为-1s～1s，在该时钟误差范围内确定的精度为10ms，此时在该时钟误差范围之内确定的多个修正时间变量dt分别为-1s、(-1s+10ms)、(-1s+20ms)、(-1s+30ms)、(-1s+40ms)、……、(-1s+1980ms)、(-1s+1990ms)、1s。可以采用预先确定的各个修正时间变量dt分别对标定采集器对应的两个采集时刻t1和t2进行修正，分别得到多组不同图像的采集修正时刻t1+dt和t2+dt。
在本发明实施例中，依据各个修正时间变量可以确定各个修正时间变量对应的不同图像的采集修正时刻，并确定标定采集器在各个修正时间变量对应的不同图像的采集修正时刻相对基准坐标系的第二位姿变化。第二位姿变化可以是指标定采集器在不同图像的采集修正时刻相对基准坐标系的各个位姿之间的变化。例如，以图像采集器采集的两帧图像为例，两帧图像可以定义为第一帧图像和第二帧图像，两帧图像的采集时刻分别对应第一帧图像采集时刻和第二帧图像采集时刻，依据修正时间变量以及第一帧图像采集时刻和第二帧图像采集时刻可以得到标定采集器的两个采集修正时刻，分别为第一采集修正时刻和第二采集修正时刻为例，第二位姿变化可以理解为标定采集器在第一采集修正时刻相对基准坐标系的位姿与标定采集器在第二采集修正时刻相对基准坐标系的位姿之间的变化。
需要说明的是，由于图像采集器的不同图像采集时刻包括但不限于上述第一帧图像对应的第一帧图像采集时刻和第二帧图像对应的图像采集时刻，相应的，标定采集器的不同图像的采集修正时刻包括但不限于上述第一采集修正时刻和第二采集修正时刻。因此，标定采集器在不同图像的采集修正时刻相对基准坐标系的第二位姿变化不仅可以包括标定采集器在第一采集修正时刻和第二采集修正时刻时相对基准坐标系的位姿变化，还可以包括标定采集器在其他不同图像的采集修正时刻相对基准坐标系的位姿变化。
S103、依据图像采集器的第一位姿变化，以及各修正时间变量对应的标定采集器的第二位姿变化，对图像采集器与标定采集器进行时钟同步。
在本发明实施例中，一般在预先设置标定采集器和图像采集器的相对位姿的基础上，如果图像采集器的时钟和标定采集器的时钟同步，那么在相同的图像采集时间段内图像采集器的相对运动位姿与标定采集器的相对运动位姿相同，换言之，图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化与标定采集器在上述不同图像采集时刻相对基准坐标系的位姿变化相同。例如，以图像采集器采集的两帧图像为例，通过2D-2D相机位姿估计确定图像采集器在采集上述两帧图像时相对基准坐标系的第一位姿变化为ΔRΔT，以及上述两帧图像的图像采集时刻分别为t1和t2；如果图像采集器的时钟和标定采集器的时钟同步，且标定采集器和图像采集器的相对位姿预先固定，那么标定采集器在上述两帧图像对应的t1图像采集时刻和t2图像采集时刻相对基准坐标系的第二位姿变化也为ΔRΔT。
在本发明实施例中，如果图像采集器的时钟和标定采集器的时钟之间存在时钟误差，导致无法实现时钟同步，那么在相同的图像采集时间段内图像采集器的相对运动位姿与标定采集器的相对运动位姿不相同。为此，在S102中采用修正时间变量对图像采集器的时钟和标定采集器的时钟之间存在时钟误差进行修正，依据不同图像采集时刻和预先确定的各修正时间变量确定不同图像的采集修正时刻，以使标定采集器的不同图像的采集修正时刻与图像采集器的不同图像采集时刻保持一致。在标定采集器和图像采集器的相对位姿预先固定的前提下，如果采用修正时间变量对图像采集器的时钟和标定采集器的时钟之间存在时钟误差进行修正后，图像采集器和标定采集器已经保持时钟同步，那么图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化与标定采集器在不同图像的采集修正时刻相对所述基准坐标系的第二位姿变化会保持相同。基于上述原理可以，依据图像采集器的第一位姿变化以及各修正时间变量对应的标定采集器的第二位姿变化，对图像采集器与标定采集器进行时钟同步。
本发明实施例中提供了一种时钟同步方法，该方法包括：确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化，确定标定采集器在不同图像的采集修正时刻相对所述基准坐标系的第二位姿变化，其中不同图像的采集修正时刻是依据不同图像采集时刻和预先确定的各修正时间变量确定的，依据图像采集器的第一位姿变化，以及各修正时间变量对应的标定采集器的第二位姿变化，对图像采集器与标定采集器进行时钟同步。本发明实施例的方案解决了相关技术中需要使用外部触发的采集器，以及使用外部触发的采集器带来的成本较高且需要内部布线的问题，能够使用无外部触发的采集器进行信息采集，实现对多个无外部触发的采集器进行时钟同步，进而实现多个无外部触发的采集器的同步采集。
实施例二
图2是本发明实施例二中提供的时钟同步方法的流程示意图，本实施例是在上述实施例的基础上进一步进行优化，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。
如图2所示，本发明实施例中的时钟同步方法可以包括：
S201、确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化。
在本发明实施例的一种可选方式中，若将标定采集器的坐标系作为基准坐标系，确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化，可以包括：
S2011、确定图像采集器在不同图像采集时刻相对图像采集器的坐标系的第三位姿变化；
S2012、依据第三位姿变化，以及图像采集器与标定采集器之间的相对位姿，确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化。
在本实施方式中，在选取基准坐标系时可以将图像采集器的坐标系作为基准坐标系，也可以将标定采集器的坐标系作为基准坐标系，当然也可以将其他合适的参考系作为基准坐标系。若将标定采集器的坐标系作为基准坐标系，可以先确定图像采集器在不同图像采集时刻相对图像采集器的坐标系的第三位姿变化，具体确定方式可以参见S101的操作，这里不再赘述。图像采集器与标定采集器之间是预先固定的，相应的图像采集器的坐标系与标定采集器的坐标系之间的相对位姿也是预先设置的。依据图像采集器的坐标系与标定采集器的坐标系之间的相对位姿，可以进行坐标系的转换，将图像采集器在不同图像采集时刻相对图像采集器的坐标系的第三位姿变化转换至标定采集器的坐标系，得到图像采集器在不同图像采集时刻相对标定采集器的坐标系的第一位姿变化。
示例性的，以图像采集器采集的两帧图像为例，两帧图像可以定义为第一帧图像和第二帧图像，依据图像采集器采集的两帧图像，以及采用2D-2D相机位姿估计原理，确定图像采集器采集第一帧图像和第二帧图像时相对图像采集器的坐标系的位姿变化，并记为第三位姿变化。其中，第三位姿变化可以为图像采集器采集第一帧图像时相对图像采集器的坐标系的位姿与图像采集器采集第二帧图像时相对图像采集器的坐标系的位姿之间的变化。可以理解的是，本实施方式中的不同图像采集时刻包括但不限于第一帧图像和第二帧图像对应的图像采集时刻。依据图像采集器的坐标系与标定采集器的坐标系之间的相对位姿，可以进行坐标系的转换，将图像采集器采集第一帧图像和第二帧图像时相对图像采集器的坐标系的位姿变化转换至标定采集器的坐标系，得到图像采集器采集第一帧图像和第二帧图像时相对标定采集器的坐标系的位姿变化，并记为第一位姿变化。
S202、确定标定采集器在不同图像的采集修正时刻相对基准坐标系的第二位姿变化，其中不同图像的采集修正时刻是依据不同图像采集时刻和预先确定的各修正时间变量确定的。
在本发明实施例的一种可选方式中，若将图像采集器的坐标系作为基准坐标系，确定标定采集器在不同图像的采集修正时刻相对基准坐标系的第二位姿变化，可以包括：
S2021、确定标定采集器在不同图像的采集修正时刻相对标定采集器的坐标系的第四位姿变化；
S2022、依据第四位姿变化，以及图像采集器与标定采集器之间的相对位姿，确定标定采集器在不同图像的采集修正时刻相对基准坐标系的第二位姿变化。
在本实施方式中，若将图像采集器的坐标系作为基准坐标系，可以先确定标定采集器在不同图像的采集修正时刻相对标定采集器的坐标系的第四位姿变化。图像采集器与标定采集器之间是预先固定的，相应的图像采集器的坐标系与标定采集器的坐标系之间的相对位姿也是预先设置的。依据图像采集器的坐标系与标定采集器的坐标系之间的相对位姿，可以进行坐标系转换，将标定采集器在不同图像的采集修正时刻相对标定采集器的坐标系的第四位姿变化转换至图像采集器的坐标系，得到标定采集器在不同图像的采集修正时刻相对图像采集器的坐标系的第二位姿变化。
示例性的，以图像采集器采集的两帧图像为例，两帧图像可以定义为第一帧图像和第二帧图像，第一帧图像和第二帧图像的图像采集时刻分别是t1和t2，修正时间变量为dt，标定采集器的不同图像的采集修正时刻分别为t1+dt和t2+dt。此时，可以确定标定采集器t1+dt和t2+dt相对标定采集器的坐标系的第四位姿变化，依据图像采集器与标定采集器之间的外参，比如图像采集器的坐标系与标定采集器的坐标系之间的相对位姿，可以得到标定采集器在t1+dt和t2+dt时刻相对图像采集器的坐标系的位姿变化，并记为第二位姿变化。
在本实施方式的一个具体实施例中，标定采集器可以为惯性导航设备、激光雷达、毫米波雷达或者其他图像采集器。下面分别各种类型的标定采集器进行示例性说明：
(1)当标定采集器为惯性导航设备，且将图像采集器的坐标系作为基准坐标系时，确定标定采集器在不同图像的采集修正时刻相对基准坐标系的第二位姿变化，可以具体为：依据不同图像采集时刻和预先确定的各修正时间变量确定不同图像的采集修正时刻；分别获取惯性导航设备在不同图像的采集修正时刻的位姿；依据分别获取的惯性导航设备在不同图像的采集修正时刻的位姿，确定惯性导航设备在不同图像的采集修正时刻相对惯性导航设备的坐标系的第四位姿变化；依据第四位姿变化，以及图像采集器与惯性导航设备之间的相对位姿，确定惯性导航设备在不同图像的采集修正时刻相对基准坐标系的第二位姿变化。
(2)当标定采集器为激光雷达，且将图像采集器的坐标系作为基准坐标系时，确定标定采集器在不同图像的采集修正时刻相对基准坐标系的第二位姿变化，可以具体为：依据不同图像采集时刻和预先确定的各修正时间变量确定不同图像的采集修正时刻；使用激光雷达作为标定采集器时，可以使用SLAM技术计算激光雷达的位置姿态，并通过插值得到激光雷达在不同图像的采集修正时刻的连续运动轨迹，从而可以得到激光雷达在不同图像的采集修正时刻的相对激光雷达的坐标系的第四位姿变化；依据第四位姿变化，以及图像采集器与激光雷达之间的相对位姿，确定激光雷达在不同图像的采集修正时刻相对基准坐标系的第二位姿变化。
(3)当标定采集器为毫米波雷达，且将图像采集器的坐标系作为基准坐标系时，确定标定采集器在不同图像的采集修正时刻相对基准坐标系的第二位姿变化，可以具体为：依据不同图像采集时刻和预先确定的各修正时间变量确定不同图像的采集修正时刻；使用毫米波雷达作为标定采集器时，可以使用SLAM技术计算激光雷达的位置姿态，采用毫米波雷达的SLAM技术通过周围障碍物速度分布来计算毫米波雷达的自身运动速度，同时借助周围静态的毫米波雷达目标计算毫米波雷达的运动轨迹，从而可以得到激光雷达在不同图像的采集修正时刻的相对激光雷达的坐标系的第四位姿变化；依据第四位姿变化，以及图像采集器与激光雷达之间的相对位姿，确定激光雷达在不同图像的采集修正时刻相对基准坐标系的第二位姿变化。
(4)当标定采集器为其他图像采集器，且将图像采集器的坐标系作为基准坐标系时，确定标定采集器在不同图像的采集修正时刻相对基准坐标系的第二位姿变化，可以具体为：将其他图像采集器的位姿进行插值,得到连续的其他图像采集器的运动轨迹，从而可以确定其他图像采集器在不同图像的采集修正时刻相对基准坐标系的第二位姿变化，进而，依据第四位姿变化以及图像采集器与其他图像采集器之间的相对位姿，确定其他图像采集器在不同图像的采集修正时刻相对基准坐标系的第二位姿变化。
S203、依据图像采集器的第一位姿变化，以及各修正时间变量对应的标定采集器的第二位姿变化，确定各修正时间变量对应的位姿变化代价函数。
在本发明实施例中，本实施例的S203～S205是对实施例一中的S103进行进一步优化。可选的，依据图像采集器的第一位姿变化，以及各修正时间变量对应的标定采集器的第二位姿变化，构建的各个修正时间变量对应的位姿变化代价函数具体可以为：F＝∑||log(ΔR-1ΔR′)||+||ΔT×ΔT′||；
其中，F是位姿变化代价函数，(ΔR,ΔT是图像采集器在不同图像采集时刻t1，t2相对基准坐标系的第一位姿变化，(ΔR′,ΔT′)是标定采集器在不同图像的采集修正时刻t1+dt，t2+dt相对所述基准坐标系的第二位姿变化，dt是修正时间变量，∑是对不同图像采集时刻进行求和，×是叉乘符号。
需要说明的是，本实施例中的图像采集时刻t1和图像采集时刻t2仅仅是用于区分不同图像采集时刻，当需要确定图像采集器在其他不同图像采集时刻相对基准坐标系的第一位姿变化时，可以将其他不同图像采集时刻设置为t1和t2。从而可以得到图像采集器在各个不同图像采集时刻相对基准坐标系的第一位姿变化的集合。本实施例中的采集修正时刻t1+dt和采集修正时刻t2+dt仅仅是用于区分不同图像的采集修正时刻，t1+dt和t2+dt分别与图像采集器在不同图像采集时刻t1和t2进行对应。当需要确定标定采集器在不同图像的采集修正时刻相对基准坐标系的第二位姿变化时，可以确定标定采集器在各个修正时间变量对应的不同图像的采集修正时刻相对基准坐标系的第二位姿变化。
S204、对各修正时间变量对应的位姿变化代价函数进行最小化处理，确定各修正时间变量的代价函数极小值。
S205、依据各修正时间变量的代价函数极小值，对图像采集器与标定采集器进行时钟同步。
在本发明实施例中，对各个修正时间变量对应的位姿变化代价函数进行最小化处理，得到各个修正时间变量对应的代价函数极小值(ΔR′-ΔR，ΔT′-ΔT)。在得到各个修正时间变量的代价函数极小值后，可以从各个修正时间变量的代价函数极小值中选择最小代价函数极小值，将选择的最小代价函数极小值对应的修正时间变量作为图像采集器与标定采集器之间的时间差。依据上述确定的图像采集器与标定采集器之间的时间差对图像采集器与标定采集器进行时钟同步。
本发明实施例中提供了一种时钟同步方法，该方法包括：确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化，确定标定采集器在不同图像的采集修正时刻相对所述基准坐标系的第二位姿变化，其中不同图像的采集修正时刻是依据不同图像采集时刻和预先确定的各修正时间变量确定的，依据图像采集器的第一位姿变化，以及各修正时间变量对应的标定采集器的第二位姿变化，确定各修正时间变量对应的位姿变化代价函数，对各修正时间变量对应的位姿变化代价函数进行最小化处理，确定各修正时间变量的代价函数极小值，依据各修正时间变量的代价函数极小值，对图像采集器与标定采集器进行时钟同步。本发明实施例的方案解决了相关技术中需要使用外部触发的采集器，以及使用外部触发的采集器带来的成本较高且需要内部布线的问题，能够使用无外部触发的采集器进行信息采集，实现对多个无外部触发的采集器进行时钟同步，降低了使用外部触发采集器的成本,还省去了外部触发电路等模块,提高了自动驾驶的适应性。
实施例三
图3是本发明实施例三中提供的时钟同步装置的结构示意图，本实施例可适用于实现多个采集器同步采集的情况，例如，实现自动驾驶系统上多个相机进行同步曝光采集的场景。该装置可以采用软件和/或硬件的方式实现，并可集成在任何具有网络通信功能的设备上。
如图3所示，本发明实施例中的时钟同步装置可以包括：第一位姿确定模块301、第二位姿确定模块302和时钟同步执行模块303。其中：
第一位姿确定模块301，用于确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化；
第二位姿确定模块302，用于确定标定采集器在不同图像的采集修正时刻相对所述基准坐标系的第二位姿变化，其中不同图像的采集修正时刻是依据不同图像采集时刻和预先确定的各修正时间变量确定的；
时钟同步执行模块303，用于依据图像采集器的第一位姿变化，以及各修正时间变量对应的标定采集器的第二位姿变化，对图像采集器与标定采集器进行时钟同步。
在本发明实施例的一种可选方式中，所述时钟同步执行模块303可以包括：
代价函数确定单元，用于依据图像采集器的第一位姿变化，以及各修正时间变量对应的标定采集器的第二位姿变化，确定各修正时间变量对应的位姿变化代价函数；
最小化处理单元，用于对各修正时间变量对应的位姿变化代价函数进行最小化处理，确定各修正时间变量的代价函数极小值；
时钟同步执行单元，用于依据各修正时间变量的代价函数极小值，对图像采集器与标定采集器进行时钟同步。
在本发明实施例的一种可选方式中，所述代价函数确定单元具体可以用于：
按照如下公式，构建各修正时间变量对应的位姿变化代价函数：
F＝∑||log(ΔR-1ΔR′)||+||ΔT×ΔT′||；
其中，F是位姿变化代价函数，(ΔR,ΔT)是图像采集器在不同图像采集时刻t1，t2相对基准坐标系的第一位姿变化，(ΔR′,ΔT′)是标定采集器在不同图像的采集修正时刻t1+dt，t2+dt相对所述基准坐标系的第二位姿变化，dt是修正时间变量，∑是对不同图像采集时刻进行求和，×是叉乘符号。
在本发明实施例的一种可选方式中，所述时钟同步执行单元可以包括：
代价函数极小值选择子单元，用于从各修正时间变量的代价函数极小值中选择最小代价函数极小值；
时钟同步执行子单元，用于将选择的最小代价函数极小值对应的修正时间变量作为图像采集器与标定采集器之间的时间差。
在本发明实施例的一种可选方式中，若将标定采集器的坐标系作为基准坐标系，则所述第一位姿确定模块301可以包括：
第三位姿确定单元，用于确定图像采集器在不同图像采集时刻相对图像采集器的坐标系的第三位姿变化；
第一位姿确定单元，用于依据所述第三位姿变化，以及图像采集器与标定采集器之间的相对位姿，确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化。
本发明实施例中提供的时钟同步装置可执行本发明任意实施例中所提供的时钟同步方法，具备执行该时钟同步方法相应的功能模块和有益效果。
实施例四
图4是本发明实施例四中提供的一种设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性设备412的框图。图4显示的设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，设备412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储装置428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
设备412也可以与一个或多个外部设备414(例如键盘、指向终端、显示器424等)通信，还可与一个或者多个使得用户能与该设备412交互的终端通信，和/或与使得该设备412能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图4所示，网络适配器420通过总线418与设备412的其它模块通信。应当明白，尽管图中未示出，可以结合设备412使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例中所提供的时钟同步方法，该方法可以包括：
确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化；
确定标定采集器在不同图像的采集修正时刻相对所述基准坐标系的第二位姿变化，其中不同图像的采集修正时刻是依据不同图像采集时刻和预先确定的各修正时间变量确定的；
依据图像采集器的第一位姿变化，以及各修正时间变量对应的标定采集器的第二位姿变化，对图像采集器与标定采集器进行时钟同步。
实施例五
本发明实施例五中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例中所提供的时钟同步方法，该方法可以包括：
确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化；
确定标定采集器在不同图像的采集修正时刻相对所述基准坐标系的第二位姿变化，其中不同图像的采集修正时刻是依据不同图像采集时刻和预先确定的各修正时间变量确定的；
依据图像采集器的第一位姿变化，以及各修正时间变量对应的标定采集器的第二位姿变化，对图像采集器与标定采集器进行时钟同步。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
另外，本发明实施例还提供了一种车辆，包括车体，所述车体上设置有本发明任意实施例所述的设备，以及与所述设备通信连接的图像采集器和标定采集器。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种时钟同步方法，其特征在于，包括：
确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化；
确定标定采集器在不同图像的采集修正时刻相对所述基准坐标系的第二位姿变化，其中不同图像的采集修正时刻是依据不同图像采集时刻和预先确定的各修正时间变量确定的；
依据图像采集器的第一位姿变化，以及各修正时间变量对应的标定采集器的第二位姿变化，对图像采集器与标定采集器进行时钟同步；其中图像采集器与标定采集器的相对位姿预先固定。
2.根据权利要求1所述的方法，其特征在于，依据图像采集器的第一位姿变化，以及各修正时间变量对应的标定采集器的第二位姿变化，对图像采集器与标定采集器进行时钟同步，包括：
依据图像采集器的第一位姿变化，以及各修正时间变量对应的标定采集器的第二位姿变化，确定各修正时间变量对应的位姿变化代价函数；
对各修正时间变量对应的位姿变化代价函数进行最小化处理，确定各修正时间变量的代价函数极小值；
依据各修正时间变量的代价函数极小值，对图像采集器与标定采集器进行时钟同步。
3.根据权利要求2所述的方法，其特征在于，依据图像采集器的第一位姿变化，以及各修正时间变量对应的标定采集器的第二位姿变化，确定各修正时间变量对应的位姿变化代价函数，包括：
按照如下公式，构建各修正时间变量对应的位姿变化代价函数：
F＝∑||log(ΔR-1ΔR′)||+||ΔT×ΔT′||；
其中，F是位姿变化代价函数，(ΔR,ΔT)是图像采集器在不同图像采集时刻t1,t2相对基准坐标系的第一位姿变化，(ΔR′,ΔT′)是标定采集器在不同图像的采集修正时刻t1+dt,t2+dt相对所述基准坐标系的第二位姿变化，dt是修正时间变量，∑是对不同图像采集时刻进行求和，×是叉乘符号。
4.根据权利要求2所述的方法，其特征在于，依据各修正时间变量的代价函数极小值，对图像采集器与标定采集器进行时钟同步，包括：
从各修正时间变量的代价函数极小值中选择最小代价函数极小值；
将选择的最小代价函数极小值对应的修正时间变量作为图像采集器与标定采集器之间的时间差。
5.根据权利要求1所述的方法，其特征在于，若将标定采集器的坐标系作为基准坐标系，确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化，包括：
确定图像采集器在不同图像采集时刻相对图像采集器的坐标系的第三位姿变化；
依据所述第三位姿变化，以及图像采集器与标定采集器之间的相对位姿，确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化。
6.一种时钟同步装置，其特征在于，包括：
第一位姿确定模块，用于确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化；
第二位姿确定模块，用于确定标定采集器在不同图像的采集修正时刻相对所述基准坐标系的第二位姿变化，其中不同图像的采集修正时刻是依据不同图像采集时刻和预先确定的各修正时间变量确定的；
时钟同步执行模块，用于依据图像采集器的第一位姿变化，以及各修正时间变量对应的标定采集器的第二位姿变化，对图像采集器与标定采集器进行时钟同步；其中图像采集器与标定采集器的相对位姿预先固定。
7.根据权利要求6所述的装置，其特征在于，所述时钟同步执行模块包括：
代价函数确定单元，用于依据图像采集器的第一位姿变化，以及各修正时间变量对应的标定采集器的第二位姿变化，确定各修正时间变量对应的位姿变化代价函数；
最小化处理单元，用于对各修正时间变量对应的位姿变化代价函数进行最小化处理，确定各修正时间变量的代价函数极小值；
时钟同步执行单元，用于依据各修正时间变量的代价函数极小值，对图像采集器与标定采集器进行时钟同步。
8.根据权利要求7所述的装置，其特征在于，所述代价函数确定单元具体用于：
按照如下公式，构建各修正时间变量对应的位姿变化代价函数：
F＝∑||log(ΔR-1ΔR′)||+||ΔT×ΔT′||；
其中，F是位姿变化代价函数，(ΔR,ΔT)是图像采集器在不同图像采集时刻t1，t2相对基准坐标系的第一位姿变化，(ΔR′,ΔT′)是标定采集器在不同图像的采集修正时刻t1+dt，t2+dt相对所述基准坐标系的第二位姿变化，dt是修正时间变量，∑是对不同图像采集时刻进行求和，×是叉乘符号。
9.根据权利要求7所述的装置，其特征在于，所述时钟同步执行单元包括：
代价函数极小值选择子单元，用于从各修正时间变量的代价函数极小值中选择最小代价函数极小值；
时钟同步执行子单元，用于将选择的最小代价函数极小值对应的修正时间变量作为图像采集器与标定采集器之间的时间差。
10.根据权利要求6所述的装置，其特征在于，若将标定采集器的坐标系作为基准坐标系，则所述第一位姿确定模块包括：
第三位姿确定单元，用于确定图像采集器在不同图像采集时刻相对图像采集器的坐标系的第三位姿变化；
第一位姿确定单元，用于依据所述第三位姿变化，以及图像采集器与标定采集器之间的相对位姿，确定图像采集器在不同图像采集时刻相对基准坐标系的第一位姿变化。
11.一种时钟同步设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1-5中任一所述的时钟同步方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5中任一所述的时钟同步方法。
13.一种车辆，包括车体，其特征在于，所述车体上设置有如权利要求11所述的设备，以及与所述设备通信连接的图像采集器和标定采集器。
CN201811044823.9A 2018-09-07 2018-09-07 时钟同步方法、装置、设备、存储介质和车辆 Active CN109218562B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811044823.9A CN109218562B (zh) 2018-09-07 2018-09-07 时钟同步方法、装置、设备、存储介质和车辆
JP2019160980A JP6878531B2 (ja) 2018-09-07 2019-09-04 クロック同期方法とその装置、機器、記憶媒体及び車両
US16/561,617 US11363192B2 (en) 2018-09-07 2019-09-05 Method, and apparatus for clock synchronization, device, storage medium and vehicle
EP19195624.2A EP3621286B1 (en) 2018-09-07 2019-09-05 Method, and apparatus for clock synchronization, device, storage medium and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811044823.9A CN109218562B (zh) 2018-09-07 2018-09-07 时钟同步方法、装置、设备、存储介质和车辆

Publications (2)

Publication Number Publication Date
CN109218562A CN109218562A (zh) 2019-01-15
CN109218562B true CN109218562B (zh) 2021-04-27

Family

ID=64986670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811044823.9A Active CN109218562B (zh) 2018-09-07 2018-09-07 时钟同步方法、装置、设备、存储介质和车辆

Country Status (4)

Country Link
US (1) US11363192B2 (zh)
EP (1) EP3621286B1 (zh)
JP (1) JP6878531B2 (zh)
CN (1) CN109218562B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112214009B (zh) * 2019-06-25 2022-07-26 上海商汤临港智能科技有限公司 传感器数据处理方法、装置、电子设备及系统
CN112312069B (zh) * 2019-07-31 2023-03-24 杭州海康汽车技术有限公司 视频处理方法、装置、系统及设备
CN110954134B (zh) * 2019-12-04 2022-03-25 上海有个机器人有限公司 陀螺仪偏差校正方法、校正系统、电子设备及存储介质
CN111538032B (zh) * 2020-05-19 2021-04-13 北京数字绿土科技有限公司 基于相机和激光雷达独立制图轨迹的时间同步方法和装置
CN114217665A (zh) * 2021-12-21 2022-03-22 清华大学 一种相机和激光雷达时间同步方法、装置及存储介质
CN114697466B (zh) * 2022-03-17 2023-10-13 杭州海康威视数字技术股份有限公司 视频帧采集同步控制
CN116402826B (zh) * 2023-06-09 2023-09-26 深圳市天趣星空科技有限公司 视觉坐标系的修正方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112363A (zh) * 2014-07-04 2014-10-22 西安交通大学 多传感数据时空同步方法及道路多传感数据车载采集系统
CN107688174A (zh) * 2017-08-02 2018-02-13 北京纵目安驰智能科技有限公司 一种图像测距方法、系统、存储介质和车载视觉感知设备
CN108226906A (zh) * 2017-11-29 2018-06-29 深圳市易成自动驾驶技术有限公司 一种标定方法、装置及计算机可读存储介质
CN108447097A (zh) * 2018-03-05 2018-08-24 清华-伯克利深圳学院筹备办公室 深度相机标定方法、装置、电子设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI468641B (zh) * 2012-11-09 2015-01-11 Univ Nat Central 影像拍攝與座標擷取時間同步之校正方法與校正系統及其延遲時間計算方法
US9936195B2 (en) * 2014-11-06 2018-04-03 Intel Corporation Calibration for eye tracking systems
US10397019B2 (en) * 2015-11-16 2019-08-27 Polysync Technologies, Inc. Autonomous vehicle platform and safety architecture
JP6776882B2 (ja) * 2015-12-28 2020-10-28 住友ゴム工業株式会社 運動解析装置、方法及びプログラム
JP2017224984A (ja) * 2016-06-15 2017-12-21 セイコーエプソン株式会社 プログラム、装置、キャリブレーション方法
SG10201700299QA (en) 2017-01-13 2018-08-30 Otsaw Digital Pte Ltd Three-dimensional mapping of an environment
CN109242913B (zh) * 2018-09-07 2020-11-10 百度在线网络技术（北京）有限公司 采集器相对参数的标定方法、装置、设备和介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112363A (zh) * 2014-07-04 2014-10-22 西安交通大学 多传感数据时空同步方法及道路多传感数据车载采集系统
CN107688174A (zh) * 2017-08-02 2018-02-13 北京纵目安驰智能科技有限公司 一种图像测距方法、系统、存储介质和车载视觉感知设备
CN108226906A (zh) * 2017-11-29 2018-06-29 深圳市易成自动驾驶技术有限公司 一种标定方法、装置及计算机可读存储介质
CN108447097A (zh) * 2018-03-05 2018-08-24 清华-伯克利深圳学院筹备办公室 深度相机标定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109218562A (zh) 2019-01-15
EP3621286B1 (en) 2023-11-01
US20200084372A1 (en) 2020-03-12
JP6878531B2 (ja) 2021-05-26
JP2020042811A (ja) 2020-03-19
EP3621286A1 (en) 2020-03-11
US11363192B2 (en) 2022-06-14

Similar Documents

Publication Publication Date Title
CN109218562B (zh) 时钟同步方法、装置、设备、存储介质和车辆
CN107888828B (zh) 空间定位方法及装置、电子设备、以及存储介质
CN109242913B (zh) 采集器相对参数的标定方法、装置、设备和介质
CN109032102B (zh) 无人驾驶车辆测试方法、装置、设备及存储介质
CN109543680B (zh) 兴趣点的位置确定方法、装置设备和介质
CN109613543B (zh) 激光点云数据的修正方法、装置、存储介质和电子设备
EP3627821A1 (en) Focusing method and apparatus for realizing clear human face, and computer device
CN112383675A (zh) 一种时间同步方法、装置及终端设备
CN108924461B (zh) 视频图像处理方法及装置
CN112650300A (zh) 一种无人机避障方法和装置
CN109345567B (zh) 物体运动轨迹识别方法、装置、设备和存储介质
CN115016435A (zh) 一种自动驾驶车辆测试方法、装置、系统、设备和介质
CN109521419B (zh) 基于车辆雷达的目标跟踪方法和装置
US10819896B1 (en) Computer readable recording medium can perform image sensing system control method and image sensing system
CN111611438B (zh) 图片标注方法、装置、处理设备及系统
KR101806453B1 (ko) 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법
CN110554420B (zh) 设备轨迹获取方法、装置、计算机设备及存储介质
CN114821544B (zh) 感知信息生成方法、装置、车辆、电子设备及存储介质
CN107808360B (zh) 一种端到端自动驾驶系统的数据处理方法及装置
CN113762017B (zh) 一种动作识别方法、装置、设备及存储介质
US20210374543A1 (en) System, training device, training method, and predicting device
CN114494381A (zh) 模型训练及深度估计方法、装置、存储介质及电子设备
CN111063011A (zh) 一种人脸图像处理方法、装置、设备和介质
CN113759331B (zh) 一种雷达定位方法、装置、设备及存储介质
US11119587B1 (en) Computer readable recording medium can perform image sensing system control method and image sensing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211014

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Patentee after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Patentee before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd.