CN114338951A - 传感器同步方法、装置、系统及车辆 - Google Patents
传感器同步方法、装置、系统及车辆 Download PDFInfo
- Publication number
- CN114338951A CN114338951A CN202111651157.7A CN202111651157A CN114338951A CN 114338951 A CN114338951 A CN 114338951A CN 202111651157 A CN202111651157 A CN 202111651157A CN 114338951 A CN114338951 A CN 114338951A
- Authority
- CN
- China
- Prior art keywords
- sensor
- clock signal
- processor
- fpga
- cpld
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明实施例涉及一种传感器同步方法、装置、系统及车辆,通过FPGA或CPLD生成时钟信号,并将时钟信号对应的时间信息同步至处理器;FPGA或CPLD发送所述时钟信号给图像传感器,以使所述图像传感器开始获取图像数据并将所述图像数据传输至所述处理器;所述处理器根据所述时钟信号对应的时间信息和图像传感器的偏移时间信息确定同步时间,并获取其他传感器在所述同步时间的传感器数据;处理器对所述图像数据、传感器数据进行融合处理;通过FPGA或CPLD生成的时钟信号去触发图像传感器开始采集图像数据,并根据时钟信号对应的时间信息和图像传感器内部偏移时间作为与其他传感器数据融合的同步时间点,提高了传感器同步精度,利于车辆自动驾驶的精确控制。
Description
技术领域
本发明涉及车辆技术领域,尤其涉及一种传感器同步方法、装置、系统及车辆。
背景技术
在车辆自动驾驶领域中,传感器同步是非常重要的一门技术。为了实现对车辆自动驾驶的精确控制,需要同步包括图像传感器在内的所有传感器的数据,即对同一时刻的所有传感器数据进行融合处理。
现有技术中,通常是将图像传感器所采集的图像数据发送到处理器的时间点作为与其他传感器数据进行融合的同步时间。但是,上述方式忽略了图像数据的传输延迟时间,导致图像数据和其他传感器数据并非是同一时刻的数据,也就是说,现有技术存在着传感器的同步精度低,不利于对车辆自动驾驶的精确控制的技术问题。
发明内容
本发明提供了一种传感器同步方法、装置、系统及车辆,以解决现有技术存在的传感器的同步精度低,不利于对车辆自动驾驶的精确控制的技术问题。
第一方面,本发明提供了传感器同步方法,应用于通信连接的处理器和现场可编程器件FPGA或复杂可编程逻辑器件CPLD;所述方法包括:所述FPGA或CPLD生成时钟信号,并将时钟信号对应的时间信息同步至处理器;所述FPGA或CPLD发送所述时钟信号给图像传感器,以使所述图像传感器开始获取图像数据并将所述图像数据传输至所述处理器;所述处理器根据所述时钟信号对应的时间信息和图像传感器的偏移时间信息确定同步时间,并获取其他传感器在所述同步时间的传感器数据,其中,所述其他传感器是指除图像传感器以外的传感器;所述处理器对所述图像数据、传感器数据进行融合处理。
作为本发明可选的实施例,所述FPGA或CPLD生成时钟信号,包括:所述FPGA或CPLD周期性生成时钟信号。
作为本发明可选的实施例,所述FPGA或CPLD发送所述时钟信号给图像传感器,包括:所述FPGA或CPLD并行发送多个时钟信号给多个图像传感器。
作为本发明可选的实施例,所述FPGA或CPLD通过解串器与所述图像传感器通信连接,则所述FPGA或CPLD发送所述时钟信号给图像传感器,包括:所述FPGA或CPLD通过所述解串器转发所述时钟信号给所述图像传感器。
作为本发明可选的实施例,所述FPGA或CPLD将所述时钟信号对应的时间信息同步至处理器所用的第一时间小于等于所述图像传感器开始获取图像数据并将所述图像数据传输至所述处理器所用的第二时间。
作为本发明可选的实施例,所述图像传感器的偏移时间信息为图像传感器获取一帧图像的起始点时刻与中间点时刻的差值。
作为本发明可选的实施例,所述时钟信号对应的时间信息为纳秒级别。
第二方面,本发明提供一种传感器同步装置,包括通信连接的处理器和现场可编程器件FPGA或复杂可编程逻辑器件CPLD;其中,所述FPGA或CPLD用于生成时钟信号,并将时钟信号对应的时间信息同步至处理器,还用于发送所述时钟信号给图像传感器,以使所述图像传感器开始获取图像数据并将所述图像数据传输至所述处理器;所述处理器用于根据所述时钟信号对应的时间信息和图像传感器的偏移时间信息确定同步时间,并获取其他传感器在所述同步时间的传感器数据,还用于对所述图像数据、传感器数据进行融合处理,其中,所述其他传感器是指除图像传感器以外的传感器。
第三方面,本发明提供一种传感器同步系统,包括图像传感器、其他传感器、处理器以及现场可编程器件FPGA或复杂可编程逻辑器件CPLD,所述其他传感器是指除所述图像传感器以外的传感器;其中,所述处理器与所述FPGA或CPLD通信连接,用于实现如第一方面任一项所述的方法;所述图像传感器分别与处理器、FPGA或CPLD通信连接;所述其他传感器与处理器通信连接。
第四方面,本发明提供一种车辆,包括车辆本体和如第三方面所述的传感器同步系统。
本发明实施例提供的传感器同步方法、装置、系统及车辆,所述方法应用于通信连接的处理器和现场可编程器件FPGA或复杂可编程逻辑器件CPLD;通过所述FPGA或CPLD生成时钟信号,并将时钟信号对应的时间信息同步至处理器;所述FPGA或CPLD发送所述时钟信号给图像传感器,以使所述图像传感器开始获取图像数据并将所述图像数据传输至所述处理器;所述处理器根据所述时钟信号对应的时间信息和图像传感器的偏移时间信息确定同步时间,并获取其他传感器在所述同步时间的传感器数据,其中,所述其他传感器是指除图像传感器以外的传感器;处理器对所述图像数据、传感器数据进行融合处理;即本发明实施例通过FPGA或CPLD生成的时钟信号去触发图像传感器开始采集图像数据,并根据时钟信号对应的时间信息和图像传感器内部偏移时间作为与其他传感器数据融合的同步时间点,提高了传感器同步精度,利于车辆自动驾驶的精确控制。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术提供的一种摄像头结构及其工作原理示意图;
图2为本发明实施例提供的一种传感器同步装置的结构示意图;
图3为本发明实施例提供的一种传感器同步方法的流程示意图;
图4为本发明实施例提供的另一种传感器同步方法的流程示意图;
图5为本发明实施例提供的一种图像数据的获取过程示意图;
图6为本发明实施例提供的一种传感器同步系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在车辆自动驾驶领域中,传感器同步是非常重要的一门技术。具体来说,车辆上安装有多种类型的传感器,包括图像传感器,如最常见的摄像头,还包括其他传感器,如激光雷达、超声波传感器、毫米波雷达等。为了实现对车辆自动驾驶的精确控制,需要同步包括图像传感器在内的所有传感器的数据,即对同一时刻的所有传感器数据进行融合处理。
图1为现有技术提供的一种摄像头结构及其工作原理示意图,如图1所示,摄像头包括摄像头传感器(Senor)11、图像信号处理器(Image Signal Processing,简称ISP)12以及串行器13(或称为编码器)。其工作原理为:摄像头传感器11将采集的光学图像信息转换为数字图像信息,然后将数字图像信息发送到图像信号处理器12进行处理,然后图像信号处理器12将处理后的数字图像信息发送给串行器13进行编码,并将编码后的数字图像信息通过高效链路传输给解串器14,解串器14对编码后的数字图像信息进行解码,并将解码后的数字图像信息发送到计算平台15,用于与其他传感器数据进行数据融合。
传统的传感器同步技术,是将数字图像信息到达计算平台15的到达时间点作为数据融合的同步时间点,即计算平台15会获取其他传感器在该同步时间点上的传感器数据,并与数字图像信息进行数据融合处理。但是这种方式却忽略了摄像头从采集光学图像到发送到计算平台15之间的延迟时间,包括摄像头传感器11的延迟、图像信号处理器12延迟、串行器13延迟以及解串器14延迟,延迟时间可达到100毫秒,也就是说,摄像头所获取的图像数据所对应的真正时间点是要早于同步时间点的,导致摄像头和其他传感器并非是同一时刻的数据,造成传感器同步精度较低,不满足对车辆自动驾驶精确控制的要求。
为了解决上述技术问题,本发明的技术构思在于:通过FPGA或CPLD生成的时钟信号去触发图像传感器开始采集图像数据,并根据时钟信号对应的时间信息和图像传感器内部偏移时间作为与其他传感器数据融合的同步时间点,提高了传感器同步精度,利于车辆自动驾驶的精确控制。
图2为本发明实施例提供的一种传感器同步装置的结构示意图,如图2所示,该传感器同步装置包括通信连接的处理器和现场可编程器件FPGA或复杂可编程逻辑器件CPLD。可选的,处理器可以为视觉数据处理器;处理器和FPGA/CPLD通过串行外设接口(SerialPeripheral Interface,简称SPI)连接。
需要说明的是,该传感器同步装置或者部署有该传感器同步装置的电子设备(如图1所示的计算平台15)可用于执行下述各实施例。
第一方面,本发明实施例提供了一种传感器同步方法。图3为本发明实施例提供的一种传感器同步方法的流程示意图,如图3所示,该传感器同步方法包括:
步骤S101、所述FPGA或CPLD生成时钟信号,并将时钟信号对应的时间信息同步至处理器。
本步骤中,FPGA或CPLD可以生成时钟信号,并同时记录时钟信号对应的时间信息,将时钟信号对应的时间信息传输给处理器。
作为可选的实施例,所述时钟信号对应的时间信息为纳秒级别。相比于现有技术中常用的linux的时钟片(其极限是1微妙)来说,本实施例提高了时钟信号的精度。
另外,需要说明的是,本实施例中的FPGA/CPLD与处理器分开设置,相较于通过处理器来生成时钟信号而言,本实施例减轻了处理器的负载。
步骤S102、所述FPGA或CPLD发送所述时钟信号给图像传感器,以使所述图像传感器开始获取图像数据并将所述图像数据传输至所述处理器。
本步骤中,FPGA或CPLD将生成的时钟信号发送给图像传感器,以触发图像传感器开始获取图像数据,也就是说,时钟信号对应的时间信息为获取的一帧图像的起始点所对应的时刻;然后图像传感器将获取的图像数据依次经过Senor、SIP、串行器以及解码器处理后,通过相机串行接口(Camera Serial Interface,简称CSI)发送给处理器。可选的,处理器会将图像数据和时钟信号对应的时间信息进行对应存储。
步骤S103、所述处理器根据所述时钟信号对应的时间信息和图像传感器的偏移时间信息确定同步时间,并获取其他传感器在所述同步时间的传感器数据。
其中,所述其他传感器是指除图像传感器以外的传感器,可以为激光雷达、超声波传感器、毫米波雷达等。
本实施例中,是将一帧图像的中间点所对应的时刻作为该图像数据的真正时刻,也就是说,要获取其他传感器在该真正时刻处的传感器数据才算是与图像数据为同一时刻的数据。因此,在本步骤中,处理器会预先获取图像传感器的偏移时间信息,其中,所述图像传感器的偏移时间信息为图像传感器获取一帧图像的起始点时刻与中间点时刻的差值,然后根据时钟信号对应的时间信息(即一帧图像的起始点时刻)和图像传感器的偏移时间(即一帧图像的起始点时刻与中间点时刻的差值)获取到该图像数据的真正时刻,并将该真正时刻作为数据融合的同步时间,处理器去获取其他传感器在该同步时间上的传感器数据。
步骤S104、所述处理器对所述图像数据、传感器数据进行融合处理。
本步骤中,处理器对位于同一时刻的图像数据、传感器数据进行融合处理。进一步的,在车辆自动驾驶领域,处理器会根据数据融合结果控制车辆的下一步操作。
作为可选的实施例,所述步骤S101中的所述FPGA或CPLD生成时钟信号,包括:所述FPGA或CPLD周期性生成时钟信号。
具体来说,FPGA或CPLD会周期性地生成时钟信号,每一周期的时钟信号用于触发图像传感器开始采集对应的一帧图像。比如说,在当前周期内,FPGA或CPLD生成当前时钟信号,同时记录当前时钟信号对应的当前时间信息,并将当前时间信息发送给处理器进行存储;FPGA或CPLD将当前时钟信号发送给图像传感器,以使图像传感器开始采集当前帧图像数据,并将采集的当前帧图像数据发送给处理器。可选的,处理器会将当前帧图像数据与当前时间信息对应存储,依次类推,每一帧图像会与对应周期的时钟信号对应的时间信息对应存储。
作为可选的实施例,所述FPGA或CPLD发送所述时钟信号给图像传感器,包括:所述FPGA或CPLD并行发送多个时钟信号给多个图像传感器。
具体来说,图像传感器可以为一个或多个,当图像传感器为多个时,FPGA或CPLD可以实现多线程的完全并行处理,即FPGA或CPLD可以同时发送多个时钟信号给多个图像传感器,避免了在通过单个处理器给多个图像传感器发送时钟信号时,所产生的时间片问题。
作为可选的实施例,所述FPGA或CPLD将时钟信号对应的时间信息同步至处理器所用的第一时间小于等于所述图像传感器开始获取图像数据并将所述图像数据传输至所述处理器所用的第二时间。具体来说,为了实现处理器在接收到图像传感器所采集的图像数据后,能够与时钟信号对应的时间信息进行对应存储,需要FPGA或CPLD将时钟信号对应的时间信息同步到处理器的时间要小于等于图像传感器将所采集的图像数据传输到处理器的时间,即处理器先获取到时钟信号对应的时间信息,后获取到图像传感器的图像数据。
可选的,处理器在获取到时钟信号的时间信息后,还可以先根据时钟信号的时间信息和图像传感器的偏移时间信息确定同步时间,然后将图像传感器在接收到该时钟信号后所获取的图像数据在处理器上与同步时间对应存储,并将其他传感器在同步时间对应的传感器数据也在处理器上与同步时间对应存储,从而使得处理器可以直接融合处理同一同步时间的图像数据和传感器数据。
本发明实施例提供的传感器同步方法,应用于通信连接的处理器和现场可编程器件FPGA或复杂可编程逻辑器件CPLD;通过所述FPGA或CPLD生成时钟信号,并将时钟信号对应的时间信息同步至处理器;所述FPGA或CPLD发送所述时钟信号给图像传感器,以使所述图像传感器开始获取图像数据并将所述图像数据传输至所述处理器;所述处理器根据所述时钟信号对应的时间信息和图像传感器的偏移时间信息确定同步时间,并获取其他传感器在所述同步时间的传感器数据,其中,所述其他传感器是指除图像传感器以外的传感器;处理器对所述图像数据、传感器数据进行融合处理;即本发明实施例通过FPGA或CPLD生成的时钟信号去触发图像传感器采集图像数据,并根据时钟信号对应的时间信息和图像传感器的内部偏移时间作为与其他传感器数据融合的同步时间点,提高了传感器同步精度,利于车辆自动驾驶的精确控制。
在上述实施例的基础上,图4为本发明实施例提供的另一种传感器同步方法的流程示意图,在本实施例种,所述FPGA或CPLD通过解串器与所述图像传感器通信连接。如图4所示,该传感器同步方法包括:
步骤S201、所述FPGA或CPLD生成时钟信号,并将时钟信号对应的时间信息同步至处理器。
步骤S202、所述FPGA或CPLD通过所述解串器转发所述时钟信号给所述图像传感器,以使所述图像传感器开始获取图像数据并将所述图像数据传输至所述处理器。
步骤S203、所述处理器根据所述时钟信号对应的时间信息和图像传感器的偏移时间信息确定同步时间,并获取其他传感器在所述同步时间的传感器数据。
其中,所述其他传感器是指除图像传感器以外的传感器。
步骤S204、所述处理器对所述图像数据、传感器数据进行融合处理。
本实施例中的步骤S201、步骤S203以及步骤S204的实现方式分别与上述实施例中的步骤S101、步骤102以及步骤104的实现方式类似,此处不再赘述。
与上述实施例的区别在于,为了使得传感器同步系统的布线更简洁,在本实施例中,所述FPGA或CPLD通过所述解串器转发所述时钟信号给所述图像传感器,即直接利用原有通信链路传输时钟信号,不需要再在FPGA或CPLD和多个图像传感器之间另部署新的传输链路线,使得整个系统布线更简洁。
图5为本发明实施例提供的一种图像数据的获取过程示意图。为了进一步了解本发明实施例,现结合图5对本发明实施例进行进一步详细说明。如图5所示,处理器和FPGA/CPLD分开部署,并通过SPI通信连接;还有四个摄像头,包括摄像头1、摄像头2、摄像头3以及摄像头4,每个摄像头分别通过对应的解串器,即解串器1、解串器2、解串器3以及解串器4与处理器和FPGA/CPLD通信连接。本实施例中,FPGA/CPLD周期性生成四个时钟信号(或称为触发信号,即触发信号1、触发信号2、触发信号3、触发信号4),并记录时钟信号对应的纳秒级别的时间信息,并将时间信息通过SPI发送给处理器;FPGA/CPLD会将生成的四个时钟信号完全并行的通过解串器发送给摄像头,即FPGA/CPLD通过解串器1转发触发信号1给摄像头1,通过解串器2转发触发信号2给摄像头2,通过解串器3转发触发信号3给摄像头3,通过解串器4转发触发信号4给摄像头4;各摄像头在接收到触发信号后,开始采集图像,并将所采集的图像各自经过对应的解串器的CSI接口发送给处理器;处理器会根据时钟信号对应的时间信息+摄像头内部偏移时钟信确定同步时间,处理器可以拿这个同步时间去匹配其他传感器相应的数据,并与图像数据进行数据融合。
本发明实施例提供的传感器同步方法,所述FPGA或CPLD通过所述解串器转发所述时钟信号给所述图像传感器,即本发明实施例直接利用原有通信链路传输时钟信号,不需要再在FPGA或CPLD和多个图像传感器之间单独部署新的传输链路线,使得整个设备的布线更简洁。
第二方面,本发明实施例提供一种传感器同步装置。可参考图2所示,该传感器同步装置包括通信连接的处理器和现场可编程器件FPGA或复杂可编程逻辑器件CPLD;其中,所述FPGA或CPLD用于生成时钟信号,并将时钟信号对应的时间信息同步至处理器,还用于发送所述时钟信号给图像传感器,以使所述图像传感器开始获取图像数据并将所述图像数据传输至所述处理器;所述处理器用于根据所述时钟信号对应的时间信息和图像传感器的偏移时间确定同步时间,并获取其他传感器在所述同步时间的传感器数据,还用于对所述图像数据、传感器数据进行融合处理,其中,所述其他传感器是指除图像传感器以外的传感器。
作为本发明可选的实施例,所述FPGA或CPLD具体用于:周期性生成时钟信号。
作为本发明可选的实施例,所述FPGA或CPLD具体用于:并行发送多个时钟信号给多个图像传感器。
作为本发明可选的实施例,所述FPGA或CPLD通过解串器与所述图像传感器通信连接,所述FPGA或CPLD具体用于:通过所述解串器转发所述时钟信号给所述图像传感器。
作为本发明可选的实施例,所述FPGA或CPLD将时钟信号对应的时间信息同步至处理器所用的第一时间小于等于所述图像传感器开始获取图像数据并将所述图像数据传输至所述处理器所用的第二时间。
作为本发明可选的实施例,所述图像传感器的偏移时间信息为图像传感器获取一帧图像的起始点时刻与中间点时刻的差值。
作为本发明可选的实施例,所述时钟信号对应的时间信息为纳秒级别。
本发明实施例提供的传感器同步装置,其实现原理和技术效果与上述实施例类似,此处不再赘述。
本发明实施例提供的传感器同步装置,包括通信连接的处理器和现场可编程器件FPGA或复杂可编程逻辑器件CPLD;其中,所述FPGA或CPLD用于生成时钟信号,并将时钟信号对应的时间信息同步至处理器,还用于发送所述时钟信号给图像传感器,以使所述图像传感器开始获取图像数据并将所述图像数据传输至所述处理器;所述处理器用于根据所述时钟信号对应的时间信息和图像传感器的偏移时间确定同步时间,并获取其他传感器在所述同步时间的传感器数据,还用于对所述图像数据、传感器数据进行融合处理,其中,所述其他传感器是指除图像传感器以外的传感器;即本发明实施例通过FPGA或CPLD生成的时钟信号去触发图像传感器采集图像数据,并根据时钟信号对应的时间信息和图像传感器的内部偏移时间作为与其他传感器数据进行数据融合的同步时间点,提高了传感器同步精度,利于车辆自动驾驶的精确控制。
第三方面,本发明实施例还提供一种传感器同步系统。图6为本发明实施例提供的一种传感器同步系统的结构示意图,如图6所示,该传感器同步系统包括:
图像传感器、其他传感器、处理器以及现场可编程器件FPGA或复杂可编程逻辑器件CPLD,所述其他传感器是指除所述图像传感器以外的传感器;其中,所述处理器与所述FPGA或CPLD通信连接,用于实现第一方面任一项所述的方法;所述图像传感器分别与处理器、FPGA或CPLD通信连接;所述其他传感器与处理器通信连接。
作为可选的实施例,所述图像传感器的个数为多个,和/或其他传感器的个数为多个。
作为可选的实施例,所述传感器同步系统还包括解串器,所述图像传感器通过所述解串器分别与处理器、FPGA或CPLD通信连接。
本发明实施例提供的传感器同步系统,其实现原理和技术效果与上述实施例类似,此处不再赘述。
本发明实施例还提供一种车辆,包括车辆本体和如第二方面所述的的传感器同步系统。
本发明实施例提供的车辆,其实现原理和技术效果与上述实施例类似,此处不再赘述。
本发明实施例还提供了一种电子设备,包括电子设备本体和如上述实施例所述的传感器处理装置;其中,所述传感器处理装置部署在所述电子设备本体上,传感器处理装置用于实现如第一方面任一项实施例所述的传感器同步方法。
本发明实施例提供的电子设备,其实现原理和技术效果与上述实施例类似,此处不再赘述。
本公开实施例中提到的各个模块的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,上述模块中一个或多个模块可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
虽然本说明书包含许多具体实施细节,但是这些不应被解释为限制任何发明的范围或所要求保护的范围,而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面,在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外,虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护,但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除,并且所要求保护的组合可以指向子组合或子组合的变型。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行,以实现期望的结果。在某些情况下,多任务和并行处理可能是有利的。此外,上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离,并且应当理解,所描述的程序组件和系统通常可以一起集成在单个软件产品中,或者封装成多个软件产品。
由此,主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下,权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外,附图中描绘的处理并非必需所示的特定顺序或顺次顺序,以实现期望的结果。在某些实现中,多任务和并行处理可能是有利的。
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。。
Claims (10)
1.一种传感器同步方法,其特征在于,应用于通信连接的处理器和现场可编程器件FPGA或复杂可编程逻辑器件CPLD;所述方法包括:
所述FPGA或CPLD生成时钟信号,并将时钟信号对应的时间信息同步至处理器;
所述FPGA或CPLD发送所述时钟信号给图像传感器,以使所述图像传感器开始获取图像数据并将所述图像数据传输至所述处理器;
所述处理器根据所述时钟信号对应的时间信息和图像传感器的偏移时间信息确定同步时间,并获取其他传感器在所述同步时间的传感器数据,其中,所述其他传感器是指除图像传感器以外的传感器;
所述处理器对所述图像数据、传感器数据进行融合处理。
2.根据权利要求1所述的方法,其特征在于,所述FPGA或CPLD生成时钟信号,包括:
所述FPGA或CPLD周期性生成时钟信号。
3.根据权利要求1所述的方法,其特征在于,所述FPGA或CPLD发送所述时钟信号给图像传感器,包括:
所述FPGA或CPLD并行发送多个时钟信号给多个图像传感器。
4.根据权利要求1所述的方法,其特征在于,所述FPGA或CPLD通过解串器与所述图像传感器通信连接,则所述FPGA或CPLD发送所述时钟信号给图像传感器,包括:
所述FPGA或CPLD通过所述解串器转发所述时钟信号给所述图像传感器。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述FPGA或CPLD将所述时间信息同步至处理器所用的第一时间小于等于所述图像传感器开始获取图像数据并将所述图像数据传输至所述处理器所用的第二时间。
6.根据权利要求1-4任一项所述的方法,其特征在于,所述图像传感器的偏移时间信息为图像传感器获取一帧图像的起始点时刻与中间点时刻的差值。
7.根据权利要求1-4任一项所述的方法,其特征在于,所述时钟信号对应的时间信息为纳秒级别。
8.一种传感器同步装置,其特征在于,包括通信连接的处理器和现场可编程器件FPGA或复杂可编程逻辑器件CPLD;
其中,所述FPGA或CPLD用于生成时钟信号,并将时钟信号对应的时间信息同步至处理器,还用于发送所述时钟信号给图像传感器,以使所述图像传感器开始获取图像数据并将所述图像数据传输至所述处理器;
所述处理器用于根据所述时钟信号对应的时间信息和图像传感器的偏移时间信息确定同步时间,并获取其他传感器在所述同步时间的传感器数据,还用于对所述图像数据、传感器数据进行融合处理,其中,所述其他传感器是指除图像传感器以外的传感器。
9.一种传感器同步系统,其特征在于,包括图像传感器、其他传感器、处理器以及现场可编程器件FPGA或复杂可编程逻辑器件CPLD,所述其他传感器是指除所述图像传感器以外的传感器;
其中,所述处理器与所述FPGA或CPLD通信连接,用于实现如权利要求1-7任一项所述的方法;所述图像传感器分别与处理器、FPGA或CPLD通信连接;所述其他传感器与处理器通信连接。
10.一种车辆,其特征在于,包括车辆本体和如权利要求9所述的传感器同步系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111651157.7A CN114338951A (zh) | 2021-12-30 | 2021-12-30 | 传感器同步方法、装置、系统及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111651157.7A CN114338951A (zh) | 2021-12-30 | 2021-12-30 | 传感器同步方法、装置、系统及车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114338951A true CN114338951A (zh) | 2022-04-12 |
Family
ID=81019878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111651157.7A Pending CN114338951A (zh) | 2021-12-30 | 2021-12-30 | 传感器同步方法、装置、系统及车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114338951A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117715168A (zh) * | 2023-12-19 | 2024-03-15 | 镁佳(北京)科技有限公司 | 信号同步系统及方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010135926A (ja) * | 2008-12-02 | 2010-06-17 | Tohoku Univ | 視覚センサ同期装置および視覚センサ同期方法 |
CN109922260A (zh) * | 2019-03-04 | 2019-06-21 | 中国科学院上海微系统与信息技术研究所 | 图像和惯性传感器的数据同步方法和同步装置 |
CN110174120A (zh) * | 2019-04-16 | 2019-08-27 | 百度在线网络技术(北京)有限公司 | 用于ar导航模拟的时间同步方法及装置 |
US10582137B1 (en) * | 2018-09-26 | 2020-03-03 | Zoox, Inc. | Multi-sensor data capture synchronizaiton |
CN111381487A (zh) * | 2018-12-29 | 2020-07-07 | 阿里巴巴集团控股有限公司 | 多传感器同步授时系统、方法、装置及电子设备 |
CN211308445U (zh) * | 2019-11-11 | 2020-08-21 | 北京嘀嘀无限科技发展有限公司 | 多传感器数据同步系统及汽车 |
CN111669516A (zh) * | 2020-06-19 | 2020-09-15 | 江苏镭博智能科技有限公司 | 一种基于fpga实现八路视频数据的横向拼接及imu数据的实时同步方法 |
CN111682918A (zh) * | 2020-06-10 | 2020-09-18 | 杭州海康威视数字技术股份有限公司 | 传感器的同步控制方法、装置、系统以及存储介质 |
CN112953670A (zh) * | 2021-01-26 | 2021-06-11 | 中电海康集团有限公司 | 一种融合感知同步曝光方法、装置及可读存储介质 |
CN113219479A (zh) * | 2021-05-13 | 2021-08-06 | 环宇智行科技(苏州)有限公司 | 智能驾驶控制系统的摄像头和激光雷达同步方法及系统 |
CN113674422A (zh) * | 2021-08-27 | 2021-11-19 | 中汽创智科技有限公司 | 一种数据同步采集方法、控制模块、系统及存储介质 |
-
2021
- 2021-12-30 CN CN202111651157.7A patent/CN114338951A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010135926A (ja) * | 2008-12-02 | 2010-06-17 | Tohoku Univ | 視覚センサ同期装置および視覚センサ同期方法 |
US10582137B1 (en) * | 2018-09-26 | 2020-03-03 | Zoox, Inc. | Multi-sensor data capture synchronizaiton |
CN111381487A (zh) * | 2018-12-29 | 2020-07-07 | 阿里巴巴集团控股有限公司 | 多传感器同步授时系统、方法、装置及电子设备 |
CN109922260A (zh) * | 2019-03-04 | 2019-06-21 | 中国科学院上海微系统与信息技术研究所 | 图像和惯性传感器的数据同步方法和同步装置 |
CN110174120A (zh) * | 2019-04-16 | 2019-08-27 | 百度在线网络技术(北京)有限公司 | 用于ar导航模拟的时间同步方法及装置 |
CN211308445U (zh) * | 2019-11-11 | 2020-08-21 | 北京嘀嘀无限科技发展有限公司 | 多传感器数据同步系统及汽车 |
CN111682918A (zh) * | 2020-06-10 | 2020-09-18 | 杭州海康威视数字技术股份有限公司 | 传感器的同步控制方法、装置、系统以及存储介质 |
CN111669516A (zh) * | 2020-06-19 | 2020-09-15 | 江苏镭博智能科技有限公司 | 一种基于fpga实现八路视频数据的横向拼接及imu数据的实时同步方法 |
CN112953670A (zh) * | 2021-01-26 | 2021-06-11 | 中电海康集团有限公司 | 一种融合感知同步曝光方法、装置及可读存储介质 |
CN113219479A (zh) * | 2021-05-13 | 2021-08-06 | 环宇智行科技(苏州)有限公司 | 智能驾驶控制系统的摄像头和激光雷达同步方法及系统 |
CN113674422A (zh) * | 2021-08-27 | 2021-11-19 | 中汽创智科技有限公司 | 一种数据同步采集方法、控制模块、系统及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117715168A (zh) * | 2023-12-19 | 2024-03-15 | 镁佳(北京)科技有限公司 | 信号同步系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112787740A (zh) | 一种多传感器时间同步装置及方法 | |
CN111585682B (zh) | 传感器时间同步方法、装置及终端设备 | |
CN107329145B (zh) | 多激光雷达系统及其控制方法 | |
CN109240159B (zh) | 多路同步信号触发方法、终端、数据采集系统及存储介质 | |
JP7164721B2 (ja) | センサデータ処理方法、装置、電子機器及びシステム | |
WO2023093054A1 (zh) | 一种数据处理的方法、装置、系统、设备及存储介质 | |
US20200014525A1 (en) | Method for time synchronization between two computing devices of a driver assistance system, driver assistance system, and motor vehicle | |
CN111736169A (zh) | 一种数据同步方法、设备及系统 | |
CN112485806B (zh) | 一种激光雷达和相机时间同步系统及方法 | |
CN114338951A (zh) | 传感器同步方法、装置、系统及车辆 | |
CN213092100U (zh) | 一种曝光系统 | |
CN110445987B (zh) | 一种多相机曝光同步控制系统及其方法和无人机 | |
GB2451548A (en) | Radiation imaging system for moving vehicles | |
CN112671497A (zh) | 时间同步方法、装置和电子设备 | |
CN111107248B (zh) | 一种多路视频采集的同步系统、方法和采集控制器 | |
US11509854B2 (en) | Video signal receiver, video signal reception module, and video signal transmission and reception system | |
CN110855980A (zh) | 一种传感数据处理方法、系统、装置及存储介质 | |
KR20160111828A (ko) | 위치 기반형의 노광 데이터 고속 처리 제어기 및 그 시스템 | |
JP2013048333A (ja) | 画像処理装置、画像処理方法、および画像処理システム | |
WO2023083271A1 (zh) | 数据同步装置及其方法、计算机可读存储介质 | |
CN110830732B (zh) | 用于自动驾驶系统的曝光时间获取装置及方法 | |
EP3527136B1 (en) | Radiation imaging apparatus, radiation imaging system, and method for controlling radiation imaging system | |
CN113965285A (zh) | 一种基于ntp协议的跨系统多传感器时间同步与标定方法 | |
JP5642877B2 (ja) | センサー同期方法 | |
US20220345287A1 (en) | Communication device, communication method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |