CN111736169B - 一种数据同步方法、设备及系统 - Google Patents
一种数据同步方法、设备及系统 Download PDFInfo
- Publication number
- CN111736169B CN111736169B CN202010611578.6A CN202010611578A CN111736169B CN 111736169 B CN111736169 B CN 111736169B CN 202010611578 A CN202010611578 A CN 202010611578A CN 111736169 B CN111736169 B CN 111736169B
- Authority
- CN
- China
- Prior art keywords
- laser radar
- image acquisition
- exposure
- time
- processing chip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本申请提供一种数据同步方法、设备及系统,处理芯片用于接收激光雷达发送的扫描位置指示信号;根据所述扫描位置指示信号确定所述激光雷达的探测方位信息;根据所述探测方位信息,向图像采集设备发送第一控制信号,所述第一控制信号用于控制所述图像采集设备在所述激光雷达扫描至所述重合区域时完成曝光,以使所述图像采集设备输出的视频图像与所述激光雷达输出的探测数据同步。通过本申请的技术方案,使得激光雷达和图像采集设备在同一时刻获取目标视场的数据,保证激光雷达和图像采集设备同步获取数据。
Description
技术领域
本申请涉及图像处理领域,尤其是一种数据同步方法、设备及系统。
背景技术
激光雷达是以红外激光为工作媒介进行目标探测的雷达系统,具有分辨率高,探测距离远,不受光线条件影响等特点,是能够探测三维空间深度信息的传感器。激光雷达根据其扫描光束的个数,可分为单线激光雷达和多线激光雷达,根据激光扫描方式的不同,可分为机械式激光雷达和固态激光雷达。
图像采集设备是采集视频图像数据的传感器,视频图像数据能够提供形貌、颜色、纹理等信息,视频图像数据是利用成像器件对固定视场进行曝光获得。
随着三维环境探测准确度要求的提高,在环境感知、目标探测等应用场景,需要通过激光雷达采集三维点云数据,通过图像采集设备采集视频图像数据,并对三维点云数据和视频图像数据进行融合,从而基于融合结果进行目标检测。
但是,激光雷达和图像采集设备作为独立的传感器,无法保证激光雷达和图像采集设备同步采集数据,无法对同一时刻的三维点云数据和视频图像数据进行融合,使得目标检测精度降低。例如,无法保证激光雷达和图像采集设备均在时刻1采集数据,无法对时刻1的三维点云数据和视频图像数据进行融合。
发明内容
本申请提供一种处理芯片,所述处理芯片与激光雷达连接,且所述处理芯片与图像采集设备连接,所述激光雷达扫描时的探测视场与所述图像采集设备的视场在空间上存在重合区域,其中:
所述处理芯片,用于接收所述激光雷达发送的扫描位置指示信号;
根据所述扫描位置指示信号确定所述激光雷达的探测方位信息;
根据所述探测方位信息,向所述图像采集设备发送第一控制信号,所述第一控制信号用于控制所述图像采集设备在所述激光雷达扫描至所述重合区域时完成曝光,以使所述图像采集设备输出的视频图像与所述激光雷达输出的探测数据同步。
本申请提供一种激光雷达,所述激光雷达与处理芯片连接,且所述处理芯片与图像采集设备连接,所述激光雷达扫描时的探测视场与所述图像采集设备的视场在空间上存在重合区域,其中:
所述激光雷达,用于向所述处理芯片发送扫描位置指示信号,以使所述处理芯片根据所述扫描位置指示信号确定所述激光雷达的探测方位信息,根据所述探测方位信息向所述图像采集设备发送第一控制信号,所述第一控制信号用于控制所述图像采集设备在所述激光雷达扫描至所述重合区域时完成曝光;
所述激光雷达,还用于输出探测数据;其中,所述激光雷达输出的探测数据与所述图像采集设备输出的视频图像同步。
本申请提供一种图像采集设备,所述图像采集设备与处理芯片连接,且所述处理芯片与激光雷达连接,所述激光雷达扫描时的探测视场与所述图像采集设备的视场在空间上存在重合区域,其中:
所述图像采集设备,用于接收所述处理芯片发送的第一控制信号;其中,所述第一控制信号是所述处理芯片根据所述激光雷达发送的扫描位置指示信号确定所述激光雷达的探测方位信息后,根据所述探测方位信息发送的;
所述图像采集设备,还用于根据所述第一控制信号控制所述图像采集设备在所述激光雷达扫描至所述重合区域时完成曝光,以使所述图像采集设备输出的视频图像与所述激光雷达输出的探测数据同步。
本申请提供一种数据同步方法,应用于处理芯片,所述处理芯片与激光雷达连接,且所述处理芯片与图像采集设备连接,所述激光雷达扫描时的探测视场与所述图像采集设备的视场在空间上存在重合区域,所述方法包括:
接收所述激光雷达发送的扫描位置指示信号;
根据所述扫描位置指示信号确定所述激光雷达的探测方位信息;
根据所述探测方位信息,向所述图像采集设备发送第一控制信号,所述第一控制信号用于控制所述图像采集设备在所述激光雷达扫描至所述重合区域时完成曝光,以使所述图像采集设备输出的视频图像与所述激光雷达输出的探测数据同步。
本申请提供一种数据同步方法,应用于激光雷达,所述激光雷达与处理芯片连接,且所述处理芯片与图像采集设备连接,所述激光雷达扫描时的探测视场与所述图像采集设备的视场在空间上存在重合区域,所述方法包括:
向所述处理芯片发送扫描位置指示信号,以使所述处理芯片根据所述扫描位置指示信号确定所述激光雷达的探测方位信息,根据所述探测方位信息向所述图像采集设备发送第一控制信号,所述第一控制信号用于控制所述图像采集设备在所述激光雷达扫描至所述重合区域时完成曝光;
输出探测数据;其中,所述激光雷达输出的探测数据与所述图像采集设备输出的视频图像同步。
本申请提供一种数据同步方法,应用于图像采集设备,所述图像采集设备与处理芯片连接,所述处理芯片与激光雷达连接,所述激光雷达扫描时的探测视场与所述图像采集设备的视场在空间上存在重合区域,所述方法包括:
接收所述处理芯片发送的第一控制信号;其中,所述第一控制信号是所述处理芯片根据所述激光雷达发送的扫描位置指示信号确定所述激光雷达的探测方位信息后,根据所述探测方位信息发送的;
根据所述第一控制信号控制所述图像采集设备在所述激光雷达扫描至所述重合区域时完成曝光,以使所述图像采集设备输出的视频图像与所述激光雷达输出的探测数据同步。
本申请提供一种数据同步系统,包括:处理芯片,激光雷达,图像采集设备和数据处理设备,所述处理芯片与所述激光雷达连接,所述处理芯片与所述图像采集设备连接,所述数据处理设备与所述激光雷达连接,所述数据处理设备与所述图像采集设备连接,所述激光雷达扫描时的探测视场与所述图像采集设备的视场在空间上存在重合区域,其中:
所述激光雷达,用于向所述处理芯片发送扫描位置指示信号;
所述处理芯片,用于根据所述扫描位置指示信号确定所述激光雷达的探测方位信息;根据所述探测方位信息,向所述图像采集设备发送第一控制信号;
所述图像采集设备,用于根据所述第一控制信号控制所述图像采集设备在所述激光雷达扫描至所述重合区域时完成曝光;
所述激光雷达,用于向所述数据处理设备输出探测数据;
所述图像采集设备,用于向所述数据处理设备输出视频图像;
所述数据处理设备,用于对所述图像采集设备输出的视频图像与所述激光雷达输出的探测数据进行对齐配准,以使所述图像采集设备输出的视频图像与所述激光雷达输出的探测数据同步,得到同步的视频图像和探测数据。
由以上技术方案可见,本申请实施例中,可以使激光雷达和图像采集设备在同一时刻获取目标视场的数据,从而保证激光雷达和图像采集设备同步获取数据,即,在同一时刻,激光雷达获取目标视场的探测数据,图像采集设备获取目标视场的视频图像。能够对同一时刻的探测数据和视频图像进行融合,提高目标检测的精度,并提升高动态场景下的目标检测的准确度。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案,下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据本申请实施例的这些附图获得其他的附图。
图1是本申请一种实施方式中的数据同步系统的结构图;
图2是本申请一种实施方式中的同步曝光的示意图;
图3是本申请一种实施方式中的数据同步系统的结构图;
图4是本申请一种实施方式中的目标扫描位置的示意图;
图5是本申请一种实施方式中的同步曝光的示意图;
图6是本申请一种实施方式中的时间同步报文的同步示意图;
图7A和图7B是本申请一种实施方式中的数据同步系统的结构图;
图8是本申请一种实施方式中的数据同步方法的流程图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的,而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其它含义。还应当理解,本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,此外,所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
随着三维环境探测准确度要求的提高,在环境感知、目标探测等应用场景,需要通过激光雷达获取探测数据(如三维点云数据),通过图像采集设备获取视频图像(如视频图像数据),并对探测数据和视频图像进行融合(如根据探测数据和视频图像得到信息更丰富的图像),从而基于融合结果进行目标检测。
示例性的,激光雷达是能够探测三维空间深度信息的传感器,根据扫描光束的个数,分为单线激光雷达和多线激光雷达,根据激光扫描方式的不同,分为机械式激光雷达和固态激光雷达。为了方便描述,后续以机械式激光雷达为例,其它类型的激光雷达与机械式激光雷达的实现过程类似,后续不再赘述。
机械式激光雷达能够利用纵置的阵列探测单元,结合机械旋转方式,实现对360度视场范围的探测,其水平方向的探测先后由机械旋转扫描过程决定。
示例性的,图像采集设备是用于采集视频图像的传感器,视频图像能够提供空间目标的形貌、颜色、纹理等信息。图像采集设备可以是摄像头、相机等,对此图像采集设备的类型不做限制,只要能够采集视频图像即可。
在通过图像采集设备采集视频图像时,图像采集设备可以利用内部已部署的成像器件(如COMS,Complementary Metal Oxide Semiconductor,互补金属氧化物半导体成像器件等)对固定视场进行曝光,获得固定视场的视频图像。
由于激光雷达和图像采集设备是相互独立的设备,激光雷达的扫描探测过程(激光雷达通过扫描探测过程获取探测数据)与图像采集设备的曝光过程(图像采集设备通过曝光过程获取视频图像)完全异步,因此,在实际的融合应用中,无法保证激光雷达和图像采集设备同步采集数据,从而导致无法对同一时刻的探测数据和视频图像进行融合,继而导致目标检测的精度降低。
针对上述问题,本实施例中,能够实现激光雷达与图像采集设备的同步探测,且通过硬件信号触发激光雷达与图像采集设备的同步探测,准确度很高,保证激光雷达和图像采集设备同步获取数据。在硬件层实现激光雷达对目标视场进行探测时,图像采集设备同步对目标视场进行探测,保证探测时刻与探测视场的同步。针对行人、移动车辆等目标动态要求比较高的应用场景,也可以保证激光雷达与图像采集设备的同步探测,能够对同一时刻的探测数据和视频图像进行融合,提高目标检测的精度,提升高动态场景下的目标检测的准确度。
参见图1所示,为数据同步系统的结构示意图,数据同步系统包括但不限于激光雷达10和图像采集设备20,数据同步系统可以部署在车辆、无人机、无人车、前端设备(如网络摄像机、模拟摄像机)等,对此数据同步系统的使用场景不做限制,只要是能够同时部署激光雷达10和图像采集设备20即可。
示例性的,激光雷达10可以部署在数据同步系统的任意位置,激光雷达10的扫描视场(也可以称为探测视场)是指:激光雷达10所能够探测的区域。例如,针对机械式激光雷达,其水平扫描视场可为360度,其竖直扫描视场可为20度,当然,上述水平扫描视场和竖直扫描视场只是示例。本文中的激光雷达10的扫描视场是指水平扫描视场,即激光雷达10的扫描视场可以为360度。
图像采集设备20可以部署在数据同步系统的任意位置,图像采集设备20的扫描视场(也可以称为探测视场)是指:图像采集设备20所能够探测的区域。例如,图像采集设备20的水平扫描视场可为120度,竖直扫描视场可为40~70度,当然,上述水平扫描视场和竖直扫描视场只是示例。本文中的图像采集设备20的扫描视场是指水平扫描视场,如图像采集设备20的扫描视场为120度。
参见图1所示,由于激光雷达10的扫描视场可以为360度,图像采集设备20的扫描视场可以为120度,因此,激光雷达10的扫描视场与图像采集设备20的扫描视场存在重合区域,该重合区域也就是图像采集设备20的扫描视场。
示例性的,当激光雷达10获取重合区域的探测数据,且图像采集设备20获取重合区域的视频图像时,探测数据和视频图像是针对同一扫描视场的数据,即可能是针对相同目标的数据,因此,可以将探测数据和视频图像进行融合。但是,当激光雷达10采集非重合区域的探测数据,且图像采集设备20采集重合区域的视频图像时,探测数据和视频图像不是针对同一扫描视场的数据,即不是针对相同目标的数据,因此,不需要将探测数据和视频图像进行融合。
基于上述原理,可以基于激光雷达10的扫描视场与图像采集设备20的扫描视场设置目标视场,目标视场是激光雷达10的扫描视场与图像采集设备20的扫描视场的重合区域。如目标视场是重合区域的全部(如图像采集设备20的全部扫描视场),或,目标视场是重合区域的部分(如图像采集设备20的部分扫描视场,如120度扫描视场中的60度扫描视场),对此目标视场不做限制,只要是激光雷达10的扫描视场与图像采集设备20的扫描视场的重合区域即可。
目标视场是实际应用中关注的待探测区域,针对探测数据和视频图像进行融合的应用场景,希望激光雷达10和图像采集设备20能够同时覆盖目标视场,且希望激光雷达10和图像采集设备20能够同时对目标视场进行探测。
在部署激光雷达10和图像采集设备20时,激光雷达10可以部署在任意位置,图像采集设备20可以部署在任意位置,对此不做限制,只要激光雷达10的扫描视场与图像采集设备20的扫描视场存在重合区域即可,重合区域即为目标视场。在此基础上,激光雷达10在进行扫描探测时,激光雷达10的扫描视场的一部分,能够与图像采集设备20的扫描视场重合,而重合区域即为目标视场,保证了激光雷达10与图像采集设备20能够对同一目标视场进行探测。
例如,针对激光雷达10和图像采集设备20的部署方式,可以是激光雷达10与图像采集设备20并排部署(或相邻部署),即二者部署在一起;或者,可以是激光雷达10与一个图像采集设备20分布式部署,即二者部署在不同位置;或者,激光雷达10与多个图像采集设备20分布式部署,即部署在不同位置。
示例性的,数据同步系统可以部署一个图像采集设备20,也可以部署至少两个图像采集设备20,当部署至少两个图像采集设备20时,每个图像采集设备20的实现过程相同,后续以一个图像采集设备20的处理过程为例进行说明。
参见图2所示,示出了图像采集设备20的扫描视场(即目标视场),并示出了激光雷达10的扫描探测位置。从图2可以看出,在T0时刻,激光雷达10的扫描探测位置开始进入目标视场,并从左到右依次扫过目标视场,在Tn时刻,激光雷达10的扫描探测位置离开目标视场。在此基础上,为了实现激光雷达10与图像采集设备20的同步探测,需要使图像采集设备20在对目标视场进行曝光(图像采集设备20通过曝光实现视频图像的采集)的同时,激光雷达10也正好对目标视场进行扫描探测(激光雷达10通过扫描探测实现探测数据的采集)。
示例性的,由于激光雷达10和图像采集设备20的探测原理不同,图像采集设备20的曝光速度快,激光雷达10的扫描过程慢,因此,在一种可能的实施方式中,当激光雷达10的扫描探测位置进入目标视场后,同步触发图像采集设备20对目标视场进行曝光,从而同时采集目标视场的探测数据和视频图像。
以下结合具体实施例,对本申请实施例的技术方案进行详细说明。
参见图3所示,为数据同步系统的结构示意图,数据同步系统包括但不限于激光雷达10、图像采集设备20和处理芯片30,与图1相比,在激光雷达10和图像采集设备20的基础上,额外增加处理芯片30(也称为同步信号处理模块)。处理芯片30与激光雷达10连接,处理芯片30与图像采集设备20连接。激光雷达10扫描时的探测视场与图像采集设备20的视场在空间上存在重合区域。
示例性的,处理芯片30可以位于图像采集设备20中,也可以位于激光雷达10中,还可以位于除图像采集设备20和激光雷达10之外的另一设备中,处理芯片30还可以是一个独立设备,对此处理芯片30的部署位置不做限制。
示例性的,处理芯片30可以包括但不限于:FPGA(Field Programmable GateArray,现场可编程逻辑门阵列)芯片,或者,CPLD(Complex Programmable Logic Device,复杂可编程逻辑器件)芯片,或者,ASIC(Application Specific Integrated Circuit,特殊应用集成电路)芯片,或者,GPU(Graphics Processing Unit,图形处理器)芯片等,对此处理芯片30的芯片类型不做限制。
在一种可能的实施方式中,激光雷达10向处理芯片30发送扫描位置指示信号。处理芯片30接收到扫描位置指示信号后,根据扫描位置指示信号确定激光雷达10的探测方位信息,根据该探测方位信息向图像采集设备20发送第一控制信号,第一控制信号用于控制图像采集设备20在激光雷达10扫描至重合区域(即激光雷达10扫描时的探测视场与图像采集设备20的视场的重合区域,也即目标视场)时完成曝光,以使图像采集设备20输出的视频图像与激光雷达10输出的探测数据同步。图像采集设备20接收到第一控制信号后,根据第一控制信号控制图像采集设备20在激光雷达10扫描至该重合区域时完成曝光。
示例性的,激光雷达10可以输出探测数据,图像采集设备20可以输出视频图像,激光雷达10输出的探测数据与图像采集设备20输出的视频图像同步。即,在激光雷达10和图像采集设备20采集同一位置(即重合区域)的数据时,图像采集设备20的图像采集时刻与激光雷达10的扫描时刻同步,以使图像采集设备20输出的视频图像与激光雷达10输出的探测数据同步。
参见图2所示,在T0时刻,激光雷达10的扫描探测位置(即探测方位信息)开始进入目标视场,在Tn时刻,激光雷达10的扫描探测位置离开目标视场。激光雷达10针对目标视场的扫描时刻可以是T0时刻,可以根据T0时刻控制图像采集设备20获取目标视场的图像数据,使得图像采集设备20在对目标视场进行曝光的同时,激光雷达10也正好对目标视场进行扫描探测,实现激光雷达10与图像采集设备20的同步探测。或者,激光雷达10针对目标视场的扫描时刻可以是T0时刻与Tn时刻之间的任意时刻,例如,T0时刻与Tn时刻之间的Tm时刻,可以根据Tm时刻控制图像采集设备20获取目标视场的图像数据,使得图像采集设备20在对目标视场进行曝光的同时,激光雷达10也正好对目标视场进行扫描探测,实现激光雷达10与图像采集设备20的同步探测。
由以上技术方案可见,本申请实施例中,可以使激光雷达和图像采集设备在同一时刻获取目标视场的数据,从而保证激光雷达和图像采集设备同步获取数据,即,在同一时刻,激光雷达获取目标视场的探测数据,图像采集设备获取目标视场的视频图像。能够对同一时刻的探测数据和视频图像进行融合,提高目标检测的精度,并提升高动态场景下的目标检测的准确度。示例性的,激光雷达与图像采集设备可根据应用需要进行分布式安装,并且可进一步拓展为单激光雷达与多图像采集设备同步采集,满足实际应用需要。
在一种可能的实施方式中,处理芯片30接收激光雷达10发送的扫描位置指示信号,以下结合具体应用场景,对扫描位置指示信号的接收过程进行说明。
激光雷达10(如机械式激光雷达)能够输出扫描位置指示信号(也可以称为同步脉冲信号),该扫描位置指示信号可以包括索引信号(Index信号)和编码信号(Encoder信号)。该索引信号是激光雷达10每转动一圈(即转动360度)时输出的信号,编码信号是激光雷达10每转动预设角度时输出的信号。当然,索引信号和编码信号只是扫描位置指示信号的一种表现形式,扫描位置指示信号还可以通过其它形式的信号表示,对此不做限制,只要能够根据扫描位置指示信号确定激光雷达10的扫描位置即可,后续以索引信号和编码信号为例。
示例性的,该预设角度可以根据需求进行配置,对此预设角度不做限制,只要小于360度即可,如0.05度、0.1度等,后续以0.05度为例进行说明。
示例性的,可以预先配置激光雷达10的起始位置,当激光雷达10的扫描位置为起始位置时,表示一个周期的开始,激光雷达10在一个周期需要转动一圈,且激光雷达10在一个周期内可以转动7200次,每次转动0.05度。
在此基础上,当激光雷达10的扫描位置为起始位置时,激光雷达10会输出一个索引信号(即索引脉冲信号),且激光雷达10每转动一圈,激光雷达10的扫描位置均为起始位置,激光雷达10均会输出索引信号。激光雷达10输出索引信号后,每次转动0.05度,就会输出一个编码信号(即编码脉冲信号)。
由于激光雷达10可以输出索引信号和编码信号,因此,处理芯片30能够接收激光雷达10发送的索引信号和编码信号。例如,激光雷达10每转动一圈时,处理芯片30接收到激光雷达10发送的索引信号,在接收到索引信号时,处理芯片30能够确定激光雷达10在当前时刻的扫描位置为起始位置。激光雷达10每次转动0.05度时,处理芯片30接收到激光雷达10发送的编码信号。
在一种可能的实施方式中,处理芯片30能够根据扫描位置指示信号确定激光雷达10的探测方位信息,以下结合具体应用场景,对该确定过程进行说明。
处理芯片30可以统计激光雷达10输出的编码信号数量,该编码信号数量是激光雷达10在输出索引信号之后,截至到当前时刻所输出的编码信号的总数量。然后,根据编码信号数量,预设角度和起始位置确定激光雷达10在当前时刻的探测方位信息,该起始位置是激光雷达10输出索引信号时的扫描位置。
例如,处理芯片30在时刻a1接收到索引信号,从时刻a1开始,处理芯片30每次接收到编码信号,就需要对编码信号数量进行计数,即每次接收到编码信号,就对编码信号数量加1。假设当前时刻为时刻a2,则处理芯片30可以统计出时刻a1至时刻a2的这段时间内,一共接收到多少个编码信号,假设一共接收到M个编码信号,则激光雷达10输出的编码信号数量就是M。
基于编码信号数量M和预设角度(如0.05度),处理芯片30确定激光雷达10在起始位置的基础上,已经转动了多少度,假设已经转动了N度,则N为M*0.05。由于激光雷达10的起始位置为已知,因此,处理芯片30可以根据激光雷达10的起始位置和N确定激光雷达10在当前时刻的探测方位信息,即起始位置加转动N度后的扫描位置,是激光雷达10在当前时刻的探测方位信息。
在一种可能的实施方式中,处理芯片30需要根据探测方位信息向图像采集设备20发送第一控制信号,如根据该探测方位信息确定激光雷达10扫描至重合区域时,向图像采集设备20发送第一控制信号,第一控制信号用于指示调整图像采集设备20基于目标曝光参数在激光雷达10扫描至重合区域时完成曝光。
示例性的,目标视场是激光雷达10的扫描视场与图像采集设备20的扫描视场的重合区域,且目标视场的起始扫描位置和目标视场的终止扫描位置为已知,参见图2所示,示出了目标视场的起始扫描位置和终止扫描位置。
在激光雷达10的扫描探测过程中,处理芯片30每次接收到编码信号,可以确定激光雷达10在当前时刻的探测方位信息。由于目标视场的起始扫描位置为已知(在处理芯片30预先配置起始扫描位置),因此,激光雷达10在当前时刻的探测方位信息位于起始扫描位置时,根据该探测方位信息确定激光雷达10扫描至重合区域(即目标视场),向图像采集设备20发送第一控制信号。
或者,可以在目标视场的起始扫描位置和目标视场的终止扫描位置之间设置一个目标扫描位置,该目标扫描位置可以为起始扫描位置与终止扫描位置的中心位置,也可以为中心位置靠前的位置,即更靠近起始扫描位置,也可以为中心位置靠后的位置,即更靠近终止扫描位置,对此目标扫描位置不做限制。参见图4所示,示出了目标视场的目标扫描位置,以该目标扫描位置为起始扫描位置与终止扫描位置的中心位置为例。在此基础上,激光雷达10在当前时刻的探测方位信息位于目标扫描位置时,根据该探测方位信息确定激光雷达10扫描至重合区域(即目标视场),向图像采集设备20发送第一控制信号。
在一种可能的实施方式中,处理芯片30向图像采集设备20发送第一控制信号时,该第一控制信号用于控制图像采集设备20在激光雷达10扫描至重合区域时完成曝光,比如说,该第一控制信号用于指示图像采集设备20基于目标曝光参数(如目标曝光时长)在激光雷达10扫描至重合区域时完成曝光。
示例性的,图像采集设备20可以将第一控制信号的接收时刻作为曝光起始时刻,即从曝光起始时刻开始进行曝光,图像采集设备20的曝光时长为目标曝光时长(可以是图像采集设备20根据需要设置,也可以是处理芯片30获取目标曝光时长,且目标曝光时长随第一控制信号一起发送给图像采集设备20),在经过目标曝光时长后,结束曝光。在开始曝光到结束曝光的这段时间内,图像采集设备20获取重合区域的视频图像,且激光雷达10获取重合区域的探测数据。综上所述,图像采集设备20在激光雷达10扫描至重合区域时完成曝光。
示例性的,图像采集设备20的曝光时长为目标曝光时长,图像采集设备20可以将第一控制信号的接收时刻作为曝光终止时刻,基于该曝光终止时刻和该目标曝光时长可以推算曝光起始时刻(即下一帧视频图像的曝光起始时刻)。在此基础上,图像采集设备20从曝光起始时刻开始进行曝光,在经过目标曝光时长后,结束曝光。在开始曝光到结束曝光的这段时间内,图像采集设备20获取重合区域的视频图像,且激光雷达10获取重合区域的探测数据。综上所述,图像采集设备20在激光雷达10扫描至重合区域时完成曝光。
在一种可能的实施方式中,图像采集设备20可以包括sensor(传感器),处理芯片30可以向图像采集设备20的sensor发送第一控制信号,该第一控制信号可以称为行同步信号。图像采集设备20的sensor在接收到第一控制信号后,基于目标曝光参数进行曝光处理,并在曝光时间内获取重合区域的视频图像。
除了向sensor发送第一控制信号,处理芯片30还可以向图像采集设备20的sensor发送场同步信号,以使sensor在接收到场同步信号之后,根据场同步信号输出当前曝光周期采集到的像素值,继而根据这些像素值生成视频图像。
示例性的,由于图像采集设备20的sensor的曝光机理的制约,外部系统无法精确控制sensor的曝光起始时刻,但能够通过目标曝光时长和曝光终止时刻推算曝光起始时刻。因此,图像采集设备20可以将第一控制信号的接收时刻作为曝光终止时刻,基于该曝光结束时刻和目标曝光时长可以推算曝光起始时刻。
在一种可能的实施方式中,第一控制信号用于控制图像采集设备20的逐行的曝光完成时刻与激光雷达10探测该行的时刻同步。参见图5所示,为激光雷达10与图像采集设备20的sensor同步曝光的示意图,水平线为sensor各行,sensor各行从下往上依次曝光,竖置虚线列为激光雷达从左(T0时刻)至右(Tn时刻)扫描的各个位置。在此基础上,图像采集设备20将第一控制信号的接收时刻作为第一行的曝光起始时刻,或者,将第一控制信号的接收时刻作为曝光终止时刻,基于该曝光终止时刻和目标曝光时长推算第一行的曝光起始时刻。
从第一行的曝光起始时刻开始对第一行进行曝光,在经过目标曝光时长后,结束第一行的曝光。基于第一行的曝光起始时刻,可以推算第二行的曝光起始时刻,对此推算方式不做限制,如基于两行曝光时差,推算第二行的曝光起始时刻,从第二行的曝光起始时刻开始对第二行进行曝光,在经过目标曝光时长后,结束第二行的曝光。基于第一行的曝光起始时刻或者第二行的曝光起始时刻,可以推算第三行的曝光起始时刻,从第三行的曝光起始时刻开始对第三行进行曝光,在经过目标曝光时长后,结束第三行的曝光。以此类推,一直到对最后一行进行曝光,在经过目标曝光时长后,结束最后一行的曝光。
经过上述曝光处理,可以对逐行进行曝光,参见图5所示,图像采集设备20的逐行的曝光完成时刻与激光雷达10探测该行的时刻同步。
在一种可能的实施方式中,还可以对激光雷达10的系统时间与图像采集设备20的系统时间进行同步。例如,激光雷达10可以向图像采集设备20发送激光雷达10的系统时间,以使图像采集设备20对激光雷达10的系统时间与图像采集设备20的系统时间进行同步。或者,图像采集设备20可以向激光雷达10发送图像采集设备20的系统时间,以使激光雷达10对激光雷达10的系统时间与图像采集设备20的系统时间进行同步。为了方便描述,后续实施例中,以图像采集设备20向激光雷达10发送图像采集设备20的系统时间为例。
处理芯片30在接收到激光雷达10发送的扫描位置指示信号时,可以向图像采集设备20发送第二控制信号(如曝光触发信号),第二控制信号用于指示图像采集设备20通过发送GPS报文对激光雷达10进行授时。图像采集设备20接收到第二控制信号后,根据第二控制信号向激光雷达10发送GPS报文。激光雷达10接收到GPS报文后,从GPS报文提取时间信息,根据时间信息确定激光雷达10输出探测数据的时间戳,GPS报文中的时间信息为图像采集设备20的系统时间信息。例如,图像采集设备20包括SOC(System on Chip,系统级芯片),处理芯片30向图像采集设备20的SOC发送第二控制信号,图像采集设备20的SOC在接收到第二控制信号后,向激光雷达10发送GPS报文。
示例性的,图像采集设备20可以向激光雷达10发送GPS报文,该GPS报文包括图像采集设备20的系统时间。激光雷达10接收到GPS报文后,可以从GPS报文中获取图像采集设备20的系统时间,并根据图像采集设备20的系统时间设置激光雷达10的系统时间,以使激光雷达10的系统时间与图像采集设备20的系统时间同步。例如,图像采集设备20每隔预设间隔向激光雷达10发送一个脉冲信号(如每秒钟发送一个TTL脉冲信号作为PPS信号),在每次发送脉冲信号后,图像采集设备20向激光雷达10发送GPS报文。
参见图6所示,为图像采集设备20向激光雷达10发送GPS报文的一个示意图,即,通过模拟GPS报文向激光雷达10输出GPS授时信息。
示例性的,图像采集设备20可以通过GPIO(General Purpose Input Output,通用输入输出接口)和RS232(异步传输标准接口),模拟GPS报文向激光雷达10输出GPS授时信息,从而通过该GPS授时信息对激光雷达10进行授时。
例如,图像采集设备20控制一路GPIO每秒钟发送一个TTL(TransistorTransistor Logic,晶体管-晶体管逻辑电平)脉冲信号作为PPS(Pulse Per Second,每秒脉冲数)信号,在脉冲信号发出后,图像采集设备20通过RS232发送一串字符串(如ASSIC(American Standard Code for Information Interchange,美国信息交换标准代码)码),这个字符串是用于对激光雷达10进行授时的GPS报文。GPS报文可以是GPRMC数据格式,也可以是其它数据格式,对此不做限制,只要GPS报文包括图像采集设备20的系统时间即可。针对GPS报文中除系统时间之外的其它内容,根据数据格式随机填充或设为固定值,对此不做限制。
综上所述,基于上述技术方案,能够通过图像采集设备20模拟GPS报文对激光雷达10进行授时,不需要额外部署GPS设备,即不需要由GPS设备对激光雷达10进行授时,从而能够省去额外的GPS设备,降低系统成本。
图像采集设备20(如图像采集设备20的SOC)能够完成sensor配置及数据采集、图像数据编码及数据外发等功能。图像采集设备20能够实现针对激光雷达10的授时功能,使得激光雷达10的系统时间与图像采集设备20的系统时间同步。图像采集设备20能够实现一路GPIO的输入(即处理芯片30发出的曝光触发信号为输入)和中断响应(即接收到曝光触发信号后,控制一路GPIO每秒钟发送一个TTL脉冲信号作为PPS信号),开放给上层DSP进行事件处理。
在一种可能的实施方式中,为了对激光雷达10的系统时间与图像采集设备20的系统时间进行同步,还可以采用如下方式:数据同步系统可以包括授时模块,如GPS模块、用于实现授时的服务模块等,对此授时模块的类型不做限制。
在此应用场景中,授时模块可以向激光雷达10和图像采集设备20分别发送时间同步报文,该时间同步报文可以包括系统时间,例如,授时模块的系统时间。激光雷达10接收到时间同步报文后,根据时间同步报文中的系统时间设置激光雷达10的系统时间。图像采集设备20接收到时间同步报文后,根据时间同步报文中的系统时间设置图像采集设备20的系统时间。由于激光雷达10和图像采集设备20均根据时间同步报文中的系统时间设置本地系统时间,因此,使得激光雷达10的系统时间与图像采集设备20的系统时间同步。
在一种可能的实施方式中,参见图7A所示,数据同步系统还可以包括数据处理设备40(即数据流同步采集平台),该数据处理设备40可以与激光雷达10连接,该数据处理设备40可以与图像采集设备20连接。激光雷达10用于向数据处理设备40输出探测数据;图像采集设备20用于向数据处理设备40输出视频图像。数据处理设备40用于对图像采集设备20输出的视频图像与激光雷达10输出的探测数据进行对齐配准,以使图像采集设备20输出的视频图像与激光雷达10输出的探测数据同步,得到同步的视频图像和探测数据。
示例性的,图像采集设备20可以获取目标视场的视频图像,并根据图像采集设备20的系统时间确定该视频图像的获取时刻,该获取时刻为图像采集设备20的曝光终止时刻。图像采集设备20可以将该视频图像和曝光终止时刻发送给数据处理设备40,该曝光终止时刻作为该视频图像和的时间戳。
激光雷达10可以获取目标视场的探测数据,根据激光雷达10的系统时间确定探测数据的获取时刻。激光雷达10将该探测数据和该探测数据的获取时刻发送给数据处理设备40,该获取时刻可以作为该探测数据的时间戳。
数据处理设备40根据视频图像的曝光终止时刻和探测数据的获取时刻,将同一时刻的视频图像和探测数据融合。例如,图像采集设备20获取目标视场的视频图像A1,视频图像A1的曝光终止时刻为时刻s1,激光雷达10获取目标视场的探测数据A2,探测数据A2的获取时刻为时刻s1,由于激光雷达10的系统时间与图像采集设备20的系统时间同步,因此,视频图像A1的曝光终止时刻与探测数据A2的获取时刻相同,将视频图像A1和探测数据A2作为同一时刻的视频图像与探测数据,数据处理设备40将视频图像A1和探测数据A2融合。
示例性的,图像采集设备20可以获取目标视场的视频图像,根据图像采集设备20的系统时间确定视频图像的获取时刻,该获取时刻为图像采集设备20的曝光终止时刻。图像采集设备20将视频图像,曝光终止时刻和图像采集设备20的曝光时长发送给数据处理设备40,该曝光终止时刻作为视频图像的时间戳。
例如,图像采集设备20对视频图像进行编码,得到视频码流,该视频码流可以包括视频图像,曝光终止时刻和曝光时长,及必要的标记信息等。
激光雷达10可以获取目标视场的探测数据,根据激光雷达10的系统时间确定探测数据的获取时刻。激光雷达10将探测数据和探测数据的获取时刻发送给数据处理设备40,该获取时刻可以作为该探测数据的时间戳。
数据处理设备40根据视频图像的曝光终止时刻和探测数据的获取时刻,将同一时刻的视频图像与探测数据进行融合。或,数据处理设备40根据视频图像的曝光终止时刻和曝光时长确定视频图像的曝光起始时刻,并根据视频图像的曝光起始时刻和探测数据的获取时刻,将同一时刻的视频图像与探测数据进行融合。或,数据处理设备40根据视频图像的曝光起始时刻,视频图像的曝光终止时刻和探测数据的获取时刻,将同一时刻的视频图像与探测数据进行融合。
例如,图像采集设备20获取目标视场的视频图像A1,视频图像A1的曝光终止时刻可以为时刻s1,图像采集设备20获取目标视场的视频图像A2,视频图像A2的曝光终止时刻可以为时刻s2,图像采集设备20获取目标视场的视频图像A3,视频图像A3的曝光终止时刻为可以时刻s3,激光雷达10获取目标视场的探测数据B1,探测数据B1的获取时刻可以为时刻p1。
情况1:基于视频图像的曝光终止时刻和探测数据的获取时刻,对数据进行融合。假设时刻s1与时刻p1相同,将视频图像A1和探测数据B1作为同一时刻的视频图像与探测数据,数据处理设备40将视频图像A1和探测数据B1融合。
情况2:基于视频图像的曝光起始时刻和探测数据的获取时刻,对数据进行融合。假设视频图像A2的曝光起始时刻为时刻s4(时刻s2与曝光时长的差值),时刻s4与时刻p1相同,则将视频图像A2和探测数据B1作为同一时刻的视频图像与探测数据,数据处理设备40将视频图像A2和探测数据B1融合。
情况3:基于视频图像的曝光起始时刻、视频图像的曝光终止时刻和探测数据的获取时刻,对数据进行融合。假设视频图像A3的曝光起始时刻为时刻s5(时刻s3与曝光时长的差值),则基于时刻s5和时刻s3确定时刻s6,如对时刻s5和时刻s3进行加权运算,如对时刻s5和时刻s3进行均值运算,得到时刻s6。若时刻s6与时刻p1相同,则将视频图像A3和探测数据B1作为同一时刻的视频图像与探测数据,数据处理设备40将视频图像A3和探测数据B1融合。
示例性的,数据处理设备40可以是嵌入式计算平台,能够采集视频图像和探测数据,将同一时刻的视频图像和探测数据融合,实现两种数据的对齐。
示例性的,可以配置图像采集设备20的帧率与激光雷达10的帧率相匹配,如可以配置图像采集设备20的帧率与激光雷达10的帧率相同。例如,当激光雷达10的帧率为10帧/秒时,可以配置图像采集设备20的帧率为10帧/秒。
以下结合图7B所示的数据同步系统,对上述技术方案进行说明。
激光雷达10向处理芯片30发送扫描位置指示信号,该扫描位置指示信号包括索引信号(Index信号)和编码信号(Encoder信号)。处理芯片30根据该扫描位置指示信号确定激光雷达10的探测方位信息,并根据该探测方位信息向图像采集设备20的sensor发送第一控制信号(如行同步信号)。sensor接收到第一控制信号后,基于目标曝光参数进行曝光处理。除了发送第一控制信号,处理芯片30还可以向图像采集设备20的sensor发送场同步信号。
处理芯片30在接收到扫描位置指示信号时,还可以向图像采集设备20的SOC发送第二控制信号(如曝光触发信号)。SOC在接收到第二控制信号后,模拟GPS授时功能,对激光雷达10进行授时。比如说,SOC每隔预设间隔向激光雷达10发送一个PPS信号,在每次发送PPS信号后,通过RS232发送一串字符串,这个字符串是用于对激光雷达10进行授时的GPS报文。
激光雷达10可以获取目标视场的探测数据,并通过以太网将探测数据发送给数据处理设备40。图像采集设备20可以获取目标视场的视频图像,并通过以太网将视频图像发送给数据处理设备40。数据处理设备40可以对目标视场的探测数据和视频图像进行融合,得到同步数据,并输出该同步数据。
基于与上述系统同样的申请构思,本申请实施例中还提出一种数据同步方法,处理芯片与激光雷达连接,且处理芯片与图像采集设备连接,激光雷达扫描时的探测视场与图像采集设备的视场在空间上存在重合区域,参见图8所示,为该方法的流程示意图,该方法可以包括:
步骤801,激光雷达向处理芯片发送扫描位置指示信号。
步骤802,处理芯片根据扫描位置指示信号确定激光雷达的探测方位信息。
步骤803,处理芯片根据该探测方位信息,向图像采集设备发送第一控制信号,第一控制信号用于控制图像采集设备在激光雷达扫描至重合区域时完成曝光,以使图像采集设备输出的视频图像与激光雷达输出的探测数据同步。
步骤804,图像采集设备接收处理芯片发送的第一控制信号。
步骤805,图像采集设备根据第一控制信号控制图像采集设备在激光雷达扫描至重合区域时完成曝光,以使图像采集设备输出的视频图像与激光雷达输出的探测数据同步。
本申请实施例中还提出一种数据同步方法,应用于处理芯片,处理芯片与激光雷达连接,且处理芯片与图像采集设备连接,激光雷达扫描时的探测视场与图像采集设备的视场在空间上存在重合区域,该方法包括:
步骤a1、接收激光雷达发送的扫描位置指示信号;
步骤a2、根据该扫描位置指示信号确定激光雷达的探测方位信息;
步骤a3、根据该探测方位信息向图像采集设备发送第一控制信号,第一控制信号用于控制图像采集设备在激光雷达扫描至该重合区域时完成曝光,以使图像采集设备输出的视频图像与激光雷达输出的探测数据同步。
本申请实施例中还提出一种数据同步方法,应用于激光雷达,激光雷达与处理芯片连接,且处理芯片与图像采集设备连接,激光雷达扫描时的探测视场与图像采集设备的视场在空间上存在重合区域,该方法包括:
步骤b1、向处理芯片发送扫描位置指示信号,以使处理芯片根据该扫描位置指示信号确定激光雷达的探测方位信息,根据该探测方位信息向图像采集设备发送第一控制信号,第一控制信号用于控制图像采集设备在激光雷达扫描至该重合区域时完成曝光;
步骤b2、输出探测数据;示例性的,激光雷达输出的探测数据与图像采集设备输出的视频图像同步。
本申请实施例中还提出一种数据同步方法,应用于图像采集设备,图像采集设备与处理芯片连接,处理芯片与激光雷达连接,激光雷达扫描时的探测视场与图像采集设备的视场在空间上存在重合区域,该方法包括:
步骤c1、接收处理芯片发送的第一控制信号;示例性的,第一控制信号是处理芯片根据激光雷达发送的扫描位置指示信号确定激光雷达的探测方位信息后,根据该探测方位信息发送的;
步骤c2、根据该第一控制信号控制图像采集设备在激光雷达扫描至该重合区域时完成曝光,以使图像采集设备输出的视频图像与激光雷达输出的探测数据同步。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (15)
1.一种处理芯片,其特征在于,所述处理芯片与激光雷达连接,且所述处理芯片与图像采集设备连接,所述激光雷达扫描时的探测视场与所述图像采集设备的视场在空间上存在重合区域,其中:
所述处理芯片,用于接收所述激光雷达发送的扫描位置指示信号;
根据所述扫描位置指示信号确定所述激光雷达的探测方位信息;
根据所述探测方位信息,向所述图像采集设备发送第一控制信号,所述第一控制信号用于控制所述图像采集设备在所述激光雷达扫描至所述重合区域时完成曝光,以使所述图像采集设备输出的视频图像与所述激光雷达输出的探测数据同步;其中,所述图像采集设备将所述第一控制信号的接收时刻作为曝光终止时刻,基于所述曝光终止时刻和目标曝光时长推算下一帧视频图像的曝光起始时刻,并从所述曝光起始时刻开始进行曝光。
2.根据权利要求1所述的处理芯片,其特征在于,所述处理芯片根据所述探测方位信息,向所述图像采集设备发送第一控制信号时具体用于:
当根据所述探测方位信息确定所述激光雷达扫描至所述重合区域时,向所述图像采集设备发送第一控制信号,所述第一控制信号用于指示所述图像采集设备基于目标曝光参数在所述激光雷达扫描至所述重合区域时完成曝光。
3.根据权利要求1或2所述的处理芯片,其特征在于,
所述第一控制信号用于控制所述图像采集设备的逐行的曝光完成时刻与所述激光雷达探测该行的时刻同步。
4.根据权利要求1所述的处理芯片,其特征在于,
所述处理芯片,还用于在接收所述激光雷达发送的扫描位置指示信号时,向所述图像采集设备发送第二控制信号,所述第二控制信号用于指示所述图像采集设备通过发送GPS报文对激光雷达进行授时,以使激光雷达从所述GPS报文提取时间信息,并根据所述时间信息确定激光雷达输出探测数据的时间戳,其中,所述GPS报文中的时间信息为所述图像采集设备的系统时间信息。
5.根据权利要求1所述的处理芯片,其特征在于,所述扫描位置指示信号包括索引信号和编码信号,所述索引信号是激光雷达每转动一圈时输出的信号,所述编码信号是激光雷达每转动预设角度时输出的信号;所述处理芯片根据所述扫描位置指示信号确定所述激光雷达探测方位信息时具体用于:
统计所述激光雷达输出的编码信号数量;其中,所述编码信号数量是所述激光雷达在输出索引信号之后,截至到当前时刻所输出的编码信号的总数量;
根据所述编码信号数量,所述预设角度和起始位置确定所述激光雷达在当前时刻的探测方位信息;其中,所述起始位置是所述激光雷达输出所述索引信号时的扫描位置。
6.一种激光雷达,其特征在于,所述激光雷达与处理芯片连接,且所述处理芯片与图像采集设备连接,所述激光雷达扫描时的探测视场与所述图像采集设备的视场在空间上存在重合区域,其中:
所述激光雷达,用于向所述处理芯片发送扫描位置指示信号,以使所述处理芯片根据所述扫描位置指示信号确定所述激光雷达的探测方位信息,根据所述探测方位信息向所述图像采集设备发送第一控制信号,所述第一控制信号用于控制所述图像采集设备在所述激光雷达扫描至所述重合区域时完成曝光;其中,所述图像采集设备将所述第一控制信号的接收时刻作为曝光终止时刻,基于所述曝光终止时刻和目标曝光时长推算下一帧视频图像的曝光起始时刻,并从所述曝光起始时刻开始进行曝光;
所述激光雷达,还用于输出探测数据;其中,所述激光雷达输出的探测数据与所述图像采集设备输出的视频图像同步。
7.根据权利要求6所述的激光雷达,其特征在于,
所述激光雷达,还用于接收所述图像采集设备发送的GPS报文,从所述GPS报文中提取时间信息,并根据所述时间信息确定激光雷达输出探测数据的时间戳,其中,所述GPS报文中的时间信息为所述图像采集设备的系统时间信息。
8.一种图像采集设备,其特征在于,所述图像采集设备与处理芯片连接,且所述处理芯片与激光雷达连接,所述激光雷达扫描时的探测视场与所述图像采集设备的视场在空间上存在重合区域,其中:
所述图像采集设备,用于接收所述处理芯片发送的第一控制信号;其中,所述第一控制信号是所述处理芯片根据所述激光雷达发送的扫描位置指示信号确定所述激光雷达的探测方位信息后,根据所述探测方位信息发送的;
所述图像采集设备,还用于根据所述第一控制信号控制所述图像采集设备在所述激光雷达扫描至所述重合区域时完成曝光,以使所述图像采集设备输出的视频图像与所述激光雷达输出的探测数据同步;
其中,所述图像采集设备将所述第一控制信号的接收时刻作为曝光终止时刻,基于所述曝光终止时刻和目标曝光时长推算下一帧视频图像的曝光起始时刻,并从所述曝光起始时刻开始进行曝光。
9.根据权利要求8所述的图像采集设备,其特征在于,
所述图像采集设备根据所述第一控制信号控制所述图像采集设备在所述激光雷达扫描至所述重合区域时完成曝光时具体用于:在接收到所述第一控制信号后,基于目标曝光参数在所述激光雷达扫描至所述重合区域时完成曝光。
10.根据权利要求8所述的图像采集设备,其特征在于,
所述图像采集设备,还用于接收所述处理芯片发送的第二控制信号;所述第二控制信号是所述处理芯片接收到所述扫描位置指示信号时发送的;
根据所述第二控制信号向所述激光雷达发送GPS报文,以使激光雷达从所述GPS报文提取时间信息,根据所述时间信息确定激光雷达输出探测数据的时间戳,其中,所述GPS报文中的时间信息为所述图像采集设备的系统时间信息。
11.一种数据同步方法,其特征在于,应用于处理芯片,所述处理芯片与激光雷达连接,且所述处理芯片与图像采集设备连接,所述激光雷达扫描时的探测视场与所述图像采集设备的视场在空间上存在重合区域,所述方法包括:
接收所述激光雷达发送的扫描位置指示信号;
根据所述扫描位置指示信号确定所述激光雷达的探测方位信息;
根据所述探测方位信息,向所述图像采集设备发送第一控制信号,所述第一控制信号用于控制所述图像采集设备在所述激光雷达扫描至所述重合区域时完成曝光,以使所述图像采集设备输出的视频图像与所述激光雷达输出的探测数据同步;其中,所述图像采集设备将所述第一控制信号的接收时刻作为曝光终止时刻,基于所述曝光终止时刻和目标曝光时长推算下一帧视频图像的曝光起始时刻,并从所述曝光起始时刻开始进行曝光。
12.一种数据同步方法,其特征在于,应用于激光雷达,所述激光雷达与处理芯片连接,且所述处理芯片与图像采集设备连接,所述激光雷达扫描时的探测视场与所述图像采集设备的视场在空间上存在重合区域,所述方法包括:
向所述处理芯片发送扫描位置指示信号,以使所述处理芯片根据所述扫描位置指示信号确定所述激光雷达的探测方位信息,根据所述探测方位信息向所述图像采集设备发送第一控制信号,所述第一控制信号用于控制所述图像采集设备在所述激光雷达扫描至所述重合区域时完成曝光;其中,所述图像采集设备将所述第一控制信号的接收时刻作为曝光终止时刻,基于所述曝光终止时刻和目标曝光时长推算下一帧视频图像的曝光起始时刻,并从所述曝光起始时刻开始进行曝光;
输出探测数据;其中,所述激光雷达输出的探测数据与所述图像采集设备输出的视频图像同步。
13.一种数据同步方法,其特征在于,应用于图像采集设备,所述图像采集设备与处理芯片连接,所述处理芯片与激光雷达连接,所述激光雷达扫描时的探测视场与所述图像采集设备的视场在空间上存在重合区域,所述方法包括:
接收所述处理芯片发送的第一控制信号;其中,所述第一控制信号是所述处理芯片根据所述激光雷达发送的扫描位置指示信号确定所述激光雷达的探测方位信息后,根据所述探测方位信息发送的;
根据所述第一控制信号控制所述图像采集设备在所述激光雷达扫描至所述重合区域时完成曝光,以使所述图像采集设备输出的视频图像与所述激光雷达输出的探测数据同步;其中,所述图像采集设备将所述第一控制信号的接收时刻作为曝光终止时刻,基于所述曝光终止时刻和目标曝光时长推算下一帧视频图像的曝光起始时刻,并从所述曝光起始时刻开始进行曝光。
14.一种数据同步系统,其特征在于,包括:处理芯片,激光雷达,图像采集设备和数据处理设备,所述处理芯片与所述激光雷达连接,所述处理芯片与所述图像采集设备连接,所述数据处理设备与所述激光雷达连接,所述数据处理设备与所述图像采集设备连接,所述激光雷达扫描时的探测视场与所述图像采集设备的视场在空间上存在重合区域,其中:
所述激光雷达,用于向所述处理芯片发送扫描位置指示信号;
所述处理芯片,用于根据所述扫描位置指示信号确定所述激光雷达的探测方位信息;根据所述探测方位信息,向所述图像采集设备发送第一控制信号;
所述图像采集设备,用于根据所述第一控制信号控制所述图像采集设备在所述激光雷达扫描至所述重合区域时完成曝光;其中,所述图像采集设备将所述第一控制信号的接收时刻作为曝光终止时刻,基于所述曝光终止时刻和目标曝光时长推算下一帧视频图像的曝光起始时刻,并从所述曝光起始时刻开始进行曝光;
所述激光雷达,用于向所述数据处理设备输出探测数据;
所述图像采集设备,用于向所述数据处理设备输出视频图像;
所述数据处理设备,用于对所述图像采集设备输出的视频图像与所述激光雷达输出的探测数据进行对齐配准,以使所述图像采集设备输出的视频图像与所述激光雷达输出的探测数据同步,得到同步的视频图像和探测数据。
15.根据权利要求14所述的系统,其特征在于,
所述激光雷达的帧率与所述图像采集设备的帧率相同。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010611578.6A CN111736169B (zh) | 2020-06-29 | 2020-06-29 | 一种数据同步方法、设备及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010611578.6A CN111736169B (zh) | 2020-06-29 | 2020-06-29 | 一种数据同步方法、设备及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111736169A CN111736169A (zh) | 2020-10-02 |
CN111736169B true CN111736169B (zh) | 2023-04-28 |
Family
ID=72653569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010611578.6A Active CN111736169B (zh) | 2020-06-29 | 2020-06-29 | 一种数据同步方法、设备及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111736169B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112924939A (zh) * | 2021-03-11 | 2021-06-08 | 内江瀚海智行科技有限公司 | 雷达无线电干扰测试中基于北斗高精度定位的数据同步分析方法 |
CN112671499B (zh) * | 2021-03-16 | 2022-04-01 | 深圳安途智行科技有限公司 | 多传感器同步方法及系统、以及主控制设备 |
CN113643321A (zh) * | 2021-07-30 | 2021-11-12 | 北京三快在线科技有限公司 | 一种无人驾驶设备的传感器数据采集方法及装置 |
CN114025055A (zh) * | 2021-11-29 | 2022-02-08 | 上海商汤临港智能科技有限公司 | 一种数据处理的方法、装置、系统、设备及存储介质 |
CN114089373B (zh) * | 2022-01-20 | 2022-05-17 | 探维科技(北京)有限公司 | 基于图像融合激光的雷达系统扫描方法及装置 |
CN114526725B (zh) * | 2022-02-21 | 2023-11-24 | 山东新一代信息产业技术研究院有限公司 | 一种基于系统级芯片的超融合导航系统 |
CN116930920A (zh) * | 2022-04-07 | 2023-10-24 | 上海禾赛科技有限公司 | 激光雷达及激光雷达控制方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106043169A (zh) * | 2016-07-01 | 2016-10-26 | 百度在线网络技术(北京)有限公司 | 环境感知设备和应用于环境感知设备的信息获取方法 |
WO2019079211A1 (en) * | 2017-10-19 | 2019-04-25 | DeepMap Inc. | LIDAR-CAMERA CALIBRATION TO GENERATE HIGH DEFINITION MAPS |
CN110660186B (zh) * | 2018-06-29 | 2022-03-01 | 杭州海康威视数字技术股份有限公司 | 基于雷达信号在视频图像中识别目标对象的方法及装置 |
CN108957478B (zh) * | 2018-07-23 | 2021-03-26 | 上海禾赛科技股份有限公司 | 多传感器同步采样系统及其控制方法、车辆 |
CN109471128B (zh) * | 2018-08-30 | 2022-11-22 | 福瑞泰克智能系统有限公司 | 一种正样本制作方法及装置 |
US10582137B1 (en) * | 2018-09-26 | 2020-03-03 | Zoox, Inc. | Multi-sensor data capture synchronizaiton |
US10531075B1 (en) * | 2018-09-27 | 2020-01-07 | Honda Motor Co., Ltd. | Synchronization controller unit for sensor node |
CN110082739B (zh) * | 2019-03-20 | 2022-04-12 | 深圳市速腾聚创科技有限公司 | 数据同步方法和设备 |
-
2020
- 2020-06-29 CN CN202010611578.6A patent/CN111736169B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111736169A (zh) | 2020-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111736169B (zh) | 一种数据同步方法、设备及系统 | |
US10122998B2 (en) | Real time sensor and method for synchronizing real time sensor data streams | |
EP2311251B1 (en) | Rolling shutter camera system and method | |
EP3614659B1 (en) | Image processing method, electronic apparatus, and computer-readable storage medium | |
DK180393B1 (en) | DATA FUSION SYSTEM FOR A VEHICLE EQUIPPED WITH NON-SYNCHRONIZED PERCEPTION SENSORS | |
EP3614171A1 (en) | Image processing method, computer-readable storage medium, and electronic apparatus | |
CN103154666A (zh) | 距离测量装置以及环境地图生成装置 | |
CN105115445A (zh) | 基于深度相机与双目视觉复合的三维成像系统及成像方法 | |
CN110771153B (zh) | 具有不同快门模式的摄像机系统 | |
US20150304629A1 (en) | System and method for stereophotogrammetry | |
DK2690459T3 (en) | Device and method for identifying and documenting at least one object passing through a radiation field | |
CN111934843A (zh) | 一种面向智能无人系统的多传感器数据同步采集方法 | |
CN112214009B (zh) | 传感器数据处理方法、装置、电子设备及系统 | |
JP4445763B2 (ja) | 画像生成装置及び侵入者監視装置 | |
CN114025055A (zh) | 一种数据处理的方法、装置、系统、设备及存储介质 | |
KR101296601B1 (ko) | 지리 정보 파노라마 사진의 제작을 위한 카메라 제어 시스템 및 방법 | |
CN113138393A (zh) | 环境感测系统、控制装置以及环境感测数据融合装置 | |
CN110636202B (zh) | 全景相机控制方法、装置及存储介质 | |
JP6887356B2 (ja) | ステレオ画像処理装置 | |
CN109141363A (zh) | 无人机高精度双摄像头倾斜摄影测量系统 | |
CN112995524A (zh) | 高精采集车及其照片曝光信息生成系统、方法和同步装置 | |
KR101649181B1 (ko) | 비행물체의 비행정보 추정 장치 및 비행정보 추정 방법 | |
JP2023532006A (ja) | ウェブ検査システムのスマート同期方法 | |
Brahmi et al. | Timestamping and latency analysis for multi-sensor perception systems | |
JP3620710B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |