CN112067004B - 自动驾驶系统的时域同步方法和装置 - Google Patents

自动驾驶系统的时域同步方法和装置 Download PDF

Info

Publication number
CN112067004B
CN112067004B CN202010972651.2A CN202010972651A CN112067004B CN 112067004 B CN112067004 B CN 112067004B CN 202010972651 A CN202010972651 A CN 202010972651A CN 112067004 B CN112067004 B CN 112067004B
Authority
CN
China
Prior art keywords
clock source
synchronized
signal
source signal
driving system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010972651.2A
Other languages
English (en)
Other versions
CN112067004A (zh
Inventor
邓龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN202010972651.2A priority Critical patent/CN112067004B/zh
Publication of CN112067004A publication Critical patent/CN112067004A/zh
Application granted granted Critical
Publication of CN112067004B publication Critical patent/CN112067004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/24—Acquisition or tracking or demodulation of signals transmitted by the system
    • G01S19/25—Acquisition or tracking or demodulation of signals transmitted by the system involving aiding data received from a cooperating element, e.g. assisted GPS
    • G01S19/256—Acquisition or tracking or demodulation of signals transmitted by the system involving aiding data received from a cooperating element, e.g. assisted GPS relating to timing, e.g. time of week, code phase, timing offset
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03L—AUTOMATIC CONTROL, STARTING, SYNCHRONISATION, OR STABILISATION OF GENERATORS OF ELECTRONIC OSCILLATIONS OR PULSES
    • H03L7/00—Automatic control of frequency or phase; Synchronisation

Abstract

本公开实施例提供一种自动驾驶系统的时域同步方法和装置，其中，所述方法包括：所述自动驾驶系统中的惯性导航设备输出时钟源信号；将所述时钟源信号同步至所述自动驾驶系统中的各个待同步装置。本公开降低了时域同步的成本和风险。

Description

自动驾驶系统的时域同步方法和装置
技术领域
本公开涉及自动驾驶技术，具体涉及一种自动驾驶系统的时域同步方法和装置。
背景技术
自动驾驶系统通常包括多种计算平台(例如，px2，Xavier，FPGA等)和多种传感器(例如，摄像头、LiDAR(激光雷达)、Radar(毫米波雷达)等)，每一种计算平台或者传感器均有自己的时钟源，如何同步上述所有的计算平台或传感器之间(例如，多传感器之间，或者传感器与计算平台之间)的时间信息是自动驾驶领域里的重要课题。
相关技术中，为了解决计算平台或传感器之间的时间同步问题，常见的方法是购买额外的同步设备，例如，可以引入NTP(Network Time Protocol，计算机时间同步协议)授时服务器同步计算平台，并可以引入其他同步设备同步各传感器。这不但使得时域同步的成本较高，而且引入的各同步设备也需要做时钟域统一，如果不能统一到同一个时钟源，也会带来比较大的风险。
发明内容
有鉴于此，本公开至少提供一种自动驾驶系统的时域同步方法和装置。
第一方面，提供一种自动驾驶系统的时域同步方法，所述方法包括：
所述自动驾驶系统中的惯性导航设备输出时钟源信号；
将所述时钟源信号同步至所述自动驾驶系统中的各个待同步装置。
在一些实施例中，所述时钟源信号包括全球定位系统GPS信号和秒脉冲PPS信号，所述将所述时钟源信号同步至所述自动驾驶系统中的各个待同步装置，包括：将所述GPS信号和PPS信号中的至少一个作为所述时钟源信号，同步至所述自动驾驶系统中的各个待同步装置。
在一些实施例中，将所述全球定位系统GPS信号和秒脉冲PPS信号作为所述时钟源信号，同步至所述自动驾驶系统中的各个待同步装置，包括：将所述GPS信号和PPS信号进行组合；将组合后的所述GPS信号和PPS信号通过分线器，分别输出至所述自动驾驶系统中的各个待同步装置。
在一些实施例中，所述各个待同步装置包括：多个雷达传感器；当所述时钟源信号中包括秒脉冲PPS信号时，将所述时钟源信号同步至所述自动驾驶系统中的各个雷达传感器之后，所述方法还包括：所述自动驾驶系统中的各个雷达传感器分别根据预设的相位锁参数和所述PPS信号，调整各个雷达传感器的扫描初始相位，以使得各个雷达传感器的扫描初始相位一致。
在一些实施例中，所述待同步装置包括第一类雷达传感器，所述将所述时钟源信号同步至所述自动驾驶系统中的各个待同步装置，包括：将所述时钟源信号同步至所述自动驾驶系统中的各个第一类雷达传感器。
在一些实施例中，所述待同步装置包括计算平台和图像传感器，所述将所述时钟源信号同步至所述自动驾驶系统中的各个待同步装置，包括：将所述时钟源信号输入到同步设备；所述同步设备将所述时钟源信号分别同步至各个计算平台；所述各个计算平台向所述自动驾驶系统中的图像传感器提供所述时钟源信号，所述图像传感器与所述计算平台连接。
在一些实施例中，所述同步设备将所述时钟源信号分别同步至各个计算平台之后，所述方法还包括：所述计算平台接收第二类雷达传感器采集的点云数据；所述计算平台根据所述时钟源信号，为所述点云数据设置时间戳。
在一些实施例中，所述各个待同步装置包括：雷达传感器和图像传感器；所述将所述时钟源信号同步至所述自动驾驶系统中的各个待同步装置之后，所述方法还包括：存储所述图像传感器采集的图像数据，所述图像数据包括时间戳；当接收到雷达传感器采集的一帧点云数据时，根据所述点云数据的时间戳，从存储的所述图像数据中选取时间戳与所述点云数据的时间戳最接近的图像数据作为目标图像数据；将所述目标图像数据与所述点云数据进行融合。
第二方面，提供一种自动驾驶系统，所述系统包括：惯性导航设备、各个待同步装置以及同步处理模块；所述惯性导航设备，用于输出时钟源信号；所述同步处理模块，用于将所述时钟源信号同步至所述自动驾驶系统中的各个待同步装置。
在一些实施例中，所述时钟源信号包括全球定位系统GPS信号和秒脉冲PPS信号；所述同步处理模块，具体用于：将所述GPS信号和PPS信号中的至少一个作为所述时钟源信号，同步至所述自动驾驶系统中的各个待同步装置。
在一些实施例中，所述同步处理模块，在用于将GPS信号和PPS信号作为所述时钟源信号同步至所述自动驾驶系统中的各个待同步装置时，包括：将所述GPS信号和PPS信号进行组合，将组合后的所述GPS信号和PPS信号通过分线器，分别输出至所述自动驾驶系统中的各个待同步装置。
在一些实施例中，所述各个待同步装置包括：多个雷达传感器；所述多个雷达传感器中的每一个雷达传感器，用于：当所述时钟源信号中包括秒脉冲PPS信号时，根据所述PPS信号和预设的相位锁参数，调整所述雷达传感器的扫描初始相位，以使得各个雷达传感器的扫描初始相位一致。
在一些实施例中，所述待同步装置包括第一类雷达传感器；所述同步处理模块，具体用于：将所述时钟源信号同步至所述自动驾驶系统中的各个第一类雷达传感器。
在一些实施例中，所述各个待同步装置包括：计算平台和图像传感器；所述同步处理模块，包括：同步设备；所述同步设备，分别与所述惯性导航设备和计算平台连接，用于接收所述惯性导航设备输出的时钟源信号，并将所述时钟源信号同步至计算平台；所述计算平台，与所述自动驾驶系统中的所述图像传感器连接，用于为所述图像传感器提供所述时钟源信号。
在一些实施例中，所述各个待同步装置还包括：第二类雷达传感器；所述计算平台，与所述第二类雷达传感器连接，用于接收所述第二类雷达传感器采集的点云数据，并根据所述时钟源信号为点云数据设置时间戳。
在一些实施例中，所述各个待同步装置包括：雷达传感器和图像传感器；所述系统还包括：存储单元，用于存储所述图像传感器采集的图像数据，所述图像数据包括时间戳；数据确定单元，用于当接收到雷达传感器采集的一帧点云数据时，根据所述点云数据的时间戳，从存储的所述图像数据中选取时间戳与所述点云数据的时间戳最接近的图像数据作为目标图像数据；数据融合单元，用于将所述目标图像数据与所述点云数据进行融合。
第三方面，提供一种车辆，该车辆包括车辆主体以及设置在所述车辆主体上的如本公开任一实施例所述的自动驾驶系统。
本公开一个或多个实施例的自动驾驶系统的时域同步方法和装置，利用自动驾驶系统中的惯性导航设备输出的时钟源信号作为统一的时钟源信号，通过该时钟源信号可以使得自动驾驶系统中的各个待同步装置实现时域同步，从而不需要再额外采购同步设备，使得时域同步的成本较低；并且，通过一个统一的时钟源信号就可以使得自动驾驶系统的所有待同步装置实现时域同步，降低了时域同步的风险。
附图说明
为了更清楚地说明本公开一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开至少一个实施例提供的一种时域同步的系统结构示意图；
图2为本公开至少一个实施例提供的一种同步误差示意图；
图3为本公开至少一个实施例提供的另一种同步误差示意图；
图4为本公开至少一个实施例提供的一种数据融合的流程示意图；
图5为本公开至少一个实施例提供的一种数据融合的示意图；
图6为本公开至少一个实施例提供的一种自动驾驶系统的结构示意图；
图7为本公开至少一个实施例提供的一种自动驾驶系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本公开一个或多个实施例中的技术方案，下面将结合本公开一个或多个实施例中的附图，对本公开一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
本公开实施例提供了一种自动驾驶系统的时域同步方法，该方法可以用于对自动驾驶系统包括的各个计算平台、传感器等进行时域同步。
自动驾驶系统中通常可以包括惯性导航设备，例如，该惯性导航设备可以是Novatel(诺瓦泰)设备，该诺瓦泰设备可以主要提供自动驾驶中的定位信息，包括IMU(Inertial measurement unit，惯性测量数据)、GNSS(Global Navigation SatelliteSystem，全球导航卫星系统)信号等。
本公开实施例的时域同步方法中，惯性导航设备可以输出时钟源信号，并将该时钟源信号作为自动驾驶系统中的各个待同步装置的同步信号。例如，该各个待同步装置可以包括：Xavier，FPGA，工控机等多种计算平台，各个图像传感器(例如，摄像头)、以及LiDAR(激光雷达)、Radar(毫米波雷达)等多种传感器。
示例性的，以惯性导航设备Novatel设备为例，可以登录该Novatel设备，并配置如下指令使得在Novatel设备的COM端口(例如，COM1端口)输出GPS(Global PositioningSystem，全球定位系统)信号，在Novatel设备的I/O端口输出PPS(Pulse Per Second，秒脉冲)信号，该GPS信号和PPS信号都可以称为惯性导航设备输出的时钟源信号。
配置指令如下：
log com1 gprmc ontime 0.1
ppscontrol positive 1 50000
其中，上述Novatel设备输出的GPS信号和PPS信号，可以将其中至少一个作为时钟源信号，同步至自动驾驶系统中的各个待同步装置。例如，可以只将GPS信号作为各个待同步装置用于时域同步的时钟源信号，或者只将PPS信号作为时域同步的时钟源信号。或者，还可以将GPS信号和PPS信号两种信号一起作为各个待同步装置用于时域同步的时钟源信号。
将GPS信号和PPS信号两种信号一起作为时钟源信号时，将可以使得时域同步的精度更高。因为这种情况下，GPS信号可以给出UTC(universal time，协调世界时)时间用于授时，而PPS信号可以通过秒脉冲的上升沿来标示UTC的整秒时刻，精度较高，各个待同步装置可以依据该授时的UTC时间进行时域同步，实现精度较高的时域同步效果。
实际实施中，当通过如上所述的配置指令使得Novatel设备的GPS信号在COM1端口输出，PPS信号在I/O端口输出之后，可以将这两个端口输出的GPS信号和PPS信号进行组合。并将组合之后的GPS信号和PPS信号这两种信号，可以通过分线器分别输出至自动驾驶系统中的各个待同步装置。
在一个例子中，自动驾驶系统中的各个待同步装置包括：多个图像传感器(后续描述中，该图像传感器以摄像头为例)、多个LiDAR(激光雷达传感器)、多个Radar和多个计算平台，此时时域同步的方式可以参见图1所示。请参见图1，惯性导航设备11(例如，该设备可以是Novatel)可以向其中一个激光雷达12(LiDAR)输出组合之后的GPS信号和PPS信号，作为该激光雷达12用于时域同步的时钟信号。当然可以理解的是，图1中只是示例了一个LiDAR和一个摄像头，但实际的自动驾驶系统可以包括多个LiDAR和多个摄像头，例如，可以将惯性导航设备11输出的时钟源信号分成多路分别引入多个LiDAR即可。
此外，自动驾驶系统还可以包括图1中所示的多个计算平台，例如PX2计算平台上的Tegra A(可以称为第一计算平台)和Tegra B(可以称为第二计算平台)。前述的激光雷达12采集的点云数据可以上报至计算平台，例如，图1示例了激光雷达12可以将点云数据传输至计算平台Tegra A，并且，该点云数据中还携带了根据Novatel设备的时钟源信号设置的时间戳(GPS time)。Novatel设备自身还可以产生GNSS信号输出至计算平台(例如，TegraA)，同样也设置了时间戳。
计算平台也需要与雷达传感器(例如，LiDAR、Radar)进行时域同步，但是由于系统是否支持等原因，Novatel设备输出的时钟源信号不能直接输出至计算平台。本公开实施例中，可以引入一个同步设备，该同步设备可以是一个微型电脑，例如可以是图1中所示的树莓派13，Novatel设备输出的时钟源信号(GPS/PPS)可以先输入到树莓派13，再由树莓派13同步给各个计算平台。
请继续参见图1，Novatel设备输出的时钟源信号可以通过分线器输出至树莓派13，由于树莓派13串口的输入为TTL电平，而Novatel设备的串口输出为RS232电平，因此需要一个RS232转TTL的串口转换头进行电平转换后输入。
树莓派13与各个计算平台(例如，Tegra A和Tegra B)之间的时钟源信号的传输，可以采用客户端/服务器方式，由树莓派13作为网络时间协议服务端(NTP Server，NetworkTime Protocol Server)，由计算平台Tegra A和Tegra B作为NTP客户端。时间按NTP服务器的等级传播，可以按照离外部时钟源的远近把所有设备，包括提供时钟源的设备如Novatel，同步设备如树莓派和待同步装置，如计算平台、图像传感器、雷达传感器等，归入不同的层，层数越小时钟越精确稳定。由于将Novatel设备提供的GPS/PPS信号直接与树莓派连接，所以Novatel设备将处于第0层，树莓派将处于第1层。
通过如下的配置指令对树莓派13进行配置，以使得树莓派作为NTP服务端：
server 127.127.20.0mode 16minpoll 3iburst prefer true
fudge 127.127.20.0flag1 1flag2 0flag3 0flag4 0time2 0.1refid GPS
##ATOM PPS driver directly from interrupt through/dev/pps1
server 127.127.22.0minpoll 3maxpoll 3iburst true
fudge 127.127.22.0flag1 1flag2 0flag3 1flag4 0refid PPS
通过如下的配置指令对Tegra A和Tegra B分别进行配置，以使得这些计算平台作为NTP客户端：
server 192.168.8.2minpoll 3maxpoll 3
fudge 192.168.8.2stratum 2
经过上述配置后，树莓派13可以在接收到Novatel设备的时钟源信号(GPS/PPS信号)后，将该时钟源信号同步至计算平台Tegra A和Tegra B。并且，上述计算平台Tegra A和Tegra B与树莓派之间的同步误差offset和jitter均小于0.2ms，可以参见图2和图3所示。如图2所示，显示了偏移误差offset，横轴是索引index/s，纵轴是offset/ms。图3显示了时钟抖动jitter的变化情况，横轴是index/s，纵轴是jitter/ms。
而计算平台Tegra A和Tegra B可以连接自动驾驶系统中的摄像头，例如图1中所示的摄像头14可以连接至Tegra A和Tegra B，也可以连接至Tegra A和Tegra B中的一个。当然，该摄像头14可以表示多个摄像头，这些摄像头采集的图像数据的处理任务可以分别由不同的计算平台分担完成。此外，请参见图1所示，Radar也可以连接至上述两个计算平台Tegra A和Tegra B，Radar采集的数据可以由这两个平台进行处理。需要说明的是，本公开实施例的计算平台是以两个平台为例，实际实施中的平台数量不局限于此，例如，可以只有一个计算平台，或者计算平台的数量也可以多于两个。当有较多的数据需要处理时，比如，摄像头的数量较多或者雷达传感器的数量较多，会有较多的采集数据，那么可以通过多个计算平台来分担数据处理压力。而且，即使该自动驾驶系统中包括多个计算平台，传感器或者摄像头连接的平台的数量也可以是其中的部分平台，例如，Radar采集的数量较少，那么可以只连接Tegra A和Tegra B中的其中一个。
如上所述，自动驾驶系统中可以包括第一类雷达传感器(例如，LiDAR)，在自动驾驶系统中，惯性导航设备输出的时钟源信号可以同步至各个第一类雷达传感器。这些第一类雷达传感器可以根据该时钟源信号为自己采集的传感器数据打上时间戳，并将设置时间戳的数据上传至计算平台进行处理。同样的，计算平台向自动驾驶系统中的摄像头提供时钟源信号，摄像头可以根据该时钟源信号对自己采集的图像数据设置时间戳后，上报至计算平台。例如，与计算平台Tegra A连接的摄像头将采集的图像数据根据Tegra A提供的时钟信号设置时间戳后，将图像数据上传至计算平台Tegra A。此外，自动驾驶系统中的第二类雷达传感器(例如，毫米波雷达Radar)，可以将自己采集的传感器数据发送至计算平台进行处理，计算平台在接收到该传感器数据后，可以根据由树莓派同步过来的时钟源信号为该传感器数据设置时间戳。由于Radar的传感器数据的时间戳也是基于计算平台的时钟，因此也同样与LiDAR、摄像头等其他装置实现了时域同步。本公开实施例可以将第一类雷达传感器和第二类雷达传感器上报给计算平台的传感器数据都称为点云数据。
请参见图1所示，Novatel设备输出的时钟源信号实际上是作为了自动驾驶系统中的各个待同步装置的时钟源，例如，雷达传感器LiDAR、计算平台Tegra A和Tegra B、摄像头等，这些装置的时钟源都是直接或间接的来自于Novatel设备输出的GPS/PPS信号。因此，本公开实施例的时域同步方法，是采用了自动驾驶系统中的惯性导航设备输出统一的时钟源信号，通过该时钟源信号可以使得自动驾驶系统中的各个待同步装置实现时域同步。
一方面，该方法由于不需要再额外采购同步设备(例如，购买NTP同步设备或者单独的GPS模块)，直接使用自动驾驶系统具有的惯性导航设备输出的信号作为时钟源信号，使得时域同步的成本较低，即使其中的树莓派是额外引入的，但是树莓派便宜而且功耗低，不会使得成本较大提高。
另一方面，该方法通过一个统一的时钟源信号就可以使得自动驾驶系统的所有待同步装置实现时域同步，相比于引入多个额外的同步设备并对这些多个同步设备做时钟域统一，降低了时域同步的风险。
再一方面，本实施例的方法中通过配置使得Novatel设备输出时钟源信号，并将该信号输出至各个待同步装置，其中也同样是通过指令配置使得树莓派作为NTP服务端，将Novatel设备输出的时钟源信号又同步至计算平台，这种方式相对于额外采购同步设备，将使得时域同步的成本较低。
在本公开的另一实施例中，当时钟源信号中包括PPS信号时，自动驾驶系统中的各个雷达传感器都接入该同一个PPS信号，并且各个雷达传感器还可以分别根据预设的相位锁参数和该PPS信号，调整所述雷达传感器的扫描初始相位，以使得各个雷达传感器的扫描初始相位一致。例如，该雷达传感器以LiDAR为例，自动驾驶系统中往往会使用多个LiDAR，该多个LiDAR之间的扫描相位的同步非常重要。
示例性的，可以确定LiDAR的安装角度，并根据该安装角度来设置LiDAR的相位锁参数。例如，该相位锁参数可以通过LiDAR的配置界面来设置，在该相位锁参数设置的配置界面中，包括“相位锁”的启用(on)或关闭(off)的可配置选项，并且可以设置相位锁参数的具体数值。具体实施中，可以分别根据各个LiDAR的安装角度设置对应的相位锁参数，以使得所有的LiDAR从同一个角度开始扫描。例如，某一个LiDAR的相位锁参数被配置为270度。当配置了该相位锁参数后，每个LiDAR可以根据该参数自动调整自己的扫描初始相位，即调整自己刚开始扫描时的角度，如果不同的LiDAR具有不同的安装角度，那么这些LiDAR对应配置的相位锁参数也可以不同，最终实现所有LiDAR从同一个角度开始扫描。
在本公开的又一实施例中，请参见图1为例，摄像头14和激光雷达12尽管实现了时域同步，但是两者采集数据的时间并不一定是相同的，两者采集数据对应的地点也不一定相同。因此，如果要将摄像头14和激光雷达12的数据进行数据融合，可以按照图4所示的方法执行：
在步骤400中，存储摄像头采集的图像数据，所述图像数据包括时间戳。
本步骤中，所述各个待同步装置可以包括：雷达传感器(例如，Lidar，Radar)和摄像头。在将时钟源信号同步至所述自动驾驶系统中的各个待同步装置之后，计算平台可以存储所述摄像头采集的图像数据，所述图像数据中已经包括了时间戳。
在步骤402中，当接收到一帧雷达传感器采集的传感器数据时，根据所述传感器数据的时间戳，由存储的所述图像数据中获取与所述传感器数据的时间戳距离最近的目标图像数据。
以Lidar为例，本步骤中，计算平台还可以接收到雷达传感器Lidar采集的多帧点云数据，这些点云数据也具有时间戳。可以结合参见图1所示，摄像头和Lidar上报给计算平台的数据中都具有时间戳，该时间戳是基于时钟源信号的时钟设置。计算平台可以根据两者的时间戳，由存储的图像数据中获取时间戳与所述点云数据的时间戳距离最近的图像数据作为目标图像数据，即根据时间戳获取采集时间上距离最近的图像数据和点云数据，并且可以将找到的图像数据称为目标图像数据。
请结合图5所示，计算平台可以将接收到的图像数据存储在计算平台的缓存buffer中，一般来说摄像头的采集频率可以达到30fps，时间间隔为33.3ms。每接收到一帧点云数据，就可以由buffer存储的图像数据中取一帧目标图像数据，该目标图像数据的时间戳与所述点云数据的时间戳距离最近，此时摄像头和Lidar两者的采集延时不超过16.7ms。
在步骤404中，将所述目标图像数据与所述点云数据进行融合。
本实施例的这种数据融合方式，可以尽可能的找到采集时间最接近的点云数据和摄像头数据进行融合，提高数据融合结果的准确性。
本公开还提供了一种自动驾驶系统，如下对于该自动驾驶系统做简单描述，详细说明可以结合参见前述的任一本公开实施例。如图6所示，该系统可以包括：惯性导航设备61、各个待同步装置62以及同步处理模块63。
其中，所述惯性导航设备61，用于输出时钟源信号；
所述同步处理模块63，用于将所述时钟源信号同步至所述自动驾驶系统中的各个待同步装置62。例如，待同步装置62可以是摄像头、Radar、Lidar。
在一个例子中，同步处理模块63，具体用于：将所述GPS信号和PPS信号中的至少一个作为所述时钟源信号，同步至自动驾驶系统中的各个待同步装置。
在一个例子中，同步处理模块63，在用于将GPS信号和PPS信号作为所述时钟源信号同步至所述自动驾驶系统中的各个待同步装置时，包括：将所述GPS信号和PPS信号进行组合，将组合后的所述GPS信号和PPS信号通过分线器，分别输出至所述自动驾驶系统中的各个待同步装置。
在一个例子中，所述各个待同步装置包括：多个雷达传感器。
所述多个雷达传感器中的每一个雷达传感器，用于：当所述时钟源信号中包括秒脉冲PPS信号时，根据所述PPS信号和预设的相位锁参数，调整所述雷达传感器的扫描初始相位，以使得各个雷达传感器的扫描初始相位一致。
在一个例子中，所述待同步装置包括第一类雷达传感器，例如，Lidar。
所述同步处理模块63，具体用于：将所述时钟源信号同步至所述自动驾驶系统中的各个第一类雷达传感器。
在一个例子中，所述各个待同步装置包括：计算平台和图像传感器(例如，摄像头)；所述同步处理模块，包括：同步设备。
所述同步设备，分别与所述惯性导航设备和计算平台连接，用于接收所述惯性导航设备输出的时钟源信号，并将所述时钟源信号同步至计算平台。例如，该同步设备可以是树莓派。
所述计算平台，与所述自动驾驶系统中的所述图像传感器连接，用于为所述图像传感器提供所述时钟源信号。
在一个例子中，所述各个待同步装置还包括：第二类雷达传感器，例如，Radar。所述计算平台，与所述第二类雷达传感器连接，用于接收所述第二类雷达传感器采集的点云数据，并根据所述时钟源信号为点云数据设置时间戳。
在一个例子中，所述各个待同步装置包括：雷达传感器和图像传感器。如图7所示，该自动驾驶系统还包括：存储单元64、数据确定单元65和数据融合单元66。
存储单元64，用于存储所述图像传感器采集的图像数据，所述图像数据包括时间戳。
数据确定单元65，用于当接收到雷达传感器采集的一帧点云数据时，根据所述点云数据的时间戳，从存储的所述图像数据中选取时间戳与所述点云数据的时间戳最接近的图像数据作为目标图像数据。
数据融合单元66，用于将所述目标图像数据与所述点云数据进行融合。
本公开实施例还提供了一种车辆，该车辆可以是自动驾驶车辆，包括车辆主体以及设置在所述车辆主体上的本公开任一实施例的自动驾驶系统。
本公开还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例的方法。
本领域技术人员应明白，本公开一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本公开一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开实施例还提供一种计算机可读存储介质，该存储介质上可以存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例描述的用于文字识别的神经网络的训练方法的步骤，和/或，实现本公开任一实施例描述的文字识别方法的步骤。其中，所述的“和/或”表示至少具有两者中的其中一个，例如，“N和/或B”包括三种方案：N、B、以及“N和B”。
本公开中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本公开特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本公开中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本公开中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本公开中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本公开中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGN(现场可编程门阵列)或NSIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDN)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本公开包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本公开内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本公开一个或多个实施例的较佳实施例而已，并不用以限制本公开一个或多个实施例，凡在本公开一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开一个或多个实施例保护的范围之内。

Claims (15)

1.一种自动驾驶系统的时域同步方法，其特征在于，所述方法包括：
所述自动驾驶系统中的惯性导航设备输出时钟源信号；
将所述时钟源信号同步至所述自动驾驶系统中的各个待同步装置，所述待同步装置包括：图像传感器；
所述图像传感器根据所述时钟源信号对采集的图像数据设置时间戳；
所述待同步装置还包括计算平台，所述将所述时钟源信号同步至所述自动驾驶系统中的各个待同步装置，包括：
将所述时钟源信号输入到同步设备；
所述同步设备将所述时钟源信号分别同步至各个计算平台；
所述各个计算平台向所述自动驾驶系统中的图像传感器提供所述时钟源信号，所述图像传感器与所述计算平台连接。
2.根据权利要求1所述的方法，其特征在于，所述时钟源信号包括全球定位系统GPS信号和秒脉冲PPS信号，所述将所述时钟源信号同步至所述自动驾驶系统中的各个待同步装置，包括：
将所述GPS信号和PPS信号中的至少一个作为所述时钟源信号，同步至所述自动驾驶系统中的各个待同步装置。
3.根据权利要求2所述的方法，其特征在于，将所述全球定位系统GPS信号和秒脉冲PPS信号作为所述时钟源信号，同步至所述自动驾驶系统中的各个待同步装置，包括：
将所述GPS信号和PPS信号进行组合；
将组合后的所述GPS信号和PPS信号通过分线器，分别输出至所述自动驾驶系统中的各个待同步装置。
4.根据权利要求1所述的方法，其特征在于，所述各个待同步装置包括：多个雷达传感器；当所述时钟源信号中包括秒脉冲PPS信号时，将所述时钟源信号同步至所述自动驾驶系统中的各个雷达传感器之后，所述方法还包括：
所述自动驾驶系统中的各个雷达传感器分别根据预设的相位锁参数和所述PPS信号，调整各个雷达传感器的扫描初始相位，以使得各个雷达传感器的扫描初始相位一致。
5.根据权利要求1-4任一所述的方法，其特征在于，所述待同步装置包括第一类雷达传感器，所述将所述时钟源信号同步至所述自动驾驶系统中的各个待同步装置，包括：
将所述时钟源信号同步至所述自动驾驶系统中的各个第一类雷达传感器。
6.根据权利要求1所述的方法，其特征在于，所述同步设备将所述时钟源信号分别同步至各个计算平台之后，所述方法还包括：
所述计算平台接收第二类雷达传感器采集的点云数据；
所述计算平台根据所述时钟源信号，为所述点云数据设置时间戳。
7.根据权利要求1-4任一所述的方法，其特征在于，所述各个待同步装置包括：雷达传感器和图像传感器；所述将所述时钟源信号同步至所述自动驾驶系统中的各个待同步装置之后，所述方法还包括：
存储所述图像传感器采集的图像数据，所述图像数据包括时间戳；
当接收到雷达传感器采集的一帧点云数据时，根据所述点云数据的时间戳，从存储的所述图像数据中选取时间戳与所述点云数据的时间戳最接近的图像数据作为目标图像数据；
将所述目标图像数据与所述点云数据进行融合。
8.一种自动驾驶系统，其特征在于，所述系统包括：惯性导航设备、各个待同步装置以及同步处理模块；
所述惯性导航设备，用于输出时钟源信号；
所述同步处理模块，用于将所述时钟源信号同步至所述自动驾驶系统中的各个待同步装置，所述待同步装置包括：图像传感器；所述图像传感器根据所述时钟源信号对采集的图像数据设置时间戳；
所述各个待同步装置还包括：计算平台；所述同步处理模块，包括：同步设备；
所述同步设备，分别与所述惯性导航设备和计算平台连接，用于接收所述惯性导航设备输出的时钟源信号，并将所述时钟源信号同步至计算平台；
所述计算平台，与所述自动驾驶系统中的所述图像传感器连接，用于为所述图像传感器提供所述时钟源信号。
9.根据权利要求8所述的系统，其特征在于，所述时钟源信号包括全球定位系统GPS信号和秒脉冲PPS信号；
所述同步处理模块，具体用于：将所述GPS信号和PPS信号中的至少一个作为所述时钟源信号，同步至所述自动驾驶系统中的各个待同步装置。
10.根据权利要求9所述的系统，其特征在于，
所述同步处理模块，在用于将GPS信号和PPS信号作为所述时钟源信号同步至所述自动驾驶系统中的各个待同步装置时，包括：将所述GPS信号和PPS信号进行组合，将组合后的所述GPS信号和PPS信号通过分线器，分别输出至所述自动驾驶系统中的各个待同步装置。
11.根据权利要求8所述的系统，其特征在于，
所述各个待同步装置包括：多个雷达传感器；
所述多个雷达传感器中的每一个雷达传感器，用于：当所述时钟源信号中包括秒脉冲PPS信号时，根据所述PPS信号和预设的相位锁参数，调整所述雷达传感器的扫描初始相位，以使得各个雷达传感器的扫描初始相位一致。
12.根据权利要求8~11任一所述的系统，其特征在于，所述待同步装置包括第一类雷达传感器；
所述同步处理模块，具体用于：将所述时钟源信号同步至所述自动驾驶系统中的各个第一类雷达传感器。
13.根据权利要求8所述的系统，其特征在于，所述各个待同步装置还包括：第二类雷达传感器；
所述计算平台，与所述第二类雷达传感器连接，用于接收所述第二类雷达传感器采集的点云数据，并根据所述时钟源信号为点云数据设置时间戳。
14.根据权利要求8-11任一所述的系统，其特征在于，所述各个待同步装置包括：雷达传感器和图像传感器；所述系统还包括：
存储单元，用于存储所述图像传感器采集的图像数据，所述图像数据包括时间戳；
数据确定单元，用于当接收到雷达传感器采集的一帧点云数据时，根据所述点云数据的时间戳，从存储的所述图像数据中选取时间戳与所述点云数据的时间戳最接近的图像数据作为目标图像数据；
数据融合单元，用于将所述目标图像数据与所述点云数据进行融合。
15.一种车辆，其特征在于，包括车辆主体以及设置在所述车辆主体上的如权利要求8~14任一所述的自动驾驶系统。
CN202010972651.2A 2020-09-16 2020-09-16 自动驾驶系统的时域同步方法和装置 Active CN112067004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010972651.2A CN112067004B (zh) 2020-09-16 2020-09-16 自动驾驶系统的时域同步方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010972651.2A CN112067004B (zh) 2020-09-16 2020-09-16 自动驾驶系统的时域同步方法和装置

Publications (2)

Publication Number Publication Date
CN112067004A CN112067004A (zh) 2020-12-11
CN112067004B true CN112067004B (zh) 2023-03-28

Family

ID=73696942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010972651.2A Active CN112067004B (zh) 2020-09-16 2020-09-16 自动驾驶系统的时域同步方法和装置

Country Status (1)

Country Link
CN (1) CN112067004B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112671497B (zh) * 2020-12-29 2022-12-06 苏州挚途科技有限公司 时间同步方法、装置和电子设备
CN113099211A (zh) * 2021-03-31 2021-07-09 华南理工大学 一种具备时间同步的立体视觉数据采集系统及方法
CN115454040A (zh) * 2022-09-07 2022-12-09 安徽蔚来智驾科技有限公司 多传感器的同步控制方法、设备、无人驾驶系统和介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201344861Y (zh) * 2008-12-22 2009-11-11 长安大学 土木工程结构健康状态远程监测系统
CN103713279B (zh) * 2014-01-07 2016-06-29 武汉大学 一种多通道同步激励源系统
CN105787474A (zh) * 2016-03-29 2016-07-20 武汉瑞能电力设备有限责任公司 一种桥梁振动监测数据处理方法
CN109587405B (zh) * 2018-10-24 2021-03-05 科大讯飞股份有限公司 时间同步方法和装置
CN109634263B (zh) * 2018-12-29 2021-09-24 深圳市易成自动驾驶技术有限公司 基于数据同步的自动驾驶方法、终端及可读存储介质
CN110329273B (zh) * 2019-06-18 2020-12-22 浙江大学 一种用于无人驾驶获取数据同步的方法及装置
CN210781101U (zh) * 2019-09-30 2020-06-16 广州汽车集团股份有限公司 数据采集装置及数据采集系统
CN211180206U (zh) * 2019-10-25 2020-08-04 深圳市欧德克科技有限公司 一种多源异构传感器系统和自动驾驶车辆
CN111474532B (zh) * 2020-04-10 2022-05-03 北京建筑大学 车载移动激光雷达测量系统时间同步方法及装置

Also Published As

Publication number Publication date
CN112067004A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN112067004B (zh) 自动驾驶系统的时域同步方法和装置
CN112672415B (zh) 多传感器时间同步方法、装置、系统、电子设备及介质
EP3614176B1 (en) A hardware centralized time synchronization hub for an autonomous driving vehicle
CN109417595B (zh) 利用实时动态卫星导航识别飞行中的uav的摄像机位置
EP3614687B1 (en) A gps based high precision timestamp generation circuit for an autonomous driving vehicle
CN109587405B (zh) 时间同步方法和装置
EP3613648B1 (en) A time source recovery system for an autonomous driving vehicle
CN107710753B (zh) 分散式同步的多传感器系统
JP5569299B2 (ja) 通信システム及び通信インタフェース装置、並びに同期方法
EP3614222B1 (en) A time source ranking system for an autonomous driving vehicle
Kebkal et al. Underwater acoustic modems with integrated atomic clocks for one-way travel-time underwater vehicle positioning
CN104748730A (zh) 测定无人机中航测相机曝光时刻的装置及方法
CN110417503B (zh) 一种用于测试时钟网络延时的方法及数字通信设备
CN112911700A (zh) 一种车辆时间同步方法、装置及系统
CN101765198A (zh) 一种时钟同步的方法、装置和系统
CN113992469B (zh) 数据融合方法、装置、电子设备和计算机可读介质
CN112564883B (zh) 时间同步设备、方法以及自动驾驶系统
JP5261714B2 (ja) 高精度時刻同期装置、高精度時刻同期方法、およびプログラム
CN112995524A (zh) 高精采集车及其照片曝光信息生成系统、方法和同步装置
CN113890665A (zh) 一种时间同步方法、系统、存储介质及处理器
CN113985431A (zh) 一种数据采集方法、系统、装置、电子设备及存储介质
CN116830689A (zh) 一种时间同步方法、装置及存储介质
WO2022127337A1 (zh) 主时钟装置、从时钟装置和时间同步方法
CN113342899B (zh) 一种数据同步获取方法、装置及系统
EP4258759A1 (en) Peripheral time server device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant