CN116685871A - 同步的方法、装置以及车辆 - Google Patents

同步的方法、装置以及车辆 Download PDF

Info

Publication number
CN116685871A
CN116685871A CN202180029658.3A CN202180029658A CN116685871A CN 116685871 A CN116685871 A CN 116685871A CN 202180029658 A CN202180029658 A CN 202180029658A CN 116685871 A CN116685871 A CN 116685871A
Authority
CN
China
Prior art keywords
camera
laser radar
data
synchronization
image capturing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180029658.3A
Other languages
English (en)
Inventor
黄梓亮
潘杨杰
赖龙珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN116685871A publication Critical patent/CN116685871A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请实施例提供了一种同步的方法、装置以及车辆。该方法包括根据复杂可编程逻辑器件CPLD或现场可编程逻辑门阵列FPGA的资源状态确定激光雷达和摄像装置的同步模式，所述激光雷达和摄像装置的同步模式包括第一同步模式或第二同步模式；根据所述激光雷达和所述摄像装置的同步模式，对所述激光雷达和摄像装置进行同步。通过上述方法，可以根据CPLD或FPGA的资源状态确定激光雷达和相机的同步模式，并根据确定的同步模式对激光雷达和摄像装置进行时间或时空同步，可以提高雷达和摄像装置数据融合的准确性和可靠性。

Description

同步的方法、装置以及车辆 技术领域
本申请实施例涉及智能驾驶领域，并且更具体地，涉及一种同步的方法、装置以及车辆。
背景技术
随着车辆在日常生活中被广泛使用，车辆驾驶的安全性愈发地被重视起来。目前的车辆，尤其是智能车，可以搭载众多的传感器，不同类别的传感器需要使用同一个系统来采集并处理数据。在采集和处理数据的过程中，需要统一这些传感器坐标系和时钟，目的是为了实现同一个目标在同一个时刻出现在不同类别的传感器的同一个世界坐标处。
在众多的传感器中，激光雷达和相机的时间同步尤为重要。目前，现有技术是利用两者的数据时间戳来判断二者是否发生时间同步，但是由于激光雷达是机械式旋转扫描的，而相机是瞬间曝光的，这就导致二者在时间上重合的帧数少之又少，不同传感器之间的数据融合的准确性和可靠性较差，难以做到多个传感器之间的时空同步。
发明内容
本申请实施例提供一种同步的方法、装置以及车辆，可以在复杂可编程逻辑器件CPLD或现场可编程逻辑门阵列FPGA资源充足的情况下，控制激光雷达转子的初始方位角，进而控制雷达转子的扫描角度来触发相应范围的摄像装置拍摄，实现雷达和摄像装置的时间同步和/或时空同步；在复杂可编程逻辑器件CPLD或现场可编程逻辑门阵列FPGA资源不充足的情况下，根据激光雷达和摄像装置的周期匹配，尽可能实现雷达和摄像装置的时空匹配。通过这样的方式，可以做到雷达和摄像装置之间采样频率和相位的同步，提高雷达和摄像装置数据融合的准确性和可靠性。
第一方面，提供了一种时间同步方法，该方法包括：根据复杂可编程逻辑器件CPLD或现场可编程逻辑门阵列FPGA的资源状态确定激光雷达和摄像装置的同步模式，所述激光雷达和摄像装置的同步模式包括第一同步模式或第二同步模式；根据所述激光雷达和摄像装置的同步模式，对所述激光雷达和所述摄像装置进行同步。
其中，摄像装置可以包括单目相机、双目相机、结构光相机以及全景相机等，摄像装置获取的图像信息可以包括静态图像，也可以包括视频流信息。
根据CPLD或FPGA的资源状态确定激光雷达和摄像装置的同步模式具体为：当CPLD或FPGA资源不充足时，采用第一时间同步模式，当CPLD或FPGA资源充足时，采用第二时间同步模式。其中，第一同步模式可以指摄像装置按照原有频率被CPLD或FPGA被触发。第二同步模式可以指激光雷达内部转子转动到某个角度或者某几个角度，触发CPLD或FPGA从而触发摄像装置曝光。
应理解，CPLD或FPGA资源充足可以指CPLD或FPGA可以调动更多的资源来处理任务，即CPLD或FPGA计算能力和当前空闲能力较强，CPLD或FPGA资源不充足可以指CPLD或FPGA处理任务时能够调度的资源相对较少，即计算能力和当前空闲能力较弱。
传感器的数据融合的基本原理是将各种传感器进行多层次、多空间的信息互补和优化组合处理，最终产生对观测环境的一致性解释。在这个过程中需要充分地利用多源数据进行合理支配与使用，而信息融合的最终目标则是基于各传感器获得的分离观测信息，通过对信息多级别、多方面组合导出更多有用信息。但是，在传感器的数据融合过程中，激光雷达和相机上的数据融合相对困难。具体地，相对于相机，激光雷达是一个慢速扫描设备，而相机是瞬间曝光的，在车辆低速行驶的场景下，雷达和相机要做到时间的同步已经非常困难。而对于车辆的高速行驶场景，不但要求雷达和相机提高数据融合的准确性和可靠性，更要求雷达和相机做到时空同步。
传统时间同步方法只是机械地给雷达和相机采集的数据基于同一时间基准打上时间戳，更进一步，可以给雷达和相机采集的数据做运动补偿，由于传统的方法只是把数据交给算法应用判断时间差，没有做到雷达和相机之间采样频率和相位的同步，也就无法做到时空同步，不能提高车辆的驾驶安全。
本申请实施例中，可以根据CPLD或FPGA的资源状态确定激光雷达和摄像装置的同步模式，可以在CPLD或FPGA资源充足的情况下采用第二同步模式，控制激光雷达转子的初始方位角，进而控制雷达转子的扫描角度来触发相应范围的摄像装置拍摄，实现雷达和摄像装置的时间同步和/或时空同步；在CPLD或FPGA资源不充足的情况下采用第一同步模式，根据激光雷达和摄像装置的周期匹配，尽可能实现雷达和摄像装置的时空匹配。通过这样的方式，可以做到雷达和摄像装置之间采样频率和相位的同步，提高雷达和摄像装置数据融合的准确性和可靠性。
结合第一方面，在第一方面的某些实现方式中，该方法还包括：将所述激光雷达和摄像装置划分至传感器组。
具体地，在划分传感器组时，可以根据激光雷达和摄像装置在车辆上的布局，将车辆上任意方位的任意几个激光雷达和摄像装置划分至同一传感器组内。进而对位于同一传感器组内的激光雷达和摄像装置进行时间同步或时空同步。
本申请实施例中，可以根据车辆上传感器的布局和实际应用的需要，对激光雷达和摄像装置划分传感器组，位于同一传感器组内的雷达和摄像装置进行时间同步或时空同步，由此提高了雷达和摄像装置之间的数据融合的效率。
结合第一方面，在第一方面的某些实现方式中，激光雷达和摄像装置的同步模式为所述第一同步模式，该方法还包括：根据所述激光雷达的扫描周期和所述摄像装置的数量，确定所述摄像装置的曝光频率；根据第一摄像装置的曝光频率，触发所述第一摄像装置曝光，得到第一数据，所述摄像装置包括所述第一摄像装置；获取所述第一摄像装置曝光时，所述激光雷达采集的第二数据；若所述第一数据的时间戳和所述第二数据的时间戳的差值小于或等于第一阈值，则对所述第一数据和所述第二数据进行同步处理。
其中，第一阈值可以是预先设定的数值，可以根据激光雷达和摄像装置同步方法的 实际应用情况进行确定。例如，如果对激光雷达和摄像装置同步的精确性要求较高，可以将第一阈值的数值设置的较大，如果对激光雷达和摄像装置同步的精确性要求不高，可以将第一阈值的数值设置较小。
可选地，可以根据如下公式确定所述摄像装置的曝光频率：
其中，fc表示所述每一个摄像装置的曝光频率，n表示一个或者多个摄像装置的数量且n为正整数，T L表示所述激光雷达的扫描周期。
本申请实施例中，可以根据激光雷达的扫描周期和摄像装置个数确定摄像装置的曝光频率，并根据摄像装置曝光的频率触发摄像装置曝光。摄像装置曝光后，通过判断激光雷达和摄像装置采集的第一数据和第二数据的数据时间戳的差值是否小于或等于第一阈值来判断激光雷达和摄像装置是否满足时间同步或时空同步的要求，在满足时间同步或时空同步的要求的情况下，才将得到的结果输出给算法应用处理。通过这样的方式，激光雷达和摄像装置可以在时间上匹配更多的帧数据，减少算法应用的工作量，并提高了雷达和摄像装置之间的数据融合的准确性和可靠性。
结合第一方面，在第一方面的某些实现方式中，所述激光雷达的旋转周期为预设区间内的最大值。
其中，预设区间可以指雷达的扫描周期可以达到的预设范围，预设区间的数值可以根据雷达固有的属性进行确定。例如，雷达的固有的扫描周期分为两个档位，分别是50ms和100ms，则雷达的预设区间是50ms-100ms。将激光雷达的扫描周期设置为预设区间的最大值，按照上述所举的例子，是将激光雷达的扫描周期设置为100ms。
本申请实施例中，可以将激光雷达设置成适合工作场景需求的最慢的工作模式，并根据激光雷达的扫描周期和传感器组内的摄像装置个数确定摄像装置的曝光频率，以此来触发摄像装置曝光。通过此种方式，让激光雷达更好的配合了摄像装置的曝光特点，使激光雷达和摄像在时间上进一步匹配到更多的帧数据，进一步提高了雷达和摄像装置之间的数据融合的准确性和可靠性。
结合第一方面，在第一方面的某些实现方式中，所述激光雷达和摄像装置的同步模式为所述第二同步模式，所述方法还包括：在第一时刻，将激光雷达的初始方位角设置为第一方位角，在所述第一方位角的方向上设置有第一摄像装置，所述摄像装置包括所述第一摄像装置；获取在所述第一时刻，所述激光雷达采集的第一数据和所述第一摄像装置采集的第二数据；对所述第一数据和所述第二数据进行同步处理。
本申请实施例中，通过将若干个激光雷达的初始方位角的角度设置一致，以及将若干个激光雷达的初始方位角设置在摄像装置组内第一摄像装置的方位角范围内，使若干个激光雷达和第一摄像装置同步触发，保证了若干个激光雷达和第一摄像装置的时间同步或时空同步。
结合第一方面，在第一方面的某些实现方式中，该方法还包括：根据所述激光雷达、所述第一摄像装置的位置关系和第二摄像装置的位置关系，确定所述第二摄像装置的曝光时刻为第二时刻，所述摄像装置包括所述第二摄像装置；获取在所述第二时刻， 所述激光雷达采集的第三数据和所述第二摄像装置采集的第四数据；对所述第三数据和所述第四数据进行同步处理。
具体地，可以根据摄像装置组内激光雷达的位置与第一摄像装置的位置的连线以及激光雷达的位置与第二摄像装置位置的连线的夹角，确定第二摄像装置的曝光时刻为第二时刻，并在第二时刻触发第二摄像装置曝光。
应理解，本申请实施例中，第二摄像装置可以指摄像装置组内位于第一摄像装置后进行曝光的一个摄像装置，也可以指位于第一摄像装置后曝光的多个摄像装置。
本申请实施例中，可以将若干个激光雷达初始方位角设置相同，并通过激光雷达和摄像装置组内的第一摄像装置同步触发、激光雷达与第二摄像装置根据计算的序列时刻触发的方式，实现的多个激光雷达和摄像装置之间的时间或时空同步，保证了车辆高速行驶场景下对雷达和摄像装置时空同步的高要求。其中，CPLD仅仅进行一次角度检测，即CPLD仅检测第一摄像装置与激光雷达的角度，后续以设定的曝光序列时刻为准，可以减少CPLD的资源消耗。
应理解，激光雷达与第二摄像装置根据计算的序列时刻触发可以指第二摄像装置按照计算的时间顺序，从时间开始到时间结束依次触发。
第二方面，提供了一种同步装置，该装置包括：处理单元；所述处理单元，用于根据CPLD或FPGA的资源状态确定激光雷达和摄像装置的同步模式，所述激光雷达和摄像装置的同步模式包括第一同步模式或第二同步模式；所述处理单元，还用于根据所述同步模式，对所述激光雷达和摄像装置进行同步。
结合第二方面，在第二方面的某些实现方式中，所述处理单元，还用于将所述激光雷达和摄像装置划分至传感器组。
结合第二方面，在第二方面的某些实现方式中，所述激光雷达和摄像装置的同步模式包括第一同步模式，所述处理单元，具体用于根据所述激光雷达的扫描周期和所述摄像装置的数量，确定所述摄像装置的曝光频率；所述处理单元还用于，根据第一摄像装置的曝光频率，触发所述第一摄像装置曝光，得到第一数据，所述摄像装置包括所述第一摄像装置；所述装置还包括获取单元，用于获取所述第一摄像装置曝光时，所述激光雷达采集的第二数据；若所述第一数据的时间戳和所述第二数据的时间戳的差值小于或等于第一阈值，所述处理单元用于对所述第一数据和所述第二数据进行同步处理。
结合第二方面，在第二方面的某些实现方式中，所述处理单元，具体用于根据如下公式确定所述摄像装置的曝光频率：
其中，fc表示所述每一个摄像装置的曝光频率，n表示一个或者多个摄像装置的数量且n为正整数，T L表示所述激光雷达的扫描周期。
结合第二方面，在第二方面的某些实现方式中，所述激光雷达和摄像装置的同步模式为所述第二同步模式，
所述处理单元，具体用于在第一时刻，将激光雷达的初始方位角设置为第一方位角，在所述第一方位角的方向上设置有第一摄像装置，所述摄像装置包括所述第一摄像 装置；所述装置还包括获取单元，所述获取单元用于获取在所述第一时刻，所述激光雷达采集的第一数据和所述第一摄像装置采集的第二数据；所述处理单元，还用于对所述第一数据和所述第二数据进行同步处理。
结合第二方面，在第二方面的某些实现方式中，所述处理单元，还用于根据所述激光雷达、所述第一摄像装置的位置关系和第二摄像装置的位置关系，确定所述第二摄像装置的曝光时刻为第二时刻，所述摄像装置包括所述第二摄像装置；所述获取单元，还用于获取在所述第二时刻，所述激光雷达采集的第三数据和所述第二摄像装置采集的第四数据；所述处理单元，还用于对所述第三数据和所述第四数据进行同步处理。
结合第二方面，在第二方面的某些实现方式中，所述处理单元，具体用于根据所述激光雷达的位置与所述第一摄像装置的位置连线以及所述激光雷达的位置与所述第二摄像装置的位置的连线的夹角，确定所述第二摄像装置的曝光时刻为第二时刻。
第三方面，提供一种同步装置，该装置包括：至少一个处理器和存储器，所述至少一个处理器与所述存储器耦合，用于读取并执行所述存储器中的指令，该装置用于执行上述各个方面中的方法。
第四方面，提供一种计算机可读介质，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行上述各个方面中的方法。
第五方面，提供一种芯片，该芯片包括：至少一个处理器和存储器，所述至少一个处理器与所述存储器耦合，用于读取并执行所述存储器中的指令，该装置用于执行上述各个方面中的方法。
第六方面，提供一种车辆，该车辆包括：至少一个处理器和存储器，所述至少一个处理器与所述存储器耦合，用于读取并执行所述存储器中的指令，该车辆中的处理器用于执行上述各个方面中的方法。
附图说明
图1是本申请实施例提供的一种车辆的功能性示意图。
图2是本申请实施例提供的雷达与相机同步的示意图。
图3是本申请实施例提供的一种雷达与摄像装置同步的系统架构。
图4是本申请实施例提供的另一种雷达与摄像装置同步的系统架构。
图5是本申请实施例提供的传感器组的划分示意图。
图6是本申请实施例提供的雷达与摄像装置同步方法600。
图7是本申请实施例提供的第一同步模式下雷达与相机同步方法700。
图8是本申请实施例提供的第二同步模式下雷达与相机同步方法800。
图9是本申请实施例提供的雷达与相机同步装置900。
图10是本申请实施例提供的雷达与相机同步装置1000。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
为了便于理解，下文结合图1，以智能驾驶的场景为例，介绍本申请实施例适用的示 例场景。
图1是本申请实施例提供的车辆100的一个功能性示意图。可以将车辆100配置为完全或部分自动驾驶模式。例如：车辆100可以通过感知系统120获取其周围的环境信息，并基于对周边环境信息的分析得到自动驾驶策略以实现完全自动驾驶，或者将分析结果呈现给用户以实现部分自动驾驶。
车辆100可包括各种子系统，例如信息娱乐系统110、感知系统120、计算平台130和显示装置140。可选地，车辆100可包括更多或更少的子系统，并且每个子系统都可包括多个部件。另外，车辆100的每个子系统和部件可以通过有线或者无线的方式实现互连。
在一些实施例中，信息娱乐系统110可以包括通信系统111，娱乐系统112以及导航系统113。
通信系统111可以包括无线通信系统，无线通信系统可以直接地或者经由通信网络来与一个或多个设备无线通信。例如，无线通信系统可使用3G蜂窝通信，例如CDMA、EVD0、GSM/GPRS，或者4G蜂窝通信，例如LTE。或者5G蜂窝通信。无线通信系统可利用Wi-Fi与无线局域网(wireless local area network，WLAN)通信。在一些实施例中，无线通信系统可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议，例如各种车辆通信系统，例如，无线通信系统可包括一个或多个专用短程通信(dedicated short range communications，DSRC)设备，这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
娱乐系统112可以包括中控屏，麦克风和音响，用户可以基于娱乐系统在车内收听广播，播放音乐；或者将手机和车辆联通，在中控屏上实现手机的投屏，中控屏可以为触控式，用户可以通过触摸屏幕进行操作。在一些情况下，可以通过麦克风获取用户的语音信号，并依据对用户的语音信号的分析实现用户对车辆100的某些控制，例如调节车内温度等。在另一些情况下，可以通过音响向用户播放音乐。
导航系统113可以包括由地图供应商所提供的地图服务，从而为车辆100提供行驶路线的导航，导航系统113可以和车辆的全球定位系统121、惯性测量单元122配合使用。地图供应商所提供的地图服务可以为二维地图，也可以是高精地图。
感知系统120可包括感测关于车辆100周边的环境的信息的若干种传感器。例如，感知系统120可以包括定位系统121，定位系统可以是全球定位系统(global positioning system，GPS)，也可以是北斗系统或者其他定位系统、惯性测量单元(inertial measurement unit，IMU)122、激光雷达123、毫米波雷达124、超声雷达126以及摄像装置126中的一种或者多种。感知系统120还可包括被监视车辆100的内部系统的传感器(例如，车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是车辆100的安全操作的关键功能。
定位系统121可用于估计车辆100的地理位置。
惯性测量单元122用于基于惯性加速度来感测车辆100的位置和朝向变化。在一些实施例中，惯性测量单元122可以是加速度计和陀螺仪的组合。
激光雷达123可利用激光来感测车辆100所位于的环境中的物体。在一些实施例中，激光雷达123可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。
毫米波雷达124可利用无线电信号来感测车辆100的周边环境内的物体。在一些实施例中，除了感测物体以外，雷达126还可用于感测物体的速度和/或前进方向。
超声雷达125可以利用超声波信号来感测车辆100周围的物体。
摄像装置126可用于捕捉车辆100的周边环境的图像信息。摄像装置126可以包括单目相机、双目相机、结构光相机以及全景相机等，摄像装置126获取的图像信息可以包括静态图像，也可以包括视频流信息。
车辆100的部分或所有功能可以由计算平台130控制。计算平台130可包括处理器131至13n(n为正整数)，处理器是一种具有信号的处理能力的电路，在一种实现中，处理器可以是具有指令读取与运行能力的电路，例如中央处理单元(central processing unit，CPU)、微处理器、图形处理器(graphics processing unit，GPU)(可以理解为一种微处理器)、或数字信号处理器(digital signal processor，DSP)等；在另一种实现中，处理器可以通过硬件电路的逻辑关系实现一定功能，该硬件电路的逻辑关系是固定的或可以重构的，例如处理器为专用集成电路(application-specific integrated circuit，ASIC)或可编程逻辑器件(programmable logic device，PLD)实现的硬件电路，例如FPGA。在可重构的硬件电路中，处理器加载配置文档，实现硬件电路配置的过程，可以理解为处理器加载指令，以实现以上部分或全部单元的功能的过程。此外，还可以是针对人工智能设计的硬件电路，其可以理解为一种ASIC，例如神经网络处理单元(neural network processing unit，NPU)、张量处理单元(tensor processing unit，TPU)、深度学习处理单元(deep learning processing unit，DPU)等。此外，计算平台130还可以包括存储器，存储器用于存储指令，处理器131至13n中的部分或全部处理器可以调用存储器中的指令，执行质量，以实现相应的功能。
计算平台130可基于从各种子系统(例如，感知系统120)接收的输入来控制车辆100的功能。在一些实施例中，计算平台130可操作来对车辆100及其子系统的许多方面提供控制。
可选地，上述组件只是一个示例，实际应用中，上述各个模块中的组件有可能根据实际需要增添或者删除，图1不应理解为对本申请实施例的限制。
在道路行进的自动驾驶车辆，如上面的车辆100，可以识别其周围环境内的物体以确定对当前速度的调整。所述物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中，可以独立地考虑每个识别的物体，并且基于物体的各自的特性，诸如它的当前速度、加速度、与车辆的间距等，可以用来确定自动驾驶车辆所要调整的速度。
可选地，车辆100或者与车辆100相关联的感知和计算设备(例如，计算平台130)可以基于所识别的物体的特性和周围环境的状态(例如，交通、雨、道路上的冰、等等)来预测所述识别的物体的行为。可选地，每一个所识别的物体都依赖于彼此的行为，因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。车辆100能够基于预测的所述识别的物体的行为来调整它的速度。换句话说，自动驾驶车辆能够基于 所预测的物体的行为来确定车辆将需要调整到(例如，加速、减速、或者停止)什么稳定状态。在这个过程中，也可以考虑其它因素来确定车辆100的速度，诸如，车辆100在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。
除了提供调整自动驾驶车辆的速度的指令之外，计算设备还可以提供修改车辆100的转向角的指令，以使得自动驾驶车辆遵循给定的轨迹和/或维持与自动驾驶车辆附近的物体(例如，道路上的相邻车道中的轿车)的安全横向和纵向距离。
上述车辆100可以为轿车、卡车、摩托车、公共车辆、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车等，本申请实施例不做特别的限定。
为了便于理解本申请实施例，下面对于本申请实施例所用术语进行介绍。
(1)复杂可编程逻辑器件(complex programmable logic device，CPLD)，CPLD适合用来实现各种运算和组合逻辑。一颗CPLD内等于包含了数颗的可编程数组逻辑，各逻辑区块间的互接连线也可以进行程序性的规划、刻录，CPLD运用这种多合一的集成作法，使其一颗就能实现数千个逻辑门，甚至数十万个逻辑门才能构成的电路。
(2)现场可编程逻辑门阵列(field programmable gate array,FPGA)，它以可编程逻辑器件为技术基础发展而成。作为特殊应用集成电路中的一种半定制电路，它既弥补全定制电路不足，又克服原有可编程逻辑控制器门电路数有限的缺点，而且其内部逻辑可以被设计者反复修改，从而改正程序中的错误。
(3)微控制单元(micro control unit，MCU)，又称处理单元、控制单元或单片微型计算机(single chip microcomputer，SCM)，是指随着大规模集成电路的出现及其发展，将计算机的CPU、RAM、ROM、定时数器和多种I/O接口集成在一片芯片上，形成芯片级的计算机，为不同的应用场合做不同组合控制。
(4)互联网服务供应商(internet service provider，ISP),又称因特网服务提供者、互联网服务提供商、网络服务供应商，即指提供互联网访问服务的公司。
(5)(gigabit multimedia serial links，GMSL)是一种高速串行接口，适用于视频、音频和控制信号的传输。
(6)局域网交换机(local area network switch，LANS):指的是用在交换式局域网内进行数据交换的设备。
(7)每秒脉冲数(pulse per second，PPS):每秒脉冲数的缩写，应用于通信行业中。
(8)运动补偿：是一种描述相邻帧差别的方法，具体来说是描述前面一帧的每个小块怎样移动到当前帧中的某个位置去。
(9)激光雷达：又叫光检测与测距(light detection and ranging，LDR)，是一种使用光源和接收器进行远程物体检测和测距的传感技术。在车辆领域，激光雷达的作用是车辆周围障碍物的探测与建模。
(10)时间同步：通过统一的主机给各个传感器提供基准时间，各传感器根据已经校准后的各自时间为各自独立采集的数据加上时间戳信息，可以做到所有传感器时间戳同步，但由于各个传感器各自采集周期相互独立，可能无法保证同一时刻采集相同的信息。
(11)时空同步：将不同传感器坐标系的测量值转换到同一个坐标系中，其中激光传 感器在高速移动的情况下需要考虑当前速度下的帧内位移校准。
(12)硬同步：使用同一种硬件同时发布触发采集命令，实现各传感器采集、测量的时间同步。做到同一时刻采集相同的信息。
图2是本申请实施例提供的雷达与相机同步的示意图，图2中的雷达与相机的同步方法可应用于图1的车辆100的行驶过程中。
传感器的数据融合的基本原理是将各种传感器进行多层次、多空间的信息互补和优化组合处理，最终产生对观测环境的一致性解释。在这个过程中需要充分地利用多源数据进行合理支配与使用，而信息融合的最终目标则是基于各传感器获得的分离观测信息，通过对信息多级别、多方面组合导出更多有用信息。这不仅是利用了多个传感器相互协同操作的优势，而且也综合处理了其它信息源的数据来提高整个传感器系统的智能化。
但是，在传感器的数据融合过程中，激光雷达和相机的数据融合相对困难。具体地，相对于相机，激光雷达是一个慢速扫描设备，而相机是瞬间曝光的，在车辆低速行驶的场景下，雷达和相机要做到时间的同步已经非常困难。而对于车辆的高速行驶场景，不但要求雷达和相机提高数据融合的准确性和可靠性，更要求雷达和相机做到时空同步。
如图2(a)所示，在车辆高速行驶的场景下，如果雷达和相机做不到时空同步，雷达扫描的点云就会偏离实际需要拍摄的物体，导致雷达扫描的结果和实际的情况存在一定的误差，进而可能危害车辆的驾驶安全。传统时间同步方法只是机械地给雷达和相机采集的数据基于同一时间基准打上时间戳，更进一步，可以给雷达和相机采集的数据做运动补偿，由于传统的方法只是把数据交给算法应用判断时间差，没有做到雷达和相机之间采样频率和相位的同步，也就无法做到时空同步，不能提高车辆的驾驶安全。
本申请实施例提供一种雷达与相机的同步方法，在CPLD资源充足的情况下，可以控制激光雷达转子的初始方位角，进而控制雷达转子的扫描角度来触发相应范围的相机拍摄，实现雷达和相机的时间同步和/或时空同步；在CPLD资源不充足的情况下，可根据激光雷达和相机的周期匹配，尽可能实现雷达和相机的时空匹配。如图2(b)所示，激光雷达和相机同步触发之后，雷达扫描的点云可以完全覆盖实际需要拍摄的物体，实现雷达和相机的时空同步。
应理解，CPLD或FPGA资源充足可以指CPLD或FPGA可以调动更多的资源来处理任务，即CPLD或FPGA计算能力和当前空闲能力较强，CPLD或FPGA资源不充足可以指CPLD或FPGA处理任务时能够调度的资源相对较少，即计算能力和当前空闲能力较弱。
示例地，在自动驾驶系统中，激光雷达通上电以后，会按照自身的工作模式，进行周期转动，如，激光雷达按照360°周期转动；相机需要通过域控制器中的CPLD/FPGA按照相机原有的工作频率发出的触发信号，进而触发相机模组的曝光。具体可以通过以下两种方式来实现：
(1)相机按照原有频率被CPLD/FPGA被触发，这样的方式，可以称为第一同步模式，也可以称为软同步模式。
(2)激光雷达内部转子转动到某个角度或者某几个角度，触发CPLD/FPGA从而触发相机曝光，这样的方式，可以称为第二同步模式，可以称为硬同步模式。
图3是本申请实施例提供的一种雷达与摄像装置同步的系统架构，图3中的雷达与摄像装置同步的系统架构可应用于图1的车辆100中。图3具体可包括如下步骤：
S301，配置传感器布局与同步架构。
具体地，可以根据车辆上的雷达和摄像装置传感器的布局，给不同的传感器划分为不同的传感器组，然后根据划分的传感器组来完成雷达与摄像装置的时间同步。在划分传感器组时，可以根据实际的需要自行选择任意方位上的任意几个传感器作为传感器组。
其中，摄像装置可以包括单目相机、双目相机、结构光相机以及全景相机等，摄像装置获取的图像信息可以包括静态图像，也可以包括视频流信息。
S302，设置多传感器的同步模式。
具体地，可以根据CPLD或FPGA的资源应用情况进行多传感器同步模式的设置，在CPLD或FPGA资源充足的情况下采用硬同步模式，在CPLD或FPGA资源不充足的情况下采用软同步模式。具体的设置方式可以是根据域控制器上的开关来设置多个传感器的时间同步模式。
其中，软同步模式可以指摄像装置按照原有频率被CPLD/FPGA被触发。硬同步模式可以指激光雷达内部转子转动到某个角度或者某几个角度，触发CPLD/FPGA从而触发摄像装置曝光。
S303，判断当前模式为硬同步模式或者软同步模式。
具体地，可以根据步骤S302中设置同步模式的结果来进行判断。如果在步骤S302中通过域控制器的开关将同步模式设置为硬同步模式，则此处判断的同步模式为硬同步模式，如果步骤S302中通过域控制器的开关将同步模式设置为软同步模式，则此处判断的同步模式为软同步模式。
S304，对齐m个激光雷达的初始方位角。
具体地，如果步骤S303判断同步的模式为硬同步模式，则在此步骤中将m个激光雷达的初始方位角对齐，其中，m为正整数。其中，将激光雷达的初始方位角对齐可以指将不同的激光雷达的转子角度设置为相同。
S305，激光雷达的转子达到摄像装置组的第一方位角范围，CPLD发出曝光信号触发摄像装置，记录时刻t 1。
具体地，当激光雷达的转子达到摄像装置组的第一摄像装置的第一方位角范围时，激光雷达向CPLD发送信号，CPLD在接收到激光雷达的信号后，向第一摄像装置发送曝光信号，以触发第一摄像装置曝光，并记录摄像装置曝光的时刻t 1，当第一摄像装置曝光时，表明第一摄像装置和激光雷达进行了同步。其中，摄像装置组的第一方位角范围可以根据摄像装置的参数或者实际应用的需要进行预先设定。
S306，CPLD根据传感器的布局与时间同步架构，设定第2个至第n个摄像装置方位角范围对应的时刻t 2至t n。
具体地，CPLD可以根据传感器的布局与时间同步架构，设置激光雷达转子到达摄像装置组内第2个至第n个摄像装置的方位角范围的时刻t 2至t n，其中n为大于2的整数。
S307，CPLD根据时刻t 2至t n，依次发出曝光信号触发摄像装置曝光。
具体地，CPLD根据步骤S306设定好时刻t 2至t n依次向摄像装置发出曝光信号，来 触发摄像装置曝光，通过这种方式，可以让激光雷达和摄像装置组内第2至第n个摄像装置进行时间同步或时空同步。
S308，判断是否退出自动驾驶模式。
具体地，如果在步骤S307中，做到了雷达和摄像装置的时间同步或时空同步，则在此步骤中判断退出自动驾驶模式，结束同步流程。如果在步骤S307中，没有做到雷达和摄像装置的时间同步或时空同步，则重新执行步骤S305，重新进行雷达和摄像装置的同步流程。
本申请实施例中，通过雷达和摄像装置同步触发的方式，使雷达和摄像装置之间采样频率和相位的同步，提高了雷达和摄像装置之间的数据融合的准确性和可靠性。
图4是本申请实施例提供的另一种雷达与摄像装置同步的系统架构。图4中的雷达与摄像装置同步的系统架构可应用于图1的车辆100中。图4具体可以包括以下步骤。
S401，配置传感器布局与同步架构。
具体地，可以根据车辆上的传感器的布局，将不同的雷达和摄像装置划分为不同的传感器组，然后根据划分的传感器组来完成雷达与摄像装置的同步。在划分传感器组时，可以根据实际的需要自行选择任意方位上的任意几个传感器作为传感器组。
其中，摄像装置可以包括单目相机、双目相机、结构光相机以及全景相机等，摄像装置获取的图像信息可以包括静态图像，也可以包括视频流信息。
S402，设置多传感器的时间同步模式。
具体地，可以根据CPLD或FPGA的资源应用情况进行多传感器同步模式的设置，在CPLD或FPGA资源充足的情况下采用硬同步模式，在CPLD或FPGA资源不充足的情况下采用软同步模式。具体的设置方式可以是根据域控制器上的开关来设置多个传感器的时间同步模式。
其中，软同步模式可以指摄像装置按照原有频率被CPLD/FPGA被触发。硬同步模式可以指激光雷达内部转子转动到某个角度或者某几个角度，触发CPLD/FPGA从而触发摄像装置曝光。
S403，判断当前模式为硬同步模式或者软同步模式。
具体地，可以根据步骤S402中设置时间同步模式的结果来进行判断。如果在步骤S402中通过域控制器的开关将同步模式设置为硬同步模式，则此处判断的同步模式为硬同步模式，如果步骤S402中通过域控制器的开关将同步模式设置为软同步模式，则此处判断的同步模式为软同步模式。
S404，将雷达的频率设置为最低档。
具体地，如果步骤S403判断时间同步的模式为软同步模式，则在此步骤中将雷达的频率设置为最低档，即雷达工作周期最慢，优选地，将雷达的扫描周期设置为100ms。
其中，雷达的工作周期最慢可以指雷达可选择的工作档位中，扫描周期最大的档位。例如，激光雷达根据出厂的设定分为两个档位，分别是100ms和50ms，选择周期最大的档位是选择100ms的档位，因此，当激光雷达的扫描周期为100ms时，可以将雷达的工作周期称作“最慢”。
S405，根据激光雷达的周期和多传感器布局，计算摄像装置的频率。
具体的，摄像装置的频率fc可以通过如下公式进行计算。
其中，n表示摄像装置的数量，其数值为正整数，T L代表激光雷达的扫描周期，例如，一个激光雷达对应布局6个摄像装置，激光雷达的选择周期为100ms，则摄像装置的频率fc＝6/0.1s＝60HZ。
S406，激光雷达正常旋转工作，CPLD按照fc频倍的PPS触发摄像装置曝光。
具体地，通过步骤S406中的公式计算出摄像装置的曝光频率fc，CPLD使用fc频率倍数的PPS触发摄像装置曝光。其中，fc频倍的数值为正整数。本申请实施例所述的频倍也即是频率倍数。
S407，判断激光雷达和摄像装置的数据时间戳是否小于等于第一阈值。
具体地，获取摄像装置曝光时激光雷达和相机的数据时间戳，判断激光雷达和摄像装置的数据时间戳的差值是否小于等于第一阈值，如果满足条件，说明满足雷达和摄像装置时间同步或时空同步的要求，将雷达和摄像装置的采集的数据输出给算法应用处理。
S408，判断是否退出自动驾驶模式。
具体地，如果在步骤S407中，激光雷达和摄像装置的时间戳小于等于第一阈值，达到了雷达和摄像装置的时间同步或时空同步的要求，则在此步骤中判断退出自动驾驶模式，结束同步流程。如果在步骤S407中，没有达到雷达和摄像装置的时间同步的要求，则重新执行步骤S406，CPLD重新按照fc频倍的PPS触发摄像装置进行曝光。
本申请实施例中，可以将激光雷达设置成适合工作场景需求的最慢工作模式，摄像装置设置到相应的较快工作模式，实现了因资源限制不能实现时间硬同步时，让雷达和摄像装置在时间上匹配了更多的帧数据，提高了雷达和摄像装置之间的数据融合的准确性和可靠性。
图5是本申请实施例提供的传感器组的示意图。图5中的传感器组可应用于图3或图4的雷达与摄像装置同步的系统架构中。
作为一个示意性的例子，如图5所示，可以在车辆上部署两个雷达，和7个摄像装置，图中的①表示雷达，②表示摄像装置。划分传感器组时，可以根据实际的需要选择任意方位的任意几个传感器进行划分。例如，如图5(a)所示，传感器组可以包括雷达和摄像装置，示例地，传感器组A包括图中所有的雷达和所有的摄像装置，，这样，两个雷达和7个摄像装置进行时间同步。又例如，如图5(b)所示，可以将位于车辆前方的一个雷达和一个摄像装置划分为传感器组A，将位于车辆顶部的一个雷达和6个摄像装置划分为一个传感器组B，这样，位于A同步组和B同步组内的雷达和摄像装置可以在各自的传感器组内分别进行时间同步。本申请实施例所述的传感器组也可以称为同步组，本申请对此不做区分。
具体地，在划分不同的传感器组时，可以通过图形化配置软件对雷达和摄像装置划分通同步组，并将划分的结果发送给传感器的时间同步模块。
本申请实施例中，可以根据车辆上传感器的布局和实际应用的需要，对雷达和摄像装置划分传感器组，位于同一传感器组内的雷达和摄像装置可以进行硬同步或软同步， 可以提高雷达和摄像装置之间的数据融合的效率。
下面结合图6所示的过程对雷达和摄像装置的同步方法进行介绍。
图6是本申请实施例提供的雷达与摄像装置的同步方法600。该同步方法600可应用于图1的车辆100中。方法600可以包括以下步骤。
S601，确定激光雷达和摄像装置的时间同步模式。
确定激光雷达和摄像装置的同步模式可以根据CPLD或FPGA的资源状态进行确定。当CPLD或FPGA资源不充足时采用第一时间同步模式，当CPLD或FPGA资源充足时采用第二时间同步模式。其中，第一同步模式可以指摄像装置按照原有频率被CPLD或FPGA被触发。第二同步模式可以指激光雷达内部转子转动到某个角度或者某几个角度，触发CPLD或FPGA从而触发摄像装置曝光。
应理解，CPLD或FPGA资源充足可以指CPLD或FPGA可以调动更多的资源来处理任务，即CPLD或FPGA计算能力和当前空闲能力较强，CPLD或FPGA资源不充足可以指CPLD或FPGA处理任务时能够调度的资源相对较少，即计算能力和当前空闲能力较弱。
一种可能的实现方式中，也可以不选择雷达和摄像装置的同步模式，直接按照第一同步模式或第二同步模式对激光雷达和摄像装置进行同步。
一种可能的实现方式中，在进行步骤S601之前，该方法还包括：将激光雷达和相机摄像装置划分至传感器组。
具体地，在划分传感器组时，可以根据激光雷达和摄像装置在车辆上的布局，将车辆上任意方位的任意几个激光雷达和摄像装置划分至同一传感器组内。进而对位于同一传感器组内的激光雷达和相机进行时间同步或时空同步。例如，可以按照图5所述的方式划分不同的传感器组。
本申请实施例中，可以根据车辆上传感器的布局和实际应用的需要，对激光雷达和摄像装置划分传感器组，位于同一传感器组内的雷达和摄像装置进行时间同步或时空同步，由此提高了雷达和摄像装置之间的数据融合的效率。
S602，根据激光雷达和摄像装置的同步模式，对激光雷达和摄像装置进行同步。
一种可能的实现方式中，在步骤S601确定激光雷达和摄像装置的同步模式为第一同步模式后，在步骤S602中，对激光雷达和摄像装置进行同步包括：根据激光雷达的扫描周期和摄像装置的数量，确定摄像装置的曝光频率；根据第一摄像装置的曝光频率，触发所述第一摄像装置曝光，得到第一数据，所述摄像装置包括所述第一摄像装置；获取所述第一摄像装置曝光时，所述激光雷达采集的第二数据；若所述第一数据的时间戳和所述第二数据的时间戳的差值小于或等于第一阈值，则对所述第一数据和所述第二数据进行同步处理。
具体地，摄像装置的频率fc可以通过如下公式进行计算：
其中，n表示摄像装置的数量，其数值为正整数，T L代表激光雷达的扫描周期，例如，同一资源组内一个激光雷达对应布局6个摄像装置，摄像装置在预设区间内扫描周 期的最小值为100ms，则摄像装置的频率fc＝6/0.1s＝60HZ。
在确定了摄像装置的曝光频率后，CPLD根据摄像装置的曝光频率，触发摄像装置曝光，并获取摄像装置曝光时刻激光雷达和摄像装置分别采集的第一数据和第二数据。然后，CPLD将获取的第一数据和第二数据的数据时间戳进行差值后和第一阈值进行比较，进而对激光雷达和摄像装置采集的数据进行不同的处理。
其中，第一阈值可以是预先设定的数值，可以根据时间同步的方法实际应用的情况进行确定。例如，如果对激光雷达和摄像装置的同步的精确性要求较高，可以将第一阈值的数值设置的较大，如果对激光雷达和摄像装置同步的精确性要求不高，可以将第一阈值的数值设置较小。如果第一数据和第二数据的数据时间戳的差值小于或等于第一阈值，则说明激光雷达和摄像装置满足同步的要求，可以将第一数据和第二数据输出给算法应用进行处理。如果第一数据和第二数据的数据时间戳的差值大于第一阈值，则说明激光雷达和摄像装置没有达到同步的要求，需要将第一数据和第二数据舍弃。
一种可能的实现方式中，所述激光雷达的旋转周期为预设区间内的最大值。
其中，预设区间可以指雷达的扫描周期可以达到的预设范围，预设区间的数值可以根据雷达固有的属性进行确定。例如，雷达的固有的扫描周期分为两个档位，分别是50ms和100ms，则雷达的预设区间是50ms-100ms。将激光雷达的扫描周期设置为预设区间的最大值，按照上述所举的例子，是将激光雷达的扫描周期设置为100ms。
本申请实施例中，可以将激光雷达设置成适合工作场景需求的最慢的工作模式，根据激光雷达的扫描周期和激光雷达对应的摄像装置个数确定摄像装置的曝光频率，并根据摄像装置曝光的频率触发摄像装置曝光。摄像装置曝光后，通过判断激光雷达和摄像装置的数据时间戳的差值是否小于或等于第一阈值来判断激光雷达和摄像装置是否满足时间同步的要求，在满足时间同步的要求的情况下，才将得到的结果输出给算法应用处理。通过此种方式，可以让激光雷达和摄像装置在时间上匹配更多的帧数据，减少算法应用的工作量，并提高了雷达和摄像装置之间的数据融合的准确性和可靠性。
一种可能的实现方式中，在步骤S601确定激光雷达和摄像装置的同步模式为第二同步模式，在步骤S602中，对激光雷达和摄像装置进行同步包括：在第一时刻，将激光雷达的初始方位角设置为第一方位角，在所述第一方位角的方向上设置有第一摄像装置，所述摄像装置包括所述第一摄像装置；获取在所述第一时刻，所述激光雷达采集的第一数据和所述第一摄像装置采集的第二数据；对所述第一数据和所述第二数据进行同步处理。
具体地，可以设置m个激光雷达的初始方位角的角度相等，其中，m为大于0的整数。例如，可以将m个激光雷达的初始方位角都设置成零度，m个初始方位角相同的激光雷达的相位角位于摄像装置组内第一摄像装置的方位角范围。此时，m个激光雷达和摄像装置组内的第一摄像装置同步触发，记录激光雷达和摄像装置同步触发时刻为第一时刻，并对激光雷达和第一摄像装置在第一时刻分别采集的第一数据和第二数据进行同步处理。
本申请实施例中，通过设置若干个激光雷达的初始方位角的角度相等，以及将若干个激光雷达的初始方位角设置在摄像装置组内第一摄像装置的方位角范围内，使若干个 激光雷达和第一摄像装置同步触发，保证了若干个激光雷达和第一摄像装置的时间同步或时空同步。
一种可能的实现方式中，步骤S602还可以包括：根据所述激光雷达、第一摄像装置的位置关系和第二摄像装置的位置关系，确定所述第二摄像装置的曝光时刻为第二时刻，所述摄像装置包括所述第二摄像装置；获取在所述第二时刻，所述激光雷达采集的第三数据和所述第二摄像装置采集的第四数据；对所述第三数据和所述第四数据进行同步处理。
具体地，可以根据摄像装置组内激光雷达的位置与第一摄像装置的位置的连线以及激光雷达的位置与第二摄像装置位置的连线的夹角，确定第二摄像装置的曝光时刻为第二时刻，并在第二时刻触发摄像装置曝光。
应理解，本申请实施例中，第二摄像装置可以指摄像装置组内位于第一摄像装置后进行曝光的一个摄像装置，也可以指位于第一摄像装置后曝光的多个摄像装置。
其中，第二相机曝光的第二时刻，具体可以通过以下公式进行计算：
其中，T L代表激光雷达的扫描周期，θn代表第n摄像装置与雷达初始方位之间的夹角。例如，雷达的扫描周期为100ms，第二摄像装置的与雷达之间的夹角为π/3，则第二摄像装置的触发时刻t 2＝100/2π×π/3＝16.7ms。当时间达到16.7ms时，CPLD通过ISP触发第二摄像装置曝光。相机曝光时，激光雷达采集的第三数据，第二摄像装置采集的第四数据；CPLD对第三数据和第四数据进行同步处理。
本申请实施例中，可以将若干个激光雷达初始方位角设置相同，并通过激光雷达和摄像装置组内的第一摄像装置同步触发、激光雷达与第二摄像装置根据计算的序列时刻触发的方式，实现的多个雷达和摄像装置之间的同步，保证了车辆高速行驶场景下对雷达和摄像装置时空同步的高要求。其中，CPLD仅仅进行一次角度检测，即CPLD仅检测第一摄像装置与激光雷达的角度，后续以设定的曝光序列时刻为准，可以减少CPLD的资源消耗。
下面结合图7和图8所示的过程对雷达和相机的同步方法进行介绍。
图7是本申请实施例提供的第一同步模式下雷达与相机同步方法700。图7中的第一同步模式下雷达与相机时间的同步方法700可应用于图1的车辆100中。方法700可以包括如下步骤。
S701，设置激光雷达的频率为最低档，即工作周期最慢。
例如，雷达的固有的扫描周期分为两个档位，分别是50ms和100ms，将激光雷达的频率设置为最低档，是将激光雷达的扫描周期设置为100ms。其中，100ms为本申请实施例雷达扫描周期的优选的设置。
S702，根据激光雷达扫描周期和多传感器布局计算相机频率。
具体地，相机的频率fc可以通过如下公式进行计算：
其中，n表示相机的数量，其数值为正整数，T L代表激光雷达的扫描周期，例如，同一资源组内一个激光雷达对应布局6个相机，相机的扫描周期为100ms，则相机的频率fc＝6/0.1s＝60HZ。
S703，雷达正常旋转工作,CPLD按照fc倍频PPS触发相机曝光。
具体地，在步骤S702计算出相机的频率fc后，CPLD使用fc频率倍数的PPS触发相机曝光。其中，fc频倍的数值为正整数。
S704，激光雷达与相机数据时间戳小于或等于第一阈值，即满足时间同步的要求，输出给算法处理。
具体地，判断激光雷达和相机的时间戳是否小于等于第一阈值，如果满足条件，说明满足雷达和相机时间同步的要求，将结果输出给算法应用处理。在输出给算法应用处理之前，可以对得到的数据进行校正，以提高数据的精准度。
本申请实施例中，可以将激光雷达设置成适合工作场景需求的最慢工作模式，相机设置到相应的较快工作模式，实现了因资源限制不能实现时间硬同步时，让雷达和相机在时间上匹配了更多的帧数据，提高了雷达和相机之间的数据融合的准确性和可靠性。
图8是本申请实施例提供的第二同步模式下雷达与相机同步方法800。第二同步模式下雷达与相机同步方法800可应用于图1的车辆100中。方法800可包括如下步骤。
S801，m个激光雷达初始方位角设置为0度。
具体地，如图8(a)所示，将m个激光雷达的初始方位角设置为0度，保证m个雷达可以被同步触发，并且m个激光雷达的初始方位角位于相机组第一相机方位角的范围。其中，m为正整数。
S802，CPLD通过ISP触发相机曝光，时间t 1＝0。
具体地，如图8(a)所示，将m个激光雷达的初始方位角位于相机组第一相机方位角的范围的信息反馈给CPLD，CPLD通过ISP触发相机曝光，记录此时的相机触发时刻t 1＝0。
S803，CPLD根据传感器布局与时间同步架构，设定第2个至第n个相机方位角范围对应的时刻t 2至t n。
如图8(b)和图8(c)所示，在车辆上不同位置部署雷达和相机后，可以测量雷达和相机组内每一个相机之间的夹角，确定好夹角后，可以计算出相机组内每个相机的曝光时刻t 2至t n，具体可以通过以下公式进行计算：
其中，T L代表激光雷达的扫描周期，θn代表第n相机与雷达初始方位之间的夹角。例如，雷达的扫描周期为100ms，第二相机的与雷达之间的夹角为π/3，则第二相机的触发时刻t 2＝100/2π×π/3＝16.7ms。当时间达到16.7ms时，CPLD通过ISP触发第二相机曝光。同样的，可以计算出第三相机至第n相机的触发时刻t 3至t n。
S804，CPLD根据t 2至t n时刻依次通过ISP触发相机曝光。
具体地，CPLD根据设定的t 2至t n时刻依次通过ISP触发第2至第n相机曝光。
本申请实施例中，可以将若干个激光雷达初始方位角设置为0度，并通过激光雷达 和相机组内的第一相机同步触发、雷达与第二相机至第n相机根据计算的序列时刻依次触发的方式，实现的多个雷达和相机之间的同步，保证了车辆高速行驶场景下对雷达和相机时空同步的高要求。其中，CPLD仅仅进行一次角度检测，即CPLD仅检测第一相机与激光雷达的角度，后续以设定的序列为准，可以减少CPLD的资源消耗。
图9是本申请实施例提供的雷达与相机同步装置900示意图。该装置900可应用于图1的车辆100中。
该装置900可以包括获取单元910、存储单元920和处理单元930。获取单元910可以实现相应的通信功能，获取单元910还可以称为通信接口或通信单元用于获取数据。存储单元920可以用于存储相应的指令和/或数据，处理单元930用于进行数据处理。处理单元930可以读取存储单元中的指令和/或数据，以使得装置实现前述方法实施例。
该雷达与相机同步装置包括：处理单元930；所述处理单元930，用于根据CPLD或FPGA的资源状态确定激光雷达和摄像装置的同步模式，所述激光雷达和摄像装置的同步模式包括第一同步模式或第二同步模式；所述处理单元930，还用于根据所述激光雷达和所述摄像装置的同步模式，对所述激光雷达和摄像装置进行同步。
一种可能的实现方式中，所述处理单元930，还用于将所述激光雷达和相机摄像装置划分至传感器组。
一种可能的实现方式中，所述激光雷达和摄像装置的同步模式为所述第一同步模式，所述处理单元930，具体用于根据所述激光雷达的扫描周期和所述摄像装置的数量，确定所述摄像装置的曝光频率，所述摄像装置包括所述第一摄像装置；所述处理单元930还用于，根据第一摄像装置的曝光频率，触发所述第一摄像装置曝光，得到第一数据，所述摄像装置包括所述第一摄像装置；所述装置还包括获取单元910，用于获取所述第一摄像装置曝光时，所述激光雷达采集的第二数据；若所述第一数据的时间戳和所述第二数据的时间戳的差值小于或等于第一阈值，所述处理单元930用于对所述第一数据和所述第二数据进行同步处理。
一种可能的实现方式中，所述处理单元930，具体用于根据如下公式确定所述摄像装置的曝光频率：
其中，fc表示所述摄像装置的曝光频率，n表示一个或者多个摄像装置的数量且n为正整数，T L表示所述激光雷达的扫描周期。
一种可能的实现方式中，所述激光雷达和摄像装置的同步模式为所述第二同步模式，所述处理单元930，具体用于在第一时刻，将激光雷达的初始方位角设置为第一方位角，在所述第一方位角的方向上设置有第一摄像装置，所述摄像装置包括所述第一摄像装置；所述装置还包括获取单元910，所述获取单元910用于获取在所述第一时刻，所述激光雷达采集的第一数据和所述第一摄像装置采集的第二数据；所述处理单元930，还用于对所述第一数据和所述第二数据进行同步处理。
一种可能的实现方式中，所述处理单元930，还用于根据所述激光雷达、所述第一摄像装置的位置关系和第二摄像装置的位置关系，确定所述第二摄像装置的曝光时刻为 第二时刻；所述获取单元910，还用于获取在所述第二时刻，所述激光雷达采集的第三数据和所述第二摄像装置采集的第四数据；所述处理单元930，还用于对所述第三数据和所述第四数据进行同步处理。
一种可能的实现方式中，所述处理单元930，具体用于根据所述激光雷达的位置与所述第一摄像装置的位置连线以及所述激光雷达的位置与所述第二摄像装置的位置的连线的夹角，确定所述第二摄像装置的曝光时刻为第二时刻。
图10是本申请实施例提供的一种雷达与相机同步装置1000示意图。该装置1000可应用于图1的车辆100中。
该雷达与时间同步装置包括：存储器1010、处理器1020、以及通信接口1030。其中，存储器1010、处理器1020，通信接口1030通过内部连接通路相连，该存储器1010用于存储指令，该处理器1020用于执行该存储器1020存储的指令，以控制输入/输出接口1030接收/发送第二信道模型的至少部分参数。可选地，存储器1010既可以和处理器1020通过接口耦合，也可以和处理器1020集成在一起。
需要说明的是，上述通信接口1030使用例如但不限于收发器一类的收发装置，来实现通信设备1000与其他设备或通信网络之间的通信。上述通信接口1030还可以包括输入/输出接口(input/output interface)。
在实现过程中，上述方法的各步骤可以通过处理器1020中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1010，处理器1020读取存储器1010中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本申请实施例还提供一种计算机可读介质，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得所述计算机执行上述图6至图8中的任一种方法。
本申请实施例还提供一种芯片，包括：至少一个处理器和存储器，所述至少一个处理器与所述存储器耦合，用于读取并执行所述存储器中的指令，以执行上述图6至图8中的任一种方法。
本申请实施例还提供一种车辆，包括：至少一个处理器和存储器，所述至少一个处理器与所述存储器耦合，用于读取并执行所述存储器中的指令，以执行上述图6至图8中的任一种方法。
本申请实施例还提供一种车辆，包括图9或图10任一种雷达与摄像装置时间装置。
应理解，本申请实施例中，上述处理器可以为中央控制单元(central processing unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中，该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。处理器的一部分还可以包括非易失性随机存取存储器。例如，处理器还可以存储设备类型的信息。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
还应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在本说明书中使用的术语“部件”、“模块”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于，在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示，在计算设备上运行的应用和计算设备都可以是部件。一个或多个部件可驻留在进程和/或执行线程中，部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外，这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一部件交互的二个部件的数据，例如通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存 储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (20)

  1. 一种同步方法，其特征在于，所述方法包括：
    根据复杂可编程逻辑器件CPLD或现场可编程逻辑门阵列FPGA的资源状态确定激光雷达和摄像装置的同步模式，所述激光雷达和摄像装置的同步模式包括第一同步模式或第二同步模式；
    根据所述同步模式，对所述激光雷达和所述摄像装置进行同步。
  2. 如权利要求1所述的方法，其特征在于，所述方法还包括：
    将所述激光雷达和所述摄像装置划分至传感器组。
  3. 如权利要求1或2所述的方法，其特征在于，所述激光雷达和摄像装置的同步模式为所述第一同步模式，所述方法还包括：
    根据所述激光雷达的扫描周期和所述摄像装置的数量，确定所述摄像装置的曝光频率；
    根据第一摄像装置的曝光频率，触发所述第一摄像装置曝光，得到第一数据，所述摄像装置包括所述第一摄像装置；
    获取所述第一摄像装置曝光时，所述激光雷达采集的第二数据；
    若所述第一数据的时间戳和所述第二数据的时间戳的差值小于或等于第一阈值，则对所述第一数据和所述第二数据进行同步处理。
  4. 如权利要求3所述的方法，其特征在于，所述激光雷达的扫描周期为预设区间内的最大值。
  5. 如权利要求3或4所述的方法，其特征在于，
    所述根据所述激光雷达的扫描周期和所述摄像装置的数量，确定所述摄像装置的曝光频率，包括：根据如下公式确定所述摄像装置的曝光频率：
    其中，fc表示所述摄像装置的曝光频率，n表示一个或者多个摄像装置的数量且n为正整数，T L表示所述激光雷达的扫描周期。
  6. 如权利要求1或2所述的方法，其特征在于，所述激光雷达和摄像装置的同步模式为所述第二同步模式，所述方法还包括：
    在第一时刻，将所述激光雷达的初始方位角设置为第一方位角，在所述第一方位角的方向上设置有第一摄像装置，所述摄像装置包括所述第一摄像装置；
    获取在所述第一时刻，所述激光雷达采集的第一数据和所述第一摄像装置采集的第二数据；
    对所述第一数据和所述第二数据进行同步处理。
  7. 如权利要求6所述的方法，其特征在于，所述方法还包括：
    根据所述激光雷达、所述第一摄像装置和第二摄像装置的位置关系，确定所述第二 摄像装置的曝光时刻为第二时刻，所述摄像装置包括所述第二摄像装置；
    获取在所述第二时刻，所述激光雷达采集的第三数据和所述第二摄像装置采集的第四数据；
    对所述第三数据和所述第四数据同步进行处理。
  8. 如权利要求7所述的方法，其特征在于，所述根据所述激光雷达、所述第一摄像装置的位置关系和第二摄像装置的位置关系，确定所述第二摄像装置的曝光时刻为第二时刻包括：
    根据所述激光雷达的位置与所述第一摄像装置的位置的连线以及所述激光雷达的位置与所述第二摄像装置的位置的连线的夹角，确定所述第二摄像装置的曝光时刻为第二时刻。
  9. 一种同步装置，其特征在于，所述装置包括：处理单元；
    所述处理单元，用于根据复杂可编程逻辑器件CPLD或现场可编程逻辑门阵FPGA的资源状态确定激光雷达和摄像装置的同步模式，所述激光雷达和摄像装置的同步模式包括第一同步模式或第二同步模式；
    所述处理单元，还用于根据所述同步模式，对所述激光雷达和所述摄像装置进行同步。
  10. 如权利要求9所述的装置，其特征在于，所述处理单元，还用于将所述激光雷达和所述摄像装置划分至传感器组。
  11. 如权利要求9或10所述的装置，其特征在于，所述激光雷达和摄像装置的同步模式为所述第一同步模式，
    所述处理单元，具体用于根据所述激光雷达的扫描周期和所述摄像装置的数量，确定所述摄像装置的曝光频率；
    所述处理单元还用于，根据第一摄像装置的曝光频率，触发所述第一摄像装置曝光，得到第一数据，所述摄像装置包括所述第一摄像装置；
    所述装置还包括获取单元，用于获取所述第一摄像装置曝光时，所述激光雷达采集的第二数据；
    若所述第一数据的时间戳和所述第二数据的时间戳的差值小于或等于第一阈值，所述处理单元用于对所述第一数据和所述第二数据进行同步处理。
  12. 如权利要求11所述的装置，其特征在于，激光雷达的扫描周期为预设区间内的最大值。
  13. 如权利要求11或12所述的装置，其特征在于，所述处理单元，具体用于根据如下公式确定所述摄像装置的曝光频率：
    其中，fc表示所述摄像装置的曝光频率，n表示一个或者多个摄像装置的数量且n为正整数，T L表示所述激光雷达的扫描周期。
  14. 如权利要求9或10所述的装置，其特征在于，所述激光雷达和摄像装置的同步模式为所述第二同步模式，
    所述处理单元，具体用于在第一时刻，将激光雷达的初始方位角设置为第一方位角，在所述第一方位角的方向上设置有第一摄像装置，所述摄像装置包括所述第一摄像装置；
    所述装置还包括获取单元，所述获取单元用于获取在所述第一时刻，所述激光雷达采集的第一数据和所述第一摄像装置采集的第二数据；
    所述处理单元，还用于对所述第一数据和所述第二数据进行同步处理。
  15. 如权利要求14所述的装置，其特征在于，
    所述处理单元，还用于根据所述激光雷达、所述第一摄像装置的位置关系和第二摄像装置的位置关系，确定所述第二摄像装置的曝光时刻为第二时刻，所述摄像装置包括所述第二摄像装置；
    所述获取单元，还用于获取在所述第二时刻，所述激光雷达采集的第三数据和所述第二摄像装置采集的第四数据；
    所述处理单元，还用于对所述第三数据和所述第四数据进行同步处理。
  16. 如权利要求15所述的装置，其特征在于，所述处理单元，具体用于根据所述激光雷达的位置与所述第一摄像装置的位置连线以及所述激光雷达的位置与所述第二摄像装置的位置的连线的夹角，确定所述第二摄像装置的曝光时刻为第二时刻。
  17. 一种同步装置，其特征在于，包括：至少一个处理器和存储器，所述至少一个处理器与所述存储器耦合，用于读取并执行所述存储器中的指令，以执行如权利要求1至8中任一项所述的方法。
  18. 一种计算机可读介质，其特征在于，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得所述计算机执行如权利要求1至8中任一项所述的方法。
  19. 一种芯片，其特征在于，包括：至少一个处理器和存储器，所述至少一个处理器与所述存储器耦合，用于读取并执行所述存储器中的指令，以执行如权利要求1至8中任一项所述的方法。
  20. 一种车辆，其特征在于，包括：至少一个处理器和存储器，所述至少一个处理器与所述存储器耦合，用于读取并执行所述存储器中的指令，以执行如权利要求1至8中任一项所述的方法。
CN202180029658.3A 2021-12-31 2021-12-31 同步的方法、装置以及车辆 Pending CN116685871A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/143829 WO2023123416A1 (zh) 2021-12-31 2021-12-31 同步的方法、装置以及车辆

Publications (1)

Publication Number Publication Date
CN116685871A true CN116685871A (zh) 2023-09-01

Family

ID=86997118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180029658.3A Pending CN116685871A (zh) 2021-12-31 2021-12-31 同步的方法、装置以及车辆

Country Status (2)

Country Link
CN (1) CN116685871A (zh)
WO (1) WO2023123416A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230388481A1 (en) * 2022-05-27 2023-11-30 Motional Ad Llc Image based lidar-camera synchronization

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3775983A1 (en) * 2018-04-09 2021-02-17 Innoviz Technologies Ltd. Lidar systems and methods with internal light calibration
CN111435162B (zh) * 2020-03-03 2021-10-08 深圳市镭神智能系统有限公司 激光雷达与相机同步方法、装置、设备和存储介质
CN112485806B (zh) * 2020-09-27 2023-12-05 浙江众合科技股份有限公司 一种激光雷达和相机时间同步系统及方法
CN113219479A (zh) * 2021-05-13 2021-08-06 环宇智行科技(苏州)有限公司 智能驾驶控制系统的摄像头和激光雷达同步方法及系统

Also Published As

Publication number Publication date
WO2023123416A1 (zh) 2023-07-06

Similar Documents

Publication Publication Date Title
US11915492B2 (en) Traffic light recognition method and apparatus
CN111448476B (zh) 在无人飞行器与地面载具之间共享绘图数据的技术
JP2022520968A (ja) 視覚画像データを用いたオブジェクト属性の推定
CN109374008A (zh) 一种基于三目摄像头的图像采集系统及方法
CN110895147A (zh) 自动驾驶车辆的用相机捕获图像数据的图像数据获取逻辑
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
CN114911243A (zh) 车路协同自动驾驶的控制方法、装置、设备及车辆
EP3891474B1 (en) Synchronizing sensors of autonomous driving vehicles
US20190118804A1 (en) Vehicle control device, vehicle control method, and program
CN111316285A (zh) 物体检测方法、电子设备与计算机存储介质
Liu et al. An overview of the latest progress and core challenge of autonomous vehicle technologies
CN113016153A (zh) 验证在自动驾驶车辆中使用的传感器的定时
KR20200096518A (ko) 정보 처리 장치, 이동체, 제어 시스템, 정보 처리 방법 및 프로그램
WO2021012153A1 (en) System for sensor synchronization data analysis in autonomous driving vehicle
CN112640332B (zh) 一种通信方法及装置
US20220396281A1 (en) Platform for perception system development for automated driving system
CN115348657B (zh) 用于车辆时间同步的系统、方法及车辆
CN116685871A (zh) 同步的方法、装置以及车辆
WO2020220199A1 (en) Multiple sensor data storage with compressed video stream in autonomous driving vehicles
CN111862226B (zh) 用于车辆中的摄像机校准和图像预处理的硬件设计
US20230396879A1 (en) Mode sequencer circuitry and mode sequencing method
CN113312403B (zh) 地图获取方法、装置、电子设备及存储介质
US20220281459A1 (en) Autonomous driving collaborative sensing
CN114415489A (zh) 一种车载传感器时间同步方法、装置、设备和介质
CN113917875A (zh) 一种自主无人系统开放通用智能控制器、方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination