CN112953670A - 一种融合感知同步曝光方法、装置及可读存储介质 - Google Patents

一种融合感知同步曝光方法、装置及可读存储介质 Download PDF

Info

Publication number
CN112953670A
CN112953670A CN202110110993.8A CN202110110993A CN112953670A CN 112953670 A CN112953670 A CN 112953670A CN 202110110993 A CN202110110993 A CN 202110110993A CN 112953670 A CN112953670 A CN 112953670A
Authority
CN
China
Prior art keywords
radar
image acquisition
exposure
acquisition equipment
column
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110110993.8A
Other languages
English (en)
Other versions
CN112953670B (zh
Inventor
程坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETHIK Group Ltd
Original Assignee
CETHIK Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETHIK Group Ltd filed Critical CETHIK Group Ltd
Priority to CN202110110993.8A priority Critical patent/CN112953670B/zh
Publication of CN112953670A publication Critical patent/CN112953670A/zh
Application granted granted Critical
Publication of CN112953670B publication Critical patent/CN112953670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0682—Clock or time synchronisation in a network by delay compensation, e.g. by compensation of propagation delay or variations thereof, by ranging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种融合感知同步曝光方法、装置及可读存储介质，方法，包括：调整雷达和图像采集设备对焦同一空间；设置粗时钟和细时钟，基于粗时钟和细时钟控制雷达和图像采集设备时间同步；控制雷达和图像采集设备采用相同的曝光方式。本发明从空间、时间以及曝光机制上多方位控制雷达与图像采集设备的同步曝光，且在进行时间同步控制时，考虑到雷达与图像采集设备两者设备上的固定延时的不同，并且综合FPGA进位链、PCB延迟线或者同轴线缆延长线调整时间同步的细时钟，达到准确的同步曝光控制，便于后续雷达数据以及图像数据的融合。

Description

一种融合感知同步曝光方法、装置及可读存储介质
技术领域
本申请属于多传感器融合探测技术领域，具体涉及一种融合感知同步曝光方法、装置及可读存储介质。
背景技术
随着自动驾驶、高级辅助驾驶系统及智能车联网的发展，多传感融合成为其中必不可少的关键技术。
现有的传感设备包括了摄像头、激光雷达、毫米波雷达、GPS、超声波雷达等独立的传感设备，相关设备之间相互独立，时间同步仅依靠GPS授时，并通过网络传输，其同步精度较差，甚至无法做到时空同步。目前尚未有相关的硬件同步方案，这成为影响自动驾驶、高级辅助驾驶系统及智能车联网的发展的关键因素。
发明内容
本申请的目的在于提供一种融合感知同步曝光方法、装置及可读存储介质，实现雷达和图像采集设备之间精准的时空同步。
为实现上述目的，本申请所采取的技术方案为：
以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
一种融合感知同步曝光方法，用于控制雷达和图像采集设备实现同步曝光，所述融合感知同步曝光方法，包括：
步骤1、空间同步：调整雷达和图像采集设备对焦同一空间；
步骤2、时间同步：
步骤2.1、设置粗时钟：
步骤2.1.1、获取雷达从启动到曝光之间的固定延时时间Tl，获取图像采集设备从启动到曝光之间的固定延时时间Ts；
步骤2.1.2、设定同步曝光的总延时时间ΔT；
步骤2.1.3、计算雷达的调控延时时间δl＝ΔT-Tl，计算图像采集设备的调控延时时间δs＝ΔT-Ts；
步骤2.1.4、令同步控制雷达与图像采集设备的时钟周期为Tn，计算雷达的粗时钟为L0＝INT(δl/Tn)，计算图像采集设备的粗时钟为S0＝INT(δs/Tn)；
步骤2.2、设置细时钟：
步骤2.2.1、计算雷达的细时钟时长L1＝δl-L0×Tn，计算图像采集设备的细时钟时长S1＝δs-S0×Tn；
步骤2.2.2、基于细时钟时长采用FPGA进位链、PCB延迟线或同轴线缆的方式确定对应的延迟线长度；
步骤2.3、基于粗时钟和细时钟控制雷达和图像采集设备时间同步；
步骤3、曝光机制同步：控制雷达和图像采集设备采用相同的曝光方式。
作为优选，所述调整雷达和图像采集设备对焦同一空间，包括：
步骤1.1、调整雷达和图像采集设备的成像焦平面坐标系统一；
步骤1.2、将雷达和图像采集设备的感知芯片放置在同一坐标平面上；
步骤1.3、调整雷达和图像采集设备的视场角保持一致；
步骤1.4、调整雷达和图像采集设备的中心法线保持一致。
作为优选，所述基于细时钟时长采用FPGA进位链、PCB延迟线或同轴线缆的方式确定对应的延迟线长度，包括：
若采用FPGA进位链的方式，令每级LUT的延迟为t，则雷达的延迟线长度为ll＝L1/t，即ll级LUT级联长度，图像采集设备的延迟线长度为ls＝S1/t，即ls级LUT级联长度；
若采用PCB延迟线或同轴线缆的方式，令电信号速度为c，则雷达的延迟线长度为ll＝c×L1，图像采集设备的延迟线长度为ls＝c×S1。
作为优选，所述曝光方式为扫描型曝光，所述控制雷达和图像采集设备采用相同的曝光方式，包括：
所述雷达通过旋转对空间进行逐列扫描，所述图像采集设备以卷帘快门的模式对空间进行逐列曝光，所述雷达逐列扫描的角速度与所述图像采集设备逐列曝光的角速度相同；
其中，所述雷达逐列扫描的角速度为所述雷达沿其旋转方向扫描的角速度，所述图像采集设备逐列曝光的角速度为将所述图像采集设备的卷帘快门平移速度映射到空间获得的曝光角速度。
作为优选，所述曝光方式为全局快门曝光，所述控制雷达和图像采集设备采用相同的曝光方式，包括：
所述雷达为全局快门型雷达，所述图像采集设备为全局快门型图像采集设备，基于时间同步控制雷达和图像采集设备的曝光起止时刻以及曝光时间长度相同。
作为优选，所述曝光方式为区域曝光，所述控制雷达和图像采集设备采用相同的曝光方式，包括：
所述雷达通过旋转对指定区域进行顺序扫描，所述图像采集设备以卷帘快门的模式对指定区域进行顺序曝光，所述雷达逐列扫描的角速度与所述图像采集设备逐列曝光的角速度相同。
本申请还提供一种融合感知同步曝光装置，所述融合感知同步曝光装置，包括雷达、图像采集设备以及主控设备，所述主控设备包括存储器和处理器，所存储器中存储有计算机程序，所述处理器执行所述计算机程序以实现所述的融合感知同步曝光方法的步骤。
本申请还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的融合感知同步曝光方法的步骤。
本申请提供的融合感知同步曝光方法、装置及可读存储介质，从空间、时间以及曝光机制上多方位控制雷达与图像采集设备的同步曝光，且在进行时间同步控制时，考虑到雷达与图像采集设备两者设备上的固定延时的不同，并且综合FPGA进位链、PCB延迟线或者同轴线缆延长线调整时间同步的细时钟，达到准确的同步曝光控制，便于后续雷达数据以及图像数据的融合。
附图说明
图1为本申请的融合感知同步曝光方法的流程图；
图2为本申请统一成像焦平面坐标系的示意图；
图3为本申请感知芯片放置在同一坐标平面上的示意图；
图4为本申请时间同步控制的示意图；
图5为本申请扫描型曝光的示意图；
图6为本申请区域曝光的示意图；
图7为本申请的融合感知同步曝光装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。
其中一个实施例中，提供一种融合感知同步曝光方法，用于控制雷达和图像采集设备实现同步曝光，以便于多传感器数据的融合，在目标识别、目标跟踪、跟踪预警等领域具有优异的应用前景，例如自动驾驶领域、辅助驾驶领域等。
如图1所示，本实施例的融合感知同步曝光方法，包括以下步骤：
步骤1、空间同步：调整雷达和图像采集设备对焦同一空间。
空间同步主要是基于雷达和图像采集设备的硬件进行调整，即通过硬件结构调整至两者对角同一空间范围。本实施例中提供的具体调整步骤如下：
步骤1.1、调整雷达和图像采集设备的成像焦平面坐标系统一，如图2所示。
步骤1.2、将雷达和图像采集设备的感知芯片放置在同一坐标平面上，如图3所示。
步骤1.3、调整雷达和图像采集设备的视场角保持一致。
步骤1.4、调整雷达和图像采集设备的中心法线保持一致。
步骤1.1～步骤1.4的调整均可通过雷达和图像采集设备的自身硬件结构实现，为硬件调整的常规操作，本实施例中对具体的调整方法不做限定。
步骤2、时间同步，如图4所示：
步骤2.1、设置粗时钟：
步骤2.1.1、获取雷达从启动到曝光之间的固定延时时间Tl，获取图像采集设备从启动到曝光之间的固定延时时间Ts。
步骤2.1.2、设定同步曝光的总延时时间ΔT。
步骤2.1.3、计算雷达的调控延时时间δl＝ΔT-Tl，计算图像采集设备的调控延时时间δs＝ΔT-Ts。
步骤2.1.4、令同步控制雷达与图像采集设备的时钟周期为Tn，计算雷达的粗时钟为L0＝INT(δl/Tn)，计算图像采集设备的粗时钟为S0＝INT(δs/Tn)。
步骤2.2、设置细时钟：
步骤2.2.1、计算雷达的细时钟时长L1＝δl-L0×Tn，计算图像采集设备的细时钟时长S1＝δs-S0×Tn。
步骤2.2.2、基于细时钟时长采用FPGA进位链、PCB延迟线或同轴线缆的方式确定对应的延迟线长度。
在确定延迟线长度来调控细时钟时，可以设计基于FPGA进位链的方式实现摄像头和激光雷达起止时刻差，FPGA进位链为FPGA内部的延迟单元，由LUT资源按照级联的方式构成，平均每级的LUT延迟约20ps左右，根据需要的细时间长度确定所需的LUT级联长度，这样得到合理的延迟线。
也就是若采用FPGA进位链的方式，令每级LUT的延迟为t，则雷达的延迟线长度为ll＝L1/t，即ll级LUT级联长度，图像采集设备的延迟线长度为ls＝S1/t，即ls级LUT级联长度。例如细时钟时长为1.2ns，FPGA的进位延迟链(每步代表20ps)则需约60个延迟链单元。
利用PCB延迟线或者同轴线缆延长线计算雷达和图像采集设备的细时钟，若电信号速度为c，则雷达的延迟线长度为ll＝c×L1，图像采集设备的延迟线长度为ls＝c×S1。
需要说明的是，雷达和图像采集设备的固定延时时间是实现标定得到的，例如可以采用示波器或者其他精密测量设备实现数据事先标定。
步骤2.3、基于粗时钟和细时钟控制雷达和图像采集设备时间同步。
本实施例利用xilinx公司的开发软件VIVADO钟提供的混合时钟管理器中的精密相位调节来调整雷达和图像采集设备之间的细时钟，时间精度可达约20ps。
步骤3、曝光机制同步：控制雷达和图像采集设备采用相同的曝光方式。
情况a、曝光方式为扫描型曝光：
如图5所示，机械扫描和MEMS扫描激光雷达是目前激光雷达中广泛采用的束流控制方向，其主要的方式是激光发射器发出的束流按照一定的旋转频率从一个方向向另一个方向扫描：譬如从做到右，或者从右到左，或者从上到下，或者从下到上。在某一个时间区域内，扫描方向是按照一维单向扫描，某一时刻，所形成的深度数据(z向)仅在当前x,y平面上对应一条线(即为扫描线)。在一帧三维数据中，左边的图像和右边的图像不是严格意义上的同一时刻获得的数据。
因此在扫描型曝光下，控制雷达和图像采集设备采用相同的曝光方式为：
所述雷达通过旋转对空间进行逐列扫描，所述图像采集设备以卷帘快门的模式对空间进行逐列曝光，所述雷达逐列扫描的角速度与所述图像采集设备逐列曝光的角速度相同；其中，所述雷达逐列扫描的角速度为所述雷达沿其旋转方向扫描的角速度，所述图像采集设备逐列曝光的角速度为将所述图像采集设备的卷帘快门平移速度映射到空间获得的曝光角速度。
情况b、曝光方式为全局快门曝光：
全局快门曝光是基于全局快门型激光雷达和全局快门型照相机所提出的一种同步曝光方式。该曝光方式为一次性照明曝光，因此激光雷达和照相机之间仅需关注起止曝光时刻的一致性和两者各自曝光时间长度的一致性即可。
因此在全局快门曝光下，控制雷达和图像采集设备采用相同的曝光方式为：
所述雷达为全局快门型雷达，所述图像采集设备为全局快门型图像采集设备，基于时间同步控制雷达和图像采集设备的曝光起止时刻以及曝光时间长度相同。
情况c、曝光方式为区域曝光：
如图6所示，激光雷达二维扫描形式的曝光与摄像头区域曝光进行同步。设计激光雷达扫描和摄像头区域曝光时间一致，譬如激光雷达扫描到区间中的某个点，则摄像头的对应区域曝光。激光雷达的空间扫描顺序和摄像头的曝光顺序保持一致。
因此在区域曝光下，控制雷达和图像采集设备采用相同的曝光方式为：
所述雷达通过旋转对指定区域进行顺序扫描，所述图像采集设备以卷帘快门的模式对指定区域进行顺序曝光，所述雷达逐列扫描的角速度与所述图像采集设备逐列曝光的角速度相同。
现有雷达及图像采集设备各自独立，而数据融合算法需要激光雷达和摄像头(照相机)的感知数据是针对同一时间和同一空间。因此，首先要求的是激光雷达和摄像头的感知数据是来自同一个三维空间；其次，激光雷达和摄像头作为成像设备，需要对所感知的空间分别进行曝光，要求两者的曝光起止时刻及曝光时间长度要一致。本申请提供的融合感知同步曝光方法能够实现雷达和图像采集设备之间精准的时空同步，以便于数据融合算法的实施。
本实施例的同步曝光方法实现了摄像头和扫描型激光雷达同区域同时刻曝光，解决了逐列扫描型激光雷达和摄像头曝光时间不同步的问题；实现了FLASH型激光雷达和全局曝光性摄像头同步匹配的方式
基于本申请提供的同步曝光方法，选择一种可以进行行或者列扫描的摄像头，将摄像头的行或列与激光雷达当前对应的区域进行一一对应，并控制激光雷达的光脉冲收发时间和所述摄像头当前行或列的曝光时间，这样就能从一定程度上做到所述激光雷达和摄像头之间更多区域上一致曝光的方式。类似的曝光方案还体现在FLASH型激光雷达选择全局曝光工作方式的摄像头，并保持曝光时刻的同步。
需要说明的是，本实施例主要以雷达和图像采集设备两个对象进行同步曝光的描述，但在实际应用中，雷达可以包含一种或多种雷达，图像采集设备也可以包含一种或多种图像采集设备，也就是说依据本申请的控制原理可以实现两个及两个以上设备(雷达和/或图像采集设备)的同步曝光控制。
在另一个实施例中，如图7所示，提供一种融合感知同步曝光装置，所述融合感知同步曝光装置，包括雷达、图像采集设备以及主控设备，所述主控设备包括存储器和处理器，所存储器中存储有计算机程序，所述处理器执行所述计算机程序以实所述的融合感知同步曝光方法的步骤。
本实施例中的主控设备采用xilinx公司提供的ZYNQ，集成了FPGA和嵌入式处理器ARM，所述FPGA与图像采集设备和雷达连接，实现对图像采集设备和雷达的驱动控制及感知数据的获取，并将该数据传入到ZYNQ。传入ZYNQ中的数据可以通过网口传输到上位机设备中，以便于对数据的处理以及存储。
在另一个实施例中，还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的融合感知同步曝光方法的步骤。
本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种融合感知同步曝光方法，用于控制雷达和图像采集设备实现同步曝光，其特征在于，所述融合感知同步曝光方法，包括：
步骤1、空间同步：调整雷达和图像采集设备对焦同一空间；
步骤2、时间同步：
步骤2.1、设置粗时钟：
步骤2.1.1、获取雷达从启动到曝光之间的固定延时时间Tl，获取图像采集设备从启动到曝光之间的固定延时时间Ts；
步骤2.1.2、设定同步曝光的总延时时间ΔT；
步骤2.1.3、计算雷达的调控延时时间δl＝ΔT-Tl，计算图像采集设备的调控延时时间δs＝ΔT-Ts；
步骤2.1.4、令同步控制雷达与图像采集设备的时钟周期为Tn，计算雷达的粗时钟为L0＝INT(δl/Tn)，计算图像采集设备的粗时钟为S0＝INT(δs/Tn)；
步骤2.2、设置细时钟：
步骤2.2.1、计算雷达的细时钟时长L1＝δl-L0×Tn，计算图像采集设备的细时钟时长S1＝δs-S0×Tn；
步骤2.2.2、基于细时钟时长采用FPGA进位链、PCB延迟线或同轴线缆的方式确定对应的延迟线长度；
步骤2.3、基于粗时钟和细时钟控制雷达和图像采集设备时间同步；
步骤3、曝光机制同步：控制雷达和图像采集设备采用相同的曝光方式。
2.如权利要求1所述的融合感知同步曝光方法，其特征在于，所述调整雷达和图像采集设备对焦同一空间，包括：
步骤1.1、调整雷达和图像采集设备的成像焦平面坐标系统一；
步骤1.2、将雷达和图像采集设备的感知芯片放置在同一坐标平面上；
步骤1.3、调整雷达和图像采集设备的视场角保持一致；
步骤1.4、调整雷达和图像采集设备的中心法线保持一致。
3.如权利要求1所述的融合感知同步曝光方法，其特征在于，所述基于细时钟时长采用FPGA进位链、PCB延迟线或同轴线缆的方式确定对应的延迟线长度，包括：
若采用FPGA进位链的方式，令每级LUT的延迟为t，则雷达的延迟线长度为ll＝L1/t，即ll级LUT级联长度，图像采集设备的延迟线长度为ls＝S1/t，即ls级LUT级联长度；
若采用PCB延迟线或同轴线缆的方式，令电信号速度为c，则雷达的延迟线长度为ll＝c×L1，图像采集设备的延迟线长度为ls＝c×S1。
4.如权利要求1所述的融合感知同步曝光方法，其特征在于，所述曝光方式为扫描型曝光，所述控制雷达和图像采集设备采用相同的曝光方式，包括：
所述雷达通过旋转对空间进行逐列扫描，所述图像采集设备以卷帘快门的模式对空间进行逐列曝光，所述雷达逐列扫描的角速度与所述图像采集设备逐列曝光的角速度相同；
其中，所述雷达逐列扫描的角速度为所述雷达沿其旋转方向扫描的角速度，所述图像采集设备逐列曝光的角速度为将所述图像采集设备的卷帘快门平移速度映射到空间获得的曝光角速度。
5.如权利要求1所述的融合感知同步曝光方法，其特征在于，所述曝光方式为全局快门曝光，所述控制雷达和图像采集设备采用相同的曝光方式，包括：
所述雷达为全局快门型雷达，所述图像采集设备为全局快门型图像采集设备，基于时间同步控制雷达和图像采集设备的曝光起止时刻以及曝光时间长度相同。
6.如权利要求1所述的融合感知同步曝光方法，其特征在于，所述曝光方式为区域曝光，所述控制雷达和图像采集设备采用相同的曝光方式，包括：
所述雷达通过旋转对指定区域进行顺序扫描，所述图像采集设备以卷帘快门的模式对指定区域进行顺序曝光，所述雷达逐列扫描的角速度与所述图像采集设备逐列曝光的角速度相同。
7.一种融合感知同步曝光装置，其特征在于，所述融合感知同步曝光装置，包括雷达、图像采集设备以及主控设备，所述主控设备包括存储器和处理器，所存储器中存储有计算机程序，所述处理器执行所述计算机程序以实现权利要求1～6任一项所述的融合感知同步曝光方法的步骤。
8.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～6任一项所述的融合感知同步曝光方法的步骤。
CN202110110993.8A 2021-01-26 2021-01-26 一种融合感知同步曝光方法、装置及可读存储介质 Active CN112953670B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110110993.8A CN112953670B (zh) 2021-01-26 2021-01-26 一种融合感知同步曝光方法、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110110993.8A CN112953670B (zh) 2021-01-26 2021-01-26 一种融合感知同步曝光方法、装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN112953670A true CN112953670A (zh) 2021-06-11
CN112953670B CN112953670B (zh) 2022-06-21

Family

ID=76237823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110110993.8A Active CN112953670B (zh) 2021-01-26 2021-01-26 一种融合感知同步曝光方法、装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN112953670B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113985389A (zh) * 2021-09-30 2022-01-28 苏州浪潮智能科技有限公司 一种时间同步校准装置、自动识别路径设备、方法及介质
CN114089373A (zh) * 2022-01-20 2022-02-25 探维科技(北京)有限公司 基于图像融合激光的雷达系统扫描方法及装置
CN114338951A (zh) * 2021-12-30 2022-04-12 智道网联科技(北京)有限公司 传感器同步方法、装置、系统及车辆

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277389A (zh) * 2017-08-09 2017-10-20 山东科技大学 基于fpga的摄影测量系统多相机动态同步曝光电路及方法
CN110753167A (zh) * 2019-11-13 2020-02-04 广州文远知行科技有限公司 时间同步方法、装置、终端设备及存储介质
CN110949395A (zh) * 2019-11-15 2020-04-03 江苏大学 一种基于多传感器融合的弯道acc目标车辆识别方法
KR102118125B1 (ko) * 2020-01-15 2020-06-09 주식회사 사라다 레이더와 카메라를 이용한 영상 관제 장치 및 방법
CN112230240A (zh) * 2020-09-30 2021-01-15 深兰人工智能(深圳)有限公司 激光雷达与相机数据的时空同步系统、装置及可读介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277389A (zh) * 2017-08-09 2017-10-20 山东科技大学 基于fpga的摄影测量系统多相机动态同步曝光电路及方法
CN110753167A (zh) * 2019-11-13 2020-02-04 广州文远知行科技有限公司 时间同步方法、装置、终端设备及存储介质
CN110949395A (zh) * 2019-11-15 2020-04-03 江苏大学 一种基于多传感器融合的弯道acc目标车辆识别方法
KR102118125B1 (ko) * 2020-01-15 2020-06-09 주식회사 사라다 레이더와 카메라를 이용한 영상 관제 장치 및 방법
CN112230240A (zh) * 2020-09-30 2021-01-15 深兰人工智能(深圳)有限公司 激光雷达与相机数据的时空同步系统、装置及可读介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
秦汉: "基于视觉和毫米波雷达融合的前方车辆检测算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113985389A (zh) * 2021-09-30 2022-01-28 苏州浪潮智能科技有限公司 一种时间同步校准装置、自动识别路径设备、方法及介质
CN113985389B (zh) * 2021-09-30 2024-02-09 苏州浪潮智能科技有限公司 一种时间同步校准装置、自动识别路径设备、方法及介质
CN114338951A (zh) * 2021-12-30 2022-04-12 智道网联科技(北京)有限公司 传感器同步方法、装置、系统及车辆
CN114089373A (zh) * 2022-01-20 2022-02-25 探维科技(北京)有限公司 基于图像融合激光的雷达系统扫描方法及装置
WO2023138697A1 (zh) * 2022-01-20 2023-07-27 探维科技(北京)有限公司 基于图像融合激光的雷达系统扫描方法及装置

Also Published As

Publication number Publication date
CN112953670B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN112953670B (zh) 一种融合感知同步曝光方法、装置及可读存储介质
TWI709943B (zh) 深度估計裝置、自動駕駛車輛及其深度估算方法
AU2019315355B2 (en) Hybrid time-of-flight and imager module
JP2022505772A (ja) 構造化光照明付き飛行時間型センサ
US11146776B2 (en) Device and method for three-dimensional laser imaging with longitudinal range
JP6850173B2 (ja) 電磁波検出装置、プログラム、および電磁波検出システム
WO2021135801A1 (zh) 用于扫描振镜的帧同步方法和激光雷达
WO2021095382A1 (ja) センシングデバイスおよび情報処理装置
CN113504547A (zh) 基于扫描光场的视觉雷达成像系统和方法
JP6894268B2 (ja) 電磁波検出装置、プログラム、および電磁波検出システム
JP6754706B2 (ja) 電磁波検出装置、プログラム、および情報取得システム
US20240027586A1 (en) Three-dimensional scanning ranging device and method
CN108152822B (zh) 激光雷达及激光雷达控制方法
CN111819602A (zh) 增加点云采样密度的方法、点云扫描系统、可读存储介质
CN117557999A (zh) 一种图像联合标注方法、计算机设备及介质
CN115825982B (zh) 一种下雨环境下无人机点云数据扫描实现方法和系统
CN112364741B (zh) 无人机单目远距离障碍检测方法、装置及无人机
CN115454040A (zh) 多传感器的同步控制方法、设备、无人驾驶系统和介质
CN110471070B (zh) 组合型探测系统及探测器件
WO2020184269A1 (ja) 測距センサ
CN112462384A (zh) 一种高分辨率固态面阵激光雷达系统、控制方法及装置
CN115499637B (zh) 一种具有雷达功能的摄像装置
WO2023141782A1 (zh) 激光雷达和激光雷达的控制方法
CN116165658B (zh) 一种隧道专用毫米波雷达控制方法及装置
JP2004354253A (ja) レーザレーダ装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant