CN114063111A - 图像融合激光的雷达探测系统及方法 - Google Patents

图像融合激光的雷达探测系统及方法 Download PDF

Info

Publication number
CN114063111A
CN114063111A CN202210040879.7A CN202210040879A CN114063111A CN 114063111 A CN114063111 A CN 114063111A CN 202210040879 A CN202210040879 A CN 202210040879A CN 114063111 A CN114063111 A CN 114063111A
Authority
CN
China
Prior art keywords
module
signal
detection module
image
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210040879.7A
Other languages
English (en)
Inventor
时菲菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tanway Technology Co ltd
Original Assignee
Tanway Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tanway Technology Co ltd filed Critical Tanway Technology Co ltd
Priority to CN202210040879.7A priority Critical patent/CN114063111A/zh
Priority to PCT/CN2022/073845 priority patent/WO2023133939A1/zh
Publication of CN114063111A publication Critical patent/CN114063111A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请涉及一种图像融合激光的雷达探测系统,该系统包括激光发射模组、分光模组、光电探测模组以及图像探测模组,所述光电探测模组和所述图像探测模组分设于所述分光模组的两侧;所述激光发射模组用于向待探测区域发射激光信号;所述分光模组用于将所述待探测区域中的物体反射的回波信号分束为第一信号和第二信号。本申请实施例提供的一种图像融合激光的雷达探测系统及方法,将光电探测模组和图像探测模组耦合到同一个雷达探测系统中,可以免去繁琐的位置转换关系,时间同步精度可以达到微秒级,进而无需增加额外算力即可完成图像和点云的目标识别及融合。

Description

图像融合激光的雷达探测系统及方法
技术领域
本申请涉及激光雷达技术领域,尤其涉及一种图像融合激光的雷达探测系统及方法。
背景技术
在目前的自动驾驶领域,激光雷达系统中的激光探测部件的横向分辨率较低,而图像传感器件对于获取二维图像,虽然横向分别率较高,但是不具备直接三维成像的能力。现有技术中,通常是在分别获取激光雷达点云数据和图像数据之后,将二者进行融合,但是基于图像处理算法的激光雷达点云数据与图像数据融合方法对激光雷达点云数据密度的要求较高,且算法复杂。
现有的激光雷达点云数据和图像数据融合的缺点在于相机和激光雷达是两个分立的设备,相机和激光雷达的空间位置不一致,则点云数据和图像数据在进行融合的时候需要进行繁琐而复杂的位置关系转换。其次,图像数据和点云数据很难做到时间同步。时间同步指统一的外部时钟源给各个传感器提供相同的基准时间,各个传感器再根据已经校准后的各自时间为各自采集的不同类别的数据加上时间戳信息,从而实现所有传感器时间戳同步。目前很多自动驾驶车辆的传感器系统,大部分支持携带全球定位系统(GlobalPositioning System,GPS)时间戳的时间同步方法。但时间同步依旧存在一些问题,例如由于各类传感器自采集周期不同,难以保证同一时刻不同类传感器采集到相同信息。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种图像融合激光的雷达探测系统,该系统包括激光发射模组、分光模组、光电探测模组以及图像探测模组,所述光电探测模组和所述图像探测模组分设于所述分光模组的两侧;
所述激光发射模组用于向待探测区域发射激光信号;
所述分光模组用于将所述待探测区域中的物体反射的回波信号分束为第一信号和第二信号;
所述光电探测模组用于接收第一信号,以便确定点云数据;
所述图像探测模组用于接收第二信号,以便确定图像数据;
所述分光模组用于发出所述第一信号至所述光电探测模组,以及在所述分光模组的同一位置发出所述第二信号至所述图像探测模组;
其中,所述激光发射模组与所述图像探测模组被同时触发而工作。
在一些实施例中,所述光电探测模组与所述图像探测模组沿所述分光模组接收回波信号的平面呈镜像对称设置。
在一些实施例中,所述光电探测模组到所述分光模组的透射反射面的距离与所述图像探测模组到所述分光模组的透射反射面的距离之间的距离差等于或小于5mm。
在一些实施例中,所述分光模组用于透过所述第一信号,且反射所述第二信号;或者,所述分光模组用于透过所述第二信号,且反射所述第一信号。
在一些实施例中,所述光电探测模组设置在对应于所述第一信号的一侧,所述图像探测模组设置在对应于所述第二信号的一侧。
在一些实施例中,所述回波信号包括所述待探测区域中的物体反射的激光信号和可见光信号;
所述第一信号为所述激光信号;所述第二信号为所述可见光信号。
在一些实施例中,所述激光发射模组用于向待探测区域发射线激光信号;所述光电探测模组以及所述图像探测模组均为线阵探测器。
在一些实施例中,还包括聚焦透镜组,所述聚焦透镜组设置在所述分光模组前,用于将聚焦之后的回波信号照射到所述分光模组上。
在一些实施例中,所述分光模组包括二向色镜;所述二向色镜与所述回波信号的光轴之间的夹角R满足:
40°≤R≤50°。
本申请实施例还提供一种本申请实施例所述的系统的探测方法,该方法包括:
同时触发所述激光发射模组和所述图像探测模组;
基于所述光电探测模组接收第一信号;
基于所述图像探测模组接收第二信号;
基于所述第一信号和所述第二信号,进行点云数据和图像数据的融合。
本申请实施例提供的技术方案与现有技术相比具有如下优点:
本申请实施例提供的一种图像融合激光的雷达探测系统及方法,将光电探测模组和图像探测模组耦合到同一个雷达探测系统中,可以免去繁琐的位置转换关系,时间同步精度可以达到微秒级,进而无需增加额外算力即可完成图像和点云的目标识别及融合。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像融合激光的雷达探测系统的一种结构示意图;
图2为图1所示的图像融合激光的雷达探测系统的在另一视角下的结构示意图;
图3为本申请实施例提供的图像融合激光的雷达探测系统的另一种结构示意图;
图4为图3所示的图像融合激光的雷达探测系统的在另一视角下的结构示意图;
图5为本申请实施例提供的图像融合激光的雷达探测系统的另一种结构示意图;
图6为可见光45度二向色镜的光谱透过率曲线;
图7为本申请实施例提供的一种探测方法;
图8为现有技术中时间同步方法与本申请实施例提供的同步方法的对比示意图;
图9为本申请实施例提供的图像融合激光的效果示意图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点,下面将对本申请的方案进行进一步描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请,但本申请还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本申请的一部分实施例,而不是全部的实施例。
本申请实施例提供了一种图像融合激光的雷达探测系统,如图1和图2所示,图1为本申请实施例提供的图像融合激光的雷达探测系统的一种结构示意图,图2为图1所示的图像融合激光的雷达探测系统的在另一视角下的结构示意图。在图1和图2中,该系统包括激光发射模组1、分光模组2、光电探测模组3以及图像探测模组4,光电探测模组3和图像探测模组4分设于分光模组2的两侧。定义分光模组2指向光电探测模组3的方向为x方向,回波信号的光轴的延伸方向为z方向,与x方向和z方向均垂直的方向定义为y方向。激光发射模组1用于向待探测区域发射激光信号,待探测区域中的物体反射的信号为回波信号,分光模组2用于将待探测区域中的物体反射的回波信号分束为第一信号和第二信号。分光模组2将第一信号发射到光电探测模组3,光电探测模组3用于接收第一信号,以便确定点云数据。分光模组2将第二信号发射到图像探测模组4,图像探测模组4用于接收第二信号,以便确定图像数据。并且,分光模组2用于发出第一信号至光电探测模组3,以及在分光模组2的同一位置发出第二信号至图像探测模组4。其中,激光发射模组1与图像探测模组4被同时触发而工作。
本申请实施例提供的一种图像融合激光的雷达探测系统,将光电探测模组和图像探测模组耦合到同一个系统中,可以免去繁琐的位置转换关系,时间同步精度可以达到微秒级,进而无需增加额外算力即可完成图像和点云的目标识别及融合。其中,激光发射模组与图像探测模组被同时触发而工作,这样能够实现点云数据与图像数据获取层面的时间对准,并且由于光电探测模组与图像探测模组耦合到同一个雷达探测系统中,能够很容易的实现激光发射模组与图像探测模组被同时触发,且保证了同一时刻激光和图像测到同一个物体。这样可以得到带有时间戳或时间序列顺序的结构化点云数据和图像数据,进而实现点云数据和图像数据的时间同步。
在一些实施例中,光电探测模组与图像探测模组沿分光模组接收回波信号的平面呈镜像对称设置。分光模组接收回波信号的结构是平面结构,光电探测模组与图像探测模组分设在分光模组接收回波信号的平面的两侧,且沿着该平面呈镜像对称设置。如图1所示,在xz平面上,光电探测模组3与图像探测模组4沿着分光模组2接收回波信号的平面镜像对称设置。
在一些实施例中,光电探测模组3到分光模组2的透射反射面的距离与图像探测模组4到分光模组2的透射反射面的距离之间的距离差等于或小于5mm。即分光模组2的透射反射面上的任意位置到达光电探测模组3的距离,与分光模组2上同一位置到达图像探测模组4的距离差等于或小于5mm。
本申请实施例提供的图像融合激光的雷达探测系统,能够实现图像探测模组与光电探测模组的空间同步,该空间同步是指将基于不同探测模组坐标系的测量值转换到同一个坐标系下,比如要实现雷达点云数据和图像数据的融合,需要建立精确的三维世界坐标系、雷达坐标系、相机坐标系、图像坐标系以及像素坐标系之间的坐标转换关系。在本申请实施例提供的系统中,通过光学系统设计,光电探测模组与图像探测模组沿分光模组接收回波信号的平面呈镜像对称设置,通过光路设计保证了光电探测模组与图像探测模组在空间上的镜像对称关系,相应的光电探测模组的坐标系和图像探测模组的坐标系只需进行正负的变化就可以融合在同一坐标系中,大大的减小了雷达点云数据与图像数据融合的复杂度。并可以通过机械加工精度,保证光电探测模组与图像探测模组的位置精度为±0.1mm。因此本申请的图像融合激光的雷达探测系统通过硬件已经将光电探测模组的坐标系和图像探测模组的坐标系融合在同一坐标系,故无需进行复杂的坐标转换就已经实现空间同步。
在一些实施例中,如图1所示,分光模组2用于透过第二信号,且反射第一信号。分光模组2透过的第二信号由图像探测模组4接收,分光模组2反射的第一信号由光电探测模组3接收。其中,光电探测模组设置在对应于第一信号的一侧,图像探测模组设置在对应于第二信号的一侧。这样可以方便各个探测模组接收相应的信号,使得整个雷达探测系统的结构设计更为简单。
在一些实施例中,该回波信号包括待探测区域中的物体反射的激光信号和可见光信号。第一信号为激光信号,第二信号为可见光信号。图像探测模组接收该可见光信号,将该可见光信号确定为图像数据。光电探测模组接收该激光信号,将该激光信号确定为点云数据。
以上仅为本申请实施例提供的一种实施方式,本申请的实施方式还可以如图3和图4所示,图3为本申请实施例提供的图像融合激光的雷达探测系统的另一种结构示意图;图4为图3所示的图像融合激光的雷达探测系统的在另一视角下的结构示意图。该系统包括激光发射模组1、分光模组2、光电探测模组3以及图像探测模组4,光电探测模组3和图像探测模组4分设于分光模组2的两侧。定义分光模组2指向光电探测模组3的方向为x方向,回波信号的光轴的延伸方向为z方向,与x方向和z方向均垂直的方向定义为y方向。激光发射模组1用于向待探测区域发射激光信号,待探测区域中的物体反射的信号为回波信号,分光模组2用于将待探测区域中的物体反射的回波信号分束为第一信号和第二信号。分光模组2用于透过第一信号,且反射第二信号。
分光模组2将第一信号发射到光电探测模组3,光电探测模组3用于接收第一信号,以便确定点云数据。分光模组2将第二信号发射到图像探测模组4,图像探测模组4用于接收第二信号,以便确定图像数据。并且,分光模组2用于发出第一信号至光电探测模组3,以及在分光模组2的同一位置发出第二信号至图像探测模组4。其中,激光发射模组1与图像探测模组4被同时触发而工作。
本申请实施例提供的一种图像融合激光的雷达探测系统,可以免去繁琐的位置转换关系,时间同步精度可以达到微秒级,严格实现像素级别空间同步、时间同步融合,同时无需增加额外算力即可完成图像和点云的目标识别及融合。
其中,激光发射模组1与图像探测模组4被同时触发而工作,这样能够实现点云数据与图像数据获取层面的时间对准,同时,由于光电探测模组与图像探测模组耦合到同一个雷达探测系统中,能够实现激光发射模组1与图像探测模组4能够被同时触发。且保证了同一时刻激光和图像测到同一个物体。这样可以得到带有时间戳或时间序列顺序的结构化点云数据和图像数据,进而实现点云数据和图像数据的时间同步。
在一些实施例中,光电探测模组与图像探测模组沿分光模组接收回波信号的平面呈镜像对称设置。分光模组接收回波信号的结构是平面结构,光电探测模组与图像探测模组分设在分光模组接收回波信号的平面的两侧,且沿着该平面呈镜像对称设置。如图3所示,在xz平面上,光电探测模组3与图像探测模组4沿着分光模组2接收回波信号的平面镜像对称设置。
在一些实施例中,光电探测模组3到分光模组2的透射反射面的距离与图像探测模组4到分光模组2的透射反射面的距离之间的距离差等于或小于5mm。即分光模组2的透射反射面上的任意位置到达光电探测模组3的距离,与分光模组2上同一位置到达图像探测模组4的距离差等于或小于5mm。
本申请实施例提供的图像融合激光的雷达探测系统,能够实现图像探测模组与光电探测模组的空间同步,该空间同步是指将基于不同探测模组坐标系的测量值转换到同一个坐标系下,比如要实现雷达点云数据和图像数据的融合,需要建立精确的三维世界坐标系、雷达坐标系、相机坐标系、图像坐标系以及像素坐标系之间的坐标转换关系。在本申请实施例提供的系统中,通过光学系统设计,光电探测模组与图像探测模组沿分光模组接收回波信号的平面呈镜像对称设置,通过光路设计保证了光电探测模组与图像探测模组在空间上的镜像对称关系,相应的光电探测模组的坐标系和图像探测模组的坐标系只需进行正负的变化就可以融合在同一坐标系中,大大的减小了雷达点云数据与图像数据融合的复杂度。并可以通过机械加工精度,保证光电探测模组与图像探测模组的位置精度为±0.1mm。因此本申请的图像融合激光的雷达探测系统通过硬件已经将光电探测模组的坐标系和图像探测模组的坐标系融合在同一坐标系,故无需进行复杂的坐标转换就已经实现空间同步。
在一些实施例中,该回波信号包括待探测区域中的物体反射的激光信号和可见光信号。第一信号为激光信号,第二信号为可见光信号。图像探测模组接收该可见光信号,将该可见光信号确定为图像数据。光电探测模组接收该激光信号,将该激光信号确定为点云数据。
在一些实施例中,激光发射模组用于向待探测区域发射线激光信号;光电探测模组以及图像探测模组均为线阵探测器。
在一些实施例中,激光发射模组发射的激光信号经过光束整形后形成线激光信号。待探测区域中的物体反射的激光回波信号为对应的线激光信号。其中,分光模组用于将待探测区域中的物体反射的包括线激光信号的回波信号分束为第一信号和第二信号,该第一信号和第二信号分别被光电探测模组和图像探测模组接收。其中,点云数据是通过光电探测模组逐列接收第一信号得到的,图像数据是通过图像探测模组逐列接收第二信号得出的,且每列的点云数据与每列的图像数据在扫描时序上一一对应,由此,能够实现激光可见光在硬件上的同步扫描,便于获取到的点云数据与图像数据在进行融合的时候,流程简单,容易操作,且精确度高。
在一些实施例中,该图像融合激光的雷达探测系统还包括聚焦透镜组5,如图1至图4所示,该聚焦透镜组5设置在分光模组2之前,用于将聚焦之后的回波信号照射到分光模组2上。激光发射模组1向待探测区域发射激光信号后,待探测区域中的物体反射该激光信号为回波信号,该回波信号经过聚焦透镜组5聚焦之后照射到分光模组2上。其中,该聚焦透镜组5包括多个聚焦透镜,聚焦透镜设置的数量以实际图像融合激光的雷达探测系统的光学设计进行设定,本申请对此不限定。
在一些实施例中,如图5所示,图5为本申请实施例提供的图像融合激光的雷达探测系统的另一种结构示意图,在图5中,回波信号由聚焦透镜组5聚焦后照射到分光模组2上,分光模组2将该回波信号分束为第一信号和第二信号,其中,第一信号发送到光电探测模组3,第二信号发送到图像探测模组4。光电探测模组3与图像探测模组4沿分光模组2接收回波信号的平面呈镜像对称设置。这样可以无需进行复杂的坐标转换就能够实现光电探测模组的坐标系和图像探测模组的坐标系的空间同步,很容易就将光电探测模组的坐标系和图像探测模组的坐标系融合在同一坐标系。
在一些实施例中,分光模组包括二向色镜,如图1所示,该二向色镜与回波信号的光轴之间的夹角R满足:40°≤R≤50°。
在一些实施例中,该二向色镜与回波信号的光轴之间的夹角R为45°,当二向色镜与回波信号的光轴之间的夹角R为45°时,更加利于整个图像融合激光的雷达探测系统中各个器件设置位置的布局。例如,该二向色镜可以选用45°可见光冷镜。如图6所示,图6为可见光45度二向色镜的光谱透过率曲线,从图6可以看出,该45度可见光二向色镜能够将400nm-600nm波段的可见光反射,将800nm-1300nm波段的激光透射。因此,可以满足图像融合激光的需求,即能够实现反射可见光透射激光。
在一些实施例中,激光发射模组与光电探测模组沿着回波信号的光轴平行设置。
在一些实施例中,该图像融合激光的雷达探测系统例如包括扫描模组,该扫描模组包括转镜和电机,电机能够控制转镜旋转扫描激光信号。该扫描模组设置在激光发射模组靠近待探测区域中的物体的一侧。
在一些实施例中,该激光发射模组包括激光器和准直镜,激光器用于发射激光信号,准直镜将激光信号准直成线光束后照射到转镜上,由转镜反射,再结合转镜扫描,以扫描待探测区域。
在一些实施例中,该光电探测模组例如可以是雪崩光电二极管探测器,硅光电倍增管探测器,单光子雪崩二极管探测器,光电二极管探测器等。
在一些实施例中,该图像探测模组例如可以是电荷耦合器件(Charge-coupledDevice, CCD)或者互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)。
本申请实施例还提供一种图像融合激光的雷达探测方法,该方法由本申请实施例提供的图像融合激光的雷达探测系统执行,如图7所示,图7为本申请实施例提供的一种探测方法,该方法包括:
步骤701:同时触发所述激光发射模组和所述图像探测模组。
在图像融合激光的雷达探测系统中,同时触发激光发射模组和图像探测模组。这样能够实现点云数据与图像数据获取层面的时间对准,并且由于光电探测模组与图像探测模组耦合到同一个雷达探测系统中,能够实现激光发射模组1与图像探测模组4能够被同时触发,且保证了同一时刻激光和图像测到同一个物体。这样可以得到带有时间戳或时间序列顺序的结构化点云数据和图像数据,进而实现点云数据和图像数据的时间同步。
步骤702:基于所述光电探测模组接收第一信号,基于所述图像探测模组接收第二信号。
激光发射模组向待探测区域发射激光信号,待探测区域中的物体反射的信号为回波信号,该回波信号照射到分光模组上,分光模组将回波信号分束为第一信号和第二信号。分光模组将第一信号发射到光电探测模组,光电探测模组用于接收第一信号。分光模组将第二信号发射到图像探测模组,图像探测模组用于接收第二信号。
步骤703:基于所述第一信号和所述第二信号,进行点云数据和图像数据的融合。
该图像融合激光的雷达探测系统基于第一信号和第二信号,进行点云数据和图像数据的融合。
本申请实施例提供的一种图像融合激光的雷达探测方法,基于光电探测模组和图像探测模组耦合到同一个系统中的雷达探测系统,可以免去繁琐的位置转换关系,时间同步精度可以达到微秒级,严格实现像素级别空间同步、时间同步融合,同时无需增加额外算力即可完成图像和点云的目标识别及融合。
图8为现有技术中时间同步方法与本申请实施例提供的同步方法的对比示意图;从图8可以看出,现有技术中时间同步方法为:硬件分别触发雷达发送模组和图像探测模组,随即激光模拟前端和图像模拟前端分别获得点云数据和图像数据,再分别经激光信号处理模块和图像信号处理模块,得到带有时间戳的点云数据和图像数据。这些数据再经路由器或者交换机传输至上位机,经感知和融合处理算法处理实现点云和图像的融合。而本申请实施例提供的同步方法为:由外部时钟源同时触发雷达发射模组和图像探测模组,实现数据获取层面时间对准,同时,由于图像融合激光的雷达探测系统设计和机械加工精度保证了点云数据与图像数据的测量值在同一个坐标系下,且保证了同一时刻激光和图像测到同一个物体。这样,激光模拟前端和图像模拟前端分别得到的点云数据和图像数据再分别经过对应的信号处理模块,得到带有时间戳或时间序列顺序的结构化点云和图像数据,进而实现点云和图像的时间同步。本申请实施例提供的时间同步方法,流程简单,容易操作,且精确度高。
该图像融合激光的雷达探测系统基于第一信号和第二信号,进行点云数据和图像数据的融合后的效果图,如图9所示,图9为本申请实施例提供的图像融合激光的效果示意图。在图9中,点云数据实际中是彩色的马赛克式样的图像(图中未示出),该彩色图像中的不同颜色代表不同的距离。融合效果中的马赛克式样的图像就是融合到图像数据中的点云数据。从融合效果可以看出,点云数据和图像数据之间的关系一一对应,即空间同步效果较好。对比融合效果图像和图像数据,可以看出两者的图像没有出现模糊或者错位的情况,说明物体棱角和点云数据探测的边界完全重合,且没有错位,这样说明该图像融合激光的雷达探测方法进行的点云数据和图像数据的融合效果极佳,且时间同步效果好。
以上对本申请实施例所提供的一种图像融合激光的雷达探测系统及方法进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像融合激光的雷达探测系统,其特征在于,包括激光发射模组、分光模组、光电探测模组以及图像探测模组,所述光电探测模组和所述图像探测模组分设于所述分光模组的两侧;
所述激光发射模组用于向待探测区域发射激光信号;
所述分光模组用于将所述待探测区域中的物体反射的回波信号分束为第一信号和第二信号;
所述光电探测模组用于接收第一信号,以便确定点云数据;
所述图像探测模组用于接收第二信号,以便确定图像数据;
所述分光模组用于发出所述第一信号至所述光电探测模组,以及在所述分光模组的同一位置发出所述第二信号至所述图像探测模组;
其中,所述激光发射模组与所述图像探测模组被同时触发而工作。
2.根据权利要求1所述的系统,其特征在于,所述光电探测模组与所述图像探测模组沿所述分光模组接收回波信号的平面呈镜像对称设置。
3.根据权利要求2所述的系统,其特征在于,所述光电探测模组到所述分光模组的透射反射面的距离与所述图像探测模组到所述分光模组的透射反射面的距离之间的距离差等于或小于5mm。
4.根据权利要求1所述的系统,其特征在于,所述分光模组用于透过所述第一信号,且反射所述第二信号;或者,所述分光模组用于透过所述第二信号,且反射所述第一信号。
5.根据权利要求4所述的系统,其特征在于,所述光电探测模组设置在对应于所述第一信号的一侧,所述图像探测模组设置在对应于所述第二信号的一侧。
6.根据权利要求5所述的系统,其特征在于,所述回波信号包括所述待探测区域中的物体反射的激光信号和可见光信号;
所述第一信号为所述激光信号;所述第二信号为所述可见光信号。
7.根据权利要求1所述的系统,其特征在于,所述激光发射模组用于向待探测区域发射线激光信号;所述光电探测模组以及所述图像探测模组均为线阵探测器。
8.根据权利要求1所述的系统,其特征在于,还包括聚焦透镜组,所述聚焦透镜组设置在所述分光模组前,用于将聚焦之后的回波信号照射到所述分光模组上。
9.根据权利要求1所述的系统,其特征在于,所述分光模组包括二向色镜;所述二向色镜与所述回波信号的光轴之间的夹角R满足:
40°≤R≤50°。
10.一种针对权利要求1-9任一项所述的系统的探测方法,其特征在于,包括:
同时触发所述激光发射模组和所述图像探测模组;
基于所述光电探测模组接收第一信号;
基于所述图像探测模组接收第二信号;
基于所述第一信号和所述第二信号,进行点云数据和图像数据的融合。
CN202210040879.7A 2022-01-14 2022-01-14 图像融合激光的雷达探测系统及方法 Pending CN114063111A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210040879.7A CN114063111A (zh) 2022-01-14 2022-01-14 图像融合激光的雷达探测系统及方法
PCT/CN2022/073845 WO2023133939A1 (zh) 2022-01-14 2022-01-25 图像融合激光的雷达探测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210040879.7A CN114063111A (zh) 2022-01-14 2022-01-14 图像融合激光的雷达探测系统及方法

Publications (1)

Publication Number Publication Date
CN114063111A true CN114063111A (zh) 2022-02-18

Family

ID=80230843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210040879.7A Pending CN114063111A (zh) 2022-01-14 2022-01-14 图像融合激光的雷达探测系统及方法

Country Status (2)

Country Link
CN (1) CN114063111A (zh)
WO (1) WO2023133939A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115902818A (zh) * 2023-02-21 2023-04-04 探维科技(北京)有限公司 图像融合激光的信号探测系统、雷达系统及其探测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034109A (zh) * 2012-12-13 2013-04-10 浙江科技学院 双ccd镜像重叠调节及单曝光同轴数字全息记录装置
CN107024763A (zh) * 2017-05-16 2017-08-08 广东欧谱曼迪科技有限公司 一种双通道结构光数字相衬显微成像系统及其实现方法
CN107045208A (zh) * 2017-05-02 2017-08-15 浙江红谱科技有限公司 红外和夜视仪的光学图像融合系统及方法
CN107219533A (zh) * 2017-08-04 2017-09-29 清华大学 激光雷达点云与图像融合式探测系统
CN109429001A (zh) * 2017-08-25 2019-03-05 杭州海康威视数字技术股份有限公司 图像采集方法、装置、电子设备以及计算机可读存储介质
CN112912766A (zh) * 2021-02-02 2021-06-04 华为技术有限公司 一种探测装置、控制方法、融合探测系统及终端

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103471715B (zh) * 2013-09-02 2015-09-09 北京航空航天大学 一种共光路组合式光场光谱成像方法及装置
CN104483676B (zh) * 2014-12-04 2017-08-11 北京理工大学 一种3d/2d非扫描激光雷达复合成像装置
JP2022036339A (ja) * 2018-10-12 2022-03-08 ソニーセミコンダクタソリューションズ株式会社 センサフュージョンシステム、同期制御装置、及び同期制御方法
CN111289995A (zh) * 2018-11-21 2020-06-16 北京万集科技股份有限公司 三维激光雷达装置及系统
CN110764070A (zh) * 2019-10-29 2020-02-07 北科天绘(合肥)激光技术有限公司 基于三维数据与图像数据的数据实时融合处理方法、装置
CN113447947A (zh) * 2020-03-26 2021-09-28 杭州海康威视数字技术股份有限公司 生成场景数据的装置及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034109A (zh) * 2012-12-13 2013-04-10 浙江科技学院 双ccd镜像重叠调节及单曝光同轴数字全息记录装置
CN107045208A (zh) * 2017-05-02 2017-08-15 浙江红谱科技有限公司 红外和夜视仪的光学图像融合系统及方法
CN107024763A (zh) * 2017-05-16 2017-08-08 广东欧谱曼迪科技有限公司 一种双通道结构光数字相衬显微成像系统及其实现方法
CN107219533A (zh) * 2017-08-04 2017-09-29 清华大学 激光雷达点云与图像融合式探测系统
CN109429001A (zh) * 2017-08-25 2019-03-05 杭州海康威视数字技术股份有限公司 图像采集方法、装置、电子设备以及计算机可读存储介质
CN112912766A (zh) * 2021-02-02 2021-06-04 华为技术有限公司 一种探测装置、控制方法、融合探测系统及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩友美: "《车载移动测量系统检校理论与方法》", 30 June 2014 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115902818A (zh) * 2023-02-21 2023-04-04 探维科技(北京)有限公司 图像融合激光的信号探测系统、雷达系统及其探测方法

Also Published As

Publication number Publication date
WO2023133939A1 (zh) 2023-07-20

Similar Documents

Publication Publication Date Title
US10473768B2 (en) Lidar system
US10330780B2 (en) LIDAR based 3-D imaging with structured light and integrated illumination and detection
CN107219533B (zh) 激光雷达点云与图像融合式探测系统
AU2007251977B2 (en) Distance measuring method and distance measuring element for detecting the spatial dimension of a target
US20230168348A1 (en) Lidar signal acquisition
CN101846745B (zh) 基于强关联量子成像原理的激光雷达
CN108375762B (zh) 激光雷达及其工作方法
CN102947726A (zh) 扫描3d成像仪
US11269065B2 (en) Muilti-detector with interleaved photodetector arrays and analog readout circuits for lidar receiver
CN110471083B (zh) 一种纵向距离的激光三维成像装置及方法
JPH095050A (ja) 三次元画像計測装置
US8547531B2 (en) Imaging device
CN114063111A (zh) 图像融合激光的雷达探测系统及方法
CN114137553B (zh) 一种图像融合激光的雷达调光方法及系统
CN108885260B (zh) 具有单轴扫描的渡越时间探测器
JP2019129510A (ja) 電磁波検出装置および情報取得システム
CN201819989U (zh) 一种基于强关联量子成像原理的激光雷达
CN109470144B (zh) 线扫描高分辨力立体视觉测量系统与方法
CN115902818A (zh) 图像融合激光的信号探测系统、雷达系统及其探测方法
WO2023193408A1 (zh) 激光雷达及激光雷达控制方法
CN216211121U (zh) 深度信息测量装置以及电子设备
CN109596063B (zh) 多波长高分辨力立体视觉测量装置与方法
US20220283307A1 (en) Depth sensor calibration using internal reflections
CN114371469A (zh) 可实现激光雷达点云与图像融合的系统
CN113822875A (zh) 深度信息测量装置、全场景避障方法以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination