CN111965626B - 用于激光雷达的回波检测校正方法及装置、环境感知系统 - Google Patents

用于激光雷达的回波检测校正方法及装置、环境感知系统 Download PDF

Info

Publication number
CN111965626B
CN111965626B CN202010802855.1A CN202010802855A CN111965626B CN 111965626 B CN111965626 B CN 111965626B CN 202010802855 A CN202010802855 A CN 202010802855A CN 111965626 B CN111965626 B CN 111965626B
Authority
CN
China
Prior art keywords
image
echo detection
image area
laser radar
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010802855.1A
Other languages
English (en)
Other versions
CN111965626A (zh
Inventor
张程
向少卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hesai Technology Co Ltd
Original Assignee
Hesai Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hesai Technology Co Ltd filed Critical Hesai Technology Co Ltd
Priority to CN202010802855.1A priority Critical patent/CN111965626B/zh
Publication of CN111965626A publication Critical patent/CN111965626A/zh
Application granted granted Critical
Publication of CN111965626B publication Critical patent/CN111965626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

用于激光雷达的回波检测校正方法及装置、环境感知系统，所述回波检测校正方法包括：获取所述激光雷达生成的点云数据；获取所述点云数据对应的图像；基于所述图像中各像素的像素数据，确定所述图像中符合预设条件的图像区域；获取所述图像区域对应的点数据集合；基于所述图像区域的像素数据，调整所述激光雷达中与所述点数据集合对应的接收通道的回波检测阈值。采用上述方案，能够提升激光雷达的回波检测准确性，有效保障激光雷达生成的点云数据的质量。

Description

用于激光雷达的回波检测校正方法及装置、环境感知系统
技术领域
本发明涉及激光雷达领域，尤其涉及一种用于激光雷达的回波检测校正方法及其装置、环境感知系统。
背景技术
目前，激光雷达通过向外界物体发射的探测信号以及物体反射回来的回波信号，可以计算物体的物理信息，如距离信息、方位信息、高度信息、速度信息、姿态信息等，这些物理信息形成三维空间的点数据，大量的点数据进行处理后可以得到点云数据，进而可用于参数测量和运动跟踪等应用领域。
然而，在实际应用中，激光雷达接收的信号除了物体反射的回波信号外，还可能包括各种干扰噪声信号，例如，其他电子设备干扰噪声信号、激光雷达本身形成的干扰噪声信号、外界环境光带来的干扰噪声信号等。
为了可以从接收到的复杂的信号中检测出回波信号，现有的激光雷达可以通过设置一个或多个检测阈值对接收的信号进行滤波。然而，阈值设置过高，可能遗漏信号强度较弱的回波信号，导致遗漏相应的点数据；阈值设置过低，可能将干扰噪声信号当成回波信号，造成产生的点数据错误。
因此，激光雷达的回波检测的准确性会影响到点云数据的质量，如何优化回波检测技术成为了本领域技术人员亟待解决的问题。
发明内容
有鉴于此，本发明提供一种用于激光雷达的回波检测校正方法及其装置、环境感知系统，能够提升激光雷达的回波检测准确性，进而有效保障激光雷达生成的点云数据的质量。
本发明提供了一种用于激光雷达的回波检测校正方法，包括：
获取所述激光雷达生成的点云数据；
获取所述点云数据对应的图像；
基于所述图像中各像素的像素数据，确定所述图像中符合预设条件的图像区域；
获取所述图像区域对应的点数据集合；
基于所述图像区域的像素数据，调整所述激光雷达中与所述点数据集合对应的接收通道的回波检测阈值。
可选地，所述基于所述图像中各像素的像素数据，确定所述图像中符合预设条件的图像区域，包括以下至少一种：
基于所述图像中各像素的像素数据，筛选出所述图像中符合预设的第一亮度条件的像素，得到所述图像中的过饱和图像区域；
基于所述图像中各像素的像素数据，筛选出所述图像中符合预设的第二亮度条件的像素，得到所述图像中的欠饱和图像区域。
可选地，所述基于所述图像区域的像素数据，调整所述激光雷达中与所述点数据集合对应的接收通道的回波检测阈值，包括以下至少一种：
对于所述过饱和图像区域，根据对应的点数据集合选取所述激光雷达的接收通道，并增大所选取的接收通道的回波检测阈值；
对于所述欠饱和图像区域，根据对应的点数据集合选取所述激光雷达的接收通道，并减小所选取的接收通道的回波检测阈值。
可选地，所述基于所述图像区域的像素数据，调整所述激光雷达中与所述点数据集合对应的接收通道的回波检测阈值，包括：
基于所述图像区域的像素数据，识别所述图像区域中的物体；
基于所述物体对应的点数据集合，获取所述物体的距离信息和反射率信息；
基于所述物体的距离信息和反射率信息，调整所述激光雷达中对应的接收通道的回波检测阈值。
可选地，所述用于激光雷达的回波检测校正方法还包括：
获取所述过饱和图像区域对应的点数据集合的回波信号的强度值，并确定调整后的回波检测阈值小于或等于所述回波信号的强度值。
可选地，所述用于激光雷达的回波检测校正方法还包括：
获取所述过饱和图像区域对应采集的干扰噪声信号的强度值，并确定调整后的回波检测阈值大于所述干扰噪声信号的强度值。
可选地，在所述获取所述点云数据对应的图像之前，还包括：
将所述图像所在坐标系和所述点云数据所在坐标系进行联合标定，建立坐标转换关系，以用于获取所述点云数据对应的图像，以及将所述图像区域与所述点云数据进行匹配。
本发明还提供了一种用于激光雷达的回波检测校正装置，包括：
点云数据获取单元，适于获取所述激光雷达生成的点云数据；
图像数据获取单元，适于获取所述点云数据对应的图像；
图像区域确定单元，适于根据所述图像中各像素的像素数据，确定所述图像中符合预设条件的图像区域；
点数据集合确定单元，适于获取所述图像区域对应的点数据集合；
回波检测阈值调整单元，适于根据所述图像区域的像素数据，调整所述激光雷达中与所述点数据集合对应的接收通道的回波检测阈值。
可选地，所述图像区域确定单元包括以下至少一种：
过饱和图像区域确定子单元，适于根据所述图像中各像素的像素数据，筛选出所述图像中符合预设的第一亮度条件的像素，得到所述图像中的过饱和图像区域；
欠饱和图像区域确定子单元，适于根据所述图像中各像素的像素数据，筛选出所述图像中符合预设的第二亮度条件的像素，得到所述图像中的欠饱和图像区域。
可选地，所述回波检测阈值调整单元包括以下至少一种：
过饱和图像区域调整子单元，适于根据所述过饱和图像区域对应的点数据集合，选取所述激光雷达的接收通道，并增大所选取的接收通道的回波检测阈值；
欠饱和图像区域调整子单元，适于根据所述欠饱和图像区域对应的点数据集合，选取所述激光雷达的接收通道，并减小所选取的接收通道的回波检测阈值。
可选地，所述用于激光雷达的回波检测校正装置还包括：
坐标转换关系建立单元，适于将所述图像所在坐标系和所述点云数据所在坐标系进行联合标定，建立坐标转换关系；
所述图像数据获取单元，适于根据所述坐标转换关系，获取所述点云数据对应采集的图像；
所述点数据集合确定单元，适于根据所述坐标转换关系，将所述图像区域与所述点云数据进行匹配，并获取所述点云数据中匹配的点数据，得到所述图像区域对应的点数据集合。
本发明还提供了一种环境感知系统，包括：
图像采集装置，适于采集图像；
激光雷达，适于生成点云数据；
回波检测校正装置，所述回波检测校正装置适于根据获取到的图像和点云数据，调整所述激光雷达中对应的接收通道的回波检测阈值。
可选地，所述图像采集装置包括数字式相机、红外相机、热成像相机中至少一种。
由于激光雷达的回波检测准确性会影响到点云数据的质量，因此，采用本发明的回波检测校正方法，对于激光雷达，确定采集的图像中符合预设条件的图像区域后，可以获取与所述图像区域相匹配的点数据集合，并基于所述图像区域的像素数据，调整所述点数据集合对应的接收通道的回波检测阈值。由此，将采集的图像作为回波检测的反馈控制信息，根据图像区域和相匹配的点数据集合，能够确定需要调整回波检测阈值的接收通道，从而实时调整对应的接收通道的回波检测阈值，使得各接收通道的回波检测阈值能够动态变化，提升激光雷达的回波检测准确性，进而有效保障激光雷达生成的点云数据的质量。
进一步地，基于所述图像中各像素的像素数据，可以筛选出所述图像中符合预设的第一亮度条件的像素，从而得到过饱和图像区域；基于所述图像中各像素的像素数据，可以筛选出所述图像中符合预设的第二亮度条件的像素，从而得到欠饱和图像区域。采用上述方案，根据预设条件获得像素过饱和的图像区域和/或像素欠饱和的图像区域，从而针对图像过饱和的情况和/或欠饱和的情况，确定对应接收通道的回波检测阈值的调整幅度，进而实时调整对应接收通道的回波检测阈值，提高激光雷达对于过饱和图像区域和/或欠饱和图像区域的回波检测准确性。
进一步地，对于所述过饱和图像区域，根据对应的点数据集合能够确定接收通道，进而增大所述接收通道的回波检测阈值，由此，能够减少或滤除过饱和图像区域对应的高强度环境光产生的干扰噪声信号；对于所述欠饱和图像区域，根据对应的点数据集合能够确定接收通道，进而减小所述接收通道的回波检测阈值，从而提升检测欠饱和图像区域的回波信号的能力。
进一步地，在基于所述图像区域的像素数据，识别所述图像区域中的物体后，根据所述图像区域对应的点数据集合，获取所述物体的距离信息和反射率信息，从而调整对应的接收通道的回波检测阈值，由此，对于不同距离和反射率的物体，能够确定对应接收通道的回波检测阈值的调整幅度，并可以分别将对应接收通道的回波检测阈值的进行调整，进而可以有效避免距离较近和反射率较高的物体产生的强回波信号，使接收通道饱和，以及可以提升检测距离较远物体反射的回波信号的能力。
采用本发明的环境感知方法，回波检测校正装置适于根据图像采集装置采集的图像，调整所述回波检测装置的接收通道的回波检测阈值。由此，采用上述方案，通过图像采集装置采集的图像，回波检测校正装置可以对激光雷达进行回波检测校正，从而使图像采集装置能够辅助激光雷达对其点云数据进行校正，提升激光雷达的回波检测准确性，实现图像采集装置和激光雷达的数据互通，达到多传感器联合运作的效果。
附图说明
为了更清楚地说明本发明的技术方案，下面将对本发明或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中一种用于激光雷达的回波检测校正方法的流程图；
图2是本发明实施例中一种回波检测阈值调整方法的流程图；
图3是本发明实施例中另一种用于激光雷达的回波检测校正方法的流程图；
图4是本发明实施例中另一种用于激光雷达的回波检测校正方法的流程图；
图5是本发明实施例中一种用于激光雷达的回波检测校正装置的结构框图；
图6是本发明实施例中另一种用于激光雷达的回波检测校正装置的结构框图；
图7是本发明实施例中一种环境感知系统的结构框图。
具体实施方式
本发明提供了一种回波检测校正方法，应用于激光雷达，在确定采集的图像中符合预设条件的图像区域后，可以获取与所述图像区域相匹配的点数据集合，并基于所述图像区域的像素数据，调整所述点数据集合对应的接收通道的回波检测阈值，故可以有效保障激光雷达生成的点云数据的质量。
为使本领域技术人员更加清楚地了解及实施本发明的构思、实现方案及优点，以下参照附图，通过具体应用场景进行详细说明。
在一应用场景中，激光雷达可作为一种传感器应用于环境感知系统，激光雷达通过向外界物体发射的探测信号以及获取物体反射回来的回波信号，可以计算物体的物理信息，如距离信息、方位信息、高度信息、速度信息、姿态信息等，这些物理信息形成三维空间的点数据，大量的点数据进行处理后可以得到点云数据。
此外，环境感知系统还可以包括图像采集装置等其他多种传感器。图像采集装置可以获取外界物体的图像信息，实现图像采集的目的。
由于图像采集装置采集的图像信息形成的是二维平面的像素数据，无法判断物体在现实空间中的位置状态、运动状态和实际大小，因此，为了提高环境感知系统的鲁棒性，可以采用多传感器融合的技术方案，例如，激光雷达可以辅助图像采集装置工作，在像素数据上叠加点数据，生成高精地图。
由于激光雷达接收信号除了物体反射的回波信号，还会包括各种干扰噪声信号，如其他电子设备干扰噪声信号、激光雷达本身形成的干扰噪声信号、外界环境光带来的干扰噪声信号等。为了可以从接收到的复杂的信号中检测出回波信号，现有的激光雷达可以通过设置一检测阈值对接收的信号进行滤波。
然而，阈值设置过高，可能遗漏信号强度较弱的回波信号，导致遗漏相应的点数据；阈值设置过低，可能将干扰噪声信号当成回波信号，造成产生的点数据错误。激光雷达的回波检测准确性将会影响到点云数据的质量，进而影响多传感器融合结果。
因此，如何优化回波检测技术成为了本领域技术人员亟待解决的问题。
为了解决上述技术问题，本发明实施例提供了一种用于激光雷达的回波检测校正方法的流程图，参照图1所示，所述方法可以包括以下步骤：
S11，获取所述激光雷达生成的点云数据。
在具体实施中，激光雷达包括发射模块和接收模块，所述发射模块的各发射通道用于产生作为探测信号的光束，外界的物体会将探测信号进行反射，对于激光雷达而言，物体反射回来的光束就是回波信号，所述接收模块的各接收通道根据预设的检测阈值进行回波信号检测。将探测信号和回波信号进行数据处理后，可以得到点云数据。
其中，根据实际情况，可以设定每次获取的点云数据量。比如每次可以获取一帧点云数据，对应于图像采集装置采集的一帧图像。
S12，获取所述点云数据对应的图像。
其中，根据实际情况，可以设定每次获取的图像数量。比如每次可以获取一帧图像，对应于激光雷达的一帧点云数据。
在具体实施中，图像采集装置和激光雷达安装于同一移动平台，如无人车。在无人车移动过程中，激光雷达和图像采集装置分别采集周围环境的数据，激光雷达生成三维的点云数据，图像采集装置生成二维的图像。
在获取所述点云数据对应的图像之前，可以将所述图像所在坐标系和所述点云数据所在坐标系进行联合标定，建立点云数据与图像之间的坐标转换关系。根据坐标转换关系，可以确定点云数据中各点(point)数据的三维坐标与图像中各像素(pixel)的二维坐标之间的对应关系，从而可以用于获取所述点云数据对应的图像。
其中，在进行联合标定时，一个点数据可能对应一个像素，或者一个点数据也可能对应多个像素。
在实际应用中，可以一台激光雷达和多台图像采集装置进行联合标定，也可以多台激光雷达和一台图像采集装置进行联合标定，还可以多台激光雷达和多台图像采集装置进行联合标定，因此，存在一对多和多对多的联合标定情况，而且，多台图像采集装置采集的图像可能存在交叠区域，多台激光雷达采集的点云数据也可能存在交叠区域。
在图像存在交叠区域时，对于多个坐标交叠的像素可能对应一个点数据。
在多个激光雷达的点云数据存在交叠区域时，对于多个坐标交叠的点数据可能对应一个像素，或者，对于多个坐标交叠的点数据也可能对应的多个像素。
在图像和点云数据均存在交叠区域时，多个坐标交叠的像素可能对应多个坐标交叠的点数据。
在一可选示例中，本发明实施例可以采用以下联合标定方法：
1)通过内参标定算法，确定图像采集装置所处的三维坐标系到图像所处的二维平面坐标系的投影关系，获得内部参数，其中，图像采集装置所处的三维坐标系采用长度单位，图像所处的二维平面坐标系采用像素单位，图像采集装置的内部参数可用于对这两个坐标系之间进行线性转换。
2)通过外参联合标定算法，确定图像采集装置所处的三维坐标系与激光雷达所处的三维坐标系之间的相对位置关系，获得外部参数，其中，所述外部参数可以包括平移矩阵和旋转矩阵，图像采集装置的三维坐标通过外部参数可以转换为激光雷达的三维坐标。
3)根据外参联合标定算法获得的外部参数，可以将激光雷达所处三维坐标系下的点数据投影到图像采集装置所处的三维坐标系下，在根据内参标定算法获得的内部参数，可以将图像采集装置所处的三维坐标系下的点数据投影到图像所处的二维平面坐标系下，从而能够确定点云数据中各点(point)数据的三维坐标与图像中各像素(pixel)的二维坐标之间的对应关系。
进一步地，可以通过深度学习训练得到的神经网络模型去预测内部参数和外部参数。其中，神经网络模型可以采用卷积神经网络(Convolutional Neural Networks，CNN)及其变种。
在具体实施中，激光雷达和图像采集装置均可以通过标记时间戳的方式记录点云数据的帧时间信息和图像的帧时间信息，使得点云数据和图像具有时间属性，其中，标记时间戳的时机可以根据实际情景进行设定，例如，可以是在采集数据时进行标记，也可以是在生成数据时进行标记。本发明实施例对标记时间戳的时机不做具体限制。
在实际应用中，由于采集周期不相同、采集方向不相同等因素，激光雷达和图像采集装置不一定同步采集，为了确保获取到全部对应的点云数据和图像，即保障数据的完整性，需要获取大量的图像和点云数据，然后根据坐标转换关系，从中确定互相对应的图像和点云数据。
为了解决上述问题，可以通过时间戳，获取帧时间信息相同的点云数据和图像，再通过坐标转换关系，确定二者是否为对应的点云数据和图像，从而得到在时间和空间上对应的点云数据和图像。由此，提高获取对应的点云数据和图像的效率。
在实际应用时，由于激光雷达和图像采集装置的采集频率可以不相同，因而，点云数据的帧时间信息和图像的帧时间信息可能无法一一对应，为此，可以将激光雷达和图像采集装置中一设备作为基准设备，激光雷达和图像采集装置中另一设备作为非基准设备，从基准设备记录的帧时间信息作为基准帧时间信息，并从非基准设备记录的帧时间信息中选取与基准帧时间信息之间的时间间隔最小的帧时间信息，并与基准帧时间信息建立对应关系。
例如，若基准设备记录的帧时间信息可以包括：帧时间信息TA1、帧时间信息TA2和帧时间信息TA3，而非基准设备记录的帧时间信息可以包括：帧时间信息Tp1、帧时间信息Tp2和帧时间信息Tp3。基准设备的帧时间信息TA2作为基准帧时间信息时，经过匹配发现非基准设备记录的帧时间信息Tp1与基准帧时间信息TA2之间的时间间隔最小，则选取帧时间信息Tp1与基准帧时间信息TA2建立对应关系。
可以理解的是，根据实际情景可以选取激光雷达或图像采集装置作为基准设备。例如，图像采集装置的采集频率为25～30赫兹(Hz)，而激光雷达的采集频率为10赫兹，若设定将采集频率较慢的设备作为基准设备，则可以将激光雷达作为基准设备；若设定将采集频率较快的设备作为基准设备，则可以将图像采集装置作为基准设备。
若激光雷达和图像采集装置在采集数据时进行时间戳标记，则可以获取基准设备在基准帧时间采集的数据，并获取非基准设备在与基准时间信息存在对应关系的帧时间采集的数据，从而生成帧时间信息对应的图像和点云数据；若激光雷达和图像采集装置在生成数据时进行时间戳标记，则可以获取基准设备在基准帧时间生成的数据，并获取非基准设备在与基准帧时间信息存在对应关系的帧时间生成的数据，得到帧时间信息对应的图像和点云数据。其中，标注的时间戳可以由基准设备提供。
由此，将帧时间信息对应的图像和点云数据进行坐标转换，确定二者在空间上是否为对应的点云数据和图像，从而得到在时间和空间上对应的点云数据和图像，提高获取对应的点云数据和图像的效率。
可以理解的是，本实施例中步骤S11和S12仅为示例说明，步骤S12用于限定点云数据与图像之间的对应关系，并不是限定执行上的先后顺序，在实际操作过程中，由于激光雷达和图像采集装置分别采集周围环境的数据，点云数据和图像可以存储于存储器中，在根据时间戳确定同一时间生成的图像和点云数据后，可以同时进行获取，也可以依次进行获取，本发明实施例对于点云数据和图像的获取顺序不作限制。
还可以理解的是，本发明实施例中所述对应的点云数据和图像，可以包括点云数据中的部分点数据与图像中的像素对应的情况，换而言之，并非一定是点云数据中的全部点数据与图像中的像素对应才能认为所述点云数据和所述图像互相对应。
S13，基于所述图像中各像素的像素数据，确定所述图像中符合预设条件的图像区域。
在具体实施中，像素数据可以包括颜色信息、亮度信息、饱和度信息和对比度信息等。对于彩色图像，颜色信息可以包括表示各颜色的色值，如RGB(Red-Green-Blue，红绿蓝三原色)三色值和/或CMYK(Cyan-Magenta-Yellow-Black，青、品红、黄、黑四色)四色值等，亮度信息、饱和度信息和对比度信息可以通过颜色信息计算得到；对于灰度图像，颜色信息和亮度信息均可以通过灰度值来表示，对比度信息可以通过颜色信息计算得到。
可选地，根据预设的转换公式，可以将彩色图像转换为灰度图像。例如，根据各颜色的色值分配的权重，对各颜色的色值进行加权计算，将计算结果作为灰度值，从而得到彩色图像中各像素对应的灰度值，生成灰度图像。
根据图像的像素数据的信息类型，所述预设条件可以包括：颜色条件、亮度条件、灰度条件、对比度条件和饱和度条件等。
S14，获取所述图像区域对应的点数据集合。
在具体实施中，根据点云数据与图像之间的坐标转换关系，可以将所述图像区域与所述点云数据进行匹配，进而从点云数据中获取所述图像区域对应的点数据，得到点数据集合。
S15，基于所述图像区域的像素数据，调整所述激光雷达中与所述点数据集合对应的接收通道的回波检测阈值。
其中，点数据可以包括时间戳信息、物体的坐标位置信息、接收通道信息。进一步地，所述点数据可以包括发射通道信息等。接收通道可以对应单个或多个探测器。
在具体实施中，各点数据可以包括对应的接收通道信息，因此，可以确定点数据集合对应的接收通道，根据预设条件筛选出来的图像区域的像素数据以及像素与点数据之间的坐标对应关系，可调整对应接收通道的回波检测阈值。其中，由于激光雷达检测的是回波信号的强度，所以所述回波检测阈值是信号强度阈值。
采用上述回波检测校正方法，将采集的图像作为回波检测的反馈控制信息，根据图像区域和相匹配的点数据集合，能够确定需要调整回波检测阈值的接收通道，从而实时调整对应的接收通道的回波检测阈值，使得各接收通道的回波检测阈值能够动态变化，提升激光雷达的回波检测准确性，进而有效保障激光雷达生成的点云数据的质量。
在具体实施中，高强度的环境光会造成图像过饱和，且会产生较多的干扰噪声信号，影响回波信号检测的准确率。低强度的环境光会造成图像欠饱和，回波信号的强度降低，影响回波检测的检出率。
因此，可以根据预设条件和图像中各像素的像素数据，确定图像中过饱和图像区域和/或欠饱和图像区域，进而可以调整过饱和图像区域和/或欠饱和图像区域对应的接收通道的回波检测阈值。为了便于本领域技术人员的理解和实施，以下通过具体实施例进行详细说明。
在本发明一实施例中，基于所述图像中各像素的像素数据，筛选出所述图像中符合第一亮度条件的像素，得到所述图像中的过饱和图像区域。和/或，基于所述图像中各像素的像素数据，筛选出所述图像中符合第二亮度条件的像素，得到所述图像中的欠饱和图像区域。
可选地，所述筛选出图像中符合第一亮度条件的像素具体可以为：判断所述图像中各像素的亮度信息是否大于或等于第一亮度阈值，获取亮度信息大于或等于第一亮度阈值的像素；所述筛选出图像中符合第二亮度条件的像素具体可以为：判断所述图像中各像素的亮度信息是否小于或等于第二亮度阈值，获取亮度信息小或等于第二亮度阈值的像素；其中，第二亮度阈值小于所述第一亮度阈值；第一亮度阈值可以根据高反射率参照物的亮度确定，第二亮度阈值可以根据低反射率参照物的亮度确定，比如高反射物体(90％以上反射率)作为参照物，将其对应的亮度作为第一亮度阈值，低反射率物体(10％以下反射率)作为参照物，将其对应的亮度作为第二亮度阈值；也可以根据历史图像的亮度标准正态分布确定，比如根据亮度标准正态分布，在距离亮度平均值的2个标准差来确定第一亮度阈值和第二亮度阈值，其中第一亮度阈值为距离亮度平均值的2个正标准差的亮度值；而第二亮度阈值为距离亮度平均值的2个负标准差的亮度值。
由此，根据预设条件获得像素过饱和的图像区域和/或像素欠饱和的图像区域，从而针对图像过饱和的情况和/或欠饱和的情况，确定对应接收通道的回波检测阈值的调整幅度，进而实时调整对应接收通道的回波检测阈值，提高激光雷达对于过饱和图像区域和/或欠饱和图像区域的回波检测准确性。
具体而言，对于所述过饱和图像区域，可以根据对应的点数据集合选取所述激光雷达的接收通道，并增大所选取的接收通道的回波检测阈值；对于所述欠饱和图像区域，根据对应的点数据集合选取所述激光雷达的接收通道，并减小所选取的接收通道的回波检测阈值。
采用上述方案，对于所述过饱和图像区域，能够减少或滤除过饱和图像区域对应的实际环境中的高强度环境光产生的干扰噪声信号；对于所述欠饱和图像区域，能够提升检测欠饱和图像区域的回波信号的能力。
可以理解的是，本发明实施例中的“高强度”和“低强度”是相对于图像采集装置而言的，不同型号的图像采集装置具有不同的采集参数，因此对于高强度环境光和低强度环境光的划分可以不相同。本发明实施例对于环境光的划分规则不做限定。
还可以理解的是，过饱和图像区域和欠饱和图像区域根据预设条件的取值进行选取，而本发明实施例中预设条件的取值也可以根据图像采集装置的型号和参数进行设定。本发明实施例对于预设条件的取值大小不做限定。
例如，在图像采集装置采用8比特(bit)灰度取值范围(即0～255)表示灰度图像时，可以设定第一灰度阈值为255，以及可以设定第二灰度阈值为0，由此，过饱和图像区域可以对应图像中图像采集装置能够显示的灰度值最大的区域，欠饱和图像区域可以对应图像中图像采集装置能够显示的灰度值最小的区域。
又例如，在图像采集装置采用12比特(bit)灰度取值范围(即0～4096)表示灰度图像时，可以设定第一灰度阈值为2048，以及可以设定第二灰度阈值为128。此时，过饱和图像区域可以对应图像中图像采集装置能够显示的第一灰度值区间[2048，4096]的区域，欠饱和图像区域可以对应图像中图像采集装置能够显示的第二灰度值区间[0，128]的区域；也可以根据图像采集装置显示灰度最大值的5％的灰度值来确定第一灰度阈值和第二灰度阈值，具体地，将与灰度最大值相差所述5％的灰度值作为第一灰度阈值，将与图像采集装置的灰度最小值相差所述5％的灰度值作为第二灰度阈值，则过饱和图像区域可以对应图像中与灰度最大值相差所述5％以内的区域；欠饱和图像区域可以对应图像中灰度最小值相差所述5％以内的区域。此外，用于确定第一灰度阈值和第二灰度阈值的灰度值占灰度最大值的比例可以任意设置，比如10％内的任意值。
可选地，由于图像采集装置自身会产生干扰噪声信号，从而会造成非正常图像区域，为了避免遗漏这些非正常图像区域，可以提高欠饱和图像区域对应的阈值，进而获取这些非正常图像区域，增加欠饱和图像区域的数量，动态调整更多接收通道的回波检测阈值，有利于提升激光雷达的回波检测准确性。
例如，由于图像采集装置自身会产生干扰噪声信号，将灰度值为0的图像区域变为灰度值非0的图像区域，这些是非正常图像区域，若第二灰度阈值取非0的数值，能够获取这些非正常图像区域，增加欠饱和图像区域的数量。
在具体实施中，选取得到的图像区域的像素数据不一定相同，根据像素数据，可以对各图像区域设定不同的回波检测阈值调整方案。例如，通过第一亮度条件获取得到的过饱和图像区域，根据过饱和图像区域对应的亮度值，可以使对应的接收通道的回波检测阈值进行不同程度的增大；通过第二亮度条件获取得到的欠饱和图像区域，根据欠饱和图像区域对应的亮度值，可以使对应的接收通道的回波检测阈值进行不同程度的减小。
其中，可以根据图像区域的像素数据，线性或者非线性地调整回波检测阈值。
在一可选示例中，基于预设的回波检测阈值预测模型，根据所述图像区域的像素数据预测对应的调整后的回波检测阈值，输出回波检测的参考信息。基于所述回波检测的参考信息，能够调整所述激光雷达中与所述点数据集合对应的接收通道的回波检测阈值。
其中，所述回波检测的参考信息可以包括一个或多个参考数值，也可以包括一个或多个参考数值区间。所述回波检测的参考信息可以作为调整回波检测阈值时的参考信息，调整后的回波检测阈值大小可以包含于所述回波信号强度参考信息中，也可以不包含于所述回波信号强度参考信息。
进一步地，在预测回波信号强度参考信息之前，可以对回波信号强度预测模型进行训练。例如，获取用于训练的训练数据，将训练数据输入到初始的回波信号强度预测模型，进行监督学习训练，若输出结果不符合完成训练条件，则调整所述回波信号强度预测模型的参数，并继续进行训练，直至符合完成训练条件。其中，训练数据可以包括：训练图像区域和实际回波检测阈值，实际回波检测阈值可以是由实验室测试得到的或先验知识得到的，该实际回波检测阈值可以认为是训练图像区域对应的接收通道的最优调整方案。
在另一可选示例中，基于所述图像区域的像素数据，与预设的查询表中的像素数据区间进行匹配，确定所述图像区域对应的回波信号强度参考信息，并基于所述回波信号强度参考信息，调整所述激光雷达中与所述点数据集合对应的接收通道的回波检测阈值。其中，所述回波信号强度参考信息可以为一个或多个参考数值，也可以包括一个或多个参考数值区间。所述回波信号强度参考信息可以作为调整回波检测阈值时的参考信息，调整完的回波检测阈值大小可以包含于所述回波信号强度参考信息中，也可以不包含与所述回波信号强度参考信息。
进一步地，查询表可以设定一种或多种信息类型的区间，如颜色信息区间、亮度信息区间等。以查询表中包括亮度信息区间为例，若图像区域p落入查询表中亮度信息区间a中，则可以获得亮度信息区间a对应的回波信号强度参考信息b。回波信号强度参考信息b中包括参考数值b1～bn，选取其中参考数值bx作为调整后的回波检测阈值大小，根据参考数值bx和所述激光雷达中对应的接收通道的当前回波检测阈值的数值差，调整对应的接收通道的前回波检测阈值。其中，n为不小于1的整数，x为属于[1，n]内的整数。
在具体实施中，在基于所述图像区域的像素数据，调整所述激光雷达中与所述点数据集合对应的接收通道的回波检测阈值时，可以根据图像中各物体的距离和反射率，确定接收通道的回波检测阈值的调整幅度，进而实时调整对应接收通道的回波检测阈值，提高激光雷达的回波检测准确性。
具体而言，如图2所示，为本发明实施例提供的一种回波检测阈值调整方法的流程图，具体可以包括：
S151，基于所述图像区域的像素数据，识别所述图像区域中的物体。
在具体实施中，可以采用物体检测算法，对所述图像区域的像素数据进行检测，进而通过物体识别算法，识别所述图像区域中的物体。
其中，所述物体检测算法可以包括：基于区域的目标检测算法和单步检测(SingleShoot Detectors，SSD)算法等。所述基于区域的目标检测算法可以包括：滑动窗口检测器(sliding-windows detectors)算法，RCNN(Regions with CNN，具有区域的卷积神经网络)特征算法及其变形算法，R-FCN(Region-based Fully Convolutional Networks，基于区域的全卷积神经网络)算法，特征金字塔网络(Feature Pyramid Networks，FPN)等算法。所述物体识别算法可以包括：SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)算法、SURF(Speeded-Up Robust Features，加速鲁棒特征)算法、haar-like算法(一种特征提取算法)和霍夫(hough)变换算法等。
S152，基于所述物体对应的点数据集合，获取所述物体的距离信息和反射率信息。
S153，基于所述物体的距离信息和反射率信息，调整所述激光雷达中对应的接收通道的回波检测阈值。
采用上述方案，对于不同距离和反射率的物体，能够确定对应接收通道的回波检测阈值的调整幅度，并可以分别将对应接收通道的回波检测阈值的进行调整，进而可以有效避免由于距离较近和反射率较高的物体产生的强回波信号，导致接收通道饱和的情况，以及可以提升检测到距离较远物体反射的回波信号的能力。
在具体实施中，由于过饱和图像区域对应的接收通道为增大回波检测阈值，对于强度小于增大后的回波检测阈值的回波信号，在回波检测阈值增大前可以别检出，在回波检测阈值增大后将不被接收通道检出，从而造成回波信号检出率降低。
由此，为了确保检出率，可以获取实施采集的点数据集合的回波信号的强度值，作为历史回波信号强度值，与调整后的回波检测阈值进行比较，确定调整后的回波检测阈值是否合适。
具体而言，如图3所示，所述回波检测校正方法还可以包括：
S31，获取所述过饱和图像区域对应的点数据集合的回波信号的强度值。
S32，确定调整后的回波检测阈值是否小于或等于所述回波信号的强度值，如果是，则结束本流程，否则继续步骤S33。
S33，将回波检测阈值降低，使其小于或等于所述回波信号的强度值。
在具体实施中，为了能够确保减少或滤除过饱和图像区域对应的实际环境中的高环境光产生的干扰噪声信号，可以通过将干扰噪声信号检测装置采集的激光雷达周围的干扰噪声信号的强度值，作为历史干扰噪声信号强度值，与调整后的回波检测阈值进行比较，确定调整后的回波检测阈值是否合适。
具体而言，如图4所示，所述回波检测校正方法还可以包括：
S41，获取所述过饱和图像区域对应的采集的干扰噪声信号的强度值。
S42，确定调整后的回波检测阈值是否大于所述干扰噪声信号的强度值，如果是，则结束本流程，否则继续步骤S43。
S43，将回波检测阈值提高，使其大于所述干扰噪声信号的强度值。
可以理解的是，上文描述了本发明实施例提供的多个实施例方案，各实施例方案介绍的各可选方式可在不冲突的情况下相互结合、交叉引用，从而延伸出多种可能的实施例方案，这些均可认为是本发明披露、公开的实施例方案。
本发明实施例还提供了与上述用于激光雷达的回波检测校正方法对应的回波检测校正装置，以下参照附图，通过具体实施例进行详细介绍。需要知道的是，下文描述的回波检测校正装置可以认为是为实现本发明实施例提供的回波检测校正方法所需设置的功能模块；下文描述的回波检测校正装置的内容，可与上文描述的回波检测校正方法的内容相互对应参照。
参照图5所示的本发明实施例中一种用于激光雷达的回波检测校正装置的结构框图，在本发明实施例中，所述回波检测校正装置50可以包括：
点云数据获取单元51，适于获取所述激光雷达生成的点云数据；
图像数据获取单元52，适于获取所述点云数据对应的图像；
图像区域确定单元53，适于根据所述图像中各像素的像素数据，确定所述图像中符合预设条件的图像区域；
点数据集合确定单元54，适于获取所述图像区域对应的点数据集合；
回波检测阈值调整单元55，适于根据所述图像区域的像素数据，调整所述激光雷达中与所述点数据集合对应的接收通道的回波检测阈值。
采用上述方案，将采集的图像作为回波检测的反馈控制信息，根据图像区域和相匹配的点数据集合，能够确定需要调整回波检测阈值的接收通道，从而实时调整对应的接收通道的回波检测阈值，使得各接收通道的回波检测阈值能够动态变化，提升激光雷达的回波检测准确性，进而有效保障激光雷达生成的点云数据的质量。
可选地，所述激光雷达的接收装置可以包括以下至少一种探测器：
单光子雪崩二极管(Single Photon Avalanche Diode，SPAD)探测器；
雪崩光电二极管(Avalanche Photo Diode，APD)探测器；
硅光电倍增管(Silicon Photomultiplier，SiPM)探测器。
其中，SPAD探测器对回波信号进行光电转换后，能够得到数字信号；APD探测器对回波信进行光电转换后，能够得到模拟信号，通过连接的功率注入放大器(Power InjectedAmplifier，PIA)，进行模数转换，得到数字信号；SiPM探测器包括多组并联的SPAD，对回波信号进行光电转换后，能够得到模拟信号，进行模数转换后，得到数字信号。
所述回波检测阈值调整单元根据所述图像区域的像素数据，可以调整与所述点数据集合对应的接收通道中探测器的回波检测阈值。
在具体实施中，高强度的环境光会造成图像过饱和，且会产生较多的干扰噪声信号，影响回波检测的准确率。低强度的环境光会造成图像欠饱和，且使回波信号的强度降低，影响回波检测的检出率。
因此，可以根据预设条件和图像中各像素的像素数据，确定图像中过饱和图像区域和/或欠饱和图像区域，进而可以调整过饱和图像区域和/或欠饱和图像区域对应的接收通道的回波检测阈值。为了便于本领域技术人员的理解和实施，以下通过具体实施例进行详细说明。
在本发明一实施例中，如图5所示，所述图像区域确定单元53包括以下至少一种：
过饱和图像区域确定子单元531，适于根据所述图像中各像素的像素数据，筛选出所述图像中符合预设的第一亮度条件的像素，得到所述图像中的过饱和图像区域；
欠饱和图像区域确定子单元532，适于根据所述图像中各像素的像素数据，筛选出所述图像中符合预设的第二亮度条件的像素，得到所述图像中的欠饱和图像区域。
采用上述方案，根据预设条件获得像素过饱和的图像区域和/或像素欠饱和的图像区域，从而针对图像过饱和的情况和/或欠饱和的情况，确定对应接收通道的回波检测阈值的调整幅度，进而实时调整对应接收通道的回波检测阈值，提高激光雷达对于过饱和图像区域和/或欠饱和图像区域的回波检测准确定。
在具体实施中，如图5所示，所述回波检测阈值调整单元55可以包括以下至少一种：
过饱和图像区域调整子单元551，适于根据所述过饱和图像区域对应的点数据集合，选取所述激光雷达的接收通道，并增大所选取的接收通道的回波检测阈值；
欠饱和图像区域调整子单元552，适于根据所述欠饱和图像区域对应的点数据集合，选取所述激光雷达的接收通道，并减小所选取的接收通道的回波检测阈值。
采用上述方案，对于所述过饱和图像区域，能够减少或滤除过饱和图像区域对应的实际环境中的高强度环境光产生的干扰噪声信号；对于所述欠饱和图像区域，能够提升检测欠饱和图像区域的回波信号的能力。
在具体实施中，如图5所示，所述用于激光雷达的回波检测校正装置50还包括：
坐标转换关系建立单元56，适于将所述图像所在坐标系和所述点云数据所在坐标系进行联合标定，建立坐标转换关系；
所述图像数据获取单元52，适于根据所述坐标转换关系，获取所述点云数据对应的图像；
所述点数据集合确定单元54，适于根据所述坐标转换关系，将所述图像区域与所述点云数据进行匹配，并获取所述点云数据中匹配的点数据，得到所述图像区域对应的点数据集合。
其中，坐标转换关系建立单元采用的联合标定方法可以参考上述方法部分的相关描述，在此不再赘述。
在具体实施中，所述回波检测阈值调整单元在基于所述图像区域的像素数据，调整所述激光雷达中与所述点数据集合对应的接收通道的回波检测阈值时，可以根据图像中各物体的距离和反射率，确定接收通道的回波检测阈值的调整幅度，进而实时调整对应接收通道的回波检测阈值，提高激光雷达的回波检测准确性。
在本发明一实施例中，如图6所示，为本发明提供的另一种回波检测校正装置的结构框图，与图5的区别在于：所述回波检测校正装置60的回波检测阈值调整单元61。具体而言，所述回波检测阈值调整单元61可以包括：
物体识别子单元611，适于根据所述图像区域的像素数据，识别所述图像区域中的物体；
信息获取子单元612，适于根据所述物体对应的点数据集合，获取所述物体的距离信息和反射率信息；
回波检测阈值调整子单元613，适于根据所述物体的距离信息和反射率信息，调整所述激光雷达中对应的接收通道的回波检测阈值。
采用上述方案，对于不同距离和反射率的物体，能够确定对应接收通道的回波检测阈值的调整幅度，并可以分别将对应接收通道的回波检测阈值的进行调整，进而可以有效避免距离较近和反射率较高的物体产生的强回波信号，使接收通道饱和，以及可以提升检测距离较远物体反射的回波信号的能力。
需要说明的是，在实际应用中，回波检测校正装置可以通过硬件、软件或者软硬件结合的方式实现。例如，回波检测校正装置包含的各模块可以采用相应的硬件电路或器件、模组等进行实施。又例如，回波检测校正装置包含的各模块可以通过单片机、FPGA等处理器执行相应的软件程序进行实施。其中，回波检测校正装置包含的各模块可以通过同一处理器件进行控制，也可以通过不同的处理器件执行，所述不同的处理器可以分布于同一硬件设备上，也可以分布于不同的硬件设备上。
在具体实施中，由于过饱和图像区域对应的接收通道为增大回波检测阈值，对于强度小于增大后的回波检测阈值的回波信号，在回波检测阈值增大前可以别检出，在回波检测阈值增大后将不被接收通道检出，从而造成回波信号检出率降低。
由此，为了确保检出率，回波检测阈值调整单元可以获取实施采集的点数据集合的回波信号的强度值，作为历史回波信号强度值，与调整后的回波检测阈值进行比较，用以确定调整后的回波检测阈值是否合适，在调整后的回波检测阈值大于所述回波信号的强度值时，回波检测阈值调整单元可以将回波检测阈值调整到小于或等于所述回波信号的强度值。
在具体实施中，为了能够确保减少或滤除过饱和图像区域对应的实际环境中的高环境光产生的干扰噪声信号，可以通过干扰噪声信号检测装置采集的激光雷达周围的干扰噪声信号的强度值，回波检测阈值调整单元可以获取干扰噪声信号检测装置采集的干扰噪声信号的强度值作为历史干扰噪声信号强度值，与调整后的回波检测阈值进行比较，用以确定调整后的回波检测阈值是否合适。在调整后的回波检测阈值小于或等于所述干扰噪声信号的强度值，回波检测阈值调整单元可以将回波检测阈值调整到大于所述干扰噪声信号的强度值。
其中，所述干扰噪声信号检测装置可以安装于与激光雷达和图像采集装置相同的移动平台，也可以安装于与激光雷达和图像采集装置不相同的移动平台。
在干扰噪声信号检测装置安装于与激光雷达和图像采集装置相同的移动平台时，可以通过有线连接或无线通信的方式与回波检测校正装置建立连接。
在干扰噪声信号检测装置安装于与激光雷达和图像采集装置不相同的移动平台时，可以通过无线通信的方式与回波检测校正装置建立连接。
需要说明的是，本发明实施例对于干扰噪声信号检测装置的安装位置和通信方式不作限制。
可以理解的是，上文描述了本发明实施例提供的多个实施例方案，各实施例方案介绍的各可选方式可在不冲突的情况下相互结合、交叉引用，从而延伸出多种可能的实施例方案，这些均可认为是本发明披露、公开的实施例方案。
本发明实施例还提供了与上述用于激光雷达的回波检测校正方法对应的环境感知系统，以下参照附图，通过具体实施例进行详细介绍。
参照图7所示的本发明实施例中一种环境感知系统的结构框图，在本发明实施例中，所述环境感知系统70可以包括：
图像采集装置71，适于采集图像；
激光雷达72，适于生成点云数据；
以及上述任意一种所述的回波检测校正装置73，所述回波检测校正装置73适于根据获取到的图像和点云数据，调整所述激光雷达中对应的接收通道的回波检测阈值。
其中，所述图像采集装置71可以包括数字式相机、红外相机、热成像相机中至少一种。并且，所述红外相机和热成像相机便于采集夜间的图像，使得回波检测校正装置73能够在夜间调整激光雷达的回波检测阈值。
采用上述方案，将采集的图像作为回波检测的反馈控制信息，通过图像采集装置采集的图像，回波检测校正装置可以对激光雷达进行回波检测校正，从而使图像采集装置能够辅助激光雷达对其点云数据进行校正，提升激光雷达的回波检测准确性，实现图像采集装置和激光雷达的数据互通，达到多传感器联合运作的效果。
其中，激光雷达与图像采集装置之间的数据传输可以是通过线缆或无线通信直接交互，也可以是通过中控平台(例如，发明实施例提供的回波检测校正装置，或者其他具有通信功能的平台)进行交互。
可以理解的是，上述实施例中各设备的连接关系仅为示意说明，在具体实施中，回波检测校正装置可以通过硬件、软件或者软硬件结合的方式实现，根据实际情景，回波检测校正装置可以设置于激光雷达中，也可以设置于与激光雷达建立通信连接的外部设备中，还可以作为独立的外部设备与激光雷达建立通信连接。本发明实施例对此不做限制。
需要说明的是，本发明所称的“一个实施例”或“实施例”是指可包含于本发明的至少一个实现方式中的特定特征、结构或特性。并且在本发明的描述中，“第一”、“第二”等术语仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等术语的特征可以明示或者隐含的包括一个或者多个该特征。而且，“第一”、“第二”等术语是用于区别类似的对象，而不必用于描述特定的顺序或表示重要性。可以理解的是，这样使用的术语在适当情况下可以互换，以使这里描述的本发明实施例能够以除了在这里图示或描述的那些以外的顺序实施。
虽然本发明实施例披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (13)

1.一种用于激光雷达的回波检测校正方法，其特征在于，所述回波检测校正方法包括：
获取所述激光雷达生成的点云数据；
获取所述点云数据对应的图像；
基于所述图像中各像素的像素数据，确定所述图像中符合预设条件的图像区域，其中，所述预设条件包括以下至少一种：颜色条件、亮度条件、灰度条件、对比度条件和饱和度条件；
从所述点云数据中获取所述图像区域对应的点数据集合；
基于所述图像区域的像素数据，调整所述激光雷达中与所述点数据集合对应的接收通道的回波检测阈值。
2.根据权利要求1所述的用于激光雷达的回波检测校正方法，其特征在于，所述基于所述图像中各像素的像素数据，确定所述图像中符合预设条件的图像区域，包括以下至少一种：
基于所述图像中各像素的像素数据，筛选出所述图像中符合预设的第一亮度条件的像素，得到所述图像中的过饱和图像区域；
基于所述图像中各像素的像素数据，筛选出所述图像中符合预设的第二亮度条件的像素，得到所述图像中的欠饱和图像区域。
3.根据权利要求2所述的用于激光雷达的回波检测校正方法，其特征在于，所述基于所述图像区域的像素数据，调整所述激光雷达中与所述点数据集合对应的接收通道的回波检测阈值，包括以下至少一种：
对于所述过饱和图像区域，根据对应的点数据集合选取所述激光雷达的接收通道，并增大所选取的接收通道的回波检测阈值；
对于所述欠饱和图像区域，根据对应的点数据集合选取所述激光雷达的接收通道，并减小所选取的接收通道的回波检测阈值。
4.根据权利要求1-3任一项所述的用于激光雷达的回波检测校正方法，其特征在于，所述基于所述图像区域的像素数据，调整所述激光雷达中与所述点数据集合对应的接收通道的回波检测阈值，包括：
基于所述图像区域的像素数据，识别所述图像区域中的物体；
基于所述物体对应的点数据集合，获取所述物体的距离信息和反射率信息；
基于所述物体的距离信息和反射率信息，调整所述激光雷达中对应的接收通道的回波检测阈值。
5.根据权利要求2或3所述的用于激光雷达的回波检测校正方法，其特征在于，还包括：
获取所述过饱和图像区域对应的点数据集合的回波信号的强度值，并确定调整后的回波检测阈值小于或等于所述回波信号的强度值。
6.根据权利要求2或3所述的用于激光雷达的回波检测校正方法，其特征在于，还包括：
获取所述过饱和图像区域对应采集的干扰噪声信号的强度值，并确定调整后的回波检测阈值大于所述干扰噪声信号的强度值。
7.根据权利要求1所述的用于激光雷达的回波检测校正方法，其特征在于，在所述获取所述点云数据对应的图像之前，还包括：
将所述图像所在坐标系和所述点云数据所在坐标系进行联合标定，建立坐标转换关系，以用于获取所述点云数据对应的图像，以及将所述图像区域与所述点云数据进行匹配。
8.一种用于激光雷达的回波检测校正装置，其特征在于，所述回波检测校正装置包括：
点云数据获取单元，适于获取所述激光雷达生成的点云数据；
图像数据获取单元，适于获取所述点云数据对应的图像；
图像区域确定单元，适于根据所述图像中各像素的像素数据，确定所述图像中符合预设条件的图像区域，其中，所述预设条件包括以下至少一种：颜色条件、亮度条件、灰度条件、对比度条件和饱和度条件；
点数据集合确定单元，适于从所述点云数据中获取所述图像区域对应的点数据集合；
回波检测阈值调整单元，适于根据所述图像区域的像素数据，调整所述激光雷达中与所述点数据集合对应的接收通道的回波检测阈值。
9.根据权利要求8所述的用于激光雷达的回波检测校正装置，其特征在于，所述图像区域确定单元包括以下至少一种：
过饱和图像区域确定子单元，适于根据所述图像中各像素的像素数据，筛选出所述图像中符合预设的第一亮度条件的像素，得到所述图像中的过饱和图像区域；
欠饱和图像区域确定子单元，适于根据所述图像中各像素的像素数据，筛选出所述图像中符合预设的第二亮度条件的像素，得到所述图像中的欠饱和图像区域。
10.根据权利要求9所述的用于激光雷达的回波检测校正装置，其特征在于，所述回波检测阈值调整单元包括以下至少一种：
过饱和图像区域调整子单元，适于根据所述过饱和图像区域对应的点数据集合，选取所述激光雷达的接收通道，并增大所选取的接收通道的回波检测阈值；
欠饱和图像区域调整子单元，适于根据所述欠饱和图像区域对应的点数据集合，选取所述激光雷达的接收通道，并减小所选取的接收通道的回波检测阈值。
11.根据权利要求9-10任一项所述的用于激光雷达的回波检测校正装置，其特征在于，所述用于激光雷达的回波检测校正装置还包括：
坐标转换关系建立单元，适于将所述图像所在坐标系和所述点云数据所在坐标系进行联合标定，建立坐标转换关系；
所述图像数据获取单元，适于根据所述坐标转换关系，获取所述点云数据对应的采集的图像；
所述点数据集合确定单元，适于根据所述坐标转换关系，将所述图像区域与所述点云数据进行匹配，并获取所述点云数据中匹配的点数据，得到所述图像区域对应的点数据集合。
12.一种环境感知系统，其特征在于，包括：
图像采集装置，适于采集图像；
激光雷达，适于生成点云数据；
上述权利要求8-11任一项所述的回波检测校正装置，所述回波检测校正装置适于根据获取到的图像和点云数据，调整所述激光雷达中对应的接收通道的回波检测阈值。
13.根据权利要求12所述的环境感知系统，其特征在于，所述图像采集装置包括数字式相机、红外相机、热成像相机中至少一种。
CN202010802855.1A 2020-08-11 2020-08-11 用于激光雷达的回波检测校正方法及装置、环境感知系统 Active CN111965626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010802855.1A CN111965626B (zh) 2020-08-11 2020-08-11 用于激光雷达的回波检测校正方法及装置、环境感知系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010802855.1A CN111965626B (zh) 2020-08-11 2020-08-11 用于激光雷达的回波检测校正方法及装置、环境感知系统

Publications (2)

Publication Number Publication Date
CN111965626A CN111965626A (zh) 2020-11-20
CN111965626B true CN111965626B (zh) 2023-03-10

Family

ID=73365195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010802855.1A Active CN111965626B (zh) 2020-08-11 2020-08-11 用于激光雷达的回波检测校正方法及装置、环境感知系统

Country Status (1)

Country Link
CN (1) CN111965626B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541886A (zh) * 2020-11-27 2021-03-23 北京佳力诚义科技有限公司 一种激光雷达和相机融合人工智能矿石识别方法和装置
CN112887627B (zh) * 2021-01-26 2022-08-30 光为科技(广州)有限公司 增加LiDAR设备动态范围的方法、光检测测距LiDAR设备及机器可读介质
KR20240055107A (ko) * 2021-09-14 2024-04-26 후아웨이 테크놀러지 컴퍼니 리미티드 신호 처리 방법 및 관련 장치
CN114265392A (zh) * 2021-12-29 2022-04-01 上海易咖智车科技有限公司 无人驾驶车辆的测试方法、装置、无人驾驶车辆和介质
CN114594494B (zh) * 2022-01-13 2022-10-21 杭州宏景智驾科技有限公司 激光雷达系统及其环境光去噪方法
CN114528884B (zh) * 2022-02-25 2022-08-23 杭州流马锐驰科技有限公司 一种基于深度学习的超声波自适应阈值估计方法
CN115395989B (zh) * 2022-08-30 2023-11-24 北京天地一格科技有限公司 高动态自适应控制方法、装置、系统和处理设备
CN116755100B (zh) * 2023-08-17 2024-02-02 深圳市速腾聚创科技有限公司 激光雷达设备及其测距调节方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06203154A (ja) * 1992-06-26 1994-07-22 Honda Motor Co Ltd 画像処理装置
CN108205140A (zh) * 2016-12-16 2018-06-26 意法半导体股份有限公司 检测物体的方法以及相应装置
CN108445506A (zh) * 2018-05-11 2018-08-24 北醒（北京）光子科技有限公司 一种驱动发射电路、激光雷达及测量方法
CN109997057A (zh) * 2016-09-20 2019-07-09 创新科技有限公司 激光雷达系统和方法
CN110456371A (zh) * 2019-08-28 2019-11-15 上海禾赛光电科技有限公司 一种激光雷达系统及相关测量方法
CN110554404A (zh) * 2019-08-08 2019-12-10 华中科技大学 一种强背景噪声下Gm-APD阵列激光雷达成像方法及系统
JP2020020612A (ja) * 2018-07-30 2020-02-06 株式会社リコー 測距装置、測距方法、プログラム、移動体
CN111179329A (zh) * 2019-12-31 2020-05-19 智车优行科技（上海）有限公司 三维目标检测方法、装置及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020003236A (ja) * 2018-06-25 2020-01-09 株式会社リコー 測距装置、移動体、測距方法、測距システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06203154A (ja) * 1992-06-26 1994-07-22 Honda Motor Co Ltd 画像処理装置
CN109997057A (zh) * 2016-09-20 2019-07-09 创新科技有限公司 激光雷达系统和方法
CN108205140A (zh) * 2016-12-16 2018-06-26 意法半导体股份有限公司 检测物体的方法以及相应装置
CN108445506A (zh) * 2018-05-11 2018-08-24 北醒（北京）光子科技有限公司 一种驱动发射电路、激光雷达及测量方法
JP2020020612A (ja) * 2018-07-30 2020-02-06 株式会社リコー 測距装置、測距方法、プログラム、移動体
CN110554404A (zh) * 2019-08-08 2019-12-10 华中科技大学 一种强背景噪声下Gm-APD阵列激光雷达成像方法及系统
CN110456371A (zh) * 2019-08-28 2019-11-15 上海禾赛光电科技有限公司 一种激光雷达系统及相关测量方法
CN111179329A (zh) * 2019-12-31 2020-05-19 智车优行科技（上海）有限公司 三维目标检测方法、装置及电子设备

Also Published As

Publication number Publication date
CN111965626A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN111965626B (zh) 用于激光雷达的回波检测校正方法及装置、环境感知系统
CN111965625B (zh) 用于激光雷达的校正方法及装置、环境感知系统
US10234873B2 (en) Flight device, flight control system and method
KR101205428B1 (ko) 타겟 위치 특정 장치
US20220365211A1 (en) Photoelectric detection and acquisition system and centroid detection method based on single-pixel detector
CN103067734A (zh) 视频质量诊断系统检测视频图像偏色的方法
KR102617223B1 (ko) 객체에 대한 객체 분류를 출력하는 방법 및 장치
CN112384946A (zh) 一种图像坏点检测方法及装置
US10628951B2 (en) Distance measurement system applicable to different reflecting surfaces and computer system
CN109031333B (zh) 距离测量方法和装置、存储介质、电子设备
CN107610106B (zh) 一种检测方法、装置、电子设备及计算机可读存储介质
JP5803534B2 (ja) 光通信装置及びプログラム
JP6482589B2 (ja) カメラ校正装置
CN113792645A (zh) 一种融合图像和激光雷达的ai眼球
JP4274316B2 (ja) 撮像システム
EP3994485A1 (en) Time-of-flight sensing circuitry with different imaging modes and method for operating such a time-of-flight sensing circuitry
JP2021093694A (ja) 情報処理装置およびその制御方法
TWI819613B (zh) 物件的雙感測方法及用於物件感測的運算裝置
EP4084464A1 (en) Image processing for on-chip inference
CN116558443B (zh) 一种基于tof传感器成像系统的3d快速扫描建模系统及方法
CN115685247B (zh) 单行条纹图像中光斑质心位置的获得方法
US20240168161A1 (en) Ranging device, signal processing method thereof, and ranging system
CN116009107B (zh) 一种被动式人体检测方法、装置、设备及介质
US20240062350A1 (en) Distance image sensor device, distance image processing system, and transmission method of distance data
EP3091503A1 (en) Signal processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No.2 building, no.468 xinlai Road, Jiading District, Shanghai, 201821

Applicant after: Shanghai Hesai Technology Co.,Ltd.

Address before: No.2 building, no.468 xinlai Road, Jiading District, Shanghai, 201821

Applicant before: Shanghai Hesai Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant