CN111553859B - 一种激光雷达点云反射强度补全方法及系统 - Google Patents

一种激光雷达点云反射强度补全方法及系统 Download PDF

Info

Publication number
CN111553859B
CN111553859B CN202010355681.9A CN202010355681A CN111553859B CN 111553859 B CN111553859 B CN 111553859B CN 202010355681 A CN202010355681 A CN 202010355681A CN 111553859 B CN111553859 B CN 111553859B
Authority
CN
China
Prior art keywords
point cloud
image
reflection intensity
point
projection image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010355681.9A
Other languages
English (en)
Other versions
CN111553859A (zh
Inventor
张新钰
李志伟
刘华平
邹镇洪
李骏
柯锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010355681.9A priority Critical patent/CN111553859B/zh
Publication of CN111553859A publication Critical patent/CN111553859A/zh
Application granted granted Critical
Publication of CN111553859B publication Critical patent/CN111553859B/zh
Priority to US17/213,281 priority patent/US11099275B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明公开了一种激光雷达点云反射强度补全方法及系统，所述方法包括：利用标定后的车载摄像头和激光雷达，获取同一路面的灰度图像和原始点云；使用预设的边缘提取策略提取灰度图像的边缘信息，得到该灰度图像的边缘图像；对原始点云进行预处理，得到原始点云反射强度投影图像和插值补全点云反射强度投影图像；将灰度图像、灰度图像的边缘图像、原始点云反射强度投影图像和插值补全点云反射强度投影图像，输入预先训练好的点云反射强度补全模型，输出补全点云反射强度投影图像。本发明提供的点云反射强度补全方法可以充分利用点云和图像之间的潜在关联，从而有效、准确地补全出激光雷达点云的反射强度图像。

Description

一种激光雷达点云反射强度补全方法及系统
技术领域
本发明属于智能驾驶技术领域，具体涉及一种激光雷达点云反射强度补全方法及系统。
背景技术
智能驾驶车辆需要通过激光雷达对周围环境进行感知测量，以保证安全行使，包括车道线检测、物体检测与跟踪等。然而，激光雷达的扫描线数限制了记录点云的密度，稀疏点云难以用于高精度计算，因此需要将稀疏点云补全为稠密点云。点云补全的主要难点包括：1)原始点云过于稀疏；2)室外场景缺乏用于神经网络监督学习的标注。
现有的方法主要针对点云深度信息的补全，但点云反射强度补全具体有深度估计所不具有的一些难点：1)反射强度与物体材质有关，与几何信息关系不大，同一物体不同部位的反射强度有可能不同；2)图形分割标签精度不够，难以直接作为监督标签。
发明内容
针对上述技术问题，本发明提供了一种激光雷达点云反射强度补全方法，技术方案如下：
一种激光雷达点云反射强度补全方法，所述方法包括：
利用标定后的车载摄像头和激光雷达，获取同一路面的灰度图像和原始点云；
使用预设的边缘提取策略提取灰度图像的边缘信息，得到该灰度图像的边缘图像；
对原始点云进行预处理，得到原始点云反射强度投影图像和插值补全点云反射强度投影图像；
将灰度图像、灰度图像的边缘图像、原始点云反射强度投影图像和插值补全点云反射强度投影图像，输入预先训练好的点云反射强度补全模型，输出补全点云反射强度投影图像。
作为上述方法的一种改进，所述使用预设的边缘提取策略提取灰度图像的边缘信息，得到该灰度图像的边缘图像；具体为：使用canny算子提取灰度图像的边缘信息，将所得的边缘点集在与灰度图像相同尺寸的图像上进行二值化，即边缘点集中的点取值为1，其余点取值为0，得到该灰度图像的边缘图像。
作为上述方法的一种改进，所述对原始点云进行预处理，得到原始点云反射强度投影图像和插值补全点云反射强度投影图像；具体包括：
将原始点云PC0从激光雷达的三维坐标系投影到灰度图像所在的二维像素平面，得到原始点云反射强度投影图像；
提取原始点云反射强度投影图像的区域索引，该区域索引为图像像素的坐标索引列表，或者与点云投影图同尺寸的二值矩阵，其中待补全区域的取值为1，其余区域的取值为0；
对原始点云反射强度投影图像的待补全区域进行插值，得到插值补全点云反射强度投影图像。
作为上述方法的一种改进，所述将原始点云PC0从激光雷达的三维坐标系投影到灰度图像所在的二维像素平面，得到原始点云反射强度投影图像；具体为：
根据标定参数获取激光雷达三维坐标系和世界三维坐标系的转换矩阵K1，相机二维成像坐标系和世界三维坐标系的转换矩阵K2；
对于世界坐标系下的点P，在世界坐标系下对应的三维坐标为X0，在点云所在的雷达坐标系中对应的三维坐标为X1，在相机成像坐标系下的二维坐标为U，则U＝K2·X0，X1＝K1·X0，因此
Figure BDA0002473358170000021
截取二维点云图像和灰度图像对应位置且相同尺寸的部分，每个像素点的取值为对应的反射强度值，再对空缺的部分以0值填补；从而将激光雷达点云转换为灰度图像对应的二维点云图像，即原始点云反射强度投影图像。
作为上述方法的一种改进，所述对原始点云反射强度投影图像的待补全区域进行插值，得到插值补全点云反射强度投影图像；具体包括：
对于插值补全点云反射强度投影图像上第i个像素点，若其在点云反射强度投影图像中的值非0，则在点云反射强度投影图像中找到距离第i个像素点最近的三个非零值点(x1,y1),(x2,y2),(x3,y3)，则第i个像素点的补全值r(i)为：
Figure BDA0002473358170000022
Figure BDA0002473358170000023
作为上述方法的一种改进，所述点云反射强度补全模型为第一SegNet语义分割神经网络，其输入包括：灰度图像、灰度图像的边缘图像、原始点云反射强度投影图像和插值补全点云反射强度投影图像，输出为补全点云反射强度投影图像；将所输入的灰度图像、灰度图像的边缘图像、原始点云反射强度投影图像和插值补全点云反射强度投影图像叠加为4层矩阵，其每一层的尺寸相同；然后对每一层进行预设的变换裁剪，所得的矩阵为I′为网络的输入；网络的目标输出为与I′同尺寸的单层矩阵，其上每一点的取值范围为0到1。
作为上述方法的一种改进，所述方法还包括：对所述点云反射强度补全模型进行训练的步骤，具体包括：
获取多组用于模型训练的同一路面的灰度图像和原始点云，仅使用输入中的灰度图像对应的图像语义分割标签作为监督标签；语义分割标签为与对应图像同尺寸的单层矩阵，其上每点为整数值，代表该点所属的类别序号；
所述第一SegNet语义分割神经网络在训练过程中的误差losscom满足：
losscom＝lossE1*lossE2*lossTV
其中，
Figure BDA0002473358170000031
Figure BDA0002473358170000032
Figure BDA0002473358170000033
其中，lossE1,lossE2,lossTV均表示误差函数，C表示点云补全区域的像素点索引集合；i为单个像素点；E表示灰度图像对应边缘图上的点集合，EN表示目标输出的补全点云的边缘图的点集合；1E(i)为当点i属于集合E时对应边缘时为1，否则为0；，1EN(i)为当点i属于集合EN的边缘时为1，否则为0；|C|为待补全点云集合的大小，nclass表示图像分割标签中所有类别的集合，c表示图像分割标签中的单个类别，即对应的像素点集合；Σi∈c∩c(i)表示遍历待补全点云中属于类别c的点并取其反射强度值，Σi∈C(i)表示遍历待补全的点并取其反射强度值；|c|为类别c对应的点集的大小；PCN(i)表示目标输出的补全点云反射强度投影图像中的点的反射强度值；GF(i)表示灰度图像中的像素点的灰度值；
Figure BDA0002473358170000034
表示PCN(i)对x方向求偏导，
Figure BDA0002473358170000035
表示PCN(i)对y方向求偏导，
Figure BDA0002473358170000041
表示GF(i)对x方向求偏导，
Figure BDA0002473358170000042
表示GF(i)对y方向求偏导；
当训练到一定轮次后，误差losscom绝对值小于预设阈值或振幅的绝对值小于预设阈值，停止训练。
作为上述方法的一种改进，所述方法还包括：对所述点云反射强度补全模型进行训练的步骤，具体包括：
建立对补全点云反射强度投影图像进行分割的点云图像分割模型，所述点云图像分割模型为第二SegNet语义分割神经网络，其输入为补全点云反射强度投影图像，输出为图像分割结果；对补全点云反射强度投影图像进行预设的变换裁剪，所得的矩阵为I″；把矩阵I″作为第二SegNet语义分割神经网络络的输入，目标输出为与I″同尺寸的矩阵，代表多个预测类别；每层通道上每一点的取值范围为0到1，同一点在所有层上的取值之和为1；
将第一SegNet语义分割神经网络和第二SegNet语义分割神经网络串联为一个神经网络；进行联合训练。
作为上述方法的一种改进，所述将第一SegNet语义分割神经网络和第二SegNet语义分割神经网络串联为一个神经网络；进行联合训练；具体包括：
获取多组用于模型训练的同一路面的灰度图像和激光雷达原始点云，仅使用和灰度图像对应的图像语义分割标签作为监督标签；语义分割标签为与对应图像同尺寸的单层矩阵，其上每点为整数值，代表该点所属的类别序号；
第一SegNet语义分割神经网络在训练过程中的误差losscom满足：
losscom＝lossE1*lossE2*lossTV
其中，
Figure BDA0002473358170000043
Figure BDA0002473358170000044
Figure BDA0002473358170000045
其中，lossE1,lossE2,lossTV均表示误差函数，C表示点云补全区域的像素点索引集合；i为单个像素点；E表示灰度图像对应边缘图上的点集合，EN表示目标输出的补全点云的边缘图的点集合；1E(i)为当点i属于集合E时对应边缘时为1，否则为0；，1EN(i)为当点i属于集合EN的边缘时为1，否则为0；|C|为待补全点云集合的大小，nclass表示图像分割标签中所有类别的集合，c表示图像分割标签中的单个类别，即对应的像素点集合；Σi∈c∩C(i)表示遍历待补全点云中属于类别c的点并取其反射强度值，Σi∈C(i)表示遍历待补全的点并取其反射强度值；|c|为类别c对应的点集的大小；PCN(i)表示目标输出的补全点云反射强度投影图像中的点的反射强度值；GF(i)表示灰度图像中的像素点的灰度值；
Figure BDA0002473358170000051
表示PCN(i)对x方向求偏导，
Figure BDA0002473358170000052
表示PCN(i)对y方向求偏导，
Figure BDA0002473358170000053
表示GF(i)对x方向求偏导，
Figure BDA0002473358170000054
表示GF(i)对y方向求偏导；
所述第二SegNet语义分割神经网络在训练过程中的误差lossseg满足：
Figure BDA0002473358170000055
其中，pc(i)表示图像分割标签中点i归属于类别c的概率，qc(i)表示分割网络的输出中点i归属于类别c的概率；
串联后的神经网络采用的误差loss为：
loss＝losscom+lossseg
当训练到一定轮次后，误差loss绝对值小于预设阈值或振幅的绝对值小于预设阈值，停止训练。
本发明该提供了一种激光雷达点云反射强度补全系统，所述系统包括标定的车载摄像头和激光雷达、数据采集模块、灰度图像边缘提取模块、点云预处理模块、训练好的的点云反射强度补全模型和点云反射强度补全模块，
所述数据采集模块，用于通过标定的车载摄像头和激光雷达获取同一路面的灰度图像和激光雷达原始点云；
所述灰度图像边缘提取模块，用于使用预设的边缘提取策略提取灰度图像的边缘信息，得到该灰度图像的边缘图像；
所述点云预处理模块，用于对原始点云进行预处理，得到原始点云反射强度投影图像和插值补全点云反射强度投影图像；
所述点云反射强度补全模块，用于将灰度图像、灰度图像的边缘图像、原始点云反射强度投影图像和插值补全点云反射强度投影图像，输入预先训练好的点云反射强度补全模型，输出补全点云反射强度投影图像。
与现有技术相比，本发明的优势在于：
1、本发明的方法先对点云预处理后得到补全区域，然后利用神经网络融合灰度图像和点云两种数据，并利用图像分割网络修正补全结果，可以充分利用激光雷达点云和相机图像之间的潜在关联，从而有效、准确地补全出激光雷达点云的反射强度图像，改善了单纯基于点云进行补全的方法的效果；
2、本发明的方法不仅克服了在纯点云补全中，部分区域的点云过于稀疏，难以补全的问题，而且提供了对应的图像作为参考，增加了信息含量，有效地改善了点云补全的效果；
3、本发明的方法中使用了基于图像标注的图像分割标签作为点云补全的监督标签，可以提升补全点云上对应区域的清晰度；由此可见，本发明提供的点云反射强度补全方法可以充分利用点云和图像之间的潜在关联，从而有效、准确地补全出激光雷达点云的反射强度图像。
附图说明
图1为本发明的实施例1提供的激光雷达点云反射强度补全方法的流程图；
图2为本发明的实施例1提供的点云预处理流程图；
图3为本发明的实施例1提供的使用点云图像分割对点云反射强度补全模型进行训练的流程图；
图4为本发明的实施例2提供的激光雷达点云反射强度补全系统的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在介绍本发明实施例之前首先对本发明实施例中涉及到的相关名词作如下释义：
点云：是指通过激光雷达等测量仪器得到的关于物体外观表面的点数据，每个点数据包含x、y、z坐标，深度以及反射强度信息。
灰度图像：是指通过灰度相机采集到的灰度图片，为单通道图像。
二维点云反射强度投影图：是指将激光雷达采集的点云投影到灰度图像所在平面上获得的二维投影图，其数值为点云中对应点的反射强度值。
标签：表示用于图像分割神经网络监督训练的类别标签，对每个像素点的类别进行了标注。
如图1所示，本发明的实施例1的一种激光雷达点云反射强度补全方法，具体包括步骤：
步骤1)获取同一路面的灰度图像和激光雷达点云；具体包括：
步骤101)通过车载灰度相机获取灰度图像GF；
采用安装在行驶车辆上的前向单目相机或前向单目摄像头采集路面图像信息。前向单目相机采集的是行驶车辆的行车方向正前方和路面上方的路面图像信息。即采集的路面图像信息是对应于采集车辆的行车方向的正前方和路面上方的信息的透视图。
步骤102)通过车载激光雷达获取原始点云PC0。
在本实施例中，路面图像信息和路面点云信息是同步采集的。即可以在行驶车辆上安装配置激光雷达和前向单目相机后，标定它们的相对位置姿态，同时开始对同一路面开始路面数据信息采集。
为了便于计算，本发明下述实施例中所涉及的点云，均为360°点云中正对车辆前方，即图像所在方向的部分。并且，由于相机和激光雷达已经完成标定，可以确定点云投影到像素平面的转换矩阵，以方便后续点云信息和图像信息的处理。
对相机的标定，采用张氏标定法，先设定相机坐标系与世界坐标系，利用相机在预设位置放置的棋盘格上的成像，计算棋盘格的角点位置在成像中的二维坐标，再与棋盘格角点的真实三维坐标计算出变换矩阵；对激光雷达的标定，先设定激光雷达坐标系与真实世界坐标系，在预设位置放置若干障碍物并对齐进行激光雷达扫描，利用障碍物获得的点云在激光雷达坐标系中的坐标和障碍物在真实世界坐标系中的坐标计算得到两个坐标系的变换矩阵，其余参数，包括激光雷达的扫描分辨率、扫描速度、激光雷达与相机的时间对齐等，由各自的硬件信息与安装时的测量可以获得。标定将获得世界坐标系与相机的成像坐标系、世界坐标系与激光雷达坐标系之间的相互转换矩阵。
步骤2)提取灰度图像的边缘信息，得到灰度图像的边缘图像。
使用预设的边缘提取策略来提取灰度图像GF上的边缘信息E。本实施例使用canny算子提取灰度图像GF的边缘，具体包括：
步骤201)对原始数据与高斯平滑模板作卷积；
步骤202)使用四个梯度算子来分别计算水平、垂直和对角线方向的梯度，这样对于每个点我们都标识在这个点上的最大值以及生成的边缘的方向；
步骤203)采用非最大值抑制：比较当前点的梯度强度和正负梯度方向点的梯度强度，如果当前点的梯度强度和同方向的其他点的梯度强度相比较是最大，保留其值，否则设为0；
步骤204)设置高阈值和低阈值来过滤检出的边缘；
步骤205)滞后边界跟踪：搜索所有连通的弱边缘，如果一条连通的弱边缘的任何一个点和强边缘点连通，则保留这条弱边缘，否则抑制这条弱边缘。
完成检测后，将检测所得的边缘点集E在同灰度图GF尺寸的图像上二值化，即点集E中的点取值为1，其余点取值为0，并返回该灰度图像的边缘图像，仍记为E。
步骤3)对点云进行预处理，得到点云反射强度投影图；
如图2所示，该步骤具体包括：
步骤301)将点云PC0从激光雷达的三维坐标系投影到灰度相机图像所在的二维像素平面，得到点云投影图像；
具体地，考虑激光雷达和前向摄像头已经完成标定工作，且根据标定参数得到了激光雷达三维坐标系和世界三维坐标系的转换矩阵K1，相机二维成像坐标系和世界三维坐标系的转换矩阵K2。假设世界坐标系下有一点P，在世界坐标系下对应的三维坐标为X0，在点云所在的雷达坐标系中对应的三维坐标为X1，在相机成像坐标系下的二维坐标为U，则U＝K2·X0，X1＝K1·X0，因此
Figure BDA0002473358170000081
接着截取二维点云图像和灰度图像对应位置且相同尺寸的部分，每个像素点的取值为对应的反射强度值，再对空缺的部分以0值填补。从而激光雷达点云可以转换为灰度图像对应的二维点云图像，仍记为PC0。
步骤302)提取点云投影图像的区域索引C；
取所有点云在x，y轴上坐标的最大最小值xmin,xmax,ymin,ymax，从而可以构造出以(xmin,ymin),(xmax,ymax)为对角线的最小包围矩形，恰好使得所有的点云都包围在其中。在具体实施中，示例性地，C保存为图像像素的坐标索引列表，或者与二维点云投影图同尺寸的二值矩阵，其中待补全区域的取值为1，其余区域的取值为0。
步骤303)对点云投影图像的待补全区域进行插值，得到插值补全点云反射强度投影图；
采用最近邻插值法对二维点云反射强度投影图像PC0进行插值，得到插值补全点云反射强度投影图像PC1。其中，对于PC1上每个点i，若其在PC0中的值非0，则找到PC0中距离点i最近的三个非零值点(x1,y1),(x2,y2),(x3,y3)则i点的补全值为：
Figure BDA0002473358170000091
Figure BDA0002473358170000092
该步骤的输出结果为原始点云反射强度投影图像PC0和最近邻插值法得到的补全点云反射强度投影图像PC1，以及点云区域索引C。如上所述，C可以为索引列表，或者对应的二值矩阵。
步骤4)通过点云反射强度补全模型，输出最终的补全点云反射强度投影图；
将原始灰度图像GF、灰度图像对应边缘图像E、原始点云反射强度投影图像PC0、插值补全点云反射强度投影图像PC1作为点云反射强度补全模型的输入，输出补全点云反射强度投影图像PCN；
点云反射强度补全模型可以是任何具有预测功能，或者称为语义分割功能、图像生成功能的神经网络，例如全卷积网络(FCN)等。神经网络可以是经过预训练的，也可以是根据本地数据进行训练的。其中，在该实施例中，神经网络不需要对理想补全点云进行人工标注，仅使用输入中的图像和灰度图对应的图像语义分割标签作为监督标签。语义分割标签为与对应图像同尺寸的单层矩阵，其上每点为整数值，代表该点所属的类别序号。下面描述神经网络模型的示例性训练流程。优选的，选用SegNet语义分割网络。
对用于点云反射强度补全的神经网络有两种方式，第一种方式是直接训练，具体过程为：
对于预处理流程，规定网络的输入尺寸为(512，256，4)，表示单通道上像素数量为(512，256)的4通道数据。为此，将所输入的灰度图像GF、灰度图像对应边缘图E、原始点云反射强度二维投影图PC0、插值补全点云反射强度二维投影图PC1叠加为4层矩阵，其每一层的尺寸相同。然后对每一层进行预设的变换裁剪，以符合网络的输入要求，记所得的矩阵为I′。随后，可以把矩阵I′作为神经网络的输入，神经网络的目标输出PCN为与I′同尺寸的单层矩阵，其上每一点的取值范围为0到1。
补全点云的神经网络模型在训练过程中的误差满足：
losscom＝lossE1*lossE2*lossTV
其中，
Figure BDA0002473358170000101
Figure BDA0002473358170000102
Figure BDA0002473358170000103
其中，lossE1,lossE2,lossTV均表示误差函数，C表示点云补全区域的像素点索引集合；i为单个像素点；E表示灰度图像对应边缘图上的点集合，EN表示目标输出的补全点云的边缘图的点集合；1E(i)为当点i属于集合E时对应边缘时为1，否则为0；，1EN(i)为当点i属于集合EN的边缘时为1，否则为0；|C|为待补全点云集合的大小，nclass表示图像分割标签中所有类别的集合，c表示图像分割标签中的单个类别，即对应的像素点集合；Σi∈c∩c(i)表示遍历待补全点云中属于类别c的点并取其反射强度值，Σi∈c(i)表示遍历待补全的点并取其反射强度值；|c|为类别c对应的点集的大小；PCN(i)表示目标输出的补全点云反射强度投影图像中的点的反射强度值；GF(i)表示灰度图像中的像素点的灰度值；
Figure BDA0002473358170000104
表示PCN(i)对x方向求偏导，
Figure BDA0002473358170000105
表示PCN(i)对y方向求偏导，
Figure BDA0002473358170000106
表示GF(i)对x方向求偏导，
Figure BDA0002473358170000107
表示GF(i)对y方向求偏导；
鉴于本领域技术人员应当理解神经网络模型的训练过程，描述如下：
基于工具PyTorch实现SegNet神经网络，将前述矩阵I′添加到inputs列表中作为输入，设定网络的编码器和解码器的尺寸大小、批处理数量、训练轮次数等需要人工预设的超参数后，开始训练，编码器将计算得到中间层的隐向量，再由解码器解码得到图像，提取边缘图EN，根据损失函数计算出误差loss以后，在反向传播步骤更新网络参数，从而完成一轮训练。当训练到一定轮次后，误差绝对值小于预设阈值或振幅的绝对值小于预设阈值，此时可以停止训练。注意，网络的目标输出的尺寸为(512，256，1)。
对于神经网络的激活函数，参考SegNet的结构，本实施例采用常用的Softmax和ReLu作为激活函数。应当理解，这里也可以替换为其他函数，但可能会对神经网络的性能带来部分影响。当神经网络完成训练后，可以开始测试新的图像。
第二种方式是联合训练，具体过程为：
为了校正步骤4)中的结果，加速神经网络的收敛，并增强补全点云PCN对不同类别区域的区分度，设计了点云图像分割模型对补全的点云进行分割。即补全点云反射强度二维投影图PCN作为点云图像分割模型的输入，输出为图像分割结果。
点云图像分割模型可以是任何具有预测功能，或者称为语义分割功能、图像生成功能的神经网络，例如全卷积网络(FCN)等。该神经网络可以是经过预训练的，也可以是根据本地数据进行训练的，并使用步骤4)中所述的图像语义分割标签作为监督标签。示例性地，假定标签上的取值为0到9的10个整数。优选地，该神经网络选用SegNet语义分割网络。
对于预处理流程，规定网络的输入尺寸为(512，256，1)。为此，对PCN进行预设的变换裁剪，以符合网络的输入要求，记所得的矩阵为I″。在本实施例中，由于PCN的尺寸与I″尺寸相同，因此可以避免变换裁剪。随后，把矩阵I″作为神经网络的输入，神经网络的目标输出为与I″同尺寸的10层矩阵，代表10个预测类别。每层通道上每一点的取值范围为0到1，同一点在10层上的取值之和为1。
用于点云图像分割的神经网络在训练过程中的误差满足：
Figure BDA0002473358170000111
其中，pc(i)表示图像分割标签中点i归属于类别c的概率，qc(i)表示分割网络的输出中点i归属于类别c的概率。
训练过程中，将其用于补全点云反射强度的神经网络和用于点云图像分割的神经网络串联为一个神经网络(又称“端到端训练”)，其采用的误差函数为：
loss＝losscom+lossseg
如图3所示，基于工具PyTorch实现并串联两个SegNet神经网络，将前述矩阵I′添加到inputs列表中作为第一个SegNet网络的输入，完成一次前向传播后获得目标输出PCN，并提取边缘图EN。接着将PCN转换为第二个SegNet网络的输入I″，完成一次前向传播后，对点云进行图像分割；根据上述损失函数loss＝losscom+lossseg计算误差，并在反向传播步骤更新两个网络的参数，从而完成一轮训练。当训练到一定轮次后，误差绝对值小于预设阈值或振幅的绝对值小于预设阈值，此时可以停止训练。注意，第一个SegNet网络的目标输出的尺寸为(512，256，1)，第二个SegNet网络的目标输出的尺寸为(512，256，10)。
对于神经网络的激活函数，参考SegNet的结构，本实施例采用常用的Softmax和ReLu作为激活函数。应当理解，这里也可以替换为其他函数，但可能会对神经网络的性能带来部分影响。当神经网络完成训练后，可以开始测试新的图像。
实施例2
如图4所示，本发明的实施例2提供了一种激光雷达点云反射强度补全系统，包括：所述系统包括标定的车载摄像头和激光雷达、灰度图像采集模块、激光雷达点云采集模块、灰度图像边缘提取模块、点云预处理模块、训练好的的点云反射强度补全模型和点云反射强度补全模块，其中，
所述灰度图像采集模块，用于通过标定的车载摄像头获取灰度图像；
所述激光雷达点云采集模块，用于通过激光雷达获取同一路面的原始点云；
所述灰度图像边缘提取模块，用于使用预设的边缘提取策略提取灰度图像的边缘信息，得到该灰度图像的边缘图像；
所述点云预处理模块，用于对原始点云进行预处理，得到原始点云反射强度投影图像和插值补全点云反射强度投影图像；
所述点云反射强度补全模块，用于将灰度图像、灰度图像的边缘图像、原始点云反射强度投影图像和插值补全点云反射强度投影图像，输入预先训练好的点云反射强度补全模型，输出补全点云反射强度投影图像。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种激光雷达点云反射强度补全方法，所述方法包括：
利用标定后的车载摄像头和激光雷达，获取同一路面的灰度图像和原始点云；
使用预设的边缘提取策略提取灰度图像的边缘信息，得到该灰度图像的边缘图像；
对原始点云进行预处理，得到原始点云反射强度投影图像和插值补全点云反射强度投影图像；
将灰度图像、灰度图像的边缘图像、原始点云反射强度投影图像和插值补全点云反射强度投影图像，输入预先训练好的点云反射强度补全模型，输出补全点云反射强度投影图像。
2.根据权利要求1所述的激光雷达点云反射强度补全方法，其特征在于，所述使用预设的边缘提取策略提取灰度图像的边缘信息，得到该灰度图像的边缘图像；具体为：使用canny算子提取灰度图像的边缘信息，将所得的边缘点集在与灰度图像相同尺寸的图像上进行二值化，即边缘点集中的点取值为1，其余点取值为0，得到该灰度图像的边缘图像。
3.根据权利要求1所述的激光雷达点云反射强度补全方法，其特征在于，所述对原始点云进行预处理，得到原始点云反射强度投影图像和插值补全点云反射强度投影图像；具体包括：
将原始点云PC0从激光雷达的三维坐标系投影到灰度图像所在的二维像素平面，得到原始点云反射强度投影图像；
提取原始点云反射强度投影图像的区域索引，该区域索引为图像像素的坐标索引列表，或者与点云投影图同尺寸的二值矩阵，其中待补全区域的取值为1，其余区域的取值为0；
对原始点云反射强度投影图像的待补全区域进行插值，得到插值补全点云反射强度投影图像。
4.根据权利要求3所述的激光雷达点云反射强度补全方法，其特征在于，所述将原始点云PC0从激光雷达的三维坐标系投影到灰度图像所在的二维像素平面，得到原始点云反射强度投影图像；具体为：
根据标定参数获取激光雷达三维坐标系和世界三维坐标系的转换矩阵K1，相机二维成像坐标系和世界三维坐标系的转换矩阵K2；
对于世界坐标系下的点P，在世界坐标系下对应的三维坐标为X0，在点云所在的雷达坐标系中对应的三维坐标为X1，在相机成像坐标系下的二维坐标为U，则U＝K2·X0，X1＝K1·X0，因此
Figure FDA0002719668410000021
截取二维点云图像和灰度图像对应位置且相同尺寸的部分，每个像素点的取值为对应的反射强度值，再对空缺的部分以0值填补；从而将激光雷达点云转换为灰度图像对应的二维点云图像，即原始点云反射强度投影图像。
5.根据权利要求4所述的激光雷达点云反射强度补全方法，其特征在于，所述对原始点云反射强度投影图像的待补全区域进行插值，得到插值补全点云反射强度投影图像；具体包括：
对于插值补全点云反射强度投影图像上第i个像素点，若其在点云反射强度投影图像中的值非0，则在点云反射强度投影图像中找到距离第i个像素点最近的三个非零值点(x1，y1)，(x2，y2)，(x3，y3)，则第i个像素点的补全值r(i)为：
Figure FDA0002719668410000022
Figure FDA0002719668410000023
6.根据权利要求5所述的激光雷达点云反射强度补全方法，其特征在于，所述点云反射强度补全模型为第一SegNet语义分割神经网络，其输入包括：灰度图像、灰度图像的边缘图像、原始点云反射强度投影图像和插值补全点云反射强度投影图像，输出为补全点云反射强度投影图像；将所输入的灰度图像、灰度图像的边缘图像、原始点云反射强度投影图像和插值补全点云反射强度投影图像叠加为4层矩阵，其每一层的尺寸相同；然后对每一层进行预设的变换裁剪，所得的矩阵为I′为网络的输入；网络的目标输出为与I′同尺寸的单层矩阵，其上每一点的取值范围为0到1。
7.根据权利要求6所述的激光雷达点云反射强度补全方法，其特征在于，所述方法还包括：对所述点云反射强度补全模型进行训练的步骤，具体包括：
获取多组用于模型训练的同一路面的灰度图像和原始点云，仅使用输入中的灰度图像对应的图像语义分割标签作为监督标签；语义分割标签为与对应图像同尺寸的单层矩阵，其上每点为整数值，代表该点所属的类别序号；
所述第一SegNet语义分割神经网络在训练过程中的误差losscom满足：
losscom＝lossE1*lossE2*lossTV
其中，
Figure FDA0002719668410000031
Figure FDA0002719668410000032
Figure FDA0002719668410000033
其中，lossE1，lossE2，lossTV均表示误差函数，C表示点云补全区域的像素点索引集合；i为单个像素点；E表示灰度图像对应边缘图上的点集合，EN表示目标输出的补全点云的边缘图的点集合；1E(i)为当点i属于集合E时对应边缘时为1，否则为0；1EN(i)为当点i属于集合EN的边缘时为1，否则为0；|C|为待补全点云集合的大小，nclass表示图像分割标签中所有类别的集合，c表示图像分割标签中的单个类别，即对应的像素点集合；∑i∈c∩C(i)表示遍历待补全点云中属于类别c的点并取其反射强度值，∑i∈C(i)表示遍历待补全的点并取其反射强度值；|c|为类别c对应的点集的大小；PCN(i)表示目标输出的补全点云反射强度投影图像中的点的反射强度值；GF(i)表示灰度图像中的像素点的灰度值；
Figure FDA0002719668410000034
表示PCN(i)对x方向求偏导，
Figure FDA0002719668410000035
表示PCN(i)对y方向求偏导，
Figure FDA0002719668410000036
表示GF(i)对x方向求偏导，
Figure FDA0002719668410000037
表示GF(i)对y方向求偏导；
当训练到一定轮次后，误差losscom绝对值小于预设阈值或振幅的绝对值小于预设阈值，停止训练。
8.根据权利要求6所述的激光雷达点云反射强度补全方法，其特征在于，所述方法还包括：对所述点云反射强度补全模型进行训练的步骤，具体包括：
建立对补全点云反射强度投影图像进行分割的点云图像分割模型，所述点云图像分割模型为第二SegNet语义分割神经网络，其输入为补全点云反射强度投影图像，输出为图像分割结果；对补全点云反射强度投影图像进行预设的变换裁剪，所得的矩阵为I″；把矩阵I″作为第二SegNet语义分割神经网络络的输入，目标输出为与I″同尺寸的矩阵，代表多个预测类别；每层通道上每一点的取值范围为0到1，同一点在所有层上的取值之和为1；
将第一SegNet语义分割神经网络和第二SegNet语义分割神经网络串联为一个神经网络；进行联合训练。
9.根据权利要求8所述的激光雷达点云反射强度补全方法，其特征在于，所述将第一SegNet语义分割神经网络和第二SegNet语义分割神经网络串联为一个神经网络；进行联合训练；具体包括：
获取多组用于模型训练的同一路面的灰度图像和激光雷达原始点云，仅使用和灰度图像对应的图像语义分割标签作为监督标签；语义分割标签为与对应图像同尺寸的单层矩阵，其上每点为整数值，代表该点所属的类别序号；
第一SegNet语义分割神经网络在训练过程中的误差losscom满足：
losscom＝lossE1*lossE2*lossTV
其中，
Figure FDA0002719668410000041
Figure FDA0002719668410000042
Figure FDA0002719668410000043
其中，lossE1，lossE2，lossTV均表示误差函数，C表示点云补全区域的像素点索引集合；i为单个像素点；E表示灰度图像对应边缘图上的点集合，EN表示目标输出的补全点云的边缘图的点集合；1E(i)为当点i属于集合E时对应边缘时为1，否则为0；1EN(i)为当点i属于集合EN的边缘时为1，否则为0；|C|为待补全点云集合的大小，nclass表示图像分割标签中所有类别的集合，c表示图像分割标签中的单个类别，即对应的像素点集合；∑i∈c∩C(i)表示遍历待补全点云中属于类别c的点并取其反射强度值，∑i∈C(i)表示遍历待补全的点并取其反射强度值；|c|为类别c对应的点集的大小；PCN(i)表示目标输出的补全点云反射强度投影图像中的点的反射强度值；GF(i)表示灰度图像中的像素点的灰度值；
Figure FDA0002719668410000044
表示PCN(i)对x方向求偏导，
Figure FDA0002719668410000045
表示PCN(i)对y方向求偏导，
Figure FDA0002719668410000046
表示GF(i)对x方向求偏导，
Figure FDA0002719668410000047
表示GF(i)对y方向求偏导；
所述第二SegNet语义分割神经网络在训练过程中的误差lossseg满足：
Figure FDA0002719668410000051
其中，pc(i)表示图像分割标签中点i归属于类别c的概率，qc(i)表示分割网络的输出中点i归属于类别c的概率；
串联后的神经网络采用的误差loss为：
loss＝losscom+lossseg
当训练到一定轮次后，误差loss绝对值小于预设阈值或振幅的绝对值小于预设阈值，停止训练。
10.一种激光雷达点云反射强度补全系统，其特征在于，所述系统包括标定的车载摄像头和激光雷达、数据采集模块、灰度图像边缘提取模块、点云预处理模块、训练好的的点云反射强度补全模型和点云反射强度补全模块，
所述数据采集模块，用于通过标定的车载摄像头和激光雷达获取同一路面的灰度图像和激光雷达原始点云；
所述灰度图像边缘提取模块，用于使用预设的边缘提取策略提取灰度图像的边缘信息，得到该灰度图像的边缘图像；
所述点云预处理模块，用于对原始点云进行预处理，得到原始点云反射强度投影图像和插值补全点云反射强度投影图像；
所述点云反射强度补全模块，用于将灰度图像、灰度图像的边缘图像、原始点云反射强度投影图像和插值补全点云反射强度投影图像，输入预先训练好的点云反射强度补全模型，输出补全点云反射强度投影图像。
CN202010355681.9A 2020-04-29 2020-04-29 一种激光雷达点云反射强度补全方法及系统 Active CN111553859B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010355681.9A CN111553859B (zh) 2020-04-29 2020-04-29 一种激光雷达点云反射强度补全方法及系统
US17/213,281 US11099275B1 (en) 2020-04-29 2021-03-26 LiDAR point cloud reflection intensity complementation method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010355681.9A CN111553859B (zh) 2020-04-29 2020-04-29 一种激光雷达点云反射强度补全方法及系统

Publications (2)

Publication Number Publication Date
CN111553859A CN111553859A (zh) 2020-08-18
CN111553859B true CN111553859B (zh) 2020-12-01

Family

ID=72000185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010355681.9A Active CN111553859B (zh) 2020-04-29 2020-04-29 一种激光雷达点云反射强度补全方法及系统

Country Status (2)

Country Link
US (1) US11099275B1 (zh)
CN (1) CN111553859B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016172960A1 (en) * 2015-04-30 2016-11-03 SZ DJI Technology Co., Ltd. System and method for enhancing image resolution
CN112184828B (zh) * 2020-08-21 2023-12-05 阿波罗智联(北京)科技有限公司 激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆
CN112184589B (zh) * 2020-09-30 2021-10-08 清华大学 一种基于语义分割的点云强度补全方法及系统
CN112308776B (zh) * 2020-09-30 2021-08-10 香港理工大学深圳研究院 解决遮挡与错误映射的影像序列与点云数据融合的方法
CN112270251B (zh) * 2020-10-26 2021-07-06 清华大学 一种基于互信息的自适应多传感器数据融合方法及系统
CN112541886A (zh) * 2020-11-27 2021-03-23 北京佳力诚义科技有限公司 一种激光雷达和相机融合人工智能矿石识别方法和装置
CN112614071B (zh) * 2020-12-29 2022-08-12 清华大学 基于自注意力的多样点云补全方法和装置
CN113487668A (zh) * 2021-05-25 2021-10-08 北京工业大学 一种半径不受限的可学习柱面反投影方法
CN113689483B (zh) * 2021-07-23 2024-01-12 浙江零跑科技股份有限公司 一种基于单目摄像头和激光雷达的测距方法
CN114004899A (zh) * 2021-11-12 2022-02-01 广东嘉腾机器人自动化有限公司 一种栈板位姿识别方法、存储介质及设备
CN114120110B (zh) * 2021-11-22 2022-08-05 中国科学院紫金山天文台 一种混杂场景机载激光点云分类的多粒度计算方法
CN114120129A (zh) * 2021-11-30 2022-03-01 哈尔滨工业大学 基于无人机图像和深度学习的滑坡滑移面的三维识别方法
CN114240990B (zh) * 2021-12-07 2023-04-28 电子科技大学 Sar图像点目标分割方法
US11527085B1 (en) * 2021-12-16 2022-12-13 Motional Ad Llc Multi-modal segmentation network for enhanced semantic labeling in mapping
CN114168554B (zh) * 2022-02-14 2022-05-20 山东信通电子股份有限公司 一种基于输电线路的点云标注文件同步方法及设备
WO2023164845A1 (zh) * 2022-03-02 2023-09-07 深圳市大疆创新科技有限公司 三维重建方法、装置、系统及存储介质
CN115019011B (zh) * 2022-05-30 2023-05-12 江苏集萃清联智控科技有限公司 一种面向水下环境的缺陷扫描系统和方法
CN114937081B (zh) * 2022-07-20 2022-11-18 之江实验室 基于独立非均匀增量采样的网联车位置估计方法及装置
CN117689784A (zh) * 2022-08-23 2024-03-12 北京初速度科技有限公司 三维路面的着色方法、装置、存储介质、电子设备及车辆
CN115240093B (zh) * 2022-09-22 2022-12-23 山东大学 基于可见光和激光雷达点云融合的输电通道自动巡检方法
CN115546482A (zh) * 2022-09-26 2022-12-30 浙江省测绘科学技术研究院 一种基于统计投影的室外点云语义分割方法
CN115830588B (zh) * 2023-02-16 2023-05-26 天翼交通科技有限公司 一种基于点云的目标检测方法、系统、存储介质及设备
CN115965928B (zh) * 2023-03-16 2023-07-07 安徽蔚来智驾科技有限公司 点云特征增强、目标检测方法、设备、介质及车辆
CN116386118B (zh) * 2023-04-17 2024-04-05 广州番禺职业技术学院 一种基于人像识别的粤剧匹配化妆系统及其方法
CN116449392B (zh) * 2023-06-14 2023-09-19 北京集度科技有限公司 一种地图构建方法、装置、计算机设备及存储介质
CN116486273B (zh) * 2023-06-20 2023-09-01 南昌工程学院 一种小样本遥感图像水体信息提取方法
CN116579955B (zh) * 2023-07-13 2023-10-20 厦门微图软件科技有限公司 一种新能源电芯焊缝反光点去噪和点云补全方法及系统
CN116912205B (zh) * 2023-07-13 2024-03-08 上海频准激光科技有限公司 一种基于神经网络模型的光纤熔接质量预测方法
CN116863432B (zh) * 2023-09-04 2023-12-22 之江实验室 基于深度学习的弱监督激光可行驶区域预测方法和系统
CN116879873B (zh) * 2023-09-08 2023-11-24 立臻精密智造(昆山)有限公司 成像质量检测方法、装置、电子设备及存储介质
CN117333676B (zh) * 2023-12-01 2024-04-02 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于图表达的点云特征提取方法、点云视觉检测方法
CN117450955B (zh) * 2023-12-21 2024-03-19 成都信息工程大学 基于空间环形特征的薄型物体三维测量方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665496A (zh) * 2018-03-21 2018-10-16 浙江大学 一种基于深度学习的端到端的语义即时定位与建图方法
CN109798903A (zh) * 2018-12-19 2019-05-24 广州文远知行科技有限公司 一种从地图数据中获取道路信息的方法及装置
CN110827202A (zh) * 2019-11-07 2020-02-21 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN110852949A (zh) * 2019-11-07 2020-02-28 上海眼控科技股份有限公司 点云数据补全方法、装置、计算机设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109407073B (zh) * 2017-08-15 2020-03-10 百度在线网络技术（北京）有限公司 反射值地图构建方法和装置
CN113341397A (zh) * 2017-08-15 2021-09-03 百度在线网络技术（北京）有限公司 反射值地图构建方法和装置
US11012713B2 (en) * 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11367224B2 (en) * 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US10991156B2 (en) * 2018-12-05 2021-04-27 Sri International Multi-modal data fusion for enhanced 3D perception for platforms

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665496A (zh) * 2018-03-21 2018-10-16 浙江大学 一种基于深度学习的端到端的语义即时定位与建图方法
CN109798903A (zh) * 2018-12-19 2019-05-24 广州文远知行科技有限公司 一种从地图数据中获取道路信息的方法及装置
CN110827202A (zh) * 2019-11-07 2020-02-21 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN110852949A (zh) * 2019-11-07 2020-02-28 上海眼控科技股份有限公司 点云数据补全方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Point Cloud Segmentation with LIDAR Reflection Intensity Behavior";Akin Tatoglu & Kishore Pochiraju;《2012 IEEE International Conference on Robotics and Automation》;20120531;全文 *

Also Published As

Publication number Publication date
CN111553859A (zh) 2020-08-18
US11099275B1 (en) 2021-08-24

Similar Documents

Publication Publication Date Title
CN111553859B (zh) 一种激光雷达点云反射强度补全方法及系统
CN109615611B (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
Shin et al. Vision-based navigation of an unmanned surface vehicle with object detection and tracking abilities
CN105678689B (zh) 高精地图数据配准关系确定方法及装置
CN111563415B (zh) 一种基于双目视觉的三维目标检测系统及方法
CN112184589B (zh) 一种基于语义分割的点云强度补全方法及系统
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN110288659B (zh) 一种基于双目视觉的深度成像及信息获取方法
CN112749594B (zh) 信息补全方法、车道线识别方法、智能行驶方法及相关产品
CN105335955A (zh) 对象检测方法和对象检测装置
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
CN110599489A (zh) 一种目标空间定位方法
CN112097732A (zh) 一种基于双目相机的三维测距方法、系统、设备及可读存储介质
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN114972968A (zh) 基于多重神经网络的托盘识别和位姿估计方法
CN112683228A (zh) 单目相机测距方法及装置
CN115147333A (zh) 一种目标检测方法及装置
CN115187941A (zh) 目标检测定位方法、系统、设备及存储介质
CN114842340A (zh) 一种机器人双目立体视觉障碍物感知方法与系统
CN114972758A (zh) 一种基于点云弱监督的实例分割方法
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN116968758A (zh) 一种基于三维场景表示的车辆控制方法及装置
CN113421217A (zh) 可行驶区域检测方法和装置
CN116740514A (zh) 时空误差容忍的多智能体协同感知方法、装置和电子设备
CN116215520A (zh) 基于超声波和3d环视的车辆碰撞预警及处理方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant