CN112184589A - 一种基于语义分割的点云强度补全方法及系统 - Google Patents

一种基于语义分割的点云强度补全方法及系统 Download PDF

Info

Publication number
CN112184589A
CN112184589A CN202011060052.XA CN202011060052A CN112184589A CN 112184589 A CN112184589 A CN 112184589A CN 202011060052 A CN202011060052 A CN 202011060052A CN 112184589 A CN112184589 A CN 112184589A
Authority
CN
China
Prior art keywords
reflection intensity
depth
dimensional
image
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011060052.XA
Other languages
English (en)
Other versions
CN112184589B (zh
Inventor
李骏
张新钰
李志伟
邹镇洪
赵文慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202011060052.XA priority Critical patent/CN112184589B/zh
Publication of CN112184589A publication Critical patent/CN112184589A/zh
Priority to US17/485,402 priority patent/US11315271B2/en
Application granted granted Critical
Publication of CN112184589B publication Critical patent/CN112184589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于语义分割的点云强度补全方法及系统，该方法包括：由相机和激光雷达同步采集路面的RGB图像和点云数据；利用转换矩阵对点云数据进行空间变换，生成二维反射强度投影图和二维深度投影图；对RGB图像和二维反射强度投影图经反射强度补全得到单通道反射强度投影图；对RGB图像和二维深度投影图经深度补全得到单通道深度投影图；对RGB图像、单通道反射强度投影图和单通道深度投影图经粗粒度补全处理，得到二维粗粒度反射强度投影图；对RGB图像和二维深度投影图经语义分割处理，得到若干个待补全区域；根据待补全区域对二维粗粒度反射强度投影图进行细粒度反射强度补全得到二维反射强度投影补全图。

Description

一种基于语义分割的点云强度补全方法及系统
技术领域
本发明属于无人驾驶领域，尤其涉及一种基于语义分割的点云强度补全方法及系统。
背景技术
激光雷达是无人驾驶数据采集的主要工具，在无人车车顶的激光雷达，一般有16/32/64/128线激光雷达，激光雷达的成本随着线数的增加而增加，但少线束的激光雷达收集到的点云较少，稀疏的点云难以用于高精度计算。
此外，在实际采集时，激光雷达返回光束的能量受到距离和传播介质的影响。远距离的物体无法返回光束或返回光束能量低于探测阈值；此外受到大气中微观粒子的影响，雨雪雾等气象条件会造成激光雷达发射的光束能量损耗，造成物体无法返回光束或返回光束能量低于探测阈值。这两种情况最终会导致接收器无法接收信号、接收信号被削弱或掺杂噪声。
当前的点云补全工作主要有如下局限：(1)局限于局部对象的点云补全，特别是室内场景或者单个物体的补全；(2)局限于局部依赖的补全，即基于相邻区域进行插值，缺乏对更大范围的具有相同语义的区域的参考；(3)在大型整体场景的补全工作中，注重的是深度补全工作，而针对反射强度补全工作研究较少。但是在反射强度值中，可以折射出物体之间的不同物理属性，例如车身和车轮，道路和树干。其次，补全的反射强度值可以为下游任务语义分割或者实例分割提供更多的有效信息，提高下游任务的精度。
在介绍本发明实施例之前首先对本发明实施例中涉及到的相关名词作如下释义：
点云：是指通过激光雷达d等测量仪器得到的关于物体外观表面的点数据，每个点数据包含x、y、z坐标，深度以及反射强度信息。
RGB图像：是指通过单目相机采集得到的彩色图像，为三通道图像。
二维点云反射强度投影图：是指将激光雷达采集的点云投影到灰度图像所在平面上获得的二维投影图，是单通道图像，其数值为点云中对应点的反射强度值。
二维点云深度投影图：是指将激光雷达采集的点云投影到灰度图像所在平面上获得的二维投影图，是单通道图像，其数值为点云中对应点的深度值。
标签：表示用于语义分割神经网络监督训练的类别标签，对每个像素点的类别进行了标注。
发明内容
本发明的目的在于克服现有技术缺陷，提出了一种基于语义分割的点云强度补全方法及系统。
为了实现上述目的，本发明提出了一种基于语义分割的点云强度补全方法，所述方法包括：
步骤1)由相机采集路面的RGB图像，由激光雷达同步采集该路面的点云数据；
步骤2)利用激光雷达坐标系与相机成像坐标系的转换矩阵对点云数据进行空间变换，生成二维反射强度投影图和二维深度投影图；
步骤3)对RGB图像和二维反射强度投影图经特征拼接和反射强度补全处理，得到单通道反射强度投影图；对RGB图像和二维深度投影图经特征拼接和深度补全处理，得到单通道深度投影图；对RGB图像、单通道反射强度投影图和单通道深度投影图经特征拼接及粗粒度补全处理，得到二维粗粒度反射强度投影图；
步骤4)对RGB图像和二维深度投影图经特征拼接和语义分割处理，得到若干个待补全区域；
步骤5)根据待补全区域对二维粗粒度反射强度投影图进行细粒度反射强度补全处理，得到二维反射强度投影补全图。
作为上述方法的一种改进，所述步骤2)具体包括：
利用激光雷达坐标系与相机成像坐标系的转换矩阵将点云数据投影到二维图像平面上，像素值为反射强度值，从而得到二维反射强度投影图；
利用激光雷达坐标系与相机成像坐标系的转换矩阵将点云数据投影到二维灰度图像的平面上，像素值为深度值，对空缺的部分以0值填补，从而得到二维深度投影图；其中，第i点的深度值
Figure BDA0002712129010000021
为：
Figure BDA0002712129010000022
其中，(xi，yi)点云数据中第i点的坐标值。
作为上述方法的一种改进，所述步骤3)具体包括：
步骤301)对RGB图像进行剪裁，得到尺寸为(352,1216,3)的RGB图像；对二维反射强度投影图进行剪裁，得到尺寸为(352,1216,1)的二维反射强度投影图，将上述两种剪裁后的图像进行特征拼接，得到尺寸为(352,1216,4)的二维反射强度拼接图像；
步骤302)将二维反射强度拼接图像输入预先建立和训练好的粗粒度反射强度补全子模型，得到单通道反射强度投影图；
步骤303)对RGB图像进行剪裁，得到尺寸为(352,1216,3)的RGB图像；对二维深度投影图进行剪裁，得到尺寸为(352,1216,1)的二维深度投影图；将上述两种剪裁后的图像进行特征拼接，得到尺寸为(352,1216,4)的二维深度拼接图像；
步骤304)将二维深度拼接图像输入预先建立和训练好的深度补全子模型，得到单通道深度投影图；
步骤305)将RGB图像、单通道反射强度投影图和单通道深度投影图进行粗粒度反射强度融合处理，得到二维粗粒度反射强度投影图。
作为上述方法的一种改进，所述粗粒度反射强度补全子模型的输入为尺寸为(352,1216,4)的拼接图像，输出为尺寸为(352,1216,1)的单通道反射强度投影图，该模型为自监督模型，包括均采用ResNet网络结构的编码器和解码器，激活函数为ReLU函数；关于反射强度的损失函数Lossrc为：
Figure BDA0002712129010000031
其中：n为具有有效反射强度值的像素点数目，i为具有反射强度值的像素点，Ri为粗粒度反射强度补全子模型对i点的反射强度预测值；
Figure BDA0002712129010000032
为i点的反射强度真值。
作为上述方法的一种改进，所述深度补全子模型的输入为尺寸为(352,1216,4)的二维深度拼接图像，输出为尺寸为(352,1216,1)的单通道深度投影图，该模型为自监督模型，包括均采用ResNet网络结构的编码器和解码器，激活函数为ReLU函数；将表面法线作为中间约束，深度补全损失函数Lossdc为：
Lossdc＝λ1Lossnormal+λ2Lossdepth
其中，Lossnormal为中间约束表面法线的损失函数，Lossdepth为深度的损失函数，λ1为Lossnormal的权重，λ2为Lossdepth的权重；
Figure BDA0002712129010000033
Figure BDA0002712129010000041
Figure BDA0002712129010000042
其中，Ni为深度补全子模型表面法线的预测值，
Figure BDA0002712129010000043
为表面法线的真值，n为有效像素值点的总数目，i为具有像素值的点，Di为深度补全子模型预测的第i点深度值，
Figure BDA0002712129010000044
为第i点的深度真值，di为第i点的深度真值与深度补全子模型预测深度值之间的误差，
Figure BDA0002712129010000045
为di对x方向的导数，
Figure BDA0002712129010000046
为di对y方向的导数。
作为上述方法的一种改进，其特征在于，所述粗粒度反射强度融合处理的损失函数Loss为：
Loss＝Lossdc+λ3Lossrc＝λ1Lossnormal+λ2Lossdepth+λ3Lossrc
其中，λ3为关于反射强度的损失函数Lossrc的权重系数。
作为上述方法的一种改进，所述步骤4)具体包括：
对RGB图像进行剪裁，得到尺寸为(352,1216,3)的RGB图像；
对二维深度投影图进行剪裁，得到尺寸为(352,1216,1)的二维深度投影图；
将上述两种剪裁后的图像进行特征拼接，得到尺寸为(352,1216,4)的二维深度拼接图像；
将二维深度拼接图像输入预先建立和训练好的语义分割模型，得到尺寸为(352,1216,10)的分类结果，其中10表示语义分割预测类别层数为10层，每层通道上每一点的取值为标签的概率值，范围为0到1，同一点在10层上的取值之和为1；
在每个像素点的10个概率值中，选取最大概率值对应的类别作为语义分割对应的标签，将图像上的不同的语义根据颜色进行区分，并且将相同颜色标注区域提取出来，获得各个待补全区域。
作为上述方法的一种改进，所述语义分割模型采用softmax函数作为分类函数，损失函数Losssementic为交叉熵函数：
Figure BDA0002712129010000047
Figure BDA0002712129010000051
其中，n为有效像素点的数目，m为语义分割的标签类别数目，Ci,j为语义分割对i像素点属于第j个类别的概率，
Figure BDA0002712129010000052
为i像素点属于第j个类别的真实概率，Zi,j为i像素点在神经网络最后一层第j个节点的输出结果。
作为上述方法的一种改进，所述步骤5)具体包括：
将各个待补全区域分别和二维粗粒度反射强度投影图对齐，在语义指导下，创建和语义分割标注图相同大小的各个反射强度待补全区域：将具有反射强度值的点标注为1，无反射强度值的点标注为0；
对待补全区域内标注为0的点，设像素点为i，坐标为(x,y)，反射强度值为r(x,y)；
当该点为待补全区域边界上的点时，对语义分割标注图使用OpenCV的canny算子提取边缘，作为补全区域的边缘，利用边缘上的相邻两个点和区域内部的一点向内插值，三个点分别记为(x1,y1),(x2,y2),(x3,y3)，则插值结果为：
Figure BDA0002712129010000053
当该点为待补全区域内部的点时，采用双线性插值法插值，选取距离该点最近的两个点：(x1,y1),(x2,y2)，利用这两个点扩张为一个矩形区域，对应地，选定矩形的顶点位置，分别为(x1,y1),(x1,y2),(x2,y1),(x2,y2)，则插值结果为：
Figure BDA0002712129010000054
一种基于语义分割的点云强度补全系统，所述系统包括：相机、激光雷达、点云数据预处理模块、粗粒度反射强度补全模块、语义分割模块和细粒度反射强度补全模块；其中，
所述相机，用于采集路面的RGB图像；
所述激光雷达，用于同步采集该路面的点云数据；
所述点云数据预处理模块，用于利用激光雷达坐标系与相机成像坐标系的转换矩阵对点云数据进行空间变换，生成二维反射强度投影图和二维深度投影图；
所述粗粒度反射强度补全模块，用于对RGB图像和二维反射强度投影图经特征拼接和反射强度补全处理，得到单通道反射强度投影图；对RGB图像和二维深度投影图经特征拼接和深度补全处理，得到单通道深度投影图；对RGB图像、单通道反射强度投影图和单通道深度投影图经特征拼接及粗粒度补全处理，得到二维粗粒度反射强度投影图；
所述语义分割模块，用于对RGB图像和二维深度投影图经特征拼接和语义分割处理，得到若干个待补全区域；
所述细粒度反射强度补全模块，用于根据待补全区域对二维粗粒度反射强度投影图进行细粒度反射强度补全处理，得到二维反射强度投影补全图。
与现有技术相比，本发明的优势在于：
1、本发明的方法可以同时完成深度补全、语义分割和反射强度补全，输出深度补全图、语义分割图像和反射强度补全图；
2、本发明的方法根据物理特性和深度学习方法对点云深度信息和反射强度信息之间的映射关系进行建模，利用深度图像和RGB图像补全深度信息，重建了稠密的点云三维空间结构，为反射强度补全提供了更完备的信息；
3、本发明的方法利用语义分割划分待补全区域，克服了插值算法造成的局部依赖问题，借助语义分割的引导信息可以准确、有效地补全反射强度，提高反射强度补全精度。
附图说明
图1是本发明实施例1的一种基于语义分割的点云强度补全方法的流程示意图；
图2是本发明实施例1的利用RGB图像、反射强度投影图、深度投影图，进行粗粒度反射强度补全的流程示意图；
图3是本发明实施例1的利用RGB图像和深度投影图，进行语义分割处理，并得到各个待补全区域的流程示意图；
图4为本发明实施例1的融合待补全区域和粗粒度反射强度投影图，对局部区域采用插值算法，进行细粒度反射强度补全的流程示意图。
具体实施方式
本发明所涉及的激光雷达反射强度补全，包含两个方面的工作：一方面是点云补全，另一方面是反射强度值补全。针对这两个方面的工作，一个新颖的思路是，基于多模态数据，挖掘各模态数据的空间特征，例如，RGB图像可以以较高精度提供边缘信息和纹理信息，点云数据可以提供深度信息，而且在多模态数据融合下可以同时实现深度补全与反射强度补全。
本发明提供了一种基于语义分割的点云强度补全方法，包括步骤：
1、利用单目相机和激光雷达，采集路面上的RGB图像和包含空间信息和反射强度信息的四维点云数据；
2、根据激光雷达点云数据，基于雷达和相机的标定结果对点云进行空间变换，生成单通道的二维反射强度投影图，深度投影图；
3、基于RGB图像、二维反射强度投影图和二维深度投影图，进行点云补全和粗粒度的反射强度补全，得到粗粒度补全之后的二维反射强度投影图；
4、基于RGB图像和二维深度投影图，进行语义分割，得到各个待补全区域；
5、融合语义分割之后的边缘数据和粗粒度补全的反射强度投影图，针对待补全区域，进行细粒度的激光雷达反射强度补全，输出二维反射强度投影图。
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
如图1所示，本发明的实施例1提出了一种基于语义分割的点云强度补全方法，具体实施步骤如下：
步骤1)通过单目相机和激光雷达分别获取同一场景的三通道RGB图像和点云数据；具体包括：
步骤101)通过车载单目相机获取路况的RGB图像CI；
采用安装在行驶车辆上的前向单目相机或前向单目摄像头采集前方场景的图像信息。前向单目相机采集的是行驶车辆的行车方向正前方和路面上方的路面图像信息。即采集的路面图像信息是对应于采集车辆的行车方向的正前方和路面上方的信息的透视图。
步骤102)通过车载激光雷达获取路况的点云数据PC；
在本实施例中，场景图像信息和场景点云信息是同步采集的。即可以在行驶车辆上安装配置激光雷达和前向单目相机后，标定它们的相对位置姿态，同时开始对同一路面开始路面数据信息采集。
为了便于计算，本发明下述实施例中所涉及的点云，均为360°点云中正对车辆前方，即图像所在方向的部分。并且，由于相机和激光雷达已经完成标定，可以确定点云投影到像素平面的转换矩阵，以方便后续点云信息和图像信息的处理。
对相机的标定，采用张氏标定法，先设定相机坐标系与世界坐标系，利用相机在预设位置放置的棋盘格上的成像，计算棋盘格的角点位置在成像中的二维坐标，再与棋盘格角点的真实三维坐标计算出变换矩阵；对激光雷达的标定，先设定激光雷达坐标系与真实世界坐标系，在预设位置放置若干障碍物并对齐进行激光雷达扫描，利用障碍物获得的点云在激光雷达坐标系中的坐标和障碍物在真实世界坐标系中的坐标计算得到两个坐标系的变换矩阵，其余参数，包括激光雷达的扫描分辨率、扫描速度、激光雷达与相机的时间对齐等，由各自的硬件信息与安装时的测量可以获得。标定将获得世界坐标系与相机的成像坐标系、世界坐标系与激光雷达坐标系之间的相互转换矩阵。
步骤2)通过点云数据PC,获取二维单通道的反射强度投影图和深度投影图，包括：
步骤201)将点云PC从三维坐标系投影到二维灰度图像的平面上，像素值为反射强度值PDR；
具体地，考虑激光雷达和前向摄像头已经完成标定工作，且根据标定参数得到了激光雷达三维坐标系和世界三维坐标系的转换矩阵K1，相机二维成像坐标系和世界三维坐标系的转换矩阵K2。假设世界坐标系下有一点P，在世界坐标系下对应的三维坐标为X0，在点云所在的雷达坐标系中对应的三维坐标为X1，在相机成像坐标系下的二维坐标为U，则U＝K2·X0，X1＝K1·X0，因此
Figure BDA0002712129010000081
接着截取二维点云图像和灰度图像对应位置且相同尺寸的部分，每个像素点的取值为对应的反射强度值，再对空缺的部分以0值填补。从而激光雷达点云可以转换为灰度图像对应的二维点云图像，记为PCR。
步骤202)和上述步骤相同，只将点云PC从三维坐标系投影到二维灰度图像的平面上，每个像素点的取值为深度值，其中第i点的深度值
Figure BDA0002712129010000082
为：
Figure BDA0002712129010000083
其中，x,y为点云数据中的x,y值，对空缺的部分以0值填补。从而获得点云的深度投影图像，记为PCD。
步骤3)输入RGB图像、反射强度投影图PCR、深度投影图PCD，利用自监督神经网络实现点云补全和粗粒度反射强度投影图；如图2所示，包含两条路径，具体包括：
步骤301)反射强度补全路径：将RGB图像CI、反射强度投影图PCR，作为粗粒度反射强度补全子模型的输入，输出点云反射强度投影图像PCR1；
鉴于本领域技术人员应当理解神经网络模型的训练过程，描述如下：
粗粒度反射强度补全子模型可以是任何具有预测功能，或者语义分割功能，图像生成功能的神经网络。考虑到实际场景中难以获得逐点的对点云反射强度的人工标注，所以神经网络的基础骨干采取自监督模型，将自身的输入值做为神经网络的监督标签值，下面描述神经网络的示例性训练流程。
在进行神经网络训练之前，需要对三通道RGB图像CI和单通道反射强度投影图像PCR进行预处理，将两部分图像的大小都裁剪为(352,1216)的大小，这时，单通道反射强度投影图像PCR的尺寸为(352,1216,1)，三通道RGB图像的尺寸为(352,1216,3)，将这两者的特征进行拼接，网络的输入大小为(352,1216,4)。网络的目标输出为(352,1216,1)。
基于工具PyTorch实现自监督神经网络，设定网络的编码器和解码器的尺寸大小、批处理数量、训练轮次数、各轮的学习率等需要人为定义的超参数之后，开始训练，编码器计算得到中间层的隐向量，再由解码器解码得到图像，在每个编码块和解码块中都采用ResNet网络结构，根据损失函数计算误差，利用反向传播算法更新网络参数，完成第一轮训练，直到完成所有轮的训练。为了加快网络的训练速度，在训练网络时，网络的激活函数选取为ReLU函数。
用于粗粒度反射强度补全路径的神经网络的损失函数为：
Figure BDA0002712129010000091
其中：
i：具有反射强度值的像素点；
n：具有有效反射强度值的像素点数目；
Ri：神经网络对i点的反射强度预测值；
Figure BDA0002712129010000092
i点的反射强度真值；
Lossrc：关于反射强度的损失函数。
步骤302)点云补全路径：RGB图像CI，深度投影图PCD输入点云补全子模块，利用表面法线作为中间约束，输出深度投影补全图。
与步骤301)中的预处理过程相似，在进行神经网络训练之前，需要对三通道RGB图像CI和单通道深度投影图像PCR进行预处理，将两部分图像的大小都裁剪为(352,1216)的大小，这时，单通道深度投影图像PCD的尺寸为(352,1216,1)，三通道RGB图像的尺寸为(352,1216,3)，将这两者的特征进行拼接，网络的输入大小为(352,1216,4)。网络的目标输出尺寸为(352,1216,1)。
基于工具PyTorch实现自监督神经网络，设定网络的编码器和解码器的尺寸大小、批处理数量、训练轮次数、各轮的学习率等需要人为定义的超参数之后，开始训练，编码器计算得到中间层的隐向量，再由解码器解码得到图像，在每个编码块和解码块中都采用ResNet网络结构，根据损失函数计算误差，利用反向传播算法更新网络参数，完成第一轮训练，直到完成所有轮的训练。为了加快网络的训练速度，在训练网络时，网络的激活函数选取为ReLU函数。
为了保证深度补全的精度，将表面法线作为中间约束，因此用于点云补全路径的神经网络的损失函数为：
Lossdc＝λ1Lossnormal+λ2Lossdepth
Figure BDA0002712129010000101
Figure BDA0002712129010000102
Figure BDA0002712129010000103
其中：
Di：神经网络预测的深度值；
Figure BDA0002712129010000104
i点的深度真值；
di：i点的深度真值与神经网络预测深度值之间的误差；
i：拥有像素值的点；
n：有效像素值点的总数目；
Figure BDA0002712129010000105
图像差值对x方向的导数；
Figure BDA0002712129010000106
图像差值对y方向的导数；
Ni：神经网络表面法线的预测值；
Figure BDA0002712129010000107
表面法线的真值；
Lossnormal：表示关于中间约束表面法线的损失函数；
Lossdepth：表示关于深度的损失函数；
步骤303)结合两条路径，将三通道RGB图像CI，单通道反射强度投影图PCR，单通道深度投影图PCD作为粗粒度反射强度模型的输入，如图2所示，并联步骤301)和步骤302)中的两条路径，
在总的损失函数下，对神经网络进行训练，损失函数如下：
Loss＝Lossdc+λ3Lossrc＝λ1Lossnormal+λ2Lossdepth+λ3Lossreflectance
步骤4)通过语义分割模块，如图3所示，对RGB图像CI和深度图PCD对神经网络进行训练，得到语义分割结果，通过语义分割模块，获取各个待补全区域Lj。
语义分割模型可以是任何有预测功能，图像生成功能的神经网络，该神经网络可以是经过预训练的，也可以是根据本地数据进行训练的，并使用图像语义分割标签作为监督标签。示例性地，假定标签上的取值为0到9的10个整数。
对于预处理流程，考虑到深度图可以提供更多的深度信息，网络的输入包括RGB图像CI和单通道二维深度投影图PCD，将图像统一裁剪为(352,1216)的大小，这时，单通道深度投影图像PCD的尺寸为(352,1216,1)，三通道RGB图像的尺寸为(352,1216,3)，将这两者的特征进行拼接，网络的输入大小为(352,1216,4)。网络的目标输出尺寸为(352,1216,10)。其中10代表语义分割中的预测类别总数。每层通道上每一点的取值范围为0到1，同一点在10层上的取值之和为1。
用于点云图像语义分割的神经网络在训练过程中，采取softmax函数作为分类函数，交叉熵函数作为损失函数：
Figure BDA0002712129010000111
Figure BDA0002712129010000112
其中：
n为有效像素点的数目，m为语义分割的标签类别数目，Ci,j为语义分割对i像素点属于第j个类别的概率，
Figure BDA0002712129010000113
为i像素点属于第j个类别的真实概率，Zi,j为i像素点在神经网络最后一层第j个节点的输出结果。
在每个像素点的10个概率值中，最大概率值对应的类别即为语义分割中对应的标签，将不同的语义根据不同的颜色进行区分，并且将相同颜色标注区域提取出来，获得各个待补全区域Lj。
步骤5)将各个待补全区域Lj和反射强度投影图对齐，将语义分割之后的各个待补全区域作为指引，对齐到反射强度投影图上的待补全区域，创建相同大小的Mask图片输入，即将具有反射强度值的点记为1，无反射强度值得点记为0。对补全区域内的点标记为0的点，分两种情况进行补全，如图4所示，具体包括：
步骤501)待补全区域边界上的点，记为(x,y)，反射强度值表示为：r(x,y)。对语义分割标注图使用OpenCV中canny算子提取边缘，作为补全区域的边缘。利用边缘上的相邻两个点和区域内部的一点向内插值，三个点分别记为(x1,y1),(x2,y2),(x3,y3)，那么插值结果为：
Figure BDA0002712129010000121
步骤502)将待补全区域Lj内部的标记为0的点，采用双线性插值法插值：假设像素点为i的点，其具体坐标为：(x,y)，反射强度值表示为：r(x,y)。选取距离该点最近的两个点，不妨设为(x1,y1),(x2,y2)，利用这两个点扩张为一个矩形区域，对应地，选定矩形的顶点位置，分别为(x1,y1),(x1,y2)，(x2,y1),(x2,y2)，那么插值结果为：
Figure BDA0002712129010000122
实施例2
基于上述方法，本发明的实施例2提出了一种基于语义分割的点云强度补全系统，主要包括相机、激光雷达和四个模块，分别为点云数据预处理模块、粗粒度反射强度补全模块、语义分割模块、细粒度反射强度补全模块，其中：
相机，用于采集路面的RGB图像；
激光雷达，用于同步采集该路面的点云数据；
点云数据预处理模块：根据激光雷达点云数据，基于雷达和相机的标定结果对三维点云进行空间变换，生成单通道的二维反射强度投影图和单通道的二维深度投影图；
粗粒度反射强度补全模块：采用RGB图像、二维反射强度投影图、深度投影图像作为输入，利用神经网络进行点云补全和反射强度补全，输出粗粒度反射强度补全图；
语义分割模块：采用RGB图像和二维深度图像作为输入，利用神经网络根据所属类别划分各个待补全区域，用于细粒度反射强度补全；
细粒度反射强度补全模块：语义分割之后的局部区域边缘特征和粗粒度反射强度补全图输入到细粒度补全模块，输出最终补全的反射强度投影图。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于语义分割的点云强度补全方法，所述方法包括：
步骤1)由相机采集路面的RGB图像，由激光雷达同步采集该路面的点云数据；
步骤2)利用激光雷达坐标系与相机成像坐标系的转换矩阵对点云数据进行空间变换，生成二维反射强度投影图和二维深度投影图；
步骤3)对RGB图像和二维反射强度投影图经特征拼接和反射强度补全处理，得到单通道反射强度投影图；对RGB图像和二维深度投影图经特征拼接和深度补全处理，得到单通道深度投影图；对RGB图像、单通道反射强度投影图和单通道深度投影图经粗粒度补全处理，得到二维粗粒度反射强度投影图；
步骤4)对RGB图像和二维深度投影图经特征拼接和语义分割处理，得到若干个待补全区域；
步骤5)根据待补全区域对二维粗粒度反射强度投影图进行细粒度反射强度补全处理，得到二维反射强度投影补全图。
2.根据权利要求1所述的基于语义分割的点云强度补全方法，其特征在于，所述步骤2)具体包括：
利用激光雷达坐标系与相机成像坐标系的转换矩阵将点云数据投影到二维图像平面上，像素值为反射强度值，从而得到二维反射强度投影图；
利用激光雷达坐标系与相机成像坐标系的转换矩阵将点云数据投影到二维灰度图像的平面上，像素值为深度值，对空缺的部分以0值填补，从而得到二维深度投影图；其中，第i点的深度值
Figure FDA0002712127000000012
为：
Figure FDA0002712127000000011
其中，(xi，yi)为点云数据中第i点的坐标值。
3.根据权利要求1所述的基于语义分割的点云强度补全方法，其特征在于，所述步骤3)具体包括：
步骤301)对RGB图像进行剪裁，得到尺寸为(352,1216,3)的RGB图像；对二维反射强度投影图进行剪裁，得到尺寸为(352,1216,1)的二维反射强度投影图，将上述两种剪裁后的图像进行特征拼接，得到尺寸为(352,1216,4)的二维反射强度拼接图像；
步骤302)将二维反射强度拼接图像输入预先建立和训练好的粗粒度反射强度补全子模型，得到单通道反射强度投影图；
步骤303)对RGB图像进行剪裁，得到尺寸为(352,1216,3)的RGB图像；对二维深度投影图进行剪裁，得到尺寸为(352,1216,1)的二维深度投影图；将上述两种剪裁后的图像进行特征拼接，得到尺寸为(352,1216,4)的二维深度拼接图像；
步骤304)将二维深度拼接图像输入预先建立和训练好的深度补全子模型，得到单通道深度投影图；
步骤305)将RGB图像、单通道反射强度投影图和单通道深度投影图进行粗粒度反射强度融合处理，得到二维粗粒度反射强度投影图。
4.根据权利要求3所述的基于语义分割的点云强度补全方法，其特征在于，所述粗粒度反射强度补全子模型的输入为尺寸为(352,1216,4)的拼接图像，输出为尺寸为(352,1216,1)的单通道反射强度投影图，该模型为自监督模型，包括均采用ResNet网络结构的编码器和解码器，激活函数为ReLU函数；关于反射强度的损失函数Lossrc为：
Figure FDA0002712127000000021
其中：n为具有有效反射强度值的像素点数目，i为具有反射强度值的像素点，Ri为粗粒度反射强度补全子模型对i点的反射强度预测值；
Figure FDA0002712127000000023
为i点的反射强度真值。
5.根据权利要求4所述的基于语义分割的点云强度补全方法，其特征在于，所述深度补全子模型的输入为尺寸为(352,1216,4)的二维深度拼接图像，输出为尺寸为(352,1216,1)的单通道深度投影图，该模型为自监督模型，包括均采用ResNet网络结构的编码器和解码器，激活函数为ReLU函数；将表面法线作为中间约束，深度补全损失函数Lossdc为：
Lossdc＝λ1Lossnormal+λ2Lossdepth
其中，Lossnormal为中间约束表面法线的损失函数，Lossdepth为深度的损失函数，λ1为Lossnormal的权重，λ2为Lossdepth的权重；
Figure FDA0002712127000000022
Figure FDA0002712127000000031
Figure FDA0002712127000000032
其中，Ni为深度补全子模型表面法线的预测值，
Figure FDA0002712127000000033
为表面法线的真值，n为有效像素值点的总数目，i为具有像素值的点，Di为深度补全子模型预测的第i点深度值，
Figure FDA0002712127000000034
为第i点的深度真值，di为第i点的深度真值与深度补全子模型预测深度值之间的误差，
Figure FDA0002712127000000035
为di对x方向的导数，
Figure FDA0002712127000000036
为di对y方向的导数。
6.根据权利要求5所述的基于语义分割的点云强度补全方法，其特征在于，所述粗粒度反射强度融合处理的损失函数Loss为：
Loss＝Lossdc+λ3Lossrc＝λ1Lossnormal+λ2Lossdepth+λ3Lossrc
其中，λ3为关于反射强度的损失函数Lossrc的权重系数。
7.根据权利要求1所述的基于语义分割的点云强度补全方法，其特征在于，所述步骤4)具体包括：
对RGB图像进行剪裁，得到尺寸为(352,1216,3)的RGB图像；
对二维深度投影图进行剪裁，得到尺寸为(352,1216,1)的二维深度投影图；
将上述两种剪裁后的图像进行特征拼接，得到尺寸为(352,1216,4)的二维深度拼接图像；
将二维深度拼接图像输入预先建立和训练好的语义分割模型，得到尺寸为(352,1216,10)的分类结果，其中10表示语义分割预测类别层数为10层，每层通道上每一点的取值为标签的概率值，范围为0到1，同一点在10层上的取值之和为1；
在每个像素点的10个概率值中，选取最大概率值对应的类别作为语义分割对应的标签，将图像上的不同的语义根据颜色进行区分，并且将相同颜色标注区域提取出来，获得各个待补全区域。
8.根据权利要求7所述的基于语义分割的点云强度补全方法，其特征在于，所述语义分割模型采用softmax函数作为分类函数，损失函数Losssementic为交叉熵函数：
Figure FDA0002712127000000041
Figure FDA0002712127000000042
其中，n为有效像素点的数目，m为语义分割的标签类别数目，Ci,j为语义分割对i像素点属于第j个类别的概率，
Figure FDA0002712127000000045
为i像素点属于第j个类别的真实概率，Zi,j为i像素点在神经网络最后一层第j个节点的输出结果。
9.根据权利要求1所述的基于语义分割的点云强度补全方法，其特征在于，所述步骤5)具体包括：
将各个待补全区域分别和二维粗粒度反射强度投影图对齐，在语义指导下，创建和语义分割标注图相同大小的各个反射强度待补全区域：将具有反射强度值的点标注为1，无反射强度值的点标注为0；
对待补全区域内标注为0的点，设像素点为i，坐标为(x,y)，反射强度值为r(x,y)；
当该点为待补全区域边界上的点时，对语义分割标注图使用OpenCV的canny算子提取边缘，作为补全区域的边缘，利用边缘上的相邻两个点和区域内部的一点向内插值，三个点分别记为(x1,y1),(x2,y2),(x3,y3)，则插值结果为：
Figure FDA0002712127000000043
当该点为待补全区域内部的点时，采用双线性插值法插值，选取距离该点最近的两个点：(x1,y1),(x2,y2)，利用这两个点扩张为一个矩形区域，对应地，选定矩形的顶点位置，分别为(x1,y1),(x1,y2),(x2,y1),(x2,y2)，则插值结果为：
Figure FDA0002712127000000044
10.一种基于语义分割的点云强度补全系统，其特征在于，所述系统包括：相机、激光雷达、点云数据预处理模块、粗粒度反射强度补全模块、语义分割模块和细粒度反射强度补全模块；其中，
所述相机，用于采集路面的RGB图像；
所述激光雷达，用于同步采集该路面的点云数据；
所述点云数据预处理模块，用于利用激光雷达坐标系与相机成像坐标系的转换矩阵对点云数据进行空间变换，生成二维反射强度投影图和二维深度投影图；
所述粗粒度反射强度补全模块，用于对RGB图像和二维反射强度投影图经特征拼接和反射强度补全处理，得到单通道反射强度投影图；对RGB图像和二维深度投影图经特征拼接和深度补全处理，得到单通道深度投影图；对RGB图像、单通道反射强度投影图和单通道深度投影图经特征拼接及粗粒度补全处理，得到二维粗粒度反射强度投影图；
所述语义分割模块，用于对RGB图像和二维深度投影图经特征拼接和语义分割处理，得到若干个待补全区域；
所述细粒度反射强度补全模块，用于根据待补全区域对二维粗粒度反射强度投影图进行细粒度反射强度补全处理，得到二维反射强度投影补全图。
CN202011060052.XA 2020-09-30 2020-09-30 一种基于语义分割的点云强度补全方法及系统 Active CN112184589B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011060052.XA CN112184589B (zh) 2020-09-30 2020-09-30 一种基于语义分割的点云强度补全方法及系统
US17/485,402 US11315271B2 (en) 2020-09-30 2021-09-25 Point cloud intensity completion method and system based on semantic segmentation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011060052.XA CN112184589B (zh) 2020-09-30 2020-09-30 一种基于语义分割的点云强度补全方法及系统

Publications (2)

Publication Number Publication Date
CN112184589A true CN112184589A (zh) 2021-01-05
CN112184589B CN112184589B (zh) 2021-10-08

Family

ID=73947149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011060052.XA Active CN112184589B (zh) 2020-09-30 2020-09-30 一种基于语义分割的点云强度补全方法及系统

Country Status (2)

Country Link
US (1) US11315271B2 (zh)
CN (1) CN112184589B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927281A (zh) * 2021-04-06 2021-06-08 Oppo广东移动通信有限公司 深度检测方法、深度检测装置、存储介质与电子设备
CN113256546A (zh) * 2021-05-24 2021-08-13 浙江大学 一种基于彩色图指导的深度图补全方法
CN113312983A (zh) * 2021-05-08 2021-08-27 华南理工大学 基于多模态数据融合的语义分割方法、系统、装置及介质
CN113408454A (zh) * 2021-06-29 2021-09-17 上海高德威智能交通系统有限公司 一种交通目标检测方法、装置、电子设备及检测系统
CN113902061A (zh) * 2021-11-15 2022-01-07 深圳先进技术研究院 一种点云补全方法和装置
CN114565616A (zh) * 2022-03-03 2022-05-31 湖南大学无锡智能控制研究院 一种非结构化道路状态参数估计方法及系统
CN114897955A (zh) * 2022-04-25 2022-08-12 电子科技大学 一种基于可微几何传播的深度补全方法
CN115035296A (zh) * 2022-06-15 2022-09-09 清华大学 一种基于鸟瞰投影的飞行汽车3d语义分割方法及系统
CN115546482A (zh) * 2022-09-26 2022-12-30 浙江省测绘科学技术研究院 一种基于统计投影的室外点云语义分割方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12062186B2 (en) * 2020-10-07 2024-08-13 Sri International RGBD video semantic segmentation with temporal and geometric consistency
CN117409161A (zh) * 2022-07-06 2024-01-16 戴尔产品有限公司 点云处理方法和电子设备
KR20240020543A (ko) * 2022-08-08 2024-02-15 현대자동차주식회사 차량의 카메라 캘리브레이션 장치 및 방법
CN115578465B (zh) * 2022-12-09 2023-03-10 幻幕谷智能科技(苏州)有限公司 一种基于双目视觉的激光定位与标注方法及产品和应用
CN116579955B (zh) * 2023-07-13 2023-10-20 厦门微图软件科技有限公司 一种新能源电芯焊缝反光点去噪和点云补全方法及系统

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260737A (zh) * 2015-11-25 2016-01-20 武汉大学 一种融合多尺度特征的激光扫描数据物理平面自动化提取方法
CN107862293A (zh) * 2017-09-14 2018-03-30 北京航空航天大学 基于对抗生成网络的雷达生成彩色语义图像系统及方法
CN108230329A (zh) * 2017-12-18 2018-06-29 孙颖 基于多尺度卷积神经网络的语义分割方法
CN108242064A (zh) * 2016-12-27 2018-07-03 合肥美亚光电技术股份有限公司 基于面阵结构光系统的三维重建方法及系统
CN108415032A (zh) * 2018-03-05 2018-08-17 中山大学 一种基于深度学习与激光雷达的点云语义地图构建方法
CN108541322A (zh) * 2016-08-29 2018-09-14 北京清影机器视觉技术有限公司 三维视觉测量数据的处理方法和装置
CN109064533A (zh) * 2018-07-05 2018-12-21 深圳奥比中光科技有限公司 一种3d漫游方法及系统
US20190056501A1 (en) * 2017-08-15 2019-02-21 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for constructing reflectance map
CN109447923A (zh) * 2018-09-27 2019-03-08 中国科学院计算技术研究所 一种语义场景补全系统与方法
CN109949372A (zh) * 2019-03-18 2019-06-28 北京智行者科技有限公司 一种激光雷达与视觉联合标定方法
CN111145174A (zh) * 2020-01-02 2020-05-12 南京邮电大学 基于图像语义特征进行点云筛选的3d目标检测方法
CN111161202A (zh) * 2019-12-30 2020-05-15 上海眼控科技股份有限公司 车辆行为信息获取方法、装置、计算机设备和存储介质
CN111210518A (zh) * 2020-01-15 2020-05-29 西安交通大学 基于视觉融合地标的拓扑地图生成方法
CN111274976A (zh) * 2020-01-22 2020-06-12 清华大学 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN111507982A (zh) * 2019-06-28 2020-08-07 浙江大学 一种基于深度学习的点云语义分割方法
US10740897B2 (en) * 2017-09-12 2020-08-11 Beihang University Method and device for three-dimensional feature-embedded image object component-level semantic segmentation
CN111553859A (zh) * 2020-04-29 2020-08-18 清华大学 一种激光雷达点云反射强度补全方法及系统
CN111583390A (zh) * 2020-04-28 2020-08-25 西安交通大学 基于深度语义融合的卷积神经网络的三维语义图重建方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014177750A1 (en) * 2013-04-29 2014-11-06 Nokia Corporation A method and apparatus for fusing distance data from a distance sensing camera with an image
EP3525000B1 (en) * 2018-02-09 2021-07-21 Bayerische Motoren Werke Aktiengesellschaft Methods and apparatuses for object detection in a scene based on lidar data and radar data of the scene
CN110853075B (zh) * 2019-11-05 2021-08-06 北京理工大学 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN110827202A (zh) * 2019-11-07 2020-02-21 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN111080659A (zh) * 2019-12-19 2020-04-28 哈尔滨工业大学 一种基于视觉信息的环境语义感知方法
CN111462237B (zh) * 2020-04-03 2022-09-20 清华大学 利用多源信息构建四通道虚拟图像的目标距离检测方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260737A (zh) * 2015-11-25 2016-01-20 武汉大学 一种融合多尺度特征的激光扫描数据物理平面自动化提取方法
CN108541322A (zh) * 2016-08-29 2018-09-14 北京清影机器视觉技术有限公司 三维视觉测量数据的处理方法和装置
CN108242064A (zh) * 2016-12-27 2018-07-03 合肥美亚光电技术股份有限公司 基于面阵结构光系统的三维重建方法及系统
US20190056501A1 (en) * 2017-08-15 2019-02-21 Baidu Online Network Technology (Beijing) Co., Ltd Method and apparatus for constructing reflectance map
US10740897B2 (en) * 2017-09-12 2020-08-11 Beihang University Method and device for three-dimensional feature-embedded image object component-level semantic segmentation
CN107862293A (zh) * 2017-09-14 2018-03-30 北京航空航天大学 基于对抗生成网络的雷达生成彩色语义图像系统及方法
CN108230329A (zh) * 2017-12-18 2018-06-29 孙颖 基于多尺度卷积神经网络的语义分割方法
CN108415032A (zh) * 2018-03-05 2018-08-17 中山大学 一种基于深度学习与激光雷达的点云语义地图构建方法
CN109064533A (zh) * 2018-07-05 2018-12-21 深圳奥比中光科技有限公司 一种3d漫游方法及系统
CN109447923A (zh) * 2018-09-27 2019-03-08 中国科学院计算技术研究所 一种语义场景补全系统与方法
CN109949372A (zh) * 2019-03-18 2019-06-28 北京智行者科技有限公司 一种激光雷达与视觉联合标定方法
CN111507982A (zh) * 2019-06-28 2020-08-07 浙江大学 一种基于深度学习的点云语义分割方法
CN111161202A (zh) * 2019-12-30 2020-05-15 上海眼控科技股份有限公司 车辆行为信息获取方法、装置、计算机设备和存储介质
CN111145174A (zh) * 2020-01-02 2020-05-12 南京邮电大学 基于图像语义特征进行点云筛选的3d目标检测方法
CN111210518A (zh) * 2020-01-15 2020-05-29 西安交通大学 基于视觉融合地标的拓扑地图生成方法
CN111274976A (zh) * 2020-01-22 2020-06-12 清华大学 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN111583390A (zh) * 2020-04-28 2020-08-25 西安交通大学 基于深度语义融合的卷积神经网络的三维语义图重建方法
CN111553859A (zh) * 2020-04-29 2020-08-18 清华大学 一种激光雷达点云反射强度补全方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张新钰 等: "面向自动驾驶目标检测的深度多模态融合技术", 《智能系统学报》 *
李健 等: "融合多特征深度学习的地面激光点云语义分割", 《测绘科学》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112927281A (zh) * 2021-04-06 2021-06-08 Oppo广东移动通信有限公司 深度检测方法、深度检测装置、存储介质与电子设备
CN113312983A (zh) * 2021-05-08 2021-08-27 华南理工大学 基于多模态数据融合的语义分割方法、系统、装置及介质
CN113312983B (zh) * 2021-05-08 2023-09-05 华南理工大学 基于多模态数据融合的语义分割方法、系统、装置及介质
CN113256546A (zh) * 2021-05-24 2021-08-13 浙江大学 一种基于彩色图指导的深度图补全方法
CN113408454A (zh) * 2021-06-29 2021-09-17 上海高德威智能交通系统有限公司 一种交通目标检测方法、装置、电子设备及检测系统
CN113408454B (zh) * 2021-06-29 2024-02-06 上海高德威智能交通系统有限公司 一种交通目标检测方法、装置、电子设备及检测系统
WO2023082415A1 (zh) * 2021-11-15 2023-05-19 深圳先进技术研究院 一种点云补全方法和装置
CN113902061A (zh) * 2021-11-15 2022-01-07 深圳先进技术研究院 一种点云补全方法和装置
CN114565616A (zh) * 2022-03-03 2022-05-31 湖南大学无锡智能控制研究院 一种非结构化道路状态参数估计方法及系统
CN114565616B (zh) * 2022-03-03 2022-12-09 湖南大学无锡智能控制研究院 一种非结构化道路状态参数估计方法及系统
CN114897955A (zh) * 2022-04-25 2022-08-12 电子科技大学 一种基于可微几何传播的深度补全方法
CN115035296A (zh) * 2022-06-15 2022-09-09 清华大学 一种基于鸟瞰投影的飞行汽车3d语义分割方法及系统
CN115546482A (zh) * 2022-09-26 2022-12-30 浙江省测绘科学技术研究院 一种基于统计投影的室外点云语义分割方法
CN115546482B (zh) * 2022-09-26 2024-07-12 浙江省测绘科学技术研究院 一种基于统计投影的室外点云语义分割方法

Also Published As

Publication number Publication date
CN112184589B (zh) 2021-10-08
US11315271B2 (en) 2022-04-26
US20220101548A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
CN112184589B (zh) 一种基于语义分割的点云强度补全方法及系统
CN111553859B (zh) 一种激光雷达点云反射强度补全方法及系统
US12020476B2 (en) Data synthesis for autonomous control systems
CN111201451B (zh) 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置
CN111126269B (zh) 三维目标检测方法、装置以及存储介质
CN113159151B (zh) 面向自动驾驶的多传感器深度融合3d目标检测方法
CN111563415B (zh) 一种基于双目视觉的三维目标检测系统及方法
JP6272217B2 (ja) 移動する物体の近傍の自由空間を推定する方法および装置
KR20220155559A (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
CN111429514A (zh) 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN112749594B (zh) 信息补全方法、车道线识别方法、智能行驶方法及相关产品
Siegemund et al. A temporal filter approach for detection and reconstruction of curbs and road surfaces based on conditional random fields
KR102466804B1 (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
CN115359474A (zh) 适用于移动端的轻量级三维目标检测方法、装置及介质
CN117237919A (zh) 跨模态监督学习下多传感器融合检测的卡车智驾感知方法
WO2023002093A1 (en) Systems and methods for determining road traversability using real time data and a trained model
CN113988197B (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN114549542A (zh) 视觉语义分割方法、装置及设备
CN114118247A (zh) 一种基于多传感器融合的无锚框3d目标检测方法
CN116778262B (zh) 一种基于虚拟点云的三维目标检测方法和系统
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN116129553A (zh) 一种基于多源车载设备的融合感知方法及系统
CN112651405B (zh) 目标检测方法及装置
CN112766100A (zh) 一种基于关键点的3d目标检测方法
de Paz Mouriño et al. Multiview rasterization of street cross-sections acquired with mobile laser scanning for semantic segmentation with convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant