CN110570429B - 一种基于三维点云的轻量级实时语义分割方法 - Google Patents
一种基于三维点云的轻量级实时语义分割方法 Download PDFInfo
- Publication number
- CN110570429B CN110570429B CN201910813098.5A CN201910813098A CN110570429B CN 110570429 B CN110570429 B CN 110570429B CN 201910813098 A CN201910813098 A CN 201910813098A CN 110570429 B CN110570429 B CN 110570429B
- Authority
- CN
- China
- Prior art keywords
- semantic
- point cloud
- dimensional point
- layer
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000012795 verification Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 4
- 238000005286 illumination Methods 0.000 abstract description 4
- 230000008447 perception Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于三维点云的轻量级实时语义分割方法,包括步骤:1)获取基础数据;2)将数据集中的三维点云投影成二维球形图;3)通过叠加多层设计的轻量化卷积模块ShuffleSqueeze Block组成编码器,每一层都提取语义特征图,构造多层语义特征图;4)通过叠加多层反卷积层与卷积层组成解码器,将编码器的每层语义特征图与解码器反卷积得到的语义特征图融合进行特征精修,构建基于编码器‑解码器主干的语义分割器;5)构建训练数据集,对语义分割器进行训练;6)获取待检测三维点云并利用训练好的分割器进行语义分割。本发明够利用激光雷达获得的三维点云进行实时语义分割,在各种光照情况条件下满足自动驾驶中环境感知所需要的实时性与准确性。
Description
技术领域
本发明涉及计算机视觉、深度学习、语义分割的技术领域,尤其是指一种基于三维点云的轻量级实时语义分割方法。
背景技术
近年来,语义分割任务在生产生活中应用越来越广泛,越来越多的应用场景需要精确且高效的分割技术,如室外自动驾驶,室内导航等。特别是自动驾驶,需要对汽车周边环境精确,实时,鲁棒的感知,分割。二维图片的语义分割面临着准确度受光线,玻璃反射等问题影响较大的挑战,而三维点云通过激光扫描获取,不会受到上面所说的光照问题的影响。但是三维点云有着稀疏,点数量大需要高性能计算平台来分割的挑战,因此在嵌入式平台的轻量级的实时语义分割进行更深层级的研究具有重大意义。
目前,语义分割技术研究方面主要采用基于深度学习模型的方法,但还面临如下问题:
(1)深度学习模型往往是由数据驱动,需要基于大量的数据集进行训练,但很多应用领域并没有大量的标注数据,或者数据量大但标注成本很高导致无法实际应用。
(2)在二维图像采集过程中,由于环境、光照、拍摄视角、遮挡以及物体自身的非刚体形变,导致物体在图像中的表观特征具有很大的多样性,对语义分割算法的鲁棒性提出了很高的要求。
(3)对于场景信息、语义信息等图像中的原有信息的利用不充分,造成一些有效信息的缺失。
(4)目前的算法,特别是三维点云的语义分割,为保证检测准确率,需要重型的网络以及高性能的计算平台进行推理,且推理时间长,无法适应嵌入式平台下实时分割的要求。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提出了一种基于三维点云的轻量级实时语义分割方法,能够利用激光雷达获得的三维点云进行实时语义分割,在各种光照情况条件下满足自动驾驶中环境感知所需要的实时性与准确性。
为实现上述目的,本发明所提供的技术方案为:一种基于三维点云的轻量级实时语义分割方法,包括以下步骤:
1)获取基础数据,包括支持集类别的图像数据、标签及验证三维点云;
2)将数据集中的三维点云投影成二维球形图;
3)通过叠加多层设计的轻量化卷积模块ShuffleSqueeze Block组成编码器,每一层都提取语义特征图,构造多层语义特征图;
4)通过叠加多层反卷积层与卷积层组成解码器,将编码器的每层语义特征图与解码器反卷积得到的语义特征图融合进行特征精修,构建基于编码器-解码器主干的语义分割器;
5)构建训练数据集,对语义分割器进行训练;
6)获取待检测三维点云并利用训练好的语义分割器进行语义分割。
在步骤1)中,所述支持集类别的图像数据是指从数据集中获得的用作模型支持集的三维点云,所述标签为三维点云中每个点所属类别,所述验证三维点云是指从数据集中支持集以外随机获取的用于验证分割器效果的三维点云。
在步骤2)中,每个原始三维点云中的点用笛卡尔坐标系来表示:(x,y,z),其中,x表示横坐标,y表示纵坐标,z表示竖轴上的坐标;将数据集中的三维点云投影成二维球形图,具体是将三维点云数据投影成基于网格的密集的球形图,三维点云的点与球形图的对应关系如下:
其中,θ表示顶角,表示方位角,表示二维网格图中每个点的位置,Δθ与表示投影的分辨率,使用Velodyne HDL-64E LiDAR激光扫描仪获得的激光在垂直方向上是64线,即高度64,取扫描正前方90°的前景转换成512个网格,因此数据集中每张三维点云投影图为64×512×5大小,其中5为特征数,分别为笛卡尔坐标x、y、z及强度、范围。
在步骤3)中,通过叠加多层设计的轻量化卷积模块ShuffleSqueeze Block组成编码器,每一层都提取语义特征图,构造多层语义特征图,包括以下步骤:
3.1)每个包含N个三维点云示例的支持集C的集合描述为:
C={(x1,L1),...,(xN,LN)}
其中,xi表示三维点云示例,Li表示其标签,下标i=1,2,3,…,N,为索引号;
3.2)轻量化的卷积模块ShuffleSqueeze Block是将标准的3×3卷积分解为多个小的1×1卷积与3×3卷积达到减少内存占用的目的,从而实现轻量化,每个点的卷积运算为:
其中,y为输出的特征映射,p0为每个像素的位置,R为卷积核,有R={(-1,1),(-1,0),...,(0,1),(1,1)},pi为卷积核中每个点的坐标,w(p0)为位置p0的权重,x为输入的原始图像,通过该卷积运算得到其可视化特征向量f(x);
3.3)每经过一层ShuffleSqueeze Block生成一层语义特征图,随着层数加深,特征图的语义信息越来越丰富,空间信息越来越稀疏。
在步骤4)中,通过叠加多层反卷积层与卷积层组成解码器,将编码器的每层语义特征图与解码器反卷积得到的语义特征图融合进行特征精修,构建基于编码器-解码器主干的语义分割器,包括以下步骤:
4.1)通过反卷积提升语义特征图大小,通过卷积来精修解码特征,反复进行反卷积与卷积的操作,将特征图恢复到原二维球形图大小,利用语义信息来恢复空间信息;
4.2)假设靠近原始数据的ShuffleSqueeze Block的语义特征图在Li层,比Li更深一层的语义特征图在Li+1层,当将编码器的Li层的语义特征图与解码器的Li的语义特征图融合时,通过引入经过空间注意力模块的Li+1层的编码器的语义特征图来引导两个语义特征图更好的融合;
4.3)逐层将语义特征图恢复到输入二维球形图的大小,并得到每个点的分割结果D;
4.4)使用softmax归一化算子将分割结果D进行归一化得到每个点的为每个类别的概率prob:
prob=softmax(D)
4.5)根据prob的大小确定其类别;
4.6)训练时使用交叉熵作为损失函数L:
在步骤5)中构建训练数据集,对语义分割器进行训练,包括以下步骤:
5.1)构建训练数据集,使用公开数据集KITTI,包含三维点云、标签;
5.2)通过取2000个随机三维点云投影图像作为验证图像,输入分割器并通过损失函数不断调整提高分割器效果,训练完成后得到一个三维点云的轻量级实时语义分割器。
在步骤6)中,获取待检测三维点云并利用训练好的语义分割器进行语义分割,包括以下步骤:
6.1)将Velodyne HDL-64E LiDAR激光扫描仪接入PC,获取的实时三维点云投影成为64×512作为待检测图像;
6.2)将待检测图像输入语义分割器进行语义分割,得到分割结果。
本发明与现有技术相比,具有如下优点与有益效果:
1、本发明首次提出轻量级的卷积模块ShuffleSqueeze Block,实现了更轻量化卷积。
2、本发明首次提出了轻量级的实时三维点云语义分割网络Shuffle SqueezeSeg,能够实时有效分割汽车、行人等路面常见物体。
3、本发明基于编码器-解码器的语义分割器架构,可以利用经过编码器-解码器模型后的语义信息,且融合编码器浅层的高分辨率特征,能够有效处理小目标,通过轻量化的卷积模块,加深了网络,在保证了实时性的前提下提高了分割精度。
附图说明
图1为本发明分割流程示意图。
图2为基于编码器-解码器的语义分割器架构构造过程示意图。
图3为ShuffleSqueeze Block结构图,图中(a)为轻量级卷积模块ShuffleSqueeze Block的架构,(b)为用于提高通道数的同架构。
图4为轻量级卷积GFire图,图中(a)为轻量级卷积GFire的架构,(b)为GFire的等价架构。
图5为特征精修流程图,图中(a)为特征精修,(b)空间注意力模块。
具体实施方式
下面结合具体实施例及附图对本发明作进一步说明,但本发明的实施方式不限于此。
如图1至图5所示,本实施例所提供的基于三维点云的轻量级实时语义分割方法,使用了Velodyne HDL-64E LiDAR激光扫描仪作为辅助设备,其包括以下步骤:
1)获取基础数据,包括支持集类别的点云数据、标签及验证三维点云,所述支持集类别的图像数据是指从数据集中获得的用作模型支持集的三维点云,所述标签为三维点云中每个点所属类别,所述验证三维点云是指从数据集中支持集以外随机获取的用于验证分割器效果的三维点云。
2)将三维点云数据投影成基于网格的密集的球形图,每个原始三维点云中的点通常用笛卡尔坐标系来表示:(x,y,z),其中x表示横坐标,y表示纵坐标,z表示竖轴上的坐标,三维点云的点与二维球形图的对应关系如下:
其中,θ表示顶角,表示方位角,表示二维网格图中每个点的位置,Δθ与表示投影的分辨率,使用Velodyne HDL-64E LiDAR激光扫描仪获得的激光在垂直方向上是64线,即高度64,取扫描正前方90°的前景转换成512个网格,因此数据集中每张三维点云投影图为64×512×5大小,其中5为特征数,分别为笛卡尔坐标x、y、z及强度、范围。
3)通过叠加多层我们设计的轻量化卷积模块ShuffleSqueeze Block组成编码器,每一层都提取语义特征图,并构造多层语义特征图,包括以下步骤:
3.1)每个包含N个三维点云示例的支持集C的集合描述为:
C={(x1,L1),...,(xN,LN)}
其中,xi表示三维点云示例,Li表示其标签,下标i=1,2,3,…,N,为索引号;
3.2)轻量化的卷积模块ShuffleSqueeze Block是将标准的3×3卷积分解为多个小的1×1卷积与3×3卷积达到减少内存占用的目的,从而实现轻量化,每个点的卷积运算为:
其中,y为输出的特征映射,p0为每个像素的位置,R为卷积核,有R={(-1,1),(-1,0),...,(0,1),(1,1)},pi为卷积核中每个点的坐标,w(p0)为位置p0的权重,x为输入的原始图像,通过该卷积运算得到其可视化特征向量f(x);ShuffleSqueeze Block与GFire设计见图3,图4;
3.3)每经过一层ShuffleSqueeze Block生成一层语义特征图,随着层数加深,特征图的语义信息越来越丰富,空间信息越来越稀疏。
4)通过叠加多层反卷积层与卷积层组成解码器,将编码器的每层语义特征图与解码器反卷积得到的语义特征图融合进行特征精修,构建基于编码器-解码器主干的语义分割器,包括以下步骤:
4.1)通过反卷积提升语义特征图大小,通过卷积来精修解码特征,反复进行反卷积与卷积的操作,将特征图恢复到原二维球形图大小,利用语义信息来恢复空间信息;
4.2)假设靠近原始数据的ShuffleSqueeze Block的语义特征图在Li层,比Li更深一层的语义特征图在Li+1层,当将编码器的Li层的语义特征图与解码器的Li的语义特征图融合时,通过引入经过图5中(b)的空间注意力模块的Li+1层的编码器的语义特征图来引导两个语义特征图更好的融合;
4.3)逐层将语义特征图恢复到输入二维球形图的大小,并得到每个点的分割结果D;
4.4)使用softmax归一化算子将分割结果D进行归一化得到每个点的为每个类别的概率prob:
prob=softmax(D)
4.5)根据prob的大小确定其类别;
4.6)训练时使用交叉熵作为损失函数L:
5)构建训练数据集,对语义分割器进行训练,包括以下步骤:
5.1)构建训练数据集,使用公开数据集KITTI,包含三维点云、标签;
5.2)通过取2000个随机三维点云投影图像作为验证图像,输入分割器并通过损失函数不断调整提高分割器效果,训练完成后得到一个三维点云的轻量级实时语义分割器。
6)获取待检测三维点云并利用训练好的语义分割器进行语义分割,包括以下步骤:
6.1)将Velodyne HDL-64E LiDAR激光扫描仪接入PC,获取的实时三维点云投影成为64×512作为待检测图像;
6.2)将待检测图像输入语义分割器进行语义分割,得到分割结果。
综上所述,采用以上方案,本发明为轻量级的实时三维点云语义分割提供了新的方法,提出了一种新的轻量级卷积模块以及基于该模块建立的轻量级语义分割网络架构,具有研究价值,值得推广。
以上所述实施例只为本发明之较佳实施例,并非以此限制本发明的实施范围,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (6)
1.一种基于三维点云的轻量级实时语义分割方法,其特征在于,包括以下步骤:
1)获取基础数据,包括支持集类别的图像数据、标签及验证三维点云;
2)将数据集中的三维点云投影成二维球形图;
3)通过叠加多层设计的轻量化卷积模块ShuffleSqueeze Block组成编码器,每一层都提取语义特征图,并构造多层语义特征图,包括以下步骤:
3.1)每个包含N个三维点云示例的支持集C的集合描述为:
C={(x1,L1),...,(xN,LN)}
其中,xi表示三维点云示例,Li表示其标签,下标i=1,2,3,…,N,为索引号;
3.2)轻量化的卷积模块ShuffleSqueeze Block是将标准的3×3卷积分解为多个小的1×1卷积与3×3卷积达到减少内存占用的目的,从而实现轻量化,每个点的卷积运算为:
其中,y为输出的特征映射,p0为每个像素的位置,R为卷积核,有R={(1,1),(-1,0),...,(0,1),(1,1)},pi为卷积核中每个点的坐标,w(p0)为位置p0的权重,x为输入的原始图像,通过该卷积运算得到其可视化特征向量f(x);
3.3)每经过一层ShuffleSqueeze Block生成一层语义特征图,随着层数加深,特征图的语义信息越来越丰富,空间信息越来越稀疏;
4)通过叠加多层反卷积层与卷积层组成解码器,将编码器的每层语义特征图与解码器反卷积得到的语义特征图融合进行特征精修,构建基于编码器-解码器主干的语义分割器;
5)构建训练数据集,对语义分割器进行训练;
6)获取待检测三维点云并利用训练好的语义分割器进行语义分割。
2.根据权利要求1所述的一种基于三维点云的轻量级实时语义分割方法,其特征在于:在步骤1)中,所述支持集类别的图像数据是指从数据集中获得的用作模型支持集的三维点云,所述标签为三维点云中每个点所属类别,所述验证三维点云是指从数据集中支持集以外随机获取的用于验证分割器效果的三维点云。
3.根据权利要求1所述的一种基于三维点云的轻量级实时语义分割方法,其特征在于:在步骤2)中,每个原始三维点云中的点用笛卡尔坐标系来表示:(x,y,z),其中,x表示横坐标,y表示纵坐标,z表示竖轴上的坐标;将数据集中的三维点云投影成二维球形图,具体是将三维点云数据投影成基于网格的密集的球形图,三维点云的点与球形图的对应关系如下:
4.根据权利要求1所述的一种基于三维点云的轻量级实时语义分割方法,其特征在于:在步骤4)中,通过叠加多层反卷积层与卷积层组成解码器,将编码器的每层语义特征图与解码器反卷积得到的语义特征图融合进行特征精修,构建基于编码器-解码器主干的语义分割器,包括以下步骤:
4.1)通过反卷积提升语义特征图大小,通过卷积来精修解码特征,反复进行反卷积与卷积的操作,将特征图恢复到原二维球形图大小,利用语义信息来恢复空间信息;
4.2)假设靠近原始数据的ShuffleSqueeze Block的语义特征图在Li层,比Li更深一层的语义特征图在Li+1层,当将编码器的Li层的语义特征图与解码器的Li的语义特征图融合时,通过引入经过空间注意力模块的Li+1层的编码器的语义特征图来引导两个语义特征图更好的融合;
4.3)逐层将语义特征图恢复到输入二维球形图的大小,并得到每个点的分割结果D;
4.4)使用softmax归一化算子将分割结果D进行归一化,得到每个点的为每个类别的概率prob:
prob=softmax(D)
4.5)根据prob的大小确定其类别;
4.6)训练时使用交叉熵作为损失函数L:
5.根据权利要求1所述的一种基于三维点云的轻量级实时语义分割方法,其特征在于:在步骤5)中构建训练数据集,对语义分割器进行训练,包括以下步骤:
5.1)构建训练数据集,使用公开数据集KITTI,包含三维点云、标签;
5.2)通过取2000个随机三维点云投影图像作为验证图像,输入分割器并通过损失函数不断调整提高分割器效果,训练完成后得到一个三维点云的轻量级实时语义分割器。
6.根据权利要求1所述的一种基于三维点云的轻量级实时语义分割方法,其特征在于:在步骤6)中,获取待检测三维点云并利用训练好的语义分割器进行语义分割,包括以下步骤:
6.1)将Velodyne HDL-64E LiDAR激光扫描仪接入PC,获取的实时三维点云投影成为64×512作为待检测图像;
6.2)将待检测图像输入语义分割器进行语义分割,得到分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910813098.5A CN110570429B (zh) | 2019-08-30 | 2019-08-30 | 一种基于三维点云的轻量级实时语义分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910813098.5A CN110570429B (zh) | 2019-08-30 | 2019-08-30 | 一种基于三维点云的轻量级实时语义分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110570429A CN110570429A (zh) | 2019-12-13 |
CN110570429B true CN110570429B (zh) | 2021-12-17 |
Family
ID=68776851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910813098.5A Expired - Fee Related CN110570429B (zh) | 2019-08-30 | 2019-08-30 | 一种基于三维点云的轻量级实时语义分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110570429B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111126473A (zh) * | 2019-12-18 | 2020-05-08 | 北京新能源汽车技术创新中心有限公司 | 基于全卷积神经网络的点云数据分类方法及电子设备 |
CN111192265B (zh) * | 2019-12-25 | 2020-12-01 | 中国科学院上海微系统与信息技术研究所 | 一种基于点云的语义实例确定方法、装置、电子设备及存储介质 |
CN111325666B (zh) * | 2020-02-10 | 2021-11-02 | 武汉大学 | 基于变分辨率体素格网的机载激光点云处理方法 |
CN111860138B (zh) * | 2020-06-09 | 2024-03-01 | 中南民族大学 | 基于全融合网络的三维点云语义分割方法及系统 |
CN111737802B (zh) * | 2020-06-24 | 2023-02-24 | 广州华建工智慧科技有限公司 | 一种基于三维模型及语义描述信息的自动柱拆分梁的方法 |
CN111815649B (zh) * | 2020-06-30 | 2023-12-01 | 清华大学深圳国际研究生院 | 一种人像抠图方法及计算机可读存储介质 |
CN111932557B (zh) * | 2020-08-13 | 2022-11-18 | 中国科学院重庆绿色智能技术研究院 | 基于集成学习和概率图模型的图像语义分割方法及装置 |
CN112215231B (zh) * | 2020-09-29 | 2024-03-08 | 浙江工业大学 | 一种结合空间深度卷积和残差结构的大尺度点云语义分割方法 |
CN112819833B (zh) * | 2021-02-05 | 2022-07-12 | 四川大学 | 一种大场景点云语义分割方法 |
CN113506305B (zh) * | 2021-06-09 | 2023-10-24 | 西交利物浦大学 | 三维点云数据的图像增强方法、语义分割方法及装置 |
CN113409340A (zh) * | 2021-06-29 | 2021-09-17 | 北京百度网讯科技有限公司 | 语义分割模型训练方法、语义分割方法、装置及电子设备 |
CN113744186B (zh) * | 2021-07-26 | 2024-09-24 | 南开大学 | 一种融合投影点集分割网络对工件表面缺陷检测的方法 |
CN116229057B (zh) * | 2022-12-22 | 2023-10-27 | 之江实验室 | 一种基于深度学习的三维激光雷达点云语义分割的方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109145983A (zh) * | 2018-08-21 | 2019-01-04 | 电子科技大学 | 一种基于轻量化网络的实时场景图像语义分割方法 |
CN109410307A (zh) * | 2018-10-16 | 2019-03-01 | 大连理工大学 | 一种场景点云语义分割方法 |
CN109829399A (zh) * | 2019-01-18 | 2019-05-31 | 武汉大学 | 一种基于深度学习的车载道路场景点云自动分类方法 |
-
2019
- 2019-08-30 CN CN201910813098.5A patent/CN110570429B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109145983A (zh) * | 2018-08-21 | 2019-01-04 | 电子科技大学 | 一种基于轻量化网络的实时场景图像语义分割方法 |
CN109410307A (zh) * | 2018-10-16 | 2019-03-01 | 大连理工大学 | 一种场景点云语义分割方法 |
CN109829399A (zh) * | 2019-01-18 | 2019-05-31 | 武汉大学 | 一种基于深度学习的车载道路场景点云自动分类方法 |
Non-Patent Citations (2)
Title |
---|
《A Global Point-Sift Attention Network for 3D Point Cloud Semantic Segmentation》;Meixia Jia等;《2019 IEEE International Geoscience and Remote Sensing Symposium》;20190802;第1-4页 * |
《面向图像语义分割的新型卷积神经网络及其应用研究》;Robail Yasrab;《中国博士学位论文全文数据库信息科技辑》;20170915(第9期);第I138-48页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110570429A (zh) | 2019-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110570429B (zh) | 一种基于三维点云的轻量级实时语义分割方法 | |
CN112949633B (zh) | 一种基于改进YOLOv3的红外目标检测方法 | |
CN115082674B (zh) | 基于注意力机制的多模态数据融合三维目标检测方法 | |
US20210209395A1 (en) | Method, electronic device, and storage medium for recognizing license plate | |
CN116685873A (zh) | 一种面向车路协同的感知信息融合表征及目标检测方法 | |
CN112581612A (zh) | 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统 | |
CN113269040A (zh) | 结合图象识别与激光雷达点云分割的驾驶环境感知方法 | |
CN113761999A (zh) | 一种目标检测方法、装置、电子设备和存储介质 | |
CN114639115B (zh) | 一种人体关键点与激光雷达融合的3d行人检测方法 | |
CN116486368A (zh) | 基于自动驾驶场景下的多模态融合三维目标鲁棒检测方法 | |
CN117111055A (zh) | 一种基于雷视融合的车辆状态感知方法 | |
Zou et al. | Hft: Lifting perspective representations via hybrid feature transformation | |
CN115424237A (zh) | 一种基于深度学习的前向车辆识别与距离检测方法 | |
CN114332796B (zh) | 一种多传感器融合体素特征图生成方法及系统 | |
CN116129234A (zh) | 一种基于注意力的4d毫米波雷达与视觉的融合方法 | |
CN116229224A (zh) | 融合感知方法、装置、电子设备及存储介质 | |
CN117975418A (zh) | 一种基于改进rt-detr的交通标识检测方法 | |
CN115965970A (zh) | 基于隐式的集合预测实现鸟瞰图语义分割的方法及系统 | |
CN115115917A (zh) | 基于注意力机制和图像特征融合的3d点云目标检测方法 | |
CN112233079B (zh) | 多传感器图像融合的方法及系统 | |
CN111339919B (zh) | 一种基于多任务协作的镜子检测方法 | |
CN117423102A (zh) | 点云数据处理方法以及相关设备 | |
CN116797894A (zh) | 一种增强特征信息的雷达与视频融合目标检测方法 | |
CN116386003A (zh) | 基于知识蒸馏的三维目标检测方法 | |
Song et al. | A robust detection method for multilane lines in complex traffic scenes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211217 |