CN111898607B - 色差引导卷积的点云语义分割方法 - Google Patents

色差引导卷积的点云语义分割方法 Download PDF

Info

Publication number
CN111898607B
CN111898607B CN202010537162.4A CN202010537162A CN111898607B CN 111898607 B CN111898607 B CN 111898607B CN 202010537162 A CN202010537162 A CN 202010537162A CN 111898607 B CN111898607 B CN 111898607B
Authority
CN
China
Prior art keywords
point
convolution
point cloud
color
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010537162.4A
Other languages
English (en)
Other versions
CN111898607A (zh
Inventor
杨静
杜少毅
李昊哲
万腾
陈跃海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010537162.4A priority Critical patent/CN111898607B/zh
Publication of CN111898607A publication Critical patent/CN111898607A/zh
Application granted granted Critical
Publication of CN111898607B publication Critical patent/CN111898607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种色差引导卷积的点云语义分割方法，包括：将有色点云RGB转换为HSV；对当前密度下的点云，求k邻域得中心点与邻域点相对位置y，送入MLP得到特征FG；由邻域不同通道颜色矩排序与y得到三个方向d1，d2，d3，选出附近点的对应特征；对选出特征在三方向与颜色通道上卷积，得特征FC；将FG与FC级联得到全局特征F；降采样，重复步骤2‑5；将相邻密度下F与FC插值恢复，得到每点的预测结果；基于交叉熵损失函数，通过梯度下降最小化损失函数，训练神经网络参数；训练好参数后，给定新的待分割点时，执行步骤1‑8，得到分割结果。在实验结果中可以看到，本发明可以明显提高多种类别下的点云语义分割精度，适用于室内外场景。

Description

色差引导卷积的点云语义分割方法
技术领域
本发明涉及小规模点云图像语义分割技术领域，特别涉及室内外点云语义分割中由点云邻域颜色信息引导选点和卷积提取特征的方法。
背景技术
三维数据具有很强的真实场景反映能力，越来越受到研究者的重视。点云是三维数据的主要格式，点云的语义分割是场景理解的必要工作，是机器人发展、自动驾驶、虚拟现实和遥感制图的关键。受二维图像和一维文本的深度学习方法的成功启发，许多研究人员已经将这些技术应用于分析三维点云。但是将点云作为直接输入难以处理，因为它们本质上是非结构化和无序的。
PointNet是使用卷积神经网络直接处理原始点云的里程碑。它将整个点集输入到一个共享的多层感知器(MLP)中进行卷积，通过对称性的池化操作使得PointNet可以处理无序的点，但是在PointNet中没有考虑邻域信息。在PointNet++中，作者将局部上下文和层次特征学习集成到网络中。
KD-network首先在输入点云上构建一个KD-tree，然后应用层次分组对点的局部依赖关系进行建模。RSNet对点云中的局部结构进行建模，设计片汇聚层，将无序点的特征投影到有序的特征向量序列上，然后可以应用循环神经网络来处理。KCNet改进了PointNet模型，为局部邻近点定义了一组可学习的点集内核，并提出了基于最近邻图的池方法。这些方法都取得了良好的效果，表明局部上下文的有序结构对于点云语义分割是非常重要的。
所有这些方法都只关注局部点集或点云部分的几何特征，而不使用任何颜色特征。在人类的感知中，色彩可以瞬间使物体与周围环境区分开来，优于几何特征。一些研究者将点云的颜色信息引入到语义分割中。使用空间局部关系来重新组织点，并将RGB作为额外的特性。它们都忽略了颜色在几何信息重组中的重要作用。通常，色彩的变化往往反映了物体空间特征的变化。充分利用色彩信息可以增强空间特征。如何在局部语境中挖掘颜色与几何的内在联系，是语义分割的重要内容。
发明内容
本发明的目的在于提供一种色差引导卷积的点云语义分割方法，以解决上述现有理论与设计上存在的缺陷或不足；该分割网络是为了提升点云语义分割中不同颜色物体的分割精度，通过由颜色信息进行邻域点的有序化并生成引导方向进行选点，并对选择的点和特征在不同引导方向和颜色通道上实现特征编码，将颜色特征和几何特征相结合，从而保证网络在点云语义分割的任务中对于不同颜色且不同类别的物体有着更高的分割精度。
为了实现上述的目的，本发明采用如下技术方案：
色差引导卷积的点云语义分割方法，包括以下步骤：
步骤一：将有色点云的RGB通道转化为HSV颜色通道；
步骤二：对当前密度下的点云，求k邻域得中心点xi以及邻域点xk与中心点xi相对位置y，送入三层MLP得到高维嵌入特征FG＝MLP(xi,y)；
步骤三：由邻域内不同通道颜色矩排序得到最大值与最小值对应点的相对位置作为d1，y中与d1最大的夹角的方向作为d2，y中与d1垂直方向为临时方向，y中与临时方向垂直且与中心点曼哈顿距离最大的方向作为d3；同时获得颜色描述向量vc如下，计算y与步骤三得到的方向向量的余弦距离，每个方向上选择余弦距离最小的s个点及对应特征fs c；
Figure BDA0002537411630000021
其中
Figure BDA0002537411630000022
为每个颜色通道的标准差，
Figure BDA0002537411630000023
为三个通道颜色值，θc为y与d1的夹角。
步骤四：对步骤三选出特征与vc在三方向上做1×3的卷积得到特征FD，对FD在HS颜色通道上做1×3卷积，每次卷积兼顾两个色调(饱和度)点和一饱和度(色调)点，对两次1×3卷积结果进行1×1卷积，得特征FC；
Figure BDA0002537411630000031
Figure BDA0002537411630000032
Figure BDA0002537411630000033
步骤五：将FG与FC级联得到全局特征F；
步骤六：降采样，重复步骤二至步骤五；
步骤七：将相邻密度下得到的F与FC通过近邻点加权插值恢复，公式如下，得到每点的预测结果；
Figure BDA0002537411630000034
距离加权的权重计算如下
Figure BDA0002537411630000035
fj(x)是由最近的三个点的特征fi j插值得到的恢复特征，C′是输出特征的通道数。
步骤八：基于交叉熵损失函数，计算用以获得训练网络的误差，包含两个部分：第一部分是步骤五中预测结果和真实语义标签的类别差异度衡量，用交叉熵损失函数作为衡量标准；第二部分是对卷积的权重w添加4阶正则项损失；通过梯度下降最小化损失函数，训练神经网络参数；
Figure BDA0002537411630000036
λ是一个比例系数，用来调控模型的复杂度和预测损失的关系。
步骤九：训练好网络参数后，给定新的待分割的点云，执行步骤1-7，得到分割后的结果。
步骤三中将由邻域内不同通道颜色矩排序得到最大值与最小值对应点的相对位置作为d1，y与d1最大的夹角的方向作为d2，y中与d1垂直方向为临时方向，y中与临时方向垂直且与中心点曼哈顿距离最大的方向作为d3；同时获得颜色描述向量
Figure BDA0002537411630000041
计算y与步骤三得到的方向向量的余弦距离，每个方向上选择余弦距离最小的s个点及对应特征fs c；
步骤四中将选出特征与vc在三方向上做1×3的卷积得到特征
Figure BDA0002537411630000042
对
Figure BDA0002537411630000043
在HS颜色通道上做1×3卷积，每次卷积兼顾两个色调(饱和度)点和一饱和度(色调)点，对1×3卷积结果进行1×1卷积，经池化后得特征FC。
与现有技术相比，本发明的优势如下：之前点云语义分割的模型中，邻域点中不同颜色点之间视为离散的独立点，用多层感知机来处理虽然有较强的拟合能力，但是容易过拟合，本发明通过在邻域中添加颜色引导选点和相应特征处理，结合颜色特征和几何特征，同时在损失函数上添加惩罚项减轻模型的复杂度，提高点云语义分割的精度。
附图说明
图1是整体网络结构图；
图2是色差引导卷积的点云语义分割方法流程图；
图3是三个方向选中点按余弦距离大小排序示意图；
图4是颜色引导模块结构图；
图5是在S3DIS数据集上区域5的分割结果对比图；
图6是在Semantic3D数据集上的分割结果对比图；
图7是在S3DIS数据集上6折交叉验证的分割结果对比图。
具体实施方式
点云图像分割中，邻域信息的处理是特征分析的关键，根据邻域内点的空间分布和颜色分布对本发明做进一步的详细描述。
参见图1、图2，本发明基于色差引导卷积的点云语义分割方法分为以下九个步骤，每个步骤具体如下：
步骤一：将有色点云的RGB通道转化为HSV颜色通道：
V＝max(R,G,B)
Figure BDA0002537411630000051
Figure BDA0002537411630000052
if H＜0，H＝H+1
步骤二：对当前密度下的点云，求k邻域得中心点xi以及邻域点xk与中心点xi相对位置y，送入三层MLP得到高维嵌入特征FG＝MLP(xi,y)；
y＝xk-xi
k邻域：
Figure BDA0002537411630000053
步骤三：由邻域内不同通道颜色矩排序得到最大值与最小值对应点的相对位置作为d1，y中与d1最大的夹角的方向作为d2，y中与d1垂直方向为临时方向，y中与临时方向垂直且与中心点曼哈顿距离最大的方向作为d3；同时获得颜色描述向量
Figure BDA0002537411630000054
如下，计算y与步骤三得到的方向向量的余弦距离，如图3所示，每个方向上选择夹角最小的s个点及对应特征fs c；
Cord＝Order([ci-mean(c)]t)
从Cord，由某一颜色通道的前k/4最大值和后最小值的相对位置获得候选方向，选出其中2范数最小的方向作为d1：
Figure BDA0002537411630000055
d2＝(min(y·d1))
Figure BDA0002537411630000061
θc＝y·d1
Figure BDA0002537411630000062
Figure BDA0002537411630000063
其中
Figure BDA0002537411630000064
为每个颜色通道的标准差，
Figure BDA0002537411630000065
为三个通道颜色值，θc为y与d1的夹角。
步骤四：如图4所示，对步骤三选出特征与
Figure BDA0002537411630000066
在三方向上做1×3的卷积得到特征
Figure BDA0002537411630000067
为避免光照影响，对
Figure BDA0002537411630000068
在HS颜色通道上做1×3卷积，每次卷积兼顾两个色调(饱和度)点和一饱和度(色调)点，对两次1×3卷积结果进行1×1卷积，经池化后得特征FC；
Figure BDA0002537411630000069
Figure BDA00025374116300000610
Figure BDA00025374116300000611
其中c1,c2为不同的颜色通道，s为每个方向上选择的点数；
Figure BDA00025374116300000612
表示对颜色信息在三个方向上选中点的卷积；
Figure BDA00025374116300000613
是relu(BatchNorm(·))，g1×1表示1×1卷积。
步骤五：将FG与FC级联得到全局特征F；
F＝[FG,FC]
步骤六：降采样，重复步骤二至步骤五；
步骤七：将相邻密度下得到的F与FC通过近邻点加权插值恢复，公式如下，得到每点的预测结果；
Figure BDA0002537411630000071
距离加权的权重计算如下
Figure BDA0002537411630000072
fj(x)是由最近的三个点的特征fi j插值得到的恢复特征，C′是输出特征的通道数。
步骤八：基于交叉熵损失函数，计算用以获得训练网络的误差，包含两个部分：第一部分是步骤五中预测结果和真实语义标签的类别差异度衡量，用交叉熵损失函数作为衡量标准；第二部分是对卷积的权重w添加4阶正则项损失；通过梯度下降最小化损失函数，训练神经网络参数；
Figure BDA0002537411630000073
λ是一个比例系数，用来调控模型的复杂度和预测损失的关系。
步骤九：训练好网络参数后，给定新的待分割的点云，执行步骤1-7，得到分割后的结果。
本发明中给出了一种色差引导卷积的点云语义分割方法，并在公开数据集上进行了验证。在图5列出了在S3DIS数据集中区域5的测试结果，本发明中的方法在大多数类别中都取得了进步，如地板(98.6％)，桌子(79.7％)，窗户(56.2％)，并在非纹理颜色变化的对象上表现出极大的优越性。图6显示了在Semantic3D数据集上的分割结果，本方法在人工地形、自然地形、低植被等物体的分割上都有很大的进步。本发明实现了颜色与几何信息的有效结合，可以应用于大型室内外场景点云的语义分割。图7显示了在S3DIS中的6折交叉验证实验，结果表明，本发明中的方法可以在几种方法里达到最佳性能，语义分割平均召回率为68.4％。

Claims (1)

1.色差引导卷积的点云语义分割方法，其特征在于，包括以下步骤：
步骤一：将有色点云的RGB通道转化为HSV颜色通道；
步骤二：对当前密度下的点云，对中心点xi求k邻域得邻域点xk，以及邻域点xk与中心点xi相对位置y,y＝xk-xi，送入三层MLP得到高维嵌入特征FG＝MLP(xi,y)；
步骤三：由邻域内不同通道颜色矩排序得到最大值与最小值对应点的相对位置作为d1，y中与d1最大的夹角的方向作为d2，y中与d1垂直方向为临时方向，y中与临时方向垂直且与中心点曼哈顿距离最大的方向作为d3；同时获得颜色描述向量vc如下，计算y与上述三个方向向量d1，d2，d3的余弦距离，每个方向上选择余弦距离最小的s个点及对应特征fs c；
Figure FDA0003791951630000011
其中
Figure FDA0003791951630000012
为每个颜色通道的标准差，
Figure FDA0003791951630000013
为三个通道颜色值，θc为y与d1的夹角；
步骤四：对步骤三选出特征与vc在三个方向向量d1，d2，d3上做1×3的卷积得到特征
Figure FDA0003791951630000014
为避免光照影响，对
Figure FDA0003791951630000015
在HS颜色通道上做1×3卷积，每次卷积兼顾两个色调点和一饱和度点，对两次1×3卷积结果进行1×1卷积，经池化后得特征FC；
Figure FDA0003791951630000016
Figure FDA0003791951630000017
Figure FDA0003791951630000018
其中c1,c2为不同的颜色通道，s为每个方向上选择的点数；
步骤五：将FG与FC级联得到全局特征F；
步骤六：进行三次降采样，每次降采样重复执行步骤二至步骤五；
步骤七：将相邻密度下得到的F与FC通过近邻点加权插值恢复，公式如下，得到每点的预测结果；
Figure FDA0003791951630000021
距离加权的权重计算如下
Figure FDA0003791951630000022
fj(x)是由最近的三个点的特征fi j插值得到的恢复特征，C′是输出特征的通道数；
步骤八：基于交叉熵损失函数，计算用以获得训练网络的误差，包含两个部分：第一部分是步骤五中预测结果和真实语义标签的类别差异度衡量，用交叉熵损失函数作为衡量标准；第二部分是对卷积的权重w添加4阶正则项损失；通过梯度下降最小化损失函数，训练神经网络参数；
Figure FDA0003791951630000023
λ是一个比例系数，用来调控神经网络的复杂度和预测损失的关系；
步骤九：训练好网络参数后，给定新的待分割的点云，执行步骤一至步骤七，得到分割后的结果。
CN202010537162.4A 2020-06-12 2020-06-12 色差引导卷积的点云语义分割方法 Active CN111898607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010537162.4A CN111898607B (zh) 2020-06-12 2020-06-12 色差引导卷积的点云语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010537162.4A CN111898607B (zh) 2020-06-12 2020-06-12 色差引导卷积的点云语义分割方法

Publications (2)

Publication Number Publication Date
CN111898607A CN111898607A (zh) 2020-11-06
CN111898607B true CN111898607B (zh) 2022-10-25

Family

ID=73207621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010537162.4A Active CN111898607B (zh) 2020-06-12 2020-06-12 色差引导卷积的点云语义分割方法

Country Status (1)

Country Link
CN (1) CN111898607B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990444B (zh) * 2021-05-13 2021-09-24 电子科技大学 一种混合式神经网络训练方法、系统、设备及存储介质
CN114782684B (zh) * 2022-03-08 2023-04-07 中国科学院半导体研究所 点云语义分割方法、装置、电子设备与存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192270A (zh) * 2020-01-03 2020-05-22 中山大学 一种基于点全局上下文关系推理的点云语义分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11004202B2 (en) * 2017-10-09 2021-05-11 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for semantic segmentation of 3D point clouds
US10650531B2 (en) * 2018-03-16 2020-05-12 Honda Motor Co., Ltd. Lidar noise removal using image pixel clusterings

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111192270A (zh) * 2020-01-03 2020-05-22 中山大学 一种基于点全局上下文关系推理的点云语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Point Cloud Semantic Segmentation Using a Deep Learning Framework for Cultural Heritage";Roberto Pierdicca等;《remote sensing》;20200320;第1-23页 *
"基于深度学习的点云语义分割综述";张佳颖等;《激光与光电子学进展》;20200228;第57卷(第4期);第040002-1至040002-19页 *

Also Published As

Publication number Publication date
CN111898607A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN106920243B (zh) 改进的全卷积神经网络的陶瓷材质件序列图像分割方法
CN111339903B (zh) 一种多人人体姿态估计方法
Sun et al. Aerial 3D building detection and modeling from airborne LiDAR point clouds
CN111968217B (zh) 基于图片的smpl参数预测以及人体模型生成方法
CN102881011B (zh) 基于区域分割的肖像光照迁移方法
CN108830171B (zh) 一种基于深度学习的智能物流仓库引导线视觉检测方法
CN110349247B (zh) 一种基于语义理解的室内场景cad三维重建方法
CN114782691A (zh) 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备
CN113240691A (zh) 一种基于u型网络的医学图像分割方法
CN111898607B (zh) 色差引导卷积的点云语义分割方法
CN110223382B (zh) 基于深度学习的单帧图像自由视点三维模型重建方法
CN111161364A (zh) 一种针对单视角深度图的实时形状补全和姿态估计方法
CN111860351A (zh) 一种基于行列自注意力全卷积神经网络的遥感图像鱼塘提取方法
CN109903339B (zh) 一种基于多维融合特征的视频群体人物定位检测方法
CN113486894B (zh) 一种卫星图像特征部件语义分割方法
CN111768415A (zh) 一种无量化池化的图像实例分割方法
CN111652273A (zh) 一种基于深度学习的rgb-d图像分类方法
CN112329780A (zh) 一种基于深度学习的深度图像语义分割方法
CN113052200A (zh) 一种基于yolov3网络的声呐图像目标检测方法
CN110738132A (zh) 一种具备判别性感知能力的目标检测质量盲评价方法
CN114067075A (zh) 基于生成对抗网络的点云补全方法及装置
CN115880720A (zh) 一种基于置信度分享的无标注场景自适应人体姿态和外形估计方法
CN116958420A (zh) 一种数字人教师三维人脸的高精度建模方法
CN113011438B (zh) 基于节点分类和稀疏图学习的双模态图像显著性检测方法
CN112750155B (zh) 基于卷积神经网络的全景深度估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant