CN111898607A - 色差引导卷积的点云语义分割方法 - Google Patents
色差引导卷积的点云语义分割方法 Download PDFInfo
- Publication number
- CN111898607A CN111898607A CN202010537162.4A CN202010537162A CN111898607A CN 111898607 A CN111898607 A CN 111898607A CN 202010537162 A CN202010537162 A CN 202010537162A CN 111898607 A CN111898607 A CN 111898607A
- Authority
- CN
- China
- Prior art keywords
- convolution
- feature
- point
- point cloud
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种色差引导卷积的点云语义分割方法,包括:将有色点云RGB转换为HSV;对当前密度下的点云,求k邻域得中心点与邻域点相对位置y,送入MLP得到特征FG;由邻域不同通道颜色矩排序与y得到三个方向d1,d2,d3,选出附近点的对应特征;对选出特征在三方向与颜色通道上卷积,得特征FC;将FG与FC级联得到全局特征F;降采样,重复步骤2‑5;将相邻密度下F与FC插值恢复,得到每点的预测结果;基于交叉熵损失函数,通过梯度下降最小化损失函数,训练神经网络参数;训练好参数后,给定新的待分割点时,执行步骤1‑8,得到分割结果。在实验结果中可以看到,本发明可以明显提高多种类别下的点云语义分割精度,适用于室内外场景。
Description
技术领域
本发明涉及小规模点云图像语义分割技术领域,特别涉及室内外点云语义分割中由点云邻域颜色信息引导选点和卷积提取特征的方法。
背景技术
三维数据具有很强的真实场景反映能力,越来越受到研究者的重视。点云是三维数据的主要格式,点云的语义分割是场景理解的必要工作,是机器人发展、自动驾驶、虚拟现实和遥感制图的关键。受二维图像和一维文本的深度学习方法的成功启发,许多研究人员已经将这些技术应用于分析三维点云。但是将点云作为直接输入难以处理,因为它们本质上是非结构化和无序的。
PointNet是使用卷积神经网络直接处理原始点云的里程碑。它将整个点集输入到一个共享的多层感知器(MLP)中进行卷积,通过对称性的池化操作使得PointNet可以处理无序的点,但是在PointNet中没有考虑邻域信息。在PointNet++中,作者将局部上下文和层次特征学习集成到网络中。
KD-network首先在输入点云上构建一个KD-tree,然后应用层次分组对点的局部依赖关系进行建模。RSNet对点云中的局部结构进行建模,设计片汇聚层,将无序点的特征投影到有序的特征向量序列上,然后可以应用循环神经网络来处理。KCNet改进了PointNet模型,为局部邻近点定义了一组可学习的点集内核,并提出了基于最近邻图的池方法。这些方法都取得了良好的效果,表明局部上下文的有序结构对于点云语义分割是非常重要的。
所有这些方法都只关注局部点集或点云部分的几何特征,而不使用任何颜色特征。在人类的感知中,色彩可以瞬间使物体与周围环境区分开来,优于几何特征。一些研究者将点云的颜色信息引入到语义分割中。使用空间局部关系来重新组织点,并将RGB作为额外的特性。它们都忽略了颜色在几何信息重组中的重要作用。通常,色彩的变化往往反映了物体空间特征的变化。充分利用色彩信息可以增强空间特征。如何在局部语境中挖掘颜色与几何的内在联系,是语义分割的重要内容。
发明内容
本发明的目的在于提供一种色差引导卷积的点云语义分割方法,以解决上述现有理论与设计上存在的缺陷或不足;该分割网络是为了提升点云语义分割中不同颜色物体的分割精度,通过由颜色信息进行邻域点的有序化并生成引导方向进行选点,并对选择的点和特征在不同引导方向和颜色通道上实现特征编码,将颜色特征和几何特征相结合,从而保证网络在点云语义分割的任务中对于不同颜色且不同类别的物体有着更高的分割精度。
为了实现上述的目的,本发明采用如下技术方案:
色差引导卷积的点云语义分割方法,包括以下步骤:
步骤一:将有色点云的RGB通道转化为HSV颜色通道;
步骤二:对当前密度下的点云,求k邻域得中心点xi以及邻域点xk与中心点xi相对位置y,送入三层MLP得到高维嵌入特征FG=MLP(xi,y);
步骤三:由邻域内不同通道颜色矩排序得到最大值与最小值对应点的相对位置作为d1,y中与d1最大的夹角的方向作为d2,y中与d1垂直方向为临时方向,y中与临时方向垂直且与中心点曼哈顿距离最大的方向作为d3;同时获得颜色描述向量vc如下,计算y与步骤三得到的方向向量的余弦距离,每个方向上选择余弦距离最小的s个点及对应特征fs c;
步骤四:对步骤三选出特征与vc在三方向上做1×3的卷积得到特征FD,对FD在HS颜色通道上做1×3卷积,每次卷积兼顾两个色调(饱和度)点和一饱和度(色调)点,对两次1×3卷积结果进行1×1卷积,得特征FC;
步骤五:将FG与FC级联得到全局特征F;
步骤六:降采样,重复步骤二至步骤五;
步骤七:将相邻密度下得到的F与FC通过近邻点加权插值恢复,公式如下,得到每点的预测结果;
距离加权的权重计算如下
fj(x)是由最近的三个点的特征fi j插值得到的恢复特征,C′是输出特征的通道数。
步骤八:基于交叉熵损失函数,计算用以获得训练网络的误差,包含两个部分:第一部分是步骤五中预测结果和真实语义标签的类别差异度衡量,用交叉熵损失函数作为衡量标准;第二部分是对卷积的权重w添加4阶正则项损失;通过梯度下降最小化损失函数,训练神经网络参数;
λ是一个比例系数,用来调控模型的复杂度和预测损失的关系。
步骤九:训练好网络参数后,给定新的待分割的点云,执行步骤1-7,得到分割后的结果。
步骤三中将由邻域内不同通道颜色矩排序得到最大值与最小值对应点的相对位置作为d1,y与d1最大的夹角的方向作为d2,y中与d1垂直方向为临时方向,y中与临时方向垂直且与中心点曼哈顿距离最大的方向作为d3;同时获得颜色描述向量计算y与步骤三得到的方向向量的余弦距离,每个方向上选择余弦距离最小的s个点及对应特征fs c;
与现有技术相比,本发明的优势如下:之前点云语义分割的模型中,邻域点中不同颜色点之间视为离散的独立点,用多层感知机来处理虽然有较强的拟合能力,但是容易过拟合,本发明通过在邻域中添加颜色引导选点和相应特征处理,结合颜色特征和几何特征,同时在损失函数上添加惩罚项减轻模型的复杂度,提高点云语义分割的精度。
附图说明
图1是整体网络结构图;
图2是色差引导卷积的点云语义分割方法流程图;
图3是三个方向选中点按余弦距离大小排序示意图;
图4是颜色引导模块结构图;
图5是在S3DIS数据集上区域5的分割结果对比图;
图6是在Semantic3D数据集上的分割结果对比图;
图7是在S3DIS数据集上6折交叉验证的分割结果对比图。
具体实施方式
点云图像分割中,邻域信息的处理是特征分析的关键,根据邻域内点的空间分布和颜色分布对本发明做进一步的详细描述。
参见图1、图2,本发明基于色差引导卷积的点云语义分割方法分为以下九个步骤,每个步骤具体如下:
步骤一:将有色点云的RGB通道转化为HSV颜色通道:
V=max(R,G,B)
if H<0,H=H+1
步骤二:对当前密度下的点云,求k邻域得中心点xi以及邻域点xk与中心点xi相对位置y,送入三层MLP得到高维嵌入特征FG=MLP(xi,y);
y=xk-xi
步骤三:由邻域内不同通道颜色矩排序得到最大值与最小值对应点的相对位置作为d1,y中与d1最大的夹角的方向作为d2,y中与d1垂直方向为临时方向,y中与临时方向垂直且与中心点曼哈顿距离最大的方向作为d3;同时获得颜色描述向量如下,计算y与步骤三得到的方向向量的余弦距离,如图3所示,每个方向上选择夹角最小的s个点及对应特征fs c;
Cord=Order([ci-mean(c)]t)
从Cord,由某一颜色通道的前k/4最大值和后最小值的相对位置获得候选方向,选出其中2范数最小的方向作为d1:
d2=(min(y·d1))
θc=y·d1
步骤四:如图4所示,对步骤三选出特征与在三方向上做1×3的卷积得到特征为避免光照影响,对在HS颜色通道上做1×3卷积,每次卷积兼顾两个色调(饱和度)点和一饱和度(色调)点,对两次1×3卷积结果进行1×1卷积,经池化后得特征FC;
其中c1,c2为不同的颜色通道,s为每个方向上选择的点数;
步骤五:将FG与FC级联得到全局特征F;
F=[FG,FC]
步骤六:降采样,重复步骤二至步骤五;
步骤七:将相邻密度下得到的F与FC通过近邻点加权插值恢复,公式如下,得到每点的预测结果;
距离加权的权重计算如下
fj(x)是由最近的三个点的特征fi j插值得到的恢复特征,C′是输出特征的通道数。
步骤八:基于交叉熵损失函数,计算用以获得训练网络的误差,包含两个部分:第一部分是步骤五中预测结果和真实语义标签的类别差异度衡量,用交叉熵损失函数作为衡量标准;第二部分是对卷积的权重w添加4阶正则项损失;通过梯度下降最小化损失函数,训练神经网络参数;
λ是一个比例系数,用来调控模型的复杂度和预测损失的关系。
步骤九:训练好网络参数后,给定新的待分割的点云,执行步骤1-7,得到分割后的结果。
本发明中给出了一种色差引导卷积的点云语义分割方法,并在公开数据集上进行了验证。在图5列出了在S3DIS数据集中区域5的测试结果,本发明中的方法在大多数类别中都取得了进步,如地板(98.6%),桌子(79.7%),窗户(56.2%),并在非纹理颜色变化的对象上表现出极大的优越性。图6显示了在Semantic3D数据集上的分割结果,本方法在人工地形、自然地形、低植被等物体的分割上都有很大的进步。本发明实现了颜色与几何信息的有效结合,可以应用于大型室内外场景点云的语义分割。图7显示了在S3DIS中的6折交叉验证实验,结果表明,本发明中的方法可以在几种方法里达到最佳性能,语义分割平均召回率为68.4%。
Claims (2)
1.色差引导卷积的点云语义分割方法,其特征在于,包括以下步骤:
步骤一:将有色点云的RGB通道转化为HSV颜色通道;
步骤二:对当前密度下的点云,求k邻域得中心点xi以及邻域点xk与中心点xi相对位置y,送入三层MLP得到高维嵌入特征FG=MLP(xi,y);
步骤三:由邻域内不同通道颜色矩排序得到最大值与最小值对应点的相对位置作为d1,y中与d1最大的夹角的方向作为d2,y中与d1垂直方向为临时方向,y中与临时方向垂直且与中心点曼哈顿距离最大的方向作为d3;同时获得颜色描述向量vc如下,计算y与步骤三得到的方向向量的余弦距离,每个方向上选择余弦距离最小的s个点及对应特征fs c;
步骤四:对步骤三选出特征与vc在三方向上做1×3的卷积得到特征为避免光照影响,对在HS颜色通道上做1×3卷积,每次卷积兼顾两个色调(饱和度)点和一饱和度(色调)点,对两次1×3卷积结果进行1×1卷积,经池化后得特征FC;
其中c1,c2为不同的颜色通道,s为每个方向上选择的点数;
步骤五:将FG与FC级联得到全局特征F;
步骤六:降采样,重复步骤二至步骤五;
步骤七:将相邻密度下得到的F与FC通过近邻点加权插值恢复,公式如下,得到每点的预测结果;
距离加权的权重计算如下
fj(x)是由最近的三个点的特征fi j插值得到的恢复特征,C′是输出特征的通道数;
步骤八:基于交叉熵损失函数,计算用以获得训练网络的误差,包含两个部分:第一部分是步骤五中预测结果和真实语义标签的类别差异度衡量,用交叉熵损失函数作为衡量标准;第二部分是对卷积的权重w添加4阶正则项损失;通过梯度下降最小化损失函数,训练神经网络参数;
λ是一个比例系数,用来调控模型的复杂度和预测损失的关系;
步骤九:训练好网络参数后,给定新的待分割的点云,执行步骤1-7,得到分割后的结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010537162.4A CN111898607B (zh) | 2020-06-12 | 2020-06-12 | 色差引导卷积的点云语义分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010537162.4A CN111898607B (zh) | 2020-06-12 | 2020-06-12 | 色差引导卷积的点云语义分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111898607A true CN111898607A (zh) | 2020-11-06 |
CN111898607B CN111898607B (zh) | 2022-10-25 |
Family
ID=73207621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010537162.4A Active CN111898607B (zh) | 2020-06-12 | 2020-06-12 | 色差引导卷积的点云语义分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111898607B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112990444A (zh) * | 2021-05-13 | 2021-06-18 | 电子科技大学 | 一种混合式神经网络训练方法、系统、设备及存储介质 |
CN114782684A (zh) * | 2022-03-08 | 2022-07-22 | 中国科学院半导体研究所 | 点云语义分割方法、装置、电子设备与存储介质 |
CN115273081A (zh) * | 2022-08-16 | 2022-11-01 | 西安交通大学 | 基于自适应特征采样的点云语义分割方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190108639A1 (en) * | 2017-10-09 | 2019-04-11 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and Methods for Semantic Segmentation of 3D Point Clouds |
US20190287254A1 (en) * | 2018-03-16 | 2019-09-19 | Honda Motor Co., Ltd. | Lidar noise removal using image pixel clusterings |
CN111192270A (zh) * | 2020-01-03 | 2020-05-22 | 中山大学 | 一种基于点全局上下文关系推理的点云语义分割方法 |
-
2020
- 2020-06-12 CN CN202010537162.4A patent/CN111898607B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190108639A1 (en) * | 2017-10-09 | 2019-04-11 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and Methods for Semantic Segmentation of 3D Point Clouds |
US20190287254A1 (en) * | 2018-03-16 | 2019-09-19 | Honda Motor Co., Ltd. | Lidar noise removal using image pixel clusterings |
CN111192270A (zh) * | 2020-01-03 | 2020-05-22 | 中山大学 | 一种基于点全局上下文关系推理的点云语义分割方法 |
Non-Patent Citations (2)
Title |
---|
ROBERTO PIERDICCA等: ""Point Cloud Semantic Segmentation Using a Deep Learning Framework for Cultural Heritage"", 《REMOTE SENSING》 * |
张佳颖等: ""基于深度学习的点云语义分割综述"", 《激光与光电子学进展》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112990444A (zh) * | 2021-05-13 | 2021-06-18 | 电子科技大学 | 一种混合式神经网络训练方法、系统、设备及存储介质 |
CN112990444B (zh) * | 2021-05-13 | 2021-09-24 | 电子科技大学 | 一种混合式神经网络训练方法、系统、设备及存储介质 |
CN114782684A (zh) * | 2022-03-08 | 2022-07-22 | 中国科学院半导体研究所 | 点云语义分割方法、装置、电子设备与存储介质 |
CN115273081A (zh) * | 2022-08-16 | 2022-11-01 | 西安交通大学 | 基于自适应特征采样的点云语义分割方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111898607B (zh) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111104898B (zh) | 基于目标语义和注意力机制的图像场景分类方法及装置 | |
CN111127538B (zh) | 一种基于卷积循环编码-解码结构的多视影像三维重建方法 | |
WO2022193335A1 (zh) | 点云数据处理方法、装置、计算机设备和存储介质 | |
CN111898607B (zh) | 色差引导卷积的点云语义分割方法 | |
CN111191622A (zh) | 基于热力图和偏移向量的姿态识别方法、系统及存储介质 | |
CN114255238A (zh) | 一种融合图像特征的三维点云场景分割方法及系统 | |
CN111753698A (zh) | 一种多模态三维点云分割系统和方法 | |
CN113012177A (zh) | 基于几何特征提取和边缘感知编码的三维点云分割方法 | |
CN111597920A (zh) | 一种自然场景下的全卷积单阶段的人体实例分割方法 | |
CN112750125A (zh) | 一种基于端到端关键点检测的玻璃绝缘子片定位方法 | |
CN116205962A (zh) | 基于完整上下文信息的单目深度估计方法及系统 | |
CN117765258A (zh) | 基于密度自适应和注意力机制的大规模点云语义分割方法 | |
CN114693951A (zh) | 一种基于全局上下文信息探索的rgb-d显著性目标检测方法 | |
CN116189292A (zh) | 一种基于双流网络的视频动作识别方法 | |
CN118552738A (zh) | 基于多关系基特征协同和投影融合的多模态语义分割方法 | |
CN118351320A (zh) | 基于三维点云的实例分割方法 | |
CN118644784A (zh) | 一种融合注意力机制的多尺度特征聚合点云建筑物提取方法 | |
CN118351465A (zh) | 一种基于多尺度特征信息提取和融合的无人机航拍图像多尺度目标检测方法及系统 | |
CN112906675A (zh) | 一种固定场景中的无监督人体关键点检测方法及系统 | |
CN116222577A (zh) | 闭环检测方法、训练方法、系统、电子设备及存储介质 | |
CN117975483B (zh) | 基于迭代优化与交叉知识增强的任意形状文本检测方法 | |
CN112750155B (zh) | 基于卷积神经网络的全景深度估计方法 | |
CN114549757A (zh) | 一种基于注意力机制的三维点云上采样方法 | |
CN117746495A (zh) | 一种融合手结构和温度信息的热红外手部姿态估计方法 | |
CN114821074B (zh) | 机载liDAR点云语义分割方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |