CN112257852B - 用于点云分类分割的方法 - Google Patents
用于点云分类分割的方法 Download PDFInfo
- Publication number
- CN112257852B CN112257852B CN202011215026.XA CN202011215026A CN112257852B CN 112257852 B CN112257852 B CN 112257852B CN 202011215026 A CN202011215026 A CN 202011215026A CN 112257852 B CN112257852 B CN 112257852B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- layer
- output
- sparse
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 29
- 230000011218 segmentation Effects 0.000 claims abstract description 40
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000006185 dispersion Substances 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于点云分类分割的网络模块、分类及分割网络，所述网络模块包括至少两个依次串联连接的稀疏边卷积层，所述稀疏边卷积层的稀疏率不同且逐渐增大，各个稀疏边卷积层的近邻点的个数相同。本发明的网络模块解决了现有的DGCNN在处理三维物体点云数据时存在的感受野随层数增加而扩大的效率低且存在大量复用信息的问题。
Description
技术领域
本发明涉及计算机视觉与3D点云分类技术领域，特别是涉及一种用于点云分类分割的网络模块、分类及分割网络。
背景技术
随着自动驾驶、室内外场景识别技术的发展，2D图像处理已经无法完全满足我们的需求。对于3D信息，尤其是3D点云的准确高效处理，愈发凸显其重要应用价值。业界在进行点云处理时，面临的挑战主要有：1、数据非结构化：点云是采样点的空间特征，点与点之间没有直接关联，无法像2D图像一样形成网格，无法使用常规的CNN（卷积神经网络（convolutional neural network）方法。2、点云具有无序性：采样点云的顺序，与实际表征无关，相同的场景，可以由无数种不同排列的点云构成，这要求模型能够对点云输入的顺序不敏感。3、点云处理需要具有旋转不变性：当点云发生旋转时，其采样得到的顺序，以及各个点云的特征值相比2D旋转均发生较大变化。如果一个点云的处理方法对进行旋转变换的物体进行识别，那么在真实应用中，这种方法也很难奏效。
图卷积网络（Graph Convolutional Network，GCN）可以将卷积运算从传统数据（例如图像）推广到图（graph）数据，其核心思想是学习一个函数映射，通过该映射图中的节点可以聚合它自己的特征与它的周围节点特征来生成节点的新表示。GCN是许多复杂图卷积网络的基础。Dynamic Graph CNN(动态图卷积神经网络，DGCNN)是使用GCN处理点云的深度学习框架，其在进行逐点的特征提取时，利用每一个节点以及其周围k个节点的特征信息，以此生成一个更抽象的节点，这个过程也称作边卷积（Edge Convolution），依次通过k-1层的边卷积后，使用Dense模块聚合之前所有层的输出得到特征信息，得到更高维度的抽象信息，将这个抽象信息通过多层全连接输出后，即可得到预测标签。主要解决方案如下：1、网络的输入是包含N个点的三维点云（Nx3) ，该输入通过一个3D 空间变换矩阵预测网络T-Net，估计出3x3的变换矩阵T，并与原始数据相乘，实现对于同一数据输入不会因为点的输入顺序不同而造成的网络性能不同，称为数据的对齐，此时数据维度为（Nx6）。2、对齐后的数据通过逐点的操作，将其以及其欧式距离最近的20个点（含自身），依次排列得新的数据（NxKx6，K=20），再通过1x1的卷积核对其进行升维，得到一个NxKx64的数据，经过最大值池化操作后，得到一个Nx64的数据，此步骤称为边卷积。3、四个边卷积层相连，依次经过4次边卷积，得到Nx64，Nx128，Nx128，Nx256的数据，再利用一个Dense模块，将之前4次边卷积产生的数据直接相连，通过一维卷积升维到Nx1024，再通过三层全连接层（参数分别为1024-512，512-256，256-num_class），得到预期的输出。总体来说，DGCNN将图卷积的方法引入点云处理当中，很适合非结构化的数据；并且，其采用的T-net结构，也使得其对于点云的无序性具有一定的鲁棒；DGCNN的主要思想是通过k近邻，捕获每一个点的局部信息，将更多的local特征传递给下一层，并借由不断加深的边卷积，扩大感受野，以实现对于局部信息与全局信息的特征提取。边卷积的操作可以任意叠加，也使得网络的加深成为可能。但是，DGCNN主要存在如下不足：
1、使用边卷积时，每次只对最近的20个点进行边卷积，因此感受野随层数的扩大效果较弱，存在大量的信息复用，这极其不利于感受野的扩大，也使得网络寻找最优解的能力较弱。
2、尽管DGCNN的模块结构具有可重复性，理论上可以不断加深，但是随着层数加深，其过拟合和梯度弥散的问题也暴露了出来，在实际应用中，只使用了简单4层的结构，未能完全发挥出深度学习在采用多层深度结构下的寻求最优解的能力。
发明内容
为了弥补上述现有技术的不足，本发明提出一种用于点云分类分割的网络模块、分类及分割网络。
本发明的技术问题通过以下的技术方案予以解决：
一种用于点云分类分割的网络模块，包括至少两个依次串联连接的稀疏边卷积层，所述稀疏边卷积层的稀疏率不同且逐渐增大，各个稀疏边卷积层的近邻点的个数相同。
优选地，所述稀疏边卷积层的个数至少为3个。
优选地，所述近邻点的个数为10~20之间的整数。
优选地，所述稀疏边卷积层的个数为3个，稀疏率依次为1、2和5。
一种点云分类网络，包括：n个串联的所述的网络模块，n≥2，第一个网络模块的输入为三维点云，最后一个网络模块的输出依次连接一特征连接层、一卷积层和3个全连接层，最后一个全连接层的输出为点云分类结果。
优选地，n≥3，且在网络模块之间还使用残差结构跳连。
一种点云分割网络，包括：n个串联的所述的网络模块，n≥2，第一个网络模块的输入为三维点云，最后一个网络模块的输出分别连接一第一特征连接层的输入和一第二特征连接层的输入，所述第一特征连接层的输出连接一第一卷积层的输入，所述第一卷积层的输出连接所述第二特征连接层的输入，所述第二特征连接层的输出依次连接三个第二卷积层，最后一个第二卷积层的输出为点云分割结果。
优选地，n≥3，且在网络模块之间还使用残差结构跳连。
一种点云分类分割网络，包括：n个串联的所述的网络模块，n≥2，第一个网络模块的输入为三维点云，最后一个网络模块的输出分别连接一第一特征连接层的输入和一第二特征连接层的输入，所述第一特征连接层的输出连接一第一卷积层的输入，所述第一卷积层的输出连接所述第二特征连接层的输入，所述第二特征连接层的输出依次连接3个第二卷积层，所述第一卷积层的输出还依次连接3个全连接层；其中，最后一个全连接层的输出为点云分类结果，最后一个第二卷积层的输出为点云分割结果。
优选地，n≥3，且在网络模块之间还使用残差结构跳连。
本发明与现有技术对比的有益效果包括：本发明构造了由稀疏边卷积层串联形成的网络模块，将更多的近邻按照稀疏卷积的规则选取出任意个节点进行边卷积，使网络模块能够最大限度利用近邻点的点云所具有的信息，即在不缺失所有周围临近点信息的前提下，最大化减少信息冗余，在最大化感受野的同时，能避免出现个别信息节点的丢失，解决了现有的DGCNN在处理三维物体点云数据时存在的感受野随层数增加而扩大的效率低且存在大量复用信息的问题。将该网络模块应用于点云处理的分类和分割时，能提高准确率，缩小网络宽度，有利于网络的加深。进一步地，在网络模块之间使用残差结构跳连，可以缓解由于网络模块的加深带来的过拟合和梯度弥散问题，因此，可以将网络模块任意加深。
附图说明
图1是本发明一具体实施方式中的用于点云分类分割的网络模块的示意图；
图2a和图2b分别为本发明一具体实施方式中的CDL与现有的DGCNN的边卷积层宽度的对比示意图；
图3a和3b分别是未采用稀疏边卷积和采用了稀疏边卷积的感受野示意图；
图4是本发明的一具体实施方式中的点云分类分割网络的示意图。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明的技术问题通过以下的技术方案予以解决：
本发明的具体实施方式提供一种用于点云分类分割的网络模块，其包括至少两个依次串联连接的稀疏边卷积层，所述稀疏边卷积层的稀疏率不同且逐渐增大，各个稀疏边卷积层的近邻点的个数相同。
用于点云分类分割的网络模块可以用cascade dilated layer（CDL）表示，下文中，CDL即表示用于点云分类分割的网络模块。
在一些实施方式中，稀疏边卷积层的个数至少为3个。
在一些实施方式中，所述近邻点的个数为10~20之间的整数。
在一个具体的实施方式中，如图1所示，CDL包括三个依次串联的稀疏边卷积层1、2和3，稀疏率d依次为1、2和5，即稀疏边卷积层1的稀疏率d为1，稀疏边卷积层2稀疏率d为2，稀疏边卷积层3稀疏率d为5，三个稀疏边卷积层的近邻点的个数k均为10；进一步优选每一层稀疏边卷积层的边卷积层宽度都为64，即Unit=64。
为便于与DGCNN的边卷积层宽度（Unit）进行对比，如图2a和图2b所示，分别为本发明的由四层稀疏边卷积层构成的CDL与现有的DGCNN（四层边卷积）的边卷积层宽度（Unit）的对比示意图，从中可看出，相比DGCNN，本发明的CDL在宽度上可以大为缩减，减少了大量的参数，将网络变得更“窄”，这将更有利于网络模型的加深。
为说明采用了稀疏边卷积的感受野增大的效果，简化起见，如图3a和3b所示，图3a是未采用稀疏边卷积（两层边卷积的稀疏率都是1）的感受野示意图，图3b是采用了稀疏边卷积（两层边卷积的稀疏率都是2）的感受野示意图，图中：①为中心点，图3a中②、③、④和⑥为卷积点，其他点为未参与卷积的点，图3b中，②、③、⑤、⑥、⑩和⑫为卷积点，其他点为未参与卷积的点，实线箭头表示第一层卷积，虚线箭头表示第二层卷积，从内到外第一个实线圆表示第一层感受野范围，第二个实线圆表示第二层感受野范围，最外层的虚线圆表示两个图在同一个范围内进行比较。从图可以看出，图3b的感受野要明显大于图3a的感受野，且点的覆盖范围更广（即覆盖了更多卷积点）。因此，在网络中，若采用图3a的边卷积网络，则扩散慢，且相邻两层边卷积中采样到的点存在大量重复（即图3a中的虚线箭头和实线箭头相互连接的很多），这对于采样信息是一种极大的浪费，且可能会出现部分近邻点一直卷积不到的情况，而若采用类似图3b的方式，则较少存在相邻层采样到相同点的情况。
本发明具体实施方式中的CDL解决了现有的DGCNN在处理三维物体点云数据时存在的感受野随层数增加而扩大的效率低且存在大量复用信息的问题。因此本发明具体实施方式中的CDL不产生近邻点信息缺失，可以尽可能地减少近邻点信息复用，数据本身利用率高。在应用时，CDL可以任意堆叠，由此可以任意扩大解空间的大小，寻求更优的解。
本发明的具体实施方式还提供一种点云分类网络，包括：n个串联的所述的网络模块，n≥2，第一个网络模块的输入为三维点云，最后一个网络模块的输出依次连接一特征连接层、一卷积层和3个全连接层，最后一个全连接层的输出为点云分类结果。
上述实施方式中的CDL在应用于点云分类网络中时，可重复调用，直接多层CDL叠加即可实现网络深度的加深，在一些实施方式中，n≥3时在网络模块之间还使用残差结构跳连，以缓解网络深度加深带来的过拟合和梯度弥散问题。进一步地，考虑到不同层之间的参数输入需要整定，优选使用相同的边卷积层 “宽度”（即Unit=64）。
本发明的具体实施方式又提供一种点云分割网络，包括：n个串联的所述的网络模块，n≥2，第一个网络模块的输入为三维点云，最后一个网络模块的输出分别连接一第一特征连接层的输入和一第二特征连接层的输入，所述第一特征连接层的输出连接一第一卷积层的输入，所述第一卷积层的输出连接所述第二特征连接层的输入，所述第二特征连接层的输出依次连接三个第二卷积层，最后一个第二卷积层的输出为点云分割结果。
上述实施方式中的CDL在应用于点云分割网络中时，可重复调用，直接多层CDL叠加即可实现网络深度的加深，在一些实施方式中，n≥3时在网络模块之间还使用残差结构跳连，以缓解网络深度加深带来的过拟合和梯度弥散问题。进一步地，考虑到不同层之间的参数输入需要整定，优选使用相同的边卷积层 “宽度”（即Unit=64）。
本发明的具体实施方式再提供一种点云分类分割网络，包括：n个串联的所述的网络模块，n≥2，第一个网络模块的输入为三维点云，最后一个网络模块的输出分别连接一第一特征连接层的输入和一第二特征连接层的输入，所述第一特征连接层的输出连接一第一卷积层的输入，所述第一卷积层的输出连接所述第二特征连接层的输入，所述第二特征连接层的输出依次连接3个第二卷积层，所述第一卷积层的输出还依次连接3个全连接层；其中，最后一个全连接层的输出为点云分类结果，最后一个第二卷积层的输出为点云分割结果。
上述实施方式中的CDL在应用于点云分类分割网络中时，可重复调用，直接多层CDL叠加即可实现网络深度的加深，在一些实施方式中，n≥3时在网络模块之间还使用残差结构跳连，以缓解网络深度加深带来的过拟合和梯度弥散问题，进一步地，考虑到不同层之间的参数输入需要整定，优选使用相同的边卷积层“宽度”（即Unit=64）。在一个具体的实施方式中，如图4所示，一种点云分类分割网络包括：n个串联的网络模块CDL，n≥2（图4的示例中，n≥3），每个CDL为图1所示的示例，即，每个CDL包括三个依次串联的稀疏边卷积层1、2和3，稀疏率d依次为1、2和5，即稀疏边卷积层1的稀疏率d为1，稀疏边卷积层2稀疏率d为2，稀疏边卷积层3稀疏率d为5，三个稀疏边卷积层的近邻点的个数k均为10，每个稀疏边卷积层的宽度都为64。第一个CDL的输入为三维点云，最后一个CDL的输出分别连接一第一特征连接层41的输入和一第二特征连接层42的输入（第一特征连接层41和第二特征连接层42分别把所有CDL信息提取出来，每个64变成64*n，其中n表示CDL的个数），第一特征连接层41的输出连接一第一卷积层51（64*n，1024）的输入，第一卷积层51的输出连接第二特征连接层42的输入，第二特征连接层42的输出依次连接3个第二卷积层52（参数依次为（1024+64*n，512）；（512，256）；（256，seg_num）），第一卷积层51的输出还依次连接3个全连接层6（参数分别为1024-512；512-256；256-num_class）；其中，最后一个全连接层的输出为点云分类结果，最后一个第二卷积层的输出为点云分割结果，在CDL之间还使用残差结构跳连，也即，第一个CDL的输出会跳连到第三个CDL的输入（即第三个CDL的输入是第一个CDL的输出和第二个CDL的输出的加总），第二个CDL的输出跳连到第四个CDL，以此类推。
上述的点云分类分割网络可以用Hierarchical Dilated Graph ConvolutionNetwork（HDGCN）表示，下文中，可以直接用HDGCN代表点云分类分割网络，其构造了一个可重复的具有层次性的点云框架，其核心是通过叠加多层CDL，来扩大感受野，CDL优选是设定为3层，但其他实施方式中，也可以设置成更多的层数，如将稀疏率分别为1、2、5的三层结构改为稀疏率分别为1、2、5、11等其他类似的结构，或者使用稀疏率分别为1、2、4等相近参数来构造CDL层。
在HDGCN中，网络输入是三维点云N*3，经过多层CDL后，若处理分类问题，则最后一个CDL输出的信息经过第一特征连接层41后，送入一个普通的第一卷积层51（稀疏率为1），再通过3个全连接层6，得到点云分类结果。若处理分割问题，则最后一个CDL的输出分别送入第一特征连接层41和第二特征连接层42，经过第一特征连接层41的处理后输出送入一个普通的第一卷积层51，第一卷积层51的输出送入第二特征连接层42，第二特征连接层42对最后一个CDL的输出和第一卷积层51的输出进行处理后，送入3个普通的第二卷积层51（稀疏率为1），得到点云分割结果。
以下，将本发明的网络结构（HDGCN）与现有的DGCNN、PointNet进行分类/分割结果比较，对比结果如下表1-3所示：
表1：各类方法在点云物体分类测试集ModelNet40效果
表2：各类方法在点云物体分割测试集S3DIS效果
表3：各类方法在点云物体分割测试集ShapeNet效果
从以上三个表可以看出，本发明的方法能有效改善点云分类/分割任务的效果，在分类数据集ModelNet40、分割数据集S3DIS和分割数据集ShapeNet中，本发明的方法都优于DGCNN 和PointNet，通过以上实验，也验证了本发明方法的有效性。DGCNN采用了复杂的卷积方法，而本发明的方法，只需要将CDL结构复用多次，即可构建出网络的主体框架，并取得极好的效果（准确率得到了提高，同时缩小了网络宽度，有利于网络的加深）。
本发明通过引入层次化的稀疏边卷积，使得感受野能够快速扩大，并且，合理设置稀疏边卷积的稀疏率，使得网络模型能够最大限度利用近邻点的点云所具有的信息，即在不缺失所有周围临近点信息的前提下，最大化减少信息冗余。进一步地，通过使用残差结构将两个CDL模块进行跳连，不过多的学习冗余特征，而是将前几个层级的特征通过叠加在当前层级的特征空间中，来有效的提取点云特征，能够有效缓解因卷积神经网络层数增加导致的过拟合和梯度弥散问题。本发明构建了一个可被重复嵌套的简洁的网络模块，使得点云网络框架在构造时，省去过多的设计环节，只需要在CDL层数上和稀疏率上进行设置，然后重复嵌套，相比其他精心设置只针对某一特殊问题的点云网络框架，本发明的方法可移植性更好，有利于在实际工程应用中的研发。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
Claims (15)
1.一种点云分类方法，其特征在于，包括：n个串联的网络模块，n≥2，第一个网络模块的输入为三维点云，最后一个网络模块的输出依次连接一特征连接层、一卷积层和3个全连接层，最后一个全连接层的输出为点云分类结果；
其中所述网络模块包括至少两个依次串联连接的稀疏边卷积层，所述稀疏边卷积层的稀疏率不同且逐渐增大，各个稀疏边卷积层的近邻点的个数相同。
2.如权利要求1所述的点云分类方法，其特征在于，n≥3，且在网络模块之间还使用残差结构跳连。
3.如权利要求1所述的点云分类方法，其特征在于，所述稀疏边卷积层的个数至少为3个。
4.如权利要求1所述的点云分类方法，其特征在于，所述近邻点的个数为10~20之间的整数。
5.如权利要求1-4任意一项所述的点云分类方法，其特征在于，所述稀疏边卷积层的个数为3个，稀疏率依次为1、2和5。
6.一种点云分割方法，其特征在于，包括：n个串联的网络模块，n≥2，第一个网络模块的输入为三维点云，最后一个网络模块的输出分别连接一第一特征连接层的输入和一第二特征连接层的输入，所述第一特征连接层的输出连接一第一卷积层的输入，所述第一卷积层的输出连接所述第二特征连接层的输入，所述第二特征连接层的输出依次连接三个第二卷积层，最后一个第二卷积层的输出为点云分割结果；
其中所述网络模块包括至少两个依次串联连接的稀疏边卷积层，所述稀疏边卷积层的稀疏率不同且逐渐增大，各个稀疏边卷积层的近邻点的个数相同。
7.如权利要求6所述的点云分割方法，其特征在于，n≥3，且在网络模块之间还使用残差结构跳连。
8.如权利要求6所述的点云分割方法，其特征在于，所述稀疏边卷积层的个数至少为3个。
9.如权利要求6所述的点云分割方法，其特征在于，所述近邻点的个数为10~20之间的整数。
10.如权利要求6-9任意一项所述的点云分割方法，其特征在于，所述稀疏边卷积层的个数为3个，稀疏率依次为1、2和5。
11.一种点云分类分割方法，其特征在于，包括：n个串联的网络模块，n≥2，第一个网络模块的输入为三维点云，最后一个网络模块的输出分别连接一第一特征连接层的输入和一第二特征连接层的输入，所述第一特征连接层的输出连接一第一卷积层的输入，所述第一卷积层的输出连接所述第二特征连接层的输入，所述第二特征连接层的输出依次连接3个第二卷积层，所述第一卷积层的输出还依次连接3个全连接层；其中，最后一个全连接层的输出为点云分类结果，最后一个第二卷积层的输出为点云分割结果；
其中所述网络模块包括至少两个依次串联连接的稀疏边卷积层，所述稀疏边卷积层的稀疏率不同且逐渐增大，各个稀疏边卷积层的近邻点的个数相同。
12.如权利要求11所述的点云分类分割方法，其特征在于，n≥3，且在网络模块之间还使用残差结构跳连。
13.如权利要求11所述的点云分类分割方法，其特征在于，所述稀疏边卷积层的个数至少为3个。
14.如权利要求11所述的点云分类分割方法，其特征在于，所述近邻点的个数为10~20之间的整数。
15.如权利要求11-14任意一项所述的点云分类分割方法，其特征在于，所述稀疏边卷积层的个数为3个，稀疏率依次为1、2和5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011215026.XA CN112257852B (zh) | 2020-11-04 | 2020-11-04 | 用于点云分类分割的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011215026.XA CN112257852B (zh) | 2020-11-04 | 2020-11-04 | 用于点云分类分割的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112257852A CN112257852A (zh) | 2021-01-22 |
| CN112257852B true CN112257852B (zh) | 2023-05-19 |
Family
ID=74268141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011215026.XA Active CN112257852B (zh) | 2020-11-04 | 2020-11-04 | 用于点云分类分割的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112257852B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674403B (zh) * | 2021-08-26 | 2023-12-26 | 上海交通大学 | 一种三维点云上采样方法、系统、设备及介质 |
| CN113781639B (zh) * | 2021-09-22 | 2023-11-28 | 交通运输部公路科学研究所 | 一种大场景道路基础设施数字化模型快速构建方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018128088A1 (de) * | 2017-11-10 | 2019-05-16 | Nvidia Corporation | Bilaterales konvolutionsschichtnetz zur verarbeitung von punktwolken |
| CN110197223A (zh) * | 2019-05-29 | 2019-09-03 | 北方民族大学 | 基于深度学习的点云数据分类方法 |
| CN110674829A (zh) * | 2019-09-26 | 2020-01-10 | 哈尔滨工程大学 | 一种基于图卷积注意网络的三维目标检测方法 |
| CN111414941A (zh) * | 2020-03-05 | 2020-07-14 | 清华大学深圳国际研究生院 | 一种基于特征复用的点云卷积神经网络 |
| CN111583263A (zh) * | 2020-04-30 | 2020-08-25 | 北京工业大学 | 一种基于联合动态图卷积的点云分割方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11636668B2 (en) * | 2017-11-10 | 2023-04-25 | Nvidia Corp. | Bilateral convolution layer network for processing point clouds |
-
2020
- 2020-11-04 CN CN202011215026.XA patent/CN112257852B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018128088A1 (de) * | 2017-11-10 | 2019-05-16 | Nvidia Corporation | Bilaterales konvolutionsschichtnetz zur verarbeitung von punktwolken |
| CN110197223A (zh) * | 2019-05-29 | 2019-09-03 | 北方民族大学 | 基于深度学习的点云数据分类方法 |
| CN110674829A (zh) * | 2019-09-26 | 2020-01-10 | 哈尔滨工程大学 | 一种基于图卷积注意网络的三维目标检测方法 |
| CN111414941A (zh) * | 2020-03-05 | 2020-07-14 | 清华大学深圳国际研究生院 | 一种基于特征复用的点云卷积神经网络 |
| CN111583263A (zh) * | 2020-04-30 | 2020-08-25 | 北京工业大学 | 一种基于联合动态图卷积的点云分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 《Generation, Classification and Segmentation of Point Clouds in Logistic Context with PointNet++ and DGCNN》;Keng Yip Chai;《2020 the 3rd International Conference on Intelligent Robotics and Control Engineering》;31-36 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112257852A (zh) | 2021-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114937151B (zh) | 基于多感受野和注意力特征金字塔的轻量级目标检测方法 | |
| CN110245655B (zh) | 一种基于轻量级图像金字塔网络的单阶段物体检测方法 | |
| CN110210539B (zh) | 多级深度特征融合的rgb-t图像显著性目标检测方法 | |
| CN111144329B (zh) | 一种基于多标签的轻量快速人群计数方法 | |
| CN110197217B (zh) | 一种基于深度交错融合分组卷积网络的图像分类方法 | |
| CN112257852B (zh) | 用于点云分类分割的方法 | |
| CN111091130A (zh) | 基于轻量级卷积神经网络的实时图像语义分割方法及系统 | |
| WO2019001070A1 (zh) | 一种基于邻接矩阵的连接信息规整系统、图特征提取系统、图分类系统和方法 | |
| Pouyanfar et al. | An efficient deep residual-inception network for multimedia classification | |
| CN113344188A (zh) | 基于通道注意力模块的轻量级神经网络模型 | |
| CN113052254B (zh) | 多重注意力幽灵残差融合分类模型及其分类方法 | |
| CN113255892B (zh) | 一种解耦合的网络结构搜索方法、设备及可读存储介质 | |
| CN110298841B (zh) | 一种基于融合网络的图像多尺度语义分割方法及装置 | |
| CN112329861B (zh) | 一种面向移动机器人多目标检测的分层特征融合方法 | |
| CN113780470A (zh) | 一种基于自适应多通道交叉图卷积网络的图分类方法 | |
| CN114612761A (zh) | 一种面向图像识别的网络架构搜索方法 | |
| CN115131556A (zh) | 一种基于深度学习的图像实例分割方法 | |
| CN115545166A (zh) | 一种改进的ConvNeXt卷积神经网络及其遥感图像的分类方法 | |
| CN114897912A (zh) | 一种基于增强循环切片网络的三维点云分割方法及系统 | |
| CN113256793A (zh) | 一种三维数据处理方法及系统 | |
| CN111275076B (zh) | 基于特征选择和特征融合的图像显著性检测方法 | |
| CN111414941B (zh) | 一种基于特征复用的点云卷积神经网络 | |
| CN116246109A (zh) | 一种多尺度孔洞邻域注意力计算骨干网络模型及其应用 | |
| Pragnesh et al. | Compression of convolution neural network using structured pruning | |
| CN114611668A (zh) | 一种基于异质信息网络随机游走的向量表示学习方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |