CN108960326B - 一种基于深度学习框架的点云快速分割方法及其系统 - Google Patents

一种基于深度学习框架的点云快速分割方法及其系统 Download PDF

Info

Publication number
CN108960326B
CN108960326B CN201810721795.3A CN201810721795A CN108960326B CN 108960326 B CN108960326 B CN 108960326B CN 201810721795 A CN201810721795 A CN 201810721795A CN 108960326 B CN108960326 B CN 108960326B
Authority
CN
China
Prior art keywords
data
deep learning
network
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810721795.3A
Other languages
English (en)
Other versions
CN108960326A (zh
Inventor
徐楷
冯良炳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201810721795.3A priority Critical patent/CN108960326B/zh
Publication of CN108960326A publication Critical patent/CN108960326A/zh
Application granted granted Critical
Publication of CN108960326B publication Critical patent/CN108960326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域，特别涉及一种基于深度学习框架的点云快速分割方法及其系统；本发明从深度学习框架内的点网中公开的点云数据选取适合输入卷积神经网络的数据集；再组织该数据集的数据格式且进行数据预处理；然后构建一个深层的卷积神经网络；再对该卷积神经网络进行测试训练；最后进行网络性能的评估；本发明有效地提高了特征利用率和特征传播速度，加速了网络收敛速度同时在不降低网络预测性能的前提下极大地减少了网络的参数而减少了冗余，降低了学习成本。

Description

一种基于深度学习框架的点云快速分割方法及其系统
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种基于深度学习框架的点云快速分割方法及其系统。
背景技术
目前卷积神经网络要求高度规则化的输入数据格式，如图片网格化和3D体素来确保权重共享；点云拥有简单统一的结构，如(x,y,z)三个坐标轴的坐标值，因此点云可以避免不规则的组合和复杂的网格化并且容易学习，从而点云经常作为卷积神经网络的输入数据格式来使用，然而点云数据不是规则化的格式，如果将点云转化为规则化的3D体素或图片，然后作为卷积神经网络的输入格式，这样会引入人为误差。
深度学习框架具备在3D数据上的有效且灵活的操作，点网是一种统一的体系结构，它可以直接将点云作为输入和输出深度学习框架，其是为整个输入提供的类标签或为输入的每个点提供的语义/部分标签；点网可以针对点集的无序性和不规则化性，然而点网内在特征提取上存在冗余且同时特征传播速度与特征利用程度比较慢。
发明内容
本发明主要解决的技术问题是提供一种基于深度学习框架的点云快速分割方法，其通过使用密集的快捷连接来提高特征利用率与特征传播速度，同时为了减少冗余，因此在保证性能的同时减少了网络的训练代价；还提供一种基于深度学习框架的点云快速分割系统。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于深度学习框架的点云快速分割方法，其中，包括如下步骤：
步骤S1、从深度学习框架内的点网中公开的点云数据选取适合输入卷积神经网络的数据集；
步骤S2、组织该数据集的数据格式并与读取该数据集的代码相匹配从而进行数据预处理，使该数据格式的数据样本分为数据集、验证集、测试集；
步骤S3、根据步骤S2中的数据集的数据特征构建一个深层的卷积神经网络；
步骤S4、通过深度学习框架对该卷积神经网络进行测试训练，得到训练好的卷积神经网；
步骤S5、使用步骤S4中的训练好的卷积神经网络在测试集上进行网络性能的评估。
作为本发明的一种改进，在步骤S1内，选取的数据集为斯坦福室内场景3D数据集。
作为本发明的进一步改进，在步骤S2内，数据预处理是指读取该数据集的代码将步骤S1中的数据集进行重新组织产生适合点网输入的数据格式。
作为本发明的更进一步改进，在步骤S3内，数据特征包括网络深度和网络层之间的连接方式。
作为本发明的更进一步改进，在步骤S3内，数据特征还包括卷积核大小和每层卷积的特征图个数。
作为本发明的更进一步改进，在步骤S3内，数据特征还包括步长的大小。
作为本发明的更进一步改进，在步骤S4内，该卷积神经网络先在验证集内进行实验。
作为本发明的更进一步改进，在步骤S4内，该测试训练的优化算法采用自适应矩估计算法。
作为本发明的更进一步改进，在步骤S5内，根据积神经网络在测试集上输出的逐点的分类准确率、部分分割的准确率与平均交并比而来评估该卷积神经网络的最终性能。
一种基于深度学习框架的点云快速分割系统，其中，包括：
选取模块，用于从深度学习框架内的点网中公开的点云数据选取适合输入卷积神经网络的数据集；
预处理模块，用于组织数据集的数据格式并与读取该数据集的代码相匹配从而进行数据预处理，使该数据格式的数据样本分为数据集、验证集、测试集；
构建模块，用于根据预处理模块中的数据集的数据特征构建一个深层的卷积神经网络；
训练模块，用于通过深度学习框架对卷积神经网络进行测试训练；
评估模块，用于使用训练模块中的训练好的卷积神经网络在测试集上进行网络性能的评估。
本发明的有益效果是：与现有技术相比，本发明通过从从深度学习框架内的点网中公开的点云数据选取适合输入卷积神经网络的数据集；再组织该数据集的数据格式且进行数据预处理；然后构建一个深层的卷积神经网络；再对该卷积神经网络进行测试训练；最后进行网络性能的评估；本发明有效地提高了特征利用率和特征传播速度，加速了网络收敛速度同时在不降低网络预测性能的前提下极大地减少了网络的参数而减少了冗余，降低了学习成本。
附图说明
图1是本发明的基于深度学习框架的点云快速分割方法的框图；
图2是本发明的基于深度学习框架的点云快速分割系统的框图。
具体实施方式
本发明提供一种基于深度学习框架的点云快速分割方法。
请参照图1至图2，在本发明中，一种基于深度学习框架的点云快速分割方法，如图2所示，包括如下步骤：
步骤S1、从从深度学习框架内的点网中公开的点云数据选取合适合输入卷积神经网络的数据集；
步骤S2、组织该数据集的数据格式并与读取该数据集的代码相匹配从而进行数据预处理，使该数据格式的数据样本分为数据集、验证集、测试集；
步骤S3、根据步骤S2中的数据集的数据特征构建一个深层的卷积神经网络；
步骤S4、通过深度学习框架对该卷积神经网络进行测试训练，得到训练好的卷积神经网；
步骤S5、使用步骤S4中的训练好的卷积神经网络在测试集上进行网络性能的评估。
本发明通过从深度学习框架内的点网中公开的点云数据选取合适合输入卷积神经网络的数据集；再重新组织该数据集的数据格式且进行数据预处理；然后构建一个深层的卷积神经网络；再对该卷积神经网络进行测试训练；最后进行网络性能的评估；本发明有效地提高了特征利用率和特征传播速度，加速了网络收敛速度同时在不降低网络预测性能的前提下极大地减少了网络的参数而减少了冗余，降低了学习成本。
进一步，在步骤S1内，选取的数据集为斯坦福室内场景3D数据集。
再进一步，在步骤S2内，数据预处理是指读取该数据集的代码将步骤S1中的数据集进行重新组织产生适合点网输入的数据格式。
在步骤S3中根据输入数据设计出了卷积神经网络，其核心算法如下：
g[l]({x1,x2,x3,...xn})＝g[l-1]({x1,x2,x3,...xn})+h[l-1]({x1,x2,x3,...xn})，
{x1,x2,x3,...xn}为网络的输入，g[l]()为网络第l层的输入，g[l-1]()为网络第(l-1)层的输入，h[l-1]()为网络第(l-1)层的输出，以此为基础设计了密集连接的残差块结构，在同一个残差块结构每个卷积网络输出的特征图个数相同，在不同的残差块中每个卷积网络输出的特征图个数不同，且随着网络层数加深，靠后的残差块中每个卷积网络输出的特征图个数明显多以之前的，残差块之间同样通过快捷连接相连，同时可以动态的设定每个残差块中卷积层的个数；将分割问题通过全卷积神经网络来解决。
更再进一步，在步骤S3内，数据特征包括网络深度和网络层之间的连接方式。
更再进一步，在步骤S3内，数据特征还包括卷积核大小和每层卷积的特征图个数。
更再进一步，在步骤S3内，数据特征还包括步长的大小。
更再进一步，在步骤S4内，该卷积神经网络先在验证集内进行实验；验证集内的实验代码采用python语言实现。
更再进一步，在步骤S4内，该测试训练的优化算法采用自适应矩估计算法，在自适应矩估计算法内设置：基础学习率为0.001，学习率衰减为0.05，衰减策略为按步骤衰减，设置的最大的epoch(迭代次数)为70。
还可以在进行网络训练时根据日志信息决定是否提前结束训练或延长训练时间。
更再进一步，在步骤S5内，根据积神经网络在测试集上输出的逐点的分类准确率、部分分割的准确率与平均交并比而来评估该卷积神经网络的最终性能；可以obj文件格式保存预测结果。
在本发明中，具体地实施例操作如下：
1)从深度学习框架内的点网中公开的点云数据选取合适合输入卷积神经网络的数据集，如ModelNet40，ShapeNet part dataset，S3DIS(斯坦福室内场景3D数据集)；
2)组织数据格式使其与读取文件的代码相匹配并进行数据预处理，然后将重新组织的数据样本分为三个部分：数据集、验证集和测试集。
3)构建一个深层的卷积神经网络，具体包括确定网络深度、网络层之间的连接方式、卷积核大小、每层卷积的特征图个数、步长的大小；权重参数的初始化策略、动量、学习率、迭代次数等超参数的设置；优化算法的选择与其参数配置。
4)实验代码采用python语言实现，通过tensorflow深度学习框架进行网络的训练,得到训练好的卷积神经网，经测试训练的超参数设置如下：优化算法使用Adam(Adaptive Moment Estimate自适应矩估计)，基础学习率为0.001，学习率衰减为0.05，衰减策略为按步骤衰减，设置的最大的epoch(迭代次数)为70。
5)使用训练好的深层卷积网络模型对测试数据进行评估，输出逐点的分类准确率、部分分割的准确率与平均交并比，来评估网络的最终性能。
该实施例经过实验证明可行，结果如下：
表一：
params time/epoch
PointNet 8.6M 274s
Ours 3.7M 198s
注：M：代表百万，现有技术点网参数为8.6M，本发明中参数为3.7M，在相同的训练集中点网迭代一次需274秒，本实验需要198秒。
表二：
Figure BDA0001718749680000061
表二中第一行为点网在测试集的预测结果，第二行为本算法在相同测试集上的预测结果；其中的评价标准为第二列表格中的数据平均化的交并比，其值越高代表网络性能越好。
如图2所示，本发明中一种基于深度学习框架的点云快速分割系统，包括：
选取模块，用于从深度学习框架内的点网中公开的点云数据选取合适合输入卷积神经网络的数据集；
预处理模块，用于组织数据集的数据格式并与读取该数据集的代码相匹配从而进行数据预处理，使该数据格式的数据样本分为数据集、验证集、测试集；
构建模块，用于根据预处理模块中的数据集的数据特征构建一个深层的卷积神经网络；
训练模块，用于通过深度学习框架对卷积神经网络进行测试训练；
评估模块，用于使用训练模块中的训练好的卷积神经网络在测试集上进行网络性能的评估。
与现有技术相比，本发明有效的提高了特征利用率，特征传播速度，加速了网络收敛速度同时在不降低网络预测性能的前提下极大地减少了网络的参数或减少了冗余，降低了学习成本。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于深度学习框架的三维室内场景的点云快速分割方法，其特征在于，包括如下步骤：
步骤S1、从深度学习框架内的点网中公开的点云数据选取适合输入卷积神经网络的数据集；
步骤S2、组织该数据集的数据格式并与读取该数据集的代码相匹配从而进行数据预处理，使该数据格式的数据样本分为数据集、验证集、测试集；
步骤S3、根据步骤S2中的数据集的数据特征构建一个深层的卷积神经网络；
步骤S4、通过深度学习框架对该卷积神经网络进行测试训练，得到训练好的卷积神经网；
步骤S5、使用步骤S4中的训练好的卷积神经网络在测试集上进行网络性能的评估。
2.根据权利要求1所述的一种基于深度学习框架的三维室内场景的点云快速分割方法，其特征在于，在步骤S1内，选取的数据集为斯坦福室内场景3D数据集。
3.根据权利要求2所述的一种基于深度学习框架的三维室内场景的点云快速分割方法，其特征在于，在步骤S2内，数据预处理是指读取该数据集的代码将步骤S1中的数据集进行重新组织产生适合点网输入的数据格式。
4.根据权利要求3所述的一种基于深度学习框架的三维室内场景的点云快速分割方法，其特征在于，在步骤S3内，数据特征包括网络深度和网络层之间的连接方式。
5.根据权利要求4所述的一种基于深度学习框架的三维室内场景的点云快速分割方法，其特征在于，在步骤S3内，数据特征还包括卷积核大小和每层卷积的特征图个数。
6.根据权利要求5所述的一种基于深度学习框架的三维室内场景的点云快速分割方法，其特征在于，在步骤S3内，数据特征还包括步长的大小。
7.根据权利要求6所述的一种基于深度学习框架的三维室内场景的点云快速分割方法，其特征在于，在步骤S4内，该卷积神经网络先在验证集内进行实验。
8.根据权利要求7所述的一种基于深度学习框架的三维室内场景的点云快速分割方法，其特征在于，在步骤S4内，该测试训练的优化算法采用自适应矩估计算法。
9.根据权利要求8所述的一种基于深度学习框架的三维室内场景的点云快速分割方法，其特征在于，在步骤S5内，根据积神经网络在测试集上输出的逐点的分类准确率、部分分割的准确率与平均交并比而来评估该卷积神经网络的最终性能。
10.一种基于深度学习框架的三维室内场景的点云快速分割系统，其特征在于，包括：
选取模块，用于从深度学习框架内的点网中公开的点云数据选取适合输入卷积神经网络的数据集；
预处理模块，用于组织数据集的数据格式并与读取该数据集的代码相匹配从而进行数据预处理，使该数据格式的数据样本分为数据集、验证集、测试集；
构建模块，用于根据预处理模块中的数据集的数据特征构建一个深层的卷积神经网络；
训练模块，用于通过深度学习框架对卷积神经网络进行测试训练，得到训练好的卷积神经网；
评估模块，用于使用训练模块中的训练好的卷积神经网络在测试集上进行网络性能的评估。
CN201810721795.3A 2018-07-04 2018-07-04 一种基于深度学习框架的点云快速分割方法及其系统 Active CN108960326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810721795.3A CN108960326B (zh) 2018-07-04 2018-07-04 一种基于深度学习框架的点云快速分割方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810721795.3A CN108960326B (zh) 2018-07-04 2018-07-04 一种基于深度学习框架的点云快速分割方法及其系统

Publications (2)

Publication Number Publication Date
CN108960326A CN108960326A (zh) 2018-12-07
CN108960326B true CN108960326B (zh) 2021-03-23

Family

ID=64485558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810721795.3A Active CN108960326B (zh) 2018-07-04 2018-07-04 一种基于深度学习框架的点云快速分割方法及其系统

Country Status (1)

Country Link
CN (1) CN108960326B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197215A (zh) * 2019-05-22 2019-09-03 深圳市牧月科技有限公司 一种自主驾驶的地面感知点云语义分割方法
US11657282B2 (en) * 2019-09-16 2023-05-23 Qualcomm Incorporated Efficient inferencing with fast pointwise convolution
CN111325757B (zh) * 2020-02-18 2022-12-23 西北工业大学 一种基于贝叶斯神经网络的点云识别与分割方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104197897A (zh) * 2014-04-25 2014-12-10 厦门大学 一种基于车载激光扫描点云的城区道路标线自动分类方法
CN106408011A (zh) * 2016-09-09 2017-02-15 厦门大学 基于深度学习的激光扫描三维点云树木自动分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104197897A (zh) * 2014-04-25 2014-12-10 厦门大学 一种基于车载激光扫描点云的城区道路标线自动分类方法
CN106408011A (zh) * 2016-09-09 2017-02-15 厦门大学 基于深度学习的激光扫描三维点云树木自动分类方法

Also Published As

Publication number Publication date
CN108960326A (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
AU2019213369B2 (en) Non-local memory network for semi-supervised video object segmentation
CN108647585B (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
CN108898560B (zh) 基于三维卷积神经网络的岩心ct图像超分辨率重建方法
CN108960326B (zh) 一种基于深度学习框架的点云快速分割方法及其系统
CN110334589B (zh) 一种基于空洞卷积的高时序3d神经网络的动作识别方法
CN110349103A (zh) 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法
CN111681178B (zh) 一种基于知识蒸馏的图像去雾方法
CN111145181A (zh) 一种基于多视角分离卷积神经网络的骨骼ct图像三维分割方法
CN110309835B (zh) 一种图像局部特征提取方法及装置
CN113065653B (zh) 面向移动端图像分类的轻量级卷积神经网络的设计方法
CN113837361A (zh) 一种空气污染物浓度预测方法及系统
CN114492831B (zh) 联邦学习模型的生成方法及其装置
CN110956655B (zh) 一种基于单目图像的稠密深度估计方法
CN113805235B (zh) 基于卷积神经网络的三维地震相识别方法及装置
CN111724370B (zh) 基于不确定性和概率的多任务图像质量评估方法及系统
CN114943345A (zh) 基于主动学习和模型压缩的联邦学习全局模型训练方法
CN112184731B (zh) 一种基于对抗性训练的多视图立体深度估计方法
CN113095254A (zh) 一种人体部位关键点的定位方法及系统
CN112270405A (zh) 基于范数的卷积神经网络模型的滤波器剪枝方法和系统
CN110930378A (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN113570658A (zh) 基于深度卷积网络的单目视频深度估计方法
CN112307860A (zh) 图像识别模型训练方法和装置、图像识别方法和装置
Huai et al. Zerobn: Learning compact neural networks for latency-critical edge systems
CN114913379A (zh) 基于多任务动态对比学习的遥感图像小样本场景分类方法
CN112150497A (zh) 基于二值神经网络的局部激活方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant