CN112085123B - 基于显著点采样的点云数据分类和分割方法 - Google Patents

基于显著点采样的点云数据分类和分割方法 Download PDF

Info

Publication number
CN112085123B
CN112085123B CN202011020289.5A CN202011020289A CN112085123B CN 112085123 B CN112085123 B CN 112085123B CN 202011020289 A CN202011020289 A CN 202011020289A CN 112085123 B CN112085123 B CN 112085123B
Authority
CN
China
Prior art keywords
layer
data
point
network
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011020289.5A
Other languages
English (en)
Other versions
CN112085123A (zh
Inventor
白静
徐浩钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North Minzu University
Original Assignee
North Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North Minzu University filed Critical North Minzu University
Priority to CN202011020289.5A priority Critical patent/CN112085123B/zh
Publication of CN112085123A publication Critical patent/CN112085123A/zh
Application granted granted Critical
Publication of CN112085123B publication Critical patent/CN112085123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于显著点采样的点云数据分类和分割方法，提出基于显著点采样的点云数据分类和分割网络，两个网络主干部分由新的显著点采样算法(SPS)和多尺度局部显著特征提取网络(MS‑LSFE)构成，SPS和MS‑LSFE都可以灵活地插入到其它网络中，以辅助采样或特征提取。为了方便调用，本方法将SPS和MS‑LSFE进行封装，形成多尺度显著特征提取模块(MS‑SFE)，实现了性能和参数量的平衡。本发明在标准公开数据集ModelNet40上进行分类试验，确保参数数量只有0.3×106的同时分类精度达到92.42％；在标准公开数据集ShapeNet、S3DIS和Semantic3D上进行分割实验，分别可以达到85.1％、61.8％、65.8％的分割精度。上述分类分割结果在同类工作中处于领先或相当的水平，验证了本方法可行性和有效性。

Description

基于显著点采样的点云数据分类和分割方法
技术领域
本发明涉及计算机图形学、计算机视觉与智能识别的技术领域，尤其是指一种基于显著点采样的点云数据分类和分割方法。
背景技术
随着激光雷达、立体摄像机等三维点云采集设备的普及以及自主机器人、自主驾驶等相关领域的发展，为了避免代价高昂的网格重建，直接处理点云的需求越来越大。因此，3D点云的大型存储库开始出现，卷积神经网络(CNNs)正成为极大提高点云处理能力的最重要技术之一。
点云模型的应用场景，如无人驾驶，多为需要实时获取点云数据初步完成分割和识别并快速形成决策，同时要求网络装载在嵌入式设备中，这就要求网络参数量小，占用资源较少。
早期对点云数据的使用一般停留在针对特定任务进行的手工提取特征，Bronstein等(Bronstein M M，Kokkinos I.Scale-invariant heat kernel signaturesfor non-rigid shape recognition[C]//Proceedings of The Twenty-Third IEEEConference on Computer Vision and Pattern Recognition，CVPR 2010，SanFrancisco，CA，USA，13-18June 2010.IEEE，2010.)提出提取点的某些统计特性，并且将其设计为针对某些变换(如距离等)该点特征不变。但是手工提取特征的方法不具有普适性且速度较慢，不能满足日益增长的需求。
近年来，深度学习已成为人工智能领域中备受瞩目的研究热点。作为经典的深度学习数据，卷积神经网络已成为许多先进的计算机视觉算法的基础，例如图像识别、对象分类和语义分割等。卷积神经网络可以从海量数据中自动学习特征的表示，并且能够针对新的应用从训练数据中很快学习得到新的有效的特征表示。尽管经典的卷积神经网络数据在二维图像领域取得了巨大的成功，但在处理三维数据上仍存在着挑战。
Qi等(C.R.Qi，H.Su，K.Mo，and L.J.Guibas.Pointnet:deep learning on pointsets for 3d classification and segmentation[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition，pages 652–660，2017.)针对点云数据的特性提出的PointNet网络首次将深度学习应用于点云分类任务.PointNet利用T-Net实现数据及特征的有效对齐，利用Maxpooling对称函数提取顺序无关的全局特征，在ModelNet40上取得了89.20％的分类精度.但PointNet无法提取点云数据的局部特征，之后出现的一系列工作都针对如何有效提取点云的局部特征而设计。
但是PointNet忽略了对局部特征的处理，这被证明对于在点云上运用CNN是十分关键的；为了解决这一问题，PointNet++(Qi,C.R.,Yi,L.,Su,H.,Guibas,L.J.,2017b.Pointnet++:Deep hierarchical feature learning on point sets in a metricspace,in:Advances in neural information processing systems,pp.5099–5108.)提出用最远点采样算法(FPS)将点云划分为若干子集，然后构建层次结构，并将PointNet应用于每一个子集上提取局部特征；Point2Sequence同样采用FPS划分子集,并引入注意力机制提取特征；So-net(Li,J.,Chen,B.M.,Hee Lee,G.,2018a.So-net:Self-organizing networkfor point cloud analysis,in:Proceedings of the IEEE conference on computervision and pattern recognition,pp.9397–9406.)引入竞争学习机制来划分点云数据的子集；ShellNet(Zhang,Z.,Hua,B.S.,Yeung,S.K.,2019b.Shellnet:Efficient pointcloud convolutional neural networks using concentric shells statistics,in:Proceedings of the IEEE International Conference on Computer Vision,pp.1607–1616.)通过随机下采样的方式构建子集，并在子集上使用ShellConv算子提取特征；PATs(Yang,J.,Zhang,Q.,Ni,B.,Li,L.,Liu,J.,Zhou,M.,Tian,Q.,2019.Modeling pointclouds with self-attention and gumbel subset sampling,in:Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition,pp.3323–3332.)提出了使用GSA+GSS的方式划分点云数据的子集；上述方法大都基于低维欧式空间，无法进行端到端的训练，而PATs方法较为繁杂。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于显著点采样的点云数据分类和分割方法，该方法提出一种点云数据显著点采样算法SPS和多尺度局部显著特征提取网络MS-LSFE，SPS和MS-LSFE都可以灵活地插入到其它网络中，以辅助采样或特征提取，同时将两者进行封装得到MS-SFE，其能端到端的实现下采样和多尺度特征提取操作，实现了性能和参数量的平衡。
为实现上述目的，本发明所提供的技术方案为：基于显著点采样的点云数据分类和分割方法，包括以下步骤：
S1、针对分类任务选用Princeton ModelNet40数据集，从官网选取所需数量的数据作为训练数据和测试数据，生成分类任务的训练集和测试集；针对分割任务选用ShapeNet、S3DIS和Semantic3D数据集，从官网选取所需数量的数据作为训练数据和测试数据，生成分割任务的训练集和测试集；
S2、对输入的点云数据进行数据增广；
S3、提出一种适用于点云下采样的、参数量少的Attention机制，该Attention机制通过一层卷积核大小为s的一维卷积和一个sigmoid激活函数来获取所输入点云的显著度；
S4、提出一种点云数据显著点采样算法，称为SPS算法，该SPS算法利用步骤S3所提出的Attention机制中获得的显著度，对所有点云按照显著度进行重排序，挑选显著度高的前n个点作为下采样点；
S5、构建一个多尺度局部显著特征提取网络，称为MS-LSFE，该MS-LSFE以SPS算法得到的下采样点为中心，通过ball-query方法获取中心点周围的局部区域，通过控制中心点不同的局部区域大小，实现多尺度特征的要求；将一个点不同尺度的局部同时分别送入组数为2的分组卷积中提取特征，然后使用最大池化Maxpool来聚合每一个点的多尺度特征，最后将Maxpool聚合出的特征再次送入另一个组数为2的分组卷积进行特征升维得到多尺度局部特征；
S6、构建一个包含SPS算法和MS-LSFE的多尺度显著特征提取模块，称为MS-SFE，该MS-SFE能够端到端实现下采样和多尺度局部特征提取的功能；
S7、提出点云数据的分类网络和分割网络：所述分类网络由堆叠的三个MS-SFE加上一个多层感知器MLP、一个最大池化层Maxpool、一个全连接层和一个分类器构成，点云数据通过该分类网络能够得到分类结果，其中，所述分类网络使用步骤S1中的ModelNet40数据集中的训练集进行网络训练，使用ModelNet40数据集中的测试集对训练好的网络进行测试；所述分割网络由堆叠的三个MS-SFE加上一个多层感知器MLP、一个最大池化层Maxpool、三个连续的由三邻域邻进点的内插操作和MLP组成的模块和两个一维卷积层构成，点云数据通过该分割网络能够得到分割结果，其中，所述分割网络使用步骤S1中的ShapeNet、S3DIS和Semantic3D数据集中的训练集分别进行网络训练，使用ShapeNet、S3DIS和Semantic3D数据集中的测试集分别对训练好的网络进行测试。
在步骤S1中，针对分类任务选用Princeton ModelNet40数据集，采用官网数据，取9843个数据作为训练数据，2468个数据作为测试数据；针对分割任务选用ShapeNet、S3DIS和Semantic3D数据集，采用官网数据，对于ShapeNet取14006个数据作为训练数据，2874个数据作为测试数据；S3DIS数据集包含使用Matterport扫描获得的6个室内区域的271个房间的3D数据，在S3DIS中每个点都用来自13个类别之一的语义标签进行注释；Semantic3D数据集包含了8个类别的超过40亿注释点；上述所有数据集中的三维数据表面进行均匀采样，坐标预先被归一化至单位球[-1，1]区间内。
在步骤S2中，对输入的点云数据使用在[-0.66,1.5]范围内添加随机各向异性尺度变化和在[-0.2,0.2]范围内平移的方式实现点云数据扩增。
在步骤S3中，采样操作应该满足以下条件：
a、采样操作是可微分的，也就是说，能够被纳入网络并与网络端到端训练；
b、采样操作应该只关注输入点云的显著区域，而不是整个模型；
c、采样操作的参数量要少，不会影响到网络的整体性能；
针对以上所提出的条件，构建一种适用于点云下采样的、参数量少的Attention机制，该Attention机制由卷积核大小为1×s的一维卷积和sigmoid激活函数构成，其中，s等于一维卷积中点云输入数目的四分之一。
在步骤S4中，构建的点云数据显著点采样算法，即SPS算法，具体如下：
输入：经前一层处理得到的显著点的点云坐标点SPi和其所对应的特征SFi，i＝1,2,3…；其中，在首层中SF1等于SP1；
输出：显著点SPi+1和其对应的特征SFi+1；
Step1、将SFi的前s-1元素复制到SFi的末端，得到一个新的扩展特征向量F，为下一步操作做准备；
Step2、对F的特征通道channel使用Maxpool操作聚合来每个点的所有通道信息，在这里，使用全局Maxpool来聚合每个点最重要的特性；
Step3、使用步骤S3中的Attention机制，计算每个点的显著性，其中每个点的显著性值在[0,1]；
Step4、根据每个点的显著性，选取SPi和SFi前ni+1个点，得到显著点集SPi+1及其特征向量IFi+1，然后将SPi+1及其特征向量IFi+1输出。
在步骤S5中，提出一个多尺度局部显著特征提取网络，称为MS-LSFE，MS-LSFE的输入为一个显著点集SPi+1及其特征向量IFi+1，通过以下步骤生成其最终的多尺度特征向量SFi+1：
Step1、对于每个点x∈SPi+1，通过在半径为r的球区内随机选取k个点确定一个尺度大小为k的邻域，建立m个多尺度局部邻域{Rj(x)，1≤j≤m}，kj<kj+1表示高尺度邻域点数大于低尺度邻域所包含的点数；其中，局部邻域Rj(x)的尺度为kj，相应的，对于点集SPi+1，其在尺度kj处的局部邻域为{Rj,1≤j≤m}；
Step2、对于每个局部区域Rj(x)，1≤j≤m，x∈SPi+1，通过将每个点y∈Rj(x)的绝对特征信息f(y)和相对特征信息f(y)-f(x)结合，构造其联合特征JFj(x)，这里使用局部邻域内每一点的绝对信息，而不是中心点的绝对信息，是为了确保更充分的信息；
Step3、将不同尺度下的联合特征发送到一组带通道洗牌的组卷积GS-MLP，得到不同尺度下的特征矩阵；GS-MLP首先将输入的特征矩阵按特征通道维度划分为g组，分别对每组应用不同的MLP，其次将所有组的MLP获得的特征进行通道的拼接，最后将拼接好的特征通道进行打乱洗牌；使用组卷积和普通卷积的参数量计算如下：
Pmlp＝1×1×ci×ci′ (1)
PMS-mlp＝(1×1×ci/g×ci′/g)×g＝Pmlp/g (2)
其中，Pmlp表示传统MLP的参数量，ci、ci′表示输入、输出的特征数量，PMS-mlp表示本步骤所提出的MLP的参数量，g表示分组数量；
所述MS-LSFE的网络层结构如下：
第一层：多尺度特征提取层，包含四个组卷积层及其对应的四个激活函数层；
第二层：特征聚合层，包含一个Maxpool聚合函数；
第三层：特征提取层，包含一个组卷积，一个激活函数；
Step4、将m个尺度的特征矩阵分别使用Maxpool进行局部特征聚合，再将m个聚合局部特征之后的矩阵进行拼接运算，最后将拼接后的特征再次发送到GS-MLP得到输出的显著点SPi+1的多尺度局部显著性特征SFi+1。
通过以上过程能够高效地获得点云数据的特征。
在步骤S6中，将步骤S4和S5所提出的SPS和MS-LSFE进行封装，获得一个能够端到端的实现下采样和多尺度特征提取的模块MS-SFE，该模块中包含SPS算法和MS-LSFE，实现了下采样和特征提取功能的融合，即通过该模块就能获得一组下采样点及下采样点所对应的多尺度局部特征，能够实现插入任意网络的任意位置中；
所述MS-SFE的网络层结构如下：
第一层：下采样层，由SPS构成；
第二层：特征提取层，由MS-LSFE构成。
在步骤S7中，针对分类任务的分类网络的各层结构如下：
第一层：多尺度局部特征提取层，包含一个ME-SFE模块；
第二层：多尺度局部特征提取层，包含一个ME-SFE模块；
第三层：多尺度局部特征提取层，包含一个ME-SFE模块；
第四层：全局特征提取层，包含一个MLP；
第五层：全局特征聚合层，包含一个Maxpool；
第六层，输出层，包含一个全连接层和一个Softmax层；
针对分割任务的分割网络的各层结构如下：
第一层：多尺度局部特征提取层，包含一个ME-SFE模块；
第二层：多尺度局部特征提取层，包含一个ME-SFE模块；
第三层：多尺度局部特征提取层，包含一个ME-SFE模块；
第四层：全局特征提取层，包含一个MLP；
第五层：全局特征聚合层，包含一个Maxpool；
第六层，内插层，包含一个三邻域邻进点的内插函数，一个MLP；
第七层，内插层，包含一个三邻域邻进点的内插函数，一个MLP；
第八层，内插层，包含一个三邻域邻进点的内插函数，一个MLP；
第九层，输出层，包含两个一维卷积。
本发明与现有技术相比，具有如下优点与有益效果：
1、提出了一种新的显著点采样算法(SPS)，并进行端到端训练以形成有意义的局部结构，该SPS算法相比传统算法划分效果更为优异。
2、提出了一种有效的多尺度局部显著特征提取网络(MS-LSFE)，该网络集成了不同尺度的局部特征，构建了三维点云的鲁棒表示。
3、本方法将SPS与MS-LSFE进行封装得到MS-SFE，它可以插入到任意点云处理网络中，进一步优化其使用的便利性。基于MS-SFE设计了用于点云分类和分割任务的新型轻量级网络，它可以捕获丰富的局部和全局特征用于三维点云的分类和分割。
4、本方法所建立的点云数据分类网络和分割网络进一步平衡了使用深度学习的点云数据算法的性能和参数量，在确保参数量只有0.3×106的同时，ModelNet40上的分类精度达到92.42％。
5、本方法提出的MS-LSFE使用了通道洗牌的分组卷积，在保证性能的同时进一步降低了参数量。
6、现有的Attention参数量大，不符合点云数据处理中轻、快、参数量少的要求。本方法所提出的Attention与传统方法比摒弃了全连接、矩阵加法和乘法操作，节省了大量参数和计算开销，完全符合点云数据处理的任务特点。
7、现有的点云处理网络采样方法无法进行端到端训练，训练难度大(需要大量的训练参数)。本方法提出的SPS算法克服了以前下采样方法不可微分的弊病，可以嵌入网络中进行学习，同时该下采样方法对参数量很小，对网络的整体参数量几乎没有影响，完全满足了点云处理网络的轻、快的要求。
8、经实验证明，本方法不仅在分类和分割任务上取得了与目前最先进的方法相当的性能，而且满足紧凑和实时的要求。
附图说明
图1为分类网络(顶部分支)和分割网络(底部分支)的组合图。
图2为点云数据显著点采样算法SPS的架构图。
图3为多尺度局部显著特征提取网络MS-LSFE的架构图。
图4为通道洗牌的分组卷积GS-MLP示意图。
具体实施方式
下面结合具体实施例对本发明作进一步说明。
本实施例提供了一种基于显著点采样的点云数据分类和分割方法，提出基于显著点采样的点云数据分类和分割网络，两个网络主干部分由新的显著点采样算法(SPS)和多尺度局部显著特征提取网络(MS-LSFE)构成，SPS和MS-LSFE都可以灵活地插入到其它网络中，以辅助采样或特征提取。为了方便调用，本方法将SPS和MS-LSFE进行封装，形成多尺度显著特征提取模块(MS-SFE)，实现了性能和参数量的平衡。如图1所示，展示了我们的整体网络结构(顶部为分类网络，底部为分割网络)，图中n为点的数目；c为特征通道数目；K为分类的数目；Maxpooling表示最大池化操作。
本实施例所述的基于显著点采样的点云数据分类和分割方法，包括以下步骤：
S1、针对分类任务选用Princeton ModelNet40数据集，从官网选取所需数量的数据作为训练数据和测试数据，生成分类任务的训练集和测试集；针对分割任务选用ShapeNet、S3DIS和Semantic3D数据集，从官网选取所需数量的数据作为训练数据和测试数据，生成分割任务的训练集和测试集；
针对分类任务选用Princeton ModelNet40数据集，采用官网数据，取9843个数据作为训练数据，2468个数据作为测试数据；针对分割任务选用ShapeNet、S3DIS和Semantic3D数据集，采用官网数据，对于ShapeNet取14006个数据作为训练数据，2874个数据作为测试数据；S3DIS数据集包含使用Matterport扫描获得的6个室内区域的271个房间的3D数据，在S3DIS中每个点都用来自13个类别之一的语义标签进行注释；Semantic3D数据集包含了8个类别的超过40亿注释点；上述所有数据集中的三维数据表面进行均匀采样，坐标预先被归一化至单位球[-1，1]区间内。
S2、数据扩增及参数设置
分类网络的Softmax层根据数据集包含的类别数，选择相适应的参数。在每个全连接层之后都加入一个随机丢弃操作dropout，并设置其的比例为0.5。对点云输入数据我们使用在[-0.66,1.5]范围内添加随机各向异性尺度变化和在[-0.2,0.2]范围内平移的方式实现数据扩增。
S3、现有的点云处理网络采样方法无法进行端到端训练，训练难度大(需要大量的训练参数)。为了解决这些问题，一个理想的采样操作应该满足以下条件：
a、采样操作是可微分的，也就是说，能够被纳入网络并与网络端到端训练；
b、采样操作应该只关注输入点云的显著区域，而不是整个模型；
c、采样操作的参数量应该要少，不会影响到网络的整体性能；
本方法针对点云数据下采样设计了一种Attention。现有的Attention参数量大，不符合点云数据处理中轻、快、参数量少的要求。针对任务特点，为解决这一问题，我们构建了一种只是用卷积核大小为1×s(s等于一维卷积中点云输入数目的四分之一)的一维卷积与sigmoid激活函数进行卷积操作的Attention机制，获取所输入点云的显著度；该Attention与传统方法比摒弃了全连接、矩阵加法和乘法操作，节省了大量参数和计算开销，完全符合点云数据处理的任务特点。
S4、如图2所示，提出一种点云数据显著点采样算法，称为SPS算法，该SPS算法利用步骤S3所提出的Attention机制中获得的显著度，对所有点云按照显著度进行重排序，挑选显著度高的前n个点作为下采样点，其具体如下：
输入：上一层处理得到的点云坐标点SPi和其所对应的特征SFi(在第一层中即首层SF1等于SP1)；
输出：显著点SPi+1和其对应的特征SFi+1；
Step1、将SFi的前s-1(s为卷积核大小)元素复制到SFi的末端，得到一个新的扩展特征向量F，为下一步操作做准备；
Step2、对F的特征通道channel使用Maxpool操作聚合来每个点的所有通道信息，在这里，使用全局Maxpool来聚合每个点最重要的特性；
Step3、使用步骤S3中的Attention机制，计算每个点的显著性，其中每个点的显著性值在[0,1]；
Step4、根据每个点的显著性，选取SPi和SFi前ni+1个点，得到显著点集SPi+1及其特征向量IFi+1，然后将SPi+1及其特征向量IFi+1输出；
上述算法避开了Attention中的全连接、矩阵加法和乘法操作，节省了大量参数和计算开销的同时能选取最具有代表性的显著点，而不是整个模型。此外，SPS操作是可微的，可以嵌入到点云处理网络中，以有效地提取显著点。
S5、点云数据处理的任务要求需要较高的实时性，因此特征提取网络的参数量一定要少，为此提出了一个多尺度局部显著特征提取网络，称为MS-LSFE，如图3所示，该MS-LSFE以SPS算法得到的下采样点为中心，通过ball-query方法获取中心点周围的局部区域，通过控制中心点不同的局部区域大小，实现多尺度特征的要求；将一个点不同尺度的局部同时分别送入组数为2的分组卷积中提取特征，然后使用最大池化Maxpool来聚合每一个点的多尺度特征，最后将Maxpool聚合出的特征再次送入另一个组数为2的分组卷积进行特征升维得到多尺度局部特征；
MS-LSFE的输入为一个显著点集SPi+1及其特征向量IFi+1，通过以下步骤生成其最终的多尺度特征向量SFi+1：
Step1、对于每个点x∈SPi+1，通过在半径为r的球区内随机选取k个点确定一个尺度大小为k的邻域，建立m个多尺度局部邻域{Rj(x)，1≤j≤m}，kj<kj+1表示高尺度邻域点数大于低尺度邻域所包含的点数；其中，局部邻域Rj(x)的尺度为kj，相应的，对于点集SPi+1，其在尺度kj处的局部邻域为{Rj,1≤j≤m}；
Step2、对于每个局部区域Rj(x)，1≤j≤m，x∈SPi+1，通过将每个点y∈Rj(x)的绝对特征信息f(y)和相对特征信息f(y)-f(x)结合，构造其联合特征JFj(x)，这里使用局部邻域内每一点的绝对信息，而不是中心点的绝对信息，是为了确保更充分的信息；
Step3、将不同尺度下的联合特征发送到一组带通道洗牌的组卷积GS-MLP，如图4所示，得到不同尺度下的特征矩阵；GS-MLP首先将输入的特征矩阵按特征通道维度划分为g组，分别对每组应用不同的MLP，其次将所有组的MLP获得的特征进行通道的拼接，最后将拼接好的特征通道进行打乱洗牌；使用组卷积(2)和普通卷积(1)的参数量计算如下：
Pmlp＝1×1×ci×ci′ (1)
PMS-mlp＝(1×1×ci/g×ci′/g)×g＝Pmlp/g (2)
其中，Pmlp表示传统MLP的参数量，ci、ci′表示输入、输出的特征数量，PMS-mlp表示本步骤所提出的MLP的参数量，g表示分组数量；
可以明显看出GS-MLP的参数量明显小于普通卷积，这将使网络的时间和空间复杂度降低。
所述MS-LSFE的网络层结构如下：
第一层：多尺度特征提取层，包含四个组卷积层及其对应的四个激活函数层；
第二层：特征聚合层，包含一个Maxpool聚合函数；
第三层：特征提取层，包含一个组卷积，一个激活函数；
Step4、将m个尺度的特征矩阵分别使用Maxpool进行局部特征聚合，再将m个聚合局部特征之后的矩阵进行拼接运算，最后将拼接后的特征再次发送到GS-MLP得到输出的显著点SPi+1的多尺度局部显著性特征SFi+1；
通过以上过程我们能够高效地获得点云数据的特征。
S6、将SPS和MS-LSFE进行封装，获得一个能够端到端的实现下采样和多尺度特征提取的模块，称为多尺度显著特征提取模块MS-SFE，该模块中包含SPS算法和MS-LSFE，实现了下采样和特征提取功能的融合，即通过该模块我们就能获得一组下采样点及下采样点所对应的多尺度局部特征，该模块可以实现插入任意网络的任意位置中，大大提高了使用的方便性和灵活性；
所述MS-SFE的网络层结构如下：
第一层：下采样层，由SPS构成；
第二层：特征提取层，由MS-LSFE构成。
S7、提出点云数据的分类网络和分割网络：所述分类网络由堆叠的三个MS-SFE加上一个多层感知器MLP、一个最大池化层Maxpool、一个全连接层和一个分类器构成，点云数据通过该分类网络能够得到分类结果，其中，所述分类网络使用步骤S1中的ModelNet40数据集中的训练集进行网络训练，使用ModelNet40数据集中的测试集对训练好的网络进行测试；所述分割网络由堆叠的三个MS-SFE加上一个多层感知器MLP、一个最大池化层Maxpool、三个连续的由三邻域邻进点的内插操作和MLP组成的模块和两个一维卷积层构成，点云数据通过该分割网络能够得到分割结果，其中，所述分割网络使用步骤S1中的ShapeNet、S3DIS和Semantic3D数据集中的训练集分别进行网络训练，使用ShapeNet、S3DIS和Semantic3D数据集中的测试集分别对训练好的网络进行测试；
针对分类任务的分类网络的各层结构如下：
第一层：多尺度局部特征提取层，包含一个ME-SFE模块；
第二层：多尺度局部特征提取层，包含一个ME-SFE模块；
第三层：多尺度局部特征提取层，包含一个ME-SFE模块；
第四层：全局特征提取层，包含一个MLP；
第五层：全局特征聚合层，包含一个Maxpool；
第六层，输出层，包含一个全连接层和一个Softmax层；
针对分割任务的分割网络的各层结构如下：
第一层：多尺度局部特征提取层，包含一个ME-SFE模块；
第二层：多尺度局部特征提取层，包含一个ME-SFE模块；
第三层：多尺度局部特征提取层，包含一个ME-SFE模块；
第四层：全局特征提取层，包含一个MLP；
第五层：全局特征聚合层，包含一个Maxpool；
第六层，内插层，包含一个三邻域邻进点的内插函数，一个MLP；
第七层，内插层，包含一个三邻域邻进点的内插函数，一个MLP；
第八层，内插层，包含一个三邻域邻进点的内插函数，一个MLP；
第九层，输出层，包含两个一维卷积。
实验配置：本文实验的硬件环境为Intel Core i7-6700+GTX 1080 8GHg+TESLAV100 32GHg+16GB RAM，软件环境为Ubuntu16.04x64+CUDA 9.0+cuDNN 7.1+Tensorflow1.8.0+Python3.6。我们的算法在TensorFlow上实现。
分类性能：本方法针对分类任务选用Princeton ModelNet40数据集，采用官网数据，取9843个数据作为训练数据，2468个数据作为测试数据；数据集中的三维数据数据表面进行均匀采样，坐标预先被归一化至单位球[-1，1]区间内。对点云输入数据我们使用在[-0.66,1.5]范围内添加随机各向异性尺度变化和在[-0.2,0.2]范围内平移的方式实现数据扩增。本方法所建立的点云数据分类和分割网络进一步平衡了使用深度学习的点云数据算法的性能和参数量，在确保参数量只有0.3×106的同时，ModelNet40上的分类精度达到92.42％。与目前现有的方法相比取得了领先的效果如表1所示。
表1 Modelnet40分类实验结果
Figure GDA0003520665720000161
针对分割任务选用ShapeNet、S3DIS和Semantic3D数据集，采用官网数据，对于ShapeNet取14006个数据作为训练数据，2874个数据作为测试数据；S3DIS数据集包含使用Matterport扫描获得的6个室内区域的271个房间的3D数据，在S3DIS中每个点都用来自13个类别之一的语义标签进行注释；Semantic3D数据集包含了8个类别的超过40亿注释点；上述所有数据集中的三维数据数据表面进行均匀采样，坐标预先被归一化至单位球[-1，1]区间内。对点云输入数据我们使用在[-0.66,1.5]范围内添加随机各向异性尺度变化和在[-0.2,0.2]范围内平移的方式实现数据扩增。对于分割任务，与目前现有的方法相比我们也能取得与精度最高的方法相近的精度，如表2所示。
表2分割实验结果
Figure GDA0003520665720000171
以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (8)

1.基于显著点采样的点云数据分类和分割方法，其特征在于，包括以下步骤：
S1、针对分类任务选用Princeton ModelNet40数据集，从官网选取所需数量的数据作为训练数据和测试数据，生成分类任务的训练集和测试集；针对分割任务选用ShapeNet、S3DIS和Semantic3D数据集，从官网选取所需数量的数据作为训练数据和测试数据，生成分割任务的训练集和测试集；
S2、对输入的点云数据进行数据增广；
S3、提出一种适用于点云下采样的、参数量少的Attention机制，该Attention机制通过一层卷积核大小为s的一维卷积和一个sigmoid激活函数来获取所输入点云的显著度；
S4、提出一种点云数据显著点采样算法，称为SPS算法，该SPS算法利用步骤S3所提出的Attention机制中获得的显著度，对所有点云按照显著度进行重排序，挑选显著度高的前n个点作为下采样点；
S5、构建一个多尺度局部显著特征提取网络，称为MS-LSFE，该MS-LSFE以SPS算法得到的下采样点为中心，通过ball-query方法获取中心点周围的局部区域，通过控制中心点不同的局部区域大小，实现多尺度特征的要求；将一个点不同尺度的局部同时分别送入组数为2的分组卷积中提取特征，然后使用最大池化Maxpool来聚合每一个点的多尺度特征，最后将Maxpool聚合出的特征再次送入另一个组数为2的分组卷积进行特征升维得到多尺度局部特征；
S6、构建一个包含SPS算法和MS-LSFE的多尺度显著特征提取模块，称为MS-SFE，该MS-SFE能够端到端实现下采样和多尺度局部特征提取的功能；
S7、提出点云数据的分类网络和分割网络：所述分类网络由堆叠的三个MS-SFE加上一个多层感知器MLP、一个最大池化层Maxpool、一个全连接层和一个分类器构成，点云数据通过该分类网络能够得到分类结果，其中，所述分类网络使用步骤S1中的ModelNet40数据集中的训练集进行网络训练，使用ModelNet40数据集中的测试集对训练好的网络进行测试；所述分割网络由堆叠的三个MS-SFE加上一个多层感知器MLP、一个最大池化层Maxpool、三个连续的由三邻域邻进点的内插操作和MLP组成的模块和两个一维卷积层构成，点云数据通过该分割网络能够得到分割结果，其中，所述分割网络使用步骤S1中的ShapeNet、S3DIS和Semantic3D数据集中的训练集分别进行网络训练，使用ShapeNet、S3DIS和Semantic3D数据集中的测试集分别对训练好的网络进行测试。
2.根据权利要求1所述的基于显著点采样的点云数据分类和分割方法，其特征在于：在步骤S1中，针对分类任务选用Princeton ModelNet40数据集，采用官网数据，取9843个数据作为训练数据，2468个数据作为测试数据；针对分割任务选用ShapeNet、S3DIS和Semantic3D数据集，采用官网数据，对于ShapeNet取14006个数据作为训练数据，2874个数据作为测试数据；S3DIS数据集包含使用Matterport扫描获得的6个室内区域的271个房间的3D数据，在S3DIS中每个点都用来自13个类别之一的语义标签进行注释；Semantic3D数据集包含了8个类别的超过40亿注释点；上述所有数据集中的三维数据表面进行均匀采样，坐标预先被归一化至单位球[-1，1]区间内。
3.根据权利要求1所述的基于显著点采样的点云数据分类和分割方法，其特征在于：在步骤S2中，对输入的点云数据使用在[-0.66,1.5]范围内添加随机各向异性尺度变化和在[-0.2,0.2]范围内平移的方式实现点云数据扩增。
4.根据权利要求1所述的基于显著点采样的点云数据分类和分割方法，其特征在于：在步骤S3中，采样操作应该满足以下条件：
a、采样操作是可微分的，也就是说，能够被纳入网络并与网络端到端训练；
b、采样操作应该只关注输入点云的显著区域，而不是整个模型；
c、采样操作的参数量要少，不会影响到网络的整体性能；
针对以上所提出的条件，构建一种适用于点云下采样的、参数量少的Attention机制，该Attention机制由卷积核大小为1×s的一维卷积和sigmoid激活函数构成，其中，s等于一维卷积中点云输入数目的四分之一。
5.根据权利要求1所述的基于显著点采样的点云数据分类和分割方法，其特征在于：在步骤S4中，构建的点云数据显著点采样算法，即SPS算法，具体如下：
输入：经前一层处理得到的显著点的点云坐标点SPi和其所对应的特征SFi，i＝1,2,3…；其中，在首层中SF1等于SP1；
输出：显著点SPi+1和其对应的特征SFi+1；
Step 1、将SFi的前s-1元素复制到SFi的末端，得到一个新的扩展特征向量F，为下一步操作做准备；
Step2、对F的特征通道channel使用Maxpool操作聚合来每个点的所有通道信息，在这里，使用全局Maxpool来聚合每个点最重要的特性；
Step3、使用步骤S3中的Attention机制，计算每个点的显著性，其中每个点的显著性值在[0,1]；
Step4、根据每个点的显著性，选取SPi和SFi前ni+1个点，得到显著点集SPi+1及其特征向量IFi+1，然后将SPi+1及其特征向量IFi+1输出。
6.根据权利要求1所述的基于显著点采样的点云数据分类和分割方法，其特征在于：在步骤S5中，提出一个多尺度局部显著特征提取网络，称为MS-LSFE，MS-LSFE的输入为一个显著点集SPi+1及其特征向量IFi+1，通过以下步骤生成其最终的多尺度特征向量SFi+1：
Step1、对于每个点x∈SPi+1，通过在半径为r的球区内随机选取k个点确定一个尺度大小为k的邻域，建立m个多尺度局部邻域{Rj(x)，1≤j≤m}，kj<kj+1表示高尺度邻域点数大于低尺度邻域所包含的点数；其中，局部邻域Rj(x)的尺度为kj，相应的，对于点集SPi+1，其在尺度kj处的局部邻域为{Rj,1≤j≤m}；
Step2、对于每个局部区域Rj(x)，1≤j≤m，x∈SPi+1，通过将每个点y∈Rj(x)的绝对特征信息f(y)和相对特征信息f(y)-f(x)结合，构造其联合特征JFj(x)，这里使用局部邻域内每一点的绝对信息，而不是中心点的绝对信息，是为了确保更充分的信息；
Step3、将不同尺度下的联合特征发送到一组带通道洗牌的组卷积GS-MLP，得到不同尺度下的特征矩阵；GS-MLP首先将输入的特征矩阵按特征通道维度划分为g组，分别对每组应用不同的MLP，其次将所有组的MLP获得的特征进行通道的拼接，最后将拼接好的特征通道进行打乱洗牌；使用组卷积和普通卷积的参数量计算如下：
Pmlp＝1×1×ci×ci′ (1)
PMS-mlp＝(1×1×ci/g×ci′/g)×g＝Pmlp/g (2)
其中，Pmlp表示传统MLP的参数量，ci、ci′表示输入、输出的特征数量，PMS-mlp表示本步骤所提出的MLP的参数量，g表示分组数量；
所述MS-LSFE的网络层结构如下：
第一层：多尺度特征提取层，包含四个组卷积层及其对应的四个激活函数层；
第二层：特征聚合层，包含一个Maxpool聚合函数；
第三层：特征提取层，包含一个组卷积，一个激活函数；
Step4、将m个尺度的特征矩阵分别使用Maxpool进行局部特征聚合，再将m个聚合局部特征之后的矩阵进行拼接运算，最后将拼接后的特征再次发送到GS-MLP得到输出的显著点SPi+1的多尺度局部显著性特征SFi+1；
通过以上过程能够高效地获得点云数据的特征。
7.根据权利要求1所述的基于显著点采样的点云数据分类和分割方法，其特征在于：在步骤S6中，将步骤S4和S5所提出的SPS和MS-LSFE进行封装，获得一个能够端到端的实现下采样和多尺度特征提取的模块MS-SFE，该模块中包含SPS算法和MS-LSFE，实现了下采样和特征提取功能的融合，即通过该模块就能获得一组下采样点及下采样点所对应的多尺度局部特征，能够实现插入任意网络的任意位置中；
所述MS-SFE的网络层结构如下：
第一层：下采样层，由SPS构成；
第二层：特征提取层，由MS-LSFE构成。
8.根据权利要求1所述的基于显著点采样的点云数据分类和分割方法，其特征在于：在步骤S7中，针对分类任务的分类网络的各层结构如下：
第一层：多尺度局部特征提取层，包含一个ME-SFE模块；
第二层：多尺度局部特征提取层，包含一个ME-SFE模块；
第三层：多尺度局部特征提取层，包含一个ME-SFE模块；
第四层：全局特征提取层，包含一个MLP；
第五层：全局特征聚合层，包含一个Maxpool；
第六层，输出层，包含一个全连接层和一个Softmax层；
针对分割任务的分割网络的各层结构如下：
第一层：多尺度局部特征提取层，包含一个ME-SFE模块；
第二层：多尺度局部特征提取层，包含一个ME-SFE模块；
第三层：多尺度局部特征提取层，包含一个ME-SFE模块；
第四层：全局特征提取层，包含一个MLP；
第五层：全局特征聚合层，包含一个Maxpool；
第六层，内插层，包含一个三邻域邻进点的内插函数，一个MLP；
第七层，内插层，包含一个三邻域邻进点的内插函数，一个MLP；
第八层，内插层，包含一个三邻域邻进点的内插函数，一个MLP；
第九层，输出层，包含两个一维卷积。
CN202011020289.5A 2020-09-25 2020-09-25 基于显著点采样的点云数据分类和分割方法 Active CN112085123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011020289.5A CN112085123B (zh) 2020-09-25 2020-09-25 基于显著点采样的点云数据分类和分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011020289.5A CN112085123B (zh) 2020-09-25 2020-09-25 基于显著点采样的点云数据分类和分割方法

Publications (2)

Publication Number Publication Date
CN112085123A CN112085123A (zh) 2020-12-15
CN112085123B true CN112085123B (zh) 2022-04-12

Family

ID=73739828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011020289.5A Active CN112085123B (zh) 2020-09-25 2020-09-25 基于显著点采样的点云数据分类和分割方法

Country Status (1)

Country Link
CN (1) CN112085123B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633350B (zh) * 2020-12-18 2021-10-01 湖北工业大学 一种基于图卷积的多尺度点云分类实现方法
CN112990336B (zh) * 2021-03-31 2024-03-26 东南大学 基于竞争注意力融合的深度三维点云分类网络构建方法
CN113177555B (zh) * 2021-05-21 2022-11-04 西南大学 基于跨层级跨尺度跨注意力机制的目标处理方法及装置
CN113345052B (zh) * 2021-06-11 2023-01-10 山东大学 基于相似显著性的分类数据多视图可视化着色方法及系统
CN114239808B (zh) * 2021-12-20 2023-09-01 湖北工业大学 一种基于PointCloudTransformer的多尺度优化网络方法
CN114971093B (zh) * 2022-08-01 2022-11-25 中南大学 城市道路交通流属性预测方法、系统、设备及介质
CN116051925B (zh) * 2023-01-04 2023-11-10 北京百度网讯科技有限公司 训练样本采集方法、装置、设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210431A (zh) * 2019-06-06 2019-09-06 上海黑塞智能科技有限公司 一种基于点云语义标注和优化的点云分类方法
CN110245709A (zh) * 2019-06-18 2019-09-17 西安电子科技大学 基于深度学习和自注意力的3d点云数据语义分割方法
CN111414875A (zh) * 2020-03-26 2020-07-14 电子科技大学 基于深度回归森林的三维点云头部姿态估计系统
CN111428855A (zh) * 2020-02-25 2020-07-17 北京理工大学 一种端到端的点云深度学习网络模型和训练方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985116A (zh) * 2014-04-28 2014-08-13 辽宁师范大学 基于局部显著性与二维主流形的三维耳廓形状特征描述方法
US9996976B2 (en) * 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
CN109753995B (zh) * 2018-12-14 2021-01-01 中国科学院深圳先进技术研究院 一种基于PointNet++的3D点云目标分类和语义分割网络的优化方法
CN110197223B (zh) * 2019-05-29 2021-02-09 北方民族大学 基于深度学习的点云数据分类方法
CN111680542B (zh) * 2020-04-17 2022-11-15 东南大学 基于多尺度特征提取和Pointnet神经网络的钢卷点云识别与分类方法
CN111583263B (zh) * 2020-04-30 2022-09-23 北京工业大学 一种基于联合动态图卷积的点云分割方法
CN111539949B (zh) * 2020-05-12 2022-05-13 河北工业大学 一种基于点云数据的锂电池极片表面缺陷检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210431A (zh) * 2019-06-06 2019-09-06 上海黑塞智能科技有限公司 一种基于点云语义标注和优化的点云分类方法
CN110245709A (zh) * 2019-06-18 2019-09-17 西安电子科技大学 基于深度学习和自注意力的3d点云数据语义分割方法
CN111428855A (zh) * 2020-02-25 2020-07-17 北京理工大学 一种端到端的点云深度学习网络模型和训练方法
CN111414875A (zh) * 2020-03-26 2020-07-14 电子科技大学 基于深度回归森林的三维点云头部姿态估计系统

Also Published As

Publication number Publication date
CN112085123A (zh) 2020-12-15

Similar Documents

Publication Publication Date Title
CN112085123B (zh) 基于显著点采样的点云数据分类和分割方法
Deng et al. Voxel r-cnn: Towards high performance voxel-based 3d object detection
CN108520535B (zh) 基于深度恢复信息的物体分类方法
Zhang et al. Context encoding for semantic segmentation
CN110059598B (zh) 基于姿态关节点的长时程快慢网络融合的行为识别方法
CN114255238A (zh) 一种融合图像特征的三维点云场景分割方法及系统
Deng et al. MVF-Net: A multi-view fusion network for event-based object classification
KR20180004898A (ko) 딥러닝 기반의 이미지 처리 기술 및 그 방법
CN109766873B (zh) 一种混合可变形卷积的行人再识别方法
CN112364757A (zh) 一种基于时空注意力机制的人体动作识别方法
Abdulnabi et al. Multimodal recurrent neural networks with information transfer layers for indoor scene labeling
WO2022052782A1 (zh) 图像的处理方法及相关设备
Liu et al. RB-Net: Training highly accurate and efficient binary neural networks with reshaped point-wise convolution and balanced activation
Qi et al. Multi-scale capsule attention-based salient object detection with multi-crossed layer connections
CN108875555B (zh) 基于神经网络的视频兴趣区域和显著目标提取与定位系统
CN115410087A (zh) 一种基于改进YOLOv4的输电线路异物检测方法
CN115018039A (zh) 一种神经网络蒸馏方法、目标检测方法以及装置
He et al. Spindle-net: Cnns for monocular depth inference with dilation kernel method
KR100956747B1 (ko) 신경망회로와 병렬처리 프로세서를 결합한 컴퓨터구조 및그를 이용한 처리방법
Zhou et al. E-CLIP: Towards Label-efficient Event-based Open-world Understanding by CLIP
Kamranian et al. Fast, yet robust end-to-end camera pose estimation for robotic applications
WO2021057091A1 (zh) 视点图像处理方法及相关设备
Yeh et al. Transfer2Depth: Dual attention network with transfer learning for monocular depth estimation
Ocegueda-Hernandez et al. A lightweight convolutional neural network for pose estimation of a planar model
Zhu et al. One-shot texture retrieval with global context metric

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant