CN113538261A - 一种基于深度学习的残缺钟乳石点云的形状修复方法 - Google Patents

一种基于深度学习的残缺钟乳石点云的形状修复方法 Download PDF

Info

Publication number
CN113538261A
CN113538261A CN202110689039.9A CN202110689039A CN113538261A CN 113538261 A CN113538261 A CN 113538261A CN 202110689039 A CN202110689039 A CN 202110689039A CN 113538261 A CN113538261 A CN 113538261A
Authority
CN
China
Prior art keywords
point cloud
stalactite
network
incomplete
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110689039.9A
Other languages
English (en)
Inventor
夏永华
黄德
杨明龙
刘浩然
朱琪
潘乙榕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202110689039.9A priority Critical patent/CN113538261A/zh
Publication of CN113538261A publication Critical patent/CN113538261A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Generation (AREA)

Abstract

本发明公开的一种基于深度学习的残缺钟乳石点云的形状修复方法,针对由岩溶洞穴内空间构造的复杂性和三维激光扫描的局限性,导致难以获取完整钟乳石三维点云的问题;本发明提出了一种基于神经网络自动修复补全残缺钟乳石三维点云数据的方法;该方法运用生成对抗网络的原理,采用基于多分辨率的点云编码器,对不同分辨率的点云特征进行提取;采用结合了全连接网络和基于折叠的解码器,用于修复钟乳石点云缺失部分;最后采用判别器使得网络输出的点云更加逼真;实验证明,本发明的网络能够有效实现残缺钟乳石点云的形状补全,并且对于不同残缺度的钟乳石点云输入,具有良好的鲁棒性。

Description

一种基于深度学习的残缺钟乳石点云的形状修复方法
技术领域
本发明属于残缺钟乳石点云形状修复技术领域,具体涉及一种基于深度学习的残缺钟乳石点云的形状修复方法。
背景技术
钟乳石是岩溶洞穴中的重要构成要素,获取完整的钟乳石三维空间结构,对于岩溶洞穴旅游开发中的景观设计具有重要意义。目前三维激光扫描技术是获取岩溶洞穴内钟乳石三维数据的主要手段,但是受制于三维激光扫描技术的局限性(无法获取遮挡区域的点云数据)和岩溶洞穴内复杂的空间结构,往往无法获得完整的钟乳石点云数据。基于残缺的点云数据,想要获得完整的钟乳石三维重建,利用人工交互的方法虽然能够取得较好的效果,但往往费时费力。传统的方法如:基于泊松表面重建、基于对称的修复方法往往只能修复模型表面较小的空洞,针对结构性的缺失,往往无法取得较好的修复结果。而基于模型匹配的方法则依赖于建立的三维模型库中有大量的相同或相似三维模型,难以泛化。
近年来随着计算机图形学和深度学习技术的发展,越来越多研究者尝试运用深度学习技术来修复三维对象,并取得了一定的成果。如:Nguyen等提出了一种基于几何和多视图RGB数据修复3D形状的方法。Sharma等提出了一种全卷积体素自动编码器,该编码器能通过估计体素网格从噪声数据中学习体素表示。Dai等提出了通过结合体素深层神经网络和3D形状综合来引入一种数据驱动的方法来补全3D形状。Varley等将从单个角度捕获的2.5D点云输入到3D CNN中,完成遮挡区域的三维修复。Yang等提出了3D-RecGAN++方法,该方法将3D编码器/解码器与条件对抗网络框架相结合,推断高维体素空间中对象的精细3D结构。虽然以上基于多视图和体素的学习方法易于卷积神经网络的学习,在残缺3D模型的修复上取得了一定成果,但受制于体素表示数据的稀疏性和3D卷积的计算成本,往往无法获得高分辨率的完整三维形状补全。
受到目前基于点云模型补全相关工作的启发,本发明构建了一种用于钟乳石三维点云修复补全的网络结构。该网络以残缺点云作为输入,仅输出缺失部分点云,这使得修复后的点云能够保留原始点云的几何特征;同时,有助于网络专注于感知缺失点云的位置和结构,从而得到更好的修复结果。本发明的贡献在于:(1)网络直接以残缺的点云数据作为输入,可以实现残缺钟乳石点云的修复补全;(2)网络能够有效获取残缺点云的局部和全局信息,得到缺失部分的点云输出。(3)构建了用于网络训练的钟乳石点云数据集。
发明内容
钟乳石的形成机理决定了其表面的不规则体征,要对其进行形状修复就要求网络能够提取到更为精细的局部特征,并能得到精细的修复结果作为网络的输出,基于此,本发明构建了用于钟乳石修复的深度学习网络;
一种基于深度学习的残缺钟乳石点云的形状修复方法,其特征在于,包括以下步骤:
S1:先对钟乳石点云进行三次IFPS采样得到三个不同分辨率的钟乳石点云模型,以此作为编码器的输入;
S2:编码器对三个不同分辨率的钟乳石点云进行CMLP处理输出三个潜在多维特征向量(维数为:1920),然后将三个潜在多维特征向量融合得到3×1920的特征向量,最后通过MLP得到最终的多维特征向量(维数为:1920);
S3:解码器将S2中编码器输出的特征向量通过两个全连接层得到两个特征层Fi(Fi=1024,512;i=1,2),接着运用全连接网络重构一个M1×3的矩阵,得到一个具有M1个点的残缺部分粗略点云Yc
S4:针对S3中残缺部分粗略点云Yc中的每个点pi通过结合详细特征向量的折叠操作在以pi为中心的局部坐标中生成y=t2的点填充,将局部填充转换为全局坐标,最终将pi和y组合形成详细的残缺部分输出Yd
S5:判别器输入S4中残缺部分输出Yd,通过串联的LMP结构对点云进行编码[64-64-128-256],然后将网络的最后三层输出进行最大池化,输出一个448维的特征向量;再通过全连接网络进行处理[256,128,16,1],最终使用Sigmoid分类器进行判别;
优选的,所述S1中三次IFPS采样的三个点云的点数分别为K,
Figure BDA0003125564440000031
其中K为第一个点云的点数,N为采样率;
优选的,所述S3中是将全连接的解码器和基于折叠的方法相结合。
本发明的有益效果是:
本发明提出了一种能够实现钟乳石点云模型有效修复的神经网络结构,该网络采用编码器、解码器、鉴别器结构。编码器对不同分辨率的点云模型进行特征提取,能够有效捕获钟乳石点云模型的局部、全局特征。解码器结合了全连接网络和基于折叠网络的优势能够输出较高分辨率的残缺部分点云。判别器通过判别点云是真实点云还是输出点云能够使网络的输出点云更加逼真。经过试验发现,运用本文的方法可以实现残缺钟乳石点云的修复补全,并且针对不同程度的点云缺失具有较好的鲁棒性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本文构建了用于钟乳石修复的深度学习网络结构示意图;
图2是不同迭代次数下的点云结果示意图;
图3是点云修复结果示意图;
图4是不同完整度点云补全效果示意图;
图5是不同方法修复结果对比示意图;
具体实施方式
通过以下实施例对本发明的方法和效果进行说明;
实施例1
1)数据预处理及数据集构建
本文从云南九乡三角洞,云南坝美桃园洞、汤那洞采集了包含石钟乳、石笋、石柱等不同形态的100个完整的钟乳石点云用于构建数据集。再进行网络训练前,对采集到的100个钟乳石点云模型进行了数据预处理和数据集构建;
数据预处理:数据采集时采用的坐标系为1980西安坐标系,高程为1985国家高程基准,为了便于网络训练,进行坐标归一化处理,以每个钟乳石点云的重心为坐标系原点,将各点坐标分量归一化至[-1,1]区间,再将每个钟乳石点云降采样到16384个点得到真实点云数据;
数据集构建及划分:由于采集样本有限,为了能使网络取得较好的修复效果,对完整钟乳石选取9个不同部位,针对每个部位分别以5%、10%、15%、20%、25%和30%的残缺度进行裁剪处理,得到残缺点云和缺失部分点云,以实现对数据集的扩充。按照机器学习对数据集的划分标准,将样本按照8:2划分训练集与测试集,其中训练样本3600个,测试样本900个。并对残缺点云的点数归一化处理为12288个点,作为网络最高分辨率点云输入,基于此点云进行两次IFPS降采样得到其余两个分辨率的输入。
2)实验环境及网络训练
我们在Windows10系统下实现本文的方法,硬件环境为:CPU处理器Intel(R)Xeon(R)CPU E5-2630,主频2.20GHz;GPU为NVIDIA RTX2080,内存64.0G;开发平台为Python3.7.4和PyTorch 1.0.1;
通过使用β1=0.9和β2=0.999的Adam优化器交替训练编码器-解码器和判别器,初始学习率为0.001,批次大小为20,持续50个周期。在编码器中,设置N=2。因为判别器的学习速度比生成器快,所以训练时首先单独训练编码器-解码器结构,并将学习率设置为5×10-5单独训练40个周期。接着将编码器-解码器和判别器网络共同训练50个周期,并设置编码器-解码器的学习速率为10-4,判别器的学习率为10-5。当共同训练时,采用自适应训练策略:只有在每一周期的最后一个批次中判别器的准确率不高于80%时,才更新判别器。
实施例2
通过本发明的方法对不同形态的钟乳石模型进行修复,部分点云修复结果如图3所示,运用本文提出的修复网络能够有效修复不同形态的残缺钟乳石点云。得到的修复结构能够很好的保持钟乳石形状结构,且输出的残缺点云分布较为均匀。由于网络输出为残缺部分点云,不进行整个点云重构,因而结果保留了原始点云的结构特征,同时网络可以更加关注缺失部分的结构修复,得到较好的修复结果。
不同残缺度点云修复结果:
对于不同残缺程度的修复,分别对残缺度为25%、50%和75%的对钟乳石进行修复,得到的修复结果如图4所示。
从图4可以看出,缺失度为25%的钟乳石点云,网络可以得到较好的补全结果。对于缺失度为50%的钟乳石点云,得到的修复结果在细节上会有一些损失,而对于缺失度为75%的点云,网络的修复结果能得到钟乳石残缺部分的大体结构,对于表面的凸起和凹陷网络无法得到很好的修复效果,而且点的分布较为稀疏。
实施例3
不同网络修复结果对比
为了对比不同网络对钟乳石的修复效果,本研究以相同的钟乳石点云数据集分别对FoldingNet[55]、PCN[56]网络进行了训练,将两个网络的修复结果与本研究网络所得的修复结果进行了比较。部分修复结果对比如图5所示:
从图5中可以看出,运用FoldingNet网络得到的修复效果,可以得到钟乳石的粗略形状,但修复表面有大量的游离点,结果不是很理想。究其原因,在于FoldingNet网络通过自动编码器瓶颈层输出特征码字(512维),解码器以瓶颈层输出的特征码字作为施加于2D网格点的“力”,将2D网格点阵变形、切割、拉伸到3D表面上实现缺失点云的修复。其瓶颈层输出的特征码字维度较低,会导致采样点特征的丢失,使得修复效果不佳。采用PCN网络得到的修复结果损失了钟乳石的部分结构信息,也只能得到钟乳石的大体结构。其原因在于钟乳石表面存在许多细小的凹凸不平的结构,而PCN网络对这种细小结构的特征拟合能力不足,因此只能拟合出钟乳石表面的粗略结构。相较于FoldingNet和PCN网络的修复效果,采用本章提出的网络对钟乳石进行修复,虽然会产生许多细节的损失,但网络不会对整个点云进行重构,从而有效保留了输入点云的整体结构,结果相对较好。
为了定量评价不同网络的修复效果,选取了5个钟乳石样本,基于FoldingNet、PCN和本研究网络所得的修复结果,求取了网络修复得到的残缺部分点云与真实点云的CD值,如表1所示,CD值越接近于0说明网络得到的修复结果与真实点云越相近。
表1不同修复方法的CD统计
Figure BDA0003125564440000081
从表中可以看出,从测试数据中选取的五个样本,用FoldingNet、PCN和本研究网络修复后残缺部分的CD值均值分别为0.08696、0.07954、0.05768。从而可以看出,运用本研究网络进行修复的精度要优于FoldingNet和PCN网络的修复精度。其原因在于,本研究网络具有融合多尺度特征的能力,并且组合了高级特征和低级特征,有效提高了钟乳石整体和细节的修复能力。

Claims (4)

1.一种基于深度学习的残缺钟乳石点云的形状修复方法,其特征在于,包括以下步骤:
S1:先对钟乳石点云进行三次IFPS采样得到三个不同分辨率的钟乳石点云模型,以此作为编码器的输入;
S2:编码器对三个不同分辨率的钟乳石点云进行CMLP处理输出三个潜在多维特征向量(维数为:1920),然后将三个潜在多维特征向量融合得到3×1920的特征向量,最后通过MLP得到最终的多维特征向量(维数为:1920);
S3:解码器将S2中编码器输出的特征向量通过两个全连接层得到两个特征层Fi(Fi=1024,512;i=1,2),接着运用全连接网络重构一个M1×3的矩阵,得到一个具有M1个点的残缺部分粗略点云Yc
S4:针对S3中残缺部分粗略点云Yc中的每个点pi通过结合详细特征向量的折叠操作在以pi为中心的局部坐标中生成y=t2的点填充,将局部填充转换为全局坐标,最终将pi和y组合形成详细的残缺部分输出Yd
S5:判别器输入S4中残缺部分输出Yd,通过串联的LMP结构对点云进行编码[64-64-128-256],然后将网络的最后三层输出进行最大池化,输出一个448维的特征向量;再通过全连接网络进行处理[256,128,16,1],最终使用Sigmoid分类器进行判别。
2.根据权利要求1所述一种基于深度学习的残缺钟乳石点云的形状修复方法,其特征在于,所述所述S1中三次IFPS采样的三个点云的点数分别为K,
Figure FDA0003125564430000011
其中K为第一个点云的点数,N为采样率。
3.根据权利要求1所述一种基于深度学习的残缺钟乳石点云的形状修复方法,其特征在于,所述S3中是将全连接的解码器和基于折叠的方法相结合。
4.根据权利要求1-3任意一项所述一种基于深度学习的残缺钟乳石点云的形状修复方法,公开了其在残缺钟乳石点云形状修复技术领域的应用。
CN202110689039.9A 2021-06-21 2021-06-21 一种基于深度学习的残缺钟乳石点云的形状修复方法 Pending CN113538261A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110689039.9A CN113538261A (zh) 2021-06-21 2021-06-21 一种基于深度学习的残缺钟乳石点云的形状修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110689039.9A CN113538261A (zh) 2021-06-21 2021-06-21 一种基于深度学习的残缺钟乳石点云的形状修复方法

Publications (1)

Publication Number Publication Date
CN113538261A true CN113538261A (zh) 2021-10-22

Family

ID=78125480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110689039.9A Pending CN113538261A (zh) 2021-06-21 2021-06-21 一种基于深度学习的残缺钟乳石点云的形状修复方法

Country Status (1)

Country Link
CN (1) CN113538261A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419258A (zh) * 2022-03-29 2022-04-29 苏州浪潮智能科技有限公司 一种三维物体形状的补全方法、装置、设备及存储介质
CN114494849B (zh) * 2021-12-21 2024-04-09 重庆特斯联智慧科技股份有限公司 用于轮式机器人的路面状态识别方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110958455A (zh) * 2018-09-26 2020-04-03 华为技术有限公司 点云编解码方法和编解码器
CN112241997A (zh) * 2020-09-14 2021-01-19 西北大学 基于多尺度点云上采样的三维模型建立、修复方法及系统
CN112614071A (zh) * 2020-12-29 2021-04-06 清华大学 基于自注意力的多样点云补全方法和装置
CN112967219A (zh) * 2021-03-17 2021-06-15 复旦大学附属华山医院 基于深度学习网络的二阶段牙体点云补全方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110958455A (zh) * 2018-09-26 2020-04-03 华为技术有限公司 点云编解码方法和编解码器
CN112241997A (zh) * 2020-09-14 2021-01-19 西北大学 基于多尺度点云上采样的三维模型建立、修复方法及系统
CN112614071A (zh) * 2020-12-29 2021-04-06 清华大学 基于自注意力的多样点云补全方法和装置
CN112967219A (zh) * 2021-03-17 2021-06-15 复旦大学附属华山医院 基于深度学习网络的二阶段牙体点云补全方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YAOQING YANG 等: "FoldingNet: Point Cloud Auto-Encoder via Deep Grid Deformation", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
ZITIAN HUANG 等: "PF-Net: Point Fractal Network for 3D Point Cloud Completion", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
缪永伟 等: "基于生成对抗网络的点云形状保结构补全", 《中国科学:信息科学》 *
赵江洪 等: "三维点云孔洞修复方法综述", 《测绘科学》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494849B (zh) * 2021-12-21 2024-04-09 重庆特斯联智慧科技股份有限公司 用于轮式机器人的路面状态识别方法和系统
CN114419258A (zh) * 2022-03-29 2022-04-29 苏州浪潮智能科技有限公司 一种三维物体形状的补全方法、装置、设备及存储介质
CN114419258B (zh) * 2022-03-29 2022-07-15 苏州浪潮智能科技有限公司 一种三维物体形状的补全方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110390638B (zh) 一种高分辨率三维体素模型重建方法
Li et al. So-net: Self-organizing network for point cloud analysis
CN112396703B (zh) 一种单图像三维点云模型重建方法
US11715258B2 (en) Method for reconstructing a 3D object based on dynamic graph network
CN113538261A (zh) 一种基于深度学习的残缺钟乳石点云的形状修复方法
Gurumurthy et al. High fidelity semantic shape completion for point clouds using latent optimization
Kang et al. Competitive learning of facial fitting and synthesis using uv energy
Tabib et al. Learning-based hole detection in 3D point cloud towards hole filling
Sun et al. Ssl-net: Point-cloud generation network with self-supervised learning
Cheng et al. Dense point cloud completion based on generative adversarial network
Sharma et al. Point cloud upsampling and normal estimation using deep learning for robust surface reconstruction
CN113822825B (zh) 基于3d-r2n2的光学建筑目标三维重建方法
Wei et al. GeoDualCNN: Geometry-supporting dual convolutional neural network for noisy point clouds
Schambach et al. A multispectral light field dataset and framework for light field deep learning
Miao et al. An end-to-end shape-preserving point completion network
CN103413351B (zh) 基于压缩感知理论的三维人脸快速重建方法
Li et al. Silhouette-assisted 3d object instance reconstruction from a cluttered scene
CN104252715B (zh) 一种基于单幅线条图像的三维立体重建方法
CN110910463B (zh) 全视角点云数据定长有序化编码方法、设备及存储介质
CN112837420B (zh) 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统
Rani et al. Construction and reconstruction of 3D facial and wireframe model using syntactic pattern recognition
Zhang et al. Partial-to-partial point generation network for point cloud completion
CN110689618A (zh) 基于多尺度变分图卷积的三维可变形物补全方法
Yan et al. GEOP-Net: Shape reconstruction of buildings from LiDAR point clouds
Li et al. 3D face point cloud super-resolution network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211022

RJ01 Rejection of invention patent application after publication