CN111633111B - 一种基于深度学习的渐进成形方法 - Google Patents
一种基于深度学习的渐进成形方法 Download PDFInfo
- Publication number
- CN111633111B CN111633111B CN202010435430.1A CN202010435430A CN111633111B CN 111633111 B CN111633111 B CN 111633111B CN 202010435430 A CN202010435430 A CN 202010435430A CN 111633111 B CN111633111 B CN 111633111B
- Authority
- CN
- China
- Prior art keywords
- deep learning
- layer
- disease
- learning model
- resolution image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000013135 deep learning Methods 0.000 title claims abstract description 25
- 230000000750 progressive effect Effects 0.000 title claims abstract description 23
- 230000008439 repair process Effects 0.000 claims abstract description 38
- 238000013136 deep learning model Methods 0.000 claims abstract description 32
- 201000010099 disease Diseases 0.000 claims description 62
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 62
- 239000000463 material Substances 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 2
- 230000003902 lesion Effects 0.000 claims 2
- 238000012937 correction Methods 0.000 abstract description 10
- 239000011159 matrix material Substances 0.000 description 8
- 230000006872 improvement Effects 0.000 description 6
- 238000012216 screening Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 239000011148 porous material Substances 0.000 description 3
- 238000005491 wire drawing Methods 0.000 description 3
- 241000283690 Bos taurus Species 0.000 description 2
- 238000005336 cracking Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B21—MECHANICAL METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
- B21D—WORKING OR PROCESSING OF SHEET METAL OR METAL TUBES, RODS OR PROFILES WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
- B21D31/00—Other methods for working sheet metal, metal tubes, metal profiles
- B21D31/005—Incremental shaping or bending, e.g. stepwise moving a shaping tool along the surface of the workpiece
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mechanical Engineering (AREA)
Abstract
本发明提供了一种基于深度学习的渐进成形方法，包括以下步骤：渐进成形设备通过控制系统控制渐进成形头作业零件的第一层；基于深度学习的调整修补模块对第一层的作业情况进行调整修补直至第一层合格；渐进成形设备通过控制系统控制渐进成形头作业零件的第二层；基于深度学习的调整修补模块对第二层的作业情况进行调整修补直至第二层合格；以此类推，直至基于深度学习的调整修补模块对第N层的作业情况进行调整修补直至第N层合格。本发明在常规渐进成形系统的基础上增加当前层的二次修正，二次修正的运算是基于深度学习模型进行的，以此提高零件密实度和平整度。
Description
技术领域
本发明涉及渐进成型领域，尤其涉及一种基于深度学习的渐进成形方法。
背景技术
渐进成形是一种板料柔性加工方法，它将板料成形技术和数控技术相结合， 实现板材的数字化柔性生产。该技术在材料加工领域引入了“分层制造”思想，通过数控程序控制成形渐进成形头沿设定轨迹运动，逐层形成零件的三维结构，实现材料的塑性成形。
由于现有渐进成形系统通常是依照设定轨迹运动，如若遇到成形渐进成形头不出料、成形渐进成形头一瞬间料量挤出过多造成溢出、渐进成形头运动中颤动引起物料堆积等，均易造成零件不密实，影响零件的使用寿命。
有鉴于此，有必要提供一种基于深度学习的渐进成形方法，以解决上述问题。
发明内容
本发明提供了一种基于深度学习的渐进成形方法，在常规渐进成形系统的基础上增加当前层的二次修正，二次修正的运算是基于深度学习模型进行的，以此提高零件密实度和平整度。
实现本发明目的的技术方案如下：
一种基于深度学习的渐进成形方法，包括以下步骤：
渐进成形设备通过控制系统控制渐进成形头作业零件的第一层；
基于深度学习的调整修补模块对第一层的作业情况进行调整修补直至第一层合格；
渐进成形设备通过控制系统控制渐进成形头作业零件的第二层；
基于深度学习的调整修补模块对第二层的作业情况进行调整修补直至第二层合格；
以此类推，直至基于深度学习的调整修补模块对第N层的作业情况进行调整修补直至第N层合格。
本发明在常规渐进成形系统的基础上增加当前层的二次修正，二次修正的运算是基于深度学习模型进行的，以此提高零件密实度和平整度。
作为本发明的进一步改进，调整修补模块在第N层合格之后还对整个零件进行调整。
作为本发明的进一步改进，所述调整修补模块包括：
采集单元，渐进成形头完成当前层的作业后控制单元立即控制渐进成形头退回至初始位置，接下来采集单元从不同方向采集当前层的多张图像；
处理单元，采集单元把图像实时传输给处理单元，处理单元根据多张图像模拟出当前层的三维图像，根据三维图像采用深度学习模型计算出病害区域并确定病害处理路径，所述处理单元把病害处理路径发送给控制单元；
控制单元，控制渐进成形头调整当前层的所有病害区域。
作为本发明的进一步改进，所述深度学习模型可识别出物料堆积、物料拉丝、表面缝隙或小孔、层之间开裂、层之间错位病害区域。
作为本发明的进一步改进，通过若干零件每个层的三维图像的病害区域和病害列表训练深度学习模型。
作为本发明的进一步改进，所述训练过程为：
（1）采用高分辨率图像集作为中分辨率图像集与低分辨率图像集的基础，中分辨率图像集在高分辨率图像集的基础上添加低分辨率图像集作为高分辨率图像集的基础，使用最终的高分辨率图像集微调深度学习模型；
（2）从训练集和验证集中取1/5的数据验证深度学习模型，将深度学习模型输出结果与1/5数据对应的病害列表比对，如若差距较大则调整深度学习模型；
（3）利用训练集对深度学习模型进行训练，随后利用验证集验证深度学习模型。
作为本发明的进一步改进，所述病害列表的构建过程是：
（21）确定每张三维图像的病害点：把每张三维图像划分成多个小区域，该小区域是通过距离矩阵获得的，距离矩阵通过三维图像的距离变换得到；按照零件的病害标准在每个小区域的距离矩阵中逐一寻找可能存在病害点，所有小区域可能存在的病害点构成所有初筛病害点，在所有初筛病害点中再次筛选出准确病害点；
（22）确定合理的病害区域：基于距离矩阵和准确病害点，利用牛耕行走方式去覆盖两个以上病害点，这样既可以保证小区域内病害点被覆盖同时可以最大限度优化病害区域的总面积；
（23）针对每张三维图像构造病害列表：将准确病害点对应的病害区域构建成病害列表，所谓病害点就是在小区域周围存在黑点、凸起或凹点。
与现有技术相比，本发明的有益效果是：
本发明在常规渐进成形系统的基础上增加当前层的二次修正，二次修正的运算是基于深度学习模型进行的，以此提高零件密实度和平整度。
附图说明
图1为渐进成形方法的流程图一。
图2为渐进成形方法的流程图二。
具体实施方式
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
实施例1：
如图1所示，本实施例公开了一种基于深度学习的渐进成形方法，包括以下步骤：
渐进成形设备通过控制系统控制渐进成形头作业零件的第一层；
基于深度学习的调整修补模块对第一层的作业情况进行调整修补直至第一层合格；
渐进成形设备通过控制系统控制渐进成形头作业零件的第二层；
基于深度学习的调整修补模块对第二层的作业情况进行调整修补直至第二层合格；
以此类推，直至基于深度学习的调整修补模块对第N层的作业情况进行调整修补直至第N层合格。
本实施例在常规渐进成形系统的基础上增加当前层的二次修正，二次修正的运算是基于深度学习模型进行的，以此提高零件密实度和平整度。
优选深度学习模型可识别出物料堆积、物料拉丝、表面缝隙或小孔、层之间开裂、层之间错位等病害区域。通过若干零件每个层的三维图像的病害区域和病害列表训练深度学习模型。
与深度学习模型构建和学习有关的方法，包括以下步骤：
(1)通过当前层的三维图像病害点分析技术获取三维图像中的病害列表，将大量三维图像的病害列表组成数据集，这些数据集分为物料堆积、物料拉丝、表面缝隙或小孔、层之间开裂、层之间错位等多个类别，将分好类别的数据集分为训练集、测试集和验证集。
(2)将步骤(1)中分好类别的数据集的三维图像和病害列表分别进行采样处理，每个三维图像分别得到三种不同分辨率的预处理图像。
(3)处理不同分辨率下的预处理图像，得到低分辨率图像集、中分辨率图像集、高分辨率图像集，并构建深度学习模型；
（4）训练：采用高分辨率图像集作为中分辨率图像集与低分辨率图像集的基础，中分辨率图像集在高分辨率图像集的基础上添加低分辨率图像集作为高分辨率图像集的基础，使用最终的高分辨率图像集微调深度学习模型；从(2)处理过的训练集和验证集中取1/5的数据验证深度学习模型，将深度学习模型输出结果与1/5数据对应的病害列表比对，如若差距较大则调整深度学习模型。利用(2)中训练集和验证集对深度学习模型进行训练。
实施例2：
在实施例1公开方案的基础上，本实施例的调整修补模块包括：
采集单元，渐进成形头完成当前层的作业后控制单元立即控制渐进成形头退回至初始位置，接下来采集单元从不同方向采集当前层的多张图像；
处理单元，采集单元把图像实时传输给处理单元，处理单元根据多张图像模拟出当前层的三维图像，根据三维图像采用深度学习模型计算出病害区域并确定病害处理路径，处理单元把病害处理路径发送给控制单元；
控制单元，控制渐进成形头调整当前层的所有病害区域。
需要说明的是，本实施例的核心是在原有渐进成形设备的基础上增加调整修补模块，调整修补模块的计算部分以软件形式嵌入原有渐进成形设备的软件中，本实施例只需把渐进成形头更换成适用于本系统的新工具头即可修补调整当前层并且进行下一层作业，并未对原有渐进成形设备的其他零件做改变。
实施例3：
在实施例1和实施例2公开方案的基础上，本实施例公开了病害列表的构建过程是：
（21）确定每张三维图像的病害点：把每张三维图像划分成多个小区域，该小区域是通过距离矩阵获得的，距离矩阵通过三维图像的距离变换得到；按照零件的病害标准在每个小区域的距离矩阵中逐一寻找可能存在病害点，所有小区域可能存在的病害点构成所有初筛病害点，在所有初筛病害点中再次筛选出准确病害点；
（22）确定合理的病害区域：基于距离矩阵和准确病害点，利用牛耕行走方式去覆盖两个以上病害点，这样既可以保证小区域内病害点被覆盖同时可以最大限度优化病害区域的总面积；
（23）针对每张三维图像构造病害列表：将准确病害点对应的病害区域构建成病害列表，所谓病害点就是在小区域周围存在黑点、凸起或凹点。
实施例4：
如图2所示，本实施例公开了一种基于深度学习的渐进成形方法，包括以下步骤：
渐进成形设备通过控制系统控制渐进成形头作业零件的第一层；
基于深度学习的调整修补模块对第一层的作业情况进行调整修补直至第一层合格；
渐进成形设备通过控制系统控制渐进成形头作业零件的第二层；
基于深度学习的调整修补模块对第二层的作业情况进行调整修补直至第二层合格；
以此类推，直至基于深度学习的调整修补模块对第N层的作业情况进行调整修补直至第N层合格；
调整修补模块在第N层合格之后还对整个零件进行调整。
需要重点说明的是，本实施例中调整修补模块对整个零件调整时，调整修补模块中涉及的运算模型与实施例1-实施例3中提到的深度学习模型不同。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (6)
1.一种基于深度学习的渐进成形方法，其特征在于，包括以下步骤：
渐进成形设备通过控制系统控制渐进成形头作业零件的第一层；
基于深度学习的调整修补模块对第一层的作业情况进行调整修补直至第一层合格；
渐进成形设备通过控制系统控制渐进成形头作业零件的第二层；
基于深度学习的调整修补模块对第二层的作业情况进行调整修补直至第二层合格；
以此类推，直至基于深度学习的调整修补模块对第N层的作业情况进行调整修补直至第N层合格；
所述调整修补模块包括：
采集单元，渐进成形头完成当前层的作业后控制单元立即控制渐进成形头退回至初始位置，接下来采集单元从不同方向采集当前层的多张图像；
处理单元，采集单元把图像实时传输给处理单元，处理单元根据多张图像模拟出当前层的三维图像，根据三维图像采用深度学习模型计算出病害区域并确定病害处理路径，所述处理单元把病害处理路径发送给控制单元；
控制单元，控制渐进成形头调整当前层的所有病害区域。
2.根据权利要求1所述的渐进成形方法，其特征在于，调整修补模块在第N层合格之后还对整个零件进行调整。
3.根据权利要求1所述的渐进成形方法，其特征在于，所述深度学习模型可识别出物料堆积、物料拉丝、表面缝隙或小孔、层之间开裂、层之间错位病害区域。
4.根据权利要求1或3所述的渐进成形方法，其特征在于，通过若干零件每个层的三维图像的病害区域和病害列表训练深度学习模型。
5.根据权利要求4所述的渐进成形方法，其特征在于，所述训练过程为：
（1）采用高分辨率图像集作为中分辨率图像集与低分辨率图像集的基础，中分辨率图像集在高分辨率图像集的基础上添加低分辨率图像集作为高分辨率图像集的基础，使用最终的高分辨率图像集微调深度学习模型；
（2）从训练集和验证集中取1/5的数据验证深度学习模型，将深度学习模型输出结果与1/5数据对应的病害列表比对，如若差距较大则调整深度学习模型；
（3）利用训练集对深度学习模型进行训练，随后利用验证集验证深度学习模型。
6.根据权利要求5所述的渐进成形方法，其特征在于，所述病害列表的构建过程是：
（21）确定每张三维图像的病害点；
（22）确定合理的病害区域；
（23）针对每张三维图像构造病害列表。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010435430.1A CN111633111B (zh) | 2020-05-21 | 2020-05-21 | 一种基于深度学习的渐进成形方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010435430.1A CN111633111B (zh) | 2020-05-21 | 2020-05-21 | 一种基于深度学习的渐进成形方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111633111A CN111633111A (zh) | 2020-09-08 |
| CN111633111B true CN111633111B (zh) | 2022-03-29 |
Family
ID=72323741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010435430.1A Expired - Fee Related CN111633111B (zh) | 2020-05-21 | 2020-05-21 | 一种基于深度学习的渐进成形方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111633111B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114757102A (zh) * | 2022-04-19 | 2022-07-15 | 贵州翰凯斯智能技术有限公司 | 基于深度强化学习的双点渐进成形制造方法及装置 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102211121B (zh) * | 2011-03-24 | 2013-01-09 | 上海交通大学 | 板材数控精密渐进成形装置及精密渐进成形方法 |
| CN102489574B (zh) * | 2011-11-29 | 2013-07-31 | 重庆大学 | 一种板材渐进成形加工控制回弹的方法 |
| CN103586627A (zh) * | 2012-08-17 | 2014-02-19 | 天津市加美金属家具有限公司 | 金属工具柜渐进成型方法 |
| CN104690138B (zh) * | 2015-02-28 | 2017-01-18 | 山东科技大学 | 一种镁合金板材超声振动单点渐进成形装置及其渐进成形方法 |
| CN108489986B (zh) * | 2018-03-19 | 2021-03-26 | 长沙理工大学 | 一种增材制造在线检测及修复方法 |
| CN109064459A (zh) * | 2018-07-27 | 2018-12-21 | 江苏理工学院 | 一种基于深度学习的布匹瑕疵检测方法 |
| CN108981710B (zh) * | 2018-08-07 | 2019-10-11 | 北京邮电大学 | 一种移动机器人的全覆盖路径规划方法 |
| CN108624880B (zh) * | 2018-08-10 | 2019-08-06 | 南通大学 | 一种激光熔覆质量智能控制系统及其智能控制方法 |
| CN109492594A (zh) * | 2018-11-16 | 2019-03-19 | 西安电子科技大学 | 基于深度学习网络的课堂听课者抬头率检测方法 |
| CN109676135A (zh) * | 2018-11-28 | 2019-04-26 | 大连理工大学 | 一种激光增材制造视觉灰度值差异在线监测与缺陷修复装置 |
| CN109903255A (zh) * | 2019-03-04 | 2019-06-18 | 北京工业大学 | 一种基于3d卷积神经网络的高光谱图像超分辨率复原方法 |
| CN110118784A (zh) * | 2019-06-20 | 2019-08-13 | 山西大数据产业发展有限公司 | 基于机器视觉的钢卷表面质量缺陷检测系统 |
| CN110421169B (zh) * | 2019-08-29 | 2021-04-06 | 华中科技大学 | 一种金属增材制造过程中缺陷在线修复方法 |
| CN111103307A (zh) * | 2019-11-19 | 2020-05-05 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于深度学习的pcb板缺陷检测方法 |
| CN111161156A (zh) * | 2019-11-28 | 2020-05-15 | 东南大学 | 一种基于深度学习的水下桥墩病害图像分辨率增强方法 |
| CN111077223A (zh) * | 2019-12-19 | 2020-04-28 | 西安增材制造国家研究院有限公司 | 一种具有三维显示、在线检测及修复功能的增材制造方法 |
| CN111037052B (zh) * | 2019-12-26 | 2021-09-07 | 西安铂力特增材技术股份有限公司 | 电弧增材制造成形检测反馈补偿系统及检测反馈补偿方法 |
-
2020
- 2020-05-21 CN CN202010435430.1A patent/CN111633111B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN111633111A (zh) | 2020-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109670523B (zh) | 用包括跟踪网的卷积神经网络获取与图像中的对象对应的边界框的方法和使用其的计算装置 | |
| CN111633111B (zh) | 一种基于深度学习的渐进成形方法 | |
| CN115660509B (zh) | 一种基于数字孪生技术的工厂建造管控方法及系统 | |
| CN106627677B (zh) | 铁路旅服系统的目标列车到站时间预测方法及装置 | |
| CN108519400B (zh) | 一种预应力梁灌浆饱满度智能检测方法及系统 | |
| CN111754928B (zh) | 一种显示屏分层校正方法及装置 | |
| CN105469359A (zh) | 基于局部约束低秩表示的人脸超分辨率重建方法 | |
| CN1659417A (zh) | 采用非均匀修正的图像制造印刷电路板的系统和方法 | |
| CN106060479A (zh) | 一种基于超视距视频技术的智能放牧监控系统 | |
| CN114925562A (zh) | 一种装配式桥梁数字孪生系统及方法 | |
| CN117236657A (zh) | 基于实时水压的城市供水区域动态划分控制系统及方法 | |
| EP3931651A1 (en) | Transfer learning/dictionary generation and usage for tailored part parameter generation from coupon builds | |
| EP1308792A3 (en) | Image forming method and image forming apparatus | |
| JP2021018233A (ja) | コンクリートの劣化の診断または予測方法 | |
| CN117349720A (zh) | 基于金属增材制造的原位质量评价方法及系统 | |
| CN117146989A (zh) | 针对车载红外热像镜头组光学系统的无热化温度补偿方法 | |
| CN106888344A (zh) | 摄像模组及其像面倾斜的获取方法和调整方法 | |
| CN110307981A (zh) | 基于pnn-ifa的轴承故障诊断方法 | |
| CN116958528A (zh) | 一种基于图像融合的多无人机协同目标检测方法 | |
| CN1187251C (zh) | 电梯操作管理和控制系统 | |
| CN116228334A (zh) | 输变电工程造价的预测方法、预测装置 | |
| CN115100209A (zh) | 一种基于摄像机的图像质量的修正方法及修正系统 | |
| CN111531026A (zh) | 一种渐进成形系统 | |
| EP1487194A3 (en) | Method of real-time correction of non-functioning pixels in digital radiography | |
| CN112818870A (zh) | 一种基于门控神经网络框架的轴承剩余寿命预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220329 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |