CN105631939A - 一种基于曲率滤波的三维点云畸变校正方法及其系统 - Google Patents

一种基于曲率滤波的三维点云畸变校正方法及其系统 Download PDF

Info

Publication number
CN105631939A
CN105631939A CN201511002947.7A CN201511002947A CN105631939A CN 105631939 A CN105631939 A CN 105631939A CN 201511002947 A CN201511002947 A CN 201511002947A CN 105631939 A CN105631939 A CN 105631939A
Authority
CN
China
Prior art keywords
point cloud
dimensional point
plane
neighborhood
distortion correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201511002947.7A
Other languages
English (en)
Other versions
CN105631939B (zh
Inventor
蔡国榕
王宗跃
陈水利
吴云东
刘伟权
梁宗旗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jimei University
Original Assignee
Jimei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jimei University filed Critical Jimei University
Priority to CN201511002947.7A priority Critical patent/CN105631939B/zh
Publication of CN105631939A publication Critical patent/CN105631939A/zh
Application granted granted Critical
Publication of CN105631939B publication Critical patent/CN105631939B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于曲率滤波的三维点云畸变校正方法及其系统，方法包括：获取三维点云模型；获取所述三维点云模型中的各个点ni的K邻域；在所述点ni的K邻域中选取平面，获取平面集Ai；分别计算点ni到所述平面集Ai中的平面的投影距离，确定最短距离di；将点ni垂直投影到所述最短距离di对应的平面，获取点ni在所述最短距离di对应的平面上的投影点mi；输出所述投影点mi。本发明可减小计算复杂度，可以有效地去除点云中的噪声点与离群点，很好地平滑点云模型，同时很好地保持了物体的细节和几何特征未出现畸变，提高平滑点云数据的效果与效率，具有高效性和通用性等特点。

Description

一种基于曲率滤波的三维点云畸变校正方法及其系统
技术领域
本发明涉及三维重建技术，尤其涉及一种基于曲率滤波的三维点云畸变校正方法及其系统。
背景技术
三维激光扫描技术(3DLaserScanningTechnology)可以连续、自动、不接触、快速地采集大量的目标物表面三维点数据，即建点云(PointClouds)。它是一种先进的全自动高精度立体扫描技术，是用三维激光扫描仪获取目标物体表面各点的空间坐标，然后由获得的测量数据结构构造出目标物的三维模型的一种全自动测量技术。三维激光扫描技术是继GPS之后的又一项测绘新技术，已成为空间数据获取的重要技术手段。
然而，在获取点云数据时，由于设备精度、操作者经验、环境因素等带来的影响，以及磁波衍射特性、被测物体表面性质变化和数据拼接配准操作过程的影响，点云数据中将不可避免地出现一些噪声点。实际应用中除了这些测量随机误差产生的噪声点之外，由于受到外界干扰如实现遮挡，障碍物等因素的影响，点云数据中往往存在着一些离主体点云即被测物体点云较远的离散点，即离群点。这些产生的噪声点与离群点对后续的点云处理流程影响很大，只有将噪声点与离群点进行处理后，才能更好地进行配准、特征提取、曲面重建、可视化等后续处理。
去除点云的噪声点与离群点的处理又可称为点云平滑或者点云光顺，也可称为三维点云畸变校正。由于三维模型几何特征的多样性和噪声本身的复杂性，故如何在光顺的同时有效地保持模型的特征是一个亟待解决的问题。
目前，比较流行的光顺算法大致可分为以下三类：一类是拉普拉斯光顺算法，一类是基于滤波器的邻域光顺算法，还有一类是基于平均曲率流的光顺算法。拉普拉斯算法是近年来得到广泛应用的一种算法，该算法能有效地调整网格使其密度和形状都接近规则化，但是对于网格分布不均匀和含有大量不规则三角面片的样件模型，这种过于均匀化的调整方法会导致原始模型的失真与变形。基于滤波器的邻域光顺算法虽然能够保持物体的几何特征，但是无法控制物体体积的变化，某些情况下会造成网格的变形与扭曲。平均曲率流算法虽然可以得到光顺的效果，但是该算法未能很好地保持网格形状，容易产生大量不规则的三角面片。
在申请号为201310483737.9的专利公开文件中，提出了一种点云平滑系统，包括：输入模块、处理模块、计算模块、拟合模块、投影模块及输出模块。利用上述模块，可对产品的点云数据构建曲面并进行三角网格化；根据相邻点之间的距离标记相点；确定每个相点的邻域点；确定每个相点所在的元素的类型；将在预设类型的元素上的相点及对应的邻域点拟合成相对应的预设类型的面；根据所述相点的坐标将所述相点投影至与该相点对应的拟合后的面上，并确定所述相点对应的投影点的坐标；及输出所有相点对应的投影点的坐标。但该方法需要构建曲面并进行三角网格化，较为复杂。
曲率滤波是一种图像处理中的优化算法，最早出现于龚元浩博士的博士论文第六章(ETHE-Collection:Spectrallyregularizedsurfaces)。无论是在二维图像中的去噪、平滑问题还是在三维点云中的去噪、平滑问题，通常都是病态的，而病态的问题需要正则项。曲率正则化是病态问题常用的正则项，得到的模型通常较好，但是这些模型也难于求解。传统的求解方法有两种：一种基于梯度下降法，另一种基于EulerLagrange方程。通常，后一种解法比前一种更加高效，但是如何得到该方程通常又非常复杂，而且得到的方程很难看出其对应的物理意义。
发明内容
本发明所要解决的技术问题是：提供一种基于曲率滤波的三维点云畸变校正方法及其系统，减小计算复杂度，提高平滑点云数据的效果和效率。
为了解决上述技术问题，本发明采用的技术方案为：一种基于曲率滤波的三维点云畸变校正方法，包括
获取三维点云模型；
获取所述三维点云模型中的各个点ni的K邻域；
在所述点ni的K邻域中选取平面，获取平面集Ai；
分别计算点ni到所述平面集Ai中的平面的投影距离，确定最短距离di；
将点ni垂直投影到所述最短距离di对应的平面，获取点ni在所述最短距离di对应的平面上的投影点mi；
输出所述投影点mi。
本发明还涉及一种基于曲率滤波的三维点云畸变校正系统，包括
第一获取模块，用于获取三维点云模型；
第二获取模块，用于获取所述三维点云模型中的各个点ni的K邻域；
选取模块，用于在所述点ni的K邻域中选取平面；
第三获取模块，用于获取平面集Ai；
计算模块，用于分别计算点ni到所述平面集Ai中的平面的投影距离；
确定模块，用于确定最短距离di；
投影模块，用于将点ni垂直投影到所述最短距离di对应的平面；
第四获取模块，用于获取点ni在所述最短距离di对应的平面上的投影点mi；
输出模块，用于输出所述投影点mi。
本发明的有益效果在于：对三维点云模型中的点寻找K邻域，根据所述K邻域中的点构造平面，实现三维曲率拟合，可减小计算复杂度；通过三维曲率计算点云的投影方位，将点云中的所有点垂直投影到距离所述点最近的平面，最后输出其投影点，可以有效地去除点云中的噪声点与离群点，很好地平滑点云模型，同时很好地保持了物体的细节和几何特征未出现畸变，提高平滑点云数据的效果与效率，具有高效性和通用性等特点。
附图说明
图1为本发明一种基于曲率滤波的三维点云畸变校正方法的流程图；
图2为本发明实施例一的建筑物点云数据示意图；
图3为图2的部分点云数据放大效果图；
图4为图3中的点云数据校正后的点云数据示意图；
图5为本发明一种基于曲率滤波的三维点云畸变校正系统的结构示意图。
标号说明：
1、第一获取模块；2、第二获取模块；3、选取模块；4、第三获取模块；5、计算模块；6、确定模块；7、投影模块；8、第四获取模块；9、输出模块。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图详予说明。
本发明最关键的构思在于：对三维点云中各个点的K邻域构造平面集，实现三维曲率的拟合，通过三维曲率计算点云的投影方位，实现点云畸变校正。
请参阅图1，一种基于曲率滤波的三维点云畸变校正方法，包括
获取三维点云模型；
获取所述三维点云模型中的各个点ni的K邻域；
在所述点ni的K邻域中选取平面，获取平面集Ai；
分别计算点ni到所述平面集Ai中的平面的投影距离，确定最短距离di；
将点ni垂直投影到所述最短距离di对应的平面，获取点ni在所述最短距离di对应的平面上的投影点mi；
输出所述投影点mi。
从上述描述可知，本发明的有益效果在于：可以有效地去除三维点云模型的噪声点与离群点，很好地平滑点云模型，实现三维点云畸变校正。
进一步地，所述“在所述点ni的K邻域中选取平面”具体为：在所述点ni的K邻域中依次选取3个点构造平面。
进一步地，所述构造平面的3个点不在一条直线上。
由上述描述可知，对三维点云中各个点的K邻域构造平面集，实现三维曲率的拟合，且方法简单易懂。
进一步地，所述K的取值范围为3-12。
进一步地，所述K的值为8。
由上述描述可知，使K处于一个适当的范围，防止K的取值过大，增加计算的复杂度，使得算法效率降低，避免过度校正。
进一步地，所述“获取所述三维点云模型中的各个点ni的K邻域”具体为：通过KD数算法获取所述三维点云模型中的各个点ni的K邻域。
由上述描述可知，通过KD树算法，可提高K邻域的搜索效率。
本发明还提出了一种基于曲率滤波的三维点云畸变校正系统，包括
第一获取模块，用于获取三维点云模型；
第二获取模块，用于获取所述三维点云模型中的各个点ni的K邻域；
选取模块，用于在所述点ni的K邻域中选取平面；
第三获取模块，用于获取平面集Ai；
计算模块，用于分别计算点ni到所述平面集Ai中的平面的投影距离；
确定模块，用于确定最短距离di；
投影模块，用于将点ni垂直投影到所述最短距离di对应的平面；
第四获取模块，用于获取点ni在所述最短距离di对应的平面上的投影点mi；
输出模块，用于输出所述投影点mi。
进一步地，所述选取模块具体用于：在所述点ni的K邻域中依次选取3个点构造平面。
进一步地，所述构造平面的3个点不在一条直线上。
进一步地，所述第二获取模块具体用于：通过KD数算法获取所述三维点云模型中的各个点ni的K邻域。
实施例一
请参照图1，本发明的实施例一为：一种基于曲率滤波的三维点云畸变校正方法，包括如下步骤：
S1：获取三维点云模型；可选地，可采用RIEGL公司生产的VZ-4000激光扫描仪获取三维点云模型，图2为一建筑物的点云数据，点云采样点之间的距离为6cm，点云扫描的密度为垂直方向和水平方向各为0.05度，扫描频率为300HZ。
S2：获取所述三维点云模型中的各个点ni的K邻域，即分别获取距离各个点最近的K个点；可选地，可通过KD树算法获取所述K邻域；所述K的取值至少为3，但K的取值不宜过大，否则会增加计算的复杂度，降低算法效率，甚至出现过度校正，可选地，所述K的取值为3-12，优选地，所述K的取值为8。
S3：在所述点ni的K邻域中选取平面，获取平面集Ai；可选地，在所述点ni的K邻域中依次选取3个点构造平面，即对K个点进行排列组合，每次在K个点中选取3个点，若所述3个点可构成一个平面，则加入平面集Ai，若所述3个点处于同一条直线，无法构成一个平面，则不做处理。
S4：分别计算点ni到所述平面集Ai中的平面的投影距离，确定最短距离di。
S5：将点ni垂直投影到所述最短距离di对应的平面，获取点ni在所述最短距离di对应的平面上的投影点mi。
S6：输出所述投影点mi，即为校正后的三维点云模型。
图3为图2中最靠右的建筑物屋顶的点云数据放大的效果图，通过本实施例的方法，得到如图4所示的点云数据。对比图3和图4，点云畸变校正后，去除了点云边缘的噪声点与离群点，使得建筑物的边缘变得光滑平顺。
实施例二
请参照图5，本实施例为对应上述方法的一种基于曲率滤波的三维点云畸变校正系统，包括第一获取模块1、第二获取模块2、选取模块3、第三获取模块4、计算模块5、确定模块6、投影模块7、第四获取模块8和输出模块9。
所述第一获取模块1用于获取三维点云模型；
所述第二获取模块2用于获取所述三维点云模型中的各个点ni的K邻域，具体用于通过KD数算法获取所述三维点云模型中的各个点ni的K邻域；
所述选取模块3用于在所述点ni的K邻域中选取平面，具体用于在所述点ni的K邻域中依次选取3个点构造平面；
所述第三获取模块4用于获取平面集Ai；
所述计算模块5用于分别计算点ni到所述平面集Ai中的平面的投影距离；
所述确定模块6用于确定最短距离di；
所述投影模块7用于将点ni垂直投影到所述最短距离di对应的平面；
所述第四获取模块8用于获取点ni在所述最短距离di对应的平面上的投影点mi；
所述输出模块9用于输出所述投影点mi。
综上所述，本发明提供的一种基于曲率滤波的三维点云畸变校正方法及其系统，对三维点云模型中的点寻找K邻域，根据所述K邻域中的点构造平面，实现三维曲率拟合，可减小计算复杂度；通过KD树算法寻找K邻域，可提高搜索效率；通过三维曲率计算点云的投影方位，可以有效地去除点云中的噪声点与离群点，很好地平滑点云模型，同时很好地保持了物体的细节和几何特征未出现畸变，提高平滑点云数据的效果与效率，具有高效性和通用性等特点。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于曲率滤波的三维点云畸变校正方法，其特征在于：包括
获取三维点云模型；
获取所述三维点云模型中的各个点ni的K邻域；
在所述点ni的K邻域中选取平面，获取平面集Ai；
分别计算点ni到所述平面集Ai中的平面的投影距离，确定最短距离di；
将点ni垂直投影到所述最短距离di对应的平面，获取点ni在所述最短距离di对应的平面上的投影点mi；
输出所述投影点mi。
2.根据权利要求1所述的基于曲率滤波的三维点云畸变校正方法，其特征在于：所述“在所述点ni的K邻域中选取平面”具体为：在所述点ni的K邻域中依次选取3个点构造平面。
3.根据权利要求2所述的基于曲率滤波的三维点云畸变校正方法，其特征在于：所述构造平面的3个点不在一条直线上。
4.根据权利要求1所述的基于曲率滤波的三维点云畸变校正方法，其特征在于：所述K的取值范围为3-12。
5.根据权利要求4所述的基于曲率滤波的三维点云畸变校正方法，其特征在于：所述K的值为8。
6.根据权利要求1所述的基于曲率滤波的三维点云畸变校正方法，其特征在于：所述“获取所述三维点云模型中的各个点ni的K邻域”具体为：通过KD数算法获取所述三维点云模型中的各个点ni的K邻域。
7.一种基于曲率滤波的三维点云畸变校正系统，其特征在于：包括
第一获取模块，用于获取三维点云模型；
第二获取模块，用于获取所述三维点云模型中的各个点ni的K邻域；
选取模块，用于在所述点ni的K邻域中选取平面；
第三获取模块，用于获取平面集Ai；
计算模块，用于分别计算点ni到所述平面集Ai中的平面的投影距离；
确定模块，用于确定最短距离di；
投影模块，用于将点ni垂直投影到所述最短距离di对应的平面；
第四获取模块，用于获取点ni在所述最短距离di对应的平面上的投影点mi；
输出模块，用于输出所述投影点mi。
8.根据权利要求7所述的基于曲率滤波的三维点云畸变校正系统，其特征在于：所述选取模块具体用于：在所述点ni的K邻域中依次选取3个点构造平面。
9.根据权利要求8所述的基于曲率滤波的三维点云畸变校正系统，其特征在于：所述构造平面的3个点不在一条直线上。
10.根据权利要求7所述的基于曲率滤波的三维点云畸变校正系统，其特征在于：所述第二获取模块具体用于：通过KD数算法获取所述三维点云模型中的各个点ni的K邻域。
CN201511002947.7A 2015-12-28 2015-12-28 一种基于曲率滤波的三维点云畸变校正方法及其系统 Expired - Fee Related CN105631939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511002947.7A CN105631939B (zh) 2015-12-28 2015-12-28 一种基于曲率滤波的三维点云畸变校正方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511002947.7A CN105631939B (zh) 2015-12-28 2015-12-28 一种基于曲率滤波的三维点云畸变校正方法及其系统

Publications (2)

Publication Number Publication Date
CN105631939A true CN105631939A (zh) 2016-06-01
CN105631939B CN105631939B (zh) 2018-10-23

Family

ID=56046820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511002947.7A Expired - Fee Related CN105631939B (zh) 2015-12-28 2015-12-28 一种基于曲率滤波的三维点云畸变校正方法及其系统

Country Status (1)

Country Link
CN (1) CN105631939B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530238A (zh) * 2016-09-21 2017-03-22 燕山大学 一种散乱点云的保特征滤波方法
CN107610159A (zh) * 2017-09-03 2018-01-19 西安电子科技大学 基于曲率滤波和时空上下文的红外弱小目标跟踪方法
WO2019041794A1 (zh) * 2017-08-30 2019-03-07 深圳中科飞测科技有限公司 三维测量的畸变校正方法、装置、终端设备及存储介质
CN111707262A (zh) * 2020-05-19 2020-09-25 上海有个机器人有限公司 基于最近点向量投影的点云匹配方法、介质、终端和装置
CN115265523A (zh) * 2022-09-27 2022-11-01 泉州装备制造研究所 机器人同时定位与建图方法、装置及可读介质
CN117710243A (zh) * 2024-02-05 2024-03-15 法奥意威(苏州)机器人系统有限公司 点云去噪方法、装置、电子设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853840A (zh) * 2014-03-18 2014-06-11 中国矿业大学(北京) 一种不均匀散乱点云数据的滤波方法
CN104574516A (zh) * 2013-10-16 2015-04-29 鸿富锦精密工业（深圳）有限公司 点云平滑系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574516A (zh) * 2013-10-16 2015-04-29 鸿富锦精密工业（深圳）有限公司 点云平滑系统及方法
CN103853840A (zh) * 2014-03-18 2014-06-11 中国矿业大学(北京) 一种不均匀散乱点云数据的滤波方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J DANIELS 等: "Robust Smooth Feature Extraction from Point Clouds", 《IEEE INTERNATIONAL CONFERENCE ON SHAPE MODELING & APPLICATIONS》 *
宋大虎 等: "特征保持的点云光顺算法", 《中国机械工程》 *
葛宝臻 等: "基于曲率特征混合分类的高密度点云去噪方法", 《纳米技术与精密工程》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530238A (zh) * 2016-09-21 2017-03-22 燕山大学 一种散乱点云的保特征滤波方法
WO2019041794A1 (zh) * 2017-08-30 2019-03-07 深圳中科飞测科技有限公司 三维测量的畸变校正方法、装置、终端设备及存储介质
CN107610159A (zh) * 2017-09-03 2018-01-19 西安电子科技大学 基于曲率滤波和时空上下文的红外弱小目标跟踪方法
CN111707262A (zh) * 2020-05-19 2020-09-25 上海有个机器人有限公司 基于最近点向量投影的点云匹配方法、介质、终端和装置
CN111707262B (zh) * 2020-05-19 2022-05-27 上海有个机器人有限公司 基于最近点向量投影的点云匹配方法、介质、终端和装置
CN115265523A (zh) * 2022-09-27 2022-11-01 泉州装备制造研究所 机器人同时定位与建图方法、装置及可读介质
CN115265523B (zh) * 2022-09-27 2023-01-03 泉州装备制造研究所 机器人同时定位与建图方法、装置及可读介质
CN117710243A (zh) * 2024-02-05 2024-03-15 法奥意威(苏州)机器人系统有限公司 点云去噪方法、装置、电子设备及可读存储介质
CN117710243B (zh) * 2024-02-05 2024-05-28 法奥意威(苏州)机器人系统有限公司 点云去噪方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN105631939B (zh) 2018-10-23

Similar Documents

Publication Publication Date Title
CN105631939A (zh) 一种基于曲率滤波的三维点云畸变校正方法及其系统
CN112115953B (zh) 一种基于rgb-d相机结合平面检测与随机抽样一致算法的优化orb算法
CN107123164B (zh) 保持锐利特征的三维重建方法及系统
CN102629367B (zh) 基于KDTree的点云数据双边滤波去噪的方法
KR102113909B1 (ko) 3차원 모델링 방법 및 장치
CN104463871B (zh) 基于车载LiDAR点云数据的街景面片提取及优化方法
CN104700451A (zh) 基于迭代就近点算法的点云配准方法
CN103729872A (zh) 一种基于分段重采样和表面三角化的点云增强方法
CN102945551B (zh) 一种基于图论的三维点云数据平面提取方法
CN111369600B (zh) 一种基于参照物的激光雷达点云数据配准方法
CN106127682B (zh) 一种顾及海岸线地理特征约束的可控分形插值方法及系统
CN111667574B (zh) 从倾斜摄影模型自动重建建筑物规则立面三维模型的方法
CN103761739A (zh) 一种基于半全局能量优化的影像配准方法
CN105303616A (zh) 基于单张照片的浮雕建模方法
EP3293700A1 (en) 3d reconstruction for vehicle
CN102129716A (zh) 一种用于水火弯板曲面拟合的方法
CN114972377A (zh) 基于移动最小二乘法与超体素的3d点云分割方法和装置
CN113093216A (zh) 一种激光雷达和相机融合的不规则物体测量方法
Shivakumar et al. Real time dense depth estimation by fusing stereo with sparse depth measurements
CN115861247A (zh) 一种高分辨率遥感影像轮廓多级正则化方法、系统及应用
CN113920275B (zh) 三角网格构建方法、装置、电子设备及可读存储介质
CN109961512B (zh) 地形机载点云提取方法及装置
CN103679814A (zh) 一种三角形网格模型的处理方法及装置
CN104180794A (zh) 数字正射影像拉花区域的处理方法
CN103914825A (zh) 一种基于图像分割的三维模型纹理着色方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181023

Termination date: 20211228

CF01 Termination of patent right due to non-payment of annual fee