CN107622277B - 一种基于贝叶斯分类器的复杂曲面缺陷分类方法 - Google Patents

一种基于贝叶斯分类器的复杂曲面缺陷分类方法 Download PDF

Info

Publication number
CN107622277B
CN107622277B CN201710748823.6A CN201710748823A CN107622277B CN 107622277 B CN107622277 B CN 107622277B CN 201710748823 A CN201710748823 A CN 201710748823A CN 107622277 B CN107622277 B CN 107622277B
Authority
CN
China
Prior art keywords
image
gray
defect
fitting
curved surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710748823.6A
Other languages
English (en)
Other versions
CN107622277A (zh
Inventor
陈振州
张平
张美杰
尹志锋
汪南辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201710748823.6A priority Critical patent/CN107622277B/zh
Publication of CN107622277A publication Critical patent/CN107622277A/zh
Application granted granted Critical
Publication of CN107622277B publication Critical patent/CN107622277B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于贝叶斯分类器的复杂曲面缺陷分类方法,包括以下步骤:S1、采集曲面图像;S2、对采集到的图像进行预处理;S3、提取图像中包含缺陷部分的ROI区域,得到图像
Figure DDA0001390659100000011
S4、对图像
Figure DDA0001390659100000012
进行曲面拟合,得到拟合图
Figure DDA0001390659100000013
S5、将图像
Figure DDA0001390659100000014
与拟合图
Figure DDA0001390659100000015
作差分处理,得到ROI区域中存在的缺陷信息;S6、突出缺陷部分;S7、构建贝叶斯分类器;S8、在线检测并分类。本发明能在考虑工件表面复杂性的基础上,完成曲面缺陷的检测并分类;同时,检测精度高,具有较好实用性。

Description

一种基于贝叶斯分类器的复杂曲面缺陷分类方法
技术领域
本发明涉及缺陷检测的技术领域,尤其涉及到一种基于贝叶斯分类器的复杂曲面缺陷分类方法。
背景技术
视觉检测技术在表面缺陷自动检测领域得到了广泛应用。但传统的表面缺陷检测方法主要针对于规则平面无纹理的物体,而对于复杂曲面缺陷检测则涉及的不多。复杂曲面缺陷检测由于其复杂的几何形状特性,导致图像处理存在较大难度。
之前已有相关文章研究过计算机视觉在曲面方面的应用,如文献Automatedsurface inspection for directional textures[J].Image&Vision Computing和文献Anovel internal thread defect auto-inspection system[J].International Journalof Advanced Manufacturing Technology。但是不足的是,上述文献所述方法的检测效果均受限于待检表面的复杂程度,不适合复杂几何曲面的缺陷检测。
如何在考虑工件表面复杂性的基础上,完成复杂几何曲面缺陷的检测并分类,成为生产复杂几何曲面物件(如皮革、曲面工件、塑料瓶、汽车引擎盖等)的厂家亟待解决的问题。
发明内容
本发明的目的在于克服现有技术的不足,提供一种能有效检测出复杂几何曲面缺陷且检测精度高、实用性好的基于贝叶斯分类器的复杂曲面缺陷分类方法。
为实现上述目的,本发明所提供的技术方案为:包括以下步骤:
S1、采集曲面图像;
S2、对采集到的图像进行预处理;
S3、提取图像中包含缺陷部分的ROI区域,得到图像
Figure BDA0001390659080000021
S4、对图像
Figure BDA0001390659080000022
进行曲面拟合,得到拟合图
Figure BDA0001390659080000023
S5、将图像
Figure BDA0001390659080000024
与拟合图
Figure BDA0001390659080000025
作差分处理,得到ROI区域中存在的缺陷信息;
S6、突出缺陷部分;
S7、构建贝叶斯分类器;
S8、在线检测并分类。
进一步地,步骤S2图像预处理包括图像灰度化与中值滤波。
进一步地,步骤S3提取图像中包含缺陷部分的ROI区域的步骤如下:
S3-1、采用迭代法计算评价阈值T',具体为:
S3-1-1、由灰度直方图求取图像灰度均值T,记为初始阈值;
S3-1-2、使用T分割图像;将图像分为灰度值大于T的所有像素集合G1和灰度值小于T的所有像素集合G2;
S3-1-3、计算G1和G2集合内的像素的平均灰度值μ1和μ2;
S3-1-4、将1/2(μ1+μ2)作为一个新的阈值T';
S3-1-5、重复步骤S3-1-2~S3-1-4,直到连续迭代中两个T'的差值比预先给定的参数值小为止;
S3-2、利用评价阈值T'提取包含缺陷部分的ROI区域:
分析图像中的所有像素点,若待检图像中像素点灰度值小于阈值T',视其为背景点或非检测区域点,剔除该像素点;反之,视为检测对象上检测区域中的点,保留该像素点;待检测图像A(Xi,Yi,Zi)提取ROI后得到只含待检测区域的新图像
Figure BDA0001390659080000031
其中,Xi,Yi为像素点坐标,Zi表示该像素点灰度值。
进一步地,步骤S4曲面拟合具体为:
采用最小二乘法构建拟合函数Z=F(X,Y);将图像
Figure BDA0001390659080000032
中像素点的坐标Xi,Yi与灰度值Zi作为拟合函数Zi=f(Xi,Yi)的样本数据,得到拟合函数Z=F(X,Y)与待检测区域拟合图
Figure BDA0001390659080000033
最小二乘法拟合的解法为:对于待测图像上的样本点(Xi,Yi,Zi),在函数空间找一个函数Z=F*(X,Y),使误差平方和最小,即拟合结果与样本数据的误差最小,达到最优拟合;其中,采用Euclid范数||δ||2作为误差度量标准。
进一步地,步骤S6中,通过对步骤S5的差分结果采用边缘检测和形态学运算去除图像边缘和细小瑕疵部分,突出缺陷部分。
进一步地,步骤S7构建贝叶斯分类器的具体步骤如下:
S7-1、构建数据库模型:
包括正样本和负样本,正样本即是无缺陷图像,负样本为各种类型的缺陷图像。
S7-2、样本特征提取:
样本特征主要包括灰度特征和几何特征;由于正样本的灰度特征、几何特征具有很强的规律性,与负样本差异明显,很容易辨别;具体包括以下几个步骤:
S7-2-1:由灰度直方图得到正样本和负样本的灰度特征信息,具体包括灰度均值、灰度中值、最小或最大灰度级、大于或小于规定值的像素数;其中,灰度均值是指区域中所有像素的平均值;灰度中值是指区域中所有像素的排序中值;将这些特征值组成一个灰度特征向量组,记为H,作为灰度特征的评价标准;
S7-2-2:由Blob分析得到正样本和负样本的几何特征信息,具体包括面积、圆形度、矩形度、周长和长宽比。将这些特征值组成一个几何特征向量组,记为G,作为几何特征的评价标准。
S7-3、构建贝叶斯分类器,具体步骤如下:
S7-3-1、准备训练样本:
将具有同一特征属性,同一类别的正负样本划分为同一个集合;其中,特征属性为步骤S7-2得出的灰度特征向量组H和几何特征向量组G;
S7-3-2、训练分类器:
计算三个先验概率,分别为P(D)、P(f|D)、P(D|f),生成分类器;进而由贝叶斯定理计算出各类正负样本的后验概率,实现分类。
贝叶斯定理计算公式为:
Figure BDA0001390659080000041
其中,P(f)表示假设缺陷f的先验概率,f为假设集合的一个划分;P(D)表示正负训练样本的先验概率;P(D|f)表示每一类缺陷样本中各特征值的概率分布,P(f|D)表示经贝叶斯分类器计算得到的假设各类缺陷的后验概率;
S7-3-3、测试分类性能:
使用步骤S7-3-2训练得到的分类器计算各类缺陷的后验概率,最大后验概率对应的分类作为分类结果输出,将输出结果与标准结果对比验证,判断分类是否准确。
与现有技术相比,本方案优点如下:
本方案能在考虑工件表面复杂性的基础上,完成复杂几何曲面缺陷的检测并分类;在分类器的选择上,相较于支持向量机非常难以训练和难以解释其内部规律的缺点,多层感知器需要大量数据进行训练训练要求很高的硬件配置模型处于「黑箱状态」,难以理解内部机制元参数与网络拓扑选择困难的缺点,贝叶斯分类器具有快速、易于训练、训练效果良好,识别率高的优势;同时,检测精度高,具有较好实用性。
附图说明
图1为本发明一种基于贝叶斯分类器的复杂曲面缺陷分类方法的流程图。
具体实施方式
下面结合具体实施例对本发明作进一步说明:
参见附图1所示,本实施例所述的一种基于贝叶斯分类器的复杂曲面缺陷分类方法,包括以下步骤:
S1、采集曲面图像;
S2、对采集到的图像进行图像灰度化与中值滤波;
S3、提取图像中包含缺陷部分的ROI区域,得到图像
Figure BDA0001390659080000051
具体过程为:
S3-1、采用迭代法计算评价阈值T':
S3-1-1、由灰度直方图求取图像灰度均值T,记为初始阈值;
S3-1-2、使用T分割图像;将图像分为灰度值大于T的所有像素集合G1和灰度值小于T的所有像素集合G2;
S3-1-3、计算G1和G2集合内的像素的平均灰度值μ1和μ2;
S3-1-4、将1/2(μ1+μ2)作为一个新的阈值T';
S3-1-5、重复步骤S3-1-2~S3-1-4,直到连续迭代中两个T'的差值比预先给定的参数值小为止;
S3-2、利用评价阈值T'提取包含缺陷部分的ROI区域:
分析图像中的所有像素点,若待检图像中像素点灰度值小于阈值T',视其为背景点或非检测区域点,剔除该像素点;反之,视为检测对象上检测区域中的点,保留该像素点;待检测图像A(Xi,Yi,Zi)提取ROI后得到只含待检测区域的新图像
Figure BDA0001390659080000061
其中,Xi,Yi为像素点坐标,Zi表示该像素点灰度值。
S4、对图像
Figure BDA0001390659080000062
进行曲面拟合,得到拟合图
Figure BDA0001390659080000063
采用最小二乘法构建拟合函数Z=F(X,Y);将图像
Figure BDA0001390659080000064
中像素点的坐标Xi,Yi与灰度值Zi作为拟合函数Zi=f(Xi,Yi)的样本数据,得到拟合函数Z=F(X,Y)与待检测区域拟合图
Figure BDA0001390659080000065
最小二乘法拟合的解法为:对于待测图像上的样本点(Xi,Yi,Zi),在函数空间找一个函数Z=F*(X,Y),使误差平方和最小,即拟合结果与样本数据的误差最小,达到最优拟合;其中,采用Euclid范数||δ||2作为误差度量标准。
S5、对ROI区域图像
Figure BDA0001390659080000066
与拟合图
Figure BDA0001390659080000067
作差分处理,得到ROI区域中可能存在的缺陷信息。
计算公式为:
Figure BDA0001390659080000068
S6、通过对步骤S5的差分结果采用边缘检测和形态学运算去除图像边缘和细小瑕疵部分,突出缺陷部分。
S7、构建贝叶斯分类器,具体步骤如下:
S7-1、构建数据库模型;
S7-2、样本特征提取,过程为:
S7-2-1、由灰度直方图得到正样本和负样本的灰度特征值,得出的特征值组成一个灰度特征向量组,记为H,作为灰度特征的评价标准;
S7-2-2、由Blob分析得到正样本和负样本的几何特征值,得出的特征值组成一个几何特征向量组,记为G,作为几何特征的评价标准。
S7-3、构建贝叶斯分类器,过程为:
S7-3-1、准备训练样本:
将具有同一特征属性,同一类别的正负样本划分为同一个集合;其中,特征属性为步骤S7-2得出的灰度特征向量组H和几何特征向量组G;
S7-3-2、训练分类器:
计算三个先验概率,分别为P(D)、P(f|D)、P(D|f),生成分类器;进而由贝叶斯定理计算出各类正负样本的后验概率,实现分类。
贝叶斯定理计算公式为:
Figure BDA0001390659080000071
其中,P(f)表示假设缺陷f的先验概率,f为假设集合的一个划分;P(D)表示正负训练样本的先验概率;P(D|f)表示每一类缺陷样本中各特征值的概率分布,P(f|D)表示经贝叶斯分类器计算得到的假设各类缺陷的后验概率;
S7-3-3、测试分类性能:
使用步骤S7-3-2训练得到的分类器计算各类缺陷的后验概率,最大后验概率对应的分类作为分类结果输出,将输出结果与标准结果对比验证,判断分类是否准确。
S8、使用上述构建的分类器对待测产品进行在线检测并分类。
本实施例能在考虑工件表面复杂性的基础上,完成复杂几何曲面缺陷的检测并分类;同时,检测精度高,具有较好实用性。
以上所述之实施例子只为本发明之较佳实施例,并非以此限制本发明的实施范围,故凡依本发明之形状、原理所作的变化,均应涵盖在本发明的保护范围内。

Claims (5)

1.一种基于贝叶斯分类器的复杂曲面缺陷分类方法,其特征在于:包括以下步骤:
S1、采集曲面图像;
S2、对采集到的图像进行预处理;
S3、提取图像中包含缺陷部分的ROI区域,得到图像
Figure FDA0002518001200000011
S4、对图像
Figure FDA0002518001200000012
进行曲面拟合,得到拟合图
Figure FDA0002518001200000013
S5、将图像
Figure FDA0002518001200000014
与拟合图
Figure FDA0002518001200000015
作差分处理,得到ROI区域中存在的缺陷信息;
S6、突出缺陷部分;
S7、构建贝叶斯分类器;
S8、在线检测并分类;
所述步骤S3提取图像中包含缺陷部分的ROI区域的步骤如下:
S3-1、采用迭代法计算评价阈值T′,具体为:
S3-1-1、由灰度直方图求取图像灰度均值T,记为初始阈值;
S3-1-2、使用T分割图像;将图像分为灰度值大于T的所有像素集合G1和灰度值小于T的所有像素集合G2;
S3-1-3、计算G1和G2集合内的像素的平均灰度值μ1和μ2;
S3-1-4、将1/2(μ1+μ2)作为一个新的阈值T′;
S3-1-5、重复步骤S3-1-2~S3-1-4,直到连续迭代中两个T′的差值比预先给定的参数值小为止;
S3-2、利用评价阈值T′提取包含缺陷部分的ROI区域:
分析图像中的所有像素点,若待检图像中像素点灰度值小于阈值T′,视其为背景点或非检测区域点,剔除该像素点;反之,视为检测对象上检测区域中的点,保留该像素点;待检测图像A(Xi,Yi,Zi)提取ROI后得到只含待检测区域的新图像
Figure FDA0002518001200000021
其中,Xi,Yi为像素点坐标,Zi表示该像素点灰度值;
所述步骤S7构建贝叶斯分类器的具体步骤如下:
S7-1、构建数据库模型;
S7-2、样本特征提取,得出特征向量组H和G;
S7-3、构建贝叶斯分类器;
所述步骤S7-2的具体步骤如下:
S7-2-1、由灰度直方图得到正样本和负样本的灰度特征值,得出的特征值组成一个灰度特征向量组,记为H,作为灰度特征的评价标准;
S7-2-2、由Blob分析得到正样本和负样本的几何特征值,得出的特征值组成一个几何特征向量组,记为G,作为几何特征的评价标准。
2.根据权利要求1所述的一种基于贝叶斯分类器的复杂曲面缺陷分类方法,其特征在于:所述步骤S2图像预处理包括图像灰度化与中值滤波。
3.根据权利要求1所述的一种基于贝叶斯分类器的复杂曲面缺陷分类方法,其特征在于:所述步骤S4曲面拟合具体为:
采用最小二乘法构建拟合函数Z=F(X,Y);将图像
Figure FDA0002518001200000022
中像素点的坐标Xi,Yi与灰度值Zi作为拟合函数Zi=f(Xi,Yi)的样本数据,得到拟合函数Z=F(X,Y)与待检测区域拟合图
Figure FDA0002518001200000023
最小二乘法拟合的解法为:对于待测图像上的样本点(Xi,Yi,Zi),在函数空间找一个函数Z=F*(X,Y),使误差平方和最小,即拟合结果与样本数据的误差最小,达到最优拟合;其中,采用Euclid范数||δ||2作为误差度量标准。
4.根据权利要求1所述的一种基于贝叶斯分类器的复杂曲面缺陷分类方法,其特征在于:所述步骤S6中,通过对步骤S5的差分结果采用边缘检测和形态学运算去除图像边缘和细小瑕疵部分,突出缺陷部分。
5.根据权利要求1所述的一种基于贝叶斯分类器的复杂曲面缺陷分类方法,其特征在于:所述步骤S7-3的具体步骤如下:
S7-3-1、准备训练样本:
将具有同一特征属性,同一类别的正负样本划分为同一个集合;其中,特征属性为步骤S7-2得出的灰度特征向量组H和几何特征向量组G;
S7-3-2、训练分类器:
计算三个先验概率,分别为P(D)、P(f|D)、P(D|f),生成分类器;进而由贝叶斯定理计算出各类正负样本的后验概率,实现分类;
贝叶斯定理计算公式为:
Figure FDA0002518001200000031
其中,P(f)表示假设缺陷f的先验概率,f为假设集合的一个划分;P(D)表示正负训练样本的先验概率;P(D|f)表示每一类缺陷样本中各特征值的概率分布,P(f|D)表示经贝叶斯分类器计算得到的假设各类缺陷的后验概率;
S7-3-3、测试分类性能:
使用步骤S7-3-2训练得到的分类器计算各类缺陷的后验概率,最大后验概率对应的分类作为分类结果输出,将输出结果与标准结果对比验证,判断分类是否准确。
CN201710748823.6A 2017-08-28 2017-08-28 一种基于贝叶斯分类器的复杂曲面缺陷分类方法 Expired - Fee Related CN107622277B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710748823.6A CN107622277B (zh) 2017-08-28 2017-08-28 一种基于贝叶斯分类器的复杂曲面缺陷分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710748823.6A CN107622277B (zh) 2017-08-28 2017-08-28 一种基于贝叶斯分类器的复杂曲面缺陷分类方法

Publications (2)

Publication Number Publication Date
CN107622277A CN107622277A (zh) 2018-01-23
CN107622277B true CN107622277B (zh) 2020-09-22

Family

ID=61089194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710748823.6A Expired - Fee Related CN107622277B (zh) 2017-08-28 2017-08-28 一种基于贝叶斯分类器的复杂曲面缺陷分类方法

Country Status (1)

Country Link
CN (1) CN107622277B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288260A (zh) * 2018-01-30 2018-07-17 苏州亚相素自动化科技有限公司 实时浓淡补正的图像预处理方法
CN109145977B (zh) * 2018-08-15 2021-12-10 河海大学常州校区 一种基于朴素贝叶斯的骨骼受损类型判别方法
CN111767914A (zh) * 2019-04-01 2020-10-13 佳能株式会社 目标物体检测装置和方法、图像处理系统及存储介质
CN110349133B (zh) * 2019-06-25 2021-11-23 杭州汇萃智能科技有限公司 物体表面缺陷检测方法、装置
CN111160153B (zh) * 2019-12-17 2023-03-28 华南理工大学 一种基于图像处理的路面排水监测评估方法及系统
WO2021133801A1 (en) * 2019-12-23 2021-07-01 Boon Logic Inc. Product inspection system and method
CN113344042A (zh) * 2021-05-21 2021-09-03 北京中科慧眼科技有限公司 基于辅助驾驶的路况图像模型训练方法、系统和智能终端
CN115082424B (zh) * 2022-07-19 2022-11-08 苏州鼎纳自动化技术有限公司 一种液晶显示屏的3d检测方法
CN115187586A (zh) * 2022-09-06 2022-10-14 常州微亿智造科技有限公司 工件过切与磕伤缺陷的自适应检测方法
CN116152242B (zh) * 2023-04-18 2023-07-18 济南市莱芜区综合检验检测中心 一种篮球用天然皮革缺陷可视化检测系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104399792A (zh) * 2014-11-28 2015-03-11 广东工业大学 一种基于朴素贝叶斯分类器的水火弯板焰道点判定方法
CN106996935A (zh) * 2017-02-27 2017-08-01 华中科技大学 一种多层次模型布匹疵点检测方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140270347A1 (en) * 2013-03-13 2014-09-18 Sharp Laboratories Of America, Inc. Hierarchical image classification system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104399792A (zh) * 2014-11-28 2015-03-11 广东工业大学 一种基于朴素贝叶斯分类器的水火弯板焰道点判定方法
CN106996935A (zh) * 2017-02-27 2017-08-01 华中科技大学 一种多层次模型布匹疵点检测方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于人工蜂群算法的贝叶斯网络结构学习;张平等;《智能系统学报》;20140615;第9卷(第3期);第325-329页 *

Also Published As

Publication number Publication date
CN107622277A (zh) 2018-01-23

Similar Documents

Publication Publication Date Title
CN107622277B (zh) 一种基于贝叶斯分类器的复杂曲面缺陷分类方法
CN109977808B (zh) 一种晶圆表面缺陷模式检测与分析方法
CN111292305B (zh) 一种改进型yolo-v3的金属加工表面缺陷检测方法
CN108520274B (zh) 基于图像处理及神经网络分类的高反光表面缺陷检测方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN110163853B (zh) 一种边缘缺陷的检测方法
CN115082419B (zh) 一种吹塑箱包生产缺陷检测方法
CN111582294B (zh) 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用
CN113724231B (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN114972356B (zh) 塑料制品表面缺陷检测识别方法及系统
CN108764312B (zh) 基于ds优化多指标大坝缺陷图像检测方法
CN113781585B (zh) 一种增材制造零件表面缺陷在线检测方法及系统
Xie et al. Fabric defect detection method combing image pyramid and direction template
CN111161237A (zh) 一种果蔬表面质检方法及其储存介质、分拣装置
CN113393426A (zh) 一种轧钢板表面缺陷检测方法
CN115546155A (zh) 一种基于机器视觉的铆钉尺寸检测方法
KR20220014805A (ko) 반도체 시편의 검사에 사용가능한 훈련 데이터의 생성
CN111965197A (zh) 一种基于多特征融合的缺陷分类方法
Yang et al. A scratch detection method based on deep learning and image segmentation
Lin et al. Surface defect detection of machined parts based on machining texture direction
Li et al. Detection of small size defects in belt layer of radial tire based on improved faster r-cnn
Zhou et al. An adaptive clustering method detecting the surface defects on linear guide rails
CN117292181A (zh) 基于3d点云处理的钣金件孔组分类及全尺寸测量方法
US20200285976A1 (en) Method and devices for determining metrology sites
Aydin et al. A vision based inspection system using gaussian mixture model based interactive segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200922

Termination date: 20210828

CF01 Termination of patent right due to non-payment of annual fee