CN104299003B - 一种基于相似规则高斯核函数分类器的步态识别方法 - Google Patents

一种基于相似规则高斯核函数分类器的步态识别方法 Download PDF

Info

Publication number
CN104299003B
CN104299003B CN201410608055.0A CN201410608055A CN104299003B CN 104299003 B CN104299003 B CN 104299003B CN 201410608055 A CN201410608055 A CN 201410608055A CN 104299003 B CN104299003 B CN 104299003B
Authority
CN
China
Prior art keywords
gait
similarity
feature vector
kernel function
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410608055.0A
Other languages
English (en)
Other versions
CN104299003A (zh
Inventor
黄玮
廖吉平
张宏坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Technology
Original Assignee
Tianjin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Technology filed Critical Tianjin University of Technology
Priority to CN201410608055.0A priority Critical patent/CN104299003B/zh
Publication of CN104299003A publication Critical patent/CN104299003A/zh
Application granted granted Critical
Publication of CN104299003B publication Critical patent/CN104299003B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/285Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/192Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于相似规则高斯核函数分类器的步态识别方法,该方法包括:摄像头实时采集当前背景图像和检测目标步态原始图像序列,并采用欧式距离法等进行图像预处理,获得步态标准图像序列;运用“间隔取帧”技术将单个步态序列分割成三个步态子序列,并进行特征提取,获得步态特征向量;利用步态特征向量数据库中的特征向量进行相似规则构建;根据相似规则构造对应的高斯核函数分类器对检测目标的步态特征向量进行分类,统计并输出识别结果。该方法能够快速进行背景去除,并运用图像正规化处理和“间隔取帧”技术提高在不同情境下的适应性。此外,新型的基于相似规则高斯核函数分类器能有效避免过拟合和维数灾难等问题,提高了整体识别精度。

Description

一种基于相似规则高斯核函数分类器的步态识别方法
技术领域
本发明属于生物特征识别技术领域,特别是步态识别技术领域,具体涉及一种基于相似规则高斯核函数分类器的步态识别方法。
背景技术
步态识别技术是生物特征识别技术领域内一种新兴的身份识别技术,其主要作用是通过识别人的走路动作来鉴别身份。相对于生物特征识别领域内的其它传统技术(如:人脸识别、指纹识别、虹膜识别),步态识别具有非接触性、适应性强和难以伪装等优点。由于上述的优点,步态识别在视频图像识别领域,尤其是在安保监控领域有着广阔的应用前景。
近年来,国内外学者相继开展步态识别技术的研究,其技术难点主要集中在背景建模、步态特征提取、步态识别速度和步态识别精度四个方面。
背景建模方面,去除背景是一项重大的难题,从国内外的研究成果来看,背景消除的方法大多采用“迭代消除”的思想,但是该类方法迭代次数多,算法速度慢,系统性能也随之降低,无法满足实际应用需要。
步态特征提取方面,国内外的研究论文涵盖了用于步态识别的十几种特征,包括关节角度变化规律、步态能量图、最外轮廓距离信号等,但大多对图像噪声点敏感。
步态识别速度方面,普遍的步态识别系统因采用的方法计算量大,算法效率低,运行环境大都依赖高性能计算机的支持,在大众化的PC机上无法满足实际需要。
步态识别精度方面,一般系统采用的传统分类算法都无法有效避免过拟合和维数灾难等问题,从而影响系统整体的识别精度。
发明内容
本发明的目的是为克服上述现有技术存在的缺点和不足,提供一种基于相似规则高斯核函数分类器的步态识别方法。
本发明所述的基于相似规则高斯核函数分类器的步态识别方法的具体步骤包括:
S1.摄像头实时采集当前背景图像和检测目标的步态原始图像序列,并采用欧式距离法去除背景,得到去除背景后的步态二值图像序列;
S2.将去除背景后的步态二值图像序列的每张图像进行形态学处理,再截取人体轮廓区域图像并正规化成高度为100像素,宽度为128像素的步态标准图像,获得步态标准图像序列;
S3.对步态标准图像序列运用“间隔取帧”技术分割成3个包含多个步态标准图像的步态子序列,对于每个子序列中的每张图像,计算图像中人体轮廓的质心坐标和最外轮廓点到质心的距离,获得距离信号;
S4.给定特征值积累阈值τ,将获得的距离信号进行主成分分析降维;然后,对降维后的距离信号按每个步态子序列求均值,将该均值距离信号作为该子序列的步态特征向量;
S5.利用步态特征向量数据库中的所有步态特征向量进行相似规则构建,导出聚类数目和各聚类中心;
S6.对每个聚类簇中的步态特征向量,分别构造一个高斯核函数分类器进行训练;
S7.按相似规则找到检测目标的3个步态子序列特征向量对应的高斯核函数分类器进行分类,再求各个子序列步态特征向量的分类结果的众数作为最终识别结果;
S8.输出识别结果。
步骤S1中所述的采用欧氏距离法去除背景的方法具体如下:
S11.计算步态原始图像与背景图像的每个彩色像素点的欧氏距离d,其中xr、xg、xb分别表示步态原始图像序列中图像的像素矢量红、绿、蓝三种颜色分量,μr、μg、μb分别表示背景图像的像素矢量的红、绿、蓝三种颜色分量;
S12.设定阀值T,若d<T则视该像素点为背景点予以去除。
步骤S2中所述的形态学处理包括腐蚀处理和膨胀处理。
步骤S3的“间隔取帧”技术为将步态标准图像序列按编号每间隔三张取帧,形成三个子序列(例如:(1,4,7…),(2,5,8…),(3,6,9…))。
步骤S5中所述的相似规则构建包含三个子步骤:
S51.求解数据轮廓参数γ;
S511.令当前迭代次数t=1,并给定相关系数终止阈值ε1
S512.计算的相关系数,
k=1,...,n,其中n为样本点数目,γt=5t;
其中
S513.如果相关系数大于或等于指定的ε1,选择γt作为γ的估算值,否则令t=t+1,重复步骤S512;
S52.利用相似度聚类算法更新数据点:
S521.初始化给定终止阈值ε2,设置初始迭代次数η=0;
S522.计算Sij=(exp(-||xj-zi||2)/β);
S523.计算令η=η+1,直至
S53.利用层次聚类算法划分聚类簇:
S531.令划分阈值ε3=3ε2
S532.对步骤S52完成后获得的进行层次聚类,按划分阈值ε3找出对应的聚类数目c*和各聚类中心。
步骤S6所述的高斯核函数分类器为对每个聚类簇中的步态特征向量,分别构造一个高斯核函数分类器进行训练。
步骤S7中,按相似规则找到检测目标的3个步态子序列特征向量对应的高斯核函数分类器进行分类,并求分类结果的众数作为最终识别结果。所述的最终识别结果是:计算检测目标的各步态子序列特征向量与各个聚类中心点的相似度,选择最相似的中心所属的多分类模型进行分类识别,并求分类结果的众数作为最终识别结果。
本发明的优点和有益效果:
本发明能够快速进行背景去除,并运用图像形态学处理,正规化处理和“间隔取帧”技术提高其在不同情境下的适应性。此外,新型的基于相似规则高斯核函数分类器能有效避免过拟合和维数灾难等问题,提高了整体的识别精度。
附图说明
图1是本发明步态识别实施总体流程图;
图2是步态二值图像形态学处理和正规化过程示意图;
图3是最外轮廓点及质心距离示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
一种基于相似规则高斯核函数分类器的步态识别方法,对人的行走步态进行识别。如图1所示,具体实施方案包括以下内容及步骤:
步骤S1.摄像头实时采集当前背景图像和检测目标的步态原始图像序列,采用欧式距离法去除背景;
在需要检测的行走区域侧面视角位置架设摄像头,实时采集当前的背景图像和检测目标的步态原始图像序列。背景去除模块读取背景图像和步态原始图像,计算步态原始图像与背景图像的每个彩色像素点的欧氏距离d,其中xr、xg、xb分别表示步态原始图像序列中图像的像素矢量红、绿、蓝三种颜色分量,μr、μg、μb分别表示背景图像的像素矢量的红、绿、蓝三种颜色分量;设定阀值T=0.15,若d<T则视该像素点为背景点予以去除。
步骤S2.进行形态学处理,再截取人体轮廓区域图像并正规化成标准图像,如图2所示;
形态学处理包括腐蚀处理和膨胀处理。在正规化过程中,先计算人体轮廓区域图像的高度和宽度,再平移人体轮廓区域图像到中间,缩放到高度为100像素,宽度为128像素的步态标准图像。
步骤S3.对步态标准图像序列运用“间隔取帧”技术分割成3个包含多个步态标准图像的步态子序列,对于每个子序列中的每张图像,计算图像中人体轮廓的质心坐标和最外轮廓点到质心的距离,获得距离信号;
首先计算最外轮廓的质心(xc,yc),其中n是最外轮廓上像素点的数目,i=1,...,n,(xi,yi)是最外轮廓上像素点的坐标。在本实施例中,n=2H,其中步态标准图像的高度H=100。然后,逐行计算每个最外轮廓点(xi,yi)到质心(xc,yc)的距离,如图3所示,对于每张步态标准图像,计算最外轮廓点到质心距离di,i=1,...,2H,构成的距离信号D=[d1,d2,...,d2H],该距离信号即为该单张步态标准图像所含的步态特征。
S4.将获得的距离信号进行主成分分析降维,其中特征值积累阈值τ=0.99。然后,对降维后的距离信号按每个步态子序列求均值,将该均值距离信号作为该子序列的步态特征向量;
S5.利用步态特征向量数据库中的所有步态特征向量进行相似规则构建,导出聚类数目和各聚类中心;
如图1所示,相似规则构建分为三个子步骤:
S51.求解数据轮廓参数γ:
S511.令当前迭代次数t=1,相关系数终止阈值ε1=0.97;
S512.计算的相关系数,
k=1,...,n,其中n为样本点数目,γt=5t;其中
S513.如果相关系数大于或等于指定的ε1,选择γt作为γ的估算值,否则令t=t+1,重复步骤S512;
S52.利用相似度聚类算法更新数据点:
S521.初始化令终止阈值ε2=0.1,设置初始迭代次数η=0;
S522.计算Sij=(exp(-||xj-zi||2)/β);
S523.计算令η=η+1,直至
S53.利用层次聚类算法划分聚类簇:
S531.令划分阈值ε3=3ε2=0.3;
S532.对步骤S52完成后获得的进行层次聚类(average-linkage距离度量),按划分阈值ε3找出对应的聚类数目c*和各聚类中心。
S6.对每个聚类簇中的步态特征向量,构造一个高斯核函数分类器进行训练;
利用Matlab软件及LibSVM工具箱对每个聚类簇中的步态特征向量构造“一对一”模式的C-支持向量机多分类模型进行训练,其中惩罚参数C=1024,核宽度σ=0.25。
S7.按相似规则找到检测目标的3个步态子序列特征向量对应的高斯核函数分类器进行分类,再求各个子序列步态特征向量的分类结果的众数作为最终识别结果;
各步态子序列特征向量xj与聚类中心zi的相似度Sij=(exp(-||xj-zi||2)/β),其中步态数据库中步态特征向量集的方差其中
S8.输出识别结果。
本发明提供的方法使用中国科学院自动化研究所提供的CASIA步态数据库DataSetA分别进行多次重复测试,并且与其他常见的步态识别方法作比较。CASIA步态数据库DataSetA中包含20个人的数据,每个人有12个图像序列,3个行走方向,每个方向有4个图像序列。各图像序列均在现实环境下拍摄,背景组成较为复杂,既能有效测试系统对背景消除能力,又能考察系统的健壮性和稳定性。我们在CASIA步态数据库DataSetA(侧面视角,3个序列训练,1个序列测试)进行实验,并与Silhouette-based、Baseline algorithm、Statistical shape analysis等算法作比较,结果如表1所示。
表1在CASIA步态数据库DataSet A上正确识别率的比较
算法 正确识别率
Image Self-similarity 73.0%
Motion-based 82.5%
Silhouette-based 71.0%
Gait appearance features 87.5%
Baseline algorithm 79.0%
Statistical shape analysis 89.0%
本发明所提供的方法 95.0%
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。

Claims (3)

1.一种基于相似规则高斯核函数分类器的步态识别方法,其特征在于包括以下步骤:
S1.摄像头实时采集当前背景图像和检测目标的步态原始图像序列,并采用欧式距离法去除背景,得到去除背景后的步态二值图像序列;
S2.将去除背景后的步态二值图像序列的每张图像进行形态学处理,再截取人体轮廓区域图像并正规化成高度为100像素,宽度为128像素的步态标准图像,获得步态标准图像序列;
S3.对步态标准图像序列运用“间隔取帧”技术从中等间隔地取3个步态子序列(每个子序列包含多张步态标准图像),对于每个子序列中的每张图像,计算图像中人体轮廓的质心坐标和最外轮廓点到质心的距离,提取出3个不同的距离信号子序列;
S4.给定特征值积累阈值τ,将获得的距离信号进行主成分分析降维;然后,对降维后的距离信号按每个步态子序列求均值,将该均值距离信号作为该子序列的步态特征向量;
S5.利用步态特征向量数据库中的所有步态特征向量进行相似规则构建,导出聚类数目和各聚类中心;
S6.对每个聚类簇中的步态特征向量,分别构造一个高斯核函数分类器进行训练;
S7.按相似规则找到检测目标的3个步态子序列特征向量对应的高斯核函数分类器进行分类,再求各个子序列步态特征向量的分类结果的众数作为最终识别结果;
S8.输出识别结果。
步骤S5中相似规则构建由以下三个子步骤构成:求解数据轮廓参数γ,利用相似度聚类算法更新数据点和利用层次聚类算法划分聚类簇;相似规则构建的详细步骤为:
S51.求解数据轮廓参数γ:
S511.令当前迭代次数t=1,并给定相关系数终止阈值ε1
S512.计算的相关系数,其中n为样本点数目,γt=5t;其中
S513.如果相关系数大于或等于指定的ε1,选择γt作为γ的估算值,否则令t=t+1,重复步骤S512;
S52.利用相似度聚类算法更新数据点:
S521.初始化给定终止阈值ε2,设置初始迭代次数η=0;
S522.计算Sij=(exp(-||xj-zi||2)/β);
S523.计算令η=η+1,直至
S53.利用层次聚类算法划分聚类簇:
S531.令划分阈值ε3=3ε2
S532.对步骤S52完成后获得的进行层次聚类,按划分阈值ε3找出对应的聚类数目c*和各聚类中心。
2.根据权利要求1所述的步态识别方法,其特征在于:步骤S3所述的“间隔取帧”技术为将步态标准图像序列按编号每间隔三张取帧,形成三个子序列(例如:(1,4,7…),(2,5,8…),(3,6,9…))。
3.根据权利要求1所示的步态识别方法,其特征在于所述的最终识别结果是:计算检测目标的各步态子序列特征向量与各个聚类中心点的相似度,选择最相似的中心所属的多分类模型进行分类识别,并求分类结果的众数作为最终识别结果。
CN201410608055.0A 2014-11-02 2014-11-02 一种基于相似规则高斯核函数分类器的步态识别方法 Expired - Fee Related CN104299003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410608055.0A CN104299003B (zh) 2014-11-02 2014-11-02 一种基于相似规则高斯核函数分类器的步态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410608055.0A CN104299003B (zh) 2014-11-02 2014-11-02 一种基于相似规则高斯核函数分类器的步态识别方法

Publications (2)

Publication Number Publication Date
CN104299003A CN104299003A (zh) 2015-01-21
CN104299003B true CN104299003B (zh) 2018-08-03

Family

ID=52318724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410608055.0A Expired - Fee Related CN104299003B (zh) 2014-11-02 2014-11-02 一种基于相似规则高斯核函数分类器的步态识别方法

Country Status (1)

Country Link
CN (1) CN104299003B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732248B (zh) * 2015-03-24 2017-11-21 电子科技大学 基于Omega形状特征的人体目标检测方法
CN105268171B (zh) * 2015-09-06 2018-09-18 安徽华米信息科技有限公司 步态监测方法、装置及可穿戴设备
US11449789B2 (en) * 2016-02-16 2022-09-20 Micro Focus Llc System and method for hierarchical classification
CN105844746B (zh) * 2016-03-23 2018-02-13 上海斐讯数据通信技术有限公司 一种通过步态信息识别身份的门禁控制装置、系统及方法
CN106778509B (zh) * 2016-11-23 2019-10-18 清华大学 一种步态识别装置及方法
CN106529499A (zh) * 2016-11-24 2017-03-22 武汉理工大学 基于傅里叶描述子和步态能量图融合特征的步态识别方法
CN109325428B (zh) * 2018-09-05 2020-11-27 周军 基于多层次端到端神经网络的人类活动姿态识别方法
TWI720342B (zh) * 2018-09-11 2021-03-01 友達光電股份有限公司 影像更新方法及其光學感測裝置
CN111199178A (zh) * 2018-11-20 2020-05-26 宝沃汽车(中国)有限公司 车门的控制方法、装置和车辆
CN109559045A (zh) * 2018-11-30 2019-04-02 四川九洲电器集团有限责任公司 一种人员智能化管控的方法及系统
CN110236523A (zh) * 2019-06-17 2019-09-17 杭州电子科技大学 基于高斯回归的步态-心电rr间隔关联方法
CN110807414B (zh) * 2019-10-29 2023-11-07 北京泽山润林科技有限公司 一种基于三维人形分割的步态识别分析方法
CN112784740B (zh) * 2021-01-21 2022-10-04 上海市公安局刑事侦查总队 步态数据的采集与标注方法及应用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336971A (zh) * 2013-07-08 2013-10-02 浙江工商大学 基于多特征融合与增量学习的多摄像机间的目标匹配方法
CN103413151A (zh) * 2013-07-22 2013-11-27 西安电子科技大学 基于图正则低秩表示维数约简的高光谱图像分类方法
CN103702416A (zh) * 2013-12-24 2014-04-02 北京交通大学 基于支持向量机的半监督学习室内定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7672497B2 (en) * 2005-12-29 2010-03-02 Carestream Health, Inc. Computer aided disease detection system for multiple organ systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336971A (zh) * 2013-07-08 2013-10-02 浙江工商大学 基于多特征融合与增量学习的多摄像机间的目标匹配方法
CN103413151A (zh) * 2013-07-22 2013-11-27 西安电子科技大学 基于图正则低秩表示维数约简的高光谱图像分类方法
CN103702416A (zh) * 2013-12-24 2014-04-02 北京交通大学 基于支持向量机的半监督学习室内定位方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Stream Time Series Approach for Supporting Business Intelligence";Van Vo .etc;《International Journal of Database Theory and Application》;20130430;第6卷(第2期);第4.3节 *
"一种基于非均匀惩罚因子的序列无约束最优外点新算法";郭三刚,等;《陕西理工学院学报(自然科学版)》;20080930;第24卷(第3期);第49-54页 *
"基于NPE和LDCRF的人体运动识别";郭鹤楠;《中国优秀硕士学位论文全文数据库(信息科技辑)》;20110915(第9期);第2页,第7-10页,第20-25页、第35页 *
"基于支持向量机的改进高斯核函数聚类算法研究";阎晓娜,等;《现代电子技术》;20110701;第34卷(第13期);第1部分 *
"复杂背景下的颜色分离背景差分目标检测方法";吴青青,等;《民工学报》;20130430;第34卷(第4期);第1部分 *

Also Published As

Publication number Publication date
CN104299003A (zh) 2015-01-21

Similar Documents

Publication Publication Date Title
CN104299003B (zh) 一种基于相似规则高斯核函数分类器的步态识别方法
CN105095856B (zh) 基于掩模的有遮挡人脸识别方法
CN105956582B (zh) 一种基于三维数据的人脸识别系统
US20160196467A1 (en) Three-Dimensional Face Recognition Device Based on Three Dimensional Point Cloud and Three-Dimensional Face Recognition Method Based on Three-Dimensional Point Cloud
CN105046197B (zh) 基于聚类的多模板行人检测方法
Fahmy et al. A fingerprint segmentation technique based on morphological processing
CN104951793B (zh) 一种基于stdf特征的人体行为识别方法
CN111126240B (zh) 一种三通道特征融合人脸识别方法
CN104182973A (zh) 基于圆形描述算子csift的图像复制粘贴检测方法
CN107392187A (zh) 一种基于梯度方向直方图的人脸活体检测方法
CN103699874A (zh) 基于surf流和lle稀疏表示的人群异常行为识别方法
CN104298995A (zh) 基于三维点云的三维人脸识别装置及方法
CN106611158A (zh) 人体3d特征信息的获取方法及设备
CN108090492B (zh) 基于尺度线索抑制的轮廓检测方法
CN110516526A (zh) 一种基于特征原型度量学习的小样本目标识别方法
CN103577804A (zh) 基于sift流和隐条件随机场的人群异常行为识别方法
CN110969101A (zh) 一种基于hog和特征描述子的人脸检测与跟踪方法
CN108520539B (zh) 一种基于稀疏学习可变模型的图像目标检测方法
CN104376312A (zh) 基于词袋压缩感知特征提取的人脸识别方法
CN106485202A (zh) 非约束人脸识别系统及方法
Yang et al. Detection and segmentation of latent fingerprints
CN106980845B (zh) 基于结构化建模的人脸关键点定位方法
CN103390150B (zh) 人体部件检测方法和装置
CN109815887B (zh) 一种基于多智能体协作的复杂光照下人脸图像的分类方法
CN102279925B (zh) 链式处理人脸识别方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180803

Termination date: 20211102

CF01 Termination of patent right due to non-payment of annual fee