CN105335702B - 一种基于统计学习的卡口车型识别方法 - Google Patents

一种基于统计学习的卡口车型识别方法 Download PDF

Info

Publication number
CN105335702B
CN105335702B CN201510663663.6A CN201510663663A CN105335702B CN 105335702 B CN105335702 B CN 105335702B CN 201510663663 A CN201510663663 A CN 201510663663A CN 105335702 B CN105335702 B CN 105335702B
Authority
CN
China
Prior art keywords
vehicle
sample
characteristic point
feature
bayonet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510663663.6A
Other languages
English (en)
Other versions
CN105335702A (zh
Inventor
尚凌辉
高勇
郑永宏
于晓静
应乐斌
刘家佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Original Assignee
ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd filed Critical ZHEJIANG ICARE VISION TECHNOLOGY Co Ltd
Priority to CN201510663663.6A priority Critical patent/CN105335702B/zh
Publication of CN105335702A publication Critical patent/CN105335702A/zh
Application granted granted Critical
Publication of CN105335702B publication Critical patent/CN105335702B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Abstract

本发明涉及一种基于统计学习的卡口车型识别方法。本发明首先利用统计学习法在卡口图像中，实现不同类型，多个目标的车脸的快速检测。其次用SDM方法结合HOG特征，实现车前脸特征点的定位；基于特征点，确定基准点，对车脸图像进行规范化。然后在每个特征点附近区域提取HOG特征，并串接到一起，得到车脸表达的L维特征向量；对L维特征向量做PCA和LDA，降维至M维。最后对同一个车型的所有降维后特征向量做kMeans聚类，得到车型模板；计算降维之后的车辆特征与训练出模板的L1‑Norm距离，距离最小的模板即为车型识别结果。本发明可结合车管库，交管部分实现假牌车、套牌车的自动检测，准确率高，实时性强。

Description

一种基于统计学习的卡口车型识别方法
技术领域
本发明涉及一种基于统计学习的卡口车型识别方法。
背景技术
截至到2014年底，机动车在我国的保有量达2.64亿辆。全国平均每百户家庭拥有25辆私家车。随着经济的发展，这一数字还在持续增长。大量的机动车在道路上行驶，给交通管理部门带了巨大的管理压力。另一方，许多治安案件中，都存在机动车作为交通工具而出现的情况。
我们国家已有的对机动车管理自动化手段主要是电子警察和卡口系统。这些系统能够实时捕获车辆高清图片，并且自动分析出车牌号码，通过车管库的信息可以达到对车辆的自动化管理。案件发生后，也可以车牌信息为线索快速的找到车主信息。然而，车牌很容易更换、伪造。实际中存在一些假牌车、套牌车。犯罪的车辆更有可能使用假牌、套牌，或者干脆把车牌遮起来。因此，仅仅依靠车牌来定位一辆车，对于实际的交管和刑侦业务存在诸多不足的地方。
近些年出现一些自动识别车辆类型的技术，将车辆自动分类轿车、卡车、大巴等。基于此类技术的专利有《一种公交车车型识别方法-201210337115.0 》、《一种车型识别方法及系统-201410313009.8》以及《一种基于卷积神经网络的车型识别方法-201510071919.4》。
然而同一类型的车，比如轿车，大量存在，仍然不能为交管部门、刑侦部门提供有效的业务支持。
发明内容
本发明针对现有技术的不足，提供了一种基于统计学习的卡口车型识别方法。
本发明解决技术问题所采取的技术方案为：
第一步：利用统计学习的方法在卡口图像中，实现不同类型，多个目标的车脸的快速检测。
以任意两像素点的差异作为特征，由级联AdaBoost分类器加去误检分类器构成检测器。改进弱分类器，使弱分类器对目标的类内多样性具有丰富的表达，完成单个检测器对不同类型，多视角，复杂环境下的车头的检测。
第二步：采用SDM方法结合HOG特征，通过多次迭代实现车前脸特征点的精确定位；11个点的定义为：车前脸挡风玻璃的四个角点（4），车前大灯各自的中心点（2），车前底部左中右点（3），车标中心点（1），车牌中心点（1）。
第三步：基于检测出的特征点，确定四个基准点，对车脸图像进行仿射变换，得到大小一致的，对齐的车脸。
第四步：基于上述规范化的车辆图片，在每个特征点附近区域提取HOG或类似的局部特征，并串接到一起，得到车脸表达的L维特征向量。
第五步：对L维特征向量做PCA和LDA，降维至M维（M<<L）。
第六步：对同一个车型的所有降维后特征向量做kMeans聚类，得到车型模板。
第七步：计算降维之后的车辆特征与训练出模板的L1-Norm距离，距离最小的模板即为车型识别结果。
本发明的有益效果：本发明提出一种基于统计学习的车辆品牌和型号识别方法，能够根据车辆图像识别出车辆的品牌（Make,生产商），型号（Model，包括年份信息）。由于每辆车在车管所都登记的车牌、品牌和型号信息。基于这一技术，通过实时车管所查询，可以检测出假牌车、套牌车。在案件中，通过品牌、型号的约束，可以快速实现嫌疑车辆的检索和查找。该方法准确率高，实时性强，同时方便添加新的车型。
附图说明
图1为本发明方法流程图。
图2为车脸关键点定位示意图。
图3为车脸对齐后的基准点示意图。
图4 HOG提取示意图。
具体实施方式
以下结合实施例和附图对本发明作进一步说明：
本发明着眼于一套完整的车辆品牌和型号识别系统，结合车前脸检测定位技术、车牌识别技术、车前脸特征学习训练技术以及车前脸模板匹配技术，实现了对车辆的品牌、型号(细化到车型推出的年份)的自动识别。
基于此技术，结合车管库，交管部分可以实现假牌车、套牌车的自动检测。刑侦部门可以快速的对嫌疑车辆进行查找，大大减少人工辨识的工作量。
如图1所示，本实施例具体包括以下步骤：
1.利用统计学习的方法在卡口图像中，实现不同类型，多个目标的车脸的快速检测。
以任意两像素点的差异作为特征，由级联AdaBoost分类器加去误检分类器构成检测器。改进弱分类器，使弱分类器对目标的类内多样性具有丰富的表达，完成单个检测器对不同类型，多视角，复杂环境下的车头的检测；
训练过程：
1-1、收集和标注卡口图像中的车头，生成正负训练样本集，其中正样本为标注目标统一缩放到固定尺寸，为了增强正样本集的丰富性，对每个标注结果同时进行边界扰动和添加噪声的处理；负样本为除正样本之外的多尺度扫描窗图像。
1-2、特征为任意两点之间像素灰度值的比较结果，记大于等于零的结果为0，小于零的为1。根据此特征结合决策树来训练单个弱分类器，决策树的叶子层将样本分为多个不同的子集，每个子集对应一个弱分类器的分类置信度，所有子集的置信度构成一个弱分类器。每段置信度根据不同的应用可以有多种计算和表现形式，例如正负样本的比例等等。
1-3、结合弱分类器的训练完成级联AdaBoost 分类器的训练。具体方法，可以参见viola论文：Viola, P. and Jones, M., Rapid object detection using a boostedcascade of simple features. Proceedings of the 2001 IEEE Computer SocietyConference on Computer Vision and Pattern Recognition, 2001.
1-4、在检测过程中收集误检样本，利用HOG+SVM的方式训练去误检分类器。
检测过程：
1-5、建立待检测图像的多尺度缩放图像族。
1-6、在每个尺度上利用扫描窗的方式完成每个扫描窗是否为目标的判断。
1-7、利用分极大值抑制完成后选扫描窗的合并。
1-8、对合并后的目标窗口进行去误检分类器判断，判断为目标的则作为检测器的检测和定位结果。
2、车脸特征点定位。
11个点的定义为：车前脸挡风玻璃的四个角点（4），车前大灯各自的中心点（2），车前底部左中右点（3），车标中心点（1），车牌中心点（1）。
A．特征点定位的SDM方法详见文献“Supervised Descent Method for SolvingNonlinear Least Squares Problems in Computer Vision”中的4.2节。或参考以下叙述：
a)特征点定位模型训练（训练阶段）
a-1、样本：一系列标注了特征点位置且已经完成粗定位的车前脸，原始样本规模为S。
a-2、统计出特征点在粗定位车前脸上的平均位置。
a-3、为每个样本扰动出N组初始点位置，从而样本数目变为NS。
初始点位置生成方式：使用a-2 中统计得到的平均位置进一步扰动生成。
a-4、设置训练迭代的次数（层数）以及各层对应的形状模板的大小。（形状模板用于将各车脸映射到该形状模板上，以进一步提取特定大小的特征；模板的大小会随迭代的加深而变大或保持不变）
a-5、将样本图像根据当前特征点位置对齐到一个规定大小的模板上（以进行下一步的特征提取）。
a-6、提取特征：在各个特征点周围32*32大小的窗口上提取hog特征（如block大小为16*16，cell大小为8*8，bin的数目为8，block之间无重叠，如此可以单点上可获得hog特征的维度为128。那么11个特征点的情况下，特征维度为1408）。
a-7、基于这些特征使用SDM进行回归，获取模型参数。（详见文献“SupervisedDescent Method for Solving Nonlinear Least Squares Problems in ComputerVision”中的4.2节）
a-8、更新各样本的特征点位置。
a-9、重复步骤a-5、a-6、a-7、a-8，直至达到终止条件（迭代次数达到上限或定位精度达到要求）
b）特征点定位阶段（预测阶段）
b-1、使用训练集上的平均特征点位置进行初始化。
b-2、提取hog特征进行SDM回归（迭代若干次），得到定位到的点位置。
3、基于检测出的特征点（E，H，A10，A11），确定4个基准点（见图3），对车脸图像进行仿射变换，得到大小一致的，对齐的车脸；以A1和A2两点，A10和A11，A3和A10，A4和A11分别做直线，A3A10,A4A11分别和A1A2相交于E和H，点E\H\A10\A11四点组成对齐的基准点。
4、在校正后的特征点附近分别提取HOG特征，参见图4，具体做法：
4-a、选择特征点为中心的16*16像素大小的区域。
4-b、将此区域划分成4*4个子块，每个子块的大小为8*8像素，步长为4像素。
4-c、对每个子块提取sobel梯度，得到梯度大小与方向。
4-d、将梯度方向划分成8个bins，每个bin宽度为45°,以梯度强度为权重统计方向直方图，参见图2，其中十字中心为初始点位置，小圆圈中心点为最终定位到的点。
将HOG串联起来，得到一个维数26400的特征向量；
5、对此特征向量分别做PCA和LDA降维，得到一个930维的特征向量；PCA用来对数据做预处理，它可以将原本的数据降低维度，而使得降低了维度的数据之间的方差最大。LDA将带上类别标签的数据，通过投影的方法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近。
6、在计算出训练样本中每个车型的所有样本的特征向量之后，对其按照车型做多维k-Means聚类，类别的个数按照最大化类间距离和最小化类内距离准则优化，得到每个车型的模板库。
7、对于待检测的车辆，将投影后的特征向量与所有车型的模板库计算L1-Norm距离，选择距离最小的车型作为识别结果。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应带理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。

Claims (4)

1.一种基于统计学习的卡口车型识别方法，其特征在于该方法包括以下步骤：
第一步：在卡口图像中，利用统计学习法，实现不同类型，多个目标的车脸的快速检测；
第二步：采用SDM法结合HOG特征，通过多次迭代实现车前脸特征点的精确定位；
第三步：基于检测出的特征点，确定四个基准点，对车脸图像进行仿射变换，得到大小一致的，对齐的车脸；
第四步：基于上述规范化的车辆图片，在每个特征点附近区域提取HOG或类似的局部特征，并串接到一起，得到车脸表达的L维特征向量；
第五步：对L维特征向量做PCA和LDA，降维至M维；
第六步：对同一个车型的所有降维后特征向量做kMeans聚类，得到车型模板；
第七步：计算降维之后的车辆特征与车型模板的L1-Norm距离，距离最小的模板即为车型识别结果；
其中第一步具体是：
进行训练：
1-1、收集和标注卡口图像中的车头，生成正负训练样本集，其中正样本为标注目标统一缩放到固定尺寸，负样本为除正样本之外的多尺度扫描窗图像；
1-2、特征为任意两像素点之间灰度值的比较结果，记大于等于零的结果为0， 小于零的为1；根据此特征结合决策树来训练单个弱分类器，决策树的叶子层将样本分为多个不同的子集，每个子集对应一个弱分类器的分类置信度，所有子集的置信度构成一个弱分类器；
1-3、结合弱分类器的训练完成级联AdaBoost分类器的训练；
1-4、在检测中收集误检样本，利用HOG和SVM的方式训练去误检分类器；
进行检测：
1-5、建立待检测图像的多尺度缩放图像族；
1-6、在每个尺度上利用扫描窗的方式完成每个扫描窗是否为目标的判断；
1-7、利用非极大值抑制完成候选扫描窗的合并；
1-8、对合并后的目标窗口进行去误检分类器判断，判断为目标的则作为检测器的检测和定位结果；
其中第二步中所述的车前脸特征点共有十一个，包括车前脸挡风玻璃的四个角点，车前大灯各自的中心点，车前底部左、中、右点，车标中心点，车牌中心点；
A．特征点定位具体是：
a)特征点定位模型训练
a-1、确定样本：一系列标注了特征点位置且已经完成粗定位的车前脸，原始样本规模为S；
a-2、统计出特征点在粗定位车前脸上的平均位置；
a-3、为每个样本扰动出N组初始点位置，从而样本数目变为NS；
a-4、设置训练迭代的层数以及各层对应的形状模板的大小；
a-5、将样本图像根据当前特征点位置对齐到一个规定大小的模板上；
a-6、提取特征：在各个特征点周围32*32大小的窗口上提取hog特征；
a-7、基于这些特征使用SDM进行回归，获取模型参数；
a-8、更新各样本的特征点位置；
a-9、重复步骤a-5至a-8，直至达到终止条件；
b）特征点定位阶段
b-1、使用训练集上的平均特征点位置进行初始化；
b-2、提取hog特征进行SDM回归，得到定位到的点位置。
2.根据权利要求1所述的卡口车型识别方法，其特征在于：为了增强正样本集的丰富性，对每个标注结果同时进行边界扰动和添加噪声的处理。
3.根据权利要求1所述的卡口车型识别方法，其特征在于：a-3中初始点位置生成方式：使用a-2 中统计得到的平均位置进一步扰动生成。
4.根据权利要求1所述的卡口车型识别方法，其特征在于：第四步中HOG局部特征提取具体是：
4-a、选择特征点为中心的16*16像素大小的区域；
4-b、将此区域划分成4*4个子块，每个子块的大小为8*8像素，步长为4像素；
4-c、对每个子块提取sobel梯度，得到梯度大小与方向；
4-d、将梯度方向划分成8个bins，每个bin宽度为45°,以梯度强度为权重统计方向直方图。
CN201510663663.6A 2015-10-15 2015-10-15 一种基于统计学习的卡口车型识别方法 Expired - Fee Related CN105335702B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510663663.6A CN105335702B (zh) 2015-10-15 2015-10-15 一种基于统计学习的卡口车型识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510663663.6A CN105335702B (zh) 2015-10-15 2015-10-15 一种基于统计学习的卡口车型识别方法

Publications (2)

Publication Number Publication Date
CN105335702A CN105335702A (zh) 2016-02-17
CN105335702B true CN105335702B (zh) 2018-11-27

Family

ID=55286218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510663663.6A Expired - Fee Related CN105335702B (zh) 2015-10-15 2015-10-15 一种基于统计学习的卡口车型识别方法

Country Status (1)

Country Link
CN (1) CN105335702B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106056086B (zh) * 2016-06-02 2019-05-17 江苏华通晟云科技有限公司 基于快速学习框架的车辆品牌型号识别方法
CN106203330A (zh) * 2016-07-08 2016-12-07 西安理工大学 一种基于卷积神经网络的车辆分类方法
CN106203420B (zh) * 2016-07-26 2019-07-19 浙江捷尚视觉科技股份有限公司 一种卡口车辆颜色识别方法
CN106355202A (zh) * 2016-08-31 2017-01-25 广州精点计算机科技有限公司 一种基于k‑均值聚类的图像特征提取方法
CN108229509B (zh) * 2016-12-16 2021-02-26 北京市商汤科技开发有限公司 用于识别物体类别的方法及装置、电子设备
CN106778886A (zh) * 2016-12-26 2017-05-31 深圳市捷顺科技实业股份有限公司 一种车牌的定位方法及定位装置
CN106874418A (zh) * 2017-01-24 2017-06-20 成都容豪电子信息科技有限公司 一种服务于深度学习的汽车型号数据集建立方法
CN109389014B (zh) * 2017-08-10 2021-05-28 杭州海康威视数字技术股份有限公司 套用车牌车辆的检测方法、装置及电子设备
CN108427955B (zh) * 2017-10-27 2022-02-01 平安科技（深圳）有限公司 电子装置、混乱样本整理方法和计算机可读存储介质
CN109658701B (zh) * 2018-02-06 2021-07-30 临沂中科慧瞳科技有限公司 路口过往车辆车型监控方法
CN108564065B (zh) * 2018-04-28 2020-02-21 广东电网有限责任公司 一种基于ssd的电缆隧道明火识别方法
CN110321969B (zh) * 2019-07-11 2023-06-30 山东领能电子科技有限公司 一种基于mtcnn的车脸对齐方法
CN111078946A (zh) * 2019-12-04 2020-04-28 杭州皮克皮克科技有限公司 一种基于多目标区域特征聚合的卡口车辆检索方法及系统
JP7019007B1 (ja) * 2020-09-28 2022-02-14 楽天グループ株式会社 照合システム、照合方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1996346A (zh) * 2005-12-29 2007-07-11 电子科技大学 基于轮廓的车型识别方法
CN104537348A (zh) * 2014-12-23 2015-04-22 博康智能网络科技股份有限公司 特种车辆识别方法及其识别系统
CN104615998A (zh) * 2015-02-15 2015-05-13 武汉大学 一种基于多视角的车辆检索方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI521448B (zh) * 2014-03-18 2016-02-11 Univ Yuan Ze Vehicle identification system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1996346A (zh) * 2005-12-29 2007-07-11 电子科技大学 基于轮廓的车型识别方法
CN104537348A (zh) * 2014-12-23 2015-04-22 博康智能网络科技股份有限公司 特种车辆识别方法及其识别系统
CN104615998A (zh) * 2015-02-15 2015-05-13 武汉大学 一种基于多视角的车辆检索方法

Also Published As

Publication number Publication date
CN105335702A (zh) 2016-02-17

Similar Documents

Publication Publication Date Title
CN105335702B (zh) 一种基于统计学习的卡口车型识别方法
CN107729818B (zh) 一种基于深度学习的多特征融合车辆重识别方法
CN108171136B (zh) 一种多任务卡口车辆以图搜图的系统及方法
CN105930791B (zh) 基于ds证据理论的多摄像头融合的路面交通标志识别方法
Roy et al. License plate detection and character recognition system for commercial vehicles based on morphological approach and template matching
CN101339601B (zh) 一种基于sift算法的车牌汉字识别方法
CN105868700A (zh) 一种基于监控视频的车型识别与跟踪方法及系统
CN105740886B (zh) 一种基于机器学习的车标识别方法
CN105046196A (zh) 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN105989334A (zh) 基于单目视觉的道路检测方法
Lin et al. Application research of neural network in vehicle target recognition and classification
CN106919939B (zh) 一种交通标识牌跟踪识别方法及系统
CN105354533A (zh) 一种基于词袋模型的卡口无牌车辆车型识别方法
Manzoor et al. Vehicle make and model recognition using random forest classification for intelligent transportation systems
CN105184299A (zh) 基于局部约束线性编码的车身颜色识别方法
Chen et al. Robust and real-time traffic light recognition based on hierarchical vision architecture
CN105975949A (zh) 一种基于视觉信息的汽车识别方法
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision
CN106529391A (zh) 一种鲁棒的限速交通标志检测与识别方法
Emami et al. Real time vehicle make and model recognition based on hierarchical classification
Matsuda et al. A Method for Detecting Street Parking Using Dashboard Camera Videos.
Cruz et al. Classified counting and tracking of local vehicles in manila using computer vision
Deng et al. An integrated forward collision warning system based on monocular vision
Chen et al. Road object detection using a disparity-based fusion model
Kodwani et al. Automatic license plate recognition in real time videos using visual surveillance techniques

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Bayonet vehicle type recognition method based on statistical learning

Effective date of registration: 20190821

Granted publication date: 20181127

Pledgee: Hangzhou Yuhang Small and Medium-sized Enterprise Transfer Service Co.,Ltd.

Pledgor: ZHEJIANG ICARE VISION TECHNOLOGY Co.,Ltd.

Registration number: Y2019330000020

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181127

Termination date: 20211015