CN103903276B - 基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法 - Google Patents

基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法 Download PDF

Info

Publication number
CN103903276B
CN103903276B CN201410166391.4A CN201410166391A CN103903276B CN 103903276 B CN103903276 B CN 103903276B CN 201410166391 A CN201410166391 A CN 201410166391A CN 103903276 B CN103903276 B CN 103903276B
Authority
CN
China
Prior art keywords
point
clustering
cint
clustering method
fixation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410166391.4A
Other languages
English (en)
Other versions
CN103903276A (zh
Inventor
李世武
徐艺
王琳虹
杨志发
孙文财
张景海
周茹波
郭梦竹
杨良坤
于晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201410166391.4A priority Critical patent/CN103903276B/zh
Publication of CN103903276A publication Critical patent/CN103903276A/zh
Application granted granted Critical
Publication of CN103903276B publication Critical patent/CN103903276B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法,属于典型密度聚类方法和数学形态学聚类方法的聚类方法领域。包括:提出密度方法与数学形态学方法相结合的自适应DBSCAN‑MMC方法;将方法用于驾驶员注视点聚类;首先使用注视点结构参数设置Eps的取值;通过DBSCAN得到MMC聚类的初始点集并确定聚类数目;使用自适应的MMC聚类减少DBSCAN聚类产生的离群点,并最终完成面向驾驶员注视区域的聚类。本发明充分利用了DBSCAN和MMC的不规则形状聚类优势并较好地弥补了两种聚类方法的缺陷,在进行驾驶员注视区域划分时聚类效果优于常规DBSCAN聚类方法和MMC聚类方法,提高了驾驶员注视点聚类质量。

Description

基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法
技术领域
本发明属于典型密度聚类方法DBSCAN(Density Based Spatial Clusteringof Applications with Noise),数学形态学聚类方法(Mathematical MorphologyClustering,MMC)的聚类方法领域,特别是涉及到一种交通工程学中的驾驶员视觉行为领域和分类学中的聚类领域。
背景技术
使用聚类方法进行驾驶员注视区域划分可克服传统注视区域划分主观性大的缺点,有助于寻找驾驶员视觉规律,从而提高驾驶员状态监测和驾驶行为预测的准确性。但驾驶员注视点分布有不规则、较离散的特点,而常规基于距离的聚类方法有仅对“类圆形”数据聚类效果较好、聚类边界较生硬等缺陷。因此,寻求合理有效的聚类方法成为提高注视区域划分精度和提高划分智能化程度的关键问题。
在聚类领域,基于密度和基于数学形态学聚类方法可进行不规则形状数据的聚类。其中DBSCAN(Density Based Spatial Clustering of Applications withNoise)算法为基于密度的典型聚类方法,其中心思想为:若一个点簇可由其中的任何核心对象唯一确定,对于某一点簇中的对象,给定半径Eps的邻域内数据对象个数必须大于给定值MinPts;数学形态学聚类(Mathematical MorphologyClustering,MMC)将用于图像处理的方法引入聚类分析,其首先将矢量空间数据转换为栅格,循环使用由小到大的结构元进行闭运算连接相邻目标,经运算处于同一连通区域的目标划归为一类。
国内外学者已对典型密度聚类方法DBSCAN和形态学聚类方法MMC进行了研究并取得了一些成果。但是,在DBSCAN算法中仍存在参数值Eps的选取对聚类结果影响较大、改进的DBSCAN算法时间复杂度提高的问题;在MMC中则尚存在需大量人工干预的缺陷。单纯使用DBSCAN或MMC方法会出现离群点划分过多、聚类系统自动化程度低下的问题。
因此针对现有技术当中存在的诸多不足之处,本领域亟需要一种新的技术方案来解决这一问题。
发明内容
本发明所要解决的技术问题是:针对常规基于距离的聚类方法对分布不规则、较离散的非“类圆形”驾驶员注视点数据聚类效果较差、聚类边界较生硬等缺陷,而可生成任意形状点簇的典型密度聚类DBSCAN其聚类效果受参数取值影响较大,数学形态学聚类需大量人工干预的问题,提出了将DBSCAN与改进的MMC相结合的DBSCAN-MMC聚类方法,以实现驾驶员注视点的自动、有效聚类。
基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法,其特征是:
步骤一、数据采集,使用Smart Eye眼动仪采集驾驶员眼动数据,处理眼动仪向量形式数据得到驾驶员注视视线到其前方1m处铅直平面的投影,并以驾驶员正前方视线投影为原点建立坐标系,作为原始数据Gazeori
步骤二、参数设置,使用注视点结构参数Eps,设置Eps的取值,设注视点在注视区域内均匀分布,则以每一注视点为圆心的圆直径,即为DBSCAN典型密度聚类方法的邻域搜索半径,按式(1)求得Eps,设置DBSCAN邻域最少对象数MinPts=3
E p s = l × h c g - - - ( 1 )
式中l为注视区域长度、h为注视区域高度、cg为注视点数量,
设置圆形结构元初始半径rori,半径扩展步长rst,结构元半径上限rup
其中rori=Eps/2 rst=Eps/10 rup=5×Eps
步骤三、确定注视集中区,对注视点Gazeori数据进行基于DBSCAN的聚类,通过DBSCAN确定初始注视点集Gazecon,注视点集核心对象Gazecon即为驾驶员注视集中的区域,划归类的数目k作为最终聚类数目,生成注视集中区Gazecon
步骤四、初始形态学聚类,以注视集中区Gazecon为初始点GazeMMC,进行圆形结构元半径r=rori的形态学膨胀,生成连通区所包含的初始注视点簇Gaze1,记录已被划归入连通区的注视点数量Cint1
步骤五、形态学计算,以第n-1次计算所得注视点簇Gazen-1为第n次MMC的初始点,进行圆形结构元半径为r的形态学膨胀,将连通区中离群点划归为该区域,生成连通区注视点簇Gazen,记录已被划归入连通区的注视点数量Cintn
步骤六、过程迭代,判断第n次计算中是否有被划归入连通区的注视点,
若Cintn-Cintn-1>0,则n=n+1,r=rori,转至步骤三确定注视集中区,
若Cintn-Cintn-1=0,且r<rup,则r=r+rst,n=n+1,转至步骤三确定注视集中区,
若Cintn-Cintn-1=0,且r≥rup,继续步骤五形态学计算;
步骤七、迭代终止与结果输出,将第n次形态学聚类生成的每个连通区Ii,即i=1,2,…,k中包含的点划归为对应点集,生成最终簇GazeTi其中GazeTi=Gazen,i,将未被划归入聚类区域的点单独归为一簇,最终生成k+1个簇,每一簇即为一个注视区域,完成注视区域的聚类。
所述的步骤一中,关于数据采集,使用Smart Eye眼动仪采集驾驶员进行直线、左转、右转三种驾驶行为时的眼动数据。
所述的步骤六中采用数学形态学聚类方法Mathematical MorphologyClustering,其缩写为MMC,在约束条件下以设定步长进行MMC计算直到满足终止要求,实现自适应的MMC聚类
判断第n次计算中是否有被划归入连通区的注视点,
若Cintn-Cintn-1>0,则n=n+1,r=rori,进行数学形态学膨胀,
若Cintn-Cintn-1=0,且r<rup,则r=r+rst,n=n+1,进行数学形态学膨胀,
若Cintn-Cintn-1=0,且r≥rup,终止膨胀运算。
通过上述设计方案,本发明可以带来如下有益效果:本发明的方法包括:提出密度方法与数学形态学方法相结合的自适应DBSCAN-MMC方法;将方法用于驾驶员注视点聚类;首先使用注视点结构参数设置Eps的取值;通过DBSCAN得到MMC聚类的初始点集并确定聚类数目;使用自适应的MMC聚类减少DBSCAN聚类产生的离群点,并最终完成面向驾驶员注视区域的聚类。
本发明的方法将DBSCAN与MMC聚类方法结合,克服了DBSCAN受参数影响大、MMC需大量人工干预的缺点。
本发明的方法使用两种密度的自适应聚类方法进行驾驶员注视点聚类,克服了基于划分的聚类方法在驾驶员注视点聚类中的聚类缺陷。
本发明充分利用了DBSCAN和MMC的不规则形状聚类优势并较好地弥补了两种聚类方法的缺陷,在进行驾驶员注视区域划分时聚类效果优于常规DBSCAN聚类方法和MMC聚类方法,提高了驾驶员注视点聚类质量。
附图说明
下面结合附图说明和具体实施方式对本发明作进一步说明:
图1为本发明搜索半径示意图。
图2为本发明聚类方法流程图。
图3为使用本发明聚类所得注视点集中位置图。
图4为本发明的初始形态学膨胀效果。
图5为使用本发明聚类所得聚类效果。
图中1为左侧车窗后视镜上方注视区域、2为左后视镜注视区域、3为注视左侧车道不同车辆生成的注视区域上、4为注视左侧车道不同车辆生成的注视区域下、5为注视左侧车道不同车辆生成的注视区域左、6为注视左侧车道不同车辆生成的注视区域右、7为风挡玻璃中心位置处的注视区域、8为右侧车窗后视镜上方注视区域、9为右后视镜注视区域、10为右侧车窗后视镜后方注视区域。
具体实施方式
以下结合附图,对本发明方法做进一步详细说明。
如图所示:
Step1数据采集使用Smart Eye眼动仪采集熟练驾驶员进行直线、左转、右转三种驾驶行为时的眼动数据,每种驾驶行为采集时长为10s,共1151组有效数据,处理眼动仪向量形式数据得到驾驶员注视视线到其前方1m处铅直平面的投影,并以驾驶员正前方视线投影为原点建立坐标系,作为原始数据Gazeori
Step2参数设置本实例中设置注视区域长度l=120.99cm,高度h=68.01cm,注视点数量cg=1151,由式(1)得DBSCAN的搜索半径Eps=2.67cm,设置邻域最少对象数MinPts=3,圆形结构元初始半径rori=Eps/2=1.34cm,半径扩展步长rst=Eps/10=0.27cm,结构元半径上限rup=5×Eps=13.37;
Step3确定注视集中区对注视点数据Gazeori进行基于DBSCAN的聚类,划归类的数目k=10,生成注视集中区Gazecon。聚类所得注视点集中位置如图3。
Step4初始形态学聚类以注视集中区Gazecon为初始点GazeMMC进行圆形结构元半径r为1.34cm的形态学膨胀,生成连通区所包含的初始注视点簇Gaze1,记录已被划归入连通区的注视点数量Cint1=1115。初始膨胀效果如图4。
Step5形态学计算以第n-1次计算所得注视点簇Gazen-1为第n次MMC的初始点,进行圆形结构元半径为r的形态学膨胀,将连通区中离群点划归为该区域,生成连通区注视点簇Gazen,记录已被划归入连通区的注视点数量Cintn
Step6过程迭代判断第n次计算中是否有被划归入连通区的注视点,若Cintn-Cintn-1>0,则n=n+1,r=1.34cm,转3),若Cintn-Cintn-1=0,且r<13.37cm,则r=r+rst,n=n+1,转3),若Cintn-Cintn-1=0,且r≥13.37cm,继续步骤5);
Step7迭代终止与结果输出当n=4时,达到迭代终止条件(Cint4=1134,Cint4-Cint3=0,r=13.37cm),将第4次形态学聚类生成的每个连通区Ii(i=1,2,…,10)中包含的点划归为对应点集,将未被划归入聚类区域的点单独归为一簇,完成11个注视区域的聚类。
本发明使用DBSCAN确定初始点集Gazecon和聚类数目k后,使用自适应MMC方法进行离群点的聚类。
本发明的自适应MMC方法,其特征在于,在约束条件下以设定步长进行MMC计算直到满足终止要求,实现自适应的MMC聚类:判断第n次计算中是否有被划归入连通区的注视点,若Cintn-Cintn-1>0,则n=n+1,r=rori,进行数学形态学膨胀,若Cintn-Cintn-1=0,且r<rup,则r=r+rst,n=n+1,进行数学形态学膨胀,若Cintn-Cintn-1=0,且r≥rup,终止膨胀运算。
本发明针对典型密度聚类方法DBSCAN(Density Based Spatial Clusteringof Applications with Noise)受参数影响较大和数学形态学聚类方法(Mathematical Morphology Clustering,MMC)需大量人工干预的问题,将DBSCAN与改进的MMC相结合,提出了面向驾驶员注视点离散、注视集中区域不规则特点的DBSCAN-MMC聚类方法。
如图5所示为使用本发明聚类所得聚类效果图。图中左侧车窗后视镜上方注视区域1、左后视镜注视区域2、注视左侧车道不同车辆生成的注视区域上3、注视左侧车道不同车辆生成的注视区域下4、注视左侧车道不同车辆生成的注视区域左5、注视左侧车道不同车辆生成的注视区域右6、风挡玻璃中心位置处的注视区域7、右侧车窗后视镜上方注视区域8、右后视镜注视区域9、右侧车窗后视镜后方注视区域10。

Claims (3)

1.基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法,其特征是:
步骤一、数据采集,使用Smart Eye眼动仪采集驾驶员眼动数据,处理眼动仪向量形式数据得到驾驶员注视视线到其前方1m处铅直平面的投影,并以驾驶员正前方视线投影为原点建立坐标系,作为原始数据Gazeori
步骤二、参数设置,使用注视点结构参数Eps,设置Eps的取值,设注视点在注视区域内均匀分布,则以每一注视点为圆心的圆直径,即为DBSCAN典型密度聚类方法的邻域搜索半径,按式(1)求得Eps,设置DBSCAN邻域最少对象数MinPts=3
E p s = l × h c g - - - ( 1 )
式中l为注视区域长度、h为注视区域高度、cg为注视点数量,
设置圆形结构元初始半径rori,半径扩展步长rst,结构元半径上限rup
其中rori=Eps/2 rst=Eps/10 rup=5×Eps
步骤三、确定注视集中区,对注视点Gazeori数据进行基于DBSCAN的聚类,通过DBSCAN确定初始注视点集Gazecon,注视点集核心对象Gazecon即为驾驶员注视集中的区域,划归类的数目k作为最终聚类数目,生成注视集中区Gazecon
步骤四、初始形态学聚类,以注视集中区Gazecon为初始点GazeMMC,进行圆形结构元半径r=rori的形态学膨胀,生成连通区所包含的初始注视点簇Gaze1,记录已被划归入连通区的注视点数量Cint1
步骤五、形态学计算,以第n-1次计算所得注视点簇Gazen-1为第n次MMC的初始点,进行圆形结构元半径为r的形态学膨胀,将连通区中离群点划归为该区域,生成连通区注视点簇Gazen,记录已被划归入连通区的注视点数量Cintn
步骤六、过程迭代,判断第n次计算中是否有被划归入连通区的注视点,
若Cintn-Cintn-1>0,则n=n+1,r=rori,转至步骤三确定注视集中区,
若Cintn-Cintn-1=0,且r<rup,则r=r+rst,n=n+1,转至步骤三确定注视集中区,
若Cintn-Cintn-1=0,且r≥rup,继续步骤五形态学计算;
步骤七、迭代终止与结果输出,将第n次形态学聚类生成的每个连通区Ii,即i=1,2,…,k中包含的点划归为对应点集,生成最终簇GazeTi其中GazeTi=Gazen,i,将未被划归入聚类区域的点单独归为一簇,最终生成k+1个簇,每一簇即为一个注视区域,完成注视区域的聚类。
2.根据权利要求1所述的基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法,其特征是:所述的步骤一中,关于数据采集,使用Smart Eye眼动仪采集驾驶员进行直线、左转、右转三种驾驶行为时的眼动数据。
3.根据权利要求1所述的基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法,其特征是:所述的步骤六中采用数学形态学聚类方法MathematicalMorphology Clustering,其缩写为MMC,在约束条件下以设定步长进行MMC计算直到满足终止要求,实现自适应的MMC聚类
判断第n次计算中是否有被划归入连通区的注视点,
若Cintn-Cintn-1>0,则n=n+1,r=rori,进行数学形态学膨胀,
若Cintn-Cintn-1=0,且r<rup,则r=r+rst,n=n+1,进行数学形态学膨胀,
若Cintn-Cintn-1=0,且r≥rup,终止膨胀运算。
CN201410166391.4A 2014-04-23 2014-04-23 基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法 Expired - Fee Related CN103903276B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410166391.4A CN103903276B (zh) 2014-04-23 2014-04-23 基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410166391.4A CN103903276B (zh) 2014-04-23 2014-04-23 基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法

Publications (2)

Publication Number Publication Date
CN103903276A CN103903276A (zh) 2014-07-02
CN103903276B true CN103903276B (zh) 2017-01-11

Family

ID=50994583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410166391.4A Expired - Fee Related CN103903276B (zh) 2014-04-23 2014-04-23 基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法

Country Status (1)

Country Link
CN (1) CN103903276B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182995B (zh) * 2014-08-08 2017-02-15 吉林大学 一种基于驾驶疲劳的高速公路路侧景观色彩评价方法
CN104615638B (zh) * 2014-11-25 2017-11-07 浙江银江研究院有限公司 一种面向大数据的分布式密度聚类方法
CN104463916B (zh) * 2014-12-31 2017-04-12 武汉大学 基于随机游走的眼动注视点测定方法
CN104700090B (zh) * 2015-03-25 2017-11-28 武汉大学 基于密度的眼动注视点测定方法及系统
CN105404648A (zh) * 2015-10-29 2016-03-16 东北大学 一种基于密度与紧密度聚类的用户移动行为确定方法
CN105740842B (zh) * 2016-03-01 2018-10-19 浙江工业大学 基于快速密度聚类算法的无监督人脸识别方法
CN106127149B (zh) * 2016-06-22 2019-07-05 南京大学 一种基于眼动数据的流程图笔划成组的方法和装置
CN107679536B (zh) * 2016-08-01 2019-11-08 佛山市诺威科技有限公司 一种基于dbscan聚类的义齿颈缘线自动提取方法
CN106377270B (zh) * 2016-09-18 2019-07-16 南京航空航天大学 一种基于计步传感器的飞行员异常检测方法
CN106503656A (zh) * 2016-10-24 2017-03-15 厦门美图之家科技有限公司 一种图像分类方法、装置和计算设备
CN109255342B (zh) * 2018-11-20 2020-07-10 武汉大学 一种基于眼动轨迹数据两步聚类的图像感兴趣区域提取方法和系统
CN111563870B (zh) * 2019-02-14 2023-10-27 深圳中科飞测科技股份有限公司 图像处理方法和设备、检测方法和装置、存储介质
CN110781846B (zh) * 2019-10-30 2021-02-09 江苏开放大学(江苏城市职业学院) 一种融合视觉广度特点的视觉注意计算方法
CN111797810B (zh) * 2020-07-20 2022-11-29 吉林大学 一种行车过程中驾驶员前视预瞄区域的获取方法
CN111829549B (zh) * 2020-07-30 2022-05-24 吉林大学 一种基于高精度地图的积雪路面虚拟车道线投影方法
CN112836747A (zh) * 2021-02-02 2021-05-25 首都师范大学 眼动数据的离群处理方法及装置、计算机设备、存储介质
CN113673360A (zh) * 2021-07-28 2021-11-19 浙江大华技术股份有限公司 人体分布检测方法、航拍设备、电子装置和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101466305A (zh) * 2006-06-11 2009-06-24 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法与装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI388954B (zh) * 2009-04-06 2013-03-11 Inotera Memories Inc 調整晶圓製造優先順序之方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101466305A (zh) * 2006-06-11 2009-06-24 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法与装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A density-based algorithm for discovering clusters in large spatial databases with noise;Martin Ester 等;《Proceedings of 2nd International Conference on Knowledge Discovery and Data Mining》;19961231;第1-6页 *
Two stage detection and clustering of microcalcifications in mammograms;Anna Wroblewska 等;《Biomedizinische Technik,Medical Physics》;20051231;第56-57页 *
基于数学形态学的聚类分析;罗会兰 等;《模式识别与人工智能》;20061231;第19卷(第6期);第727-733页 *

Also Published As

Publication number Publication date
CN103903276A (zh) 2014-07-02

Similar Documents

Publication Publication Date Title
CN103903276B (zh) 基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法
CN110597245B (zh) 基于二次型规划和神经网络的自动驾驶换道轨迹规划方法
CN110103956A (zh) 一种无人车自动超车轨迹规划方法
CN106503636B (zh) 一种基于视觉图像的道路视距检测方法及装置
CN103886307A (zh) 一种视线跟踪及疲劳预警方法
CN103985334A (zh) 透明显示系统以及设置有该透明显示系统的设备
CN105046683A (zh) 一种参数自适应调节的高斯混合模型目标检测方法
CN105631853A (zh) 车载双目相机标定及参数验证方法
CN102708591A (zh) 一种数字牙网格模型的孔洞修补方法
CN103150740A (zh) 一种基于视频的运动目标跟踪方法和系统
CN104554264A (zh) 一种自适应在线调整车速的方法和系统
CN103192758B (zh) 基于机器视觉的前照灯随动转向控制方法
CN109283843B (zh) 一种基于多项式与粒子群算法融合的换道轨迹规划方法
CN103085815A (zh) 一种识别驾驶员换道意图的方法
CN104331536B (zh) 一种汽车车身低阻低噪协同设计优化方法
CN104751733A (zh) 地图的区域绘制方法及装置、路径距离分类方法及系统
CN103383709A (zh) 高速公路长隧道出口段昼间照明优化方法
CN106611147A (zh) 车辆追踪方法和装置
CN105093341B (zh) 时间域瞬变水平电场全时间段视电阻率的计算方法及系统
Zhenhai et al. Control algorithm of Adaptive Front-lighting System based on driver preview behavior
CN103383708A (zh) 高速公路长隧道入口段昼间照明优化方法
CN108549928A (zh) 深度强化学习指导下基于连续移动的视觉跟踪方法及装置
CN107063292A (zh) 一种通过gps导航信息精确计算机动车行驶里程的方法
CN103954437A (zh) 基于立面的车辆前照灯照射角度检测方法、装置及系统
CN103400198A (zh) 高速公路长隧道入口段夜间照明优化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170111

Termination date: 20170423