CN104463120B - 基于二叉树的手指静脉识别方法 - Google Patents
基于二叉树的手指静脉识别方法 Download PDFInfo
- Publication number
- CN104463120B CN104463120B CN201410735585.1A CN201410735585A CN104463120B CN 104463120 B CN104463120 B CN 104463120B CN 201410735585 A CN201410735585 A CN 201410735585A CN 104463120 B CN104463120 B CN 104463120B
- Authority
- CN
- China
- Prior art keywords
- node
- finger
- binary tree
- image
- target point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 210000003462 vein Anatomy 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 28
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000001914 filtration Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000001149 cognitive effect Effects 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 230000009467 reduction Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000001367 artery Anatomy 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1347—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
- G06V40/1376—Matching features related to ridge properties or fingerprint texture
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明涉及一种基于二叉树的手指静脉识别方法。以手指静脉线结构为描述对象，采用二叉树描述手指静脉线结构各条分支的空间分布，然后基于二叉树提取特征和进行特征匹配，以提高手指静脉识别性能。采用二叉树可以充分描述手指静脉各个分支的空间分布和相互连接关系，增强静脉特征区分不同个体和认知同一个体的能力，降低识别时的据真率和认假率，提高手指静脉识别性能。
Description
技术领域
本发明涉及一种手指静脉识别方法，属于安防生物特征识别技术领域。
背景技术
手指静脉识别是当前生物特征识别领域的研究热点，其主要优势在于：静脉藏匿在身体内部，不易被复制、窃取或干扰。可以广泛应用于银行、办公室、商场等场所的门禁和考勤领域，理论研究意义和市场应用价值巨大。
不同个体的手指静脉的结构差异是手指静脉用于身份鉴别的依据，手指静脉识别的结构差异主要表现为管径（静脉血管的直径）差异、点结构（交叉点、端点）差异、环结构差异和线结构差异。然而，受成像环境限制和分割误差影响，前三种差异的稳健性较差，也即从同一手指提取的不同手指静脉纹路中，管径、点结构和线结构也有不同。因此此类结构认知同一个体的能力不强。尽管线结构也会受到分割误差等影响，但由于手指静脉中线结构丰富且占据手指静脉纹路的主体区域，即使部分受损，保留的线结构仍具有区分不同个体和认知同一个体的能力，是手指静脉结构描述的主要对象。
然而，现有的手指静脉识别方法中，文献“Feature Extraction of Finger-veinPatterns Based on Repeated Line Tracking and Its Application to PersonalIdentification（Machine Vision and Applications，2004）”、“A finger-veinverification system using mean curvature（Pattern Recognition Letters，2011）”和专利“一种手指静脉与手形结合的智能采集系统及识别方法（200910237633，2012）”等采用二值模板描述分割后的手指静脉图像，优点是可以充分描述从手指静脉图像中提取出来的静脉纹路，不足之处在于二值模板描述的是手指静脉纹路的整体结构，识别时对手指姿态变化和静脉纹路局部形变的鲁棒性较差；专利“手指静脉图像识别方法（200610001324.2，2010）”、文献“基于相对距离和角度的手指静脉识别方法（华中科技大学学报(自然科学版)，2011）”和“Multimodal biometric authentication based on the fusion offinger vein and finger geometry（Optical Engineering Letters，2009）”等采用手指静脉纹路的端点和交叉点的相对位置等特征描述手指静脉的点结构，实现简单、直观，但易受手指静脉纹路提取误差影响；文献“Finger vein verification system based onsparse representation（Applied Optics，2012）”和“基于小波矩融合PCA变换的手指静脉识别（模式识别与人工智能，2007）”等采用图像的子空间矩阵描述手指静脉图像，不受手指静脉纹路提取误差影响，但由于没有区分静脉纹路和背景，易受背景干扰影响，而且由于忽视了手指静脉结构的点、线等许多显著特征，区分不同个体的能力有待加强；专利“一种基于个性化权重的手指静脉识别方法（201210001013，2012）”和文献“Finger veinrecognition using minutia-based alignment and local binary pattern-basedfeature extraction（International Journal of Imaging Systems and Technology，2009）”等采用局部二元模式（LBP）描述手指静脉图像，也不受手指静脉纹路提取误差影响，，但同样也受背景干扰影响，而且所需存储空间较大；专利“一种用于手指静脉三维特征识别的藤蔓模型建模方法（201210109091.3，2013）”采用藤蔓模型描述手指静脉纹路的三维空间分布，但对手指静脉二维图像的识别意义不大。总的来说，采用上述特征进行手指静脉识别，易出现错误拒绝和错误接受的现象。
发明内容
本发明所要解决的技术问题在于提供一种基于二叉树的手指静脉识别方法，以手指静脉线结构为描述对象，采用二叉树描述手指静脉线结构各条分支的空间分布，然后基于二叉树提取特征和进行特征匹配，以提高手指静脉识别性能。
为实现上述的发明目的，本发明采用下述的技术方案：
首先，从手指静脉图像中提取手指静脉纹路，然后，采用二叉树表示手指静脉纹路，最后，基于二叉树进行特征匹配，详细描述如下：
1 手指静脉纹路提取
手指静脉纹路提取包括图像分割、图像滤波、图像细化和图像修复四个步骤，具体描述如下：
1.1 图像分割
图像分割采用Liu等提出的MRLT（改进的重复线跟踪，modified repeated linetracking）方法（详见文献“An algorithm for finger-vein segmentation based onmodified repeated line tracking”，《Imaging Science Journal》，2013），图1(b)为图1(a)中手指静脉图像的分割效果。
图像滤波
分割后的手指静脉图像难免存在毛刺和噪声，这里采用数学形态学方法滤除部分噪声和毛刺，先采用开运算消除噪声和毛刺，再采用闭运算修复断裂静脉。为了尽可能保持静脉管径大小、静脉连接关系等属性基本不变，滤波器窗口尺寸设为3×3（单位：像素），避免过度滤波而破坏静脉结构。滤波后的图像如图1(c)所示。
图像细化
图像细化采用数学形态学的击中或击不中变换进行，并保证细化图像中各目标像素是 邻接的，以便在保证目标连通性的同时去除冗余的目标点。假设为目标像素点，与之相邻的目标像素点必须满足如下条件之一：
（1）、在的4邻域内；
（2）、在的对角邻域内，且与的4邻域点的交集中不存在目标像素点。
细化后的图像如图1(d)所示。
纹路修复
细化后的手指静脉纹路存在许多毛刺，依据毛刺的长度信息，将长度小于20像素的静脉纹路作为毛刺剔除，得到修复后的手指静脉纹路图像，如图1(e)所示。
采用二叉树表示手指静脉纹路
对于如图2所示的单像素手指静脉纹路，首先按照从左到右、从下到上的顺序，寻找手指静脉纹路图像中的第一个端点，也即二叉树的根结点。根结点满足如下条件：
其中，表示手指静脉纹路图像上像素点的灰度值，该图像上的目标点灰度值为255，其他点的灰度值为0。
以根结点为当前目标点，用表示，然后在当前目标点的8邻域内，跟踪下一个目标点，图中表示跟踪到的第个目标点，统计的8邻域内目标像素点的数目，则：
如果，继续跟踪下一个目标点。否则，判定该目标点为结点，记为。此时，记录结点与之间的所有目标点坐标，记为集合，为目标点的个数。集合可以表示结点所处的静脉分支的空间分布，用其作为结点的数据项。下面搜索结点的左子树和右子树。
在细化后的单像素手指静脉纹路中，的值只能是2或4。如果，说明结点为叶结点，此时左子树和右子树都为空，二叉树扫描过程结束。如果，说明结点为分支结点，此时首先在当前静脉纹路走向的左侧，按照前述的目标点跟踪方法，寻找结点的左孩子结点，记录结点与之间的所有目标点坐标，将其作为结点的数据项，构建结点的二叉树结构，也即结点的左子树。然后，回溯到结点，寻找结点的右孩子结点，构建结点的二叉树结构，也即结点的右子树。
其中，目标点方向的判断方法为：依据当前目标点和其前一目标点的可能分布情况（如图3所示），确定当前静脉纹路走向的左侧目标点和右侧目标点。
按照上述方法，逐次跟踪手指静脉纹路图像中的所有结点，得到手指静脉图像的二叉树BT为：
其中，二叉树BT是有限个结点的数据集合，表示任一结点所处静脉分支上所有目标点的坐标集合，和分别表示该结点的左子树和右子树，当到达二叉树的叶结点时，对应的左子树和右子树为空。
基于二叉树进行特征匹配
手指静脉识别包括注册和认证两个阶段，在注册阶段，按照上述步骤得到手指静脉图像的二叉树表示，记为，将其存入数据库。在认证阶段，仍按照上述步骤得到手指静脉图像的二叉树表示，记为，然后通过比对和是否匹配来判断两幅手指图像所代表的个体身份是否一致。
特征匹配的具体步骤如下：
Step1：对于待认证手指静脉图像的二叉树表示中第个结点所在的手指静脉分支，统计其上各像素点到数据库中某手指静脉图像的二叉树表示中第个结点所在的手指静脉分支的最小距离，并记所有点的最小距离的均值为，此即为第个结点到数据库中第个结点的距离，记第个结点到数据库的距离为，则：
其中，为中的结点总数。
Step2：按照上述方法，计算中所有结点到的距离。
Step3：计算到的平均距离，用表示，则：
其中，b为中的结点总数。
Step4：如果小于阈值，则判定两静脉相匹配；否则，对待认证静脉纹路做平移变换，水平、垂直方向的偏移量分别为、，且，。然后重复上述过程。如果直到，始终不小于阈值，则判定两静脉不匹配；否则，判断两静脉相匹配。阈值为正整数，实验统计=20时识别性能最优。
本发明的优点在于：采用二叉树可以充分描述手指静脉各个分支的空间分布和相互连接关系，增强静脉特征区分不同个体和认知同一个体的能力，降低识别时的据真率和认假率，提高手指静脉识别性能。
附图说明
图1手指静脉纹路提取流程；
图2二叉树扫描过程；
图3目标点分布。
具体实施方式
一种基于二叉树的手指静脉识别方法，以手指静脉线结构为描述对象，采用二叉树描述手指静脉线结构各条分支的空间分布，然后基于二叉树提取特征和进行特征匹配，以提高手指静脉识别性能。
具体步骤如下：
步骤一、手指静脉纹路提取；
手指静脉纹路提取包括图像分割、图像滤波、图像细化和图像修复四个步骤；
步骤二、采用二叉树表示手指静脉纹路；
步骤三、基于二叉树进行特征匹配。
Claims (1)
1.一种基于二叉树的手指静脉识别方法，以手指静脉线结构为描述对象，采用二叉树描述手指静脉线结构各条分支的空间分布，然后基于二叉树提取特征和进行特征匹配，其特征在于，具体步骤为：
步骤一、手指静脉纹路提取；
包括图像分割、图像滤波、图像细化和纹路修复四个步骤；
1.1图像分割
图像分割采用MRLT方法；
1.2图像滤波
分割后的手指静脉图像难免存在毛刺和噪声，采用数学形态学方法滤除部分噪声和毛刺，先采用开运算消除噪声和毛刺，再采用闭运算修复断裂静脉，滤波器窗口尺寸设为3×3像素，
1.3图像细化
图像细化采用数学形态学的击中或击不中变换进行，假设p为目标像素点，与之m相邻的目标像素点q必须满足如下条件之一：
(1)、q在p的4邻域内；
(2)、q在p的对角邻域内，且q与p的4邻域点的交集中不存在目标像素点；
1.4纹路修复
细化后的手指静脉纹路存在许多毛刺，依据毛刺的长度信息，将长度小于20的静脉纹路作为毛刺剔除，得到修复后的手指静脉纹路图像，
步骤二、采用二叉树表示手指静脉纹路，具体步骤为：
首先按照从左到右、从下到上的顺序，寻找手指静脉纹路图像中的第一个端点，也即二叉树的根结点，根结点r0满足如下条件：
其中，fT(x,y)表示手指静脉纹路图像上像素点(x,y)的灰度值，该图像上的目标点灰度值为255，其他点的灰度值为0；
以根结点r0为当前目标点，用q0表示，然后在当前目标点的8邻域内，跟踪下一个目标点，qi表示跟踪到的第i个目标点，统计qi的8邻域内目标像素点的数目则：
如果继续跟踪下一个目标点，否则，判定该目标点为结点，记为r1，此时，记录结点r1与r0之间的所有目标点坐标，记为集合m+1为目标点的个数，集合表示结点r1所处的静脉分支的空间分布，用其作为结点r1的数据项，
搜索结点r1的左子树和右子树
在细化后的单像素手指静脉纹路中，的值只能是2或4，如果说明结点r1为叶结点，此时左子树和右子树都为空，二叉树扫描过程结束，如果说明结点r1为分支结点，此时首先在当前静脉纹路走向的左侧，按照前述的目标点跟踪方法，寻找结点r1的左孩子结点r2，记录结点r1与r2之间的所有目标点坐标，将其作为结点r2的数据项，构建结点r2的二叉树结构，也即结点r1的左子树然后，回溯到结点r1，寻找结点r1的右孩子结点r3，构建结点r3的二叉树结构，也即结点r1的右子树
按照上述方法，逐次跟踪手指静脉纹路图像中的所有结点，得到手指静脉图像的二叉树BT为：
BT＝{Qr,BTL,BTR}
其中，二叉树BT是有限个结点r的数据集合，Qr表示任一结点r所处静脉分支上所有目标点的坐标集合，BTL和BTR分别表示该结点r的左子树和右子树，当到达二叉树的叶结点时，对应的左子树和右子树为空；
步骤三、基于二叉树进行特征匹配，具体步骤为：
Step3.1：对于待认证手指静脉图像的二叉树表示BT1中第l个结点所在的手指静脉分支，统计其上各像素点到数据库中某手指静脉图像的二叉树表示BT0中第j个结点所在的手指静脉分支的最小距离，并记所有点的最小距离的均值为dml,j，此即为第l个结点到数据库中第j个结点的距离，记第l个结点到数据库的距离为dml，则：
其中，n为BT0中的结点总数；
Step3.2：按照上述方法，计算BT1中所有结点到BT0的距离；
Step3.3：计算BT1到BT0的平均距离，用dm表示，则：
其中，b为BT1中的结点总数；
Step3.4：如果dm小于阈值τ，则判定两静脉相匹配；否则，对待认证静脉纹路做平移变换，水平、垂直方向的偏移量分别为Wx、Wy，且0≤Wx≤10，0≤Wy≤10，然后重复上述过程，如果直到Wx＝Wy＝10，dm始终不小于阈值τ，则判定两静脉不匹配，否则判断两静脉相匹配，τ＝20时识别性能最优；
目标点方向的判断方法为：依据当前目标点qm和其前一目标点qm-1的可能分布情况，确定当前静脉纹路走向左侧目标点qL和右侧目标点qR。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410735585.1A CN104463120B (zh) | 2014-12-08 | 2014-12-08 | 基于二叉树的手指静脉识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410735585.1A CN104463120B (zh) | 2014-12-08 | 2014-12-08 | 基于二叉树的手指静脉识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104463120A CN104463120A (zh) | 2015-03-25 |
| CN104463120B true CN104463120B (zh) | 2017-10-17 |
Family
ID=52909136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410735585.1A Expired - Fee Related CN104463120B (zh) | 2014-12-08 | 2014-12-08 | 基于二叉树的手指静脉识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104463120B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105335967B (zh) * | 2015-10-16 | 2018-07-03 | 中国人民解放军国防科学技术大学 | 基于局部最大类间方差和数学形态学的手背静脉纹路提取方法 |
| CN105975905B (zh) * | 2016-04-26 | 2019-03-26 | 山西圣点世纪科技股份有限公司 | 一种手指静脉快速识别方法 |
| CN106228151B (zh) * | 2016-05-04 | 2019-03-26 | 中国人民解放军国防科学技术大学 | 指掌静脉融合特征识别方法 |
| CN105956579A (zh) * | 2016-05-27 | 2016-09-21 | 国创科视科技股份有限公司 | 融合模糊模板和点特征的手指静脉快速识别方法 |
| CN106203324B (zh) * | 2016-07-07 | 2019-11-12 | 中国矿业大学(北京) | 基于随机树的心电信号快速身份识别方法 |
| CN107784215B (zh) * | 2017-10-13 | 2018-10-26 | 上海交通大学 | 基于智能终端的声音装置进行唇读的用户认证方法及系统 |
| CN107832718B (zh) * | 2017-11-13 | 2020-06-05 | 重庆工商大学 | 基于自编码器的手指静脉防伪鉴别方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184528A (zh) * | 2011-05-12 | 2011-09-14 | 中国人民解放军国防科学技术大学 | 低质量手指静脉图像增强方法 |
-
2014
- 2014-12-08 CN CN201410735585.1A patent/CN104463120B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102184528A (zh) * | 2011-05-12 | 2011-09-14 | 中国人民解放军国防科学技术大学 | 低质量手指静脉图像增强方法 |
Non-Patent Citations (6)
| Title |
|---|
| An algorithm for finger-vein segmentation based on modified repeated line tracking;T Liu等;《The Imaging Science Journal》;20131118;全文 * |
| Finger Vein Representation by Modified Binary Tree Model;Tong Liu等;《Smart Computing Review》;20130430;正文第2-3节 * |
| Modified Binary Pattern for Finger Vein Recognition;Rongyang Xiao等;《Lecture Notes in Computer Science》;20131117;全文 * |
| 二叉树的遍历算法;明廷堂;《电脑编程技巧与维护》;20140531;全文 * |
| 手指静脉结构的 B 样条描述方法;刘通等;《国防科技大学学报》;20141031;第36卷(第2期);正文第3.3节 * |
| 顺序存储二叉树的遍历及其应用研究;马靖善等;《渤海大学学报( 自然科学版)》;20130630;第34卷(第2期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104463120A (zh) | 2015-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104463120B (zh) | 基于二叉树的手指静脉识别方法 | |
| CN109740413B (zh) | 行人重识别方法、装置、计算机设备及计算机存储介质 | |
| CN107316031B (zh) | 用于行人重识别的图像特征提取方法 | |
| CN104331682B (zh) | 一种基于傅里叶描述子的建筑物自动识别方法 | |
| CN105956579A (zh) | 融合模糊模板和点特征的手指静脉快速识别方法 | |
| CN109871781A (zh) | 基于多模态3d卷积神经网络的动态手势识别方法及系统 | |
| CN103942577A (zh) | 视频监控中基于自建立样本库及混合特征的身份识别方法 | |
| CN110598692B (zh) | 一种基于深度学习的椭圆识别方法 | |
| CN103218621B (zh) | 一种室外视频监控中多尺度车辆的识别方法 | |
| TWI434220B (zh) | 利用手掌靜脈之生物特徵辨識使用者之方法 | |
| CN105718868A (zh) | 一种针对多姿态人脸的人脸检测系统及方法 | |
| CN106250877A (zh) | 近红外人脸识别方法及装置 | |
| CN111401145B (zh) | 一种基于深度学习与ds证据理论的可见光虹膜识别方法 | |
| CN105718889A (zh) | 基于GB(2D)2PCANet深度卷积模型的人脸身份识别方法 | |
| CN107729820A (zh) | 一种基于多尺度hog的手指静脉识别方法 | |
| CN103870808A (zh) | 一种手指静脉识别方法 | |
| CN105975905B (zh) | 一种手指静脉快速识别方法 | |
| CN103049758A (zh) | 融合步态光流图和头肩均值形状的远距离身份验证方法 | |
| CN105335967A (zh) | 基于局部最大类间方差和数学形态学的手背静脉纹路提取方法 | |
| CN106127193B (zh) | 一种人脸图像识别方法 | |
| CN110309770A (zh) | 一种基于四元组损失度量学习的车辆再辨识方法 | |
| El-Ghaish et al. | Human action recognition based on integrating body pose, part shape, and motion | |
| CN103971096B (zh) | 一种基于mb‑lbp特征和人脸能量图的多姿态人脸识别方法 | |
| Li | An Iris recognition algorithm based on coarse and fine location | |
| CN105138974A (zh) | 一种基于Gabor编码的手指多模态特征融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171017 |