CN110765856B - 基于卷积的低质量手指静脉图像边缘检测算法 - Google Patents
基于卷积的低质量手指静脉图像边缘检测算法 Download PDFInfo
- Publication number
- CN110765856B CN110765856B CN201910863733.0A CN201910863733A CN110765856B CN 110765856 B CN110765856 B CN 110765856B CN 201910863733 A CN201910863733 A CN 201910863733A CN 110765856 B CN110765856 B CN 110765856B
- Authority
- CN
- China
- Prior art keywords
- boundary
- finger
- convolution
- points
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000003462 vein Anatomy 0.000 title claims abstract description 48
- 238000003708 edge detection Methods 0.000 title claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 230000008439 repair process Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G06T5/70—
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/14—Vascular patterns
Abstract
基于卷积的低质量手指静脉图像边缘检测算法,首先利用图像的中心线把水平放置的手指分为上下两部分,分析上下两部分手指边界处像素灰度值的变化情况,设计对应的卷积矩阵,接着利用预先设计好的卷积矩阵分别对手指上下两部分进行运算,得到粗略检测出的手指边界。对于低质量指静脉图像,粗检测的手指边界往往存在缺失断裂的情况,因此,需要判断粗检测的手指边界是否存在断裂的情况,如果边界完好,则完成边缘检测,如果边界存在断裂情况,则采用多项式拟合的方法对边界进行修复。本方法可以实现手指边界与设备背景融合的低质量指静脉图像的边缘检测,具有较强的鲁棒性,能够提高指静脉识别系统的可靠性。
Description
技术领域
本发明属于计算机图像处理领域,尤其涉及基于卷积的低质量手 指静脉图像边缘检测算法。
背景技术
手指静脉识别技术是新一代的生物特征识别技术。指静脉识别是 利用人体血液中的血红蛋白具有吸收近红外光的特点,通过近红外线 照射手指,并由相机拍摄手指静脉图像来进行个人身份认证。指静脉 识别相比于其他的生物识别具有独特的优势:静脉血管位于体表内, 属于非接触性的信息采集,采集过程十分友好、不易于伪造、设备成 本低。由于这些独特的优势,指静脉识别技术,得到了计算机视觉、 模式识别等诸多领域研究者们的高度关注,具备广阔的发展前景。
现阶段指静脉识别包括静脉图像的获取、手指关键区域的提取、 特征提取、识别匹配4个步骤。在预处理中为了得到手指关键区域, 一个重要工作就是对手指边缘的检测。手指边缘处的像素灰度值有跳 跃性变换,反应在图像灰度的不连续性,边缘检测实质上是利用某种 算法找出灰度值出现跳跃性变换的像素点。对于优质的手指静脉图像, 目标图像手指与设备背景对比明显,直接利用现有的边缘检测算法即 可有效提取出手指边界。但是由于设备背景的反光,通常会出现手指 边界与设备背景互相融合的情况,对于这种低质量的手指静脉图像, 经典的边缘检测算法Sobel、Canny,检测效果均不理想。如果手指的边缘检测出错,导致关键区域提取失败,将会严重影响后续的识别效 果,因此,设计针对手指边界与设备背景相互融合的低质量手指静脉 图像的边缘检测算法非常关键。
发明内容
本发明所要解决的技术问题是准确检测出手指边缘与设备背景 互相融合的低质量手指静脉图像的边缘,提出一种基于卷积矩阵的手 指边缘检测算法。由于拍摄设备的不同,手指可能水平放置或垂直放 置,本发明首先将手指放置的方向统一处理为水平放置。该算法对手 指上下两部分分别设计出对应的3*9的卷积矩阵,利用上述的卷积矩 阵粗略检测出手指的上下边界线,接着判断粗检测出的手指边界是否 有断裂等错误情况,针对出错的边界进行多项式拟合修复,实现了手 指边缘与设备背景互相融合的低质量手指静脉图像也能准确检测出 手指边界,具有较强的鲁棒性。
基于卷积的低质量手指静脉图像边缘检测算法,包括如下步骤:
步骤1,拍摄出的原始手指静脉图像,由于受光照的影响,存在 较多的随机噪声,因此对原始图像进行均值滤波,予以去除;
步骤2,将手指处理为水平方向,采用图像的水平中心线把手指 分为上下两部分,分别进行不同的处理;
步骤3,对步骤2中手指的上下两部分采用各自对应的3*9矩阵 进行卷积运算,得到卷积后的二维矩阵,对该二维矩阵的每一列进行 遍历,分别找出每一列中手指上部和下部各自的卷积值最大时所在的 行,遍历完成后,手指边界粗略检测完毕,得到大致的手指边界;
步骤4,针对步骤3中粗略检测出的手指边界通常会存在的断裂 的情况,进一步对步骤3的手指边界断裂点进行检测;从左到右检测 步骤3得到的手指边界;如果不存在断裂,那么本方法检测完成,转 到步骤6;如果存在断裂,则转入步骤5进行修复工作;
步骤5,根据步骤4检测出的断裂情况进行不同的处理,如果只 有一个断裂点,那么手指边界断裂为两段,此时依据靠近手指内部的 那条边界中的点进行一次多项式拟合,得到对应的边界函数,再利用 边界函数来修复另一段出错的边界;如果大于等于两个断裂点,则认 为手指边界存在多处断裂,遍历断裂的每一段手指边界,纪录每一段 边界中所包含点的个数以及这些点所在行的方差,综合考虑这两个因 素,选择出正确的手指边界,利用正确边界的点采用相同的方法拟合 出边界函数来修复出错边界的点;
步骤6,经历了步骤4的边界断裂点的检测,和步骤5的断裂点 修复过程,得到最后的完整的手指边界。
进一步地,所述步骤3中的卷积运算,具体为计算手指上部区域 每个像素点(m,n)的卷积值:
其中S1为卷积矩阵,F(m,n)为点(m,n)的像素灰度值,Q(m,n)为 点(m,n)的卷积值;同理,利用卷积矩阵,计算出下部区域每个像素 点的卷积值。
进一步地,所述步骤5中的修复工作,如果断裂点Nu为1,手 指边界断裂成两段,通过分析具体的指静脉图像,选取靠近手指内部 边界上的每一个点,根据这些点进行一次多项式拟合,假设手指内部 边界上共包含M个点{(x1,y1),(x2,y2),(x3,y3)…(xM,yM)},已知手指边 界为一条平滑的线,因此采用线性多项式拟合,手指边界函数设定为:
ω(x)=kx+b
其中k为边界函数的斜率,b为常数项。用最小二乘法确定系数 k,b的值,令:
其中ω(xi)为手指边界的函数值,yi为第xi列所对应的行,当函数达到最小时,得到系数k,b的值,即确定手指边界的函数;假 定根据上述得到的边界函数来预测出错边界C1列所对应的行值为 R1,由于边界函数的预测往往存在一定的误差,为了减小误差,在 步骤3得到的二维卷积矩阵中,继续在C1列R1行的上下m行中寻 找卷积值最大时对应的行R2,此时(C1,R2)即为修复后边界上的一个 点,依据此方法修复出错边界上的所有点,进而得到准确的边界。
进一步地,所述步骤5中的修复工作,如果断裂点Nu大于等于 2,则认为出现多次断裂,计算每一段中包含点的个数以及这些 点所在行的方差通常正确的手指边界长度较长并且平滑,因此越大,越小,更符合正确边界的特征,综合考虑这两个因素, 选择出正确的手指边界,按照断裂点Nu为1时的修复方法拟合出一 次边界函数,采用同样的修复方法对错误的边界进行修复,得到正确 边界。
与现有的技术相比,本发明的有益成果为:手指边界与设备背景 相互融合的低质量手指静脉图像,用现有的边缘检测算法通常无法正 确检测出手指边界,本发明可以对高质量、低质量的手指静脉图像达 到相同的效果,具有较强的鲁棒性。
附图说明
图1是本发明所述指静脉识别系统框图。
图2是本发明实施例中所用的卷积矩阵。
图3是本发明所述边缘检测算法的执行框图。
具体实施方式
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
本发明所述的手指静脉图像边缘检测算法,首先需要获得相应的 手指静脉图像。
指静脉识别系统主要包含两个阶段:注册阶段和识别阶段。如图 1所示,在注册阶段,首先通过拍摄设备采集用户手指静脉,接着对 指静脉图像进行关键区域提取、特征提取、最后把指静脉特征存入特 征库中。在识别阶段,先采集用户手指静脉,同样对指静脉图像进行 关键区域提取、特征提取、与特征库中已有的特征进行匹配、得到匹 配结果。
在手指静脉图像采集过程中,由于采集设备背景的干扰、曝光过 强或过弱、被采集者手指放置的比较随意都会造成手指静脉图像质量 的降低。为了使预处理得到的关键区域更加准确,我们提出了基于卷 积矩阵的边缘检测算法,如图2所示,分别是手指上下部所对应的 3*9矩阵。选择该矩阵的依据是:对于现有的指静脉库中的样本,背 景通常为黑色,手指部分呈灰色,因此对于手指上边界,灰度值存在 由低到高的变化,对于手指下边界,灰度值存在由高到低的变换。所 以利用上下部各自对应的矩阵做卷积运算,理论上都会在边界处的卷 积值最小。
基于卷积的低质量手指静脉图像边缘检测算法,包括如下步骤:
步骤1,拍摄出的原始手指静脉图像,由于受光照的影响,存在 较多的随机噪声,因此对原始图像进行均值滤波,予以去除。
步骤2,将手指处理为水平方向,采用图像的水平中心线把手指 分为上下两部分,分别进行不同的处理。
步骤3,对步骤2中手指的上下两部分采用各自对应的3*9矩阵 进行卷积运算,得到卷积后的二维矩阵,对该二维矩阵的每一列进行 遍历,分别找出每一列中手指上部和下部各自的卷积值最大时所在的 行,遍历完成后,手指边界粗略检测完毕,得到大致的手指边界。
步骤4,针对步骤3中粗略检测出的手指边界通常会存在的断裂 的情况,进一步对步骤3的手指边界断裂点进行检测;从左到右检测 步骤3得到的手指边界;如果不存在断裂,那么本方法检测完成,转 到步骤6;如果存在断裂,则转入步骤5进行修复工作。
步骤5,根据步骤4检测出的断裂情况进行不同的处理,如果只 有一个断裂点,那么手指边界断裂为两段,此时依据靠近手指内部的 那条边界中的点进行一次多项式拟合,得到对应的边界函数,再利用 边界函数来修复另一段出错的边界;如果大于等于两个断裂点,则认 为手指边界存在多处断裂,遍历断裂的每一段手指边界,纪录每一段 边界中所包含点的个数以及这些点所在行的方差,综合考虑这两个因 素,选择出正确的手指边界,利用正确边界的点采用相同的方法拟合 出边界函数来修复出错边界的点。
步骤6,经历了步骤4的边界断裂点的检测,和步骤5的断裂点 修复过程,得到最后的完整的手指边界。
步骤3中的卷积运算,具体为计算手指上部区域每个像素点 (m,n)的卷积值:
其中S1为图2所示的上部卷积矩阵,F(m,n)为点(m,n)的像素灰 度值,Q(m,n)为点(m,n)的卷积值;同理,利用图2所示的下部卷积 矩阵,计算出下部区域每个像素点的卷积值。
在步骤3卷积计算结算后,由于手指两端往往存在较多的噪声, 并且手指端部的边缘相对次要,因此对手指左右两端区域进行去除, 假定左右两端去除的宽度为N。对去除两端的区域从左到右依次遍历 图像的每一列n,分别找出手指上下两部分每一列卷积值最大时所在 的行p1、p2,那么由(p1,n)所确定的点即为手指上边界所在的点,(p2,n) 所确定的点即为手指下边界所在的点。
步骤5中的修复工作,如果Nu为0,则表明步骤4检测出的边 界完整,无断裂情况,无需进行修复。
如果断裂点Nu为1,手指边界断裂成两段,通过分析具体的指 静脉图像,选取靠近手指内部边界上的每一个点,根据这些点进行一 次多项式拟合,假设手指内部边界上共包含M个点 {(x1,y1),(x2,y2),(x3,y3)…(xM,yM)},已知手指边界为一条平滑的线, 因此采用线性多项式拟合,手指边界函数设定为:
ω(x)=kx+b
其中k为边界函数的斜率,b为常数项。用最小二乘法确定系数 k,b的值,令:
其中ω(xi)为手指边界的函数值,yi为第xi列所对应的行,当函数达到最小时,得到系数k,b的值,即确定手指边界的函数;假 定根据上述得到的边界函数来预测出错边界C1列所对应的行值为 R1,由于边界函数的预测往往存在一定的误差,为了减小误差,在 步骤3得到的二维卷积矩阵中,继续在C1列R1行的上下m行中寻 找卷积值最大时对应的行R2,此时(C1,R2)即为修复后边界上的一个 点,依据此方法修复出错边界上的所有点,进而得到准确的边界。
如果断裂点Nu大于等于2,则认为出现多次断裂,计算每一段 中包含点的个数以及这些点所在行的方差通常正确的手指 边界长度较长并且平滑,因此越大,越小,更符合正确边界 的特征,综合考虑这两个因素,选择出正确的手指边界,按照断裂点Nu为1时的修复方法拟合出一次边界函数,采用同样的修复方法对 错误的边界进行修复,得到正确边界。
通过以上所述的6个步骤,基本可以解决由于拍摄设备曝光过度 导致手指边界与设备背景融合的低质量静脉图像的边缘检测问题,具 有较强的鲁棒性,对后期的静脉关键区域的提取有重要意义。
以上所述仅为本发明的较佳实施方式,本发明的保护范围并不以 上述实施方式为限,但凡本领域普通技术人员根据本发明所揭示内容 所作的等效修饰或变化,皆应纳入权利要求书中记载的保护范围内。
Claims (4)
1.基于卷积的低质量手指静脉图像边缘检测算法,其特征在于:包括如下步骤:
步骤1,拍摄出的原始手指静脉图像,由于受光照的影响,存在随机噪声,因此对原始图像进行均值滤波,予以去除;
步骤2,将手指处理为水平方向,采用图像的水平中心线把手指分为上下两部分,分别进行不同的处理;
步骤3,对步骤2中手指的上下两部分采用各自对应的3*9矩阵进行卷积运算,得到卷积后的二维矩阵,对该二维矩阵的每一列进行遍历,分别找出每一列中手指上部和下部各自的卷积值最大时所在的行,遍历完成后,手指边界粗略检测完毕,得到粗略的手指边界;
步骤4,针对步骤3中粗略检测出的手指边界会存在的断裂的情况,对步骤3的手指边界断裂点进行检测;从左到右检测步骤3得到的手指边界;如果不存在断裂,则检测完成,转到步骤6;如果存在断裂,则转入步骤5进行修复工作;
步骤5,根据步骤4检测出的断裂情况进行不同的处理,如果只有一个断裂点,那么手指边界断裂为两段,此时依据靠近手指内部的那条边界中的点进行一次多项式拟合,得到对应的边界函数,再利用边界函数来修复另一段出错的边界;如果大于等于两个断裂点,则认为手指边界存在多处断裂,遍历断裂的每一段手指边界,纪录每一段边界中所包含点的个数以及这些点所在行的方差,综合考虑这两个因素,选择出正确的手指边界,利用正确边界的点采用相同的方法拟合出边界函数来修复出错边界的点;
步骤6,经历了步骤4的边界断裂点的检测,和步骤5的断裂点修复过程,得到最后的完整的手指边界。
3.根据权利要求1所述的基于卷积的低质量手指静脉图像边缘检测算法,其特征在于:所述步骤5中的修复工作,如果断裂点Nu为1,手指边界断裂成两段,通过分析具体的指静脉图像,选取靠近手指内部边界上的每一个点,根据这些点进行一次多项式拟合,假设手指内部边界上共包含M个点{(x1,y1),(x2,y2),(x3,y3)…(xM,yM)},已知手指边界为一条平滑的线,因此采用线性多项式拟合,手指边界函数设定为:
ω(x)=kx+b
其中k为边界函数的斜率,b为常数项;用最小二乘法确定系数k,b的值,令:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910863733.0A CN110765856B (zh) | 2019-09-12 | 2019-09-12 | 基于卷积的低质量手指静脉图像边缘检测算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910863733.0A CN110765856B (zh) | 2019-09-12 | 2019-09-12 | 基于卷积的低质量手指静脉图像边缘检测算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110765856A CN110765856A (zh) | 2020-02-07 |
CN110765856B true CN110765856B (zh) | 2022-08-12 |
Family
ID=69329495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910863733.0A Active CN110765856B (zh) | 2019-09-12 | 2019-09-12 | 基于卷积的低质量手指静脉图像边缘检测算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110765856B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112508969B (zh) * | 2020-02-18 | 2021-12-07 | 广州柏视医疗科技有限公司 | 基于深度学习网络的三维影像的管状结构分割图断裂修复系统 |
CN112784837B (zh) * | 2021-01-26 | 2024-01-30 | 电子科技大学中山学院 | 一种感兴趣区域提取方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103778423A (zh) * | 2013-11-25 | 2014-05-07 | 中国人民解放军国防科学技术大学 | 基于灰度近邻和方差约束的手指静脉纹路修复方法 |
CN109409181A (zh) * | 2018-07-04 | 2019-03-01 | 华南理工大学 | 一种用于低质量指静脉图像的手指上下边缘独立检测方法 |
CN109815869A (zh) * | 2019-01-16 | 2019-05-28 | 浙江理工大学 | 一种基于fcn全卷积网络的指静脉识别方法 |
CN110188614A (zh) * | 2019-04-30 | 2019-08-30 | 杭州电子科技大学 | 一种基于皮裂纹分割的nlm滤波指静脉去噪方法 |
-
2019
- 2019-09-12 CN CN201910863733.0A patent/CN110765856B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103778423A (zh) * | 2013-11-25 | 2014-05-07 | 中国人民解放军国防科学技术大学 | 基于灰度近邻和方差约束的手指静脉纹路修复方法 |
CN109409181A (zh) * | 2018-07-04 | 2019-03-01 | 华南理工大学 | 一种用于低质量指静脉图像的手指上下边缘独立检测方法 |
CN109815869A (zh) * | 2019-01-16 | 2019-05-28 | 浙江理工大学 | 一种基于fcn全卷积网络的指静脉识别方法 |
CN110188614A (zh) * | 2019-04-30 | 2019-08-30 | 杭州电子科技大学 | 一种基于皮裂纹分割的nlm滤波指静脉去噪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110765856A (zh) | 2020-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8442276B2 (en) | Invariant radial iris segmentation | |
US8285056B2 (en) | Method and apparatus for computing degree of matching | |
Peralta et al. | Minutiae filtering to improve both efficacy and efficiency of fingerprint matching algorithms | |
CN110765856B (zh) | 基于卷积的低质量手指静脉图像边缘检测算法 | |
WO2008054940A2 (en) | Print matching method and apparatus using pseudo-ridges | |
US20070292005A1 (en) | Method and apparatus for adaptive hierarchical processing of print images | |
KR20170003348A (ko) | 사용자 인증을 위한 등록 데이터베이스의 갱신 방법 및 장치 | |
CN113269720B (zh) | 一种直缝焊管的缺陷检测方法、系统和可读介质 | |
Wang et al. | A 3D tubular flux model for centerline extraction in neuron volumetric images | |
CN117557566B (zh) | 基于图像特征的电子烟发热丝质量智能检测方法 | |
CN112926516B (zh) | 一种鲁棒的手指静脉图像感兴趣区域提取方法 | |
KR20210082624A (ko) | 지문 향상 방법 | |
Peng et al. | An effective preprocessing method for finger vein recognition | |
CN109740569B (zh) | 基于编码器-解码器的手指静脉成像时残缺信息复原方法 | |
WO2007103698A2 (en) | Invariant radial iris segmentation | |
Hossein-Nejad et al. | Retinal image registration based on auto-adaptive SIFT and redundant keypoint elimination method | |
Girgis et al. | A robust method for partial deformed fingerprints verification using genetic algorithm | |
CN107874760B (zh) | 一种医学影像中的导丝追踪方法、装置、设备及存储介质 | |
KR20030086396A (ko) | 위치이동, 회전에 무관한 지문인식 방법 및 지문인식 장치및 그 방법을 실행시키기 위한 프로그램을 기록한기록매체 | |
Ahmed et al. | Minutiae based partial fingerprint registration and matching method | |
Mahadik et al. | Access Control System using fingerprint recognition | |
US7333640B2 (en) | Extraction of minutiae from a fingerprint image | |
Ramos et al. | Analysis and improvements of fingerprint enhancement from gabor iterative filtering | |
JP2008276758A (ja) | 指紋特異点抽出装置及び指紋特異点抽出方法 | |
Liu et al. | Ridge Orientation Estimation and Verification Algorithm for Fingerprint Enhancement. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |