CN113361412B - 一种基于ulbp和surf的特征递进的手指静脉图像精确匹配方法 - Google Patents
一种基于ulbp和surf的特征递进的手指静脉图像精确匹配方法 Download PDFInfo
- Publication number
- CN113361412B CN113361412B CN202110634758.0A CN202110634758A CN113361412B CN 113361412 B CN113361412 B CN 113361412B CN 202110634758 A CN202110634758 A CN 202110634758A CN 113361412 B CN113361412 B CN 113361412B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- ulbp
- matching
- surf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种基于ULBP和SURF的特征递进的手指静脉图像精确匹配方法,包括以下步骤:S1:手指静脉图像预处理;S2:对预处理后图像进行图像增强;S3:将所提特征与数据库中特征信息进行匹配,并输出匹配结果;实现了由粗到精的手指静脉识别算法;解决了单个ULBP算法灰度范围小、识别精度不高,以及利用SURF特征点进行匹配时的耗时过长的问题。
Description
技术领域
本发明涉及识别算法领域,特别是一种基于ULBP和SURF的特征递进的手指静脉图像精确匹配方法。
背景技术
随着信息化建设的逐渐加速,这个社会变得越来越智能化,人们用于身份识别(Identification)的方式也趋于多样化。身份识别技术越来越多的进入到人们的日常生活应用之中,但安全等级不高的身份识别技术可能会引起较大的财产或物品损失。因此,人们对身份识别的安全性能有了更高的需求,都希望能避免因身份错误识别带来的不幸。目前,传统的身份识别方法主要依靠于钥匙、身份证、密码、信物等可区分信息,但这些信息需随身携带,因此存在易泄露、易遗失、易盗取、携带不便等缺点。为了克服这些缺点,人们开始研究如何利用设置“生物锁”的方式来进行身份识别。这一研究引起了国内外众多团队的关注,在这一浪潮下,基于生物特征的识别技术应运而生。各科研团队在生物特征识别领域中的研究,主要涉及计算机视觉与听觉、图像处理、模式识别、语音处理等技术。随着计算机处理性能及运算速度的不断提高,以及各科研团队研究的不断深入,这些技术持续创新与融合,为生物特征识别领域的发展注入了新的活力。当下,我国正致力于新型基础设施建设,其中数字化身份的普及使得生物特征识别技术在社区、园区、金融业、刑事侦查等场景得到广泛应用,例如现在的许多大型商场可利用支付宝的“刷脸”功能进行支付,使我们不必随身携带现金,减少了现金丢失和被盗窃的顾虑,同时在新冠疫情常态化的状况下,避免了在交易过程中人与人之间的直接接触而带来的病毒传播;以及近年来广为人知的基于人脸识别的“天眼”工程,还有广州地铁站采用手指静脉识别技术进行进出身份识别等,越来越多的生物特征识别技术被应用于公共场所,使我们的生活有了更高的安全保障,出行方式更便捷。综上所述,对生物特征识别技术进行研究,既能有效配合国家建设人工智能社会的发展需要,又能有效解决人民生活中的身份识别安全问题。因此,是一项值得持续推进的工作。本发明主要聚焦于手指静脉图像这一生物特征识别问题,主要对手指静脉图像的特征提取和特征匹配进行重点研究。
现有技术一:
等价局部二值模式(Uniform Local Binary Pattern,ULBP):
ULBP改进了传统LBP特征,解决了传统LBP特征统计维度过高的问题。同时,由于ULBP特征只记录了局部二值模式中的0~1跳变次数,所以ULBP特征还具有旋转不变性以及对高频噪声的鲁棒性。
ULBP记录二进制数中的0-1之间的跳变次数,并将跳变次数小于一定阈值的二进制数认为是等价模式,其余的可全部置于0,计算式如下:
式(1)记录了中心点邻域内0~1之间的跳变次数,P为邻域像素点,R为半径,gc为中心像素灰度值。式(2)为中心点对应ULBP模式中二进制的编码数值。ULBP缩减了特征向量的维数,且依然保留大量的有效信息。
现有技术一的缺点
灰度范围为0~58,会缺失部分静脉信息,导致识别不够精确。
现有技术二:
基于SURF特征点的识别技术
SURF特征提取算法可分为特征点的提取与描述符的生成两个部分。在特征点提取过程中,首先利用高斯模板对图像进行卷积,可以在像素点(x,y)处得到一个带有尺度信息的Hessian矩阵,表达式为:
式中L(x,y,σ')代表着图像与高斯函数二阶微分在(x,y)点处的卷积,σ'为尺度信息。为了降低运算复杂度,SURF算法采用盒子滤波(BoxFilter)模板(Dxx、Dyy、Dxy)近似代替二阶高斯滤波模板来求得Hessian矩阵的判别式:
Det(Happrox)=DxxDyy-(0.9Dxy)2 (5)
此时需设置阈值S,若Det(Happrox)>S,则认为是感兴趣点。通常S取值在400~800之间,阈值越大则能检测到的特征点数量越少,但更加准确和稳定。利用不同尺度及不同尺寸的BoxFilter与原图像进行卷积来构造一个差分尺度空间,然后对该尺度空间中检测到的兴趣点进行3×3×3邻域的非极大值抑制,能去除其中的非极值点;并利用线性插值法寻找极值点P邻域内的精确位置:
式中P11≈(x1,y1)、P12≈(x1,y2)、P21≈(x2,y1)、P22≈(x2,y2)为点P四周的邻域坐标值。
在生成特征点的描述符之前需要先定位特征点的主方向。首先将特征点作为中心,划分一个以6倍特征尺度为半径的圆形区域,同时设置一个弧度为60的扇形区域并以15°为间隔进行旋转,依次统计扇形领域内的全部Harr特征(水平、垂直),将统计值最大的扇形区域方向作为该点的主方向。
找到主方向后,再次以特征点为中心,将其以主方向为基准且边长为20s(s为差分尺度空间中,检测到的特征点所在的尺度)的正方形邻域划分为一个4×4的区块(则每个区块的大小为5s×5s)。然后,统计每个子区域内与主方向垂直、水平的Harr小波响应(并用高斯函数加权),从而得到垂直方向与水平方向小波响应的加权和与响应绝对值的加权和:∑dx、∑dy、∑|dx|、∑|dy|。因此每个特征点可以得到一个4×4×4的特征点描述向量。最后再对这个64维向量进行归一化就可以得到图像中在该点的SURF特征描述符。
现有技术二的缺点
算法较为复杂,耗时长。
发明内容
为解决现有技术中存在的问题,本发明提供了一种基于ULBP和SURF的特征递进的手指静脉图像精确匹配方法,解决了单个ULBP算法、灰度范围小、识别精度不高的问题,以及SURF算法精细匹配导致计算耗时长等问题。
本发明采用的技术方案是:一种基于ULBP和SURF的特征递进的精确匹配方法,包括以下步骤:
S1:手指静脉图像预处理;
S2:经过图像预处理后的图像进行图像增强与特征提取;
S3:将所提特征与数据库中的特征信息进行匹配,并输出匹配结果。
优选地,S1包括以下子步骤:
S11:输入待测图像;
S12:检测手指上下边缘;
S13:计算边缘角度及水平矫正;
S14:取矫正图像的上下内切点;
S15:尺寸归一化。
优选地,S2包括以下子步骤:
S21:利用Gabor滤波对图像进行纹理增强;
S22:获取ULBP特征图;
S23:采用空间金字塔的形式,提取ULBP图像的特征直方图;
S24:在Gabor滤波的基础上引入了CLAHE增强算法对图像进行增强,以便获取更多的特征点信息,增加图像的识别准确性,提取SURF特征。
优选地,S3包括以下步骤:
S31:在S23处理后,在特征匹配阶段根据第一级特征匹配方法,利用ULBP特征直方图与事先训练好的数据一一对比,并计算相似图像的相关度,得到初步结果;
S32:在S24处理后,利用随机k_d树索引配对技术,对SURF特征点进行匹配,并通过第二级特征匹配方法计算出特征加权求和得分,得到最终结果。
优选地,S31的相似图像的相关度计算公式为:
优选地,S31的第一级特征匹配方法包括以下步骤:
S311:对待识别的手指静脉图像先提取其ULBP特征向量,与训练集中图像的ULBP特征以遍历的形式进行相似性比较,计算出相似性C;
S312:若在计算过程中存在唯一类使得C≥T1,T1为计算相似性时所设上限阈值,的情况,则认为找到了该手指静脉图像的同源图像,可立即结束算法的后续检索,直接判定识别成功;
S313:若在遍历数据库中信息后,得到的C全部小于T2,T2为计算相似性时所设下限阈值,存在0<T2<T1<1,则直接判定识别失败,即该图像非数据库中的“合法图像”;
S314:如果得到一组计算结果T2≤C<T1,则需引入SURF特征做进一步的判断;
所述S32的第二级特征匹配方法包括以下子步骤:
S321:将所得相似图像根据C进行排序,将相似性最高的图像进行保留;
S322:然后利用建立k_d树进行索引的方法,将待测图像中的SURF特征点与前面选取出的图像进行逐一匹配,并选取其中Ng个优质配对的特征点作为识别依据,最后通过加权求和计算出得分,并进一步判定,即:
Score=Ng/3N+2C/3
式中,N为待测图像中SURF特征点的数量,Ng/N表示两幅图像中优质配对特征点的数量占待测图像总特征点数的比重;
S323:每项特征计算结果中赋予的权值,1/3和2/3,为实验获取的经验值;
S324:若两幅图像完全相同,则图像所采集的特征也会完全相同,在利用该方法进行比较时,存在Ng=N、C=1的情况,使得最终得分Score=1;
S325:若两幅图像差异较大,那么会存在Ng远小于N、C趋近于0的状况,使得最终的分Score也趋近于0。所以经该式计算可得,其得分值越趋近于1则两幅图像越相似。
本发明基于ULBP和SURF的特征递进的手指静脉图像精确匹配方法有益效果如下:
1、本发明所提ULBP与SURF特征递进识别的方法,能获得较好的手指静脉图像识别效果,识别率达到了99.16%。
2、选用ULBP作为特征级联中的首个特征匹配对象,能较好地从数据库中筛选出与原图相似的图像,为后期的SURF特征匹配提供较好的识别对象;同时初次匹配耗时极短,增加了整个识别过程的效率。
3、本发明利用第一级粗匹配和得分结果,减少了参与第二级特征匹配的图像数量,既增加了识别精度,也减少了识别的时间。
附图说明
图1为本发明基于ULBP和SURF的特征递进的手指静脉图像精确匹配方法的流程图。
具体实施方式
下面结合附图对本发明专利的实施例进行详细说明。
下面对本发明专利的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明专利,但应该清楚,本发明专利不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明专利的精神和范围内,这些变化是显而易见的,一切利用本发明专利构思的发明创造均在保护之列。
如图1所示,该方法主要通过ULBP与SURF技术对图像进行特征提取。ULBP特征提取时,先利用Gabor滤波对图像进行纹理增强,然后获取ULBP特征图,并且采用空间金字塔的形式,提取ULBP图像的特征直方图。SURF特征提取时,在Gabor滤波的基础上引入了CLAHE增强算法对图像进行增强,以便获取更多的特征点信息,增加图像的识别准确性。在特征匹配阶段,先利用ULBP特征直方图与事先训练好的数据一一对比,并得到初步结果;然后利用随机k_d树索引配对技术,对SURF特征点进行匹配,并利用匹配得分得到最终结果。经实验验证,以此为策略的特征递进的识别方法,可减少识别时因SURF特征匹配耗时过长带来的问题,也能改善单一特征无法准确表示手指静脉信息的困境。
特征向量相似性度量原理
相关性比较公式来源于统计学中的相关系数,是研究变量之间线性相关程度的量,其计算公式如下:
特征匹配方法
本发明采用了特征级联的分类识别方法,对待识别的手指静脉图像先提取其ULBP特征向量,与训练集中图像的ULBP特征以遍历的形式进行相似性比较,计算出相似性C。若在计算过程中存在唯一类使得C≥T1(T1为计算相似性时所设上限阈值)的情况,则认为找到了该手指静脉图像的同源图像,可立即结束算法的后续检索,直接判定识别成功。若在遍历数据库中信息后,得到的C全部小于T2(T2为计算相似性时所设下限阈值,存在0<T2<T1<1),则直接判定识别失败,即该图像非数据库中的“合法图像”。而如果得到一组计算结果T2≤C<T1,则需引入SURF特征做进一步的判断。
首先,将所得相似图像根据C进行排序,将相似性最高的图像进行保留;然后利用建立多棵随机k_d树进行索引的方法,将待测图像中的SURF特征点与前面选取出的图像进行逐一匹配,并选取其中Ng个优质配对的特征点作为识别依据,最后结合加权求和计算得分匹配进一步判定,即:
Score=Ng/3N+2C/3 (8)
式中,N为待测图像中SURF特征点的数量,Ng/N表示两幅图像中优质配对特征点的数量占待测图像总特征点数的比重。而每项特征计算结果中赋予的权值(1/3和2/3)为实验获取的经验值。若两幅图像完全相同,则图像所采集的特征也会完全相同,在利用该方法进行比较时,存在Ng=N、C=1的情况,使得最终得分Score=1;若两幅图像差异较大,那么会存在Ng远小于N、C趋近于0的状况,使得最终的分Score也趋近于0。所以经该式计算可得,其得分值越趋近于1则两幅图像越相似。
Claims (1)
1.一种基于ULBP和SURF的特征递进的手指静脉图像精确匹配方法,其特征在于,包括以下步骤:
S1:对手指静脉图像进行预处理;
S2:对预处理后图像进行图像增强;
S3:利用一种由粗到精的方式,分为两级特征匹配,在粗匹配阶段利用ULBP特征的低维特性,迅速找到匹配结果,如不满足阈值条件则进入第二阶段的细匹配,细匹配阶段则利用SURF特征来寻找匹配结果;
所述S1包括以下子步骤:
S11:输入待测图像;
S12:检测手指上下边缘;
S13:计算边缘角度及水平矫正;
S14:取矫正图像的上下内切点;
S15:尺寸归一化;
所述S2包括以下子步骤:
S21:利用Gabor滤波对图像进行纹理增强;
S22:获取ULBP特征图;
S23:采用空间金字塔的形式,提取ULBP图像的特征直方图;
S24:在Gabor滤波的基础上引入了CLAHE增强算法对图像进行增强,以便获取更多的特征点信息,增加图像的识别准确性,提取SURF特征;
所述S3包括以下步骤:
S31:在S23处理后,在特征匹配阶段根据第一级特征匹配方法,利用ULBP特征直方图与事先训练好的数据一一对比,并计算相似图像的相关度,得到初步结果;
S32:在S24处理后,利用随机k_d树索引配对技术,对SURF特征点进行匹配,并通过第二级特征匹配方法计算出特征加权求和得分,得到最终结果;
所述S31的相似图像的相关度计算公式为:
所述S31的第一级特征匹配方法包括以下步骤:
S311:对待识别的手指静脉图像先提取其ULBP特征向量,与训练集中图像的ULBP特征以遍历的形式进行相似性比较,计算出相似性C;
S312:若在计算过程中存在唯一类使得C≥T1,其中,T1为计算相似性时所设上限阈值的情况,则认为找到了该手指静脉图像的同源图像,可立即结束算法的后续检索,直接判定识别成功;
S313:若在遍历数据库中信息后,得到的C全部小于T2,其中T2为计算相似性时所设下限阈值,存在0<T2<T1<1,则直接判定识别失败,即该图像非数据库中的“合法图像”;
S314:如果得到一组计算结果T2≤C<T1,则需引入SURF特征做进一步的判断;
所述S32的第二级特征匹配方法包括以下子步骤:
S321:将所得相似图像根据C进行排序,将相似性最高的图像进行保留;
S322:然后利用建立多棵随机k_d树进行索引的方法,将待测图像中的SURF特征点与前面选取出的图像进行逐一匹配,并选取其中Ng个优质配对的特征点作为识别依据,最后通过加权求和计算出得分,并进一步判定,即:
Score=Ng/3N+2C/3
式中,N为待测图像中SURF特征点的数量,Ng/N表示两幅图像中优质配对特征点的数量占待测图像总特征点数的比重;
S323:每项特征计算结果中赋予的权值1/3和2/3,为实验获取的经验值;
S324:若两幅图像完全相同,则图像所采集的特征也会完全相同,在利用该方法进行比较时,存在Ng=N、C=1的情况,使得最终得分Score=1;
S325:若两幅图像差异较大,那么会存在Ng远小于N,C趋近于0的状况,使最终得分Score也趋近于0,所以经该式计算可得,其得分值越趋近于1则两幅图像越相似。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110634758.0A CN113361412B (zh) | 2021-06-08 | 2021-06-08 | 一种基于ulbp和surf的特征递进的手指静脉图像精确匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110634758.0A CN113361412B (zh) | 2021-06-08 | 2021-06-08 | 一种基于ulbp和surf的特征递进的手指静脉图像精确匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113361412A CN113361412A (zh) | 2021-09-07 |
CN113361412B true CN113361412B (zh) | 2022-03-01 |
Family
ID=77532960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110634758.0A Active CN113361412B (zh) | 2021-06-08 | 2021-06-08 | 一种基于ulbp和surf的特征递进的手指静脉图像精确匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113361412B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107729820A (zh) * | 2017-09-27 | 2018-02-23 | 五邑大学 | 一种基于多尺度hog的手指静脉识别方法 |
CN110163182A (zh) * | 2019-05-30 | 2019-08-23 | 辽宁工业大学 | 一种基于kaze特征的手背静脉识别方法 |
CN111192198A (zh) * | 2019-12-26 | 2020-05-22 | 台州学院 | 一种基于管道机器人的管道全景扫描方法 |
CN112446260A (zh) * | 2019-09-02 | 2021-03-05 | 杭州萤石软件有限公司 | 一种认证方法和装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104063701B (zh) * | 2014-07-14 | 2017-07-28 | 电子科技大学 | 基于surf词汇树和模板匹配的快速电视台台标识别系统及其实现方法 |
CN104615635B (zh) * | 2014-11-10 | 2018-06-05 | 南方医科大学 | 基于方向特征的手掌静脉分类索引构建方法 |
CN105518716A (zh) * | 2015-10-10 | 2016-04-20 | 厦门中控生物识别信息技术有限公司 | 手指静脉识别方法及装置 |
KR101626837B1 (ko) * | 2015-12-08 | 2016-06-02 | 주식회사 나르테크놀로지 | 손가락 마디 및 지정맥 기반의 융합형 생체 인증 방법 및 그 장치 |
CN108921006B (zh) * | 2018-05-03 | 2020-08-04 | 西北大学 | 手写签名图像真伪鉴别模型建立方法及真伪鉴别方法 |
CN110390646B (zh) * | 2019-06-12 | 2023-10-17 | 西南科技大学 | 一种细节保持图像去噪方法 |
CN110472479B (zh) * | 2019-06-28 | 2022-11-22 | 广州中国科学院先进技术研究所 | 一种基于surf特征点提取和局部lbp编码的指静脉识别方法 |
CN110321870B (zh) * | 2019-07-11 | 2023-01-03 | 西北民族大学 | 一种基于lstm的掌静脉识别方法 |
CN110458214B (zh) * | 2019-07-31 | 2023-07-07 | 上海远眸软件有限公司 | 驾驶员更换识别方法和装置 |
-
2021
- 2021-06-08 CN CN202110634758.0A patent/CN113361412B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107729820A (zh) * | 2017-09-27 | 2018-02-23 | 五邑大学 | 一种基于多尺度hog的手指静脉识别方法 |
CN110163182A (zh) * | 2019-05-30 | 2019-08-23 | 辽宁工业大学 | 一种基于kaze特征的手背静脉识别方法 |
CN112446260A (zh) * | 2019-09-02 | 2021-03-05 | 杭州萤石软件有限公司 | 一种认证方法和装置 |
CN111192198A (zh) * | 2019-12-26 | 2020-05-22 | 台州学院 | 一种基于管道机器人的管道全景扫描方法 |
Non-Patent Citations (1)
Title |
---|
一种改进的快速特征点匹配方法;杜丙新等;《测绘科学》;20100920;第35卷(第5期);137-139 * |
Also Published As
Publication number | Publication date |
---|---|
CN113361412A (zh) | 2021-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107403084B (zh) | 一种基于步态数据的身份识别方法 | |
CN111368683B (zh) | 基于模约束CenterFace的人脸图像特征提取方法及人脸识别方法 | |
CN111507206B (zh) | 一种基于多尺度局部特征融合的手指静脉识别方法 | |
CN105095880B (zh) | 一种基于lgbp编码的手指多模态特征融合方法 | |
CN113989890A (zh) | 基于多通道融合和轻量级神经网络的人脸表情识别方法 | |
CN111414862A (zh) | 基于神经网络融合关键点角度变化的表情识别方法 | |
CN105138974B (zh) | 一种基于Gabor编码的手指多模态特征融合方法 | |
CN100461217C (zh) | 一种复杂性测度的图像纹理分割方法 | |
CN105160305B (zh) | 一种手指多模态特征融合方法 | |
CN111079514A (zh) | 一种基于clbp和卷积神经网络的人脸识别方法 | |
Lee et al. | A Gabor filter-based approach to fingerprint recognition | |
He et al. | Iris feature extraction method based on LBP and chunked encoding | |
Ramya et al. | Certain investigation on iris image recognition using hybrid approach of Fourier transform and Bernstein polynomials | |
CN101178767A (zh) | 人脸和虹膜混合识别的新方法-识别层融合 | |
CN1858773A (zh) | 一种基于Gabor相位模式的图像识别方法 | |
Azizi et al. | Efficient iris recognition through improvement of feature extraction and subset selection | |
CN112070009B (zh) | 基于改进的lbp算子的卷积神经网络表情识别方法 | |
Alkoot et al. | A review on advances in iris recognition methods | |
CN113361412B (zh) | 一种基于ulbp和surf的特征递进的手指静脉图像精确匹配方法 | |
Liu et al. | A novel high-resolution fingerprint representation method | |
CN109753912B (zh) | 一种基于张量的多光谱掌纹匹配方法 | |
Mousavi et al. | Seven staged identity recognition system using Kinect V. 2 sensor | |
Khoirunnisaa et al. | The biometrics system based on iris image processing: a review | |
Karungaru et al. | Face recognition in colour images using neural networks and genetic algorithms | |
DR et al. | Fingerprint verification based on fusion of minutiae and ridges using strength factors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |