CN111339828A - 基于红外影像和超声多普勒结合的静脉显影识别方法 - Google Patents
基于红外影像和超声多普勒结合的静脉显影识别方法 Download PDFInfo
- Publication number
- CN111339828A CN111339828A CN202010060832.8A CN202010060832A CN111339828A CN 111339828 A CN111339828 A CN 111339828A CN 202010060832 A CN202010060832 A CN 202010060832A CN 111339828 A CN111339828 A CN 111339828A
- Authority
- CN
- China
- Prior art keywords
- image
- local contrast
- pixel
- infrared
- vein
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000003462 vein Anatomy 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000017531 blood circulation Effects 0.000 claims abstract description 14
- 230000011218 segmentation Effects 0.000 claims abstract description 11
- 230000018109 developmental process Effects 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000002604 ultrasonography Methods 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000001228 spectrum Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 241001250090 Capra ibex Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供的基于红外影像和超声多普勒结合的静脉显影识别方法,包括:获取患者待识别部位的静脉影像,并对所述静脉影像进行预处理;所述静脉影像包括:红外医学影像和相对应的超声多普勒血流声谱图;识别所述红外医学影像和所述超声多普勒血流声谱图的特征值点,并进行像素点匹配;对所述预处理后的红外医学影像内的像素点进行逐像素滑窗,并计算每个像素点的红外影像局部对比度;结合所述红外影像局部对比度和所述声谱图局部对比度,得到每个像素点的加权局部对比度,进而得到全图的加权局部对比度图;通过对加权局部对比度图进行阈值分割即可提取出目标,进而实现静脉影像的显影识别。
Description
技术领域
本发明涉及医学影像处理领域,尤其涉及基于红外影像和超声多普勒结 合的静脉显影识别方法。
背景技术
静脉红外成像在医疗辅助及生物特征识别中发挥着重要作用。在医疗方 面,静脉成像技术得到了快速的发展,有相关资料表明:正常成人首次进行 静脉穿刺的成功率为73%;对儿童进行静脉穿刺时前2次的失败率为58%; 对于多数人而言,在静脉穿刺时过程中“漏针”的概率为23-28%,由于人体浅 层皮下组织较多,在静脉穿刺过程中会受如:血管深度、脂肪层厚度、皮肤 色素含量等诸多因素的影响,使得经验不足乃至经验丰富的医护人员在进行 穿刺时易存在成功率较低的现象。在生物身份识别领域中,手背中静脉图像含有较多的可识别特征,因此,相比较于传统的身份识别方式而言,静脉识 别具有非接触、唯一性、区分活体等优势,这使得其较于其它识别方式更为 安全。所以人体浅层静脉成像技术能够在上述诸方面发挥重要作用,尤其是 在医疗领域中,具有非常宽广的发展前景。
随着人工智能的火热,多种医学检测手段的融合可以提高预后预测能力 和准确度,也将会取代影像科医生的很多工作。有调查表明,放射科医生们 表达了使用人工智能工具的意愿,并希望能有一个工具和平台快捷地提供算 法和结果,在医学影像处理中发挥积极的作用。
目前应用人工智能技术的软件平台开发与应用是主流趋势。随着软件 架构的不断发展和完善,开源框架成为主流。计算机辅助诊断(computer aided detection,CAD)是当前人工智能技术的热点应用场景。研究人员针对影像组 学方向开发开源软件平台IBEX和QIFE,但平台内容仅包括图像处理和简单 建模,并不具备完整的医学影像处理计算流程和模型参数调优等功能。
申请号为201610980034.0的发明申请公开了一种基于双目立体视觉的人 体浅层静脉三维重建装置及方法,采用近红外光源与摄像机分别处于采集对 象的两侧,有效避免了因皮肤表面结构及纹理对光源的反射影响,能够提高 成像质量,但近红外光源和摄像机成像融合过程不易标定,计算过程复杂, 增加了实现难度。
申请号为201811642253.3的发明申请公开了一种获取指静脉影像增强的 方法及设备,通过低成本摄像机就可以获取通过近红外线照射手指的指静脉 影像,获取指静脉影像后通过二维对称遮罩矩阵离散小波转换的低低频矩阵 系数对指静脉影像进行前处理,通过侦测处理后的指静脉影像的谷点获得指 静脉纹理特征,能够识别静脉影像位置,但不能对静脉影像进行三维重建。
发明内容
本发明提供的基于红外影像和超声多普勒结合的静脉显影识别方法,通 过患者待识别部位的静脉影像,即红外医学影像和相对应的超声多普勒血流 声谱图的图形优化融合方法,能够有效提取图像特征,以实现最大限度地实 现静脉显影识别。
本发明提供的技术方案为:
基于红外影像和超声多普勒结合的静脉显影识别方法,包括:
获取患者待识别部位的静脉影像,并对所述静脉影像进行预处理;所述 静脉影像包括:红外医学影像和相对应的超声多普勒血流声谱图;
识别所述红外医学影像和所述超声多普勒血流声谱图的特征值点,并进 行像素点匹配;
对所述预处理后的红外医学影像内的像素点进行逐像素滑窗,并计算每 个像素点的红外影像局部对比度;
对所述预处理后的声谱图内的像素点进行逐像素滑窗,并计算每个像素 点的声谱图局部对比度;
结合所述红外影像局部对比度和所述声谱图局部对比度,得到每个像素 点的加权局部对比度,进而得到全图的加权局部对比度图;
通过对加权局部对比度图进行阈值分割即可提取出目标,进而实现静脉 影像的显影识别。
优选的是,所述红外医学影像和相对应的超声多普勒血流声谱图预处理 过程包括:
步骤a、对采集的静脉影像进行二值化处理,得到二值化后的静脉影像图 像:
式中,I(x,y)为位置的灰度值,thresh为预设阈值,f(x,y)为二值化后静 脉图像(x,y)位置的灰度值;
步骤b、对所述二值化图像进行像素点分割,得到ξ=m×n个像素点;其 中,m为横向像素个数,n为纵向像素个数;
步骤c、对像素点分割后的图像分别进行取反与直方图均衡化操作,从而 获得m×n像素大小的预处理的静脉图像。
优选的是,所述红外影像局部对比度计算公式为:
其中,Dh(x,y)为位于(x,y)位置像素点的红外影像局部对比度,fs(x,y)为 位于(x,y)位置像素点的二值化后灰度均值,f(xc,yc)为红外影像区域质心位置 像素点的二值化后灰度值。
优选的是,所述红外影像区域质心位置计算公式为:
利用零阶矩和一阶矩获取红外影像区域的质心,其中,零阶矩M00计算方 法满足:
式中,m与n分别为二值化后图像的行数与列数;
一阶矩M10和M01计算方法分别满足:
获取红外影像区域质心位置为:
优选的是,所述声谱图局部对比度计算公式为:
Ds(x,y)=κs(x,y)-κ(xc,yc)|;
其中,Ds(x,y)为声谱图的局部对比度,κs(x,y)为位于(x,y)位置像素点的 二值化后灰度值,κ(xc,yc)为红外影像区域质心位置像素点的二值化后灰度值。
优选的是,所述声谱图像质心位置为:
利用零阶矩和一阶矩获取声谱图像区域的质心,其中,零阶矩M00计算方 法满足:
式中,m与n分别为二值化后图像的行数与列数;
一阶矩M10和M01计算方法分别满足:
获取声谱图像区域质心位置为:
优选的是,所述每个像素点的加权局部对比度计算公式为:
DALL=1.24·Dh(x,y)+2.43·Ds(x,y);
其中,DALL为每个像素点的加权局部对比度。
优选的是,通过对加权局部对比度图进行阈值分割即可实现目标检测, 阈值计算公式为:
有益效果
本发明提供的基于红外影像和超声多普勒结合的静脉显影识别方法,通 过患者待识别部位的静脉影像,即红外医学影像和相对应的超声多普勒血流 声谱图的图形优化融合方法,能够有效提取图像特征,以实现最大限度地实 现静脉显影识别。
附图说明
图1为本发明所述的基于红外影像和超声多普勒结合的静脉显影识别方 法的流程图。
图2为本发明所述的红外医学影像和相对应的超声多普勒血流声谱图预 处理过程流程图。
具体实施方式
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照 说明书文字能够据以实施。
如图1所示,本发明提供的基于红外影像和超声多普勒结合的静脉显影 识别方法,包括:
步骤S110、获取患者待识别部位的静脉影像,并对静脉影像进行预处理; 所述静脉影像包括:红外医学影像和相对应的超声多普勒血流声谱图;
如图2所示,红外医学影像和相对应的超声多普勒血流声谱图预处理过 程包括:
步骤S111、对采集的静脉影像进行二值化处理,得到二值化后的静脉影 像图像:
式中,I(x,y)为位置的灰度值,thresh为预设阈值,f(x,y)为二值化后静 脉图像(x,y)位置的灰度值;
步骤S112、对所述二值化图像进行像素点分割,得到ξ=m×n个像素点; 其中,m为横向像素个数,n为纵向像素个数;
步骤S113、对二值化图像分别进行取反与直方图均衡化操作,从而获得 m×n像素大小的预处理的静脉图像。
步骤S120、识别红外医学影像和所述超声多普勒血流声谱图的特征值点, 并进行像素点匹配;
步骤S130、对预处理后的红外医学影像内的像素点进行逐像素滑窗,并 计算每个像素点的红外影像局部对比度;红外影像局部对比度计算公式为:
其中,Dh(x,y)为位于(x,y)位置像素点的红外影像局部对比度,fs(x,y)为 位于(x,y)位置像素点的二值化后灰度均值,f(xc,yc)为红外影像区域质心位置 像素点的二值化后灰度值。红外影像区域质心位置计算公式为:
利用零阶矩和一阶矩获取红外影像区域的质心,其中,零阶矩M00计算方 法满足:
式中,m与n分别为二值化后图像的行数与列数;
一阶矩M10和M01计算方法分别满足:
获取红外影像区域质心位置为:
步骤S140、对预处理后的声谱图内的像素点进行逐像素滑窗,并计算每 个像素点的声谱图局部对比度;谱图局部对比度计算公式为:
Ds(x,y)=|κs(x,y)-κ(xc,yc)|;
其中,Ds(x,y)为声谱图的局部对比度,κs(x,y)为位于(x,y)位置像素点的 二值化后灰度值,κ(xc,yc)为红外影像区域质心位置像素点的二值化后灰度值。
声谱图像质心位置为:
利用零阶矩和一阶矩获取声谱图像区域的质心,其中,零阶矩M00计算方 法满足:
式中,m与n分别为二值化后图像的行数与列数;
一阶矩M10和M01计算方法分别满足:
获取声谱图像区域质心位置为:
步骤S150、结合红外影像局部对比度和所述声谱图局部对比度,得到每 个像素点的加权局部对比度,进而得到全图的加权局部对比度图;
每个像素点的加权局部对比度计算公式为:
DALL=1.24·Dh(x,y)+2.43·Ds(x,y);
其中,DALL为每个像素点的加权局部对比度。
步骤S160、通过对加权局部对比度图进行阈值分割即可提取出目标,进 而实现静脉影像的显影识别。
通过对加权局部对比度图进行阈值分割即可实现目标检测,阈值计算公 式为:
本发明提供的基于红外影像和超声多普勒结合的静脉显影识别方法,通 过患者待识别部位的静脉影像,即红外医学影像和相对应的超声多普勒血流 声谱图的图形优化融合方法,能够有效提取图像特征,以实现最大限度地实 现静脉显影识别。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方 式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领 域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范 围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图 例。
Claims (8)
1.基于红外影像和超声多普勒结合的静脉显影识别方法,其特征在于,包括:
获取患者待识别部位的静脉影像,并对所述静脉影像进行预处理;所述静脉影像包括:红外医学影像和相对应的超声多普勒血流声谱图;
识别所述红外医学影像和所述超声多普勒血流声谱图的特征值点,并进行像素点匹配;
对所述预处理后的红外医学影像内的像素点进行逐像素滑窗,并计算每个像素点的红外影像局部对比度;
对所述预处理后的声谱图内的像素点进行逐像素滑窗,并计算每个像素点的声谱图局部对比度;
结合所述红外影像局部对比度和所述声谱图局部对比度,得到每个像素点的加权局部对比度,进而得到全图的加权局部对比度图;
通过对加权局部对比度图进行阈值分割即可提取出目标,进而实现静脉影像的显影识别。
5.根据权利要求4所述的基于红外影像和超声多普勒结合的静脉显影识别方法,其特征在于,所述声谱图局部对比度计算公式为:
Ds(x,y)=|κs(x,y)-κ(xc,yc)|;
其中,Ds(x,y)为声谱图的局部对比度,κs(x,y)为位于(x,y)位置像素点的二值化后灰度值,κ(xc,yc)为红外影像区域质心位置像素点的二值化后灰度值。
7.根据权利要求6所述的基于红外影像和超声多普勒结合的静脉显影识别方法,其特征在于,所述每个像素点的加权局部对比度计算公式为:
DALL=1.24·Dh(x,y)+2.43·Ds(x,y);
其中,DALL为每个像素点的加权局部对比度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010060832.8A CN111339828B (zh) | 2020-01-19 | 2020-01-19 | 基于红外影像和超声多普勒结合的静脉显影识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010060832.8A CN111339828B (zh) | 2020-01-19 | 2020-01-19 | 基于红外影像和超声多普勒结合的静脉显影识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111339828A true CN111339828A (zh) | 2020-06-26 |
CN111339828B CN111339828B (zh) | 2021-04-30 |
Family
ID=71181437
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010060832.8A Active CN111339828B (zh) | 2020-01-19 | 2020-01-19 | 基于红外影像和超声多普勒结合的静脉显影识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111339828B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113192136A (zh) * | 2021-04-22 | 2021-07-30 | 杭州晟冠科技有限公司 | 一种基于图像识别的轮船定位跟踪方法 |
CN116309187A (zh) * | 2023-05-15 | 2023-06-23 | 济南科汛智能科技有限公司 | 一种儿童肺炎医疗影像智能增强方法 |
CN116831526A (zh) * | 2023-06-29 | 2023-10-03 | 成都市凯瑞医疗科技有限公司 | 红外双目与超声融合的三维血管成像方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104224129A (zh) * | 2014-09-24 | 2014-12-24 | 深圳市中科微光医疗器械技术有限公司 | 一种静脉血管深度识别方法和提示系统 |
CN104408453A (zh) * | 2014-09-29 | 2015-03-11 | 北京理工大学 | 基于多特征聚类的近红外皮下静脉分割方法 |
CN108182690A (zh) * | 2017-12-29 | 2018-06-19 | 中国人民解放军63861部队 | 一种基于前景加权局部对比度的红外微弱目标检测方法 |
KR20180078709A (ko) * | 2016-12-30 | 2018-07-10 | 주식회사 베프스 | 3차원 지정맥 패턴을 이용한 생체 인증 장치 및 이를 이용한 생체 인증 방법 |
CN108875629A (zh) * | 2018-06-14 | 2018-11-23 | 电子科技大学 | 基于多样本特征融合的掌静脉识别方法 |
CN110335259A (zh) * | 2019-06-25 | 2019-10-15 | 腾讯科技(深圳)有限公司 | 一种医学影像识别方法、装置和存储介质 |
-
2020
- 2020-01-19 CN CN202010060832.8A patent/CN111339828B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104224129A (zh) * | 2014-09-24 | 2014-12-24 | 深圳市中科微光医疗器械技术有限公司 | 一种静脉血管深度识别方法和提示系统 |
CN104408453A (zh) * | 2014-09-29 | 2015-03-11 | 北京理工大学 | 基于多特征聚类的近红外皮下静脉分割方法 |
KR20180078709A (ko) * | 2016-12-30 | 2018-07-10 | 주식회사 베프스 | 3차원 지정맥 패턴을 이용한 생체 인증 장치 및 이를 이용한 생체 인증 방법 |
CN108182690A (zh) * | 2017-12-29 | 2018-06-19 | 中国人民解放军63861部队 | 一种基于前景加权局部对比度的红外微弱目标检测方法 |
CN108875629A (zh) * | 2018-06-14 | 2018-11-23 | 电子科技大学 | 基于多样本特征融合的掌静脉识别方法 |
CN110335259A (zh) * | 2019-06-25 | 2019-10-15 | 腾讯科技(深圳)有限公司 | 一种医学影像识别方法、装置和存储介质 |
Non-Patent Citations (2)
Title |
---|
JINFENGYANG: "Accurate ROI localization and hierarchical hyper-sphere model for finger-vein recognition", 《NEUROCOMPUTING》 * |
唐超颖: "一种基于近红外_可见光映射的快捷静脉提取算法", 《东南大学学报(自然科学版)》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113192136A (zh) * | 2021-04-22 | 2021-07-30 | 杭州晟冠科技有限公司 | 一种基于图像识别的轮船定位跟踪方法 |
CN116309187A (zh) * | 2023-05-15 | 2023-06-23 | 济南科汛智能科技有限公司 | 一种儿童肺炎医疗影像智能增强方法 |
CN116831526A (zh) * | 2023-06-29 | 2023-10-03 | 成都市凯瑞医疗科技有限公司 | 红外双目与超声融合的三维血管成像方法 |
CN116831526B (zh) * | 2023-06-29 | 2024-01-02 | 成都市凯瑞医疗科技有限公司 | 红外双目与超声融合的三维血管成像方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111339828B (zh) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Loizou et al. | An integrated system for the segmentation of atherosclerotic carotid plaque | |
Guo et al. | Unsupervised denoising of optical coherence tomography images with nonlocal-generative adversarial network | |
Golemati et al. | Using the Hough transform to segment ultrasound images of longitudinal and transverse sections of the carotid artery | |
WO2017036231A1 (zh) | 从光学相干断层图像获取视网膜结构的方法及其系统 | |
CN105741299B (zh) | 一种冠状动脉ct血管造影图像分割方法 | |
CN110930374A (zh) | 一种基于双深度相机的腧穴定位方法 | |
WO2020001086A1 (zh) | 基于深度学习的心脏ct图像分割方法、装置、设备及介质 | |
CN111339828A (zh) | 基于红外影像和超声多普勒结合的静脉显影识别方法 | |
Loizou et al. | An integrated system for the segmentation of atherosclerotic carotid plaque ultrasound video | |
CN109003280B (zh) | 一种双通道血管内超声影像的血管中内膜分割方法 | |
CN112446862A (zh) | 一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法 | |
CN111914925B (zh) | 一种基于深度学习的患者行为多模态感知与分析系统 | |
CN106570856A (zh) | 水平集动态规划颈总动脉内中膜厚度测量装置和方法 | |
Loizou et al. | Segmentation of atherosclerotic carotid plaque in ultrasound video | |
CN110428488A (zh) | 一种基于计算机辅助肝脏ct诊断系统及方法 | |
Wang et al. | Multiple sclerosis detection via 6-layer stochastic pooling convolutional neural network and multiple-way data augmentation | |
Matsakou et al. | Automated detection of the carotid artery wall in longitudinal B-mode images using active contours initialized by the Hough transform | |
Zhang et al. | Automatic plaque segmentation in coronary optical coherence tomography images | |
CN112075981B (zh) | 静脉穿刺机器人控制方法、装置及计算机可读存储介质 | |
CN111292410B (zh) | 一种静脉显影照相装置及其三维全景模型的生成方法 | |
JP7164890B2 (ja) | 3次元血管認識方法及び3次元血管認識装置 | |
Ataei et al. | Low dose ct denoising using dilated residual learning with perceptual loss and structural dissimilarity | |
CN116616727A (zh) | 一种脉搏定位、采集、分析方法及装置 | |
CN113744234A (zh) | 一种基于gan的多模态脑部图像配准方法 | |
CN110570369B (zh) | 一种甲状腺结节超声图像去噪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |