CN113902824B - 一种血管内光学相干断层扫描的导丝伪影去除方法 - Google Patents
一种血管内光学相干断层扫描的导丝伪影去除方法 Download PDFInfo
- Publication number
- CN113902824B CN113902824B CN202111187568.5A CN202111187568A CN113902824B CN 113902824 B CN113902824 B CN 113902824B CN 202111187568 A CN202111187568 A CN 202111187568A CN 113902824 B CN113902824 B CN 113902824B
- Authority
- CN
- China
- Prior art keywords
- artifact
- image
- guide wire
- training
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种血管内光学相干断层扫描的导丝伪影去除方法,属于医学图像处理技术领域,本发明为解决血管内光学相干断层扫描技术对心血管进行成像时存在导丝伪影的问题。它包括:获取有效帧图像数据;人工标记导丝和支柱位置,经过预处理后作为训练数据;构建训练伪影检测网络模型的数据集;构建伪影检测网络模型,对其进行训练,获得目标检测卷积神经网络模型,完成导丝伪影的检测;构建去除伪影网络的数据集;构建图像补全模型,对其进行训练,获得训练好的目标去除图像补全模型,完成导丝伪影的去除;将目标检测卷积神经网络模型和目标去除图像补全模型进行链接,完成导丝伪影检测去除重建。本发明IVOCT成像的导管伪影进行检测、去除及重建。
Description
技术领域
本发明涉及一种血管内光学相干断层扫描的导丝伪影的去除方法,属于医学图像处理技术领域。
背景技术
心血管疾病(Cardiovascular Disease,CVD)是一种严重威胁到人类,特别是五十岁以上中老年人健康的常见病,具有高患病率、高致残率和高死亡率的特点,即使应用目前最先进、完善的治疗手段,仍可有50%以上的心血管意外幸存者生活不能完全自理。随着生活条件的不断改善,以及生活节奏的不断加快,不良生活习惯导致的心血管疾病的患者越来越多,心血管疾病已经成为了健康的第一杀手。
而对心血管疾病的检查相对比较繁杂,血管内光学相干断层扫描(IVOCT)是目前最流行且前沿的心血管内腔成像技术,通过使用近红外光反射的血管内成像模式,可以清晰得到心血管内生物组织的成像,使得图像具有评估动脉粥样硬化斑块所需的分辨率和对比度,利用IVOCT图像对于心血管疾病的诊断结果相对非常可靠。
然而,在IVOCT的成像过程中,由于不透明的导丝遮蔽了近红外反射,IVCOT无法成像导致图像产生伪影,这使得在对IVOCT图像分析心血管疾病时变得困难起来。因此,如果实现IVOCT,伪影检测及去除技术的研究是很有必要的。
发明内容
本发明目的是为了解决血管内光学相干断层扫描技术对心血管进行成像时存在导丝伪影的问题,提供了一种血管内光学相干断层扫描的导丝伪影去除方法。
本发明所述一种血管内光学相干断层扫描的导丝伪影去除方法,它包括:
S1、获取完整的IVOCT视频影像数据,对IVOCT视频影像数据进行逐帧筛查,获得所有的有效帧图像数据;
S2、在S1获取的有效帧图像数据中人工标记导丝和支柱的位置,经过预处理后作为训练数据;
S3、构建训练伪影检测网络模型的数据集;
S4、构建伪影检测网络模型,利用S3获取的训练数据集对伪影检测网络模型进行训练,直至损失函数值小于损失函数阈值或迭代次数达到最大迭代预设次数停止,获得训练好的目标检测卷积神经网络模型,完成导丝伪影的检测;
S5、利用S2获取的训练数据构建去除伪影网络的数据集;
S6、构建图像补全模型,利用S5获取的去除数据集对图像补全模型进行训练,直至损失函数值小于损失函数阈值或迭代次数达到最大迭代预设次数停止,获得训练好的目标去除图像补全模型,完成导丝伪影的去除;
S7、将S4获取的目标检测卷积神经网络模型和S6获取的目标去除图像补全模型进行链接,完成导丝伪影检测去除重建。
本发明的优点:本发明提出的一种血管内光学相干断层扫描的导丝伪影去除方法,通过IVOCT成像技术获取心血管内组织影像,利用伪影检测模型(伪影检测网络模型)和伪影重建模型(图像补全模型)实现了完整的伪影检测去除重建。其中,伪影检测模型实现了对导丝的检测,伪影重建模型在伪影检测的基础上获取导丝位置的伪影,对伪影进行去除,以及对伪影破坏的区域进行重建,这两个模型是递进的关系,实现了全自动的伪影检测去除重建任务,解决了由于IVOCT成像技术的缺陷以及导丝等原因产生伪影的问题。
附图说明
图1是本发明所述导丝伪影去除方法的原理图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明,但不作为本发明的限定。
具体实施方式一:下面结合图1说明本实施方式,本实施方式所述一种血管内光学相干断层扫描的导丝伪影去除方法,它包括:
S1、获取完整的IVOCT视频影像数据,对IVOCT视频影像数据进行逐帧筛查,获得所有的有效帧图像数据;
S2、在S1获取的有效帧图像数据中人工标记导丝和支柱的位置,经过预处理后作为训练数据;
S3、构建训练伪影检测网络模型的数据集;
S4、构建伪影检测网络模型,利用S3获取的训练数据集对伪影检测网络模型进行训练,直至损失函数值小于损失函数阈值或迭代次数达到最大迭代预设次数停止,获得训练好的目标检测卷积神经网络模型,完成导丝伪影的检测;
S5、利用S2获取的训练数据构建去除伪影网络的数据集;
S6、构建图像补全模型,利用S5获取的去除数据集对图像补全模型进行训练,直至损失函数值小于损失函数阈值或迭代次数达到最大迭代预设次数停止,获得训练好的目标去除图像补全模型,完成导丝伪影的去除;
S7、将S4获取的目标检测卷积神经网络模型和S6获取的目标去除图像补全模型进行链接,完成导丝伪影检测去除重建。
具体实施方式二:本实施方式对实施方式一作进一步说明,S2所述在有效帧图像数据中人工标记导丝和支柱的位置的方法包括:
S2-1、在有效帧图像数据中人工标记导丝和支柱的位置,将导丝类别的位置标记为1,支柱类别的位置标记为2;
S2-2、标记每个类别对应的区域框的位置。
进一步的,S2-2所述标记每个类别对应的区域框的位置的方法包括:
0≤Xmin<Length,Xmin<Xmax≤Length
0≤Ymin<Wide,Ymin<Ymax≤Wide
其中,N表示有效帧的数目,U表示视频序列,i表示有效帧在有效序列中的序号,Xmin、Xmax、Ymin、Ymax分别表示区域框的右边界值、左边界值、上边界值、下边界值,Length、Wide分别表示有效帧图像的长和宽。
本实施方式中,根据区域框的右边界值、左边界值、上边界值、下边界值能够确定标记区域的唯一的大小和位置。
再进一步的,S2所述经过预处理后作为训练数据的方法包括:
去噪处理:采用高斯低通滤波对标记后的图像数据进行去噪;
增强处理:将导丝位置剪裁下来,改变分布位置,通过随机X轴的位置改变导丝位置的左右分布,通过随机导丝位置在不同顺序编号图像上的分布获取不同图像分布上的伪影信息。
具体实施方式三:本实施方式对实施方式二作进一步说明,S3所述构建训练伪影检测网络模型的数据集的方法包括:
S3-1、将S2获取的训练数据进行样本重采样,获得类别分布平衡的数据集;
S3-2、将S3-1获得的数据集的图像尺寸进行统一;
S3-3、将统一尺寸后的数据集进行归一化处理,获得归一化后图像,将归一化后图像组成的数据集作为训练数据集。
本实施方式中,所述类别分布平衡的数据集是指标记为正常和异常的图像的数据量相当的数据集。
具体实施方式四:本实施方式对实施方式三作进一步说明,S4所述目标检测卷积神经网络包括伪影特征提取模块、伪影融合模块和伪影检测模块;
所述伪影特征提取模块包括7个不同尺度特征,所述7个不同尺度特征的尺度从前至后依次减半,通过伪影特征提取模块获得5种不同的语义信息;
所述伪影融合模块在相同层级的输入和输出之间建立信息融合的通道实现特征的融合,将伪影特征提取模块获得语义信息进行融合,获得最佳的语义信息;
所述伪影检测模块包括伪影分类预测网络和伪影位置预测网络,伪影分类预测网络根据伪影融合模块输出的语义信息对伪影的类别进行预测,伪影位置预测网络根据伪影融合模块输出的语义信息对伪影的位置进行预测,预测后在输出结果中分别显示类别和位置的置信度。
本实施方式中,所述伪影特征提取模块由7个不同尺度的特征组成,这7种不同的尺度从前往后依次减半,以便于后续的融合后5种不同尺度特征的信息,加强了不同深度导丝特征,该特征提取模块由普通卷积以及不同大小核的MB卷积组成,其中MB卷积由一个1x1的普通卷积,一个Depthwise Conv卷积(包含BN和Swish),一个SE模块,一个1x1的普通卷积(降维作用,包含BN),一个Droupout层构成。通过伪影特征提取模块得到5种不同语义信息,接下来由伪影融合模块实现这些不同语义信息智能的融合,得到最佳的语义信息。
本实施方式中,所述伪影融合模块由Conv,Sum,Concatenate,Resize,SkipConnection等操作组成,实现融合更多的特征,提高后续检测的准确性。
本实施方式中,所述目标检测卷积神经网络的学习过程中,采用三折交叉验证的训练模式增强分割模型的鲁棒性。并且在深度卷积网络的学习过程中采用有监督模型预训练的参数进行深度学习模型的初始化,模型的预训练已在大规模自然场景图像的检测数据集上进行。经过深度学习网络的模型训练之后,训练得到的模型具有很好的检测能力。
具体实施方式五:本实施方式对实施方式四作进一步说明,S5所述利用S2获取的训练数据构建去除伪影重建伪影区域网络的数据集的方法包括:
S5-1、将S2获取的训练数据进行样本重采样,获得类别分布平衡的数据集;
S5-2、将S2获取的训练数据输入图像结构纹理分离网络,获得结构化图像;
S5-3、将S2-2获取的导丝标记位置的区域框进行剪切,然后从前至后进行拼接;
S5-4、将导丝的位置进行随机分布,获得标注图像、待修复图像和结构化图像。
本实施方式中,S5-3是利用S2中的导丝的标记数据,将其区域框剪切,然后前后拼接,在不失真的情况下,实现了无遮盖、完整的图像。由于IVOCT的仪器特性是螺旋扫描,所以剪切后仍可以保证图像的真实性。
具体实施方式六:本实施方式对实施方式五作进一步说明,S6所述图像补全模型的输入为S5-4获取的标注图像、待修复图像和结构化图像;
所述图像补全模型在编码结构层实现特征提取,提取不同的语义信息,其中:
低语义信息作为纹理信息,用于对伪影区域的纹理进行重建;
高语义信息作为结构信息,用于对伪影区域的结构进行重建;
图像补全模型在解码结构层实现信息融合,在纹理和结构两个方向对导丝伪影进行双重修复。
本实施方式中,在深度卷积网络的学习过程中采用有监督模型预训练的参数进行深度学习模型的初始化,模型的预训练已在大规模自然场景图像的补全数据集上进行。经过深度学习网络的模型训练之后,训练得到的模型具有很好的补全能力。
进一步的,采用部分卷积对不同尺度的结构信息进行提取,实现特征提取;采用逐位相加实现信息融合。
再进一步的,所述对不同尺度的结构信息进行提取采用三种卷积,分别为3x3、5x5和7x7。
本实施方式中,为了实现其对于不同尺度的导丝伪影的适应能力,采用三种卷积分别为3x3、5x5、7x7,得到不同的纹理及结构信息,其中利用Partial卷积实现不同尺度的结构信息的提取,利用Wise addition实现信息融合。
虽然在本文中参照了特定的实施方式来描述本发明,但是应该理解的是,这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是,可以对示例性的实施例进行许多修改,并且可以设计出其他的布置,只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是,可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是,结合单独实施例所描述的特征可以使用在其他所述实施例中。
Claims (7)
1.一种血管内光学相干断层扫描的导丝伪影去除方法,其特征在于,它包括:
S1、获取完整的IVOCT视频影像数据,对IVOCT视频影像数据进行逐帧筛查,获得所有的有效帧图像数据;
S2、在S1获取的有效帧图像数据中人工标记导丝和支柱的位置,经过预处理后作为训练数据;
S3、构建训练伪影检测网络模型的数据集;
S4、构建伪影检测网络模型,利用S3获取的训练数据集对伪影检测网络模型进行训练,直至损失函数值小于损失函数阈值或迭代次数达到最大迭代预设次数停止,获得训练好的目标检测卷积神经网络模型,完成导丝伪影的检测;
S5、利用S2获取的训练数据构建去除伪影网络的数据集;
S6、构建图像补全模型,利用S5获取的去除数据集对图像补全模型进行训练,直至损失函数值小于损失函数阈值或迭代次数达到最大迭代预设次数停止,获得训练好的目标去除图像补全模型,完成导丝伪影的去除;
S7、将S4获取的目标检测卷积神经网络模型和S6获取的目标去除图像补全模型进行链接,完成导丝伪影检测去除重建;
S4所述目标检测卷积神经网络包括伪影特征提取模块、伪影融合模块和伪影检测模块;
所述伪影特征提取模块包括7个不同尺度特征,所述7个不同尺度特征的尺度从前至后依次减半,通过伪影特征提取模块获得5种不同的语义信息;
所述伪影融合模块在相同层级的输入和输出之间建立信息融合的通道实现特征的融合,将伪影特征提取模块获得语义信息进行融合,获得最佳的语义信息;
所述伪影检测模块包括伪影分类预测网络和伪影位置预测网络,伪影分类预测网络根据伪影融合模块输出的语义信息对伪影的类别进行预测,伪影位置预测网络根据伪影融合模块输出的语义信息对伪影的位置进行预测,预测后在输出结果中分别显示类别和位置的置信度;
所述伪影特征提取模块包括普通卷积和不同大小核的MB卷积,其中MB卷积包括一个1x1的普通卷积、一个Depthwise Conv卷积、一个SE模块和一个Droupout层;所述DepthwiseConv卷积包括BN和Swish;所述1x1的普通卷积包括BN;
所述伪影融合模块包括Conv、Sum、Concatenate、Resize和Skip Connection;
S3所述构建训练伪影检测网络模型的数据集的方法包括:
S3-1、将S2获取的训练数据进行样本重采样,获得类别分布平衡的数据集;
S3-2、将S3-1获得的数据集的图像尺寸进行统一;
S3-3、将统一尺寸后的数据集进行归一化处理,获得归一化后图像,将归一化后图像组成的数据集作为训练数据集;
S5所述利用S2获取的训练数据构建去除伪影重建伪影区域网络的数据集的方法包括:
S5-1、将S2获取的训练数据进行样本重采样,获得类别分布平衡的数据集;
S5-2、将S2获取的训练数据输入图像结构纹理分离网络,获得结构化图像;
S5-3、将S2-2获取的导丝标记位置的区域框进行剪切,然后从前至后进行拼接;
S5-4、将导丝的位置进行随机分布,获得标注图像、待修复图像和结构化图像。
2.根据权利要求1所述的一种血管内光学相干断层扫描的导丝伪影去除方法,其特征在于,S2所述在有效帧图像数据中人工标记导丝和支柱的位置的方法包括:
S2-1、在有效帧图像数据中人工标记导丝和支柱的位置,将导丝类别的位置标记为1,支柱类别的位置标记为2;
S2-2、标记每个类别对应的区域框的位置。
4.根据权利要求3所述的一种血管内光学相干断层扫描的导丝伪影去除方法,其特征在于,S2所述经过预处理后作为训练数据的方法包括:
去噪处理:采用高斯低通滤波对标记后的图像数据进行去噪;
增强处理:将导丝位置剪裁下来,改变分布位置,通过随机X轴的位置改变导丝位置的左右分布,通过随机导丝位置在不同顺序编号图像上的分布获取不同图像分布上的伪影信息。
5.根据权利要求1所述的一种血管内光学相干断层扫描的导丝伪影去除方法,其特征在于,S6所述图像补全模型的输入为S5-4获取的标注图像、待修复图像和结构化图像;
所述图像补全模型在编码结构层实现特征提取,提取不同的语义信息,其中:
低语义信息作为纹理信息,用于对伪影区域的纹理进行重建;
高语义信息作为结构信息,用于对伪影区域的结构进行重建;
图像补全模型在解码结构层实现信息融合,在纹理和结构两个方向对导丝伪影进行双重修复。
6.根据权利要求5所述的一种血管内光学相干断层扫描的导丝伪影去除方法,其特征在于,采用部分卷积对不同尺度的结构信息进行提取,实现特征提取;采用逐位相加实现信息融合。
7.根据权利要求6所述的一种血管内光学相干断层扫描的导丝伪影去除方法,其特征在于,所述对不同尺度的结构信息进行提取采用三种卷积,分别为3x3、5x5和7x7。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111187568.5A CN113902824B (zh) | 2021-10-12 | 2021-10-12 | 一种血管内光学相干断层扫描的导丝伪影去除方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111187568.5A CN113902824B (zh) | 2021-10-12 | 2021-10-12 | 一种血管内光学相干断层扫描的导丝伪影去除方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113902824A CN113902824A (zh) | 2022-01-07 |
CN113902824B true CN113902824B (zh) | 2022-10-28 |
Family
ID=79191773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111187568.5A Active CN113902824B (zh) | 2021-10-12 | 2021-10-12 | 一种血管内光学相干断层扫描的导丝伪影去除方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113902824B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116012478B (zh) * | 2022-12-27 | 2023-08-18 | 哈尔滨工业大学 | 一种基于收敛型扩散模型的ct金属伪影去除方法 |
CN117808718A (zh) * | 2024-02-29 | 2024-04-02 | 江西科技学院 | 基于互联网的提升医学影像数据质量的方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105701778A (zh) * | 2016-01-11 | 2016-06-22 | 赛诺威盛科技(北京)有限公司 | 一种从ct图像中去除金属伪影的方法 |
CN113256529A (zh) * | 2021-06-09 | 2021-08-13 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9858668B2 (en) * | 2012-10-05 | 2018-01-02 | Volcano Corporation | Guidewire artifact removal in images |
CN109886307A (zh) * | 2019-01-24 | 2019-06-14 | 西安交通大学 | 一种基于卷积神经网络的图像检测方法及系统 |
CN111046917B (zh) * | 2019-11-20 | 2022-08-09 | 南京理工大学 | 基于深度神经网络的对象性增强目标检测方法 |
CN111583152B (zh) * | 2020-05-11 | 2023-07-07 | 福建帝视科技集团有限公司 | 基于U-net结构的图像伪影检测与自动去除方法 |
CN113240613B (zh) * | 2021-06-07 | 2022-08-30 | 北京航空航天大学 | 一种基于边缘信息重建的图像修复方法 |
CN113470137B (zh) * | 2021-06-30 | 2022-04-29 | 天津大学 | 基于灰度加权的ivoct图像导丝伪影去除方法 |
-
2021
- 2021-10-12 CN CN202111187568.5A patent/CN113902824B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105701778A (zh) * | 2016-01-11 | 2016-06-22 | 赛诺威盛科技(北京)有限公司 | 一种从ct图像中去除金属伪影的方法 |
CN113256529A (zh) * | 2021-06-09 | 2021-08-13 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113902824A (zh) | 2022-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mancas et al. | Segmentation using a region-growing thresholding | |
Tabassum et al. | CDED-Net: Joint segmentation of optic disc and optic cup for glaucoma screening | |
CN113902824B (zh) | 一种血管内光学相干断层扫描的导丝伪影去除方法 | |
CN110473243B (zh) | 基于深度轮廓感知的牙齿分割方法、装置及计算机设备 | |
Balakrishna et al. | Automatic detection of lumen and media in the IVUS images using U-Net with VGG16 Encoder | |
CN112132833B (zh) | 一种基于深度卷积神经网络的皮肤病图像病灶分割方法 | |
CN115205300B (zh) | 基于空洞卷积和语义融合的眼底血管图像分割方法与系统 | |
CN108615236A (zh) | 一种图像处理方法及电子设备 | |
CN109166104A (zh) | 一种病变检测方法、装置及设备 | |
CN111462049B (zh) | 一种乳腺超声造影视频中病灶区形态自动标注方法 | |
CN112950737B (zh) | 基于深度学习的眼底荧光造影图像生成方法 | |
CN109919954B (zh) | 目标对象的识别方法和装置 | |
CN112884788B (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
CN114881968A (zh) | 基于深度卷积神经网络的octa图像血管分割方法、设备及介质 | |
EP3803788B1 (en) | Methods, systems, and computer programs for segmenting a tooth's pulp region from an image | |
CN110517198A (zh) | 用于ldct图像去噪的高频敏感gan网络 | |
Chiem et al. | A novel hybrid system for skin lesion detection | |
CN110070510A (zh) | 一种基于vgg-19提取特征的cnn医学图像降噪方法 | |
CN114187181A (zh) | 基于残差信息精炼的双路径肺部ct图像超分辨率方法 | |
CN113838047A (zh) | 基于内窥镜图像的大肠息肉分割方法、系统及相关组件 | |
CN117392156A (zh) | 基于深度学习的巩膜镜oct图像泪液层分割模型和方法和设备 | |
CN113506274A (zh) | 基于视觉显著性差异图的用于人体认知状况的检测系统 | |
CN114693622B (zh) | 一种基于人工智能的斑块侵蚀自动检测系统 | |
CN113436118B (zh) | 一种基于多尺度卷积编码网络的低剂量ct图像复原方法 | |
CN113744275B (zh) | 一种基于特征变换的三维cbct牙齿图像的分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |