CN109034253B - 一种基于多尺度语义特征的慢性静脉疾病图像分类方法 - Google Patents
一种基于多尺度语义特征的慢性静脉疾病图像分类方法 Download PDFInfo
- Publication number
- CN109034253B CN109034253B CN201810863104.3A CN201810863104A CN109034253B CN 109034253 B CN109034253 B CN 109034253B CN 201810863104 A CN201810863104 A CN 201810863104A CN 109034253 B CN109034253 B CN 109034253B
- Authority
- CN
- China
- Prior art keywords
- scale
- image
- chronic venous
- venous disease
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于多尺度语义特征的慢性静脉疾病图像分类方法,包括:对待测慢性静脉疾病图像进行多尺度划分,在每个尺度上,利用每个尺度对应的概念分类器对图像块进行分类,得到待测慢性静脉疾病图像中的每个图像块的概念类别;将每个尺度上每个概念类别出现的频率作为全局表示特征,将每个尺度上的全局表示特征串联得到待测慢性静脉疾病图像的多尺度语义表示;基于高阶相关性的特征选择法从多尺度语义表示中获取对分类结果区分性能最优的特征子集,将特征子集输入场景分类器,得到待测慢性静脉疾病图像的分类结果。本发明的分类结果准确率高、可靠性强。
Description
技术领域
本发明属于基于人工智能的医学图像分类领域,更具体地,涉及一种基于多尺度语义特征的慢性静脉疾病图像分类方法。
背景技术
随着现代医学影像技术的迅速发展,自动医学影像分类在医学领域发挥着极其重要的作用。各种机器学习方法包括支持向量机(SVM)、深度学习、贝叶斯网络、基于规则的分类方法、决策级融合等用于构建医学图像的自动分类模式。然而,这些传统的医学图像分类方法大多基于低层次的图像特征,如颜色、纹理、形状等构建。这些低层次的图像特征不能反映医学图像中某些隐藏的、高级的、更具区分性的信息,进而造成了低层次特征与高级语义信息之间的“语义鸿沟”问题。这是医学图像自动分类中最大的挑战之一。
为了解决图像分类中的语义鸿沟问题,一般采用基于视觉词袋模型构建的中级语义特征来描述高级语义信息。然而,基于视觉词袋的医学图像分类过程中,图像局部特征提取、字典学习、图像特征描述等都是开放性的问题。(1)尽管包括基于SIFT的局部特征、基于图像块的灰度特征等已经被用于视觉词袋模型,然而,如果图像背景复杂、噪声严重,那么这些单个局部特征的区分性能可能会很差。如何构建区分性更强的局部特征,是建立医学图像自动分类方法的关键问题之一。(2)虽然可以通过非监督学习(K-means等)或者监督学习(pLSA、高斯混合模型等)等方法构建字典,但是,现有的方法均是直接利用全局的监督信息,而忽略了局部的标记信息。如何利用局部标记信息构建区分能力强的字典,是建立医学图像自动分类方法的关键问题之二。(3)在获得视觉字典(visual words)之后,如何对局部特征进行编码,建立图像的整体描述,是视觉词袋模型的关键问题之三。一般的局部特征编码方法并没有统筹考虑空间信息、尺度信息以及语义信息。
由此可见,现有技术存在单个局部特征的区分性能很差、忽略局部标记信息、没有统筹考虑空间信息、尺度信息以及语义信息的技术问题。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于多尺度语义特征的慢性静脉疾病图像分类方法,由此解决现有技术存在单个局部特征的区分性能很差、忽略局部标记信息、没有统筹考虑空间信息、尺度信息以及语义信息的技术问题。
为实现上述目的,本发明提供了一种基于多尺度语义特征的慢性静脉疾病图像分类方法,包括:
(1)对待测慢性静脉疾病图像进行多尺度划分,在每个尺度上,利用每个尺度对应的概念分类器对待测慢性静脉疾病图像中的图像块进行分类,得到待测慢性静脉疾病图像中的每个图像块的概念类别;
(2)将每个尺度上每个概念类别出现的频率作为待测慢性静脉疾病图像的全局表示特征,将待测慢性静脉疾病图像在每个尺度上的全局表示特征串联,得到待测慢性静脉疾病图像的多尺度语义表示;
(3)基于高阶相关性的特征选择法从待测慢性静脉疾病图像的多尺度语义表示中获取对分类结果区分性能最优的特征子集,将特征子集输入场景分类器,得到待测慢性静脉疾病图像的分类结果。
进一步地,概念分类器的训练包括:
对样本图像依次进行预处理、图像分块和多尺度划分,在每个尺度上,提取样本图像的低层次特征,然后根据概念类别对样本图像的图像块进行标记,得到样本训练集,基于高阶相关性的特征选择法从样本训练集中选择对概念类别区分性能最优的样本特征子集;利用每个尺度下的样本特征子集训练支持向量机模型,得到每个尺度对应的概念分类器。
进一步地,低层次特征包括:局部二值模式特征,边缘直方图描述子,灰度共生矩阵纹理,密集SIFT特征的均值与方差,梯度平均值,RGB三通道的灰度平均值、中值、方差,YCbCr色彩空间的平均值、方差、中值,图像块四邻域的局部特征平均值。
进一步地,概念类别包括:正常皮肤、网状静脉或毛细血管扩展、静脉曲张、色素沉着或水肿、静脉溃疡。
进一步地,场景分类器的训练包括:
对样本图像执行步骤(1)-(2),得到样本图像的多尺度语义表示,对样本图像的分类结果进行标记,得到训练数据;基于高阶相关性的特征选择法从训练数据中选择出对分类结果区分性能最优的训练特征子集;利用训练特征子集训练支持向量机模型,得到场景分类器。
进一步地,分类结果包括:轻度、中度和重度。
进一步地,基于高阶相关性的特征选择法包括:
利用模糊隶属度表示概率,利用概率计算联合熵、条件熵和边缘熵;利用新的测度衡量特征的重要性,所述新的测度包括类别条件冗余项、非条件冗余项、特征相关项以及二阶相互作用项;利用基于高阶相关性的特征重要性结合前向搜索策略搜索得到最优的特征子集。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
本发明对待测慢性静脉疾病图像进行多尺度划分,在每个尺度上获取每个图像块的概念类别,利用每个尺度上每个概念类别出现的频率作为全局表示特征,将每个尺度上的全局表示特征串联,得到多尺度语义表示,深入挖掘了慢性静脉疾病图像中隐藏的区分性强的多尺度中层次语义特征,有效的缩小了低级图像特征与高级图像理解之间的“语义鸿沟”,能够提供准确性高的、有价值的慢性静脉疾病图像分类结果;由此解决现有技术存在单个局部特征的区分性能很差、忽略局部标记信息、没有统筹考虑空间信息、尺度信息以及语义信息的技术问题。
附图说明
图1是本发明实施例提供的一种基于多尺度语义特征的慢性静脉疾病图像分类方法的流程图;
图2是本发明实施例提供的概念分类器的训练流程图;
图3是本发明实施例提供的获取多尺度语义表示的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,一种基于多尺度语义特征的慢性静脉疾病图像分类方法,包括:
(1)对待测慢性静脉疾病图像进行多尺度划分,在每个尺度上,利用每个尺度对应的概念分类器对待测慢性静脉疾病图像中的图像块进行分类,得到待测慢性静脉疾病图像中的每个图像块的概念类别;
(2)将每个尺度上每个概念类别出现的频率作为待测慢性静脉疾病图像的全局表示特征,将待测慢性静脉疾病图像在每个尺度上的全局表示特征串联,得到待测慢性静脉疾病图像的多尺度语义表示;
(3)基于高阶相关性的特征选择法从待测慢性静脉疾病图像的多尺度语义表示中获取对分类结果区分性能最优的特征子集,将特征子集输入场景分类器,得到待测慢性静脉疾病图像的分类结果。
如图2所示,概念分类器的训练包括:
对样本图像依次进行预处理、图像分块和多尺度划分,预处理包括背景去除、亮度归一化和大小归一化,在每个尺度上,提取样本图像的低层次特征,然后根据概念类别对样本图像的图像块进行标记,得到样本训练集,基于高阶相关性的特征选择法从样本训练集中选择对概念类别区分性能最优的样本特征子集;利用每个尺度下的样本特征子集训练支持向量机模型,得到每个尺度对应的概念分类器。
低层次特征包括:局部二值模式特征,边缘直方图描述子,灰度共生矩阵纹理,密集SIFT特征的均值与方差,梯度平均值,RGB三通道的灰度平均值、中值、方差,YCbCr色彩空间的平均值、方差、中值,图像块四邻域的局部特征平均值。
概念类别包括:正常皮肤1、网状静脉或毛细血管扩展2(即图2中描述的网状静脉突出)、静脉曲张3、色素沉着或水肿4、静脉溃疡5。本发明将每个尺度上每个概念类别出现的频率作为待测慢性静脉疾病图像的全局表示特征,图2中正常皮肤的频率为0.33、网状静脉或毛细血管扩展的频率为0.08(即图2中描述的网状静脉突出)、静脉曲张的频率为0.28、色素沉着或水肿的频率为0.25、静脉溃疡的频率为0.06,上述5个频率为概念出现频率向量,可以作为图像表示特征。
如图3所示,对待测慢性静脉疾病图像进行多尺度划分,具体地,可以划分为:15*15,25*25,50*50,在每个尺度上,利用每个尺度对应的概念分类器对待测慢性静脉疾病图像中的图像块进行分类,得到待测慢性静脉疾病图像中的每个图像块的概念类别;
将每个尺度上每个概念类别出现的频率作为待测慢性静脉疾病图像的全局表示特征(即图3中描述的位置敏感的概念出现的频率向量),将待测慢性静脉疾病图像在每个尺度上的全局表示特征串联,得到待测慢性静脉疾病图像的多尺度语义表示。
场景分类器的训练包括:对样本图像执行步骤(1)-(2),得到样本图像的多尺度语义表示,对样本图像的分类结果进行标记,得到训练数据;基于高阶相关性的特征选择法从训练数据中选择出对分类结果区分性能最优的训练特征子集;利用训练特征子集训练支持向量机模型,得到场景分类器。
进一步地,分类结果包括:轻度、中度和重度。轻度表示无需治疗或者穿弹力袜即可,中度表示需要简单的手术治疗,重度表示需要复杂的手术治疗,本发明考虑到慢性静脉疾病图像具有丰富的语义信息,并且病灶区域大小随着疾病严重程度的变化而发生变化等特性,我们构建了基于多尺度语义特征的图像描述方法,准确的刻画了慢性静脉疾病不同严重程度的特点;并基于该中级语义特征,建立了融合多尺度特征的慢性静脉疾病严重程度分类方法,实现了客观的慢性静脉疾病的严重程度判断方法。总之,该方法是紧密结合慢性静脉疾病图像的特点,将人工智能与医学图像分类相结合,建立了新的基于图像的慢性静脉疾病辅助诊疗手段,为医生诊断疾病提供客观的、有价值的参考。
基于高阶相关性的特征选择法包括:利用模糊隶属度表示概率,利用概率计算联合熵、条件熵和边缘熵;利用新的测度衡量特征的重要性,所述新的测度包括类别条件冗余项、非条件冗余项、特征相关项以及二阶相互作用项;利用基于高阶相关性的特征重要性结合前向搜索策略搜索得到最优的特征子集。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于多尺度语义特征的慢性静脉疾病图像分类方法,其特征在于,包括:
(1)对待测慢性静脉疾病图像进行多尺度划分,在每个尺度上,利用每个尺度对应的概念分类器对待测慢性静脉疾病图像中的图像块进行分类,得到待测慢性静脉疾病图像中的每个图像块的概念类别;
(2)将每个尺度上每个概念类别出现的频率作为待测慢性静脉疾病图像的全局表示特征,将待测慢性静脉疾病图像在每个尺度上的全局表示特征串联,得到待测慢性静脉疾病图像的多尺度语义表示;
(3)基于高阶相关性的特征选择法从待测慢性静脉疾病图像的多尺度语义表示中获取对分类结果区分性能最优的特征子集,将特征子集输入场景分类器,得到待测慢性静脉疾病图像的分类结果。
2.如权利要求1所述的一种基于多尺度语义特征的慢性静脉疾病图像分类方法,其特征在于,所述概念分类器的训练包括:
对样本图像依次进行预处理、图像分块和多尺度划分,在每个尺度上,提取样本图像的低层次特征,然后根据概念类别对样本图像的图像块进行标记,得到样本训练集,基于高阶相关性的特征选择法从样本训练集中选择对概念类别区分性能最优的样本特征子集;利用每个尺度下的样本特征子集训练支持向量机模型,得到每个尺度对应的概念分类器。
3.如权利要求2所述的一种基于多尺度语义特征的慢性静脉疾病图像分类方法,其特征在于,所述低层次特征包括:局部二值模式特征,边缘直方图描述子,灰度共生矩阵纹理,密集SIFT特征的均值与方差,梯度平均值,RGB三通道的灰度平均值、中值、方差,YCbCr色彩空间的平均值、方差、中值,图像块四邻域的局部特征平均值。
4.如权利要求1-3任一所述的一种基于多尺度语义特征的慢性静脉疾病图像分类方法,其特征在于,所述概念类别包括:正常皮肤、网状静脉或毛细血管扩展、静脉曲张、色素沉着或水肿、静脉溃疡。
5.如权利要求1-3任一所述的一种基于多尺度语义特征的慢性静脉疾病图像分类方法,其特征在于,所述场景分类器的训练包括:
对样本图像执行步骤(1)-(2),得到样本图像的多尺度语义表示,对样本图像的分类结果进行标记,得到训练数据;基于高阶相关性的特征选择法从训练数据中选择出对分类结果区分性能最优的训练特征子集;利用训练特征子集训练支持向量机模型,得到场景分类器。
6.如权利要求1-3任一所述的一种基于多尺度语义特征的慢性静脉疾病图像分类方法,其特征在于,所述分类结果包括:轻度、中度和重度。
7.如权利要求1-3任一所述的一种基于多尺度语义特征的慢性静脉疾病图像分类方法,其特征在于,所述基于高阶相关性的特征选择法包括:
利用模糊隶属度表示概率,利用概率计算联合熵、条件熵和边缘熵;利用新的测度衡量特征的重要性,所述新的测度包括类别条件冗余项、非条件冗余项、特征相关项以及二阶相互作用项;利用基于高阶相关性的特征重要性结合前向搜索策略搜索得到最优的特征子集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810863104.3A CN109034253B (zh) | 2018-08-01 | 2018-08-01 | 一种基于多尺度语义特征的慢性静脉疾病图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810863104.3A CN109034253B (zh) | 2018-08-01 | 2018-08-01 | 一种基于多尺度语义特征的慢性静脉疾病图像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109034253A CN109034253A (zh) | 2018-12-18 |
CN109034253B true CN109034253B (zh) | 2021-06-29 |
Family
ID=64647458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810863104.3A Active CN109034253B (zh) | 2018-08-01 | 2018-08-01 | 一种基于多尺度语义特征的慢性静脉疾病图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109034253B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111104508B (zh) * | 2019-10-25 | 2022-07-01 | 重庆邮电大学 | 基于容错粗糙集的词袋模型文本表示方法、系统及介质 |
CN111539466A (zh) * | 2020-04-16 | 2020-08-14 | 华北电力大学 | 一种基于超图的高阶特征融合方法 |
CN114863179B (zh) * | 2022-05-18 | 2022-12-13 | 合肥工业大学 | 基于多尺度特征嵌入和交叉注意力的内窥镜图像分类方法 |
CN115797988B (zh) * | 2023-01-30 | 2023-05-16 | 武汉楚精灵医疗科技有限公司 | 基于内镜图像的曲张静脉血管的分类方法及相关设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102651051A (zh) * | 2011-02-28 | 2012-08-29 | 国际商业机器公司 | 识别临床路径执行偏差的系统和方法 |
CN104766259A (zh) * | 2015-03-31 | 2015-07-08 | 华据医疗评估信息技术(北京)有限公司 | 一种基于单病种模型的医疗临床质量监测与评价系统 |
AU2018201377A1 (en) * | 2008-12-03 | 2018-03-15 | Genmab A/S | Antibody variants having modifications in the constant region |
-
2018
- 2018-08-01 CN CN201810863104.3A patent/CN109034253B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2018201377A1 (en) * | 2008-12-03 | 2018-03-15 | Genmab A/S | Antibody variants having modifications in the constant region |
CN102651051A (zh) * | 2011-02-28 | 2012-08-29 | 国际商业机器公司 | 识别临床路径执行偏差的系统和方法 |
CN104766259A (zh) * | 2015-03-31 | 2015-07-08 | 华据医疗评估信息技术(北京)有限公司 | 一种基于单病种模型的医疗临床质量监测与评价系统 |
Non-Patent Citations (2)
Title |
---|
《Ascribing leg symptoms to chronic venous disorders: The construction of a diagnostic score》;Patrick H.Carpentier等;《Journal of Vascular Surgery》;20071130;第46卷(第5期);全文 * |
《基于文本挖掘和医患互动论坛的深静脉血栓防治规律研究》;李艳红 等;《医学信息学杂志》;20170430;第38卷(第4期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109034253A (zh) | 2018-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Adegun et al. | Deep learning techniques for skin lesion analysis and melanoma cancer detection: a survey of state-of-the-art | |
Dai et al. | Ms RED: A novel multi-scale residual encoding and decoding network for skin lesion segmentation | |
Kainz et al. | Segmentation and classification of colon glands with deep convolutional neural networks and total variation regularization | |
Courtiol et al. | Classification and disease localization in histopathology using only global labels: A weakly-supervised approach | |
CN109034253B (zh) | 一种基于多尺度语义特征的慢性静脉疾病图像分类方法 | |
Mo et al. | Exudate-based diabetic macular edema recognition in retinal images using cascaded deep residual networks | |
Tsai et al. | Image co-saliency detection and co-segmentation via progressive joint optimization | |
Wazarkar et al. | A survey on image data analysis through clustering techniques for real world applications | |
Zhang et al. | Automatic skin lesion segmentation by coupling deep fully convolutional networks and shallow network with textons | |
Yuan et al. | Dense and sparse labeling with multidimensional features for saliency detection | |
Shekar et al. | Review on diabetic retinopathy with deep learning methods | |
Swamy et al. | An efficient skin cancer prognosis strategy using deep learning techniques | |
Jamaluddin et al. | Tumor detection and whole slide classification of H&E lymph node images using convolutional neural network | |
Ding et al. | Two-stage deep neural network via ensemble learning for melanoma classification | |
Li et al. | Co-saliency detection based on hierarchical consistency | |
Sreejini et al. | Retrieval of pathological retina images using Bag of Visual Words and pLSA model | |
Annum et al. | Saliency detection using contrast enhancement and texture smoothing operations | |
Rathnamala et al. | Automated bleeding detection in wireless capsule endoscopy images based on color feature extraction from Gaussian mixture model superpixels | |
Bai et al. | A scalable graph-based framework for multi-organ histology image classification | |
Zaki et al. | Graph-based methods for cervical cancer segmentation: Advancements, limitations, and future directions | |
Sundar et al. | An effective deep learning model for grading abnormalities in retinal fundus images using variational auto‐encoders | |
Ye et al. | Saliency detection via similar image retrieval | |
Pan et al. | A review of machine learning approaches, challenges and prospects for computational tumor pathology | |
Fetisov et al. | Unsupervised prostate cancer histopathology image segmentation via meta-learning | |
Jalali et al. | VGA‐Net: Vessel graph based attentional U‐Net for retinal vessel segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |