CN113240698B - 一种多类分割损失函数在实现脊椎组织影像多类分割中的应用方法 - Google Patents
一种多类分割损失函数在实现脊椎组织影像多类分割中的应用方法 Download PDFInfo
- Publication number
- CN113240698B CN113240698B CN202110540075.9A CN202110540075A CN113240698B CN 113240698 B CN113240698 B CN 113240698B CN 202110540075 A CN202110540075 A CN 202110540075A CN 113240698 B CN113240698 B CN 113240698B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- class
- pixel point
- loss function
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
一种多类分割损失函数及其构建方法和应用,涉及深度学习与医学影像处理领域,解决了现有技术存在的类间不平衡、分割精度差的问题。本发明包括:设定基础损失函数;根据基础损失函数,设定限制权重,用于调整分割目标对应的损失函数权重;组合基础损失函数与限制权重得到多类分割损失函数。本发明具有显著抑制类间不平衡问题对脊椎组织影像的多类分割的影响、提高全卷积神经网络分割性能的优点,提升了脊椎组织影像分割效果,增强了损失函数的分割性能,其在深度学习与医学影像处理技术领域有极高的应用和推广价值。
Description
技术领域
本发明涉及深度学习与医学影像处理技术领域,特别是涉及一种多类分割损失函数及其构建方法和应用。
背景技术
脊椎病变等疾病往往需要借助于医学影像进行诊断,而人工智能技术的发展使得基于深度学习等算法进行脊椎病变等疾病的计算机辅助诊断被越来越多的研究者所重视。其中准确的组织区域分割是实现其智能诊断的重要前提条件。目前常见的深度学习分割技术,通过输入训练图像和标签文件进行像素级别的卷积运算和反向传播,最终得到每个像素的分类概率值,实现语义分割任务。作为反向传播的重要组成部分,损失函数是深度学习算法中的核心部分之一。一般来说,损失函数用于计算标签和输出概率值之间的误差值,以此实现对深度学习算法的反向传播调节,提升算法的学习性能。常见的损失函数如交叉熵损失函数、Focal Loss、Tversky Loss等多用于二类分割研究,一些相关研究也提出了如GDL、MSE等函数用于多类分割。
由于脊椎影像的特性,在面向脊椎组织影像的多类分割研究中会出现显著的类间不平衡问题,即需要分割的多个类像素占比严重不均。多类分割可以看作是多个二类分割任务的集合。然而,当每个类的像素不平衡时,像素数较多类的损失函数计算贡献会远大于像素较小类,这同样会影响损失函数的计算,使得小像素类的目标分割精度严重下降。一些损失函数甚至会受到该问题的干扰而失效。
因此,迫切需要研制出一种针对现有损失函数的改进方案以提升深度学习算法面向不平衡脊椎组织影像的多类分割性能,并实现应用。
发明内容
本发明的目的是提供一种多类分割损失函数及其构建方法和应用,以解决现有脊椎组织影像的多类分割存在的类间不平衡、分割精度差的问题。
本发明为解决技术问题所采用的技术方案如下:
本发明的一种多类分割损失函数,该函数的表达式为:
式中,n为多类分割目标中的总类别数;lj为用于第j类分割目标的二类分割损失函数;wj为限制权重;j为分割目标的类别。
进一步的,所述用于第j类分割目标的二类分割损失函数lj的表达式为:
lj=fj(pi,gi)
式中,gi为被训练图像的标签中像素点i的真实值,pi为预测结果中像素点i 的模型判断概率值。
进一步的,所述限制权重wj的表达式为:
式中,N为被训练图像像素点的总数;sj为训练标签中第j类分割目标的像素点总数;δ为非线性放大因子,1≤δ≤5;j为分割目标的类别。
本发明的一种多类分割损失函数的构建方法,主要包括以下步骤:
步骤一、设定基础损失函数;
步骤二、根据基础损失函数,设定限制权重,用于调整分割目标对应的损失函数权重;
步骤三、组合基础损失函数与限制权重得到多类分割损失函数。
进一步的,步骤一的具体过程如下:
设定基础损失函数,即用于第j类分割目标的二类分割损失函数lj,其表达式为:
lj=fj(pi,gi)
式中,gi为被训练图像的标签中像素点i的真实值,pi为预测结果中像素点i 的模型判断概率值。
进一步的,当gi=1时,则被训练图像的标签中像素点i为分割目标,当gi=0 时,则被训练图像的标签中像素点i为非分割目标;当pi=1时,预测结果中像素点i判断为分割目标,当pi=0时,预测结果中像素点i判断为非分割目标。
进一步的,步骤二的具体过程如下:
根据用于第j类分割目标的二类分割损失函数lj,设定限制权重wj,用于调整第j类分割目标对应的损失函数权重,其表达式为:
式中,N为被训练图像像素点的总数;sj为训练标签中第j类分割目标的像素点总数;δ为非线性放大因子,1≤δ≤5;j为分割目标的类别。
进一步的,步骤三的具体过程如下:
组合用于第j类分割目标的二类分割损失函数lj与限制权重wj得到多类分割损失函数Lm,其表达式为:
式中,n为多类分割目标中的总类别数。
进一步的,所述用于第j类分割目标的二类分割损失函数lj为Tversky Loss,其表达式为:
式中,α=0.3;g0i为被训练图像的标签中像素点i是否为背景像素点的真实值,p0i为预测结果中像素点i是否为背景像素点的模型判断概率值,若被训练图像的标签中像素点i是背景像素点,则g0i=1,否则g0i=0,若预测结果中像素点i 是背景像素点,则p0i=1,否则p0i=0;
g1i为被训练图像的标签中像素点i是否为分割目标像素点的真实值,p1i为预测结果中像素点i是否为分割目标像素点的模型判断概率值,若被训练图像的标签中像素点i是分割目标像素点,则g1i=1,否则g1i=0,若预测结果中像素点i是分割目标像素点,则p1i=1,否则p1i=0。
本发明的一种多类分割损失函数在实现脊椎组织影像多类分割中的应用,将多类分割损失函数嵌入全卷积神经网络中实现脊椎组织影像多类分割,所述全卷积神经网络选用U-net,所述全卷积神经网络的激活层设置为Softmax。
本发明的有益效果是:
本发明公开了一种能够提高不平衡脊椎影像分割性能的多类分割损失函数及其构建方法和应用,通过设定基础损失函数;根据基础损失函数,设定限制权重,用于调整分割目标对应的损失函数权重;组合基础损失函数与限制权重得到多类分割损失函数。
本发明与现有技术相比,具有以下优点:
(1)本发明通过设计用于优化损失函数的限制权重,可显著降低脊椎组织影像多类分割中的类间不平衡问题对于分割结果的影响。
(2)本发明抑制了错误反馈计算在不平衡多类分割中的失效问题。
(3)本发明具有显著抑制类间不平衡问题对脊椎组织影像的多类分割的影响、提高全卷积神经网络分割性能的优点,提升了脊椎组织影像分割效果,增强了损失函数的分割性能,其在深度学习与医学影像处理技术领域有极高的应用和推广价值。
附图说明
图1为本发明的一种多类分割损失函数的构建方法的流程图。
图2为本发明具体实施方式一构建的一种多类分割损失函数与其他常见函数的分割结果对比图。
具体实施方式
以下为本发明所列举的实施例中使用附图作的介绍。附图仅示出了本发明的一个实施例,因此不应被看作是对保护范围的限定。对于本领域技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
本发明的一种多类分割损失函数,该函数的表达式为:
式中,n为多类分割目标中的总类别数;lj为用于第j类分割目标的二类分割损失函数;wj为限制权重;j为分割目标的类别。
式中,用于第j类分割目标的二类分割损失函数lj的表达式为:
lj=fj(pi,gi)
式中,gi为被训练图像的标签中像素点i的真实值,pi为预测结果中像素点i 的模型判断概率值。
式中,限制权重wj的表达式为:
式中,N为被训练图像像素点的总数;sj为训练标签中第j类分割目标的像素点总数;δ为非线性放大因子,其取值范围为[1,5],即1≤δ≤5;j为分割目标的类别。
本发明的一种多类分割损失函数的构建方法,如图1所示,具体包括以下步骤:
步骤一、设定适用于多类分割的基础损失函数,即用于第j类分割目标的二类分割损失函数lj,其表达式为:
lj=fj(pi,gi)
式中,gi为被训练图像的标签中像素点i的真实值,pi为预测结果中像素点i 的模型判断概率值。
当gi=1时,则被训练图像的标签中像素点i为分割目标,当gi=0时,则被训练图像的标签中像素点i为非分割目标;当pi=1时,预测结果中像素点i判断为分割目标,当pi=0时,预测结果中像素点i判断为非分割目标。
步骤二、根据用于第j类分割目标的二类分割损失函数lj,设定限制权重wj,用于调整第j类分割目标对应的损失函数权重,其表达式为:
式中,N为被训练图像像素点的总数;sj为训练标签中第j类分割目标的像素点总数;δ为非线性放大因子,其取值范围为[1,5],即1≤δ≤5;j为分割目标的类别。
步骤三、组合根据用于第j类分割目标的二类分割损失函数lj与限制权重wj得到多类分割损失函数Lm,其表达式为:
式中,lj=fj(pi,gi)为用于第j类分割目标的二类分割损失函数,n为多类分割目标中的总类别数。
本发明的一种多类分割损失函数在实现脊椎组织影像多类分割中的应用,使用时,将多类分割损失函数嵌入全卷积神经网络中实现脊椎组织影像的多类分割,其中,全卷积神经网络优选选用U-net,全卷积神经网络的激活层优选设置为Softmax,限制权重wj中的非线性放大因子δ的最优取值为3。
具体实施方式一
本发明的一种多类分割损失函数的构建方法,具体包括以下步骤:
(1)设定用于第j类分割目标的二类分割损失函数lj为Tversky Loss,其表达式为:
式中,α取经验最优值0.3。g0i为被训练图像的标签中像素点i是否为背景像素点的真实值,p0i为预测结果中像素点i是否为背景像素点的模型判断概率值,若被训练图像的标签中像素点i是背景像素点,则g0i=1,否则g0i=0,若预测结果中像素点i是背景像素点,则p0i=1,否则p0i=0;
g1i为被训练图像的标签中像素点i是否为分割目标像素点的真实值,p1i为预测结果中像素点i是否为分割目标像素点的模型判断概率值,若被训练图像的标签中像素点i是分割目标像素点,则g1i=1,否则g1i=0,若预测结果中像素点i是分割目标像素点,则p1i=1,否则p1i=0。
(2)根据用于第j类分割目标的二类分割损失函数lj,设定限制权重wj,用于调整第j类分割目标对应的损失函数权重,其表达式为:
式中,N为被训练图像像素点的总数;sj为训练标签中第j类分割目标的像素点总数;δ为非线性放大因子,其取值范围为[1,5],即1≤δ≤5;j为分割目标的类别。
(3)组合用于第j类分割目标的二类分割损失函数lj与限制权重wj得到多类分割损失函数Lm,其表达式为:
本实施方式中,非线性放大因子δ取最优值为3。
(4)应用对比试验
首先构建常见全卷积神经网络U-net的标准构架,设输出激活函数为 Softmax,分别嵌入MSE Loss、GDL和本实施方式的多类分割损失函数Lm。对以上三个损失函数,模型中的所有参数与超参数设置相同。训练所使用的数据集包括779张人体背部矢状位磁共振(MR)影像图,对应每个标签标定了7个椎间盘(T11/T12-L5/S1),8个椎体(T11-S1),以及椎管内的脑脊液区域。训练数据占所有数据集的90%,测试数据占所有数据集的10%。模型的学习率为10-6,共训练10期,每期包含2000次迭代。
本实施方式构建的多类分割损失函数与其他常见函数的分割结果对比如图 2所示。图2(a)为人体背部矢状位磁共振(MR)影像图;图2(b)为人工标注的椎间盘、椎骨、椎管区域,及椎间盘、椎骨、椎管标签;图2(c)为使用常见的 MSE函数所得结果,该函数被类间不平衡问题影响导致失效;图2(d)为使用常见的GDL所得结果,该函数同样受类间不平衡问题影响,间盘部位的结果丢失;图2(e)为使用本实施方式的多类分割损失函数Lm所得结果,该函数显著抑制了类间不平衡问题的影响,并得到了有效的分割结果,最终的各组织平均分割准确率达到99.11%,AUC达到94.10%。
本发明具有显著抑制类间不平衡问题对脊椎组织影像的多类分割的影响、提高全卷积神经网络分割性能的优点,提升了脊椎组织影像分割效果,增强了损失函数的分割性能,其在深度学习与医学影像处理技术领域有极高的应用和推广价值。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (1)
1.一种多类分割损失函数在实现脊椎组织影像多类分割中的应用方法,其特征在于,将多类分割损失函数嵌入全卷积神经网络中实现脊椎组织影像多类分割,所述全卷积神经网络选用U-net,所述全卷积神经网络的激活层设置为Softmax;
所述多类分割损失函数的表达式为:
式中,n为多类分割目标中的总类别数;lj为用于第j类分割目标的二类分割损失函数;wj为限制权重;j为分割目标的类别;
所述用于第j类分割目标的二类分割损失函数lj为TverskyLoss,其表达式为:
式中,α=0.3;g0i为被训练图像的标签中像素点i是否为背景像素点的真实值,p0i为预测结果中像素点i是否为背景像素点的模型判断概率值,若被训练图像的标签中像素点i是背景像素点,则g0i=1,否则g0i=0,若预测结果中像素点i是背景像素点,则p0i=1,否则p0i=0;
g1i为被训练图像的标签中像素点i是否为分割目标像素点的真实值,p1i为预测结果中像素点i是否为分割目标像素点的模型判断概率值,若被训练图像的标签中像素点i是分割目标像素点,则g1i=1,否则g1i=0,若预测结果中像素点i是分割目标像素点,则p1i=1,否则p1i=0;
所述限制权重wj的表达式为:
式中,N为被训练图像像素点的总数;sj为训练标签中第j类分割目标的像素点总数;δ为非线性放大因子,1≤δ≤5;j为分割目标的类别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110540075.9A CN113240698B (zh) | 2021-05-18 | 2021-05-18 | 一种多类分割损失函数在实现脊椎组织影像多类分割中的应用方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110540075.9A CN113240698B (zh) | 2021-05-18 | 2021-05-18 | 一种多类分割损失函数在实现脊椎组织影像多类分割中的应用方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113240698A CN113240698A (zh) | 2021-08-10 |
CN113240698B true CN113240698B (zh) | 2022-07-05 |
Family
ID=77134940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110540075.9A Active CN113240698B (zh) | 2021-05-18 | 2021-05-18 | 一种多类分割损失函数在实现脊椎组织影像多类分割中的应用方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113240698B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018015080A1 (en) * | 2016-07-19 | 2018-01-25 | Siemens Healthcare Gmbh | Medical image segmentation with a multi-task neural network system |
CN111161271A (zh) * | 2019-12-31 | 2020-05-15 | 电子科技大学 | 一种超声图像分割方法 |
CN111192248A (zh) * | 2019-12-30 | 2020-05-22 | 山东大学 | 一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法 |
CN111292853A (zh) * | 2020-01-15 | 2020-06-16 | 长春理工大学 | 基于多参数的心血管疾病风险预测网络模型及其构建方法 |
CN111444914A (zh) * | 2020-03-23 | 2020-07-24 | 复旦大学 | 一种基于PU-Learning的图像语义分割方法 |
CN112070772A (zh) * | 2020-08-27 | 2020-12-11 | 闽江学院 | 基于UNet++和ResNet的血液白细胞图像分割方法 |
CN112233126A (zh) * | 2020-10-15 | 2021-01-15 | 推想医疗科技股份有限公司 | 医学图像的加窗方法及装置 |
CN112465844A (zh) * | 2020-12-29 | 2021-03-09 | 华北电力大学 | 一种用于图像语义分割的多类别损失函数及其设计方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3432263B1 (en) * | 2017-07-17 | 2020-09-16 | Siemens Healthcare GmbH | Semantic segmentation for cancer detection in digital breast tomosynthesis |
US10957041B2 (en) * | 2018-05-14 | 2021-03-23 | Tempus Labs, Inc. | Determining biomarkers from histopathology slide images |
CN111507343B (zh) * | 2019-01-30 | 2021-05-18 | 广州市百果园信息技术有限公司 | 语义分割网络的训练及其图像处理方法、装置 |
CN111127466B (zh) * | 2020-03-31 | 2021-06-11 | 上海联影智能医疗科技有限公司 | 医学图像检测方法、装置、设备及存储介质 |
-
2021
- 2021-05-18 CN CN202110540075.9A patent/CN113240698B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018015080A1 (en) * | 2016-07-19 | 2018-01-25 | Siemens Healthcare Gmbh | Medical image segmentation with a multi-task neural network system |
CN111192248A (zh) * | 2019-12-30 | 2020-05-22 | 山东大学 | 一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法 |
CN111161271A (zh) * | 2019-12-31 | 2020-05-15 | 电子科技大学 | 一种超声图像分割方法 |
CN111292853A (zh) * | 2020-01-15 | 2020-06-16 | 长春理工大学 | 基于多参数的心血管疾病风险预测网络模型及其构建方法 |
CN111444914A (zh) * | 2020-03-23 | 2020-07-24 | 复旦大学 | 一种基于PU-Learning的图像语义分割方法 |
CN112070772A (zh) * | 2020-08-27 | 2020-12-11 | 闽江学院 | 基于UNet++和ResNet的血液白细胞图像分割方法 |
CN112233126A (zh) * | 2020-10-15 | 2021-01-15 | 推想医疗科技股份有限公司 | 医学图像的加窗方法及装置 |
CN112465844A (zh) * | 2020-12-29 | 2021-03-09 | 华北电力大学 | 一种用于图像语义分割的多类别损失函数及其设计方法 |
Non-Patent Citations (2)
Title |
---|
基于U-Net卷积神经网络的年轮图像分割算法;宁霄等;《生态学杂志》;20190515(第05期);全文 * |
结合Sobel算子和Mask R-CNN的肺结节分割;闫欢兰等;《小型微型计算机系统》;20200115(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113240698A (zh) | 2021-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113240014B (zh) | 一种二类分割损失函数在实现椎间盘组织图像二类分割中的应用方法 | |
CN107730516B (zh) | 一种基于模糊聚类的脑mr影像分割方法 | |
CN110472667B (zh) | 基于反卷积神经网络的小目标分类方法 | |
CN110879982B (zh) | 一种人群计数系统及方法 | |
CN108510004B (zh) | 一种基于深度残差网络的细胞分类方法及系统 | |
CN110210570A (zh) | 基于深度学习的糖尿病视网膜病变图像多分类方法 | |
CN109272107A (zh) | 一种改进深层卷积神经网络的参数个数的方法 | |
CN109492668B (zh) | 基于多通道卷积神经网络的mri不同期多模图像表征方法 | |
CN106157249A (zh) | 基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法 | |
CN112115967B (zh) | 一种基于数据保护的图像增量学习方法 | |
CN114359629B (zh) | 一种基于深度迁移学习的肺炎x胸片分类识别方法 | |
CN105719293A (zh) | 一种脑部mri图像分割方法 | |
CN112819063B (zh) | 一种基于改进的Focal损失函数的图像识别方法 | |
CN110895772A (zh) | 基于灰色关联分析与SA-PSO-Elman算法结合的售电量预测方法 | |
Dong et al. | Supervised learning-based retinal vascular segmentation by m-unet full convolutional neural network | |
CN113240698B (zh) | 一种多类分割损失函数在实现脊椎组织影像多类分割中的应用方法 | |
Lei et al. | Robust deep kernel-based fuzzy clustering with spatial information for image segmentation | |
Yumang et al. | Bacterial Leaf Blight Identification of Rice Fields Using Tiny YOLOv3 | |
CN116486150A (zh) | 一种基于不确定性感知的图像分类模型回归误差消减方法 | |
CN116523877A (zh) | 一种基于卷积神经网络的脑mri图像肿瘤块分割方法 | |
CN109816028A (zh) | 一种部分特征迁移的非平衡数据集分类模型融合方法 | |
CN105488521B (zh) | 一种基于核函数的扩容样本筛选方法 | |
CN115482434A (zh) | 一种基于多尺度生成对抗网络的小样本高质量生成的方法 | |
CN112785559B (zh) | 基于深度学习的多个异构模型相互组合的骨龄预测方法 | |
CN112541859B (zh) | 一种光照自适应的人脸图像增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |