CN111128373B - 一种通过协同主动学习模型的乳腺癌数据标注方法 - Google Patents
一种通过协同主动学习模型的乳腺癌数据标注方法 Download PDFInfo
- Publication number
- CN111128373B CN111128373B CN201911266873.6A CN201911266873A CN111128373B CN 111128373 B CN111128373 B CN 111128373B CN 201911266873 A CN201911266873 A CN 201911266873A CN 111128373 B CN111128373 B CN 111128373B
- Authority
- CN
- China
- Prior art keywords
- samples
- labeling
- learning
- sample set
- collaborative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种通过协同主动学习模型的乳腺癌数据标注方法,涉及医学影像数据标注领域,采用了深度学习网络、主动学习系统和协同学习系统相结合,对所述乳腺癌数据进行标注。本发明提出的方法同时将深度学习,主动学习与协同学习这三种原本完全不相干的机器学习分支结合到一起,并将其用于医学图像分类任务:乳腺图像计算机辅助诊断。具有不需要增加额外标注成本的前提下,能够充分利用全部样本,因此特别适合被用于“获取成本高”的医学图像分类任务,并且能获得比主动学习方法更好的模型预测效果。
Description
技术领域
本发明涉及医学影像数据标注领域,尤其涉及一种通过协同主动学习模型的乳腺癌数据标注方法。
背景技术
乳腺癌是导致女性病亡的主要原因之一。据美国癌症学会估计,2018年乳腺癌新发病例数210万,占2018年全球总癌症新发病例数的11.6%,2018年全球约有63万人死于乳腺癌。全球女性乳腺癌的发病率逐年增。对于女性而言,包括中国在内的154个国家中,乳腺癌疾病发病率均居首位。目前,对乳腺癌病理图像辅助诊断的研究主要有手工提取特征的传统图像处理和基于深度学习的图像处理两种方法。
主动学习是一种利用较少标注样本就可以得到一个相对性能比较好的训练模型的算法,通过对未标注样本进行选择,筛选出部分高价值的样本进行标注,就可以实现少量样本标注量的情况下进行样本标注。而协同学习是当下较流行的一种半监督学习方法,最早是由Blum与Mitchell在1998年发表的文献Combining labeled and unlabeled datawith co-training中提出,目前被广泛应用于众多双度量。协同学习的核心理念即是首先根据两个不同的特征角度在少量标注集中构建出两个互相独立,且差异较大的分类器,然后利用这两个分类器分别对未标注样本集中置信度较高的样本进行预测,而预测结果就被视作为这些样本的“计算机标签”。接着只需要将这些新标注好的样本加入到当前已标注样本集,并重复上述过程,直至未标注样本集耗尽,即可得到一个理论上性能良好,同时真实标注成本极小的预测模型。协同学习目前被广泛应用于文本识别,车辆检测与生物识别,而对于本发明的主题医学图像分类任务,相关研究就相对较少。
因此,本领域的技术人员致力于开发一种通过协同学习和主动学习模型结合的乳腺癌数据标注方法,实现少量标注的同时提高深度学习模型的模型效果。
发明内容
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是如何通过主动学习与协同学习所结合,并且能够应用于深度学习的数据标注方式,来提高在乳腺癌数据的标注效率。
为实现上述目的,本发明提供了一种通过协同主动学习模型的乳腺癌数据标注方法,其特征在于,采用了深度学习网络、主动学习系统和协同学习系统相结合,对所述乳腺癌数据进行标注。
步骤1、建立未标注样本集U,用于存储各未标注样本的标注信息与标注方式;
步骤2、通过所述主动学习系统,在所述未标注样本集U中逐一取出最有价值的样本进行人工标注,并将标注好的样本加入到已标注样本集A,该过程将持续迭代到启动自学习功能或是所述未标注样本集U与伪标注样本集F中样本数量均为0;
步骤3、启动自学习功能,利用所述已标注样本集A与所述伪标注样本集F训练MLO深度学习网络和CC深度学习网络,并构建所述协同学习系统;
步骤4、将构建好的所述协同学习系统用于所述未标注样本集U,在每次迭代中逐一取出置信度最高的所述未标注样本,通过所述协同学习系统对其进行智能标注,从而获得所述伪标注样本集F,持续迭代到关闭所述自学习功能或是所述未标注样本集U中样本数量为0;
步骤5、当所述自学习功能关闭时,回到所述步骤2。
进一步地,所述步骤1还包括建立一个n*2的向量,n为所述未标注样本集U数量。
进一步地,所述标注方式为:0表示未标注,1表示用户人工标注,2表示计算机智能标注。
进一步地,所述步骤2中所述主动学习系统采用的是MDAL算法。
进一步地,所述步骤2中所述最有价值的样本的选取,基于多样性准则进行筛选,确保选出的样本与已标注样本差异最大。
进一步地,所述步骤2中所述最有价值的样本的选取,基于版本空间准则进行筛选,确保选择出的样本在所述MLO和所述CC体位的预测差异最大。
与现有技术方案相比,本发明的有益技术效果在于,提出的方法同时将深度学习,主动学习与协同学习这三种原本完全不相干的机器学习分支结合到一起,并将其用于医学图像分类任务:乳腺图像计算机辅助诊断。在前文MDAL算法的基础上,引入了以深度神经网络作为基础分类器的协同学习系统,新方法在不需要增加额外标注成本的前提下,能够充分利用全部样本(包括高价值与低价值样本),因此特别适合被用于“获取成本高”的医学图像分类任务,并且能获得比主动学习方法更好的模型预测效果。
以下将结合附图对本发明的构思及产生的技术效果作进一步说明,以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明一个较佳实施例的流程图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例,使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现,本发明的保护范围并非仅限于文中提到的实施例。
如图1所示,本发明提供了一种通过协同主动学习模型的乳腺癌数据标注方法,其特征在于,采用了深度学习网络、主动学习系统和协同学习系统相结合,对所述乳腺癌数据进行标注:
步骤1、建立未标注样本集U,用于存储各未标注样本的标注信息与标注方式;
步骤2、通过所述主动学习系统,在所述未标注样本集U中逐一取出最有价值的样本进行人工标注,并将标注好的样本加入到已标注样本集A,该过程将持续迭代到启动自学习功能或是所述未标注样本集U与伪标注样本集F中样本数量均为0;
步骤3、启动自学习功能,利用所述已标注样本集A与所述伪标注样本集F训练MLO深度学习网络和CC深度学习网络,并构建所述协同学习系统;
步骤4、将构建好的所述协同学习系统用于所述未标注样本集U,在每次迭代中逐一取出置信度最高的所述未标注样本,通过所述协同学习系统对其进行智能标注,从而获得所述伪标注样本集F,持续迭代到关闭所述自学习功能或是所述未标注样本集中样本数量为0;
步骤5、当所述自学习功能关闭时,回到所述步骤2。
由于该部分实验操作涉及深度神经网络构建,上文所有设计的实验操作改为在一台高性能的计算机工作站上的Linux系统中运行。该计算机工作站自带Intel Xeon(R)E5-2620-v3 CPU(主频2.40GHz),62.80系统内存与两块NVIDIA-GP102系列11.98GB大小的TITAN X显卡。
整个实验设计的代码是用Python编写,主动学习部分来源于本实验室自行研制的开源算法包MDAL,可在https://github.com/lestel/mdal.git上下载。而协同学习部分则来源于对github上相关开源项目sklearn_cotraining-master的改写,其具体下载地址如下:https://github.com/jjrob13/sklearn_cotraining.git。
实验中所有涉及预测模型均是基于Inception v3深度神经网络的增强版。该深度神经网络的代码是由开源深度学习库Keras提供,可在pip上直接安装。改进后的Inceptionv3网络架构与其中涉及的超参数为epoch为30,使用Mean Squared Error作为损失函数,优化器为Adam。
我们进行了以下两组实验:
实验一
在该部分实验中,我们将分别记录指定样本标注量为200,300与400时的各方法准确率与各方法实际参与训练的样本量(由于Co-training的效果,实际参与训练的样本数量不等于样本标注数量)于下表1。参与比较的方法总共有四种,具体包括:指定标注量下从未标注样本集中完全随机选取样本进行标注并通过常规有监督方式训练获得的预测模型(下表中将用Random表示);指定标注量下从未标注样本集中利用主动学习方法MDAL选取样本进行标注并通过常规有监督方式训练获得的预测模型(下表中将用Active learning表示);指定标注量下从未标注样本集中利用随机方法取样本进行标注并通过协同学习方式训练获得的预测模型(下表中将用Co-training表示);指定标注量下从未标注样本集中利用主动学习方法取样本进行标注并通过协同学习方式训练获得的预测模型(即本发明提出的方法Co-training active learning,下表中将用COAL表示)。
表1 COAL方法和其他主动学习方法在不同标注量下的性能
实验二
该实验涉及的方法具体包括与实验一完全流程相同的Random,Active learning,Co-training与Co-training active learning。而这部分实验的主要目的是为了测试上述方法的算法运行用时(即算法最终需要多少时间结束)与实际标注用时(即医生所需的实际标注工作时间)并记录于下表2。表中m为原始数据集信息表示训练集样本数量;n与c是用户设置参数即指定样本标注量与每次迭代样本选择数量。At、Rt、Dt与Nt则分别是主动学习样本选择,随意样本选择,医生标注用时与一个深度学习模型训练所需的时间,也就是本实验真实需要测试的数据。值得一提的是,由于本发明的处理对象乳腺图像涉及双视角模型,每次迭代模型训练所需的时间事实上是单深度学习模型训练所需时间的两倍。
表2 COAL方法和其他主动学习方法所需的算法运行用时与实际标注用时
根据以上两组实验可以看出:
(1)实验一的结果分析
通过上述表1中实验一的性能结果可知:首先在意料之中,随机对训练集采样建立的模型效果有限。其次,主动学习协助下的协同学习方法所建立的预测模型效果确实要比初始预测模型是由随机挑选建立初始预测模型的传统协同学习方法效果好的多,(即Co-training active learning性能超过Co-training)。同理,主动学习在协同学习方法帮助上,也确实可以在不提升样本标注量的前提下,充分利用剩余未标注低价值样本,从而进一步提升预测模型性能(即Co-training active learning性能超过Active learning)。
(2)实验二的结果分析
通过对实验二记录在表2上的结果进行分析,可以看出以下几点内容。首先,利用主动学习提升协同学习系统效果并不会为传统协同学习流程增添更多时间负担,也就是说COAL方法与传统Co-training的算法复杂度与用户真实标注时间基本一致。然而引入协同学习系统在传统主动学习方法却会额外增加给算法相当高的运算负担。但好在COAL分段式的设计确保了用户实际标注用时依然很小,也就是说标注者的工作在COAL算法第一阶段主动学习部分运行完后已经完成,其余只需交给设备挂机处理,就可以获得一个同样样本标注成本,但更高性能的乳腺图像预测分类模型。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。
Claims (6)
1.一种通过协同主动学习模型的乳腺癌数据标注方法,其特征在于,包括主动学习系统和协同学习系统;所述主动学习系统用于从样本集中取出有价值的样本供标注;所述协同学习系统通过神经网络训练后,对所述主动学习系统提供的所述有价值的样本数据进行标注;
所述方法包括以下步骤:
步骤1、建立未标注样本集U,用于存储各未标注样本的标注信息与标注方式;
步骤2、通过所述主动学习系统,在所述未标注样本集U中逐一取出最有价值的样本进行人工标注,并将标注好的样本加入到已标注样本集A,该过程将持续迭代到启动自学习功能或是所述未标注样本集U与伪标注样本集F中样本数量均为0;
步骤3、启动自学习功能,利用所述已标注样本集A与所述伪标注样本集F训练MLO深度学习网络和CC深度学习网络,并构建所述协同学习系统;
步骤4、将构建好的所述协同学习系统用于所述未标注样本集U,在每次迭代中逐一取出置信度最高的所述未标注样本,通过所述协同学习系统对其进行智能标注,从而获得所述伪标注样本集F,持续迭代到关闭所述自学习功能或是所述未标注样本集U中样本数量为0;
步骤5、当所述自学习功能关闭时,回到所述步骤2。
2.如权利要求1所述的方法,其特征在于,所述步骤1还包括建立一个n*2的向量,n为所述未标注样本集U数量。
3.如权利要求1所述的方法,其特征在于,所述标注方式为:0表示未标注,1表示用户人工标注,2表示计算机智能标注。
4.如权利要求1所述的方法,其特征在于,所述步骤2中所述主动学习系统采用的是MDAL算法。
5.如权利要求1所述的方法,其特征在于,所述步骤2中所述最有价值的样本的选取,基于多样性准则进行筛选,确保选出的样本与已标注样本差异最大。
6.如权利要求1所述的方法,其特征在于,所述步骤2中所述最有价值的样本的选取,基于版本空间准则进行筛选,确保选择出的样本在所述MLO和所述CC体位的预测差异最大。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911266873.6A CN111128373B (zh) | 2019-12-11 | 2019-12-11 | 一种通过协同主动学习模型的乳腺癌数据标注方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911266873.6A CN111128373B (zh) | 2019-12-11 | 2019-12-11 | 一种通过协同主动学习模型的乳腺癌数据标注方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111128373A CN111128373A (zh) | 2020-05-08 |
CN111128373B true CN111128373B (zh) | 2023-06-27 |
Family
ID=70498629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911266873.6A Active CN111128373B (zh) | 2019-12-11 | 2019-12-11 | 一种通过协同主动学习模型的乳腺癌数据标注方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111128373B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111666993A (zh) * | 2020-05-28 | 2020-09-15 | 平安科技(深圳)有限公司 | 医学图像样本筛查方法、装置、计算机设备和存储介质 |
US20220058794A1 (en) * | 2020-08-19 | 2022-02-24 | International Business Machines Corporation | Performing diagnostic assessments |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107808661A (zh) * | 2017-10-23 | 2018-03-16 | 中央民族大学 | 一种基于协作式批量主动学习的藏语语音语料标注方法及系统 |
CN109389180A (zh) * | 2018-10-30 | 2019-02-26 | 国网四川省电力公司广元供电公司 | 一款基于深度学习的电力设备图像识别方法及巡查机器人 |
CN109741332A (zh) * | 2018-12-28 | 2019-05-10 | 天津大学 | 一种人机协同的图像分割与标注方法 |
CN109818929A (zh) * | 2018-12-26 | 2019-05-28 | 天翼电子商务有限公司 | 基于主动自步学习的未知威胁感知方法、系统、存储介质、终端 |
CN110363071A (zh) * | 2019-05-31 | 2019-10-22 | 上海海洋大学 | 一种协同主动学习和直推式支持向量机的海冰检测方法 |
-
2019
- 2019-12-11 CN CN201911266873.6A patent/CN111128373B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107808661A (zh) * | 2017-10-23 | 2018-03-16 | 中央民族大学 | 一种基于协作式批量主动学习的藏语语音语料标注方法及系统 |
CN109389180A (zh) * | 2018-10-30 | 2019-02-26 | 国网四川省电力公司广元供电公司 | 一款基于深度学习的电力设备图像识别方法及巡查机器人 |
CN109818929A (zh) * | 2018-12-26 | 2019-05-28 | 天翼电子商务有限公司 | 基于主动自步学习的未知威胁感知方法、系统、存储介质、终端 |
CN109741332A (zh) * | 2018-12-28 | 2019-05-10 | 天津大学 | 一种人机协同的图像分割与标注方法 |
CN110363071A (zh) * | 2019-05-31 | 2019-10-22 | 上海海洋大学 | 一种协同主动学习和直推式支持向量机的海冰检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111128373A (zh) | 2020-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Babaie et al. | Classification and retrieval of digital pathology scans: A new dataset | |
Mahapatra et al. | Interpretability-driven sample selection using self supervised learning for disease classification and segmentation | |
Abdelhafiz et al. | Deep convolutional neural networks for mammography: advances, challenges and applications | |
JP6487341B2 (ja) | 学習が強化されたアトラスベース自動輪郭抽出方法及び装置 | |
Yi et al. | Optimizing and visualizing deep learning for benign/malignant classification in breast tumors | |
CN111128373B (zh) | 一种通过协同主动学习模型的乳腺癌数据标注方法 | |
US20240071110A1 (en) | Convolutional localization networks for intelligent captioning of medical images | |
Le Vuong et al. | Joint categorical and ordinal learning for cancer grading in pathology images | |
Stepec et al. | Unsupervised detection of cancerous regions in histology imagery using image-to-image translation | |
US20220301689A1 (en) | Anomaly detection in medical imaging data | |
Jha et al. | Instance segmentation for whole slide imaging: end-to-end or detect-then-segment | |
Masood et al. | Texture analysis based automated decision support system for classification of skin cancer using SA-SVM | |
Golfe et al. | ProGleason-GAN: Conditional progressive growing GAN for prostatic cancer Gleason grade patch synthesis | |
Chenni et al. | Patch clustering for representation of histopathology images | |
CN110472694A (zh) | 一种肺癌图像病理分类方法及装置 | |
Yasmin et al. | Impact of fuzziness for skin lesion classification with transformer-based model | |
CN116129184A (zh) | 多期相病灶分类方法、装置、设备及可读存储介质 | |
WO2022170203A1 (en) | System and method for automatic diagnosis of idiopathic pulmonary fibrosis (ipf) using neural networks | |
Selcuk et al. | Automated HER2 Scoring in Breast Cancer Images Using Deep Learning and Pyramid Sampling | |
Xue et al. | Skin lesion classification using weakly-supervised fine-grained method | |
Agarwal | An augmentation in the diagnostic potency of breast cancer through a deep learning cloud-based AI framework to compute tumor malignancy & risk | |
Chi et al. | Segmenting kidney on multiple phase CT images using ULBNet | |
Elassal et al. | Enhanced Deep Learning-Based CAD System for Breast Cancer Diagnosis from Histopathology Images: Whole Slide Approach | |
Ravi | Classification of microscopy images of breast tissue: Region duplication based self-supervision vs. off-the shelf deep representations | |
Yamini et al. | Integument Neoplasm Detection using Convolution Neural Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |