CN110910404B - 一种抗噪声数据的乳腺超声结节分割方法 - Google Patents
一种抗噪声数据的乳腺超声结节分割方法 Download PDFInfo
- Publication number
- CN110910404B CN110910404B CN201911129522.0A CN201911129522A CN110910404B CN 110910404 B CN110910404 B CN 110910404B CN 201911129522 A CN201911129522 A CN 201911129522A CN 110910404 B CN110910404 B CN 110910404B
- Authority
- CN
- China
- Prior art keywords
- nodule
- image
- model
- training
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 31
- 210000000481 breast Anatomy 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000002604 ultrasonography Methods 0.000 claims abstract description 26
- 238000009826 distribution Methods 0.000 claims description 18
- 206010006272 Breast mass Diseases 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 20
- 239000000523 sample Substances 0.000 description 12
- 238000002591 computed tomography Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种抗噪声数据的乳腺超声结节分割方法,本发明使用Unet网络训练分割模型,根据损失函数对分割模型进行训练,优化模型参数,使用focalloss函数和diceloss函数联合作为训练模型的损失函数。对训练好的分割模型,通过输入乳腺二维超声图像,模型自动输出结节掩模图像,再运用阈值对掩模图像进行更新,再根据掩模图像标记原乳腺超声图像结节区域,得到分割结果。本发明突破了基础网络对数据集高可靠性的限制,本发明对训练数据集包含一定量的噪声数据具有很高的容忍性,降低了数据集扩充的难度,同时保证了高数据样本量对神经网络准确率的增益特性。
Description
技术领域
本发明涉及医学影像技术领域,具体涉及一种抗噪声数据的乳腺超声结节分割方法。
背景技术
乳腺癌是女性群体中发病率最高的一类肿瘤。乳腺癌的早诊早筛有利于提升患者的5年生存率,具有重大的临床意义,为了给医生提供有效地辅助诊断信息,智能图像处理技术为基础的计算机辅助诊断正在逐渐的应用中。超声影像利用声波从不同组织间的界面反射回探头的回声,能够实时生成图像,具有无电离辐射影响、价格便宜等优势,成为最常用的医学成像手段之一,已被公认为是临床医生和放射科医生普遍而有效的筛查诊断工具。
现有的图像分割网络,如全卷积网络FCN,利用合并操作共享信息的UNet,利用稠密连接的DenseNet广泛应用于肺部CT,脑CT等医学图像的分割任务中。但是在乳腺超声上进行结节分割的方法受限于带标注图像数量少,发展缓慢。乳腺超声图像通常包含较多标记和背景信息,而医生关注的结节区域即发生病变的位置通常只占整张超声图像的小部分,其周围均是正常组织。因此在进行病情诊断前,如果先对结节进行分割,可以帮助医生更快的诊断病情。
乳腺超声数据集人工标注过程中,人眼可能注意不到一些样本的微弱结节边界,或者将正常的组织纹理误认为结节边缘,导致标注的区域和真实的结节范围相比存在较大误差,这就成为了数据集里的噪声样本。要想保证数据的高可靠性只能由经验丰富的医生进行手动标注并多重检查,这个过程需要耗费医生很多时间,导致数据集的扩充很艰难。
然而现有基于深度学习的乳腺超声结节分割方法基本是在干净的数据集上进行训练,没有对包含噪声样本的数据集作特定处理,在训练网络上下功夫也只能有限的提升准确度。
因此一种能在包含噪声的数据集上训练,又能避免噪声数据过度干扰模型训练的分割方法十分必要。
发明内容
本发明的目的在于克服上述背景技术存在的不足,提供一种抗噪声数据的乳腺超声结节分割方法,能够在包含噪声的数据集上训练,又能避免噪声数据过度干扰模型训练。
为达到上述目的,本发明是这样实现的:
一种抗噪声数据的乳腺超声结节分割方法,包括以下步骤:
S1、将原始病人超声图像数据进行脱敏处理,构建数据集,使用Labelme标注软件标记每张图像的结节区域,再将数据集分为训练集和测试集两部分;
然后对脱敏后的超声图像预处理:使用非线性多尺度小波扩散算法对超声图像进行去噪,使用对比度有限自适应直方图均衡化对图像进行对比度增强;
S2、使用Unet网络训练分割模型,根据损失函数对分割模型进行训练,优化模型参数;网络训练输入为训练集的乳腺超声原图像和对应的手工标注结节掩模图像,网络输出为预测的结节掩模图;
S3、模型训练采用多阶段,每一个阶段结束,计算每个图像的似噪音指数s,以s范围值为横坐标,范围内s值的个数为纵坐标,当s的分布接近两个正态分布时进入S4步骤,s计算公式如下:
S4、经过S3,训练集样本的似噪音指数呈两个正态分布,两个正态分布交于点τ,s值大于临界点的样本被认定为噪声;通过动态调整噪声样本对应的超参数μ来降低损失函数值,从而降低噪声样本对模型的干扰;超参数μ的计算公式如下:
继续训练模型,直到损失函数值不再下降;
S5、运用模型进行结节分割:输入乳腺二维超声图像,模型自动输出结节掩模图像,再运用阈值对掩模图像进行更新,像素值大于阈值的设为1,否则更新为0;更新后图像像素为1的区域即为结节区域,再根据掩模图像标记原乳腺超声图像结节区域,得到分割结果。
进一步的,在步骤S2中,使用focalloss函数和diceloss函数联合作为训练模型的损失函数,其中,focalloss函数的表达式如下:
Lfocalloss=-αt(1-pt)μ*γlog(pt) (1)
式中,pt是超声图像每个像素的模型预测输出,范围[0,1],αt、μ、γ为超参数;
其中,diceloss函数的表达式如下:
式中,θTP代表模型预测和人为标注结节区域重合的像素数量,θFP代表错误预测为结节,实际是背景的部分,θFN代表错误预测为背景的部分;
最终的损失函数为:
Lloss=βLfocalloss+δLdiceloss (3)
式中β、δ为超参数。
相对于现有技术,本发明具有如下益效果:
1、本发明突破了基础网络对数据集高可靠性的限制,本发明对训练数据集包含一定量的噪声数据具有很高的容忍性,降低了数据集扩充的难度,同时保证了高数据样本量对神经网络准确率的增益特性。
2、本发明通过对网络训练过程的动态监测,本发明能针对不同的训练集自动定位网络能区分噪声样本和正常样本的时间节点——似噪音指数s呈现两个正态分布的时间点。
3、本发明在网络有区分噪声样本和正常样本的能力之后,加入动态调节模块降低噪声样本的损失函数值,抑制噪声对网络的影响,从而能够保证网络的训练效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例抗噪声数据的乳腺超声结节分割方法的算法训练过程流程图。
图2为本发明乳腺结节分割流程图。
图3-图6为采用本发明分割方法对超声图像进行乳腺结节分割的结果图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本发明保护的范围。
根据本发明的实施例,提供一种抗噪声数据的乳腺超声结节分割方法,包括以下步骤:
S1、将原始病人超声图像数据进行脱敏处理(去除身份信息),构建数据集,使用Labelme标注软件标记每张图像的结节区域,再将数据集分为训练集和测试集两部分,其中测试集由临床医生进一步确定标注的准确性;
然后对脱敏后的超声图像预处理:使用非线性多尺度小波扩散算法对超声图像进行去噪,使用对比度有限自适应直方图均衡化对图像进行对比度增强。
S2、使用Unet网络训练分割模型,根据损失函数对分割模型进行训练,优化模型参数;网络训练输入为训练集的乳腺超声原图像和对应的手工标注结节掩模图像,网络输出为预测的结节掩模图;
本发明中使用focalloss函数和diceloss函数联合作为训练模型的损失函数,其中,focalloss函数的表达式如下:
Lfocalloss=-αt(1-pt)μ*γlog(pt) (1)
式中,pt是超声图像每个像素的模型预测输出,范围[0,1],αt、μ、γ为超参数;本发明αt、γ采用的值分别是:0.25和2,μ的值根据网络训练结果动态生成。
其中,diceloss函数的表达式如下:
式中,θTP代表模型预测和人为标注结节区域重合的像素数量,θFP代表错误预测为结节,实际是背景的部分,θFN代表错误预测为背景的部分;
最终的损失函数为:
Lloss=βLfocalloss+δLdiceloss (3)
式中β、δ为超参数,在本发明中β、δ分别取值为:0.6和0.4。
S3、模型训练采用多阶段,每一个阶段结束,计算每个图像的似噪音指数s,以s范围值为横坐标,范围内s值的个数为纵坐标,当s的分布接近两个正态分布时进入S4步骤,s计算公式如下:
S4、经过S3,训练集样本的似噪音指数呈两个正态分布,两个正态分布交于点τ,s值大于临界点的样本被认定为噪声;通过动态调整噪声样本对应的超参数μ来降低损失函数值,从而降低噪声样本对模型的干扰;超参数μ的计算公式如下:
继续训练模型,直到损失函数值不再下降。
S5、运用模型进行结节分割:输入乳腺二维超声图像,模型自动输出结节掩模图像,再运用阈值对掩模图像进行更新,像素值大于阈值0.6的设为1,否则更新为0;更新后图像像素为1的区域即为结节区域,再根据掩模图像标记原乳腺超声图像结节区域,得到分割结果。
本发明利用正常数据与噪声数据存在不同的交并比(Intersection overUnion,IOU)分布,设计了噪音指数s来判断当前数据是噪声的概率,同时动态调整损失函数中的超参数μ来削弱噪声对模型的干扰。采用本发明的乳腺超声结节分割方法对4组乳腺超声图像进行结节分割,结果如图3-图6所示,其中图3-图6中的Image是乳腺超声图像,Gt Mask代表人工标注的掩模图像,Pr Mask代表模型预测输出(白色区域代表结节区域)。针对图中结果可以看出,模型预测输出的结节分割结果相比手工标注更加准确。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种抗噪声数据的乳腺超声结节分割方法,其特征在于,包括以下步骤:
S1、将原始病人超声图像数据进行脱敏处理,构建数据集,使用Labelme标注软件标记每张图像的结节区域,再将数据集分为训练集和测试集两部分;
然后对脱敏后的超声图像预处理:使用非线性多尺度小波扩散算法对超声图像进行去噪,使用对比度有限自适应直方图均衡化对图像进行对比度增强;
S2、使用Unet网络训练分割模型,根据损失函数对分割模型进行训练,优化模型参数;网络训练输入为训练集的乳腺超声原图像和对应的手工标注结节掩模图像,网络输出为预测的结节掩模图;
在步骤S2中,使用focalloss函数和diceloss函数联合作为训练模型的损失函数,其中,focalloss函数的表达式如下:
Lfocalloss=-αt(1-pt)μ*γlog(pt) (1)
式中,pt是超声图像每个像素的模型预测输出,范围[0,1],αt、μ、γ超参数;
其中,diceloss函数的表达式如下:
式中,θTP代表模型预测和人为标注结节区域重合的像素数量,θFP代表错误预测为结节,实际是背景部分的像素数量,θFN代表错误预测为背景部分的像素数量;
最终的损失函数为:
Lloss=βLfocalloss+δLdiceloss (3)
式中β、δ为超参数;
S3、模型训练采用多轮次,每一轮次的模型训练结束,计算每个图像的似噪音指数s,以s范围值为横坐标,范围内s值的个数为纵坐标,当s的分布接近两个正态分布时进入S4步骤,s计算公式如下:
S4、经过S3,所获得的两个正态分布交于点τ,s值大于临界点的样本被认定为噪声;通过动态调整噪声样本对应的超参数μ来降低损失函数值,从而降低噪声样本对模型的干扰;超参数μ的计算公式如下:
继续训练模型,直到损失函数值不再下降;
S5、运用模型进行结节分割:输入乳腺二维超声图像,模型自动输出结节掩模图像,再运用阈值对掩模图像进行更新,像素值大于阈值的设为1,否则更新为0;更新后图像像素为1的区域即为结节区域,再根据掩模图像标记原乳腺超声图像结节区域,得到分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911129522.0A CN110910404B (zh) | 2019-11-18 | 2019-11-18 | 一种抗噪声数据的乳腺超声结节分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911129522.0A CN110910404B (zh) | 2019-11-18 | 2019-11-18 | 一种抗噪声数据的乳腺超声结节分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110910404A CN110910404A (zh) | 2020-03-24 |
CN110910404B true CN110910404B (zh) | 2020-08-04 |
Family
ID=69817782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911129522.0A Active CN110910404B (zh) | 2019-11-18 | 2019-11-18 | 一种抗噪声数据的乳腺超声结节分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110910404B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111584044B (zh) * | 2020-05-14 | 2023-07-14 | 上海深至信息科技有限公司 | 一种标准超声图像训练集的生成方法及系统 |
CN112116625A (zh) * | 2020-08-25 | 2020-12-22 | 澳门科技大学 | 基于矛盾标记法的心脏ct图像自动分割方法、装置及介质 |
CN112633416A (zh) * | 2021-01-16 | 2021-04-09 | 北京工业大学 | 一种融合多尺度超像素的脑ct图像分类方法 |
CN112801970A (zh) * | 2021-01-25 | 2021-05-14 | 北京工业大学 | 一种乳腺超声图像肿瘤分割方法 |
CN116012283B (zh) * | 2022-09-28 | 2023-10-13 | 逸超医疗科技(北京)有限公司 | 一种全自动超声图像量测方法、设备及存储介质 |
CN116934738B (zh) * | 2023-08-14 | 2024-03-22 | 威朋(苏州)医疗器械有限公司 | 基于超声图像的器官与结节联合分割方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1471054A (zh) * | 2002-07-26 | 2004-01-28 | 中国科学院自动化研究所 | 基于活动轮廓模型的多个对象的自动分割方法 |
CN101286227A (zh) * | 2007-05-17 | 2008-10-15 | 西北工业大学 | 一种无监督马尔可夫随机场图像分割方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104050677A (zh) * | 2014-06-30 | 2014-09-17 | 南京理工大学 | 一种基于多层神经网络的超光谱图像分割方法 |
CN104050507B (zh) * | 2014-06-30 | 2018-03-09 | 南京理工大学 | 基于多层神经网络的超光谱图像分类方法 |
CN106097355A (zh) * | 2016-06-14 | 2016-11-09 | 山东大学 | 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法 |
CN107016665B (zh) * | 2017-02-16 | 2021-05-04 | 浙江大学 | 一种基于深度卷积神经网络的ct肺结节检测方法 |
CN109087306A (zh) * | 2018-06-28 | 2018-12-25 | 众安信息技术服务有限公司 | 动脉血管图像模型训练方法、分割方法、装置及电子设备 |
CN109087317A (zh) * | 2018-11-13 | 2018-12-25 | 中国科学院大学 | 一种肺结节图像分割方法 |
CN109859184B (zh) * | 2019-01-29 | 2020-11-17 | 牛旗 | 一种连续扫描乳腺超声图像的实时检测与决策融合方法 |
-
2019
- 2019-11-18 CN CN201911129522.0A patent/CN110910404B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1471054A (zh) * | 2002-07-26 | 2004-01-28 | 中国科学院自动化研究所 | 基于活动轮廓模型的多个对象的自动分割方法 |
CN101286227A (zh) * | 2007-05-17 | 2008-10-15 | 西北工业大学 | 一种无监督马尔可夫随机场图像分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110910404A (zh) | 2020-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110910404B (zh) | 一种抗噪声数据的乳腺超声结节分割方法 | |
CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
CN108573490B (zh) | 一种针对肿瘤影像数据的智能读片系统 | |
CN112070119B (zh) | 超声切面图像质量控制方法、装置和计算机设备 | |
Hussein et al. | Fully‐automatic identification of gynaecological abnormality using a new adaptive frequency filter and histogram of oriented gradients (HOG) | |
CN109255354B (zh) | 面向医用ct的计算机图像处理方法和装置 | |
CN113420826B (zh) | 一种肝脏病灶图像处理系统及图像处理方法 | |
US11928589B2 (en) | Image analysis apparatus using machine learning-based artificial intelligence including preprocessing modules | |
Katre et al. | Detection of lung cancer stages using image processing and data classification techniques | |
CN109785320A (zh) | 一种采用改进型AlexNet模型对乳腺钼靶X线图像进行分类和识别的方法 | |
Abdullah et al. | A new procedure for lung region segmentation from computed tomography images | |
CN114332910A (zh) | 一种面向远红外图像的相似特征计算的人体部位分割方法 | |
CN111513743B (zh) | 一种骨折检测方法及装置 | |
CN112508943A (zh) | 基于超声影像的乳腺肿瘤识别方法 | |
WO2020235461A1 (ja) | 異常検出方法、異常検出プログラム、異常検出装置、サーバ装置及び情報処理方法 | |
CN209770401U (zh) | 医学图像快速分析处理系统 | |
Azli et al. | Ultrasound image segmentation using a combination of edge enhancement and kirsch’s template method for detecting follicles in ovaries | |
CN115797308A (zh) | 一种基于dce-mri的乳腺肿瘤分割方法 | |
Malinda et al. | Lumbar vertebrae synthetic segmentation in computed tomography images using hybrid deep generative adversarial networks | |
Huang et al. | Research on Tumors Segmentation based on Image Enhancement Method | |
Ashame et al. | Abnormality Detection in Eye Fundus Retina | |
CN112633405A (zh) | 模型训练方法、医学影像分析方法及装置、设备、介质 | |
CN115578554B (zh) | 一种血管病灶识别方法、装置、电子设备和可读存储介质 | |
CN112766333B (zh) | 医学影像处理模型训练方法、医学影像处理方法及装置 | |
CN115482246B (zh) | 一种图像信息提取方法、装置、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |