CN108665461B - 一种基于fcn和迭代声影校正的乳腺超声图像分割方法 - Google Patents
一种基于fcn和迭代声影校正的乳腺超声图像分割方法 Download PDFInfo
- Publication number
- CN108665461B CN108665461B CN201810435881.8A CN201810435881A CN108665461B CN 108665461 B CN108665461 B CN 108665461B CN 201810435881 A CN201810435881 A CN 201810435881A CN 108665461 B CN108665461 B CN 108665461B
- Authority
- CN
- China
- Prior art keywords
- ultrasound image
- sound shadow
- corrected
- image
- fcn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于FCN和迭代声影校正的乳腺超声图像分割方法,构造了一个全新串联的深度神经网络,该网络以第一个FCN的初步分割结果作为声影校正的初始化分割,可有效地对确定的成本函数进行时初始化,从而获得图像的声影场,进而完成超声图像的声影校正,消除解剖层边缘的模糊和部分解剖层图像质量不佳的问题,提高第二个全卷积连接网络的输入图像的质量,再将校正后灰度均衡的图像输入第二个FCN实现最终的解剖层分割,达到较精确的解剖层分割结果。该乳腺超声分割方法的研究有助于解决超声图像分割的若干科学问题,并对后续计算机辅助病灶检测及诊断有重要帮助,具有重要的科学意义。
Description
技术领域
本发明属于乳腺超声图像分割技术领域,具体涉及一种基于FCN和迭代声影校正的乳腺超声图像分割方法。
背景技术
由于无创、无辐射、成本低和实时成像等优点,超声成像是目前乳房临床常规检查的主要手段。超声乳房图像可分为四个解剖层:脂肪层(含皮肤层)、乳腺组织层、肌肉层、肋骨与胸腔壁,用以支持以下临床应用:提升乳腺病灶计算机辅助检测的效能;作为乳房密度计算的基石;辅助乳房手术规划或临床图像的判读与分析。
乳房解剖层的精确分割极具挑战性,主要表现为:(1)乳房各个解剖层厚度、形状、其外观因人因部位而异,而具有较高类内差异(intra-class variation);(2)由于半点噪声及声波衰减等原因,造成解剖层间的边缘不甚明显,甚至部分区域受到声影影影响而图像质量更为不佳,特别是乳头以及乳房悬韧带下方等区域由于声影的影响而变得更加模糊不清。
全卷积神经网络的语义分割是将传统的分类网络改造成全卷积的网络,主要思路是把CNN改成FCN(全卷积神经网络),输入一幅图像后直接在输出端得到密度预测图,也就是每个像素所属的类别,FCN有个最大的好处就是输入图像的尺寸是任意的,输出和原图像相同的预测图像。FCN最大的好处就是输入图像的尺寸是任意的,输出和原图像相同尺寸的预测图像。
FCN主要用于自然图像的语义分割,虽然可以较好地做到对自然图像像素点的分类,其中有一个重要的前提就是自然图像的灰度分布较为均匀,但是如果直接将FCN用在乳腺超声图像,往往会因为没有考虑到声音对超声图像的影响,尤其是声影造成的解剖层间的边缘模糊,甚至部分解剖区域因为受到声影影响而图像质量更为不佳,特别是乳头以及乳房悬韧带下方等区域由于声影的影响而变得更加模糊不清,上述声影造成的图像质量下降都会造成FCN对解剖层的分割错误。
发明内容
针对现有技术中的上述不足,本发明提供的基于FCN和迭代声影校正的乳腺超声图像分割方法解决了现有技术中超声图像分割的若干科学的问题,对后续计算机辅助病灶检测及诊断有重要帮助,具有重要的科学意义。
为了达到上述发明目的,本发明采用的技术方案为:一种基于FCN和迭代声影校正的乳腺超声图像分割方法,包括以下步骤,
S1、通过第一个全卷积神经网络对乳腺超声图像进行概率预分割,并将预分割结果设置为U=U0;
S2、设置最大迭代次数为k,当前迭代次数为i=1,并随机初始化基函数系数向量W=W0和图像域中所有组织的真实灰度值C=C0;
S3、根据当前的W和U,对C进行校正更新;
S4、根据当前的C和U,对W进行校正更新;
S5、根据当前的C和W,对U进行校正更新;
S6、判断i=k是否成立,是则进入步骤S7,否则,令i=i+1,并返回步骤S3;
S7、根据最终获得的C、W、U,得到超声图像的声影场B和校正更新后的真实超声图像J(k);
S8、将校正后的真实超声图像J(k)作为第二个全卷积神经网络输入并输出,实现乳腺超声图像的解剖层分割。
进一步地,所述步骤S3到步骤S5中:
对C进行校正更新的公式为:
Ci=(Ui-1Ui-1 T)-1Ui-1(Ii-1-Wi-1 TG) (1)
对W进行校正更新的公式为:
Wi=(GGT)-1G(Ii-Ci TUi-1) (2)
对U进行校正更新的公式为:
Ui=(2CiCi T)-1(2Ci(Ii-Wi TG)) (3)
式中,G为声影场中的基函数,I为超声图像,下标i为当前迭代次数,下标i-1为上一次迭代次数,上标T为转置操作符。
进一步地,所述超声图像I的计算公式为:
I=WTG+CTU (4)
进一步地,所述步骤S7中:
所述超声图像的声影场B为:
B=(Wk)TG (5)
所述真实超声图像J(k)为:
J(k)=I-B=I-(Wk)TG (6)
进一步地,所述步骤S8中,利用随机梯度下降法训练输入真实超声图像的第二个全卷积神经网络,实现乳腺超声图像解剖层的精确分割。
本发明的有益效果为:本发明构造了一个全新串联的深度神经网络,该网络以第一个FCN的初步分割结果作为声影校正的初始化分割,可有效地对确定的成本函数进行时初始化,从而获得图像的声影场,进而完成超声图像的声影校正,消除解剖层边缘的模糊和部分解剖层图像质量不佳的问题,提高第二个全卷积连接网络的输入图像的质量,再将校正后灰度均衡的图像输入第二个FCN实现最终的解剖层分割,达到较精确的解剖层分割结果。该乳腺超声分割方法的研究有助于解决超声图像分割的若干科学问题,并对后续计算机辅助病灶检测及诊断有重要帮助,具有重要的科学意义。
附图说明
图1为本发明提供的实施例中基于FCN和迭代声影校正的乳腺超声图像分割方法实现流程图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
如图1所示,基于FCN和迭代声影校正的乳腺超声图像分割方法,包括以下步骤,
S1、通过第一个全卷积神经网络对乳腺超声图像进行概率预分割,并将预分割结果设置为U=U0;
上述全卷积神经网络进行预分割时实际是要把神经网络的全连接层看成卷积层,卷积模板大小就是输入的图像特征映射的大小,即把全连接网络看成是对整张输入图像做卷积,全连接层分别有4096个6×6个的卷积核,4096个1*1的卷积核,1000个1×1的卷积核,然后对1000个1×1卷积核,并做上采用,得到1000个原图大小的输出,将这些输出合并后,得到和原始图像尺寸一样的热图。全卷积神经网络中输出入图像的是可以是任意的,并输出和原图像相同尺寸的预测图像。
S2、设置最大迭代次数为k,当前迭代次数为i=1,并随机初始化基函数系数向量W=W0和图像域中所有组织的真实灰度值C=C0;
S3、根据当前的W和U,对C进行校正更新;
S4、根据当前的C和U,对W进行校正更新;
S5、根据当前的C和W,对U进行校正更新;
S6、判断i=k是否成立,是则进入步骤S7,否则,令i=i+1,并返回步骤S3;
S7、根据最终获得的C、W、U,得到超声图像的声影场B和校正更新后的真实超声图像J(k);
上述步骤S2到步骤S7中,通过定义的成本函数,初始化成本函数中的参数并进行多次迭代更新,完成声影校正,获得超声图像的声影场,进而得到真实超声图像,其中获得成本函数的过程为:
由于经步骤S1过程处理后的超声图像是经过log压缩而成的,因此可以将声影视为一个加法关系的偏置场(bias field),而在一个局部窗口中假设包含了4个解剖层,并假设每层在局部具有回声值均匀性,且其平均值为uj,所以超声图像中每个像素的灰度值可以表示为:
I(x)=J(x)+B(x) (1)
其中,I是实际获取的超声图像,I(x)是该图像在像素x处的灰度值。B是图像的声影场,它呈缓慢变化。B(x)是声影场在像素x处的灰度值。J是真实图像,在同一解剖层灰度值是均衡的,因此,可被视为一个分段函数。J(x)是各解剖层在像素x处的物理灰度值。
在图像域(Region Of Interest,ROI)Ω中,通常有4层解剖组织,即脂肪层(含皮肤层)、乳腺组织层、肌肉层、肋骨与胸腔壁。
在真实图像中,第i类解剖层的灰度可假设为常数ci。在公式(1)的超声图像数学模型中,输入图像被视为作用在整个图像域中的函数,而第i类解剖层则被视为作用在图像子区域Ωi中的函数。
基于公式(1)所示的超声图像数学模型,从实际观察得到的图像中计算出未知的声影场和未知的真实图像,由于声影场和真实图像均满足特殊的空间分布性质,因此像素x上的声影场值和真实图像值是相互关联的。
基于声影场在图像域中具有缓慢变化的性质,利用一组平滑基函数来对其进行拟合。假设g1,g2,...,gM是一组平滑基函数,M是基函数的个数,采用归一化的勒让德多项式作为基函数,且20个正交归一化的勒让德多项式已足够拟合声影场。
因此,声影场表示为:
其中,wk是基函数gk的系数,可用列向量W=(w1,w2,...,wM)T表示,M=20。因此,本发明对声影场的求取转换为求取基函数系数向量W。同理,基函数组也可表示为G(x)=(g1(x),g2(x),...,gM(x)),()T是转置操作符。由此,式(2)重新表示为:
B=B(x)=W(x)TG (3)
由于真实图像在图像域中具有分段函数的性质,且在各类解剖层内部具有固定的灰度值。因此,可以利用隶属度函数(Membership Function)来拟合真实图像。但在图像的获取过程中,由于局部体效应和组织之间相互渗透等因素,在各解剖层边界存在组织之间互相交叠和渗透的现象,即真实图像的组织与组织之间并不是突变的,而是渐变的过程。因此,隶属度函数性质如下:
在第i个解剖层的子域Ωi中,隶属度函数ui(x)的取值介于0和1之间,被称为模糊化的隶属度函数(Fuzzy Membership Function)。隶属度函数组和所有组织的真实灰度值可表示为如下的列向量形式:U(x)=(u1(x),u2(x),...,uN(x))T,C=(c1,c2,...,cN)T。
因此,真实超声图像表示为:
J=J(x)=CTU(x) (5)
综上所述,超声图像模型进一步表示为:
I=I(x)=WTG(x)+CTU(x) (6)
由此,定义如下的成本函数:
式中,x为声影场的像素,Ωi为第i个解剖层的子域。
综上,在进行声影校正迭代过程中时,将经全卷积神经网络进行预处理后的结果定义为上述成本函数中的隶属度函数组U,并将上述基函数系数向量W和组织的真实灰度值C进行随机初始化,得到对C、W和U进行依次k次更新的公式分别为:
对C进行校正更新的公式为:
Ci=(Ui-1Ui-1 T)-1Ui-1(Ii-1-Wi-1 TG) (8)
对W进行校正更新的公式为:
Wi=(GGT)-1G(Ii-Ci TUi-1) (9)
对U进行校正更新的公式为:
Ui=(2CiCi T)-1(2Ci(Ii-Wi TG)) (10)
式中,G为声影场中的基函数,I为超声图像,下标i为当前迭代次数,下标i-1为上一次迭代次数,上标T为转置操作符。
依次完成k次C、W和U的迭代更新后;
根据公式(3)得到,声影场B为:
B=(WK)TG (12)
根据公式(1)和公式(3),上述真实超声图像J(k)为:
J(k)=I-B=I-(Wk)TG (13)
上述过程中,首先确定声影检测的成本函数提供声影区域位置的先验知识,作为声影校正的基础,减少校正的运算,避免了无差别声影校正所导致的正常区域过度校正现象。
S8、将校正后的真实超声图像J(k)作为第二个全卷积神经网络输入并输出,实现乳腺超声图像的解剖层分割。
上述步骤S8中,利用随机梯度下降法训练输入真实超声图像的第二个全卷积神经网络,达到快速的算法收敛和避免错误的解剖层分割结果,完成乳腺超声图像解剖层的精确分割。
本发明构造了一个全新串联的深度神经网络,该网络以第一个FCN的初步分割结果作为声影校正的初始化分割,可有效地对确定的成本函数进行时初始化,从而获得图像的声影场,进而完成超声图像的声影校正,消除解剖层边缘的模糊和部分解剖层图像质量不佳的问题,提高第二个全卷积连接网络的输入图像的质量,再将校正后灰度均衡的图像输入第二个FCN实现最终的解剖层分割,达到较精确的解剖层分割结果。该乳腺超声分割方法的研究有助于解决超声图像分割的若干科学问题,并对后续计算机辅助病灶检测及诊断有重要帮助,具有重要的科学意义。
Claims (2)
1.一种基于FCN和迭代声影校正的乳腺超声图像分割方法,其特征在于,包括以下步骤,
S1、通过第一个全卷积神经网络对乳腺超声图像进行概率预分割,并将预分割结果设置为U=U0;
S2、设置最大迭代次数为k,当前迭代次数为i=1,并随机初始化基函数系数向量W=W0和图像域中组织的真实灰度值C=C0;
S3、根据当前的W和U,对C进行校正更新;
S4、根据当前的C和U,对W进行校正更新;
S5、根据当前的C和W,对U进行校正更新;
S6、判断i=k是否成立,是则进入步骤S7,否则,令i=i+1,并返回步骤S3;
S7、根据最终获得的C、W、U,得到超声图像的声影场B和校正更新后的真实超声图像J(k);
S8、将校正后的真实超声图像J(k)作为第二个全卷积神经网络输入并输出,实现乳腺超声图像的解剖层分割;
所述步骤S3到步骤S5中:
对C进行校正更新的公式为:
Ci=(Ui-1Ui-1 T)-1Ui-1(Ii-1-Wi-1 TG) (1)
对W进行校正更新的公式为:
Wi=(GGT)-1G(Ii-Ci TUi-1) (2)
对U进行校正更新的公式为:
Ui=(2CiCi T)-1(2Ci(Ii-Wi TG)) (3)
式中,G为声影场中的基函数,I为超声图像,下标i为当前迭代次数,下标i-1为上一次迭代次数,上标T为转置操作符;
其中,超声图像I的计算公式为:
I=WTG+CTU (4)
所述步骤S7中:
所述超声图像的声影场B为:
B=(Wk)TG (5)
所述真实超声图像J(k)为:
J(k)=I-B=I-(Wk)TG (6)。
2.根据权利要求1所述的基于FCN和迭代声影校正的乳腺超声图像分割方法,其特征在于,所述步骤S8中,利用随机梯度下降法训练输入真实超声图像的第二个全卷积神经网络,实现乳腺超声图像解剖层的精确分割。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810435881.8A CN108665461B (zh) | 2018-05-09 | 2018-05-09 | 一种基于fcn和迭代声影校正的乳腺超声图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810435881.8A CN108665461B (zh) | 2018-05-09 | 2018-05-09 | 一种基于fcn和迭代声影校正的乳腺超声图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108665461A CN108665461A (zh) | 2018-10-16 |
CN108665461B true CN108665461B (zh) | 2019-03-12 |
Family
ID=63778182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810435881.8A Active CN108665461B (zh) | 2018-05-09 | 2018-05-09 | 一种基于fcn和迭代声影校正的乳腺超声图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108665461B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109859184B (zh) * | 2019-01-29 | 2020-11-17 | 牛旗 | 一种连续扫描乳腺超声图像的实时检测与决策融合方法 |
CN110009656B (zh) * | 2019-03-05 | 2021-11-19 | 腾讯科技(深圳)有限公司 | 目标对象的确定方法、装置、存储介质及电子装置 |
CN110070546B (zh) * | 2019-04-18 | 2021-08-27 | 山东师范大学 | 一种基于深度学习的多目标危及器官的自动分割方法、装置及系统 |
CN111292324B (zh) * | 2020-03-20 | 2022-03-01 | 电子科技大学 | 一种针对臂丛神经超声图像的多目标识别方法及系统 |
CN112168211B (zh) * | 2020-03-26 | 2024-08-09 | 成都思多科医疗科技有限公司 | 一种腹部超声图像的脂肪厚度和肌肉厚度测量方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103729843A (zh) * | 2013-12-20 | 2014-04-16 | 电子科技大学 | 基于马尔可夫的医学图像分割方法 |
CN103996193A (zh) * | 2014-05-16 | 2014-08-20 | 南京信息工程大学 | 结合加权邻域信息与偏移场恢复的脑mr图像分割方法 |
CN105354565A (zh) * | 2015-12-23 | 2016-02-24 | 北京市商汤科技开发有限公司 | 基于全卷积网络人脸五官定位与判别的方法及系统 |
CN107220980A (zh) * | 2017-05-25 | 2017-09-29 | 重庆理工大学 | 一种基于全卷积网络的mri图像脑肿瘤自动分割方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101527047B (zh) * | 2008-03-05 | 2013-02-13 | 深圳迈瑞生物医疗电子股份有限公司 | 使用超声图像检测组织边界的方法与装置 |
CN103942799B (zh) * | 2014-04-25 | 2017-02-01 | 哈尔滨医科大学 | 一种乳腺超声图像分割方法及系统 |
CN106920227B (zh) * | 2016-12-27 | 2019-06-07 | 北京工业大学 | 基于深度学习与传统方法相结合的视网膜血管分割方法 |
CN107016677B (zh) * | 2017-03-24 | 2020-01-17 | 北京工业大学 | 一种基于fcn和cnn的云图分割方法 |
-
2018
- 2018-05-09 CN CN201810435881.8A patent/CN108665461B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103729843A (zh) * | 2013-12-20 | 2014-04-16 | 电子科技大学 | 基于马尔可夫的医学图像分割方法 |
CN103996193A (zh) * | 2014-05-16 | 2014-08-20 | 南京信息工程大学 | 结合加权邻域信息与偏移场恢复的脑mr图像分割方法 |
CN105354565A (zh) * | 2015-12-23 | 2016-02-24 | 北京市商汤科技开发有限公司 | 基于全卷积网络人脸五官定位与判别的方法及系统 |
CN107220980A (zh) * | 2017-05-25 | 2017-09-29 | 重庆理工大学 | 一种基于全卷积网络的mri图像脑肿瘤自动分割方法 |
Non-Patent Citations (4)
Title |
---|
Localized FCM Clustering with Spatial Information for Medical Image Segmentation and Bias Field Estimation;Wenchao Cui 等;《Biomedical Imaging》;20130131;第2013卷;1-8 * |
Non-locally regularized segmentation of multiple sclerosis lesion from multi-channel MRI data;Jingjing Gao 等;《Magn Reson Imaging》;20141031;第32卷(第8期);1058-1066 * |
基于分数阶Fourier变换的乳腺肿瘤纹理特征提取;钟瑾 等;《上海大学学报》;20160630;第18卷(第3期);240-245 * |
多描述子活动轮廓模型的医学图像分割;陈红 等;《中国图象图形学报》;20180331;第23卷(第3期);434-441 * |
Also Published As
Publication number | Publication date |
---|---|
CN108665461A (zh) | 2018-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108665461B (zh) | 一种基于fcn和迭代声影校正的乳腺超声图像分割方法 | |
CN104809730B (zh) | 从胸部ct图像提取气管的方法和装置 | |
EP3879485B1 (en) | Tissue nodule detection and model training method and apparatus thereof, device and system | |
CN106204587B (zh) | 基于深度卷积神经网络和区域竞争模型的多器官分割方法 | |
CN104933709B (zh) | 基于先验信息的随机游走ct肺组织图像自动分割方法 | |
WO2017084222A1 (zh) | 基于卷积神经网络的x线胸片骨抑制处理方法 | |
CN103514629B (zh) | 用于迭代重建的方法和设备 | |
CN108052977A (zh) | 基于轻量级神经网络的乳腺钼靶图像深度学习分类方法 | |
CN107657602A (zh) | 基于两次迁移卷积神经网络的乳腺结构紊乱识别方法 | |
US10713761B2 (en) | Method and apparatus to perform local de-noising of a scanning imager image | |
CN107977952A (zh) | 医学图像分割方法及装置 | |
CN103164855B (zh) | 一种结合反射光照的贝叶斯决策前景提取方法 | |
CN106897986B (zh) | 一种基于多尺度分析的可见光图像与远红外图像融合方法 | |
CN106934821A (zh) | 一种基于icp算法和b样条的锥形束ct和ct图像配准方法 | |
CN109711401A (zh) | 一种基于Faster Rcnn的自然场景图像中的文本检测方法 | |
CN110428385A (zh) | 一种基于无监督对抗神经网络的sd-oct去噪方法 | |
CN105389821B (zh) | 一种基于云模型和图割相结合的医学图像分割方法 | |
CN111784701B (zh) | 结合边界特征增强和多尺度信息的超声图像分割方法及系统 | |
CN110009628A (zh) | 一种针对连续二维图像中多形态目标的自动检测方法 | |
WO2019176806A1 (ja) | 機械学習装置および方法 | |
CN105550649A (zh) | 基于全耦合局部约束表示的极低分辨率人脸识别方法及系统 | |
CN107204001A (zh) | 一种颈动脉超声图像内中膜自动分割方法 | |
CN111784653A (zh) | 基于形状约束的多尺度网络mri胰腺轮廓定位方法 | |
CN109060838A (zh) | 一种基于机器视觉的产品表面划痕检测方法 | |
CN113192069A (zh) | 三维断层扫描图像中树状结构的语义分割方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |