CN116758103B - 基于ct扫描的食管肿瘤分割形状感知对比深度监督方法 - Google Patents
基于ct扫描的食管肿瘤分割形状感知对比深度监督方法 Download PDFInfo
- Publication number
- CN116758103B CN116758103B CN202311036354.7A CN202311036354A CN116758103B CN 116758103 B CN116758103 B CN 116758103B CN 202311036354 A CN202311036354 A CN 202311036354A CN 116758103 B CN116758103 B CN 116758103B
- Authority
- CN
- China
- Prior art keywords
- shape
- training
- aware
- segmentation
- contrast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000025402 neoplasm of esophagus Diseases 0.000 title claims abstract description 108
- 230000011218 segmentation Effects 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 title claims abstract description 93
- 230000008447 perception Effects 0.000 title claims abstract description 69
- 238000002591 computed tomography Methods 0.000 title claims abstract description 68
- 238000012549 training Methods 0.000 claims abstract description 90
- 230000006870 function Effects 0.000 claims abstract description 77
- 206010028980 Neoplasm Diseases 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 210000000038 chest Anatomy 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000001419 dependent effect Effects 0.000 claims description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000010438 heat treatment Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 210000000481 breast Anatomy 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 210000005036 nerve Anatomy 0.000 claims 2
- 102000005157 Somatostatin Human genes 0.000 claims 1
- 108010056088 Somatostatin Proteins 0.000 claims 1
- 238000005192 partition Methods 0.000 claims 1
- 238000011176 pooling Methods 0.000 claims 1
- NHXLMOGPVYXJNR-ATOGVRKGSA-N somatostatin Chemical compound C([C@H]1C(=O)N[C@H](C(N[C@@H](CO)C(=O)N[C@@H](CSSC[C@@H](C(=O)N[C@@H](CCCCN)C(=O)N[C@@H](CC(N)=O)C(=O)N[C@@H](CC=2C=CC=CC=2)C(=O)N[C@@H](CC=2C=CC=CC=2)C(=O)N[C@@H](CC=2C3=CC=CC=C3NC=2)C(=O)N[C@@H](CCCCN)C(=O)N[C@H](C(=O)N1)[C@@H](C)O)NC(=O)CNC(=O)[C@H](C)N)C(O)=O)=O)[C@H](O)C)C1=CC=CC=C1 NHXLMOGPVYXJNR-ATOGVRKGSA-N 0.000 claims 1
- 229960000553 somatostatin Drugs 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 5
- 238000003709 image segmentation Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 238000002679 ablation Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 1
- 206010030155 Oesophageal carcinoma Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 201000004101 esophageal cancer Diseases 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于CT扫描食管肿瘤分割的形状感知对比深度监督方法，具体的步骤如下：1）数据集制作；2）：构建形状感知对比深度监督模型；3）：构建最终损失函数；4）：训练形状感知对比深度监督网络；5）：医学影像分割分数评估。本发明所述一种基于CT扫描的食管肿瘤分割形状感知对比深度监督方法，采用形状感知对比深度监督网络可以成功地预测整体结构，并获得接近于真实分割边界的分割结果，简单易行的食管肿瘤分割的形状对比深度监督方法可以有效地提升食管肿瘤分割性能，有助于改善CT图像中食管肿瘤的分割性能。
Description
技术领域
本发明属于医疗技术领域，特别涉及一种基于CT扫描的食管肿瘤分割形状感知对比深度监督方法。
背景技术
精确分割食管肿瘤可以改善患者预后，并作为进一步诊断的基础。与其他肿瘤分割不同的是，准确识别食管肿瘤需要放射肿瘤专家参考多项检查结果，例如全内窥镜检查、食管造影等。这需要专家们投入大量时间，同时还要求专家们具备丰富的专业知识。
由于食管肿瘤可能出现在食管的任何位置、与周围组织的对比度较低等难题，导致现有的食管肿瘤自动分割方法和诊断仍处于起步阶段。Jin等人提出了一种基于U-Net[3]的双流链式深度融合框架，称为渐进语义嵌套网络（PSNN），用于基于PET和CT图像的食管肿瘤分割，以提高性能。作者通过收集250个食管肿瘤患者的PET/CT扫描来验证该模型。Yousefi等人提出了一种扩张的密集注意力UNet（DDAUNet），利用密集块中的空间和通道注意力门进行食管肿瘤分割。对于其他的食管肿瘤诊断任务，Yue等人提出了一种多损失解缠表示学习方法，以融合食管肿瘤诊断中的互补信息。Lin等人提出了一个基于深度学习的食管癌生存预测框架。
上述现有食管肿瘤分割技术仍具有一些限制，具体如下： 首先，形状信息在医学图像分割中是必不可少的，然而，现有的方法忽略了形状感知的正则化。其次，当食管肿瘤与周围器官之间的对比度低且边界模糊时，上述方法并不能得到令人满意的分割结果。再者，现有食管肿瘤分割方法使用有限的患者信息进行开发和验证。为了解决这些技术难题，并受到对比学习最近成功案例的启发，本发明提出了一种新的可拔插形状感知对比深度监督网络（SCDSNet）。
发明内容
发明目的：为了克服以上不足，本发明的目的是提供一种基于CT扫描的食管肿瘤分割形状感知对比深度监督方法，采用形状感知对比深度监督网络可以成功地预测整体结构，并获得接近于真实分割边界的分割结果，简单易行的食管肿瘤分割的形状对比深度监督方法可以有效地提升食管肿瘤分割性能，有助于改善CT图像中食管肿瘤的分割性能。
技术方案：为了实现上述目的，本发明提供了一种基于CT扫描的食管肿瘤分割形状感知对比深度监督方法，具体的步骤如下：
S1）：数据集制作，收集待训练的食管肿瘤患者的胸部CT扫描，选取所有食管肿瘤CT扫描组成训练数据集N，并将其随机分成X张训练集和Y张测试集；
S2）：构建形状感知对比深度监督模型，即使用U-Net作为形状感知对比深度监督网络的分割主干，其中形状感知对比深度监督网络包含形状感知正则化模块以及体素-体素对比深度监督模块；形状感知正则化模块构建了融合头部，融合头部通过张量拼接的方式进一步融合来自形状头部和肿瘤头部的信息，以获得更稳健的预测；
S3）：构建训练最终损失函数，即设计一个轻量级的融合头部 ，最终损失函数包含四个部分，即融合头部损失函数、形状感知正则化损失函数、肿瘤头部损失函数以及深度监督对比损失函数；
S4）：训练形状感知对比深度监督网络，即将步骤S1）中的训练集切成小块的训练块送入神经网络中训练，训练神经网络用于食管肿瘤分割，训练块大小为160×160×80mm3，批大小为2，训练过程使用多项式学习策略调整学习率，训练次数为200轮，当最终损失函数算出的损失值不再下降或者是出现震荡时采用早期停止以避免过拟合；
S5）：医学影像分割分数评估，将待预测的测试集按照训练集切成小块的方式切块，然后送入步骤S4）中训练完成后的神经网络进行预测，并将预测结果按照切块时的顺序重新堆叠，得到精准的食管肿瘤分割结果，再采用骰子系数、杰卡德系数、豪斯多夫距离、均方根误差和平均表面距离在内的定量指标在测试集上验证，并比较不同方法的分割性能。
本发明所述的基于CT扫描的食管肿瘤分割形状感知对比深度监督方法，所述步骤S1）中数据集制作的具体方法为：
S101）：首先收集符合条件的食管肿瘤患者在多家医院的胸部CT扫描图像，CT扫描的HU窗口范围为-1024~3071，体素大小从0.5429×0.5429×3mm3变化到1.2519×1.2519×5mm3，胸部CT扫描的分辨率范围为512×512×71 mm3~512×512×114 mm3，肿瘤体积范围为16×16×3 mm3~99×141×40mm3；
S102）：筛选待训练的食管肿瘤患者的胸部CT扫描图像，选取所有食管肿瘤CT扫描组成训练数据集共N张，并将其随机分成X张训练集和Y张测试集；
再以食管肿瘤为中心点，从每个训练图像中裁剪图像块，图像块大小为160×160×80 mm3；
S103）：再对图像块进行在线数据增强，即通过高斯噪音，偏磁场、高斯平滑、随机缩放、翻转、旋转和仿射操作对图像块进行在线数据增强。
需要说明的是食管肿瘤由两名放射治疗师手动勾画并进行交叉验证，将手动分割结果作为基准（GT）。
本发明所述的基于CT扫描的食管肿瘤分割形状感知对比深度监督方法，所述形状感知正则化模块由形状感知正则化和形状熵最小化，即使用形状感知正则化整合与形状相关的特征，其中通过引入额外的形状头来正则化形状感知约束，以保留分割掩膜的完整形状；
所述形状感知正则化具体如下：
S201）：首先给定图像及其独热标签/>，采用反向二进制腐蚀以及高斯滤波从/>中提取二进制形状相关掩膜/>；
S202）：根据临床观察，食管肿瘤的不确定区域主要来自颅尾边界和模糊边界区域，采用在训练阶段明确地加入形状约束，以促进分割时能够有效地保留食管肿瘤形状；
S203）：对于形状感知正则化，设计一个轻量级的形状头部来提取形状特征，与肿瘤头部/>并行；
S204）：进一步整合形状感知正则化，即将三个头部融合到一起形成一个融合头部，所述三个头部的结构都是具有相同输出通道的卷积层；
对于形状熵最小化，不确定性措施被认为是进一步减轻边界附近模糊性的最佳策略，直观地将预测形状的熵最小化；
因此，形状感知正则化损失函数被定义为：
其中，为形状头部，/>表示U-Net架构的解码器，/>是由U-Net的编码器生成的潜在空间特征，/>表示形状感知正则化的交叉熵损失函数，/>是形状熵最小化的softmax函数；/>表示二进制形状相关掩膜的预测值，/>为二进制形状相关掩膜；
通过形状感知正则化和形状熵最小化同时控制形状感知正则化损失函数，目的是实现增强的形状预测结果。
本发明所述的基于CT扫描的食管肿瘤分割形状感知对比深度监督方法，所述步骤S2）中的体素-体素对比深度监督模块由体素-体素对比学习、形状感知硬样本选择和深度监督组成。
本发明所述的基于CT扫描的食管肿瘤分割形状感知对比深度监督方法，所述体素-体素对比学习具体如下： 所述体素-体素对比学习用于提取和利用体素之间的关系，迫使相似体素的嵌入特征更接近，而不相似体素的嵌入特征相距更远，体素级对比学习损失计算中的数据样本是在体素级上训练的，以惩罚密集体素预测之间的关系；
对于带有GT标签的体素，正样本是属于同一类的体素，负样本是属于其他类的体素；
体素级对比学习损失函数定义为：
其中，和/>表示体素/>的正嵌入和负嵌入，/>和/>分别为正集和负集，/>表示/>通道特征，并且/>为温度常量；体素级对比学习损失函数是通过将同类体素样本聚合到一起并将不同类样本分开，从而进行来学习和构建嵌入空间。
本发明所述的基于CT扫描的食管肿瘤分割形状感知对比深度监督方法，
所述形状感知硬样本选择时采用边界描绘方式进行，以协助硬样本选择通过硬形状相关的样本，具体如下：
具有错误预测的体素被视为硬样本，对于嵌入D(1)的侧输出特征，选择硬样本如下：
首先，从形状头部中计算预测的，并选择与边界描绘/>相比具有不正确预测的所有体素；其次，沿食管肿瘤形状边界随机选取K个硬正负样本，可以显著降低计算成本；
然后进行体素级对比学习损失函数的计算，本申请沿着食管肿瘤形状的边界随机过滤K/2个硬样本，并添加K/2个易样本即具有正确预测的体素，形成K个正负样本的集合。
本发明所述的基于CT扫描的食管肿瘤分割形状感知对比深度监督方法，
所述深度监督具体如下：
由于分割需要预测输出体积中所有与形状相关的体素，因此仅惩罚解码器的最终输出以提取形状感知特征是不够的，故构建一种形状感知的深度监督训练策略；
所述形状感知的深度监督训练策略具体为：
在解码器早期阶段，下采样的二进制形状相关掩膜更好地匹配不可用的实际GT；因此，通过对形状掩膜/>进行下采样，将深度监督集成到分割网络的解码器中，并强制执行深度监督对比损失函数/>；
对于一个体素，形状感知深度监督的训练过程定义为：
其中，m为解码器的第m侧，表示体素/>从它们的第m侧输出的形状感知对比损失函数。
本发明所述的基于CT扫描的食管肿瘤分割形状感知对比深度监督方法，所述步骤3）中构建最终损失函数中的构建的最终损失函数定义为：
其中，为融合头部损失函数，/>为肿瘤头部损失函数，/>为平衡训练权值的因子；骰子损失函数表示为公式（6），X为预测值，Y为标签值；交叉熵损失函数表示为公式（7），/>为样本i的标签，/>为样本i预测为正类的概率；/>的值为对应的骰子损失函数与交叉熵损失函数之和。
本发明所述的基于CT扫描的食管肿瘤分割形状感知对比深度监督方法，所述步骤S4）中训练形状感知对比深度监督网络主要用于食管肿瘤分割，具体过程如下；
将步骤S1）中的训练集切成小块送入神经网络中训练；神经网络训练过程使用了Adam优化器，使得最终损失函数值不断逼近全局最小，并使用多项式学习策略对学习率进行动态调整；
多项式学习策略公式表示如下：
其中，初始学习率为2.5×10-4，幂的值为0.9，训练迭代总数为39000即200轮，当最终损失函数算出的损失值不再下降或者是出现震荡时采用早期停止以避免过拟合；等式（3）中的温度常数被设定为0.07，等式（5）中的权重因子/>被设置为0.01；形状感知硬样本选择中的K被直观地设置为500，以权衡性能和计算成本。
上述技术方案可以看出，本发明具有如下有益效果：
1、本发明所述的一种基于CT扫描的食管肿瘤分割形状感知对比深度监督方法与当前最先进的方法相比，通过复现几种最先进的医学图像分割方法来验证形状感知对比深度监督方法的有效性，所有形状感知对比学习方法都具有更高的Dice分数，表明形状感知对比学习对食管肿瘤分割是有效的；
与此同时，本发明中采用形状感知对比深度监督网络可以成功地预测整体结构，并获得接近于真实分割边界的分割结果，简单易行的食管肿瘤分割的形状对比深度监督方法可以有效地提升食管肿瘤分割性能，有助于改善CT图像中食管肿瘤的分割性能。
2、本发明在构建形状感知正则化模块过程中通过形状感知正则化和形状熵最小化同时控制损失函数，很好的实现增强的形状预测结果，从而进一步提高CT图像中食管肿瘤的分割性能。
3、本发明在构建最终损失函数过程中，通过感知正则化模块构建了融合头部，融合头部通过张量拼接的方式进一步融合来自形状头部和肿瘤头部的信息，让其能够获得更稳健的预测，从而有效提高数据处理的精确性。
附图说明
图1为本发明所述的基于CT扫描的食管肿瘤分割形状感知对比深度监督方法流程图；
图2为本发明中形状感知对比深度监督模型架构图；
图3为本发明中基于CT扫描的食管肿瘤分割形状感知对比深度监督方法与最先进的医学图像分割模型的分割性能比较结果表；
图4为本发明中使用食管肿瘤数据集的消融研究的分割性能表；
图5为本发明中SCDSNet的消融分割结果图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明。
实施例
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
如图1和图2所示的一种基于CT扫描的食管肿瘤分割形状感知对比深度监督方法，具体的步骤如下：
S1）：数据集制作，收集待训练的食管肿瘤患者的胸部CT扫描，选取所有食管肿瘤CT扫描组成训练数据集N张，并将其随机分成x张训练集和Y张测试集；
S2）：构建形状感知对比深度监督模型，即使用U-Net作为形状感知对比深度监督网络的分割主干，其中形状感知对比深度监督网络包含形状感知正则化模块以及体素-体素对比深度监督模块；形状感知正则化模块构建了融合头部，融合头部通过张量拼接的方式进一步融合来自形状头部和肿瘤头部的信息，以获得更稳健的预测；
S3）：构建训练最终损失函数，最终损失函数包含四个部分，即融合头部损失函数、形状感知正则化损失函数、肿瘤头部损失函数以及深度监督对比损失函数；
S4）：训练形状感知对比深度监督网络，即将步骤S1）中的训练集切成小块的训练块送入神经网络中训练，训练神经网络用于食管肿瘤分割，训练块大小为160×160×80mm3，批大小为2，训练过程使用多项式学习策略调整学习率，训练次数为200轮，当最终损失函数算出的损失值不再下降或者是出现震荡时采用早期停止以避免过拟合；
S5）：医学影像分割分数评估，将待预测的测试集按照训练集切成小块的方式切块，然后送入步骤S4）中训练完成后的神经网络进行预测，并将预测结果按照切块时的顺序重新堆叠，得到精准的食管肿瘤分割结果，再采用骰子系数、杰卡德系数、豪斯多夫距离、均方根误差和平均表面距离在内的定量指标在测试集上验证，并比较不同方法的分割性能。
本实施例中所述的基于CT扫描的食管肿瘤分割形状感知对比深度监督方法，所述步骤1）中数据集制作的具体方法为：
S101）：首先收集符合条件的食管肿瘤患者在多家医院的胸部CT扫描图像，CT扫描的Hounsfield unit(HU)窗口范围为-1024~3071，体素大小从0.5429×0.5429×3mm3变化到1.2519×1.2519 mm3×5mm3，胸部CT扫描的分辨率范围为512×512×71~512 mm3×512×114 mm3，食管肿瘤标签由两名放射治疗师手动勾画得到，并对所得到的标签进行交叉验证，将手动分割结果作为基准（GT）肿瘤体积范围为16×16×3~99 mm3×141×40 mm3；
S102）：筛选待训练的食管肿瘤患者的胸部CT扫描图像，选取所有食管肿瘤CT扫描组成训练数据集共N张，并将其随机分成X张训练集和Y张测试集；
再以食管肿瘤为中心点，从每个训练图像中裁剪图像块，图像块大小为
160×160×80 mm3；
S103）：再对图像块进行在线数据增强，即通过高斯噪音，偏磁场、高斯平滑、随机缩放、翻转、旋转和仿射操作对图像块进行在线数据增强。
需要说明的是步骤11）中GT指的是正确的结果。
本实施例中所述的基于CT扫描的食管肿瘤分割形状感知对比深度监督方法，所述形状感知正则化模块由形状感知正则化和形状熵最小化，即使用形状感知正则化整合与形状相关的特征，其中通过引入额外的形状头来正则化形状感知约束，以保留分割掩膜的完整形状；
所述形状感知正则化具体如下：
S201）：首先给定图像及其独热标签/>，采用反向二进制腐蚀以及高斯滤波从/>中提取二进制形状相关掩膜/>；
S202）：根据临床观察，食管肿瘤的不确定区域主要来自颅尾边界和模糊边界区域，因此在神经网络训练阶段加入了形状约束，以促进分割时能够有效地保留食管肿瘤形状；
S203）：对于形状感知正则化，设计一个轻量级的形状头部来提取形状特征，与肿瘤头部/>并行；
S204）：进一步整合形状感知正则化，即将三个头部融合到一起形成一个融合头部，所述三个头部的结构都是具有相同输出通道的卷积层；
对于形状熵最小化，形状熵这个不确定性措施被认为是进一步减轻边界附近模糊性的最佳策略，直观地将预测形状的熵最小化；
因此，形状感知正则化损失函数被定义为：
其中，为形状头部，/>表示U-Net架构的解码器，/>是由U-Net的编码器生成的潜在空间特征，/>表示形状感知正则化的交叉熵损失函数，/>是形状熵最小化的softmax函数；/>表示二进制形状相关掩膜的预测值，/>为二进制形状相关掩膜；形状感知正则化和形状熵最小化同时控制形状感知正则化损失函数，目的是实现增强的形状预测结果。
本实施例中所述的基于CT扫描的食管肿瘤分割形状感知对比深度监督方法，所述步骤2）中的体素-体素对比深度监督模块由体素-体素对比学习、形状感知硬样本选择和深度监督组成；
所述体素-体素对比学习具体如下： 所述体素-体素对比学习用于提取和利用体素之间的关系，迫使相似体素的嵌入特征更接近，而不相似体素的嵌入特征相距更远，对体素级对比学习比损失计算中的数据样本是在体素级上训练的，以惩罚密集体素预测之间的关系；
对于带有GT标签的体素，正样本是属于同一类的体素，负样本是属于其他类的体素；体素级对比学习损失函数定义为：
其中，和/>表示体素/>的正嵌入和负嵌入，/>和/>分别为正集和负集，/>表示/>通道特征，并且/>为温度常量，体素级对比学习损失函数是通过将同类体素样本聚合到一起并将不同类样本分开，从而进行学习和构建嵌入空间，即如图2中的（c）体素-体素对比学习图中所示，将同类体素样本聚合在一起，构成一类嵌入空间。
本实施例中所述的基于CT扫描的食管肿瘤分割形状感知对比深度监督方法，所述形状感知硬样本选择时采用边界描绘方式进行，以协助硬样本选择通过硬形状相关的样本，具体如下：
具有错误预测的体素被视为硬样本，对于嵌入D(1)的侧输出特征，选择硬样本如下：
首先，从形状头部中计算预测的，并选择与边界描绘/>相比具有不正确预测的所有体素；其次，沿食管肿瘤形状边界随机选取K个硬正负样本，可以显著降低计算成本；
然后进行体素级对比学习损失函数的计算（参照式（3）），本申请沿着食管肿瘤形状的边界随机过滤K/2个硬样本（即具有正确预测的体素），并添加K/2个易样本即具有正确预测的体素，形成K个正负样本的集合。
本实施例中所述的基于CT扫描的食管肿瘤分割形状感知对比深度监督方法，所述深度监督具体如下：
由于分割需要预测输出体积中所有与形状相关的体素，因此仅惩罚解码器的最终输出以提取形状感知特征是不够的，故构建一种形状感知的深度监督训练策略；
所述形状感知的深度监督训练策略具体为：
在解码器早期阶段（例如D(2)，D(3)和D(4)），为了下采样的二进制形状相关掩膜可以更好地匹配不可用的实际GT。因此，通过对形状掩膜/>进行下采样，将深度监督集成到分割网络的解码器中，并强制执行深度监督对比损失函数/>；
对于一个体素 ，形状感知深度监督的训练过程定义为：
其中，m为解码器的第m侧，(M = 4,图2中的（a）深度监督简码器图中 D(1),D(2), …,D(4))表示体素/>从它们的第m侧输出的形状感知对比损失函数。
本实施例中所述的基于CT扫描的食管肿瘤分割形状感知对比深度监督方法，所述步骤3）中构建训练损失函数中的构建的最终损失函数定义为：
其中，为融合头部损失函数，/>为肿瘤头部损失函数，/>为平衡训练权值的因子。骰子损失函数表示为公式（6），X为预测值，Y为标签值。交叉熵损失函数表示为公式（7），/>为样本i的标签，/>为样本i预测为正类的概率。/>的值为对应骰子损失函数与交叉熵损失函数之和。
本实施例中所述的基于CT扫描的食管肿瘤分割形状感知对比深度监督方法，所述步骤4）中训练形状感知对比深度监督网络过程中，神经网络训练过程使用了Adam优化器，使得最终损失函数值不断逼近全局最小，并使用多项式学习策略对学习率进行动态调整，
多项式学习策略公式表示如下：
其中，初始学习率为2.5×10-4，幂的值为0.9，训练迭代总数为39000（即200轮），当最终损失函数算出的损失值不再下降或者是出现震荡时采用早期停止以避免过拟合；等式（3）中的温度常数被设定为0.07，等式（5）中的权重因子/>被设置为0.01；形状感知硬样本选择中的K被直观地设置为500，以权衡性能和计算成本。
本实施例中为了评估形状感知对比深度监督网络（SCDSNet）的性能，将一种基于CT扫描的食管肿瘤分割形状感知对比深度监督方法与几种最先进的医学图像分割方法进行了比较，这些最先进的方法例如是U-Net变体（例如U2-Net和AttU-Net），而一些是用于3D医学体积分割的预训练网络（例如Med3D和Genesis_Unet）。
如图3所示，图中最佳分数以深色加粗字体突出显示，次佳分数以浅色字体显示，+表示仅D(1)用于惩罚，++表示使用D(1)和D(2)，+++表示使用D(1)、D(2)和D(3)，++++表示所有D(m)用于惩罚/>；
与其他先进的方法相比，本发明提出的所有形状感知对比学习方法具有更高的Dice分数，这表明形状感知对比学习对食管肿瘤分割是有效的，其次，本申请注意到大多数U-Net变体比非U形网络（例如Med3D）表现更好。再者，经过预训练的网络通常比基线模型表现更好，因为经过预训练后，网络中的权重通常包含了大量的知识。最后，与SCDSNet+++相比，使用SCDSNet++++的改进相对较小。原因是在低空间分辨率中具有形状感知的体素数量很少，限制了学习能力。
因此，可以得出结论，本发明提出的形状感知对比深度监督网络有助于改善CT图像中食管肿瘤的分割性能。
本实施例中通过消融实验进一步验证所提出的形状感知正则化和体素-体素对比深度监督的有效性，具体如图4所示，其表示不同模型设置的量化结果。
图4中第一行是从头开始训练的标准U-Net，这是分割骨干网络。本实施例首先添加了额外的形状头和额外的融合头进行形状感知正则化。
图4中第二行数据显示，联合学习显著提高了分割结果，骰子系数提高了3.52%，再将形状熵最小化集成为额外的形状感知，形状熵最小化让损失函数值逐渐趋于最优值，这将骰子系数提高了1.78%。
随后，添加了D(1)的形状感知对比损失，带来了1.47%的骰子系数提升。通过体素-体素对比深度监督，本申请的模型在骰子系数上获得了2.54%的性能提升。结果表明本发明提出的基于CT扫描的食管肿瘤分割形状感知对比深度监督方法可以有效地提升性能。
如图5所示SCDSNet的消融分割结果图，图中待分割区域中的深色区域表示假阴性预测，位于深色区域上的浅色区域表示正确分割的食管肿瘤；整个图展示了逐步添加组件到基准模型中的可视化比较，从图中可以看出基准模型的结果最差，食管肿瘤区域不完整。通过形状感知正则化，形状感知正则化和形状熵最小化捕捉到了食管肿瘤的形状，但结果与语义边界不对齐，不正确的分割区域仍然很明显。相比之下，本发明提出的形状感知对比深度监督网络可以成功地预测整体结构，并获得接近于真实分割边界的分割结果。
根据从附图3至附图5比较不同方法的分割性能，具体如下：
由于3D食管肿瘤分割的源代码很少，通过复现几种最先进的医学图像分割方法来验证形状感知对比深度监督方法的有效性。这些最先进的方法大多数是U-Net变体，而有些是用于3D医学体积分割的预训练网络。为了公平比较，本实施例使用相同的训练设置。图3展示了本实施例中所述的基于CT扫描的食管肿瘤分割形状感知对比深度监督方法在五个评估指标上取得了最好的结果，即骰子系数、杰卡德系数、豪斯多夫距离、均方根误差和平均表面距离。本实施例中所述的基于CT扫描的食管肿瘤分割形状感知对比深度监督方法的五个评估指标分别为78.79%， 66.17%， 3.92%，8.64 和4.56%。
与第二好的方法U2-Net[10]相比，本实施例中所述的基于CT扫描的食管肿瘤分割形状感知对比深度监督方法将这五个指标分别提高了1.57%，2.19%，1.57%，0.85和0.45%。
值得注意的是，与基线U-Net模型相比，本发明提出的形状感知对比深度监督方法实现了更高的性能，在骰子系数上提高了9.31%，在杰卡德系数上提高了8.93%，在均方根误差上降低了2.66%，在豪斯多夫距离上降低了3.63%，在平均表面距离上降低了0.41%。
上述结果表明本发明提出的简单易行的可拔插式体素-体素对比深度监督方法可以有效地提升分割性能。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进也应视为本发明的保护范围。
Claims (8)
1.基于CT扫描的食管肿瘤分割形状感知对比深度监督方法，其特征在于：具体的步骤如下：
S1）：数据集制作，收集待训练的食管肿瘤患者的胸部 CT 扫描，选取所有食管肿瘤 CT扫 描组成训练数据集 N，并将其随机分成 X 张训练集和 Y 张测试集；
S2）：构建形状感知对比深度监督模型，首先构建形状感知对比深度监督网络框架，即使用 U-Net 作为形状感知对比深度监督网络的分割主干，其中形状感知对比深度监督网络包含形 状感知正则化模块以及体素-体素对比深度监督模块；形状感知正则化模块构建了融合头部， 融合头部通过张量拼接的方式进一步融合来自形状头部和肿瘤头部的信息，以获得更稳健的 预测；体素-体素对比深度监督模块由体素-体素对比学习、形状感知硬样本选择和深度监督组成；
所述体素-体素对比学习具体如下：为了提取和利用体素之间的关系，提出了体素级对比学习，迫使相似体素的嵌入特征更接近，而不相似体素的嵌入特征相距更远，体素级对比学习损失函数计算中的数据样本是在体素级上训练的，以惩罚密集体素预测之间的关系；
S3）：构建最终损失函数，最终损失函数包含四个部分，即融合头部损失函数、形状感知正 则化损失函数、肿瘤头部损失函数以及深度监督对比损失函数；
S4）：训练形状感知对比深度监督网络，即将步骤S1）中的训练集切成小块的训练块送入神 经网络中训练，训练神经网络用于食管肿瘤分割，训练块大小为 160×160×80mm3，批大小 为 2；训练过程使用多项式学习策略调整学习率，训练次数为 200 轮，当最终损失函数算出 的损失值不再下降或者是出现震荡时采用早期停止以避免过拟合；
S5）：医学影像分割分数评估，将待预测的测试集按照训练集切成小块的方式切块，然后送 入步骤S4）中训练完成后的神经网络进行预测，并将预测结果按照切块时的顺序重新堆叠， 得到精准的食管肿瘤分割结果，再采用骰子系数、杰卡德系数、豪斯多夫距离、均方根误差 和平均表面距离在内的定量指标在测试集上验证，并比较不同方法的分割性能。
2.根据权利要求1所述的基于 CT 扫描的食管肿瘤分割形状感知对比深度监督方法，其特征 在于：所述步骤S1）中数据集制作的具体方法为：
S101）：首先收集符合条件的食管肿瘤患者在多家医院的胸部 CT 扫描图像，CT 扫描的 HU 窗口范围为-1024~3071，体素大小从0.5429×0.5429×3mm3 变化到1.2519×1.2519×5mm3，胸部 CT 扫 描 的 分 辨率 范 围 为 512×512×71 mm3~512×512×114mm3 ，肿 瘤体积 范围 为 16×16×3 mm3~99×141×40mm3；
S102）：筛选待训练的食管肿瘤患者的胸部 CT 扫描图像，选取所有食管肿瘤 CT 扫描组成 训练数据集共 N 张，并将其随机分成 X 张训练集和 Y 张测试集； 再以食管肿瘤为中心点，从每个训练图像中裁剪图像块，图像块大小为 160×160×80mm3；
S103）：对图像块进行在线数据增强，即通过高斯噪音，偏磁场、高斯平滑、随机缩放、翻 转、旋转和仿射操作对图像块进行在线数据增强。
3.根据权利要求 2 所述的基于 CT 扫描的食管肿瘤分割形状感知对比深度监督方法，其特征在于：所述形状感知正则化模块使用形状感知正则化整合与形状相关的特征，在此过程中通 过引入额外的形状头来正则化形状感知约束，以保留分割掩膜的完整形状；所述形状感知正则化模块由形状感知正则化和形状熵最小化组成；
所述形状感知正则化具体过程如下：
S201）：首先给定图像 及其独热标签/>，采用反向二进制腐蚀以及高斯滤 波从独热标签/>中提取二进制形状相关掩膜/>；
S202）：根据临床观察，食管肿瘤的不确定区域主要来自颅尾边界和模糊边界区域，因此在 训练阶段明确地加入形状约束，以促进分割时能够有效地保留食管肿瘤形状；
S203）：进行形状感知正则化，即设计一个轻量级的形状头部来提取形状特征，与肿瘤 头部/>并行；
S204）：进一步整合形状感知正则化，即将三个头部融合到一起形成一个融合头部，所述三 个头部的结构都是具有相同输出通道的卷积层； 对于形状熵最小化，不确定性措施被认为是进一步减轻边界附近模糊性的最佳策略，直观地 将预测形状的熵最小化；
因此，形状感知正则化损失函数被定义为：
其中，为形状头部，/>表示 U-Net 架构的解码器，/>是由 U-Net 的编码器生成的潜在空 间特 征，/>表 示 形 状 感知正则化 的 交叉熵损失函数，/>是形状熵最小化的 softmax函数；/>表示二进制形状相关掩膜的预测值，/>为二进制形状相关掩膜； 通过形状感知正则化和形状熵最小化同时控制形状感知正则化损失函数，目的是实现增强的形状预测结果。
4.根据权利要求 3 所述的基于 CT 扫描的食管肿瘤分割形状感知对比深度监督方法，其特征 在于：对于带有 GT 标签的体素，正样本是属于同一类的体素，负样本是属于其他类的体 素；
体素级对比学习损失函数定义为：
其中，和/>表示体素/>的正嵌入和负嵌入，/>和/>分别为正集和负 集，/>表示/>通道特征，并且/>为温度常量； 体素级对比学习损失函数通过将同类体素样本聚合到一起并将不同类样本分开，从而进行学 习和构建嵌入空间。
5.根据权利要求 4 所述的基于 CT 扫描的食管肿瘤分割形状感知对比深度监督方法，其特征 在于：所述形状感知硬样本选择时采用边界描绘方式进行，以协助硬样本选择通过硬形状相关的样 本，具体如下： 将具有错误预测的体素被视为硬样本，对于深度监督解码器的最后一层的侧输出特征，选择 硬样本如下：
首先，从形状头部中计算预测的，并选择与边界描绘/>相比具有不正确预测的所有体素； 其次，沿食管肿瘤形状边界随机选取 K 个硬正负样本，可以显著降低计算成本；然后进行体 素对比学习损失函数的计算，计算过程中沿着食管肿瘤形状的边界随机过滤K/2个硬样本， 并添加 K/2 个易样本即具有正确预测的体素，形成K个正负样本的集合。
6.根据权利要求5所述的基于 CT 扫描的食管肿瘤分割形状感知对比深度监督方法，其特征 在于：所述深度监督具体如下：由于分割需要预测输出体积中所有与形状相关的体素，因此仅惩罚解码器的最终输出以提取形状感知特征是不够的，故构建一种形状感知的深度监督训练策略；
所述形状感知的深度监督训练策略具体为： 在解码器早期阶段，为了下采样的二进制形状相关掩膜更好地匹配不可用的实际 GT； 因此，通过对二进制形状相关掩膜/>进行卷积或池化实现下采样，将深度监督集成到分割网络的解码器 中，并强制执行深度监督对比损失函数/>；
数学上，对于一个体素的形状感知深度监督的训练过程定义为：
其中，m 为解码器的第 m侧，表示体素/>从它们的第 m 侧输出的形状感知对比损失函数。
7.根据权利要求6所述的基于 CT 扫描的食管肿瘤分割形状感知对比深度监督方法，其特征 在于：步骤S3）中构建最终损失函数中的构建的最终损失函数定义为：
其中，为融合头部损失函数，/>为肿瘤头部损失函数，/>为平衡训练权值 的因子；骰子损失函数表示为公式（6），X 为预测值，Y 为标签值；交叉熵损失函数表示为公式（7），/>为样本 i的标签，/>为样本 i预测为正类的概率；/>的值为对应的骰 子损失函数与交叉熵损失函数之和。
8.根据权利要求7所述的基于 CT 扫描的食管肿瘤分割形状感知对比深度监督方法，其特征在于：所述步骤S4）中训练形状感知对比深度监督网络主要用于食管肿瘤分割，具体过程如下：
将步骤S1）中的训练集切成小块送入神经网络中训练；神经网络训练过程使用了 Adam优化器， 使得最终损失函数值不断逼近全局最小，并使用多项式学习策略对学习率进行动态调整， 多项式学习策略公式表示如下：
其中，初始学习率为 2.5×10-4，幂的值为 0.9，训练迭代总数为 39000 即 200 轮，当最终损失 函数算出的损失值不再下降或者是出现震荡时采用早期停止以避免过拟合；等式（3）中的温 度常数被设定为0.07，等式（5）中的权重因子/>被设置为0.01；形状感知硬样本选择中 的 K 被直观地设置为 500，以权衡性能和计算成本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311036354.7A CN116758103B (zh) | 2023-08-17 | 2023-08-17 | 基于ct扫描的食管肿瘤分割形状感知对比深度监督方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311036354.7A CN116758103B (zh) | 2023-08-17 | 2023-08-17 | 基于ct扫描的食管肿瘤分割形状感知对比深度监督方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116758103A CN116758103A (zh) | 2023-09-15 |
| CN116758103B true CN116758103B (zh) | 2023-11-07 |
Family
ID=87959458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311036354.7A Active CN116758103B (zh) | 2023-08-17 | 2023-08-17 | 基于ct扫描的食管肿瘤分割形状感知对比深度监督方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116758103B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674281A (zh) * | 2021-10-25 | 2021-11-19 | 之江实验室 | 一种基于深度形状学习的肝脏ct自动分割方法 |
| CN114821052A (zh) * | 2022-04-25 | 2022-07-29 | 西安电子科技大学 | 基于自调节策略的三维脑肿瘤核磁共振图像分割方法 |
-
2023
- 2023-08-17 CN CN202311036354.7A patent/CN116758103B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674281A (zh) * | 2021-10-25 | 2021-11-19 | 之江实验室 | 一种基于深度形状学习的肝脏ct自动分割方法 |
| WO2023071531A1 (zh) * | 2021-10-25 | 2023-05-04 | 之江实验室 | 一种基于深度形状学习的肝脏ct自动分割方法 |
| CN114821052A (zh) * | 2022-04-25 | 2022-07-29 | 西安电子科技大学 | 基于自调节策略的三维脑肿瘤核磁共振图像分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116758103A (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3788546A1 (en) | Method and system for improving cancer detection using deep learning | |
| CN108629768B (zh) | 一种食管病理图像中上皮组织的分割方法 | |
| CN108734694A (zh) | 基于faster r-cnn的甲状腺肿瘤超声图像自动识别方法 | |
| Zheng et al. | Alleviating class-wise gradient imbalance for pulmonary airway segmentation | |
| CN110969632B (zh) | 一种深度学习模型的训练方法、图像处理方法及装置 | |
| CN116884623B (zh) | 基于激光扫描成像的医疗康复预测系统 | |
| Zhao et al. | DSU-Net: Distraction-Sensitive U-Net for 3D lung tumor segmentation | |
| CN107358611A (zh) | 一种全景扫描病理图像转移区域的自动分割方法 | |
| CN110390665A (zh) | 基于深度学习多通道与图嵌法的膝关节病症超声诊断方法 | |
| CN114600155A (zh) | 用于细胞检测和分割的弱监督多任务学习 | |
| CN117152433A (zh) | 一种基于多尺度跨层注意力融合网络的医学图像分割方法 | |
| Cifci | Segchanet: A novel model for lung cancer segmentation in ct scans | |
| CN116758103B (zh) | 基于ct扫描的食管肿瘤分割形状感知对比深度监督方法 | |
| CN112488996A (zh) | 非齐次三维食管癌能谱ct弱监督自动标注方法与系统 | |
| Delmoral et al. | Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study | |
| CN113822252B (zh) | 显微镜下病理图像细胞鲁棒检测方法 | |
| Dickson et al. | A Dual Channel Multiscale Convolution U-Net Methodfor Liver Tumor Segmentation from Abdomen CT Images | |
| CN112541909B (zh) | 基于切片感知的三维神经网络的肺结节探测方法及系统 | |
| CN113362927A (zh) | 一种基于深度学习的鳞状食道癌放化疗效果预测方法 | |
| Subramanian et al. | Design and Evaluation of a Deep Learning Aided Approach for Kidney Stone Detection in CT scan Images | |
| CN112862089A (zh) | 一种具有可解释性的医学图像深度学习方法 | |
| Elnakib et al. | Automated deep system for joint liver and tumor segmentation using majority voting | |
| CN111882560B (zh) | 一种基于加权全卷积神经网络的肺实质ct图像分割方法 | |
| Bharathi | Neural Network based Earlier Stage Lung Cancer Prediction Scheme with Differential Learning Assistance | |
| Danapaquiame | A Deep Learning Neural Network Techniques in Visualization, Imaging Data Acquisition And Diagnosis for Covid-19 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |