CN117934519B - 一种非配对增强合成的食管肿瘤ct图像自适应分割方法 - Google Patents
一种非配对增强合成的食管肿瘤ct图像自适应分割方法 Download PDFInfo
- Publication number
- CN117934519B CN117934519B CN202410324602.6A CN202410324602A CN117934519B CN 117934519 B CN117934519 B CN 117934519B CN 202410324602 A CN202410324602 A CN 202410324602A CN 117934519 B CN117934519 B CN 117934519B
- Authority
- CN
- China
- Prior art keywords
- layer
- decoder
- image
- convolution
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 153
- 238000000034 method Methods 0.000 title claims abstract description 21
- 208000025402 neoplasm of esophagus Diseases 0.000 title claims description 10
- 206010030155 Oesophageal carcinoma Diseases 0.000 claims abstract description 144
- 208000000461 Esophageal Neoplasms Diseases 0.000 claims abstract description 140
- 201000004101 esophageal cancer Diseases 0.000 claims abstract description 140
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 57
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 57
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000010606 normalization Methods 0.000 claims description 154
- 238000005070 sampling Methods 0.000 claims description 102
- 230000006870 function Effects 0.000 claims description 66
- 238000013527 convolutional neural network Methods 0.000 claims description 37
- 230000004913 activation Effects 0.000 claims description 35
- 238000007670 refining Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 208000017897 Carcinoma of esophagus Diseases 0.000 claims description 4
- 230000003187 abdominal effect Effects 0.000 claims description 4
- 201000005619 esophageal carcinoma Diseases 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 230000008485 antagonism Effects 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 125000004122 cyclic group Chemical group 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 2
- 206010028980 Neoplasm Diseases 0.000 description 16
- 238000002591 computed tomography Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000001959 radiotherapy Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000002512 chemotherapy Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 241000321096 Adenoides Species 0.000 description 1
- 206010013952 Dysphonia Diseases 0.000 description 1
- 208000010473 Hoarseness Diseases 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 206010062237 Renal impairment Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 210000002534 adenoid Anatomy 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036770 blood supply Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000002648 combination therapy Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000001926 lymphatic effect Effects 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 231100000857 poor renal function Toxicity 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000002626 targeted therapy Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Abstract
本发明涉及一种非配对增强合成的食管肿瘤CT图像自适应分割方法，与现有技术相比解决了非配对的CT影像合成增强CT影像有伪影以及食管癌边缘模糊难以分割的缺陷。本发明包括以下步骤：食管癌CT影像和增强CT影像的获取及预处理；构建非配对的食管癌CT影像和增强CT影像合成与分割模型；非配对的食管癌CT影像与增强CT影像合成与分割模型的训练；待合成和分割食管癌CT影像的获得及预处理；非配对的食管癌CT影像和增强CT影像合成与分割结果的获得。本发明针对非配对的CT影像和增强CT影像对比度差异大、食管癌边界不明显的特点，提出一种新的合成与分割统一框架的方法，同时合成增强CT影像和分割食管癌，有效地提升了合成效果以及食管癌分割的准确性。
Description
技术领域
本发明涉及医学图像合成与分割技术领域，具体来说是一种非配对增强合成的食管肿瘤CT图像自适应分割方法。
背景技术
食管癌是一种侵袭性恶性肿瘤，包括鳞状细胞食管癌和腺类食管癌，它们具有不同的病理特征和分布情况。全球范围内，鳞状细胞食管癌仍然是最常见的类型。食管癌具有很强的侵袭性，早期就可能发生淋巴和血行转移并发症。由于疾病早期症状不明显，大多数患者在出现进食困难、声音嘶哑症状就诊时，肿瘤已经处于进展期，错过了手术切除的时机。对于不能接受手术治疗的食管癌患者，仅使用化疗、靶向治疗单一手段效果不佳，5年生存率较低。相比之下，采用化疗、放疗和内镜治疗多模式综合治疗方法正在逐渐成为主流，可以为一部分进展期食管癌患者提供长期生存的机会。放射治疗的一个主要问题是确定肿瘤的位置，需要一种能够辅助定位的工具。目前常用的诊断方法为CT扫描和增强CT扫描，CT扫描可以发现食管癌的存在或疑似病灶，增强CT扫描可以更清晰地显示血管结构，帮助医生评估肿瘤的血液供应情况，进一步了解肿瘤的特征和范围。
然而CT扫描无法清晰显示边界不清晰的食管癌区域，需要增强CT扫描的辅助。增强CT扫描的获取需要注射造影剂，这可能对患者产生某些额外的伤害，少数患者可能会出现过敏反应或肾功能损害。而且放疗需要精确勾画放疗的靶区。目前，放射治疗的靶区勾画工作主要由经验丰富的医生和物理师手工完成，准确性依赖于医生的经验水平。这项工作繁琐而耗时。
因此，如何在医学影像上实现使用CT影像合成增强CT影像，并自动勾画食管癌靶区成为计算机视觉领域的热门问题。为了合成高质量的增强CT影像，提高医生的工作效率并实现食管癌的精准治疗，研究和实现增强CT影像的合成以及食管癌肿瘤靶区的自动化勾画成为一个迫切需要解决的问题。
基于深度学习的非配对的CT影像合成增强CT影像以及食管癌的分割是一项突破性技术，可以合成清晰的增强CT影像并且准确的实现肿瘤靶区的分割任务，最大限度地减少医生难以发现的图像内部信息，让患者不用做增强CT扫描就能得到增强CT扫描影像。
但是，非配对的增强CT影像合成和食管癌肿瘤靶区的自动勾画是一项具有挑战性的任务。增强CT影像的合成取决于能否有效地学习到CT影像和增强CT影像之间的域差异，肿瘤区域的分割取决于CT影像中肿瘤与周围组织之间的对比度差异由于食管癌病变形态的多样性、位置的多变性以及周围组织的复杂性，传统的深度学习算法难以实现高质量的增强CT影像合成，难以捕捉肿瘤的全部细节和特征。
因此，如何针对非配对的CT影像合成增强CT影像并准确地自动分割食管癌已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中难以针对非配对的食管癌CT影像合成增强CT影像和边界不明显的食管癌自动分割的缺陷，提供一种非配对增强合成的食管肿瘤CT图像自适应分割方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
1、一种非配对增强合成的食管肿瘤CT图像自适应分割方法，其特征在于，包括以下步骤：
11）食管癌CT影像和增强CT影像的获取及预处理：获取DICOM格式的CT和增强CT影像，对影像中食管颈段和食管腹段区域的影像数据进行数据增强处理，并进行切片处理，即对三维的DICOM格式的CT影像进行截取操作，得到二维的.jpg格式的CT影像和增强CT影像切片以及.png格式的二值化标签影像，组成非配对的食管癌CT和增强CT影像合成与分割数据集；
12）构建非配对的食管癌CT影像和增强CT影像合成与分割模型：基于循环生成对抗网络构建食管癌CT影像和增强CT影像的合成与分割模型；
13）非配对的食管癌CT影像与增强CT影像合成与分割模型的训练：将非配对的食管癌CT和增强CT影像数据集输入到非配对的食管癌CT影像和增强CT影像合成与分割模型进行训练；
14）待合成和分割食管癌CT影像的获得及预处理；
15）非配对的食管癌CT影像和增强CT影像合成与分割结果的获得：将预处理后的待合成和分割的食管癌CT影像输入训练后的食管癌CT影像和增强CT影像合成与分割模型，得到合成的增强CT影像和分割后的食管癌CT影像。
2、所述构建非配对的食管癌CT影像和增强CT影像合成与分割模型包括以下步骤：
21）设定非配对的食管癌CT和增强CT影像合成与分割模型包括用于合成增强CT影像和粗分割的双分支卷积神经网络模型，用于重建CT影像和细化分割的双分支卷积神经网络模型，和用于判别增强CT影像真伪的判别器网络模型，合成增强CT影像和粗分割的双分支卷积神经网络模型输出的合成的增强CT影像与粗分割影像通过拼接操作进行信息融合，之后输入到用于重建CT影像和细化分割的双分支卷积神经网络模型得到最终的分割图，通过生成对抗损失函数和重建损失函数约束得到最终的合成增强CT影像；
22）设定用于合成增强CT影像和粗分割的双分支卷积神经网络模型：
221）设定用于合成增强CT影像和粗分割的双分支卷积神经网络模型包括一个用于特征提取的下采样编码器模块，一个用于合成增强CT影像的上采样解码器模块，一个用于粗分割食管癌的上采样解码器模块；
222）设定下采样编码器模块包括4个连续的下采样结构；
下采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠，最后经过一个2倍最大池化层；
223）设定用于合成增强CT影像的上采样解码器模块，其包括4个连续的上采样结构，以及与编码器的四个下采样结构的输出分支的拼接结构，以及一个tanh激活函数；
编码器的四个下采样结构分别得到四个不同尺寸的输出，
第四个尺寸的输出拼接到解码器的第一个输入，
第三个尺寸的输出拼接到解码器的第二个输入，
第二个尺寸的输出拼接到解码器的第三个输入，
第一个尺寸的输出拼接到解码器的第四个输入；
解码器结构为四个连续的带残差的上采样块，
上采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠，最后经过一个2倍双线性插值上采样操作；
最后将上采样结构得到的特征图输入到tanh激活函数；
224）设定用于粗分割食管癌的上采样解码器模块，其包括4个连续的上采样结构，以及与编码器的四个下采样结构的输出分支的拼接结构，以及一个Sigmoid激活函数；
编码器的四个下采样结构分别得到四个不同尺寸的输出，
第四个尺寸的输出拼接到解码器的第一个输入，
第三个尺寸的输出拼接到解码器的第二个输入，
第二个尺寸的输出拼接到解码器的第三个输入，
第一个尺寸的输出拼接到解码器的第四个输入；
解码器结构为四个连续的带残差的上采样块，
上采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠，最后经过一个2倍双线性插值上采样操作；
最后将上采样结构得到的特征图输入到Sigmoid激活函数；
23）设定用于重建CT影像和细化分割的双分支卷积神经网络模型：
231）设定用于重建CT影像和细化分割的双分支卷积神经网络模型包括一个用于特征提取的下采样编码器模块，一个用于重建CT影像的上采样解码器模块，一个用于细化分割食管癌的上采样解码器模块；
232）设定下采样编码器模块包括4个连续的下采样结构；
下采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠，最后经过一个2倍最大池化层；
233）设定用于合成增强CT影像的上采样解码器模块，其包括4个连续的上采样结构，以及与编码器的四个下采样结构的输出分支的拼接结构，以及一个tanh激活函数；
编码器的四个下采样结构分别得到四个不同尺寸的输出，
第四个尺寸的输出拼接到解码器的第一个输入，
第三个尺寸的输出拼接到解码器的第二个输入，
第二个尺寸的输出拼接到解码器的第三个输入，
第一个尺寸的输出拼接到解码器的第四个输入；
解码器结构为四个连续的带残差的上采样块，
上采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠，最后经过一个2倍双线性插值上采样操作；
最后将上采样结构得到的特征图输入到tanh激活函数；
234）设定用于细化分割食管癌的上采样解码器模块，其包括4个连续的上采样结构，以及与编码器的四个下采样结构的输出分支的拼接结构，以及一个Sigmoid激活函数；
编码器的四个下采样结构分别得到四个不同尺寸的输出，
第四个尺寸的输出拼接到解码器的第一个输入，
第三个尺寸的输出拼接到解码器的第二个输入，
第二个尺寸的输出拼接到解码器的第三个输入，
第一个尺寸的输出拼接到解码器的第四个输入；
解码器结构为四个连续的带残差的上采样块，
上采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠，最后经过一个2倍双线性插值上采样操作；
最后将上采样结构得到的特征图输入到Sigmoid激活函数；
24）设定用于判别增强CT影像真伪的判别器网络模型，其包括一个卷积核为3×3的卷积层、一个LeakyReLu层，一个卷积核为3×3的卷积层、一个实例归一化层、一个LeakyReLu层，一个卷积核为3×3的卷积层、一个实例归一化层、一个LeakyReLu层，一个卷积核为3×3的卷积层、一个实例归一化层、一个LeakyReLu层，一个卷积核为1×1的卷积层堆叠。
3、所述非配对食管癌CT影像和增强CT影像合成与分割模型的训练包括以下步骤：
31）将食管癌CT和增强CT影像数据集输入非配对食管癌CT和增强CT影像合成与分割模型的用于合成增强CT影像和粗分割的双分支卷积神经网络模型，从用于合成增强CT影像和粗分割的双分支卷积神经网络模型输出增强CT合成特征图和粗分割特征图；
32）将食管癌CT影像输入到下采样编码器模块中进行训练：
321）输入到第一个下采样结构，第一个下采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠；
322）对第一个下采样输出送入到第二个下采样结构，得到第二个下采样输出；
323）对第二个下采样输出送入到第三个下采样结构，得到第三个下采样输出；
324）对第三个下采样输出送入到第四个下采样结构，得到第四个下采样输出；
33）以上四个下采样输出，在用于合成CT影像的解码器模块训练：
331）将以上四个下采样输出，输入到用于合成CT影像的解码器模块，进行上采样和车工CT影像；
332）对解码器的第一个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第二个输入；
333）将第三个下采样输出拼接到解码器的第二个输入，
对解码器的第二个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第三个输入；
334）将第二个下采样输出拼接到解码器的第三个输入，
对解码器的第三个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第四个输入；
335）将第一个下采样输出拼接到解码器的第四个输入，
对解码器的第四个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠再经过tanh激活函数得到合成CT影像的最终输出；
34）以上四个下采样输出，在用于食管癌粗分割的解码器模块训练：
341）将以上四个下采样输出，输入到用于食管癌粗分割的解码器模块，进行上采样分割食管癌CT影像；
342）对解码器的第一个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第二个输入；
343）将第三个下采样输出拼接到解码器的第二个输入，
对解码器的第二个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第三个输入；
344）将第二个下采样输出拼接到解码器的第三个输入，
对解码器的第三个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第四个输入；
345）将第一个下采样输出拼接到解码器的第四个输入，
对解码器的第四个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠再经过Sigmoid激活函数得到食管癌分割最终输出；
35）将得到的增强CT特征图和原始增强CT影像输入到用于判别增强CT影像真伪的判别器网络模型；
36）将得到的增强CT特征图和食管癌粗分割特征图通过拼接操作进行信息融合，得到拼接后的特征图；
37）将拼接后的特征图输入到用于重建CT影像和细化分割的双分支卷积神经网络模型；
38）拼接后的特征图在下采样编码器模块中进行训练：
381）针对拼接后的特征图输入到第一个下采样结构，第一个下采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠；
382）对第一个下采样输出送入到第二个下采样结构，得到第二个下采样输出；
383）对第二个下采样输出送入到第三个下采样结构，得到第三个下采样输出；
384）对第三个下采样输出送入到第四个下采样结构，得到第四个下采样输出；
39）以上四个下采样输出，在用于重建CT影像的解码器模块训练：
391）将以上四个下采样输出，输入到用于重建CT影像的解码器模块，进行上采样重建CT影像；
392）对解码器的第一个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第二个输入；
393）将第三个下采样输出拼接到解码器的第二个输入，
对解码器的第二个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第三个输入；
394）将第二个下采样输出拼接到解码器的第三个输入，
对解码器的第三个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第四个输入；
395）将第一个下采样输出拼接到解码器的第四个输入，
对解码器的第四个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠再经过tanh激活函数得到重建CT影像的最终输出；
310）以上四个下采样输出，在用于食管癌精细分割的解码器模块训练：
3101）将以上四个下采样输出，输入到用于食管癌精细分割的解码器模块，进行上采样分割食管癌CT影像；
3102）对解码器的第一个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第二个输入；
3103）将第三个下采样输出拼接到解码器的第二个输入，
对解码器的第二个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第三个输入；
3104）将第二个下采样输出拼接到解码器的第三个输入，
对解码器的第三个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第四个输入；
3105）将第一个下采样输出拼接到解码器的第四个输入，
对解码器的第四个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠再经过Sigmoid激活函数得到食管癌分割最终输出；
311）正向传播，得到合成的增强CT影像和分割概率；
312）使用交叉熵损失函数和Dice损失函数作为食管癌CT影像粗分割和精细分割的损失函数，对分割概率进行计算得到分割损失，其表达式如下：
，
，
，
其中，交叉熵损失函数CE(p,q)中C表示类别数， 为真实值， 为预测值；Dice Loss公式中A 和 B 分别代表其真实标签和模型预测标签所对应的掩膜矩阵，|A∩B|是A和B之间的交集，|A|和|B|分别表示A和B元素的个数，其中，分子的系数为2，是因为分母存在重复计算A和B之间的共同元素的原因；
313）使用生成对抗损失函数作为合成增强CT影像的损失函数，对增强CT影像进行合成，其表达式如下：
，
其中，D表示判别器，G表示生成器；
314）使用L1损失函数作为重建CT影像的损失函数对食管癌CT影像进行重建，其表达式如下：
，
其中，表示样本数量，是第个样本的真实标签是第个样本的模型预
测值；
315）通过损失值反向传播确定梯度向量，更新非配对的食管癌CT影像和增强CT影像合成与分割模型参数；
316）判断是否达到设定的训练轮数，若是则完成非配对的食管癌CT影像和增强CT影像合成与分割模型的训练，否则继续训练。
有益效果
本发明的一种非配对增强合成的食管肿瘤CT图像自适应分割方法，与现有技术相比基于食管CT影像与增强CT影像不配对且影像间对比度差异较大，食管癌区域边界不明显、分辨率不高、有伪影的特点，提出用循环生成对抗网络合成增强CT影像，再使用合成的增强CT影像辅助食管癌的分割，使分割网络能够有效地捕获CT影像和增强CT影像的特征，从而提取到更加丰富的细节特征，以提升边界不明显的食管癌靶区的分割精度，减少医生的勾画时间解决勾画一致性问题。
由于食管肿瘤靶区边界模糊、位置多变、解剖结构复杂、个体间有较大的差异，本发明提出的用于重建CT影像和细化分割的双分支卷积神经网络可以有效地利用合成的增强CT影像和粗分割改善肿瘤靶区边界模糊的分割效果，提高模型鲁棒性。本发明使用两个双分支网络，既提升了增强CT的合成效果，又增强了食管癌准确分割的能力。
附图说明
图1为本发明的方法顺序图；
图2为本发明所涉及的非配对的食管癌CT影像和增强CT影像的合成与食管癌分割模型的框架图；
图3为本发明所涉及的双分支合成与分割卷积神经网络模型结构图；
图4为本发明所涉及的判别器网络模型结构图；
图5a为现有技术中的食管癌CT影像；
图5b为现有技术中食管癌增强CT影像；
图5c为对图5a医生手工勾画的食管癌分割影像；
图5d为对图5a利用本发明所述方法产生的增强CT影像；
图5e为对图5a利用本发明所述方法产生的自动分割影像。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的一种非配对增强合成的食管肿瘤CT图像自适应分割方法，包括以下步骤：
第一步，食管癌CT影像和增强CT影像的获取及预处理：获取DICOM格式的CT和增强CT影像，对影像中食管颈段和食管腹段区域的影像数据进行数据增强处理，并进行切片处理，即对三维的DICOM格式的CT影像进行截取操作，得到二维的.jpg格式的CT影像和增强CT影像切片以及.png格式的二值化标签影像，组成非配对的食管癌CT和增强CT影像合成与分割数据集。
第二步，构建非配对的食管癌CT影像和增强CT影像合成与分割模型：基于循环生成对抗网络构建食管癌CT影像和增强CT影像的合成与分割模型。
DICOM格式的CT影像虽然存储了丰富的医学影像信息，但是并不适用于深度学习网络的训练。因此需要对DICOM格式的数据进行转换。深度学习算法通常采用RGB格式作为数据输入，因此需要将DICOM格式的医学影像转换为常用的RGB格式，并制作成符合深度学习要求的数据集。转换过程包括两个关键步骤：首先，需要读取原始DICOM格式文件的元数据，对患者的每个切片进行单独分析，并提取像素进行归一化，设置到0～1之间。为了便于存储和后续的深度学习分析，将其映射至0～255之间，储存为512×512大小的影像切片数据。此外在进行深度学习的肿瘤分割任务中，需要使用由物理医师手动勾画的肿瘤区域标签。这一过程的读取，需要仔细阅读元数据，并找到与标签命名相应的轮廓。将其像素值设置为1，并将其余像素值设置为0；
由于数据集中食管颈段和食管腹段区域的CT图像数据较少，对其进行数据增强以扩充数据集，可以增强网络的鲁棒性；
由于食管肿瘤边界不清晰，区域较小，形状较不规则，非配对的CT影像和增强CT影像对比度差异大、分辨率不高、有伪影，构建非配对增强CT影像合成和边界不明显的肿瘤CT影像分割模型可以有效地优化此问题，提升合成效果的同时改善分割效果；
（1）如图2所示，设定非配对的食管癌CT和增强CT影像合成与分割模型包括用于合成增强CT影像和粗分割的双分支卷积神经网络模型，用于重建CT影像和细化分割的双分支卷积神经网络模型，和用于判别增强CT影像真伪的判别器网络模型，合成增强CT影像和粗分割的双分支卷积神经网络模型输出的合成的增强CT影像与粗分割影像通过拼接操作进行信息融合，之后输入到用于重建CT影像和细化分割的双分支卷积神经网络模型得到最终的分割图，通过生成对抗损失函数和重建损失函数约束得到最终的合成增强CT影像。
（2）如图3所示，设定用于合成增强CT影像和粗分割的双分支卷积神经网络模型包括一个用于特征提取的下采样编码器模块，一个用于合成增强CT影像的上采样解码器模块，一个用于粗分割食管癌的上采样解码器模块。
设定下采样编码器模块包括4个连续的下采样结构；
下采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠，最后经过一个2倍最大池化层；
设定用于合成增强CT影像的上采样解码器模块，其包括4个连续的上采样结构，以及与编码器的四个下采样结构的输出分支的拼接结构，以及一个tanh激活函数；
编码器的四个下采样结构分别得到四个不同尺寸的输出，
第四个尺寸的输出拼接到解码器的第一个输入，
第三个尺寸的输出拼接到解码器的第二个输入，
第二个尺寸的输出拼接到解码器的第三个输入，
第一个尺寸的输出拼接到解码器的第四个输入；
解码器结构为四个连续的带残差的上采样块，
上采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠，最后经过一个2倍双线性插值上采样操作；
最后将上采样结构得到的特征图输入到tanh激活函数；
设定用于粗分割食管癌的上采样解码器模块，其包括4个连续的上采样结构，以及与编码器的四个下采样结构的输出分支的拼接结构，以及一个Sigmoid激活函数；
编码器的四个下采样结构分别得到四个不同尺寸的输出，
第四个尺寸的输出拼接到解码器的第一个输入，
第三个尺寸的输出拼接到解码器的第二个输入，
第二个尺寸的输出拼接到解码器的第三个输入，
第一个尺寸的输出拼接到解码器的第四个输入；
解码器结构为四个连续的带残差的上采样块，
上采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠，最后经过一个2倍双线性插值上采样操作；
最后将上采样结构得到的特征图输入到Sigmoid激活函数。
（3）设定用于重建CT影像和细化分割的双分支卷积神经网络模型，如图3所示，包括一个用于特征提取的下采样编码器模块，一个用于重建CT影像的上采样解码器模块，一个用于细化分割食管癌的上采样解码器模块：
设定下采样编码器模块包括4个连续的下采样结构；
下采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠，最后经过一个2倍最大池化层；
设定用于合成增强CT影像的上采样解码器模块，其包括4个连续的上采样结构，以及与编码器的四个下采样结构的输出分支的拼接结构，以及一个tanh激活函数；
编码器的四个下采样结构分别得到四个不同尺寸的输出，
第四个尺寸的输出拼接到解码器的第一个输入，
第三个尺寸的输出拼接到解码器的第二个输入，
第二个尺寸的输出拼接到解码器的第三个输入，
第一个尺寸的输出拼接到解码器的第四个输入；
解码器结构为四个连续的带残差的上采样块，
上采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠，最后经过一个2倍双线性插值上采样操作；
最后将上采样结构得到的特征图输入到tanh激活函数；
设定用于细化分割食管癌的上采样解码器模块，其包括4个连续的上采样结构，以及与编码器的四个下采样结构的输出分支的拼接结构，以及一个Sigmoid激活函数；
编码器的四个下采样结构分别得到四个不同尺寸的输出，
第四个尺寸的输出拼接到解码器的第一个输入，
第三个尺寸的输出拼接到解码器的第二个输入，
第二个尺寸的输出拼接到解码器的第三个输入，
第一个尺寸的输出拼接到解码器的第四个输入；
解码器结构为四个连续的带残差的上采样块，
上采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠，最后经过一个2倍双线性插值上采样操作；
最后将上采样结构得到的特征图输入到Sigmoid激活函数。
（4）如图4所示，设定用于判别增强CT影像真伪的判别器网络模型，其包括一个卷积核为3×3的卷积层、一个LeakyReLu层，一个卷积核为3×3的卷积层、一个实例归一化层、一个LeakyReLu层，一个卷积核为3×3的卷积层、一个实例归一化层、一个LeakyReLu层，一个卷积核为3×3的卷积层、一个实例归一化层、一个LeakyReLu层，一个卷积核为1×1的卷积层堆叠。
第三步，非配对食管癌CT影像和增强CT影像合成与分割模型的训练：将食管癌CT和增强CT影像数据集输入非配对食管癌CT影像和增强CT影像合成与分割模型进行训练。
训练过程中，由用于合成增强CT影像和粗分割的双分支卷积神经网络模型对原始CT影像进行合成增强CT影像以及粗分割，获取粗分割特征图和增强CT影像特征图通过拼接进行信息融合，增强边界不明显的肿瘤边界区域的特征表达能力，再输入到用于重建CT影像和细化分割的双分支卷积神经网络模型中进行食管癌分割和CT影像重建，这种非配对的合成与分割统一框架可以获得更清晰的增强CT影像和更高的分割精度；
非配对食管癌CT影像和增强CT影像合成与分割模型的训练包括以下步骤：
（1）将食管癌CT和增强CT影像数据集输入非配对食管癌CT和增强CT影像合成与分割模型的用于合成增强CT影像和粗分割的双分支卷积神经网络模型，从用于合成增强CT影像和粗分割的双分支卷积神经网络模型输出增强CT合成特征图和粗分割特征图；
（2）将食管癌CT影像输入到下采样编码器模块中进行训练。
第一个下采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠；
对第一个下采样输出送入到第二个下采样结构，得到第二个下采样输出；
对第二个下采样输出送入到第三个下采样结构，得到第三个下采样输出；
对第三个下采样输出送入到第四个下采样结构，得到第四个下采样输出；
（3）以上四个下采样输出，在用于合成CT影像的解码器模块训练。
将以上四个下采样输出，输入到用于合成CT影像的解码器模块，进行上采样和车工CT影像；
对解码器的第一个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第二个输入；
将第三个下采样输出拼接到解码器的第二个输入，
对解码器的第二个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第三个输入；
将第二个下采样输出拼接到解码器的第三个输入，
对解码器的第三个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第四个输入；
将第一个下采样输出拼接到解码器的第四个输入，
对解码器的第四个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠再经过tanh激活函数得到合成CT影像的最终输出；
（4）以上四个下采样输出，在用于食管癌粗分割的解码器模块训练：
将以上四个下采样输出，输入到用于食管癌粗分割的解码器模块，进行上采样分割食管癌CT影像；
对解码器的第一个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第二个输入；
将第三个下采样输出拼接到解码器的第二个输入，
对解码器的第二个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第三个输入；
将第二个下采样输出拼接到解码器的第三个输入，
对解码器的第三个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第四个输入；
将第一个下采样输出拼接到解码器的第四个输入，
对解码器的第四个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠再经过Sigmoid激活函数得到食管癌分割最终输出。
（5）将得到的增强CT特征图和原始增强CT影像输入到用于判别增强CT影像真伪的判别器网络模型。
（6）将得到的增强CT特征图和食管癌粗分割特征图通过拼接操作进行信息融合，得到拼接后的特征图。
（7）将拼接后的特征图输入到用于重建CT影像和细化分割的双分支卷积神经网络模型。
（8）拼接后的特征图在下采样编码器模块中进行训练：
针对拼接后的特征图输入到第一个下采样结构，第一个下采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠；
对第一个下采样输出送入到第二个下采样结构，得到第二个下采样输出；
对第二个下采样输出送入到第三个下采样结构，得到第三个下采样输出；
对第三个下采样输出送入到第四个下采样结构，得到第四个下采样输出；
（9）以上四个下采样输出，在用于重建CT影像的解码器模块训练：
将以上四个下采样输出，输入到用于重建CT影像的解码器模块，进行上采样重建CT影像；
对解码器的第一个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第二个输入；
将第三个下采样输出拼接到解码器的第二个输入，
对解码器的第二个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第三个输入；
将第二个下采样输出拼接到解码器的第三个输入，
对解码器的第三个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第四个输入；
将第一个下采样输出拼接到解码器的第四个输入，
对解码器的第四个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠再经过tanh激活函数得到重建CT影像的最终输出；
（10）以上四个下采样输出，在用于食管癌精细分割的解码器模块训练：
将以上四个下采样输出，输入到用于食管癌精细分割的解码器模块，进行上采样分割食管癌CT影像；
对解码器的第一个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第二个输入；
将第三个下采样输出拼接到解码器的第二个输入，
对解码器的第二个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第三个输入；
将第二个下采样输出拼接到解码器的第三个输入，
对解码器的第三个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第四个输入；
将第一个下采样输出拼接到解码器的第四个输入，
对解码器的第四个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠再经过Sigmoid激活函数得到食管癌分割最终输出；
（11）正向传播，得到合成的增强CT影像和分割概率；
（12）使用交叉熵损失函数和Dice损失函数作为食管癌CT影像粗分割和精细分割的损失函数，对分割概率进行计算得到分割损失，其表达式如下：
，
，
，
其中，交叉熵损失函数CE(p,q)中C表示类别数，为真实值，为预测值；Dice
Loss公式中A 和 B 分别代表其真实标签和模型预测标签所对应的掩膜矩阵，|A∩B|是A和
B之间的交集，|A|和|B|分别表示A和B元素的个数，其中，分子的系数为2，是因为分母存在
重复计算A和B之间的共同元素的原因；
（13）使用生成对抗损失函数作为合成增强CT影像的损失函数，对增强CT影像进行合成，其表达式如下：
，
其中，表示判别器，表示生成器；
（14）使用L1损失函数作为重建CT影像的损失函数对食管癌CT影像进行重建，其表达式如下：
其中，表示样本数量，是第个样本的真实标签是第个样本的模型预
测值；
（15）通过损失值反向传播确定梯度向量，更新非配对的食管癌CT影像和增强CT影像合成与分割模型参数；
（16）判断是否达到设定的训练轮数，若是则完成非配对的食管癌CT影像和增强CT影像合成与分割模型的训练，否则继续训练。
第五步，非配对的食管癌CT影像和增强CT影像合成与分割结果的获得：将预处理后的待合成和分割的食管癌CT影像输入训练后的食管癌CT影像和增强CT影像合成与分割模型，得到合成的增强CT影像和分割后的食管癌CT影像。
如图5a、图5b、图5c所示，其为一位食管癌患者的CT切片影像、增强CT切片影像和医生手工勾画的食管癌标签影像，图5d、图5e为我们的方法合成的增强CT影像以及食管癌分割结果，从图5b和图5d可以看出，本发明所述方法合成的增强CT影像与原始增强CT影像具有较好的相似性，从图5c、图5e可以看出，所述的方法能够更加完整地自动分割食管癌边界信息，与标签具有良好的一致性。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (1)
1.一种非配对增强合成的食管肿瘤CT图像自适应分割方法，其特征在于，包括以下步骤：
11)食管癌CT影像和增强CT影像的获取及预处理：获取DICOM格式的CT和增强CT影像，对影像中食管颈段和食管腹段区域的影像数据进行数据增强处理，并进行切片处理，即对三维的DICOM格式的CT影像进行截取操作，得到二维的.jpg格式的CT影像和增强CT影像切片以及.png格式的二值化标签影像，组成非配对的食管癌CT和增强CT影像合成与分割数据集；
12)构建非配对的食管癌CT影像和增强CT影像合成与分割模型：基于循环生成对抗网络构建食管癌CT影像和增强CT影像的合成与分割模型，所述构建食管癌CT影像和增强CT影像的合成与分割模型包括以下步骤：
121)设定非配对的食管癌CT和增强CT影像合成与分割模型包括用于合成增强CT影像和粗分割的双分支卷积神经网络模型，用于重建CT影像和细化分割的双分支卷积神经网络模型，和用于判别增强CT影像真伪的判别器网络模型，合成增强CT影像和粗分割的双分支卷积神经网络模型输出的合成的增强CT影像与粗分割影像通过拼接操作进行信息融合，之后输入到用于重建CT影像和细化分割的双分支卷积神经网络模型得到最终的分割图，通过生成对抗损失函数和重建损失函数约束得到最终的合成增强CT影像；
122)设定用于合成增强CT影像和粗分割的双分支卷积神经网络模型：
1221)设定用于合成增强CT影像和粗分割的双分支卷积神经网络模型包括一个用于特征提取的下采样编码器模块，一个用于合成增强CT影像的上采样解码器模块，一个用于粗分割食管癌的上采样解码器模块；
1222)设定下采样编码器模块包括4个连续的下采样结构；
下采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠，最后经过一个2倍最大池化层；
1223)设定用于合成增强CT影像的上采样解码器模块，其包括4个连续的上采样结构，以及与编码器的四个下采样结构的输出分支的拼接结构，以及一个tanh激活函数；
编码器的四个下采样结构分别得到四个不同尺寸的输出，
第四个尺寸的输出拼接到解码器的第一个输入，
第三个尺寸的输出拼接到解码器的第二个输入，
第二个尺寸的输出拼接到解码器的第三个输入，
第一个尺寸的输出拼接到解码器的第四个输入；
解码器结构为四个连续的带残差的上采样块，
上采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠，最后经过一个2倍双线性插值上采样操作；
最后将上采样结构得到的特征图输入到tanh激活函数；
1224)设定用于粗分割食管癌的上采样解码器模块，其包括4个连续的上采样结构，以及与编码器的四个下采样结构的输出分支的拼接结构，以及一个Sigmoid激活函数；
编码器的四个下采样结构分别得到四个不同尺寸的输出，
第四个尺寸的输出拼接到解码器的第一个输入，
第三个尺寸的输出拼接到解码器的第二个输入，
第二个尺寸的输出拼接到解码器的第三个输入，
第一个尺寸的输出拼接到解码器的第四个输入；
解码器结构为四个连续的带残差的上采样块，
上采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠，最后经过一个2倍双线性插值上采样操作；
最后将上采样结构得到的特征图输入到Sigmoid激活函数；
123)设定用于重建CT影像和细化分割的双分支卷积神经网络模型：
1231)设定用于重建CT影像和细化分割的双分支卷积神经网络模型包括一个用于特征提取的下采样编码器模块，一个用于重建CT影像的上采样解码器模块，一个用于细化分割食管癌的上采样解码器模块；
1232)设定下采样编码器模块包括4个连续的下采样结构；
下采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠，最后经过一个2倍最大池化层；
1233)设定用于合成增强CT影像的上采样解码器模块，其包括4个连续的上采样结构，以及与编码器的四个下采样结构的输出分支的拼接结构，以及一个tanh激活函数；
编码器的四个下采样结构分别得到四个不同尺寸的输出，
第四个尺寸的输出拼接到解码器的第一个输入，
第三个尺寸的输出拼接到解码器的第二个输入，
第二个尺寸的输出拼接到解码器的第三个输入，
第一个尺寸的输出拼接到解码器的第四个输入；
解码器结构为四个连续的带残差的上采样块，
上采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠，最后经过一个2倍双线性插值上采样操作；
最后将上采样结构得到的特征图输入到tanh激活函数；
1234)设定用于细化分割食管癌的上采样解码器模块，其包括4个连续的上采样结构，以及与编码器的四个下采样结构的输出分支的拼接结构，以及一个Sigmoid激活函数；
编码器的四个下采样结构分别得到四个不同尺寸的输出，
第四个尺寸的输出拼接到解码器的第一个输入，
第三个尺寸的输出拼接到解码器的第二个输入，
第二个尺寸的输出拼接到解码器的第三个输入，
第一个尺寸的输出拼接到解码器的第四个输入；
解码器结构为四个连续的带残差的上采样块，
上采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠，最后经过一个2倍双线性插值上采样操作；
最后将上采样结构得到的特征图输入到Sigmoid激活函数；
124)设定用于判别增强CT影像真伪的判别器网络模型，其包括一个卷积核为3×3的卷积层、一个LeakyReLu层，一个卷积核为3×3的卷积层、一个实例归一化层、一个LeakyReLu层，一个卷积核为3×3的卷积层、一个实例归一化层、一个LeakyReLu层，一个卷积核为3×3的卷积层、一个实例归一化层、一个LeakyReLu层，一个卷积核为1×1的卷积层堆叠；
13)非配对的食管癌CT影像与增强CT影像合成与分割模型的训练：将非配对的食管癌CT和增强CT影像数据集输入到非配对的食管癌CT影像和增强CT影像合成与分割模型进行训练，所述非配对食管癌CT影像和增强CT影像合成与分割模型的训练包括以下步骤：
131)将食管癌CT和增强CT影像数据集输入非配对食管癌CT和增强CT影像合成与分割模型的用于合成增强CT影像和粗分割的双分支卷积神经网络模型，从用于合成增强CT影像和粗分割的双分支卷积神经网络模型输出增强CT合成特征图和粗分割特征图；
132)将食管癌CT影像输入到下采样编码器模块中进行训练：
1321)输入到第一个下采样结构，第一个下采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠；
1322)对第一个下采样输出送入到第二个下采样结构，得到第二个下采样输出；
1323)对第二个下采样输出送入到第三个下采样结构，得到第三个下采样输出；
1324)对第三个下采样输出送入到第四个下采样结构，得到第四个下采样输出；
133)以上四个下采样输出，在用于合成CT影像的解码器模块训练：
1331)将以上四个下采样输出，输入到用于合成CT影像的解码器模块，进行上采样和车工CT影像；
1332)对解码器的第一个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第二个输入；
1333)将第三个下采样输出拼接到解码器的第二个输入，
对解码器的第二个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第三个输入；
1334)将第二个下采样输出拼接到解码器的第三个输入，
对解码器的第三个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第四个输入；
1335)将第一个下采样输出拼接到解码器的第四个输入，
对解码器的第四个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠再经过tanh激活函数得到合成CT影像的最终输出；
134)以上四个下采样输出，在用于食管癌粗分割的解码器模块训练：
1341)将以上四个下采样输出，输入到用于食管癌粗分割的解码器模块，进行上采样分割食管癌CT影像；
1342)对解码器的第一个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第二个输入；
1343)将第三个下采样输出拼接到解码器的第二个输入，
对解码器的第二个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第三个输入；
1344)将第二个下采样输出拼接到解码器的第三个输入，
对解码器的第三个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第四个输入；
1345)将第一个下采样输出拼接到解码器的第四个输入，
对解码器的第四个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠再经过Sigmoid激活函数得到食管癌分割最终输出；
135)将得到的增强CT特征图和原始增强CT影像输入到用于判别增强CT影像真伪的判别器网络模型；
136)将得到的增强CT特征图和食管癌粗分割特征图通过拼接操作进行信息融合，得到拼接后的特征图；
137)将拼接后的特征图输入到用于重建CT影像和细化分割的双分支卷积神经网络模型；
138)拼接后的特征图在下采样编码器模块中进行训练：
1381)针对拼接后的特征图输入到第一个下采样结构，第一个下采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层堆叠；
1382)对第一个下采样输出送入到第二个下采样结构，得到第二个下采样输出；
1383)对第二个下采样输出送入到第三个下采样结构，得到第三个下采样输出；
1384)对第三个下采样输出送入到第四个下采样结构，得到第四个下采样输出；
139)以上四个下采样输出，在用于重建CT影像的解码器模块训练：
1391)将以上四个下采样输出，输入到用于重建CT影像的解码器模块，进行上采样重建CT影像；
1392)对解码器的第一个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第二个输入；
1393)将第三个下采样输出拼接到解码器的第二个输入，
对解码器的第二个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第三个输入；
1394)将第二个下采样输出拼接到解码器的第三个输入，
对解码器的第三个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第四个输入；
1395)将第一个下采样输出拼接到解码器的第四个输入，
对解码器的第四个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠再经过tanh激活函数得到重建CT影像的最终输出；
1310)以上四个下采样输出，在用于食管癌精细分割的解码器模块训练：
13101)将以上四个下采样输出，输入到用于食管癌精细分割的解码器模块，进行上采样分割食管癌CT影像；
13102)对解码器的第一个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第二个输入；
13103)将第三个下采样输出拼接到解码器的第二个输入，
对解码器的第二个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第三个输入；
13104)将第二个下采样输出拼接到解码器的第三个输入，
对解码器的第三个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠得到解码器的第四个输入；
13105)将第一个下采样输出拼接到解码器的第四个输入，
对解码器的第四个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个pRelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个pRelu层堆叠再经过Sigmoid激活函数得到食管癌分割最终输出；
1311)正向传播，得到合成的增强CT影像和分割概率；
1312)使用交叉熵损失函数和Dice损失函数作为食管癌CT影像粗分割和精细分割的损失函数，对分割概率进行计算得到分割损失，其表达式如下：
其中，交叉熵损失函数CE(p,q)中C表示类别数，pi为真实值，qi为预测值；Dice Loss公式中A和B分别代表其真实标签和模型预测标签所对应的掩膜矩阵，|A∩B|是A和B之间的交集，|A|和|B|分别表示A和B元素的个数，其中，分子的系数为2，是因为分母存在重复计算A和B之间的共同元素的原因；
1313)使用生成对抗损失函数作为合成增强CT影像的损失函数，对增强CT影像进行合成，其表达式如下：
LOSSGAN＝E[log(Dx(x))]+E[log(1-Dx(G(x)))]，
其中，D表示判别器，G表示生成器；
1314)使用L1损失函数作为重建CT影像的损失函数对食管癌CT影像进行重建，其表达式如下：
其中，N表示样本数量，yi是第i个样本的真实标签f(xi)是第i个样本的模型预测值；
1315)通过损失值反向传播确定梯度向量，更新非配对的食管癌CT影像和增强CT影像合成与分割模型参数；
1316)判断是否达到设定的训练轮数，若是则完成非配对的食管癌CT影像和增强CT影像合成与分割模型的训练，否则继续训练；
14)待合成和分割食管癌CT影像的获得及预处理；
15)非配对的食管癌CT影像和增强CT影像合成与分割结果的获得：将预处理后的待合成和分割的食管癌CT影像输入训练后的食管癌CT影像和增强CT影像合成与分割模型，得到合成的增强CT影像和分割后的食管癌CT影像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410324602.6A CN117934519B (zh) | 2024-03-21 | 一种非配对增强合成的食管肿瘤ct图像自适应分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410324602.6A CN117934519B (zh) | 2024-03-21 | 一种非配对增强合成的食管肿瘤ct图像自适应分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117934519A CN117934519A (zh) | 2024-04-26 |
| CN117934519B true CN117934519B (zh) | 2024-06-07 |
Family
ID=
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112884777A (zh) * | 2021-01-22 | 2021-06-01 | 复旦大学 | 基于自采样相似的多模态协作食管癌病变图像分割系统 |
| US11030747B1 (en) * | 2020-03-04 | 2021-06-08 | Xue Feng | System and method for automatic thoracic organ segmentation from CT using a deep learning framework |
| CN114022491A (zh) * | 2021-10-27 | 2022-02-08 | 安徽医科大学 | 基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法 |
| CN115170556A (zh) * | 2022-08-05 | 2022-10-11 | 安徽大学 | 基于DSA-DoubleUNet模型的子宫鳞状上皮病变区域影像分割方法 |
| CN115471470A (zh) * | 2022-09-14 | 2022-12-13 | 安徽大学 | 一种食管癌ct图像分割方法 |
| CN115830597A (zh) * | 2023-01-05 | 2023-03-21 | 安徽大学 | 一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法 |
| WO2023096969A1 (en) * | 2021-11-23 | 2023-06-01 | H. Lee Moffitt Cancer Center And Research Institute, Inc. | Artificial intelligence-based methods for grading, segmenting, and/or analyzing lung adenocarcinoma pathology slides |
| CN116258732A (zh) * | 2023-02-14 | 2023-06-13 | 复旦大学 | 一种基于pet/ct图像跨模态特征融合的食管癌肿瘤靶区分割方法 |
| CN116645380A (zh) * | 2023-06-12 | 2023-08-25 | 合肥市第二人民医院 | 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法 |
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11030747B1 (en) * | 2020-03-04 | 2021-06-08 | Xue Feng | System and method for automatic thoracic organ segmentation from CT using a deep learning framework |
| CN112884777A (zh) * | 2021-01-22 | 2021-06-01 | 复旦大学 | 基于自采样相似的多模态协作食管癌病变图像分割系统 |
| CN114022491A (zh) * | 2021-10-27 | 2022-02-08 | 安徽医科大学 | 基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法 |
| WO2023096969A1 (en) * | 2021-11-23 | 2023-06-01 | H. Lee Moffitt Cancer Center And Research Institute, Inc. | Artificial intelligence-based methods for grading, segmenting, and/or analyzing lung adenocarcinoma pathology slides |
| CN115170556A (zh) * | 2022-08-05 | 2022-10-11 | 安徽大学 | 基于DSA-DoubleUNet模型的子宫鳞状上皮病变区域影像分割方法 |
| CN115471470A (zh) * | 2022-09-14 | 2022-12-13 | 安徽大学 | 一种食管癌ct图像分割方法 |
| CN115830597A (zh) * | 2023-01-05 | 2023-03-21 | 安徽大学 | 一种基于伪标签生成的从局部到全局的域自适应遥感影像语义分割方法 |
| CN116258732A (zh) * | 2023-02-14 | 2023-06-13 | 复旦大学 | 一种基于pet/ct图像跨模态特征融合的食管癌肿瘤靶区分割方法 |
| CN116645380A (zh) * | 2023-06-12 | 2023-08-25 | 合肥市第二人民医院 | 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| Luis A. et al..Assisting Barrett's esophagus identification using endoscopic data augmentation based on Generative Adversarial Networks.《Computers in Biology and Medicine》.2020,1-12. * |
| 基于深度卷积神经网络的食管癌术前影像诊断关键问题研究;吴磊;《中国博士学位论文全文数据库医药卫生科技辑》;20210115;第三章 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111445481A (zh) | 一种基于尺度融合的腹部ct多器官的分割方法 | |
| CN107492071A (zh) | 医学图像处理方法及设备 | |
| Shen et al. | Mass image synthesis in mammogram with contextual information based on GANs | |
| CN116309650B (zh) | 基于双分支嵌入注意力机制的医学图像分割方法与系统 | |
| CN110188792A (zh) | 前列腺mri三维图像的图像特征获取方法 | |
| CN114494296A (zh) | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统 | |
| JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
| CN111369574B (zh) | 一种胸腔器官的分割方法及装置 | |
| CA3235419A1 (en) | Method and system for image processing based on convolutional neural network | |
| CN114092439A (zh) | 一种多器官实例分割方法及系统 | |
| CN114897094A (zh) | 一种基于注意力双支路特征融合的食管早癌病灶分割方法 | |
| CN116503607B (zh) | 一种基于深度学习的ct图像分割方法和系统 | |
| CN115311194A (zh) | 一种基于transformer和SE块的CT自动肝脏图像分割方法 | |
| CN112614093A (zh) | 基于多尺度空间注意力网络的乳腺病理图像分类方法 | |
| CN114565601A (zh) | 基于DeepLabV3+改进的肝脏CT图像分割算法 | |
| WO2024104035A1 (zh) | 基于长短期记忆自注意力模型的三维医学图像分割方法及系统 | |
| CN114399510A (zh) | 结合图像和临床元数据的皮肤病灶分割和分类方法及系统 | |
| CN116645380A (zh) | 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法 | |
| CN114066798B (zh) | 一种基于深度学习的脑肿瘤核磁共振影像数据合成方法 | |
| CN117934519B (zh) | 一种非配对增强合成的食管肿瘤ct图像自适应分割方法 | |
| CN115719357A (zh) | 一种脑部医学图像多结构分割方法 | |
| CN116228690A (zh) | 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法 | |
| CN117934519A (zh) | 一种非配对增强合成的食管肿瘤ct图像自适应分割方法 | |
| CN114463339A (zh) | 一种基于自注意力的医疗影像分割方法 | |
| CN112529949A (zh) | 一种基于t2图像生成dwi图像的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |