CN113012170B - 一种食管肿瘤区域分割及模型训练方法、装置及电子设备 - Google Patents

一种食管肿瘤区域分割及模型训练方法、装置及电子设备 Download PDF

Info

Publication number
CN113012170B
CN113012170B CN202110322102.5A CN202110322102A CN113012170B CN 113012170 B CN113012170 B CN 113012170B CN 202110322102 A CN202110322102 A CN 202110322102A CN 113012170 B CN113012170 B CN 113012170B
Authority
CN
China
Prior art keywords
dimensional
block
esophagus
image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110322102.5A
Other languages
English (en)
Other versions
CN113012170A (zh
Inventor
亢寒
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202110322102.5A priority Critical patent/CN113012170B/zh
Publication of CN113012170A publication Critical patent/CN113012170A/zh
Application granted granted Critical
Publication of CN113012170B publication Critical patent/CN113012170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种食管肿瘤区域分割及模型训练方法、装置及电子设备，食管肿瘤区域分割模型训练方法包括：获取食管的计算机断层成像序列，依据获取的计算机断层成像序列进行椎体检测，所述计算机断层成像序列包括二维图像切片子序列以及对二维图像切片子序列进行标注得到的二维图像切片标注子序列；以椎体的中心作为剪裁种子点，从二维图像切片子序列中剪裁出包含食管区域的三维图像块，以及，从二维图像切片标注子序列中的对应位置剪裁出三维标注图像块；以三维图像块为初始食管肿瘤区域分割模型的输入，结合三维标注图像块对初始食管肿瘤区域分割模型进行训练，得到食管肿瘤区域分割模型。可以提高食管肿瘤区域的分割效率。

Description

一种食管肿瘤区域分割及模型训练方法、装置及电子设备
技术领域
本发明涉及肿瘤技术领域，具体而言，涉及一种食管肿瘤区域分割及模型训练方法、装置及电子设备。
背景技术
食道癌是全世界癌症死亡率和负担的主要元凶之一，并且由于高死亡率，它已经成为紧急的公共卫生问题。放疗(RT，Radiotherapy)是一种较为有效的食道癌治疗方法，其最基本且关键的步骤为确定肿瘤区域总体积(GTV，Gross Tumor Volume)。然而，由于肿瘤区域边界模糊且与周围正常食管区域对比度低(肿瘤区域与周围组织没有明显的分界线)，使得传统的图像分割方法并不适合进行食管肿瘤区域分割。
全卷积网络(FCN，Fully Convolutional Networks)作为深度学习方法的一种，通过采用编解码器结构以及跳跃连接，具备较好的特征提取能力，在语义分割方面表现出了不错的性能，其应用已从自然图像领域转移到医学图像分析领域。但该采用全卷积网络进行肿瘤区域分割的方法，需要构建粗分割网络模型以及细分割网络模型以实现较好的分割性能，使得分割过程复杂并且模型的网络参数量大，例如，对于采用编解码器结构以及跳跃连接的U-Net网络构建的粗分割网络模型以及细分割网络模型，每个网络模型的参数量达到60M以上，不仅使得训练网络模型所需的时间较长，训练效率较低，还使得训练完成的粗分割网络模型以及细分割网络模型，对肿瘤区域进行分割所需的时间较长，分割效率较低。
发明内容
有鉴于此，本发明的目的在于提供食管肿瘤区域分割及模型训练方法、装置及电子设备，以提高食管肿瘤区域分割效率。
第一方面，本发明实施例提供了食管肿瘤区域分割模型训练方法，包括：
获取食管的计算机断层成像序列，依据获取的计算机断层成像序列进行椎体检测，所述计算机断层成像序列包括二维图像切片子序列以及对二维图像切片子序列进行标注得到的二维图像切片标注子序列；
以椎体的中心作为剪裁种子点，从二维图像切片子序列中剪裁出包含食管区域的三维图像块，以及，从二维图像切片标注子序列中的对应位置剪裁出三维标注图像块；
以三维图像块为初始食管肿瘤区域分割模型的输入，结合三维标注图像块对初始食管肿瘤区域分割模型进行训练，得到食管肿瘤区域分割模型。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述椎体检测为椎骨孔检测，所述依据获取的计算机断层成像序列进行椎体检测，包括：
针对二维图像切片子序列中顺序排列的每一二维图像切片，依据该二维图像切片中每一像素点的亨氏单位值以及预设的亨氏单位阈值，进行二值处理，得到对应的切片二值图像；
对切片二值图像进行形态学闭操作并取反，得到切片处理图像；
将顺序得到的切片处理图像堆叠成三维分析图像，对三维分析图像进行连通域分析，保留体积最大的连通区域，得到椎骨孔；
将包含椎骨孔对应的二维图像切片进行叠加，得到二维图像切片子序列的椎骨孔位置。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述以椎体的中心作为剪裁种子点，从二维图像切片子序列中剪裁出包含食管区域的三维图像块，包括：
以二维图像切片包含的椎体中心点作为剪裁出的区域底边的中点，对该二维图像切片进行剪裁，得到二维裁剪切片；
对二维裁剪切片进行加窗操作，得到加窗切片；
对加窗切片进行归一化处理，得到归一化切片；
基于归一化切片进行拆分，得到三维图像块。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述以三维图像块为初始食管肿瘤区域分割模型的输入，结合三维标注图像块对初始食管肿瘤区域分割模型进行训练，得到食管肿瘤区域分割模型，包括：
设置包括第一单元网络、第二单元网络、第三单元网络、第四单元网络以及第五单元网络的编码网络，其中，
第一单元网络包括：顺序相连的第一三维卷积块、第二三维卷积块以及第一三维下采样块，三维图像块输入第一三维卷积块；
第二单元网络包括：顺序相连的第三三维卷积块、第四三维卷积块、以及第二三维下采样块，第三三维卷积块的输入与第一三维下采样块的输出相连；
第三单元网络包括：顺序相连的第五三维卷积块、第六三维卷积块以及第三三维下采样块，第五三维卷积块的输入与第二三维下采样块的输出相连；
第四单元网络包括：顺序相连的第七三维卷积块、第八三维卷积块以及第四三维下采样块，第七三维卷积块的输入与第三三维下采样块的输出相连；
第五单元网络包括：顺序相连的第九三维卷积块以及第十三维卷积块，第九三维卷积块的输入与第四三维下采样块的输出相连；
设置包括主干网络、第一支路网络、第二支路网络、第三支路网络、第一跳跃连接网络、第二跳跃连接网络、第三跳跃连接网络以及第四跳跃连接网络的解码网络，其中，
第一支路网络包括第一三维四倍上采样块，第二支路网络包括第二三维四倍上采样块，第三支路网络包括第三三维四倍上采样块；
第一跳跃连接网络包括第十一三维卷积块，第二跳跃连接网络包括第十二三维卷积块，第三跳跃连接网络包括第十三三维卷积块，第四跳跃连接网络包括第十四三维卷积块；
主干网络包括：第一主干支网络、第二主干支网络、第三主干支网络、第四主干支网络以及第五主干支网络，其中，
第一主干支网络包括第十五三维卷积块以及第一三维二倍上采样块，第十五三维卷积块的输入与第十三维卷积块的输出相连，第十五三维卷积块的输出分别与第一三维二倍上采样块的输入以及第一三维四倍上采样块的输入相连；
第二主干支网络包括第十六三维卷积块以及第二三维二倍上采样块，第十六三维卷积块的输入分别与第十四三维卷积块的输出以及第一三维二倍上采样块的输出相连，第十六三维卷积块的输出分别与第二三维二倍上采样块的输入以及第二三维四倍上采样块的输入相连；
第三主干支网络包括第十七三维卷积块以及第三三维二倍上采样块，第十七三维卷积块的输入分别与第十三三维卷积块的输出、第一三维四倍上采样块的输出以及第二三维二倍上采样块的输出相连，第十七三维卷积块的输出分别与第三三维二倍上采样块的输入以及第三三维四倍上采样块的输入相连；
第四主干支网络包括第十八三维卷积块以及第四三维二倍上采样块，第十八三维卷积块的输入分别与第十二三维卷积块的输出、第二三维四倍上采样块的输出以及第三三维二倍上采样块的输出相连，第十八三维卷积块的输出与第四三维二倍上采样块的输入相连；
第五主干支网络包括第十九三维卷积块以及第一激活函数块，第十九三维卷积块的输入分别与第十一三维卷积块的输出、第三三维四倍上采样块的输出以及第四三维二倍上采样块的输出相连，第十九三维卷积块的输出与第一激活函数块的输入相连；
获取第一激活函数块输出的预测三维图像块，计算预测三维图像块与三维图像块的第一乘积，以及，计算三维标注图像块与三维图像块的第二乘积，将第一乘积以及第二乘积输入预先构建的判别器，对判别器的网络参数进行训练，在固定训练的判别器的网络参数的情形下，对初始食管肿瘤区域分割模型进行训练，如此交替迭代训练判别器与初始食管肿瘤区域分割模型，直至初始食管肿瘤区域分割模型满足预先设置的收敛精度，将满足收敛精度的初始食管肿瘤区域分割模型作为食管肿瘤区域分割模型。
结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述第十五三维卷积块至第十九三维卷积块的通道数为1、卷积核为1×1×1、步长为1×1×1；上采样为三维反卷积，三维二倍上采样块的通道数为1、卷积核为1×2×2、步长为1×2×2；三维四倍上采样块的通道数为1、卷积核为1×4×4、步长为1×4×4。
结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述将第一乘积以及第二乘积输入预先构建的判别器，对判别器的网络参数进行训练，包括：
设置包括顺序相连的第一三维卷积层、第二三维卷积层、第三三维卷积层、第四三维卷积层、第五三维卷积层、第六三维卷积层、全局平均池化层、拉平层以及全连接层的判别器，第一乘积以及第二乘积输入至第一三维卷积层；
依据预先设置的一次迭代训练过程中判别器需要训练的次数与全连接层输出的对抗损失，调整判别器的网络参数。
结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，利用下式获取训练判别器所用的对抗损失：
Figure BDA0002993280180000061
其中，
Figure BDA0002993280180000062
为对抗损失；
x为三维图像块；
G(x)为初始食管肿瘤区域分割模型输出的预测三维图像块；
y为三维标注图像块；
E()为期望运算。
第二方面，本发明实施例还提供了一种食管肿瘤区域分割方法，包括：
获取由计算机断层成像扫描后得到的待分割食管图像序列，依据获取的待分割食管图像序列进行目标椎体检测；
以目标椎体的中心作为剪裁种子点，从待分割食管图像序列中剪裁出包含食管区域的目标三维图像块，所述目标三维图像块包含待分割的食管肿瘤区域；
以目标三维图像块为食管肿瘤区域分割模型的输入，得到针对该目标三维图像块的预测图像块，所述食管肿瘤区域分割模型根据上述方法训练得到；
根据目标三维图像块在待分割食管图像序列中的剪裁位置，将预测图像块映射到待分割食管图像序列。
第三方面，本发明实施例提供了一种食管肿瘤区域分割模型训练装置，包括：
椎体检测模块，用于获取食管的计算机断层成像序列，依据获取的计算机断层成像序列进行椎体检测，所述计算机断层成像序列包括二维图像切片子序列以及对二维图像切片子序列进行标注得到的二维图像切片标注子序列；
裁剪模块，用于以椎体的中心作为剪裁种子点，从二维图像切片子序列中剪裁出包含食管区域的三维图像块，以及，从二维图像切片标注子序列中的对应位置剪裁出三维标注图像块；
模型构建模块，用于以三维图像块为初始食管肿瘤区域分割模型的输入，结合三维标注图像块对初始食管肿瘤区域分割模型进行训练，得到食管肿瘤区域分割模型。
第四方面，本发明实施例提供了一种食管肿瘤区域分割装置，包括：
椎体提取模块，用于获取由计算机断层成像扫描后得到的待分割食管图像序列，依据获取的待分割食管图像序列进行目标椎体检测；
图像生成模块，用于以目标椎体的中心作为剪裁种子点，从待分割食管图像序列中剪裁出包含食管区域的目标三维图像块，所述目标三维图像块包含待分割的食管肿瘤区域；
预测模块，用于以目标三维图像块为食管肿瘤区域分割模型的输入，得到针对该目标三维图像块的预测图像块，所述食管肿瘤区域分割模型根据上述方法训练得到；
映射模块，用于根据目标三维图像块在待分割食管图像序列中的剪裁位置，将预测图像块映射到待分割食管图像序列。
第五方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。
本发明实施例提供的食管肿瘤区域分割及模型训练方法、装置及电子设备，通过获取食管的计算机断层成像序列，依据获取的计算机断层成像序列进行椎体检测，所述计算机断层成像序列包括二维图像切片子序列以及对二维图像切片子序列进行标注得到的二维图像切片标注子序列；以椎体的中心作为剪裁种子点，从二维图像切片子序列中剪裁出包含食管区域的三维图像块，以及，从二维图像切片标注子序列中的对应位置剪裁出三维标注图像块；以三维图像块为初始食管肿瘤区域分割模型的输入，结合三维标注图像块对初始食管肿瘤区域分割模型进行训练，得到食管肿瘤区域分割模型。这样，通过椎体检测，能够有效去除背景噪声，简化后续的食管癌肿瘤区域分割所需的运算量，通过构建基于不对称三维全卷积网络的食管肿瘤区域分割模型，能够有效减少模型的网络参数，从而提高食管肿瘤区域分割效率。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的食管肿瘤区域分割模型训练方法流程示意图；
图2示出了本发明实施例所提供的初始食管肿瘤区域分割模型结构示意图；
图3示出了本发明实施例所提供的对生成器和判别器进行收敛判定的示意图；
图4示出了本发明实施例所提供的食管肿瘤区域分割方法流程示意图；
图5示出了本发明实施例所提供的食管肿瘤区域分割模型训练装置结构示意图；
图6示出了本发明实施例所提供的食管肿瘤区域分割装置结构示意图；
图7为本申请实施例提供的一种计算机设备700的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，采用构建粗分割网络模型以及细分割网络模型以实现肿瘤区域分割的方法，分割步骤复杂且模型中的网络参数量大，不仅使得进行模型训练所需的时间长，也使得训练完成的模型对肿瘤区域进行分割所需的时间较长，分割效率较低。本发明实施例中，由于计算机断层成像(CT，Computed Tomography)扫描仪获得的三维CT(3D CT)图像中包含有大量解剖结构信息，因而，预先对3D CT图像进行背景去除，以简化后续的食管肿瘤区域分割所需的计算量，并通过设计新解码结构构建不对称分割网络(食管肿瘤区域分割模型)，以简化分割流程以及模型的网络参数，从而利用不对称全卷积网络实现对食管肿瘤区域的单步分割。
本发明实施例提供了一种食管肿瘤区域分割及模型训练方法、装置及电子设备，下面通过实施例进行描述。
图1示出了本发明实施例所提供的食管肿瘤区域分割模型训练方法流程示意图。如图1所示，该方法包括：
步骤101，获取食管的计算机断层成像序列，依据获取的计算机断层成像序列进行椎体检测，所述计算机断层成像序列包括二维图像切片子序列以及对二维图像切片子序列进行标注得到的二维图像切片标注子序列；
本发明实施例中，计算机断层成像序列包括：进行一次CT扫描后得到的一系列连续的二维(2D)图像切片组成的二维图像切片子序列，以及，对2D图像切片进行标注后得到的二维图像切片标注子序列。作为一可选实施例，图像切片的格式为医学数字成像和通信(DICOM，Digital Imaging and Communications in Medicine)格式。
本发明实施例中，作为一可选实施例，对二维图像切片进行标注是由专业医师对二维图像切片中包含的食管肿瘤区域沿着肿瘤边界进行勾画。根据专业医生勾画的结果，生成二维图像切片标注序列，其中勾画区域内部像素值为1，勾画区域外部像素值为0。
本发明实施例中，在使用深度学习方法进行病灶分割时，不管是图像间还是图像内部，都存在感兴趣区域(例如，食管肿瘤区域)和背景区域比例严重不平衡的问题，因而，降低背景干扰对后续实现精确分割很有意义。作为一可选实施例，本发明实施例中，观察到食管位于脊椎附近，因此，利用这一解剖结构信息设计基于椎体的图像剪裁方法，从而提取食管区域并去除大量背景区域的影响。这样，通过进行椎体检测，后续中，以检测出的椎体的中心作为剪裁种子点，将食管区域从CT序列中剪裁出来，从而可以去除大量的与食管肿瘤区域无关的背景区域，从而可以有效减少后续进行模型训练所需的计算资源，提升模型训练的效率。
本发明实施例中，作为一可选实施例，为了有效降低操作量，椎体检测为椎骨孔检测，依据获取的计算机断层成像序列进行椎骨孔检测，包括：
A11，针对二维图像切片子序列中顺序排列的每一二维图像切片，依据该二维图像切片中每一像素点的亨氏单位值以及预设的亨氏单位阈值，进行二值处理，得到对应的切片二值图像；
本发明实施例中，亨氏单位(HU，Hounsfiled Unit)值，亦称CT值，反映了人体各组织对X射线的吸收程度，亨氏单位阈值依据CT序列中骨骼的亨氏单位值分布进行设置。作为一可选实施例，若二维图像切片中像素点的亨氏单位值大于预设的亨氏单位阈值，则将该像素点设置为1，否则，将该像素点设置为零，从而得到切片二值图像。
A12，对切片二值图像进行形态学闭操作并取反，得到切片处理图像；
本发明实施例中，通过形态学闭操作并取反，能够使得切片处理图像中保留椎骨孔信息及噪声信息。
A13，将顺序得到的切片处理图像堆叠成三维分析图像，对三维分析图像进行连通域分析，保留体积最大的连通区域，得到椎骨孔；
A14，将包含椎骨孔对应的二维图像切片进行叠加，得到二维图像切片子序列的椎骨孔位置。
本发明实施例中，由于二维图像切片标注子序列包含的二维图像切片与二维图像切片子序列包含的二维图像切片一一对应，因而，可根据二维图像切片子序列的椎骨孔位置对二维图像切片标注子序列进行剪裁。
步骤102，以椎体的中心作为剪裁种子点，从二维图像切片子序列中剪裁出包含食管区域的三维图像块，以及，从二维图像切片标注子序列中的对应位置剪裁出三维标注图像块；
本发明实施例中，以检测到的椎骨孔中心为种子点，对二维图像切片子序列以及二维图像切片标注子序列分别进行剪裁。
本发明实施例中，以二维图像切片子序列为例，假设二维图像切片标注子序列包含z个二维图像切片，每一二维图像切片的大小为512×512。以二维图像切片子序列检测到的椎骨孔中心点作为剪裁出的区域底边的中点，对二维图像切片子序列进行剪裁，剪裁后得到的二维图像数量为z、大小为192×192。因而，作为一可选实施例，以椎体的中心作为剪裁种子点，从二维图像切片子序列中剪裁出包含食管区域的三维图像块，包括：
A21，以二维图像切片包含的椎体中心点作为剪裁出的区域底边的中点，对该二维图像切片进行剪裁，得到二维裁剪切片；
本发明实施例中，依据得到的二维图像切片子序列的椎骨孔位置，可以确定椎骨孔在每一二维图像切片中的椎体中心点。
本发明实施例中，还需要将剪裁出的包含食管区域的二维裁剪切片进行预处理操作，并分成若干个三维图像块，作为后续用于训练的初始食管肿瘤区域分割模型的输入图像。
A22，对二维裁剪切片进行加窗操作，得到加窗切片；
本发明实施例中，加窗操作包括窗宽(W)和窗位(L)两个参数，用以将二维裁剪切片中处于[L-W/2,L+W/2]范围内的HU值转换到灰度值范围[0,255]。作为一可选实施例，假设二维裁剪切片大小为192×192，数量为z，针对每一二维裁剪切片，包含有192×192个HU值。若设置窗宽为550，窗位为45，则对于某一像素点的HU值，若该HU值小于或等于-230，则变换为灰度值0；若该HU值大于或等于320，则变换为灰度值255；若该HU值介于-230与320之间，则依据线性变换，变为(0,255)之间的一灰度值，从而得到加窗切片。
A23，对加窗切片进行归一化处理，得到归一化切片；
本发明实施例中，对加窗操作得到的加窗切片进行标准化操作，例如，将加窗切片的像素值转换到以0为均值、1为标准差的分布值，或进行归一化操作，例如，将加窗切片的像素值由[0,255]转换到[0,1]。
A24，基于归一化切片进行拆分，得到三维图像块。
本发明实施例中，对归一化切片进行堆叠，得到归一化3D图像，将归一化3D图像分成若干个3D图像块。作为一可选实施例，假设归一化3D图像大小为z×192×192，设置拆分系数d(0<d<＝floor(z/2))，则拆分后得到的3D图像块大小为(2d+1)×192×192。举例来说，若设d为4，则3D图像块大小为9×192×192。
本发明实施例中，作为一可选实施例，3D图像块为随机选取，作为另一可选实施例，随机选取的3D图像块中，包含正样本(包含肿瘤区域)的3D图像块数量与包含负样本(不包含肿瘤区域)的3D图像块数量相等或相近。
步骤103，以三维图像块为初始食管肿瘤区域分割模型的输入，结合三维标注图像块对初始食管肿瘤区域分割模型进行训练，得到食管肿瘤区域分割模型。
本发明实施例中，作为一可选实施例，初始食管肿瘤区域分割模型包括编码网络以及解码网络。
图2示出了本发明实施例所提供的初始食管肿瘤区域分割模型结构示意图。本发明实施例中，以三维图像块为初始食管肿瘤区域分割模型的输入，结合三维标注图像块对初始食管肿瘤区域分割模型进行训练，得到食管肿瘤区域分割模型，包括：
A31，设置包括第一单元网络、第二单元网络、第三单元网络、第四单元网络以及第五单元网络的编码网络，其中，
第一单元网络包括：顺序相连的第一三维卷积块、第二三维卷积块以及第一三维下采样块，三维图像块输入第一三维卷积块；
第二单元网络包括：顺序相连的第三三维卷积块、第四三维卷积块、以及第二三维下采样块，第三三维卷积块的输入与第一三维下采样块的输出相连；
第三单元网络包括：顺序相连的第五三维卷积块、第六三维卷积块以及第三三维下采样块，第五三维卷积块的输入与第二三维下采样块的输出相连；
第四单元网络包括：顺序相连的第七三维卷积块、第八三维卷积块以及第四三维下采样块，第七三维卷积块的输入与第三三维下采样块的输出相连；
第五单元网络包括：顺序相连的第九三维卷积块以及第十三维卷积块，第九三维卷积块的输入与第四三维下采样块的输出相连；
本发明实施例中，作为一可选实施例，第一三维卷积块至第十三维卷积块的网络结构相同，可以是普通的3D卷积块，也可以为具有残差结构的3D残差块(3D ResidualBlock)，还可以是具有密集连接的3D密集块(3D Dense Block)。
本发明实施例中，对于普通的3D卷积块，包括：三维卷积层、归一化层以及激活函数层，卷积层、归一化层以及激活函数层的数量均为1。其中，三维卷积层的卷积核为3×3×3、填充(padding)为1×1×1、步长为1×1×1，归一化层采用的归一化处理包括但不限于：批标准化(BN，Batch Normalization)、实列正则化(IN，Instance Normalization)、组归一化(GN，Group Normalization)，激活函数层采用的激活函数包括但不限于：线性整流函数(ReLU，Rectified Linear Unit)、带泄露线性整流函数(Leaky ReLU)、指数线性函数(ELU，Exponential Linear Unit)、缩放指数线性函数(SELU，Scaled Exponential LinearUnit)、高斯误差线性函数(GELU，Gaussian Error Linear Unit)。
本发明实施例中，作为一可选实施例，第一三维下采样块至第四三维下采样块的网络结构相同，可以是核为1×2×2、步长为1×2×2的最大池化层(3D Max Pooling)，也可以是核为1×2×2、步长为1×2×2的平均池化层(3D Average Pooling)，还可以是卷积核为3×3×3、填充(padding)为1×1×1、步长为1×2×2的3D卷积层。
本发明实施例中，每个单元网络中，两个三维卷积块所具有的卷积的通道数比例可以为1:1，也可以是1:2，例如，若第一三维卷积块的3×3×3卷积的通道数为c，则第二三维卷积块的3×3×3卷积的通道数可以为c或者2c。
本发明实施例中，前一个单元网络中的第二个三维卷积块所具有的卷积的通道数与后一个单元网络中的第一个三维卷积块所具有的卷积的通道数的比例可以为1:1，也可以是1:2，例如，若第二三维卷积块的3×3×3卷积的通道数为s，则第三三维卷积块的3×3×3卷积的通道数可以为s或者2s。
本发明实施例中，作为一可选实施例，若三维(3D)下采样块为卷积层，则该卷积层的通道数可以是所在单元网络的第二个三维卷积块的3×3×3卷积的通道数。
A32，设置包括主干网络、第一支路网络、第二支路网络、第三支路网络、第一跳跃连接网络、第二跳跃连接网络、第三跳跃连接网络以及第四跳跃连接网络的解码网络，其中，
第一支路网络包括第一三维四倍上采样块，第二支路网络包括第二三维四倍上采样块，第三支路网络包括第三三维四倍上采样块；
第一跳跃连接网络包括第十一三维卷积块，第二跳跃连接网络包括第十二三维卷积块，第三跳跃连接网络包括第十三三维卷积块，第四跳跃连接网络包括第十四三维卷积块；
主干网络包括：第一主干支网络、第二主干支网络、第三主干支网络、第四主干支网络以及第五主干支网络，其中，
第一主干支网络包括第十五三维卷积块以及第一三维二倍上采样块，第十五三维卷积块的输入与第十三维卷积块的输出相连，第十五三维卷积块的输出分别与第一三维二倍上采样块的输入以及第一三维四倍上采样块的输入相连；
第二主干支网络包括第十六三维卷积块以及第二三维二倍上采样块，第十六三维卷积块的输入分别与第十四三维卷积块的输出以及第一三维二倍上采样块的输出相连，第十六三维卷积块的输出分别与第二三维二倍上采样块的输入以及第二三维四倍上采样块的输入相连；
第三主干支网络包括第十七三维卷积块以及第三三维二倍上采样块，第十七三维卷积块的输入分别与第十三三维卷积块的输出、第一三维四倍上采样块的输出以及第二三维二倍上采样块的输出相连，第十七三维卷积块的输出分别与第三三维二倍上采样块的输入以及第三三维四倍上采样块的输入相连；
第四主干支网络包括第十八三维卷积块以及第四三维二倍上采样块，第十八三维卷积块的输入分别与第十二三维卷积块的输出、第二三维四倍上采样块的输出以及第三三维二倍上采样块的输出相连，第十八三维卷积块的输出与第四三维二倍上采样块的输入相连；
第五主干支网络包括第十九三维卷积块以及第一激活函数块，第十九三维卷积块的输入分别与第十一三维卷积块的输出、第三三维四倍上采样块的输出以及第四三维二倍上采样块的输出相连，第十九三维卷积块的输出与第一激活函数块的输入相连；
本发明实施例中，作为一可选实施例，第十五三维卷积块至第十九三维卷积块的通道数为1、卷积核为1×1×1、步长为1×1×1。
本发明实施例中，第十四三维卷积块的输出以及第一三维二倍上采样块的输出进行逐通道合并操作后输入第十六三维卷积块；第十三三维卷积块的输出、第一三维四倍上采样块的输出以及第二三维二倍上采样块的输出进行逐通道合并操作后输入第十七三维卷积块；第十二三维卷积块的输出、第二三维四倍上采样块的输出以及第三三维二倍上采样块的输出进行逐通道合并操作后输入第十八三维卷积块；第十一三维卷积块的输出、第三三维四倍上采样块的输出以及第四三维二倍上采样块的输出进行逐通道合并操作后输入第十九三维卷积块。
本发明实施例中，第十九三维卷积块的通道数为1、卷积核为1×1×1、步长为1×1×1，第一激活函数块为sigmoid激活函数。
本发明实施例中，第十一三维卷积块至第十四三维卷积块的通道数为1、卷积核为1×1×1、步长为1×1×1。
本发明实施例中，上采样包括但不限于：三线性插值、反卷积。作为一可选实施例，上采样为反卷积，则三维二倍上采样块的通道数为1、卷积核为1×2×2、步长为1×2×2，而三维四倍上采样块的通道数为1、卷积核为1×4×4、步长为1×4×4。
A33，获取第一激活函数块输出的预测三维图像块，计算预测三维图像块与三维图像块的第一乘积，以及，计算三维标注图像块与三维图像块的第二乘积，将第一乘积以及第二乘积输入预先构建的判别器，对判别器的网络参数进行训练，在固定训练的判别器的网络参数的情形下，对初始食管肿瘤区域分割模型进行训练，如此交替迭代训练判别器与初始食管肿瘤区域分割模型，直至初始食管肿瘤区域分割模型满足预先设置的收敛精度，将满足收敛精度的初始食管肿瘤区域分割模型作为食管肿瘤区域分割模型。
本发明实施例中，在训练初始食管肿瘤区域分割模型时，不使用逐像素损失进行模型优化，而采用对抗学习方法进行模型优化。其中，对抗学习需要一个生成器(Generator)和一个判别器(Discriminator)。作为一可选实施例，将初始食管肿瘤区域分割模型作为生成器，判别器为一简单的3D卷积神经网络。
图3示出了本发明实施例所提供的对生成器和判别器进行收敛判定的示意图。如图3所示，本发明实施例中，将生成器的输出与三维图像块逐像素相乘得到的第一乘积，以及，将三维图像块与三维标注图像块逐像素相乘得到的第二乘积，作为判别器的输入，判别生成器输出结果分割出的区域是否为真实的肿瘤区域。
本发明实施例中，作为一可选实施例，将第一乘积以及第二乘积输入预先构建的判别器，对判别器的网络参数进行训练，包括：
A41，设置包括：顺序相连的第一三维卷积层、第二三维卷积层、第三三维卷积层、第四三维卷积层、第五三维卷积层、第六三维卷积层、全局平均池化层、拉平层以及全连接层的判别器，第一乘积以及第二乘积输入至第一三维卷积层；
A42，依据预先设置的一次迭代训练过程中判别器需要训练的次数与全连接层输出的对抗损失，调整判别器的网络参数。
本发明实施例中，一次迭代训练过程指的是：先训练判别器N次，训练N次判别器后，固定判别器参数，训练1次生成器。其中，N为一次迭代训练过程中判别器需要训练的次数。训练过程是判别器与生成器进行一次又一次的迭代训练。当生成器的损失满足预设条件后，则不再需要迭代训练，此时训练好的生成器为食管肿瘤区域分割模型。
本发明实施例中，第一三维卷积层、第二三维卷积层、第三三维卷积层、第四三维卷积层、第五三维卷积层的结构相同。
本发明实施例中，以第一三维卷积层为例，作为一可选实施例，第一三维卷积层包括：三维卷积层、BN层以及Leaky ReLU激活函数层，三维卷积层的卷积核为3×3×3、填充为1×1×1、步长为1×2×2；第六三维卷积层的卷积核为3×3×3、填充为1×1×1、步长为1×1×1；全连接层的神经元个数为1。
本发明实施例中，利用下式获取训练判别器所用的对抗损失：
Figure BDA0002993280180000191
其中，
Figure BDA0002993280180000192
为对抗损失；
x为三维图像块；
G(x)为初始食管肿瘤区域分割模型(生成器)输出的预测三维图像块；
y为三维标注图像块；
E()为期望运算。
本发明实施例中，三维图像块、预测三维图像块、三维标注图像块一一对应。先训练判别器N次，训练N次判别器后，固定判别器参数，完成对判别器的一次迭代训练。
本发明实施例中，在一次迭代训练中，完成训练判别器的基础上，对生成器进行训练。本发明实施例中，在训练生成器时，生成器损失由两部分组成，一部分由判别器提供的部分损失，而另一部分为分割损失。其中，利用下式计算判别器提供的部分损失：
Figure BDA0002993280180000201
利用下式计算分割损失：
Figure BDA0002993280180000202
式中，
xi为第i个三维图像块；
yi为第i个三维标注图像块；
V为训练使用的一个批次(Batch)中的图像块总数。
利用下式确定生成器损失：
Figure BDA0002993280180000203
式中，
λ为超参数，用来保证生成器损失包含的两部分损失在同一个量级。
本发明实施例中，在训练生成器时所使用的分割损失函数可以为Dice Loss函数，或者为IoU Loss函数，或者使用Dice Loss函数(IoU Loss函数)与其它pixel-wise损失函数的结合形式。
本发明实施例中，通过运用解剖结构知识提供去除背景的预处理方法，能够进行背景去除，简化后续的食管癌肿瘤区域分割所需的运算量，解码网络通过提供密集解码路径，通过判别器而非常规的逐像素损失函数，优化得到简单的不对称3D FCN，只需进行一次分割可实现食管癌肿瘤区域的自动分割，简化了分割过程；同时，通过在单步分割过程中使用简单的不对称3D FCN，能够有效减少模型的网络参数，从而简化了模型的结构，进而提高食管肿瘤区域分割效率。例如，与对称的U型分割网络相比，虽然本发明实施例的解码网络包含多条路径，但是网络整体的参数量(30M-40M)至少能减少1/3；当上采样操作使用三线性插值时，整体的参数量能够减少1/2。因此，本发明实施例构建的食管肿瘤区域分割模型在使用较少参数量以及提升分割效率的基础上，能够保证模型的分割性能。
图4示出了本发明实施例所提供的食管肿瘤区域分割方法流程示意图。如图4所示，该方法包括：
步骤401，获取由计算机断层成像扫描后得到的待分割食管图像序列，依据获取的待分割食管图像序列进行目标椎体检测；
步骤402，以目标椎体的中心作为剪裁种子点，从待分割食管图像序列中剪裁出包含食管区域的目标三维图像块，所述目标三维图像块包含待分割的食管肿瘤区域；
本发明实施例中，通过裁剪、加窗、归一化以及拆分，得到目标三维图像块。其中，在拆分处理中，目标三维图像块以拆分系数d为间隔，按照顺序划分截取得到。
步骤403，以目标三维图像块为食管肿瘤区域分割模型的输入，得到针对该目标三维图像块的预测图像块；
本发明实施例中，食管肿瘤区域分割模型为依据图1对待训练的初始食管肿瘤区域分割模型进行训练得到。
步骤404，根据目标三维图像块在待分割食管图像序列中的剪裁位置，将预测图像块映射到待分割食管图像序列。
本发明实施例中，将食管肿瘤区域分割模型输出的分割结果，根据剪裁位置对应到原始的待分割食管图像中。
图5示出了本发明实施例所提供的食管肿瘤区域分割模型训练装置结构示意图。如图5所示，包括：
椎体检测模块501，用于获取食管的计算机断层成像序列，依据获取的计算机断层成像序列进行椎体检测，所述计算机断层成像序列包括二维图像切片子序列以及对二维图像切片子序列进行标注得到的二维图像切片标注子序列；
本发明实施例中，作为一可选实施例，椎体检测模块501包括：
图像序列获取单元(图中未示出)，用于获取食管的计算机断层成像序列；
二值处理单元，用于针对二维图像切片子序列中顺序排列的每一二维图像切片，依据该二维图像切片中每一像素点的亨氏单位值以及预设的亨氏单位阈值，进行二值处理，得到对应的切片二值图像；
本发明实施例中，若二维图像切片中像素点的亨氏单位值大于预设的亨氏单位阈值，则将该像素点设置为1，否则，将该像素点设置为零，从而得到切片二值图像。
逻辑运算单元，用于对切片二值图像进行形态学闭操作并取反，得到切片处理图像；
连通分析单元，用于将顺序得到的切片处理图像堆叠成三维分析图像，对三维分析图像进行连通域分析，保留体积最大的连通区域，得到椎骨孔；
位置确定单元，用于将包含椎骨孔对应的二维图像切片进行叠加，得到二维图像切片子序列的椎骨孔位置。
裁剪模块502，用于以椎体的中心作为剪裁种子点，从二维图像切片子序列中剪裁出包含食管区域的三维图像块，以及，从二维图像切片标注子序列中的对应位置剪裁出三维标注图像块；
本发明实施例中，作为一可选实施例，裁剪模块502包括：
裁剪单元(图中未示出)，用于以二维图像切片包含的椎体中心点作为剪裁出的区域底边的中点，对该二维图像切片进行剪裁，得到二维裁剪切片；
加窗单元，用于对二维裁剪切片进行加窗操作，得到加窗切片；
本发明实施例中，利用窗宽(W)和窗位(L)，通过加窗操作将二维裁剪切片中处于[L-W/2,L+W/2]范围内的HU值转换到灰度值范围[0,255]。
归一化单元，用于对加窗切片进行归一化处理，得到归一化切片；
拆分单元，用于基于归一化切片进行拆分，得到三维图像块。
本发明实施例中，通过设置拆分系数d(0<d<＝floor(z/2))进行拆分，形成三维图像块。
模型构建模块503，用于以三维图像块为初始食管肿瘤区域分割模型的输入，结合三维标注图像块对初始食管肿瘤区域分割模型进行训练，得到食管肿瘤区域分割模型。
本发明实施例中，作为一可选实施例，模型构建模块503包括：
编码网络设置单元(图中未示出)，用于设置包括第一单元网络、第二单元网络、第三单元网络、第四单元网络以及第五单元网络的编码网络，其中，
第一单元网络包括：顺序相连的第一三维卷积块、第二三维卷积块以及第一三维下采样块，三维图像块输入第一三维卷积块；
第二单元网络包括：顺序相连的第三三维卷积块、第四三维卷积块、以及第二三维下采样块，第三三维卷积块的输入与第一三维下采样块的输出相连；
第三单元网络包括：顺序相连的第五三维卷积块、第六三维卷积块以及第三三维下采样块，第五三维卷积块的输入与第二三维下采样块的输出相连；
第四单元网络包括：顺序相连的第七三维卷积块、第八三维卷积块以及第四三维下采样块，第七三维卷积块的输入与第三三维下采样块的输出相连；
第五单元网络包括：顺序相连的第九三维卷积块以及第十三维卷积块，第九三维卷积块的输入与第四三维下采样块的输出相连；
解码网络设置单元，用于设置包括主干网络、第一支路网络、第二支路网络、第三支路网络、第一跳跃连接网络、第二跳跃连接网络、第三跳跃连接网络以及第四跳跃连接网络的解码网络，其中，
第一支路网络包括第一三维四倍上采样块，第二支路网络包括第二三维四倍上采样块，第三支路网络包括第三三维四倍上采样块；
第一跳跃连接网络包括第十一三维卷积块，第二跳跃连接网络包括第十二三维卷积块，第三跳跃连接网络包括第十三三维卷积块，第四跳跃连接网络包括第十四三维卷积块；
主干网络包括：第一主干支网络、第二主干支网络、第三主干支网络、第四主干支网络以及第五主干支网络，其中，
第一主干支网络包括第十五三维卷积块以及第一三维二倍上采样块，第十五三维卷积块的输入与第十三维卷积块的输出相连，第十五三维卷积块的输出分别与第一三维二倍上采样块的输入以及第一三维四倍上采样块的输入相连；
第二主干支网络包括第十六三维卷积块以及第二三维二倍上采样块，第十六三维卷积块的输入分别与第十四三维卷积块的输出以及第一三维二倍上采样块的输出相连，第十六三维卷积块的输出分别与第二三维二倍上采样块的输入以及第二三维四倍上采样块的输入相连；
第三主干支网络包括第十七三维卷积块以及第三三维二倍上采样块，第十七三维卷积块的输入分别与第十三三维卷积块的输出、第一三维四倍上采样块的输出以及第二三维二倍上采样块的输出相连，第十七三维卷积块的输出分别与第三三维二倍上采样块的输入以及第三三维四倍上采样块的输入相连；
第四主干支网络包括第十八三维卷积块以及第四三维二倍上采样块，第十八三维卷积块的输入分别与第十二三维卷积块的输出、第二三维四倍上采样块的输出以及第三三维二倍上采样块的输出相连，第十八三维卷积块的输出与第四三维二倍上采样块的输入相连；
第五主干支网络包括第十九三维卷积块以及第一激活函数块，第十九三维卷积块的输入分别与第十一三维卷积块的输出、第三三维四倍上采样块的输出以及第四三维二倍上采样块的输出相连，第十九三维卷积块的输出与第一激活函数块的输入相连；
训练单元，用于获取第一激活函数块输出的预测三维图像块，计算预测三维图像块与三维图像块的第一乘积，以及，计算三维标注图像块与三维图像块的第二乘积，将第一乘积以及第二乘积输入预先构建的判别器，对判别器的网络参数进行训练，在固定训练的判别器的网络参数的情形下，对初始食管肿瘤区域分割模型进行训练，如此交替迭代训练判别器与初始食管肿瘤区域分割模型，直至初始食管肿瘤区域分割模型满足预先设置的收敛精度，将满足收敛精度的初始食管肿瘤区域分割模型作为食管肿瘤区域分割模型。
本发明实施例中，作为一可选实施例，第十五三维卷积块至第十九三维卷积块的通道数为1、卷积核为1×1×1、步长为1×1×1；上采样为三维卷积，则三维二倍上采样块的通道数为1、卷积核为1×2×2、步长为1×2×2；三维四倍上采样块的通道数为1、卷积核为1×4×4、步长为1×4×4。
本发明实施例中，作为一可选实施例，将第一乘积以及第二乘积输入预先构建的判别器，对判别器的网络参数进行训练，包括：
设置包括顺序相连的第一三维卷积层、第二三维卷积层、第三三维卷积层、第四三维卷积层、第五三维卷积层、第六三维卷积层、全局平均池化层、拉平层以及全连接层的判别器，第一乘积以及第二乘积输入至第一三维卷积层；
依据预先设置的一次迭代训练过程中判别器需要训练的次数与全连接层输出的对抗损失，调整判别器的网络参数。
本发明实施例中，作为一可选实施例，利用下式获取训练判别器所用的对抗损失：
Figure BDA0002993280180000261
其中，
Figure BDA0002993280180000262
为对抗损失；
x为三维图像块；
G(x)为初始食管肿瘤区域分割模型输出的预测三维图像块；
y为三维标注图像块；
E()为期望运算。
利用下式确定训练生成器，即初始食管肿瘤区域分割模型的损失：
Figure BDA0002993280180000271
Figure BDA0002993280180000272
Figure BDA0002993280180000273
图6示出了本发明实施例所提供的食管肿瘤区域分割装置结构示意图。如图6所示，包括：
椎体提取模块601，用于获取由计算机断层成像扫描后得到的待分割食管图像序列，依据获取的待分割食管图像序列进行目标椎体检测；
图像生成模块602，用于以目标椎体的中心作为剪裁种子点，从待分割食管图像序列中剪裁出包含食管区域的目标三维图像块，所述目标三维图像块包含待分割的食管肿瘤区域；
本发明实施例中，通过裁剪、加窗、归一化以及拆分，得到目标三维图像块。其中，在分割处理中，目标三维图像块以拆分系数d为间隔，按照顺序划分截取得到。
预测模块603，用于以目标三维图像块为食管肿瘤区域分割模型的输入，得到针对该目标三维图像块的预测图像块，所述食管肿瘤区域分割模型根据图1的方法训练得到；
映射模块604，用于根据目标三维图像块在待分割食管图像序列中的剪裁位置，将预测图像块映射到待分割食管图像序列。
如图7所示，本申请一实施例提供了一种计算机设备700，用于执行图1中的食管肿瘤区域分割模型训练方法以及图4中的食管肿瘤区域分割方法，该设备包括存储器701、处理器702及存储在该存储器701上并可在该处理器702上运行的计算机程序，其中，上述处理器702执行上述计算机程序时实现上述食管肿瘤区域分割模型训练方法以及食管肿瘤区域分割方法的步骤。
具体地，上述存储器701和处理器702能够为通用的存储器和处理器，这里不做具体限定，当处理器702运行存储器701存储的计算机程序时，能够执行上述食管肿瘤区域分割模型训练方法以及食管肿瘤区域分割方法。
对应于图1中的食管肿瘤区域分割模型训练方法以及图4中的食管肿瘤区域分割方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述食管肿瘤区域分割模型训练方法以及食管肿瘤区域分割方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述食管肿瘤区域分割模型训练方法以及食管肿瘤区域分割方法。
在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种食管肿瘤区域分割模型训练方法，其特征在于，包括：
获取食管的计算机断层成像序列，基于食管位于脊椎附近的解剖结构信息，依据获取的计算机断层成像序列进行椎体检测，所述计算机断层成像序列包括二维图像切片子序列以及对二维图像切片子序列进行标注得到的二维图像切片标注子序列；
以椎体的中心作为剪裁种子点，从二维图像切片子序列中剪裁出包含食管区域的三维图像块，以及，从二维图像切片标注子序列中的对应位置剪裁出三维标注图像块；
以三维图像块为不对称初始食管肿瘤区域分割模型的输入，结合三维标注图像块对初始食管肿瘤区域分割模型进行训练，得到食管肿瘤区域分割模型。
2.根据权利要求1所述的方法，其特征在于，所述椎体检测为椎骨孔检测，所述依据获取的计算机断层成像序列进行椎体检测，包括：
针对二维图像切片子序列中顺序排列的每一二维图像切片，依据该二维图像切片中每一像素点的亨氏单位值以及预设的亨氏单位阈值，进行二值处理，得到对应的切片二值图像；
对切片二值图像进行形态学闭操作并取反，得到切片处理图像；
将顺序得到的切片处理图像堆叠成三维分析图像，对三维分析图像进行连通域分析，保留体积最大的连通区域，得到椎骨孔；
将包含椎骨孔对应的二维图像切片进行叠加，得到二维图像切片子序列的椎骨孔位置。
3.根据权利要求1所述的方法，其特征在于，所述以椎体的中心作为剪裁种子点，从二维图像切片子序列中剪裁出包含食管区域的三维图像块，包括：
以二维图像切片包含的椎体中心点作为剪裁出的区域底边的中点，对该二维图像切片进行剪裁，得到二维裁剪切片；
对二维裁剪切片进行加窗操作，得到加窗切片；
对加窗切片进行归一化处理，得到归一化切片；
基于归一化切片进行拆分，得到三维图像块。
4.根据权利要求1所述的方法，其特征在于，所述以三维图像块为初始食管肿瘤区域分割模型的输入，结合三维标注图像块对初始食管肿瘤区域分割模型进行训练，得到食管肿瘤区域分割模型，包括：
设置包括第一单元网络、第二单元网络、第三单元网络、第四单元网络以及第五单元网络的编码网络，其中，
第一单元网络包括：顺序相连的第一三维卷积块、第二三维卷积块以及第一三维下采样块，三维图像块输入第一三维卷积块；
第二单元网络包括：顺序相连的第三三维卷积块、第四三维卷积块、以及第二三维下采样块，第三三维卷积块的输入与第一三维下采样块的输出相连；
第三单元网络包括：顺序相连的第五三维卷积块、第六三维卷积块以及第三三维下采样块，第五三维卷积块的输入与第二三维下采样块的输出相连；
第四单元网络包括：顺序相连的第七三维卷积块、第八三维卷积块以及第四三维下采样块，第七三维卷积块的输入与第三三维下采样块的输出相连；
第五单元网络包括：顺序相连的第九三维卷积块以及第十三维卷积块，第九三维卷积块的输入与第四三维下采样块的输出相连；
设置包括主干网络、第一支路网络、第二支路网络、第三支路网络、第一跳跃连接网络、第二跳跃连接网络、第三跳跃连接网络以及第四跳跃连接网络的解码网络，其中，
第一支路网络包括第一三维四倍上采样块，第二支路网络包括第二三维四倍上采样块，第三支路网络包括第三三维四倍上采样块；
第一跳跃连接网络包括第十一三维卷积块，第二跳跃连接网络包括第十二三维卷积块，第三跳跃连接网络包括第十三三维卷积块，第四跳跃连接网络包括第十四三维卷积块；
主干网络包括：第一主干支网络、第二主干支网络、第三主干支网络、第四主干支网络以及第五主干支网络，其中，
第一主干支网络包括第十五三维卷积块以及第一三维二倍上采样块，第十五三维卷积块的输入与第十三维卷积块的输出相连，第十五三维卷积块的输出分别与第一三维二倍上采样块的输入以及第一三维四倍上采样块的输入相连；
第二主干支网络包括第十六三维卷积块以及第二三维二倍上采样块，第十六三维卷积块的输入分别与第十四三维卷积块的输出以及第一三维二倍上采样块的输出相连，第十六三维卷积块的输出分别与第二三维二倍上采样块的输入以及第二三维四倍上采样块的输入相连；
第三主干支网络包括第十七三维卷积块以及第三三维二倍上采样块，第十七三维卷积块的输入分别与第十三三维卷积块的输出、第一三维四倍上采样块的输出以及第二三维二倍上采样块的输出相连，第十七三维卷积块的输出分别与第三三维二倍上采样块的输入以及第三三维四倍上采样块的输入相连；
第四主干支网络包括第十八三维卷积块以及第四三维二倍上采样块，第十八三维卷积块的输入分别与第十二三维卷积块的输出、第二三维四倍上采样块的输出以及第三三维二倍上采样块的输出相连，第十八三维卷积块的输出与第四三维二倍上采样块的输入相连；
第五主干支网络包括第十九三维卷积块以及第一激活函数块，第十九三维卷积块的输入分别与第十一三维卷积块的输出、第三三维四倍上采样块的输出以及第四三维二倍上采样块的输出相连，第十九三维卷积块的输出与第一激活函数块的输入相连；
获取第一激活函数块输出的预测三维图像块，计算预测三维图像块与三维图像块的第一乘积，以及，计算三维标注图像块与三维图像块的第二乘积，将第一乘积以及第二乘积输入预先构建的判别器，对判别器的网络参数进行训练，在固定训练的判别器的网络参数的情形下，对初始食管肿瘤区域分割模型进行训练，如此交替迭代训练判别器与初始食管肿瘤区域分割模型，直至初始食管肿瘤区域分割模型满足预先设置的收敛精度，将满足收敛精度的初始食管肿瘤区域分割模型作为食管肿瘤区域分割模型。
5.根据权利要求4所述的方法，其特征在于，所述第十五三维卷积块至第十九三维卷积块的通道数为1、卷积核为1×1×1、步长为1×1×1；上采样为三维反卷积，三维二倍上采样块的通道数为1、卷积核为1×2×2、步长为1×2×2；三维四倍上采样块的通道数为1、卷积核为1×4×4、步长为1×4×4。
6.根据权利要求4所述的方法，其特征在于，所述将第一乘积以及第二乘积输入预先构建的判别器，对判别器的网络参数进行训练，包括：
设置包括顺序相连的第一三维卷积层、第二三维卷积层、第三三维卷积层、第四三维卷积层、第五三维卷积层、第六三维卷积层、全局平均池化层、拉平层以及全连接层的判别器，第一乘积以及第二乘积输入至第一三维卷积层；
依据预先设置的一次迭代训练过程中判别器需要训练的次数与全连接层输出的对抗损失，调整判别器的网络参数。
7.根据权利要求6所述的方法，其特征在于，利用下式获取训练判别器所用的对抗损失：
Figure FDA0003377736570000051
其中，
Figure FDA0003377736570000052
为对抗损失；
x为三维图像块；
G(x)为初始食管肿瘤区域分割模型输出的预测三维图像块；
y为三维标注图像块；
E()为期望运算。
8.一种食管肿瘤区域分割方法，其特征在于，包括：
获取由计算机断层成像扫描后得到的待分割食管图像序列，依据获取的待分割食管图像序列进行目标椎体检测；
以目标椎体的中心作为剪裁种子点，从待分割食管图像序列中剪裁出包含食管区域的目标三维图像块，所述目标三维图像块包含待分割的食管肿瘤区域；
以目标三维图像块为食管肿瘤区域分割模型的输入，得到针对该目标三维图像块的预测图像块，所述食管肿瘤区域分割模型根据权利要求1至7中任一项所述的方法训练得到；
根据目标三维图像块在待分割食管图像序列中的剪裁位置，将预测图像块映射到待分割食管图像序列。
9.一种食管肿瘤区域分割模型训练装置，其特征在于，包括：
椎体检测模块，用于获取食管的计算机断层成像序列，基于食管位于脊椎附近的解剖结构信息，依据获取的计算机断层成像序列进行椎体检测，所述计算机断层成像序列包括二维图像切片子序列以及对二维图像切片子序列进行标注得到的二维图像切片标注子序列；
裁剪模块，用于以椎体的中心作为剪裁种子点，从二维图像切片子序列中剪裁出包含食管区域的三维图像块，以及，从二维图像切片标注子序列中的对应位置剪裁出三维标注图像块；
模型构建模块，用于以三维图像块为不对称初始食管肿瘤区域分割模型的输入，结合三维标注图像块对初始食管肿瘤区域分割模型进行训练，得到食管肿瘤区域分割模型。
10.一种食管肿瘤区域分割装置，其特征在于，包括：
椎体提取模块，用于获取由计算机断层成像扫描后得到的待分割食管图像序列，依据获取的待分割食管图像序列进行目标椎体检测；
图像生成模块，用于以目标椎体的中心作为剪裁种子点，从待分割食管图像序列中剪裁出包含食管区域的目标三维图像块，所述目标三维图像块包含待分割的食管肿瘤区域；
预测模块，用于以目标三维图像块为食管肿瘤区域分割模型的输入，得到针对该目标三维图像块的预测图像块，所述食管肿瘤区域分割模型根据权利要求1至7中任一项所述的方法训练得到；
映射模块，用于根据目标三维图像块在待分割食管图像序列中的剪裁位置，将预测图像块映射到待分割食管图像序列。
11.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的食管肿瘤区域分割模型训练方法的步骤。
12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的食管肿瘤区域分割模型训练方法的步骤。
CN202110322102.5A 2021-03-25 2021-03-25 一种食管肿瘤区域分割及模型训练方法、装置及电子设备 Active CN113012170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110322102.5A CN113012170B (zh) 2021-03-25 2021-03-25 一种食管肿瘤区域分割及模型训练方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110322102.5A CN113012170B (zh) 2021-03-25 2021-03-25 一种食管肿瘤区域分割及模型训练方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113012170A CN113012170A (zh) 2021-06-22
CN113012170B true CN113012170B (zh) 2022-02-15

Family

ID=76407332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110322102.5A Active CN113012170B (zh) 2021-03-25 2021-03-25 一种食管肿瘤区域分割及模型训练方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113012170B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239674B (zh) * 2022-07-29 2023-06-23 中国人民解放军总医院第一医学中心 基于多尺度判别的计算机血管造影成像合成方法
CN115830001B (zh) * 2022-12-22 2023-09-08 抖音视界有限公司 肠道图像处理方法、装置、存储介质及电子设备
CN116563285B (zh) * 2023-07-10 2023-09-19 邦世科技(南京)有限公司 一种基于全神经网络的病灶特征识别与分割方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006086467A1 (en) * 2005-02-10 2006-08-17 Siemens Corporate Research, Inc. System and method for using learned discriminative models to segment three dimensional colon image data
CN108182687A (zh) * 2016-12-08 2018-06-19 复旦大学 一种基于脑肿瘤医学影像的交互式三维分割方法
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
CN109934832A (zh) * 2019-03-25 2019-06-25 北京理工大学 基于深度学习的肝脏肿瘤分割方法及装置
CN111476796A (zh) * 2020-03-10 2020-07-31 西北大学 一种结合多种网络的半监督冠状动脉分割系统及分割方法
WO2020190821A1 (en) * 2019-03-15 2020-09-24 Genentech, Inc. Deep convolutional neural networks for tumor segmentation with positron emission tomography

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264475B (zh) * 2019-06-19 2022-10-25 合肥工业大学 基于ct图像的脊椎三维建模方法及装置
CN112258516B (zh) * 2020-09-04 2023-04-07 温州医科大学附属第二医院、温州医科大学附属育英儿童医院 一种脊柱侧弯图像检测模型的生成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006086467A1 (en) * 2005-02-10 2006-08-17 Siemens Corporate Research, Inc. System and method for using learned discriminative models to segment three dimensional colon image data
CN108182687A (zh) * 2016-12-08 2018-06-19 复旦大学 一种基于脑肿瘤医学影像的交互式三维分割方法
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
WO2020190821A1 (en) * 2019-03-15 2020-09-24 Genentech, Inc. Deep convolutional neural networks for tumor segmentation with positron emission tomography
CN109934832A (zh) * 2019-03-25 2019-06-25 北京理工大学 基于深度学习的肝脏肿瘤分割方法及装置
CN111476796A (zh) * 2020-03-10 2020-07-31 西北大学 一种结合多种网络的半监督冠状动脉分割系统及分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"HFA-Net: 3D cardiovascular image segmentation with asymmetrical pooling and content-aware fusion";Hao Zheng等;《International Conference on Medical Image Computing and Computer-Assisted Intervention》;20191010;第759-767页 *
"结合全卷积网络和GrowCut的肾皮质分割算法";时永刚等;《中国图象图形学报》;20171031;第22卷(第10期);第1418-1427页 *

Also Published As

Publication number Publication date
CN113012170A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN113012170B (zh) 一种食管肿瘤区域分割及模型训练方法、装置及电子设备
CN110176012B (zh) 图像中的目标分割方法、池化方法、装置及存储介质
JP6877868B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN110443867B (zh) 基于生成对抗网络的ct图像超分辨率重构方法
US9964499B2 (en) Method of, and apparatus for, material classification in multi-energy image data
US11562491B2 (en) Automatic pancreas CT segmentation method based on a saliency-aware densely connected dilated convolutional neural network
CA3068526A1 (en) Classification and 3d modelling of 3d dento-maxillofacial structures using deep learning methods
CN106651895B (zh) 一种分割三维图像的方法和装置
CN109598697B (zh) 二维乳腺造影数据组的确定
WO2006024974A1 (en) Feature weighted medical object contouring using distance coordinates
CN110009656B (zh) 目标对象的确定方法、装置、存储介质及电子装置
US20230007835A1 (en) Composition-guided post processing for x-ray images
Li et al. Low-dose CT image denoising with improving WGAN and hybrid loss function
CN111383215A (zh) 一种基于生成对抗网络的病灶检测模型的训练方法
CN108038840B (zh) 一种图像处理方法、装置、图像处理设备及存储介质
CN112991365A (zh) 一种冠状动脉分割方法、系统及存储介质
CN113920109A (zh) 医疗影像识别模型训练方法、识别方法、装置及设备
KR102182357B1 (ko) Ct 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법
CN110473297B (zh) 图像处理方法、装置、电子设备和存储介质
CN113012164A (zh) 基于聚合层间信息的U-Net肾脏肿瘤图像分割方法、设备及存储介质
CN116485809B (zh) 基于自注意力与感受野调整的牙齿实例分割方法及系统
Koundal et al. An automatic ROI extraction technique for thyroid ultrasound image
CN115439423B (zh) 一种基于ct图像的识别方法、装置、设备及存储介质
CN114693671A (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN110570417B (zh) 肺结节分类装置及图像处理设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant