CN115409837A - 一种基于多模态ct图像的子宫内膜癌ctv自动勾画方法 - Google Patents

一种基于多模态ct图像的子宫内膜癌ctv自动勾画方法 Download PDF

Info

Publication number
CN115409837A
CN115409837A CN202211352635.9A CN202211352635A CN115409837A CN 115409837 A CN115409837 A CN 115409837A CN 202211352635 A CN202211352635 A CN 202211352635A CN 115409837 A CN115409837 A CN 115409837A
Authority
CN
China
Prior art keywords
mask
matrix
image
ctv
modal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211352635.9A
Other languages
English (en)
Other versions
CN115409837B (zh
Inventor
曲昂
贺树萌
姜伟娟
江萍
王俊杰
郭红燕
赵紫婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Lianying Intelligent Imaging Technology Research Institute
Peking University Third Hospital Peking University Third Clinical Medical College
Original Assignee
Beijing Lianying Intelligent Imaging Technology Research Institute
Peking University Third Hospital Peking University Third Clinical Medical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Lianying Intelligent Imaging Technology Research Institute, Peking University Third Hospital Peking University Third Clinical Medical College filed Critical Beijing Lianying Intelligent Imaging Technology Research Institute
Priority to CN202211352635.9A priority Critical patent/CN115409837B/zh
Publication of CN115409837A publication Critical patent/CN115409837A/zh
Application granted granted Critical
Publication of CN115409837B publication Critical patent/CN115409837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种基于多模态CT图像的子宫内膜癌CTV自动勾画方法，属于图形图像处理技术领域，解决了现有子宫内膜癌CTV勾画准确率低且效率低的问题。方法包括：获取多模态CT图像和CTV掩膜图像，基于多模态CT图像和对应的CTV掩膜图像生成训练样本集；基于图像的连通性对训练样本集中的每个CTV掩膜图像进行分段得到每个CTV掩膜图像的多个子掩膜图像；构建模态感知相互学习神经网络模型，基于训练样本集中的多模态CT图像、多模态CT图像对应的CTV掩膜图像以及CTV掩膜的子掩膜图像训练模态感知互学习神经网络模型得到子宫内膜癌CTV分割模型；将待勾画多模态CT图像输入子宫内膜癌CTV分割模型得到待勾画多模态CT图像对应的CTV掩膜图像。实现了子宫内膜癌CTV的准确高效勾画。

Description

一种基于多模态CT图像的子宫内膜癌CTV自动勾画方法
技术领域
本发明涉及图形图像处理技术领域，尤其涉及一种基于多模态CT图像的子宫内膜癌CTV自动勾画方法。
背景技术
子宫内膜癌(Endometrial Carcinoma或Carcinoma of Endometrium,简称EC)是女性常见恶性肿瘤之一，在女性肿瘤发病率中占第六位。子宫内膜癌的主要治疗手段为手术和放化疗，术后根据患者的危险因素进行辅助性治疗。体外放疗是子宫内膜癌术后辅助治疗的有效手段，目前放疗技术推荐使用调强放疗。调强放疗要求照射野内剂量强度按一定要求进行调节，可以更好的保护重要器官。临床靶区(clinical target volume，CTV)勾画是调强放疗实施中重要的环节，靶区勾画的准确和快速保障了调强放疗的精准实施。目前临床上靶区仍采用医生手动勾画的模式，耗时长, 不同医生之间勾画质量、效率与重复性均存在明显差异，对放疗的精准实施带来影响。
近十年，随着机器学习的发展，计算机辅助的靶区勾画方法已开始应用于临床。现有的自动勾画方法主要有两种：第一种是基于地图集的方法。这种方法需医生提前选择模板图像和靶区作为地图集。勾画时，医生先挑选出与待勾画图像最接近的模板图像进行配准，然后将模板的靶区通过形变场矩阵生成待勾画图像靶区。第二种是基于深度学习的靶区自动勾画，这种技术需提前收集一定数量的图像和靶区数据，基于数据训练自动勾画网络模型，利用训练好的模型进行靶区自动勾画。
接受术后辅助治疗的子宫内膜癌患者，靶区体积大、范围长、形态不规则且易受体位影响。基于地图集的方法受限于选定的模板和匹配的准确性。现有的深度神经网络应用于医学图像分割的模型，如nnUNet，适用于大部分器官的分割，但对于特定病种的靶区，模型缺少了额外的临床知识和约束来控制靶区勾画的生成，自动勾画准确率低并且需要医生较多修改才能临床使用。
发明内容
鉴于上述的分析，本发明实施例旨在提供一种基于多模态CT图像的子宫内膜癌CTV自动勾画方法，用以解决现有子宫内膜癌CTV自动勾画准确率低且效率低的问题。
一方面，本发明实施例提供了一种基于多模态CT图像的子宫内膜癌CTV自动勾画方法，包括以下步骤：
获取多模态CT图像和对应的CTV掩膜图像，基于所述多模态CT图像和对应的CTV掩膜图像生成训练样本集；
基于图像的连通性对训练样本集中的每个CTV掩膜图像进行分段，得到每个CTV掩膜图像的多个子掩膜图像；
构建模态感知相互学习神经网络模型，基于所述训练样本集中的多模态CT图像、多模态CT图像对应的CTV掩膜图像以及每个CTV掩膜的多个子掩膜图像训练所述模态感知互学习神经网络模型得到子宫内膜癌CTV分割模型；
将待勾画多模态CT图像输入所述子宫内膜癌CTV分割模型得到待勾画多模态CT图像对应的CTV掩膜图像。
基于上述方法的进一步改进，基于图像的连通性对训练样本集中的每个CTV掩膜图像进行分段，得到每个CTV掩膜图像的多个子掩膜图像，包括：
将每个CTV掩膜图像的第一个层面作为第一类，计算该层面的连通性；依次遍历该CTV掩膜图像的每个层面，计算当前层面的连通性，若当前层面的连通性和前一层面的连通性相同，则当前层面与前一层面为同一类型，否则当前层面与前一层面为不同类型；
根据该CTV掩膜图像中每个层面的类型得到该CTV掩膜图像的多个子掩膜图像。
进一步地，根据CTV掩膜图像的子掩膜图像，采用带距离惩罚的DICE损失函数计算模态感知相互学习神经网络模型的训练损失，
所述损失函数的计算公式为：
DICE=-2(|GT*P*penal|)/(|GT|+|P|)，其中，DICE表示DICE损失值，GT表示金标准掩膜矩阵，P表示模态感知相互学习神经网络模型预测的掩膜矩阵，penal表示金标准掩膜矩阵对应的距离惩罚矩阵，|·|表示矩阵元素求和，*表示矩阵对应元素相乘。
进一步地，通过以下步骤计算金标准掩膜矩阵对应的距离惩罚矩阵：
基于金标准掩膜矩阵的第m个子掩膜矩阵计算第m个子掩膜矩阵的掩膜内欧式距离矩阵；基于所述掩膜内欧式距离矩阵计算第m个子掩膜矩阵的掩膜内惩罚项；
基于金标准掩膜矩阵的第m个子掩膜矩阵计算第m个子掩膜矩阵的掩膜外欧式距离矩阵；基于所述掩膜外欧式距离矩阵计算第m个子掩膜矩阵的掩膜外惩罚项；
将掩膜内惩罚项和掩膜外惩罚项归一化并相加得到第m个子掩膜矩阵对应的距离惩罚矩阵；
将每个子掩膜矩阵对应的距离惩罚矩阵拼接得到金标准掩膜矩阵对应的距离惩罚矩阵。
进一步地，所述第m个子掩膜矩阵的掩膜内欧式距离矩阵与金标准掩膜矩阵的第m个子掩膜矩阵的维度相同；所述第m个子掩膜矩阵的掩膜内欧式距离矩阵的(i,j,k)位置的元素值为：
若金标准掩膜矩阵的第m个子掩膜矩阵中(i,j,k)处于掩膜区域，则计算(i,j,k)点到该子掩膜矩阵的掩膜边界的最短欧式距离作为第m个子掩膜矩阵的掩膜内欧式距离矩阵(i,j,k)的元素值；否则，第m个子掩膜矩阵的掩膜内欧式距离矩阵的(i,j,k)的元素值为0。
进一步地，根据公式pos_edtm = (max(edt(GTm))-edt(GTm))*GTm计算第m个子掩膜矩阵的掩膜内惩罚项，其中，edt(GTm)表示第m个子掩膜矩阵的掩膜内欧式距离矩阵，GTm表示第m个子掩膜矩阵，max(·)表示将矩阵的所有元素替换为矩阵中的最大元素值，*表示矩阵对应元素相乘。
进一步地，根据公式neg_edtm = (max(edt(1-GTm))-edt(1-GTm))*(1-GTm)计算第m个子掩膜矩阵的掩膜外惩罚项，其中，edt(1-GTm)表示第m个子掩膜矩阵的掩膜外欧式距离矩阵，GTm表示第m个子掩膜矩阵，max(·)表示将矩阵的所有元素替换为矩阵中的最大元素值，*表示矩阵对应元素相乘。
进一步地，所述第m个子掩膜矩阵的掩膜外欧式距离矩阵与金标准掩膜矩阵的第m个子掩膜矩阵的维度相同；所述掩膜外欧式距离矩阵的(i,j,k)位置的元素值为：
若金标准掩膜矩阵的第m个子掩膜矩阵中(i,j,k)处于非掩膜区域，则计算(i,j,k)点到该子掩膜矩阵的掩膜边界的最短欧式距离作为掩膜外欧式距离矩阵的(i,j,k)的元素值；否则，掩膜外欧式距离矩阵的(i,j,k)的元素值为0。
进一步地，所述模态感知相互学习神经网络模型包括：
单模态特征提取模块，用于采用全卷积网络提取每个模态的CT图像的单模态特征图；当通道数大于阈值时，将所述全卷积网络的卷积层替换为bottleneck结构；
特征融合模块，用于将单模态的特征图融合为融合特征图；
模态感知模块，用于基于单模态特征图和融合特征图采用注意力机制计算每个单模态特征图的注意力图，将每个单模态特征图与对应的注意力图相乘后再相加得到带注意力权重的融合特征图；
输出模块，用于基于带注意力权重的融合特征图，输出多模态CT图像对应的掩膜。
进一步地，基于所述多模态CT图像和对应的CTV掩膜图像生成训练样本集，包括：
采用线性插值法将多模态CT图像和对应的CTV掩膜图像重采样至标准体素；
对多模态CT图像的体素值进行归一化；
对于每一个样本数据，分别对每个模态的CT图像进行图像分割得到单模态CT图像的身体掩膜，计算单模态CT图像的身体掩膜的最小外接长方体，将单模态CT图像的身体掩膜的最小外接长方体取并集得整体最小外接长方体，分别在每个模态的CT图像中和CTV掩膜图像中提取整体最小外接长方体区域内的图像，生成训练样本。
与现有技术相比，本发明通过多模态CT图像构建训练集从而基于多模态特征进行靶区预测，从而提高靶区预测的准确性；基于图像连通性对掩膜进行分段，从而基于CTV的形状变化训练模态感知互学习神经网络模型，使得模型的掩膜预测更加准确，提高了靶区勾画的准确性；通过采用自动勾画缩短勾画时间，减去医生负担，提高勾画效率，并且提高靶区勾画的一致性。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件；
图１为本发明实施例基于多模态CT图像的子宫内膜癌CTV自动勾画方法的流程图；
图2为本发明实施例的子宫内膜癌CTV的横断面连通性变化示意图；
图3为本发明实施例的子宫内膜癌CTV分段在冠状面的示意图；
图4为本发明实施例的全卷积网络的原有卷积层和bottleneck结构的结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的一个具体实施例，公开了一种基于多模态CT图像的子宫内膜癌CTV自动勾画方法，如图1所示，包括以下步骤：
S1、获取多模态CT图像和对应的CTV掩膜图像，基于所述多模态CT图像和对应的CTV掩膜图像生成训练样本集；
S2、基于图像的连通性对训练样本集中的每个CTV掩膜图像进行分段，得到每个CTV掩膜图像的多个子掩膜图像；
S3、构建模态感知相互学习神经网络模型，基于所述训练样本集中的多模态CT图像、多模态CT图像对应的CTV掩膜图像以及每个CTV掩膜的多个子掩膜图像训练所述模态感知互学习神经网络模型得到子宫内膜癌CTV分割模型；
S4、将待勾画多模态CT图像输入所述子宫内膜癌CTV分割模型得到待勾画多模态CT图像对应的CTV掩膜图像。
实施时，CT图像为三维图像数据，多模态CT图像包括子宫内膜癌患者术后的平扫CT图像和增强CT图像，平扫CT图像和增强CT图像为大小相同的图像。
CTV掩膜图像是与CT图像的大小相同的图像，表示CT图像上对应点的类型，体素值为0表示对应点不是靶区，体素值为1表示对应点是靶区。
实施时，一个样本包括一个平扫CT图像、一个增强CT图像和对应的CTV掩膜图像。
通过多模态CT图像构建训练集从而基于多模态特征进行靶区预测，从而提高靶区预测的准确性；基于图像连通性对掩膜进行分段，从而基于CTV的形状变化训练模态感知互学习神经网络模型，使得模型的掩膜预测更加准确，提高了靶区勾画的准确性；通过采用自动勾画缩短勾画时间，减去医生负担，提高勾画效率，并且提高靶区勾画的一致性。
具体的，步骤S1中基于所述多模态CT图像和对应的CTV掩膜图像生成训练样本集，包括：
S11、采用线性插值法将多模态CT图像和对应的CTV掩膜图像重采样至标准体素；
由于不同CT图像可能存在体素不一致的问题，为了分割更加准确，因此，首先对平扫CT图像和增强CT图像和对应的临床靶区掩膜图像，即CTV图像，进行重采样，从而归一化图像体素。实施时，采用线性插值法进行重采样，标准体素为所有CT样本数据的体素间距的中位数。体素间距即图像两个体素间的距离。
S12、对多模态CT图像的体素值进行归一化；
为了便于数据计算，对多模态CT图像的体素值进行归一化。首先根据样本集合中的平扫CT图像和增强CT图像和对应的CTV掩膜，将CT图像的靶区部分的体素值按照升序排序，为了消除极值对归一化的影响，取体素值排序序列中的5千分位数为体素值的下限lim_down，995千分位数为体素值的上限lim_up。
根据公式归一化后体素值=（归一化前体素值-lim_down）/（lim_up-lim_down）对平扫CT图像和增强CT图像的体素值进行归一化处理。
S13、对于每一个样本数据，分别对每个模态的CT图像进行图像分割得到单模态CT图像的身体掩膜，计算单模态CT图像的身体掩膜的最小外接长方体，将单模态CT图像的身体掩膜的最小外接长方体取并集得整体最小外接长方体，分别在每个模态的CT图像中和CTV掩膜图像中提取整体最小外接长方体区域内的图像，生成训练样本。
实施时，采用基于阈值的分割方法对归一化后的平扫CT图像进行分割得到身体掩膜，采用最大连通域算法计算平扫CT图像的身体掩膜的三维最大连通域，根据身体掩膜的三维最大连通域得到平扫CT图像的身体掩膜的最小外接长方体。采用同样的方法计算增强CT图像的身体掩膜的最小外接长方体。取平扫CT图像的身体掩膜的最小外接长方体和增强CT图像的身体掩膜的最小外接长方体的并集得到整体最小外接长方体。
然后，分别提取平扫CT图像、增强CT图像和CTV掩膜图像的整体最小外接长方体区域内的图像作为预处理后的平扫CT图像、增强CT图像和CTV掩膜图像，得一个训练样本。
经过S11-S13得到的预处理后的一个平扫CT图像和对应的增强CT图像、CTV掩膜图像组成一个训练样本数据。
子宫内膜癌CTV的层间形状变化大，图2为子宫内膜癌CTV的横断面连通性变化示意图。为了提高掩膜预测的准确性，得到训练样本集后，在从头到脚方向，按照CTV形状由闭合到分开再到闭合的变化（即连通性变化）对训练训练样本集中的CTV掩膜图像进行分段，从而充分考虑CTV的形状突变。
具体的，步骤S2中，基于图像的连通性对训练样本集中的每个CTV掩膜图像进行分段，得到每个CTV掩膜图像的多个子掩膜图像，包括：
S21、将每个CTV掩膜图像的第一个层面作为第一类，计算该层面的连通性；依次遍历该CTV掩膜图像的每个层面，计算当前层面的连通性，若当前层面的连通性和前一层面的连通性相同，则当前层面与前一层面为同一类型，否则当前层面与前一层面为不同类型；
具体的，CTV掩膜图像的层面为头脚方向上的层。
实施时，对于一个CTV掩膜图像，从第一个层面到最后一个层面依次进行遍历，计算第一个层面的连通性，例如连通性为1，将第一个层面记为第一类，例如标记为类别1，计算第二个层面的连通性，若第二个层面的连通性和第一个层面的连通性相同，例如均为1，说明第二个层面和第一个层面相比变化不大，因此将第二个层面标记为类别1；若第二个层面的连通性和第一个层面的连通性不相同，例如第二个层面的连通性为2，说明第二个层面和第一个层面形态差异较大，将第二个层面标记为类别2，采用该方法依次对每个层面进行分类标记。如图3所示，图3为子宫内膜癌CTV分段在冠状面的示意图。
S22、根据该CTV掩膜图像中每个层面的类型得到该CTV掩膜图像的多个子掩膜图像。
CTV掩膜图像中相同类型的层面构成该CTV掩膜图像的子掩膜图像，得到该CTV掩膜图像的多个子掩膜图像。
具体的，步骤S3中构建的模态感知相互学习神经网络模型为改进的模态感知互学习（MAML）三维卷积神经网络模型。MAML针对每一个输入的模态，都有一个独立的全卷积网络（FCN）来对输入进行下采样的编码和上采样的解码，经过下采样上采样后，得到一个和原图等大小的特征图。除了每个模态生成的特征图外，MAML还融合了所有模态的特征来生成一个新特征图。所有这些特征图被送到模态感知（modality-aware）模块中，通过各个模态的特征图和融合特征图混合输入到卷积层、归一化层、非线性层后，得到了各个模态特征图的注意力图。注意力图代表了特征图矩阵每个元素点的权重，和原有各个模态的特征图相乘后，得到各个模态的带注意力的特征图。这些特征图相加后通过sigmoid层归一，便是网络最后的输出结果。
因此，MAML模型是用于处理多模态输入的神经网络模型，包括：
单模态特征提取模块，用于采用全卷积网络提取每个模态的CT图像的单模态特征图；当通道数大于阈值时，将所述全卷积网络的卷积层替换为bottleneck结构；
特征融合模块，用于将单模态的特征图融合为融合特征图；
模态感知模块，用于基于单模态特征图和融合特征图采用注意力机制计算每个单模态特征图的注意力图，将每个单模态特征图与对应的注意力图相乘后再相加得到带注意力权重的融合特征图；
输出模块，用于基于带注意力权重的融合特征图，输出多模态CT图像对应的掩膜；
MAML网络融合了多模态的特征，并引入注意力机制将其结合，在多模态的分割任务中表现良好。但MAML对每个输入的模态都有独立的FCN来进行编码解码，其模型参数量随模态的增加而成倍的增加。
在下采样过程中，网络的层数越深，数据的通道数越大，参数量和计算大就越大。为了减少模型的参数量，提高计算效率，本发明在原有的全卷积网络（FCN）的下采样过程中加入bottleneck结构，当通道数大于阈值时，例如32，将原有的卷积层改为3个卷积层堆叠的bottleneck结构。如图4所示，图4左图为原有卷积层，右图为bottleneck结构。假设原有的卷积层输入通道数为n，输出通道数为m（下采样时一般m=2*n）。在bottleneck结构中，第一个卷积层的输入通道数为原有输入通道数n，输出通道数为n/8。第二个卷积层的输入通道数为n/8，输出通道数为n/8。第三个卷积层的输入通道数为n/8，输出通道数为原有输出通道数m。每个卷积层后有一个批归一化层，即batchnorm层。
bottleneck的第一个和第三个卷积层的卷积核大小均为1，图像经过卷积层后不改变大小，只改变通道数，第二个卷积层的卷积核大小为3，和原有卷积层一致。归一化层的参数量很小，可以忽略，在不考虑归一化层的情况下，原有卷积层的参数量为3*3*n*m，而bottleneck结构中，三个卷积层的参数量之和为1*1*n*(n/8)+3*3*(n/8)*(n/8)+1*1*(n/8)*m，对比原有卷积层的参数量有大幅度减少。在m=2n的情形下，bottleneck卷积层的参数量约为原有卷积层参数量的1/36，从而大大减少了网络参数量，让模型部署更加容易，也减少了模型训练和测试所需的时间。
考虑到子宫内膜癌靶区的形状变化较大，为了提高勾画的准确性，根据CTV掩膜图像的子掩膜图像，采用带距离惩罚的DICE损失函数计算模态感知相互学习神经网络模型的训练损失。通过引入基于连通性的距离惩罚dice损失函数，在靶区层间变化大的层面，保证了勾画的形状的准确性。
具体的，损失函数的计算公式为：
DICE=-2(|GT*P*penal|)/(|GT|+|P|)，其中，DICE表示DICE损失值，GT表示金标准掩膜矩阵，P表示模态感知相互学习神经网络模型预测的掩膜矩阵，penal表示金标准掩膜矩阵对应的距离惩罚矩阵，|·|表示矩阵元素求和，*表示矩阵对应元素相乘。
金标准掩膜矩阵即样本中的CTV掩膜图像对应的矩阵。
具体的，通过以下步骤计算金标准掩膜矩阵对应的距离惩罚矩阵：
S31、基于金标准掩膜矩阵的第m个子掩膜矩阵计算第m个子掩膜矩阵的掩膜内欧式距离矩阵；基于所述掩膜内欧式距离矩阵计算第m个子掩膜矩阵的掩膜内惩罚项；
所述第m个子掩膜矩阵的掩膜内欧式距离矩阵与金标准掩膜矩阵的第m个子掩膜矩阵的维度相同；所述第m个子掩膜矩阵的掩膜内欧式距离矩阵的(i,j,k)位置的元素值为：
若金标准掩膜矩阵的第m个子掩膜矩阵中(i,j,k)处于掩膜区域，则计算(i,j,k)点到该子掩膜矩阵的掩膜边界的最短欧式距离作为第m个子掩膜矩阵的掩膜内欧式距离矩阵(i,j,k)的元素值；否则，第m个子掩膜矩阵的掩膜内欧式距离矩阵的(i,j,k)的元素值为0。
根据公式pos_edtm = (max(edt(GTm))-edt(GTm))*GTm计算第m个子掩膜矩阵的掩膜内惩罚项，其中，edt(GTm)表示第m个子掩膜矩阵的掩膜内欧式距离矩阵，GTm表示第m个子掩膜矩阵，max(·)表示将矩阵的所有元素替换为矩阵中的最大元素值，*表示矩阵对应元素相乘。
S32、基于金标准掩膜矩阵的第m个子掩膜矩阵计算第m个子掩膜矩阵的掩膜外欧式距离矩阵；基于所述掩膜外欧式距离矩阵计算第m个子掩膜矩阵的掩膜外惩罚项；
所述第m个子掩膜矩阵的掩膜外欧式距离矩阵与金标准掩膜矩阵的第m个子掩膜矩阵的维度相同；所述掩膜外欧式距离矩阵的(i,j,k)位置的元素值为：
若金标准掩膜矩阵的第m个子掩膜矩阵中(i,j,k)处于非掩膜区域，则计算(i,j,k)点到该子掩膜矩阵的掩膜边界的最短欧式距离作为掩膜外欧式距离矩阵的(i,j,k)的元素值；否则，掩膜外欧式距离矩阵的(i,j,k)的元素值为0。
根据公式neg_edtm = (max(edt(1-GTm))-edt(1-GTm))*(1-GTm)计算第m个子掩膜矩阵的掩膜外惩罚项，其中，edt(1-GTm)表示第m个子掩膜矩阵的掩膜外欧式距离矩阵，GTm表示第m个子掩膜矩阵，max(·)表示将矩阵的所有元素替换为矩阵中的最大元素值，*表示矩阵对应元素相乘。
S33、将掩膜内惩罚项和掩膜外惩罚项归一化并相加得到第m个子掩膜矩阵对应的距离惩罚矩阵；
具体的，归一化并相加得到距离惩罚矩阵penal=pos_edt/max(pos_edt)+ neg_edt/max(neg_edt)。
S34、将每个子掩膜矩阵对应的距离惩罚矩阵拼接得到金标准掩膜矩阵对应的距离惩罚矩阵。
penal是由GT计算得到的距离惩罚矩阵，距离GT掩膜的边界越近，penal的值越大，反之penal的值越小。带距离惩罚的dice损失函数，给了掩膜的边界更大的权重，在优化时网络将会更关注掩膜的边界，使得网络对边界有了更精确的学习。
训练好模态感知相互学习神经网络模型后得到子宫内膜癌CTV分割模型，将待勾画多模态CT图像输入子宫内膜癌CTV分割模型得到待勾画多模态CT图像对应的CTV掩膜图像。实施时，若待勾画CT图像的体素与标准体素不一致，或体素值不在归一化的数值范围内，首先可按照步骤S11-S13的处理过程对待勾画CT图像进行归一化等预处理，对归一化后的CT图像进行图像分割得到身体掩膜，计算身体掩膜的最小外接长方体，提取最小外接长方体中的CT图像得到待勾画CT图像，将待勾画CT图像输入子宫内膜癌CTV分割模型，得到分割结果，即CTV掩膜。
实施时，得到CTV掩膜后，本发明还通过后处理模块来完善掩膜。后处理模块包含的操作例如取三维最大连通域去除小碎点，闭运算去除孔洞，腐蚀膨胀平滑边界，将CTV掩膜进行重采样到其原始CT图像的体素大小，将重采样后的临床靶区掩膜根据身体掩膜的大小恢复到原始CT图像的大小，从而得到原始待勾画CT图像对应的临床靶区掩膜。
为了有效利用样本数据，提高分割准确率，在进行神经网络模型训练前，可对样本数据进行数据增广，例如：对样本中的CT图像和对应的掩膜进行相同比例的缩放，比例范围可为0.7~1.4；采用gamma变换调节CT图像的对比图；对CT图像和对应的掩膜进行相同角度的旋转，例如在三维空间的三个方向上分别旋转0~30°；在完成数据增广的数据和掩膜上随机裁剪尺寸为[28,256,256]的感兴趣区域，如数据小于[28,256,256]，则在数据周围补0。如果感兴趣区域不包括靶区，则重新裁剪直至感兴趣区域包含靶区。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于多模态CT图像的子宫内膜癌CTV自动勾画方法，其特征在于，包括以下步骤：
获取多模态CT图像和对应的CTV掩膜图像，基于所述多模态CT图像和对应的CTV掩膜图像生成训练样本集；
基于图像的连通性对训练样本集中的每个CTV掩膜图像进行分段，得到每个CTV掩膜图像的多个子掩膜图像；
构建模态感知相互学习神经网络模型，基于所述训练样本集中的多模态CT图像、多模态CT图像对应的CTV掩膜图像以及每个CTV掩膜的多个子掩膜图像训练所述模态感知互学习神经网络模型得到子宫内膜癌CTV分割模型；
将待勾画多模态CT图像输入所述子宫内膜癌CTV分割模型得到待勾画多模态CT图像对应的CTV掩膜图像。
2.根据权利要求1所述的基于多模态CT图像的子宫内膜癌CTV自动勾画方法，其特征在于，基于图像的连通性对训练样本集中的每个CTV掩膜图像进行分段，得到每个CTV掩膜图像的多个子掩膜图像，包括：
将每个CTV掩膜图像的第一个层面作为第一类，计算该层面的连通性；依次遍历该CTV掩膜图像的每个层面，计算当前层面的连通性，若当前层面的连通性和前一层面的连通性相同，则当前层面与前一层面为同一类型，否则当前层面与前一层面为不同类型；
根据该CTV掩膜图像中每个层面的类型得到该CTV掩膜图像的多个子掩膜图像。
3.根据权利要求1所述的基于多模态CT图像的子宫内膜癌CTV自动勾画方法，其特征在于，根据CTV掩膜图像的子掩膜图像，采用带距离惩罚的DICE损失函数计算模态感知相互学习神经网络模型的训练损失，
所述损失函数的计算公式为：
DICE=-2(|GT*P*penal|)/(|GT|+|P|)，其中，DICE表示DICE损失值，GT表示金标准掩膜矩阵，P表示模态感知相互学习神经网络模型预测的掩膜矩阵，penal表示金标准掩膜矩阵对应的距离惩罚矩阵，|·|表示矩阵元素求和，*表示矩阵对应元素相乘。
4.根据权利要求3所述的基于多模态CT图像的子宫内膜癌CTV自动勾画方法，其特征在于，通过以下步骤计算金标准掩膜矩阵对应的距离惩罚矩阵：
基于金标准掩膜矩阵的第m个子掩膜矩阵计算第m个子掩膜矩阵的掩膜内欧式距离矩阵；基于所述掩膜内欧式距离矩阵计算第m个子掩膜矩阵的掩膜内惩罚项；
基于金标准掩膜矩阵的第m个子掩膜矩阵计算第m个子掩膜矩阵的掩膜外欧式距离矩阵；基于所述掩膜外欧式距离矩阵计算第m个子掩膜矩阵的掩膜外惩罚项；
将掩膜内惩罚项和掩膜外惩罚项归一化并相加得到第m个子掩膜矩阵对应的距离惩罚矩阵；
将每个子掩膜矩阵对应的距离惩罚矩阵拼接得到金标准掩膜矩阵对应的距离惩罚矩阵。
5.根据权利要求4所述的基于多模态CT图像的子宫内膜癌CTV自动勾画方法，其特征在于，所述第m个子掩膜矩阵的掩膜内欧式距离矩阵与金标准掩膜矩阵的第m个子掩膜矩阵的维度相同；所述第m个子掩膜矩阵的掩膜内欧式距离矩阵的(i,j,k)位置的元素值为：
若金标准掩膜矩阵的第m个子掩膜矩阵中(i,j,k)处于掩膜区域，则计算(i,j,k)点到该子掩膜矩阵的掩膜边界的最短欧式距离作为第m个子掩膜矩阵的掩膜内欧式距离矩阵(i,j,k)的元素值；否则，第m个子掩膜矩阵的掩膜内欧式距离矩阵的(i,j,k)的元素值为0。
6.根据权利要求4所述的基于多模态CT图像的子宫内膜癌CTV自动勾画方法，其特征在于，
根据公式pos_edtm = (max(edt(GTm))-edt(GTm))*GTm计算第m个子掩膜矩阵的掩膜内惩罚项，其中，edt(GTm)表示第m个子掩膜矩阵的掩膜内欧式距离矩阵，GTm表示第m个子掩膜矩阵，max(·)表示将矩阵的所有元素替换为矩阵中的最大元素值，*表示矩阵对应元素相乘。
7.根据权利要求4所述的基于多模态CT图像的子宫内膜癌CTV自动勾画方法，其特征在于，
根据公式neg_edtm = (max(edt(1-GTm))-edt(1-GTm))*(1-GTm)计算第m个子掩膜矩阵的掩膜外惩罚项，其中，edt(1-GTm)表示第m个子掩膜矩阵的掩膜外欧式距离矩阵，GTm表示第m个子掩膜矩阵，max(·)表示将矩阵的所有元素替换为矩阵中的最大元素值，*表示矩阵对应元素相乘。
8.根据权利要求4所述的基于多模态CT图像的子宫内膜癌CTV自动勾画方法，其特征在于，所述第m个子掩膜矩阵的掩膜外欧式距离矩阵与金标准掩膜矩阵的第m个子掩膜矩阵的维度相同；所述掩膜外欧式距离矩阵的(i,j,k)位置的元素值为：
若金标准掩膜矩阵的第m个子掩膜矩阵中(i,j,k)处于非掩膜区域，则计算(i,j,k)点到该子掩膜矩阵的掩膜边界的最短欧式距离作为掩膜外欧式距离矩阵的(i,j,k)的元素值；否则，掩膜外欧式距离矩阵的(i,j,k)的元素值为0。
9.根据权利要求1所述的基于多模态CT图像的子宫内膜癌CTV自动勾画方法，其特征在于，所述模态感知相互学习神经网络模型包括：
单模态特征提取模块，用于采用全卷积网络提取每个模态的CT图像的单模态特征图；当通道数大于阈值时，将所述全卷积网络的卷积层替换为bottleneck结构；
特征融合模块，用于将单模态的特征图融合为融合特征图；
模态感知模块，用于基于单模态特征图和融合特征图采用注意力机制计算每个单模态特征图的注意力图，将每个单模态特征图与对应的注意力图相乘后再相加得到带注意力权重的融合特征图；
输出模块，用于基于带注意力权重的融合特征图，输出多模态CT图像对应的掩膜。
10.根据权利要求1所述的基于多模态CT图像的子宫内膜癌CTV自动勾画方法，其特征在于，基于所述多模态CT图像和对应的CTV掩膜图像生成训练样本集，包括：
采用线性插值法将多模态CT图像和对应的CTV掩膜图像重采样至标准体素；
对多模态CT图像的体素值进行归一化；
对于每一个样本数据，分别对每个模态的CT图像进行图像分割得到单模态CT图像的身体掩膜，计算单模态CT图像的身体掩膜的最小外接长方体，将单模态CT图像的身体掩膜的最小外接长方体取并集得整体最小外接长方体，分别在每个模态的CT图像中和CTV掩膜图像中提取整体最小外接长方体区域内的图像，生成训练样本。
CN202211352635.9A 2022-11-01 2022-11-01 一种基于多模态ct图像的子宫内膜癌ctv自动勾画方法 Active CN115409837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211352635.9A CN115409837B (zh) 2022-11-01 2022-11-01 一种基于多模态ct图像的子宫内膜癌ctv自动勾画方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211352635.9A CN115409837B (zh) 2022-11-01 2022-11-01 一种基于多模态ct图像的子宫内膜癌ctv自动勾画方法

Publications (2)

Publication Number Publication Date
CN115409837A true CN115409837A (zh) 2022-11-29
CN115409837B CN115409837B (zh) 2023-02-17

Family

ID=84168396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211352635.9A Active CN115409837B (zh) 2022-11-01 2022-11-01 一种基于多模态ct图像的子宫内膜癌ctv自动勾画方法

Country Status (1)

Country Link
CN (1) CN115409837B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104846329A (zh) * 2015-04-28 2015-08-19 信利（惠州）智能显示有限公司 一种金属掩膜板结构及其制作方法
US20170115293A1 (en) * 2015-10-21 2017-04-27 Duke University Methods for predicting the radiosensitivity of a cancer tumor and methods of treating cancer
CN111833359A (zh) * 2020-07-13 2020-10-27 中国海洋大学 基于生成对抗网络的脑瘤分割数据增强方法
US20210248747A1 (en) * 2020-02-11 2021-08-12 DeepVoxel, Inc. Organs at risk auto-contouring system and methods
CN113593672A (zh) * 2021-04-23 2021-11-02 安徽医科大学第一附属医院 一种放疗靶区智能勾画方法
CN114581474A (zh) * 2022-04-28 2022-06-03 中国科学技术大学 一种基于宫颈癌ct影像的临床靶区自动勾画方法
CN115187577A (zh) * 2022-08-05 2022-10-14 北京大学第三医院（北京大学第三临床医学院） 一种基于深度学习的乳腺癌临床靶区自动勾画方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104846329A (zh) * 2015-04-28 2015-08-19 信利（惠州）智能显示有限公司 一种金属掩膜板结构及其制作方法
US20170115293A1 (en) * 2015-10-21 2017-04-27 Duke University Methods for predicting the radiosensitivity of a cancer tumor and methods of treating cancer
US20210248747A1 (en) * 2020-02-11 2021-08-12 DeepVoxel, Inc. Organs at risk auto-contouring system and methods
CN111833359A (zh) * 2020-07-13 2020-10-27 中国海洋大学 基于生成对抗网络的脑瘤分割数据增强方法
CN113593672A (zh) * 2021-04-23 2021-11-02 安徽医科大学第一附属医院 一种放疗靶区智能勾画方法
CN114581474A (zh) * 2022-04-28 2022-06-03 中国科学技术大学 一种基于宫颈癌ct影像的临床靶区自动勾画方法
CN115187577A (zh) * 2022-08-05 2022-10-14 北京大学第三医院（北京大学第三临床医学院） 一种基于深度学习的乳腺癌临床靶区自动勾画方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
丁嘉佩等: "锥形束CT评价根治性宫颈癌调强放疗患者肿瘤临床靶区运动度的研究", 《临床肿瘤学杂志》 *

Also Published As

Publication number Publication date
CN115409837B (zh) 2023-02-17

Similar Documents

Publication Publication Date Title
Jin et al. 3D PBV-Net: an automated prostate MRI data segmentation method
CN111727458B (zh) 使用深度学习的基于图谱集的分割
CN109741343B (zh) 一种基于3D-Unet和图论分割的T1WI-fMRI图像肿瘤协同分割方法
Wu et al. Deep morphology aided diagnosis network for segmentation of carotid artery vessel wall and diagnosis of carotid atherosclerosis on black‐blood vessel wall MRI
CN106682435A (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
US11222425B2 (en) Organs at risk auto-contouring system and methods
US11798161B2 (en) Method and apparatus for determining mid-sagittal plane in magnetic resonance images
KR102629045B1 (ko) 의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법
JP2007530088A (ja) オブジェクト特有のセグメンテーション
CN111584066B (zh) 基于卷积神经网络与对称信息的脑部医学影像诊断方法
JPWO2020110774A1 (ja) 画像処理装置、画像処理方法、及びプログラム
CN115512110A (zh) 一种涉及跨模态注意力机制的医学图像肿瘤分割方法
KR102431173B1 (ko) 진단 영상에서 심층신경망을 이용한 국소종양진행을 진단하기 위한 장치 및 국소종양진행 진단에 필요한 정보를 제공하는 방법
CN115409837B (zh) 一种基于多模态ct图像的子宫内膜癌ctv自动勾画方法
CN115953345A (zh) 脑出血医学图像的病变合成方法、装置及存储介质
CN115841476A (zh) 肝癌患者生存期预测方法、装置、设备及介质
CN116797519A (zh) 脑胶质瘤分割和三维可视化模型训练方法及系统
Gibou et al. Partial differential equations-based segmentation for radiotherapy treatment planning
CN113962957A (zh) 医学图像处理方法、骨骼图像处理方法、装置、设备
Li et al. Segmentation evaluation with sparse ground truth data: Simulating true segmentations as perfect/imperfect as those generated by humans
Alshamrani et al. [Retracted] Automation of Cephalometrics Using Machine Learning Methods
CN115619810B (zh) 一种前列腺分区分割方法、系统及设备
EP4339883A1 (en) Technique for interactive medical image segmentation
Zhu et al. Label fusion for segmentation via patch based on local weighted voting
Fernandez et al. Check for updates A 3D Generative Model of Pathological Multi-modal MR Images and Segmentations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant