CN115170564B - 一种结直肠癌放化疗反应自动预测系统 - Google Patents

一种结直肠癌放化疗反应自动预测系统 Download PDF

Info

Publication number
CN115170564B
CN115170564B CN202211082384.7A CN202211082384A CN115170564B CN 115170564 B CN115170564 B CN 115170564B CN 202211082384 A CN202211082384 A CN 202211082384A CN 115170564 B CN115170564 B CN 115170564B
Authority
CN
China
Prior art keywords
swin
image
transformer
stage
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211082384.7A
Other languages
English (en)
Other versions
CN115170564A (zh
Inventor
夏邵君
孙应实
朱海涛
秦源泽
张晓燕
卢巧媛
李清扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Cancer Hospital
Original Assignee
Beijing Cancer Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Cancer Hospital filed Critical Beijing Cancer Hospital
Priority to CN202211082384.7A priority Critical patent/CN115170564B/zh
Publication of CN115170564A publication Critical patent/CN115170564A/zh
Application granted granted Critical
Publication of CN115170564B publication Critical patent/CN115170564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/17—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered via infusion or injection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Medicinal Chemistry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种结直肠癌放化疗反应自动预测系统。该系统包括：图像获取模块，用于采集结直肠癌放化疗相关的医学图像；预处理模块，用于对图像获取模块采集的图像进行预处理；图像分类模块，用于将预处理后的图像使用一级级联网络进行图像分类，得到的分类结果为3类，包括非肿瘤图像、PCR图像、非PCR图像；语义分割模块，用于对分类得到的非PCR图像使用二级级联网络进行语义分割，以提取肿瘤区域；预测模块，用于对提取出的肿瘤区域使用三级级联网络分别进行T分期预测以及TRG分期预测，得到基于T的分期预测结果以及基于TRG的分期预测结果。本发明能够对放化疗反应进行有效预测，对结直肠癌患者后期治疗方案的决策具有重要意义。

Description

一种结直肠癌放化疗反应自动预测系统
技术领域
本发明属于信息技术、医疗技术领域，具体涉及一种基于级联Transformer网络的结直肠癌放化疗反应自动预测系统。
背景技术
对于局部进展期直肠癌（LARC）患者，新辅助放化疗（nCRT）加全直肠系膜切除手术(TME)已经成为标准治疗方法。大量临床实验证实，在进行新辅助放化疗（nCRT）后，约70%患者的肿瘤会出现降期或退缩，约20%患者能达到病理完全缓解（PCR）。因此，对放化疗反应进行有效预测，对结直肠癌患者后期治疗方案的决策具有重要意义。
目前，常规的放化疗反应预测方法主要基于影像组学的方法，通过提取影像特征指标，结合支持向量机、贝叶斯网络、决策树、随机森林等机器学习算法，构建预测模型。该流程存在以下几点问题：（1）组学指标的确定与筛选依赖医生的临床经验，或者医生加特征提取软件的配合。（2）建模过程中图像特征信息丢失信息过多，导致一般ROC曲线的AUC值无法达到很高。（3）现有的预测方法实际上是半自动化过程，耗费时间长。（4）对于接近病理完全缓解（PCR）的患者，医生描述病灶区域存在困难。
发明内容
本发明针对上述问题，提供一种基于级联Transformer网络的结直肠癌放化疗反应自动预测系统。
本发明采用的技术方案如下：
一种结直肠癌放化疗反应自动预测系统，其包括：
图像获取模块，用于采集结直肠癌放化疗相关的医学图像；
预处理模块，用于对图像获取模块采集的图像进行预处理；
图像分类模块，用于将预处理后的图像使用一级级联网络进行图像分类，得到的分类结果为3类，包括非肿瘤图像、PCR图像、非PCR图像；
语义分割模块，用于对分类得到的非PCR图像使用二级级联网络进行语义分割，以提取肿瘤区域；
预测模块，用于对提取出的肿瘤区域使用三级级联网络分别进行T分期预测以及TRG分期预测，得到基于T的分期预测结果以及基于TRG的分期预测结果。
进一步地，所述采集结直肠癌放化疗相关的医学图像，包括：
采集局部进展期直肠癌患者在接受新辅助放化疗nCRT前一周的T2-MRI图像；
采集局部进展期直肠癌患者在接受新全直肠系膜切除手术TME前一周的T2-MRI图像。
进一步地，所述一级级联网络、所述二级级联网络、所述三级级联网络采用SwinTransformer网络实现，分别称为Swin Transformer一级级联网络、Swin Transformer二级级联网络、Swin Transformer三级级联网络；所述Swin Transformer二级级联网络为SwinTransformer Unet网络；所述Swin Transformer三级级联网络包括T分期预测网络和TRG分期预测网络。
进一步地，所述Swin Transformer一级级联网络的处理过程包括：
获得预处理好的待分类图像，将其构建好训练集输入到所述Swin Transformer一级级联网络中；
对输入的图像进行分块处理，每一块称之为patch，然后进行patch embedding（分块嵌入）处理；
将图像输入三阶段的Swin Transformer block，其中：阶段一包括2个SwinTransformer block和1个patch merging（分块合并模块），2个Swin Transformer block进行连接，其中一个是基于窗口自注意力机制，另一个是基于滑动窗口自注意力机制；阶段二包括6个Swin Transformer block和1个patch merging，6个Swin Transformer block 分为3组，每组中一个是基于窗口自注意力机制，另一个是基于滑动窗口自注意力机制；阶段三与阶段一结构相似，包括2个Swin Transformer block和1个patch merging；
采用适应池化层对阶段三的输出进行池化操作；
采用线性分类层对池化操作后的所有特征进行分类，分为3类，包括非肿瘤图像、PCR图像、非PCR图像。
进一步地，所述Swin Transformer Unet由三部分组成，分别为左边的编码器，下面的瓶颈层即2个Swin Transformer block，以及右边的解码器；在解码器中使用patchexpanding（分块扩展）进行特征图的扩充，以和编码器中的特征图进行对齐，然后与编码器进行跳跃连接；通过跳跃连接将编码器中的浅层信息与解码器中的特征进行融合以减少信息丢失。
进一步地，所述T分期预测网络对图像进行T分期操作，预测的结果为4分类，分别为I、II、III、IV期；所述TRG分期预测网络对图像进行TRG分期操作，预测的结果为3分类，分别为TRG1、TRG2、TRG3；
T分期预测的损失函数为：
Figure DEST_PATH_IMAGE001
其中，
Figure 339291DEST_PATH_IMAGE002
为二级级联网络的损失函数值，
Figure 584327DEST_PATH_IMAGE003
为三级级联网络中T分期的损失函数值，λ 2、λ 3为权重系数；
TRG分期预测的损失函数为：
Figure 236501DEST_PATH_IMAGE004
其中，
Figure 444760DEST_PATH_IMAGE002
为二级级联网络的损失函数值，
Figure DEST_PATH_IMAGE005
为三级级联网络中TRG分期的损失函数值，
Figure 196815DEST_PATH_IMAGE006
、
Figure 363485DEST_PATH_IMAGE007
为权重系数，其中
Figure 706217DEST_PATH_IMAGE006
与T分期预测的损失函数中的
Figure 514904DEST_PATH_IMAGE006
是同一个超参数。
进一步地，所述一级级联网络不与所述二级级联网络、所述三级级联网络一起进行训练，而是单独训练；所述二级级联网络与所述三级级联网络一起进行训练，共同决定最终的损失函数，同时进行反向传播与梯度更新。
本发明的有益效果如下：
1.本发明能够实现结直肠癌放化疗反应的量化指标预测及评估，减少人工介入程度,极大地提升了预测及评估。
2. 采用分类-分割-分类一体化结构设计，能够解决自动分类、自动分割和自动预测多类问题，极大地节约人工时间。
3. 涵盖多种临床预测指标，能够更好地辅助医生全面、细致地评估患者的治疗反应情况。
4. 模型采用注意力机制的级联设计, 并在中间分割模型结合U-Net网络的结构优点，能够更好地提取图像的多级特征。
5. 设计适用于不同阶段的损失函数，有利于模型更好地学习。
附图说明
图1是本发明的基于级联Transformer网络的结直肠癌放化疗反应自动预测系统的模块组成图。
图2是本发明的基于级联Transformer网络的结直肠癌放化疗反应自动预测系统的工作流程图。
图3是Swin Transformer 1网络的结构图。
图4是Swin Transformer block的处理流程图。
图5是Swin Transformer Unet网络的结构图。
图6是Swin Transformer 2网络的结构图。
图7是Swin Transformer 3网络的结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。
本发明提出一种基于级联Transformer网络的结直肠癌放化疗反应自动预测系统。该系统首先进行分类，对PCR、非PCR、非肿瘤区域（3分类）进行分类；进而对非PCR患者的MRI图像进行自动分割；在分割病灶信息的基础上，实现T分期（4分类）、TRG指标（3分类）的分类预测。
如图1所示，该基于级联Transformer网络的结直肠癌放化疗反应自动预测系统包括：
图像获取模块，用于采集结直肠癌放化疗相关的医学图像；
预处理模块，用于对图像获取模块采集的图像进行预处理；
图像分类模块，用于将预处理后的图像使用一级级联网络进行图像分类，得到的分类结果为3类，包括非肿瘤图像、PCR图像、非PCR图像；
语义分割模块，用于对分类得到的非PCR图像使用二级级联网络进行语义分割，以提取肿瘤区域；
预测模块，用于对提取出的肿瘤区域使用三级级联网络分别进行T分期预测以及TRG分期预测，得到基于T的分期预测结果以及基于TRG的分期预测结果。
图2是本发明的基于级联Transformer网络的结直肠癌放化疗反应自动预测系统整体工作流程图，具体包括：
1.图像获取模块采集局部进展期直肠癌（LARC）患者在接受新辅助放化疗（nCRT）前一周的T2-MRI图像（即基于T2加权的磁共振成像），采集局部进展期直肠癌（LARC）患者在接受新全直肠系膜切除手术(TME)前一周的T2-MRI图像。
2.预处理模块对获取的图像进行预处理，包括图像的降噪、归一化等。
3.图像分类模块将预处理好的图像输入到Swin Transformer一级级联网络（SwinTransformer 1）中进行图像的的分类，得到的分类结果为3类，包括非肿瘤图像、PCR图像、非PCR图像。
4.语义分割模块对上述判断为非PCR图像的图像，使用Swin Transformer二级级联网络（Swin Transformer Unet）进行语义分割，提取肿瘤区域。
5.预测模块对上述提取出的肿瘤区域使用Swin Transformer三级级联网络（包括T分期预测网络和TRG分期预测网络，分别称为Swin Transformer 2和Swin Transformer3）分别进行T分期预测以及TRG分期预测，最终得到基于T的分期预测以及基于TRG的分期预测两种预测结果。其中T分期是指肿瘤原发灶的情况分期，TRG分期是指肿瘤退缩分级(Tumor Regression Grading)。
图3是用于疾病预测的Swin Transformer 1网络的结构图。针对疾病预测，将预处理好的图像输入到搭建的Swin Transformer 1网络当中，Swin Transformer 1网络的骨架结构由3段Swin Transformer block组成。对Swin Transformer 1网络具体说明如下：
1. 待分类图像：预处理好的图像大小为(H,W,3)，其中，H代表图像的高度，W代表图像的宽度，3代表图像的通道数，将预处理好的图像构建好训练集输入到SwinTransformer 1网络中。
2. 分块嵌入（patch embedding）：对输入的图像进行分块处理，每一块称之为patch，然后对每一个patch展开成一个向量。设分块的区域大小为(P,P)，其中P表示分块的大小，即长和宽，则一共有
Figure 511679DEST_PATH_IMAGE008
个patch。然后对所有的二维矩阵patch展开成一维向量，最终每个patch表示为
Figure 318092DEST_PATH_IMAGE009
的向量。此时，图像可以表示为(
Figure 400318DEST_PATH_IMAGE009
,
Figure 167023DEST_PATH_IMAGE010
)，然后将图像经过一层线性变换层，将通道数映射为C，得到最终的patch embedding，此时图像表示为 (
Figure 283884DEST_PATH_IMAGE009
,
Figure 526778DEST_PATH_IMAGE011
)。
3. Swin Transformer阶段一由2个Swin Transformer block（即SwinTransformer模块）和一个patch merging（分块合并）模块组成。Swin Transformer block用于进行特征提取。因为Swin Transformer block不会改变对输入张量的改变，但对于patch merging，对整张特征图进行下采样，这里选择的是
Figure 96299DEST_PATH_IMAGE012
的窗口大小，先将特征图的高度和宽度各减小一半，但是通道数变成了原来的4倍，然后通道数经过线性变换缩小一半。因此，一阶段输入的特征图
Figure 184472DEST_PATH_IMAGE011
，其输出就变为了
Figure 903642DEST_PATH_IMAGE013
。
图4是Swin Transformer block的处理流程图。针对Swin Transformer block，是由两个连续的transformer进行连接，其中一个是基于窗口自注意力机制(W-MSA)，另一个是基于滑动窗口自注意力机制(SW-MSA)。图4中，B代表批量训练中每一个batch（批）所含样本的数量，N代表每个阶段特征图的
Figure 566704DEST_PATH_IMAGE014
（也就是特征图高度与宽度的乘积），E代表每个patch的特征维度。Swin Transformer block的处理流程包括：
首先进行层归一化（layer normalization），然后输入到窗口自注意力机制（W-MSA）当中，该操作并不改变输入特征的维度大小，然后与原始输入进行残差连接，然后再经过层归一化（layer normalization），然后输入到多层感知机（MLP）中进行全连接层特征映射，并设置dropout随机失活。
图4中右侧操作与左侧操作类似，但是将窗口自注意力机制(W-MSA)替换成了滑动窗口自注意力机制(SW-MSA)。特别的，窗口自注意力机制(W-MSA)与滑动窗口自注意力机制(SW-MSA)均与vision transformer 中的传统transformer类似，均使用多头注意力机制。与传统transformer不同的是，窗口自注意力机制(W-MSA)不在整张特征图中计算注意力，而限制在每个窗口内计算注意力。最后将每个窗口内的注意力向量拼接起来得到整张特征图的注意力向量。
与窗口自注意力机制(W-MSA)不同个是，滑动窗口自注意力机制(SW-MSA)将图像特征进行了像素位移（本实施例中使用的是2个像素位移），然后在位移后的图像上进行窗口自注意力机制(W-MSA)的计算。
Figure 108675DEST_PATH_IMAGE015
Figure 515386DEST_PATH_IMAGE016
Figure DEST_PATH_IMAGE017
Figure 902111DEST_PATH_IMAGE018
上述公式表示的是2个Swin Transformer block中的具体实现，包含1个基于窗口自注意力机制的Swin Transformer block和1个基于滑动窗口自注意力机制的SwinTransformer block。其中，
Figure DEST_PATH_IMAGE019
是本层Swin Transformer block的输入，
Figure 96595DEST_PATH_IMAGE020
是线性映射层操作，
Figure DEST_PATH_IMAGE021
是窗口自注意力操作，
Figure 922599DEST_PATH_IMAGE022
是多层感知机操作，
Figure DEST_PATH_IMAGE023
是滑动窗口自注意力操作。经过上述操作，经过2个Swin Transformer block的输出为。
特别的，Swin Transformer block不改变特征图像的输入大小，即输入大小等于输出大小。
4. Swin Transformer阶段二是由6个Swin Transformer block组成，与上述阶段一类似，这里是由3组窗口自注意力机制(W-MSA)+滑动窗口自注意力机制(SW-MSA)构成，然后经过patch merging之后，输入的维度从
Figure 779058DEST_PATH_IMAGE013
变成了
Figure 210170DEST_PATH_IMAGE024
。
5.Swin Transformer阶段三与阶段一结构相似，也是由两个连续的SwinTransformer block组成，输入的维度从
Figure 480615DEST_PATH_IMAGE024
变成了
Figure 528336DEST_PATH_IMAGE025
。
6.自适应池化层是对阶段三的输出进行池化操作，将阶段三的输出维度从
Figure 762003DEST_PATH_IMAGE025
下采样为
Figure 372588DEST_PATH_IMAGE026
。
7. 线性分类层对上述所有的特征进行分类，最终分类为3种类别，分别为PCR、非PCR、非肿瘤三类。
8. 对上述分类结果与实际标签计算Swin Transformer的损失函数值
Figure 95825DEST_PATH_IMAGE027
，即一级级联网络的损失函数：
Figure 614531DEST_PATH_IMAGE028
其中，
Figure 651888DEST_PATH_IMAGE029
代表第i个样本中的第j类标签真实值（本实施例中取1），
Figure 323172DEST_PATH_IMAGE030
代表第i个样本最终经过softmax函数的预测结果为第j类的概率值，n表示样本的个数。
将一级级联网络即Swin Transformer 1网络分类得到的非PCR图像作为待分割图像输入到Swin Transformer unet当中进行语义分割，分割得到肿瘤区域。
图5是对非PCR图像进行语义分割的Swin Transformer unet级联网络的结构图。Swin Transformer unet大致由三部分组成，分别为左边的编码器（encoder）提取图像特征信息，下面的瓶颈层由2个Swin Transformer block组成，以及右边的解码器（decoder）将提取到的特征进行恢复并显示在图像当中。左边的编码器部分和一级级联操作一样，将Swin Transformer block + patch merging作为特征提取器得到提取到的特征图。Swintransformer block用于进行特征提取（每次都是由两个连续的Swin Transformer block组成，分别包含窗口自注意力机制(W-MSA)+ 滑动窗口自注意力机制(SW-MSA)），patchmerging用于进行下采样，对特征图的高度和宽度分别缩小一半，通道数增加一倍。
因为网络结构比较深，为避免在解码器中丢失编码器的浅层信息，特别是为了尽可能保留浅层中的边缘特征，所以这里使用了跳跃连接，将编码器中的浅层信息与解码器中特征进行融合，从而减少信息的丢失
解码器是为了对编码器提取的特征进行恢复，从而在最终与原图像同等形状下进行标记。因此，这里在解码器中需要对特征图进行扩充，因此使用了分块扩展（patchexpanding），其主要作用是进行特征图的扩充，本实施例使用双线性插值的方式对特征图进行上采样。分块扩展是先对长宽扩充为输入的两倍，使其输出能够和编码器中的特征图进行对齐，然后与之进行跳跃连接。
最后，通过分块映射（patch projection）将图像映射为掩膜（mask）图像特征。输出图中每个像素点均为二分类，即属于肿瘤区域与非肿瘤区域，所以最终的形成
Figure 669840DEST_PATH_IMAGE031
的mask图像。
特征图中的每个像素点与标记图像计算损失值如下：
Figure 423644DEST_PATH_IMAGE032
Figure 530272DEST_PATH_IMAGE033
Figure 305330DEST_PATH_IMAGE034
其中，L dice 是一种基于dice系数（计算集合相似度的系数）的损失，是基于IOU计算预测mask（记为
Figure 573631DEST_PATH_IMAGE035
）与标签mask（记为Y）之间的相似度。L bce 即二分类任务交叉熵损失函数，计算输出mask中每个像素点与标签mask之间的交叉熵。
Figure 83241DEST_PATH_IMAGE036
ij为该像素点的标签，
Figure DEST_PATH_IMAGE037
ij为该像素点的预测结果，h为标签mask（ground true）的高度，w为标签mask（ground true）的宽度，i、j为输出mask中的坐标点。L dice 与L bce 共同构成了Swin Transformer unet的损失值L 2。
图6是T分期预测的Swin Transformer 2网络的结构图。对上述Swin Transformerunet输出的mask图像进行T分期。该步骤中整体骨架与Swin Transformer 1类似。不同的是该步骤的输入图像为
Figure 318526DEST_PATH_IMAGE031
的mask图像。此外，该步骤是对图像进行T分期操作，预测的结果为4分类，分别为I、II、III、IV期。此步骤中的损失函数为：
Figure 433243DEST_PATH_IMAGE038
其中，
Figure 869516DEST_PATH_IMAGE029
代表第i个样本中的第j类标签真实值（本实施例中取1），
Figure 863493DEST_PATH_IMAGE030
代表第i个样本最终经过softmax函数的预测结果为第j类的概率值，n表示样本数。
图7是TRG预测的Swin Transformer 3网络的结构图。同理，对上述SwinTransformer unet输出的mask图像进行TRG分期。该级联中整体骨架与Swin Transformer1类似。不同的是该步骤的输入图像为
Figure 843081DEST_PATH_IMAGE031
的mask图像。此外，该步骤是对图像进行TRG分期操作，预测的结果为3分类，分别为 TRG1、TRG2、TRG3。此步骤中的损失函数为：
Figure 77885DEST_PATH_IMAGE039
其中，
Figure 219147DEST_PATH_IMAGE029
代表第i个样本中的第j类标签真实值（本实施例中取1），
Figure 155879DEST_PATH_IMAGE030
代表第i个样本最终经过softmax函数的预测结果为第j类的概率值，n表示样本数。
最终，对于级联transformer的网络损失函数如下：
1）对于T分期预测的损失函数为：
Figure 670650DEST_PATH_IMAGE040
其中，
Figure 759959DEST_PATH_IMAGE002
为Swin Transformer二级级联网络Swin Transformer unet的损失函数值，
Figure 524653DEST_PATH_IMAGE003
为Swin Transformer三级级联网络Swin Transformer 2中T分期的损失函数值，
Figure 683102DEST_PATH_IMAGE006
、
Figure 473335DEST_PATH_IMAGE041
为权重系数，这里调节
Figure 151572DEST_PATH_IMAGE002
和
Figure 352746DEST_PATH_IMAGE003
的占比比例，从而调节Swin Transformer unet损失函数与Swin Transformer 2中T分期损失函数的比例，这里是两个可调节的超参数。
2）TRG分期预测的损失函数为：
Figure 769731DEST_PATH_IMAGE042
其中，
Figure 347343DEST_PATH_IMAGE002
为二级级联网络Swin Transformer unet的损失函数值，
Figure 145666DEST_PATH_IMAGE005
为SwinTransformer三级级联网络Swin Transformer 3中TRG的损失函数值，
Figure 48900DEST_PATH_IMAGE006
、
Figure 198252DEST_PATH_IMAGE007
为权重系数，这里调节
Figure 595867DEST_PATH_IMAGE002
和
Figure 763543DEST_PATH_IMAGE005
的占比比例，从而调节Swin Transformer unet损失函数与SwinTransformer三级级联网络Swin Transformer 3中TRG分期损失函数的比例，这里是两个可调节的超参数。这里的
Figure 585481DEST_PATH_IMAGE006
与上面T分期预测的损失函数中的
Figure 690971DEST_PATH_IMAGE006
是同一个超参数。
需要注意的是，在本发明中，一级级联网络Swin Transformer 1并不与后面的级联网络一起训练，即其并不接收从二级、三级级联网络的反向传播，该级联网络自身单独训练。而二级级联网络Swin Transformer unet与三级级联网络Swin Transformer 2、SwinTransformer 3进行一起训练，共同决定最终的损失函数，同时进行反向传播与梯度更新。
基于同一发明构思，本发明的另一实施例提供一种电子装置（计算机、服务器、智能手机等），其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括5个软件模块，即前文所述的图像获取模块、预处理模块、图像分类模块、语义分割模块、预测模块，每个软件模块包括用于实现该软件模块的具体操作步骤、具体功能的指令。各软件模块的具体操作步骤、具体功能见前文对各模块的具体工作流程的说明。
基于同一发明构思，本发明的另一实施例提供一种计算机可读存储介质（如ROM/RAM、磁盘、光盘），所述计算机可读存储介质存储计算机程序，所述计算机程序包括5个软件模块，即前文所述的图像获取模块、预处理模块、图像分类模块、语义分割模块、预测模块，每个软件模块包括用于实现该软件模块的具体操作步骤、具体功能的指令。各软件模块的具体操作步骤、具体功能见前文对各模块的具体工作流程的说明。
以上公开的本发明的具体实施例，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例所公开的内容，本发明的保护范围以权利要求书界定的范围为准。

Claims (5)

1.一种结直肠癌放化疗反应自动预测系统，其特征在于，包括：
图像获取模块，用于采集结直肠癌放化疗相关的医学图像；
预处理模块，用于对图像获取模块采集的图像进行预处理；
图像分类模块，用于将预处理后的图像使用一级级联网络进行图像分类，得到的分类结果为3类，包括非肿瘤图像、PCR图像、非PCR图像；
语义分割模块，用于对分类得到的非PCR图像使用二级级联网络进行语义分割，以提取肿瘤区域；
预测模块，用于对提取出的肿瘤区域使用三级级联网络分别进行T分期预测以及TRG分期预测，得到基于T的分期预测结果以及基于TRG的分期预测结果；
所述一级级联网络、所述二级级联网络、所述三级级联网络采用Swin Transformer网络实现，分别称为Swin Transformer一级级联网络、Swin Transformer二级级联网络、SwinTransformer三级级联网络；所述Swin Transformer二级级联网络为Swin TransformerUnet网络；所述Swin Transformer三级级联网络包括T分期预测网络和TRG分期预测网络；
所述Swin Transformer一级级联网络的处理过程包括：
获得预处理好的待分类图像，将其构建好训练集输入到所述Swin Transformer一级级联网络中；
对输入的图像进行分块处理，然后进行分块嵌入处理；
将图像输入三阶段的Swin Transformer block，其中：阶段一包括2个SwinTransformer block和1个分块合并模块，2个Swin Transformer block进行连接，其中一个是基于窗口自注意力机制，另一个是基于滑动窗口自注意力机制；阶段二包括6个SwinTransformer block和1个分块合并模块，6个Swin Transformer block分为3组，每组中一个是基于窗口自注意力机制，另一个是基于滑动窗口自注意力机制；阶段三与阶段一结构相似，包括2个Swin Transformer block和1个分块合并模块；
采用适应池化层对阶段三的输出进行池化操作；
采用线性分类层对池化操作后的所有特征进行分类，分为3类，包括非肿瘤图像、PCR图像、非PCR图像；
所述Swin Transformer Unet由三部分组成，分别为左边的编码器，下面的瓶颈层即2个Swin Transformer block，以及右边的解码器；在解码器中使用分块扩展进行特征图的扩充，以和编码器中的特征图进行对齐，然后与编码器进行跳跃连接；通过跳跃连接将编码器中的浅层信息与解码器中的特征进行融合以减少信息丢失；所述Swin TransformerUnet通过分块映射将图像映射为掩膜图像特征，输出图中每个像素点均为二分类，即属于肿瘤区域与非肿瘤区域；
所述T分期预测网络对图像进行T分期操作，预测的结果为4分类，分别为I、II、III、IV期；所述TRG分期预测网络对图像进行TRG分期操作，预测的结果为3分类，分别为TRG1、TRG2、TRG3；
T分期预测的损失函数为：
LT＝λ2L2+λ3L3
其中，L2为二级级联网络的损失函数值，L3为三级级联网络中T分期的损失函数值，λ2、λ3为权重系数；
TRG分期预测的损失函数为：
LTRG＝λ2L2+λ4L4
其中，L2为二级级联网络的损失函数值，L4为三级级联网络中TRG分期的损失函数值，λ2、λ4为权重系数，其中λ2与T分期预测的损失函数中的λ2是同一个超参数。
2.根据权利要求1所述的系统，其特征在于，所述采集结直肠癌放化疗相关的医学图像，包括：
采集局部进展期直肠癌患者在接受新辅助放化疗nCRT前一周的T2-MRI图像；
采集局部进展期直肠癌患者在接受新全直肠系膜切除手术TME前一周的T2-MRI图像。
3.根据权利要求1所述的系统，其特征在于，所述一级级联网络不与所述二级级联网络、所述三级级联网络一起进行训练，而是单独训练；所述二级级联网络与所述三级级联网络一起进行训练，共同决定最终的损失函数，同时进行反向传播与梯度更新。
4.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于实现权利要求1～3中任一项所述系统的图像获取模块、预处理模块、图像分类模块、语义分割模块、预测模块的功能的指令。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序包括实现权利要求1～3中任一项所述系统的图像获取模块、预处理模块、图像分类模块、语义分割模块、预测模块的功能的指令。
CN202211082384.7A 2022-09-06 2022-09-06 一种结直肠癌放化疗反应自动预测系统 Active CN115170564B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211082384.7A CN115170564B (zh) 2022-09-06 2022-09-06 一种结直肠癌放化疗反应自动预测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211082384.7A CN115170564B (zh) 2022-09-06 2022-09-06 一种结直肠癌放化疗反应自动预测系统

Publications (2)

Publication Number Publication Date
CN115170564A CN115170564A (zh) 2022-10-11
CN115170564B true CN115170564B (zh) 2022-12-02

Family

ID=83480779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211082384.7A Active CN115170564B (zh) 2022-09-06 2022-09-06 一种结直肠癌放化疗反应自动预测系统

Country Status (1)

Country Link
CN (1) CN115170564B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036765A (zh) * 2022-11-09 2023-11-10 腾讯科技（深圳）有限公司 图像分类模型处理及图像分类方法、装置和计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108922602A (zh) * 2018-05-28 2018-11-30 中山大学附属第六医院 基于大数据分析mri图像的直肠癌术前同期新辅助放化疗疗效评估系统和方法
CN109259780A (zh) * 2018-07-24 2019-01-25 南方医科大学南方医院 基于增强ct影像组学的胃癌预后和化疗获益的辅助评估系统与方法
CN114170183A (zh) * 2021-12-07 2022-03-11 南昌大学 一种基于病理图像的卵巢癌患者化疗敏感性的预测方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005118858A1 (en) * 2004-05-28 2005-12-15 Board Of Regents, The University Of Texas System Multigene predictors of response to chemotherapy
US8280002B2 (en) * 2010-07-01 2012-10-02 Siemens Medical Solutions Usa, Inc. Radiation treatment of moving targets

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108922602A (zh) * 2018-05-28 2018-11-30 中山大学附属第六医院 基于大数据分析mri图像的直肠癌术前同期新辅助放化疗疗效评估系统和方法
CN109259780A (zh) * 2018-07-24 2019-01-25 南方医科大学南方医院 基于增强ct影像组学的胃癌预后和化疗获益的辅助评估系统与方法
CN114170183A (zh) * 2021-12-07 2022-03-11 南昌大学 一种基于病理图像的卵巢癌患者化疗敏感性的预测方法及系统

Also Published As

Publication number Publication date
CN115170564A (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
Adegun et al. Deep learning techniques for skin lesion analysis and melanoma cancer detection: a survey of state-of-the-art
CN109063710B (zh) 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
CN109447998B (zh) 基于PCANet深度学习模型下的自动分割方法
CN112785592A (zh) 基于多重扩张路径的医学影像深度分割网络
CN115631127B (zh) 一种工业缺陷检测的图像分割方法
CN112163599B (zh) 一种基于多尺度多层次融合的图像分类方法
CN111627024A (zh) 一种改进U-net的肾脏肿瘤分割方法
NL2029876B1 (en) Deep residual network-based classification system for thyroid cancer computed tomography (ct) images
CN111524140B (zh) 基于cnn和随机森林法的医学图像语义分割方法
CN111723817B (zh) 一种肺结节辅助检测方法
Gehlot et al. Ednfc-net: Convolutional neural network with nested feature concatenation for nuclei-instance segmentation
CN115170564B (zh) 一种结直肠癌放化疗反应自动预测系统
Rana et al. Classifying breast cancer using transfer learning models based on histopathological images
CN113192076A (zh) 联合分类预测和多尺度特征提取的mri脑肿瘤图像分割方法
Sulam et al. Maximizing AUC with Deep Learning for Classification of Imbalanced Mammogram Datasets.
Lai et al. Toward accurate polyp segmentation with cascade boundary-guided attention
CN115239613B (zh) 基于集成深度学习的全视野数字切片图像分类建模方法及装置
CN114037699B (zh) 一种病理图像分类方法、设备、系统及存储介质
Wang et al. Automatic liver segmentation using EfficientNet and Attention-based residual U-Net in CT
CN117994587A (zh) 一种基于深度学习两阶段推理网络的病理图像分类方法
CN113269734B (zh) 一种基于元学习特征融合策略的肿瘤图像检测方法及装置
Le et al. RRc-UNet 3D for lung tumor segmentation from CT scans of Non-Small Cell Lung Cancer patients
Heidarian et al. Cae-transformer: Transformer-based model to predict invasiveness of lung adenocarcinoma subsolid nodules from non-thin section 3d ct scans
Qiu et al. Segmentation of Multiple Myeloma Cells Using Feature Selection Pyramid Network and Semantic Cascade Mask RCNN
Kakumani et al. Segmentation of Cell Nuclei in Microscopy Images using Modified ResUNet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant