CN115170568A - 直肠癌图像自动分割方法和系统及放化疗反应预测系统 - Google Patents

直肠癌图像自动分割方法和系统及放化疗反应预测系统 Download PDF

Info

Publication number
CN115170568A
CN115170568A CN202211086584.XA CN202211086584A CN115170568A CN 115170568 A CN115170568 A CN 115170568A CN 202211086584 A CN202211086584 A CN 202211086584A CN 115170568 A CN115170568 A CN 115170568A
Authority
CN
China
Prior art keywords
module
network
obtaining
image
attention module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211086584.XA
Other languages
English (en)
Other versions
CN115170568B (zh
Inventor
夏邵君
孙应实
朱海涛
孔祥星
李晓婷
孙瑞佳
管真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Cancer Hospital
Original Assignee
Beijing Cancer Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Cancer Hospital filed Critical Beijing Cancer Hospital
Priority to CN202211086584.XA priority Critical patent/CN115170568B/zh
Publication of CN115170568A publication Critical patent/CN115170568A/zh
Application granted granted Critical
Publication of CN115170568B publication Critical patent/CN115170568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/17—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered via infusion or injection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Molecular Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medicinal Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种直肠癌图像自动分割方法和系统及放化疗反应预测系统，属于信息技术、医疗技术领域。本发明采集局部进展期直肠癌患者在接受新辅助放化疗前后的T2‑MRI图像和DWI‑MRI图像，得到前后2个模态共4类图像；将4类图像分别输入基于U‑Net网络的病灶分割网络，得到图像分割结果，所述病灶分割网络在编码阶段、编码‑解码交接处、解码阶段分别引入高效通道注意力模块、双重注意力模块以及高效金字塔压缩注意力模块；然后将图像分割结果输入特征提取网络得到4类特征，将4类特征进行特征融合后输入分类网络，得到输出值，完成病理完全缓解PCR指标的预测。本发明能够进行准确的直肠癌图像病灶分割以及病理完全缓解PCR指标预测。

Description

直肠癌图像自动分割方法和系统及放化疗反应预测系统
技术领域
本发明属于信息技术、医疗技术领域，具体涉及一种基于T2加权图像（T2-MRI）和扩散加权图像（DWI-MRI）的直肠癌图像自动分割方法和系统以及放化疗反应预测系统。
背景技术
对于局部进展期直肠癌（LARC）患者，新辅助放化疗（NCRT）加全直肠系膜切除手术(TME)已经成为标准治疗方法。大量临床实验证实，在进行新辅助放化疗（NCRT）后，约70%患者会的肿瘤会出现降期或退缩，约20%患者能达到病理完全缓解（PCR）。因此，对新辅助放化疗（NCRT）反应进行有效预测，对结直肠癌患者后期治疗方案的决策具有重要意义。
目前，常规的方法主要基于影像组学的方法，通过提取影像特征指标，结合支持向量机、贝叶斯网络、决策树、随机森林等机器学习算法，构建预测模型。该流程存在以下几点问题：（1）组学指标的确定与筛选依赖医生的临床经验，或者医生加特征提取软件的配合。（2）建模过程图像特征信息丢失信息过多，导致一般ROC曲线AUC值无法达到很高。（3）该过程实际上是半自动化过程，耗费时间长。（4）对于接近病理完全缓解（PCR）的患者，医生描述病灶区域存在困难。
发明内容
本发明的目的在于提供一种基于T2加权图像（T2-MRI）和扩散加权图像（DWI-MRI）的局部进展期直肠癌图像在新辅助放化疗（NCRT）后病灶的自动化分割框架以及分类的方案，从而进行准确的直肠癌图像病灶分割以及病理完全缓解（PCR）指标预测。
本发明采用的技术方案如下：
一种直肠癌图像自动分割方法，包括以下步骤：
采集局部进展期直肠癌患者在接受新辅助放化疗前后的T2-MRI图像和DWI-MRI图像，得到4类图像；
将4类图像分别输入基于U-Net网络的病灶分割网络，所述病灶分割网络在编码阶段、编码-解码交接处、解码阶段分别引入高效通道注意力模块、双重注意力模块以及高效金字塔压缩注意力模块；
经过所述病灶分割网络的编码阶段和解码阶段的处理，得到图像分割结果。
进一步地，所述病灶分割网络在编码阶段得到特征图M1-M5以及S1-S4，得到所述M1-M5以及S1-S4的步骤包括：
将输入图像X经过提取特征操作改变特征图通道数量，得到特征图M1，M1经高效通道注意力模块后得到S1；
Si经过最大池化操作改变Si的大小，再经过特征提取操作得到特征图Mi+1，其中i为特征图索引，i=1，2，3，4，Mi+1经高效通道注意力模块得到Si+1；所述Mi+1分别为M2，M3，M4，M5；所述Si+1分别为S2，S3，S4。
进一步地，M5经过双重注意力模块得到Md，得到所述Md的步骤包括：
M5分别通过位置注意力模块和通道力注意模块；
经过位置力模块时，将M5放入卷积层，生成两个新的特征图P1和P2，然后将其重塑为C×N，其中C为通道数，N=H×W为像素数；然后对P1和P2的转置进行矩阵乘法，应用激活函数得到P3，同时将M5放入卷积层，生成新的特征图P4，在P4和P3的转置之间进行矩阵乘法，并乘以尺度参数α进行逐元素求和，最终得到位置注意图P；
M5经过通道注意力模块时，直接计算通道注意图C1，然后对C和C的转置矩阵进行矩阵乘法，最后应用激活函数得到通道注意图C；
将通道注意图C和位置注意图P进行求和融合，得到Md。
进一步地，Md经过解码阶段得到图像分割结果，解码阶段包括：
定义U5＝Md，将Bi+1经过上采样操作改变特征图大小，得到特征图；
将特征图与Mi经过高效金字塔压缩注意力模块，得到特征图Ui；
将Ui经过还原特征操作得到特征图Bi，其中i为特征图索引，i＝4 ,3 ,2 ,1，所述Bi分别为B4，B3，B2，B1；
将B1通过卷积操作得到输出
Figure 39456DEST_PATH_IMAGE001
。
一种直肠癌图像自动分割系统，其包括：
图像采集模块，用于采集局部进展期直肠癌患者在接受新辅助放化疗前后的T2-MRI图像和DWI-MRI图像，得到4类图像；
图像分割模块，用于将4类图像分别输入基于U-Net网络的病灶分割网络，所述病灶分割网络在编码阶段、编码-解码交接处、解码阶段分别引入高效通道注意力模块、双重注意力模块以及高效金字塔压缩注意力模块，经过所述病灶分割网络的编码阶段和解码阶段的处理，得到图像分割结果。
一种直肠癌放化疗反应预测系统，其包括：
特征提取模块，用于将上述直肠癌图像自动分割方法得到的图像分割结果分别输入特征提取网络，通过特征提取网络进行特征提取并得到4类特征；
预测模块，用于将4类特征进行特征融合后输入分类网络，得到输出值，完成病理完全缓解PCR指标的预测。
进一步地，所述特征提取网络将所述病灶分割网络得到的图像分割结果依次经过5个卷积模块，每个卷积模包括卷积层、批标准化层和最大池化层；每经历一个卷积模块，与最大池化层相结合以实现特征提取，得到特征图；将第5个卷积模块得到的特征图输入到一个由2D卷积层、批标准化层以及扁平化层组成的卷积模块后，得到特征提取结果。
进一步地，所述分类网络中分别输入经过所述特征提取网络后得到的4种模态的特征，在分类网络的连接层做特征融合，然后经过全连接层、随机失活、全连接层、全连接层后，得到病理完全缓解PCR指标的预测值。
本发明的有益效果如下：
1.本发明同时利用了T2加权图像（T2-MRI）和扩散加权图像（DWI-MRI）进行多模态分析，可以降低图像中噪声、局部溶剂效应和强度重叠的影像。
2.自动分割方法的引入与创新，极大增加了分割的准确度以及极大的减少了人工分割的时间。
3.注意机制已经被证明是增强深层卷积神经网络的一种潜在手段，引入注意力模块通过避免降维和适当的跨渠道交互实现了具有较高的精度的同时降低模型复杂度。
4.双重注意力模块（DA）分别在空间维度和通道维度上对语义相关性进行建模。位置注意力模块通过所有位置特征的加权和有选择的聚合每个位置的特征，不管距离有多远，相似的特征都是相互关联的，同时，通道注意力模块通过整合所有通道图之间的关联特征，有选择地强调互相依赖的通道图。两个模块的输出相加，进一步改进特征表示，从而得到更加准确的分割结果。
5.提出的网络结构可以为各种计算机视觉任务提供更强的多尺度表示能力，包括但不限于图像分类、目标检测、实例分割等。
附图说明
图1为本发明的基于U-Net网络并引入3种注意力模块的图像分割方法的流程图。
图2为本发明的高效通道注意力模块（ECA）的结构示意图。
图3为本发明的双重注意力模块（DA）的结构示意图。
图4为本发明的高效金字塔压缩注意力模块（EPSA）的结构示意图。
图5为本发明的提取特征操作与还原特征操作的结构示意图。
图6为本发明的特征提取网络结构示意图。
图7为本发明的分类网络结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。
本发明提出一种基于T2加权的磁共振成像（T2-MRI）和扩散加权的磁共振成像（DWI-MRI）的直肠癌图像的自动分割方法和系统以及直肠癌放化疗反应预测系统，并引入自适应分割纠错机制，引入空间注意力机制和通道注意力机制，以及多径路轻量卷积网络。本发明的主要内容包括：
1.采集局部进展期直肠癌（LARC）患者在接受新辅助放化疗（NCRT）前一周的T2加权图像（T2-MRI）和扩散加权图像（DWI-MRI），采集局部进展期直肠癌（LARC）患者在接受新全直肠系膜切除手术(TME)前一周的T2加权图像（T2-MRI）和扩散加权图像（DWI-MRI），前后2个模态共4类图像。
2.对采集的图像采用SimpleITK进行N4偏置场校正（N4BiasFieldCorrection），采用配准、裁剪、增强等预处理手段对图像进行配准和归一化。
3.将4类图像X1-X4分别输入病灶分割网络，得到精确分割的病灶
Figure 222175DEST_PATH_IMAGE002
。病灶分割网络采用基于U-Net网络的图像分割方法，在编码阶段、编码-解码交接处、解码阶段分别引入高效通道注意力模块（ECA）、双重注意力模块（DA）以及高效金字塔压缩注意力模块（EPSA）。
4.基于步骤3，直肠癌放化疗反应预测系统将
Figure 64229DEST_PATH_IMAGE002
分别输入特征提取网络，通过特征提取网络进行特征提取并得到4类特征，将4类特征进行特征融合后输入分类网络，得到输出值Y，完成病理完全缓解（PCR）指标的预测。
本发明的一个实施例中，提供一种基于T2加权的磁共振成像（T2-MRI）和扩散加权的磁共振成像（DWI-MRI）的直肠癌图像的自动分割的方法，具体包括以下步骤：
步骤1：采集局部进展期直肠癌（LARC）患者在接受新辅助放化疗（NCRT）前一周的T2加权图像（T2-MRI）和扩散加权图像（DWI-MRI），采集局部进展期直肠癌（LARC）患者在接受新全直肠系膜切除手术(TME)前一周的T2加权图像（T2-MRI）和扩散加权图像（DWI-MRI），前后2个模态共4类图像。
步骤2：对采集的图像采用SimpleITK进行N4偏置场校正（N4BiasFieldCorrection），采用配准、裁剪、增强等预处理手段对图像进行配准和归一化。
步骤3：将4类图像X1-X4分别输入病灶分割网络，如图1所示，根据图像大小将其定义为T×H×W的3维特征数组，表示为：Xi(T×H×W)。
本实施例中，根据读取的待分割MRI图像的大小，将读取到的磁共振图像定义为大小为1×256×256的3维特征数组，表示为：Xi(1×256×256)，其中第一个维度为1，代表Xi的通道数量，第二个维度和第三个维度均为256，代表Xi的特征图大小。
步骤4：在编码阶段，首先将输入图片X经过提取特征操作改变特征图通道数量，得到特征图M1（C×H×W），M1经ECA模块后得到S1（C×H×W）。
特征图M1经过高效通道注意力模块（ECA）得到S1的方法为,如图2所示：M1（C×H×W）经全局平均池化后得到M1’（1×1×C），高效通道注意力模块（ECA）通过对大小为K的快速1D卷积生成信道权值M1’’（ 1×1×C），在不降维的全局平均池化后考虑每个通道及其K个邻通道来捕获局部跨通道交互。M1’’经激活函数激活后得到M1’’’ （ 1×1×C）,M1’’’与M1进行元素积融合后得到S1（C×H×W）。
S1经过编码过程最终得到M5的方法为：Si经过最大池化操作改变Si的大小，再经过特征提取操作得到特征图Mi+1，其中i为特征图索引（i=1，2，3，4），Mi+1经高效通道注意力模块（ECA）得到Si+1。所述Mi+1分别为M2（2C×
Figure 524685DEST_PATH_IMAGE003
×
Figure 260429DEST_PATH_IMAGE004
）, M3（4C×
Figure 551733DEST_PATH_IMAGE005
×
Figure 474558DEST_PATH_IMAGE006
）,M4（8C×
Figure 876721DEST_PATH_IMAGE007
×
Figure 670233DEST_PATH_IMAGE008
）,M5（8C×
Figure 791161DEST_PATH_IMAGE009
×
Figure 201282DEST_PATH_IMAGE010
）；所述Si+1分别为S2（2C×
Figure 469453DEST_PATH_IMAGE003
×
Figure 117472DEST_PATH_IMAGE004
）, S3（4C×
Figure 609633DEST_PATH_IMAGE005
×
Figure 179154DEST_PATH_IMAGE006
）,S4（8C×
Figure 531243DEST_PATH_IMAGE007
×
Figure 830507DEST_PATH_IMAGE008
）。
图5是所述提取特征操作的结构示意图，所述提取特征操作，由串行的两组操作构成，其中每组所述操作由串行的卷积操作、数据归一化（标准化）操作和激活操作构成。进行特征提取的详细过程为：先将输入图像经过提取特征操作中的一组操作即串行的卷积操作(在本例中所有的卷积操作中卷积核为3×3大小，步长为1，不同点在于卷积核的数量，即输出结果中特征图的通道数)、数据归一化操作和激活操作，得到特征图后再经过提取特征操作中的另一组操作即串行的卷积操作、数据归一化操作和激活操作得到特征图M1 (64×256×256)。
M1经过高效通道注意力模块（ECA）得到S1（64×256×256），对S1进行特征提取，将S1经过最大值池化操作改变特征图大小，再提取特征操作，改变特征图通道数量，得到特征图M2；在本例中，将S1经过池化窗口大小为2×2的最大值池化操作以及提取特征操作，得到特征图M2(128×128×128)。M2经高效通道注意力模块（ECA）得到S2(128×128×128)。
按照上述方法，依次对Si进行特征提取，经过最大值池化操作以及提取特征操作，得到特征图 Mi+1，经ECA模块后得到Si+1。Mi+1经高效通道注意力模块（ECA）得到Si+1。所述Mi+1分别为M3（256×64×64）, M4（512×32×32）,M5（512×16×16）；所述Si分别为S3（256×64×64）, S4（512×32×32）。
步骤5：M5经过双重注意力模块（DA）得到Md的具体过程为：M5分别通过位置注意力模块和通道注意力模块。经过位置注意力模块时，将M5放入一个卷积层，生成两个新的特征图P1（C×H×W）和P2（C×H×W），然后将其重塑为C×N，其中N=H×W为像素数。然后对P1和P2的转置进行矩阵乘法，应用激活函数（softmax层）得到P3(N×N)。同时将M5放入卷积层，生成新的特征图P4，在P4和P3的转置之间进行矩阵乘法，并乘以尺度参数α进行逐元素求和，最终得到位置注意图P。M5经过通道注意力模块时，直接计算通道注意图C1，然后对C和C的转置矩阵进行矩阵乘法，最后应用激活函数（softmax层）得到通道注意图C。再将通道注意图C和位置注意图P进行求和融合，得到Md（C×H×W）。在本例中，所述C、P、Md均为（512×16×16）。双重注意力模块（DA）的结构如图3所示。
步骤6：将高效金字塔压缩注意力模块（EPSA）引入解码阶段，替换U-Net网络中每次跳跃连接后的拼接操作，然后将Md经过解码阶段进行特征还原得到精确分割的病灶
Figure 575127DEST_PATH_IMAGE011
，
Figure 694262DEST_PATH_IMAGE011
与X相同大小，根据
Figure 304235DEST_PATH_IMAGE011
结合预设的阈值得到图像的分割结果。
在本例中，将Md经过解码阶段进行特征还原得到
Figure 723584DEST_PATH_IMAGE011
的方法为：首先定义U5＝Md，将Bi+1经过上采样操作改变特征图大小，得到特征图，然后将特征图与Mi经过高效金字塔压缩注意力模块（EPSA），得到特征图Ui；又然后将Ui经过还原特征操作得到特征图Bi，其中i为特征图索引，i＝4 ,3 ,2 ,1，所述Bi分别为B4（4C×
Figure 291968DEST_PATH_IMAGE007
×
Figure 573433DEST_PATH_IMAGE008
）, B3（2C×
Figure 252676DEST_PATH_IMAGE005
×
Figure 995372DEST_PATH_IMAGE006
）,B2（C×
Figure 238DEST_PATH_IMAGE003
×
Figure 234910DEST_PATH_IMAGE004
）, B1(C×H×W)；最后将B1通过卷积操作得到输出
Figure 452265DEST_PATH_IMAGE012
。
高效金字塔压缩注意力模块（EPSA）主要由四个步骤实现，如图4所示，首先通过实现压缩合并模块（SPC）获得通道上的多尺度特征图，其次利用压缩激励权重模块（SEWeight）提取不同尺度特征图的注意力，得到基于通道的注意力向量，获得多尺度信道的重标定权值。最后对重新标定的权值和对应的特征图进行逐元素乘积运算得到一个精细化的多尺度特征信息更丰富的特征图作为输出。
高效金字塔压缩注意力模块（EPSA）实现多尺度特征提取的基本算子是压缩合并模块（SPC），采用多支路的方式提取输入特征土地空间信息，每个支路的输入通道数为C。利用金字塔结构中的多尺度卷积核可以生成不同的空间分辨率和深度。通过压缩输入张量的通道维数，有效提取每个通道图上不同尺度的空间信息。最后每个具有不同尺度Fi的特征映射的公共信道维度，i=0，1，…，S-1 。对于每个分支，它独立学习多尺度的空间信息，并以局部的方式建立跨通道交互作用。
在本例中，对B5进行特征还原得到特征图B4的详细过程为：先将B5经过上采样操作改变特征图大小，得到特征图，再将特征图与M4经过高效金字塔压缩注意力模块（EPSA），得到特征图U4 (512×16×16)；然后将U4经过还原特征操作中的一组操作即串行的卷积操作、数据归一化操作和激活操作改变通道数量，得到特征图， 再将特征图经过还原特征操作中的另一组操作即串行的卷积操作、数据归一化操作和激活操作得到特征图B4 (256×32×32)。
按照上述方法，依次对Bi进行特征提取，经过上采样操作改变特征图大小，得到特征图，再将特征图与Mi-1经过高效金字塔压缩注意力模块（EPSA），得到特征图Ui-1；然后将Ui-1经过还原特征操作中的一组操作即串行的卷积操作、 数据归一化操作和激活操作改变通道数量，得到特征图， 再将特征图经过还原特征操作中的另一组操作即串行的卷积操作、数据归一化操作和激活操作得到特征图Bi-1。所述Bi分别为B3（128×64×64）, B2（64×128×128）,B1（64×256×256）；所述Ui-1分别为U3（256×32×32）, U2（128×64×64）, U1（64×128×128）。
本发明的一个实施例中，提供一种直肠癌图像自动分割系统，其包括：
图像采集模块，用于采集局部进展期直肠癌患者在接受新辅助放化疗前后的T2-MRI图像和DWI-MRI图像，得到前后2个模态共4类图像；
图像分割模块，用于将4类图像分别输入基于U-Net网络的病灶分割网络，所述病灶分割网络在编码阶段、编码-解码交接处、解码阶段分别引入高效通道注意力模块、双重注意力模块以及高效金字塔压缩注意力模块，经过所述病灶分割网络的编码阶段和解码阶段的处理，得到图像分割结果。
其中图像采集模块、图像分割模块的具体操作步骤间前文步骤1~6的说明。
本发明的一个实施例中，提供一种直肠癌放化疗反应预测系统，该系统通过以下两个模块，实现直肠癌放化疗反应预测：
特征提取模块，用于将本发明的直肠癌图像自动分割方法得到的图像分割结果分别输入特征提取网络，通过特征提取网络进行特征提取并得到4类特征。特征提取网络的结构如图6所示。将病灶分割网络得到的
Figure 40679DEST_PATH_IMAGE013
重采样为（16×128×128），依次经过5个卷积模块（卷积层-批标准化层-最大池化层），每经历一个卷积模块，与最大池化层相结合，实现特征提取，得到特征图F，5个特征图分别表示为F1（32×64×64），F2（48×32×32），F3（64×16×16），F4（80×8×8），F5（96×4×4）。将F5输入到一个由2D卷积层（Conv2D）、批标准化层（BatchNormalization）以及扁平化层（Flatten）组成的卷积模块后得到F6（16×1）。
预测模块，用于将4类特征进行特征融合后输入分类网络，得到输出值，完成病理完全缓解PCR指标的预测。分类网络的结构如图7所示，将进行新辅助放化疗（NCRT）前后T2加权图像（T2-MRI）和扩散加权图像（DWI-MRI）的感兴趣区共4个模态的图像输入分类网络，即基于步骤7，在分类网络中分别输入经过特征提取网络后得到的4种模态的特征，分别表示为F1,6，F2,6，F3,6，F4,6。将F1,6，F2,6，F3,6，F4,6统一输入到分类网络的连接层做特征融合，得到Cd（64×1）。Cd输入到最后的全连接层，经过全连接层（Dense）、随机失活（Dropout）、全连接层（Dense）、全连接层（Dense）后分别得到D1（128×1），D2（128×1），D3（32×1），D4（2×1），D4即为最终病理完全缓解（PCR）指标的预测值Y。
本发明的一个实施例中，提供一种基于U-Net网络的直肠癌图像自动分割方法，包括以下步骤：
步骤1：分别采集局部进展期直肠癌（LARC）患者在接受新辅助放化疗（NCRT）前后的T2加权图像（T2-MRI）和扩散加权图像（DWI-MRI），前后2个模态共4类图像。
步骤2：将4类图像X1-X4分别输入病灶分割网络，根据图像大小将其定义为T×H×W的3维特征数组，表示为：Xi(T×H×W)。
步骤3：在编码阶段加入高效通道注意力模块（ECA）得到特征图M1-M5以及S1-S4，并将M5经过双重注意力模块（DA）得到Md。
步骤4：在解码阶段加入高效金字塔压缩注意力模块（EPSA），Md经过解码阶段进行特征还原得到分割结果
Figure 278762DEST_PATH_IMAGE014
。
其中，所述图像经过编码阶段得到特征图M1-M5以及S1-S4的方法为：首先将X经过提取特征操作改变特征图通道数量，得到特征图M1（C×H×W），M1经高效通道注意力模块（ECA）后得到S1（C×H×W）。Si经过最大池化操作改变Si的大小，再经过特征提取操作得到特征图Mi+1，其中i为特征图索引（i=1，2，3，4），Mi+1经高效通道注意力模块（ECA）得到Si+1 。所述Mi+1分别为M2（2C×H/2×W/2）, M3（4C×H/4×W/4）,M4（8C×H/8×W/8）,M5（8C×H/16×W/16）；所述Si+1分别为S2（2C×H/2×W/2）, S3（4C×H/4×W/4）,S4（8C×H/8×W/8）。
其中，所述M5经过双重注意力模块（DA）得到Md的具体过程为：M5分别通过位置注意力模块和通道力注意模块。经过位置力模块时，将M5放入卷积层，生成两个新的特征图P1（C×H×W）和P2（C×H×W）。然后将其重塑为C×N，其中N=H×W为像素数。然后对P1和P2的转置进行矩阵乘法，应用激活函数（softmax层）得到P3(N×N)。同时将M5放入卷积层，生成新的特征图P4，在P4和P3的转置之间进行矩阵乘法，并乘以尺度参数α进行逐元素求和，最终得到P。M5经过通道注意力模块时，直接计算通道注意图C1，然后对C和C的转置矩阵进行矩阵乘法，最后应用激活函数（softmax层）得到通道注意图C。再将通道注意图C和位置注意图P进行求和融合，得到Md（C×H×W）。
其中，所述Md经过解码阶段得到分割结果的具体过程为：首先定义U5＝Md，将Bi+1经过上采样操作改变特征图大小，得到特征图，然后将特征图与Mi经过高效金字塔压缩注意力模块（EPSA），得到特征图Ui；又然后将Ui经过还原特征操作得到特征图Bi，其中i为特征图索引，i＝4 ,3 ,2 ,1，所述Bi分别为B4（4C×H/8×W/8）, B3（2C×H/4×W/4）,B2（C×H/2×W/2）, B1(C×H×W)；最后将B1通过卷积操作得到输出
Figure 859785DEST_PATH_IMAGE015
。
本发明的另一实施例提供一种电子装置（计算机、服务器、智能手机等），其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。
本发明的另一实施例提供一种计算机可读存储介质（如ROM/RAM、磁盘、光盘），所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。
以上公开的本发明的具体实施例，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例所公开的内容，本发明的保护范围以权利要求书界定的范围为准。

Claims (10)

1.一种直肠癌图像自动分割方法，其特征在于，包括以下步骤：
采集局部进展期直肠癌患者在接受新辅助放化疗前后的T2-MRI图像和DWI-MRI图像，得到4类图像；
将4类图像分别输入基于U-Net网络的病灶分割网络，所述病灶分割网络在编码阶段、编码-解码交接处、解码阶段分别引入高效通道注意力模块、双重注意力模块以及高效金字塔压缩注意力模块；
经过所述病灶分割网络的编码阶段和解码阶段的处理，得到图像分割结果。
2.根据权利要求1所述的方法，其特征在于，所述病灶分割网络在编码阶段得到特征图M1-M5以及S1-S4，得到所述M1-M5以及S1-S4的步骤包括：
将输入图像X经过提取特征操作改变特征图通道数量，得到特征图M1，M1经高效通道注意力模块后得到S1；
Si经过最大池化操作改变Si的大小，再经过特征提取操作得到特征图Mi+1，其中i为特征图索引，i=1，2，3，4，Mi+1经高效通道注意力模块得到Si+1；所述Mi+1分别为M2，M3，M4，M5；所述Si+1分别为S2，S3，S4。
3.根据权利要求2所述的方法，其特征在于，M5经过双重注意力模块得到Md，得到所述Md的步骤包括：
M5分别通过位置注意力模块和通道力注意模块；
经过位置力模块时，将M5放入卷积层，生成两个新的特征图P1和P2，然后将其重塑为C×N，其中C为通道数，N=H×W为像素数；然后对P1和P2的转置进行矩阵乘法，应用激活函数得到P3，同时将M5放入卷积层，生成新的特征图P4，在P4和P3的转置之间进行矩阵乘法，并乘以尺度参数α进行逐元素求和，最终得到位置注意图P；
M5经过通道注意力模块时，直接计算通道注意图C1，然后对C和C的转置矩阵进行矩阵乘法，最后应用激活函数得到通道注意图C；
将通道注意图C和位置注意图P进行求和融合，得到Md。
4.根据权利要求3所述的方法，其特征在于，Md经过解码阶段得到图像分割结果，解码阶段包括：
定义U5＝Md，将Bi+1经过上采样操作改变特征图大小，得到特征图；
将特征图与Mi经过高效金字塔压缩注意力模块，得到特征图Ui；
将Ui经过还原特征操作得到特征图Bi，其中i为特征图索引，i＝4 ,3 ,2 ,1，所述Bi分别为B4，B3，B2，B1；
将B1通过卷积操作得到输出
Figure 479977DEST_PATH_IMAGE001
。
5.一种直肠癌图像自动分割系统，其特征在于，包括：
图像采集模块，用于采集局部进展期直肠癌患者在接受新辅助放化疗前后的T2-MRI图像和DWI-MRI图像，得到4类图像；
图像分割模块，用于将4类图像分别输入基于U-Net网络的病灶分割网络，所述病灶分割网络在编码阶段、编码-解码交接处、解码阶段分别引入高效通道注意力模块、双重注意力模块以及高效金字塔压缩注意力模块，经过所述病灶分割网络的编码阶段和解码阶段的处理，得到图像分割结果。
6.一种直肠癌放化疗反应预测系统，其特征在于，包括：
特征提取模块，用于将权利要求1~4中任一项所述方法得到的图像分割结果分别输入特征提取网络，通过特征提取网络进行特征提取并得到4类特征；
预测模块，用于将4类特征进行特征融合后输入分类网络，得到输出值，完成病理完全缓解PCR指标的预测。
7.根据权利要求6所述的系统，其特征在于，所述特征提取网络将所述病灶分割网络得到的图像分割结果依次经过5个卷积模块，每个卷积模包括卷积层、批标准化层和最大池化层；每经历一个卷积模块，与最大池化层相结合以实现特征提取，得到特征图；将第5个卷积模块得到的特征图输入到一个由2D卷积层、批标准化层以及扁平化层组成的卷积模块后，得到特征提取结果。
8.根据权利要求6所述的系统，其特征在于，所述分类网络中分别输入经过所述特征提取网络后得到的4种模态的特征，在分类网络的连接层做特征融合，然后经过全连接层、随机失活、全连接层、全连接层后，得到病理完全缓解PCR指标的预测值。
9.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1~4中任一项所述方法的指令。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1~4中任一项所述的方法。
CN202211086584.XA 2022-09-06 2022-09-06 直肠癌图像自动分割方法和系统及放化疗反应预测系统 Active CN115170568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211086584.XA CN115170568B (zh) 2022-09-06 2022-09-06 直肠癌图像自动分割方法和系统及放化疗反应预测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211086584.XA CN115170568B (zh) 2022-09-06 2022-09-06 直肠癌图像自动分割方法和系统及放化疗反应预测系统

Publications (2)

Publication Number Publication Date
CN115170568A true CN115170568A (zh) 2022-10-11
CN115170568B CN115170568B (zh) 2022-12-02

Family

ID=83481326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211086584.XA Active CN115170568B (zh) 2022-09-06 2022-09-06 直肠癌图像自动分割方法和系统及放化疗反应预测系统

Country Status (1)

Country Link
CN (1) CN115170568B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627019A (zh) * 2020-06-03 2020-09-04 西安理工大学 一种基于卷积神经网络的肝脏肿瘤分割方法及系统
US20210225003A1 (en) * 2019-03-08 2021-07-22 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, server, and storage medium
CN113240680A (zh) * 2021-05-18 2021-08-10 中国医学科学院肿瘤医院 一种基于深度学习技术的直肠癌系膜自动分割方法
CN113888551A (zh) * 2021-10-22 2022-01-04 中国人民解放军战略支援部队信息工程大学 基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210225003A1 (en) * 2019-03-08 2021-07-22 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, server, and storage medium
CN111627019A (zh) * 2020-06-03 2020-09-04 西安理工大学 一种基于卷积神经网络的肝脏肿瘤分割方法及系统
CN113240680A (zh) * 2021-05-18 2021-08-10 中国医学科学院肿瘤医院 一种基于深度学习技术的直肠癌系膜自动分割方法
CN113888551A (zh) * 2021-10-22 2022-01-04 中国人民解放军战略支援部队信息工程大学 基于高低层特征融合的密集连接网络的肝脏肿瘤图像分割方法

Also Published As

Publication number Publication date
CN115170568B (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
CN111627019B (zh) 一种基于卷积神经网络的肝脏肿瘤分割方法及系统
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN111242288B (zh) 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法
Chen et al. PCAT-UNet: UNet-like network fused convolution and transformer for retinal vessel segmentation
Han et al. Automated pathogenesis-based diagnosis of lumbar neural foraminal stenosis via deep multiscale multitask learning
CN113034505B (zh) 一种基于边缘感知网络的腺体细胞图像分割方法及装置
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN111583285A (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
CN114219719A (zh) 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法
Zhao et al. D2a u-net: Automatic segmentation of covid-19 lesions from ct slices with dilated convolution and dual attention mechanism
CN112132878A (zh) 基于卷积神经网络的端到端大脑核磁共振图像配准方法
CN114549538A (zh) 一种基于空间信息与特征通道的脑肿瘤医学图像分割方法
Yang et al. RADCU-Net: Residual attention and dual-supervision cascaded U-Net for retinal blood vessel segmentation
CN115409832A (zh) 一种超声影像及组学大数据的三阴性乳腺癌分类方法
Sarica et al. A dense residual U-net for multiple sclerosis lesions segmentation from multi-sequence 3D MR images
Tang et al. Lesion segmentation and RECIST diameter prediction via click-driven attention and dual-path connection
Dar et al. Efficientu-net: a novel deep learning method for breast tumor segmentation and classification in ultrasound images
Khattar et al. Computer assisted diagnosis of skin cancer: a survey and future recommendations
Zhou et al. Diagnosis of Alzheimer’s disease using 2D dynamic magnetic resonance imaging
CN115170568B (zh) 直肠癌图像自动分割方法和系统及放化疗反应预测系统
Du et al. X-ray image super-resolution reconstruction based on a multiple distillation feedback network
CN117710969B (zh) 一种基于深度神经网络的细胞核分割和分类方法
Zhu et al. Pre-denoising 3D Multi-scale Fusion Attention Network for Low-Light Enhancement
CN117392125B (zh) 基于深度卷积神经网络的乳腺超声图像分析方法和系统
CN114821645B (zh) 融合残差Inception与双向ConvGRU的皮肤病变分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant