CN114882282A - 基于mri和ct图像的结直肠癌治疗效果的神经网络预测方法 - Google Patents

基于mri和ct图像的结直肠癌治疗效果的神经网络预测方法 Download PDF

Info

Publication number
CN114882282A
CN114882282A CN202210536433.3A CN202210536433A CN114882282A CN 114882282 A CN114882282 A CN 114882282A CN 202210536433 A CN202210536433 A CN 202210536433A CN 114882282 A CN114882282 A CN 114882282A
Authority
CN
China
Prior art keywords
mri
module
neural network
input
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210536433.3A
Other languages
English (en)
Inventor
李兰兰
胡益煌
王大彪
徐斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202210536433.3A priority Critical patent/CN114882282A/zh
Publication of CN114882282A publication Critical patent/CN114882282A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种基于MRI和CT图像的结直肠癌治疗效果的神经网络预测方法。该方法首先通过深度学习网络对病变进行分割，然后根据分割结果自动提取感兴趣区域（ROI）。最后，通过通道融合MRI和CT特征，并使用卷积神经网络进行pCR分类。本发明方法可以使得在预测病人pCR上减少对肿瘤区域人工分割的繁琐性和耗时性。

Description

基于MRI和CT图像的结直肠癌治疗效果的神经网络预测方法
技术领域
本发明涉及一种基于MRI和CT图像的结直肠癌治疗效果的神经网络预测方法。
背景技术
公开号为CN111210909A的专利，公开了一种基于深度神经网络的直肠癌T分期自动诊断系统包括深度神经网络模型，所述深度神经网络模型包括：特征提取网络，区域生成网络，池化层，分类和回归层；首先，使用ResNet-50模型，对输入的整张图像的层面类型进行学习并判断，学习判断该图像投照方位，建立层面识别模块；然后，以ResNet101模型作为基础网络，在每个图像层面分别训练一个目标检测模型，用于勾画出肿瘤区域，并判断肿瘤T分期。该系统有一致的处理结果以及相当的准确度，便于集成和大规模的应用
公开号为CN113345576A的专利，提出了一种基于深度学习多模态CT的直肠癌淋巴结转移诊断方法，包括：将直肠癌多模态CT影像进行数据预处理，对裁剪后的固定尺寸大小的3D平扫CT影像和3D增强CT影像分别通过新构建的Mlenet(多模态Lenet卷积神经网络)卷积神经网络，提取影像特征。将特征图进行拼接形成新的特征图，并将新的特征图输入到新的Mlenet卷积神经网络中，进行二分类预测，得到二分类预测结果。该发明能够对多模态CT影像进行有效的特征提取，且大大提高淋巴结转移预测的准确率。
缺点1：公开号为CN111210909A的专利，该方法在勾画病灶区域的时候容易受到数据集训练的干扰，容易导致病灶区域判别出现误判的情况。
缺点2：公开号为CN113345576A的专利，仅仅使用了CT的多模态图像，不能够很好的利用CT和MRI图像所包含的丰富影像信息。
目前，机器学习方法已被应用于利用放射特征预测癌症患者非侵入性治疗后的病理完全反应(pCR)。Wang等人利用CT图像的组学特征和聚类等方法预测患者的pCR，这也有很好的效果。庄等人使用放射组学和传统的机器学习方法来评估基于CT和基于T2加权(T2W)MRI的放射信号的综合模型在pCR预测中的性能。预测结果表明，该性能优于单独使用MRI或CT。随着深度学习的快速发展，利用深度学习预测pCR也逐渐受到欢迎。Fu等人将人工提取的MRI组学特征与通过深度学习提取的特征相结合，并使用最小绝对收缩和选择算子LASSO逻辑回归模型来预测治疗后局部晚期直肠癌(LARC)患者的病理是否完全缓解，并取得了良好的准确性。Jin等人使用多任务深度学习网络对非侵入性治疗前后不同权重的MRI图像进行分割和分类判断，在预测pCR方面取得了良好的效果。虽然研究人员已经取得了较好的性能表现，但是在人工提取组学特征方面会较为繁琐，而且对于组学特征提取还需要相应医生标记的病灶区域才能实现。
对于放射科医生来说，治疗后手动识别肿瘤和残余病变是一个容易出错且繁琐的过程；因此，采用自动化系统至关重要。传统的机器学习方法使用CT和MRI综合模型来评估PCR，但目前大多数深入的学习研究使用单一的图像类型，不能很好地利用CT和MRI图像中包含的不同类型的信息。医学图像融合的目的是在保留图像特征的同时提高图像质量，提高图像在诊断和评估医学问题中的临床适用性。在没有蠕动的器官上，Bashir等人使用大脑的CT和MRI图像，使用PCA降维进行多模式融合；Zhizhong等人使用梯度相似滤波器对大脑的CT和MRI图像进行多模式融合。然而，由于大部分器官的蠕动，传统的MRI和CT图像融合技术存在特征伪影的可能性。
发明内容
本发明的目的在于提供一种基于MRI和CT图像的结直肠癌治疗效果的神经网络预测方法，该方法可以使得在预测病人pCR上减少对肿瘤区域人工分割的繁琐性和耗时性。
为实现上述目的，本发明的技术方案是：一种基于MRI和CT图像的结直肠癌治疗效果的神经网络预测方法，首先，通过深度学习网络对输入图像肿瘤区域进行分割；然后，根据分割结果自动提取感兴趣区域ROI；最后，通过通道融合MRI和CT特征，并使用卷积神经网络进行pCR分类。
在本发明一实施例中，所述深度学习网络为CE-Net网络。
在本发明一实施例中，所述CE-Net网络包括编码端网络和解码端网络，编码端网络包括5个语义模块，语义模块1-4有一个输入和两个输出，其中语义模块1的输入是经过预处理的输入图像，一个输出经过下采样操作以后作为语义模块2的输入，另外一个输出作为侧边输出到相应的解码端网络的解码层；语义模块5的输出作为上下文提取器的输入；解码端网络包括5个卷积模块，卷积模块1-4有两个输入和一个输出，一个输入来自相应的编码端网络的编码层的输出，另一个输入来自经过上采样的特征；卷积模块5只有一个输入，接受来自上下文提取器的输出。
在本发明一实施例中，所述上下文提取器由密集空洞卷积模块和残差多核池化模块构成，在密集空洞卷积模块中，五个分支级联在一起，每个分支的空洞卷积感受野分别为3、7、9、19，剩下的一条分支直接传递过去，四条空洞卷积分支的空洞卷积扩张大小从1到1、3、5增加。在四个空洞卷积分支中用1×1的卷积进行线性激活；残差多核池化模块依靠多个不同的感受野来全局目标进行编码检测，残差多核池化模块用四个不同大小的池化核进行下采样：2×2、3×3、5×5和6×6，四个分支输出四个不同尺寸的特征图，然后在四个分支后经过1×1卷积将特征通道数变为1，接着对不同尺寸特征图进行双线性插值使它与模块输入特征图具有相同尺寸，最后，将原始特征图与经过双线性插值的特征图进行拼接融合。
在本发明一实施例中，输入图像在进行分割前需经高斯拉普拉斯滤波器进行处理，高斯拉普拉斯滤波器的公式如下：
Figure BDA0003644657970000031
其中σ是高斯标准差，LoG(x,y)是高斯拉普拉斯滤波器滤波后的像素点，x,y分别是水平像素和垂直像素值，e为自然常数。
在本发明一实施例中，所述根据分割结果自动提取感兴趣区域ROI，即利用分割得出的二进制掩膜对图像肿瘤区域及其附近区域进行定位裁剪，得到感兴趣区域ROI。
在本发明一实施例中，所述卷积神经网络为CNN多模态分类网络，包含1个融合层、3个卷积层、3个最大池化层、2个全连接层和1个输出层。
本发明还提供了一种基于MRI和CT图像的结直肠癌治疗效果的神经网络预测系统，包括分割模块和分类模块；
所述分割模块利用CE-Net网络对输入图像肿瘤区域进行自动分割，利用分割得出的二进制掩膜对图像肿瘤区域及其附近区域进行定位裁剪，得到感兴趣区域ROI；
所述分类模块对感兴趣区域ROI利用插值使得裁剪图片复原为不同大小的图像，再利用卷积神经网络进行pCR分类。
相较于现有技术，本发明具有以下有益效果：
1、建立了一个集直肠肿瘤分割与pCR分类于一体的深度学习模型，为临床医生在人工分割肿瘤区域并判断LARC患者经过非侵入性治疗之后是否处于pCR这一过程提供了新的思路方法。
2、利用了CE-Net的上下文提取器，上下文提取器能够最大程度的提取多尺度特征以及特征之间的联系，大大地提高了网络分割病灶区域的准确性。
3、采用多模态的思路，充分利用不同类别图像丰富的信息特征，大大提高了了模型疾病分类的性能和泛化性。
附图说明
图1为本发明总体框架。
图2为本发明CE-Net网络结构。
图3为本发明DAC模块结构。
图4为本发明RMP模块结构。
图5为本发明CNN网络结构。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明提供了一种基于MRI和CT图像的结直肠癌治疗效果的神经网络预测方法，首先，通过深度学习网络对输入图像肿瘤区域进行分割；然后，根据分割结果自动提取感兴趣区域ROI；最后，通过通道融合MRI和CT特征，并使用卷积神经网络进行pCR分类。
本发明还提供了一种基于MRI和CT图像的结直肠癌治疗效果的神经网络预测系统，包括分割模块和分类模块；
所述分割模块利用CE-Net网络对输入图像肿瘤区域进行自动分割，利用分割得出的二进制掩膜对图像肿瘤区域及其附近区域进行定位裁剪，得到感兴趣区域ROI；
所述分类模块对感兴趣区域ROI利用插值使得裁剪图片复原为不同大小的图像，再利用卷积神经网络进行pCR分类。
以下为本发明具体实例。
本发明一种基于MRI和CT图像的结直肠癌治疗效果的神经网络预测方法如图1所示。在本发明中，提出了一种先端到端分割再分类的用于预测pCR的模型。这个模型主要由分割模块和分类两个主模块构成。分割模块用于对肿瘤区域的自动分割，利用CE-Net网络进行分割，通过该网络的上下文提取器得到更多的图像深层特征从而避免部分空间信息的丢失。然后利用分割得出的二进制掩膜对图像肿瘤及其附近区域进行定位裁剪，从而得到方形ROI区域。利用插值使得裁剪图片复原为不同大小的图像，最后再利用卷积神经网络对图片进行概率预测，最终通过同一病人不同帧数图片整合投票得到一个病人pCR的概率。这样可以使得在预测病人pCR上减少对肿瘤区域人工分割的繁琐性和耗时性。
本发明的特点及采取的主要算法：
1、高斯拉普拉斯滤波预处理
Laplace算子作为一种优秀的边缘检测算子，在边缘检测中得到了广泛的应用。该方法通过对图像求图像的二阶倒数的零交叉点来实现边缘的检测，由于Laplace算子是通过对图像进行微分操作实现边缘检测的，所以对离散点和噪声比较敏感。于是，首先对图像进行高斯卷积滤波进行降噪处理，再采用Laplace算子进行边缘检测，就可以提高算子对噪声和离散点的鲁棒性。
为了增强腹部图像的边缘纹理表达，本发明采用了高斯拉普拉斯滤波器进行处理，再将原图像与滤波后的图像相结合，同时扩大算子的高斯平滑分量以减少叠加后的噪声分量。
高斯拉普拉斯滤波器的公式如下：
Figure BDA0003644657970000051
其中σ是高斯标准差，LoG(x,y)是高斯拉普拉斯滤波器滤波后的像素点，x,y分别是水平像素和垂直像素值，e为自然常数。
2、CE-Net分割网络
该网络结构如图2所示，分割网络采用CE-Net网络进行分割，常见的基于深度学习分割会因为频繁的卷积和池化导致一些有用信息的丢失，使得分割效果不尽人意。因此在U-Net网络基础上加入了上下文提取器以及对一些卷积和编解码方式进行了改变，就是CE-Net网络。编码端网络包括5个语义模块。语义模块1-4有一个输入和两个输出，其中模块1的输入是经过数据预处理的图像，输出部分一个输出经过下采样操作以后作为下一个语义模块的输入，另外一个输出作为侧边输出到相应的解码层；语义模块5的输出作为上下文提取器的输入。解码端网络包括5个卷积模块。模块1-4有两个输入和一个输出，一个输入来自编码层的输出，另一个输入来自经过上采样的特征。最后一个模块只有一个输入，接受来自上下文提取器的输出。编码层里的语义模块输入经过下采样以后进入到模块中，输入经过3*3的卷积操作，通道数不变，然后再经过3*3的卷积操作通道数丰富为原来的一倍，得到的输出作为下一个语义模块的输入，同时也作为侧边连接的输入。卷积层有两个输入，这两个输入进行整合后，通过两组1*1的卷积操作和一组3*3的反卷积操作。
上下文提取器由密集空洞卷积模块(dense atrous convolution，DAC)和残差多核池化模块(residual multi-kernel pooling，RMP)构成。如图3所示，在DAC模块中，五个分支级联在一起，每个分支的空洞卷积感受野分别为3、7、9、19，剩下的一条分支直接传递过去。空洞卷积的好处是在不做池化操作损失图像信息的情况下，加大了感受野，让每个卷积输出都包含较大范围的信息。四条空洞卷积分支的空洞卷积扩张大小从1到1、3、5增加。在四个空洞卷积分支中用1×1的卷积进行线性激活。一般来说，比较大的目标区域的特征用大感受野的卷积可以比较好的提取出来，比较小的目标区域的特征用小感受野的卷积可以比较好的提取出来。这样利用不同感受野的空洞卷积级联在一起，DAC模块就能够提取不同的尺寸对象的特征。如图4所示，RMP主要依靠多个不同的感受野来全局目标进行编码检测。RMP用四个不同大小的池化核进行下采样：2×2、3×3、5×5和6×6，四个分支输出四个不同尺寸的特征图。然后在四个分支后经过1×1卷积将特征通道数变为1，接着对不同尺寸特征图进行双线性插值使它与模块输入特征图具有相同尺寸，最后，将原始特征图与经过双线性插值的特征图进行拼接融合。
3、CNN多模态分类网络
将分割模块网络得出的二进制掩膜对图像肿瘤及其附近区域进行定位裁剪，从而得到方形ROI区域。利用双线性插值使得裁剪图片复原为不同大小的图像。如图5所示，采用卷积神经网络(CNN)来提取和分类经裁剪处理好的CT和MRI图像融合特征。分类模型主要包含两种类型的层，包括用于提取信息的成像特征的卷积层以及用于卷积特征和患者pCR之间的映射的全连接层。包含1个融合层、3个卷积层、3个最大池化层，然后2个全连接层和1个输出层。融合层是将同一个患者的同部位CT和MRI进行初卷积后进行特征通道融合；卷积层将融合的特征进一步卷积提取多维特征；在卷积层和全连接层之间插入3个最大池化层，以减少用于控制过拟合的模型参数数量；纠正线性单元(Relu)被用作卷积层和全连通层的非线性激活函数；在网络中加入批规范化以增强模型的泛化能力；输出层包含一个函数节点即Sigmoid函数，用于计算输入图像数据的pCR概率。
结果分析
由于直肠肿瘤的不规则性，不同患者的肿瘤大小和形状差异巨大，因此直肠肿瘤分割挑战性较大。本发明将U-Net网络与CE-Net网络的分割效果相比较，当使用U-Net提取结直肠肿瘤时，有些肿瘤像素点会被误判为非肿瘤像素点，使得有些肿瘤预测的准确性会降低。CE-Net网络因为其上下文提取器使得网络能够学习提取丰富特征信息，对于肿瘤边界预测效果更好。表1展示了U-Net和CE-Net在病人的MRI和CT上的分割性能指标。可以看出在分割模块中，同一网络对于病人的MRI和CT图片，分割效果略有差异，同时CE-Net的分割性能更好。
表1：分割部分指标结果
Figure BDA0003644657970000061
本发明提出的分类模型思想是通过融合分割模块自动裁剪的CT和MRI图像ROI区域进行卷积投票分类，避免使得单一的CT或MRI图像特征不足或区分度不够导致的分类误判。为了验证MRI和CT融合能够拥有更良好的性能，本发明将实验分为CT模型、MRI模型、CT与MRI融合模型这三个模型进行对比验证。在所有实验中，双侧统计显著性水平均设为0.05。由表2可以看出，从综合模型的表现来看，融合模型的正确率、敏感度和特异性分别为0.826(0.713-0.894)、0.712(0.592-0.885)和0.856(0.748-0.943)，均优于单模态模型的性能指标。
表2：分类部分指标结果
Figure BDA0003644657970000071
本发明方法的优点如下：
优点1：建立了一个集直肠肿瘤分割与pCR分类于一体的深度学习模型，为临床医生在人工分割肿瘤区域并判断LARC患者经过非侵入性治疗之后是否处于pCR这一过程提供了新的思路方法。
优点2：利用了CE-Net的上下文提取器，上下文提取器能够最大程度的提取多尺度特征以及特征之间的联系，大大地提高了网络分割病灶区域的准确性。
优点3：采用多模态的思路，充分利用不同类别图像丰富的信息特征，大大提高了了模型疾病分类的性能和泛化性。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (8)

1.一种基于MRI和CT图像的结直肠癌治疗效果的神经网络预测方法，其特征在于，首先，通过深度学习网络对输入图像肿瘤区域进行分割；然后，根据分割结果自动提取感兴趣区域ROI；最后，通过通道融合MRI和CT特征，并使用卷积神经网络进行pCR分类。
2.根据权利要求1所述的基于MRI和CT图像的结直肠癌治疗效果的神经网络预测方法，其特征在于，所述深度学习网络为CE-Net网络。
3.根据权利要求2所述的基于MRI和CT图像的结直肠癌治疗效果的神经网络预测方法，其特征在于，所述CE-Net网络包括编码端网络和解码端网络，编码端网络包括5个语义模块，语义模块1-4有一个输入和两个输出，其中语义模块1的输入是经过预处理的输入图像，一个输出经过下采样操作以后作为语义模块2的输入，另外一个输出作为侧边输出到相应的解码端网络的解码层；语义模块5的输出作为上下文提取器的输入；解码端网络包括5个卷积模块，卷积模块1-4有两个输入和一个输出，一个输入来自相应的编码端网络的编码层的输出，另一个输入来自经过上采样的特征；卷积模块5只有一个输入，接受来自上下文提取器的输出。
4.根据权利要求3所述的基于MRI和CT图像的结直肠癌治疗效果的神经网络预测方法，其特征在于，所述上下文提取器由密集空洞卷积模块和残差多核池化模块构成，在密集空洞卷积模块中，五个分支级联在一起，每个分支的空洞卷积感受野分别为3、7、9、19，剩下的一条分支直接传递过去，四条空洞卷积分支的空洞卷积扩张大小从1到1、3、5增加。在四个空洞卷积分支中用1×1的卷积进行线性激活；残差多核池化模块依靠多个不同的感受野来全局目标进行编码检测，残差多核池化模块用四个不同大小的池化核进行下采样：2×2、3×3、5×5和6×6，四个分支输出四个不同尺寸的特征图，然后在四个分支后经过1×1卷积将特征通道数变为1，接着对不同尺寸特征图进行双线性插值使它与模块输入特征图具有相同尺寸，最后，将原始特征图与经过双线性插值的特征图进行拼接融合。
5.根据权利要求1所述的基于MRI和CT图像的结直肠癌治疗效果的神经网络预测方法，其特征在于，输入图像在进行分割前需经高斯拉普拉斯滤波器进行处理，高斯拉普拉斯滤波器的公式如下：
Figure FDA0003644657960000011
其中σ是高斯标准差，LoG(x,y)是高斯拉普拉斯滤波器滤波后的像素点，x,y分别是水平像素和垂直像素值，e为自然常数。
6.根据权利要求1所述的基于MRI和CT图像的结直肠癌治疗效果的神经网络预测方法，其特征在于，所述根据分割结果自动提取感兴趣区域ROI，即利用分割得出的二进制掩膜对图像肿瘤区域及其附近区域进行定位裁剪，得到感兴趣区域ROI。
7.根据权利要求1所述的基于MRI和CT图像的结直肠癌治疗效果的神经网络预测方法，其特征在于，所述卷积神经网络为CNN多模态分类网络，包含1个融合层、3个卷积层、3个最大池化层、2个全连接层和1个输出层。
8.一种基于MRI和CT图像的结直肠癌治疗效果的神经网络预测系统，其特征在于，包括分割模块和分类模块；
所述分割模块利用CE-Net网络对输入图像肿瘤区域进行自动分割，利用分割得出的二进制掩膜对图像肿瘤区域及其附近区域进行定位裁剪，得到感兴趣区域ROI；
所述分类模块对感兴趣区域ROI利用插值使得裁剪图片复原为不同大小的图像，再利用卷积神经网络进行pCR分类。
CN202210536433.3A 2022-05-16 2022-05-16 基于mri和ct图像的结直肠癌治疗效果的神经网络预测方法 Pending CN114882282A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210536433.3A CN114882282A (zh) 2022-05-16 2022-05-16 基于mri和ct图像的结直肠癌治疗效果的神经网络预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210536433.3A CN114882282A (zh) 2022-05-16 2022-05-16 基于mri和ct图像的结直肠癌治疗效果的神经网络预测方法

Publications (1)

Publication Number Publication Date
CN114882282A true CN114882282A (zh) 2022-08-09

Family

ID=82676128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210536433.3A Pending CN114882282A (zh) 2022-05-16 2022-05-16 基于mri和ct图像的结直肠癌治疗效果的神经网络预测方法

Country Status (1)

Country Link
CN (1) CN114882282A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117524501A (zh) * 2024-01-04 2024-02-06 长春职业技术学院 基于特征挖掘的多模态医学数据分析系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117524501A (zh) * 2024-01-04 2024-02-06 长春职业技术学院 基于特征挖掘的多模态医学数据分析系统及方法
CN117524501B (zh) * 2024-01-04 2024-03-19 长春职业技术学院 基于特征挖掘的多模态医学数据分析系统及方法

Similar Documents

Publication Publication Date Title
CN109584246B (zh) 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
Shorfuzzaman An explainable stacked ensemble of deep learning models for improved melanoma skin cancer detection
CN108010021B (zh) 一种医学图像处理系统和方法
CN113674253B (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
Chan et al. Texture-map-based branch-collaborative network for oral cancer detection
CN111369565B (zh) 一种基于图卷积网络的数字病理图像的分割与分类方法
CN113034505B (zh) 一种基于边缘感知网络的腺体细胞图像分割方法及装置
CN113256641B (zh) 一种基于深度学习的皮肤病灶图像分割方法
Taha et al. Automatic polyp detection in endoscopy videos: A survey
CN110619641A (zh) 一种基于深度学习的三维乳腺癌核磁共振图像肿瘤区域的自动分割方法
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
Ranjitha et al. Detection of blood cancer-leukemia using k-means algorithm
CN112561877A (zh) 多尺度双通道卷积模型训练方法、图像处理方法及装置
CN113344933B (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
CN114882282A (zh) 基于mri和ct图像的结直肠癌治疗效果的神经网络预测方法
WO2024104035A1 (zh) 基于长短期记忆自注意力模型的三维医学图像分割方法及系统
CN114549394A (zh) 一种基于深度学习的肿瘤病灶区域语义分割方法及系统
Moradi et al. Multi-class segmentation of skin lesions via joint dictionary learning
Li et al. Sketch-supervised histopathology tumour segmentation: Dual CNN-transformer with global normalised CAM
CN116071337A (zh) 一种基于超像素分割的内镜图像质量评价方法
Khan et al. Attresdu-net: Medical image segmentation using attention-based residual double u-net
Sood et al. A Survey of Segmentation Techniques for Medical Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination