CN116580225A - 一种基于空间信息驱动的直肠癌ct图像分类方法 - Google Patents

一种基于空间信息驱动的直肠癌ct图像分类方法 Download PDF

Info

Publication number
CN116580225A
CN116580225A CN202310421428.2A CN202310421428A CN116580225A CN 116580225 A CN116580225 A CN 116580225A CN 202310421428 A CN202310421428 A CN 202310421428A CN 116580225 A CN116580225 A CN 116580225A
Authority
CN
China
Prior art keywords
network
rectal cancer
module
image
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310421428.2A
Other languages
English (en)
Inventor
白相志
王元元
张涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
First Affiliated Hospital of Chongqing Medical University
Original Assignee
Beihang University
First Affiliated Hospital of Chongqing Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University, First Affiliated Hospital of Chongqing Medical University filed Critical Beihang University
Priority to CN202310421428.2A priority Critical patent/CN116580225A/zh
Publication of CN116580225A publication Critical patent/CN116580225A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开一种基于空间信息驱动的直肠癌CT图像分类方法，基本步骤如下：1)利用自监督训练策略对直肠癌CT图像分类网络进行预先训练；2)构造损失函数对直肠癌CT图像分类网络进行训练；3)利用直肠癌CT图像分类网络产对影像进行分类，识别体内有直肠癌的患者。本方法以密集级联网络为基本框架，通过引入空间级联ACD模块，提取上层输入的空间多尺度特征；通过引入级联卷积模块，用于增强ACD模块的空间特征，丰富网络提取到的特征向量；通过引入空间注意力模块，利用全局特征提取支路和垂直坐标特征提取支路增强网络中特征的重要性，采用加法注意力机制的优点则是能够保留初始特征图的空间分布。

Description

一种基于空间信息驱动的直肠癌CT图像分类方法
技术领域
本发明涉及一种基于空间信息驱动的直肠癌CT图像分类方法，属于医学图像处理、模式识别和计算机视觉领域，主要涉及自监督和医学图像分类技术。在各类基于医学影像的应用系统中有广阔的应用前景。
背景技术
结直肠又称大肠，是消化系统的重要组成部分。结直肠癌是一种恶性肿瘤，具有较高的发病率和死亡率。因此，通过计算机手段对结直肠癌医学图像进行分析具有重要意义。相比于结肠癌，直肠癌由于由于发病位置较低，更难治疗。医学图像分类是通过对图像中解剖学特征或病理学特征进行分析，从而区分某些组织。分类任务可以包括许多应用来确定疾病的存在，直到识别肿瘤的类型。
对于医学图像处理领域中的癌症检测、肿瘤分割以及分类，机器学习作为人工智能的一个分支，被广泛采用(参见文献:医学图像分析中的深度学习综述,医学图像分析,2017:60-88.(Geert,Litjens,Thijs,et al.A survey on deep learning in medicalimage analysis[J].Medical Image Analysis,2017:60-88.))。卷积神经网络(CNN)作为深度学习算法的一种方法已在医学图像处理方面取得了成功。Dabass等人提出了一种使用深度学习保持原始图像大小的自动监督技术，用于通过31层深CNN进行五级癌症分类，并验证了五级评分和二级评分的准确性(参见文献:基于深度学习的结肠组织学图像五级癌症分类,通信和计算系统,2019:7.(Dabass M,Vashisth S,Vig R.Five-Grade CancerClassification of Colon Histology Images via Deep Learning[M].Communicationand Computing Systems,2019:7.))。Yoon等人对VGG模型进行了五项修改以期提高模型的特征提取能力，并将其应用于直肠肿瘤分类任务(参见文献:使用卷积神经网络的结肠直肠组织学图像中的肿瘤识别,数字成像杂志,2019:131-140.(Yoon,HongjunLee,JoohyungOh,Ji EunKim,Hong RaeLee,SeonhyeChang,Hee JinSohn,Dae Kyung.Tumor Identificationin Colorectal Histology Images Using a Convolutional Neural Network[J].Journal of digital imaging:the official journal of the Society for ComputerApplications in Radiology,2019:131-140.))。Ponzio等人[145]提出了一种基于卷积神经网络(CNN)的深度学习技术，以区分腺癌与健康组织和良性病变(参见文献:使用深度卷积网络的结肠直肠癌分类——一项实验研究,第五届国际生物成像会议,2018:1-9.(Ponzio F,Macii E,Ficarra E,et al.Colorectal Cancer Classification using DeepConvolutional Networks-An Experimental Study[C]//5th International Conferenceon Bioimaging.2018:1-9.))。并研究了迁移学习方法的使用，基于在完全不同的数据集(即ImageNet)上预训练的CNN模型。成功归功于大量的标记训练数据，这些数据使网络能够学习有意义的特征表示。然而，由于实际应用中获取有标签数据既昂贵且耗时，标记图像通常难以获得。与自然图像不同，医学图像的成像原理复杂且多样化，并且图像的注释需要由具有领域专业知识的从业者获得。因此，在医学图像分析中需要更多的标记数据和最小的标记数据具有阳性病理病例的数据集(参见文献:从分散的部分标记医学图像中学习代表性不足的类别,医学图像计算和计算机辅助介入,2022,67–76.(Dong N,Kampffmeyer M,Voiculescu I.Learning Underrepresented Classes fromDecentralized PartiallyLabeled Medical Images[C]//International Conference on Medical ImageComputing and Computer-Assisted Intervention.Springer,Cham,2022:67–76.))。因此，现有的高级视觉神经网络模型在小标签数据集上的性能是有限的。
为了克服上述问题，自监督学习和迁移学习在医学成像领域引起了广泛关注。这些训练策略利用不同任务的附加信息来解决同一领域的任务，从而降低了数据开销，提高了算法性能。原始任务和目标任务之间的差异限制了最终的绩效。自监督学习是一种使用未标记数据的自我监督表示方法，它提高了各种学习任务的性能(参见文献:具有对比预测编码的数据高效图像识别,第37届机器学习国际会议论文集,2020,4182-4192.(HenaffO.Data-efficient image recognition with contrastive predictive coding[C]//International conference on machine learning.PMLR,2020:4182-4192.))。
对比自我监督学习在SSL中取得了良好的效果。作为一种鉴别方法，对比学习使用相似性度量将相似的样本分类为更多样的组。对于计算机视觉任务，根据从编码器网络提取的图像的特征表示来评估对比损失(参见文献:对比自我监督学习综述,技术,2020.(Jaiswal A,Babu A R,Zadeh M Z,et al.A survey on contrastive self-supervisedlearning[J].Technologies,2020,9(1):2.))。对比学习是通过构建成对的正面和负面图像样本来训练的，通常是通过区分增强的图像。例如，如果同一图像的两个视角在空间结构中具有重叠部分，则所学习的表示将是相似的。
现在更多的工作应用于医学研究，如医疗护理和医学图像分割(参加文献:用于半监督体积医学图像分割的动量对比体素表示学习,医学图像计算和计算机辅助介入,2022,639-652.(You C,Zhao R,Staib L H,et al.Momentum contrastive voxel-wiserepresentation learning for semi-supervised volumetric medical imagesegmentation[C]//Medical Image Computing and Computer Assisted Intervention–MICCAI 2022:25th International Conference,Singapore,September 18–22,2022,Proceedings,Part IV.Cham:Springer Nature Switzerland,2022:639-652.))。然而，数据限制和复杂的三维数据扽问题对医学图像分类提出了一些挑战。本发明提出了一种新的自监督学习方法和深度模型来提取代表治疗反应的有效特征，建立大规模三维CT图像自监督数据集，并应用自监督训练策略来对直肠癌CT图像进行分类。
空间信息驱动网络(SID-Net)被设计为提取用于反应预测的多尺度和全局特征。本发明构建了多个中心骨盆部分CT数据集，该数据集来源于公开数据。基于构建的自监督数据集，训练SID-Net模型在自监督学习策略上进行梯度更新。最后对直肠癌CT图像进行监督训练。实验证明本发明SID-Net对于直肠癌分类具有辅助意义。
发明内容
1、目的：针对上述问题，本发明目的在于提供一种基于空间信息驱动的直肠癌CT图像分类方法(SID-Net)，为了更充分地提取医学影像上的多尺度和全局特征，使用密集级联卷积注意力神经网络，再结合空间坐标注意力模块，可有效提升预测性能。
2、技术方案：为了实现这个目的，本发明的技术方案整体思路是采用密集神经网络架构，利用级联3D卷积和坐标注意网络产生高质量多尺度特征和全局特征，本发明的算法技术思路主要体现在以下四个方面：
1)设计一种新的面向实例的协作式自监督训练策略方法。自监督训练策略不需要人工标记，并提高了方法的性能。
2)设计密集级联网络结构，充分利用空间注意力机制提取全局特征，有效利用特征来对直肠癌CT图像进行分类，识别有肿瘤的患者。
3)设计级联3D卷积模块，提取深层特征和增加网络模型的宽度。增加模型的宽度可以使每一层学习到更丰富的特征。
4)设计的空间注意机制是一种基于加法注意力的有效方法，可以在线性复杂度下实现有效的上下文建模。
本发明涉及一种基于空间信息驱动的直肠癌CT图像分类方法，该方法具体步骤如下：
步骤一：设计自监督训练策略用于学习表示，学习到的特征可用于下游任务。自监督训练策略由三个模块组成:直肠癌CT图像特征提取网络、分类器和像素传播模块。这三个模块的关联如附图1所示。目标网络具有与在线网络相同的架构，但是不共享参数。目标网络提供一个回归目标来训练在线网络。
步骤二：首先利用特征提取主干(Stem)来提取初始特征时，为图像设置一个大感受野，并为图像的横轴保留尽可能多的细节信息。再设计将级联的3D卷积模块嵌入到注意力密集级连模块(Attention Cascaded-Dense block,ACD)和密集级连模块(Cascaded-Dense block,Cas-D)模块中，ACD和Cas-D模块之间的连接方式为密集连接。最后通过空间坐标注意力机制将当前特征与坐标特征的输出相加，输出特征；最后通过分类器得到直肠癌分类结果。
步骤三：构造内容损失函数和自监督损失函数对空间信息驱动的直肠癌分类模型进行训练。
输出：用训练好的直肠癌分类网络处理患者CT影像。在使用训练数据对直肠癌分类网络、自监督数据对直肠癌分类模型进行充分迭代训练之后，得到训练好的直肠癌分类用于对直肠癌CT影像进行预测。
其中，所述步骤一具体如下：
1.1：本发明采用的自监督训练策略主要基于自监督数据增强网络模型学习图像的特征表示能力，生成的表示可用于下游任务。对于自监督训练策略使用在线和目标网络来学习。在线网络由一组权重定义，由三个模块组成:直肠癌CT图像特征提取网络、分类器和像素传播模块。目标网络具有与在线网络相同的架构，但是不共享参数。目标网络提供一个回归目标来训练在线网络。
1.2：像素传播模块由变换运算和相似度计算两个部分构成。其中，变换运算有对输入特征的归一化操作和纬度变换两个操作。对输入向量的不同像素特征的像素度计算，实现了在网络传递过程中引入像素相关性。
1.3：学习表征的空间敏感性和平滑性会影响需要直肠癌分类的下游任务性能。空间敏感度具有在同一空间中区分相似像素的突出能力。相比之下，空间平滑有助于缩小同一区域内相同属性像素的距离。对比的方式，学习本身对空间更敏感。本发明使用多层特征进行比较。此外，由于本发明的任务基于三维医学CT图像对直肠癌进行分类，因此我们在自监督训练策略中学习像素级特征的同时引入由全连接构成的分类器。
其中，所述步骤二具体如下：
2.1：设计特征提取主干(Stem)从增强图像生成初始特征映射。Stem由卷积核构成其中卷积层和下采样运算构成，从而实现减小图像尺寸并使检测到的特征更加鲁棒。
2.2：设计将级联的3D卷积模块嵌入ACD和Cas-D模块中，ACD和Cas-D模块之间的连接方式为密集连接。传统的稠密网络仅使用并行的卷积层提取多尺度特征。本发明采用级联的三维卷积块来提取深层特征和增加网络模型的宽度，增加网络模型的宽度可以使每一层学习到更丰富的特征，从而更好地利用空间信息。
2.3：本发明设计了一种基于空间的加法注意力机制，可以在线性复杂度下实现有效的上下文建模。首先使用加法注意机制，将输入的注意查询矩阵总结成一个全局查询向量。空间坐标注意力机制由两部分组成：通道特征分支和纵轴特征保持分支。该机制主要用于提取全局特征向量，有效获取跨通道信息，避免降维对通道注意学习的影响。
其中，所述步骤三具体如下：
3.1：直肠癌CT图像分类方法的自监督训练策略采用的损失函数由两大部分组成：在线网络和目标网络分类器之间构成的内容损失以及像素到传播的一致性损失。在线网络和目标网络分类器之间构成的内容损失函数的表达式为：其中oθ是在线网络分类器输出的分类结果，oξ是目标网络分类器的输出。像素到传播的一致性损失的表达式为：LP＝-cos(yθi，yξj)-cos(yθj，yξi)，其中i和j是来自自监督在线网络和目标网络输入的两个增强视图正像素对。yξi和yθi分别是动量编码器和传播编码器的像素特征向量。一致性损失在每个图像的所有正对上取平均，然后在小批量的图像上进一步取平均，以驱动表征学习。最终自监督训练的综合损失函数为：Ltotal＝λ1·Lcontent+λ2·LP(f1，f1)+λ3·LP(f2，f2)。λ1、λ2和λ3是它们对应的加权系数，在本发明中均设置为1。其中f1、f1分别是在线网络和目标网络提取的第一层特征向量。
3.2：基于自监督训练策略预先训练的直肠癌分类模型参数，利用直肠癌CT图像分类方法的损失函数采用交叉熵损失对直肠癌分类模型进行监督训练。能够缓解目标和背景之间的空间不平衡问题，本发明损失定义如下：yi，k表示第a个样本的真实标签为K，共有N个样本的K个标签值，p，k表示第a个样本被预测为K标签值的概率。
3.3：本发明由Adam优化器优化，学习速率为0.0002，步长为20，设置Y为0.8。训练的总次数是150。用于最终的直肠癌分类。在训练期间，启用同步批处理规范化，并将批处理大小设置为4。
一种基于空间信息驱动的直肠癌CT图像分类系统，其基本结构框架和工作流程如图1所示，其特征在于，包括：
自监督训练策略，用于对直肠癌CT图像分类网络进行预先训练。自监督阶段由在线网络和目标网络构成；
直肠癌CT图像分类网络，用于对直肠癌CT图像分类，识别有肿瘤的病人。所述的直肠癌分类网络模块进一步包括：
空间级联ACD模块，用于提取上层输入的空间多尺度特征；所述的空间级联ACD模块由密集连接和级联卷积模块构成；
级联卷积模块，用于增强ACD模块的空间特征；所述的级联卷积模块由级联和并联的两个卷积层构成，丰富网络提取到的特征向量；
空间注意力模块，用于增强网络中特征的重要性，采用加法注意力机制的优点则是能够保留初始特征图的空间分布。所述的空间注意力模块由两个主要分支：全局特征提取支路和垂直坐标特征提取支路。
损失函数计算模块，用于计算直肠癌CT图像分类网络的损失函数；
网络训练模块，用于对直肠癌分类网络进行充分迭代训练，得到训练好的直肠癌分类网络用于CT影像进行分类，识别体内有肿瘤的患者。
3、优点及功效：本发明提出了一种基于空间信息驱动的直肠癌CT图像分类系统——SID-Net。本发明的核心思想是通过构建密集的级联注意神经网络结构，从无标签图像中学习和提取特征，从而缓解高质量标注数据的短缺。基于下腹部的大规模CT图像和直肠癌分类数据集，SID-Net已经实现了最先进的性能。
附图说明
图1是本发明提出的基于空间信息驱动的直肠癌CT图像分类方法系统(SID-Net)的基本结构框架和工作流程。
图2是直肠癌CT图像分类网络的基本结构。
图3是空间级联模块ACD的基本结构。
图4是级联卷积模块的基本结构。
图5是空间注意力模块的基本结构。
图6展示了预测网络分类器前的特征可视化热图，本发明在直肠癌分类任务上取得了较高的分类精度。
具体实施方式
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。
本发明是一种基于空间信息驱动的直肠癌CT图像分类方法，其算法框架与网络结构如图1所示，各部分具体实施步骤如下：
步骤一：利用自监督训练策略对直肠癌分类网络进行预先训练，自监督训练策略的基本结构如图1所示；
步骤二：利用直肠癌CT图像分类网络产对影像进行分类，识别体内有直肠癌的患者，直肠癌CT图像分类网络的基本结构如图2所示；
步骤三：构造损失函数对直肠癌CT图像分类网络进行训练；
输出：用训练好的直肠癌分类网络处理患者CT影像。在使用训练数据对直肠癌分类网络、自监督数据对自监督模型进行充分迭代训练之后，得到训练好的直肠癌分类网络用于对直肠癌CT影像进行分类。
其中，所述步骤一具体如下：
1.1：本发明的自监督训练策略如图1所示。该策略主要基于自监督数据增强网络模型学习图像的特征表示能力，生成的表示可用于下游任务。对于自监督策略使用在线和目标网络来学习。在线网络由一组权重定义，由三个阶段组成：编码器特征投影器、分类器和像素传播模块，如图1所示。目标网络具有与在线网络相同的架构，但是不共享参数。网络提供一个回归目标来训练在线网络。
1.2：像素传播模块由变换运算和相似度计算两个部分构成。其中，变换运算有对输入特征的归一化操作和纬度变换两个操作。对输入向量的不同像素特征的像素度计算，实现了在网络传递过程中引入像素相关性。具体公式化表达为：＝∑∈(，)·()，其中(，)＝(((·)，0))2。
1.3：学习表征的空间敏感性和平滑性会影响需要直肠癌分类的下游任务性能。空间敏感度具有在同一空间中区分相似像素的突出能力。相比之下，空间平滑有助于缩小同一区域内相同属性像素的距离。对比的方式，学习本身对空间更敏感。本发明使用多层特征进行比较。此外，由于本发明的任务基于三维医学图像对直肠癌进行分类，因此我们在自监督测策略中学习像素级特征的同时引入分类器。
其中，所述步骤二具体如下：
2.1：从增强图像I开始，设计的Stem生成初始特征映射o。Stem由卷积核构成其中卷积核大小为7×7×7，初始输出通道数为64，步长和填充分别设置为(1，2,2)和(3，3,3)。为了减小图像尺寸并使检测到的特征更加鲁棒，采用了下采样操作。我们将下采样内核大小设置为(3，3，1)，步长设置为(2，2，1)，填充设置为(1，1，0)。
2.2：在整个网络中，我们设计将级联的3D卷积模块嵌入到ACD和Cas-D模块中，ACD和Cas-D模块之间的连接方式为密集连接。传统的稠密网络仅通过并行地与卷积核大小为1×1×1的卷积和与卷积核大小为3×3×3的卷积来提取多尺度特征。该方法采用级联的三维卷积块来提取深层特征和增加网络模型的宽度。增加模型的宽度可以使每一层学习到更丰富的特征。如图4所示，对于输入特征，首先使用卷积核大小为1×1×1的三维卷积变换通道的数量来生成新的初始特征向量。这个模块的最终输出由三个分支的相同路径组成。首先是第一个分支，使用卷积核大小为3×3×3的卷积来提取特征。第二个分支由与第一个分支参数相同的卷积组成，第二个3×3×3卷积生成一个特征向量。
2.3：所提出的注意机制是一种基于加法注意的有效方法，可以在线性复杂度下实现有效的上下文建模。我们首先使用紧固件中的附加注意机制，将输入的注意查询矩阵总结成一个全局查询向量。如图5所示，空间注意机制由两部分组成。关键分支主要用于提取全局特征向量，有效获取跨通道信息，避免降维对通道注意学习的影响。
其中，所述步骤三具体如下：
3.1：直肠癌CT图像分类方法的自监督训练策略采用的损失函数由两大部分组成：在线网络和目标网络分类器之间构成的内容损失以及像素到传播的一致性损失。在线网络和目标网络分类器之间构成的内容损失函数的表达式为：其中oθ是在线网络分类器输出的分类结果，oξ是目标网络分类器的输出。像素到传播的一致性损失的表达式为：LP＝-cos(yθi，yξj)-cos(yθj，yξi)，其中i和j是来自自监督在线网络和目标网络输入的两个增强视图正像素对。yξi和yθi分别是动量编码器和传播编码器的像素特征向量。一致性损失在每个图像的所有正对上取平均，然后在小批量的图像上进一步取平均，以驱动表征学习。最终自监督训练的综合损失函数为：Ltotal＝λ1·Lcontent+λ2·LP(f1，f1)+λ3·LP(f2，f2)。λ1、λ2和λ3是它们对应的加权系数，在本发明中均设置为1。其中f1、f1分别是在线网络和目标网络提取的第一层特征向量。
3.2：基于自监督训练策略预先训练的直肠癌分类模型参数，利用直肠癌CT图像分类方法的损失函数采用交叉熵损失对直肠癌分类模型进行监督训练。能够缓解目标和背景之间的空间不平衡问题，本发明损失定义如下：yi，k表示第a个样本的真实标签为K，共有N个样本的K个标签值，p，k表示第a个样本被预测为K标签值的概率。
3.3：本发明由Adam优化器优化，学习速率为0.0002，步长为20，设置Y为0.8。训练的总次数是150。选择最佳模型并整合它们的输出用于最终的分类预测。在训练期间，启用同步批处理规范化，并将批处理大小设置为4。所有模型都在同一个NVIDIA服务器上训练。
为了从直观上展示本发明的效果，图6为预测网络分类器前的特征可视化。从图中可以看出本发明输出的预测结果具有较高的AUC＝0.89。本发明以自监督训练策略作为网络的初始化训练，以直肠癌CT图像分类网络为基本架构，利用空间级联模块ACD提取多尺度空间信息，结合空间注意力模块，实现高质量的直肠癌CT图像分类。

Claims (5)

1.一种基于空间信息驱动的直肠癌CT图像分类方法，其特征在于，具体步骤如下：
步骤一：设计自监督训练策略用于学习表示，学习到的特征用于下游任务；
步骤二：首先利用特征提取主干Stem来提取初始特征时，为图像设置一个大感受野，并为图像的横轴保留细节信息；再设计将级联的3D卷积模块嵌入到注意力密集级连模块ACD和密集级连模块Cas-D模块中，ACD和Cas-D模块之间的连接方式为密集连接；最后通过空间坐标注意力机制将当前特征与坐标特征的输出相加，输出特征；最后通过分类器得到直肠癌分类结果；
步骤三：构造内容损失函数和自监督损失函数对空间信息驱动的直肠癌分类模型进行训练；
输出：用训练好的直肠癌分类网络处理CT影像；在使用训练数据对直肠癌分类网络、自监督数据对直肠癌分类模型进行充分迭代训练之后，得到训练好的直肠癌分类用于对直肠癌CT影像进行预测。
2.根据权利要求1所述的一种基于空间信息驱动的直肠癌CT图像分类方法，其特征在于：在步骤一中，具体如下：
1.1：对于自监督训练策略使用在线和目标网络来学习；在线网络由一组权重定义，由三个模块组成:直肠癌CT图像特征提取网络、分类器和像素传播模块；目标网络具有与在线网络相同的架构，但是不共享参数；目标网络提供一个回归目标来训练在线网络；
1.2：像素传播模块由变换运算和相似度计算两个部分构成；其中，变换运算有对输入特征的归一化操作和纬度变换两个操作；对输入向量的不同像素特征的像素度计算，实现了在网络传递过程中引入像素相关性；
1.3：学习表征的空间敏感性和平滑性会影响需要直肠癌分类的下游任务性能；在自监督训练策略中学习像素级特征的同时引入由全连接构成的分类器。
3.根据权利要求1所述的一种基于空间信息驱动的直肠癌CT图像分类方法，其特征在于：在步骤二中，具体如下：
2.1：设计特征提取主干Stem从增强图像生成初始特征映射；Stem由卷积核构成其中卷积层和下采样运算构成，实现减小图像尺寸并使检测到的特征更加鲁棒；
2.2：设计将级联的3D卷积模块嵌入ACD和Cas-D模块中，采用级联的三维卷积块来提取深层特征和增加网络模型的宽度，增加网络模型的宽度使每一层学习到更丰富的特征，从而更好地利用空间信息；
2.3：设计一种基于空间的加法注意力机制，在线性复杂度下实现有效的上下文建模；首先使用加法注意机制，将输入的注意查询矩阵总结成一个全局查询向量；空间坐标注意力机制由两部分组成：通道特征分支和纵轴特征保持分支；该机制用于提取全局特征向量，获取跨通道信息，避免降维对通道注意学习的影响。
4.根据权利要求1所述的一种基于空间信息驱动的直肠癌CT图像分类方法，其特征在于：在步骤三中，具体如下：
3.1：直肠癌CT图像分类方法的自监督训练策略采用的损失函数由两大部分组成：在线网络和目标网络分类器之间构成的内容损失以及像素到传播的一致性损失；在线网络和目标网络分类器之间构成的内容损失函数的表达式为：其中oθ是在线网络分类器输出的分类结果，oξ是目标网络分类器的输出；像素到传播的一致性损失的表达式为：LP＝-cos(yθi，yξj)-cos(yθj，yξi)，其中i和j是来自自监督在线网络和目标网络输入的两个增强视图正像素对；yξi和yθi分别是动量编码器和传播编码器的像素特征向量；一致性损失在每个图像的所有正对上取平均，然后在小批量的图像上进一步取平均，以驱动表征学习；最终自监督训练的综合损失函数为：Ltotal＝λ1·Lcontent+λ2·LP(f11，f1)+λ3·LP(f2，f2)；λ1、λ2和λ3是它们对应的加权系数，设置为1；其中f1、f1分别是在线网络和目标网络提取的第一层特征向量；
3.2：基于自监督训练策略预先训练的直肠癌分类模型参数，利用直肠癌CT图像分类方法的损失函数采用交叉熵损失对直肠癌分类模型进行监督训练；能够缓解目标和背景之间的空间不平衡问题，损失定义如下：yi，k表示第a个样本的真实标签为K，共有N个样本的K个标签值，p，k表示第a个样本被预测为K标签值的概率；
3.3：由Adam优化器优化，学习速率为0.0002，步长为20，设置γ为0.8；训练的总次数是150；用于最终的直肠癌分类；在训练期间，启用同步批处理规范化，并将批处理大小设置为4。
5.一种基于空间信息驱动的直肠癌CT图像分类系统，其特征在于，包括：
自监督训练策略，用于对直肠癌CT图像分类网络进行预先训练；自监督阶段由在线网络和目标网络构成；
直肠癌CT图像分类网络，用于对直肠癌CT图像分类；直肠癌分类网络模块进一步包括：
空间级联ACD模块，用于提取上层输入的空间多尺度特征；空间级联ACD模块由密集连接和级联卷积模块构成；
级联卷积模块，用于增强ACD模块的空间特征；级联卷积模块由级联和并联的两个卷积层构成，丰富网络提取到的特征向量；
空间注意力模块，用于增强网络中特征的重要性，采用加法注意力机制的优点则是能够保留初始特征图的空间分布；空间注意力模块由两个分支：全局特征提取支路和垂直坐标特征提取支路；
损失函数计算模块，用于计算直肠癌CT图像分类网络的损失函数；
网络训练模块，用于对直肠癌分类网络进行充分迭代训练，得到训练好的直肠癌分类网络用于CT影像进行分类。
CN202310421428.2A 2023-04-19 2023-04-19 一种基于空间信息驱动的直肠癌ct图像分类方法 Pending CN116580225A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310421428.2A CN116580225A (zh) 2023-04-19 2023-04-19 一种基于空间信息驱动的直肠癌ct图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310421428.2A CN116580225A (zh) 2023-04-19 2023-04-19 一种基于空间信息驱动的直肠癌ct图像分类方法

Publications (1)

Publication Number Publication Date
CN116580225A true CN116580225A (zh) 2023-08-11

Family

ID=87543678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310421428.2A Pending CN116580225A (zh) 2023-04-19 2023-04-19 一种基于空间信息驱动的直肠癌ct图像分类方法

Country Status (1)

Country Link
CN (1) CN116580225A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117407772A (zh) * 2023-12-13 2024-01-16 江西师范大学 监督对比学习网络模型训练多元时序数据分类方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117407772A (zh) * 2023-12-13 2024-01-16 江西师范大学 监督对比学习网络模型训练多元时序数据分类方法及系统
CN117407772B (zh) * 2023-12-13 2024-03-26 江西师范大学 监督对比学习网络模型训练多元时序数据分类方法及系统

Similar Documents

Publication Publication Date Title
Shah et al. A robust approach for brain tumor detection in magnetic resonance images using finetuned efficientnet
Fan et al. Adversarial learning for mono-or multi-modal registration
Chen et al. Recent advances and clinical applications of deep learning in medical image analysis
Liu et al. Weakly supervised segmentation of COVID19 infection with scribble annotation on CT images
Zhang et al. 3D multi-attention guided multi-task learning network for automatic gastric tumor segmentation and lymph node classification
CN111191660B (zh) 一种基于多通道协同胶囊网络的结肠癌病理学图像分类方法
Kooi et al. Classifying symmetrical differences and temporal change for the detection of malignant masses in mammography using deep neural networks
Iqbal et al. BTS-ST: Swin transformer network for segmentation and classification of multimodality breast cancer images
Xu et al. Arf-net: An adaptive receptive field network for breast mass segmentation in whole mammograms and ultrasound images
Iqbal et al. UNet: A semi-supervised method for segmentation of breast tumor images using a U-shaped pyramid-dilated network
Hsu et al. Capturing implicit hierarchical structure in 3d biomedical images with self-supervised hyperbolic representations
Chen et al. Segmentation of medical images using an attention embedded lightweight network
Shen et al. Multi-organ segmentation network for abdominal CT images based on spatial attention and deformable convolution
Mienye et al. Improved predictive sparse decomposition method with densenet for prediction of lung cancer
Hebbale et al. A survey on automated medical image classification using deep learning
CN112837338A (zh) 一种基于生成对抗网络的半监督医学图像分割方法
Chen et al. Computer-aided diagnosis and decision-making system for medical data analysis: A case study on prostate MR images
Wang et al. Self-supervised learning based transformer and convolution hybrid network for one-shot organ segmentation
CN116580225A (zh) 一种基于空间信息驱动的直肠癌ct图像分类方法
Lu et al. GMetaNet: Multi-scale ghost convolutional neural network with auxiliary MetaFormer decoding path for brain tumor segmentation
Wang et al. CWC-transformer: a visual transformer approach for compressed whole slide image classification
Ma et al. LCAUnet: A skin lesion segmentation network with enhanced edge and body fusion
Jin et al. Inter-and intra-uncertainty based feature aggregation model for semi-supervised histopathology image segmentation
Haghighi et al. Self-supervised learning for medical image analysis: Discriminative, restorative, or adversarial?
CN114387282A (zh) 一种医学影像器官精准自动分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination