CN116994032B - 一种基于深度学习的直肠息肉多分类方法 - Google Patents

一种基于深度学习的直肠息肉多分类方法 Download PDF

Info

Publication number
CN116994032B
CN116994032B CN202310775964.2A CN202310775964A CN116994032B CN 116994032 B CN116994032 B CN 116994032B CN 202310775964 A CN202310775964 A CN 202310775964A CN 116994032 B CN116994032 B CN 116994032B
Authority
CN
China
Prior art keywords
polyp
image
stage
sample
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310775964.2A
Other languages
English (en)
Other versions
CN116994032A (zh
Inventor
杨昆
陈厚权
范文龙
李轩昂
孙宇锋
薛林雁
刘爽
孟杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University
Original Assignee
Hebei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University filed Critical Hebei University
Priority to CN202310775964.2A priority Critical patent/CN116994032B/zh
Publication of CN116994032A publication Critical patent/CN116994032A/zh
Application granted granted Critical
Publication of CN116994032B publication Critical patent/CN116994032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于深度学习的直肠息肉多分类方法，包含一个由多个卷积神经网络(CNNs)级联组成的新的多阶段分类网络，并使用了一种新的注意力机制CSWA，充分提取特征，并采取跳跃连接的方式融合不同尺度信息；通过FastGAN深度学习网络进行数据增强补充不平衡的训练样本，并将息肉图像重新调整像素大小。构建交叉熵损失函数用于网络的训练，后续采用训练好的网络模型对测试集中的样本图像进行分类，为结直肠癌的诊断提供了一种有效的深度学习多分类方法。本发明用于准确对结直肠息肉的类型分类(CRP)，以协助对结直肠癌(CRC)进行后续分析。

Description

一种基于深度学习的直肠息肉多分类方法
技术领域
本发明涉及一种医学图像处理方法，具体地说是一种基于深度学习的直肠息肉多分类方法。
背景技术
直肠癌(CRC)是最常见的肠道疾病之一。结直肠息肉的类型分类(CRP)对结直肠癌的诊断具有重要作用。直肠癌大体可分为肿瘤性息肉和非肿瘤性息肉。对结直肠息肉进行精准分类，有助于对直肠癌的后续治疗。
临床上通常使用白光内镜检查息肉，以识别腺瘤线息肉，而白光图像中息肉的表面和纹理成像较差，同时伴随数据类别不平衡的情况，给息肉的详细分类带来困难，因此在后续过程中很有可能出现错误决策。
随着机器学习、深度学习在计算机医学图像领域的快速发展，基于人工智能的计算机辅助医疗系统(CAD)在CRC疾病检查方面取得突破性进展。目前多类别分类器用于白光图像，根据组织学分类自动区分息肉，可以提高CRC的识别效率。生成对抗网络(GAN)面对图像数据不平衡的情况，可以扩展数据集来合成息肉图像。
发明内容
本发明的目的就是提供一种基于深度学习的直肠息肉多分类方法，以解决因内镜检查图像中息肉的表面和纹理成像较差和成像数据类别不平衡所导致的息肉分类困难的问题。
本发明的目的是这样实现的：
一种基于深度学习的直肠息肉多分类方法，包括以下步骤：
S1、构建直肠息肉内窥镜图像样本数据集：采集直肠息肉检查的白光内窥镜图像和增生性息肉的图像作为图像样本的数据集；数据集中的样本图像包括正常肠道、增生性息肉、绒毛状息肉、管状息肉、管状绒毛状息肉和锯齿状息肉的白光图像。
S2、数据集的样本划分：将样本图像数据集分成训练集、验证集和测试集。
S3、训练集中样本图像的预处理：将所收集的直肠息肉样本图像裁剪为256×256像素的大小，并将为排除息肉而裁剪的样本图像重新裁剪，并调整为256×256像素的大小。
S4、样本图像的数据增强：通过深度学习网络FastGAN对训练集中存在数据不平衡的样本图像进行数据增强，以补充训练样本。
S5、构建多阶段分类网络模型：分别以ResNet-18和ResNet-50为主干网络，构建三个阶段的分类网络模型，用以模仿结肠镜检查；同时，利用由一个7×7卷积层和四个全连接层所构成的注意力模块CSWA，聚合相邻阶段的特征，并在网络不同的阶段生成具有不同细粒度的特征图，以有效地提取多类别息肉的更准确的特征；所述注意力模块CSWA的各层之间采用跳跃连接的方式，以在融合不同尺度的特征信息的同时，保留息肉图像中的部分原始特征。
S6、构建交叉熵损失函数，对多阶段分类网络模型进行训练：
S6-1交叉熵损失函数LCE为：
其中，yi表示第i个样本的基础真值，表示第i个样本的预测标签l。
S6-2采用AdamW算法用于优化交叉熵损失函数，其中的学习率设置在1×10-4～5×10-4之间。
S6-3将训练集增强后的样本图像输入多阶段分类网络模型，使用交叉熵损失函数对多阶段分类网络模型进行训练。
S7、采用训练好的多阶段分类网络模型对测试集中的样本图像进行分类。
进一步地，步骤S4样本图像的数据增强的具体方式是：
S4-1从数据集的样本图像中挑选出的数据不平衡的绒毛状息肉样本图像和锯齿状息肉样本图像。
S4-2将所挑选样本图像的像素调整为567×567像素大小。
S4-3利用深度学习网络FastGAN对挑选出的样本图像进行数据增强，生成具有逼真细节水平的绒毛状息肉合成图像和锯齿状息肉合成图像。
S4-4在确定合成图像中的息肉特征的质量合格后，得到增强的绒毛状息肉图像和增强的锯齿状息肉图像。
S4-5将增强的绒毛状息肉图像和增强的锯齿状息肉图像的像素重新调整为256×256像素的大小。
进一步地，所述注意力模块CSWA在进行特征聚合和调整的过程中均使用批归一化(BatchNorm)和修正线性单元(ReLU)的操作，以保持与骨干网络之间的一致性。
进一步地，步骤S5中，ResNet-18作为第一阶段的骨干网络，ResNet-50作为第二阶段和第三阶段的骨干网络；在第一阶段取ResNet-18的第三和第四残差块之间的中间特征，并通过CSWA注意力机制与第二阶段的ResNet-50的第三和第四残差块之间的中间特征进行融合。之后，将融合后的特征放入第二阶段ResNet-50的后续网络中。同理，取第三阶段ResNet-50的第三和第四残差块之间的中间特征与上述融合后的特征再次融合，并放入第三阶段ResNet-50的后续网络中。随后，分别将三个阶段的ResNet网络主干输出的特征图进行平均池化，并传入全连接层中来，得到不同阶段的分类结果，以实现多级分类。
本发明进行的图像增强操作，相比传统的图像增强方法其生成的图像更加逼真，细节效果更好，解决了数据不平衡的问题。
本发明提出的多阶段分类网络结构，构建了三阶段的网络结构很好的模拟了医生进行结肠镜检查，采用的CSWA注意力模块，提高了特征融合的能力，降低了下游任务的成本，提高了网络模型的性能。
本发明使用多阶段分类网络结构以模仿医生进行结肠镜检查，并且结合了CSWA注意力模块，充分提取特征并融合不同尺度的特征信息，更有效地融合特征，并降低下游网络的学习成本，对多种息肉的分类具有更准确的分类精度，具有临床实用价值。
附图说明
图1是本发明直肠息肉多分类方法的工作流程图。
图2是注意力模块CSWA的构成图。
具体实施方式
下面结合实施例和附图对本发明做进一步详述。
本发明基于深度学习的直肠息肉多分类方法具体的实施步骤如下：
一、构建直肠息肉内窥镜图像样本数据集：所使用的样本图像数据采集自河北大学附属医院的2568个WL内窥镜图像以及从Colonoscopy-Dataset公共数据集随机提取的400张增生性息肉的图像，一并作为本发明的样本数据集；其中包括456个正常肠道、234个增生性息肉、51个绒毛状息肉、651个管状息肉、618个管状绒毛状息肉和158个锯齿状息肉的白光图像。
二、数据集的样本划分：将样本图像按什么比例或占比分成训练集、验证集和测试集。
三、训练集中样本图像的预处理：为了后续的数据增强工作，将所有收集的直肠息肉样本图像裁剪为567×567像素的大小，并随后将其调整为256×256像素大小。此外，还将为排除息肉而裁剪的图像手动重新裁剪，并调整为256×256像素大小。
四、样本图像的数据增强：为了解决训练过程中数据不平衡的问题，对绒毛状息肉和锯齿状息肉进行数据增强。通过深度学习网络FastGAN对训练集中存在数据不平衡的样本图像进行数据增强，以补充训练样本。其具体方式是：从数据集的样本图像中挑选出的数据不平衡的绒毛状息肉样本图像和锯齿状息肉样本图像。将所挑选样本图像的像素调整为567×567像素大小。利用深度学习网络FastGAN对挑选出的样本图像进行数据增强，生成具有逼真细节水平的绒毛状息肉合成图像和锯齿状息肉合成图像。在确定合成图像中的息肉特征的质量合格后，得到增强的绒毛状息肉图像和增强的锯齿状息肉图像。将增强的绒毛状息肉图像和增强的锯齿状息肉图像的像素重新调整为256×256像素的大小。
本发明分别尝试了传统的数据增强和基于对抗网络GAN的数据增强。表1列出了数据增强前后每个类别中的图像数量。
表数据增强前后的数据分布
传统的数据增强，如水平旋转，添加椒盐噪声，并调整亮度，放大微小的绒毛状息肉和锯齿状息肉的样本图像。每个绒毛状息肉的样本图像随后以45°、90°和135°的角度旋转三次；每个锯齿状息肉样本图像以90°的角度旋转一次。通过这种方式，上述两种次要类型的训练集分别扩展到原始数据集的四倍和两倍，然后将椒盐噪声融合到旋转后的训练集样本图像中，旋转后的训练集样本图像的亮度调整为原始样本图像亮度的0.9～1.1倍。
基于对抗网络GAN的数据增强，本发明使用深度学习网络FastGAN进行数据增强，其即使在小数据集上也具有竞争力。考虑到所构建的数据集中只有51个绒毛状息肉图像和158个锯齿状息肉图像，因此，将绒毛状息肉样本图像和锯齿状息肉样本图像先调整为567×567像素的大小，采用深度学习网络FastGAN分别合成了200个绒毛状息肉的合成图像和300个锯齿状息肉的合成图像，合成图像具有逼真的细节水平。在删除了其中没有任何息肉特征的和质量差的合成图像后，绒毛状息肉生成192张合成图像，锯齿状息肉生成284张合成图像，最后将这些合成图像重新调整为256×256像素大小的图像。
为了评估FastGAN模型的性能，本发明采用了t-SNE可视化和对合成图像质量的主观评价。为了比较传统方法与基于FastGAN的方法之间的增强效果，原始的样本图像和生成的合成图像被缩小到两个维度，并通过t-SNE缩小算法进行可视化，再由四名结直肠专家进行主观评价。本发明分别从原始样本图像与合成图像的数据集中随机选择50个图像(其中有25个绒毛状息肉图像和25个锯齿状息肉图像)，然后将其混合以获得一个用于模型性能评估的数据集。专家需要确定每个图像是否是合成图像。
五、构建多阶段分类网络模型，分别以ResNet-18和ResNet-50为主干网络，构建三个阶段的分类网络模型，用以模仿结肠镜检查。同时，利用由一个7×7卷积层和四个全连接层所构成的注意力模块CSWA，聚合相邻阶段的特征，并在网络不同的阶段生成具有不同细粒度的特征图，以有效地提取多类别息肉的更准确的特征。所述注意力模块CSWA的各层之间采用跳跃连接的方式，以在融合不同尺度的特征信息的同时，保留息肉图像中的部分原始特征。
如图1、图2所示，多阶段分类网络在三个阶段从粗略到详细区分直肠息肉，首先在第一阶段确定白光图像中是否存在病变，然后，在第二阶段将息肉分类为增生或腺瘤，最后，在第三阶段将息肉归为绒毛状、管状、管状绒毛状和锯齿状这四类息肉。多阶段分类网络模型的操作可以分为三个独立的阶段，其中，ResNet-18被用作第一阶段的骨干网络，ResNet-50被用作第二阶段和第三阶段的骨干网络。
为了有效地提取多类别息肉的更准确的特征，本发明采用了一种新的注意力模块CSWA，通过聚合相邻阶段的特征，从直接传递到后续层的各个阶段，生成不同的细粒度特征图。如图2所示，注意力模块CSWA主要由一个7×7卷积层和四个全连接层组成，各层之间采用跳跃连接的方式。与3×3卷积层相比，7×7卷积层具有更大的感知场，其性能更好。因为全连接层有助于提高网络的性能，所以本发明在注意力模块CSWA中添加了一些完全连接的层，这有助于充分提取特征。注意力模块CSWA中的两个跳跃连接有助于融合不同尺度的特征信息，并确保在充分提取特征信息的同时，保留一些息肉图像中的原始特征。注意力模块CSWA在进行特征聚合和调整的过程中均使用了批归一化(BatchNorm)和修正线性单元(ReLU)操作，以保持了与骨干网络之间的一致性。
在第一阶段取ResNet-18的第三和第四残差块之间的中间特征，并通过CSWA注意力机制与第二阶段的ResNet-50的第三和第四残差块之间的中间特征进行融合；之后，将融合后的特征放入第二阶段ResNet-50的后续网络中。同理，取第三阶段ResNet-50的第三和第四残差块之间的中间特征与上述融合后的特征再次融合，并放入第三阶段ResNet-50的后续网络中。随后，分别将三个阶段的ResNet网络主干输出的特征图进行平均池化，并传入全连接层中来，得到不同阶段的分类结果，以实现多级分类。具体地在第一阶段中分为正常和异常，在第二阶段中分为增生和腺瘤，并且在第三阶段中分为绒毛状、管状绒毛状、管状和锯齿状。同时，如果没有检测到息肉，多阶段分类网络模型输出正常，或者异常图像在第二阶段中会进一步分类。类似地，增生在第二阶段直接输出，或者息肉在第三阶段被分类为绒毛状、管状绒毛状、管状或锯齿状息肉。
在分类实验中，为了验证本发明多分类方法在大肠息肉分类上应用的有效性，进行了对比实验和消融实验。训练采用五重交叉验证的方法：将数据集等分为五部分，每次训练选择其中一部分作为验证集，另一部分作为训练集，重复上述操作五次。最终结果是五次实验的平均值。
六、构建交叉熵损失函数，对多阶段分类网络模型进行训练，具体步骤如下：
1、交叉熵损失函数LCE为：
其中，yi表示第i个样本的基础真值，表示第i个样本的预测标签l。
2、采用AdamW算法用于优化交叉熵损失函数，其中的学习率设置在1×10-4～5×10-4之间。
3、将训练集增强后的样本图像输入多阶段分类网络模型，使用交叉熵损失函数对多阶段分类网络模型进行训练。
七、采用训练好的多阶段分类网络模型对测试集中的样本图像进行分类。
本发明分类方法的实验环境配置：用于数据增强的FastGAN模型在配备运行Pytorch框架的NVIDIA GeForce RTX 2080Ti×8GPU和Intel(R)Xeon(R)Gold 6240CPU的服务器上进行了训练。绒毛状腺瘤和锯齿状腺瘤图像的两个次要类型被用作训练集。批次大小设定为32，共进行50,000次迭代。每10,000次迭代保存权重，最后两个权重用于生成大小为256×256的合成图像。
分类实验均在配备NVIDIA GeForce RTX 2080Ti×2和Intel Core i7-7800x CPU的工作站上进行。所有实验都训练了至少200个时期，直到模型不收敛，并在100个时期后采用最佳模型。

Claims (3)

1.一种基于深度学习的直肠息肉多分类方法，其特征在于，包括以下步骤：
S1、构建直肠息肉内窥镜图像样本数据集：采集直肠息肉检查的白光内窥镜图像和增生性息肉的图像作为图像样本的数据集；数据集中的样本图像包括正常肠道、增生性息肉、绒毛状息肉、管状息肉、管状绒毛状息肉和锯齿状息肉的白光图像；
S2、数据集的样本划分：将样本图像数据集分成训练集、验证集和测试集；
S3、训练集中样本图像的预处理：将所收集的直肠息肉样本图像裁剪为256×256像素的大小，并将为排除息肉而裁剪的样本图像重新裁剪，并调整为256×256像素的大小；
S4、样本图像的数据增强：通过深度学习网络FastGAN对训练集中存在数据不平衡的样本图像进行数据增强，以补充训练样本；
S5、构建多阶段分类网络模型：分别以ResNet-18和ResNet-50为主干网络，构建三个阶段的分类网络模型，用以模仿结肠镜检查；同时，利用由一个7×7卷积层和四个全连接层所构成的注意力模块CSWA，聚合相邻阶段的特征；所述注意力模块CSWA的各层之间采用跳跃连接的方式，以在融合不同尺度的特征信息的同时，保留息肉图像中的部分原始特征；
所述多阶段分类网络模型是以ResNet-18作为第一阶段的骨干网络，以ResNet-50作为第二阶段和第三阶段的骨干网络；在第一阶段取ResNet-18的第三和第四残差块之间的中间特征，并通过CSWA注意力机制与第二阶段的ResNet-50的第三和第四残差块之间的中间特征进行融合；之后，将融合后的特征放入第二阶段ResNet-50的后续网络中；同理，取第三阶段ResNet-50的第三和第四残差块之间的中间特征与上述融合后的特征再次融合，并放入第三阶段ResNet-50的后续网络中；随后，分别将三个阶段的ResNet网络主干输出的特征图进行平均池化，并传入全连接层中来，得到不同阶段的分类结果，以实现多级分类；
S6、构建交叉熵损失函数，对多阶段分类网络模型进行训练：
S6-1交叉熵损失函数LCE为：
其中，yi表示第i个样本的基础真值，表示第i个样本的预测标签l；
S6-2采用AdamW算法用于优化交叉熵损失函数，其中的学习率设置在1×10-4～5×10-4之间；
S6-3将经过数据增强的训练集样本图像输入多阶段分类网络模型，并使用交叉熵损失函数对该模型进行训练；
S7、采用训练好的多阶段分类网络模型对测试集中的样本图像进行分类。
2.根据权利要求1所述的基于深度学习的直肠息肉多分类方法，其特征在于，步骤S4样本图像的数据增强的具体方式是：
S4-1从数据集的样本图像中挑选出的数据不平衡的绒毛状息肉样本图像和锯齿状息肉样本图像；
S4-2将所挑选样本图像的像素调整为567×567像素大小；
S4-3利用深度学习网络FastGAN对挑选出的样本图像进行数据增强，生成具有逼真细节水平的绒毛状息肉合成图像和锯齿状息肉合成图像；
S4-4在确定合成图像中的息肉特征的质量合格后，得到增强的绒毛状息肉图像和增强的锯齿状息肉图像；
S4-5将增强的绒毛状息肉图像和增强的锯齿状息肉图像的像素重新调整为256×256像素的大小。
3.根据权利要求1所述的基于深度学习的直肠息肉多分类方法，其特征在于，所述注意力模块CSWA在进行特征聚合和调整的过程中均使用批归一化(BatchNorm)和修正线性单元(ReLU)的操作，以保持与骨干网络之间的一致性。
CN202310775964.2A 2023-06-28 2023-06-28 一种基于深度学习的直肠息肉多分类方法 Active CN116994032B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310775964.2A CN116994032B (zh) 2023-06-28 2023-06-28 一种基于深度学习的直肠息肉多分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310775964.2A CN116994032B (zh) 2023-06-28 2023-06-28 一种基于深度学习的直肠息肉多分类方法

Publications (2)

Publication Number Publication Date
CN116994032A CN116994032A (zh) 2023-11-03
CN116994032B true CN116994032B (zh) 2024-02-27

Family

ID=88520335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310775964.2A Active CN116994032B (zh) 2023-06-28 2023-06-28 一种基于深度学习的直肠息肉多分类方法

Country Status (1)

Country Link
CN (1) CN116994032B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019204824A1 (en) * 2018-04-20 2019-10-24 XNOR.ai, Inc. Improving image classification through label progression
NL2026437A (en) * 2020-02-28 2020-10-08 China Nat Rice Res Inst Deep convolutional neural network based high-throughput method for determining alkali spreading value of rice grain
CN113779287A (zh) * 2021-09-02 2021-12-10 天津大学 基于多阶段分类器网络的跨域多视角目标检索方法及装置
CN113989301A (zh) * 2021-10-29 2022-01-28 浙江工业大学 一种融合多种注意力机制神经网络的结直肠息肉分割方法
CN114648663A (zh) * 2022-03-18 2022-06-21 重庆大学附属肿瘤医院 基于深度学习的肺癌ct图像亚型分类方法
CN115294361A (zh) * 2022-07-15 2022-11-04 天翼云科技有限公司 一种特征提取的方法及装置
CN115631369A (zh) * 2022-10-09 2023-01-20 中国石油大学(华东) 一种基于卷积神经网络的细粒度图像分类方法
CN116310525A (zh) * 2023-02-28 2023-06-23 杭州电子科技大学 一种基于对比表示蒸馏与输出蒸馏的病理图像分类方法
CN116309650A (zh) * 2023-05-22 2023-06-23 湖南大学 基于双分支嵌入注意力机制的医学图像分割方法与系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019204824A1 (en) * 2018-04-20 2019-10-24 XNOR.ai, Inc. Improving image classification through label progression
NL2026437A (en) * 2020-02-28 2020-10-08 China Nat Rice Res Inst Deep convolutional neural network based high-throughput method for determining alkali spreading value of rice grain
CN113779287A (zh) * 2021-09-02 2021-12-10 天津大学 基于多阶段分类器网络的跨域多视角目标检索方法及装置
CN113989301A (zh) * 2021-10-29 2022-01-28 浙江工业大学 一种融合多种注意力机制神经网络的结直肠息肉分割方法
CN114648663A (zh) * 2022-03-18 2022-06-21 重庆大学附属肿瘤医院 基于深度学习的肺癌ct图像亚型分类方法
CN115294361A (zh) * 2022-07-15 2022-11-04 天翼云科技有限公司 一种特征提取的方法及装置
CN115631369A (zh) * 2022-10-09 2023-01-20 中国石油大学(华东) 一种基于卷积神经网络的细粒度图像分类方法
CN116310525A (zh) * 2023-02-28 2023-06-23 杭州电子科技大学 一种基于对比表示蒸馏与输出蒸馏的病理图像分类方法
CN116309650A (zh) * 2023-05-22 2023-06-23 湖南大学 基于双分支嵌入注意力机制的医学图像分割方法与系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows;Dong Xiaoyi 等;《arXiv》;1-13 *
Plant Disease Classification and Adversarial Attack Using SimAM-EfficientNet and GP-MI-FGSM;Haotian You 等;《Sustainability 2023》;第15卷(第2期);1-18 *
Video Frame Interpolation with Transformer;Liying Lu 等;《2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;3522-3532 *
基于改进的Faster R-CNN 的息肉目标检测和分类方法;杨昆 等;《河北大学学报( 自然科学版)》;第43卷(第1期);103-112 *
基于条件生成对抗网络的图像描述生成方法;黄远 等;《计算机辅助设计与图形学学报》;第32卷(第6期);911-918 *

Also Published As

Publication number Publication date
CN116994032A (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN109272048B (zh) 一种基于深度卷积神经网络的模式识别方法
CN112116605B (zh) 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN111488921B (zh) 一种全景数字病理图像智能分析系统及方法
CN104424634B (zh) 对象跟踪方法和装置
CN110458249A (zh) 一种基于深度学习与概率影像组学的病灶分类系统
CN110070531B (zh) 用于检测眼底图片的模型训练方法、眼底图片的检测方法及装置
CN109493346A (zh) 一种基于多损失的胃癌病理切片图像分割方法和装置
CN115578404B (zh) 一种基于深度学习的肝脏肿瘤图像增强和分割的方法
CN110517253B (zh) 基于3d多目标特征学习的肺结节良恶性分类的方法
US20220335600A1 (en) Method, device, and storage medium for lesion segmentation and recist diameter prediction via click-driven attention and dual-path connection
CN112687327A (zh) 一种基于多任务和多模态的癌症生存分析系统
CN112818849B (zh) 基于对抗学习的上下文注意力卷积神经网络的人群密度检测算法
CN114511508A (zh) 融合卷积与多层感知机神经网络的结直肠息肉分割方法
CN111415728A (zh) 基于cnn和gan的ct图像数据自动分类方法及设备
Noor et al. GastroNet: A robust attention‐based deep learning and cosine similarity feature selection framework for gastrointestinal disease classification from endoscopic images
CN115100467A (zh) 一种基于核注意力网络的病理全切片图像分类方法
CN117095815A (zh) 基于磁共振图像和病理全景扫描切片预测带有同源重组缺陷的前列腺癌患者的系统
CN115409832A (zh) 一种超声影像及组学大数据的三阴性乳腺癌分类方法
CN116994032B (zh) 一种基于深度学习的直肠息肉多分类方法
CN109785963A (zh) 基于深度学习技术的肺结节筛查算法
Razali et al. High-level features in deeper deep learning layers for breast cancer classification
CN114565786A (zh) 基于通道注意力机制的断层扫描图像分类装置和方法
JP2001117936A (ja) ３次元類似画像検索装置
CN116597218A (zh) 一种病理切片图像病变分级分类检测方法
TWI767439B (zh) 醫療影像分析系統及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant