CN116206105A - 一种深度学习相融合的协同学习增强的结肠息肉分割方法 - Google Patents

一种深度学习相融合的协同学习增强的结肠息肉分割方法 Download PDF

Info

Publication number
CN116206105A
CN116206105A CN202310025149.4A CN202310025149A CN116206105A CN 116206105 A CN116206105 A CN 116206105A CN 202310025149 A CN202310025149 A CN 202310025149A CN 116206105 A CN116206105 A CN 116206105A
Authority
CN
China
Prior art keywords
branch
fusion
learning
deep learning
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310025149.4A
Other languages
English (en)
Inventor
邓赵红
王园园
娄琼丹
胡曙东
刘月影
王士同
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202310025149.4A priority Critical patent/CN116206105A/zh
Publication of CN116206105A publication Critical patent/CN116206105A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于智能医疗计算机辅助诊断应用领域，涉及一种深度学习相融合的协同学习增强的结肠息肉分割方法。该方法包括特征提取模型、融合模块和多视角协同学习，其中特征提取模型分为两个分支，其一是利用DeiT‑Small提取全局特征信息，建立每个像素之间的关联；其二是利用HardNet‑MSEG提取局部特征信息，获取更多的低级细节信息。本发明为了提高小目标结肠息肉图像的分割精度，基于公开的结肠息肉图像数据集和最初的深度学习单分支分割方法，提出一种深度学习技术相融合的方法，并使用多视角协同学习增强结肠息肉分割。相较于改进前的利用单个深度学习方法提取的特征更丰富，弥补了单一分支的信息遗漏缺陷。

Description

一种深度学习相融合的协同学习增强的结肠息肉分割方法
技术领域
本发明属于智能医疗计算机辅助诊断应用领域，具体涉及一种基于深度学习方法相融合的结肠息肉分割方法。
技术背景
预防结肠癌是全球人民需要去关注的一个问题。
临床治疗显示，结肠癌的产生与结肠息肉(Colon polyps)有着十分密切的关系。结肠息肉是结肠内部的良性(非癌性)组织，但是若没有及时发现治疗，可能会引起组织病变，从组织病变到结直肠癌大约需要五到十年的时间，但是大多数患者发现时已经是癌症中晚期。因为结肠癌的早期临床症状并不明显，随着病情的进展，开始出现头晕、头痛、体重下降、腹胀腹痛等症状，但此时病情基本已经到达中晚期时期。结肠息肉是结直肠癌的前期表现，越早筛查到结肠息肉，结肠癌患者的存活率越高。
现如今筛查结肠息肉的关键手段是结肠镜检测。通过结肠镜检测可以观察到息肉组织的形状、范围、大小，进而取出部分组织进行检查来判断息肉组织是否发生病变，以便进一步诊治。但是由于结肠息肉大小不一、形状各异以及息肉颜色和背景对比度较低等原因，导致在进行结肠镜检测时会造成部分息肉的漏检。漏检的息肉或许会影响病情的诊断，最终导致病情恶化进而死亡。所以利用计算机辅助技术提高结肠息肉的检出率对于结肠癌的诊治是非常有意义的。
现如今针对结肠息肉分割的方法主要分为两类：一是基于低级特征的传统分割方法；二是基于深度学习的分割方法。早期传统分割方法主要是依据形状、颜色和纹理特征来区分目标和背景区域，但是该方法需要依赖有医学知识的人员进行手动提取特征，所以应用于复杂多变的息肉分割任务中存在一定的局限性。随着深度学习的不断发展，一些基于卷积神经网络的深度学习方法开始应用于结肠息肉分割任务中，虽然提升了部分结肠息肉数据集的分割精度，但是对于直径较小的结肠息肉数据集分割性能依然较差。如何有效的提升包含小直径息肉数据集的分割精度依然是一个重要挑战。
发明内容
根据以上现有技术的不足，本发明提供一种深度学习相融合的协同学习增强的结肠息肉分割方法，根据结肠息肉大小不一、深度学习方法的各自优势等条件，提出一种利用深度学习方法相融合的结肠息肉分割方法，旨在提高包含较多小目标结肠息肉数据集的分割精度。
一种深度学习相融合的协同学习增强的结肠息肉分割方法，包括以下步骤：
第一步：训练数据集统一分辨率：本发明采用的数据集中的结肠镜图像分辨率各有不同，而Transformer分支中的DeiT的输入需要固定尺寸，并且对Transformer分支和CNN分支提取到的特征信息进行融合时分辨率相差太大也会带来一定的影响。因此，本发明在模型训练前对训练数据集统一处理。
第二步：将训练集分别输入到Transformer分支和CNN分支中。
第三步：Transformer分支：Transformer分支中首先对输入的图像预处理为二维序列形式，接着输入到DeiT-small中进行全局特征信息提取，然后对DeiT-small的输出序列Tl重塑为dmodel通道的2D特征图像
Figure SMS_1
最后使用两次渐进式上采样(交替执行卷积和上采样操作)得到特征图T1
Figure SMS_2
第四步：CNN分支：CNN分支中首先将输入图像传到HardNet-MSEG网络中进行提取局部特征信息，然后对于HardNet-MSEG的输出Ul进行下采样得到U0，然后对U0进行2倍率上采样、卷积、BatchNorm、ReLu操作得到
Figure SMS_3
接着对U2进行上采样在下采样得到
Figure SMS_4
同理基于U1更新U0
Figure SMS_5
第五步：融合模块：该模块的设计是为了充分融合Transformer分支和CNN分支提取的特征信息，弥补信息遗漏的缺陷。
5.1全局-局部融合子模块：将Transformer分支提取的特征图Ti和CNN分支提取的特征图Ui输入到全局-局部融合子模块中，实现对来自两个分支同一尺度下的特征图的融合，最终的输出Fi表示融合特征图。
5.2密集融合子模块：将全局-局部融合子模块的输出Fi输入到密集融合子模块中进行多尺度特征融合，目的是为了获得更全面的特征表示。
第六步：多视角协同训练：本发明中包括Transformer分支、CNN分支、融合分支，每个分支都有预测输出图，若以人为给定分支的权重或者平等对待每个分支的方式来训练整个过程显然是无法实现网络的最佳性能，所以本发明将Transformer分支、CNN分支、融合分支视为三个视角，使用多视角协同的目标函数进行训练，实现自适应的评估每个视角的权重。
Figure SMS_6
Figure SMS_7
lossk＝loss(Prek,G)
其中，w代表视角权重系数，Θ代表模型参数，lossk代表第k个视角的预测值与真实标签之间的损失，λ代表超参数，Prek代表第k个视角的预测输出，G代表真实标签。
第七步：综合决策：本发明网络结构中三个视角输出三个预测图，选择哪一个作为最终结果都是不可靠的，由于本发明在训练过程保存了每个分支的权重，所以利用每个视角的权重与各自预测图相乘在相加作为最终预测图，实现综合决策，有望实现最佳分割效果。
Figure SMS_8
其中，Out代表综合决策后的输出结果，wk代表第k个视角的权重。
进一步的，步骤6中，λ超参数的最优值可以采用交叉验证或其他策略得到。
进一步的，所述第七步中使用的多视角训练，将Transformer分支、CNN分支、融合分支视为三个视角，使用多视角协同的目标函数，自适应的评估每个视角的重要性。其中对于目标函数的求解采用交叉迭代的方式进行求解，固定网络参数Θ，利用
Figure SMS_9
求解wk，本发明中设置λ为1。固定wk，利用Adam优化器更新模型参数Θ。wk为每个第k个视角的权重，要求三个视角权重相加为1。
本发明的优点包括以下几点：
(1)模型结构的设计：现存的分割结肠息肉的方法有基于卷积神经网络的、基于Transformer方法的，虽然现有的一些方法对于分割结肠息肉有一定的效果，但也存在一定的缺陷。本发明通过使用Transformer和CNN相结合的方法可以兼顾Transformer网络的全局特征学习能力和CNN网络的局部特征学习能力，可以实现从不同的方面进行信息互补。
(2)特征融合模块的构建，为了融合两种深度学习技术获取的特征信息，首先设计出全局-局部特征融合模块(Global-local feature fusion，GLFF)，对来自两个深度学习分支得到的多个尺度的特征图进行信息融合，减少位置、细节信息的丢失。进而，设计了一种多尺度密集融合模块(Dense fusion of multi-scale features，DFM)，对融合后的不同尺度的特征图进行密集融合，充分结合高层和低层图像的特征信息，增强信息表征能力。
(3)多视角目标函数的构建：通过把CNN分支、Transformer分支和融合分支视为三个视角，提出一种多视角协同学习训练方法来优化模型参数。本发明通过多视角学习加权机制，可以自动获得各视角的权重系数，利用训练后的模型参数和各视角的权重系数，可以实现最终的多视角协同决策。
(4)通过充分的实验证明提出的Fu-TransHNet模型较之已有的相关方法在包含较多小目标数据集上的分割精度有了明显的提升，并且在其他多个公开的基准数据集上也都得到了显著的性能提升。
附图说明
图1为实施例1中的算法总体框架图；
图2为实施例1中的结肠镜图像预处理框架图；
图3a是Transformer分支流程图；
图3b是DeiT-small结构图；
图4a是全局-局部融合子模块；
图4b是密集融合子模块；
图5为实施例1中的融合模块框架图；
图6为实施例1中的预测图与其它方法预测图的对比图；
图7为实施例2中的没有融合模块的总体框架图；
图8为实施例2中的包含单个密集融合子模块(DFM)总体框架图；
图9为实施例2中的包含单个全局-局部信息融合子模块(GLFF)总体框架图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述：
如图1～图5所示，本发明实现了一种深度学习相融合的协同学习增强的结肠息肉分割方法。该方法包括Transformer模型和CNN模型提取结肠息肉特征信息，融合信息模块和多视角训练三部分。本发明中的两种深度学习方法，其一是利用DeiT-small来获取结肠息肉的全局特征信息，实现任意像素之间的关联；其二是利用HardNet-MSEG来获取结肠息肉的局部特征信息，实现短距离特征依赖。融合模块是对来自两个分支的特征图进行信息整合，通过这种方式可以对于两种方法获取到的特征信息相互补充，减少小目标信息的遗漏，从而对于提高直径较小的结肠息肉的分割精度是有帮助的。多视角训练通过利用一种基于香农熵的多视角加权思想来自适应的评估每个视角的重要性，自适应的确定每个视角的权重相比于直接认为每个视角等同重要，或者人为给定权重的策略更加合理有效，并且有望实现网络模型的最佳性能。
以下结合附图和实施例对本发明作进一步说明。
实施例1：
一种深度学习相融合的协同学习增强的结肠息肉分割方法，其特征在于包括以下步骤：
(1)训练数据集统一分辨率：本发明采用的数据集中的结肠镜图像分辨率各有不同，而Transformer分支中的DeiT的输入需要固定尺寸，并且对Transformer分支和CNN分支提取到的特征信息进行融合时分辨率相差太大也会带来一定的影响。因此，本发明在模型训练前对训练数据集统一处理为352×352分辨率。
(2)将训练集分别输入到Transformer分支和CNN分支中，Transformer分支和CNN分支如图3-4所示。
(3)Transformer分支：Transformer分支中首先对输入的图像预处理为二维序列形式，接着输入到DeiT-small中进行全局特征信息提取，然后对DeiT-small的输出序列Tl重塑为dmodel通道的2D特征图像T0(22×22×384)，最后使用两次渐进式上采样(交替执行卷积和上采样操作)得到特征图T1(44×44×128),T2(88×88×64)。
(4)CNN分支：CNN分支中首先将输入图像传到HardNet-MSEG网络中进行提取局部特征信息，然后对于HardNet-MSEG的输出Ul进行下采样得到U0，然后对U0进行2倍率上采样、卷积、BatchNorm、ReLu操作得到U2(88×88×64)，接着对U2进行上采样在下采样得到U1(44×44×128)，同理基于U1更新U0(22×22×256)。
(5)融合模块如图5所示：该模块的设计是为了充分融合Transformer分支和CNN分支提取的特征信息，弥补信息遗漏的缺陷。
1)全局-局部融合子模块：将Transformer分支提取的特征图Ti和CNN分支提取的特征图Ui输入到全局-局部融合子模块中，实现对来自两个分支同一尺度下的特征图的融合，最终的输出Fi表示融合特征图。
2)密集融合子模块：将全局-局部融合子模块的输出Fi输入到密集融合子模块中进行多尺度特征融合，目的是为了获得更全面的特征表示。
(6)多视角协同训练：本发明中包括Transformer分支、CNN分支、融合分支，每个分支都有预测输出图，若以人为给定分支的权重或者平等对待每个分支的方式来训练整个过程显然是无法实现网络的最佳性能，所以本发明将Transformer分支、CNN分支、融合分支视为三个视角，使用多视角协同的目标函数进行训练，实现自适应的评估每个视角的权重。
Figure SMS_10
Figure SMS_11
lossk＝loss(Prek,G)
其中，w代表视角权重系数，Θ代表模型参数，lossk代表第k个视角的预测值与真实标签之间的损失，λ代表超参数本发明中设置为1，Prek代表第k个视角的预测输出，G代表真实标签。
(7)综合决策：本发明网络结构中三个视角输出三个预测图，选择哪一个作为最终结果都是不可靠的，由于本发明在训练过程保存了每个分支的权重，所以利用每个视角的权重与各自预测图相乘在相加作为最终预测图，实现综合决策，有望实现最佳分割效果。
Figure SMS_12
其中，Out代表综合决策后的输出结果，wk代表第k个视角的权重。
本发明在对结肠息肉进行分割时，首先令Fu-TransHNet在Kvasir和CVC-ClinicDB数据集上进行训练，使得模型掌握一定的学习能力，然后再使用测试集进行测试，验证该模型的学习能力。在实施例1中所使用的到数据集如表1中的测试集所示：
表1：实施例1中用到的测试集信息：
Figure SMS_13
表2总结了本发明在实施例1测试数据集中的分割结果，本发明使用两种语义分割常用的评价指标：平均Dice系数(mDice)、平均交并比(mIoU)。为了更深层次地分析模型，引入了目标检测领域中常用的4种评价指标：加权F-measure
Figure SMS_14
S-measure(Sα)、max-E-measure/>
Figure SMS_15
和平均绝对误差(MAE)。根据各项指标值得知，本算法在五个公开数据集上取得了优异的分割结果。
表2：本发明在实施例1中的各个数据集上的性能度量值
Figure SMS_16
表3-7总结了近几年关于结肠息肉分割的研究结果，以下研究均采用相同的训练数据集，实验的方法各不相同，表中详细描述了各个试验的具体方法，从表中结果可以看出，在公开的五个数据集上，我们的发明均获得了较好的分割准确度。在前四个测试集中的分割精度均大于其他算法，尤其是在CVC-ColonDB数据集分割中，我们的算法准确率达到81％，而其他算法的准确率都没有超过80％，并且在包含较多直径较小的结肠息肉数据集中，我们的算法分割精度达到79.3％，相较于改进前的HardNet-MSEG提高了12.7％，TransFuse-s提高了6.5％。
表3：不同方法在CVC-ClinicDB数据集上的实验效果
Figure SMS_17
Figure SMS_18
表4：不同方法在CVC-ColonDB数据集上的实验效果
Figure SMS_19
表5：不同方法在CVC-EndoScene数据集上的实验效果
Figure SMS_20
Figure SMS_21
表6：不同方法在ETIS-LaribpolypDB数据集上的实验效果
Figure SMS_22
表7：不同方法在Kvasir数据集上的实验效果
Figure SMS_23
Figure SMS_24
实施例2
为验证融合模块对于提升结肠息肉的分割精度是有帮助的，本发明分别对没有融合模块(图7)、拥有单个融合子模块(图8、9)和拥有整个融合模块(图1)做对比。最后分别计算出各类方法的分割结果绘制成表8。由表8得知包含整个融合模块的方法在各个数据集上度量值都是优于另外三种方法，并且包含单个融合子模块的方法结果要优于没有融合模块的方法结果，由此证明了发明的融合模块是有效的。
表8：不同方法对结果的影响
Figure SMS_25
/>

Claims (5)

1.一种深度学习相融合的协同学习增强的结肠息肉分割方法，其特征在于，步骤如下：
第一步：对结肠镜图像训练数据统一分辨率；
第二步：将训练集分别输入到Transformer分支和CNN分支中；
第三步：Transformer分支中首先对输入的图像预处理为二维序列形式，然后输入到DeiT-small中进行全局特征信息提取，最后对DeiT-small的输出序列Tl重塑为dmodel通道的2D特征图像
Figure FDA0004044269230000011
然后使用两次渐进式上采样得到特征图
Figure FDA0004044269230000012
Figure FDA0004044269230000013
第四步：CNN分支中首先将输入图像传到HardNet-MSEG网络中进行提取局部特征信息，然后对于HardNet-MSEG的输出Ul进行下采样得到U0，然后对U0进行2倍率上采样、卷积、BatchNorm、ReLu操作得到
Figure FDA0004044269230000014
接着对U2进行上采样在下采样得到/>
Figure FDA0004044269230000015
Figure FDA0004044269230000016
同理基于U1更新/>
Figure FDA0004044269230000017
第五步：
5.1将Transformer分支提取的特征图Ti和CNN分支提取的特征图Ui输入到全局-局部融合子模块中，实现对来自两个分支同一尺度下的特征图的融合，最终的输出Fi表示融合特征图；
5.2将全局-局部融合子模块的输出Fi输入到密集融合子模块中进行多尺度特征融合，目的是为了获得更全面的特征表示；
第六步：将Transformer分支、CNN分支、融合分支视为三个视角，使用多视角协同的目标函数进行训练，实现自适应的评估每个视角的权重；
第七步：网络结构中三个视角输出三个预测图，本发明利用每个视角的权重与各自预测图相乘在相加作为最终预测图，实现综合决策。
2.如权利要求1所述的一种深度学习相融合的协同学习增强的结肠息肉分割方法，其特征在于：所述第六步具体操作如下：
将Transformer分支、CNN分支、融合分支视为三个视角，使用多视角协同的目标函数进行训练，实现自适应的评估每个视角的权重；
Figure FDA0004044269230000018
Figure FDA0004044269230000019
Figure FDA00040442692300000110
其中，w代表视角权重系数，Θ代表模型参数，lossk代表第k个视角的预测值与真实标签之间的损失，λ代表超参数，Prek代表第k个视角的预测输出，G代表真实标签。
3.如权利要求2所述的一种深度学习相融合的协同学习增强的结肠息肉分割方法，其特征在于：所述步骤6中，λ超参数的最优值采用交叉验证策略得到。
4.如权利要求1或2或3所述的一种深度学习相融合的协同学习增强的结肠息肉分割方法，其特征在于：所述的第七步具体操作如下：本发明在训练过程保存了每个分支的权重，所以利用每个视角的权重与各自预测图相乘在相加作为最终预测图，实现综合决策，有望实现最佳分割效果；
Figure FDA0004044269230000021
其中，Out代表综合决策后的输出结果，wk代表第k个视角的权重。
5.如权利要求4所述的一种深度学习相融合的协同学习增强的结肠息肉分割方法，其特征在于：所述第七步中使用的多视角训练，对于目标函数的求解采用交叉迭代的方式进行求解，固定网络参数Θ，利用
Figure FDA0004044269230000022
求解wk，本发明中设置λ为1，固定wk，利用Adam优化器更新模型参数Θ；wk为每个第k个视角的权重，要求三个视角权重相加为1。/>
CN202310025149.4A 2023-01-09 2023-01-09 一种深度学习相融合的协同学习增强的结肠息肉分割方法 Pending CN116206105A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310025149.4A CN116206105A (zh) 2023-01-09 2023-01-09 一种深度学习相融合的协同学习增强的结肠息肉分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310025149.4A CN116206105A (zh) 2023-01-09 2023-01-09 一种深度学习相融合的协同学习增强的结肠息肉分割方法

Publications (1)

Publication Number Publication Date
CN116206105A true CN116206105A (zh) 2023-06-02

Family

ID=86513918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310025149.4A Pending CN116206105A (zh) 2023-01-09 2023-01-09 一种深度学习相融合的协同学习增强的结肠息肉分割方法

Country Status (1)

Country Link
CN (1) CN116206105A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843715A (zh) * 2023-06-21 2023-10-03 苏州大学 一种基于深度学习的多视图协同图像分割方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843715A (zh) * 2023-06-21 2023-10-03 苏州大学 一种基于深度学习的多视图协同图像分割方法和系统

Similar Documents

Publication Publication Date Title
CN109191476B (zh) 基于U-net网络结构的生物医学图像自动分割新方法
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN112489061A (zh) 一种基于多尺度信息与并行注意力机制的深度学习肠道息肉分割方法
CN112258488A (zh) 一种医疗影像病灶分割方法
Feng et al. Brain MRI super-resolution using coupled-projection residual network
CN113674253A (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
CN108764342B (zh) 一种对于眼底图中视盘和视杯的语义分割方法
CN115170582A (zh) 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法
Qiu et al. Multi-window back-projection residual networks for reconstructing COVID-19 CT super-resolution images
Yang et al. Image super-resolution based on deep neural network of multiple attention mechanism
CN113781489B (zh) 一种息肉影像语义分割方法及装置
Shahsavari et al. Proposing a novel Cascade Ensemble Super Resolution Generative Adversarial Network (CESR-GAN) method for the reconstruction of super-resolution skin lesion images
CN111260639A (zh) 多视角信息协作的乳腺良恶性肿瘤分类方法
Qiu et al. Residual dense attention networks for COVID-19 computed tomography images super resolution
Song et al. OAU-net: Outlined Attention U-net for biomedical image segmentation
CN116206105A (zh) 一种深度学习相融合的协同学习增强的结肠息肉分割方法
Chen et al. Double paths network with residual information distillation for improving lung CT image super resolution
Noor et al. GastroNet: A robust attention‐based deep learning and cosine similarity feature selection framework for gastrointestinal disease classification from endoscopic images
Jana et al. Liver fibrosis and nas scoring from ct images using self-supervised learning and texture encoding
CN114821259A (zh) 一种基于孪生卷积神经网络的零学习医学图像融合方法
Ahmed et al. COMA-Net: Towards generalized medical image segmentation using complementary attention guided bipolar refinement modules
Zhou et al. RFIA-Net: Rich CNN-transformer network based on asymmetric fusion feature aggregation to classify stage I multimodality oesophageal cancer images
Qin et al. Dynamically aggregating MLPs and CNNs for skin lesion segmentation with geometry regularization
CN109272450A (zh) 一种基于卷积神经网络的图像超分方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination