CN116091459A - 一种基于多注意力的u型网络的ct肿瘤图像分割方法及系统 - Google Patents

一种基于多注意力的u型网络的ct肿瘤图像分割方法及系统 Download PDF

Info

Publication number
CN116091459A
CN116091459A CN202310065796.8A CN202310065796A CN116091459A CN 116091459 A CN116091459 A CN 116091459A CN 202310065796 A CN202310065796 A CN 202310065796A CN 116091459 A CN116091459 A CN 116091459A
Authority
CN
China
Prior art keywords
layer
attention
convolution
output
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310065796.8A
Other languages
English (en)
Inventor
陈学武
翁国军
牛刚
李剑君
朱键
赵军武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202310065796.8A priority Critical patent/CN116091459A/zh
Publication of CN116091459A publication Critical patent/CN116091459A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于多注意力的U型网络的CT肿瘤图像分割方法及系统，首先，建立包含原始CT图像及肿瘤分割结果的数据集；其次，构建多注意力机制的U型网络模型；然后，构建U型网络模型的损失函数，接下来，采用训练数据集对U型网络模型进行训练；最后，将训练好的模型集成到软件中，实现肿瘤分割的可视化。本发明是一种可以自动对CT图像进行分割的方法，核心为改进的U型网络结构模型，该模型在UNet的基础上，增加注意力机制，扩增长距离的跳跃链接，以提取图像的主要信息并提供较大的感受野，解决了UNet对于距离较远像素间缺少运算的问题，改进后的模型嵌入到图形用户界面中，有效解决了阅片困难的问题。

Description

一种基于多注意力的U型网络的CT肿瘤图像分割方法及系统
技术领域
本发明属于医学图像处理技术领域，涉及一种基于多注意力的U型网络的CT肿瘤图像分割方法及系统。
背景技术
现有的肝脏肿瘤分割主要分为基于机器学习的方法与基于深度学习的方法两种。其中基于机器学习的传统方法有阈值分割、水平集、聚类等，这些方法一般要依赖于医生指定感兴趣区域或种子点等，属于半自动化的方法，分割效率低。CT图像还存在边界模糊等因素，导致传统的方法处理后的影响精度相对较低。随着计算机计算能力的增加，深度学习技术不断发展，近年来，越来越多的研究人员开始着手于利用深度学习进行肝脏肿瘤的自动分割。而卷积具有感受野较小的缺点，导致无法建立远距离像素连接，并且，肿瘤在影像学的表现中往往存在边界模糊的问题，导致现有的方法，易出现肿瘤边界出的欠分割或过分割现象。而且建立的模型往往缺少图形界面的展示，导致难以应用。
发明内容
本发明的目的在于解决现有技术中卷积具有感受野较小的缺点，导致无法建立远距离像素连接，并且肿瘤在影像学的表现中往往存在边界模糊的问题，导致现有的方法，易出现肿瘤边界出的欠分割或过分割现象的问题，提供一种基于多注意力的U型网络的CT肿瘤图像分割方法及系统。
为达到上述目的，本发明采用以下技术方案予以实现：
本发明提出的一种基于多注意力的U型网络的CT肿瘤图像分割方法，包括以下步骤：
基于UNet网络构建多注意力机制的U型网络模型；
根据U型网络模型构建U型网络模型的损失函数；
将CT图像输入至U型网络模型中，输出分割后的CT图像，实现CT图像中的肿瘤分割。
优选地，多注意力机制的U型网络模型包括Unet Backbone模块、visualattention模块和blending attention模块。
优选地，构建Unet Backbone模块如下：共五层结构，前四层包括两个卷积模块一个池化模块，最后一层包括两个卷积层；第一层结构的输出作为第二层结构的输入与visual attention 1的输入，第二层结构的输出作为第三层结构的输入与visualattention 2的输入，第三层结构的输出作为第四层结构的输入与visual attention 3的输入，第四层结构的输出作为第五层结构的输入与visual attention 4的输入，第五层结构的输出作为visual attention5的输入与整体结构的输出；
其中，第一至第四个卷积模块均由2个大小为3×3的卷积层和1个大小为2×2的最大池化层依次连接组成，第五个卷积模块由2个大小为3×3的卷积层依次连接组成。
优选地，构建visual attention模块如下：由多个分支组成，每一层分支由一个不带空洞的卷积A与一个带空洞的卷积B组成的注意力机制构成，卷积A输出为卷积B的输入，卷积B的输入进行Sigmoid操作后与卷积A的输出相乘作为该分支的输出，各个分支的输出由一个卷积进行整合；进行整合的卷积核大小为1*1；
第五层的输出作为blending attention 5与第四层的输入；第四层的输出作为blending attention 4与第三层的输入；第三层的输出作为blending attention 3与第二层的输入；第二层的输出作为blending attention 2与第一层的输入；第一层的输出作为blending attention 1的输入与整体的输出；
其中，每一层分支数量不一致，第一层含有五个分支，第二层含有四个分支，第三层含有三个分支，第四层含有二个分支，第五层含有一个分支；每一个分支的卷积核大小不一致，分支的深度depth1与卷积A kernel_size1大小的关系满足以下公式：
kernel_size1＝2*depth1+1
Figure BDA0004062259500000031
分支的深度depth2与卷积B kernel_size2大小的关系满足以下公式：
Figure BDA0004062259500000032
优选地，构建blending attention模块如下：对第五层VA模块的输出进行16倍双线性插值，第四层VA模块的输出进行8被双线性插值，第三层VA模块的输出进行4倍双线性插值，第二层VA模块的输出进行2倍双线性插值，与第一层VA模块的输出进行拼接，使用三个卷积进行处理得到fuse；
对于第五层BA，对fuse进行16倍降采样，然后对与第五层的输入和降采样后的fuse分别求取权重w1,w2，并分别用三个卷积进行处理后输入到sigmoid函数进行自注意力处理，与本身相乘，得到的两个输入进行拼接后，使用一个卷积进行处理；
对于第四层BA，对fuse进行8倍降采样，然后对与四层VA的输入和降采样后的fuse分别求取权重w1,w2，并分别用三个卷积进行处理后输入到sigmoid函数进行自注意力处理，与本身相乘，得到的两个输入进行拼接后，使用一个卷积进行处理；
对于第三层BA，对fuse进行4倍降采样，然后对与第三层VA的输入和降采样后的fuse分别求取权重w1,w2，并分别用三个卷积进行处理后输入到sigmoid函数进行自注意力处理，与本身相乘，得到的两个输入进行拼接后，使用一个卷积进行处理；
对于第二层BA，对fuse进行2倍降采样，然后对与第二层VA的输入和降采样后的fuse分别求取权重w1,w2，并分别用三个卷积进行处理后输入到sigmoid函数进行自注意力处理，与本身相乘，得到的两个输入进行拼接后，使用一个卷积进行处理；
对于第一层BA，对fuse与第五层VA的输入分别求取权重w1,w2，并分别用三个卷积进行处理后输入到sigmoid函数进行自注意力处理，与本身相乘，得到的两个输入进行拼接后，使用一个卷积进行处理；
五层BA模块的输出分别进行16，8，4，2，1倍上采样之后进行拼接，使用一个卷积进行处理后作为输出；
其中，拼接使用的三个卷积核大小分别为1*1，3*3，3*3；BA层中的自注意力中的卷积核分别为1*1，3*3，3*3，处理拼接的卷积核大小为1*1；最后进行处理的卷积核大小为1*1。
优选地，构建DAU-Net网络模型的损失函数过程如下：
第一、采用DICE系数来构建降采样的第一损失函数L1，如下公式：
Figure BDA0004062259500000041
其中，X1表示Unet Backbone模块的输出图像；
第二、采用DICE系数来构建降采样的第二损失函数L2，如下公式：
Figure BDA0004062259500000042
其中，X2表示visual attention模块的输出图像；
第三、采用DICE系数来构建降采样的第三损失函数L3，如下公式：
Figure BDA0004062259500000043
其中，Y代表分割的金标准，X3表示blending attention模块的输出图像；
第四、结合第一损失函数L1、第二损失函数L2、第三损失函数L3构造DAU-Net网络的损失函数L＝(L1+L2)*α+L3。
优选地，利用PySimpleGUI实现肿瘤分割的可视化。
本发明提出的一种基于多注意力的U型网络的CT肿瘤图像分割方法的系统，包括：
模型构建模块，所述模型构建模块用于基于UNet网络构建多注意力机制的U型网络模型；
损失函数构建模块，所述损失函数构建模块用于根据U型网络模型构建U型网络模型的损失函数；
图像分割模块，所述图像分割模块用于将CT图像输入至U型网络模型中，输出分割后的CT图像，实现CT图像中的肿瘤分割。
本发明提出的一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行计算机程序时实现基于多注意力的U型网络的CT肿瘤图像分割方法的步骤。
本发明提出的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现基于多注意力的U型网络的CT肿瘤图像分割方法的步骤。
与现有技术相比，本发明具有以下有益效果：
本发明提出的一种基于多注意力的U型网络的CT肿瘤图像分割方法，与现有技术相比，针对网络存在的缺少远距离依赖的问题，使用两个不同的注意力机制进行串联提取全局能力。本发明是一种可以自动对CT图像进行分割的方法，核心为改进的U型网络结构模型，DAU-Net模型可以改善当前对于肿瘤分割精度低的问题。该模型在UNet的基础上，增加注意力机制，扩增长距离的跳跃链接，以提取图像的主要信息并提供较大的感受野，解决了UNet对于距离较远像素间缺少运算的问题。
进一步地，将模型嵌入到用户图形界面中，便于操作，并且使结果更直观。
本发明提出的一种基于多注意力的U型网络的CT肿瘤图像分割系统，通过将系统划分为模型构建模块、损失函数构建模块和图像分割模块，实现肿瘤图像的分割。采用模块化思想使各个模块之间相互独立，方便对各模块进行统一管理。
附图说明
为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明的基于多注意力的U型网络的CT肿瘤图像分割方法流程图。
图2为本发明的肝脏分割结构示意图。
图3为本发明的VA模块结构示意图。
图4为本发明的BA模块结构示意图。
图5为本发明的用户图形界面示意图。
图6为本发明的基于多注意力的U型网络的CT肿瘤图像分割系统图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图对本发明做进一步详细描述：
本发明提出的一种基于多注意力的U型网络的CT肿瘤图像分割方法，如图1所示，包括如下步骤：
S1、基于UNet网络构建多注意力机制的U型网络模型；
S2、根据U型网络模型构建U型网络模型的损失函数；
S3、将CT图像输入至U型网络模型中，输出分割后的CT图像，实现CT图像中的肿瘤分割。
如图2所示，具体包括如下步骤：
步骤1、获取包含原始CT图像及其患者所处肿瘤分期结果的原始训练数据集，并依据患者CT影响进行手动划分肝脏与肿瘤的分割结果，具体过程包括：
1.1、对于患者的CT图像进行窗宽为400，窗位为0的开窗处理，采用如下公式对像素P进行处理：
Figure BDA0004062259500000071
1.2、对于进行完窗口化处理的CT图像I，进行各向异性滤波，其原理如下：
Figure BDA0004062259500000081
Figure BDA0004062259500000082
其中，div是散度算子，I是输入的CT图像，c(·)为扩散系数。
1.3、对于进行完各向异性滤波的图像I，进行种子生长进行数据集标注，其步骤如下：
对于图像I，选择其中n个点作为初始种子组成已生长区域，判断周围s个点组成的邻域是否满足规则f，若是满足则划入已生长区域，否则结束操作，直到所有邻域均不满足生长规则。
1.4、对于完成区域生长的图像I，进行膨胀、腐蚀处理填充空洞，膨胀公式如下。
Figure BDA0004062259500000083
Figure BDA0004062259500000084
式中：A为需要处理的图像；B为自己定义的一个结构元素。上述公式表示用结构B腐蚀图像A与用结构B膨胀图像A。
1.5、对于完成所有处理的图像进行手动校准得到数据集。
步骤2、构建一种多注意力机制的U型网络模型，称为DAU-Net，该网络模型包含Unet Backbone，visual attention，blending attention模块，具体构建过程包括：
2.1、构建Unet Backbone模块，该模块仅作为下采样使用。共五层结构，前四层包括两个卷积模块一个池化模块，实现降采样的作用，最后一层包括两个卷积层。第一层结构的输出作为第二层结构的输入与visual attention 1的输入，第二层结构的输出作为第三层结构的输入与visual attention 2的输入，第三层结构的输出作为第四层结构的输入与visual attention 3的输入，第四层结构的输出作为第五层结构的输入与visualattention 4的输入，第五层结构的输出作为visual attention5的输入与整体结构的输出；
2.2、在步骤2.1所述的初始分割模块中，第一至第四个卷积模块均由2个大小为3×3的卷积层和1个大小为2×2的最大池化层依次连接组成，第五个卷积模块由2个大小为3×3的卷积层依次连接组成；
2.3、如图3所示，构建visual attention模块。VA(visual attention)模块由多个分支组成，每一层分支由一个不带空洞的卷积A与一个带空洞的卷积B组成的注意力机制构成，卷积A输出为卷积B的输入，卷积B的输入进行Sigmoid操作后与卷积A的输出相乘作为该分支的输出，各个分支的输出由一个卷积进行整个。共有五层VA结构，其中，第五层VA的输出作为blending attention 5与第四层VA的输入；第四层VA的输出作为blendingattention 4与第三层VA的输入；第三层VA的输出作为blending attention 3与第二层VA的输入；第二层VA的输出作为blending attention 2与第一层VA的输入；第一层VA的输出作为blending attention 1的输入与整体的输出；
2.4、在步骤2.3所属的visual attention模块中，每一层VA模块的分支数量不一致，第一层VA模块含有五个分支，第二层VA模块含有四个分支，第三层VA模块含有三个分支，第四层VA模块含有二个分支，第五层VA模块含有一个分支。每一个分支的卷积核大小不一致，其中分支的深度与卷积A大小的关系满足以下公式：
kernel_size＝2*depth+1
Figure BDA0004062259500000091
分支深度与卷积B大小的关系满足以下公式：
kernel_size＝2*depth+1
padding＝kernel_size
进行整合的卷积核大小为1*1；
2.5、如图4所示，构建blending attention模块。首先是对第五层VA模块的输出进行16倍双线性插值，第四层VA模块的输出进行8被双线性插值，第三层VA模块的输出进行4倍双线性插值，第二层VA模块的输出进行2倍双线性插值，与第一层VA模块的输出进行拼接，使用三个卷积进行处理得到fuse。对于第五层BA，对fuse进行16倍降采样，然后对与第五层VA的输入和降采样后的fuse分别求取权重w1,w2，并分别用三个卷积进行处理后输入到sigmoid函数进行自注意力处理，与本身相乘，得到的两个输入进行拼接后，使用一个卷积进行处理。对于第四层BA，对fuse进行8倍降采样，然后对与四层VA的输入和降采样后的fuse分别求取权重w1,w2，并分别用三个卷积进行处理后输入到sigmoid函数进行自注意力处理，与本身相乘，得到的两个输入进行拼接后，使用一个卷积进行处理。对于第三层BA，对fuse进行4倍降采样，然后对与第三层VA的输入和降采样后的fuse分别求取权重w1,w2，并分别用三个卷积进行处理后输入到sigmoid函数进行自注意力处理，与本身相乘，得到的两个输入进行拼接后，使用一个卷积进行处理。对于第二层BA，对fuse进行2倍降采样，然后对与第二层VA的输入和降采样后的fuse分别求取权重w1,w2，并分别用三个卷积进行处理后输入到sigmoid函数进行自注意力处理，与本身相乘，得到的两个输入进行拼接后，使用一个卷积进行处理。对于第一层BA，对fuse与第五层VA的输入分别求取权重w1,w2，并分别用三个卷积进行处理后输入到sigmoid函数进行自注意力处理，与本身相乘，得到的两个输入进行拼接后，使用一个卷积进行处理。五层BA模块的输出分别进行16，8，4，2，1倍上采样之后进行拼接，使用一个卷积进行处理后作为输出；
2.6、在步骤2.5所属的visual attention模块中，拼接使用的三个卷积核大小分别为1*1，3*3，3*3。BA层中的自注意力中的卷积核分别为1*1，3*3，3*3，处理拼接的卷积核大小为1*1。最后进行处理的卷积核大小为1*1；
2.7、对于2.1，2.3，2.5的输出分别使用一个卷积进行处理后拼接，对于最终输出使用一个卷积进行处理；
步骤3、构建DAU-Net网络模型的损失函数，具体过程包括：
3.1、采用DICE系数来构建降采样的损失函数L1，如下公式：
Figure BDA0004062259500000111
其中，Y代表分割的金标准，其中，对于肝脏分割而言，肝脏与肝脏肿瘤区域为“1”，其余区域为“0”。对于肿瘤分割而言，肝脏肿瘤区域为“1”，其余区域为“0”。X1表示UnetBackbone模块的输出图像。
3.2、采用DICE系数来构建降采样的损失函数L2，如下公式：
Figure BDA0004062259500000112
其中，Y代表分割的金标准，其中，对于肝脏分割而言，肝脏与肝脏肿瘤区域为“1”，其余区域为“0”。对于肿瘤分割而言，肝脏肿瘤区域为“1”，其余区域为“0”。X2表示visualattention模块的输出图像。
3.3、采用DICE系数来构建降采样的损失函数L3，如下公式：
Figure BDA0004062259500000113
其中，Y代表分割的金标准，其中，对于肝脏分割而言，肝脏与肝脏肿瘤区域为“1”，其余区域为“0”。对于肿瘤分割而言，肝脏肿瘤区域为“1”，其余区域为“0”。X3表示blendingattention模块的输出图像。
3.4、结合L1、L2、L3构造DAU-Net网络的损失函数L：
L＝(L1+L2)*α+L3
步骤4、采用训练数据集对DAU-Net网络进行肝脏分割训练直到L收敛，得到模型A。
步骤5、利用提取出的肝脏区域ROI与原始图像相乘得到仅肝脏部分的训练集。利用该训练集对DAU-Net进行肝脏肿瘤分割训练直到L收敛，得到模型B。
步骤6、将模型A、B进行组合得到两段式分割的模型。
如图5所示，利用PySimpleGUI进行图形界面开发，并将U型网络模型嵌入其中。
本发明提出的一种基于多注意力的U型网络的CT肿瘤图像分割系统，如图6所示，包括模型构建模块、损失函数构建模块和图像分割模块；
所述模型构建模块用于基于UNet网络构建多注意力机制的U型网络模型；
所述损失函数构建模块用于根据U型网络模型构建U型网络模型的损失函数；
所述图像分割模块用于将CT图像输入至U型网络模型中，输出分割后的CT图像，实现CT图像中的肿瘤分割。
本发明一实施例提供的终端设备，该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。
所述处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。
所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本发明提出的一种基于多注意力的U型网络的CT肿瘤图像分割方法，包括如下步骤：1)建立包含原始CT图像及肝脏分割与分类结果的数据集；2)构建一种多注意力机制的U型网络模型；3)构建网络损失函数；4)采用训练数据集对网络模型进行训练；5)将训练好的模型集成到软件中，得到最终的肿瘤分割。本发明的核心为改进的U型网络结构模型，该模型在UNet的基础上，增加注意力机制，扩增长距离的跳跃链接，以提取图像的主要信息并提供较大的感受野，解决了UNet对于距离较远像素间缺少运算的问题，改进后的模型嵌入到图形用户界面中，有效解决了阅片困难的问题。DAU-Net模型可以改善当前对于肿瘤识别精度低的问题。与现有技术相比，本发明方法的主要优点与创新包括：1)针对网络存在的缺少远距离依赖的问题，使用两个不同的注意力机制进行串联提取全局能力；2)本发明将提取出来的肿瘤结果在自己建立的数据集的基础上依据先验知识进行分类；3)本发明将模型嵌入到用户图形界面中，便于操作，并且使结果更直观。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多注意力的U型网络的CT肿瘤图像分割方法，其特征在于，包括以下步骤：
基于UNet网络构建多注意力机制的U型网络模型；
根据U型网络模型构建U型网络模型的损失函数；
将CT图像输入至U型网络模型中，输出分割后的CT图像，实现CT图像中的肿瘤分割。
2.根据权利要求1所述的基于多注意力的U型网络的CT肿瘤图像分割方法，其特征在于，多注意力机制的U型网络模型包括Unet Backbone模块、visual attention模块和blending attention模块。
3.根据权利要求2所述的基于多注意力的U型网络的CT肿瘤图像分割方法，其特征在于，构建Unet Backbone模块如下：共五层结构，前四层包括两个卷积模块一个池化模块，最后一层包括两个卷积层；第一层结构的输出作为第二层结构的输入与visual attention 1的输入，第二层结构的输出作为第三层结构的输入与visual attention 2的输入，第三层结构的输出作为第四层结构的输入与visual attention 3的输入，第四层结构的输出作为第五层结构的输入与visual attention 4的输入，第五层结构的输出作为visualattention5的输入与整体结构的输出；
其中，第一至第四个卷积模块均由2个大小为3×3的卷积层和1个大小为2×2的最大池化层依次连接组成，第五个卷积模块由2个大小为3×3的卷积层依次连接组成。
4.根据权利要求2所述的基于多注意力的U型网络的CT肿瘤图像分割方法，其特征在于，构建visual attention模块如下：由多个分支组成，每一层分支由一个不带空洞的卷积A与一个带空洞的卷积B组成的注意力机制构成，卷积A输出为卷积B的输入，卷积B的输入进行Sigmoid操作后与卷积A的输出相乘作为该分支的输出，各个分支的输出由一个卷积进行整合；进行整合的卷积核大小为1*1；
第五层的输出作为blending attention 5与第四层的输入；第四层的输出作为blending attention 4与第三层的输入；第三层的输出作为blending attention 3与第二层的输入；第二层的输出作为blending attention 2与第一层的输入；第一层的输出作为blending attention 1的输入与整体的输出；
其中，每一层分支数量不一致，第一层含有五个分支，第二层含有四个分支，第三层含有三个分支，第四层含有二个分支，第五层含有一个分支；每一个分支的卷积核大小不一致，分支的深度depth1与卷积A kernel_size1大小的关系满足以下公式：
kernel_size1＝2*depth1+1
Figure FDA0004062259490000021
分支的深度depth2与卷积B kernel_size2大小的关系满足以下公式：
Figure FDA0004062259490000022
5.根据权利要求2所述的基于多注意力的U型网络的CT肿瘤图像分割方法，其特征在于，构建blending attention模块如下：对第五层VA模块的输出进行16倍双线性插值，第四层VA模块的输出进行8被双线性插值，第三层VA模块的输出进行4倍双线性插值，第二层VA模块的输出进行2倍双线性插值，与第一层VA模块的输出进行拼接，使用三个卷积进行处理得到fuse；
对于第五层BA，对fuse进行16倍降采样，然后对与第五层的输入和降采样后的fuse分别求取权重w1,w2，并分别用三个卷积进行处理后输入到sigmoid函数进行自注意力处理，与本身相乘，得到的两个输入进行拼接后，使用一个卷积进行处理；
对于第四层BA，对fuse进行8倍降采样，然后对与四层VA的输入和降采样后的fuse分别求取权重w1,w2，并分别用三个卷积进行处理后输入到sigmoid函数进行自注意力处理，与本身相乘，得到的两个输入进行拼接后，使用一个卷积进行处理；
对于第三层BA，对fuse进行4倍降采样，然后对与第三层VA的输入和降采样后的fuse分别求取权重w1,w2，并分别用三个卷积进行处理后输入到sigmoid函数进行自注意力处理，与本身相乘，得到的两个输入进行拼接后，使用一个卷积进行处理；
对于第二层BA，对fuse进行2倍降采样，然后对与第二层VA的输入和降采样后的fuse分别求取权重w1,w2，并分别用三个卷积进行处理后输入到sigmoid函数进行自注意力处理，与本身相乘，得到的两个输入进行拼接后，使用一个卷积进行处理；
对于第一层BA，对fuse与第五层VA的输入分别求取权重w1,w2，并分别用三个卷积进行处理后输入到sigmoid函数进行自注意力处理，与本身相乘，得到的两个输入进行拼接后，使用一个卷积进行处理；
五层BA模块的输出分别进行16，8，4，2，1倍上采样之后进行拼接，使用一个卷积进行处理后作为输出；
其中，拼接使用的三个卷积核大小分别为1*1，3*3，3*3；BA层中的自注意力中的卷积核分别为1*1，3*3，3*3，处理拼接的卷积核大小为1*1；最后进行处理的卷积核大小为1*1。
6.根据权利要求2所述的基于多注意力的U型网络的CT肿瘤图像分割方法，其特征在于，构建DAU-Net网络模型的损失函数过程如下：
第一、采用DICE系数来构建降采样的第一损失函数L1，如下公式：
Figure FDA0004062259490000031
其中，X1表示Unet Backbone模块的输出图像；
第二、采用DICE系数来构建降采样的第二损失函数L2，如下公式：
Figure FDA0004062259490000032
其中，X2表示visual attention模块的输出图像；
第三、采用DICE系数来构建降采样的第三损失函数L3，如下公式：
Figure FDA0004062259490000041
其中，Y代表分割的金标准，X3表示blending attention模块的输出图像；
第四、结合第一损失函数L1、第二损失函数L2、第三损失函数L3构造DAU-Net网络的损失函数L＝(L1+L2)*α+L3。
7.根据权利要求1所述的基于多注意力的U型网络的CT肿瘤图像分割方法，其特征在于，利用PySimpleGUI实现肿瘤分割的可视化。
8.采用权利要求1～7中任意一项所述的基于多注意力的U型网络的CT肿瘤图像分割方法的系统，其特征在于，包括：
模型构建模块，所述模型构建模块用于基于UNet网络构建多注意力机制的U型网络模型；
损失函数构建模块，所述损失函数构建模块用于根据U型网络模型构建U型网络模型的损失函数；
图像分割模块，所述图像分割模块用于将CT图像输入至U型网络模型中，输出分割后的CT图像，实现CT图像中的肿瘤分割。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行计算机程序时实现如权利要求1至7中任意一项所述的基于多注意力的U型网络的CT肿瘤图像分割方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的基于多注意力的U型网络的CT肿瘤图像分割方法的步骤。
CN202310065796.8A 2023-01-16 2023-01-16 一种基于多注意力的u型网络的ct肿瘤图像分割方法及系统 Pending CN116091459A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310065796.8A CN116091459A (zh) 2023-01-16 2023-01-16 一种基于多注意力的u型网络的ct肿瘤图像分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310065796.8A CN116091459A (zh) 2023-01-16 2023-01-16 一种基于多注意力的u型网络的ct肿瘤图像分割方法及系统

Publications (1)

Publication Number Publication Date
CN116091459A true CN116091459A (zh) 2023-05-09

Family

ID=86198895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310065796.8A Pending CN116091459A (zh) 2023-01-16 2023-01-16 一种基于多注意力的u型网络的ct肿瘤图像分割方法及系统

Country Status (1)

Country Link
CN (1) CN116091459A (zh)

Similar Documents

Publication Publication Date Title
Cai et al. A review of the application of deep learning in medical image classification and segmentation
WO2021031066A1 (zh) 一种软骨图像分割方法、装置、可读存储介质及终端设备
US20200372648A1 (en) Image processing method and device, computer apparatus, and storage medium
CN108510482B (zh) 一种基于阴道镜图像的宫颈癌检测装置
CN110176012B (zh) 图像中的目标分割方法、池化方法、装置及存储介质
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
CN112308866B (zh) 图像处理方法、装置、电子设备及存储介质
CN114565763B (zh) 图像分割方法、装置、设备、介质及程序产品
CN114170167B (zh) 基于注意力引导上下文校正的息肉分割方法和计算机设备
CN111080655A (zh) 图像分割及其模型训练方法、装置、介质及电子设备
CN111091521A (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN110223300A (zh) Ct图像腹部多器官分割方法及装置
CN113361535B (zh) 图像分割模型训练、图像分割方法及相关装置
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
CN117495876B (zh) 基于深度学习的冠状动脉图像分割方法及系统
CN110570394A (zh) 医学图像分割方法、装置、设备及存储介质
CN112801904A (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN113706562B (zh) 图像分割方法、装置、系统及细胞分割方法
CN113450359A (zh) 医学图像分割、显示、模型训练方法、系统、设备和介质
CN112700460A (zh) 图像分割方法及系统
CN112348818A (zh) 一种图像分割方法、装置、设备以及存储介质
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN109241930B (zh) 用于处理眉部图像的方法和装置
WO2021179822A1 (zh) 人体特征点的检测方法、装置、电子设备以及存储介质
CN116091459A (zh) 一种基于多注意力的u型网络的ct肿瘤图像分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination