CN112651979B - 肺部x光图像分割方法、系统、计算机设备及存储介质 - Google Patents
肺部x光图像分割方法、系统、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112651979B CN112651979B CN202110028364.0A CN202110028364A CN112651979B CN 112651979 B CN112651979 B CN 112651979B CN 202110028364 A CN202110028364 A CN 202110028364A CN 112651979 B CN112651979 B CN 112651979B
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- convolution
- characteristic image
- lung
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种肺部X光图像分割方法、系统、计算机设备及存储介质,所述方法包括:获取肺部X光图像数据集;对肺部X光图像数据集进行预处理,得到训练集;将训练集输入RIAMU‑Net模型进行训练,得到训练后的RIAMU‑Net模型,所述RIAMU‑Net模型以U‑Net模型为基础,编码器的每一层均包括Res‑inception模块,解码器的每一层均包括注意力机制模块和Res‑inception模块;利用训练后的RIAMU‑Net模型对待分割肺部X光图像数据进行分割,得到分割图像。本发明基于U‑Net模型,改进模型结构,使之能更好地提取X光图像的特征,可以更加精确的分割肺部图像,对肺部边缘分割的效果上有所提高。
Description
技术领域
本发明涉及一种肺部X光图像分割方法、系统、计算机设备及存储介质,属于肺部X光图像分割领域。
背景技术
医学图像是很多疾病诊断的重要依据,因此在疾病诊断的过程中,产生了很多的医学图像,这给医学图像分割算法的研究带来了数据基础。传统的图像分割方法利用的是图像中一种或几种人为选取的特征,导致传统方法在分割特征不是显而易见的图像时往往准确率不高。图像分割在医学成像等多种其他应用中起着重要的作用,分割过程的目标是定义图像中具有某些属性,利用这些属性可以使分割出的图像各部分差异较小。这些性质的定义应满足一个一般条件,即如果考虑同一组适当的条件,分割后相邻不同区域是不相似的。
总体上可以将医疗图像的分割算法分为传统方法和基于深度学习的方法。基于阈值的方法、基于区域的方法、基于边缘的方法是较为常见的传统分割方法。基于阈值的方法利用图像中每个像素的灰度值对每个像素来分类,是最简单和最快速的方法。具体来说就是为每个类别设定一个灰度值的范围,遍历一次图像的像素值就可以得到分类的结果。基于阈值分割法的关键是选择合适的阈值,双锋法和大津法是常见的阈值选择方法。基于区域的分割方法主要有区域生长法、区域合并法、区域分裂合并法。图像中在不同部分之间的边缘的像素沿着分界线的灰度值变化小,而沿着垂直于分界线方向的灰度值变化较剧烈。根据这一特点可以通过求灰度值的导数值来确定边界,导数值可以用微分算子来得到,如roberts算子、prewitt算子、sobel算子、LoG算子、Canny算子等。
U-Net模型如图1所示,U-Net具有一个重要特征:U-Net的编码路径(左)首先对输入图像进行编码产生特征向量,然后通过解码路径(右)解码到输出分割图。如图1所示,每个箭头左侧(中间)的特征映射连接到模型右侧的解码层。这些跳过连接有助于通过编码路径恢复信息,减少底层信息的丢失。因为一些目标组织在输入图像是非常小的,因此当传输到编码路径的更深层时,这些信息可能会逐渐减少,上述跳过连接结构有助于减少信息损失。
闫文杰等人基于经典的U-Net模型和空洞卷积(Dilated convolutions,DC),采用的图像分割网络如图2所示,给出了处理肺部CT图像分割问题的空洞U-Net模型(DC-U-Net),并且在模型输出层之前加了一层1×1的卷积,融合了多通道信息并增加模型的非线性。在工程实践中,首先对原始图像进行了预处理,主要包括去噪处理和数据增强。闫文杰等人利用Kaggle中的lungs数据进行了数值实验,给出了肺部CT分割图,并且与其它的模型进行了比较。数值结果表明,这个模型在肺部分割上效果良好,有一定的应用价值,但该模型没有考虑不同通道的特征图的重要性,以及相同通道不同空间位置对分割结果影响的重要性,卷积核的大小是固定的,导致模型同一层的感受野是相同的,数据增强不够多,导致训练样本不够多,导致存在以下缺点:1)在对肺部边缘的分割上有所欠缺,如分割轮廓有些地方有空洞;2)在对肺部微小血管等细微结构上,方法的效果并不理想,有些细微结构没有分割出来。
发明内容
有鉴于此,本发明提供了一种肺部X光图像分割方法、系统、计算机设备及存储介质,其基于U-Net模型,改进模型结构,使之能更好地提取X光图像的特征,可以更加精确的分割肺部图像,对肺部边缘分割的效果上有所提高。
本发明的第一个目的在于提供一种肺部X光图像分割方法。
本发明的第二个目的在于提供一种肺部X光图像分割系统。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到:
一种肺部X光图像分割方法,所述方法包括:
获取肺部X光图像数据集;
对肺部X光图像数据集进行预处理,得到训练集;
将训练集输入RIAMU-Net模型进行训练,得到训练后的RIAMU-Net模型;其中,所述RIAMU-Net模型以U-Net模型为基础,编码器的每一层均包括Res-inception模块,解码器的每一层均包括注意力机制模块和Res-inception模块;
利用训练后的RIAMU-Net模型对待分割肺部X光图像数据进行分割,得到分割图像。
进一步的,所述对肺部X光图像数据集进行预处理,得到训练集,具体包括:
将肺部X光图像数据集中的样本数据进行图像去噪、尺寸裁剪的预处理;
根据预处理后的肺部X光图像数据集,划分得到训练集。
进一步的,所述对肺部X光图像数据集进行预处理,得到训练集之后,还包括:
将训练集中的训练数据进行随机比例缩放、随机位置裁剪、随机水平/垂直翻转、随机角度旋转、随机亮度/饱和度/对比度变化的增强处理,得到增强处理后的训练集。
进一步的,所述RIAMU-Net模型的编码器具有五层,从上到下依次为第一层、第二层、第三层、第四层和第五层;
在编码器的第一层中,输入图像经过第一Res-inception模块,输出得到第一特征图像;第一特征图像通过第一连跳结构传输到解码器;
在编码器的第二层中,第一特征图像经过核为2x2的最大池化后,拼接上输入图像经过第一池化再经过1x1卷积得到的图像,经过第二Res-inception模块,输出得到第二特征图像;第二特征图像通过第二连跳结构传输到解码器;
在编码器的第三层中,第二特征图像经过核为2x2的最大池化后,拼接上输入图像经过第二池化再经过1x1卷积得到的图像,经过第三Res-inception模块,输出得到第三特征图像;第三特征图像通过第三连跳结构传输到解码器;
在编码器的第四层中,第三特征图像经过核为2x2的最大池化后,拼接上输入图像经过第三池化再经过1x1卷积得到的图像,经过第四Res-inception模块,输出得到第四特征图像;第四特征图像通过第四连跳结构传输到解码器;
在编码器的第五层中,第四特征图像经过核为2x2的最大池化后,得到编码器第五层的输入特征图像,经过第五Res-inception模块,输出得到第五特征图像;
其中,所述第一池化、第二池化和第三池化采用了不同尺度的池化,所述第一连跳结构、第二连跳结构、第三连跳结构和第四连跳结构均带有1x1卷积。
进一步的,所述RIAMU-Net模型的解码器具有四层,从上到下依次为第一层、第二层、第三层和第四层;
在解码器的第四层中,第五特征图像经过第一次转置卷积后与第四特征图像拼接得到第一合成特征图像,第一合成特征图像依次经过第一注意力机制模块和第六Res-inception模块,输出得到第一解码特征图像;
在解码器的第三层中,第一解码特征图像经过第二次转置卷积后与第三特征图像拼接得到第二合成特征图像,第二合成特征图像依次经过第二注意力机制模块和第七Res-inception模块,输出得到第二解码特征图像;
在解码器的第二层中,第二解码特征图像经过第三次转置卷积后与第二特征图像拼接得到第三合成特征图像,第三合成特征图像依次经过第三注意力机制模块和第八Res-inception模块,输出得到第三解码特征图像;
在解码器的第一层中,第三解码特征图像经过第四次转置卷积后与第一特征图像拼接得到第四合成特征图像,第四合成特征图像依次经过第四注意力机制模块和第九Res-inception模块,输出得到第四解码特征图像;
在解码器的第一层最后连接一个1x1卷积,第四解码特征图像经过1x1卷积后,输出预测的分割图像。
进一步的,所述Res-inception模块包括输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层和池化层,所述第一卷积层、第二卷积层、第三卷积层和第四卷积层均为1x1卷积层,所述第五卷积层、第六卷积层和第七卷积层均为3x3卷积层;
输入层的输入图像依次经过第一卷积层、第五卷积层和第七卷积层,提取得到第一特征;输入层的输入图像依次经过第二卷积层和第六卷积层,提取得到第二特征;输入层的输入图像依次经过池化层和第四卷积层,提取得到第三特征;输入层的输入图像依次经过第三卷积层,提取得到第四特征;将第一特征、第二特征、第三特征和第四特征进行拼接,得到合成特征;将合成特征与输入层的输入图像融合,输出特征图像。
进一步的,所述注意力机制模块包括通道注意力机制和空间注意力机制。
本发明的第二个目的可以通过采取如下技术方案达到:
一种肺部X光图像分割系统,所述系统包括:
获取单元,用于获取肺部X光图像数据集;
预处理单元,用于对肺部X光图像数据集进行预处理,得到训练集;
训练单元,用于将训练集输入RIAMU-Net模型进行训练,得到训练后的RIAMU-Net模型;其中,所述RIAMU-Net模型以U-Net模型为基础,编码器的每一层均包括Res-inception模块,解码器的每一层均包括注意力机制模块和Res-inception模块;
分割单元,用于利用训练后的RIAMU-Net模型对待分割肺部X光图像数据进行分割,得到分割图像。
本发明的第三个目的可以通过采取如下技术方案达到:
一种计算机设备,包括处理器以及用于存储处理器可执行程序的存储器,所述处理器执行存储器存储的程序时,实现上述的肺部X光图像分割方法。
本发明的第四个目的可以通过采取如下技术方案达到:
一种存储介质,存储有程序,所述程序被处理器执行时,实现上述的肺部X光图像分割方法。
本发明相对于现有技术具有如下的有益效果:
1、本发明可以对肺部X光图像数据集进行预处理,得到训练集,将训练集输入RIAMU-Net模型进行训练,得到训练后的RIAMU-Net模型,该RIAMU-Net模型将res结构、inception结构、注意力机制与U-Net模型进行了结合,增强了原始U-Net模型的特征提取和表达能力,使得模型对复杂边界的分割精度得到了提高。
2、本发明对小样本的数据分割效果做出了改善,针对肺部X光图像数据样本少的缺陷,在对肺部X光图像数据集进行预处理后,做了大量的数据增强工作,包括随机比例缩放、随机位置裁剪、随机水平/垂直翻转、随机角度旋转、随机亮度/饱和度/对比度变化的增强处理,结合模型的改进,进一步提高了肺部X光图像肺实质分割的准确率。
3、本发明的RIAMU-Net模型中,在连跳结构处增加了1x1卷积,即增加了非线性因素,有助于缓和高层特征和低层特征拼接的语义差别,另外加入了多尺度图像输入,多尺度输入能够帮助模型更有针对性地捕捉图像的局部和全局特征,提高了模型的易训练性和特征提取效率,提高了模型的分割精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
图1为现有U-Net模型的结构图。
图2为现有DC-U-Net模型的结构图。
图3为本发明实施例1的肺部X光图像分割方法的流程图。
图4为本发明实施例1的训练RIAMU-Net模型的原理图。
图5为本发明实施例1的预处理和增强处理的原理图。
图6为本发明实施例1的RIAMU-Net模型的结构图。
图7为本发明实施例1的注意力机制模块的结构图。
图8为本发明实施例1的Res-inception模块的结构图。
图9为本发明实施例2的肺部X光图像分割系统的结构框图。
图10为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
如图3~图5所示,本实施例提供了一种肺部X光图像分割方法,该方法包括以下步骤:
S301、获取肺部X光图像数据集。
具体地,肺部X光图像数据集中的样本数据可以通过采集获取,例如通过X光机采集肺部X光图像来获取,也可以从数据库查找获取,例如预先在数据库内存储肺部X光图像,从数据库中搜索肺部X光图像即可获取。
S302、对肺部X光图像数据集进行预处理,得到训练集。
具体地,将肺部X光图像数据集中的样本数据进行筛选、图像去噪、尺寸裁剪的预处理,将预处理后的肺部X光图像数据集划分为训练集和测试集,比例是5:2。
进一步地,在步骤S302之后还可包括:
S303、将训练集中的训练数据进行随机比例缩放、随机位置裁剪、随机水平/垂直翻转、随机角度旋转、随机亮度/饱和度/对比度变化的增强处理,得到增强处理后的训练集。
在步骤S303中,除了对训练集中的训练数据进行增强处理,还对测试集中的部分测试数据进行增强处理;其中,随机比例缩放、随机位置裁剪、随机水平/垂直翻转、随机角度旋转、随机亮度/饱和度/对比度变化的具体说明如下:
随机比例缩放:先将输入图像随机缩放至0.8-1.2倍得到缩放后的图像,若缩放的倍数小于1,则在缩放后的图像的周围填充只为0的像素,最后得到与输入图像尺寸相同的图像;若缩放的倍数大于1,则将缩放后的图像裁剪为与输入图像尺寸相同的图像。
随机位置裁剪:以输入图像中随机的像素点为中心,构造一个长宽均为20个像素的正方形区域,将此区域的像素的值设为0。
随机水平/垂直翻转:输入图像以50%的概率进行水平和垂直翻转。
随机角度旋转:输入图像在-10度到+10度的范围内随机旋转。
随机亮度/饱和度/对比度变化:输入图像的亮度/饱和度/对比度在0.7-1.3的倍数范围内随机变化。
S304、将训练集输入RIAMU-Net模型进行训练,得到训练后的RIAMU-Net模型。
如图6所示,RIAMU-Net模型以U-Net模型为基础,编码器共有五层,每一层均包括Res-inception模块,从上到下依次为第一层、第二层、第三层、第四层和第五层,解码器共有四层,每一层均包括注意力机制模块和Res-inception模块,从上到下依次为第一层、第二层、第三层和第四层。
将训练集作为输入训练RIAMU-Net模型,共迭代50个epoch,在每一个epoch上评价RIAMU-Net模型在测试集上的损失(loss),观察RIAMU-Net模型在训练集和测试集上的表现适当调整模型参数,得到最终模型;在每一个epoch上RIAMU-Net模型的训练过程如下:
1)将训练集输入RIAMU-Net模型的编码器。
2)在编码器的第一层(最高层)中,训练集中的训练数据作为输入图像,经过第一Res-inception模块,输出得到第一特征图像;第一特征图像通过第一连跳结构传输到解码器的第一层。
3)在编码器的第二层(中间层)中,第一特征图像经过核为2x2的最大池化后,拼接上输入图像经过第一池化再经过1x1卷积得到的图像,经过第二Res-inception模块,输出得到第二特征图像;第二特征图像通过第二连跳结构传输到解码器的第二层。
4)在编码器的第三层(中间层)中,第二特征图像经过核为2x2的最大池化后,拼接上输入图像经过第二池化再经过1x1卷积得到的图像,经过第三Res-inception模块,输出得到第三特征图像;第三特征图像通过第三连跳结构传输到解码器的第三层。
5)在编码器的第四层(中间层)中,第三特征图像经过核为2x2的最大池化后,拼接上输入图像经过第三池化再经过1x1卷积得到的图像,经过第四Res-inception模块,输出得到第四特征图像;第四特征图像通过第四连跳结构传输到解码器的第四层。
6)在编码器的第五层(最低层)中,第四特征图像经过核为2x2的最大池化后,得到编码器第五层的输入特征图像,经过第五Res-inception模块,输出得到第五特征图像。
7)在解码器的第四层(最高层)中,第五特征图像经过第一次转置卷积后与第四特征图像拼接得到第一合成特征图像,第一合成特征图像依次经过第一注意力机制模块和第六Res-inception模块,输出得到第一解码特征图像。
8)在解码器的第三层(中间层)中,第一解码特征图像经过第二次转置卷积后与第三特征图像拼接得到第二合成特征图像,第二合成特征图像依次经过第二注意力机制模块和第七Res-inception模块,输出得到第二解码特征图像。
9)在解码器的第二层(中间层)中,第二解码特征图像经过第三次转置卷积后与第二特征图像拼接得到第三合成特征图像,第三合成特征图像依次经过第三注意力机制模块和第八Res-inception模块,输出得到第三解码特征图像。
10)在解码器的第一层(最低层)中,第三解码特征图像经过第四次转置卷积后与第一特征图像拼接得到第四合成特征图像,第四合成特征图像依次经过第四注意力机制模块和第九Res-inception模块,输出得到第四解码特征图像。
11)在解码器的第一层最后连接一个1x1卷积,第四解码特征图像经过1x1卷积后,输出预测的分割图像。
其中,第一池化、第二池化和第三池化采用了不同尺度的池化,第一池化的核尺寸是2x2,第二池化的核尺寸是4x4,第三池化的核尺寸是8x8,在编码器的第二层、第三层和第四层,输入图像经过不同尺度的池化,产生分别是输入图像1/2、1/4、1/8的池化后的图像,再经过1x1卷积后的图像,可以保留输入图像的原始特征;第一连跳结构、第二连跳结构、第三连跳结构和第四连跳结构均带有1x1卷积,加入非线性因素,有助于缓和高层特征和低层特征拼接的语义差别,编码器的中间层和最高层通过连跳结构传输特征图像到解码器,在解码器的当前层中与下一层经过转置卷积恢复而来的特征图像拼接得到合成特征图像;第一注意力机制模块、第二注意力机制模块、第三注意力机制模块和第四注意力机制模块的结构相同,如图7所示,包括通道注意力机制和空间注意力机制,在解码器的每一层中,合成特征图像先经过注意力机制模块,来强调对分割结果贡献较大的特征层以及空间区域,再经过Res-inception结构来提取多尺度特征。
第一Res-inception模块、第二Res-inception模块、第三Res-inception模块、第四Res-inception模块、第五Res-inception模块、第六Res-inception模块、第七Res-inception模块、第八Res-inception模块和第九Res-inception模块的结构相同,如图8所示,包括输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层和池化层,所述第一卷积层、第二卷积层、第三卷积层和第四卷积层均为1x1卷积层,第五卷积层、第六卷积层和第七卷积层均为3x3卷积层。
对于第一Res-inception模块,以训练集中的训练数据作为输入层的输入图像;对于第二Res-inception模块,以第一特征图像经过核为2x2的最大池化后,拼接上输入图像经过第一池化再经过1x1卷积得到的图像作为输入层的输入图像;对于第三Res-inception模块,以第二特征图像经过核为2x2的最大池化后,拼接上输入图像经过第二池化再经过1x1卷积得到的图像作为输入层的输入图像;对于第四Res-inception模块,以第三特征图像经过核为2x2的最大池化后,拼接上输入图像经过第三池化再经过1x1卷积得到的图像作为输入层的输入图像;对于第五Res-inception模块,以第四特征图像经过核为2x2的最大池化后的图像作为输入层的输入图像;对于第六Res-inception模块,以第一合成特征图像经过第一注意力机制模块的图像作为输入层的输入图像;对于第七Res-inception模块,以第二合成特征图像经过第二注意力机制模块的图像作为输入层的输入图像;对于第八Res-inception模块,以第三合成特征图像经过第三注意力机制模块的图像作为输入层的输入图像;对于第九Res-inception模块,以第四合成特征图像经过第四注意力机制模块的图像作为输入层的输入图像。
在各个Res-inception模块中,输入层的输入图像依次经过第一卷积层、第五卷积层和第七卷积层,提取得到第一特征;输入层的输入图像依次经过第二卷积层和第六卷积层,提取得到第二特征;输入层的输入图像依次经过池化层和第四卷积层,提取得到第三特征;输入层的输入图像依次经过第三卷积层,提取得到第四特征;将第一特征、第二特征、第三特征和第四特征进行拼接,得到合成特征;将合成特征与输入层的输入图像融合,输出特征图像。
本实施例引入inception结构,将其改变为四个并行的卷积核大小不同的卷积,然后将卷积操作得到的特征拼接在一起。不同大小的卷积核可以提取出不同尺度的特征,融合利用不同尺度的特征更有利于增强模型的表达能力,并且加入了Res路径,有助于缓解梯度消失和梯度爆炸问题,使得模型更容易训练。另外在解码器的输入特征图像进行卷积之前,加入了注意力机制模块,包含通道注意力机制和空间注意力机制,可以由网络来自动地学习来强调对分割结果更有帮助的通道和空间位置。
S305、利用训练后的RIAMU-Net模型对待分割肺部X光图像数据进行分割,得到分割图像。
具体地,将测试集的剩余测试数据作为待分割肺部X光图像数据,输入训练后的RIAMU-Net模型进行分割,得到分割图像,可以分析模型在测试集上的表现来评估模型的分割效果,RIAMU-Net模型的分割处理具体可以参见步骤S304中的RIAMU-Net模型的训练过程。
可以理解,上述步骤S301~S304为离线阶段,即训练阶段,而步骤S305为在线阶段,即应用阶段。可以理解,上述步骤S301~S304在一台计算机设备(如计算机等)完成,可以在该计算机设备上进入步骤S305的应用阶段,也可以将该台计算机设备训练好的RIAMU-Net模型植入其他的计算机设备(如手机、平板电脑等移动设备,或是内存较小的设备),在其他的计算机设备上进入步骤S305的应用阶段。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成,相应的程序可以存储于计算机可读取存储介质中。
应当注意,尽管在附图中以特定顺序描述了上述实施例的方法操作,但是这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,描绘的步骤可以改变执行顺序。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
实施例2:
如图9所示,本实施例提供了一种肺部X光图像分割系统,该系统包括获取单元901、预处理单元902、增强单元903、训练单元904和分割单元905,各个单元的具体功能如下:
获取单元901,用于获取肺部X光图像数据集。
预处理单元902,用于对肺部X光图像数据集进行预处理,得到训练集。
增强单元903,用于将训练集中的训练数据进行随机比例缩放、随机位置裁剪、随机水平/垂直翻转、随机角度旋转、随机亮度/饱和度/对比度变化的增强处理,得到增强处理后的训练集。
训练单元904,用于将训练集输入RIAMU-Net模型进行训练,得到训练后的RIAMU-Net模型;其中,所述RIAMU-Net模型以U-Net模型为基础,编码器的每一层均包括Res-inception模块,解码器的每一层均包括注意力机制模块和Res-inception模块。
分割单元905,用于利用训练后的RIAMU-Net模型对待分割肺部X光图像数据进行分割,得到分割图像。
本实施例中各个单元的具体实现可以参见上述实施例1,在此不再一一赘述;需要说明的是,本实施例提供的系统仅以上述各功能单元的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配给不同的功能单元完成,即将内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
实施例3:
如图10所示,本实施例提供了一种计算机设备,该计算机设备可以是服务器、计算机等,包括通过系统总线1001连接的处理器1002、存储器、输入装置1003、显示器1004和网络接口1005。其中,处理器1002用于提供计算和控制能力,存储器包括非易失性存储介质1006和内存储器1007,该非易失性存储介质1006存储有操作系统、计算机程序和数据库,该内存储器1007为非易失性存储介质1006中的操作系统和计算机程序的运行提供环境,计算机程序被处理器1002执行时,实现上述实施例1的肺部X光图像分割方法,如下:
获取肺部X光图像数据集;
对肺部X光图像数据集进行预处理,得到训练集;
将训练集输入RIAMU-Net模型进行训练,得到训练后的RIAMU-Net模型;其中,所述RIAMU-Net模型以U-Net模型为基础,编码器的每一层均包括Res-inception模块,解码器的每一层均包括注意力机制模块和Res-inception模块;
利用训练后的RIAMU-Net模型对待分割肺部X光图像数据进行分割,得到分割图像。
进一步地,对肺部X光图像数据集进行预处理,得到训练集之后,还包括:
将训练集中的训练数据进行随机比例缩放、随机位置裁剪、随机水平/垂直翻转、随机角度旋转、随机亮度/饱和度/对比度变化的增强处理,得到增强处理后的训练集。
实施例4:
本实施例提供一种存储介质,该存储介质为计算机可读存储介质,其存储有计算机程序,所述计算机程序被处理器执行时,实现上述实施例1的肺部X光图像分割方法,如下:
获取肺部X光图像数据集;
对肺部X光图像数据集进行预处理,得到训练集;
将训练集输入RIAMU-Net模型进行训练,得到训练后的RIAMU-Net模型;其中,所述RIAMU-Net模型以U-Net模型为基础,编码器的每一层均包括Res-inception模块,解码器的每一层均包括注意力机制模块和Res-inception模块;
利用训练后的RIAMU-Net模型对待分割肺部X光图像数据进行分割,得到分割图像。
进一步地,对肺部X光图像数据集进行预处理,得到训练集之后,还包括:
将训练集中的训练数据进行随机比例缩放、随机位置裁剪、随机水平/垂直翻转、随机角度旋转、随机亮度/饱和度/对比度变化的增强处理,得到增强处理后的训练集。
需要说明的是,本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
综上所述,本发明可以对肺部X光图像数据集进行预处理,得到训练集,将训练集输入RIAMU-Net模型进行训练,得到训练后的RIAMU-Net模型,该RIAMU-Net模型将res结构、inception结构、注意力机制与U-Net模型进行了结合,增强了原始U-Net模型的特征提取和表达能力,使得模型对复杂边界的分割精度得到了提高。
以上所述,仅为本发明专利较佳的实施例,但本发明专利的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明专利所公开的范围内,根据本发明专利的技术方案及其发明构思加以等同替换或改变,都属于本发明专利的保护范围。
Claims (8)
1.一种肺部X光图像分割方法,其特征在于,所述方法包括:
获取肺部X光图像数据集;
对肺部X光图像数据集进行预处理,得到训练集;
将训练集中的训练数据进行随机比例缩放、随机位置裁剪、随机水平/垂直翻转、随机角度旋转、随机亮度/饱和度/对比度变化的增强处理,得到增强处理后的训练集;
将训练集输入RIAMU-Net模型进行训练,得到训练后的RIAMU-Net模型;其中,所述RIAMU-Net模型以U-Net模型为基础,编码器的每一层均包括Res-inception模块,解码器的每一层均包括注意力机制模块和Res-inception模块;
利用训练后的RIAMU-Net模型对待分割肺部X光图像数据进行分割,得到分割图像;
所述RIAMU-Net模型的编码器具有五层,从上到下依次为第一层、第二层、第三层、第四层和第五层;
在编码器的第一层中,输入图像经过第一Res-inception模块,输出得到第一特征图像;第一特征图像通过第一连跳结构传输到解码器;
在编码器的第二层中,第一特征图像经过核为2x2的最大池化后,拼接上输入图像经过第一池化再经过1x1卷积得到的图像,经过第二Res-inception模块,输出得到第二特征图像;第二特征图像通过第二连跳结构传输到解码器;
在编码器的第三层中,第二特征图像经过核为2x2的最大池化后,拼接上输入图像经过第二池化再经过1x1卷积得到的图像,经过第三Res-inception模块,输出得到第三特征图像;第三特征图像通过第三连跳结构传输到解码器;
在编码器的第四层中,第三特征图像经过核为2x2的最大池化后,拼接上输入图像经过第三池化再经过1x1卷积得到的图像,经过第四Res-inception模块,输出得到第四特征图像;第四特征图像通过第四连跳结构传输到解码器;
在编码器的第五层中,第四特征图像经过核为2x2的最大池化后,得到编码器第五层的输入特征图像,经过第五Res-inception模块,输出得到第五特征图像;
其中,所述第一池化、第二池化和第三池化采用了不同尺度的池化,所述第一连跳结构、第二连跳结构、第三连跳结构和第四连跳结构均带有1x1卷积。
2.根据权利要求1所述的肺部X光图像分割方法,其特征在于,所述对肺部X光图像数据集进行预处理,得到训练集,具体包括:
将肺部X光图像数据集中的样本数据进行图像去噪、尺寸裁剪的预处理;
根据预处理后的肺部X光图像数据集,划分得到训练集。
3.根据权利要求1所述的肺部X光图像分割方法,其特征在于,所述RIAMU-Net模型的解码器具有四层,从上到下依次为第一层、第二层、第三层和第四层;
在解码器的第四层中,第五特征图像经过第一次转置卷积后与第四特征图像拼接得到第一合成特征图像,第一合成特征图像依次经过第一注意力机制模块和第六Res-inception模块,输出得到第一解码特征图像;
在解码器的第三层中,第一解码特征图像经过第二次转置卷积后与第三特征图像拼接得到第二合成特征图像,第二合成特征图像依次经过第二注意力机制模块和第七Res-inception模块,输出得到第二解码特征图像;
在解码器的第二层中,第二解码特征图像经过第三次转置卷积后与第二特征图像拼接得到第三合成特征图像,第三合成特征图像依次经过第三注意力机制模块和第八Res-inception模块,输出得到第三解码特征图像;
在解码器的第一层中,第三解码特征图像经过第四次转置卷积后与第一特征图像拼接得到第四合成特征图像,第四合成特征图像依次经过第四注意力机制模块和第九Res-inception模块,输出得到第四解码特征图像;
在解码器的第一层最后连接一个1x1卷积,第四解码特征图像经过1x1卷积后,输出预测的分割图像。
4.根据权利要求1-3任一项所述的肺部X光图像分割方法,其特征在于,所述Res-inception模块包括输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层、第七卷积层和池化层,所述第一卷积层、第二卷积层、第三卷积层和第四卷积层均为1x1卷积层,所述第五卷积层、第六卷积层和第七卷积层均为3x3卷积层;
输入层的输入图像依次经过第一卷积层、第五卷积层和第七卷积层,提取得到第一特征;输入层的输入图像依次经过第二卷积层和第六卷积层,提取得到第二特征;输入层的输入图像依次经过池化层和第四卷积层,提取得到第三特征;输入层的输入图像依次经过第三卷积层,提取得到第四特征;将第一特征、第二特征、第三特征和第四特征进行拼接,得到合成特征;将合成特征与输入层的输入图像融合,输出特征图像。
5.根据权利要求1-3任一项所述的肺部X光图像分割方法,其特征在于,所述注意力机制模块包括通道注意力机制和空间注意力机制。
6.一种肺部X光图像分割系统,其特征在于,所述系统包括:
获取单元,用于获取肺部X光图像数据集;
预处理单元,用于对肺部X光图像数据集进行预处理,得到训练集;
增强单元,用于将训练集中的训练数据进行随机比例缩放、随机位置裁剪、随机水平/垂直翻转、随机角度旋转、随机亮度/饱和度/对比度变化的增强处理,得到增强处理后的训练集;
训练单元,用于将训练集输入RIAMU-Net模型进行训练,得到训练后的RIAMU-Net模型;其中,所述RIAMU-Net模型以U-Net模型为基础,编码器的每一层均包括Res-inception模块,解码器的每一层均包括注意力机制模块和Res-inception模块;
分割单元,用于利用训练后的RIAMU-Net模型对待分割肺部X光图像数据进行分割,得到分割图像;
所述RIAMU-Net模型的编码器具有五层,从上到下依次为第一层、第二层、第三层、第四层和第五层;
在编码器的第一层中,输入图像经过第一Res-inception模块,输出得到第一特征图像;第一特征图像通过第一连跳结构传输到解码器;
在编码器的第二层中,第一特征图像经过核为2x2的最大池化后,拼接上输入图像经过第一池化再经过1x1卷积得到的图像,经过第二Res-inception模块,输出得到第二特征图像;第二特征图像通过第二连跳结构传输到解码器;
在编码器的第三层中,第二特征图像经过核为2x2的最大池化后,拼接上输入图像经过第二池化再经过1x1卷积得到的图像,经过第三Res-inception模块,输出得到第三特征图像;第三特征图像通过第三连跳结构传输到解码器;
在编码器的第四层中,第三特征图像经过核为2x2的最大池化后,拼接上输入图像经过第三池化再经过1x1卷积得到的图像,经过第四Res-inception模块,输出得到第四特征图像;第四特征图像通过第四连跳结构传输到解码器;
在编码器的第五层中,第四特征图像经过核为2x2的最大池化后,得到编码器第五层的输入特征图像,经过第五Res-inception模块,输出得到第五特征图像;
其中,所述第一池化、第二池化和第三池化采用了不同尺度的池化,所述第一连跳结构、第二连跳结构、第三连跳结构和第四连跳结构均带有1x1卷积。
7.一种计算机设备,包括处理器以及用于存储处理器可执行程序的存储器,其特征在于,所述处理器执行存储器存储的程序时,实现权利要求1-5任一项所述的肺部X光图像分割方法。
8.一种存储介质,存储有程序,其特征在于,所述程序被处理器执行时,实现权利要求1-5任一项所述的肺部X光图像分割方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110028364.0A CN112651979B (zh) | 2021-01-11 | 2021-01-11 | 肺部x光图像分割方法、系统、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110028364.0A CN112651979B (zh) | 2021-01-11 | 2021-01-11 | 肺部x光图像分割方法、系统、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112651979A CN112651979A (zh) | 2021-04-13 |
CN112651979B true CN112651979B (zh) | 2023-10-10 |
Family
ID=75367805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110028364.0A Active CN112651979B (zh) | 2021-01-11 | 2021-01-11 | 肺部x光图像分割方法、系统、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112651979B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113223021B (zh) * | 2021-05-28 | 2022-07-22 | 哈尔滨理工大学 | 一种基于UNet的肺部X光图像分割方法 |
CN113269772A (zh) * | 2021-06-08 | 2021-08-17 | 泰康保险集团股份有限公司 | 一种图像分割方法和装置 |
CN113592771B (zh) * | 2021-06-24 | 2023-12-15 | 深圳大学 | 一种图像分割方法 |
CN113487628B (zh) * | 2021-07-07 | 2024-02-23 | 广州市大道医疗科技有限公司 | 模型训练的方法及冠状血管识别方法、装置、设备和介质 |
CN113837193B (zh) * | 2021-09-23 | 2023-09-01 | 中南大学 | 一种基于改进U-Net网络的锌浮选泡沫图像分割方法 |
CN113838067B (zh) * | 2021-09-26 | 2023-10-20 | 中南民族大学 | 肺结节的分割方法和装置、计算设备、可存储介质 |
CN114022486A (zh) * | 2021-10-19 | 2022-02-08 | 西安工程大学 | 一种基于改进型U-net网络的医学图像分割方法 |
CN114359169A (zh) * | 2021-12-15 | 2022-04-15 | 深圳先进技术研究院 | 训练模型的方法、图像处理方法、装置及电子设备 |
CN116779170A (zh) * | 2023-08-24 | 2023-09-19 | 济南市人民医院 | 一种基于自适应深度学习的肺功能衰减预测系统及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111612790A (zh) * | 2020-04-29 | 2020-09-01 | 杭州电子科技大学 | 一种基于t型注意力结构的医学图像分割方法 |
CN111681252A (zh) * | 2020-05-30 | 2020-09-18 | 重庆邮电大学 | 一种基于多路径注意力融合的医学图像自动分割方法 |
CN112102283A (zh) * | 2020-09-14 | 2020-12-18 | 北京航空航天大学 | 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法 |
CN112132817A (zh) * | 2020-09-29 | 2020-12-25 | 汕头大学 | 一种混合注意力机制的眼底图像视网膜血管分割方法 |
-
2021
- 2021-01-11 CN CN202110028364.0A patent/CN112651979B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111612790A (zh) * | 2020-04-29 | 2020-09-01 | 杭州电子科技大学 | 一种基于t型注意力结构的医学图像分割方法 |
CN111681252A (zh) * | 2020-05-30 | 2020-09-18 | 重庆邮电大学 | 一种基于多路径注意力融合的医学图像自动分割方法 |
CN112102283A (zh) * | 2020-09-14 | 2020-12-18 | 北京航空航天大学 | 一种基于深度多尺度注意力卷积神经网络的视网膜眼底血管分割方法 |
CN112132817A (zh) * | 2020-09-29 | 2020-12-25 | 汕头大学 | 一种混合注意力机制的眼底图像视网膜血管分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112651979A (zh) | 2021-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112651979B (zh) | 肺部x光图像分割方法、系统、计算机设备及存储介质 | |
CN111050219B (zh) | 用于利用空间-时间记忆网络处理视频内容的方法和系统 | |
US11887311B2 (en) | Method and apparatus for segmenting a medical image, and storage medium | |
CN112132156B (zh) | 多深度特征融合的图像显著性目标检测方法及系统 | |
CN111696094B (zh) | 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备 | |
CN111369565B (zh) | 一种基于图卷积网络的数字病理图像的分割与分类方法 | |
CN112017189A (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
CN111462183A (zh) | 一种基于注意力机制双流网络的行为识别方法及系统 | |
CN112862830B (zh) | 一种多模态图像分割方法、系统、终端及可读存储介质 | |
CN111914654B (zh) | 一种文本版面分析方法、装置、设备和介质 | |
CN111275034B (zh) | 从图像中提取文本区域的方法、装置、设备和存储介质 | |
CN113362331A (zh) | 图像分割方法、装置、电子设备及计算机存储介质 | |
CN111368790A (zh) | 细粒度人脸识别模型的构建方法、识别方法以及构建装置 | |
CN114742802B (zh) | 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法 | |
CN112561937A (zh) | 基于病变边界信息响应的上下文感知医学图像分割方法 | |
CN111429459A (zh) | 一种端到端的联合分类的医学图像分割方法及系统 | |
CN112102259A (zh) | 一种基于边界引导深度学习的图像分割算法 | |
CN117078930A (zh) | 基于边界感知和注意力机制的医学图像分割方法 | |
CN113724267B (zh) | 一种乳腺超声图像肿瘤分割方法及装置 | |
CN113409324B (zh) | 一种融合微分几何信息的脑分割方法 | |
CN113706546B (zh) | 一种基于轻量级孪生网络的医学图像分割方法及装置 | |
CN115546142A (zh) | 基于深度学习的x光图像骨骼检测方法与系统 | |
CN114841870A (zh) | 图像处理方法、相关装置和系统 | |
CN115546239B (zh) | 基于边界注意力与距离变换的目标分割方法和装置 | |
CN116912345B (zh) | 一种人像动漫化处理方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |