CN109447976B - 一种基于人工智能的医学图像分割方法及系统 - Google Patents
一种基于人工智能的医学图像分割方法及系统 Download PDFInfo
- Publication number
- CN109447976B CN109447976B CN201811294281.0A CN201811294281A CN109447976B CN 109447976 B CN109447976 B CN 109447976B CN 201811294281 A CN201811294281 A CN 201811294281A CN 109447976 B CN109447976 B CN 109447976B
- Authority
- CN
- China
- Prior art keywords
- level visual
- level
- low
- visual features
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明公开了一种基于人工智能的医学图像分割方法及系统。所述分割方法包括:将低层次视觉特征输入至低层次视觉特征输入路径进行过滤,确定过滤后的低层次视觉特征以及所述过滤后的低层次视觉特征的通道数;将高层次视觉特征输入至高层次视觉特征输入路径进行调整,根据过滤后的低层次视觉特征的通道数调整高层次视觉特征,确定调整后的高层次视觉特征;经过第二密集连接卷积网络,将过滤后的低层次视觉特征以及调整后的高层次视觉特征进行融合,确定融合特征;根据融合特征生成带分割图像内每个像素点的分类结果;根据分类结果生成分割图像。采用本发明所提供的分割方法及系统能够所分割的图像层次视觉效果以及分割精度。
Description
技术领域
本发明涉及医疗领域,特别是涉及一种基于人工智能的医学图像分割方法及系统。
背景技术
磁共振成像(Magnetic Resonance Imaging,MRI)通常是临床分析脑结构的最佳选择,在计算机辅助诊断和医疗领域也得到了成功的应用。MRI有四种模态,四种不同的模态通常被用于脑肿瘤手术:T1,T1C,T2和FLAIR;每种形态对不同的肿瘤组织都有不同的反应;MRI对脑肿瘤的分割在放射外科及放射治疗规划中具有重要价值。临床上广泛采用人工分割的方法对脑瘤进行分割,经验丰富的临床医生根据自己的专业知识,手工勾画出感兴趣的领域。然而,手工分割不仅乏味且耗时,而且要求高且成本高,极其依赖于医生的专业技能和丰富的经验,因此,如何自动、准确、高效地分割脑瘤已成为人们迫切需要解决的问题。
深度学习方法指的是具有许多层的神经网络,它们从原始输入图像中提取出层次结构的特征;其中,卷积神经网络(CNNs)已被应用于许多计算机视觉任务中,正推动着语义图像分割的重大进展,卷积神经网络自动从输入图像中学习低层次视觉特征和高层次语义特征;此外,卷积神经网络降低了网络模型的复杂性和权重的数量,使训练具有深层网络成为可能,卷积神经网络还可以直接采用原始图像作为输入,避免了传统识别算法和数据重构过程中复杂的特征提取过程,基于这些优势,深度学习方法在医学图像处理团队中被广泛采用。
然而,传统的CNN网络是一个直接的卷积过程,不能有效地将许多底层特征传播到高层,在最流行的语义分割模型(如FCNs,ResNets)中,采用上采样方法,通过“跳过连接”将从下采样层采集到的低层次视觉特征信息,与在上采样过程中,通过转置卷积得到的相同维度和通道数高层次语义进行连接,在这些融合特征的基础上,将产生新的高层次语义特征。但是,随着网络层数量的增加,在多次“跳过连接(skip connection)”后,底层特性传递到输出层的难度越来越大。在上行采样过程中,传统的端到端方法只是将底层特征直接连接到高层特征,而不考虑融合方式,换句话说,大多数方法忽略了在图像识别中对整个层次特征的充分利用,导致分割的肿瘤图像层次视觉效果低,无法准确高效低分割出肿瘤区域。
发明内容
本发明的目的是提供一种基于人工智能的医学图像分割方法及系统,以解决传统的医学图像分割方法所分割的图像层次视觉效果低,分割精度低的问题。
为实现上述目的,本发明提供了如下方案:
一种基于人工智能的医学图像分割方法,包括:
将低层次视觉特征输入至低层次视觉特征输入路径进行过滤,确定过滤后的低层次视觉特征以及所述过滤后的低层次视觉特征的通道数;所述低层次视觉特征输入路径包括多个密集块以及下采样模块;每个所述密集块由第一密集连接卷积网络以及残差网络融合连接组成;所述残差网络的跳过连接设于所述第一密集连接卷积网络的前后,所述残差网络的跳过连接引入所述下采样模块;多个所述密集块依次连接;前一个密集块的输出为后一个密集块的输入;
将高层次视觉特征输入至高层次视觉特征输入路径进行调整,根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征,确定调整后的高层次视觉特征;所述高层次视觉特征输入路径包括卷积网络以及上采样模块;所述卷积网络用于调整所述高层次视觉特征的维度;所述上采样模块用于采集所述高层次视觉特征的尺寸;
经过第二密集连接卷积网络,将所述过滤后的低层次视觉特征以及所述调整后的高层次视觉特征进行融合,确定融合特征;
根据所述融合特征生成带分割图像内每个像素点的分类结果;
根据所述分类结果生成分割图像。
可选的,所述将低层次视觉特征输入至低层次视觉特征输入路径进行过滤,确定过滤后的低层次视觉特征以及所述过滤后的低层次视觉特征的通道数,具体包括:
将所述低层次视觉特征经过所述残差网络进行自适应调整,确定调整后的低层次视觉特征;
将所述调整后的低层次视觉特征经过所述第一密集连接卷积网络进行过滤,确定过滤后的低层次视觉特征以及所述过滤后的低层次视觉特征的通道数。
可选的,所述将高层次视觉特征输入至高层次视觉特征输入路径进行调整,根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征,确定调整后的高层次视觉特征,具体包括:
根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征的通道数,直至所述高层次视觉特征与所述低层次视觉特征的维度相同,获取所述高层次视觉特征的维度;
根据所述高层次视觉特征的维度确定调整后的高层次视觉特征。
可选的,所述将高层次视觉特征输入至高层次视觉特征输入路径进行调整,根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征,确定调整后的高层次视觉特征之后,还包括:
获取所述调整后的高层次视觉特征的高层次图像尺寸以及所述过滤后的低层次视觉特征的低层次图像尺寸;
判断所述高层次图像尺寸是否与所述低层次图像尺寸相同,得到第一判断结果;
若所述第一判断结果表示为所述高层次图像尺寸与所述低层次图像尺寸相同,根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征的通道数,直至所述高层次视觉特征与所述低层次视觉特征的维度相同,获取所述高层次视觉特征的维度;
若所述所述第一判断结果表示为所述高层次图像尺寸与所述低层次图像尺寸不相同,对所述高层次图像尺寸进行调整。
一种基于人工智能的医学图像分割系统,包括:
过滤模块,用于将低层次视觉特征输入至低层次视觉特征输入路径进行过滤,确定过滤后的低层次视觉特征以及所述过滤后的低层次视觉特征的通道数;所述低层次视觉特征输入路径包括多个密集块以及下采样模块;每个所述密集块由第一密集连接卷积网络以及残差网络融合连接组成;所述残差网络的跳过连接设于所述第一密集连接卷积网络的前后,所述残差网络的跳过连接引入所述下采样模块;多个所述密集块依次连接;前一个密集块的输出为后一个密集块的输入;
调整模块,用于将高层次视觉特征输入至高层次视觉特征输入路径进行调整,根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征,确定调整后的高层次视觉特征;所述高层次视觉特征输入路径包括卷积网络以及上采样模块;所述卷积网络用于调整所述高层次视觉特征的维度;所述上采样模块用于采集所述高层次视觉特征的尺寸;
融合模块,用于经过第二密集连接卷积网络,将所述过滤后的低层次视觉特征以及所述调整后的高层次视觉特征进行融合,确定融合特征;
分类结果生成模块,用于根据所述融合特征生成带分割图像内每个像素点的分类结果;
分割图像生成模块,用于根据所述分类结果生成分割图像。
可选的,所述过滤模块具体包括:
调整后的低层次视觉特征确定单元,用于将所述低层次视觉特征经过所述残差网络进行自适应调整,确定调整后的低层次视觉特征;
过滤单元,用于将所述调整后的低层次视觉特征经过所述第一密集连接卷积网络进行过滤,确定过滤后的低层次视觉特征以及所述过滤后的低层次视觉特征的通道数。
可选的,所述调整模块具体包括:
维度获取单元,用于根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征的通道数,直至所述高层次视觉特征与所述低层次视觉特征的维度相同,获取所述高层次视觉特征的维度;
调整单元,用于根据所述高层次视觉特征的维度确定调整后的高层次视觉特征。
可选的,还包括:
低层次图像尺寸获取模块,用于获取所述调整后的高层次视觉特征的高层次图像尺寸以及所述过滤后的低层次视觉特征的低层次图像尺寸;
第一判断模块,用于判断所述高层次图像尺寸是否与所述低层次图像尺寸相同,得到第一判断结果;
通道数调整模块,用于若所述第一判断结果表示为所述高层次图像尺寸与所述低层次图像尺寸相同,根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征的通道数,直至所述高层次视觉特征与所述低层次视觉特征的维度相同,获取所述高层次视觉特征的维度;
尺寸调整模块,用于若所述所述第一判断结果表示为所述高层次图像尺寸与所述低层次图像尺寸不相同,对所述高层次图像尺寸进行调整。
根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明提供了一种基于人工智能的医学图像分割方法及系统,将残差网络的“跳过连接”应用于密集连接卷积网络,从而有效地保留和传播丰富的低层次视觉特征,支持连续内存机制,意味着一个密集块的输出能够直接访问下一个密集块中的每一层,从而导致连续状态传播;密集块中的每个卷积层都可以访问所有后续层,并传播需要保存的信息,可以有效地传播底层的视觉特征,并保留这些信息以供最终预测。
此外,通过密集连接卷积网络,将高层次视觉特征与低层次视觉特征相融合,生成图片每个像素点的分类结果,从而得到高质量的分割结果,提高分割的图像层次视觉效果低,分割精度低。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提供的基于人工智能的医学图像分割方法流程图;
图2为本发明所提供的神经网络模型示意图。
图3为本发明所提供的低层次视觉特征路径的跳过残差学习示意图。
图4为本发明所提供的高层次视觉特征路径的特征融合示意图。
图5为本发明所提供的基于人工智能的医学图像分割系统结构图;
图6为本发明所提供的神经网络模型与现有的其他网络模型的效果对比图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种基于人工智能的医学图像分割方法及系统,能够提高分割的图像层次视觉效果以及分割精度。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的基于人工智能的医学图像分割方法流程图,图1所示,一种基于人工智能的医学图像分割方法,包括:
步骤101:将低层次视觉特征输入至低层次视觉特征输入路径进行过滤,确定过滤后的低层次视觉特征以及所述过滤后的低层次视觉特征的通道数;所述低层次视觉特征输入路径包括多个密集块以及下采样模块;每个所述密集块由第一密集连接卷积网络以及残差网络融合连接组成;所述残差网络的跳过连接设于所述第一密集连接卷积网络的前后,所述残差网络的跳过连接引入所述下采样模块;多个所述密集块依次连接;前一个密集块的输出为后一个密集块的输入。
所述步骤101具体包括:将所述低层次视觉特征经过所述残差网络进行自适应调整,确定调整后的低层次视觉特征;将所述调整后的低层次视觉特征经过所述第一密集连接卷积网络进行过滤,确定过滤后的低层次视觉特征以及所述过滤后的低层次视觉特征的通道数。
步骤102:将高层次视觉特征输入至高层次视觉特征输入路径进行调整,根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征,确定调整后的高层次视觉特征;所述高层次视觉特征输入路径包括卷积网络以及上采样模块;所述卷积网络用于调整所述高层次视觉特征的维度;所述上采样模块用于采集所述高层次视觉特征的尺寸。
所述步骤102具体包括:根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征的通道数,直至所述高层次视觉特征与所述低层次视觉特征的维度相同,获取所述高层次视觉特征的维度;根据所述高层次视觉特征的维度确定调整后的高层次视觉特征。
所述步骤102之后,还包括:获取所述调整后的高层次视觉特征的高层次图像尺寸以及所述过滤后的低层次视觉特征的低层次图像尺寸;判断所述高层次图像尺寸是否与所述低层次图像尺寸相同,得到第一判断结果;
若所述第一判断结果表示为所述高层次图像尺寸与所述低层次图像尺寸相同,返回步骤102;若否,对所述高层次图像尺寸进行调整。
步骤103:经过第二密集连接卷积网络,将所述过滤后的低层次视觉特征以及所述调整后的高层次视觉特征进行融合,确定融合特征。
步骤104:根据所述融合特征生成带分割图像内每个像素点的分类结果。
步骤105:根据所述分类结果生成分割图像。
本发明所提供的基于人工智能的医学图像分割方法在实际生活中,应用于多模态的脑肿瘤图像分割,基于卷积网络提出了新的多路径自适应融合的神经网络模型。
如图2所示,所述神经网络模型包括两个部分,所述神经网络模型左边为下采样过程,右边为上采样过程;下采样过程,在密集块(dense block)的前后加入了一条“跳过连接”,将残差网络的跳过连接引入密集连接卷积网络(densenet)下采样过程,如图3所示;上采样过程,如图4所示。
在下采样过程中,将残差网络(ResNet)中的“跳过连接”的思想应用到密集连接卷积网络(DenseNet)每个块上,有效地保留和传播丰富的低层次视觉特征;具体地说,在下采样过程中的每个Block由密集块(Dense Block)和局部特征残差融合(LFRF)连接组成,这个块支持连续存储机制,如图3所示,densenet的每一层特征如(Fd,1)的输出,会成为后续每一层的输入,后面层的输入(如Fd,c)是前面每一层的输出;每一层的输出都会被保存,被后面层使用,所以称之为存储存储机制,意味着一个密集块的输出能够直接访问下一个密集块中的每一层,从而导致连续状态传播。稠密连通块中的每个卷积层都可以访问所有后续层,并传播需要保存的信息。通过将所有层的状态与当前的密集连通块相连接,可以发现改进后的块(Block)可以有效地传播低层次的视觉特征,并保留这些信息以供最终预测。
此外,所述神经网络模型另一个重要贡献是将上采样操作替换为多径自适应融合稠密连接块(Block),有效利用多层次特征来产生高分辨率的预测。
在多路径自适应融合密集块中,一个表示低层次视觉特征的输入路径,通过密集连接的卷积网络,传递到一个自适应卷积,用来调整预先训练好的特征权重,将特征通道统一到高层特征一样。而另一条表示高级语义特征的路径,经过自适应卷积后,向上采样到与低级视觉特征相同的尺寸。最后,将调整后的低级视觉特征和高级语义特征连接起来,通过一个密集块(dense block)生成新的高级语义特征。综上所述,通过多径自适应融合密集块,将之前在下行采样时产生的高级语义特征和低级视觉特征最终融合,生成图片每个像素点的分类结果,从而得到高质量的分割结果。
在低层次视觉特征分支中,多径自适应融合单元的第一部分是自适应密集块(dense block),主要是对每个预先训练好的特征进行过滤。这种密集块可以看作是一种注意力模型,帮助我们加强有用的低级视觉特征的传播。然后,过滤后的低层次视觉特征的总体权重将通过自适应卷积调整自己的通道数,以便随后的融合。
在高级语义特征分支中,首先通过一个卷积操作然后向上采样到相同分辨率的低级视觉特征,让高级特征自适应调整到与低级特征相同的维度。最后,将低层视觉特征和高层语义特征加权拼接,通过密集块(dense block)生成新的高级特征,传播到下一个多路径自适应融合单元。
将所述神经网络模型应用于实际分割图像中,1)采用公开的BRATS2015数据集进行实验(有220个病人MRI图像每个病人有拍摄图像、以及医生手工勾画的真值图),将每个病人3D MRI图像(240240155四个模态)转变为155*4张2D图标(240240),将同一模态的四张图像作为一组,每组图像对应一张由医生提供的手工分割真值图像;将公开的220个病人图像分开为190个病人图像作为训练集,30个病人的图像作为验证集。
2)搭建好本发明所提供的神经网络模型,将训练集190个病人每组四张模态图像作为神经网络输入,输出同一尺寸的一张分割预测图像,与真值图进行对比,通过交叉熵损失函数训练神经网络模型。然后将六种对比模型,采用同样的训练方式,同样的损失函数进行训练。所有模型训练相同轮数。
3)完成训练后,将测试机病人每组图像输入训练好的模型,进行分割预测,将每个模型生成的分割图像与真值图像进行对比,采用同样标准进行评估,计算相似性系数(dice)。测试过程没有损失函数,不会影响已训练好的模型参数。
图5为本发明所提供的基于人工智能的医学图像分割系统结构图,如图5所示,一种基于人工智能的医学图像分割系统,包括:
过滤模块501,用于将低层次视觉特征输入至低层次视觉特征输入路径进行过滤,确定过滤后的低层次视觉特征以及所述过滤后的低层次视觉特征的通道数;所述低层次视觉特征输入路径包括多个密集块以及下采样模块;每个所述密集块由第一密集连接卷积网络以及残差网络融合连接组成;所述残差网络的跳过连接设于所述第一密集连接卷积网络的前后,所述残差网络的跳过连接引入所述下采样模块;多个所述密集块依次连接;前一个密集块的输出为后一个密集块的输入。
所述过滤模块501具体包括:调整后的低层次视觉特征确定单元,用于将所述低层次视觉特征经过所述残差网络进行自适应调整,确定调整后的低层次视觉特征;过滤单元,用于将所述调整后的低层次视觉特征经过所述第一密集连接卷积网络进行过滤,确定过滤后的低层次视觉特征以及所述过滤后的低层次视觉特征的通道数。
调整模块502,用于将高层次视觉特征输入至高层次视觉特征输入路径进行调整,根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征,确定调整后的高层次视觉特征;所述高层次视觉特征输入路径包括卷积网络以及上采样模块;所述卷积网络用于调整所述高层次视觉特征的维度;所述上采样模块用于采集所述高层次视觉特征的尺寸。
所述调整模块502具体包括:维度获取单元,用于根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征的通道数,直至所述高层次视觉特征与所述低层次视觉特征的维度相同,获取所述高层次视觉特征的维度;调整单元,用于根据所述高层次视觉特征的维度确定调整后的高层次视觉特征。
融合模块503,用于经过第二密集连接卷积网络,将所述过滤后的低层次视觉特征以及所述调整后的高层次视觉特征进行融合,确定融合特征。
分类结果生成模块504,用于根据所述融合特征生成带分割图像内每个像素点的分类结果。
分割图像生成模块505,用于根据所述分类结果生成分割图像。
本发明还包括:低层次图像尺寸获取模块,用于获取所述调整后的高层次视觉特征的高层次图像尺寸以及所述过滤后的低层次视觉特征的低层次图像尺寸;第一判断模块,用于判断所述高层次图像尺寸是否与所述低层次图像尺寸相同,得到第一判断结果;通道数调整模块,用于若所述第一判断结果表示为所述高层次图像尺寸与所述低层次图像尺寸相同,根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征的通道数,直至所述高层次视觉特征与所述低层次视觉特征的维度相同,获取所述高层次视觉特征的维度;尺寸调整模块,用于若所述所述第一判断结果表示为所述高层次图像尺寸与所述低层次图像尺寸不相同,对所述高层次图像尺寸进行调整。
相比与现有神经网络模型,本发明所提供的神经网络模型需要计算参数更少的同时具有更高正确率。
计算参数更少的原因来源于本发明改进在计算参数上具有优势的带有瓶颈层(bottleneck layer)的DenseNet,本发明首次将DenseNet用于多模态脑肿瘤图像分割。
正确率更高的优势来源于本发明改进了DenseNet,同时改进了DenseNet下采样与上采样过程;更具体地说,本发明将ResNets中的“跳过连接”的思想应用到DenseNet的上采用Block中,从而有效地保留和传播丰富的低层次视觉特征;然后,在上采样过程中,本发明采用多径自适应融合稠密联通块,自适应调整低层次视觉特征,有效融合这些低层次视觉特征和高层次语义特征,提高正确率。
本发明所提供的分割方法与现有主流的图像分割方法,在多模态脑肿瘤分割数据集BRATS2015上进行对比,在统一数据集上训练同一轮次,对结果进行对比,表1为本发明与现有的图像分割方法结果对比表,如表1所示。
表1
由表1可知,5轮次训练后,本发明在三项指标的平均效果排名第二,仅次于精炼残差网络(RefineNet),但其计算参数高达10028310,仅为1070918,而拥有最少参数的DenseNet效果很差。
10轮次训练后,本发明取得了最好的效果,效果远优于DenseNet。
如图6所示,随着训练轮次增加,所有模型正确率趋于稳定,本发明的模型正确率最高,由此可知,本发明在取得优异的性能同时,拥有较少的计算参数。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种基于人工智能的医学图像分割方法,其特征在于,包括:
将低层次视觉特征输入至低层次视觉特征输入路径进行过滤,确定过滤后的低层次视觉特征以及所述过滤后的低层次视觉特征的通道数;所述低层次视觉特征输入路径包括多个密集块以及下采样模块;每个所述密集块由第一密集连接卷积网络以及残差网络融合连接组成;所述残差网络的跳过连接设于所述第一密集连接卷积网络的前后,所述残差网络的跳过连接引入所述下采样模块;多个所述密集块依次连接;前一个密集块的输出为后一个密集块的输入;
将高层次视觉特征输入至高层次视觉特征输入路径进行调整,根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征,确定调整后的高层次视觉特征;所述高层次视觉特征输入路径包括卷积网络以及上采样模块;所述卷积网络用于调整所述高层次视觉特征的维度;所述上采样模块用于采集所述高层次视觉特征的尺寸;
经过第二密集连接卷积网络,将所述过滤后的低层次视觉特征以及所述调整后的高层次视觉特征进行融合,确定融合特征;
根据所述融合特征生成带分割图像内每个像素点的分类结果;
根据所述分类结果生成分割图像。
2.根据权利要求1所述医学图像分割方法,其特征在于,所述将低层次视觉特征输入至低层次视觉特征输入路径进行过滤,确定过滤后的低层次视觉特征以及所述过滤后的低层次视觉特征的通道数,具体包括:
将所述低层次视觉特征经过所述残差网络进行自适应调整,确定调整后的低层次视觉特征;
将所述调整后的低层次视觉特征经过所述第一密集连接卷积网络进行过滤,确定过滤后的低层次视觉特征以及所述过滤后的低层次视觉特征的通道数。
3.根据权利要求1所述医学图像分割方法,其特征在于,所述将高层次视觉特征输入至高层次视觉特征输入路径进行调整,根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征,确定调整后的高层次视觉特征,具体包括:
根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征的通道数,直至所述高层次视觉特征与所述低层次视觉特征的维度相同,获取所述高层次视觉特征的维度;
根据所述高层次视觉特征的维度确定调整后的高层次视觉特征。
4.根据权利要求1所述医学图像分割方法,其特征在于,所述将高层次视觉特征输入至高层次视觉特征输入路径进行调整,根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征,确定调整后的高层次视觉特征之后,还包括:
获取所述调整后的高层次视觉特征的高层次图像尺寸以及所述过滤后的低层次视觉特征的低层次图像尺寸;
判断所述高层次图像尺寸是否与所述低层次图像尺寸相同,得到第一判断结果;
若所述第一判断结果表示为所述高层次图像尺寸与所述低层次图像尺寸相同,根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征的通道数,直至所述高层次视觉特征与所述低层次视觉特征的维度相同,获取所述高层次视觉特征的维度;
若所述所述第一判断结果表示为所述高层次图像尺寸与所述低层次图像尺寸不相同,对所述高层次图像尺寸进行调整。
5.一种基于人工智能的医学图像分割系统,其特征在于,包括:
过滤模块,用于将低层次视觉特征输入至低层次视觉特征输入路径进行过滤,确定过滤后的低层次视觉特征以及所述过滤后的低层次视觉特征的通道数;所述低层次视觉特征输入路径包括多个密集块以及下采样模块;每个所述密集块由第一密集连接卷积网络以及残差网络融合连接组成;所述残差网络的跳过连接设于所述第一密集连接卷积网络的前后,所述残差网络的跳过连接引入所述下采样模块;多个所述密集块依次连接;前一个密集块的输出为后一个密集块的输入;
调整模块,用于将高层次视觉特征输入至高层次视觉特征输入路径进行调整,根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征,确定调整后的高层次视觉特征;所述高层次视觉特征输入路径包括卷积网络以及上采样模块;所述卷积网络用于调整所述高层次视觉特征的维度;所述上采样模块用于采集所述高层次视觉特征的尺寸;
融合模块,用于经过第二密集连接卷积网络,将所述过滤后的低层次视觉特征以及所述调整后的高层次视觉特征进行融合,确定融合特征;
分类结果生成模块,用于根据所述融合特征生成带分割图像内每个像素点的分类结果;
分割图像生成模块,用于根据所述分类结果生成分割图像。
6.根据权利要求5所述医学图像分割系统,其特征在于,所述过滤模块具体包括:
调整后的低层次视觉特征确定单元,用于将所述低层次视觉特征经过所述残差网络进行自适应调整,确定调整后的低层次视觉特征;
过滤单元,用于将所述调整后的低层次视觉特征经过所述第一密集连接卷积网络进行过滤,确定过滤后的低层次视觉特征以及所述过滤后的低层次视觉特征的通道数。
7.根据权利要求5所述医学图像分割系统,其特征在于,所述调整模块具体包括:
维度获取单元,用于根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征的通道数,直至所述高层次视觉特征与所述低层次视觉特征的维度相同,获取所述高层次视觉特征的维度;
调整单元,用于根据所述高层次视觉特征的维度确定调整后的高层次视觉特征。
8.根据权利要求5所述医学图像分割系统,其特征在于,还包括:
低层次图像尺寸获取模块,用于获取所述调整后的高层次视觉特征的高层次图像尺寸以及所述过滤后的低层次视觉特征的低层次图像尺寸;
第一判断模块,用于判断所述高层次图像尺寸是否与所述低层次图像尺寸相同,得到第一判断结果;
通道数调整模块,用于若所述第一判断结果表示为所述高层次图像尺寸与所述低层次图像尺寸相同,根据所述过滤后的低层次视觉特征的通道数调整所述高层次视觉特征的通道数,直至所述高层次视觉特征与所述低层次视觉特征的维度相同,获取所述高层次视觉特征的维度;
尺寸调整模块,用于若所述所述第一判断结果表示为所述高层次图像尺寸与所述低层次图像尺寸不相同,对所述高层次图像尺寸进行调整。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811294281.0A CN109447976B (zh) | 2018-11-01 | 2018-11-01 | 一种基于人工智能的医学图像分割方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811294281.0A CN109447976B (zh) | 2018-11-01 | 2018-11-01 | 一种基于人工智能的医学图像分割方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109447976A CN109447976A (zh) | 2019-03-08 |
CN109447976B true CN109447976B (zh) | 2020-07-07 |
Family
ID=65549881
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811294281.0A Active CN109447976B (zh) | 2018-11-01 | 2018-11-01 | 一种基于人工智能的医学图像分割方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109447976B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109978918A (zh) * | 2019-03-21 | 2019-07-05 | 腾讯科技(深圳)有限公司 | 一种轨迹追踪方法、装置和存储介质 |
CN110097550B (zh) * | 2019-05-05 | 2021-02-02 | 电子科技大学 | 一种基于深度学习的医学图像分割方法及系统 |
CN112120737A (zh) * | 2019-08-07 | 2020-12-25 | 杭州睿笛生物科技有限公司 | 一种电脉冲消融设备 |
CN110992320B (zh) * | 2019-11-22 | 2023-03-21 | 电子科技大学 | 一种基于双重交错的医学图像分割网络 |
CN111223161B (zh) * | 2020-01-02 | 2024-04-12 | 京东科技控股股份有限公司 | 一种图像重建方法、装置及存储介质 |
CN113096132B (zh) * | 2020-01-08 | 2022-02-08 | 东华医为科技有限公司 | 图像处理的方法、装置、存储介质和电子设备 |
CN111507950B (zh) * | 2020-04-08 | 2021-08-31 | 推想医疗科技股份有限公司 | 图像分割的方法和装置、电子设备及计算机可读存储介质 |
CN111753849B (zh) * | 2020-06-29 | 2024-06-28 | 江南大学 | 基于紧密聚合特征和循环残差学习的检测方法及系统 |
CN112541916B (zh) * | 2020-12-11 | 2023-06-23 | 华南理工大学 | 一种基于稠密连接的废旧塑料图像分割方法 |
CN113222044B (zh) * | 2021-05-25 | 2022-03-08 | 合肥工业大学 | 一种基于三元注意力和尺度关联融合的宫颈液基细胞分类方法 |
CN117611516B (zh) * | 2023-09-04 | 2024-09-13 | 北京智芯微电子科技有限公司 | 图像质量评估、人脸识别、标签生成及确定方法和装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104050639A (zh) * | 2014-06-16 | 2014-09-17 | 西安电子科技大学 | 一种基于双边滤波器的多视角密集点云数据融合方法 |
US9373036B1 (en) * | 2015-01-16 | 2016-06-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Collaborative distance metric learning for method and apparatus visual tracking |
CN107103616A (zh) * | 2017-04-27 | 2017-08-29 | 中国科学院长春光学精密机械与物理研究所 | 一种目标跟踪方法及系统 |
CN107316015A (zh) * | 2017-06-19 | 2017-11-03 | 南京邮电大学 | 一种基于深度时空特征的高精度面部表情识别方法 |
CN107437096A (zh) * | 2017-07-28 | 2017-12-05 | 北京大学 | 基于参数高效的深度残差网络模型的图像分类方法 |
CN107578060A (zh) * | 2017-08-14 | 2018-01-12 | 电子科技大学 | 一种基于可判别区域的深度神经网络用于菜品图像分类的方法 |
CN107633258A (zh) * | 2017-08-21 | 2018-01-26 | 北京精密机电控制设备研究所 | 一种基于前馈特征提取的深度学习识别系统及方法 |
CN108062754A (zh) * | 2018-01-19 | 2018-05-22 | 深圳大学 | 基于密集网络图像的分割、识别方法和装置 |
CN108549876A (zh) * | 2018-04-20 | 2018-09-18 | 重庆邮电大学 | 基于目标检测和人体姿态估计的坐姿检测方法 |
-
2018
- 2018-11-01 CN CN201811294281.0A patent/CN109447976B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104050639A (zh) * | 2014-06-16 | 2014-09-17 | 西安电子科技大学 | 一种基于双边滤波器的多视角密集点云数据融合方法 |
US9373036B1 (en) * | 2015-01-16 | 2016-06-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Collaborative distance metric learning for method and apparatus visual tracking |
CN107103616A (zh) * | 2017-04-27 | 2017-08-29 | 中国科学院长春光学精密机械与物理研究所 | 一种目标跟踪方法及系统 |
CN107316015A (zh) * | 2017-06-19 | 2017-11-03 | 南京邮电大学 | 一种基于深度时空特征的高精度面部表情识别方法 |
CN107437096A (zh) * | 2017-07-28 | 2017-12-05 | 北京大学 | 基于参数高效的深度残差网络模型的图像分类方法 |
CN107578060A (zh) * | 2017-08-14 | 2018-01-12 | 电子科技大学 | 一种基于可判别区域的深度神经网络用于菜品图像分类的方法 |
CN107633258A (zh) * | 2017-08-21 | 2018-01-26 | 北京精密机电控制设备研究所 | 一种基于前馈特征提取的深度学习识别系统及方法 |
CN108062754A (zh) * | 2018-01-19 | 2018-05-22 | 深圳大学 | 基于密集网络图像的分割、识别方法和装置 |
CN108549876A (zh) * | 2018-04-20 | 2018-09-18 | 重庆邮电大学 | 基于目标检测和人体姿态估计的坐姿检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109447976A (zh) | 2019-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109447976B (zh) | 一种基于人工智能的医学图像分割方法及系统 | |
CN110097550B (zh) | 一种基于深度学习的医学图像分割方法及系统 | |
WO2020215984A1 (zh) | 基于深度学习的医学图像检测方法及相关设备 | |
CN111932529B (zh) | 一种图像分类分割方法、装置及系统 | |
CN111754532B (zh) | 图像分割模型搜索方法、装置、计算机设备及存储介质 | |
CN112465827A (zh) | 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法 | |
CN110991254B (zh) | 超声图像视频分类预测方法及系统 | |
WO2022121100A1 (zh) | 一种基于darts网络的多模态医学图像融合方法 | |
CN111369574B (zh) | 一种胸腔器官的分割方法及装置 | |
CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
CN111860528A (zh) | 基于改进U-Net网络的图像分割模型及训练方法 | |
CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
CN114723669A (zh) | 一种基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法 | |
CN113160229A (zh) | 基于层级监督级联金字塔网络的胰腺分割方法及装置 | |
CN113744284B (zh) | 脑肿瘤图像区域分割方法、装置、神经网络及电子设备 | |
CN115880312A (zh) | 一种三维图像自动分割方法、系统、设备和介质 | |
CN113313728B (zh) | 一种颅内动脉分割方法及系统 | |
CN113689419A (zh) | 一种基于人工智能的图像分割处理方法 | |
CN116823851A (zh) | 基于特征重构的无监督域自适应oct图像分割方法及系统 | |
CN117455829A (zh) | 基于对抗学习的糖尿病性视网膜病变检测算法 | |
CN116129124A (zh) | 一种图像分割方法、系统及设备 | |
CN113538348B (zh) | 一种颅脑磁共振弥散加权图像的处理方法及相关产品 | |
CN116091885A (zh) | 一种基于rau-gan的肺结节数据增强方法 | |
CN115908811A (zh) | 一种基于Transformer和卷积注意力机制的CT图像分割方法 | |
CN113205148B (zh) | 一种迭代层间信息融合的医学图像帧插值方法及终端机 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |