CN111340816A - 一种基于双u型网络框架的图像分割方法 - Google Patents
一种基于双u型网络框架的图像分割方法 Download PDFInfo
- Publication number
- CN111340816A CN111340816A CN202010207167.0A CN202010207167A CN111340816A CN 111340816 A CN111340816 A CN 111340816A CN 202010207167 A CN202010207167 A CN 202010207167A CN 111340816 A CN111340816 A CN 111340816A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- boundary
- segmentation
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明公开了一种基于双U型网络框架的图像分割方法,具体方法如下:S1:将图像数据划分为训练集和测试集;S2:搭建双U型网络结构,将训练集输入网络结构中,获得网络输出即分割结果概率图;所述分割结果概率图包括边界及区域信息;S3:根据分割结果概率图与金标准间的差异计算损失函数;S4:使用反向传递降低损失函数,从而更新网络中的系数;S5:迭代S2‑S4所述过程40次,迭代收敛,获得图像分割网络;S6:使用训练好的图像分割网络,对待识别图像进行识别和分割。本发明同时利用目标区域与边界来分割图像,获得了更好的分割性能。
Description
技术领域
本发明属于图像处理领域,尤其涉及一种基于双U型网络框架的图像分割方法。
背景技术
图像分割是将图像表示为物理上有意义的连通区域的集合。根据目标与背景的先验知识,对图像中的目标、背景进行标记、定位,然后将目标从背景或其他伪目标中分离出来的过程。作为图像分析的基础,图像分割已经被广泛用于医学图像中组织器官的分割。
通常,医生根据图像的灰度以及已有的先验知识来确定器官的边界。然而,这种手动分割需要花费医生大量的时间以及精力,并且这样的工作单调乏味,容易使人疲劳。因此,一些传统的图像处理方法已经被应用与器官的分割。然而,由于图像对比度低,不同患者的器官形状各有不同以及不同器官间的相似性,获得较高的自动分割准确性较为困难。因此,具有较好分割性能的器官自动分割方法仍然是未解决的难题。
在图像分割问题中,待分割目标的金标准通常由人工手动勾画获得。然而,现在被广泛使用的CNNs(卷积神经网络Convolutional Neural Networks,CNNs)分割方法进将目标的整个区域作为标签来训练网络,并没有充分利用潜在有用的边界信息。与仅使用目标区域信息来训练网络相比,如果同时充分利用目标的边界与区域信息,分割结果将大幅度提高。
发明内容
针对现有技术的缺陷,本发明的目的在于解决现有技术中仅使用目标区域信息来训练网络,并没有充分利用潜在有用的边界信息的技术问题。
为实现上述目的,本发明提供了一种基于双U型网络框架的图像分割方法,该方法包括以下步骤:
S1:将图像数据划分为训练集和测试集;
S2:搭建双U型网络结构,将训练集输入网络结构中,获得网络输出即分割结果概率图;所述分割结果概率图包括边界及区域信息;
S3:根据分割结果概率图与金标准间的差异计算损失函数;
S4:使用反向传递降低损失函数,从而更新网络中的系数;
S5:迭代S2-S4所述过程40次,迭代收敛,获得图像分割网络;
S6:使用训练好的图像分割网络,对待识别图像进行识别和分割。
具体地,所述图像数据包括原始CT图像与相应的医生手动标记的边界;
所述边界的标签由医生勾画的边界向内侧或者向内外两侧膨胀2个像素获得。
具体地,所述双U型网络结构为对称结构,包括收缩路径和扩张路径,输入来自原始的CT图像,输出边界及区域的概率图像。
具体地,收缩路径分别与两个扩张路径相连;所述收缩路径上卷积层的输出分别与两个扩张路径上的卷积层的输入通过相连接;
所述收缩路径同时提取边界及区域的低维特征图,两个扩张路径分别自动提取边界及区域的高维特征图;
扩张路径将特征图数目从32变为分割的目标数2;利用sigmoid函数将特征图转化为分割结果概率图;使用阈值0.5将概率图转化为二值分割结果。
具体地,根据低维和高维特征图的分辨率,所述收缩路径和扩张路径分为五个不同状态,每个状态由两个块组成,每个块含有一个3*3的卷积层、一个批量规范化层和一个线性整流激活层,在收缩或扩张路径上,第二个块与一个核大小为2*2的下采样即上卷积层串联;两个扩张路径的最后一层均为1*1的卷积层。
具体地,定义所述损失函数M-Dice及M-Loss函数分别为:
其中,其中,M为2,表示待分割目标的边界及区域两类,pi和gi表示输出概率图像P与金标准图像G中像素点的值,N表示目标图像中像素点的个数和;Dice表示分割结果与金标准间整体的一致性,其值的范围为从0到1,0表示两个体积间没有重合,1表示完全重合。
本发明的有益效果:
本发明基于双U型网络框架的图像分割方法,同时利用目标区域与边界来分割图像,所提出网络的输入为原始CT图像,输出为边界及区域的概率图像。在网络训练过程中,同时使用目标边界及区域的概率图来计算损失函数,与仅利用面积信息来训练网络相比,边界将为目标分割提供额外的局部信息,获得了更好的分割性能。
附图说明
为了便于本领域技术人员理解,下面结合附图对本发明作进一步的说明。
图1为本发明的双U型网络结构示意图;
图2为本发明实施例中气管边界的标签图;
图3为使用现有技术U-Net和双U型网络分割食管、心脏、气管以及主动脉的平均Dice对比图;
图4为本发明实施例中使用两种不同方法膨胀目标边界,对于四种器官分割的平均Dice数据对比图。
具体实施方式
现有技术中,受到大规模标记数据以及具有强大计算能力的GPU的出现,具有更深层的卷积神经网络CNNs计算机视觉和图像处理领域得到广泛的应用。CNNs被广泛认为是图像分析领域的一种有效工具,它能直接将原始图像作为输入,直接利用产生的有效特征图来获得较好的分割结果,它使用基于图像块的方式来分割图像,图像中的每一个像素点被作为一个固定大小图像块的中心,图像块被作为输入数据训练及测试一个分类CNNs。每一个图像块的预测结果被作为中心点的分割结果。显而易见,相邻区域图像块的重合区域较大,这将造成存储开销过大。并且,大多数的卷积被重复计算多次将带来效率低下的缺点;另外,每个图像块的大小是固定的,因此,仅能从图像块中提取一些固定尺度的特征用于分类。
全卷积神经网络(Fully Convolufional Network,FCN)将普通的卷积神经网络中的全连接层改为卷积层,并且在网络后端采用反卷积层对得到的特征图进行上采样,使得网络输入与输出图像大小一致,实现网络端到端的操作。同时,该网络中使用跳跃连接结构来结合上下文信息,提高分割精度。与基于图像块的分割方法相比,FCN大幅度提高算法的计算速度。然而由于FCN没有充分利用图像浅层的位置信息,对图像的细节不够敏感,分割结果在原始尺度的图像不够准确。
源自于FCN的U-Net网络由一个左侧的收缩路径和一个右侧对称的扩张路径形成一个U形全卷积网络,并且,在收缩路径和扩张路径之间使用短连接将浅层特征图与深层特征图相结合。由于这种连接结构能够结合深层的语义信息与浅层的位置特征,增强网络全局特征的学习能力,实现像素级的精确分类和定位SegNet,3D U-Net,V-Net,ResNetU-Net以及Unet++,在图像分割领域得到广泛的应用。
为了解决上述技术问题,本申请实施例中,同时利用低维及高维特征分割目标的边界及区域。一种基于双U型网络框架的图像分割方法,该方法包括以下步骤:
S1:将图像数据划分为训练集和测试集;
具体地,图像数据包括原始CT图像与相应的医生手动标记的边界;
上述边界的标签由医生勾画的边界向内侧或者向内外两侧膨胀2个像素获得。
S2:搭建双U型网络结构,将训练集输入网络结构中,获得网络输出即分割结果概率图;所述分割结果概率图包括边界及区域信息;
具体地,双U型网络结构为对称结构,包括收缩路径和扩张路径,输入来自原始的CT图像,输出边界及区域的概率图像
S3:根据分割结果概率图与金标准间的差异计算损失函数;
S4:使用反向传递降低损失函数,从而更新网络中的系数;
S5:迭代S2-S4所述过程40次,获得图像分割网络;40为根据经验设定的值,每一次迭代,损失函数值不断减小,40次后,损失函数值几乎不变;
S6:使用训练好的图像分割网络,对待识别图像进行识别和分割。
具体地,如图1所示,为本申请实施例提供的双U型网络框架结构图;图中的方框分别表示多通道特征图以及复制特征图,其上方的数字表示输入卷积层的特征通道数,左下方的数字表示特征图的大小,图1中的形状及箭头等表示的是不同的操作,在整个网络中,每一个卷积层后跟随一个批量规范化(batch normalization,BN)层及一个线性整流(Rectified Linear Unit,ReLU)激活层,这两层在图中省略未显示。
在上述实施例的基础上,根据特征图的分辨率,网络中的路径可以分为五个不同状态。每个状态由2个块组成,每个块含有一个3*3的卷积层。并且,在卷积层后紧跟一个BN层和一个ReLu激活层。在收缩(扩张)路径上,第二个块后紧接这一个核大小为2*2的最大下采样(上卷积)层。两个扩张路径的最后一层均为1*1的卷积层,其将特征图数目从32变为分割的目标数2。然后,利用sigmoid函数将特征图转化为分割结果概率图。在测试图像时,使用阈值0.5将概率图转化为二值分割结果。
在本实施中,所提出网络的输入为原始CT图像,输出为边界及区域的概率图像。训练过程中,边界的标签为由医生勾画的边界向内侧或者向内外两侧膨胀2个像素获得,如图2所示,气管边界的标签图,膨胀边界由白色表示,图(a)中放射科医生手动勾画的边界在膨胀边界中,图(b)中放射科医生手动勾画的边界在膨胀边界外围,(a)和(b)中膨胀边界分别向两侧及内侧膨胀2像素。在网络训练过程中,同时使用目标边界及区域的概率图来计算损失函数。与仅利用面积信息来训练网络相比,边界将为目标分割提供额外的局部信息。因此,本实施例所述方法同时利用边界及区域信息来训练分割CNNs网络,以期望获得更好的分割性能。
上述步骤S3中的损失函数可由以下得来:
Dice可以测量分割结果与金标准间体积的重合。对于单目标分割问题,用分割获得的二值图像P与金标准二值图像G构成的Dice函数为:
其中,pi和gi表示分割图像P与金标准图像G中像素点的值,N表示目标图像中像素点的个数和。
在多目标分割中,Dice通常被扩展为多目标Dice(M-Dice),
其中,M为2,表示待分割目标的边界及区域两类;
M-Loss函数通常可以表示为:
M-Loss=M-(M-Dice) (3)
在计算所提网络Dice时,目标的边界与区域信息紧密相关。当边界与区域同时分割准确时,分割结果将最佳。据此,定义M-Dice以及相应的M-loss函数如下:
在本实施中,使用网络输出的概率图代替分割获得的二值图像来计算M-Loss函数,这样将使得训练过程中的计算更为简单方便。
分割结果的评价标准
使用所有测试数据的平均Dice来衡量本专利所提出的双U型神经网络的分割性能。Dice表示分割结果与金标准间整体的一致性。其值的范围为从0到1。0表示两个体积间没有重合,1表示完全重合。
本发明实施例提供的方法应用于器官分割:
针对数据库中的40组包含气管、心脏、食管及主动脉的胸部CT图像,本实施例使用5-fold交叉验证方法评价分割性能,即将CT数据平均分成5组,每次使用四组数据训练,一组数据进行测试;这个过程重复五次,直到五组数据都被测试完成为止。
由于每一个器官需要训练一个分割网络,则需要训练四个不同的网络分割四个不同的器官,分割网络使用python以及深度学习库keras实现。实验设备具有128G的内存,2.2GHz的Intel E5 CPU,11G内存的英伟达GTX-2080Ti GPU。本专利使用He_normal方法初始化网络权重系数,并使用Adam方法搜索系数最优解。同时,设置学习率为0.0003,并一次批量处理4张图像。
实施结果:对于不同器官的分割结果如图3所示,图3使用经典U-Net以及双U型网络分割食管、心脏、气管以及主动脉的平均Dice;
使用实施例所述图2(b)中的方法,将目标边界向两侧各膨胀2像素。对于食管以及主动脉,使用经典U-Net的分割结果不佳,它们的平均Dice分别为0.750和0.875。然而,使用本实施例1提出的双U型神经网络分割这两种分割较为困难的器官,通过融合目标边界及区域的信息其平均Dice分别为0.775和0.910。
在上述实施例的基础上,实施不同边界膨胀方法对分割性能的影响;
采用不同边界膨胀方法如图2所示。对于不同的边界膨胀方法,获得的平均Dice很相近,如图4所示,这说明该双U型网络分割性能稳定。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (6)
1.一种基于双U型网络框架的图像分割方法,其特征在于,包括
S1:将图像数据划分为训练集和测试集;
S2:搭建双U型网络结构,将训练集输入网络结构中,获得网络输出即分割结果概率图;所述分割结果概率图包括边界及区域信息;
S3:根据分割结果概率图与金标准间的差异计算损失函数;
S4:使用反向传递降低损失函数,从而更新网络中的系数;
S5:迭代S2-S4所述过程40次,迭代收敛,获得图像分割网络;
S6:使用训练好的图像分割网络,对待识别图像进行识别和分割。
2.根据权利要求1所述的一种基于双U型网络框架的图像分割方法,其特征在于,所述图像数据包括原始CT图像与相应的医生手动标记的边界;
所述边界的标签由医生勾画的边界向内侧或者向内外两侧膨胀2个像素获得。
3.根据权利要求1所述的一种基于双U型网络框架的图像分割方法,其特征在于,所述双U型网络结构为对称结构,包括收缩路径和扩张路径,输入为原始的CT图像,输出为边界及区域的概率图像。
4.根据权利要求3所述的一种基于双U型网络框架的图像分割方法,其特征在于,收缩路径分别与两个扩张路径相连;所述收缩路径上卷积层的输出分别与两个扩张路径上的卷积层的输入通过相连接;
所述收缩路径同时提取边界及区域的低维特征图,两个扩张路径分别自动提取边界及区域的高维特征图;
扩张路径将特征图数目从32变为分割的目标数2;利用sigmoid函数将特征图转化为分割结果概率图;使用阈值0.5将概率图转化为二值分割结果。
5.根据权利要求4所述的一种基于双U型网络框架的图像分割方法,其特征在于,根据低维和高维特征图的分辨率,所述收缩路径和扩张路径分为五个不同状态,每个状态由两个块组成,每个块含有一个3*3的卷积层、一个批量规范化层和一个线性整流激活层,在收缩或扩张路径上,第二个块与一个核大小为2*2的下采样即上卷积层串联;两个扩张路径的最后一层均为1*1的卷积层。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010207167.0A CN111340816A (zh) | 2020-03-23 | 2020-03-23 | 一种基于双u型网络框架的图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010207167.0A CN111340816A (zh) | 2020-03-23 | 2020-03-23 | 一种基于双u型网络框架的图像分割方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111340816A true CN111340816A (zh) | 2020-06-26 |
Family
ID=71187660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010207167.0A Pending CN111340816A (zh) | 2020-03-23 | 2020-03-23 | 一种基于双u型网络框架的图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111340816A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112102259A (zh) * | 2020-08-27 | 2020-12-18 | 温州医科大学附属眼视光医院 | 一种基于边界引导深度学习的图像分割算法 |
CN112530554A (zh) * | 2020-12-17 | 2021-03-19 | 上海联影医疗科技股份有限公司 | 一种扫描定位方法、装置、存储介质及电子设备 |
CN113052931A (zh) * | 2021-03-15 | 2021-06-29 | 沈阳航空航天大学 | 基于多约束gan的dce-mri图像生成方法 |
CN113052932A (zh) * | 2021-03-15 | 2021-06-29 | 沈阳航空航天大学 | 基于空间及时间信息的w型网络结构的dce-mri图像生成方法 |
CN113256657A (zh) * | 2021-06-03 | 2021-08-13 | 上海交通大学烟台信息技术研究院 | 一种高效医学图像分割方法及系统、终端、介质 |
CN113592766A (zh) * | 2021-05-21 | 2021-11-02 | 东南大学 | 一种基于深度序列信息融合的冠脉造影图像分割方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180218502A1 (en) * | 2017-01-27 | 2018-08-02 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
CN109035252A (zh) * | 2018-06-29 | 2018-12-18 | 山东财经大学 | 一种面向医学图像分割的超像素方法 |
CN109191476A (zh) * | 2018-09-10 | 2019-01-11 | 重庆邮电大学 | 基于U-net网络结构的生物医学图像自动分割新方法 |
CN109919932A (zh) * | 2019-03-08 | 2019-06-21 | 广州视源电子科技股份有限公司 | 目标对象的识别方法和装置 |
CN110211140A (zh) * | 2019-06-14 | 2019-09-06 | 重庆大学 | 基于3D残差U-Net和加权损失函数的腹部血管分割方法 |
-
2020
- 2020-03-23 CN CN202010207167.0A patent/CN111340816A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180218502A1 (en) * | 2017-01-27 | 2018-08-02 | Arterys Inc. | Automated segmentation utilizing fully convolutional networks |
CN109035252A (zh) * | 2018-06-29 | 2018-12-18 | 山东财经大学 | 一种面向医学图像分割的超像素方法 |
CN109191476A (zh) * | 2018-09-10 | 2019-01-11 | 重庆邮电大学 | 基于U-net网络结构的生物医学图像自动分割新方法 |
CN109919932A (zh) * | 2019-03-08 | 2019-06-21 | 广州视源电子科技股份有限公司 | 目标对象的识别方法和装置 |
CN110211140A (zh) * | 2019-06-14 | 2019-09-06 | 重庆大学 | 基于3D残差U-Net和加权损失函数的腹部血管分割方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112102259A (zh) * | 2020-08-27 | 2020-12-18 | 温州医科大学附属眼视光医院 | 一种基于边界引导深度学习的图像分割算法 |
CN112530554A (zh) * | 2020-12-17 | 2021-03-19 | 上海联影医疗科技股份有限公司 | 一种扫描定位方法、装置、存储介质及电子设备 |
CN112530554B (zh) * | 2020-12-17 | 2023-08-18 | 上海联影医疗科技股份有限公司 | 一种扫描定位方法、装置、存储介质及电子设备 |
CN113052931A (zh) * | 2021-03-15 | 2021-06-29 | 沈阳航空航天大学 | 基于多约束gan的dce-mri图像生成方法 |
CN113052932A (zh) * | 2021-03-15 | 2021-06-29 | 沈阳航空航天大学 | 基于空间及时间信息的w型网络结构的dce-mri图像生成方法 |
CN113592766A (zh) * | 2021-05-21 | 2021-11-02 | 东南大学 | 一种基于深度序列信息融合的冠脉造影图像分割方法 |
CN113256657A (zh) * | 2021-06-03 | 2021-08-13 | 上海交通大学烟台信息技术研究院 | 一种高效医学图像分割方法及系统、终端、介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111340816A (zh) | 一种基于双u型网络框架的图像分割方法 | |
CN113077471B (zh) | 一种基于u型网络的医学图像分割方法 | |
CN112241766B (zh) | 基于样本生成和迁移学习的肝脏ct图像多病变分类方法 | |
CN110337669B (zh) | 一种用于多标签分割医学图像中的解剖结构的管线方法 | |
CN111951288B (zh) | 一种基于深度学习的皮肤癌病变分割方法 | |
CN111325750B (zh) | 一种基于多尺度融合u型链神经网络的医学图像分割方法 | |
CN111489357A (zh) | 一种图像分割方法、装置、设备及存储介质 | |
CN113706487A (zh) | 基于自监督特征小样本学习的多器官分割方法 | |
CN114266794B (zh) | 基于全卷积神经网络的病理切片图像癌症区域分割系统 | |
CN111724401A (zh) | 一种基于边界约束级联U-Net的图像分割方法和系统 | |
CN113763442A (zh) | 一种可变形医学图像配准方法及系统 | |
CN114202545A (zh) | 一种基于UNet++的低级别胶质瘤图像分割方法 | |
CN116228792A (zh) | 一种医学图像分割方法、系统及电子装置 | |
CN116468732A (zh) | 基于深度学习的肺部ct影像分割方法及成像方法 | |
CN114708637A (zh) | 一种基于元学习的人脸动作单元检测方法 | |
CN114119669A (zh) | 一种基于Shuffle注意力的图匹配目标跟踪方法与系统 | |
Xu et al. | Automatic segmentation of low-grade glioma in MRI image based on UNet++ model | |
CN116403071B (zh) | 基于特征重构的少样本混凝土缺陷检测方法及装置 | |
CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
CN115937590A (zh) | 一种并联融合CNN和Transformer的皮肤病图像分类方法 | |
CN112862089B (zh) | 一种具有可解释性的医学图像深度学习方法 | |
CN110992309B (zh) | 基于深层信息传递网络的眼底图像分割方法 | |
CN114565762A (zh) | 基于roi和分裂融合策略的弱监督肝脏肿瘤分割 | |
CN107798680B (zh) | 一种减少图像标签融合冗余计算的方法 | |
CN115578400A (zh) | 图像处理方法、图像分割网络的训练方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |