CN110853049A - 一种腹部超声图像分割方法 - Google Patents

一种腹部超声图像分割方法 Download PDF

Info

Publication number
CN110853049A
CN110853049A CN201910989954.2A CN201910989954A CN110853049A CN 110853049 A CN110853049 A CN 110853049A CN 201910989954 A CN201910989954 A CN 201910989954A CN 110853049 A CN110853049 A CN 110853049A
Authority
CN
China
Prior art keywords
abdomen
ultrasonic image
image
segmentation
segmenting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910989954.2A
Other languages
English (en)
Inventor
方志军
顾佳
高永彬
田方正
董九庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Engineering Science
Original Assignee
Shanghai University of Engineering Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Engineering Science filed Critical Shanghai University of Engineering Science
Priority to CN201910989954.2A priority Critical patent/CN110853049A/zh
Publication of CN110853049A publication Critical patent/CN110853049A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Abstract

本发明涉及一种腹部超声图像分割方法,包括步骤:S1、获取腹部超声图像样本;S2、对腹部超声图像样本进行分层标注;S3、构建U‑NET神经网络,利用分层标注后的腹部超声图像样本对U‑NET神经网络进行训练,得到超声图像分割网络模型;S4、基于超声图像分割网络模型,对腹部超声图像进行直接分割,一次性输出腹部超声图像的分层图像。与现有技术相比,本发明通过数据扩充增加训练样本的规模量和范围,避免了切割小图的步骤,同时节省了计算机存储资源,本发明利用全卷积神经网络进行端到端的学习,使腹部各个层的分割精度更高,可一次性输出腹部超声图像中所有层的分割结果,有效提高了分割速度。

Description

一种腹部超声图像分割方法
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种腹部超声图像分割方法。
背景技术
图像分割是把图像分成若干个特定的、具有独特性质的区域,并提取出感兴趣目标的技术和过程,通过对腹部超声图像进行分割,可以自动区分出腹部主要的各个层:皮肤层、脂肪层、皮下肌层和腹膜,从而减少人工肉眼的识别,有利于快速进行引导超声穿刺。
由于神经网络具有模拟人类感知的算法特点,在分割性能上,较其他算法有显著提升,目前通常借助神经网络对超声图像进行分割,但这种分割方法普遍采用切割成小图进行训练学习的模式,训练的数据需要将图像切割成小图,以获取大量的训练样本;相对应的,测试的图像也必须切割成同等大小的小图进行测试。因此在训练环节需要耗费部分时间在切割小图的过程中,在测试环节则需要耗费大部分时间在切割小图以及拼接成整图的过程中,即存在分割复杂且耗时过多的问题,导致图像分割速度慢;此外,切割后的小图还需要存储起来以进行训练,这会额外产生计算机存储资源的浪费。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种无需切割小图的腹部超声图像分割方法,以提高分割速度、节省计算机存储资源,同时简化整个分割过程。
本发明的目的可以通过以下技术方案来实现:一种腹部超声图像分割方法,包括以下步骤:
S1、获取腹部超声图像样本;
S2、对腹部超声图像样本进行分层标注;
S3、构建U-NET神经网络,利用分层标注后的腹部超声图像样本对U-NET神经网络进行训练,得到超声图像分割网络模型;
S4、基于超声图像分割网络模型,对腹部超声图像进行直接分割,一次性输出腹部超声图像的分层图像。
进一步地,所述步骤S2具体包括以下步骤:
S21、对腹部超声图像样本进行数据扩充;
S22、基于交互式标注工具,对数据扩充后的腹部超声图像样本进行分层标注。
进一步地,所述步骤S21中数据扩充的过程具体包括旋转、反射变换、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动和颜色变换。
进一步地,所述步骤S22具体是对数据扩充后的腹部超声图像样本进行皮肤、脂肪层、皮下肌层以及腹腔肠管的分层标注。
进一步地,所述步骤S22中交互式标注工具为Labelme图形图像注释工具。
进一步地,所述步骤S3具体包括以下步骤:
S31、构建全卷积的U-NET神经网络;
S32、输入分层标注后的腹部超声图像给U-NET神经网络,依次通过提取特征、恢复原始图像、预测分割以及反向传播更新网络参数,以训练得到超声图像分割网络模型。
进一步地,所述U-NET神经网络的激活函数为带噪声的tanh函数,利用零均值的高斯噪声来消除超声图像自带的斑点噪声。
进一步地,所述步骤S32中训练得到超声图像分割网络模型的具体过程为:利用卷积层与池化层进行下采样,以提取图像的特征,得到特征图;
利用反卷积层进行上采样,使特征图恢复为原始超声图像的大小;
通过一个卷积层对超声图像进行预测分割;
将预测分割结果与分层标注分割结果进行作差计算,以建立损失函数,基于梯度下降反向传播,以更新网络参数。
进一步地,所述预测分割具体是对腹部超声图像中的每一个像素进行概率预测,以得到该像素的腹部分层结果。
与现有技术相比,本发明通过对腹部超声图像样本进行数据扩充,无需切割小图,便能够有效增加样本数据的规模量及范围,不需要额外的计算机存储资源,且有利于后续的神经网络在训练过程中学习到更多的图像不变性特征;
本发明采用全卷积的U-NET神经网络,以卷积层替代全连接层,能够输入任意尺寸的图片,一次性直接输出分层图像,通过端到端的学习训练,加快了图像分割速度,简化了图像自动分割的过程。
附图说明
图1为本发明的方法流程示意图;
图2为实施例中U-NET神经网络结构示意图;
图3为实施例中带噪声的tanh函数示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
如图1所示,一种腹部超声图像分割方法,包括以下步骤:
S1、获取腹部超声图像样本;
S2、对腹部超声图像样本进行分层标注;
S3、构建U-NET神经网络,利用分层标注后的腹部超声图像样本对U-NET神经网络进行训练,得到超声图像分割网络模型;
S4、基于超声图像分割网络模型,对腹部超声图像进行直接分割,一次性输出腹部超声图像的分层图像。
在实际应用中,可通过腹部超声图像获取模块、分割网络建立模块和腹部超声图像分割模块共同实现上述方法,其中,腹部超声图像获取模块用于获取进行超声图像分割处理的测试用图,以作为训练的样本图像;
分割网络建立模块用于建立端到端的图像分割网络,并基于样本图像来进行训练学习;
腹部超声图像分割模块用于根据所得到的图像分割网络模型,对超声图像进行分割,实现对所述目标图像的分割并一次性输出整幅目标图像的分割结果。
本实施例中,步骤S1和步骤S2主要包括:首先尽可能多地获取腹部超声图像样本,其次通过旋转、反射变换、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动和颜色变换的方式进行数据的扩充增强;
其中,旋转、反射变换(Rotation/reflection):随机旋转图像一定角度,以改变图像内容的朝向;
翻转变换(flip):沿着水平或者垂直方向翻转图像;
缩放变换(zoom):按照一定的比例放大或者缩小图像;
平移变换(shift):在图像平面上对图像以一定方式进行平移,可以采用随机或人为定义的方式指定平移范围和平移步长,沿水平或竖直方向进行平移,以改变图像内容的位置;
尺度变换(scale):对图像按照指定的尺度因子,进行放大或缩小,或者参照SIFT特征提取思想,利用指定的尺度因子对图像滤波构造尺度空间,以改变图像内容的大小或模糊程度;
对比度变换(contrast):在图像的HSV颜色空间,改变饱和度S和V亮度分量,保持色调H不变,对每个像素的S和V分量进行指数运算(指数因子在0.25到4之间),以增加光照变化;
噪声扰动(noise):对图像的每个像素RGB进行随机扰动,常用的噪声模式是椒盐噪声和高斯噪声;
颜色变换(color):在训练集像素值的RGB颜色空间进行PCA,得到RGB空间的3个主方向向量和3个特征值(p1,p2,p3123),对每幅图像的每个像素
Figure BDA0002237925430000042
进行加上如下的变化:[p1,p2,p3][α1λ12λ23λ3]T,式中,αi是满足均值为0,方差为0.1的随机变量;
最后,由医生或者专业人员利用交互式标注软件Labelme对已有的超声图像样本进行皮肤、脂肪层、皮下肌层以及腹膜的分层标注,Labelme是一个利用Python编写的图形图像注释工具,它的图形界面使用Qt,利用该软件能够实现最基本的分割数据标注工作,且在保存之后会将Object的一些信息存储到一个json文件中。
步骤S3中的U-NET神经网络结构如图2所示,利用多个卷积层与池化层进行下采样,以提取图像的特征,利用反卷积层进行上采样,从而使特征图恢复为原始超声图像的大小,之后通过一个卷积层对超声图像进行预测分割,最终利用预测出来的分割结果与标注的分割结果之间的损失函数,通过梯度下降反向传播,以更新网络参数,使整个网络模型通过大量的训练,得到一个优秀的分割网络模型。
U-NET是基于FCN的一个语义分割网络,适合用来做医学图像的分割,本发明使用全卷积神经网络,全卷积神经网络就是利用卷积层取代全连接层,由于全连接层必须固定图像大小而卷积层不用,所以本发明在应用时能够输入任意尺寸的图片,而且其输出也是图片,实现端到端的网络输入输出。
具体的,图2所示的网络结构中,左边的网络contracting path:使用卷积和maxpooling;
右边的网络expansive path:使用上采样,与左侧contracting path,pooling层的feature map相结合,然后逐层上采样到与原图一样大小的heatmap;
最后再经过两次卷积,达到最后的heatmap,再用一个1×1的卷积做分类,然后作为softmax函数的输入,算出概率比较大的softmax类,选择它作为输入给交叉熵进行反向传播训练,其中,softmax函数如式(1)所示,pk(x)表示每一像素对应类别的得分,
Figure BDA0002237925430000051
由式(2)给像素分配权重然后进行加权,d1(x)表示图中某一背景像素点到离这个点最近的类别边界的距离,d2(x)表示离这个像素点第二近的类别的距离:
Figure BDA0002237925430000052
通过预测出来的分割结果与分层标注的分割结果进行作差,以构建损失函数,通过反向传播更新网络模型的参数,使得预测出来的分割结果与分层标注的分割结果越来越一致;
实施例中卷积层共有20个,包含4次下采样和4次上采样,U-NET神经网络没有任何的全连接层,且每个像素都利用了输入图像的full context,U-NET神经网络的激活函数采用带噪声的tanh函数,利用零均值的高斯噪声来消除超声图像自带的斑点噪声,如图3所示,tanh函数被剪切为hard tanh函数,具有以下形式:
max(min(tanh(x),1),-1) (3)
通过向hard tanh函数的饱和部分添加噪声来获得嘈杂的硬tanh函数,
噪声激活功能包括使用超参数来影响增加的噪声的平均值:
φ(x,ξ)=αh(x)+(1-α)u(x)+d(x)σ(x)ξ (4)
其中,x为像素点,ξ为噪声,h(x)为带有噪声的hard tanh函数,u(x)为原始的tanh函数,α为用于调整的超参数,d(x)=-sgn(x)sgn(1-α),σ(x)=c(sigmoid(u(x)-h(x))-0.5)2
本发明对腹部超声图像中的每一个像素都进行概率预测,预测该像素属于哪个腹部分层,使任何一张腹部超声图像经过神经网络计算,都能准确的将腹部各个层分出来、并知道每个超声图中腹部各个层的像素点的在超声图像中的坐标,利用分层标注的真实结果判断预测结果的对错,并通过修改模型参数的方式,不断去更新修正预测的分割结果,本发明通过神经网络进行端到端的学习,使腹部各个层的分割精度更高,可一次性输出腹部超声图像中所有层的分割结果,使腹部各层可快速分割,步骤简洁,有助于医生在穿刺的过程中快速区分腹部的各个层直达病灶,并且可以避免不小心穿过腹膜带来的损伤。

Claims (9)

1.一种腹部超声图像分割方法,其特征在于,包括以下步骤:
S1、获取腹部超声图像样本;
S2、对腹部超声图像样本进行分层标注;
S3、构建U-NET神经网络,利用分层标注后的腹部超声图像样本对U-NET神经网络进行训练,得到超声图像分割网络模型;
S4、基于超声图像分割网络模型,对腹部超声图像进行直接分割,一次性输出腹部超声图像的分层图像。
2.根据权利要求1所述的一种腹部超声图像分割方法,其特征在于,所述步骤S2具体包括以下步骤:
S21、对腹部超声图像样本进行数据扩充;
S22、基于交互式标注工具,对数据扩充后的腹部超声图像样本进行分层标注。
3.根据权利要求2所述的一种腹部超声图像分割方法,其特征在于,所述步骤S21中数据扩充的过程具体包括旋转、反射变换、翻转变换、缩放变换、平移变换、尺度变换、对比度变换、噪声扰动和颜色变换。
4.根据权利要求2所述的一种腹部超声图像分割方法,其特征在于,所述步骤S22具体是对数据扩充后的腹部超声图像样本进行皮肤、脂肪层、皮下肌层以及腹腔肠管的分层标注。
5.根据权利要求2所述的一种腹部超声图像分割方法,其特征在于,所述步骤S22中交互式标注工具为Labelme图形图像注释工具。
6.根据权利要求1所述的一种腹部超声图像分割方法,其特征在于,所述步骤S3具体包括以下步骤:
S31、构建全卷积的U-NET神经网络;
S32、输入分层标注后的腹部超声图像给U-NET神经网络,依次通过提取特征、恢复原始图像、预测分割以及反向传播更新网络参数,以训练得到超声图像分割网络模型。
7.根据权利要求6所述的一种腹部超声图像分割方法,其特征在于,所述U-NET神经网络的激活函数为带噪声的tanh函数,利用零均值的高斯噪声来消除超声图像自带的斑点噪声。
8.根据权利要求7所述的一种腹部超声图像分割方法,其特征在于,所述步骤S32中训练得到超声图像分割网络模型的具体过程为:
利用卷积层与池化层进行下采样,以提取图像的特征,得到特征图;
利用反卷积层进行上采样,使特征图恢复为原始超声图像的大小;
通过一个卷积层对超声图像进行预测分割;
将预测分割结果与分层标注分割结果进行作差计算,以建立损失函数,基于梯度下降反向传播,以更新网络参数。
9.根据权利要求8所述的一种腹部超声图像分割方法,其特征在于,所述预测分割具体是对腹部超声图像中的每一个像素进行概率预测,以得到该像素的腹部分层结果。
CN201910989954.2A 2019-10-17 2019-10-17 一种腹部超声图像分割方法 Pending CN110853049A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910989954.2A CN110853049A (zh) 2019-10-17 2019-10-17 一种腹部超声图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910989954.2A CN110853049A (zh) 2019-10-17 2019-10-17 一种腹部超声图像分割方法

Publications (1)

Publication Number Publication Date
CN110853049A true CN110853049A (zh) 2020-02-28

Family

ID=69596723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910989954.2A Pending CN110853049A (zh) 2019-10-17 2019-10-17 一种腹部超声图像分割方法

Country Status (1)

Country Link
CN (1) CN110853049A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862070A (zh) * 2020-07-29 2020-10-30 南通大学 一种基于ct图像测量皮下脂肪厚度的方法
CN112168211A (zh) * 2020-03-26 2021-01-05 成都思多科医疗科技有限公司 一种腹部超声图像的脂肪厚度和肌肉厚度测量方法及系统
CN112560306A (zh) * 2020-12-11 2021-03-26 上海河口海岸科学研究中心 一种确定入海河口生态植被水流阻力的方法
CN112750142A (zh) * 2021-01-26 2021-05-04 上海工程技术大学 基于边窗注意力机制的超声图像分割系统及方法
CN113111915A (zh) * 2021-03-15 2021-07-13 同济大学 一种应用于静脉扎针机器人血管识别的数据库增强方法
CN113658699A (zh) * 2021-08-10 2021-11-16 东莞市人民医院 克罗恩病的全面疾病严重程度指数的预测方法及相关设备
WO2022099454A1 (zh) * 2020-11-10 2022-05-19 中国科学院深圳先进技术研究院 一种图像分割方法、终端设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120157842A1 (en) * 2010-12-17 2012-06-21 General Electric Company Systems and methods for automatically identifying and segmenting different tissue types in ultrasound images
CN108460764A (zh) * 2018-03-31 2018-08-28 华南理工大学 基于自动上下文和数据增强的超声图像智能分割方法
CN109064443A (zh) * 2018-06-22 2018-12-21 哈尔滨工业大学 一种基于腹部超声图像的多模型器官分割方法及系统
CN110223300A (zh) * 2019-06-13 2019-09-10 北京理工大学 Ct图像腹部多器官分割方法及装置
WO2019182520A1 (en) * 2018-03-22 2019-09-26 Agency For Science, Technology And Research Method and system of segmenting image of abdomen of human into image segments corresponding to fat compartments

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120157842A1 (en) * 2010-12-17 2012-06-21 General Electric Company Systems and methods for automatically identifying and segmenting different tissue types in ultrasound images
WO2019182520A1 (en) * 2018-03-22 2019-09-26 Agency For Science, Technology And Research Method and system of segmenting image of abdomen of human into image segments corresponding to fat compartments
CN108460764A (zh) * 2018-03-31 2018-08-28 华南理工大学 基于自动上下文和数据增强的超声图像智能分割方法
CN109064443A (zh) * 2018-06-22 2018-12-21 哈尔滨工业大学 一种基于腹部超声图像的多模型器官分割方法及系统
CN110223300A (zh) * 2019-06-13 2019-09-10 北京理工大学 Ct图像腹部多器官分割方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALEXANDER D. WESTON, BS ET AL.: "Automated Abdominal Segmentation of CT Scans for Body Composition Analysis Using Deep Learning", vol. 290, no. 3, pages 669 - 679 *
GUOYUNFEI20: "数据增强(data Augmentation)", Retrieved from the Internet <URL:https://blog.csdn.net/guoyunfei20/arti cle/details/78123048> *
Y. LI: "Segmentation of Medical Ultrasound Images Using Convolutional Neural Networks with Noisy Activating Functions", pages 1 - 6 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112168211A (zh) * 2020-03-26 2021-01-05 成都思多科医疗科技有限公司 一种腹部超声图像的脂肪厚度和肌肉厚度测量方法及系统
CN111862070A (zh) * 2020-07-29 2020-10-30 南通大学 一种基于ct图像测量皮下脂肪厚度的方法
WO2022099454A1 (zh) * 2020-11-10 2022-05-19 中国科学院深圳先进技术研究院 一种图像分割方法、终端设备及计算机可读存储介质
CN112560306A (zh) * 2020-12-11 2021-03-26 上海河口海岸科学研究中心 一种确定入海河口生态植被水流阻力的方法
CN112750142A (zh) * 2021-01-26 2021-05-04 上海工程技术大学 基于边窗注意力机制的超声图像分割系统及方法
CN113111915A (zh) * 2021-03-15 2021-07-13 同济大学 一种应用于静脉扎针机器人血管识别的数据库增强方法
CN113658699A (zh) * 2021-08-10 2021-11-16 东莞市人民医院 克罗恩病的全面疾病严重程度指数的预测方法及相关设备

Similar Documents

Publication Publication Date Title
CN110853049A (zh) 一种腹部超声图像分割方法
CN110889853B (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN110428432B (zh) 结肠腺体图像自动分割的深度神经网络算法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN111445478B (zh) 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法
CN111476292A (zh) 医学图像分类处理人工智能的小样本元学习训练方法
CN111489357A (zh) 一种图像分割方法、装置、设备及存储介质
CN109035172B (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN111626993A (zh) 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统
JP2023550844A (ja) 深層形状学習に基づく肝臓ct自動分割方法
CN112232134B (zh) 一种基于沙漏网络结合注意力机制的人体姿态估计方法
CN113674253A (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
CN111968138B (zh) 基于3d动态边缘不敏感性损失函数的医学图像分割方法
CN114445670B (zh) 图像处理模型的训练方法、装置、设备及存储介质
CN112465759A (zh) 一种基于卷积神经网络的航空发动机叶片缺陷检测方法
CN111916206B (zh) 一种基于级联的ct影像辅助诊断系统
Wang et al. MAGAN: Unsupervised low-light image enhancement guided by mixed-attention
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN114266794B (zh) 基于全卷积神经网络的病理切片图像癌症区域分割系统
CN112801904A (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN113505634A (zh) 一种双流解码跨任务交互网络的光学遥感图像显著目标检测方法
CN116934592A (zh) 一种基于深度学习的图像拼接方法、系统、设备及介质
CN114298971A (zh) 一种冠状动脉分割方法、系统、终端以及存储介质
Wang et al. Automatic consecutive context perceived transformer GAN for serial sectioning image blind inpainting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination