CN114782471A - 一种用于甲状腺结节的超声二维图像的分割方法 - Google Patents

一种用于甲状腺结节的超声二维图像的分割方法 Download PDF

Info

Publication number
CN114782471A
CN114782471A CN202210382048.8A CN202210382048A CN114782471A CN 114782471 A CN114782471 A CN 114782471A CN 202210382048 A CN202210382048 A CN 202210382048A CN 114782471 A CN114782471 A CN 114782471A
Authority
CN
China
Prior art keywords
convolution
dimensional image
ultrasonic
operations
sampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210382048.8A
Other languages
English (en)
Inventor
广旸
骆伟
甘从贵
吴佳俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tiantan Hospital
Original Assignee
Beijing Tiantan Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tiantan Hospital filed Critical Beijing Tiantan Hospital
Priority to CN202210382048.8A priority Critical patent/CN114782471A/zh
Publication of CN114782471A publication Critical patent/CN114782471A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本申请公开一种用于甲状腺结节的超声二维图像的分割方法，包括对超声二维图像进行图像增强手段；将处理后的二维图像输入以U‑net结构为基础的模型中，U‑net结构包括n个下采样操作和n个上采样操作，下采样操作由多个不同卷积核的卷积模块组成，每一个卷积模块由池化操作和卷积操作组成，卷积操作分别采用对应尺寸的卷积核来处理输入图像并在后面添加IN操作和Relu操作；上采样操作由多头自注意力机制模块和反卷积模块组成，反卷积模块由卷积核尺寸不同的卷积和双线性插值或转置卷积组成，在每一个卷积操作后，都进行IN操作和Relu操作；通过损失函数来增强分割结果并进行评估；输出分割后的超声二维图像。

Description

一种用于甲状腺结节的超声二维图像的分割方法
技术领域
本申请涉及医疗技术领域，尤其是一种用于甲状腺结节的超声二维图像的分割方法。
背景技术
目前甲状腺癌患者逐渐增多，甲状腺癌的诊断和治疗变得越来越重要。现阶段，超声以其时效性、无辐射等优点成为甲状腺癌筛查的重要手段。但超声检查时十分依靠医师手法和经验，超声成像也很容易受到各种因素的影响。近年来，人工智能技术得到了迅猛发展，利用人工智能对超声图像进行分析来辅助医师进行甲状腺结节的诊断也得到了重视，但是如何精确分割结节区域仍然是一个相对难点。
目前已有的甲状腺辅助诊断技术需要界定出甲状腺结节的病灶区域，对甲状腺结节的精准分割可以用来评估甲状腺结节的各种性质，包括分级、良恶性质等。而由于超声分辨率及噪声的影响，甲状腺超声图像中结节的精准分割准确性不够，容易导致误判。
目前已有的甲状腺超声图像分割技术在精确度方面表现一般，特别是在边缘细节部分分割效果不太好。本发明要解决分割精确度的问题，得到较好的细节部分分割结果。
发明内容
本申请的目的是在于克服现有技术中存在的不足，提供一种具有较高分割精度的用于甲状腺结节的超声二维图像的分割方法。
为实现以上技术目的，本申请提供了一种用于甲状腺结节的超声二维图像的分割方法，包括：
对超声二维图像进行图像增强手段；
将处理后的超声二维图像输入以U-net结构为基础的模型中， U-net结构包括n个下采样操作和n个上采样操作，分别用于提取各分辨率的特征信息，下采样操作由多个不同卷积核的卷积模块组成，每一个卷积模块由池化操作和卷积操作组成，池化操作采用的是最大池化操作，卷积操作分别采用对应尺寸的卷积核来处理输入图像并在后面添加了IN(实例归一化)操作和Relu(线性整流激活)操作，提取该分辨率的图像特征；上采样操作由多头自注意力机制模块和反卷积模块组成，多头自注意力机制模块用于增强模型对各不同区域及分辨率的信息关注程度，反卷积模块由卷积核尺寸不同的卷积和双线性插值或要转置卷积组成，在每一个卷积操作后，都进行IN(实例归一化)操作和Relu(线性整流激活)操作，提取更高分辨率特征；
通过损失函数来增强分割结果并进行评估；
输出分割后的超声二维图像。
进一步地，所述上采样为4个，下采样为4个。
进一步地，所述下采样操作由3个不同卷积核的卷积模块组成，卷积核尺寸分别为3、5、7。
进一步地，所述反卷积模块的卷积的卷积核尺寸为1、3。
进一步地，所述损失函数为交叉熵损失函数、MS-SSIM loss、 FocalTversky_loss或者dice loss。
本申请在网络浅层特征提取区域引入了大卷积核尺寸的卷积操作，在网络深层特征提取区域因引入了小尺度的卷积核来提取特征，增强了对结节细节的分割能力。
附图说明
图1为本申请的流程图；
图2为本申请的U-net的结构图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似改进，因此本申请不受下面公开的具体实施例的限制。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在本文中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
本申请提供了用于甲状腺结节的超声二维图像的分割方法，本方法为基于深度学习的方法。方法主要参考U-net基础结构情况下，引入了transformer自注意力机制，在图像以各分辨率下采样和上采样过程中，用多头自注意力机制来关注不同分辨率的特征信息的叠加效果，再考虑超声图像的噪声占比较大，本方法浅层特征提取层，引入了核尺寸为5和7大尺度的卷积操作，以消减超声噪声的影响，在深层特征提取层，为了获得更精确的超声分割效果，使用了核尺寸为1 和3的小卷积层，最后将各种不同尺度的特征信息综合起来，并引入了新的损失评价方式，最终得到更精确的超声结节图像。
参见图1所示，本申请包括数据预处理、输入模型、特征提取以及输出结果。数据预处理：该方法主要针对超声二维图像进行图像的分割操作。在数据预处理阶段，主要对超声二维图像进行图像增强手段，包括对图像进行翻转、图像平移、缩放等常规操作，以及增加对比度和进行多图合成的方法来对图像样本进行增加，丰富数据的多样性，以此来提高训练模型的性能。
输入模型：在对图像进行预处理之后，将图像输入模型。模型以 U-net结构作为基础。
参见图2所示，在U-net结构中，池化操作本方法采用的是最大池化操作，卷积核大小为2×2，用以提取重要信息，去除不需要的信息。卷积操作本方法采用的是在网络浅层特征提取区域引入了大卷积核尺寸的卷积操作，包括卷积核为3,5,7的卷积核来平行处理各层出的特征信息，在网络深层特征提取区域因引入了1,3小尺度的卷积核来提取特征。在每个卷积操作之后添加了IN(实例归一化)操作和Relu(线性整流激活)操作，IN操作用来对数据进行归一化，而 Relu操作则是对特征进行筛选，经过relu之后的正值越大，说明与卷积核相关性大，负值越大，不相关性大。反卷积操作则是采用了倍数为2的上采样操作，在操作之后也加入了IN和Relu操作，这两个操作作用和之前一致。
在U-net结构的基础上，我们加入了transformer(多头自注意力模块)的多头注意力机制作为分支结构来提升网络的性能， transformer的多头注意力机制的计算流程如下所示：
1.将特征图展开，使其平铺成一个相应维度的向量，并且增加一个位置嵌入。
2.进行自注意力计算，得到各个头不同的query，key和value。
3.利用点积计算图中各位置的相关性，其中缩放点积注意力的公式为：
Figure BDA0003592235440000061
Transformer的多头注意力机制是作为一个分支结构加入到U-net 网络之中的，具体实施细节为在每一个上采样操作的同时加入一条分支，该分支先通过transformer结构，之后进行上采样操作，并且与没通过transformer结构的上采样操作结果相加来得到下一步的输入。
4.进行两层线性变换的计算，最后维度回到初始平铺得到的向量维度。
特征提取：该部分主要是利用U-net结构对信息的提取能力以及transformer多头注意力机制对全局信息的关注作用对特征进行充分的提取，获得更多对分割有用的信息。
输出结果：在结果了特征提取之后，网络会输出一个分割mask 作为输出结果。通过比较输出结果和医生标注结果来得到模型性能指标。
在该方案中，损失函数的结合筛选也是一个重要组成部分，损失函数从多个损失函数筛选组成，用于筛选的损失函数包括：交叉熵损失函数、MS-SSIM loss、FocalTversky_loss、dice loss等。筛选过程通过实验进行结果的最终比较，并且观察训练过程中不同损失函数对训练及最终模型性能的影响。最终的损失函数选取为带有系数的 MS-SSIM loss、FocalTversky_loss、dice loss之和，该损失函数充分考虑到了样本均衡、边缘细节等问题，可以得到更好的分割结果。
本方法在U-net网络结构基础上，引入了Transformer的多头注意力机制，利用U-net提取特征的能力以及transformer的多头注意力机制对上下文信息的关注，得到更多的有用信息，以此得到更好的分割图像。
本方法结合超声图像的特点，在网络浅层特征提取区域引入了大卷积核尺寸的卷积操作，包括卷积核为3,5,7的卷积核来平行处理各层出的特征信息，在网络深层特征提取区域因引入了小尺度的卷积核来提取特征，增强了对结节细节的分割能力。
在损失函数方面，本方法引入多种不同的损失函数来增强对分割结果进行评估，计算分割精度，这些损失函数包括：交叉熵损失函数、 MS-SSIM loss、FocalTversky_loss、dice loss等，利用不同损失函数对训练的不同约束作用以及对分割标注的不同关注重点，来增强模型的分割评判，以此得到更为精确的分割结果。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种用于甲状腺结节的超声二维图像的分割方法，其特征在于：包括如下步骤
步骤一：对超声二维图像进行图像增强手段；
步骤二：通过损失函数来增强分割结果并进行评估；
步骤三：输出分割后的超声二维图像。
2.根据权利要求1所述的一种用于甲状腺结节的超声二维图像的分割方法，其特征在于：所述对超声二维图像进行图像增强手段具体为将处理后的超声二维图像输入以U-net结构为基础的模型中，U-net结构包括n个下采样操作和n个上采样操作，分别用于提取各分辨率的特征信息，下采样操作由多个不同卷积核的卷积模块组成，每一个卷积模块由池化操作和卷积操作组成，池化操作采用的是最大池化操作，卷积操作分别采用对应尺寸的卷积核来处理输入图像并在后面添加了IN(实例归一化)操作和Relu(线性整流激活)操作，提取该分辨率的图像特征；上采样操作由多头自注意力机制模块和反卷积模块组成，多头自注意力机制模块用于增强模型对各不同区域及分辨率的信息关注程度，反卷积模块由卷积核尺寸不同的卷积和双线性插值或转置卷积组成，在每一个卷积操作后，都进行IN(实例归一化)操作和Relu(线性整流激活)操作，提取更高分辨率特征。
3.根据权利要求1所述的一种用于甲状腺结节的超声二维图像的分割方法，其特征在于：所述上采样为4个，下采样为4个。
4.根据权利要求1所述的一种用于甲状腺结节的超声二维图像的分割方法，其特征在于：所述下采样操作由3个不同卷积核的卷积模块组成，卷积核尺寸分别为3、5、7。
5.根据权利要求1所述的一种用于甲状腺结节的超声二维图像的分割方法，其特征在于：所述反卷积模块的卷积的卷积核尺寸为1、3。
6.根据权利要求1所述的一种用于甲状腺结节的超声二维图像的分割方法，其特征在于：所述损失函数为交叉熵损失函数、MS-SSIM loss、FocalTversky_loss或者dice loss。
CN202210382048.8A 2022-04-12 2022-04-12 一种用于甲状腺结节的超声二维图像的分割方法 Pending CN114782471A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210382048.8A CN114782471A (zh) 2022-04-12 2022-04-12 一种用于甲状腺结节的超声二维图像的分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210382048.8A CN114782471A (zh) 2022-04-12 2022-04-12 一种用于甲状腺结节的超声二维图像的分割方法

Publications (1)

Publication Number Publication Date
CN114782471A true CN114782471A (zh) 2022-07-22

Family

ID=82429431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210382048.8A Pending CN114782471A (zh) 2022-04-12 2022-04-12 一种用于甲状腺结节的超声二维图像的分割方法

Country Status (1)

Country Link
CN (1) CN114782471A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012374A (zh) * 2023-03-15 2023-04-25 译企科技(成都)有限公司 一种三维pet-ct头颈部肿瘤分割系统及方法
CN116129117A (zh) * 2023-02-03 2023-05-16 中国人民解放军海军工程大学 基于多头注意力的声呐小目标半监督语义分割方法及系统
CN116152211A (zh) * 2023-02-28 2023-05-23 哈尔滨市科佳通用机电股份有限公司 一种闸瓦磨耗超限故障的识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129117A (zh) * 2023-02-03 2023-05-16 中国人民解放军海军工程大学 基于多头注意力的声呐小目标半监督语义分割方法及系统
CN116152211A (zh) * 2023-02-28 2023-05-23 哈尔滨市科佳通用机电股份有限公司 一种闸瓦磨耗超限故障的识别方法
CN116012374A (zh) * 2023-03-15 2023-04-25 译企科技(成都)有限公司 一种三维pet-ct头颈部肿瘤分割系统及方法

Similar Documents

Publication Publication Date Title
Azad et al. Attention deeplabv3+: Multi-level context attention mechanism for skin lesion segmentation
CN109523521B (zh) 基于多切片ct图像的肺结节分类和病灶定位方法和系统
CN111145170B (zh) 一种基于深度学习的医学影像分割方法
Li et al. Dual convolutional neural networks for breast mass segmentation and diagnosis in mammography
CN114782471A (zh) 一种用于甲状腺结节的超声二维图像的分割方法
CN111951288B (zh) 一种基于深度学习的皮肤癌病变分割方法
Oyelade et al. A state-of-the-art survey on deep learning methods for detection of architectural distortion from digital mammography
CN110188792A (zh) 前列腺mri三维图像的图像特征获取方法
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
CN110895815A (zh) 一种基于深度学习的胸部x线气胸分割方法
CN117078930A (zh) 基于边界感知和注意力机制的医学图像分割方法
Ning et al. Multi-scale gradational-order fusion framework for breast lesions classification using ultrasound images
CN114399510B (zh) 结合图像和临床元数据的皮肤病灶分割和分类方法及系统
Xu et al. Multi-scale attention-guided network for mammograms classification
Dar et al. Efficientu-net: a novel deep learning method for breast tumor segmentation and classification in ultrasound images
Zhang et al. 3d cross-scale feature transformer network for brain mr image super-resolution
CN113487560A (zh) 一种基于空间特征注意力机制的脑肿瘤分割方法及装置
Rashid et al. Single MR image super-resolution using generative adversarial network
CN111583192A (zh) Mri图像与深度学习乳腺癌图像处理方法及早筛系统
Vu et al. Micro and macro breast histology image analysis by partial network re-use
Hassan et al. A deep learning model for mammography mass detection using mosaic and reconstructed multichannel images
CN113379691A (zh) 一种基于先验引导的乳腺病灶深度学习分割方法
Khaledyan et al. WATUNet: a deep neural network for segmentation of volumetric sweep imaging ultrasound
Ma et al. Segmentation of prostate peripheral zone based on multi-scale features enhancement
Zhang et al. Boundary-oriented network for automatic breast tumor segmentation in ultrasound images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination