CN113421240B - 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置 - Google Patents

一种基于超声自动乳腺全容积成像的乳腺分类方法及装置 Download PDF

Info

Publication number
CN113421240B
CN113421240B CN202110698799.6A CN202110698799A CN113421240B CN 113421240 B CN113421240 B CN 113421240B CN 202110698799 A CN202110698799 A CN 202110698799A CN 113421240 B CN113421240 B CN 113421240B
Authority
CN
China
Prior art keywords
breast
image
dimensional
classification
mammary gland
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110698799.6A
Other languages
English (en)
Other versions
CN113421240A (zh
Inventor
雷柏英
柳懿垚
杨意
姜伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202110698799.6A priority Critical patent/CN113421240B/zh
Publication of CN113421240A publication Critical patent/CN113421240A/zh
Application granted granted Critical
Publication of CN113421240B publication Critical patent/CN113421240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种基于超声自动乳腺全容积成像的乳腺分类方法及装置,方法包括步骤:通过超声自动乳腺全容积成像获取三维乳腺图像;基于所述三维乳腺图像构建并训练得到乳腺分类预测网络,所述乳腺分类预测网络包括VNet主干网络模块以及多尺度融合注意力模块;将待分类三维乳腺图像输入到所述乳腺分类预测网络中,输出乳腺分类预测结果。本发明利用编码‑解码器网络实现乳腺肿瘤区域的分割,精准提取肿瘤的位置和边界区域;在编码器逐层深入地提取图像特征的同时,使用自适应平均池化操作获取每层提取到的特征,利用该特征进行乳腺肿瘤的良恶性分类。

Description

一种基于超声自动乳腺全容积成像的乳腺分类方法及装置
技术领域
本发明涉及深度学习算法应用领域,特别涉及一种基于超声自动乳腺全容积成像的乳腺分类方法及装置。
背景技术
2015年世界卫生组织的报告显示,乳腺癌的发病率已经位居所有癌症的第二位。对于女性,乳腺癌是诊断中最常见且死亡人数最好的癌症。因此,乳腺癌的早期精准诊断有着重要的临床意义。作为一种新型的检测可以的乳腺肿瘤的方法,超声自动乳腺全容积成像(automated breast volume scanner,ABVS)可以为超声医生输出整个乳房的3D立体图像,但是3D图像的巨大数据量和超声图像中的噪音问题会耗费临床医生大量的阅片时间。
目前,大量的研究人员正在探索并寻找在ABVS图像中对乳腺肿瘤的检测、分割与分类等任务,但是会由于乳腺肿瘤在ABVS图像中的位置、体积差异巨大,给普通的深度学习方法产生了一定的困难,导致无法对ABVS图像中的乳腺肿瘤进行识别以及精准分类。
因此,现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于,针对现有技术的不足,提供一种基于超声自动乳腺全容积成像的乳腺分类方法及装置,旨在解决现有无法无法对ABVS图像中的乳腺肿瘤进行识别以及精准分类的问题。
为了解决上述技术问题,本发明所采用的技术方案如下:
一种基于超声自动乳腺全容积成像的乳腺分类方法,其中,包括步骤:
通过超声自动乳腺全容积成像获取三维乳腺图像;
基于所述三维乳腺图像构建并训练得到乳腺分类预测网络,所述乳腺分类预测网络包括VNet主干网络模块以及多尺度融合注意力模块;
将待分类三维乳腺图像输入到所述乳腺分类预测网络中,输出乳腺分类预测结果。
所述基于超声自动乳腺全容积成像的乳腺分类方法,其中,还包括步骤:对所述三维乳腺图像进行体积修正处理。
所述基于超声自动乳腺全容积成像的乳腺分类方法,其中,对所述三维乳腺图像进行体积修正处理的步骤包括:
预先将三维乳腺图像裁剪为64×256×256的尺寸大小,得到裁剪图像;
对所述裁剪图像进行肿瘤粗分割,得到粗分割图像;
计算所述粗分割图像中肿瘤与整个图像的体积比;
若所述体积比小于预设阈值,则生成最大连接域和基于所述最大连接域的多维数据集边界;
根据所述多维数据集边界对所述三维乳腺图像进行重新裁剪,得到重新裁剪图像。
所述基于超声自动乳腺全容积成像的乳腺分类方法,其中,所述VNet主干网络模块包括编码器块和解码器块,所述编码器块包括若干个3D卷积层、批处理规范化归一化层和ReLU层;所述解码器块包括自适应上采样层和连接层。
所述基于超声自动乳腺全容积成像的乳腺分类方法,其中,所述多尺度融合注意力模块包括两个分支,其中一个分支用于将来自解码器块不同阶段的每个特征连接起来,生成多尺度特征;另一个分支用于获取相应的编码器块和解码器块特征的逐元素求和,以导出本地注意图。
所述基于超声自动乳腺全容积成像的乳腺分类方法,其中,所述多尺度融合注意力模块将注意力引导特征的形成过程描述为一下公式:
Figure BDA0003128917890000021
Figure BDA0003128917890000022
其中,
Figure BDA0003128917890000023
表示关注引导的特征,
Figure BDA0003128917890000024
表示该特征来自每个标度,
Figure BDA0003128917890000025
表示该特征来自解码器块,
Figure BDA0003128917890000026
表示按元素求和,
Figure BDA0003128917890000027
表示连接运算,×表示按元素相乘,σ表示Sigmoid激活函数。
所述基于超声自动乳腺全容积成像的乳腺分类方法,其中,所述三维乳腺图像包括已标记三维乳腺图像和未标记三维乳腺图像,基于所述三维乳腺图像构建并训练得到乳腺分类预测网络的步骤包括:
将已标记三维乳腺图像表示为Sl{xi,segi,clsi},将未标记三维乳腺图像表示为Su{xi,_,clsi},Su{xi,Segi,_}和Su{xi,_,_},分别表示仅具有分类标签的三维乳腺图像,仅具有分段标签的三维乳腺图像和具有分类标签和分段标签的三维乳腺图像;
对所述未标记三维乳腺图像进行扩充处理,得到扩充的未标记三维乳腺图像;
在训练过程中,将所述扩充的未标记三维乳腺图像进行正向传播,以获得伪分割标签为seg′i,伪分类标签为cls′i
将未标记三维乳腺图像输入到乳腺分类预测网络中以生成预测的分割Pseg和预测的分类Pcls,并计算损失函数。
一种存储介质,其中,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现本发明任意一项基于超声自动乳腺全容积成像的乳腺分类方法中的步骤。
一种基于超声自动乳腺全容积成像的乳腺分类装置,其特征在于,包括处理器,适于实现各指令;以及存储介质,适于存储多条指令,所述指令适于由处理器加载并执行本发明任意一项基于超声自动乳腺全容积成像的乳腺分类方法中的步骤。
有益效果:本发明提供了一种基于超声自动乳腺全容积成像的乳腺分类方法,采用一种适于体素图像分割的VNet网络作为本方法的主干网络用于提取图像的特征,并且恢复重建分割图像;同时,为了能够提升网络的分割分类性能,提出一种新型的多尺度融合注意力机制,使网络更加专注地捕获肿瘤区域的特征信息,减少背景区域对分割和分类的影响,从而实现对ABVS图像中的乳腺肿瘤的精准识别以及精准分类。
附图说明
图1为本发明一种基于超声自动乳腺全容积成像的乳腺分类方法较佳实施例的流程图。
图2为本发明对所述三维乳腺图像进行体积修正处理的示意图。
图3为本发明半监督机制整合到网络训练过程的流程图。
图4为本发明多尺度注意力引导的基于VNet的分割分类多任务网络结构组成图。
图5为本发明多尺度注意力机制的结构框图。
图6为本发明ABVS数据图像切片展示和分割标签对照图。
图7为本发明一种基于超声自动乳腺全容积成像的乳腺分类装置的原理框图。
具体实施方式
本发明提供一种基于超声自动乳腺全容积成像的乳腺分类方法及装置,为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
下面结合附图,通过对实施例的描述,对发明内容作进一步说明。
本发明提供了一种基于超声自动乳腺全容积成像的乳腺分类方法,如图1所示,其包括步骤:
S10、通过超声自动乳腺全容积成像获取三维乳腺图像;
S20、基于所述三维乳腺图像构建并训练得到乳腺分类预测网络,所述乳腺分类预测网络包括VNet主干网络模块以及多尺度融合注意力模块;
S30、将待分类三维乳腺图像输入到所述乳腺分类预测网络中,输出乳腺分类预测结果。
本实施例采用一种适于体素图像分割的VNet网络作为本方法的主干网络用于提取图像的特征,并且恢复重建分割图像;同时,为了能够提升网络的分割分类性能,提出一种新型的多尺度融合注意力机制,使网络更加专注地捕获肿瘤区域的特征信息,减少背景区域对分割和分类的影响,从而实现对ABVS图像中的乳腺肿瘤的精准识别以及精准分类。
在一些实施方式中,由于通过超声自动乳腺全容积成像(ABVS)获取的三维乳腺图像中,乳腺肿瘤的位置和体积大小差异巨大,其中肿瘤体积范围在1.51×102到1.18×106mm3之间,当输入三维乳腺图像的切片大小固定时,造成小体积肿瘤的图像中包含大量的背景信息,严重影响到乳腺肿瘤的分割与分类的效果。基于此,本实施例在将所述三维乳腺图像用于构建并训练乳腺分类预测网络之前,预先对所述三维乳腺图像进行体积修正处理,将图像中的大量背景区域剔除,从而可提升小肿瘤的分割分类性能。
在一些具体的实施方式中,由于图形处理单元GPU内存的限制,本实施例将原始的三维乳腺图像裁剪为相同的64×256×256的尺寸大小,得到裁剪图像,但是,将相同大小的裁剪图像放入网络训练中会降低分割和分类的准确性,因为相同大小的裁剪图像只能包含有限的纹理和小肿瘤的边缘信息,但却包含大量无用的背景。为了解决这个问题,本实施例提出了一个新颖的两阶段模型和一个体积细化模块(VRB),如图2所示,在阶段1中,对所述裁剪图像进行肿瘤粗分割,得到粗分割图像。然后将粗分割和预裁剪的图像同时放入VRB中以进行体积细化。在VRB中,首先,计算所述粗分割图像中肿瘤与整个图像的体积比,若所述体积比小于预设阈值,则生成最大连接域和基于所述最大连接域的多维数据集边界,根据所述多维数据集边界对所述三维乳腺图像进行重新裁剪,得到重新裁剪图像。并将重新裁剪图像放入阶段2进行精细的细分和分类。该操作的结果是减少了不相关的背景信息并提高了模型的性能。
作为举例,所述预设阈值为0.3,若所述粗分割图像中肿瘤与整个图像的体积比大于0.3,则继续对所述粗分割图像进行体积细化,直至粗分割图像中肿瘤与整个图像的体积比小于0.3,则生成最大连接域和基于所述最大连接域的多维数据集边界。
在一些实施方式中,由于读取医学临床图像花费大量时间并且缺乏临床医生,因此医学数据缺少确切的标签信息。特别是在本申请的研究中,由于ABVS图像的巨大尺寸和低质量,图像分析变得非常困难且耗时。本实施例获取的所述三维乳腺图像包括已标记三维乳腺图像和未标记三维乳腺图像,除了可充分利用未标记三维乳腺图像,半监督学习还可以提高模型的泛化能力。基于上述优势,本实施例将一种新型的半监督机制整合到网络训练过程中,如图3所示。本实施例将已标记三维乳腺图像表示为Sl{xi,segi,clsi},将未标记三维乳腺图像表示为Su{xi,_,clsi},Su{xi,segi,_}和Su{xi,_,_},分别表示仅具有分类标签的三维乳腺图像,仅具有分段标签的三维乳腺图像和具有分类标签和分段标签的三维乳腺图像;通过不同的方法对三种不同类型的未标记三维乳腺图像进行扩充处理,得到扩充的未标记三维乳腺图像,作为举例,在旋转Su{xi,segi,_}的同时,将Su{xi,_,clsi}和Su{xi,_,_}添加高斯噪声;在训练过程中,将所述扩充的未标记三维乳腺图像进行正向传播,以获得伪分割标签为seg′i,伪分类标签为cls′i;将未标记三维乳腺图像输入到乳腺分类预测网络中以生成预测的分割Pseg和预测的分类Pcls,并计算损失函数。具体来讲,可通过预测标签与真实标签以及伪标签相结合来计算损失:
Figure BDA0003128917890000051
在一些实施方式中,由于输入的三维乳腺图像是3D的体素数据,所以本实施例采用了一种适于体素图像分割的VNet网络作为本方法的主干网络用于提取图像的特征,并且恢复重建分割图像。如图4所示,所述VNet主干网络模块包括编码器块和解码器块,所述编码器块包括若干个3D卷积层、批处理规范化归一化层和ReLU层;所述解码器块包括自适应上采样层和连接层。在本实施例中,每个编码器块最多应用两个特征提取器,这些特征提取器体现了几个3D卷积层,批处理规范化归一化层和ReLU层;此外,每个解码器块拥有一个自适应的上采样层,以满足Stage2中不同的输入大小,并另外具有一个附加的连接层。为了对良性和恶性肿瘤进行分类,我们部署了四个3D自适应平均池化层(1×1×1)进行通道特征提取,然后应用两个完全连接的层进行特征和分类映射。除了这两个主要任务之外,本实施例还设计了一个辅助任务来限制特征提取,通过设计一个特征复原的辅助任务,在网络完成复原的辅助任务时,可以在此过程中,学习到更多肿瘤区域的细节信息,从而达到提升网络性能的目的。
在一些实施方式中,浅层的特征图包含肿瘤的细节纹理和边缘信息,而深层的特征图则捕获高级语义信息。为了能够提升网络的分割分类性能,本实施例提出了一种新型的多尺度融合注意力机制,使网络更加专注地捕获肿瘤区域的特征信息,从而减少背景区域对分割和分类的影响。如图4和图5所示,所述多尺度融合注意力模块包括两个分支,其中一个分支用于将来自解码器块不同阶段的每个特征连接起来,生成多尺度特征(通过1×1×1卷积层,组归一化和ReLU层);另一个分支(通过1×1×1卷积)获取相应的编码器块和解码器块特征的逐元素求和,以导出本地注意图(通过S形激活层)。接下来,该模块将多特征和局部注意力图结合起来以合成多局部注意图。最终,通过逐元素乘以解码器的注意力图和局部特征,我们可以获得注意力引导的特征。可以将注意力引导特征的形成过程描述为以下公式:
Figure BDA0003128917890000061
其中,
Figure BDA0003128917890000062
表示关注引导的特征,
Figure BDA0003128917890000063
表示该特征来自每个标度,
Figure BDA0003128917890000064
表示该特征来自解码器块,
Figure BDA0003128917890000065
表示按元素求和,
Figure BDA0003128917890000066
表示连接运算,×表示按元素相乘,σ表示Sigmoid激活函数。在骨干网中,我们将注意力引导功能用作残差连接,以与解码器功能连接。
在一些实施方式中,提出一种新颖的多任务学习损失,可以有效地产生更好的预测结果。作用机理如下,在生成分割网络的同时将关注肿瘤的边缘和内部特征,这些特征促进了分类性能。另外,另一辅助重建任务对于特征提取过程是有效的。
具体来讲,通过将分段,分类任务和辅助特征重建任务相关联来设计一个综合损失函数。在分段任务中,涉及两种损失函数,二则交叉熵损失(BCELoss)和Dice损失,它们定义为:
Figure BDA0003128917890000067
Figure BDA0003128917890000068
,其中,
Figure BDA0003128917890000069
是二则交叉熵损失,
Figure BDA00031289178900000610
是预测值,y表示分类金标准。Dice损失用
Figure BDA00031289178900000611
表示,
Figure BDA00031289178900000612
表示预测的分割区域,并且Yi是由临床医生标记的真实肿瘤区域。
在分类任务中,为了解决类别不平衡的问题,将Focal Loss应用于我们网络的分类分支中,它被定义为:
Figure BDA00031289178900000613
,其中,yi表示预测的标签,pi表示预测值的可能性,n表示全部的样本总数,α则是为了减小大数量的类型的样本对于损失函数的影响程度,并且γ在这里经验性地被设置成2。
为了对特征提取做出一定限制,同时减少在提取特征时产生的信息丢失,我们将第二范式距离损失用于重建的特征和原始特征之间,如下公式所示:
Figure BDA00031289178900000614
其中
Figure BDA00031289178900000615
表示重建任务的损失函数,Frecon代表重建特征,Fori而代表原始特征。
最终的混合损失函数被表达为如下形式:
Figure BDA00031289178900000616
其中λ123和λ4分别被经验性地设置为0.3,1.0,4.0和0.2。
本发明提供的方法包含两个主要任务:(1)分割任务:利用编码-解码器网络实现乳腺肿瘤区域的分割,精准提取肿瘤的位置和边界区域。(2)分类任务:在编码器逐层深入地提取图像特征的同时,使用自适应平均池化操作获取每层提取到的特征,利用该特征进行乳腺肿瘤的良恶性分类。
下面通过具体实施例对本发明一种基于超声自动乳腺全容积成像的乳腺分类方法做进一步的解释说明:
1、实验数据获取:
使用的是深圳市南山区人民医院的ABVS自动乳腺全容积超声图像,实验的目的是分割出三维ABVS中的可疑乳腺肿瘤,并对肿瘤的良恶性进行判别。数据集总共包含103幅带有医生的分割、分类金标准的乳腺全容积影像,其中良性病例有69例,恶性病例34例,图像切片展示和分割标签如图6所示。我们的数据集仅包含103幅可用的图像,数据样本少且图像尺寸十分巨大,无法直接放入我们的模型中训练,因此,我们对原始数据进行了预处理:随机裁剪、叠加高斯噪声、翻转、旋转和明度变化。
2、实验环境:
实验通过5倍交叉验证进行。本实施例使用PyTorch框架在具有24GB内存的单个TITAN RTX GPU上训练模型。在训练过程中,初始学习率设置为10-4,并利用具有0.85衰减系数的学习率衰减机制。我们为实验设置了200个批次,在每个批次中,批处理大小均设置为1,以适应阶段2中不同的输入大小和GPU内存的限制。
3、方法评价指标:
实验分为分割和分类两个子任务,因此有两类不同的评价指标分别对两个任务的性能进行评判。
分割任务的指标都是基于像素点进行计算的,采用了Dice系数(dice)、Jaccard相似系数(JI)、Hausdorff距离(HD_95)指标进行评判。其计算方法如下所示:
Figure BDA0003128917890000071
Figure BDA0003128917890000072
Figure BDA0003128917890000073
分类任务的评价指标则是基于单个肿瘤的统计计算,采用了准确度(Accuracy)、敏感度(Sensitivity)、精确度(Precision)、F1评分(F1-score)和曲线下面积(AUC)。其计算方法如下:
Figure BDA0003128917890000074
Figure BDA0003128917890000075
Figure BDA0003128917890000081
Figure BDA0003128917890000082
上式中TP(true positive)、TN(true negative)、FP(false positive)和FN(false negative)分别为真阳性、真阴性、假阳性和假阴性的样本个数。
在一些实施方式中,还提供一种存储介质,其中,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现本发明基于超声自动乳腺全容积成像的乳腺分类方法中的步骤。
在一些实施方式中,还提供一种基于超声自动乳腺全容积成像的乳腺分类装置,如图7所示,其包括至少一个处理器(processor)20;显示屏21;以及存储器(memory)22,还可以包括通信接口(Communications Interface)23和总线24。其中,处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令,以执行上述实施例中的方法。
此外,上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质,可设置为存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块,从而执行功能应用以及数据处理,即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器。例如,U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、磁碟或者光盘等多种可以存储程序代码的介质,也可以是暂态存储介质。
此外,上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明,在这里就不再一一陈述。
包括处理器,适于实现各指令;以及存储介质,适于存储多条指令,所述指令适于由处理器加载并执行本发明所述基于超声自动乳腺全容积成像的乳腺分类方法中的步骤。
其中,包括处理器,适于实现各指令;以及存储介质,适于存储多条指令,所述指令适于由处理器加载并执行本发明所述基于超声自动乳腺全容积成像的乳腺分类方法中的步骤。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种基于超声自动乳腺全容积成像的乳腺分类方法,其特征在于,包括步骤:
通过超声自动乳腺全容积成像获取三维乳腺图像;
基于所述三维乳腺图像构建并训练得到乳腺分类预测网络,所述乳腺分类预测网络包括VNet主干网络模块以及多尺度融合注意力模块,所述多尺度融合注意力模块将注意力引导特征的形成过程描述为以下公式:
Figure FDA0004031572640000011
其中,
Figure FDA0004031572640000012
表示关注引导的特征,
Figure FDA0004031572640000013
表示该特征来自每个标度,
Figure FDA0004031572640000014
表示该特征来自解码器块,
Figure FDA0004031572640000015
表示按元素求和,
Figure FDA0004031572640000016
表示连接运算,×表示按元素相乘,σ表示Sigmoid激活函数;
将待分类三维乳腺图像输入到所述乳腺分类预测网络中,输出乳腺分类预测结果;
所述三维乳腺图像包括已标记三维乳腺图像和未标记三维乳腺图像,基于所述三维乳腺图像构建并训练得到乳腺分类预测网络的步骤包括:将已标记三维乳腺图像表示为Sl{xi,segi,clsi},将未标记三维乳腺图像表示为Su{xi,_,clsi},Su{xi,segi,_}和Su{xi,_,_},分别表示仅具有分类标签的三维乳腺图像,仅具有分割标签的三维乳腺图像和既无分类标签也无分割标签的三维乳腺图像;
对所述未标记三维乳腺图像进行扩充处理,得到扩充的未标记三维乳腺图像;
在训练过程中,将所述扩充的未标记三维乳腺图像进行正向传播,以获得伪分割标签为segi′,伪分类标签为clsi′;
将未标记三维乳腺图像输入到乳腺分类预测网络中以生成预测的分割Pseg和预测的分类Pcls,并计算损失函数;
所述基于超声自动乳腺全容积成像的乳腺分类方法还包括对所述三维乳腺图像进行体积修正处理;
对所述三维乳腺图像进行体积修正处理的步骤包括:
预先将三维乳腺图像裁剪为64×256×256的尺寸大小,得到裁剪图像;
对所述裁剪图像进行肿瘤粗分割,得到粗分割图像;
计算所述粗分割图像中肿瘤与整个图像的体积比;
若所述体积比小于预设阈值,则生成最大连接域和基于所述最大连接域的多维数据集边界;
根据所述多维数据集边界对所述三维乳腺图像进行重新裁剪,得到重新裁剪图像;
所述多尺度融合注意力模块包括两个分支,其中一个分支用于将来自解码器块不同阶段的每个特征连接起来,生成多尺度特征;另一个分支用于获取相应的编码器块和解码器块特征的逐元素求和,以导出本地注意图;
所述多尺度融合注意力模块将多特征和局部注意力图结合起来以合成多局部注意图,通过逐元素乘以解码器的注意力图和局部特征,获得注意力引导的特征。
2.根据权利要求1所述基于超声自动乳腺全容积成像的乳腺分类方法,其特征在于,所述VNet主干网络模块包括编码器块和解码器块,所述编码器块包括若干个3D卷积层、批处理规范化归一化层和ReLU层;所述解码器块包括自适应上采样层和连接层。
3.一种存储介质,其特征在于,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1或2任意一项所述基于超声自动乳腺全容积成像的乳腺分类方法中的步骤。
4.一种基于超声自动乳腺全容积成像的乳腺分类装置,其特征在于,包括处理器,适于实现各指令;以及存储介质,适于存储多条指令,所述指令适于由处理器加载并执行权利要求1或2任意一项基于超声自动乳腺全容积成像的乳腺分类方法中的步骤。
CN202110698799.6A 2021-06-23 2021-06-23 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置 Active CN113421240B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110698799.6A CN113421240B (zh) 2021-06-23 2021-06-23 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110698799.6A CN113421240B (zh) 2021-06-23 2021-06-23 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置

Publications (2)

Publication Number Publication Date
CN113421240A CN113421240A (zh) 2021-09-21
CN113421240B true CN113421240B (zh) 2023-04-07

Family

ID=77716419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110698799.6A Active CN113421240B (zh) 2021-06-23 2021-06-23 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置

Country Status (1)

Country Link
CN (1) CN113421240B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115861717B (zh) * 2023-02-21 2023-05-23 华中科技大学协和深圳医院 乳腺肿瘤良恶性分类模型方法、系统、终端及存储介质
CN116168276B (zh) * 2023-02-27 2023-10-31 脉得智能科技(无锡)有限公司 一种基于多模态特征融合的乳腺结节分类方法、设备及存储介质
CN116416381B (zh) * 2023-03-31 2023-09-29 脉得智能科技(无锡)有限公司 基于乳腺超声图像的乳腺结节三维重建方法、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748900A (zh) * 2017-11-08 2018-03-02 山东财经大学 基于区分性卷积神经网络的乳腺肿瘤分类方法和装置
CN112668624A (zh) * 2020-12-21 2021-04-16 苏州二向箔科技有限公司 一种基于注意力神经网络的乳房超声图像肿瘤分类方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200232B (zh) * 2014-09-02 2017-05-17 西安电子科技大学 基于滑动窗融合的两次稀疏表示的图像处理方法
CN109671060B (zh) * 2018-12-06 2021-12-17 西安电子科技大学 基于选择性搜索和cnn的计算机辅助乳腺肿块检测方法
CN112785598B (zh) * 2020-11-05 2022-05-13 南京天智信科技有限公司 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法
CN112883992A (zh) * 2020-12-11 2021-06-01 太原理工大学 基于注意力的ResNet模型的乳腺癌肿块的分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748900A (zh) * 2017-11-08 2018-03-02 山东财经大学 基于区分性卷积神经网络的乳腺肿瘤分类方法和装置
CN112668624A (zh) * 2020-12-21 2021-04-16 苏州二向箔科技有限公司 一种基于注意力神经网络的乳房超声图像肿瘤分类方法

Also Published As

Publication number Publication date
CN113421240A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
JP7143008B2 (ja) 深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム
CN113421240B (zh) 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置
CN109447065B (zh) 一种乳腺影像识别的方法及装置
CN109363698B (zh) 一种乳腺影像征象识别的方法及装置
Celik et al. A novel method for sidescan sonar image segmentation
CN113808146B (zh) 一种医学图像多器官分割方法及系统
CN110309860A (zh) 基于卷积神经网络对肺结节的恶性程度进行分类的方法
CN109363697B (zh) 一种乳腺影像病灶识别的方法及装置
Akkasaligar et al. Classification of medical ultrasound images of kidney
US11935213B2 (en) Laparoscopic image smoke removal method based on generative adversarial network
CN114758137B (zh) 超声图像分割方法、装置及计算机可读存储介质
Tsivgoulis et al. An improved SqueezeNet model for the diagnosis of lung cancer in CT scans
Wang et al. Whole mammographic mass segmentation using attention mechanism and multiscale pooling adversarial network
Nie et al. Recent advances in diagnosis of skin lesions using dermoscopic images based on deep learning
Hossain et al. Automated breast tumor ultrasound image segmentation with hybrid UNet and classification using fine-tuned CNN model
CN113764101A (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
Koyun et al. Adversarial nuclei segmentation on H&E stained histopathology images
EP3381010B1 (en) Process for processing medical images of a face for recognition of facial dysmorphisms
CN112801992A (zh) 基于3d残差网络的肺结节图像分类方法
Rao et al. Weight pruning-UNet: Weight pruning UNet with depth-wise separable convolutions for semantic segmentation of kidney tumors
Anas et al. Advancing Breast Cancer Detection: Enhancing YOLOv5 Network for Accurate Classification in Mammogram Images
CN113327221A (zh) 融合roi区域的图像合成方法、装置、电子设备及介质
Radhi et al. An automatic segmentation of breast ultrasound images using U-Net model
CN112819801A (zh) 一种改进U-Net的肺结节分割方法
Yifeng et al. Semantic segmentation with densenets for breast tumor detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant