CN109410167A - 一种3d乳腺图像的分析方法及相关产品 - Google Patents

一种3d乳腺图像的分析方法及相关产品 Download PDF

Info

Publication number
CN109410167A
CN109410167A CN201811009104.3A CN201811009104A CN109410167A CN 109410167 A CN109410167 A CN 109410167A CN 201811009104 A CN201811009104 A CN 201811009104A CN 109410167 A CN109410167 A CN 109410167A
Authority
CN
China
Prior art keywords
image
galactophore image
galactophore
threshold
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811009104.3A
Other languages
English (en)
Other versions
CN109410167B (zh
Inventor
倪东
王娜
王毅
汪天富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201811009104.3A priority Critical patent/CN109410167B/zh
Publication of CN109410167A publication Critical patent/CN109410167A/zh
Application granted granted Critical
Publication of CN109410167B publication Critical patent/CN109410167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本公开提供一种3D乳腺图像的分析方法及相关产品，所述方法包括如下步骤：获取训练的3D乳腺图像，将该训练的3D乳腺图像随机裁剪成设定尺寸的图像块，将该图像块经过数据增加后输入到3D U‑net神经网络中进行训练，训练完成后得到一个乳腺癌病灶自动检测的模型；获取待检测的3D乳腺图像，将该检测的3D乳腺图像按照滑动窗的形式裁剪成设定尺寸的图像块，将所述乳腺癌病灶自动检测的模型进行测试得到图像块测试结果，将该测试结果拼接成待检测的3D乳腺图像尺寸大小的3D乳腺图像检测结果。本申请提供的技术方案具有效率高以及成本低的优点。

Description

一种3D乳腺图像的分析方法及相关产品
技术领域
本发明涉及图像处理以及医疗技术领域，具体涉及一种3D乳腺图像的分析方法及相关产品。
背景技术
近年来，自动乳腺超声(Automatic Breast Ultrasound,ABUS)是乳腺癌检查的一种新设备，它可以自动扫描整个乳房的容积图像(即3D乳腺图像)，因扫描角度不同，一位患者的单侧乳房至少有3个3D乳腺图像，每个3D乳腺图像至少有1000帧。与传统2D超声相比，它具有以下优点：重复性好、操作者依赖性小、图像采集时间少等。但是，基于3D乳腺图像的人工筛查肿瘤是非常耗时的，且严重依赖专家经验、漏诊、误诊率偏高。所以现有的3D乳腺图像的效率低，成本高。
发明内容
本发明实施例提供了一种3D乳腺图像的分析方法及相关产品，可以提高效率，降低成本。
第一方面，本发明实施例提供一种3D乳腺图像的分析方法，所述方法包括如下步骤：
获取训练的3D乳腺图像，将该训练的3D乳腺图像随机裁剪成设定尺寸的图像块，将该图像块经过数据增加后输入到3D U-net神经网络中进行训练，训练完成后得到一个乳腺癌病灶自动检测的模型；
获取待检测的3D乳腺图像，将该检测的3D乳腺图像按照滑动窗的形式裁剪成设定尺寸的图像块，将所述乳腺癌病灶自动检测的模型进行测试得到图像块测试结果，将该测试结果凭接成待检测的3D乳腺图像尺寸大小的3D乳腺图像检测结果。
可选的，所述3D U-net神经网络中包括阈值映射层，通过与设计的阈值损失函数优化阈值映射层，得到体素级的阈值图完成自适应地区分肿瘤与背景；
所述阈值损失函数为：
其中，
3D乳腺图像检测中总的损失函数为：
Ltotal＝Ldds+θT*Lthreshold
其中θT表示Threshold Loss的系数。
可选的，所述3D U-net神经网络还包括密集深监督池，所述密集深监督池包括：交叉熵损失函数和重叠损失函数。
可选的，所述方法还包括：
利用训练好的C3D模型初始化所述3D U-net神经网络的参数。
第二方面，提供一种3D乳腺图像的分析系统，所述系统包括：
训练单元，用于获取训练的3D乳腺图像，将该训练的3D乳腺图像随机裁剪成设定尺寸的图像块，将该图像块经过数据增加后输入到3D U-net神经网络中进行训练，训练完成后得到一个乳腺癌病灶自动检测的模型；
检测单元，用于获取待检测的3D乳腺图像，将该检测的3D乳腺图像按照滑动窗的形式裁剪成设定尺寸的图像块，将所述乳腺癌病灶自动检测的模型进行测试得到图像块测试结果，将该测试结果凭接成待检测的3D乳腺图像尺寸大小的3D乳腺图像检测结果。
可选的，所述3D U-net神经网络中包括阈值映射层，通过与设计的阈值损失函数优化阈值映射层，得到体素级的阈值图完成自适应地区分肿瘤与背景；
所述阈值损失函数为：
其中，
3D乳腺图像检测中总的损失函数为：
Ltotal＝Ldds+θT*Lthreshold
其中θT表示Threshold Loss的系数。
可选的，所述3D U-net神经网络还包括密集深监督池，所述密集深监督池包括：交叉熵损失函数和重叠损失函数。
可选的，所述训练单元，还用于利用训练好的C3D模型初始化所述3D U-net神经网络的参数。
第三方面，提供一种计算机可读存储介质，其存储用于电子数据交换的程序，其中，所述程序使得终端执行第一方面提供的方法。
实施本发明实施例，具有如下有益效果：
可以看出，本发明与现有技术相比，主要有以下优点：利用预训练好的C3D模型初始化本文的3D U-net网络参数，提高网络性能的同时防止过拟合；考虑到深度神经网络中梯度流的加强对提升网络性能的优越性，在U-net神经网络中添加多个辅助监督层，创新性设计密集深监督结构，对网络不同层提取信息进行监督，有效防止梯度消失，显著提高肿瘤检测的敏感性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是一种3D乳腺图像的分析方法的流程图。
图1b是一种3D乳腺图像的分析系统的结构图。
图1是ABUS横断面图像。
图2是本申请提供的3D U-net神经网络构架图。
图3是本申请提供的研究效果示意图。
图4是本申请提供的661个肿瘤区域的体积分布示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结果或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参阅图1a,图1a为本发明实施例提供一种3D乳腺图像的分析方法，所述方法包括如下步骤：
步骤S101、获取训练的3D乳腺图像，将该训练的3D乳腺图像随机裁剪成设定尺寸的图像块，将该图像块经过数据增加后输入到3D U-net神经网络中进行训练，训练完成后得到一个乳腺癌病灶自动检测的模型；
可选的，所述3D U-net神经网络中包括阈值映射层，通过与设计的阈值损失函数优化阈值映射层，得到体素级的阈值图完成自适应地区分肿瘤与背景；
所述阈值损失函数为：
其中，
3D乳腺图像检测中总的损失函数为：
Ltotal＝Ldds+θT*Lthreshold
其中θT表示Threshold Loss的系数。
可选的，所述3D U-net神经网络还包括密集深监督池，所述密集深监督池包括：交叉熵损失函数和重叠损失函数。
可选的，上述3D U-net神经网络的参数可以利用训练好的C3D模型初始化得到。
步骤S102、获取待检测的3D乳腺图像，将该检测的3D乳腺图像按照滑动窗的形式裁剪成设定尺寸的图像块，将所述乳腺癌病灶自动检测的模型进行测试得到图像块测试结果，将该测试结果凭接成待检测的3D乳腺图像尺寸大小的3D乳腺图像检测结果。
参阅图1b，提供一种3D乳腺图像的分析系统，所述系统包括：
训练单元201，用于获取训练的3D乳腺图像，将该训练的3D乳腺图像随机裁剪成设定尺寸的图像块，将该图像块经过数据增加后输入到3D U-net神经网络中进行训练，训练完成后得到一个乳腺癌病灶自动检测的模型；
检测单元202，用于获取待检测的3D乳腺图像，将该检测的3D乳腺图像按照滑动窗的形式裁剪成设定尺寸的图像块，将所述乳腺癌病灶自动检测的模型进行测试得到图像块测试结果，将该测试结果凭接成待检测的3D乳腺图像尺寸大小的3D乳腺图像检测结果。
本申请提出了一种新的三维卷积神经网络用于乳腺癌的自动检测。本申请主要包括以下两个方面：(1)通过在卷积神经网络中添加阈值映射层(Threshold Map,TM)，并设计对应的约束函数——阈值损失函数(Threshold Loss)。该方法提供了体素级的自适应阈值，将3D乳腺癌图像中每个体素分类为肿瘤区或非肿瘤区，从而获得高的敏感性同时确保低的假阳率。(2)本申请提出了一种密集的深度监督机制，利用所有层的多尺度特征来显著提高乳腺癌检测的敏感性[8,9]。我们使用两个损失函数(即基于类平衡的交叉熵损失函数、重叠损失函数)来优化密集深监督层乳腺癌检测性能，具体地，采用类平衡交叉熵来解决正负样本不平衡的问题；利用重叠损失增强肿瘤与非肿瘤的置信度。
基于3D U-net用于乳腺癌病灶检测。方法详细步骤如下：(1)训练阶段：将281x73x290的3D乳腺图像随机裁剪成96x64x96的图像块，该图像块经过旋转、镜像等方式数据增强后输入到3D U-net神经网络中进行训练，训练完成后会得到一个乳腺癌病灶自动检测的模型。上述训练过程包括以下关键点：①采用预训练好的C3D模型初始化3D U-net的网络参数；②网络结构中创新性添加神经网络层——阈值映射层，并设计阈值损失函数优化阈值映射层，得到体素级的阈值图完成自适应地区分肿瘤与背景，实验结果表明该方法可显著降低假阳个数；③网络结构中设计密集深监督池，利用类平衡的交叉熵损失函数和重叠损失函数优化密集深监督层，显著提升肿瘤检测的敏感性。(2)测试阶段：将待检测的大小为281x73x290的乳腺癌容积图像按照滑动窗的形式裁剪成96x64x96的图像块，用训练阶段得到的模型进行测试，将得到的图像块测试结果拼接成281x73x290容积图像，即得到容积图像的病灶自动检测结果。
本申请提出基于3D U-net神经网络从3D乳腺图像中全自动检测乳腺癌的研究框架，如图2所示，原始图像大小为281x73x290，为解决三维计算量太大导致GPU内存爆掉的问题，将原始图像降采样为281x73x290，随机拆分成大小为96x64x96的有重叠的图像块，经数据增强后输入到神经网络，采用3D U-net的网络结构，利用预训练好的C3D模型初始化网络参数，并设计密集深监督池，利用类平衡的交叉熵损失函数和重叠损失函数优化密集深监督层，显著提升肿瘤检测的敏感性；同时利用阈值损失函数优化阈值映射层，有效降低假阳个数。测试阶段，将网络预测的图像块，组合成3D乳腺图像，得到最终的3D乳腺图像检测结果。本文的贡献主要包括以下几点：
(1)首次提出阈值映射层:为解决手动取的硬阈值无法自适应地区分肿瘤与背景、且不通用不可靠的问题，本文利用阈值损失函数训练优化阈值映射层，以端到端的方式自适应地获取肿瘤检测结果图，实验结果证明阈值映射层可显著降低假阳个数且更客观、准确、可靠、高效；
(2)针对研究问题设计合适的损失函数——基于类平衡的交叉熵损失函数、重叠损失函数：针对因3D乳腺图像中肿瘤区与背景区域所含像素数差异巨大而导致肿瘤检测中正负样本不平衡的问题，本文提出基于正负样本像素比例的类别平衡交叉熵损失函数；为拉开目标与背景之间的差异，即增强肿瘤区域置信度的同时降低背景区域置信度，设计重叠损失函数，实验证明该损失函数可显著提高肿瘤检出率；
(3)合理选用被充分证明对提高性能有效的两个模块：①迁移学习：利用预训练好的C3D模型初始化本文的3D U-net网络参数，提高网络性能的同时防止过拟合；②深监督层[3]：考虑到深度神经网络中梯度流的加强对提升网络性能的优越性，本文在U-net神经网络中添加多个辅助监督层，创新性设计密集深监督结构，对网络不同层提取信息进行监督，有效防止梯度消失，显著提高肿瘤检测的敏感性。
本研究的基础网络是3D Unet，并做了如下修改(图2):(a)采用预先训练好的C3D模型[12]初始化网络参数，以避免医学图像训练样本有限引起过拟合的问题；(b)设计密集深监督结构，加强肿瘤鉴别特征的学习，同时促进整个网络的梯度流动；(c)添加阈值映射层，为优化概率图提供体素级的自适应阈值，从而获得高敏感性的同时确保低的假阳率。特别地，该层能够自动地从乳腺特征图、标注信息和预测概率图等信息中学习得到自适应阈值图。(d)如图所示，每个卷积层后连接一个批标准化层(batch normalization layer，BN)和一个整流线性单元(rectified linear unit，ReLU)；且每个阶段3～7使用3个卷积层扩大感受野以获取更多的全局信息。
针对乳腺癌患者样本数目少、肿瘤大小差异大、三维容积图像数量大、三维卷积计算量大的问题，本文训练时以大小为96x64x96的立方体对281x73x290的3D乳腺图像进行采样，然后将得到的样本数据以-30°～30°随机旋转、镜像等方式进行实时数据增强，再输入到三维卷积神经网络(3D Unet)中,如图2所示，这样做的优势在于(1)增强数据以得到更鲁棒更通用的模型；(2)有效减少网络的数据计算量，减轻GPU压力；(2)一定程度上削弱3D乳腺图像中正负样本的不平衡性。蓝色代表的是编码部分，该部分使用C3D[4]网络权值进行初始化，有效避免过拟合；紫色表示解码部分，Stage 1和9、2和8、3和7、4和6采用跳跃连接利用编码层为解码层提供细节信息。此外，在网络结构上，创新性地设计了密集深监督——从stage1到stage9均输入到深监督池中，强化stage之间的梯度信息以防止梯度消失。本研究中神经网络中的卷积核大小均为3x3x3,每个三维卷积层后面都会连接批标准化层和线性激活函数,stage 3、4、5、6、7使用3个卷积层是为了增加网络感知域的大小，大感知域能够接收到特征图中更全局的信息；反卷积中卷积核大小为3x3x3,步长为2；激活函数为ReLu；学习率为1e-4，使用大学习率是由于网络中使用了批标准化层，它具有归一化特征图的作用，因此可以解决特征偏移的问题而不用担心大学习率导致网络发散的问题。3D Unet输出层的是没有经过激活函数的矩阵。
三维医学图像分割中，三维神经网络参数量大，难优化；训练样本不足容易过拟合，是面临的部分严峻挑战。考虑到深监督在提升网络性能方面的优势[3]，本文基于3DUnet网络添加密集监督层——stage1～stage9、以及它们通道的并联，如图2所示，这种结构有效解决了训练三维深度网络模型时梯度消失或梯度爆炸的问题，降低在有限训练数据上的过拟合风险，同时加快收敛速度，提升网络性能。用于监督乳腺癌检测的损失函数可以按照公式(1)计算。其中，X,Y为输入的图像和对应的标注,标准的网络层参数为W，T-1密集深监督层对应的权重记作w＝(w(1),w(2),…,w(T-1))，w(T)是阈值映射层的权重，θ＝(θ1,θ2,…,θT)表示密集深监督损失函数和阈值损失函数对应的系数，Lcbce表示基于类平衡的交叉熵损失函数，Lol表示重叠损失函数。
平衡交叉熵损失函数
在本文端到端的训练中，损失函数是对训练图像及其标签的全部像素进行计算，显然3D乳腺图像中90％以上的是非肿瘤区，致使肿瘤区与非肿瘤区对损失函数的贡献出现严重的偏倚问题。为解决该问题，本文提出基于类平衡的交叉熵损失函数(Class-balance Cross Entropy Loss,lcbce)。将一个基于正负样本像素比例的类别平衡权重α引入损失函数中，用于消除肿瘤与非肿瘤间的不平衡性，计算公式如下
其中，参数i是图像X的像素，α＝sum(Y_)/sum(Y),1-α＝sum(Y+)/sum(Y),Y_表示背景，Y+代表肿瘤区,Y是经过热编码(即one-hot编码)的标签。zi是第i类得分,共k类。
单纯的基于类别平衡的交叉熵损失函数提取的特征并不好，大多情况下特征的类内间距甚至要大于类间间距，我们期待的特征是不仅可分，而且要求差异大；因此，我们设计了一个新的损失函数——Overlap Loss。
其中Ps(yi,W,w(n))表示经过softmax函数后的特征图，该损失函数本质是计算肿瘤区与背景区的交集，设计的基本思想是让肿瘤区和正常区的重叠越小越好，最优的情况是与标签相同——有癌区与没癌区交集是0。训练中通过最小化重叠函数的方式驱动网络更好地捕获与乳腺癌相关的特征同时抑制不相关特征，即增大背景类和目标类的置信度。
阈值损失函数
虽然提出的密集深监督机制产生的概率图对肿瘤位置具有高敏感性，但它可能仍有一些高概率区域，实际对应的是正常组织。因此，对概率图的后处理对于获得更好的检测效果是至关重要的。然而，传统的方法往往不能同时达到高敏感性和低假阳率，例如，固定阈值对所选值很敏感、通用性差；分割网络最大评分方式往往产生较多的假阳；条件随机场因只利用了原图和网络预测概率图的信息，没有利用标签信息，直接执行该方法往往会抹掉低概率但实际为真肿瘤的区域，进而降低肿瘤检测敏感性。
为了解决上述问题，我们在网络结构中设计并训练了一个阈值映射层，自适应地优化概率图，以便更好地检测肿瘤。提出的阈值映射层同时利用灰度图像特征、标注信息和概率图等方面的所有信息，将体素分类为肿瘤或非肿瘤，从而达到高敏感性和低假阳之间的良好平衡。为了训练阈值映射层，我们设计了一个新的损失函数，即阈值损失，可以计算如下:
其中，
阈值损失函数的目的是学习一个体素级阈值图，它可以通过抑制非肿瘤区置信度并同时维持肿瘤区置信度，进一步应用于自适应地优化概率图。据文献调研所知，我们首次设计了一个阈值映射，实现自适应地优化概率图。大量实验结果证明了该方法的有效性。
综上所述，3D乳腺图像检测中总的损失函数为
Ltotal＝Ldds+θT*Lthreshold
其中θT表示Threshold Loss的系数。
数据说明：本文的实验数据是由GE公司生产的全自动乳腺超声U系统，且本项研究获得机构审查委员会知情同意的。为获取整个乳房数据，单侧乳房扫查三个容积图像，即前后位、外上象限、内下象限，因此每个患者至少扫查6个容积图像，每个容积图像横断面、矢状面和冠状面分辨率分别为0.511mm、0.082mm和0.200mm。本研究中，3D乳腺图像来自196名女性乳腺癌患者(年龄范围：30～75岁，平均49岁)的559个容积图像，其中包含661个经病理证明的肿瘤区域(肿瘤实际大小范围0.01～86.54cm3，平均为2.84cm3)，并采用四折交叉验证评估模型的检测性能，同时，也对119位健康人的3D乳腺图像进行测试。
实验细节：本文提出的网络模型是基于当前流行的深度学习框架——Keras/Tensorflow，为解决肿瘤样本数据有限、肿瘤区在三维容积数据中占比偏小、三维卷积计算量大等问题，实验中将大小281x73x290的3D乳腺图像随机拆分成互有重叠的大小为96x64x96图像块，并通过随机旋转、平移、镜像等方式对其进行数据增强后，输入到神经网络中；测试时采用滑动窗方式将3D乳腺图像拆分成互有重叠的大小为96x64x96图像块，并将预测图像块进一步合并成一个完整的容积图像作为最终的检测结果。该网络在8xNVIDIA Tesla GPU完成训练，优化方法是自适应矩估计(Adam)，学习率为1e-4，最大迭代次数是30000次。
表1不同方法的敏感性及平均每个容积图像的假阳数
检测性能评估：本文对我们提出的方法与当下流行的深度学习网络就检测性能做了充分的对比实验，包括SegNet[13],FCN[14],U-net[11]；为说明本研究提出的三个损失函数有效性，设计了不用损失函数的实验，包括①相似度损失函数(3D U-net+Dice-Loss,DL)、②交叉熵损失函数(3D U-net+Cross Entropy Loss,CE)、③基于类平衡的交叉熵损失函数(3D U-net+Class-balanced Cross Entropy Loss,CBCE)、④基于类平衡的交叉熵损失函数和重叠损失函数(3D U-net+Class-balanced Cross Entropy and Overlap loss,CBCE-OL)、以及⑤类平衡损失和重叠损失以及阈值损失函数三者联合作用(3D U-net+CBCE-OL Threshold Map loss,CBCE-OL-TM)。
图3形象地展示了网络的检测结果。如图中所示，在本文提出的密集深监督和阈值图的共同作用下，即使是微小肿瘤，我们的网络也能得到准确的肿瘤检测概率图。表1列出了不同方法的敏感性和相应的假阳数。有表可知，我们最终提出的网络框架能够获得93％敏感性，平均每个3D乳腺图像中有2.2假阳病灶。与SegNet和FCN相比，我们的网络显著提高了检测敏感性，同时控制假阳病灶在2左右。虽然U-net获得的假阳值小于1，但其敏感性小于80％。通过观察表1中不同损失函数的网络检测结果，设计的密集深监督和阈值映射图对提高检测性能做出了巨大贡献。具体地说，有CBCE-OL损失函数的密集深监督有助于选择性鉴别肿瘤特征，而阈值损失函数有助于在保持高敏感性的同时自适应地优化检测概率图进而降低假阳。此外，表1还记录了有肿瘤和正常人3D乳腺图像的假阳差异。我们网络的实验结果证明健康人的3D乳腺图像的假阳数比乳腺癌病人的略低。
图4进一步说明了661个肿瘤区域的体积分布，以及不同大小范围肿瘤相应的检测敏感性。可以看出，我们的方法对1cm3以下的肿瘤可以达到了85％以上的敏感性。当肿瘤体积大于5cm3对应的敏感性是100％。
本文提出了一种新型三维卷积网络用于实现乳腺癌的全自动检测。据我们所知，本文是第一篇采用深度学习技术来解决这个问题的研究。针对普通阈值方法通用性差的问题，我们首次设计并训练了一种新的阈值图，实现体素级的自适应阈值将容积图像中每个体素分类为肿瘤区或非肿瘤区，从而获得高灵敏度的同时确保低假阳。此外，设计密集的深度监督层充分利用各层多尺度特征，大大提高了敏感性。实验结果表明，我们的网络获得93％敏感性，平均每个3D乳腺图像有2.2假阳，即本文设计的针对3D乳腺图像的准确全自动的肿瘤检测方法能获得较好敏感性的同时确保较低的假阳。
发明实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种3D乳腺图像的分析方法的部分或全部步骤。
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种3D乳腺图像的分析方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种3D乳腺图像的分析方法，其特征在于，所述方法包括如下步骤：
获取训练的3D乳腺图像，将该训练的3D乳腺图像随机裁剪成设定尺寸的图像块，将该图像块经过数据增加后输入到3D U-net神经网络中进行训练，训练完成后得到一个乳腺癌病灶自动检测的模型；
获取待检测的3D乳腺图像，将该检测的3D乳腺图像按照滑动窗的形式裁剪成设定尺寸的图像块，将所述乳腺癌病灶自动检测的模型进行测试得到图像块测试结果，将该测试结果拼接成待检测的3D乳腺图像尺寸大小的3D乳腺图像检测结果。
2.根据权利要求1所述的方法，其特征在于，
所述3D U-net神经网络中包括阈值映射层，通过与设计的阈值损失函数优化阈值映射层，得到体素级的阈值图完成自适应地区分肿瘤与背景；
所述阈值损失函数为：
其中，
3D乳腺图像检测中总的损失函数为：
Ltotal＝Ldds+θT*Lthreshold
其中θT表示Threshold Loss的系数。
3.根据权利要求1所述的方法，其特征在于，
所述3D U-net神经网络还包括密集深监督池，所述密集深监督池包括：交叉熵损失函数和重叠损失函数。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用训练好的C3D模型初始化所述3D U-net神经网络的参数。
5.一种3D乳腺图像的分析系统，其特征在于，所述系统包括：
训练单元，用于获取训练的3D乳腺图像，将该训练的3D乳腺图像随机裁剪成设定尺寸的图像块，将该图像块经过数据增加后输入到3D U-net神经网络中进行训练，训练完成后得到一个乳腺癌病灶自动检测的模型；
检测单元，用于获取待检测的3D乳腺图像，将该检测的3D乳腺图像按照滑动窗的形式裁剪成设定尺寸的图像块，将所述乳腺癌病灶自动检测的模型进行测试得到图像块测试结果，将该测试结果凭接成待检测的3D乳腺图像尺寸大小的3D乳腺图像检测结果。
6.根据权利要求5所述的系统，其特征在于，
所述3D U-net神经网络中包括阈值映射层，通过与设计的阈值损失函数优化阈值映射层，得到体素级的阈值图完成自适应地区分肿瘤与背景；
所述阈值损失函数为：
其中，
3D乳腺图像检测中总的损失函数为：
Ltotal＝Ldds+θT*Lthreshold
其中θT表示Threshold Loss的系数。
7.根据权利要求5所述的系统，其特征在于，
所述3D U-net神经网络还包括密集深监督池，所述密集深监督池包括：交叉熵损失函数和重叠损失函数。
8.根据权利要求5所述的系统，其特征在于，
所述训练单元，还用于利用训练好的C3D模型初始化所述3D U-net神经网络的参数。
9.一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如权利要求1-4任意一项所述的方法。
10.一种计算机可读存储介质，其存储用于电子数据交换的程序，其中，所述程序使得终端执行如权利要求1-4任意一项提供的方法。
CN201811009104.3A 2018-08-31 2018-08-31 一种3d乳腺图像的分析方法及系统、介质 Active CN109410167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811009104.3A CN109410167B (zh) 2018-08-31 2018-08-31 一种3d乳腺图像的分析方法及系统、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811009104.3A CN109410167B (zh) 2018-08-31 2018-08-31 一种3d乳腺图像的分析方法及系统、介质

Publications (2)

Publication Number Publication Date
CN109410167A true CN109410167A (zh) 2019-03-01
CN109410167B CN109410167B (zh) 2021-11-09

Family

ID=65464428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811009104.3A Active CN109410167B (zh) 2018-08-31 2018-08-31 一种3d乳腺图像的分析方法及系统、介质

Country Status (1)

Country Link
CN (1) CN109410167B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978037A (zh) * 2019-03-18 2019-07-05 腾讯科技（深圳）有限公司 图像处理方法、模型训练方法、装置、和存储介质
CN110163910A (zh) * 2019-03-22 2019-08-23 腾讯科技（深圳）有限公司 物体对象定位方法、装置、计算机设备和存储介质
CN110189323A (zh) * 2019-06-05 2019-08-30 深圳大学 一种基于半监督学习的乳腺超声图像病灶分割方法
CN110211140A (zh) * 2019-06-14 2019-09-06 重庆大学 基于3D残差U-Net和加权损失函数的腹部血管分割方法
CN110222704A (zh) * 2019-06-12 2019-09-10 北京邮电大学 一种弱监督目标检测方法及装置
CN111062935A (zh) * 2019-12-27 2020-04-24 深圳大学 一种乳腺肿瘤检测方法、存储介质及终端设备
CN111275617A (zh) * 2020-01-09 2020-06-12 云南大学 一种abus乳腺超声全景图的自动拼接方法、系统和存储介质
CN111402275A (zh) * 2020-04-27 2020-07-10 Oppo广东移动通信有限公司 镂空检测方法、系统、设备及存储介质
CN111521398A (zh) * 2020-03-18 2020-08-11 武汉工程大学 基于bp神经网络和主元分析法的齿轮箱故障诊断方法及系统
CN111666972A (zh) * 2020-04-28 2020-09-15 清华大学 基于深度神经网络的肝部病例图像分类方法及系统
CN112258457A (zh) * 2020-09-28 2021-01-22 汕头大学 一种全容积三维超声图像的多维特征提取方法
CN112465819A (zh) * 2020-12-18 2021-03-09 平安科技（深圳）有限公司 图像异常区域检测方法、装置、电子设备及存储介质
ES2813777A1 (es) * 2019-09-23 2021-03-24 Quibim S L Metodo y sistema para la segmentacion automatica de hiperintensidades de sustancia blanca en imagenes de resonancia magnetica cerebral
US20220067919A1 (en) * 2020-08-26 2022-03-03 GE Precision Healthcare LLC System and method for identifying a tumor or lesion in a probabilty map
CN117576052A (zh) * 2023-11-27 2024-02-20 中国矿业大学 一种乳腺x线摄影的病灶诊断方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023239A (zh) * 2016-07-05 2016-10-12 东北大学 基于乳腺子区域密度聚类的乳腺肿块分割系统及方法
CN108053417A (zh) * 2018-01-30 2018-05-18 浙江大学 一种基于混合粗分割特征的3DU-Net网络的肺分割装置
CN108364288A (zh) * 2018-03-01 2018-08-03 北京航空航天大学 用于乳腺癌病理图像的分割方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023239A (zh) * 2016-07-05 2016-10-12 东北大学 基于乳腺子区域密度聚类的乳腺肿块分割系统及方法
CN108053417A (zh) * 2018-01-30 2018-05-18 浙江大学 一种基于混合粗分割特征的3DU-Net网络的肺分割装置
CN108364288A (zh) * 2018-03-01 2018-08-03 北京航空航天大学 用于乳腺癌病理图像的分割方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IEK 等: "3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation", 《ARXIV》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978037A (zh) * 2019-03-18 2019-07-05 腾讯科技（深圳）有限公司 图像处理方法、模型训练方法、装置、和存储介质
CN109978037B (zh) * 2019-03-18 2021-08-06 腾讯科技（深圳）有限公司 图像处理方法、模型训练方法、装置、和存储介质
CN110163910A (zh) * 2019-03-22 2019-08-23 腾讯科技（深圳）有限公司 物体对象定位方法、装置、计算机设备和存储介质
CN110163910B (zh) * 2019-03-22 2021-09-28 腾讯科技（深圳）有限公司 物体对象定位方法、装置、计算机设备和存储介质
CN110189323A (zh) * 2019-06-05 2019-08-30 深圳大学 一种基于半监督学习的乳腺超声图像病灶分割方法
CN110222704A (zh) * 2019-06-12 2019-09-10 北京邮电大学 一种弱监督目标检测方法及装置
CN110211140A (zh) * 2019-06-14 2019-09-06 重庆大学 基于3D残差U-Net和加权损失函数的腹部血管分割方法
ES2813777A1 (es) * 2019-09-23 2021-03-24 Quibim S L Metodo y sistema para la segmentacion automatica de hiperintensidades de sustancia blanca en imagenes de resonancia magnetica cerebral
WO2021058843A1 (es) * 2019-09-23 2021-04-01 Quibim, S.L. Método y sistema para la segmentación automática de hiperintensidades de sustancia blanca en imágenes de resonancia magnética cerebral
CN111062935A (zh) * 2019-12-27 2020-04-24 深圳大学 一种乳腺肿瘤检测方法、存储介质及终端设备
CN111062935B (zh) * 2019-12-27 2023-10-20 深圳大学 一种乳腺肿瘤检测方法、存储介质及终端设备
CN111275617A (zh) * 2020-01-09 2020-06-12 云南大学 一种abus乳腺超声全景图的自动拼接方法、系统和存储介质
CN111275617B (zh) * 2020-01-09 2023-04-07 云南大学 一种abus乳腺超声全景图的自动拼接方法、系统和存储介质
CN111521398A (zh) * 2020-03-18 2020-08-11 武汉工程大学 基于bp神经网络和主元分析法的齿轮箱故障诊断方法及系统
CN111402275A (zh) * 2020-04-27 2020-07-10 Oppo广东移动通信有限公司 镂空检测方法、系统、设备及存储介质
CN111666972A (zh) * 2020-04-28 2020-09-15 清华大学 基于深度神经网络的肝部病例图像分类方法及系统
US20220067919A1 (en) * 2020-08-26 2022-03-03 GE Precision Healthcare LLC System and method for identifying a tumor or lesion in a probabilty map
CN112258457A (zh) * 2020-09-28 2021-01-22 汕头大学 一种全容积三维超声图像的多维特征提取方法
CN112258457B (zh) * 2020-09-28 2023-09-05 汕头大学 一种全容积三维超声图像的多维特征提取方法
CN112465819A (zh) * 2020-12-18 2021-03-09 平安科技（深圳）有限公司 图像异常区域检测方法、装置、电子设备及存储介质
CN117576052A (zh) * 2023-11-27 2024-02-20 中国矿业大学 一种乳腺x线摄影的病灶诊断方法

Also Published As

Publication number Publication date
CN109410167B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN109410167A (zh) 一种3d乳腺图像的分析方法及相关产品
CN111161275B (zh) 医学图像中目标对象的分割方法、装置和电子设备
JP2022525198A (ja) 陽電子放射断層撮影を用いた腫瘍セグメンテーションのための深層畳み込みニューラルネットワーク
Li et al. Lung nodule detection with deep learning in 3D thoracic MR images
Lavdas et al. Fully automatic, multiorgan segmentation in normal whole body magnetic resonance imaging (MRI), using classification forests (CF s), convolutional neural networks (CNN s), and a multi‐atlas (MA) approach
Mahapatra et al. Crohn's disease tissue segmentation from abdominal MRI using semantic information and graph cuts
Jony et al. Detection of lung cancer from CT scan images using GLCM and SVM
CN112488976A (zh) 一种基于darts网络的多模态医学图像融合方法
CN110728239A (zh) 一种利用深度学习的胃癌增强ct图像自动识别系统
CN113850328A (zh) 基于多视角深度学习的非小细胞肺癌亚型分类系统
CN115063592B (zh) 一种基于多尺度的全扫描病理特征融合提取方法及系统
Hsiao et al. A deep learning-based precision volume calculation approach for kidney and tumor segmentation on computed tomography images
CN112364920A (zh) 基于深度学习的甲状腺癌病理图像分类方法
Kumar et al. Mammogram image segmentation using SUSAN corner detection
CN113345576A (zh) 一种基于深度学习多模态ct的直肠癌淋巴结转移诊断方法
CN113764101B (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
Chen et al. Deep transfer learning for histopathological diagnosis of cervical cancer using convolutional neural networks with visualization schemes
Bhende et al. Attention layer-based multidimensional feature extraction for diagnosis of lung cancer
Zeng et al. An attention-based deep learning model for predicting microvascular invasion of hepatocellular carcinoma using an intra-voxel incoherent motion model of diffusion-weighted magnetic resonance imaging
CN104331864B (zh) 基于非下采样轮廓波和视觉显著模型的乳腺影像处理
Sun et al. ASU-Net: U-shape adaptive scale network for mass segmentation in mammograms
CN116468741A (zh) 基于3d物理空间域和螺旋分解空间域的胰腺癌分割方法
CN114511564B (zh) 基于dce-mri对乳腺癌残存肿瘤负荷的影像分析方法
CN114998644A (zh) 肿瘤诊断系统及其构建方法、终端设备及存储介质
Lu et al. Regional perception and multi-scale feature fusion network for cardiac segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant