CN113191392A - 一种乳腺癌图像信息瓶颈多任务分类和分割方法及系统 - Google Patents

一种乳腺癌图像信息瓶颈多任务分类和分割方法及系统 Download PDF

Info

Publication number
CN113191392A
CN113191392A CN202110371489.3A CN202110371489A CN113191392A CN 113191392 A CN113191392 A CN 113191392A CN 202110371489 A CN202110371489 A CN 202110371489A CN 113191392 A CN113191392 A CN 113191392A
Authority
CN
China
Prior art keywords
classification
segmentation
tensor
task
breast cancer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110371489.3A
Other languages
English (en)
Other versions
CN113191392B (zh
Inventor
郑元杰
王军霞
宋景琦
马骏
姜岩芸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202110371489.3A priority Critical patent/CN113191392B/zh
Publication of CN113191392A publication Critical patent/CN113191392A/zh
Application granted granted Critical
Publication of CN113191392B publication Critical patent/CN113191392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明属于医学影像处理技术领域，提供了一种乳腺癌图像信息瓶颈多任务分类和分割方法及系统。其中，该方法包括获取对比增强X线摄影的若干个乳腺图像及对应的良恶性类别和肿块位置像素级标注；对获取的每个对比增强X线摄影的乳腺图像进行预处理操作；采用多任务网络对预处理后的每张乳腺图像提取多任务的共享表示；将共享表示输入到分类编码器上，得到了中间层的编码张量，再将中间编码张量送入信息瓶颈归因模块进行特征压缩并进行良恶性分类，得到分类任务张量；将共享表示适应到分割网络上得到分割任务张量；将分类任务张量和分割任务张量进行特征融合，用于病灶的分割。

Description

一种乳腺癌图像信息瓶颈多任务分类和分割方法及系统
技术领域
本发明属于医学影像处理技术领域，尤其涉及一种乳腺癌图像信息瓶颈多任务分类和分割方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
乳腺癌的早期发现和诊断是提高生存率和疗效的关键。定期进行身体检查和筛查有助于早期发现乳房肿块和可疑病变。乳房X线照相术是一种常用的乳腺癌筛查方法，通过早期发现癌症，显着地有助于降低乳腺癌的死亡率。基于放射科医生的位置以及图像中病变的分析能够确定乳腺癌，但这导致诊断结果受主观因素和临床诊断差异的影响。最近，机器学习(尤其是深度学习)的飞速发展激发了医学影像界对应用这些技术来提高癌症筛查准确性的兴趣。已经开发了计算机辅助检测和诊断(CAD)系统，以帮助放射科医生提高乳房X线照相术的预测准确性。最近的研究表明，基于深度学习的CAD系统在独立模式下的表现与放射线医生一样好，并改善了放射线医生的诊断准确率。
当前的多任务协同学习方法在许多领域都取得了显著成果，但是任务关联的可解释性一直是一个有争议的问题。尽管近年来已广泛应用，但是用于多任务的深度学习模型仍然是黑盒模型，尚无全面的理论理解可以充分解释其及其内部组织结构。发明人发现，目前对于乳腺癌图像的精准分类和分割的可解释性问题，尚缺乏行之有效的解决方案。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种乳腺癌图像信息瓶颈多任务分类和分割方法及系统，其结合了信息瓶颈归因用于乳腺癌图像的良恶性分类和图像中的病灶分割，能够提高分类和分割的精度并改善模型的可解释性。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种乳腺癌图像信息瓶颈多任务分类和分割方法。
一种乳腺癌图像信息瓶颈多任务分类和分割方法，包括：
获取对比增强X线摄影的若干个乳腺图像及对应的良恶性类别和肿块位置像素级标注；
对获取的每个对比增强X线摄影的乳腺图像进行预处理操作；
采用多任务网络对预处理后的每张乳腺图像提取多任务的共享表示；
将共享表示输入到分类编码器上，得到了中间层的编码张量，再将中间编码张量送入信息瓶颈归因模块进行特征压缩并进行良恶性分类，得到分类任务张量；
将共享表示适应到分割网络上得到分割任务张量，将分类任务张量和分割任务张量进行特征融合，用于病灶的分割。
本发明的第二个方面提供一种乳腺癌图像信息瓶颈多任务分类和分割系统。
一种乳腺癌图像信息瓶颈多任务分类和分割系统，包括：
数据获取模块，其被配置为：获取对比增强X线摄影的若干个乳腺图像及对应的良恶性类别和肿块位置像素级标注；
数据预处理模块，其被配置为：对获取的每个对比增强X线摄影的乳腺图像进行预处理操作；
共享特征提取模块，其被配置为：采用多任务网络对预处理后的每张乳腺图像提取多任务的共享表示；
乳腺良恶性分类模块，其被配置为：将共享表示输入到分类编码器上，得到了中间层的编码张量，再将中间编码张量送入信息瓶颈归因模块进行特征压缩并进行良恶性分类，得到分类任务张量；
病灶分割模块，其被配置为：将共享表示适应到分割网络上得到分割任务张量，将分类任务张量和分割任务张量进行特征融合，用于病灶的分割。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的乳腺癌图像信息瓶颈多任务分类和分割方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的乳腺癌图像信息瓶颈多任务分类和分割方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明首先对采集到的乳腺影像进行裁剪、图像增强、归一化以及尺度调整处理，输入乳腺能谱图像和对应的类别标签和像素级别标注，提取多任务的共享表示，通过这种方式，可以获得分类任务和分割任务的共享特征，从而为精确的分类和分割提供更泛化的特征，提高模型分类和分割的精度。同时，利用信息瓶颈归因方法控制信息量，使模型更加鲁棒。通过将信息归因图可视化，有助于理解模型的决策过程，改善模型的可解释性。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的基于信息瓶颈归因的多任务协同学习的结构图；
图2(a)是本发明实施例用于训练模型的第一对比增强X线摄影乳腺图像及对应病灶区域的像素级别标注；
图2(b)是本发明实施例用于训练模型的第二对比增强X线摄影乳腺图像及对应病灶区域的像素级别标注；
图2(c)是本发明实施例用于训练模型的第三对比增强X线摄影乳腺图像及对应病灶区域的像素级别标注；
图2(d)是本发明实施例用于训练模型的第四对比增强X线摄影乳腺图像及对应病灶区域的像素级别标注；
图3(a)为利用本发明实施例的方法对裁剪的对比增强X线影像块进行病灶分割结果的第一样例；
图3(b)为利用本发明实施例的方法对裁剪的对比增强X线影像块进行病灶分割结果的第二样例；
图3(c)为利用本发明实施例的方法对裁剪的对比增强X线影像块进行病灶分割结果的第三样例；
图4是本发明实施例的基于信息瓶颈归因用于乳腺癌分类和分割的多任务协作方法流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1所示，本实施例的乳腺癌图像信息瓶颈多任务分类和分割方法，其包括：
S101：获取对比增强X线摄影的若干个乳腺图像及对应的良恶性类别和肿块位置像素级标注。
在具体实施中，获取若干个例对比增强X线摄影乳腺能谱图像，如图2(a)-图2(d)所示，包括每个患者的左右乳房的CC位和MLO位。
S102：对获取的每个对比增强X线摄影的乳腺图像进行预处理操作。
具体地，预处理操作包括裁剪处理、随机图像增强处理、图像归一化处理及尺度调整处理。
在裁剪处理中，对获取的每个乳腺影像图像进行裁剪为512*512像素的图像块，得到裁剪后的乳腺能谱图像，如图3(a)-图3(c)所示。其具体过程为：
将每个乳腺能谱图像转换成灰度图像，并将单通道图像复制到另外两个通道构成三通道图像；
对每一幅灰度图像，判断每一列的像素值包含黑色背景的百分比，如果图像中某一列中99％的像素值为0，则将该列被裁剪掉。
示例性的，由于采集到的图像是单通道的，所以在训练的过程中，将该通道中的像素值复制到其他通道构成三通道图像，这样做的目的是增强数据的表达能力。黑色边缘背景对图像的分类和分割没有正相关作用，并会增加计算量和训练时长，所以在预处理操作中选择性的去除部分黑色边缘背景。
在随机图像增强处理中，对裁剪后的乳腺能谱图像进行图像增强处理；图像增强处理所采用的方式为：对裁剪后的乳腺能谱图像进行旋转、水平翻转或增加对比度等。
应理解的，图像增强处理可以有目的地强调图像的整体或局部特性，扩大图像中不同物体特征之间的差别。同时通过对图像进行旋转、翻转等操作，可以增加图像的数量，防止网络发生过拟合，也可以增强分类模型的鲁棒性。
在图像归一化处理中，对图像增强后的图像进行图像归一化处理；是指对增强后的图像进行全局对比度归一化处理。将输入归一化到[0,1]的范围，能够提高了网络的泛化能力，同时，在一定程度上可以解决梯度消失的问题。
示例性的，对增强后的图像进行全局对比度归一化处理，具体方法为：
对于H×W像素大小的图像，令Xi表示第i个图像，每个图像的平均强度，
Figure BDA0003009472060000061
归一化后的图像张量：
Figure BDA0003009472060000071
在尺度调整处理中，对图像归一化处理后的图像进行尺度调整处理；具体步骤包括：
将归一化之后的图像调整到224×224像素大小，以满足分类网络的输入要求。
S103：采用多任务网络对预处理后的每张乳腺图像提取多任务的共享表示。
具体地，对预处理后的每个乳腺能谱图像块进行特征提取；所述特征提取采用截断的VGG16来进行。
因为良/恶性分类和病灶分割是相关的两个任务，则可以直观地认为这两个任务具有相同的特征表示。本系统主要思想是基于这一理论提取强大的共享表示。
将乳腺能谱的图像和对应的类别标签和病灶的像素级别标注分别输入到共享特征提取网络中。
特征提取网络由多个卷积层组成，使用VGG16的前3个卷积块作为特征提取网络，输入的原始图像大小为224*224*3，经过三个卷积层将特征映射到28*28*256。
所述特征的共有提取网络由多层卷积神经网络为骨干网路。其骨干网络可以采用多种架构，例如ResNet，WideResNet，Res2Net等。在本申请的实施例中并不进行具体限定。
S104：将共享表示输入到分类编码器上，得到了中间层的编码张量，再将中间编码张量送入信息瓶颈归因模块进行特征压缩并进行良恶性分类，得到分类任务张量。
根据分类任务的目标，将共享表示分别适应到嵌入信息瓶颈归因模块的分类任务网络上，定位关键特征，生成分类结果和类归因图。
共享特征被送入分类网络的编码层，将信息瓶颈块被嵌入到编码器第三个卷积层之后。
取出编码器第三个卷积层的输出得到了中间层的编码张量fl。
将中间编码张量送入信息瓶颈归因块添加噪声和进行特征压缩。
信息瓶颈方法从输入随机变量X中提取关于输出随机变量Y的有效表示T：
IBβ＝I(T；Y)-βI(T；X)。
其中T是输入通过信息瓶颈归因产生的隐含表示,为了区分潜在变量来自哪个任务，这里将分类网络的隐含变量记作TC。在本发明中，使T尽最大可能地关注乳腺的病灶区域。
需要理解的是，I(T；X)是乳腺影像和表示的互信息，评估隐含表达和隐含变量共享多少信息。β是正拉格朗日乘法器，平衡X的信息和预测标签的能力。当β≤1，根据马尔可夫链，I(TC；fl)≥I(TC；Y)。因此，(1-β)·I(fl；Y)是优化问题目标函数的下界。对于β≥1，通过设置I(X；Y)＝0达到最小化下界，即I(TC；Fl)＝0。因此，解从I(T；X)＝I(T；Y)＝0开始，随着β的增加，I(TC；Fl)和I(TC；Y)都增加。在极限β处，该优化函数等价于I(TC；Fl)。
收集编码器前三个卷积层的输出Fl，重塑到统一的尺寸，经过3个1*1的卷积操作后送入sigmoid进行激活，将输出映射到[0,1]得到类归因图λ(X)。
需要理解的是，类归因图衡量了每个像素中包含的信息量；类归因图考虑了特征与良/恶性类别的相关性，即：如果某个特征影响了分类的概率，认为该区域包含的信息与任务是相关的(不相关的)，从而该信息被保留(或者被噪声替换)。
将特征编码张量fl和噪声ε线性组合得到隐变量TC，可以表示为：
TC＝λ(X)fl+(1-λ(X))ε，
ε指与fl具有相同均值和标准差的人工噪声。
利用类归因图生成的分类任务隐含变量用于良恶性预测。
用二值交叉熵损失和反向传播来改善模型分类的效果。
表1为利用本发明对乳腺X线影像进行分类的精确度。
表1利用各种模型的分类性能比较。
网络模型 准确度(％) 召回率(％) F1得分(％)
VGG16 0.725 0.72 0.753
VGG16+信息瓶颈归因 0.763 0.729 0.741
VGG16+U-net 0.824 0.837 0.806
VGG16+U-net+信息瓶颈归因 0.872 0.856 0.823
S105：将共享表示适应到分割网络上得到分割任务张量，将分类任务张量和分割任务张量进行特征融合，用于病灶的分割。
具体地，根据分割任务的目标，将共享表示适应到分割网络中，进行特征压缩，特征融合和产生分割结果。
采用带有跳跃链接的U-net网络作为分割模型的主干网络。
所述病灶分割网络采用由多层卷积神经网络为骨干网路。其骨干网络可以采用多种架构，例如U-net，Encoder-Decoder，Fast-RCNN等。在本申请的实施例中并不进行具体限定。
取出U-net第三层卷积层的输出作为分割任务张量，将分割任务张量与归因图相乘得到分割任务的潜在变量TS。
将两个任务变量TC和TS进行张量拼接来达到特征融合，随后经过三个1*1的卷积进行特征降维，送入U-net后续卷积核上采样层进行病灶分割。
表2为利用本发明方法对乳腺能谱图像进行病灶分割的精确度。
表2利用各种模型的分割性能比较。
Figure BDA0003009472060000101
将提取的特征输入到分类器中，输出图像分类结果；其中，分类器为softmax分类器。分类器是预训练的分类器，其预训练的步骤包括：
构建神经网络模型；
构建训练集、验证集和测试集；所述分类任务训练集、验证集和测试集中均包含已知乳腺良性或恶性分类结果。所述分割任务训练集、验证集和测试集中均包含已知带有良性或恶性病灶区域的乳腺能谱影像和对应的像素级别标注；
基于训练集、验证集，先提取共有特征，然后对分类神经网络模型进行训练，得到训练好的分类器。之后对分割网络模型的输出进行像素级别分类。最后，通过反向传播微调共享层网络参数和信息瓶颈产生的类归因图。基于一般的多任务医学影像分类、分割模型，本发明将信息瓶颈理论扩展到一个多任务框架中，用于良/恶性分类和肿块分割。同时，利用信息瓶颈归因方法控制信息量，使模型更加鲁棒。通过将信息归因图可视化，以直观地研究模型决策的过程，有助于理解模型的决策过程，改善模型的可解释性。通过对私有数据集的严格实验，证明了信息瓶颈归因生成的先验知识对改善分割结果的有效性。
实施例二
如图4所示，本实施例提供了一种乳腺癌图像信息瓶颈多任务分类和分割系统，其包括：
数据获取模块，其被配置为：获取对比增强X线摄影的若干个乳腺图像及对应的良恶性类别和肿块位置像素级标注；
数据预处理模块，其被配置为：对获取的每个对比增强X线摄影的乳腺图像进行预处理操作；
共享特征提取模块，其被配置为：采用多任务网络对预处理后的每张乳腺图像提取多任务的共享表示；
乳腺良恶性分类模块，其被配置为：将共享表示输入到分类编码器上，得到了中间层的编码张量，再将中间编码张量送入信息瓶颈归因模块进行特征压缩并进行良恶性分类，得到分类任务张量；
病灶分割模块，其被配置为：将共享表示适应到分割网络上得到分割任务张量，将分类任务张量和分割任务张量进行特征融合，用于病灶的分割。
此处需要说明的是，本实施例的乳腺癌图像信息瓶颈多任务分类和分割系统中的各个模块，与实施例一中的乳腺癌图像信息瓶颈多任务分类和分割方法中的各个步骤一一对应。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的乳腺癌图像信息瓶颈多任务分类和分割方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的乳腺癌图像信息瓶颈多任务分类和分割方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种乳腺癌图像信息瓶颈多任务分类和分割方法，其特征在于，包括：
获取对比增强X线摄影的若干个乳腺图像及对应的良恶性类别和肿块位置像素级标注；
对获取的每个对比增强X线摄影的乳腺图像进行预处理操作；
采用多任务网络对预处理后的每张乳腺图像提取多任务的共享表示；
将共享表示输入到分类编码器上，得到了中间层的编码张量，再将中间编码张量送入信息瓶颈归因模块进行特征压缩并进行良恶性分类，得到分类任务张量；
将共享表示适应到分割网络上得到分割任务张量，将分类任务张量和分割任务张量进行特征融合，用于病灶的分割。
2.如权利要求1所述的乳腺癌图像信息瓶颈多任务分类和分割方法，其特征在于，获取的对比增强X线摄影的乳腺图像包括左右乳房的CC位和MLO位。
3.如权利要求1所述的乳腺癌图像信息瓶颈多任务分类和分割方法，其特征在于，所述预处理操作包括裁剪处理、随机图像增强处理、图像归一化处理及尺度调整处理。
4.如权利要求1所述的乳腺癌图像信息瓶颈多任务分类和分割方法，其特征在于，所述多任务网络为多层卷积神经网络。
5.如权利要求1所述的乳腺癌图像信息瓶颈多任务分类和分割方法，其特征在于，在将中间编码张量送入信息瓶颈归因模块进行特征压缩并进行良恶性分类的过程包括：
根据分类任务的目标，将共享表示分别适应到嵌入信息瓶颈归因模块的分类任务网络上，定位关键特征，生成分类结果和类归因图；
利用类归因图生成的分类任务隐含变量用于良恶性预测。
6.如权利要求1所述的乳腺癌图像信息瓶颈多任务分类和分割方法，其特征在于，所述分割网络为带有跳跃链接的U-net网络。
7.如权利要求1所述的乳腺癌图像信息瓶颈多任务分类和分割方法，其特征在于，取出U-net第三层卷积层的输出作为分割任务张量。
8.一种乳腺癌图像信息瓶颈多任务分类和分割系统，其特征在于，包括：
数据获取模块，其被配置为：获取对比增强X线摄影的若干个乳腺图像及对应的良恶性类别和肿块位置像素级标注；
数据预处理模块，其被配置为：对获取的每个对比增强X线摄影的乳腺图像进行预处理操作；
共享特征提取模块，其被配置为：采用多任务网络对预处理后的每张乳腺图像提取多任务的共享表示；
乳腺良恶性分类模块，其被配置为：将共享表示输入到分类编码器上，得到了中间层的编码张量，再将中间编码张量送入信息瓶颈归因模块进行特征压缩并进行良恶性分类，得到分类任务张量；
病灶分割模块，其被配置为：将共享表示适应到分割网络上得到分割任务张量，将分类任务张量和分割任务张量进行特征融合，用于病灶的分割。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的乳腺癌图像信息瓶颈多任务分类和分割方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的乳腺癌图像信息瓶颈多任务分类和分割方法中的步骤。
CN202110371489.3A 2021-04-07 2021-04-07 一种乳腺癌图像信息瓶颈多任务分类和分割方法及系统 Active CN113191392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110371489.3A CN113191392B (zh) 2021-04-07 2021-04-07 一种乳腺癌图像信息瓶颈多任务分类和分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110371489.3A CN113191392B (zh) 2021-04-07 2021-04-07 一种乳腺癌图像信息瓶颈多任务分类和分割方法及系统

Publications (2)

Publication Number Publication Date
CN113191392A true CN113191392A (zh) 2021-07-30
CN113191392B CN113191392B (zh) 2023-01-24

Family

ID=76974815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110371489.3A Active CN113191392B (zh) 2021-04-07 2021-04-07 一种乳腺癌图像信息瓶颈多任务分类和分割方法及系统

Country Status (1)

Country Link
CN (1) CN113191392B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648509A (zh) * 2022-03-25 2022-06-21 中国医学科学院肿瘤医院 一种基于多分类任务的甲状腺癌检出系统
CN114693967A (zh) * 2022-03-20 2022-07-01 电子科技大学 基于二分类张量增强的多分类语义分割方法
CN115100480A (zh) * 2022-07-28 2022-09-23 西南交通大学 基于向量量化变分自编码器的医学影像分类模型及方法
CN116309585A (zh) * 2023-05-22 2023-06-23 山东大学 基于多任务学习的乳腺超声图像目标区域识别方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190102878A1 (en) * 2017-09-30 2019-04-04 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for analyzing medical image
CN109801285A (zh) * 2019-01-28 2019-05-24 太原理工大学 一种基于U-Net分割及ResNet训练的乳腺X线图像的处理方法
CN110136828A (zh) * 2019-05-16 2019-08-16 杭州健培科技有限公司 一种基于深度学习实现医学影像多任务辅助诊断的方法
US20190258937A1 (en) * 2016-11-04 2019-08-22 Google Llc Training neural networks using a variational information bottleneck
CN111160367A (zh) * 2019-12-23 2020-05-15 上海联影智能医疗科技有限公司 图像分类方法、装置、计算机设备和可读存储介质
CN111428709A (zh) * 2020-03-13 2020-07-17 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN112287970A (zh) * 2020-09-27 2021-01-29 山东师范大学 基于多视角多模态的乳腺能谱图像分类系统、设备及介质
CN112348183A (zh) * 2020-10-27 2021-02-09 天津大学 一种解释和分析神经网络决策和表征的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190258937A1 (en) * 2016-11-04 2019-08-22 Google Llc Training neural networks using a variational information bottleneck
US20190102878A1 (en) * 2017-09-30 2019-04-04 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for analyzing medical image
CN109801285A (zh) * 2019-01-28 2019-05-24 太原理工大学 一种基于U-Net分割及ResNet训练的乳腺X线图像的处理方法
CN110136828A (zh) * 2019-05-16 2019-08-16 杭州健培科技有限公司 一种基于深度学习实现医学影像多任务辅助诊断的方法
CN111160367A (zh) * 2019-12-23 2020-05-15 上海联影智能医疗科技有限公司 图像分类方法、装置、计算机设备和可读存储介质
CN111428709A (zh) * 2020-03-13 2020-07-17 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN112287970A (zh) * 2020-09-27 2021-01-29 山东师范大学 基于多视角多模态的乳腺能谱图像分类系统、设备及介质
CN112348183A (zh) * 2020-10-27 2021-02-09 天津大学 一种解释和分析神经网络决策和表征的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALEXANDER A.ALEMI: "《DEEP VARIATIONAL INFORMATION BOTTLENECK》", 《ARXIV:1612.00410V7 [CS.LG]》 *
QIAN W: "《Multi-task variational information bottleneck》", 《ARXIV: 2007.00339V1》 *
S.CHEN ET.AL: "《A multi-task framework with feature passing module for skin lesion classification and segmentation》", 《2018 IEEE 15TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI 2018)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693967A (zh) * 2022-03-20 2022-07-01 电子科技大学 基于二分类张量增强的多分类语义分割方法
CN114693967B (zh) * 2022-03-20 2023-10-31 电子科技大学 基于二分类张量增强的多分类语义分割方法
CN114648509A (zh) * 2022-03-25 2022-06-21 中国医学科学院肿瘤医院 一种基于多分类任务的甲状腺癌检出系统
CN115100480A (zh) * 2022-07-28 2022-09-23 西南交通大学 基于向量量化变分自编码器的医学影像分类模型及方法
CN116309585A (zh) * 2023-05-22 2023-06-23 山东大学 基于多任务学习的乳腺超声图像目标区域识别方法及系统
CN116309585B (zh) * 2023-05-22 2023-08-22 山东大学 基于多任务学习的乳腺超声图像目标区域识别方法及系统

Also Published As

Publication number Publication date
CN113191392B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
Khan et al. Lungs nodule detection framework from computed tomography images using support vector machine
CN113191392B (zh) 一种乳腺癌图像信息瓶颈多任务分类和分割方法及系统
Al-Masni et al. Simultaneous detection and classification of breast masses in digital mammograms via a deep learning YOLO-based CAD system
Vang et al. Deep learning framework for multi-class breast cancer histology image classification
US20170249739A1 (en) Computer analysis of mammograms
Hossain Microc alcification segmentation using modified u-net segmentation network from mammogram images
CN109363698B (zh) 一种乳腺影像征象识别的方法及装置
Alzu’bi et al. Kidney tumor detection and classification based on deep learning approaches: a new dataset in CT scans
Dheeba et al. An improved decision support system for detection of lesions in mammograms using differential evolution optimized wavelet neural network
Ghongade et al. Detection and classification of breast cancer from digital mammograms using RF and RF-ELM algorithm
CN109461144B (zh) 一种乳腺影像识别的方法及装置
Zhao et al. Bascnet: Bilateral adaptive spatial and channel attention network for breast density classification in the mammogram
Khan Identification of lung cancer using convolutional neural networks based classification
Tummala et al. Liver tumor segmentation from computed tomography images using multiscale residual dilated encoder‐decoder network
Chakravarthy et al. Breast Tumor Classification with Enhanced Transfer Learning Features and Selection Using Chaotic Map-Based Optimization
Martos et al. Optimized detection and segmentation of nuclei in gastric cancer images using stain normalization and blurred artifact removal
Koshy et al. Breast cancer image analysis using deep learning techniques–a survey
CN114565557A (zh) 一种基于坐标注意力的对比增强能谱摄影分类方法及装置
Aurelia A machine learning entrenched brain tumor recognition framework
Mahoro et al. Breast masses detection on mammograms using recent one-shot deep object detectors
Wen et al. Breast cancer diagnosis: A systematic review
Chaudhury et al. Classification of Breast Masses Using Ultrasound Images by Approaching GAN, Transfer Learning, and Deep Learning Techniques
Patil et al. A novel approach to detect microcalcification for accurate Detection for diagnosis of breast cancer
Morís et al. Generation of novel synthetic portable chest x-ray images for automatic covid-19 screening
Jenisha et al. Automated Liver Tumor Segmentation Using Deep Transfer Learning and Attention Mechanisms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant