CN113191393A - 基于多模态融合的对比增强能谱乳腺摄影分类方法及系统 - Google Patents

基于多模态融合的对比增强能谱乳腺摄影分类方法及系统 Download PDF

Info

Publication number
CN113191393A
CN113191393A CN202110371520.3A CN202110371520A CN113191393A CN 113191393 A CN113191393 A CN 113191393A CN 202110371520 A CN202110371520 A CN 202110371520A CN 113191393 A CN113191393 A CN 113191393A
Authority
CN
China
Prior art keywords
image
contrast
energy spectrum
mammography
enhanced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110371520.3A
Other languages
English (en)
Inventor
郑元杰
宋景琦
王军霞
徐晨曦
姜岩芸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202110371520.3A priority Critical patent/CN113191393A/zh
Publication of CN113191393A publication Critical patent/CN113191393A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明属于医疗影像处理技术领域，提供了一种基于多模态融合的对比增强能谱乳腺摄影分类方法及系统。其中，该方法包括获取多模态的若干个对比增强能谱乳腺摄影图像；所述多模态的对比增强能谱乳腺摄影图像包括能谱低能图像和能谱对比增强图像；预处理对比增强能谱乳腺摄影图像；提取预处理后的对比增强能谱乳腺摄影图像的特征并进行融合，形成具有综合特征的融合图像；提取融合图像的特征；将提取的特征输入到分类器中，输出图像分类结果。

Description

基于多模态融合的对比增强能谱乳腺摄影分类方法及系统
技术领域
本发明属于医疗影像处理技术领域，尤其涉及一种基于多模态融合的对比增强能谱乳腺摄影分类方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
乳腺癌是女性中最常见的癌症，严重影响女性健康。建立可靠的筛查方法对乳腺癌的早期诊断至关重要。乳腺癌检查的措施主要有乳腺X射线摄影、乳腺超声检查、乳腺MRI和对比增强能谱乳腺摄影等。对比增强能谱乳腺摄影(又称乳腺对比增强摄影)是一种新兴的乳腺癌检测技术。这种图像是通过数字双能乳腺对比增强摄影设备采集的。该设备的原型是乳腺X射线摄影系统，经过改造后可实现双能曝光。这种方法可以同时得到多个模态的乳腺图像，所以能够获得肿瘤不同形态的特征。同时它克服了乳腺造影中的组织重叠现象，提供了高图像分辨率的肿瘤信息，是一种很有前景的成像技术。
在临床实践中，临床专家对乳腺图像的检测一般都是人工操作，耗时耗力，成本高。此外，放射科医生可能会因为致密组织的重叠或肿块形状、大小、边界的变化而漏掉原发病变。基于机器学习的图像分析方法可以提高乳腺图像分类的准确性。影像处理技术可以从临床图像中提取有用的信息，以提高乳腺图像分类的精度和准确性。然而，发明人发现，现有的基于人工智能的方法大部分是将处理自然图像直接用在医学图像中，而没有考虑到医学图像的具体特征，从而影响乳腺图像分类的精度和准确性。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种基于多模态融合的对比增强能谱乳腺摄影分类方法及系统，其能够综合利用乳腺对比增强摄影图像的特点，提高对比增强能谱乳腺摄影图像分类的精准性。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于多模态融合的对比增强能谱乳腺摄影分类方法。
一种基于多模态融合的对比增强能谱乳腺摄影分类方法，其包括：
获取多模态的若干个对比增强能谱乳腺摄影图像；所述多模态的对比增强能谱乳腺摄影图像包括能谱低能图像和能谱对比增强图像；
预处理对比增强能谱乳腺摄影图像；
提取预处理后的对比增强能谱乳腺摄影图像的特征并进行融合，形成具有综合特征的融合图像；
提取融合图像的特征；
将提取的特征输入到分类器中，输出图像分类结果。
本发明的第二个方面提供一种基于多模态融合的对比增强能谱乳腺摄影分类系统。
一种基于多模态融合的对比增强能谱乳腺摄影分类系统，其包括：
图像获取模块，其用于获取多模态的若干个对比增强能谱乳腺摄影图像；所述多模态的对比增强能谱乳腺摄影图像包括能谱低能图像和能谱对比增强图像；
预处理模块，其用于预处理对比增强能谱乳腺摄影图像；
多模态融合模块，其用于提取预处理后的对比增强能谱乳腺摄影图像的特征并进行融合，形成具有综合特征的融合图像；
特征提取模块，其用于提取融合图像的特征；
特征分类模块，其用于将提取的特征输入到分类器中，输出图像分类结果。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于多模态融合的对比增强能谱乳腺摄影分类方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于多模态融合的对比增强能谱乳腺摄影分类方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明提供了一种基于多模态融合的对比增强能谱乳腺摄影分类方法及系统，其首先对采集到的对比增强能谱乳腺摄影图像进行预处理，其中，预处理操作包括裁剪、图像增强、归一化以及尺度调整处理，然后将预处理后的多模态的对比增强能谱乳腺摄影图像输入至融合网络模型中进行特征融合，其中，融合网络模型采用生成对抗网络来实现，将融合后的图像输入到分类网络中提取图像特征再进行分类。通过这种方式，可以获得融合了两种不同模态特征的图像，从而为精确的分类提供更多有用的信息，提高了对比增强能谱乳腺摄影图像分类的精度。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的基于多模态融合的对比增强能谱乳腺摄影图像分类方法流程图；
图2是本发明实施例的基于多模态融合的对比增强能谱乳腺摄影图像分类系统结构示意图；
图3(a)是本发明实施例的能谱低能图像；
图3(b)是本发明实施例的能谱对比增强图像；
图3(c)是本发明实施例通过融合的方法合成的具有两种模态特征的融合图像。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
如图1所示，本实施例的一种基于多模态融合的对比增强能谱乳腺摄影分类方法，其包括：
步骤S101：获取多模态的若干个对比增强能谱乳腺摄影图像；所述多模态的对比增强能谱乳腺摄影图像包括能谱低能图像和能谱对比增强图像。
在本实施中，多模态是指两种模态的对比增强能谱乳腺摄影图像，即能谱低能图像和能谱对比增强图像。
具体地，对比增强能谱乳腺摄影图像指的是病人在注射碘对比剂后，对同一体位的乳房进行高能(45-49kVp)和低能(26-31kVp)图像采集，通过融合和减影获得能谱低能图像和能谱对比增强图像。
两种模态的对比增强能谱乳腺摄影图像，包括：同侧乳腺的CC位能谱低能图像和同侧乳腺的CC位能谱对比增强图像；或者同侧乳腺的MLO位的能谱低能图像和MLO位的能谱对比增强图像。
两种模态的对比增强能谱乳腺摄影图像必须同为左侧或者同为右侧乳房的影像。具体地，如图3(a)和图3(b)所示，为对比增强能谱乳腺摄影图像的实例图，图3(a)为能谱低能图像，图3(b)为能谱对比增强图像。对比增强能谱乳腺摄影图像可以预先存储在计算机设备的存储器中，当需要对其进行处理时，处理器直接从计算机设备的存储器中读取图像。当然，处理器也可以从外部设备中获取图像。比如，将待检测对象的对比增强能谱乳腺摄影图像存储在云端，当需要进行处理操作时，处理器从云端获取待检测对象的图像。本实施例对处理器获取对比增强能谱乳腺摄影图像的具体方式不做限定。
步骤S102：预处理对比增强能谱乳腺摄影图像。
在具体实施中，预处理对比增强能谱乳腺摄影图像的过程包括：
步骤S1021：对获取的对比增强能谱乳腺摄影图像进行裁剪，得到裁剪后的对比增强能谱乳腺摄影图像。
具体地，步骤S1021包括：
将每个对比增强能谱乳腺摄影图像转换成灰度图像；
对每一幅灰度图像，判断每一列或每一行的像素值是否是全部黑色像素，如果某一列或每一行全部是黑色背景，则将该列或该行裁剪掉。
示例性的，由于采集到的图像黑色边缘背景对特征的提取会产生一定的影响，所以在预处理时选择去除黑色边缘背景。将对比增强能谱乳腺摄影图像转成灰度图，通过遍历的方法判断某一列或每一行是不是空白内容，即计算这一列或这一行中的像素值是否是全黑色背景。而在灰度图里，像素的灰度值为0代表像素为纯黑色，255代表像素为纯白色，所以我们可以设置一个接近0的阀值：如果一个像素的灰度值低于这个阀值，我们就可以判定这个像素为黑色。
步骤S1022：对裁剪后的对比增强能谱乳腺摄影图像进行图像增强处理；
具体地，对裁剪后的对比增强能谱乳腺摄影图像进行图像增强处理，所采用的方式为：
对裁剪后的对比增强能谱乳腺摄影图像进行翻转、旋转、平移、增加噪声或增加对比度等。
此处应理解的是，图像增强处理可以有目的地强调图像的整体或局部特性，扩大图像中不同物体特征之间的差别。同时通过对图像进行旋转、翻转、平移、增加噪声等操作，可以增加图像的数量，防止网络发生过拟合，也可以增强分类网络的鲁棒性，从而提高模型的性能。
步骤S1023：对图像增强后的图像进行图像归一化处理；
在具体实施中，对增强后的图像进行全局对比度归一化处理。
示例性的，对增强后的图像进行全局对比度归一化处理，具体方法为：
对于M×N像素大小的图像，令Xi表示对比增强能谱乳腺摄影图像(X∈RM×N)的张量，计算每个乳对比增强能谱乳腺摄影图像的平均强度
Figure BDA0003009472380000071
归一化后的图像张量：
Figure BDA0003009472380000072
步骤S1024：对图像归一化处理后的图像进行尺度调整处理。
具体地，步骤S1024包括：将归一化之后的图像调整到224×224像素大小，以满足分类网络的输入要求。
步骤S103：提取预处理后的对比增强能谱乳腺摄影图像的特征并进行融合，形成具有综合特征的融合图像。
其中，通过特征融合网络来实现特征融合，即根据选定的融合策略，完成两种模态图像间的融合。
在本实施例中，采用图像融合网络形成具有综合特征的融合图像，所述图像融合网络包括生成器和判别器，生成器包括特征提取子网络和融合网络，判别器用来区分融合图像和能谱对比增强图像。
所述融合网络用于根据加权平均融合进行图像融合。
特征提取子网络用来提取能谱低能图像和能谱对比增强图像的特征，而融合网络用来把特征提取子网络提取的特征图选择合适的融合策略进行融合。判别器由八层卷积层构成，用来区分融合图像和能谱对比增强图像。
能谱低能图像和能谱对比增强图像融合所述生成器损失函数具体为以下形式：
LGAN＝Lcon+γLadv+λLTV
其中，LGAN表示生成器的总损失函数，Lcon为内容损失函数，Ladv代表生成器和判别器之间的对抗损失函数，LTV为正则项TV损失。γ和λ参数是控制三项平衡的因素。
生成器损失函数中的内容损失函数Lcon形式具体为以下形式：
Figure BDA0003009472380000081
其中，H和W是输入图像的高和宽，IL表示能谱低能图像，If表示融合后的图像，DD和Df分别表示能谱对比增强图像的梯度和融合图像的梯度，β用来平衡这两项之间的权衡。第一项使融合后的图像在像素强度分布上与能谱低能图像一致，第二项使融合后的图像在梯度上与能谱对比增强图像相似。
生成器损失函数中的对抗损失函数Ladv形式具体为以下形式：
Figure BDA0003009472380000082
其中
Figure BDA0003009472380000083
表示判别器，
Figure BDA0003009472380000084
表示融合图像，n∈N，N表示融合图像的个数，θ是生成器希望鉴别器对假数据相信的值。
能谱低能图像和能谱对比增强图像融合所述判别器损失函数具体为以下形式：
Figure BDA0003009472380000085
其中LD表示判别器，等号后的前2项表示EM距离估计，最后一项表示网络正则化的梯度惩罚，η为正则化参数。
在融合网络的训练过程中，将能谱低能图像和能谱对比增强图像进行随机裁剪成88*88并输入生成器中，形成能谱低能图像和能谱对比增强图像特征图。将特征图输入融合网络，根据加权平均融合进行图像融合，得到初始融合图像。将融合图像和能谱对比增强图像输入判别器，若判别器区分融合图像和能谱对比增强图像的精度达到设定要求，则停止训练。
具体地，利用特征提取子网络分别提取输入图像的特征，得到能谱低能图像的特征图和能谱对比增强图像的特征图。利用加权平均融合策略得到特征映射图。根据得到的特征映射图放入融合网络的融合卷积层中，得到融合图像。通过融合的方法合成的具有两种模态特征的融合图像，如图3(c)所示。
步骤S104：提取融合图像的特征。
在具体实施中，采用多层卷积神经网络提取融合图像的特征。网络的前几层学习的是相对泛化的特征，比如边缘、颜色等，而靠后几层的网络学习到的特征更高层。
将融合的图像输入到特征提取网络中，将模型的第一个全连接层的输出作为提取的深度特征。
所述特征提取网络由多层卷积神经网络为骨干网路，以最常用的Res2Net 50为例，使用前4个卷积块作为特征提取网络，则输入的原始图像大小为(w，h，3)，经过4个卷积网络块会下采样16倍，即输出的特征映射是(w/16，h/16，3)。其骨干网络也可以采用其他架构，例如VGGNet，ResNet，SeResNet，ResNext，WideResNet，Res2Net等。在本申请的实施例中并不进行具体限定。表1为利用本发明方法对对比增强能谱乳腺摄影图像进行分类的精确度。
步骤S105：将提取的特征输入到分类器中，输出图像分类结果。
在本实施例中，分类器为softmax分类器。
基于一般的深度学习分类模型，本发明提出了多模态融合的对比增强能谱乳腺摄影图像分类模型，在输入两种模态的图像后；模型根据图像融合模块获得综合两种模态特征的融合图像，之后融合图像输入特征提取网络，提取多种特征并进行分类。本发明能够获得多个模态的乳腺图像信息，提取有效的图像特征进行再分类，从而获得更精确的分类结果。
表1利用不同特征提取网络分类精确度统计比较
网络模型 精确度(％)
res2net50 94.964
resnet18 94.245
wide_resnet50_2 93.705
resnext50_32x4d 93.525
resnet50 92.626
se_res2net50 92.266
resnet34 91.727
res2net18 90.647
实施例二
如图2所示，本实施例提供了一种基于多模态融合的对比增强能谱乳腺摄影分类系统，其包括：
图像获取模块，其用于获取多模态的若干个对比增强能谱乳腺摄影图像；所述多模态的对比增强能谱乳腺摄影图像包括能谱低能图像和能谱对比增强图像；
预处理模块，其用于预处理对比增强能谱乳腺摄影图像；
多模态融合模块，其用于提取预处理后的对比增强能谱乳腺摄影图像的特征并进行融合，形成具有综合特征的融合图像；
特征提取模块，其用于提取融合图像的特征；
图像分类模块，其用于将提取的特征输入到分类器中，输出图像分类结果。
此处需要说明的是，本实施例的基于多模态融合的对比增强能谱乳腺摄影分类系统中的各个模块，与实施例一中的基于多模态融合的对比增强能谱乳腺摄影分类方法中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于多模态融合的对比增强能谱乳腺摄影分类方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于多模态融合的对比增强能谱乳腺摄影分类方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多模态融合的对比增强能谱乳腺摄影分类方法，其特征在于，包括：
获取多模态的若干个对比增强能谱乳腺摄影图像；所述多模态的对比增强能谱乳腺摄影图像包括能谱低能图像和能谱对比增强图像；
预处理对比增强能谱乳腺摄影图像；
提取预处理后的对比增强能谱乳腺摄影图像的特征并进行融合，形成具有综合特征的融合图像；
提取融合图像的特征；
将提取的特征输入到分类器中，输出图像分类结果。
2.如权利要求1所述的基于多模态融合的对比增强能谱乳腺摄影分类方法，其特征在于，预处理对比增强能谱乳腺摄影图像的过程包括：
对获取的对比增强能谱乳腺摄影图像进行裁剪，得到裁剪后的对比增强能谱乳腺摄影图像；
对裁剪后的对比增强能谱乳腺摄影图像进行图像增强处理；
对图像增强后的图像进行图像归一化处理；
对图像归一化处理后的图像进行尺度调整处理。
3.如权利要求2所述的基于多模态融合的对比增强能谱乳腺摄影分类方法，其特征在于，对裁剪后的对比增强能谱乳腺摄影图像进行图像增强处理的过程为：
将每个对比增强能谱乳腺摄影图像转换成灰度图像；
对每一幅灰度图像，判断每一列或者每一行的像素值是否是全部黑色背景，如果某一列或者每一行全部为黑色背景，则将该列裁剪掉。
4.如权利要求2所述的基于多模态融合的对比增强能谱乳腺摄影分类方法，其特征在于，图像的增强处理包括：对裁剪后的对比增强能谱乳腺摄影图像进行旋转、翻转、平移、增加噪声或增加对比度。
5.如权利要求2所述的基于多模态融合的对比增强能谱乳腺摄影分类方法，其特征在于，图像的归一化处理包括：对增强后的图像进行全局对比度归一化处理。
6.如权利要求1所述的基于多模态融合的对比增强能谱乳腺摄影分类方法，其特征在于，采用图像融合网络形成具有综合特征的融合图像，所述图像融合网络包括生成器和判别器，生成器包括特征提取子网络和融合网络，判别器用来区分融合图像和能谱对比增强图像。
7.如权利要求6所述的基于多模态融合的对比增强能谱乳腺摄影分类方法，其特征在于，所述融合网络用于根据加权平均融合进行图像融合。
8.一种基于多模态融合的对比增强能谱乳腺摄影分类系统，其特征在于，包括：
图像获取模块，其用于获取多模态的若干个对比增强能谱乳腺摄影图像；所述多模态的对比增强能谱乳腺摄影图像包括能谱低能图像和能谱对比增强图像；
预处理模块，其用于预处理对比增强能谱乳腺摄影图像；
多模态融合模块，其用于提取预处理后的对比增强能谱乳腺摄影图像的特征并进行融合，形成具有综合特征的融合图像；
特征提取模块，其用于提取融合图像的特征；
图像分类模块，其用于将提取的特征输入到分类器中，输出图像分类结果。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于多模态融合的对比增强能谱乳腺摄影分类方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于多模态融合的对比增强能谱乳腺摄影分类方法中的步骤。
CN202110371520.3A 2021-04-07 2021-04-07 基于多模态融合的对比增强能谱乳腺摄影分类方法及系统 Pending CN113191393A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110371520.3A CN113191393A (zh) 2021-04-07 2021-04-07 基于多模态融合的对比增强能谱乳腺摄影分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110371520.3A CN113191393A (zh) 2021-04-07 2021-04-07 基于多模态融合的对比增强能谱乳腺摄影分类方法及系统

Publications (1)

Publication Number Publication Date
CN113191393A true CN113191393A (zh) 2021-07-30

Family

ID=76974820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110371520.3A Pending CN113191393A (zh) 2021-04-07 2021-04-07 基于多模态融合的对比增强能谱乳腺摄影分类方法及系统

Country Status (1)

Country Link
CN (1) CN113191393A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332947A (zh) * 2021-12-31 2022-04-12 深圳市儿童医院 一种图像分类系统及终端设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001868A (zh) * 2020-07-30 2020-11-27 山东师范大学 基于生成对抗性网络的红外和可见光图像融合方法及系统
CN112233198A (zh) * 2020-09-02 2021-01-15 山东师范大学 一种乳腺钼靶图像到能谱重组图像合成方法及系统
CN112287970A (zh) * 2020-09-27 2021-01-29 山东师范大学 基于多视角多模态的乳腺能谱图像分类系统、设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001868A (zh) * 2020-07-30 2020-11-27 山东师范大学 基于生成对抗性网络的红外和可见光图像融合方法及系统
CN112233198A (zh) * 2020-09-02 2021-01-15 山东师范大学 一种乳腺钼靶图像到能谱重组图像合成方法及系统
CN112287970A (zh) * 2020-09-27 2021-01-29 山东师范大学 基于多视角多模态的乳腺能谱图像分类系统、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KUN WANG ET AL.: "A dual-mode deep transfer learning (D2TL) system for breast cancer detection using contrast enhanced digital mammograms", 《IISE TRANSACTIONS ON HEALTHCARE SYSTEMS ENGINEERING》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332947A (zh) * 2021-12-31 2022-04-12 深圳市儿童医院 一种图像分类系统及终端设备

Similar Documents

Publication Publication Date Title
CN109447065B (zh) 一种乳腺影像识别的方法及装置
Almajalid et al. Development of a deep-learning-based method for breast ultrasound image segmentation
EP3432263B1 (en) Semantic segmentation for cancer detection in digital breast tomosynthesis
CN109003267B (zh) 从3d图像自动检测目标对象的计算机实现方法和系统
CN109363698B (zh) 一种乳腺影像征象识别的方法及装置
Choi et al. Genetic programming-based feature transform and classification for the automatic detection of pulmonary nodules on computed tomography images
CN112150428B (zh) 一种基于深度学习的医学图像分割方法
US20190050981A1 (en) System and method for automatically detecting a target object from a 3d image
CN109363699B (zh) 一种乳腺影像病灶识别的方法及装置
CN109363697B (zh) 一种乳腺影像病灶识别的方法及装置
CN110689525B (zh) 基于神经网络识别淋巴结的方法及装置
WO2023045231A1 (zh) 一种解耦分治的面神经分割方法和装置
Palma et al. Detection of masses and architectural distortions in digital breast tomosynthesis images using fuzzy and a contrario approaches
CN111415728A (zh) 基于cnn和gan的ct图像数据自动分类方法及设备
CN112287970A (zh) 基于多视角多模态的乳腺能谱图像分类系统、设备及介质
US20230005140A1 (en) Automated detection of tumors based on image processing
Popescu et al. Retinal blood vessel segmentation using pix2pix gan
CN110570419A (zh) 特征信息的获取方法、装置和存储介质
CN113191392A (zh) 一种乳腺癌图像信息瓶颈多任务分类和分割方法及系统
Debnath et al. Brain tumour segmentation using memory based learning method
Sarath et al. A two-stage multiple instance learning framework for the detection of breast cancer in mammograms
CN113191393A (zh) 基于多模态融合的对比增强能谱乳腺摄影分类方法及系统
Pezeshki et al. Mass classification of mammograms using fractal dimensions and statistical features
CN111062909A (zh) 乳腺肿块良恶性判断方法及设备
Halder et al. Superpixel and density based region segmentation algorithm for lung nodule detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210730