CN111291789B - 基于多阶段多特征深度融合的乳腺癌图像识别方法及系统 - Google Patents

基于多阶段多特征深度融合的乳腺癌图像识别方法及系统 Download PDF

Info

Publication number
CN111291789B
CN111291789B CN202010059531.3A CN202010059531A CN111291789B CN 111291789 B CN111291789 B CN 111291789B CN 202010059531 A CN202010059531 A CN 202010059531A CN 111291789 B CN111291789 B CN 111291789B
Authority
CN
China
Prior art keywords
fusion
feature
model
features
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010059531.3A
Other languages
English (en)
Other versions
CN111291789A (zh
Inventor
李广丽
邬任重
袁天
李传秀
张红斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202010059531.3A priority Critical patent/CN111291789B/zh
Publication of CN111291789A publication Critical patent/CN111291789A/zh
Application granted granted Critical
Publication of CN111291789B publication Critical patent/CN111291789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Abstract

本发明属于图像处理技术领域，公开了一种基于多阶段多特征深度融合的乳腺癌图像识别方法，从形状、纹理、深度学习多角度提取图像的Gist、SIFT、HOG、LBP、VGG16、ResNet、DenseNet特征；深入挖掘不同特征间蕴含的跨模态病理语义；通过早期融合、中融合、后融合进行特征融合；并构造集早期融合、中融合、后融合为一体的多阶段多特征融合模型；进行乳腺肿块的分类、识别、处理并输出处理结果。本发明通过提取乳腺造影图像的传统特征以及深度学习特征，深入挖掘不同特征间的跨模态病理语义，并设计多阶段多特征融合策略完成乳腺癌图像识别。同时，压缩核心特征的维度，以提升诊断模型的实时效率。

Description

基于多阶段多特征深度融合的乳腺癌图像识别方法及系统
技术领域
本发明属于信息处理技术领域，尤其涉及一种基于多阶段多特征深度融合的乳腺癌图像识别方法及系统。
背景技术
目前，业内常用技术是这样的：乳腺癌是女性发病率最高的癌症，也是一种死亡率非常高的、较为复杂的临床异质性疾病，早发现、早诊断、早治疗对提高乳腺癌患者存活率及改善患者生活质量都具有十分重要的意义，计算机辅助乳腺癌自动诊断已成为学术界与工业界共同关注的问题。乳腺造影图像(X线摄影图像)可以较好地反映乳腺组织中存在的多种异常情况，故基于乳腺造影图像，病理医生能做出正确的诊断决策。然而乳腺造影图像中的肿块大小及形状存在多样性，且不同个体的乳腺组织密度也存在一定差异，某些肿块隐藏于乳腺组织中，不易发现；因此需要借助机器学习或机器视觉技术对乳腺造影图像进行识别，获取其中有效的信息。
现有技术中主要通过图像特征提取以及深度学习方法对相关乳腺造影图像进行识别。
首先，图像特征提取或特征优选是构建高质量乳腺癌诊断模型的重要前提。纹理、形状、边缘等传统特征，如尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)、方向梯度直方图(Histogram of Oriented Gradients，HOG)、纹理基元(Texton)等在早期传统的乳腺癌识别中发挥了重要作用。例如，现有技术提取乳腺癌图像病灶的感兴趣区域(Region of Interesting,ROI)，然后将空间信息约束的模糊C均值(Fuzzy C-Means，FCM)算法集成到基于水平集的分割方法中，获取低层特征。基于互信息消除冗余特征，筛选关键特征。最后，采用SVM、LDA等传统分类模型完成乳腺肿块良恶性识别。
然而，手工提取乳腺癌图像病灶区域对专业知识有严格要求，这对于非专业人士有较大难度，且提取的效率不高。此外，在特征提取过程中，传统特征判别能力较弱。因此，传统的乳腺癌诊断模型的精准度不高，模型的实用价值也受到一定影响。
近年来，深度学习技术在机器视觉领域中取得重大突破，卷积神经网络(Convolutional Neural Networks，CNN)逐渐在乳腺癌诊断过程中扮演关键角色。相关研究工作可分如下四大类：
第一类：微调模型法。基于ImageNet数据集训练出多个卷积神经网络(如VGG、ResNet等)，它们能捕获图像中的深层语义，故只需微调这些网络，便可迁移出图像的关键特征表示。该方法通过微调已预训练好的卷积神经网络或直接抽取网络中的瓶颈特征，然后采用传统分类器(如SVM、KNN、NB等)完成乳腺癌诊断。例如，现有技术1在两个乳腺造影数据集上对CNN进行训练和评估，每个CNN模型均采用两种方式进行训练或微调，第一种方式指使用预训练的权重初始化网络，第二种方式指随机初始化网络权重。大量实验结果表明：对预训练的CNN模型进行微调可以获得更好的诊断性能。该方法能轻松获取预训练好的权重，以加快模型训练速度。它的主要问题：预训练好的权重是基于ImageNet数据集，该数据集不包含任何医学图像，故预训练好的权重对于乳腺造影图像来说帮助不大。此外，采用预训练好的权重初始化卷积神经网络时，要求输入的图像尺寸必须与预训练时的图像尺寸完全一致，即224×224。而乳腺造影图像的尺寸通常远大于224×224，为了与预训练时图像尺寸保持一致，需将图像统一缩小，显然这会丢失大量有效的判别信息，最终影响乳腺癌诊断精准度。综上，微调模型法可用于乳腺癌诊断，但诊断性能有待提高。
第二类，集成深度学习方法。仅微调卷积神经网络，无法获取较好的诊断性能。因此，有学者提出集成多个深度学习模型的结果，更好地完成诊断。现有技术2提出基于AlexNet模型的集成深度学习方法，即根据验证阶段的最高精度，选取AlexNet模型中最优的三个模型求取平均概率，完成乳腺癌诊断。该方法的优点：能够充分运用不同模型之间的互补性，以改善诊断性能。但它需要多次训练不同的神经网络，故模型的实时效率并不好，且需要占用额外计算资源。
第三类，“病灶块→整幅图像”的迁移学习法。集成学习法充分运用不同模型之间的互补性来提升诊断性能，然而，综合分析病灶块与整幅图像间的对应关系值得深入研究。现有技术3提出一种基于端到端方式的乳腺癌诊断模型：在训练的第一阶段，它需要标记病灶区域，即采用病灶区域图像训练块级别(Patch-level)的诊断模型，然后，去掉全连接层，添加新卷积层，训练完整图像级别(Image-level)的诊断模型，最终实现用图像级别标签训练出一个高质量的乳腺癌诊断系统。该方法的主要缺点：神经网络包含大量参数，调制参数耗时极长。因此，模型对计算机硬件要求很高(需配置一组高端GPU)。且它对图像块有较强的依赖性：一方面，需要准确标注刻画病灶区域的图像块；另一方面，要制定合理的块级别训练策略，因为块级别识别模型的优劣会直接影响完整图像的识别。此外，它对输入的图像尺寸也有十分严格的要求。
第四类，多任务协同学习法。在乳腺癌识别过程中，很多任务如病灶分割、边界跟踪、病灶定位、肿瘤识别等相辅相成、互为激励。即任务之间可以共享有效的判别信息，从而优化最终的诊断性能。因此，在多任务学习(Multi-Task Learning，MTL)框架内完成乳腺癌识别也不失为一个好策略。但其缺点也很明显：模型难于训练、时间复杂度偏高，且易受噪声干扰。同时，它对输入的图像尺寸也有十分严格的要求。
综上，深度学习类方法能够改善乳腺癌诊断性能，但它也存在训练模型时对机器硬件要求过高、训练时间过长、复杂度偏高及对图像尺寸大小有严格要求等关键问题。
综上所述，现有技术存在的问题是：(1)现有乳腺造影图像识别模型中的特征提取方法较复杂，专业要求高，无法普遍适用，且提取的效率不高；同时在特征提取过程中，传统特征判别能力较弱；传统乳腺造影图像识别方法精准度不高，实用价值受到影响。深度学习类方法训练模型对机器硬件要求过高、训练时间过长、复杂度偏高及对图像尺寸大小有严格要求。
(2)现有方法采用的特征融合方式相对简单，未考虑不同特征在乳腺肿块识别中的互补性。此外，特征间的“跨模态病理语义”未得到有效利用，高质量的跨模态判别信息有待深入挖掘，且高维特征导致模型的时间复杂度较高；
(3)在神经网络的训练过程中，需调制大量参数，参数调制难度较高，故模型训练时间较长。神经网络模型对机器的硬件配置要求极高，需耗费大量成本购置包含多块GPU的高性能服务器。
(4)预训练好的神经网络模型对输入的图像尺寸有严格要求，对于有较高分辨率的原始乳腺造影图像，大幅缩小图像尺寸容易丢失关键的判别信息，进而影响最终的识别性能。
(5)某些基于图像块级别的模型需要首先完成病灶区域的准确标记，而高质量医学图像标注的成本极高。
解决上述技术问题的难度：图像特征种类很多，在选取特征时既要兼顾不同特征对于视觉内容刻画的角度差异，还要考虑特征之间应存在一定的互补性；不同图像特征彼此异构，要能准确发现它们之间的最大典型相关性；利用医学图像预训练神经网络模型需要耗费大量时间成本，且单一的深度学习模型的效果并不好(请参见表9结果)；深度学习模型的训练依赖高性能GPU服务器，购买高性能服务器需大量设备成本；若基于病灶区域训练识别模型需首先获取准确的标注，而标注病灶区域需大量的人力成本；不能大幅缩小乳腺造影图像的尺寸，这会严重影响图像中的视觉信息，进而干扰模型的准确识别。
解决上述技术问题的意义：首先，充分利用异构特征间的跨模态语义，它们能较好地刻画特征间的典型相关性；其次，训练精准度更高、实时效率合适的识别模型，不断提高模型的实用价值，为系统最终落地奠定重要基础；其次，不完全依赖于深度学习模型，而是充分发挥现有算力资源，使模型可以在普通电脑上完成训练过程，最终降低模型训练成本，不断增强肿块识别模型的通用性；第三，模型能自动地给出识别结果及诊断建议，更高效、准确地辅助病理医生的临床诊断，提高其工作效率，以减少乳腺造影图像的积压，并使患者得到及时、有效地就诊；最后，通过提升识别精度及不断降低假阳率，有助于提高患者治愈率，减少患者不必要的开支和心理负担，提供人们的生存质量，同时更合理地分配医疗资源。
发明内容
针对现有技术存在的问题，本发明提供了一种基于多阶段多特征深度融合的乳腺癌图像识别方法及系统。
本发明是这样实现的，一种基于多阶段多特征深度融合的乳腺癌图像识别方法包括：
步骤一，基于Adaboost算法计算单特征、跨模态病理语义的预估概率，基于异构特征间的互补性，从形状、纹理、深度学习多角度提取图像的Gist(G)、SIFT(S)、LBP(L)、HOG(H)及ResNet(R)、DenseNet(D)、VGG16(V)特征；
步骤二，基于判别相关分析(DCA)模型深入挖掘不同特征间蕴含的跨模态病理语义，实现特征间的早期融合；
步骤三，通过设计中融合、后融合算法进一步提升识别精准度，降低识别假阳率；并构造出集早期融合、中融合、后融合为一体的多阶段多特征融合模型即DE-Ada*模型；
步骤四，利用构造的DE-Ada*模型自动、高效地识别乳腺造影图像并输出识别结果。
进一步，所述多阶段多特征深度融合具体包括：
采用多个互补型的特征，基于不同提取方式，彼此异构，从不同的视觉角度刻画乳腺造影图像；集成特征早期融合、特征中融合和特征后融合等多种融合方式进行特征的深度融合。
进一步，步骤二中，所述跨模态病理语义包括：
所述跨模态病理语义即不同特征都指向相同或相似的病灶语义，分别用(SG)、(SV)、(GH)、(GV)、(SR)、(DR)、(HR)等表示跨模态病理语义，一共21组。
进一步，步骤二中，所述跨模态语义挖掘模型包括但不限于DCA模型、CCL模型、DCCA模型、SCCA模型、MLP模型、CCA模型、KCCA模型以及其他跨模态语义挖掘模型。
进一步，步骤三中，所述早期融合实现方法具体包括：基于跨模态病理语义挖掘实现特征早期融合。
进一步，步骤三中，所述中融合实现方法具体包括：
改进有效区域基因优选(ERGS)算法，动态计算单特征、跨模态病理语义的ERGS权重，采用ERGS权重加权预估概率，构建特征组合，采用改进的ERGS算法实现多特征中融合。
进一步，所述多特征中融合实现模型还可以为MERGS、FS-SVPV、MKL、MK-BOOST及其他相关融合类模型。
进一步，步骤三中，所述后期融合实现方法具体包括：
进行SUM融合，同时基于Max完成决策，设计随机或排序两种策略，优选精准度最优的前n(n＝11)组ERGS特征组合中的n’(n’＝3,5,7,9,11)组特征组合，对预测结果进行软、硬两种投票决策，进行不同特征判别结果的集成学习，实现特征后期融合。
进一步，所述决策后融合也可采用堆叠提升融合算法、加权融合等融合策略。
本发明的另一目的在于提供一种基于多阶段多特征深度融合的乳腺癌图像识别系统包括：
图像特征提取模块：用于基于异构特征间的互补性，从形状、纹理、深度学习多角度提取图像的Gist(G)、SIFT(S)、HOG(H)、LBP(L)及VGG16(V)、ResNet(R)、DenseNet(D)特征；
跨模态病理语义挖掘模块：用于基于DCA模型深入挖掘不同特征间蕴含的跨模态病理语义，实现特征早期融合；
多特征中融合模块：通过中融合、后融合模型进一步提升识别精准度，降低识别的假阳率；并构造集早期融合、中融合、后融合为一体的多阶段多特征融合模型即DE-Ada*模型；
乳腺肿块识别模块：用于利用构造的DE-Ada*模型识别乳腺肿块并输出识别结果。
本发明另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的基于多阶段多特征深度融合的乳腺癌图像识别方法。
综上所述，本发明的优点及积极效果为：本发明通过提取乳腺造影图像的传统特征及深度学习特征，深入挖掘不同特征间的跨模态病理语义，并设计多阶段多特征融合(包含早、中、晚融合)策略完成乳腺癌识别。同时，压缩核心特征维度，以提升诊断模型的实时效率。
本发明基于多特征深度融合策略构造乳腺肿块识别模型，无需大量参数，减少模型参数量，调制参数难度大大降低，因此模型训练时间被压缩，并将特征提取阶段与乳腺肿块识别阶段分离，极大降低模型对机器硬件配置的要求，能有效地降低训练模型所费时间成本及设备成本。
本发明对输入的图像尺寸没有严格要求，即它可以处理经过合理尺寸调整的乳腺造影图像，这样可尽可能多地保留乳腺造影图像中有价值的判别信息，为构建高质量的乳腺癌诊断模型奠定重要基础；且无需对病灶区域进行标记，即对整张乳腺造影图像而非病灶区域完成特征提取、乳腺癌诊断、诊断结果集成等任务，这也完全吻合实际的临床诊断过程。
本发明基于改进的ERGS算法完成特征中融合，综合考虑传统特征、深度学习特征、跨模态病理语义之间的互补性，进而采用改进的ERGS算法完成上述特征的中融合，有助于提升肿瘤识别精准度；
本发明构造的DE-Ada*模型能有效地挖掘不同特征间所蕴含的跨模态病理语义，跨模态病理语义的判别性更强，特征维度更低，有助于改善乳腺癌识别精准度及实时信息处理性能。此外，DE-Ada*还是一个多特征深度融合框架，模型具有很强的通用性和扩展性，即由该模型可以衍生出更多模型变种，为乳腺肿瘤识别提供了大量有效的模型。
本发明构造的DE-Ada*模型能较好地辅助病理医生的临床诊断工作，进一步提升其工作效率，并降低诊断中的假阳率，从而减少不必要的检查，这有助于合理分配医疗资源。此外，该模型有助于提高病人存活率，为病人节约就诊时间及治疗费用。
综上，本发明基于多阶段多特征深度融合机制构造DE-Ada*模型，集早期融合、中融合、后融合为一体的、全新的多阶段多特征深度融合机制，充分利用不同融合方法的优点，能切实提升乳腺癌识别性能，且模型训练更简单，并对输入图像尺寸、计算机硬件配置均没有严格要求。目前，已经可以提供单机及Web两种方式，完成实时的乳腺肿块识别任务。
附图说明
图1是本发明实施例提供的基于多阶段多特征深度融合的乳腺癌图像识别方法流程图。
图2是本发明实施例提供的DE-Ada*模型原理图。
图3是本发明实施例提供的基于多阶段多特征深度融合的乳腺癌图像识别系统结构示意图。
图中：1、图像特征提取模块；2、跨模态病理语义挖掘模块；3、多特征融合模块；4、乳腺肿块识别模块。
图4是本发明实施例提供的基于tsn-e工具可视化部分跨模态病理语义(节选自CBIS-DDSM数据集)图。
图5是本发明实施例提供的基于雷达图来进行分类性能综合对比图。
图中：(a)CBIS-DDSM；(b)INbreast。
图6是本发明实施例提供的DE-Ada*与变种模型的分类性能对比图。(a)CBIS-DDSMdataset；(b)INbreast dataset。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
仅提取传统特征不能准确刻画乳腺造影图像中的视觉内容。深度学习特征是对图像的深层次刻画，但其提取难度较大。现有方法采用的特征融合方式相对简单，未考虑不同特征在乳腺癌识别中的互补性。此外，特征之间的跨模态语义未得到有效利用，高质量的跨模态判别信息有待深入挖掘，且高维特征导致模型的时间复杂度较高；在神经网络模型的训练过程中，需调制大量参数，参数调制难度较高，故模型训练时间较长。神经网络模型对机器的硬件配置要求过高，需耗费大量成本购置包含多块GPU的高性能服务器。预训练好的神经网络模型对输入的图像尺寸有严格的要求，对于有较高分辨率的原始乳腺造影图像，大幅缩小图像尺寸容易丢失关键的判别信息，进而影响最终的识别性能。此外，基于图像块级别的识别模型需要首先完成病灶区域的准确标记，医学图像的标记成本较高。
为解决上述问题，下面结合附图对本发明作详细说明。
如图1所示，本发明实施例提供的基于多阶段多特征深度融合的乳腺癌图像识别方法包括：
S101，基于异构特征间的互补性，从形状、纹理、深度学习多角度提取图像的Gist(G)、SIFT(S)、LBP、HOG(H)及ResNet(R)、DenseNet(D)、VGG16(V)特征。
S102，基于判别相关分析模型深入挖掘不同特征间蕴含的跨模态病理语义，所述跨模态病理语义即不同特征都指向相同或相似的病灶语义，分别用(SG)、(SV)、(GH)、(GV)、(SR)、(DR)、(HR)等表示跨模态病理语义，一共21组。
S103，基于跨模态病理语义实现特征早期融合，基于改进的ERGS模型进行不同特征的中融合，采用混合软、硬投票机制的集成学习方法完成特征后融合；构造集早期融合、中融合、后融合为一体的多阶段多特征融合模型即DE-Ada*模型。
S104，利用构造的DE-Ada*模型进行乳腺肿块分类、识别并输出识别结果。
图2是本发明实施例提供的DE-Ada*模型原理图。
本发明实施例中，提供的多阶段多特征深度融合具体包括：
采用多个互补型的特征，基于不同提取方式，彼此异构，从不同的视觉角度刻画乳腺造影图像；集成特征早期融合、特征中融合和特征后融合等不同的融合方式进行深度融合。
步骤S102中，本发明实施例提供的跨模态语义分析模型包括但不限于DCA模型、CCL模型、DCCA模型、SCCA模型、MLP模型以及其他相关分析模型。
步骤S103中，本发明实施例提供的中融合实现方法具体包括：
基于Adaboost算法计算单特征、跨模态病理语义的预估概率，改进有效区域基因优选(ERGS)算法，动态计算单特征、跨模态病理语义的ERGS权重，采用ERGS权重加权预估概率，构建特征组合，采用改进的ERGS模型实现多特征中融合。
本发明实施例提供的多特征中融合模型还可以为MERGS、FS-SVPV、MKL、MK-BOOST及其他相关融合类模型。
步骤S103中，本发明实施例提供的后期融合实现方法具体包括：
进行SUM融合，同时基于Max完成决策，设计随机或排序两种策略，优选精准度最优的前n(n＝11)组ERGS特征组合中的n’(n’＝3,5,7,9,11)组特征组合，对预测结果进行软、硬两种投票决策，进行不同特征判别结果的集成学习，实现特征后期融合。
本发明实施例提供的后融合也可采用堆叠提升融合算法、加权融合等融合策略。
如图3所示，本发明实施例提供的基于多阶段多特征深度融合的乳腺癌图像识别系统具体包括：
图像特征提取模块1：用于基于异构特征间的互补性，从形状、纹理、深度学习多角度提取图像的Gist(G)、SIFT(S)、LBP(L)、HOG(H)及VGG16(V)、ResNet(R)、DenseNet(D)特征。
跨模态病理语义挖掘模块2：用于基于DCA模型深入挖掘不同特征间蕴含的跨模态病理语义。
多特征深度融合模块3：用于通过早期融合、中融合、后融合进行特征深度融合；并构造DE-Ada*模型。
肿瘤图像识别模块4：用于利用构造的DE-Ada*模型进行乳腺肿块的分类、识别并输出识别结果。
下面结合具体实施例对本发明的技术方案与技术效果做进一步说明。
实施例1：
多阶段多特征深度融合指：1)采用了多个互补型的特征，如传统特征与深度学习特征，其中传统特征有四个，深度学习特征有三个。由于特征提取方式不同且彼此异构，故它们从不同的视觉角度刻画乳腺造影图像；2)包含多个简单、易行、有效的特征融合方法：特征早期融合、特征中融合和特征后融合。每个阶段都能促使最终乳腺癌诊断性能的提升。
基于多阶段多特征深度融合思路，提出全新的DE-Ada*乳腺癌诊断模型，它包括：图像特征提取、跨模态病理语义挖掘、多特征中融合及乳腺癌分类四大部件，从形状、纹理、深度学习等角度提取图像的Gist(G)、SIFT(S)、HOG(H)、LBP(L)及VGG16(V)、ResNet(R)、DenseNet(D)特征，该特征提取思路充分考虑异构特征间的互补性；基于DCA模型深入挖掘不同特征间所蕴含的跨模态病理语义，即不同特征都指向相同或相似的病灶语义。分别用(SG)、(SV)、(GH)、(GV)等表示跨模态病理语义，如(SG)表示SIFT与Gist特征间蕴含的跨模态病理语义，基于跨模态病理语义实现特征早期融合；基于Adaboost算法计算单特征、跨模态病理语义的预估概率，改进有效区域基因优选(ERGS)算法，动态计算单特征、跨模态病理语义的ERGS权重，采用ERGS权重加权预估概率，构建特征组合，实现多特征中融合；最后，优选精准度最优的一组特征组合，对它们的预测结果进行软、硬两种投票(Hard Voting)决策，完成不同诊断结果的集成学习，即实现特征后期融合，以进一步提升诊断性能。综上，DE-Ada*是一个集早期融合、中融合、后融合为一体的多阶段多特征融合模型，其核心框架如图2所示。
同时，本发明实施例采用DCA模型挖掘不同特征间的跨模态病理语义，也可采用相似算法或模型，如CCL、DCCA、SCCA等实现同样的发明目的。即对于特征间的跨模态病理语义挖掘，相应的替代方案有：CCL、DCCA、SCCA、MLP等模型。
本发明实施例采用改进的ERGS模型完成不同特征的中融合，也可采用相似算法或模型，如MERGS、FS-SVPV、MKL、MK-BOOST等实现同样的发明目的；因此，对于特征中融合，相应的替代方案有：MERGS、FS-SVPV、MKL、MK-BOOST等模型；
本发明实施例采用软、硬两种投票机制的集成学习方法完成特征后融合，也可采用相似算法或策略，如堆叠提升(Stacked Boosting)、加权融合等实现同样的发明目的；因此，对于特征后融合，相应的替代方案有：堆叠提升、加权融合等算法或策略。
下面结合具体实验对本发明作进一步描述。
实验选择主流的CBIS-DDSM和INbreast两个数据集进行分析，分别从“跨模态病理语义挖掘”、“基于改进的ERGS模型的特征中融合”、“基于软、硬投票策略的特征后融合”等角度开展实验，由于DE-Ada*模型是一个多阶段多特征融合的模型，故实验数据的叙述也是一个不断递进的过程。评价指标包括Accuracy(精准度)、AUC(ROC曲线下面积)、Precision(准确率)、Sensitivity(敏感度)、Specificity(特异度)、TP(真阳)、FP(假阳)、TN(真阴)、FN(假阴)等指标。训练数据随机70％，剩余30％的数据进行测试。
首先，在提取图像的Gist(G)、SIFT(S)、HOG(H)、LBP(L)及VGG16(V)、ResNet(R)、DenseNet(D)特征的基础上，深入挖掘特征之间的跨模态病理语义，它们可以用(SG)、(SV)、(GH)、(GV)、(SR)、(DR)等来表示，共21组跨模态病理语义，由于数据量庞大，故仅展示最优的6组结果。DCA模型在完成跨模态分析后，可采用求和与拼接两种方式生成跨模态病理语义，故首先展示基于求和方式的跨模态病理语义的分类性能，分类模型选择传统的Adaboost(以凸显模型的一般性和可扩展性)，如表1所示：
表1求和方式得到的乳腺肿块分类性能(第3～8列单位：％，第9～12列单位：幅)
Figure BDA0002373989800000131
由表1可见：在CBIS-DDSM数据集上，(H+S)的整体性能更优，但其Acc和AUC值还有待提升。同时，(D+S)有一定的过拟合(TP＝0，FP＝0)。在INbreast数据集上，(R+S)的整体性能更优，它还优于CBIS-DDSM数据集，因为INbreast上的乳腺造影图像更加清晰。当然，(D+S)出现一定过拟合(TP＝0，FP＝0)。总之，求和方式得到的跨模态病理语义的维度过低，且求和操作在一定程度上稀释了关键的判别信息，故表1中整体分类性能不高。
基于拼接方式的跨模态病理语义的分类性能如表2所示，为公正比较，分类模型仍选择传统的Adaboost：
表2拼接方式得到的乳腺肿块分类性能(第3～8列单位：％，第9～12列单位：幅)
Figure BDA0002373989800000141
由表2可见：在CBIS-DDSM数据集上，S特征表现优异。其中(DS)整体性能最佳，无论是最大值，还是平均值，表2结果均优于表1，且过拟合现象得到有效抑制(TP≠0，FP≠0)，假阳率为4.64％，比较合理。在INbreast数据集上，(LS)整体性能最佳，无论是最大值，还是平均值，表2结果均优于表1，同样过拟合问题得到有效抑制，假阳率为4.55％，比较合理。总之，在跨模态病理语义的生成过程中，拼接式方法更优，它既能提升整体分类性能，还能有效抑制过拟合问题，并降低假阳率，后续实验均选择拼接式方法。为直观说明拼接方式的作用，选取tsn-e工具可视化展示已挖掘的跨模态病理语义，具体如图4基于tsn-e工具可视化部分跨模态病理语义(节选自CBIS-DDSM数据集)所示。显然，相比于图4(e)、(f)的单特征，跨模态病理语义能更好地区分不同类别的乳腺造影样本，它们将在最终乳腺肿块识别中扮演关键角色。
再者，在跨模态病理语义挖掘基础上，基于改进的ERGS模型完成特征中融合，即将原始单特征、跨模态病理语义置入改进的ERGS模型中，自动计算权重，进行特征中融合。CBIS-DDSM、INbreast两个数据集的实验结果如表3和表4所示，表3中SGGSHS是一个特征组合，包括S、G、G、S、H、和S，即全部采用原始特征，其它特征组合的命名同理。SG(GS)(HS)也是一个特征组合，包括S、G、(GS)、(HS)，其中(GS)、(HS)代表表2中的跨模态病理语义，其它特征组合命名同理。在表3、表4的上半部未考虑引入跨模态病理语义进行ERGS特征中融合，而表3、表4的下半部则考虑引入跨模态病理语义进行ERGS特征中融合。
表3CBIS-DDSM数据集上，ERGS中融合后的乳腺肿块分类性能(第3～8列单位：％，第9～12列单位：幅，“↑”表示相对于表格中上半部分，性能指标有提升)
Figure BDA0002373989800000151
由表3可见，引入跨模态病理语义进行特征中融合的效果优于仅采用7种原始特征进行特征中融合，且优于表2结果，此时最优的AUC达98.12％，最优的Acc达89.83％，假阳率仅为1.62％，这些都充分说明基于改进的ERGS模型完成特征中融合的重要性。
表4INbreast数据集上，ERGS中融合后的乳腺肿块分类性能(第3～8列单位：％，第9～12列单位：幅，“↑”表示相对于表格中上半部分，性能指标有提升)
Figure BDA0002373989800000152
Figure BDA0002373989800000161
类似的实验现象也出现在表4中。且在表4中，若仅采用7种原始特征完成乳腺肿块分类，会出现一定程度的过拟合(TP和FP特别小)。显然，引入跨模态病理语义进行特征中融合能有效抑制过拟合并应对数据不平衡问题。
综上，基于改进的ERGS模型的特征中融合在DE-Ada*模型中发挥了重要的作用。
再者，继续引入基于软、硬投票策略的特征中融合方法，即根据精准度值，在改进的ERGS模型输出的Top 11组特征组合中分别优选3、5、7、9、11组特征组合进行软、硬投票，以确定乳腺造影图像的最终标签。在优选过程中可以采用排序策略或随机策略，由于随机策略结果更优，故通过表5和表6进行展示如下：
表5硬投票后的乳腺肿块分类性能(第3～8列单位：％，第9～12列单位：幅)
Figure BDA0002373989800000162
Figure BDA0002373989800000171
由表5可见，无论是CBIS-DDSM还是INbreast数据集，其最关键的两个指标Acc和AUC值较表3、表4都有不同程度提高，这充分说明硬投票策略是有效的，即不同特征组合之间存在一定互补性，充分利用这一互补性能改善最终的识别性能。类似的实验结论也出现在表6中，由于INbreast数据集不平衡，故性能提升幅度有限。综上，软、硬两种投票策略都是有效的。
表6软投票后的乳腺肿块分类性能(第3～8列单位：％，第9～12列单位：幅)
Figure BDA0002373989800000172
除上述指标外，本发明专利还引入雷达图来更全面地度量模型的整体识别性能，具体如图5所示。该雷达图选择了表5或表6中的六大评价指标，然后对相应数值进行归一化，最后在图中画出相应的六边形，六边形面积越大则模型整体性能最优。
由图5可见，无论是在CBIS-DDSM，还是在INbreast数据集上，DE-Ada*模型都具有更大的六边形面积，这从另一个侧面全面、细致地刻画了各个模型的整体乳腺肿块识别性能，其中DE-Ada*模型在CBIS-DDSM数据集上表现更为优异。
另外，将DE-Ada*模型与其变种模型(也是由本发明专利提出)进行全面对比，即更换分类模型、跨模态语义分析模型完成乳腺肿块分类。模型包括CE-Ada*、CE-NB*、CE-XGB*等，实验结果如表7、表8所示：
表7 DE-Ada*模型与其变种模型在CBIS-DDSM上的乳腺肿块分类性能(第3～8列单位：％，第9～12列单位：幅)
Figure BDA0002373989800000181
由表7可见，无论是单个核心指标，如AUC、Acc等，还是综合类指标AKD(六边形面积)，DE-Ada*模型都优于相应的变种模型，这也确认了DCA、Adaboost这两个模型对于构建DE-Ada*模型的重要性。类似实验结果也出现在表8中，当然由于INbreast数据集不平衡，故性能提升不够显著。也可采用图6直观刻画各类模型的乳腺肿块的识别性能差异。此外，表7、表8中还表明：变种模型的性能也极具竞争力，这从另一个侧面说明本发明专利核心思想的有效性。
表8DE-Ada*模型与其变种模型在INbreast上的乳腺肿块分类性能(第3～8列单位：％，第9～12列单位：幅)
Figure BDA0002373989800000182
综上，无论是表格数据、雷达图还是直方图数据都显示：DE-Ada*模型优于全部变种模型。
最后，为了更全面地验证本发明专利所提方法的先进性，挑选了一组国际上主流的实验结果进行直接或间接比较，其中识别精准度ACC和AUC的比较结果如表9所示，实时识别时间(单幅图像的测试实践)的比较结果如表10所示。表10中左上、右上、左中、右中这四个部分为直接比较，因为它们都遵循了相同的实验设置。表10中右下、左下均为非直接比较，因为它们采用的数据(如某些模型采用ROI数据而非完整的乳腺造影图像)和实验设置有一定差异。因此，我们从直接、非直接两个角度来比较模型之间的关键性能指标(Acc和AUC)，进一步客观评价DE-Ada*模型。
表9 DE-Ada*模型与主流模型的乳腺肿块分类性能(“/”表示作者未提供相应数据，全部单位为％)
Figure BDA0002373989800000191
由表9可见，在直接比较中，对于CBIS-DDSM数据集，DE-Ada*模型优于全部的对比模型。对于INbreast数据集，DE-Ada*模型优于大部分对比模型，且非常接近Shen的单模型(95％)，但Shen并未提供精准度数值。在非直接比较中，DE-Ada*模型也表现更优，需要注意的是基于ROI的乳腺肿块分类模型依赖分割出的病灶区域，而DE-Ada*模型则直接处理整幅乳腺造影图像，这样做的优点：1)避免高昂代价的医学图像标注；2)无需对图像进行分割，进而影响后续的识别性能；3)可以充分利用图像中的上下文信息，提高识别精度；4)贴近医生的真实诊断过程。
在测试实时识别时间时，将测试样本分为10个块(Batch)，每个块具有相同的乳腺造影图像，然后将图像输入到模型中，完成识别并计算单幅图像所花费的时间，所有块测试完成后计算单幅图像平均所花费时间。我们选择了Shen的单模型及若干个主流深度学习模型进行比较，其中对于DE-Ada*模型，由于它包括了特征提取(Feature Extraction)，特征早期融合(DCA)、特征中融合(ERGS)、特征后融合(Classification)四个部分，故总时间也相应由这四个部分组成。为了公平比较，所有测试都是在同一台电脑上完成。
表10 DE-Ada*模型与主流模型的实时分类时间的比较(单位：s)
Figure BDA0002373989800000201
由表10可见，在CBIS-DDSM数据集上，Shen模型的实时性能最优，DE-Ada*模型的时间约为其两倍，但该时间在现有硬件环境下是可以接受的。DE-Ada*模型的优势在于特征早期融合、中融合及后融合花费时间非常少。若Shen选择4个模型进行平均(集成学习，即表9中Model Averaging策略)，则要分别训练4个深度学习模型，并通过这4个模型完成最终预测，则所花费的单幅图像测试时间约为0.89×4＝3.56s，从这个角度看，DE-Ada*模型的实时性能优于Shen的集成学习方法。如表9所示，在CBIS-DDSM数据集上，DE-Ada*模型的识别性能已优于Shen的模型。因此，DE-Ada*模型已具有一定实用价值。在INbreast数据集上，Shen的优势没有那么显著，且DE-Ada*模型优于多个深度学习模型。同样，若Shen选择4个模型进行平均(集成学习，即表9中Model Averaging策略)，要分别训练4个深度学习模型，并通过这4个模型完成最终预测，所花费的单幅图像测试时间约为1.33×4＝5.32s，从这个角度看，DE-Ada*模型优于Shen的集成学习方法，此外，DE-Ada*模型的识别精度逼近Shen，故DE-Ada*模型具有一定实用价值。总之，本发明专利所提出的DE-Ada*模型在实时识别时间的比较中也具有一定竞争力。
此外，相比于Shen的深度学习类模型，DE-Ada*模型在普通计算机上即可完成训练，且它无任何超参数，对图像尺寸没有严格的要求(对于CBIS-DDSM数据集，本发明将所有乳腺造影图像全部调整到1152×896；对于INbreast数据集，本发明将所有乳腺造影图像全部调整到2500×3300；而Shen及深度学习类模型需要将全部图像调整到224×224)，因此，DE-Ada*模型的训练及复现更加容易。表7、表8及图4的实验结果也证明，DE-Ada*的变种模型在乳腺肿块分类中也能取得非常不错的性能，这进一步证明本发明专利核心思想的鲁棒性。综上所述，DE-Ada*模型无论在识别精度(Acc、AUC、AKD等指标)，还是在实时识别时间(单幅图像测试时间)上都具有较强的竞争优势。此外，本发明专利对模型进行了非常全面的评测(Acc、AUC、AKD、TP、TN、FP、FN等指标)，并提出基于雷达图的全新的评价指标，这一评价指标对于更一般的肿瘤图像识别任务都具有十分重要的意义。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于多阶段多特征深度融合的乳腺癌图像识别方法，其特征在于，所述基于多阶段多特征深度融合的乳腺癌图像识别方法包括：
第一步，采用多个互补型的特征，基于不同提取方式，彼此异构，从不同的视觉角度刻画乳腺造影图像；
第二步，基于跨模态语义分析模型深入挖掘不同特征间蕴含的跨模态病理语义，实现特征早期融合；
第三步，动态计算特征的ERGS权重，完成特征中融合及优选特征组合实现特征后融合，最终实现多阶段多特征深度融合；
第一步中，需进行：基于异构特征间的互补性，从形状、纹理、深度学习多角度提取图像的Gist、SIFT、HOG及VGG16、LBP、DenseNet、ResNet一组优秀特征；
第二步中，挖掘模型包括DCA模型、CCL模型、DCCA模型、SCCA模型、MLP模型、CCA模型、特征拼接、多核学习融合以及其他跨模态语义分析模型；
所述跨模态语义包括：
所述跨模态语义即不同特征都指向相同或相似的病理语义，分别用SG、SV、SR、GH、GV、GR、SD表示跨模态病理语义，共21组跨模态病理语义；
第三步中，所述后融合实现方法具体包括：混合软、硬投票机制对中融合生成的特征组合进行投票，实现特征后融合；
所述特征后融合实现方法具体包括：
进行SUM融合，同时基于Max完成决策，设计随机或排序两种策略，精准度最优的前n组ERGS特征组合中的n’组特征组合，n=11，n’=3, 5, 7, 9, 11，对预测结果进行软、硬两种投票决策，进行不同特征判别结果的集成学习，实现特征后期融合。
2.如权利要求1所述基于多阶段多特征深度融合的乳腺癌图像识别方法，其特征在于，第三步中，所述中融合实现方法具体包括：基于改进的ERGS模型动态计算特征权重，实现特征中融合；
所述特征中融合实现方法具体包括：
基于Adaboost算法计算单特征、跨模态病理语义的预估概率；改进有效区域基因优选算法，动态计算单特征、跨模态病理语义的ERGS权重，采用ERGS权重加权预估概率，构建特征组合，采用改进的ERGS模型实现多特征中融合。
3.如权利要求1所述基于多阶段多特征深度融合的乳腺癌图像识别方法，其特征在于，采用改进的ERGS模型实现多特征中融合中，改进的ERGS模型或采用MERGS、FS-SVPV、MKL、MK-BOOST融合类模型。
4.如权利要求2所述基于多阶段多特征深度融合的乳腺癌图像识别方法，其特征在于，对预测结果进行软、硬两种投票决策中，所述决策或采用堆叠提升融合算法、加权融合=策略；
第三步进行后，还需进行：步骤四，利用构造的集早期融合、中融合、后融合为一体的DE-Ada*模型进行乳腺造影图像的识别，根据识别结果输出乳腺造影图像预测标签。
5.一种应用权利要求1~4任意一项所述基于多阶段多特征深度融合的乳腺癌图像识别方法的乳腺癌图像识别系统， 具体包括：
图像特征提取模块：用于基于异构特征间的互补性，从形状、纹理、深度学习多角度提取图像Gist、SIFT、HOG、LBP及VGG16、ResNet、DenseNet特征；
跨模态病理语义挖掘模块：用于基于判别相关分析模型深入挖掘不同特征间蕴含的跨模态病理语义，实现特征早期融合；
多特征融合模块：用于基于改进的ERGS模型进行特征中融合，动态分配特征的ERGS权重；基于软、硬两种投票机制，排名较前的几组特征组合，完成投票决策；最终构造DE-Ada*乳腺造影图像识别模型；
乳腺造影图像识别模块：用于利用构造的集早期融合、中融合、后融合为一体的DE-Ada*模型进行乳腺造影图像识别并输出识别结果。
6.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-4任意一项所述的基于多阶段多特征深度融合的乳腺癌图像识别方法。
CN202010059531.3A 2020-01-19 2020-01-19 基于多阶段多特征深度融合的乳腺癌图像识别方法及系统 Active CN111291789B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010059531.3A CN111291789B (zh) 2020-01-19 2020-01-19 基于多阶段多特征深度融合的乳腺癌图像识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010059531.3A CN111291789B (zh) 2020-01-19 2020-01-19 基于多阶段多特征深度融合的乳腺癌图像识别方法及系统

Publications (2)

Publication Number Publication Date
CN111291789A CN111291789A (zh) 2020-06-16
CN111291789B true CN111291789B (zh) 2022-07-05

Family

ID=71023276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010059531.3A Active CN111291789B (zh) 2020-01-19 2020-01-19 基于多阶段多特征深度融合的乳腺癌图像识别方法及系统

Country Status (1)

Country Link
CN (1) CN111291789B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112002407A (zh) * 2020-07-17 2020-11-27 上海大学 一种基于超声视频的乳腺癌诊断装置及其方法
CN112052982A (zh) * 2020-08-06 2020-12-08 深圳市第二人民医院(深圳市转化医学研究院) 诊断模型的诊断能力的评估方法、系统、设备和存储介质
CN112819032B (zh) * 2021-01-11 2023-10-27 平安科技（深圳）有限公司 基于多模型的切片特征分类方法、装置、设备及介质
CN112767346B (zh) * 2021-01-18 2021-10-29 北京医准智能科技有限公司 基于多影像的全卷积单阶段乳腺图像病灶检测方法及装置
CN113158745B (zh) * 2021-02-02 2024-04-02 北京惠朗时代科技有限公司 一种基于多特征算子的乱码文档图片识别方法及系统
CN115205300B (zh) * 2022-09-19 2022-12-09 华东交通大学 基于空洞卷积和语义融合的眼底血管图像分割方法与系统
CN117079059B (zh) * 2023-10-13 2023-12-19 云南师范大学 一种基于多源卫星图像的树种自动分类方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6531274B1 (en) * 2001-07-31 2003-03-11 Eastman Kodak Company High chloride emulsion doped with combination of metal complexes
CN1433318A (zh) * 1999-02-08 2003-07-30 人体基因组科学有限公司 血管内皮生长因子2
WO2013101989A1 (en) * 2011-12-30 2013-07-04 Ventana Medical Systems, Inc. Automated analysis of circulating tumor cells
CN109598709A (zh) * 2018-11-29 2019-04-09 东北大学 基于融合深度特征的乳腺辅助诊断系统及方法
CN109635835A (zh) * 2018-11-08 2019-04-16 深圳蓝韵医学影像有限公司 一种基于深度学习与迁移学习的乳腺病变区域检测方法
CN110264462A (zh) * 2019-06-25 2019-09-20 电子科技大学 一种基于深度学习的乳腺超声肿瘤识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002237B2 (en) * 2011-07-13 2015-04-07 Xerox Corporation Electrostatic imaging member and methods for using the same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1433318A (zh) * 1999-02-08 2003-07-30 人体基因组科学有限公司 血管内皮生长因子2
US6531274B1 (en) * 2001-07-31 2003-03-11 Eastman Kodak Company High chloride emulsion doped with combination of metal complexes
WO2013101989A1 (en) * 2011-12-30 2013-07-04 Ventana Medical Systems, Inc. Automated analysis of circulating tumor cells
CN109635835A (zh) * 2018-11-08 2019-04-16 深圳蓝韵医学影像有限公司 一种基于深度学习与迁移学习的乳腺病变区域检测方法
CN109598709A (zh) * 2018-11-29 2019-04-09 东北大学 基于融合深度特征的乳腺辅助诊断系统及方法
CN110264462A (zh) * 2019-06-25 2019-09-20 电子科技大学 一种基于深度学习的乳腺超声肿瘤识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Classification of breast cancer histology images using convolutional neural networks;teresa araujo等;《plos one》;20170601;第12卷(第6期);第1-14页 *
Cross-Modal Facial Attribute Recognition with Geometric Features;Chloe Bradley等;《2017 IEEE 12th International Conference on Automatic Face & Gesture Recognition》;20170629;第891-896页 *
Discriminant correlation analysis for feature level fusion with application to multimodal biometrics;M. Haghighat等;《2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)》;20160519;第1866-1870页 *
Novel framework for image attribute annotation with gene selection XGBoost algorithm and relative attribute model;Hongbin Zhang等;《Applied Soft Computing Journal》;20190318;第80卷;第57-79页 *

Also Published As

Publication number Publication date
CN111291789A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN111291789B (zh) 基于多阶段多特征深度融合的乳腺癌图像识别方法及系统
Shah et al. A robust approach for brain tumor detection in magnetic resonance images using finetuned efficientnet
Miranda et al. A survey of medical image classification techniques
WO2020087960A1 (zh) 一种影像识别的方法、装置、终端设备和医疗系统
CN111767952B (zh) 一种可解释的肺结节良恶性分类方法
CN116681958B (zh) 基于机器学习的胎儿肺脏超声影像成熟度预测方法
Garnavi Computer-aided diagnosis of melanoma
Kolla et al. CNN-based brain tumor detection model using local binary pattern and multilayered SVM classifier
Tian et al. Radiomics and Its Clinical Application: Artificial Intelligence and Medical Big Data
Roy et al. Heterogeneity of human brain tumor with lesion identification, localization, and analysis from MRI
CN116230237B (zh) 一种基于roi病灶特征的肺癌影响评价方法和系统
Kolli et al. Efficient development of supervised learning algorithm for kidney stone prediction
CN109635866A (zh) 处理肠图像的方法
Singh et al. Detection of Brain Tumors Through the Application of Deep Learning and Machine Learning Models
Javan et al. Classification and Segmentation of Pulmonary Lesions in CT images using a combined VGG-XGBoost method, and an integrated Fuzzy Clustering-Level Set technique
Kooi et al. Classifying symmetrical differences and temporal change in mammography using deep neural networks
Liu et al. URDNet: a unified regression network for GGO detection in lung CT images
Çinar Integrating hyperspectral imaging and microscopy for hepatocellular carcinoma detection from H&E stained histopathology images
Musa et al. Intracranial-tumor detection and classification system using convnet and transfer learning
Upadhyay et al. Classification of benign-malignant pulmonary lung nodules using ensemble learning classifiers
Ghani On forecasting lung cancer patients’ survival rates using 3D feature engineering
Paraname et al. Brain tumor detection using method of segmentation based on soft computing
Srikanth et al. Analysis and Detection of Multi Tumor from MRI of Brain using Advance Adaptive Feature Fuzzy C-means (AAFFCM) Algorithm
Samundeeswari et al. An efficient fully automated lung cancer classification model using googlenet classifier
Heidari Applying novel machine learning technology to optimize computer-aided detection and diagnosis of medical images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant