CN112598622B - 一种融合深度多示例学习和包间相似性的乳腺癌检测方法 - Google Patents
一种融合深度多示例学习和包间相似性的乳腺癌检测方法 Download PDFInfo
- Publication number
- CN112598622B CN112598622B CN202011396688.1A CN202011396688A CN112598622B CN 112598622 B CN112598622 B CN 112598622B CN 202011396688 A CN202011396688 A CN 202011396688A CN 112598622 B CN112598622 B CN 112598622B
- Authority
- CN
- China
- Prior art keywords
- similarity
- packet
- package
- breast cancer
- inter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
一种融合深度多示例学习和包间相似性的乳腺癌检测方法。涉及模式识别、图像处理以及计算机视觉等领域,本方法研究基于包间相似性的深度多示例学习方法中相似性无法自动学习问题以及该方法在乳腺癌检测中的应用。现有的基于包间相似性的深度多示例学习方法在乳腺癌检测中具有良好效果,但是该方法使用固定的相似性度量,未考虑其自动学习问题,本方法通过引入通道和空间注意力机制对包间相似性进行自动学习,优化后的网络能够自动学习到比较重要的包间关系和示例间关系。与原始方法相比,基于本方法的乳腺癌检测准确率更高,具有一定的实用价值。
Description
技术领域
本发明涉及模式识别、图像处理以及计算机视觉等领域,具体涉及一种基于深度多示例学习的乳腺癌检测方法。
背景技术
近年来,人工智能在医学辅助诊断中扮演着越来越重要的角色,不仅能够辅助承担繁琐的病患筛查工作,而且可一定程度上避免人工阅片带来的主观错误。然而,获取医学图像的细粒度标记(如:像素级标记)通常十分困难,导致传统的强监督学习方法在医学图像处理中难以适用。为了解决上述问题,仅利用整幅图像标注的弱监督学习技术在医学辅助诊断中逐渐被广泛采用并取得了同强监督学习相当或更优的效果。作为一种典型的弱监督学习范式,多示例学习一经提出便引发了业界的广泛关注,尤其是在各种医学图像处理任务中展现出不错的表现。
乳腺癌是一种女性得病率较高的恶性肿瘤,针对乳腺癌的医学图像分类具有非常重要的研究价值。本发明采用深度多示例学习技术对乳腺癌H&E图像进行分类,首先将患者的H&E图像分割为不同块,然后将整张图像视为包,图像块视为包中示例,示例的类别未知,但包的类别已知(已由专业的医生标记好),最后利用深度多示例学习技术完成特征的提取和图像的分类。
与传统多示例学习方法相比,本方明所提出的融合深度多示例学习和包间相似性的乳腺癌检测方法具有以下特点:不仅考虑到示例级别的判别信息还考虑到包级别的判别信息,所提算法具备更强的鲁棒性;利用通道和空间注意力机制对包间关系和示例间关系进行学习,解决了现有方法在包间相似性上的不可学习问题;与其他方法相比,所提方法对乳腺癌的检测准确率更高。
发明内容
本发明提出一种融合深度多示例学习和包间相似性的乳腺癌检测方法。该方法综合利用示例级别和包级别信息对乳腺癌患者的H&E图像进行分类判断,并通过引入通道和空间注意力模块对包间相似性和示例间关系进行自动学习,与其他方法相比,所提方法对乳腺癌的检测准确率更高,具有一定的实用价值。
本发明的融合深度多示例学习和包间相似性的乳腺癌检测方法,主要包括如下关键步骤:
第1、基础网络的构建:
第1.1、使用一些常见的神经网络提取示例特征;
第1.2、利用注意力机制从多角度重构包的表示;
第1.3、聚合包中示例形成包级表示并对包类别进行预测;
第2、主干网络的构建:
第2.1、提取由基础网络习得的重构包作为参考包;
第2.2、计算目标包与所有参考包的相似性;
第2.3、将相似性矩阵送入通道注意力模块;
第2.4、将通道注意力模块的输出送入空间注意力模块;
第2.5、将空间注意力模块的输出送入分类器进行分类判断。
进一步,步骤第1.1中构建了基础网络,采用全连接层或卷积层这些常用的神经网络提取示例的抽象特征;
步骤第1.2中基于注意力机制的包重构方法如下:利用多个不同查询向量对原始包进行查询,产生示例权重并对所有示例进行加权平均,将原始包重构为由平均示例所构成的新包,假设X′i为新包,则上述过程可描述为:
其中softmax和tanh为激活函数,V和W为可学习参数;
步骤第1.3中聚合包中示例并预测包类别的方法如下:再次应用注意力机制并采用单个查询向量,将重构包中的所有示例聚合为一个单特征向量,即包级表示,进而将该包级表示送入分类器获得包的分类结果,则这一过程可形式化为:
P(Xi)=f(AttPooling2(X′i)),
其中P(Xi)是分类器f对包Xi的预测值。
进一步,步骤第2.1中提取经由基础网络习得的重构包并将其作为参考包,这些参考包用于计算与目标包所对应的相似性矩阵。
步骤第2.2中为了更好地计算目标包与参考包之间的相似性,对目标包使用新的特征提取模块,用新的目标包参与相似性运算,假设目标包为XT,参考包为则XT与所有参考包之间的相似性可用矩阵 来表示,其中是XT与之间的相似性矩阵,由个示例间的内积结果构成。
步骤第2.3中构造通道注意力模块,为不同的相似性矩阵分配不同的权重,以满足不同参考包对目标包有不同影响这一特点,增强模型的可解释性。首先对每个通道上的相似性矩阵进行全局平均池化得到通道的代表值,然后将所有代表值送入由两个卷积层所构成的通道注意力模块获得通道权重,整个过程可描述为:
S=Conv2(Conv1(GlobalPooling((S))))·S,
其中两个卷积层的激活函数分别采用ReLU和Sigmoid。
步骤第2.4中构造空间注意力模块,为不同位置的相似性分配不同的权重,以满足不同示例所形成的“示例对”在相似性上的重要程度不同这一特点,增强模型的判别性。首先对所有通道进行平均得到AvgPooling(S),然后利用1×1卷积获得空间注意力图,整个过程可描述为:
S=Conv(AvgPooling(S)·S,
其中卷积层的激活函数采用softmax。
步骤第2.5中将经过空间注意力模块的输出,即一系列相似性矩阵,聚合为一个特征向量,具体操作如下:
最后,将上述特征向量送入分类器得到目标包的预测结果。
本发明的优点和积极效果:
本发明设计了一种融合深度多示例学习和包间相似性的乳腺癌检测方法,主要研究深度多示例学习中包间关系无法自动学习问题及其在乳腺癌检测中的应用。包间关系是一种有效的分类依据,如何对其进行聚合来产生有效的特征表达是设计基于包间关系的深度多示例学习神经网络的关键,现有方法采用人为定义的池化方式,无法对包间关系进行自动学习。为了解决上述问题,本发明引入通道和空间注意力机制对包间相似性矩阵进行自动学习,对于不同的目标包,采用不同的权重分配方案来自动获得相似性矩阵的重要性并提取相似性矩阵中的重要信息。与现有方法相比,本方法对乳腺癌的检测准确率更高,具有一定的实用价值。
附图说明
图1是本发明公开的基于深度多示例学习的乳腺癌H&E图像分类举例图;
图2是基础网络的结构图;
图3是主干网络的结构图;
图4是空间注意力模块的结构图;
图5是通道注意力模块的结构图;
图6是各种多示例学习方法的性能比较。
具体实施方式
实施例:
本实施例利用Python语言和PyTorch框架构建融合深度多示例学习和包间相似性的乳腺癌检测方法。检测的主要目标是由网络推导目标包为正的概率从而判断病人是否患有乳腺癌。除此之外,我们的方法还可用于其它疾病的检测。主要涉及的实施操作有基础网络和主干网络的构建,其中主干网络的通道和空间注意力模块是算法最大的创新点。
本实施例融合深度多示例学习和包间相似性的乳腺癌检测方法,主要包括如下关键步骤:
第1、基础网络的构建:
第1.1、使用一些常见的神经网络提取示例特征;
第1.2、利用注意力机制从多角度重构包的表示;
第1.3、聚合包中示例形成包级表示并对包类别进行预测;
第2、主干网络的构建:
第2.1、提取由基础网络习得的重构包作为参考包;
第2.2、计算目标包与所有参考包的相似性;
第2.3、将相似性矩阵送入通道注意力模块;
第2.4、将通道注意力模块的输出送入空间注意力模块;
第2.5、将空间注意力模块的输出送入分类器进行分类判断。
本发明步骤第1.1中构建了基础网络,网络结构如图2所示,其中Featureextracting module一般采用全连接层或卷积层这些常用的神经网络来提取示例的抽象特征。
步骤第1.2中基于注意力机制的包重构方法如下:利用多个不同查询向量对原始包进行查询,产生示例权重并对所有示例进行加权平均,将原始包重构为由平均示例所构成的新包,假设X′i为新包,则上述过程可描述为:
其中softmax和tanh为激活函数,V和W为可学习参数。
步骤第1.3中聚合包中示例并预测包类别的方法如下:再次应用注意力机制并采用单个查询向量,将重构包中的所有示例聚合为一个单特征向量,即包级表示,进而将该包级表示送入分类器获得包的分类结果,则这一过程可形式化为:
P(Xi)=f(AttPooling2(X′i)),
其中P(Xi)是分类器f对包Xi的预测值。
注意力机制是由人类视觉系统所特有的大脑信号处理机制演变而来,人类视觉系统通过快速扫描图像全局,获得需要重点关注的目标区域,也就是一般所说的注意力焦点,而后对这一区域投入更多注意力资源,以获取更多所需要关注目标的细节信息,而抑制其它无用信息。注意力机制可以使得神经网络具备专注于部分输入或其特征子集的能力。注意力机制可以应用于任何类型的输入而不论其形状如何,在计算资源有限的情况下,注意力机制是解决信息超载问题的一种有效的资源分配方案,将计算资源分配给更重要的任务或对象。
进一步,步骤第2.1中提取经由基础网络学习得到的重构包并将其作为参考包,这些参考包被送入主干网络,用于计算与目标包的相似性矩阵,其中主干网络的整体结构如图3所示。
步骤第2.2中为了更好地计算目标包与参考包之间的相似性,对目标包使用新的特征提取模块,用新的目标包参与相似性运算,假设目标包为XT,参考包为则XT与所有参考包之间的相似性可用矩阵 来表示,其中是XT与之间的相似性矩阵,由个示例间的内积结果构成。
步骤第2.3中构造通道注意力模块,其整体结构如图4所示。通道注意力模块为不同的相似性矩阵分配不同的权重,以满足不同参考包对目标包有不同影响这一特点,增强模型的可解释性。首先对每个通道上的相似性矩阵进行全局平均池化得到通道的代表值,然后将所有代表值送入由两个卷积层所构成的通道注意力模块获得通道权重,整个过程可描述为:
S=Conv2(Conv1(GlobalPooling((S))))·S,
其中两个卷积层的激活函数分别采用ReLU和Sigmoid。
步骤第2.4中构造空间注意力模块,其整体结构如图5所示。空间注意力模块为不同位置的相似性分配不同的权重,以满足不同示例所形成的“示例对”在相似性上的重要程度不同这一特点,增强模型的判别性。首先对所有通道进行平均得到AvgPooling(S),然后利用1×1卷积获得空间注意力图,整个过程可描述为:
S=Conv(AvgPooling(S)·S,
其中卷积层的激活函数采用soffmax。
步骤第2.5中将经过空间注意力模块的输出,即一系列相似性矩阵,聚合为一个特征向量,具体操作如下:
最后,将上述特征向量送入分类器得到目标包的预测结果,图6给出了本方法与其他方法在Breast Cancer数据集上的分类性能的对比结果。
通道注意力通过对各个特征通道的重要程度进行建模,能够起到针对不同任务增强或抑制不同通道的作用。在多示例学习中,将每个相似性矩阵视为一个通道,利用通道注意力机制能够自动选择重要的包间关系而忽视不相关的包间关系。
空间注意力专注于每个通道的不同位置的重要程度,在计算机视觉任务中,图像的不同部分包含不同的主体,成功抓取重要主体并依据其进行图像识别有利于提高识别的准确率。将空间注意力应用于包间关系的学习,有助于捕获包间重要的示例关系。
Claims (9)
1.一种融合深度多示例学习和包间相似性的乳腺癌检测方法,其特征在于该方法包括如下步骤:
第1、基础网络的构建:
第1.1、使用一些常见的神经网络提取示例特征;
第1.2、利用注意力机制从多角度重构包的表示;
第1.3、聚合包中示例形成包级表示并对包类别进行预测;
第2、主干网络的构建:
第2.1、提取由基础网络习得的重构包作为参考包;
第2.2、计算目标包与所有参考包的相似性;
第2.3、将相似性矩阵送入通道注意力模块;
第2.4、将通道注意力模块的输出送入空间注意力模块;
第2.5、将空间注意力模块的输出送入分类器进行分类判断;
将患者的H&E图像分割为不同块,然后将整张图像视为包,图像块视为包中示例,示例的类别未知,但包的类别已知,已由专业的医生标记好,最后利用深度多示例学习技术完成特征的提取和图像的分类。
2.如权利要求1所述的融合深度多示例学习和包间相似性的乳腺癌检测方法,其特征在于,步骤第1.1中构建了基础网络,采用全连接层或卷积层这些常用的神经网络提取示例的抽象特征。
4.如权利要求1所述的融合深度多示例学习和包间相似性的乳腺癌检测方法,其特征在于,步骤第1.3中聚合包中示例并预测包类别的方法如下:再次应用注意力机制并采用单个查询向量,将重构包中的所有示例聚合为一个单特征向量,即包级表示,进而将该包级表示送入分类器获得包的分类结果,则这一过程可形式化为:
P(Xi)=f(AttPooling2(Xi)),
其中P(Xi)是分类器f对包Xi的预测值。
5.如权利要求1所述的融合深度多示例学习和包间相似性的乳腺癌检测方法,其特征在于,步骤第2.1中提取经由基础网络习得的重构包并将其作为参考包,这些参考包用于计算与目标包对应的相似性矩阵。
7.如权利要求1所述的融合深度多示例学习和包间相似性的乳腺癌检测方法,其特征在于,步骤第2.3中构造通道注意力模块,为不同的相似性矩阵分配不同的权重,以满足不同参考包对目标包有不同影响这一特点,增强模型的可解释性,首先对每个通道上的相似性矩阵进行全局平均池化得到通道的代表值,然后将所有代表值送入由两个卷积层所构成的通道注意力模块获得通道权重,整个过程可描述为:
S=Conv2(Conv1(GlobalPooling((S))))·S,
其中两个卷积层的激活函数分别采用ReLU和Sigmoid。
8.如权利要求1所述的融合深度多示例学习和包间相似性的乳腺癌检测方法,其特征在于,步骤第2.4中构造空间注意力模块,为不同位置的相似性分配不同的权重,以满足不同示例所形成的“示例对”在相似性上的重要程度不同这一特点,增强模型的判别性,首先对所有通道进行平均得到AvgPooling(S),然后利用1×1卷积获得空间注意力图,整个过程可描述为:
S=Conv(AvgPooling(S)·S,
其中卷积层的激活函数采用softmax。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011396688.1A CN112598622B (zh) | 2020-12-03 | 2020-12-03 | 一种融合深度多示例学习和包间相似性的乳腺癌检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011396688.1A CN112598622B (zh) | 2020-12-03 | 2020-12-03 | 一种融合深度多示例学习和包间相似性的乳腺癌检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112598622A CN112598622A (zh) | 2021-04-02 |
CN112598622B true CN112598622B (zh) | 2022-08-09 |
Family
ID=75187808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011396688.1A Active CN112598622B (zh) | 2020-12-03 | 2020-12-03 | 一种融合深度多示例学习和包间相似性的乳腺癌检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112598622B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113688248B (zh) | 2021-10-26 | 2022-02-22 | 之江实验室 | 一种小样本弱标注条件下的医疗事件识别方法及系统 |
CN116936091A (zh) * | 2023-06-09 | 2023-10-24 | 上海全景医学影像诊断中心有限公司 | 一种肝细胞癌微血管侵犯预测方法及模型 |
CN116485792B (zh) * | 2023-06-16 | 2023-09-15 | 中南大学 | 组织病理学亚型预测方法及成像方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103325125B (zh) * | 2013-07-03 | 2016-08-10 | 北京工业大学 | 基于改进多示例学习算法的运动目标跟踪方法 |
CN105787513A (zh) * | 2016-03-01 | 2016-07-20 | 南京邮电大学 | 多示例多标记框架下基于域适应迁移学习设计方法和系统 |
CN106055573B (zh) * | 2016-05-20 | 2019-12-27 | 西安邮电大学 | 一种多示例学习框架下的鞋印图像检索方法及系统 |
CN109165673B (zh) * | 2018-07-18 | 2021-08-31 | 广东工业大学 | 基于度量学习和多示例支持向量机的图像分类方法 |
CN109919165B (zh) * | 2019-03-18 | 2021-07-06 | 广东工业大学 | 一种基于相似度的多示例字典学习分类方法及装置 |
US11361470B2 (en) * | 2019-05-09 | 2022-06-14 | Sri International | Semantically-aware image-based visual localization |
CN110210534B (zh) * | 2019-05-21 | 2022-09-02 | 河海大学 | 基于多包融合的高分遥感图像场景多标签分类方法 |
-
2020
- 2020-12-03 CN CN202011396688.1A patent/CN112598622B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112598622A (zh) | 2021-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112598622B (zh) | 一种融合深度多示例学习和包间相似性的乳腺癌检测方法 | |
Adegun et al. | Deep learning techniques for skin lesion analysis and melanoma cancer detection: a survey of state-of-the-art | |
Yu et al. | Deep-learning-empowered breast cancer auxiliary diagnosis for 5GB remote E-health | |
Bian et al. | A novel and efficient CVAE-GAN-based approach with informative manifold for semi-supervised anomaly detection | |
CN111797683A (zh) | 一种基于深度残差注意力网络的视频表情识别方法 | |
Jia et al. | A study on automated segmentation of blood regions in wireless capsule endoscopy images using fully convolutional networks | |
Bargshady et al. | The modeling of human facial pain intensity based on Temporal Convolutional Networks trained with video frames in HSV color space | |
Wu et al. | Feedback weight convolutional neural network for gait recognition | |
CN109241816B (zh) | 一种基于标签优化的图像再识别系统及损失函数确定方法 | |
US20220253639A1 (en) | Complementary learning for multi-modal saliency detection | |
Bai et al. | Correlative channel-aware fusion for multi-view time series classification | |
Shinde et al. | DeepCyto: A hybrid framework for cervical cancer classification by using deep feature fusion of cytology images | |
Takezoe et al. | Deep active learning for computer vision: Past and future | |
Codella et al. | Segmentation of both diseased and healthy skin from clinical photographs in a primary care setting | |
CN105139422B (zh) | 一种自解释目标跟踪方法及装置 | |
CN116433679A (zh) | 一种基于空间位置结构先验的内耳迷路多级标注伪标签生成与分割方法 | |
Nourmohammadi-Khiarak et al. | Object detection utilizing modified auto encoder and convolutional neural networks | |
Zhao et al. | Research on human behavior recognition in video based on 3DCCA | |
Malleswari et al. | Diverse Convolutional Neural Network Models for Feature Extraction from Brain Tumor Images | |
Luo et al. | EdgeActNet: Edge Intelligence-enabled Human Activity Recognition using Radar Point Cloud | |
Akilan | A foreground inference network for video surveillance using multi-view receptive field | |
Semwal et al. | S-PANET: a shallow convolutional neural network for pain severity assessment in uncontrolled environment | |
Zhou et al. | Human interaction recognition with skeletal attention and shift graph convolution | |
Allinson et al. | An overview on unsupervised learning from data mining perspective | |
Guzmán Ramírez et al. | Grayscale image segmentation based on associative memories |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |