CN112906867A - 一种基于像素梯度加权的卷积神经网络特征可视化方法及系统 - Google Patents

一种基于像素梯度加权的卷积神经网络特征可视化方法及系统 Download PDF

Info

Publication number
CN112906867A
CN112906867A CN202110242364.0A CN202110242364A CN112906867A CN 112906867 A CN112906867 A CN 112906867A CN 202110242364 A CN202110242364 A CN 202110242364A CN 112906867 A CN112906867 A CN 112906867A
Authority
CN
China
Prior art keywords
pixel
gradient
visualization
map
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110242364.0A
Other languages
English (en)
Other versions
CN112906867B (zh
Inventor
黄炜
颜天信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Key Information Technology Co ltd
Original Assignee
Anhui Key Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Key Information Technology Co ltd filed Critical Anhui Key Information Technology Co ltd
Priority to CN202110242364.0A priority Critical patent/CN112906867B/zh
Publication of CN112906867A publication Critical patent/CN112906867A/zh
Application granted granted Critical
Publication of CN112906867B publication Critical patent/CN112906867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于像素梯度加权的卷积神经网络特征可视化方法及系统，该方法包括：确定进行可视化所需的CNN模型、输入图像、类别索引、网络层级等需求参量；利用训练好的CNN模型对输入图像进行前向传播计算；保存目标层级前向计算输出的特征图；接着基于类别索引生成对应的单位向量并进行反向传播；获取目标层级反向传播得到的梯度图；对上述得到的梯度图和特征图进行像素级加权融合；再经过后处理最后得到类激活可视化输出结果。本发明提供一种新的融合特征图和梯度图的CNN可视化方法，可以得到对类别的显著性激活图，提供对类别更具有判别性的解释和定位能力，并对网络层数适用范围更广。

Description

一种基于像素梯度加权的卷积神经网络特征可视化方法及 系统
技术领域
本发明涉及计算机视觉和深度学习可解释性领域，特别是涉及一种基于像素梯度加权的卷积神经网络特征可视化方法及系统。
背景技术
目前，以卷积神经网络为主的深度学习技术为计算机视觉带来了革命性的进步，在很多任务上取得了远超传统算法的重大突破，比如图像识别、物体检测、语义分割、图像检索等。但卷积神经网络(CNN)目前仍然存在缺陷，其中最大的问题就是解释性差。虽然存在较为公认的理解是，CNN模型对于计算机视觉处理上模拟了人类大脑神经元不同层次的互相连接，卷积滤波提取图像局部信息的模型也与人类感受野模型较为相近，不同神经元获取部分信息，处理得到响应然后向更深层级传递。这种方式也确实有效，让CNN能够自动地提取到潜在特征，但是我们仍然很难从人类的视角去认识和解释它学出的特征究竟是什么样的。解释性弱使得深度神经网络莫模型通常类似于一个黑箱，我们知其然而难知其所以然，这也限制了我们尽可能地利用人类先验去设计网络模型，以追求更好的性能，更强的鲁棒性和迁移性。
因此，增加卷积神经网络解释性的研究意义重大，而特征可视化研究正对此起重要作用。特征可视化方法把深度网络内部特征转化为人类视觉可感知的模式加以展现，提升了人们对深度网络内部语义和特征的直观理解。一类最常用的技术可以归纳为类别激活映射可视化，对于给定的网络和输入，一般从高层语义分量出发，通过反向计算得到期望网络层级上的显著性图，结果多以热力图形式呈现，最主要的就是Guided BP(导向反向传播可视化)、CAM(类激活图)、 Grad-CAM(基于梯度的类激活图)及其泛化版本(Grad-CAM++等)。这类方法可以揭示高层语义和特征空域位置的关联性，计算简单，得出的可视化热力图可以看作不同任务不同语义下的显著性图，从而具有判别性定位能力，可以解释模型具体偏好哪些空域信息以及学到了哪些特征，也可以进一步用于弱监督定位和分割等具体任务。
然而，当前类激活图及其变种方法，目前均存在许多缺陷：首先，它们对网络层级适用范围窄，一般只适用于网络深层的可视化，但是深层特征分辨率低，上采样后对原图的定位不够细腻，而在分辨率较高的浅层可视化图则通常高响应区域杂乱，难以分析和利用；另外，它们对单幅图多类物体的情况可视化效果欠佳，容易产生对其它无关类别的高响应，从而对给定类别的显著性结果不够具有判别性。
发明内容
针对现有技术存在的问题，本发明提出的一种基于像素梯度加权的卷积神经网络特征可视化方法及系统实现在保证高分辨率的情况下，改善类激活映射可视化的解释性定位能力。
第一方面，本发明保护一种基于像素梯度加权的卷积神经网络特征可视化方法，该方法包括如下步骤S1至S8：
S1,输入类别激活可视化计算过程中的需求参量，包括CNN模型、待可视化图像、类别索引和网络层级；
S2,利用数据集对CNN模型进行训练，优化参数，得到训练好的CNN模型；
其中，数据集为事先采集用于训练的样本集合，主要用来训练神经网络中的参数。
S3,利用训练好的CNN模型对输入图像进行前向传播计算；
S4,利用网络层级，获取目标层级前向传播计算输出的特征图；
S5,基于类别索引生成对应的单位向量并进行反向传播；
S6,利用网络层级，获取目标层级反向传播得到的梯度图；
S7,对上述得到的特征图和上述得到的梯度图进行像素级加权融合；
S8,经过后处理得到类别激活可视化输出结果。
进一步地，输入类别激活可视化计算过程中的需求参量具体为：
CNN模型：用于解决数据分类，可以使用常用的经典架构，如VGG、Resnet、Inception、SqueezeNet等及其组合结构；
类别索引：记为c，用于分析模型在判别类c时对各个图像空间位置的依赖程度；
网络层级：用于对网络模型的某一给定的中间层进行特征提的取利用和分析，其中提取的特征图和梯度图输出维度均为C×H×W，其中，C代表通道数，H、 W分别代表二维空域的宽、高。
进一步地，前向传播计算方法为：
首先初始化得到零向量[0，0，…，0]∈RN，根据类别索引c，将零向量的第c 维分量置1，得到该类别所对应的单位向量Ec；
将Ec作为网络输出logits的导数初始值，根据链式法则，从该导数初始值开始逐层反向求特征图的偏导；
其中，N表示分类网络学习的类别总数，Ec∈RN与网络输出logits的维度一致。
进一步地，具体的像素级加权方法为：
首先，记上述得到的特征图为A∈RC×H×W，其中
Figure BDA0002960262510000031
表示特征图第k个通道、第i行、第j列像素位置的值，同理记上述得到的梯度图为Gc，其中
Figure BDA0002960262510000032
Figure BDA0002960262510000033
然后对特征图每个像素位置进行权值计算，权值矩阵W的(i，j)像素位置的权重为：
Figure BDA0002960262510000034
其中，在利用特征图和梯度图参与计算前，对其进行线性整流的预处理，其中预处理使用的线性激活函数为ReLU函数。
然后，经过加权融合，可得到对类别c的类激活可视化图Lc＝∑kWkc·Ak。
其中，类激活图Lc∈RH×W，每个像素位置的激活值为：
Figure BDA0002960262510000035
进一步地，后处理包括如下步骤：
首先，进行齐次化，对类激活可视化图Lc做空域范围内的齐次化，每个像素位置的值线性归一到[0，1]区间；
然后，进行上采样，将可视化图上采样到输入图像同等维度，提升可视化分辨率，其每个位置的值可以表示网络对输入原图做判别时所对应位置的显著性；
其中，优选地，上采样方式选择双线性插值上采样。
最后，进行伪彩转化，将灰度色彩空间的可视化图转化到彩色空间，输出伪彩图像。
其中，优选地，伪彩转化选择jet映射方案。
第二方面，本发明保护一种基于像素梯度加权的卷积神经网络特征可视化系统，该系统包括如下模块：
特征图提取模块，用于使用训练后的CNN模型对输入的图像进行前向传播计算，进行特征提取，并利用网络层级获取特征图，输出提取的特征和特征图；
梯度图获取模块，用于将所述提取到的特征输入类别索引中进行处理，利用网络层级获取梯度图并输出；
像素级加权融合模块，用于将输入图像的特征图和梯度图进行像素级加权融合，输出c类激活可视化图；
特征可视化模块，用于处理得到类别激活可视化输出结果。
本发明的有益效果：1、利用新的融合特征图和梯度图的CNN可视化方法，得到的类激活可视化图对图像中不同类别物体的区分度更高，解释性定位能力更强；2、本发明对网络层数适用范围广，在网络浅层到深层同时具有良好的效果； 3、本发明可用于对CNN模型做判别的依据进行解释，分析网络倾向于学到的特征模式，亦可用于弱监督定位、分割等实际应用；4、对于单幅图中存在多类物体的情形，可以实现对不同的类别分别求取网络的类激活映射下的显著性图，反映模型在判别该类时对输入图像对应像素位置的依赖程度。
附图说明
图1为基于像素梯度加权的卷积神经网络特征可视化方法的流程图；
图2为基于像素梯度加权的卷积神经网络特征可视化系统的架构示意图；
图3为本发明与Grad-CAM及Grad-CAM++，在测试图片下的可视化效果对比图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
实施例1
一种基于像素梯度加权的卷积神经网络特征可视化方法，如图1所示，该方法包括如下步骤S1至S8：
S1，输入类别激活可视化计算过程中的需求参量，包括CNN模型、待可视化图像、类别索引和网络层级；
其中，CNN模型：用于解决数据分类，可以使用常用的经典架构，如VGG、 Resnet、Inception、SqueezeNet等及其组合结构；待可视化图像：输入任意需要可视化的图像；类别索引：记为c，用于分析模型在判别类c时对各个图像空间位置的依赖程度；网络层级：用于对网络模型的某一给定的中间层进行特征提的取利用和分析，其中提取的特征图和梯度图输出维度均为C×H×W，其中，C 代表通道数，H、W分别代表二维空域的宽、高。
S2，利用数据集对CNN模型进行训练，优化参数，得到训练好的CNN模型；
其中，数据集为事先采集用于训练的样本集合，主要用来训练神经网络中的参数。
S3，利用训练好的CNN模型对输入图像进行前向传播计算；
S4，利用网络层级，获取目标层级前向传播计算输出的特征图；
S5，基于类别索引生成对应的单位向量并进行反向传播；
S6，利用网络层级，获取目标层级反向传播得到的梯度图；
S7，对上述步骤S4得到的特征图和上述步骤S6得到的梯度图进行像素级加权融合；
S8，经过后处理得到类别激活可视化输出结果。
上述步骤S5的具体的反向传播计算方法为：
S5.1，首先初始化得到零向量[0，0，…，0]∈RN，根据类别索引c，将零向量的第c维分量置1，得到该类别所对应的单位向量Ec；
S5.2，将Ec作为网络输出logits的导数初始值，根据链式法则，从该导数初始值开始逐层反向求特征图的偏导；
其中，N表示分类网络学习的类别总数，Ec∈RN与网络输出logits的维度一致。
上述步骤S7的具体的像素级加权方法为：
S7.1，首先，记S4步骤得到的特征图为A∈RC×H×W，其中
Figure BDA0002960262510000061
表示特征图第k个通道、第i行、第j列像素位置的值，同理记S6步骤得到的梯度图为Gc，其中
Figure BDA0002960262510000062
然后对特征图每个像素位置进行权值计算，权值矩阵W的 (i，j)像素位置的权重为：
Figure BDA0002960262510000063
其中，在利用特征图和梯度图参与计算前，对其进行线性整流的预处理，预处理使用的线性激活函数为ReLU函数。
S7.2，经过加权融合，可得到对类别c的类激活可视化图Lc＝∑kWkc·Ak。
其中，类激活图Lc∈RH×W，每个像素位置的激活值为：
Figure BDA0002960262510000064
具体地，步骤S8中的后处理包括如下步骤S8.1至S8.3：
S8.1，齐次化，对类激活可视化图Lc做空域范围内的齐次化，每个像素位置的值线性归一到[0，1]区间；
S8.2，上采样，将可视化图上采样到输入图像同等维度，提升可视化分辨率，其每个位置的值可以表示网络对输入原图做判别时所对应位置的显著性；
其中，优选地，上采样方式选择双线性插值上采样。
S8.3，伪彩转化，将灰度色彩空间的可视化图转化到彩色空间，输出伪彩图像。
其中，优选地，伪彩转化选择jet映射方案。
实施例2
如图2所示，与上述基于像素梯度加权的卷积神经网络特征可视化方法相对应，本发明实施例还提供了一种基于像素梯度加权的卷积神经网络特征可视化系统，该系统包括如下模块：
特征图提取模块201，用于使用训练后的CNN模型对输入的图像进行前向传播计算，进行特征提取，并利用网络层级获取特征图，输出提取的特征和特征图；
梯度图获取模块202，用于将所述提取到的特征输入类别索引中进行处理，利用网络层级获取梯度图并输出；
像素级加权融合模块203，用于将输入图像的特征图和梯度图进行像素级加权融合，输出c类激活可视化图；
特征可视化模块204，用于处理得到类别激活可视化输出结果。
下面以CNN模型选用Resnet50网络，作用的目标层级选择为layer4、layer3、layer2和layer1为例，将本发明与Grad-CAM(基于梯度的类激活图)及Grad-CAM++ (基于梯度的类激活图的泛化版本)进行比较，说明本发明的优势。如图3所示，输入一张“猫狗”的测试图片，可以发现，本发明的方法对“猫”和“狗”的激活映射可视化效果更好，并且本方法对网络层级适用范围较宽，深层特征分辨率高，对于单幅图中存在多类物体的情形，可以实现对不同的类别分别求取网络的类激活映射下的显著性图，反映模型在判别该类时对输入图像对应像素位置的依赖程度。
一种基于像素梯度加权的卷积神经网络特征可视化方法及系统，可以控制需求参量，实现对期望网络的任何目标层级进行分析，并对不同输入图片和类别进行类激活可视化；本发明在保证高分辨率的情况下，改善了类激活映射可视化的解释性定位能力。
显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

Claims (10)

1.一种基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，构建融合特征图和梯度图的CNN可视化方法，通过该方法对输入图像进行可视化，可视化方法构建，包括如下步骤：
S1，输入类别激活可视化计算过程中的需求参量，包括CNN模型、待可视化图像、类别索引和网络层级；
S2，利用数据集对CNN模型进行训练，优化参数，得到训练好的CNN模型；
S3，利用训练好的CNN模型对输入图像进行前向传播计算；
S4，利用网络层级，获取目标层级前向传播计算输出的特征图；
S5，基于类别索引生成对应的单位向量并进行反向传播；
S6，利用网络层级，获取目标层级反向传播得到的梯度图；
S7，对上述步骤S4得到的特征图和上述步骤S6得到的梯度图进行像素级加权融合；
S8，经过后处理得到类别激活可视化输出结果。
2.根据权利要求1所述的基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，所述步骤S7中，对步骤S4得到的特征图和步骤S6得到的梯度图进行像素级加权融合具体步骤为：
S7.1，首先，记S4步骤得到的特征图为A∈RC×H×W，其中
Figure FDA0002960262500000011
表示特征图第k个通道、第i行、第j列像素位置的值，同理记S6步骤得到的梯度图为Gc，其中
Figure FDA0002960262500000012
Ec为单位向量，然后对特征图每个像素位置进行权值计算，权值矩阵W的(i，j)像素位置的权重为：
Figure FDA0002960262500000013
S7.2，经过加权融合，可得到对类别c的类激活可视化图Lc＝∑kWkc·Ak；
其中，类激活图Lc∈RH×W，每个像素位置的激活值为：
Figure FDA0002960262500000014
3.根据权利要求2所述的基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，在利用特征图和梯度图参与计算前，对其进行线性整流的预处理。
4.根据权利要求3所述的基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，预处理使用的线性激活函数为ReLU函数。
5.根据权利要求1所述的基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，步骤S5中，基于类别索引生成对应的单位向量并进行反向传播的具体方法为：
S5.1，首先初始化得到零向量[0，0，...，0]∈RN，根据类别索引c，将零向量的第c维分量置1，得到该类别所对应的单位向量Ec；
S5.2，将Ec作为网络输出logits的导数初始值，根据链式法则，从该导数初始值开始逐层反向求特征图的偏导；
其中，N表示分类网络学习的类别总数，Ec∈RN与网络输出logits的维度一致。
6.根据权利要求4或5所述的基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，步骤S8中，所述后处理过程包括如下步骤：
S8.1，齐次化，对类激活可视化图Lc做空域范围内的齐次化，每个像素位置的值线性归一到[0，1]区间；
S8.2，上采样，将可视化图上采样到输入图像同等维度，提升可视化分辨率，其每个位置的值可以表示网络对输入原图做判别时所对应位置的显著性；
S8.3，伪彩转化，将灰度色彩空间的可视化图转化到彩色空间，输出伪彩图像。
7.根据权利要求6所述的基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，上采样方式选择双线性插值上采样。
8.根据权利要求6所述的基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，伪彩转化选择jet映射方案。
9.根据权利要求1所述的基于像素梯度加权的卷积神经网络特征可视化方法，其特征在于，CNN模型为VGG、Resnet、Inception、SqueezeNet及组合结构中任意一种。
10.基于像素梯度加权的卷积神经网络特征可视化系统，其特征在于，所述系统包括：
特征图提取模块(201)，用于使用训练后的cNN模型对输入的图像进行前向传播计算，进行特征提取，并利用网络层级获取特征图，输出提取的特征和特征图；
梯度图获取模块(202)，用于将所述提取到的特征输入类别索引中进行处理，利用网络层级获取梯度图并输出；
像素级加权融合模块(203)，用于将输入图像的特征图和梯度图进行像素级加权融合，输出c类激活可视化图；
特征可视化模块(204)，用于处理得到类别激活可视化输出结果。
CN202110242364.0A 2021-03-03 2021-03-03 一种基于像素梯度加权的卷积神经网络特征可视化方法及系统 Active CN112906867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110242364.0A CN112906867B (zh) 2021-03-03 2021-03-03 一种基于像素梯度加权的卷积神经网络特征可视化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110242364.0A CN112906867B (zh) 2021-03-03 2021-03-03 一种基于像素梯度加权的卷积神经网络特征可视化方法及系统

Publications (2)

Publication Number Publication Date
CN112906867A true CN112906867A (zh) 2021-06-04
CN112906867B CN112906867B (zh) 2023-09-15

Family

ID=76107678

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110242364.0A Active CN112906867B (zh) 2021-03-03 2021-03-03 一种基于像素梯度加权的卷积神经网络特征可视化方法及系统

Country Status (1)

Country Link
CN (1) CN112906867B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516638A (zh) * 2021-06-25 2021-10-19 中南大学 一种神经网络内部特征重要性可视化分析及特征迁移方法
CN114663661A (zh) * 2022-04-13 2022-06-24 中国科学院空间应用工程与技术中心 空间生命科学实验对象语义分割方法、装置及存储介质
CN115019092A (zh) * 2022-06-02 2022-09-06 深圳市华汉伟业科技有限公司 一种基于伪彩色图的分类网络辅助分析方法及装置
CN116824333A (zh) * 2023-06-21 2023-09-29 中山大学附属第一医院 一种基于深度学习模型的鼻咽癌检测系统
WO2024065536A1 (en) * 2022-09-29 2024-04-04 Intel Corporation Methods and apparatus for image segmentation on small datasets

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046939A (zh) * 2019-12-06 2020-04-21 中国人民解放军战略支援部队信息工程大学 基于注意力的cnn类别激活图生成方法
WO2020215557A1 (zh) * 2019-04-24 2020-10-29 平安科技（深圳）有限公司 医学影像解释方法、装置、计算机设备及存储介质
CN112420174A (zh) * 2020-11-04 2021-02-26 湖北工业大学 基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215557A1 (zh) * 2019-04-24 2020-10-29 平安科技（深圳）有限公司 医学影像解释方法、装置、计算机设备及存储介质
CN111046939A (zh) * 2019-12-06 2020-04-21 中国人民解放军战略支援部队信息工程大学 基于注意力的cnn类别激活图生成方法
CN112420174A (zh) * 2020-11-04 2021-02-26 湖北工业大学 基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TAO LI,ET AL.: "Diagnostic assesssment of deep learning algorithms for diabetic retinopathy screening", 《INFORMATION SCIENCES》 *
WANG, HAOFAN, ET AL.: "Score-CAM: Score-Weighted Visual Explanations for Convolutional Neural Networks", 《PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516638A (zh) * 2021-06-25 2021-10-19 中南大学 一种神经网络内部特征重要性可视化分析及特征迁移方法
CN114663661A (zh) * 2022-04-13 2022-06-24 中国科学院空间应用工程与技术中心 空间生命科学实验对象语义分割方法、装置及存储介质
CN115019092A (zh) * 2022-06-02 2022-09-06 深圳市华汉伟业科技有限公司 一种基于伪彩色图的分类网络辅助分析方法及装置
WO2024065536A1 (en) * 2022-09-29 2024-04-04 Intel Corporation Methods and apparatus for image segmentation on small datasets
CN116824333A (zh) * 2023-06-21 2023-09-29 中山大学附属第一医院 一种基于深度学习模型的鼻咽癌检测系统

Also Published As

Publication number Publication date
CN112906867B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN112906867A (zh) 一种基于像素梯度加权的卷积神经网络特征可视化方法及系统
Mei et al. Unsupervised spatial–spectral feature learning by 3D convolutional autoencoder for hyperspectral classification
Huang et al. Instance-aware image and sentence matching with selective multimodal lstm
Yu et al. Hyperspectral image classification method based on CNN architecture embedding with hashing semantic feature
Chen et al. Abc-cnn: An attention based convolutional neural network for visual question answering
CN112307958A (zh) 基于时空外观运动注意力网络的微表情识别方法
Yang et al. TTL-IQA: Transitive transfer learning based no-reference image quality assessment
Vondrick et al. Visualizing object detection features
Sumbul et al. Informative and representative triplet selection for multilabel remote sensing image retrieval
CN112487948B (zh) 一种基于多空间融合的学习者学习过程的专注度感知方法
Du et al. Semi-supervised dimension reduction based on hypergraph embedding for hyperspectral images
CN112836637B (zh) 一种基于空间逆向注意网络的行人重识别方法
Takimoto et al. Image aesthetics assessment based on multi-stream CNN architecture and saliency features
CN113392244A (zh) 一种基于深度度量学习的三维模型检索方法及系统
Jin et al. MiniExpNet: A small and effective facial expression recognition network based on facial local regions
Wu et al. Generic proposal evaluator: A lazy learning strategy toward blind proposal quality assessment
Yang et al. AI-Generated Images as Data Source: The Dawn of Synthetic Era
CN116805360B (zh) 一种基于双流门控渐进优化网络的显著目标检测方法
Kumar et al. A technique for human upper body parts movement tracking
Tang et al. Painting and calligraphy identification method based on hyperspectral imaging and convolution neural network
Li Saliency prediction based on multi-channel models of visual processing
Ullah et al. DSFMA: Deeply supervised fully convolutional neural networks based on multi-level aggregation for saliency detection
Liu et al. Semantic interleaving global channel attention for multilabel remote sensing image classification
CN113591797B (zh) 一种深度视频行为识别方法
Pei et al. FGO-Net: Feature and Gaussian Optimization Network for visual saliency prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant