CN111652350B - 神经网络可视化解释方法及弱监督定位物体方法 - Google Patents
神经网络可视化解释方法及弱监督定位物体方法 Download PDFInfo
- Publication number
- CN111652350B CN111652350B CN202010378828.6A CN202010378828A CN111652350B CN 111652350 B CN111652350 B CN 111652350B CN 202010378828 A CN202010378828 A CN 202010378828A CN 111652350 B CN111652350 B CN 111652350B
- Authority
- CN
- China
- Prior art keywords
- attention
- layer
- neural network
- pooling
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 32
- 230000000007 visual effect Effects 0.000 title claims abstract description 18
- 238000011176 pooling Methods 0.000 claims abstract description 42
- 238000003062 neural network model Methods 0.000 claims abstract description 33
- 230000000644 propagated effect Effects 0.000 claims abstract description 16
- 238000010586 diagram Methods 0.000 claims description 31
- 238000012800 visualization Methods 0.000 claims description 18
- 230000004807 localization Effects 0.000 claims description 11
- 210000002569 neuron Anatomy 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims 2
- 230000008569 process Effects 0.000 abstract description 19
- 238000002474 experimental method Methods 0.000 abstract description 4
- 230000002860 competitive effect Effects 0.000 abstract description 3
- 238000007794 visualization technique Methods 0.000 description 10
- 230000004913 activation Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 101100153586 Caenorhabditis elegans top-1 gene Proteins 0.000 description 3
- 101100370075 Mus musculus Top1 gene Proteins 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000003323 beak Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种神经网络可视化解释方法及弱监督定位物体方法，该神经网络可视化解释方法包括如下步骤：S1、定义神经网络模型的注意力；S2、将所述注意力通过所述神经网络模型的全连层进行反向传播；S3、将所述注意力通过所述神经网络模型的卷积层进行反向传播；S4、将所述注意力通过所述神经网络模型的池化层进行反向传播；S5、在所述神经网络模型的输入层得到注意力图，将所述注意力图作为所述神经网络模型的可视化解释。本方法可以对被视为黑箱的神经网络的决策过程给出可视化解释，解释网络决策的依据，解释网络决策失误的原因，同时还可以用于弱监督定位物体方法，在弱监督定位物体的实验中取得了很有竞争力的结果。
Description
技术领域
本发明涉及神经网络领域，特别是涉及一种神经网络可视化解释方法及弱监督定位物体方法。
背景技术
近些年来，深度卷积神经网络(Convolutional Neural Network，CNN)在物体识别、物体检测等任务上取得了巨大的成功。然而，神经网络至今依然很难解释其取得如此成功的原因，因而一直被视为黑盒方法。但可解释性对于神经网络十分重要。第一，可解释性有助于理解神经网络做出正确决策的原因和依据，以及具体决策过程。第二，可解释性有助于理解神经网络做出错误决策的原因，找到改进网络提升性能的依据。第三，在神经网络的某些应用中，例如医疗领域，可解释性尤其重要。
近些年有一些关于深度神经网络可解释性的工作。Yosinski等人[1]提出了最大激活响应方法，通过产生神经元最大激活响应的特征来理解这个神经元看到了什么，但需要大量的计算来生成一个最大激活响应的特征图。JianmingZhang等人[2]提出了对比边际胜率(contrastive Marginal Winning Probability，c-MWP)方法，通过神经元激活值的反向传播得到自上而下的注意力图，来理解网络对图像各区域的关注程度。Zhou等人[3]提出了基于类激活映射(Class Activation Mapping，CAM)的可视化方法，可以得到网络分类依赖的重要区域，但只适用于一部分网络结构，且需要修改网络结构。Selvaraju等人[4]改进CAM方法，提出了梯度加权类激活映射方法(Gradient-weighted Class ActivationMapping，Grad-CAM)，可以适用于所有的网络结构而且无需修改网络结构。Aditya等人[5]基于Grad-CAM方法，提出了改进的Grad-CAM++方法，相比于Grad-CAM的热力图集中在物体的局部区域，Grad-CAM++产生的热力图能关注到物体更多的区域。Konda Reddy Mopuri等人[6]采用新思路提出了CNN-Fixations方法，通过特征之间的依赖关系得到最具有类别分辨性的位置。然而，上述方法依然存在一定的局限性：或者只能解释神经元关注的特征，或者只能解释网络决策依赖的大致区域。
参考文献:
[1]Yosinski J，Clune J，Nguyen A，et al.Understanding neural networksthrough deep visualization[J].arXiv preprint arXiv:1506.06579，2015.
[2]Zhang J，Bargal S A，Lin Z，et al.Top-down neural attention byexcitation backprop[J].International Journal of Computer Vision，2018，126(10):1084-1102.
[3]Zhou B，Khosla A，Lapedriza A，et al.Learning deep features fordiscriminative localization[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition.2016:2921-2929.
[4]Selvaraju R R，Cogswell M，Das A，et al.Grad-cam:Visual explanationsfrom deep networks via gradient-based localization[C]//Proceedings of theIEEE International Conference on Computer Vision.2017:618-626.
[5]Chattopadhay A，Sarkar A，Howlader P，et al.Grad-cam++:Generalizedgradient-based visual explanations for deep convolutional networks[C]//2018IEEE Winter Conference on Applications of Computer Vision(WACV).IEEE，2018:839-847.
[6]Mopuri K R，Garg U，Babu R V.CNN fixations:an unraveling approach tovisualize the discriminative image regions[J].IEEE Transactions on ImageProcessing，2018，28(5):2116-2125.
发明内容
为了克服上述技术缺陷中的至少一种，本发明提出一种神经网络可视化解释方法及弱监督定位物体方法。
为实现上述目的，本发明采用以下技术方案：
一种基于注意力反向传播的神经网络可视化解释方法，包括如下步骤：
S1、定义神经网络模型的注意力；
S2、将所述注意力通过所述神经网络模型的全连层进行反向传播；
S3、将所述注意力通过所述神经网络模型的卷积层进行反向传播；
S4、将所述注意力通过所述神经网络模型的池化层进行反向传播；
S5、在所述神经网络模型的输入层得到注意力图，将所述注意力图作为所述神经网络模型的可视化解释。
进一步地：
步骤S1中，定义注意力：
其中，
表示第(l-1)层特征图的第j个通道，
表示第l层第k个神经元对应第j个输入的权重，
表示第(l-1)层特征图的第j个通道上的注意力。
步骤S2中，将一个全连层输出特征图上的注意力通过反向传播的方式传播到前一层，再与前一层的特征图做哈达玛积，得到前一层的特征图上的注意力。
步骤S2中，还对计算结果做L2规范化，以防止因网络层数过深产生溢出。
步骤S2中，注意力在全连层上的反向传播：
其中，全连层的输入特征图记为fl-1，输出特征图记为fl，
表示该特征图的第j个通道，al为输出特征图上的注意力，表明神经网络模型决策对特征图上各个特征的依赖程度，
表示第j个通道上的注意力，
表示该全连层输入特征图上第k个通道上的注意力。
在所述神经网络模型的输出层定义注意力为一个独热编码向量(one-hotcodingvector)，网络预测的分类结果位置对应为1，其他位置为0，由此计算得到输出层前一层特征图上的注意力。
步骤S3中，注意力在卷积层上的反向传播：
其中，fl-1为卷积层的输入特征图，
表示卷积层权重矩阵第j个卷积核的权重，al为输出特征图上的注意力图，表明模型决策对特征图上各个特征的依赖程度，
表示第j个通道上的注意力，al-1表示该卷积层输入特征图上的注意力，○表示哈达玛积，*表示卷积运算；优选地，对al-1做L2规范化，防止出现溢出。
步骤S4中，池化层的池化包括最大池化和平均池化，对于最大池化，将池化后特征图的注意力直接映射到池化前特征图的对应位置上，其它位置的注意力置为0；对于平均池化，将池化后特征图的注意力映射到池化前特征图的对应池化窗口上，同一个池化窗口的所有值的具有同样的注意力。
步骤S5中，输入层生成注意力图：
其中，
表示第一个卷积层权重矩阵第j个卷积核的权重，a1为第一个特征图上的注意力，
表示第j个通道上的注意力，*表示卷积运算，Ac表示第c个类别的注意力图，即为最终的可视化解释。
一种弱监督定位物体方法，包括使用所述的神经网络可视化解释方法生成物体定位注意力图，并使用所述物体定位注意力图生成弱监督物体定位边框。
优选地，对于所述物体定位注意力图，设定阈值使其二值化，得到一些分割块，选择刚好包围其中最大分割块的边框作为预测的边框，阈值设定为α＝μM，M为注意力图的最大值，μ∈[0，1]。
一种基于注意力反向传播的神经网络可视化解释装置，包括处理器和存储介质，所述存储介质存储的程序被所述处理器运行时执行所述的神经网络可视化解释方法。
本发明具有如下有益效果：
本发明针对神经网络缺乏可解释性而被视为黑盒方法的情况，提出了一种生成神经网络可视化解释的方法，此方法可以对被视为黑箱的神经网络的决策过程给出可视化解释，解释网络决策的依据，解释网络决策失误的原因，同时还可以用于弱监督定位物体方法，在弱监督定位物体的实验中取得了很有竞争力的结果。本发明适用于所有的预训练的神经网络模型，无需对网络结构进行改变或者重新训练网络。
附图说明
图1为本发明实施例的输入图像预处理。
图2为本发明实施例的预测类别注意力反向传播流程图。
图3为本发明实施例的某一层特征图注意力反向传播流程图。
图4为本发明实施例的物体定位注意力反向传播流程图。
图5为本发明实施例的由注意力图生成物体定位边框。
图6为本发明实施例的网络模型决策过程的可视化解释。
图7为本发明实施例和其他可视化方法的热力图。
具体实施方式
以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
本发明实施例提出了一种基于注意力反向传播的神经网络可视化解释方法，包括如下步骤：
S1、定义神经网络模型的注意力；
S2、将所述注意力通过所述神经网络模型的全连层进行反向传播；
S3、将所述注意力通过所述神经网络模型的卷积层进行反向传播；
S4、将所述注意力通过所述神经网络模型的池化层进行反向传播；
S5、在所述神经网络模型的输入层得到注意力图，将所述注意力图作为所述神经网络模型的可视化解释。
本发明实施例还提出了一种弱监督定位物体方法，包括使用所述的神经网络可视化解释方法生成物体定位注意力图，并使用所述物体定位注意力图生成弱监督物体定位边框。
本发明实施例的基于注意力反向传播的可视化解释方法，不仅能够解释网络模型的决策依据，而且首次能够对神经网络全部决策过程提供可视化的解释，同时还可以用于弱监督定位物体方法，在弱监督定位物体的实验中取得了很有竞争力的结果。
本发明实施例的神经网络可视化解释方法中，首先定义神经网络模型的注意力，然后将注意力通过模型的各种结构，如全连层、卷积层、池化层等进行反向传播，在输入层得到模型对于输入图像的注意力图，最后将注意力图作为模型的可视化解释。具体实施例的步骤如下：
步骤S1、定义神经网络模型的注意力：
其中，
表示第(l-1)层特征图的第j个通道，
表示第l层第k个神经元对应第j个输入的权重，
表示第(l-1)层特征图的第j个通道上的注意力。
步骤S2、注意力在全连层上的反向传播：
其中，全连层的输入特征图记为fl-1，输出特征图记为fl，
表示该特征图的第j个通道，al为输出特征图上的注意力为，表明神经网络模型决策对特征图上各个特征的依赖程度，
表示第j个通道上的注意力，
表示该全连层输入特征图上第k个通道上的注意力。式(2)中的计算过程实质是将这一个全连层输出特征图上的注意力通过反向传播的方式传播到前一层来，再与前一层的特征图做哈达玛积，得到前一层的特征图上的注意力，因而称其为注意力反向传播。之后再对计算结果做L2规范化，防止因网络层数过深产生溢出。为了将输出层和全连层统一起来，我们在输出层定义注意力为一个独热编码向量(one-hotcoding vector)，网络预测的分类结果位置对应为1，其他位置为0，采用同样的计算方式即可得到输出层前一层特征图上的注意力。值得指出的是，我们可以将任意一个类别对应的输出神经元对应位置置为1，其他位置为0。通过上述方法得到该类别的注意力，从而了解网络基于该类别的注意力图。
步骤S3、注意力在卷积层上的反向传播：
其中，fl-1为卷积层的输入特征图，
表示卷积层权重矩阵第j个卷积核的权重，al为输出特征图上的注意力图，表明模型决策对特征图上各个特征的依赖程度，
表示第j个通道上的注意力，al-1表示该卷积层输入特征图上第k个通道上的注意力。○表示哈达玛积，*表示卷积运算，与全连层类似，al-1也要做L2规范化，防止出现溢出。
步骤S4、注意力在池化层上的反向传播：
池化层也是一种深度神经网络的基本结构，池化一般分为两种：最大池化和平均池化。为了实现注意力在池化层的反向传播，我们对这两种情况分别处理。对于最大池化，我们将池化后特征图的注意力直接映射到池化前特征图的对应位置上，其它位置的注意力置为0；对于平均池化，我们将池化后特征图的注意力映射到池化前特征图的对应池化窗口上，同一个池化窗口的所有值的具有同样的注意力。
步骤S5、输入层生成注意力图：
其中，
表示第一个卷积层权重矩阵第j个卷积核的权重，a1为第一个特征图上的注意力，
表示第j个通道上的注意力，*表示卷积运算，Ac表示第c个类别的注意力图，即为最终的可视化解释。
应用例
一、预训练神经网络模型
本发明适用于所有的预训练的神经网络模型，无需对网络结构进行改变或者重新训练网络。选择TensorFlow的Slim模块中预训练的VGG-16模型介绍本发明的实施方案，该模型在ILSVRC-2015测试集上的top-1准确率为71.5％。
二、数据处理
数据处理遵循网络模型本身的数据处理方式，这里选择VGG-16模型。选择ILSVRC-2015验证集的图片介绍数据处理的方式。
1、找到图片的最短边L，计算放缩比例σ＝256/L，将图像按此比例放缩，放缩后最短边变为256像素。
2、从放缩后的图像中心裁剪224×224大小的区域作为输入图像，如图1所示。
3、在输入网络模型之前，对裁剪后的输入图像按通道减均值处理，具体为R通道减去123.68，G通道减去116.78，B通道减去103.94，
三、生成注意力图
1、生成预测类别注意力图
获取预训练网络模型所有层的权重，以及记录模型在前馈过程中产生的所有特征图。以注意力反向传播的方式将注意力反向传播至输入层，流程如图2所示(VGG-16)。为了得到对应预测类别的注意力图，我们将输出层注意力定义为一个独热编码向量a＝[0，0，0…1，0，0…]，网络预测的分类结果位置对应为1，其他位置为0。
2、生成决策过程注意力图
获取预训练网络模型所有层的权重，以及记录模型在前馈过程中产生的所有特征图。为获得整个决策过程的注意力图，将每一层的特征图以注意力反向传播的方式传播至输入层，流程如图3所示(VGG-16)。将某一层的特征图定义为该层的注意力图进行反向传播，得到该层的注意力图，将所有层的注意力图联系起来，就得到了整个决策过程中模型的注意力变化情况，从而可视化的展示了模型的决策过程。
3、生成物体定位注意力图
获取预训练网络模型最后一层卷积层及以后所有层的权重，以及记录模型在前馈过程中最后一层卷积层及以后所有层的特征图。为获得物体定位注意力图，将输出层的注意力以注意力反向传播的方式传播至最后一层卷积层，流程如图4所示(VGG-16)。为了得到对应预测类别的注意力图，同样的，我们将输出层定义注意力为一个独热编码向量a＝[0，0，0…1，0，0…]，网络预测的分类结果位置对应为1，其他位置为0。与生成预测类别注意力图不同的是，我们采用如下方式计算用于定位物体的注意力图：
并且，将注意力图采用双线性插值放大到与输入图像同样的大小，作为物体定位注意力图。
四、生成弱监督物体定位边框
首先由上述方式生成物体定位注意力图，设定阈值使其二值化，得到一些分割块，选择刚好包围其中最大分割块的边框作为预测的边框，阈值设定为α＝μM，M为注意力图的最大值，μ∈[0，1]，μ选择最优值，如图5所示，本实施例μ＝0.2。
性能分析
1、可视化神经网络决策过程
本发明采用注意力反向传播的方法生成网络模型每一层的注意力图，可以通过注意力图了解网络模型内部决策过程。据我们所知，这是第一次有方法可以实现对网络模型整个内部决策过程提供可视化解释。我们选择VGG-16模型作为网络模型，选择ILSVRC-2015验证集的图片作为例子。结果示例如图6所示。在有颜色的原图(未示出)中，越接近红色表示网络模型在此处的注意力越强，模型决策越依赖此处，越接近蓝色表示网络模型在此处的注意力越弱，模型决策越不依赖此处。可以看到网络的注意力逐渐集中在预测物体最具有分辨力的特征上，如网络模型在识别小蓝鹫时，模型的注意力由最初分布在头部、腿部、土地上，逐渐收敛到头部、腿部，最后收敛在头部的鸟喙、眼睛和腿部，主要依据这些区域将图片识别为小蓝鹫。通过注意力反向传播的方法可以提供网络模型整个决策过程的可视化解释，使人们更容易理解网络模型的决策过程。
2、弱监督定位
本发明还可以用于弱监督定位，弱监督定位实验可以衡量可视化方法的定位预测物体的能力。
性能指标
本发明方法还可以用于弱监督定位。为了衡量可视化方法的弱监督定位能力，采用了一种与ILSVRC-2015比赛的标准一致的评估方法：网络预测物体的类别，生成定位物体的边框，如果网络预测的类别正确并且边框与真值边框的交并比(IntersectionoverUnion，IoU)大于50％，则视为定位成功，计算网络在验证集上定位错误的样本的百分比，即错误率，以此来评估定位能力。
错误率越低，表示弱监督定位能力越好。需要指出的是，评价网络预测是否正确时可以采用top-5准确率和top-1准确率两种方法。这里选择的是top-1准确率。
另一种评估的方法称为pointgame，这种方法可以评估可视化方法发现目标物体的能力。具体的方法是通过生成真值标签对应物体的定位图，找到最大值对应的位置，如果在目标物体上，则记录一次击中(hit)，否则记录一次未击中(miss)，遍历数据集，计算某一个类别的击中准确率，计算所有类别的平均击中准确率作为评估可视化方法发现目标物体的能力的指标。具体如下：
其中，N表示总类别数目，c表示第c个类别，Accc为第c个类别的准确率，Acc为平均准确率。
这种评估方法不受模型准确率的影响，可以更好的评估可视化方法对于不同模型的效果。
性能分析
采用预训练的VGG-16模型在ILSVRC-2015验证集上评估本发明提出方法的弱监督定位能力，ILSVRC-2015验证集有50000张图片，一个1000个类别，评估结果如表1和表2所示。
表1各种可视化方法的弱监督定位错误率(VGG-16)
表2各种可视化方法的pointgame准确率(VGG-16)
定性分析：
传统Grad-CAM、c-MWP、CNN-fixations、Grad-CAM++方法和本发明方法做出的热力图如图7所示。c-MWP方法产生的热力图几乎整张图都是热度较高的区域，然而背景不会有助于与网络模型的识别，因而c-MWP方法可解释性最差，定位物体的能力也最差。CNN-fixations方法的热度较高的区域集中在局部特征较强的区域，如耳朵、眼睛、鼻子等区域，能对模型决策的依据提供较好的可视化解释，但过于集中在局部区域使得该方法定位整个物体的能力较差。Grad-CAM和Grad-CAM++方法的热力图大致相同，Grad-CAM++的热度较高的区域更广泛一些，因而具有更好的定位整个物体的能力。本发明提出方法的热度较高的区域不仅集中在物体上，而且对于整个物体都有更强的热度，因而可以提供更好的解释和更好的定位物体的能力。
定量分析：
在采用边框定位物体的评估指标中，Grad-CAM、c-MWP、CNN-fixations、Grad-CAM++等四种传统方法都选择最优的阈值。本发明方法错误率为51.29％，低于Grad-CAM、Grad-CAM++，c-MWP、CNN-fixations三种方法的错误率，分别为56.22％、51.98％、56.59％、51.97％，表明本发明方法弱监督定位能力优于这四种方法。在pointgame评估指标中，本发明方法取得69.13％的最高平均准确率，明显优于68.41％准确率的Grad-CAM++、66.02％准确率的Grad-CAM和58.98％准确率的c-MWP。CNN-fixations不符合pointgame的测试方法，故没有结果。因此，综合两种评估指标，本发明方法是目前已有方法中最好的可视化方法。
本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。
Claims (3)
1.一种基于注意力反向传播的神经网络可视化解释方法，其特征在于，包括如下步骤：
S1、定义神经网络模型的注意力；
S2、将所述注意力通过所述神经网络模型的全连层进行反向传播；
S3、将所述注意力通过所述神经网络模型的卷积层进行反向传播；
S4、将所述注意力通过所述神经网络模型的池化层进行反向传播；
S5、在所述神经网络模型的输入层得到注意力图，将所述注意力图作为所述神经网络模型的可视化解释；
步骤S1中，定义注意力：
其中，表示第(l-1)层特征图的第j个通道，表示第l层第k个神经元对应第j个输入的权重，表示第(l-1)层特征图的第j个通道上的注意力；
步骤S2中，将一个全连层输出特征图上的注意力通过反向传播的方式传播到前一层，再与前一层的特征图做哈达玛积，得到前一层的特征图上的注意力；还对计算结果做L2规范化，以防止因网络层数过深产生溢出；
步骤S2中，注意力在全连层上的反向传播：
其中，表示第k个通道上的注意力，表示该全连层的输入特征图上第j个通道上的注意力；
在所述神经网络模型的输出层定义注意力为一个独热编码向量(one-hot codingvector)，网络预测的分类结果位置对应为1，其他位置为0，由此计算得到输出层前一层特征图上的注意力；
步骤S3中，注意力在卷积层上的反向传播：
其中，fl-1为卷积层的输入特征图，表示卷积层权重矩阵第j个卷积核的权重，表示第j个通道上的注意力，al-1表示该卷积层输入特征图上的注意力，表示哈达玛积，*表示卷积运算；对al-1做L2规范化，防止出现溢出；
步骤S4中，池化层的池化包括最大池化和平均池化，对于最大池化，将池化后特征图的注意力直接映射到池化前特征图的对应位置上，其它位置的注意力置为0；对于平均池化，将池化后特征图的注意力映射到池化前特征图的对应池化窗口上，同一个池化窗口的所有值的具有同样的注意力；
步骤S5中，输入层生成注意力图：
其中，表示第一个卷积层权重矩阵第j个卷积核的权重，表示第j个通道上的注意力，*表示卷积运算，Ac表示第c个类别的注意力图，即为最终的可视化解释。
2.一种弱监督定位物体方法，其特征在于，包括使用如权利要求1所述的神经网络可视化解释方法生成物体定位注意力图，并使用所述物体定位注意力图生成弱监督物体定位边框；对于所述物体定位注意力图，设定阈值使其二值化，得到一些分割块，选择刚好包围其中最大分割块的边框作为预测的边框，阈值设定为α＝μM，M为注意力图的最大值，μ∈[0，1]。
3.一种基于注意力反向传播的神经网络可视化解释装置，包括处理器和存储介质，其特征在于，所述存储介质存储的程序被所述处理器运行时执行如权利要求1所述的神经网络可视化解释方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010378828.6A CN111652350B (zh) | 2020-05-07 | 2020-05-07 | 神经网络可视化解释方法及弱监督定位物体方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010378828.6A CN111652350B (zh) | 2020-05-07 | 2020-05-07 | 神经网络可视化解释方法及弱监督定位物体方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111652350A CN111652350A (zh) | 2020-09-11 |
| CN111652350B true CN111652350B (zh) | 2023-04-07 |
Family
ID=72342526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010378828.6A Active CN111652350B (zh) | 2020-05-07 | 2020-05-07 | 神经网络可视化解释方法及弱监督定位物体方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111652350B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11429815B2 (en) | 2020-10-30 | 2022-08-30 | Huawei Cloud Computing Technologies Co., Ltd. | Methods, systems, and media for deep neural network interpretation via rule extraction |
| CN112861933B (zh) * | 2021-01-22 | 2022-08-12 | 中国科学院信息工程研究所 | 一种深度神经网络模型可视化解释方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110009679B (zh) * | 2019-02-28 | 2022-01-04 | 江南大学 | 一种基于多尺度特征卷积神经网络的目标定位方法 |
| CN110084794B (zh) * | 2019-04-22 | 2020-12-22 | 华南理工大学 | 一种基于注意力卷积神经网络的皮肤癌图片识别方法 |
| CN111046962B (zh) * | 2019-12-16 | 2022-10-04 | 中国人民解放军战略支援部队信息工程大学 | 基于稀疏注意力的卷积神经网络模型的特征可视化方法及系统 |
-
2020
- 2020-05-07 CN CN202010378828.6A patent/CN111652350B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111652350A (zh) | 2020-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210089895A1 (en) | Device and method for generating a counterfactual data sample for a neural network | |
| CN112101426B (zh) | 基于自编码器的无监督学习图像异常检测方法 | |
| Madani et al. | Fast and accurate view classification of echocardiograms using deep learning | |
| CN109934293B (zh) | 图像识别方法、装置、介质及混淆感知卷积神经网络 | |
| US10223614B1 (en) | Learning method, learning device for detecting lane through classification of lane candidate pixels and testing method, testing device using the same | |
| WO2018121690A1 (zh) | 对象属性检测、神经网络训练、区域检测方法和装置 | |
| CN111353373B (zh) | 一种相关对齐域适应故障诊断方法 | |
| CN109858506B (zh) | 一种面向卷积神经网络分类结果的可视化算法 | |
| CN110837836A (zh) | 基于最大化置信度的半监督语义分割方法 | |
| KR20200094622A (ko) | 뉴럴 네트워크 학습에 이용될 오토 라벨링된 이미지 중에서 라벨 검수를 위한 샘플 이미지를 획득하는 방법 및 이를 이용한 샘플 이미지 획득 장치 | |
| US20210125061A1 (en) | Device and method for the generation of synthetic data in generative networks | |
| CN114972213A (zh) | 一种基于机器视觉的两阶段主板图像缺陷检测及定位方法 | |
| CN111652350B (zh) | 神经网络可视化解释方法及弱监督定位物体方法 | |
| CN113674288A (zh) | 一种非小细胞肺癌数字病理图像组织自动分割方法 | |
| CN113128564B (zh) | 一种基于深度学习的复杂背景下典型目标检测方法及系统 | |
| CN110276802B (zh) | 医学图像中病症组织定位方法、装置与设备 | |
| CN116543250A (zh) | 一种基于类注意力传输的模型压缩方法 | |
| CN113705489B (zh) | 基于先验区域知识指导的遥感影像细粒度飞机识别方法 | |
| CN115861625A (zh) | 一种处理噪声标签的自标签修改方法 | |
| CN114724184A (zh) | 一种基于对比层级相关性传播理论的鸟类分类方法 | |
| Cao et al. | No-reference image quality assessment by using convolutional neural networks via object detection | |
| CN112801950A (zh) | 一种基于几何失真度量的图像适配质量评价方法 | |
| EP3965019A1 (en) | Device and method for training a normalizing flow | |
| CN114821227B (zh) | 一种深度神经网络对抗样本评分方法 | |
| JP7479591B2 (ja) | アンサンブル学習システムおよびアンサンブル学習プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |