CN114359587A - 类激活图生成方法、可解释方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种类激活图生成方法、可解释方法、装置、设备及存储介质，可用于卷积神经网络生成具有较好可解释性的类激活图。本发明实施例的类激活图生成方法，包括：将原始图像输入经训练卷积神经网络，得到第一激活图；将所述第一激活图输入正特征相关性模块，得到正特征相关性信息；将所述第一激活图输入负特征相关性模块，得到负特征相关性信息；根据所述第一激活图、所述正特征相关性信息和所述负特征相关性信息得到类激活图。本发明的类激活图生成方法与其它类激活图生成方法相比，同时融合了特征区域与非特征区域和原始图像的关系，因此能较好的降低纠缠语义的影响，使得生成的类激活图有较好的可解释性。

Description

类激活图生成方法、可解释方法、装置、设备及存储介质

技术领域

本发明涉及神经网络可视化技术领域，特别涉及一种类激活图生成方法、可解释方法、装置、设备及存储介质。

背景技术

卷积神经网络(Convolutional Neural Networks，CNN)如今在计算机视觉领域有着广泛的应用，相关技术的图卷积网络(Graph Convolutional Network，GCN)也在各种非欧数据处理中取得了出色的表现。然而，神经网络内部复杂的机制让研究人员需要采用一些可解释方法来对神经网络输出的信息进行理解进而对其进行改进。类激活图(ClassActivation Mapping，CAM)作为较为有效的对神经网络的解释技术方式，可以从不同的角度解释神经网络提取的信息和特征。

现有的CAM方法在类激活图生成过程中，预测层前的最终隐藏层中的不同区域间有可能出现纠缠语义，进而导致非目标区域与目标区域可能产生相似的特征，使得类激活图中的非目标区域的节点被激活，影响类激活图的可解释性。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种类激活图生成方法、可解释方法、装置、设备及存储介质，能够结合特征区域与输入图像的正特征相关性信息和非特征区域与输入图像的负特征相关性信息来精确量化图像的目标区域与非目标区域的关系，有利于提高类激活图的可解释性。

本发明第一方面实施例提供了一种类激活图生成方法，包括：将原始图像输入经训练卷积神经网络，得到第一激活图；将所述第一激活图输入正特征相关性模块，得到正特征相关性信息；将所述第一激活图输入负特征相关性模块，得到负特征相关性信息；根据所述第一激活图、所述正特征相关性信息和所述负特征相关性信息得到类激活图。

根据本发明第一方面实施例的类激活图生成方法，至少有如下有益效果：本发明实施例的类激活图生成方法，先将原始图像输入经训练卷积神经网络进行处理，对处理结果进行上采样和归一化得到第一激活图，将第一激活图输入正特征相关性模块，得到包含特征区域与原始图像关系的正特征相关性信息，将第一激活图输入负特征相关性模块，得到包含非特征区域与原始图像关系的负特征相关性信息，将正特征相关性信息与负特征相关性信息结合后再对第一激活图进行处理，得到类激活图。与其它类激活图生成方法相比，同时融合了特征区域与非特征区域和原始图像的关系，因此能较好的降低纠缠语义的影响，使得生成的类激活图有较好的可解释性。

在本发明的一些实施例中，所述将所述第一激活图输入正特征相关性模块，得到正特征相关性信息，包括：根据所述第一激活图计算获得第一掩码；根据所述第一掩码和所述原始图像计算获得第一蒙版图像；将所述第一蒙版图像输入所述经训练卷积神经网络，得到第一类概率；根据所述第一类概率和所述原始图像的全图类概率得到所述正特征相关性信息，其中，所述全图类概率由所述原始图像输入所述经训练卷积神经网络得到。

在本发明的一些实施例中，所述将所述第一激活图输入负特征相关性模块，得到负特征相关性信息，包括：根据所述第一激活图计算得到第一负激活图；根据所述第一负激活图计算获得第二掩码；根据所述第二掩码和所述原始图像计算获得第二蒙版图像；将所述第二蒙版图像输入所述经训练卷积神经网络，得到第二类概率；根据所述第二类概率和所述原始图像的所述全图类概率得到所述负特征相关性信息。

在本发明的一些实施例中，所述根据所述第一激活图计算获得第一掩码，包括：对所述第一激活图进行平均值计算，得到第一二值化阈值；根据所述第一二值化阈值对所述第一激活图进行二值化处理，得到所述第一掩码。

在本发明的一些实施例中，所述根据所述第一负激活图计算获得第二掩码，包括：对所述第一负激活图进行平均值计算，得到第二二值化阈值；根据所述第二二值化阈值对所述第一负激活图进行二值化处理，得到所述第二掩码。

在本发明的一些实施例中，所述正特征相关性信息为正点互信息，所述根据所述第一类概率和所述原始图像的全图类概率得到所述正特征相关性信息，包括：对所述第一类概率和所述全图类概率进行点互信息计算，得到所述正点互信息。

在本发明的一些实施例中，所述负特征相关性信息为负点互信息，所述根据所述第二类概率和所述原始图像的所述全图类概率得到所述负特征相关性信息，包括：对所述第二类概率和所述全图类概率进行点互信息计算，得到所述负点互信息。

在本发明的一些实施例中，所述根据所述第一激活图、所述正特征相关性信息和所述负特征相关性信息得到类激活图，包括：将所述正点互信息和所述负点互信息结合对应的预设的比例因子进行计算，得到特征权重；根据所述特征权重和所述第一激活图计算获得所述类激活图。

本发明第二方面实施例提供了一种类激活图可解释方法，包括：获取类激活图，所述类激活图根据本发明第一方面实施例所述的类激活图生成方法得到；调整所述正特征相关性信息和所述负特征相关性信息对应的比例因子，以更新所述类激活图；根据更新后的所述类激活图，得到所述正特征相关性信息和所述负特征相关性信息分别对应所述原始图像的重要程度。

根据本发明第二方面实施例的类激活图可解释方法，至少有如下有益效果：通过获取类激活图，之后调整正特征相关性信息和负特征相关性信息对应的比例因子，改变正特征相关性信息和负特征相关性信息对类激活图生成影响的权重，进而生成能够直观显示特征区域相对原始图像的重要程度的新激活图，或者生成能够直观显示非特征区域相对原始图像的重要程度的新激活图，有益于进一步提高生成的类激活图的可解释性，同时也简化了类激活图的处理步骤。

本发明第三方面实施例提供了一种类激活图处理装置，包括：第一输入单元，用于将原始图像输入经训练卷积神经网络，得到第一激活图；第二输入单元，用于将所述第一激活图输入正特征相关性模块，得到正特征相关性信息；第三输入单元，用于将所述第一激活图输入负特征相关性模块，得到负特征相关性信息；处理单元，用于根据所述第一激活图、所述正特征相关性信息和所述负特征相关性信息得到类激活图。

本发明第四方面实施例提供了一种类激活图处理设备，包括：至少一个存储器；至少一个处理器；至少一个程序；所述程序被存储在所述存储器中，所述处理器执行至少一个所述程序以实现：如本发明第一方面实施例所述的类激活图生成方法，或如本发明第二方面实施例所述的类激活图可解释方法。

本发明第五方面提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行信号，所述计算机可执行信号用于执行：如本发明第一方面实施例所述的类激活图生成方法，或如本发明第二方面实施例所述的类激活图可解释方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例的一种类激活图生成方法的流程示意图；

图2为本发明实施例的正特征相关性信息的获取流程示意图；

图3为本发明实施例的负特征相关性信息的获取流程示意图；

图4为本发明实施例的第一掩码的获取流程示意图；

图5为本发明实施例的第二掩码的获取流程示意图；

图6为本发明实施例的正点互信息的获取流程示意图；

图7为本发明实施例的负点互信息的获取流程示意图；

图8为本发明实施例的通过特征权重获取类激活图的流程示意图；

图9为本发明实施例的一种类激活图可解释方法的流程示意图；

图10为本发明实施例的一种类激活图生成方法的总流程示意图；

图11为本发明实施例的一种类激活图处理装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在本发明实施例的描述中，如果涉及到“若干”，其含义是一个及以上，如果涉及到“多个”，其含义是两个及以上，如果涉及到“大于”、“小于”、“超过”，均应理解为不包括本数，如果涉及到“以上”、“以下”、“以内”，均应理解为包括本数。

需要说明的是，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

基于卷积神经网络(Convolutional Neural Networks，CNN)的深度神经网络(Deep Neural Networks，DNN)在计算机视觉领域取得了巨大成功。图卷积网络(GraphConvolutional Network，GCN)在非欧数据的各种任务中也取得了出色的表现。然而，神经网络内部复杂的机制让研究人员只能从宏观的角度来理解和优化神经网络，比如凸优化和感受野。作为最有效的解释技术方式，各种可视化方法从不同的角度解释神经网络提取的信息和特征。深度学习模型的预测结果可以通过可视化进行客观评估，研究人员可以通过可视化来建立对合理预测结果的信任，并修复不合理的错误预测。

相关技术中，基于类激活图(Class Activation Mapping，CAM)的方法可以从视觉和定量的角度对神经网络提取的特征提供令人信服的解释。对于CNN来说，隐藏节点是由其最后一个激活图的全局池化来计算的，这意味着最后一个激活图内包含着隐藏层位置级别的纠缠语义信息，而现有的CAM方法却较少考虑到预测层之前的隐藏层中可能包含纠缠语义，即非目标区域和目标区域的相似特征。此外，具有连续值的软掩码不仅包含更多的无梯度CAM的非目标区域，而且会导致目标区域的特征和分布受到干扰。

为对上述问题进行改善或解决，本发明实施例提供了一种类激活图生成方法、可解释方法、装置、设备及存储介质，能够通过并行考虑目标区域和非目标区域对图像的贡献，并由此生成相较其他生成方法生成的类激活图更易于理解的类激活图。该类激活图生成方法基于双极信息量的深度卷积神经网络，因此该视觉解释框架可称为BI-CAM(BipolarInformation CAM，基于双极信息量的类激活图)，能够结合特征区域与输入图像的正特征相关性信息和非特征区域与输入图像的负特征相关性信息来精确量化图像的目标区域与非目标区域的关系，从而生成较高质量的类激活图。

参照图1和图10所示，本发明实施例提供了一种类激活图生成方法，包括但不限于以下步骤：

步骤S100、将原始图像输入经训练卷积神经网络，得到第一激活图；

需要说明的是，经训练卷积神经网络用于对输入的原始图像进行特征提取获得特征图和进行全图类概率计算，经训练卷积神经网络通过卷积计算对原始图像进行特征提取，选取特征提取最后一层的特征图并对其采用线性插值法或转置池化法进行上采样计算后，之后再进行归一化计算，得到原始图像大小的第一激活图。计算公式可表示如下：

可以理解的是，k是特征提取最后一层L中的第k个激活图，对特征节点v对应的最后一层的特征的

进行上采样和归一化后可得到第一激活图

Up(·)是一个上采样函数，通过插值将第一激活图达到原始图像的大小，Norm(·)表示Min-Max缩放归一化函数；由s表示包括激活图上的特征节点v或簇的特征块，则

为特征提取最后一层的特征，对应得到的第一激活图即为

步骤S200、将第一激活图输入正特征相关性模块，得到正特征相关性信息；

需要说明的是，正特征相关性模块用于计算正特征相关性信息，具体包括，根据第一激活图中的特征区域对原始图像进行处理，将处理结果再输入经训练卷积神经网络得到相应的第一类概率，采用第一类概率和全图类概率进行相关性计算得到正特征相关性信息，相关性计算可以为相对熵计算、范度计算或者点互信息计算。

步骤S300、将第一激活图输入负特征相关性模块，得到负特征相关性信息；

需要说明的是，负特征相关性模块用于计算负特征相关性信息，具体包括，对第一激活图进行反向映射后包含非特征区域的图像对原始图像进行处理，将处理结果再输入经训练卷积神经网络得到相应的第二类概率，采用第二类概率和全图类概率进行相关性计算得到负特征相关性信息，相关性计算可以为相对熵计算、范度计算或者点互信息计算。

步骤S200和步骤S300中，第一类概率、第二类概率和全图类概率中提到的类为相同种类，第一类概率、第二类概率和全图类概率为被经训练卷积神经网络对输入的对应图像认定为某一种类的概率。

步骤S400、根据第一激活图、正特征相关性信息和负特征相关性信息得到类激活图。

需要说明的是，第一激活图为多张图像，对每张图像计算出对应的正特征相关性信息和负特征相关性信息，将对应的正特征相关性信息和负特征相关性信息按预设的比例计算得到对应的权重。对第一激活图中的所有图像的对应权重进行归一化计算，得到类激活图的特征权重，由特征权重对第一激活图进行相应的激活函数运算，得到类激活图。

与相关技术对比，本发明实施例通过同时融合了特征区域与非特征区域和原始图像的关系，因此能较好的降低纠缠语义的影响，使得生成的类激活图有较好的可解释性。

参照图2所示，可以理解的是，步骤S200中，将第一激活图输入正特征相关性模块，得到正特征相关性信息，包括但不限于以下步骤：

步骤S210、根据第一激活图计算获得第一掩码；

步骤S220、根据第一掩码和原始图像计算获得第一蒙版图像；

可以理解的是，第一蒙版图像通过原始图像和第一掩码进行哈达马积计算得到的图像，其内部包含第一激活图的特征区域，而对其它区域进行了掩码替换，从而突出特征区域在卷积神经网络中对于原始图像的作用。

步骤S230、将第一蒙版图像输入经训练卷积神经网络，得到第一类概率；

步骤S240、根据第一类概率和原始图像的全图类概率得到正特征相关性信息，其中，全图类概率由原始图像输入经训练卷积神经网络得到。

采用第一类概率和全图类概率进行相关性计算得到正特征相关性信息，相关性计算可以为相对熵计算、范度计算或者点互信息计算，正特征相关性信息为对于相关性计算得到的结果。

参照图3所示，可以理解的是，步骤S300中，将第一激活图输入负特征相关性模块，得到负特征相关性信息，包括但不限于以下步骤：

步骤S310、根据第一激活图计算得到第一负激活图；

需要说明的是，由于第一激活图经过归一化，第一负激活图通过全1矩阵对第一激活图进行减运算获得，且第一负激活图中的相对特征区域即为第一激活图中的非特征区域。计算公式为：

其中，

为第一负激活图，

为全1矩阵，

为相应的第一激活图。

步骤S320、根据第一负激活图计算获得第二掩码；

步骤S330、根据第二掩码和原始图像计算获得第二蒙版图像；

可以理解的是，第二蒙版图像通过原始图像和第二掩码进行哈达马积计算得到的图像，其内部包含第一负激活图的相对特征区域，而对其它区域进行了掩码替换，从而突出相对特征区域在卷积神经网络中对于原始图像的作用。

步骤S340、将第二蒙版图像输入经训练卷积神经网络，得到第二类概率；

步骤S350、根据第二类概率和原始图像的全图类概率得到负特征相关性信息。

采用第二类概率和全图类概率进行相关性计算得到负特征相关性信息，相关性计算可以为相对熵计算、范度计算或者点互信息计算，负特征相关性信息为对于相关性计算得到的结果。

参照图4所示，可以理解的是，步骤S210中，根据第一激活图计算获得第一掩码，包括但不限于以下步骤：

步骤S211、对第一激活图进行平均值运算，得到第一二值化阈值；

步骤S212、根据第一二值化阈值对第一激活图进行二值化处理，得到第一掩码。

参照图5所示，可以理解的是，步骤S320中，根据第一负激活图计算获得第二掩码，包括但不限于以下步骤：

步骤S321、对第一负激活图进行平均值运算，得到第二二值化阈值；

步骤S322、根据第二二值化阈值对第一激活图进行二值化处理，得到第二掩码。

第一掩码和第二掩码的计算公式如下：

其中，|V|表示图中的节点数，v表示特征节点，

为第一掩码，

为第二掩码，Sign()为标签函数，

为第一负激活图，

为相应的第一激活图。

在相关技术中，很多关于CNN可解释性的工作都讨论了在使用干扰输入的方式时什么样的操作是合理的和可解释的，许多现有工作默认使用0到1之间的连续值来为原始输入生成掩码。一个原因是视觉可解释性的研究起源于计算机视觉领域，在原始图像上使用取值范围为[0,1]的平滑掩码不会对人眼感知下的像素的识别产生任何影响。因此，通常会自然认为神经网络也可以识别这些特征。然而，研究表明，CNN的更倾向于提取有明确界限的边缘等细节特征，因此使用平滑掩码叠加在原始图像上可能会使不重要的特征对结果造成影响。从GCN的角度来看，使用平滑掩码使原始数据更接近坐标原点或偏置点，这取决于掩码中像素的权重。以人体骨骼行为识别的应用为例，使用平滑掩码来表示节点或关节时，容易产生特征区域相对于坐标原点的偏移，例如Score-CAM使用的由连续值组成的掩码不仅包含非目标信息，而且还将节点特征移动到靠近原点的位置，从而破坏了局部特征。因此，在这些前提下，本发明实施例使用二值化的二进制掩码过滤输入特征，从而能够更好的保留对应的特征区域。

具体来说，本发明一些实施例使用归一化的第一激活图计算其平均值，并使用平均值作为阈值对第一激活图进行二值化而生成第一掩码和第二掩码。

参照图6所示，可以理解的是，正特征相关性信息为正点互信息，步骤S240中，根据第一类概率和原始图像的全图类概率得到正特征相关性信息，包括但不限于以下步骤：

步骤S241、对第一类概率和全图类概率进行点互信息运算，得到正点互信息。

正点互信息可表示为：

其中，X表示原始图像，M_s表示第一掩码，X_s表示第一蒙版图像，且X_s＝X⊙M_s，并且在特征块s的每个节点v上可以是0到1之间的连续或离散值，⊙表示同或运算，c表示类，p(y_c|x)为全图类概率，p(y_c|X，M_s)为第一类概率。

参照图7所示，可以理解的是，负特征相关性信息为负点互信息，步骤S350中，根据第二类概率和原始图像的全图类概率得到负特征相关性信息，包括但不限于以下步骤：

步骤S351、对第二类概率和全图类概率进行点互信息运算，得到负点互信息。

负点互信息可表示为：

其中，X表示原始图像，M_\s表示第二掩码，X_\s表示第一蒙版图像，且X_\s＝X⊙M_\s，并且在特征块s的每个节点v上可以是0到1之间的连续或离散值，⊙表示同或运算，c表示类，p(y_c|X)为全图类概率，p(y_c|X，M_\s)为第二类概率。

需要说明的是，p(y_c|X_s)+p(y_c|X_\s)≠p(y_c|X)。

参照图8所示，可以理解的是，步骤S400中，根据第一激活图、正特征相关性信息和负特征相关性信息得到类激活图，包括但不限于以下步骤：

步骤S410、将正点互信息和负点互信息结合对应的预设的比例因子进行计算，得到特征权重；

步骤S420、根据特征权重和第一激活图计算获得类激活图。

在相关技术中，当图中最重要的节点或派系被移除或扰动时，神经网络决策的分布将发生巨大变化。相反，如果将这些操作应用于不重要的节点或派系，则分类的分布几乎没有变化。对此，本发明的一些实施例使用点互信息(Point-wise Mutual Information，PMI)来衡量原始数据和变化数据的预测分布之间的差异。相对于其它相关性计算方法的结果，点互信息用于衡量原始图像与第一激活图的特征区域和第一负激活图的相对特征区域的相关关系更为简洁有效，同时也更容易对相关关系进行定量计算。

具体的，将第一类概率和全图类概率计算得到的点互信息称为正点互信息(PPMI)，将第二类概率和全图类概率计算得到的点互信息称为负点互信息(NPMI)。第一蒙版图像的内容对原始图片越重要，相应的正点互信息就越接近于0，相应的第二蒙版图像的负点互信息就越接近负无穷。通过正点互信息和负点互信息就可以评价第一蒙版图像对应的特征和节点对原始图像在卷积神经网络中的重要性。显然，在考虑激活图的相关度量的情况下，对于包含重要特征的激活图，需要最大化正点互信息并最小化负点互信息，并引入预设的比例因子来控制正点互信息和负点互信息的比例，从而得到能反映重要特征或非重要特征对卷积神经网络判断影响的类激活图。

参照图10，对应的特征权重计算方法为：第一激活图的每一张图像都对应有正点互信息和负点互信息，将正点互信息与预设的第一比例因子的积加上负的负点互信息与预设的第二比例因子的积，计算得到的结果权重，并结合其它图像的结果权重通过Softmax逻辑回归函数进行归一化计算，得到特征权重，再将第一激活图每张图像和所对应的特征权重进行ReLU(Rectified Linear Unit，修正线性单元)激活函数运算，得到类激活图。可以理解的是，第一比例因子和第二比例因子的和为1。

结果权重计算过程可表示为：

其中，

为结果权重，α为预设的第一比例因子，(1-α)为预设的第二比例因子，

为正点互信息，

为负点互信息。

需要说明的是，由于点互信息不一定为正数，且通常情况下，第一类概率和第二类概率小于全图类概率，考虑激活图权重的相对值，结果权重归一化如下：

其中，

是特征权重。

类激活图计算式可表示为：

其中，

为类激活图，Up(F^Lk)为特征权重对应的特征图像进行上采样的结果。

参照图9所示，本发明一个实施例还提供了一种类激活图可解释方法，包括但不限于以下步骤：

步骤S500、获取类激活图；

可以理解的是，类激活图根据本发明实施例的类激活图生成方法得到。

步骤S600、调整正特征相关性信息和负特征相关性信息对应的比例因子，以更新类激活图；

步骤S700、根据更新后的类激活图，得到正特征相关性信息和负特征相关性信息分别对应原始图像的重要程度。

可以理解的是，当第一比例因子和第二比例因子改变时，对应的类激活图也会改变。当第一比例因子为1，则产生类激活图的特征权重由正特征相关性信息得到，即可以直观的显示正特征对于原始图像在经训练卷积神经网络判断过程中的重要性，如果相应的第一掩码由二值化生成，则可以显著提高类激活图的可解释性。当第一比例因子为0，则产生类激活图的特征权重由负特征相关性信息得到，即可以直观的显示负特征对于原始图像在经训练卷积神经网络的判断过程中的影响，并可作为评估经训练卷积神经网络缺陷位置的参考，如果相应的第二掩码由二值化生成，则可以显著提高类激活图的可解释性。而第一比例因子在0到1之间调整，则可以显示不同特征对原始图片在经训练卷积神经网络判断的影响程度。

可以理解的是，本发明实施例的第一比例因子对应正特征相关性信息，第二比例因子对应负特征相关性信息。

参照图11，本发明一个实施例还提供了一种类激活图处理装置，包括：

第一输入单元100，用于将原始图像输入经训练卷积神经网络，得到第一激活图；

第二输入单元200，用于将第一激活图输入正特征相关性模块，得到正特征相关性信息；

第三输入单元300，用于将第一激活图输入负特征相关性模块，得到负特征相关性信息；

处理单元400，用于根据第一激活图、正特征相关性信息和负特征相关性信息得到类激活图。

需说明的是，本发明方法实施例的内容均适用于本系统实施例，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同，在此不再赘述。

另外，本发明一个实施例还提供了一种类激活图处理设备，该类激活图处理设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。

处理器和存储器可以通过总线或者其他方式连接。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

需要说明的是，本实施例中的类激活图处理设备，可以应用为如上述实施例的类激活图生成方法或类激活图可解释方法，本实施例中的类激活图处理设备和如上述实施例的类激活图生成方法或类激活图可解释方法具有相同的发明构思，因此这些实施例具有相同的实现原理以及技术效果，此处不再详述。

实现上述实施例的类激活图生成方法和/或类激活图可解释方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的类激活图生成方法和/或类激活图可解释方法，例如，执行以上描述的图1中的方法步骤S100至S400、图2中的方法步骤S210至S240、图3中的方法步骤S310至S350、图4中的方法步骤S211至S212、图5中的方法步骤S321至S322、图6中的方法步骤S241、图7中的方法步骤S351、图8中的方法步骤S410至S420、图9中的方法步骤S500至S700。

以上所描述的装置实施例和设备实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

此外，本发明一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被上述类激活图处理设备实施例中的一个处理器执行，可使得上述处理器执行上述实施例中的类激活图生成方法和/或类激活图可解释方法，例如，执行以上描述的图1中的方法步骤S100至S400、图2中的方法步骤S210至S240、图3中的方法步骤S310至S350、图4中的方法步骤S211至S212、图5中的方法步骤S321至S322、图6中的方法步骤S241、图7中的方法步骤S351、图8中的方法步骤S410至S420、图9中的方法步骤S500至S700。

通过以上的实施方式的描述，本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在可读介质上，可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读信号、数据结构、指令模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读信号、数据结构、指令模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

Claims (12)

1.一种类激活图生成方法，其特征在于，包括：

将原始图像输入经训练卷积神经网络，得到第一激活图；

将所述第一激活图输入正特征相关性模块，得到正特征相关性信息；

将所述第一激活图输入负特征相关性模块，得到负特征相关性信息；

根据所述第一激活图、所述正特征相关性信息和所述负特征相关性信息得到类激活图。

2.根据权利要求1所述的类激活图生成方法，其特征在于，所述将所述第一激活图输入正特征相关性模块，得到正特征相关性信息，包括：

根据所述第一激活图计算获得第一掩码；

根据所述第一掩码和所述原始图像计算获得第一蒙版图像；

将所述第一蒙版图像输入所述经训练卷积神经网络，得到第一类概率；

根据所述第一类概率和所述原始图像的全图类概率得到所述正特征相关性信息，其中，所述全图类概率由所述原始图像输入所述经训练卷积神经网络得到。

3.根据权利要求2所述的类激活图生成方法，其特征在于，所述将所述第一激活图输入负特征相关性模块，得到负特征相关性信息，包括：

根据所述第一激活图计算得到第一负激活图；

根据所述第一负激活图计算获得第二掩码；

根据所述第二掩码和所述原始图像计算获得第二蒙版图像；

将所述第二蒙版图像输入所述经训练卷积神经网络，得到第二类概率；

根据所述第二类概率和所述原始图像的所述全图类概率得到所述负特征相关性信息。

4.根据权利要求2所述的类激活图生成方法，其特征在于，所述根据所述第一激活图计算获得第一掩码，包括：

对所述第一激活图进行平均值计算，得到第一二值化阈值；

根据所述第一二值化阈值对所述第一激活图进行二值化处理，得到所述第一掩码。

5.根据权利要求3所述的的类激活图生成方法，其特征在于，所述根据所述第一负激活图计算获得第二掩码，包括：

对所述第一负激活图进行平均值计算，得到第二二值化阈值；

根据所述第二二值化阈值对所述第一负激活图进行二值化处理，得到所述第二掩码。

6.根据权利要求3所述的类激活图生成方法，其特征在于，所述正特征相关性信息为正点互信息，所述根据所述第一类概率和所述原始图像的全图类概率得到所述正特征相关性信息，包括：

对所述第一类概率和所述全图类概率进行点互信息计算，得到所述正点互信息。

7.根据权利要求6所述的类激活图生成方法，其特征在于，所述负特征相关性信息为负点互信息，所述根据所述第二类概率和所述原始图像的所述全图类概率得到所述负特征相关性信息，包括：

对所述第二类概率和所述全图类概率进行点互信息计算，得到所述负点互信息。

8.根据权利要求7所述的类激活图生成方法，其特征在于，所述根据所述第一激活图、所述正特征相关性信息和所述负特征相关性信息得到类激活图，包括：

将所述正点互信息和所述负点互信息结合对应的比例因子进行计算，得到特征权重；

根据所述特征权重和所述第一激活图计算获得所述类激活图。

9.一种类激活图可解释方法，其特征在于，包括：

获取类激活图，所述类激活图根据权利要求1至8任一项所述的类激活图生成方法得到；

调整所述正特征相关性信息和所述负特征相关性信息对应的比例因子，以更新所述类激活图；

根据更新后的所述类激活图，得到所述正特征相关性信息和所述负特征相关性信息分别对应所述原始图像的重要程度。

10.一种类激活图处理装置，其特征在于，包括：

第一输入单元，用于将原始图像输入经训练卷积神经网络，得到第一激活图；

第二输入单元，用于将所述第一激活图输入正特征相关性模块，得到正特征相关性信息；

第三输入单元，用于将所述第一激活图输入负特征相关性模块，得到负特征相关性信息；

处理单元，用于根据所述第一激活图、所述正特征相关性信息和所述负特征相关性信息得到类激活图。

11.一种类激活图处理设备，其特征在于，包括：

至少一个存储器；

至少一个处理器；

至少一个程序；

所述程序被存储在所述存储器中，所述处理器执行至少一个所述程序以实现：

如权利要求1至8任一项所述的类激活图生成方法，或如权利要求9所述的类激活图可解释方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行信号，所述计算机可执行信号用于执行：

如权利要求1至8任一项所述的类激活图生成方法，或如权利要求9所述的类激活图可解释方法。

Images