CN114913378A - 一种基于综合类激活映射的图像分类可解释方法 - Google Patents
一种基于综合类激活映射的图像分类可解释方法 Download PDFInfo
- Publication number
- CN114913378A CN114913378A CN202210629390.3A CN202210629390A CN114913378A CN 114913378 A CN114913378 A CN 114913378A CN 202210629390 A CN202210629390 A CN 202210629390A CN 114913378 A CN114913378 A CN 114913378A
- Authority
- CN
- China
- Prior art keywords
- feature map
- weight
- sensitivity
- image classification
- consistency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
一种基于综合类激活映射的图像分类可解释性方法。本发明公开了一种基于综合类激活映射的图像分类可解释性方法,可以实现类判别性更好、噪声更小的解释效果。它的可解释方法如下:为了让权值的求解具有一定的数学逻辑依据,引入敏感性和一致性公理;使用消融下降(Ablation drop)作为特征图的初始权重,以解决梯度加权类激活映射存在的梯度饱和问题;将初始掩码进行双线性插值上采样、归一化和高斯噪声处理操作;处理后的掩码与输入图像进行哈达玛积,经网络模型计算后进行加权平均处理得到激活图的最终权重。本发明应用于卷积神经网络图像分类模型的可解释性。
Description
技术领域
本发明涉及深度学习可解释性技术领域中,具体涉及一种基于综合类激活映射的图像分类可解释方法。
背景技术
近年来,深度学习在图像、声音、自然语言处理等领域取得卓越成效,但对于产生的结果是不容易解释的,有些情况下甚至是不可控的,这一架构在“端到端”模式下、通过计算大量的数据来进行误差反向传播而优化参数的学习方法被比喻为一个“黑盒子”。在图像目标识别的过程中机理不清楚,造成目标特征不直观、网络可分性不可控,对很多现象无法正确解释。由于模型内部的非线性和复杂性,导致无法以人类可理解的方式理解模型的决策结果,造成了深度学习模型的不可解释性,人们难以得知深度模型到底从训练数据中学到了哪些东西,以及如何进行最终决策的,这极大地限制了深度模型的广泛应用。深度学习模型的不可解释性也会带来许多潜在的危险,尤其是在安全攻防领域。一方面会降低模型的可信赖度,难以让人类相信深度学习模型;另一方面也会带来比较棘手的安全性问题,例如,当对抗样本扰动对模型造成干扰时,很难弄清楚导致结果出现了巨大偏差的原因,从而导致难以对对抗攻击的来源进行追踪。
因此,开展深度卷积神经网络图像分类任务的可解释性算法研究,解决多层智能识别网络缺乏数学理论支撑、存在机理不明确等问题。突破网络结构、参数寻优、收敛控制、误差边界、学习速度等黑盒因素的数学解释的关键技术,解决无法使用模型解析方法对智能算法提供可靠性理论依据的问题。
发明内容
本发明的目的是为了实现类判别性更好、噪声更小的解释效果,提出的一种基于综合类激活映射的图像分类可解释方法。
上述发明目的主要是通过以下技术方案实现的:
S1、将输入图像送入图像分类网络生成选定特征层的特征图;
S2、引入敏感性(Sensitivity)以及一致性(Conservation)公理;
权值的确定是关键问题,不同的权值定义产生不同的CAM方法,常用的CAM方法有CAM、Grad-CAM、Grad-CAM++等。CAM是类激活映射系列方法的开山鼻祖,但由于无法可视化带有全连接层的CNN,其应用场景受限。除CAM以外,最为人所知的方法是Grad- CAM,该方法首先计算感兴趣类别得分(softmax归一化之前的值)相对每个特征映射的梯度,然后用每个特征映射的梯度平均值作为对应特征映射的权值。Grad-CAM适用于任意CNN 结构,但缺乏充分的数学逻辑来证明梯度的平均可以代表各个特征映射对分类结果的重要性。
公理是可视化方法应该满足的不言而喻的特性,满足这些公理使得可视化的方法更加可靠和理论化。因此,为了更好的可视化和解释CNN的决策,本发明引入两个公理:敏感性和一致性。
敏感性的计算公式如下:
一致性的计算公式如下:
一致性要求基于CAM方法所成的结果图响应总和等于感兴趣类别的得分;
某一特征映射置为零后,其得分下降的越明显,该特征映射的重要性应该越高,敏感性正是基于这种观点建立的,一致性的引入是为了确保类别得分主要受特征映射支配,而不是由其它一些不可控的因素主导。
S3、在满足公理的条件下,使用消融下降(Ablation drop)作为特征图的初始权重;
消融分析初始研究的是单个神经元对训练网络的重要性,实验表明一个良好的广义网络对单个神经元的依赖程度较低,消融单个神经元(将激活值设置为零)对整个网络性能的影响可以忽略不计。如图2所示本发明没有考虑单个神经元消融对图像分类网络模型性能的影响,而是考虑消融特征图的某一维通道信息(将激活值设置为零)。
删除特征地图的某一维通道信息会严重影响特定类别的准确性,表明了这一通道对特定类的重要性。因此可以使用该消融下降代替全局平均梯度,作为最终的卷积层的权重。消融下降满足敏感性公理,又不会像Grad-CAM存在梯度饱和问题;
式中yc为输入类别c的预测值,为预先选中特征层中没有第k维通道数的预测值。这个权重可以解释为当特征图Alk被移除时,类别c的激活分数下降的百分比。将特征映射Alk的所有激活单元设置为零,并输入图像重复相同的前向传递,消融单元k会导致激活分数降低。不受梯度饱和(将重要的过滤器标记为不重要)和爆炸(将不重要的过滤器标记为重要)。可以简单的解释为移除Alk时类别c激活分数的下降。
S4、初始权重与特征图进行加权组合和非线性激活函数得到初始掩码;
S5、初始掩码通过双线性插值上采样到输入图像大小,再进行最大最小归一化处理得到最终掩码;
S6、对最终掩码添加高斯噪声产生N个噪声样本图像;
S7、噪声样本图像与输入图像进行哈达玛积之后送入图像分类网络得到N个分数,进行平均和Softmax获得最终权重;
S8、将最终权重与初始选定的特征图进行加权组合和非线性激活得到显著性图。
发明效果
本发明提供了一种基于综合类激活映射的图像分类可解释方法。本方法首先引入敏感性和一致性公理,为掩码和最终特征映射的权重求解提供了数学逻辑支撑。使用消融下降作为特征映射的初始权重,消除了网络模型中由于ReLU非线性激活函数存在的梯度饱和局部不平滑问题。对初始掩码进行双线性插值上采样和最大最小归一化处理操作,解决了初始掩码在视觉上的噪声。为了防止前向运算产生噪声,对处理后的掩码添加高斯噪声产生N个噪声样本图像,噪声样本图像与输入图像进行哈达玛积生成新的输入数据,将新数据输入如图3 所示的图像分类网络模型得到最终的权重,将最终权重与初始选定的特征图进行加权组合和非线性激活得到显著性图。实验表明,该方法显著性图噪声更小,不仅可以准确地定位一个类别的单个目标,还可以准确地定位一个类别的多个目标。
附图说明
图2为消融下降结构图;
图3为图像分类网络模型图;
图4为可解释方法结构图。
具体实施方法
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
本文提供的一种基于综合类激活映射的图像分类可解释方法,包括步骤:
S1、将输入图像送入图像分类网络生成选定特征层的特征图;
S2、引入敏感性(Sensitivity)以及一致性(Conservation)公理;
S3、在满足公理的条件下,使用消融下降(Ablation drop)作为特征图的初始权重;
S4、初始权重与特征图进行加权组合和非线性激活函数得到初始掩码;
S5、初始掩码通过双线性插值上采样到输入图像大小,再进行最大最小归一化处理得到最终掩码;
S6、对最终掩码添加高斯噪声产生N个噪声样本图像;
S7、噪声样本图像与输入图像进行哈达玛积之后送入图像分类网络得到N个分数,进行平均和Softmax获得最终权重;
S8、将最终权重与初始选定的特征图进行加权组合和非线性激活得到显著性图。
本发明实施例选取一张预要解释的图片送入图3的图像分类网络模型,前向传播生成特征映射,选取较深层具有高级语义的特征图作为可视化解释的信息来源。引入敏感性和一致性公理使显著性图的权重求解具有一定的逻辑依据。在满足敏感性公理的条件下,使用消融下降求解特征映射的权重,将权重与特征映射进行线性加权组合和非线性激活生成初始掩码。对初始掩码进行双线性插值上采样到输入图像大小,再进行归一化处理使数据缩放到[0,1]之间。将处理后的掩码添加高斯噪声后再mask到输入图像上,重新送入图像分类网络模型得到最终权重,将最终权重与特征映射进行加权组合和非线性激活得到预要解释类别的显著性图。
下面对本发明实施例进行详细的说明:
本发明实施例采用ImageNet数据集图片,应用本发明算法实现可解释性具体实现如下。
S1、将输入图像送入图像分类网络生成选定特征层的特征图;
首先选取需要解释的输入图片,因为图片大小是不固定的,对输入图片进行预处理,即随机裁剪成(224×224)大小,再利用标准化处理消除数据偏差,公式如下:
式中xi表示图像像素点的值,μ表示样本数据的均值,σ表示样本数据的标准差。
S2、引入敏感性(Sensitivity)以及一致性(Conservation)公理;
权值的确定是关键问题,不同的权值定义产生不同的CAM方法,常用的CAM方法有CAM、Grad-CAM、Grad-CAM++等。CAM是类激活映射系列方法的开山鼻祖,但由于无法可视化带有全连接层的CNN,其应用场景受限。除CAM以外,最为人所知的方法是Grad- CAM,该方法首先计算感兴趣类别得分(softmax归一化之前的值)相对每个特征映射的梯度,然后用每个特征映射的梯度平均值作为对应特征映射的权值。Grad-CAM适用于任意CNN 结构,但缺乏充分的数学逻辑来证明梯度的平均可以代表各个特征映射对分类结果的重要性。
公理是可视化方法应该满足的不言而喻的特性,满足这些公理使得可视化的方法更加可靠和理论化。因此,为了更好的可视化和解释CNN的决策,本发明引入两个公理:敏感性和一致性。
敏感性的计算公式如下:
一致性的计算公式如下:
一致性要求基于CAM方法所成的结果图响应总和等于感兴趣类别的得分;
某一特征映射置为0后,其得分下降的越明显,该特征映射的重要性应该越高,敏感性正是基于这种观点建立的,一致性的引入是为了确保类别得分主要受特征映射支配,而不是由其它一些不可控的因素主导。
S3、在满足公理的条件下,使用消融下降(Ablation drop)作为特征图的初始权重;
消融分析初始研究单个神经元对训练网络的重要性,实验表明一个良好的广义网络对单个神经元的依赖程度较低,消融单个神经元(将激活值设置为零)对整个网络性能的影响可以忽略不计。如图2所示本发明没有考虑单个神经元消融对图像分类网络模型性能的影响,而是考虑消融特征图的某一维通道信息(将激活值设置为零)。
删除特征地图的某一维通道信息会严重影响特定类别的准确性,表明了这一通道对特定类的重要性。因此可以使用该消融下降代替全局平均梯度,作为最终的卷积层的权重。消融下降满足足敏感性公理,又不会像Grad-CAM存在梯度饱和问题;
式中yc为输入类别c的预测值,为预先选中特征层中没有第k维通道数的预测值。这个权重可以解释为当特征图Alk被移除时,类别c的激活分数下降的百分比。将特征映射Alk的所有激活单元设置为零,并输入图像重复相同前向传递,消融单元k会导致激活分数降低。不受梯度饱和(将重要的过滤器标记为不重要)和爆炸(将不重要的过滤器标记为重要)。可以简单的解释为移除Alk时类别c激活分数的下降。
S4、初始权重与特征图进行加权组合和非线性激活函数得到初始掩码;
初始掩码Mk的计算公式如下:
使用非线性函数ReLU减少了影响可视化的负相关信息。
S5、初始掩码通过双线性插值上采样到输入图像大小,再进行最大最小归一化处理得到最终掩码;
初始掩码是特征图和初始权重的组合,在视觉上是存在噪声的,所以需要平滑处理,首先初始掩码上采样到输入图片大小,再进行归一化处理,计算公式如下:
式中U(Mk)表示双线性插值上采样,min(U(Mk))表示上采样后的最小值,max(U(Mk)) 表示上采样后的最大值。
S6、对最终掩码添加高斯噪声产生N个噪声样本图像;
后续操作步骤会由图像分类网络模型的ReLU非线性函数产生噪声,因此采用高斯噪声锐化处理,计算公式如下:
M”kn=M’k+N(0,σ2) (8)
式中N(0,σ2)表示均值为0,标准差为σ2高斯函数,n表示每一个掩码生成n个噪声样本图像。
S7、噪声样本图像与输入图像进行哈达玛积之后送入图像分类网络得到N个分数,进行平均和Softmax获得最终权重;
式中X表示输入图像,M”kn·X表示哈达玛积,Xb表示基线输入。
S8、将最终权重与初始选定的特征图进行加权组合和非线性激活得到显著性图。
本发明的上述实验里仅为详细地说明本发明的计算模型和计算流程,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上诉说明的基础上还可以做出其它不同形式的变化或变动,这里无法对所有的实施方式予以穷举,凡是属于本发明的技术方案所引申出的显而易见的变化或变动仍处于本发明的保护范围之列。
Claims (3)
1.一种基于综合类激活映射的图像分类可解释性方法,其特征在于,包括以下步骤:
S1、将输入图像送入图像分类网络生成选定特征层的特征图;
S2、引入敏感性(Sensitivity)以及一致性(Conservation)公理;
S3、在满足公理的条件下,使用消融下降(Ablation drop)作为特征图的初始权重;
S4、初始权重与特征图进行加权组合和非线性激活函数得到初始掩码;
S5、初始掩码通过双线性插值上采样到输入图像大小,再进行最大最小归一化处理得到最终掩码;
S6、对最终掩码添加高斯噪声产生N个噪声样本图像;
S7、噪声样本图像与输入图像进行哈达玛积之后送入图像分类网络得到N个分数,进行平均和Softmax获得最终权重;
S8、将最终权重与初始选定的特征图进行加权组合和非线性激活得到显著性图。
2.如权利要求1所述的一种基于综合类激活映射的图像分类可解释性方法,其特征在于,步骤S2中所述的引入敏感性和一致性公理让权重的求解具备一定的数学逻辑依据,最终的类激活映射都是对卷积特征图的加权求和,的计算公式如下:
敏感性的计算公式如下:
一致性的计算公式如下:
一致性要求基于CAM方法所成的结果图响应总和等于感兴趣类别的得分;
某一特征映射置为0后,其得分下降的越明显,该特征映射的重要性应该越高,敏感性正是基于这种观点建立的,一致性的引入是为了确保类别得分主要受特征映射支配,而不是由其它一些不可控的因素主导。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210629390.3A CN114913378A (zh) | 2022-06-02 | 2022-06-02 | 一种基于综合类激活映射的图像分类可解释方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210629390.3A CN114913378A (zh) | 2022-06-02 | 2022-06-02 | 一种基于综合类激活映射的图像分类可解释方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114913378A true CN114913378A (zh) | 2022-08-16 |
Family
ID=82770306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210629390.3A Pending CN114913378A (zh) | 2022-06-02 | 2022-06-02 | 一种基于综合类激活映射的图像分类可解释方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114913378A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116805082A (zh) * | 2023-08-23 | 2023-09-26 | 南京大学 | 一种保护客户端隐私数据的拆分学习方法 |
-
2022
- 2022-06-02 CN CN202210629390.3A patent/CN114913378A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116805082A (zh) * | 2023-08-23 | 2023-09-26 | 南京大学 | 一种保护客户端隐私数据的拆分学习方法 |
CN116805082B (zh) * | 2023-08-23 | 2023-11-03 | 南京大学 | 一种保护客户端隐私数据的拆分学习方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11823443B2 (en) | Segmenting objects by refining shape priors | |
CN106548192B (zh) | 基于神经网络的图像处理方法、装置和电子设备 | |
CN112130200B (zh) | 一种基于grad-CAM注意力引导的断层识别方法 | |
CN108229280A (zh) | 时域动作检测方法和系统、电子设备、计算机存储介质 | |
CN113283599B (zh) | 基于神经元激活率的对抗攻击防御方法 | |
CN107689052A (zh) | 基于多模型融合和结构化深度特征的视觉目标跟踪方法 | |
CN110084201B (zh) | 一种监控场景下基于特定目标跟踪的卷积神经网络的人体动作识别方法 | |
CN113869449A (zh) | 一种模型训练、图像处理方法、装置、设备及存储介质 | |
CN103902989A (zh) | 基于非负矩阵分解的人体动作视频识别方法 | |
CN111553462A (zh) | 一种类激活映射方法 | |
CN113850838A (zh) | 船舶航行意图获取方法、装置、计算机设备及存储介质 | |
CN113947188A (zh) | 目标检测网络的训练方法和车辆检测方法 | |
CN113919497A (zh) | 针对连续学习能力系统的基于特征操纵的攻击和防御方法 | |
CN113259332A (zh) | 一种基于端到端的多类型网络流量异常检测方法及系统 | |
CN114913378A (zh) | 一种基于综合类激活映射的图像分类可解释方法 | |
Lee et al. | An edge detection–based eGAN model for connectivity in ambient intelligence environments | |
CN116229584A (zh) | 一种人工智能领域的文本分割识别方法、系统、设备及介质 | |
CN115546554A (zh) | 敏感图像的识别方法、装置、设备和计算机可读存储介质 | |
Tianyi et al. | Federated learning based nonlinear two-stage framework for full-reference image quality assessment: An application for biometric | |
CN113947140A (zh) | 人脸特征提取模型的训练方法和人脸特征提取方法 | |
Gizatullin et al. | Automatic car license plate detection based on the image weight model | |
CN116245866B (zh) | 一种移动人脸追踪方法及系统 | |
JP7265690B2 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
CN115578613B (zh) | 目标再识别模型的训练方法和目标再识别方法 | |
Zhang et al. | Imperceptible and Reliable Adversarial Attack |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |