CN117649592A - 深度神经网络决策偏见挖掘与可视化方法及装置 - Google Patents

深度神经网络决策偏见挖掘与可视化方法及装置 Download PDF

Info

Publication number
CN117649592A
CN117649592A CN202311693415.7A CN202311693415A CN117649592A CN 117649592 A CN117649592 A CN 117649592A CN 202311693415 A CN202311693415 A CN 202311693415A CN 117649592 A CN117649592 A CN 117649592A
Authority
CN
China
Prior art keywords
neural network
channel
deep neural
module
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311693415.7A
Other languages
English (en)
Inventor
马兴军
方科杰
姜育刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202311693415.7A priority Critical patent/CN117649592A/zh
Publication of CN117649592A publication Critical patent/CN117649592A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种深度神经网络决策偏见挖掘与可视化方法及装置，具有这样的特征，包括以下步骤：步骤S1将图像输入深度神经网络模型得到输出结果；步骤S2选取目标特征层；步骤S3根据图像的标签和输出结果得到权重向量；步骤S4设置通道掩码；步骤S5通过通道掩码得到对应的遮盖特征图；步骤S6根据所有遮盖特征图得到遮盖输出结果；步骤S7根据遮盖输出结果、输出结果和通道掩码得到损失函数计算结果；步骤S8根据损失函数计算结果更新通道掩码；步骤S9重复步骤S5至步骤S8，直至达到终止条件，则根据所有通道掩码、特征图和权重向量得到归因热力图。总之，本方法能够得到针对深度神经网络潜在决策偏见的可视化结果。

Description

深度神经网络决策偏见挖掘与可视化方法及装置
技术领域
本发明涉及图像智能分析领域，具体涉及一种深度神经网络决策偏见挖掘与可视化方法及装置。
背景技术
基于深度神经网络的图像分析和分类系统在多个领域，包括医学影像分析、自动驾驶等方面具有广泛的应用。而深度神经网络通常是复杂的黑盒模型，难以清楚的解释其内部决策过程。可视化技术可以使模型的决策更加透明，帮助用户理解为什么模型对于不同的输入数据会产生特定的输出。这对于审查模型的行为、验证其准确性以及确保模型符合特定的标准非常重要。
可视化也可以帮助研究人员和工程师发现模型中可能存在的问题，如梯度消失、过拟合、欠拟合等。通过可视化，他们可以更容易地识别需要改进的方面，并进行模型调整。可视化还可以用于验证模型的正确性和一致性。通过可视化，可以检查模型是否在预期的方式下执行任务，以及是否符合领域专家的知识。
此外，在提高决策信任度也是模型应用的重要前提。在一些关键领域，如医疗诊断，模型的决策必须得到信任。可视化可以提供证据，帮助用户理解模型的工作方式，并增强对模型决策的信任。神经网络可视化的意义在于帮助我们理解和信任神经网络模型，使其更具实际应用的可行性和可用性。这对于推动深度学习技术的发展和应用具有重要意义。
为了提高图像分类模型的可解释性和性能，研究者提出了Grad-CAM技术，这是一种基于深度学习的技术，用于可视化深度神经网络对输入图像的响应。Grad-CAM技术通过分析卷积神经网络(Convolutional Neural Network,CNN)中特定层的梯度信息，确定了神经网络在分类决策时对输入图像的关注点。这一技术提供了对图像中不同像素区域对分类结果的贡献的可视化反馈，使操作人员能够理解神经网络是如何作出分类决策的。
然而，Grad-CAM存在一些问题，例如生成的热力图可能出现不稳定的像素值，这使得可视化不够清晰，而且容易受到噪声的影响。在“Omeiza D,Speakman S,Cintas C,etal.Smooth grad-cam++:An enhanced inference level visualization technique fordeep convolutional neural network models[J].arXiv preprint arXiv:1908.01224,2019”的文献中公开了通过多次向输入图像添加微小的噪声，然后计算每次生成的Grad-CAM热图，最后平均这些热图，以减少随机性和噪声，提供更平滑的可视化结果，但同时成倍增加了计算成本。
发现和量化决策偏见是解决偏见的前提。现有的偏见挖掘算法，大致有以下几种途径：1)从数据集出发，数据不平衡是导致模型偏见的一个常见原因。为了解决这个问题，研究人员使用数据增强技术和重新采样策略，以增加少数类别的样本数量，从而减少模型对多数类别的偏见。2)为训练目标增加公平约束，在训练过程中引入公平性约束，以确保模型在不同群体之间的预测结果是公平的。3)公平预处理和后处理：有一些技术用于在模型训练之前或在预测输出之后进行数据预处理和后处理，以确保公平性。这包括重新标记数据、修正输出概率、重新排序候选列表等。
然而，目前不存在一种针对深度神经网络潜在决策偏见的可视化方法。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种深度神经网络决策偏见挖掘与可视化方法及装置。
本发明提供了一种深度神经网络决策偏见挖掘与可视化方法，用于生成输入深度神经网络模型的图像的归因热力图，具有这样的特征，包括以下步骤：步骤S1，将图像输入深度神经网络模型，得到输出结果；步骤S2，选取深度神经网络模型的一个特征层作为目标特征层；步骤S3，根据图像的标签和输出结果进行反向传播，计算得到权重向量；步骤S4，分别对目标特征层的各个通道设置初始化掩码作为对应的通道掩码；步骤S5，对每个通道，通过对应的通道掩码对该通道生成的特征图进行遮盖，得到对应的遮盖特征图；步骤S6，将所有遮盖特征图作为目标层的输出，经由深度神经网络模型后续层的处理，得到遮盖输出结果；步骤S7，对每个通道掩码，根据遮盖输出结果、输出结果和该通道掩码计算损失函数，得到对应的损失函数计算结果；步骤S8，根据所有损失函数计算结果反向传播更新所有通道掩码；步骤S9，重复步骤S5至步骤S8，直至达到终止条件，则根据所有通道掩码、特征图和权重向量计算得到归因热力图。
在本发明提供的深度神经网络决策偏见挖掘与可视化方法中，还可以具有这样的特征：其中，在步骤S3中，权重向量为维度等于目标特征层的通道数的向量，包含目标特征层的各个通道的权重，权重向量的计算公式为：式中gt为权重向量，/>为特征图lt上坐标为(o，j)的值，Z为归一化的项，fL为输出结果中标签对应的结果。
在本发明提供的深度神经网络决策偏见挖掘与可视化方法中，还可以具有这样的特征：其中，在步骤S9中，将每个通道对应的特征图和通道掩码相乘得到对应的蒸馏特征图，将权重向量中各个权重与对应的蒸馏特征图相乘得到权重特征图，将所有权重特征图相加得到归因热力图，归因热力图的表达式为：CD-CAM＝ReLU(gt·m·lt)，式中CD-CAM为归因热力图，ReLU为激活函数，m为通道掩码，lt为通道掩码对应的特征图。
在本发明提供的深度神经网络决策偏见挖掘与可视化方法中，还可以具有这样的特征：其中，在步骤S7中，损失函数的计算公式为：||fmask-f||1+α||m||1+βTV(m)，TV(m)＝∑∑(|I(i，j)-I(i+1，j)|+|I(i，j)-I(i，j+1)|)，式中fmask为遮盖输出结果，f为输出结果，m为通道掩码，||||1为L1正则化项，I(i，j)为通道掩码对应的通道生成的特征图上坐标为(i，j)的值，α和β均为超参数。
在本发明提供的深度神经网络决策偏见挖掘与可视化方法中，还可以具有这样的特征：其中，在步骤S2中，目标特征层为深度神经网络模型的卷积层的最后一层。
在本发明提供的深度神经网络决策偏见挖掘与可视化方法中，还可以具有这样的特征：其中，在步骤S4中，初始化掩码为形状与目标特征层一样且经由初始化的张量，初始化的方式包括高斯噪声初始化和全1初始化。
在本发明提供的深度神经网络决策偏见挖掘与可视化方法中，还可以具有这样的特征：其中，在步骤S9中，终止条件为通道掩码的更新次数达到预设次数。
本发明还提供了一种深度神经网络决策偏见挖掘与可视化装置，用于生成输入深度神经网络模型的图像的归因热力图，具有这样的特征，包括：输入模块、模型存储模块、输出结果生成模块、目标选择模块、权重向量生成模块、通道掩码生成模块、遮盖特征图生成模块、遮盖输出结果生成模块、损失函数计算模块、通道掩码更新模块、更新判断模块、归因热力图生成模块和输出模块，其中，输入模块用于输入图像和对应的标签，模型存储模块用于存储深度神经网络模型，输出结果生成模块用于从模型存储模块中提取深度神经网络模型，并将图像输入该深度神经网络模型，得到输出结果，目标选择模块用于选取深度神经网络模型的一个特征层作为目标特征层，权重向量生成模块用于根据标签和输出结果进行反向传播，计算得到权重向量，通道掩码生成模块用于生成目标特征层中各个通道对应的初始化掩码作为通道掩码，遮盖特征图生成模块用于根据各个通道掩码对对应的通道生成的特征图进行遮盖，得到对应的遮盖特征图，遮盖输出结果生成模块用于将所有遮盖特征图作为目标层的输出，经由深度神经网络模型后续层的处理，得到遮盖输出结果，损失函数计算模块用于根据遮盖输出结果、输出结果和通道掩码计算损失函数，得到对应通道的损失函数计算结果，通道掩码更新模块用于根据所有损失函数计算结果反向传播更新所有通道掩码，并发送至更新判断模块，更新判断模块存储有预设的终止条件，判断是否达到终止条件，若是则将通道掩码发送至归因热力图生成模块，若否，则将通道掩码发送至遮盖特征图生成模块，归因热力图生成模块用于根据所有通道掩码、特征图和权重向量计算得到归因热力图，输出模块用于输出归因热力图。
发明的作用与效果
根据本发明所涉及的深度神经网络决策偏见挖掘与可视化方法及装置，因为，一方面，通过通道掩码对特征图进行遮盖，对特征图进行认知蒸馏，并且利用损失函数在迭代优化中不断更新通道掩码，从而提取特征图中重要部分的特征通道信息；另一方面，通过计算目标特征层的权重向量得到各个通道对模型决策的重要程度，进而将通道掩码遮盖后的特征图进行基于权重的整合，得到精准的归因热力图。所以，本发明的深度神经网络决策偏见挖掘与可视化方法及装置能够得到针对深度神经网络潜在决策偏见的可视化结果。
附图说明
图1是本发明的实施例中深度神经网络决策偏见挖掘与可视化装置的框图。
图2是本发明的实施例中深度神经网络决策偏见挖掘与可视化方法的流程示意图；
图3是本发明的实施例中Grad-CAM可视方法与CD方法的对比示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明深度神经网络决策偏见挖掘与可视化方法及装置作具体阐述。
本实施例的深度神经网络决策偏见挖掘与可视化方法及装置用于生成输入深度神经网络模型的图像的归因热力图。
该深度神经网络模型为应用于智能医疗诊断领域的深度残差网络模型，其根据输入的胸部光片得到对应的诊断结果。
通过本实施例的深度神经网络决策偏见挖掘与可视化方法及装置能够生成基于该胸部光片的归因热力图，从而可视化地展现该深度残差网络模型的潜在认知捷径。
本实施例提供了一种深度神经网络决策偏见挖掘与可视化装置，用于生成输入深度神经网络模型的图像的归因热力图。
图1是本发明的实施例中深度神经网络决策偏见挖掘与可视化装置的框图。
如图1所示，本实施例的深度神经网络决策偏见挖掘与可视化装置1包括输入模块11、模型存储模块12、输出结果生成模块13、目标选择模块14、权重向量生成模块15、通道掩码生成模块16、遮盖特征图生成模块17、遮盖输出结果生成模块18、损失函数计算模块19、通道掩码更新模块20、更新判断模块21、归因热力图生成模块22、输出模块23以及控制上述各个模块的装置控制模块24。
输入模块11用于输入图像和对应的标签。
模型存储模块12用于存储深度神经网络模型。
输出结果生成模块13用于从模型存储模块中提取深度神经网络模型，并将图像输入该深度神经网络模型，得到输出结果。
目标选择模块14用于选取深度神经网络模型的一个特征层作为目标特征层。
权重向量生成模块15用于根据标签和输出结果进行反向传播，计算得到权重向量。
通道掩码生成模块16用于生成目标特征层中各个通道对应的初始化掩码作为通道掩码。
遮盖特征图生成模块17用于根据各个通道掩码对对应的通道生成的特征图进行遮盖，得到对应的遮盖特征图。
遮盖输出结果生成模块18用于将所有遮盖特征图作为目标层的输出，经由深度神经网络模型后续层的处理，得到遮盖输出结果。
损失函数计算模块19用于根据遮盖输出结果、输出结果和通道掩码计算损失函数，得到对应通道的损失函数计算结果。
通道掩码更新模块20用于根据所有损失函数计算结果反向传播更新所有通道掩码，并发送至更新判断模块。
更新判断模块21存储有预设的终止条件，判断是否达到终止条件，若是则将通道掩码发送至归因热力图生成模块，若否，则将通道掩码发送至遮盖特征图生成模块。
归因热力图生成模块22用于根据所有通道掩码、特征图和权重向量计算得到归因热力图。
输出模块23用于输出归因热力图。
装置控制模块24存储有控制上述各个模块运行的控制程序。
以下结合附图说明采用本实施例的深度神经网络决策偏见挖掘与可视化装置进行深度神经网络决策偏见挖掘与可视化方法的过程。
图2是本发明的实施例中深度神经网络决策偏见挖掘与可视化方法的流程示意图。
如图2所示，本实施例的深度神经网络决策偏见挖掘与可视化方法包括以下步骤：
步骤S1，通过输出结果生成模块13将通过输入模块11输入的图像输入模型存储模块12中的深度神经网络模型，得到输出结果，本实施例中输出结果为对每个类别的Softmax分数。
步骤S2，通过目标选择模块14选取深度神经网络模型的一个特征层作为目标特征层。
其中，目标特征层为深度神经网络模型的卷积层的最后一层。
步骤S3，采用权重向量生成模块15根据图像的标签和输出结果进行反向传播，计算得到权重向量。
其中，权重向量为维度等于目标特征层的通道数的向量，包含目标特征层的各个通道的权重，本实施例中通过权重向量中的权重将对应的通道对模型决策的重要程度进行数值化。
权重向量的计算公式为：
式中gt为权重向量，为特征图lt上坐标为(i,j)的值，Z为归一化的项，fL为输出结果中标签对应的结果。
步骤S4，通过通道掩码生成模块16分别对目标特征层的各个通道设置初始化掩码作为对应的通道掩码，本实施例中每个通道对应一个特征映射，各个特征映射捕捉输入的图像中的不同特征，例如纹理、形状、边缘等。
其中，在步骤S4中，初始化掩码为形状与目标特征层一样且经由初始化的张量，初始化的方式包括高斯噪声初始化和全1初始化，高斯噪声初始化时，每个通道对应的初始化掩码各不相同，全1初始化时，每个通道对应的初始化掩码均相同，本实施例中采用全1初始化得到对应的初始化掩码。
步骤S5，对每个通道，通过遮盖特征图生成模块17根据对应的通道掩码对该通道生成的特征图进行遮盖，得到对应的遮盖特征图。
步骤S6，采用遮盖输出结果生成模块18将所有遮盖特征图作为目标层的输出，经由深度神经网络模型后续层的处理，得到遮盖输出结果。
步骤S7，对每个通道掩码，通过损失函数计算模块19根据遮盖输出结果、输出结果和该通道掩码计算损失函数，得到对应的损失函数计算结果。
其中，损失函数的计算公式为：
||fmask-f||1+α||m||1+βTV(m)，
TV(m)＝∑∑(|I(o，j)-I(o+1，j)|+|I(i，j)-I(i，j+1)|)，
式中fmask为遮盖输出结果，f为输出结果，m为通道掩码，||||1为L1正则化项，I(i，j)为通道掩码对应的通道生成的特征图上坐标为(o，j)的值，α和β均为超参数，本实施例中优化过程的目标为尽可能降低该损失函数。
本实施例中||fmask-f||1用于使包含尽可能少特征的遮盖特征图得到与原结果尽可能相似的结果。||m||1用于找到更加稀疏的掩码，从而从特征图中剔除那些对决策不重要的特征。TV(m)为总变差损失，用于平滑特征掩码使稀疏掩码中的有值的部分尽量连续、尽量集中在一个特定区域，以此来寻找区域性关键信息而非散列点。即，总变差损失的计算基于特征图的梯度信息，用于惩罚特征掩码中相邻特征元素之间的不连续性。
步骤S8，采用通道掩码更新模块20根据所有损失函数计算结果反向传播更新所有通道掩码。
步骤S9，通过更新判断模块21判断是否达到终止条件，若是，则通过归因热力图生成模块22根据所有通道掩码、特征图和权重向量计算得到归因热力图，若否，则重复步骤S5至步骤S8，其中，终止条件为通道掩码的更新次数达到预设次数。
本实施例中通过重复步骤S5至步骤S8，根据通道掩码对特征图进行认知蒸馏，从而移除特征图中不重要的特征通道，并提取对于最终输出结果最为重要的那部分特征通道信息，将隐藏的有用特征显现出来，揭示模型对原始输入中关键信息的潜在识别机制。且该过程是无监督的，不需要标签信息也不需要改变模型任何的结构和参数。
其中，将每个通道对应的特征图和通道掩码相乘得到对应的蒸馏特征图，将权重向量中各个权重与对应的蒸馏特征图相乘得到权重特征图，将所有权重特征图相加得到归因热力图，归因热力图的表达式为：
CD-CAM＝ReLU(gt·m·lt)，
式中CD-CAM为归因热力图，ReLU为激活函数，m为通道掩码，lt为通道掩码对应的特征图。
本实施例中将现有的Grad-CAM可视方法与本实施例的深度神经网络决策偏见挖掘与可视化方法即CD方法进行对比。
图3是本发明的实施例中Grad-CAM可视方法与CD方法的对比示意图。
如图3所示，(a)为Grad-CAM可视方法根据胸部光片A和深度残差网络模型生成的归因热力图，(b)为CD方法根据胸部光片A和深度残差网络模型生成的归因热力图，(c)为Grad-CAM可视方法根据胸部光片B和深度残差网络模型生成的归因热力图，(d)为CD方法根据胸部光片B和深度残差网络模型生成的归因热力图，各图中白色矩形框内的区域为各方法识别得到的关键区域。由此可见，本实施例的深度神经网络决策偏见挖掘与可视化方法相较于现有的Grad-CAM可视方法能够生成更小范围的模型归因的关键区域，即能够更准确地挖掘并展示该深度残差网络模型潜在认知捷径。
实施例的作用与效果
根据本实施例所涉及的深度神经网络决策偏见挖掘与可视化方法及装置，一方面，通过通道掩码对特征图进行遮盖，对特征图进行认知蒸馏，并且利用损失函数在迭代优化中不断更新通道掩码，从而提取特征图中重要部分的特征通道信息；另一方面，通过计算目标特征层的权重向量得到各个通道对模型决策的重要程度，进而将通道掩码遮盖后的特征图进行基于权重的整合，得到精准的归因热力图。总之，本方法能够得到针对深度神经网络潜在决策偏见的可视化结果。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (8)

1.一种深度神经网络决策偏见挖掘与可视化方法，用于生成输入深度神经网络模型的图像的归因热力图，其特征在于，包括以下步骤：
步骤S1，将所述图像输入所述深度神经网络模型，得到输出结果；
步骤S2，选取所述深度神经网络模型的一个特征层作为目标特征层；
步骤S3，根据所述图像的标签和所述输出结果进行反向传播，计算得到权重向量；
步骤S4，分别对所述目标特征层的各个通道设置初始化掩码作为对应的通道掩码；
步骤S5，对每个所述通道，通过对应的所述通道掩码对该通道生成的特征图进行遮盖，得到对应的遮盖特征图；
步骤S6，将所有所述遮盖特征图作为所述目标层的输出，经由所述深度神经网络模型后续层的处理，得到遮盖输出结果；
步骤S7，对每个所述通道掩码，根据所述遮盖输出结果、所述输出结果和该通道掩码计算损失函数，得到对应的损失函数计算结果；
步骤S8，根据所有所述损失函数计算结果反向传播更新所有所述通道掩码；
步骤S9，重复所述步骤S5至所述步骤S8，直至达到终止条件，则根据所有所述通道掩码、所述特征图和所述权重向量计算得到所述归因热力图。
2.根据权利要求1所述的深度神经网络决策偏见挖掘与可视化方法，其特征在于：
其中，在所述步骤S3中，所述权重向量为维度等于所述目标特征层的通道数的向量，包含所述目标特征层的各个通道的权重，
所述权重向量的计算公式为：
式中gt为所述权重向量，为特征图lt上坐标为(f,j)的值，Z为归一化的项，fL为所述输出结果中所述标签对应的结果。
3.根据权利要求2所述的深度神经网络决策偏见挖掘与可视化方法，其特征在于：
其中，在所述步骤S9中，将每个所述通道对应的特征图和通道掩码相乘得到对应的蒸馏特征图，将所述权重向量中各个所述权重与对应的所述蒸馏特征图相乘得到权重特征图，将所有所述权重特征图相加得到所述归因热力图，
所述归因热力图的表达式为：
CD-CAM＝ReLU(gt·m·lt)，
式中CD-CAM为归因热力图，ReLU为激活函数，m为所述通道掩码，lt为所述通道掩码对应的特征图。
4.根据权利要求1所述的深度神经网络决策偏见挖掘与可视化方法，其特征在于：
其中，在所述步骤S7中，所述损失函数的计算公式为：
||fmask-f||1+α||m||1+βTV(m)，
TV(m)＝∑∑(|I(i,j)-I(i+1,j)|+|I(i,j)-I(i,j+1)|)，
式中fmask为所述遮盖输出结果，f为所述输出结果，m为所述通道掩码，||||1为L1正则化项，I(i,j)为所述通道掩码对应的通道生成的特征图上坐标为(i,j)的值，α和β均为超参数。
5.根据权利要求1所述的深度神经网络决策偏见挖掘与可视化方法，其特征在于：
其中，在所述步骤S2中，所述目标特征层为所述深度神经网络模型的卷积层的最后一层。
6.根据权利要求1所述的深度神经网络决策偏见挖掘与可视化方法，其特征在于：
其中，在步骤S4中，所述初始化掩码为形状与所述目标特征层一样且经由初始化的张量，
所述初始化的方式包括高斯噪声初始化和全1初始化。
7.根据权利要求1所述的深度神经网络决策偏见挖掘与可视化方法，其特征在于：
其中，在所述步骤S9中，所述终止条件为所述通道掩码的更新次数达到预设次数。
8.一种深度神经网络决策偏见挖掘与可视化装置，用于生成输入深度神经网络模型的图像的归因热力图，其特征在于，包括：
输入模块、模型存储模块、输出结果生成模块、目标选择模块、权重向量生成模块、通道掩码生成模块、遮盖特征图生成模块、遮盖输出结果生成模块、损失函数计算模块、通道掩码更新模块、更新判断模块、归因热力图生成模块和输出模块，
其中，所述输入模块用于输入所述图像和对应的标签，
所述模型存储模块用于存储所述深度神经网络模型，
所述输出结果生成模块用于从所述模型存储模块中提取所述深度神经网络模型，并将所述图像输入该深度神经网络模型，得到输出结果，
所述目标选择模块用于选取所述深度神经网络模型的一个特征层作为目标特征层，
所述权重向量生成模块用于根据所述标签和所述输出结果进行反向传播，计算得到权重向量，
所述通道掩码生成模块用于生成所述目标特征层中各个通道对应的初始化掩码作为通道掩码，
所述遮盖特征图生成模块用于根据各个所述通道掩码对对应的通道生成的特征图进行遮盖，得到对应的遮盖特征图，
所述遮盖输出结果生成模块用于将所有所述遮盖特征图作为所述目标层的输出，经由所述深度神经网络模型后续层的处理，得到遮盖输出结果，
所述损失函数计算模块用于根据所述遮盖输出结果、所述输出结果和所述通道掩码计算损失函数，得到对应通道的损失函数计算结果，
所述通道掩码更新模块用于根据所有所述损失函数计算结果反向传播更新所有所述通道掩码，并发送至所述更新判断模块，
所述更新判断模块存储有预设的终止条件，判断是否达到所述终止条件，若是则将所述通道掩码发送至所述归因热力图生成模块，若否，则将所述通道掩码发送至所述遮盖特征图生成模块，
所述归因热力图生成模块用于根据所有所述通道掩码、所述特征图和所述权重向量计算得到所述归因热力图，
所述输出模块用于输出所述归因热力图。
CN202311693415.7A 2023-12-11 2023-12-11 深度神经网络决策偏见挖掘与可视化方法及装置 Pending CN117649592A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311693415.7A CN117649592A (zh) 2023-12-11 2023-12-11 深度神经网络决策偏见挖掘与可视化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311693415.7A CN117649592A (zh) 2023-12-11 2023-12-11 深度神经网络决策偏见挖掘与可视化方法及装置

Publications (1)

Publication Number Publication Date
CN117649592A true CN117649592A (zh) 2024-03-05

Family

ID=90049273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311693415.7A Pending CN117649592A (zh) 2023-12-11 2023-12-11 深度神经网络决策偏见挖掘与可视化方法及装置

Country Status (1)

Country Link
CN (1) CN117649592A (zh)

Similar Documents

Publication Publication Date Title
CN110222831B (zh) 深度学习模型的鲁棒性评估方法、装置及存储介质
US9111375B2 (en) Evaluation of three-dimensional scenes using two-dimensional representations
Laha Building contextual classifiers by integrating fuzzy rule based classification technique and k-nn method for credit scoring
CN109165735B (zh) 基于生成对抗网络与自适应比例生成样本图片的方法
CN113837205B (zh) 用于图像特征表示生成的方法、设备、装置和介质
US20220067588A1 (en) Transforming a trained artificial intelligence model into a trustworthy artificial intelligence model
CN112241784A (zh) 训练生成模型和判别模型
CN115130643A (zh) 具有异质性的数据集的图形神经网络
CN115908908B (zh) 基于图注意力网络的遥感图像聚集型目标识别方法及装置
CN112580728B (zh) 一种基于强化学习的动态链路预测模型鲁棒性增强方法
Lichtenstein et al. Deep eikonal solvers
CN115151917A (zh) 经由批量归一化统计的域泛化
CN116258877A (zh) 土地利用场景相似度变化检测方法、装置、介质及设备
Gudovskiy et al. Explain to fix: A framework to interpret and correct DNN object detector predictions
Rios et al. Exploiting local geometric features in vehicle design optimization with 3D point cloud autoencoders
US20220229943A1 (en) Joint retrieval and mesh deformation
CN116597275A (zh) 一种基于数据增强的高速移动目标识别方法
KR102110316B1 (ko) 뉴럴 네트워크를 이용한 변분 추론 방법 및 장치
Kawashima et al. The aleatoric uncertainty estimation using a separate formulation with virtual residuals
CN117649592A (zh) 深度神经网络决策偏见挖掘与可视化方法及装置
US20240020531A1 (en) System and Method for Transforming a Trained Artificial Intelligence Model Into a Trustworthy Artificial Intelligence Model
Daudt et al. Learning to understand earth observation images with weak and unreliable ground truth
CN105574821A (zh) 基于数据的软性阴影去除方法
JP7379300B2 (ja) 推定装置、推定方法及びプログラム
CN113066094A (zh) 一种基于生成对抗网络的地理栅格智能化局部脱敏方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination