CN111858353A - 一种基于特征图和类激活映射的深度学习应用组件可解释方法 - Google Patents

一种基于特征图和类激活映射的深度学习应用组件可解释方法 Download PDF

Info

Publication number
CN111858353A
CN111858353A CN202010714632.XA CN202010714632A CN111858353A CN 111858353 A CN111858353 A CN 111858353A CN 202010714632 A CN202010714632 A CN 202010714632A CN 111858353 A CN111858353 A CN 111858353A
Authority
CN
China
Prior art keywords
deep learning
model
visualization
learning application
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010714632.XA
Other languages
English (en)
Inventor
陈振宇
顾雪晴
尹伊宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Muzhi Technology Co ltd
Original Assignee
Shenzhen Muzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Muzhi Technology Co ltd filed Critical Shenzhen Muzhi Technology Co ltd
Priority to CN202010714632.XA priority Critical patent/CN111858353A/zh
Publication of CN111858353A publication Critical patent/CN111858353A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

一种基于特征图和类激活映射的深度学习应用组件可解释方法，其特征是围绕深度学习应用评估，基于可视化技术，对深度学习模型的输入、模型静态结构、模型动态推理过程等信息进行可视化展示，加强测试人员对深度学习技术的理解，进而实现对于深度学习应用的质量评估。本发明给软件测试人员提供了直观的理解，详细的信息被提取、重新排列、转换和可视化。本发明有以下有益效果：对于深度学习应用的评估，可借助输入对抗样本后，模型的表现行为可视化加以体现。并主要围绕基于特征图(feature map)的深度学习应用组件可视化，基于类激活映射的模型推理过程可视化，基于可视化的深度学习应用评估方法三方面展开。

Description

一种基于特征图和类激活映射的深度学习应用组件可解释 方法
技术领域
本发明是一种基于实例的DNN可视化工具。围绕深度学习应用评估，基于可视化技术，对深度学习模型的输入、模型静态结构、模型动态推理过程等信息进行可视化展示，加强测试人员对深度学习技术的理解，进而实现对于深度学习应用的质量评估。
背景技术
深度神经网络技术目前已在软件工程领域日益受到关注。深度学习模型被用于完成各种软件工程任务，并被嵌入到许多软件应用程序中。但是，对于测试人员而言，分析和了解其行为是一项艰巨的任务。一方面，与传统程序符号化表达业务逻辑的方式不同，深度学习应用的内在逻辑不易被测试人员理解；另一方面，深度学习应用的测试标准尚不明确。受传统软件测试启发，研究人员定义了一系列基于神经元的覆盖准则，用于测试深度学习模型。
目前，基于可解释的深度学习可视化方面的研究主要包括对深度学习模型体系结构、特征映射的可视化以及推理过程的可视化。由于TensorBoard及其交互数据流图的流行，体系结构可视化最常用的方法是节点链接图。TensorSpace通过三维可视化解决前者不适用复杂网络的问题，将每一层的神经元都分布在空间中。特征映射方面，将特征图的输出值视为二维数组，该数组可以自然地转化为图像。此外，现有研究还通过将特征映射返回到输入空间来计算神经激活的图像分辨率感受野，引入可视化技术来说明中间特征层的功能和分类器的操作。在推理过程可视化方面，Selvaraju等人通过对卷积层的梯度生成热力图，将输入图像中的重要像素进行显示和标注，帮助理解深度学习的学习区域。但上述的工作未能形成一套完整的体系，为测试人员提供足够的可解释性来评估深度学习的应用。
为了解决这个问题，研究人员还提出了许多提高模型质量的软件测试和调试方法。然而，深度学习测试的实践还处于初级阶段，几乎所有这些方法都侧重于基于结构覆盖率寻找对抗性的例子，但未能提供支持开发人员指导测试过程的交互方式。特别是对于安全性能重要的应用程序，帮助开发人员理解正确执行这些行为的原因是一项具有挑战性但必要的任务。
基于上述工作，为了更好地评估深度学习应用，本发明给软件测试人员提供了直观的理解，详细的信息被提取、重新排列、转换和可视化。此外，在自动训练阶段，由于模型中的超参数在每个时期都在不断调整，工程师们几乎无法与模型进行交互。但训练结束后，与模型交互是可能的。为了帮助工程师解释一个经过训练的模型，可视化被应用于揭示模型内部的语义特征。对于深度学习应用的评估，可借助输入对抗样本后，模型的表现行为可视化加以体现。现有的对抗样本生成技术包括经典的对抗算法以及模糊技术指导下的对抗样本生成。
发明内容
本发明要解决的问题是：
深度学习应用所依托的神经网络通常以复杂的文件格式保存，无法给软件工程师以及测试这带来直观的理解，本发明旨在以一种直观易懂的方式帮助他们了解应用模型做出决策的来源。此外，提高人员和模型之间的交互性，透明化推理过程，使得本发明对深度学习应用的评估能够对应用模型改进和洞察起到推进作用。
本发明的技术方案为：
围绕深度学习应用评估，基于可视化技术，对深度学习模型的输入、模型静态结构、模型动态推理过程等信息进行可视化展示，加强测试人员对深度学习技术的理解，进而实现对于深度学习应用的质量评估。
1）基于特征图(feature map)的深度学习应用组件可视化
为了直观和便于测试人员理解，本发明采用基于特征图的可视化方法对深度学习应用进行卷积神经网络推理过程的可视化。在这种方式下，卷积神经网络的卷积核参数不会被具体分析。相反地，输入图片会在模型中进行一次前向传播。在这种方式中，模型中的特征图成为帮助测试人员理解输入变化的重要内容。在这一方法中，模型需要进行切片以获取在中间层的输出情况，将不同隐层的输出向量经过TNSE投影到二维平面，对于一个给定的特征图，本项目拟通过多个不同输入在该特征图上的输出，将激活情况映射到像素空间，揭示其不同的结构激发映射并且揭示其对输入变化的不变形。在这种方式下，测试人员可以不用仅关注于原始图片中的结构变化。
特征图的可视化方法通常用于卷积层和池化层，这对模型中的其他类型的层来说并不适用。因此，对于这些层的激活情况，本项目拟引入反卷积网络来完成映射。与卷积网络不同，反卷积网络并不具备学习能力，仅使用它来探测已训练好的卷积神经网络。
除了模型推理过程中的特征图可视化，本发明还通过特征图观察训练过程中的特征演变。对于一个模型中的某一层给定的特征图，通过记录在训练过程中不同epochs下的特征图可视化结果，比较其收敛情况。
2）基于类激活映射的模型推理过程可视化
为了实现推理过程的可视化，首先，通过可视化技术将中间层的激活值输出。深度学习模型初始层保留了大多数输入图像的特征。然而，对于后续的模型中的隐藏层来说，这些层所提取的特征可解释性也逐渐降低。
卷积神经网络的不同层次的卷积单元包含大量的位置信息，使得深度学习模型具有良好的定位能力。类激活映射是一种生成热力图的技术，用于突出图像的类的特定区域。基于卷积单元的定位能力，本项目拟通过定位模型推理过程中输入样本中用于推理决策的核心区域，例如分类任务重的决策特征、目标检测任务中的物体位置等。然而，网络模型中的全连接层通常用于最终决策，导致模型的定位能力的丧失。
为了解决这个问题，本发明提出使用类激活映射方法，用于替代不具备定位能力的网络层结构，进而得到类激活图，而特定的类别所对应的类激活图反映了当前模型用于识别该类别的核心图像区域。在此基础上，本项目通过用类别相对于通道的梯度对这个特征图中的每个通道进行加权，进而以热力图的形式来可视化类激活图得到最终的解释结果。
3）基于可视化的深度学习应用评估方法
受传统软件测试的启发，深度学习模型的评估目前主要基于神经元的覆盖情况来进行。然而，数据驱动的特性使得深度学习应用的评估以来大规模的数据来进行。为保证测试效果，测试数据需要尽可能多样。本项目拟结合数据分布多样性度量方法，集成现有的样本生成技术，方便测试人员获取测试数据。
为方便测试人员使用，本发明为测试人员提供了常用模型结构以及数据集支撑。目前提供了常见的网络模型结构如LeNet,
AlexNet, ResNet-50, VGG-16等常见网络模型结构，开发人员无需从零开始进行模型结构的构建。此外，一些公开数据集也在持续添加中，当前主要包括图像数据集MNIST、CIFAR-10、CIFAR-100、ImageNet等，以及自动驾驶相关数据集UdaCity、TORCS等。
在测试数据生成算法上，主要以模糊测试技术和对抗样本生成技术来生成测试数据，为了确保测试数据和训练数据的语义一致性，本发明通过输入域上的特征空间度量确保语义一致。在特定领域的测试中，针对测试数据基于语义规则的现实特征或者特定情境下的可理解的显著特征，进行集中式变换测试。我们研究语义特征变换关系在高维数据中的表现形式，并针对拥有这类特征的智能软件测试，基于语义特征变换关系和新型生成技术，开发用于自动化生成语义特征变异测试样本的框架工具。
本发明的特点在于：
1） 提出了一种基于实例的训练神经网络可视化方法。该方法能直观地显示神经网络模型的静态结构和动态行为。
2） 设计接口使开发人员或测试人员能够与可视化的神经网络进行交互。有助于操纵模型结构，从而分析他们的行为。
3） 提供多种测试数据，帮助比较两个输入的中间输出。分析选定层的激活状态，并通过卷积神经网络（CNN）中的冻结滤波器对模型进行突变。
附图说明
图1 发明内容图。
图2 技术路线图。
图3 组件图。
具体实施方式
工程师可以执行的主要任务，包括1）模型上传，2）模型选择，3）输入上传，4）选择输入，5）合成的样本生成，6）单输入可视化，和7）一对输入比较。上传的网络模型将显示在模型列表中。从模型中提取静态结构信息，转化为三维图形。然而，对于训练好的网络模型，只提供模型的一般配置。处理与图像分类相关的任务时，对于可以轻松手动创建的简单图像，工程师可以使用提供的草图板创建包含线条和点的粘贴图。
1、深度学习应用组件可视化分析
本发明实现模型可视化和输出可视化，将提供模型和中间激活状态的详细信息。对于模型结构和组件可视化，利用了TensorSpace的实现。与TensorBoard中提出的节点链接图相比，这种可视化技术可以帮助用户以更具交互性的方式处理模型图。每个层中的中间输出与模型组件一起呈现。工程师可以单击模型展开每个层中的详细组件，拖动并旋转模型以从不同角度进行检查，放大以查看单个层，或缩小以获得全局视图。
2、深度学习模型推理过程可视化分析
为了应用评估更具交互性，本发明使得工程师可以点击展开层中的过滤器，选择冻结哪些过滤器，以便实现模型突变。冻结的过滤器标记为灰色，表示它处于非活动状态。这些冻结的过滤器不会将激活状态传递到下一层。对以下层所做的任何更改都可视为对用户操作的响应。
3、深度学习应用评估方法在可视化中的应用
本发明受比较研究启发，软件工程师可以将多个输入的输出进行比较。通过从示例列表中选择一对输入，选择需要拦截的层。根据显示的指定层的激活状态，工程师就可以比较原始输入和相应的对抗性样本之间的中间输出，观察到的相似点和差异会给他们带来对隐藏层的直觉，从而进一步对深度学习应用进行评估。工程师可以利用样本生成功能，使用特定的算法创建样本，可用的算法在选项列表中提供。如果成功生成对抗性样本，则会将其添加到样本列表中。

Claims (4)

1.一种基于特征图和类激活映射的深度学习应用组件可解释方法，其特征是围绕深度学习应用评估，基于可视化技术，对深度学习模型的输入、模型静态结构、模型动态推理过程等信息进行可视化展示，加强测试人员对深度学习技术的理解，进而实现对于深度学习应用的质量评估。
2.根据权利要求1中的基于特征图(feature map)的深度学习应用组件可视化，其特征是，通过对模型进行切片以获取在中间层的输出情况，将不同隐层的输出向量经过TNSE投影到二维平面，对于一个给定的特征图，本项目拟通过多个不同输入在该特征图上的输出，将激活情况映射到像素空间，揭示其不同的结构激发映射并且揭示其对输入变化的不变形；还会通过特征图观察训练过程中的特征演变；对于一个模型中的某一层给定的特征图，通过记录在训练过程中不同epochs下的特征图可视化结果，比较其收敛情况。
3.根据权利要求1中的基于类激活映射的模型推理过程可视化，其特征是，通过用类别相对于通道的梯度对这个特征图中的每个通道进行加权，进而以热力图的形式来可视化类激活图得到最终的解释结果。
4.对于权利要求1中的基于可视化的深度学习应用评估方法，其特征是，通过研究语义特征变换关系在高维数据中的表现形式，并针对拥有这类特征的智能软件测试，基于语义特征变换关系和新型生成技术，开发用于自动化生成语义特征变异测试样本的框架工具。
CN202010714632.XA 2020-07-23 2020-07-23 一种基于特征图和类激活映射的深度学习应用组件可解释方法 Pending CN111858353A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010714632.XA CN111858353A (zh) 2020-07-23 2020-07-23 一种基于特征图和类激活映射的深度学习应用组件可解释方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010714632.XA CN111858353A (zh) 2020-07-23 2020-07-23 一种基于特征图和类激活映射的深度学习应用组件可解释方法

Publications (1)

Publication Number Publication Date
CN111858353A true CN111858353A (zh) 2020-10-30

Family

ID=72949651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010714632.XA Pending CN111858353A (zh) 2020-07-23 2020-07-23 一种基于特征图和类激活映射的深度学习应用组件可解释方法

Country Status (1)

Country Link
CN (1) CN111858353A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339935A (zh) * 2020-02-25 2020-06-26 西安电子科技大学 一种基于可解释cnn图像分类模型的光学遥感图片分类方法
CN111428818A (zh) * 2020-04-22 2020-07-17 浙江工业大学 基于神经通路激活状态的深度学习模型测试方法与装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339935A (zh) * 2020-02-25 2020-06-26 西安电子科技大学 一种基于可解释cnn图像分类模型的光学遥感图片分类方法
CN111428818A (zh) * 2020-04-22 2020-07-17 浙江工业大学 基于神经通路激活状态的深度学习模型测试方法与装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RAMPRASAATH R. SELVARAJU 等: "Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization" *

Similar Documents

Publication Publication Date Title
Mueller et al. Principles of explanation in human-AI systems
Liu et al. Towards better analysis of machine learning models: A visual analytics perspective
Ulitzsch et al. Combining clickstream analyses and graph-modeled data clustering for identifying common response processes
Schumacher et al. Mental models and the acquisition of expert knowledge
Cutura et al. VisCoDeR: A tool for visually comparing dimensionality reduction algorithms.
RU2689818C1 (ru) Способ интерпретации искусственных нейронных сетей
Egan et al. Human and computational approaches for design problem-solving
Zhang et al. NeuralVis: visualizing and interpreting deep learning models
Xuan et al. VAC-CNN: A visual analytics system for comparative studies of deep convolutional neural networks
Nie et al. Visualizing deep neural networks for text analytics
Shete et al. An empirical analysis of different data visualization techniques from statistical perspective
Yang et al. Foundation models meet visualizations: Challenges and opportunities
Chumakov et al. Creative map studio: a platform for visual analytics of mental maps
Halnaut et al. Deep dive into deep neural networks with flows
Aurisano et al. Visual Analytics for Ontology Matching Using Multi-linked Views.
CN111858353A (zh) 一种基于特征图和类激活映射的深度学习应用组件可解释方法
Abi Akle et al. Design space visualization for efficiency in knowledge discovery leading to an informed decision
Koua et al. Evaluating self-organizing maps for geovisualization
Ahmed et al. Deepvis: A visual interactive system for exploring performance of deep learning models
Schlegel et al. Modelspex: Model specification using explainable artificial intelligence methods
Gorin et al. Test design with higher order cognition in mind
Vatin et al. Using ontologies for proposing adequate geovisual analytics solutions in the analysis of trajectories
Barlowe et al. A visual analytics approach to exploring protein flexibility subspaces
Kaplan et al. An interactive graphical method for community detection in network data
Green et al. ALIDA: Using machine learning for intent discernment in visual analytics interfaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination