CN112884021A - 一种面向深度神经网络可解释性的可视分析系统 - Google Patents

一种面向深度神经网络可解释性的可视分析系统 Download PDF

Info

Publication number
CN112884021A
CN112884021A CN202110127717.2A CN202110127717A CN112884021A CN 112884021 A CN112884021 A CN 112884021A CN 202110127717 A CN202110127717 A CN 202110127717A CN 112884021 A CN112884021 A CN 112884021A
Authority
CN
China
Prior art keywords
data
user
nodes
different
visualization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110127717.2A
Other languages
English (en)
Other versions
CN112884021B (zh
Inventor
单海军
俞再亮
徐岗
吴向阳
刘真
李勇杰
杨凯兵
王丹丹
马书豪
姜子敬
陈思强
渠冲冲
朱威特
徐懂事
高炜哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Zhejiang Lab
Original Assignee
Hangzhou Dianzi University
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University, Zhejiang Lab filed Critical Hangzhou Dianzi University
Priority to CN202110127717.2A priority Critical patent/CN112884021B/zh
Publication of CN112884021A publication Critical patent/CN112884021A/zh
Application granted granted Critical
Publication of CN112884021B publication Critical patent/CN112884021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种面向深度神经网络可解释性的可视分析系统，包括：深度学习模型结构和计算过程的解释性可视化模块，揭示深度学习模型内部的网络结构和数据流的逐步计算流程；训练过程数据流的解释性可视化模块，揭示整个训练过程中数据流的统计信息；神经网络特征提取功能的解释性可视化模块，将神经元权重或神经元输出以可视化方式展示给用户，以解释各层神经元的特征提取能力，通过对比可视化方式，发现模型在不同时间点、不同参数等情况下的表现差异；数据异常值的解释性可视化模块，帮助用户发现数据中的异常和训练中模型参数的异常，提示用户及时暂停和修改模型参数；用户定制功能可视化模块，支持多种可视化模块在同一个页面中进行展示。

Description

一种面向深度神经网络可解释性的可视分析系统
技术领域
本发明涉及计算机数据可视化领域，尤其是涉及一种面向深度神经网络可解释性的可视分析系统。
背景技术
深度学习取得的显著成功推动了人工智能技术的飞速发展，催生了众多人工智能应用。但随着需要处理的数据量的增大，深度学习模型的结构越来越复杂，参数越来越多。例如在卷积神经网络中，可能含有上百个网络中间层，每个网络中间层中可能含有上百万参数，甚至百度大脑的深度学习技术可以构建具有200亿个参数的深度神经网络。同时为了更好地处理大数据，当前深度学习系统的功能也越来越复杂，包括数据收集与预处理、特征抽取与选择、建模与学习和评估等。因而深度学习系统的设计与实现也呈现出越来越复杂的趋势，导致研究人员和用户很难理解这些复杂模型的内部工作机理而往往将其看作一个黑盒子。由于缺乏对这些模型工作机理的深刻理解，高效模型的开发常常是一个冗长又昂贵的反复实验过程。
为了帮助深度学习专家快速设计出符合需求的模型，迫切需要一个透明和可解释的机制，帮助他们更好地理解和分析学习模型，从而快速地训练出符合需求的模型。世界各国都高度重视可解释深度学习模型的研究。美国国防高级研究计划局(DARPA)认为可解释人工智能将引领第三波人工智能浪潮。我国在《新一代人工智能发展规划》中也明确将“实现具备高可解释性、强泛化能力的人工智能”作为未来我国人工智能发展的重要突破口。
交互可视化和可视分析技术是理解和分析学习模型的关键技术。交互可视分析方法充分利用人类对图形的辨识能力和分析能力，可以将复杂深度学习模型的工作机理转换成易于用户理解的直观展现形式，允许用户主动地进行探索和分析，并且会根据用户的交互及反馈，得到更好的结果，从而形成一个迭代渐进的分析过程，进而实现模型的改进。
综上所述，如何有效地调试深度学习网络，实现深度学习模型的可视分析系统，以提升深度学习模型的易用性和可解释性，使得人工智能系统能够生成可解释的分析结果是当前亟待解决的问题。
发明内容
为解决现有技术的不足，通过深度学习模型的可视分析，实现提升深度学习模型易用性和可解释性的目的，本发明采用如下的技术方案：
一种面向深度神经网络可解释性的可视分析系统，包括：深度学习模型结构和计算过程的解释性可视化模块、训练过程数据流的解释性可视化模块、神经网络特征提取功能的解释性可视化模块、数据异常值的解释性可视化模块、用户定制功能可视化模块；
所述深度学习模型结构和计算过程的解释性可视化模块，用于揭示深度学习模型内部的网络结构和数据流的逐步计算流程；
所述训练过程数据流的解释性可视化模块，用于揭示整个训练过程中数据流的统计信息；
所述神经网络特征提取功能的解释性可视化模块，将神经元权重或神经元输出以直观的可视化方式展示给用户，以解释各层神经元的特征提取能力，并通过对比可视化方式，发现模型在不同时间点、不同参数等情况下的表现差异；
所述数据异常值的解释性可视化模块，帮助用户发现数据中的异常和训练中模型参数的异常，提示用户及时暂停和修改模型参数，提高模型训练效率、改善模型性能；
所述用户定制功能可视化模块，支持用户自主选择多种可视化模块在同一个页面中进行展示，方便用户进行联动分析。
进一步地，所述深度学习模型结构和计算过程的解释性可视化模块，采用节点链接图方式可视化深度学习模型的网络结构，以美观性、可读性和易交互性为目标进行优化求解布局方式；以不同形状不同颜色的节点表示不同类型的神经元层和操作；在节点和连边上叠加交互热点，用户可以通过点击节点和连边获得它们的结构信息以及在其上的数据流信息；通过显示节点，隐藏节点，展开节点，收缩节点和节点过滤操作，支持用户对布局结果进行手工微调，以展示更清晰的网络结构。
进一步地，所述节点与边交替迭代布局优化的过程如下：
a.根据网络结构生成节点集合V，边集合E，每个节点包括其宽度w和高度h信息，每条边包含若干个转弯点，用于改变连线方向，优化求取每个节点的中心位置Pi和每条边三个转折点位置Qij(j＝1,2,3)；
b.以数据流的流向对节点进行拓扑排序，根据节点的展开层次分配节点的宽度和高度，根据数据给节点分配初始位置；
c.节点位置优化：建立优化公式
Figure BDA0002924050130000021
其中第一项f1(Pi)描述了节点i和与其有边相连的节点间的先后关系变化的惩罚，即节点i和与其相连节点在布局后的先后顺序与它们在网络结构的逻辑顺序相反，则f1(Pi)取大的惩罚；f2(Pi)使交互前后布局变化最小，即节点的位置变化较小；f3(Pi)避免节点重叠，当节点i与其他节点有重叠时，会产生较大的惩罚值；f4(Pi)惩罚节点i与现有的线出现相交，与越多的线相交，惩罚越大；
d.连线布局优化：对节点间的连线优化折点位置，建立优化公式：
Figure BDA0002924050130000031
第一项g1(Qij)用于使边i的总长度减小；第二项g2(Qij)用于减少边与c步调整后的节点相交；第三项g3(Qij)使得边的转折角度最小；
e.对步骤c和d两步进行交替迭代优化，直至节点和线的变动达到最小阈值范围。
进一步地，所述训练过程数据流解释性可视化模块，其中的标量可视化模块展示整个模型的训练结果统计信息，包括损失函数、精度、训练速度、学习率等标量值随时间变化的过程，将波动频繁的数据使用一个滑动条控制的平滑系数将标量展示平滑，展示出标量显示的趋势；展示各个中间层的平均响应、前置平均更新量等统计信息，帮助用户定位到性能不满足需求的神经元中间层；神经元间的连接边上的值，包括权重、偏置值以及他们的梯度值，通过观察这些数据可以发现训练过程瓶颈等信息。
进一步地，所述神经网络特征提取功能的解释性可视化模型，将各层神经元激活值数据合并成高维数据，利用主成分分析(PCA)或者t-分布领域嵌入算法(t-SNE)等技术来降低数据的维度，并通过散点图的形式展现了数据中的特征；将不同样本的输出值降维结果投影到二维平面上，形成不同的样本点，可以快速获取和对比各层神经元对样本集的分类效果，从而发现各层神经元的特征提取功能；发现被错误分类的样本；直方图用于表示神经元的权重分布；直方图中定制数据显示的比率，当展示直方图较为密集时减少数据的展示，得到简洁的结果。
进一步地，所述神经网络特征提取功能的解释性可视化模型，通过对比可视化方式展示模型在不同时间点、不同参数、不同网络层、不同数据集时的功能对比，以动画的形式展示在不同时间点的统计数据和特征降维投影点，帮助用户分析训练的进展和模型性能随训练进程的改善情况；展示不同模型参数间的对比可视化，用户通过选取多种初始参数进行分别训练，系统以表格、曲线图的形式同时对这些参数下的训练过程和训练结果进行可视化，让用户进行详细对比和做出选择；对数据在不同网络层的输出结果进行对比，对比各网络层对特征抽取功能的不同；对模型在不同数据集上运行结果的可视化，用户通过选择不同训练集和验证集进行运算过程和运算结果对比，发现其中的差异，找出差异的原因。
进一步地，利用contrastive PCA方法对数据进行对比学习，发现不同数据中的主要差异，所述contrastive PCA方法的过程如下：
a.将数据分成目标数据集和背景数据集：
Figure BDA0002924050130000032
b.给定对比参数α；
c.将数据进行中心化处理；
d.计算对应的经验协方差矩阵：
Figure BDA0002924050130000041
e.对如下矩阵进行特征值分解：
C＝(CX-αCY)
f.计算得到的子空间V∈Rk，k为C的特征向量从大到小排序中，最大的k个特征值所对应的特征向量，在这些特征向量的维度上，目标和背景两个对比数据集具有最大的差异。
进一步地，所述数据异常值的解释性可视化模块，采用颜色矩阵的方式将训练过程中的权重、偏置等张量数据转化为二维矩阵并进行可视化，不同的颜色代表不同的数值；通过拖拽颜色条的上下线来控制颜色矩阵中可视的数值范围，方便用户观察特定范围内数据所在的位置，从而对应到实际的神经元上，判断神经元是否起了作用以及起了正向还是反向的作用；通过盒线图展示张量数据的统计信息，通过键盘输入或拖拽盒须图的上下线来调节盒须图的上下四分位倍数，定制NaN值、数据超过预设阈值等异常值的范围，同时，颜色矩阵中处于异常值范围的数据也会被高亮显示。
进一步地，将多维矩阵展开成为二维矩阵，通过颜色矩阵查看其分布特征，过程如下：
a.输入多维数据(X,Y,Z)，其中X,Y,Z表示维度数据，求X平分根后四舍五入的整数值；
b.得到多维数据展示为二维数据的图，大小为
Figure BDA0002924050130000042
所述数据异常值的解释性可视化模块的异常可视化模块，通过盒须图展示数据，盒须图的计算步骤如下：
a.计算上四分位数据Q1和下四分位数据Q3，所述Q1、Q3分别表示要统计的数据，如张量，在排序后的25％的数据和75％的数据；
b.计算IQR＝Q3-Q1；
c.计算上下限数值up＝Q3+S1*IQR，down＝Q1-S2*IQR，其中S1和S2表示上四分位距倍数和下四分位距倍数，在上下限数据中的是正常数据，通过调整上下四分位倍数来查看颜色矩阵的分布。
进一步地，所述用户定制功能可视化模块，让用户自主选择在同一个页面中展示的多个不同功能的可视化视图，通过多并列图的形式显示在不同时间点、不同空间位置、不同类型的数据，帮助用户联动对比分析训练的进展和模型性能随训练进程的改善情况，发现训练中的问题，提高训练的效率。
本发明的优势和有益效果在于：
本发明基于之江实验室天枢人工智能开源开放平台，实现面向深度神经网络可解释性的可视分析系统，提升了深度学习模型的易用性和可解释性，从而使得普通用户也能开发深度学习系统，使得人工智能系统能够生成可解释的分析结果。
附图说明
图1是本发明中系统的架构图。
图2位本发明中系统的交互流程图。
图3为本发明中系统的后端架构图。
图4a为本发明中系统的模型结构中sequential节点展开前的展示图。
图4b为本发明中系统的模型结构中sequential节点展开后的展示图。
图4c为本发明中系统的模型结构中隐藏dropout节点后的展示图。
图4d为本发明中系统的模型结构中对网络节点还原的展示图。
图4e为本发明中系统的模型结构中重新布局的展示图。
图4f为本发明中系统的模型结构中节点信息的展示图。
图4g为本发明中系统的模型结构中节点入度出度筛选的展示图。
图5a为本发明中系统的标量数据中loss函数值展示图。
图5b为本发明中系统的标量数据对比展示图。
图6为本发明中系统的媒体数据展示图。
图7a为本发明中系统的统计分析中直方图的三维展示图。
图7b为本发明中系统的统计分析中分布图的展示图
图7c为本发明中系统的统计分析中直方图的二维展示图。
图8a为本发明中系统的降维分析中动态结果查看的展示图。
图8b为本发明中系统的降维分析中分类效果展示图。
图8c为本发明中系统的降维分析中二维数据分布效果展示图。
图8d为本发明中系统的降维分析中四至八维数据分布效果展示图。
图8e为本发明中系统的降维分析中概率密度分布展示图。
图9为本发明中系统的超参分析展示图。
图10为本发明中系统的异常检测展示图。
图11为本发明中系统的用户定制展示图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
本发明的核心是提供一种面向深度神经网络可解释性的可视分析系统。基于之江实验室天枢人工智能开源开放平台，实现深度学习模型的可视分析系统，提升了深度学习模型的易用性和可解释性，从而使得普通用户也能开发深度学习系统，使得人工智能系统能够生成可解释的分析结果。
为了更进一步对本发明做出详细说明，下面结合具体实例并参照附图。
如图1所示，一种面向深度神经网络可解释性的可视分析系统，包括：深度学习模型结构和计算过程的解释性可视化、对训练过程数据流的解释性可视化、对神经网络特征提取功能的解释性可视化、对数据异常值的解释性可视化、用户定制功能可视化。
如图2所示，一种面向深度神经网络可解释性的可视分析方法，包括如下步骤：
1、专家用户在代码中将一些深度学习数据输入到深度学习的交互可视化与可视分析系统。
2、训练完成后，专家用户进入到深度学习的交互可视化与可视分析系统，进行训练结果的查看，本系统方便专家用户对训练结果进行详细的探查，然后依据此系统进行模型的迭代。
如图3所示，系统的后端架构包括：
1、日志解析服务，对深度学习产生的日志信息进行解析。
2、HTTP服务，对前端给出的请求进行解析，传递数据。
3、Redis服务，对用户的状态进行检测。
以mnist数据集的使用作为具体实例进一步说明：
步骤1、在mnist训练生成的日志根目录下启动交互可视化与可视分析系统。
步骤2、在浏览器端输入目标地址。
步骤3、点击模型结构可视化模块，进行模型网络的查看。操作步骤如下：
a.鼠标双击sequential节点，展开此节点的子网络，展开前的网络如图4a所示，展开后的网络如图4b所示。
b.鼠标选中图4b中的dropout节点可以进行节点的隐藏，隐藏前网络如图4b所示，隐藏后的节点如图4c所示。
c.双击右侧栏目的删除节点可以进行网络的还原，如图4d所示。
d.隐藏节点后可以进行重新布局，更清晰的展现整个网络，如图4e所示，为重新布局的网络图。
e.单击节点可以在右侧的数据信息栏看到相关节点的信息，如图4f所示。
f.可以在右侧的条件过滤功能窗口使用各种逻辑条件对节点的入度出度进行筛选，如图4g所示，筛选的是将所有的入度大于等于4的节点隐藏。
此模块可以让用户通过简单的操作，便可直观得理解深度学习模型的架构和工作机理。
步骤4、点击标量可视化模块，进行标量数据的查看。操作步骤如下：
a.可以看到mnist的loss函数值是不断下降的趋向于收敛。如图5a所示。
b.可以将自己想看的两个数据对比放在一起进行展示，如图5b所示，将summaries/max和summaries/mean值进行对比展示。
此模块展示了整个模型的训练结果统计信息，同时也可以进行对比可视化展示分析，用户通过观察标量的信息可以发现训练过程的瓶颈。
步骤5、点击媒体数据可视化模块，进行媒体数据查看。操作步骤如下：
a.可以查看输入模型的图像数据，手写体如图6所示，可以拖动下方的滑动条查看不同的step输入网络的数据。
此模块展示了对训练数据集和验证数据集的运行结果的可视分析，可以帮助用户评估模型性能。
步骤6、点击统计分析可视化模块，进行统计分析数据查看。操作步骤如下：
a.可以查看直方图中的网络中的参数分布趋势，进行3维的直方图可视化，如图7a所示。
b.分布图用于展示转换为标准正态分布下的数据分布，如图7b所示。
c.可以查看直方图的2维展示如图7c所示。
此模块所展示的模块将神经元权重以直观的方式展示给用户，用户通过观察权重的分布可以发现训练过程瓶颈等信息。
步骤7、点击降维分析可视化模块，进行媒体数据查看。
a.可以动态的查看训练的结果，如图8a所示，通过点击播放按钮查看。
b.可以使用t-SNE展现数据的分布效果，t-SNE可以展示更好的分布效果相较于cPCA，如图8a所示。
c.可以点击数据点查看里面的数据值，如图8a所示。
d.可以查看cPCA分类效果图，如图8b所示。
e.可以查看二维数据分布效果，如图8c所示。
f.可以查看4维-8维的数据分布效果，如图8d所示，8维的平行坐标展示。可以查看概率密度分布图，如图8e所示。
此模块可以让用户通过观察到被错分的样本，通过对这些错分的样本进行分析，用户可以改进模型的效果，也可以通过观察分类的效果判断模型是否训练完成。
步骤8、点击超参分析可视化模块，进行超参分析查看。操作步骤如下：
a.如图9所示，展示并分析模型训练中使用到的超参数。
此模块展示了不同模型参数间的对比可视化，用户通过选取多种初始参数进行分别训练，系统以表格、曲线图的形式同时对这些参数下的训练过程和训练结果进行可视化，让用户进行详细对比和做出选择。
步骤9、点击异常可视化模块，进行异常可视化查看。操作步骤如下：
a.通过拖动盒须图的上下界可以查看异常数据的分布，异常数据会用紫色框在颜色矩阵中展示，如图10所示。
b.可以通过鼠标移动到颜色矩阵中，查看对应的数值，如图10所示。
c.可以在直方图中查看数据的分布。优化的直方图分布，防止中间过高导致边缘数据过小，如图10所示。
d.可以通过调整颜色矩阵旁边的颜色条查看数据的分布，如图10所示。
此模块展示了采用颜色矩阵的方式将训练过程中的权重、偏置等张量数据转化为二维矩阵并进行可视化，不同的颜色代表不同的数值；通过拖拽颜色条的上下线来控制颜色矩阵中可视的数值范围，方便用户观察某一范围内数据所在的位置，从而对应到实际的神经元上，判断神经元是否起了作用以及起了正向还是反向的作用；通过盒线图展示张量数据的统计信息，可以通过键盘输入或是拖拽盒须图的上下线来调节盒须图的上下四分位倍数，定制NaN值、数据超过预设阈值等异常值的范围，同时，颜色矩阵中处于异常值范围的数据也会被高亮显示。
步骤10、点击定制可视化模块，进行用户定制数据可视化查看。操作步骤如下：
a.可以将标量数据，媒体数据和统计分析数据集中查看，如图11所示。
此模块展示了通过多并列图的形式显示在不同时间点的各统计数据，帮助用户分析训练的进展和模型性能随训练进程的改善情况。
以上模块可以通过抽象概括的方式归于解释性可视化：
深度学习模型结构和计算过程的解释性可视化，包括模型结构可视化模块；
对训练过程数据流的解释性可视化，包括标量可视化模块、媒体数据可视化模块、统计分析可视化模块和超参分析可视化模块；
对神经网络特征提取功能的解释性可视化，包括降维分析可视化模块和标量可视化模块；
对数据异常值的解释性可视化，包括异常可视化模块；
用户定制功能可视化，包括定制可视化模块。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (10)

1.一种面向深度神经网络可解释性的可视分析系统，包括：深度学习模型结构和计算过程的解释性可视化模块、训练过程数据流的解释性可视化模块、神经网络特征提取功能的解释性可视化模块、数据异常值的解释性可视化模块、用户定制功能可视化模块，其特征在于：
所述深度学习模型结构和计算过程的解释性可视化模块，用于揭示深度学习模型内部的网络结构和数据流的逐步计算流程；
所述训练过程数据流的解释性可视化模块，用于揭示整个训练过程中数据流的统计信息；
所述神经网络特征提取功能的解释性可视化模块，将神经元权重或神经元输出以可视化方式展示给用户，以解释各层神经元的特征提取能力，并通过对比可视化方式，发现模型在不同时间点、不同参数等情况下的表现差异；
所述数据异常值的解释性可视化模块，帮助用户发现数据中的异常和训练中模型参数的异常，提示用户及时暂停和修改模型参数；
所述用户定制功能可视化模块，支持多种可视化模块在同一个页面中进行展示。
2.如权利要求1所述的一种面向深度神经网络可解释性的可视分析系统，其特征在于所述深度学习模型结构和计算过程的解释性可视化模块，采用节点链接图方式可视化深度学习模型的网络结构，进行优化求解布局方式；以不同形状不同颜色的节点表示不同类型的神经元层和操作；在节点和连边上叠加交互热点，用户可以通过点击节点和连边获得它们的结构信息以及在其上的数据流信息；通过显示节点，隐藏节点，展开节点，收缩节点和节点过滤操作，支持用户对布局结果进行手工微调，以展示网络结构。
3.如权利要求2所述的一种面向深度神经网络可解释性的可视分析系统，其特征在于所述节点与边交替迭代布局优化的过程如下：
a.根据网络结构生成节点集合V，边集合E，每个节点包括其宽度w和高度h信息，每条边包含若干个转弯点，用于改变连线方向，优化求取每个节点的中心位置Pi和每条边三个转折点位置Qij(j＝1,2,3)；
b.以数据流的流向对节点进行拓扑排序，根据节点的展开层次分配节点的宽度和高度，根据数据给节点分配初始位置；
c.节点位置优化：建立优化公式
Figure FDA0002924050120000011
其中第一项f1(Pi)描述了节点i和与其有边相连的节点间的先后关系变化的惩罚，即节点i和与其相连节点在布局后的先后顺序与它们在网络结构的逻辑顺序相反，则f1(Pi)取大的惩罚；f2(Pi)使交互前后布局变化最小，即节点的位置变化较小；f3(Pi)避免节点重叠，当节点i与其他节点有重叠时，会产生较大的惩罚值；f4(Pi)惩罚节点i与现有的线出现相交，与越多的线相交，惩罚越大；
d.连线布局优化：对节点间的连线优化折点位置，建立优化公式：
Figure FDA0002924050120000021
第一项g1(Qij)用于使边i的总长度减小；第二项g2(Qij)用于减少边与c步调整后的节点相交；第三项g3(Qij)使得边的转折角度最小；
e.对步骤c和d两步进行交替迭代优化，直至节点和线的变动达到最小阈值范围。
4.如权利要求1所述的一种面向深度神经网络可解释性的可视分析系统，其特征在于所述训练过程数据流解释性可视化模块，其中的标量可视化模块展示整个模型的训练结果统计信息，包括标量值随时间变化的过程，将波动频繁的数据使用一个滑动条控制的平滑系数将标量展示平滑，展示出标量显示的趋势；展示各个中间层的统计信息，帮助用户定位到性能不满足需求的神经元中间层；神经元间的连接边上的值，包括权重、偏置值以及他们的梯度值。
5.如权利要求1所述的一种面向深度神经网络可解释性的可视分析系统，其特征在于所述神经网络特征提取功能的解释性可视化模型，将各层神经元激活值数据合并成高维数据，降低数据的维度，并通过散点图的形式展现了数据中的特征；将不同样本的输出值降维结果投影到二维平面上，形成不同的样本点，可以快速获取和对比各层神经元对样本集的分类效果，从而发现各层神经元的特征提取功能；发现被错误分类的样本；直方图用于表示神经元的权重分布；直方图中定制数据显示的比率，当展示直方图较为密集时减少数据的展示，得到简洁的结果。
6.如权利要求1所述的一种面向深度神经网络可解释性的可视分析系统，其特征在于所述神经网络特征提取功能的解释性可视化模型，通过对比可视化方式展示模型在不同时间点、不同参数、不同网络层、不同数据集时的功能对比，以动画的形式展示在不同时间点的统计数据和特征降维投影点，帮助用户分析训练的进展和模型性能随训练进程的改善情况；展示不同模型参数间的对比可视化，用户通过选取多种初始参数进行分别训练，系统以表格、曲线图的形式同时对这些参数下的训练过程和训练结果进行可视化，让用户进行详细对比和做出选择；对数据在不同网络层的输出结果进行对比，对比各网络层对特征抽取功能的不同；对模型在不同数据集上运行结果的可视化，用户通过选择不同训练集和验证集进行运算过程和运算结果对比，发现其中的差异，找出差异的原因。
7.如权利要求6所述的一种面向深度神经网络可解释性的可视分析系统，其特征在于利用contrastive PCA方法对数据进行对比学习，发现不同数据中的主要差异，所述contrastive PCA方法的过程如下：
a.将数据分成目标数据集和背景数据集：
Figure FDA0002924050120000031
b.给定对比参数α；
c.将数据进行中心化处理；
d.计算对应的经验协方差矩阵：
Figure FDA0002924050120000032
e.对如下矩阵进行特征值分解：
C＝(CX-αCY)
f.计算得到的子空间V∈Rk，k为C的特征向量从大到小排序中，最大的k个特征值所对应的特征向量，在这些特征向量的维度上，目标和背景两个对比数据集具有最大的差异。
8.如权利要求1所述的一种面向深度神经网络可解释性的可视分析系统，其特征在于所述数据异常值的解释性可视化模块，采用颜色矩阵的方式将训练过程中的张量数据转化为二维矩阵并进行可视化，不同的颜色代表不同的数值；通过拖拽颜色条的上下线来控制颜色矩阵中可视的数值范围，方便用户观察特定范围内数据所在的位置，从而对应到实际的神经元上，判断神经元是否起了作用以及起了正向还是反向的作用；通过盒线图展示张量数据的统计信息，通过调节盒须图的上下四分位倍数，定制异常值的范围，同时，颜色矩阵中处于异常值范围的数据也会被高亮显示。
9.如权利要求8所述的一种面向深度神经网络可解释性的可视分析系统，其特征在于将多维矩阵展开成为二维矩阵，通过颜色矩阵查看其分布特征，过程如下：
a.输入多维数据(X,Y,Z)，其中X,Y,Z表示维度数据，求X平分根后四舍五入的整数值；
b.得到多维数据展示为二维数据的图，大小为
Figure FDA0002924050120000033
所述数据异常值的解释性可视化模块的异常可视化模块，通过盒须图展示数据，盒须图的计算步骤如下：
a.计算上四分位数据Q1和下四分位数据Q3，所述Q1、Q3分别表示要统计的数据，在排序后的25％的数据和75％的数据；
b.计算IQR＝Q3-Q1；
c.计算上下限数值up＝Q3+S1*IQR，down＝Q1-S2*IQR，其中S1和S2表示上四分位距倍数和下四分位距倍数，在上下限数据中的是正常数据，通过调整上下四分位倍数来查看颜色矩阵的分布。
10.如权利要求1所述的一种面向深度神经网络可解释性的可视分析系统，其特征在于所述用户定制功能可视化模块，让用户自主选择在同一个页面中展示的多个不同功能的可视化视图，通过多并列图的形式显示在不同时间点、不同空间位置、不同类型的数据，帮助用户联动对比分析训练的进展和模型性能随训练进程的改善情况，发现训练中的问题。
CN202110127717.2A 2021-01-29 2021-01-29 一种面向深度神经网络可解释性的可视分析系统 Active CN112884021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110127717.2A CN112884021B (zh) 2021-01-29 2021-01-29 一种面向深度神经网络可解释性的可视分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110127717.2A CN112884021B (zh) 2021-01-29 2021-01-29 一种面向深度神经网络可解释性的可视分析系统

Publications (2)

Publication Number Publication Date
CN112884021A true CN112884021A (zh) 2021-06-01
CN112884021B CN112884021B (zh) 2022-09-02

Family

ID=76053737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110127717.2A Active CN112884021B (zh) 2021-01-29 2021-01-29 一种面向深度神经网络可解释性的可视分析系统

Country Status (1)

Country Link
CN (1) CN112884021B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113419727A (zh) * 2021-06-22 2021-09-21 之江实验室 一种深度学习训练过程数据转化为可视化数据方法和系统
CN113868671A (zh) * 2021-12-01 2021-12-31 支付宝(杭州)信息技术有限公司 数据处理方法、神经网络模型的后门防御方法及装置
CN114296947A (zh) * 2022-03-09 2022-04-08 四川大学 一种面向复杂场景的多计算模型管理方法
CN114707654A (zh) * 2022-06-06 2022-07-05 浙江大学 基于人工智能框架的算法训练推理性能可视化方法及装置
CN115017337A (zh) * 2022-08-03 2022-09-06 中国电子科技集团公司第五十四研究所 一种面向深度学习模型的隐语义解释方法
CN115018472A (zh) * 2022-08-03 2022-09-06 中国电子科技集团公司第五十四研究所 一种基于可解释机制的交互式增量化情报分析系统
WO2023072094A1 (zh) * 2021-10-25 2023-05-04 上海交通大学 一种对神经网络中层特征表达能力的可视化及定量分析方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909945A (zh) * 2017-03-01 2017-06-30 中国科学院电子学研究所 深度学习的特征可视化及模型评估方法
CN107704925A (zh) * 2017-10-16 2018-02-16 清华大学 深度神经网络训练过程的可视分析系统及方法
CN107766933A (zh) * 2017-10-24 2018-03-06 天津大学 一种解释卷积神经网络的可视化方法
US9934462B1 (en) * 2016-10-04 2018-04-03 Sas Institute Inc. Visualizing deep neural networks
US20180288086A1 (en) * 2017-04-03 2018-10-04 Royal Bank Of Canada Systems and methods for cyberbot network detection
CN109344957A (zh) * 2018-08-01 2019-02-15 浙江工业大学 基于差异比较的卷积神经网络可视分析方法
CN111046962A (zh) * 2019-12-16 2020-04-21 中国人民解放军战略支援部队信息工程大学 基于稀疏注意力的卷积神经网络模型的特征可视化方法及系统
CN111695590A (zh) * 2020-04-24 2020-09-22 浙江大学 约束优化类激活映射的深度神经网络特征可视化方法
US10810491B1 (en) * 2016-03-18 2020-10-20 Amazon Technologies, Inc. Real-time visualization of machine learning models

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810491B1 (en) * 2016-03-18 2020-10-20 Amazon Technologies, Inc. Real-time visualization of machine learning models
US9934462B1 (en) * 2016-10-04 2018-04-03 Sas Institute Inc. Visualizing deep neural networks
CN106909945A (zh) * 2017-03-01 2017-06-30 中国科学院电子学研究所 深度学习的特征可视化及模型评估方法
US20180288086A1 (en) * 2017-04-03 2018-10-04 Royal Bank Of Canada Systems and methods for cyberbot network detection
CN107704925A (zh) * 2017-10-16 2018-02-16 清华大学 深度神经网络训练过程的可视分析系统及方法
CN107766933A (zh) * 2017-10-24 2018-03-06 天津大学 一种解释卷积神经网络的可视化方法
CN109344957A (zh) * 2018-08-01 2019-02-15 浙江工业大学 基于差异比较的卷积神经网络可视分析方法
CN111046962A (zh) * 2019-12-16 2020-04-21 中国人民解放军战略支援部队信息工程大学 基于稀疏注意力的卷积神经网络模型的特征可视化方法及系统
CN111695590A (zh) * 2020-04-24 2020-09-22 浙江大学 约束优化类激活映射的深度神经网络特征可视化方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
STEGMAYER G ET AL: "Neural Network Model for Integration and Visualization of Introgressed Genome and Metabolite", 《IEEE》 *
杨龙等: "BP 算法的可视化研究与 BP 智能算法", 《成都理工学院学报》 *
潘如晟等: "联邦学习可视化:挑战与框架", 《计算机辅助设计与图形学学报》 *
金遥力等: "复杂背景下发型轮廓的自动提取方法", 《系统仿真学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113419727A (zh) * 2021-06-22 2021-09-21 之江实验室 一种深度学习训练过程数据转化为可视化数据方法和系统
WO2023072094A1 (zh) * 2021-10-25 2023-05-04 上海交通大学 一种对神经网络中层特征表达能力的可视化及定量分析方法和系统
CN113868671A (zh) * 2021-12-01 2021-12-31 支付宝(杭州)信息技术有限公司 数据处理方法、神经网络模型的后门防御方法及装置
CN114296947A (zh) * 2022-03-09 2022-04-08 四川大学 一种面向复杂场景的多计算模型管理方法
CN114296947B (zh) * 2022-03-09 2022-07-08 四川大学 一种面向复杂场景的多计算模型管理方法
CN114707654A (zh) * 2022-06-06 2022-07-05 浙江大学 基于人工智能框架的算法训练推理性能可视化方法及装置
CN114707654B (zh) * 2022-06-06 2022-08-23 浙江大学 基于人工智能框架的算法训练推理性能可视化方法及装置
CN115017337A (zh) * 2022-08-03 2022-09-06 中国电子科技集团公司第五十四研究所 一种面向深度学习模型的隐语义解释方法
CN115018472A (zh) * 2022-08-03 2022-09-06 中国电子科技集团公司第五十四研究所 一种基于可解释机制的交互式增量化情报分析系统
CN115017337B (zh) * 2022-08-03 2022-11-01 中国电子科技集团公司第五十四研究所 一种面向深度学习模型的隐语义解释方法
CN115018472B (zh) * 2022-08-03 2022-11-11 中国电子科技集团公司第五十四研究所 一种基于可解释机制的交互式增量化情报分析系统

Also Published As

Publication number Publication date
CN112884021B (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN112884021B (zh) 一种面向深度神经网络可解释性的可视分析系统
Van Den Elzen et al. Baobabview: Interactive construction and analysis of decision trees
Kwon et al. Axisketcher: Interactive nonlinear axis mapping of visualizations through user drawings
Gansner et al. Multilevel agglomerative edge bundling for visualizing large graphs
US20180137667A1 (en) Graph Visualization Tools With Summary Visualization For Very Large Labeled Graphs
Bertini et al. Investigating and reflecting on the integration of automatic data analysis and visualization in knowledge discovery
Shi et al. Path line attributes-an information visualization approach to analyzing the dynamic behavior of 3D time-dependent flow fields
Wang et al. Graphs in scientific visualization: A survey
Alsallakh et al. Reinventing the contingency wheel: Scalable visual analytics of large categorical data
CA2480954A1 (en) Viewing multi-dimensional data through hierarchical visualization
Farooq et al. A comparative study on user interfaces of interactive genetic algorithm
Bertucci et al. DendroMap: Visual exploration of large-scale image datasets for machine learning with treemaps
Yan et al. A work-centered visual analytics model to support engineering design with interactive visualization and data-mining
Veerapen et al. Visualising the global structure of search landscapes: genetic improvement as a case study
Gibson et al. Using adjacency matrices to lay out larger small-world networks
CN112101574A (zh) 一种机器学习有监督模型解释方法、系统及设备
Chen et al. A survey of multi-space techniques in spatio-temporal simulation data visualization
CN113326472B (zh) 一种基于时序多变量数据的模式提取与演化可视分析方法
Evers et al. Multi-dimensional parameter-space partitioning of spatio-temporal simulation ensembles
Feldkamp et al. Visualization and interaction for knowledge discovery in simulation data
Pham et al. Analysis of visualisation requirements for fuzzy systems
Marques et al. An interactive interface for multi-dimensional data stream analysis
CN111782764B (zh) 一种交互式nl2sql模型的可视理解与诊断方法
Ward et al. Quality-aware visual data analysis
Packham et al. Visualisation methods for supporting the exploration of high dimensional problem spaces in engineering design

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant