CN107704925A - 深度神经网络训练过程的可视分析系统及方法 - Google Patents

Abstract

本发明提出一种深度神经网络训练过程的可视分析系统及方法，其中，该系统在训练所述深度神经网络的过程中，接收用户输入的查询条件在确定所述查询条件为查看选定的第一时间点上神经元的数据流动信息时，网络结构可视化模块将所述网络结构转化为有向无环图，并确定所述有向无环图中各个节点的位置，并根据所述有向无环图确定与所述第一时间点对应的第一目标神经元，并根据所述处理模块获取所述第一目标神经元的数据流动信息，以及显示所述第一目标神经元的数据流动信息，由此，使得用户可从除准确度粒度外的其他粒度可视化了解深度神经网络的训练过程，方便了用户全面理解神经网络中各个组成部分所起的作用以及数据流向。

Description

深度神经网络训练过程的可视分析系统及方法

技术领域

本发明涉及深度学习的可视分析技术领域，特别涉及一种深度神经网络训练过程的可视分析系统及方法。

背景技术

深度神经网络在很多模式识别任务上都展现出了惊人的进展，例如图像识别、视频分类、自动翻译等。最近，深度增强学习在某些智能任务上已经达到或者超过了人类，例如Atari游戏以及围棋。然而，开发一个高性能的深度神经网络往往需要大量耗时的尝试。这是因为一个深度神经网络往往含有大量非线性的组成部分，理解其中每个组成部分(神经元，神经元之间的连接)所起的作用非常困难。另外，训练一个深度神经网络涉及的非凸优化过程也非常复杂，人们对其理解有限。因此，利用可视化技术展示深度神经网络是现在工业界研究的热点。相关技术中的深度神经网络可视化工具仅为用户提供神经网络的准确率信息，从而使得用户不能从其他粒度了解深度神经网络的训练过程，导致用户不能全面理解神经网络中各个组成部分所起的作用以及数据流向，用户体验不理想。

发明内容

本发明旨在至少在一定程度上解决上述技术问题。

为此，本发明的第一个目的在于提出一种深度神经网络训练过程的可视分析系统，该系统使得用户可从除准确度粒度外的其他粒度了解深度神经网络的训练过程，方便了用户全面理解神经网络中各个组成部分所起的作用以及数据流向，提高了用户的体验度。

本发明的第二个目的在于提出一种深度神经网络训练过程的可视分析方法。

本发明的第三个目的在于提出一种计算机可读存储介质。

本发明的第四个目的在于提出一种计算机程序产品。

为达上述目的，根据本发明第一方面实施例提出了一种深度神经网络训练过程的可视分析系统，包括：第一接收模块，用于接收用户上传的深度神经网络的网络结构和用于训练所述深度神经网络的训练数据；处理模块，用于根据所述训练数据对所述深度神经网络进行训练；第二接收模块，用于在训练所述深度神经网络的过程中，接收用户输入的查询条件；网络结构可视化模块，用于在确定所述查询条件为查看选定的第一时间点上神经元的数据流动信息时，将所述网络结构转化为有向无环图，并确定所述有向无环图中各个节点的位置，根据所述有向无环图确定与所述第一时间点对应的第一目标神经元，并根据所述处理模块获取所述第一目标神经元的数据流动信息，以及显示所述第一目标神经元的数据流动信息。

本发明实施例的深度神经网络训练过程的可视分析系统，在训练深度神经网络的过程中，接收用户输入的查询条件，并在确定查询条件为查看选定的第一时间点上神经元的数据流动信息时，通过网络结构可视化模块显示与第一时间对应的第一目标神经元的数据流动信息。由此，使得用户可从除准确度粒度外的其他粒度可视化了解深度神经网络的训练过程，方便了用户全面理解神经网络中各个组成部分所起的作用以及数据流向，提高了用户的体验度。

本发明第二方面实施例提出了一种深度神经网络训练过程的可视分析方法，包括：接收用户上传的深度神经网络的网络结构和用于训练所述深度神经网络的训练数据；根据所述训练数据对所述深度神经网络进行训练；在训练所述深度神经网络的过程中，接收用户输入的查询条件；在确定所述查询条件为查看选定的第一时间点上神经元的数据流动信息时，将所述网络结构转化为有向无环图；确定所述有向无环图中各个节点的位置；根据所述有向无环图确定与所述第一时间点对应的第一目标神经元，并获取所述第一目标神经元的数据流动信息，以及显示所述第一目标神经元的数据流动信息。

本发明实施例的深度神经网络训练过程的可视分析方法，在训练深度神经网络的过程中，接收用户输入的查询条件，并在确定查询条件为查看选定的第一时间点上神经元的数据流动信息时，通过网络结构可视化模块显示与第一时间对应的第一目标神经元的数据流动信息。由此，使得用户可从除准确度粒度外的其他粒度了解深度神经网络的训练过程，方便了用户全面理解神经网络中各个组成部分所起的作用以及数据流向，提高了用户的体验度。

本发明第三方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如本发明第二方面实施例的深度神经网络训练过程的可视分析方法。

本发明第四方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行本发明第二方面实施例的深度神经网络训练过程的可视分析方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的深度神经网络训练过程的可视分析系统的结构示意图；

图2为根据本发明另一个实施例的深度神经网络训练过程的可视分析系统的结构示意图；

图3为根据本发明又一个实施例的深度神经网络训练过程的可视分析系统的结构示意图；

图4为根据本发明再一个实施例的深度神经网络训练过程的可视分析系统的结构示意图；

图5为根据本发明另一个实施例的深度神经网络训练过程的可视分析系统的结构示意图；

图6为根据本发明又一个实施例的深度神经网络训练过程的可视分析系统的结构示意图；

图7是包含第二目标神经元和神经元聚类的示例图；

图8是根据本发明一个实施例的深度神经网络训练过程的可视分析方法的流程图；

图9是根据本发明另一个实施例的深度神经网络训练过程的可视分析方法的流程图；

图10是根据本发明又一个实施例的深度神经网络训练过程的可视分析方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“多个”指两个或两个以上；术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

下面参考附图描述根据本发明实施例的深度神经网络训练过程的可视分析系统及方法。

图1为根据本发明一个实施例的深度神经网络训练过程的可视分析系统的结构示意图。

如图1所示，根据本发明实施例的深度神经网络训练过程的可视分析系统包括第一接收模块110、处理模块120、第二接收模块130和网络结构可视化模块140，其中：

第一接收模块110用于接收用户上传的深度神经网络的网络结构和用于训练深度神经网络的训练数据。

处理模块120用于根据训练数据对深度神经网络进行训练。

其中，需要理解的是，处理模块120中还保存训练神经网络过程中各个神经元的数据流动信息。

第二接收模块130用于在训练深度神经网络的过程中，接收用户输入的查询条件。

网络结构可视化模块140用于在确定查询条件为查看选定的第一时间点上神经元的数据流动信息时，将网络结构转化为有向无环图，并确定有向无环图中各个节点的位置，根据有向无环图确定与第一时间点对应的第一目标神经元，并根据处理模块获取第一目标神经元的数据流动信息，以及显示第一目标神经元的数据流动信息。

在训练深度神经网络的过程中，用户不仅对神经元的数据流动感兴趣，有时用户希望查看自己感兴趣的训练数据，因此，在本发明的一个实施例中，为了能够展示用户感兴趣的训练数据，在图1所示的基础上，如图2所示，该系统还可以包括训练数据可视化模块150，其中：

训练数据可视化模块150用于在确定查询条件为查看第二时间点上的训练数据时，获取与第二时间点对应的训练数据，并从所获取的训练数据中获取符合蓝噪声分布的目标训练数据，并以折线图的形式显示目标训练数据。

在本发明的一个实施例中，为了方便用户了解各个神经元之间的相互影响，在图2所示的基础上，如图3所示，该系统还可以包括责任可视化模块160，其中：

责任可视化模块160用于在确定查询条件为用户选定的第二目标神经元和第三时间点时，确定在第三时间点时前一层神经元是否影响第二目标神经元，并且后一层神经元是否影响第二目标神经元，并在确定前一层神经元和/或后一层神经元影响第二目标神经元时，显示前一层神经元和/或后一层神经元与第二目标神经元的关系图。

其中，在前一层神经元和后一层神经元影响第二目标神经元时，关系图中以第一预设颜色的连边表示前一层神经元和第二目标神经元的关系，以第二预设颜色连边表示后一层神经元和第二目标神经元的关系。

其中，第一预设颜色和第二预设颜色是系统中预先设置的颜色。

其中，第一预设颜色和第二预设颜色是不相同的，例如，第一预设颜色可以为红色，第二预设颜色可以为绿色。

具体来说，在本发明的一个实施例中，在图3所示的基础上，如图4所示，网络结构可视化模块140可以包括有向无环图转换单元141、布局计算单元142和数据流动显示单元143，其中：

有向无环图转换单元141用于根据预设去除有向图中换的算法，将网络结构转化为有向无环图。

其中，预设去除有向图中换的算法是系统中预先设置的去除有向图中换的算法，例如，预设去除有向图中换的算法可以为Eades等人在提出的去除有向图中环的算法。

作为一种示例性的实施方式，在确定查询条件为查看选定的第一时间点上神经元的数据流动信息时，有向无环图转换单元141可利用Eades等人在提出的去除有向图中环的算法，将一个深度神经网络的结构转化为一个有向无环图。

其中，所述节点与所述深度神经网络中的中间层存在一一对应，也就是说，深度神经网络中每一个中间层作为有向无环图中的一个节点，即深度神经网络中的中间层与有向无环图中的节点之间存在一一对应的关系。

其中，中间层包括多个神经元。

布局计算单元142用于确定有向无环图中各个节点的位置。

作为一种示例性的实施方式，布局计算单元142利用Sugiyama等人提出的有向无环图布局算法计算有向无环图中各个节点的位置。

数据流动显示单元143用于根据有向无环图确定与第一时间点对应的第一目标神经元，获取第一目标神经元的数据流动信息，并利用折线图的形式显示第一目标神经元的数据流动信息。

具体而言，数据流动显示单元143用于根据有向无环图确定与第一时间点对应的目标节点，然后，获取与目标节点对应的目标中间层，并将目标中间层中的神经元作为第一目标神经元，之后，获取第一目标神经元的数据流动信息，并利用折线图的形式显示第一目标神经元的数据流动信息。

作为一种示例性的实施方式，数据流动显示单元143从处理模块120中获取目标中间层中第一目标神经元的数据流动信息。

其中，数据流动信息可以包括但不限于目标中间层中第一目标神经元的响应的最大值、最小值以及平均值。

作为一种示例性的实施方式，数据流动显示单元143获取与第一时间段对应的第一目标神经元，并获取第一目标神经元响应的最大值，最小值，以及平均值，并利用折线图的形式显示第一目标神经元的数据流动信息。

在本发明的一个实施例中，在图3所示的基础上，如图5所示，训练数据可视化模块150可以包括训练数据获取单元151和数据显示单元152，其中：

训练数据获取单元151用于获取与第二时间点对应的训练数据，并从所获取的训练数据中获取符合蓝噪声分布的目标训练数据。

训练数据获取单元151从海量的训练数据中采样得到用户感兴趣的数据。具体地说，深度神经网络的训练数据(例如网络中神经元的响应随时间的变化)可以作为时间序列数据，然而，同时显示海量的时间序列数据会导致严重的视觉混乱现象。为了解决这个问题，该训练数据获取单元151从海量的训练数据(折线)中采样得到符合蓝噪声分布的折线(目标训练数据)。

其中，需要理解的是，本发明用机器学习从业人员熟悉的折线图显示这部分时间序列数据。

其中，训练数据获取单元151从海量的训练数据(折线)中采样得到符合蓝噪声分布的折线具体包括以下三个步骤：

第一步，计算每一条折线含有的每一条线段与X轴的夹角，并根据其夹角均匀地分为16类，并构建出一个对称矩阵R用于两个线段之间的冲突判定。分别属于第i类和第j类的两个线段之间中点的距离必须大于R(i,j)，否则认为这两个线段冲突。

第二步，在进行采样时，先确定从哪一个线段类中采样。在这里可通过类的填充率来衡量每个类的采样程度，填充率是这个类的当前采样个数占目标采样个数的比重。为了保证所有类都能被均衡地采样，每次都从填充率最低的类中随机选择新的线段，并将该线段对应的折线作为新的折线样本。但是只靠这个策略无法让所有类的填充率在整个采样过程中都保持均匀，还需要接下来进一步的调整。

第三步，统计出已有的折线中的线段集合与新的折线中的线段冲突的集合，然后，判断两个集合的交集中元素的个数是否大于预设的阈值，如果判断出两个集合的交集中元素的个数是否大于预设的阈值，那么拒绝接受新的折线样本，并从采样集合中去除新的折线样本，以使得采样出的折线为符合蓝噪声分布的折线集合。

其中，需要说明的是，该实施例中所说的符合蓝噪声分布的折线集合是指：该集合中的折线同时满足在空间上随机分布以及均匀分布。

其中，预设的阈值是可以是系统中默认的值，也可以是用户根据需求在系统中预先设置的值，该实施例对此不作限定。

数据显示单元152用于显示目标训练数据。

作为一种示例性的实施方式，为了方便用户查看感兴趣的时间点所对应的训练数据，在训练数据获取单元151获取符合蓝噪声分布的目标训练数据后，数据显示单元152根据目标训练数据的长度，自底向上基于整个时间轴建立起一棵树，其中树上每个叶子节点都是该时间轴上的一个时间段，而中间节点是该时间轴上的一个时间段集合。其中，可视化开始时只展开树中的顶层节点，因此整个时间轴被分成一些粗粒度的时间区域。

其中，需要说明的是，图5所示的系统实施例中的训练数据获取单元151和数据显示单元152的结构也可以包含在图4所示的系统实施例中，该实施例对此不作限定。

在本发明的一个实施例中，在3所示的基础上，如图6所示，责任可视化模块160可以包括前向责任计算单元161、后向责任计算单元162和责任可视化展示单元163，其中：

前向责任计算单元161用于利用层级相关性传播算法确定在第三时间点时深度神经网络中前一层神经元对第二目标神经元是否存在影响以及影响的大小。

具体而言，假设深度神经网络中第l个中间层有一个神经元它的响应受第l-1个中间层中的神经元的影响。其响应可以表示为：

其中，公式中的σ表示激励函数，w_ij表示神经元与神经元之间的连接强度，表示神经元的响应。

在此基础上，前向责任计算单元161利用层级相关性传播算法可以计算l-1层中的神经元对的影响为：

其中，

后向责任计算单元162用于利用后向传播算法确定在第三时间点时深度神经网络中后一层神经元对第二目标神经元是否存在影响以及影响的大小。

具体而言，假设l+1层的神经元对l层神经元的前向责任为：

其中公式中的w_kj表示神经元与神经元之间的连接强度，表示神经元的响应。

责任可视化展示单元163用于在确定前一层神经元和/或后一层神经元影响第二目标神经元时，显示前一层神经元和/或后一层神经元与第二目标神经元的关系图。

作为一种示例性的实施方式，在确定查询条件为用户选定的第二目标神经元和第三时间点时，通过前向责任计算单元161以及前向责任计算单元161确定在第三时间点时前一层神经元是否影响第二目标神经元，并且后一层神经元是否影响第二目标神经元，并在确定前一层神经元和/或后一层神经元影响第二目标神经元时，责任可视化展示单元163显示前一层神经元和/或后一层神经元与第二目标神经元的关系图。

作为一种示例性的实施方式，为了减少视觉混乱，责任可视化展示单元163还可以利用聚类算法(例如，K-Means聚类算法)对前一层神经元和/或后一层神经元进行聚类，并且只展示对用户选定的第二目标神经元影响较大的神经元聚类。

其中，包含第二目标神经元和神经元聚类的示例图，如图7所示，其中，需要说明的是，在实际应用中，标注A的神经元聚类与第二目标神经元之间的连边，以及标注B和C的神经元聚类与第二目标神经元之间的连边是有颜色，例如，标注A的神经元聚类与第二目标神经元之间的连边的颜色为红色，标注B和C的神经元聚类与第二目标神经元之间的连边的颜色为绿色。由此，通过不同颜色表示出前一层神经元以及后一层神经元对第二目标神经元的影响，方便用户了解那是前一层神经元，那是后一层神经元。

其中，需要说明的是，图6所示的系统实施例中的前向责任计算单元161、后向责任计算单元162和责任可视化展示单元163的结构也可以包含在图4和图5所示的系统实施例中，该实施例对此不作限定。

根据本发明实施例的深度神经网络训练过程的可视分析系统，在训练深度神经网络的过程中，接收用户输入的查询条件，并在确定查询条件为查看选定的第一时间点上神经元的数据流动信息时，通过网络结构可视化模块显示与第一时间对应的第一目标神经元的数据流动信息。由此，使得用户可从除准确度粒度外的其他粒度可视化了解深度神经网络的训练过程，方便了用户全面理解神经网络中各个组成部分所起的作用以及数据流向，提高了用户的体验度。

为实现上述实施例，本发明还提出了一种深度神经网络训练过程的可视分析方法。

图8是根据本发明一个实施例的深度神经网络训练过程的可视分析方法的流程图。其中，需要说明的是，该可视分析方法是基于前述实施例的深度神经网络训练过程的可视系统所进行的，如图8所示，该深度神经网络训练过程的可视分析方法包括以下步骤：

S81，接收用户上传的深度神经网络的网络结构和用于训练深度神经网络的训练数据。

S82，根据训练数据对深度神经网络进行训练。

S83，在训练深度神经网络的过程中，接收用户输入的查询条件。

S84，在确定查询条件为查看选定的第一时间点上神经元的数据流动信息时，将网络结构转化为有向无环图。

具体而言，在确定查询条件为查看选定的第一时间点上神经元的数据流动信息时，可根据预设去除有向图中换的算法，将网络结构转化为有向无环图。

S85，确定有向无环图中各个节点的位置。

其中，需要说明的是，所述节点与所述深度神经网络中的中间层存在一一对应，所述中间层包括多个神经元。

S86，根据有向无环图确定与第一时间点对应的第一目标神经元，并获取第一目标神经元的数据流动信息，显示第一目标神经元的数据流动信息。

作为一种示例性的实施方式，为了方便用户查看第一目标神经元的数据流动信息，在获取第一目标神经元的数据流动信息后，可利用折线图的形式显示第一目标神经元的数据流动信息，例如，可利用折线图的形式显示第一目标神经元的响应随时间的变化情况。

在本发明的一个实施例中，在图9所示的实施中，在步骤S83之后，该方法还可以包括：

S94，在确定查询条件为查看第二时间点上的训练数据时，获取与第二时间点对应的训练数据，并从所获取的训练数据中获取符合蓝噪声分布的目标训练数据，并以折线图的形式显示目标训练数据。

在本发明的一个实施例中，在图10所示的实施例中，在步骤S83之后，该方法还可以包括：

S104，在确定查询条件为用户选定的第二目标神经元和第三时间点时，确定在第三时间点时前一层神经元是否影响第二目标神经元，并且后一层神经元是否影响第二目标神经元。

作为一种示例性的实施方式，确定在第三时间点时前一层神经元是否影响第二目标神经元可以包括：利用层级相关性传播算法，确定在第三时间点时深度神经网络中前一层神经元对第二目标神经元是否存在影响以及影响的大小。

作为一种示例性的实施方式，确定在第三时间点时后一层神经元是否影响第二目标神经元可以包括：利用后向传播算法，确定在第三时间点时深度神经网络中后一层神经元对第二目标神经元是否存在影响以及影响的大小。

S105，在确定前一层神经元和/或后一层神经元影响第二目标神经元时，显示前一层神经元和/或后一层神经元与第二目标神经元的关系图。

其中，在前一层神经元和后一层神经元影响第二目标神经元时，关系图中以第一预设颜色的连边表示前一层神经元和第二目标神经元的关系，以第二预设颜色连边表示后一层神经元和第二目标神经元的关系。

其中，第一预设颜色和第二预设颜色是系统中预先设置的颜色，。

其中，第一预设颜色和第二预设颜色是不相同的，例如，第一预设颜色可以为红色，第二预设颜色可以为绿色。

其中，需要说明的是，前述对深度神经网络训练过程的可视分析系统的解释说明也适用于该实施例的用于深度神经网络训练过程的可视分析方法，此处不再赘述。

本发明实施例的深度神经网络训练过程的可视分析方法，在训练深度神经网络的过程中，接收用户输入的查询条件，并在确定查询条件为查看选定的第一时间点上神经元的数据流动信息时，通过网络结构可视化模块显示与第一时间对应的第一目标神经元的数据流动信息。由此，使得用户可从除准确度粒度外的其他粒度可视化了解深度神经网络的训练过程，方便了用户全面理解神经网络中各个组成部分所起的作用以及数据流向，提高了用户的体验度。

为实现上述实施例，本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现上述实施例的深度神经网络训练过程的可视分析方法。

为实现上述实施例，本发明还提出了一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行上述实施例的深度神经网络训练过程的可视分析方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种深度神经网络训练过程的可视分析系统，其特征在于，包括：

第一接收模块，用于接收用户上传的深度神经网络的网络结构和用于训练所述深度神经网络的训练数据；

处理模块，用于根据所述训练数据对所述深度神经网络进行训练；

第二接收模块，用于在训练所述深度神经网络的过程中，接收用户输入的查询条件；

网络结构可视化模块，用于在确定所述查询条件为查看选定的第一时间点上神经元的数据流动信息时，将所述网络结构转化为有向无环图，并确定所述有向无环图中各个节点的位置，根据所述有向无环图确定与所述第一时间点对应的第一目标神经元，并根据所述处理模块获取所述第一目标神经元的数据流动信息，以及显示所述第一目标神经元的数据流动信息，其中，所述节点与所述深度神经网络中的中间层存在一一对应，所述中间层包括多个神经元。

2.如权利要求1所述的系统，其特征在于，所述系统还包括：

训练数据可视化模块，用于在确定所述查询条件为查看第二时间点上的训练数据时，获取与所述第二时间点对应的训练数据，并从所获取的训练数据中获取符合蓝噪声分布的目标训练数据，并以折线图的形式显示所述目标训练数据。

3.如权利要求1或2所述的系统，其特征在于，所述系统还包括：

责任可视化模块，用于在确定所述查询条件为用户选定的第二目标神经元和第三时间点时，确定在所述第三时间点时前一层神经元是否影响所述第二目标神经元，并且后一层神经元是否影响所述第二目标神经元，并在确定所述前一层神经元和/或所述后一层神经元影响所述第二目标神经元时，显示所述前一层神经元和/或所述后一层神经元与所述第二目标神经元的关系图，其中，在所述前一层神经元和所述后一层神经元影响所述第二目标神经元时，所述关系图中以第一预设颜色的连边表示所述前一层神经元和所述第二目标神经元的关系，以第二预设颜色连边表示所述后一层神经元和所述第二目标神经元的关系。

4.如权利要求3所述的系统，其特征在于，所述网络结构可视化模块，包括：

有向无环图转换单元，用于根据预设去除有向图中换的算法，将所述网络结构转化为有向无环图；

布局计算单元，用于确定所述有向无环图中各个节点的位置；

数据流动显示单元，用于根据所述有向无环图确定与所述第一时间点对应的第一目标神经元，获取所述第一目标神经元的数据流动信息，并利用折线图的形式显示所述第一目标神经元的数据流动信息。

5.如权利要求3所述的系统，其特征在于，所述责任可视化模块，包括：

前向责任计算单元，用于利用层级相关性传播算法确定在所述第三时间点时所述深度神经网络中前一层神经元对所述第二目标神经元是否存在影响以及影响的大小；

后向责任计算单元，用于利用后向传播算法确定在所述第三时间点时所述深度神经网络中后一层神经元对所述第二目标神经元是否存在影响以及影响的大小；

责任可视化展示单元，用于在确定所述前一层神经元和/或所述后一层神经元影响所述第二目标神经元时，显示所述前一层神经元和/或所述后一层神经元与所述第二目标神经元的关系图。

6.一种基于如权利要求1-5任一项所述的深度神经网络训练过程的可视分析系统所进行的可视分析方法，其特征在于，所述包括以下步骤：

接收用户上传的深度神经网络的网络结构和用于训练所述深度神经网络的训练数据；

根据所述训练数据对所述深度神经网络进行训练；

在训练所述深度神经网络的过程中，接收用户输入的查询条件；

在确定所述查询条件为查看选定的第一时间点上神经元的数据流动信息时，将所述网络结构转化为有向无环图；

确定所述有向无环图中各个节点的位置，其中，所述节点与所述深度神经网络中的中间层存在一一对应，所述中间层包括多个神经元；

根据所述有向无环图确定与所述第一时间点对应的第一目标神经元，并获取所述第一目标神经元的数据流动信息，以及显示所述第一目标神经元的数据流动信息。

7.如权利要求6所述的方法，其特征在于，所述方法还包括：

在确定所述查询条件为查看第二时间点上的训练数据时，获取与所述第二时间点对应的训练数据，并从所获取的训练数据中获取符合蓝噪声分布的目标训练数据，并以折线图的形式显示所述目标训练数据。

8.如权利要求6或7所述的方法，其特征在于，所述方法还包括：

在确定所述查询条件为用户选定的第二目标神经元和第三时间点时，确定在所述第三时间点时前一层神经元是否影响所述第二目标神经元，并且后一层神经元是否影响所述第二目标神经元；

在确定所述前一层神经元和/或所述后一层神经元影响所述第二目标神经元时，显示所述前一层神经元和/或所述后一层神经元与所述第二目标神经元的关系图，其中，在所述前一层神经元和所述后一层神经元影响所述第二目标神经元时，所述关系图中以第一预设颜色的连边表示所述前一层神经元和所述第二目标神经元的关系，以第二预设颜色连边表示所述后一层神经元和所述第二目标神经元的关系。

9.如权利要求8所述的方法，其特征在于，所述将所述网络结构转化为有向无环图，包括：

根据预设去除有向图中换的算法，将所述网络结构转化为有向无环图；

所述显示所述第一目标神经元的数据流动信息，包括：

利用折线图的形式显示所述第一目标神经元的数据流动信息。

10.如权利要求8所述的方法，其特征在于，所述确定在所述第三时间点时前一层神经元是否影响所述第二目标神经元，包括：

利用层级相关性传播算法，确定在所述第三时间点时所述深度神经网络中前一层神经元对所述第二目标神经元是否存在影响以及影响的大小；

所述确定在所述第三时间点时后一层神经元是否影响所述第二目标神经元，包括：

利用后向传播算法，确定在所述第三时间点时所述深度神经网络中后一层神经元对所述第二目标神经元是否存在影响以及影响的大小。