CN109254830A - 深度学习系统中可视化管理方法和装置 - Google Patents

Abstract

本发明公开了一种深度学习系统中可视化管理方法和装置。所述方法包括：获取深度学习系统中用户所访问的数据文件的镜像；从预先创建的容器中选择一个容器加载所述镜像；在检测到所述容器运行所述镜像中的数据后，读取所述容器的运行内容；将所述运行内容进行可视化输出。

Description

深度学习系统中可视化管理方法和装置

技术领域

本发明涉及信息处理领域，尤指一种深度学习系统中可视化管理方法和装置。

背景技术

在人工智能时代，深度学习作为一种强有力的技术已经开始改变我们生活的方方面面。在深度学习中，深度学习的框架作为支持深度学习的基石，承担了深度学习的运行任务。TensorFlow作为最主流的深度学习框架，不论在科研界还是工业界都具有广泛的使用者。

TensorFlow是谷歌基于DistBelief进行研发的第二代人工智学习系统，其命名来源于本身的运行原理。Tensor(张量)意味着N维数组，Flow(流)意味着基于数据流图的计算，TensorFlow为张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。

TensorFlow可被用于语音识别或图像识别等多项机器学习和深度学习领域，对2011年开发的深度学习基础架构DistBelief进行了各方面的改进，它可在小到一部智能手机、大到数千台数据中心服务器的各种设备上运行。TensorFlow将完全开源，任何人都可以用。

随着计算规模的加大、模型结构的复杂、训练参数的增多，训练的时间也越来越长，如果能在训练过程中及时发现问题，就能帮助使用者对系统进行及时的调整，如果要实现对系统的调整，就需要可视化的工具来实现，因此如何提供给使用者一个快速方便的进行可视化的工具是亟待解决的问题。

发明内容

为了解决上述技术问题，本发明提供了一种深度学习系统中可视化管理方法和装置，实现深度学习系统中运行内容可视化的目的。

为了达到本发明目的，本发明提供了一种深度学习系统中可视化管理方法，其特征在于，包括：

获取深度学习系统中用户所访问的数据文件的镜像；

从预先创建的容器中选择一个容器加载所述镜像；

在检测到所述容器运行所述镜像中的数据后，读取所述容器的运行内容；

将所述运行内容进行可视化输出。

其中，所述方法还具有如下特点：所述获取深度学习系统中用户所访问的数据文件的镜像包括：

获取所述用户访问的数据对应的存储路径；

根据所述存储路径，确定所述存储路径下对应的系统数据的内容；

根据所述系统数据的内容，确定与所述内容匹配的镜像。

其中，所述方法还具有如下特点：

所述在检测到所述容器运行所述镜像中数据，读取所述运行内容之前，所述方法还包括：

向所述用户发送可视化内容的配置请求；

接收所述用户发送的可视化的配置结果，其中所述配置结果包括对所述镜像中请求可视化内容的配置；

所述在检测到所述容器运行所述镜像中的数据后，读取所述容器的运行内容，包括：

在检测到所述容器运行所述镜像中的数据后，检测所述容器的运行内容；

在读取的运行内容符合所述配置结果时，读取所述运行内容。

其中，所述方法还具有如下特点：所述将所述运行内容进行可视化输出包括：

利用预先存储的可视化工具，对所述内容进行可视化处理；

输出所述可视化处理的处理结果。

其中，所述方法还具有如下特点：所述将所述运行内容进行可视化输出之后，所述方法还包括：

接收对所述可视化内容输出的控制操作；

根据所述控制操作指示的运行内容，输出在所述深度学习系统中与所述运行内容相匹配的系统配置信息。

为了达到本发明目的，本发明还提供了一种深度学习系统中可视化管理装置，包括：

获取模块，用于获取深度学习系统中用户所访问的数据文件的镜像；

选择模块，用于从预先创建的容器中选择一个容器加载所述镜像；

读取模块，用于在检测到所述容器运行所述镜像中的数据后，读取所述容器的运行内容；

第一输出模块，用于将所述运行内容进行可视化输出。

其中，所述装置还具有如下特点：所述获取模块包括：

第一获取单元，用于获取所述用户访问的数据对应的存储路径；

第一确定单元，用于根据所述存储路径，确定所述存储路径下对应的系统数据的内容；

第二确定单元，用户根据所述系统数据的内容，确定与所述内容匹配的镜像。

其中，所述装置还具有如下特点：所述装置还包括：

发送模块，用于在检测到所述容器运行所述镜像中数据，读取所述运行内容之前，向所述用户发送可视化内容的配置请求；

第一接收模块，用于接收所述用户发送的可视化的配置结果，其中所述配置结果包括对所述镜像中请求可视化内容的配置；

其中，所述读取模块包括：

检测单元，用于在检测到所述容器运行所述镜像中的数据后，检测所述容器的运行内容；

读取单元，用于在读取的运行内容符合所述配置结果时，读取所述运行内容。

其中，所述装置还具有如下特点：所述第一输出模块包括：

处理单元，用于利用预先存储的可视化工具，对所述内容进行可视化处理；

输出单元，用于输出所述可视化处理的处理结果。

其中，所述装置还具有如下特点：所述装置还包括：

第二接收模块，用于将所述运行内容进行可视化接收对所述可视化内容输出的控制操作；

第二输出模块，用于根据所述控制操作指示的运行内容，输出在所述深度学习系统中与所述运行内容相匹配的系统配置信息。

本发明提供的实施例，通过获取深度学习系统中用户所访问的数据文件的镜像，再从预先创建的容器中选择一个容器加载所述镜像，使其镜像数据能够在容器中运行，读取所述容器的运行内容，并将所述运行内容进行可视化输出，将用户访问的数据进行可视化任务的展示，使用户能够更加快速地、方便地了解当前运行的深度学习任务的运行情况和结果，为定位问题和调整配置提供更好的操作支持。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明提供的深度学习系统中可视化管理方法的流程图；

图2为本发明应用实例提供的基于tensorflow的深度学习可视化的方法的示意图；

图3为本发明提供的深度学习系统中可视化管理装置的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1为本发明提供的深度学习系统中可视化管理方法的流程图。图1所示方法包括：

步骤101、获取深度学习系统中用户所访问的数据文件的镜像；

步骤102、从预先创建的容器中选择一个容器加载所述镜像；

步骤103、在检测到所述容器运行所述镜像中的数据后，读取所述容器的运行内容；

步骤104、将所述运行内容进行可视化输出。

本发明提供的方法实施例，通过获取深度学习系统中用户所访问的数据文件的镜像，再从预先创建的容器中选择一个容器加载所述镜像，使其镜像数据能够在容器中运行，读取所述容器的运行内容，并将所述运行内容进行可视化输出，将用户访问的数据进行可视化任务的展示，使用户能够更加快速地、方便地了解当前运行的深度学习任务的运行情况和结果，为定位问题和调整配置提供更好的操作支持。

下面对本发明提供的方法实施例作进一步说明：

本发明的目的就在于提供给使用者一个快速方便的进行可视化的装置，能够满足使用者对可视化的要求，从而实现使用者对整个深度学习训练过程的把控。

方案的基本思想具体如下：

1)数据收集装置会提示使用者输入相关的数据路径，并将数据路径进行收集；

2)镜像启动装置会使用数据收集装置收集到的数据路径，并将数据路径挂载到即将启动的容器上，启动装置将会对镜像进行启动；

3)在容器启动之后，可视化模块将会启用相应的可视化工具，对深度学习的内容进行可视化的展示。

其中，就基础思想所提到的容器，本发明作以简单说明：

在本发明中所使用的Docker，为一个开源的应用容器引擎，基于Go语言并遵从Apache2.0协议开源。Docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。其主要包括三部分，分别为：

仓库：

Docker Registy是一个用来存放文件程序的公共的地方。它是用来存放能够提供docker运行的镜像文件，可以pull下来直接使用。

镜像：

docker镜像(Image)，一个能够运行在docker容器上的一组程序文件，就是一个能够在docker容器运行的软件它提供了容器运行时所需的程序、库、资源、配置等文件外，还包含了一些为运行时准备的一些配置参数，例如匿名卷、环境变量、用户等；其本身是一个完整的root文件系统。镜像不包含任何动态数据，原始内容在构建之后也不会被改变。下载它后就可以在它的基础层上增加一层的程序了，这样新的镜像就诞生了，可以给它取个新名字，新的版本后，一切就绪。其中基础层即刚下载下来的镜像称作基础层。在实际应用中，可以一层一层的添加自己的程序，后面任何一层的改变都不会影响前面一层的，所以的改变只会发现在自己这一层，这样后面很方便的复用。

容器：

容器(Container)，就是运行程序的载体。镜像(Image)和容器(Container)的关系，就像是面向对象程序设计中的类和实例一样，镜像是静态的定义，容器是镜像运行时的实体。容器可以被创建、启动、停止、删除、暂停等。

本发明主要应用于深度学习中的训练过程、模型结构等的可视化，通过本方法和装置进行可视化任务的展示可以更加快速地、方便地了解当前运行的深度学习任务的运行情况和结果。

其中，所述获取深度学习系统中用户所访问的数据文件的镜像包括：

获取所述用户访问的数据对应的存储路径；

根据所述存储路径，确定所述存储路径下对应的系统数据的内容；

根据所述系统数据的内容，确定与所述内容匹配的镜像。

具体的，以用户的身份标识为关键词对用户的访问行为进行记录，记录用户的访问路径和访问时间，综合访问路径和访问时间的这两个因素，确定用户经常访问的数据；从系统中查询所述数据在系统中的存储路径，根据所述存储路径，确定该数据是哪些系统运行程序生成的或者是属于哪个应用程序，从而确定用户关注的应用程序，在获取该应用程序的镜像。

通常上述方式，可以更准确的确定用户的访问需求，并基于该访问需求为用户进行可视化显示，为后续使用过程中的用户对系统的管理提供了操作的便利。

在完成镜像的获取后，可以利用预先创建的容器加载该镜像，并通过容器运行镜像数据，在检测到所述容器运行所述镜像中数据，读取所述运行内容之前，所述方法还包括：

向所述用户发送可视化内容的配置请求；

接收所述用户发送的可视化的配置结果，其中所述配置结果包括对所述镜像中请求可视化内容的配置；

所述在检测到所述容器运行所述镜像中的数据后，读取所述容器的运行内容，包括：

在检测到所述容器运行所述镜像中的数据后，检测所述容器的运行内容；

在读取的运行内容符合所述配置结果时，读取所述运行内容。

具体的，由于镜像数据的运行内容较多，为保证有针对性的显示运行内容，满足用户的访问需求，在读取运行内容前，需要与用户进行交互确定所需的运行内容。例如，可以将该镜像数据的主要功能模块的描述信息进行输出，供用户进行选择，在用户选择对应的功能模块后，再进一步显示该功能模块下的子功能，通过逐级对功能的分解，确定用户所需的功能点。

在确定用户所需的运行内容后，确定该功能点的对应的程序段；在镜像数据运行后，对程序执行进度检测，在检测到该功能点对应的程序段开始执行后，读取该运行内容。

通过上述方式，可以有针对性的获取用户所需的运行内容，提高数据收集的精准度。

在得到运行内容后，需要经所述运行内容进行可视化输出，具体包括：

利用预先存储的可视化工具，对所述内容进行可视化处理；

输出所述可视化处理的处理结果。

具体的，可以预先在容器中加载对应的可视化工具的镜像数据，通过容器启动该镜像数据，将读取的内容进行可视化处理，得到能够使用户获知的数据，并通过显示屏幕输出给用户。

需要说明的是，之所以将该可视化处理的步骤通过容器内部的可视化工具进行处理，实现对运行内容的一对一处理，无需外部程序参与，易于管理，且能够充分容器的处理能力。

可选的，所述将所述运行内容进行可视化输出之后，所述方法还包括：

接收对所述可视化内容输出的控制操作；

根据所述控制操作指示的运行内容，输出在所述深度学习系统中与所述运行内容相匹配的系统配置信息。

具体的，在将运行内容进行输出后，用户可能会对部分内容进行定位或调整，在接收到用户定位某个特定的输出内容，为方便用户对显示的内容的理解和分析，可以从系统中查询与该输出内容相关的系统信息，输出给用户进行参考和理解，方便用户进行调整和管理。

下面以本发明提供的应用实例作对本发明提供的方法进一步说明：

图2为本发明应用实例提供的基于tensorflow的深度学习可视化的方法的示意图。图2所示方法包括：tensorflow镜像、数据收集装置、镜像启动装置、可视化装置，其中：tensorflow镜像为运行时的基础；数据收集装置作用为收集用户信息；镜像启动装置启动tensorflow镜像；可视化装置用于可视化的显示。该方法的具体实施过程如下：

1)当用户需要使用tensorflow的可视化应用的时候，需要使用者将数据路径输入，这时数据采集装置将会对数据路径保存收集；

2)在数据采集装置采集到了参数之后，参数采集装置将把参数传输到镜像启动装置。这时镜像启动装置将把采集到的参数挂载到即将启动tensorflow镜像中，并启动这个镜像，生成对应的容器；

3)在启动后的容器中，使用可视化装置对tensorflow的可视化工具进行调用，呈现可视化的结果；

本发明使得在使用tensorflow作为深度学习框架时并且需要进行可视化的时候，能够方便快速的进行可视化的展示，避免了繁琐复杂的过程。

图3为本发明提供的深度学习系统中可视化管理装置的结构图。图2所示装置包括：

获取模块301，用于获取深度学习系统中用户所访问的数据文件的镜像；

选择模块302，用于从预先创建的容器中选择一个容器加载所述镜像；

读取模块303，用于在检测到所述容器运行所述镜像中的数据后，读取所述容器的运行内容；

第一输出模块304，用于将所述运行内容进行可视化输出。

在本发明提供的一个装置实施例中，所述获取模块301包括：

第一获取单元，用于获取所述用户访问的数据对应的存储路径；

第一确定单元，用于根据所述存储路径，确定所述存储路径下对应的系统数据的内容；

第二确定单元，用户根据所述系统数据的内容，确定与所述内容匹配的镜像。

在本发明提供的一个装置实施例中，所述装置还包括：

发送模块，用于在检测到所述容器运行所述镜像中数据，读取所述运行内容之前，向所述用户发送可视化内容的配置请求；

第一接收模块，用于接收所述用户发送的可视化的配置结果，其中所述配置结果包括对所述镜像中请求可视化内容的配置；

其中，所述读取模块303包括：

检测单元，用于在检测到所述容器运行所述镜像中的数据后，检测所述容器的运行内容；

读取单元，用于在读取的运行内容符合所述配置结果时，读取所述运行内容。

在本发明提供的一个装置实施例中，所述第一输出模块304包括：

处理单元，用于利用预先存储的可视化工具，对所述内容进行可视化处理；

输出单元，用于输出所述可视化处理的处理结果。

在本发明提供的一个装置实施例中，所述装置还包括：

第二接收模块，用于将所述运行内容进行可视化接收对所述可视化内容输出的控制操作；

第二输出模块，用于根据所述控制操作指示的运行内容，输出在所述深度学习系统中与所述运行内容相匹配的系统配置信息。

本发明提供的装置实施例，通过获取深度学习系统中用户所访问的数据文件的镜像，再从预先创建的容器中选择一个容器加载所述镜像，使其镜像数据能够在容器中运行，读取所述容器的运行内容，并将所述运行内容进行可视化输出，将用户访问的数据进行可视化任务的展示，使用户能够更加快速地、方便地了解当前运行的深度学习任务的运行情况和结果，为定位问题和调整配置提供更好的操作支持。

本领域普通技术人员可以理解上述实施例的全部或部分步骤可以使用计算机程序流程来实现，所述计算机程序可以存储于一计算机可读存储介质中，所述计算机程序在相应的硬件平台上(如系统、设备、装置、器件等)执行，在执行时，包括方法实施例的步骤之一或其组合。

可选地，上述实施例的全部或部分步骤也可以使用集成电路来实现，这些步骤可以被分别制作成一个个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

上述实施例中的各装置/功能模块/功能单元可以采用通用的计算装置来实现，它们可以集中在单个的计算装置上，也可以分布在多个计算装置所组成的网络上。

上述实施例中的各装置/功能模块/功能单元以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。上述提到的计算机可读取存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求所述的保护范围为准。

Claims (10)

1.一种深度学习系统中可视化管理方法，其特征在于，包括：

获取深度学习系统中用户所访问的数据文件的镜像；

从预先创建的容器中选择一个容器加载所述镜像；

在检测到所述容器运行所述镜像中的数据后，读取所述容器的运行内容；

将所述运行内容进行可视化输出。

2.根据权利要求1所述的方法，其特征在于，所述获取深度学习系统中用户所访问的数据文件的镜像包括：

获取所述用户访问的数据对应的存储路径；

根据所述存储路径，确定所述存储路径下对应的系统数据的内容；

根据所述系统数据的内容，确定与所述内容匹配的镜像。

3.根据权利要求1所述的方法，其特征在于：

所述在检测到所述容器运行所述镜像中数据，读取所述运行内容之前，所述方法还包括：

向所述用户发送可视化内容的配置请求；

接收所述用户发送的可视化的配置结果，其中所述配置结果包括对所述镜像中请求可视化内容的配置；

所述在检测到所述容器运行所述镜像中的数据后，读取所述容器的运行内容，包括：

在检测到所述容器运行所述镜像中的数据后，检测所述容器的运行内容；

在读取的运行内容符合所述配置结果时，读取所述运行内容。

4.根据权利要求1所述的方法，其特征在于，所述将所述运行内容进行可视化输出包括：

利用预先存储的可视化工具，对所述内容进行可视化处理；

输出所述可视化处理的处理结果。

5.根据权利要求1至4任一所述的方法，其特征在于，所述将所述运行内容进行可视化输出之后，所述方法还包括：

接收对所述可视化内容输出的控制操作；

根据所述控制操作指示的运行内容，输出在所述深度学习系统中与所述运行内容相匹配的系统配置信息。

6.一种深度学习系统中可视化管理装置，其特征在于，包括：

获取模块，用于获取深度学习系统中用户所访问的数据文件的镜像；

选择模块，用于从预先创建的容器中选择一个容器加载所述镜像；

读取模块，用于在检测到所述容器运行所述镜像中的数据后，读取所述容器的运行内容；

第一输出模块，用于将所述运行内容进行可视化输出。

7.根据权利要求6所述的装置，其特征在于，所述获取模块包括：

第一获取单元，用于获取所述用户访问的数据对应的存储路径；

第一确定单元，用于根据所述存储路径，确定所述存储路径下对应的系统数据的内容；

第二确定单元，用户根据所述系统数据的内容，确定与所述内容匹配的镜像。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

发送模块，用于在检测到所述容器运行所述镜像中数据，读取所述运行内容之前，向所述用户发送可视化内容的配置请求；

第一接收模块，用于接收所述用户发送的可视化的配置结果，其中所述配置结果包括对所述镜像中请求可视化内容的配置；

其中，所述读取模块包括：

检测单元，用于在检测到所述容器运行所述镜像中的数据后，检测所述容器的运行内容；

读取单元，用于在读取的运行内容符合所述配置结果时，读取所述运行内容。

9.根据权利要求6所述的装置，其特征在于，所述第一输出模块包括：

处理单元，用于利用预先存储的可视化工具，对所述内容进行可视化处理；

输出单元，用于输出所述可视化处理的处理结果。

10.根据权利要求6至9任一所述的装置，其特征在于，所述装置还包括：

第二接收模块，用于将所述运行内容进行可视化接收对所述可视化内容输出的控制操作；

第二输出模块，用于根据所述控制操作指示的运行内容，输出在所述深度学习系统中与所述运行内容相匹配的系统配置信息。