CN109388479A - mxnet系统中深度学习数据的输出方法和装置 - Google Patents

mxnet系统中深度学习数据的输出方法和装置 Download PDF

Info

Publication number
CN109388479A
CN109388479A CN201811291984.8A CN201811291984A CN109388479A CN 109388479 A CN109388479 A CN 109388479A CN 201811291984 A CN201811291984 A CN 201811291984A CN 109388479 A CN109388479 A CN 109388479A
Authority
CN
China
Prior art keywords
data
mirror image
output
model
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811291984.8A
Other languages
English (en)
Inventor
李铭琨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811291984.8A priority Critical patent/CN109388479A/zh
Publication of CN109388479A publication Critical patent/CN109388479A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45562Creating, deleting, cloning virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种mxnet系统中深度学习数据的输出方法和装置。所述方法包括:在接收到展示模型的深度学习的过程数据的输出请求后,获取存储所述模型的数据的路径信息以及运行所述模型的硬件资源信息;在检测到存储路径和硬件资源信息配置完成后,利用为所述模型配置的硬件资源执行容器的创建操作;在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像;在所述第一镜像调用所述路径信息对应的数据运行所述模型过程中,通过所述第二镜像输出所述运行过程中的数据。

Description

mxnet系统中深度学习数据的输出方法和装置
技术领域
本发明涉及信息处理领域,尤指一种mxnet系统中深度学习数据的输出方法和装置。
背景技术
mxnet是亚马逊(Amazon)开发的深度学习库。它拥有类似于Theano和TensorFlow的数据流图,为多GPU配置提供了良好的配置,有着类似于Lasagne和Blocks更高级别的模型构建块,并且可以在可以想象的任何硬件上运行(包括手机)。对Python的支持只是其冰山一角,mxnet同样提供了对R、Julia、C++、Scala、Matlab,和Javascript的接口。
在人工智能时代,深度学习作为一种强有力的技术已经开始改变我们生活的方方面面。在深度学习中,深度学习的框架作为支持深度学习的基石,承担了深度学习的运行任务。mxnet作为最主流的深度学习框架之一,不论在科研界还是工业界都具有广泛的使用者。但是随着计算规模的加大、模型结构的复杂、训练参数的增多,训练的时间也越来越长,如何能在训练过程中及时发现问题,就需要可视化的工具来帮助使用者进行及时的调整。
在相关技术中,MXboard是一个实现mxnet的可视化开源工具,它将tensorflow中写数据到事件文件(event files)的算法提取出来,开发者们只需要将这个算法嵌入到深度学习的框架中,就可以使用TensorBoard来可视化框架特有的数据结构。
那么如何在mxnet系统中实现深度学习数据的可视化显示是亟待解决的问题。
发明内容
为了解决上述技术问题,本发明提供了一种mxnet系统中深度学习数据的输出方法和装置,能够在mxnet系统中实现深度学习数据的可视化显示。
为了达到本发明目的,本发明提供了一种mxnet系统中深度学习数据的输出方法,包括:
在接收到展示模型的深度学习的过程数据的输出请求后,获取存储所述模型的数据的路径信息以及运行所述模型的硬件资源信息;
在检测到存储路径和硬件资源信息配置完成后,利用为所述模型配置的硬件资源执行容器的创建操作;
在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像;
在所述第一镜像调用所述路径信息对应的数据运行所述模型过程中,通过所述第二镜像输出所述运行过程中的数据。
在本发明提供的一个示例性实施例中,所述在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像,包括:
根据所述存储所述模型的数据的路径信息以及硬件资源信息,生成所述模型对应的配置文件;
根据所述配置文件,依次导入所述第一镜像和所述第二镜像。
在本发明提供的一个示例性实施例中,所述在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像之前,所述方法还包括:
判断所述第一镜像对应的第一应用是否能够直接调用所述第二镜像对应的第二应用,得到判断结果;
如果判断结果为所述第一应用不能直接调用所述第二应用,则获取所述第一应用实现调用所述第二镜像所需的组件;
所述在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像,包括:
在完成第一镜像的数据导入操作后,导入所述组件信息的数据;
在检测到所述组件的数据导入成功的后,导入所述第二镜像的数据。
在本发明提供的一个示例性实施例中,所述在所述第一镜像调用所述路径信息对应的数据运行所述模型过程中,通过所述第二镜像输出所述运行过程中的数据,包括:
接收外部的数据输出的配置请求,其中所述配置请求包括所述数据名称和输出形式;
根据所述配置请求中的数据名称,筛选符合所述数据名称的数据;
将筛选得到的数据按照所述配置请求中的输出格式输出。
在本发明提供的一个示例性实施例中,所述在所述第一镜像调用所述路径信息对应的数据运行所述模型过程中,通过所述第二镜像输出所述运行过程中的数据之后,所述方法还包括:
接收对所述第二镜像输出数据的控制请求,其中所述控制请求包括输出状态和/或输出速度的配置信息;
根据所述控制请求中的配置信息,控制所述第二镜像输出的数据的输出操作。
为了达到本发明目的,本发明提供了一种mxnet系统中深度学习数据的输出装置,包括:
第一获取模块,用于在接收到展示模型的深度学习的过程数据的输出请求后,获取存储所述模型的数据的路径信息以及运行所述模型的硬件资源信息;
创建模块,用于在检测到存储路径和硬件资源信息配置完成后,利用为所述模型配置的硬件资源执行容器的创建操作;
导入模块,用于在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像;
输出模块,用于在所述第一镜像调用所述路径信息对应的数据运行所述模型过程中,通过所述第二镜像输出所述运行过程中的数据。
在本发明提供的一个示例性实施例中,所述导入模块包括:
生成单元,用于根据所述存储所述模型的数据的路径信息以及硬件资源信息,生成所述模型对应的配置文件;
第一导入单元,用于根据所述配置文件,依次导入所述第一镜像和所述第二镜像。
在本发明提供的一个示例性实施例中,所述装置还包括:
判断模块,用于在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像之前,判断所述第一镜像对应的第一应用是否能够直接调用所述第二镜像对应的第二应用,得到判断结果;
第二获取模块,用于如果判断结果为所述第一应用不能直接调用所述第二应用,则获取所述第一应用实现调用所述第二镜像所需的组件;
其中,所述导入模块包括:
第二导入单元,用于在完成第一镜像的数据导入操作后,导入所述组件信息的数据;
第三导入单元,用于在检测到所述组件的数据导入成功的后,导入所述第二镜像的数据。
在本发明提供的一个示例性实施例中,所述输出模块包括:
接收单元,用于接收外部的数据输出的配置请求,其中所述配置请求包括所述数据名称和输出形式;
筛选单元,用于根据所述配置请求中的数据名称,筛选符合所述数据名称的数据;
输出单元,用于将筛选得到的数据按照所述配置请求中的输出格式输出。
在本发明提供的一个示例性实施例中,所述装置还包括:
接收模块,用于在所述第一镜像调用所述路径信息对应的数据运行所述模型过程中,通过所述第二镜像输出所述运行过程中的数据之后,接收对所述第二镜像输出数据的控制请求,其中所述控制请求包括输出状态和/或输出速度的配置信息;
控制模块,用于根据所述控制请求中的配置信息,控制所述第二镜像输出的数据的输出操作。
本发明提供的实施例,在接收到展示模型的深度学习的过程数据的输出请求后,获取存储所述模型的数据的路径信息以及运行所述模型的硬件资源信息,在检测到存储路径和硬件资源信息配置完成后,利用为所述模型配置的硬件资源执行容器的创建操作,并在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像,在所述第一镜像调用所述路径信息对应的数据运行所述模型过程中,通过所述第二镜像输出所述运行过程中的数据,实现在mxnet系统中实现深度学习数据的可视化显示的目的,达到迅速部署可视化显示任务目的。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为本发明提供的mxnet系统中深度学习数据的输出方法的流程图;
图2为本发明应用实例提供的基于mxnet的深度学习可视化的方法的示意图;
图3为本发明提供的mxnet系统中深度学习数据的输出装置的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1为本发明提供的mxnet系统中深度学习数据的输出方法的流程图。图1所示方法包括:
步骤101、在接收到展示模型的深度学习的过程数据的输出请求后,获取存储所述模型的数据的路径信息以及运行所述模型的硬件资源信息;
步骤102、在检测到存储路径和硬件资源信息配置完成后,利用为所述模型配置的硬件资源执行容器的创建操作;
步骤103、在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像;
步骤104、在所述第一镜像调用所述路径信息对应的数据运行所述模型过程中,通过所述第二镜像输出所述运行过程中的数据。
本发明提供的方法实施例,在接收到展示模型的深度学习的过程数据的输出请求后,获取存储所述模型的数据的路径信息以及运行所述模型的硬件资源信息,在检测到存储路径和硬件资源信息配置完成后,利用为所述模型配置的硬件资源执行容器的创建操作,并在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像,在所述第一镜像调用所述路径信息对应的数据运行所述模型过程中,通过所述第二镜像输出所述运行过程中的数据,实现在mxnet系统中实现深度学习数据的可视化显示的目的,达到迅速部署可视化显示任务目的。
下面对本发明提供的方法作进一步说明:
本发明主要应用于深度学习中mxnet深度学习框架的训练过程、模型结构等的可视化,通过本方法和装置进行可视化任务的展示时,可以更加快速地、方便地部署可视化任务,让使用者了解当前运行的深度学习任务的运行情况和结果。
在本发明提供的一个示例性实施例中,所述在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像,包括:
根据所述存储所述模型的数据的路径信息以及硬件资源信息,生成所述模型对应的配置文件;
根据所述配置文件,依次导入所述第一镜像和所述第二镜像。
在本示例性实施例中,根据配置的路径信息和硬件资源信息,可以生成深度学习应用运行所述模型数据的配置文件,在得到上述配置文件后,按照所述配置文件在第一镜像和第二镜像的安装过程中进行参数的配置,可以满足用户的个性化需要,提供用户所需的数据。
在本发明提供的一个示例性实施例中,所述在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像之前,所述方法还包括:
判断所述第一镜像对应的第一应用是否能够直接调用所述第二镜像对应的第二应用,得到判断结果;
如果判断结果为所述第一应用不能直接调用所述第二应用,则获取所述第一应用实现调用所述第二镜像所需的组件;
所述在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像,包括:
在完成第一镜像的数据导入操作后,导入所述组件信息的数据;
在检测到所述组件的数据导入成功的后,导入所述第二镜像的数据。
在本示例性实施例中,通过检测所述第一应用是否能够直接调用所述第二应用,从而判断在对模型数据的可视化过程中,第一应用是否能够通过将数据发送给第二应用,借助第二应用将数据可视化。
如果实现应用间不能直接通信,则需要将第一应用数据的数据提取出来,进行数据转换后发送给第二应用;或者,获取第一应用调用第二应用所需的组件,并导入该组件的镜像到该容器中,借助所述组件实现所述应用间的直接通信,提高深度学习数据的输出效率。
在本发明提供的一个示例性实施例中,所述在所述第一镜像调用所述路径信息对应的数据运行所述模型过程中,通过所述第二镜像输出所述运行过程中的数据,包括:
接收外部的数据输出的配置请求,其中所述配置请求包括所述数据名称和输出形式;
根据所述配置请求中的数据名称,筛选符合所述数据名称的数据;
将筛选得到的数据按照所述配置请求中的输出格式输出。
在本示例性实施例中,在通过所述第二镜像输出所述数据的过程中,如果接收到对数据输出的配置请求,可以根据所述配置请求中的信息对数据进行处理,满足用户的个性化需要。
在本发明提供的一个示例性实施例中,所述在所述第一镜像调用所述路径信息对应的数据运行所述模型过程中,通过所述第二镜像输出所述运行过程中的数据之后,所述方法还包括:
接收对所述第二镜像输出数据的控制请求,其中所述控制请求包括输出状态和/或输出速度的配置信息;
根据所述控制请求中的配置信息,控制所述第二镜像输出的数据的输出操作。
在输出深度学习数据的过程中,用户可以通过发送控制请求,请求对输出的内容暂停、回放;或者请求对输出速度进行控制,如对重点数据慢速显示、对次重要的数据进行中速显示,对不重要的数据进行快速显示,其中输出的速度可以通过用户配置或系统预先配置;数据的重要性可以通过用户进行标记。
在上述提及的示例性实施例中,本发明提供的方法给使用者一个快速使用、迅速部署可视化任务的方案,并结合了对象存储技术,提高对数据的使用效果,能够满足使用者对可视化的要求。
下面以本发明提供的应用实例对本发明提供的方法作进一步说明:
图2为本发明应用实例提供的基于mxnet的深度学习可视化的方法的示意图。图2所示方法的系统包括对象存储装置、镜像库、数据收集装置、任务启动装置和可视化界面。其中:对象存储装置为数据存储上的基础,镜像库为运行时的基础,目的是读取数据文件实现可视化;数据收集装置作用为收集用户信息,为后续的启动提供必要的参数;任务启动装置为kubernetes,通过kubernetes将启动、部署mxnet镜像;可视化界面用于可视化的显示。
图2所示方法的实施过程如下:
1)首先部署构建一个对象存储环境,用来存储模型参数。部署对象存储时采用的Ceph分布式部署。
2)构建一个mxnet+mxboard+tensorboard镜像,基础为centos或者ubuntu;采用Dockerfile要求的方法编写Dockerfile文件,运行Dockerfile文件得到相应的镜像,镜像用于后续的启动与展示可视化。
Docker为一个开源的应用容器引擎,基于Go语言并遵从Apache2.0协议开源。Docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化。
docker镜像(Image),一个能够运行在docker容器上的一组程序文件,就是一个能够在docker容器运行的软件它提供了容器运行时所需的程序、库、资源、配置等文件外,还包含了一些为运行时准备的一些配置参数(如匿名卷、环境变量、用户等),是一个完整的root文件系统。镜像不包含任何动态数据,原始内容在构建之后也不会被改变。下载它后就可以在它的基础上增加一层的程序了,这样新的镜像就诞生了。可以给它取个新名字,新的版本后,一切就绪。可以一层一层的添加自己的程序,后面任何一层的改变都不会影响前面一层的,所以的改变只会发现在自己这一层,这样后面很方便的复用。
容器(Container),就是运行程序的载体。镜像(Image)和容器(Container)的关系,就像是面向对象程序设计中的类和实例一样,镜像是静态的定义,容器是镜像运行时的实体。容器可以被创建、启动、停止、删除、暂停等。
3)通过数据采集装置采集参数,数据采集装置将把参数传输到任务启动装置(kubernetes)。参数用于生成yaml,目的是在后续启动镜像时,分配相关的资源大小(cpu、内存大小和存储位置)。
4)任务启动装置(kubernetes)根据参数生成yaml文件,启动步骤2中构建的mxnet+mxboard+tensorboard镜像。
其中,kubernetes是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应用部署、规划、更新和维护的一种机制。
5)通过可视化界面,启动一个web网页来展现模型可视化的结果。
在本应用实例中,深度学习框架为mxnet,可视化辅助开源工具为mxboard,任务启动部署工具为kubernetes。
本发明应用实例提供的方法,在使用mxnet作为深度学习框架时并且需要进行可视化的时候,能够方便快速部署可视化任务并进行展示,避免了繁琐复杂的过程,为深度学习的使用者提供了便利,并且采用了对象存储的技术来存储模型数据,有效的提升了可视化的效率。
图3为本发明提供的mxnet系统中深度学习数据的输出装置的结构图。图3所示装置包括:
第一获取模块301,用于在接收到展示模型的深度学习的过程数据的输出请求后,获取存储所述模型的数据的路径信息以及运行所述模型的硬件资源信息;
创建模块302,用于在检测到存储路径和硬件资源信息配置完成后,利用为所述模型配置的硬件资源执行容器的创建操作;
导入模块303,用于在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像;
输出模块304,用于在所述第一镜像调用所述路径信息对应的数据运行所述模型过程中,通过所述第二镜像输出所述运行过程中的数据。
在本发明提供的一个示例性实施例中,所述导入模块303包括:
生成单元,用于根据所述存储所述模型的数据的路径信息以及硬件资源信息,生成所述模型对应的配置文件;
第一导入单元,用于根据所述配置文件,依次导入所述第一镜像和所述第二镜像。
在本发明提供的一个示例性实施例中,所述装置还包括:
判断模块,用于在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像之前,判断所述第一镜像对应的第一应用是否能够直接调用所述第二镜像对应的第二应用,得到判断结果;
第二获取模块,用于如果判断结果为所述第一应用不能直接调用所述第二应用,则获取所述第一应用实现调用所述第二镜像所需的组件;
其中,所述导入模块303包括:
第二导入单元,用于在完成第一镜像的数据导入操作后,导入所述组件信息的数据;
第三导入单元,用于在检测到所述组件的数据导入成功的后,导入所述第二镜像的数据。
在本发明提供的一个示例性实施例中,所述输出模块304包括:
接收单元,用于接收外部的数据输出的配置请求,其中所述配置请求包括所述数据名称和输出形式;
筛选单元,用于根据所述配置请求中的数据名称,筛选符合所述数据名称的数据;
输出单元,用于将筛选得到的数据按照所述配置请求中的输出格式输出。
在本发明提供的一个示例性实施例中,所述装置还包括:
接收模块,用于在所述第一镜像调用所述路径信息对应的数据运行所述模型过程中,通过所述第二镜像输出所述运行过程中的数据之后,接收对所述第二镜像输出数据的控制请求,其中所述控制请求包括输出状态和/或输出速度的配置信息;
控制模块,用于根据所述控制请求中的配置信息,控制所述第二镜像输出的数据的输出操作。
本发明提供的装置实施例,在接收到展示模型的深度学习的过程数据的输出请求后,获取存储所述模型的数据的路径信息以及运行所述模型的硬件资源信息,在检测到存储路径和硬件资源信息配置完成后,利用为所述模型配置的硬件资源执行容器的创建操作,并在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像,在所述第一镜像调用所述路径信息对应的数据运行所述模型过程中,通过所述第二镜像输出所述运行过程中的数据,实现在mxnet系统中实现深度学习数据的可视化显示的目的,达到迅速部署可视化显示任务目的。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器,如数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。

Claims (10)

1.一种mxnet系统中深度学习数据的输出方法,其特征在于,包括:
在接收到展示模型的深度学习的过程数据的输出请求后,获取存储所述模型的数据的路径信息以及运行所述模型的硬件资源信息;
在检测到存储路径和硬件资源信息配置完成后,利用为所述模型配置的硬件资源执行容器的创建操作;
在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像;
在所述第一镜像调用所述路径信息对应的数据运行所述模型过程中,通过所述第二镜像输出所述运行过程中的数据。
2.根据权利要求1所述的方法,其特征在于,所述在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像,包括:
根据所述存储所述模型的数据的路径信息以及硬件资源信息,生成所述模型对应的配置文件;
根据所述配置文件,依次导入所述第一镜像和所述第二镜像。
3.根据权利要求1或2所述的方法,其特征在于:
所述在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像之前,所述方法还包括:
判断所述第一镜像对应的第一应用是否能够直接调用所述第二镜像对应的第二应用,得到判断结果;
如果判断结果为所述第一应用不能直接调用所述第二应用,则获取所述第一应用实现调用所述第二镜像所需的组件;
所述在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像,包括:
在完成第一镜像的数据导入操作后,导入所述组件信息的数据;
在检测到所述组件的数据导入成功的后,导入所述第二镜像的数据。
4.根据权利要求1所述的方法,其特征在于,所述在所述第一镜像调用所述路径信息对应的数据运行所述模型过程中,通过所述第二镜像输出所述运行过程中的数据,包括:
接收外部的数据输出的配置请求,其中所述配置请求包括所述数据名称和输出形式;
根据所述配置请求中的数据名称,筛选符合所述数据名称的数据;
将筛选得到的数据按照所述配置请求中的输出格式输出。
5.根据权利要求1或4所述的方法,其特征在于,所述在所述第一镜像调用所述路径信息对应的数据运行所述模型过程中,通过所述第二镜像输出所述运行过程中的数据之后,所述方法还包括:
接收对所述第二镜像输出数据的控制请求,其中所述控制请求包括输出状态和/或输出速度的配置信息;
根据所述控制请求中的配置信息,控制所述第二镜像输出的数据的输出操作。
6.一种mxnet系统中深度学习数据的输出装置,其特征在于,包括:
第一获取模块,用于在接收到展示模型的深度学习的过程数据的输出请求后,获取存储所述模型的数据的路径信息以及运行所述模型的硬件资源信息;
创建模块,用于在检测到存储路径和硬件资源信息配置完成后,利用为所述模型配置的硬件资源执行容器的创建操作;
导入模块,用于在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像;
输出模块,用于在所述第一镜像调用所述路径信息对应的数据运行所述模型过程中,通过所述第二镜像输出所述运行过程中的数据。
7.根据权利要求6所述的装置,其特征在于,所述导入模块包括:
生成单元,用于根据所述存储所述模型的数据的路径信息以及硬件资源信息,生成所述模型对应的配置文件;
第一导入单元,用于根据所述配置文件,依次导入所述第一镜像和所述第二镜像。
8.根据权利要求6或7所述的装置,其特征在于,所述装置还包括:
判断模块,用于在所述容器中导入用于执行深度学习操作的第一镜像以及用于可视化输出数据的第二镜像之前,判断所述第一镜像对应的第一应用是否能够直接调用所述第二镜像对应的第二应用,得到判断结果;
第二获取模块,用于如果判断结果为所述第一应用不能直接调用所述第二应用,则获取所述第一应用实现调用所述第二镜像所需的组件;
其中,所述导入模块包括:
第二导入单元,用于在完成第一镜像的数据导入操作后,导入所述组件信息的数据;
第三导入单元,用于在检测到所述组件的数据导入成功的后,导入所述第二镜像的数据。
9.根据权利要求6所述的装置,其特征在于,所述输出模块包括:
接收单元,用于接收外部的数据输出的配置请求,其中所述配置请求包括所述数据名称和输出形式;
筛选单元,用于根据所述配置请求中的数据名称,筛选符合所述数据名称的数据;
输出单元,用于将筛选得到的数据按照所述配置请求中的输出格式输出。
10.根据权利要求6或9所述的装置,其特征在于,所述装置还包括:
接收模块,用于在所述第一镜像调用所述路径信息对应的数据运行所述模型过程中,通过所述第二镜像输出所述运行过程中的数据之后,接收对所述第二镜像输出数据的控制请求,其中所述控制请求包括输出状态和/或输出速度的配置信息;
控制模块,用于根据所述控制请求中的配置信息,控制所述第二镜像输出的数据的输出操作。
CN201811291984.8A 2018-11-01 2018-11-01 mxnet系统中深度学习数据的输出方法和装置 Pending CN109388479A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811291984.8A CN109388479A (zh) 2018-11-01 2018-11-01 mxnet系统中深度学习数据的输出方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811291984.8A CN109388479A (zh) 2018-11-01 2018-11-01 mxnet系统中深度学习数据的输出方法和装置

Publications (1)

Publication Number Publication Date
CN109388479A true CN109388479A (zh) 2019-02-26

Family

ID=65428213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811291984.8A Pending CN109388479A (zh) 2018-11-01 2018-11-01 mxnet系统中深度学习数据的输出方法和装置

Country Status (1)

Country Link
CN (1) CN109388479A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110618814A (zh) * 2019-09-18 2019-12-27 北京迈格威科技有限公司 数据可视化方法、装置、电子设备及计算机可读存储介质
CN113886026A (zh) * 2021-12-07 2022-01-04 中国电子科技集团公司第二十八研究所 一种基于动态参数配置和过程监督的智能建模方法与系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049454A (zh) * 2011-10-16 2013-04-17 同济大学 一种基于多标签分类的中英文搜索结果可视化系统
CN107516090A (zh) * 2017-09-11 2017-12-26 北京百度网讯科技有限公司 一体化人脸识别方法和系统
US20180101645A1 (en) * 2016-10-12 2018-04-12 Terarecon, Inc. System and method for medical image interpretation
CN108197633A (zh) * 2017-11-24 2018-06-22 百年金海科技有限公司 基于TensorFlow的深度学习图像分类与应用部署方法
CN108319518A (zh) * 2017-12-08 2018-07-24 中国电子科技集团公司电子科学研究院 基于循环神经网络的文件碎片分类方法及装置
CN108681777A (zh) * 2018-05-07 2018-10-19 北京京东尚科信息技术有限公司 一种基于分布式系统的机器学习程序运行的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049454A (zh) * 2011-10-16 2013-04-17 同济大学 一种基于多标签分类的中英文搜索结果可视化系统
US20180101645A1 (en) * 2016-10-12 2018-04-12 Terarecon, Inc. System and method for medical image interpretation
CN107516090A (zh) * 2017-09-11 2017-12-26 北京百度网讯科技有限公司 一体化人脸识别方法和系统
CN108197633A (zh) * 2017-11-24 2018-06-22 百年金海科技有限公司 基于TensorFlow的深度学习图像分类与应用部署方法
CN108319518A (zh) * 2017-12-08 2018-07-24 中国电子科技集团公司电子科学研究院 基于循环神经网络的文件碎片分类方法及装置
CN108681777A (zh) * 2018-05-07 2018-10-19 北京京东尚科信息技术有限公司 一种基于分布式系统的机器学习程序运行的方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110618814A (zh) * 2019-09-18 2019-12-27 北京迈格威科技有限公司 数据可视化方法、装置、电子设备及计算机可读存储介质
CN113886026A (zh) * 2021-12-07 2022-01-04 中国电子科技集团公司第二十八研究所 一种基于动态参数配置和过程监督的智能建模方法与系统
CN113886026B (zh) * 2021-12-07 2022-03-15 中国电子科技集团公司第二十八研究所 一种基于动态参数配置和过程监督的智能建模方法与系统

Similar Documents

Publication Publication Date Title
CN109146084B (zh) 一种基于云计算的机器学习的方法及装置
CN110377278B (zh) 一种基于人工智能与物联网的可视化编程工具系统
JP6944548B2 (ja) 自動コード生成
CN105511943B (zh) 一种Docker容器运行方法和装置
US20230005284A1 (en) Method for training image-text matching model, computing device, and storage medium
CN106775924B (zh) 虚拟机启动方法和装置
US11544843B2 (en) Tracking biological objects over time and space
US11442704B2 (en) Computerized system and method for a distributed low-code / no-code computing environment
US11327726B2 (en) Workflow engine tool
US10210591B2 (en) Optimizing compilation of shaders
US20090271436A1 (en) Techniques for Providing a Virtual-World Object Based on a Real-World Object Description
CN106846495A (zh) 实现增强现实的方法与装置
WO2015103982A1 (en) Method and apparatus for processing request
CN109388479A (zh) mxnet系统中深度学习数据的输出方法和装置
CN109634599A (zh) 页面视图的显示方法、装置、设备及存储介质
CN109254830A (zh) 深度学习系统中可视化管理方法和装置
JP2018528634A (ja) 動画像をプレビューする方法及びデバイス、並びに表現パッケージを表示する方法及びデバイス
KR20230135038A (ko) 결함 검출 방법 및 장치, 모델 트레이닝 방법 및 장치, 및 전자 디바이스
WO2020056901A1 (zh) 用于处理图像的方法和装置
CN108885686B (zh) 用于视频分析的基于云的主动调试系统
US9495788B2 (en) Apparatus and method for developing robot contents
US20200409451A1 (en) Personalized content for augemented reality based on past user experience
WO2023246801A1 (zh) 算法流水线编排方法、装置、电子设备和存储介质
JP5933474B2 (ja) 制御装置プログラムの開発装置と作成方法
CN109983504A (zh) 通过使用多层移动来促进立体视觉的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190226