CN111797294A - 可视化方法及相关设备 - Google Patents
可视化方法及相关设备 Download PDFInfo
- Publication number
- CN111797294A CN111797294A CN202010656553.8A CN202010656553A CN111797294A CN 111797294 A CN111797294 A CN 111797294A CN 202010656553 A CN202010656553 A CN 202010656553A CN 111797294 A CN111797294 A CN 111797294A
- Authority
- CN
- China
- Prior art keywords
- information
- target
- training data
- visualization
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007794 visualization technique Methods 0.000 title claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 289
- 238000012800 visualization Methods 0.000 claims abstract description 147
- 238000013136 deep learning model Methods 0.000 claims abstract description 105
- 230000000007 visual effect Effects 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 83
- 230000004044 response Effects 0.000 claims abstract description 34
- 238000003860 storage Methods 0.000 claims description 56
- 230000008569 process Effects 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 34
- 238000007781 pre-processing Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 17
- 125000002015 acyclic group Chemical group 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 7
- 238000009877 rendering Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 21
- 238000007726 management method Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 241000287530 Psittaciformes Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本申请公开了一种可视化方法及相关设备，方法包括：用户设备向云服务器发送可视化请求，所述可视化请求用于请求对目标深度学习模型的目标训练数据进行可视化；用户设备接收所述云服务器发送的可视化响应，所述可视化响应携带有所述目标训练数据的可视化信息；用户设备显示所述可视化信息。采用本申请实施例可实现深度学习模型的训练数据的可视化，有助于及时判断当前训练策略的可行性，为早停等决策提供依据。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种可视化方法及相关设备。
背景技术
近年来，深度学习模型在图像和视频处理领域中得到广泛应用，一般地，深度学习模型通过训练得到，然而，深度学习模型的训练过程涉及复杂且深奥的计算，并且需要经过多次迭代实现，训练时间较长，研发人员只能在训练结束后对训练得到的深度学习模型进行性能评估。
发明内容
本申请实施例提供一种可视化方法及相关设备，用于实现深度学习模型的训练数据的可视化。
第一方面，本申请实施例提供一种可视化方法，应用于用户设备，所述方法包括：
向云服务器发送可视化请求，所述可视化请求用于请求对目标深度学习模型的目标训练数据进行可视化；
接收所述云服务器发送的可视化响应，所述可视化响应携带有所述目标训练数据的可视化信息；
显示所述可视化信息。
第二方面，本申请实施例提供一种可视化装置，应用于用户设备，所述装置包括：
发送单元，用于向云服务器发送可视化请求，所述可视化请求用于请求对目标深度学习模型的目标训练数据进行可视化；
接收单元，用于接收所述云服务器发送的可视化响应，所述可视化响应携带有所述目标训练数据的可视化信息；
显示单元，用于显示所述可视化信息。
第三方面，本申请实施例提供一种可视化方法，应用于云服务器，所述方法包括：
接收来自用户设备的可视化请求，所述可视化请求用于请求对目标深度学习模型的目标训练数据进行可视化；
获取所述可视化请求对应的目标训练数据；
对所述目标训练数据进行预处理，得到可视化信息；
向所述用户设备发送可视化响应，所述可视化响应携带所述可视化信息。
第四方面，本申请实施例提供一种可视化装置，应用于云服务器，所述装置包括：
接收单元，用于接收来自用户设备的可视化请求，所述可视化请求用于请求对目标深度学习模型的目标训练数据进行可视化；
获取单元，用于获取所述可视化请求对应的目标训练数据；
确定单元，用于对所述目标训练数据进行预处理，得到可视化信息；
发送单元，用于向所述用户设备发送可视化响应，所述可视化响应携带所述可视化信息。
第五方面，本申请提供一种计算机设备，所述计算机设备包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面或第三方面所述的方法中的步骤的指令。
第六方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面或第三方面所述的方法中所描述的部分或全部步骤。
第七方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面或第三方面所述的方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，在本申请实施例中，用户设备首先向云服务器发送可视化请求，然后接收云服务器发送的可视化响应，可视化响应携带有目标训练数据的可视化信息，最后显示可视化信息，由于通过目标训练数据的可视化信息，可以直观地了解深度学习模型的训练状态，有助于及时判断当前训练策略的可行性，为早停等决策提供依据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种可视化系统的架构示意图；
图2是本申请实施例提供的一种可视化方法的流程示意图；
图3本申请实施例提供的一种计算机设备的结构示意图；
图4本申请实施例提供的一种可视化装置的结构示意图；
图5本申请实施例提供的另一种可视化装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
以下分别进行详细说明。
本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
请参见图1，图1是申请实施例提供的一种可视化系统的架构示意图，该可视化系统包括超算集群、云服务器、云存储及用户设备。需要说明的是，图1中所示的超算集群、云服务器、云存储及用户设备的形态和数量仅用于举例，并不构成对本申请实施例的限定。其中，该可视化系统基于javascript和svg技术可以实现了多维多类中间训练数据的可视化，支持大量中间训练数据的快速高效的可视化渲染。
其中，该可视化系统基于kubernetes容器编排系统，提供生产级别稳定的可视化系统部署，提供动态可控的服务能力，kubernetes容器用于管理云服务中多个主机上的容器化的应用。
其中，云服务器提供可视化服务，可视化服务用于对获取的中间训练数据进行预处理等数据操作，对进行数据操作后的中间训练数据进行可视化渲染得到可视化信息。
可选地，云服务器还可提供以下服务中的至少一种：服务网关、训练管理服务、数据存储服务及权限服务。
其中，服务网关可作为以下至少一种服务的入口：训练管理服务、数据存储服务、数据可视化服务及权限服务的入口。
可选地，服务网关可以是应用程序。
可选地，服务网关可以具备限流功能。
其中，训练管理服务可提供以下至少一种服务：监控深度学习模型的训练任务是否完成，对产生异常的训练任务进行记录、索引和查找，比较同一深度学习模型的多个训练任务的训练过程以及对深度学习模型的训练结果进行共享。
其中，数据存储服务可提供以下至少一种服务：数据持久化，采用数据线程将深度学习模型训练产生的中间训练数据进行存储以及采用缓存的方式将深度学习模型训练产生的中间训练数据进行存储。
其中，权限管理服务用于保证可视化系统的安全性，在通过权限管理服务后才可使用可视化系统，此外，共享训练也是经由权限管理服务进行认证，权限管理服务支持统一认证账号登录和/或普通注册两种类型的登录方式。
其中，云服务器可以通过超文本传输协议(HyperText Transfer Protocol，HTTP)、谷歌远程过程调用(Google Remote Procedure Call，GRPC)协议或其他协议与开发者工具包进行交互。
其中，云服务器可直接将训练数据存储在云存储中。
其中，超算集群通过运行开发者工具包提供python等编程语言的工具包等开发工具，供用户与tensorflow,pytorch,caffe框架等一起使用，和/或开启新的线程作为数据上传专用线程，以及通过HTTP通信协议和GRPC协议在数据上传专用线程上向云服务器上传深度学习模型训练产生的中间训练数据，上传的中间训练数据类型可以包括向量、标量、图片、视频、音频等，上传的中间训练数据存储在开发者工具包的数据缓存中。
其中，开启新的线程作为数据上传专用线程可以保证深度学习模型的计算速度。
其中，云存储可选地可以为分布式存储，用于统一管理深度学习模型产生的中间训练数据，为中间训练数据提供海量的存储功能，并且随着中间训练数据的数据量的增长，能够动态扩容以满足中间训练数据的存储需求，为可视化业务的增长提供后续保障。
可选地，云存储还可以是数据块级云存储、文件级云存储、对象级云存储和/或其他形式的云存储。
其中，用户设备可以通过预设的应用软件与云服务器进行通信，也可以通过预设的网络地址与云服务器进行通信。
可选地，用户设备可以包括各种具有通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(UserEquipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。
请参见图2所示，图2是本申请实施例提供的一种可视化方法的流程示意图，应用于上述用户设备和云服务器，具体包括以下步骤：
步骤201：用户设备向云服务器发送可视化请求，所述可视化请求用于请求对目标深度学习模型的目标训练数据进行可视化。
步骤202：云服务器接收来自用户设备的可视化请求，所述可视化请求用于请求对目标深度学习模型的目标训练数据进行可视化。
在一种可能的实现方式中，可视化请求携带目标深度学习模型的训练任务标识，云服务器接收到该可视化请求之后，可以基于目标深度学习模型的训练任务标识，获取该训练任务的相关训练数据。作为一个例子，可以将存储的各个深度学习模型的训练任务的相关训练数据与深度学习模型的训练任务标识关联。例如，可以按照训练任务进行训练数据的存储，不同训练任务的相关训练数据存储在不同位置。再例如，可以按照深度学习模型或者数据类型进行训练数据的存储。
其中，数据类型可以是二维热力图、三位直方图、特征图、调用时序图，标量折线图，有向无环图，等等。
其中，不同的数据类型对应不同的可视化图标。
其中，训练任务都位于超算集群之上，可以通过利用超算集群的中央处理器来加速训练深度学习模型。
此时，可选地，可以将训练数据和训练数据所属的训练任务的任务标识关联存储，等等，本公开实施例对此不做限定。
在一种可能的实现方式中，可视化请求携带目标深度学习模型的训练任务标识和目标训练数据的索引信息，该索引信息用于查找该目标训练数据，以确定该目标训练数据的存储位置。该索引信息可以有多种实现方式，例如，索引信息可以包括数据创建时间、数据类型、数据标签等任意一种或多种，再例如，索引信息包括数据类型和数据标签。
其中，同一数据类型可以有多个数据标签，数据标签可以是自定义的。
举例来说，若数据类型为标量折线图，则数据标签可以是准确值，也可以是损失值，等等。
其中，可视化请求可以是请求根据训练任务标识和索引信息，在索引信息对应的中间数据集合中采样该中间数据集合中的所有数据或随机采样中间数据集合中的数据。
其中，目标深度学习模型包括至少一个深度神经网络，目标训练数据可以是目标深度学习模型中其中一个深度神经网络产生的中间数据，也可以是目标深度学习模型中多个深度神经网络产生的中间数据。
可选地，可视化请求可以是请求可视化第一时段内目标深度学习模型产生的中间数据，其中，第一时段的时长可以是3min，5min，9min及15min等其他值，第一时刻的终止时刻可以是当前时刻，也可以早于当前时刻，也可以晚于当前时刻。
其中，目标训练数据存储在云存储中。
在一种可能的实现方式中，目标训练数据包括以下至少一种：模型性能变化趋势信息、模型损失趋势信息、模型参数分布信息、模型处理中间结果、模型结构信息、模型训练的当前进度信息、针对同一模型的不同训练的比较信息、多种进程的调度时间信息时序。
在一种可能的实现方式中，在目标训练数据为模型性能变化趋势信息、模型损失趋势信息、模型训练的当前进度信息以及针对同一模型的不同训练的比较信息中至少一种的情况下，可视化信息的类别为标量折线图。
其中，在目标训练数据为模型性能变化趋势信息的情况下，基于标量折线图可以确定性能变化趋势是否满足第一预设条件，在满足第一预设条件的情况下，停止模型训练，在不满足第一预设条件的情况下，继续模型训练。
其中，目标训练数据为模型损失趋势信息的情况下，基于标量折线图可以确定损失趋势是否满足第二预设条件，在满足第二预设条件的情况下，停止模型训练，在不满足预设条件的情况下，继续模型训练。
其中，目标训练数据为模型训练的当前进度信息的情况下，基于标量折线图可以确定训练进度是否满足预设进度，在满足预设进度的情况下，继续模型训练，在不满足预设条件的情况下，停止模型训练。
其中，目标训练数据为同一模型的不同训练的比较信息的情况下，基于标量折线图可以确定不同训练提取到的特征是否相同，在特征相同的情况下，继续模型训练，在特征不相同的情况下，停止模型训练。
其中，在目标训练数据为模型参数分布信息的情况下，可视化信息的类别为三维直方图，通过三维直方图可以确定模型参数分布是否异常，在模型参数分布异常的情况下，停止模型训练。
其中，在目标训练数据为模型处理中间结果的情况下，可视化信息的类别为特征图，通过特征图可以确定模型提取到的特征是否正确，在提取到的特征错误的情况下，重新构建模型。
其中，在目标训练数据为模型结构信息的情况下，可视化信息的类别为有向无环图，通过有向无环图可以确定模型的结构是否正确，在模型的结构错误的情况下，重新构建模型的结构。
其中，有向无环图支持的深度学习模型的架构可以是如开放神经网络交换(OpenNeural Network Exchange，ONNX)等标准架构，也可以是其他类型的架构，其中，ONNX不需要对中间训练数据做数据处理得到有向无环图，而某些架构则需要对中间训练数据进行预处理得到有向无环图。
其中，在目标训练数据为多种进程的调度时间信息的情况下，可视化信息的类别为多种进程的调用时序图，通过调用时序图可以确定每个算子的耗时情况，在算子的耗时情况大于预设时长时，对耗时情况大于预设时长的算子进行优化。
其中，在目标训练数据为针对模型处理中间结果的情况下，可视化信息的类别为二维热力图，通过热力图可以确定模型提取到的特征是否正确，在提取到的特征错误的情况下，重新构建模型。
其中，特征图和热力图是目标训练数据为模型处理中间结果的不同表现形式。
其中，目标训练数据的类型包括以下至少一种：标量、向量、图片、视频、音频。
步骤203：云服务器获取所述可视化请求对应的目标训练数据。
在一种可能的实现方式中，所述获取所述可视化请求对应的目标训练数据，包括：
基于所述可视化请求中携带的训练任务标识和索引信息查找索引数据库，以得到所述目标训练数据的存储位置信息；
基于所述目标训练数据的存储位置信息，获取云存储中存储的所述目标训练数据。
其中，基于训练任务标识和索引信息得到中间训练数据的列表，基于中间训练数据的列表在云存储中获取中间训练数据。
可选地，可视化请求携带目标深度学习模型的目标训练数据的标识信息，所述标识信息用于云服务器从云存储中获取目标训练数据；其中，所述标识信息是预设的，所述标识信息在所述云存储中具有唯一性。
举例来说，目标深度学习模型的训练任务包括训练任务A和训练任务B，训练任务A产生的训练数据包括训练数据A1和训练数据A2，训练任务B产生的训练数据包括训练数据B1和训练数据B2，训练数据A1、训练数据A2、训练数据B1和训练数据B2均存储在云平台中，训练数据A1的标识信息为1，训练数据A2的标识信息为2，训练数据B1的标识信息为3，训练数据B2的标识信息为4，若标识信息为1，则云服务器从云存储中获取的目标训练数据为训练数据A1；若标识信息为2，则云服务器从云存储中获取的目标训练数据为训练数据A2；若标识信息为3，则云服务器从云存储中获取的目标训练数据为训练数据B1；若标识信息为4，则云服务器从云存储中获取的目标训练数据为训练数据B2。
步骤204：云服务器对所述目标训练数据进行预处理，得到可视化信息。
步骤205：云服务器向用户设备发送可视化响应，所述可视化响应携带所述可视化信息。
步骤206：用户设备接收云服务器发送的可视化响应，所述可视化响应携带有所述目标训练数据的可视化信息。
步骤207：用户设备显示所述可视化信息。
在一种可能的实现方式中，可视化信息包括以下类别中的至少一种：有向无环图、三维直方图、多种进程的调用时序图、特征图、二维热力图以及标量折线图。
可选地，在可视化信息的类别为有向无环图的情况下，可视化信息包括以下信息：目标深度学习模型的至少一部分的拓扑信息，其中，所述目标深度学习模型的至少一部分包括：所述目标深度学习模型的多个模块和/或多个算子；所述目标深度学习模型所包括的至少一个算子中每个算子的资源占用信息。
可选地，多个模块的拓扑信息包括以下至少一种：所述多个模块的标识信息、所述多个模块之间的依赖关系、所述多个模块中每个模块的数据量大小、每个所述模块包括的至少一个算子的信息。
其中，模块的标识信息具有唯一性，可以是预设的。
可选地，算子的信息包括以下至少一种：算子的标识信息，算子之间的依赖关系，算子的数据量大小。
其中，依赖关系可以是先后关系，并行关系。
可选地，资源占用信息是云服务器基于算子的数据类型、算子的输入数据信息、算子的输出数据信息中的至少一种确定的。
其中，算子的输入可以是图片、视频、音频、标量、向量，等等，不同的输入对应的维度不同，例如图片相当于一个二维的矩阵，音频相当于一个一维的矩阵。
其中，经过算子的运算后，算子的输入信息的维度会发生变化。
其中，算子的数据类型可以是双精度类型，也可以是单精度类型。
其中，算子可以是以下至少一种：卷积，批标准化(BatchNorm，BN)，全链接，池化，矩阵乘除，丢弃(DropOut)，激活等。
其中，输入数据信息可以是输入数据量大小，输出数据信息可以是输出数据量大小。
可选地，在可视化信息的类别为标量折线图的情况下，可视化信息包括目标深度模型性能变化趋势信息、目标深度模型损失趋势信息、目标深度学习模型的训练进度信息以及目标深度学习模型中不同训练的比较信息中的至少一种。
可选地，在可视化信息的类别为特征图或二维热力图的情况下，可视化信息包括目标深度学习模型提取到的特征。
可选地，在可视化信息的类别为三维直方图的情况下，可视化信息包括多个算子中每个算子的参数分布。
可选地，在可视化信息的类别为多种进程的调用时序图的情况下，可视化信息包括多个算子中每个算子在至少一个进程中每个进程的运行时长。
可选地，进程可以是解释性语言进程、本地进程、AI芯片进程中的至少一种。
其中，解释性语言进程、本地进程、AI芯片进程按照时间交替执行调用时序图。
可以看出，在本申请实施例中，用户设备首先向云服务器发送可视化请求，然后接收云服务器发送的可视化响应，可视化响应携带有目标训练数据的可视化信息，最后显示可视化信息，由于通过目标训练数据的可视化信息，可以直观地了解深度学习模型的训练状态，有助于提升及时判断当前训练策略的可行性，为早停等决策提供依据。
在本申请的一实现方式中，所述显示所述可视化信息，包括：
以折叠显示模式或展示显示模式显示所述可视化信息，其中，
在所述折叠显示模式中，以所述目标深度学习模型中的模块为最小显示单元，其中，所述模块包括至少一个算子；和/或
在所述展开显示模式中，以所述目标深度学习模型中的算子为最小显示单元。
其中，在可视化信息的类别是有向无环图的情况下，可以通过折叠显示模式显示可视化信息，也可以通过展开显示模式显示可视化信息，在可视化信息的类别非有向无环图的情况下，通过展开显示模式显示可视化信息。
其中，展开显示模式可以是模块在接收到操作指令后展开显示模块中的算子。
其中，在可视化信息的类别为三维直方图的情况下，展开显示模式可以是直接显示每个模块中每个算子的参数分布情况。
其中，在可视化信息的类别为调用时序图的情况下，展开显示模式可以是直接显示每个模块中每个算子在至少一个进程中的运行时长。
举例来说，假设可视化信息的类别为有向无环图，目标深度学习模型中包括2个模块(模块A和模块B)，模块A中包括3个算子(A1、A2以及A3)，模型B中包括2个算子(B1和B2)。若以折叠显示模式显示可视化信息，则显示模块A和模块B；若以展开显示模式显示可视化信息，模块A接收操作指令后，显示模块A中的算子A1、A2以及A3，模块B接收操作指令后，显示模块B中的算子B1和B2。
举例来说，假设可视化信息的类别为三维直方图，目标深度学习模型中包括2个模块(模块A和模块B)，模块A中包括3个算子(A1、A2以及A3)，模型B中包括2个算子(B1和B2)，模块A对应三维直方图1，模块B对应三维直方图B，则三维直方图1中包括A1的参数分布情况、A2的参数分布情况以及A3的参数分布情况，三维直方图2中包括B1的参数分布情况和B2的参数分布情况。
举例来说，假设可视化信息的类别为调用时序图，目标深度学习模型中包括2个模块(模块A和模块B)和2个进程(进程C1和C2)，模块A中包括2个算子(A1和A2)，模型B中包括2个算子(B1和B2)，模块A对应调用时序图1，模块B对应调用时序图B，则调用时序图1中包括A1在进程C1中的运行时长、A1在进程C2中的运行时长，包括A2在进程C1中的运行时长、A2在进程C2中的运行时长；调用时序图2中包括B1在进程C1中的运行时长、B1在进程C2中的运行时长，包括B2在进程C1中的运行时长、B2在进程C2中的运行时长。
可选地，可以预先设定可视化信息的展示模式，可以是先使用折叠显示模式显示可视化信息，在第一时长后再使用展开显示模式显示可视化信息，第一时长可以是预设的。
可选地，在可视化信息的类别为标量折线图的情况下，折线图可以是多条，可以在接收到操作指令后缩放或平移，标量折线图展开显示模式可以是直接显示目标深度模型性能变化趋势、目标深度模型损失趋势、目标深度学习模型的训练进度以及目标深度学习模型中不同训练提取到的特征中的至少一种。
可选地，在可视化信息的类别为特征图或二维热力图的情况下，可展开显示模式可以是直接显示目标深度学习模型提取到的特征。
其中，在二维热力图中，热度越高代表是特征的概率越大。
可以看出，在本申请实施例中，用户设备通过不同的方式展示可视化信息，有利于提升用户设备的应用范围。
在本申请的一实现方式中，所述向云服务器发送可视化请求之前，所述方法还包括：
通过数据上传线程向所述云服务器发送所述目标深度学习模型的中间训练数据，所述中间训练数据用于所述云服务器得到所述目标训练数据的索引信息和训练任务标识，以及基于所述训练任务标识将所述索引信息存储在数据库，基于所述索引信息将所述目标训练数据存储到云存储中。
其中，数据上传线程是新开启的线程。
其中，训练任务标识具有唯一性，训练任务标识可以是在产生中间训练数据后确定的，也可以是在开始训练是确定的。
其中，中间训练数据包括目标训练数据、训练任务标识以及索引信息。
可选地，通过数据上传线程向云服务器发送所述目标深度学习模型的中间训练数据，所述中间数据用于所述云服务器得到所述目标训练数据的标识信息，以及将标识信息存储在数据库中，基于所述标识信息将目标训练数据存储在云存储中。
其中，标识信息具有唯一性。
可选地，在通过数据上传线程向云服务器发送所述目标深度学习模型的中间训练数据之前，所述方法还包括：
确定所述中间训练数据中目标训练数据的数据量；
在所述数据量大于预设数据量的情况下，确定训练任务标识和所述目标训练数据的索引信息，以及将所述训练任务信息和所述目标训练数据的索引信息承载在所述中间训练数据上；
在所述数据量小于预设数据量的情况下，确定所述目标训练数据的标识信息，所述标识信息承载在所述中间训练数据上。
可选地，在云服务器接收到标识信息的情况下，可以将标识信息存储到数据库的第一缓冲区，以及基于标识信息将目标训练数据存储到所述数据库的第二缓冲区。
可以看出，在本申请实施例中，通过云服务器将目标数据存储在云存储中，有利于云服务器在接收到可视化请求后快速获取目标训练数据。
在本申请的一实现方式中，所述对所述目标训练数据进行预处理，得到可视化信息，包括：
对所述目标训练数据进行至少一项预处理，得到预处理数据；
对所述预处理数据进行渲染处理，得到所述可视化信息。
其中，若目标训练数据的数据类型为图片或视频，对图片或视频的预处理包括如下处理之中的一种或多种：不敏感区域剔除处理、图像精度增强处理、图像降噪处理和图像二值化处理。
其中，若目标训练数据的数据类型为文本，对文本预处理包括如下处理之中的一种或多种：文档切分处理、文本分词处理、去停用词(包括标点、数字、单子和其他无意义的词)处理、文本特征提取、词频统计处理及文本向量化处理。
其中，可视化渲染是将预处理数据组装成超文本链接标示语言(HypertextMarkup Language，HTML)。
其中，通过预处理得到的可视化信息的类型非有向无环图。
可以看出，在本申请实施例中，对目标训练数据进行预处理得到预处理数据，然后对预处理数据进行渲染得到可视化信息，有利于基于可视化信息对目标深度学习模型及进行分析。
在本申请的一实现方式中，所述对所述目标训练数据进行预处理，得到可视化信息，包括：
在所述目标深度学习模型的训练任务在目标框架下执行的情况下，通过二叉树对所述目标训练数据进行解析处理，得到所述可视化信息。
其中，通过二叉树对目标训练数据进行处理的目标深度学习模型的类型为parrots。
其中，通过二叉树对目标训练数据进行解析处理得到的可视化信息的类型为有向无环图。
可以看出，在本申请实施例中，对目标训练数据进行解析处理得到可视化信息，有利于基于可视化信息对目标深度学习模型及进行分析。
请参阅图3，图3是本申请实施例提供的一种计算机设备的结构示意图，如图所示，该计算机设备包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行。
在一个实现方式中，计算机设备为用户设备，上述程序包括用于执行以下步骤的指令：
向云服务器发送可视化请求，所述可视化请求用于请求对目标深度学习模型的目标训练数据进行可视化；
接收所述云服务器发送的可视化响应，所述可视化响应携带有所述目标训练数据的可视化信息；
显示所述可视化信息。
可选地，所述可视化信息包括以下类别中的至少一种：有向无环图、三维直方图、多种进程的调用时序图、特征图、二维热力图以及标量折线图；和/或
所述目标训练数据包括以下至少一种：模型性能变化趋势信息、模型损失趋势信息、模型参数分布信息、模型处理中间结果、模型结构信息、模型训练的当前进度信息、针对同一模型的不同训练的比较信息、多种进程的调度时间信息。
可选地，所述可视化信息包括以下至少一种信息：
所述目标深度学习模型的至少一部分的拓扑信息，其中，所述目标深度学习模型的至少一部分包括：所述目标深度学习模型的多个模块和/或多个算子；
所述目标深度学习模型所包括的至少一个算子中每个算子的资源占用信息。
可选地，所述多个模块的拓扑信息包括以下至少一种：
所述多个模块的标识信息、所述多个模块之间的依赖关系、所述多个模块中每个模块的数据量大小、每个所述模块包括的至少一个算子的信息。
可选地，所述资源占用信息是所述云服务器基于所述算子的数据类型、所述算子的输入数据信息、所述算子的输出数据信息中的至少一种确定的。
可选地，所述可视化请求携带所述目标深度学习模型的训练任务标识和所述目标训练数据的索引信息，其中，所述索引信息包括：数据类型和数据标签。
可选地，在显示所述可视化信息方面，上述程序包括具体用于执行以下步骤指令：
在本公开实施例中，支持以不同模式进行可视化数据的显示，其中，在一些实施例中，可以以折叠显示模式或展示显示模式显示所述可视化信息，或者也可以定义其他显示模式，本公开实施例不限于此。
在一些实施例中，在所述折叠显示模式中，以所述目标深度学习模型中的模块为最小显示单元，其中，所述模块包括至少一个算子。这里的模块可以是默认的划分方式划分的，或者也可以是用户设置的，本公开实施例对此不做限定。
在一些实施例中，在所述展开显示模式中，以所述目标深度学习模型中的算子为最小显示单元。此时，可以显示模型中的所有算子的信息。
在一些实施例中，还可以以混合显示模式进行显示，即对一些模块进行折叠显示，而对另一些模块进行展开显示，其可以可选地基于用户设置进行显示，本公开实施例对此不做限定。
可选地，在向云服务器发送可视化请求之前，上述程序包括还用于执行以下步骤指令：
通过数据上传线程向所述云服务器发送所述目标深度学习模型的中间训练数据，所述中间训练数据用于所述云服务器得到所述目标训练数据的索引信息和训练任务标识，以及基于所述训练任务标识将所述索引信息存储在数据库中，基于所述索引信息将所述目标训练数据存储到云存储中。
在另一个实现方式中，计算机设备为云服务器，上述程序包括用于执行以下步骤的指令：
接收来自用户设备的可视化请求，所述可视化请求用于请求对目标深度学习模型的目标训练数据进行可视化；
获取所述可视化请求对应的目标训练数据；
对所述目标训练数据进行预处理，得到可视化信息；
向所述用户设备发送可视化响应，所述可视化响应携带所述可视化信息。
可选地，所述可视化信息包括以下类别中的至少一种：有向无环图、三维直方图、多种进程的调用时序图、特征图、二维热力图以及标量折线图；和/或
所述目标训练数据包括以下至少一种：模型性能变化趋势信息、模型损失趋势信息、模型参数分布信息、模型处理中间结果、模型结构信息、模型训练的当前进度信息、针对同一模型的不同训练的比较信息、多种进程的调度时间信息。
可选地，所述可视化信息包括以下至少一种信息：
所述目标深度学习模型的至少一部分的拓扑信息，其中，所述目标深度学习模型的至少一部分包括：所述目标深度学习模型的多个模块和/或多个算子；
所述目标深度学习模型所包括的至少一个算子中每个算子的资源占用信息。
可选地，所述多个模块的拓扑信息包括以下至少一种：
所述多个模块的标识信息、所述多个模块之间的依赖关系、所述多个模块中每个模块的数据量大小、每个所述模块包括的至少一个算子的信息。
可选地，在对所述目标训练数据进行预处理，得到可视化信息方面，上述程序包括具体用于执行以下步骤指令：
基于所述目标深度学习模型中至少一个算子的数据类型、所述算子的输入数据信息、所述算子的输出数据信息中的至少一种，确定所述至少一个算子中每个算子的资源占用信息。
可选地，所述可视化请求携带所述目标深度学习模型的训练任务标识、所述目标训练数据的索引信息，所述索引信息包括：数据类型和数据标签；
在获取所述可视化请求对应的目标训练数据方面，上述程序包括具体用于执行以下步骤指令：基于所述可视化请求中携带的训练任务标识和索引信息查找索引数据库，以得到所述目标训练数据的存储位置信息；基于所述目标训练数据的存储位置信息，获取云存储中存储的所述目标训练数据。
可选地，在对所述目标训练数据进行预处理，得到可视化信息方面，上述程序包括具体用于执行以下步骤指令：
对所述目标训练数据进行至少一项预处理，得到预处理数据；
对所述预处理数据进行渲染处理，得到所述可视化信息。
可选地，在对所述目标训练数据进行预处理，得到可视化信息方面，上述程序包括具体用于执行以下步骤指令：
在所述目标深度学习模型的训练任务在目标框架下执行的情况下，通过二叉树对所述目标训练数据进行解析处理，得到所述可视化信息。
需要说明的是，本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程，在此不再叙述。
请参阅图4，图4是本申请实施例提供的一种可视化装置，应用于用户设备，该装置包括：
发送单元401，用于向云服务器发送可视化请求，所述可视化请求用于请求对目标深度学习模型的目标训练数据进行可视化；
接收单元402，用于接收所述云服务器发送的可视化响应，所述可视化响应携带有所述目标训练数据的可视化信息；
显示单元403，用于显示所述可视化信息。
在本申请的一实现方式中，所述可视化信息包括以下类别中的至少一种：有向无环图、三维直方图、多种进程的调用时序图、特征图、二维热力图以及标量折线图；和/或
所述目标训练数据包括以下至少一种：模型性能变化趋势信息、模型损失趋势信息、模型参数分布信息、模型处理中间结果、模型结构信息、模型训练的当前进度信息、针对同一模型的不同训练的比较信息、多种进程的调度时间信息。
在本申请的一实现方式中，所述可视化信息包括以下至少一种信息：
所述目标深度学习模型的至少一部分的拓扑信息，其中，所述目标深度学习模型的至少一部分包括：所述目标深度学习模型的多个模块和/或多个算子；
所述目标深度学习模型所包括的至少一个算子中每个算子的资源占用信息。
在本申请的一实现方式中，所述多个模块的拓扑信息包括以下至少一种：
所述多个模块的标识信息、所述多个模块之间的依赖关系、所述多个模块中每个模块的数据量大小、每个所述模块包括的至少一个算子的信息。
在本申请的一实现方式中，所述资源占用信息是所述云服务器基于所述算子的数据类型、所述算子的输入数据信息、所述算子的输出数据信息中的至少一种确定的。
在本申请的一实现方式中，所述可视化请求携带所述目标深度学习模型的训练任务标识和所述目标训练数据的索引信息，其中，所述索引信息包括：数据类型和数据标签。
在本申请的一实现方式中，在显示所述可视化信息方面，上述显示单元403具体用于：
以折叠显示模式或展示显示模式显示所述可视化信息，其中，
在所述折叠显示模式中，以所述目标深度学习模型中的模块为最小显示单元，其中，所述模块包括至少一个算子；和/或
在所述展开显示模式中，以所述目标深度学习模型中的算子为最小显示单元。
在本申请的一实现方式中，上述发送单元401具体，还用于在向云服务器发送可视化请求之前，通过数据上传线程向所述云服务器发送所述目标深度学习模型的中间训练数据，所述中间训练数据用于所述云服务器得到所述目标训练数据的索引信息和训练任务标识；
所述装置还包括：数据存储单元404，用于基于所述训练任务标识将所述索引信息存储在数据库中，基于所述索引信息将所述目标训练数据存储到云存储中。
需要说明的是，发送单元401、接收单元402可通过通信接口实现，显示单元403可通过显示屏实现，数据存储单元404可通过处理器屏实现。
请参阅图5，图5是本申请实施例提供的一种可视化装置，应用于云服务器，该装置包括：
接收单元501，用于接收来自用户设备的可视化请求，所述可视化请求用于请求对目标深度学习模型的目标训练数据进行可视化；
获取单元502，用于获取所述可视化请求对应的目标训练数据；
确定单元503，用于对所述目标训练数据进行预处理，得到可视化信息；
发送单元504，用于向所述用户设备发送可视化响应，所述可视化响应携带所述可视化信息。
在本申请的一实现方式中，所述可视化信息包括以下类别中的至少一种：有向无环图、三维直方图、多种进程的调用时序图、特征图、二维热力图以及标量折线图；和/或
所述目标训练数据包括以下至少一种：模型性能变化趋势信息、模型损失趋势信息、模型参数分布信息、模型处理中间结果、模型结构信息、模型训练的当前进度信息、针对同一模型的不同训练的比较信息、多种进程的调度时间信息。
在本申请的一实现方式中，所述可视化信息包括以下至少一种信息：
所述目标深度学习模型的至少一部分的拓扑信息，其中，所述目标深度学习模型的至少一部分包括：所述目标深度学习模型的多个模块和/或多个算子；
所述目标深度学习模型所包括的至少一个算子中每个算子的资源占用信息。
在本申请的一实现方式中，所述多个模块的拓扑信息包括以下至少一种：
所述多个模块的标识信息、所述多个模块之间的依赖关系、所述多个模块中每个模块的数据量大小、每个所述模块包括的至少一个算子的信息。
在本申请的一实现方式中，在对所述目标训练数据进行预处理，得到可视化信息方面，上述程序包括具体用于执行以下步骤指令：
基于所述目标深度学习模型中至少一个算子的数据类型、所述算子的输入数据信息、所述算子的输出数据信息中的至少一种，确定所述至少一个算子中每个算子的资源占用信息。
在本申请的一实现方式中，所述可视化请求携带所述目标深度学习模型的训练任务标识、所述目标训练数据的索引信息，所述索引信息包括：数据类型和数据标签；
在获取所述可视化请求对应的目标训练数据方面，上述获取单元502具体用于：
基于所述可视化请求中携带的训练任务标识和索引信息查找索引数据库，以得到所述目标训练数据的存储位置信息；
基于所述目标训练数据的存储位置信息，获取云存储中存储的所述目标训练数据。
在本申请的一实现方式中，在对所述目标训练数据进行预处理，得到可视化信息方面，上述确定单元503具体用于：
对所述目标训练数据进行至少一项预处理，得到预处理数据；
对所述预处理数据进行渲染处理，得到所述可视化信息。
在本申请的一实现方式中，在对所述目标训练数据进行预处理，得到可视化信息方面，上述确定单元503具体用于：
在所述目标深度学习模型的训练任务在目标框架下执行的情况下，通过二叉树对所述目标训练数据进行解析处理，得到所述可视化信息。
需要说明的是，接收单元501和发送单元504可通过通信接口实现，获取单元502和确定单元503可通过处理器实现。
本申请实施例还提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如上述方法实施例中电子设备或云服务器所描述的部分或全部步骤。
本申请实施例还提供了一种计算机程序产品，其中，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法中电子设备或云服务器所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
本申请实施例所描述的方法或者算法的步骤可以以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(Random Access Memory，RAM)、闪存、只读存储器(Read OnlyMemory，ROM)、可擦除可编程只读存储器(Erasable Programmable ROM，EPROM)、电可擦可编程只读存储器(Electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于接入网设备、目标网络设备或核心网设备中。当然，处理器和存储介质也可以作为分立组件存在于接入网设备、目标网络设备或核心网设备中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DigitalSubscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，数字视频光盘(DigitalVideo Disc，DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
以上所述的具体实施方式，对本申请实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请实施例的具体实施方式而已，并不用于限定本申请实施例的保护范围，凡在本申请实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请实施例的保护范围之内。
Claims (20)
1.一种可视化方法，其特征在于，应用于用户设备，所述方法包括：
向云服务器发送可视化请求，所述可视化请求用于请求对目标深度学习模型的目标训练数据进行可视化；
接收所述云服务器发送的可视化响应，所述可视化响应携带有所述目标训练数据的可视化信息；
显示所述可视化信息。
2.根据权利要求1所述的方法，其特征在于，所述可视化信息包括以下类别中的至少一种：有向无环图、三维直方图、多种进程的调用时序图、特征图、二维热力图以及标量折线图；和/或
所述目标训练数据包括以下至少一种：模型性能变化趋势信息、模型损失趋势信息、模型参数分布信息、模型处理中间结果、模型结构信息、模型训练的当前进度信息、针对同一模型的不同训练的比较信息、多种进程的调度时间信息。
3.根据权利要求1或2所述的方法，所述可视化信息包括以下至少一种信息：
所述目标深度学习模型的至少一部分的拓扑信息，其中，所述目标深度学习模型的至少一部分包括：所述目标深度学习模型的多个模块和/或多个算子；
所述目标深度学习模型所包括的至少一个算子中每个算子的资源占用信息。
4.根据权利要求3所述的方法，其特征在于，所述多个模块的拓扑信息包括以下至少一种：
所述多个模块的标识信息、所述多个模块之间的依赖关系、所述多个模块中每个模块的数据量大小、每个所述模块包括的至少一个算子的信息。
5.根据权利要求3或4所述的方法，其特征在于，所述资源占用信息是所述云服务器基于所述算子的数据类型、所述算子的输入数据信息、所述算子的输出数据信息中的至少一种确定的。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述可视化请求携带所述目标深度学习模型的训练任务标识和所述目标训练数据的索引信息，其中，所述索引信息包括：数据类型和数据标签。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述显示所述可视化信息，包括：
以折叠显示模式或展示显示模式显示所述可视化信息，其中，
在所述折叠显示模式中，以所述目标深度学习模型中的模块为最小显示单元，其中，所述模块包括至少一个算子；和/或
在所述展开显示模式中，以所述目标深度学习模型中的算子为最小显示单元。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述向云服务器发送可视化请求之前，所述方法还包括：
通过数据上传线程向所述云服务器发送所述目标深度学习模型的中间训练数据，所述中间训练数据用于所述云服务器得到所述目标训练数据的索引信息和训练任务标识，以及基于所述训练任务标识将所述索引信息存储在索引数据库中，基于所述索引信息将所述目标训练数据存储到云存储中。
9.一种可视化方法，其特征在于，应用于云服务器，所述方法包括：
接收来自用户设备的可视化请求，所述可视化请求用于请求对目标深度学习模型的目标训练数据进行可视化；
获取所述可视化请求对应的目标训练数据；
对所述目标训练数据进行预处理，得到可视化信息；
向所述用户设备发送可视化响应，所述可视化响应携带所述可视化信息。
10.根据权利要求9所述的方法，其特征在于，所述可视化信息包括以下类别中的至少一种：有向无环图、三维直方图、多种进程的调用时序图、特征图、二维热力图以及标量折线图；和/或
所述目标训练数据包括以下至少一种：模型性能变化趋势信息、模型损失趋势信息、模型参数分布信息、模型处理中间结果、模型结构信息、模型训练的当前进度信息、针对同一模型的不同训练的比较信息、多种进程的调度时间信息。
11.根据权利要求9或10所述的方法，所述可视化信息包括以下至少一种信息：
所述目标深度学习模型的至少一部分的拓扑信息，其中，所述目标深度学习模型的至少一部分包括：所述目标深度学习模型的多个模块和/或多个算子；
所述目标深度学习模型所包括的至少一个算子中每个算子的资源占用信息。
12.根据权利要求11所述的方法，其特征在于，所述多个模块的拓扑信息包括以下至少一种：
所述多个模块的标识信息、所述多个模块之间的依赖关系、所述多个模块中每个模块的数据量大小、每个所述模块包括的至少一个算子的信息。
13.根据权利要求9至12中任一项所述的方法，其特征在于，所述对所述目标训练数据进行预处理，得到可视化信息，包括：
基于所述目标深度学习模型中至少一个算子的数据类型、所述算子的输入数据信息、所述算子的输出数据信息中的至少一种，确定所述至少一个算子中每个算子的资源占用信息。
14.根据权利要求9至13中任一项所述的方法，其特征在于，所述可视化请求携带所述目标深度学习模型的训练任务标识、所述目标训练数据的索引信息，所述索引信息包括：数据类型和数据标签；
所述获取所述可视化请求对应的目标训练数据，包括：
基于所述可视化请求中携带的训练任务标识和索引信息查找索引数据库，以得到所述目标训练数据的存储位置信息；
基于所述目标训练数据的存储位置信息，获取云存储中存储的所述目标训练数据。
15.根据权利要求9至14中任一项所述的方法，其特征在于，所述对所述目标训练数据进行预处理，得到可视化信息，包括：
对所述目标训练数据进行至少一项预处理，得到预处理数据；
对所述预处理数据进行渲染处理，得到所述可视化信息。
16.根据权利要求9至15中任一项所述的方法，其特征在于，所述对所述目标训练数据进行预处理，得到可视化信息，包括：
在所述目标深度学习模型的训练任务在目标框架下执行的情况下，通过二叉树对所述目标训练数据进行解析处理，得到所述可视化信息。
17.一种可视化装置，其特征在于，应用于用户设备，所述装置包括：
发送单元，用于向云服务器发送可视化请求，所述可视化请求用于请求对目标深度学习模型的目标训练数据进行可视化；
接收单元，用于接收所述云服务器发送的可视化响应，所述可视化响应携带有所述目标训练数据的可视化信息；
显示单元，用于显示所述可视化信息。
18.一种可视化装置，其特征在于，应用于云服务器，所述装置包括：
接收单元，用于接收来自用户设备的可视化请求，所述可视化请求用于请求对目标深度学习模型的目标训练数据进行可视化；
获取单元，用于获取所述可视化请求对应的目标训练数据；
确定单元，用于对所述目标训练数据进行预处理，得到可视化信息；
发送单元，用于向所述用户设备发送可视化响应，所述可视化响应携带所述可视化信息。
19.一种计算机设备，其特征在于，所述用户设备包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-8或9-16任一项所述的方法中的步骤的指令。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序被处理执行如权利要求1-8或9-16任意一项所述的方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010656553.8A CN111797294A (zh) | 2020-07-09 | 2020-07-09 | 可视化方法及相关设备 |
| KR1020217039065A KR20220011134A (ko) | 2020-07-09 | 2021-03-23 | 가시화 방법 및 관련 기기 |
| PCT/CN2021/082348 WO2022007434A1 (zh) | 2020-07-09 | 2021-03-23 | 可视化方法及相关设备 |
| JP2021570729A JP2022543180A (ja) | 2020-07-09 | 2021-03-23 | 可視化方法及び関連デバイス |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010656553.8A CN111797294A (zh) | 2020-07-09 | 2020-07-09 | 可视化方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111797294A true CN111797294A (zh) | 2020-10-20 |
Family
ID=72810505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010656553.8A Pending CN111797294A (zh) | 2020-07-09 | 2020-07-09 | 可视化方法及相关设备 |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP2022543180A (zh) |
| KR (1) | KR20220011134A (zh) |
| CN (1) | CN111797294A (zh) |
| WO (1) | WO2022007434A1 (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112199345A (zh) * | 2020-10-28 | 2021-01-08 | 上海大学 | 深度学习训练实时可视化方法及装置 |
| CN112733892A (zh) * | 2020-12-28 | 2021-04-30 | 北京聚云科技有限公司 | 一种用于模型训练的数据交互方法及装置 |
| CN113326113A (zh) * | 2021-05-25 | 2021-08-31 | 北京市商汤科技开发有限公司 | 任务处理方法及装置、电子设备和存储介质 |
| CN113658289A (zh) * | 2021-07-30 | 2021-11-16 | 国网天津市电力公司 | 一种二次设备编辑方法 |
| WO2022007434A1 (zh) * | 2020-07-09 | 2022-01-13 | 上海商汤智能科技有限公司 | 可视化方法及相关设备 |
| CN114707654A (zh) * | 2022-06-06 | 2022-07-05 | 浙江大学 | 基于人工智能框架的算法训练推理性能可视化方法及装置 |
| CN116360759A (zh) * | 2023-03-10 | 2023-06-30 | 青软创新科技集团股份有限公司 | 一种人工智能算法的可视化系统和方法 |
| WO2023123851A1 (zh) * | 2021-12-27 | 2023-07-06 | 上海商汤智能科技有限公司 | 数据可视化方法、装置、电子设备、存储介质和程序 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160122452A (ko) * | 2015-04-14 | 2016-10-24 | (주)한국플랫폼서비스기술 | 비주얼 콘텐츠기반 영상 인식을 위한 딥러닝 프레임워크 및 영상 인식 방법 |
| CN109241141A (zh) * | 2018-09-04 | 2019-01-18 | 北京百度网讯科技有限公司 | 深度学习的训练数据处理方法和装置 |
| CN111079892A (zh) * | 2019-10-30 | 2020-04-28 | 华为技术有限公司 | 深度学习模型的训练方法、装置及系统 |
| CN111190805A (zh) * | 2019-12-29 | 2020-05-22 | 广东浪潮大数据研究有限公司 | 深度学习训练平台的训练日志可视化系统、方法及设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8825649B2 (en) * | 2010-07-21 | 2014-09-02 | Microsoft Corporation | Smart defaults for data visualizations |
| CN104615735B (zh) * | 2015-02-11 | 2019-03-15 | 中科星图股份有限公司 | 一种基于地理信息空间系统的时空信息可视化方法 |
| CN111797294A (zh) * | 2020-07-09 | 2020-10-20 | 上海商汤智能科技有限公司 | 可视化方法及相关设备 |
-
2020
- 2020-07-09 CN CN202010656553.8A patent/CN111797294A/zh active Pending
-
2021
- 2021-03-23 WO PCT/CN2021/082348 patent/WO2022007434A1/zh active Application Filing
- 2021-03-23 KR KR1020217039065A patent/KR20220011134A/ko unknown
- 2021-03-23 JP JP2021570729A patent/JP2022543180A/ja not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160122452A (ko) * | 2015-04-14 | 2016-10-24 | (주)한국플랫폼서비스기술 | 비주얼 콘텐츠기반 영상 인식을 위한 딥러닝 프레임워크 및 영상 인식 방법 |
| CN109241141A (zh) * | 2018-09-04 | 2019-01-18 | 北京百度网讯科技有限公司 | 深度学习的训练数据处理方法和装置 |
| CN111079892A (zh) * | 2019-10-30 | 2020-04-28 | 华为技术有限公司 | 深度学习模型的训练方法、装置及系统 |
| CN111190805A (zh) * | 2019-12-29 | 2020-05-22 | 广东浪潮大数据研究有限公司 | 深度学习训练平台的训练日志可视化系统、方法及设备 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022007434A1 (zh) * | 2020-07-09 | 2022-01-13 | 上海商汤智能科技有限公司 | 可视化方法及相关设备 |
| CN112199345A (zh) * | 2020-10-28 | 2021-01-08 | 上海大学 | 深度学习训练实时可视化方法及装置 |
| CN112733892A (zh) * | 2020-12-28 | 2021-04-30 | 北京聚云科技有限公司 | 一种用于模型训练的数据交互方法及装置 |
| CN113326113A (zh) * | 2021-05-25 | 2021-08-31 | 北京市商汤科技开发有限公司 | 任务处理方法及装置、电子设备和存储介质 |
| CN113658289A (zh) * | 2021-07-30 | 2021-11-16 | 国网天津市电力公司 | 一种二次设备编辑方法 |
| WO2023123851A1 (zh) * | 2021-12-27 | 2023-07-06 | 上海商汤智能科技有限公司 | 数据可视化方法、装置、电子设备、存储介质和程序 |
| CN114707654A (zh) * | 2022-06-06 | 2022-07-05 | 浙江大学 | 基于人工智能框架的算法训练推理性能可视化方法及装置 |
| CN114707654B (zh) * | 2022-06-06 | 2022-08-23 | 浙江大学 | 基于人工智能框架的算法训练推理性能可视化方法及装置 |
| CN116360759A (zh) * | 2023-03-10 | 2023-06-30 | 青软创新科技集团股份有限公司 | 一种人工智能算法的可视化系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022007434A1 (zh) | 2022-01-13 |
| KR20220011134A (ko) | 2022-01-27 |
| JP2022543180A (ja) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111797294A (zh) | 可视化方法及相关设备 | |
| CN107766940B (zh) | 用于生成模型的方法和装置 | |
| CN110874440B (zh) | 一种信息推送及其模型训练的方法、装置及电子设备 | |
| CN107944481B (zh) | 用于生成信息的方法和装置 | |
| CN110288049A (zh) | 用于生成图像识别模型的方法和装置 | |
| CN108830329A (zh) | 图片处理方法和装置 | |
| CN109961032B (zh) | 用于生成分类模型的方法和装置 | |
| WO2019062081A1 (zh) | 业务员画像形成方法、电子装置及计算机可读存储介质 | |
| CN109862100A (zh) | 用于推送信息的方法和装置 | |
| CN109905292B (zh) | 一种终端设备识别方法、系统及存储介质 | |
| CN109934142B (zh) | 用于生成视频的特征向量的方法和装置 | |
| CN114282581A (zh) | 基于数据增强的训练样本获取方法、装置和电子设备 | |
| CN108446659A (zh) | 用于检测人脸图像的方法和装置 | |
| CN109389182A (zh) | 用于生成信息的方法和装置 | |
| CN112766284A (zh) | 图像识别方法和装置、存储介质和电子设备 | |
| CN109614549B (zh) | 用于推送信息的方法和装置 | |
| CN108600780A (zh) | 用于推送信息的方法 | |
| CN109064464B (zh) | 用于检测电池极片毛刺的方法和装置 | |
| CN112839055B (zh) | 面向tls加密流量的网络应用识别方法、装置及电子设备 | |
| CN108512674A (zh) | 用于输出信息的方法、装置和设备 | |
| CN112818654A (zh) | 消息存储方法、消息生成方法、装置、电子设备及计算机可读介质 | |
| CN117093619A (zh) | 一种规则引擎处理方法、装置、电子设备及存储介质 | |
| CN109344327B (zh) | 用于生成信息的方法和装置 | |
| CN115378806A (zh) | 流量分配方法、装置、计算机设备及存储介质 | |
| CN114238767A (zh) | 业务推荐方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40036878 Country of ref document: HK |