CN117055871A - 一种模型建立方法及装置、存储介质 - Google Patents
一种模型建立方法及装置、存储介质 Download PDFInfo
- Publication number
- CN117055871A CN117055871A CN202210475511.3A CN202210475511A CN117055871A CN 117055871 A CN117055871 A CN 117055871A CN 202210475511 A CN202210475511 A CN 202210475511A CN 117055871 A CN117055871 A CN 117055871A
- Authority
- CN
- China
- Prior art keywords
- component
- configuration information
- model
- data
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000013136 deep learning model Methods 0.000 claims abstract description 13
- 230000015654 memory Effects 0.000 claims description 21
- 238000013135 deep learning Methods 0.000 claims description 17
- 238000004806 packaging method and process Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 description 21
- 238000012549 training Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 15
- 238000005259 measurement Methods 0.000 description 9
- 238000005457 optimization Methods 0.000 description 8
- YZCKVEUIGOORGS-NJFSPNSNSA-N Tritium Chemical compound [3H] YZCKVEUIGOORGS-NJFSPNSNSA-N 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 229910052722 tritium Inorganic materials 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 238000007405 data analysis Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012858 packaging process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/35—Creation or generation of source code model driven
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Security & Cryptography (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Stored Programmes (AREA)
Abstract
本申请实施例公开了一种模型建立方法及装置、存储介质，包括：接收模型配置信息，模型配置信息包括特征配置信息、数据配置信息、模型结构配置信息、流程配置信息和分布式配置信息；根据特征配置信息、数据配置信息、模型结构配置信息和分布式配置信息在组件层调用目标组件；根据流程配置信息在流程层调用目标流程；利用目标流程对目标组件进行组装，得到与模型配置信息匹配的深度学习模型。
Description
技术领域
本申请涉及深度学习技术领域，尤其涉及一种模型建立方法及装置、存储介质。
背景技术
随着互联网技术的发展，神经网络通过学习表达能力强、泛化能力强的特征，使得深度学习在各个领域的任务上取得了超越传统算法的性能，由此深度学习模型逐渐备受青睐。
现有技术中，是在基于现有的深度学习框架编写模型代码的方式，或者对深度学习框架中的部分代码进行修改后再编写模型代码的方式来建立所需模型，由于人工编写模型代码耗费的时间长，从而降低了模型建立时的速度。
发明内容
为解决上述技术问题，本申请实施例期望提供一种模型建立方法及装置、存储介质，能够提高模型建立时的速度。
本申请的技术方案是这样实现的：
本申请实施例提供一种模型建立方法，所述模型建立方法包括：
接收模型配置信息，所述模型配置信息包括特征配置信息、数据配置信息、模型结构配置信息、流程配置信息和分布式配置信息；
根据所述特征配置信息、所述数据配置信息、所述模型结构配置信息和所述分布式配置信息在组件层调用目标组件；
根据所述流程配置信息在所述流程层调用目标流程；
利用所述目标流程对所述目标组件进行组装，得到与所述模型配置信息匹配的深度学习模型。
本申请实施例提供了一种模型建立装置，所述装置包括：
接收单元，用于接收模型配置信息，所述模型配置信息包括特征配置信息、数据配置信息、模型结构配置信息、流程配置信息和分布式配置信息；
调用单元，用于根据所述特征配置信息、所述数据配置信息、所述模型结构配置信息和所述分布式配置信息在组件层调用目标组件；根据所述流程配置信息在所述流程层调用目标流程；
组装单元，用于利用所述目标流程对所述目标组件进行组装，得到与所述模型配置信息匹配的深度学习模型。
本申请实施例提供了一种模型建立装置，所述装置包括：
存储器、处理器和通信总线，所述存储器通过所述通信总线与所述处理器进行通信，所述存储器存储所述处理器可执行的模型建立的程序，当所述模型建立的程序被执行时，通过所述处理器执行上述所述的模型建立方法。
本申请实施例提供了一种存储介质，其上存储有计算机程序，应用于模型建立装置，其特征在于，该计算机程序被处理器执行时实现上述所述的模型建立方法。
本申请实施例提供了一种模型建立方法及装置、存储介质，模型建立方法包括：接收模型配置信息，模型配置信息包括特征配置信息、数据配置信息、模型结构配置信息、流程配置信息和分布式配置信息；根据特征配置信息、数据配置信息、模型结构配置信息和分布式配置信息在组件层调用目标组件；根据流程配置信息在流程层调用目标流程；利用目标流程对目标组件进行组装，得到与模型配置信息匹配的深度学习模型。采用上述方法实现方案，模型建立装置通过在组件层配置有组件，在流程层配置配置有流程信息，使得模型建立装置可以根据模型配置信息中的流程配置信息在流程层中的流程信息中调用得到目标流程；根据模型配置信息中的特征配置信息、数据配置信息、模型结构配置信息和分布式配置信息在组件层中的组件中调用得到目标组件；以根据目标流程对目标组件进行组装，不需要人工编写模型代码，提高了模型建立时的速度。
附图说明
图1为本申请实施例提供的一种模型建立方法流程图；
图2为本申请实施例提供的一种示例性的模型建立装置的结构框架示意图；
图3为本申请实施例提供的一种示例性的tritium流程示意图；
图4为本申请实施例提供的一种示例性的分布式组件框架示意图；
图5为本申请实施例提供的一种示例性的数据吞吐组件框架示意图；
图6为本申请实施例提供的一种示例性的DAG引擎示意图示意图；
图7为本申请实施例提供的一种示例性的Tritium模型构建DAG框架示意图；
图8为本申请实施例提供的一种示例性的Ttritium流程层示意图；
图9为本申请实施例提供的一种模型建立装置的组成结构示意图一；
图10为本申请实施例提供的一种模型建立装置的组成结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供了一种模型建立方法，一种模型建立方法应用于模型建立装置，图1为本申请实施例提供的一种模型建立方法流程图，如图1所示，模型建立方法可以包括：
S101、接收模型配置信息，模型配置信息包括特征配置信息、数据配置信息、模型结构配置信息、流程配置信息和分布式配置信息。
本申请实施例提供的一种模型建立方法适用于建立深度学习模型的场景下。
在本申请实施例中，模型建立装置可以以各种形式来实施。例如，本申请中描述的模型建立装置可以包括诸如手机、照相机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等装置，以及诸如数字TV、台式计算机、服务器等装置。
在本申请实施例中，在本申请实施例中，模型建立装置中设置有用户接口层，用户可以在用户接口层输入模型配置信息，模型建立装置可以从用户接口层接收该模型配置信息。
需要说明的是，模型配置信息可以为深度学习模型的配置信息。
在本申请实施例中，如图2所示：模型建立装置不仅包括用户接口层(包括特征配置信息、数据配置信息、模型结构配置信息(建模配置信息)、流程配置信息和分布式配置信息)，还包括流程层、组件层和后端层。其中，流程层设置有流程信息(包括训练信息、评估信息、预估信息、导出信息和定制信息)，模型建立装置可以从流程层中的流程信息中调用目标流程。组件层中设置有第一组件，模型建立装置可以从组件层中的第一组件中调用目标组件。需要说明的是，流程信息中的定制信息可以为用户自定义流程的接口。组件层中的第一组件包括数据吞吐组件、模型构建组件和分布式环境组件。其中，数据吞吐组件包括读取器、解析器和迭代器，读取器、解析器和迭代器用于实现数据并行组件、数据读取组件、数据解析组件、数据预取组件、数据洗牌组件等组件；模型构建组件包括：特征层组件、模型层组件、单一模型组件、损失函数组件、度量尺度组件和优化层组件；分布式环境组件包括PS组件、Allreduce组件和Hybrid组件。后端层设置有模型配置组件。模型配置组件包括：深度学习框架组件、键值对参数服务组件、图引擎组件、数据格式组件、线上模型服务接口组件、深度学习框架扩展接口组件。
在本申请实施例中，第一组件的数量可以为多个；具体的第一组件的数量可以根据实际情况进行确定，本申请实施例对此不作限定。
在本申请实施例中，用户接口层中的模型结构配置信息具体为有向无环图(Directed Acyclic Graph，DAG)模型结构配置信息。
需要说明的是，特征配置信息包含特征的基础信息(如数值类型、形状等)，建模所需的特征，并支持将需进行相同处理的特征划分为特征组。数据配置信息为常见数据集使用参数，如批次大小、是否洗牌、数据预取、数据文件、数据处理并行度等参数，也可根据用户自定义的特征组对特征进行统一的预处理操作。模型结构配置信息也称为DAG建模配置信息，是以DAG的形式，对模型构建组件予以组合，定义了模型结构，包括前向传播模型、损失函数、优化器、度量尺等组件的配置。流程配置信息定义了离线流程配置，如训练时保存几个检查点，评估时日志打印频次，导出时的服务接口等，并对数据组件、模型构建组件根据不同流程的需求进行相应扩展后(如果没有修改的需求也可直接复用)予以组装。分布式配置信息定义了分布式训练集群信息，显卡使用信息等。流程配置将在底层结合分布式配置，构建完整的分布式流程。
通过流程层对组件层组件予以组装，实现技术能力聚合。正则文件通过数据组件框架和模型组件框架后可以得到预测、度量、损失、自定义训练组件，预测、度量、损失、自定义训练可通过数据解析组件解析处理并通过可扩展的方式实现复用，不同流程可根据需求进行选择，如训练流程需使用自定义训练、损失及度量实现训练中的后向、统计、调整、收集和日志；评估流程使用损失及度量实现调整、统计和日志；预测流程使用预测和度量实现调整、统计和日志；输出流程使用预测实现调整和适应接口。
示例性的，一种示例性的tritium流程示意图如图3所示：数据准备生成数据统计量文件之后，就利用用户接口层中的特征配置信息、数据配置信息、模型结构配置信息和分布式配置信息在组件层调用目标组件，利用用户接口层中的流程配置信息在流程层调用目标流程；根据目标组件和目标流程实现特征选择、数据配置、特征变换、前向传播、损失函数、度量尺度、优化器等组件。利用特征选择、数据配置、特征变换、前向传播组件进行配置复用，可扩展式配置模型输出流程；利用特征选择、数据配置、特征变换、前向传播组件进行配置复用，可扩展式配置模型预估流程；利用特征选择、数据配置、特征变换、前向传播、损失函数、度量尺度等组件进行配置复用，可扩展配置模型评估流程；利用实现特征选择、数据配置、特征变换、前向传播、损失函数、度量尺度、优化器等组件进行配置复用，可扩展配置模型训练流程；之后再通过分布式配置(可以选择)构建得到深度学习模型。
S102、根据特征配置信息、数据配置信息、模型结构配置信息和分布式配置信息在组件层调用目标组件。
在本申请实施例中，模型建立装置接收模型配置信息之后，模型建立装置就可以根据模型配置信息中的特征配置信息、数据配置信息、模型结构配置信息和分布式配置信息在组件层调用目标组件。
在本申请实施例中，模型建立装置根据特征配置信息、数据配置信息、模型结构配置信息和分布式配置信息在组件层调用目标组件的过程，包括：模型建立装置根据分布式配置信息在组件层调用分布式环境组件；模型建立装置根据数据配置信息在组件层调用数据吞吐组件；模型建立装置根据特征配置信息、模型结构配置信息在组件层调用模型组件；模型建立装置将分布式环境组件、数据吞吐组件和模型组件作为目标组件。
在本申请实施例中，分布式环境组件用于提供分布式环境构建能力、分布式能力引入等功能，分布式组件框架如图4所示：用户可以通过配置分布式配置文件(包括部署、角色/任务、CPU/GPU/Mem、hadoop)实现分布式任务的相关配置，如分布式环境配置(包括分布式配置、分布式信息和TF_配置)和工作启动(包括本地启动和EA启动)，Tritium训练框架支持参数服务器、horovod、mirrored、multi-worker mirrored等多种分布式策略，并同时支持本地分布式(本地启动)及EA平台分布式(EA启动)部署，其中EA平台为提供数据提取、特征工程、模型训练、在线推理的一站式服务平台。
在本申请实施例中，具体数据吞吐组件框架如图5所示：模型建立装置利用数据吞吐组件中的读取器(Reader)、解析器(Parser)、迭代器(Iterator)根据正则文件来实现数据并行组件、数据读取组件、数据重复组件、数据洗牌组件、数据向量化组件、数据解析组件、数据预取组件和生成迭代器组件，并得到张量映射，用于提供数据并行、数据读取、数据解析、数据预取、数据洗牌等功能。其中，数据解析一般不包含业务逻辑。需要说明的是，图5中的虚线框起来的组件(数据重复组件和数据洗牌组件)为非必须组件，其余的组件(数据并行组件、数据读取组件、数据向量化组件、数据解析组件、数据预取组件和生成迭代器组件)为必须组件。
在本申请实施例中，模型建立装置根据特征配置信息、数据配置信息、模型结构配置信息和分布式配置信息在组件层调用目标组件之前，模型建立装置还会在后端层获取模型配置组件；模型建立装置根据模型配置组件构建第一组件；模型建立装置将第一组件添加至组件层。
需要说明的是，第一组件包括目标组件。
在本申请实施例中，模型配置组件包括键值对参数服务组件、深度学习框架组件、数据格式组件、深度学习框架扩展接口组件、线上模型服务接口组件、图引擎组件。
在本申请实施例中，模型建立装置可以根据键值对参数服务组件、深度学习框架组件、数据格式组件、深度学习框架扩展接口组件、线上模型服务接口组件、图引擎组件构建第一组件；模型建立装置也可以根据键值对参数服务组件、深度学习框架组件、数据格式组件、深度学习框架扩展接口组件、线上模型服务接口组件、图引擎组件的部分组件构建第一组件；具体的可以根据实际情况进行确定，本申请实施例对此不作限定。
在本申请实施例中，组件层中的第一组件也可以为迁移至模型建立装置中的组件；具体的模型建立装置得到第一组件的方式可以根据实际情况进行确定，本申请实施例对此不作限定。
在本申请实施例中，模型建立装置根据模型配置组件构建第一组件的过程，包括：模型建立装置利用模型配置组件构建初始组件；模型建立装置对初始组件进行封装处理，得到第一组件。
在本申请实施例中，模型建立装置可以利用DAG引擎的方式对初始组件进行封装处理，得到第一组件；模型建立装置也可以利用其他的方式对初始组件进行封装处理，得到第一组件；具体的模型建立装置对初始组件进行封装处理，得到第一组件的方式可以根据实际情况进行确定，本申请实施例对此不作限定。
在本申请实施例中，模型建立装置对初始组件进行封装处理，得到第一组件的过程，包括：模型建立装置从初始组件中获取初始模型构建组件、初始吞吐组件和初始分布式组件；模型建立装置对初始模型构建组件进行封装处理，得到封装后的模型构建组件；模型建立装置根据封装后的模型构建组件、初始吞吐组件和初始分布式组件，确定第一组件。
需要说明的是，初始模型构建组件中包括初始特征层组件、初始模型层组件、初始单一模型组件、初始损失函数组件、初始度量尺度组件和初始优化层组件。初始分布式组件包括PS组件、Allreduce组件和Hybrid组件。初始数据吞吐组件数据并行组件、数据读取组件、数据解析组件、数据预取组件、数据洗牌组件等组件。
在本申请实施例中，初始模型构建组件的数量为多个，模型建立装置对初始模型构建组件进行封装处理，得到封装后的模型构建组件的过程，包括：模型建立装置依次对多个初始模型构建组件进行封装处理，得到多个封装后的组件；模型建立装置按照有向无环图的顺序依次对多个封装后的组件进行连接，得到封装后的模型构建组件。
在本申请实施例中，多个初始模型构建组件包括初始特征层组件、初始模型层组件、初始单一模型组件、初始损失函数组件、初始度量尺度组件和初始优化层组件。模型建立装置依次对多个初始模型构建组件进行封装处理，得到多个封装后的组件的过程，可以为模型建立装置按照有向无环图的顺序依次对初始特征层组件、初始模型层组件、初始单一模型组件、初始损失函数组件、初始度量尺度组件和初始优化层组件进行封装，得到封装后的特征层组件、封装后的模型层组件、封装后的单一模型组件、封装后的损失函数组件、封装后的度量尺度组件、封装后的优化层组件；模型建立装置将封装后的特征层组件、封装后的模型层组件、封装后的单一模型组件、封装后的损失函数组件、封装后的度量尺度组件、封装后的优化层组件作为多个封装后的组件。
在本申请实施例中，模型构建组件基于深度学习框架应用程序接口(ApplicationProgramming Interface，API)对常用模型组件(如层/损失/度量尺度/优化等)予以实现，并进行清晰的层次划分得到：特征层(Feature Layer)组件，用于实现特征预处理(如归一化处理、分桶处理、分词处理、查表处理等操作)，该层没有新增特征出现，并与模型应用过程中的特征服务保持一致。模型层(Model Layer)组件是模型基础结构单元，如多头注意力层、多层感知机(Multilayer Perceptron，MLP)层等。单一模型(Model)组件是单个模型标准实现，如预训练的语言表征模型(Bidirectional Encoder Representation fromTransformers，BERT)、MMoE等。损失函数层(Loss Layer)组件，即损失函数组件，用于损失函数实现。度量尺度层(Metric Layer)组件，即度量尺度组件，用于度量尺度实现。优化层组件用于反向传播实现。
在本申请实施例中，模型建立装置以DAG的方式实现第一组件。DAG引擎示意图如图6所示，模型建立装置通过DAG引擎的方式分别对初始数据并行组件、初始数据读取组件、初始数据向量化组件、初始数据解析组件、初始数据预取组件和初始生成迭代器组件进行封装处理，得到封装后的数据并行组件、封装后的数据读取组件、封装后的数据向量化组件、封装后的数据解析组件、封装后的数据预取组件和封装后的生成迭代器组件，即得到DAG节点图。其中，图中的每个节点为组件(如初始数据并行组件、初始数据读取组件、初始数据向量化组件、初始数据解析组件、初始数据预取组件和初始生成迭代器组件)，节点外围的轮廓为该节点装饰器(DAG引擎封装器)，该装饰器用于对每个组件节点的输出进行封装。之后模型建立装置按照有向无环图的顺序依次对封装后的数据并行组件、封装后的数据读取组件、封装后的数据向量化组件、封装后的数据解析组件、封装后的数据预取组件和封装后的生成迭代器组件进行DAG框架级联，得到封装后的模型构建组件。
在本申请实施例中，一种示例性的Tritium模型构建DAG框架示意图如图7所示：经过大数据处理后的数据(Tritium支持TFRecord、TSV等格式数据，并提供格式转换工具)，如张量映射数据，将其作为特征DAG的输入，利用特征DAG根据进行特征变换操作，用于提供数据特征预处理功能。将特征DAG的输出数据(即经过预处理的数据)作为前向DAG的输入，前向DAG为配置的前向传播模型。利用损失DAG对模型的预测值与真实值的不一致程度进行评估。利用优化DAG更新和计算影响模型训练和模型输出的网络参数，使网络参数逼近或达到最优值，从而实现对损失函数的最大化或最小化等约束，进而实现对模型训练流程的构建，优化DAG可以非常方便的实现复杂优化策略，如多优化器等。利用度量尺度DAG通过一些评估指标如准确率等对模型效果进行评估，利用模型组件框架对张量映射数据处理之后，可以得到预测、损失、度量和自定义训练等组件。
S103、根据流程配置信息在流程层调用目标流程。
在本申请实施例中，模型建立装置接收模型配置信息之后，模型建立装置就可以根据模型配置信息中的流程配置信息在流程层调用目标流程。
在本申请实施例中，模型建立装置可以先根据模型配置信息中的特征配置信息、数据配置信息、模型结构配置信息和分布式配置信息在组件层调用目标组件，然后模型建立装置再根据流程配置信息在流程层调用目标流程；模型建立装置也可以先根据流程配置信息在流程层调用目标流程；然后模型建立装置再根据特征配置信息、数据配置信息、模型结构配置信息和分布式配置信息在组件层调用目标组件；模型建立装置也可以在根据流程配置信息在流程层调用目标流程的同时，模型建立装置根据特征配置信息、数据配置信息、模型结构配置信息和分布式配置信息在组件层调用目标组件。
在本申请实施例中，流程层基于深度学习框架引擎API，结合组件层，对训练、评估、预估、导出等流程予以封装，同时支持用户自定义的流程信息，如图8所示：通过流程层对组件层组件予以组装，实现技术能力聚合。正则文件通过数据组件框架和模型组件框架后可以得到预测、度量、损失、自定义训练组件，预测、度量、损失、自定义训练可通过数据解析组件解析处理并通过可扩展的方式实现复用，不同流程可根据需求进行选择，如训练流程需使用自定义训练、损失及度量实现训练中的后向、统计、调整、收集和日志；评估流程使用损失及度量实现调整、统计和日志；预测流程使用预测和度量实现调整、统计和日志；输出流程使用预测实现调整和适应接口。
S104、利用目标流程对目标组件进行组装，得到与模型配置信息匹配的深度学习模型。
在本申请实施例中，模型建立装置根据特征配置信息、数据配置信息、模型结构配置信息和分布式配置信息在组件层调用目标组件；根据流程配置信息在流程层调用目标流程之后，模型建立装置就可以利用目标流程对目标组件进行组装，得到与模型配置信息匹配的深度学习模型。
可以理解的是，模型建立装置通过在组件层配置有组件，在流程层配置配置有流程信息，使得模型建立装置可以根据模型配置信息中的流程配置信息在流程层中的流程信息中调用得到目标流程；根据模型配置信息中的特征配置信息、数据配置信息、模型结构配置信息和分布式配置信息在组件层中的组件中调用得到目标组件；以根据目标流程对目标组件进行组装，不需要人工编写模型代码，提高了模型建立时的速度。
基于与上述模型建立方法的同一发明构思，本申请实施例提供了一种模型建立装置1，对应于一种模型建立方法；图9为本申请实施例提供的一种模型建立装置的组成结构示意图一，该模型建立装置1可以包括：
接收单元11，用于接收模型配置信息，所述模型配置信息包括特征配置信息、数据配置信息、模型结构配置信息、流程配置信息和分布式配置信息；
调用单元12，用于根据所述特征配置信息、所述数据配置信息、所述模型结构配置信息和所述分布式配置信息在组件层调用目标组件；根据所述流程配置信息在所述流程层调用目标流程；
组装单元13，用于利用所述目标流程对所述目标组件进行组装，得到与所述模型配置信息匹配的深度学习模型。
在本申请的一些实施例中，所述调用单元12，用于根据所述分布式配置信息在所述组件层调用分布式环境组件；根据所述数据配置信息在所述组件层调用数据吞吐组件；根据所述特征配置信息、所述模型结构配置信息在所述组件层调用模型组件；将所述分布式环境组件、所述数据吞吐组件和所述模型组件作为所述目标组件。
在本申请的一些实施例中，所述装置还包括获取单元、构建单元和添加单元；
所述获取单元，用于在后端层获取模型配置组件；
所述构建单元，用于根据所述模型配置组件构建第一组件，所述第一组件包括所述目标组件；
所述添加单元，用于将所述第一组件添加至所述组件层。
在本申请的一些实施例中，所述装置还包括封装单元；
所述构建单元，用于利用所述模型配置组件构建初始组件；
所述封装单元，用于对所述初始组件进行封装处理，得到所述第一组件。
在本申请的一些实施例中，所述装置还包括确定单元；
所述获取单元，用于从所述初始组件中获取初始模型构建组件、初始吞吐组件和初始分布式组件；
所述封装单元，用于对所述初始模型构建组件进行封装处理，得到封装后的模型构建组件；
所述确定单元，用于根据所述封装后的模型构建组件、所述初始吞吐组件和初始分布式组件，确定所述第一组件。
在本申请的一些实施例中，所述装置还包括连接单元；
所述封装单元，用于依次对多个初始模型构建组件进行封装处理，得到多个封装后的组件；
所述连接单元，用于按照有向无环图的顺序依次对所述多个封装后的组件进行连接，得到所述封装后的模型构建组件。
在本申请的一些实施例中，所述模型配置组件包括：深度学习框架组件、键值对参数服务组件、图引擎组件、数据格式组件、线上模型服务接口组件、深度学习框架扩展接口组件。
需要说明的是，在实际应用中，上述接收单元11、调用单元12和组装单元13可由模型建立装置1上的处理器14实现，具体为CPU(Central Processing Unit，中央处理器)、MPU(Microprocessor Unit，微处理器)、DSP(Digital Signal Processing，数字信号处理器)或现场可编程门阵列(FPGA，Field Programmable Gate Array)等实现；上述数据存储可由模型建立装置1上的存储器15实现。
本申请实施例还提供了一种模型建立装置1，如图10所示，所述模型建立装置1包括：处理器14、存储器15和通信总线16，所述存储器15通过所述通信总线16与所述处理器14进行通信，所述存储器15存储所述处理器14可执行的程序，当所述程序被执行时，通过所述处理器14执行如上述所述的模型建立方法。
在实际应用中，上述存储器15可以是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard DiskDrive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器14提供指令和数据。
本申请实施例提供了一种计算机可读存储介质，其上有计算机程序，所述程序被处理器14执行时实现如上述所述的模型建立方法。
可以理解的是，模型建立装置通过在组件层配置有组件，在流程层配置配置有流程信息，使得模型建立装置可以根据模型配置信息中的流程配置信息在流程层中的流程信息中调用得到目标流程；根据模型配置信息中的特征配置信息、数据配置信息、模型结构配置信息和分布式配置信息在组件层中的组件中调用得到目标组件；以根据目标流程对目标组件进行组装，不需要人工编写模型代码，提高了模型建立时的速度。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。
Claims (10)
1.一种模型建立方法，其特征在于，所述方法包括：
接收模型配置信息，所述模型配置信息包括特征配置信息、数据配置信息、模型结构配置信息、流程配置信息和分布式配置信息；
根据所述特征配置信息、所述数据配置信息、所述模型结构配置信息和所述分布式配置信息在组件层调用目标组件；
根据所述流程配置信息在所述流程层调用目标流程；
利用所述目标流程对所述目标组件进行组装，得到与所述模型配置信息匹配的深度学习模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述特征配置信息、所述数据配置信息、所述模型结构配置信息和所述分布式配置信息在组件层调用目标组件，包括：
根据所述分布式配置信息在所述组件层调用分布式环境组件；
根据所述数据配置信息在所述组件层调用数据吞吐组件；
根据所述特征配置信息、所述模型结构配置信息在所述组件层调用模型组件；
将所述分布式环境组件、所述数据吞吐组件和所述模型组件作为所述目标组件。
3.根据权利要求1所述的方法，其特征在于，所述根据所述特征配置信息、所述数据配置信息、所述模型结构配置信息和所述分布式配置信息在组件层调用目标组件之前，所述方法还包括：
在后端层获取模型配置组件；
根据所述模型配置组件构建第一组件，所述第一组件包括所述目标组件；
将所述第一组件添加至所述组件层。
4.根据权利要求3所述的方法，其特征在于，所述根据所述模型配置组件构建第一组件，包括：
利用所述模型配置组件构建初始组件；
对所述初始组件进行封装处理，得到所述第一组件。
5.根据权利要求4所述的方法，其特征在于，所述对所述初始组件进行封装处理，得到所述第一组件，包括：
从所述初始组件中获取初始模型构建组件、初始吞吐组件和初始分布式组件；
对所述初始模型构建组件进行封装处理，得到封装后的模型构建组件；
根据所述封装后的模型构建组件、所述初始吞吐组件和初始分布式组件，确定所述第一组件。
6.根据权利要求5所述的方法，其特征在于，所述初始模型构建组件的数量为多个，所述对所述初始模型构建组件进行封装处理，得到封装后的模型构建组件，包括：
依次对多个初始模型构建组件进行封装处理，得到多个封装后的组件；
按照有向无环图的顺序依次对所述多个封装后的组件进行连接，得到所述封装后的模型构建组件。
7.根据权利要求3所述的方法，其特征在于，所述模型配置组件包括：深度学习框架组件、键值对参数服务组件、图引擎组件、数据格式组件、线上模型服务接口组件、深度学习框架扩展接口组件。
8.一种模型建立装置，其特征在于，所述装置包括：
接收单元，用于接收模型配置信息，所述模型配置信息包括特征配置信息、数据配置信息、模型结构配置信息、流程配置信息和分布式配置信息；
调用单元，用于根据所述特征配置信息、所述数据配置信息、所述模型结构配置信息和所述分布式配置信息在组件层调用目标组件；根据所述流程配置信息在所述流程层调用目标流程；
组装单元，用于利用所述目标流程对所述目标组件进行组装，得到与所述模型配置信息匹配的深度学习模型。
9.一种模型建立装置，其特征在于，所述装置包括：
存储器、处理器和通信总线，所述存储器通过所述通信总线与所述处理器进行通信，所述存储器存储所述处理器可执行的模型建立的程序，当所述模型建立的程序被执行时，通过所述处理器执行如权利要求1至7任一项所述的方法。
10.一种存储介质，其上存储有计算机程序，应用于模型建立装置，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210475511.3A CN117055871A (zh) | 2022-04-29 | 2022-04-29 | 一种模型建立方法及装置、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210475511.3A CN117055871A (zh) | 2022-04-29 | 2022-04-29 | 一种模型建立方法及装置、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117055871A true CN117055871A (zh) | 2023-11-14 |
Family
ID=88654083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210475511.3A Pending CN117055871A (zh) | 2022-04-29 | 2022-04-29 | 一种模型建立方法及装置、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117055871A (zh) |
-
2022
- 2022-04-29 CN CN202210475511.3A patent/CN117055871A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10963292B2 (en) | Techniques to manage virtual classes for statistical tests | |
| US20220391771A1 (en) | Method, apparatus, and computer device and storage medium for distributed training of machine learning model | |
| US11790212B2 (en) | Quantization-aware neural architecture search | |
| US10013656B1 (en) | Methods and apparatus for analytical processing of provenance data for HPC workflow optimization | |
| WO2020142183A1 (en) | Neural network activation compression with outlier block floating-point | |
| US11651198B2 (en) | Data processing method and apparatus for neural network | |
| US20200302330A1 (en) | Outlier quantization for training and inference | |
| CN111723933A (zh) | 神经网络模型的训练方法和相关产品 | |
| Russo et al. | DNN model compression for IoT domain-specific hardware accelerators | |
| US20210295158A1 (en) | End-to-end optimization | |
| CN116126341A (zh) | 模型编译方法、装置、计算机设备及计算机可读存储介质 | |
| Evermann et al. | XES tensorflow-Process prediction using the tensorflow deep-learning framework | |
| CN114519429B (zh) | 获取目标体系的可观测量的方法、装置及介质 | |
| CN113360300B (zh) | 接口调用链路生成方法、装置、设备及可读存储介质 | |
| Huai et al. | Latency-constrained DNN architecture learning for edge systems using zerorized batch normalization | |
| US20220108156A1 (en) | Hardware architecture for processing data in sparse neural network | |
| CN113885845A (zh) | 深度学习编译器的计算图的生成方法、系统、设备及介质 | |
| CN110728118B (zh) | 跨数据平台的数据处理方法、装置、设备及存储介质 | |
| CN113535912A (zh) | 基于图卷积网络和注意力机制的文本关联方法及相关设备 | |
| CN112748953A (zh) | 基于神经网络模型的数据处理方法、装置及电子设备 | |
| CN117055871A (zh) | 一种模型建立方法及装置、存储介质 | |
| Lakshmanan et al. | Detecting changes in a semi-structured business process through spectral graph analysis | |
| CN117764206B (zh) | 一种多模型集成方法及系统 | |
| CN115640336B (zh) | 业务大数据挖掘方法、系统及云平台 | |
| CN113190657B (zh) | NLP数据预处理方法、jvm及spark端服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |