CN115222041A - 用于模型训练的图生成方法、装置、电子设备及存储介质 - Google Patents
用于模型训练的图生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115222041A CN115222041A CN202210713433.6A CN202210713433A CN115222041A CN 115222041 A CN115222041 A CN 115222041A CN 202210713433 A CN202210713433 A CN 202210713433A CN 115222041 A CN115222041 A CN 115222041A
- Authority
- CN
- China
- Prior art keywords
- node
- nodes
- model training
- current
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Feedback Control In General (AREA)
Abstract
本公开提供了用于模型训练的图生成方法、装置、电子设备及存储介质,涉及人工智能技术领域,尤其涉及机器学习技术领域。具体实现方案为:从模型训练原始图中的N个节点中确定起始运行节点;N为大于或等于1的整数;所述起始运行节点为所述N个节点中的任意节点;基于所述起始运行节点,从所述N个节点中确定本次运行节点,生成所述本次运行节点对应的运行对象的运行相关参数;基于所述本次运行节点对应的运行对象的运行相关参数,生成模型训练运行图。本公开实施例能够灵活的部署模型训练所需运行的节点,提升了模型训练的调度灵活性。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及机器学习技术领域,具体涉及用于模型训练的图生成方法、装置、电子设备及存储介质。
背景技术
随着计算机技术的发展,机器学习技术被越来越多的行业和企业使用。机器学习模型的训练通常有一套统一的流程,即:数据集读取、特征工程处理、模型训练和模型评估,这套处理流程可以基于图调度进行处理。然而,如何在图调度的处理中更加灵活的部署模型训练的节点,就成为需要解决的问题。
发明内容
本公开提供了一种用于模型训练的图生成方法、装置、电子设备及存储介质。
根据本公开的第一方面,提供了一种用于模型训练的图生成方法,包括:
从模型训练原始图中的N个节点中确定起始运行节点;N为大于或等于1的整数;所述起始运行节点为所述N个节点中的任意节点;
基于所述起始运行节点,从所述N个节点中确定本次运行节点,生成所述本次运行节点对应的运行对象的运行相关参数;
基于所述本次运行节点对应的运行对象的运行相关参数,生成模型训练运行图。
根据本公开的第二方面,提供了一种用于模型训练的图生成装置,包括:
节点选取模块,用于从模型训练原始图中的N个节点中确定起始运行节点;N为大于或等于1的整数;所述起始运行节点为所述N个节点中的任意节点;
对象生成模块,用于基于所述起始运行节点,从所述N个节点中确定本次运行节点,生成所述本次运行节点对应的运行对象的运行相关参数;
运行图生成模块,用于基于所述本次运行节点对应的运行对象的运行相关参数,生成模型训练运行图。
根据本公开的第三方面,提供了一种电子设备,包括:
至少一个处理器;以及
与该至少一个处理器通信连接的存储器;其中,
该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行前述第一方面的方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使该计算机执行前述方法。
根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现前述方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
本实施例提供的方案,可以确定模型训练原始图中的任意节点为起始运行节点,基于该起始运行节点可以确定本次运行节点,进而在生成本次运行节点对应的运行对象的运行相关参数之后,可以根据本次运行节点对应的运行对象的运行相关参数,生成模型训练运行图。如此,可以灵活的部署模型训练所需运行的节点,提升了模型训练的调度灵活性。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开一实施例的用于模型训练的图生成方法的流程示意图;
图2是根据本公开一实施例的模型训练原始图的流程示意图;
图3是根据本公开一实施例的用于模型训练的图生成方法中验证模型训练原始图的一种示意图;
图4是根据本公开一实施例的模型训练原始图中节点示意图;
图5是根据本公开一实施例的模型训练运行图的示意图;
图6是根据本公开一实施例的用于模型训练的图生成方法中的模型训练流程示意图;
图7是根据本公开一实施例的模型训练运行图的又一种示意图;
图8是根据本公开一实施例的用于模型训练的图生成方法的一种示例性流程图;
图9是根据本公开一实施例的实现用于模型训练的图生成方法的一种示例性架构图;
图10是根据本公开一实施例的用于模型训练的图生成装置的一种组成结构示意图;
图11是根据本公开另一实施例的用于模型训练的图生成装置的另一种组成结构示意图;
图12是用来实现本公开实施例的用于模型训练的图生成方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本公开第一方面实施例提供一种用于模型训练的图生成方法,如图1所示,包括:
S101:从模型训练原始图中的N个节点中确定起始运行节点;N为大于或等于1的整数;所述起始运行节点为所述N个节点中的任意节点;
S102:基于所述起始运行节点,从所述N个节点中确定本次运行节点,生成所述本次运行节点对应的运行对象的运行相关参数;
S103:基于所述本次运行节点对应的运行对象的运行相关参数,生成模型训练运行图。
本实施例提供的用于模型训练的图生成方法可以应用于电子设备,具体的该电子设备可以为服务器或者可以为终端设备。
所述模型训练原始图可以包含节点和边;其中,所述节点的数量可以为一个或多个,本实施例将节点的数量表示为N个;在一种优选的示例中,N为大于等于2的整数。同样的,在所述模型训练原始图中,所述边的数量也可以为一个或多个。前述一个或多个边中,任意一个边为由一个节点指向另一个节点的有向边。比如,参见图2,图2为模型训练原始图的一个示意图,在图2中有6个节点以及5条边,其中边212为由节点A指向节点B的有向边,边213为由节点A指向节点C的有向边,边224为由节点B指向节点D的有向边,边225为由节点B指向节点E的有向边,边236为由节点C指向节点F的有向边。
应理解,实际处理中用户可以根据实际需求,设置当前次模型训练原始图中的节点的数量,也就是虽然不同次使用的模型训练原始图中包含的节点的数量均表示为N,但是N可以不同;同样的,不同次使用的模型训练原始图中包含的边的数量也可以不同。为了方便理解,本实施例以下说明,均以任意一次使用模型训练原始图进行处理来详细说明。
所述本次运行节点的数量可以为一个或多个。
可见,通过采用上述方案,就可以确定模型训练原始图中的任意节点为起始运行节点,基于该起始运行节点可以确定本次运行节点,进而在生成本次运行节点对应的运行对象的运行相关参数之后,可以根据本次运行节点对应的运行对象的运行相关参数,生成模型训练运行图。如此,可以灵活的部署模型训练所需运行的节点,提升了模型训练的调度灵活性。
在一种实施方式中,如图3所示,所述从模型训练原始图中的N个节点中确定起始运行节点,可以包括:
S301:从所述模型训练原始图中包含的所述N个节点中确定第一节点;
S302:在所述第一节点满足预设条件的情况下,将所述第一节点作为所述起始运行节点。
这里,所述从所述模型训练原始图中包含的所述N个节点中确定第一节点,可以是用户从所述模型训练原始图中包含的所述N个节点中选取一个节点作为所述第一节点。
或者,所述从所述模型训练原始图中包含的所述N个节点中确定第一节点,可以是:获取节点运行配置命令,根据所述节点运行配置命令,从所述模型训练原始图中包含的所述N个节点中确定第一节点。其中,该节点运行配置命令的获取方式,可以是在本次获取到所述模型训练原始图的同时,获取节点运行配置命令。所述节点运行配置命令可以是管理人员或用户根据实际情况设置的,在自身使用的电子设备侧设置的。
通过使用上述方案,可以从模型训练原始图中确定任意一个节点作为第一节点,在该第一节点满足预设条件的情况下,可以将该第一节点作为起始运行节点。如此,可以保证可以灵活的部署模型训练所需运行的起始运行节点,提升了模型训练的调度灵活性。
在一种实施方式中,前述从所述模型训练原始图中包含的所述N个节点中确定第一节点,包括以下之一:
获取节点运行配置指令,并在所述节点运行配置指令指示从第一指定节点运行的情况下,将所述第一指定节点作为所述第一节点;
获取节点运行配置指令,并在所述节点运行配置指令指示运行第二指定节点的情况下,将所述第二指定节点作为所述第一节点;
获取节点运行配置指令,并在所述节点运行配置指令指示运行至第三指定节点的情况下,将所述模型训练原始图中包含的所述N个节点中的根节点,作为所述第一节点;
获取节点运行配置指令,并在所述节点运行配置指令指示运行全部节点的情况下,将所述模型训练原始图中包含的所述N个节点中的根节点,作为所述第一节点。
所述节点运行配置指令,可以为根据实际情况确定的,该节点运行配置指令可以用于指示以下任意之一:从第一指定节点开始运行、运行第二指定节点、运行至第三指定节点、运行全部节点等等。
其中,所述节点运行配置指令指示从第一指定节点开始运行,可以指的是:节点运行配置指令指示从所述模型训练原始图中的第一指定节点开始运行直至运行完该第一指定节点的下游节点。这种情况下,该第一指定节点为前述第一节点。
所述第一指定节点为除根节点之外的节点;具体的,所述第一指定节点可以是所述模型训练原始图中包含的N个节点中,除了根节点之外的其他节点中任意之一。优选地,所述第一指定节点可以是所述模型训练原始图中包含的N个节点中,除了根节点和叶子节点之外的其他节点中任意之一。该第一指定节点的下游节点,可以指的是该第一指定节点的全部子孙节点。比如,参见图2,假设第一指定节点为图2中的节点B,则从第一指定节点开始运行,可以指的是,节点B、节点D、或节点E均为本次可能运行的节点。
前述节点运行配置指令指示运行第二指定节点,可以指的是,节点运行配置指令指示所述模型训练原始图中有且仅有该第二指定节点为本次需要运行的唯一节点。这种情况下,该第二指定节点直接作为前述第一节点。这里,所述第二指定节点可以为,所述模型训练原始图中包含的所述N个节点中任意之一。比如,参见图2,假设第二指定节点为图2中的节点A,则该节点A为本次需要运行的唯一节点。
前述节点运行配置指令指示运行至第三指定节点,可以指的是:节点运行配置指令指示,从所述模型训练原始图中的根节点起运行至该第三指定节点。这种情况下,将该根节点作为前述第一节点。所述第三指定节点可以为,所述模型训练原始图中包含的N个节点中,除了根节点之外的其他节点中任意之一。
前述节点运行配置指令指示运行全部节点,可以指的是:节点运行配置指令指示,所述模型训练原始图中包含的N个节点,均为本次可能运行的节点。这种情况下,将该根节点作为前述第一节点。
通过使用上述方案,可以根据节点运行配置指令的指示,从模型训练原始图中确定任意一个节点作为第一节点,在该第一节点满足预设条件的情况下,可以将该第一节点作为起始运行节点。如此,仅需要预先配置节点运行配置指令,就可以灵活的部署模型训练所需运行的起始运行节点,提升了模型训练的调度灵活性。
在一种实施方式中,确定所述第一节点满足预设条件的方式,包括以下之一:在所述第一节点不为所述N个节点中的根节点、且在所述N个节点中所述第一节点的上层依赖节点为运行成功的节点的情况下,确定所述第一节点满足预设条件;在所述第一节点为所述N个节点中的根节点的情况下,确定所述第一节点满足预设条件。
其中,所述在所述第一节点不为所述N个节点中的根节点、且在所述N个节点中所述第一节点的上层依赖节点为运行成功的节点的情况下,确定所述第一节点满足预设条件,具体可以包括:在所述第一节点不为所述N个节点中的根节点的情况下,从N个节点中确定所述第一节点的上层依赖节点;判断所述第一节点的上层依赖节点是否为运行成功的节点;若所述第一节点的上层依赖节点为运行成功的节点,则确定所述第一节点满足预设条件。
所述从N个节点中确定所述第一节点的上层依赖节点,具体可以指的是,基于所述模型运行原始图中所述N个节点之间的依赖关系,获取所述第一节点的上层依赖节点。其中,所述N个节点之间的依赖关系,可以指的是,所述N个节点中各个节点对应的上层依赖节点。举例来说,参见图2,节点A对应的上层依赖节点为空,节点B对应的上层依赖节点为节点A,节点D对应的上层依赖节点为节点B等等,这里不做穷举。仍然结合图2举例来说,假设在确定起始运行节点为节点C的情况下,该起始运行节点的上层依赖节点即节点A。
其中,所述上层依赖节点,可以为运行成功的节点或运行失败节点。若上层依赖节点为所述运行失败节点,可以指的是该上层依赖节点在上一次运行模型训练原始图时没有被运行过,或者运行失败。若上层依赖节点为所述运行成功节点,可以指的是该上层依赖节点在上一次运行模型训练原始图时被运行过、且运行成功。
比如,参见图4,假设当前确定的第一节点为节点B的情况下,该第一节点的上层依赖节点即节点A,该节点A如图4中所示为运行成功节点,则此时可以确定所述第一节点满足预设条件。假设当前确定的第一节点为节点F的情况下,该第一节点的上层依赖节点即节点C,该节点C如图4中所示为运行失败节点,则此时可以确定所述第一节点不满足预设条件。
需要说明的是,在确定使用模型训练原始图进行处理之前,还需要确定模型训练原始图满足以下条件中至少之一:所述模型训练原始图为无环图;所述模型训练原始图中包含的N个节点的节点参数验证通过。
所述模型训练原始图具体可以为用于描述workflow(工作流)的有向无环图(Directed acyclic graph,DAG)。因此,需要验证该模型训练原始图是否无环,也就是验证该模型训练原始图中是否存在闭环,若存在闭环,则确定模型训练原始图不满足运行条件,否则,确定模型训练原始图满足运行条件。
所述N个节点中各个节点分别对应的节点参数,可以包括节点所需资源数量;其中,所述节点所需资源数量可以有节点所需占用的中央处理器(central processingunit,CPU)的数量、内存的大小、图形处理器(graphics processing unit,GPU)的数量等等至少之一。相应的,所述对所述模型训练原始图中包含的N个节点的节点参数进行验证,可以指的是,检测当前运行环境的剩余资源是否满足所述N个节点的节点参数的要求,若满足,则确定所述N个节点的节点参数验证通过,否则,确定所述N个节点的节点参数验证不通过。其中,所述N个节点的节点参数的要求可以为N个节点所需资源数量的总和。
可见,通过采用上述方案,就可以在第一节点不为根节点的情况下,若其上层依赖节点为运行成功节点,则确定第一节点满足预设条件;或者,在第一节点为根节点的情况下,直接确定该第一节点满足预设条件。如此,通过预先对第一节点进行验证,只有在其满足预设条件的情况下,才会将所述第一节点作为所述起始运行节点,进而确定本次运行节点并生成模型训练运行图,如此可以保证后续生成的模型训练运行图的准确性,进而可以保证该模型训练运行图能够正常运行得到最终的处理结果。
在一种实施方式中,所述基于所述起始运行节点,从所述N个节点中确定本次运行节点,包括:从所述N个节点中,确定所述起始运行节点的至少一个下游节点,将所述起始运行节点以及所述至少一个下游节点,作为所述本次运行节点。
所述将所述起始运行节点以及所述至少一个下游节点,作为所述本次运行节点,包括:在所述至少一个下游节点中存在跳过节点的情况下,将所述起始运行节点以及所述至少一个下游节点中除跳过节点之外的节点,作为所述本次运行节点,所述跳过节点为禁止运行的节点。
其中,所述跳过节点的数量可以为一个或多个,即该一个或多个跳过节点均为本次禁止运行的节点。
具体的,前述从所述N个节点中,确定所述起始运行节点的至少一个下游节点,可以包括:基于所述N个节点之间的依赖关系,确定所述起始运行节点的全部下游节点。相应的,所述将所述起始运行节点以及所述至少一个下游节点,作为所述本次运行节点,具体可以包括:判断所述起始运行节点的至少一个下游节点中,是否存在跳过节点;若不存在,则将所述起始运行节点以及所述至少一个下游节点,作为所述本次运行节点;若存在,则将所述起始运行节点以及所述至少一个下游节点中除跳过节点之外的节点,作为所述本次运行节点。
下面结合不同的节点运行配置指令确定跳过节点的方式,分别进行说明:
在所述节点运行配置指令指示从第一指定节点运行的情况下,确定所述第一指定节点的全部下游节点中,不存在跳过节点,将除该第一指定节点及其全部下游节点之外的节点均确定为跳过节点;相应的,基于前述实施例的处理可以确定该第一指定节点为所述起始运行节点,因此所述起始运行节点的至少一个下游节点中不存在跳过节点。
在所述节点运行配置指令指示运行第二指定节点的情况下,确定所述第二指定节点外的节点均为跳过节点;相应的,基于前述实施例的处理可以确定该第二指定节点为所述起始运行节点,因此所述起始运行节点的至少一个下游节点均为跳过节点。
在所述节点运行配置指令指示运行至第三指定节点的情况下,若该第三指定节点不为叶子节点,则将所述第三指定节点的全部下游节点作为跳过节点,并且将第三指定节点至根节点之间的节点之外的其他节点均作为跳过节点;若该第三指定节点为叶子节点,则将第三指定节点至根节点之间的节点之外的其他节点均作为跳过节点。相应的,基于前述实施例的处理可以确定根节点为所述起始运行节点,因此所述起始运行节点的至少一个下游节点中包含一个或多个跳过节点。
在所述节点运行配置指令指示运行全部节点的情况下,确定全部节点中,不存在跳过节点;相应的,基于前述实施例的处理可以确定根节点为所述起始运行节点,因此所述起始运行节点的至少一个下游节点中不存在跳过节点。
这里,该第三指定节点的全部下游节点,可以包括:从所述第三指定节点起(不包含第三指定节点)、直至第三指定节点对应的全部下游叶子节点为止的全部节点。其中,叶子节点可以指的是没有下层节点的节点。比如,该第三指定节点为所述模型训练原始图中的所述N个节点中的节点a1,该第三指定节点(节点a1)关联两个下游中间节点,分别为节点a2和节点a3;该两个下游中间节点中,节点a2关联两个下游叶子节点,分别为节点a4和节点a5,节点3关联一个下游叶子节点为节点a6,则所述第三指定节点的下游节点包括上述节点a2、节点a3、节点a4、节点a5和节点a6。
该第三指定节点至根节点之间的节点,可以包括:从根节点起(包含所述根节点)至所述第三指定节点(不包含第三指定节点)之间,与该第三指定节点具备直接或间接依赖关系的全部节点。比如,所述模型训练原始图中的所述N个节点中的根节点表示为b0,该根节点b0下游有两个节点b1和b2,节点b1下游有两个节点b3和b4,该节点b2下游有一个节点b5,第三指定节点为节点b3;该第三指定节点至根节点之间的节点包括节点为b2和节点b0。
可见,通过采用上述方案,就可以在确定了起始运行节点之后,将该起始运行节点及其至少一个下游节点,作为本次运行节点。如此,就可以自动、高效且准确的确定各个节点的节点类型,从而使得后续生成的模型训练运行图更加准确。
在一种实施方式中,所述方法还包括:在确定所述至少一个下游节点中存在跳过节点的情况下,将所述跳过节点设置为跳过执行。这里,所述将所述跳过节点设置为跳过执行,可以指的是:对跳过节点设置禁止执行语句,其中,禁止执行语句可以为将“task(任务).when”语句中的执行属性设置为“false(假)”。
在一种实施方式中,所述方法还包括:在确定所述本次运行节点之后,可以生成所述本次运行节点对应的运行对象的运行相关参数。其中,所述本次运行节点对应的运行对象的运行相关参数,可以包括:该本次运行节点的运行对象的容器配置信息。所述本次运行节点的运行对象的容器配置信息可以包括本次运行节点的运行对象所要调用的镜像信息、本次运行节点的运行对象对应的启动命令、本次运行节点的运行对象的系统挂载方式等等至少之一,这里不对其进行穷举。其中,该本次运行节点的运行对象所要调用的镜像信息,具体可以指的是该本次运行节点的运行对象的可执行代码的镜像文件。此外,本次运行节点的运行对象的运行相关参数,还可以包括:该本次运行节点的运行对象的节点参数,比如该本次运行节点的运行对象所需资源数量,比如可以有该本次运行节点的运行对象所需占用的CPU的数量、内存的大小、GPU的数量等等至少之一。
前述本次运行节点的运行对象的运行相关参数,可以为该本次运行节点的运行对象的CRD(自定义资源定义,Custom Resource Definition)信息,或称为该本次运行节点的CRD信息。示例性的,前述本次运行节点的运行对象,具体可以为Kubernetes(简称K8s)的任务;在K8s中任务的类型可以有pod(容器集)、sparkapp(spark Application,spark应用)等,这里不做穷举。
在一种实施方式中,所述基于所述本次运行节点对应的运行对象的运行相关参数,生成模型训练运行图,包括:确定所述本次运行节点中的结束运行节点;基于所述结束运行节点在所述N个节点中的全部上游节点之间的依赖关系,和所述本次运行节点对应的运行对象的运行相关参数,生成所述模型训练运行图。
其中,所述确定所述本次运行节点中的结束运行节点,可以包括以下之一:
在所述节点运行配置指令指示从第一指定节点开始运行的情况下,确定所述本次运行节点中的全部叶子节点为所述结束运行节点;
在所述节点运行配置指令指示运行第二指定节点的情况下,确定所述本次运行节点为结束运行节点;
在所述节点运行配置指令指示运行至第三指定节点的情况下,确定本次运行节点中的第三指定节点为结束运行节点;
在所述节点运行配置指令指示运行全部节点的情况下,确定所述本次运行节点中的全部叶子节点为所述结束运行节点。
前述基于所述结束运行节点在所述N个节点中的全部上游节点之间的依赖关系,和所述本次运行节点对应的运行对象的运行相关参数,生成所述模型训练运行图,可以为:基于所述N个节点之间的依赖关系,确定所述结束运行节点在所述N个节点中的全部上游节点之间的依赖关系;基于所述结束运行节点在所述N个节点中的全部上游节点之间的依赖关系、所述至少一个本次运行节点分别对应的运行对象的运行相关参数,生成所述模型训练运行图。
结合图5,对所述模型训练运行图进行示例性说明,比如所述节点运行配置指令指示从第一指定节点运行,该第一指定节点为节点B,则确定至少一个本次运行节点为图5中的节点B、节点D和节点E;可以根据节点B、节点D、节点E以及节点A之间的依赖关系,以及节点B、节点D和节点E分别对应的运行对象的运行相关参数,生成所述模型训练运行图。前述模型训练运行图具体可以为目标工作流(Workflow)对象。
可见,通过采用上述方案,在根据不同节点类型来设置不同的内容的基础上,进一步的基于节点之间的依赖关系、本次运行节点对应的运行对象的运行相关参数,生成模型训练运行图。从而使得模型训练运行图中所包含的各个节点是否运行、运行对象的运行相关参数以及依赖关系具备明确的定义,保证了基于模型训练运行图进行处理并最终得到的结果的可实现性以及准确性。
在一种实施方式中,如图6所示,所述方法还可以包括:
S601:基于所述模型训练运行图中包含的所述本次运行节点之间的依赖关系,确定所述本次运行节点的运行顺序;
S602:基于所述本次运行节点的运行顺序和所述本次运行节点对应的运行对象的运行相关参数,运行所述本次运行节点对应的运行对象,并获取所述运行对象的运行状态;
S603:在根据所述运行状态确定所述本次运行节点对应的全部运行对象完成运行的情况下,得到目标模型。
其中,所述基于所述模型训练运行图中包含的所述本次运行节点之间的依赖关系,确定所述本次运行节点的运行顺序,可以为:基于至少一个本次运行节点之间的依赖关系,确定所述至少一个本次运行节点中的目标运行起始节点,将与该目标运行起始节点具备依赖关系的下一个本次运行节点,作为目标运行起始节点的下一个运行顺序上的本次运行节点,以此类推,直至确定所述至少一个本次运行节点中各个本次运行节点的运行顺序为止。以图5为例,假设至少一个本次运行节点为图5中的节点B、节点D和节点E;这三个节点之间的依赖关系为节点D依赖于节点B、节点E依赖于节点B,而节点B为目标运行起始节点,则可以将节点D或节点E作为下一个运行顺序的本次运行节点。
所述基于所述本次运行节点的运行顺序和所述本次运行节点对应的运行对象的运行相关参数,运行所述本次运行节点对应的运行对象,并获取所述运行对象的运行状态,可以包括:
基于至少一个本次运行节点的运行顺序,确定所述至少一个本次运行节点中的第k个本次运行节点为当前运行节点;k为正整数;
基于所述第k个本次运行节点对应的运行对象的运行相关参数,创建所述第k个本次运行节点对应的运行对象,在创建得到所述第k个本次运行节点对应的运行对象的情况下,基于所述第k-1个本次运行节点的运行对象的处理结果,运行所述第k个本次运行节点对应的运行对象,获取并控制展示所述第k个本次运行节点的当前运行状态。
在k等于1的情况下,所述第k个本次运行节点即第1个本次运行节点;所述第k-1个本次运行节点可以为空,此时第k-1个本次运行节点对应的运行对象的处理结果可以为:该第1个本次运行节点所依赖的上层节点的上一次运行所得到的处理结果。由于在前述实施例中预先已经确定该第1个本次运行节点所需要依赖的上层依赖节点的初始运行状态为运行成功状态,因此该第1个本次运行节点可以使用其依赖的上层依赖节点,在上一次运行时得到的处理结果。以图5为例,假设第1个本次运行节点为其中的节点B,其依赖的上层节点为节点A,由于在前述实施例中预先已经确定该节点A为运行成功节点,因此该节点A在上一次运行时可以具备对应的运行对象并得到对应的处理结果,则节点B可以使用该节点A上一次运行得到的该处理结果。
在k不等于1的情况下,所述第k个本次运行节点不为第1个本次运行节点;所述第k-1个本次运行节点,即该第k个本次运行节点的上层依赖节点。
所述基于所述至少一个本次运行节点的运行顺序,确定所述至少一个本次运行节点中的第k个本次运行节点为当前运行节点,具体可以指的是:
若基于所述至少一个本次运行节点的运行顺序,确定所述至少一个本次运行节点中,仅有一个本次运行节点的运行顺序为该第k-1个本次运行节点的运行顺序之后,则该节点作为第k个本次运行节点,则将该第k个本次运行节点为当前运行节点;
若基于所述至少一个本次运行节点的运行顺序,确定第k-1个本次运行节点之后存在两个或更多候选本次运行节点,则基于第k-1个本次运行节点对应的运行对象的处理结果,确定所述两个或更多候选本次运行节点中之一,作为该第k个本次运行节点,将该第k个本次运行节点作为当前运行节点。
举例来说,若第k-1个本次运行节点为图5中的节点C,则其后仅存在一个本次运行节点,可以将该节点C作为第k个本次运行节点。再举例来说,若第k-1个本次运行节点为图5中的节点B,运行顺序在节点B之后可以有两个节点,分别为节点D和节点E;若根据节点B对应的运行对象的处理结果,确定下一个需要调用节点D,则确定节点D为第k个本次运行节点。
所述基于所述第k个本次运行节点对应的运行对象的运行相关参数,创建所述第k个本次运行节点对应的运行对象,可以是:基于所述第k个本次运行节点对应的运行对象的运行相关参数,调用接口以创建所述第k个本次运行节点对应的运行对象。相应的,确定创建得到所述第k个本次运行节点对应的运行对象的方式,可以为:获取到该第k个本次运行节点对应的运行对象的相关信息,则可以确定创建得到所述第k个本次运行节点对应的运行对象。该运行对象的相关信息可以包括该运行对象的标识、地址、状态等信息,其中,状态可以包括运行对象创建中、运行对象创建完成等等任意之一,这里不对其进行穷举。
所述基于所述第k-1个本次运行节点的运行对象的处理结果,运行所述第k个本次运行节点对应的运行对象,可以是:控制调用所述第k-1个本次运行节点的运行对象的处理结果,以及所述第k个本次运行节点对应的运行对象进行处理,得到该第k个本次运行节点对应的运行对象的处理结果。
其中,所述第k个本次运行节点的当前运行状态,可以包括:该第k个本次运行节点当前处于运行状态、当前处于运行完成状态、当前处于未运行状态等等任意之一。
在基于所述第k-1个本次运行节点的运行对象的处理结果,运行所述第k个本次运行节点对应的运行对象,并控制展示所述第k个本次运行节点的当前运行状态之后,还可以包括:基于所述至少一个本次运行节点的运行顺序,判断是否存在运行顺序在所述第k个本次运行节点之后的本次运行节点,若存在,则将该第k个本次运行节点之后的本次运行节点作为第k+1个本次运行节点,基于所述第k+1个本次运行节点对应的运行对象的运行相关参数,创建所述第k+1个本次运行节点对应的运行对象,在创建得到第k+1个本次运行节点对应的运行对象的情况下,运行所述第k+1个本次运行节点对应的运行对象,并控制展示所述第k+1个本次运行节点的初始运行状态;若不存在,则确定所述至少一个本次运行节点中最后一个本次运行节点对应的运行对象完成运行。
进一步地,前述至少一个本次运行节点分别对应各自的运行对象,不同的本次运行节点对应的运行对象的类型可能相同也可能不同,示例性的,运行对象可以有算法对象以及数据处理对象;算法对象可以用于得到模型文件,该模型文件可以用于生成目标模型;数据处理对象可以用于得到数据处理结果。
所述获取并控制展示所述第k个本次运行节点的当前运行状态,可以包括:获取第k个本次运行节点所对应的运行对象的当前运行状态,控制通过前端展示该第k个本次运行节点所对应的运行对象的当前运行状态。所述当前运行状态可以包括运行中、未运行、运行完成等等任意之一。
在根据所述运行状态确定所述本次运行节点对应的全部运行对象完成运行的情况下,得到目标模型,可以包括:在确定所述至少一个本次运行节点中最后一个本次运行节点对应的运行对象完成运行的情况下,确定所述本次运行节点对应的全部运行对象完成运行;若本次运行的所述至少一个本次运行节点对应的运行对象中包含算法对象,则确定完成本次模型训练,根据该算法对象输出的结果,得到本次训练后的所述目标模型。其中,所述算法对象输出的结果可以包括模型文件;相应的,根据该算法对象输出的结果,得到本次训练后的所述目标模型,可以为基于该算法对象输出的模型文件,生成本次训练后的所述目标模型。需要指出的是,前述算法对象可以为所述至少一个本次运行节点的中间的一个节点对应的运行对象,也可以是所述至少一个本次运行节点的最后一个节点对应的运行对象。
还有可能存在一种情况,在确定所述至少一个本次运行节点中最后一个本次运行节点对应的运行对象完成运行的情况下,若本次运行的所述至少一个本次运行节点对应的运行对象中不包含算法对象、仅包含数据处理对象,则得到所述数据处理对象的处理结果。
结合图7进行示例性说明,本次模型训练运行图中可以包括图7中所示的加载数据节点、数据拆分节点、多分类节点、预测组件节点、多分类评估节点;其中,至少一个本次运行节点可以为其中的数据拆分节点和多分类节点。该数据拆分节点对应的运行对象为数据处理对象,具体的,该数据处理对象为数据拆分处理对象,该数据拆分处理对象可以用于得到拆分后的数据。多分类节点对应的运行对象为算法对象,该算法对象具体可以为多分类算法对象,通过该多分类算法对象可以得到多分类模型文件;再具体的,该多分类算法对象用于对拆分后的数据进行处理,得到多分类模型文件。
继续结合图7进行示例性说明,基于前述方案的处理,可以确定数据拆分节点的运行顺序在多分类节点之前;首先基于数据拆分节点对应的数据拆分处理对象的定义信息,创建该数据拆分处理对象,创建完成后运行该数据拆分处理对象,对加载数据节点对应的运行节点上一次运行后的加载数据处理结果进行处理,得到拆分后的数据;
在完成数据拆分节点的运行之后,基于多分类节点对应的多分类算法对象的定义信息,创建该多分类节点对应的多分类算法对象,创建完成后运行该多分类算法对象,对拆分后的数据进行处理,得到多分类模型文件;最后基于该多分类模型文件,生成本次训练后的目标模型;在本示例中,该目标模型具体可以为多分类模型。
可见,通过采用上述方案,就可以在本次生成的模型训练运行图的基础上,基于本次运行节点的运行顺序、本次运行节点对应的运行对象的运行相关参数,控制运行各个本次运行节点对应的运行对象并获取本次运行节点的当前运行状态,直至得到本次训练后的目标模型。如此,可以准确并且灵活的获取本次所需训练的目标模型,并且在处理过程中实现了可视化,更有助于获取当前处理的进度以及处理状态,为及时的做出相应的响应处理提供的参考信息。
最后结合图8和图9对本实施例前述用于模型训练的图生成方法进行示例性说明:
S801:获取模型训练原始图。
本步骤中,获取模型训练原始图的处理,可以是服务器从前端获取所述模型训练原始图。另外,在获取所述模型训练原始图的同时,服务器还可以同时获取到前端提交的目标运行模式。关于目标运行模式可以为多种运行模式中任意之一,也在前述实施例详述,这里不做赘述。
其中,所述前端可以指的是管理人员或用户侧使用的设备,比如可以为终端设备,具体可以是笔记本电脑、台式机、平板电脑等。所述前端可以执行相关处理,比如图9中所示的模型训练原始图编辑功能,可以用于用户对模型训练原始图进行编辑等处理,另外还有其他处理功能,这里不做穷举。应理解,在一些场景中,前述服务器还可以称为后端(如图9中所示),这里不对其全部可能的名称进行穷举。在图9中后端的状态管理功能,在S801中还可以用于管理所述模型训练原始图,比如用于接收该模型训练原始图等等。
S802:从所述模型训练原始图中包含的所述N个节点中确定第一节点。
S803:判断所述第一节点是否满足预设条件,若满足,则执行S804,否则,结束处理。
S804:将所述第一节点作为所述起始运行节点。
S805:基于所述起始运行节点,从所述N个节点中确定本次运行节点,生成所述本次运行节点对应的运行对象的运行相关参数。
本步骤中,还可以同时确定至少一个跳过节点,具体说明与前述实施例相同,这里不做赘述。
S806:基于所述本次运行节点对应的运行对象的运行相关参数,生成模型训练运行图。
结合图9来说,在图9中的后端中可以通过构建功能实现前述S802~S806的处理。应理解的是,在图9中各个功能之间可以具备对应的接口,比如构建功能与状态管理功能之间可以有接口用于传输模型训练原始图;又比如,构建功能与节点运行管理功能之间可以有接口,构建功能可以通过与节点运行管理功能之间的接口,将前述模型训练运行图提交给节点运行管理功能。
S807:基于所述模型训练运行图中包含的所述本次运行节点之间的依赖关系,确定所述本次运行节点的运行顺序。
S808:基于所述本次运行节点的运行顺序和所述本次运行节点对应的运行对象的运行相关参数,运行所述本次运行节点对应的运行对象,并获取所述运行对象的运行状态。
结合图9来说,图9中的后端中的节点运行管理功能,用于实现前述S807~S808的处理,示例性的,该节点运行管理功能可以是由容器本地工作流引擎实现的。具体的在基于所述模型训练运行图中包含的所述本次运行节点之间的依赖关系,确定所述本次运行节点的运行顺序,基于所述本次运行节点的运行顺序和所述本次运行节点对应的运行对象的运行相关参数,运行所述本次运行节点对应的运行对象的处理中,图9中的节点运行管理功能还会基于运行顺序确定当前运行节点,通过调用k8s根据运行对象的运行相关参数创建对应的运行对象,在创建完成后运行该运行对象。另外,图9中的节点运行管理功能还可以用于获取所述运行对象的运行状态;进而可以通过图9中的状态管理功能将运行状态发送至前端,用户可以通过前端的查看功能,查看当前运行节点对应的运行对象的运行状态。
S809:在根据所述运行状态确定所述本次运行节点对应的全部运行对象完成运行的情况下,得到目标模型。结合图9来说,图9中的后端中的节点运行管理功能可以用于实现上述S809的处理。
应理解,前述S807~S809的处理,可以不在S806完成之后立即执行,也可以在S806完成之后立即执行。
其中,若前述S807~S809的处理,不在S806完成之后立即执行,则可以是根据实际控制指令确定是否开始执行S807的处理。示例性的,当前管理人员或用户在查看模型训练运行图之后,确认本次需要执行的情况下,发送控制指令以控制开始执行S807,或者,还可以有其他控制开始执行的方式,这里不进行穷举。其中,前端还可以具备任务操作功能,用户或管理人员可以通过该任务操作功能生成并发送控制指令;相应的,后端可以是通过状态管理功能接收该控制指令,通过与节点运行管理功能之间的接口,将该控制指令发送至节点运行管理功能,进而节点运行管理功能可以开始执行前述S807。
本公开提供的用于模型训练的图生成方法,可以实现多种机器学习框架的离线模型训练任务的可视化生成和自动化调度运行,即可以实现通用的可视化建模。该可视化建模可用于多种场景,以结合不同的场景训练出对应的目标模型,比如,银行业可使用本公开提供的用于模型训练的图生成方法训练出目标模型,该目标模型可以预测客户信用卡逾期概率;又比如,保险行业可使用本公开提供的用于模型训练的图生成方法训练出目标模型,该目标模型可以评估客户的风险等级等。这里不对全部可能的场景进行穷举。本公开提供的用于模型训练的图生成方法,能够支持DAG类型的图调度系统,并支持多种运行模式,支持对每个节点的运行状态监控和追溯。与相关技术相比,本公开提供的用于模型训练的图生成方法支持多种任务类型和多种算法类型,并且支持更多的运行模式。
本公开第二方面实施例提供一种用于模型训练的图生成装置,如图10所示,包括:
节点选取模块1001,用于从模型训练原始图中的N个节点中确定起始运行节点;N为大于或等于1的整数;所述起始运行节点为所述N个节点中的任意节点;
对象生成模块1002,用于基于所述起始运行节点,从所述N个节点中确定本次运行节点,生成所述本次运行节点对应的运行对象的运行相关参数;
运行图生成模块1003,用于基于所述本次运行节点对应的运行对象的运行相关参数,生成模型训练运行图。
所述节点选取模块1001,用于从所述模型训练原始图中包含的所述N个节点中确定第一节点;在所述第一节点满足预设条件的情况下,将所述第一节点作为所述起始运行节点。
所述节点选取模块1001,用于执行以下之一:
获取节点运行配置指令,并在所述节点运行配置指令指示从第一指定节点运行的情况下,将所述第一指定节点作为所述第一节点;
获取节点运行配置指令,并在所述节点运行配置指令指示运行第二指定节点的情况下,将所述第二指定节点作为所述第一节点;
获取节点运行配置指令,并在所述节点运行配置指令指示运行至第三指定节点的情况下,将所述模型训练原始图中包含的所述N个节点中的根节点,作为所述第一节点;
获取节点运行配置指令,并在所述节点运行配置指令指示运行全部节点的情况下,将所述模型训练原始图中包含的所述N个节点中的根节点,作为所述第一节点。
所述节点选取模块,用于执行以下之一:
在所述第一节点不为所述N个节点中的根节点、且在所述N个节点中所述第一节点的上层依赖节点为运行成功的节点的情况下,确定所述第一节点满足预设条件;
在所述第一节点为所述N个节点中的根节点的情况下,确定所述第一节点满足预设条件。
所述对象生成模块,用于从所述N个节点中,确定所述起始运行节点的至少一个下游节点,将所述起始运行节点以及所述至少一个下游节点,作为所述本次运行节点。
所述对象生成模块,用于在所述至少一个下游节点中存在跳过节点的情况下,将所述起始运行节点以及所述至少一个下游节点中除跳过节点之外的节点,作为所述本次运行节点,所述跳过节点为禁止运行的节点。
所述运行图生成模块,用于确定所述本次运行节点中的结束运行节点;基于所述结束运行节点在所述N个节点中的全部上游节点之间的依赖关系,和所述本次运行节点对应的运行对象的运行相关参数,生成所述模型训练运行图。
在图10的基础上,如图11所示,所述装置还包括:
模型训练模块1101,用于基于所述模型训练运行图中包含的所述本次运行节点之间的依赖关系,确定所述本次运行节点的运行顺序;基于所述本次运行节点的运行顺序和所述本次运行节点对应的运行对象的运行相关参数,运行所述本次运行节点对应的运行对象,并获取所述运行对象的运行状态;在根据所述运行状态确定所述本次运行节点对应的全部运行对象完成运行的情况下,得到目标模型。
本实施例中,所述用于模型训练的图生成装置可以具体设置在电子设备中,比如可以为服务器。或者,前述用于模型训练的图生成装置的不同模块设置在不同的电子设备中。或者,前述用于模型训练的图生成装置的至少部分模块设置在同一个电子设备中,剩余模块设置在另一个电子设备中,本实施例不进行穷举。
本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图12示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图12所示,电子设备1200包括计算单元1201,其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序,来执行各种适当的动作和处理。在RAM 1203中,还可存储电子设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
电子设备1200中的多个部件连接至I/O接口1205,包括:输入单元1206,例如键盘、鼠标等;输出单元1207,例如各种类型的显示器、扬声器等;存储单元1208,例如磁盘、光盘等;以及通信单元1209,例如网卡、调制解调器、无线通信收发机等。通信单元1209允许电子设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理。例如用于模型训练的图生成方法,在一些实施例中,上文所描述的用于模型训练的图生成方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1208。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1202和/或通信单元1209而被载入和/或安装到电子设备1200上。当计算机程序加载到RAM 1203并由计算单元1201执行时,可以执行上文所描述的用于模型训练的图生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元1201可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行上文所描述的用于模型训练的图生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程用于模型训练的图生成装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (19)
1.一种用于模型训练的图生成方法,包括:
从模型训练原始图中的N个节点中确定起始运行节点;N为大于或等于1的整数;所述起始运行节点为所述N个节点中的任意节点;
基于所述起始运行节点,从所述N个节点中确定本次运行节点,生成所述本次运行节点对应的运行对象的运行相关参数;
基于所述本次运行节点对应的运行对象的运行相关参数,生成模型训练运行图。
2.根据权利要求1所述的方法,其中,所述从模型训练原始图中的N个节点中确定起始运行节点,包括:
从所述模型训练原始图中包含的所述N个节点中确定第一节点;
在所述第一节点满足预设条件的情况下,将所述第一节点作为所述起始运行节点。
3.根据权利要求2所述的方法,其中,所述从所述模型训练原始图中包含的所述N个节点中确定第一节点,包括以下之一:
获取节点运行配置指令,并在所述节点运行配置指令指示从第一指定节点运行的情况下,将所述第一指定节点作为所述第一节点;
获取节点运行配置指令,并在所述节点运行配置指令指示运行第二指定节点的情况下,将所述第二指定节点作为所述第一节点;
获取节点运行配置指令,并在所述节点运行配置指令指示运行至第三指定节点的情况下,将所述模型训练原始图中包含的所述N个节点中的根节点,作为所述第一节点;
获取节点运行配置指令,并在所述节点运行配置指令指示运行全部节点的情况下,将所述模型训练原始图中包含的所述N个节点中的根节点,作为所述第一节点。
4.根据权利要求2或3所述的方法,其中,确定所述第一节点满足预设条件的方式,包括以下之一:
在所述第一节点不为所述N个节点中的根节点、且在所述N个节点中所述第一节点的上层依赖节点为运行成功的节点的情况下,确定所述第一节点满足预设条件;
在所述第一节点为所述N个节点中的根节点的情况下,确定所述第一节点满足预设条件。
5.根据权利要求1所述的方法,其中,所述基于所述起始运行节点,从所述N个节点中确定本次运行节点,包括:
从所述N个节点中,确定所述起始运行节点的至少一个下游节点,将所述起始运行节点以及所述至少一个下游节点,作为所述本次运行节点。
6.根据权利要求5所述的方法,其中,所述将所述起始运行节点以及所述至少一个下游节点,作为所述本次运行节点,包括:
在所述至少一个下游节点中存在跳过节点的情况下,将所述起始运行节点以及所述至少一个下游节点中除跳过节点之外的节点,作为所述本次运行节点,所述跳过节点为禁止运行的节点。
7.根据权利要求1所述的方法,其中,所述基于所述本次运行节点对应的运行对象的运行相关参数,生成模型训练运行图,包括:
确定所述本次运行节点中的结束运行节点;
基于所述结束运行节点在所述N个节点中的全部上游节点之间的依赖关系,和所述本次运行节点对应的运行对象的运行相关参数,生成所述模型训练运行图。
8.根据权利要求1-7任一项所述的方法,还包括:
基于所述模型训练运行图中包含的所述本次运行节点之间的依赖关系,确定所述本次运行节点的运行顺序;
基于所述本次运行节点的运行顺序和所述本次运行节点对应的运行对象的运行相关参数,运行所述本次运行节点对应的运行对象,并获取所述运行对象的运行状态;
在根据所述运行状态确定所述本次运行节点对应的全部运行对象完成运行的情况下,得到目标模型。
9.一种用于模型训练的图生成装置,包括:
节点选取模块,用于从模型训练原始图中的N个节点中确定起始运行节点;N为大于或等于1的整数;所述起始运行节点为所述N个节点中的任意节点;
对象生成模块,用于基于所述起始运行节点,从所述N个节点中确定本次运行节点,生成所述本次运行节点对应的运行对象的运行相关参数;
运行图生成模块,用于基于所述本次运行节点对应的运行对象的运行相关参数,生成模型训练运行图。
10.根据权利要求9所述的装置,其中,
所述节点选取模块,用于从所述模型训练原始图中包含的所述N个节点中确定第一节点;在所述第一节点满足预设条件的情况下,将所述第一节点作为所述起始运行节点。
11.根据权利要求10所述的装置,其中,所述节点选取模块,用于执行以下之一:
获取节点运行配置指令,并在所述节点运行配置指令指示从第一指定节点运行的情况下,将所述第一指定节点作为所述第一节点;
获取节点运行配置指令,并在所述节点运行配置指令指示运行第二指定节点的情况下,将所述第二指定节点作为所述第一节点;
获取节点运行配置指令,并在所述节点运行配置指令指示运行至第三指定节点的情况下,将所述模型训练原始图中包含的所述N个节点中的根节点,作为所述第一节点;
获取节点运行配置指令,并在所述节点运行配置指令指示运行全部节点的情况下,将所述模型训练原始图中包含的所述N个节点中的根节点,作为所述第一节点。
12.根据权利要求10或11所述的装置,其中,所述节点选取模块,用于执行以下之一:
在所述第一节点不为所述N个节点中的根节点、且在所述N个节点中所述第一节点的上层依赖节点为运行成功的节点的情况下,确定所述第一节点满足预设条件;
在所述第一节点为所述N个节点中的根节点的情况下,确定所述第一节点满足预设条件。
13.根据权利要求9所述的装置,其中,所述对象生成模块,用于从所述N个节点中,确定所述起始运行节点的至少一个下游节点,将所述起始运行节点以及所述至少一个下游节点,作为所述本次运行节点。
14.根据权利要求13所述的装置,其中,所述对象生成模块,用于在所述至少一个下游节点中存在跳过节点的情况下,将所述起始运行节点以及所述至少一个下游节点中除跳过节点之外的节点,作为所述本次运行节点,所述跳过节点为禁止运行的节点。
15.根据权利要求9所述的装置,其中,所述运行图生成模块,用于确定所述本次运行节点中的结束运行节点;基于所述结束运行节点在所述N个节点中的全部上游节点之间的依赖关系,和所述本次运行节点对应的运行对象的运行相关参数,生成所述模型训练运行图。
16.根据权利要求9-15任一项所述的装置,还包括:
模型训练模块,用于基于所述模型训练运行图中包含的所述本次运行节点之间的依赖关系,确定所述本次运行节点的运行顺序;基于所述本次运行节点的运行顺序和所述本次运行节点对应的运行对象的运行相关参数,运行所述本次运行节点对应的运行对象,并获取所述运行对象的运行状态;在根据所述运行状态确定所述本次运行节点对应的全部运行对象完成运行的情况下,得到目标模型。
17.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。
19.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210713433.6A CN115222041B (zh) | 2022-06-22 | 2022-06-22 | 用于模型训练的图生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210713433.6A CN115222041B (zh) | 2022-06-22 | 2022-06-22 | 用于模型训练的图生成方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115222041A true CN115222041A (zh) | 2022-10-21 |
CN115222041B CN115222041B (zh) | 2023-09-01 |
Family
ID=83609610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210713433.6A Active CN115222041B (zh) | 2022-06-22 | 2022-06-22 | 用于模型训练的图生成方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115222041B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112508115A (zh) * | 2020-12-15 | 2021-03-16 | 北京百度网讯科技有限公司 | 建立节点表示模型的方法、装置、设备和计算机存储介质 |
KR20210035786A (ko) * | 2020-06-19 | 2021-04-01 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램 |
CN112686387A (zh) * | 2020-11-24 | 2021-04-20 | 中国电子科技集团公司电子科学研究院 | 一种共性技术模型训练调度方法、装置及可读存储介质 |
KR20210156243A (ko) * | 2021-03-10 | 2021-12-24 | 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 | 딥러닝 프레임워크의 훈련 방법, 장치 및 저장 매체 |
CN114492834A (zh) * | 2022-01-14 | 2022-05-13 | 北京百度网讯科技有限公司 | 训练方法、训练装置、设备、系统及存储介质 |
-
2022
- 2022-06-22 CN CN202210713433.6A patent/CN115222041B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210035786A (ko) * | 2020-06-19 | 2021-04-01 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 이종 그래프 노드를 표현하는 모델 생성 방법, 장치, 전자 기기, 저장 매체 및 프로그램 |
CN112686387A (zh) * | 2020-11-24 | 2021-04-20 | 中国电子科技集团公司电子科学研究院 | 一种共性技术模型训练调度方法、装置及可读存储介质 |
CN112508115A (zh) * | 2020-12-15 | 2021-03-16 | 北京百度网讯科技有限公司 | 建立节点表示模型的方法、装置、设备和计算机存储介质 |
KR20210156243A (ko) * | 2021-03-10 | 2021-12-24 | 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 | 딥러닝 프레임워크의 훈련 방법, 장치 및 저장 매체 |
CN114492834A (zh) * | 2022-01-14 | 2022-05-13 | 北京百度网讯科技有限公司 | 训练方法、训练装置、设备、系统及存储介质 |
Non-Patent Citations (3)
Title |
---|
ANNAMALAI NARAYANAN: "graph2vec: Learning Distributed Representations of Graphs", 《HTTPS://ARXIV.53YU.COM/ABS/1707.05005》 * |
孟彬彬;吴艳;: "面向云计算的分布式机器学习任务调度算法研究", 西安文理学院学报(自然科学版) * |
李抵非;田地;胡雄伟;: "基于分布式内存计算的深度学习方法", 吉林大学学报(工学版) * |
Also Published As
Publication number | Publication date |
---|---|
CN115222041B (zh) | 2023-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10936476B2 (en) | Regression testing of new software version and deployment | |
KR102339747B1 (ko) | 시뮬레이터, 시뮬레이션 장치, 및 시뮬레이션 방법 | |
US20110314439A1 (en) | Software approval process using service governance | |
US10656934B2 (en) | Efficient software testing | |
US11978060B2 (en) | Dynamic categorization of it service tickets using natural language description | |
WO2016205152A1 (en) | Project management with critical path scheduling and releasing of resources | |
US10777191B2 (en) | Visually exploring and prioritizing discordant conversations with conversational bots | |
CN114697398B (zh) | 数据处理方法、装置、电子设备、存储介质及产品 | |
CN116257226A (zh) | 数据校验方法、装置、电子设备及存储介质 | |
CN115222041B (zh) | 用于模型训练的图生成方法、装置、电子设备及存储介质 | |
US20190163451A1 (en) | Execution of a composite template to provision a composite of software service instances | |
CN114741294A (zh) | 一种页面的调试方法、装置、设备及存储介质 | |
CN109189370B (zh) | 软件组件的生成方法、装置、设备及计算机可读存储介质 | |
CN114707961A (zh) | 基于审批流配置的待审批任务执行方法、装置、设备、介质和程序产品 | |
CN112540747A (zh) | 平台开发方法、装置及计算机可读存储介质 | |
US12021885B2 (en) | Aggregating results from multiple anomaly detection engines | |
US11561667B2 (en) | Semi-virtualized portable command center | |
US11953972B2 (en) | Selective privileged container augmentation | |
US20220191226A1 (en) | Aggregating results from multiple anomaly detection engines | |
US20230102645A1 (en) | Resource Reuse for Pipeline Workloads | |
US10387554B1 (en) | Applying matching data transformation information based on a user's editing of data within a document | |
CN117742711A (zh) | 面向低代码的页面渲染方法、装置、电子设备和存储介质 | |
CN114860455A (zh) | 一种请求处理方法、装置、设备及存储介质 | |
CN115374010A (zh) | 功能测试方法、装置、设备及存储介质 | |
CN116991737A (zh) | 一种软件测试方法、系统、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |