CN112104706B - 分布式系统中模型发布方法、装置、设备、存储介质 - Google Patents

分布式系统中模型发布方法、装置、设备、存储介质 Download PDF

Info

Publication number
CN112104706B
CN112104706B CN202010857908.XA CN202010857908A CN112104706B CN 112104706 B CN112104706 B CN 112104706B CN 202010857908 A CN202010857908 A CN 202010857908A CN 112104706 B CN112104706 B CN 112104706B
Authority
CN
China
Prior art keywords
model
instruction
target
node device
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010857908.XA
Other languages
English (en)
Other versions
CN112104706A (zh
Inventor
臧大卫
肖鹰东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unionpay Co Ltd
Original Assignee
China Unionpay Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unionpay Co Ltd filed Critical China Unionpay Co Ltd
Priority to CN202010857908.XA priority Critical patent/CN112104706B/zh
Publication of CN112104706A publication Critical patent/CN112104706A/zh
Application granted granted Critical
Publication of CN112104706B publication Critical patent/CN112104706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/082—Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/02—Topology update or discovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种分布式系统中模型发布方法、装置、设备、存储介质，属于数据处理领域。该方法包括：根据为N个目标模型分别设置的请求流量，将第一类节点设备划分为与N个目标模型对应的N个第一类节点设备组，设置第二类节点设备的路由表，N为大于1的整数；根据N个目标模型，生成第三类节点设备与N个目标模型对应的输入特征的计算配置信息；基于路由表、输入特征和对N个第一类节点设备组的模型生效执行动作，生成分布式系统的第一动作序列，第一动作序列包括至少一个第一动作指令；对分布式系统按序执行第一动作序列中的第一动作指令。根据本申请实施例，能够提高模型的发布迭代效率。

Description

分布式系统中模型发布方法、装置、设备、存储介质
技术领域
本申请属于数据处理领域，尤其涉及一种分布式系统中模型发布方法、装置、设备、存储介质。
背景技术
分布式系统是多个通过网络进行通信，能够协同工作实现某种功能的节点设备组成的系统。随着机器学习技术的发展，分布式系统也可采用机器学习得到的模型来实现某些功能，例如运算功能。由于用户需求的不断提升，需要更新模型并发布。
但在现阶段，还无法实现在一个分布式系统中进行多个模型的发布，降低了模型的发布迭代效率。
发明内容
本申请实施例提供一种分布式系统中模型发布方法、装置、设备、存储介质，能够提高模型的发布迭代效率。
第一方面，本申请实施例提供一种分布式系统中模型发布方法，分布式系统包括多个节点设备，节点设备包括第一类节点设备、第二类节点设备和第三类节点设备，第一类节点设备用于利用模型进行结果运算，第二类节点设备用于传输信息，第三类节点设备用于生成模型的输入特征；
该分布式系统中模型发布方法包括：
根据为N个目标模型分别设置的请求流量，将第一类节点设备划分为与N个目标模型对应的N个第一类节点设备组，设置第二类节点设备的路由表，N为大于1的整数；
根据N个目标模型，生成第三类节点设备与N个目标模型对应的输入特征的计算配置信息；
基于路由表、输入特征和对N个第一类节点设备组的模型生效执行动作，生成分布式系统的第一动作序列，第一动作序列包括至少一个第一动作指令；
对分布式系统按序执行第一动作序列中的第一动作指令。
第二方面，本申请实施例提供了一种分布式系统中模型发布装置，分布式系统包括多个节点设备，节点设备包括第一类节点设备、第二类节点设备和第三类节点设备，第一类节点设备用于利用模型进行结果运算，第二类节点设备用于传输信息，第三类节点设备用于生成模型的输入特征；
分布式系统中模型发布装置包括：
第一处理模块，用于根据为N个目标模型分别设置的请求流量，将第一类节点设备划分为与N个目标模型对应的N个第一类节点设备组，设置第二类节点设备的路由表，N为大于1的整数；
第二处理模块，用于根据N个目标模型，生成第三类节点设备与N个目标模型对应的输入特征的计算配置信息；
序列生成模块，用于基于路由表、输入特征和对N个第一类节点设备组的模型生效执行动作，生成分布式系统的第一动作序列，第一动作序列包括至少一个第一动作指令；
执行模块，用于对分布式系统按序执行第一动作序列中的第一动作指令。
第三方面，本申请实施例提供了一种分布式系统中模型发布设备，设备包括：处理器以及存储有计算机程序指令的存储器；
处理器执行计算机程序指令时实现第一方面中的分布式系统中模型发布方法。
第四方面，本申请实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现第一方面中的分布式系统中模型发布方法。
本申请实施例的分布式系统中模型发布方法、装置、设备、存储介质，为各个目标模型设置请求流量，并根据设置的请求流量，将第一类节点设备划分为数目与目标模型的数目相同的第一类节点设备组，以及设置第二节点设备的路由表。根据各个目标模型，生成第三类节点设备与各个目标模型对应的输入特征。基于路由表、输入特征的计算配置信息和对第一类节点设备组的模型生效执行动作，生成第一动作序列。第一动作序列中排列的第一动作指令用于表征一系列连续的用于实现模型发布的流程的动作，可包括路由表设置动作、输入特征的计算配置信息的生成动作、对N个第一类节点设备组的模型生效执行动作。通过执行第一动作序列中的第一动作指令，能够实现各个目标模型在分布式系统中的发布所需的对路由表、输入特征、模型生效的动作，从而实现在一个系统中实现两个以上的目标模型的发布，不需要为每个目标模型的发布对应进行系统发布，从而提高了模型的发布迭代效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种分布式系统的结构示意图；
图2为本申请一实施例提供的分布式系统中模型发布方法的流程图；
图3为本申请另一实施例提供的分布式系统中模型发布方法的流程图；
图4为本申请又一实施例提供的分布式系统中模型发布方法的流程图；
图5为本申请再一实施例提供的分布式系统中模型发布方法的流程图；
图6为本申请实施例中按照功能开发划分的单元执行分布式系统中模型发布方法的一示例的流程图；
图7为本申请实施例中按照功能开发划分的单元执行对分布式系统和模型的监控的一示例的流程图；
图8为本申请一实施例提供的分布式系统中模型发布装置的结构示意图；
图9为本申请另一实施例提供的分布式系统中模型发布装置的结构示意图；
图10为本申请又一实施例提供的分布式系统中模型发布装置的结构示意图；
图11为本申请再一实施例提供的分布式系统中模型发布装置的结构示意图；
图12为本申请实施例提供的分布式系统中模型发布设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
分布式系统可包括多个节点设备。节点设备可为具体的设备也可为模块、单元等，在此并不限定。多个节点设备之间可相互进行通信，以共同协作实现某一种功能或某一系列功能。其中，分布式系统中的节点设备可通过模型来实现某些计算功能。而随着用户需求的变化，需要更新模型并发布模型。在一些情况下，随着模型发布还需进行系统发布。例如，在发布两个模型的情况下，需要部署两套独立的系统，即进行两套系统的发布，将一个模型发布至其中一个系统中，将另一个模型发布在其中另一个系统中。模型发布的周期要根据系统发布的周期设置。系统发布的步骤更为繁琐，且成本较高，导致模型的发布迭代效率降低，也提高了模型的发布成本。
本申请实施例提供一种分布式系统中模型发布方法、装置、设备、存储介质，可在一个系统中进行多个模型的发布，将系统发布与模型发布解耦合，使得模型发布相对更加独立，能够提高模型的发布迭代效率，降低模型的发布成本。
分布式系统具体可以为分布式机器学习应用系统或其他类型的分布式系统，在此并不限定。图1为本申请实施例提供的一种分布式系统的结构示意图。如图1所示，分布式系统可包括第一类节点设备11、第二类节点设备12和第三类节点设备13。
其中，第一类节点设备11用于利用模型进行结果运算。第二类节点设备12用于传输信息。具体地，第二类节点设备12可与分布式系统所执行的业务的业务请求方通过传输信息进行通讯。第三类节点设备13用于生成模型的输入特征。在需要在分布式系统中进行模型发布的情况下，第二类节点设备12可接收模型计算请求，并将模型计算请求转发至第一类节点设备11和第三类节点设备13。第三类节点设备13可根据模型计算请求计算得到与该模型计算请求对应的模型的输入特征。第一类节点设备11从第三类节点设备13获取与该模型计算请求对应的模型的输入特征，将输入特征输入模型，得到模型输出的结果信息，将结果信息向第二类节点设备12发送。第二类节点设备12可将结果信息反馈给模型计算请求的请求方和/或分布式系统的运营方等，在此并不限定。在一些示例中，分布式系统为分布式机器学习应用系统。对应地，上述第一类节点设备可为CAL节点(即calculation节点)设备，第二类节点设备可为HUB节点(即hub节点)设备，第三类节点设备可为MEM节点(即memory节点)设备。
下面说明应用于该分布式系统中的模型发布方法，具体可由模型发布装置执行。图2为本申请一实施例提供的分布式系统中模型发布方法的流程图。如图2所示，该分布式系统中模型发布方法可包括步骤S201至步骤S204。
在步骤S201中，根据为N个目标模型分别设置的请求流量，将第一类节点设备划分为与N个目标模型对应的N个第一类节点设备组，设置第二类节点设备的路由表。
目标模型为需要发布的模型。N为大于1的整数。在本申请实施例中，在一个分布式系统中可对两个以上的模型进行发布，且不需要对各目标模型分别对应进行不同的系统发布。
在一些示例中，目标模型可包括主模型，还可包括灰度模型和并行模型中的至少一类。主模型为分布式系统中运行的稳定版本的模型。灰度模型为以主模型为基础开发的模型，以灰度发布的方式发布。灰度发布即为使一部分节点设备运行灰度模型，另一部分节点设备运行主模型的发布方式。并行模型为以主模型为基础开发的模型，以并行发布的方式发布。并行发布即为使一部分节点设备即运行主模型，也运行并行模型。运行并行模型的节点设备向用户反馈的结果信息为主模型输出的结果信息，并行模型输出的结果信息可反馈至节点设备的运营方。
请求流量为模型的模型计算请求所占用的流量，具体可以为模型的模型计算请求占用的流量的值，也可为模型的模型计算请求占用的流量占总流量的比例，在此并不限定。
第一类节点设备用于利用模型进行结果运算。可将第一类节点设备按照N个目标模型的请求流量划分为N个第一类节点设备组。每个第一类节点设备组中第一类节点设备的数目与该第一类节点设备组对应的目标模型的请求流量呈正相关关系。例如，目标模型包括模型A1和模型A2，为模型A1设置的请求流量为90％，为模型A2设置的请求流量为10％，则将第一类节点设备中90％的第一类节点设备划分为一个第一类节点设备组，将第一类节点设备中剩余的10％的第一类节点设备划分为另一个第一类节点设备组。
路由表记载有传输信息的路径。第二类节点设备的路由表中可记载有该第二类节点设备转发模型计算请求的路径，使得第二类节点设备按照路由表中转发模型计算请求的路径，能够使请求流量对应的模型计算请求到达与该请求流量对应的第一类节点设备组中的第一类节点设备。例如，为模型A1设置的请求流量为90％，为模型A2设置的请求流量为10％，第二类设备节点能够使模型计算请求中的90％即与模型A1对应的模型计算请求到达与模型A1对应的第一类节点设备组中的第一类节点设备，使模型计算请求中的10％即与模型A2对应的模型计算请求到达与模型A2对应的第一类节点设备组中的第一类节点设备。
在步骤S202中，根据N个目标模型，生成第三类节点设备与N个目标模型对应的输入特征的计算配置信息。
第三类节点设备可生成各模型的输入特征，生成输入特征需要计算配置信息。不同的模型的输入特征的计算配置信息可能不同。在一些示例中，第三类节点设备可生成与N个目标模型对应的输入特征。不同的目标模型的配置可能存在部分相同的情况，对应地，生成的N个目标模型对应的输入特征也可能存在部分相同的情况，为了避免第三类节点设备生成的输入特征的冗余情况以及生成的输入特征的计算配置信息，可将生成的N个目标模型对应的输入特征取并集，将取并集后的输入特征的计算配置信息作为第三类节点设备的配置，便于后续过程中第二类节点设备从第三类节点设备获取输入特征。
在步骤S203中，基于路由表、输入特征和对N个第一类节点设备组的模型生效执行动作，生成分布式系统的第一动作序列。
第一类节点设备组中的第一类节点设备需要使该目标模型生效，目标模型生效后，第一类节点设备可利用生效后的目标模型输出结果信息。模型生效执行动作为使目标生效模型在第一类节点设备生效所需执行的动作。
第一动作序列包括至少一个第一动作指令。每个第一动作指令用于实现一个动作。第一动作序列中排列的第一动作指令用于表征一系列连续的用于实现模型发布的流程的动作，可包括路由表设置动作、输入特征的计算配置信息的生成动作、对N个第一类节点设备组的模型生效执行动作等，在此并不限定。第一动作序列可采用机器语言编写实现，例如，可采用可扩展标记语言(Extensible Markup Language，XML)或其他语言编写，第一动作指令可利用Shell指令或其他指令实现，在此并不限定。为了保证在分布式系统中模型发布的流程的顺利进行，第一动作序列中的第一动作指令具有排列顺序，可按照该排列顺序执行第一动作序列中的第一动作指令，即可完成分布式系统中模型发布的流程。
在步骤S204中，对分布式系统按序执行第一动作序列中的第一动作指令。
对分布式系统按第一动作序列中的第一动作指令的排列顺序执行第一动作指令，完成每个第一动作指令指示的动作，实现路由表的设置、输入特征的计算配置信息的生成和对N个第一类节点设备组的模型生效执行动作，以实现对分布式系统中的各模型的发布。
在本申请实施例中，为各个目标模型设置请求流量，并根据设置的请求流量，将第一类节点设备划分为数目与目标模型的数目相同的第一类节点设备组，以及设置第二节点设备的路由表。根据各个目标模型，生成第三类节点设备与各个目标模型对应的输入特征。基于路由表、输入特征的计算配置信息和对第一类节点设备组的模型生效执行动作，生成第一动作序列。第一动作序列中排列的第一动作指令用于表征一系列连续的用于实现模型发布的流程的动作，可包括路由表设置动作、输入特征的计算配置信息的生成动作、对N个第一类节点设备组的模型生效执行动作。通过执行第一动作序列中的第一动作指令，能够实现各个目标模型在分布式系统中的发布所需的对路由表、输入特征、模型生效的动作，从而实现在一个系统中实现两个以上的目标模型的发布，不需要为每个目标模型的发布对应进行系统发布，从而提高了模型的发布迭代效率。一个系统中实现两个以上的目标模型的发布，不需要为每个目标模型的发布对应进行系统发布，可使不同的目标模型的发布复用系统中的资源，也能够降低模型发布的成本。
而且，通过动作序列的方式，实现各个目标模型发布所需的动作，使得模型发布能够与分布式系统的正常使用同时进行，即在进行模型发布的过程中，不需要停机也可平稳地进行模型的发布。而且本申请实施例中的分布式系统中模型发布方法可应用于各种不同结构的分布式系统，对不同结构的分布式应用兼容性更好，额外资源开销更少。这里模型的发布包括模型的灰度发布、模型的并行发布等，在此并不限定。
在一些实施例中，上述第一动作指令可包括但不限于以下一类或多类：第一指令、第二指令、第三指令、第四指令、第五指令、第六指令。
其中，第一指令用于指示第二类节点设备拉取设置的路由表。第二指令用于指示第二类节点设备加载设置的路由表。第二节点设备加载设置的路由表后，能够按照路由表中的路径传输各类信息。例如，第二类节点设备加载设置的路由表后，能够按照路由表中的路径转发模型计算请求至该目标模型所对应的第一类节点设备组中的第一类节点设备。
第三指令用于指示第三类节点设备拉取与N个目标模型对应的输入特征的计算配置信息。第四指令用于指示第三类节点设备加载与N个目标模型对应的输入特征的计算配置信息。第三类节点设备加载与N个目标模型的对应的输入特征的计算配置信息后，可将根据计算配置信息和目标模型计算得到的输入特征提供给第一类节点设备。
第五指令用于指示一个第一类节点设备组拉取这一个第一类节点设备对应的目标模型的模型配置信息。不同的第一类节点设备组对应不同的目标模型。每个第一类节点设备组中的第一类节点设备拉取与自身对应的目标模型的模型配置信息，以便于后续加载该模型配置信息，完成该目标模型在分布式系统中的生效。
第六指令用于指示一个第一类节点设备组加载这一个第一类节点设备对应的目标模型的模型配置信息的指令。第一类节点设备组中的第一类节点设备加载对应的目标模型的模型配置信息，即表示目标模型在分布式系统的发布生效。
在本申请实施例中，第一动作序列中的第一动作指令具有排列顺序。对分布式系统执行第一动作序列中的第一动作指令，具体是按照第一动作序列中第一动作指令的排列顺序来执行的。
在一些示例中，第一指令和第二指令在第一动作序列中可位于第三指令、第四指令、第五指令和第六指令之前。第三指令和第四指令在第一动作序列中可位于第五指令和第六指令之前。针对同一目标模型，第五指令在第一动作序列中可位于第六指令之前。并不限定不同目标模型的第五指令、第六指令的排列顺序。例如，模型A2对应的第五指令和第六指令在第一动作序列中可位于模型A1对应的第五指令和第六指令之前。
需要说明的是，第一动作序列中第一动作指令的排列顺序包括但不限于上述实施例中的排列顺序。
在一些实施例中，目标模型的种类与目标模型对应的第五指令在第一动作序列中的顺序相关，但并不限定。同一种类的目标模型对应的第五指令在第一动作序列中的顺序可不限定。
在一些示例中，目标模型包括主模型和灰度模型，灰度模型对应的第五指令在第一动作序列中位于主模型对应的第五指令之前。例如，目标模型包括模型A1和模型A2。模型A1为主模型，模型A2为灰度模型。模型A1对应的第五指令为C15，模型A1对应的第六指令为C16；模型A2对应的第五指令为C25，模型A2对应的第六指令为C26。则第一动作序列中第一动作指令的排列顺序应为C25、C26、C15、C16。
在另一些示例中，目标模型包括主模型和并行模型，并行模型对应的第五指令在第一动作序列中位于主模型对应的第五指令之前。例如，目标模型包括模型A1和模型A3。模型A1为主模型，模型A3为并行模型。模型A1对应的第五指令为C15，模型A1对应的第六指令为C16；模型A3对应的第五指令为C35，模型A3对应的第六指令为C36。则第一动作序列中第一动作指令的排列顺序应为C35、C36、C15、C16。
在又一些示例中，目标模型包括灰度模型和并行模型，灰度模型对应的第五指令在第一动作序列中位于并行模型对应的第五指令之前。例如，目标模型包括模型A2和模型A3。模型A2为灰度模型，模型A3为并行模型。模型A2对应的第五指令为C25，模型A2对应的第六指令为C26；模型A3对应的第五指令为C35，模型A3对应的第六指令为C36。则第一动作序列中第一动作指令的排列顺序应为C25、C26、C35、C36。
在目标模型包括主模型、灰度模型和并行模型下，例如，目标模型包括模型A1、模型A2和模型A3。模型A1为主模型，模型A2为灰度模型，模型A3为并行模型。模型A1对应的第五指令为C15，模型A1对应的第六指令为C16；模型A2对应的第五指令为C25，模型A2对应的第六指令为C26；模型A3对应的第五指令为C35，模型A3对应的第六指令为C36。则第一动作序列中第一动作指令的排列顺序应为C25、C26、C35、C36、C15、C16。
在另一些实施例中，上述第一动作指令可包括但不限于以下一类或多类：第七指令、第八指令、第九指令。
其中，第七指令用于指示第二类节点设备拉取及加载设置的路由表。第八指令用于指示第三类节点设备拉取及加载与N个目标模型对应的输入特征的计算配置信息。第九指令用于指示一个第一类节点设备组拉取及加载这一个第一类节点设备对应的目标模型的模型配置信息。
第七指令指示的拉取及加载路由表的内容可参见上述实施例中第一指令和第二指令的相关内容；第八指令指示的拉取及加载计算配置信息的内容可参见上述实施例中第三指令和第四指令的相关内容；第九指令指示的拉取及加载模型配置信息的内容可参见上述实施例中第五指令和第六指令的相关内容，在此不再赘述。
在本申请实施例中，第一动作序列中的第一动作指令具有排列顺序。对分布式系统执行第一动作序列中的第一动作指令，具体是按照第一动作序列中第一动作指令的排列顺序来执行的。
在一些示例中，第七指令在第一动作序列中位于第八指令和第九指令之前。第八指令在第一动作序列中位于第九指令之前。
需要说明的是，第一动作序列中第一动作指令的排列顺序包括但不限于上述实施例中的排列顺序。
在一些实施例中，目标模型的种类与目标模型对应的第九指令在第一动作序列中的顺序相关，但并不限定。同一种类的目标模型对应的第九指令在第一动作序列中的顺序可不限定。
在一些示例中，目标模型包括主模型和灰度模型，灰度模型对应的第九指令在第一动作序列中位于主模型对应的第九指令之前。
在另一些示例中，目标模型包括主模型和并行模型，并行模型对应的第九指令在第一动作序列中位于主模型对应的第九指令之前。
在又一些示例中，目标模型包括灰度模型和并行模型，灰度模型对应的第九指令在第一动作序列中位于并行模型对应的第九指令之前。
第一动作序列中的每个第一动作指令可针对每个第一类节点设备组、每组第二类节点设备、每个第二类节点设备、每组第三类节点设备、每个第三类节点设备执行动作操作，从而可独立对每个第一类节点设备组、每组第二类节点设备、每个第二类节点设备、每组第三类节点设备、每个第三类节点设备等执行动作操作。
例如，下面以一段采用XML编写的第一动作序列的程序，可对节点设备进行更新，具体如下：
Figure BDA0002647091020000111
Figure BDA0002647091020000121
其中，每个<VrGroup>对应一组节点设备，可以为一组第一类节点设备，可以为一组第二类节点设备，也可为第三类节点设备。一组节点设备中的节点设备的配置的变更操作可并行执行。每个<VrTarget>对应一个节点设备。<Actions>记录了该节点设备需要执行的Shell命令即第一动作指令。在模型发布的过程中按照第一动作序列逐个通知对应的节点设备执行shell命令，更新该节点设备的配置，以实现模型发布。
在一些实施例中，可对执行第一动作序列前和/或后的分布式系统进行监控操作，以对分布式系统即将更新或更新后的配置信息进行监控。图3为本申请另一实施例提供的分布式系统中模型发布方法的流程图。图3与图2的不同之处在于，图3所示的分布式系统中模型发布方法还可包括步骤S205和步骤S206。
在步骤S205中，更新监控操作所需的目标配置信息。
更新后的目标配置信息包括空白信息或与N个目标模型关联的配置信息。在一些示例中，步骤S205可在步骤S204之前执行，以在分布式系统中的模型进行更新前，预先对监控操作所需的目标配置信息进行更新。监控操作所需的目标配置信息未更新前是上一次进行模型发布的目标模型关联的配置信息或初始的目标配置信息。在当前进行模型发布的情况下，可将上一次进行模型发布的目标模型关联的配置信息或初始的目标配置信息更新为空白信息，即相当于将目标配置信息初始化。或者，在当前进行模型发布的情况下可将上一次进行模型发布的目标模型关联的配置信息或初始的目标配置信息更新为当前进行模型发布的目标模型关联的配置信息。
模型的发布、生效、对应的请求流量的调整、模型调整都依赖于配置信息的更新。配置信息可包括设置的第二类节点设备的路由表、目标模型的模型配置信息、第三类节点设备的输入特征的计算配置信息。在一些示例中，模型配置信息可包括第一类节点设备的模型文件和模型特征配置。模型特征配置可采用OneHot编码或其他编码实现，在此并不限定。
在步骤S206中，利用与N个目标模型关联的配置信息，更新监控操作所需的目标配置信息。
在一些示例中，步骤S206可在步骤S204之后执行，在步骤S204执行后，目标模型已经在分布式系统中生效。更新前的目标配置信息可为上一次进行模型发布的目标模型关联的配置信息或初始的目标配置信息。若在步骤S204之前执行了步骤S205，则更新前的目标配置信息还可为步骤S205中的空白信息或当前进行模型发布的目标模型关联的配置信息。在当前的目标模型生效的情况下，可将监控操作所需的目标配置信息更新为当前生效的目标模型关联的配置信息。
模型的发布、生效、对应的请求流量的调整、模型调整都依赖于配置信息的更新。配置信息包括设置的第二类节点设备的路由表、目标模型的模型配置信息、第三类节点设备的输入特征的计算配置信息。配置信息的具体内容可参见上述实施例中的相关说明，在此不再赘述。
需要说明的是，也可单独执行步骤S205或步骤S206，并不要求在分布式系统模型发布过程中均执行步骤S205和步骤S206，在此并不限定。
上述步骤S205和步骤S206中的更新监控操作所需的目标配置信息，具体也可通过生成动作序列、执行动作序列中的动作指令的方式实现，在此并不限定。若通过生成动作序列、执行动作序列中的动作指令的方式实现上述步骤S205和步骤S206中的更新监控操作所需的目标配置信息的内容。则该动作序列中的动作指令可用于指示更新监控操作所需的目标配置信息。
在对分布式系统按序执行动作序列中的第一动作指令，完成目标模型的发布后，还可对已发布的目标模型以及分布式系统的运行情况进行监控，以判断是否保留该发布的目标模型，是否需要进行流量调整或告警。图4为本申请又一实施例提供的分布式系统中模型发布方法的流程图。图4与图2的不同之处在于，图4所示的分布式系统中模型发布方法还可包括步骤S207和步骤S208。
在步骤S207中，获取分布式系统中节点设备的监控信息。
监控信息用于表征目标模型生效后该目标模型的状态以及分布式系统的系统状态。后续可根据监控信息判定该目标模型是否适合运行。
在一些示例中，监控信息包括以下一项或多项：第一类节点设备组占用的系统资源、第二类节点设备占用的系统资源、第三类节点设备占用的系统资源、目标模型的模型指标。其中，系统资源具体可包括中央处理器使用率、内存使用率等，在此并不限定。模型指标可包括请求通过率、结果信息准确率等，在此并不限定。请求通过率指发送至模型计算请求指示的目标模型进行计算能够得到结果信息的概率。结果信息准确率为目标模型输出的结果信息准确的概率。
在步骤S208中，在监控信息满足异常条件的情况下，调节为目标模型设置的请求流量，和/或，发出告警。
异常条件为用于表征目标模型存在异常的条件，可预先设置，在此并不限定。监控信息满足异常条件，表示目标模型存在异常。监控信息不满足异常条件，表示目标模型不存在异常。在监控信息满足异常条件的情况下，可调节为目标模型设置的请求流量。具体地，可减小监控信息满足异常条件的目标模型的请求流量，增大监控信息不满足异常条件的目标模型的请求流量。
例如，目标模型包括模型A1和模型A2。模型A1为主模型，请求流量为90％。模型A2为灰度模型，请求流量为10％。若模型A2对应的监控信息满足异常条件，则可将模型A2的请求流量降低至0％，将模型A1的请求流量提升为100％。
又例如，目标模型包括模型A1和模型A2。模型A1为主模型，请求流量为80％。模型A2为灰度模型，请求流量为20％。若模型A2对应的监控信息满足异常条件，则可将模型A2的请求流量降低至10％，将模型A1的请求流量提升为90％，以便于继续监控观察。
需要说明的是，将某灰度模型或并行模型的请求流量调节为0％，相当于将分布式系统的节点设备的模型回退至主模型。
在监控信息满足异常条件的情况下，也可发出告警。具体地，告警可通过显示图像、发声、振动等方式实现，在此并不限定。
可根据监控信息的具体内容以及异常条件的对应的不良影响的严重程度，来确定选用调节为目标模型设置的请求流量或告警，或调节为目标模型设置的请求流量和告警相组合，在此并不限定。
在一些示例中，在监控信息包括第一类节点设备组占用的系统资源的情况下，异常条件包括第一类节点设备组占用的系统资源超过第一预设资源阈值。在第一类节点设备组占用的系统资源超过第一预设资源阈值的情况下，可发出告警，但并不限定。第一预设资源阈值可根据工作场景和工作需求设定，在此并不限定。例如，第一预设资源阈值可为80％。
在另一些示例中，在监控信息包括第二类节点设备占用的系统资源的情况下，异常条件包括第二类节点设备占用的系统资源超过第二预设资源阈值。在第二类节点设备占用的系统资源超过第二预设资源阈值的情况下，可发出告警，但并不限定。第二预设资源阈值可根据工作场景和工作需求设定，在此并不限定。例如，第二预设资源阈值可为80％。
在又一些示例中，在监控信息包括第三类节点设备占用的系统资源的情况下，异常条件包括第三类节点设备占用的系统资源超过第三预设资源阈值。在第三类节点设备占用的系统资源超过第三预设资源阈值的情况下，可发出告警，但并不限定。第三预设资源阈值可根据工作场景和工作需求设定，在此并不限定。例如，第三预设资源阈值可为80％。
在再一些示例中，在监控信息包括目标模型的模型指标的情况下，异常条件包括目标模型的模型指标位于异常指标范围内。例如，目标模型包括灰度模型，在灰度模型的模型指标位于异常指标范围内的情况下，可减小灰度模型的请求流量，并发出告警，但并不限定。又例如，目标模型包括主模型和并行模型，在主模型的模型指标位于异常指标范围内的情况下，可发出告警；在并行模型的模型指标位于异常指标范围内的情况下，可发出告警，但并不限定。异常指标范围可根据工作场景和工作需求设定，在此并不限定。例如，若模型指标为请求通过率，则异常指标范围可为[0，30％]。
需要说明的是，上述异常条件也可相互结合，在此并不限定。在异常条件的数目为多个的情况下，监控信息满足一个异常条件，即可调节为目标模型设置的请求流量和/或发出告警。在异常条件的数目为多个的情况下，监控信息不满足任意一个异常条件，才可确定目标模型运行正常。
执行本申请实施例的分布式系统中模型发布方法的装置可根据监控信息和设置的异常条件，自动发现异常情况，并执行与异常情况相对应的动作，防止目标模型的性能不佳对分布式系统中模型计算请求的处理的影响，提高分布式系统处理模型计算请求相关业务的可靠性。
在对为目标模型设置的请求流量进行调节的情况下，需要更新分布式系统中的各项配置，以使分布式系统的配置与调节后的请求流量相对应。图5为本申请再一实施例提供的分布式系统中模型发布方法的流程图。图5与图2的不同之处在于，图5所示的分布式系统中模型发布方法还可包括步骤S209至步骤S211。
在步骤S209中，在对为目标模型设置的请求流量进行调节的情况下，根据调节后的为各目标模型设置的请求流量，确定与各目标模型对应的更新的第一类节点设备组、第二类节点设备的更新的路由表，以及第三类节点设备的更新的输入特征的计算配置信息。
当为目标模型设置的请求流量被调节后，需要更新节点设备的配置。由于目标模型的请求流量发生了变化，因此需要重新划分第一类节点设备组，也需要更新第二类节点设备的路由表。调节目标模型的请求流量导致目标模型的数目发生变化，还需要更新第三类节点设备的输入特征的计算配置信息。
为了尽可能减小发生变化的第一类节点设备，可将请求流量减小的目标模型对应的第一类节点设备组中的第一类节点设备划分至请求流量增大的目标模型对应的所述第二类节点设备组中。具体地，可确定请求流量减小的目标模型对应的第一类节点设备组中需要划分至请求流量增大的目标模型对应的第一类节点设备组中的移动第一类节点设备，和各目标模型对应的第一类节点设备组中不需要划分至其他的目标模型对应的第一类节点设备组中的非移动第一类节点设备。对于每个第一类节点设备组，根据非移动第一类节点设备和移动第一类节点设备即可确定更新的第一类节点设备组中的第一类节点设备。即更新的第一类节点设备组是根据移动第一类节点设备和非移动第一类节点设备确定的。
例如，在请求流量调节前，目标模型包括模型A1和模型A2，模型A1的请求流量为80％，模型A2的请求流量为20％。在请求流量调节后，模型A1的请求流量调节为90％，模型A2的请求流量为10％，则可保持请求流量调节前模型A1对应的第一类节点设备组中的第一类节点设备不变，将请求流量调节前模型A2对应的第一类节点设备组中的10％的第一类节点设备划分至模型A1对应的第一类节点设备组，以组成请求流量调节后的模型A1对应的第一类节点设备组和流量调节后的模型A2对应的第一类节点设备组。
又例如，在请求流量调节前，目标模型包括模型A1、模型A2和模型A3，模型A1的请求流量为80％，模型A2的请求流量为10％，模型A3的请求流量为10％。在请求流量调节后，模型A1的请求流量调节为90％，模型A2的请求流量为10％，模型A3的请求流量为0％，则可保持请求流量调节前模型A1对应的第一类节点设备组中的第一类节点设备不变，将请求流量调节前模型A3对应的第一类节点设备组中的所有第一类节点设备划分至模型A1对应的第一类节点设备组，以组成请求流量调节后的模型A1对应的第一类节点设备组。
根据非移动第一类节点设备，确定第二类节点设备的临时路由表，临时路由表中的路径指向非移动第一类节点设备。在第一类节点设备组发生变化的过程中，若路由表中的路径指向移动第一类节点设备，则很有可能导致模型计算请求无法正常处理，对分布式系统带来了不良影响。为了避免这种不良影响，需要设定临时路由表，模型计算请求按照该临时路由表，会转发至非移动第一类节点设备，从而避免模型计算请求无法正常处理的情况。
在存在调节后的目标模型的请求流量为0的情况下，生成第三类节点设备与除请求流量为0的目标模型外的目标模型对应的输入特征的计算配置信息，作为更新的输入特征的计算配置信息。调节后的目标模型的请求流量为0，表示该目标模型不再发布，因此第三类节点设备不再需要该模型对应的输入特征的计算配置信息。对应地，应生成第三类节点设备与其他调节后请求流量不为0的目标模型对应的输入特征的计算配置信息。
确定目标路由表，目标路由表中的路径按照调节后的为各目标模型设置的请求流量指向第一类节点设备。在移动第一类节点设备已经移动到作为目的地的第一类节点设备组的情况下，模型计算请求可转发至移动第一类节点设备，因此可确定目标路由表，后续模型计算请求可按照目标路由表中的路径转发。
更新的路由表可包括上述临时路由表和上述目标路由表。
在步骤S210中，基于更新的第一类节点设备组、更新的路由表和更新的输入特征，生成分布式系统的第二动作序列。
第二动作序列包括至少一个第二动作指令。每个第二动作指令用于实现一个动作。第二动作序列中排列的第二动作指令用于表征一些列连续的用于实现请求流量调节后的各个节点设备的更新的动作，可包括路由表更新动作、节点设备分组更新动作、计算配置信息更新动作等，在此并不限定。第二动作序列可采用机器语言编写实现，例如，可采用XML语言编写。第二动作指令可利用Shell指令或其他指令实现，在此并不限定。为了表征在分布式系统中请求流量调节后的各个节点设备的更新能够顺利进行，第二动作序列中的第二动作序列具有排列顺序，可按照该排列顺序执行第二动作序列中的第二动作指令，即可完成请求流量调节后的各个节点设备的更新的流程。
在一些实施例中，第二动作指令可包括但不限于以下一类或多类：第十指令、第十一指令、第十二指令、第十三指令、第十四指令、第十五指令和第十六指令。
其中，第十指令用于指示所述第二类节点设备拉取所述临时路由表。第十一指令用于指示第二类节点设备加载临时路由表。第二类节点设备加载临时路由表后，能够按照临时路由表中的路径传输各类信息。例如，第二类节点设备加载临时路由表后，能够按照临时路由表中的路径转发模型计算请求至非移动第一类节点设备，从而避免模型计算请求无法正常处理的情况。
第十二指令用于指示将移动第一类节点设备划分至请求流量增大的目标模型对应的第一类节点设备组中。执行第十二指令后，即划分得到的更新后的各第一类节点设备组。第二动作指令也可包括上述实施例中的第五指令和第六指令。在更新第一类节点设备组后，可利用上述实施例中的第五指令和第六指令，实现更新后的第一类节点设备组的模型配置信息的拉取和加载，以实现移动第一类节点设备更新后的目标模型的生效。
第十三指令用于指示第三类节点设备拉取更新的输入特征的计算配置信息。第十四指令用于指示第三类节点设备加载更新的输入特征的计算配置信息。第三类节点设备加载更新的输入特征的计算配置信息后，可利用计算配置信息生成流量调节后的各目标模型对应的输入特征，并将输入特征提供给更新后的第一类节点设备组中的第一类节点设备。
第十五指令，用于指示第二类节点设备拉取目标路由表。第十六指令用于指示第二类节点设备清除临时路由表，加载目标路由表。执行第十六指令后，第二类节点设备加载目标路由表，即第二类节点设备可按照目标路由表中的路径传输各类信息。例如，第二类节点设备加载目标路由表后，能够按照目标路由表中的路径转发模型计算请求至更新后的第一类节点设备组中的第一类节点设备。
在本申请实施例中，第二动作序列中的第二动作指令具有排列顺序。对分布式系统执行第二动作序列中的第二动作指令，具体是按照第二动作序列中第二动作指令的排列顺序来执行的。
在一些示例中，第十指令和第十一指令在第二动作序列中位于第十二指令、第十三指令、第十四指令、第十五指令和第十六指令之前。第十二指令在第二动作序列中位于第十三指令、第十四指令、第十五指令和第十六指令之前。在第二动作序列中还包括第五指令和第六指令的情况下，第五指令在第二动作序列中可位于第六指令之前。第五指令和第六指令在第二动作序列中可位于第十二指令之后，但并不限定。
在另一些实施例中，第二动作指令可包括但不限于以下一类或多类：第十七指令、第十八指令、第十九指令、第二十指令。
其中，第十七指令用于指示第二类节点设备拉取及加载临时路由表。第十八指令用于指示将移动第一类节点设备划分至请求流量增大的目标模型对应的第一类节点设备组中。第十九指令用于指示第三类节点设备拉取及加载更新的输入特征的计算配置信息。第二十指令用于指示第二类节点设备清除临时路由表，拉取及加载目标路由表。
第十七指令指示的拉取及加载临时路由表的内容可参见上述实施例中第十指令和第十一指令的相关内容；第十八指令的内容可参见上述实施例中第十二指令的相关内容；第十九指令指示的拉取及加载更新的输入特征的计算配置信息的具体内容可参见上述实施例中第十三指令和第十四指令的相关内容；第二十指令指示的清除临时路由表，拉取及加载目标路由表的具体内容可参见上述实施例中第十五指令和第十六指令的相关内容。
在本申请实施例中，第二动作序列中的第二动作指令具有排列顺序。对分布式系统执行第二动作序列中的第二动作指令，具体是按照第二动作序列中第二动作指令的排列顺序来执行的。
在一些示例中，第十七指令在第二动作序列中位于第十八指令、第十九指令和第二十指令之前。第十八指令在第二动作序列中位于第十九指令和第二十指令之前。在第二动作序列中还包括第五指令和第六指令的情况下，第五指令在第二动作序列中可位于第六指令之前。第五指令和第六指令在第二动作序列中可位于第十八指令之后，但并不限定。
需要说明的是，第二动作序列中第二动作指令的排列顺序包括但不限于上述实施例中的排列顺序。
在步骤S211中，对分布式系统按序执行第二动作序列中的第二动作指令。
对分布式系统按第二动作序列中的第二动作指令的排列顺序执行第二动作指令，完成每个第二动作指令指示的动作，实现请求流量调节后的各个节点设备的更新的动作，以实现对分布式系统中的请求流量调节的更新。
在本申请实施例中，还可通过可视交互界面显示对模型和系统的监听信息和监控信息，从而能够直观对比主模型、灰度模型、并行模型之间的性能差异。也可通过可视交互界面接收模型发布、流量调整、模型回退、模型生效等功能的控制输入，模型发布、流量调整、模型回退、模型生效等操作更加直观。
上述实施例中的第一类节点设备、第二类节点设备和第三类节点设备中的两项或三项也可集成为一个节点设备，上述实施例中的节点设备还可包括其他类型和功能的节点设备，则上述实施例中的动作序列(包括第一动作序列、第二动作序列)中的动作指令(包括第一动作指令、第二动作指令)也可包括用于指示集成的节点设备和/或其他类型和功能的节点设备的拉取、加载、划分等动作，在此并不限定。
执行该分布式系统中模型发布方法的装置可为一体化装置，也可为分布式装置，在此并不限定。在一些示例中，执行该分布式系统中模型发布方法的装置按照功能开发可包括交互界面单元、模型发布主控单元、监听单元、监控单元和分布式协调单元。其中，执行该分布式系统中模型发布方法的装置可包括多个监听单元，每个节点设备中可设置有监听单元。图6为本申请实施例中按照功能开发划分的单元执行分布式系统中模型发布方法的一示例的流程图。如图6所示，该分布式系统中模型发布方法可包括步骤S301至步骤S322。
在步骤S301中，交互界面单元可向模型发布主控单元发送功能触发指令，功能触发指令可指示包括模型发布、模型回退、请求流量调节、生效等功能的触发。
在步骤S302中，模型发布主控单元划分得到第一类节点设备组，设置第二类节点设备的路由表，生成第三类节点设备用于计算模型的输入特征的计算配置信息，并根据第一类节点设备组、路由表和计算配置信息，生成动作序列。
在步骤S303中，模型发布主控单元向分布式协调单元发送通知，以使分布式协调服务通知监控单元。
在步骤S304中，分布式协调单元向监控单元发送通知。
在步骤S305中，监控单元响应该通知，从模型发布主控单元拉取监控操作所需的目标配置信息。
在步骤S306中，模型发布主控单元向监控单元反馈目标配置信息。
在步骤S307中，监控单元加载目标配置信息，使目标配置信息生效。
在步骤S308中，监控单元向模型发布主控单元反馈生效成功通知。
在步骤S309中，模型发布主控单元按动作序列中动作指令的顺序向分布式协调单元发送通知，以使分布式协调单元按序通知各设置于节点设备的监听单元。
在步骤S310中，分布式协调单元向按序向各设置于节点设备的监听单元发送通知。
在步骤S311中，监听单元响应该通知，从模型发布主控单元拉取节点设备的配置信息。
配置信息可包括路由表、计算配置信息、模型配置信息等，在此并不限定。
在步骤S312中，模型发布主控单元向监听单元反馈配置信息。
在步骤S313中，监听单元控制节点设备加载配置信息，使配置信息生效。
在步骤S314中，监听单元向模型发布主控单元反馈生效成功通知。
在步骤S315中，监听单元向分布式协调单元发送通知，以使分布式协调单元通知监控单元。
在步骤S316中，模型发布主控单元向分布式协调单元发送通知，以使分布式协调单元通知监控单元。
在步骤S317中，分布式协调单元向监控单元向监控单元发送通知。
在步骤S318中，监控单元响应该通知，从模型发布主控单元拉取监控操作所需的目标配置信息。
在步骤S319中，模型发布主控单元向监控单元反馈目标配置信息。
在步骤S320中，监控单元加载目标配置信息，使目标配置信息生效。
在步骤S321中，监控单元向模型发布主控单元反馈生效成功通知。
在步骤S322中，模型发布主控单元向交互界面单元反馈操作成功信息。
在模型发布中或模型发布后，均可对分布式系统和分布式系统中的模型进行监控。图7为本申请实施例中按照功能开发划分的单元执行对分布式系统和模型的监控的一示例的流程图。如图7所示，对分布式系统和模型的监控可包括步骤S401至步骤S420。
在步骤S401中，监听单元采集分布式系统中节点设备的监控信息。
在步骤S402中，监听单元可向分布式协调单元发送采集的监控信息，以更新分布式协调单元中的监控信息。
在步骤S403中，监控单元向分布式协调单元请求读取监控信息。
在步骤S404中，分布式协调单元向监控单元反馈监控信息。
在步骤S405中，监控单元根据监控信息进行异常分析，得到异常分析结果。
在步骤S406中，监控单元向模型发布主控单元发送异常分析结果。
在步骤S407中，模型发布主控单元根据异常分析结果执行对应动作，例如，调节模型的请求流量，发出告警等。调节模型的请求流量的一系列动作可通过动作序列实现，在此并不限定。
本申请实施例还提供了一种分布式系统中模型发布装置。分布式系统的具体内容可参见上述实施例的相关说明，在此不再赘述。图8为本申请一实施例提供的分布式系统中模型发布装置的结构示意图。如图8所示，该分布式系统中模型发布装置500可包括第一处理模块501、第二处理模块502、序列生成模块503和执行模块504。
第一处理模块501可用于根据为N个目标模型分别设置的请求流量，将第一类节点设备划分为与N个目标模型对应的N个第一类节点设备组，设置第二类节点设备的路由表。
N为大于1的整数。
在一些示例中，目标模型包括主模型，目标模型还包括灰度模型和并行模型中的至少一类。
第二处理模块502可用于根据N个目标模型，生成第三类节点设备与N个目标模型对应的输入特征的计算配置信息。
序列生成模块503可用于基于路由表、输入特征和对N个第一类节点设备组的模型生效执行动作，生成分布式系统的第一动作序列。
第一动作序列包括至少一个第一动作指令。
在一些实施例中，第一动作指令可包括以下一类或多类：第一指令、第二指令、第三指令、第四指令、第五指令、第六指令。
第一指令用于指示第二类节点设备拉取设置的路由表。第二指令用于指示第二类节点设备加载设置的路由表。第三指令用于指示第三类节点设备拉取与N个目标模型对应的输入特征的计算配置信息。第四指令用于指示第三类节点设备加载与N个目标模型对应的输入特征的计算配置信息。第五指令用于指示一个第一类节点设备组拉取这一个第一类节点设备对应的目标模型的模型配置信息。第六指令用于指示一个第一类节点设备组加载这一个第一类节点设备对应的目标模型的模型配置信息的指令。
在一些示例中，第一指令和第二指令在第一动作序列中位于第三指令、第四指令、第五指令和第六指令之前。第三指令和第四指令在第一动作序列中位于第五指令和第六指令之前。针对同一目标模型，第五指令在第一动作序列中位于第六指令之前。
在一些示例中，目标模型包括主模型和灰度模型，灰度模型对应的第五指令在第一动作序列中位于主模型对应的第五指令之前。目标模型包括主模型和并行模型，并行模型对应的第五指令在第一动作序列中位于主模型对应的第五指令之前。目标模型包括灰度模型和并行模型，灰度模型对应的第五指令在第一动作序列中位于并行模型对应的第五指令之前。
在另一些实施例中，第一动作指令包括以下一类或多类：第七指令、第八指令、第九指令。
其中，第七指令用于指示第二类节点设备拉取及加载设置的路由表。第八指令用于指示第三类节点设备拉取及加载与N个目标模型对应的输入特征的计算配置信息。第九指令用于指示一个第一类节点设备组拉取及加载这一个第一类节点设备对应的目标模型的模型配置信息。
在一些示例中，第七指令在第一动作序列中位于第八指令和第九指令之前。第八指令在第一动作序列中位于第九指令之前。
在一些示例中，目标模型包括主模型和灰度模型，灰度模型对应的第九指令在第一动作序列中位于主模型对应的第九指令之前。目标模型包括主模型和并行模型，并行模型对应的第九指令在第一动作序列中位于主模型对应的第九指令之前。目标模型包括灰度模型和并行模型，灰度模型对应的第九指令在第一动作序列中位于并行模型对应的第九指令之前。
执行模块504可用于对分布式系统按序执行第一动作序列中的第一动作指令。
在本申请实施例中，为各个目标模型设置请求流量，并根据设置的请求流量，将第一类节点设备划分为数目与目标模型的数目相同的第一类节点设备组，以及设置第二节点设备的路由表。根据各个目标模型，生成第三类节点设备与各个目标模型对应的输入特征。基于路由表、输入特征的计算配置信息和对第一类节点设备组的模型生效执行动作，生成第一动作序列。第一动作序列中排列的第一动作指令用于表征一系列连续的用于实现模型发布的流程的动作，可包括路由表设置动作、输入特征的计算配置信息的生成动作、对N个第一类节点设备组的模型生效执行动作。通过执行第一动作序列中的第一动作指令，能够实现各个目标模型在分布式系统中的发布所需的对路由表、输入特征、模型生效的动作，从而实现在一个系统中实现两个以上的目标模型的发布，不需要为每个目标模型的发布对应进行系统发布，从而提高了模型的发布迭代效率。一个系统中实现两个以上的目标模型的发布，不需要为每个目标模型的发布对应进行系统发布，可使不同的目标模型的发布复用系统中的资源，也能够降低模型发布的成本。
而且，通过动作序列的方式，实现各个目标模型发布所需的动作，使得模型发布能够与分布式系统的正常使用同时进行，即在进行模型发布的过程中，不需要停机也可平稳地进行模型的发布。这里模型的发布包括模型的灰度发布、模型的并行发布等，在此并不限定。
图9为本申请另一实施例提供的分布式系统中模型发布装置的结构示意图。图9与图8的不同之处在于，图9所示的分布式系统中模型发布装置还可包括监控配置更新模块505。
在一些示例中，监控配置更新模块505可用于在执行模块504对分布式系统按序执行第一动作序列中的第一动作指令之后，利用与N个目标模型关联的配置信息，更新监控操作所需的目标配置信息。
配置信息包括设置的第二类节点设备的路由表、目标模型的模型配置信息、第三类节点设备的输入特征的计算配置信息。
在一些示例中，监控配置更新模块505可用于在执行模块504对分布式系统按序执行第一动作序列中的第一动作指令之前，更新监控操作所需的目标配置信息。
更新后的目标配置信息包括空白信息或与N个目标模型关联的配置信息。配置信息包括设置的第二类节点设备的路由表、目标模型的模型配置信息、第三类节点设备的输入特征的计算配置信息。
图10为本申请又一实施例提供的分布式系统中模型发布装置的结构示意图。图10与图8的不同之处在于，图10所示的分布式系统中模型发布装置还可包括信息获取模块506和异常决策模块507。
信息获取模块506可用于获取分布式系统中节点设备的监控信息。
在一些示例中，监控信息包括以下一项或多项：第一类节点设备组占用的系统资源、第二类节点设备占用的系统资源、第三类节点设备占用的系统资源、目标模型的模型指标。
异常决策模块507可用于在监控信息满足异常条件的情况下，调节为目标模型设置的请求流量，和/或，发出告警。
在一些示例中，在监控信息包括第一类节点设备组占用的系统资源的情况下，异常条件包括第一类节点设备组占用的系统资源超过第一预设资源阈值。
在另一些示例中，在监控信息包括第二类节点设备占用的系统资源的情况下，异常条件包括第二类节点设备占用的系统资源超过第二预设资源阈值。
在又一些示例中，在监控信息包括第三类节点设备占用的系统资源的情况下，异常条件包括第三类节点设备占用的系统资源超过第三预设资源阈值。
在再一些示例中，在监控信息包括目标模型的模型指标的情况下，异常条件包括目标模型的模型指标位于异常指标范围内。
图11为本申请再一实施例提供的分布式系统中模型发布装置的结构示意图。图11与图8的不同之处在于，图11所示的分布式系统中模型发布装置还可包括第三处理模块508。
第三处理模块508可用于在对为目标模型设置的请求流量进行调节的情况下，根据调节后的为各目标模型设置的请求流量，确定与各目标模型对应的更新的第一类节点设备组、第二类节点设备的更新的路由表，以及第三类节点设备的更新的输入特征的计算配置信息。
具体地，上述第三处理模块508可用于：确定请求流量减小的目标模型对应的第一类节点设备组中需要划分至请求流量增大的目标模型对应的第一类节点设备组中的移动第一类节点设备，和各目标模型对应的第一类节点设备组中不需要划分至其他的目标模型对应的第一类节点设备组中的非移动第一类节点设备；根据非移动第一类节点设备，确定第二类节点设备的临时路由表；在存在调节后的目标模型的请求流量为0的情况下，生成第三类节点设备与除请求流量为0的目标模型外的目标模型对应的输入特征的计算配置信息，作为更新的输入特征的计算配置信息；确定目标路由表。
其中，临时路由表中的路径指向非移动第一类节点设备。目标路由表中的路径按照调节后的为各目标模型设置的请求流量指向第一类节点设备。更新的第一类节点设备组根据移动第一类节点设备和非移动第一类节点设备确定。更新的路由表包括临时路由表和目标路由表。
上述序列生成模块503还可用于基于更新的第一类节点设备组、更新的路由表和更新的输入特征的计算配置信息，生成分布式系统的第二动作序列。
第二动作序列包括至少一个第二动作指令。
在一些实施例中，第二动作指令包括以下一类或多类：第十指令、第十一指令、第十二指令、第十三指令、第十四指令、第十五指令、第十六指令。
第十指令用于指示第二类节点设备拉取临时路由表。第十一指令用于指示第二类节点设备加载临时路由表。第十二指令用于指示将移动第一类节点设备划分至请求流量增大的目标模型对应的第一类节点设备组中。第十三指令用于指示第三类节点设备拉取更新的输入特征的计算配置信息。第十四指令用于指示第三类节点设备加载更新的输入特征的计算配置信息。第十五指令用于指示第二类节点设备拉取目标路由表。第十六指令用于指示第二类节点设备清除临时路由表，加载目标路由表。
在一些示例中，第十指令和第十一指令在第二动作序列中位于第十二指令、第十三指令、第十四指令、第十五指令和第十六指令之前。第十二指令在第二动作序列中位于第十三指令、第十四指令、第十五指令和第十六指令之前。
在另一些实施例中，第二动作指令包括以下一类或多类：第十七指令、第十八指令、第十九指令、第二十指令。
第十七指令用于指示第二类节点设备拉取及加载临时路由表。第十八指令用于指示将移动第一类节点设备划分至请求流量增大的目标模型对应的第一类节点设备组中。第十九指令用于指示第三类节点设备拉取及加载更新的输入特征的计算配置信息。第二十指令用于指示第二类节点设备清除临时路由表，拉取及加载目标路由表。
在一些示例中，第十七指令在第二动作序列中位于第十八指令、第十九指令和第二十指令之前。第十八指令在第二动作序列中位于第十九指令和第二十指令之前。
上述执行模块504还可用于对分布式系统按序执行第二动作序列中的第二动作指令。
本申请实施例还提供了一种分布式系统中模型发布设备。图12为本申请实施例提供的分布式系统中模型发布设备的结构示意图。如图12所示，分布式系统中模型发布设备600包括存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序。
在一个示例中，上述处理器602可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器601可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器601可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。
存储器可包括只读存储器(Read-Only Memory，ROM)，随机存取存储器(RandomAccess Memory，RAM)，磁盘存储介质设备，光存储介质设备，闪存设备，电气、光学或其他物理/有形的存储器存储设备。因此，通常，存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如，存储器设备)，并且当该软件被执行(例如，由一个或多个处理器)时，其可操作来执行参考根据本申请分布式系统中模型发布方法所描述的操作。
处理器602通过读取存储器601中存储的可执行程序代码来运行与可执行程序代码对应的计算机程序，以用于实现上述实施例中分布式系统中模型发布方法。
在一个示例中，分布式系统中模型发布设备600还可包括通信接口603和总线604。其中，如图12所示，存储器601、处理器602、通信接口603通过总线604连接并完成相互间的通信。
通信接口603，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。也可通过通信接口603接入输入设备和/或输出设备。
总线604包括硬件、软件或两者，将分布式系统中模型发布设备600的部件彼此耦接在一起。举例来说而非限制，总线604可包括加速图形端口(Accelerated GraphicsPort，AGP)或其他图形总线、增强工业标准架构(Enhanced Industry StandardArchitecture，EISA)总线、前端总线(Front Side Bus，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(Industrial Standard Architecture，ISA)总线、无限带宽互连、低引脚数(Low pin count，LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，MCA)总线、外围组件互连(Peripheral Component Interconnect，PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial Advanced TechnologyAttachment，SATA)总线、视频电子标准协会局部(Video Electronics StandardsAssociation Local Bus，VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线604可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时可实现上述实施例中的分布式系统中模型发布方法，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，上述计算机可读存储介质可包括只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等，在此并不限定。
需要明确的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。对于装置实施例、设备实施例、计算机可读存储介质实施例而言，相关之处可以参见方法实施例的说明部分。本申请并不局限于上文所描述并在图中示出的特定步骤和结构。本领域的技术人员可以在领会本申请的精神之后，作出各种改变、修改和添加，或者改变步骤之间的顺序。并且，为了简明起见，这里省略对已知方法技术的详细描述。
上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
本领域技术人员应能理解，上述实施例均是示例性而非限制性的。在不同实施例中出现的不同技术特征可以进行组合，以取得有益效果。本领域技术人员在研究附图、说明书及权利要求书的基础上，应能理解并实现所揭示的实施例的其他变化的实施例。在权利要求书中，术语“包括”并不排除其他装置或步骤；数量词“一个”不排除多个；术语“第一”、“第二”用于标示名称而非用于表示任何特定的顺序。权利要求中的任何附图标记均不应被理解为对保护范围的限制。权利要求中出现的多个部分的功能可以由一个单独的硬件或软件模块来实现。某些技术特征出现在不同的从属权利要求中并不意味着不能将这些技术特征进行组合以取得有益效果。

Claims (22)

1.一种分布式系统中模型发布方法，其特征在于，所述分布式系统包括多个节点设备，所述节点设备包括第一类节点设备、第二类节点设备和第三类节点设备，所述第一类节点设备用于利用模型进行结果运算，所述第二类节点设备用于传输信息，所述第三类节点设备用于生成所述模型的输入特征；
所述方法包括：
根据为N个目标模型分别设置的请求流量，将所述第一类节点设备划分为与N个所述目标模型对应的N个第一类节点设备组，设置所述第二类节点设备的路由表，N为大于1的整数；
根据N个所述目标模型，生成所述第三类节点设备与N个所述目标模型对应的所述输入特征的计算配置信息；
基于所述路由表、所述输入特征和对N个所述第一类节点设备组的模型生效执行动作，生成所述分布式系统的第一动作序列，所述第一动作序列包括至少一个第一动作指令；
对所述分布式系统按序执行所述第一动作序列中的所述第一动作指令。
2.根据权利要求1所述的方法，其特征在于，所述目标模型包括主模型，所述目标模型还包括灰度模型和并行模型中的至少一类。
3.根据权利要求1所述的方法，其特征在于，所述第一动作指令包括以下一类或多类：
第一指令，用于指示所述第二类节点设备拉取设置的所述路由表；
第二指令，用于指示所述第二类节点设备加载设置的所述路由表；
第三指令，用于指示所述第三类节点设备拉取与N个所述目标模型对应的所述输入特征的计算配置信息；
第四指令，用于指示所述第三类节点设备加载与N个所述目标模型对应的所述输入特征的计算配置信息；
第五指令，用于指示一个所述第一类节点设备组拉取这一个所述第一类节点设备对应的所述目标模型的模型配置信息；
第六指令，用于指示一个所述第一类节点设备组加载这一个所述第一类节点设备对应的所述目标模型的模型配置信息的指令。
4.根据权利要求3所述的方法，其特征在于，
所述第一指令和所述第二指令在所述第一动作序列中位于所述第三指令、所述第四指令、所述第五指令和所述第六指令之前；
所述第三指令和所述第四指令在所述第一动作序列中位于所述第五指令和所述第六指令之前；
针对同一所述目标模型，所述第五指令在所述第一动作序列中位于所述第六指令之前。
5.根据权利要求3或4所述的方法，其特征在于，
在所述目标模型包括主模型和灰度模型的情况下，所述灰度模型对应的所述第五指令在所述第一动作序列中位于所述主模型对应的所述第五指令之前；
在所述目标模型包括主模型和并行模型的情况下，所述并行模型对应的所述第五指令在所述第一动作序列中位于所述主模型对应的所述第五指令之前；
在所述目标模型包括灰度模型和并行模型的情况下，所述灰度模型对应的所述第五指令在所述第一动作序列中位于所述并行模型对应的所述第五指令之前。
6.根据权利要求1所述的方法，其特征在于，所述第一动作指令包括以下一类或多类：
第七指令，用于指示所述第二类节点设备拉取及加载设置的所述路由表；
第八指令，用于指示所述第三类节点设备拉取及加载与N个所述目标模型对应的所述输入特征的计算配置信息；
第九指令，用于指示一个所述第一类节点设备组拉取及加载这一个所述第一类节点设备对应的所述目标模型的模型配置信息。
7.根据权利要求6所述的方法，其特征在于，
所述第七指令在所述第一动作序列中位于所述第八指令和所述第九指令之前；
所述第八指令在所述第一动作序列中位于所述第九指令之前。
8.根据权利要求6或7所述的方法，其特征在于，
在所述目标模型包括主模型和灰度模型的情况下，所述灰度模型对应的所述第九指令在所述第一动作序列中位于所述主模型对应的所述第九指令之前；
在所述目标模型包括主模型和并行模型的情况下，所述并行模型对应的所述第九指令在所述第一动作序列中位于所述主模型对应的所述第九指令之前；
在所述目标模型包括灰度模型和并行模型的情况下，所述灰度模型对应的所述第九指令在所述第一动作序列中位于所述并行模型对应的所述第九指令之前。
9.根据权利要求1所述的方法，其特征在于，在所述对所述分布式系统按序执行所述第一动作序列中的所述第一动作指令之后，还包括：
利用与N个所述目标模型关联的配置信息，更新监控操作所需的目标配置信息，所述配置信息包括设置的所述第二类节点设备的所述路由表、所述目标模型的模型配置信息、所述第三类节点设备的输入特征的计算配置信息。
10.根据权利要求1所述的方法，其特征在于，在所述对所述分布式系统按序执行所述第一动作序列中的所述第一动作指令之前，还包括：
更新监控操作所需的目标配置信息，更新后的目标配置信息包括空白信息或与N个所述目标模型关联的配置信息，所述配置信息包括设置的所述第二类节点设备的所述路由表、所述目标模型的模型配置信息、所述第三类节点设备的输入特征的计算配置信息。
11.根据权利要求1所述的方法，其特征在于，在所述对所述分布式系统按序执行所述动作序列中的所述第一动作指令之后，还包括：
获取所述分布式系统中所述节点设备的监控信息；
在监控信息满足异常条件的情况下，调节为所述目标模型设置的请求流量，和/或，发出告警。
12.根据权利要求11所述的方法，其特征在于，所述监控信息包括以下一项或多项：
所述第一类节点设备组占用的系统资源、所述第二类节点设备占用的系统资源、所述第三类节点设备占用的系统资源、所述目标模型的模型指标。
13.根据权利要求12所述的方法，其特征在于，
在所述监控信息包括所述第一类节点设备组占用的系统资源的情况下，所述异常条件包括所述第一类节点设备组占用的系统资源超过第一预设资源阈值；
在所述监控信息包括所述第二类节点设备占用的系统资源的情况下，所述异常条件包括所述第二类节点设备占用的系统资源超过第二预设资源阈值；
在所述监控信息包括所述第三类节点设备占用的系统资源的情况下，所述异常条件包括所述第三类节点设备占用的系统资源超过第三预设资源阈值；
在所述监控信息包括所述目标模型的模型指标的情况下，所述异常条件包括所述目标模型的模型指标位于异常指标范围内。
14.根据权利要求1所述的方法，其特征在于，还包括：
在对为所述目标模型设置的请求流量进行调节的情况下，根据调节后的为各所述目标模型设置的请求流量，确定与各所述目标模型对应的更新的所述第一类节点设备组、所述第二类节点设备的更新的所述路由表，以及所述第三类节点设备的更新的所述输入特征的所述计算配置信息；
基于所述更新的所述第一类节点设备组、更新的所述路由表和更新的所述输入特征的所述计算配置信息，生成所述分布式系统的第二动作序列，所述第二动作序列包括至少一个第二动作指令；
对所述分布式系统按序执行所述第二动作序列中的所述第二动作指令。
15.根据权利要求14所述的方法，其特征在于，所述根据调节后的为各所述目标模型设置的请求流量，确定与各所述目标模型对应的更新的所述第一类节点设备组、所述第二类节点设备的更新的所述路由表，以及所述第三类节点设备的更新的所述输入特征，包括：
确定请求流量减小的所述目标模型对应的第一类节点设备组中需要划分至请求流量增大的所述目标模型对应的所述第一类节点设备组中的移动第一类节点设备，和各所述目标模型对应的所述第一类节点设备组中不需要划分至其他的所述目标模型对应的所述第一类节点设备组中的非移动第一类节点设备；
根据所述非移动第一类节点设备，确定所述第二类节点设备的临时路由表，所述临时路由表中的路径指向所述非移动第一类节点设备；
在存在调节后的所述目标模型的请求流量为0的情况下，生成所述第三类节点设备与除请求流量为0的所述目标模型外的所述目标模型对应的所述输入特征的所述计算配置信息，作为更新的所述输入特征的所述计算配置信息；
确定目标路由表，所述目标路由表中的路径按照调节后的为各所述目标模型设置的请求流量指向所述第一类节点设备；
其中，所述更新的所述第一类节点设备组根据所述移动第一类节点设备和所述非移动第一类节点设备确定，所述更新的所述路由表包括所述临时路由表和所述目标路由表。
16.根据权利要求15所述的方法，其特征在于，所述第二动作指令包括以下一类或多类：
第十指令，用于指示所述第二类节点设备拉取所述临时路由表；
第十一指令，用于指示所述第二类节点设备加载所述临时路由表；
第十二指令，用于指示将所述移动第一类节点设备划分至请求流量增大的所述目标模型对应的所述第一类节点设备组中；
第十三指令，用于指示所述第三类节点设备拉取所述更新的所述输入特征的所述计算配置信息；
第十四指令，用于指示所述第三类节点设备加载所述更新的所述输入特征的所述计算配置信息；
第十五指令，用于指示所述第二类节点设备拉取所述目标路由表；
第十六指令，用于指示所述第二类节点设备清除所述临时路由表，加载所述目标路由表。
17.根据权利要求16所述的方法，其特征在于，
所述第十指令和第十一指令在所述第二动作序列中位于所述第十二指令、所述第十三指令、所述第十四指令、所述第十五指令和所述第十六指令之前；
所述第十二指令在所述第二动作序列中位于所述第十三指令、所述第十四指令、所述第十五指令和所述第十六指令之前。
18.根据权利要求15所述的方法，其特征在于，所述第二动作指令包括以下一类或多类：
第十七指令，用于指示所述第二类节点设备拉取及加载所述临时路由表；
第十八指令，用于指示将所述移动第一类节点设备划分至请求流量增大的所述目标模型对应的所述第一类节点设备组中；
第十九指令，用于指示所述第三类节点设备拉取及加载所述更新的所述输入特征的所述计算配置信息；
第二十指令，用于指示第二类节点设备清除所述临时路由表，拉取及加载所述目标路由表。
19.根据权利要求18所述的方法，其特征在于，
所述第十七指令在所述第二动作序列中位于所述第十八指令、所述第十九指令和所述第二十指令之前；
所述第十八指令在所述第二动作序列中位于所述第十九指令和所述第二十指令之前。
20.一种分布式系统中模型发布装置，其特征在于，所述分布式系统包括多个节点设备，所述节点设备包括第一类节点设备、第二类节点设备和第三类节点设备，所述第一类节点设备用于利用模型进行结果运算，所述第二类节点设备用于传输信息，所述第三类节点设备用于生成所述模型的输入特征；
所述装置包括：
第一处理模块，用于根据为N个目标模型分别设置的请求流量，将所述第一类节点设备划分为与N个所述目标模型对应的N个第一类节点设备组，设置所述第二类节点设备的路由表，N为大于1的整数；
第二处理模块，用于根据N个所述目标模型，生成所述第三类节点设备与N个所述目标模型对应的所述输入特征的计算配置信息；
序列生成模块，用于基于所述路由表、所述输入特征和对N个所述第一类节点设备组的模型生效执行动作，生成所述分布式系统的第一动作序列，所述第一动作序列包括至少一个第一动作指令；
执行模块，用于对所述分布式系统按序执行所述第一动作序列中的所述第一动作指令。
21.一种分布式系统中模型发布设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；
所述处理器执行所述计算机程序指令时实现如权利要求1至19中任意一项所述的分布式系统中模型发布方法。
22.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1至19中任意一项所述的分布式系统中模型发布方法。
CN202010857908.XA 2020-08-24 2020-08-24 分布式系统中模型发布方法、装置、设备、存储介质 Active CN112104706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010857908.XA CN112104706B (zh) 2020-08-24 2020-08-24 分布式系统中模型发布方法、装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010857908.XA CN112104706B (zh) 2020-08-24 2020-08-24 分布式系统中模型发布方法、装置、设备、存储介质

Publications (2)

Publication Number Publication Date
CN112104706A CN112104706A (zh) 2020-12-18
CN112104706B true CN112104706B (zh) 2022-12-20

Family

ID=73753280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010857908.XA Active CN112104706B (zh) 2020-08-24 2020-08-24 分布式系统中模型发布方法、装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN112104706B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113703826A (zh) * 2021-07-29 2021-11-26 北京三快在线科技有限公司 响应数据处理请求的方法、装置、设备以及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815338A (zh) * 2016-12-25 2017-06-09 北京中海投资管理有限公司 一种大数据的实时存储、处理和查询系统
CN109542816A (zh) * 2018-10-29 2019-03-29 中国电子科技集团公司第二十九研究所 一种基于分布式系统的服务总线构造方法
CN109558301A (zh) * 2018-12-03 2019-04-02 郑州云海信息技术有限公司 一种分布式系统数据监测方法、装置及相关设备
CN109831478A (zh) * 2018-12-19 2019-05-31 天翼电子商务有限公司 基于规则及模型的分布式实时处理智能决策系统及方法
CN109978177A (zh) * 2019-03-19 2019-07-05 腾讯科技（深圳）有限公司 模型训练方法、业务处理方法、装置及相关设备
CN111291816A (zh) * 2020-02-17 2020-06-16 支付宝(杭州)信息技术有限公司 针对用户分类模型进行特征处理的方法及装置
CN111385122A (zh) * 2018-12-29 2020-07-07 广州市百果园信息技术有限公司 分布式系统链路跟踪方法、装置、计算机设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105637906B (zh) * 2014-01-29 2019-01-15 华为技术有限公司 一种网络构架方法、一种业务分配方法及相关装置
CN105867928B (zh) * 2016-03-30 2019-06-04 北京奇虎科技有限公司 一种在指定分布式系统中接入指定计算模型的方法和装置
CN107357639B (zh) * 2016-05-09 2019-09-17 腾讯科技（深圳）有限公司 一种分布式处理系统、数据处理的方法及设备
US10839314B2 (en) * 2016-09-15 2020-11-17 Infosys Limited Automated system for development and deployment of heterogeneous predictive models
CN109271602B (zh) * 2018-09-05 2020-09-15 腾讯科技（深圳）有限公司 深度学习模型发布方法及装置
CN110138593B (zh) * 2019-04-11 2021-09-14 上海卫星工程研究所 基于smc网络的分布式系统仿真通信系统
CN110266771B (zh) * 2019-05-30 2022-11-22 王静逸 分布式智能节点及分布式群体智能统部署方法
CN111340235A (zh) * 2020-02-29 2020-06-26 苏州浪潮智能科技有限公司 一种兼容多种训练方式的深度学习分布式训练方法与系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815338A (zh) * 2016-12-25 2017-06-09 北京中海投资管理有限公司 一种大数据的实时存储、处理和查询系统
CN109542816A (zh) * 2018-10-29 2019-03-29 中国电子科技集团公司第二十九研究所 一种基于分布式系统的服务总线构造方法
CN109558301A (zh) * 2018-12-03 2019-04-02 郑州云海信息技术有限公司 一种分布式系统数据监测方法、装置及相关设备
CN109831478A (zh) * 2018-12-19 2019-05-31 天翼电子商务有限公司 基于规则及模型的分布式实时处理智能决策系统及方法
CN111385122A (zh) * 2018-12-29 2020-07-07 广州市百果园信息技术有限公司 分布式系统链路跟踪方法、装置、计算机设备及存储介质
CN109978177A (zh) * 2019-03-19 2019-07-05 腾讯科技（深圳）有限公司 模型训练方法、业务处理方法、装置及相关设备
CN111291816A (zh) * 2020-02-17 2020-06-16 支付宝(杭州)信息技术有限公司 针对用户分类模型进行特征处理的方法及装置

Also Published As

Publication number Publication date
CN112104706A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
JP7012689B2 (ja) コマンド実行方法及び装置
CN111860853B (zh) 在线预测系统、设备、方法及电子设备
CN112104706B (zh) 分布式系统中模型发布方法、装置、设备、存储介质
KR102555607B1 (ko) 데이터 주석 방법, 장치, 기기, 저장매체 및 컴퓨터 프로그램
CN113268403B (zh) 时间序列的分析预测方法、装置、设备及存储介质
KR20130134569A (ko) 분석 작업 실행 이력을 이용한 가상 클러스터 구축 시스템 및 방법
CN110826706B (zh) 用于神经网络的数据处理方法和装置
CN111177892A (zh) 一种分布式仿真系统
JP2023036681A (ja) タスク処理方法、処理装置、電子機器、記憶媒体及びコンピュータプログラム
WO2022174838A1 (zh) 一种驾驶场景识别方法及其系统
US11443173B2 (en) Hardware-software co-design for accelerating deep learning inference
EP2829972B1 (en) Method and apparatus for allocating stream processing unit
CN115129594A (zh) 测试场景处理方法、装置、电子设备和存储介质
CN111475532A (zh) 数据处理的优化方法及装置、存储介质、终端
CN114615641A (zh) 高空平台设备协同管理方法、系统和电子设备
CN114237894A (zh) 容器调度方法、装置、设备以及可读存储介质
EP2966568A1 (en) Stream processing method, apparatus, and system
CN111506414A (zh) 资源调度方法、装置、设备、系统及可读存储介质
KR20220070483A (ko) 구성 생성 방법, 장치, 전자 기기 및 저장 매체
US11526690B2 (en) Learning device, learning method, and computer program product
CN111611353B (zh) 筛选方法、装置、电子设备及计算机可读存储介质
CN115758175A (zh) 航班座位数据处理方法及装置、存储介质及电子设备
US20230237389A1 (en) Optimization method, optimization apparatus and program
US10824472B2 (en) Coalescing multiple accelerators into a single accelerator
CN111950238A (zh) 自动驾驶故障评分表生成方法、装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant