CN112346870A - 模型处理方法及系统 - Google Patents

Abstract

本公开涉及一种模型处理方法及系统，该方法包括：服务管理平台确定服务器集群进行推理服务所需的目标信息，服务器集群包括多个引擎服务器，目标信息包括进行推理服务所需参与的至少一个目标引擎服务器的信息、以及各个目标引擎服务器分别所需使用的模型的信息；服务管理平台将目标信息发送至服务器集群对应的模型代理装置；模型代理装置将目标引擎服务器所需使用的模型的信息发送至目标引擎服务器；目标引擎服务器根据所需使用的模型的信息获取模型，以通过模型得到推理结果。通过上述方案，使得目标引擎服务器能够获取到自身需要使用的模型，提高目标引擎服务器获取到的模型的准确性，从而保证推理服务的正常进行以及得到的推理结果的准确性。

Description

模型处理方法及系统

技术领域

本公开涉及计算机技术领域，具体地，涉及一种模型处理方法及系统。

背景技术

联邦机器学习，又称联邦学习、联合学习，在机器学习领域取得越来越广泛的应用，联邦学习能够解决数据孤岛和数据隐私问题，有效帮助多个机构在满足用户隐私保护、数据安全的要求下，通过联邦学习系统的模型训练平台完成模型的共同训练。其中，模型训练完成之后，使用方通过模型进行推理服务时，如何保证使用方的服务器能够获取到准确的模型，直接影响推理服务的正常进行以及推理结果的准确性。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种模型处理方法，所述方法包括：服务管理平台确定服务器集群进行推理服务所需的目标信息，其中，所述服务器集群包括多个引擎服务器，所述目标信息包括进行推理服务所需参与的至少一个目标引擎服务器的信息、以及各个所述目标引擎服务器分别所需使用的模型的信息；所述服务管理平台将所述目标信息发送至所述服务器集群对应的模型代理装置；所述模型代理装置将所述目标引擎服务器所需使用的模型的信息发送至所述目标引擎服务器；所述目标引擎服务器根据所需使用的模型的信息获取所述模型，以通过所述模型得到推理结果。

第二方面，本公开提供一种模型处理系统，所述系统包括：服务管理平台，用于确定服务器集群进行推理服务所需的目标信息，并将所述目标信息发送至所述服务器集群对应的模型代理装置，其中，所述服务器集群包括多个引擎服务器，所述目标信息包括进行推理服务所需参与的至少一个目标引擎服务器的信息、以及各个所述目标引擎服务器分别所需使用的模型的信息；所述模型代理装置，用于将所述目标引擎服务器所需使用的模型的信息发送至所述目标引擎服务器；所述目标引擎服务器，用于根据所需使用的模型的信息获取所述模型，以通过所述模型得到推理结果。

通过上述技术方案，服务管理平台确定服务器集群进行推理服务所需的目标信息，该目标信息可包括进行推理服务所需参与的至少一个目标引擎服务器的信息、以及各个目标引擎服务器分别所需使用的模型的信息。服务管理平台可首先将该目标信息发送至服务器集群对应的模型代理装置，模型代理装置再将目标引擎服务器所需使用的模型的信息发送至目标引擎服务器。推理服务可能需要多个目标引擎服务器共同参与，多个目标引擎服务器所需使用的模型可能各不相同，特别是参与的目标引擎服务器数量较多的情况下，通过模型代理装置将所需使用的模型的信息发送到目标引擎服务器，可以使得目标引擎服务器能够获取到自身需要使用的模型，提高目标引擎服务器获取到的模型的准确性，从而保证推理服务的正常进行以及得到的推理结果的准确性。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：

图1是根据一示例性实施例示出的一种模型处理方法的流程图。

图2是根据一示例性实施例示出的一种模型处理系统的示意图。

图3是根据另一示例性实施例示出的一种模型处理系统的示意图。

图4是根据一示例性实施例示出的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

图1是根据一示例性实施例示出的一种模型处理方法的流程图，如图1所示，该方法可包括S101～S104。

在S101中，服务管理平台确定服务器集群进行推理服务所需的目标信息。其中，服务器集群可包括多个引擎服务器，该目标信息可包括进行推理服务所需参与的至少一个目标引擎服务器的信息、以及各个目标引擎服务器分别所需使用的模型的信息。

图2是根据一示例性实施例示出的一种模型处理系统的示意图。如图2所示，服务管理平台201可以是服务器集群进行推理服务的管理中心，可用于确定服务器集群进行推理服务所需的目标信息。其中，各个企业均可部署自身的服务器集群，服务器集群可包括不同类型不同功能的引擎服务器，例如存储引擎服务器、计算引擎服务器、预处理引擎服务器等。如图2所示，以服务器集群202为例，服务器集群202可包括多个引擎服务器，例如包括引擎服务器203和引擎服务器204。

其中，推理服务可以指的是服务器根据输入数据通过模型进行计算并得到结果的过程。示例地，以预测用户的购物意图为例，根据用户的历史购物行为信息，可通过模型推理出用户当前的购物意图，进而可以向用户提供符合其购物意图和需求的推理结果。再示例地，以预测用户的搜索意图为例，根据用户的历史点击行为信息，可通过模型推理出用户当前的搜索意图，进而可以向用户提供符合其搜索意图的推理结果。

在一可选实施方式中，示例地，用户通过终端打开应用M的界面，界面所要展示的内容通常需要应用M对应的服务器发送至终端，再由终端展示该内容，其中展示内容可由服务器通过模型进行推理得到。服务器可向服务管理平台发送推理服务请求，服务管理平台在接收到推理服务请求的情况下，可确定为了得到界面所要展示的内容，服务器集群进行推理服务所需的目标信息。

该目标信息可包括进行推理服务所需参与的至少一个目标引擎服务器的信息、以及各个目标引擎服务器分别所需使用的模型的信息。其中，目标引擎服务器的信息可包括目标引擎服务器的标识信息，模型的信息可包括模型的标识信息、版本信息等。如图2所示，例如服务管理平台201确定服务器集群202进行推理服务所需参与的至少一个目标引擎服务器包括引擎服务器203和引擎服务器204，引擎服务器203需要使用模型A，引擎服务器204需要使用模型B，该目标信息可包括目标引擎服务器203的信息及其所需使用的模型A的信息，以及目标引擎服务器204的信息及其所需使用的模型B的信息。

在S102中，服务管理平台将目标信息发送至服务器集群对应的模型代理装置。

本公开中，每一服务器集群均对应有模型代理装置，模型代理装置可作为服务管理平台和服务器集群的中间者，可用于负责保证服务器集群中的引擎服务器能够获取正确的模型。如图2所示，服务管理平台201在确定出服务器集群202进行推理服务所需的目标信息后，可首先将该目标信息发送至对应的模型代理装置205。

在S103中，模型代理装置将目标引擎服务器所需使用的模型的信息发送至目标引擎服务器。

模型代理装置在接收到目标信息后，可将目标引擎服务器所需所用的模型的信息发送至目标引擎服务器。示例地，如图2所示，模型代理装置205可将目标引擎服务器203所需使用的模型A的信息发送至目标引擎服务器203，将目标引擎服务器204所需使用的模型B的信息发送至目标引擎服务器204。

在S104中，目标引擎服务器根据所需使用的模型的信息获取模型，以通过该模型得到推理结果。

通过上述技术方案，服务管理平台确定服务器集群进行推理服务所需的目标信息，该目标信息可包括进行推理服务所需参与的至少一个目标引擎服务器的信息、以及各个目标引擎服务器分别所需使用的模型的信息。服务管理平台可首先将该目标信息发送至服务器集群对应的模型代理装置，模型代理装置再将目标引擎服务器所需使用的模型的信息发送至目标引擎服务器。推理服务可能需要多个目标引擎服务器共同参与，多个目标引擎服务器所需使用的模型可能各不相同，特别是参与的目标引擎服务器数量较多的情况下，通过模型代理装置将所需使用的模型的信息发送到目标引擎服务器，可以使得目标引擎服务器能够获取到自身需要使用的模型，提高目标引擎服务器获取到的模型的准确性，从而保证推理服务的正常进行以及得到的推理结果的准确性。

图3是根据另一示例性实施例示出的一种模型处理系统的示意图，如图3所示，该模型处理系统还可包括模型训练平台206、模型存储平台207、模型元信息存储平台208、模型优化平台209。

其中，模型训练平台206可用于训练联邦模型，并将训练完成的模型发送至模型存储平台207，以及将模型的元信息发送至模型元信息存储平台208，模型存储平台207可用于保存模型文件，模型元信息存储平台208可用于存储模型的元信息。服务管理平台201可从模型存储平台207存储的模型中确定需要进行优化的模型，模型优化平台209可负责对模型进行优化操作，例如提升模型的性能，将用于模型训练部分的内容去除，保留进行推理服务所需的部分，从而进行模型的优化，模型优化平台209可将优化之后的模型发送至模型存储平台207。

其中，对于模型处理系统中各个模块之间的通信方式，本公开不做限制，例如服务管理平台与模型代理装置之间、模型代理装置与引擎服务器之间、引擎服务器与模型存储平台之间，可采用有线通信或无线通信方式进行信息传输，当采用无线通信方式时，例如可以采用3G、4G、5G、NB-IOT、eMTC、LTE、LTE-A、近场通信等任一种方式进行通信。

值得说明的是，虽然图3以相互分离的形式对模型训练平台206、模型存储平台207、模型元信息存储平台208、模型优化平台209进行示意，但并不构成对本公开实施方式的限制，在实际应用中，它们也可以是集成于一体的，例如均位于云端服务器，本公开对此不进行限制。

本公开中，目标引擎服务器可通过如下实施方式之一根据所需使用的模型的信息获取所述模型。

在一可选实施方式中，目标引擎服务器根据所需使用的模型的信息向模型存储平台发送用于请求从模型存储平台获取目标引擎服务器所需使用的模型的第一模型获取请求，并接收模型存储平台发送的模型。

示例地，如图3所示，以目标引擎服务器203为例，目标引擎服务器203在接收到模型代理装置205发送的模型A的信息后，可根据模型A的信息向模型存储平台207发送第一模型获取请求，模型存储平台在接收到该请求后，可将模型A发送至目标引擎服务器203。

在服务器集群规模较大的情况下，服务器集群的数量较多，且各个服务器集群中包括的引擎服务器的数量也较多，如果引擎服务器均向模型存储平台请求模型，会导致模型存储平台的带宽压力过大，影响模型的分发速度，从而影响推理服务的效率。鉴于此，本公开中，可通过点对点传输(peer-to-peer，简称P2P)方式进行模型分发，提高模型分发效率。

因此，在另一可选实施方式中，目标引擎服务器可根据所需使用的模型的信息向存储有该模型的点对点传输种子模块发送用于请求从点对点传输种子模块获取目标引擎服务器所需使用的模型的第二模型获取请求，并接收点对点传输种子模块发送的该模型。

其中，点对点传输种子模块可以设置在服务器集群中，这样，目标引擎服务器可从存储该模型的点对点传输种子模块获取模型，避免全部引擎服务器均从模型存储平台获取模型而导致的网络拥塞问题，大大降低模型存储平台的带宽压力。

示例地，服务管理平台可确定哪些目标引擎服务器从模型存储平台获取模型，哪些目标引擎服务器从点对点传输种子模块获取模型，目标引擎服务器所需使用的模型的信息可包括模型的获取方式信息，目标引擎服务器在接收到该信息后，可按照该信息所指示的模型获取方式获取所需使用的模型。

通过上述技术方案，目标引擎服务器可从模型存储平台获取所需使用的模型，考虑到服务器集群规模数量较大的情况下，模型存储平台的带宽压力过大，影响模型分发速度，目标引擎服务器也可从点对点传输种子模块获取模型，通过点对点传输方式进行模型的分发，可显著降低模型存储平台的带宽压力，有效提高模型分发效率。

可选地，在目标引擎服务器获取模型之后，本公开提供的模型处理方法还可包括：

目标引擎服务器对模型进行完整性验证，得到完整性验证结果；在完整性验证结果表征对模型的完整性验证通过的情况下，目标引擎服务器加载该模型；在完整性验证结果表征对模型的完整性验证未通过的情况下，目标引擎服务器将完整性验证结果发送至模型代理装置，并由模型代理装置将完整性验证结果发送至服务管理平台。

其中，由于模型传输过程中可能会造成模型文件损坏等问题，因此目标引擎服务器在获取到模型之后，可首先对模型进行完整性验证，即验证模型文件的大小。如果模型文件出现损坏等情况，则对模型的完整性验证未通过，目标引擎服务器可将用于表征完整性验证未通过的结果发送至模型代理装置，模型代理装置可将该结果发送至服务管理平台，服务管理平台可对模型进行进一步校验。

如果对模型的完整性验证通过，目标引擎服务器可加载该模型，在加载模型之后，本公开提供的模型处理方法还可包括：

在模型加载成功的情况下，目标引擎服务器通过该模型得到推理结果；在模型加载失败的情况下，目标引擎服务器将表征模型加载失败的加载结果发送至模型代理装置，以由模型代理装置将加载结果发送至服务管理平台。

其中，模型加载成功可表征该模型可以正常使用，目标引擎服务器可通过该模型进行计算，以得到推理结果。如果模型加载失败，例如由于目标引擎服务器硬件异常或模型出现异常等原因导致模型加载失败，目标引擎服务器可将表征模型加载失败的加载结果发送至模型代理装置，模型代理装置再将该结果发送至服务管理平台，以使服务管理平台及时获知模型的加载情况。

通过上述技术方案，目标引擎服务器获取到模型之后，可首先进行完整性验证，在完整性验证通过的情况下再加载该模型，保证加载到的模型的完整性。在模型的完整性验证未通过或者加载失败的情况下，目标引擎服务器可将结果反馈至模型代理装置，再由模型代理装置反馈至服务管理平台，使得服务管理平台及时获知目标引擎服务器对于模型的验证情况或加载情况。

其中，模型需要不断更新，为保证推理服务的稳定性，新版本模型需要进行测试才可上线使用，新版本模型可首先由小部分引擎服务器预先使用，在确定新版本模型的加载及使用均正常的情况下，再进行新版本模型的上线。

本公开中，至少一个目标引擎服务器可包括所需使用的模型为处于灰度状态的新版本模型的引擎服务器和所需使用的模型为处于在线状态的旧版本模型的引擎服务器；模型处理方法还可包括：

服务管理平台获取通过新版本模型得到的第一推理结果和通过旧版本模型得到的第二推理结果；服务管理平台在第一推理结果与第二推理结果之间的差异信息所表征的差异度小于预设差异度阈值的情况下，将新版本模型的状态更新为在线状态，将旧版本模型的状态更新为下线状态，以使需要使用该模型的引擎服务器获取新版本模型。

其中，目标引擎服务器在得出推理结果后，可直接将推理结果发送至服务管理平台，或者，目标引擎服务器也可先将推理结果发送至模型代理装置，由模型代理装置将推理结果发送至服务管理平台。即服务管理平台可从目标引擎服务器获取推理结果，或者从模型代理装置获取推理结果。

服务管理平台可将通过新版本模型得到的第一推理结果和通过旧版本模型得到的第二推理结果进行比较，如果二者之间的差异信息所表征的差异度大于或等于预设差异度阈值，可表征新版本模型的推理结果可能不够准确，此时可通过技术人员对新版本模型的效果进行人工评估。如果二者之间的差异信息所表征的差异度小于预设差异度阈值，可表征新版本模型的推理结果较准确，新版本模型的运行较稳定，可将新版本模型的状态更新为在线状态，这样，需要使用该模型的引擎服务器可获取新版本模型，以完成新版本模型的上线。上述的预设差异度阈值可预先标定出。

通过上述技术方案，对于通过新版本模型得到的第一推理结果和通过旧版本模型得到的第二推理结果，如果二者之间的差异信息所表征的差异度小于预设差异度阈值，可将新版本模型的状态更新为在线状态。这样，可对新版本模型进行测试之后在上线使用，保证新版本模型的准确性，从而保证推理服务的稳定性。

本公开中，服务器集群可包括多个子服务器集群，每一子服务器集群可包括至少一个引擎服务器。

如图3所示，服务器集群202可包括子服务器集群2021和子服务器集群2022。需要说明的是，对于子服务器集群的数量，以及各个子服务器集群中引擎服务器的数量，本公开不做具体限制，图3仅为示例性的，不构成对本公开实施方式的限制。

划分子服务器集群的方式可以有多种。示例地，可将相同类型的引擎服务器划分到一个子服务器集群中，例如将多个存储引擎服务器划分为一子服务器集群，将多个计算引擎服务器划分为一子服务器集群。再示例地，由于上述提及的新版本模型的测试问题，新版本模型需要由小部分引擎服务器预先使用，并且使用次数较少，这部分引擎服务器的利用率较低，因此可将使用新版本模型进行推理服务的引擎服务器划分为一子服务器集群，将使用旧版本模型进行推理服务的引擎服务器划分为一子服务器集群，这样根据引擎服务器的利用率进行划分可以便于管理。

另外，服务器集群对应的模型代理装置可以有多个，可选地，相同类型的引擎服务器可对应同一模型代理装置。相应地，S102中服务管理平台将目标信息发送至服务器集群对应的模型代理装置，可包括：服务管理平台将目标信息发送到至少一个目标引擎服务器各自对应的模型代理装置。

示例地，以引擎服务器包括存储引擎服务器、计算引擎服务器、预处理引擎服务器为例，多个存储引擎服务器可共享同一模型代理装置，多个计算引擎服务器可共享同一模型代理装置，多个预处理引擎服务器可共享同一模型代理装置。

如图3所示，服务器集群202对应的模型代理装置可以有多个，例如包括模型代理装置2051、模型代理装置2052。如果目标引擎服务器203和目标引擎服务器204为同一类型的引擎服务器，且共享模型代理装置2051，服务管理平台201可将目标信息发送至模型代理装置2051。如果目标引擎服务器203和目标引擎服务器204不为同一类型的引擎服务器，例如目标引擎服务器203对应模型代理装置2051，目标引擎服务器204对应模型代理装置2052，服务管理平台201可将目标信息发送至模型代理装置2051和模型代理装置2052。

通过上述技术方案，服务器集群对应的模型代理装置可以有多个，例如同一类型的引擎服务器可对应同一模型代理装置，这样，由多个模型代理装置进行模型信息的分发工作，可进一步保证目标引擎服务器能够准确获知自身所需使用的模型的信息。

基于同一发明构思，本公开还提供一种模型处理系统，所述系统包括：服务管理平台，用于确定服务器集群进行推理服务所需的目标信息，并将所述目标信息发送至所述服务器集群对应的模型代理装置，其中，所述服务器集群包括多个引擎服务器，所述目标信息包括进行推理服务所需参与的至少一个目标引擎服务器的信息、以及各个所述目标引擎服务器分别所需使用的模型的信息；所述模型代理装置，用于将所述目标引擎服务器所需使用的模型的信息发送至所述目标引擎服务器；所述目标引擎服务器，用于根据所需使用的模型的信息获取所述模型，以通过所述模型得到推理结果。

可选地，所述目标引擎服务器用于通过如下方式之一根据所需使用的模型的信息获取所述模型：所述目标引擎服务器根据所需使用的模型的信息向模型存储平台发送用于请求从所述模型存储平台获取所述目标引擎服务器所需使用的模型的第一模型获取请求，并接收所述模型存储平台发送的所述模型；所述目标引擎服务器根据所需使用的模型的信息向存储有所述模型的点对点传输种子模块发送用于请求从所述点对点传输种子模块获取所述目标引擎服务器所需使用的模型的第二模型获取请求，并接收所述点对点传输种子模块发送的所述模型。

可选地，所述目标引擎服务器还用于在根据所需使用的模型的信息获取所述模型之后，对所述模型进行完整性验证，得到完整性验证结果；在所述完整性验证结果表征对所述模型的完整性验证通过的情况下，所述目标引擎服务器用于加载所述模型；在所述完整性验证结果表征对所述模型的完整性验证未通过的情况下，所述目标引擎服务器用于将所述完整性验证结果发送至所述模型代理装置，所述模型代理装置用于将所述完整性验证结果发送至所述服务管理平台。

可选地，所述目标引擎服务器还用于在加载所述模型之后，在所述模型加载成功的情况下，通过所述模型得到所述推理结果；在所述模型加载失败的情况下，所述目标引擎服务器用于将表征模型加载失败的加载结果发送至所述模型代理装置，所述模型代理装置用于将所述加载结果发送至所述服务管理平台。

可选地，至少一个所述目标引擎服务器包括所需使用的模型为处于灰度状态的新版本模型的引擎服务器和所需使用的模型为处于在线状态的旧版本模型的引擎服务器；所述服务管理平台还用于获取通过所述新版本模型得到的第一推理结果和通过所述旧版本模型得到的第二推理结果，并在所述第一推理结果与所述第二推理结果之间的差异信息所表征的差异度小于预设差异度阈值的情况下，将所述新版本模型的状态更新为在线状态，将所述旧版本模型的状态更新为下线状态，以使需要使用所述模型的引擎服务器获取所述新版本模型。

可选地，所述服务器集群对应的所述模型代理装置有多个，相同类型的所述引擎服务器对应同一所述模型代理装置；所述服务管理平台用于将所述目标信息发送到至少一个所述目标引擎服务器各自对应的所述模型代理装置。

可选地，所述服务器集群包括多个子服务器集群，每一所述子服务器集群包括至少一个引擎服务器。

关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

下面参考图4，其示出了适于用来实现本公开实施例的电子设备600的结构示意图，该电子设备可以为上述的服务管理平台、引擎服务器、模型代理装置、模型存储平台、模型训练平台、模型优化平台等。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图4所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

在一些实施方式中，服务器可以利用诸如HTTP(HyperText Transfer Protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)

根据本公开的一个或多个实施例，示例1提供了一种模型处理方法，所述方法包括：服务管理平台确定服务器集群进行推理服务所需的目标信息，其中，所述服务器集群包括多个引擎服务器，所述目标信息包括进行推理服务所需参与的至少一个目标引擎服务器的信息、以及各个所述目标引擎服务器分别所需使用的模型的信息；所述服务管理平台将所述目标信息发送至所述服务器集群对应的模型代理装置；所述模型代理装置将所述目标引擎服务器所需使用的模型的信息发送至所述目标引擎服务器；所述目标引擎服务器根据所需使用的模型的信息获取所述模型，以通过所述模型得到推理结果。

根据本公开的一个或多个实施例，示例2提供了示例1的方法，所述目标引擎服务器通过如下方式之一根据所需使用的模型的信息获取所述模型：所述目标引擎服务器根据所需使用的模型的信息向模型存储平台发送用于请求从所述模型存储平台获取所述目标引擎服务器所需使用的模型的第一模型获取请求，并接收所述模型存储平台发送的所述模型；所述目标引擎服务器根据所需使用的模型的信息向存储有所述模型的点对点传输种子模块发送用于请求从所述点对点传输种子模块获取所述目标引擎服务器所需使用的模型的第二模型获取请求，并接收所述点对点传输种子模块发送的所述模型。

根据本公开的一个或多个实施例，示例3提供了示例1的方法，在所述目标引擎服务器根据所需使用的模型的信息获取所述模型之后，所述方法还包括：所述目标引擎服务器对所述模型进行完整性验证，得到完整性验证结果；在所述完整性验证结果表征对所述模型的完整性验证通过的情况下，所述目标引擎服务器加载所述模型；在所述完整性验证结果表征对所述模型的完整性验证未通过的情况下，所述目标引擎服务器将所述完整性验证结果发送至所述模型代理装置，并由所述模型代理装置将所述完整性验证结果发送至所述服务管理平台。

根据本公开的一个或多个实施例，示例4提供了示例3的方法，在所述目标引擎服务器加载所述模型之后，所述方法还包括：在所述模型加载成功的情况下，所述目标引擎服务器通过所述模型得到所述推理结果；在所述模型加载失败的情况下，所述目标引擎服务器将表征模型加载失败的加载结果发送至所述模型代理装置，以由所述模型代理装置将所述加载结果发送至所述服务管理平台。

根据本公开的一个或多个实施例，示例5提供了示例1的方法，至少一个所述目标引擎服务器包括所需使用的模型为处于灰度状态的新版本模型的引擎服务器和所需使用的模型为处于在线状态的旧版本模型的引擎服务器；所述方法还包括：所述服务管理平台获取通过所述新版本模型得到的第一推理结果和通过所述旧版本模型得到的第二推理结果；所述服务管理平台在所述第一推理结果与所述第二推理结果之间的差异信息所表征的差异度小于预设差异度阈值的情况下，将所述新版本模型的状态更新为在线状态，将所述旧版本模型的状态更新为下线状态，以使需要使用所述模型的引擎服务器获取所述新版本模型。

根据本公开的一个或多个实施例，示例6提供了示例1的方法，所述服务器集群对应的所述模型代理装置有多个，相同类型的所述引擎服务器对应同一所述模型代理装置；所述服务管理平台将所述目标信息发送至所述服务器集群对应的模型代理装置，包括：所述服务管理平台将所述目标信息发送到至少一个所述目标引擎服务器各自对应的所述模型代理装置。

根据本公开的一个或多个实施例，示例7提供了示例1的方法，所述服务器集群包括多个子服务器集群，每一所述子服务器集群包括至少一个引擎服务器。

根据本公开的一个或多个实施例，示例8提供了一种模型处理系统，所述系统包括：服务管理平台，用于确定服务器集群进行推理服务所需的目标信息，并将所述目标信息发送至所述服务器集群对应的模型代理装置，其中，所述服务器集群包括多个引擎服务器，所述目标信息包括进行推理服务所需参与的至少一个目标引擎服务器的信息、以及各个所述目标引擎服务器分别所需使用的模型的信息；所述模型代理装置，用于将所述目标引擎服务器所需使用的模型的信息发送至所述目标引擎服务器；所述目标引擎服务器，用于根据所需使用的模型的信息获取所述模型，以通过所述模型得到推理结果。

根据本公开的一个或多个实施例，示例9提供了示例8的系统，所述目标引擎服务器用于通过如下方式之一根据所需使用的模型的信息获取所述模型：所述目标引擎服务器根据所需使用的模型的信息向模型存储平台发送用于请求从所述模型存储平台获取所述目标引擎服务器所需使用的模型的第一模型获取请求，并接收所述模型存储平台发送的所述模型；所述目标引擎服务器根据所需使用的模型的信息向存储有所述模型的点对点传输种子模块发送用于请求从所述点对点传输种子模块获取所述目标引擎服务器所需使用的模型的第二模型获取请求，并接收所述点对点传输种子模块发送的所述模型。

根据本公开的一个或多个实施例，示例10提供了示例8的系统，所述目标引擎服务器还用于在根据所需使用的模型的信息获取所述模型之后，对所述模型进行完整性验证，得到完整性验证结果；在所述完整性验证结果表征对所述模型的完整性验证通过的情况下，所述目标引擎服务器用于加载所述模型；在所述完整性验证结果表征对所述模型的完整性验证未通过的情况下，所述目标引擎服务器用于将所述完整性验证结果发送至所述模型代理装置，所述模型代理装置用于将所述完整性验证结果发送至所述服务管理平台。

根据本公开的一个或多个实施例，示例11提供了示例10的系统，所述目标引擎服务器还用于在加载所述模型之后，在所述模型加载成功的情况下，通过所述模型得到所述推理结果；在所述模型加载失败的情况下，所述目标引擎服务器用于将表征模型加载失败的加载结果发送至所述模型代理装置，所述模型代理装置用于将所述加载结果发送至所述服务管理平台。

根据本公开的一个或多个实施例，示例12提供了示例8的系统，至少一个所述目标引擎服务器包括所需使用的模型为处于灰度状态的新版本模型的引擎服务器和所需使用的模型为处于在线状态的旧版本模型的引擎服务器；所述服务管理平台还用于获取通过所述新版本模型得到的第一推理结果和通过所述旧版本模型得到的第二推理结果，并在所述第一推理结果与所述第二推理结果之间的差异信息所表征的差异度小于预设差异度阈值的情况下，将所述新版本模型的状态更新为在线状态，将所述旧版本模型的状态更新为下线状态，以使需要使用所述模型的引擎服务器获取所述新版本模型。

根据本公开的一个或多个实施例，示例13提供了示例8的系统，所述服务器集群对应的所述模型代理装置有多个，相同类型的所述引擎服务器对应同一所述模型代理装置；所述服务管理平台用于将所述目标信息发送到至少一个所述目标引擎服务器各自对应的所述模型代理装置。

根据本公开的一个或多个实施例，示例14提供了示例8的系统，所述服务器集群包括多个子服务器集群，每一所述子服务器集群包括至少一个引擎服务器。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (14)

1.一种模型处理方法，其特征在于，所述方法包括：

服务管理平台确定服务器集群进行推理服务所需的目标信息，其中，所述服务器集群包括多个引擎服务器，所述目标信息包括进行推理服务所需参与的至少一个目标引擎服务器的信息、以及各个所述目标引擎服务器分别所需使用的模型的信息；

所述服务管理平台将所述目标信息发送至所述服务器集群对应的模型代理装置；

所述模型代理装置将所述目标引擎服务器所需使用的模型的信息发送至所述目标引擎服务器；

所述目标引擎服务器根据所需使用的模型的信息获取所述模型，以通过所述模型得到推理结果。

2.根据权利要求1所述的方法，其特征在于，所述目标引擎服务器通过如下方式之一根据所需使用的模型的信息获取所述模型：

所述目标引擎服务器根据所需使用的模型的信息向模型存储平台发送用于请求从所述模型存储平台获取所述目标引擎服务器所需使用的模型的第一模型获取请求，并接收所述模型存储平台发送的所述模型；

所述目标引擎服务器根据所需使用的模型的信息向存储有所述模型的点对点传输种子模块发送用于请求从所述点对点传输种子模块获取所述目标引擎服务器所需使用的模型的第二模型获取请求，并接收所述点对点传输种子模块发送的所述模型。

3.根据权利要求1所述的方法，其特征在于，在所述目标引擎服务器根据所需使用的模型的信息获取所述模型之后，所述方法还包括：

所述目标引擎服务器对所述模型进行完整性验证，得到完整性验证结果；

在所述完整性验证结果表征对所述模型的完整性验证通过的情况下，所述目标引擎服务器加载所述模型；

在所述完整性验证结果表征对所述模型的完整性验证未通过的情况下，所述目标引擎服务器将所述完整性验证结果发送至所述模型代理装置，并由所述模型代理装置将所述完整性验证结果发送至所述服务管理平台。

4.根据权利要求3所述的方法，其特征在于，在所述目标引擎服务器加载所述模型之后，所述方法还包括：

在所述模型加载成功的情况下，所述目标引擎服务器通过所述模型得到所述推理结果；

在所述模型加载失败的情况下，所述目标引擎服务器将表征模型加载失败的加载结果发送至所述模型代理装置，以由所述模型代理装置将所述加载结果发送至所述服务管理平台。

5.根据权利要求1所述的方法，其特征在于，至少一个所述目标引擎服务器包括所需使用的模型为处于灰度状态的新版本模型的引擎服务器和所需使用的模型为处于在线状态的旧版本模型的引擎服务器；

所述方法还包括：

所述服务管理平台获取通过所述新版本模型得到的第一推理结果和通过所述旧版本模型得到的第二推理结果；

所述服务管理平台在所述第一推理结果与所述第二推理结果之间的差异信息所表征的差异度小于预设差异度阈值的情况下，将所述新版本模型的状态更新为在线状态，将所述旧版本模型的状态更新为下线状态，以使需要使用所述模型的引擎服务器获取所述新版本模型。

6.根据权利要求1所述的方法，其特征在于，所述服务器集群对应的所述模型代理装置有多个，相同类型的所述引擎服务器对应同一所述模型代理装置；

所述服务管理平台将所述目标信息发送至所述服务器集群对应的模型代理装置，包括：

所述服务管理平台将所述目标信息发送到至少一个所述目标引擎服务器各自对应的所述模型代理装置。

7.根据权利要求1所述的方法，其特征在于，所述服务器集群包括多个子服务器集群，每一所述子服务器集群包括至少一个引擎服务器。

8.一种模型处理系统，其特征在于，所述系统包括：

服务管理平台，用于确定服务器集群进行推理服务所需的目标信息，并将所述目标信息发送至所述服务器集群对应的模型代理装置，其中，所述服务器集群包括多个引擎服务器，所述目标信息包括进行推理服务所需参与的至少一个目标引擎服务器的信息、以及各个所述目标引擎服务器分别所需使用的模型的信息；

所述模型代理装置，用于将所述目标引擎服务器所需使用的模型的信息发送至所述目标引擎服务器；

所述目标引擎服务器，用于根据所需使用的模型的信息获取所述模型，以通过所述模型得到推理结果。

9.根据权利要求8所述的系统，其特征在于，所述目标引擎服务器用于通过如下方式之一根据所需使用的模型的信息获取所述模型：

所述目标引擎服务器根据所需使用的模型的信息向模型存储平台发送用于请求从所述模型存储平台获取所述目标引擎服务器所需使用的模型的第一模型获取请求，并接收所述模型存储平台发送的所述模型；

所述目标引擎服务器根据所需使用的模型的信息向存储有所述模型的点对点传输种子模块发送用于请求从所述点对点传输种子模块获取所述目标引擎服务器所需使用的模型的第二模型获取请求，并接收所述点对点传输种子模块发送的所述模型。

10.根据权利要求8所述的系统，其特征在于，所述目标引擎服务器还用于在根据所需使用的模型的信息获取所述模型之后，对所述模型进行完整性验证，得到完整性验证结果；

在所述完整性验证结果表征对所述模型的完整性验证通过的情况下，所述目标引擎服务器用于加载所述模型；

在所述完整性验证结果表征对所述模型的完整性验证未通过的情况下，所述目标引擎服务器用于将所述完整性验证结果发送至所述模型代理装置，所述模型代理装置用于将所述完整性验证结果发送至所述服务管理平台。

11.根据权利要求10所述的系统，其特征在于，所述目标引擎服务器还用于在加载所述模型之后，在所述模型加载成功的情况下，通过所述模型得到所述推理结果；

在所述模型加载失败的情况下，所述目标引擎服务器用于将表征模型加载失败的加载结果发送至所述模型代理装置，所述模型代理装置用于将所述加载结果发送至所述服务管理平台。

12.根据权利要求8所述的系统，其特征在于，至少一个所述目标引擎服务器包括所需使用的模型为处于灰度状态的新版本模型的引擎服务器和所需使用的模型为处于在线状态的旧版本模型的引擎服务器；

所述服务管理平台还用于获取通过所述新版本模型得到的第一推理结果和通过所述旧版本模型得到的第二推理结果，并在所述第一推理结果与所述第二推理结果之间的差异信息所表征的差异度小于预设差异度阈值的情况下，将所述新版本模型的状态更新为在线状态，将所述旧版本模型的状态更新为下线状态，以使需要使用所述模型的引擎服务器获取所述新版本模型。

13.根据权利要求8所述的系统，其特征在于，所述服务器集群对应的所述模型代理装置有多个，相同类型的所述引擎服务器对应同一所述模型代理装置；

所述服务管理平台用于将所述目标信息发送到至少一个所述目标引擎服务器各自对应的所述模型代理装置。

14.根据权利要求8所述的系统，其特征在于，所述服务器集群包括多个子服务器集群，每一所述子服务器集群包括至少一个引擎服务器。

Images