CN109615022A - 模型上线配置方法和装置 - Google Patents

Abstract

本申请实施例提供了一种模型上线配置方法、装置、电子设备和计算机可读存储介质，解决了现有的人工模型上线配置方式效率低和准确率低的问题。该模型上线配置方法包括：配置已训练好的多个模型各自的应用参数：对所述多个模型分别进行对比测试；根据已对比测试的所述模型各自的对比测试结果确定已对比测试的所述模型各自的应用权重；以及将已配置且已对比测试的所述模型以及对应的应用权重发送给对应的应用系统；其中所述应用系统配置为：在通过使用接收到的多个模型获取到所述接收到的多个模型各自的输出结果时，根据所述接收到的多个模型各自的所述应用权重以及所述接收到的多个模型各自的输出结果确定综合输出结果。

Description

模型上线配置方法和装置

技术领域

本申请涉及人工智能技术领域，具体涉及一种模型上线配置方法、装置、电子设备和计算机可读存储介质。

背景技术

随着计算机科学的不断发展，人工智能技术被越来越广泛地应用到了各种应用场景中。现有的人工智能技术主要基于预先建立的训练模型实现，训练模型要通过例如深度学习或强化学习的机械学习过程建立。为了使得应用系统能够完成特定的应用任务(例如智能语音交互、人脸识别等)，需要先通过机械学习过程建立训练模型，再将训练模型上线到应用系统中，应用系统通过使用接收到的训练模型便可完成特定的应用任务。

在现有技术中，该训练模型的上线过程包括对建立好的训练模型进行一系列参数的配置过程。然而现有的模型上线配置方式主要依赖人工进行，配置效率较低，当配置过程的复杂度较高时很容易出现错误。例如，一些应用系统需要多路并发的策略服务，即应用系统需要同时使用多个训练模型才完成指定的应用任务，此时多个训练模型的配置复杂度就很高，采用现有的人工模型上线配置方式很难协调地完成多个训练模型的配置过程，不仅效率低，且很容易出现配置错误，从而导致应用系统无法完成很好地完成指定的应用任务。

发明内容

有鉴于此，本申请实施例提供了一种模型上线配置方法、装置、电子设备和计算机可读存储介质，解决了现有的人工模型上线配置方式效率低和准确率低的问题。

根据本申请的一个方面，本申请一实施例提供的一种模型上线配置方法包括：配置已训练好的多个模型各自的应用参数：对所述多个模型分别进行对比测试；根据已对比测试的所述模型各自的对比测试结果确定已对比测试的所述模型各自的应用权重；以及将已配置且已对比测试的所述模型以及对应的应用权重发送给对应的应用系统；其中所述应用系统配置为：在通过使用接收到的多个模型获取到所述接收到的多个模型各自的输出结果时，根据所述接收到的多个模型各自的所述应用权重以及所述接收到的多个模型各自的输出结果确定综合输出结果。

根据本申请的另一个方面，本申请一实施例提供的一种模型上线配置装置包括：应用参数配置模块，用于配置已训练好的多个模型各自的应用参数：对比测试模块，用于对所述多个模型分别进行对比测试，根据已对比测试的所述模型各自的对比测试结果确定已对比测试的所述模型各自的应用权重；以及上线执行模块，用于将已配置且已对比测试的所述模型以及对应的应用权重发送给对应的应用系统；其中所述应用系统配置为：在通过使用接收到的多个模型获取到所述接收到的多个模型各自的输出结果时，根据所述接收到的多个模型各自的所述应用权重以及所述接收到的多个模型各自的输出结果确定综合输出结果。

根据本申请的另一个方面，本申请一实施例提供的一种电子设备包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如前所述的模型上线配置方法。

根据本申请的另一个方面，本申请一实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如前所述的模型上线配置方法。

本申请实施例提供的一种模型上线配置方法和装置，建立了一套可自动化执行的上线配置流程，使得上线配置过程不必再通过人工配置进行，避免了人工配置的效率低和准确率低的问题。同时，通过对多个模型分别进行对比测试，可获得用于评价各模型性能的应用权重，并在将模型上线给对应的应用系统的同时将该应用权重也发送给对应的应用系统，使得应用系统可以参考接收到的模型的应用权重来确定多个模型的综合输出结果，由此实现了人工无法实现的多模型上线的协调配置。由此可见，本申请实施例所提供的模型上线配置方法和装置，不仅提高了多模型配置上线的效率，显著提高了多模型配置上线的准确率，还使得应用系统可以更智能更高效的利用已上线的模型完成指定的应用任务。

附图说明

图1所示为本发明一实施例提供的一种模型上线配置方法的流程示意图。

图2所示为本发明一实施例提供的一种模型上线配置方法的流程示意图。

图3所示为本发明一实施例提供的一种模型上线配置方法中模型上线过程的流程示意图。

图4所示为本发明一实施例提供的一种模型上线配置装置的结构示意图。

图5a和5b分别所示为本发明另一实施例提供的一种模型上线配置装置的结构示意图。

图6所示为本申请一实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1所示为本申请一实施例提供的一种模型上线配置方法的流程示意图。如图1所示，该模型上线配置方法包括如下步骤：

步骤101：配置已训练好的多个模型各自的应用参数。

模型要根据具体的应用场景需求通过训练过程建立，应用系统通过使用模型即可完成指定的应用任务。例如，对于视频监控场景，应用系统需要根据监控视频执行身份识别任务时，模型就可被训练为基于输入的图像或视频信息识别出监控对象的面部特征信息，并通过样本比对过程输出监控对象的身份。当应用系统需要多路并发的策略服务时，应用系统则需要同时使用多个模型才完成指定的应用任务，此时就需要将多个模型都配置好并上线至应用系统。例如，应用系统可能会接收到两个可根据输入的图像或视频信息输出监控对象身份的模型，应用系统需要综合考虑这两个模型的输出结果来确定监控对象的身份。然而应当理解，模型的训练过程可通过例如深度学习或强化学习的机械学习方式实现，具体的机械学习方式在此不再赘述。本申请对模型所针对的具体应用任务以及模型的具体训练方式均不做限定。

在本申请一实施例中，已训练好的模型需要被配置的应用参数可包括以下参数中的一种或多种组合：所需内存资源配置、所需GPU资源配置、所需缓存资源配置、最大并发数、以及最小响应时长。其中最大并发数为可与该模型并行使用的其他模型的最大数量；最小响应时长为该模型在使用过程中最短响应时间，如果该模型的响应时间小于了该最小响应时长，则说明该模型可能出现了故障。

在本申请一实施例中，已训练好的模型需要被配置的应用参数还可包括模型的版本参数。这样当有多个模型被上线至应用系统后，一旦其中的某个模型出现故障，应用系统还可追溯到该模型之前版本的模型调用，由此进一步提高模型使用过程的效率。

在本申请一实施例中，已训练好的模型需要被配置的应用参数还可包括模型钥匙信息，包括该模型是否可被调用的信息；和/或，应用钥匙信息，包括该模型可被哪些应用系统调用的信息。通过配置模型钥匙信息和/或应用钥匙信息，可使得模型上线后的使用策略更加灵活，可满足更多样化的场景需求。

应当理解，虽然上面给出了一些应用参数的具体例子，但对于已训练好的模型需要具体配置哪些应用参数可根据实际应用场景而调整，本申请对应用参数的具体内容不做严格限定。

步骤102：对多个模型分别进行对比测试。

由于模型的训练过程是各不相同的，受实际训练过程的环境因素影响(例如样本质量、算法设计和计算资源配置等)，已训练好的模型的实际性能也是各不相同的。通过对多个模型分别进行对比测试，便可测试出各模型的性能优劣，以使得性能较差的模型可获得较低的应用权重，从而对最终的综合输出结果产生较小的影响。

在本申请一实施例中，考虑到用于对比测试的计算资源有限，为了使得对比测试过程能够顺利进行，可具体配置是否进行对比测试，当已知目前批次已训练好的模型的性能都较好时，也可以配置为不进行该对比测试过程。此外，还可配置同时参与对比测试的模型个数以及数据分流比例。具体而言，为了提高对比测试的效率，可将对比测试数据按照预先配置的数据分流比例分流成多个测试数据包，然后将多个测试数据包分别输入多个模型进行对比测试。应当理解，数据分流的比例可根据实际的参与对比测试的模型数量确定，例如，当需要对比测试两个模型时，就可将测试数据分为两个50％的部分分别用于测试该两个模型，本申请对此不做限定。

步骤103：根据已对比测试的模型各自的对比测试结果确定已对比测试的模型各自的应用权重。

应用权重用于表征参与对比测试的模型的性能优劣，性能较好的模型会获得较高的应用权重，而性能较差的模型则会获得较低的应用权重。

步骤104：将已配置且已对比测试的模型以及对应的应用权重发送给对应的应用系统；其中应用系统配置为：在通过使用接收到的多个模型获取到接收到的多个模型各自的输出结果时，根据接收到的多个模型各自的应用权重以及接收到的多个模型各自的输出结果确定综合输出结果。

具体而言，当应用系统接收到多个模型时，要根据多个模型各自的应用权重来确定最终的综合输出结果，其中应用权重较高的模型的输出结果会对综合输出结果做出更多贡献，而应用权重较低的模型的输出结果则会对综合输出结果有较低的影响。

在本申请一实施例中，为了进一步提高模型上线的效率，可将待发送的模型的数据拆分成多个上线数据包：将该多个上线数据包通过多线程并行分发的方式发送给应用系统。这样可充分利用多线程计算资源以快速地将模型的数据上线给对应的应用系统。在一进一步实施例中，可在将待发送的模型的数据拆分成多个上线数据包之前配置好分发参数，分发参数可包括以下参数中的一种或多种组合：并行管道可承载的数据带宽、单次分发过程的数据输入和输出量、分发缓存大小、分发线程数、分发的接收端的缓存、分发优先级、最大并行分发数、分发队列的最大元素个数、分发队列的优先级、接收端的路径、接收端的端口以及接收端的IP地址。

由此可见，本申请实施例提供的一种模型上线配置方法，建立了一套可自动化执行的上线配置流程，使得上线配置过程不必再通过人工配置进行，避免了人工配置的效率低和准确率低的问题。同时，通过对多个模型分别进行对比测试，可获得用于评价各模型性能的应用权重，并在将模型上线给对应的应用系统的同时将该应用权重也发送给对应的应用系统，使得应用系统可以参考接收到的模型的应用权重来确定多个模型的综合输出结果，由此实现了人工无法实现的多模型上线的协调配置。由此可见，本申请实施例所提供的模型上线配置方法和装置，不仅提高了多模型配置上线的效率，显著提高了多模型配置上线的准确率，还使得应用系统可以更智能更高效的利用已上线的模型完成指定的应用任务。

在本申请一实施例中，考虑到当多个模型上线到应用系统时，模型在提供服务的过程中可能会出现宕机或者进程死掉等风险，因此有必要在模型配置上线阶段配置好多个模型之间的备份关系。具体而言，可将提供相同服务类型的多个模型配置为互相具备热备份关系，以在当其中一个模型的运行参数出现异常时，从与该出现异常的模型之间具备热备份关系的模型中选取一个来替代该出现异常的模型；和/或，配置模型的冷备份功能，以在当该模型的运行参数出现异常时，重新导入该出现异常的模型。

在本申请一实施例中，已训练好的模型需要被配置的应用参数还可包括模型备份数量，这样在配置多个模型之间的备份关系时可将提供相同服务类型的模型备份数量个模型配置为互相具备热备份关系。然而应当理解，模型备份数量可由开发人员根据实际应用场景需求调整，本发明对该模型备份数量并不做限定。

在本申请一实施例中，用于判断模型是否出现异常的运行参数可包括以下参数中的一种或多种组合：CPU使用占比、GPU使用占比、内存使用占比、输入输出数据量、进程数、当前模型调用次数、当前模型并发次数、过去预设时间内模型调用次数以及过去预设时间内模型并发次数。然而本申请对该运行参数的具体内容并不做限定。

图2所示为本申请一实施例提供的一种模型上线配置方法的流程示意图。如图2所示，该模型上线配置方法包括如下步骤：

步骤201：获取多个模型各自的指标参数信息。

为了进一步提高模型配置上线的效率，可在对多个模型进行对比测试之前，先通过衡量多个模型各自的指标参数信息筛选掉一批性能较差的模型。在本申请一实施例中，这些性能较差的模型不必参加后续的对比测试过程，不会获得应用权重，也不会上线给应用系统。

在本申请一实施例中，用于在对比测试之前衡量模型的性能优劣的指标参数可包括以下几种中的一种或多种组合：F1分数、F分数、回召率、准确率、接受者操作特征曲线下面积、接受者操作特征曲线、Log对数损失函数取值、平方损失函数取值、指数损失函数取值、Hinge损失函数取值、0-1损失函数取值、绝对值损失函数取值以及互熵损失。然而本申请对指标参数的具体内容不做严格限定。

步骤202：将多个模型中指标参数信息满足第一预设条件的模型进行对比测试。

如前所述，指标参数信息可能包括多种指标参数的组合，此时第一预设条件可为当每种指标参数都达到预设阈值才视为满足该第一预设条件。本申请对第一预设条件与指标参数信息的具体对应关系不做严格限定。由于指标参数信息满足第一预设条件的模型的性能是有一定保障的，因此可以参加对比测试过程，由此提高了对比测试过程的效率。

步骤203：根据已对比测试的模型各自的对比测试结果确定已对比测试的模型各自的应用权重。

步骤204：将多个模型中指标参数信息满足第二预设条件的模型以及对应的应用权重发送给对应的应用系统，其中指标参数信息满足第一预设条件的模型包括指标参数信息满足第二预设条件的模型。

如前所述，指标参数信息可能包括多种指标参数的组合，此时第二预设条件也可为当每种指标参数都达到预设阈值才视为满足该第二预设条件。然而，第二预设条件应当比第一预设条件更为严格，例如第二预设条件可能会要求更多的指标参数达到预设阈值，或对应更高的预设阈值，因此指标参数信息满足第一预设条件的模型会包括指标参数信息满足第二预设条件的模型。

通过设置第二预设条件，可从满足第一预设条件的模型中进一步筛选出性能更为优异的满足第二预设条件的模型，并仅将满足第二预设条件的模型发送给对应的应用系统。即，满足第二预设条件的模型会被上线给应用系统，而满足第一预设条件的模型可视为待上线给应用系统的模型。

在本申请一实施例中，如图3所示，可先根据指标参数信息满足第二预设条件的模型各自的应用权重，将指标参数信息满足第二预设条件的模型融合为一个整体模型(步骤S1)；然后将整体模型的数据拆分成多个上线数据包(步骤S2)：再将多个上线数据包通过多线程并行分发的方式发送给应用系统(步骤S3)。这样使得指标参数信息满足第二预设条件的模型在上线之前就被融合为一个整体，并通过利用多线程计算资源采用多线程并行分发的方式将融合后的整体模型上线给应用系统，可进一步提高模型配置上线的效率。

在本申请一实施例中，可在指标参数信息满足第一预设条件的模型中，选取指标参数排序在前预设数量个的模型，并在已选取的模型中，将提供相同服务类型的多个模型配置为互相具备热备份关系。在一进一步实施例中，该预设数量可超过满足第二预设条件的模型数量，这样排序在该前预设数量个的模型中会存在没有被上线但又满足第一预设条件的模型作为待上线模型，以在应用场景发生变化时可通过添加这些待上线模型以提高整体模型的泛化。同时，若多个模型在上线之前就进行前述的融合过程，也可使得融合后的整体模型可适用于更多的应用场景。

在本申请一实施例中，考虑当多个模型被上线到应用系统时，应用系统需要根据模型的负载能力决定选择哪个模型调用，因此有必要在将该多个模型配置上线的过程中配置多个模型之间的负载均衡策略，以使应用系统根据负载均衡策略调用多个模型。负载均衡策略可包括以下几种中的一种：轮询法、随机法、源地址哈希法、加权轮询法、加权随机法、最小连接数法以及实时人工选取法。轮询法的优点在于可做到请求转移的绝对均衡。随机法基于概率统计的理论实现，吞吐量越大，随机算法的效果越接近于轮询算法的效果。源地址哈希法是获取客户端访问的IP地址值，通过哈希函数计算得到一个数值，用该数值对模型列表的大小进行取模运算，得到的结果便是要访问的模型的序号。加权轮询法是考虑到不同的模型可能模型配置和当前系统的负载并不相同，因此它们的抗压能力也不尽相同，因此给配置高、负载低的模型配置更高的权重，让其处理更多的请求，而低配置、高负载的模型，则给其分配较低的权重，降低其系统负载。加权随机法与加权轮询法类似，也是根据模型不同的配置和负载情况来配置不同的权重；不同的是，它是按照权重来随机选择模型的，而不是顺序。最小连接数法比较灵活和智能，由于模型的配置不尽相同，对于请求的处理有快有慢，它正是根据模型当前的连接情况，动态地选取其中当前积压连接数最少的一台模型来处理当前请求，尽可能地提高模型的利用效率，将负载合理地分流到每一台模型。然而应当理解，可以根据具体应用场景的需求选择配置上述负载均衡策略中的一种，本申请对具体配置的负载均衡策略不做限定。

图4所示为本申请一实施例提供的一种模型上线配置装置的结构示意图。如图4所示，该模型上线配置装置40包括：应用参数配置模块41、对比测试模块42和上线执行模块43。具体而言，应用参数配置模块41用于配置已训练好的多个模型各自的应用参数。对比测试模块42，用于对多个模型分别进行对比测试，根据已对比测试的模型各自的对比测试结果确定已对比测试的模型各自的应用权重。上线执行模块43用于将已配置且已对比测试的模型以及对应的应用权重发送给对应的应用系统。应用系统配置为：在通过使用接收到的多个模型获取到接收到的多个模型各自的输出结果时，根据接收到的多个模型各自的应用权重以及接收到的多个模型各自的输出结果确定综合输出结果。

由此可见，本申请实施例提供的一种模型上线配置装置40，建立了一套可自动化执行的上线配置流程，使得上线配置过程不必再通过人工配置进行，避免了人工配置的效率低和准确率低的问题。同时，通过对多个模型分别进行对比测试，可获得用于评价各模型性能的应用权重，并在将模型上线给对应的应用系统的同时将该应用权重也发送给对应的应用系统，使得应用系统可以参考接收到的模型的应用权重来确定多个模型的综合输出结果，由此实现了人工无法实现的多模型上线的协调配置。由此可见，本申请实施例所提供的模型上线配置方法和装置，不仅提高了多模型配置上线的效率，显著提高了多模型配置上线的准确率，还使得应用系统可以更智能更高效的利用已上线的模型完成指定的应用任务。

在本申请一实施例中，考虑到当多个模型上线到应用系统时，模型在提供服务的过程中可能会出现宕机或者进程死掉等风险，因此有必要在模型配置上线阶段配置好多个模型之间的备份关系。如图5a所示，该模型上线配置装置40可进一步包括：热备份配置模块44和/或，冷备份配置模块45。热备份配置模块44用于将提供相同服务类型的多个模型配置为互相具备热备份关系，以在当其中一个模型的运行参数出现异常时，从与该出现异常的模型之间具备热备份关系的模型中选取一个来替代该出现异常的模型。冷备份配置模块45用于配置模型的冷备份功能，以在当模型的运行参数出现异常时，重新导入该出现异常的模型。

在本申请一实施例中，应用参数可包括模型备份数量；其中，热备份模块可进一步配置为：将提供相同服务类型的模型备份数量个模型配置为互相具备热备份关系。

在本申请一实施例中，运行参数包括以下参数中的一种或多种组合：CPU使用占比、GPU使用占比、内存使用占比、输入输出数据量、进程数、当前模型调用次数、当前模型并发次数、过去预设时间内模型调用次数以及过去预设时间内模型并发次数。

在本申请一实施例中，为了进一步提高模型配置上线的效率，可在对多个模型进行对比测试之前，先通过衡量多个模型各自的指标参数信息筛选掉一批性能较差的模型，这些性能较差的模型不必参加后续的对比测试过程，不会获得应用权重，也不会上线给应用系统。如图5a所示，该模型上线配置装置40可进一步包括：指标参数获取模块46，用于在根据应用参数对多个模型分别进行对比测试之前，获取多个模型各自的指标参数信息；其中，对比测试模块42进一步配置为：将多个模型中指标参数信息满足第一预设条件的模型进行对比测试；其中，上线执行模块43进一步配置为：将多个模型中指标参数信息满足第二预设条件的模型以及对应的应用权重发送给对应的应用系统，其中指标参数信息满足第一预设条件的模型包括指标参数信息满足第二预设条件的模型；其中，热备份配置模块44进一步配置为：在指标参数信息满足第一预设条件的模型中，选取指标参数排序在前预设数量个的模型；在已选取的模型中，将提供相同服务类型的多个模型配置为互相具备热备份关系。

在本申请一实施例中，指标参数可包括以下几种中的一种或多种组合：F1分数、F分数、回召率、准确率、接受者操作特征曲线下面积、接受者操作特征曲线、Log对数损失函数取值、平方损失函数取值、指数损失函数取值、Hinge损失函数取值、0-1损失函数取值、绝对值损失函数取值以及互熵损失。

在本申请一实施例中，考虑当多个模型被上线到应用系统时，应用系统需要根据模型的负载能力决定选择哪个模型调用，因此有必要在将该多个模型配置上线的过程中配置多个模型之间的负载均衡策略，以使应用系统根据负载均衡策略调用多个模型。如图5a所示，该模型上线配置装置40可进一步包括：负载均衡配置模块47，用于配置多个模型之间的负载均衡策略，以使应用系统根据负载均衡策略调用多个模型。

在本申请一实施例中，负载均衡策略包括以下几种中的一种：轮询法、随机法、源地址哈希法、加权轮询法、加权随机法、最小连接数法以及实时人工选取法。

在本申请一实施例中，为了进一步提高模型上线的效率，如图5a所示，对比测试模块42可包括：分流单元421和测试执行单元422。分流单元421用于将对比测试数据按照预先配置的数据分流比例分流成多个测试数据包。测试执行单元422用于将多个测试数据包分别输入多个模型进行对比测试。

在本申请一实施例中，如图5a所示，该模型上线配置装置40可进一步包括：对比测试配置模块48，用于配置对比测试信息，其中，对比测试信息包括：是否进行对比测试、同时参与对比测试的模型个数以及数据分流比例。

在本申请一实施例中，如图5a所示，上线执行模块43可包括：第一拆分单元431和第一分发执行单元432。第一拆分单元431用于将待发送的模型的数据拆分成多个上线数据包。第一分发执行单元432用于将多个上线数据包通过多线程并行分发的方式发送给应用系统。

在本申请一实施例中，如图5a所示，上线执行模块43可进一步包括：分发参数配置单元433，用于配置并行分发过程的分发参数，其中分发参数包括以下参数中的一种或多种组合：并行管道可承载的数据带宽、IO、分发缓存大小、分发线程数、分发的接收端的缓存、分发优先级、最大并行分发数、分发队列的最大元素个数、分发队列的优先级、接收端的路径、接收端的端口以及接收端的IP地址。

在本申请一实施例中，如图5b所示，上线执行模块43包括：融合单元434、第二拆分单元435和第二分发执行单元436。融合单元434，用于根据指标参数信息满足第二预设条件的模型各自的应用权重，将指标参数信息满足第二预设条件的模型融合为一个整体模型。第二拆分单元435，用于将整体模型的数据拆分成多个上线数据包。第二分发执行单元436，用于将多个上线数据包通过多线程并行分发的方式发送给应用系统。这样使得多个模型在上线之前就被融合为一个整体，并通过利用多线程计算资源采用多线程并行分发的方式将融合后的整体模型上线给应用系统，可进一步提高模型配置上线的效率。

在本申请一实施例中，应用参数可包括：模型钥匙信息，包括模型是否可被调用的信息；和/或，应用钥匙信息，包括模型可被哪些应用系统调用的信息。通过配置模型钥匙信息和/或应用钥匙信息，可使得模型上线后的使用策略更加灵活，可满足更多样化的场景需求。

在本申请一实施例中，应用参数进一步包括以下参数中的一种或多种组合：内存、GPU、缓存等资源配置、最大并发数、以及最小响应时长。

需要说明的是，根据本申请实施例的模型上线配置装置40可以作为一个软件模块和/或硬件模块而集成到电子设备60中，换言之，该电子设备60可以包括该模型上线配置装置40。例如，该模型上线配置装置40可以是该电子设备60的操作系统中的一个软件模块，或者可以是针对于其所开发的一个应用程序；当然，该模型上线配置装置40同样可以是该电子设备60的众多硬件模块之一。

在本申请另一实施例中，该模型上线配置装置40与该电子设备60也可以是分立的设备(例如，服务器)，并且该模型上线配置装置40可以通过有线和/或无线网络连接到该电子设备60，并且按照约定的数据格式来传输交互信息。

图6所示为本申请一实施例提供的电子设备的结构示意图。如图6所示，该电子设备60包括：一个或多个处理器601和存储器602；以及存储在存储器602中的计算机程序指令，计算机程序指令在被处理器601运行时使得处理器601执行如上述任一实施例的模型上线配置方法。

处理器601可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器602可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器601可以运行所述程序指令，以实现上文所述的本申请的各个实施例的模型上线配置方法中的步骤以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如光线强度、补偿光强度、滤光片的位置等信息。

在一个示例中，电子设备60还可以包括：输入装置603和输出装置604，这些组件通过总线系统和/或其他形式的连接机构(图6中未示出)互连。

例如，在该电子设备是监控设备时，该输入装置603可以是用于采集视频流的监控摄像头。在该电子设备是单机设备时，该输入装置603可以是通信网络连接器，用于从外部的视频采集设备接收所采集的视频信号。

该输出装置604可以向外部输出各种信息，例如可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图6中仅示出了该电子设备60中与本申请有关的组件中的一些，省略了诸如总线、输入装置/输出接口等组件。除此之外，根据具体应用情况，电子设备60还可以包括任何其他适当的组件。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例的模型上线配置方法中的步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述模型上线配置方法部分中描述的根据本申请各种实施例的模型上线配置方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种模型上线配置方法，其特征在于，包括：

配置已训练好的多个模型各自的应用参数：

对所述多个模型分别进行对比测试；

根据已对比测试的所述模型各自的对比测试结果确定已对比测试的所述模型各自的应用权重；以及

将已配置且已对比测试的所述模型以及对应的应用权重发送给对应的应用系统；其中所述应用系统配置为：在通过使用接收到的多个模型获取到所述接收到的多个模型各自的输出结果时，根据所述接收到的多个模型各自的所述应用权重以及所述接收到的多个模型各自的输出结果确定综合输出结果。

2.根据权利要求1所述的方法，其特征在于，进一步包括：

将提供相同服务类型的多个所述模型配置为互相具备热备份关系，以在当其中一个所述模型的运行参数出现异常时，从与该出现异常的所述模型之间具备所述热备份关系的所述模型中选取一个来替代该出现异常的所述模型；和/或，

配置所述模型的冷备份功能，以在当所述模型的运行参数出现异常时，重新导入该出现异常的所述模型。

3.根据权利要求2所述的方法，其特征在于，所述应用参数包括模型备份数量；其中，所述将提供相同服务类型的多个所述模型配置为互相具备热备份关系包括：

将提供相同服务类型的所述模型备份数量个所述模型配置为互相具备所述热备份关系。

4.根据权利要求2所述的方法，其特征在于，在根据所述应用参数对所述多个模型分别进行对比测试之前，进一步包括：

获取所述多个模型各自的指标参数信息；

其中，所述对所述多个模型分别进行对比测试包括：

将所述多个模型中所述指标参数信息满足第一预设条件的所述模型进行对比测试；

其中，所述将已配置且已对比测试的所述模型以及对应的应用权重发送给对应的应用系统包括：

将所述多个模型中所述指标参数信息满足第二预设条件的所述模型以及对应的应用权重发送给对应的应用系统，其中所述指标参数信息满足所述第一预设条件的所述模型包括所述指标参数信息满足第二预设条件的所述模型；

其中，所述将提供相同服务类型的多个所述模型配置为互相具备热备份关系包括：

在所述指标参数信息满足所述第一预设条件的所述模型中，选取所述指标参数排序在前预设数量个的所述模型；以及

在已选取的所述模型中，将提供相同服务类型的多个所述模型配置为互相具备热备份关系。

5.根据权利要求1所述的方法，其特征在于，进一步包括：

配置所述多个模型之间的负载均衡策略，以使所述应用系统根据所述负载均衡策略调用所述多个模型。

6.根据权利要求1所述的方法，其特征在于，所述对所述多个模型分别进行对比测试包括：

将对比测试数据按照预先配置的数据分流比例分流成多个测试数据包；以及

将所述多个测试数据包分别输入所述多个模型进行对比测试。

7.根据权利要求6所述的方法，其特征在于，进一步包括：

配置对比测试信息，其中，所述对比测试信息包括：是否进行对比测试、同时参与对比测试的模型个数以及所述数据分流比例。

8.根据权利要求1所述的方法，其特征在于，所述将已配置且已对比测试的所述模型以及对应的应用权重发送给对应的应用系统包括：

将待发送的所述模型的数据拆分成多个上线数据包：以及

将所述多个上线数据包通过多线程并行分发的方式发送给所述应用系统。

9.根据权利要求4所述的方法，其特征在于，所述将所述多个模型中所述指标参数信息满足第二预设条件的所述模型以及对应的应用权重发送给对应的应用系统包括：

根据所述指标参数信息满足第二预设条件的所述模型各自的所述应用权重，将所述指标参数信息满足第二预设条件的所述模型融合为一个整体模型；

将所述整体模型的数据拆分成多个上线数据包：以及

将所述多个上线数据包通过多线程并行分发的方式发送给所述应用系统。

10.根据权利要求1所述的方法，其特征在于，所述应用参数包括：

模型钥匙信息，包括所述模型是否可被调用的信息；和/或，

应用钥匙信息，包括所述模型可被哪些所述应用系统调用的信息。

11.一种模型上线配置装置，其特征在于，包括：

应用参数配置模块，用于配置已训练好的多个模型各自的应用参数：

对比测试模块，用于对所述多个模型分别进行对比测试，根据已对比测试的所述模型各自的对比测试结果确定已对比测试的所述模型各自的应用权重；以及

上线执行模块，用于将已配置且已对比测试的所述模型以及对应的应用权重发送给对应的应用系统；

其中所述应用系统配置为：在通过使用接收到的多个模型获取到所述接收到的多个模型各自的输出结果时，根据所述接收到的多个模型各自的所述应用权重以及所述接收到的多个模型各自的输出结果确定综合输出结果。

12.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1至10中任一所述的模型上线配置方法。

13.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1至10中任一所述的模型上线配置方法。