CN112099910B - 一种容器集群中算法模型的预加载方法 - Google Patents

Abstract

本发明实施例提供了一种容器集群中算法模型的预加载方法、装置及计算设备，实现了容器集群中算法模型的预加载，解决模型实时加载慢，以及短时间内大量模型同时加载造成的加载队列阻塞和模型加载失败的问题。方法包括：获取第一时间段内算法模型加载任务分布、空闲模型最长存活时间和算法模型加载速度；根据所述第一时间段内的算法模型加载任务分布、所述空闲模型最长存活时间和所述算法模型加载速度，确定早于所述第一时间段的第二时间段内的算法模型预加载任务分布；根据所述第二时间段内的算法模型预加载任务分布预加载算法模型。

Description

一种容器集群中算法模型的预加载方法

技术领域

本发明涉及容器技术领域，尤其涉及一种容器集群中算法模型的预加载方法、装置及计算设备。

背景技术

人工智能的相关应用在提供服务时都需要加载相应的算法模型，在智能语音交互和智能客服文本交互的使用场景中，因为不同客户的业务内容不同，需要给不同的客户提供不同的算法模型。在拥有大量客户的情况下，加载算法模型会消耗巨大的系统资源，所以在实际使用中，算法模型被设计为按需加载，在客户需要使用时再通过基于容器技术的模型实例管理系统进行加载，若模型在一段时间内没有被使用，则模型实例管理系统会将模型卸载，以释放系统的资源。

现有的技术解决了大量的模型实例空闲时占用系统资源的问题，但是利用容器加载模型需要一定的时间，某些需要实时响应的人工智能系统会因此在模型第一次被调用时出现比较长的延迟，影响了用户的使用体验。另外一方面，多数人工智能系统的使用时间有着很大的一致性，例如智能外呼系统通常会在早上9点以及下午2点时集中开始任务，而客服系统在早晨上班时间也有着集中使用的特点，这种用户使用的特定导致了算法模型会在某一段时间内大量的加载，容易导致加载队列的阻塞，使模型加载时间更长，也增加了模型加载失败的概率。

发明内容

为此，本发明提供了一种容器集群中算法模型的预加载方法、装置及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种容器集群中算法模型的预加载方法，包括：

获取第一时间段内算法模型加载任务分布、空闲模型最长存活时间和算法模型加载速度；

根据所述第一时间段内的算法模型加载任务分布、所述空闲模型最长存活时间和所述算法模型加载速度，确定早于所述第一时间段的第二时间段内的算法模型预加载任务分布；其中，所述算法模型预加载任务分布所需最大模型加载速度不超过所述算法模型加载速度，所述算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过所述空闲模型最长存活时间；

根据所述第二时间段内的算法模型预加载任务分布预加载算法模型。

可选地，根据所述第一时间段内的算法模型加载任务分布、所述空闲模型最长存活时间和所述算法模型加载速度，确定早于所述第一时间段的第二时间段内的算法模型预加载任务分布，包括：

将时间划分为若干时间单元；

根据所述第一时间段内各个时间单元的算法模型加载数目，建立N维第一向量；

将所述第一向量左乘N*N维的预设矩阵，得到N维第二向量；

根据所述第二向量，确定所述第二时间段内各个时间单元的算法模型预加载数目；

以及，

所述算法模型预加载任务分布所需最大模型加载速度不超过所述算法模型加载速度，所述算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过所述空闲模型最长存活时间，通过设置所述预设矩阵实现。

可选地，根据所述第二时间段内的算法模型预加载任务分布预加载算法模型，包括：

根据所述第二时间段内的算法模型预加载任务分布，在所述第二时间段内预加载部分算法模型；

获取第三时间段内各个时间单元的算法模型加载任务分布；其中，包括所述第二时间段内未处理的预加载任务分布和所述第二时间段之后的算法模型加载任务分布；

根据所述第三时间段内各个时间单元的算法模型加载任务分布，建立N维第三向量；

将所述第三向量左乘N*N维的预设矩阵，得到N维第四向量；

根据所述第四向量，确定所述第三时间段内各个时间单元的算法模型预加载任务分布；

根据所述第三时间段内的算法模型预加载任务分布预加载算法模型。

可选地，方法还包括：

根据算法模型预加载结果，调整所述预设矩阵。

可选地，所述预加载算法模型包括：

判断当前是否有可用的服务实例，如果有，在所述可用的服务实例中预加载算法模型；否则，新建一个服务实例，在新建的服务实例中预加载算法模型。

可选地，方法还包括：

获取各个实例的负载信息；

当检测到第一服务实例的负载超过预设第一阈值时，启动一个新的第二服务实例；

将所述第一服务实例中的负载最高的算法模型迁移至所述第二服务实例。

可选地，方法还包括：

获取各个实例的模型的负载信息；

当检测到任一算法模型空闲的时间超过预设第二阈值时，释放所述任一算法模型。

可选地，方法还包括：

当检测到第三服务实例的全部模型被释放，或者所述第三服务实例未发出心跳信号的时间达到预设第三阈值时，删除所述第三服务实例。

根据本发明的又一方面，提供一种容器集群中算法模型的预加载装置，包括：

加载任务获取单元，用于获取第一时间段内算法模型加载任务分布、空闲模型最长存活时间和算法模型加载速度；

预加载任务确定单元，用于根据所述第一时间段内的算法模型加载任务分布、所述空闲模型最长存活时间和所述算法模型加载速度，确定早于所述第一时间段的第二时间段内的算法模型预加载任务分布；其中，所述算法模型预加载任务分布所需最大模型加载速度不超过所述算法模型加载速度，所述算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过所述空闲模型最长存活时间；

预加载执行单元，用于根据所述第二时间段内的算法模型预加载任务分布预加载算法模型。

根据本发明的又一方面，提供一种计算设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行上述的容器集群中算法模型的预加载方法。

本发明实施例，获取第一时间段内算法模型加载任务分布、空闲模型最长存活时间和算法模型加载速度，根据所述第一时间段内的算法模型加载任务分布、所述空闲模型最长存活时间和所述算法模型加载速度，确定早于所述第一时间段的第二时间段内的算法模型预加载任务分布；其中，所述算法模型预加载任务分布所需最大模型加载速度不超过所述算法模型加载速度，所述算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过所述空闲模型最长存活时间，根据所述第二时间段内的算法模型预加载任务分布预加载算法模型；通过根据算法模型加载速度、空闲模型最长存活时间以及算法模型加载任务分布等特征来建立数学模型，实现算法模型的预加载，解决模型实时加载慢，以及短时间内大量模型同时加载造成的加载队列阻塞和模型加载失败的问题。

附图说明

附图示出了本发明的示例性实施方式，并与其说明一起用于解释本发明的原理，其中包括了这些附图以提供对本发明的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。

图1是示例性的计算设备的结构框图。

图2是根据本发明实施例的容器集群中算法模型的预加载方法的流程示意图。

图3是根据本发明具体实施例提供的模型预加载任务分布示意图。

图4是根据本发明实施例提供的基于容器的模型实例动态管理系统的原理示意图。

图5是根据本发明实施例的容器集群中算法模型的预加载装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1是布置为实现根据本发明的容器集群中算法模型的预加载方法的示例计算设备100的框图。在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。

取决于期望的配置，处理器104可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。

取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个程序122以及程序数据124。在一些实施方式中，程序122可以被配置为在操作系统上由一个或者多个处理器104利用程序数据124执行指令。

计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示终端或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以是这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

计算设备100可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备100还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机、服务器、由多台计算机组成的集群。

其中，计算设备100的一个或多个程序122包括用于执行根据本发明的容器集群中算法模型的预加载方法的指令。

图2示例性示出根据本发明一个实施例的容器集群中算法模型的预加载方法的流程图，容器集群中算法模型的预加载方法始于步骤S210。

在步骤S210中，获取第一时间段内算法模型加载任务分布、空闲模型最长存活时间和算法模型加载速度。

其中，第一时间段内的算法模型加载任务分布可以根据业务系统提出的需求获得；空闲模型最长存活时间是预设值，通过容器的模型实例动态管理系统获得；算法模型加载速度则通过经验预估或者实时获取。

随后，在步骤S220中，根据第一时间段内的算法模型加载任务分布、空闲模型最长存活时间和算法模型加载速度，确定早于第一时间段的第二时间段内的算法模型预加载任务分布；其中，算法模型预加载任务分布所需最大模型加载速度不超过算法模型加载速度，算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过空闲模型最长存活时间。

本步骤中，算法模型预加载任务分布所需最大模型加载速度不超过算法模型加载速度，是指在任意一个子时间段内需要预加载的算法模型的数目不超过步骤S210获取的实际算法模型加载速度下的最大可加载数目，用以避免无法按照预加载任务分布完成算法模型的预加载，进而形成算法模型加载队列堵塞，影响到后续的算法模型加载任务。

此外，按照原算法模型加载任务分布，算法模型在被加载后立即使用，由于算法模型的预加载到使用之间的时间间隔不超过空闲模型最长存活时间，因此，不会出现算法模型在加载后闲置直至被释放的情形。

进一步地，步骤S220包括：将时间划分为若干时间单元；根据第一时间段内各个时间单元的算法模型加载数目，建立N维第一向量；将第一向量左乘N*N维的预设矩阵，得到N维第二向量；根据第二向量，确定第二时间段内各个时间单元的算法模型预加载数目。

本发明实施例中，通过约束预设矩阵的参数，实现算法模型预加载任务分布所需最大模型加载速度不超过算法模型加载速度，算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过所述空闲模型最长存活时间，同时，达到了预先加载算法模型，降低服务器在业务高峰期的负载的效果。

其中，预设矩阵可以根据经验数据训练得到；并且，在实际使用过程中可以根据预加载结果反馈调整该矩阵，从而使得计算结果能够达到上述的效果。

随后，在步骤S230中，根据第二时间段内的算法模型预加载任务分布预加载算法模型。

进一步地，在预加载的执行过程中，还可以根据后续的未完成的加载任务，及时对预加载任务分布进行调整，以提高方案的实时性，适应复杂多变的实际应用场景，方法包括：根据第二时间段内的算法模型预加载任务分布，在第二时间段内预加载部分算法模型；获取第三时间段内各个时间单元的算法模型加载任务分布；其中，包括第二时间段内未处理的预加载任务分布和第二时间段之后的算法模型加载任务分布；根据第三时间段内各个时间单元的算法模型加载任务分布，建立N维第三向量；将第三向量左乘N*N维的预设矩阵，得到N维第四向量；根据第四向量，确定第三时间段内各个时间单元的算法模型预加载任务分布；根据第三时间段内的算法模型预加载任务分布预加载算法模型。

在模型预加载过程中，本发明还提供了一种模型实例动态管理方法，用于对资源进行动态管理，提高资源利用率。

具体地，预加载算法模型，包括：判断当前是否有可用的服务实例，如果有，在可用的服务实例中预加载算法模型；否则，新建一个服务实例，在新建的服务实例中预加载算法模型。其中，可用的服务实例包括算法模型加载个数未达到预设上限的服务实例。

进一步地，方法还包括：获取各个实例的负载信息；当检测到第一服务实例的负载超过预设第一阈值时，启动一个新的第二服务实例；将第一服务实例中的负载最高的算法模型迁移至第二服务实例。

进一步地，方法还包括：获取各个实例的模型的负载信息；当检测到任一算法模型空闲的时间超过预设第二阈值时，释放该算法模型。

进一步地，方法还包括：当检测到第三服务实例的全部模型被释放，或者第三服务实例未发出心跳信号的时间达到预设第三阈值时，删除第三服务实例。

下面给出本发明的具体实施例。

本发明具体实施例中，模型实例动态预加载的处理是通过模型加载速率R秒/个、空闲模型最长存活时间T以及模型启动时间序列(t1,m1)(t2,m2)…等特征来建立线性关系实现。通过对该关系进行线性变换，对模型实例的合理预加载数量进行预测，使模型数量不会短时间内加载过多，从而导致容器集群性能大幅度下降，甚至引起宕机；也不会因为加载过少，导致产生大量空闲的模型，从而不能有效利用容器服务器集群资源。

如图3所示，假设模型空闲存活时间最长为15min，我们获取当前时间5-10分钟，10-15分钟和15-20分钟内需要加载的模型数量，每5分钟为间隔，则我们最终需要计算得到0-5分钟，5-10分钟和10-15分钟分别需要加载的模型数量，即x1,x2,x3的数量。

这里引入一个3×3的矩阵A，将向量[15,21,28]左乘矩阵A，得到(x1,x2,x3)。随后根据模型启动时间由近及远，按照模型加载速率R启动x1数量的模型，这样就完成0-5分钟内模型的启动。随后继续按照上述流程计算出x1,x2,x3并且启动相应数量的模型。在系统初始运行时，可以根据人为经验指定一个矩阵A，随后再根据实际效果反馈进行调整和优化。

矩阵A示例如下：

可以看出，该矩阵是一个三角矩阵。

参见图4，本发明具体实施例还提供了一种基于容器的模型实例动态管理系统，该系统工作流程如下：

首先，业务系统会向服务实例管理系统请求该用户的容器实例api接口地址，实例管理系统会检查当前是否有运行中的服务实例，若没有运行中的实例，则会调用容器管理系统在容器集群中启动一个服务实例，这时候该实例并未加载模型。实例启动后，服务实例管理系统会调用实例的接口加载定制的模型，模型加载成功后将实例的api地址返回给业务系统调用。

若已存在运行中的服务实例，则先判断实例已加载的模型数量是否已超出限制，若超过限制则按照上文相同的流程新建服务实例。若实例加载的模型数量未超出限制，直接调用该实例加载定制的模型，模型加载成功后将实例的api地址返回给业务系统调用，获取到api地址后业务系统即可以通过api接口直接请求容器实例。

另外，每一个运行中的容器实例会向服务实例管理系统定时发送心跳请求，并且附带自己加载的每个模型的负载信息。若管理系统检测到某一个实例的负载超过阈值，则会再启动一个服务实例，并且加载负载最高的模型，这样业务系统的请求会在多个服务实例间负载。若服务实例管理系统检测到服务实例的某一个模型没有负载的时间超过阈值，则会释放掉该模型。若服务实例中的模型全部被释放或者是长时间没有心跳信息，则会调用容器管理系统删除这些不活跃的实例，以释放系统的资源。

参见图5，本发明实施例提供了一种容器集群中算法模型的预加载装置，包括：

加载任务获取单元510，用于获取第一时间段内算法模型加载任务分布、空闲模型最长存活时间和算法模型加载速度；

预加载任务确定单元520，用于根据所述第一时间段内的算法模型加载任务分布、所述空闲模型最长存活时间和所述算法模型加载速度，确定早于所述第一时间段的第二时间段内的算法模型预加载任务分布；其中，所述算法模型预加载任务分布所需最大模型加载速度不超过所述算法模型加载速度，所述算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过所述空闲模型最长存活时间；

预加载执行单元530，用于根据第二时间段内的算法模型预加载任务分布预加载算法模型。

可选地，预加载任务确定单元520具体用于：

将时间划分为若干时间单元；

根据所述第一时间段内各个时间单元的算法模型加载数目，建立N维第一向量；

将所述第一向量左乘N*N维的预设矩阵，得到N维第二向量；

根据所述第二向量，确定所述第二时间段内各个时间单元的算法模型预加载数目。

可选地，预加载执行单元530具体用于：

根据所述第二时间段内的算法模型预加载任务分布，在所述第二时间段内预加载部分算法模型；

获取第三时间段内各个时间单元的算法模型加载任务分布；其中，包括所述第二时间段内未处理的预加载任务分布和所述第二时间段之后的算法模型加载任务分布；

根据所述第三时间段内各个时间单元的算法模型加载任务分布，建立N维第三向量；

将所述第三向量左乘N*N维的预设矩阵，得到N维第四向量；

根据所述第四向量，确定所述第三时间段内各个时间单元的算法模型预加载任务分布；

根据所述第三时间段内的算法模型预加载任务分布预加载算法模型。

可选地，装置还包括：

反馈单元，用于根据算法模型预加载结果，调整所述预设矩阵。

可选地，预加载执行单元530用于预加载算法模型时，具体用于：

判断当前是否有可用的服务实例，如果有，在所述可用的服务实例中预加载算法模型；否则，新建一个服务实例，在新建的服务实例中预加载算法模型。

可选地，装置还包括：

负载监测单元，用于获取各个实例的负载信息；当检测到第一服务实例的负载超过预设第一阈值时，启动一个新的第二服务实例；将所述第一服务实例中的负载最高的算法模型迁移至所述第二服务实例；

以及，获取各个实例的模型的负载信息；当检测到任一算法模型空闲的时间超过预设第二阈值时，释放所述任一算法模型；

以及，当检测到第三服务实例的全部模型被释放，或者所述第三服务实例未发出心跳信号的时间达到预设第三阈值时，删除所述第三服务实例。

应当理解，这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被该机器执行时，该机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的该程序代码中的指令，执行本发明的各种方法。

以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面发明的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所发明的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中发明的所有特征以及如此发明的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中发明的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的发明是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (9)

1.一种容器集群中算法模型的预加载方法，其特征在于，包括：

获取第一时间段内算法模型加载任务分布、空闲模型最长存活时间和算法模型加载速度；

根据所述第一时间段内的算法模型加载任务分布、所述空闲模型最长存活时间和所述算法模型加载速度，确定早于所述第一时间段的第二时间段内的算法模型预加载任务分布；其中，所述算法模型预加载任务分布所需最大模型加载速度不超过所述算法模型加载速度，所述算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过所述空闲模型最长存活时间；

根据所述第二时间段内的算法模型预加载任务分布预加载算法模型；

其中，所述根据所述第一时间段内的算法模型加载任务分布、所述空闲模型最长存活时间和所述算法模型加载速度，确定早于所述第一时间段的第二时间段内的算法模型预加载任务分布，包括：

将时间划分为若干时间单元；

根据所述第一时间段内各个时间单元的算法模型加载数目，建立N维第一向量；

将所述第一向量左乘N*N维的预设矩阵，得到N维第二向量；

根据所述第二向量，确定所述第二时间段内各个时间单元的算法模型预加载数目；

以及，

所述算法模型预加载任务分布所需最大模型加载速度不超过所述算法模型加载速度，所述算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过所述空闲模型最长存活时间，通过设置所述预设矩阵实现；

所述算法模型预加载任务分布所需最大模型加载速度不超过算法模型加载速度，是指在任意一个子时间段内需要预加载的算法模型的数目不超过获取的实际算法模型加载速度下的最大可加载数目；

所述算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过所述空闲模型最长存活时间，是指按照原算法模型加载任务分布，算法模型在被加载后立即使用，算法模型的预加载到使用之间的时间间隔不超过所述空闲模型最长存活时间。

2.如权利要求1所述的方法，其特征在于，根据所述第二时间段内的算法模型预加载任务分布预加载算法模型，包括：

根据所述第二时间段内的算法模型预加载任务分布，在所述第二时间段内预加载部分算法模型；

获取第三时间段内各个时间单元的算法模型加载任务分布；其中，包括所述第二时间段内未处理的预加载任务分布和所述第二时间段之后的算法模型加载任务分布；

根据所述第三时间段内各个时间单元的算法模型加载任务分布，建立N维第三向量；

将所述第三向量左乘N*N维的预设矩阵，得到N维第四向量；

根据所述第四向量，确定所述第三时间段内各个时间单元的算法模型预加载任务分布；

根据所述第三时间段内的算法模型预加载任务分布预加载算法模型。

3.如权利要求1所述的方法，其特征在于，还包括：

根据算法模型预加载结果，调整所述预设矩阵。

4.如权利要求1所述的方法，其特征在于，所述预加载算法模型，包括：

判断当前是否有可用的服务实例，如果有，在所述可用的服务实例中预加载算法模型；否则，新建一个服务实例，在新建的服务实例中预加载算法模型。

5.如权利要求4所述的方法，其特征在于，还包括：

获取各个实例的负载信息；

当检测到第一服务实例的负载超过预设第一阈值时，启动一个新的第二服务实例；

将所述第一服务实例中的负载最高的算法模型迁移至所述第二服务实例。

6.如权利要求4所述的方法，其特征在于，还包括：

获取各个实例的模型的负载信息；

当检测到任一算法模型空闲的时间超过预设第二阈值时，释放所述任一算法模型。

7.如权利要求6所述的方法，其特征在于，还包括：

当检测到第三服务实例的全部模型被释放，或者所述第三服务实例未发出心跳信号的时间达到预设第三阈值时，删除所述第三服务实例。

8.一种容器集群中算法模型的预加载装置，其特征在于，包括：

加载任务获取单元，用于获取第一时间段内算法模型加载任务分布、空闲模型最长存活时间和算法模型加载速度；

预加载任务确定单元，用于根据所述第一时间段内的算法模型加载任务分布、所述空闲模型最长存活时间和所述算法模型加载速度，确定早于所述第一时间段的第二时间段内的算法模型预加载任务分布；其中，所述算法模型预加载任务分布所需最大模型加载速度不超过所述算法模型加载速度，所述算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过所述空闲模型最长存活时间；

预加载执行单元，用于根据所述第二时间段内的算法模型预加载任务分布预加载算法模型；

其中，所述根据所述第一时间段内的算法模型加载任务分布、所述空闲模型最长存活时间和所述算法模型加载速度，确定早于所述第一时间段的第二时间段内的算法模型预加载任务分布，包括：

将时间划分为若干时间单元；

根据所述第一时间段内各个时间单元的算法模型加载数目，建立N维第一向量；

将所述第一向量左乘N*N维的预设矩阵，得到N维第二向量；

根据所述第二向量，确定所述第二时间段内各个时间单元的算法模型预加载数目；

以及，

所述算法模型预加载任务分布所需最大模型加载速度不超过所述算法模型加载速度，所述算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过所述空闲模型最长存活时间，通过设置所述预设矩阵实现；

所述算法模型预加载任务分布所需最大模型加载速度不超过算法模型加载速度，是指在任意一个子时间段内需要预加载的算法模型的数目不超过获取的实际算法模型加载速度下的最大可加载数目；

所述算法模型预加载任务分布对应的算法模型预加载时间与原加载时间的时间差不超过所述空闲模型最长存活时间，是指按照原算法模型加载任务分布，算法模型在被加载后立即使用，算法模型的预加载到使用之间的时间间隔不超过所述空闲模型最长存活时间。

9.一种计算设备，其特征在于，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行如权利要求1-7中的任一项所述的方法。