CN107992354B - 用于降低内存负载的方法以及装置 - Google Patents

Abstract

本发明的实施方式提供了一种用于降低内存负载的方法，该方法包括：将计算内存模型的计算任务分配至离线计算集群；通过所述离线计算集群生成内存模型快照；线上内存集群加载所述内存模型快照；根据所述内存模型快照更新所述线上内存集群的内存模型。通过将计算内存模型的计算任务分配给离线计算集群，线上内存集群只需载入轻量级的内存模型快照即可，本发明的方法使得线上内存集群的负载大大降低，从而显著地降低了系统启动和更新过程的耗时，为用户带来了更好的体验，并且减少了数据中心访问量以及网络负载。此外，本发明实施方式还提供了一种计算机可读存储介质、用于降低内存负载的装置及计算设备。

Description

用于降低内存负载的方法以及装置

技术领域

本发明的实施方式涉及计算机领域，更具体地，本发明的实施方式涉及用于降低内存负载的方法、装置、计算设备以及计算机可读存储介质。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或者上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着以虚拟化技术为代表的云计算技术的飞速发展，越来越多的企业开始使用云计算系统来提升系统运行效率和管理效率。云计算平台对虚拟机屏蔽了底层的硬件细节，不同类型的虚拟机可以同时运行在云系统里面的物理服务器上面，同时，云计算还具有虚拟机供应动态收缩，服务器资源高效整合等特点，都使得云计算的成为研究的热点。云计算环境下，资源是按需获取的，传统的虚拟机操作系统实现了对所有类型的应用程序的全局适应性，从而导致特定类型的硬件资源在使用的过程中，操作系统的调度成为瓶颈。

云计算数据中心运行的负载一般不会随着时间变化而不断改变，可以看做一段时间内是特征稳定的。根据不同应用程序的资源消耗特征和瓶颈资源类型，负载可以分为五类：CPU密集型、内存密集型、I/O密集型、网络密集型和混合型。其中内存密集型主要消耗系统内存。

目前一种降低内存密集型系统负载的方法是使用热点缓存，通过只储存热点的数据的方式降低内存的负载。当用户需要访问内存模型时先访问热点缓存，如果访问不到再去数据中心拿数据。

发明内容

但是，虽然上述现有技术的方案可以降低内存负载，出于还需要计算内存中的各种数据模型的原因，现有技术并不能降低计算负载。而且一旦热点缓存失效，需要访问数据中心，响应时间和网络负载会增加。

因此在现有技术中，计算负载依然很高，容易触发不必要的内存回收流程，影响其他服务。此外，缓存失效网络负载会升高，阻塞网络请求。同时，高并发下缓存失效会造成响应时间过长，从而导致服务不可用，这是非常令人烦恼的技术问题。

为此，非常需要一种改进的用于降低内存负载的方法、计算机可读存储介质、装置以及计算设备，以使内存负载降低，减少系统启动和更新的时间。

在本上下文中，本发明实施方式期望提供一种用于降低内存负载的方法、计算机可读存储介质、装置以及计算设备。

在本发明实施方式的第一方面中，提供了一种用于降低内存负载的方法，包括：将计算内存模型的计算任务分配至离线计算集群；通过所述离线计算集群生成内存模型快照；线上内存集群加载所述内存模型快照；根据所述内存模型快照更新所述线上内存集群的内存模型。

在本发明的一个实施例中，所述将计算内存模型的计算任务分配至离线计算集群包括：通过调度中心进行分布式调度，将所述计算任务分配至所述离线计算集群的计算节点；每个计算节点定时轮询所述调度中心，抢占即将执行的计算任务；在所述调度中心添加对所述计算任务的锁；执行完所述计算任务后释放所述锁。

在本发明的另一个实施例中，所述通过所述离线计算集群生成内存模型快照包括：采用对象的序列化机制将内存中对象形式的内存模型转换成文件形式的所述内存模型快照。

在本发明的再一个实施例中，所述通过所述离线计算集群生成内存模型快照包括：将所述离线计算集群生成的所述内存模型快照写入第二快照文件；所述内存模型快照写入成功后，删除上一次生成的第一快照文件；将所述第二快照文件重命名成第一快照文件。

在本发明的再一个实施例中，所述根据所述内存模型快照更新所述线上内存集群的内存模型包括：解析所述内存模型快照生成相应的内存模型；校验解析后的所述内存模型，判断数据校验是否成功；当数据校验失败时，重新计算所述内存模型；当数据校验成功时，进行心跳记录，记录所述内存模型的更新结果。

在本发明的再一个实施例中，所述解析所述内存模型快照生成相应的内存模型包括：采用对象的序列化机制将文件形式的所述内存模型快照转换成对象形式的所述内存模型。

在本发明的再一个实施例中，所述解析所述内存模型快照生成相应的内存模型包括：将所述线上内存集群解析的所述内存模型快照写入备份内存模型；所述内存模型快照解析成功后，用所述备份内存模型替换上一次更新的内存模型。

在本发明的再一个实施例中，所述当数据校验失败时，重新计算所述内存模型包括：若当前时间和快照生成时间之间的差值大于预设的更新间隔时，判定所述内存模型快照过期，重新计算所述内存模型；和/或若所述离线计算集群计算得到的内存模型Hash值和所述线上内存集群更新所述内存模型后计算得到的内存模型Hash值不一致时，重新计算所述内存模型；和/或对所述线上内存集群更新的内存模型进行抽样校验，重新计算抽样的内存模型；当重新计算得到的抽样的内存模型和通过解析所述内存模型快照得到的内存模型不一致的比例超过预设阈值时，重新计算所述内存模型。

在本发明的再一个实施例中，所述方法还包括：所述线上内存集群定时检查内存模型的更新情况；当所述内存模型未在预设时间更新时，重新计算所述内存模型。

在本发明的再一个实施例中，所述方法还包括：所述离线计算集群将生成的所述内存模型快照上传至存储中心；所述离线计算集群通知所述线上内存集群更新内存模型。

在本发明的再一个实施例中，所述离线计算集群基于Rsync的文件同步策略将所述内存模型快照上传至所述存储中心；和/或所述线上内存集群基于Rsync的文件同步策略加载所述内存模型快照。

在本发明的再一个实施例中，所述线上内存集群为内存密集集群。

在本发明实施方式的第二方面中，提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述方法实施方式中的各步骤，例如，将计算内存模型的计算任务分配至离线计算集群；通过所述离线计算集群生成内存模型快照；线上内存集群加载所述内存模型快照；根据所述内存模型快照更新所述线上内存集群的内存模型。

在本发明的一个实施例中，所述将计算内存模型的计算任务分配至离线计算集群的步骤包括：通过调度中心进行分布式调度，将所述计算任务分配至所述离线计算集群的计算节点；每个计算节点定时轮询所述调度中心，抢占即将执行的计算任务；在所述调度中心添加对所述计算任务的锁；执行完所述计算任务后释放所述锁。

在本发明的另一个实施例中，所述通过所述离线计算集群生成内存模型快照的步骤包括：采用对象的序列化机制将内存中对象形式的内存模型转换成文件形式的所述内存模型快照。

在本发明的再一个实施例中，所述通过所述离线计算集群生成内存模型快照的步骤包括：将所述离线计算集群生成的所述内存模型快照写入第二快照文件；所述内存模型快照写入成功后，删除上一次生成的第一快照文件；将所述第二快照文件重命名成第一快照文件。

在本发明的再一个实施例中，所述根据所述内存模型快照更新所述线上内存集群的内存模型的步骤包括：解析所述内存模型快照生成相应的内存模型；校验解析后的所述内存模型，判断数据校验是否成功；当数据校验失败时，重新计算所述内存模型；当数据校验成功时，进行心跳记录，记录所述内存模型的更新结果。

在本发明的再一个实施例中，所述解析所述内存模型快照生成相应的内存模型的步骤包括：采用对象的序列化机制将文件形式的所述内存模型快照转换成对象形式的所述内存模型。

在本发明的再一个实施例中，所述解析所述内存模型快照生成相应的内存模型的步骤包括：将所述线上内存集群解析的所述内存模型快照写入备份内存模型；所述内存模型快照解析成功后，用所述备份内存模型替换上一次更新的内存模型。

在本发明的再一个实施例中，所述当数据校验失败时，重新计算所述内存模型的步骤包括：若当前时间和快照生成时间之间的差值大于预设的更新间隔时，判定所述内存模型快照过期，重新计算所述内存模型；和/或若所述离线计算集群计算得到的内存模型Hash值和所述线上内存集群更新所述内存模型后计算得到的内存模型Hash值不一致时，重新计算所述内存模型；和/或对所述线上内存集群更新的内存模型进行抽样校验，重新计算抽样的内存模型；当重新计算得到的抽样的内存模型和通过解析所述内存模型快照得到的内存模型不一致的比例超过预设阈值时，重新计算所述内存模型。

在本发明的再一个实施例中，该程序被处理器执行时实现的步骤还包括：所述线上内存集群定时检查内存模型的更新情况；当所述内存模型未在预设时间更新时，重新计算所述内存模型。

在本发明的再一个实施例中，该程序被处理器执行时实现的步骤还包括：所述离线计算集群将生成的所述内存模型快照上传至存储中心；所述离线计算集群通知所述线上内存集群更新内存模型。

在本发明的再一个实施例中，所述离线计算集群基于Rsync的文件同步策略将所述内存模型快照上传至所述存储中心；和/或所述线上内存集群基于Rsync的文件同步策略加载所述内存模型快照。

在本发明的再一个实施例中，所述线上内存集群为内存密集集群。

在本发明实施方式的第三方面中，提供一种用于降低内存负载的装置，包括：任务分配模块，用于将计算内存模型的计算任务分配至离线计算集群；快照生成模块，用于通过所述离线计算集群生成内存模型快照；快照加载模块，用于线上内存集群加载所述内存模型快照；模型更新模块，用于根据所述内存模型快照更新所述线上内存集群的内存模型。

在本发明的一个实施例中，所述任务分配模块包括：分布式调度单元、任务抢占单元、加锁单元以及释放单元。其中，所述分布式调度单元用于通过调度中心进行分布式调度，将所述计算任务分配至所述离线计算集群的计算节点。所述任务抢占单元用于每个计算节点定时轮询所述调度中心，抢占即将执行的计算任务。所述加锁单元用于在所述调度中心添加对所述计算任务的锁。所述释放单元用于执行完所述计算任务后释放所述锁。

在本发明的又一个实施例中，所述快照生成模块包括序列化快照生成单元。其中所述序列化快照生成单元用于采用对象的序列化机制将内存中对象形式的内存模型转换成文件形式的所述内存模型快照。

在本发明的再一个实施例中，所述快照生成模块包括快照写入单元、快照删除单元以及快照重命名单元。其中，所述快照写入单元用于将所述离线计算集群生成的所述内存模型快照写入第二快照文件。所述快照删除单元用于所述内存模型快照写入成功后，删除上一次生成的第一快照文件。所述快照重命名单元用于将所述第二快照文件重命名成第一快照文件。

在本发明的再一个实施例中，所述模型更新模块包括：快照解析单元、模型校验单元、模型重新计算单元以及更新记录单元。其中，所述快照解析单元用于解析所述内存模型快照生成相应的内存模型。所述模型校验单元用于校验解析后的所述内存模型，判断数据校验是否成功。所述模型重新计算单元用于当数据校验失败时，重新计算所述内存模型。所述更新记录单元用于当数据校验成功时，进行心跳记录，记录所述内存模型的更新结果。

在本发明的再一个实施例中，所述快照解析单元包括序列化快照解析子单元。其中，所述序列化快照解析子单元用于采用对象的序列化机制将文件形式的所述内存模型快照转换成对象形式的所述内存模型。

在本发明的再一个实施例中，所述快照解析单元包括模型写入子单元和模型替换子单元。其中，所述模型写入子单元用于将所述线上内存集群解析的所述内存模型快照写入备份内存模型。所述模型替换子单元用于所述内存模型快照解析成功后，用所述备份内存模型替换上一次更新的内存模型。

在本发明的再一个实施例中，所述模型重新计算单元包括：第一计算子单元和/或第二计算子单元和/或第三计算子单元和第四计算子单元。其中，所述第一计算子单元用于若当前时间和快照生成时间之间的差值大于预设的更新间隔时，判定所述内存模型快照过期，重新计算所述内存模型。所述第二计算子单元用于若所述离线计算集群计算得到的内存模型Hash值和所述线上内存集群更新所述内存模型后计算得到的内存模型Hash值不一致时，重新计算所述内存模型。所述第三计算子单元用于对所述线上内存集群更新的内存模型进行抽样校验，重新计算抽样的内存模型。所述第四计算子单元用于当重新计算得到的抽样的内存模型和通过解析所述内存模型快照得到的内存模型不一致的比例超过预设阈值时，重新计算所述内存模型。

在本发明的再一个实施例中，所述装置还包括：定时检查模块。其中，所述定时检查模块用于所述线上内存集群定时检查内存模型的更新情况。其中，所述模型重新计算单元还用于当所述内存模型未在预设时间更新时，重新计算所述内存模型。

在本发明的再一个实施例中，所述装置还包括：快照上传模块以及通知模块。其中，所述快照上传模块用于所述离线计算集群将生成的所述内存模型快照上传至存储中心。所述通知模块用于所述离线计算集群通知所述线上内存集群更新内存模型。

在本发明的再一个实施例中，所述快照上传模块包括快照上传单元。其中，所述快照上传单元用于所述离线计算集群基于Rsync的文件同步策略将所述内存模型快照上传至所述存储中心。

在本发明的再一个实施例中，所述快照加载模块包括快照加载单元。其中，所述快照加载单元用于所述线上内存集群基于Rsync的文件同步策略加载所述内存模型快照。

在本发明实施方式的第四方面中，提供一种计算设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，下述指令被运行：将计算内存模型的计算任务分配至离线计算集群；通过所述离线计算集群生成内存模型快照；线上内存集群加载所述内存模型快照；根据所述内存模型快照更新所述线上内存集群的内存模型。

在本发明的一个实施例中，所述将计算内存模型的计算任务分配至离线计算集群的指令包括：通过调度中心进行分布式调度，将所述计算任务分配至所述离线计算集群的计算节点；每个计算节点定时轮询所述调度中心，抢占即将执行的计算任务；在所述调度中心添加对所述计算任务的锁；执行完所述计算任务后释放所述锁。

在本发明的又一个实施例中，所述通过所述离线计算集群生成内存模型快照的指令包括：采用对象的序列化机制将内存中对象形式的内存模型转换成文件形式的所述内存模型快照。

在本发明的另一个实施例中，所述通过所述离线计算集群生成内存模型快照的指令包括：将所述离线计算集群生成的所述内存模型快照写入第二快照文件；所述内存模型快照写入成功后，删除上一次生成的第一快照文件；将所述第二快照文件重命名成第一快照文件。

在本发明的再一个实施例中，所述根据所述内存模型快照更新所述线上内存集群的内存模型的指令包括：解析所述内存模型快照生成相应的内存模型；校验解析后的所述内存模型，判断数据校验是否成功；当数据校验失败时，重新计算所述内存模型；当数据校验成功时，进行心跳记录，记录所述内存模型的更新结果。

在本发明的再一个实施例中，所述解析所述内存模型快照生成相应的内存模型的指令包括：采用对象的序列化机制将文件形式的所述内存模型快照转换成对象形式的所述内存模型。

在本发明的再一个实施例中，所述解析所述内存模型快照生成相应的内存模型的指令包括：将所述线上内存集群解析的所述内存模型快照写入备份内存模型；所述内存模型快照解析成功后，用所述备份内存模型替换上一次更新的内存模型。

在本发明的再一个实施例中，所述当数据校验失败时，重新计算所述内存模型的指令包括：若当前时间和快照生成时间之间的差值大于预设的更新间隔时，判定所述内存模型快照过期，重新计算所述内存模型；和/或若所述离线计算集群计算得到的内存模型Hash值和所述线上内存集群更新所述内存模型后计算得到的内存模型Hash值不一致时，重新计算所述内存模型；和/或对所述线上内存集群更新的内存模型进行抽样校验，重新计算抽样的内存模型；当重新计算得到的抽样的内存模型和通过解析所述内存模型快照得到的内存模型不一致的比例超过预设阈值时，重新计算所述内存模型。

在本发明的再一个实施例中，被运行的指令还包括：所述线上内存集群定时检查内存模型的更新情况；当所述内存模型未在预设时间更新时，重新计算所述内存模型。

在本发明的再一个实施例中，被运行的指令还包括：所述离线计算集群将生成的所述内存模型快照上传至存储中心；所述离线计算集群通知所述线上内存集群更新内存模型。

在本发明的再一个实施例中，被运行的指令还包括：所述离线计算集群基于Rsync的文件同步策略将所述内存模型快照上传至所述存储中心；和/或所述线上内存集群基于Rsync的文件同步策略加载所述内存模型快照。

在本发明的再一个实施例中，所述线上内存集群为内存密集集群。

根据本发明实施方式提供的用于降低内存负载的方法、计算机可读存储介质、装置以及计算设备，可以通过将计算内存模型的计算任务分配给离线计算集群，线上内存集群只需载入轻量级的内存模型快照即可，从而使得线上内存集群的负载大大降低，从而显著地降低了系统启动和更新过程的耗时，为用户带来了更好的体验，并且减少了数据中心访问量以及网络负载。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性地示出了根据本发明实施方式的可以在其中实现的应用场景示意图；

图2示意性地示出了根据本发明一实施例的用于降低内存负载的方法流程图；

图3示意性地示出了根据本发明另一实施例的用于降低内存负载的方法流程图；

图4示意性地示出了根据本发明一实施例的线上内存集群更新内存模型的方法流程图；

图5示意性地示出了根据本发明一实施例的上线前和上线后GC状况的示意图；

图6示意性地示出了根据本发明一实施例的上线前和上线后平均响应时间状况的示意图；

图7示意性地示出了根据本发明一实施例的用于降低内存负载的装置的结构示意图；

图8示意性地示出了根据本发明一实施例的计算设备的结构示意图；

图9示意性地示出了根据本发明一实施例的计算机可读存储介质的示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件或者完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种用于降低内存负载的方法、装置、计算设备以及计算机可读存储介质。

在本文中，需要理解的是，本发明实施方式所涉及的术语分布式快照通常是指一种通过文件形式存储的数据结构，是分布式环境下同步数据的载体，可以用于把一台服务器的数据同步到另外一台服务器上；术语内存密集型系统可以理解为系统是一群服务器构成的用于提供服务的集群，内存密集指的是集群中每台服务器内存负载和计算负载非常高，有大量的计算任务需要执行。此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性的实施方式，详细阐释本发明的原理和精神。

发明概述

本发明人发现，使用热点缓存的方式，虽然可以降低内存负载，但是还需要计算内存中的各种数据模型，并不能降低计算负载。而且一旦热点缓存失效，需要访问数据中心，响应时间和网络负载会增加。

因此针对现有技术中存在的内存密集型系统启动和更新内存模型时负载过大的技术问题，本发明提供了用于降低内存负载的方法、计算机可读存储介质、装置以及计算设备，通过分布式的方式将计算内存模型的任务分配到离线计算集群，将网络负载、CPU负载、内存负载、时间负载转移到离线计算集群，线上系统直接加载计算后的快照，大大降低线上内存密集型系统的负载。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

首先参考图1，示意性地示出了根据本发明实施方式的可以在其中实现的应用场景。

图1中，终端设备1、终端设备2、……终端设备n中均安装有能够访问电商(例如，考拉海购的电商)所提供的页面的应用程序，例如，在终端设备1表现为台式计算机或者笔记型计算机的情况下，终端设备1中安装有能够访问电商所提供的页面的应用客户端或者浏览器等应用程序，再例如，在终端设备2表现为智能移动电话或者平板电脑的情况下，终端设备2中安装有能够访问电商所提供的页面的APP(Application，应用程序)或者浏览器等应用程序；不同用户均可以利用其终端设备中安装的相应应用程序访问相应服务器中电商所提供的页面，从而用户可以查看该电商所提供的各销售商品的价格、评论以及促销活动等信息；进一步的，不同用户可以根据其实际需求以及其了解到的相应销售商品的信息，基于该电商所提供的相应页面执行相应的订购流程操作，以购买该电商所提供的相应销售商品；此外，该电商所提供的相应页面可以向不同用户推荐个性化的商品信息，实现精准化商品营销。然而，本领域技术人员完全可以理解，本发明实施方式的适用场景不受到该框架任何方面的限制。

示例性方法

下面结合图1所示的应用场景，参考图2来描述根据本发明示例性实施方式的用于降低内存负载的方法。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

参见图2，示意性地示出了根据本发明一实施例的计算机实现的基于数据分析辅助制定价格的方法的流程图，该方法通常在可以运行计算机程序的设备中执行，例如，在台式计算机或者服务器等设备中执行，当然，也可以在笔记型计算机甚至平板电脑等设备中执行。

本发明实施方式的方法可以包括：步骤S210、步骤S220、步骤S230以及步骤S240；可选的，本发明实施方式的方法还可以包括：步骤S310、步骤S311、步骤S320、步骤S330以及步骤S340。

步骤S210、将计算内存模型的计算任务分配至离线计算集群。之后，到步骤S220。

作为示例，本发明实施方式的所述将计算内存模型的计算任务分配至离线计算集群可以包括：通过调度中心进行分布式调度，将所述计算任务分配至所述离线计算集群的计算节点；每个计算节点定时轮询所述调度中心，抢占即将执行的计算任务；在所述调度中心添加对所述计算任务的锁；执行完所述计算任务后释放所述锁。

步骤S220、通过所述离线计算集群生成内存模型快照。之后，到步骤S230。

作为示例，本发明实施方式中的所述通过所述离线计算集群生成内存模型快照可以包括：采用对象的序列化机制将内存中对象形式的内存模型转换成文件形式的所述内存模型快照。

具体的，当计算内存模型的计算任务完成后，需要生成内存模型快照，本发明实施例中生成内存模型快照的主要工作例如可以在图3所示的离线计算集群中的某一台服务器完成，步骤例如可以是：将内存中对象形式的内存模型转换成文件形式的内存模型快照并上传至存储中心(参见图3)。

作为示例，本发明实施方式中的所述通过所述离线计算集群生成内存模型快照可以包括：将所述离线计算集群生成的所述内存模型快照写入第二快照文件；所述内存模型快照写入成功后，删除上一次生成的第一快照文件；将所述第二快照文件重命名成第一快照文件。

在一个优选的实施方式中，为了保证内存模型快照生成阶段不会影响整个系统正常服务的运行，可以使用写后替换策略。

例如，所述写后替换策略可以为：所述离线计算集群生成所述内存模型快照时，不直接写入上一次生成的快照文件A，而是写入快照文件B，当所述内存模型快照写入快照文件B成功后，删除上一次生成的快照文件A，将快照文件B重命名成快照文件A。这样可以保证写入的途中用户读取快照文件A没有异常。

作为示例，本发明实施方式中的所述方法还可以包括：所述离线计算集群将生成的所述内存模型快照上传至存储中心；所述离线计算集群通知所述线上内存集群更新内存模型。

步骤S230、线上内存集群加载所述内存模型快照。之后，到步骤S240。

作为示例，本发明实施方式中的所述离线计算集群可以基于Rsync的文件同步策略将所述内存模型快照上传至所述存储中心；和/或所述线上内存集群可以基于Rsync的文件同步策略加载所述内存模型快照。

例如，使用Rsync服务搭建两条内存模型快照的高速传输通道，使得离线计算集群可以快速地把生成的内存模型快照上传至存储中心，线上内存集群例如线上内存密集集群也可以快速地下载所述内存模型快照。本发明实施例中，所述内存模型快照的高速传输依靠基于Rsync的文件同步策略，它能在同步时查找源文件和目标文件中差异的部分，只把源文件中差异的部分同步给目标文件，减少了数据传输量。

其中，具体的文件同步策略可以如下：

a、目标主机将目标文件分成若干块，对每一块求弱Hash和强Hash。弱Hash用来区分不同，当两个块的弱Hash不同时，可以认为这两个块是不同的。强Hash用来确认相同，当两个块的强Hash相同时，可以认为两个块是相同的。

b、目标主机将目标文件的弱Hash和强Hash同步给源主机。

c、源主机将源文件分成相同的块进行比对，从第一个文件块开始，如果弱Hash一致且强Hash一致说明这两个文件块是一致的，就向后偏移1个文件块继续比对。如果不一致，则需要向后偏移1个字节重新对比文件块。

本发明实施例中，基于Rsync的文件同步策略可以比对出源文件和目标文件中差异的部分，在同步文件时只需要同步差异的部分即可，从而大大提升了传输效率。

作为示例，本发明实施方式中的所述线上内存集群可以为内存密集集群。但本公开并不限定于此。

步骤S240、根据所述内存模型快照更新所述线上内存集群的内存模型。

作为示例，本发明实施方式中的所述根据所述内存模型快照更新所述线上内存集群的内存模型可以包括：解析所述内存模型快照生成相应的内存模型；校验解析后的所述内存模型，判断数据校验是否成功；当数据校验失败时，重新计算所述内存模型；当数据校验成功时，进行心跳记录，记录所述内存模型的更新结果。

作为示例，本发明实施方式中的所述解析所述内存模型快照生成相应的内存模型可以包括：采用对象的序列化机制将文件形式的所述内存模型快照转换成对象形式的所述内存模型。

本发明实施例中，线上内存集群更新内存模型时，需要解析内存模型快照，将从存储中心下载的内存模型快照重新转换成内存中对象形式的内存模型。具体的，离线内存集群生成所述内存模型快照和线上内存集群解析所述内存模型快照可以采用对象的序列化机制进行实现。其中，对象序列化机制是Java语言内建的一种对象持久化方式，通过对象序列化，可以把对象的状态保存为字节流，并且可以在线上内存集群例如线上内存密集集群有使用需求的时候将这个字节流通过反序列化的方式再转换成对象。通过对象序列化机制，可以在生成内存模型快照时，把内存模型对象转化成字节流，最终写入文件形式的快照中(即图3所示的存储中心)。在线上内存密集集群中解析内存模型快照时，可以读取快照文件中的字节流，最终把字节流转化成内存模型对象。

在一个优选的实施方式中，本发明实施方式的所述解析所述内存模型快照生成相应的内存模型可以包括：将所述线上内存集群解析的所述内存模型快照写入备份内存模型；所述内存模型快照解析成功后，用所述备份内存模型替换上一次更新的内存模型。

本发明实施例中，为了保证快照解析阶段不会影响整个系统正常服务的运行，可以使用读后替换的策略。

例如，所述读后替换的策略可以为：线上内存密集集群解析内存模型快照时，不直接写入上一次更新的内存模型C，而是写入备份内存模型D，当内存模型快照解析成功后用内存模型C替换备份内存模型D。这样可以保证解析快照的途中用户访问内存模型没有异常。

在一个优选的实施方式中，本发明实施方式的所述当数据校验失败时，重新计算所述内存模型可以包括：若当前时间和快照生成时间之间的差值大于预设的更新间隔时，判定所述内存模型快照过期，重新计算所述内存模型；和/或若所述离线计算集群计算得到的内存模型Hash值和所述线上内存集群更新所述内存模型后计算得到的内存模型Hash值不一致时，重新计算所述内存模型；和/或对所述线上内存集群更新的内存模型进行抽样校验，重新计算抽样的内存模型；当重新计算得到的抽样的内存模型和通过解析所述内存模型快照得到的内存模型不一致的比例超过预设阈值时，重新计算所述内存模型。

在另一个较为优选的实施方式中，本发明实施方式的所述方法还可以包括：所述线上内存集群定时检查内存模型的更新情况；当所述内存模型未在预设时间更新时，重新计算所述内存模型。

本发明实施方式提供的用于降低内存负载的方法，通过分布式快照框架解决内存密集型系统启动和更新内存模型时负载过大的问题，包括多节点访问数据中心的网络负载，计算内存模型的CPU负载、内存负载等时间和空间上的损耗。解决该问题的主要思路是：通过分布式的方式将计算内存模型的任务分配到离线计算集群，将网络负载、CPU负载、内存负载、时间负载转移到离线计算集群，线上系统即线上内存集群直接加载计算后的快照，大大降低线上内存密集型系统的负载。

本发明实施方式对上述用于降低内存负载的方法的一个具体例子如下述针对图3的描述。这里以所述线上内存集群为线上内存密集集群为例进行示例说明。

本发明实施例通过设计和实现一套降低内存密集型系统负载的框架，将线上系统的计算任务分配到分布式计算集群，线上系统只需载入轻量级的计算结果快照即可。该框架可以使内存密集型系统变得更轻便，启动和更新的过程耗时更短，负载更低。整个框架的运行流程如下图3所示：

图3中，步骤S310、调度中心分配计算任务至离线计算集群；之后，到步骤S320。

作为示例，上述调度中心进行分布式调度，将计算任务分配到离线计算集群的计算节点进行计算。

具体的，图3中调度中心的工作是任务调度，计算任务调度框架可以基于Quartz开源框架实现，按照用户设置的时间将计算任务分配到计算节点上执行。用户可以使用该框架对计算任务进行调度，制定不同计算任务的执行时间。调度框架架构上可以是分布式的，利用数据库锁的方式来实现集群环境下的并发控制。每个计算节点会定时轮询调度中心，抢占即将执行的计算任务，并在调度中心添加对该任务的锁，执行完此次任务之后释放锁。通过这种抢占和锁的方式，计算任务会均衡地分配到各个节点，每个节点分配到的计算任务量是平均的，从而降低了单台计算节点的负载。

如下所示是用户对计算任务调度进行配置的样例，例如用户设置每隔3小时就执行一次商品内存模型计算的任务：

计算任务描述：商品内存模型计算

触发事件描述：00 00 0/3**(表示每隔3小时执行一次)

时区描述：亚洲/上海

任务代码位置：(具体需要执行的代码类/方法，本样例中，指向商品内存模型)

需要说明的是，上述商品内存模型计算仅是用于举例说明，本公开对具体的内存模型的类型不作限定，且上述实例中的数值和各种描述均是可以根据具体应用场合自主设置的。

步骤S320、离线计算集群上传内存模型快照至存储中心；之后，到步骤S330。

作为示例，本发明实施方式中的离线计算集群将计算后生成的内存模型快照上传至存储中心。

步骤S330、离线计算集群通知线上内存密集集群，之后，到步骤S340。

作为示例，离线计算集群通知线上内存密集集群更新内存模型。

步骤S340、线上内存密集集群从存储中心下载内存模型快照。

作为示例，线上内存密集集群从存储中心下载内存模型快照，载入快照，更新内存模型。

本发明实施方式中，为了保证线上内存密集集群更新内存模型时的数据一致性和可用性，线上内存密集集群更新内存模型的流程还可以进一步细分为数据校验、错误担保、心跳记录和心跳检测四个步骤。

其中，所述数据校验是通过校验内存模型快照生成的内存模型，保证数据的一致性和完整性。所述错误担保是通过重新计算内存模型，保证出错之后系统的可用性。所述记录心跳是用于记录每次内存模型的更新结果。所述定时心跳是通过定时检测心跳记录保证该框架一直处于正常工作状态。

线上内存密集集群更新内存模型的流程如图4所示：

如图4所示，首先所述线上内存密集集群加载存储中心存储的内存模型快照。

此外，在图4中，为了保证内存模型的数据一致性和完整性，线上内存密集集群在载入内存模型快照进行内存模型更新的时候需要进行校验。

例如，数据校验过程可以如下：

a、根据校验头中的快照生成时间校验内存模型快照是否过期，如果当前时间和快照生成时间大于更新的间隔，那么判断该内存模型快照过期，走错误担保流程。

b、离线计算得到的内存模型Hash值存在校验头中，线上内存密集集群载入内存模型快照更新内存模型后也进行Hash，校验两个Hash值是否一致，如果不一致也要走错误担保流程。

c、对线上内存密集集群更新的内存模型进行抽样校验，以商品模型为例，抽取少量商品重新计算商品内存模型，校验重新计算的商品内存模型和通过内存模型快照解析的内存模型是否一致。如果错误比例超过阈值(该阈值可以自主设定)就要走错误担保流程。

本发明实施例中，当上述数据校验成功时，记录心跳。

图4所示的实施例中，线上内存密集集群还可以包括心跳记录和检测机制，目的是为了防止意外情况造成框架不可用，导致线上内存密集集群停止更新内存模型。采用了心跳记录和检测机制，每次成功更新内存模型后都会把模型名称、服务器域名、更新时间点等信息写入数据中心(即：心跳记录)。

继续参考图4所示的实施例，线上内存密集集群会定时主动检查线上每台服务器所有内存模型的更新情况。如果某个内存模型在规定时间没有更新，心跳检测机制能根据数据中心的心跳记录缺失情况检测出这次未更新的情况，从而触发错误担保。

图5示意性地示出了根据本发明一实施例的上线前和上线后GC状况的示意图。

通过本发明实施方式所述的用于降低内存负载的方法，系统启动时间从14分钟提升至4分钟，时间负载降低71％，数据中心访问量降低95％，网络负载降低95％。

其中图5左侧为上线前GC(java的垃圾回收过程)状况的示意图，右侧为上线后GC状况的示意图。从图5可以看出，GC频率和时间降低30％以上，内存负载降低30％以上。

图6示意性地示出了根据本发明一实施例的上线前和上线后平均响应时间状况的示意图。

其中，图6左侧为上线前平均响应时间状况，右侧为上线后平均响应时间状况。如图6所示，系统平均响应时间降低50％，计算负载降低50％

示例性装置

在介绍了本发明示例性实施方式的用于降低内存负载的方法之后，接下来，参考图7对本发明示例性实施方式的、用于降低内存负载的装置进行说明。

参见图7，示意性地示出了根据本发明一实施例的用于降低内存负载的装置的结构示意图，该用于降低内存负载的装置通常设置于可以运行计算机程序的设备中，例如，本发明实施例中的该用于降低内存负载的装置可以设置于台式计算机或者服务器等设备中，当然，该用于降低内存负载的装置也可以设置于笔记型计算机甚至平板电脑等设备中。

本发明实施方式的用于降低内存负载的装置700主要包括：任务分配模块710、快照生成模块720、快照加载模块730以及模型更新模块740。下面对该用于降低内存负载的装置所包括的各个模块和/或单元和/或子单元分别进行说明。

其中任务分配模块710可以用于将计算内存模型的计算任务分配至离线计算集群。

快照生成模块720可以用于通过所述离线计算集群生成内存模型快照。

快照加载模块730可以用于线上内存集群加载所述内存模型快照。

模型更新模块740可以用于根据所述内存模型快照更新所述线上内存集群的内存模型。

在示例性实施例中，所述任务分配模块710可以包括：分布式调度单元、任务抢占单元、加锁单元以及释放单元。其中，所述分布式调度单元可以用于通过调度中心进行分布式调度，将所述计算任务分配至所述离线计算集群的计算节点。所述任务抢占单元可以用于每个计算节点定时轮询所述调度中心，抢占即将执行的计算任务。所述加锁单元可以用于在所述调度中心添加对所述计算任务的锁。所述释放单元可以用于执行完所述计算任务后释放所述锁。

在示例性实施例中，所述快照生成模块720可以包括序列化快照生成单元。其中所述序列化快照生成单元可以用于采用对象的序列化机制将内存中对象形式的内存模型转换成文件形式的所述内存模型快照。

在示例性实施例中，所述快照生成模块720可以包括快照写入单元、快照删除单元以及快照重命名单元。其中，所述快照写入单元可以用于将所述离线计算集群生成的所述内存模型快照写入第二快照文件。所述快照删除单元可以用于所述内存模型快照写入成功后，删除上一次生成的第一快照文件。所述快照重命名单元可以用于将所述第二快照文件重命名成第一快照文件。

在示例性实施例中，所述模型更新模块740可以包括：快照解析单元、模型校验单元、模型重新计算单元以及更新记录单元。其中，所述快照解析单元可以用于解析所述内存模型快照生成相应的内存模型。所述模型校验单元可以用于校验解析后的所述内存模型，判断数据校验是否成功。所述模型重新计算单元可以用于当数据校验失败时，重新计算所述内存模型。所述更新记录单元可以用于当数据校验成功时，进行心跳记录，记录所述内存模型的更新结果。

在示例性实施例中，所述快照解析单元可以包括序列化快照解析子单元。其中，所述序列化快照解析子单元可以用于采用对象的序列化机制将文件形式的所述内存模型快照转换成对象形式的所述内存模型。

在示例性实施例中，所述快照解析单元可以包括模型写入子单元和模型替换子单元。其中，所述模型写入子单元可以用于将所述线上内存集群解析的所述内存模型快照写入备份内存模型。所述模型替换子单元可以用于所述内存模型快照解析成功后，用所述备份内存模型替换上一次更新的内存模型。

在示例性实施例中，所述模型重新计算单元可以包括：第一计算子单元和/或第二计算子单元和/或第三计算子单元和/或第四计算子单元。其中，所述第一计算子单元可以用于若当前时间和快照生成时间之间的差值大于预设的更新间隔时，判定所述内存模型快照过期，重新计算所述内存模型。所述第二计算子单元可以用于若所述离线计算集群计算得到的内存模型Hash值和所述线上内存集群更新所述内存模型后计算得到的内存模型Hash值不一致时，重新计算所述内存模型。所述第三计算子单元可以用于对所述线上内存集群更新的内存模型进行抽样校验，重新计算抽样的内存模型。所述第四计算子单元可以用于当重新计算得到的抽样的内存模型和通过解析所述内存模型快照得到的内存模型不一致的比例超过预设阈值时，重新计算所述内存模型。

在示例性实施例中，所述装置700还可以包括：定时检查模块。其中，所述定时检查模块可以用于所述线上内存集群定时检查内存模型的更新情况。其中，所述模型重新计算单元还可以用于当所述内存模型未在预设时间更新时，重新计算所述内存模型。

在示例性实施例中，所述装置700还可以包括：快照上传模块以及通知模块。其中，所述快照上传模块可以用于所述离线计算集群将生成的所述内存模型快照上传至存储中心。所述通知模块可以用于所述离线计算集群通知所述线上内存集群更新内存模型。

在示例性实施例中，所述快照上传模块可以包括快照上传单元。其中，所述快照上传单元可以用于所述离线计算集群基于Rsync的文件同步策略将所述内存模型快照上传至所述存储中心。

在示例性实施例中，所述快照加载模块可以包括快照加载单元。其中，所述快照加载单元可以所述线上内存集群基于Rsync的文件同步策略加载所述内存模型快照。

上述各模块和/或单元和/或子单元所执行的具体操作可以参见上述图2-6方法实施方式中的各步骤的描述，在此不再重复说明。

示例性计算设备

在介绍了本发明示例性实施方式的方法、装置之后，接下来，参考图8对本发明示例性实施方式的、计算设备进行示例说明。

图8示出了适于用来实现本发明实施方式的示例性计算机系统/服务器60的框图。图8显示的计算机系统/服务器60仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，计算机系统/服务器60以通用计算设备的形式表现。计算机系统/服务器60的组件可以包括但不限于：一个或者多个处理器或者处理单元601，系统存储器602，连接不同系统组件(包括系统存储器602和处理单元601)的总线603。

计算机系统/服务器60典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器60访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器602可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)6021和/或高速缓存存储器6022。计算机系统/服务器60可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM 6023可以用于读写不可移动的、非易失性磁介质(图8中未显示，通常称为“硬盘驱动器”)。尽管未在图8中示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线603相连。系统存储器602中可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块6024的程序/实用工具6025，可以存储在例如系统存储器602中，且这样的程序模块6024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块6024通常执行本发明所描述的实施例中的功能和/或方法。

计算机系统/服务器60也可以与一个或多个外部设备604(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口605进行。并且，计算机系统/服务器60还可以通过网络适配器606与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或者公共网络，例如因特网)通信。如图8所示，网络适配器606通过总线603与计算机系统/服务器60的其它模块(如处理单元601等)通信。应当明白，尽管图8中未示出，可以结合计算机系统/服务器60使用其它硬件和/或软件模块。

处理单元601通过运行存储在系统存储器602中的计算机程序，从而执行各种功能应用以及数据处理，例如，执行用于实现上述方法实施例中的各步骤的指令；具体而言，处理单元601可以执行系统存储器602中存储的计算机程序，且该计算机程序被执行时，下述指令被运行：将计算内存模型的计算任务分配至离线计算集群(可以简称为第一指令)；通过所述离线计算集群生成内存模型快照(可以简称为第二指令)；线上内存集群加载所述内存模型快照(可以简称为第三指令)；根据所述内存模型快照更新所述线上内存集群的内存模型(可以简称为第四指令)。各步骤的具体实现方式可以参见上述图2-6方法实施方式中针对各步骤的描述，在此不再重复说明。

在示例性实施例中，所述第一指令可以包括：通过调度中心进行分布式调度，将所述计算任务分配至所述离线计算集群的计算节点；每个计算节点定时轮询所述调度中心，抢占即将执行的计算任务；在所述调度中心添加对所述计算任务的锁；执行完所述计算任务后释放所述锁。

在示例性实施例中，所述第二指令可以包括：采用对象的序列化机制将内存中对象形式的内存模型转换成文件形式的所述内存模型快照。

在示例性实施例中，所述第二指令可以包括：将所述离线计算集群生成的所述内存模型快照写入第二快照文件；所述内存模型快照写入成功后，删除上一次生成的第一快照文件；将所述第二快照文件重命名成第一快照文件。

在示例性实施例中，所述第四指令可以包括：解析所述内存模型快照生成相应的内存模型；校验解析后的所述内存模型，判断数据校验是否成功；当数据校验失败时，重新计算所述内存模型；当数据校验成功时，进行心跳记录，记录所述内存模型的更新结果。

在示例性实施例中，所述解析所述内存模型快照生成相应的内存模型的指令可以包括：采用对象的序列化机制将文件形式的所述内存模型快照转换成对象形式的所述内存模型。

在示例性实施例中，所述解析所述内存模型快照生成相应的内存模型的指令可以包括：将所述线上内存集群解析的所述内存模型快照写入备份内存模型；所述内存模型快照解析成功后，用所述备份内存模型替换上一次更新的内存模型。

在示例性实施例中，所述当数据校验失败时，重新计算所述内存模型的指令可以包括：若当前时间和快照生成时间之间的差值大于预设的更新间隔时，判定所述内存模型快照过期，重新计算所述内存模型；和/或若所述离线计算集群计算得到的内存模型Hash值和所述线上内存集群更新所述内存模型后计算得到的内存模型Hash值不一致时，重新计算所述内存模型；和/或对所述线上内存集群更新的内存模型进行抽样校验，重新计算抽样的内存模型；当重新计算得到的抽样的内存模型和通过解析所述内存模型快照得到的内存模型不一致的比例超过预设阈值时，重新计算所述内存模型。

可选的，被运行的指令还可以包括：所述线上内存集群定时检查内存模型的更新情况(以下可以简称为第五指令)；当所述内存模型未在预设时间更新时，重新计算所述内存模型(以下可以简称为第六指令)。

另外，第五指令所执行的具体操作可以参见上述方法实施方式中的步骤S470的描述，而第六指令所执行的具体操作可以参见上述方法实施方式中的步骤S460的描述，在此均不再重复说明。

可选的，被运行的指令还可以包括：所述离线计算集群将生成的所述内存模型快照上传至存储中心(以下可以简称为第七指令)；所述离线计算集群通知所述线上内存集群更新内存模型(以下可以简称为第八指令)。

第七指令所执行的具体操作可以参见上述方法实施方式中的步骤S320的描述，而第八指令所执行的具体操作可以参见上述方法实施方式中的步骤S330的描述，在此均不再重复说明。

可选的，被运行的指令还可以包括：所述离线计算集群基于Rsync的文件同步策略将所述内存模型快照上传至所述存储中心；和/或所述线上内存集群基于Rsync的文件同步策略加载所述内存模型快照。

在示例性实施例中，所述线上内存集群可以为内存密集集群。

示例性介质

在介绍了本发明示例性实施方式的方法、装置、计算设备之后，接下来，参考图9对本发明示例性实施方式的、计算机可读存储介质进行示例说明。

本发明实施方式的计算机可读存储介质一个具体例子如图9所示。图9的计算机可读存储介质为光盘900，其上存储有计算机程序(即程序产品)，该程序被处理器执行时，会实现上述方法实施方式中所记载的各步骤，例如，将计算内存模型的计算任务分配至离线计算集群；通过所述离线计算集群生成内存模型快照；线上内存集群加载所述内存模型快照；根据所述内存模型快照更新所述线上内存集群的内存模型；各步骤的具体实现方式在此不再重复说明。

应当注意，尽管在上文详细描述中提及了的用于降低内存负载的装置的若干子单元/单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多子单元/单元/模块的特征和功能可以在一个子单元/单元/模块中具体化。反之，上文描述的一个子单元/单元/模块的特征和功能可以进一步划分为由多个子单元/单元/模块来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (38)

1.一种用于降低内存负载的方法，包括：

将计算内存模型的计算任务分配至离线计算集群；

通过所述离线计算集群生成内存模型快照；

线上内存集群加载所述内存模型快照；

根据所述内存模型快照更新所述线上内存集群的内存模型。

2.如权利要求1所述的方法，其中，所述将计算内存模型的计算任务分配至离线计算集群包括：

通过调度中心进行分布式调度，将所述计算任务分配至所述离线计算集群的计算节点；

每个计算节点定时轮询所述调度中心，抢占即将执行的计算任务；

在所述调度中心添加对所述计算任务的锁；

执行完所述计算任务后释放所述锁。

3.如权利要求1所述的方法，其中，所述通过所述离线计算集群生成内存模型快照包括：采用对象的序列化机制将内存中对象形式的内存模型转换成文件形式的所述内存模型快照。

4.如权利要求1所述的方法，其中，所述通过所述离线计算集群生成内存模型快照包括：

将所述离线计算集群生成的所述内存模型快照写入第二快照文件；

所述内存模型快照写入成功后，删除上一次生成的第一快照文件，将所述第二快照文件重命名成第一快照文件。

5.如权利要求1所述的方法，其中，所述根据所述内存模型快照更新所述线上内存集群的内存模型包括：

解析所述内存模型快照生成相应的内存模型；

校验解析后的所述内存模型，判断数据校验是否成功；

当数据校验失败时，重新计算所述内存模型；

当数据校验成功时，进行心跳记录，记录所述内存模型的更新结果。

6.如权利要求5所述的方法，其中，所述解析所述内存模型快照生成相应的内存模型包括：采用对象的序列化机制将文件形式的所述内存模型快照转换成对象形式的所述内存模型。

7.如权利要求5所述的方法，其中，所述解析所述内存模型快照生成相应的内存模型包括：

将所述线上内存集群解析的所述内存模型快照写入备份内存模型；

所述内存模型快照解析成功后，用所述备份内存模型替换上一次更新的内存模型。

8.如权利要求5所述的方法，其中，所述当数据校验失败时，重新计算所述内存模型包括：

若当前时间和快照生成时间之间的差值大于预设的更新间隔时，判定所述内存模型快照过期，重新计算所述内存模型；和/或

若所述离线计算集群计算得到的内存模型Hash值和所述线上内存集群更新所述内存模型后计算得到的内存模型Hash值不一致时，重新计算所述内存模型；和/或

对所述线上内存集群更新的内存模型进行抽样校验，重新计算抽样的内存模型；

当重新计算得到的抽样的内存模型和通过解析所述内存模型快照得到的内存模型不一致的比例超过预设阈值时，重新计算所述内存模型。

9.如权利要求5所述的方法，其中，还包括：

所述线上内存集群定时检查内存模型的更新情况；

当所述内存模型未在预设时间更新时，重新计算所述内存模型。

10.如权利要求1所述的方法，其中，还包括：

所述离线计算集群将生成的所述内存模型快照上传至存储中心；

所述离线计算集群通知所述线上内存集群更新内存模型。

11.如权利要求10所述的方法，其中，所述离线计算集群基于Rsync的文件同步策略将所述内存模型快照上传至所述存储中心；和/或

所述线上内存集群基于Rsync的文件同步策略加载所述内存模型快照。

12.如权利要求1所述的方法，其中，所述线上内存集群为内存密集集群。

13.一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述权利要求1-12中任一项所述的方法。

14.一种用于降低内存负载的装置，包括：

任务分配模块，用于将计算内存模型的计算任务分配至离线计算集群；

快照生成模块，用于通过所述离线计算集群生成内存模型快照；

快照加载模块，用于线上内存集群加载所述内存模型快照；

模型更新模块，用于根据所述内存模型快照更新所述线上内存集群的内存模型。

15.如权利要求14所述的装置，其中，所述任务分配模块包括：

分布式调度单元，用于通过调度中心进行分布式调度，将所述计算任务分配至所述离线计算集群的计算节点；

任务抢占单元，用于每个计算节点定时轮询所述调度中心，抢占即将执行的计算任务；

加锁单元，用于在所述调度中心添加对所述计算任务的锁；

释放单元，用于执行完所述计算任务后释放所述锁。

16.如权利要求14所述的装置，其中，所述快照生成模块包括序列化快照生成单元，用于采用对象的序列化机制将内存中对象形式的内存模型转换成文件形式的所述内存模型快照。

17.如权利要求14所述的装置，其中，所述快照生成模块包括：

快照写入单元，用于将所述离线计算集群生成的所述内存模型快照写入第二快照文件；

快照删除单元，用于所述内存模型快照写入成功后，删除上一次生成的第一快照文件；

快照重命名单元，用于将所述第二快照文件重命名成第一快照文件。

18.如权利要求14所述的装置，其中，所述模型更新模块包括：

快照解析单元，用于解析所述内存模型快照生成相应的内存模型；

模型校验单元，用于校验解析后的所述内存模型，判断数据校验是否成功；

模型重新计算单元，用于当数据校验失败时，重新计算所述内存模型；

更新记录单元，用于当数据校验成功时，进行心跳记录，记录所述内存模型的更新结果。

19.如权利要求18所述的装置，其中，所述快照解析单元包括序列化快照解析子单元，用于采用对象的序列化机制将文件形式的所述内存模型快照转换成对象形式的所述内存模型。

20.如权利要求18所述的装置，其中，所述快照解析单元包括：

模型写入子单元，用于将所述线上内存集群解析的所述内存模型快照写入备份内存模型；

模型替换子单元，用于所述内存模型快照解析成功后，用所述备份内存模型替换上一次更新的内存模型。

21.如权利要求18所述的装置，其中，所述模型重新计算单元包括：

第一计算子单元，用于若当前时间和快照生成时间之间的差值大于预设的更新间隔时，判定所述内存模型快照过期，重新计算所述内存模型；和/或

第二计算子单元，用于若所述离线计算集群计算得到的内存模型Hash值和所述线上内存集群更新所述内存模型后计算得到的内存模型Hash值不一致时，重新计算所述内存模型；和/或

第三计算子单元，用于对所述线上内存集群更新的内存模型进行抽样校验，重新计算抽样的内存模型；

第四计算子单元，用于当重新计算得到的抽样的内存模型和通过解析所述内存模型快照得到的内存模型不一致的比例超过预设阈值时，重新计算所述内存模型。

22.如权利要求18所述的装置，其中，还包括：

定时检查模块，用于所述线上内存集群定时检查内存模型的更新情况；

其中，所述模型重新计算单元还用于当所述内存模型未在预设时间更新时，重新计算所述内存模型。

23.如权利要求14所述的装置，其中，还包括：

快照上传模块，用于所述离线计算集群将生成的所述内存模型快照上传至存储中心；

通知模块，用于所述离线计算集群通知所述线上内存集群更新内存模型。

24.如权利要求23所述的装置，其中，所述快照上传模块包括快照上传单元，用于所述离线计算集群基于Rsync的文件同步策略将所述内存模型快照上传至所述存储中心。

25.如权利要求14所述的装置，其中，所述快照加载模块包括快照加载单元，用于所述线上内存集群基于Rsync的文件同步策略加载所述内存模型快照。

26.如权利要求14所述的装置，其中，所述线上内存集群为内存密集集群。

27.一种用于降低内存负载的计算设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，下述指令被运行：

将计算内存模型的计算任务分配至离线计算集群；

通过所述离线计算集群生成内存模型快照；

线上内存集群加载所述内存模型快照；

根据所述内存模型快照更新所述线上内存集群的内存模型。

28.如权利要求27所述的计算设备，其中，所述将计算内存模型的计算任务分配至离线计算集群的指令包括：

通过调度中心进行分布式调度，将所述计算任务分配至所述离线计算集群的计算节点；

每个计算节点定时轮询所述调度中心，抢占即将执行的计算任务；

在所述调度中心添加对所述计算任务的锁；

执行完所述计算任务后释放所述锁。

29.如权利要求27所述的计算设备，其中，所述通过所述离线计算集群生成内存模型快照的指令包括：采用对象的序列化机制将内存中对象形式的内存模型转换成文件形式的所述内存模型快照。

30.如权利要求27所述的计算设备，其中，所述通过所述离线计算集群生成内存模型快照的指令包括：

将所述离线计算集群生成的所述内存模型快照写入第二快照文件；

所述内存模型快照写入成功后，删除上一次生成的第一快照文件；

将所述第二快照文件重命名成第一快照文件。

31.如权利要求27所述的计算设备，其中，所述根据所述内存模型快照更新所述线上内存集群的内存模型的指令包括：

解析所述内存模型快照生成相应的内存模型；

校验解析后的所述内存模型，判断数据校验是否成功；

当数据校验失败时，重新计算所述内存模型；

当数据校验成功时，进行心跳记录，记录所述内存模型的更新结果。

32.如权利要求31所述的计算设备，其中，所述解析所述内存模型快照生成相应的内存模型的指令包括：采用对象的序列化机制将文件形式的所述内存模型快照转换成对象形式的所述内存模型。

33.如权利要求31所述的计算设备，其中，所述解析所述内存模型快照生成相应的内存模型的指令包括：

将所述线上内存集群解析的所述内存模型快照写入备份内存模型；

所述内存模型快照解析成功后，用所述备份内存模型替换上一次更新的内存模型。

34.如权利要求31所述的计算设备，其中，所述当数据校验失败时，重新计算所述内存模型的指令包括：

若当前时间和快照生成时间之间的差值大于预设的更新间隔时，判定所述内存模型快照过期，重新计算所述内存模型；和/或

若所述离线计算集群计算得到的内存模型Hash值和所述线上内存集群更新所述内存模型后计算得到的内存模型Hash值不一致时，重新计算所述内存模型；和/或

对所述线上内存集群更新的内存模型进行抽样校验，重新计算抽样的内存模型；

当重新计算得到的抽样的内存模型和通过解析所述内存模型快照得到的内存模型不一致的比例超过预设阈值时，重新计算所述内存模型。

35.如权利要求27所述的计算设备，其中，被运行的指令还包括：

所述线上内存集群定时检查内存模型的更新情况；

当所述内存模型未在预设时间更新时，重新计算所述内存模型。

36.如权利要求27所述的计算设备，其中，被运行的指令还包括：

所述离线计算集群将生成的所述内存模型快照上传至存储中心；

所述离线计算集群通知所述线上内存集群更新内存模型。

37.如权利要求36所述的计算设备，其中，被运行的指令还包括：

所述离线计算集群基于Rsync的文件同步策略将所述内存模型快照上传至所述存储中心；和/或

所述线上内存集群基于Rsync的文件同步策略加载所述内存模型快照。

38.如权利要求27所述的计算设备，其中，所述线上内存集群为内存密集集群。

Images