CN109947736B - 实时计算的方法和系统 - Google Patents

Abstract

本发明提供一种实时计算的方法和系统，能够实时地进行数据计算和分析，从而实时、动态地监控应用程序的健康状况。该方法利用实时计算节点进行实时计算，包括：根据统计维度需求为接收到的待计算数据生成关键字；根据所述关键字从所述实时计算节点的内存缓存中获取对应的计算结果值，结合所述计算结果值为所述待计算数据生成实时计算结果；输出所述实时计算结果，并将所述实时计算结果作为新的计算结果值保存至所述内存缓存中。

Description

实时计算的方法和系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种实时计算的方法和系统。

背景技术

在互联网时代，各种应用程序得到了飞速的发展，例如移动应用、Web应用等。日常生活也愈发离不开这些应用程序，对应用程序的稳定性、可用性的要求日益提升到举足轻重的地位。为了实现有效地对应用程序进行全方位、精细化监控，迫切需要一种计算系统，能够支持对海量的监控数据进行计算、响应。以电商领域的移动应用为例，需要实时处理的监控数据主要包括业务应用各个接口的请求量、失败量、接口耗时、用户PV、用户UV数值等流式数据。

传统的数据处理方法大多基于批处理模式，数据流需要预先存储在数据库管理系统中才可进行后续的计算。具体而言，传统数据处理方式过程如下：

1.使用关系型数据库比如Mysql、SQL Server，存储原始流数据。

2.根据数据计算和分析逻辑，编写相应的存储过程Store Procedures。

3.设置定时器，定时执行存储过程Store Procedure进行数据实时计算。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1.在海量数据环境下，关系型数据库容易发生死锁等并发问题，导致其读写性能严重下降；

2.关系型数据库支撑容量有限，无法应对海量数据的存储需求；

3.关系型数据库可扩展性和可用性低，无法简单的通过添加更多的硬件和服务节点来扩展性能和负载能力；

4.现有技术中，对数据的监控并不是实时的，数据延迟时间一般为分钟级别，达不到实际应用场景中秒级别监控的要求。

发明内容

有鉴于此，本发明实施例提供一种实时计算的方法和系统，能够实时地进行数据计算和分析，从而实时、动态地监控应用程序的健康状况。

为实现上述目的，根据本发明实施例的一个方面，提供了一种实时计算的方法。

本发明实施例的一种实时计算的方法，利用实时计算节点进行实时计算，包括：根据统计维度需求为接收到的待计算数据生成关键字；根据所述关键字从所述实时计算节点的内存缓存中获取对应的计算结果值，结合所述计算结果值为所述待计算数据生成实时计算结果；输出所述实时计算结果，并将所述实时计算结果作为新的计算结果值保存至所述内存缓存中。

可选地，所述方法中，采用STL的map容器作为所述实时计算节点的内存缓存。

可选地，所述待计算数据包括移动应用和/或Web应用的流式数据。

可选地，所述移动应用或Web应用的流式数据包括：接口模调数据、用户数据、日志数据中的一种或几种。

可选地，所述方法还包括：根据实时计算需求，创建一级或多级实时计算节点，其中，若创建多级实时计算节点，则级别在前的实时计算节点的定时器较级别在后的实时计算节点的定时器的时间粒度细。

可选地，所述方法还包括：若级别在前的实时计算节点的定时器被触发，则将保存在其内存缓存中的计算结果值按照关键字进行一致性哈希之后发送至存储模块，作为级别在后的实时计算节点的待计算数据，并删除其内存缓存中的所述计算结果值以便进行下一时间粒度的实时计算。

为实现上述目的，根据本发明实施例的另一方面，提供了一种实时计算的系统。

本发明实施例的一种实时计算的系统包括：利用实时计算节点进行实时计算，其中，所述实时计算节点包括：接收单元，用于根据统计维度需求为接收到的待计算数据生成关键字；计算单元，用于根据所述关键字从所述实时计算节点的内存缓存中获取对应的计算结果值，结合所述计算结果值为所述待计算数据生成实时计算结果；发送单元，用于输出所述实时计算结果，并将所述实时计算结果作为新的计算结果值保存至所述内存缓存中。

可选地，所述系统中，采用STL的map容器作为所述实时计算节点的内存缓存。

可选地，所述待计算数据包括移动应用和/或Web应用的流式数据。

可选地，所述移动应用或Web应用的流式数据包括：接口模调数据、用户数据、日志数据中的一种或几种。

可选地，所述系统还包括：任务监控节点，用于根据实时计算需求，创建一级或多级实时计算节点，其中，若创建多级实时计算节点，则级别在前的实时计算节点的定时器较级别在后的实时计算节点的定时器的时间粒度细。

可选地，所述系统中，若级别在前的实时计算节点的定时器被触发，则所述级别在前的实时计算节点的发送单元还用于：将保存在其内存缓存中的计算结果值按照关键字进行一致性哈希之后发送至存储模块，作为级别在后的实时计算节点的待计算数据，并删除级别在前的实时计算节点的内存缓存中的所述计算结果值以便进行下一时间粒度的实时计算。

为实现上述目的，根据本发明实施例的再一方面，提供了一种电子设备。

本发明实施例的一种电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的实时计算的方法。

为实现上述目的，根据本发明实施例的又一方面，提供了一种计算机可读介质。

本发明实施例的一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现实时计算的方法。

上述发明中的一个实施例具有如下优点或有益效果：通过将实时计算任务布局在实时计算节点而非数据库管理系统中，从而能够降低对关系型数据库依赖，使得关系型数据库只担负存储功能，不再参与实时计算；通过根据统计维度需求，为待计算数据生成唯一标识，并根据该唯一标识获取该待计算数据的历史聚合结果，从而能够准确的计算该待计算数据的实时计算结果；通过将待计算数据的实时计算结果保存至实时计算节点的内存缓存中，从而能够基于实时计算节点内存缓存高效的数据处理能力，方便地存、取计算过程中产生的计算结果数据；通过利用STL的map容器作为内存缓存，从而能够快速的从实时计算节点查找实时计算结果，通常可以实现在O(logN)的时间复杂度内查找到某个关键字(即唯一标识)所对应的值；此外，因为采用根据实时计算时间粒度要求的不同，创建多级实时计算节点，对获取的流式数据进行多级地、串行地实时计算的技术手段，所以克服了现有技术中采用数据库存储和批处理模式中无法实时监控的技术问题，并且避免了数据库锁死情况的发生，进而达到实时、动态地监控应用程序的健康状况的技术效果；且通过针对海量监控数据进行多层级的实时计算，从而能够在实现多维度下的实时计算，支持小时、分钟、秒级等多个时间粒度的数据监控需求的同时，可以逐级对数据规模降级处理，降低数据复杂度，降低数据库存储压力；本发明实施例中，实时计算的系统可以动态进行扩容、缩容，从而可以方便地扩展实时计算的性能和负载能力；通过将待计算数据的实时计算结果通过一致性哈希之后发送至存储模块，从而能够方便级别在后的实时计算节点及时获取级别在前的实时计算节点的计算结果，实现数据的实时地、去除数据加锁的并行操作地分布式串行化处理，降低数据库被锁死的风险，提高数据处理的性能和准确性；通过对移动应用或Web应用的多种流式数据进行实时计算，从而能够根据实际业务需求实现精细化的监控应用的运行情况；通过根据时间粒度等的需要，将实时计算节点内存缓存中的实时计算结果发送至外部存储单元，例如数据库中，从而能够方便用户对实时计算结果的访问，且数据库只承担存储功能，更进一步的体现出数据库压力的减少。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的实时计算的方法的主要步骤的示意图；

图2是可用于实现本发明实施例的实时计算的方法的实时计算系统的架构示意图；

图3是根据本发明实施例的实时计算的方法的实时计算节点层级关系示意图；

图4是根据本发明实施例的实时计算的方法的实时计算节点的处理流程示意图；

图5是根据本发明实施例的实时计算的系统的主要模块的示意图；

图6是本发明实施例可以应用于其中的示例性系统架构图；

图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本发明实施例的实时计算的技术方案，利用实时计算的系统实现实时计算，并且该实时计算的系统可以根据统计维度需求等各方面的需求动态进行扩容、缩容，能够针对海量监控数据能够实现多维度下实时计算，支持小时、分钟、秒级实时计算；并且可以降低对关系型数据库依赖，本发明实施例中的数据库不仅限于关系型数据库，且数据库只担负存储功能，不再参与实时计算，从而可以减少数据库的压力。

图1是根据本发明实施例的实时计算的方法的主要步骤的示意图，如图1所示，本发明实施例的一种实时计算的方法，利用实时计算节点进行实时计算，那么相应的，在计算之前，

本发明实施例中，还可以包括：根据实时计算需求，创建一级或多级实时计算节点，其中，若创建多级实时计算节点，则级别在前的实时计算节点的定时器较级别在后的实时计算节点的定时器的时间粒度细。该步骤的主要步骤是根据实时计算需求，创建和管理实时计算节点，分配实时计算任务。其中，可以根据实时计算需求，创建至少一级实时计算节点。若存在多级实时计算节点，则级别在前的实时计算节点的定时器较级别在后的实时计算节点的定时器的时间粒度细。例如，一级实时计算节点的定时器的时间粒度为秒级别，则二级实时计算节点的定时器的时间粒度可以设置为分钟级别，依次类推。

在完成实时计算节点的创建和任务分配之后，从步骤S101～步骤S103进行处理。

本发明实施例中，利用实时计算节点进行实时计算，主要可以包括如下步骤：

步骤S101：根据统计维度需求为接收到的待计算数据生成关键字；

步骤S102：根据所述关键字从所述实时计算节点的内存缓存中获取对应的计算结果值，结合所述计算结果值为所述待计算数据生成实时计算结果；以及

步骤S103：输出所述实时计算结果，并将所述实时计算结果作为新的计算结果值保存至所述内存缓存中。

本发明实施例中，所述待计算数据包括移动应用或Web应用的流式数据。实时计算节点负责数据实时计算处理工作。其中，移动应用或Web应用的流式数据主要包括：接口模调数据、用户数据、日志数据中的一种或几种。其中的接口模调数据指的是关于应用程序接口请求状态相关数据，具体可以但不限于包括接口ID、接口请求结果(成功还是失败，失败时候对应的错误码)、接口请求耗时等。

此外，本发明实施例中的实时计算可以采用多层级的方式进行不同时间粒度的多维度计算，因此，前述待计算数据除了包括从外部移动应用或者Web应用获取的流式数据之外，在多级实时计算节点的计算过程中，级别在后的实时计算节点的待计算数据还包括级别在前的实时计算节点的实时计算结果数据。

具体而言，当前时间粒度的实时计算节点计算完成之后，可以将实时计算结果发送至介于各层级的实时计算节点之间的存储模块，例如可以但不限于是Redis缓存。如此，级别在后的实时计算节点可以从存储模块及时的获取级别在前的时间粒度的实时计算结果。如此也可以逐级对数据规模降级处理，降低数据复杂度，降低数据库压力。

本发明实施例中利用所述实时计算节点对待计算数据进行实时计算主要包括：接收待计算数据；根据预设统计维度需求为待计算数据生成唯一标识即前述的关键字；根据唯一标识获取待计算数据的历史实时计算结果即前述计算结果值(是指同一统计维度需求下的待计算数据的上一次的聚合结果)；利用历史实时计算结果生成待计算数据的实时计算结果。

本发明实施例中，输出所述实时计算结果可以是利用实时计算节点的内存缓存保存所述待计算数据的实时计算结果；和/或利用外部存储单元(例如数据库)保存所述待计算数据的实时计算结果；和/或将实时计算结果发生至存储模块，供下一级实时计算节点调用。其中，实时计算节点可以但不限于利用STL(STL是Standard Template Library的简称，中文名标准模板库，惠普实验室开发的一系列软件的统称。它是由Alexander Stepanov、Meng Lee和David R Musser在惠普实验室工作时所开发出来的。从根本上说，STL是一些“容器”的集合，这些“容器”有list,vector,set,map等，STL也是算法和其他一些组件的集合。)的map容器作为内存缓存。

本发明实施例的实时计算的技术方案采用批量读写、一致性哈希、内存聚合计算、Redis数据缓存模式，构建了实时计算的系统。为了提高效率，避免数据加锁的并行操作，分布式串行化处理实时计算任务，同时进行了数据分层处理优化，降低了数据库压力，可以满足千万级业务数据的实时查询需求。

如前所述，本发明实施例中，根据实时计算需求，可以创建一级或多级实时计算节点。若级别在前的实时计算节点的定时器被触发，则将保存在其内存缓存中的计算结果值按照关键字进行一致性哈希之后发送至存储模块，作为级别在后的实时计算节点的待计算数据，并删除其内存缓存中的所述计算结果值以便进行下一时间粒度的实时计算。

通常情况下，在分布式系统中数据库数据表加锁情况，根本原因是多个进程使用共享资源。当多个进程并发地存取数据时，在数据库中就会产生多个事务同时存取同一数据的情况。若对并发操作不加控制就可能会读取和存储不正确的数据，破坏数据库的一致性，加锁是实现数据库并发控制的一个非常重要的技术。但是加锁会严重影响数据库的读写性能。本发明实施例中，避免了并行地从数据库中存取数据，通过一致性哈希，使得相同维度下的待计算数据只有一个进程串行的对数据库进行读写操作，从而可以防止数据库加锁，提高数据库的读写性能。

图2是可用于实现本发明实施例的实时计算的方法的实时计算系统的架构示意图。以下根据图2对实现本发明实施例的实时计算的方法的实时计算的系统进行详细介绍。

如图2所示：实时计算的系统框架中，首先是从数据源获取待计算数据，然后利用任务监控节点管理下的实时计算节点进行多层级的实时计算，并且及时的将实时计算结果保存至外部存储模块，如数据库中。

具体而言：

(1)数据源：数据源包括外部应用的各个接口的待计算数据，包括但不限于如下一种或几种：接口模调数据：请求量、失败量、请求耗时等；用户的访问数据；系统错误日志。

(2)任务监控节点：任务监控节点负责创建各个实时计算节点，并监控其工作状态，如若某个实时计算节点发生异常，则重新创建其实时计算任务。本发明实施例中，实时计算节点指的是部署运行在硬件服务器或者虚拟机上，根据业务方的计算需求，编写而成的执行程序。实时计算节点是在实时计算的系统在启动时，由任务监控节点创建并分配的。

(3)实时计算节点：实时计算节点负责数据实时计算处理工作。本发明实施例中，实时计算节点例如可以但不限于包括一级实时计算节点、二级实时计算节点、三级实时计算节点，分别可以支持秒级、分钟级以及小时级等时间粒度的实时计算，这三种类型的实时计算节点构成一种层级关系。本发明实施例中，实时计算节点的层级和时间粒度都可以根据需求进行动态设定。如图3所示。通过这种数据分层的聚合处理，可以逐级对数据规模降级处理，降低数据复杂度，降低数据库压力。

此处的数据规模可以理解为数据体量，即单位时间内输入至实时计算节点的数据量。数据体量降级思想：本发明对实时计算节点进行分层，例如包括一级实时计算节点：每秒计算一次；二级实时计算节点：每分钟计算一次；三级实时计算节点：每小时计算一次。其中一级实时计算节点的实时计算结果作为输入，传递给二级实时计算节点，二级实时计算节点的实时计算结果作为输入，传递给三级实时计算节点。通过这种层次计算方式，可以大大减少二级、三级实时计算节点的数据体量。

(4)外部存储单元：本发明实施例的实时计算的系统可以但不限于采用关系型数据库，存储经过实时计算的结果数据，以供业务方或其他用户查询使用。本发明使用的是MySql关系数据库。在本发明中关系型数据库只保留了存储功能，存储已计算好的实时计算结果数据，而不参与任何数据计算。除了使用关系型数据库，例如MySql和Sql Server以外，本发明实施例还可以使用非关系型数据库NoSql进行实时计算结果的存储，比如MOMongoDB、Memcache和LevelDB等。

图4是根据本发明实施例的实时计算的方法的实时计算节点的处理流程示意图。如前述图2中所示，实时计算节点可以包括接收单元、计算单元、实时计算结果存储单元(即内存缓存)以及发送单元。以下结合图2和图4所示，对本发明实施例中实时计算节点处理过程进行详细介绍：

步骤1.判断是否有待计算数据传入。如果没有待计算数据，则实时计算节点休眠，例如可以但不限于是设置为休眠10ms后再尝试判断是否有待计算数据到来。

步骤2.接收单元接收待计算数据，并根据数据上报协议，解析数据。

步骤3.判断待计算数据类型，如果是日志类型数据，则不需要实时计算处理，直接将待计算数据转发至发送单元，发送单元将其写入外部存储单元；如果是接口模调类型数据，则将待计算数据转发至计算单元，进行实时计算。

本发明实施例中的实时计算的方法中实时计算可以但不限于包括如下三种：聚合计算、最值计算和TP计算。聚合计算：提供累加计数器功能；最值计算：提供最大值、最小值、平均值；TP计算：以TP50为例，指在一个时间段内，统计接口每次调用所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第50％的那个值作为TP50值。相应的，TP90，TP99，TP999与TP50值计算方式一致。后续以聚合计算为例进行过程说明。

步骤4.计算单元根据统计维度需求，为待计算数据生成唯一标识即关键字Key。该唯一标识Key作为待计算数据的实时计算结果在内存缓存(即实时计算结果存储单元)中Map结构中存储的主键，即关键字，供待计算数据聚合使用。例如：如果统计一个接口在某一分钟的请求量，则生成该唯一标识Key的算法可以是：时间戳+该接口ID拼接而成的字符串。

在本发明实施例中，实时计算的“多维度”可以根据需求调整的。例如在统计的时间粒度、接口模调数据的类型维度的基础上，还可以增加诸如网络运营商、操作系统等维度。

具体统计维度需求的设置和实现如下所述：实时计算节点中有一个作为内存缓存的STL的map容器，数据结构为<关键字，值>，其中关键字即唯一标识，指的是数据的统计维度需求，值指的是计算结果，本发明实施例中，可以通过调整关键字生成算法来修改实时统计维度需求。例如在本发明中，提供时间粒度和接口ID两个维度，则map容器中的关键字生成算法为：时间戳+该接口ID拼接而成的字符串。更进一步地，如果想增加运营商维度，则调整关键字生成算法为：时间戳+该接口ID+运营商ID拼接而成的字符串。

此外，本发明实施例中，为了实现多层级、多维度的实时计算，例如统计最大值、最小值、某接口ID的请求量等指标，在分布式环境的多层级实时计算过程中，需要将相同统计维度需求下的待计算数据汇聚到同一个存储模块(例如Redis缓存)，以在各层级的实时计算节点之间建立待计算数据的对应关系，进行实时计算。实现方法就是通过一致性哈希算法，将作为实时计算节点的内存缓存的STL的map容器中的关键字字段(即唯一标识Key)映射成一个哈希值。如此，后续发送单元将相同的哈希值的待计算数据的实时计算结果放入至同一个Redis缓存，便可供下一级实时计算节点使用。

步骤5.计算单元，根据步骤4中生成的唯一标识Key，取出内存缓存中该Key的上一次聚合结果，即计算结果值，然后根据本次待计算数据，对待计算数据的上一次聚合结果进行累加计算。

步骤6.实时计算结果存储单元进行数据缓存。本发明实施例中，实时计算节点采用STL中的map容器作为内存缓存，此处内存缓存是指在每个实时计算节点服务器内存中开辟一段存储空间。

本发明在每个实时计算节点都有一个STL的map容器作为实时计算节点的内存缓存。使用map容器作为内存缓存的原因是：map是STL的一个关联容器，可以提供一对一(其中第一个可以称为关键字，每个关键字只能在map中出现一次，第二个可以称为该关键字的值)的数据处理能力，本发明的map容器<关键字，值>中，关键字指的是数据统计维度需求，值指的是聚合结果。采用STL的map容器的优点是：查找速度非常快，可以在O(logN)的时间复杂度内查找到某个关键字所对应的值。STL的map容器是最适合作为实时计算节点的内存缓存。

具体而言，map容器中数据结构如下：Map<string,StatValue>,其中StatValue是struct,包括成功量succ_times、失败量failed_times、耗时time_consumed等属性，用于存放聚合结果。

步骤7.判断是否触发定时器。如前所述，本发明实施例的实时计算支持秒级、分钟级、小时级别，其相应的时间聚合粒度为1秒、1分钟、1小时。定时器到达预设的时间粒度之后，将实时计算节点的内存缓存中的聚合结果(即试试计算结果)转发给发送单元，然后清空内存缓存数据，进行下一个时间粒度的统计。

如前所述，实时计算节点的层级和时间粒度都可以根据需求进行动态设定。时间粒度可以通过图4中“判断是否触发定时器”来修改，如果实时计算节点中的定时器设置为1s，则时间粒度为1s，以此类推。

步骤8.发送单元，发送单元将聚合后的实时计算结果或日志数据写入外部的外部存储单元(例如本发明实施例中，可以是数据库)，此外，还可以一并写入Redis缓存中(此处Redis缓存即为前述位于各层级的实时计算节点之间的存储模块)。

至此，按照本发明实施例的多层级的实时计算处理的方案，完成了将海量数据逐级聚合，降低数据粒度。本发明实施例中的实时计算节点，可根据计算需求，便捷的由任务监控节点进行插件式、快捷添加。在不修改程序框架的情况下，根据业务计算需求，将新的实时计算节点加入到实时计算的系统中，实现“即插即用”软件开发。

根据本发明实施例的实时计算的方法的技术方案可以看出，通过将实时计算任务布局在实时计算节点而非数据库管理系统中，从而能够降低对关系型数据库依赖，使得关系型数据库只担负存储功能，不再参与实时计算；通过根据统计维度需求，为待计算数据生成唯一标识，并根据该唯一标识获取该待计算数据的历史聚合结果，从而能够准确的计算该待计算数据的实时计算结果；通过将待计算数据的实时计算结果保存至实时计算节点的内存缓存中，从而能够基于实时计算节点内存缓存高效的数据处理能力，方便地存、取计算过程中产生的计算结果数据；通过利用STL的map容器作为内存缓存，从而能够快速的从实时计算节点查找实时计算结果，通常可以实现在O(logN)的时间复杂度内查找到某个关键字(即唯一标识)所对应的值；此外，因为采用根据实时计算时间粒度要求的不同，创建多级实时计算节点，对获取的流式数据进行多级地、串行地实时计算的技术手段，所以克服了现有技术中采用数据库存储和批处理模式中无法实时监控的技术问题，并且避免了数据库锁死情况的发生，进而达到实时、动态地监控应用程序的健康状况的技术效果；且通过针对海量监控数据进行多层级的实时计算，从而能够在实现多维度下的实时计算，支持小时、分钟、秒级等多个时间粒度的数据监控需求的同时，可以逐级对数据规模降级处理，降低数据复杂度，降低数据库存储压力；本发明实施例中，实时计算的系统可以动态进行扩容、缩容，从而可以方便地扩展实时计算的性能和负载能力；通过将待计算数据的实时计算结果通过一致性哈希之后发送至存储模块，从而能够方便级别在后的实时计算节点及时获取级别在前的实时计算节点的计算结果，实现数据的实时地、去除数据加锁的并行操作地分布式串行化处理，降低数据库被锁死的风险，提高数据处理的性能和准确；通过对移动应用或Web应用的多种流式数据进行实时计算，从而能够根据实际业务需求实现精细化的监控应用的运行情况；通过根据时间粒度等的需要，将实时计算节点内存缓存中的实时计算结果发送至外部存储单元，例如数据库中，从而能够方便用户对实时计算结果的访问，且数据库只承担存储功能，更进一步的体现出数据库压力的减少。

图5是根据本发明实施例的实时计算的系统的主要模块的示意图；如图5所示，本发明实施例的实时计算的系统500主要利用实时计算节点510进行实时计算，其中，所述实时计算节点510主要包括：

接收单元511，用于根据统计维度需求为接收到的待计算数据生成关键字；计算单元512，用于根据所述关键字从所述实时计算节点的内存缓存中获取对应的计算结果值，结合所述计算结果值为所述待计算数据生成实时计算结果；发送单元513，用于输出所述实时计算结果，并将所述实时计算结果作为新的计算结果值保存至所述内存缓存中

本发明实施例中，系统500中，优选地采用STL的map容器作为所述实时计算节点510的内存缓存。

此外，待计算数据包括移动应用和/或Web应用的流式数据。移动应用或Web应用的流式数据可以但不限于包括：接口模调数据、用户数据、日志数据中的一种或几种。

另外，系统500还可包括：任务监控节点520，用于根据实时计算需求，创建一级或多级实时计算节点510，其中，若创建多级实时计算节点，则级别在前的实时计算节点的定时器较级别在后的实时计算节点的定时器的时间粒度细。

系统500中，若级别在前的实时计算节点的定时器被触发，则所述级别在前的实时计算节点的发送单元还可用于：将保存在其内存缓存中的计算结果值按照关键字进行一致性哈希之后发送至存储模块，作为级别在后的实时计算节点的待计算数据，并删除级别在前的实时计算节点的内存缓存中的所述计算结果值以便进行下一时间粒度的实时计算。

从以上描述可以看出，通过将实时计算任务布局在实时计算节点而非数据库管理系统中，从而能够降低对关系型数据库依赖，使得关系型数据库只担负存储功能，不再参与实时计算；通过根据统计维度需求，为待计算数据生成唯一标识，并根据该唯一标识获取该待计算数据的历史聚合结果，从而能够准确的计算该待计算数据的实时计算结果；通过将待计算数据的实时计算结果保存至实时计算节点的内存缓存中，从而能够基于实时计算节点内存缓存高效的数据处理能力，方便地存、取计算过程中产生的计算结果数据；通过利用STL的map容器作为内存缓存，从而能够快速的从实时计算节点查找实时计算结果，通常可以实现在O(logN)的时间复杂度内查找到某个关键字(即唯一标识)所对应的值；此外，因为采用根据实时计算时间粒度要求的不同，创建多级实时计算节点，对获取的流式数据进行多级地、串行地实时计算的技术手段，所以克服了现有技术中采用数据库存储和批处理模式中无法实时监控的技术问题，并且避免了数据库锁死情况的发生，进而达到实时、动态地监控应用程序的健康状况的技术效果；且通过针对海量监控数据进行多层级的实时计算，从而能够在实现多维度下的实时计算，支持小时、分钟、秒级等多个时间粒度的数据监控需求的同时，可以逐级对数据规模降级处理，降低数据复杂度，降低数据库存储压力；本发明实施例中，实时计算的系统可以动态进行扩容、缩容，从而可以方便地扩展实时计算的性能和负载能力；通过将待计算数据的实时计算结果通过一致性哈希之后发送至存储模块，从而能够方便级别在后的实时计算节点及时获取级别在前的实时计算节点的计算结果，实现数据的实时地、去除数据加锁的并行操作地分布式串行化处理，降低数据库被锁死的风险，提高数据处理的性能和准确；通过对移动应用或Web应用的多种流式数据进行实时计算，从而能够根据实际业务需求实现精细化的监控应用的运行情况；通过根据时间粒度等的需要，将实时计算节点内存缓存中的实时计算结果发送至外部存储单元，例如数据库中，从而能够方便用户对实时计算结果的访问，且数据库只承担存储功能，更进一步的体现出数据库压力的减少。

图6示出了可以应用本发明实施例的实时计算方法或实时计算系统的示例性系统架构600。

如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的实时计算方法一般由服务器605执行，相应地，实时计算的系统一般设置于服务器605中。

应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括接收单元、计算单元和发送单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，接收单元还可以被描述为“用于根据统计维度需求为接收到的待计算数据生成关键字的单元”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：利用实时计算节点进行实时计算，包括：根据统计维度需求为接收到的待计算数据生成关键字；根据所述关键字从所述实时计算节点的内存缓存中获取对应的计算结果值，结合所述计算结果值为所述待计算数据生成实时计算结果；输出所述实时计算结果，并将所述实时计算结果作为新的计算结果值保存至所述内存缓存中。

根据本发明实施例的技术方案，通过将实时计算任务布局在实时计算节点而非数据库管理系统中，从而能够降低对关系型数据库依赖，使得关系型数据库只担负存储功能，不再参与实时计算；通过根据统计维度需求，为待计算数据生成唯一标识，并根据该唯一标识获取该待计算数据的历史聚合结果，从而能够准确的计算该待计算数据的实时计算结果；通过将待计算数据的实时计算结果保存至实时计算节点的内存缓存中，从而能够基于实时计算节点内存缓存高效的数据处理能力，方便地存、取计算过程中产生的计算结果数据；通过利用STL的map容器作为内存缓存，从而能够快速的从实时计算节点查找实时计算结果，通常可以实现在O(logN)的时间复杂度内查找到某个关键字(即唯一标识)所对应的值；此外，因为采用根据实时计算时间粒度要求的不同，创建多级实时计算节点，对获取的流式数据进行多级地、串行地实时计算的技术手段，所以克服了现有技术中采用数据库存储和批处理模式中无法实时监控的技术问题，并且避免了数据库锁死情况的发生，进而达到实时、动态地监控应用程序的健康状况的技术效果；且通过针对海量监控数据进行多层级的实时计算，从而能够在实现多维度下的实时计算，支持小时、分钟、秒级等多个时间粒度的数据监控需求的同时，可以逐级对数据规模降级处理，降低数据复杂度，降低数据库存储压力；本发明实施例中，实时计算的系统可以动态进行扩容、缩容，从而可以方便地扩展实时计算的性能和负载能力；通过将待计算数据的实时计算结果通过一致性哈希之后发送至存储模块，从而能够方便级别在后的实时计算节点及时获取级别在前的实时计算节点的计算结果，实现数据的实时地、去除数据加锁的并行操作地分布式串行化处理，降低数据库被锁死的风险，提高数据处理的性能和准确；通过对移动应用或Web应用的多种流式数据进行实时计算，从而能够根据实际业务需求实现精细化的监控应用的运行情况；通过根据时间粒度等的需要，将实时计算节点内存缓存中的实时计算结果发送至外部存储单元，例如数据库中，从而能够方便用户对实时计算结果的访问，且数据库只承担存储功能，更进一步的体现出数据库压力的减少。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (12)

1.一种实时计算的方法，其特征在于，利用实时计算节点进行实时计算，包括：

根据统计维度需求为接收到的待计算数据生成关键字；

根据所述关键字从所述实时计算节点的内存缓存中获取对应的计算结果值，结合所述计算结果值为所述待计算数据生成实时计算结果；

输出所述实时计算结果，并将所述实时计算结果作为新的计算结果值保存至所述内存缓存中；

其中，根据实时计算需求，创建一级或多级实时计算节点，其中，若创建多级实时计算节点，则级别在前的实时计算节点的定时器较级别在后的实时计算节点的定时器的时间粒度细。

2.根据权利要求1所述的方法，其特征在于，所述方法中，采用STL的map容器作为所述实时计算节点的内存缓存。

3.根据权利要求1所述的方法，其特征在于，所述待计算数据包括移动应用和/或Web应用的流式数据。

4.根据权利要求3所述的方法，其特征在于，所述移动应用或Web应用的流式数据包括：接口模调数据、用户数据、日志数据中的一种或几种。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若级别在前的实时计算节点的定时器被触发，则将保存在其内存缓存中的计算结果值按照关键字进行一致性哈希之后发送至存储模块，作为级别在后的实时计算节点的待计算数据，并删除其内存缓存中的所述计算结果值以便进行下一时间粒度的实时计算。

6.一种实时计算的系统，其特征在于，利用实时计算节点进行实时计算，其中，所述实时计算节点包括：

接收单元，用于根据统计维度需求为接收到的待计算数据生成关键字；

计算单元，用于根据所述关键字从所述实时计算节点的内存缓存中获取对应的计算结果值，结合所述计算结果值为所述待计算数据生成实时计算结果；

发送单元，用于输出所述实时计算结果，并将所述实时计算结果作为新的计算结果值保存至所述内存缓存中；

任务监控节点，用于根据实时计算需求，创建一级或多级实时计算节点，其中，若创建多级实时计算节点，则级别在前的实时计算节点的定时器较级别在后的实时计算节点的定时器的时间粒度细。

7.根据权利要求6所述的系统，其特征在于，所述系统中，采用STL的map容器作为所述实时计算节点的内存缓存。

8.根据权利要求6所述的系统，其特征在于，所述待计算数据包括移动应用和/或Web应用的流式数据。

9.根据权利要求8所述的系统，其特征在于，所述移动应用或Web应用的流式数据包括：接口模调数据、用户数据、日志数据中的一种或几种。

10.根据权利要求6所述的系统，其特征在于，所述系统中，若级别在前的实时计算节点的定时器被触发，则所述级别在前的实时计算节点的发送单元还用于：

将保存在其内存缓存中的计算结果值按照关键字进行一致性哈希之后发送至存储模块，作为级别在后的实时计算节点的待计算数据，并删除级别在前的实时计算节点的内存缓存中的所述计算结果值以便进行下一时间粒度的实时计算。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。

Images