CN112860763A - 实时流数据处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种实时流数据处理方法、装置、计算机设备和存储介质。该方法包括：获取多条原始实时流数据；将多条原始实时流数据进行标准化处理，处理得到多条标准实时流数据；执行预部署的规则计算任务对多条标准实时流数据进行规则计算，规则计算任务包括多个子任务。采用本方法能够避免数据倾斜造成的计算资源浪费。

Description

实时流数据处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及数据处理技术领域，特别是涉及一种实时流数据处理方法、装置、计算机设备和存储介质。

背景技术

随着互联网技术的发展，当今社会已经进入了大数据时代。大数据时代虽然为人们带来了丰富多彩的生活方式，但是数据产生得太快太多，为了对海量的实时数据流进行处理，实时流计算技术应运而生。

然而，目前的实时流数据处理方法一般是使用多个子任务并发处理数据来提升处理效率，在处理过程中往往会产生数据倾斜，比如某个子任务计算某些数据耗时过长，来不及处理后续数据，产生数据积压，而其它子任务空闲，造成计算资源浪费。

发明内容

基于此，有必要针对上述技术问题，提供一种能够避免数据倾斜造成的计算资源浪费的实时流数据处理方法、装置、计算机设备和存储介质。

本发明第一方面提供一种实时流数据处理方法，所述方法包括：

获取多条原始实时流数据；

将多条原始实时流数据进行标准化处理，处理得到多条标准实时流数据；

执行预部署的规则计算任务对多条标准实时流数据进行规则计算，规则计算任务包括多个子任务；

执行预部署的规则计算任务对多条标准实时流数据进行规则计算，包括：

定时获取所有子任务的实时统计的数据处理数据；

根据每次获取到的所有子任务的数据处理数据确定出最新的数据分组策略；

根据最新的数据分组策略确定出每条标准实时流数据对应的子任务，将每条标准实时流数据分配给其对应的子任务；

执行每个子任务对其分配到的标准实时流数据进行规则计算。

在其中一个实施例中，数据处理数据包括输入数据量和输出数据量，根据每次获取到的所有子任务的数据处理数据确定出最新的数据分组策略，包括：通过动态调整算法根据每次获取到的所有子任务分别对应的输入数据量和输出数据量确定出最新的数据分组比例，以最新的数据分组比例作为最新的数据分组策略。

根据最新的数据分组策略确定出每条标准实时流数据对应的子任务，将每条标准实时流数据分配给其对应的子任务，包括：

按照最新的数据分组比例将多条标准实时流数据分为若干个实时流数据分组，实时流数据分组的数量与规则计算任务包括的子任务的数量相同，一个子任务用于处理一个实时流数据分组中的所有数据；

为每条标准实时流数据添加与其所在实时流数据分组对应的分组标记；

根据每条标准实时流数据的分组标记将其分配给与其分组标记对应的子任务。

在其中一个实施例中，数据处理数据还包括积压数据量，通过动态调整算法根据每次获取到的所有子任务的输入数据量和输出数据量计算得到最新的数据分组比例，包括：

根据每次获取到的所有子任务分别对应的输入数据量、输出数据量以及积压数据量计算出所有子任务分别对应的最新的数据处理完成比值；

根据所有子任务分别对应的数据处理完成比值和输出数据量计算得到所有子任务之间最新的数据处理容量的预估比例，将数据处理容量的预估比例作为数据分组比例。

在其中一个实施例中，每条标准实时流数据中包含有规则匹配信息，执行每个子任务对其分配到的标准实时流数据进行规则计算，包括：

执行每个子任务以根据其分配到的任一条标准实时流数据中包含的规则匹配信息获取该标准实时流数据对应的业务规则，并根据业务规则确定业务规则的最优计算路径，按照最优计算路径对该标准实时流数据进行规则计算。

在其中一个实施例中，根据业务规则确定业务规则的最优计算路径，包括：

将业务规则解析为一个规则树，规则树以业务规则中的每个原子规则作为叶子节点，且以连接每个原子规则的逻辑运算符作为分支节点；

根据每个原子规则包含的字段数量和逻辑运算符复杂度，计算得到每个原子规则的计算复杂度；

根据每个原子规则的计算复杂度对每个原子规则进行分层，并根据每个原子规则的计算复杂度和每个分支节点的逻辑运算符复杂度逐层计算每个分支节点的计算复杂度；

按照规则树从上到下的分层，逐层根据每个分支节点的计算复杂度从小到大地排序标记出每个原子规则的序号，根据每个原子规则的序号计算得到每个原子规则对应的计算路径参数值，计算路径参数值为每个原子规则到规则树的根节点之间最短路径上所经过的节点的序号之和；

将按照每个原子规则对应的计算路径参数值从小到大对业务规则中的所有原子规则依次进行计算的计算路径确定为业务规则的最优计算路径。

在其中一个实施例中，多条原始实时流数据为多个业务系统的监控点的原始实时流数据，每个业务系统中设有至少一个监控点，规则匹配信息包括监控点信息；执行每个子任务以根据其分配到的任一条标准实时流数据中包含的规则匹配信息获取该标准实时流数据对应的业务规则，包括：

执行每个子任务以根据其分配到的任一条标准实时流数据中包含的监控点信息获取该标准实时流数据对应的业务规则；

优选地，规则匹配信息中包含的所有信息的字段名均为数字编码。

在其中一个实施例中，在执行每个子任务对其分配到的标准实时流数据进行规则计算之后，所述方法还包括：

获取每个子任务对其分配到的标准实时流数据进行规则计算得到的数据处理结果；

将数据处理结果进行存储，或/和，将数据处理结果发送到下游应用，下游应用为监控应用、警报应用或实时数据显示应用。

本发明第二方面提供一种实时流数据处理装置，所述装置包括：

数据获取模块，用于获取多条原始实时流数据；

标准化处理模块，用于将多条原始实时流数据进行标准化处理，处理得到多条标准实时流数据；

规则计算模块，用于执行预部署的规则计算任务对多条标准实时流数据进行规则计算，规则计算任务包括多个子任务；

规则计算模块包括：

数据处理数据获取单元，用于定时获取所有子任务的实时统计的数据处理数据；

数据分组策略确定单元，用于根据每次获取到的所有子任务的数据处理数据确定出最新的数据分组策略；

标准实时流数据分配单元，用于根据最新的数据分组策略确定出每条标准实时流数据对应的子任务，将每条标准实时流数据分配给其对应的子任务；

规则计算执行单元，用于执行每个子任务对其分配到的标准实时流数据进行规则计算。

本发明第三方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一方法的实施例的步骤。

本发明第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法的实施例的步骤。

在上述实施例中，服务器通过执行预部署的规则计算任务对多条标准实时流数据进行规则计算，该规则计算任务包括多个子任务，在具体执行规则计算任务时，服务器根据每次获取到的所有子任务的数据处理数据确定出最新的数据分组策略，然后根据该最新的数据分组策略将上述多条标准实时流数据分配给其对应的子任务，并执行每个子任务对其分配到的实时流数据进行规则计算。

其中，服务器执行统一的规则计算任务对多条标准实时流数据进行规则计算，根据每次获取到的所有子任务的数据处理数据确定出最新的数据分组策略，这个数据分组策略可以反应所有子任务最新的数据处理能力，按照该数据分组策略将标准实时流数据分配给其对应的子任务进行规则计算处理，即根据各个子任务的数据处理能力自动调整分配给各个子任务处理的数据量，从而实现了数据流量的动态平衡分配，能够合理利用计算资源，避免了数据倾斜导致的计算资源浪费；同时还可以自动调整计算资源的使用，无须人为干预，在因接入新增业务或业务高峰期而需要处理的数据量大幅增加时，降低了运维人力的投入。

附图说明

图1为一个实施例中实时流数据处理方法的应用环境图；

图2为一个实施例中实时流数据处理方法的流程示意图；

图3为一个实施例中标准实时流数据的数据格式示例图；

图4为一种实施方式中数据分组过程的流程示例图；

图5为一个实施例中数据分组步骤的流程示意图；

图6为一个实施例中数据分组的效果示例图；

图7为另一个实施例中规则计算步骤的流程示意图；

图8为另一个实施例中实时流数据处理方法的流程示意图；

图9为另一个实施例中业务规则的解析示例图；

图10为另一个实施例中业务规则的分层排序示例图；

图11为一个实施例中实时流数据处理装置的结构框图；

图12为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

实施例一

在本实施例中，本申请提供的实时流数据处理方法可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信，服务器104通过网络与服务器106进行通信，服务器106中运行有业务系统集群，服务器104从业务系统集群中的各业务系统中获取到多条原始实时流数据，并对获取到的多条原始实时流数据进行标准化处理，处理得到多条标准实时流数据；然后执行预部署的规则计算任务对多条标准实时流数据进行规则计算。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，测试服务器104和服务系统106均可以用独立的服务器或者是多个服务器组成的服务器集群来实现，也可以是由分布式系统来实现。

本实施例提供的一种实时流数据处理方法包括如图2所示的步骤，以下以该方法应用于图1中的服务器104为例进行说明。

步骤100，获取多条原始实时流数据。

其中，原始实时流数据可以为直接从数据来源获取的未经处理的实时流数据，该数据来源可以为由多个业务系统组成的业务系统集群。在企业或电商平台运营过程中，为了实时掌控旗下各个业务系统的运行状况，需要对业务系统中的数据进行实时监控，一般通过在业务系统的至少一个业务处理环节上设置监控点，然后通过采集业务系统中各监控点的数据流以实现对业务系统的监控。在本步骤中，上述多条原始实时流数据既可以来自不同业务系统中的监控点，也可以来自同一业务系统中的不同监控点。

在一个实施方式中，服务器通过分布式消息队列获取多个监控点的原始实时流数据，获取到的原始实时流数据即原始数据。值得注意的是，除了采用分布式消息队列获取原始实时流数据的方式以外，还可以通过其他方式实现该过程，本发明实施例对具体的数据获取方式不加以限定。

步骤200，将多条原始实时流数据进行标准化处理，处理得到多条标准实时流数据。

其中，原始实时流数据可以为JSON格式的数据，标准化处理得到的多条标准实时流数据可以均包含统一格式的规则匹配信息，该规则匹配信息用于在后续进行规则计算时确定每条标准实时流数据对应的业务规则。上述规则匹配信息可以是标准实时流数据的头信息，举例说明：标准化处理得到的标准实时流数据均具有统一格式的头信息，该头信息中可以包含监控点信息、业务系统信息、业务对象信息、业务时间信息、发送时间信息等多种信息。

其中，监控点信息用于标识获取到原始实时流数据的监控点，也即业务环节，比如订单付款环节；业务系统信息用于标识上述监控点所属的业务系统；业务对象信息用于标识上述监控点所属的业务对象，比如订单业务；业务时间信息为业务对象发生的时间，比如订单创建时间；发送时间信息为监控点向服务器发送原始实时流数据的时间。实际应用过程中，包含上述属性信息的头信息可以用于实现待处理的标准实时流数据与其对应业务规则之间的精确匹配。

具体地，根据预设的业务系统数据格式配置规则对多条原始实时流数据进行标准化处理，可以将每条实时流数据转换成一条标准实时流数据，各条标准实时流数据均包含统一格式的规则匹配信息，该规则匹配信息可以用于确定每条标准实时流数据对应的业务规则。

实际应用场景中，如果对实时流数据进行规则计算时所采用的业务规则匹配度低，会造成一些实时流数据执行了与其业务不相关的规则计算，占用多余的计算资源，同时造成监控准确性下降，严重时甚至导致误报。本实施例中，服务器通过对原始实时流数据进行统一标准化处理，将原始实时流数据转换为包含规则匹配信息的标准实时流数据，以便规则计算任务根据该规则匹配信息确定每条标准实时流数据对应的业务规则，使得业务规则与实时流数据精准匹配，避免业务规则匹配错误造成的额外规则计算量，降低了计算资源浪费，也避免了错算产生的监控时间误报；同时本方法还可以支持不同业务系统或不同监控点的数据接入，适配于多种业务场景。

可选地，为了进一步提升后续步骤中规则计算的效率，规则匹配信息中包含的所有信息的字段名均为数字编码。具体地，标准实时流数据的数据格式的一个示例可以如图3所示，这里的标准实时流数据为JSON格式，其包含的头信息在common对象中，业务环节数据在data对象中，2个对象中的各数据的字段名是一套统一的数字编码，处理数字编码比处理文字字段要高效得多，可有效提升后续规则计算的效率。

步骤300，执行预部署的规则计算任务对多条标准实时流数据进行规则计算，规则计算任务包括多个子任务。

其中，规则计算任务用于对处理得到的标准实时流数据进行规则计算，其可以包括多个子任务，每个子任务可以视为一个数据处理单元。

在本实施例中，步骤300包括以下步骤：

步骤302，定时获取所有子任务的实时统计的数据处理数据。

其中，每个子任务的数据处理数据为可以反映该子任务的数据处理能力的数据，比如子任务的输入数据量和输出数据量，可以根据各个子任务的输入数据量和输出数据量计算出各个子任务的数据处理能力参数值之间的整数比。

在一种实施方式中，服务器执行规则计算任务时可以定时从高速缓存中获取每个子任务的输入数据量和输出数据量。进一步具体地，服务器统计下发到每个子任务的数据量，即输入数据量，将统计的输入数据量这一数据每隔一段预设时间更新到高速缓存中，同时服务器还统计每个子任务处理完的数据量，即输出数据量，并将统计的输出数据量也每隔一段预设时间更新到高速缓存中。

在另一种实施方式中，服务器执行规则计算任务进行流量统计，具体可以统计出每个子任务的输入数据量、输出数据量和积压数据量等数据，并将统计的数据每隔一段预设时间更新到高速缓存中。

以上实施方式中的预设时间一般选取较小时间长度，比如一分钟、两分钟等。

步骤304，根据每次获取到的所有子任务的数据处理数据确定出最新的数据分组策略。

本步骤用于确定数据分组策略，其中，数据分组策略可以是一种数据分组比例，可以按该数据分组比例对步骤200中得到的标准实时流数据进行分组。

具体地，在一种实施方式中，数据处理数据包括输入数据量和输出数据量，步骤304包括：通过动态调整算法根据每次获取到的所有子任务分别对应的输入数据量和输出数据量确定出最新的数据分组比例，以最新的数据分组比例作为最新的数据分组策略。

在另一种实施方式中，数据处理数据包括输入数据量、输出数据量和积压数据量，步骤304包括：

根据每次获取到的所有子任务分别对应的输入数据量、输出数据量以及积压数据量计算出所有子任务分别对应的最新的数据处理完成比值。

再根据所有子任务分别对应的数据处理完成比值和输出数据量计算得到所有子任务之间最新的数据处理容量的预估比例，将数据处理容量的预估比例作为数据分组比例。

其中，数据处理容量指子任务预估的可处理数据量，数据处理容量的预估比例即所有子任务各自的预估的可处理数据量之间的比例，可以反映所有子任务的实时数据处理能力之间的比例。

为了更清楚地解释本实施方式，下面加以举例说明：

如图4所示，已知服务器在进行规则计算的同时进行流量统计，比如定时统计每个子任务的任务接收数据条数i_n、完成计算数据条数o_n和任务积压数据条数k_n，并每隔两分钟就将这些统计值写入高速缓存中。

服务器获取到原始数据后获取下游的流量统计，也即从高速缓存中查询出最新的每个子任务的任务接收数据条数i_n、完成计算数据条数o_n和任务积压数据条数k_n，然后获得实际完成计算的数据o_n占实际需要处理的数据量k_n+i_n的比值j_n，再根据平衡算法调整分组策略，即确定出最新的数据分组策略，上述根据平衡算法调整分组策略的步骤具体包括：

按以下公式计算出所有子任务分别对应的最新的数据处理完成比值j_n：

其中，数据处理完成比值j_n可以用于表明子任务的实时数据处理能力的预估值。再根据每个子任务分别对应的数据处理完成比值j_n和完成计算数据条数o_n计算得到所有子任务之间最新的数据处理容量z_n的预估比例z₁：z₂：…：z_n，计算公式如下，将得到的数据处理容量z_n的预估比例z₁：z₂：…：z_n作为数据分组比例。

z₁：z₂：…：z_n＝(o₁×|j₁|)：(o₂×|j₂|)：…：(o_n×|j_n|)

进一步地，具体实施时可以对数据处理容量的预估比例z₁：z₂：…：z_n近似取值得到最小整数比，以该最小整数比作为数据分组比例。

其中，任务接收数据条数i_n相当于输入数据量，完成计算数据条数o_n相当于输出数据量，任务积压数据条数k_n相当于积压数据量。也就是说，在本实施方式中，服务器采用了输入数据量、输出数据量以及积压数据量这三个参数来计算数据分组策略，考虑到了积压数据量这一参数对子任务的实时数据处理能力的影响，因此计算得到的数据分组比例对各个子任务可处理数据量之间的比例预估得更为准确，有助于提高数据分组策略的合理性，能够提高了整体数据处理效率，减少计算资源的浪费。

步骤306，根据最新的数据分组策略确定出每条标准实时流数据对应的子任务，将每条标准实时流数据分配给其对应的子任务。

具体地，如图5所示，步骤306包括：

步骤402，按照最新的数据分组比例将多条标准实时流数据分为若干个实时流数据分组，实时流数据分组的数量与规则计算任务包括的子任务的数量相同，一个子任务用于处理一个实时流数据分组中的所有数据。

其中，每个实时流数据分组中包括至少一条实时流数据。

具体地，数据分组效果的一个示例如图6所示，假设总共有3个子任务，则对应有3个数据分组，之前计算获得的数据分组比例为2：2：1时，服务器根据该数据分组比例将其获取到的多条标准实时流数据依次进行分组。

步骤404，为每条标准实时流数据添加与其所在实时流数据分组对应的分组标记。

其中，分组标记可以为分组序号，比如图6所示的标记组1、标记组2和标记组3。具体地，服务器可以在每条标准实时流数据的头信息中添加其所在实时流数据分组对应的分组序号。

综上所述，可见服务器可以将待处理的数据流量中的标准实时流数据按照最小整数比依次分配给各个实时流数据分组，该标准实时流数据被分配给哪个实时流数据分组，就在该标准实时流数据的头信息中加入该实时流数据分组的分组序号。

步骤406，根据每条标准实时流数据的分组标记将其分配给与其分组标记对应的子任务。

具体地，服务器可以将分组标记好的各条标准实时流数据通过分布式消息队列根据其分组序号分配给对应的子任务，每个实时流数据分组对应一个子任务。

接下来，步骤308，执行每个子任务对其分配到的标准实时流数据进行规则计算。

具体地，服务器执行每个子任务时，各个子任务根据其分配到的标准实时流数据对应的业务规则来处理该标准实时流数据，每个业务规则可以包括多个原子规则，这里的原子规则指业务规则中不能再继续拆分的最小规则。

在一种实施方式中，在步骤308之后，所述方法还包括结果数据处理的步骤，上述结果数据处理的步骤具体包括：

获取每个子任务对其分配到的标准实时流数据进行规则计算得到的数据处理结果。

将数据处理结果进行存储，或/和，将数据处理结果发送到下游应用，下游应用为监控应用、警报应用或实时数据显示应用。

其中，数据处理结果可以是标准实时流数据经过规则计算得到的数值，也可以是子任务对标准实时流数据是否满足业务规则的判断结果，或者两者皆有。具体地，服务器可以将数据处理结果进行存储，以便于纪录保存业务系统的工作状况数据，还可以将数据处理结果发送到监控应用、警报应用或实时数据显示应用等下游应用，以便于业务人员随时监控或查看业务系统的工作状况，并在数据处理结果为不满足该业务规则时，通过警报应用向业务人员发出警报，提醒相应的监控点存在问题。

需要说明的是，将数据处理结果进行存储的步骤和将数据处理结果发送到下游应用的步骤是并列关系，在实际应用中，可以通过上述两个步骤中的任意一个实现结果数据处理的过程。

如图4所示的一个数据分组过程的示例中，上述步骤402和步骤404相当于图4中根据数据分组策略对数据进行分组标记的步骤，步骤406相当于数据按照标记分组的步骤，步骤308则相当于图4中分组对应的子任务进行规则计算的步骤。

在上述实施例中，服务器通过执行预部署的规则计算任务对多条标准实时流数据进行规则计算，该规则计算任务包括多个子任务，在具体执行规则计算任务时，服务器根据每次获取到的所有子任务的数据处理数据确定出最新的数据分组策略，然后根据该最新的数据分组策略将上述多条标准实时流数据分配给其对应的子任务，并执行每个子任务对其分配到的实时流数据进行规则计算。其中，服务器执行统一的规则计算任务对多条标准实时流数据进行规则计算，根据每次获取到的所有子任务的数据处理数据确定出最新的数据分组策略，这个数据分组策略可以反应所有子任务最新的数据处理能力，按照该数据分组策略将标准实时流数据分配给其对应的子任务进行规则计算处理，即根据各个子任务的数据处理能力自动调整分配给各个子任务处理的数据量，从而实现了数据流量的动态平衡分配，能够合理利用计算资源，避免了数据倾斜导致的计算资源浪费；同时还可以自动调整计算资源的使用，无须人为干预，在因接入新增业务或业务高峰期而需要处理的数据量大幅增加时，降低了运维人力的投入。

在业务监控领域，随着接入的业务系统变多，需要处理的数据量和业务规则数量也大幅增长。如果不采用合理的规则计算方案，很容易达到计算瓶颈，造成资源耗尽，监控不能保证实时性，特别是在业务高峰时大量数据集中涌入，可能还需临时增加大量的硬件资源来应对。针对上述情况，本发明在实施例一的基础上进一步提供了实施例二。

实施例二

上述实施例中执行每个子任务对其分配到的标准实时流数据进行规则计算的步骤，如图7所示，具体包括以下步骤：

步骤502，执行每个子任务以根据其分配到的任一条标准实时流数据中包含的规则匹配信息获取该标准实时流数据对应的业务规则。

其中，已知每条标准实时流数据中包含有规则匹配信息，多条原始实时流数据为多个业务系统的监控点的原始实时流数据，每个业务系统中设有至少一个监控点，规则匹配信息包括监控点信息。在实际应用场合中，每个监控点对应有至少一个业务规则，因此从某个监控点获取到的实时数据流只对该监控点对应的业务规则进行运算，实现了业务规则与实时流数据精准匹配，避免业务规则匹配错误造成的额外规则计算量，降低了计算资源浪费。

具体地，执行每个子任务以根据其分配到的任一条标准实时流数据中包含的监控点信息获取该标准实时流数据对应的业务规则。

步骤504，根据业务规则确定业务规则的最优计算路径。

其中，业务规则的最优计算路径指计算则耗时最短或计算速度最快的计算路径。

具体地，在一种实施方式中，服务器执行每个子任务以根据其分配到的任一条标准实时流数据中包含的规则匹配信息获取该标准实时流数据对应的业务规则以及该业务规则对应的最优计算路径，这里，业务规则和该业务规则对应的最优计算路径可以是预先计算好并存储在高速缓存内的，各个子任务按照该最优计算路径对该标准实时流数据进行规则计算。在本实施方式中，服务器需要事先获取用户在规则配置平台上配置的业务规则，然后对获取到的业务规则进行解析评估，确认出该业务规则的最优计算路径，再将该业务规则和该业务规则的最优计算路径存储到高速缓存内。

在另一种实施方式中，步骤504，根据业务规则确定业务规则的最优计算路径，具体包括：

将业务规则解析为一个规则树，解析示例如图9所示，规则树以业务规则中的每个原子规则作为叶子节点，且以连接每个原子规则的逻辑运算符作为分支节点。

其中，原子规则为不能再拆分的最小规则。

根据每个原子规则包含的字段数量和逻辑运算符复杂度，根据以下公式计算得到每个原子规则的计算复杂度。

A＝(X₀+X₁)×0.6+X₂×0.4

其中，X₀表示原子规则左侧包含的字段数量，X₁表示原子规则右侧包含的字段数量，比如filled in就是两个字段，X₂表示原子规则的逻辑运算符的复杂度。具体地，各运算符对应有预设好的复杂度值，上述公式中的逻辑运算符复杂度的权重是0.4。

根据每个原子规则的计算复杂度对每个原子规则进行分层，分层排序的一个示例请参见图10，并根据每个原子规则的计算复杂度和每个分支节点的逻辑运算符复杂度逐层计算每个分支节点的计算复杂度。

具体地，根据以下公式计算每个分支节点的计算复杂度LA：

LA＝a₁+a₂+…+a_n+y×0.4

其中，a_n表示分支节点中第n个原子规则的复杂度，y表示分支节点的逻辑运算符复杂度，这里逻辑运算符复杂度的权重可以是0.4。

需要说明的是，由于实际应用时逻辑运算符复杂度相对原子规则复杂度而言对于计算复杂度的影响较小，因此上述各步骤中逻辑运算符复杂度的权重取值范围在0～1之间，具体权重值可以是0～1之间的任一数值。

按照规则树从上到下的分层，逐层根据每个分支节点的计算复杂度LA从小到大地排序标记出每个原子规则的序号P，根据每个原子规则的序号P计算得到每个原子规则对应的计算路径参数值，计算路径参数值为每个原子规则到规则树的根节点ROOT之间最短路径上所经过的节点的序号之和W，W的计算公式如下：

W＝P+W_f

其中，W_f表示父节点的路径节点序号之和。

将按照每个原子规则对应的计算路径参数值从小到大对业务规则中的所有原子规则依次进行计算的计算路径确定为业务规则的最优计算路径。本实施例中，业务规则的最优计算路径为所有原子规则按照其对应的计算路径参数值W从小到大排序的计算路径，也就是说，从最简单的原子规则开始计算。

步骤506，按照最优计算路径对该标准实时流数据进行规则计算。

具体地，在根据某个业务规则的最优计算路径进行规则计算的过程中，如果该标准实时流数据不满足该业务规则中的某个原子规则，且该原子规则与所述业务规则中的其他原子规则之间为与逻辑关系时，即表明发生规则短路，无需再进行该业务规则的后续运算，得到的数据处理结果为数据不满足该业务规则，此时说明该标准实时流数据对应的监控点出了问题。

实际应用场合中，最终的数据处理结果通常写入到实时数据仓库，提供给应用层服务使用。基于实施例一的基础上，实施例二中提供的一种实时流数据处理方法的整体流程具体可参见图8。

在本实施例中提供的该实时流数据处理方法采用了规则计算复杂度评估算法对业务规则进行解析评估，确定了业务规则的最优计算路径，服务器执行各个子任务按照最优计算路径对数据进行规则计算，有效地优化了规则计算过程，减少了规则计算时间，从而提高了数据处理效率，在相同硬件资源下能够支持更大量的业务数据接入。

应该理解的是，虽然图2-10的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-10中的流程图的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

实施例三

本实施例提供了一种实时流数据处理装置，如图11所示，该装置包括：

数据获取模块110，用于获取多条原始实时流数据。

标准化处理模块120，用于将多条原始实时流数据进行标准化处理，处理得到多条标准实时流数据。

规则计算模块130，用于执行预部署的规则计算任务对多条标准实时流数据进行规则计算，规则计算任务包括多个子任务。

规则计算模块130包括：

数据处理数据获取单元1302，用于定时获取所有子任务的实时统计的数据处理数据。

数据分组策略确定单元1304，用于根据每次获取到的所有子任务的数据处理数据确定出最新的数据分组策略。

标准实时流数据分配单元1306，用于根据最新的数据分组策略确定出每条标准实时流数据对应的子任务，将每条标准实时流数据分配给其对应的子任务。

规则计算执行单元1308，用于执行每个子任务对其分配到的标准实时流数据进行规则计算。

在一种实施方式中，数据处理数据包括输入数据量和输出数据量，数据分组策略确定单元用于通过动态调整算法根据每次获取到的所有子任务分别对应的输入数据量和输出数据量确定出最新的数据分组比例，以最新的数据分组比例作为最新的数据分组策略。

标准实时流数据分配单元，包括：

分组子单元，用于按照最新的数据分组比例将多条标准实时流数据分为若干个实时流数据分组，实时流数据分组的数量与规则计算任务包括的子任务的数量相同，一个子任务用于处理一个实时流数据分组中的所有数据。

标记子单元，用于为每条标准实时流数据添加与其所在实时流数据分组对应的分组标记。

分配子单元，用于根据每条标准实时流数据的分组标记将其分配给与其分组标记对应的子任务。

在一种实施方式中，数据处理数据还包括积压数据量，数据分组策略确定单元具体包括：

第一计算子单元，用于根据每次获取到的所有子任务分别对应的输入数据量、输出数据量以及积压数据量计算出所有子任务分别对应的最新的数据处理完成比值。

第二计算子单元，用于根据所有子任务分别对应的数据处理完成比值和输出数据量计算得到所有子任务之间最新的数据处理容量的预估比例，将数据处理容量的预估比例作为数据分组比例。

在一种实施方式中，每条标准实时流数据中包含有规则匹配信息，规则计算执行单元，包括：

规则获取子单元，用于执行每个子任务以根据其分配到的任一条标准实时流数据中包含的规则匹配信息获取该标准实时流数据对应的业务规则。

最优计算路径确定子单元，用于根据业务规则确定业务规则的最优计算路径。

第三计算子单元，用于按照最优计算路径对该标准实时流数据进行规则计算。

在一种实施方式中，最优计算路径确定子单元，具体用于将业务规则解析为一个规则树，规则树以业务规则中的每个原子规则作为叶子节点，且以连接每个原子规则的逻辑运算符作为分支节点；根据每个原子规则包含的字段数量和逻辑运算符复杂度，计算得到每个原子规则的计算复杂度；根据每个原子规则的计算复杂度对每个原子规则进行分层，并根据每个原子规则的计算复杂度和每个分支节点的逻辑运算符复杂度逐层计算每个分支节点的计算复杂度；按照规则树从上到下的分层，逐层根据每个分支节点的计算复杂度从小到大地排序标记出每个原子规则的序号，根据每个原子规则的序号计算得到每个原子规则对应的计算路径参数值，计算路径参数值为每个原子规则到规则树的根节点之间最短路径上所经过的节点的序号之和；将按照每个原子规则对应的计算路径参数值从小到大对业务规则中的所有原子规则依次进行计算的计算路径确定为业务规则的最优计算路径。

在一种实施方式中，多条原始实时流数据为多个业务系统的监控点的原始实时流数据，每个业务系统中设有至少一个监控点，规则匹配信息包括监控点信息；规则获取子单元具体用于执行每个子任务以根据其分配到的任一条标准实时流数据中包含的监控点信息获取该标准实时流数据对应的业务规则；优选地，规则匹配信息中包含的所有信息的字段名均为数字编码。

在一种实施方式中，所述装置还包括：

数据处理结果获取模块，用于获取每个子任务对其分配到的标准实时流数据进行规则计算得到的数据处理结果。

存储模块，用于将数据处理结果进行存储，或/和，发送模块，用于将数据处理结果发送到下游应用，下游应用为监控应用、警报应用或实时数据显示应用。

关于实时流数据处理装置的具体限定可以参见上文中对于实时流数据处理方法的限定，在此不再赘述。上述实时流数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

实施例四

在本实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现如上述实施例一和实施例二中所介绍的一种实时流数据处理方法的步骤。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

实施例五

在本实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述实施例一和实施例二中所介绍的一种实时流数据处理方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种实时流数据处理方法，所述方法包括：

获取多条原始实时流数据；

将所述多条原始实时流数据进行标准化处理，处理得到多条标准实时流数据；

执行预部署的规则计算任务对所述多条标准实时流数据进行规则计算，所述规则计算任务包括多个子任务；

所述执行预部署的规则计算任务对所述多条标准实时流数据进行规则计算，包括：

定时获取所有所述子任务的实时统计的数据处理数据；

根据每次获取到的所有所述子任务的数据处理数据确定出最新的数据分组策略；

根据所述最新的数据分组策略确定出每条所述标准实时流数据对应的子任务，将每条所述标准实时流数据分配给其对应的子任务；

执行每个所述子任务对其分配到的标准实时流数据进行规则计算。

2.根据权利要求1所述的方法，其特征在于，所述数据处理数据包括输入数据量和输出数据量，所述根据每次获取到的所有所述子任务的数据处理数据确定出最新的数据分组策略，包括：

通过动态调整算法根据每次获取到的所有所述子任务分别对应的输入数据量和输出数据量确定出最新的数据分组比例，以所述最新的数据分组比例作为所述最新的数据分组策略；

所述根据所述最新的数据分组策略确定出每条所述标准实时流数据对应的子任务，将每条所述标准实时流数据分配给其对应的子任务，包括：

按照所述最新的数据分组比例将所述多条标准实时流数据分为若干个实时流数据分组，所述实时流数据分组的数量与所述规则计算任务包括的子任务的数量相同，一个所述子任务用于处理一个所述实时流数据分组中的所有数据；

为每条所述标准实时流数据添加与其所在实时流数据分组对应的分组标记；

根据每条所述标准实时流数据的分组标记将其分配给与其分组标记对应的子任务。

3.根据权利要求2所述的方法，所述数据处理数据还包括积压数据量，其特征在于，所述通过动态调整算法根据每次获取到的所有所述子任务的输入数据量和输出数据量计算得到最新的数据分组比例，包括：

根据每次获取到的所有所述子任务分别对应的输入数据量、输出数据量以及积压数据量计算出所有所述子任务分别对应的最新的数据处理完成比值；

根据所有所述子任务分别对应的所述数据处理完成比值和所述输出数据量计算得到所有所述子任务之间最新的数据处理容量的预估比例，将所述数据处理容量的预估比例作为所述数据分组比例。

4.根据权利要求1至3中任意一项所述的方法，其特征在于，每条所述标准实时流数据中包含有规则匹配信息，所述执行每个所述子任务对其分配到的标准实时流数据进行规则计算，包括：

执行每个所述子任务以根据其分配到的任一条标准实时流数据中包含的规则匹配信息获取该标准实时流数据对应的业务规则，并根据所述业务规则确定所述业务规则的最优计算路径，按照所述最优计算路径对该标准实时流数据进行规则计算。

5.根据权利要求4所述的方法，其特征在于，所述根据所述业务规则确定所述业务规则的最优计算路径，包括：

将所述业务规则解析为一个规则树，所述规则树以所述业务规则中的每个原子规则作为叶子节点，且以连接每个所述原子规则的逻辑运算符作为分支节点；

根据每个所述原子规则包含的字段数量和逻辑运算符复杂度，计算得到每个所述原子规则的计算复杂度；

根据每个所述原子规则的计算复杂度对每个所述原子规则进行分层，并根据每个所述原子规则的计算复杂度和每个所述分支节点的逻辑运算符复杂度逐层计算每个所述分支节点的计算复杂度；

按照所述规则树从上到下的分层，逐层根据每个所述分支节点的计算复杂度从小到大地排序标记出每个所述原子规则的序号，根据每个所述原子规则的序号计算得到每个所述原子规则对应的计算路径参数值，所述计算路径参数值为每个所述原子规则到所述规则树的根节点之间最短路径上所经过的节点的序号之和；

将按照每个所述原子规则对应的计算路径参数值从小到大对所述业务规则中的所有所述原子规则依次进行计算的计算路径确定为所述业务规则的最优计算路径。

6.根据权利要求4所述的方法，其特征在于，所述多条原始实时流数据为多个业务系统的监控点的原始实时流数据，每个所述业务系统中设有至少一个监控点，所述规则匹配信息包括监控点信息；所述执行每个所述子任务以根据其分配到的任一条标准实时流数据中包含的规则匹配信息获取该标准实时流数据对应的业务规则，包括：

执行每个所述子任务以根据其分配到的任一条标准实时流数据中包含的监控点信息获取该标准实时流数据对应的业务规则；

优选地，所述规则匹配信息中包含的所有信息的字段名均为数字编码。

7.根据权利要求1所述的方法，其特征在于，在所述执行每个所述子任务对其分配到的标准实时流数据进行规则计算之后，所述方法还包括：

获取每个所述子任务对其分配到的标准实时流数据进行规则计算得到的数据处理结果；

将所述数据处理结果进行存储，或/和，将所述数据处理结果发送到下游应用，所述下游应用为监控应用、警报应用或实时数据显示应用。

8.一种实时流数据处理装置，其特征在于，所述装置包括：

数据获取模块，用于获取多条原始实时流数据；

标准化处理模块，用于将所述多条原始实时流数据进行标准化处理，处理得到多条标准实时流数据；

规则计算模块，用于执行预部署的规则计算任务对所述多条标准实时流数据进行规则计算，所述规则计算任务包括多个子任务；

所述规则计算模块包括：

数据处理数据获取单元，用于定时获取所有所述子任务的实时统计的数据处理数据；

数据分组策略确定单元，用于根据每次获取到的所有所述子任务的数据处理数据确定出最新的数据分组策略；

标准实时流数据分配单元，用于根据所述最新的数据分组策略确定出每条所述标准实时流数据对应的子任务，将每条所述标准实时流数据分配给其对应的子任务；

规则计算执行单元，用于执行每个所述子任务对其分配到的标准实时流数据进行规则计算。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images