CN111984380A - 流计算服务系统及其控制方法和装置 - Google Patents

Abstract

本申请提供一种流计算服务系统及其控制方法和装置，控制方法包括，流计算服务系统启动后，实时监听配置中心的元数据是否被更新；若配置中心的元数据被更新，用配置中心的更新后的元数据替换流计算服务系统的每一个执行端当前的元数据，使执行端基于更新后的元数据处理输入数据流；元数据包括对输入数据流的处理方式和输入数据流中有效数据的数据标签。本方案通过实时监听配置中心的元数据的更新情况并在发生更新后，用更新后的元数据替换执行端当前的元数据，使得用户在系统运行过程中更新的元数据可以在不重启流计算服务系统的前提下生效，有效的提高了流计算服务系统的数据处理效率。

Description

流计算服务系统及其控制方法和装置

技术领域

本发明涉及流计算技术领域，特别涉及一种流计算服务系统及其控制方法和装置。

背景技术

流计算服务，是目前常用的一种数据处理系统的架构，采用流计算服务结构的数据处理系统可以称为流计算服务系统。流计算服务系统启动后，系统的控制端会将配置中心的用户预先配置的元数据下发至执行端，元数据包括指定的处理方式和有效数据(即需要处理的数据)的数据标签，执行端获得元数据后，就可以基于元数据的控制处理流计算服务系统的输入数据流，从而获得当前数据处理任务的处理结果，即流计算服务系统的输出数据流。

现有的这种控制方法中，若用户在系统运行过程中更新了配置中心的元数据，则必须重启流计算服务系统才能使更新后的元数据生效，导致流计算服务系统的数据处理效率在发生元数据的更新时明显降低。

发明内容

基于上述现有技术的问题，本申请提供一种流计算服务系统及其控制方法和装置，以解决现有的流计算服务系统在发生元数据更新时数据处理效率较低的问题。

本发明提供一种流计算服务系统的控制方法，应用于流计算服务系统的控制端，所述控制方法包括：

流计算服务系统启动后，实时监听配置中心的元数据是否被更新；

若监听到所述配置中心的元数据被更新，用所述配置中心的更新后的元数据替换所述流计算服务系统的每一个执行端当前的元数据，使所述执行端基于所述更新后的元数据处理所述流计算服务系统的输入数据流；其中，所述元数据包括对所述输入数据流的处理方式和所述输入数据流中有效数据的数据标签。

可选的，还包括：

若所述流计算服务系统的缓存中存储有未知数据标签，所述控制端将所述未知数据标签发送至业务终端，以触发所述业务终端更新所述配置中心的元数据；其中，所述配置中心的更新后的元数据包括，所述未知数据标签是否为无效数据标签。

可选的，所述元数据包括多项参数；

其中，所述用所述配置中心的更新后的元数据替换所述流计算服务系统的每一个执行端当前的元数据，包括：

检测出所述更新后的元数据包含的更新后的参数；

针对每一个所述执行端，用每一项所述更新后的参数替换所述执行端当前的元数据中对应的参数。

可选的，所述实时监听配置中心的元数据是否被更新，包括：

启动对所述配置中心的监听线程，通过所述监听线程实时监听所述配置中心对所述元数据的写入事件是否被处罚；

其中，若监听到所述配置中心对所述元数据的写入事件被触发，则确定所述配置中心的元数据被更新。

可选的，所述执行端基于所述更新后的元数据处理所述流计算服务系统的输入数据流的过程，包括：

检测所述输入数据流的每一项数据的数据标签是否为未知数据标签；其中，所述未知数据标签指代不属于所述更新后的元数据的数据标签；

每检测到一项对应的数据标签是未知数据标签的数据，从所述输入数据流提取出所述数据和所述数据的数据标签，并将所述数据和所述数据的数据标签对应的写入所述流计算服务系统的缓存中。

本发明还提供一种流计算服务系统的控制装置，应用于流计算服务系统的控制端，所述控制装置包括：

监听单元，流计算服务系统启动后，用于实时监听配置中心的元数据是否被更新；

更新单元，用于若监听到所述配置中心的元数据被更新，用所述配置中心的更新后的元数据替换所述流计算服务系统的每一个执行端当前的元数据，使所述执行端基于所述更新后的元数据处理所述流计算服务系统的输入数据流；其中，所述元数据包括对所述输入数据流的处理方式和所述输入数据流中有效数据的数据标签。

可选的，还包括：

发送单元，用于若所述流计算服务系统的缓存中存储有未知数据标签，将所述未知数据标签发送至业务终端，以触发所述业务终端更新所述配置中心的元数据；其中，所述配置中心的更新后的元数据包括，所述未知数据标签是否为无效数据标签。

可选的，所述元数据包括多项参数；

其中，所述更新单元用所述配置中心的更新后的元数据替换所述流计算服务系统的每一个执行端当前的元数据时，具体用于：

检测出所述更新后的元数据包含的更新后的参数；

针对每一个所述执行端，用每一项所述更新后的参数替换所述执行端当前的元数据中对应的参数。

可选的，所述监听单元实时监听配置中心的元数据是否被更新时，具体用于：

启动对所述配置中心的监听线程，通过所述监听线程实时监听所述配置中心对所述元数据的写入事件是否被触发；

其中，若监听到所述配置中心对所述元数据的写入事件被触发，则确定所述配置中心的元数据被更新。

本发明又提供一种流计算服务系统，包括控制端和至少一个执行端；

其中，所述控制端用于执行本发明一项所提供的流计算服务系统的控制方法；

所述执行端用于基于自身的元数据处理所述流计算服务系统的输入数据流。

本申请提供一种流计算服务系统及其控制方法和装置，控制方法包括，流计算服务系统启动后，实时监听配置中心的元数据是否被更新；若配置中心的元数据被更新，用配置中心的更新后的元数据替换流计算服务系统的每一个执行端当前的元数据，使执行端基于更新后的元数据处理输入数据流；元数据包括对输入数据流的处理方式和输入数据流中有效数据的数据标签。本方案通过实时监听配置中心的元数据的更新情况并在发生更新后，用更新后的元数据替换执行端当前的元数据，使得用户在系统运行过程中更新的元数据可以在不重启流计算服务系统的前提下生效，有效的提高了流计算服务系统的数据处理效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种流计算服务系统的结构示意图；

图2为本申请实施例提供的一种流计算服务系统的控制方法的流程图；

图3为本申请实施例提供的一种流计算服务系统的执行端基于元数据处理输入数据流的方法的流程图；

图4为本申请实施例提供的一种流计算服务系统、配置中心和业务终端的连接关系示意图；

图5为本申请实施例提供的一种流计算服务系统的控制装置的结构示意图；

图6为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请关于一种流计算服务系统的控制方法及其装置，其目的在于，通过在流计算服务系统运行过程中动态的更新流计算服务系统的执行端中元数据，使得正在运行的流计算服务系统在需要更新元数据的情况下不需要关闭然后重启系统就可以实现元数据的更新，从而提高流计算服务系统的数据处理效率。

下面，为了更好的理解本申请实施例所提供的流计算服务系统的控制方法，首先请参考图1，图1是可以适用本申请实施例所提供的控制方法的一种流计算服务系统的结构示意图。

如图1所示，流计算服务系统包括一个控制端101和至少一个(一般是多个)执行端102，作为一种可选的示例，图1中示出了有3个执行端和一个控制端组成的流计算服务系统。由于流计算服务系统一般部署于有多台计算机或服务器组成的分布式系统中，流计算服务系统所包含的控制端和执行端可以分别属于不同的设备，例如，图1中的3个执行端102可以理解为3台电脑中运行的处理程序，每一个执行端，均用于按自身的处理逻辑，以及控制端所配置的元数据，对整个流计算服务系统的输入数据流进行处理，得到对应的输出数据流。

控制端101，用于在流计算服务系统启动时，从流计算服务系统所连接的配置中心中，读取使用流计算服务系统的用户预先配置的元数据，然后将元数据分别写入(或者说广播)至每一个执行端，使得执行端开始处理流计算服务系统的输入数据流。

在应用本申请实施例提供的控制方法的流计算服务系统中，控制端101还用于执行本申请任一实施例所提供的方法，实时监听配置中心的元数据是否发生更新，一旦监听到配置中心的元数据发生更新，就将配置中心的更新后的元数据再次写入至每一个执行端，以便替换执行端原有的元数据，从而实现在流计算服务系统不重启的前提下对执行端的元数据的更新，

进一步的，若流计算服务系统的多个执行端用于并行的对输入数据流进行处理，则控制端还可以用于将输入数据流分解成若干份，份数和执行端的数量一致，然后将每一份输入数据分别传递至对应的执行端，使得多个执行端能够并行的处理输入数据流。

需要说明的是，只需要在对应维度下通过设置配置中心的元数据的方式，定义明确的有效数据标签(即需要流计算服务系统处理的数据的数据标签)以及处理方式，流计算服务系统可以多种不同维度的输入数据流，包括但不限于业务种类、时间、事件类别三种维度。

其中，业务种类维度的输入数据流，是指，输入数据流由某一项或某几项预先指定的业务运行过程中产生的数据组成。例如，若指定的是银行系统的存款和取款业务，则每有一个用户在该银行存款或取款，这一次交易产生的数据，包括交易时间(即存款或取款时间)，账户等就会作为输入数据流中的一项数据被输入到流计算服务系统，由于银行每时每刻都会有大量的存款或取款业务被执行，每次业务被执行后的交易数据就构成了一个输入数据流。

时间维度的输入数据流，则是指，以特定系统运行过程中实时产生的数据作为输入数据的输入数据流。例如，可以用一个或多个服务器运行过程中实时的功耗，网络带宽，CPU利用率，内存利用率等数据作为输入数据，由此得到的数据流就是时间维度的输入数据流。

事件类别维度的输入数据流，则是指，以计算机系统中特定事件被触发后产生的数据作为输入数据的输入数据流。例如，服务器的用户登录事件每触发一次，就将触发这次用户登录事件的用户的账号，登录时间，登录地点等信息作为输入数据流中的一项输入数据。

下面，结合图1所示的流计算服务系统的结构，参考图2，本申请实施例提供了一种流计算服务系统的控制方法，下述方法的执行主体可以认为是流计算服务系统的控制端。该方法可以包括以下步骤：

S201、流计算服务系统启动后，实时监听配置中心的元数据是否被更新。

流计算服务系统启动前，用户可以通过业务终端访问配置中心，并在配置中心的用于存储元数据的元数据列表(list)中写入初始的元数据，流计算服务系统启动时，流计算服务系统的控制端可以从配置中心的元数据列表中加载用户配置的初始的元数据，然后将初始的元数据广播至每一个执行端，使得每一个执行端开始根据初始的元数据处理流计算服务系统的输入数据流。随后，流计算服务系统的控制端就开始执行上述步骤S201，也就是开始实时监听配置中心的元数据是否被更新。

一种可选的实时监听的方法是，控制端在启动后，启动一个针对配置中心的监听线程(也可以称为监听器，即watcher)，这个监听线程启动后，会实时的监听配置中心对元数据列表的写入事件是否被触发。

用户要更新配置中心的元数据，就必须调用配置中心对元数据列表的写入事件，通过写入事件向元数据列表写入新的元数据，因此，一旦监听监听器监听到配置中心对元数据列表的写入事件被触发，就可以认为用户在通过业务终端更新配置中心的元数据，在监听到写入事件被触发一段时间后关闭，就可以认为用户完成了对配置中心的元数据的更新，此时就可以执行步骤S202以将配置中心的更新后的元数据更新至流计算服务系统的执行端。

如背景技术所述，流计算服务系统处理数据时，元数据用于指示对数据的处理方式，以及指示输入数据流中哪些数据是有效数据。具体的，元数据可以包括若干项参数，其中一部分参数用于指定对输入数据流中的有效数据的处理方式(例如，可以是设定好的计算公式)，另一部分参数则用于指示输入数据流中有效数据的数据标签。

例如，若流计算服务系统需要实时的根据若干台计算机设备运行过程中的设备参数流，计算这些计算机设备的实时系统利用率(systemUsage)，则对应的元数据中，可以指示输入数据流中数据标签为CPU利用率(CpuUsage)和内存利用率(memoryUsage)的数据为有效数据，而数据标签不为上述标签的数据为无效数据，即不需要计算的数据，例如，可以指示数据标签为CPU功率(CPUPower)的数据为无效数据，换言之，即指示CPUPower这一数据标签为无效数据标签。而指示处理方式的部分可以指定处理方式，即系统利用率的计算公式为：systemUsage＝memoryUsage+CpuUsage。

在实际情况中，有时候用户对元数据的更新可能只涉及其中的一部分参数，而不涉及其他参数，比如在上述例子中，可能只需要更改指示处理方式的参数，即仅更改上述计算公式，例如，将系统利用率的计算公式更改为systemUsage＝1/2×(memoryUsage+CpuUsage)，这种情况下若对执行端的元数据的所有参数均进行更新，则有可能引起更新后执行端的元数据出现错误，即与配置中心的更新后的元数据不一致。

为了避免发生这种错误，控制端可以在监听到配置中心的元数据发生更新后，进一步从配置中心的元数据列表中检测出更新后的元数据包含的更新后的参数，然后在后续执行步骤S202时，针对每一个执行端，仅用每一项更新后的参数替换执行端当前的元数据中对应的参数，对于配置中心的元数据中未被更新的参数，则进行替换。

结合前述例子，在用户仅更新了配置中心的元数据中用于指示数据的处理方式的那一部分参数，则控制端同样也仅更新执行端的元数据中用于指示数据的处理方式的那部分参数，使其与配置中心中更新后的处理方式相一致，对于用于指示有效数据标签的那部分参数则不进行更新，从而减小出现错误的可能性。

若监听到配置中心的元数据被更新，则执行步骤S202，反之，若配置中心的元数据未更新，则继续执行步骤S201，即持续的监听配置中心的元数据的更新情况，直至配置中心的元数据被更新，或者本次数据处理任务结束，流计算服务系统关闭。

S202、用配置中心的更新后的元数据替换流计算服务系统的每一个执行端当前的元数据。

如前文所述，流计算服务系统可以包括一个或多个执行端，控制端监听到配置中心的元数据被更新后，可以读取配置中心的更新后的元数据，然后将读取得到的更新后的元数据发送至每一个执行端，执行端收到更新后的元数据之后，利用更新后的元数据覆盖自身当前的元数据，由此完成执行端的元数据的更新。完成更新后，执行端即可基于更新后的元数据继续处理流计算服务系统的输入数据流。

本申请提供一种流计算服务系统及其控制方法，该方法包括，流计算服务系统启动后，实时监听配置中心的元数据是否被更新；若配置中心的元数据被更新，用配置中心的更新后的元数据替换流计算服务系统的每一个执行端当前的元数据，使执行端基于更新后的元数据处理输入数据流；元数据包括对输入数据流的处理方式和输入数据流中有效数据的数据标签。本方案通过实时监听配置中心的元数据的更新情况并在发生更新后，用更新后的元数据替换执行端当前的元数据，使得用户在系统运行过程中更新的元数据可以在不重启流计算服务系统的前提下生效，有效的提高了流计算服务系统的数据处理效率。

请参考图3，本申请实施例所提供的控制方法中，执行端基于元数据处理输入数据流的过程，可以包括以下步骤：

S301、检测输入数据流的每一项数据的数据标签的类别。

如前文所述，一个数据标签是否为有效数据标签，由执行端的元数据指定。针对输入数据流的每一项元数据，执行端可以将该数据的数据标签(即key)和元数据中指定的有效数据标签进行比对，从而判断该数据标签是否为有效数据标签。

若被检测的数据对应的数据标签是有效数据标签，则表示该数据是有效数据，对该数据执行步骤S302。

若被检测的数据对应的数据标签在当前的元数据中未出现，就表示这个数据标签是未知数据标签。具体的，若执行端的元数据被更新，则未知数据标签，就是指，在更新后的元数据中未查找到的数据标签，未知数据标签对应的数据记为未知数据。若被检测的数据的数据标签是未知数据标签，则执行步骤S303。

若被检测的数据对应的数据标签是脏数据标签(也可以称为无效数据标签)，表明被检测的数据是脏数据，或者说是无效数据(即流计算服务系统不需要处理的数据)，此时执行步骤S304，也就是从输入数据流中删除脏数据。

可选的，用户除了可以在元数据中指定处理方式以及有效数据标签以外，还可以指定哪些数据标签是脏数据标签，以便于执行端在处理输入数据流时从输入数据流中检测出脏数据标签。

S302、基于元数据指定的处理方式处理有效数据，得到处理结果。

S303、从输入数据流提取出未知数据和对应的未知数据标签，并将其写入缓存。

可选的，上述缓存可以采用任意一种现有的缓存架构，例如redis架构。

S304、从输入数据流中删除脏数据和对应的脏数据标签。

流计算服务系统启动之前，用户可以通过业务终端访问配置中心，从而在配置中心设定初始的元数据，随后，用户可以在需要的时候再次通过业务终端访问配置中心，并更改配置中心的原本的元数据，从而实现对配置中心的元数据的更新。

上述业务终端，指代提供输入数据流的业务系统所包含的任意一个被授权访问配置中心终端设备，例如，输入数据流可以是某银行实时的交易流水数据，而隶属于该银行的系统的任意一台获得授权的电脑，均可以作为上述业务终端访问配置中心，从而更改配置中心的元数据，以使得后续流计算服务系统根据更新后的元数据所指示的数据标签和处理方式对交易流水数据进行处理。

流计算服务系统，配置中心和业务终端之间的连接关系如图4所示。其中，业务终端401可以通过网络访问配置中心402，并在配置中心设置初始的元数据，或者更新之前设置的元数据。流计算服务系统403(具体是流计算服务系统的控制端)和配置中心402可以双向通信，一方面控制端可以从配置中心获取元数据并将元数据发送给执行端，另一方面控制端可以将用于指示流计算服务系统运行状态的状态参数传递给配置中心，以便用户可以通过业务终端访问配置中心，从而获悉流计算服务系统当前的运行状态。

进一步的，如图4所示，流计算服务系统的控制端还可以向用户的业务终端发送数据。

如图3对应的实施例所述的方法，执行端可以在处理输入数据流时，将未知数据标签和对应的未知数据写入流计算服务系统的缓存。对应的，控制端可以在发现流计算服务系统的缓存中存在未知数据标签和对应的未知数据时，将未知数据标签发送至业务终端。

业务终端收到未知数据标签后，可以在显示器上显示收到的未知数据标签，从而提示用户确定未知数据标签是有效数据标签还是脏数据标签。

通过操作业务终端指定检测到的未知数据标签是有效数据标签或者脏数据标签后，用户可以通过业务终端访问配置中心，从而更新配置中心的元数据，具体来说就是在配置中心的元数据中更新上述未知数据标签是有效数据标签还是脏数据标签。

结合前述例子，假设初始的元数据中指定的有效数据标签是CPU利用率和内存利用率，那么，流计算服务系统的执行端在处理输入数据流时，若发现数据标签为CPU功耗的数据，且在当前的元数据中未检测到该数据标签，则可以将CPU功耗这一数据标签和对应的数据写入缓存。

然后，控制端可以将CPU功耗这一数据标签发送至业务终端，用户在业务终端设定CPU功耗这一数据标签为脏数据标签后，通过业务终端访问配置中心，从而在配置中心的元数据中设定CPU功耗这一数据标签为脏数据标签。

用户执行上述操作时，控制端检测到配置中心的元数据被更新，用户完成上述操作后，控制端确定配置中心的元数据更新完成，于是控制端用配置中心的更新后的元数据替换执行端当前的元数据，由于更新后的元数据中指定了CPU功耗这一数据标签为脏数据标签，后续执行端在处理输入数据流时，就可以确定对应的数据标签为CPU功耗的数据是脏数据，然后从输入数据流中剔除脏数据，也就是不对脏数据进行处理。

结合本申请任一实施例所提供的流计算服务系统的控制方法，本申请实施例还提供一种流计算服务系统的控制装置，该装置可以认为是流计算服务系统的控制端，或者可以认为是控制端的一个模块。

请参考图5，本申请实施例提供的流计算服务系统的控制装置可以包括如下单元：

监听单元501，流计算服务系统启动后，用于实时监听配置中心的元数据是否被更新。

更新单元502，用于若监听到配置中心的元数据被更新，用配置中心的更新后的元数据替换流计算服务系统的每一个执行端当前的元数据，使执行端基于更新后的元数据处理流计算服务系统的输入数据流。

其中，元数据包括对输入数据流的处理方式和输入数据流中有效数据的数据标签。

可选的，本实施例提供的控制装置还包括：

发送单元503，用于若流计算服务系统的缓存中存储有未知数据标签，将未知数据标签发送至业务终端，以触发业务终端更新配置中心的元数据。

其中，配置中心的更新后的元数据包括，未知数据标签是否为无效数据标签。

元数据包括多项参数。

其中，更新单元502用配置中心的更新后的元数据替换流计算服务系统的每一个执行端当前的元数据时，具体用于：

检测出更新后的元数据包含的更新后的参数；

针对每一个执行端，用每一项更新后的参数替换执行端当前的元数据中对应的参数。

监听单元501实时监听配置中心的元数据是否被更新时，具体用于：

启动对配置中心的监听线程，通过监听线程实时监听配置中心对元数据的写入事件是否被触发；

其中，若监听到配置中心对元数据的写入事件被触发，则确定配置中心的元数据被更新。

本申请实施例提供的流计算服务系统的控制装置的具体工作原理，可以参考本申请任一实施例提供的流计算服务系统的控制方法中的对应步骤，此处不在赘述。

本申请实施例该提供一种计算机存储介质，用于存储计算机程序，存储的计算机程序被执行时，具体用于实现本申请任一实施例所提供的流计算服务系统的控制方法。

本申请提供一种流计算服务系统的控制装置，其中，监听单元501，用于在流计算服务系统启动后，实时监听配置中心的元数据是否被更新；若配置中心的元数据被更新，更新单元502用配置中心的更新后的元数据替换流计算服务系统的每一个执行端当前的元数据，使执行端基于更新后的元数据处理输入数据流；元数据包括对输入数据流的处理方式和输入数据流中有效数据的数据标签。本方案通过实时监听配置中心的元数据的更新情况并在发生更新后，用更新后的元数据替换执行端当前的元数据，使得用户在系统运行过程中更新的元数据可以在不重启流计算服务系统的前提下生效，有效的提高了流计算服务系统的数据处理效率。

本申请实施例还提供一种电子设备，如图6所示，包括存储器601和处理器602。

其中，存储器601用于存储计算机程序。

处理器602用于执行存储器601存储的计算机程序，该计算机程序被执行时，具体用于实现本申请任一实施例提供的一种流计算服务系统的控制方法。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种流计算服务系统的控制方法，其特征在于，应用于流计算服务系统的控制端，所述控制方法包括：

流计算服务系统启动后，实时监听配置中心的元数据是否被更新；

若监听到所述配置中心的元数据被更新，用所述配置中心的更新后的元数据替换所述流计算服务系统的每一个执行端当前的元数据，使所述执行端基于所述更新后的元数据处理所述流计算服务系统的输入数据流；其中，所述元数据包括对所述输入数据流的处理方式和所述输入数据流中有效数据的数据标签。

2.根据权利要求1所述的控制方法，其特征在于，还包括：

若所述流计算服务系统的缓存中存储有未知数据标签，所述控制端将所述未知数据标签发送至业务终端，以触发所述业务终端更新所述配置中心的元数据；其中，所述配置中心的更新后的元数据包括，所述未知数据标签是否为无效数据标签。

3.根据权利要求1所述的控制方法，其特征在于，所述元数据包括多项参数；

其中，所述用所述配置中心的更新后的元数据替换所述流计算服务系统的每一个执行端当前的元数据，包括：

检测出所述更新后的元数据包含的更新后的参数；

针对每一个所述执行端，用每一项所述更新后的参数替换所述执行端当前的元数据中对应的参数。

4.根据权利要求1所述的控制方法，其特征在于，所述实时监听配置中心的元数据是否被更新，包括：

启动对所述配置中心的监听线程，通过所述监听线程实时监听所述配置中心对所述元数据的写入事件是否被处罚；

其中，若监听到所述配置中心对所述元数据的写入事件被触发，则确定所述配置中心的元数据被更新。

5.根据权利要求1所述的控制方法，其特征在于，所述执行端基于所述更新后的元数据处理所述流计算服务系统的输入数据流的过程，包括：

检测所述输入数据流的每一项数据的数据标签是否为未知数据标签；其中，所述未知数据标签指代不属于所述更新后的元数据的数据标签；

每检测到一项对应的数据标签是未知数据标签的数据，从所述输入数据流提取出所述数据和所述数据的数据标签，并将所述数据和所述数据的数据标签对应的写入所述流计算服务系统的缓存中。

6.一种流计算服务系统的控制装置，其特征在于，应用于流计算服务系统的控制端，所述控制装置包括：

监听单元，流计算服务系统启动后，用于实时监听配置中心的元数据是否被更新；

更新单元，用于若监听到所述配置中心的元数据被更新，用所述配置中心的更新后的元数据替换所述流计算服务系统的每一个执行端当前的元数据，使所述执行端基于所述更新后的元数据处理所述流计算服务系统的输入数据流；其中，所述元数据包括对所述输入数据流的处理方式和所述输入数据流中有效数据的数据标签。

7.根据权利要求6所述的控制装置，其特征在于，还包括：

发送单元，用于若所述流计算服务系统的缓存中存储有未知数据标签，将所述未知数据标签发送至业务终端，以触发所述业务终端更新所述配置中心的元数据；其中，所述配置中心的更新后的元数据包括，所述未知数据标签是否为无效数据标签。

8.根据权利要求6所述的控制装置，其特征在于，所述元数据包括多项参数；

其中，所述更新单元用所述配置中心的更新后的元数据替换所述流计算服务系统的每一个执行端当前的元数据时，具体用于：

检测出所述更新后的元数据包含的更新后的参数；

针对每一个所述执行端，用每一项所述更新后的参数替换所述执行端当前的元数据中对应的参数。

9.根据权利要求6所述的控制装置，其特征在于，所述监听单元实时监听配置中心的元数据是否被更新时，具体用于：

启动对所述配置中心的监听线程，通过所述监听线程实时监听所述配置中心对所述元数据的写入事件是否被触发；

其中，若监听到所述配置中心对所述元数据的写入事件被触发，则确定所述配置中心的元数据被更新。

10.一种流计算服务系统，其特征在于，包括控制端和至少一个执行端；

其中，所述控制端用于执行如权利要求1至5任意一项所述的流计算服务系统的控制方法；

所述执行端用于基于自身的元数据处理所述流计算服务系统的输入数据流。

Images