CN113434282A - 流计算任务的发布、输出控制方法及装置 - Google Patents

Abstract

本说明书实施例提供了流计算任务的发布、输出控制方法及装置。其中，流计算任务的发布方法，可以应用于发布服务端，包括：将待发布的流计算任务发送至计算集群，以使得流计算任务在计算集群的多个计算节点上试运行；接收该多个计算节点发送的节点信息；根据所接收的节点信息，将本地保存的流计算任务的任务配置信息的初始值同步至该多个计算节点，任务配置信息包括输出阈值和存储设备的设备信息，输出阈值用于控制流计算任务输出到存储设备的数据比例；在流计算任务试运行期间，接收针对输出阈值的调整指令；根据调整指令，修改本地保存的输出阈值，并将修改后的输出阈值同步至该多个计算节点。

Description

流计算任务的发布、输出控制方法及装置

技术领域

本说明书实施例涉及计算机技术领域，具体地，涉及流计算任务的发布方法及装置、流计算任务的输出控制方法及装置。

背景技术

流计算一般是实时获取来自不同数据源的海量数据，经过实时分析处理，获得有价值的信息。

实践中，流计算任务在开发完成后，需要提交到服务器集群去执行，其发布过程是一个耗时较长且存在风险的过程。每发布一次流计算任务，都会涉及到整个集群服务器节点的分配和调度，影响范围较大，发布耗时较高。另外，流计算任务发布后的输出数据会直接作用于下游，若数据不满足预期，则可能会存在数据污染的风险。

目前，为了降低流计算任务发布后的数据输出风险，一般需要先针对流计算任务进行1次或多次预发布，当验证预发布的流计算任务的输出数据满足预期时，再下线预发布的流计算任务，然后针对流计算任务提交正式的发布流程。以上过程存在多次发布、多次部署的问题，整个发布流程变长，也增大了发布失败的概率。

因此，迫切需要一种合理、可靠的方案，可以降低流计算任务的发布整体耗时，减少发布风险。

发明内容

本说明书实施例提供了流计算任务的发布方法及装置、流计算任务的输出控制方法及装置，可以降低流计算任务的发布整体耗时，减少发布风险。

第一方面，本说明书实施例提供了一种流计算任务的发布方法，应用于发布服务端，包括：将待发布的流计算任务发送至计算集群，以使得所述流计算任务在所述计算集群的多个计算节点上试运行；接收所述多个计算节点发送的节点信息；根据所接收的节点信息，将本地保存的所述流计算任务的任务配置信息的初始值同步至所述多个计算节点，所述任务配置信息包括输出阈值和存储设备的设备信息，所述输出阈值用于控制所述流计算任务输出到所述存储设备的数据比例；在所述流计算任务试运行期间，接收针对所述输出阈值的调整指令；根据所述调整指令，修改本地保存的所述输出阈值，并将修改后的所述输出阈值同步至所述多个计算节点。

在一些实施例中，所述输出阈值的初始值为第一预设值；以及所述方法还包括：当修改后的所述输出阈值达到第二预设值时，确定所述流计算任务已正式发布。

在一些实施例中，所述方法还包括：在所述流计算任务试运行期间，从客户端接收用户针对所述流计算任务的输出数据的数据预览请求；根据所述数据预览请求，向所述多个计算节点中的第一计算节点发送数据获取请求；接收所述第一计算节点响应于所述数据获取请求而返回的数据；将所接收的数据返回给所述客户端。

在一些实施例中，在所述向所述多个计算节点中的第一计算节点发送数据获取请求之前，还包括：采用负载均衡算法，根据所述多个计算节点的节点信息，从所述多个计算节点中选取一个计算节点作为第一计算节点。

在一些实施例中，所述负载均衡算法包括以下任一项：轮询、加权轮询、随机、加权随机、最小连接、一致性哈希。

在一些实施例中，所述接收针对所述输出阈值的调整指令，包括：从所述客户端接收用户针对所述输出阈值的调整指令，其中包括调整方向和步长值；所述根据所述调整指令，修改本地保存的所述输出阈值，包括：在本地保存的所述输出阈值上沿所述调整方向调整所述步长值。

在一些实施例中，所述接收针对所述输出阈值的调整指令，包括：接收通过定时任务触发的针对所述输出阈值的增加指令；所述根据所述调整指令，修改本地保存的所述输出阈值，包括：在本地保存的所述输出阈值上叠加预设步长值。

在一些实施例中，在所述将修改后的所述输出阈值同步至所述多个计算节点之后，还包括：向用户反馈针对所述输出阈值的调整通知消息。

在一些实施例中，所述发布服务端在向所述多个计算节点进行信息同步时，采用的同步方式包括以下至少一项：长轮询、长连接、利用消息队列进行数据同步、利用存储中间件进行数据同步。

在一些实施例中，所述方法还包括：在所述流计算任务试运行期间，响应于从客户端接收到用户针对所述流计算任务的下线请求，向所述计算集群发送针对所述流计算任务的下线指示信息。

第二方面，本说明书实施例提供了一种流计算任务的输出控制方法，应用于计算集群的多个计算节点中任意的计算节点，所述多个计算节点上运行有采用如第一方面中任一实现方式描述的方法发布的流计算任务，并且保存有所述流计算任务的任务配置信息，其中包括输出阈值和存储设备的设备信息，所述方法包括：针对所述流计算任务的每条输出数据，根据所述输出阈值，确定是否将所述输出数据写入所述存储设备；若确定结果为是，则根据所述设备信息，将所述输出数据写入所述存储设备；若确定结果为否，则不执行对所述输出数据的写操作。

在一些实施例中，所述输出阈值大于等于第一预设值且小于等于第二预设值；以及所述根据所述输出阈值，确定是否将所述输出数据写入所述存储设备，包括：在大于第一预设值且小于等于第二预设值的范围中生成一个随机数；若所述随机数小于等于所述输出阈值，则确定将所述输出数据写入所述存储设备；若所述随机数大于所述输出阈值，则确定不将所述输出数据写入所述存储设备。

在一些实施例中，所述针对所述流计算任务的每条输出数据，根据所述输出阈值，确定是否将所述输出数据写入所述存储设备，包括：针对所述流计算任务在当前运行周期内的每条输出数据，确定所述当前运行周期内已写入所述存储设备的数据的数量和所述当前运行周期对应的预设总数据量的比值；若所述比值未达到所述输出阈值，则确定将所述输出数据写入所述存储设备；若所述比值达到所述输出阈值，则确定不将所述输出数据写入所述存储设备。

在一些实施例中，所述方法还包括：在所述流计算任务试运行期间，从发布服务端接收针对所述流计算任务的输出数据的数据获取请求，所述数据获取请求根据用户的数据预览请求而生成；从本地获取所述数据获取请求所请求的数据；将所获取的数据返回给所述发布服务端。

在一些实施例中，所述数据获取请求包括数据量和数据过滤条件；以及所述从本地获取所述数据获取请求所请求的数据，包括：根据所述数据量和所述数据过滤条件，从本地获取所述流计算任务的输出数据。

在一些实施例中，所述方法还包括：在所述流计算任务试运行期间，接收发布服务端同步的修改后的所述输出阈值；将本地已保存的所述输出阈值更新为修改后的所述输出阈值。

第三方面，本说明书实施例提供了一种流计算任务的发布装置，应用于发布服务端，包括：任务发布单元，被配置成将待发布的流计算任务发送至计算集群，以使得所述流计算任务在所述计算集群的多个计算节点上试运行；任务配置单元，被配置成接收所述多个计算节点发送的节点信息，以及根据所接收的节点信息，将本地保存的所述流计算任务的任务配置信息的初始值同步至所述多个计算节点，所述任务配置信息包括输出阈值和存储设备的设备信息，所述输出阈值用于控制所述流计算任务输出到所述存储设备的数据比例；所述任务发布单元，还被配置成在所述流计算任务试运行期间，接收针对所述输出阈值的调整指令，并根据所述调整指令，修改所述任务配置单元中保存的所述输出阈值；所述任务配置单元，还被配置成将修改后的所述输出阈值同步至所述多个计算节点。

在一些实施例中，所述装置还包括：数据预览单元，被配置成在所述流计算任务试运行期间，从客户端接收用户针对所述流计算任务的输出数据的数据预览请求；根据所述数据预览请求，向所述多个计算节点中的第一计算节点发送数据获取请求；接收所述第一计算节点响应于所述数据获取请求而返回的数据；将所接收的数据返回给所述客户端。

第四方面，本说明书实施例提供了一种流计算任务的输出控制装置，应用于计算集群的多个计算节点中任意的计算节点，所述多个计算节点上运行有采用如第一方面中任一实现方式描述的方法发布的流计算任务，并且保存有所述流计算任务的任务配置信息，其中包括输出阈值和存储设备的设备信息，所述装置包括：确定单元，被配置成针对所述流计算任务的每条输出数据，根据所述输出阈值，确定是否将所述输出数据写入所述存储设备；第一处理单元，被配置成若所述确定单元的确定结果为是，则根据所述设备信息，将所述输出数据写入所述存储设备；第二处理单元，被配置成若所述确定单元的确定结果为否，则不执行对所述输出数据的写操作。

第五方面，本说明书实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，当该计算机程序在计算机中执行时，令该计算机执行如第一方面和第二方面中任一实现方式描述的方法。

第六方面，本说明书实施例提供了一种计算设备，包括存储器和处理器，其中，该存储器中存储有可执行代码，该处理器执行该可执行代码时，实现如第一方面和第二方面中任一实现方式描述的方法。

第七方面，本说明书实施例提供了一种计算机程序，其中，当该计算机程序在计算机中执行时，令该计算机执行如第一方面和第二方面中任一实现方式描述的方法。

本说明书的上述实施例提供的方法和装置，在流计算任务发布后低成本的增加一个试运行环节，在试运行期间通过动态调整输出阈值，可以使得流计算任务的输出数据按比例输出到下游的存储设备。流计算任务由试运行进入到正式运行时无需修改任务代码逻辑，计算集群也无需重新部署，实现了流计算任务从试运行到正式运行的平滑发布。相较于现有的发布方法(先提交1次或多次预发布，再提交正式发布)，可以有效降低流计算任务的发布整体耗时，减少发布风险。

附图说明

为了更清楚地说明本说明书披露的多个实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书披露的多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本说明书的一些实施例可以应用于其中的一个示例性系统架构图；

图2是流计算任务的发布方法的一个实施例的示意图；

图3是流计算任务的输出数据的预览过程的一个示意图；

图4是流计算任务的输出控制方法的一个实施例的流程图；

图5是确定是否将输出数据写入存储设备的确定过程的一个示意图；

图6是流计算任务的发布装置的一个结构示意图；

图7是流计算任务的输出控制装置的一个结构示意图。

具体实施方式

下面结合附图和实施例对本说明书作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本说明书中的实施例及实施例中的特征可以相互组合。另外，本说明书中的“第一”、“第二”等词，仅用于信息区分，不起任何限定作用。

如前所述，现有的发布方法存在多次发布、多次部署的问题，整个发布流程变长，也增大了发布失败的概率。

基于此，本说明书的一些实施例提供了流计算任务的发布方法、流计算任务的输出控制方法，通过此方法，可以降低流计算任务的发布整体耗时，减少发布风险。具体地，图1示出了适用于这些实施例的示例性系统架构图。

如图1所示，系统架构可以包括发布服务端、计算集群和存储设备。计算集群用于流计算，可称为流计算集群。通常，计算集群包括多个计算节点，例如图1中示出的计算节点1，计算节点2，…，计算节点N。其中，N是大于1的自然数。

实践中，发布服务端通常用于发布流计算任务。发布服务端可以接收并保存用户或任务调度器等提交的待发布的流计算任务(例如图1中示出的流计算任务A)，以及该流计算任务的任务配置信息。

流计算任务A的任务配置信息可以包括输出阈值和存储设备B的设备信息。该输出阈值用于控制流计算任务A输出到存储设备B的数据比例。具体地，该输出阈值用于控制流计算任务A上线(发布)后输出到存储设备B的数据比例。该设备信息例如可以包括存储设备B的设备标识和/或IP(Internet Protocol，互联网协议)地址等。可选地，任务配置信息还可以包括但不限于数据源信息。数据源信息例如可以包括，其指示的数据源的数据源标识和/或IP地址等。需要指出，存储设备B可以是独立于发布服务端和计算集群的设备，可称为外部存储设备。

通常，发布服务端在针对流计算任务A执行发布流程前，可以对流计算任务A的任务配置信息进行初始化，例如对任务配置信息中的输出阈值进行初始化。

在针对流计算任务A的发布流程中，发布服务端可以如标号102所示，将流计算任务A发送至计算集群，以使得流计算任务A在计算集群的多个计算节点上试运行。其中，该多个计算节点可以是计算集群的部分或全部节点，在此不做具体限定。之后，运行有流计算任务A的该多个计算节点可以如标号104所示，分别将自身的节点信息发送至发布服务端。其中，节点信息例如可以包括但不限于计算节点的IP地址。而后，发布服务端可以如标号106所示，根据所接收的节点信息，将本地保存的流计算任务A的任务配置信息的初始值同步至该多个计算节点。另外，在流计算任务A试运行期间，发布服务端可以如标号108所示，修改本地保存的该输出阈值，并将修改后的该输出阈值同步至该多个计算节点。

在流计算任务A运行期间，该多个计算节点中任意的计算节点可以如标号110所示，根据最新接收的该输出阈值，控制流计算任务A的数据输出。例如，针对该计算节点上运行的流计算任务A的每条输出数据，该计算节点可以根据该输出阈值，确定是否将该输出数据写入存储设备B。若确定结果为是，则该计算节点可以根据存储设备B的设备信息，将该输出数据写入存储设备B。若确定结果为否，则该计算节点可以不执行对该输出数据的写操作，也即忽略该输出数据。

需要说明，在流计算任务A发布后低成本的增加一个试运行环节，在试运行期间通过动态调整输出阈值，可以使得流计算任务A的输出数据按比例输出到下游的存储设备B。流计算任务A由试运行进入到正式运行时无需修改任务代码逻辑，计算集群也无需重新部署，实现了流计算任务A从试运行到正式运行的平滑发布，可以有效降低流计算任务A的发布整体耗时，减少发布风险。

下面，结合具体的实施例，描述上述方法的具体实施步骤。

参看图2，其是流计算任务的发布方法的一个实施例的示意图。该方法包括以下步骤：

步骤202，发布服务端将待发布的流计算任务发送至计算集群，以使得流计算任务在计算集群的多个计算节点上试运行；

步骤204，发布服务端接收上述多个计算节点发送的节点信息；

步骤206，发布服务端根据所接收的节点信息，将本地保存的流计算任务的任务配置信息的初始值同步至上述多个计算节点，任务配置信息包括输出阈值和存储设备的设备信息，输出阈值用于控制流计算任务输出到存储设备的数据比例；

步骤208，发布服务端在流计算任务试运行期间，接收针对输出阈值的调整指令；

步骤210，发布服务端根据调整指令，修改本地保存的输出阈值；

步骤212，发布服务端将修改后的输出阈值同步至上述多个计算节点。

在本实施例中，发布服务端可以实时的接收用户或任务调度器等提交的待发布的流计算任务，以及流计算任务的任务配置信息。其中，任务配置信息包括输出阈值和存储设备的设备信息。输出阈值具体用于控制流计算任务上线后输出到存储设备的数据比例。设备信息例如可以包括存储设备的设备标识和/或IP地址等。

可选地，任务配置信息还可以包括数据源信息等。数据源信息例如可以包括，其指示的数据源的数据源标识和/或IP地址等。

在接收到待发布的流计算任务和任务配置信息后，发布服务端可以执行步骤202，将流计算任务发送至计算集群，以使得流计算任务在计算集群的多个计算节点上试运行。其中，该多个计算节点可以是计算集群的部分或全部节点，在此不做具体限定。

在一些实施例中，在接收到待发布的流计算任务和任务配置信息后，发布服务端还可以对任务配置信息进行初始化，例如对任务配置信息中的输出阈值进行初始化。具体地，可以将输出阈值初始化为第一预设值。基于此，输出阈值的初始值可以为第一预设值。实践中，第一预设值可以是大于等于0且小于1的数值。进一步地，第一预设值可以为0。需要说明，输出阈值可以是百分比形式的数据，在此不做具体限定。

接着，在步骤204中，发布服务端可以接收上述多个计算节点发送的节点信息。其中，节点信息可以包括但不限于计算节点的IP地址。

接着，在步骤206中，发布服务端可以根据所接收的节点信息，将流计算任务的任务配置信息的初始值同步至上述多个计算节点。

需要指出，在任务配置信息的初始值中，输出阈值通常为第一预设值。实践中，在第一预设值为0的情况下，当输出阈值等于0时，上述多个计算节点根据输出阈值，可以获知流计算任务上线后输出到存储设备的数据比例为0％，从而可以不执行对流计算任务任意的输出数据的写操作，由此可屏蔽试运行期间数据对下游的存储设备的影响。

在本实施例中，发布服务端在向上述多个计算节点进行信息同步时，采用的同步方式可以包括以下至少一项：长轮询、长连接、利用消息队列进行数据同步、利用存储中间件进行数据同步等。

在采用长轮询同步方式时，上述多个计算节点可以向发布服务端发送请求(例如任务配置信息获取请求)，发布服务端接到请求后保持住连接，直到有新消息(例如任务配置信息的初始值，或者修改后的输出阈值)才返回响应信息并关闭连接，上述多个计算节点处理完响应信息后再向发布服务端发送新的请求。

在采用长连接同步方式时，上述多个计算节点与发布服务端之间创建和保持稳定可靠的连接，发布服务端可以主动的向上述多个计算节点推送数据(例如任务配置信息的初始值，或者修改后的输出阈值)。

在利用消息队列进行数据同步时，可以使得上述多个计算节点作为消费者订阅该消息队列中的数据。发布服务端可以将有待同步的数据(例如任务配置信息的初始值，或者修改后的输出阈值)写入该消息队列，从而通过该消息队列将该数据传递给上述多个计算节点。

在利用存储中间件进行数据同步时，发布服务端可以将有待同步的数据写入该存储中间件，使得该存储中间件通知上述多个计算节点下载该数据，或者使得该存储中间件将该数据发送至上述多个计算节点。其中，该存储中间件例如可以包括MySQL或ZooKeeper等，在此不做具体限定。

需要指出，发布服务端通过采用以上任一种同步方式或以上多种同步方式的组合，可以实时或准实时的进行信息同步。

在将任务配置信息的初始值同步至上述多个计算节点后，在流计算任务试运行期间，发布服务端可以通过执行步骤208，接收针对输出阈值的调整指令。而后，发布服务端可以通过执行步骤210，根据调整指令，修改本地保存的输出阈值。然后，发布服务端可以通过执行步骤212，将修改后的输出阈值同步至上述多个计算节点。

实践中，当修改后的输出阈值大于第一预设值且小于第二预设值时，可以实现流计算任务的灰度数据输出，降低发布的风险。其中，第二预设值一般为1。例如，若第一预设值为0，第二预设值为1，输出阈值大于0且小于1，则上述多个计算节点根据输出阈值，可以获知流计算任务上线后输出到存储设备的数据比例大于0％且小于100％，从而可以控制将流计算任务的部分输出数据写入存储设备，由此可实现流计算任务的灰度数据输出。

在一些实施例中，调整指令可以是用户手动触发的。基于此，在步骤208中，发布服务端可以从客户端接收用户针对输出阈值的调整指令，其中包括调整方向和步长值。在步骤210中，发布服务端可以根据该调整指令，在本地保存的输出阈值上沿调整方向调整步长值。

其中，调整方向可以为增加或减少。当调整方向为增加时，发布服务端可以在本地保存的输出阈值上叠加步长值。当调整方向为减少时，发布服务端可以在本地保存的输出阈值上减少步长值。

需要指出，当调整方向为增加时，调整指令可称为增加指令。当调整方向为减少时，调整指令可称为减少指令。在流计算任务试运行期间，用户可以一次或多次的向发布服务端发送针对输出阈值的增加指令，直至输出阈值达到第二预设值。另外，在流计算任务试运行期间，当输出阈值大于第一预设值且小于第二预设值时，也即当流计算任务处于灰度数据输出状态时，若用户认为流计算任务的输出数据不满足预期且需要继续观察时，可以向发布服务端发送针对输出阈值的减少指令，从而可以使得发布服务端向上述多个计算节点同步减少后的输出阈值，由上述多个计算节点根据减少后的输出阈值，减少对流计算任务的输出数据的输出，由此可以有效节省存储设备的存储空间。

在一些实施例中，发布服务端也可以定时定步长的修改输出阈值。具体地，在步骤208中，发布服务端可以接收通过定时任务触发的针对输出阈值的增加指令。在步骤210中，发布服务端可以根据该增加指令，在本地保存的输出阈值上叠加预设步长值。其中，预设步长值例如可以为0.1、0.2或0.3等，可以根据实际需求设定，在此不做具体限定。

在一些实施例中，发布服务端在定时定步长的修改输出阈值，并将修改后的输出阈值同步至上述多个计算节点后，可以向用户反馈针对输出阈值的调整通知消息，以便用户及时获知输出阈值已被修改，进而及时了解流计算任务的输出数据的状况，例如是否满足预期等。

在一些实施例中，发布服务端在将修改后的输出阈值同步至上述多个计算节点后，还可以执行步骤214，当修改后的输出阈值达到第二预设值时，确定流计算任务已正式发布。

应该理解，当输出阈值大于等于第一预设值且小于第二预设值时，表示流计算任务处于试运行环节。当输出阈值大于等于第二预设值时，表示流计算任务处于正式运行环节，也即流计算任务已正式发布。

在一些实施例中，在流计算任务试运行期间，如果用户因流计算任务的输出数据不满足预期而需要下线流计算任务，可以向发布服务端发送针对流计算任务的下线请求。发布服务端可以响应于接收到该下线请求，向计算集群发送针对流计算任务的下线指示信息，从而使得计算集群结束对流计算任务的运行。

图2对应的实施例提供的流计算任务的发布方法，在流计算任务发布后低成本的增加一个试运行环节，在试运行期间通过动态调整输出阈值，可以使得流计算任务的输出数据按比例输出到下游的存储设备。流计算任务由试运行进入到正式运行时无需修改任务代码逻辑，计算集群也无需重新部署，实现了流计算任务从试运行到正式运行的平滑发布。相较于现有的发布方法，可以有效降低流计算任务的发布整体耗时，减少发布风险。

另外，现有的发布方法，在提交预发布之前，通常需要修改流计算任务的输出逻辑，使得流计算任务的输出数据输出到测试存储设备。在验证预发布的流计算任务的输出数据满足预期，且下线预发布的流计算任务后，需要再次修改流计算任务的输出逻辑，使得流计算任务的输出数据输出到正式的存储设备，然后再提交流计算任务的正式发布流程。整个发布流程除了需要配置正式的存储设备外，还需要配置额外的测试存储设备，会造成资源浪费。然而本说明书的上述实施例提供的流计算任务的发布方法，从流计算任务的试运行到进入正式运行，均使用同一个存储设备，相较于现有的发布方法，能有效节约存储资源。

在一些实施例中，在流计算任务试运行期间，发布服务端还可以支持用户预览流计算任务的输出数据。具体地，流计算任务的输出数据的预览过程可以如图3所示。该预览过程包括以下步骤：

步骤302，发布服务端从客户端接收用户针对流计算任务的输出数据的数据预览请求；

步骤306，发布服务端根据数据预览请求，向上述多个计算节点中的第一计算节点发送数据获取请求；

步骤308，第一计算节点从本地获取数据获取请求所请求的数据；

步骤310，第一计算节点将所获取的数据返回给发布服务端；

步骤312，发布服务端将所接收的数据返回给客户端。

在以上预览过程中，数据预览请求例如可以包括数据量、数据过滤条件、请求超时时间等。基于此，数据获取请求可以包括数据量、数据过滤条件等。

需要指出，第一计算节点可以是上述多个计算节点中任意的一个计算节点，也可以是发布服务端采用特定的算法选取出的。

作为示例，在步骤306之前，还可以包括：步骤304，发布服务端采用负载均衡算法，根据上述多个计算节点的节点信息，从上述多个计算节点中选取一个计算节点作为第一计算节点。

其中，该负载均衡算法可以是用于实现负载均衡的任意的算法，例如可以包括轮询、加权轮询、随机、加权随机、最小连接或一致性哈希等。由于这些负载均衡算法是现有的公知算法，在此不再赘述。

在步骤308中，第一计算节点可以根据所接收的数据获取请求，从本地获取流计算任务的输出数据。进一步地，第一计算节点可以根据数据获取请求中的数据量和数据过滤条件，从本地获取流计算任务的输出数据。具体地，第一计算节点可以在本地收集该数据量的满足该数据过滤条件的输出数据。

接着，在步骤310中，第一计算节点可以将所获取的数据返回给发布服务端。而后，发布服务端可以通过执行步骤312，将所接收的数据返回给客户端。之后，客户端可以向用户呈现该数据，使得用户评估该数据是否满足预期。

以上预览过程，可以使得流计算任务试运行期间的输出数据在不配置额外存储的情况下进行预览评估，有助于降低发布出错的概率，也为流计算任务的输出数据的评估工作提供了便捷性。

以上主要围绕发布服务端，介绍了流计算任务的发布流程。下面，介绍流计算任务运行期间的输出控制方法。

参看图4，其示出了流计算任务的输出控制方法的一个实施例的流程400。该方法应用于计算集群的多个计算节点中任意的计算节点，该多个计算节点上运行有采用如图2对应的实施例描述的方法发布的流计算任务，并且保存有流计算任务的任务配置信息，其中包括输出阈值和存储设备的设备信息。该方法包括：

步骤402，针对流计算任务的每条输出数据，根据输出阈值，确定是否将输出数据写入存储设备；

步骤404，若确定结果为是，则根据设备信息，将输出数据写入存储设备；

步骤406，若确定结果为否，则不执行对输出数据的写操作。

在本实施例中，计算节点保存发布服务端最新同步的输出阈值。在流计算任务试运行期间，输出阈值通常大于等于第一预设值且小于第二预设值。在流计算任务正式运行期间，输出阈值通常大于等于第二预设值。针对第一预设值和第二预设值的解释，可参考前文中的相关说明，在此不再赘述。

作为一种实现方式，步骤402可以具体包括如图5示出的确定过程，该确定过程包括以下步骤：

步骤4022，在大于第一预设值且小于等于第二预设值的范围中生成一个随机数；

步骤4024，若随机数小于等于输出阈值，则确定将输出数据写入存储设备；

步骤4026，若随机数大于输出阈值，则确定不将输出数据写入存储设备。

以上确定过程，可以使得计算节点根据输出阈值p和随机数r，控制对流计算任务的输出数据的写入或忽略。例如，当r≤p时，可以将r对应的输出数据写入下游的存储设备。当r>p时，可以忽略该输出数据，也即不执行对该输出数据的写操作。

特别地，在第一预设值为0，第二预设值为1的情况下，当p＝0时，计算节点可屏蔽试运行期间数据对下游的存储设备的影响；当0<p<1时，可实现灰度数据输出；当p≥1时，流计算任务可正常输出。

作为另一种实现方式，步骤402可以进一步包括：针对流计算任务在当前运行周期内的每条输出数据，确定当前运行周期内已写入存储设备的数据的数量和当前运行周期对应的预设总数据量的比值；若该比值未达到输出阈值，则确定将输出数据写入存储设备；若该比值达到输出阈值，则确定不将输出数据写入存储设备。其中，预设总数据量可以是流计算任务在一个运行周期内的输出数据的真实总数据量或预估总数据量，在此不做具体限定。

在一些实施例中，在流计算任务试运行期间，计算节点可以实时或准实时的接收发布服务端同步的修改后的输出阈值，并将本地已保存的输出阈值更新为该修改后的输出阈值。由此，可以使得计算节点保存发布服务端最新同步的输出阈值。

图4对应的实施例提供的流计算任务的输出控制方法，可以使得计算节点根据流计算任务的输出阈值，控制流计算任务上线后输出到下游的存储设备的数据比例。由此，可灵活便捷的屏蔽试运行期间数据对下游的存储设备的影响，实现流计算任务的灰度数据输出，或者实现流计算任务的正常数据输出。

进一步参考图6，本说明书提供了一种流计算任务的发布装置的一个实施例，该装置可以应用于如图1所示的发布服务端。

如图6所示，本实施例的流计算任务的发布装置600包括：任务发布单元601和任务配置单元602。其中，任务发布单元601被配置成将待发布的流计算任务发送至计算集群，以使得流计算任务在所述计算集群的多个计算节点上试运行；任务配置单元602被配置成接收该多个计算节点发送的节点信息，以及根据所接收的节点信息，将本地保存的流计算任务的任务配置信息的初始值同步至该多个计算节点，任务配置信息包括输出阈值和存储设备的设备信息，输出阈值用于控制流计算任务输出到存储设备的数据比例；任务发布单元601还被配置成在流计算任务试运行期间，接收针对输出阈值的调整指令，并根据调整指令，修改任务配置单元602中保存的输出阈值；任务配置单元602还被配置成将修改后的输出阈值同步至该多个计算节点。

在一些实施例中，任务发布单元601还可以被配置成：当修改后的输出阈值达到第二预设值时，确定流计算任务已正式发布。

在一些实施例中，任务发布单元601还可以被配置成：将流计算任务的任务配置信息的初始值保存至任务配置单元602。

在一些实施例中，上述装置600还可以包括：数据预览单元603，被配置成在流计算任务试运行期间，从客户端接收用户针对流计算任务的输出数据的数据预览请求；根据数据预览请求，向上述多个计算节点中的第一计算节点发送数据获取请求；接收第一计算节点响应于数据获取请求而返回的数据；将所接收的数据返回给客户端。

在一些实施例中，数据预览单元603还可以被配置成：采用负载均衡算法，根据上述多个计算节点的节点信息，从上述多个计算节点中选取一个计算节点作为第一计算节点。

在一些实施例中，数据预览单元603还可以被配置成：从任务配置单元602获取上述多个计算节点的节点信息。

在一些实施例中，上述多个计算节点均包括下文中提及的流计算任务的输出控制装置700；以及任务配置单元602可以进一步被配置成：接收上述多个计算节点各自的装置700发送的节点信息，以及向上述多个计算节点的装置700进行任务配置同步(例如同步任务配置信息的初始值或修改后的输出阈值)。

在一些实施例中，数据预览单元603可以进一步被配置成：向第一计算节点的装置700发送数据获取请求；接收第一计算节点的装置700响应于数据获取请求而返回的数据。

在一些实施例中，负载均衡算法可以包括以下任一项：轮询、加权轮询、随机、加权随机、最小连接、一致性哈希等。

在一些实施例中，任务发布单元601可以包括：第一处理子单元(图中未示出)，被配置成从客户端接收用户针对输出阈值的调整指令，其中包括调整方向和步长值；在任务配置单元602保存的输出阈值上沿调整方向调整步长值。

在一些实施例中，任务发布单元601可以包括：第二处理子单元(图中未示出)，被配置成接收通过定时任务触发的针对输出阈值的增加指令；在任务配置单元602保存的输出阈值上叠加预设步长值。

在一些实施例中，上述装置600还可以包括：输出单元(图中未示出)，被配置成在任务发布单元601利用第二处理子单元修改输出阈值，并将修改后的输出阈值同步至上述多个计算节点之后，向用户反馈针对输出阈值的调整通知消息。

在一些实施例中，任务配置单元602在向上述多个计算节点进行信息同步时，采用的同步方式包括以下至少一项：长轮询、长连接、利用消息队列进行数据同步、利用存储中间件进行数据同步等。

具体地，任务配置单元602在向上述多个计算节点的装置700进行信息同步时，若采用长轮询同步方式，可以使得该装置700长轮询任务配置单元602的接口以进行数据同步；若采用长连接同步方式，任务配置单元602可以维护其和该装置700之间的长连接来同步数据；若利用消息队列进行数据同步，可以使得该装置700作为消费者订阅该消息队列中的数据，任务配置单元602可以将有待同步的数据写入该消息队列，以通过该消息队列将该数据传递至该装置700；若利用存储中间件进行数据同步，任务配置单元602可以通过MySQL或ZooKeeper等存储中间件，将有待同步的数据同步至该装置700。

在一些实施例中，任务发布单元601还可以包括：下线子单元(图中未示出)，被配置成在流计算任务试运行期间，响应于从客户端接收到用户针对流计算任务的下线请求，向计算集群发送针对流计算任务的下线指示信息。

进一步参考图7，本说明书提供了一种流计算任务的输出控制装置的一个实施例，该装置可以应用于如图1所示的计算集群的多个计算节点中任意的计算节点。该多个计算节点上运行有采用如图2对应的实施例描述的方法发布的流计算任务，并且保存有流计算任务的任务配置信息，其中包括输出阈值和存储设备的设备信息。

如图7所示，本实施例的流计算任务的输出控制装置700包括：确定单元701、第一处理单元702和第二处理单元703。其中，确定单元701被配置成针对流计算任务的每条输出数据，根据输出阈值，确定是否将输出数据写入存储设备；第一处理单元702被配置成若确定单元701的确定结果为是，则根据设备信息，将输出数据写入存储设备；第二处理单元703被配置成若确定单元701的确定结果为否，则不执行对输出数据的写操作。

在一些实施例中，确定单元701可以进一步被配置成：针对流计算任务的每条输出数据，在大于第一预设值且小于等于第二预设值的范围中生成一个随机数；若随机数小于等于输出阈值，则确定将该输出数据写入存储设备；若随机数大于输出阈值，则确定不将该输出数据写入存储设备。

在一些实施例中，确定单元701可以进一步被配置成：针对流计算任务在当前运行周期内的每条输出数据，确定当前运行周期内已写入存储设备的数据的数量和当前运行周期对应的预设总数据量的比值；若该比值未达到输出阈值，则确定将该输出数据写入存储设备；若比值达到输出阈值，则确定不将该输出数据写入存储设备。

在一些实施例中，上述装置700还可以包括：数据获取单元(图中未示出)，被配置成在流计算任务试运行期间，从发布服务端接收针对流计算任务的输出数据的数据获取请求，数据获取请求根据用户的数据预览请求而生成；从本地获取数据获取请求所请求的数据；将所获取的数据返回给发布服务端。

在一些实施例中，发布服务端包括如前所述的装置600；以及数据获取单元可以进一步被配置成：从该装置600中的数据预览单元603接收上述数据获取请求；将根据上述数据获取请求所获取的数据返回给该数据预览单元603。

在一些实施例中，上述数据获取请求包括数据量和数据过滤条件；以及数据获取单元可以进一步被配置成：根据该数据量和数据过滤条件，从本地获取流计算任务的输出数据。

在一些实施例中，上述装置700还可以包括：存储单元(图中未示出)，被配置成在流计算任务试运行期间，接收发布服务端同步的修改后的输出阈值；将本地已保存的输出阈值更新为修改后的输出阈值。

在一些实施例中，存储单元可以进一步被配置成：接收发布服务端的装置600中的任务配置单元602同步的修改后的输出阈值。

在一些实施例中，上述装置700在流计算任务发布前已部署在其所在的计算节点上，或者上述装置700的代码包含在该流计算任务的业务代码中。

在图6、图7分别对应的装置实施例中，各单元的具体处理及其带来的技术效果可参考前文中方法实施例的相关说明，在此不再赘述。

本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，当该计算机程序在计算机中执行时，令计算机执行以上各方法实施例分别描述的流计算任务的发布方法或输出控制方法。

本说明书实施例还提供了一种计算设备，包括存储器和处理器，其中，该存储器中存储有可执行代码，该处理器执行该可执行代码时，实现以上各方法实施例分别描述的流计算任务的发布方法或输出控制方法。

本说明书实施例还提供了一种计算机程序，其中，当该计算机程序在计算机中执行时，令计算机执行以上各方法实施例分别描述的流计算任务的发布方法或输出控制方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书披露的多个实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上所述的具体实施方式，对本说明书披露的多个实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书披露的多个实施例的具体实施方式而已，并不用于限定本说明书披露的多个实施例的保护范围，凡在本说明书披露的多个实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书披露的多个实施例的保护范围之内。

Claims (21)

1.一种流计算任务的发布方法，应用于发布服务端，包括：

将待发布的流计算任务发送至计算集群，以使得所述流计算任务在所述计算集群的多个计算节点上试运行；

接收所述多个计算节点发送的节点信息；

根据所接收的节点信息，将本地保存的所述流计算任务的任务配置信息的初始值同步至所述多个计算节点，所述任务配置信息包括输出阈值和存储设备的设备信息，所述输出阈值用于控制所述流计算任务输出到所述存储设备的数据比例；

在所述流计算任务试运行期间，接收针对所述输出阈值的调整指令；

根据所述调整指令，修改本地保存的所述输出阈值，并将修改后的所述输出阈值同步至所述多个计算节点。

2.根据权利要求1所述的方法，其中，所述输出阈值的初始值为第一预设值；以及

所述方法还包括：

当修改后的所述输出阈值达到第二预设值时，确定所述流计算任务已正式发布。

3.根据权利要求1所述的方法，还包括：

在所述流计算任务试运行期间，从客户端接收用户针对所述流计算任务的输出数据的数据预览请求；

根据所述数据预览请求，向所述多个计算节点中的第一计算节点发送数据获取请求；

接收所述第一计算节点响应于所述数据获取请求而返回的数据；

将所接收的数据返回给所述客户端。

4.根据权利要求3所述的方法，其中，在所述向所述多个计算节点中的第一计算节点发送数据获取请求之前，还包括：

采用负载均衡算法，根据所述多个计算节点的节点信息，从所述多个计算节点中选取一个计算节点作为第一计算节点。

5.根据权利要求4所述的方法，其中，所述负载均衡算法包括以下任一项：轮询、加权轮询、随机、加权随机、最小连接、一致性哈希。

6.根据权利要求3所述的方法，其中，所述接收针对所述输出阈值的调整指令，包括：

从所述客户端接收用户针对所述输出阈值的调整指令，其中包括调整方向和步长值；

所述根据所述调整指令，修改本地保存的所述输出阈值，包括：

在本地保存的所述输出阈值上沿所述调整方向调整所述步长值。

7.根据权利要求1所述的方法，其中，所述接收针对所述输出阈值的调整指令，包括：

接收通过定时任务触发的针对所述输出阈值的增加指令；

所述根据所述调整指令，修改本地保存的所述输出阈值，包括：

在本地保存的所述输出阈值上叠加预设步长值。

8.根据权利要求7所述的方法，其中，在所述将修改后的所述输出阈值同步至所述多个计算节点之后，还包括：

向用户反馈针对所述输出阈值的调整通知消息。

9.根据权利要求1所述的方法，其中，所述发布服务端在向所述多个计算节点进行信息同步时，采用的同步方式包括以下至少一项：长轮询、长连接、利用消息队列进行数据同步、利用存储中间件进行数据同步。

10.根据权利要求1-9之一所述的方法，还包括：

在所述流计算任务试运行期间，响应于从客户端接收到用户针对所述流计算任务的下线请求，向所述计算集群发送针对所述流计算任务的下线指示信息。

11.一种流计算任务的输出控制方法，应用于计算集群的多个计算节点中任意的计算节点，所述多个计算节点上运行有采用如权利要求1所述的方法发布的流计算任务，并且保存有所述流计算任务的任务配置信息，其中包括输出阈值和存储设备的设备信息，所述方法包括：

针对所述流计算任务的每条输出数据，根据所述输出阈值，确定是否将所述输出数据写入所述存储设备；

若确定结果为是，则根据所述设备信息，将所述输出数据写入所述存储设备；

若确定结果为否，则不执行对所述输出数据的写操作。

12.根据权利要求11所述的方法，其中，所述输出阈值大于等于第一预设值且小于等于第二预设值；以及

所述根据所述输出阈值，确定是否将所述输出数据写入所述存储设备，包括：

在大于第一预设值且小于等于第二预设值的范围中生成一个随机数；

若所述随机数小于等于所述输出阈值，则确定将所述输出数据写入所述存储设备；

若所述随机数大于所述输出阈值，则确定不将所述输出数据写入所述存储设备。

13.根据权利要求11所述的方法，其中，所述针对所述流计算任务的每条输出数据，根据所述输出阈值，确定是否将所述输出数据写入所述存储设备，包括：

针对所述流计算任务在当前运行周期内的每条输出数据，确定所述当前运行周期内已写入所述存储设备的数据的数量和所述当前运行周期对应的预设总数据量的比值；

若所述比值未达到所述输出阈值，则确定将所述输出数据写入所述存储设备；

若所述比值达到所述输出阈值，则确定不将所述输出数据写入所述存储设备。

14.根据权利要求11所述的方法，还包括：

在所述流计算任务试运行期间，从发布服务端接收针对所述流计算任务的输出数据的数据获取请求，所述数据获取请求根据用户的数据预览请求而生成；

从本地获取所述数据获取请求所请求的数据；

将所获取的数据返回给所述发布服务端。

15.根据权利要求14所述的方法，其中，所述数据获取请求包括数据量和数据过滤条件；以及

所述从本地获取所述数据获取请求所请求的数据，包括：

根据所述数据量和所述数据过滤条件，从本地获取所述流计算任务的输出数据。

16.根据权利要求11-15之一所述的方法，还包括：

在所述流计算任务试运行期间，接收发布服务端同步的修改后的所述输出阈值；

将本地已保存的所述输出阈值更新为修改后的所述输出阈值。

17.一种流计算任务的发布装置，应用于发布服务端，包括：

任务发布单元，被配置成将待发布的流计算任务发送至计算集群，以使得所述流计算任务在所述计算集群的多个计算节点上试运行；

任务配置单元，被配置成接收所述多个计算节点发送的节点信息，以及根据所接收的节点信息，将本地保存的所述流计算任务的任务配置信息的初始值同步至所述多个计算节点，所述任务配置信息包括输出阈值和存储设备的设备信息，所述输出阈值用于控制所述流计算任务输出到所述存储设备的数据比例；

所述任务发布单元，还被配置成在所述流计算任务试运行期间，接收针对所述输出阈值的调整指令，并根据所述调整指令，修改所述任务配置单元中保存的所述输出阈值；

所述任务配置单元，还被配置成将修改后的所述输出阈值同步至所述多个计算节点。

18.根据权利要求17所述的装置，其中，所述装置还包括：

数据预览单元，被配置成在所述流计算任务试运行期间，从客户端接收用户针对所述流计算任务的输出数据的数据预览请求；根据所述数据预览请求，向所述多个计算节点中的第一计算节点发送数据获取请求；接收所述第一计算节点响应于所述数据获取请求而返回的数据；将所接收的数据返回给所述客户端。

19.一种流计算任务的输出控制装置，应用于计算集群的多个计算节点中任意的计算节点，所述多个计算节点上运行有采用如权利要求1所述的方法发布的流计算任务，并且保存有所述流计算任务的任务配置信息，其中包括输出阈值和存储设备的设备信息，所述装置包括：

确定单元，被配置成针对所述流计算任务的每条输出数据，根据所述输出阈值，确定是否将所述输出数据写入所述存储设备；

第一处理单元，被配置成若所述确定单元的确定结果为是，则根据所述设备信息，将所述输出数据写入所述存储设备；

第二处理单元，被配置成若所述确定单元的确定结果为否，则不执行对所述输出数据的写操作。

20.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-16中任一项所述的方法。

21.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-16中任一项所述的方法。

Images