CN111680048A - 聚合任务处理方法、装置、服务器及介质 - Google Patents
聚合任务处理方法、装置、服务器及介质 Download PDFInfo
- Publication number
- CN111680048A CN111680048A CN202010819912.7A CN202010819912A CN111680048A CN 111680048 A CN111680048 A CN 111680048A CN 202010819912 A CN202010819912 A CN 202010819912A CN 111680048 A CN111680048 A CN 111680048A
- Authority
- CN
- China
- Prior art keywords
- target
- aggregation
- data
- logic
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
本说明书实施例公开一种聚合任务处理方法、装置、服务器及介质,在所述方法中,若检测到目标聚合任务下的目标指标的计算逻辑发生变化,获取历史存储的目标指标的目标数据,并基于与调整后的计算逻辑对应的目标转换配置对目标数据进行转换,得到转换结果,基于转换结果、调整后的计算逻辑以及目标聚合任务的流数据,执行目标聚合任务。上述方案中,通过对目标数据进行转换,使得按照原计算逻辑得到的目标数据能够用于计算逻辑修改后的聚合任务中,避免了聚合结果中的数据缺失,提高了聚合结果的准确性。
Description
技术领域
本说明书实施例涉及计算机技术领域,尤其涉及一种聚合任务处理方法、装置、服务器及介质。
背景技术
随着科学技术的不断发展,流式计算得到了广泛应用,流式计算可以通过流式计算引擎来实现,通过流式计算引擎对流数据进行处理,执行复杂的计算逻辑,能够实时输出聚合任务下各个指标的聚合结果。
发明内容
本说明书实施例提供一种聚合任务处理方法、装置、服务器及介质。
第一方面,本说明书实施例提供一种聚合任务处理方法,包括:
若检测到目标指标的计算逻辑由第一计算逻辑调整为第二计算逻辑,获取历史存储的所述目标指标的目标数据,所述目标指标为目标聚合任务下的指标;
确定与所述第二计算逻辑对应的目标转换配置,并基于所述目标转换配置对所述目标数据进行数据转换,得到转换结果;
基于所述转换结果、所述第二计算逻辑、以及所述目标聚合任务的流数据,执行所述目标聚合任务。
第二方面,本说明书实施例提供一种聚合任务处理装置,包括:
获取模块,用于若检测到目标指标的计算逻辑由第一计算逻辑调整为第二计算逻辑,获取历史存储的所述目标指标的目标数据,所述目标指标为目标聚合任务下的指标;
转换模块,用于确定与所述第二计算逻辑对应的目标转换配置,并基于所述目标转换配置对所述目标数据进行数据转换,得到转换结果;
执行模块,用于基于所述转换结果、所述第二计算逻辑、以及所述目标聚合任务的流数据,执行所述目标聚合任务。
第三方面,本说明书实施例提供一种服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行上述聚合任务处理方法的步骤。
第四方面,本说明书实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述聚合任务处理方法的步骤。
本说明书实施例有益效果如下:
本说明书实施例中,在目标聚合任务的运行过程中,若检测到目标指标的计算逻辑发生改变,由第一计算逻辑调整为第二计算逻辑,获取历史存储的目标指标的目标数据,并基于与第二计算逻辑对应的目标转换配置,对目标数据进行数据转换,得到转换结果,进一步的基于转换结果、第二计算逻辑以及目标聚合任务的流数据,执行目标聚合任务。上述方案中,由于对目标指标的计算逻辑进行了调整,由于历史存储的目标指标的数据是与调整前的计算逻辑对应的,在计算逻辑调整后,导致历史存储的数据无法直接使用,目标聚合任务只能从当前时刻开始重新计算目标指标,造成最终的聚合结果中缺失了部分历史数据,使得聚合结果不准确。而本说明书实施例提供的方案,能够通过与第二计算逻辑对应的目标转换配置,对历史存储的目标数据进行转换,使得转换后的数据用于计算逻辑调整后的目标聚合任务,显著提高了聚合结果的准确性。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本说明书的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本说明书实施例第一方面提供的一种聚合任务处理方法的流程图;
图2为本说明书实施例提供的另一种聚合任务处理方法的流程图;
图3为本说明书实施例第二方面提供的一种聚合任务处理装置的示意图;
图4为本说明书实施例第三方面提供的服务器的示意图。
具体实施方式
为了更好的理解上述技术方案,下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明,应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明,而不是对本说明书技术方案的限定,在不冲突的情况下,本说明书实施例以及实施例中的技术特征可以相互组合。
第一方面,本说明书实施例提供一种聚合任务处理方法,如图1所示,为本说明书实施例提供的一种聚合任务处理方法的流程图,该方法包括以下步骤:
步骤S12:若检测到目标指标的计算逻辑由第一计算逻辑调整为第二计算逻辑,获取历史存储的目标指标的目标数据,目标指标为目标聚合任务下的指标,所述目标数据是基于所述第一计算逻辑计算得到的;
步骤S14:确定与第二计算逻辑对应的目标转换配置,并基于目标转换配置对目标数据进行数据转换,得到转换结果;
步骤S16:基于转换结果、第二计算逻辑、以及目标聚合任务的流数据,执行目标聚合任务。
本说明书实施例提供的聚合任务处理方法,可以应用在服务器中,也可以应用在终端设备中,以服务器为例,服务器中可以设置有流式计算引擎,通过流式计算引擎对输入的流数据进行实时统计计算。
具体来讲,聚合任务可以是在流式计算引擎上对流数据进行聚合计算的任务,根据业务场景的不同,流数据的具体数据内容也不同。例如,在业务场景为电商平台的风险控制场景为例,可以将买家付款事件作为流数据。当然,业务场景还可以为其他场景,如电商平台的交易额统计业务、投放广告的点击率统计业务等,这里不做限定。通常来讲,在一个业务场景下,可以根据需要设置一个或多个聚合任务,一个聚合任务中又可以包含有一个或多个指标,每个指标又对应有各自的计算逻辑。根据每个指标的计算逻辑对流数据进行聚合处理,以实现对聚合任务中的各个指标的统计。
随着业务需求的不断变化,对于已有的聚合任务来说,其指标的计算逻辑可能会发生变化。例如,在电商平台的风险控制场景中,指标为商户在一段时间内的异常交易浓度值,在日常情况下该指标的计算逻辑为基于商户的全部交易金额来计算异常交易浓度值,若业务发生变化,如在大型促销活动期间,为了减小计算量级,计算逻辑可以调整为过滤掉低金额交易,基于过滤后的交易金额来计算商户的异常交易浓度值。
在步骤S12中,目标指标可以是目标聚合任务包含的一个或多个指标中的任意指标。在具体实施过程中,可以通过遍历目标聚合任务包含的每个指标,依次检测每个指标的计算逻辑是否发生变化;当然,也可以指定某个或某几个指标作为目标指标,检测其计算逻辑是否发生变化。本说明书实施例中,第一计算逻辑可以为修改前的原计算逻辑,第二计算逻辑为修改后的计算逻辑。
需要说明的是,在对流数据执行聚合任务时,需要对指标的中间数据进行存储,以Flink流式计算引擎为例,在进行聚合计算时,会存储实时计算的各个指标的中间数据。例如,聚合任务的聚合时间窗口为小时级窗口时,在一个聚合时间窗口内,可以每隔预设时间计算一次指标,并将得到的中间数据进行保存。当聚合任务升级或重启后,可以在中间数据的基础上继续进行聚合计算,以确保聚合结果的准确性。但如果指标的计算逻辑发生变化后,聚合任务升级或重启后,则会无法找到新的计算逻辑对应的中间数据,那么聚合任务就会从新开始计算,这就导致聚合结果中缺失了之前计算得到的部分数据,造成最终的聚合结果不准确。
本说明书实施例中,在获取目标指标的目标数据时,可以在已经存储的目标指标的中间数据中确定出满足条件的数据,作为目标数据。中间数据可以是通过第一计算逻辑计算得到的,也可以是通过其他方式得到的。进一步的,为了保证聚合任务最终的聚合结果的准确性,通过步骤S14确定出与新的计算逻辑,即第二计算逻辑对应的目标转换配置,并根据目标转换配置对目标数据进行转换,以得到转换结果。这样,将历史存储的目标数据转换为与修改后的第二计算逻辑对应的数据,在聚合任务升级或重启之后,能够基于转换结果继续执行聚合任务。
在具体实施过程中,通过步骤S16实现计算逻辑修改后的聚合任务的进行,即在转换结果的基础上,通过修改后的第二计算逻辑对流数据进行聚合处理,得到聚合任务的聚合结果。
通过上述方式,能够在目标指标的计算逻辑发生变化后,通过目标转换配置对历史存储的目标数据进行转换,并且在转换结果的基础上继续执行聚合任务,有效避免了由于计算逻辑修改导致的聚合结果不准确,大大提高了聚合结果的准确性。
本说明书实施例中,历史存储的目标指标的中间数据可以通过以下方式获取:确定目标聚合任务的N个聚合时间窗口,N为正整数,针对每个聚合时间窗口,在该聚合时间窗口内按照预设时间间隔,依次采用第一计算逻辑对该聚合时间窗口对应的流数据进行聚合计算,得到该聚合时间窗口内的目标指标的多个中间数据;将每个聚合时间窗口内的目标指标的多个中间数据进行存储。
在具体实施过程中,目标聚合任务的聚合时间窗口的长度可以根据实际需要来进行设置,例如聚合时间窗口的长度为1分钟或1小时等。目标聚合任务是针对每个聚合时间窗口来执行的,即,针对每个聚合时间窗口,对该聚合时间窗口内采集到的流数据进行处理,以得到该聚合时间窗口的聚合结果。需要说明的是,聚合时间窗口包括有起始时间和截止时间,聚合时间窗口对应的流数据为从起始时间到截止时间之间动态变化的流数据。
本说明书实施例中,计算目标指标的中间数据时,可以通过以下方式来实现:在聚合时间窗口内,每隔预设时间间隔对流数据进行处理,得到目标指标的多个中间数据,其中,中间数据可以是通过第一计算逻辑得到的数据。举例来讲,以聚合时间窗口为15:00-15:59为例,目标聚合任务在运行过程中,每隔预设时间间隔(如每隔1分钟)都会计算15:00至当前运行时间的聚合结果,并进行存储。那么对于该聚合时间窗口来说,会依次存储有15:01、15:02、…、15:59对应的目标指标的中间数据。其中,对于当前时刻中间数据来说,可以是在上一时刻中间数据的基础上,对当前时间间隔内获得的计算结果进行累积得到的。例如,在计算15:02时刻的中间数据时,通过第一计算逻辑对15:01-15:02之间采集的流数据进行聚合,得到聚合结果,将该聚合结果与15:01时刻存储的中间数据累加,得到15:02时刻的中间数据。当然,还可以通过其他方式计算中间数据,这里不做限定。
在得到各个聚合时间窗口对应的目标指标的中间数据后,可以将中间数据存储至HBase,HBase为高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase的存储结构为rowkey和data之间的对应关系,其中,rowkey为一条数据的唯一标识,data为具体的数据。在本说明书实施例中,可以将聚合任务的任务ID、指标名以及时间戳作为rowkey,将具体的中间数据作为data,其中,时间戳可以为存储中间数据的时间。在后续读取中间数据时,可以根据rowkey来确定对应的中间数据。
通过上述方式,在目标聚合任务的运行中,能够将目标指标在各时刻的中间数据进行存储。进一步的,当目标指标的计算逻辑发生变化时,在存储的中间数据中获取需要进行转换的目标数据,具体可通过以下方式实现:确定由所述第一计算逻辑调整为所述第二计算逻辑的调整时刻;在N个聚合时间窗口中确定出与调整时刻对应的目标聚合时间窗口;在目标聚合时间窗口对应的目标指标的多个中间数据中,确定出目标数据。其中,在确定目标数据时,可以基于与目标聚合时间窗口对应的每个中间数据的时间戳,将时间戳距离调整时刻最近的中间数据作为目标数据。
在具体实施过程中,在检测到目标指标的计算逻辑发生变化后,确定计算逻辑的调整时刻,基于每个聚合时间窗口对应的起始时间和截止时间,确定包含有调整时刻的聚合时间窗口为目标聚合时间窗口,然后在目标聚合时间窗口对应的已存储的中间数据中确定出距离调整时刻最近的中间数据作为目标数据。
举例来讲,如果在15:31分检测到目标指标的计算逻辑发生变化,确定15:31所在的目标聚合时间窗口,如目标聚合时间窗口为15:30-15:59。进一步的读取目标时间窗口对应的已经存储的中间数据,比如已经存储了15:01、15:02、…、15:30对应的中间数据,那么选择距离调整时刻15:31最近的中间数据,即15:30存储的中间数据作为目标数据。
进一步的,在确定了目标数据之后,为了对目标数据进行转换,需要确定与第二计算逻辑对应的目标转换配置。在具体实施过程中,目标转换配置的确定可以通过以下方式实现:基于计算逻辑与转换配置之间预设的对应关系,确定与第二计算逻辑对应的所述目标转换配置。
具体来讲,可以将计算逻辑和转换配置之间的对应关系预先设置好,在检测到计算逻辑修改后,直接在预先设置好的对应关系中读取与第二计算逻辑对应的目标转换配置。与各个计算逻辑对应的转换配置可以是用户自行定义的,也可以是通过对第一计算逻辑以及第二计算逻辑之间的关系、以及对应的业务数据确定出来的,这里不做限定。
为了更好的理解计算逻辑和转换配置之间的关系,以第一计算逻辑为统计每分钟商户在所有平台发生交易的买家数量为例,若对计算逻辑进行修改,修改后的第二计算逻辑为需要过滤掉A平台的交易,那么可以根据A平台交易占所有平台交易的比例来得出对应的转换配置,即转换配置为:转换结果=目标指标目标数据×A平台占所有平台交易的占比。然后将该转换配置与第二计算逻辑进行关联,建立二者之间的对应关系。
进一步的,在得到转换结果之后,在转换结果的基础上继续执行目标聚合任务,具体来讲,确定目标聚合任务运行的当前时刻,基于所述第二计算逻辑,对所述调整时刻到所述当前时刻之间的流数据进行聚合处理,得到处理结果;基于所述转换结果以及所述处理结果,确定所述目标聚合任务在所述当前时刻的聚合结果。
具体来讲,在修改计算逻辑之后,则按照修改后的第二计算逻辑进行流数据的聚合处理,将新得到的处理结果与转换结果进行累加,以得到目标聚合任务的聚合结果。例如,若计算逻辑的调整时刻为15:31,将距离15:31最近的中间数据进行转换,假设15:30的中间数据为距离最近的目标数据,对目标数据进行转换得到转换结果。然后,从15:31开始到任务运行的当前时刻,重新对流数据进行聚合处理,得到处理结果,则目标聚合任务的聚合结果为转换结果与处理结果之和。应理解的是,在采用第二计算逻辑从调整时刻开始进行聚合处理时,仍可以采用按照预设时间间隔来进行处理。
本说明书实施例中,在计算逻辑修改之后,通常需要对目标聚合任务进行重启,为了避免频繁对各个指标的计算逻辑进行检测,本说明书实施例中,可以先检测目标聚合任务是否重启,若检测到目标聚合任务重启,再继续检测目标指标的计算逻辑是否由第一计算逻辑调整为第二计算逻辑。
为了对本说明书实施例提供的聚合任务处理方法进行说明,请参考图2,为本说明书实施例提供的另一聚合任务处理方法的流程图,该方法包括以下步骤:
步骤S21:目标聚合任务启动;
步骤S22:将目标指标的中间数据保存至HBase;
步骤S23:修改目标指标的计算逻辑;
步骤S24:设置中间数据的转换配置;
步骤S25:目标聚合任务重新启动;
步骤S26:从HBase读取目标数据;
步骤S27:读取中间数据转换配置;
步骤S28:执行目标数据的转换;
步骤S29:继续执行目标聚合任务。
上述步骤中,目标聚合任务在启动之后,通过修改之前的第一计算逻辑进行聚合计算,将得到的中间数据保存至HBase,若业务发生变更,计算逻辑产生变更后,设置变更后的第二计算逻辑与中间数据转换配置之间的对应关系,由于计算逻辑发生了变化,需要对目标聚合任务进行重启,重启之后,在历史存储的中间数据中确定出目标数据,并读取对应的转换配置对目标数据进行转换,得到转换结果,然后在转换结果的基础上继续执行目标聚合任务。
综上所述,本说明书实施例提供的方法,通过在目标指标的计算逻辑发生变化后,能够对历史存储的目标数据转换为新的计算逻辑下的数据,然后在转换结果的基础上对后续实时计算得到的聚合结果进行累加,得到最终的聚合结果,确保了聚合计算结果覆盖了整个聚合时间窗口。而在现有技术中,如果计算逻辑发生了变化,由于历史存储的中间数据是在原始的计算逻辑下得到的结果,后续无法直接使用,因此,在采用修改后的计算逻辑进行聚合计算时,只能从当前时刻开始重新计算目标指标,造成历史数据的缺失,无法覆盖整个聚合时间窗口,导致聚合结果的不准确。可见,本说明书实施例中的方案,能够有效提高掘和聚合结果的准确性,尤其是在聚合时间窗口较大时,例如小时级的聚合时间窗口,能够显著提升聚合结果的准确性。
第二方面,基于同一发明构思,本说明书实施例提供一种聚合任务处理装置,请参考图3,该装置包括:
获取模块31,用于若检测到目标指标的计算逻辑由第一计算逻辑调整为第二计算逻辑,获取历史存储的所述目标指标的目标数据,所述目标指标为目标聚合任务下的指标,所述目标数据是基于所述第一计算逻辑计算得到的;
转换模块32,用于确定与所述第二计算逻辑对应的目标转换配置,并基于所述目标转换配置对所述目标数据进行数据转换,得到转换结果;
执行模块33,用于基于所述转换结果、所述第二计算逻辑、以及所述目标聚合任务的流数据,执行所述目标聚合任务。
在一种可选实现方式中,所述装置还包括:
聚合时间窗口确定模块,用于确定所述目标聚合任务的N个聚合时间窗口,N为正整数;
处理模块,用于针对每个聚合时间窗口,在该聚合时间窗口内按照预设时间间隔,依次采用第一计算逻辑对该聚合时间窗口对应的流数据进行聚合计算,得到该聚合时间窗口内的所述目标指标的多个中间数据;
存储模块,用于将所述每个聚合时间窗口内的所述目标指标的多个中间数据进行存储。
在一种可选实现方式中,获取模块31,还用于:
确定由所述第一计算逻辑调整为所述第二计算逻辑的调整时刻;
在所述N个聚合时间窗口中确定出与所述调整时刻对应的目标聚合时间窗口;
在所述目标聚合时间窗口对应的所述目标指标的多个中间数据中,确定出所述目标数据。
在一种可选实现方式中,获取模块31,还用于:
基于与所述目标聚合时间窗口对应的每个中间数据的时间戳,将时间戳距离所述调整时刻最近的中间数据作为所述目标数据。
在一种可选实现方式中,所述装置还包括:
检测模块,用于检测所述目标聚合任务是否重启;若是,检测所述目标指标的计算逻辑是否由所述第一计算逻辑调整为所述第二计算逻辑。
在一种可选实现方式中,转换模块32,还用于:
基于计算逻辑与转换配置之间预设的对应关系,确定与所述第二计算逻辑对应的所述目标转换配置。
在一种可选实现方式中,执行模块33,还用于:
确定所述目标聚合任务运行的当前时刻;
基于所述第二计算逻辑,对所述调整时刻到所述当前时刻之间的流数据进行聚合处理,得到处理结果;
基于所述转换结果以及所述处理结果,确定所述目标聚合任务在所述当前时刻的聚合结果。
关于上述装置,其中各个模块的具体功能已经在本说明书实施例提供的聚合任务处理方法的实施例中进行了详细描述,此处将不做详细阐述说明。
第三方面,基于与前述实施例中聚合任务处理方法同样的发明构思,本说明书实施例还提供一种服务器,如图4所示,包括存储器404、处理器402及存储在存储器404上并可在处理器402上运行的计算机程序,所述处理器402执行所述程序时实现前文所述聚合任务处理方法的步骤。
其中,在图4中,总线架构(用总线400来代表),总线400可以包括任意数量的互联的总线和桥,总线400将包括由处理器402代表的一个或多个处理器和存储器404代表的存储器的各种电路链接在一起。总线400还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口406在总线400和接收器401和发送器403之间提供接口。接收器401和发送器403可以是同一个元件,即收发机,提供用于在传输介质上与各种其他装置通信的单元。处理器402负责管理总线400和通常的处理,而存储器404可以被用于存储处理器402在执行操作时所使用的数据。
第四方面,基于与前述实施例中基于聚合任务处理方法的发明构思,本说明书实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前文所述聚合任务处理方法中的步骤。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品,该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本说明书的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。
显然,本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样,倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内,则本说明书也意图包含这些改动和变型在内。
Claims (16)
1.一种聚合任务处理方法,所述方法包括:
若检测到目标指标的计算逻辑由第一计算逻辑调整为第二计算逻辑,获取历史存储的所述目标指标的目标数据,所述目标指标为目标聚合任务下的指标,所述目标数据是基于所述第一计算逻辑计算得到的;
确定与所述第二计算逻辑对应的目标转换配置,并基于所述目标转换配置对所述目标数据进行数据转换,得到转换结果;
基于所述转换结果、所述第二计算逻辑、以及所述目标聚合任务的流数据,执行所述目标聚合任务。
2.根据权利要求1所述的方法,在所述若检测到目标指标的计算逻辑由第一计算逻辑调整为第二计算逻辑,获取历史存储的所述目标指标的目标数据之前,所述方法还包括:
确定所述目标聚合任务的N个聚合时间窗口,N为正整数;
针对每个聚合时间窗口,在该聚合时间窗口内按照预设时间间隔,依次采用所述第一计算逻辑对该聚合时间窗口对应的流数据进行聚合计算,得到该聚合时间窗口内的所述目标指标的多个中间数据;
将所述每个聚合时间窗口内的所述目标指标的多个中间数据进行存储。
3.根据权利要求2所述的方法,所述获取历史存储的所述目标指标的目标数据,包括:
确定由所述第一计算逻辑调整为所述第二计算逻辑的调整时刻;
在所述N个聚合时间窗口中确定出与所述调整时刻对应的目标聚合时间窗口;
在所述目标聚合时间窗口对应的所述目标指标的多个中间数据中,确定出所述目标数据。
4.根据权利要求3所述的方法,所述在所述目标聚合时间窗口对应的所述目标指标的多个中间数据中,确定出所述目标数据,包括:
基于与所述目标聚合时间窗口对应的每个中间数据的时间戳,将时间戳距离所述调整时刻最近的中间数据作为所述目标数据。
5.根据权利要求1所述的方法,所述若检测到目标指标的计算逻辑由第一计算逻辑调整为第二计算逻辑,获取历史存储的所述目标指标的目标数据之前,所述方法还包括:
检测所述目标聚合任务是否重启;
若是,检测所述目标指标的计算逻辑是否由所述第一计算逻辑调整为所述第二计算逻辑。
6.根据权利要求1所述的方法,所述确定与所述第二计算逻辑对应的目标转换配置,包括:
基于计算逻辑与转换配置之间预设的对应关系,确定与所述第二计算逻辑对应的所述目标转换配置。
7.根据权利要求3所述的方法,所述基于所述转换结果、所述第二计算逻辑、以及所述目标聚合任务的流数据,执行所述目标聚合任务,包括:
确定所述目标聚合任务运行的当前时刻;
基于所述第二计算逻辑,对所述调整时刻到所述当前时刻之间的流数据进行聚合处理,得到处理结果;
基于所述转换结果以及所述处理结果,确定所述目标聚合任务在所述当前时刻的聚合结果。
8.一种聚合任务处理装置,所述装置包括:
获取模块,用于若检测到目标指标的计算逻辑由第一计算逻辑调整为第二计算逻辑,获取历史存储的所述目标指标的目标数据,所述目标指标为目标聚合任务下的指标,所述目标数据是基于所述第一计算逻辑计算得到的;
转换模块,用于确定与所述第二计算逻辑对应的目标转换配置,并基于所述目标转换配置对所述目标数据进行数据转换,得到转换结果;
执行模块,用于基于所述转换结果、所述第二计算逻辑、以及所述目标聚合任务的流数据,执行所述目标聚合任务。
9.根据权利要求8所述的装置,所述装置还包括:
聚合时间窗口确定模块,用于确定所述目标聚合任务的N个聚合时间窗口,N为正整数;
处理模块,用于针对每个聚合时间窗口,在该聚合时间窗口内按照预设时间间隔,依次采用所述第一计算逻辑对该聚合时间窗口对应的流数据进行聚合计算,得到该聚合时间窗口内的所述目标指标的多个中间数据;
存储模块,用于将所述每个聚合时间窗口内的所述目标指标的多个中间数据进行存储。
10.根据权利要求9所述的装置,所述获取模块,还用于:
确定由所述第一计算逻辑调整为所述第二计算逻辑的调整时刻;
在所述N个聚合时间窗口中确定出与所述调整时刻对应的目标聚合时间窗口;
在所述目标聚合时间窗口对应的所述目标指标的多个中间数据中,确定出所述目标数据。
11.根据权利要求10所述的装置,所述获取模块,还用于:
基于与所述目标聚合时间窗口对应的每个中间数据的时间戳,将时间戳距离所述调整时刻最近的中间数据作为所述目标数据。
12.根据权利要求8所述的装置,所述装置还包括:
检测模块,用于检测所述目标聚合任务是否重启;若是,检测所述目标指标的计算逻辑是否由所述第一计算逻辑调整为所述第二计算逻辑。
13.根据权利要求8所述的装置,所述转换模块,还用于:
基于计算逻辑与转换配置之间预设的对应关系,确定与所述第二计算逻辑对应的所述目标转换配置。
14.根据权利要求10所述的装置,所述执行模块,还用于:
确定所述目标聚合任务运行的当前时刻;
基于所述第二计算逻辑,对所述调整时刻到所述当前时刻之间的流数据进行聚合处理,得到处理结果;
基于所述转换结果以及所述处理结果,确定所述目标聚合任务在所述当前时刻的聚合结果。
15.一种服务器,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。
16.一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010819912.7A CN111680048B (zh) | 2020-08-14 | 2020-08-14 | 聚合任务处理方法、装置、服务器及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010819912.7A CN111680048B (zh) | 2020-08-14 | 2020-08-14 | 聚合任务处理方法、装置、服务器及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111680048A true CN111680048A (zh) | 2020-09-18 |
CN111680048B CN111680048B (zh) | 2021-06-29 |
Family
ID=72438637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010819912.7A Active CN111680048B (zh) | 2020-08-14 | 2020-08-14 | 聚合任务处理方法、装置、服务器及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111680048B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112579576A (zh) * | 2020-12-31 | 2021-03-30 | 网易(杭州)网络有限公司 | 一种数据处理方法、装置、介质和计算设备 |
CN113572631A (zh) * | 2021-05-31 | 2021-10-29 | 国家计算机网络与信息安全管理中心 | 一种流数据任务处理方法、装置、设备及计算机存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9047192B2 (en) * | 2012-12-21 | 2015-06-02 | Advanced Micro Devices, Inc. | Signature-based store checking buffer |
CN107391719A (zh) * | 2017-07-31 | 2017-11-24 | 南京邮电大学 | 一种云环境中分布式流数据处理方法及系统 |
CN108573348A (zh) * | 2018-04-18 | 2018-09-25 | 鑫涌算力信息科技(上海)有限公司 | 金融指标分布式计算方法及其系统 |
CN109408347A (zh) * | 2018-09-28 | 2019-03-01 | 北京九章云极科技有限公司 | 一种指标实时分析系统及指标实时计算方法 |
CN111209352A (zh) * | 2020-04-20 | 2020-05-29 | 北京聪明核桃教育科技有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-08-14 CN CN202010819912.7A patent/CN111680048B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9047192B2 (en) * | 2012-12-21 | 2015-06-02 | Advanced Micro Devices, Inc. | Signature-based store checking buffer |
CN107391719A (zh) * | 2017-07-31 | 2017-11-24 | 南京邮电大学 | 一种云环境中分布式流数据处理方法及系统 |
CN108573348A (zh) * | 2018-04-18 | 2018-09-25 | 鑫涌算力信息科技(上海)有限公司 | 金融指标分布式计算方法及其系统 |
CN109408347A (zh) * | 2018-09-28 | 2019-03-01 | 北京九章云极科技有限公司 | 一种指标实时分析系统及指标实时计算方法 |
CN111209352A (zh) * | 2020-04-20 | 2020-05-29 | 北京聪明核桃教育科技有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112579576A (zh) * | 2020-12-31 | 2021-03-30 | 网易(杭州)网络有限公司 | 一种数据处理方法、装置、介质和计算设备 |
CN113572631A (zh) * | 2021-05-31 | 2021-10-29 | 国家计算机网络与信息安全管理中心 | 一种流数据任务处理方法、装置、设备及计算机存储介质 |
CN113572631B (zh) * | 2021-05-31 | 2022-12-20 | 国家计算机网络与信息安全管理中心 | 一种流数据任务处理方法、装置、设备及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111680048B (zh) | 2021-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107360006B (zh) | 一种资源计费方法和装置 | |
CN112000675B (zh) | 行情数据更新方法、装置、终端设备及存储介质 | |
CN106815254B (zh) | 一种数据处理方法和装置 | |
US20110138397A1 (en) | Processing time estimation method and apparatus | |
CN111680048B (zh) | 聚合任务处理方法、装置、服务器及介质 | |
CN108492150B (zh) | 实体热度的确定方法及系统 | |
CN104811344A (zh) | 网络动态业务监控方法及装置 | |
CN114500339B (zh) | 一种节点带宽监测方法、装置、电子设备及存储介质 | |
KR101989330B1 (ko) | 데이터 처리 애플리케이션의 검사 | |
CN110795324B (zh) | 一种数据处理方法及装置 | |
CN108305177A (zh) | 一种保险结息处理的方法、终端及计算机可读存储介质 | |
CN116167860A (zh) | 对账处理方法、装置、电子设备及存储介质 | |
CN110781235A (zh) | 基于大数据的采购数据处理方法、装置、终端及存储介质 | |
CN108268363B (zh) | 用于业务容量管理的方法和设备 | |
CN113254253B (zh) | 一种数据处理方法、系统及设备 | |
CN114157486B (zh) | 通信流量数据异常检测方法、装置、电子设备及存储介质 | |
US8924343B2 (en) | Method and system for using confidence factors in forming a system | |
CN115564593A (zh) | 一种针对农作物的融资预警方法、设备和存储介质 | |
CN114997879A (zh) | 一种支付路由方法、装置、设备和存储介质 | |
CN114964229A (zh) | 航位推算方法、装置及电子设备 | |
EP3745334A1 (en) | Information processing apparatus and log control method | |
CN112633683A (zh) | 资源使用量统计方法、装置、系统、电子设备及存储介质 | |
CN110796461B (zh) | 一种评价选品正确性的方法和装置 | |
CN113535643B (zh) | 数据处理方法、装置及服务器 | |
CN110888917A (zh) | 一种跑批任务执行方法、装置、服务器和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |