CN113625991A - 一种实时指标计算的方法、系统、电子装置和存储介质 - Google Patents

Abstract

本申请涉及一种实时指标计算的方法、系统、电子装置和存储介质，其中，该方法包括：接收新数据，并获取与该新数据同一分组的第一历史累加和，将该新数据与第一历史累加和相加，构建得到新的累加和；接着，获取新数据的事件时间，并用该事件时间减去指标配置的窗口时间范围，得到窗口开始时间；最后根据窗口开始时间，获取该窗口开始时间之前的累加和，并用新的累加和减去该窗口开始时间之前的累加和，得到指标计算结果，解决了在计算实时指标时，存在的响应速度慢或计算精度低的问题，既能保证指标计算结果的精准度，又能满足响应时间的要求，提高计算速度。

Description

一种实时指标计算的方法、系统、电子装置和存储介质

技术领域

本申请涉及大数据领域，特别是涉及一种实时指标计算的方法、系统、电子装置和存储介质。

背景技术

指标计算是对原始数据进行深层次挖掘和加工的过程，是机器学习领域能够发挥作用的关键步骤。在具体的场景中，如交易反欺诈，风控大脑，信贷审计等，都是根据指标构建规则集或者决策树，对每一次请求给出风险提示。此外，实时指标是指以当前数据的时间点往前进行时间窗口滑动回溯，实时窗口同一主维度分组的所有数据都会分配进入同一个窗口，每接收一条新数据，均会触发窗口进行计算，但计算之前，会以当前数据的时间为参考，把窗口中已过期的时间数据予以剔除，之后，将剩余符合要求的数据取回，由计算函数处理输出计算结果。然而，对于大规模上百亿的数据集进行指标的计算，响应速度会面临着巨大的挑战，往往要以牺牲精准度为代价来加快响应速度。

在相关技术中，计算实时指标的方法主要有两种：1.全量扫描法，以当前数据的事件时间作为结束时间，减去指标配置的时间窗口得到开始时间，然后把处于该时间范围的并且同一分组的数据全部捞出来，然后在该数据集上计算指标。2.分片增量计算法，这种方法就是首先确定一个时间分片，比如说天，小时或者分钟，然后把同一分组并且同一时间片的数据进行预聚合，之后在计算指标时只需要把时间范围内的分片的聚合结果累加。然而，对于全量扫描法，它的实现简单，但是如果数据集的规模比较大，每次都要捞取大量的数据，这样会耗费大量的时间，设置有可能造成宕机等，因此，只适合在小规模数据集上使用。对于分片增量计算法，它能够有效地降低计算耗时，但是时间分片会牺牲一部分的指标精确度，比如说时间分片是天，指标配置的时间范围是7天，当前数据事件时间是2021-06-0211:11:11,那么时间窗口应该是2021-05-26 11:11:11至2021-06-02 11:11:11，但是该方法实际计算的窗口是2021-05-26 00:00:00至2021-06-02 11:11:11。如果把分片调小为小时或分钟，那么精度可能为提高，但是带来的性能就会下降。

目前针对相关技术中在计算实时指标时，存在的响应速度慢或计算精度低的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种实时指标计算的方法、系统、电子装置和存储介质，以至少解决相关技术中在计算实时指标时，存在的响应速度慢或计算精度低的问题。

第一方面，本申请实施例提供了一种实时指标计算的方法，所述方法包括：

接收新数据，并获取与所述新数据同一分组的第一历史累加和，将所述新数据与所述第一历史累加和相加，构建得到新的累加和；

获取所述新数据的事件时间，并用所述事件时间减去指标配置的窗口时间范围，得到窗口开始时间；

根据所述窗口开始时间，获取所述窗口开始时间之前的累加和，并用所述新的累加和减去所述窗口开始时间之前的累加和，得到指标计算结果。

在其中一些实施例中，在得到指标计算结果之后，所述方法包括：

输出所述指标计算结果，并保存所述新的累加和。

在其中一些实施例中，所述获取与所述新数据同一分组的第一历史累加和包括：

计算同一分组的起始点到所述新数据之前的累加和，得到第一历史累加和y：

其中，x为同一分组下的数据，n为自然数。

在其中一些实施例中，计算所述指标计算结果T包括：

其中，y为连续段的累加和，n、m为自然数。

第二方面，本申请实施例提供了一种实时指标计算的系统，所述系统包括：

构建模块，用于接收新数据，并获取与所述新数据同一分组的第一历史累加和，将所述新数据与所述第一历史累加和相加，构建得到新的累加和；

时间计算模块，用于获取所述新数据的事件时间，并用所述事件时间减去指标配置的窗口时间范围，得到窗口开始时间；

指标计算模块，用于根据所述窗口开始时间，获取所述窗口开始时间之前的累加和，并用所述新的累加和减去所述窗口开始时间之前的累加和，得到指标计算结果。

在其中一些实施例中，所述系统还包括存储模块，在得到指标计算结果之后，

所述存储模块用于，输出所述指标计算结果，并保存所述新的累加和。

在其中一些实施例中，所述构建模块，还用于计算同一分组的起始点到所述新数据之前的累加和，得到第一历史累加和y：

其中，x为同一分组下的数据，n为自然数。

在其中一些实施例中，所述指标计算模块还用于计算所述指标计算结果T：

其中，y为连续段的累加和，n、m为自然数。

第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的实时指标计算的方法。

第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的实时指标计算的方法。

相比于相关技术，本申请实施例提供的实时指标计算的方法，接收新数据，并获取与该新数据同一分组的第一历史累加和，将该新数据与第一历史累加和相加，构建得到新的累加和；接着，获取新数据的事件时间，并用该事件时间减去指标配置的窗口时间范围，得到窗口开始时间；最后根据窗口开始时间，获取该窗口开始时间之前的累加和，并用新的累加和减去该窗口开始时间之前的累加和，得到指标计算结果，解决了在计算实时指标时，存在的响应速度慢或计算精度低的问题，既能保证指标计算结果的精准度，又能满足响应时间的要求，提高计算速度。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的实时指标计算的方法的应用环境示意图；

图2是根据本申请实施例的实时指标计算的方法的流程图；

图3是根据本申请实施例的实时指标计算的系统的结构框图；

图4是根据本申请实施例的电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本申请提供的实时指标计算的方法，可以应用于如图1所示的应用环境中，图1是根据本申请实施例的实时指标计算的方法的应用环境示意图，如图1所示。其中，终端设备11与服务器10通过网络进行通信。服务器10接收新数据，并获取与该新数据同一分组的第一历史累加和，将该新数据与第一历史累加和相加，构建得到新的累加和；接着，获取新数据的事件时间，并用该事件时间减去指标配置的窗口时间范围，得到窗口开始时间；最后根据窗口开始时间，获取该窗口开始时间之前的累加和，并用新的累加和减去该窗口开始时间之前的累加和，得到指标计算结果，显示与终端11设备上。其中，终端设备11可以但不限于是各种个人计算机、笔记本电脑、和平板电脑等，服务器10可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

本实施例提供了一种实时指标计算的方法，图2是根据本申请实施例的实时指标计算的方法的流程图，如图2所示，该流程包括如下步骤：

步骤S201，接收新数据，并获取与新数据同一分组的第一历史累加和，将新数据与第一历史累加和相加，构建得到新的累加和；可选的，本实施例中接收的新数据可以是交易金额数据、信贷审计金额等，这里不做具体限定，

优选的，本实施例通过计算同一分组的起始点到新数据之前数据的累加和，得到第一历史累加和y：

其中，x为同一分组下接收到的数据，n为自然数。

表1是某商城交易数据集，如下表1所示，根据商户名，主要分为两组：A商户和B商户。

表1

编号	商户名	顾客	交易金额	交易时间
					1	A商户	bob	500.00	2020-06-01 11:00:03
2	A商户	uzi	188.00	2020-06-03 19:00:03
					3	B商户	bob	633.00	2020-06-03 14:00:03
4	B商户	kuli	299.00	2020-06-04 15:00:03
					5	B商户	xlb	299.00	2020-06-06 11:00:03
6	A商户	uzi	188.00	2020-06-06 10:00:03
					7	B商户	xlb	299.00	2020-06-07 19:00:03

例如，本实施例中接收到一个新数据为编号2的交易金额188，那么新数据188同一分组的第一历史累加和为500，将新数据188与第一历史累加和相加，构建得到新的累加和为688；

步骤S202，获取新数据的事件时间，并用事件时间减去指标配置的窗口时间范围，得到窗口开始时间；可选的，本实施例中指标配置的窗口时间范围可以以天、小时或分钟进行划分，这里不做具体限定；

具体地，例如获取步骤S201中的新数据188，该新数据事件发生的时间为2020-06-03 19:00:03，本实施例中设置的指标配置的窗口时间范围为2天，因此，本实施例中窗口开始时间为2020-06-01 19:00:03；

步骤S203，根据窗口开始时间，获取窗口开始时间之前的累加和，并用新的累加和减去窗口开始时间之前的累加和，得到指标计算结果T：

其中，y为连续段的累加和，n、m为自然数。

具体地，如表1所示，本实施例根据步骤S202中得到的窗口开始时间2020-06-0119:00:03，获取窗口开始时间2020-06-01 19:00:03之前的累加和为500，然后，用步骤S201得到的新的累加和688减去窗口开始时间之前的累加和500，得到指标计算结果为188。

通过上述步骤S201至步骤S203，本实施例通过优化的前缀增量计算法，每接受一条新数据，均计算出同一分组下所有数据的累加和。之后对于指标的计算，只需要减去窗口开始时间之前所有数据的累加和即可。相比于现有技术，前缀增量计算法可以保证每次计算过程耗时都是常数级别，而且计算结果精确度较高。解决了在计算实时指标时，存在的响应速度慢或计算精度低的问题，既能保证指标计算结果的精准度，又能满足响应时间的要求，提高计算速度。

根据表1的交易数据，对每一条接收到的新数据进行指标结果的计算，可得到表2所示的某商城交易数据的实时指标计算结果：

表2

在其中一些实施例中，在得到指标计算结果之后，输出指标计算结果，并保存步骤201中得到的新的累加和。以供下次数据到来使用。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例还提供了一种实时指标计算的系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是根据本申请实施例的实时指标计算的系统的结构框图，如图3所示，该系统包括构建模块31、时间计算模块32和指标计算模块33：

构建模块31，用于接收新数据，并获取与新数据同一分组的第一历史累加和，将新数据与第一历史累加和相加，构建得到新的累加和；时间计算模块32，用于获取新数据的事件时间，并用事件时间减去指标配置的窗口时间范围，得到窗口开始时间；指标计算模块33，用于根据窗口开始时间，获取窗口开始时间之前的累加和，并用新的累加和减去窗口开始时间之前的累加和，得到指标计算结果。

通过上述系统，本申请采用优化的前缀增量计算法，构建模块31每接受一条新数据，均计算出同一分组下所有数据的累加和。并用时间计算模块32计算出指标配置的窗口开始时间，之后对于指标计算模块33，只需要减去窗口开始时间之前所有数据的累加和即可。相比于现有技术，前缀增量计算法可以保证每次计算过程耗时都是常数级别，而且计算结果精确度较高。解决了在计算实时指标时，存在的响应速度慢或计算精度低的问题，既能保证指标计算结果的精准度，又能满足响应时间的要求，提高计算速度。

需要说明的是，本申请中其他一些实施例中的具体示例可以参考上述一种实时指标计算的方法中的实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

此外，需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

另外，结合上述实施例中的实时指标计算的方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种实时指标计算的方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种实时指标计算的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

在一个实施例中，图4是根据本申请实施例的电子设备的内部结构示意图，如图4所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图4所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种实时指标计算的方法，数据库用于存储数据。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种实时指标计算的方法，其特征在于，所述方法包括：

接收新数据，并获取与所述新数据同一分组的第一历史累加和，将所述新数据与所述第一历史累加和相加，构建得到新的累加和；

获取所述新数据的事件时间，并用所述事件时间减去指标配置的窗口时间范围，得到窗口开始时间；

根据所述窗口开始时间，获取所述窗口开始时间之前的累加和，并用所述新的累加和减去所述窗口开始时间之前的累加和，得到指标计算结果。

2.根据权利要求1所述的方法，其特征在于，在得到指标计算结果之后，所述方法包括：

输出所述指标计算结果，并保存所述新的累加和。

3.根据权利要求1所述的方法，其特征在于，所述获取与所述新数据同一分组的第一历史累加和包括：

计算同一分组的起始点到所述新数据之前的累加和，得到第一历史累加和y：

其中，x为同一分组下的数据，n为自然数。

4.根据权利要求1所述的方法，其特征在于，计算所述指标计算结果T包括：

其中，y为连续段的累加和，n、m为自然数。

5.一种实时指标计算的系统，其特征在于，所述系统包括：

构建模块，用于接收新数据，并获取与所述新数据同一分组的第一历史累加和，将所述新数据与所述第一历史累加和相加，构建得到新的累加和；

时间计算模块，用于获取所述新数据的事件时间，并用所述事件时间减去指标配置的窗口时间范围，得到窗口开始时间；

指标计算模块，用于根据所述窗口开始时间，获取所述窗口开始时间之前的累加和，并用所述新的累加和减去所述窗口开始时间之前的累加和，得到指标计算结果。

6.根据权利要求5所述的系统，其特征在于，所述系统还包括存储模块，在得到指标计算结果之后，

所述存储模块用于，输出所述指标计算结果，并保存所述新的累加和。

7.根据权利要求5所述的系统，其特征在于，

所述构建模块，还用于计算同一分组的起始点到所述新数据之前的累加和，得到第一历史累加和y：

其中，x为同一分组下的数据，n为自然数。

8.根据权利要求5所述的系统，其特征在于，所述指标计算模块还用于计算所述指标计算结果T：

其中，y为连续段的累加和，n、m为自然数。

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至4中任一项所述的实时指标计算的方法。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至4中任一项所述的实时指标计算的方法。

Images