CN117633073A - 用于业务数据处理的方法、装置、存储介质及处理器 - Google Patents

Abstract

本申请实施例提供一种用于业务数据处理的方法、装置、存储介质及处理器。方法包括：实时接收终端发送的业务数据；按照预设周期调用关于业务数据的流量日志和变更日志；根据每个预设周期内的流量日志和变更日志确定数据库在每个预设周期内的平均读写延迟，以及在每个预设周期内的业务数据的平均读写频率；根据每个预设周期的平均读写延迟和平均读写频率确定针对于每个预设周期获取到的业务数据的实时存储模式；根据每个预设周期的实时存储模式确定每个预设周期获取到的业务数据的目标数据仓库；针对每个预设周期，将预设周期获取到的业务数据暂存至与预设周期对应的目标数据仓库，以低开销存储业务数据，提高业务数据统计的实时性。

Description

用于业务数据处理的方法、装置、存储介质及处理器

技术领域

本申请涉及数据处理技术领域，具体地涉及一种用于业务数据处理的方法、装置、存储介质及处理器。

背景技术

为了追求系统低复杂度，目前针对实时数据的统计，在实时的业务数据发生变化之后，就对数据库进行修改操作，应用直接读取以统计实时数据。

然而，若业务变得繁忙，实时的业务数据的变化量过大，可能会达到几十万甚至上百万。此时，按照上述方案对业务数据进行处理，则会在一段时间内极其频繁地读写数据库数据，存在大量计算资源和IO资源的浪费，业务数据统计的实时性较低。

发明内容

本申请实施例的目的是提供一种用于业务数据处理的方法、装置、存储介质及处理器，用以解决现有技术中业务数据统计的实时性较低的问题。

为了实现上述目的，本申请第一方面提供一种用于业务数据处理的方法，包括：

实时接收终端发送的业务数据；

按照预设周期调用关于业务数据的流量日志和变更日志；

根据每个预设周期内的流量日志和变更日志确定数据库在每个预设周期内的平均读写延迟，以及在每个预设周期内的业务数据的平均读写频率；

根据每个预设周期的平均读写延迟和平均读写频率确定针对于每个预设周期获取到的业务数据的实时存储模式；

根据每个预设周期的实时存储模式确定每个预设周期获取到的业务数据的目标数据仓库；

针对每个预设周期，将预设周期获取到的业务数据暂存至与预设周期对应的目标数据仓库。

在本申请实施例中，实时存储模式包括低频存储模式，针对每个预设周期，在满足以下任意一个条件的情况下，确定针对于预设周期获取到的业务数据的实时存储模式为低频存储模式：预设周期的平均读写延迟小于预设延迟；预设周期的平均读写延迟大于或等于预设延迟，且预设周期的平均读写频率小于第一预设频率。

在本申请实施例中，实时存储模式还包括高频存储模式，针对每个预设周期，在满足以下全部条件的情况下，确定针对于预设周期获取到的业务数据的实时存储模式为高频存储模式：预设周期的平均读写延迟大于或等于预设延迟；预设周期的平均读写频率大于第二预设频率；其中，第二预设频率大于第一预设频率。

在本申请实施例中，实时存储模式还包括普通存储模式，针对每个预设周期，在满足以下全部条件的情况下，确定针对于预设周期获取到的业务数据的实时存储模式为普通存储模式：预设周期的平均读写延迟大于或等于预设延迟；预设周期的平均读写频率大于或等于第一预设频率且小于或等于第二预设频率。

在本申请实施例中，目标数据仓库包括数据库、第一目标仓库以及第二目标仓库，第一目标仓库为采用Redis为存储介质的数据仓库，第二目标仓库为采用Elasticsearch为存储介质的数据仓库，根据每个预设周期的实时存储模式确定每个预设周期获取到的业务数据的目标数据仓库包括：针对每个预设周期，在预设周期的实时存储模式为低频存储模式的情况下，确定预设周期获取到的业务数据的目标数据仓库为数据库；针对每个预设周期，在预设周期的实时存储模式为高频存储模式的情况下，确定预设周期获取到的业务数据的目标数据仓库为第一目标仓库；针对每个预设周期，在预设周期的实时存储模式为普通存储模式的情况下，确定预设周期获取到的业务数据的目标数据仓库为第二目标仓库。

在本申请实施例中，实时存储模式包括高频存储模式和普通存储模式，方法还包括：针对每个预设周期，在预设周期的实时存储模式为高频存储模式或普通存储模式，且将预设周期获取到的业务数据暂存至与对应的目标数据仓库之前，检测目标数据仓库的剩余容量是否大于预设容量；在剩余容量小于或等于预设容量的情况下，删除目标数据仓库中与最早时间标识所对应的业务数据。

在本申请实施例中，方法还包括：针对每个预设周期，在将预设周期获取到的业务数据暂存至与预设周期对应的目标数据仓库之后，等待预设时长将预设周期获取到的业务数据保存至数据库。

本申请第二方面提供一种用于业务数据处理的装置，包括：

监控服务模块，用于接收终端实时发送的业务数据，并按照预设周期调用关于业务数据的流量日志和变更日志；

策略服务模块，用于根据每个预设周期内的流量日志和变更日志确定数据库在每个预设周期内的平均读写延迟，以及在每个预设周期内的业务数据的平均读写频率，以及根据每个预设周期的平均读写延迟和平均读写频率确定针对于每个预设周期获取到的业务数据的实时存储模式；

数据汇总模块，数据汇总模块包括引擎服务模块，用于根据每个预设周期的实时存储模式确定每个预设周期获取到的业务数据的目标数据仓库，以及针对每个预设周期，将预设周期获取到的业务数据暂存至与预设周期对应的目标数据仓库。

本申请第三方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行上述的用于业务数据处理的方法。

本申请第四方面提供一种处理器，被配置成执行上述的用于业务数据处理的方法。

通过上述技术方案，能够根据每个预设周期的平均读写延迟和平均读写频率更为准确地确定业务数据的实时存储模式，从而根据不同的实时存储模式将对应的业务数据暂存至对应的目标数据仓库，避免频繁读写数据库而导致数据库IO资源浪费，低开销存储业务数据，使得业务数据能够快速读写，降低后续业务数据统计的延迟，提高业务数据统计的实时性。

本申请实施例的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：

图1示意性示出了根据本申请实施例的用于业务数据处理的方法的流程示意图；

图2示意性示出了根据本申请另一实施例的用于业务数据处理的方法的流程示意图；

图3示意性示出了根据本申请实施例的用于业务数据处理的装置的结构框图；

图4示意性示出了根据本申请实施例的分级仓库的架构图；

图5示意性示出了根据本申请实施例的计算机设备的内部结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请实施例，并不用于限制本申请实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

图1示意性示出了根据本申请实施例的用于业务数据处理的方法的流程示意图。如图1所示，在本申请一实施例中，提供了一种用于业务数据处理的方法，包括以下步骤：

步骤101：实时接收终端发送的业务数据。

在业务数据发生变化之后，终端可以将业务数据发送至处理器。处理器可以实时接收终端发送的业务数据。

步骤102：按照预设周期调用关于业务数据的流量日志和变更日志。

处理器可以按照预设周期调用关于业务数据的流量日志和变更日志。其中，预设周期可根据实际情况进行自定义。例如，其可按照分钟、小时、天数、周数以及月数进行划分。例如，预设周期可为5min。流量日志是指在网络请求时网关接收到业务数据所产生的日志，其可包括请求IP统计、访问地址统计以及HTTP状态码统计等。变更日志是指BinLog日志，其为二进制格式的文件，可用于记录对数据库更新的SQL语句信息。例如，变更日志可记录更新数据表和更新内容的SQL语句，但不包括数据库的读操作。

步骤103：根据每个预设周期内的流量日志和变更日志确定数据库在每个预设周期内的平均读写延迟，以及在每个预设周期内的业务数据的平均读写频率。

处理器可以根据每个预设周期内的流量日志可以确定数据库在每个预设周期内的平均读写延迟。处理器可以根据每个预设周期内的变更日志确定在每个预设周期内的业务数据的平均读写频率。

步骤104：根据每个预设周期的平均读写延迟和平均读写频率确定针对于每个预设周期获取到的业务数据的实时存储模式。

处理器可以根据每个预设周期的平均读写延迟和平均读写频率确定针对于每个预设周期获取到的业务数据的实时存储模式。

在本申请实施例中，实时存储模式包括低频存储模式，针对每个预设周期，在满足以下任意一个条件的情况下，确定针对于预设周期获取到的业务数据的实时存储模式为低频存储模式：预设周期的平均读写延迟小于预设延迟；预设周期的平均读写延迟大于或等于预设延迟，且预设周期的平均读写频率小于第一预设频率。

其中，实时存储模式包括低频存储模式。针对每个预设周期，在该预设周期的平均读写延迟小于预设延迟的情况下，处理器可以确定该预设周期获取到的业务数据的实时存储模式为低频存储模式。即，在预设周期的平均读写延迟小于预设延迟时，无论平均读写频率有多高，其均可采用低频存储模式对获取到的业务数据进行存储。其中，预设延迟可以根据实际情况自定义，例如，预设延迟可以为100ms。

针对每个预设周期，在该预设周期的平均读写延迟大于或等于预设延迟，且预设周期的平均读写频率小于第一预设频率的情况下，处理器可以确定该预设周期获取到的业务数据的实时存储模式为低频存储模式。其中，第一预设频率可以根据实际情况自定义，例如，第一预设频率可以为50QPS。QPS是指预设周期的查询率，即预设周期内能够响应的查询次数。

在本申请实施例中，实时存储模式还包括高频存储模式，针对每个预设周期，在满足以下全部条件的情况下，确定针对于预设周期获取到的业务数据的实时存储模式为高频存储模式：预设周期的平均读写延迟大于或等于预设延迟；预设周期的平均读写频率大于第二预设频率；其中，第二预设频率大于第一预设频率。

其中，实时存储模式还包括高频存储模式。针对每个预设周期，在该预设周期的平均读写延迟大于或等于预设延迟，且预设周期的平均读写频率大于第二预设频率的情况下，处理器可以确定针对于预设周期获取到的业务数据的实时存储模式为高频存储模式。其中，第二预设频率大于第一预设频率。第二预设频率可以根据实际情况自定义，例如，第二预设频率可以为1000QPS。

在本申请实施例中，实时存储模式还包括普通存储模式，针对每个预设周期，在满足以下全部条件的情况下，确定针对于预设周期获取到的业务数据的实时存储模式为普通存储模式：预设周期的平均读写延迟大于或等于预设延迟；预设周期的平均读写频率大于或等于第一预设频率且小于或等于第二预设频率。

其中，实时存储模式还包括普通存储模式。针对每个预设周期，在该预设周期的平均读写延迟大于或等于预设延迟，且预设周期的平均读写频率大于或等于第一预设频率且小于或等于第二预设频率的情况下，处理器可以确定针对于预设周期获取到的业务数据的实时存储模式为普通存储模式。

步骤105：根据每个预设周期的实时存储模式确定每个预设周期获取到的业务数据的目标数据仓库。

处理器可以根据每个预设周期的实时存储模式确定每个预设周期获取到的业务数据的目标数据仓库。即，实时存储模式不同，其对应的目标数据仓库可以不同。

在本申请实施例中，目标数据仓库包括数据库、第一目标仓库以及第二目标仓库，第一目标仓库为采用Redis为存储介质的数据仓库，第二目标仓库为采用Elasticsearch为存储介质的数据仓库，根据每个预设周期的实时存储模式确定每个预设周期获取到的业务数据的目标数据仓库包括：针对每个预设周期，在预设周期的实时存储模式为低频存储模式的情况下，确定预设周期获取到的业务数据的目标数据仓库为数据库；针对每个预设周期，在预设周期的实时存储模式为高频存储模式的情况下，确定预设周期获取到的业务数据的目标数据仓库为第一目标仓库；针对每个预设周期，在预设周期的实时存储模式为普通存储模式的情况下，确定预设周期获取到的业务数据的目标数据仓库为第二目标仓库。

目标数据仓库包括数据库、第一目标仓库以及第二目标仓库。其中，第一目标仓库为采用Redis为存储介质的数据仓库，第二目标仓库为采用Elasticsearch为存储介质的数据仓库。Elasticsearch是指分布式搜索引擎，底层基于Lucene实现，其能够屏蔽Lucene的底层细节，可对外提供Restful API和数据储存介质。

针对每个预设周期，在预设周期的实时存储模式为低频存储模式的情况下，处理器可以确定预设周期获取到的业务数据的目标数据仓库为数据库。采用低频存储模式时，可读取更新库表，可及时发通知至应用端，以通知应用端更新完成后可开始读取更新的数据。此时，数据存储压力较小，仅小幅度的数据库IO支出，最小化整体资源支出。

针对每个预设周期，在预设周期的实时存储模式为高频存储模式的情况下，处理器可以确定预设周期获取到的业务数据的目标数据仓库为第一目标仓库。采用高频存储模式，可对高使用频率的数据库表已更改的数据代为存储。

针对每个预设周期，在预设周期的实时存储模式为普通存储模式的情况下，处理器可以确定预设周期获取到的业务数据的目标数据仓库为第二目标仓库。采用普通存储模式，可平衡高频存储模式和低频存储模式的分级仓库开销(即数据存储开销)和数据库IO开销，并确保数据处理的实时性。

步骤106：针对每个预设周期，将预设周期获取到的业务数据暂存至与预设周期对应的目标数据仓库。

针对每个预设周期，处理器可以将预设周期获取到的业务数据暂存至与预设周期对应的目标数据仓库。在一个实施例中，处理器还可对预设周期获取到的业务数据进行统计，并将统计后的数据发送至应用端以显示。

在本申请实施例中，实时存储模式包括高频存储模式和普通存储模式，方法还包括：针对每个预设周期，在预设周期的实时存储模式为高频存储模式或普通存储模式，且将预设周期获取到的业务数据暂存至与对应的目标数据仓库之前，检测目标数据仓库的剩余容量是否大于预设容量；在剩余容量小于或等于预设容量的情况下，删除目标数据仓库中与最早时间标识所对应的业务数据。

实时存储模式包括高频存储模式和普通存储模式。在高频存储模式下，目标数据仓库可为采用Redis为存储介质的数据仓库。在普通存储模式下，目标数据仓库可为采用Elasticsearch为存储介质的数据仓库。

针对每个预设周期，在预设周期的实时存储模式为高频存储模式或普通存储模式，且将预设周期获取到的业务数据暂存至与对应的目标数据仓库之前，处理器可检测目标数据仓库的剩余容量是否大于预设容量。其中，预设容量可根据预设需求确定。例如，预设容量可以为0。

在一个实施例中，处理器可以按照预设间隔时长检测目标数据仓库的剩余容量是否大于预设容量。其中，预设间隔时长是指针对目标数据仓库的剩余容量的维护周期，其可根据业务需求适当调整。例如，在高频存储模式下，目标数据仓库剩余容量的维护周期可以为30min。在普通存储模式下，目标数据仓库剩余容量的维护周期可以为10min。

在剩余容量大于预设容量的情况下，即，此时目标数据仓库还有余量可存储获取到的业务数据，处理器可以不对目标数据仓库中的历史数据进行处理。在将预设周期获取到的业务数据暂存至与预设周期对应的目标数据仓库时，业务数据会被依次移动至队列的末尾，即，排在前的业务数据的时间标识比排在后的业务数据的时间标识要小。在剩余容量小于或等于预设容量的情况下，即，此时目标数据仓库可能没有余量存储获取到的业务数据，处理器可以删除目标数据仓库中与最早时间标识所对应的业务数据。

上述方案，能够避免短时间内大批量业务数据录入存储空间而导致的数据溢出现象，且，能够使得经常被访问的业务数据不会因为业务数据的持续更新而被清除，优化数据仓库的空间调度。

在本申请实施例中，方法还包括：针对每个预设周期，在将预设周期获取到的业务数据暂存至与预设周期对应的目标数据仓库之后，等待预设时长将预设周期获取到的业务数据保存至数据库。

针对每个预设周期，在将预设周期获取到的业务数据暂存至与预设周期对应的目标数据仓库之后，处理器可以等待预设时长将预设周期获取到的业务数据保存至数据库。其中，预设时长可以根据实际情况进行自定义。例如，预设时长可以为10min。上述方案，将预设周期内的业务数据延迟保存至数据库，无需频率建立连接，大幅度降低数据库IO资源的支出。

如图2所示，提供了另一种用于业务数据处理的方法的流程示意图。

在实时数据发生变化时，网关会接收前端的axois查询POST请求，并产生一段时间的流量日志。此时，可调用五分钟内的流量日志和对应数据库表的binlog日志。之后，仓库服务可根据流量日志和binlog日志分别确定数据的读写平均频率和数据库平均读写延迟，从而确定实时数据的数据存储策略。即，判断实时数据所需采用的存储模式，存储模式包括低频实时模式、普通实时模式以及高频实时模式。

以五分钟内数据的读写平均频率1000QPS和50QPS，以及数据库的平均读写延迟为100ms为判断依据。该判断依据可根据业务具体情况具体调整。例如，若需要延迟更低的显示数据，则可以调低1000QPS这一判断标准。若数据库平均读写延迟小于100ms，则可确定实时数据采用低频实时模式。若数据库平均读写延迟大于或等于100ms，且读写平均频率大于1000QPS，则可确定实时数据采用高频实时模式。若数据库平均读写延迟大于或等于100ms，且读写平均频率大于或等于50QPS且小于或等于1000QPS，则可确定实时数据采用普通实时模式。若数据库平均读写延迟大于或等于100ms，且读写平均频率小于50QPS，则可确定实时数据采用低频实时模式。

在实时数据的存储模式为低频实时模式时，则可将实时数据写入数据库。采用低频实时模式，可仅读取更新库表，并及时发消息至应用端，以通知应用端更新完成后可开始读取更新的数据。上述的低频实时模式，对分级仓库的压力最小，即，对实时数据的存储压力最小，仅出现小幅度的数据库IO支出，能够最小化整体资源支出。

在实时数据的存储模式为高频实时模式时，则可通过LRU储存管理服务维护以Redis为存储介质的数据仓库。即，可检测该数据仓库是否存在剩余容量。在该数据仓库存在剩余容量时，则可以通过Flink引擎服务将实时数据写入与该模式对应的数据库，即写入以Redis为存储介质的数据仓库。在该数据仓库不存在剩余容量时，则可淘汰该数据仓库中队列头部的数据项，即最近最少被访问的数据项。之后，可通过Flink引擎服务将实时数据写入与该模式对应的数据库，即写入以Redis为存储介质的数据仓库。上述的高频实时模式，可采用Redis缓存窗口立即对高使用频率的数据库表已更改的数据代为存储。

在实时数据的存储模式为普通实时模式时，则可通过LRU储存管理服务维护以Elasticsearch为存储介质的数据仓库。即，可检测该数据仓库是否存在剩余容量。在该数据仓库存在剩余容量时，则可以通过Flink引擎服务将实时数据写入与该模式对应的数据库，即写入以Elasticsearch为存储介质的数据仓库。在该数据仓库不存在剩余容量时，则可淘汰该数据仓库中队列头部的数据项，即最近最少被访问的数据项。之后，可通过Flink引擎服务将实时数据写入与该模式对应的数据库，即写入以Elasticsearch为存储介质的数据仓库。上述的普通实时模式，可平衡高频实时模式和低频实时模型下数据仓库的开销和数据库的IO支出，以及统计实时数据的实时性。

在启用不同储存介质临时存入已更改的实时数据后，可通过Flink引擎服务进行计算处理返回最新的统计数据给应用，应用在接收到最新的统计数据之后，可根据不同程序展示逻辑对原始数据实时进行更改，以使应用显示统计数据。例如，可对课程完成人数、课程完成率以及订单精度等进行更改。此时，还可在处理完毕后等待十分钟，向下批量把已更改的实时数据延迟录入数据库。

通过上述技术方案，能够根据每个预设周期的平均读写延迟和平均读写频率更为准确地确定业务数据的实时存储模式，从而根据不同的实时存储模式将对应的业务数据暂存至对应的目标数据仓库，避免频繁读写数据库而导致数据库IO资源浪费，低开销存储业务数据，使得业务数据能够快速读写，降低后续业务数据统计的延迟，提高业务数据统计的实时性。

图1和2为一个实施例中用于业务数据处理的方法的流程示意图。应该理解的是，虽然图1和2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其他的顺序执行。而且，图1和2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图3所示，提供了一种用于业务数据处理的装置300，包括监控服务模块301、策略服务模块302以及数据汇总模块303，其中：

监控服务模块301，用于接收终端实时发送的业务数据，并按照预设周期调用关于业务数据的流量日志和变更日志；

策略服务模块302，用于根据每个预设周期内的流量日志和变更日志确定数据库在每个预设周期内的平均读写延迟，以及在每个预设周期内的业务数据的平均读写频率，以及根据每个预设周期的平均读写延迟和平均读写频率确定针对于每个预设周期获取到的业务数据的实时存储模式；

数据汇总模块303，数据汇总模块包括引擎服务模块，用于根据每个预设周期的实时存储模式确定每个预设周期获取到的业务数据的目标数据仓库，以及针对每个预设周期，将预设周期获取到的业务数据暂存至与预设周期对应的目标数据仓库。

在业务数据发生变化之后，终端可以将业务数据发送至监控服务模块301。监控服务模块301可以实时接收终端发送的业务数据。监控服务模块301可以按照预设周期调用关于业务数据的流量日志和变更日志。其中，预设周期可根据实际情况进行自定义。例如，其可按照分钟、小时、天数、周数以及月数进行划分。例如，预设周期可为5min。流量日志是指在网络请求时网关接收到业务数据所产生的日志，其可包括请求IP统计、访问地址统计以及HTTP状态码统计等。变更日志是指BinLog日志，其为二进制格式的文件，可用于记录对数据库更新的SQL语句信息。例如，变更日志可记录更新数据表和更新内容的SQL语句，但不包括数据库的读操作。

策略服务模块302可以根据每个预设周期内的流量日志可以确定数据库在每个预设周期内的平均读写延迟。策略服务模块302可以根据每个预设周期内的变更日志确定在每个预设周期内的业务数据的平均读写频率。策略服务模块302可以根据每个预设周期的平均读写延迟和平均读写频率确定针对于每个预设周期获取到的业务数据的实时存储模式。

在本申请实施例中，实时存储模式包括低频存储模式，策略服务模块用于根据每个预设周期的平均读写延迟和平均读写频率确定针对于每个预设周期获取到的业务数据的实时存储模式包括：针对每个预设周期，在满足以下任意一个条件的情况下，确定针对于预设周期获取到的业务数据的实时存储模式为低频存储模式：预设周期的平均读写延迟小于预设延迟；预设周期的平均读写延迟大于或等于预设延迟，且预设周期的平均读写频率小于第一预设频率。

其中，实时存储模式包括低频存储模式。针对每个预设周期，在该预设周期的平均读写延迟小于预设延迟的情况下，策略服务模块302可以确定该预设周期获取到的业务数据的实时存储模式为低频存储模式。即，在预设周期的平均读写延迟小于预设延迟时，无论平均读写频率有多高，其均可采用低频存储模式对获取到的业务数据进行存储。其中，预设延迟可以根据实际情况自定义，例如，预设延迟可以为100ms。

针对每个预设周期，在该预设周期的平均读写延迟大于或等于预设延迟，且预设周期的平均读写频率小于第一预设频率的情况下，策略服务模块302可以确定该预设周期获取到的业务数据的实时存储模式为低频存储模式。其中，第一预设频率可以根据实际情况自定义，例如，第一预设频率可以为50QPS。QPS是指预设周期的查询率，即预设周期内能够响应的查询次数。

在本申请实施例中，实时存储模式还包括高频存储模式，策略服务模块用于根据每个预设周期的平均读写延迟和平均读写频率确定针对于每个预设周期获取到的业务数据的实时存储模式包括：针对每个预设周期，在满足以下全部条件的情况下，确定针对于预设周期获取到的业务数据的实时存储模式为高频存储模式：预设周期的平均读写延迟大于或等于预设延迟；预设周期的平均读写频率大于第二预设频率；其中，第二预设频率大于第一预设频率。

其中，实时存储模式还包括高频存储模式。针对每个预设周期，在该预设周期的平均读写延迟大于或等于预设延迟，且预设周期的平均读写频率大于第二预设频率的情况下，策略服务模块302可以确定针对于预设周期获取到的业务数据的实时存储模式为高频存储模式。其中，第二预设频率大于第一预设频率。第二预设频率可以根据实际情况自定义，例如，第二预设频率可以为1000QPS。

在本申请实施例中，实时存储模式还包括普通存储模式，策略服务模块用于根据每个预设周期的平均读写延迟和平均读写频率确定针对于每个预设周期获取到的业务数据的实时存储模式包括：针对每个预设周期，在满足以下全部条件的情况下，确定针对于预设周期获取到的业务数据的实时存储模式为普通存储模式：预设周期的平均读写延迟大于或等于预设延迟；预设周期的平均读写频率大于或等于第一预设频率且小于或等于第二预设频率。

其中，实时存储模式还包括普通存储模式。针对每个预设周期，在该预设周期的平均读写延迟大于或等于预设延迟，且预设周期的平均读写频率大于或等于第一预设频率且小于或等于第二预设频率的情况下，策略服务模块302可以确定针对于预设周期获取到的业务数据的实时存储模式为普通存储模式。

数据汇总模块303，数据汇总模块包括引擎服务模块。引擎服务模块可以根据每个预设周期的实时存储模式确定每个预设周期获取到的业务数据的目标数据仓库。即，实时存储模式不同，其对应的目标数据仓库可以不同。针对每个预设周期，引擎服务模块可以将预设周期获取到的业务数据暂存至与预设周期对应的目标数据仓库。

在本申请实施例中，目标数据仓库包括数据库、第一目标仓库以及第二目标仓库，第一目标仓库为采用Redis为存储介质的数据仓库，第二目标仓库为采用Elasticsearch为存储介质的数据仓库，引擎服务模块根据每个预设周期的实时存储模式确定每个预设周期获取到的业务数据的目标数据仓库包括：针对每个预设周期，在预设周期的实时存储模式为低频存储模式的情况下，确定预设周期获取到的业务数据的目标数据仓库为数据库；针对每个预设周期，在预设周期的实时存储模式为高频存储模式的情况下，确定预设周期获取到的业务数据的目标数据仓库为第一目标仓库；针对每个预设周期，在预设周期的实时存储模式为普通存储模式的情况下，确定预设周期获取到的业务数据的目标数据仓库为第二目标仓库。

目标数据仓库包括数据库、第一目标仓库以及第二目标仓库。其中，第一目标仓库为采用Redis为存储介质的数据仓库，第二目标仓库为采用Elasticsearch为存储介质的数据仓库。Elasticsearch是指分布式搜索引擎，底层基于Lucene实现，其能够屏蔽Lucene的底层细节，可对外提供Restful API和数据储存介质。

针对每个预设周期，在预设周期的实时存储模式为低频存储模式的情况下，引擎服务模块可以确定预设周期获取到的业务数据的目标数据仓库为数据库。采用低频存储模式时，可读取更新库表，可及时发通知至应用端，以通知应用端更新完成后可开始读取更新的数据。此时，数据存储压力较小，仅小幅度的数据库IO支出，最小化整体资源支出。

针对每个预设周期，在预设周期的实时存储模式为高频存储模式的情况下，引擎服务模块可以确定预设周期获取到的业务数据的目标数据仓库为第一目标仓库。采用高频存储模式，可对高使用频率的数据库表已更改的数据代为存储。

针对每个预设周期，在预设周期的实时存储模式为普通存储模式的情况下，引擎服务模块可以确定预设周期获取到的业务数据的目标数据仓库为第二目标仓库。采用普通存储模式，可平衡高频存储模式和低频存储模式的分级仓库开销(即数据存储开销)和数据库IO开销，并确保数据处理的实时性。

在本申请实施例中，引擎服务模块还用于：针对每个预设周期，在将预设周期获取到的业务数据暂存至与预设周期对应的目标数据仓库之后，等待预设时长将预设周期获取到的业务数据保存至数据库。

针对每个预设周期，在将预设周期获取到的业务数据暂存至与预设周期对应的目标数据仓库之后，引擎服务模块可以等待预设时长将预设周期获取到的业务数据保存至数据库。其中，预设时长可以根据实际情况进行自定义。例如，预设时长可以为10min。

在本申请实施例中，数据汇总模块303还包括LRU存储管理模块，用于针对每个预设周期，在预设周期的实时存储模式为高频存储模式或普通存储模式，且将预设周期获取到的业务数据暂存至与预设周期对应的目标数据仓库之前，检测目标数据仓库的剩余容量是否大于预设容量；在剩余容量小于或等于预设容量的情况下，删除目标数据仓库中与最早时间标识所对应的业务数据。

实时存储模式包括高频存储模式和普通存储模式。在高频存储模式下，目标数据仓库可为采用Redis为存储介质的数据仓库。在普通存储模式下，目标数据仓库可为采用Elasticsearch为存储介质的数据仓库。

针对每个预设周期，在预设周期的实时存储模式为高频存储模式或普通存储模式，且将预设周期获取到的业务数据暂存至与预设周期对应的目标数据仓库之前，LRU存储管理模块可检测目标数据仓库的剩余容量是否大于预设容量。其中，预设容量可根据预设需求确定。例如，预设容量可以为0。

在一个实施例中，LRU存储管理模块可以按照预设间隔时长检测目标数据仓库的剩余容量是否大于预设容量。其中，预设间隔时长是指针对目标数据仓库的剩余容量的维护周期，其可根据业务需求适当调整。例如，在高频存储模式下，目标数据仓库剩余容量的维护周期可以为30min。在普通存储模式下，目标数据仓库剩余容量的维护周期可以为10min。

在剩余容量大于预设容量的情况下，即，此时目标数据仓库还有余量可存储获取到的业务数据，LRU存储管理模块可以不对目标数据仓库中的历史数据进行处理。在将预设周期获取到的业务数据暂存至与预设周期对应的目标数据仓库时，业务数据会被依次移动至队列的末尾，即，排在前的业务数据的时间标识比排在后的业务数据的时间标识要小。在剩余容量小于或等于预设容量的情况下，即，此时目标数据仓库可能没有余量存储获取到的业务数据，LRU存储管理模块可以删除目标数据仓库中与最早时间标识所对应的业务数据。

通过上述技术方案，能够根据每个预设周期的平均读写延迟和平均读写频率更为准确地确定业务数据的实时存储模式，从而根据不同的实时存储模式将对应的业务数据暂存至对应的目标数据仓库，避免频繁读写数据库而导致数据库IO资源浪费，低开销存储业务数据，使得业务数据能够快速读写，降低后续业务数据统计的延迟，提高业务数据统计的实时性。

如图4所示，提供了一种分级仓库的架构图。

分级仓库包括基于spring的仓库服务和数据汇总区。其中，仓库服务包括监控服务和数据存储策略服务。监控服务用于按照预设周期服务配置的数据库binlog日志和网关流量日志。其中，网关流量日志包括数据频率信息。可根据网关日志IP和请求的UA标识信息监控非正常请求，输出实时的监控报告。同时，可以根据数据库关键字屏蔽数据库操作异常请求等。数据存储策略服务可用于对数据库在预设周期内的数据操作频率和读写平均延时进行分类，以确定所需执行的存储策略。

存储策略包括低频实时模式、高频实时模式以及普通实时模式。其中，低频实时模式可仅更新库表后，以及时发消息给应用。高频实时模式可采用Redis缓存窗口立刻对高使用频率的数据库表数据代为存储，后续可通过Flink引擎对实时数据进行处理，处理完毕后向下批量录入数据库向上返回处理后数据。普通实时模式可采用Elasticsearch为储存介质对数据进行存储，可平衡以上高频实时模式和低频实时模式的分级仓库开销和数据库IO开销，以及统计数据实时性。

数据汇总区包括Flink引擎服务、LRU存储管理服务以及存储媒介。其中，存储媒介包括低级别仓库和高级别仓库。其中，低级别仓库是指以Elasticsearch为存储介质的数据仓库，高级别仓库是指以redis为存储介质的数据仓库。Flink引擎服务可以根据存储策略切换不同的储存介质快速读写，并及时提供实时数据统计信息，还可将变化的实时数据批量延迟写入数据库。LRU存储管理服务能够用于管理不同数据仓库的存储空间，淘汰队列头部的数据项，优化数据存储空间调度，缓解短时间大批量实时数据录入数据仓库而造成的空间溢出现象。

在低频实时模式下，应用可读取数据库，以显示对应的业务数据。在非低频实时模式，即高频实时模式和普通实时模式，可由Flink引擎服务快速计算，即统计业务数据，应用可读取Flink引擎服务计算后的数据以显示。

用于业务数据处理的装置包括处理器和存储器，上述监控服务模块、策略服务模块以及数据汇总模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序模块中实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现对用于业务数据处理的方法。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

在一个实施例中，提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述用于业务数据处理的方法。

在一个实施例中，提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述用于业务数据处理的方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、存储器(图中未示出)和数据库(图中未示出)。其中，该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A04。该非易失性存储介质A04存储有操作系统B01、计算机程序B02和数据库(图中未示出)。该内存储器A03为非易失性存储介质A04中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的数据库用于存储实时存储模式等数据。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序B02被处理器A01执行时以实现一种用于业务数据处理的方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本申请实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：实时接收终端发送的业务数据；按照预设周期调用关于业务数据的流量日志和变更日志；根据每个预设周期内的流量日志和变更日志确定数据库在每个预设周期内的平均读写延迟，以及在每个预设周期内的业务数据的平均读写频率；根据每个预设周期的平均读写延迟和平均读写频率确定针对于每个预设周期获取到的业务数据的实时存储模式；根据每个预设周期的实时存储模式确定每个预设周期获取到的业务数据的目标数据仓库；针对每个预设周期，将预设周期获取到的业务数据暂存至与预设周期对应的目标数据仓库。

在本申请实施例中，实时存储模式包括低频存储模式，针对每个预设周期，在满足以下任意一个条件的情况下，确定针对于预设周期获取到的业务数据的实时存储模式为低频存储模式：预设周期的平均读写延迟小于预设延迟；预设周期的平均读写延迟大于或等于预设延迟，且预设周期的平均读写频率小于第一预设频率。

在本申请实施例中，实时存储模式还包括高频存储模式，针对每个预设周期，在满足以下全部条件的情况下，确定针对于预设周期获取到的业务数据的实时存储模式为高频存储模式：预设周期的平均读写延迟大于或等于预设延迟；预设周期的平均读写频率大于第二预设频率；其中，第二预设频率大于第一预设频率。

在本申请实施例中，实时存储模式还包括普通存储模式，针对每个预设周期，在满足以下全部条件的情况下，确定针对于预设周期获取到的业务数据的实时存储模式为普通存储模式：预设周期的平均读写延迟大于或等于预设延迟；预设周期的平均读写频率大于或等于第一预设频率且小于或等于第二预设频率。

在本申请实施例中，目标数据仓库包括数据库、第一目标仓库以及第二目标仓库，第一目标仓库为采用Redis为存储介质的数据仓库，第二目标仓库为采用Elasticsearch为存储介质的数据仓库，根据每个预设周期的实时存储模式确定每个预设周期获取到的业务数据的目标数据仓库包括：针对每个预设周期，在预设周期的实时存储模式为低频存储模式的情况下，确定预设周期获取到的业务数据的目标数据仓库为数据库；针对每个预设周期，在预设周期的实时存储模式为高频存储模式的情况下，确定预设周期获取到的业务数据的目标数据仓库为第一目标仓库；针对每个预设周期，在预设周期的实时存储模式为普通存储模式的情况下，确定预设周期获取到的业务数据的目标数据仓库为第二目标仓库。

在本申请实施例中，实时存储模式包括高频存储模式和普通存储模式，方法还包括：针对每个预设周期，在预设周期的实时存储模式为高频存储模式或普通存储模式，且将预设周期获取到的业务数据暂存至与对应的目标数据仓库之前，检测目标数据仓库的剩余容量是否大于预设容量；在剩余容量小于或等于预设容量的情况下，删除目标数据仓库中与最早时间标识所对应的业务数据。

在本申请实施例中，方法还包括：针对每个预设周期，在将预设周期获取到的业务数据暂存至与预设周期对应的目标数据仓库之后，等待预设时长将预设周期获取到的业务数据保存至数据库。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有用于业务数据处理的方法步骤的程序。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种用于业务数据处理的方法，其特征在于，所述方法包括：

实时接收终端发送的业务数据；

按照预设周期调用关于业务数据的流量日志和变更日志；

根据每个预设周期内的流量日志和变更日志确定数据库在每个预设周期内的平均读写延迟，以及在每个预设周期内的业务数据的平均读写频率；

根据每个预设周期的平均读写延迟和平均读写频率确定针对于每个预设周期获取到的业务数据的实时存储模式；

根据每个预设周期的实时存储模式确定每个预设周期获取到的业务数据的目标数据仓库；

针对每个预设周期，将所述预设周期获取到的业务数据暂存至与所述预设周期对应的目标数据仓库。

2.根据权利要求1所述的用于业务数据处理的方法，其特征在于，所述实时存储模式包括低频存储模式，针对每个预设周期，在满足以下任意一个条件的情况下，确定针对于所述预设周期获取到的业务数据的实时存储模式为所述低频存储模式：

所述预设周期的平均读写延迟小于预设延迟；

所述预设周期的平均读写延迟大于或等于预设延迟，且所述预设周期的平均读写频率小于第一预设频率。

3.根据权利要求2所述的用于业务数据处理的方法，其特征在于，所述实时存储模式还包括高频存储模式，针对每个预设周期，在满足以下全部条件的情况下，确定针对于所述预设周期获取到的业务数据的实时存储模式为所述高频存储模式：

所述预设周期的平均读写延迟大于或等于所述预设延迟；

所述预设周期的平均读写频率大于第二预设频率；

其中，所述第二预设频率大于所述第一预设频率。

4.根据权利要求3所述的用于业务数据处理的方法，其特征在于，所述实时存储模式还包括普通存储模式，针对每个预设周期，在满足以下全部条件的情况下，确定针对于所述预设周期获取到的业务数据的实时存储模式为所述普通存储模式：

所述预设周期的平均读写延迟大于或等于所述预设延迟；

所述预设周期的平均读写频率大于或等于所述第一预设频率且小于或等于所述第二预设频率。

5.根据权利要求4所述的用于业务数据处理的方法，其特征在于，目标数据仓库包括所述数据库、第一目标仓库以及第二目标仓库，所述第一目标仓库为采用Redis为存储介质的数据仓库，所述第二目标仓库为采用Elasticsearch为存储介质的数据仓库，所述根据每个预设周期的实时存储模式确定每个预设周期获取到的业务数据的目标数据仓库包括：

针对每个预设周期，在所述预设周期的实时存储模式为所述低频存储模式的情况下，确定所述预设周期获取到的业务数据的目标数据仓库为所述数据库；

针对每个预设周期，在所述预设周期的实时存储模式为所述高频存储模式的情况下，确定所述预设周期获取到的业务数据的目标数据仓库为所述第一目标仓库；

针对每个预设周期，在所述预设周期的实时存储模式为所述普通存储模式的情况下，确定所述预设周期获取到的业务数据的目标数据仓库为所述第二目标仓库。

6.根据权利要求1所述的用于业务数据处理的方法，其特征在于，所述实时存储模式包括高频存储模式和普通存储模式，所述方法还包括：

针对每个预设周期，在所述预设周期的实时存储模式为所述高频存储模式或所述普通存储模式，且将所述预设周期获取到的业务数据暂存至与对应的目标数据仓库之前，检测所述目标数据仓库的剩余容量是否大于预设容量；

在所述剩余容量小于或等于所述预设容量的情况下，删除所述目标数据仓库中与最早时间标识所对应的业务数据。

7.根据权利要求1所述的用于业务数据处理的方法，其特征在于，所述方法还包括：

针对每个预设周期，在将所述预设周期获取到的业务数据暂存至与所述预设周期对应的目标数据仓库之后，等待预设时长将所述预设周期获取到的业务数据保存至所述数据库。

8.一种用于业务数据处理的装置，其特征在于，所述装置包括：

监控服务模块，用于接收终端实时发送的业务数据，并按照预设周期调用关于业务数据的流量日志和变更日志；

策略服务模块，用于根据每个预设周期内的流量日志和变更日志确定数据库在每个预设周期内的平均读写延迟，以及在每个预设周期内的业务数据的平均读写频率，以及根据每个预设周期的平均读写延迟和平均读写频率确定针对于每个预设周期获取到的业务数据的实时存储模式；

数据汇总模块，所述数据汇总模块包括引擎服务模块，用于根据每个预设周期的实时存储模式确定每个预设周期获取到的业务数据的目标数据仓库，以及针对每个预设周期，将所述预设周期获取到的业务数据暂存至与预设周期对应的目标数据仓库。

9.一种机器可读存储介质，其特征在于，该机器可读存储介质上存储有指令，该指令用于使得机器执行根据权利要求1至7中任一项所述的用于业务数据处理的方法。

10.一种处理器，其特征在于，被配置成执行根据权利要求1至7中任意一项所述的用于业务数据处理的方法。