CN112711614A - 业务数据管理方法、装置 - Google Patents

Abstract

本申请的实施例提供了一种业务数据管理方法、装置。该方法包括：获取由各个数据上报环境上报的实时业务元数据，其中，各个实时业务元数据中配置有所述实时业务元数据在被上报时的时间戳；将所述时间戳落在预设滚动时间窗口内的部分或全部实时业务元数据选定为目标业务元数据；对所述目标业务元数据进行至少两次聚合处理，得到业务聚合数据；将所述业务聚合数据存储至预设数据库。本申请实施例的技术方案可以提高对业务数据的管理效率。

Description

业务数据管理方法、装置

技术领域

本申请涉及计算机及大数据技术领域，具体而言，涉及一种业务数据管理方法、装置。

背景技术

在业务数据管理场景中，现有技术中的业务数据管理系统通常包括网管系统的特性可视化监控平台、部门自研特性监控系统、秒级监控系统，然而，随着目前业务数据量的大幅增长，现有业务数据管理系统的数据吞吐量有限，且性能较差，存在数据丢失或是查询超时等数据管理效率低下的问题，基于此，如何提高对业务数据的管理效率是亟待解决的技术问题。

发明内容

本申请的实施例提供了一种业务数据管理方法、装置、计算机程序产品或计算机程序、计算机可读介质及电子设备，进而至少在一定程度上可以提高对业务数据的管理效率。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供了一种业务数据管理方法，所述方法包括：获取由各个数据上报环境上报的实时业务元数据，其中，各个实时业务元数据中配置有所述实时业务元数据在被上报时的时间戳；将所述时间戳落在预设滚动时间窗口内的部分或全部实时业务元数据选定为目标业务元数据；对所述目标业务元数据进行至少两次聚合处理，得到业务聚合数据；将所述业务聚合数据存储至预设数据库。

根据本申请实施例的一个方面，提供了一种业务数据管理装置，所述装置包括：第一获取单元，被用于获取由各个数据上报环境上报的实时业务元数据，其中，各个实时业务元数据中配置有所述实时业务元数据在被上报时的时间戳；选定单元，被用于将所述时间戳落在预设滚动时间窗口内的部分或全部实时业务元数据选定为目标业务元数据；聚合单元，被用于对所述目标业务元数据进行至少两次聚合处理，得到业务聚合数据；存储单元，被用于将所述业务聚合数据存储至预设数据库。

在本申请的一些实施例中，基于前述方案，所述第一获取单元配置为：通过至少两个实时数据采集系统采集由各个数据上报环境上报的原始实时业务元数据；对所述原始实时业务元数据进行解析处理，以获取具有统一数据格式的所述实时业务元数据。

在本申请的一些实施例中，基于前述方案，所述选定单元配置为：确定所述时间戳落在预设滚动时间窗口内的实时业务元数据的数据量；在所述数据量未超过预设阈值时，将全部实时业务元数据选定为目标业务元数据。在所述数据量超过预设阈值时，在所述时间戳落在预设滚动时间窗口内的实时业务元数据中进行采样，得到目标业务元数据。

在本申请的一些实施例中，基于前述方案，所述目标业务元数据包括至少一个维度的业务属性值和至少一个业务指标值，所述聚合单元包括：预聚合单元，被用于对具有相同业务属性值或者相同业务属性值组合，且具有相同业务指标值的目标业务元数据进行预聚合处理，得到中间业务聚合数据；二次聚合单元，被用于对所述中间业务聚合数据进行二次聚合处理，得到所述业务聚合数据。

在本申请的一些实施例中，基于前述方案，所述业务聚合数据包括第一业务聚合值和第二业务聚合值，所述二次聚合单元配置为：针对全部中间业务聚合数据，对所述业务指标值进行二次聚合处理，得到第一业务聚合值；针对具有相同业务属性值或者相同业务属性值组合的中间业务聚合数据，对所述业务指标值进行二次聚合处理，得到第二业务聚合值。

在本申请的一些实施例中，基于前述方案，所述二次聚合单元配置为：将具有相同业务属性值或者相同业务属性值组合的中间业务聚合数据划分至一个组，得到至少一个中间业务聚合数据组；针对每一个中间业务聚合数据组，对所述中间业务聚合数据组中的业务指标值进行二次聚合处理，得到第二业务聚合值。

在本申请的一些实施例中，基于前述方案，所述预设数据库包括列存储数据库和时间序列数据库，所述存储单元配置为：将所述第一业务聚合值存储至列存储数据库；将所述第二业务聚合值存储至时间序列数据库。

在本申请的一些实施例中，基于前述方案，所述装置还包括：第二获取单元，被用于在将所述业务聚合数据存储至预设数据库之后，获取针对所述业务聚合数据的查询请求；确定单元，被用于根据所述查询请求的特征确定需要查询的预设数据库类型，并根据所述预设数据库类型进行相应的查询请求封装，得到查询指令；查询单元，被用于通过所述查询指令从所述列存储数据库或时间序列数据库中查询所述业务聚合数据。

在本申请的一些实施例中，基于前述方案，所述装置还包括：显示单元，被用于显示业务聚合数据可视化展示页面，所述业务聚合数据可视化展示页面包括条件输入区域和业务聚合数据可视化展示区域；第三获取单元，被用于获取在所述条件输入区域内输入的查询条件信息，以通过所述查询条件信息在所述预设数据库中查询所述业务聚合数据；展示单元，被用于在所述业务聚合数据可视化展示区域内展示与查询到的业务聚合数据相对应的业务聚合数据可视化信息。

根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中所述的业务数据管理方法。

根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的业务数据管理方法。

根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的业务数据管理方法。

在本申请的一些实施例所提供的技术方案中，首先通过获取由各个数据上报环境上报的配置有上报时间的时间戳的实时业务元数据，然后将所述时间戳落在预设滚动时间窗口内的部分或全部实时业务元数据选定为目标业务元数据，并对所述目标业务元数据进行至少两次聚合处理，可以得到业务聚合数据，最后将所述业务聚合数据存储至预设数据库。由于数据上报环境多样，在对数据进行聚合时，会存在因为数据延迟上报而导致的聚合数据遗漏或者数据过载的情况发生，从而会影响数据聚合过程中的稳定性，通过将时间戳落在预设滚动时间窗口内的实时业务元数据选定为目标业务元数据，对所述目标业务元数据进行至少两次聚合处理，可以控制在每次数据聚合时的数据吞吐量不会出现较大的起伏，进而可以增强数据聚合过程中的稳定性，提高数据管理效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图；

图2示出了根据本申请一个实施例的业务数据管理方法的流程图；

图3示出了根据本申请一个实施例的获取由各个数据上报环境上报的实时业务元数据的细节流程图；

图4示出了根据本申请一个实施例的将所述时间戳落在预设滚动时间窗口内的部分或全部实时业务元数据选定为目标业务元数据的细节流程图；

图5示出了根据本申请一个实施例的对所述目标业务元数据进行至少两次聚合处理，得到业务聚合数据的细节流程图；

图6示出了根据本申请一个实施例的对所述业务指标值进行二次聚合处理，得到第二业务聚合值的细节流程图；

图7示出了根据本申请一个实施例的在将所述业务聚合数据存储至预设数据库之后的方法流程图；

图8示出了根据本申请一个实施例的展化信息的方法流程图；

图9示出了根据本申请一个实施例的展示业务聚合数据可视化信息的页面图；

图10示出了根据本申请一个实施例的进行业务数据管理的系统架构图；

图11示出了根据本申请一个实施例的业务数据管理装置的框图；

图12示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

需要说明的是：在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

还需要说明的是：本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的对象在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在图示或描述的那些以外的顺序实施。

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。

如图1所示，系统架构可以包括终端设备(如图1中所示智能手机101、平板电脑102和便携式计算机103中的一种或多种，当然也可以是台式计算机等等)、网络104和服务器105。网络104用以在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线通信链路、无线通信链路等等。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

在本申请的一个实施例中，服务器105可以获取由各个终端设备(上报环境)上报的实时业务元数据，其中，各个实时业务元数据中配置有所述实时业务元数据在被上报时的时间戳，然后，服务器105将所述时间戳落在预设滚动时间窗口内的部分或全部实时业务元数据选定为目标业务元数据，并对所述目标业务元数据进行至少两次聚合处理，得到业务聚合数据，最后，服务器105将所述业务聚合数据存储至预设数据库。

需要说明的是，本申请实施例所提供的业务数据管理方法一般由服务器105执行，相应地，业务数据管理装置一般设置于服务器105中。但是，在本申请的其它实施例中，终端设备也可以与服务器具有相似的功能，从而执行本申请实施例所提供的业务数据管理方案。

本申请实施例所提供的业务数据管理方法可以是实现对业务数据的智能化管理，特别是对在大数据环境下业务数据的智能化管理，进而可以大大提高对于业务数据的管理效率。

以下对本申请实施例的技术方案的实现细节进行详细阐述：

图2示出了根据本申请一个实施例的业务数据管理方法的流程图，该业务数据管理方法可以由具有计算处理功能的设备来执行，比如可以由图1中所示的服务器105来执行。参照图2所示，该业务数据管理方法至少包括步骤210至步骤270，详细介绍如下：

在步骤210中，获取由各个数据上报环境上报的实时业务元数据，其中，各个实时业务元数据中配置有所述实时业务元数据在被上报时的时间戳。

在本申请中，实时业务元数据可以是指在业务终端实时产生的业务元数据，具体的，一条业务元数据可以包括数据标识，至少一个维度的业务属性值和至少一个业务指标值。例如，在终端访问页面时，产生的业务元数据中就可以包括访问终端的标识(即业务元数据的数据标识，比如，可以是访问终端的终端型号，还可以是访问终端的IP地址等等)，所访问页面的页面类型(即业务属性值)，以及访问页面过程中具有业务意义的业务指标值。

进一步的，在终端访问页面时，其中一个维度的业务属性可以是页面题材类型，例如，可以包括军事题材或者体育题材的页面，其中，军事题材页面的业务属性值为“1”，体育题材页面的业务属性值为“2”。还比如，其中一个维度的业务属性可以是页面的字体类型，可以包括宋体字页面或者楷体字页面，其中，宋体字页面的业务属性值为“1”，楷体字页面的业务属性值为“2”。还比如，其中一个维度的业务属性可以是页面的风格类型，可以包括简约风格的页面或者复古风格的页面，其中，简约风格的页面的业务属性值为“1”，复古风格的页面的业务属性值为“2”。

进一步的，在终端访问页面时，具有业务意义的业务指标值可以是指访问页面时所需的耗时，还可以是指所需要的网络流量。

在本申请中，业务元数据的上报环境可以是业务元数据的生产环境，即可以是安卓端，IOS端，PC端等等。

基于此，在上述通过终端访问页面的示例中，若通过PC端访问访问军事题材，页面字体为宋体，页面风格为复古风格的页面时，共耗时1S，消耗网络流量20KB，那么该过程产生的业务元数据就为“PC端：页面题材类型＝1&页面字体类型＝1&页面风格类型＝2&耗时＝1S&流量＝20KB”。

在本申请中，在上报业务元数据时，还可以为业务元数据配置时间戳，以标记业务元数据的上报时间。

在本申请的一个实施例中，上报环境在上报业务元数据之前，还可以对业务元数据进行一次聚合，然后将聚合后的业务元数据进行上报。并且，上报环境可以是将聚合后的业务元数据进行定时上报。

在本申请的一个实施例中，获取由各个数据上报环境上报的实时业务元数据，可以按照如图3所示的步骤执行。

参见图3，示出了根据本申请一个实施例的获取由各个数据上报环境上报的实时业务元数据的细节流程图。具体包括步骤211至212：

在步骤211中，通过至少两个实时数据采集系统采集由各个数据上报环境上报的原始实时业务元数据。

在步骤212中，对所述原始实时业务元数据进行解析处理，以获取具有统一数据格式的所述实时业务元数据。

在本申请中，由于业务元数据上报环境的数量较大，获取的实时业务元数据的数据量也会较大，这就容易带来在获取业务元数据时数据吞吐量过载的问题，因此，通过至少两个实时数据采集系统采集实时业务元数据可以保证数据吞吐的稳定性。同时，这也会为业务元数据在后续的格式同一操作中减轻压力，进而提升数据管理效率。

在本申请中，由于业务元数据来自各个不同的数据上报环境，因此，所获取的业务元数据的数据格式并不统一，通过对所述实时业务元数据进行解析处理，统一所述实时业务元数据的数据格式，有利于在后续中对业务元数据的处理，其中，对所述实时业务元数据进行解析处理可以由相应的解析接口来完成。

继续参照图3，在步骤230中，将所述时间戳落在预设滚动时间窗口内的部分或全部实时业务元数据选定为目标业务元数据。

在本申请中，由于数据上报环境多样，不能保证业务元数据是顺序到达的，也不能保证业务元数据能够及时上报，因此，通过将所述时间戳落在预设滚动时间窗口内的部分或全部实时业务元数据选定为目标业务元数据，在后续数据处理过程中，能够允许对一定时间迟到数据进行处理，同时也能降低总体数据在后续处理过程中的数据量，能够大幅度降低数据倾斜问题的可能性。

在本申请的一个实施例中，将所述时间戳落在预设滚动时间窗口内的部分或全部实时业务元数据选定为目标业务元数据，可以按照如图4所示的步骤执行。

参见图4，示出了根据本申请一个实施例的将所述时间戳落在预设滚动时间窗口内的部分或全部实时业务元数据选定为目标业务元数据的细节流程图。具体包括步骤231至233：

在步骤231中，确定所述时间戳落在预设滚动时间窗口内的实时业务元数据的数据量。具体的，实时业务元数据的数据量可以通过设定的计数器来确定。

在步骤232中，在所述数据量未超过预设阈值时，将全部实时业务元数据选定为目标业务元数据。

在步骤233中，在所述数据量超过预设阈值时，在所述时间戳落在预设滚动时间窗口内的实时业务元数据中进行采样，得到目标业务元数据。

在本申请中，当所述数据量(例如所述时间戳落在10时00分00秒至10时01分00秒之间的实时业务元数据的数据量为1千万条)超过预设阈值时，则可以说明数据上报量存在过载的可能性，此时通过在所述时间戳落在预设滚动时间窗口内的实时业务元数据中进行采样得到目标业务元数据，可以降低系统雪崩的风险。

在本申请中，上述预设阈值可以根据实际需要进行个性化设定。

继续参照图3，在步骤250中，对所述目标业务元数据进行至少两次聚合处理，得到业务聚合数据。

在本申请中，数据聚合是指通过对有关的数据进行内容挑选、分析、归类，将数据从低粒度的分散表现形态转换为集中的具有统计意义的表现形态。具体的，对于业务元数据而言，对其进行聚合处理，可以是对业务元数据中的各个业务指标值进行聚合，例如，可以计算多条业务元数据中业务指标值的累加值或平均值，业务指标值的上报量，业务指标值的分为统计值，业务指标值在某些具体区间上分布的上报量等等。

在本申请的一个实施例中，所述目标业务元数据包括至少一个维度的业务属性值和至少一个业务指标值。具体的，对所述目标业务元数据进行至少两次聚合处理，得到业务聚合数据，可以按照如图5所示的步骤执行。

参见图5，示出了根据本申请一个实施例的对所述目标业务元数据进行至少两次聚合处理，得到业务聚合数据的细节流程图。具体包括步骤251至252：

在步骤251中，对具有相同业务属性值或者相同业务属性值组合，且具有相同业务指标值的目标业务元数据进行预聚合处理，得到中间业务聚合数据。

在步骤252中，对所述中间业务聚合数据进行二次聚合处理，得到所述业务聚合数据。

为了使本领域技术人员更好的理解本实施例，下面将结合表1对本实施例进行简单说明：

表1

例如，如表1所示，在上述通过终端访问页面的示例中，共包括7条目标业务元数据，其中，每一条目标业务元数据包括题材类型值、字体类型值、以及风格类型值三个业务属性值，还包括耗时和流量两个业务指标值。

具体的，例如，序号为“2”和序号为“6”的业务元数据具有相同业务属性值“体育”，序号为“1”、序号为“3”以及序号为“5”的业务元数据具有相同业务属性值组合“体育，宋体，简约”。

具体的，对具有相同业务属性值或者相同业务属性值组合，且具有相同业务指标值的目标业务元数据进行预聚合处理，得到中间业务聚合数据，例如，对于序号为“2”和序号为“6”的业务元数据而言，二者在题材类型维度上的业务属性值和在流量指标上的业务指标值相同，可以进行预聚合得到中间业务聚合数据“题材类型＝军事&流量＝30KB×2”。

还例如，对于序号为“1”、序号为“3”以及序号为“5”的业务元数据而言，三者在题材类型维度，字体类型维度，风格类型维度的业务属性值组合和在耗时指标上的指标值相同，可以进行预聚合得到中间业务聚合数据“页面题材类型＝体育&页面字体类型＝宋体&页面风格类型＝简约&耗时＝2S×3”。需要说明的是，上述示例中仅仅举例7条业务元数据是为了方便对示例进行说明和解释，但是在实际中，获取的业务元数据一般具有海量特性。

通过上述示例，可以理解的是，在本申请中，中间业务聚合数据为目标业务元数据在经过归纳和整理之后的一种表现形式，在本质上属于业务元数据。通过对目标业务元数据进行预聚合处理之后得到的中间业务聚合数据，可以节省海量业务元数据存储是所需的存储空间，并且还能为后续的数据聚合减轻计算压力。

在本申请中，所述业务聚合数据可以包括第一业务聚合值和第二业务聚合值。基于此，对所述中间业务聚合数据进行二次聚合处理，得到所述业务聚合数据，可以包括两种情况：

第一种情况是，针对全部中间业务聚合数据，对所述业务指标值进行二次聚合处理，得到所述第一业务聚合值。

第二种情况是，针对具有相同业务属性值或者相同业务属性值组合的中间业务聚合数据，对所述业务指标值进行二次聚合处理，得到所述第二业务聚合值。

继续参照上述表1，若二次聚合处理为计算多条目标业务元数据中业务指标值的平均值。

那么，当针对全部中间业务聚合数据(即等价于全部目标业务元数据)，对所述业务指标值进行二次聚合处理时，得到的“耗时”指标的第一业务聚合值就为：(2S+1S+2S+3S+2S+2S+1S)/7＝13/7S，“流量”指标的第一业务聚合值就为：(20KB+30KB+30KB+20KB+30KB+30KB+20KB)/7＝180/7KB。

当针对具有相同业务属性值组合“题材类型＝体育&页面字体类型＝宋体&页面风格类型＝简约”的中间业务聚合数据，对所述业务指标值进行二次聚合处理时，得到的“耗时”指标的第一业务聚合值就为：(2S×3+1S×1)/4＝7/4S，“流量”指标的第一业务聚合值就为：(30KB×2+20KB×2)/4＝25KB。

在本申请中，对业务元数据分两次进行聚合，其好处在于，可以分散系统的计算压力，防止系统因计算压力过大而崩溃。

在本申请中，通过多种情况对业务元数据进行聚合，其好处在于，可以丰富聚合数据的类型，提高对业务元数据的管理质量。

在本实施例的一个具体示例中，针对具有相同业务属性值或者相同业务属性值组合的中间业务聚合数据，对所述业务指标值进行二次聚合处理，得到第二业务聚合值，可以按照如图6所示的步骤执行。

参见图6，示出了根据本申请一个实施例的对所述业务指标值进行二次聚合处理，得到第二业务聚合值的细节流程图。具体包括步骤2521至2522：

在步骤2521中，将具有相同业务属性值或者相同业务属性值组合的中间业务聚合数据划分至一个组，得到至少一个中间业务聚合数据组。

在步骤2522中，针对每一个中间业务聚合数据组，对所述中间业务聚合数据组中的业务指标值进行二次聚合处理，得到第二业务聚合值。

具体的，在步骤2521中，例如，在通过表1得到的3条业务元数据中，包括：“题材类型＝体育&流量＝30KB×2”、“题材类型＝军事&流量＝30KB×2”、“题材类型＝体育&流量＝20KB×2”，可见，可以将具有相同业务属性值“题材类型＝体育”的中间业务聚合数据划分至一个组，即“题材类型＝体育&流量＝30KB×2”和“题材类型＝体育&流量＝20KB×2”为一个组。将“题材类型＝军事”的中间业务聚合数据划分至一个组，即“题材类型＝军事&流量＝30KB×2”为一个组。

在本申请中，通过将具有相同业务属性值或者相同业务属性值组合的中间业务聚合数据划分至一个组，得到至少一个中间业务聚合数据组，其好处在于，可以防止在对业务元数据进行聚合时出现数据遗漏的情况发生，进而可以提高对业务元数据进行管理的效率和质量。

继续参照图3，在步骤270中，将所述业务聚合数据存储至预设数据库。

在本申请中，所述预设数据库包括列存储数据库和时间序列数据库。

在本申请的一个实施例中，将所述业务聚合数据存储至预设数据库，可以包括两种存储方式：

第一种存储方式，将所述第一业务聚合值存储至列存储数据库。

第二种存储方式，将所述第二业务聚合值存储至时间序列数据库。

在本申请中，可以对列存储数据库做进行如下设计：其一，以特性ID的MD5(加密)和时间戳为K值。其二，根据MD5值的十六进制末两位进行了预分区，即总共有256个分区。其三，每一行存储单个特性分钟粒度的全部在计算层的指标数据。

将所述第一业务聚合值存储至列存储数据库可以保证数据在读取过程的下率较高，可以存储很长周期的数据，并且不会产生冗余数据。

在本申请中，可以对时间序列数据库进行如下设计：其一，在数据库中预定义足够的数据列，并且单独建立了一张配置表用于进行特性维度与列的映射关系，在计算和接口层均会读取配置进行存储列和特性维度配置之间的映射。其二，预先划定多个数据表，根据每个表当前的数据量级将新建特性按照数据量级大小权重划分至某个数据表进行存储，降低单个表中的数据量，提升数据查询效率。并且分表数量可以配置，当表容量超限后，可以通过在计算和分表配置中设置更高的表数量上限。

将所述第二业务聚合值存储至时间序列数据库可以有效提升查询性能效率和系统可用性。

在本申请的其他实施例中，还可以将所述第一业务聚合值和所述第二业务聚合值存储至区块链网络中。

在本申请的一个实施例中，在将所述业务聚合数据存储至预设数据库之后，可以执行如图7所示的步骤。

参见图7，示出了根据本申请一个实施例的在将所述业务聚合数据存储至预设数据库之后的方法流程图。具体包括步骤281至283：

在步骤281中，获取针对所述业务聚合数据的查询请求。

在步骤282中，根据所述查询请求的特征确定需要查询的预设数据库类型，并根据所述预设数据库类型进行相应的查询请求封装，得到查询指令。

在步骤283中，通过所述查询指令从所述列存储数据库或时间序列数据库中查询所述业务聚合数据。

具体的，本申请提供一个服务接口，其可以为上层应用提供统一的数据查询协议，因为底层存储数据以及协议不一样，需要提供一套统一的接口为应用层服务屏蔽底层逻辑，使得所有平台和用户在使用特性系统数据时可以通过统一的协议进行数据查询，增加数据查询效率。

其中，服务接口的内部模块包括HTTP服务模块，请求解析模块，查询模块，指标计算模块。

具体的，HTTP服务模块，包括HTTP库、网络库等，主要用于接收请求、错误请求处理、请求路由等操作。

请求解析模块，用于解析查询请求的json数据，将其转化为内部的Java对象。

查询模块，用于根据查询请求的特征确定需要查询的存储介质，并根据对应存储进行相应的查询请求封装。此外对于自定义指标或者组合特性，需要将当前请求拆解为多个查询语句进行多次并发查询，将所有的数据返回至计算模块进行数据统计。

指标计算模块，主要包括两个子模块，即列存储数据库数据聚合子模块，列存储数据库的数据是按照分钟粒度存储，如果查询粗粒度时间数据需要在server端对数据按时间窗口进行整合；自定义指标计算子模块，如果当前查询包含有自定义指标，查询模块会返回自定义指标对应的所有基础指标的数据。计算模块首选需要提取自定义指标的四则运算公式，然后按照维度和时间将数据进行分组，获取到每个分组内的公式中所需元数据的具体数据信息，将数据替换至公式中(如果不存在的数据则设置为0)生成一条四则运算的算式，最后解析该算式字符串计算出当前维度分组下的指标结果。在计算好所有的维度分组下的数据后，将数据按照标准格式整合后返回至协议适配模块；

在本申请中，还提出一种可视化运营监控分析前端，针对用户自助接入及多维度数据分析设计，其核心功能点包括：指标数据管理维护，指标数据指标展示(数据查询和多维分析)，告警平台联动，自定义指标视图，业务分类指标视图等等

具体的，在本申请的一个实施例中，可以执行如图8所示的步骤。

参见图8，示出了根据本申请一个实施例的展示业务聚合数据可视化信息的方法流程图。具体包括步骤291至293：

在步骤291中，显示业务聚合数据可视化展示页面，所述业务聚合数据可视化展示页面包括条件输入区域和业务聚合数据可视化展示区域。

在步骤292中，获取在所述条件输入区域内输入的查询条件信息，以通过所述查询条件信息在所述预设数据库中查询所述业务聚合数据。

在步骤293中，在所述业务聚合数据可视化展示区域内展示与查询到的业务聚合数据相对应的业务聚合数据可视化信息。

为了是本领域技术人员更好的理解本实施例，下面将结合图9对展示业务聚合数据可视化信息的页面图进行简单说明：

参见图9，示出了根据本申请一个实施例的展示业务聚合数据可视化信息的页面图。

如图9所示，业务聚合数据可视化展示页面包括条件输入区域901和业务聚合数据可视化展示区域902，所述条件输入区域901中包含有多个显示控件，例如“日期范围”的显示控件，“对比范围”的显示控件，“时间粒度”的显示控件，“维度筛选”的显示控件等等，通过各个控件可以输入查询条件信息，其中，可以根据所述查询条件信息生成针对所述业务聚合数据的查询请求，在所述业务聚合数据可视化展示区域902内可以展示与查询到的业务聚合数据相对应的业务聚合数据可视化信息。

为了使本领域技术人员更好的理解本申请，下面将结合图10对本申请中进行业务数据管理的系统架构进行简单阐述：

参见图10，示出了根据本申请一个实施例的进行业务数据管理的系统架构图。

在本申请中，进行业务数据管理的系统架构一共包括5层，具体包括上报层1001，数据计算层1002，存储层1003，服务接口层1004，应用层1005。

其中，上报层1001包括多个上报环境，上报环境可以是安装在终端的由C++、Java、Python语言封装的上报API接口，也可以是在生产环境上报机器上独立安装的数据上报agent程序，还可以是集成于现有的外网上报服务体系，通过HTTP协议进行数据上报。

数据计算层1002包括实时数据采集系统和Flink实时计算框架，其中，实时数据采集系统可以包括多个，分别用于采集数据上报环境上报的业务元数据，并将数据解析为本地Java对象，这样可以降低数据之间的干扰及便于数据扩容。进一步的，在Flink实时计算框架中，可以按上报时间戳给每条业务元数据数据打上水位线标记，之后根据水位线按配置的滚动时间窗口进行一次本地数据预聚合操作，本地聚合后再进行一次全局的数据聚合，最后将分维度的整体数据推送至存储层的时间序列数据库，而0维的整体数据则推送至存储层的列存储数据库。

存储层1003包括列存储数据和时间序列数据库，其中，列存储数据用于存储0维整体数据情况，时间序列数据库用于存储多维数据。

服务接口层1004包括查询服务接口，其主要为上层应用提供统一的数据查询协议。

应用层1005包括可视化平台和预警平台，其打造了一个面向开发运维团队的从业务视角出发的多维度运营数据实时监控、分析和预警平台，帮助团队监控业务逻辑细节，提升业务运营精细化水平。

在本申请中，进行业务数据管理的系统架构还可以通过聚合配置模块1006自行配置数据维度和指标后，通过自主上报工具按照约定数据格式采集并上报业务运营数据，系统后台通过实时计算框架进行实时数据流计算输出相应指标。

本申请发明人通过对现有技术中的业务数据管理方法和本申请中提出的业务数据管理方法进行实验，与现有技术相比，本申请提出的业务数据管理方法相同资源条件下每秒数据处理量由120万提升至350万，实时数据延迟由4到5分钟提升至1分钟以内，查询耗时由5秒左右提升至1秒左右，而且还支持多指标多维度的特性监控与分析界面。

在本申请中，由于数据上报环境多样，在对数据进行聚合时，会存在因为数据延迟上报而导致的聚合数据遗漏或者数据过载的情况发生，从而会影响数据聚合过程中的稳定性，通过将时间戳落在预设滚动时间窗口内的实时业务元数据选定为目标业务元数据，对所述目标业务元数据进行至少两次聚合处理，可以控制在每次数据聚合时的数据吞吐量不会出现较大的起伏，进而可以增强数据聚合过程中的稳定性，提高数据管理效率。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的业务数据管理方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的业务数据管理方法的实施例。

图11示出了根据本申请的一个实施例的业务数据管理装置的框图。

参照图11所示，根据本申请的一个实施例的业务数据管理装置1100，包括：第一获取单元1101、选定单元1102、聚合单元1103和存储单元1104。

其中，第一获取单元1101，被用于获取由各个数据上报环境上报的实时业务元数据，其中，各个实时业务元数据中配置有所述实时业务元数据在被上报时的时间戳；选定单元1102，被用于将所述时间戳落在预设滚动时间窗口内的部分或全部实时业务元数据选定为目标业务元数据；聚合单元1103，被用于对所述目标业务元数据进行至少两次聚合处理，得到业务聚合数据；存储单元1104，被用于将所述业务聚合数据存储至预设数据库。

在本申请的一些实施例中，基于前述方案，所述第一获取单元1101配置为：通过至少两个实时数据采集系统采集由各个数据上报环境上报的原始实时业务元数据；对所述原始实时业务元数据进行解析处理，以获取具有统一数据格式的所述实时业务元数据。

在本申请的一些实施例中，基于前述方案，所述选定单元1102配置为：确定所述时间戳落在预设滚动时间窗口内的实时业务元数据的数据量；在所述数据量未超过预设阈值时，将全部实时业务元数据选定为目标业务元数据。在所述数据量超过预设阈值时，在所述时间戳落在预设滚动时间窗口内的实时业务元数据中进行采样，得到目标业务元数据。

在本申请的一些实施例中，基于前述方案，所述目标业务元数据包括至少一个维度的业务属性值和至少一个业务指标值，所述聚合单元1103包括：预聚合单元，被用于对具有相同业务属性值或者相同业务属性值组合，且具有相同业务指标值的目标业务元数据进行预聚合处理，得到中间业务聚合数据；二次聚合单元，被用于对所述中间业务聚合数据进行二次聚合处理，得到所述业务聚合数据。

在本申请的一些实施例中，基于前述方案，所述业务聚合数据包括第一业务聚合值和第二业务聚合值，所述二次聚合单元配置为：针对全部中间业务聚合数据，对所述业务指标值进行二次聚合处理，得到第一业务聚合值；针对具有相同业务属性值或者相同业务属性值组合的中间业务聚合数据，对所述业务指标值进行二次聚合处理，得到第二业务聚合值。

在本申请的一些实施例中，基于前述方案，所述二次聚合单元配置为：将具有相同业务属性值或者相同业务属性值组合的中间业务聚合数据划分至一个组，得到至少一个中间业务聚合数据组；针对每一个中间业务聚合数据组，对所述中间业务聚合数据组中的业务指标值进行二次聚合处理，得到第二业务聚合值。

在本申请的一些实施例中，基于前述方案，所述预设数据库包括列存储数据库和时间序列数据库，所述存储单元1104配置为：将所述第一业务聚合值存储至列存储数据库；将所述第二业务聚合值存储至时间序列数据库。

在本申请的一些实施例中，基于前述方案，所述装置还包括：第二获取单元，被用于在将所述业务聚合数据存储至预设数据库之后，获取针对所述业务聚合数据的查询请求；确定单元，被用于根据所述查询请求的特征确定需要查询的预设数据库类型，并根据所述预设数据库类型进行相应的查询请求封装，得到查询指令；查询单元，被用于通过所述查询指令从所述列存储数据库或时间序列数据库中查询所述业务聚合数据。

在本申请的一些实施例中，基于前述方案，所述装置还包括：显示单元，被用于显示业务聚合数据可视化展示页面，所述业务聚合数据可视化展示页面包括条件输入区域和业务聚合数据可视化展示区域；第三获取单元，被用于获取在所述条件输入区域内输入的查询条件信息，以通过所述查询条件信息在所述预设数据库中查询所述业务聚合数据；展示单元，被用于在所述业务聚合数据可视化展示区域内展示与查询到的业务聚合数据相对应的业务聚合数据可视化信息。

图12示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图12示出的电子设备的计算机系统1200仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图12所示，计算机系统1200包括中央处理单元(Central Processing Unit，CPU)1201，其可以根据存储在只读存储器(Read-Only Memory，ROM)1202中的程序或者从储存部分1208加载到随机访问存储器(Random Access Memory，RAM)1203中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1203中，还存储有系统操作所需的各种程序和数据。CPU 1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(Input/Output，I/O)接口1205也连接至总线1204。

以下部件连接至I/O接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1207；包括硬盘等的储存部分1208；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入储存部分1208。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被中央处理单元(CPU)1201执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中所述的业务数据管理方法。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的业务数据管理方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种业务数据管理方法，其特征在于，所述方法包括：

获取由各个数据上报环境上报的实时业务元数据，其中，各个实时业务元数据中配置有所述实时业务元数据在被上报时的时间戳；

将所述时间戳落在预设滚动时间窗口内的部分或全部实时业务元数据选定为目标业务元数据；

对所述目标业务元数据进行至少两次聚合处理，得到业务聚合数据；

将所述业务聚合数据存储至预设数据库。

2.根据权利要求1所述的方法，其特征在于，所述获取由各个数据上报环境上报的实时业务元数据，包括：

通过至少两个实时数据采集系统采集由各个数据上报环境上报的原始实时业务元数据；

对所述原始实时业务元数据进行解析处理，以获取具有统一数据格式的所述实时业务元数据。

3.根据权利要求1所述的方法，其特征在于，所述将所述时间戳落在预设滚动时间窗口内的部分或全部实时业务元数据选定为目标业务元数据，包括：

确定所述时间戳落在预设滚动时间窗口内的实时业务元数据的数据量；

在所述数据量未超过预设阈值时，将全部实时业务元数据选定为目标业务元数据；

在所述数据量超过预设阈值时，在所述时间戳落在预设滚动时间窗口内的实时业务元数据中进行采样，得到目标业务元数据。

4.根据权利要求1所述的方法，其特征在于，所述目标业务元数据包括至少一个维度的业务属性值和至少一个业务指标值，所述对所述目标业务元数据进行至少两次聚合处理，得到业务聚合数据，包括：

对具有相同业务属性值或者相同业务属性值组合，且具有相同业务指标值的目标业务元数据进行预聚合处理，得到中间业务聚合数据；

对所述中间业务聚合数据进行二次聚合处理，得到所述业务聚合数据。

5.根据权利要求4所述的方法，其特征在于，所述业务聚合数据包括第一业务聚合值和第二业务聚合值，所述对所述中间业务聚合数据进行二次聚合处理，得到所述业务聚合数据，包括：

针对全部中间业务聚合数据，对所述业务指标值进行二次聚合处理，得到所述第一业务聚合值；

针对具有相同业务属性值或者相同业务属性值组合的中间业务聚合数据，对所述业务指标值进行二次聚合处理，得到所述第二业务聚合值。

6.根据权利要求5所述的方法，其特征在于，所述针对具有相同业务属性值或者相同业务属性值组合的中间业务聚合数据，对所述业务指标值进行二次聚合处理，得到第二业务聚合值，包括：

将具有相同业务属性值或者相同业务属性值组合的中间业务聚合数据划分至一个组，得到至少一个中间业务聚合数据组；

针对每一个中间业务聚合数据组，对所述中间业务聚合数据组中的业务指标值进行二次聚合处理，得到第二业务聚合值。

7.根据权利要求5所述的方法，其特征在于，所述预设数据库包括列存储数据库和时间序列数据库，所述将所述业务聚合数据存储至预设数据库，包括：

将所述第一业务聚合值存储至列存储数据库；

将所述第二业务聚合值存储至时间序列数据库。

8.根据权利要求7所述的方法，其特征在于，在将所述业务聚合数据存储至预设数据库之后，所述方法还包括：

获取针对所述业务聚合数据的查询请求；

根据所述查询请求的特征确定需要查询的预设数据库类型，并根据所述预设数据库类型进行相应的查询请求封装，得到查询指令；

通过所述查询指令从所述列存储数据库或时间序列数据库中查询所述业务聚合数据。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

显示业务聚合数据可视化展示页面，所述业务聚合数据可视化展示页面包括条件输入区域和业务聚合数据可视化展示区域；

获取在所述条件输入区域内输入的查询条件信息，以通过所述查询条件信息在所述预设数据库中查询所述业务聚合数据；

在所述业务聚合数据可视化展示区域内展示与查询到的业务聚合数据相对应的业务聚合数据可视化信息。

10.一种业务数据管理装置，其特征在于，所述装置包括：

第一获取单元，被用于获取由各个数据上报环境上报的实时业务元数据，其中，各个实时业务元数据中配置有所述实时业务元数据在被上报时的时间戳；

选定单元，被用于将所述时间戳落在预设滚动时间窗口内的部分或全部实时业务元数据选定为目标业务元数据；

聚合单元，被用于对所述目标业务元数据进行至少两次聚合处理，得到业务聚合数据；

存储单元，被用于将所述业务聚合数据存储至预设数据库。

Images