CN109344178A - 一种数据报表实时统计方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种数据报表实时统计方法，包括：通过预设的接口实时接入统计数据，并对统计数据进行标准化处理，得到目标数据；解析目标数据，得到目标数据的目标标识信息；根据目标标识信息和预设的匹配条件，为目标数据匹配对应的目标统计规则；按照目标统计规则统计目标数据，获得统计报表，并将统计报表进行可视化展示。为了适应不同的统计场景，本方法预先设置了多个匹配条件，若当前统计数据满足预设的匹配条件，则采用目标统计规则对当前统计数据进行统计分析，从而提高了数据统计的灵活性和效率，减少了开发人员的工作量。相应地，本发明公开的一种数据报表实时统计装置、设备及可读存储介质，也同样具有上述技术效果。

Description

一种数据报表实时统计方法、装置、设备及可读存储介质

技术领域

本发明涉及网络数据统计技术领域，更具体地说，涉及一种数据报表实时统计方法、装置、设备及可读存储介质。

背景技术

随着互联网技术的发展和应用软件的成熟，计算机技术在各个行业及人们日常生活中被广泛使用，并且每天都在产生海量数据，为了挖据这些数据的价值，需要对这些数据进行统计分析。

在现有技术中，对数据的统计分析需要依赖SQL数据库，且由于SQL数据库同时还给用户提供数据查询等服务，因此依赖SQL数据库进行数据统计分析时，会降低其他业务的处理性能；同时，基于SQL数据库的统计方法需要依据表结构进行查询统计，统计方法一成不变，无法基于不同的统计数据和统计场景灵活变换统计规则。例如：当用户需求变化时，相应的统计规则也需要变化，此时则需要开发人员依据当前需求重新编写统计代码；或者开发人员在既定的统计规则上，开发满足当前需要的统计代码，对统计数据进行多次统计分析。如此不仅增加了开发人员的工作量，还降低了数据统计的效率和灵活性，也不利于后期维护工作的开展。

因此，如何提高数据统计的效率和灵活性，是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种数据报表实时统计方法、装置、设备及可读存储介质，以提高数据统计的效率和灵活性。

为实现上述目的，本发明实施例提供了如下技术方案：

一种数据报表实时统计方法，包括：

通过预设的接口实时接入统计数据，并对所述统计数据进行标准化处理，得到目标数据；

解析所述目标数据，得到所述目标数据的目标标识信息；

根据所述目标标识信息和预设的匹配条件，为所述目标数据匹配对应的目标统计规则；

按照所述目标统计规则统计所述目标数据，获得统计报表，并将所述统计报表进行可视化展示。

其中，所述对所述统计数据进行标准化处理，包括：

将所述统计数据转换为kv格式。

其中，所述匹配条件按照算术操作符、关系运算符、逻辑操作符、位运算符、正则匹配操作符或优先级规则进行预设。

其中，采用JSEL引擎和/或FEL引擎预设所述匹配条件。

其中，所述将所述统计报表进行可视化展示之前，还包括：

将所述统计报表持久化至预设的统计数据库。

其中，所述将所述统计报表进行可视化展示，包括：

获取用户选择的目标展示形式和展示维度参数，并按照所述目标展示形式和展示维度参数将所述统计报表进行可视化展示。

其中，所述按照所述目标统计规则统计所述目标数据，包括：

按照所述目标统计规则中的统计维度参数统计所述目标数据，所述统计维度参数包括统计周期、单位数量和数据类型中的任意一种或组合。

一种数据报表实时统计装置，包括：

接入模块，用于通过预设的接口实时接入统计数据，并对所述统计数据进行标准化处理，得到目标数据；

解析模块，用于解析所述目标数据，得到所述目标数据的目标标识信息；

匹配模块，用于根据所述目标标识信息和预设的匹配条件，为所述目标数据匹配对应的目标统计规则；

统计模块，用于按照所述目标统计规则统计所述目标数据，获得统计报表，并将所述统计报表进行可视化展示。

一种数据报表实时统计设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任意一项所述的数据报表实时统计方法的步骤。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的数据报表实时统计方法的步骤。

通过以上方案可知，本发明实施例提供的一种数据报表实时统计方法，包括：通过预设的接口实时接入统计数据，并对所述统计数据进行标准化处理，得到目标数据；解析所述目标数据，得到所述目标数据的目标标识信息；根据所述目标标识信息和预设的匹配条件，为所述目标数据匹配对应的目标统计规则；按照所述目标统计规则统计所述目标数据，获得统计报表，并将所述统计报表进行可视化展示。

可见，所述方法在通过预设的接口实时接入统计数据后，为了使当前统计数据适应于预设的统计规则，首先对统计数据进行标准化处理，并对标准化处理后的统计数据进行解析，得到当前统计数据的目标标识信息，即确定当前统计数据的统计场景；进而根据目标标识信息和预设的匹配条件，为当前统计数据匹配对应的目标统计规则，并按照目标统计规则统计当前统计数据，并将获得的统计报表进行可视化展示。其中，为了适应不同的统计场景，本方法预先设置了多个匹配条件，若当前统计数据满足预设的匹配条件，则采用目标统计规则对当前统计数据进行统计分析，从而提高了数据统计的灵活性和效率，减少了开发人员的工作量，也有利于后期维护工作的开展。

相应地，本发明实施例提供的一种数据报表实时统计装置、设备及可读存储介质，也同样具有上述技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种数据报表实时统计方法流程图；

图2为本发明实施例公开的另一种数据报表实时统计方法流程图；

图3为本发明实施例公开的一种数据报表实时统计装置示意图；

图4为本发明实施例公开的一种数据报表实时统计设备示意图；

图5为本发明实施例公开的一种数据报表展示需求示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种数据报表实时统计方法、装置、设备及可读存储介质，以提高数据统计的效率和灵活性。

参见图1，本发明实施例提供的一种数据报表实时统计方法，包括：

S101、通过预设的接口实时接入统计数据，并对统计数据进行标准化处理，得到目标数据；

具体的，所述接口与产生统计数据的设备或数据库进行对接，用于实时接入统计数据。即：数据即时产生即时进行统计分析，可避免数据累积，提高统计效率。

由于数据格式一般是多种多样的，比如有些是json数据结构，有些是分隔符方式的数据结构，因此为了使数据统一，需要对统计数据进行标准化处理。

S102、解析目标数据，得到目标数据的目标标识信息；

具体的，所述目标标识信息标记了目标数据的当前统计场景，每个统计场景可以对应一个匹配条件，当目标数据属于统计场景A时，则表明目标数据符合为统计场景A预设的匹配条件。其中，各个统计场景可采用不同的标识信息进行标记。

S103、根据目标标识信息和预设的匹配条件，为目标数据匹配对应的目标统计规则；

S104、按照目标统计规则统计目标数据，获得统计报表，并将统计报表进行可视化展示。

在本实施例中，每个匹配条件下对应一种或多种统计规则，这些统计规则按照统计周期、统计数据量或数据类型进行设置，若目标数据符合预设的某一匹配条件时，则采用该匹配条件对应的一种或多种统计规则统计目标数据，并将获得的统计报表进行可视化展示。

需要说明的是，若目标数据不符合任意一个匹配条件，则采用预设的冗余统计规则对目标数据进行统计分析。

可见，本实施例提供了一种数据报表实时统计方法，所述方法在通过预设的接口实时接入统计数据后，为了使当前统计数据适应于预设的统计规则，首先对统计数据进行标准化处理，并对标准化处理后的统计数据进行解析，得到当前统计数据的目标标识信息，即确定当前统计数据的统计场景；进而根据目标标识信息和预设的匹配条件，为当前统计数据匹配对应的目标统计规则，并按照目标统计规则统计当前统计数据，并将获得的统计报表进行可视化展示。其中，为了适应不同的统计场景，本方法预先设置了多个匹配条件，若当前统计数据满足预设的匹配条件，则采用目标统计规则对当前统计数据进行统计分析，从而提高了数据统计的灵活性和效率，减少了开发人员的工作量，也有利于后期维护工作的开展。

本发明实施例公开了另一种数据报表实时统计方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。

参见图2，本发明实施例提供的另一种数据报表实时统计方法，包括：

S201、通过预设的接口实时接入统计数据，并将统计数据转换为kv格式，得到目标数据；

在本实施例中，对统计数据进行标准化处理的方式为：将统计数据转换为kv格式。其中，对于kv格式的数据，可由应用程序自行处理，无需再考虑数据格式，处理方式一般包括：由应用程序自行处理；采用人可读的格式进行存储，文件格式可以为txt、json或XML；独立存储数据格式和数据；将数据格式和数据存放在一起，一般将数据格式存放在数据之前(数据解释依赖其格式)。

需要说明的是，本实施例由应用程序实时接入统计数据，将统计数据转换为kv格式的目标数据并缓存在内存中。其中，统计数据为日志数据。

S202、解析目标数据，得到目标数据的目标标识信息；

S203、根据目标标识信息和预设的匹配条件，为目标数据匹配对应的目标统计规则；

S204、按照目标统计规则统计目标数据，获得统计报表，并将统计报表进行可视化展示。

可见，本实施例提供了另一种数据报表实时统计方法，所述方法在通过预设的接口实时接入统计数据后，为了使当前统计数据适应于预设的统计规则，首先将统计数据转换为kv格式，并对kv格式的统计数据进行解析，得到当前统计数据的目标标识信息，即确定当前统计数据的统计场景；进而根据目标标识信息和预设的匹配条件，为当前统计数据匹配对应的目标统计规则，并按照目标统计规则统计当前统计数据，并将获得的统计报表进行可视化展示。其中，为了适应不同的统计场景，本方法预先设置了多个匹配条件，若当前统计数据满足预设的匹配条件，则采用目标统计规则对当前统计数据进行统计分析，从而提高了数据统计的灵活性和效率，减少了开发人员的工作量，也有利于后期维护工作的开展。

基于上述任意实施例，需要说明的是，所述匹配条件按照算术操作符、关系运算符、逻辑操作符、位运算符、正则匹配操作符或优先级规则进行预设。其中，采用JSEL引擎和/或FEL引擎预设所述匹配条件。

例如：对目标数据进行解析后，会得到如catObject、catBehavior、eventType等Key值，Key值对应统计数据的Value值。其中，Key值即为目标数据的目标标识信息，Value值即为匹配条件。

其中，匹配条件的表达式可以为(采用JSEL引擎)：

${catObject}＝＝'/Host/Resource/CPU'；

${catBehavior}＝＝'/Found/Exhausted'&&(${catOutcome}＝＝'OK'||${catOutc ome}＝＝'Attempt'。

其中，${}内的数据是统计数据标准化后的字段，“＝＝”后边的字符串是用户期望的值；“&&”表示与条件，当与符号两边的条件都成立时，该条件才成立；“||”表示或条件，当或符号两边有一个条件成立时，该条件则成立，一个条件表达式可含有多个与符号和或符号，当目标数据符合匹配条件时，才会进行下一步骤的数据统计。该匹配条件可预先存储于当前缓存，以避免频繁读取数据库，影响其他业务。

基于上述任意实施例，需要说明的是，所述将所述统计报表进行可视化展示之前，还包括：将所述统计报表持久化至预设的统计数据库。具体的，持久化即把统计报表保存到可永久保存的存储设备中(如磁盘)，以便于后续展示和调用。

基于上述任意实施例，需要说明的是，所述将所述统计报表进行可视化展示，包括：获取用户选择的目标展示形式和展示维度参数，并按照所述目标展示形式和展示维度参数将所述统计报表进行可视化展示。

具体的，用户可基于当前需求选择目标展示形式和展示维度参数。其中，目标展示形式包括：柱状图、饼状图、环状图、折线图、区域图、横向柱状图、表格或单维图；展示维度参数包括：统计数量、展示周期等。

基于上述任意实施例，需要说明的是，所述按照所述目标统计规则统计所述目标数据，包括：

按照所述目标统计规则中的统计维度参数统计所述目标数据，所述统计维度参数包括统计周期、单位数量和数据类型中的任意一种或组合。

具体的，统计维度参数包括但不限于：统计周期、统计数据量或数据类型。其中，统计时间越短，统计和展示的数据则越精细。

例如：比如用户定制的图表是以分钟为单位的趋势图，那用户只能看见每分钟为单位的，数据的折线图走势。比如1分钟到2分钟是一条上升的折线图。如果用户定制的图表是以秒为单位的趋势图，用户就可看见两个分钟节点之内的60秒的数据折现走势。即：1分钟到2分钟内可能是曲折上升的折线图，1分30秒可能折线会下滑，然后在1分40秒的时候才向上走。

下面对本发明实施例提供的一种数据报表实时统计装置进行介绍，下文描述的一种数据报表实时统计装置与上文描述的一种数据报表实时统计方法可以相互参照。

参见图3，本发明实施例提供的一种数据报表实时统计装置，包括：

接入模块301，用于通过预设的接口实时接入统计数据，并对所述统计数据进行标准化处理，得到目标数据；

解析模块302，用于解析所述目标数据，得到所述目标数据的目标标识信息；

匹配模块303，用于根据所述目标标识信息和预设的匹配条件，为所述目标数据匹配对应的目标统计规则；

统计模块304，用于按照所述目标统计规则统计所述目标数据，获得统计报表，并将所述统计报表进行可视化展示。

其中，所述接入模块具体用于：

将所述统计数据转换为kv格式

其中，还包括：

存储模块，用于将所述统计报表持久化至预设的统计数据库。

其中，所述统计模块具体用于：

获取用户选择的目标展示形式和展示维度参数，并按照所述目标展示形式和展示维度参数将所述统计报表进行可视化展示。

其中，所述统计模块具体用于：

按照所述目标统计规则中的统计维度参数统计所述目标数据，所述统计维度参数包括统计周期、单位数量和数据类型中的任意一种或组合。

可见，本实施例提供了一种数据报表实时统计装置，包括：接入模块、解析模块、匹配模块以及统计模块。首先由接入模块通过预设的接口实时接入统计数据，并对统计数据进行标准化处理，得到目标数据；然后解析模块解析目标数据，得到目标数据的目标标识信息；进而匹配模块根据目标标识信息和预设的匹配条件，为目标数据匹配对应的目标统计规则；最后统计模块按照目标统计规则统计目标数据，获得统计报表，并将统计报表进行可视化展示。如此各个模块之间分工合作，各司其职，从而提高了数据统计的灵活性和效率，减少了开发人员的工作量，也有利于后期维护工作的开展。

下面对本发明实施例提供的一种数据报表实时统计设备进行介绍，下文描述的一种数据报表实时统计设备与上文描述的一种数据报表实时统计方法及装置可以相互参照。

参见图4，本发明实施例提供的一种数据报表实时统计设备，包括：

存储器401，用于存储计算机程序；

处理器402，用于执行所述计算机程序时实现上述任意实施例所述的数据报表实时统计方法的步骤。

下面对本发明实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种数据报表实时统计方法、装置及设备可以相互参照。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意实施例所述的数据报表实时统计方法的步骤。

基于上述任意实施例，可采用下述方式实施本发明，具体过程为：

1、采集数据：通过接口采集接入设备的统计数据；所述接入设备是指存储有统计数据的设备或数据库，即实时统计对象；

2、过滤数据：对数据进行清洗，将统计数据转化为标准化数据；所述清洗是指将采集到的各类设备所产生的数据，按统一的规则转化为标准化数据；

3、定义统计规则：

3.1定义统计规则：统计规则的设置因素包括但不限于表达式、统计周期、单位数量和数据类型等；所述表达式是指一种包含算术操作符、关系运算符、逻辑操作符、位运算符、正则匹配操作符和优先级控制等的可定义的复杂规则，基于这些复杂规则开发的引擎有JSEL、FEL等；

3.2在表达式匹配的基础之上，搭配时间、单位数量和数据类型定义一套灵活控制，适配多个数据场景的统计规则；

3.3进行统计时，统计规则加载至内存，对标准化后的统计数据按照表达式进行匹配，并按照时间、单位数量、数据类型等维度进行统计；所述时间可以按需求进行设置，时间粒度越细，可展示的时间空间更长；

3.4统计结果持久化到数据库；

4、可视化展示：将保存至数据库的统计数据，按报表需求进行个性化展示，报表需求可参见图5。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据报表实时统计方法，其特征在于，包括：

通过预设的接口实时接入统计数据，并对所述统计数据进行标准化处理，得到目标数据；

解析所述目标数据，得到所述目标数据的目标标识信息；

根据所述目标标识信息和预设的匹配条件，为所述目标数据匹配对应的目标统计规则；

按照所述目标统计规则统计所述目标数据，获得统计报表，并将所述统计报表进行可视化展示。

2.根据权利要求1所述的数据报表实时统计方法，其特征在于，所述对所述统计数据进行标准化处理，包括：

将所述统计数据转换为kv格式。

3.根据权利要求1所述的数据报表实时统计方法，其特征在于，所述匹配条件按照算术操作符、关系运算符、逻辑操作符、位运算符、正则匹配操作符或优先级规则进行预设。

4.根据权利要求3所述的数据报表实时统计方法，其特征在于，采用JSEL引擎和/或FEL引擎预设所述匹配条件。

5.根据权利要求1所述的数据报表实时统计方法，其特征在于，所述将所述统计报表进行可视化展示之前，还包括：

将所述统计报表持久化至预设的统计数据库。

6.根据权利要求5所述的数据报表实时统计方法，其特征在于，所述将所述统计报表进行可视化展示，包括：

获取用户选择的目标展示形式和展示维度参数，并按照所述目标展示形式和展示维度参数将所述统计报表进行可视化展示。

7.根据权利要求1-6任意一项所述的数据报表实时统计方法，其特征在于，所述按照所述目标统计规则统计所述目标数据，包括：

按照所述目标统计规则中的统计维度参数统计所述目标数据，所述统计维度参数包括统计周期、单位数量和数据类型中的任意一种或组合。

8.一种数据报表实时统计装置，其特征在于，包括：

接入模块，用于通过预设的接口实时接入统计数据，并对所述统计数据进行标准化处理，得到目标数据；

解析模块，用于解析所述目标数据，得到所述目标数据的目标标识信息；

匹配模块，用于根据所述目标标识信息和预设的匹配条件，为所述目标数据匹配对应的目标统计规则；

统计模块，用于按照所述目标统计规则统计所述目标数据，获得统计报表，并将所述统计报表进行可视化展示。

9.一种数据报表实时统计设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1-7任意一项所述的数据报表实时统计方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任意一项所述的数据报表实时统计方法的步骤。