CN108446305A - 多维度统计业务数据的系统和方法 - Google Patents
多维度统计业务数据的系统和方法 Download PDFInfo
- Publication number
- CN108446305A CN108446305A CN201810092211.0A CN201810092211A CN108446305A CN 108446305 A CN108446305 A CN 108446305A CN 201810092211 A CN201810092211 A CN 201810092211A CN 108446305 A CN108446305 A CN 108446305A
- Authority
- CN
- China
- Prior art keywords
- dimension
- business datum
- statistics
- data
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 235000019580 granularity Nutrition 0.000 claims abstract description 60
- 230000002776 aggregation Effects 0.000 claims abstract description 11
- 238000004220 aggregation Methods 0.000 claims abstract description 11
- 230000002123 temporal effect Effects 0.000 claims description 18
- 241001074085 Scophthalmus aquosus Species 0.000 abstract description 16
- 238000005553 drilling Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000011017 operating method Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012098 association analyses Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种多维度统计业务数据的方法和系统，包括：根据后台配置的维度名称将各维度显示在多维统计页面上；将每一条业务数据的信息写入业务数据总表，将业务数据总表中的数据进行提炼，按接口、维度、服务器、站点生成四张简化表；从业务数据总表中，提取出所述业务数据的各个维度的维度值按照不同的时间颗粒度的聚合信息；根据用户的点击操作，刷新在当前操作维度上能够执行下钻操作的维度的列表；或者，根据用户的点击操作，生成时间段统计范围、维度值统计过滤条件以及需要统计的维度。本发明多维度统计配置简化，不同层次的钻取能够同时显示在同一页面上，上钻时不需要再次查询，维度数据统计页面展示结果迅速。
Description
技术领域
本发明涉及多维度统计领域，具体地，涉及多维度统计业务数据的系统和方法。
背景技术
在业务性能监控领域中，业务数据体量大、特征多，需要使用多维分析技术(MDA,Multi-dimensional Analysis)对业务数据进行统计分析。通过多维分析模型，将业务数据的特征抽象为维度，在不同维度上统计数据、展示数据，继而用户能够直观的理解包含在大量复杂业务数据中的信息，以及对多个维度之间进行关联分析。通过对原始业务数据的聚合、钻取、旋转、切片、切块，能够全面的分析数据信息。
所以多维度统计方式已经成为当前的技术热点并被广泛采用。该方法的主要操作见图1。
A为前端，代表用户操作页面，B为后端，代表业务逻辑处理模块，C为数据库。通过配置维度关联描述文件，实现维度之间的关联分析。前端A根据配置的维度关联描述文件在多维统计页面上显示可统计的维度。
当多维统计页面接收到用户发出的对当前维度的下钻请求后，传递给后端B的业务逻辑处理模块，由业务逻辑处理模块生成多维查询语句，并将多维查询语句发送给多维数据库C，数据库查询结束返回给业务逻辑处理模块，业务逻辑处理模块再将数据响应给前端A的用户操作页面，用户操作页面刷新多维统计页面。当多维统计页面接收到用户发出的对当前维度的上钻请求后，先查询数据库得到查询结果返回给页面，刷新多维统计页面。
现有技术中这样处理数据的好处是能够按照维度关联描述文件中配置的层级关系进行下钻和上钻数据。但也存在以下几方面限制：
(1)维度关联描述文件限制了下钻和上钻过程只能按照文件中指定的顺序进行数据下钻和上钻，无法切换维度；
(2)下钻维度时，只能显示最终的查询结果，无法保存下钻过程中的各维度的数据信息；
(3)上钻维度时必须再次查询数据库，给系统和数据库带来额外开销；
(4)在查询数据库时，查询数据库中的每条业务数据信息，按分钟为单位统计聚合，以统计某一时间段内符合多维查询条件的业务数据，查询性能较低。
申请号201510400674.5的专利文献公开了一种可配置的多维动态关联数据图组方法，其通过一组关联维度图同时展现数据立方的多个维度；通过点击某个维度图，其它关联维度图可根据点击内容相应联动变化；各维度图可以进行数据的上下钻取，同时其它关联维度图可根据上下钻取内容联动变化。但是该专利文献中不同层次的钻取不能够同时显示在同一页面，且没有公开多维数据的具体查询方式。
申请号201510390665.2的专利文献公开了一种动态切换维度观察角度的方法，其明针对多级维度即时进行观察级别切换、统计汇总功能的不足，提供了一种多级维度动态切换及汇总的实现方法。通过定义多级维度缺省观察级别、维度定长前缀编码、维度编码KV存储、级别转换字符数、编码到维度名称的查找和转换、根据维度名称进行数据汇总、多级维度级别展示及切换选择等步骤和方法实现多级维度即时进行观察级别切换、统计汇总。但是该专利文献未公开如何在下钻过程中体现各层次的统计数据。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种多维度统计业务数据的系统。
根据本发明提供的一种多维度统计业务数据的方法，包括：
多维页面初始化步骤：根据后台配置的维度名称将各维度显示在多维统计页面上；
数据存储步骤：将每一条业务数据的信息写入业务数据总表，将业务数据总表中的数据进行提炼，按接口、维度、服务器、站点生成四张简化表；
维度数据表存储步骤：从业务数据总表中，提取出所述业务数据的各个维度的维度值按照不同的时间颗粒度的聚合信息；
页面请求处理步骤：根据用户的点击操作，刷新在当前操作维度上能够执行下钻操作的维度的列表；或者，根据用户的点击操作，生成时间段统计范围、维度值统计过滤条件以及需要统计的维度。
将每一条业务数据的如下信息写入业务数据总表：
-业务数据的时间信息；
-业务数据的各个维度的维度值；
-所述业务数据的各个维度的维度值按照不同的时间颗粒度的聚合信息。
包括：
查询条件处理步骤：根据查询的维度条件确定要查询的数据表，其中，所述要查询的数据表是业务数据总表或者四张简化表；根据维度条件决定是查询简化表还是业务数据总表，若查询的维度只有一个，且存在对应的简化表，则查询简化表；若查询的维度有两个以上，则查询业务数据总表；根据查询的时间范围和系统的颗粒度列表将查询条件拆分成多个数据库查询语句；其中，所述查询条件中包含了时间信息，根据时间信息和颗粒度来将查询条件分成按多个时间段来查询；
数据库查询步骤：根据多维数据库查询语句查询数据库；聚合查询结果；
统计结果显示步骤：刷新当前多维统计查询中需要刷新的维度视图，清除在当前多维统计查询中已失效的前一次多维统计查询的视图。
在所述查询条件处理步骤中，解析查询条件，根据维度查询条件得出查询时间范围、维度值过滤条件和待统计的维度；将时间范围进行分解，得出按不同颗粒度查询的时间段；根据维度值过滤条件存在与否判断需要查询的数据表，若存在维度值过滤条件，则需要查询的表为业务数据总表；若无维度值过滤条件则需要查询的表为维度数据表；根据得出的基于各种颗粒度的查询时间段、待查询的数据表名称、维度值过滤条件以及待统计的维度生成查询语句列表。
统计结果显示步骤中：计算出查询条件中的待统计的维度的所在层级；清除多维统计页面上对此次多维度统计查询无效的、所有低于该层级的维度统计视图；刷新对应层级的维度统计视图。
根据本发明提供的一种多维度统计业务数据的系统，包括：
多维页面初始化模块：根据后台配置的维度名称将各维度显示在多维统计页面上；
数据存储模块：将每一条业务数据的信息写入业务数据总表，将业务数据总表中的数据进行提炼，按接口、维度、服务器、站点生成四张简化表；
维度数据表存储模块：从业务数据总表中，提取出所述业务数据的各个维度的维度值按照不同的时间颗粒度的聚合信息；
页面请求处理模块：根据用户的点击操作，刷新在当前操作维度上能够执行下钻操作的维度的列表；或者，根据用户的点击操作，生成时间段统计范围、维度值统计过滤条件以及需要统计的维度。
将每一条业务数据的如下信息写入业务数据总表：
-业务数据的时间信息；
-业务数据的各个维度的维度值；
-所述业务数据的各个维度的维度值按照不同的时间颗粒度的聚合信息。
包括：
查询条件处理模块：根据查询的维度条件确定要查询的数据表，其中，所述要查询的数据表是业务数据总表或者四张简化表；根据维度条件决定是查询简化表还是业务数据总表，若查询的维度只有一个，且存在对应的简化表，则查询简化表；若查询的维度有两个以上，则查询业务数据总表；根据查询的时间范围和系统的颗粒度列表将查询条件拆分成多个数据库查询语句；其中，所述查询条件中包含了时间信息，根据时间信息和颗粒度来将查询条件分成按多个时间段来查询；
数据库查询模块：根据多维数据库查询语句查询数据库；聚合查询结果；
统计结果显示模块：刷新当前多维统计查询中需要刷新的维度视图，清除在当前多维统计查询中已失效的前一次多维统计查询的视图。
在所述查询条件处理模块中，解析查询条件，根据维度查询条件得出查询时间范围、维度值过滤条件和待统计的维度；将时间范围进行分解，得出按不同颗粒度查询的时间段；根据维度值过滤条件存在与否判断需要查询的数据表，若存在维度值过滤条件，则需要查询的表为业务数据总表；若无维度值过滤条件则需要查询的表为维度数据表；根据得出的基于各种颗粒度的查询时间段、待查询的数据表名称、维度值过滤条件以及待统计的维度生成查询语句列表。
统计结果显示模块中：计算出查询条件中的待统计的维度的所在层级；清除多维统计页面上对此次多维度统计查询无效的、所有低于该层级的维度统计视图；刷新对应层级的维度统计视图。
与现有技术相比，本发明具有如下的有益效果：
1、解决了多维关系统计配置复杂的问题。多维度统计配置简化，用户操作简便。
2、解决了无法在任意维度上灵活切换统计的问题。不同层次的钻取能够同时显示在同一页面上，用户能够总览下钻维度时的各层级维度数据，维度数据展示全面。
3、解决了下钻过程中各维度统计数据无法同时显示、上钻数据时需要重新查询数据库的问题。本发明中，上钻无需再次操作和查询数据库。上钻是下钻的逆操作，是逐步减少一个维度向上再作统计；上钻无需再次操作是因为：在下钻过程中，保留了每次下钻时每个层级上的统计数据和视图，都以表格的形式显示在页面上，并不会清空，所以上钻时不需要再次查询了。
4、解决了查询数据库时性能较低的问题；查询数据库性能提高，维度数据统计页面展示结果迅速。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为多维统计方法示意图。。
图2为系统模块图。
图3为查询条件处理模块。
图4为统计结果显示模块。
图5为本发明技术方案原理图示。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图2所示，本发明提供的多维度统计业务数据的系统，包括以下模块：
一、多维页面初始化模块，其用于：
1)根据后台配置的维度名称将各维度显示在多维统计页面上；
二、数据存储模块，其用于
1)将每一条业务数据的时间信息、各维度的值、各指标的值按设定的颗粒度聚合保存为业务数据总表；颗粒度可通过配置文件灵活配置，可以是1秒、5秒、10秒、1分钟、5分钟、15分钟、1小时、或其他颗粒度。
2)将业务数据总表中的数据进行提炼，按接口、维度、服务器、站点生成四张简化表，按1分钟颗粒度存储。以便在统计第一层级维度时可根据需求查询简化表。
三、页面请求处理模块，其用于：
1)根据用户的点击操作，刷新在当前操作维度上可执行下钻操作的维度列表；
2)根据用户的点击操作，生成时间段统计范围、维度值过滤条件以及需要统计的维度；
四、查询条件处理模块，其用于：
1)根据查询的维度信息确定要查询的数据表
这里的数据表是指包括业务数据总表和四张简化表在内的所有数据表。会根据维度条件去决定是查询简化的数据表还是业务数据总表。
2)根据查询的时间范围和系统的颗粒度列表将查询条件拆分成多个数据库查询语句；
这里的查询条件中包含了时间信息，根据时间信息和颗粒度来将查询条件分成按多个时间段来查询。
如图3，其中查询条件处理模块的操作步骤有：
步骤1：解析查询条件，根据查询条件得出查询时间范围、维度值过滤条件和待统计的维度
第四点中的维度信息是指要查的是哪些维度信息。维度可以是某地区、或者某机构，某交易渠道、某客户号等，是可以将查询细化的一种特征。
查询条件是指完整的查询条件，包括了时间信息(2017年6月底)、维度信息(某地区某客户号等)、要统计的指标(交易量、成功率等)。这里的维度查询条件和查询条件是一个意思。
步骤2：以系统的颗粒度为单位将时间范围进行分解，得出按设定的颗粒度分割查询的时间段
比如查询条件中的时间是2017年6月27日00:09:59到02:01:16分钟之间的数据，则将[00:09:59-02:01:16]时间段按配置的颗粒度(假设配置的颗粒度为1秒、5秒、15分钟、30分钟、1小时)拆为以下几份：
[00:09:59，00:10:00)(1秒钟颗粒度)
[00:10:00，00:15:00)(5分钟颗粒度)
[00:15:00，00:30:00)(15分钟颗粒度)
[00:30:00，01:00:00)(30分钟颗粒度)
[01:00:00，02:00:00)(1小时颗粒度)
[02:00:00，02:01:00)(1分钟颗粒度)
[02:01:00，02:01:15)(15秒颗粒度)
[02:01:15，02:01:16)(1秒颗粒度)
步骤3：根据维度信息确定需要查询的数据表。若查询的维度只有一个，且存在对应的简化表，则查询简化表；若查询的维度有两个以上，则查询业务数据总表。上文的维度信息/维度条件和这里的维度过滤条件是相同的意思。
步骤4：根据步骤2和3中得出的基于各种颗粒度的查询时间段、待查询的数据表名称、维度值过滤条件以及待统计的维度生成查询语句列表
五、数据库查询模块，其用于：
1)根据多维数据库查询语句查询数据库；
2)聚合查询结果；
六、统计结果显示模块，其用于：
1)刷新当前多维统计查询中需要刷新的维度视图
2)清除在当前多维统计查询中已失效的前一次多维统计查询的视图；
如图4，其中统计结果显示模块的操作步骤有：
步骤1、计算出查询条件中的待统计的维度的所在层级
步骤2、清除页面上对此次多维度统计查询无效的、所有低于该层级的维度统计视图
步骤3、刷新对应层级的维度统计视图；
如图5，前端读取维度配置文件，将所有维度显示在多维统计页面上。用户操作页面显示的维度时，前端生成多维查询条件并发送到后端，后端进行分析后生成多条多维查询语句。多维查询语句被发送到数据库端，数据库执行所有的查询语句，返回查询结果集。后端将数据库返回的所有结果集进行聚合，得到最后的结果数据并发送给前端页面。前端页面根据用户当时的维度操作和最终的结果集，来刷新多维统计页面中的统计视图。通过本系统，用户可以在任意层级的维度上切换统计维度、下钻维度，高效的获取维度统计数据，并保留下钻维度过程中各父级维度统计视图，无需再次操作。
下面对本发明进行更为具体的说明。根据本系统、查询条件处理模块以及统计结果展示模块的操作步骤所提供的方法，具体实施如下：
1、根据业务数据统计的需求配置多个维度，如交易类型、交易渠道、客户端IP、服务端IP、返回码等。
2、建立多维度数据库，包括一张业务数据总表和一张维度数据表。其中每张数据表中的维度数据按所有时间颗粒度均进行聚合存储。
3、多维统计页面上显示配置的所有维度。
4、用户可选择显示的任意维度进行统计，即下钻操作，关联子层级维度。所有上级维度视图不变，添加当前维度的下一层级维度统计视图，刷新刚添加的维度视图对应的可关联维度表。
5、当待操作的某一层级维度的可关联维度列表不为空时，即存在其他可关联维度，可以继续执行维度切换和下钻操作，即进入步骤6或步骤7。若该层级维度存在父级维度，则还执行步骤8，切换父级维度。
6、当用户在当前层级上执行切换维度操作时，当前层级的所有上级维度视图不变，刷新当前层级的维度视图。执行完该步骤后，可回到步骤5继续往下执行。
7、当用户在当前层级上执行下钻维度操作时，当前层级维度视图及所有上级维度视图不变，添加下一层级的维度视图。执行完该步骤后，可回到步骤5继续往下执行。
8、当前层级维度存在父级维度时，可切换父级维度进行统计，切换的维度所在层级的所有父级维度视图不变，刷新被切换的维度视图，及其对应的可关联维度表，清除切换维度的所有下级维度视图。执行完该步骤后，可回到步骤5继续往下执行。
在本发明提供的多维度统计业务数据的方法中，包括：
多维页面初始化步骤：根据后台配置的维度名称将各维度显示在多维统计页面上；
数据存储步骤：将每一条业务数据的如下信息写入业务数据总表：业务数据的时间信息、业务数据的各个维度的维度值、所述业务数据的各个维度的维度值按照不同的时间颗粒度的聚合信息。例如1分钟时间颗粒度、5分钟时间颗粒度、15分钟时间颗粒度、1小时时间颗粒度。将业务数据总表中的数据进行提炼，按接口、维度、服务器、站点生成四张简化表，按1分钟颗粒度存储。以便在统计第一层级维度时可根据需求查询简化表。从业务数据总表中，提取出所述业务数据的各个维度的维度值按照不同的时间颗粒度的聚合信息；例如1分钟时间颗粒度、5分钟时间颗粒度、15分钟时间颗粒度、1小时时间颗粒度；其中，维度是数据的特征，比如身份信息中的性别、籍贯，是数据中存在的特性；指标是一个统计值，比如记录数、通过率，是统计得到的，并不存在于原始数据中。维度和指标的关系可以这样理解：指标是用统计学的方法将符合某些特征的原始数据归类、得到的量化的结论。
页面请求处理步骤，包括：下钻维度列表刷新步骤：根据用户的点击操作，刷新在当前操作维度上能够执行下钻操作的维度的列表；统计条件生成步骤：根据用户的点击操作，生成时间段统计范围、维度值统计过滤条件以及需要统计的维度。
查询条件处理步骤：
1)根据查询的维度条件确定要查询的数据表，其中，所述要查询的数据表是业务数据总表或者四张简化表；根据维度条件决定是查询简化表还是业务数据总表；
2)根据查询的时间范围和系统的颗粒度列表将查询条件拆分成多个数据库查询语句；其中，所述查询条件中包含了时间信息，根据时间信息和颗粒度来将查询条件分成按多个时间段来查询。
查询条件处理步骤包括：
步骤1：解析查询条件，根据维度查询条件得出查询时间范围、维度值过滤条件和待统计的维度
步骤2：以系统的颗粒度为单位将时间范围进行分解，得出按1小时颗粒度查询、按15分钟颗粒度查询、按5分钟颗粒度查询、按1分钟颗粒度查询的时间段
步骤3：根据维度值过滤条件存在与否判断需要查询的数据表。若存在维度值过滤条件，则需要查询的表为业务数据总表；若无维度值过滤条件则需要查询的表为维度数据表
步骤4：根据步骤2和3中得出的基于各种颗粒度的查询时间段、待查询的数据表名称、维度值过滤条件以及待统计的维度生成查询语句列表
数据库查询步骤：根据多维数据库查询语句查询数据库；聚合查询结果；
统计结果显示步骤：刷新当前多维统计查询中需要刷新的维度视图，清除在当前多维统计查询中已失效的前一次多维统计查询的视图；
统计结果显示步骤中：计算出查询条件中的待统计的维度的所在层级；清除多维统计页面上对此次多维度统计查询无效的、所有低于该层级的维度统计视图；刷新对应层级的维度统计视图；
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种多维度统计业务数据的方法，其特征在于，包括：
多维页面初始化步骤：根据后台配置的维度名称将各维度显示在多维统计页面上；
数据存储步骤：将每一条业务数据的信息写入业务数据总表，将业务数据总表中的数据进行提炼，按接口、维度、服务器、站点生成四张简化表；
维度数据表存储步骤：从业务数据总表中，提取出所述业务数据的各个维度的维度值按照不同的时间颗粒度的聚合信息；
页面请求处理步骤：根据用户的点击操作，刷新在当前操作维度上能够执行下钻操作的维度的列表；或者，根据用户的点击操作，生成时间段统计范围、维度值统计过滤条件以及需要统计的维度。
2.根据权利要求1所述的多维度统计业务数据的方法，其特征在于，将每一条业务数据的如下信息写入业务数据总表：
-业务数据的时间信息；
-业务数据的各个维度的维度值；
-所述业务数据的各个维度的维度值按照不同的时间颗粒度的聚合信息。
3.根据权利要求1所述的多维度统计业务数据的方法，其特征在于，包括：
查询条件处理步骤：根据查询的维度条件确定要查询的数据表，其中，所述要查询的数据表是业务数据总表或者四张简化表；根据维度条件决定是查询简化表还是业务数据总表，若查询的维度只有一个，且存在对应的简化表，则查询简化表；若查询的维度有两个以上，则查询业务数据总表；根据查询的时间范围和系统的颗粒度列表将查询条件拆分成多个数据库查询语句；其中，所述查询条件中包含了时间信息，根据时间信息和颗粒度来将查询条件分成按多个时间段来查询；
数据库查询步骤：根据多维数据库查询语句查询数据库；聚合查询结果；
统计结果显示步骤：刷新当前多维统计查询中需要刷新的维度视图，清除在当前多维统计查询中已失效的前一次多维统计查询的视图。
4.根据权利要求3所述的多维度统计业务数据的方法，其特征在于，在所述查询条件处理步骤中，解析查询条件，根据维度查询条件得出查询时间范围、维度值过滤条件和待统计的维度；将时间范围进行分解，得出按不同颗粒度查询的时间段；根据维度值过滤条件存在与否判断需要查询的数据表，若存在维度值过滤条件，则需要查询的表为业务数据总表；若无维度值过滤条件则需要查询的表为维度数据表；根据得出的基于各种颗粒度的查询时间段、待查询的数据表名称、维度值过滤条件以及待统计的维度生成查询语句列表。
5.根据权利要求1所述的多维度统计业务数据的方法，其特征在于，
统计结果显示步骤中：计算出查询条件中的待统计的维度的所在层级；清除多维统计页面上对此次多维度统计查询无效的、所有低于该层级的维度统计视图；刷新对应层级的维度统计视图。
6.一种多维度统计业务数据的系统，其特征在于，包括：
多维页面初始化模块：根据后台配置的维度名称将各维度显示在多维统计页面上；
数据存储模块：将每一条业务数据的信息写入业务数据总表，将业务数据总表中的数据进行提炼，按接口、维度、服务器、站点生成四张简化表；
维度数据表存储模块：从业务数据总表中，提取出所述业务数据的各个维度的维度值按照不同的时间颗粒度的聚合信息；
页面请求处理模块：根据用户的点击操作，刷新在当前操作维度上能够执行下钻操作的维度的列表；或者，根据用户的点击操作，生成时间段统计范围、维度值统计过滤条件以及需要统计的维度。
7.根据权利要求6所述的多维度统计业务数据的系统，其特征在于，将每一条业务数据的如下信息写入业务数据总表：
-业务数据的时间信息；
-业务数据的各个维度的维度值；
-所述业务数据的各个维度的维度值按照不同的时间颗粒度的聚合信息。
8.根据权利要求6所述的多维度统计业务数据的系统，其特征在于，包括：
查询条件处理模块：根据查询的维度条件确定要查询的数据表，其中，所述要查询的数据表是业务数据总表或者四张简化表；根据维度条件决定是查询简化表还是业务数据总表，若查询的维度只有一个，且存在对应的简化表，则查询简化表；若查询的维度有两个以上，则查询业务数据总表；根据查询的时间范围和系统的颗粒度列表将查询条件拆分成多个数据库查询语句；其中，所述查询条件中包含了时间信息，根据时间信息和颗粒度来将查询条件分成按多个时间段来查询；
数据库查询模块：根据多维数据库查询语句查询数据库；聚合查询结果；
统计结果显示模块：刷新当前多维统计查询中需要刷新的维度视图，清除在当前多维统计查询中已失效的前一次多维统计查询的视图。
9.根据权利要求8所述的多维度统计业务数据的系统，其特征在于，在所述查询条件处理模块中，解析查询条件，根据维度查询条件得出查询时间范围、维度值过滤条件和待统计的维度；将时间范围进行分解，得出按不同颗粒度查询的时间段；根据维度值过滤条件存在与否判断需要查询的数据表，若存在维度值过滤条件，则需要查询的表为业务数据总表；若无维度值过滤条件则需要查询的表为维度数据表；根据得出的基于各种颗粒度的查询时间段、待查询的数据表名称、维度值过滤条件以及待统计的维度生成查询语句列表。
10.根据权利要求6所述的多维度统计业务数据的系统，其特征在于，
统计结果显示模块中：计算出查询条件中的待统计的维度的所在层级；清除多维统计页面上对此次多维度统计查询无效的、所有低于该层级的维度统计视图；刷新对应层级的维度统计视图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810092211.0A CN108446305B (zh) | 2018-01-30 | 2018-01-30 | 多维度统计业务数据的系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810092211.0A CN108446305B (zh) | 2018-01-30 | 2018-01-30 | 多维度统计业务数据的系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108446305A true CN108446305A (zh) | 2018-08-24 |
| CN108446305B CN108446305B (zh) | 2020-12-01 |
Family
ID=63191455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810092211.0A Active CN108446305B (zh) | 2018-01-30 | 2018-01-30 | 多维度统计业务数据的系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108446305B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109783646A (zh) * | 2019-02-12 | 2019-05-21 | 四川大学华西医院 | 一种数据处理方法及装置 |
| CN109977135A (zh) * | 2019-03-28 | 2019-07-05 | 北京奇艺世纪科技有限公司 | 一种数据查询方法、装置及服务器 |
| CN110297837A (zh) * | 2019-06-14 | 2019-10-01 | 阿里巴巴集团控股有限公司 | 一种数据更新方法和装置、数据查询方法和装置 |
| CN111061758A (zh) * | 2018-10-16 | 2020-04-24 | 杭州海康威视数字技术股份有限公司 | 数据存储方法、装置及存储介质 |
| CN111191086A (zh) * | 2019-12-13 | 2020-05-22 | 江苏艾佳家居用品有限公司 | 一种测试数据识别方法 |
| CN111930331A (zh) * | 2020-09-24 | 2020-11-13 | 北京每日优鲜电子商务有限公司 | 信息显示方法、装置、电子设备和计算机可读介质 |
| CN112183986A (zh) * | 2020-09-21 | 2021-01-05 | 北京每日优鲜电子商务有限公司 | 经营指标信息加密方法、装置、电子设备和介质 |
| CN112395372A (zh) * | 2020-12-10 | 2021-02-23 | 四川长虹电器股份有限公司 | 基于关系型数据库系统二维表的快速统计方法 |
| CN112800118A (zh) * | 2021-04-01 | 2021-05-14 | 南泽(广东)科技股份有限公司 | 基于多维度分析的业务数据集成系统及其数据分析方法 |
| CN113157741A (zh) * | 2021-04-26 | 2021-07-23 | 上海淇馥信息技术有限公司 | 基于维度转换的业务状态可视化方法、装置和电子设备 |
| CN113779044A (zh) * | 2021-11-08 | 2021-12-10 | 南京网眼信息技术有限公司 | 一种数据钻取方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103116825A (zh) * | 2013-01-29 | 2013-05-22 | 江苏省邮电规划设计院有限责任公司 | 智慧城市管理系统 |
| CN104317923A (zh) * | 2014-10-31 | 2015-01-28 | 国家电网公司华北分部 | 电网调控一体化系统多维数据展现方法 |
| US20150073961A1 (en) * | 2013-09-06 | 2015-03-12 | State Street Corporation | System and method for interactive visual analytics of multi-dimensional temporal data |
| CN105022813A (zh) * | 2015-07-07 | 2015-11-04 | 中电海康集团有限公司 | 一种可配置的多维动态关联数据图组方法 |
| CN107634848A (zh) * | 2017-08-07 | 2018-01-26 | 上海天旦网络科技发展有限公司 | 一种采集分析网络设备信息的系统和方法 |
-
2018
- 2018-01-30 CN CN201810092211.0A patent/CN108446305B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103116825A (zh) * | 2013-01-29 | 2013-05-22 | 江苏省邮电规划设计院有限责任公司 | 智慧城市管理系统 |
| US20150073961A1 (en) * | 2013-09-06 | 2015-03-12 | State Street Corporation | System and method for interactive visual analytics of multi-dimensional temporal data |
| CN104317923A (zh) * | 2014-10-31 | 2015-01-28 | 国家电网公司华北分部 | 电网调控一体化系统多维数据展现方法 |
| CN105022813A (zh) * | 2015-07-07 | 2015-11-04 | 中电海康集团有限公司 | 一种可配置的多维动态关联数据图组方法 |
| CN107634848A (zh) * | 2017-08-07 | 2018-01-26 | 上海天旦网络科技发展有限公司 | 一种采集分析网络设备信息的系统和方法 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111061758A (zh) * | 2018-10-16 | 2020-04-24 | 杭州海康威视数字技术股份有限公司 | 数据存储方法、装置及存储介质 |
| CN111061758B (zh) * | 2018-10-16 | 2023-10-20 | 杭州海康威视数字技术股份有限公司 | 数据存储方法、装置及存储介质 |
| CN109783646B (zh) * | 2019-02-12 | 2022-08-12 | 四川大学华西医院 | 一种数据处理方法及装置 |
| CN109783646A (zh) * | 2019-02-12 | 2019-05-21 | 四川大学华西医院 | 一种数据处理方法及装置 |
| CN109977135A (zh) * | 2019-03-28 | 2019-07-05 | 北京奇艺世纪科技有限公司 | 一种数据查询方法、装置及服务器 |
| CN110297837A (zh) * | 2019-06-14 | 2019-10-01 | 阿里巴巴集团控股有限公司 | 一种数据更新方法和装置、数据查询方法和装置 |
| CN110297837B (zh) * | 2019-06-14 | 2023-03-21 | 阿里巴巴集团控股有限公司 | 一种数据更新方法和装置、数据查询方法和装置 |
| CN111191086A (zh) * | 2019-12-13 | 2020-05-22 | 江苏艾佳家居用品有限公司 | 一种测试数据识别方法 |
| CN111191086B (zh) * | 2019-12-13 | 2022-07-08 | 江苏艾佳家居用品有限公司 | 一种测试数据识别方法 |
| CN112183986A (zh) * | 2020-09-21 | 2021-01-05 | 北京每日优鲜电子商务有限公司 | 经营指标信息加密方法、装置、电子设备和介质 |
| CN111930331A (zh) * | 2020-09-24 | 2020-11-13 | 北京每日优鲜电子商务有限公司 | 信息显示方法、装置、电子设备和计算机可读介质 |
| CN112395372A (zh) * | 2020-12-10 | 2021-02-23 | 四川长虹电器股份有限公司 | 基于关系型数据库系统二维表的快速统计方法 |
| CN112800118A (zh) * | 2021-04-01 | 2021-05-14 | 南泽(广东)科技股份有限公司 | 基于多维度分析的业务数据集成系统及其数据分析方法 |
| CN113157741A (zh) * | 2021-04-26 | 2021-07-23 | 上海淇馥信息技术有限公司 | 基于维度转换的业务状态可视化方法、装置和电子设备 |
| CN113157741B (zh) * | 2021-04-26 | 2023-04-07 | 上海淇馥信息技术有限公司 | 基于维度转换的业务状态可视化方法、装置和电子设备 |
| CN113779044A (zh) * | 2021-11-08 | 2021-12-10 | 南京网眼信息技术有限公司 | 一种数据钻取方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108446305B (zh) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108446305A (zh) | 多维度统计业务数据的系统和方法 | |
| US11733829B2 (en) | Monitoring tree with performance states | |
| US10205643B2 (en) | Systems and methods for monitoring and analyzing performance in a computer system with severity-state sorting | |
| US10469344B2 (en) | Systems and methods for monitoring and analyzing performance in a computer system with state distribution ring | |
| US20150325017A1 (en) | Proactive monitoring tree providing distribution stream chart with branch overlay | |
| US20100153431A1 (en) | Alert triggered statistics collections | |
| CN107273267A (zh) | 基于elastic组件的日志分析方法 | |
| CN107229556A (zh) | 基于elastic组件的日志分析系统 | |
| CN106815125A (zh) | 一种日志审计方法及平台 | |
| CN104978438A (zh) | 基于日志的实时分析方法及系统 | |
| WO2015060892A1 (en) | Providing performance metadata in interest-driven business intelligence systems | |
| CN108460094A (zh) | 存储统计数据的方法和系统 | |
| CN109189861A (zh) | 基于指标的数据流统计方法、服务器及存储介质 | |
| CN112115114A (zh) | 日志处理的方法、装置、设备及存储介质 | |
| CN110266555B (zh) | 用于分析网站服务请求的方法 | |
| CN110874366A (zh) | 数据处理、查询方法和装置 | |
| CN103209094A (zh) | 一种基于事件的故障定位系统及方法 | |
| CN112711614A (zh) | 业务数据管理方法、装置 | |
| CN117151350A (zh) | 用于决策管理的可视化看板系统、方法、设备以及介质 | |
| CN109828984B (zh) | 一种分析处理的方法、装置、计算机存储介质及终端 | |
| CN112418941A (zh) | 一种基于实时流的资源人气计算方法、系统及存储介质 | |
| CN111190790A (zh) | 一种基于峰值预测的云计算集群监控方法及系统 | |
| CN106227644A (zh) | 一种海量信息处理装置 | |
| CN105306257B (zh) | 一种收集用户体验的方法及系统 | |
| US20240045878A1 (en) | Building and using a sparse time series database (tsdb) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: System and method for multi-dimensional statistical business data Effective date of registration: 20220817 Granted publication date: 20201201 Pledgee: The Bank of Shanghai branch Caohejing Limited by Share Ltd. Pledgor: SHANGHAI NETIS TECHNOLOGIES Co.,Ltd. Registration number: Y2022310000184 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20231013 Granted publication date: 20201201 Pledgee: The Bank of Shanghai branch Caohejing Limited by Share Ltd. Pledgor: SHANGHAI NETIS TECHNOLOGIES Co.,Ltd. Registration number: Y2022310000184 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |