CN112328641A - 多维度数据聚合方法、装置及计算机设备 - Google Patents
多维度数据聚合方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN112328641A CN112328641A CN202110005144.6A CN202110005144A CN112328641A CN 112328641 A CN112328641 A CN 112328641A CN 202110005144 A CN202110005144 A CN 202110005144A CN 112328641 A CN112328641 A CN 112328641A
- Authority
- CN
- China
- Prior art keywords
- dimension
- data
- service data
- aggregation
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种多维度数据聚合方法,包括:接收业务数据查询指令,所述业务数据查询指令包括至少一个待查询维度和待聚合指标;根据所述业务数据查询指令从数据库中读取业务数据表,所述业务数据表中包括多条业务数据,每条业务数据包括多个维度数据和指标数据;根据预先建立的维度表对所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表;在所述目标业务数据表中按照所述待查询维度对所述待聚合指标下的指标数据进行cube聚合处理,得到聚合数据表;根据所述维度表对所述聚合数据表进行还原处理,得到目标聚合数据表。本发明实施例可以节省内存和cpu消耗。
Description
技术领域
本发明实施例涉及大数据技术领域,尤其涉及一种多维度数据聚合、装置及计算机设备。
背景技术
随着互联网技术的日益发展,海量数据时代已经来临。在海量数据时代下,越来越多的企业开始通过不同的维度对海量数据进行分析,从中提取业务需求相关的数据。
目前,在对海量数据进行分析时,用户根据业务需求,首先确定查询维度,然后根据确定的查询维度在原始数据库中进行查询,最终得到业务需求相关的数据。
然而,发明人在实现上述发明过程中,发现现有技术中,当确定的查询维度存在多个时,会将多个查询维度进行结合,作为一个查询条件,该种查询方式导致的结果是会查询到大量与业务需求相关的数据。例如,用户根据业务需求,确定进行查询维度为维度A和维度B,根据查询维度A和查询维度B在原始数据库中进行查找,会查询得到与查询维度A相关的数据、与查询维度B相关的数据以及与维度A+B相关的数据。但是,当进行查询维度增加几十个,甚至上百个时,查询的数据数量会成几何倍数增长,导致需要大量的内存和cpu消耗才能完成数据的查询。
发明内容
有鉴于此,本发明实施例的目的是提供一种多维度数据聚合方法、装置、计算机设备及计算机可读存储介质,用于现有的查询方法需要大量的内存和cpu消耗才能完成数据的查询的问题。
为实现上述目的,本发明实施例提供了一种多维度数据聚合方法,包括:
接收业务数据查询指令,所述业务数据查询指令包括至少一个待查询维度和待聚合指标;
根据所述业务数据查询指令从数据库中读取业务数据表,所述业务数据表中包括多条业务数据,每条业务数据包括多个维度数据和指标数据;
根据预先建立的维度表对所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表;
在所述目标业务数据表中按照所述待查询维度对所述待聚合指标下的指标数据进行cube聚合处理,得到聚合数据表;
根据所述维度表对所述聚合数据表进行还原处理,得到目标聚合数据表。
可选地,所述根据预先建立的维度表对所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表包括:
获取预先建立的维度表,所述维度表中包含有各个维度数据和各个映射值的对应关系;
根据所述维度表将所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表。
可选地,所述根据预先建立的维度表对所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表包括:
获取所述待查询维度下的维度数据,对并获取到的维度数据进行去重处理;
对经过去重处理后的维度数据进行映射编码处理,以建立所述维度表,其中,所述维度表包含有各个维度数据和各个映射值的对应关系;
根据所述维度表将所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表。
可选地,所述对经过去重处理后的维度数据进行映射编码处理,以建立所述维度表包括:
对经过去重处理后的维度数据按照所述待查询维度进行映射编码处理,以建立多个维度表,其中,每个维度表包含一个待待查维度下的各个维度数据和各个映射值的对应关系。
可选地,所述多维度数据聚合方法还包括:
将所述目标聚合数据表上传至区块链中。
为实现上述目的,本发明实施例还提供了一种多维度数据聚合装置,包括:
接收模块,用于接收业务数据查询指令,所述业务数据查询指令包括至少一个待查询维度和待聚合指标;
读取模块,用于根据所述业务数据查询指令从数据库中读取业务数据表,所述业务数据表中包括多条业务数据,每条业务数据包括多个维度数据和指标数据;
编码模块,用于根据预先建立的维度表对所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表;
聚合模块,用于在所述目标业务数据表中按照所述待查询维度对所述待聚合指标下的指标数据进行cube聚合处理,得到聚合数据表;
还原模块,用于根据所述维度表对所述聚合数据表进行还原处理,得到目标聚合数据表。
可选地,所述多编码模块,还用于获取预先建立的维度表,所述维度表中包含有各个维度数据和各个映射值的对应关系;及根据所述维度表将所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表。
可选地,所述多编码模块,还用于获取所述待查询维度下的维度数据,对并获取到的维度数据进行去重处理;对经过去重处理后的维度数据进行映射编码处理,以建立所述维度表,其中,所述维度表包含有各个维度数据和各个映射值的对应关系;及根据所述维度表将所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表
为实现上述目的,本发明实施例还提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的多维度数据聚合方法的步骤。
为实现上述目的,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序可被至少一个处理器所执行,以使所述至少一个处理器执行如上所述的多维度数据聚合方法的步骤。
本发明实施例提供的多维度数据聚合方法、装置、计算机设备及计算机可读存储介质,通过接收业务数据查询指令,所述业务数据查询指令包括至少一个待查询维度和待聚合指标;根据所述业务数据查询指令从数据库中读取业务数据表,所述业务数据表中包括多条业务数据,每条业务数据包括多个维度数据和指标数据;根据预先建立的维度表对所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表;在所述目标业务数据表中按照所述待查询维度对所述待聚合指标下的指标数据进行cube聚合处理,得到聚合数据表;根据所述维度表对所述聚合数据表进行还原处理,得到目标聚合数据表。本发明实施例通过在对多维度数据进行处理时,将维度数据进行映射编码处理,以将位数比较长的维度数据映射转换为位数较短的映射值,然后采用映射值进行聚合处理,并在完成处理后进行还原,从而可以达到在对维度数据进行处理时,节省内存空间以及cpu消耗的效果。
附图说明
图1为本发明多维度数据聚合方法的一实施方式的步骤流程示意图。
图2为本发明一实施方式中根据预先建立的维度表对所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表的步骤细化流程示意图。
图3为本发明一实施方式中根据预先建立的维度表对所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表的步骤细化流程示意图。
图4为本发明一实施方式的多维度数据聚合装置的程序模块示意图。
图5为本发明一实施方式的计算机设备的硬件结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
以下结合附图与具体实施例进一步阐述本发明的优点。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本发明的描述中,需要理解的是,步骤前的数字标号并不标识执行步骤的前后顺序,仅用于方便描述本发明及区别每一步骤,因此不能理解为对本发明的限制。
参阅图1,示出了本发明实施例一之多维度数据聚合方法的流程图。可以理解,本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以多维度数据聚合装置(下文以“聚合装置”简称)为执行主体进行示例性描述,所述聚合装置可以应用于计算机设备中,所述计算机设备可以是移动电话、平板个人计算机(tablet personal computer)、膝上型计算机(laptop computer)、服务器等具有数据传输功能的设备。具体如下:
步骤S10,接收业务数据查询指令,所述业务数据查询指令包括至少一个待查询维度和待聚合指标。
具体地,业务数据查询指令为用户对业务数据按照维度进行数据分析而触发的查询指令。该业务数据查询指令中携带有至少一个待查询维度和待聚合指标。其中,待查询维度为根据用户实际查询需求确定的在进行业务数据查询过程中所使用的查询限制条件。所述待聚合指标为需要进行聚合计算的字段。
示例性的,假设存在一个如下表所述的业务数据表points_table:
Enterprise_id | Org_id | User_id | points |
0EA3756D964D21C3E0 54A0369F1934EC | 4BD691DB8D115FFAE0 54022128574717 | 232432DF098RW REWREW898 | 20 |
0EA3756D964D21C3E0 54A0369F1934EC | 4D2898A07EF8A8EBE0 54022128574717 | 232432DF098RW REWREW898 | 12 |
4900D5FA5B9A2F3EE0 54A0369F1934EC | 4D2898A07EF8A8EBE05 4022128574717 | 3214322DF098RW REWREW898 | 23 |
在该业务数据表中包含三个维度字段数据,分别为Enterprise_id(企业ID)、Org_id(业务ID)以及User_id(用户ID),一个指标字段数据,为points。在该业务数据表中,Enterprise_id、Org_id以及User_id字段即可以作为待查询维度,该points字段可以作为待聚合指标。
步骤S11,根据所述业务数据查询指令从数据库中读取业务数据表,所述业务数据表中包括多条业务数据,每条业务数据包括多个维度数据和指标数据。
具体地,数据库中存储于业务数据表,当接收到业务数据查询指令时,即可以从数据库中读取业务数据表,以将业务数据表中的所有业务数据读入内存中进行计算。
示例性的,假设读入内存中的业务数据表为上述所述的业务数据表points_table,则从上述业务数据表中可知,该业务数据表中包含有3条业务数据,每条业务数据包含有Enterprise_id、Org_id以及User_id字段的维度数据,以及points字段的指标数据。
步骤S12,根据预先建立的维度表对所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表。
具体地,业务数据表中的所述待查询维度下的数据在一般情况下,各个维度数据都是一个位数非常多的一个值,比如,参照上述所述的业务数据表points_table中的enterprise_id字段下的维度数据’00D96EA0707E459982F661BBD89FBB8A’,其是一个32位的值,若采用这样的值参与计算,则需要占用较多的存储资源,以及CPU资源。
本实施例中,为了节省存储资源以及CPU资源,可以预先建立维度表,通过该维度表将位数较多的维度数据映射为位数较少的一个数据,即映射值相对于维度数据是一个位数更少的数据。比如,在一具体示例中,将维度数据:’00D96EA0707E459982F661BBD89FBB8A’映射为’1’,将维度数据:’4900D5FA5B9A2F3EE054A0369F1934EC’映射为’2’。在将所有的维度数据转换为对应的映射值之后,即可以将该业务数据表转换为对应的目标业务数据表。
在一示例性的实施方式中,参照图2,所述根据预先建立的维度表对所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表包括:
步骤S20,获取预先建立的维度表,所述维度表中包含有各个维度数据和各个映射值的对应关系。
步骤S21,根据所述维度表将所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表。
具体地,在读取业务数据表之前,可以预先建立好维度表,这样,在读取到业务数据表之后,即可以根据事先建立好的维度表对所述待查询维度下的维度数据进行映射编码处理,以将各个维度数据转换为对应的映射值,并在所有的维度数据完成编码处理后,得到的业务数据表即为所述目标业务表。
在本实施中,建立维度表的方法有多种,比如在spark中可以用建临时表的方式实现。对于上述所述的业务数据表points_table,在建立维度表时,可以首先对业务数据表中的所有可作为查询维度的字段建立维度表,比如:enterprise_id字段、Org_id以及User_id字段。在对这些字段建立维度表时,可以将这些字段下的维度数据抽取出来去重后形成中间表的一列,然后用行自增的方式添加新的一列,这样原值和映射值就会一一对应了。也可以采取其他方法建立维度表,比如可以仅仅把所需的查询维度对应的字段抽取出来,去重后形成list集合,然后将对应的下标作为映射值。
需要说明的是,在对所有可查询维度下维度数据建立维度表时,可以仅仅建立一个维度表,也可以按照可查询维度对应的字段建立多个维度表,即可以依次为每一个可查询的维度对应的字段下的维度数据分别建立一个维度表。
本实施例中,通过预先建立维度表,这样,在获取到业务数据表时,即可以立即将维度数据转换为对应的映射值,从而提高数据处理效率。
进一步地,在另一示例性的实施方式中,参照图3,所述根据预先建立的维度表对所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表包括:
步骤S30,获取所述待查询维度下的维度数据,对并获取到的维度数据进行去重处理。
步骤S31,对经过去重处理后的维度数据进行映射编码处理,以建立所述维度表,其中,所述维度表包含有各个维度数据和各个映射值的对应关系。
步骤S32,根据所述维度表将所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表。
具体地,本实施例中在对维度数据进行映射编码处理时,仅仅获取所述待查询维度下的维度数据,然后对获取到的维度数据进行去重处理,之后对去重处理后得到的维度数据进行映射编码处理,得到维度表,其中,映射编码处理的具体方法在上述实施例中已详细描述,在本实施例中不再赘述。
在建立好维度表之后,即可以根据建立好的维度表将业务数据表中的所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表。
在一示例性的实施方式中,所述对经过去重处理后的维度数据进行映射编码处理,以建立所述维度表包括:
对经过去重处理后的维度数据按照所述待查询维度进行映射编码处理,以建立多个维度表,其中,每个维度表包含一个待待查维度下的各个维度数据和各个映射值的对应关系。
具体在,在对经过去重处理后的维度数据进行映射编码处理时,可以按照待查询维度进行映射编码,即若待查询维度存在多个字段,则可以为每一个字段都建立一个对应的维度表。
示例性的,假设业务数据表为上述所述的业务数据表points_table,待查询维度为Enterprise_id、Org_id以及User_id字段,则在建立维度表时,可以建立3个维度表,分别为enterprise_id字段对应的维度表enterprise_id_table,Org_id字段对应的维度表org_id_table,以及User_id字段对应的维度表user_id_table。
其中,在一具体场景中,建立的enterprise_id_table如下表所示:
Id | enterprise_id |
1 | 0EA3756D964D21C3E054A0369F1934EC |
2 | 4900D5FA5B9A2F3EE054A0369F1934EC |
建立的org_id_table如下表所示:
Id | org_id |
1 | 4BD691DB8D115FFAE054022128574717 |
2 | 4D2898A07EF8A8EBE054022128574717 |
建立的user_id_table如下表所示:
Id | user_id |
1 | 232432DF098RWREWREW898 |
2 | 3214322DF098RWREWREW898 |
在本实施例中,当建立如上表所述的维度表之后,则根据上述维度表进行映射编码处理后,即可以得到如下表所述的目标业务数据表:
Enterprise_id | Org_id | User_id | points |
1 | 1 | 1 | 20 |
1 | 2 | 1 | 12 |
2 | 2 | 2 | 23 |
步骤S13,在所述目标业务数据表中按照所述待查询维度对所述待聚合指标下的指标数据进行cube聚合处理,得到聚合数据表。
具体地,cube聚合处理为通过cube运算符进行处理的操作,其中,cube运算符的作用是自动对group by子句中列出的字段进行分组汇总运算。Cube运算符在SQL语句的Groupby子句中指定。该语句的选择列表应包含维度列和聚合函数表达式。Group by应指定维度列和关键字with cube。结果集将包含维度列中各值的所有可能组合,以及与这些维度值组合相匹配的基础行中的聚合值。其中,cube运算符可应用于所有的聚合函数,如:AVG,SUM,MAX,MIN和COUNT。
需要说明的是,在本实施例中在进行cube聚合处理时,Group by语句中指定的维度列为所述待查询维度,聚合函数表达式中包含有所述待聚合指标,以及具体的聚合算法。
在一示例性的实施例中,假设目标业务数据表如上表所述,所述待查询维度为Enterprise_id、Org_id以及User_id,待聚合指标为points,聚合函数为SUM,则经过cube聚合处理后存在如下组合Enterprise_id+points、Org_id+points、User_id+points、Enterprise_id+Org_id+points、Enterprise_id+User_id+point、Org_id+User_id+points、Enterprise_id+Org_id+User_id +points,这些组合组成的聚合数据表如下表所述:
Enterprise_id | Org_id | User_id | points |
1 | (null) | (null) | 32 |
2 | (null) | (null) | 23 |
(null) | 1 | (null) | 20 |
(null) | 2 | (null) | 35 |
(null) | (null) | 1 | 32 |
(null) | (null) | 2 | 23 |
1 | 1 | (null) | 20 |
1 | 2 | (null) | 12 |
2 | 2 | (null) | 23 |
(null) | 1 | 1 | 20 |
(null) | 2 | 1 | 12 |
(null) | 2 | 2 | 23 |
1 | (null) | 1 | 32 |
2 | (null) | 2 | 23 |
1 | 1 | 1 | 20 |
1 | 2 | 1 | 12 |
2 | 2 | 2 | 23 |
(null) | (null) | (null) | 55 |
步骤S14,根据所述维度表对所述聚合数据表进行还原处理,得到目标聚合数据表。
具体地,在得到聚合数据表之后,可以采用预先建立的维度表对维度数据进行还原处理,即将维度数据从映射值还原成初始值,从而得到目标聚合数据表。示例性的,以上述所述的业务数据表与维度表为例,则在进行还原处理时,对于Enterprise_id字段建立的维度表,可以将该维度表中的Enterprise_id关联Enterprise_id_table的id,关联后用Enterprise_id_table的Enterprise_id替换此聚合数据表中的Enterprise_id,对于其他字段,可同理采用上述方法进行替换,替换后即完成还原为正常结果,还原后得到的目标聚合表如下:
Enterprise_id | Org_id | User_id | points |
0EA3756D964D21C3E054 A0369F1934EC | (null) | (null) | 32 |
4900D5FA5B9A2F3EE054 A0369F1934EC | (null) | (null) | 23 |
(null) | 4BD691DB8D115FFAE0 54022128574717 | (null) | 20 |
(null) | 4D2898A07EF8A8EBE054 022128574717 | (null) | 35 |
(null) | (null) | 232432DF098RWRE WREW898 | 32 |
(null) | (null) | 3214322DF098RWRE WREW898 | 23 |
0EA3756D964D21C3E054 A0369F1934EC | 4BD691DB8D115FFAE0 54022128574717 | (null) | 20 |
0EA3756D964D21C3E054 A0369F1934EC | 4D2898A07EF8A8EBE054 022128574717 | (null) | 12 |
4900D5FA5B9A2F3EE054 A0369F1934EC | 4D2898A07EF8A8EBE054 022128574717 | (null) | 23 |
(null) | 4BD691DB8D115FFAE0 54022128574717 | 232432DF098RWRE WREW898 | 20 |
(null) | 4D2898A07EF8A8EBE054 022128574717 | 232432DF098RWRE WREW898 | 12 |
(null) | 4D2898A07EF8A8EBE054 022128574717 | 3214322DF098RWRE WREW898 | 23 |
0EA3756D964D21C3E054 A0369F1934EC | (null) | 232432DF098RWRE WREW898 | 32 |
4900D5FA5B9A2F3EE054 A0369F1934EC | (null) | 3214322DF098RWRE WREW898 | 23 |
0EA3756D964D21C3E054 A0369F1934EC | 4BD691DB8D115FFAE0 54022128574717 | 232432DF098RWRE WREW898 | 20 |
0EA3756D964D21C3E054 A0369F1934EC | 4D2898A07EF8A8EBE054 022128574717 | 232432DF098RWRE WREW898 | 12 |
4900D5FA5B9A2F3EE054 A0369F1934EC | 4D2898A07EF8A8EBE054 022128574717 | 3214322DF098RWRE WREW898 | 23 |
(null) | (null) | (null) | 55 |
本实施例通过接收业务数据查询指令,所述业务数据查询指令包括至少一个待查询维度和待聚合指标;根据所述业务数据查询指令从数据库中读取业务数据表,所述业务数据表中包括多条业务数据,每条业务数据包括多个维度数据和指标数据;根据预先建立的维度表对所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表;在所述目标业务数据表中按照所述待查询维度对所述待聚合指标下的指标数据进行cube聚合处理,得到聚合数据表;根据所述维度表对所述聚合数据表进行还原处理,得到目标聚合数据表。本发明实施例通过在对多维度数据进行处理时,将维度数据进行映射编码处理,以将位数比较长的维度数据映射转换为位数较短的映射值,然后采用映射值进行聚合处理,并在完成处理后进行还原,从而可以达到在对维度数据进行处理时,节省内存空间以及cpu消耗的效果。
进一步地,在一示例性的实施方式中,所述多维度数据聚合方法还包括:
将所述目标聚合数据表上传至区块链中。
具体地,为了保证目标聚合数据表的安全性和对用户的公正透明性,可以将得到的目标聚合数据表上传至区块链中,然后用户设备可以从区块链中下载得该目标聚合数据表,以便查证目标聚合数据表是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
请参阅图4,示出了本发明实施例之多维度数据聚合装置400(以下简称为“聚合装置”400)的程序模块示意图。所述聚合装置400可以应用于计算机设备中,所述计算机设备可以是移动电话、平板个人计算机(tablet personal computer)、膝上型计算机(laptopcomputer)、服务器等具有数据传输功能的设备。在本实施例中,聚合装置400可以包括或被分割成一个或多个程序模块,一个或者多个程序模块被存储于存储介质中,并由一个或多个处理器所执行,以完成本发明,并可实现上述多维度数据聚合方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,比程序本身更适合于描述多维度数据聚合方法在存储介质中的执行过程。在一示例性的实施方式中,该数据聚合装置400包括接收模块401、读取模块402、编码模块403、聚合模块404及还原模块405。以下描述将具体介绍本实施例各程序模块的功能:
接收模块401,用于接收业务数据查询指令,所述业务数据查询指令包括至少一个待查询维度和待聚合指标。
具体地,业务数据查询指令为用户对业务数据按照维度进行数据分析而触发的查询指令。该业务数据查询指令中携带有至少一个待查询维度和待聚合指标。其中,待查询维度为根据用户实际查询需求确定的在进行业务数据查询过程中所使用的查询限制条件。所述待聚合指标为需要进行聚合计算的字段。
示例性的,假设存在一个如下表所述的业务数据表points_table:
Enterprise_id | Org_id | User_id | points |
0EA3756D964D21C3E0 54A0369F1934EC | 4BD691DB8D115FFAE0 54022128574717 | 232432DF098RW REWREW898 | 20 |
0EA3756D964D21C3E0 54A0369F1934EC | 4D2898A07EF8A8EBE0 54022128574717 | 232432DF098RW REWREW898 | 12 |
4900D5FA5B9A2F3EE0 54A0369F1934EC | 4D2898A07EF8A8EBE05 4022128574717 | 3214322DF098RW REWREW898 | 23 |
在该业务数据表中包含三个维度字段数据,分别为Enterprise_id(企业ID)、Org_id(业务ID)以及User_id(用户ID),一个指标字段数据,为points。在该业务数据表中,Enterprise_id、Org_id以及User_id字段即可以作为待查询维度,该points字段可以作为待聚合指标。
读取模块402,用于根据所述业务数据查询指令从数据库中读取业务数据表,所述业务数据表中包括多条业务数据,每条业务数据包括多个维度数据和指标数据。
具体地,数据库中存储于业务数据表,当接收到业务数据查询指令时,即可以从数据库中读取业务数据表,以将业务数据表中的所有业务数据读入内存中进行计算。
示例性的,假设读入内存中的业务数据表为上述所述的业务数据表points_table,则从上述业务数据表中可知,该业务数据表中包含有3条业务数据,每条业务数据包含有Enterprise_id、Org_id以及User_id字段的维度数据,以及points字段的指标数据。
编码模块403,用于根据预先建立的维度表对所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表。
具体地,业务数据表中的所述待查询维度下的数据在一般情况下,各个维度数据都是一个位数非常多的一个值,比如,参照上述所述的业务数据表points_table中的enterprise_id字段下的维度数据’00D96EA0707E459982F661BBD89FBB8A’,其是一个32位的值,若采用这样的值参与计算,则需要占用较多的存储资源,以及CPU资源。
本实施例中,为了节省存储资源以及CPU资源,可以预先建立维度表,通过该维度表将位数较多的维度数据映射为位数较少的一个数据,即映射值相对于维度数据是一个位数更少的数据。比如,在一具体示例中,将维度数据:’00D96EA0707E459982F661BBD89FBB8A’映射为’1’,将维度数据:’4900D5FA5B9A2F3EE054A0369F1934EC’映射为’2’。在将所有的维度数据转换为对应的映射值之后,即可以将该业务数据表转换为对应的目标业务数据表。
在一示例性的实施方式中,编码模块403,还用于获取预先建立的维度表,所述维度表中包含有各个维度数据和各个映射值的对应关系;根据所述维度表将所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表。
具体地,在读取业务数据表之前,可以预先建立好维度表,这样,在读取到业务数据表之后,即可以根据事先建立好的维度表对所述待查询维度下的维度数据进行映射编码处理,以将各个维度数据转换为对应的映射值,并在所有的维度数据完成编码处理后,得到的业务数据表即为所述目标业务表。
在本实施中,建立维度表的方法有多种,比如在spark中可以用建临时表的方式实现。对于上述所述的业务数据表points_table,在建立维度表时,可以首先对业务数据表中的所有可作为查询维度的字段建立维度表,比如:enterprise_id字段、Org_id以及User_id字段。在对这些字段建立维度表时,可以将这些字段下的维度数据抽取出来去重后形成中间表的一列,然后用行自增的方式添加新的一列,这样原值和映射值就会一一对应了。也可以采取其他方法建立维度表,比如可以仅仅把所需的查询维度对应的字段抽取出来,去重后形成list集合,然后将对应的下标作为映射值。
需要说明的是,在对所有可查询维度下维度数据建立维度表时,可以仅仅建立一个维度表,也可以按照可查询维度对应的字段建立多个维度表,即可以依次为每一个可查询的维度对应的字段下的维度数据分别建立一个维度表。
本实施例中,通过预先建立维度表,这样,在获取到业务数据表时,即可以立即将维度数据转换为对应的映射值,从而提高数据处理效率。
进一步地,在另一示例性的实施方式中,编码模块403,还用于获取所述待查询维度下的维度数据,对并获取到的维度数据进行去重处理;对经过去重处理后的维度数据进行映射编码处理,以建立所述维度表,其中,所述维度表包含有各个维度数据和各个映射值的对应关系;根据所述维度表将所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表。
具体地,本实施例中在对维度数据进行映射编码处理时,仅仅获取所述待查询维度下的维度数据,然后对获取到的维度数据进行去重处理,之后对去重处理后得到的维度数据进行映射编码处理,得到维度表,其中,映射编码处理的具体方法在上述实施例中已详细描述,在本实施例中不再赘述。
在建立好维度表之后,即可以根据建立好的维度表将业务数据表中的所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表。
在一示例性的实施方式中,所述对经过去重处理后的维度数据进行映射编码处理,以建立所述维度表包括:
对经过去重处理后的维度数据按照所述待查询维度进行映射编码处理,以建立多个维度表,其中,每个维度表包含一个待待查维度下的各个维度数据和各个映射值的对应关系。
具体在,在对经过去重处理后的维度数据进行映射编码处理时,可以按照待查询维度进行映射编码,即若待查询维度存在多个字段,则可以为每一个字段都建立一个对应的维度表。
示例性的,假设业务数据表为上述所述的业务数据表points_table,待查询维度为Enterprise_id、Org_id以及User_id字段,则在建立维度表时,可以建立3个维度表,分别为enterprise_id字段对应的维度表enterprise_id_table,Org_id字段对应的维度表org_id_table,以及User_id字段对应的维度表user_id_table。
其中,在一具体场景中,建立的enterprise_id_table如下表所示:
Id | enterprise_id |
1 | 0EA3756D964D21C3E054A0369F1934EC |
2 | 4900D5FA5B9A2F3EE054A0369F1934EC |
建立的org_id_table如下表所示:
Id | org_id |
1 | 4BD691DB8D115FFAE054022128574717 |
2 | 4D2898A07EF8A8EBE054022128574717 |
建立的user_id_table如下表所示:
Id | user_id |
1 | 232432DF098RWREWREW898 |
2 | 3214322DF098RWREWREW898 |
在本实施例中,当建立如上表所述的维度表之后,则根据上述维度表进行映射编码处理后,即可以得到如下表所述的目标业务数据表:
Enterprise_id | Org_id | User_id | points |
1 | 1 | 1 | 20 |
1 | 2 | 1 | 12 |
2 | 2 | 2 | 23 |
聚合模块404,用于在所述目标业务数据表中按照所述待查询维度对所述待聚合指标下的指标数据进行cube聚合处理,得到聚合数据表。
具体地,cube聚合处理为通过cube运算符进行处理的操作,其中,cube运算符的作用是自动对group by子句中列出的字段进行分组汇总运算。Cube运算符在SQL语句的Groupby子句中指定。该语句的选择列表应包含维度列和聚合函数表达式。Group by应指定维度列和关键字with cube。结果集将包含维度列中各值的所有可能组合,以及与这些维度值组合相匹配的基础行中的聚合值。其中,cube运算符可应用于所有的聚合函数,如:AVG,SUM,MAX,MIN和COUNT。
需要说明的是,在本实施例中在进行cube聚合处理时,Group by语句中指定的维度列为所述待查询维度,聚合函数表达式中包含有所述待聚合指标,以及具体的聚合算法。
在一示例性的实施例中,假设目标业务数据表如上表所述,所述待查询维度为Enterprise_id、Org_id以及User_id,待聚合指标为points,聚合函数为SUM,则经过cube聚合处理后存在如下组合Enterprise_id+points、Org_id+points、User_id+points、Enterprise_id+Org_id+points、Enterprise_id+User_id+point、Org_id+User_id+points、Enterprise_id+Org_id+User_id +points,这些组合组成的聚合数据表如下表所述:
Enterprise_id | Org_id | User_id | points |
1 | (null) | (null) | 32 |
2 | (null) | (null) | 23 |
(null) | 1 | (null) | 20 |
(null) | 2 | (null) | 35 |
(null) | (null) | 1 | 32 |
(null) | (null) | 2 | 23 |
1 | 1 | (null) | 20 |
1 | 2 | (null) | 12 |
2 | 2 | (null) | 23 |
(null) | 1 | 1 | 20 |
(null) | 2 | 1 | 12 |
(null) | 2 | 2 | 23 |
1 | (null) | 1 | 32 |
2 | (null) | 2 | 23 |
1 | 1 | 1 | 20 |
1 | 2 | 1 | 12 |
2 | 2 | 2 | 23 |
(null) | (null) | (null) | 55 |
还原模块405,用于根据所述维度表对所述聚合数据表进行还原处理,得到目标聚合数据表。
具体地,在得到聚合数据表之后,可以采用预先建立的维度表对维度数据进行还原处理,即将维度数据从映射值还原成初始值,从而得到目标聚合数据表。示例性的,以上述所述的业务数据表与维度表为例,则在进行还原处理时,对于Enterprise_id字段建立的维度表,可以将该维度表中的Enterprise_id关联Enterprise_id_table的id,关联后用Enterprise_id_table的Enterprise_id替换此聚合数据表中的Enterprise_id,对于其他字段,可同理采用上述方法进行替换,替换后即完成还原为正常结果,还原后得到的目标聚合表如下:
Enterprise_id | Org_id | User_id | points |
0EA3756D964D21C3E054 A0369F1934EC | (null) | (null) | 32 |
4900D5FA5B9A2F3EE054 A0369F1934EC | (null) | (null) | 23 |
(null) | 4BD691DB8D115FFAE0 54022128574717 | (null) | 20 |
(null) | 4D2898A07EF8A8EBE054 022128574717 | (null) | 35 |
(null) | (null) | 232432DF098RWRE WREW898 | 32 |
(null) | (null) | 3214322DF098RWRE WREW898 | 23 |
0EA3756D964D21C3E054 A0369F1934EC | 4BD691DB8D115FFAE0 54022128574717 | (null) | 20 |
0EA3756D964D21C3E054 A0369F1934EC | 4D2898A07EF8A8EBE054 022128574717 | (null) | 12 |
4900D5FA5B9A2F3EE054 A0369F1934EC | 4D2898A07EF8A8EBE054 022128574717 | (null) | 23 |
(null) | 4BD691DB8D115FFAE0 54022128574717 | 232432DF098RWRE WREW898 | 20 |
(null) | 4D2898A07EF8A8EBE054 022128574717 | 232432DF098RWRE WREW898 | 12 |
(null) | 4D2898A07EF8A8EBE054 022128574717 | 3214322DF098RWRE WREW898 | 23 |
0EA3756D964D21C3E054 A0369F1934EC | (null) | 232432DF098RWRE WREW898 | 32 |
4900D5FA5B9A2F3EE054 A0369F1934EC | (null) | 3214322DF098RWRE WREW898 | 23 |
0EA3756D964D21C3E054 A0369F1934EC | 4BD691DB8D115FFAE0 54022128574717 | 232432DF098RWRE WREW898 | 20 |
0EA3756D964D21C3E054 A0369F1934EC | 4D2898A07EF8A8EBE054 022128574717 | 232432DF098RWRE WREW898 | 12 |
4900D5FA5B9A2F3EE054 A0369F1934EC | 4D2898A07EF8A8EBE054 022128574717 | 3214322DF098RWRE WREW898 | 23 |
(null) | (null) | (null) | 55 |
本实施例通过接收业务数据查询指令,所述业务数据查询指令包括至少一个待查询维度和待聚合指标;根据所述业务数据查询指令从数据库中读取业务数据表,所述业务数据表中包括多条业务数据,每条业务数据包括多个维度数据和指标数据;根据预先建立的维度表对所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表;在所述目标业务数据表中按照所述待查询维度对所述待聚合指标下的指标数据进行cube聚合处理,得到聚合数据表;根据所述维度表对所述聚合数据表进行还原处理,得到目标聚合数据表。本发明实施例通过在对多维度数据进行处理时,将维度数据进行映射编码处理,以将位数比较长的维度数据映射转换为位数较短的映射值,然后采用映射值进行聚合处理,并在完成处理后进行还原,从而可以达到在对维度数据进行处理时,节省内存空间以及cpu消耗的效果。
进一步地,在一示例性实施方式中,所述聚合装置400还包括:上传模块。
所述上传模块,用于将所述目标聚合数据表上传至区块链中。
具体地,为了保证目标聚合数据表的安全性和对用户的公正透明性,可以将得到的目标聚合数据表上传至区块链中,然后用户设备可以从区块链中下载得该目标聚合数据表,以便查证目标聚合数据表是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
参阅图5,是本发明实施例之计算机设备500的硬件架构示意图。在本实施例中,所述计算机设备500是一种能够按照事先设定或者存储的指令,自动进行数值计算和/或信息处理的设备。如图所示,所述计算机设备500至少包括,但不限于,可通过装置总线相互通信连接存储器501、处理器502、网络接口503。其中:
本实施例中,存储器501至少包括一种类型的计算机可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器501可以是计算机设备500的内部存储单元,例如所述计算机设备500的硬盘或内存。在另一些实施例中,存储器501也可以是计算机设备500的外部存储设备,例如所述计算机设备500上配备的插接式硬盘,智能存储卡(Smart Media Card, SMC),安全数字(Secure Digital, SD)卡,闪存卡(Flash Card)等。当然,存储器501还可以既包括计算机设备500的内部存储单元也包括其外部存储设备。本实施例中,存储器501通常用于存储安装于计算机设备500的操作装置和各类应用软件,例如多维度数据聚合装置400的程序代码等。此外,存储器501还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器502在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。所述处理器502通常用于控制计算机设备500的总体操作。本实施例中,处理器502用于运行存储器501中存储的程序代码或者处理数据,例如运行多维度数据聚合装置400,以实现上述各个实施例中的多维度数据聚合方法。
所述网络接口503可包括无线网络接口或有线网络接口,所述网络接口503通常用于在所述计算机设备500与其他电子装置之间建立通信连接。例如,所述网络接口503用于通过网络将所述计算机设备500与外部终端相连,在所述计算机设备500与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯装置(Global System of Mobile communication,GSM)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是,图5仅示出了具有部件501-503的计算机设备500,但是应理解的是,并不要求实施所有示出的部件,可以替代的实施更多或者更少的部件。
在本实施例中,存储于存储器501中的所述多维度数据聚合装置400还可以被分割为一个或者多个程序模块,所述一个或者多个程序模块被存储于存储器501中,并由一个或多个处理器(本实施例为处理器502)所执行,以完成本发明之多维度数据聚合方法。
本实施例还提供一种计算机可读存储介质,如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等,其上存储有计算机程序,程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储多维度数据聚合装置400,以被处理器执行时实现本发明之多维度数据聚合方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种多维度数据聚合方法,其特征在于,包括:
接收业务数据查询指令,所述业务数据查询指令包括至少一个待查询维度和待聚合指标;
根据所述业务数据查询指令从数据库中读取业务数据表,所述业务数据表中包括多条业务数据,每条业务数据包括多个维度数据和指标数据;
根据预先建立的维度表对所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表;
在所述目标业务数据表中按照所述待查询维度对所述待聚合指标下的指标数据进行cube聚合处理,得到聚合数据表;
根据所述维度表对所述聚合数据表进行还原处理,得到目标聚合数据表。
2.如权利要求1所述的多维度数据聚合方法,其特征在于,所述根据预先建立的维度表对所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表包括:
获取预先建立的维度表,所述维度表中包含有各个维度数据和各个映射值的对应关系;
根据所述维度表将所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表。
3.如权利要求1所述的多维度数据聚合方法,其特征在于,所述根据预先建立的维度表对所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表包括:
获取所述待查询维度下的维度数据,对并获取到的维度数据进行去重处理;
对经过去重处理后的维度数据进行映射编码处理,以建立所述维度表,其中,所述维度表包含有各个维度数据和各个映射值的对应关系;
根据所述维度表将所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表。
4.如权利要求3所述的多维度数据聚合方法,其特征在于,所述对经过去重处理后的维度数据进行映射编码处理,以建立所述维度表包括:
对经过去重处理后的维度数据按照所述待查询维度进行映射编码处理,以建立多个维度表,其中,每个维度表包含一个待待查维度下的各个维度数据和各个映射值的对应关系。
5.如权利要求1至4任一项所述的多维度数据聚合方法,其特征在于,所述多维度数据聚合方法还包括:
将所述目标聚合数据表上传至区块链中。
6.一种多维度数据聚合装置,其特征在于,包括:
接收模块,用于接收业务数据查询指令,所述业务数据查询指令包括至少一个待查询维度和待聚合指标;
读取模块,用于根据所述业务数据查询指令从数据库中读取业务数据表,所述业务数据表中包括多条业务数据,每条业务数据包括多个维度数据和指标数据;
编码模块,用于根据预先建立的维度表对所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表;
聚合模块,用于在所述目标业务数据表中按照所述待查询维度对所述待聚合指标下的指标数据进行cube聚合处理,得到聚合数据表;
还原模块,用于根据所述维度表对所述聚合数据表进行还原处理,得到目标聚合数据表。
7.如权利要求6所述的多维度数据聚合装置,其特征在于,所述多编码模块,还用于获取预先建立的维度表,所述维度表中包含有各个维度数据和各个映射值的对应关系;及根据所述维度表将所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表。
8.如权利要求6所述的多维度数据聚合装置,其特征在于,所述多编码模块,还用于获取所述待查询维度下的维度数据,对并获取到的维度数据进行去重处理;对经过去重处理后的维度数据进行映射编码处理,以建立所述维度表,其中,所述维度表包含有各个维度数据和各个映射值的对应关系;及根据所述维度表将所述待查询维度下的维度数据进行映射编码处理,以将每个维度数据转换为对应的映射值,得到目标业务数据表。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的多维度数据聚合方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序可被至少一个处理器所执行,以使所述至少一个处理器执行如权利要求1-5中任一项所述的多维度数据聚合方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110005144.6A CN112328641B (zh) | 2021-01-05 | 2021-01-05 | 多维度数据聚合方法、装置及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110005144.6A CN112328641B (zh) | 2021-01-05 | 2021-01-05 | 多维度数据聚合方法、装置及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112328641A true CN112328641A (zh) | 2021-02-05 |
CN112328641B CN112328641B (zh) | 2021-04-20 |
Family
ID=74302105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110005144.6A Active CN112328641B (zh) | 2021-01-05 | 2021-01-05 | 多维度数据聚合方法、装置及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112328641B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113268514A (zh) * | 2021-05-26 | 2021-08-17 | 深圳壹账通智能科技有限公司 | 多维数据统计方法、装置、电子设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017113123A1 (zh) * | 2015-12-29 | 2017-07-06 | 华为技术有限公司 | 重复数据删除方法及存储设备 |
CN106997054A (zh) * | 2017-03-31 | 2017-08-01 | 北京臻迪科技股份有限公司 | 一种发送装置、接收装置、数据传输方法及传输系统 |
US10169442B1 (en) * | 2012-06-29 | 2019-01-01 | Open Text Corporation | Methods and systems for multi-dimensional aggregation using composition |
CN109213829A (zh) * | 2017-06-30 | 2019-01-15 | 北京国双科技有限公司 | 数据查询方法及装置 |
CN109445696A (zh) * | 2018-10-21 | 2019-03-08 | 山西达鑫核科技有限公司 | 网络聚合存储的信息存储装备 |
US20190171652A1 (en) * | 2012-06-29 | 2019-06-06 | Open Text Corporation | Methods and systems for multi-dimensional aggregation using composition |
CN111737269A (zh) * | 2020-08-26 | 2020-10-02 | 苏州浪潮智能科技有限公司 | 数据查询响应方法、装置及计算机可读存储介质 |
CN111949745A (zh) * | 2020-08-14 | 2020-11-17 | 长春理工大学 | 一种多维度业务数据管理方法及系统 |
-
2021
- 2021-01-05 CN CN202110005144.6A patent/CN112328641B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10169442B1 (en) * | 2012-06-29 | 2019-01-01 | Open Text Corporation | Methods and systems for multi-dimensional aggregation using composition |
US20190171652A1 (en) * | 2012-06-29 | 2019-06-06 | Open Text Corporation | Methods and systems for multi-dimensional aggregation using composition |
WO2017113123A1 (zh) * | 2015-12-29 | 2017-07-06 | 华为技术有限公司 | 重复数据删除方法及存储设备 |
CN106997054A (zh) * | 2017-03-31 | 2017-08-01 | 北京臻迪科技股份有限公司 | 一种发送装置、接收装置、数据传输方法及传输系统 |
CN109213829A (zh) * | 2017-06-30 | 2019-01-15 | 北京国双科技有限公司 | 数据查询方法及装置 |
CN109445696A (zh) * | 2018-10-21 | 2019-03-08 | 山西达鑫核科技有限公司 | 网络聚合存储的信息存储装备 |
CN111949745A (zh) * | 2020-08-14 | 2020-11-17 | 长春理工大学 | 一种多维度业务数据管理方法及系统 |
CN111737269A (zh) * | 2020-08-26 | 2020-10-02 | 苏州浪潮智能科技有限公司 | 数据查询响应方法、装置及计算机可读存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113268514A (zh) * | 2021-05-26 | 2021-08-17 | 深圳壹账通智能科技有限公司 | 多维数据统计方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112328641B (zh) | 2021-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111580965A (zh) | 数据请求的处理方法及系统 | |
CN112115152B (zh) | 数据增量更新及查询方法、装置、电子设备及存储介质 | |
US11620065B2 (en) | Variable length deduplication of stored data | |
CN109714249B (zh) | 一种小程序消息的推送方法及相关装置 | |
CN104750872A (zh) | 一种业务对象的查询方法及装置 | |
CN108121774B (zh) | 一种数据表备份方法及终端设备 | |
CN112328641B (zh) | 多维度数据聚合方法、装置及计算机设备 | |
CN111723077A (zh) | 数据字典维护方法、装置及计算机设备 | |
CN106844320B (zh) | 一种财务报表整合方法和设备 | |
CN114741368A (zh) | 基于人工智能的日志数据统计方法及相关设备 | |
CN116719822B (zh) | 一种海量结构化数据的存储方法及系统 | |
CN116842012A (zh) | 一种Redis集群的分片存储方法、装置、设备及存储介质 | |
CN104866535A (zh) | 一种号段记录压缩方法及装置 | |
CN109190039B (zh) | 确定相似对象的方法、装置及计算机可读存储介质 | |
CN111611056A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
CN113190381A (zh) | 数据备份方法、系统、设备及存储介质 | |
CN111158994A (zh) | 一种压测性能测试方法及装置 | |
CN112417012A (zh) | 数据处理方法及系统 | |
CN113434359B (zh) | 数据溯源系统构建方法、装置、电子设备及可读存储介质 | |
CN110489515B (zh) | 通讯录检索的方法、服务器及存储介质 | |
CN112328960B (zh) | 数据运算的优化方法、装置、电子设备及存储介质 | |
CN112487039B (zh) | 一种数据处理方法、装置、设备及可读存储介质 | |
CN112015586B (zh) | 一种数据重构计算的方法以及相关装置 | |
CN108319750B (zh) | 基于dwg文件拆分和重组方法的地铁工程协同设计系统 | |
CN113485683A (zh) | Rtc代码量统计方法、系统、介质及终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |