CN110502519B - 一种数据聚合的方法、装置、设备及存储介质 - Google Patents

一种数据聚合的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110502519B
CN110502519B CN201910792077.XA CN201910792077A CN110502519B CN 110502519 B CN110502519 B CN 110502519B CN 201910792077 A CN201910792077 A CN 201910792077A CN 110502519 B CN110502519 B CN 110502519B
Authority
CN
China
Prior art keywords
field
data
sub
aggregation
fields
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910792077.XA
Other languages
English (en)
Other versions
CN110502519A (zh
Inventor
张建业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qidi Block Chain Technology Development Co ltd
Original Assignee
Beijing Qidi Block Chain Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qidi Block Chain Technology Development Co ltd filed Critical Beijing Qidi Block Chain Technology Development Co ltd
Priority to CN201910792077.XA priority Critical patent/CN110502519B/zh
Publication of CN110502519A publication Critical patent/CN110502519A/zh
Application granted granted Critical
Publication of CN110502519B publication Critical patent/CN110502519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465Query processing support for facilitating data mining operations in structured databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据聚合的方法、装置、设备及存储介质。其中,该方法包括:获取待聚合的至少两个数据表信息,并确定至少两个数据表中的至少两个公共字段;若任一公共字段在所述至少两个数据表中的取值相同,则将该公共字段作为主字段,并将其他公共字段作为副字段;根据所述副字段的聚合配置信息,从所述至少两个数据表中确定副字段中数据项的目标取值;根据所述主字段的取值,以及副字段中数据项的目标取值,生成聚合数据表。本发明实施例实现了将多个数据表中多个公共字段进行聚合,提高了数据聚合的效率,避免信息遗漏和信息冗余。

Description

一种数据聚合的方法、装置、设备及存储介质
技术领域
本发明实施例涉及互联网技术,尤其涉及一种数据聚合的方法、装置、设备及存储介质。
背景技术
随着互联网的不断发展,数据量不断增多,在进行数据分析及数据挖掘时,需要将两张及两张以上的相同结构、字段间具备关联性的数据表中的数据聚合至一张表中,进而减少冗余数据及重复数据存在,提升数据查询的效率。
目前,在对相同结构的数据表进行聚合时,要选择两个表中可做唯一标识的字段,进行关联。然而,在做字段关联时,两个表不止一个字段是有关联的,还存在其他关联字段。如A表和B表中,都存在身份证号和地址两个字段,身份证号做关联后,在选择接入字段时,只会对身份证号字段进行数据融合,而两个表中的地址信息没有办法聚合,只能选择其中一个表的地址数据,存在信息遗漏或信息冗余的可能。
发明内容
本发明实施例提供一种数据聚合的方法、装置、设备及存储介质,以实现对多张结构相同的数据库表进行多个公共字段的数据聚合,提高数据聚合的效率。
第一方面,本发明实施例提供了一种数据聚合的方法,包括:
获取待聚合的至少两个数据表信息,并确定至少两个数据表中的至少两个公共字段;
若任一公共字段在所述至少两个数据表中的取值相同,则将该公共字段作为主字段,并将其他公共字段作为副字段;
根据所述副字段的聚合配置信息,从所述至少两个数据表中确定副字段中数据项的目标取值;
根据所述主字段的取值,以及副字段中数据项的目标取值,生成聚合数据表。
可选的,所述根据所述副字段的聚合配置信息,从所述至少两个数据表中确定副字段中数据项的目标取值,包括:
若任一副字段的聚合配置信息中包括该副字段的主数据表,则从该主数据表中获取该副字段中数据项的目标取值。
可选的,所述根据所述副字段的聚合配置信息,从所述至少两个数据表中确定副字段中数据项的目标取值,还包括:
若任一副字段的聚合配置信息中包括该副字段的聚合条件,则从所述至少两个数据表中获取该副字段中数据项的候选取值;
将符合所述聚合条件的该副字段中数据项的候选取值,作为副字段中数据项的目标取值。
可选的,所述聚合条件为时间最新条件;
所述将符合所述聚合条件的该副字段中数据项的候选取值,作为副字段中数据项的目标取值,包括:
针对该副字段中每一数据项,从该副字段中数据项的候选取值中选择时间在后的值作为该副字段中该数据项的目标取值。
第二方面,本发明实施例还提供了一种数据聚合的装置,包括:
公共字段确定模块,用于获取待聚合的至少两个数据表信息,并确定至少两个数据表中的至少两个公共字段;
主副字段确定模块,用于若任一公共字段在所述至少两个数据表中的取值相同,则将该公共字段作为主字段,并将其他公共字段作为副字段;
副字段取值确定模块,用于根据所述副字段的聚合配置信息,从所述至少两个数据表中确定副字段中数据项的目标取值;
聚合数据表生成模块,用于根据所述主字段的取值,以及副字段中数据项的目标取值,生成聚合数据表。
可选的,所述副字段取值确定模块,包括:
主数据表取值获取单元,用于若任一副字段的聚合配置信息中包括该副字段的主数据表,则从该主数据表中获取该副字段中数据项的目标取值。
可选的,所述副字段取值确定模块,还包括:
数据项取值获取单元,用于若任一副字段的聚合配置信息中包括该副字段的聚合条件,则从所述至少两个数据表中获取该副字段中数据项的候选取值;
将符合所述聚合条件的该副字段中数据项的候选取值,作为副字段中数据项的目标取值。
可选的,所述聚合条件为时间最新条件;
所述数据项取值获取单元,具体用于:
针对该副字段中每一数据项,从该副字段中数据项的候选取值中选择时间在后的值作为该副字段中该数据项的目标取值。
第三方面,本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本发明任意实施例所述的数据聚合的方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例所述的数据聚合的方法。
本发明实施例通过读取多个数据表的信息,聚合其中的公共字段,公共字段在不同数据表中取值不同的情况下,通过根据公共字段的聚合配置信息从数据表中获取需要的数据,避免了在数据表聚合过程中出现信息遗漏或信息冗余的问题。
附图说明
图1是本发明实施例一中的一种数据聚合方法的流程示意图;
图2是本发明实施例二中的一种数据聚合方法的流程示意图;
图3是本发明实施例三中的一种数据聚合装置的结构框图;
图4是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种数据聚合方法的流程示意图,本实施例可适用于聚合多个数据表信息的情况,该方法可以由一种数据聚合装置来执行。如图1所示,该方法具体包括如下步骤:
步骤110、获取待聚合的至少两个数据表信息,并确定至少两个数据表中的至少两个公共字段。
其中,用户通过输入账号和密码登录数据库,保持数据库的联通状态。服务器读取数据库中的数据表信息,从数据库中选择至少两个要聚合的数据表,也可以由用户直接读取数据库中的数据表信息,自主选择要聚合的数据表。选择数据表的依据可以是确定在数据表中存在至少两个公共字段,将存在公共字段的数据表进行聚合。公共字段是字段名称相同的字段,但字段中的数据可以相同,也可以不相同。
例如,服务器获取了两个待聚合的数据表信息,两个数据表中都存在ID、姓名和成绩字段,则ID、姓名和成绩是待聚合的公共字段。如表1、表2所示,表1是第一个待聚合的数据表,表2是第二个待聚合的数据表。
表1待聚合数据表1
ID 姓名 成绩
1 张三 80
2 李四 70
表2待聚合数据表2
ID 姓名 成绩
1 张三 85
2 王五 75
步骤120、若任一公共字段在至少两个数据表中的取值相同,则将该公共字段作为主字段,并将其他公共字段作为副字段。
具体的,服务器读取公共字段中的数据信息,若在所获取的至少两个数据表中,公共字段中的取值完全一致,则将该公共字段作为主字段,直接将主字段中的数据信息拷贝到待生成的新聚合数据表中;若公共字段中的取值不完全一致,则将该公共字段作为副字段。如表1、表2所示,ID字段为主字段,姓名和成绩字段为副字段。本实施例中对主字段的数量不设限制,若存在多个主字段,则将多个主字段的数据都拷贝到待生成的新聚合数据表中。
步骤130、根据副字段的聚合配置信息,从至少两个数据表中确定副字段中数据项的目标取值。
其中,副字段可以设置有聚合配置信息,聚合配置信息可以由用户设置,服务器通过聚合配置信息可以确定待聚合的副字段中的目标取值,即当副字段在多个数据表中取值不同时,可以根据聚合配置信息得到正确的取值,从至少两个数据表中确定该副字段中不同取值数据项的目标取值。例如,姓名字段中的取值可以由表1确定,成绩字段中的取值可以由表2确定。
可选的,若任一副字段的聚合配置信息中包括该副字段的主数据表,则从该主数据表中获取该副字段中数据项的目标取值。
具体的,若任意副字段的聚合配置信息为从至少两个数据表中的某一个数据表确定取值,则该数据表为该副字段的主数据表,主数据表中该副字段各数据项的取值即为待生成的新聚合数据表中该副字段各数据项的目标取值,其他的数据表中该副字段中的信息对待生成的新聚合数据表中该副字段的信息不产生影响。可以对除主数据表之外的数据表设置针对该副字段的优先补充顺序,若主数据表中该副字段的数据项存在空值,则可以从除主数据表之外的数据表中按照优先顺序对空值的数据项进行数据补充。例如,表1为姓名字段的主数据表,则待生成的新聚合数据表中,姓名字段的取值为张三和李四。
可选的,若任一副字段的聚合配置信息中包括该副字段的聚合条件,则从至少两个数据表中获取该副字段中数据项的候选取值;将符合聚合条件的该副字段中数据项的候选取值,作为副字段中数据项的目标取值。
具体的,用户预先在服务器中设置聚合配置信息中的聚合条件,可以针对不同副字段设置不同的聚合条件,若某一副字段的聚合配置信息为预设的一个聚合条件,则服务器根据聚合条件从至少两个数据表中获取该副字段数据项的候选取值,可以将至少两个数据表中该副字段中数据项的数据进行一一比对得到符合聚合条件的数据,该副字段的候选取值可以从同一个数据表中获取,也可以从不同数据表中获取。例如,表1、表2中成绩字段的聚合条件为最新时间的成绩,表1中的成绩是2019年6月19日的成绩,表2中的成绩是2019年8月19日的成绩,则表2中成绩字段的取值为该字段数据项的候选取值。若表2中第一个人的成绩更新时间比表1中第一个人的成绩更新时间早,则将表1中第一个人的成绩作为该数据项的候选取值。符合聚合条件的候选取值,即为待生成的新聚合数据表中该副字段数据项的目标取值。可以设置副字段的默认聚合配置信息,当某副字段找不到对应的聚合配置信息时,可以根据默认聚合配置信息进行聚合,例如,默认聚合配置信息为表1的信息,若没有给成绩字段设置对应的主数据表或聚合条件,则以表1中成绩字段的信息为准,进行聚合。
步骤140、根据主字段的取值,以及副字段中数据项的目标取值,生成聚合数据表。
其中,在数据项取值完全一致的主字段中,数据项取值即为该主字段的目标取值,将该主字段的目标取值直接拷贝到待生成的新聚合数据表中。根据副字段的聚合配置信息,确定副字段中数据项的目标取值,将副字段中数据项的目标取值拷贝到待生成的新聚合数据表中,生成新的聚合数据表。若在数据表中存在非公共字段,则在聚合数据表中不显示非公共字段和非公共字段的取值。
例如,表1、表2中的ID字段为主字段,姓名和成绩字段为副字段,姓名字段的取值以表1作为主数据表进行取值,成绩字段的取值以时间最新作为聚合条件进行取值,表2中成绩的更新时间比表1中成绩的更新时间较晚,所以,成绩字段的取值以表2为准,新的聚合数据表如表3所示。
表3聚合数据表1
ID 姓名 成绩
1 张三 85
2 李四 75
本发明实施例的技术方案,通过获取多个待聚合的数据表信息,并确定数据表中的公共字段,将公共字段分为主字段和副字段,根据副字段的不同聚合配置信息,从多个数据表中获取正确的目标取值,解决了现有技术中在聚合数据时,只能聚合一个公共字段,而其他公共字段会发生数据冗余或遗漏的问题,提高了数据聚合的效率。
实施例二
图2为本发明实施例二提供的一种数据聚合方法的流程示意图。本实施例以上述实施例为基础进行进一步的优化。如图2所示,本实施例提供的数据聚合方法具体包括如下步骤:
步骤210、获取待聚合的至少两个数据表信息,并确定至少两个数据表中的至少两个公共字段。
具体的,可以由服务器获取至少两个数据表信息,并确定在至少两个数据表中存在至少两个公共字段。例如,服务器获取了两个数据表,表4为一个待聚合的数据表,表5为另一个待聚合的数据表。
表4待聚合数据表4
ID 姓名 成绩
1 张三 65
2 李四 92
表5待聚合数据表5
ID 姓名 成绩
1 张三 91
2 李四 77
表4、表5中存在三个公共字段,分别是ID、姓名和成绩。
步骤220、若任一公共字段在至少两个数据表中的取值相同,则将该公共字段作为主字段,并将其他公共字段作为副字段。
具体的,若在至少两个数据表中,某一公共字段的数据项取值完全一致,则该公共字段为主字段,若某一公共字段的取值不完全一致,则该公共字段为副字段。例如,在表4、表5中,ID和姓名为主字段,成绩为副字段。
步骤230、根据副字段的聚合配置信息,从至少两个数据表中确定副字段中数据项的目标取值;其中,若任一副字段的聚合配置信息中包括该副字段的聚合条件,则从至少两个数据表中获取该副字段中数据项的候选取值;将符合聚合条件的该副字段中数据项的候选取值,作为副字段中数据项的目标取值。
具体的,由用户在服务器中预设不同副字段的聚合配置信息,根据副字段的聚合配置信息,可以从至少两个数据表中确定副字段中数据项的目标取值。聚合配置信息可以是将一个数据表作为一个副字段的主表,则该副字段的目标取值即为该数据表中该副字段的取值。聚合配置信息也可以由用户设置具体的聚合条件,若任一副字段的聚合配置信息中包括该副字段的聚合条件,则从至少两个数据表中获取该副字段数据项中满足该聚合条件的候选取值,将符合聚合条件的该副字段数据项的候选取值,作为该副字段数据项的目标取值。
可选的,聚合条件可以为时间最新条件,针对该副字段中每一数据项,从该副字段中数据项的候选取值中选择时间在后的值作为该副字段中该数据项的目标取值。
具体的,若待聚合的两个数据表中,在相同数据项位置处存在不同的取值,则获取这两个取值的更新时间,将更新时间在后的取值作为该数据项的目标取值。例如,表4中张三成绩的更新时间为2019年8月19日,李四成绩的更新时间为2019年6月19日,表5中张三成绩的更新时间为2019年6月19日,李四成绩的更新时间为2019年8月19日,则根据时间最新的聚合条件,张三成绩的目标取值为表4中的65,李四成绩的目标取值为表5中的77。
聚合条件还可以是数值的取值范围、位置的地理范围等其他数据划分标准。若要求聚合的成绩数值大于90,则张三成绩的目标取值为表5的91,李四成绩的目标取值为表4的92。
步骤240、根据主字段的取值,以及副字段中数据项的目标取值,生成聚合数据表。
具体的,将主字段的取值和副字段的目标取值拷贝到待生成的新聚合数据表中,例如,以时间最新作为成绩字段的聚合条件,表4、表5聚合后的新聚合数据表如表6所示。
表6聚合数据表2
ID 姓名 成绩
1 张三 65
2 李四 77
本发明实施例在获取至少两个数据表的信息之后,确定公共字段中的主字段和副字段,根据用户预先设置的聚合条件,确定副字段的目标取值,聚合条件可以是时间等判断标准,通过聚合条件,可以得到用户想要的目标取值,避免了信息冗余和遗漏,提高了数据聚合的效率。
实施例三
图3是本发明实施例三所提供的一种数据聚合装置的结构框图,可执行本发明任意实施例所提供的数据聚合方法,具备执行方法相应的功能模块和有益效果。如图3所示,该装置包括:
公共字段确定模块301,用于获取待聚合的至少两个数据表信息,并确定至少两个数据表中的至少两个公共字段;
主副字段确定模块302,用于若任一公共字段在至少两个数据表中的取值相同,则将该公共字段作为主字段,并将其他公共字段作为副字段;
副字段取值确定模块303,用于根据副字段的聚合配置信息,从至少两个数据表中确定副字段中数据项的目标取值;
聚合数据表生成模块304,用于根据主字段的取值,以及副字段中数据项的目标取值,生成聚合数据表。
可选的,副字段取值确定模块303,包括:
主数据表取值获取单元,用于若任一副字段的聚合配置信息中包括该副字段的主数据表,则从该主数据表中获取该副字段中数据项的目标取值。
可选的,副字段取值确定模块303,还包括:
数据项取值获取单元,用于若任一副字段的聚合配置信息中包括该副字段的聚合条件,则从至少两个数据表中获取该副字段中数据项的候选取值;
将符合聚合条件的该副字段中数据项的候选取值,作为副字段中数据项的目标取值。
可选的,聚合条件为时间最新条件;
数据项取值获取单元,具体用于:
针对该副字段中每一数据项,从该副字段中数据项的候选取值中选择时间在后的值作为该副字段中该数据项的目标取值。
本发明实施例通过获取至少两个待聚合的数据表信息,并确定其中的公共字段,将字段中数据项取值完全相同的主字段信息拷贝到聚合数据表中,字段中数据项不完全相同的副字段根据聚合配置信息,从相应的数据表中得到正确的取值,与主字段组成新的聚合数据表,实现了将多个数据表中多个公共字段的数据进行聚合,避免数据的冗余或遗漏,提高了数据聚合的效率。
实施例四
图4是本发明实施例四提供的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备400的框图。图4显示的计算机设备400仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,计算机设备400以通用计算设备的形式表现。计算机设备400的组件可以包括但不限于:一个或者多个处理器或者处理单元401,系统存储器402,连接不同系统组件(包括系统存储器402和处理单元401)的总线403。
总线403表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备400典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备400访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器402可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)404和/或高速缓存存储器405。计算机设备400可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统406可以用于读写不可移动的、非易失性磁介质(图4未显示,通常称为“硬盘驱动器”)。尽管图4中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线403相连。存储器402可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块407的程序/实用工具408,可以存储在例如存储器402中,这样的程序模块407包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块407通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备400也可以与一个或多个外部设备409(例如键盘、指向设备、显示器410等)通信,还可与一个或者多个使得用户能与该计算机设备400交互的设备通信,和/或与使得该计算机设备400能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口411进行。并且,计算机设备400还可以通过网络适配器412与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器412通过总线403与计算机设备400的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备400使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元401通过运行存储在系统存储器402中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的数据聚合方法,包括:
获取待聚合的至少两个数据表信息,并确定至少两个数据表中的至少两个公共字段;
若任一公共字段在至少两个数据表中的取值相同,则将该公共字段作为主字段,并将其他公共字段作为副字段;
根据副字段的聚合配置信息,从至少两个数据表中确定副字段中数据项的目标取值;
根据主字段的取值,以及副字段中数据项的目标取值,生成聚合数据表。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所提供的数据聚合方法,包括:
获取待聚合的至少两个数据表信息,并确定至少两个数据表中的至少两个公共字段;
若任一公共字段在至少两个数据表中的取值相同,则将该公共字段作为主字段,并将其他公共字段作为副字段;
根据副字段的聚合配置信息,从至少两个数据表中确定副字段中数据项的目标取值;
根据主字段的取值,以及副字段中数据项的目标取值,生成聚合数据表。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (6)

1.一种数据聚合的方法,其特征在于,包括:
获取待聚合的至少两个数据表信息,并确定至少两个数据表中的至少两个公共字段;
若任一公共字段在所述至少两个数据表中的取值相同,则将该公共字段作为主字段,并将其他公共字段作为副字段;
根据所述副字段的聚合配置信息,从所述至少两个数据表中确定副字段中数据项的目标取值;
根据所述主字段的取值,以及副字段中数据项的目标取值,生成聚合数据表;
所述根据所述副字段的聚合配置信息,从所述至少两个数据表中确定副字段中数据项的目标取值,包括:
若任一副字段的聚合配置信息中包括该副字段的聚合条件,则从所述至少两个数据表中获取该副字段中数据项的候选取值;
将符合所述聚合条件的该副字段中数据项的候选取值,作为副字段中数据项的目标取值;
所述聚合条件为时间最新条件;所述将符合所述聚合条件的该副字段中数据项的候选取值,作为副字段中数据项的目标取值,包括:
针对该副字段中每一数据项,从该副字段中数据项的候选取值中选择时间在后的值作为该副字段中该数据项的目标取值。
2.根据权利要求1所述的方法,其特征在于,所述根据所述副字段的聚合配置信息,从所述至少两个数据表中确定副字段中数据项的目标取值,包括:
若任一副字段的聚合配置信息中包括该副字段的主数据表,则从该主数据表中获取该副字段中数据项的目标取值。
3.一种数据聚合的装置,其特征在于,包括:
公共字段确定模块,用于获取待聚合的至少两个数据表信息,并确定至少两个数据表中的至少两个公共字段;
主副字段确定模块,用于若任一公共字段在所述至少两个数据表中的取值相同,则将该公共字段作为主字段,并将其他公共字段作为副字段;
副字段取值确定模块,用于根据所述副字段的聚合配置信息,从所述至少两个数据表中确定副字段中数据项的目标取值;
聚合数据表生成模块,用于根据所述主字段的取值,以及副字段中数据项的目标取值,生成聚合数据表;
所述副字段取值确定模块,包括:
数据项取值获取单元,用于若任一副字段的聚合配置信息中包括该副字段的聚合条件,则从所述至少两个数据表中获取该副字段中数据项的候选取值;
将符合所述聚合条件的该副字段中数据项的候选取值,作为副字段中数据项的目标取值;
所述聚合条件为时间最新条件;所述数据项取值获取单元,具体用于:
针对该副字段中每一数据项,从该副字段中数据项的候选取值中选择时间在后的值作为该副字段中该数据项的目标取值。
4.根据权利要求3所述的装置,其特征在于,所述副字段取值确定模块,包括:
主数据表取值获取单元,用于若任一副字段的聚合配置信息中包括该副字段的主数据表,则从该主数据表中获取该副字段中数据项的目标取值。
5.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-2中任一所述的数据聚合的方法。
6.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-2中任一所述的数据聚合的方法。
CN201910792077.XA 2019-08-26 2019-08-26 一种数据聚合的方法、装置、设备及存储介质 Active CN110502519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910792077.XA CN110502519B (zh) 2019-08-26 2019-08-26 一种数据聚合的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910792077.XA CN110502519B (zh) 2019-08-26 2019-08-26 一种数据聚合的方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110502519A CN110502519A (zh) 2019-11-26
CN110502519B true CN110502519B (zh) 2022-04-29

Family

ID=68589711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910792077.XA Active CN110502519B (zh) 2019-08-26 2019-08-26 一种数据聚合的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110502519B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814445B (zh) * 2020-06-19 2024-10-11 第四范式(北京)技术有限公司 一种数据表的生成方法、装置及系统
CN112000841B (zh) * 2020-07-29 2023-09-26 北京达佳互联信息技术有限公司 电子标签数据的处理方法、装置、电子设备及存储介质
CN111985194A (zh) * 2020-09-03 2020-11-24 深圳壹账通智能科技有限公司 数据存储方法、装置、电子设备及存储介质
CN112131258B (zh) * 2020-09-23 2023-03-24 创新奇智(重庆)科技有限公司 数据拼接方法、装置、设备及计算机存储介质
CN113190552B (zh) * 2021-04-20 2024-02-27 北京异乡旅行网络科技有限公司 房源信息处理的方法及装置
CN114328606B (zh) * 2021-12-30 2022-11-29 星环信息科技(上海)股份有限公司 Sql执行效率的提高方法、设备及存储介质
CN114579584B (zh) * 2022-05-06 2022-08-09 腾讯科技(深圳)有限公司 数据表处理方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106033436A (zh) * 2015-03-13 2016-10-19 中国石油化工股份有限公司 一种数据库的合并方法
CN107402978A (zh) * 2017-07-04 2017-11-28 第四范式(北京)技术有限公司 拼接数据记录的方法及装置
CN108572963A (zh) * 2017-03-09 2018-09-25 北京京东尚科信息技术有限公司 信息获取方法和装置
CN109254969A (zh) * 2018-08-31 2019-01-22 平安科技(深圳)有限公司 数据表处理方法、装置、设备及存储介质
CN109690521A (zh) * 2017-12-28 2019-04-26 深圳配天智能技术研究院有限公司 一种数据库合并的方法以及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070150520A1 (en) * 2005-12-08 2007-06-28 Microsoft Corporation User defined event rules for aggregate fields

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106033436A (zh) * 2015-03-13 2016-10-19 中国石油化工股份有限公司 一种数据库的合并方法
CN108572963A (zh) * 2017-03-09 2018-09-25 北京京东尚科信息技术有限公司 信息获取方法和装置
CN107402978A (zh) * 2017-07-04 2017-11-28 第四范式(北京)技术有限公司 拼接数据记录的方法及装置
CN109690521A (zh) * 2017-12-28 2019-04-26 深圳配天智能技术研究院有限公司 一种数据库合并的方法以及装置
CN109254969A (zh) * 2018-08-31 2019-01-22 平安科技(深圳)有限公司 数据表处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110502519A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
CN110502519B (zh) 一种数据聚合的方法、装置、设备及存储介质
US20180323965A1 (en) Reduction in storage usage in blockchain
CN111709527A (zh) 运维知识图谱库的建立方法、装置、设备及存储介质
CN111258966A (zh) 一种数据去重方法、装置、设备及存储介质
CN111061740B (zh) 一种数据同步方法、设备和存储介质
CN111427971B (zh) 用于计算机系统的业务建模方法、装置、系统和介质
US20170075863A1 (en) Copying text format pattern
US20190065548A1 (en) Method and system of optimizing database system, electronic device and storage medium
CN109241100B (zh) 一种查询方法、装置、设备及存储介质
CN109376173A (zh) 一种数据查询方法、装置、电子设备及存储介质
CN112947986B (zh) 多版本代码签入控制方法、装置、客户端及存储介质
CN112039975A (zh) 一种报文字段的处理方法、装置、设备及存储介质
CN111737564A (zh) 一种信息查询方法、装置、设备及介质
WO2019071907A1 (zh) 基于操作页面识别帮助信息的方法及应用服务器
CN110555150A (zh) 一种数据监控方法、装置、设备和存储介质
CN111930317A (zh) 基于ceph数据分布方法、装置、服务器及存储介质
CN113076358A (zh) 一种报表生成方法、装置、设备及存储介质
CN112948396A (zh) 数据存储方法、装置、电子设备及存储介质
CN110362404B (zh) 一种基于sql的资源分配方法、装置和电子设备
CN110175128B (zh) 一种相似代码案例获取方法、装置、设备和存储介质
CN104424525B (zh) 辅助确定项目范围的方法和装置
CN109800361A (zh) 一种兴趣点名称的挖掘方法、装置、电子设备及存储介质
CN114201729A (zh) 一种矩阵运算方式的选择方法、装置、设备以及存储介质
CN110297842B (zh) 一种数据比对方法、装置、终端和存储介质
CN110457705B (zh) 一种兴趣点数据处理方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant