CN112732763A - 数据的聚合方法、装置、电子设备及介质 - Google Patents

数据的聚合方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN112732763A
CN112732763A CN202110077831.9A CN202110077831A CN112732763A CN 112732763 A CN112732763 A CN 112732763A CN 202110077831 A CN202110077831 A CN 202110077831A CN 112732763 A CN112732763 A CN 112732763A
Authority
CN
China
Prior art keywords
data
template
analysis data
aggregation
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110077831.9A
Other languages
English (en)
Inventor
刘洋洋
宁志明
王理达
张孟康
夏曙东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing China Transinfo Stock Co ltd
Original Assignee
Beijing China Transinfo Stock Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing China Transinfo Stock Co ltd filed Critical Beijing China Transinfo Stock Co ltd
Priority to CN202110077831.9A priority Critical patent/CN112732763A/zh
Publication of CN112732763A publication Critical patent/CN112732763A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24553Query execution of query operations
    • G06F16/24554Unary operations; Data partitioning operations
    • G06F16/24556Aggregation; Duplicate elimination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462Approximate or statistical queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据的聚合方法、装置、电子设备及介质。本申请中,可以获取业务参数代码后,将该业务参数代码与第一模板组装为与第一模板具有相匹配的数据结构的第一解析数据,并将第一解析数据存储到MongoDB数据库中,并将业务参数代码与第二模板组装为第二模板数据,生成第二解析数据,并将第二解析数据存储到第三方数据库后,当获取到聚合指令时,将第三方数据库中的第二解析数据与MongoDB数据库中的第一解析数据进行数据聚合。通过应用本申请的技术方案,可以解决对第三方数据库阶段特性的依赖,完成自身数据和第三方数据库数据的动态拆分。而后进行统计与聚合,实现展示阶段用户可自定义功能,解决了开发的局限性,实现产品形态的灵活多变。

Description

数据的聚合方法、装置、电子设备及介质
技术领域
本申请中涉及数据处理技术,尤其是一种数据的聚合方法、装置、电子设备及介质。
背景技术
在做持续集成和持续部署的开发工作中,通常会遇到项目的阶段性任务与依赖的第三方数据库的阶段特性不匹配的问题。对此,开发人经常无法及时有效的获取存储在第三方数据中的业务数据。这也导致会极大限制了研发人员对于持续集成持续部署各阶段功能的开发时间。
发明内容
本申请实施例提供一种数据的聚合方法、装置、电子设备及介质,其中,根据本申请实施例的一个方面,提供的一种数据的聚合方法,其特征在于,包括:
获取业务参数代码;
将所述业务参数代码与第一模板组装为第一解析数据,并将所述第一解析数据存储到MongoDB数据库中,其中所述第一解析数据与所述第一模板具有相匹配的数据结构;
将所述业务参数代码与第二模板组装为第二模板数据,生成第二解析数据,并将所述第二解析数据存储到第三方数据库中;
当获取到聚合指令时,将所述第三方数据库中的第二解析数据与所述MongoDB数据库中的第一解析数据进行数据聚合。
可选地,在基于本申请上述方法的另一个实施例中,所述将所述业务参数代码与第一模板组装为第一解析数据,包括:
获取所述第三方数据库对应的目标数据结构以及第二模板;
提取所述业务参数代码中的数据结构标识,并将所述业务参数代码转换为所述目标数据结构;
将转换为所述目标数据结构的业务参数代码对所述第一模板组中的动态参数项进行替换,得到所述第一解析数据。
可选地,在基于本申请上述方法的另一个实施例中,在所述将所述业务参数代码与第一模板组装为第一解析数据之前,还包括:
生成文件上传模板以及镜像上传模板,所述镜像上传模板用于将镜像文件上传到所述MongoDB数据库的私有镜像仓库;
生成部署功能模板,所述部署功能模板用于将解压所述第一解析数据;
基于业务场景需求、所述文件上传模板、镜像上传模板以及所述部署功能模板,生成所述第一模板,所述第一模板用于将所述业务参数代码解析,生成第一解析数据并上传到所述MongoDB数据库。
可选地,在基于本申请上述方法的另一个实施例中,所述将所述业务参数代码与第一模板组装为第一解析数据之后,还包括:
记录所述第一解析数据与所述第二解析数据的匹配规则;
将所述匹配规则与所述第一解析数据共同存储到MongoDB数据库中。
可选地,在基于本申请上述方法的另一个实施例中,所述当获取到聚合指令时,将所述MongoDB数据库中的第一解析数据与所述第三方数据库中的第二解析数据进行数据聚合,包括:
当获取到聚合指令时,获取所述MongoDB数据库中的所述匹配规则与所述第一解析数据;
基于所述匹配规则,从所述第三方数据库中获取所述第二解析数据;
将所述第一解析数据与所述第二解析数据进行数据聚合。
可选地,在基于本申请上述方法的另一个实施例中,所述将所述业务参数代码与第一模板组装为第一解析数据,包括:
利用双指针算法,将所述第一解析数据与所述第二解析数据进行数据聚合。
可选地,在基于本申请上述方法的另一个实施例中,在所述将所述业务参数代码与第二模板组装为第二模板数据之前,还包括:
获取所述第三方数据库的数据结构以及参数要求,生成所述第三方数据库对应的模板动态参数项;
获取所述业务参数代码对应的待匹配模板标识,并将所述待匹配模板标识与预设的多个候选模板标识进行一一匹配,得到第三模板,所述第三模板为与所述待匹配模板标识相匹配的模板;
将所述模板动态参数项装载到所述第三模板中,生成所述第二模板。
可选地,在基于本申请上述方法的另一个实施例中,在所述将所述第三方数据库中的第二解析数据与所述MongoDB数据库中的第一解析数据进行数据聚合之后,还包括:
将所述第二解析数据与所述第一解析数据进行数据聚合,得到聚合数据组;
将所述聚合数据组组装为泳道数据,并将所述泳道数据发送给所述聚合指令指定的接收方。
其中,根据本申请实施例的又一个方面,提供的一种数据的聚合装置,其特征在于,包括:
获取模块,被配置为获取业务参数代码;
生成模块,被配置为将所述业务参数代码与第一模板组装为第一解析数据,并将所述第一解析数据存储到MongoDB数据库中,其中所述第一解析数据与所述第一模板具有相匹配的数据结构;
存储模块,被配置为将所述业务参数代码与第二模板组装为第二模板数据,生成第二解析数据,并将所述第二解析数据存储到第三方数据库中;
聚合模块,被配置为当获取到聚合指令时,将所述第三方数据库中的第二解析数据与所述MongoDB数据库中的第一解析数据进行数据聚合。
根据本申请实施例的又一个方面,提供的一种电子设备,包括:
存储器,用于存储可执行指令;以及
显示器,用于与所述存储器显示以执行所述可执行指令从而完成上述任一所述数据的聚合方法的操作。
根据本申请实施例的还一个方面,提供的一种计算机可读存储介质,用于存储计算机可读取的指令,所述指令被执行时执行上述任一所述数据的聚合方法的操作。
本申请中,可以获取业务参数代码后,将该业务参数代码与第一模板组装为与第一模板具有相匹配的数据结构的第一解析数据,并将第一解析数据存储到MongoDB数据库中,并将业务参数代码与第二模板组装为第二模板数据,生成第二解析数据,并将第二解析数据存储到第三方数据库后,当获取到聚合指令时,将第三方数据库中的第二解析数据与MongoDB数据库中的第一解析数据进行数据聚合。通过应用本申请的技术方案,可以解决对第三方数据库阶段特性的依赖,完成自身数据和第三方数据库数据的动态拆分。而后进行统计与聚合,实现展示阶段用户可自定义功能,解决了开发的局限性,实现产品形态的灵活多变。
下面通过附图和实施例,对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例,并且连同描述一起用于解释本申请的原理。
参照附图,根据下面的详细描述,可以更加清楚地理解本申请,其中:
图1为本申请提出的一种数据的聚合方法示意图;
图2为本申请数据的一种数据聚合的电子装置的结构示意图;
图3为本申请显示电子设备结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
另外,本申请各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
需要说明的是,本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
下面结合图1来描述根据本申请示例性实施方式的用于进行数据的聚合方法。需要注意的是,下述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。相反,本申请的实施方式可以应用于适用的任何场景。
本申请还提出一种数据的聚合方法、装置、目标终端及介质。
图1示意性地示出了根据本申请实施方式的一种数据的聚合方法的流程示意图。如图1所示,该方法包括:
S101,获取业务参数代码。
S102,将业务参数代码与第一模板组装为第一解析数据,并将第一解析数据存储到MongoDB数据库中,其中第一解析数据与第一模板具有相匹配的数据结构。
进一步的,本申请在获取到业务参数代码之后,可以首先将其数据格式进行转换,从而确定其可以存储到对应的MongoDB数据库中。需要说明的是,本申请不对业务参数代码进行具体限定,也即其可以为任意内容,任意数量的业务代码。
需要说明的是,MongoDB数据库是一个基于分布式文件存储的数据库。其具有面向集合存储,容易存储对象类型的数据。在MongoDB中数据被分组存储在集合中,集合类似RDBMS中的表,一个集合中可以存储无限多的文档。以及模式自由,支持完全索引,支持SQL中的大部分查询,支持完成复杂的聚合任务,支持复制和数据恢复,使用二进制数据存储,自动处理分片等功能。
另外,本申请在将业务参数代码进行预设格式的数据结构转换之前,还可以对其的完整性进行校验。可以理解的,若检测到该部分代码不完整时,为了避免后续无谓对其存储所导致的耗费系统资源的问题,本申请可以将该不完整黛米进行丢弃等操作。具体的,在对业务参数代码进行完整性校验的过程中,可以通过用户自定义输入的目标代码的业务参数按照预先定义的校验规则进行逐条核对。
其中,数据结构转换即是将数据进行合并、清理和整合,通过转换从一种表现形式变为另一种表现形式,并能够实现不同的源数据在语义上保持一致性的过程。
进一步的,本申请不对数据结构转换的方式进行具体限定,例如可以首先将数据进行平滑处理,从而帮助除去数据中的噪声,主要技术方法有Bin方法、聚类方法和回归方法。然后,可以岁数据进行合计处理,从而保证对数据进行总结或合计操作。例如,每天的数据经过合计操作可以获得每月或每年的总额。这一操作常用于构造数据立方或对数据进行多粒度的分析。在进一步的,可以对数据进行数据泛化处理。即是用用更抽象(更高层次)的概念来取代低层次或数据层的数据对象。
更进一步的,还可以对数据进行规格化处理,从而将有关属性数据按比例投射到特定的小范围之中。再者,可以对数据进行属性构造处理,也即根据已有属性集构造新的属性,以帮助数据处理过程等等。
可选的,数据转换常见的内容包括:数据类型转换、数据语义转换、数据值域转换、数据粒度转换、表/数据拆分、行列转换、数据离散化、数据离散化、提炼新字段、属性构造、数据压缩等。其中,对于数据类型转换来说,当数据来自不同数据源时,不同类型的数据源数据类型不兼容可能导致系统报错。这时需要将不同数据源的数据类型进行统一转换为一种兼容的数据类型。而对于数据语义转换来说,由于传统数据库中基于第三范式可能存在维度表、事实表等,此时在事实表中会有很多字段需要结合维度表才能进行语义上的解析。例如,假如字段M的业务含义是浏览器类型,其取值分为是1/2/3/4/5,这5个数字如果不加转换则很难理解为业务语言,更无法在后期被解读和应用。再者,对于数据粒度转换来说,由于业务系统一般存储的是明细数据,有些系统甚至存储的是基于时间戳的数据,而数据仓库中的数据是用来分析的,不需要非常明细的数据,一般情况下,会将业务系统数据按照数据仓库中不同的粒度需求进行聚合。
进一步的可信度,对于数据结构转换来说还可以包括表/数据拆分,其中某些字段可能存储多中数据信息,例如时间戳中包含了年、月、日、小时、分、秒等信息,有些规则中需要将其中部分或者全部时间属性进行拆分,以此来满足多粒度下的数据聚合需求。同样的,一个表内的多个字段,也可能存在表字段拆分的情况。或者行列转换,即在某些情况下,表内的行列数据会需要进行转换(又称为转置),例如协同过滤的计算之前,user和term之间的关系即互为行列并且可相互转换,可用来满足基于项目和基于用户的相似度推荐计算。
另外,还可以包括数据离散化,即将连续取值的属性离散化成若干区间,来帮助消减一个连续属性的取值个数。例如对于收入这个字段,为了便于做统计,根据业务经验可能分为几个不同的区间:0~3000、3001~5000、5001~10000、10001~30000、大于30000,或者在此基础上分别用1、2、3、4、5来表示。以及数据标准化,不同字段间由于字段本身的业务含义不同,有些时间需要消除变量之间不同数量级造成的数值之间的悬殊差异。例如将销售额进行离散化处理,以消除不同销售额之间由于量级关系导致的无法进行多列的复合计算。数据标准化过程还可以用来解决个别数值较高的属性对聚类结果的影响等等。
S103,将业务参数代码与第二模板组装为第二模板数据,生成第二解析数据,并将第二解析数据存储到第三方数据库中。
进一步的,本申请在获取第一解析数据之后,具体的,本申请可以获取第三方数据库数据结构以及参数要求,比对抽取出基本数据,组成模板动态参数项,再将与第一解析数据相匹配的第一模板中的动态参数项替换为第一解析数据中的参数。从而实现第一解析数据与第一模板可以相融合,并在将二者组装之后,将第二解析数据存储到第三方数据库中。
其中,第三方数据库可以为任意的数据库,本申请同样对此不作限定。
S104,当获取到聚合指令时,将第三方数据库中的第二解析数据与MongoDB数据库中的第一解析数据进行数据聚合。
在进一步的,本申请在收到聚合指令时,可以将匹配规则和数据从MongDB和第三方数据库中取出来。可选的,一种方式中可以通过流水线标识(流水线标识是存储于MongoDB数据库中的数据所携带的)以及匹配规则获取到第三方数据库内存储的第二解析数据以及MongoDB数据库中存储的第一解析数据。并使用双指针算法聚合项目数据和第三方数据库阶段数据,聚合阶段数据的耗时、状态、结果,得到聚合后的数据,聚合后的数据包括聚合后数据的耗时、状态、结果。
本申请中,可以获取业务参数代码后,将该业务参数代码与第一模板组装为与第一模板具有相匹配的数据结构的第一解析数据,并将第一解析数据存储到MongoDB数据库中,并将业务参数代码与第二模板组装为第二模板数据,生成第二解析数据,并将第二解析数据存储到第三方数据库后,当获取到聚合指令时,将第三方数据库中的第二解析数据与MongoDB数据库中的第一解析数据进行数据聚合。通过应用本申请的技术方案,可以解决对第三方数据库阶段特性的依赖,完成自身数据和第三方数据库数据的动态拆分。而后进行统计与聚合,实现展示阶段用户可自定义功能,解决了开发的局限性,实现产品形态的灵活多变。
可选地,在基于本申请上述方法的另一个实施例中,将业务参数代码与第一模板组装为第一解析数据,包括:
获取第三方数据库对应的目标数据结构以及第二模板;
提取业务参数代码中的数据结构标识,并将业务参数代码转换为目标数据结构;
将转换为目标数据结构的业务参数代码对第一模板组中的动态参数项进行替换,得到第一解析数据。
可选地,在基于本申请上述方法的另一个实施例中,在将业务参数代码与第一模板组装为第一解析数据之前,还包括:
生成文件上传模板以及镜像上传模板,镜像上传模板用于将镜像文件上传到MongoDB数据库的私有镜像仓库;
生成部署功能模板,部署功能模板用于将解压第一解析数据;
基于业务场景需求、文件上传模板、镜像上传模板以及部署功能模板,生成第一模板,第一模板用于将业务参数代码解析,生成第一解析数据并上传到MongoDB数据库。
可选地,在基于本申请上述方法的另一个实施例中,将业务参数代码与第一模板组装为第一解析数据之后,还包括:
记录第一解析数据与第二解析数据的匹配规则;
将匹配规则与第一解析数据共同存储到MongoDB数据库中。
可选地,在基于本申请上述方法的另一个实施例中,当获取到聚合指令时,将MongoDB数据库中的第一解析数据与第三方数据库中的第二解析数据进行数据聚合,包括:
当获取到聚合指令时,获取MongoDB数据库中的匹配规则与第一解析数据;
基于匹配规则,从第三方数据库中获取第二解析数据;
将第一解析数据与第二解析数据进行数据聚合。
可选地,在基于本申请上述方法的另一个实施例中,将业务参数代码与第一模板组装为第一解析数据,包括:
利用双指针算法,将第一解析数据与第二解析数据进行数据聚合。
可选地,在基于本申请上述方法的另一个实施例中,在将业务参数代码与第二模板组装为第二模板数据之前,还包括:
获取第三方数据库的数据结构以及参数要求,生成第三方数据库对应的模板动态参数项;
获取业务参数代码对应的待匹配模板标识,并将待匹配模板标识与预设的多个候选模板标识进行一一匹配,得到第三模板,第三模板为与待匹配模板标识相匹配的模板;
将模板动态参数项装载到第三模板中,生成第二模板。
可选地,在基于本申请上述方法的另一个实施例中,在将第三方数据库中的第二解析数据与MongoDB数据库中的第一解析数据进行数据聚合之后,还包括:
将第二解析数据与第一解析数据进行数据聚合,得到聚合数据组;
将聚合数据组组装为泳道数据,并将泳道数据发送给聚合指令指定的接收方。
进一步的,本申请中可以首先对业务参数代码进行数据格式和数据的完备性进行校验;将用户自定义输入的目标代码的业务参数按照预先定义的校验规则进行逐条核对。另外,还可以负责将业务参数解析为可与第三方数据库匹配的模板进行转换的数据结构。
另外,业务参数解析,将持续集成和持续部署的完整任务按照阶段拆分成为独立的数据结构。再将解析后的数据进行转换,提取出业务参数中解析出的标识,将其与模板标识进行比对,分类匹配到对应的模板,替换模板中的动态参数项,生成满足第三方数据库要求的数据(即第二解析数据)。
再者,根据用户输入的参数项进行匹配选出不同编程语言对应的模板,执行用户输入的参数命令,对生成的不同类型源码文件包装成统一格式的压缩包。其中,本申请可以生成多个用于生成第一解析数据的模板(即第一模板),例如第一模板可以包括生成文件上传模板,用于支持文件上传功能。以及生成镜像上传模板,用于支持镜像文件上传到私有镜像仓库。以及生成持续部署功能模板,用于将远程服务器上的包装压缩包解压回原格式,解析支持多种编程语言和多种部署方式。
更进一步的,本申请还可以将获取第三方数据库的数据结构以及参数要求,并生成第三方数据库对应的模板动态参数项,并根据业务参数代码解析出的模板分类标识与预先准备的模板进行匹配,生成可用于第三方存储的数据结构,再获取业务参数代码对应的待匹配模板标识,并将待匹配模板标识与预设的多个候选模板标识进行一一匹配,得到匹配后的第三模板后,将模板动态参数项装载到第三模板中,生成第二模板。同时记录两者匹配的规则用于后续数据展示解析使用。并将匹配规则与第二解析数据共同存储到MongoDB数据库中。
在进一步的,本申请在收到聚合指令时,可以将匹配规则和数据从MongDB和第三方数据库中取出来。可选的,一种方式中可以通过流水线标识(流水线标识是存储于MongoDB数据库中的数据所携带的)以及匹配规则获取到第三方数据库内存储的第一解析数据。使用双指针算法聚合项目数据和第三方数据库阶段数据,聚合阶段数据的耗时、状态、结果,得到聚合后的数据,聚合后的数据包括聚合后数据的耗时、状态、结果。
另外,本申请在将第二解析数据与第一解析数据进行数据聚合,得到聚合数据组之后,可以将聚合数据组组装为泳道数据,并将泳道数据发送给聚合指令指定的接收方。
本申请中,可以获取业务参数代码后,将该业务参数代码与第一模板组装为与第一模板具有相匹配的数据结构的第一解析数据,并将第一解析数据存储到MongoDB数据库中,并将业务参数代码与第二模板组装为第二模板数据,生成第二解析数据,并将第二解析数据存储到第三方数据库后,当获取到聚合指令时,将第三方数据库中的第二解析数据与MongoDB数据库中的第一解析数据进行数据聚合。通过应用本申请的技术方案,可以解决对第三方数据库阶段特性的依赖,完成自身数据和第三方数据库数据的动态拆分。而后进行统计与聚合,实现展示阶段用户可自定义功能,解决了开发的局限性,实现产品形态的灵活多变。
在本申请的另外一种实施方式中,如图2所示,本申请还提供一种数据的聚合装置。其中,包括获取模块201,生成模块202,存储模块203,聚合模块204,其中,
获取模块,被配置为获取业务参数代码;
生成模块,被配置为将所述业务参数代码与第一模板组装为第一解析数据,并将所述第一解析数据存储到MongoDB数据库中,其中所述第一解析数据与所述第一模板具有相匹配的数据结构;
存储模块,被配置为将所述业务参数代码与第二模板组装为第二模板数据,生成第二解析数据,并将所述第二解析数据存储到第三方数据库中;
聚合模块,被配置为当获取到聚合指令时,将所述第三方数据库中的第二解析数据与所述MongoDB数据库中的第一解析数据进行数据聚合。
本申请中,可以获取业务参数代码后,将该业务参数代码与第一模板组装为与第一模板具有相匹配的数据结构的第一解析数据,并将第一解析数据存储到MongoDB数据库中,并将业务参数代码与第二模板组装为第二模板数据,生成第二解析数据,并将第二解析数据存储到第三方数据库后,当获取到聚合指令时,将第三方数据库中的第二解析数据与MongoDB数据库中的第一解析数据进行数据聚合。通过应用本申请的技术方案,可以解决对第三方数据库阶段特性的依赖,完成自身数据和第三方数据库数据的动态拆分。而后进行统计与聚合,实现展示阶段用户可自定义功能,解决了开发的局限性,实现产品形态的灵活多变。
在本申请的另外一种实施方式中,获取模块201,还包括:
获取模块201,被配置为获取所述第三方数据库对应的目标数据结构以及第二模板;
获取模块201,被配置为提取所述业务参数代码中的数据结构标识,并将所述业务参数代码转换为所述目标数据结构;
获取模块201,被配置为将转换为所述目标数据结构的业务参数代码对所述第一模板组中的动态参数项进行替换,得到所述第一解析数据。
在本申请的另外一种实施方式中,获取模块201,还包括:
获取模块201,被配置为生成文件上传模板以及镜像上传模板,所述镜像上传模板用于将镜像文件上传到所述MongoDB数据库的私有镜像仓库;
获取模块201,被配置为生成部署功能模板,所述部署功能模板用于将解压所述第一解析数据;
获取模块201,被配置为基于业务场景需求、所述文件上传模板、镜像上传模板以及所述部署功能模板,生成所述第一模板,所述第一模板用于将所述业务参数代码解析,生成第一解析数据并上传到所述MongoDB数据库。
在本申请的另外一种实施方式中,获取模块201,还包括:
获取模块201,被配置为记录所述第一解析数据与所述第二解析数据的匹配规则;
获取模块201,被配置为将所述匹配规则与所述第一解析数据共同存储到MongoDB数据库中。
在本申请的另外一种实施方式中,获取模块201,还包括:
获取模块201,被配置为当获取到聚合指令时,获取所述MongoDB数据库中的所述匹配规则与所述第一解析数据;
获取模块201,被配置为基于所述匹配规则,从所述第三方数据库中获取所述第二解析数据;
获取模块201,被配置为将所述第一解析数据与所述第二解析数据进行数据聚合。
在本申请的另外一种实施方式中,获取模块201,还包括:
获取模块201,被配置为利用双指针算法,将所述第一解析数据与所述第二解析数据进行数据聚合。
在本申请的另外一种实施方式中,获取模块201,还包括:
获取模块201,被配置为获取所述第三方数据库的数据结构以及参数要求,生成所述第三方数据库对应的模板动态参数项;
获取模块201,被配置为获取所述业务参数代码对应的待匹配模板标识,并将所述待匹配模板标识与预设的多个候选模板标识进行一一匹配,得到第三模板,所述第三模板为与所述待匹配模板标识相匹配的模板;
获取模块201,被配置为将所述模板动态参数项装载到所述第三模板中,生成所述第二模板。
在本申请的另外一种实施方式中,获取模块201,还包括:
获取模块201,被配置为将所述第二解析数据与所述第一解析数据进行数据聚合,得到聚合数据组;
获取模块201,被配置为将所述聚合数据组组装为泳道数据,并将所述泳道数据发送给所述聚合指令指定的接收方。
图3是根据一示例性实施例示出的一种电子设备的逻辑结构框图。例如,电子设备300可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器,上述指令可由电子设备处理器执行以完成上述数据的聚合方法,该方法包括:获取业务参数代码;将所述业务参数代码与第一模板组装为第一解析数据,并将所述第一解析数据存储到MongoDB数据库中,其中所述第一解析数据与所述第一模板具有相匹配的数据结构;将所述业务参数代码与第二模板组装为第二模板数据,生成第二解析数据,并将所述第二解析数据存储到第三方数据库中;当获取到聚合指令时,将所述第三方数据库中的第二解析数据与所述MongoDB数据库中的第一解析数据进行数据聚合。可选地,上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种应用程序/计算机程序产品,包括一条或多条指令,该一条或多条指令可以由电子设备的处理器执行,以完成上述数据的聚合方法,该方法包括:获取业务参数代码;将所述业务参数代码与第一模板组装为第一解析数据,并将所述第一解析数据存储到MongoDB数据库中,其中所述第一解析数据与所述第一模板具有相匹配的数据结构;将所述业务参数代码与第二模板组装为第二模板数据,生成第二解析数据,并将所述第二解析数据存储到第三方数据库中;当获取到聚合指令时,将所述第三方数据库中的第二解析数据与所述MongoDB数据库中的第一解析数据进行数据聚合。可选地,上述指令还可以由电子设备的处理器执行以完成上述示例性实施例中所涉及的其他步骤。
图3为计算机设备30的示例图。本领域技术人员可以理解,示意图3仅仅是计算机设备30的示例,并不构成对计算机设备30的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如计算机设备30还可以包括输入输出设备、网络接入设备、总线等。
所称处理器302可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器302也可以是任何常规的处理器等,处理器302是计算机设备30的控制中心,利用各种接口和线路连接整个计算机设备30的各个部分。
存储器301可用于存储计算机可读指令303,处理器302通过运行或执行存储在存储器301内的计算机可读指令或模块,以及调用存储在存储器301内的数据,实现计算机设备30的各种功能。存储器301可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备30的使用所创建的数据等。此外,存储器301可以包括硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)或其他非易失性/易失性存储器件。
计算机设备30集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机可读指令来指令相关的硬件来完成,的计算机可读指令可存储于一计算机可读存储介质中,该计算机可读指令在被处理器执行时,可实现上述各个方法实施例的步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据的聚合方法,其特征在于,包括:
获取业务参数代码;
将所述业务参数代码与第一模板组装为第一解析数据,并将所述第一解析数据存储到MongoDB数据库中,其中所述第一解析数据与所述第一模板具有相匹配的数据结构;
将所述业务参数代码与第二模板组装为第二模板数据,生成第二解析数据,并将所述第二解析数据存储到第三方数据库中;
当获取到聚合指令时,将所述第三方数据库中的第二解析数据与所述MongoDB数据库中的第一解析数据进行数据聚合。
2.如权利要求1所述的方法,其特征在于,所述将所述业务参数代码与第一模板组装为第一解析数据,包括:
获取所述第三方数据库对应的目标数据结构以及第二模板;
提取所述业务参数代码中的数据结构标识,并将所述业务参数代码转换为所述目标数据结构;
将转换为所述目标数据结构的业务参数代码对所述第一模板组中的动态参数项进行替换,得到所述第一解析数据。
3.如权利要求1所述的方法,其特征在于,在所述将所述业务参数代码与第一模板组装为第一解析数据之前,还包括:
生成文件上传模板以及镜像上传模板,所述镜像上传模板用于将镜像文件上传到所述MongoDB数据库的私有镜像仓库;
生成部署功能模板,所述部署功能模板用于将解压所述第一解析数据;
基于业务场景需求、所述文件上传模板、镜像上传模板以及所述部署功能模板,生成所述第一模板,所述第一模板用于将所述业务参数代码解析,生成第一解析数据并上传到所述MongoDB数据库。
4.如权利要求3所述的方法,其特征在于,所述将所述业务参数代码与第一模板组装为第一解析数据之后,还包括:
记录所述第一解析数据与所述第二解析数据的匹配规则;
将所述匹配规则与所述第一解析数据共同存储到MongoDB数据库中。
5.如权利要求4所述的方法,其特征在于,所述当获取到聚合指令时,将所述MongoDB数据库中的第一解析数据与所述第三方数据库中的第二解析数据进行数据聚合,包括:
当获取到聚合指令时,获取所述MongoDB数据库中的所述匹配规则与所述第一解析数据;
基于所述匹配规则,从所述第三方数据库中获取所述第二解析数据;
将所述第一解析数据与所述第二解析数据进行数据聚合。
6.如权利要求5所述的方法,其特征在于,所述将所述业务参数代码与第一模板组装为第一解析数据,包括:
利用双指针算法,将所述第一解析数据与所述第二解析数据进行数据聚合。
7.如权利要求1所述的方法,其特征在于,在所述将所述业务参数代码与第二模板组装为第二模板数据之前,还包括:
获取所述第三方数据库的数据结构以及参数要求,生成所述第三方数据库对应的模板动态参数项;
获取所述业务参数代码对应的待匹配模板标识,并将所述待匹配模板标识与预设的多个候选模板标识进行一一匹配,得到第三模板,所述第三模板为与所述待匹配模板标识相匹配的模板;
将所述模板动态参数项装载到所述第三模板中,生成所述第二模板。
8.如权利要求1所述的方法,其特征在于,在所述将所述第三方数据库中的第二解析数据与所述MongoDB数据库中的第一解析数据进行数据聚合之后,还包括:
将所述第二解析数据与所述第一解析数据进行数据聚合,得到聚合数据组;
将所述聚合数据组组装为泳道数据,并将所述泳道数据发送给所述聚合指令指定的接收方。
9.一种数据的聚合装置,其特征在于,包括:
获取模块,被配置为获取业务参数代码;
生成模块,被配置为将所述业务参数代码与第一模板组装为第一解析数据,并将所述第一解析数据存储到MongoDB数据库中,其中所述第一解析数据与所述第一模板具有相匹配的数据结构;
存储模块,被配置为将所述业务参数代码与第二模板组装为第二模板数据,生成第二解析数据,并将所述第二解析数据存储到第三方数据库中;
聚合模块,被配置为当获取到聚合指令时,将所述第三方数据库中的第二解析数据与所述MongoDB数据库中的第一解析数据进行数据聚合。
10.一种计算机可读存储介质,用于存储计算机可读取的指令,其特征在于,所述指令被执行时执行权利要求1-8中任一所述数据的聚合方法的操作。
CN202110077831.9A 2021-01-20 2021-01-20 数据的聚合方法、装置、电子设备及介质 Pending CN112732763A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110077831.9A CN112732763A (zh) 2021-01-20 2021-01-20 数据的聚合方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110077831.9A CN112732763A (zh) 2021-01-20 2021-01-20 数据的聚合方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN112732763A true CN112732763A (zh) 2021-04-30

Family

ID=75595183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110077831.9A Pending CN112732763A (zh) 2021-01-20 2021-01-20 数据的聚合方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN112732763A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113961149A (zh) * 2021-10-29 2022-01-21 国网江苏省电力有限公司营销服务中心 一种电力信息系统多态数据存储系统及存储方法
CN114205087A (zh) * 2021-08-30 2022-03-18 深圳时空云科技有限公司 一种基于区块链随机数产生的方法
CN114265849A (zh) * 2022-02-28 2022-04-01 杭州广立微电子股份有限公司 数据聚合方法及系统

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043862A (zh) * 2010-12-29 2011-05-04 重庆新媒农信科技有限公司 网页数据定向抓取方法
US20130191187A1 (en) * 2012-01-24 2013-07-25 International Business Machines Corporation System, method and computer program for identifying value aggregation points from a set of service value maps
US20130246342A1 (en) * 2012-02-02 2013-09-19 Patrick Faith Multi-Source, Multi-Dimensional, Cross-Entity, Multimedia Centralized Personal Information Database Platform Apparatuses, Methods and Systems
CN106897810A (zh) * 2015-12-17 2017-06-27 北京奇虎科技有限公司 业务处理方法和系统、工作流引擎和系统、业务系统
CN109559102A (zh) * 2018-12-18 2019-04-02 厦门商集网络科技有限责任公司 一种聚合支付方法及终端
CN109871406A (zh) * 2018-12-28 2019-06-11 北京云杉信息技术有限公司 通用监控报表平台的设计方法
CN110558978A (zh) * 2012-08-17 2019-12-13 尼尔森公司(美国)有限责任公司 用于收集和分析脑电图数据的系统和方法
CN110765102A (zh) * 2019-09-25 2020-02-07 苏宁云计算有限公司 业务数据的处理方法、装置、计算机设备和存储介质
CN110955410A (zh) * 2019-10-23 2020-04-03 山东中创软件工程股份有限公司 一种代码自动生成方法、装置、设备及介质
CN110990420A (zh) * 2019-11-27 2020-04-10 腾讯科技(深圳)有限公司 数据查询方法、装置
CN111026404A (zh) * 2019-12-13 2020-04-17 上海米哈游天命科技有限公司 参数配置代码的生成方法、装置、电子产品及存储介质
CN111078501A (zh) * 2019-12-16 2020-04-28 深圳市随手科技有限公司 基于orm的数据库监控方法、系统、服务器及存储介质
CN111190798A (zh) * 2020-01-03 2020-05-22 苏宁云计算有限公司 一种业务数据监控警告装置及方法
CN111338812A (zh) * 2020-01-22 2020-06-26 中国民航信息网络股份有限公司 数据处理方法及装置
CN111768850A (zh) * 2020-06-05 2020-10-13 上海森亿医疗科技有限公司 医院数据分析方法、医院数据分析平台、设备和介质
CN111897808A (zh) * 2020-07-15 2020-11-06 苏宁金融科技(南京)有限公司 一种数据处理方法、装置、计算机设备及存储介质
CN111898036A (zh) * 2020-06-24 2020-11-06 方欣科技有限公司 一种行为数据收集处理系统及方法
CN111930823A (zh) * 2020-09-27 2020-11-13 武汉中科通达高新技术股份有限公司 一种数据查询方法、装置、数据中台和存储介质
CN112015752A (zh) * 2020-08-31 2020-12-01 杭州小电科技股份有限公司 一种数据动态查询的方法、装置、电子设备和存储介质
CN112232881A (zh) * 2020-10-22 2021-01-15 腾讯科技(深圳)有限公司 一种数据检测方法、装置、电子设备及存储介质

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043862A (zh) * 2010-12-29 2011-05-04 重庆新媒农信科技有限公司 网页数据定向抓取方法
US20130191187A1 (en) * 2012-01-24 2013-07-25 International Business Machines Corporation System, method and computer program for identifying value aggregation points from a set of service value maps
US20130246342A1 (en) * 2012-02-02 2013-09-19 Patrick Faith Multi-Source, Multi-Dimensional, Cross-Entity, Multimedia Centralized Personal Information Database Platform Apparatuses, Methods and Systems
CN110558978A (zh) * 2012-08-17 2019-12-13 尼尔森公司(美国)有限责任公司 用于收集和分析脑电图数据的系统和方法
CN106897810A (zh) * 2015-12-17 2017-06-27 北京奇虎科技有限公司 业务处理方法和系统、工作流引擎和系统、业务系统
CN109559102A (zh) * 2018-12-18 2019-04-02 厦门商集网络科技有限责任公司 一种聚合支付方法及终端
CN109871406A (zh) * 2018-12-28 2019-06-11 北京云杉信息技术有限公司 通用监控报表平台的设计方法
CN110765102A (zh) * 2019-09-25 2020-02-07 苏宁云计算有限公司 业务数据的处理方法、装置、计算机设备和存储介质
CN110955410A (zh) * 2019-10-23 2020-04-03 山东中创软件工程股份有限公司 一种代码自动生成方法、装置、设备及介质
CN110990420A (zh) * 2019-11-27 2020-04-10 腾讯科技(深圳)有限公司 数据查询方法、装置
CN111026404A (zh) * 2019-12-13 2020-04-17 上海米哈游天命科技有限公司 参数配置代码的生成方法、装置、电子产品及存储介质
CN111078501A (zh) * 2019-12-16 2020-04-28 深圳市随手科技有限公司 基于orm的数据库监控方法、系统、服务器及存储介质
CN111190798A (zh) * 2020-01-03 2020-05-22 苏宁云计算有限公司 一种业务数据监控警告装置及方法
CN111338812A (zh) * 2020-01-22 2020-06-26 中国民航信息网络股份有限公司 数据处理方法及装置
CN111768850A (zh) * 2020-06-05 2020-10-13 上海森亿医疗科技有限公司 医院数据分析方法、医院数据分析平台、设备和介质
CN111898036A (zh) * 2020-06-24 2020-11-06 方欣科技有限公司 一种行为数据收集处理系统及方法
CN111897808A (zh) * 2020-07-15 2020-11-06 苏宁金融科技(南京)有限公司 一种数据处理方法、装置、计算机设备及存储介质
CN112015752A (zh) * 2020-08-31 2020-12-01 杭州小电科技股份有限公司 一种数据动态查询的方法、装置、电子设备和存储介质
CN111930823A (zh) * 2020-09-27 2020-11-13 武汉中科通达高新技术股份有限公司 一种数据查询方法、装置、数据中台和存储介质
CN112232881A (zh) * 2020-10-22 2021-01-15 腾讯科技(深圳)有限公司 一种数据检测方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吴伟;张伟;: "OCS系统参数逆向导出技术研究及应用", 新技术新工艺, no. 02, 25 February 2018 (2018-02-25), pages 60 - 63 *
杜丰;邸德海;杨洁;: "Portlet与Web Service实现校园门户的信息聚合", 中山大学学报(自然科学版), no. 1, 15 March 2009 (2009-03-15), pages 297 - 299 *
马强;: "快速数据库应用参数化设计平台的研究", 中国西部科技, no. 17, 25 September 2006 (2006-09-25), pages 35 - 36 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205087A (zh) * 2021-08-30 2022-03-18 深圳时空云科技有限公司 一种基于区块链随机数产生的方法
CN114205087B (zh) * 2021-08-30 2023-12-15 深圳时空云科技有限公司 一种基于区块链随机数产生的方法
CN113961149A (zh) * 2021-10-29 2022-01-21 国网江苏省电力有限公司营销服务中心 一种电力信息系统多态数据存储系统及存储方法
CN113961149B (zh) * 2021-10-29 2024-01-26 国网江苏省电力有限公司营销服务中心 一种电力信息系统多态数据存储系统及存储方法
CN114265849A (zh) * 2022-02-28 2022-04-01 杭州广立微电子股份有限公司 数据聚合方法及系统

Similar Documents

Publication Publication Date Title
US10984483B2 (en) Cognitive regulatory compliance automation of blockchain transactions
CN112732763A (zh) 数据的聚合方法、装置、电子设备及介质
US10078843B2 (en) Systems and methods for analyzing consumer sentiment with social perspective insight
US20020022987A1 (en) Common database system for sales and marketing process
WO2022095699A1 (zh) 底层数据管理方法、系统及计算机可读存储介质
CN110956269A (zh) 数据模型的生成方法、装置、设备以及计算机存储介质
Utamachant et al. An analysis of high-value datasets: a case study of Thailand’s open government data
CN110765750B (zh) 报表数据录入方法及终端设备
US20230359960A1 (en) Systems and methods for efficiently distributing alert messages
US20240143820A1 (en) Systems and methods for auto discovery of sensitive data in applications or databases using metadata via machine learning techniques
CN111061733A (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
US20210124752A1 (en) System for Data Collection, Aggregation, Storage, Verification and Analytics with User Interface
CN109542890B (zh) 数据修改方法、装置、计算机设备及存储介质
CN112241262A (zh) 一种面向软件定义卫星的可复用代码提取、分析与检索方法与装置
CN116701506A (zh) 融合非结构化数据的需求计划合规性检验方法
CN112860722A (zh) 数据核对方法、装置、电子设备和可读存储介质
US20220038671A1 (en) Digital evidence management method and digital evidence management system
US20140244673A1 (en) Systems and methods for visualizing master data services information
Reuter Tailorable Situation Assessment with Social Media
CN117827902A (zh) 业务数据处理方法、装置、计算机设备以及存储介质
Sinha et al. Estimation of database complexity from modeling schemas
JP4181330B2 (ja) 要約作成プログラム及びシステム並びにコンピュータによる要約作成方法
CN117151043A (zh) 一种大语言模型的数据名称推荐与审核辅助系统
CN116578298A (zh) 业务处理方法、装置及计算机设备、存储介质、程序产品
CN117033346A (zh) 一种基于企业数据的数仓建模方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination