CN111291082A - 数据聚合处理方法、装置、设备及存储介质 - Google Patents

数据聚合处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111291082A
CN111291082A CN202010067848.1A CN202010067848A CN111291082A CN 111291082 A CN111291082 A CN 111291082A CN 202010067848 A CN202010067848 A CN 202010067848A CN 111291082 A CN111291082 A CN 111291082A
Authority
CN
China
Prior art keywords
aggregation
data
node
data set
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010067848.1A
Other languages
English (en)
Other versions
CN111291082B (zh
Inventor
李岩岩
段建国
熊辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010067848.1A priority Critical patent/CN111291082B/zh
Publication of CN111291082A publication Critical patent/CN111291082A/zh
Priority to US17/021,001 priority patent/US11442930B2/en
Application granted granted Critical
Publication of CN111291082B publication Critical patent/CN111291082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24534—Query rewriting; Transformation
    • G06F16/24539—Query rewriting; Transformation using cached or materialised query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据聚合处理方法、装置、设备及存储介质，该方法包括：通过获取待聚合处理的原始数据，并将原始数据划分为至少一个第一数据集合；确定至少一个第一数据集合中的每一个第一数据集合是否具有对应的历史聚合记录；若至少一个第一数据集合中存在至少一个具有历史聚合记录的第二数据集合，获取每一个第二数据集合对应的历史聚合结果，得到至少一个第一聚合结果；对每一个不具有历史聚合记录的第三数据集合进行聚合处理，得到至少一个第二聚合结果；根据至少一个第一聚合结果和至少一个第二聚合结果，确定原始数据的第三聚合结果。有利于提高数据聚合结果的复用性，提高数据聚合的聚合效率，和减少数据聚合的资源消耗。

Description

数据聚合处理方法、装置、设备及存储介质
技术领域
本申请涉及数据处理领域，尤其是一种数据聚合处理方法、装置、设备及存储介质。
背景技术
随着互联网技术的迅速发展，引发了数据呈现爆炸式增长态势，数据已成为一种重要的战略资源，相应的数据处理技术和数据处理服务也得以迅速发展。
相关技术中，在利用大数据提供决策支持时，使用大规模的计算资源和复杂的计算逻辑，进行海量数据的聚合处理工作。
然而，大规模的计算资源需要消耗很高的运行成本和维护成本，数据聚合工作成本消耗高；同时使用大规模的计算资源和复杂的计算逻辑进行数据聚合处理，存在运算效率低、专业性要求高的问题。
发明内容
本申请实施例提供一种数据聚合处理方法、装置、设备及存储介质，用于解决现有数据聚合方法存在的运算资源消耗高、运算效率低的问题。
第一方面，本申请提供了一种数据聚合处理方法，包括：
获取待聚合处理的原始数据，并将所述原始数据划分为至少一个第一数据集合；
确定所述至少一个第一数据集合中的每一个第一数据集合是否具有对应的历史聚合记录；
若所述至少一个第一数据集合中存在至少一个具有历史聚合记录的第二数据集合，获取每一个所述第二数据集合对应的历史聚合结果，得到至少一个第一聚合结果；
对每一个不具有历史聚合记录的第三数据集合进行聚合处理，得到至少一个第二聚合结果；
根据所述至少一个第一聚合结果和所述至少一个第二聚合结果，确定所述原始数据的第三聚合结果，并根据所述第三聚合结果确定所述原始数据的数据标签。
将待聚合处理的原始数据划分为至少一个第一数据集合，分别确定每一个第一数据集合的数据聚合结果，有利于有效提高数据聚合的聚合效率；确定具有历史聚合记录的第二数据集合，并不对已被聚合处理过的第二数据集合再次进行聚合处理，而是直接获取第二数据集合的历史聚合结果，有利于提高数据聚合结果的复用性，有利于降低数据聚合的资源消耗，和提高数据聚合的处理效率。
进一步地，将所述原始数据划分为至少一个第一数据集合，包括：
建立与所述原始数据对应的第一计划树，所述第一计划树中包括至少一个第一连接节点和至少一个第一聚合节点，所述第一计划树的一个叶节点构成一个所述第一聚合节点，一个所述第一聚合节点所表征的数据构成一个所述第一数据集合。
建立与原始数据对应的第一计划树，有利于提高数据聚合结果的复用性，提高数据聚合运算的开发效率。
进一步地，建立与所述原始数据对应的第一计划树，包括：
获取用户指定的对所述原始数据进行分批次聚合处理中的每一次聚合处理的数据量度，构成所述至少一个第一数据集合中的每一个第一数据集合的数据量度阈值；
根据每一个所述第一数据集合的所述数据量度阈值，确定所述第一计划树的节点层数和所述至少一个第一聚合节点；
根据所述节点层数和所述至少一个第一聚合节点，建立所述第一计划树。
根据获取的用户指定的单次数据聚合处理的数据量度，确定原始数据对应的第一计划树，单次数据聚合处理的数据量度满足用户的数据处理要求，有利于提高数据聚合处理的处理效率。
进一步地，确定所述至少一个第一数据集合中的每一个第一数据集合是否具有对应的历史聚合记录，包括：
根据预设的文件路径，确定是否存在与所述至少一个第一聚合节点中的每一个第一聚合节点对应的文件记录；
确定存在所述文件记录的第一聚合节点具有对应的历史聚合记录，得到所述第一计划树的至少一个具有历史聚合记录的第二聚合节点，一个所述第二聚合节点所表征的数据构成一个所述第二数据集合。
在第一计划树中确定具有聚合记录文件的第二聚合节点，并确定第二聚合节点所表征的数据已被聚合处理过，运算逻辑简单，专业要求低，有利于降低数据聚合的成本消耗。
进一步地，对每一个不具有历史聚合记录的第三数据集合进行聚合处理，得到至少一个第二聚合结果，包括：
根据所述第一计划树的至少一个第二聚合节点，对所述第一计划树进行剪枝处理，得到第二计划树；
根据所述第二计划树，对所述至少一个第三数据集合中的每一个第三数据集合进行聚合处理，得到至少一个第二聚合结果。
根据第一计划树中的每一个第二聚合节点，对第一计划树进行剪枝处理，在高效利用数据聚合结果的基础上，有效减少了数据聚合的重复性工作，降低了数据聚合的资源消耗，有利于提高数据聚合的聚合效率。
进一步地，根据所述第一计划树中的至少一个第二聚合节点，对所述第一计划树进行剪枝处理，得到第二计划树，包括：
根据每一个所述第二聚合节点对应的文件记录和根据所述第一计划树的所述至少一个第一连接节点，在所述文件记录中确定与每一个所述第二聚合节点对应的最高层次的第一连接节点，得到所述至少一个第二聚合节点对应的至少一个第二连接节点；
在所述第一计划树中，删除所述至少一个第二连接节点中的每一个第二连接节点对应的子节点分枝，得到所述第二计划树。
在预设的文件路径中，确定存在聚合记录文件的第二聚合节点的最高层第一连接节点，并把高层第一连接节点对应的子节点分枝进行删除处理，得到第二计划树，第二计划树中的所有聚合节点所表征的数据均为未聚合处理过的数据，聚合运算消耗减小，运算效率得以提升。
第二方面，本申请提供一种数据聚合处理装置，包括：
第一处理单元，用于获取待聚合处理的原始数据，并将所述原始数据划分为至少一个第一数据集合；
第二处理单元，用于确定所述至少一个第一数据集合中的每一个第一数据集合是否具有对应的历史聚合记录；
第三处理单元，用于若所述至少一个第一数据集合中存在至少一个具有历史聚合记录的第二数据集合，获取每一个所述第二数据集合对应的历史聚合结果，得到至少一个第一聚合结果；
第四处理单元，用于对每一个不具有历史聚合记录的第三数据集合进行聚合处理，得到至少一个第二聚合结果；
第五处理单元，用于根据所述至少一个第一聚合结果和所述至少一个第二聚合结果，确定所述原始数据的第三聚合结果，并根据所述第三聚合结果确定所述原始数据的数据标签。
进一步地，第一处理单元，包括：
第一处理子单元，用于建立与所述原始数据对应的第一计划树，所述第一计划树中包括至少一个第一连接节点和至少一个第一聚合节点，所述第一计划树的一个叶节点构成一个所述第一聚合节点，一个所述第一聚合节点所表征的数据构成一个所述第一数据集合。
进一步地，第一处理子单元，包括：
第一处理模块，用于获取用户指定的对所述原始数据进行分批次聚合处理中的每一次聚合处理的数据量度，构成所述至少一个第一数据集合中的每一个第一数据集合的数据量度阈值；
第二处理模块，用于根据每一个所述第一数据集合的所述数据量度阈值，确定所述第一计划树的节点层数和所述至少一个第一聚合节点；
第三处理模块，用于根据所述节点层数和所述至少一个第一聚合节点，建立所述第一计划树。
进一步地，第二处理单元，包括：
第二处理子单元，用于根据预设的文件路径，确定是否存在与所述至少一个第一聚合节点中的每一个第一聚合节点对应的文件记录；
第三处理子单元，用于确定存在所述文件记录的第一聚合节点具有对应的历史聚合记录，得到所述第一计划树的至少一个具有历史聚合记录的第二聚合节点，一个所述第二聚合节点所表征的数据构成一个所述第二数据集合。
进一步地，第四处理单元，包括：
第四处理子单元，用于根据所述第一计划树的至少一个第二聚合节点，对所述第一计划树进行剪枝处理，得到第二计划树；
第五处理子单元，用于根据所述第二计划树，对所述至少一个第三数据集合中的每一个第三数据集合进行聚合处理，得到至少一个第二聚合结果。
进一步地，第四处理子单元，包括：
第四处理模块，用于根据每一个所述第二聚合节点对应的文件记录和根据所述第一计划树的所述至少一个第一连接节点，在所述文件记录中确定与每一个所述第二聚合节点对应的最高层次的第一连接节点，得到所述至少一个第二聚合节点对应的至少一个第二连接节点；
第五处理模块，用于在所述第一计划树中，删除所述至少一个第二连接节点中的每一个第二连接节点对应的子节点分枝，得到所述第二计划树。
第三方面，本申请提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面中任一项所述的方法。
第四方面，本申请提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面中任一项所述的方法。
本申请提供一种数据聚合处理方法、装置、设备及存储介质，通过获取待聚合处理的原始数据，并将原始数据划分为至少一个第一数据集合；确定至少一个第一数据集合中的每一个第一数据集合是否具有对应的历史聚合记录；若至少一个第一数据集合中存在至少一个具有历史聚合记录的第二数据集合，获取每一个第二数据集合对应的历史聚合结果，得到至少一个第一聚合结果；对每一个不具有历史聚合记录的第三数据集合进行聚合处理，得到至少一个第二聚合结果；根据至少一个第一聚合结果和至少一个第二聚合结果，确定原始数据的第三聚合结果。在至少一个第一数据集合中筛选具有历史聚合记录的第二数据集合，不对已被聚合处理过的第二数据集合再次进行聚合处理，而是直接获取每一个第二数据集合的历史聚合结果，有利于提高数据聚合结果的复用性，有利于提高数据聚合的聚合效率，和减少数据聚合的资源消耗，适用于大规模数据的聚合处理。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请实施例提供的一种数据聚合处理方法的流程示意图；
图2为本申请实施例提供的又一种数据聚合处理方法的流程示意图；
图2a为本实施例提供的一种第一计划树的示意图；
图3为本申请实施例提供的一种数据聚合处理装置的结构示意图；
图4为本申请实施例提供的又一种数据聚合处理装置的结构示意图；
图5为本申请实施例提供的一种数据聚合处理设备的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请的应用场景：随着互联网技术的迅速发展，引发了数据呈现爆炸式增长态势，数据已成为一种重要的战略资源，相应的数据处理技术和数据处理服务也得以迅速发展。相关技术中，在智慧城市、物联网、云计算等多种应用中利用大数据提供决策支持时，使用大规模的计算资源和复杂的计算逻辑，进行海量数据的聚合处理工作。
然而，大规模的计算资源需要消耗很高的运行成本和维护成本，数据聚合工作成本消耗高；同时使用大规模的计算资源和复杂的计算逻辑进行数据聚合处理，存在运算效率低、专业性要求高的问题
本申请提供的数据聚合处理方法、装置、设备及存储介质，旨在解决上述技术问题。
图1为本申请实施例提供的一种数据聚合处理方法，如图1所示，该方法包括：
步骤101、获取待聚合处理的原始数据，并将原始数据划分为至少一个第一数据集合。
在本实施例中，具体地，本实施例的执行主体为终端设备或者设置在终端设备上的服务器、或者控制器、或者其他可以执行本实施例的装置或设备，本实施例以执行主体为设置在终端设备上的服务器为例进行说明。
获取海量的待聚合处理的原始数据，原始数据包括任何形式的数据，例如，原始数据为统计的十一假期内市民的出行数据，或者为获取的一个月内的用户的网页浏览记录。原始数据包括多种数据属性，数据属性包括时间信息、位置信息、数据容量信息等。根据预设的数据属性，将获取的待聚合处理的原始数据划分为至少一个第一数据集合，每一个第一数据集合中包括至少一个数据，示例性的，根据用户浏览网页的时间，将获取的一个季度内用户的网页浏览记录划分为15个第一数据集合，每一个第一数据集合中包括同一月的一个周内的用户的网页浏览记录。数据聚合在用户需求识别、标签提取、信息推送等功能中有着重要的作用，通过对原始数据进行聚合处理，挖掘海量的原始数据中的数据规律，并利用数据规律为其它应用提供决策支持。
步骤102、确定至少一个第一数据集合中的每一个第一数据集合是否具有对应的历史聚合记录。
在本实施例中，具体的，在将原始数据划分为至少一个第一数据集合后，对每一个第一数据集合进行聚合处理，可以实现对海量的原始数据的分批次聚合处理，通过对分批次聚合处理的聚合结果再次进行聚合，得到原始数据整体的聚合结果。在对每一个第一数据集合进行聚合处理前，确定每一个第一数据集合是否具有对应的历史聚合记录，如果存在第一数据集合具有对应的历史聚合记录，说明该第一数据集合已被聚合处理过，为提高数据聚合的聚合效率，和减小数据聚合的资源消耗，不对聚合处理过的第一数据集合再次进行聚合处理。
步骤103、若至少一个第一数据集合中存在至少一个具有历史聚合记录的第二数据集合，获取每一个第二数据集合对应的历史聚合结果，得到至少一个第一聚合结果。
在本实施例中，具体的，在至少一个第一数据集合中，若存在至少一个具有历史聚合记录的第二数据集合，不对已被聚合处理过的第二数据集合再次进行聚合处理，而是直接获取每一个第二数据集合的历史聚合结果，得到至少一个第一聚合结果。在至少一个第一数据集合中，若不存在具有历史聚合记录的第二数据集合，则每一个第一数据集合均未被聚合处理过，则对每一个第一数据集合进行聚合处理。在数据处理过程中，可能进行过多次的聚合处理，每一次聚合处理的聚合记录和聚合结果通过预设的文件路径以文件的形式进行保存。具有历史聚合记录的不同第二数据集合可能是在不同次的数据聚合处理过程中完成聚合处理的，即不要求每一个第二数据集合是在相同次的数据聚合处理过程中完成聚合处理的。该种设计能够提高数据聚合结果的复用性，有利于提高数据聚合处理的处理效率，节省数据聚合处理的运算成本，适用于超大规模数据的聚合操作。
步骤104、对每一个不具有历史聚合记录的第三数据集合进行聚合处理，得到至少一个第二聚合结果。
在本实施例中，具体的，在至少一个第一数据集合中，对其中不具历史聚合记录的第三数据集合进行聚合处理，即对每一个未被聚合处理过的第三数据集合进行聚合处理，得到每一个第三数据集合的第二聚合结果。聚合处理的目标在于将一组数据转换成一个或几个数值，用一个或几个数值来代表一组数据，常见的聚合处理包括sum()、mean()、count()、wm_concat函数、zh_concat函数、listagg函数、xmlagg函数、sys_connect_by_path函数等，聚合处理可采用现有方法实现，本申请在此不做赘述。
步骤105、根据至少一个第一聚合结果和至少一个第二聚合结果，确定原始数据的第三聚合结果，并根据第三聚合结果确定原始数据的数据标签。
在本实施例中，具体的，在获取到每一个第二数据集合的历史聚合结果，和在对每一个第三数据集合进行聚合处理后，对得到的至少一个第一聚合结果和至少一个第二聚合结果再次进行聚合处理，得到原始数据对应的总的聚合结果，即得到原始数据的第三聚合结果。示例性的，对获取的A城市用户的每个周的网页浏览记录进行聚合处理，得到A城市用户每个周的网页浏览记录的聚合结果，对每个周的网页浏览记录的聚合结果再次进行聚合处理，得到A城市用户一个季度内的网页浏览记录的总的聚合结果。根据第三聚合结果确定原始数据的数据标签，聚合处理过程采用的聚合指标不同，得到的聚合结果的类别不同，不同类别的聚合结果可用于不同的应用之中，例如可以根据原始数据的总的聚合结果，建立用户标签、识别用户喜好、统计产品反馈等。
本实施例通过获取待聚合处理的原始数据，并将原始数据划分为至少一个第一数据集合；确定至少一个第一数据集合中的每一个第一数据集合是否具有对应的历史聚合记录；若至少一个第一数据集合中存在至少一个具有历史聚合记录的第二数据集合，获取每一个第二数据集合对应的历史聚合结果，得到至少一个第一聚合结果；对每一个不具有历史聚合记录的第三数据集合进行聚合处理，得到至少一个第二聚合结果；根据至少一个第一聚合结果和至少一个第二聚合结果，确定原始数据的第三聚合结果。在至少一个第一数据集合中筛选具有历史聚合记录的第二数据集合，不对已被聚合处理过的第二数据集合再次进行聚合处理，而是直接获取每一个第二数据集合的历史聚合结果，有利于提高数据聚合结果的复用性，有利于提高数据聚合的聚合效率，和减少数据聚合的资源消耗，适用于大规模数据的聚合处理。
图2为本申请实施例提供的另一种数据聚合处理方法的流程示意图，如图2所示，该方法包括：
步骤201、获取待聚合处理的原始数据，建立与原始数据对应的第一计划树，实现将原始数据划分为至少一个第一数据集合。
在本实施例中，具体的，获取用户指定的对原始数据进行分批次聚合处理中的每一次聚合处理的数据量度，构成至少一个第一数据集合中的每一个第一数据集合的数据量度阈值；根据每一个第一数据集合的数据量度阈值，确定第一计划树的节点层数和至少一个第一聚合节点；根据节点层数和至少一个第一聚合节点，建立第一计划树，第一计划树中包括至少一个第一连接节点和至少一个第一聚合节点，第一计划树的一个叶节点构成一个第一聚合节点，一个第一聚合节点所表征的数据构成一个第一数据集合。
获取用户指定的分批次聚合处理中的每次聚合处理的数据量度，并将获取的数据量度确定为每次聚合处理的数据量度阈值，数据量度包括时间量度、地域量度、容积量度等，每次聚合处理的数据量度阈值即为每一个第一数据集合的数据量度阈值。示例性的，用户A需要对获取的五个月内的顾客在其超市中购买商品的购买记录进行聚合处理，其指定分批次聚合处理中的每次聚合处理的数据量度为一周，即用户指定分别对各个周内的顾客的购买记录进行聚合处理，一周即为每次聚合处理的数据量度阈值，即实际每次聚合处理的购买记录的时间跨度不会超过一周。
根据每一个第一数据集合的数据量度阈值，确定第一计划树的节点层次，第一计划树的节点层次
Figure BDA0002376487910000101
其中，N为原始数据的总数据量度，m为第一数据集合的数据量度阈值，示例性的，N为90(天)，m为7(天)，或者N为100(TB)，m为2(TB)。当
Figure BDA0002376487910000102
不是整数时，第一计划树的节点层次取与
Figure BDA0002376487910000103
最接近且大于
Figure BDA0002376487910000104
的整数。根据第一数据集合的数据量度阈值，确定第一计划树的每一个第一聚合节点的数据属性区间，每一个聚合节点的数据属性区间与数据量度阈值相匹配。根据确定出的第一计划树的节点层次和至少一个第一聚合节点，建立第一计划树。
示例性的，图2a为本实施例提供的一种第一计划树的示意图，如图2a所示，获取的原始数据为20190101-20190503共123天中每一天的顾客的购买记录，用户指定的每次聚合处理的数据量度为7天，确定第一计划树的节点层数为
Figure BDA0002376487910000105
共3层。第一数据集合的数据量度阈值为7天，对获取的具有时间顺序的用户的购买记录进行基于年、季度、月、日的划分，得到至少一个第一数据集合，第一个第一数据集合为20190101-20190107内顾客的购买记录，第二个第一数据集合为20190108-20190114内顾客的购买记录，…，最后一个第一数据集合为20190501-20190503内顾客的购买记录。对应的，第一个第一聚合节点的时间属性为20190101-20190107，第二个第一聚合节点的时间属性为20190108-20190114，…，最后一个第一聚合节点的时间属性为20190501-20190503。根据确定出的第一计划树的节点层次3和每一个聚合节点，建立第一计划树。
步骤202、确定至少一个第一数据集合中的每一个第一数据集合是否具有对应的历史聚合记录，若至少一个第一数据集合中存在至少一个具有历史聚合记录的第二数据集合，获取每一个第二数据集合对应的历史聚合结果，得到至少一个第一聚合结果。
在本实施例中，具体的，根据预设的文件路径，确定是否存在与至少一个第一聚合节点中的每一个第一聚合节点对应的文件记录；确定存在文件记录的第一聚合节点具有对应的历史聚合记录，得到第一计划树的至少一个具有历史聚合记录的第二聚合节点，一个第二聚合节点所表征的数据构成一个第二数据集合。
在数据处理过程中可能进行多次数据聚合处理，每一次聚合处理的聚合记录及聚合结果会以文件的形式保存在预设的文件路径中，保存的文件中具有数据属性索引，数据属性包括时间属性、位置属性、容积属性、格式属性等。数据属性索引所对应的数据具有历史聚合记录和历史聚合结果，为提高数据聚合的聚合效率，和降低数据聚合的聚合成本，不对数据属性索引所对应的数据再次进行聚合处理。示例性的，在预设的文件路径中保存有时间属性索引为2019年1月的聚合记录文件，该聚合记录文件表示2019年1月份的数据已完成聚合处理，则在后续的数据聚合处理中，可直接获取2019年1月份的数据的历史聚合结果。在预设的文件路径中，确定第一计划树的至少一个第一聚合节点中确定具有文件记录的第二聚合节点，每一个第二聚合节点所表征的数据构成第二数据集合。对于第一计划树中的第二聚合节点，不对第二数据集合所表征的数据进行聚合处理，而是获取每一个第二数据集合对应的历史聚合结果，得到至少一个第一聚合结果。可选的，在预设的文件路径中，确定与第一聚合节点的数据属性区间完全一致的数据属性索引所对应的聚合记录文件，当聚合记录文件的数据属性索引不与第一聚合节点的数据属性区间完全一致时，不能确定该第一聚合节点具有历史聚合记录。示例性的，第一聚合节点的数据属性区间为20190101-20190107，聚合记录文件的数据属性索引为20190101-20190103，二者不完全一致，不能确定该第一聚合节点具有历史聚合记录，需要对该第一聚合节点所表征的数据进行聚合处理。
步骤203、对每一个不具有历史聚合记录的第三数据集合进行聚合处理，得到至少一个第二聚合结果。
在本实施例中，具体的，根据第一计划树的至少一个第二聚合节点，对第一计划树进行剪枝处理，得到第二计划树；根据第二计划树，对至少一个第三数据集合中的每一个第三数据集合进行聚合处理，得到至少一个第二聚合结果。具体的，根据每一个第二聚合节点对应的文件记录和根据第一计划树的至少一个第一连接节点，在文件记录中确定与每一个第二聚合节点对应的最高层次的第一连接节点，得到至少一个第二聚合节点对应的至少一个第二连接节点；在第一计划树中，删除至少一个第二连接节点中的每一个第二连接节点对应的子节点分枝，得到第二计划树。
第一计划树包括至少一个第一连接节点和至少一个第一聚合节点，其中，第一聚合节点为第一计划树的叶节点，第一连接节点为除父节点和叶节点以外的其他节点，第一计划树的父节点所表征的数据为获取的待聚合处理的原始数据，第一计划树的至少一个第一聚合节点包括至少一个具有历史聚合记录的第二聚合节点和至少一个不具有历史聚合记录的第三聚合节点。
在确定出第一计划树中的至少一个第二聚合节点后，在预设的文件路径中，确定存在聚合记录文件的第二聚合节点的最高层第一连接节点，并把存在聚合记录文件的最高层第一连接节点确定为第一计划树的第二连接节点，第二连接节点对应的所有叶节点具有历史聚合记录，因此，在第一计划树中将第二连接节点的子节点分枝进行剪枝处理，得到精简后的第二计划树。示例性的，第二聚合节点的数据属性区间为20190201-20190207，在预设的文件记录中确定存在聚合记录文件的该第二聚合节点的最高层第一连接节点为201902，确定201902为第二连接节点，第二连接节点201002所对应的所有叶节点均具有历史聚合记录，因此对第二连接节点201002的子节点分枝进行剪枝处理，得到第二计划树。对第二计划树中的每一个第三聚合节点所表征的数据进行聚合处理，即对每一个第三数据集合中的数据进行聚合处理，得到至少一个第二聚合结果。该种设计有利于进一步提高数据聚合结果的复用性，减少数据聚合的重复性工作，有利于降低数据聚合的资源消耗。
步骤204、根据至少一个第一聚合结果和至少一个第二聚合结果，确定原始数据的第三聚合结果，并根据第三聚合结果确定原始数据的数据标签。
在本实施例中，具体的，步骤204的方法及原理可参照步骤105的记载，在此不做赘述。
本实施例通过获取待聚合处理的原始数据，建立与原始数据对应的第一计划树，实现将原始数据划分为至少一个第一数据集合；确定至少一个第一数据集合中的每一个第一数据集合是否具有对应的历史聚合记录，若至少一个第一数据集合中存在至少一个具有历史聚合记录的第二数据集合，获取每一个第二数据集合对应的历史聚合结果，得到至少一个第一聚合结果；对每一个不具有历史聚合记录的第三数据集合进行聚合处理，得到至少一个第二聚合结果；根据至少一个第一聚合结果和至少一个第二聚合结果，确定原始数据的第三聚合结果。将原始数据划分为至少一个第一数据集合，分别确定每一个第一数据集合的聚合结果，有利于提高数据聚合的聚合效率，和保证数据聚合工作的有效性；在所有第一数据集合中，确定存在历史聚合记录的第二数据集合，不对已被聚合处理过的第二数据集合再次进行聚合处理，有利于提高数据聚合结果的复用性，能够有效控制数据聚合的资源消耗，和提高数据聚合的聚合效率，适用于超大规模的数据聚合工作。
图3为本申请实施例提供的一种数据聚合处理装置的结构示意图，如图3所示，该装置包括：
第一处理单元1，用于获取待聚合处理的原始数据，并将原始数据划分为至少一个第一数据集合；
第二处理单元2，用于确定至少一个第一数据集合中的每一个第一数据集合是否具有对应的历史聚合记录；
第三处理单元3，用于若至少一个第一数据集合中存在至少一个具有历史聚合记录的第二数据集合，获取每一个第二数据集合对应的历史聚合结果，得到至少一个第一聚合结果；
第四处理单元4，用于对每一个不具有历史聚合记录的第三数据集合进行聚合处理，得到至少一个第二聚合结果；
第五处理单元5，用于根据至少一个第一聚合结果和至少一个第二聚合结果，确定原始数据的第三聚合结果，根据第三聚合结果确定原始数据的数据标签。
本实施例通过获取待聚合处理的原始数据，并将原始数据划分为至少一个第一数据集合；确定至少一个第一数据集合中的每一个第一数据集合是否具有对应的历史聚合记录；若至少一个第一数据集合中存在至少一个具有历史聚合记录的第二数据集合，获取每一个第二数据集合对应的历史聚合结果，得到至少一个第一聚合结果；对每一个不具有历史聚合记录的第三数据集合进行聚合处理，得到至少一个第二聚合结果；根据至少一个第一聚合结果和至少一个第二聚合结果，确定原始数据的第三聚合结果。在至少一个第一数据集合中筛选具有历史聚合记录的第二数据集合，不对已被聚合处理过的第二数据集合再次进行聚合处理，而是直接获取每一个第二数据集合的历史聚合结果，有利于提高数据聚合结果的复用性，有利于提高数据聚合的聚合效率，和减少数据聚合的资源消耗，适用于大规模数据的聚合处理。
图4为本申请实施例提供的另一种数据聚合处理装置的结构示意图，在图3的基础上，如图4所示，
第一处理单元1，包括：
第一处理子单元11，用于建立与原始数据对应的第一计划树，第一计划树中包括至少一个第一连接节点和至少一个第一聚合节点，第一计划树的一个叶节点构成一个第一聚合节点，一个第一聚合节点所表征的数据构成一个第一数据集合。
第一处理子单元11，包括：
第一处理模块111，用于获取用户指定的对原始数据进行分批次聚合处理中的每一次聚合处理的数据量度，构成至少一个第一数据集合中的每一个第一数据集合的数据量度阈值；
第二处理模块112，用于根据每一个第一数据集合的数据量度阈值，确定第一计划树的节点层数和至少一个第一聚合节点；
第三处理模块113，用于根据节点层数和至少一个第一聚合节点，建立第一计划树。
第二处理单元2，包括：
第二处理子单元21，用于根据预设的文件路径，确定是否存在与至少一个第一聚合节点中的每一个第一聚合节点对应的文件记录；
第三处理子单元22，用于确定存在文件记录的第一聚合节点具有对应的历史聚合记录，得到第一计划树的至少一个具有历史聚合记录的第二聚合节点，一个第二聚合节点所表征的数据构成一个第二数据集合。
第四处理单元4，包括：
第四处理子单元41，用于根据第一计划树的至少一个第二聚合节点，对第一计划树进行剪枝处理，得到第二计划树；
第五处理子单元42，用于根据第二计划树，对至少一个第三数据集合中的每一个第三数据集合进行聚合处理，得到至少一个第二聚合结果。
第四处理子单元41，包括：
第四处理模块411，用于根据每一个第二聚合节点对应的文件记录和根据第一计划树的至少一个第一连接节点，在文件记录中确定与每一个第二聚合节点对应的最高层次的第一连接节点，得到至少一个第二聚合节点对应的至少一个第二连接节点；
第五处理模块412，用于在第一计划树中，删除至少一个第二连接节点中的每一个第二连接节点对应的子节点分枝，得到第二计划树。
本实施例通过获取待聚合处理的原始数据，建立与原始数据对应的第一计划树，实现将原始数据划分为至少一个第一数据集合；确定至少一个第一数据集合中的每一个第一数据集合是否具有对应的历史聚合记录，若至少一个第一数据集合中存在至少一个具有历史聚合记录的第二数据集合，获取每一个第二数据集合对应的历史聚合结果，得到至少一个第一聚合结果；对每一个不具有历史聚合记录的第三数据集合进行聚合处理，得到至少一个第二聚合结果；根据至少一个第一聚合结果和至少一个第二聚合结果，确定原始数据的第三聚合结果。将原始数据划分为至少一个第一数据集合，分别确定每一个第一数据集合的聚合结果，有利于提高数据聚合的聚合效率，和保证数据聚合工作的有效性；在所有第一数据集合中，确定存在历史聚合记录的第二数据集合，不对已被聚合处理过的第二数据集合再次进行聚合处理，有利于提高数据聚合结果的复用性，能够有效控制数据聚合的资源消耗，和提高数据聚合的聚合效率，适用于超大规模的数据聚合工作。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图5所示，是根据本申请实施例的数据聚合处理的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的数据聚合处理的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的数据聚合处理的方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的数据聚合处理的方法对应的程序指令/模块(例如，附图3所示的获取单元1、第一处理单元2和第二处理单元3)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的数据聚合处理的方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据数据聚合处理的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至数据聚合处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
数据聚合处理的方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生与数据聚合处理的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
在本申请实施例中，上述各实施例之间可以相互参考和借鉴，相同或相似的步骤以及名词均不再一一赘述。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (14)

1.一种数据聚合处理方法，其特征在于，包括：
获取待聚合处理的原始数据，并将所述原始数据划分为至少一个第一数据集合；
确定所述至少一个第一数据集合中的每一个第一数据集合是否具有对应的历史聚合记录；
若所述至少一个第一数据集合中存在至少一个具有历史聚合记录的第二数据集合，获取每一个所述第二数据集合对应的历史聚合结果，得到至少一个第一聚合结果；
对每一个不具有历史聚合记录的第三数据集合进行聚合处理，得到至少一个第二聚合结果；
根据所述至少一个第一聚合结果和所述至少一个第二聚合结果，确定所述原始数据的第三聚合结果，并根据所述第三聚合结果确定所述原始数据的数据标签。
2.根据权利要求1所述的方法，其特征在于，将所述原始数据划分为至少一个第一数据集合，包括：
建立与所述原始数据对应的第一计划树，所述第一计划树中包括至少一个第一连接节点和至少一个第一聚合节点，所述第一计划树的一个叶节点构成一个所述第一聚合节点，一个所述第一聚合节点所表征的数据构成一个所述第一数据集合。
3.根据权利要求2所述的方法，其特征在于，建立与所述原始数据对应的第一计划树，包括：
获取用户指定的对所述原始数据进行分批次聚合处理中的每一次聚合处理的数据量度，构成所述至少一个第一数据集合中的每一个第一数据集合的数据量度阈值；
根据每一个所述第一数据集合的所述数据量度阈值，确定所述第一计划树的节点层数和所述至少一个第一聚合节点；
根据所述节点层数和所述至少一个第一聚合节点，建立所述第一计划树。
4.根据权利要求2所述的方法，其特征在于，确定所述至少一个第一数据集合中的每一个第一数据集合是否具有对应的历史聚合记录，包括：
根据预设的文件路径，确定是否存在与所述至少一个第一聚合节点中的每一个第一聚合节点对应的文件记录；
确定存在所述文件记录的第一聚合节点具有对应的历史聚合记录，得到所述第一计划树的至少一个具有历史聚合记录的第二聚合节点，一个所述第二聚合节点所表征的数据构成一个所述第二数据集合。
5.根据权利要求4所述的方法，其特征在于，对每一个不具有历史聚合记录的第三数据集合进行聚合处理，得到至少一个第二聚合结果，包括：
根据所述第一计划树的至少一个第二聚合节点，对所述第一计划树进行剪枝处理，得到第二计划树；
根据所述第二计划树，对所述至少一个第三数据集合中的每一个第三数据集合进行聚合处理，得到至少一个第二聚合结果。
6.根据权利要求5所述的方法，其特征在于，根据所述第一计划树中的至少一个第二聚合节点，对所述第一计划树进行剪枝处理，得到第二计划树，包括：
根据每一个所述第二聚合节点对应的文件记录和根据所述第一计划树的所述至少一个第一连接节点，在所述文件记录中确定与每一个所述第二聚合节点对应的最高层次的第一连接节点，得到所述至少一个第二聚合节点对应的至少一个第二连接节点；
在所述第一计划树中，删除所述至少一个第二连接节点中的每一个第二连接节点对应的子节点分枝，得到所述第二计划树。
7.一种数据聚合处理装置，其特征在于，包括：
第一处理单元，用于获取待聚合处理的原始数据，并将所述原始数据划分为至少一个第一数据集合；
第二处理单元，用于确定所述至少一个第一数据集合中的每一个第一数据集合是否具有对应的历史聚合记录；
第三处理单元，用于若所述至少一个第一数据集合中存在至少一个具有历史聚合记录的第二数据集合，获取每一个所述第二数据集合对应的历史聚合结果，得到至少一个第一聚合结果；
第四处理单元，用于对每一个不具有历史聚合记录的第三数据集合进行聚合处理，得到至少一个第二聚合结果；
第五处理单元，用于根据所述至少一个第一聚合结果和所述至少一个第二聚合结果，确定所述原始数据的第三聚合结果，并根据所述第三聚合结果确定所述原始数据的数据标签。
8.根据权利要求7所述的装置，其特征在于，第一处理单元，包括：
第一处理子单元，用于建立与所述原始数据对应的第一计划树，所述第一计划树中包括至少一个第一连接节点和至少一个第一聚合节点，所述第一计划树的一个叶节点构成一个所述第一聚合节点，一个所述第一聚合节点所表征的数据构成一个所述第一数据集合。
9.根据权利要求8所述的装置，其特征在于，第一处理子单元，包括：
第一处理模块，用于获取用户指定的对所述原始数据进行分批次聚合处理中的每一次聚合处理的数据量度，构成所述至少一个第一数据集合中的每一个第一数据集合的数据量度阈值；
第二处理模块，用于根据每一个所述第一数据集合的所述数据量度阈值，确定所述第一计划树的节点层数和所述至少一个第一聚合节点；
第三处理模块，用于根据所述节点层数和所述至少一个第一聚合节点，建立所述第一计划树。
10.根据权利要求8所述的装置，其特征在于，第二处理单元，包括：
第二处理子单元，用于根据预设的文件路径，确定是否存在与所述至少一个第一聚合节点中的每一个第一聚合节点对应的文件记录；
第三处理子单元，用于确定存在所述文件记录的第一聚合节点具有对应的历史聚合记录，得到所述第一计划树的至少一个具有历史聚合记录的第二聚合节点，一个所述第二聚合节点所表征的数据构成一个所述第二数据集合。
11.根据权利要求10所述的装置，其特征在于，第四处理单元，包括：
第四处理子单元，用于根据所述第一计划树的至少一个第二聚合节点，对所述第一计划树进行剪枝处理，得到第二计划树；
第五处理子单元，用于根据所述第二计划树，对所述至少一个第三数据集合中的每一个第三数据集合进行聚合处理，得到至少一个第二聚合结果。
12.根据权利要求11所述的装置，其特征在于，第四处理子单元，包括：
第四处理模块，用于根据每一个所述第二聚合节点对应的文件记录和根据所述第一计划树的所述至少一个第一连接节点，在所述文件记录中确定与每一个所述第二聚合节点对应的最高层次的第一连接节点，得到所述至少一个第二聚合节点对应的至少一个第二连接节点；
第五处理模块，用于在所述第一计划树中，删除所述至少一个第二连接节点中的每一个第二连接节点对应的子节点分枝，得到所述第二计划树。
13.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6任一项所述的方法。
14.一种储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6任一项所述的方法。
CN202010067848.1A 2020-01-20 2020-01-20 数据聚合处理方法、装置、设备及存储介质 Active CN111291082B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010067848.1A CN111291082B (zh) 2020-01-20 2020-01-20 数据聚合处理方法、装置、设备及存储介质
US17/021,001 US11442930B2 (en) 2020-01-20 2020-09-15 Method, apparatus, device and storage medium for data aggregation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010067848.1A CN111291082B (zh) 2020-01-20 2020-01-20 数据聚合处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111291082A true CN111291082A (zh) 2020-06-16
CN111291082B CN111291082B (zh) 2023-10-31

Family

ID=71024301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010067848.1A Active CN111291082B (zh) 2020-01-20 2020-01-20 数据聚合处理方法、装置、设备及存储介质

Country Status (2)

Country Link
US (1) US11442930B2 (zh)
CN (1) CN111291082B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256731A (zh) * 2020-12-21 2021-01-22 长沙树根互联技术有限公司 数据展示方法、装置及电子设备
CN113344104A (zh) * 2021-06-23 2021-09-03 支付宝(杭州)信息技术有限公司 一种数据处理方法、装置、设备及介质
CN114265849A (zh) * 2022-02-28 2022-04-01 杭州广立微电子股份有限公司 数据聚合方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1993016A2 (en) * 2007-05-17 2008-11-19 Rockwell Automation Inc. Embedded historians with data aggregator
US20120047184A1 (en) * 2009-04-29 2012-02-23 Waldeck Technology, Llc Profile construction using location-based aggregate profile information
CN103177063A (zh) * 2011-12-23 2013-06-26 Sap股份公司 用于时间数据聚合的时间滑动操作器
US20140157142A1 (en) * 2010-08-31 2014-06-05 Sovanta Ag Method for selecting a data set from a plurality of data sets by means of an input device
CN104615675A (zh) * 2015-01-19 2015-05-13 苏宁云商集团股份有限公司 融合通信方法及终端
WO2017112697A1 (en) * 2015-12-21 2017-06-29 Ab Initio Technology Llc Search and retrieval data processing system for computing near real-time data aggregations
US20170193022A1 (en) * 2015-12-30 2017-07-06 Sap Se Virtual aggregation
US9792231B1 (en) * 2014-12-15 2017-10-17 Amazon Technologies, Inc. Computer system for managing I/O metric information by identifying one or more outliers and comparing set of aggregated I/O metrics
CN107273519A (zh) * 2017-06-22 2017-10-20 睿视智联科技（香港）有限公司 数据分析方法、装置、终端及存储介质
CN107277036A (zh) * 2017-07-05 2017-10-20 云南撇捺势信息技术有限公司 基于多站点数据的登录验证方法、验证设备及存储介质
CN107766533A (zh) * 2017-10-27 2018-03-06 携程旅游网络技术（上海）有限公司 话务量异常的自动检测方法及系统、存储介质、电子设备
CN110096311A (zh) * 2019-03-18 2019-08-06 北京三快在线科技有限公司 流式计算中聚合时间的评估方法、装置、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160004820A1 (en) * 2005-02-01 2016-01-07 Newsilike Media Group, Inc. Security facility for maintaining health care data pools
US20130086699A1 (en) * 2006-06-27 2013-04-04 Jared Polis Aggregation system
US9210053B2 (en) * 2013-03-11 2015-12-08 Dell Products L.P. System and method for management of network monitoring information

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1993016A2 (en) * 2007-05-17 2008-11-19 Rockwell Automation Inc. Embedded historians with data aggregator
US20120047184A1 (en) * 2009-04-29 2012-02-23 Waldeck Technology, Llc Profile construction using location-based aggregate profile information
US20140157142A1 (en) * 2010-08-31 2014-06-05 Sovanta Ag Method for selecting a data set from a plurality of data sets by means of an input device
CN103177063A (zh) * 2011-12-23 2013-06-26 Sap股份公司 用于时间数据聚合的时间滑动操作器
US9792231B1 (en) * 2014-12-15 2017-10-17 Amazon Technologies, Inc. Computer system for managing I/O metric information by identifying one or more outliers and comparing set of aggregated I/O metrics
CN104615675A (zh) * 2015-01-19 2015-05-13 苏宁云商集团股份有限公司 融合通信方法及终端
WO2017112697A1 (en) * 2015-12-21 2017-06-29 Ab Initio Technology Llc Search and retrieval data processing system for computing near real-time data aggregations
US20170193022A1 (en) * 2015-12-30 2017-07-06 Sap Se Virtual aggregation
CN107273519A (zh) * 2017-06-22 2017-10-20 睿视智联科技（香港）有限公司 数据分析方法、装置、终端及存储介质
CN107277036A (zh) * 2017-07-05 2017-10-20 云南撇捺势信息技术有限公司 基于多站点数据的登录验证方法、验证设备及存储介质
CN107766533A (zh) * 2017-10-27 2018-03-06 携程旅游网络技术（上海）有限公司 话务量异常的自动检测方法及系统、存储介质、电子设备
CN110096311A (zh) * 2019-03-18 2019-08-06 北京三快在线科技有限公司 流式计算中聚合时间的评估方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SAYALI M. WANI等: "Identification of balanced node for data aggregation in wireless sensor network", 《2016 INTERNATIONAL CONFERENCE ON ELECTRICAL, ELECTRONICS, AND OPTIMIZATION TECHNIQUES (ICEEOT)》 *
冯军民;: "基于大数据分析的应用安全态势系统设计与实现", 中国新通信, no. 22 *
王珉;WANG YONGBIN;LI YING;: "SCMR:a semantic-based coherence micro-cluster recognition algorithm for hybrid web data stream", HIGH TECHNOLOGY LETTERS, no. 02 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256731A (zh) * 2020-12-21 2021-01-22 长沙树根互联技术有限公司 数据展示方法、装置及电子设备
CN113344104A (zh) * 2021-06-23 2021-09-03 支付宝(杭州)信息技术有限公司 一种数据处理方法、装置、设备及介质
CN114265849A (zh) * 2022-02-28 2022-04-01 杭州广立微电子股份有限公司 数据聚合方法及系统

Also Published As

Publication number Publication date
US11442930B2 (en) 2022-09-13
CN111291082B (zh) 2023-10-31
US20210191921A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
US20190377463A1 (en) User interface that facilitates node pinning for a proactive monitoring tree
US9426045B2 (en) Proactive monitoring tree with severity state sorting
US9419870B2 (en) Proactive monitoring tree with state distribution ring
US9142049B2 (en) Proactive monitoring tree providing distribution stream chart with branch overlay
CN111291082B (zh) 数据聚合处理方法、装置、设备及存储介质
CN113051446A (zh) 拓扑关系查询方法、装置、电子设备和介质
CN112561332B (zh) 模型管理方法、装置、电子设备、存储介质和程序产品
CN111666280B (zh) 评论的排序方法、装置、设备和计算机存储介质
CN113407649A (zh) 数据仓库建模方法、装置、电子设备及存储介质
CN110852780A (zh) 数据分析方法、装置、设备和计算机存储介质
CN112818013A (zh) 时序数据库查询优化方法、装置、设备以及存储介质
CN114021156A (zh) 漏洞自动化聚合的整理方法、装置、设备以及存储介质
CN113763066A (zh) 用于分析信息的方法和装置
CN111461306B (zh) 特征评估的方法及装置
CN113792038A (zh) 用于存储数据的方法和装置
CN116227951A (zh) 一种配电网项目筛选方法、系统、电子设备及存储介质
CN115563310A (zh) 一种关键业务节点的确定方法、装置、设备及介质
CN114661571A (zh) 模型评测方法、装置、电子设备和存储介质
CN112100362A (zh) 文档格式推荐模型训练方法、装置以及电子设备
CN116431698B (zh) 一种数据提取方法、装置、设备及存储介质
CN116069806A (zh) 一种数据处理方法、装置及设备
CN116244312A (zh) 数据处理方法、装置、电子设备、介质和程序产品
CN112101570A (zh) 一种模型训练和使用方法、装置、设备及存储介质
CN115686517A (zh) 基于移动开发平台的前端页面埋点方法、装置、电子设备和存储介质
CN113095788A (zh) 问题分发方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant