CN106970837B - 一种信息处理方法及电子设备 - Google Patents

一种信息处理方法及电子设备 Download PDF

Info

Publication number
CN106970837B
CN106970837B CN201710199234.7A CN201710199234A CN106970837B CN 106970837 B CN106970837 B CN 106970837B CN 201710199234 A CN201710199234 A CN 201710199234A CN 106970837 B CN106970837 B CN 106970837B
Authority
CN
China
Prior art keywords
computing
data
parameter
query
query data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710199234.7A
Other languages
English (en)
Other versions
CN106970837A (zh
Inventor
李栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201710199234.7A priority Critical patent/CN106970837B/zh
Publication of CN106970837A publication Critical patent/CN106970837A/zh
Application granted granted Critical
Publication of CN106970837B publication Critical patent/CN106970837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Abstract

本发明实施例公开了一种信息处理方法及电子设备。所述方法包括：获得第一查询数据，和/或，获得表征计算设备的负载状态的第一负载信息；分析所述第一查询数据，获得表征所述第一查询数据的复杂程度的第一参数；基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架，发送所述第一查询数据至所述计算设备中的第一计算框架；其中，所述计算设备中包括至少两个计算框架，所述第一计算框架为所述两个计算框架中的任一计算框架。

Description

一种信息处理方法及电子设备
技术领域
本发明涉及信息处理技术，具体涉及一种信息处理方法及电子设备。
背景技术
常用的计算框架例如Impala、MapReduce、Spark等等，当然，不限于上述列举的计算框架(其中，Impala为一种查询系统；MapReduce为一种编程模型，可提供大规模数据集的并行运算；Spark为用于大规模数据处理的计算引擎)。通常情况下，多种计算框架都会部署在一个集群中，运行在集群资源调度器至上。而数据分析人员或者业务人员通常不熟悉每个计算框架的原理或特性，从而面对多种计算框架显得无所适从。现有技术中，用户通常需要花费大量的时间和精力了解每个计算框架的原理或特性，选择计算框架，或者根据经验或者主观意愿选择计算框架；前者需要花费用户大量的时间和精力，不利于用户的体验；另外，两种方案选择出的计算框架也不一定是最优的计算框架，容易导致集群资源整体利用率较低的问题，并且，在并发查询量较大的情况下，用户的查询操作响应时间过长，也不利于用户的体验。
发明内容
为解决现有存在的技术问题，本发明实施例提供一种信息处理方法及电子设备。
为达到上述目的，本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种信息处理方法，所述方法包括：
获得第一查询数据，和/或，获得表征计算设备的负载状态的第一负载信息；
分析所述第一查询数据，获得表征所述第一查询数据的复杂程度的第一参数；
基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架，发送所述第一查询数据至所述计算设备中的第一计算框架；
其中，所述计算设备中包括至少两个计算框架，所述第一计算框架为所述两个计算框架中的任一计算框架。
上述方案中，所述分析所述第一查询数据，获得表征所述第一查询数据的复杂程度的第一参数，包括：
分析所述第一查询数据，获得所述第一查询数据对应的数据处理量；
基于所述数据处理量确定表征所述第一查询数据的复杂程度的第一参数；其中，所述数据处理量与所述第一查询数据的复杂程度正相关。
上述方案中，所述基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架之前，所述方法还包括：
获得所述计算设备中包括的所述至少两个计算框架的特性，所述特性包括数据处理能力信息和/或资源占用信息。
上述方案中，所述基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架，包括：
基于所述第一参数选择所述预设策略中、与所述第一参数相对应的数据处理能力相匹配的第一计算框架；
其中，所述预设策略中包括至少一组参数范围与计算框架的映射关系。
上述方案中，所述基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架，包括：
选择所述预设策略中与所述第一负载信息相匹配的第一计算框架；所述第一计算框架的第一资源占用信息与所述第一负载信息相匹配。
上述方案中，所述基于所述第一参数和/或所述负载信息按预设策略选择所述计算设备中的第一计算框架，包括：
基于所述第一参数和所述第一负载信息选择与所述第一参数相对应的数据处理能力相匹配的、且与所述第一负载信息相匹配的第一计算框架；所述第一计算框架的第一资源占用信息与所述第一负载信息相匹配。
本发明实施例还提供了一种电子设备，所述电子设备包括：通信接口和处理器；其中，
所述通信接口，用于获得第一查询数据，发送所述第一查询数据至所述处理器；和/或，用于获得表征计算设备的负载状态的第一负载信息，发送所述第一负载信息至所述处理器；
所述处理器，用于分析所述第一查询数据，获得表征所述第一查询数据的复杂程度的第一参数；基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架；其中，所述计算设备中包括至少两个计算框架，所述第一计算框架为所述两个计算框架中的任一计算框架；
所述通信接口，还用于发送所述第一查询数据至所述计算设备中的第一计算框架。
上述方案中，所述处理器，用于分析所述第一查询数据，获得所述第一查询数据对应的数据处理量；基于所述数据处理量确定表征所述第一查询数据的复杂程度的第一参数；其中，所述数据处理量与所述第一查询数据的复杂程度正相关。
上述方案中，所述通信接口，还用于所述处理器基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架之前，获得所述计算设备中包括的所述至少两个计算框架的特性，所述特性包括数据处理能力信息和/或资源占用信息。
上述方案中，所述处理器，用于基于所述第一参数选择所述预设策略中、与所述第一参数相对应的数据处理能力相匹配的第一计算框架；其中，所述预设策略中包括至少一组参数范围与计算框架的映射关系；和/或，选择所述预设策略中与所述第一负载信息相匹配的第一计算框架；所述第一计算框架的第一资源占用信息与所述第一负载信息相匹配；和/或，基于所述第一参数和所述第一负载信息选择与所述第一参数相对应的数据处理能力相匹配的、且与所述第一负载信息相匹配的第一计算框架；所述第一计算框架的第一资源占用信息与所述第一负载信息相匹配。
本发明实施例提供的信息处理方法及电子设备，所述方法包括：获得第一查询数据，和/或，获得表征计算设备的负载状态的第一负载信息；分析所述第一查询数据，获得表征所述第一查询数据的复杂程度的第一参数；基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架，发送所述第一查询数据至所述计算设备中的第一计算框架；其中，所述计算设备中包括至少两个计算框架，所述第一计算框架为所述两个计算框架中的任一计算框架。采用本发明实施例的技术方案，通过对查询数据的复杂程度进行分析，和/或获得计算设备的负载状态，以选择与查询数据的复杂程度和/或计算设备的负载状态匹配的计算框架，一方面实现了自动选择最合适的计算框架满足用户的查询需求，节省了数据分析人员的时间和精力；另一方面也提升了计算设备的资源利用率；在数据查询并发情况下，最大的缩短了查询响应的时间，减少了用户等待的时间，提升了用户的操作体验。
附图说明
图1为本发明实施例一的信息处理方法的流程示意图；
图2为本发明实施例二的信息处理方法的流程示意图；
图3为本发明实施例三的信息处理方法的流程示意图；
图4为本发明实施例四的信息处理方法的流程示意图；
图5为本发明实施例的电子设备的组成结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细的说明。
实施例一
本发明实施例提供了一种信息处理方法。图1为本发明实施例一的信息处理方法的流程示意图；如图1所示，所述方法包括：
步骤101：获得第一查询数据，和/或，获得表征计算设备的负载状态的第一负载信息。
步骤102：分析所述第一查询数据，获得表征所述第一查询数据的复杂程度的第一参数。
步骤103：基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架，发送所述第一查询数据至所述计算设备中的第一计算框架；其中，所述计算设备中包括至少两个计算框架，所述第一计算框架为所述两个计算框架中的任一计算框架。
本实施例中，所述信息处理方法可应用在电子设备中，作为一种实施方式，所述电子设备具体可以是终端设备，所述终端设备例如是个人计算机(PC，Personal Computer)等个人终端设备；用户可基于该终端设备输入第一查询数据；所述电子设备设置有用于与计算设备通信的通信接口。作为另一种实施方式，所述电子设备还可以是服务器或服务器集群；以所述电子设备为服务器为例，则所述服务器设置有用于与用户终端设备通信的通信接口，通过所述通信接口获得第一查询数据；所述服务器还设置有用于与计算设备通信的通信接口。
本实施例中，所述第一查询数据具体可通过结构化查询语言(SQL，StructuredQuery Language)承载，可以理解为，所述第一查询数据为SQL语句，该SQL语句中包括查询任务。所述电子设备可直接基于用户的输入获得所述第一查询数据；也可以通过与用户终端设备的通信接口获得所述用户终端设备发送的第一查询数据。
本实施例中，所述电子设备通过与计算设备的通信接口获得表征所述计算设备的负载状态的第一负载信息；其中，作为一种实施方式，所述电子设备可在获得所述第一查询数据后，向所述计算设备请求所述第一负载信息，从而获得所述计算设备反馈的所述第一负载信息。作为另一种实施方式，所述电子设备还可按照预设规则每隔一段时间或者实时向所述计算设备请求所述第一负载信息，从而获得所述计算设备反馈的第一负载信息。其中，所述第一负载信息至少可以包括所述计算设备的中央控制器(CPU)的使用情况、内存的占用情况等等。
本实施例中，电子设备分析所述第一查询数据，获得表征所述第一查询数据的复杂程度的第一参数，包括：分析所述第一查询数据，获得所述第一查询数据对应的数据处理量；基于所述数据处理量确定表征所述第一查询数据的复杂程度的第一参数；其中，所述数据处理量与所述第一查询数据的复杂程度正相关。
具体的，分析所述第一查询数据对应的SQL语句，获得所述SQL语句对应的数据处理量，所述数据处理量与所述第一查询数据的复杂程度相关；所述数据处理量越大，所述第一查询数据越复杂；相应的，所述数据处理量越小，所述第一查询数据越简单。通常情况下，数据的存储可通过数据表进行管理，每个数据表中包括多个数据的记录；不同的数据表对应的数据量不同。则分析所述SQL语句，获得所述SQL语句所对应的查询操作的数据表，获得每个数据表对应的数据量、所述SQL语句中与查询操作相对应的数据表之间的关联特征等等，基于所述SQL语句对应的所有数据表对应的数据量、以及所述SQL语句中的与查询操作相对应的数据表之间的关联性确定所述SQL语句对应的数据查询的维度，基于所述数据查询的维度确定所述第一查询数据的数据处理量。其中，所述查询操作相对应的数据表之间的关联性可以理解为查询操作相对应的数据表之间的调用关联特征，例如该查询操作为针对第一数据表的查询操作，而在所述查询操作过程中需要通过第一数据表调用第二数据表，该杜奥用关联特征则作为所述查询操作相对应的数据表之间的调用关联特征。其中，所述SQL语句对应的数据量越大，对应的数据查询的维度越高；和/或，查询操作相对应的数据表之间的调用关联特征越多，对应的数据查询维度越高。当然，与所述SQL语句对应的数据处理量的相关因素不限于上述列举的几种因素，其他能够影响第一查询数据的数据处理量的因素也可在本发明实施例的保护范围之内。
本实施例中，所述第一参数表征所述第一查询数据的复杂程度，作为一种示例，所述第一参数越大，表明所述第一查询数据的复杂程度越高；相应的，所述第一参数越小，表明所述第一查询数据的复杂程度越低。当然，也可以相反的，所述第一参数越小，表明所述第一查询数据的复杂程度越高；相应的，所述第一参数越大，表明所述第一查询数据的复杂程度越低。
本实施例中，所述计算设备中可运行至少两个计算框架；所述至少两个计算框架包括但不限于是以下计算框架：Impala、MapReduce、Spark等等。不同的计算框架具有不同的特性，所述特性包括数据查询特性以及所需要的系统资源特性。例如，Impala计算框架不需要把中间结果数据写入磁盘，省掉了大量的输入输出(I/O)开销，并且省掉了作业启动的开销，直接通过相应的服务进程进行作业调度，提升了作业速度。MapReduce计算框架适用于大规模数据集的并行运算，提供的功能主要包括：数据划分和计算任务调度、数据/代码互定位、系统优化、出错检测和恢复等等，但在数据处理过程中会生成大量的临时文件。Spark计算框架是为大规模数据处理设计的快速通用的计算引擎，由于其提供了大量的库，以及提供了更多的高级运算符，因此Spark计算框架的通用性和易用性更强。基于此，在本实施例中，电子设备预先对所述计算设备中的所有计算框架的数据处理能力(包括数据处理速度等)以及数据处理过程中所占用的系统资源等数据处理特性进行分析并记录。
本实施例中，电子设备根据获得的表征所述第一查询数据的复杂程度的第一参数和/或表征所述计算设备当前负载状态的第一负载信息自适应的选择所述计算设备中合适的第一计算框架；即，基于所述第一参数所表征的所述第一查询数据的复杂程度选择与所述该复杂程度相匹配的数据处理能力的计算框架作为所述第一计算框架，和/或，选择数据处理过程中所占用的系统资源与第一负载信息相匹配的计算框架作为所述第一计算框架，进一步地发送所述第一查询数据至所述第一计算框架进行数据查询处理。
采用本发明实施例的技术方案，通过对查询数据的复杂程度进行分析，和/或获得计算设备的负载状态，以选择与查询数据的复杂程度和/或计算设备的负载状态匹配的计算框架，一方面实现了自动选择最合适的计算框架满足用户的查询需求，节省了数据分析人员的时间和精力；另一方面也提升了计算设备的资源利用率；在数据查询并发情况下，最大的缩短了查询响应的时间，减少了用户等待的时间，提升了用户的操作体验。
实施例二
本发明实施例还提供了一种信息处理方法。图2为本发明实施例二的信息处理方法的流程示意图；如图2所示，所述方法包括：
步骤201：获得第一查询数据。
步骤202：分析所述第一查询数据，获得表征所述第一查询数据的复杂程度的第一参数。
步骤203：获得所述计算设备中包括的所述至少两个计算框架的特性，所述特性包括数据处理能力信息。
步骤204：基于所述第一参数选择所述预设策略中、与所述第一参数相对应的数据处理能力相匹配的第一计算框架，发送所述第一查询数据至所述计算设备中的第一计算框架；其中，所述预设策略中包括至少一组参数范围与计算框架的映射关系。
本实施例中，所述信息处理方法可应用在电子设备中，作为一种实施方式，所述电子设备具体可以是终端设备，所述终端设备例如是PC等个人终端设备；用户可基于该终端设备输入第一查询数据；所述电子设备设置有用于与计算设备通信的通信接口。作为另一种实施方式，所述电子设备还可以是服务器或服务器集群；以所述电子设备为服务器为例，则所述服务器设置有用于与用户终端设备通信的通信接口，通过所述通信接口获得第一查询数据；所述服务器还设置有用于与计算设备通信的通信接口。
本实施例中，所述第一查询数据具体可通过SQL承载，可以理解为，所述第一查询数据为SQL语句，该SQL语句中包括查询任务。所述电子设备可直接基于用户的输入获得所述第一查询数据；也可以通过与用户终端设备的通信接口获得所述用户终端设备发送的第一查询数据。
本实施例中，电子设备分析所述第一查询数据，获得表征所述第一查询数据的复杂程度的第一参数，包括：分析所述第一查询数据，获得所述第一查询数据对应的数据处理量；基于所述数据处理量确定表征所述第一查询数据的复杂程度的第一参数；其中，所述数据处理量与所述第一查询数据的复杂程度正相关。
具体的，分析所述第一查询数据对应的SQL语句，获得所述SQL语句对应的数据处理量，所述数据处理量与所述第一查询数据的复杂程度相关；所述数据处理量越大，所述第一查询数据越复杂；相应的，所述数据处理量越小，所述第一查询数据越简单。通常情况下，数据的存储可通过数据表进行管理，每个数据表中包括多个数据的记录；不同的数据表对应的数据量不同。则分析所述SQL语句，获得所述SQL语句所对应的查询操作的数据表，获得每个数据表对应的数据量、所述SQL语句中与查询操作相对应的数据表之间的关联特征等等，基于所述SQL语句对应的所有数据表对应的数据量、以及所述SQL语句中的与查询操作相对应的数据表之间的关联性确定所述SQL语句对应的数据查询的维度，基于所述数据查询的维度确定所述第一查询数据的数据处理量。其中，所述查询操作相对应的数据表之间的关联性可以理解为查询操作相对应的数据表之间的调用关联特征，例如该查询操作为针对第一数据表的查询操作，而在所述查询操作过程中需要通过第一数据表调用第二数据表，该杜奥用关联特征则作为所述查询操作相对应的数据表之间的调用关联特征。其中，所述SQL语句对应的数据量越大，对应的数据查询的维度越高；和/或，查询操作相对应的数据表之间的调用关联特征越多，对应的数据查询维度越高。当然，与所述SQL语句对应的数据处理量的相关因素不限于上述列举的几种因素，其他能够影响第一查询数据的数据处理量的因素也可在本发明实施例的保护范围之内。
本实施例中，所述第一参数表征所述第一查询数据的复杂程度，作为一种示例，所述第一参数越大，表明所述第一查询数据的复杂程度越高；相应的，所述第一参数越小，表明所述第一查询数据的复杂程度越低。当然，也可以相反的，所述第一参数越小，表明所述第一查询数据的复杂程度越高；相应的，所述第一参数越大，表明所述第一查询数据的复杂程度越低。
本实施例中，所述计算设备中可运行至少两个计算框架；所述至少两个计算框架包括但不限于是以下计算框架：Impala、MapReduce、Spark等等。不同的计算框架具有不同的特性，所述特性包括数据查询特性以及所需要的系统资源特性。例如，Impala计算框架不需要把中间结果数据写入磁盘，省掉了大量的I/O开销，并且省掉了作业启动的开销，直接通过相应的服务进程进行作业调度，提升了作业速度。MapReduce适用于大规模数据集的并行运算，提供的功能主要包括：数据划分和计算任务调度、数据/代码互定位、系统优化、出错检测和恢复等等，但在数据处理过程中会生成大量的临时文件。Spark计算框架是为大规模数据处理设计的快速通用的计算引擎，由于其提供了大量的库，以及提供了更多的高级运算符，因此Spark计算框架的通用性和易用性更强。基于此，在本实施例中，所述电子设备在选择第一计算框架之前，预先对所述计算设备中的所有计算框架的特性进行获得并分析，所述所有计算框架的特性包括数据处理能力(包括数据处理速度等)信息，进一步记录所述所有计算框架的特性。在具体实施过程中，所述电子设备可在获得所述第一查询数据之前获得所述计算设备中包括的所述至少两个计算框架的特性并记录，也可以在选择第一计算框架之前获得所述计算设备中包括的所述至少两个计算框架的特性并记录，本实施例不对此进行限定。
本实施例中，电子设备根据获得的表征所述第一查询数据的复杂程度的第一参数自适应的选择所述计算设备中合适的第一计算框架；即，基于所述第一参数所表征的所述第一查询数据的复杂程度选择与所述该复杂程度相匹配的数据处理能力的计算框架作为所述第一计算框架。具体的，所述电子设备预先将所述计算设备中的所有计算框架的数据处理能力排序，以及基于表征查询数据的复杂程度的第一参数的阈值范围(该阈值范围为所述第一参数可能达到的最小值和最大值对应的范围)对应配置每个计算框架所对应的第一参数的数值范围，从而生成每个计算框架以及对应的数值范围的映射集合；例如Impala计算框架预先配置第一数值范围，MapReduce计算框架预先配置第二数值范围等等。则获得所述第一参数后，基于所述第一参数查询预先配置的映射集合，获得所述第一参数所在的第一数值范围，从而确定所述第一数值范围对应的第一计算框架，进一步地发送所述第一查询数据至所述第一计算框架进行数据查询处理。
采用本发明实施例的技术方案，通过对查询数据的复杂程度进行分析，以选择与查询数据的复杂程度匹配的计算框架，一方面实现了自动选择最合适的计算框架满足用户的查询需求，节省了数据分析人员的时间和精力；另一方面也提升了计算设备的资源利用率；在数据查询并发情况下，最大的缩短了查询响应的时间，减少了用户等待的时间，提升了用户的操作体验。
实施例三
本发明实施例还提供了一种信息处理方法。图3为本发明实施例三的信息处理方法的流程示意图；如图3所示，所述方法包括：
步骤301：获得第一查询数据，以及获得表征计算设备的负载状态的第一负载信息。
步骤302：获得所述计算设备中包括的所述至少两个计算框架的特性，所述特性包括资源占用信息。
步骤303：选择所述预设策略中与所述第一负载信息相匹配的第一计算框架，发送所述第一查询数据至所述计算设备中的第一计算框架；所述第一计算框架的第一资源占用信息与所述第一负载信息相匹配。
本实施例中，所述信息处理方法可应用在电子设备中，作为一种实施方式，所述电子设备具体可以是终端设备，所述终端设备例如是PC等个人终端设备；用户可基于该终端设备输入第一查询数据；所述电子设备设置有用于与计算设备通信的通信接口。作为另一种实施方式，所述电子设备还可以是服务器或服务器集群；以所述电子设备为服务器为例，则所述服务器设置有用于与用户终端设备通信的通信接口，通过所述通信接口获得第一查询数据；所述服务器还设置有用于与计算设备通信的通信接口。
本实施例中，所述第一查询数据具体可通过SQL承载，可以理解为，所述第一查询数据为SQL语句，该SQL语句中包括查询任务。所述电子设备可直接基于用户的输入获得所述第一查询数据；也可以通过与用户终端设备的通信接口获得所述用户终端设备发送的第一查询数据。
本实施例中，所述电子设备通过与计算设备的通信接口获得表征所述计算设备的负载状态的第一负载信息；其中，作为一种实施方式，所述电子设备可在获得所述第一查询数据后，向所述计算设备请求所述第一负载信息，从而获得所述计算设备反馈的所述第一负载信息。作为另一种实施方式，所述电子设备还可按照预设规则每隔一段时间或者实时向所述计算设备请求所述第一负载信息，从而获得所述计算设备反馈的第一负载信息。其中，所述第一负载信息至少可以包括所述计算设备的CPU的使用情况、内存的占用情况等等。
本实施例中，所述电子设备在选择第一计算框架之前，预先获得所述计算设备中的所有计算框架的特性并记录，所述特性具体为相应计算框架运行时所需的资源占用信息。在获得表征所述计算设备当前负载状态的第一负载信息后，查询记录的所有计算框架的资源占用信息，获得与所述第一负载信息相匹配的第一计算框架。具体的，作为一种实施方式，所述电子设备可基于所述第一负载信息选择在不超过所述计算设备的负载能力的情况下的任一计算框架作为所述第一计算框架。作为另一种实施方式，所述电子设备也可预先配置规则，选择在不超过所述计算设备的负载能力的情况下资源占用最小或最大的计算框架作为所述第一计算框架。在具体实施过程中，所述电子设备可在获得所述第一查询数据之前获得所述计算设备中包括的所述至少两个计算框架的特性并记录，也可以在选择第一计算框架之前获得所述计算设备中包括的所述至少两个计算框架的特性并记录，本实施例不对此进行限定。
采用本发明实施例的技术方案，通过获得计算设备的负载状态，以选择与计算设备的负载状态匹配的计算框架，一方面实现了自动选择最合适的计算框架满足用户的查询需求，节省了数据分析人员的时间和精力；另一方面也提升了计算设备的资源利用率；在数据查询并发情况下，最大的缩短了查询响应的时间，减少了用户等待的时间，提升了用户的操作体验。
实施例四
本发明实施例还提供了一种信息处理方法。图4为本发明实施例四的信息处理方法的流程示意图；如图4所示，所述方法包括：
步骤401：获得第一查询数据，以及获得表征计算设备的负载状态的第一负载信息。
步骤402：分析所述第一查询数据，获得表征所述第一查询数据的复杂程度的第一参数。
步骤403：获得所述计算设备中包括的所述至少两个计算框架的特性，所述特性包括数据处理能力信息和/或资源占用信息。
步骤404：基于所述第一参数和所述第一负载信息选择与所述第一参数相对应的数据处理能力相匹配的、且与所述第一负载信息相匹配的第一计算框架，发送所述第一查询数据至所述计算设备中的第一计算框架；所述第一计算框架的第一资源占用信息与所述第一负载信息相匹配。
本实施例中，所述信息处理方法可应用在电子设备中，作为一种实施方式，所述电子设备具体可以是终端设备，所述终端设备例如是PC等个人终端设备；用户可基于该终端设备输入第一查询数据；所述电子设备设置有用于与计算设备通信的通信接口。作为另一种实施方式，所述电子设备还可以是服务器或服务器集群；以所述电子设备为服务器为例，则所述服务器设置有用于与用户终端设备通信的通信接口，通过所述通信接口获得第一查询数据；所述服务器还设置有用于与计算设备通信的通信接口。
本实施例中，所述第一查询数据具体可通过SQL承载，可以理解为，所述第一查询数据为SQL语句，该SQL语句中包括查询任务。所述电子设备可直接基于用户的输入获得所述第一查询数据；也可以通过与用户终端设备的通信接口获得所述用户终端设备发送的第一查询数据。
本实施例中，电子设备分析所述第一查询数据，获得表征所述第一查询数据的复杂程度的第一参数，包括：分析所述第一查询数据，获得所述第一查询数据对应的数据处理量；基于所述数据处理量确定表征所述第一查询数据的复杂程度的第一参数；其中，所述数据处理量与所述第一查询数据的复杂程度正相关。
具体的，分析所述第一查询数据对应的SQL语句，获得所述SQL语句对应的数据处理量，所述数据处理量与所述第一查询数据的复杂程度相关；所述数据处理量越大，所述第一查询数据越复杂；相应的，所述数据处理量越小，所述第一查询数据越简单。通常情况下，数据的存储可通过数据表进行管理，每个数据表中包括多个数据的记录；不同的数据表对应的数据量不同。则分析所述SQL语句，获得所述SQL语句所对应的查询操作的数据表，获得每个数据表对应的数据量、所述SQL语句中与查询操作相对应的数据表之间的关联特征等等，基于所述SQL语句对应的所有数据表对应的数据量、以及所述SQL语句中的与查询操作相对应的数据表之间的关联性确定所述SQL语句对应的数据查询的维度，基于所述数据查询的维度确定所述第一查询数据的数据处理量。其中，所述查询操作相对应的数据表之间的关联性可以理解为查询操作相对应的数据表之间的调用关联特征，例如该查询操作为针对第一数据表的查询操作，而在所述查询操作过程中需要通过第一数据表调用第二数据表，该杜奥用关联特征则作为所述查询操作相对应的数据表之间的调用关联特征。其中，所述SQL语句对应的数据量越大，对应的数据查询的维度越高；和/或，查询操作相对应的数据表之间的调用关联特征越多，对应的数据查询维度越高。当然，与所述SQL语句对应的数据处理量的相关因素不限于上述列举的几种因素，其他能够影响第一查询数据的数据处理量的因素也可在本发明实施例的保护范围之内。
本实施例中，所述第一参数表征所述第一查询数据的复杂程度，作为一种示例，所述第一参数越大，表明所述第一查询数据的复杂程度越高；相应的，所述第一参数越小，表明所述第一查询数据的复杂程度越低。当然，也可以相反的，所述第一参数越小，表明所述第一查询数据的复杂程度越高；相应的，所述第一参数越大，表明所述第一查询数据的复杂程度越低。
本实施例中，所述计算设备中可运行至少两个计算框架；所述至少两个计算框架包括但不限于是以下计算框架：Impala、MapReduce、Spark等等。不同的计算框架具有不同的特性，所述特性包括数据查询特性以及所需要的系统资源特性。例如，Impala计算框架不需要把中间结果数据写入磁盘，省掉了大量的I/O开销，并且省掉了作业启动的开销，直接通过相应的服务进程进行作业调度，提升了作业速度。MapReduce适用于大规模数据集的并行运算，提供的功能主要包括：数据划分和计算任务调度、数据/代码互定位、系统优化、出错检测和恢复等等，但在数据处理过程中会生成大量的临时文件。Spark计算框架是为大规模数据处理设计的快速通用的计算引擎，由于其提供了大量的库，以及提供了更多的高级运算符，因此Spark计算框架的通用性和易用性更强。基于此，在本实施例中，所述电子设备在选择第一计算框架之前，预先对所述计算设备中的所有计算框架的特性进行获得并分析，所述所有计算框架的特性包括相应计算框架的数据处理能力(包括数据处理速度等)信息和相应计算框架运行时的资源占用信息，进一步记录所述所有计算框架的特性。在具体实施过程中，所述电子设备可在获得所述第一查询数据之前获得所述计算设备中包括的所述至少两个计算框架的特性并记录，也可以在选择第一计算框架之前获得所述计算设备中包括的所述至少两个计算框架的特性并记录，本实施例不对此进行限定。
本实施例中，所述电子设备根据获得的表征所述第一查询数据的复杂程度的第一参数以及第一负载信息自适应的选择所述计算设备中合适的第一计算框架。具体的，所述电子设备预先将所述计算设备中的所有计算框架的数据处理能力排序；进一步地可基于所述第一负载信息选择在不超过所述计算设备的负载能力的情况下、数据处理能力最优的计算框架作为所述第一计算框架，以在提升计算设备的资源利用率的同时，缩短查询响应时间，减少用户的等待时间。
采用本发明实施例的技术方案，通过对查询数据的复杂程度进行分析，和/或获得计算设备的负载状态，以选择与查询数据的复杂程度和/或计算设备的负载状态匹配的计算框架，一方面实现了自动选择最合适的计算框架满足用户的查询需求，节省了数据分析人员的时间和精力；另一方面也提升了计算设备的资源利用率；在数据查询并发情况下，最大的缩短了查询响应的时间，减少了用户等待的时间，提升了用户的操作体验。
基于本发明实施例一至实施例四的信息处理方法，本发明实施例中，在电子设备同时接收到至少两个第一查询数据时，也即并发接收到至少两个查询数据时，对所述至少两个第一查询数据的复杂程度进行分析，结合所述至少两个第一查询数据的复杂程度以及计算设备的负载状态的第一负载信息分别对所述至少两个第一查询数据对应的计算框架进行自动选择，以尽可能的缩短查询响应时间，减少用户的等待时间。
实施例五
本发明实施例还提供了一种电子设备。图5为本发明实施例的电子设备的组成结构示意图；如图5所示，所述电子设备包括：通信接口51和处理器52；其中，
所述通信接口51，用于获得第一查询数据，发送所述第一查询数据至所述处理器52；和/或，用于获得表征计算设备的负载状态的第一负载信息，发送所述第一负载信息至所述处理器52；
所述处理器52，用于分析所述第一查询数据，获得表征所述第一查询数据的复杂程度的第一参数；基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架；其中，所述计算设备中包括至少两个计算框架，所述第一计算框架为所述两个计算框架中的任一计算框架；
所述通信接口51，还用于发送所述第一查询数据至所述计算设备中的第一计算框架。
本实施例中，所述处理器52，用于分析所述第一查询数据，获得所述第一查询数据对应的数据处理量；基于所述数据处理量确定表征所述第一查询数据的复杂程度的第一参数；其中，所述数据处理量与所述第一查询数据的复杂程度正相关。
本领域技术人员应当理解，本发明实施例的电子设备中各处理单元的功能，可参照前述信息处理方法的相关描述而理解，本发明实施例的电子设备中各处理单元，可通过实现本发明实施例所述的功能的模拟电路而实现，也可以通过执行本发明实施例所述的功能的软件在智能终端上的运行而实现。
实施例六
本发明实施例还提供了一种电子设备。如图5所示，所述电子设备包括：通信接口51和处理器52；其中，
所述通信接口51，用于获得第一查询数据，发送所述第一查询数据至所述处理器52；
所述处理器52，用于分析所述第一查询数据，获得表征所述第一查询数据的复杂程度的第一参数；
所述通信接口51，还用于获得所述计算设备中包括的所述至少两个计算框架的特性，所述特性包括数据处理能力信息；
所述处理器52，还用于基于所述第一参数选择所述预设策略中、与所述第一参数相对应的数据处理能力相匹配的第一计算框架；其中，所述预设策略中包括至少一组参数范围与计算框架的映射关系；
所述通信接口51，还用于发送所述第一查询数据至所述计算设备中的第一计算框架。
本实施例中，所述处理器52，用于分析所述第一查询数据，获得所述第一查询数据对应的数据处理量；基于所述数据处理量确定表征所述第一查询数据的复杂程度的第一参数；其中，所述数据处理量与所述第一查询数据的复杂程度正相关。
本领域技术人员应当理解，本发明实施例的电子设备中各处理单元的功能，可参照前述信息处理方法的相关描述而理解，本发明实施例的电子设备中各处理单元，可通过实现本发明实施例所述的功能的模拟电路而实现，也可以通过执行本发明实施例所述的功能的软件在智能终端上的运行而实现。
实施例七
本发明实施例还提供了一种电子设备。如图5所示，所述电子设备包括：通信接口51和处理器52；其中，
所述通信接口51，用于获得第一查询数据，发送所述第一查询数据至所述处理器52；还用于获得表征计算设备的负载状态的第一负载信息，发送所述第一负载信息至所述处理器52；还用于获得所述计算设备中包括的所述至少两个计算框架的特性，所述特性包括资源占用信息；
所述处理器52，用于选择所述预设策略中与所述第一负载信息相匹配的第一计算框架；所述第一计算框架的第一资源占用信息与所述第一负载信息相匹配；
所述通信接口51，还用于发送所述第一查询数据至所述计算设备中的第一计算框架。
本实施例中，所述处理器52，用于分析所述第一查询数据，获得所述第一查询数据对应的数据处理量；基于所述数据处理量确定表征所述第一查询数据的复杂程度的第一参数；其中，所述数据处理量与所述第一查询数据的复杂程度正相关。
本领域技术人员应当理解，本发明实施例的电子设备中各处理单元的功能，可参照前述信息处理方法的相关描述而理解，本发明实施例的电子设备中各处理单元，可通过实现本发明实施例所述的功能的模拟电路而实现，也可以通过执行本发明实施例所述的功能的软件在智能终端上的运行而实现。
实施例八
本发明实施例还提供了一种电子设备。如图5所示，所述电子设备包括：通信接口51和处理器52；其中，
所述通信接口51，用于获得第一查询数据，发送所述第一查询数据至所述处理器52；还用于获得表征计算设备的负载状态的第一负载信息，发送所述第一负载信息至所述处理器52；
所述处理器52，用于分析所述第一查询数据，获得表征所述第一查询数据的复杂程度的第一参数；
所述通信接口51，还用于获得所述计算设备中包括的所述至少两个计算框架的特性，所述特性包括数据处理能力信息和/或资源占用信息；
所述处理器52，还用于基于所述第一参数和所述第一负载信息选择与所述第一参数相对应的数据处理能力相匹配的、且与所述第一负载信息相匹配的第一计算框架；所述第一计算框架的第一资源占用信息与所述第一负载信息相匹配；
所述通信接口51，还用于发送所述第一查询数据至所述计算设备中的第一计算框架。
本实施例中，所述处理器52，用于分析所述第一查询数据，获得所述第一查询数据对应的数据处理量；基于所述数据处理量确定表征所述第一查询数据的复杂程度的第一参数；其中，所述数据处理量与所述第一查询数据的复杂程度正相关。
本领域技术人员应当理解，本发明实施例的电子设备中各处理单元的功能，可参照前述信息处理方法的相关描述而理解，本发明实施例的电子设备中各处理单元，可通过实现本发明实施例所述的功能的模拟电路而实现，也可以通过执行本发明实施例所述的功能的软件在智能终端上的运行而实现。
在本发明实施例五至实施例八中，所述电子设备中的处理器52，在实际应用中可由所述电子设备中的CPU、数字信号处理器(DSP，Digital Signal Processor)或可编程门阵列(FPGA，Field－Programmable Gate Array)实现；所述电子设备中的通信接口51，在实际应用中可由所述电子设备中的通信模组结合收发天线实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、电子设备、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种信息处理方法，其特征在于，所述方法包括：
预先对计算设备中的所有计算框架进行分析并记录；
获得第一查询数据，和/或，获得表征计算设备的负载状态的第一负载信息；
分析所述第一查询数据，获得表征所述第一查询数据的复杂程度的第一参数；
基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架，发送所述第一查询数据至所述计算设备中的第一计算框架；
其中，所述计算设备中包括至少两个计算框架，所述第一计算框架为所述两个计算框架中的任一计算框架。
2.根据权利要求1所述的方法，其特征在于，所述分析所述第一查询数据，获得表征所述第一查询数据的复杂程度的第一参数，包括：
分析所述第一查询数据，获得所述第一查询数据对应的数据处理量；
基于所述数据处理量确定表征所述第一查询数据的复杂程度的第一参数；其中，所述数据处理量与所述第一查询数据的复杂程度正相关。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架之前，所述方法还包括：
获得所述计算设备中包括的所述至少两个计算框架的特性，所述特性包括数据处理能力信息和/或资源占用信息。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架，包括：
基于所述第一参数选择所述预设策略中、与所述第一参数相对应的数据处理能力相匹配的第一计算框架；
其中，所述预设策略中包括至少一组参数范围与计算框架的映射关系。
5.根据权利要求3所述的方法，其特征在于，所述基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架，包括：
选择所述预设策略中与所述第一负载信息相匹配的第一计算框架；所述第一计算框架的第一资源占用信息与所述第一负载信息相匹配。
6.根据权利要求3所述的方法，其特征在于，所述基于所述第一参数和/或所述负载信息按预设策略选择所述计算设备中的第一计算框架，包括：
基于所述第一参数和所述第一负载信息选择与所述第一参数相对应的数据处理能力相匹配的、且与所述第一负载信息相匹配的第一计算框架；所述第一计算框架的第一资源占用信息与所述第一负载信息相匹配。
7.一种电子设备，其特征在于，所述电子设备包括：通信接口和处理器；其中，
所述通信接口，用于获得第一查询数据，发送所述第一查询数据至所述处理器；和/或，用于获得表征计算设备的负载状态的第一负载信息，发送所述第一负载信息至所述处理器；
所述处理器，用于预先对计算设备中的所有计算框架进行分析并记录；分析所述第一查询数据，获得表征所述第一查询数据的复杂程度的第一参数；基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架；其中，所述计算设备中包括至少两个计算框架，所述第一计算框架为所述两个计算框架中的任一计算框架；
所述通信接口，还用于发送所述第一查询数据至所述计算设备中的第一计算框架。
8.根据权利要求7所述的电子设备，其特征在于，所述处理器，用于分析所述第一查询数据，获得所述第一查询数据对应的数据处理量；基于所述数据处理量确定表征所述第一查询数据的复杂程度的第一参数；其中，所述数据处理量与所述第一查询数据的复杂程度正相关。
9.根据权利要求7所述的电子设备，其特征在于，所述通信接口，还用于所述处理器基于所述第一参数和/或所述第一负载信息按预设策略选择所述计算设备中的第一计算框架之前，获得所述计算设备中包括的所述至少两个计算框架的特性，所述特性包括数据处理能力信息和/或资源占用信息。
10.根据权利要求7所述的电子设备，其特征在于，所述处理器，用于基于所述第一参数选择所述预设策略中、与所述第一参数相对应的数据处理能力相匹配的第一计算框架；其中，所述预设策略中包括至少一组参数范围与计算框架的映射关系；和/或，选择所述预设策略中与所述第一负载信息相匹配的第一计算框架；所述第一计算框架的第一资源占用信息与所述第一负载信息相匹配；和/或，基于所述第一参数和所述第一负载信息选择与所述第一参数相对应的数据处理能力相匹配的、且与所述第一负载信息相匹配的第一计算框架；所述第一计算框架的第一资源占用信息与所述第一负载信息相匹配。
CN201710199234.7A 2017-03-29 2017-03-29 一种信息处理方法及电子设备 Active CN106970837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710199234.7A CN106970837B (zh) 2017-03-29 2017-03-29 一种信息处理方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710199234.7A CN106970837B (zh) 2017-03-29 2017-03-29 一种信息处理方法及电子设备

Publications (2)

Publication Number Publication Date
CN106970837A CN106970837A (zh) 2017-07-21
CN106970837B true CN106970837B (zh) 2020-05-26

Family

ID=59335822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710199234.7A Active CN106970837B (zh) 2017-03-29 2017-03-29 一种信息处理方法及电子设备

Country Status (1)

Country Link
CN (1) CN106970837B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376981B (zh) * 2018-08-31 2022-09-02 创新先进技术有限公司 数据处理方式的确定方法、装置、服务器和数据处理方法
CN117573359A (zh) * 2023-11-28 2024-02-20 之江实验室 一种基于异构集群的计算框架管理系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103299299A (zh) * 2010-11-22 2013-09-11 移动解决方案公司 高适应性查询优化器检索空间生成方法
CN105786992A (zh) * 2016-02-17 2016-07-20 中国建设银行股份有限公司 一种用于联机交易的数据查询方法和装置
CN106462593A (zh) * 2014-04-02 2017-02-22 华为技术有限公司 大规模并行处理数据库的系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622414B (zh) * 2012-02-17 2013-11-06 清华大学 基于对等结构的分布式高维索引并行查询框架

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103299299A (zh) * 2010-11-22 2013-09-11 移动解决方案公司 高适应性查询优化器检索空间生成方法
CN106462593A (zh) * 2014-04-02 2017-02-22 华为技术有限公司 大规模并行处理数据库的系统和方法
CN105786992A (zh) * 2016-02-17 2016-07-20 中国建设银行股份有限公司 一种用于联机交易的数据查询方法和装置

Also Published As

Publication number Publication date
CN106970837A (zh) 2017-07-21

Similar Documents

Publication Publication Date Title
JP5298117B2 (ja) 分散コンピューティングにおけるデータマージング
CN109815283B (zh) 一种异构数据源可视化查询方法
US20200210423A1 (en) Multi-party data joint query method, device, server and storage medium
CN105279276A (zh) 一种数据库索引优化系统
US9992269B1 (en) Distributed complex event processing
KR102104193B1 (ko) 서비스 파라미터 선택 방법 및 관련된 디바이스
CN107291770B (zh) 一种分布式系统中海量数据的查询方法及装置
CN106354817B (zh) 一种日志的处理方法及装置
CN107301214A (zh) 在hive中数据迁移方法、装置及终端设备
CN102915344B (zh) 一种sql语句处理方法及装置
CN106970837B (zh) 一种信息处理方法及电子设备
TW201723878A (zh) 分散式計算之運算參數與叢集系統組態的推薦方法與系統
CN103902592A (zh) 基于MapReduce实现分析函数的方法及系统
WO2015088557A1 (en) Data stream processing based on a boundary parameter
CA3148489A1 (en) Method of and device for assessing data query time consumption, computer equipment and storage medium
CN113467944B (zh) 面向复杂软件系统的资源部署装置及方法
CN112612832B (zh) 节点分析方法、装置、设备及存储介质
CN112631754A (zh) 数据处理方法、装置、存储介质及电子装置
CN109558403B (zh) 数据聚合方法及装置、计算机装置及计算机可读存储介质
CN112800091A (zh) 一种流批一体式计算控制系统及方法
CN108134810B (zh) 一种确定资源调度组件的方法及其系统
CN104317666B (zh) 一种异常处理方法及装置
CN110851249A (zh) 一种数据导出的方法及设备
CN113760489A (zh) 一种资源配置方法和装置
CN107766442A (zh) 一种海量数据关联规则挖掘方法及系统

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant