CN113760960A - 一种信息生成方法、装置和用于生成信息的装置 - Google Patents
一种信息生成方法、装置和用于生成信息的装置 Download PDFInfo
- Publication number
- CN113760960A CN113760960A CN202010486678.0A CN202010486678A CN113760960A CN 113760960 A CN113760960 A CN 113760960A CN 202010486678 A CN202010486678 A CN 202010486678A CN 113760960 A CN113760960 A CN 113760960A
- Authority
- CN
- China
- Prior art keywords
- information
- execution plan
- task
- sql statement
- portrait
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000006870 function Effects 0.000 claims description 20
- 238000005457 optimization Methods 0.000 claims description 14
- 230000036541 health Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000003745 diagnosis Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 230000004931 aggregating effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 241000406668 Loxodonta cyclotis Species 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011068 loading method Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2452—Query translation
- G06F16/24522—Translation of natural language queries to structured queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例公开了一种信息生成方法、装置和用于生成信息的装置。该方法的实施例包括：接收针对数据仓库的SQL语句，并确定SQL语句对应的任务；获取SQL语句的执行计划信息和任务的画像信息；将执行计划信息和画像信息进行汇总，生成SQL语句的执行计划辅助信息。该实施方式便于用户了解SQL语句的执行计划和相关信息，提高了信息的丰富性和可读性。
Description
技术领域
本申请实施例涉及计算机技术领域，具体涉及一种信息生成方法、装置和用于生成信息的装置。
背景技术
Hive是基于分布式系统基础架构Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载。Hive能将结构化的数据文件映射为一张数据库表，并提供SQL(StructuredQuery Language，结构化查询语言)查询功能，能够将SQL语句转变成MapReduce(一种编程模型)任务来执行。通常可通过Hive执行计划，使用户了解任务执行过程。
现有技术中，通常直接使用Hive自带的执行计划并将其返回给用户。然而，Hive自带的执行计划通常可读性较差，不熟悉MapReduce底层技术的用户不易理解其含义。同时，Hive自带的执行计划所包含的信息有限，无法为用户提供更充足的信息。
发明内容
本申请实施例提出了一种信息生成方法、装置和用于生成信息的装置，以便于用户了解SQL语句的执行计划和相关信息，提高信息的丰富性和可读性。
第一方面，本申请实施例提供了一种信息生成方法，该方法包括：接收针对数据仓库的SQL语句，并确定所述SQL语句对应的任务；获取所述SQL语句的执行计划信息和所述任务的画像信息；将所述执行计划信息和所述画像信息进行汇总，生成所述SQL语句的执行计划辅助信息。
第二方面，本申请实施例提供了一种信息生成装置，该装置包括：确定单元，被配置成接收针对数据仓库的SQL语句，并确定所述SQL语句对应的任务；获取单元，被配置成获取所述SQL语句的执行计划信息和所述任务的画像信息；生成单元，被配置成将所述执行计划信息和所述画像信息进行汇总，生成所述SQL语句的执行计划辅助信息。
第三方面，本申请实施例提供了一种用于生成信息的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行一个或者一个以上程序包含用于进行以下操作的指令：接收针对数据仓库的SQL语句，并确定所述SQL语句对应的任务；获取所述SQL语句的执行计划信息和所述任务的画像信息；将所述执行计划信息和所述画像信息进行汇总，生成所述SQL语句的执行计划辅助信息。
第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所描述的方法。
本申请实施例提供的信息生成方法、装置和用于生成信息的装置，通过接收针对数据仓库的SQL语句，并确定SQL语句对应的任务；而后获取SQL语句的执行计划信息和任务的画像信息；最后将执行计划信息和画像信息进行汇总，从而生成SQL语句的执行计划辅助信息。由于执行计划辅助信息不仅包含执行计划信息，还包含任务的画像信息，不仅可辅助用户了解执行计划，增加执行计划的可读性，同时提高了信息的丰富性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是根据本申请的信息生成方法的一个实施例的流程图；
图2是根据本申请的一个执行计划辅助图的示意图；
图3是根据本申请的信息生成装置的一个实施例的结构示意图；
图4是根据本申请的一种用于生成信息的装置的结构示意图；
图5是根据本申请的一些实施例中服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1，其示出了根据本申请的信息生成方法的一个实施例的流程100。上述信息生成方法可运行于各种电子设备，上述电子设备包括但不限于：服务器、智能手机、平板电脑、膝上型便携计算机、车载电脑、台式计算机等。
本实施例中的信息生成方法，可以包括以下步骤：
步骤101，接收针对数据仓库的SQL语句，并确定SQL语句对应的任务。
在本实施例中，信息生成方法的执行主体(如上述电子设备)可以接收用户发送的针对数据仓库的SQL语句，并确定该SQL语句对应的任务。其中，数据仓库可以是Hive。针对数据仓库的SQL语句即为Hive SQL语句。SQL语句对应的任务即为Hive执行该SQL语句过程中转换成的MapReduce(一种编程模型)任务(Job)。Hive在工作时需要将SQL语句转换成MapReduce任务来执行，因而在接收到Hive SQL语句后，上述执行主体可以确定Hive所转换成的MapReduce任务，从而得到SQL语句对应的任务。此处，任务的数量可以是一个或多个。
实践中，Hive是基于分布式系统基础架构Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载。Hive能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能够将SQL语句转变成MapReduce任务来执行。其中，MapReduce是一种编程模型，用于大规模数据集的并行运算。MapReduce的主要思想是指定一个Map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce(归约)函数，用来保证所有映射的键值对中的每一个共享相同的键组。Hive提供了丰富的Hive SQL查询方式来分析存储在Hadoop分布式文件系统中的数据，使不熟悉MapReduce的用户可以很方便的利用Hive SQL语言查询、汇总和分析数据，为大数据的数据操作提供了良好的伸缩性和可扩展性。
Hive在执行SQL语句时，会首先将SQL语句解析成抽象语法树(Abstract SyntaxTree，AST)，简称语法树。抽象语法树是源代码语法结构的一种抽象表示。它以树状的形式表现编程语言的语法结构，树上的每个节点都表示源代码中的一种结构。
在解析成抽象语法树后，由于抽象语法树的复杂度依旧较高，不便于翻译为MapReduce任务，因而需要进行进一步抽象和结构化，形成查询的基本组成单元(QueryBlock，QB)。QB是一条SQL最基本的组成单元，包括三个部分：输入源，计算过程，输出。可理解为一个QB为一个子查询。Hive将会遍历抽象语法树，并进行语法解析，得到QB。此过程中，可验证SQL语句中的表名和列名、进行数据类型的检查和隐式转换、以及验证Hive提供的函数和用户自定义函数(User Defined Function，UDF)等。
在将抽象语法树抽象为QB后，将会依次进行逻辑计划生产和逻辑计划优化。其中，逻辑计划生成即为生成逻辑计划，即通过遍历QB生成算子树(Operator Tree)，也称操作树。逻辑计划优化即为对算子树进行优化，包括列剪枝，分区剪枝等，用以合并操作符，达到减少Map Reduce任务的目的。
在进行逻辑计划优化后，Hive将进行物理计划生成。物理计划生成是指遍历算子树，将算子树转换为MapReduce任务。而后，可通过物理层优化器进行MapReduce任务的优化，生成最终的执行计划。本实施例中的SQL语句对应的任务，即为最终的执行计划中的MapReduce任务。实践中，该执行计划可发送到Hadoop集群进行执行，从而得到SQL语句的执行结果。
步骤102，获取SQL语句的执行计划信息和任务的画像信息。
在本实施例中，执行计划信息可以是通过依次将SQL语句解析成抽象语法树、将抽象语法树转换为查询的基本组成单元、遍历查询的基本组成单元以生成算子树、将算子树进行优化、将优化后的算子树转换为MapReduce任务并优化后所得到的执行计划信息。执行计划信息可以包括各个任务的具体操作以及任务的执行顺序等。
任务的画像信息可以通过MapReduce程序对目标路径(如Yarn JobHistory路径)进行数据解析后获取到。上述目标路径(如Yarn JobHistory路径)用于存储任务历史记录，该任务历史记录中可包括任务的相关数据，如任务的画像信息等数据。此处，任务的画像信息可以包括与任务相关的各种信息。例如，可以包括但不限于任务所操作的数据表信息、任务的状态信息、任务提交时间、任务开始时间、任务完成时间、映射任务(Mapper Task)数量、归约任务(Reducer Task)数量、读入字节数、写入字节数等。
在本实施例的一些可选的实现方式中，上述执行主体可以按照如下步骤生成上述SQL语句的执行计划信息：
第一步，从上述任务的历史调度信息中，提取上述SQL语句的优化参数和用户自定义函数。
具体地，可以首先通过调度系统提供的日志接口，获取出调度日志。而后，从调度日志中获取到上述任务的历史调度信息。上述调度系统可以是调度Hive SQL的系统，该调度系统可每天定时调度Hive SQL。
历史调度信息中可以包括但不限于上述SQL语句的优化参数和用户自定义函数等。实践中，Hive自带了一些函数，但是由于自带的函数数量有限，因而用户可以通过自定义函数的方式来进行扩展。用户自定义函数可基于用户的设定影响执行计划。
优化参数可以用于进行Hive的优化。例如，在不具备优化参数时，Hive对任务串行执行。当增加某一个优化参数后，可对任务并行执行。由此，优化参数也可改变执行计划，使执行计划由串行变更为并行。
第二步，获取SQL指令对应的语法树。该语法树即为上述抽象语法树，此处不再赘述。
第三步，基于优化参数、用户自定义函数和语法树，生成SQL语句的执行计划信息。此处，可首先将语法树转换为MapReduce任务，而后基于用户自定义函数和优化参数对MapReduce任务进行优化，从而得到SQL语句的执行计划信息。将语法树转换为MapReduce任务的过程可参见上述描述，此处不再赘述。
在本实施例的一些可选的实现方式中，上述执行主体可以通过如下步骤获取任务的画像信息：
第一步，从目标路径(如Yarn JobHistory路径)中获取任务的初始画像信息。
可选的，上述初始画像信息可以包括但不限于以下至少一项：任务所操作的数据表信息、任务的状态信息、任务提交时间、任务开始时间、任务完成时间、映射任务数量、归约任务数量、读入字节数和写入字节数等。
第二步，获取任务的诊断信息，诊断信息用于表征任务的执行结果的健康程度。
此处，通过大象医生(Dr.elephant)工具分析获取任务的诊断信息。其中，大象医生工具是一个对Hadoop和Spark(一种为大规模数据处理而设计的快速通用的计算引擎)任务进行性能监控和调优的工具，它能够自动收集Hadoop平台所有的度量标准，并对收集的数据进行分析，并将分析结果以一种简单且易于理解的形式展示出来。大象医生工具的设计目的是通过它对任务的分析结果指导Hadoop或Spark开发者对其任务进行便捷的优化，从而提高开发者的效率以及Hadoop集群的使用效率。
可选的，上述诊断信息可以包括但不限于以下至少一项：任务的严重度状态、任务是否数据倾斜、任务的资源利用是否合理等健康度信息。其中，数据倾斜在MapReduce编程模型中十分常见，数据倾斜是指大量的相同键(key)被分配到一个分区里，导致一个节点要承受着巨大的压力，而其他节点计算完毕后要一直等待这个忙碌的节点，因而拖累了整体的计算时间，导致处理效率较低。
步骤103，将执行计划信息和画像信息进行汇总，生成SQL语句的执行计划辅助信息。
在本实施例中，上述执行主体可以将执行计划信息和画像信息进行汇总，生成SQL语句的执行计划辅助信息。此处的执行计划辅助信息可以是将执行计划信息和画像信息汇总后的信息，该信息可以是各种形式的信息，如文本形式、图片形式、图文形式等。该信息可以包括各个任务的具体操作以及任务的执行顺序等。
在本实施例的一些可选的实现方式中，上述执行主体可以通过预设的画图工具，绘制上述SQL语句的执行计划辅助图，上述执行计划辅助图中包括上述执行计划信息和上述画像信息。例如，可通过python程序语言中的pygraphviz模块中的AGraph类，创建一个图的实例，之后用该实例调用一些方法以构建点、建立边，以表征任务的顺序和关系等，从而得到执行计划辅助图。
作为示例，图2示出了执行计划辅助图的示意图。所示意的执行计划辅助图中，包括Job(任务)id(标识)、相关表、Job健康度、是否数据倾斜、Job提交时间、Job开始时间、Job完成时间、Job运行时长、Map(映射)读入字节数、Reduce(归约)读入字节数、Map写入字节数、Reduce写入字节数等等。此外，还可以包括条件选择器、各个阶段(Stage)的具体操作等信息，如移动操作、合并文件操作等。
需要说明的是，图2仅示出了一个任务的情况，但本申请不限于仅有一个任务的情况。当具有SQL语句具有多个任务时，可将各任务的执行计划以及画像信息汇总至执行计划辅助图中，且可以在该执行计划辅助图中表示出任务的先后顺序等信息。
在本实施例的一些可选的实现方式中，在生成SQL语句的执行计划辅助信息之后，上述执行主体还可以将发送上述SQL语句的用户作为目标用户，响应于接收到上述目标用户发送的信息执行计划辅助信息获取请求，向上述目标用户返回上述执行计划辅助信息。用户获取该模型之后，可以有效的查看用户的Hive SQL对应的任务的画像信息、健康度信息等多维度信息。
本申请的上述实施例提供的方法，通过接收针对数据仓库的SQL语句，并确定SQL语句对应的任务；而后获取SQL语句的执行计划信息和任务的画像信息；最后将执行计划信息和画像信息进行汇总，从而生成SQL语句的执行计划辅助信息。由此，执行计划辅助信息不仅包含执行计划信息，还包含任务的画像信息，不仅可辅助用户了解执行计划，增加执行计划的可读性，同时提高了信息的丰富性。
进一步参考图3，作为对上述各图所示方法的实现，本申请提供了一种信息生成装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例上述的信息生成装置300包括：确定单元301，被配置成接收针对数据仓库的SQL语句，并确定上述SQL语句对应的任务；获取单元302，被配置成被配置成获取上述SQL语句的执行计划信息和上述任务的画像信息；生成单元303，被配置成将上述执行计划信息和上述画像信息进行汇总，生成上述SQL语句的执行计划辅助信息。
在本实施例的一些可选的实现方式中，上述获取单元302，进一步被配置成通过如下步骤获取上述执行计划信息：从上述任务的历史调度信息中，提取上述SQL语句的优化参数和用户自定义函数；获取上述SQL指令对应的语法树；基于上述优化参数、上述用户自定义函数和上述语法树，生成上述SQL语句的执行计划信息。
在本实施例的一些可选的实现方式中，上述获取单元302，进一步被配置成通过如下步骤获取上述画像信息：从目标路径中获取上述任务的初始画像信息；获取上述任务的诊断信息，上述诊断信息用于表征上述任务的执行结果的健康程度；将上述初始画像新和上述诊断信息汇总为目标画像信息。
在本实施例的一些可选的实现方式中，上述初始画像信息包括以下至少一项：任务所操作的数据表信息、任务的状态信息、任务提交时间、任务开始时间、任务完成时间、映射任务数量、归约任务数量、读入字节数和写入字节数。
在本实施例的一些可选的实现方式中，上述诊断信息包括以下至少一项：任务的严重度状态、任务是否数据倾斜、任务的资源利用是否合理等健康度信息。
在本实施例的一些可选的实现方式中，上述生成单元303，进一步被配置成：通过预设的画图工具，绘制上述SQL语句的执行计划辅助图，上述执行计划辅助图中包括上述执行计划信息和上述画像信息。
在本实施例的一些可选的实现方式中，上述装置还包括：发送单元，被配置成将发送上述SQL语句的用户作为目标用户，响应于接收到上述目标用户发送的信息执行计划辅助信息获取请求，向上述目标用户返回上述执行计划辅助信息。
本申请的上述实施例提供的装置，通过接收针对数据仓库的SQL语句，并确定SQL语句对应的任务；而后获取SQL语句的执行计划信息和任务的画像信息；最后将执行计划信息和画像信息进行汇总，从而生成SQL语句的执行计划辅助信息。由此，执行计划辅助信息不仅包含执行计划信息，还包含任务的画像信息，不仅可辅助用户了解执行计划，增加执行计划的可读性，同时提高了信息的丰富性。
图4是根据一示例性实施例示出的用于输入的装置400的框图，该装置400可以为智能终端或者服务器。例如，装置400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图4，装置400可以包括以下一个或多个组件：处理组件402，存储器404，电源组件406，多媒体组件408，音频组件410，输入/输出(I/O)的接口412，传感器组件414，以及通信组件416。
处理组件402通常控制装置400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理组件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。
存储器404被配置为存储各种类型的数据以支持在装置400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件406为装置400的各种组件提供电力。电源组件406可以包括电源管理系统，一个或多个电源，及其他与为装置400生成、管理和分配电力相关联的组件。
多媒体组件408包括在上述装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。上述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与上述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当设备400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(MIC)，当装置400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。
I/O接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件414包括一个或多个传感器，用于为装置400提供各个方面的状态评估。例如，传感器组件414可以检测到设备400的打开/关闭状态，组件的相对定位，例如上述组件为装置400的显示器和小键盘，传感器组件414还可以检测装置400或装置400一个组件的位置改变，用户与装置400接触的存在或不存在，装置400方位或加速/减速和装置400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，上述通信组件416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由装置400的处理器420执行以完成上述方法。例如，上述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图5是本申请的一些实施例中服务器的结构示意图。该服务器500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)522(例如，一个或一个以上处理器)和存储器532，一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器522可以设置为与存储介质530通信，在服务器500上执行存储介质530中的一系列指令操作。
服务器500还可以包括一个或一个以上电源526，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口558，一个或一个以上键盘556，和/或，一个或一个以上操作系统541，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
一种非临时性计算机可读存储介质，当上述存储介质中的指令由装置(智能终端或者服务器)的处理器执行时，使得装置能够执行一种信息生成方法，上述方法包括：接收针对数据仓库的SQL语句，并确定所述SQL语句对应的任务；获取所述SQL语句的执行计划信息和所述任务的画像信息；将所述执行计划信息和所述画像信息进行汇总，生成所述SQL语句的执行计划辅助信息。
可选的，所述执行计划信息通过如下步骤获取：从所述任务的历史调度信息中，提取所述SQL语句的优化参数和用户自定义函数；获取所述SQL指令对应的语法树；基于所述优化参数、所述用户自定义函数和所述语法树，生成所述SQL语句的执行计划信息。
可选的，所述画像信息通过如下步骤获取：从目标路径中获取所述任务的初始画像信息；获取所述任务的诊断信息，所述诊断信息用于表征所述任务的执行结果的健康程度；将所述初始画像新和所述诊断信息汇总为目标画像信息。
可选的，所述初始画像信息包括以下至少一项：任务所操作的数据表信息、任务的状态信息、任务提交时间、任务开始时间、任务完成时间、映射任务数量、归约任务数量、读入字节数和写入字节数。
可选的，所述诊断信息包括以下至少一项：任务的严重度状态、任务是否数据倾斜、任务的资源利用是否合理等健康度信息。
可选的，所述将所述执行计划信息和所述画像信息进行汇总，生成所述SQL语句的执行计划辅助信息，包括：通过预设的画图工具，绘制所述SQL语句的执行计划辅助图，所述执行计划辅助图中包括所述执行计划信息和所述画像信息。
可选的，所述装置经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：将发送所述SQL语句的用户作为目标用户，响应于接收到所述目标用户发送的信息执行计划辅助信息获取请求，向所述目标用户返回所述执行计划辅助信息。
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
以上对本申请所提供的一种信息生成方法、装置和一种用于生成信息的装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种信息生成方法，其特征在于，所述方法包括：
接收针对数据仓库的SQL语句，并确定所述SQL语句对应的任务；
获取所述SQL语句的执行计划信息和所述任务的画像信息；
将所述执行计划信息和所述画像信息进行汇总，生成所述SQL语句的执行计划辅助信息。
2.根据权利要求1所述的方法，其特征在于，所述执行计划信息通过如下步骤获取：
从所述任务的历史调度信息中，提取所述SQL语句的优化参数和用户自定义函数；
获取所述SQL指令对应的语法树；
基于所述优化参数、所述用户自定义函数和所述语法树，生成所述SQL语句的执行计划信息。
3.根据权利要求1所述的方法，其特征在于，所述画像信息通过如下步骤获取：
从目标路径中获取所述任务的初始画像信息；
获取所述任务的诊断信息，所述诊断信息用于表征所述任务的执行结果的健康程度；
将所述初始画像新和所述诊断信息汇总为目标画像信息。
4.根据权利要求3所述的方法，其特征在于，所述初始画像信息包括以下至少一项：
任务所操作的数据表信息、任务的状态信息、任务提交时间、任务开始时间、任务完成时间、映射任务数量、归约任务数量、读入字节数和写入字节数。
5.根据权利要求3所述的方法，其特征在于，所述诊断信息包括以下至少一项：
任务的严重度状态、任务是否数据倾斜、任务的资源利用是否合理等健康度信息。
6.根据权利要求1所述的方法，其特征在于，所述将所述执行计划信息和所述画像信息进行汇总，生成所述SQL语句的执行计划辅助信息，包括：
通过预设的画图工具，绘制所述SQL语句的执行计划辅助图，所述执行计划辅助图中包括所述执行计划信息和所述画像信息。
7.根据权利要求1所述的方法，其特征在于，在生成所述SQL语句的执行计划辅助信息之后，所述方法还包括：
将发送所述SQL语句的用户作为目标用户，响应于接收到所述目标用户发送的信息执行计划辅助信息获取请求，向所述目标用户返回所述执行计划辅助信息。
8.一种信息生成装置，其特征在于，所述装置包括：
确定单元，被配置成接收针对数据仓库的SQL语句，并确定所述SQL语句对应的任务；
获取单元，被配置成被配置成获取所述SQL语句的执行计划信息和所述任务的画像信息；
生成单元，被配置成将所述执行计划信息和所述画像信息进行汇总，生成所述SQL语句的执行计划辅助信息。
9.一种用于生成信息的装置，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
接收针对数据仓库的SQL语句，并确定所述SQL语句对应的任务；
获取所述SQL语句的执行计划信息和所述任务的画像信息；
将所述执行计划信息和所述画像信息进行汇总，生成所述SQL语句的执行计划辅助信息。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010486678.0A CN113760960A (zh) | 2020-06-01 | 2020-06-01 | 一种信息生成方法、装置和用于生成信息的装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010486678.0A CN113760960A (zh) | 2020-06-01 | 2020-06-01 | 一种信息生成方法、装置和用于生成信息的装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113760960A true CN113760960A (zh) | 2021-12-07 |
Family
ID=78782797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010486678.0A Pending CN113760960A (zh) | 2020-06-01 | 2020-06-01 | 一种信息生成方法、装置和用于生成信息的装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113760960A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114968913A (zh) * | 2022-05-25 | 2022-08-30 | 中国平安财产保险股份有限公司 | 一种数据管理方法、装置及计算设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030033291A1 (en) * | 2001-08-03 | 2003-02-13 | David Harris | SQL execution analysis |
| US20110022583A1 (en) * | 2009-07-23 | 2011-01-27 | International Business Machines Corporation | SQL Queries For Simple Network Management Protocol Management Information Base Tables |
| CN102402596A (zh) * | 2011-11-07 | 2012-04-04 | 北京搜狗科技发展有限公司 | 一种主从分离数据库的读写方法和系统 |
| US20130117256A1 (en) * | 2010-07-22 | 2013-05-09 | Bing Gu | Sql enumerator |
| CN107291948A (zh) * | 2016-09-21 | 2017-10-24 | 广州特道信息科技有限公司 | 一种分布式newSQL数据库的访问方法 |
| CN107798017A (zh) * | 2016-09-07 | 2018-03-13 | 南京中兴新软件有限责任公司 | 分布式数据库中的执行计划信息生成方法和系统 |
| CN110502538A (zh) * | 2019-07-05 | 2019-11-26 | 中国平安人寿保险股份有限公司 | 画像标签生成逻辑映射的方法、系统、设备及存储介质 |
| CN110555032A (zh) * | 2019-09-09 | 2019-12-10 | 北京搜狐新媒体信息技术有限公司 | 一种基于元数据的数据血缘关系分析方法及系统 |
| CN111026782A (zh) * | 2019-12-25 | 2020-04-17 | 上海达梦数据库有限公司 | 远程数据库对象的优化方法、装置、设备及存储介质 |
-
2020
- 2020-06-01 CN CN202010486678.0A patent/CN113760960A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030033291A1 (en) * | 2001-08-03 | 2003-02-13 | David Harris | SQL execution analysis |
| US20110022583A1 (en) * | 2009-07-23 | 2011-01-27 | International Business Machines Corporation | SQL Queries For Simple Network Management Protocol Management Information Base Tables |
| US20130117256A1 (en) * | 2010-07-22 | 2013-05-09 | Bing Gu | Sql enumerator |
| CN102402596A (zh) * | 2011-11-07 | 2012-04-04 | 北京搜狗科技发展有限公司 | 一种主从分离数据库的读写方法和系统 |
| CN107798017A (zh) * | 2016-09-07 | 2018-03-13 | 南京中兴新软件有限责任公司 | 分布式数据库中的执行计划信息生成方法和系统 |
| CN107291948A (zh) * | 2016-09-21 | 2017-10-24 | 广州特道信息科技有限公司 | 一种分布式newSQL数据库的访问方法 |
| CN110502538A (zh) * | 2019-07-05 | 2019-11-26 | 中国平安人寿保险股份有限公司 | 画像标签生成逻辑映射的方法、系统、设备及存储介质 |
| CN110555032A (zh) * | 2019-09-09 | 2019-12-10 | 北京搜狐新媒体信息技术有限公司 | 一种基于元数据的数据血缘关系分析方法及系统 |
| CN111026782A (zh) * | 2019-12-25 | 2020-04-17 | 上海达梦数据库有限公司 | 远程数据库对象的优化方法、装置、设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114968913A (zh) * | 2022-05-25 | 2022-08-30 | 中国平安财产保险股份有限公司 | 一种数据管理方法、装置及计算设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102613774B1 (ko) | 애플리케이션 관련 사용자 데이터를 추출하고 공유하기 위한 시스템 및 방법 | |
| CN106569800B (zh) | 前端界面生成方法及装置 | |
| CN106339384B (zh) | 存储过程的转换方法及装置 | |
| CN111694866A (zh) | 数据搜索及存储方法、数据搜索系统、装置、设备及介质 | |
| US11537329B1 (en) | Emulation test system for flash translation layer and method thereof | |
| CN114138817A (zh) | 基于关系型数据库的数据查询方法、设备、介质及产品 | |
| US20230013479A1 (en) | Data catalog system for generating synthetic datasets | |
| CN115062046A (zh) | 数据库查询方法、装置、电子设备及存储介质 | |
| KR20180101926A (ko) | 전자 장치 및 전자 장치의 어플리케이션 제어 방법 | |
| CN111552688A (zh) | 数据导出方法、装置及电子设备 | |
| CN114356891A (zh) | 数据迁移方法、设备、存储介质及程序产品 | |
| CN110069532A (zh) | 数据查询方法、装置、计算机可读存储介质及电子设备 | |
| CN113760960A (zh) | 一种信息生成方法、装置和用于生成信息的装置 | |
| CN112839065B (zh) | 信息处理方法、装置、第一设备及存储介质 | |
| US20210132855A1 (en) | Method and device for detecting slow node and computer-readable storage medium | |
| CN112988822B (zh) | 数据查询方法、装置、设备、可读存储介质以及产品 | |
| CN112486979B (zh) | 数据处理方法、装置和系统、电子设备以及计算机可读存储介质 | |
| CN111443905B (zh) | 业务数据的处理方法、装置、系统及电子设备 | |
| CN113326282A (zh) | Sql语句生成方法、装置、电子设备及存储介质 | |
| CN113760946A (zh) | 应用于数据源迁移的预校验处理方法、装置、设备和介质 | |
| CN112732734A (zh) | 一种信息处理方法及装置 | |
| CN113378022A (zh) | 一种站内搜索平台、搜索方法和相关装置 | |
| CN118170435B (zh) | 指令信息的处理方法、装置、设备及存储介质 | |
| CN115268935A (zh) | 数据处理方法及装置 | |
| US20220237362A1 (en) | Information display method, device, apparatus, medium, and program product for page element |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |