CN111221888A - 大数据分析系统及方法 - Google Patents

Abstract

本发明公开了一种大数据分析系统及方法。其中，系统包括：服务接口，适于接收利用输入的特定语言格式的查询语句；接收报告编写操作；统一查询语句解析引擎，适于对查询语句进行解析，生成逻辑执行计划；多语言执行器，包含至少一个计算引擎和/或至少一个存储引擎，适于根据逻辑执行计划生成物理执行计划，基于物理执行计划调用相应的计算引擎和/或存储引擎执行所述查询语句，并获得查询结果；分析报告生成模块，适于根据查询结果以及报告编写操作，生成分析报告。采用本方案，用户仅通过输入的特定语言格式的查询语句便可实现对数据的快速分析，并且，将用户的业务逻辑与计算引擎及存储引擎解耦，降低用户的学习成本，提升用户体验。

Description

大数据分析系统及方法

技术领域

本发明涉及计算机技术领域，具体涉及一种大数据分析系统及方法。

背景技术

随着科技及社会的不断发展，各类数据呈井喷式地增长，从而大幅增加人们对海量数据的分析难度。

目前，在对海量数据进行分析时，由于所分析的数据通常来自于不同的存储引擎，从而使得数据分析人员需分别采用与存储引擎相对应的查询工具来获取相应的数据。操作复杂繁琐，并加大了用户对存储引擎的学习成本，不利于数据的快速分析。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的大数据分析系统及方法。

根据本发明的一个方面，提供了一种大数据分析系统，包括：

服务接口，适于接收利用任一种对外调用方式输入的特定语言格式的查询语句；和/或，接收报告编写操作；

统一查询语句解析引擎，适于对所述查询语句进行解析，生成逻辑执行计划；

多语言执行器，包含多个计算引擎和/或多个存储引擎，适于根据所述逻辑执行计划生成物理执行计划，基于所述物理执行计划调用相应的计算引擎和/或存储引擎执行所述查询语句，并获得查询结果；

分析报告生成模块，适于根据所述查询结果以及所述报告编写操作，生成分析报告。

根据本发明的另一方面，提供了一种大数据分析方法，包括：

接收利用任一种对外调用方式输入的特定语言格式的查询语句；和/或，接收报告编写操作；

对所述查询语句进行解析，生成逻辑执行计划；

根据所述逻辑执行计划生成物理执行计划，基于所述物理执行计划调用相应的计算引擎和/或存储引擎执行所述查询语句，并获得查询结果；

根据所述查询结果以及所述报告编写操作，生成分析报告。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述大数据分析方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述大数据分析方法对应的操作。

根据本发明提供的大数据分析系统及方法，通过接收利用任一种对外调用方式输入的特定语言格式的查询语句；和/或，接收报告编写操作；并对查询语句进行解析，生成逻辑执行计划；根据逻辑执行计划生成物理执行计划，基于物理执行计划调用相应的计算引擎和/或存储引擎执行查询语句，并获得查询结果；最终根据查询结果以及报告编写操作，生成分析报告。由此可见，采用本方案，用户仅需输入特定语言格式的查询语句及报告编写操作即可生成相应的分析报告，实现对数据的快速分析，降低了用户对不同的引擎工具的学习成本，并有利于提升数据分析效率，提升用户体验；并且，本系统可扩展性高，便于维护，适于大规模应用与实施。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例提供的一种大数据分析系统的功能结构示意图；

图2示出了根据本发明另一个实施例提供的一种大数据分析系统的功能结构示意图；

图3示出了根据本发明一个实施例提供的一种大数据分析方法的流程示意图；

图4示出了根据本发明一个实施例提供的一种计算设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例提供的一种大数据分析系统。如图1所示，该系统包括：服务接口11、统一查询语句解析引擎12、多语言执行器13、以及分析报告生成模块14。

其中，服务接口11，适于接收利用任一种对外调用方式输入的特定语言格式的查询语句；和/或，接收报告编写操作。

本系统为用户提供一种统一的查询语言，用户无需根据待分析数据所对应的计算引擎和/或存储引擎的语法结构等进行查询语句的编译，本系统可降低查询语句与存储引擎和/或计算引擎之间的耦合度，并有利于减小用户的学习成本。其中，本系统为用户提供的统一的查询语言为SQL语言，即服务接口11接收到的查询语句具体为SQL语句。

并且，本系统提供有至少一种对外调用方式，该至少一种对外调用方式包含：命令行调用方式、JDBC调用方式和/或专用API调用方式。可选的，为进一步提升用户体验，本实施例进一步针对于不同的用户群体提供相应的对外调用方式。例如，针对于终端用户群体，可以为其提供命令行调用方式；而针对于开发者用户群体，则为其提供JDBC(JavaDataBase Connectivity，java数据库连接)调用方式和/或专用API调用方式。

另外，本系统还可通过服务接口11接收用户的报告编写操作。该报告编写操作可以包括输入报告编写语句。其中，编写报告语句可以与查询语句为不同语法结构的语句，则本系统中还可以包含有多语言解释器(图中未示出)，以此保证用户可以在一个系统中实现不同语法结构的语句的执行。

统一查询语句解析引擎12，适于对查询语句进行解析，生成逻辑执行计划。

统一查询语句解析引擎12用于对接收到的查询语句进行统一的解析，从而生成对应的逻辑执行计划。其中，本发明对查询语句具体的解析方式不做限定。例如，可以将查询语句转换为对应的逻辑树，基于转换后的逻辑树生成逻辑执行计划。或者，进一步对转换后的逻辑树进行逻辑树拆分，将逻辑树拆分为多个逻辑子树，根据拆分结果生成逻辑执行计划。

可选的，为提高查询语句的查询结果的准确性，统一查询语句解析引擎12在生成逻辑执行计划过程中，具体是判断查询语句是否为混合查询语句；若否，则生成单数据查询逻辑执行计划；若是，则生成混合查询逻辑执行计划。其中，混合查询语句为所对应的数据源信息中至少两个数据源对应于不同类别的存储引擎，和/或，混合查询语句所对应的数据源信息中至少两个数据源对应于不同的集群，和/或，混合查询语句所对应的数据源信息中至少两个数据源对应于不同的业务连接。

多语言执行器13，包含至少一个计算引擎131和/或至少一个存储引擎132，适于根据逻辑执行计划生成物理执行计划，并基于物理执行计划调用相应的计算引擎和/或存储引擎执行查询语句，并获得查询结果。

为实现查询语句的处理，需将逻辑执行计划转换为与计算引擎或存储引擎相关的物理执行计划。本系统根据逻辑执行计划生成对应的物理执行计划，继而调用相应的计算引擎和/或存储引擎来执行查询语句，获得查询结果。从而避免现有技术中需用户自行学习及选择相应的引擎工具来获取查询结果的繁琐操作，提升数据分析效率。并且，当计算引擎和/或存储引擎发生迭代更新时，仅需对系统中的计算引擎和/或存储引擎进行增设或替换，而无需重新根据增设或替换的引擎修改查询代码，使得系统具有较高的可扩展性，并便于系统维护。

在具体的实施过程中，根据单数据查询逻辑执行计划，生成单数据查询物理执行计划，确定与单数据查询物理执行计划相对应的至少一个存储引擎，将查询语句路由至至少一个存储引擎，以供该存储引擎执行该查询语句。和/或，根据混合查询逻辑执行计划，生成混合查询物理执行计划，确定与混合查询物理执行计划相对应的至少一个存储引擎和至少一个计算引擎；将查询语句路由至至少一个存储引擎和至少一个计算引擎，以供至少一个存储引擎依据查询语句进行查询处理得到中间查询结果，至少一个计算引擎依据中间查询结果进行计算处理得到最终的查询结果。从而，本系统可实现对多个不同存储引擎中数据的聚合查询分析。

分析报告生成模块14，适于根据查询结果以及报告编写操作，生成分析报告。

在获得查询结果之后，分析报告生成模块13根据查询结果以及报告编写操作自动生成相应的分析报告，从而实现数据的快速分析。其中，生成分析报告过程中，为提升用户体验，可以以可视化的方式呈现查询结果，并根据用户在可视化界面中对查询结果的选择和/或编排操作，自动生成相应的分析报告。

由此可见，本实施例所提供的大数据分析系统，用户仅需通过服务接口输入特定语言格式的查询语句及报告编写操作即可生成相应的分析报告，实现对数据的快速分析，从而降低了用户对不同的引擎工具的学习成本，并有利于提升数据分析效率，提升用户体验；并且，本系统可扩展性高，便于维护，适于大规模应用与实施。

图2示出了根据本发明另一个实施例提供的一种大数据分析系统的结构示意图。如图2所示，在图1所示系统的基础上，该系统进一步包括：前置语法校验模块21、资源复用模块22、优化模块23、适配模块24、定时模块25、以及发布模块26。

其中，前置语法校验模块21，适于对查询语句进行前置语法校验。

现有技术中，对查询语句的语法校验通常是在查询语句提交之后，计算引擎和/或存储引擎执行该查询语句过程中进行。然而，该种校验方式会大幅降低语句的执行效率，增加系统开销。本系统通过前置语法校验模块21在计算引擎和/或存储引擎执行查询语句之前，对查询语句进行前置语法校验。在具体的实施过程中，可通过以下两种校验方式中的一种或多种的结合来对查询语句进行前置语法校验：

校验方式一：在用户编辑查询语句阶段，对查询语句进行语法校验，并返回校验结果。例如，可在用户编辑查询语句过程中，以高亮显示的方式提示SQL关键字，和/或自动提示用户的拼写错误等，和/或校验用户输入的查询语句中的数据源信息(如数据表)是否存在，或者校验用户是否有权限访问查询语句中的数据源等等。

校验方式二：在用户编辑完成查询语句之后，统一查询语句解析引擎12对查询语句进行解析生成逻辑执行计划之前，对用户提交的查询语句进行语法校验，并反馈校验结果。其中，本实施例对查询语句进行语法校验的具体方式不做限定。

资源复用模块22，适于为至少一个用户和/或至少一个项目申请独立的执行资源。

其中，一个项目可对应于至少一条查询语句。在现有的实施方式中，通常是每执行一条查询语句，则为其申请相应的执行资源，待该条查询语句执行完成后销毁该执行资源。然而，由于执行资源申请时间较长，当项目中包含有多条查询语句时，通常需不断地申请执行资源及销毁执行资源，从而提高系统开销，并降低项目的执行效率；并且，该方式在项目执行过程中，无法维护查询过程中的上下文关系，从而导致重复计算的现象频繁发生；此外，现有的数据查询项目执行方式，在某一项目执行过程中，由于未释放执行资源，从而导致另一项目无法正常执行，项目之间耦合度较高，易出现一个项目的执行效率影响另一项目的执行效率的现象，进一步降低了整体的数据查询效率。

所以，本系统通过资源复用模块22为至少一个用户和/或至少一个项目申请独立的执行资源。具体地，在项目执行过程中，接收数据查询项目执行请求；根据数据查询项目执行请求，查找是否存在与数据查询项目执行请求相对应的数据查询项目执行资源；若存在，则利用与数据查询项目执行请求相对应的数据查询项目执行资源进行数据查询项目执行；若不存在，则申请数据查询项目执行资源，利用申请的数据查询项目执行资源进行数据查询项目执行，并在本次数据查询项目执行结束后保留申请的数据查询项目执行资源。

进一步地，可为申请的数据查询项目执行资源设置相应的存活期限，并根据该存储期限对项目执行资源进行销毁或留存处理。从而使得各用户和/或各项目之间的资源互相隔离，并可在有效时间内同一项目可共享同一资源，降低系统的资源开销，提升项目的执行效率；并可实现项目上下文关系的维护，减少重复计算时间，进一步提升项目执行效率。

优化模块23，适于依据优化规则对逻辑执行计划进行优化。

为提高查询语句的执行效率，本系统通过优化模块23在计算引擎和/或存储引擎执行查询语句之前，对逻辑执行计划进行优化，进而根据优化后的逻辑执行计划生成物理执行计划，由计算引擎和/或存储引擎根据该物理执行计划执行查询语句。其中，本实施例对具体的优化方式不做限定，例如，可将可并行执行的子语句进行并行化处理等等。

适配模块24，适于判断调用相应的计算引擎和/或存储引擎是否支持以特定语言格式进行查询处理；若否，则在多语言执行器13调用相应的计算引擎和/或存储引擎执行查询语句之前，将查询语句进行转换处理。

例如，若查询语句为SQL语句，而调用Elasticsearch引擎等不支持SQL语句的引擎来对查询语句进行处理，则在Elasticsearch引擎执行查询语句之前，对查询语句进行转换处理，将SQL语句转换为与Elasticsearch引擎相对应的JSON字串，以供Elasticsearch引擎根据该JSON字串执行查询语句。通过适配模块24，本系统可实现对异构数据源的数据的分析。

定时模块25，适于根据设置的查询语句的执行时间，定时触发查询语句的执行。具体地，用户可为输入的查询语句设置相应的执行时间，定时模块可根据该执行设置将查询语句生成相应的定时查询任务，从而可使得系统中的统一查询语句解析引擎11、多语言执行器12和/或分析报告生成模块13等模块定时执行该任务，从而实现查询语句的定时执行。

发布模块26，适于将生成的分析报告进行发布。

发布模块26可在分析报告生成模块14生成分析报告之后，根据用户的发布配置参数，实现一键发布。其中，本实施例对具体的发布方式不做限定，例如，可将分析报告以邮件、短信、和/或语音等等方式进行发布，从而提升用户体验。

此外，本系统还包括收藏模块(图中未示出)，适于收藏用户输入的查询语句，以及根据用户操作实现对查询语句的管理。具体地，可根据查询语句的输入频次或者根据用户操作，收藏查询语句至预设的收藏文档中。在用户输入新的查询语句时，呈现该预设的收藏文档中的查询语句，以供根据用户针对于呈现的收藏文档中的查询语句的选择操作，直接插入查询语句，从而提升用户体验。并且，用户可对收藏文档中的查询语句，以及收藏文档进行添加、移动和/或删除等管理操作。

可选的，本系统还包含有分享模块(图中未示出)，适于根据用户操作将分析项目进行分享。

由此可见，本实施例中用户仅需通过服务接口输入特定语言格式的查询语句及报告编写操作即可实现对数据的快速分析，生成相应的分析报告，并可实现分析报告的一键发布，降低了用户对不同的引擎工具的学习成本，有利于提升数据分析效率，提升用户体验。并且，本实施例对查询语句进行前置语法校验，可提升查询语句的执行效率，降低系统开销；并为至少一个用户和/或至少一个项目申请独立的执行资源，可在使同一项目可共享同一资源，降低系统的资源开销，提升项目的执行效率，并可实现项目上下文关系的维护，减少重复计算时间，进一步提升项目执行效率；还通过优化模块依据优化规则对逻辑执行计划进行优化，进一步提升数据分析效率；以及通过适配模块实现对异构数据源的数据的分析。此外，本系统可扩展性高，便于维护，适于大规模应用与实施。

图3示出了根据本发明一个实施例提供的一种大数据分析方法的流程示意图。如图3所示，该方法包括：

步骤S310，接收利用任一种对外调用方式输入的特定语言格式的查询语句；和/或，接收报告编写操作。

步骤S320，对查询语句进行解析，生成逻辑执行计划。

步骤S330，根据逻辑执行计划生成物理执行计划，基于物理执行计划调用相应的计算引擎和/或存储引擎执行查询语句，并获得查询结果。

步骤S340，根据查询结果以及报告编写操作，生成分析报告。

可选的，该方法还包括：为至少一个用户和/或至少一个项目申请独立的执行资源。

可选的，该方法还包括：对所述查询语句进行前置语法校验。

可选的，该方法还包括：根据设置的查询语句的执行时间，定时触发所述查询语句的执行。

可选的，在生成分析报告之后，该方法还包括：将生成的分析报告进行发布。

可选的，该方法还包括：判断所述调用相应的计算引擎和/或存储引擎是否支持以所述特定语言格式进行查询处理；

若否，则在所述调用相应的计算引擎和/或存储引擎执行所述查询语句之前，将所述查询语句进行转换处理。

可选的，在所述根据所述逻辑执行计划生成物理执行计划之前，该方法还包括：依据优化规则对逻辑执行计划进行优化。

其中，本实施例中各步骤的具体实施方式可参照图1和/或图2所示系统实施例中相应部分的描述，本实施例在此不做赘述。

由此可见，本实施例所提供的大数据分析系统，用户仅需输入特定语言格式的查询语句及报告编写操作即可生成相应的分析报告，实现对数据的快速分析，从而降低了用户对不同的引擎工具的学习成本，并有利于提升数据分析效率，提升用户体验；并且，本系统可扩展性高，便于维护，适于大规模应用与实施。

根据本发明一个实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的大数据分析方法。

图4示出了根据本发明一个实施例提供的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。

如图4所示，该计算设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。

其中：

处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。

通信接口404，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器402，用于执行程序410，具体可以执行上述大数据分析系统实施例中的相关步骤。

具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。

处理器402可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序410具体可以用于使得处理器402执行以下操作：

接收利用任一种对外调用方式输入的特定语言格式的查询语句；和/或，接收报告编写操作；

对所述查询语句进行解析，生成逻辑执行计划；

根据所述逻辑执行计划生成物理执行计划，基于所述物理执行计划调用相应的计算引擎和/或存储引擎执行所述查询语句，并获得查询结果；

根据所述查询结果以及所述报告编写操作，生成分析报告。

在一种可选的实施方式中，程序410具体可以用于使得处理器402执行以下操作：

为至少一个用户和/或至少一个项目申请独立的执行资源。

在一种可选的实施方式中，程序410具体可以用于使得处理器402执行以下操作：

对所述查询语句进行前置语法校验。

在一种可选的实施方式中，程序410具体可以用于使得处理器402执行以下操作：

根据设置的查询语句的执行时间，定时触发所述查询语句的执行。

在一种可选的实施方式中，程序410具体可以用于使得处理器402执行以下操作：

在所述生成分析报告之后，将生成的分析报告进行发布。

在一种可选的实施方式中，程序410具体可以用于使得处理器402执行以下操作：

判断所述调用相应的计算引擎和/或存储引擎是否支持以所述特定语言格式进行查询处理；

若否，则在所述调用相应的计算引擎和/或存储引擎执行所述查询语句之前，将所述查询语句进行转换处理。

在一种可选的实施方式中，程序410具体可以用于使得处理器402执行以下操作：

在所述根据所述逻辑执行计划生成物理执行计划之前，依据优化规则对逻辑执行计划进行优化。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例中的大数据分析系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明公开了：A1.一种大数据分析系统，包括：

服务接口，适于接收利用任一种对外调用方式输入的特定语言格式的查询语句；和/或，接收报告编写操作；

统一查询语句解析引擎，适于对所述查询语句进行解析，生成逻辑执行计划；

多语言执行器，包含多个计算引擎和/或多个存储引擎，适于根据所述逻辑执行计划生成物理执行计划，基于所述物理执行计划调用相应的计算引擎和/或存储引擎执行所述查询语句，并获得查询结果；

分析报告生成模块，适于根据所述查询结果以及所述报告编写操作，生成分析报告。

A2.根据A1所述的系统，其中，所述系统还包括：

资源复用模块，适于为至少一个用户和/或至少一个项目申请独立的执行资源。

A3.根据A1或A2所述的系统，其中，所述系统还包括：

前置语法校验模块，适于对所述查询语句进行前置语法校验。

A4.根据A1-A3中任一项所述的系统，其中，所述系统还包括：

定时模块，适于根据设置的查询语句的执行时间，定时触发所述查询语句的执行。

A5.根据A1-A4中任一项所述的系统，其中，所述系统还包括：

发布模块，适于将生成的分析报告进行发布。

A6.根据A1-A5中任一项所述的系统，其中，所述系统还包括：

适配模块，适于判断所述调用相应的计算引擎和/或存储引擎是否支持以所述特定语言格式进行查询处理；若否，则在所述多语言执行器调用相应的计算引擎和/或存储引擎执行所述查询语句之前，将所述查询语句进行转换处理。

A7.根据A1-A6中任一项所述的系统，其中，所述系统还包括：

优化模块，适于依据优化规则对逻辑执行计划进行优化。

本发明还公开了：B8.一种大数据分析方法，包括：

接收利用任一种对外调用方式输入的特定语言格式的查询语句；和/或，接收报告编写操作；

对所述查询语句进行解析，生成逻辑执行计划；

根据所述逻辑执行计划生成物理执行计划，基于所述物理执行计划调用相应的计算引擎和/或存储引擎执行所述查询语句，并获得查询结果；

根据所述查询结果以及所述报告编写操作，生成分析报告。

B9.根据B8所述的方法，其中，所述方法还包括：

为至少一个用户和/或至少一个项目申请独立的执行资源。

B10.根据B8或B9所述的方法，其中，所述方法还包括：

对所述查询语句进行前置语法校验。

B11.根据B8-B10中任一项所述的方法，其中，所述方法还包括：

根据设置的查询语句的执行时间，定时触发所述查询语句的执行。

B12.根据B8-B11中任一项所述的方法，其中，在所述生成分析报告之后，所述方法还包括：将生成的分析报告进行发布。

B13.根据B8-B12中任一项所述的方法，其中，所述方法还包括：

判断所述调用相应的计算引擎和/或存储引擎是否支持以所述特定语言格式进行查询处理；

若否，则在所述调用相应的计算引擎和/或存储引擎执行所述查询语句之前，将所述查询语句进行转换处理。

B14.根据B8-B13中任一项所述的方法，其中，在所述根据所述逻辑执行计划生成物理执行计划之前，所述方法还包括：依据优化规则对逻辑执行计划进行优化。

本发明还公开了：C15.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如A1-A7中任一项所述的大数据分析方法对应的操作。

本发明还公开了：D16.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如A1-A7中任一项所述的大数据分析方法对应的操作。

Claims (10)

1.一种大数据分析系统，包括：

服务接口，适于接收利用任一种对外调用方式输入的特定语言格式的查询语句；和/或，接收报告编写操作；

统一查询语句解析引擎，适于对所述查询语句进行解析，生成逻辑执行计划；

多语言执行器，包含多个计算引擎和/或多个存储引擎，适于根据所述逻辑执行计划生成物理执行计划，基于所述物理执行计划调用相应的计算引擎和/或存储引擎执行所述查询语句，并获得查询结果；

分析报告生成模块，适于根据所述查询结果以及所述报告编写操作，生成分析报告。

2.根据权利要求1所述的系统，其中，所述系统还包括：

资源复用模块，适于为至少一个用户和/或至少一个项目申请独立的执行资源。

3.根据权利要求1或2所述的系统，其中，所述系统还包括：

前置语法校验模块，适于对所述查询语句进行前置语法校验。

4.根据权利要求1-3中任一项所述的系统，其中，所述系统还包括：

定时模块，适于根据设置的查询语句的执行时间，定时触发所述查询语句的执行。

5.根据权利要求1-4中任一项所述的系统，其中，所述系统还包括：

发布模块，适于将生成的分析报告进行发布。

6.根据权利要求1-5中任一项所述的系统，其中，所述系统还包括：

适配模块，适于判断所述调用相应的计算引擎和/或存储引擎是否支持以所述特定语言格式进行查询处理；若否，则在所述多语言执行器调用相应的计算引擎和/或存储引擎执行所述查询语句之前，将所述查询语句进行转换处理。

7.根据权利要求1-6中任一项所述的系统，其中，所述系统还包括：

优化模块，适于依据优化规则对逻辑执行计划进行优化。

8.一种大数据分析方法，包括：

接收利用任一种对外调用方式输入的特定语言格式的查询语句；和/或，接收报告编写操作；

对所述查询语句进行解析，生成逻辑执行计划；

根据所述逻辑执行计划生成物理执行计划，基于所述物理执行计划调用相应的计算引擎和/或存储引擎执行所述查询语句，并获得查询结果；

根据所述查询结果以及所述报告编写操作，生成分析报告。

9.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的大数据分析方法对应的操作。

10.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的大数据分析方法对应的操作。

Images