CN115952201A - 数据查询方法、装置、系统及存储介质 - Google Patents

Abstract

本发明涉及金融科技领域或者医疗领域中的数据处理，提供一种数据查询方法、装置、系统及存储介质。该方法读取主系统参数及辅助系统参数，将数据查询脚本转换为脚本语法树，对脚本语法树进行遍历，生成多个脚本执行计划及执行序号，依照执行序号对多个脚本执行计划进行处理，得到目标结果，在多个脚本执行计划的处理过程中，将所得到的中间结果存储至与辅助分布式文件系统，当监测到多个脚本执行计划完成处理时，将目标结果存储至主分布式文件系统，能够解决数据查询任务的执行效率低下的技术问题。此外，本发明还涉及区块链技术，所述中间结果可存储于区块链中。

Description

数据查询方法、装置、系统及存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据查询方法、装置、系统及存储介质。

背景技术

在金融科技或者医疗领域中，为了便于用户对金融数据或者医疗数据的查询，HIVE数据分析系统的查询功能应运而生。在HIVE数据分析系统执行数据查询功能时，通常将生成的中间结果存储在HDFS分布式文件系统中。当HDFS分布式文件系统的负载很大时，中间结果的写入，会进一步增大HDFS分布式文件系统的负载，从而导致数据查询任务的执行效率低下，降低数据查询任务的时效性。

发明内容

鉴于以上内容，有必要提供一种数据查询方法、装置、系统及存储介质，能够解决数据查询任务的执行效率低下的技术问题。

一方面，本发明提出一种数据查询方法，应用于HIVE数据分析系统，所述HIVE数据分析系统运行有参数配置界面，所述数据查询方法包括：

读取多个配置文件及所述参数配置界面中的初始系统参数，所述初始系统参数包括主系统参数及辅助系统参数；

将接收到的数据查询脚本转换为脚本语法树；

对所述脚本语法树进行遍历，生成所述数据查询脚本的多个脚本执行计划及每个脚本执行计划的执行序号；

依照所述执行序号对所述多个脚本执行计划进行处理，得到目标结果；

在所述多个脚本执行计划的处理过程中，将处理所述多个脚本执行计划所得到的中间结果存储至与所述辅助系统参数对应的辅助分布式文件系统；

当监测到所述多个脚本执行计划完成处理时，将所述目标结果存储至与所述主系统参数对应的主分布式文件系统。

根据本发明优选实施例，所述读取多个配置文件及所述参数配置界面中的初始系统参数包括：

获取与所述参数配置界面对应的路径目录；

从所述路径目录中获取所述多个配置文件；

读取所述多个配置文件中与预设标签对应的信息作为第一参数，并读取所述参数配置界面中与所述预设标签对应的信息作为第二参数；

合并所述第一参数及所述第二参数，得到所述初始系统参数。

根据本发明优选实施例，所述将接收到的数据查询脚本转换为脚本语法树包括：

对所述数据查询脚本进行预处理，得到目标脚本；

对所述目标脚本进行词法分析，得到语法数组；

对所述语法数组进行语法分析并修正，得到所述脚本语法树。

根据本发明优选实施例，所述对所述目标脚本进行词法分析，得到语法数组包括：

扫描所述目标脚本中的脚本字符；

将所述脚本字符与预设词法规则进行匹配，得到所述脚本字符所对应的字符类型；

根据所述脚本字符及所述字符类型生成所述语法数组。

根据本发明优选实施例，所述对所述语法数组进行语法分析并修正，得到所述脚本语法树包括：

根据所述语法数组对所述目标脚本进行语法分析，判断所述目标脚本的语法是否正确；

若所述目标脚本的语法正确，则根据与所述目标脚本对应的代码规则，生成初始语法树；

基于所述初始语法树中的初始节点创建节点对象；

根据所述节点对象及所述初始语法树生成所述脚本语法树。

根据本发明优选实施例，所述依照所述执行序号对所述多个脚本执行计划进行处理，得到目标结果包括：

对于所述执行序号大于预设序号的脚本执行计划，基于该执行序号识别出目标序号；

从所述辅助分布式文件系统中获取与所述目标序号对应的中间结果作为输入数据；

基于所述输入数据，对该脚本执行计划进行处理，直至所述多个脚本执行计划完成处理，得到所述目标结果。

根据本发明优选实施例，所述将所述目标结果存储至与所述主系统参数对应的主分布式文件系统包括：

从所述数据查询脚本中识别出源查询数据库；

从多个所述主系统参数中筛选出与所述源查询数据库对应的目标系统参数；

定位出与所述目标系统参数对应的主分布式文件系统作为目标分布式文件系统；

识别出所述数据查询脚本的生成界面；

获取与所述生成界面对应的数据表；

定位所述数据表在所述目标分布式文件系统中的表路径；

将所述目标结果写入所述表路径中。

另一方面，本发明还提出一种数据查询装置，运行于HIVE数据分析系统，所述HIVE数据分析系统运行有参数配置界面，所述数据查询装置包括：

读取单元，用于读取多个配置文件及所述参数配置界面中的初始系统参数，所述初始系统参数包括主系统参数及辅助系统参数；

转换单元，用于将接收到的数据查询脚本转换为脚本语法树；

生成单元，用于对所述脚本语法树进行遍历，生成所述数据查询脚本的多个脚本执行计划及每个脚本执行计划的执行序号；

处理单元，用于依照所述执行序号对所述多个脚本执行计划进行处理，得到目标结果；

存储单元，用于在所述多个脚本执行计划的处理过程中，将处理所述多个脚本执行计划所得到的中间结果存储至与所述辅助系统参数对应的辅助分布式文件系统；

所述存储单元，还用于当监测到所述多个脚本执行计划完成处理时，将所述目标结果存储至与所述主系统参数对应的主分布式文件系统。

另一方面，本发明还提出一种HIVE数据分析系统，所述HIVE数据分析系统包括：

存储器，存储计算机可读指令；及

处理器，执行所述存储器中存储的计算机可读指令以实现所述数据查询方法。

另一方面，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被HIVE数据分析系统中的处理器执行以实现所述数据查询方法。

由以上技术方案可以看出，本申请通过对所述多个配置文件及所述参数配置界面进行参数读取，不仅能够提高参数读取的全面性，还能够使得所述HIVE数据分析系统能够识别出所述主分布式文件系统及所述辅助分布式文件系统，从而避免因所述HIVE数据分析系统而造成无法对所述中间结果及所述目标结果的准确存储，进一步地，本申请在所述多个脚本执行计划的处理过程中，通过将所述中间结果存储至所述辅助分布式文件系统中，能够减少对所述主分布式文件系统的读写和删除操作，使得所述辅助分布式文件系统实现为所述主分布式文件系统的分流作用，提高了所述主分布式文件系统的性能，从而提高所述目标结果的生成效率，确保数据查询任务的时效性。本申请适用于金融科技领域，通过本申请，能够辅助金融企业的工作人员快速查询金融数据，从而推动智慧城市的发展。

附图说明

图1是本发明数据查询方法的应用场景图。

图2是本发明数据查询方法的较佳实施例的流程图。

图3是本发明中脚本语法树的结构示意图。

图4是本发明数据查询装置的较佳实施例的功能模块图。

图5是本发明实现数据查询方法的较佳实施例的HIVE数据分析系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

如图1所示，是本发明数据查询方法的应用场景图。所述数据查询方法应用于HIVE数据分析系统1，所述HIVE数据分析系统1与主分布式文件系统2及辅助分布式文件系统3相通信，所述HIVE数据分析系统1、所述主分布式文件系统2及所述辅助分布式文件系统3均运行于分布式系统4，其中，所述主分布式文件系统2可以有多个。

所述HIVE数据分析系统1基于所述分布式系统4中的数据仓库工具，所述HIVE数据分析系统1可以用于对数据进行提取、转化、加载等。

所述主分布式文件系统2及所述辅助分布式文件系统3是指适合运行在通用硬件上的分布式文件系统，所述主分布式文件系统2及所述辅助分布式文件系统3有着高容错性的特点，并且用来设计部署在低廉的硬件上。所述主分布式文件系统2及所述辅助分布式文件系统3提供高吞吐量访问应用程序的数据。

所述分布式系统4提供高吞吐量访问应用程序的数据，所述分布式系统4适合有着超大数据集的应用程序的运行。

如图2所示，是本发明数据查询方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

所述数据查询方法可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

所述数据查询方法应用于一个或者多个HIVE数据分析系统中，所述HIVE数据分析系统是一种能够按照事先设定或存储的计算机可读指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字信号处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述HIVE数据分析系统可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(Internet Protocol Television，IPTV)、智能穿戴式设备等。

所述HIVE数据分析系统可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络HIVE数据分析系统、多个网络HIVE数据分析系统组成的HIVE数据分析系统组或基于云计算(Cloud Computing)的由大量主机或网络HIVE数据分析系统构成的云。

所述HIVE数据分析系统所处的网络包括，但不限于：互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。

所述HIVE数据分析系统运行有参数配置界面。

101，读取多个配置文件及所述参数配置界面中的初始系统参数，所述初始系统参数包括主系统参数及辅助系统参数。

在本发明的至少一个实施例中，所述多个配置文件可以为金融企业的运维用户在所述参数配置界面完成系统配置后所生成的文件，所述多个配置文件可以包括对所述主系统参数的配置，也可以包括对所述辅助系统参数的配置。所述多个配置文件也可以为医护人员在所述参数配置界面完成系统配置后所生成的文件。

所述参数配置界面可以为所述运维用户或者所述医护人员在所述HIVE数据分析系统中配置所述主系统参数或者所述辅助系统参数的界面。

所述主系统参数用于指示主分布式文件系统，所述辅助系统参数用于指示辅助分布式文件系统。

在本发明的至少一个实施例中，所述HIVE数据分析系统读取多个配置文件及所述参数配置界面中的初始系统参数包括：

获取与所述参数配置界面对应的路径目录；

从所述路径目录中获取所述多个配置文件；

读取所述多个配置文件中与预设标签对应的信息作为第一参数，并读取所述参数配置界面中与所述预设标签对应的信息作为第二参数；

合并所述第一参数及所述第二参数，得到所述初始系统参数。

其中，所述路径目录是指与所述参数配置界面对应的生成文件所存储的路径，所述路径目录支持变更。

所述预设标签包括，但不限于：dfs.nameservices标签、hive.exec.scratchdir标签等。

例如，从所述多个配置文件中读取到的第一参数为：“a，b”，从所述参数配置界面中读取到的第二参数为：“b，c”，则经合并，所述初始系统参数为“a，b，c”。

通过合并所述第一参数及所述第二参数，能够避免所述初始系统参数的遗漏而造成数据无法存储成功。

102，将接收到的数据查询脚本转换为脚本语法树。

在本发明的至少一个实施例中，所述数据查询脚本可以是对金融数据或者医疗数据有查询需求的用户触发生成的脚本，其中，所述金融数据包括电子交易或者网络交易产生的交易数据、保险数据等。所述医疗数据包括，但不限于：患者的病历数据等。

所述脚本语法树是指所述数据查询脚本的一种抽象表示。所述脚本语法树以树状的形式表现所述数据查询脚本的语法结构，所述脚本语法树的每个节点都表示所述数据查询脚本中的一种结构。

在本发明的至少一个实施例中，所述HIVE数据分析系统将接收到的数据查询脚本转换为脚本语法树包括：

对所述数据查询脚本进行预处理，得到目标脚本；

对所述目标脚本进行词法分析，得到语法数组；

对所述语法数组进行语法分析并修正，得到所述脚本语法树。

其中，所述目标脚本是指剔除空格等无关字符后的数据查询脚本。例如，所述目标脚本可以是SELECT id,name FROM test WHERE id>2LIMIT 2。

所述语法数组包括所述目标脚本中的脚本字符及该脚本字符所对应的种类编码，例如，所述语法数组可以是(SELECT，24)。

通过对所述数据查询脚本进行预处理，能够剔除所述数据查询脚本中的空格等无关字符，不仅能够提高所述目标脚本的脚本质量，还能够避免无关字符对所述脚本语法树的影响，通过对所述语法数组进行语法分析并修正，能够避免所述目标脚本出现语法错误而造成所述脚本语法树无法实现对数据的查询。

具体地，所述HIVE数据分析系统对所述目标脚本进行词法分析，得到语法数组包括：

扫描所述目标脚本中的脚本字符；

将所述脚本字符与预设词法规则进行匹配，得到所述脚本字符所对应的字符类型；

根据所述脚本字符及所述字符类型生成所述语法数组。

其中，所述预设词法规则是根据所述数据查询脚本的脚本语言所构建生成的规则，不同的脚本语言具有不同的预设词法规则，其中，所述脚本语言可以包括JAVA语言等。

通过对所述脚本字符进行扫描，能够避免所述脚本字符的遗漏，从而提高所述语法数组的生成全面性。

具体地，所述HIVE数据分析系统对所述语法数组进行语法分析并修正，得到所述脚本语法树包括：

根据所述语法数组对所述目标脚本进行语法分析，判断所述目标脚本的语法是否正确；

若所述目标脚本的语法正确，则根据与所述目标脚本对应的代码规则，生成初始语法树；

基于所述初始语法树中的初始节点创建节点对象；

根据所述节点对象及所述初始语法树生成所述脚本语法树。

其中，所述代码规则是脚本语言所构建生成的规则。

如图3所示，图3是本发明中脚本语法树的结构示意图，所述脚本语法树包括根结点SELECT，所述根结点SELECT的子结点有selectList、FROM、WHERE及LIMIT，所述根结点SELECT的叶结点有id、name、test、id、>、2及2，其中，图3所示的脚本语法树仅为示例。

通过上述实施方式，能够确保所述脚本语法树是基于语法正确的目标脚本生成的，从而提高所述脚本语法树的准确性。

在其他实施例中，若所述目标脚本的语法不正确，基于所述语法数组对所述目标脚本进行标识，得到提醒信息，将所述提醒信息发送至所述数据查询脚本的生成设备。

103，对所述脚本语法树进行遍历，生成所述数据查询脚本的多个脚本执行计划及每个脚本执行计划的执行序号。

在本发明的至少一个实施例中，所述多个脚本执行计划基于所述脚本语法树解析得到的逻辑执行计划。

所述执行序号用于指示所述多个脚本执行计划的执行先后顺序。

在本发明的至少一个实施例中，所述HIVE数据分析系统对所述脚本语法树进行遍历，生成所述数据查询脚本的多个脚本执行计划及每个脚本执行计划的执行序号包括：

识别所述脚本语法树的根结点及叶结点；

基于所述根结点及所述叶结点，对所述脚本语法树进行拆分，得到多个执行操作树；

合并所述多个执行操作树，得到目标操作树；

对所述目标操作树进行变换处理，得到所述多个脚本执行计划；

基于每个脚本执行计划在所述目标脚本中的位置，生成每个脚本执行计划的执行序号。

其中，所述根结点是指所述脚本语法树中没有父结点的结点。

所述叶结点是指所述脚本语法树中没有子结点的结点。

每个执行操作树是指由所述根结点与所述叶结点的结点路径所构成的树。

通过所述根结点及所述叶结点，能够快速对所述脚本语法树进行拆分，提高所述多个脚本执行计划的生成效率。

104，依照所述执行序号对所述多个脚本执行计划进行处理，得到目标结果。

需要强调的是，为进一步保证上述目标结果的私密和安全性，上述目标结果还可以存储于一区块链的节点中。

在本发明的至少一个实施例中，所述目标结果是指与所述数据查询脚本所对应的查询结果，例如，所述目标结果可以是某天的交易总额，所述目标结果也可以是某用户在某一天的诊断信息。

在本发明的至少一个实施例中，所述HIVE数据分析系统依照所述执行序号对所述多个脚本执行计划进行处理，得到目标结果包括：

对于所述执行序号大于预设序号的脚本执行计划，基于该执行序号识别出目标序号；

从所述辅助分布式文件系统中获取与所述目标序号对应的中间结果作为输入数据；

基于所述输入数据，对该脚本执行计划进行处理，直至所述多个脚本执行计划完成处理，得到所述目标结果。

其中，所述预设序号通常设定为1。

所述目标序号是指小于该执行序号的相邻序号，例如，若所述执行序号为2，则所述目标序号为1；若所述执行序号为3，则所述目标序号为2。

通过从所述辅助分布式文件系统中获取所述输入数据，对所述多个脚本执行计划进行处理，由于无需对与所述主系统参数对应的主分布式文件系统进行数据读取，因此，能够降低所述主分布式文件系统的负载，从而提高所述多个脚本执行计划的执行效率。

在其他实施例中，所述HIVE数据分析系统直接处理所述执行序号为所述预设序号的脚本执行计划，得到与所述预设序号的脚本执行计划对应的中间结果。

105，在所述多个脚本执行计划的处理过程中，将处理所述多个脚本执行计划所得到的中间结果存储至与所述辅助系统参数对应的辅助分布式文件系统。

在本发明的至少一个实施例中，所述HIVE数据分析系统将多个所述中间结果及与所述多个中间结果对应的执行序号写入所述辅助分布式文件系统。

通过上述实施方式，能够使所述辅助分布式文件系统为所述主分布式文件系统实现分流的效果。

106，当监测到所述多个脚本执行计划完成处理时，将所述目标结果存储至与所述主系统参数对应的主分布式文件系统。

在本发明的至少一个实施例中，当监测到所述多个脚本执行计划完成处理时，所述方法还包括：

将所述中间结果从所述辅助分布式文件系统中删除。

通过上述实施方式，能够在所述多个脚本执行计划完成处理时，对多个所述中间结果进行释放，实现了减少所述辅助分布式文件系统的负载的目的。

在本发明的至少一个实施例中，所述HIVE数据分析系统将所述目标结果存储至与所述主系统参数对应的主分布式文件系统包括：

从所述数据查询脚本中识别出源查询数据库；

从多个所述主系统参数中筛选出与所述源查询数据库对应的目标系统参数；

定位出与所述目标系统参数对应的主分布式文件系统作为目标分布式文件系统；

识别出所述数据查询脚本的生成界面；

获取与所述生成界面对应的数据表；

定位所述数据表在所述目标分布式文件系统中的表路径；

将所述目标结果写入所述表路径中。

其中，所述源查询数据库是指所述数据查询脚本的执行数据库，例如，所述源查询数据库可以是存储金融数据或者医疗数据的数据库。

所述目标分布式文件系统是指存储有所述源查询数据库的主分布式文件系统。

所述生成界面是指所述数据查询脚本生成时的界面。

所述数据表是指存储所述目标结果的表格或者分区。

通过所述源查询数据库及所述生成界面，能够准确的定位出所述表路径，从而提高所述目标结果的写入准确性。

由以上技术方案可以看出，本申请通过对所述多个配置文件及所述参数配置界面进行参数读取，不仅能够提高参数读取的全面性，还能够使得所述HIVE数据分析系统能够识别出所述主分布式文件系统及所述辅助分布式文件系统，从而避免因所述HIVE数据分析系统而造成无法对所述中间结果及所述目标结果的准确存储，进一步地，本申请在所述多个脚本执行计划的处理过程中，通过将所述中间结果存储至所述辅助分布式文件系统中，能够减少对所述主分布式文件系统的读写和删除操作，使得所述辅助分布式文件系统实现为所述主分布式文件系统的分流作用，提高了所述主分布式文件系统的性能，从而提高所述目标结果的生成效率，确保数据查询任务的时效性。本申请适用于金融科技领域，通过本申请，能够辅助金融企业的工作人员快速查询金融数据，从而推动智慧城市的发展。

如图4所示，是本发明数据查询装置的较佳实施例的功能模块图。所述数据查询装置11包括读取单元110、转换单元111、生成单元112、处理单元113、存储单元114及删除单元115。本发明所称的模块/单元是指一种能够被处理器13所获取，并且能够完成固定功能的一系列计算机可读指令段，其存储在存储器12中。在本实施例中，关于各模块/单元的功能将在后续的实施例中详述。

所述数据查询装置运行于所述HIVE数据分析系统，所述HIVE数据分析系统运行有参数配置界面。

读取单元110读取多个配置文件及所述参数配置界面中的初始系统参数，所述初始系统参数包括主系统参数及辅助系统参数。

在本发明的至少一个实施例中，所述多个配置文件可以为金融企业的运维用户在所述参数配置界面完成系统配置后所生成的文件，所述多个配置文件可以包括对所述主系统参数的配置，也可以包括对所述辅助系统参数的配置。所述多个配置文件也可以为医护人员在所述参数配置界面完成系统配置后所生成的文件。

所述参数配置界面可以为所述运维用户或者所述医护人员在所述HIVE数据分析系统中配置所述主系统参数或者所述辅助系统参数的界面。

所述主系统参数用于指示主分布式文件系统，所述辅助系统参数用于指示辅助分布式文件系统。

在本发明的至少一个实施例中，所述读取单元110读取多个配置文件及所述参数配置界面中的初始系统参数包括：

获取与所述参数配置界面对应的路径目录；

从所述路径目录中获取所述多个配置文件；

读取所述多个配置文件中与预设标签对应的信息作为第一参数，并读取所述参数配置界面中与所述预设标签对应的信息作为第二参数；

合并所述第一参数及所述第二参数，得到所述初始系统参数。

其中，所述路径目录是指与所述参数配置界面对应的生成文件所存储的路径，所述路径目录支持变更。

所述预设标签包括，但不限于：dfs.nameservices标签、hive.exec.scratchdir标签等。

例如，从所述多个配置文件中读取到的第一参数为：“a，b”，从所述参数配置界面中读取到的第二参数为：“b，c”，则经合并，所述初始系统参数为“a，b，c”。

通过合并所述第一参数及所述第二参数，能够避免所述初始系统参数的遗漏而造成数据无法存储成功。

转换单元111将接收到的数据查询脚本转换为脚本语法树。

在本发明的至少一个实施例中，所述数据查询脚本可以是对金融数据或者医疗数据有查询需求的用户触发生成的脚本，其中，所述金融数据包括电子交易或者网络交易产生的交易数据、保险数据等。所述医疗数据包括，但不限于：患者的病历数据等。

所述脚本语法树是指所述数据查询脚本的一种抽象表示。所述脚本语法树以树状的形式表现所述数据查询脚本的语法结构，所述脚本语法树的每个节点都表示所述数据查询脚本中的一种结构。

在本发明的至少一个实施例中，所述转换单元111将接收到的数据查询脚本转换为脚本语法树包括：

对所述数据查询脚本进行预处理，得到目标脚本；

对所述目标脚本进行词法分析，得到语法数组；

对所述语法数组进行语法分析并修正，得到所述脚本语法树。

其中，所述目标脚本是指剔除空格等无关字符后的数据查询脚本。例如，所述目标脚本可以是SELECT id,name FROM test WHERE id>2LIMIT 2。

所述语法数组包括所述目标脚本中的脚本字符及该脚本字符所对应的种类编码，例如，所述语法数组可以是(SELECT，24)。

通过对所述数据查询脚本进行预处理，能够剔除所述数据查询脚本中的空格等无关字符，不仅能够提高所述目标脚本的脚本质量，还能够避免无关字符对所述脚本语法树的影响，通过对所述语法数组进行语法分析并修正，能够避免所述目标脚本出现语法错误而造成所述脚本语法树无法实现对数据的查询。

具体地，所述转换单元111对所述目标脚本进行词法分析，得到语法数组包括：

扫描所述目标脚本中的脚本字符；

将所述脚本字符与预设词法规则进行匹配，得到所述脚本字符所对应的字符类型；

根据所述脚本字符及所述字符类型生成所述语法数组。

其中，所述预设词法规则是根据所述数据查询脚本的脚本语言所构建生成的规则，不同的脚本语言具有不同的预设词法规则，其中，所述脚本语言可以包括JAVA语言等。

通过对所述脚本字符进行扫描，能够避免所述脚本字符的遗漏，从而提高所述语法数组的生成全面性。

具体地，所述转换单元111对所述语法数组进行语法分析并修正，得到所述脚本语法树包括：

根据所述语法数组对所述目标脚本进行语法分析，判断所述目标脚本的语法是否正确；

若所述目标脚本的语法正确，则根据与所述目标脚本对应的代码规则，生成初始语法树；

基于所述初始语法树中的初始节点创建节点对象；

根据所述节点对象及所述初始语法树生成所述脚本语法树。

其中，所述代码规则是脚本语言所构建生成的规则。

如图3所示，图3是本发明中脚本语法树的结构示意图，所述脚本语法树包括根结点SELECT，所述根结点SELECT的子结点有selectList、FROM、WHERE及LIMIT，所述根结点SELECT的叶结点有id、name、test、id、>、2及2，其中，图3所示的脚本语法树仅为示例。

通过上述实施方式，能够确保所述脚本语法树是基于语法正确的目标脚本生成的，从而提高所述脚本语法树的准确性。

在其他实施例中，若所述目标脚本的语法不正确，基于所述语法数组对所述目标脚本进行标识，得到提醒信息，将所述提醒信息发送至所述数据查询脚本的生成设备。

生成单元112对所述脚本语法树进行遍历，生成所述数据查询脚本的多个脚本执行计划及每个脚本执行计划的执行序号。

在本发明的至少一个实施例中，所述多个脚本执行计划基于所述脚本语法树解析得到的逻辑执行计划。

所述执行序号用于指示所述多个脚本执行计划的执行先后顺序。

在本发明的至少一个实施例中，所述生成单元112对所述脚本语法树进行遍历，生成所述数据查询脚本的多个脚本执行计划及每个脚本执行计划的执行序号包括：

识别所述脚本语法树的根结点及叶结点；

基于所述根结点及所述叶结点，对所述脚本语法树进行拆分，得到多个执行操作树；

合并所述多个执行操作树，得到目标操作树；

对所述目标操作树进行变换处理，得到所述多个脚本执行计划；

基于每个脚本执行计划在所述目标脚本中的位置，生成每个脚本执行计划的执行序号。

其中，所述根结点是指所述脚本语法树中没有父结点的结点。

所述叶结点是指所述脚本语法树中没有子结点的结点。

每个执行操作树是指由所述根结点与所述叶结点的结点路径所构成的树。

通过所述根结点及所述叶结点，能够快速对所述脚本语法树进行拆分，提高所述多个脚本执行计划的生成效率。

处理单元113依照所述执行序号对所述多个脚本执行计划进行处理，得到目标结果。

需要强调的是，为进一步保证上述目标结果的私密和安全性，上述目标结果还可以存储于一区块链的节点中。

在本发明的至少一个实施例中，所述目标结果是指与所述数据查询脚本所对应的查询结果，例如，所述目标结果可以是某天的交易总额，所述目标结果也可以是某用户在某一天的诊断信息。

在本发明的至少一个实施例中，所述处理单元113依照所述执行序号对所述多个脚本执行计划进行处理，得到目标结果包括：

对于所述执行序号大于预设序号的脚本执行计划，基于该执行序号识别出目标序号；

从所述辅助分布式文件系统中获取与所述目标序号对应的中间结果作为输入数据；

基于所述输入数据，对该脚本执行计划进行处理，直至所述多个脚本执行计划完成处理，得到所述目标结果。

其中，所述预设序号通常设定为1。

所述目标序号是指小于该执行序号的相邻序号，例如，若所述执行序号为2，则所述目标序号为1；若所述执行序号为3，则所述目标序号为2。

通过从所述辅助分布式文件系统中获取所述输入数据，对所述多个脚本执行计划进行处理，由于无需对与所述主系统参数对应的主分布式文件系统进行数据读取，因此，能够降低所述主分布式文件系统的负载，从而提高所述多个脚本执行计划的执行效率。

在其他实施例中，所述处理单元113直接处理所述执行序号为所述预设序号的脚本执行计划，得到与所述预设序号的脚本执行计划对应的中间结果。

存储单元114在所述多个脚本执行计划的处理过程中，将处理所述多个脚本执行计划所得到的中间结果存储至与所述辅助系统参数对应的辅助分布式文件系统。

在本发明的至少一个实施例中，所述存储单元114将多个所述中间结果及与所述多个中间结果对应的执行序号写入所述辅助分布式文件系统。

通过上述实施方式，能够使所述辅助分布式文件系统为所述主分布式文件系统实现分流的效果。

当监测到所述多个脚本执行计划完成处理时，所述存储单元114将所述目标结果存储至与所述主系统参数对应的主分布式文件系统。

在本发明的至少一个实施例中，当监测到所述多个脚本执行计划完成处理时，删除单元115将所述中间结果从所述辅助分布式文件系统中删除。

通过上述实施方式，能够在所述多个脚本执行计划完成处理时，对多个所述中间结果进行释放，实现了减少所述辅助分布式文件系统的负载的目的。

在本发明的至少一个实施例中，所述存储单元114将所述目标结果存储至与所述主系统参数对应的主分布式文件系统包括：

从所述数据查询脚本中识别出源查询数据库；

从多个所述主系统参数中筛选出与所述源查询数据库对应的目标系统参数；

定位出与所述目标系统参数对应的主分布式文件系统作为目标分布式文件系统；

识别出所述数据查询脚本的生成界面；

获取与所述生成界面对应的数据表；

定位所述数据表在所述目标分布式文件系统中的表路径；

将所述目标结果写入所述表路径中。

其中，所述源查询数据库是指所述数据查询脚本的执行数据库，例如，所述源查询数据库可以是存储金融数据的数据库。

所述目标分布式文件系统是指存储有所述源查询数据库的主分布式文件系统。

所述生成界面是指所述数据查询脚本生成时的界面。

所述数据表是指存储所述目标结果的表格或者分区。

通过所述源查询数据库及所述生成界面，能够准确的定位出所述表路径，从而提高所述目标结果的写入准确性。

由以上技术方案可以看出，本申请通过对所述多个配置文件及所述参数配置界面进行参数读取，不仅能够提高参数读取的全面性，还能够使得所述HIVE数据分析系统能够识别出所述主分布式文件系统及所述辅助分布式文件系统，从而避免因所述HIVE数据分析系统而造成无法对所述中间结果及所述目标结果的准确存储，进一步地，本申请在所述多个脚本执行计划的处理过程中，通过将所述中间结果存储至所述辅助分布式文件系统中，能够减少对所述主分布式文件系统的读写和删除操作，使得所述辅助分布式文件系统实现为所述主分布式文件系统的分流作用，提高了所述主分布式文件系统的性能，从而提高所述目标结果的生成效率，确保数据查询任务的时效性。本申请适用于金融科技领域，通过本申请，能够辅助金融企业的工作人员快速查询金融数据，从而推动智慧城市的发展。

如图5所示，是本发明实现数据查询方法的较佳实施例的HIVE数据分析系统的结构示意图。

在本发明的一个实施例中，所述HIVE数据分析系统1包括，但不限于，存储器12、处理器13，以及存储在所述存储器12中并可在所述处理器13上运行的计算机可读指令，例如数据查询程序。

本领域技术人员可以理解，所述示意图仅仅是HIVE数据分析系统1的示例，并不构成对HIVE数据分析系统1的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述HIVE数据分析系统1还可以包括输入输出设备、网络接入设备、总线等。

所述处理器13可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器13是所述HIVE数据分析系统1的运算核心和控制中心，利用各种接口和线路连接整个HIVE数据分析系统1的各个部分，及执行所述HIVE数据分析系统1的操作系统以及安装的各类应用程序、程序代码等。

示例性的，所述计算机可读指令可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器12中，并由所述处理器13执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该计算机可读指令段用于描述所述计算机可读指令在所述HIVE数据分析系统1中的执行过程。例如，所述计算机可读指令可以被分割成读取单元110、转换单元111、生成单元112、处理单元113、存储单元114及删除单元115。

所述存储器12可用于存储所述计算机可读指令和/或模块，所述处理器13通过运行或执行存储在所述存储器12内的计算机可读指令和/或模块，以及调用存储在存储器12内的数据，实现所述HIVE数据分析系统1的各种功能。所述存储器12可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据HIVE数据分析系统的使用所创建的数据等。存储器12可以包括非易失性和易失性存储器，例如：硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他存储器件。

所述存储器12可以是HIVE数据分析系统1的外部存储器和/或内部存储器。进一步地，所述存储器12可以是具有实物形式的存储器，如内存条、TF卡(Trans-flash Card)等等。

所述HIVE数据分析系统1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。

其中，所述计算机可读指令包括计算机可读指令代码，所述计算机可读指令代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机可读指令代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包括了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

结合图2，所述HIVE数据分析系统1中的所述存储器12存储计算机可读指令实现一种数据查询方法，所述处理器13可执行所述计算机可读指令从而实现：

读取多个配置文件及所述参数配置界面中的初始系统参数，所述初始系统参数包括主系统参数及辅助系统参数；

将接收到的数据查询脚本转换为脚本语法树；

对所述脚本语法树进行遍历，生成所述数据查询脚本的多个脚本执行计划及每个脚本执行计划的执行序号；

依照所述执行序号对所述多个脚本执行计划进行处理，得到目标结果；

在所述多个脚本执行计划的处理过程中，将处理所述多个脚本执行计划所得到的中间结果存储至与所述辅助系统参数对应的辅助分布式文件系统；

当监测到所述多个脚本执行计划完成处理时，将所述目标结果存储至与所述主系统参数对应的主分布式文件系统。

具体地，所述处理器13对上述计算机可读指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述计算机可读存储介质上存储有计算机可读指令，其中，所述计算机可读指令被处理器13执行时用以实现以下步骤：

读取多个配置文件及所述参数配置界面中的初始系统参数，所述初始系统参数包括主系统参数及辅助系统参数；

将接收到的数据查询脚本转换为脚本语法树；

对所述脚本语法树进行遍历，生成所述数据查询脚本的多个脚本执行计划及每个脚本执行计划的执行序号；

依照所述执行序号对所述多个脚本执行计划进行处理，得到目标结果；

在所述多个脚本执行计划的处理过程中，将处理所述多个脚本执行计划所得到的中间结果存储至与所述辅助系统参数对应的辅助分布式文件系统；

当监测到所述多个脚本执行计划完成处理时，将所述目标结果存储至与所述主系统参数对应的主分布式文件系统。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。所述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (10)

1.一种数据查询方法，应用于HIVE数据分析系统，所述HIVE数据分析系统运行有参数配置界面，其特征在于，所述数据查询方法包括：

读取多个配置文件及所述参数配置界面中的初始系统参数，所述初始系统参数包括主系统参数及辅助系统参数；

将接收到的数据查询脚本转换为脚本语法树；

对所述脚本语法树进行遍历，生成所述数据查询脚本的多个脚本执行计划及每个脚本执行计划的执行序号；

依照所述执行序号对所述多个脚本执行计划进行处理，得到目标结果；

在所述多个脚本执行计划的处理过程中，将处理所述多个脚本执行计划所得到的中间结果存储至与所述辅助系统参数对应的辅助分布式文件系统；

当监测到所述多个脚本执行计划完成处理时，将所述目标结果存储至与所述主系统参数对应的主分布式文件系统。

2.如权利要求1所述的数据查询方法，其特征在于，所述读取多个配置文件及所述参数配置界面中的初始系统参数包括：

获取与所述参数配置界面对应的路径目录；

从所述路径目录中获取所述多个配置文件；

读取所述多个配置文件中与预设标签对应的信息作为第一参数，并读取所述参数配置界面中与所述预设标签对应的信息作为第二参数；

合并所述第一参数及所述第二参数，得到所述初始系统参数。

3.如权利要求1所述的数据查询方法，其特征在于，所述将接收到的数据查询脚本转换为脚本语法树包括：

对所述数据查询脚本进行预处理，得到目标脚本；

对所述目标脚本进行词法分析，得到语法数组；

对所述语法数组进行语法分析并修正，得到所述脚本语法树。

4.如权利要求3所述的数据查询方法，其特征在于，所述对所述目标脚本进行词法分析，得到语法数组包括：

扫描所述目标脚本中的脚本字符；

将所述脚本字符与预设词法规则进行匹配，得到所述脚本字符所对应的字符类型；

根据所述脚本字符及所述字符类型生成所述语法数组。

5.如权利要求3所述的数据查询方法，其特征在于，所述对所述语法数组进行语法分析并修正，得到所述脚本语法树包括：

根据所述语法数组对所述目标脚本进行语法分析，判断所述目标脚本的语法是否正确；

若所述目标脚本的语法正确，则根据与所述目标脚本对应的代码规则，生成初始语法树；

基于所述初始语法树中的初始节点创建节点对象；

根据所述节点对象及所述初始语法树生成所述脚本语法树。

6.如权利要求1所述的数据查询方法，其特征在于，所述依照所述执行序号对所述多个脚本执行计划进行处理，得到目标结果包括：

对于所述执行序号大于预设序号的脚本执行计划，基于该执行序号识别出目标序号；

从所述辅助分布式文件系统中获取与所述目标序号对应的中间结果作为输入数据；

基于所述输入数据，对该脚本执行计划进行处理，直至所述多个脚本执行计划完成处理，得到所述目标结果。

7.如权利要求1所述的数据查询方法，其特征在于，所述将所述目标结果存储至与所述主系统参数对应的主分布式文件系统包括：

从所述数据查询脚本中识别出源查询数据库；

从多个所述主系统参数中筛选出与所述源查询数据库对应的目标系统参数；

定位出与所述目标系统参数对应的主分布式文件系统作为目标分布式文件系统；

识别出所述数据查询脚本的生成界面；

获取与所述生成界面对应的数据表；

定位所述数据表在所述目标分布式文件系统中的表路径；

将所述目标结果写入所述表路径中。

8.一种数据查询装置，运行于HIVE数据分析系统，所述HIVE数据分析系统运行有参数配置界面，其特征在于，所述数据查询装置包括：

读取单元，用于读取多个配置文件及所述参数配置界面中的初始系统参数，所述初始系统参数包括主系统参数及辅助系统参数；

转换单元，用于将接收到的数据查询脚本转换为脚本语法树；

生成单元，用于对所述脚本语法树进行遍历，生成所述数据查询脚本的多个脚本执行计划及每个脚本执行计划的执行序号；

处理单元，用于依照所述执行序号对所述多个脚本执行计划进行处理，得到目标结果；

存储单元，用于在所述多个脚本执行计划的处理过程中，将处理所述多个脚本执行计划所得到的中间结果存储至与所述辅助系统参数对应的辅助分布式文件系统；

所述存储单元，还用于当监测到所述多个脚本执行计划完成处理时，将所述目标结果存储至与所述主系统参数对应的主分布式文件系统。

9.一种HIVE数据分析系统，其特征在于，所述HIVE数据分析系统包括：

存储器，存储有计算机可读指令；及

处理器，执行所述存储器中存储的计算机可读指令以实现如权利要求1至7中任意一项所述的数据查询方法。

10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被HIVE数据分析系统中的处理器执行以实现如权利要求1至7中任意一项所述的数据查询方法。

Images