CN104536987B - 一种查询数据的方法及装置 - Google Patents

Abstract

本发明实施例提供一种查询数据的方法及装置，包括：获取结构化查询语言SQL语句，并确定出所述SQL语句中的命令关键字、查询关键字、查询数据以及目标文件名称；根据所述命令关键字、所述查询关键字以及所述查询数据确定出与所述SQL语句对应的linux命令，所述linux命令为awk语言和shell命令的组合；根据所述目标文件名称将所述目标文件名称对应的目标文件中的数据格式化，获得格式化目标文件；对所述格式化目标文件执行所述linux命令。在使用SQL语句对文本信息进行查询操作时，通过将SQL语句映射为对应的awk语言和shell命令组合，实现对文本信息的查询操作。

Description

一种查询数据的方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种查询数据的方法及装置。

背景技术

随着互联网等新兴应用的日益丰富以及企业信息化建设的不断发展，出现了大量的非结构化数据。由于非结构化数据数据类型丰富，结构复杂，没有明确的、统一定义的数据结构约束，加之其海量的数据规模，高度动态的数据特性，多样的应用场景，统一的联合访问需求，使得非结构化数据管理面临巨大挑战。

由于数据库资源是宝贵的，所以通常情况各个系统都会产生各自的文本信息。例如，日志文件，这些日志文件一般都是格式化的文本信息，目前一种通常的查询和统计这些文本信息的方法为将文本信息导入数据库，利用数据库的SQL(Structured QueryLanguage，结构化查询语言)语句进行分析，但由于不同数据库有着不同的数据格式，因此，需要将所有文本信息导入数据库中才能使用SQL语言进行分析，这样会导致数据库的开发和运维的效率变低。

综上所述，目前使用SQL语言对文本信息进行查询操作时，需要将文本信息导入导出不同的数据库，导致使用SQL语言查询文本信息的效率低。

发明内容

本发明实施例提供一种查询数据的方法及装置，用以解决使用SQL语言查询文本信息的效率低的问题。

本发明实施例提供的一种查询数据的方法，包括：

获取结构化查询语言SQL语句，并确定出所述SQL语句中的命令关键字、查询关键字、查询数据以及目标文件名称；

根据所述命令关键字、所述查询关键字以及所述查询数据确定出与所述SQL语句对应的linux命令，所述linux命令为awk语言和shell命令的组合；

根据所述目标文件名称将所述目标文件名称对应的目标文件中的数据格式化，获得格式化目标文件；

对所述格式化目标文件执行所述linux命令。

较佳的，所述根据所述命令关键字、所述查询关键字以及所述查询数据确定出与所述SQL语句对应的linux命令，包括：

根据所述命令关键字在命令关键字与linux命令关键字的映射关系中确定出与所述命令关键字对应的linux命令关键字；

根据所述linux命令关键字、所述查询关键字以及所述查询数据生成与所述SQL语句对应的所述linux命令。

较佳的，所述根据所述目标文件名称将所述目标文件名称对应的目标文件中的数据格式化，获得格式化目标文件，包括：

根据所述目标文件名称获取与所述目标文件名称对应的目标文件，并通过复制所述目标文件生成临时目标文件，对所述临时目标文件中的数据格式化，获得格式化目标文件。

较佳的，所述对所述临时目标文件中的数据格式化，获得格式化目标文件，包括：

将所述临时目标文件中的数据格式转换为预设数据格式，获得所述格式化目标文件。

本发明实施例提供一种查询数据的装置，该装置包括：

获取单元，用于获取结构化查询语言SQL语句，并确定出所述SQL语句中的命令关键字、查询关键字、查询数据以及目标文件名称；

确定单元，用于根据所述命令关键字、所述查询关键字以及所述查询数据确定出与所述SQL语句对应的linux命令，所述linux命令为awk语言和shell命令的组合；

格式化单元，用于根据所述目标文件名称将所述目标文件名称对应的目标文件中的数据格式化，获得格式化目标文件；

执行单元，用于对所述格式化目标文件执行所述linux命令。

较佳的，所述确定单元用于：

根据所述命令关键字在命令关键字与linux命令关键字的映射关系中确定出与所述命令关键字对应的linux命令关键字；

根据所述linux命令关键字、所述查询关键字以及所述查询数据生成与所述SQL语句对应的所述linux命令。

较佳的，所述格式化单元用于：

根据所述目标文件名称获取与所述目标文件名称对应的目标文件，并通过复制所述目标文件生成临时目标文件，对所述临时目标文件中的数据格式化，获得格式化目标文件。

较佳的，所述格式化单元用于：

将所述临时目标文件中的数据格式转换为预设数据格式，获得所述格式化目标文件。

综上所述，在使用SQL语句对文本信息进行查询操作时，通过将SQL语句映射为对应的awk语言和shell命令组合，实现对文本信息的查询操作。根据本发明实施例提供的方法，可以通过SQL语句简单、高效的对文本信息进行查询操作。

附图说明

图1为本发明实施例提供的一种查询数据的方法流程图；

图2为本发明实施例提供的一种查询数据的装置结构图。

具体实施方式

下面结合说明书附图对本发明实施例做详细描述。

如图1所示，本发明实施例提供的一种查询数据的方法流程图，该方法包括：

步骤101：获取结构化查询语言SQL语句，并确定出所述SQL语句中的命令关键字、查询关键字、查询数据以及目标文件名称；

步骤102：根据所述命令关键字、所述查询关键字以及所述查询数据确定出与所述SQL语句对应的linux命令，所述linux命令为awk语言和shell命令的组合；

步骤103：根据所述目标文件名称将所述目标文件名称对应的目标文件中的数据格式化，获得格式化目标文件；

步骤104：对所述格式化目标文件执行所述linux命令。

本发明实施例中所描述的目标文件为可以是任何的具有一定格式的文本信息，可以是系统产生的日志，也可以是其他的文本数据，通过SQL语句对目标文件进行查询操作。本发明实施例中获得的SQL语句中，只有与查询、统计相关的SQL语句才能实现映射为对应的linux命令。

步骤101中，获取SQL语句之后，通过对SQL语句中的每个字符进行逐个扫描，识别出该SQL语句中的命令关键字、查询关键字、查询数据以及目标文件名称。由于SQL语句中有哪些命令关键字是已知的，因此可以在扫描SQL语句时将SQL语句中的命令关键字匹配出来。具体采用何种方式实现识别出SQL语句中的命令关键字再此不去限定。例如，可以通过正则匹配的方法实现等。

对扫描并进行匹配后的SQL语句中识别出的命令关键字、查询关键字、查询数据以及目标文件名称进行分类。例如：获取到的SQL语句为：select c1 from filename wherec1＝’123’；可以识别出该SQL语句中的命令关键字为：select，from，where；识别出查询关键字为：c1；识别出的查询数据为：123；识别出目标文件名称为：filename。再例如，获取到的SQL语句为：select f5，f0from filename order by f5limit 5；可以识别出该SQL语句中的命令关键字为：select，from，order by，limit；识别出查询关键字为：f5，f0；识别出的查询数据为：5；识别出目标文件名称为：filename。

在对目标文件进行查询操作时，使用的SQL命令关键字只占SQL语句使用的命令关键字的一部分，同时有些SQL语句并没有与之等价的linux命令，即存在映射关系的linux命令，因此在对SQL语句进行转换时，只将部分特定关键字组合而成的SQL语句转换为对应的linux命令。具体的，如表1所示，表1中列出了本发明实施例中在进行识别SQL语句中的命令关键字时，将由表1中的命令关键字的组合组成的SQL语句转换为对应的linux命令。

表1

步骤102中，确定了SQL语句中的命令关键字之后，根据SQL语句中的命令关键字在命令关键字与linux命令关键字的映射关系中确定出与所述命令关键字对应的linux命令关键字；根据所述linux命令关键字、所述查询关键字以及所述查询数据生成与所述SQL语句对应的所述linux命令。该linux命令是通过awk语言实现的，再结合shell命令行，能够实现对目标文件进行查询操作，因此该linux命令实际为awk语言和shell命令的组合。

对目标文件进行查询操作时可以使用SQL语句，也可以使用其他语句。使用的SQL语句对目标文件进行查询操作时，不同的命令关键字的组合可以实现不同的查询操作，而且SQL语句中的命令关键字的组合与实现的查询操作的对应关系是固定的，因此确定了SQL语句中命令关键字之后就能确定该SQL语句能够对目标文件实现什么样的查询操作。例如：识别出SQL语句中的命令关键字为：select，from；确定该SQL语句可以实现对目标文件按自定义列的顺序和个数输出列信息。再例如，识别出SQL语句中的命令关键字为：select，from，order by；确定该SQL语句对应的操作类型为：按需求将指定的查询关键字排序后输出。

SQL语句有着固定的语法规则，同时awk语言和shell命令的组合形成的linux命令也有着固定的语法规则，在对目标文件进行查询操作时，同一种类型的查询操作对应于由命令关键字、查询关键字以及目标文件名称按照固定语法规则组成的SQL语句，同时也对应于由按照固定语法规则形成的linux命令，即awk语言和shell命令的组合。基于这一原理，对于同一个查询操作类型，SQL语句的命令关键字与linux命令可以有一个映射关系，存在映射关系的SQL语句的命令关键字与linux命令是两个等价的命令。当确定了SQL语句中的命令关键字之后，可以确定出对应的linux命令。

linux命令，即awk语言和shell命令的组合，也是通过查询关键字在目标文件名称对应的目标文件中进行查询操作，所以在通过SQL语句获得与该SQL语句具有映射关系的linux命令之后，需要将该SQL语句中的查询关键字、查询数据以及目标文件名称传递给linux命令。例如，SQL语句为：“select f1,f2,f5from filename”；selsct和from为SQL语句的命令关键字，结合该SQL语句中的查询关键字、查询数据以及目标文件名称，能够确定出与该SQL语句具有映射关系的linux命令为：“cat filename|awk'{print$1,$2,$5}'”。

如表2所示，表2中列出了对目标文件进行查询操作时常用的SQL语句，以及与该SQL语句具有映射关系的linux命令。

表2

除了表2中列出的命令关键字与linux命令的映射关系，还有SQL语句中常用的Count，Min，Sum，Avg等函数也存在与之具有映射关系的linux命令，在此不再赘述。

步骤103中，由于SQL语句所能进行查询的目标文件的文件格式和linux命令所能进行查询的目标文件的文件格式并不相同，所以在获得与SQL语句具有映射关系的linux命令的同时，还需要将SQL语句中的目标文件名称对应的目标文件格式化，即根据目标文件名称将所述目标文件名称对应的目标文件中的数据格式化，获得格式化目标文件。具体的，将目标文件中同一类型的数据的数据格式修改为预设数据格式；使用预设数据格式的分隔符分隔数据等。

在将目标文件名称对应的目标文件中的数据格式化之前，还可以先判断目标文件的合法性，例如目标文件是否存在；目标文件是否为文本文件；判断目标文件中每行数据是否正确分隔开来等。

优选的，为了不改变原来的目标文件的格式，可以复制SQL语句中的目标文件名称对应的目标文件，形成临时目标文件，对该临时目标文件进行格式化。具体的，根据目标文件名称获取与所述目标文件名称对应的目标文件，并通过复制所述目标文件生成临时目标文件，对所述临时目标文件格式化，获得格式化目标文件。同样的，为了能够在临时目标文件中执行与SQL语句具有映射关系的linux命令，需要对临时目标文件中的数据格式进行格式化，获得格式化目标文件。优选的，将临时目标文件中的数据格式转换为预设数据格式，获得所述格式化目标文件。

具体的，复制目标文件，生成临时目标文件；将临时目标文件中各种形式的分隔符统一替换为同一中形式的分隔符，例如采用预设数据格式的分隔符为空格，则将空格作为临时目标文件中的分隔符；将临时目标文件中包含空格的数据使用‘’括起来，例如，临时目标文件中的数据为：c d，格式化后为：‘cd’；将临时目标文件中的数据进行格式规范处理，例如将日期类型的数据的格式统一为预设数据格式；将数字类型的数据格式统一为预设数据格式，例如阿拉伯数字等。

在步骤104中，在格式化后的临时目标文件中，通过执行查询参数为所述查询关键字的所述linux命令，实现对临时目标文件的查询操作。由于本发明实施例中，SQL语句映射的linux命令为awk语言和shell命令的组合，因此可以直接对临时目标文件执行linux命令，获得与执行SQL语句相同的执行结果。同时也不需要用户进行干预，用户只需输入SQL语句，根据SQL语句直接获得对应的linux命令，并获得需要的查询结果。

针对上述方法流程，本发明实施例还提供一种查询数据的装置，该装置的具体内容可以参照上述方法实施，在此不再赘述。

如图2所示，本发明实施例提供的一种查询数据的装置结构图，包括：

获取单元201，用于获取结构化查询语言SQL语句，并确定出所述SQL语句中的命令关键字、查询关键字、查询数据以及目标文件名称；

确定单元202，用于根据所述命令关键字、所述查询关键字以及所述查询数据确定出与所述SQL语句对应的linux命令，所述linux命令为awk语言和shell命令的组合；

格式化单元203，用于根据所述目标文件名称将所述目标文件名称对应的目标文件中的数据格式化，获得格式化目标文件；

执行单元204，用于对所述格式化目标文件执行所述linux命令。

较佳的，所述确定单元202用于：

根据所述命令关键字在命令关键字与linux命令关键字的映射关系中确定出与所述命令关键字对应的linux命令关键字；

根据所述linux命令关键字、所述查询关键字以及所述查询数据生成与所述SQL语句对应的所述linux命令。

较佳的，所述格式化单元203用于：

根据所述目标文件名称获取与所述目标文件名称对应的目标文件，并通过复制所述目标文件生成临时目标文件，对所述临时目标文件中的数据格式化，获得格式化目标文件。

较佳的，所述格式化单元203用于：

将所述临时目标文件中的数据格式转换为预设数据格式，获得所述格式化目标文件。

综上所述，使用SQL语言作为操作命令，简单方便，功能和数据库一样，提高工作效率；不依赖于第三方的虚拟机或应用服务器，具有最小的系统依赖性，容易部署，简单小巧，基本上就是一个命令行；具有跨平台能力,且方便调试；对系统资源占用极小。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (4)

1.一种查询数据的方法，其特征在于，该方法包括：

获取结构化查询语言SQL语句，并确定出所述SQL语句中的命令关键字、查询关键字、查询数据以及目标文件名称；

根据所述命令关键字、所述查询关键字以及所述查询数据确定出与所述SQL语句对应的linux命令，所述linux命令为awk语言和shell命令的组合；

根据所述目标文件名称将所述目标文件名称对应的目标文件中的数据格式化，获得格式化目标文件；

具体的，根据所述目标文件名称获取与所述目标文件名称对应的目标文件，并通过复制所述目标文件生成临时目标文件，对所述临时目标文件中的数据格式化，获得格式化目标文件；将所述临时目标文件中的数据格式转换为预设数据格式，获得所述格式化目标文件；

对所述格式化目标文件执行所述linux命令。

2.如权利要求1所述的方法，其特征在于，所述根据所述命令关键字、所述查询关键字以及所述查询数据确定出与所述SQL语句对应的linux命令，包括：

根据所述命令关键字在命令关键字与linux命令关键字的映射关系中确定出与所述命令关键字对应的linux命令关键字；

根据所述linux命令关键字、所述查询关键字以及所述查询数据生成与所述SQL语句对应的所述linux命令。

3.一种查询数据的装置，其特征在于，该装置包括：

获取单元，用于获取结构化查询语言SQL语句，并确定出所述SQL语句中的命令关键字、查询关键字、查询数据以及目标文件名称；

确定单元，用于根据所述命令关键字、所述查询关键字以及所述查询数据确定出与所述SQL语句对应的linux命令，所述linux命令为awk语言和shell命令的组合；

格式化单元，用于根据所述目标文件名称将所述目标文件名称对应的目标文件中的数据格式化，获得格式化目标文件；

所述格式化单元，具体用于根据所述目标文件名称获取与所述目标文件名称对应的目标文件，并通过复制所述目标文件生成临时目标文件，对所述临时目标文件中的数据格式化，获得格式化目标文件；将所述临时目标文件中的数据格式转换为预设数据格式，获得所述格式化目标文件；

执行单元，用于对所述格式化目标文件执行所述linux命令。

4.如权利要求3所述的装置，其特征在于，所述确定单元用于：

根据所述命令关键字在命令关键字与linux命令关键字的映射关系中确定出与所述命令关键字对应的linux命令关键字；

根据所述linux命令关键字、所述查询关键字以及所述查询数据生成与所述SQL语句对应的所述linux命令。