CN113378016A - 数据查询方法、装置、设备、存储介质及程序产品 - Google Patents

Abstract

本申请提供一种数据查询方法、装置、设备、存储介质及程序产品。数据查询方法包括：响应于查询指令，查询指令中包括目标数据库、查询语句的位置信息和目标时间信息；根据位置信息，确定查询语句；采用目标时间信息替换查询语句中的时间信息；执行替换后的查询语句，以从目标数据库中查询目标数据。从而，提高了数据提取的灵活性。

Description

数据查询方法、装置、设备、存储介质及程序产品

技术领域

本申请涉及数据库技术，尤其涉及一种数据查询方法、装置、设备、存储介质及程序产品。

背景技术

在多系统数据同步过程中，常需要将数据库中的数据提取为文件来进行多系统的数据同步。

通常情况下，开发者可以使用一些数据提取工具来进行数据提取，这些数据提取工具可以按照用户预先输入的一些查询语句来从数据库中查询并提取数据。然而，通常这些数据提取工具仅能支持按照用户输入的固定查询语句来进行数据查询，灵活性较差。

发明内容

本申请提供一种数据查询方法、装置、设备、存储介质及程序产品，提高了数据提取的灵活性。

第一方面，本申请提供一种数据查询方法，包括：

响应于查询指令，查询指令中包括目标数据库、查询语句的位置信息和目标时间信息；

根据位置信息，确定查询语句；

采用目标时间信息替换查询语句中的时间信息；

执行替换后的查询语句，以从目标数据库中查询目标数据。

在一种实施方式中，采用目标时间信息替换查询语句中的时间信息，包括：

判断查询语句中的时间信息是否为预设字符，预设字符用于指示查询语句为进行数据增量查询的语句；

若查询语句中的时间信息为预设字符，则采用目标时间信息替换查询语句中的时间信息。

在一种实施方式中，方法还包括：

判断查询指令中是否包括编码格式；

若包括编码格式，则按照编码格式对目标数据进行编码；

若不包括编码格式，则按照预设编码格式对目标数据进行编码。

在一种实施方式中，方法还包括：

判断查询指令中是否包括数据压缩格式；

若包括数据压缩格式，则按照数据压缩格式对编码后的目标数据进行压缩。

在一种实施方式中，方法还包括：

若对编码后的目标数据进行压缩，则将压缩后的目标数据存储到目标位置；

若未对编码后的目标数据进行压缩，则将编码后的目标数据存储到目标位置。

在一种实施方式中，执行替换后的查询语句，以从目标数据库中查询目标数据之前，方法还包括：

根据查询指令，获取目标数据库的配置信息；

根据配置信息，加载目标数据库对应的数据库驱动，以连接目标数据库，数据库驱动为目标数据库对应的数据库客户端的驱动。

在一种实施方式中，方法还包括：

在执行替换后的查询语句的过程中，若目标数据的查询出现异常，则将异常信息添加到日志文件中。

第二方面，本申请提供一种数据查询装置，包括：

响应模块，用于响应于查询指令，查询指令中包括目标数据库、查询语句的位置信息和目标时间信息；

确定模块，用于根据位置信息，确定查询语句；

替换模块，用于采用目标时间信息替换查询语句中的时间信息；

查询模块，用于执行替换后的查询语句，以从目标数据库中查询目标数据。

在一种实施方式中，替换模块用于：

判断查询语句中的时间信息是否为预设字符，预设字符用于指示查询语句为进行数据增量查询的语句；

若查询语句中的时间信息为预设字符，则采用目标时间信息替换查询语句中的时间信息。

在一种实施方式中，装置还包括：编码模块，用于：

判断查询指令中是否包括编码格式；

若包括编码格式，则按照编码格式对目标数据进行编码；

若不包括编码格式，则按照预设编码格式对目标数据进行编码。

在一种实施方式中，装置还包括：压缩模块，用于：

判断查询指令中是否包括数据压缩格式；

若包括数据压缩格式，则按照数据压缩格式对编码后的目标数据进行压缩。

在一种实施方式中，装置还包括：存储模块，用于：

若对编码后的目标数据进行压缩，则将压缩后的目标数据存储到目标位置；

若未对编码后的目标数据进行压缩，则将编码后的目标数据存储到目标位置。

在一种实施方式中，装置还包括：驱动模块，用于：

根据查询指令，获取目标数据库的配置信息；

根据配置信息，加载目标数据库对应的数据库驱动，以连接目标数据库，数据库驱动为目标数据库对应的数据库客户端的驱动。

在一种实施方式中，装置还包括：日志模块，用于：

在执行替换后的查询语句的过程中，若目标数据的查询出现异常，则将异常信息添加到日志文件中。

第三方面，本申请提供一种电子设备，包括存储器和处理器，所述存储器和处理器连接；

所述存储器用于存储计算机程序；

所述处理器用于在所述计算机程序被执行时，实现如第一方面及其实施方式所述的方法。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现第一方面及其实施方式所述的方法。

第五方面，本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面及其实施方式所述的方法。

本申请提供一种数据查询方法、装置、设备、存储介质及程序产品在提取数据时，能够按照时间对查询语句进行自动调整，从而能够实现按照时间提取特定数据的功能，实现按照时间增量提取数据的功能，提高了数据提取的灵活性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据查询方法的流程示意图；

图2为本申请实施例提供的一种数据查询装置的结构示意图；

图3为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

通常情况下，开发者可以使用一些数据提取工具来进行数据提取，这些数据提取工具可以按照用户预先输入的一些查询语句来从数据库中查询并提取数据。然而，通常这些数据提取工具仅能支持按照用户输入的固定查询语句来进行数据查询，灵活性较差。

为了解决上述问题，本申请实施例中考虑对数据提取工具进行改进，使其在提取数据时，能够按照时间对查询语句进行自动调整，从而能够实现按照时间提取特定数据的功能，例如实现按照时间增量提取数据的功能，提高数据提取的灵活性。

下面，将通过具体的实施例对本申请提供的数据查询方法进行详细地说明。可以理解的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1为本申请实施例提供的一种数据查询方法的流程示意图。该方法的执行主体为数据查询装置，该装置可以通过软件和/或硬件的方式实现，示例的，该装置可以为终端设备，例如个人计算机(Personal Computer，PC)等。该装置上部署有本申请实施例改进的数据提取工具。如图1所示，该方法包括：

S101、响应于查询指令。

其中，查询指令中包括目标数据库、查询语句的位置信息和目标时间信息。

S102、根据位置信息，确定查询语句。

S103、采用目标时间信息替换查询语句中的时间信息。

S104、执行替换后的查询语句，以从目标数据库中查询目标数据。

本申请实施例中的查询指令可以为命令行，该命令行可以是在数据查询之前由用户手动输入的，或者也可以是预先在程序中设定的。

查询语句的位置信息即查询语句的存储位置，示例的，查询语句的位置信息是存储查询语句的文件名，其中，查询语句可以由用户预先编辑，并存放在该文件名对应的文件中。查询语句为结构化执行语句，用于从目标数据库中查询数据，从而获得相应的查询结果。目标时间信息是本次数据查询的调度时间或者是与期望获取的数据相关的时间信息，可以根据实际需要进行设置。目标数据是执行本粗数据查询所得到的的查询结果。

在根据查询指令中的位置信息，从相应位置获取查询语句后，将查询语句中的时间信息替换为目标时间信息，之后执行替换后的查询语句。可选的，可以判断查询语句中的时间信息是否为预设字符，预设字符用于指示查询语句为进行数据增量查询的语句；若查询语句中的时间信息为预设字符，则采用目标时间信息替换查询语句中的时间信息。

例如，预设字符为********，数据提取工具在获取到查询语句后，确定查询语句中的时间信息为********，则将********替换为目标时间信息。相应的，若查询语句中的时间信息为常规的时间信息，例如时间信息为20210615，则无需进行上述替换，以按照查询语句中原有的时间信息执行查询语句。

示例的，目标时间信息为执行数据查询的当天，在每次执行数据查询时，将查询语句中的时间信息替换为执行数据查询的当天，从而每次查询当天的数据，实现数据的增量提取。示例的，目标时间信息为执行数据查询的前一天，在每次执行数据查询时，将查询语句中的时间信息替换为执行数据查询的前一天，从而每次查询前一天至当天的数据，实现数据的增量提取。

本申请实施例提供的数据查询方法，在提取数据时，能够按照时间对查询语句进行自动调整，从而能够实现按照时间提取特定数据的功能，实现按照时间增量提取数据的功能，提高了数据提取的灵活性。

由于相关技术中的数据提取工具通常是仅从目标数据库中提取出数据，但是在多系统数据同步时，通常情况下，由于多系统的数据编码格式可能不同，以及考虑数据传输的需求，还需要对提出的数据进行转码和压缩，这些转码和压缩的工作就需要在数据提取工具提取数据之后，再额外进行，导致效率较低。为此，本申请实施例中，对数据提取工具的进一步改进还包括将文件转码、压缩功能进行了封装，对查询获取的数据直接进行转码和压缩，简化了对提取出的数据的处理。用户可以通过查询指令来设置是否进行转码和压缩。

可选的，判断查询指令中是否包括编码格式；若包括编码格式，则按照编码格式对目标数据进行编码；若不包括编码格式，则按照预设编码格式对目标数据进行编码。

数据提取工具在根据查询语句完成目标数据的提取后，得到包括目标数据的文件，并可以根据查询指令中的编码格式对目标数据的文件进行编码，即对目标数据的文件进行转码，例如常用的编码格式有ASCII、GBK、UTF-8等；若查询指令中不包括编码格式，默认编码为UTF-8，则按照UTF-8的编码格式进行编码。

可选的，在对目标数据进行转码后，还可以判断查询指令中是否包括数据压缩格式；若包括数据压缩格式，则按照数据压缩格式对编码后的目标数据进行压缩；若不包括数据压缩格式，则无需进行数据压缩。若对编码后的目标数据进行压缩，则将压缩后的目标数据存储到目标位置；若未对编码后的目标数据进行压缩，则将编码后的目标数据存储到目标位置。该目标位置可以为目标文件夹，目标位置同样可以在查询指令中进行设置。

此外，在执行替换后的查询语句的过程中，若目标数据的查询出现异常，则将异常信息添加到日志文件中。若转码或者压缩的过程中出现异常，也可以将异常信息添加到日志文件中。

前述实施例中对数据的提取、转码和压缩进行了说明，可以理解的是，在此之前，数据提取工具需要连接至目标数据库。即，根据查询指令，获取目标数据库的配置信息；根据配置信息，加载目标数据库对应的数据库驱动，以连接目标数据库，数据库驱动为目标数据库对应的数据库客户端的驱动。

本申请实施例的数据提取工具部署在终端设备中，该终端设备上还部署有数据库客户端，从而在数据提取工具中可以剪裁掉冗余的数据库驱动程序，相较于相关技术中数据提取工具大多带有复杂的数据库驱动，导致程序包过大、自带驱动版本与现有数据库不一致，容易引起使用中的各种问题，本申请实施例的数据提取工具优化了数据库的驱动调用模式，减少了数据提起工具本身占用系统的存储空间。此外，本申请实施例提供的数据提取工具还集成了多种结构化数据库的调用形式用户只需要配置目标数据库的配置信息即可加载目标数据库，降低了数据提取工具的使用难度。

以下再结合具体实施例进行说明。首先需要说明的是，本申请实施例提供的数据提取工具可在windows、linux等操作系统下运行，用户可以将该数据提取工具部署在本地装有数据库客户端的机器上，之后，用户只需要关注数据提取的逻辑，而其他如转码、数据库配置、数据的压缩均可通过数据提取工具的选项和配置文件来实现，简化了数据提取开发的工作量，提升数据提取工作的开发效率。

本申请实施例的数据提取工具可通过执行不同的入口程序实现数据在不同环境执行的效果。用户在使用数据提取工具时，需要配置数据库链接的必填信息以及结构化查询语句。在完成配置，调用数据提取工具时，数据提取工具会自动完成将数据库内的数据转化为指定文件的工作。以下进行说明。

在数据提取工具首次使用前，用户需要在数据提取工具的指定配置文件中完成对使用到的目标数据库的配置，并为目标数据库命名别名，从而在之后的使用中可通过别名直接调用目标数据库并加载相应的数据库配置，调用对应的数据库驱动，完成数据库的连接工作。此外，用户还需要将编辑好的查询语句放到数据提取工具指定的查询脚本路径下。

数据提取工具可通过命令行(查询指令)进行调用，命令参数包含数据库别名、压缩格式简写、编码格式、查询语句的文件名、日期以及目标文件夹；其中数据库别名、查询语句文件名、日期为必选项，其他参数为可选项。

通过命令行调用数据提取工具后，数据提取工具会先对输入参数个数进行校验，即对必选项的个数进行校验，如果参数不合规，则会在命令行中报错，并提示参数不合法。成功调用数据提取工具后，数据提取工具根据输入的数据库别名，调用对应的数据库驱动，并根据查询语句的文件名获取查询语句，其中，若判断查询语句为增量查询语句，则对其中的时间信息进行替换，之后将查询语句加载到指定数据库别名的目标数据库中执行，执行完成后会将查询结果输出到本地指定的目标文件夹中，查询结果的文件名为查询语句的文件名加执行日期。

在数据提取过程中，数据提取工具会对数据库连接情况、脚本执行情况进行校验，并将结果发送到命令行和日志文件中，日志文件名为查询语句文件名加执行日期，文件后缀名为.log。如果发生异常，异常情况会发送到命令行和日志文件中，同时程序返回值会大于1；如果查询成功完成，日志文件内会记录开始时间，并记录导出数据行数和完成时间，程序的返回值为0。

完成基本的数据提取之后，数据提取工具会根据命令行中的编码格式对文件进行转码；若无编码格式的参数，则默认编码为utf-8，完成后判断转码是否成功，如果不成功则会在日志和命令行中报出转码失败，如果成功会在日志中记录完成转码时间。

在转码成功后，数据提取工具会对压缩格式参数进行判断，若无该参数，则无需进行压缩，若有压缩参数，工具会将转码成功后的文件按照指定的压缩格式进行压缩，并记录压缩的时间和文件的大小。压缩完成后，数据提取工具将压缩后的文件发送到目标文件夹，若未指定目标文件夹，则该文件会被保存在数据提取工具根目录的tmp路径下。完成以上工作后，数据提取工具在日志中记录完成时间，程序整体返回值为0；若发生异常会在日志文件中记录异常原因，并返回对应的异常值。

本申请实施例的数据查询方法，利用改进的数据提取工具，将文件转码、压缩功能进行了封装，简化了数据文件提取后的进一步处理，提高了效率。优化了数据库的驱动调用模式，减少了工具本身占用系统的存储空间，同时集成了多种结构化数据库的调用形式，使用者可通过简单的配置文件即可加载指定数据库，降低了数据提取工具的使用难度。在数据提取工具部署完程序后，使用者只需修改或者新增结构化查询语言，即可实现数据的提取功能，同时支持按照时间自动优化查询语句，实现数据的按照时间增量提取的功能。

图2为本申请实施例提供的一种数据查询装置的结构示意图。如图2所示，数据查询装置包括：

响应模块201，用于响应于查询指令，查询指令中包括目标数据库、查询语句的位置信息和目标时间信息；

确定模块202，用于根据位置信息，确定查询语句；

替换模块203，用于采用目标时间信息替换查询语句中的时间信息；

查询模块204，用于执行替换后的查询语句，以从目标数据库中查询目标数据。

在一种实施方式中，替换模块203用于：

判断查询语句中的时间信息是否为预设字符，预设字符用于指示查询语句为进行数据增量查询的语句；

若查询语句中的时间信息为预设字符，则采用目标时间信息替换查询语句中的时间信息。

在一种实施方式中，数据查询装置还包括：编码模块，用于：

判断查询指令中是否包括编码格式；

若包括编码格式，则按照编码格式对目标数据进行编码；

若不包括编码格式，则按照预设编码格式对目标数据进行编码。

在一种实施方式中，数据查询装置还包括：压缩模块，用于：

判断查询指令中是否包括数据压缩格式；

若包括数据压缩格式，则按照数据压缩格式对编码后的目标数据进行压缩。

在一种实施方式中，数据查询装置还包括：存储模块，用于：

若对编码后的目标数据进行压缩，则将压缩后的目标数据存储到目标位置；

若未对编码后的目标数据进行压缩，则将编码后的目标数据存储到目标位置。

在一种实施方式中，数据查询装置还包括：驱动模块，用于：

根据查询指令，获取目标数据库的配置信息；

根据配置信息，加载目标数据库对应的数据库驱动，以连接目标数据库，数据库驱动为目标数据库对应的数据库客户端的驱动。

在一种实施方式中，数据查询装置还包括：日志模块，用于：

在执行替换后的查询语句的过程中，若目标数据的查询出现异常，则将异常信息添加到日志文件中。

本申请实施例的数据查询装置可用户执行上述任一实施例中的数据查询方法，其实现原理和技术效果类似，此处不再赘述。

图3为本申请实施例提供的一种电子设备的结构示意图。如图3所示，电子设备包括存储器301和处理器302，存储器301和处理器302通过总线303连接。

存储器301用于存储计算机程序。

处理器302用于在计算机程序被执行时，实现上述任一实施例中的数据查询方法。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现上述任一实施例中的数据查询方法。

本申请实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任一实施例中的数据查询方法。

可选的，上述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法实施例中的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (11)

1.一种数据查询方法，其特征在于，包括：

响应于查询指令，所述查询指令中包括目标数据库、查询语句的位置信息和目标时间信息；

根据所述位置信息，确定所述查询语句；

采用所述目标时间信息替换所述查询语句中的时间信息；

执行替换后的查询语句，以从所述目标数据库中查询目标数据。

2.根据权利要求1所述的方法，其特征在于，所述采用所述目标时间信息替换所述查询语句中的时间信息，包括：

判断所述查询语句中的时间信息是否为预设字符，所述预设字符用于指示所述查询语句为进行数据增量查询的语句；

若所述查询语句中的时间信息为所述预设字符，则采用所述目标时间信息替换所述查询语句中的时间信息。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

判断所述查询指令中是否包括编码格式；

若包括所述编码格式，则按照所述编码格式对所述目标数据进行编码；

若不包括所述编码格式，则按照预设编码格式对所述目标数据进行编码。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

判断所述查询指令中是否包括数据压缩格式；

若包括所述数据压缩格式，则按照所述数据压缩格式对编码后的目标数据进行压缩。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

若对所述编码后的目标数据进行压缩，则将压缩后的目标数据存储到目标位置；

若未对所述编码后的目标数据进行压缩，则将编码后的目标数据存储到所述目标位置。

6.根据权利要求1或2所述的方法，其特征在于，所述执行替换后的查询语句，以从所述目标数据库中查询目标数据之前，所述方法还包括：

根据所述查询指令，获取所述目标数据库的配置信息；

根据所述配置信息，加载所述目标数据库对应的数据库驱动，以连接所述目标数据库，所述数据库驱动为所述目标数据库对应的数据库客户端的驱动。

7.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

在执行所述替换后的查询语句的过程中，若所述目标数据的查询出现异常，则将异常信息添加到日志文件中。

8.一种数据查询装置，其特征在于，包括：

响应模块，用于响应于查询指令，所述查询指令中包括目标数据库、查询语句的位置信息和目标时间信息；

确定模块，用于根据所述位置信息，确定所述查询语句；

替换模块，用于采用所述目标时间信息替换所述查询语句中的时间信息；

查询模块，用于执行替换后的查询语句，以从所述目标数据库中查询目标数据。

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器和处理器连接；

所述存储器用于存储计算机程序；

所述处理器用于在所述计算机程序被执行时，实现如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如上述权利要求1-7中任一项所述的方法。

11.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。

Images