CN111159227A

CN111159227A - 数据查询方法、装置、设备及存储介质

Info

Publication number: CN111159227A
Application number: CN201911329820.4A
Authority: CN
Inventors: 仝宗健; 张同虎; 刘正
Original assignee: China Construction Bank Corp; CCB Finetech Co Ltd
Current assignee: CCB Finetech Co Ltd
Priority date: 2019-12-20
Filing date: 2019-12-20
Publication date: 2020-05-15
Anticipated expiration: 2039-12-20
Also published as: CN111159227B

Abstract

本申请提供一种数据查询方法、装置、设备及存储介质，涉及数据查询技术领域。该方法包括：所述服务器根据所述数据提取界面获取的第一选择指令，生成目标查询语句；所述服务器根据所述目标查询语句，在所述测试数据表中获取目标数据；其中，所述测试数据表中包括预先设置的索引。相对于现有技术，避免了数据读取速度较慢的问题。

Description

数据查询方法、装置、设备及存储介质

技术领域

本申请涉及数据查询技术领域，具体而言，涉及一种数据查询方法、装置、设备及存储介质。

背景技术

大型主机在金融系统中得到广泛应用，各种内、外网服务的生产环境基本都使用大型主机作为服务端设备，真实的生产数据储存在大型主机中。相应的测试环境一般也配备有大型主机，保存有与生产环境相同的数据拷贝。

测试过程中往往需要提取具有某些特征的数据，这就代表要对数据进行有条件的数据检索，金融系统生产数据的数据量非常庞大，有时甚至达到10亿的数量级，在这样的数据量下进行数据查询检索的效率会非常的低，读取速度慢。

发明内容

本申请的目的在于，针对上述现有技术中的不足，提供一种数据查询方法、装置、设备及存储介质，以解决现有技术中数据的查询读取速度较慢的问题。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请一实施例提供了一种数据查询方法，包括：

所述服务器根据所述数据提取界面获取的第一选择指令，生成目标查询语句；

所述服务器根据所述目标查询语句，在所述测试数据表中获取目标数据；其中，所述测试数据表中包括预先设置的索引。

可选地，所述测试数据表的建立包括：

获取测试数据集，并根据所述测试数据集生成对应的查询语句；

根据所述查询语句，将所述测试数据集中的数据导出至测试数据表中；

根据预设要求，在所述测试数据库中添加索引；

根据所述查询语句生成数据提取界面，其中，所述数据提取界面包括。

可选地，所述获取测试数据集，并根据所述测试数据集生成查询语句，包括：

所述服务器根据第二选择指令，在所述主机内获取至少一个数据项，所述至少一个数据项组成所述测试数据集；

所述服务器根据所述测试数据集，生成对应的所述查询语句。

可选地，所述根据所述查询语句，将所述测试数据集中的数据导出至测试数据库中，包括：

根据所述查询语句，将所述测试数据集中的数据以文件形式存储至服务器磁盘；

将所述服务器磁盘上的文件写入所述测试数据库的测试数据表中。

可选地，所述方法还包括：

根据预设时间间隔对所述测试数据库进行更新。

第二方面，本申请另一实施例提供了一种数据查询装置，所述装置包括：生成模块和获取模块，其中：

所述生成模块，用于所述服务器根据所述数据提取界面获取的第一选择指令，生成目标查询语句；

所述获取模块，用于所述服务器根据所述目标查询语句，在所述测试数据表中获取目标数据；其中，所述测试数据表中包括预先设置的索引。

可选地，所述装置还包括：导出模块和添加模块，其中：

所述获取模块，还用于获取测试数据集，并根据所述测试数据集生成对应的查询语句；

所述导出模块，还用于根据所述查询语句，将所述测试数据集中的数据导出至测试数据表中；

所述添加模块，还用于根据预设要求，在所述测试数据库中添加索引；

所述生成界面，还用于根据所述查询语句生成数据提取界面。

可选地，所述获取模块，还用于所述服务器根据第二选择指令，在所述主机内获取至少一个数据项，所述至少一个数据项组成所述测试数据集；所述生成模块，还用于所述服务器根据所述测试数据集，生成对应的所述查询语句。

可选地，所述装置还包括：存储模块，用于根据所述查询语句，将所述测试数据集中的数据以文件形式存储至服务器磁盘；

所述导出模块，还用于将所述服务器磁盘上的文件写入所述测试数据库的测试数据表中。

可选地，所述装置还包括：更新模块，用于根据预设时间间隔对所述测试数据表进行更新。

第三方面，本申请另一实施例提供了一种数据查询设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当数据查询设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述第一方面任一所述方法的步骤。

第四方面，本申请另一实施例提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面任一所述方法的步骤。

本申请的有益效果是：采用本申请提供的数据查询方法，根据获取的第一选择指令，生成目标查询语句，根据目标查询语句，在测试数据表中获取目标数据，由于测试数据表中包含预先设置的索引，所以在数据的读取过程中，可以根据索引找到对应的数据，从而提高了数据的读取速度。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请一实施例提供的数据查询方法的流程示意图；

图2为本申请另一实施例提供的数据查询方法的流程示意图；

图3为本申请另一实施例提供的数据查询方法的流程示意图；

图4为本申请一实施例提供的数据查询装置的结构示意图；

图5为本申请另一实施例提供的数据查询装置的结构示意图；

图6为本申请另一实施例提供的数据查询装置的结构示意图；

图7为本申请另一实施例提供的数据查询装置的结构示意图；

图8为本申请一实施例提供的数据查询设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。

为使本申请下述实施例中的内容更容易理解，在此对部分必要的名词作出如下解释：

大型主机：大型主机是体积巨大的服务器主机，通常需要安装在体积巨大的机柜中。但大型主机并不只是硬件上的概念，而是一个硬件和专属软件的有机整体，使用专用的处理器指令集、操作系统和应用软件。大型主机的主要特点是RAS(Reliability,Availability,Serviceability高可靠性、高可用性、高服务性)。与超级计算机和x86服务器等相比，大型主机并不擅长数值计算，而是在非数值计算能力、I/O吞吐量、稳定性上占优。这样的特点与优势非常适合需要完成大量数据处理(非数值计算)并保证不间断服务的金融系统，在金融系统中得到大规模应用。一个典型的大型机产品是IBM公司的z系列产品，使用z/OS操作系统，全球企业级数据有80％驻留在IBM大型主机上。

x86服务器：基于PC机体系结构，使用Intel或其它兼容x86指令集的处理器芯片和Windows操作系统的服务器；价格便宜、兼容性好、稳定性较差。

CPU：Central Processing Unit，即中央处理器，是一块超大规模的集成电路，是一台计算机的运算核心和控制核心。它的功能主要是解释计算机指令以及处理计算机软件中的数据。

MIPS：Million Instructions Per Second，每秒处理的百万级的机器语言指令数，也即单字长定点指令平均执行速度，衡量CPU处理速度的一个指标。

SQL：Structured Query Language，结构化查询语言，用于存取数据以及查询、更新和管理关系数据库系统。具有完全不同底层结构的不同数据库系统,可以使用相同的结构化查询语言作为数据输入与管理的接口。

DB2：美国IBM公司开发的一套关系型数据库管理系统，主要运行环境为UNIX、Linux、z/OS等，主要应用于大型主机系统。

Oracle数据库：甲骨文公司开发的关系型数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。

MySQL数据库：一种开源的关系型数据库管理系统，优势是速度、可靠性和适应性。

图1为本申请一实施例提供的一种数据查询方法的流程示意图，如图1所示，该数据查询方法由服务器执行，在本申请的一个实施例中，服务器为x86服务器，应用场景为金融系统的数据查询，但是，服务器的选择可以根据用户需要设计，应用场景也不局限于此，任何需要对数据进行读取查询的场合均可使用，例如：银行系统的测试数据的读取、酒店系统的测试数据的读取、公安系统的测试数据的读取等，本申请在此不做任何限制，该方法包括：

S101：服务器根据数据提取界面获取的第一选择指令，生成目标查询语句。

其中，本申请提供的方法由服务器执行，相对于传统技术中，由大型主机执行，提高了运算能力，并且大型主机的存储资源相对来说比较昂贵，由服务器执行该方法可以减少成本，并且在服务器上常用的Oracle数据库和MySQL数据库也具备完善的数据存储和索引能力，适合用于测试数据存储。

可选地，数据提取界面是预先设置好的，包括至少一个数据字段；第一选择指令，用于用户在数据提取界面选择数据字段，随后根据用户选择的一个或多个数据字段，生成目标查询语句SQL。

举例说明：用户从证件类型中选择“居民身份证”，从产品类型中选择“个人信用卡”和“理财产品”，账户状态中选择“正常”，随后根据这些选中的数据映射对应的数据库字段名，生成查询这些字段的SQL语句。

可选地，用户的第一选择指令可以为通过鼠标在数据提取界面勾选数据字段，也可以为通过触屏的方式在数据提取界面选择数据字段，具体选择方式本申请在此不做任何限制，可以根据用户需要调整。

S102：服务器根据目标查询语句，在测试数据表中获取目标数据。

其中，测试数据表中包括预先设置的索引，这样就可以使对应于表的SQL语句执行得更快，从而可以快速访问数据库中表的特定信息。

采用本申请提供的数据查询方法，根据获取的第一选择指令，生成目标查询语句，根据目标查询语句，在测试数据表中获取目标数据，由于测试数据表中包含预先设置的索引，所以在数据的读取过程中，可以根据索引找到对应的数据，从而提高了数据的读取速度。

图2为本申请另一实施例提供的数据查询方法的流程示意图，如图2所示，S102之后，所述方法还包括：

S103：将目标数据写入缓存。

测试人员或测试系统从测试数据表中取数据往往比较频繁，若每次都从数据表中读取数据，会产生大量读取操作，读取效率较低，而将读取出的目标数据写入缓存，可以使得下次读取该目标数据时，直接从缓存中读取，这样可以提高测试数据使用时的读取效率。

可选地，在本申请的一个实施例中，缓存的有效时常设置为一小时，这样由于测试即1小时之内，再次获取该目标数据，可以直接从缓存中读取，超过一小时则将该目标数据在缓存中删除，下次读取时，仍需按照S101-S102在测试数据表中读取。但是缓存时间的设置并不以上述实施例为限，可以根据用户需要调整，本申请在此不做任何限制。

图3为本申请一实施例提供的测试数据表的建立流程示意图，如图3所示，测试数据表的建立方法包括：

S201：获取测试数据集，并根据测试数据集生成对应的查询语句。

其中，根据测试数据集中的数据信息，映射为对应的数据库字段名，并根据这些数据库字段名，生成查询这些字段的SQL语句，用于后续的数据导出。

S202：根据查询语句，将测试数据集中的数据导出至测试数据表中。

其中，首先需要根据查询语句，在x86服务器的开放数据库上建立测试用数据表，随后将测试数据集中的数据导出到测试数据表中。

可选地，在测试数据集的导出过程中，可以根据测试需求的不同，分别将不同的测试数据集导出至不同的测试数据表中，便于后续的测试。

其中，由于x86服务器的计算资源和存储资源相对大型主机来说成本较低，并且Oracle数据库和MySQL数据库等关系型数据库(均统称为：开放数据库)运行在x86服务器上使用方便、可移植性强、速度快，适合作为存储测试数据的数据库。这些数据库系统均为关系型数据库，可以使用相似的SQL语句进行数据处理，所以在x86服务器上建立测试数据表，相对于传统的在大型主机上建立测试数据表，使用更加方便。

S203：根据预设要求，在测试数据库中添加索引。

其中，根据预设要求，选择一个或多个数据字段生成索引，以提高后续数据检索的速度；其中，若一次选择多个字段生成复合索引时，需要将选择性强的字段放在其他字段的前面。

举例说明：以银行系统的数据为例，数据字段可能包括：卡号、身份证号、账户类型等，其中，卡号和身份证号的选择性均较强，而账户类型的选择性较弱，若一次选择了卡号和账户类型生成复合索引，需要将选择性强的卡号放在账户类型的前面。

S204：根据查询语句生成数据提取界面。

其中，将数据提取界面展示给用户，可以方便后续数据检索过程中的便捷性，用户不需要自己编写SQL语句，只需在数据提取界面上选择对应的字段名，即可自动生成SQL语句，从而提高了数据检索的效率，并且减少了人为编写SQL语句可能造成出错的情况。

可选地，在本申请的一个实施例中，S101可包括：服务器根据第二选择指令，在主机内获取至少一个数据项，至少一个数据项组成所述测试数据集；服务器根据测试数据集，生成对应的查询语句。

其中，主机中存储着全部的生产数据，但测试工作往往是针对单一系统或者单一业务，只需要某几项和待测试系统或业务相关的数据，所以测试数据准备的第一步就是根据第二选择指令，在主机内完成数据项的选择，并根据选择结果生成测试数据集。

举例说明：以金融系统为例，由于存储在大型主机中的数据很复杂，一条客户信息通常包含了一个客户在该银行中的所有账户、证件、产品、服务等信息，而对银行信息化系统的测试往往是以组件或功能为单位的，也就是每项测试只需要一个类型的数据，所以在测试过程中，只需选择与当前测试相关的数据作为测试数据集，例如：对信用卡系统新功能的测试过程中，只需要导出用户信用卡账户的相关数据作为测试数据集即可。

可选地，在本申请的一个实施例中，主机中的全部数据项可以包括：证件类型、账户类型、产品类型、账户状态、客户等级等。具体数据项的设置并不以上述实施例为限，可以根据用户需要设置，本申请在此不做任何限制。

其中，第二选择指令用于对一个待测系统开展测试任务时，在主机的全部数据项中选择一个或多个数据项作为待测试数据项，并根据选择的一个或多个数据项组成测试数据集。

可选地，在本申请的一个实施例中，S102可包括：根据查询语句，将测试数据集中的数据以文件形式存储至服务器磁盘；将服务器磁盘上的文件写入测试数据库的测试数据表中。

其中，由于直接将数据从一个数据库导出到另一个数据库时，涉及大批量的磁盘读写操作。若直接从源数据库查询数据并插入目的数据库，由于存取的等待，导出速度会比较慢。所以本申请采取“落地式”的数据转换方案：首先从大型主机DB2数据库根据查询语句指定的字段查询数据，将查询结果以文件形式存储在x86服务器磁盘上；然后将磁盘上的数据文件作为数据源将数据写入到x86服务器开放数据库的测试数据表中。所以，相对于直接导出的数据导出方案，采用本申请的导出方法，减少了数据导出的时间。

可选地，本申请的一个实施例中，还包括：根据预设时间间隔对测试数据表进行更新。

由于大型主机上的生产数据导出到X86服务器的测试数据表中之后，大型主机上的生产数据仍会继续累积、更新，因此测试数据表中的数据也需要定期更新。

可选地，在本申请的一个实施例中，预设时间间隔为5天，即每间隔5天，需要再次在大型主机DB2数据库上，根据查询语句指定的字段查询数据获取对应的测试数据集，并将测试数据集中的数据导出至测试数据表中，至此完成数据测试表的更新；但预设时间间隔可以根据用户需要调整，并不以上述时间间隔为限，也可以为当更新的数据超过预设个数时，对测试数据表进行更新，举例说明：当测试数据库表中的数据更新超过10万条时，则在预设时间(例如：凌晨两点)对测试数据表进行更新；具体预设时间和预设时间间隔可以根据用户需要设计，本申请在此不做任何限制。

可选地，由于在索引存在的情况下，更新数据的插入速度会比较慢，所以在本申请的一个实施例中，在对测试数据表进行更新之前，先将索引删除，待测试数据表的更新结束之后，再根据原索引创建方式对索引进行恢复，从而减少了测试数据表的更新时间。

采用本申请提供的数据查询方法，由于在测试数据表的建立过程中，是在x86服务器上建立的，相对于大型主机，在保证数据正常使用的前提下，减少了计算资源和存储资源的成本，并且测试数据表中包含索引，测试数据表建立成功后，还会生成数据提取界面，以供用户在数据查询时，直接在数据提取界面上根据输入的第一选择指令选择数据字段，数据提取界面根据用户选择的数据字段生成SQL语句，所以在数据查询的过程中，数据检索效率提高。

图4为本申请一实施例提供的数据查询装置的结构示意图，如图4所示，该装置包括：生成模块301和获取模块302，其中：

生成模块301，用于服务器根据数据提取界面获取的第一选择指令，生成目标查询语句。

获取模块302，用于服务器根据目标查询语句，在测试数据表中获取目标数据；其中，测试数据表中包括预先设置的索引。

图5为本申请一实施例提供的数据查询装置的结构示意图，如图5所示，该装置还包括：导出模块303和添加模块304，其中：

获取模块302，还用于获取测试数据集，并根据测试数据集生成对应的查询语句。

导出模块303，还用于根据查询语句，将测试数据集中的数据导出至测试数据表中。

添加模块304，还用于根据预设要求，在测试数据库中添加索引。

生成模块301，还用于根据查询语句生成数据提取界面。

可选地，获取模块302，还用于服务器根据第二选择指令，在主机内获取至少一个数据项，至少一个数据项组成测试数据集；生成模块，还用于服务器根据测试数据集，生成对应的查询语句。

图6为本申请一实施例提供的数据查询装置的结构示意图，如图6所示，该装置还包括：存储模块305，用于根据查询语句，将测试数据集中的数据以文件形式存储至服务器磁盘。

导出模块303，还用于将服务器磁盘上的文件写入测试数据库的测试数据表中。

图7为本申请一实施例提供的数据查询装置的结构示意图，如图7所示，该装置还包括：更新模块306，用于根据预设时间间隔对测试数据表进行更新。

上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

图8为本申请一实施例提供的数据查询设备的结构示意图，该数据查询设备可以集成于终端设备或者终端设备的芯片。

该数据查询设备包括：处理器501、存储介质502和总线503。

处理器501用于存储程序，处理器501调用存储介质502存储的程序，以执行上述图1-图3对应的方法实施例。具体实现方式和技术效果类似，这里不再赘述。

可选地，本申请还提供一种程序产品，例如存储介质，该存储介质上存储有计算机程序，包括程序，该程序在被处理器运行时执行上述方法对应的实施例。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims

1.一种数据查询方法，其特征在于，所述方法包括：

所述服务器根据所述数据提取界面获取的第一选择指令，生成目标查询语句；其中，所述数据提取界面包括至少一个数据字段；

2.如权利要求1所述的方法，其特征在于，所述测试数据表的建立包括：

根据预设要求，在所述测试数据库中添加索引；

根据所述查询语句生成数据提取界面。

3.如权利要求2所述的方法，其特征在于，所述获取测试数据集，并根据所述测试数据集生成查询语句，包括：

4.如权利要求2所述的方法，其特征在于，所述根据所述查询语句，将所述测试数据集中的数据导出至测试数据库中，包括：

5.如权利要求2所述的方法，其特征在于，所述方法还包括：

根据预设时间间隔对所述测试数据表进行更新。

6.一种数据查询装置，其特征在于，所述装置包括：生成模块和获取模块，其中：

7.如权利要求6所述的装置，其特征在于，所述装置还包括：导出模块和添加模块，其中：

所述生成界面，还用于根据所述查询语句生成数据提取界面，其中，所述数据提取界面包括。

8.如权利要求6所述的装置，其特征在于，所述获取模块，还用于所述服务器根据第二选择指令，在所述主机内获取至少一个数据项，所述至少一个数据项组成所述测试数据集；所述生成模块，还用于所述服务器根据所述测试数据集，生成对应的所述查询语句。

9.一种数据查询设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当数据查询设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行上述权利要求1-5所述的方法。

10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述权利要求1-5所述的方法。