CN114328215A

CN114328215A - 测试数据部署方法、装置、设备、可读存储介质及产品

Info

Publication number: CN114328215A
Application number: CN202111619778.7A
Authority: CN
Inventors: 孙绍伟; 崔文博; 王宇阳; 颜廷义
Original assignee: Agricultural Bank of China
Current assignee: Agricultural Bank of China
Priority date: 2021-12-27
Filing date: 2021-12-27
Publication date: 2022-04-12

Abstract

本公开提供一种测试数据部署方法、装置、设备、可读存储介质及产品，方法包括：获取测试数据部署请求，其中，所述测试数据部署请求中包括所述测试数据待部署的机器IP地址、所属数据库类型、数据后缀以及存储目录；根据所述测试数据部署请求，将预存有所述测试数据的分布式共享文件系统模拟为所述测试数据所属数据库的本地硬盘；根据所述数据库类型，选择与所述数据类型对应的目标数据导入方式对所述本地硬盘存储目录中的测试数据进行数据导入操作。从而能够在减少数据传输，提高数据传输效率的基础上，实现对多种不同类型数据库数据的自动部署操作，无需用户具有较高的专业技能，适用性较强。

Description

测试数据部署方法、装置、设备、可读存储介质及产品

技术领域

本公开涉及数据处理领域，尤其涉及一种测试数据部署方法、装置、设备、可读存储介质及产品。

背景技术

随着技术的不断创新和历史客观原因，银行生产环境中往往使用多种数据库存储数据，比如Oracle、Sybase、DB2、Gbase、Mysql等。同时测试环境中也要同步建设多种类型的数据库测试环境。

现有的测试数据部署方法一般都是由研发人员先将测试数据通过scp等命令获取至数据库服务器，再获得服务器的权限，登录数据库服务器手工执行部署命令或脚本。

但是，由于测试数据需要在数据库服务器落地，存在安全隐患。同时对于大数据量的数据传输时间长、效率低。此外，由于数据库类型的不同，部署操作往往存在较大差异，同时加上步骤复杂、参数繁多，部署技能的掌握存在较大难度，尤其是新员工，技能的掌握需要不断的学习、实践，耗时较长。

发明内容

本公开提供一种测试数据部署方法、装置、设备、可读存储介质及产品，用于解决现有的数据部署操作对用户专业水平要求较高且数据传输时间较长，效率低的技术问题。

本公开的第一个方面是提供一种测试数据部署方法，包括：

获取测试数据部署请求，其中，所述测试数据部署请求中包括所述测试数据待部署的机器IP地址、所属数据库类型、数据后缀以及存储目录；

根据所述测试数据部署请求，将预存有所述测试数据的分布式共享文件系统模拟为所述测试数据所属数据库的本地硬盘；

根据所述数据库类型，选择与所述数据类型对应的目标数据导入方式对所述本地硬盘存储目录中的测试数据进行数据导入操作。

本公开的第二个方面是提供一种测试数据部署装置，包括：

获取模块，用于获取测试数据部署请求，其中，所述测试数据部署请求中包括所述测试数据待部署的机器IP地址、所属数据库类型、数据后缀以及存储目录；

模拟模块，用于根据所述测试数据部署请求，将预存有所述测试数据的分布式共享文件系统模拟为所述测试数据所属数据库的本地硬盘；

传输模块，用于根据所述数据库类型，选择与所述数据类型对应的目标数据导入方式对所述本地硬盘存储目录中的测试数据进行数据导入操作。

本公开的第三个方面是提供一种电子设备，包括：存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器用于调用所述存储器中的程序指令执行如第一方面所述的测试数据部署方法。

本公开的第四个方面是提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的测试数据部署方法。

本公开的第五个方面是提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如第一方面所述的测试数据部署方法。

本公开提供的测试数据部署方法、装置、设备、可读存储介质及产品，通过在获取到数据部署请求之后，将测试数据所在共享SAN存储模拟成数据库本地硬盘，并根据不同的数据库类型采取相对应的数据导入方式，从而能够在减少数据传输，提高数据传输效率的基础上，实现对多种不同类型数据库数据的自动部署操作，无需用户具有较高的专业技能，适用性较强。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本公开实施例一提供的测试数据部署方法的流程示意图；

图2为本公开实施例二提供的测试数据部署方法的流程示意图；

图3为本公开实施例三提供的测试数据部署方法的流程示意图；

图4为本公开实施例四提供的测试数据部署装置的结构示意图；

图5为本公开实施例五提供的电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例所获得的所有其他实施例，都属于本公开保护的范围。

名词解释：

脱敏：是指对含有敏感信息的数据进行删除、置换或仿真处理的过程。

测试数据：是指对生产数据经过脱敏处理后用于开发测试过程的数据。针对上述提及的现有的数据部署操作对用户专业水平要求较高且数据传输时间较长，效率低的技术问题，本公开提供了一种测试数据部署方法、装置、设备、可读存储介质及产品。

挂载(mounting)：是指由操作系统使一个存储设备(诸如硬盘、CD-ROM或共享资源)上的计算机文件和目录可供用户通过计算机的文件系统访问的一个过程。

需要说明的是，本公开提供测试数据部署方法、装置、设备、可读存储介质及产品可运用在多种类型数据库情况下的数据部署场景中。

随着技术的不断创新和历史客观原因，银行生产环境中往往使用多种数据库存储数据，同时测试环境中也要同步建设多种类型的数据库测试环境。由于安全权限的要求和人员技能的限制，研发人员往往无法自我高效、独立完成测试数据导入数据库的工作。现有的数据部署操作在测试数据交付后，由项目组部署到测试环境。在部署过程中部分开发、测试人员因为对测试数据部署的操作不熟悉或权限不足，导致数据部署的沟通成本高、耗费时间长，延长了测试准备周期，进而影响测试工作的进度。

在解决上述技术问题的过程中，发明人通过研究发现，可以将脱敏后的数据存储于共享SAN存储，利用磁盘挂载mount技术直接将SAN存储挂载至数据库服务器作为本地磁盘，然后模拟服务器本次操作执行数据库命令，实现对文本文件、dmp文件、bcp文件等数据库支持的文件类型进行测试数据导入操作。

图1为本公开实施例一提供的测试数据部署方法的流程示意图，如图1所示，该方法包括：

步骤101、获取测试数据部署请求，其中，所述测试数据部署请求中包括所述测试数据待部署的机器IP地址、所属数据库类型、数据后缀以及存储目录。

本实施例的执行主体为测试数据部署装置，该测试数据部署装置可耦合于服务器中，该服务器可与多个数据库通信连接。

在本实施方式中，可以预先将将脱敏后的数据存储于分布式共享文件系统，研发人员可以根据实际需求确定数据部署的信息，并发出测试数据部署请求。相应的，测试数据部署装置可以获取该测试数据部署请求，其中，所述测试数据部署请求中包括所述测试数据待部署的机器IP地址、所属数据库类型、数据后缀以及存储目录。

步骤102、根据所述测试数据部署请求，将预存有所述测试数据的分布式共享文件系统模拟为所述测试数据所属数据库的本地硬盘。

在本实施方式中，为了减少数据的传输，可以根据测试数据部署请求，将预存有所述测试数据的分布式共享文件系统模拟为所述测试数据所属数据库的本地硬盘。

其中，该分布式共享文件系统具体可以为共享SAN存储。

步骤103、根据所述数据库类型，选择与所述数据类型对应的目标数据导入方式对所述本地硬盘存储目录中的测试数据进行数据导入操作。

在本实施方式中，由于数据库的类型较多，为了实现对多种数据库的数据传输操作，可以预先配置数据库类型与导入方式的对应关系。因此，在将分布式共享文件系统模拟为所述测试数据所属数据库的本地硬盘之后，可以登录该数据库，根据数据库类型，采用与数据类型对应的目标数据导入方式对所述本地硬盘存储目录中的测试数据进行数据导入操作。

进一步地，在实施例一的基础上，步骤102包括：

通过磁盘挂载技术将预存有所述测试数据的分布式共享文件系统模拟为所述测试数据所属数据库的本地硬盘。

在本实施例中，可以采用磁盘挂载的方式实现对数据库的本地硬盘的模拟操作。具体地，可以通过磁盘挂载技术将预存有所述测试数据的分布式共享文件系统模拟为所述测试数据所属数据库的本地硬盘。

进一步地，在实施例一的基础上，步骤103之后，还包括：

对所述分布式共享文件系统进行卸载操作。

在本实施例中，在完成当前数据库测试数据的部署操作之后，为了保证能够对其他数据库测试数据的部署，可以对分布式共享文件系统进行卸载操作。

本实施例提供的测试数据部署方法，通过在获取到数据部署请求之后，将测试数据所在共享SAN存储模拟成数据库本地硬盘，并根据不同的数据库类型采取相对应的数据导入方式，从而能够在减少数据传输，提高数据传输效率的基础上，实现对多种不同类型数据库数据的自动部署操作，无需用户具有较高的专业技能，适用性较强。

图2为本公开实施例二提供的测试数据部署方法的流程示意图，在实施例一的基础上，如图2所示，步骤103包括：

步骤201、根据所述数据库类型，确定与所述数据库类型对应的至少一种数据导入方式。

步骤202、将所述至少一种数据导入方式中与所述数据后缀对应的数据导入方式确定为所述目标数据导入方式。

在本实施例中，一种数据库类型可以对应有至少一个数据导入方式，为了实现对数据导入方式的精准确定，还需要进一步地确定测试数据的数据后缀。具体地，可以根据数据库类型，确定与数据库类型对应的至少一种数据导入方式。将至少一种数据导入方式中与数据后缀对应的数据导入方式确定为目标数据导入方式。

以实际应用举例来说，当数据库类型为Oracle数据库时，Oracle数据库可以对应有imtdt导入方式以及sqlload导入方式。进一步地，若数据后缀表征测试数据为文本文件数据时，可以采用sqlload导入方式进行数据部署操作，若数据后缀表征测试数据为数据库文件时，可以采用imtdt导入方式进行数据部署操作。

本实施例提供的测试数据部署方法，通过根据数据库类型以及数据后缀共同确定目标数据导入方式，从而能够精准地实现对不同数据库类型中不同数据的数据部署操作。

图3为本公开实施例三提供的测试数据部署方法的流程示意图，在上述任一实施例的基础上，如图3所示，步骤101之前，还包括：

步骤301、获取待处理的生产数据。

步骤302、对所述待处理的生产数据进行脱敏操作，获得所述测试数据。

在本实施例中，在进行数据部署之前，需要获取脱敏后的测试数据。具体地，可以获取待处理的生产数据。对待处理的生产数据进行脱敏操作，获得所述测试数据。

进一步地，在上述任一实施例的基础上，步骤302具体包括：

确定所述待处理的生产数据对应的数据类型。

采用与所述数据类型对应的脱敏方式对所述待处理的生产数据进行脱敏操作，获得所述测试数据。

在本实施例中，生产数据中可能包括多种不同的数据类型。举例来说，生产数据中可以包括用户标识数据、用户通信方式数据、用户地址数据等。为了实现对生产数据的脱敏操作，首先需要确定生产数据的数据类型，针对不同的数据类型，采用与数据类型对应的脱敏方式对待处理的生产数据进行脱敏操作，获得测试数据。

举例来说，脱敏操作包括但不限于隐藏部分字节，替换部分字节，删除部分字节等操作。

本实施例提供的测试数据部署方法，通过针对不同的数据类型，采用与数据类型对应的脱敏方式对待处理的生产数据进行脱敏操作，获得测试数据，从而能够有针对性地对不同数据类型的生产数据进行精准地脱敏操作，为后续的数据测试提供基础。

图4为本公开实施例四提供的测试数据部署装置的结构示意图，如图4所示，该装置包括：获取模块41、模拟模块42以及传输模块43，其中，获取模块41，用于获取测试数据部署请求，其中，所述测试数据部署请求中包括所述测试数据待部署的机器IP地址、所属数据库类型、数据后缀以及存储目录；模拟模块42，用于根据所述测试数据部署请求，将预存有所述测试数据的分布式共享文件系统模拟为所述测试数据所属数据库的本地硬盘；传输模块43，用于根据所述数据库类型，选择与所述数据类型对应的目标数据导入方式对所述本地硬盘存储目录中的测试数据进行数据导入操作。

进一步地，在实施例四的基础上，所述模拟模块用于：通过磁盘挂载技术将预存有所述测试数据的分布式共享文件系统模拟为所述测试数据所属数据库的本地硬盘。

进一步地，在实施例四的基础上，所述装置还包括：卸载模块，用于对所述分布式共享文件系统进行卸载操作。

进一步地，在实施例四的基础上，所述传输模块用于：根据所述数据库类型，确定与所述数据库类型对应的至少一种数据导入方式；将所述至少一种数据导入方式中与所述数据后缀对应的数据导入方式确定为所述目标数据导入方式。

进一步地，在上述任一实施例的基础上，所述装置还包括：获取模块，还用于获取待处理的生产数据；处理模块，用于对所述待处理的生产数据进行脱敏操作，获得所述测试数据。

进一步地，在上述任一实施例的基础上，所述对处理模块用于：确定所述待处理的生产数据对应的数据类型；采用与所述数据类型对应的脱敏方式对所述待处理的生产数据进行脱敏操作，获得所述测试数据。

本公开又一实施例还提供了一种电子设备，包括：存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器用于调用所述存储器中的程序指令执行如上述任一实施例所述的测试数据部署方法。

图5为本公开实施例五提供的电子设备的结构示意图，该电子设备500可以为终端设备或服务器。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑(PortableAndroid Device，简称PAD)、便携式多媒体播放器(Portable Media Player，简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图5所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(Read Only Memory，简称ROM)502中的程序或者从存储装置508加载到随机访问存储器(Random Access Memory，简称RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(Liquid CrystalDisplay，简称LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。

本公开又一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上述任一实施例所述的测试数据部署方法。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

本公开又一实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上述任一实施例所述的测试数据部署方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims

1.一种测试数据部署方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述数据库类型，选择与所述数据类型对应的目标数据导入方式对所述本地硬盘中的测试数据进行数据导入操作，包括：

根据所述数据库类型，确定与所述数据库类型对应的至少一种数据导入方式；

将所述至少一种数据导入方式中与所述数据后缀对应的数据导入方式确定为所述目标数据导入方式。

3.根据权利要求1所述的方法，其特征在于，所述将预存有所述测试数据的分布式共享文件系统模拟为所述测试数据所属数据库的本地硬盘，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述数据库类型，选择与所述数据类型对应的目标数据导入方式对所述本地硬盘存储目录中的测试数据进行数据导入操作之后，还包括：

对所述分布式共享文件系统进行卸载操作。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述获取测试数据部署请求之前，还包括：

获取待处理的生产数据；

对所述待处理的生产数据进行脱敏操作，获得所述测试数据。

6.根据权利要求5所述的方法，其特征在于，所述对所述待处理的生产数据进行脱敏操作，获得所述测试数据，包括：

确定所述待处理的生产数据对应的数据类型；

7.一种测试数据部署装置，其特征在于，包括：

8.一种电子设备，其特征在于，包括：存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器用于调用所述存储器中的程序指令执行如权利要求1-6任一项所述的测试数据部署方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-6任一项所述的测试数据部署方法。

10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的测试数据部署方法。