CN113852520B - 数据处理方法及装置 - Google Patents

Abstract

本发明提供了一种数据处理方法及装置，该方法包括：检测服务器接收到目标业务系统发送的目标业务场景对应的业务请求时，通过路由设备将目标流量镜像并发送至测试集群；应用数据处理模块对镜像流量进行脱敏处理获得测试流量；获取业务数据存储至镜像数据库；当接收到目标业务场景对应的测试指令时，获取镜像数据库中的业务数据，并应用测试集群中的测试流量及镜像数据库中的业务数据执行所述测试指令对应的测试任务。应用本发明提供的方法，可以在脱离业务系统后获取其生产的流量，并对流量进行镜像处理，无需占用业务系统的其他业务线程，业务系统依旧可以正常运行。

Description

数据处理方法及装置

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据处理方法及装置。

背景技术

业务系统在投产前需要进行系统测试和用户测试验证，并针对对应的测试场景准备对应的测试案例。但现有技术中需要模拟业务系统进行测试，需要消耗长时间来准备相关的测试用例，而技术人员根据应用场景所给出的测试数据，即，测试流量难以完全模拟出生产各类异常输入数据和全部业务场景，导致测试过程中测试结果与实际结果之间存在偏差。

现有技术中，为减小测试过程中测试结果与实际结果之间的偏差，采集业务系统在运行过程中的相关流量进行测试，业务系统产生的流量为业务系统在执行业务操作时生成的操作数据。现有技术中采集流量的过程是在业务系统的应用层中执行，采集流量时需要占用业务系统中其他业务线程，因此现有技术获取流量的方式容易导致业务系统中其他业务线程不可用，影响业务系统的正常运行。

发明内容

有鉴于此，本发明提供一种数据处理方法，通过该方法，获取业务系统发出的流量，并对流量进行镜像处理，无需占用业务系统的其他业务线程。

本发明还提供了一种数据处理装置，用以保证上述方法在实际中的实现及应用。

一种数据处理方法，包括：

检测服务器接收到目标业务系统发送的目标业务场景对应的业务请求时，获取所述目标业务系统发出的所述业务请求对应的目标流量；

启用预设的路由设备对所述目标流量进行镜像处理，获得镜像流量，并将所述镜像流量发送至预设的测试集群；

应用预设的数据处理模块对所述测试集群中镜像流量进行脱敏处理，获得测试流量，所述测试流量存于所述测试集群中；

获取所述服务器中存储的所述业务请求对应的业务数据，将所述业务数据保存至预先设置的镜像数据库，并生成所述目标业务场景对应的测试指针，将所述测试指针指向所述镜像数据库；

在接收到所述目标业务场景对应的测试指令时，基于所述目标业务场景对应的测试指针所指向的镜像数据库，获取所述镜像数据库的业务数据，并应用所述测试集群中的测试流量及所述业务数据执行所述测试指令对应的测试任务。

上述的方法，可选的，所述启用预设的路由设备对所述目标流量进行镜像处理，获得镜像流量，并将所述镜像流量发送至预设的测试集群，包括：

获取所述业务请求中包含的所述目标流量对应的流量信息，及预设的第一路径地址和第二路径地址，所述第一路径地址为所述服务器的服务器地址，所述第二路径地址为所述测试集群的存储地址；

基于所述目标流量对应的流量信息，判断所述目标流量是否为可复制流量；

当所述目标流量为可复制流量时，执行预设的镜像操作过程；

其中，所述镜像操作过程为：启用所述路由设备对所述目标流量进行镜像处理，并获得镜像流量后，基于所述第一路径地址将所述目标流量发送至所述服务器，基于所述第二路径将所述镜像流量发送至所述测试集群；

当所述目标流量为不可复制流量时，发出所述目标流量对应的复制提示消息，并在接收到所述复制提示消息对应的授权指令时，执行所述镜像操作过程。

上述的方法，可选的，所述应用预设的数据处理模块对所述测试集群中镜像流量进行脱敏处理，获得测试流量，包括：

应用所述数据处理模块识别出所述镜像流量中的敏感字段；

应用预先设置的加密算法，对所述镜像流量中的敏感字段进行加密，获得加密流量；

在所述加密流量的加密字段中添加预先设置的目标识别符，获得已脱敏处理的测试流量，其中，所述目标识别符用于表征所述测试流量为复制的备份流量。

上述的方法，可选的，所述应用所述测试集群中的测试流量及所述业务数据执行所述测试指令对应的测试任务，包括：

确定所述测试指令对应的待测系统；

基于所述业务数据及所述测试流量，生成所述待测系统对应的测试配置文件；

应用所述测试配置文件，对所述待测系统执行所述目标业务场景下所述测试指令对应的测试任务。

上述的方法，可选的，还包括：

获取所述测试任务对应的测试结果，及所述服务器对应的生产数据库中预先存储的操作结果，所述操作结果为所述服务器接收到所述业务请求后基于所述目标流量及所述业务数据执行业务操作的操作结果；

判断所述测试结果与所述操作结果是否一致；

若所述测试结果与所述操作结果一致，则将所述测试结果保存至所述镜像数据库中，并提示所述测试任务对应的测试成功消息；

若所述测试结果与所述操作结果不一致，则删除所述测试结果，并提示所述测试任务对应的测试异常消息。

一种数据处理装置，包括：

获取单元，用于检测服务器接收到目标业务系统发送的目标业务场景对应的业务请求时，获取所述目标业务系统发出的所述业务请求对应的目标流量；

镜像单元，用于启用预设的路由设备对所述目标流量进行镜像处理，获得镜像流量，并将所述镜像流量发送至预设的测试集群；

脱敏单元，用于应用预设的数据处理模块对所述测试集群中镜像流量进行脱敏处理，获得测试流量，所述测试流量存于所述测试集群中；

存储单元，用于获取所述服务器中存储的所述业务请求对应的业务数据，将所述业务数据保存至预先设置的镜像数据库，并生成所述目标业务场景对应的测试指针，将所述测试指针指向所述镜像数据库；

测试单元，用于在接收到所述目标业务场景对应的测试指令时，基于所述目标业务场景对应的测试指针所指向的镜像数据库，获取所述镜像数据库的业务数据，并应用所述测试集群中的测试流量及所述业务数据执行所述测试指令对应的测试任务。

上述的装置，可选的，所述镜像单元，包括：

获取子单元，用于获取所述业务请求中包含的所述目标流量对应的流量信息，及预设的第一路径地址和第二路径地址，所述第一路径地址为所述服务器的服务器地址，所述第二路径地址为所述测试集群的存储地址；

判断子单元，用于基于所述目标流量对应的流量信息，判断所述目标流量是否为可复制流量；

第一镜像子单元，用于当所述目标流量为可复制流量时，执行预设的镜像操作过程；

其中，所述镜像操作过程为：启用所述路由设备对所述目标流量进行镜像处理，并获得镜像流量后，基于所述第一路径地址将所述目标流量发送至所述服务器，基于所述第二路径将所述镜像流量发送至所述测试集群；

第二镜像子单元，用于当所述目标流量为不可复制流量时，发出所述目标流量对应的复制提示消息，并在接收到所述复制提示消息对应的授权指令时，执行所述镜像操作过程。

上述的装置，可选的，所述脱敏单元，包括：

识别子单元，用于应用所述数据处理模块识别出所述镜像流量中的敏感字段；

加密子单元，用于应用预先设置的加密算法，对所述镜像流量中的敏感字段进行加密，获得加密流量；

标识子单元，用于在所述加密流量的加密字段中添加预先设置的目标识别符，获得已脱敏处理的测试流量，其中，所述目标识别符用于表征所述测试流量为复制的备份流量。

上述的装置，可选的，所述测试单元，包括：

确定子单元，用于获确定所述测试指令对应的待测系统；

生成子单元，用于基于所述业务数据及所述测试流量，生成所述待测系统对应的测试配置文件；

测试子单元，用于应用所述测试配置文件，对所述待测系统执行所述目标业务场景下所述测试指令对应的测试任务。

上述的装置，可选的，还包括：

比对单元，用于获取所述测试任务对应的测试结果，及所述服务器对应的生产数据库中预先存储的操作结果，所述操作结果为所述服务器接收到所述业务请求后基于所述目标流量及所述业务数据执行业务操作的操作结果；判断所述测试结果与所述操作结果是否一致；若所述测试结果与所述操作结果一致，则将所述测试结果保存至所述镜像数据库中，并提示所述测试任务对应的测试成功消息；若所述测试结果与所述操作结果不一致，则删除所述测试结果，并提示所述测试任务对应的测试异常消息。

一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述的数据处理方法。

一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行上述的数据处理方法。

与现有技术相比，本发明包括以下优点：

本发明提供了一种数据处理方法，包括：检测服务器接收到目标业务系统发送的目标业务场景对应的业务请求时，获取所述目标业务系统发出的所述业务请求对应的目标流量；启用预设的路由设备对所述目标流量进行镜像处理，获得镜像流量，并将所述镜像流量发送至预设的测试集群；应用预设的数据处理模块对所述测试集群中镜像流量进行脱敏处理，获得测试流量，所述测试流量存于所述测试集群中；获取所述服务器中存储的所述业务请求对应的业务数据，将所述业务数据保存至预先设置的镜像数据库，并生成所述目标业务场景对应的测试指针，将所述测试指针指向所述镜像数据库；在接收到所述目标业务场景对应的测试指令时，基于所述目标业务场景对应的测试指针所指向的镜像数据库，获取所述镜像数据库的业务数据，并应用所述测试集群中的测试流量及所述业务数据执行所述测试指令对应的测试任务。应用本发明提供的方法，可以在脱离业务系统后获取其生产的流量，对流量进行镜像处理，无需占用业务系统的其他业务线程，业务系统依旧可以正常运行。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种数据处理方法的方法流程图；

图2为本发明实施例提供的一种数据处理方法的又一方法流程图；

图3为本发明实施例提供的一种数据处理方法的再一方法流程图；

图4为本发明实施例提供的一种数据处理装置的装置结构图；

图5为本发明实施例提供的一种电子设备结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明可用于众多通用或专用的计算装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。

本发明实施例提供了一种数据处理方法，该方法可以应用在多种系统平台，其执行主体可以为计算机终端或各种移动设备的处理器，所述方法的方法流程图如图1所示，具体包括：

S101：检测服务器接收到目标业务系统发送的目标业务场景对应的业务请求时，获取所述目标业务系统发出的所述业务请求对应的目标流量。

在本发明中，目标业务系统可以是计算机、手持终端等设备中设置的应用系统。目标业务系统需要执行业务操作时，需要与服务器进行交互实现对应的业务操作过程。

例如，用户在目标业务场景向通过目标业务系统执行某项业务时，目标业务系统向服务器发出对应的业务请求，同时发出业务请求对应的目标流量。

需要说明的是，目标业务系统发出业务请求后会实时输出流量，该目标流量可以包括用户信息、系统信息以及用户输入的业务操作信息。

S102：启用预设的路由设备对所述目标流量进行镜像处理，获得镜像流量，并将所述镜像流量发送至预设的测试集群。

具体的，路由设备可以设置在服务器内，与服务器协作完成业务请求对应的业务操作，也可以独立设置于服务器之外。当检测到目标业务系统向服务器发送目标流量时，启用路由设备对目标业务系统发出的目标流量进行镜像，获得的镜像流量保存在测试集群中。

S103：应用预设的数据处理模块对所述测试集群中镜像流量进行脱敏处理，获得测试流量。

其中，所述测试流量存于所述测试集群中。

具体的，在获得镜像流量后，镜像流量中可能会存在部分敏感信息，如用户联系方式、id以及用户名称等。对该镜像流量进行脱敏处理。

需要说明的是，对于脱敏后获得的测试流量，原敏感信息的部分应用设定的字符进行代替，例如：字符“*”。

S104：获取所述服务器中存储的所述业务请求对应的业务数据，将所述业务数据保存至预先设置的镜像数据库，并生成所述目标业务场景对应的测试指针，将所述测试指针指向所述镜像数据库。

其中，业务数据为测试交易依赖的其他数据。

具体的，镜像数据库中存储的业务数据为从服务器的生产数据库中复制过来的备份业务数据，服务器在接收到目标流量后，基于该业务请求从生产数据库中获取业务请求对应的业务数据，并应用业务数据和目标流量执行业务操作。因此，镜像数据库中的业务数据需要保持与生产数据库中的业务数据一致，为避免测试过程中应用到生产数据库中的业务数据，设置目标业务场景对应的测试指针，并将测试指针指向镜像数据库，需要执行目标业务场景对应的测试任务时，可以通过测试指针指向的镜像数据库获取业务数据。

需要说明的是，镜像数据库中相关配置与上述S101中服务器对应的生产数据库的配置一致，该生产数据库用于存储服务器执行目标流量对应的业务操作的业务数据。

S105：在接收到所述目标业务场景对应的测试指令时，基于所述目标业务场景对应的测试指针所指向的镜像数据库，获取所述镜像数据库的业务数据，并应用所述测试集群中的测试流量及所述业务数据执行所述测试指令对应的测试任务。

可以理解的是，当需要执行目标业务场景对应的测试任务时，发送对应的测试指令，并获取目标业务场景对应的测试指针，通过测试指针所指向的镜像数据库获取业务数据，并应用业务数据及目标业务场景对应的测试流量执行测试任务。

本发明实施例提供的方法中，检测服务器接收到业务请求时，获取业务请求对应的目标流量。启用路由设备对目标流量进行镜像，并保存至测试集群。将镜像流量进行脱敏后获得测试流量，获取服务器中该业务请求对应的业务数据，并将该业务数据存储至镜像数据库中。生成目标业务场景对应的测试指针，将测试指针指向的镜像数据库。在需要执行目标业务场景对应的测试任务时，可以通过该测试指针所指向的镜像数据库获得业务数据，以应用业务数据和测试流量执行测试任务。

应用本发明实施例提供的方法，可以在脱离业务系统获取生产的流量，在业务系统自动输出流量后对流量进行镜像处理，无需占用业务系统的其他业务线程，业务系统依旧可以正常运行。

本发明实施例提供的方法中，基于上述S101的内容，所述启用预设的路由设备对所述目标流量进行镜像处理，获得镜像流量，并将所述镜像流量发送至预设的测试集群的过程如图2所示，具体可以包括：

S201：获取所述业务请求中包含的所述目标流量对应的流量信息，及第一路径地址和第二路径地址。

其中，所述第一路径地址为所述服务器的服务器地址，所述第二路径地址为所述测试集群的存储地址。

具体的，流量信息中包含目标业务系统的授权状态，该授权状态用于表征业务系统所产生的流量是否允许被复制。

S202：基于所述目标流量对应的流量信息，判断所述目标流量是否为可复制流量。

进一步地，基于目标流量对应的流量信息中的授权状态，判断授权重要是否允许复制状态，即，判断目标流量是否为可复制流量。

具体的，当所述目标流量为可复制流量时，执行S203；当所述目标流量为不可复制流量时，执行S204。

S203：启用所述路由设备对所述目标流量进行镜像处理，并获得镜像流量后，基于所述第一路径地址将所述目标流量发送至所述服务器，基于所述第二路径将镜像流量发送至所述测试集群。

在本发明中，路由设备相当于一种中间分流设备，在对目标流量进行镜像操作后，将原目标流量按照原路径发送至服务器，将镜像获得的流量按照设定的路径存储至测试集群中。

S204：发出所述目标流量对应的复制提示消息，并在接收到所述复制提示消息对应的授权指令时，执行S203。

在本发明中，若目标流量为不可复制流量，则表示用户设置业务系统中产生的流量对应的授权状态为不可复制状态，可以向用户发送复制提示消息，在预设的时间段接收到授权指令后，再对目标流量进行镜像。

本发明实施例提供的数据处理方法中，获取目标流量对应的流量信息以及预设的第一路径地址和第二路径地址，先基于流量信息判断该目标流量是否可以进行复制，若是，则路由设备将目标流量进行镜像后，将目标流量按照第一路径地址发送至服务器，镜像流量则按照第二路径发送至测试集群；若否，则需要提示用户进行授权操作并接收到授权指令后再对目标流量进行镜像。

本发明实施例提供的方法中，基于上述S102的内容，所述应用预设的数据处理模块对所述测试集群中镜像流量进行脱敏处理，获得测试流量的过程如图3所示，具体可以包括：

S301：应用所述数据处理模块识别出所述镜像流量中的敏感字段。

具体的，数据处理模块用于按照预设的脱敏规则对流量进行脱敏。在镜像流量中，并非所有字段为敏感字段，因此在脱敏过程中仅需要识别出敏感字段。

S302：应用预先设置的加密算法，对所述镜像流量中的敏感字段进行加密，获得加密流量。

需要说明的是，加密算法可以是哈希算法，对敏感字段进行哈希运算，获得敏感字段对应的哈希值，将该哈希值替代镜像流量中的敏感字段，获得加密流量。

可选的，可以对敏感字段中的各个字符进行隐藏，用隐藏符替代敏感字段中的各个字符，该隐藏符可以为字符“*”。

S303：在所述加密流量的加密字段中添加预先设置的目标识别符，获得已脱敏处理的测试流量。

其中，目标识别符用于表征所述测试流量为复制的备份流量。

可以理解的是，在加密字段中添加目标识别符后，可以区分出原始的目标流量和镜像流量，避免在执行测试任务时应用到原始的目标流量。

本发明实施例提供的数据处理方法中，应用数据处理模块识别出镜像流量中的敏感字段后，应用加密算法对敏感字段进行加密，并在加密字段中添加入目标识别符，以在后续测试任务中能够识别出该测试流量为镜像的流量。对敏感字段进行加密可以进一步保证数据中的敏感信息不被泄露。

进一步地，在获得测试流量后，将存储测试流量的测试集群存储至镜像数据库；当接收到目标业务场景对应的测试指令时，根据测试指针从镜像数据库中获取测试流量，并执行对应的测试任务，因此，所述应用所述测试流量执行所述测试指令对应的测试任务的过程，具体包括：

确定所述测试指令对应的待测系统；基于所述业务数据及所述测试流量，生成所述待测系统对应的测试配置文件；应用所述测试配置文件，对所述待测系统执行所述目标业务场景下所述测试指令对应的测试任务。

需要说明的是，业务数据包含用户信息、登录密码等信息，测试配置文件为对待测系统进行测试的固定配置，当需要对待测系统执行目标业务场景对应的测试任务时，获取测试集群中的测试流量，并通过测试指针所指向的镜像数据库获取业务数据对该待测系统执行测试指令对应的测试任务。

本发明实施例提供的方法中，为了减小测试过程中测试结果与实际结果之间的误差，本发明采用流量镜像的方式应用镜像流量实现测试任务，但是在流量镜像以及相关处理和存储过程中，可能对部分数据缺失，因此，在执行测试任务后，还可以包括：

获取所述测试任务对应的测试结果，及所述服务器对应的生产数据库中预先存储的操作结果，所述操作结果为所述服务器接收到所述业务请求后基于所述目标流量及所述业务数据执行业务操作的操作结果；

判断所述测试结果与所述操作结果是否一致；

若所述测试结果与所述操作结果一致，则将所述测试结果保存至所述镜像数据库中，并提示所述测试任务对应的测试成功消息；

若所述测试结果与所述操作结果不一致，则删除所述测试结果，并提示所述测试任务对应的测试异常消息。

可以理解的是，服务器在接收到目标流量后，应用生产数据库中的业务数据集该目标流量执行业务操作，获得操作结果，并将操作结果存储至该生产数据库中。处理器在接收到目标业务场景对应的测试任务后，基于该镜像流量及业务数据执行测试任务获得测试结果后，将该测试结果与生产数据库中的操作结果进行比对，确定测试过程中是否存在误差。若不存在误差，则将测试结果保存到镜像数据库，并提示测试任务对应的测试成功消息。反之则提示测试任务对应的测试异常消息，技术人员在接收到测试异常消息后，检验流量镜像过程是否存在异常，以此调节路由设备对流量进行镜像的准确率。

应用本发明提供的方法，可以检验镜像数据库中的数据与生产数据库中的数据一致，以确定流量镜像过程是否存在异常。

上述各个实施例的具体实施过程及其衍生方式，均在本发明的保护范围之内。

与图1所述的方法相对应，本发明实施例还提供了一种数据处理装置，用于对图1中方法的具体实现，本发明实施例提供的数据处理装置可以应用计算机终端或各种移动设备中，其结构示意图如图4所示，具体包括：

获取单元401，用于检测服务器接收到目标业务系统发送的目标业务场景对应的业务请求时，获取所述目标业务系统发出的所述业务请求对应的目标流量；

镜像单元402，用于启用预设的路由设备对所述目标流量进行镜像处理，获得镜像流量，并将所述镜像流量发送至预设的测试集群；

脱敏单元403，用于应用预设的数据处理模块对所述测试集群中镜像流量进行脱敏处理，获得测试流量，所述测试流量存于所述测试集群中；

存储单元404，用于获取所述服务器中存储的所述业务请求对应的业务数据，将所述业务数据保存至预先设置的镜像数据库，并生成所述目标业务场景对应的测试指针，将所述测试指针指向所述镜像数据库；

测试单元405，用于在接收到所述目标业务场景对应的测试指令时，基于所述目标业务场景对应的测试指针所指向的镜像数据库，获取所述镜像数据库的业务数据，并应用所述测试集群中的测试流量及所述业务数据执行所述测试指令对应的测试任务。

本发明实施例提供的装置中，检测服务器接收到业务请求时，获取业务请求对应的目标流量。启用路由设备对目标流量进行镜像，并保存至测试集群。将镜像流量进行脱敏后获得测试流量，获取服务器中该业务请求对应的业务数据，并将该业务数据存储至镜像数据库中。生成目标业务场景对应的测试指针，将测试指针指向的镜像数据库。在需要执行目标业务场景对应的测试任务时，可以通过该测试指针所指向的镜像数据库获得业务数据，以应用业务数据和测试流量执行测试任务。

应用本发明实施例提供的装置，可以在脱离业务系统获取生产的流量，在业务系统自动输出流量后对流量进行镜像处理，无需占用业务系统的其他业务线程，业务系统依旧可以正常运行。

本发明实施例提供的装置中，所述镜像单元402，包括：

获取子单元，用于获取所述业务请求中包含的所述目标流量对应的流量信息，及第一路径地址和第二路径地址，所述第一路径地址为所述服务器的服务器地址，所述第二路径地址为所述测试集群的存储地址；

判断子单元，用于基于所述目标流量对应的流量信息，判断所述目标流量是否为可复制流量；

第一镜像子单元，用于当所述目标流量为可复制流量时，执行预设的镜像操作过程；

其中，所述镜像操作过程为：启用所述路由设备对所述目标流量进行镜像处理，并获得镜像流量后，基于所述第一路径地址将所述目标流量发送至所述服务器，基于所述第二路径将所述镜像流量发送至所述测试集群；

第二镜像子单元，用于当所述目标流量为不可复制流量时，发出所述目标流量对应的复制提示消息，并在接收到所述复制提示消息对应的授权指令时，执行所述镜像操作过程。

本发明实施例提供的装置中，所述脱敏单元403，包括：

识别子单元，用于应用所述数据处理模块识别出所述镜像流量中的敏感字段；

加密子单元，用于应用预先设置的加密算法，对所述镜像流量中的敏感字段进行加密，获得加密流量；

标识子单元，用于在所述加密流量的加密字段中添加预先设置的目标识别符，获得已脱敏处理的测试流量，其中，所述目标识别符用于表征所述测试流量为复制的备份流量。

本发明实施例提供的装置中，所述测试单元405，包括：

确定子单元，用于获确定所述测试指令对应的待测系统；

生成子单元，用于基于所述业务数据及所述测试流量，生成所述待测系统对应的测试配置文件；

测试子单元，用于应用所述测试配置文件，对所述待测系统执行所述目标业务场景下所述测试指令对应的测试任务。

本发明实施例提供的装置中，还包括：

比对单元，用于获取所述测试任务对应的测试结果，及所述服务器对应的生产数据库中预先存储的操作结果，所述操作结果为所述服务器接收到所述业务请求后基于所述目标流量及所述业务数据执行业务操作的操作结果；判断所述测试结果与所述操作结果是否一致；若所述测试结果与所述操作结果一致，则将所述测试结果保存至所述镜像数据库中，并提示所述测试任务对应的测试成功消息；若所述测试结果与所述操作结果不一致，则删除所述测试结果，并提示所述测试任务对应的测试异常消息。

以上本发明实施例公开的数据处理装置中各个单元及子单元的具体工作过程，可参见本发明上述实施例公开的数据处理方法中的对应内容，这里不再进行赘述。

本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述数据处理方法。

本发明实施例还提供了一种电子设备，其结构示意图如图5所示，具体包括存储器501，以及一个或者一个以上的指令502，其中一个或者一个以上指令502存储于存储器501中，且经配置以由一个或者一个以上处理器503执行所述一个或者一个以上指令502进行以下操作：

检测服务器接收到目标业务系统发送的目标业务场景对应的业务请求时，获取所述目标业务系统发出的所述业务请求对应的目标流量；

启用预设的路由设备对所述目标流量进行镜像处理，获得镜像流量，并将所述镜像流量发送至预设的测试集群；

应用预设的数据处理模块对所述测试集群中镜像流量进行脱敏处理，获得测试流量，所述测试流量存于所述测试集群中；

获取所述服务器中存储的所述业务请求对应的业务数据，将所述业务数据保存至预先设置的镜像数据库，并生成所述目标业务场景对应的测试指针，将所述测试指针指向所述镜像数据库；

在接收到所述目标业务场景对应的测试指令时，基于所述目标业务场景对应的测试指针所指向的镜像数据库，获取所述镜像数据库的业务数据，并应用所述测试集群中的测试流量及所述业务数据执行所述测试指令对应的测试任务。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现。

为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

检测服务器接收到目标业务系统发送的目标业务场景对应的业务请求时，获取所述目标业务系统自动输出的所述业务请求对应的目标流量；

启用预设的路由设备对所述目标流量进行镜像处理，获得镜像流量，并将所述镜像流量发送至预设的测试集群；

应用预设的数据处理模块对所述测试集群中镜像流量进行脱敏处理，获得测试流量，所述测试流量存于所述测试集群中；

获取所述服务器中存储的所述业务请求对应的业务数据，将所述业务数据保存至预先设置的镜像数据库，并生成所述目标业务场景对应的测试指针，将所述测试指针指向所述镜像数据库；

在接收到所述目标业务场景对应的测试指令时，基于所述目标业务场景对应的测试指针所指向的镜像数据库，获取所述镜像数据库的业务数据，并应用所述测试集群中的测试流量及所述业务数据执行所述测试指令对应的测试任务。

2.根据权利要求1所述的方法，其特征在于，所述启用预设的路由设备对所述目标流量进行镜像处理，获得镜像流量，并将所述镜像流量发送至预设的测试集群，包括：

获取所述业务请求中包含的所述目标流量对应的流量信息，及第一路径地址和第二路径地址，所述第一路径地址为所述服务器的服务器地址，所述第二路径地址为所述测试集群的存储地址；

基于所述目标流量对应的流量信息，判断所述目标流量是否为可复制流量；

当所述目标流量为可复制流量时，执行预设的镜像操作过程；

其中，所述镜像操作过程为：启用所述路由设备对所述目标流量进行镜像处理，并获得镜像流量后，基于所述第一路径地址将所述目标流量发送至所述服务器，基于所述第二路径将所述镜像流量发送至所述测试集群；

当所述目标流量为不可复制流量时，发出所述目标流量对应的复制提示消息，并在接收到所述复制提示消息对应的授权指令时，执行所述镜像操作过程。

3.根据权利要求2所述的方法，其特征在于，所述应用预设的数据处理模块对所述测试集群中镜像流量进行脱敏处理，获得测试流量，包括：

应用所述数据处理模块识别出所述镜像流量中的敏感字段；

应用预先设置的加密算法，对所述镜像流量中的敏感字段进行加密，获得加密流量；

在所述加密流量的加密字段中添加预先设置的目标识别符，获得已脱敏处理的测试流量，其中，所述目标识别符用于指示所述测试流量为复制的备份流量。

4.根据权利要求3所述的方法，其特征在于，所述应用所述测试集群中的测试流量及所述业务数据执行所述测试指令对应的测试任务，包括：

确定所述测试指令对应的待测系统；

基于所述业务数据及所述测试流量，生成所述待测系统对应的测试配置文件；

应用所述测试配置文件，对所述待测系统执行所述目标业务场景下所述测试指令对应的测试任务。

5.根据权利要求4所述的方法，其特征在于，还包括：

获取所述测试任务对应的测试结果，及所述服务器对应的生产数据库中预先存储的操作结果，所述操作结果为所述服务器接收到所述业务请求后基于所述目标流量及所述业务数据执行业务操作的操作结果；

判断所述测试结果与所述操作结果是否一致；

若所述测试结果与所述操作结果一致，则将所述测试结果保存至所述镜像数据库中，并提示所述测试任务对应的测试成功消息；

若所述测试结果与所述操作结果不一致，则删除所述测试结果，并提示所述测试任务对应的测试异常消息。

6.一种数据处理装置，其特征在于，包括：

获取单元，用于检测服务器接收到目标业务系统发送的目标业务场景对应的业务请求时，获取所述目标业务系统自动输出的所述业务请求对应的目标流量；

镜像单元，用于启用预设的路由设备对所述目标流量进行镜像处理，获得镜像流量，并将所述镜像流量发送至预设的测试集群；

脱敏单元，用于应用预设的数据处理模块对所述测试集群中镜像流量进行脱敏处理，获得测试流量，所述测试流量存于所述测试集群中；

存储单元，用于获取所述服务器中存储的所述业务请求对应的业务数据，将所述业务数据保存至预先设置的镜像数据库，并生成所述目标业务场景对应的测试指针，将所述测试指针指向所述镜像数据库；

测试单元，用于在接收到所述目标业务场景对应的测试指令时，基于所述目标业务场景对应的测试指针所指向的镜像数据库，获取所述镜像数据库的业务数据，并应用所述测试集群中的测试流量及所述业务数据执行所述测试指令对应的测试任务。

7.根据权利要求6所述的装置，其特征在于，所述镜像单元，包括：

获取子单元，用于获取所述业务请求中包含的所述目标流量对应的流量信息，及第一路径地址和第二路径地址，所述第一路径地址为所述服务器的服务器地址，所述第二路径地址为所述测试集群的存储地址；

判断子单元，用于基于所述目标流量对应的流量信息，判断所述目标流量是否为可复制流量；

第一镜像子单元，用于当所述目标流量为可复制流量时，执行预设的镜像操作过程；

其中，所述镜像操作过程为：启用所述路由设备对所述目标流量进行镜像处理，并获得镜像流量后，基于所述第一路径地址将所述目标流量发送至所述服务器，基于所述第二路径将所述镜像流量发送至所述测试集群；

第二镜像子单元，用于当所述目标流量为不可复制流量时，发出所述目标流量对应的复制提示消息，并在接收到所述复制提示消息对应的授权指令时，执行所述镜像操作过程。

8.根据权利要求7所述的装置，其特征在于，所述脱敏单元，包括：

识别子单元，用于应用所述数据处理模块识别出所述镜像流量中的敏感字段；

加密子单元，用于应用预先设置的加密算法，对所述镜像流量中的敏感字段进行加密，获得加密流量；

标识子单元，用于在所述加密流量的加密字段中添加预先设置的目标识别符，获得已脱敏处理的测试流量，其中，所述目标识别符用于表征所述测试流量为复制的备份流量。

9.根据权利要求7所述的装置，其特征在于，所述测试单元，包括：

确定子单元，用于确定所述测试指令对应的待测系统；

生成子单元，用于基于所述业务数据及所述测试流量，生成所述待测系统对应的测试配置文件；

测试子单元，用于应用所述测试配置文件，对所述待测系统执行所述目标业务场景下所述测试指令对应的测试任务。

10.根据权利要求6所述的装置，其特征在于，还包括：

比对单元，用于获取所述测试任务对应的测试结果，及所述服务器对应的生产数据库中预先存储的操作结果，所述操作结果为所述服务器接收到所述业务请求后基于所述目标流量及所述业务数据执行业务操作的操作结果；判断所述测试结果与所述操作结果是否一致；若所述测试结果与所述操作结果一致，则将所述测试结果保存至所述镜像数据库中，并提示所述测试任务对应的测试成功消息；若所述测试结果与所述操作结果不一致，则删除所述测试结果，并提示所述测试任务对应的测试异常消息。

Images