CN112350851A - 一种数据处理检验方法和装置 - Google Patents

Abstract

本申请公开了一种数据处理检验方法和装置；该方法涉及云技术领域中的云监控，可以获取待处理数据以及数据处理模型，数据处理模型包括数据处理线路和由数据处理线路复制得到的检验处理线路；复制待处理数据，并将所述待处理数据发送给所述数据处理线路，将复制后待处理数据发送给所述检验处理线路；通过数据处理线路对待处理数据进行处理，得到第一处理结果；通过检验处理线路对复制后待处理数据进行处理，得到第二处理结果；输出所述第一处理结果和所述第二处理结果。本申请可以在不影响数据处理线路的数据处理逻辑的情况下，复制待处理数据，将复制后待处理数据通过数据处理模型上的分支进行处理，降低数据处理检验的成本。

Description

一种数据处理检验方法和装置

技术领域

本申请涉及计算机技术领域，具体涉及一种数据处理检验方法和装置。

背景技术

随着计算机技术的不断发展，利用互联网通信技术进行业务的交互处理逐渐成为主流趋势。在业务处理中，如对于新需求的开发与发布、业务链的故障检测等情况，为保证业务功能的有效实现以及稳定运行，往往需要对此进行相关检验测试。

在目前的相关技术中，通常使用流量镜像的方法，在网卡层将真实的流量数据复制下来进行相关检验，具体是通过新建一个任务来对复制得到的流量数据进行检验，由于需要增加用于执行新建任务的机器设备，业务检验的成本较高。

发明内容

本申请实施例提供一种数据处理检验方法和装置，可以降低数据处理检验的成本。

本申请实施例提供一种数据处理检验方法，包括：

获取待处理数据以及数据处理模型，所述数据处理模型包括数据处理线路和所述数据处理线路对应的检验处理线路，其中，所述检验处理线路是由所述数据处理线路复制得到的；

复制所述待处理数据，并将所述待处理数据发送给所述数据处理线路，将复制后待处理数据发送给所述检验处理线路；

通过所述数据处理线路，对所述待处理数据进行处理，得到第一处理结果；

通过所述检验处理线路，对所述复制后待处理数据进行处理，得到第二处理结果；

输出所述第一处理结果和所述第二处理结果。

相应的，本申请实施例提供一种数据处理检验装置，包括：

获取单元，用于获取待处理数据以及数据处理模型，所述数据处理模型包括数据处理线路和所述数据处理线路对应的检验处理线路，其中，所述检验处理线路是由所述数据处理线路复制得到的；

复制单元，用于复制所述待处理数据，并将所述待处理数据发送给所述数据处理线路，将复制后待处理数据发送给所述检验处理线路；

第一处理单元，用于通过所述数据处理线路，对所述待处理数据进行处理，得到第一处理结果；

第二处理单元，用于通过所述检验处理线路，对所述复制后待处理数据进行处理，得到第二处理结果；

输出单元，用于输出所述第一处理结果和所述第二处理结果。

可选的，在本申请的一些实施例中，所述数据处理检验装置还可以包括模型获取单元，所述模型获取单元用于获取数据处理模型；所述模型获取单元可以包括获取子单元、第一复制子单元和第一添加子单元，如下：

所述获取子单元，用于获取原始数据处理模型，所述原始数据处理模型包括数据处理线路，所述数据处理线路包括至少一个数据处理模块；

第一复制子单元，用于对所述数据处理线路进行复制，以生成所述数据处理线路对应的检验处理线路，得到线路复制后数据处理模型；

第一添加子单元，用于在线路复制后数据处理模型中添加数据复制模块，得到数据处理模型，所述数据复制模块作为所述数据处理线路和所述检验处理线路的共同数据输入端，所述数据复制模块用于对所述待处理数据进行复制。

可选的，在本申请的一些实施例中，所述复制单元可以包括写入子单元和第二复制子单元，如下：

所述写入子单元，用于将所述待处理数据写入内存；

第二复制子单元，用于通过所述数据复制模块，在内存中对写入的待处理数据进行复制。

可选的，在本申请的一些实施例中，所述数据处理检验装置还可以包括检验单元，所述检验单元用于基于所述第一处理结果和所述第二处理结果，对所述数据处理线路的数据处理进行检验，得到检验结果。

可选的，在本申请的一些实施例中，所述数据处理检验装置还可以包括调整单元，所述调整单元可以用于当所述检验结果不符合预设要求时，对所述检验处理线路的数据处理逻辑进行调整；基于调整后的检验处理线路，对所述数据处理模型进行更新，得到更新后数据处理模型；将更新后数据处理模型作为新的数据处理模型，返回执行所述获取待处理数据以及数据处理模型的步骤，以得到符合预设要求的检验结果。

可选的，在本申请的一些实施例中，所述模型获取单元还可以包括第二添加子单元；所述第二添加子单元用于在所述检验处理线路中添加数据过滤模块。

可选的，在本申请的一些实施例中，所述第二处理单元可以包括过滤子单元和处理子单元，如下：

所述过滤子单元，用于通过所述检验处理线路中的数据过滤模块，对所述复制后待处理数据进行过滤，得到过滤后的复制后待处理数据；

处理子单元，用于通过所述检验处理线路中的数据处理模块，对过滤后的复制后待处理数据进行处理，得到第二处理结果。

可选的，在本申请的一些实施例中，所述复制单元可以包括第一获取子单元、识别子单元和第三复制子单元，如下：

所述第一获取子单元，用于获取所述数据处理模型当前的操作算子；

识别子单元，用于识别所述操作算子对应的操作类型；

第三复制子单元，用于当所述操作类型为数据复制操作时，对所述待处理数据进行复制。

可选的，在本申请的一些实施例中，所述复制单元还可以包括第二获取子单元和解析子单元，如下：

所述第二获取子单元，用于获取所述待处理数据对应的数据处理模型的配置信息；

解析子单元，用于基于所述配置信息，对所述数据处理模型进行解析，生成操作算子，所述操作算子用于指示需要执行的数据处理逻辑。

可选的，在本申请的一些实施例中，所述模型获取单元还可以包括展示子单元和第四复制子单元，如下：

所述展示子单元，用于展示所述原始数据处理模型的编辑页面，所述编辑页面包括所述原始数据处理模型中的数据处理线路；

第四复制子单元，用于响应于对所述数据处理线路的复制操作时，对所述数据处理线路进行复制，生成并展示所述数据处理线路对应的检验处理线路。

可选的，在本申请的一些实施例中，所述数据处理线路包括至少一个数据处理模块；所述模型获取单元还可以包括展开子单元和隐藏子单元，如下：

所述展开子单元，用于当所述数据处理线路处于隐藏状态时，响应于针对所述数据处理线路的展开操作时，在所述编辑页面上显示所述数据处理线路的展开结构，所述展开结构包括所述数据处理线路中各个数据处理模块；

隐藏子单元，用于当所述数据处理线路处于展开状态时，响应于针对所述数据处理线路中各个数据处理模块的隐藏操作时，在所述编辑页面上显示各个数据处理模块对应的隐藏结构，所述隐藏结构包括对各个数据处理模块进行隐藏得到的数据处理线路。

本申请实施例提供的一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器加载所述指令，以执行本申请实施例提供的数据处理检验方法中的步骤。

此外，本申请实施例还提供一种存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本申请实施例提供的数据处理检验方法中的步骤。

本申请实施例提供了一种数据处理检验方法和装置，可以获取待处理数据以及数据处理模型，所述数据处理模型包括数据处理线路和所述数据处理线路对应的检验处理线路，其中，所述检验处理线路是由所述数据处理线路复制得到的；复制所述待处理数据，并将所述待处理数据发送给所述数据处理线路，将复制后待处理数据发送给所述检验处理线路；通过所述数据处理线路，对所述待处理数据进行处理，得到第一处理结果；通过所述检验处理线路，对所述复制后待处理数据进行处理，得到第二处理结果；输出所述第一处理结果和所述第二处理结果。本申请实施例可以在不影响数据处理线路的数据处理逻辑的情况下，复制待处理数据，将复制后待处理数据通过数据处理模型上的分支进行处理，降低数据处理检验的成本。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本申请实施例提供的数据处理检验方法的场景示意图；

图1b是本申请实施例提供的数据处理检验方法的流程图；

图2a是本申请实施例提供的数据处理检验方法的另一流程图；

图2b是本申请实施例提供的数据处理检验方法的说明图；

图2c是本申请实施例提供的数据处理检验方法的页面示意图；

图2d是本申请实施例提供的数据处理检验方法的另一说明图；

图2e是本申请实施例提供的数据处理检验方法的另一说明图；

图2f是本申请实施例提供的数据处理检验方法的另一页面示意图；

图2g是本申请实施例提供的数据处理检验方法的另一流程图；

图2h是本申请实施例提供的数据处理检验方法的另一流程图；

图3a是本申请实施例提供的数据处理检验装置的结构示意图；

图3b是本申请实施例提供的数据处理检验装置的另一结构示意图；

图3c是本申请实施例提供的数据处理检验装置的另一结构示意图；

图3d是本申请实施例提供的数据处理检验装置的另一结构示意图；

图3e是本申请实施例提供的数据处理检验装置的另一结构示意图；

图3f是本申请实施例提供的数据处理检验装置的另一结构示意图；

图3g是本申请实施例提供的数据处理检验装置的另一结构示意图；

图3h是本申请实施例提供的数据处理检验装置的另一结构示意图；

图3i是本申请实施例提供的数据处理检验装置的另一结构示意图；

图3j是本申请实施例提供的数据处理检验装置的另一结构示意图；

图3k是本申请实施例提供的数据处理检验装置的另一结构示意图；

图4是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种数据处理检验方法和装置。该数据处理检验装置具体可以集成在电子设备中，该电子设备可以是终端或服务器等设备。

可以理解的是，本实施例的数据处理检验方法可以是在终端上执行的，也可以是在服务器上执行，还可以由终端和服务器共同执行的。以上举例不应理解为对本申请的限制。

如图1a所示，以终端和服务器共同执行数据处理检验方法为例。本申请实施例提供的数据处理检验系统包括终端10和服务器11等；终端10与服务器11之间通过网络连接，比如，通过有线或无线网络连接等，其中，数据处理检验装置可以集成在服务器中。

其中，服务器11，可以用于：获取待处理数据以及数据处理模型，所述数据处理模型包括数据处理线路和所述数据处理线路对应的检验处理线路，其中，所述检验处理线路是由所述数据处理线路复制得到的；对所述待处理数据进行复制，并将所述待处理数据发送给所述数据处理线路，将复制后待处理数据发送给所述检验处理线路；通过所述数据处理线路，对所述待处理数据进行处理，得到第一处理结果；通过所述检验处理线路，对所述复制后待处理数据进行处理，得到第二处理结果；输出所述第一处理结果和所述第二处理结果。其中，服务器11可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN，Content Delivery Network)、以及大数据和人工智能平台等基础云计算服务的云服务器。

其中，终端10可以获取待处理数据，并将待处理数据发送给服务器11，以便于服务器11对该待处理数据进行复制，将待处理数据和复制后待处理数据分别通过数据处理线路和检验处理线路进行处理。其中，终端10可以包括手机、智能电视、平板电脑、笔记本电脑、或个人计算机(PC，Personal Computer)等。终端10上还可以设置客户端，该客户端可以是应用程序客户端或者浏览器客户端等等。

上述服务器11数据处理检验的步骤，也可以由终端10执行。

本申请实施例提供的数据处理检验方法涉及云技术领域中的云管理工具的云监控方向。本申请可以在不影响数据处理线路的数据处理逻辑的情况下，复制待处理数据，将复制后待处理数据通过数据处理模型上的分支进行处理，降低数据处理检验的成本。

其中，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。

其中，云管理工具提供了构成云环境的虚拟化基础设施的基本功能。从成本管理实用程序到系统运行，各种各样的云管理工具可以帮助管理人员在实际工作中解决一些问题。云管理工具可管理云的配置、监控器使用情况以及提供日志分析工具等。

其中，云监控(Cloud Monitoring)可以是云平台的性能监视与检测。云监控是安防业的热门议题，安防行业所定义的“云监控”是指充分借鉴IT行业发展过程中的云计算、云存储、数据中心、商业智能等技术理念，针对监控等多媒体业务的数据中心架构与技术进行优化设计与开发，通过安防大联网实践，促使整体架构具备健壮性、可扩展、可运行性、标准化的特点，实现视频数据愈来愈集中化并进一步实现数据的情报化和信息化，让管理和操作更加高效简单，最终实现总拥有成本(TCO，Total Cost of Ownership)的不断降低，推动监控行业整体向互联网技术(IT，Internet Technology)云计算时代不断演进和发展。

以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

本实施例将从数据处理检验装置的角度进行描述，该数据处理检验装置具体可以集成在电子设备中，该电子设备可以是服务器或终端等设备。

本申请实施例的数据处理检验方法可以应用于各种需要数据处理检验的场景中。例如，当业务的策略调整更新时，需要进行测试验证，以减少业务调整带来的隐患风险，可以通过本实施例提供的数据处理检验方法，可以对在线数据进行复制，将复制得到的在线数据通过业务策略调整后的检验处理线路进行处理，得到第二处理结果，并将第二处理结果与通过未调整的数据处理线路处理得到的第一处理结果进行对比，得到业务调整策略的检验结果。本实施例可以在不影响在线任务的数据处理逻辑的情况下，复制待处理数据，将复制后待处理数据通过数据处理模型上的分支进行处理，进而得到检验结果，降低数据处理检验的成本。

如图1b所示，该数据处理检验方法的具体流程可以如下：

101、获取待处理数据以及数据处理模型，所述数据处理模型包括数据处理线路和所述数据处理线路对应的检验处理线路，其中，所述检验处理线路是由所述数据处理线路复制得到的。

其中，待处理数据可以为用于对数据处理线路的数据处理进行检验的数据，数据处理线路的数据处理具体可以是数据处理线路的数据处理逻辑和数据处理结果等。待处理数据具体可以是在线数据，即流量数据，本实施例对此不作限制。

其中，数据处理模型可以是处理业务数据的策略模型，一个数据处理模型可以被多个任务使用。数据处理线路为数据处理模型原有的模型分支，可以用于处理在线数据；本申请实施例通过对数据处理线路进行复制，得到检验处理线路，并对在线数据做一份复制，通过新创建的分支(即检验处理线路)来处理新复制的数据。

在一些实施例中，需要对数据处理线路进行故障检测，由于直接对数据处理线路进行检测，可能会带来隐患风险，可以通过由数据处理线路复制得到的检验处理线路来进行检测。

在另一些实施例中，由于业务策略调整，需要对新调整的策略进行检验测试，可以基于新调整的业务策略，对复制得到的检验处理线路的数据处理逻辑进行调整，将复制后待处理数据通过调整后的检验处理线路进行处理，可以得到业务策略调整后的处理结果，将该处理结果与业务策略未调整的处理结果相比较，可以得到业务策略调整的检验结果。该检验结果可以是业务策略调整后的效果优于业务策略调整前的效果，也可以是业务策略调整前的效果优于业务策略调整后的效果。

可选地，本实施例中，步骤“获取待处理数据以及数据处理模型”之前，还可以包括：

获取原始数据处理模型，所述原始数据处理模型包括数据处理线路，所述数据处理线路包括至少一个数据处理模块；

对所述数据处理线路进行复制，以生成所述数据处理线路对应的检验处理线路，得到线路复制后数据处理模型；

在线路复制后数据处理模型中添加数据复制模块，得到数据处理模型，所述数据复制模块作为所述数据处理线路和所述检验处理线路的共同数据输入端，所述数据复制模块用于对所述待处理数据进行复制。

其中，数据处理线路具体可以是待故障检测的线路，也可以是待业务调整的线路。具体地，数据处理线路为处理在线数据的线路；由于直接对数据处理线路进行检测或者业务调整，可能会对在线任务带来隐患风险；因此，可以对数据处理线路进行复制，得到检验处理线路，通过检验处理线路来进行故障检测或业务调整等，这样不影响到在线任务的进行。

具体地，通过检验处理线路对业务调整策略的效果进行检验，若业务调整策略的结果符合预设要求，则可以将该业务调整策略应用在数据处理线路上，或者，可以直接将在线数据切换到检测处理线路进行处理，将检测处理线路作为新的数据处理线路，也就是说，将检测处理线路用于处理线上数据，作为新的在线处理线路。

其中，可以通过数据复制模块对待处理数据进行复制，得到两份待处理数据，将两份待处理数据分别通过数据处理线路和检验处理线路进行处理。对于数据复制模块，输入的是待处理数据，输出的是复制后的两份相同的待处理数据，数据处理线路的输入是其中一份待处理数据，检验处理线路的输入是其中另一份待处理数据。

102、复制所述待处理数据，并将所述待处理数据发送给所述数据处理线路，将复制后待处理数据发送给所述检验处理线路。

可选地，一些实施例中，步骤“复制所述待处理数据”，可以包括：

将所述待处理数据写入内存；

通过所述数据复制模块，在内存中对写入的待处理数据进行复制。

其中，对待处理数据进行复制，具体为对线上数据进行复制，也即流量镜像(数据流镜像)。流量镜像是指将流量数据拷贝一份。

在目前的相关技术中，通常是在网卡层配置数据流量镜像，将复制后的数据发送到目标机器。但是在网卡层做流量镜像，中央处理器(CPU，central processing unit)中断会产生较高的性能开销。当数据包在网络中传输(发送和接收)时，网卡会产生CPU中断请求，这些中断请求可以打断或者抢占之前较低优先级的软中断或者系统调用的执行过程，如果这种打断频繁的话，将会产生较高的性能开销。此外，将复制后的数据发送到目标机器进行数据处理检验，需要增加检验的机器设备，业务检验的成本较高。

本申请可以将网卡接收到的待处理数据写入内存，再在内存中做流量镜像。相比于在网卡层做流量镜像，本实施例基于应用层实现，在内存中做流量镜像，具有高性能，低开销的特点。

可选地，一些实施例中，步骤“复制所述待处理数据”，可以包括：

获取所述数据处理模型当前的操作算子；

识别所述操作算子对应的操作类型；

当所述操作类型为数据复制操作时，对所述待处理数据进行复制。

可选地，一些实施例中，步骤“识别所述操作算子对应的操作类型”之前，还可以包括：

获取所述待处理数据对应的数据处理模型的配置信息；

基于所述配置信息，对所述数据处理模型进行解析，生成操作算子，所述操作算子用于指示需要执行的数据处理逻辑。

其中，在对数据处理检验前，可以先对数据处理模型进行配置，并将数据处理模型解析和初始化为一系列操作算子，当接收到数据流(即待处理数据)时，将按照操作算子的顺序对数据流执行计算分析。其中，操作算子对应各种各样的操作类型，操作类型可以包括数据输入操作、计算操作、数据复制操作、聚集操作以及输出结果操作等等。在一具体实施例中，对于一个对数据进行聚集的数据处理模型，可以将数据处理模型解析为数据复制算子、聚集算子等。

103、通过所述数据处理线路，对所述待处理数据进行处理，得到第一处理结果。

其中，第一处理结果也为在线处理结果。数据处理线路具体为在线处理线路。

其中，通过数据处理线路对待处理数据进行处理，具体可以是通过数据处理线路中包含的各个数据处理模块，对待处理数据进行处理，得到第一处理结果。

在一具体实施例中，数据处理线路包括输入模块、计算模块1、聚集模块、计算模块2、重命名模块以及输出模块，可以依照模块的次序，对待处理数据进行处理，得到第一处理结果。

104、通过所述检验处理线路，对所述复制后待处理数据进行处理，得到第二处理结果。

其中，检验处理线路可以为业务策略调整的对应线路，也可以是用于检测数据处理线路故障的线路，本实施例对此不作限制。

可选地，本实施例中，该数据处理检验方法还可以包括：在所述检验处理线路中添加数据过滤模块。

其中，通过配置数据过滤模块的过滤条件，可以对数据进行有效的分类或过滤。其中，过滤条件可以根据实际情况进行设置，本实施例对此不作限制。例如，过滤条件可以设置为过滤掉数据类型为双精度浮点型的数据等。本申请通过引入数据过滤模块，可以灵活配置各种过滤条件(即灰度条件)。

具体地，可以根据数据过滤模块中的过滤函数进行计算，过滤掉不满足预设条件的数据。本实施例可以根据数据的属性进行过滤，也可以按照百分比进行数据过滤，对此不作限制。

可选地，一些实施例中，步骤“通过所述检验处理线路，对所述复制后待处理数据进行处理，得到第二处理结果”，可以包括：

通过所述检验处理线路中的数据过滤模块，对所述复制后待处理数据进行过滤，得到过滤后的复制后待处理数据；

通过所述检验处理线路中的数据处理模块，对过滤后的复制后待处理数据进行处理，得到第二处理结果。

其中，对数据进行过滤，也即对数据进行灰度处理。灰度是指对部分数据进行生效。在业务处理中，如新上模型策略时，需要先进行小部分数据的检验，或者是对只满足某些数据特征的数据进行检验，就是灰度的过程。

其中，可选地，本实施例可以在内存中做流量镜像，得到复制后待处理数据，再通过检验处理线路中的数据过滤模块，在内存中对复制后待处理数据进行过滤，得到过滤后的复制后待处理数据。

其中，在得到过滤后的复制后待处理数据后，可以通过检验处理线路中除数据过滤模块外的其他数据处理模块，对过滤后的复制后待处理数据继续进行处理，得到第二处理结果。

本申请通过对复制后待处理数据进行过滤，可以减少系统资源的占用。因为在一次业务操作有可能会产生数十个数据包，直接对复制后待处理数据进行处理会占用大量的系统资源，对实际进行中的业务操作产生影响，造成较高的性能损耗。

105、输出所述第一处理结果和所述第二处理结果。

本实施例中，步骤“输出所述第一处理结果和所述第二处理结果”之后，还可以包括：

基于所述第一处理结果和所述第二处理结果，对所述数据处理线路的数据处理进行检验，得到检验结果。

其中，该检验过程具体可以是将第一处理结果和第二处理结果进行对比，以确定数据处理线路中故障的地方，或者，确定业务调整策略的效果。

在一些实施例中，可以基于业务调整策略，对检测处理线路的数据处理逻辑进行调整，则第二处理结果是业务策略调整后的对应处理结果。对比第一处理结果和第二处理结果，可以确定业务调整策略是否可行；其中，第一处理结果是业务策略未调整对应的处理结果。在业务策略调整时，使用流量镜像的方法，将复制得到的流量数据通过检验处理线路进行测试，可以减少业务调整带来的隐患风险，保障线上用户的体验，在检验结果通过后，再将该业务调整策略在线上发布。具体地，可以将业务调整策略应用在数据处理线路，或者，也可以将检验处理线路作为新的数据处理线路，即将在线数据通过检验处理线路进行处理，把检验处理线路视为在线数据处理线路。

在另一些实施例中，可以基于检验结果确定的数据处理路线中故障的地方，对数据处理线路的数据处理逻辑进行调整，具体地，可以对数据处理线路中数据处理模块的数据处理逻辑进行调整。

可选的，一些实施例中，该数据处理检验方法还可以包括：

当所述检验结果不符合预设要求时，对所述检验处理线路的数据处理逻辑进行调整；

基于调整后的检验处理线路，对所述数据处理模型进行更新，得到更新后数据处理模型；

将更新后数据处理模型作为新的数据处理模型，返回执行所述获取待处理数据以及数据处理模型的步骤，以得到符合预设要求的检验结果。

其中，预设要求可以根据实际需求进行设置，本实施例对此不作限制。更新后数据处理模型包含调整后的检验处理线路。

其中，当业务调整策略的检验结果不符合预设要求时，可以对业务策略继续进行调整，并基于再次调整后的业务策略，对检验处理线路的数据处理逻辑进行调整，以得到符合预设要求的检验结果，也即得到符合预设要求的业务策略。

可选的，一些实施例中，该数据处理检验方法还可以包括：

展示所述原始数据处理模型的编辑页面，所述编辑页面包括所述原始数据处理模型中的数据处理线路；

响应于对所述数据处理线路的复制操作时，对所述数据处理线路进行复制，生成并展示所述数据处理线路对应的检验处理线路。

其中，可以通过对编辑页面中各个控件的操作，来对数据处理模型进行调整。可选的，本实施例中，在编辑页面上，数据处理模型中的线程和模块对应的图标可以相当于一个控件，对图标进行操作即可以对图标对应的线程或模块进行操作，其中，操作可以根据实际情况进行设置，本实施例对此不作限制。比如，编辑页面上的数据处理线路自身相当于一个控件，可以基于对数据处理线路对应图标的展开、移动、复制或删除等操作，来对数据处理线路进行展开、移动、复制和删除。

其中，数据处理线路可以是展开状态，也可以是隐藏状态。若数据处理线路为展开状态，则编辑页面上显示的是该数据处理线路中的各个数据处理模块对应的图标；若数据处理线路为隐藏状态，则编辑页面上显示的是数据处理线路的隐藏结构，具体可以显示数据处理线路对应的单个图标。

其中，该复制操作可以根据实际情况进行设置，本实施例对此不作限制。例如，复制操作可以设置为对数据处理线路对应图标的连续两次点击操作，当检测到数据处理线路对应图标的连续两次点击操作，可以对数据复制线路进行复制，并在编辑页面上展示复制得到的检验处理线路。

其中，响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。

在另一些实施例中，编辑页面中的线路和模块对应的图标也可以不是控件的形式，可以通过对编辑页面上的真实控件的操作，对数据处理模型中线路和模块进行对应的调整。

可选的，在一些实施例中，可以通过对数据复制模块对应图标的移动操作，在编辑页面的数据处理模型中添加数据复制模块。

可选的，一些实施例中，所述数据处理线路包括至少一个数据处理模块；该数据处理检验方法还可以包括：

当所述数据处理线路处于隐藏状态时，响应于针对所述数据处理线路的展开操作时，在所述编辑页面上显示所述数据处理线路的展开结构，所述展开结构包括所述数据处理线路中各个数据处理模块；

当所述数据处理线路处于展开状态时，响应于针对所述数据处理线路中各个数据处理模块的隐藏操作时，在所述编辑页面上显示各个数据处理模块对应的隐藏结构，所述隐藏结构包括对各个数据处理模块进行隐藏得到的数据处理线路。

其中，编辑页面上数据处理线路中的各个数据处理模块对应的图标可以相当于一个控件，可以基于对数据处理模块对应图标的操作，来对数据处理模块进行对应的调整。

其中，展开操作和隐藏操作可以根据实际情况进行设置，本实施例对此不作限制。比如，展开操作可以设置为对数据处理线路对应图标的单击，当数据处理线路处于隐藏状态，且检测到对数据处理线路对应图标的单击时，可以对数据处理线路进行展开，在编辑页面上显示数据处理线路中各数据处理模块对应的图标。

由上可知，本实施例可以获取待处理数据以及数据处理模型，所述数据处理模型包括数据处理线路和所述数据处理线路对应的检验处理线路，其中，所述检验处理线路是由所述数据处理线路复制得到的；复制所述待处理数据，并将所述待处理数据发送给所述数据处理线路，将复制后待处理数据发送给所述检验处理线路；通过所述数据处理线路，对所述待处理数据进行处理，得到第一处理结果；通过所述检验处理线路，对所述复制后待处理数据进行处理，得到第二处理结果；输出所述第一处理结果和所述第二处理结果。本申请可以在不影响数据处理线路的数据处理逻辑的情况下，复制待处理数据，将复制后待处理数据通过数据处理模型上的分支进行处理，进而得到检验结果，降低数据处理检验的成本。

根据前面实施例所描述的方法，以下将以该数据处理检验装置具体集成在服务器举例作进一步详细说明。

如图2a所示，本申请实施例提供的数据处理检验方法具体通过如下实施例进行说明:

201、服务器获取待处理数据以及数据处理模型，所述数据处理模型包括数据处理线路和所述数据处理线路对应的检验处理线路，其中，所述检验处理线路是由所述数据处理线路复制得到的。

其中，服务器具体可以是一个实时的大数据分析计算平台，具体是一个业务策略计算平台。业务策略计算平台可以由配置系统和计算系统两部分组成，配置系统可以用于创建策略模型(也即数据处理模型)、创建并发布任务；计算系统可以用于拉取任务对应的数据处理模型的模型配置，对数据流进行高性能、高并发的实时计算分析，并输出结果。其中，任务具体可以指对数据处理线路进行检验的任务；配置系统创建并发布任务的过程具体可以为：配置系统对数据处理线路进行复制，得到检验处理线路，并在数据处理模型中添加数据复制模块。

本实施例中，步骤“获取待处理数据以及数据处理模型”之前，还可以包括：

获取原始数据处理模型，所述原始数据处理模型包括数据处理线路，所述数据处理线路包括至少一个数据处理模块；

对所述数据处理线路进行复制，以生成所述数据处理线路对应的检验处理线路，并在所述检验处理线路中添加数据过滤模块，得到线路复制后数据处理模型；

在线路复制后数据处理模型中添加数据复制模块，得到数据处理模型，所述数据复制模块作为所述数据处理线路和所述检验处理线路的共同数据输入端，所述数据复制模块用于对所述待处理数据进行复制。

以上创建数据处理模型的过程可以由业务策略计算平台的配置系统执行。

在一具体实施例中，可以在配置系统中通过图形化拖拽操作创建策略模型(即数据处理模型)，模型可以由多个组件和连线组成，一个模型本身也可以作为策略组件被其他模型调用。其中，数据处理模型由多个组件(或者说模块)构成，即组件是模型的组成单元，组件可以包括输入组件、输出组件、计算组件、过滤组件、聚集组件、复制组件、策略组件、虚拟组件等等，具体可以根据实际情况进行设置，本实施例对此不作限制。

一些实施例中，可以展示数据处理模型的编辑页面，通过对编辑页面中相应控件的操作，来对数据处理模型进行相应的调整，对模型的调整具体可以是对模型中各组件/模块的添加、删除、移动和复制等。在编辑页面中，模型中一条复杂的分支可以收起为一个虚拟组件，虚拟组件也可以展开还原为原分支，对虚拟组件进行复制将创建一个新的虚拟组件，新创建的虚拟组件和原虚拟组件的配置相同，对该虚拟组件的展开、移动、删除，都是对整个分支的操作。其中，一个分支可以包括一个或多个数据处理模块，虚拟组件在编辑页面中具体可以以一个图标的形式进行展示，虚拟组件的内部结构配置与其展开后的对应分支的配置相同。

其中，在配置系统中，可以对组件进行复制快速创建一个和原组件相同配置的新组件。具体体现为：在编辑页面中，响应于对组件复制操作，对组件进行复制，生成并展示一个和原组件相同配置的新组件。

其中，计算系统通过配置复制组件，可以对数据流进行复制；可以通过配置过滤组件的过滤条件对复制后的数据进行有效的分类。

202、服务器在内存中对所述待处理数据进行复制，并将所述待处理数据发送给所述数据处理线路，将复制后待处理数据发送给所述检验处理线路。

其中，可以通过数据复制模块(即复制组件)，在内存中对写入的待处理数据进行复制，得到复制后待处理数据。

本实施例中，业务接入平台做大数据分析计算时，需要创建和启动一个任务。任务需要配置一个模型，启动任务后，计算系统将拉取任务的模型配置并解析和初始化为一系列操作算子，当数据访问服务接收到数据流时，将按照操作算子顺序执行计算分析。

可选的，一些实施例中，该数据处理检验方法还可以包括：

获取所述待处理数据对应的数据处理模型的配置信息；

基于所述配置信息，对所述数据处理模型进行解析，生成操作算子，所述操作算子用于指示需要执行的数据处理逻辑。

其中，计算系统可以获取所述数据处理模型当前的操作算子；识别所述操作算子对应的操作类型；操作类型具体可以包括数据输入操作、计算操作、数据复制操作、聚集操作以及数据输出操作等。具体地，操作算子顺序可以为输入算子、计算算子、复制算子、聚集算子和输出算子等，计算系统可以依照操作算子顺序来对数据进行输入、计算、复制、聚集和输出等。

203、服务器通过所述数据处理线路，对所述待处理数据进行处理，得到第一处理结果。

204、服务器通过所述检验处理线路，对所述复制后待处理数据进行处理，得到第二处理结果。

本实施例中，步骤“服务器通过所述检验处理线路，对所述复制后待处理数据进行处理，得到第二处理结果”，可以包括：

通过所述检验处理线路中的数据过滤模块，对所述复制后待处理数据进行过滤，得到过滤后的复制后待处理数据；

通过所述检验处理线路中的数据处理模块，对过滤后的复制后待处理数据进行处理，得到第二处理结果。

其中，对复制后待处理数据进行过滤，即对复制后待处理数据进行灰度。数据过滤模块位于检验处理线路中数据处理流程的最前端。

其中，灰度是指在计算系统中先应用于部分数据生效。当业务策略调整更新时，常常需要先进行小部分数据的验证，为了不影响现网在跑的任务，先灰度一部分流量数据进行观察，再逐渐扩大数据范围，或者是先对满足某些数据特征的数据进行观察，就是灰度的过程。

本申请实施例的灰度过程无需新建任务，通过可视化组件操作，在原有任务上通过数据复制模块(即复制组件)和数据过滤模块(即过滤组件)创建灰度分支，不影响线上任务的情况下进行灰度。灰度完成无需进行新旧任务切换，避免了任务切换过程的各种配置环境问题。而且，本申请引入数据过滤模块，可以灵活配置各种灰度条件。

此外，如果不对复制后待处理数据进行过滤，仅仅通过流量镜像的方法，将真实流量数据复制下来给被测试应用，由于业务操作有可能会产生数十个数据包，直接对数据包进行复制会占用大量的系统资源，对实际进行中的业务操作产生影响，造成极高的性能损耗。对数据包进行过滤，可以减小对系统资源的占用。

205、服务器基于所述第一处理结果和所述第二处理结果，对所述数据处理线路的数据处理进行检验，得到检验结果。

在一具体实施例中，原始数据处理模型可以如图2b所示，该原始数据处理模型包括输入组件、计算组件1、聚集组件、计算组件2、重命名组件和输出组件。这是一个用于举例的简单模型，实际任务运行过程中模型要复杂的多。计算系统在启动任务后，会根据输入组件的配置，解析数据流字段。计算组件支持对数据进行脚本计算，聚集组件支持对数据应用一些聚合函数。图2c为输入组件对输入数据进行配置的示意图，具体地，可以通过对输入组件对应图标的操作，显示输入组件的数据输入配置页面，基于对数据输入配置页面的设置，控制输入数据的数据类型和长度等，如对于数据包1，可以控制只输入其中8字节的无符号整型的数据。

可选地，在一些实施例中，根据业务需求，需要对在线任务对应的数据处理模型的数据处理逻辑进行调整，即需要进行业务策略调整。以图2b的数据处理模型为例，比如，业务需要修改聚集组件中的策略，通过本申请提供的方案，可以在数据处理模型中创建一条从聚集组件开始的过滤分支。

如图2b所示，数据处理模型的编辑页面显示有聚集组件的收起控件、删除控件以及复制控件。其中，可以通过对聚集组件的收起控件的点击操作，将聚集组件及之后的分支收起为一个虚拟组件，其收起后的隐藏结构如图2d所示，编辑页面上“聚集组件”的图标表示该隐藏结构；也可以通过对聚集组件的删除控件的操作，将聚集组件进行删除，还可以对聚集组件的复制控件的操作，对聚集组件进行复制。

其中，在一些实施例中，可以基于对各个组件对应图标的操作(比如单击或双击操作等)，在该组件对应的图标周围显示该组件对应的全部控件(包括删除控件、复制控件和收起控件等)。

此外，如图2d所示，还可以通过对虚拟组件的复制控件的操作，快速复制出一个配置相同的虚拟组件，并可以移动虚拟组件到合适的位置。如图2d所示，通过点击虚拟组件右上角的加号(即展开控件)，可以对该虚拟组件进行展开，虚拟组件的展开结构参考图2e，对该虚拟组件进行展开后，可以看到已经创建了一条相同配置的分支。为了进行灰度，需要引入一个复制组件和一个过滤组件，复制组件完成数据的拷贝，过滤组件完成灰度的条件配置。

其中，过滤组件的灰度条件配置页面可以参见图2f。具体地，在编辑页面上，可以通过对过滤组件对应图标的操作(如单击操作，具体可以根据实际情况进行设置)，显示该过滤组件对应的灰度条件配置页面。

在一个具体实施例中，如图2g所示，在数据处理模型构建完成后，实时更新任务的模型配置。具体地，当启动或更新一个任务时，可以通过多计算机代理(mc_agent，Multi-Computeragent)从存储配置的框架(具体可以是zk框架)中拉取当前任务的模型配置信息，并将模型配置信息传给engine_srv引擎解析处理，engine_srv对模型组件进行解析和初始化，生成一个操作算子数组，操作算子数组包含该数据处理模型的各个操作算子的执行顺序信息，每个操作算子由变量和处理函数组成；同时启动一个协程无限循环监听任务发送方的udp数据包(即待处理数据)。

其中，以图2e的模型为例，如图2h所示，描述了计算系统接收到数据(即前面实施例所述的待处理数据)后的处理过程，首先对原始数据(即待处理数据)进行格式转换，具体可以从udp格式转换成pb格式，然后将格式转换后的数据传给计算协程，基于操作算子的顺序对格式转换后的数据进行处理。其中，当数据传给复制组件时，即执行到复制算子，复制组件在内存中对数据进行一次复制，复制组件后有两条分支，当前协程处理一个分支，新启动一个协程处理另一条分支(本例中的灰度分支)。在灰度分支中，数据传给过滤算子中，可以根据设置的过滤表达式对数据进行过滤，不满足过滤表达式的数据将被过滤掉，满足条件的数据传给下一个聚集算子；在聚集算子中可以根据新配的策略对数据进行聚合函数操作，经过一系列算子的分析计算，最后根据输出配置将计算结果传到对应的大数据存储系统中。线上策略和灰度策略结果可以传到不同的大数据存储中，便于业务对灰度结果进行分析观察。

其中，zk是一个典型的发布/订阅模式的分布式数据管理与协调框架，开发人员可以使用它来进行分布式数据的发布与订阅。通过对zk中丰富的数据节点进行交叉使用，可以非常方便地构建一系列分布式应用中都会涉及的核心功能，如数据发布/订阅、负载均衡、命名服务、分布式协调通知、集群管理、分布式锁和分布式队列等。

其中，udp为用户数据报协议，全称为User Datagram Protocol。它为应用程序提供了一种无需建立连接就可以发送封装的数据包的方法。

其中，pb为协议缓冲区，全称为Protocol Buffers，简称为pb。它是一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，或者说序列化。

在目前的相关技术中，灰度方案一般是新建一个任务和复制一份数据来跑新策略。由平台方在网卡层做数据流镜像，来得到新任务的数据；或者由业务方分别传数据到新、旧任务；或者增加机器进行灰度。但是，这种灰度方案每当变更策略都要新建任务，完成灰度后需要做新旧任务切换，存在新旧任务环境切换的问题，而且业务方操作复杂、体验不好；其次，在网卡层做流量镜像，或者增加机器，成本高、开销大；此外，灰度的粒度不灵活，一般按照百分比进行灰度，无法根据数据属性灵活灰度。

本申请实施例，可以通过配置系统的复制组件、过滤组件、虚拟组件，在原有任务的模型上可以快速复制创建一条(或多条)新分支，在新分支上进行新策略的配置。当任务更新模型配置后，在计算系统中，当处理模型中的复制组件时，会在内存中对数据做一份复制，新复制的数据跑在新分支上，当处理过滤组件时，对过滤组件中的过滤表达式进行计算，过掉掉不满足表达式的数据，达到灰度的目的。本申请提供的数据处理检验方法不影响线上任务运行，原有任务跑在原有的模型分支上，无需创建新任务；在原有任务的模型上创建灰度分支，灰度灵活，过滤组件中的过滤表达式提供了非常灵活的灰度属性配置；开销小，配置好模型中的复制组件，计算系统可以在内存中进行数据流量镜像。而且本申请的数据处理检验方法业务操作方便，配置系统提供了把模型分支收起和展开为一个虚拟组件的功能，对虚拟组件进行复制可以快速创建一条和原模型相同配置的分支，业务只需要在新分支上应用新策略，然后通过复制组件配置流量镜像、过滤组件配置流量灰度条件。

本申请实施例可以通过应用层的流量镜像和过滤组件的灰度技术，对数据处理进行检验，有效解决了传统的灰度操作流程复杂，成本开销大的问题。

由上可知，本实施例可以通过服务器获取待处理数据以及数据处理模型，所述数据处理模型包括数据处理线路和所述数据处理线路对应的检验处理线路，其中，所述检验处理线路是由所述数据处理线路复制得到的；在内存中对所述待处理数据进行复制，并将所述待处理数据发送给所述数据处理线路，将复制后待处理数据发送给所述检验处理线路；通过所述数据处理线路，对所述待处理数据进行处理，得到第一处理结果；通过所述检验处理线路，对所述复制后待处理数据进行处理，得到第二处理结果；基于所述第一处理结果和所述第二处理结果，对所述数据处理线路的数据处理进行检验，得到检验结果。本申请可以在不影响数据处理线路的数据处理逻辑的情况下，复制待处理数据，将复制后待处理数据通过数据处理模型上的分支进行处理，进而得到检验结果，降低数据处理检验的成本。

为了更好地实施以上方法，本申请实施例还提供一种数据处理检验装置，如图3a所示，该数据处理检验装置可以包括获取单元301、复制单元302、第一处理单元303、第二处理单元304和输出单元305，如下：

(1)获取单元301；

获取单元301，用于获取待处理数据以及数据处理模型，所述数据处理模型包括数据处理线路和所述数据处理线路对应的检验处理线路，其中，所述检验处理线路是由所述数据处理线路复制得到的。

(2)复制单元302；

复制单元302，用于复制所述待处理数据，并将所述待处理数据发送给所述数据处理线路，将复制后待处理数据发送给所述检验处理线路。

可选的，在本申请的一些实施例中，所述复制单元302可以包括写入子单元3021和第二复制子单元3022，参见图3b，如下：

所述写入子单元3021，用于将所述待处理数据写入内存；

第二复制子单元3022，用于通过所述数据复制模块，在内存中对写入的待处理数据进行复制。

可选的，在本申请的一些实施例中，所述复制单元302可以包括第一获取子单元3023、识别子单元3024和第三复制子单元3025，参见图3c，如下：

所述第一获取子单元3023，用于获取所述数据处理模型当前的操作算子；

识别子单元3024，用于识别所述操作算子对应的操作类型；

第三复制子单元3025，用于当所述操作类型为数据复制操作时，对所述待处理数据进行复制。

可选的，在本申请的一些实施例中，所述复制单元302还可以包括第二获取子单元3026和解析子单元3027，参见图3d，如下：

所述第二获取子单元3026，用于获取所述待处理数据对应的数据处理模型的配置信息；

解析子单元3027，用于基于所述配置信息，对所述数据处理模型进行解析，生成操作算子，所述操作算子用于指示需要执行的数据处理逻辑。

(3)第一处理单元303；

第一处理单元303，用于通过所述数据处理线路，对所述待处理数据进行处理，得到第一处理结果。

(4)第二处理单元304；

第二处理单元304，用于通过所述检验处理线路，对所述复制后待处理数据进行处理，得到第二处理结果。

可选的，在本申请的一些实施例中，所述第二处理单元304可以包括过滤子单元3041和处理子单元3042，参见图3e，如下：

所述过滤子单元3041，用于通过所述检验处理线路中的数据过滤模块，对所述复制后待处理数据进行过滤，得到过滤后的复制后待处理数据；

处理子单元3042，用于通过所述检验处理线路中的数据处理模块，对过滤后的复制后待处理数据进行处理，得到第二处理结果。

(5)输出单元305；

输出单元305，用于输出所述第一处理结果和所述第二处理结果。

可选的，在本申请的一些实施例中，所述数据处理检验装置还可以包括模型获取单元306，所述模型获取单元306用于获取数据处理模型；所述模型获取单元306可以包括获取子单元3061、第一复制子单元3062和第一添加子单元3063，参见图3f，如下：

所述获取子单元3061，用于获取原始数据处理模型，所述原始数据处理模型包括数据处理线路，所述数据处理线路包括至少一个数据处理模块；

第一复制子单元3062，用于对所述数据处理线路进行复制，以生成所述数据处理线路对应的检验处理线路，得到线路复制后数据处理模型；

第一添加子单元3063，用于在线路复制后数据处理模型中添加数据复制模块，得到数据处理模型，所述数据复制模块作为所述数据处理线路和所述检验处理线路的共同数据输入端，所述数据复制模块用于对所述待处理数据进行复制。

可选的，在本申请的一些实施例中，所述模型获取单元306还可以包括第二添加子单元3064，参见图3g；所述第二添加子单元3064用于在所述检验处理线路中添加数据过滤模块。

可选的，在本申请的一些实施例中，所述模型获取单元306还可以包括展示子单元3065和第四复制子单元3066，参见图3h，如下：

所述展示子单元3065，用于展示所述原始数据处理模型的编辑页面，所述编辑页面包括所述原始数据处理模型中的数据处理线路；

第四复制子单元3066，用于响应于对所述数据处理线路的复制操作时，对所述数据处理线路进行复制，生成并展示所述数据处理线路对应的检验处理线路。

可选的，在本申请的一些实施例中，所述数据处理线路包括至少一个数据处理模块；所述模型获取单元306还可以包括展开子单元3067和隐藏子单元3068，参见图3i，如下：

所述展开子单元3067，用于当所述数据处理线路处于隐藏状态时，响应于针对所述数据处理线路的展开操作时，在所述编辑页面上显示所述数据处理线路的展开结构，所述展开结构包括所述数据处理线路中各个数据处理模块；

隐藏子单元3068，用于当所述数据处理线路处于展开状态时，响应于针对所述数据处理线路中各个数据处理模块的隐藏操作时，在所述编辑页面上显示各个数据处理模块对应的隐藏结构，所述隐藏结构包括对各个数据处理模块进行隐藏得到的数据处理线路。

可选的，在本申请的一些实施例中，所述数据处理检验装置还可以包括检验单元307，参见图3j；所述检验单元307用于基于所述第一处理结果和所述第二处理结果，对所述数据处理线路的数据处理进行检验，得到检验结果。

可选的，在本申请的一些实施例中，所述数据处理检验装置还可以包括调整单元308，参见图3k；所述调整单元308可以用于当所述检验结果不符合预设要求时，对所述检验处理线路的数据处理逻辑进行调整；基于调整后的检验处理线路，对所述数据处理模型进行更新，得到更新后数据处理模型；将更新后数据处理模型作为新的数据处理模型，返回执行所述获取待处理数据以及数据处理模型的步骤，以得到符合预设要求的检验结果。

由上可知，本实施例由获取单元301获取待处理数据以及数据处理模型，所述数据处理模型包括数据处理线路和所述数据处理线路对应的检验处理线路，其中，所述检验处理线路是由所述数据处理线路复制得到的；通过复制单元302复制所述待处理数据，并将所述待处理数据发送给所述数据处理线路，将复制后待处理数据发送给所述检验处理线路；由第一处理单元303通过所述数据处理线路，对所述待处理数据进行处理，得到第一处理结果；由第二处理单元304通过所述检验处理线路，对所述复制后待处理数据进行处理，得到第二处理结果；通过输出单元305输出所述第一处理结果和所述第二处理结果。本申请可以在不影响数据处理线路的数据处理逻辑的情况下，复制待处理数据，将复制后待处理数据通过数据处理模型上的分支进行处理，进而得到检验结果，降低数据处理检验的成本。

本申请实施例还提供一种电子设备，如图4所示，其示出了本申请实施例所涉及的电子设备的结构示意图，该电子设备可以是终端或者服务器等，具体来讲：

该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，若该电子设备为终端，其还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

获取待处理数据以及数据处理模型，所述数据处理模型包括数据处理线路和所述数据处理线路对应的检验处理线路，其中，所述检验处理线路是由所述数据处理线路复制得到的；复制所述待处理数据，并将所述待处理数据发送给所述数据处理线路，将复制后待处理数据发送给所述检验处理线路；通过所述数据处理线路，对所述待处理数据进行处理，得到第一处理结果；通过所述检验处理线路，对所述复制后待处理数据进行处理，得到第二处理结果；输出所述第一处理结果和所述第二处理结果。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

由上可知，本实施例可以获取待处理数据以及数据处理模型，所述数据处理模型包括数据处理线路和所述数据处理线路对应的检验处理线路，其中，所述检验处理线路是由所述数据处理线路复制得到的；复制所述待处理数据，并将所述待处理数据发送给所述数据处理线路，将复制后待处理数据发送给所述检验处理线路；通过所述数据处理线路，对所述待处理数据进行处理，得到第一处理结果；通过所述检验处理线路，对所述复制后待处理数据进行处理，得到第二处理结果；输出所述第一处理结果和所述第二处理结果。本申请可以在不影响数据处理线路的数据处理逻辑的情况下，复制待处理数据，将得到的复制后待处理数据通过数据处理模型上的分支进行处理，进而得到检验结果，降低数据处理检验的成本。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种数据处理检验方法中的步骤。例如，该指令可以执行如下步骤：

获取待处理数据以及数据处理模型，所述数据处理模型包括数据处理线路和所述数据处理线路对应的检验处理线路，其中，所述检验处理线路是由所述数据处理线路复制得到的；复制所述待处理数据，并将所述待处理数据发送给所述数据处理线路，将复制后待处理数据发送给所述检验处理线路；通过所述数据处理线路，对所述待处理数据进行处理，得到第一处理结果；通过所述检验处理线路，对所述复制后待处理数据进行处理，得到第二处理结果；输出所述第一处理结果和所述第二处理结果。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种数据处理检验方法中的步骤，因此，可以实现本申请实施例所提供的任一种数据处理检验方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述数据处理检验方面的各种可选实现方式中提供的方法。

以上对本申请实施例所提供的一种数据处理检验方法和装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种数据处理检验方法，其特征在于，包括：

获取待处理数据以及数据处理模型，所述数据处理模型包括数据处理线路和所述数据处理线路对应的检验处理线路，其中，所述检验处理线路是由所述数据处理线路复制得到的；

复制所述待处理数据，并将所述待处理数据发送给所述数据处理线路，将复制后待处理数据发送给所述检验处理线路；

通过所述数据处理线路，对所述待处理数据进行处理，得到第一处理结果；

通过所述检验处理线路，对所述复制后待处理数据进行处理，得到第二处理结果；

输出所述第一处理结果和所述第二处理结果。

2.根据权利要求1所述的方法，其特征在于，所述获取待处理数据以及数据处理模型之前，还包括：

获取原始数据处理模型，所述原始数据处理模型包括数据处理线路，所述数据处理线路包括至少一个数据处理模块；

对所述数据处理线路进行复制，以生成所述数据处理线路对应的检验处理线路，得到线路复制后数据处理模型；

在线路复制后数据处理模型中添加数据复制模块，得到数据处理模型，所述数据复制模块作为所述数据处理线路和所述检验处理线路的共同数据输入端，所述数据复制模块用于对所述待处理数据进行复制。

3.根据权利要求2所述的方法，其特征在于，所述复制所述待处理数据，包括：

将所述待处理数据写入内存；

通过所述数据复制模块，在内存中对写入的待处理数据进行复制。

4.根据权利要求1所述的方法，其特征在于，所述输出所述第一处理结果和所述第二处理结果之后，还包括：

基于所述第一处理结果和所述第二处理结果，对所述数据处理线路的数据处理进行检验，得到检验结果。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当所述检验结果不符合预设要求时，对所述检验处理线路的数据处理逻辑进行调整；

基于调整后的检验处理线路，对所述数据处理模型进行更新，得到更新后数据处理模型；

将更新后数据处理模型作为新的数据处理模型，返回执行所述获取待处理数据以及数据处理模型的步骤，以得到符合预设要求的检验结果。

6.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在所述检验处理线路中添加数据过滤模块；

所述通过所述检验处理线路，对所述复制后待处理数据进行处理，得到第二处理结果，包括：

通过所述检验处理线路中的数据过滤模块，对所述复制后待处理数据进行过滤，得到过滤后的复制后待处理数据；

通过所述检验处理线路中的数据处理模块，对过滤后的复制后待处理数据进行处理，得到第二处理结果。

7.根据权利要求1所述的方法，其特征在于，所述复制所述待处理数据，包括：

获取所述数据处理模型当前的操作算子；

识别所述操作算子对应的操作类型；

当所述操作类型为数据复制操作时，对所述待处理数据进行复制。

8.根据权利要求7所述的方法，其特征在于，所述识别所述操作算子对应的操作类型之前，还包括：

获取所述待处理数据对应的数据处理模型的配置信息；

基于所述配置信息，对所述数据处理模型进行解析，生成操作算子，所述操作算子用于指示需要执行的数据处理逻辑。

9.根据权利要求2所述的方法，其特征在于，所述方法还包括：

展示所述原始数据处理模型的编辑页面，所述编辑页面包括所述原始数据处理模型中的数据处理线路；

响应于对所述数据处理线路的复制操作时，对所述数据处理线路进行复制，生成并展示所述数据处理线路对应的检验处理线路。

10.根据权利要求9所述的方法，其特征在于，所述数据处理线路包括至少一个数据处理模块；所述方法还包括：

当所述数据处理线路处于隐藏状态时，响应于针对所述数据处理线路的展开操作时，在所述编辑页面上显示所述数据处理线路的展开结构，所述展开结构包括所述数据处理线路中各个数据处理模块；

当所述数据处理线路处于展开状态时，响应于针对所述数据处理线路中各个数据处理模块的隐藏操作时，在所述编辑页面上显示各个数据处理模块对应的隐藏结构，所述隐藏结构包括对各个数据处理模块进行隐藏得到的数据处理线路。

11.一种数据处理检验装置，其特征在于，包括：

获取单元，用于获取待处理数据以及数据处理模型，所述数据处理模型包括数据处理线路和所述数据处理线路对应的检验处理线路，其中，所述检验处理线路是由所述数据处理线路复制得到的；

复制单元，用于复制所述待处理数据，并将所述待处理数据发送给所述数据处理线路，将复制后待处理数据发送给所述检验处理线路；

第一处理单元，用于通过所述数据处理线路，对所述待处理数据进行处理，得到第一处理结果；

第二处理单元，用于通过所述检验处理线路，对所述复制后待处理数据进行处理，得到第二处理结果；

输出单元，用于输出所述第一处理结果和所述第二处理结果。

Images