CN108156188A - 一种数据有效性检验系统 - Google Patents

Abstract

本发明涉及一种数据有效性检验系统，该系统包括一个或多个客户端，一个或多个上传服务器，分布式数据有效性检验平台，管理服务器，一个或者多个下载服务器；管理服务器对分布式数据有效性检验平台中的检验资源进行任务管理，对上传服务器和下载服务器进行管理，对客户端提供服务。该数据有效性检验系统能够对批量数据进行并行的处理，不依赖于用户自身的能力，可以进行自动化的、高安全性、高并行的数据有效性检验。

Description

一种数据有效性检验系统

【技术领域】

本发明属于数据处理领域，尤其涉及一种数据有效性检验系统。

【背景技术】

数据有效性检验是基于判定方法判断待检验数据是否是有效的，有效性验证的应用范围非常广泛，例如：有效性验证是数据清洗的一个常见步骤，是数据录入后的第一个重要步骤，是数据进一步处理之前的预处理基础。具体的检验过程中，如果用户输入性别信息，可以判断该性别信息的值是否是“男”或“女”，如果不是，那么这样的信息显然是无效的，无效的数据不能够用于进一步分析，也不能作为下一步工作的基础。

现有技术中的数据有效性验证工具都很简单，通常是基于excel或者简单的表单来进行验证，稍微复杂一些的验证方法需要用户自己编写验证程序。但是随着大数据时代的到来，验证数据的规模是海量的，用户所需要的验证规则也不能通过简单的excel来实现，为每种规则编写程序开销更是不可想象，基于上述诸多问题，现在亟需一种新的数据有效性验证方法和系统，能够对批量数据进行并行的处理，不依赖于用户自身的能力，可以进行自动化的、高安全性、高并行的数据有效性检验。

【发明内容】

为了解决现有技术中的上述问题，本发明提出了一种数据有效性检验系统，技术方案如下：该系统包括一个或多个客户端，一个或多个上传服务器，分布式数据有效性检验平台，管理服务器，一个或者多个下载服务器；

分布式数据有效性检验平台中包含多个数据有效性检验节点，每个数据有效性检验节点的处理能力是相同或者是不同的；

管理服务器对分布式数据有效性检验平台中的检验资源进行任务管理，对上传服务器和下载服务器进行管理，对客户端提供服务；

管理服务器还包括客户端访问模块，用于提供客户端访问GUI，对客户端提供服务器；客户端可以通过访问管理服务器来设置数据有效性检验规则，查看数据有效性检验进度；同一个客户端可以随时提交数据有效性检验请求，无需等待上一个数据有效性检验完成；客户端设置的数据有效性检验规则被客户端访问模块保存在本地存储器中；

用户通过客户端提交待检验数据，并在管理服务器的指示下将待检验数据提交到指定上传服务器；

上传服务器用于存放待检验数据，每个上传服务器均面向所有客户端提供数据上传服务，但是管理服务器在进行上传服务器分配时会考虑每个上传服务器当前的存储能力以及网络通信开销；

下载服务器用于存放经过有效性检验处理的结果数据，每个下载服务器面向所有的客户端提供结果数据，客户端可以直接通过访问下载服务器的方式获取自己提交的待检验数据对应的结果数据；下载服务器和客户端之间通过客户端标识和待检验数据签名来进行鉴权，只有两者均匹配时，下载服务器才会将相应的数据提供给客户端。

进一步的，数据有效性检验节点的处理能力包括计算能力、网络带宽能力、存储能力。

进一步的，数据有效性检验节点是分布式的计算节点。

进一步的，数据有效性检验节点是云计算服务节点。

进一步的，数据有效性检验节点之间并行的作数据有效性检验。

进一步的，客户端可以通过有线或者无线的方式和管理服务器连接。

进一步的，管理服务器在分配结果数据时会考虑到下载服务器当前的存储能力。

进一步的，客户端访问模块对客户端提供的服务包括通过下拉菜单的方式选择数据有效性检验规则。

进一步的，向用户提供可选择的规则，提供规则的组合方式，在最终形成的规则的旁边提示用户该规则对应的计算开销、收费情况。

进一步的，计算开销通过级别分类的方式呈现，而不呈现具体的数值。

本发明的有益效果包括：能够对批量数据进行并行的处理，不依赖于用户自身的能力，可以进行自动化的、高安全性、高并行的数据有效性检验。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1是本发明一种数据有效性检验系统的结构图。

【具体实施方式】

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

参见附图1，是本发明所应用的一种数据有效性检验系统，该系统包括一个或多个客户端，一个或多个上传服务器，分布式数据有效性检验平台，管理服务器，一个或者多个下载服务器；客户端可以通过有线或者无线的方式和管理服务器连接；

分布式数据有效性检验平台中包含多个数据有效性检验节点，每个数据有效性检验节点的处理能力是相同或者是不同的，主要包括计算能力不同，网络带宽能力不同、存储能力不同；数据有效性检验节点是分布式的计算节点；数据有效性检验节点可以是云计算服务节点；数据有效性检验节点之间并行的作数据有效性检验；

管理服务器对分布式数据有效性检验平台中的检验资源进行任务调度，对上传服务器和下载服务器进行管理，对客户端提供服务；

管理服务器还包括客户端访问模块，用于提供客户端访问GUI，对客户端提供服务器，例如：数据有效性检验规则设置等；客户端可以通过访问管理服务器来设置数据有效性检验规则，查看数据有效性检验进度；同一个客户端可以随时提交数据有效性检验请求，无需等待上一个数据有效性检验完成；客户端设置的数据有效性检验规则被客户端访问模块保存在本地存储器中；

用户通过客户端提交待检验数据，并在管理服务器的指示下将待检验数据提交到指定上传服务器；

上传服务器用于存放待检验数据，每个上传服务器均面向所有客户端提供数据上传服务，但是管理服务器在进行上传服务器分配时会考虑每个上传服务器当前的存储能力以及网络通信开销；

下载服务器用于存放经过有效性检验处理的结果数据，每个下载服务器面向所有的客户端提供结果数据，客户端可以直接通过访问下载服务器的方式获取自己提交的待检验数据对应的结果数据；下载服务器和客户端之间通过客户端标识和待检验数据签名来进行鉴权，只有两者均匹配时，下载服务器才会将相应的数据提供给客户端；管理服务器在分配结果数据时会考虑到下载服务器当前的存储能力；

基于上述系统，下面对本发明的一种数据有效性检验方法进行详细说明。

(1)客户端在需要进行数据有效性检验时，发出数据有效性检验请求给管理服务器，数据有效性检验请求中包含待检验数据的大小和签名、客户端标识；

客户端标识可以是该客户端的IP地址或客户端设备的MAC地址；客户端标识可以由管理服务器分配，每当一个新的客户端加入系统时，管理服务器为该客户端分配一个唯一的标识；

(2)管理服务器在收到客户端发出的数据有效性检验请求后，如果分布式数据有效性检验平台的数据有效性检验能力允许，则选择供提交的上传服务器，并给客户端发送同意检验消息，同意检验消息中携带供客户端进行待检验数据提交的上传服务器标识；

管理服务器接收到数据有效性检验请求后，从中提取待检验数据的大小和客户端标识，基于该客户端标识从本地存储器查找该客户端用户设置的数据有效性检验规则，基于待检验数据的大小判断分布式数据有效性检验平台的存储能力是否允许，基于数据有效性检验规则和待检验数据的大小判断分布式数据有效性检验平台的计算能力是否允许；由于不同的检验规则带来的计算量是不同的，因此在考虑计算能力时需要考虑检验规则；

优选的：基于待检验数据的大小判断分布式数据有效性检验平台的存储能力是否允许，具体为：判断是否存在剩余存储空间大于该待检验数据大小的上传服务器，如果存在，则存储能力允许，否则不允许；

优选的：基于检验规则中涉及的检验项数判断计算能力是否允许；

优选的：基于检验规则中涉及的检验算法的计算复杂度判断计算能力是否允许；

优选的：随着检验规则复杂度的增加和待检验数据的大小的增加，所要求的计算能力也随之增加；

选择进行提交的上传服务器，具体为：查看各个上传服务器的剩余空间大小，选择剩余空间大小和待检验数据大小最接近的前N个上传服务器作为待选上传服务器，从该N个上传服务器中选择和客户端之间通信开销最小的上传服务器作为所选择的上传服务器；其中N可以根据经验选择；

(3)客户端在接收到同意检验消息后，从消息中提取上传服务器标识，基于该标识将待检验数据发送给相应的上传服务器，数据提交完成后，客户端发送上传完成消息给管理服务器；

多个客户端可以并行的作数据上传，数据上传过程和数据处理可以并行执行，大大提高了执行效率，同时，将数据上传和数据有效性检验区分开来，形成数据隔离区域，保证了数据的安全性；

(4)管理服务器接收上传完成消息，基于该待检验数据创建数据有效性检验任务、分配任务编号，并将该客户端的数据有效性检验任务根据待检验数据量的大小分配到数据有效性检验节点中进行检验处理；

如果待检验数据量大于分布式数据有效性检验平台中任一个数据有效性检验节点的处理能力，则将该数据有效性检验任务基于预设的拆分策略进行拆分，拆分后形成多个子任务、分配子任务编号，并将该多个子任务分配到一个或者多个数据有效性检验节点中进行处理；具体的：获取所有数据有效性检验节点的可用存储空间大小C1～Cmax，其中，max为数据有效性检验节点的总量；如果任务T的待检验数据量大于分布式数据有效性检验平台中任一个数据有效性检验节点的可用存储空间大小，则将待检验数据拆分为第一部分和第二部分，其中第一部分的大小等于C1～Cmax中的最大值×P(不足最大值×P时按实际值，将所有的数据均分到第一部分)，基于该第一部分待检验数据生成子任务T1，并将该子任务T1分配到该最大值对应的数据有效性检验节点上，将该数据有效性检验节点的可用存储空间大小实时更新为0，如果拆分后的第二部分数据量不为0，则继续针对第二部分作拆分和任务分配，直到该第二部分数量为0为止；拆分后得到一个或者多个子任务；其中P是一个小于等于1的百分比值，由于经过检查的数据其大小会发生改变，需要提前考虑到这个数量的变化；P可以根据经验值设置；

拆分策略还可以是，获取所有数据有效性检验节点的可用存储空间大小的均值，将待检验数据拆分为该均值大小；

将该客户端的数据有效性检验任务根据待检验数据量的大小分配到数据有效性检验节点中进行检验处理，具体为：管理服务器查看各个数据有效性检验节点的可用存储空间大小，选择可用存储空间大小和待检验数据大小最接近的前M个数据有效性检验节点作为待选数据有效性检验节点，从该M个数据有效性检验节点中选择计算能力最强的数据有效性检验节点作为所选择的数据有效性检验节点；其中M可以根据经验选择；优选的，选择通信开销最小的数据有效性检验节点；

优选的：管理服务器为每个数据有效性检验任务分配唯一的任务编号；

优选的：可以选择计算能力和客户端设置的数据有效性检验规则最匹配的数据有效性检验节点作为所选择的数据有效性检验节点；

优选的：为优先级高的客户端选择缓存空间最大的检验节点作为所选择的数据有效性检验节点；为优先级低的客户端选择缓存空间最小的检验节点作为所选择的数据有效性检验节点；

优选的，将该客户端的数据有效性检验任务根据待检验数据量的大小分配到数据有效性检验节点中进行检验处理，具体为：将数据有效性检验任务分配到可用存储空间最大的数据有效性检验节点中；

(5)数据有效性检验节点从上传服务器读取所需要的待检验数据，并进行检验处理；具体为：数据有效性检验节点从管理服务器获取客户端指定的该任务的数据有效性检验规则，从上传服务器读取所需要的待检验数据，将待检验数据存储在本地存储空间中，并基于该检验规则进行数据有效性检验；

(6)数据有效性检验节点在完成检验任务/子任务的处理后，向一个或者多个下载服务器发送数据存放请求；

数据有效性检验节点在检验完成后，基于下载服务器选择策略选择一个或者多个下载服务器发送数据存放请求；选择策略可以是：选择最常使用的一个/一组下载服务器、或选择所有的下载服务器通过广播的方式发送请求、或选择通信开销最小的一个/一组下载服务器发送存放请求；

(7)下载服务器在接收到数据存放请求后，根据自身的存储能力，决定是否发送准予存放消息，如果存放能力允许，则向该数据有效性检验节点发送准予存放请求，如果不允许，则不予响应；其中，准予存放请求中携带该下载服务器的标识；

(8)数据有效性检验节点在接收到准予存放消息后，向该下载服务器发送应答消息；如果收到多个准予存放消息，则从中选择一个下载服务器；

选择一个下载服务器，具体为：选择通信开销最小的下载服务器、或选择响应最快的下载服务器；

(9)下载服务器在接收到应答消息后，向数据有效性检验节点发送应答完成消息；数据有效性检验节点在接收到应答完成消息后，将处理完成后的结果数据和对应的任务/子任务编号发送到该下载服务器；在存储完成后，数据有效性检验节点发送任务完成消息给管理服务器，消息中包含任务编号和下载服务器标识；

(10)下载服务器在接收到结果数据后，将该结果数据和其对应的任务/子任务编号关联存储；

同一下载服务器中可能存放不同任务及其结果数据，下载服务器对这些结果数据进行管理；

优选的：同一任务对应的结果数据保存在连续的存储空间中；

(11)管理服务器在接收到任务完成消息后，判断该任务是否经过拆分，如果未经过拆分，管理服务器发送关联消息给下载服务器，消息中携带该任务针对的待处理数据签名及客户端标识，跳转执行步骤(14)；如果经过拆分，一任务对应的所有子任务都完成后，任务管理服务器选择一下载服务器进行数据拼接，并发送数据转移指令给每个对该一任务的子任务进行处理的下载服务器，数据转移指令中携带该选择的用于数据拼接的下载服务器标识，继续步骤(12)；

判断任务是否经过拆分，具体为：基于任务编号判断该任务是否为子任务，如果不是，则没有经过拆分，如果是，则经过拆分；或，通过在本地存储器中保存的分配表来判断；管理服务器在进行任务分配或任务拆分时需要实时更新改分配表；

选择一下载服务器具体为：选择可用存储空间最大的下载服务器、从存放该一任务的所有子任务结果数据的下载服务器中选择存放最多子任务结果数据的下载服务器作为转移服务器(此时，数据转移量最小转移效率最高)、选择专用下载服务器(专用服务器专门用于转移结果数据)；

(12)下载服务器在接收到数据转移指令后，将该子任务对应的结果数据及其子任务标识发送给该选择的下载服务器，该选择的下载服务器在接收到结果数据后，按照其子任务标识的顺序进行结果数据拼接，并将任务编号和拼接完成后的结果数据关联存储；拼接完成后该选择的下载服务器发送拼接完成消息给管理服务器；

(13)管理服务器接收到拼接完成消息后，发送关联消息给下载服务器，消息中携带该任务针对的待处理数据签名及客户端标识；

(14)下载服务器将该待处理数据签名和客户端标识、任务标识和对应的结果数据关联存储，并发送关联完成消息给管理服务器；

下载服务器对结果数据进行管理，下载服务器中存放来自不同数据有效性检验节点的结果数据，基于待处理数据签名和客户端标识、任务标识对这些不同的结果数据存放于不同的存储空间；

(15)管理服务器发送任务完成消息给客户端，消息中携带下载服务器的标识；

对用户来说，并不知道所需要的数据存放在哪个下载服务器上，也不知道具体的存储位置，该下载服务器对于客户端来说是不可见的，也是不可以访问到的，只有在获取到标识后，才可以基于该标识访问一个下载服务器，因此下载服务器存储空间对于客户端来说是隔离的，通过隔离保证了客户端数据的安全性；

(16)客户端在接收到任务完成消息后，根据下载服务器的标识，向下载服务器发送数据获取请求，请求中携带待检验数据签名和客户端标识；

用户在获取到下载服务器标识后，并不能获取到该下载服务器上的所有数据，只能基于签名获取该客户端提交的待检验数据对应的结果数据；该数据签名是客户端在提交待检验数据的同时提交的，在整个数据处理过程中，只有管理服务器和该客户端可知，客户端需要同时基于该签名和客户端标识才能获取到所需要的数据，相当于一个双重的鉴权；

用户在获取到任务完成消息后，提取所需要的标识和签名信息，可以在任何需要结果数据的时候再发送请求，下载服务器起到数据管理和保存的作用；

下载服务器可以在数据有效期到达后删除该结果数据；

(17)下载服务器基于请求提取结果数据发送给客户端；

下载服务器获取和待检验数据签名和客户端标识均匹配的结果数据发送给客户端，在任一信息不匹配的时候，发送鉴权失败消息给客户端；

本发明的一种数据有效性检验系统，能够对批量数据进行并行的处理，不依赖于用户自身的能力，可以进行自动化的、高安全性、高并行的数据有效性检验。

以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (10)

1.一种数据有效性检验系统，其特征在于，该系统包括一个或多个客户端，一个或多个上传服务器，分布式数据有效性检验平台，管理服务器，一个或者多个下载服务器；

分布式数据有效性检验平台中包含多个数据有效性检验节点，每个数据有效性检验节点的处理能力是相同或者是不同的；

管理服务器对分布式数据有效性检验平台中的检验资源进行任务管理，对上传服务器和下载服务器进行管理，对客户端提供服务；

管理服务器还包括客户端访问模块，用于提供客户端访问GUI，对客户端提供服务器；客户端可以通过访问管理服务器来设置数据有效性检验规则，查看数据有效性检验进度；同一个客户端可以随时提交数据有效性检验请求，无需等待上一个数据有效性检验完成；客户端设置的数据有效性检验规则被客户端访问模块保存在本地存储器中；

用户通过客户端提交待检验数据，并在管理服务器的指示下将待检验数据提交到指定上传服务器；

上传服务器用于存放待检验数据，每个上传服务器均面向所有客户端提供数据上传服务，但是管理服务器在进行上传服务器分配时会考虑每个上传服务器当前的存储能力以及网络通信开销；

下载服务器用于存放经过有效性检验处理的结果数据，每个下载服务器面向所有的客户端提供结果数据，客户端可以直接通过访问下载服务器的方式获取自己提交的待检验数据对应的结果数据；下载服务器和客户端之间通过客户端标识和待检验数据签名来进行鉴权，只有两者均匹配时，下载服务器才会将相应的数据提供给客户端。

2.根据权利要求1所述的数据有效性检验系统，其特征在于，数据有效性检验节点的处理能力包括计算能力、网络带宽能力、存储能力。

3.根据权利要求1所述的数据有效性检验系统，其特征在于，数据有效性检验节点是分布式的计算节点。

4.根据权利要求1所述的数据有效性检验系统，其特征在于，数据有效性检验节点是云计算服务节点。

5.根据权利要求1所述的数据有效性检验系统，其特征在于，数据有效性检验节点之间并行的作数据有效性检验。

6.根据权利要求1所述的数据有效性检验系统，其特征在于，客户端可以通过有线或者无线的方式和管理服务器连接。

7.根据权利要求1所述的数据有效性检验系统，其特征在于，管理服务器在分配结果数据时会考虑到下载服务器当前的存储能力。

8.根据权利要求7所述的数据有效性检验系统，其特征在于，客户端访问模块对客户端提供的服务包括通过下拉菜单的方式选择数据有效性检验规则。

9.根据权利要求8所述的数据有效性检验系统，其特征在于，向用户提供可选择的规则，提供规则的组合方式，在最终形成的规则的旁边提示用户该规则对应的计算开销、收费情况。

10.根据权利要求7所述的数据有效性检验系统，其特征在于，计算开销通过级别分类的方式呈现，而不呈现具体的数值。