CN113296989A - 校验方法、装置、电子设备及计算机可读存储介质 - Google Patents

Abstract

本公开实施例公开了一种校验方法、装置、电子设备及计算机可读存储介质，所述方法包括：获取对象的数据请求；解析所述对象的数据请求，得到待校验数据；将所述待校验数据输入预训练过的校验模型，预测所述对象的数据请求校验结果，其中，所述校验模型是基于对象的历史数据请求日志预训练得到的。该技术方案操作简单、不仅能够节省操作时间和复杂度、节约人力投入，还能够有效降低后期维护成本。

Description

校验方法、装置、电子设备及计算机可读存储介质

技术领域

本公开实施例涉及数据处理技术领域，具体涉及一种校验方法、装置、电子设备及计算机可读存储介质。

背景技术

随着数据技术的发展，远程数据请求和传输越来越频繁，传输的数据量也越来越大。在请求方请求某一对象数据的时候，通常需要携带与请求数据相关的参数，后台服务器或者服务人员需要对于请求数据参数以及参数对应的数据是否正确且有效进行判断，现有技术中，通常采用定值校验和正则表达式校验的方法，其中，所述定值校验方法指的是通过配置特定的1个或多个校验值，在请求方请求数据时进行校验，但该方法需要提前建立所有的校验规则，操作复杂而且耗时；所述正则表达式校验方法指的是使用提前配置好的正则表达式，在请求方请求数据时进行校验，但该方法后期维护成本较高，当校验内容需要变动时，修改操作较为复杂。因此，亟需一个操作简单、能够节省操作时间和复杂度、节约人力投入的数据校验方案。

发明内容

本公开实施例提供一种校验方法、装置、电子设备及计算机可读存储介质。

第一方面，本公开实施例中提供了一种校验方法。

具体的，所述校验方法，包括：

获取对象的数据请求；

解析所述对象的数据请求，得到待校验数据；

将所述待校验数据输入预训练过的校验模型，预测所述对象的数据请求校验结果，其中，所述校验模型是基于对象的历史数据请求日志预训练得到的。

结合第一方面，本公开实施例在第一方面的第一种实现方式中，所述解析所述对象的数据请求，得到待校验数据，被实施为：

对于所述对象的数据请求进行解析及分级缓存，获取待校验数据。

结合第一方面和第一方面的第一种实现方式，本公开实施例在第一方面的第二种实现方式中，所述对于所述对象的数据请求进行解析及分级缓存，获取待校验数据，被实施为：

对于所述对象的数据请求进行解析，得到所述对象的数据请求的有效数据；

将所述对象的数据请求的有效数据存储至首级缓存中，并从所述首级缓存中获取预先存储的首级对比数据；

匹配所述对象的数据请求的有效数据与所述首级对比数据，若所述对象的数据请求的有效数据中存在与所述首级对比数据对应的数据，将与所述首级对比数据对应的数据及其下级数据作为候选待校验数据存储至次级缓存中，并从所述次级缓存中获取预先存储的次级对比数据；

匹配所述候选待校验数据与所述次级对比数据，若所述候选待校验数据中存在与所述次级对比数据对应的数据，将与所述次级对比数据对应的数据及其下级数据作为更新后的候选待校验数据存储至下级缓存中；

遍历各级缓存中的对比数据，将经与末级对比数据匹配后得到的候选待校验数据作为所述待校验数据。

结合第一方面、第一方面的第一种实现方式和第一方面的第二种实现方式，本公开在第一方面的第三种实现方式中，所述将所述待校验数据输入预训练过的校验模型，预测所述对象的数据请求校验结果之前，还包括：

确定预设校验模型，利用对象的历史数据请求日志对于所述预设校验模型进行离线训练，得到所述校验模型。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式和第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，所述利用对象的历史数据请求日志对于所述预设校验模型进行离线训练，得到所述校验模型，被实施为：

通过消息中间件获取对象的历史数据请求日志；

对于所述历史数据请求日志进行异常数据过滤；

对于异常数据过滤后得到的历史数据请求日志进行解析，获取所述历史数据请求日志中不同参数的数据特征；

利用所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式和第一方面的第四种实现方式，本公开在第一方面的第五种实现方式中，所述对于所述历史数据请求日志进行异常数据过滤之前，还包括：

对于所述历史数据请求日志基于预设格式信息进行格式归一化处理。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式、第一方面的第四种实现方式和第一方面的第五种实现方式，本公开在第一方面的第六种实现方式中，所述对于所述历史数据请求日志进行异常数据过滤之前，还包括：

为所述历史数据请求日志配置标识信息，以进行区别性存储。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式、第一方面的第四种实现方式、第一方面的第五种实现方式和第一方面的第六种实现方式，本公开在第一方面的第七种实现方式中，所述利用所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型，被实施为：

将所述数据特征作为所述预设校验模型的输入，将所述数据特征对应的数据作为所述预设校验模型的输出进行离线训练，得到所述校验模型。

结合第一方面、第一方面的第一种实现方式、第一方面的第二种实现方式、第一方面的第三种实现方式、第一方面的第四种实现方式、第一方面的第五种实现方式、第一方面的第六种实现方式和第一方面的第七种实现方式，本公开在第一方面的第八种实现方式中，所述利用所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型之后，还包括：

获取预设数据校验要求信息，并根据所述预设数据校验要求信息对于所述校验模型进行调整。

第二方面，本公开实施例中提供了一种校验方法。

具体的，所述校验方法，包括：

获取广告请求端的广告数据请求；

解析广告请求端的所述广告数据请求，得到待校验数据；

将所述待校验数据输入预训练过的校验模型，预测所述广告数据请求校验结果，其中，所述校验模型是基于广告历史数据请求日志预训练得到的。

第三方面，本公开实施例中提供了一种校验方法。

具体的，所述校验方法，包括：

控制器接收对象的数据请求，并将所述对象的数据请求转发给在线服务器；

在线服务器解析所述对象的数据请求，得到待校验数据，并将所述待校验数据输入预训练过的校验模型，预测所述对象的数据请求校验结果，并将所述对象的数据请求校验结果反馈给所述控制器。

结合第三方面，本公开实施例在第三方面的第一种实现方式中，所述在线服务器解析所述对象的数据请求，得到待校验数据，被实施为：

所述在线服务器对于所述对象的数据请求进行解析，得到所述对象的数据请求的有效数据；

将所述对象的数据请求的有效数据存储至首级缓存中，并从所述首级缓存中获取预先存储的首级对比数据；

匹配所述对象的数据请求的有效数据与所述首级对比数据，若所述对象的数据请求的有效数据中存在与所述首级对比数据对应的数据，将与所述首级对比数据对应的数据及其下级数据作为候选待校验数据存储至次级缓存中，并从所述次级缓存中获取预先存储的次级对比数据；

匹配所述候选待校验数据与所述次级对比数据，若所述候选待校验数据中存在与所述次级对比数据对应的数据，将与所述次级对比数据对应的数据及其下级数据作为更新后的候选待校验数据存储至下级缓存中；

遍历各级缓存中的对比数据，将经与末级对比数据匹配后得到的候选待校验数据作为所述待校验数据。

结合第三方面和第三方面的第一种实现方式，本公开实施例在第三方面的第二种实现方式中，还包括：

离线服务器获取对象的历史数据请求日志，确定预设校验模型，利用所述历史数据请求日志对于所述预设校验模型进行离线训练，得到所述校验模型。

结合第三方面、第三方面的第一种实现方式和第三方面的第二种实现方式，本公开在第三方面的第三种实现方式中，所述离线服务器获取对象的历史数据请求日志，确定预设校验模型，利用所述历史数据请求日志对于所述预设校验模型进行离线训练，得到所述校验模型，被实施为：

所述离线服务器通过消息中间件获取对象的历史数据请求日志；

对于所述历史数据请求日志进行异常数据过滤；

对于异常数据过滤后得到的历史数据请求日志进行解析，获取所述历史数据请求日志中不同参数的数据特征；

利用所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型。

结合第三方面、第三方面的第一种实现方式、第三方面的第二种实现方式和第三方面的第三种实现方式，本公开在第三方面的第四种实现方式中，所述对于所述历史数据请求日志进行异常数据过滤之前，还包括：

对于所述历史数据请求日志基于预设格式信息进行格式归一化处理。

结合第三方面、第三方面的第一种实现方式、第三方面的第二种实现方式、第三方面的第三种实现方式和第三方面的第四种实现方式，本公开在第三方面的第五种实现方式中，所述对于所述历史数据请求日志进行异常数据过滤之前，还包括：

为所述历史数据请求日志配置标识信息，以进行区别性存储。

结合第三方面、第三方面的第一种实现方式、第三方面的第二种实现方式、第三方面的第三种实现方式、第三方面的第四种实现方式和第三方面的第五种实现方式，本公开在第三方面的第六种实现方式中，所述利用所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型，被实施为：

将所述数据特征作为所述预设校验模型的输入，将所述数据特征对应的数据作为所述预设校验模型的输出进行离线训练，得到所述校验模型。

结合第三方面、第三方面的第一种实现方式、第三方面的第二种实现方式、第三方面的第三种实现方式、第三方面的第四种实现方式、第三方面的第五种实现方式和第三方面的第六种实现方式，本公开在第三方面的第七种实现方式中，还包括：

所述控制器获取预设数据校验要求信息，并将所述预设数据校验要求信息发送给所述离线服务器，以使所述离线服务器根据所述预设数据校验要求信息对于所述校验模型进行调整。

第四方面，本公开实施例中提供了一种校验装置。

具体的，所述校验装置，包括：

第一获取模块，被配置为获取对象的数据请求；

第一解析模块，被配置为解析所述对象的数据请求，得到待校验数据；

第一校验模块，被配置为将所述待校验数据输入预训练过的校验模型，预测所述对象的数据请求校验结果，其中，所述校验模型是基于对象的历史数据请求日志预训练得到的。

第五方面，本公开实施例中提供了一种校验装置。

具体的，所述校验装置，包括：

第二获取模块，被配置为获取广告请求端的广告数据请求；

第二解析模块，被配置为解析广告请求端的所述广告数据请求，得到待校验数据；

第二校验模块，被配置为将所述待校验数据输入预训练的校验模型预测，得到广告数据请求校验结果，其中，所述校验模型是基于广告历史数据请求日志预训练得到的。

第六方面，本公开实施例中提供了一种校验系统。

具体的，所述校验系统，包括：

控制器，被配置为接收对象的数据请求，并将所述对象的数据请求转发给在线服务器；

在线服务器，被配置为解析所述对象的数据请求，得到待校验数据，并将所述待校验数据输入预训练过的校验模型，预测所述对象的数据请求校验结果，并将所述对象的数据请求校验结果反馈给所述控制器。

结合第六方面，本公开实施例在第六方面的第一种实现方式中，还包括：

离线服务器，被配置为获取对象的历史数据请求日志，确定预设校验模型，利用所述历史数据请求日志对于所述预设校验模型进行离线训练，得到所述校验模型。

第七方面，本公开实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条支持校验装置执行上述校验方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述校验装置还可以包括通信接口，用于校验装置与其他设备或通信网络通信。

第八方面，本公开实施例提供了一种计算机可读存储介质，用于存储校验装置所用的计算机指令，其包含用于执行上述校验方法为校验装置所涉及的计算机指令。

本公开实施例提供的技术方案可包括以下有益效果：

上述技术方案通过离线训练校验模型，使用所述校验模型对于在线对象数据请求解析得到的待校验数据进行实时校验。该技术方案操作简单、不仅能够节省操作时间和复杂度、节约人力投入，还能够有效降低后期维护成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开实施例。

附图说明

结合附图，通过以下非限制性实施方式的详细描述，本公开实施例的其它特征、目的和优点将变得更加明显。在附图中：

图1示出根据本公开一实施方式的校验方法的流程图；

图2示出根据本公开一实施方式的校验方法的整体流程图；

图3示出根据本公开一实施方式的校验方法的系统时序图；

图4示出根据本公开另一实施方式的校验方法的流程图；

图5示出根据本公开再一实施方式的校验方法的流程图；

图6示出根据本公开一实施方式的校验装置的结构框图；

图7示出根据本公开另一实施方式的校验装置的结构框图；

图8示出根据本公开再一实施方式的校验装置的结构框图；

图9是适于用来实现根据本公开一实施方式的校验方法的计算机系统的结构示意图。

具体实施方式

下文中，将参考附图详细描述本公开实施例的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。

在本公开实施例中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开实施例。

本公开实施例提供的技术方案通过离线训练校验模型，使用所述校验模型对于在线对象数据请求解析得到的待校验数据进行实时校验。该技术方案操作简单、不仅能够节省操作时间和复杂度、节约人力投入，还能够有效降低后期维护成本。

图1示出根据本公开一实施方式的校验方法的流程图，如图1所示，所述校验方法包括以下步骤S101-S103：

在步骤S101中，获取对象的数据请求；

在步骤S102中，解析所述对象的数据请求，得到待校验数据；

在步骤S103中，将所述待校验数据输入预训练过的校验模型，预测所述对象的数据请求校验结果，其中，所述校验模型是基于对象的历史数据请求日志预训练得到的。

上文提及，随着数据技术的发展，远程数据请求和传输越来越频繁，传输的数据量也越来越大。在请求方请求某一对象数据的时候，通常需要携带与请求数据相关的参数，后台服务器或者服务人员需要对于请求数据参数以及参数对应的数据是否正确且有效进行判断，现有技术中，通常采用定值校验和正则表达式校验的方法，其中，所述定值校验方法指的是通过配置特定的1个或多个校验值，在请求方请求数据时进行校验，但该方法需要提前建立所有的校验规则，操作复杂而且耗时；所述正则表达式校验方法指的是使用提前配置好的正则表达式，在请求方请求数据时进行校验，但该方法后期维护成本较高，当校验内容需要变动时，修改操作较为复杂。因此，亟需一个操作简单、能够节省操作时间和复杂度、节约人力投入的数据校验方案。

考虑到上述问题，在该实施方式中，提出一种校验方法，该方法通过离线训练校验模型，使用所述校验模型对于在线对象数据请求解析得到的待校验数据进行实时校验。该技术方案操作简单、不仅能够节省操作时间和复杂度、节约人力投入，还能够有效降低后期维护成本。

在本公开一实施方式中，所述校验方法可适用于可执行校验处理的计算机、计算设备、电子设备、服务器、服务集群等。

在本公开一实施方式中，所述对象指的是包含一定的同类相关数据、可被请求、可被传输且可被显示的对象，比如对于某一事物或者某一类事物的提示和说明、对于某一物品或者某一类物品的宣传或广告等等。

在本公开一实施方式中，所述对象的数据请求指的是对象数据请求方发出的请求获取某一对象的数据的请求，其中，所述对象数据请求方可以为某一用户、某一应用程序，也可以为某一设备。其中，所述对象的数据请求可包括以下参数中的一种或多种：对象适用应用环境信息、对象数据请求方中对象数据加载位置信息、对象数据请求方地理位置信息、对象数据请求方域名信息、对象数据请求参数及其对应的数据。其中，所述对象适用应用环境信息用于表征对象目前所处的应用环境，比如，当前对象使用的或者适用的操作系统版本信息等等；所述对象数据请求方中对象数据加载位置信息指的是，当所述对象数据请求方请求得到所需要的对象数据后，将其加载在哪个位置，比如，若所述对象为广告，所述对象数据请求方为某一应用程序，则所述对象数据请求方中对象数据加载位置信息指的就是所述应用程序加载或者显示广告的位置；所述对象数据请求方域名信息指的是所述对象数据请求方所在的域名信息，比如搜狐、新浪、淘宝等等；所述对象数据请求参数及其对应的数据指的是所述对象的数据请求中所包括的参数的名称、参数的数量、参数的类型以及参数所对应的数值范围。

在本公开一实施方式中，所述对象的数据请求日志指的是基于所述对象数据请求方发出的对象的数据请求所形成的日志。其中，所述对象的数据请求日志可包括以下信息中的一种或多种：对象数据请求时间、对象数据请求方版本信息、对象数据请求方操作系统版本信息、对象数据请求方应用环境信息、所述对象数据请求参数信息等等。其中，所述对象数据请求参数信息可包括所述对象数据请求参数的名称、数量、类型及其对应的数值范围等等。

在本公开一实施方式中，所述对象的数据请求可由对象数据请求方向对象服务器发出，所述对象的数据请求日志可由日志组件向对象服务器请求获得。在本公开另一实施方式中，所述对象的数据请求日志也可借助预先设置的代理组件来获取。

在本公开一实施方式中，所述待校验数据指的是存在于所述对象的数据请求中、需要进行校验以确定该数据是否正确或者有效的数据，其中，所述待校验数据可以为所述对象的数据请求中的域名信息，也可以为所述对象的数据请求携带的某一种或几种参数类型，还可以为所述对象的数据请求携带的某一种或几种参数对应的数值。

在本公开一实施方式中，所述校验模型指的是用于判断所述待校验数据是否正确或有效的模型，其中，所述校验模型是基于对象的历史数据请求日志通过离线训练得到的。所述校验模型可包括某一特定数据应当为什么内容，或者某一参数应当为什么类型，再或者某一参数的数值应当处于什么范围等等。

在本公开一实施方式中，所述对象的数据请求校验结果指的是利用所述校验模型对于所述待校验数据进行校验后得到的结果，比如，某一待校验数据是正确还是错误，是有效还是无效，或者其取值符合或不符合预设的数值范围等等。

在本公开一实施方式中，所述校验结果在得到之后将会实时进行反馈，比如可通过Web页面、表格、文档、消息等形式反馈给反馈接收方或者所述代理组件，其中，所述反馈接收方既可以为所述对象数据请求方，也可以为对象数据请求测试人员或者对象数据请求测试设备，还可以为其他需要接收该数据请求校验结果的一方。

在本公开一实施方式中，所述步骤S102，即解析所述对象的数据请求，得到待校验数据的步骤，可被实施为：

对于所述对象的数据请求进行解析及分级缓存，获取待校验数据。

考虑到某一时间或者某一时间段所得到的对象的数据请求数量可能较多，数据处理量较大，因此，在该实施方式中，在对所述对象的数据请求进行解析，获取待校验数据时，采用解析和分级缓存的方式来获取所述对象的数据请求的待校验数据，以减轻数据处理压力，减少数据处理延时，增强数据处理的实时性。

在本公开一实施方式中，所述对于所述对象的数据请求进行解析及分级缓存，获取待校验数据的步骤，可被实施为：

对于所述对象的数据请求进行解析，得到所述对象的数据请求的有效数据；

将所述对象的数据请求的有效数据存储至首级缓存中，并从所述首级缓存中获取预先存储的首级对比数据；

匹配所述对象的数据请求的有效数据与所述首级对比数据，若所述对象的数据请求的有效数据中存在与所述首级对比数据对应的数据，将与所述首级对比数据对应的数据及其下级数据作为候选待校验数据存储至次级缓存中，并从所述次级缓存中获取预先存储的次级对比数据；

匹配所述候选待校验数据与所述次级对比数据，若所述候选待校验数据中存在与所述次级对比数据对应的数据，将与所述次级对比数据对应的数据及其下级数据作为更新后的候选待校验数据存储至下级缓存中；

遍历各级缓存中的对比数据，将经与末级对比数据匹配后得到的候选待校验数据作为所述待校验数据。

为了减轻数据处理压力，减少数据处理延时，增强数据处理的实时性，同时考虑到并非所有的对象数据请求都会包括需要进行校验的数据，因此，在该实施方式中，在获取待校验数据的时候，采用解析及分级缓存的方式。具体地，首先对于所述对象的数据请求进行解析，去除对于校验无效的数据，得到所述对象的数据请求的有效数据，比如请求目的域名数据等等；然后预先设置多级缓存空间，以对于解析得到的有效数据进行分级存储，其中，所述多级缓存空间中预先存储有预设的多级对比数据，所述多级对比数据用作与所述对象的数据请求的有效数据进行对比以判断所述对象的数据请求中是否存在后续需要进行校验的数据；然后将有可能包括待检验数据的所述对象的数据请求的有效数据存储至首级缓存中，从所述首级缓存中获取预先存储的首级对比数据，与所述对象的数据请求的有效数据进行匹配对比，来确定所述对象的数据请求的有效数据中是否存在与所述首级对比数据对应的数据，若所述对象的数据请求的有效数据中存在与所述首级对比数据对应的数据，则认为所述对象的数据请求的有效数据中存在需要进行校验或者需要进行进一步确定以判断是否需要进行校验的数据，将与所述首级对比数据对应的数据及其下级数据作为候选待校验数据存储至次级缓存中，并从所述次级缓存中获取预先存储的次级对比数据，将其与所述候选待校验数据再进行匹配对比，若所述候选待校验数据中存在与所述次级对比数据对应的数据，类似地，将与所述次级对比数据对应的数据及其下级数据作为更新后的候选待校验数据存储至下级缓存中；以此类推，直至遍历完毕各级缓存中的对比数据，最终将经与末级对比数据匹配后得到的最新的候选待校验数据作为所述待校验数据。

比如，假设所述缓存空间为两级，首级对比数据为预设域名数据，且所述对象的数据请求的有效数据中含有与所述预设域名数据对应的域名数据，比如与所述预设域名数据一致的域名数据：域名1和域名2，则将所述对象的数据请求的有效数据中与所述预设域名数据对应的数据及其下级数据域名1：参数1和参数2，域名2：参数4作为候选待校验数据存储至次级缓存中，从所述次级缓存中获取预先存储的次级对比数据，假设所述次级对比数据为域名1：参数1和参数2，域名2：参数3，很明显，所述候选待校验数据中包括域名1及其下级数据参数1和参数2，域名2的下级数据与所述次级对比数据不一致，此时则将域名1：参数1和参数2作为最终的待校验数据。

在本公开另一实施方式中，所述对于所述对象的数据请求进行解析，得到所述对象的数据请求的有效数据的步骤也可以在所述分级缓存步骤之后进行，即，所述对于所述对象的数据请求进行解析及分级缓存，获取待校验数据的步骤，可被实施为：

将所述对象的数据请求存储至首级缓存中，并从所述首级缓存中获取预先存储的首级对比数据；

匹配所述对象的数据请求与所述首级对比数据，若所述对象的数据请求中存在与所述首级对比数据对应的数据，将与所述首级对比数据对应的数据及其下级数据作为候选待校验数据存储至次级缓存中，并从所述次级缓存中获取预先存储的次级对比数据；

匹配所述候选待校验数据与所述次级对比数据，若所述候选待校验数据中存在与所述次级对比数据对应的数据，将与所述次级对比数据对应的数据及其下级数据作为更新后的候选待校验数据存储至下级缓存中；

遍历各级缓存中的对比数据，将经与末级对比数据匹配后得到的候选待校验数据；

对于所述候选待校验数据进行解析，将得到的所述候选待校验数据的有效数据作为所述待校验数据。

在本公开一实施方式中，所述步骤S103，即将所述待校验数据输入预训练过的校验模型，预测所述对象的数据请求校验结果之前，还包括以下步骤：

确定预设校验模型，利用对象的历史数据请求日志对于所述预设校验模型进行离线训练，得到所述校验模型。

为了节省在线数据处理资源，提高在线数据处理速度，在该实施方式中，首先确定预设校验模型，然后基于预设历史时间段内得到的对象的历史数据请求日志对于所述预设校验模型进行离线训练，得到所述校验模型。

在本公开一实施方式中，所述利用对象的历史数据请求日志对于所述预设校验模型进行离线训练，得到所述校验模型的步骤，可被实施为：

通过消息中间件获取对象的历史数据请求日志；

对于所述历史数据请求日志进行异常数据过滤；

对于异常数据过滤后得到的历史数据请求日志进行解析，获取所述历史数据请求日志中不同参数的数据特征；

利用所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型。

在该实施方式中：

首先，通过消息中间件获取预设历史时间段内的对象的历史数据请求日志，在所述历史数据请求日志被获取得到之后，还可对其进行持久化操作，其中，所述预设历史时间段可根据实际应用的需要进行设置，所述消息中间件可以为技术市场上可用的大容量异步流式日志消息中间件，所述历史数据请求日志是与对象的历史数据请求对应的日志数据，所述历史数据请求指的是由历史数据请求方发出的请求获取某一对象数据的请求，与所述数据请求方类似，所述历史数据请求方可以为某一用户、某一应用程序，也可以为某一设备。

然后，对于所述历史数据请求日志中的异常数据进行过滤，其中，所述异常数据指的是非常规的、无效的数据，比如噪声数据、测试人员输入的与正常数据获取请求日志无关的测试数据等等。在对异常数据进行过滤时，可采用现有技术中的异常数据过滤方法，对其本公开不再赘述。

然后对于经过异常数据过滤后得到的历史数据请求日志进行解析，获取所述历史数据请求日志中不同参数的数据特征，其中，所述数据特征可包括以下特征中的一种或多种：参数类型、参数对应的数据类型、参数对应的数据数值范围、参数之间的关联关系以及参数对应的数据之间的关联关系，比如，某一参数是系统级参数还是应用级参数；某一参数对应的数据类型是长整型还是短整型；某一参数对应的数据的数值范围是多少；某两个或者某几个参数之间是否存在关联关系以及什么关联关系；某个参数在不同的应用环境中是否存在关联关系，比如，某一参数在操作系统1中的值应当为A，而在操作系统2中的值应当为B，这就意味着该参数在不同的应用环境中存在关联关系；某两个或者某几个参数对应的数据之间是否存在关联关系以及什么关联关系；等等。

最后利用解析得到的所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型。

在本公开一实施方式中，所述对于所述历史数据请求日志进行异常数据过滤的步骤之前，还包括以下步骤：

对于所述历史数据请求日志基于预设格式信息进行格式归一化处理。

为了提高数据处理效率，在该实施方式中，还对于所述历史数据请求日志基于预设格式信息进行格式归一化处理，以使所述历史数据请求日志具有统一的、与所述预设格式信息一致的数据结构，其中，所述预设格式信息可根据实际应用的需要以及待处理数据的特定预先设置。

在本公开一实施方式中，所述对于所述历史数据请求日志进行异常数据过滤的步骤之前，还包括以下步骤：

为所述历史数据请求日志配置标识信息，以进行区别性存储。

其中，所述标识信息指的是用于对于所述历史数据请求日志进行区别性标识的信息，比如ID信息等等，标识信息的配置使得所述历史数据请求日志能够进行可区别、有序的存储，同时还能够方便对于所述历史数据请求日志的追溯。

在本公开一实施方式中，所述利用所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型的步骤，可被实施为：

将所述数据特征作为所述预设校验模型的输入，将所述数据特征对应的数据作为所述预设校验模型的输出进行离线训练，得到所述校验模型。

在得到可作为训练数据的数据特征之后，就可以确定一个可用的预设校验模型，比如决策树模型等等，然后将所述数据特征作为所述预设校验模型的输入，将所述数据特征对应的数据，比如参数，作为所述预设校验模型的输出进行离线训练以得到所述校验模型。

在本公开一实施方式中，在利用所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型之后，还包括：

获取预设数据校验要求信息，并根据所述预设数据校验要求信息对于所述校验模型进行调整。

考虑到在实际应用中，数据请求方或者其他相关方有可能对于所述数据请求日志的校验存在明确的、特殊的要求，该要求对于所述数据请求日志的校验来说更有效且更具针对性，因此，在该实施方式中，需要同时考虑所述数据请求方或者其他相关方提供的对于所述数据请求日志校验的要求，即预设数据校验要求信息，以对于所述校验模型进行完善，从而形成一个数据学习、数据校验、要求反馈、数据再学习的信息闭环。也就是说，若接收到所述预设数据校验要求信息，则需要根据所述预设数据校验要求信息对于所述校验模型进行调整，比如，对于所述校验模型的训练数据进行修改或调整，其中，所述预设数据校验要求信息可包括以下信息中的一种或多种：预设校验参数、所述预设校验参数的类型、所述预设校验参数对应的数值、预设校验数据、预设校验数据的类型、预设校验数据数值等等，这样就可以根据所述预设数据校验要求信息的具体内容对于所述校验模型的训练数据进行修改或调整了。

在本公开一实施方式中，所述预设数据校验要求信息可从预设数据库中获取，也就是说，所述数据请求方或者其他相关方可先将所述预设数据校验要求信息存入预先指定或设置的数据库中，再由所述校验服务器从所述预设数据库中获取。

图2示出根据本公开一实施方式的校验方法的整体流程图。如图2所示，在在线流程中，多个数据请求方在线发出对象的数据请求，通过对于所述对象的数据请求进行解析和分级缓存，得到待校验数据，然后利用离线训练到的校验模型对于所述待校验数据，预测所述数据请求校验结果。在离线流程中，获取一个或多个数据请求方发出的对象的历史数据请求日志，对于所述历史数据请求日志进行格式归一化处理，并为经过格式归一化处理后的历史数据请求日志配置相应的标识信息，然后对于所述历史数据请求日志中的异常数据进行过滤，对于经过异常数据过滤后得到的历史数据请求日志进行解析，获取得到所述历史数据请求日志中不同参数的数据特征，利用所述数据特征对于预设校验模型进行离线训练，即可得到所述校验模型，输送给在线服务，另外，相关方发送的预设数据校验要求信息会在校验模型训练中进行考虑，以对校验模型进行修改或调整。

图3示出根据本公开一实施方式的校验方法的系统时序图。如图3所示，在离线流程中，历史数据请求方向校验服务器发出历史数据请求，日志组件从校验服务器处请求获得对应的历史数据请求日志，校验服务器对于历史数据请求日志进行持久化处理、格式归一化处理、异常数据过滤、解析处理后得到数据特征并进行离线训练得到校验模型，发送给在线服务，另外，相关方，比如数据请求方，发送的预设数据校验要求信息会在校验模型离线训练中进行考虑。在在线服务中，校验服务器借助代理组件获取与数据请求方发出的数据请求对应的数据请求日志，校验服务器对于数据请求日志进行解析和分级缓存，得到待校验数据，然后利用离线训练到的校验模型对于所述待校验数据进行预测，得到数据请求校验结果，反馈给代理组件或者反馈接收方。

在本公开一实施方式中，所述校验方法可用于对于广告数据请求进行校验，此时，所述对象为广告，如图4所示，当对于广告数据请求进行校验时，所述校验方法包括以下步骤S401-S403：

在步骤S401中，获取广告请求端的广告数据请求；

在步骤S402中，解析广告请求端的所述广告数据请求，得到待校验数据；

在步骤S403中，将所述待校验数据输入预训练过的校验模型，预测所述广告数据请求校验结果，其中，所述校验模型是基于广告历史数据请求日志预训练得到的。

所述校验方法通过离线训练校验模型，使用所述校验模型对于在线广告数据请求解析得到的待校验数据进行实时校验。该技术方案操作简单、不仅能够节省操作时间和复杂度、节约人力投入，还能够有效降低后期维护成本。

在本公开一实施方式中，所述校验方法可适用于可执行广告数据请求校验处理的计算机、计算设备、电子设备、服务器、服务集群等。

图4所示及相关实施方式中涉及的技术术语和技术特征与图1-3所示及相关实施方式中提及的技术术语和技术特征相同或相似，对于图4所示及相关实施方式中涉及的技术术语和技术特征的解释和说明可参考上述对于图1-3所示及相关实施方式的解释的说明，此处不再赘述。

图5示出根据本公开再一实施方式的校验方法的流程图，如图5所示，所述校验方法包括以下步骤S501-S502：

在步骤S501中，控制器接收对象的数据请求，并将所述对象的数据请求转发给在线服务器；

在步骤S502中，在线服务器解析所述对象的数据请求，得到待校验数据，并将所述待校验数据输入预训练过的校验模型，预测所述对象的数据请求校验结果，并将所述对象的数据请求校验结果反馈给所述控制器。

上文提及，随着数据技术的发展，远程数据请求和传输越来越频繁，传输的数据量也越来越大。在请求方请求某一对象数据的时候，通常需要携带与请求数据相关的参数，后台服务器或者服务人员需要对于请求数据参数以及参数对应的数据是否正确且有效进行判断，现有技术中，通常采用定值校验和正则表达式校验的方法，其中，所述定值校验方法指的是通过配置特定的1个或多个校验值，在请求方请求数据时进行校验，但该方法需要提前建立所有的校验规则，操作复杂而且耗时；所述正则表达式校验方法指的是使用提前配置好的正则表达式，在请求方请求数据时进行校验，但该方法后期维护成本较高，当校验内容需要变动时，修改操作较为复杂。因此，亟需一个操作简单、能够节省操作时间和复杂度、节约人力投入的数据校验方案。

考虑到上述问题，在该实施方式中，提出一种校验方法，该方法通过离线训练校验模型，使用所述校验模型对于在线对象数据请求解析得到的待校验数据进行实时校验。该技术方案操作简单、不仅能够节省操作时间和复杂度、节约人力投入，还能够有效降低后期维护成本。

在本公开一实施方式中，所述校验方法可适用于包括控制器、在线服务器的校验系统。

在本公开一实施方式中，所述在线服务器解析所述对象的数据请求，得到待校验数据的步骤，可被实施为：

所述在线服务器对于所述对象的数据请求进行解析，得到所述对象的数据请求的有效数据；

将所述对象的数据请求的有效数据存储至首级缓存中，并从所述首级缓存中获取预先存储的首级对比数据；

匹配所述对象的数据请求的有效数据与所述首级对比数据，若所述对象的数据请求的有效数据中存在与所述首级对比数据对应的数据，将与所述首级对比数据对应的数据及其下级数据作为候选待校验数据存储至次级缓存中，并从所述次级缓存中获取预先存储的次级对比数据；

匹配所述候选待校验数据与所述次级对比数据，若所述候选待校验数据中存在与所述次级对比数据对应的数据，将与所述次级对比数据对应的数据及其下级数据作为更新后的候选待校验数据存储至下级缓存中；

遍历各级缓存中的对比数据，将经与末级对比数据匹配后得到的候选待校验数据作为所述待校验数据。

在本公开一实施方式中，还包括：

离线服务器获取对象的历史数据请求日志，确定预设校验模型，利用所述历史数据请求日志对于所述预设校验模型进行离线训练，得到所述校验模型。

在本公开一实施方式中，所述离线服务器获取对象的历史数据请求日志，确定预设校验模型，利用所述历史数据请求日志对于所述预设校验模型进行离线训练，得到所述校验模型的步骤，可被实施为：

所述离线服务器通过消息中间件获取对象的历史数据请求日志；

对于所述历史数据请求日志进行异常数据过滤；

对于异常数据过滤后得到的历史数据请求日志进行解析，获取所述历史数据请求日志中不同参数的数据特征；

利用所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型。

在本公开一实施方式中，所述对于所述历史数据请求日志进行异常数据过滤之前，还包括：

对于所述历史数据请求日志基于预设格式信息进行格式归一化处理。

在本公开一实施方式中，所述对于所述历史数据请求日志进行异常数据过滤之前，还包括：

为所述历史数据请求日志配置标识信息，以进行区别性存储。

在本公开一实施方式中，所述利用所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型的步骤，可被实施为：

将所述数据特征作为所述预设校验模型的输入，将所述数据特征对应的数据作为所述预设校验模型的输出进行离线训练，得到所述校验模型。

在本公开一实施方式中，还包括：

所述控制器获取预设数据校验要求信息，并将所述预设数据校验要求信息发送给所述离线服务器，以使所述离线服务器根据所述预设数据校验要求信息对于所述校验模型进行调整。

图5所示及相关实施方式中涉及的技术术语和技术特征与图1-4所示及相关实施方式中提及的技术术语和技术特征相同或相似，对于图5所示及相关实施方式中涉及的技术术语和技术特征的解释和说明可参考上述对于图1-4所示及相关实施方式的解释的说明，此处不再赘述。

下述为本公开装置实施例，可以用于执行本公开方法实施例。

图6示出根据本公开一实施方式的校验装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图6所示，所述校验装置包括：

第一获取模块601，被配置为获取对象的数据请求；

第一解析模块602，被配置为解析所述对象的数据请求，得到待校验数据；

第一校验模块603，被配置为将所述待校验数据输入预训练过的校验模型，预测所述对象的数据请求校验结果，其中，所述校验模型是基于对象的历史数据请求日志预训练得到的。

上文提及，随着数据技术的发展，远程数据请求和传输越来越频繁，传输的数据量也越来越大。在请求方请求某一对象数据的时候，通常需要携带与请求数据相关的参数，后台服务器或者服务人员需要对于请求数据参数以及参数对应的数据是否正确且有效进行判断，现有技术中，通常采用定值校验和正则表达式校验的方法，其中，所述定值校验方法指的是通过配置特定的1个或多个校验值，在请求方请求数据时进行校验，但该方法需要提前建立所有的校验规则，操作复杂而且耗时；所述正则表达式校验方法指的是使用提前配置好的正则表达式，在请求方请求数据时进行校验，但该方法后期维护成本较高，当校验内容需要变动时，修改操作较为复杂。因此，亟需一个操作简单、能够节省操作时间和复杂度、节约人力投入的数据校验方案。

考虑到上述问题，在该实施方式中，提出一种校验装置，该装置通过离线训练校验模型，使用所述校验模型对于在线对象数据请求解析得到的待校验数据进行实时校验。该技术方案操作简单、不仅能够节省操作时间和复杂度、节约人力投入，还能够有效降低后期维护成本。

在本公开一实施方式中，所述校验装置可实现为可执行校验处理的计算机、计算设备、电子设备、服务器、服务集群等。

在本公开一实施方式中，所述对象指的是包含一定的同类相关数据、可被请求、可被传输且可被显示的对象，比如对于某一事物或者某一类事物的提示和说明、对于某一物品或者某一类物品的宣传或广告等等。

在本公开一实施方式中，所述对象的数据请求指的是对象数据请求方发出的请求获取某一对象的数据的请求，其中，所述对象数据请求方可以为某一用户、某一应用程序，也可以为某一设备。其中，所述对象的数据请求可包括以下参数中的一种或多种：对象适用应用环境信息、对象数据请求方中对象数据加载位置信息、对象数据请求方地理位置信息、对象数据请求方域名信息、对象数据请求参数及其对应的数据。其中，所述对象适用应用环境信息用于表征对象目前所处的应用环境，比如，当前对象使用的或者适用的操作系统版本信息等等；所述对象数据请求方中对象数据加载位置信息指的是，当所述对象数据请求方请求得到所需要的对象数据后，将其加载在哪个位置，比如，若所述对象为广告，所述对象数据请求方为某一应用程序，则所述对象数据请求方中对象数据加载位置信息指的就是所述应用程序加载或者显示广告的位置；所述对象数据请求方域名信息指的是所述对象数据请求方所在的域名信息，比如搜狐、新浪、淘宝等等；所述对象数据请求参数及其对应的数据指的是所述对象的数据请求中所包括的参数的名称、参数的数量、参数的类型以及参数所对应的数值范围。

在本公开一实施方式中，所述对象的数据请求日志指的是基于所述对象数据请求方发出的对象的数据请求所形成的日志。其中，所述对象的数据请求日志可包括以下信息中的一种或多种：对象数据请求时间、对象数据请求方版本信息、对象数据请求方操作系统版本信息、对象数据请求方应用环境信息、所述对象数据请求参数信息等等。其中，所述对象数据请求参数信息可包括所述对象数据请求参数的名称、数量、类型及其对应的数值范围等等。

在本公开一实施方式中，所述对象的数据请求可由对象数据请求方向对象服务器发出，所述对象的数据请求日志可由日志组件向对象服务器请求获得。在本公开另一实施方式中，所述对象的数据请求日志也可借助预先设置的代理组件来获取。

在本公开一实施方式中，所述待校验数据指的是存在于所述对象的数据请求中、需要进行校验以确定该数据是否正确或者有效的数据，其中，所述待校验数据可以为所述对象的数据请求中的域名信息，也可以为所述对象的数据请求携带的某一种或几种参数类型，还可以为所述对象的数据请求携带的某一种或几种参数对应的数值。

在本公开一实施方式中，所述校验模型指的是用于判断所述待校验数据是否正确或有效的模型，其中，所述校验模型是基于对象的历史数据请求日志通过离线训练得到的。所述校验模型可包括某一特定数据应当为什么内容，或者某一参数应当为什么类型，再或者某一参数的数值应当处于什么范围等等。

在本公开一实施方式中，所述对象的数据请求校验结果指的是利用所述校验模型对于所述待校验数据进行校验后得到的结果，比如，某一待校验数据是正确还是错误，是有效还是无效，或者其取值符合或不符合预设的数值范围等等。

在本公开一实施方式中，所述校验结果在得到之后将会实时进行反馈，比如可通过Web页面、表格、文档、消息等形式反馈给反馈接收方或者所述代理组件，其中，所述反馈接收方既可以为所述对象数据请求方，也可以为对象数据请求测试人员或者对象数据请求测试设备，还可以为其他需要接收该数据请求校验结果的一方。

在本公开一实施方式中，所述第一解析模块602可被配置为：

对于所述对象的数据请求进行解析及分级缓存，获取待校验数据。

考虑到某一时间或者某一时间段所得到的对象的数据请求数量可能较多，数据处理量较大，因此，在该实施方式中，在对所述对象的数据请求进行解析，获取待校验数据时，采用解析和分级缓存的方式来获取所述对象的数据请求的待校验数据，以减轻数据处理压力，减少数据处理延时，增强数据处理的实时性。

在本公开一实施方式中，所述对于所述对象的数据请求进行解析及分级缓存，获取待校验数据的部分，可被配置为：

对于所述对象的数据请求进行解析，得到所述对象的数据请求的有效数据；

将所述对象的数据请求的有效数据存储至首级缓存中，并从所述首级缓存中获取预先存储的首级对比数据；

匹配所述对象的数据请求的有效数据与所述首级对比数据，若所述对象的数据请求的有效数据中存在与所述首级对比数据对应的数据，将与所述首级对比数据对应的数据及其下级数据作为候选待校验数据存储至次级缓存中，并从所述次级缓存中获取预先存储的次级对比数据；

匹配候选待校验数据与所述次级对比数据，若所述候选待校验数据中存在与所述次级对比数据对应的数据，将与所述次级对比数据对应的数据及其下级数据作为更新后的候选待校验数据存储至下级缓存中；

遍历各级缓存中的对比数据，将经与末级对比数据匹配后得到的候选待校验数据作为所述待校验数据。

为了减轻数据处理压力，减少数据处理延时，增强数据处理的实时性，同时考虑到并非所有的对象数据请求都会包括需要进行校验的数据，因此，在该实施方式中，在获取待校验数据的时候，采用解析及分级缓存的方式。具体地，首先对于所述对象的数据请求进行解析，去除对于校验无效的数据，得到所述对象的数据请求的有效数据，比如请求目的域名数据等等；然后预先设置多级缓存空间，以对于解析得到的有效数据进行分级存储，其中，所述多级缓存空间中预先存储有预设的多级对比数据，所述多级对比数据用作与所述对象的数据请求的有效数据进行对比以判断所述对象的数据请求中是否存在后续需要进行校验的数据；然后将有可能包括待检验数据的所述对象的数据请求的有效数据存储至首级缓存中，从所述首级缓存中获取预先存储的首级对比数据，与所述对象的数据请求的有效数据进行匹配对比，来确定所述对象的数据请求的有效数据中是否存在与所述首级对比数据对应的数据，若所述对象的数据请求的有效数据中存在与所述首级对比数据对应的数据，则认为所述对象的数据请求的有效数据中存在需要进行校验或者需要进行进一步确定以判断是否需要进行校验的数据，将与所述首级对比数据对应的数据及其下级数据作为候选待校验数据存储至次级缓存中，并从所述次级缓存中获取预先存储的次级对比数据，将其与所述候选待校验数据再进行匹配对比，若所述候选待校验数据中存在与所述次级对比数据对应的数据，类似地，将与所述次级对比数据对应的数据及其下级数据作为更新后的候选待校验数据存储至下级缓存中；以此类推，直至遍历完毕各级缓存中的对比数据，最终将经与末级对比数据匹配后得到的最新的候选待校验数据作为所述待校验数据。

比如，假设所述缓存空间为两级，首级对比数据为预设域名数据，且所述对象的数据请求的有效数据中含有与所述预设域名数据对应的域名数据，比如与所述预设域名数据一致的域名数据：域名1和域名2，则将所述对象的数据请求的有效数据中与所述预设域名数据对应的数据及其下级数据域名1：参数1和参数2，域名2：参数4作为候选待校验数据存储至次级缓存中，从所述次级缓存中获取预先存储的次级对比数据，假设所述次级对比数据为域名1：参数1和参数2，域名2：参数3，很明显，所述候选待校验数据中包括域名1及其下级数据参数1和参数2，域名2的下级数据与所述次级对比数据不一致，此时则将域名1：参数1和参数2作为最终的待校验数据。

在本公开另一实施方式中，所述对于所述对象的数据请求进行解析，得到所述对象的数据请求的有效数据的部分也可以被配置为在所述分级缓存步骤之后进行，即，所述对于所述对象的数据请求进行解析及分级缓存，获取待校验数据的部分，可被配置为：

将所述对象的数据请求存储至首级缓存中，并从所述首级缓存中获取预先存储的首级对比数据；

匹配所述对象的数据请求与所述首级对比数据，若所述对象的数据请求中存在与所述首级对比数据对应的数据，将与所述首级对比数据对应的数据及其下级数据作为候选待校验数据存储至次级缓存中，并从所述次级缓存中获取预先存储的次级对比数据；

匹配所述候选待校验数据与所述次级对比数据，若所述候选待校验数据中存在与所述次级对比数据对应的数据，将与所述次级对比数据对应的数据及其下级数据作为更新后的候选待校验数据存储至下级缓存中；

遍历各级缓存中的对比数据，将经与末级对比数据匹配后得到的候选待校验数据；

对于所述候选待校验数据进行解析，将得到的所述候选待校验数据的有效数据作为所述待校验数据。

在本公开一实施方式中，所述第一校验模块603之前，还包括：

训练模块，被配置为确定预设校验模型，利用对象的历史数据请求日志对于所述预设校验模型进行离线训练，得到所述校验模型。

为了节省在线数据处理资源，提高在线数据处理速度，在该实施方式中，首先确定预设校验模型，然后基于预设历史时间段内得到的历史数据请求日志对于所述预设校验模型进行离线训练，得到所述校验模型。

在本公开一实施方式中，所述利用对象的历史数据请求日志对于所述预设校验模型进行离线训练，得到所述校验模型的部分，可被配置为：

通过消息中间件获取对象的历史数据请求日志；

对于所述历史数据请求日志进行异常数据过滤；

对于异常数据过滤后得到的历史数据请求日志进行解析，获取所述历史数据请求日志中不同参数的数据特征；

利用所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型。

在该实施方式中：

首先，通过消息中间件获取预设历史时间段内的对象的历史数据请求日志，在所述历史数据请求日志被获取得到之后，还可对其进行持久化操作，其中，所述预设历史时间段可根据实际应用的需要进行设置，所述消息中间件可以为技术市场上可用的大容量异步流式日志消息中间件，所述历史数据请求日志是与对象的历史数据请求对应的日志数据，所述历史数据请求指的是由历史数据请求方发出的请求获取某一对象数据的请求，与所述数据请求方类似，所述历史数据请求方可以为某一用户、某一应用程序，也可以为某一设备。

然后，对于所述历史数据请求日志中的异常数据进行过滤，其中，所述异常数据指的是非常规的、无效的数据，比如噪声数据、测试人员输入的与正常数据获取请求日志无关的测试数据等等。在对异常数据进行过滤时，可采用现有技术中的异常数据过滤方法，对其本公开不再赘述。

然后对于经过异常数据过滤后得到的历史数据请求日志进行解析，获取所述历史数据请求日志中不同参数的数据特征，其中，所述数据特征可包括以下特征中的一种或多种：参数类型、参数对应的数据类型、参数对应的数据数值范围、参数之间的关联关系以及参数对应的数据之间的关联关系，比如，某一参数是系统级参数还是应用级参数；某一参数对应的数据类型是长整型还是短整型；某一参数对应的数据的数值范围是多少；某两个或者某几个参数之间是否存在关联关系以及什么关联关系；某个参数在不同的应用环境中是否存在关联关系，比如，某一参数在操作系统1中的值应当为A，而在操作系统2中的值应当为B，这就意味着该参数在不同的应用环境中存在关联关系；某两个或者某几个参数对应的数据之间是否存在关联关系以及什么关联关系；等等。

最后利用解析得到的所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型。

在本公开一实施方式中，所述对于所述历史数据请求日志进行异常数据过滤之前，还被配置有：

对于所述历史数据请求日志基于预设格式信息进行格式归一化处理。

为了提高数据处理效率，在该实施方式中，还对于所述历史数据请求日志基于预设格式信息进行格式归一化处理，以使所述历史数据请求日志具有统一的、与所述预设格式信息一致的数据结构，其中，所述预设格式信息可根据实际应用的需要以及待处理数据的特定预先设置。

在本公开一实施方式中，所述对于所述历史数据请求日志进行异常数据过滤之前，还被配置有：

为所述历史数据请求日志配置标识信息，以进行区别性存储。

其中，所述标识信息指的是用于对于所述历史数据请求日志进行区别性标识的信息，比如ID信息等等，标识信息的配置使得所述历史数据请求日志能够进行可区别、有序的存储，同时还能够方便对于所述历史数据请求日志的追溯。

在本公开一实施方式中，所述利用所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型的部分，可被配置为：

将所述数据特征作为所述预设校验模型的输入，将所述数据特征对应的数据作为所述预设校验模型的输出进行离线训练，得到所述校验模型。

在得到可作为训练数据的数据特征之后，就可以确定一个可用的预设校验模型，比如决策树模型等等，然后将所述数据特征作为所述预设校验模型的输入，将所述数据特征对应的数据，比如参数，作为所述预设校验模型的输出进行离线训练以得到所述校验模型。

在本公开一实施方式中，在利用所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型之后，还被配置有：

获取预设数据校验要求信息，并根据所述预设数据校验要求信息对于所述校验模型进行调整。

考虑到在实际应用中，数据请求方或者其他相关方有可能对于所述数据请求日志的校验存在明确的、特殊的要求，该要求对于所述数据请求日志的校验来说更有效且更具针对性，因此，在该实施方式中，需要同时考虑所述数据请求方或者其他相关方提供的对于所述数据请求日志校验的要求，即预设数据校验要求信息，以对于所述校验模型进行完善，从而形成一个数据学习、数据校验、要求反馈、数据再学习的信息闭环。也就是说，若接收到所述预设数据校验要求信息，则需要根据所述预设数据校验要求信息对于所述校验模型进行调整，比如，对于所述校验模型的训练数据进行修改或调整，其中，所述预设数据校验要求信息可包括以下信息中的一种或多种：预设校验参数、所述预设校验参数的类型、所述预设校验参数对应的数值、预设校验数据、预设校验数据的类型、预设校验数据数值等等，这样就可以根据所述预设数据校验要求信息的具体内容对于所述校验模型的训练数据进行修改或调整了。

在本公开一实施方式中，所述预设数据校验要求信息可从预设数据库中获取，也就是说，所述数据请求方或者其他相关方可先将所述预设数据校验要求信息存入预先指定或设置的数据库中，再由所述校验服务器从所述预设数据库中获取。

在本公开一实施方式中，所述校验装置可用于对于广告数据请求进行校验，此时，所述对象为广告，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部，如图7所示，当对于广告数据请求进行校验时，所述校验装置包括：

第二获取模块701，被配置为获取广告请求端的广告数据请求；

第二解析模块702，被配置为解析广告请求端的所述广告数据请求，得到待校验数据；

第二校验模块703，被配置为将所述待校验数据输入预训练过的校验模型，预测所述广告数据请求校验结果，其中，所述校验模型是基于广告历史数据请求日志预训练得到的。

所述校验装置通过离线训练校验模型，使用所述校验模型对于在线广告数据请求解析得到的待校验数据进行实时校验。该技术方案操作简单、不仅能够节省操作时间和复杂度、节约人力投入，还能够有效降低后期维护成本。

在本公开一实施方式中，所述校验装置可实现为可执行广告数据请求校验处理的计算机、计算设备、电子设备、服务器、服务集群等。

图7所示及相关实施方式中涉及的技术术语和技术特征与图6所示及相关实施方式中提及的技术术语和技术特征相同或相似，对于图7所示及相关实施方式中涉及的技术术语和技术特征的解释和说明可参考上述对于图6所示及相关实施方式的解释的说明，此处不再赘述。

图8示出根据本公开再一实施方式的校验装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图8所示，所述校验装置包括：

控制器801，被配置为接收对象的数据请求，并将所述对象的数据请求转发给在线服务器；

在线服务器802，被配置为解析所述对象的数据请求，得到待校验数据，并将所述待校验数据输入预训练过的校验模型，预测所述对象的数据请求校验结果，并将所述对象的数据请求校验结果反馈给所述控制器。

上文提及，随着数据技术的发展，远程数据请求和传输越来越频繁，传输的数据量也越来越大。在请求方请求某一对象数据的时候，通常需要携带与请求数据相关的参数，后台服务器或者服务人员需要对于请求数据参数以及参数对应的数据是否正确且有效进行判断，现有技术中，通常采用定值校验和正则表达式校验的方法，其中，所述定值校验方法指的是通过配置特定的1个或多个校验值，在请求方请求数据时进行校验，但该方法需要提前建立所有的校验规则，操作复杂而且耗时；所述正则表达式校验方法指的是使用提前配置好的正则表达式，在请求方请求数据时进行校验，但该方法后期维护成本较高，当校验内容需要变动时，修改操作较为复杂。因此，亟需一个操作简单、能够节省操作时间和复杂度、节约人力投入的数据校验方案。

考虑到上述问题，在该实施方式中，提出一种校验装置，该装置通过离线训练校验模型，使用所述校验模型对于在线对象数据请求解析得到的待校验数据进行实时校验。该技术方案操作简单、不仅能够节省操作时间和复杂度、节约人力投入，还能够有效降低后期维护成本。

在本公开一实施方式中，所述校验装置可实现为包括控制器、在线服务器的校验系统。

在本公开一实施方式中，所述在线服务器解析所述对象的数据请求，得到待校验数据的部分，可被配置为：

所述在线服务器对于所述对象的数据请求进行解析，得到所述对象的数据请求的有效数据；

将所述对象的数据请求的有效数据存储至首级缓存中，并从所述首级缓存中获取预先存储的首级对比数据；

匹配所述对象的数据请求的有效数据与所述首级对比数据，若所述对象的数据请求的有效数据中存在与所述首级对比数据对应的数据，将与所述首级对比数据对应的数据及其下级数据作为候选待校验数据存储至次级缓存中，并从所述次级缓存中获取预先存储的次级对比数据；

匹配所述候选待校验数据与所述次级对比数据，若所述候选待校验数据中存在与所述次级对比数据对应的数据，将与所述次级对比数据对应的数据及其下级数据作为更新后的候选待校验数据存储至下级缓存中；

遍历各级缓存中的对比数据，将经与末级对比数据匹配后得到的候选待校验数据作为所述待校验数据。

在本公开一实施方式中，还包括：

离线服务器，被配置为获取对象的历史数据请求日志，确定预设校验模型，利用所述历史数据请求日志对于所述预设校验模型进行离线训练，得到所述校验模型。

在本公开一实施方式中，所述离线服务器可被配置为：

所述离线服务器通过消息中间件获取对象的历史数据请求日志；

对于所述历史数据请求日志进行异常数据过滤；

对于异常数据过滤后得到的历史数据请求日志进行解析，获取所述历史数据请求日志中不同参数的数据特征；

利用所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型。

在本公开一实施方式中，所述对于所述历史数据请求日志进行异常数据过滤之前，还可配置有：

对于所述历史数据请求日志基于预设格式信息进行格式归一化处理。

在本公开一实施方式中，所述对于所述历史数据请求日志进行异常数据过滤之前，还可配置有：

为所述历史数据请求日志配置标识信息，以进行区别性存储。

在本公开一实施方式中，所述利用所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型的部分，可被配置为：

将所述数据特征作为所述预设校验模型的输入，将所述数据特征对应的数据作为所述预设校验模型的输出进行离线训练，得到所述校验模型。

在本公开一实施方式中，所述控制器还可被配置为：

获取预设数据校验要求信息，并将所述预设数据校验要求信息发送给所述离线服务器，以使所述离线服务器根据所述预设数据校验要求信息对于所述校验模型进行调整。

图8所示及相关实施方式中涉及的技术术语和技术特征与图6-7所示及相关实施方式中提及的技术术语和技术特征相同或相似，对于图8所示及相关实施方式中涉及的技术术语和技术特征的解释和说明可参考上述对于图6-7所示及相关实施方式的解释的说明，此处不再赘述。

本公开实施例还公开了一种电子设备，所述电子设备包括存储器和处理器；其中，

所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述任一方法步骤。

图9是适于用来实现根据本公开一实施方式的校验方法的计算机系统的结构示意图。

如图9所示，计算机系统900包括处理单元901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行上述实施方式中的各种处理。在RAM903中，还存储有系统900操作所需的各种程序和数据。处理单元901、ROM902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。其中，所述处理单元901可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。

特别地，根据本公开的实施方式，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行所述校验方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。

附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开实施例的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (24)

1.一种校验方法，包括：

获取对象的数据请求；

解析所述对象的数据请求，得到待校验数据；

将所述待校验数据输入预训练过的校验模型，预测所述对象的数据请求校验结果，其中，所述校验模型是基于对象的历史数据请求日志预训练得到的。

2.根据权利要求1所述的方法，其中，所述解析所述对象的数据请求，得到待校验数据，被实施为：

对于所述对象的数据请求进行解析及分级缓存，获取待校验数据。

3.根据权利要求2所述的方法，其中，所述对于所述对象的数据请求进行解析及分级缓存，获取待校验数据，被实施为：

对于所述对象的数据请求进行解析，得到所述对象的数据请求的有效数据；

将所述对象的数据请求的有效数据存储至首级缓存中，并从所述首级缓存中获取预先存储的首级对比数据；

匹配所述对象的数据请求的有效数据与所述首级对比数据，若所述对象的数据请求的有效数据中存在与所述首级对比数据对应的数据，将与所述首级对比数据对应的数据及其下级数据作为候选待校验数据存储至次级缓存中，并从所述次级缓存中获取预先存储的次级对比数据；

匹配所述候选待校验数据与所述次级对比数据，若所述候选待校验数据中存在与所述次级对比数据对应的数据，将与所述次级对比数据对应的数据及其下级数据作为更新后的候选待校验数据存储至下级缓存中；

遍历各级缓存中的对比数据，将经与末级对比数据匹配后得到的候选待校验数据作为所述待校验数据。

4.根据权利要求1-3任一所述的方法，其中，所述将所述待校验数据输入预训练过的校验模型，预测所述对象的数据请求校验结果之前，还包括：

确定预设校验模型，利用对象的历史数据请求日志对于所述预设校验模型进行离线训练，得到所述校验模型。

5.根据权利要求4所述的方法，其中，所述利用对象的历史数据请求日志对于所述预设校验模型进行离线训练，得到所述校验模型，被实施为：

通过消息中间件获取对象的历史数据请求日志；

对于所述历史数据请求日志进行异常数据过滤；

对于异常数据过滤后得到的历史数据请求日志进行解析，获取所述历史数据请求日志中不同参数的数据特征；

利用所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型。

6.根据权利要求5所述的方法，所述对于所述历史数据请求日志进行异常数据过滤之前，还包括：

对于所述历史数据请求日志基于预设格式信息进行格式归一化处理。

7.根据权利要求5或6所述的方法，所述对于所述历史数据请求日志进行异常数据过滤之前，还包括：

为所述历史数据请求日志配置标识信息，以进行区别性存储。

8.根据权利要求5-7任一所述的方法，其中，所述利用所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型，被实施为：

将所述数据特征作为所述预设校验模型的输入，将所述数据特征对应的数据作为所述预设校验模型的输出进行离线训练，得到所述校验模型。

9.根据权利要求5-7任一所述的方法，其中，所述利用所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型之后，还包括：

获取预设数据校验要求信息，并根据所述预设数据校验要求信息对于所述校验模型进行调整。

10.一种校验方法，包括：

获取广告请求端的广告数据请求；

解析广告请求端的所述广告数据请求，得到待校验数据；

将所述待校验数据输入预训练过的校验模型，预测所述广告数据请求校验结果，其中，所述校验模型是基于广告历史数据请求日志预训练得到的。

11.一种校验方法，包括：

控制器接收对象的数据请求，并将所述对象的数据请求转发给在线服务器；

在线服务器解析所述对象的数据请求，得到待校验数据，并将所述待校验数据输入预训练过的校验模型，预测所述对象的数据请求校验结果，并将所述对象的数据请求校验结果反馈给所述控制器。

12.根据权利要求11所述的方法，其中，所述在线服务器解析所述对象的数据请求，得到待校验数据，被实施为：

所述在线服务器对于所述对象的数据请求进行解析，得到所述对象的数据请求的有效数据；

将所述对象的数据请求的有效数据存储至首级缓存中，并从所述首级缓存中获取预先存储的首级对比数据；

匹配所述对象的数据请求的有效数据与所述首级对比数据，若所述对象的数据请求的有效数据中存在与所述首级对比数据对应的数据，将与所述首级对比数据对应的数据及其下级数据作为候选待校验数据存储至次级缓存中，并从所述次级缓存中获取预先存储的次级对比数据；

匹配所述候选待校验数据与所述次级对比数据，若所述候选待校验数据中存在与所述次级对比数据对应的数据，将与所述次级对比数据对应的数据及其下级数据作为更新后的候选待校验数据存储至下级缓存中；

遍历各级缓存中的对比数据，将经与末级对比数据匹配后得到的候选待校验数据作为所述待校验数据。

13.根据权利要求11或12所述的方法，还包括：

离线服务器获取对象的历史数据请求日志，确定预设校验模型，利用所述历史数据请求日志对于所述预设校验模型进行离线训练，得到所述校验模型。

14.根据权利要求13所述的方法，其中，所述离线服务器获取对象的历史数据请求日志，确定预设校验模型，利用所述历史数据请求日志对于所述预设校验模型进行离线训练，得到所述校验模型，被实施为：

所述离线服务器通过消息中间件获取对象的历史数据请求日志；

对于所述历史数据请求日志进行异常数据过滤；

对于异常数据过滤后得到的历史数据请求日志进行解析，获取所述历史数据请求日志中不同参数的数据特征；

利用所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型。

15.根据权利要求14所述的方法，所述对于所述历史数据请求日志进行异常数据过滤之前，还包括：

对于所述历史数据请求日志基于预设格式信息进行格式归一化处理。

16.根据权利要求14或15所述的方法，所述对于所述历史数据请求日志进行异常数据过滤之前，还包括：

为所述历史数据请求日志配置标识信息，以进行区别性存储。

17.根据权利要求14-16任一所述的方法，其中，所述利用所述数据特征对于所述预设校验模型进行离线训练，得到所述校验模型，被实施为：

将所述数据特征作为所述预设校验模型的输入，将所述数据特征对应的数据作为所述预设校验模型的输出进行离线训练，得到所述校验模型。

18.根据权利要求14-16任一所述的方法，还包括：

所述控制器获取预设数据校验要求信息，并将所述预设数据校验要求信息发送给所述离线服务器，以使所述离线服务器根据所述预设数据校验要求信息对于所述校验模型进行调整。

19.一种校验装置，包括：

第一获取模块，被配置为获取对象的数据请求；

第一解析模块，被配置为解析所述对象的数据请求，得到待校验数据；

第一校验模块，被配置为将所述待校验数据输入预训练过的校验模型，预测所述对象的数据请求校验结果，其中，所述校验模型是基于对象的历史数据请求日志预训练得到的。

20.一种校验装置，包括：

第二获取模块，被配置为获取广告请求端的广告数据请求；

第二解析模块，被配置为解析广告请求端的所述广告数据请求，得到待校验数据；

第二校验模块，被配置为将所述待校验数据输入预训练的校验模型预测，得到广告数据请求校验结果，其中，所述校验模型是基于广告历史数据请求日志预训练得到的。

21.一种校验装置，包括：

控制器，被配置为接收对象的数据请求，并将所述对象的数据请求转发给在线服务器；

在线服务器，被配置为解析所述对象的数据请求，得到待校验数据，并将所述待校验数据输入预训练过的校验模型，预测所述对象的数据请求校验结果，并将所述对象的数据请求校验结果反馈给所述控制器。

22.根据权利要求21所述的装置，还包括：

离线服务器，被配置为获取对象的历史数据请求日志，确定预设校验模型，利用所述历史数据请求日志对于所述预设校验模型进行离线训练，得到所述校验模型。

23.一种电子设备，包括存储器和处理器；其中，

所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1-18任一项所述的方法步骤。

24.一种计算机可读存储介质，其上存储有计算机指令，其中，该计算机指令被处理器执行时实现权利要求1-18任一项所述的方法步骤。

Images