CN110704226B - 数据校验方法、装置及存储介质 - Google Patents

Abstract

本申请公开了一种数据校验方法、装置及存储介质，涉及数据处理技术。具体方案包括：获取待校验信息，并根据所述待校验信息中的待校验数据确定待校验特征值；判断是否存在与待校验数据的属性标识信息相同的对照数据；当存在对照数据时，根据第一时间信息、第二时间信息、待校验特征值和对照特征值进行待校验数据的校验，当第一时间信息晚于第二时间信息，且待校验特征值与对照特征值不同时，待校验数据通过校验，将通过校验作为校验结果发送，并根据待校验特征值、第一时间信息和属性标识信息更新对照数据。本申请可以过滤接收到的重复数据，从而避免由于接收到并发的重复数据而造成的数据处理或数据存储异常。

Description

数据校验方法、装置及存储介质

技术领域

本申请涉及数据处理技术，特别是涉及一种数据校验方法、装置及存储介质。

背景技术

在分布式系统中，发送数据的上游服务器和接收或存储数据的下游服务器通常包括很多个并行运行的服务器，因此，上游服务器有可能同时并行地向下游服务器发送多个数据，下游服务器同时并行地接收多个数据。在这种高并发数据交互的场景下，由于网络延迟、服务器负载过高、接收通道阻塞等问题，造成下游服务器重复接收数据或接收的数据时序异常等问题是无法避免的。因此，需要对接收的数据进行校验。

由于现有技术中对交互数据的内容进行校验的速度较慢，因此现有技术中主要是通过时序的方法，根据数据生成或发送的时间信息进行校验的，然而仅根据时序信息进行校验，无法过滤掉下游服务器接收到的重复数据，在分布式系统中，并发的重复数据会造成数据处理或数据存储异常。

发明内容

有鉴于此，本申请的主要目的在于提供一种数据校验方法，该方法可以克服现有技术中仅根据时序信息校验的缺点，过滤接收到的重复数据，从而避免由于接收到并发的重复数据而造成的数据处理或数据存储异常。

为了达到上述目的，本申请提出的技术方案为：

第一方面，本申请实施例提供了一种数据校验方法，包括以下步骤：

获取待校验信息，并根据所述待校验信息中的待校验数据确定待校验特征值；其中，所述待校验信息包括所述待校验数据、所述待校验数据的属性标识信息和第一时间信息；

判断是否存在与所述待校验数据的所述属性标识信息相同的对照数据；所述对照数据包括对照特征值和第二时间信息；

当存在所述对照数据时，根据所述第一时间信息、所述第二时间信息、所述待校验特征值和所述对照特征值进行所述待校验数据的校验，当所述第一时间信息晚于所述第二时间信息，且所述待校验特征值与所述对照特征值不同时，所述待校验数据通过校验，将通过校验作为校验结果发送，并根据所述待校验特征值、所述第一时间信息和所述属性标识信息更新所述对照数据。

一种可能的实施方式中，所述根据所述第一时间信息、所述第二时间信息、所述待校验特征值和所述对照特征值进行所述待校验数据的校验的步骤之后，该方法还包括：

当所述第一时间信息早于所述第二时间信息时，所述待校验数据未通过校验，并将未通过校验作为校验结果发送。

一种可能的实施方式中，所述根据所述第一时间信息、所述第二时间信息、所述待校验特征值和所述对照特征值进行所述待校验数据的校验的步骤之后，所述方法还包括：

当所述第一时间信息晚于所述第二时间信息，且所述待校验特征值与所述对照特征值相同时，所述待校验数据未通过校验，并将未通过校验作为校验结果发送。

一种可能的实施方式中，所述判断是否存在与所述待校验数据的所述属性标识信息相同的对照数据的步骤之后，所述方法还包括：

当不存在所述对照数据时，所述待校验数据通过校验，将所述待校验特征值和所述第一时间信息作为所述对照数据，以所述属性标识信息为键值存储在哈希表中。

一种可能的实施方式中，所述根据所述待校验特征值、所述第一时间信息和所述属性标识信息更新所述对照数据的步骤，包括：

将所述哈希表中以所述属性标识信息为键值的存储数据，由所述对照数据更新为由所述待校验特征值和所述第一时间信息组成的数组。

一种可能的实施方式中，所述根据所述待校验信息中的待校验数据确定待校验特征值的步骤，包括：

根据所述待校验数据确定长度为预设字符个数的哈希值，将所述哈希值作为所述待校验特征值。

一种可能的实施方式中，所述根据所述第一时间信息、所述第二时间信息、所述待校验特征值和所述对照特征值进行所述待校验数据的校验的步骤使用协程实现。

第二方面，本申请实施例还提供一种数据校验装置，包括：

待校验数据获取模块，用于获取待校验信息，所述待校验信息包括待校验数据、所述待校验数据的属性标识信息和第一时间信息；

特征提取模块，用于根据所述待校验信息中的待校验数据确定待校验特征值；

对照数据获取模块，用于判断是否存在与所述待校验数据的所述属性标识信息相同的对照数据；所述对照数据包括对照特征值和第二时间信息；

校验模块，用于当存在所述对照数据时，根据所述第一时间信息、所述第二时间信息、所述待校验特征值和所述对照特征值进行所述待校验数据的校验，当所述第一时间信息晚于所述第二时间信息，且所述待校验特征值与所述对照特征值不同时，所述待校验数据通过校验，将通过校验作为校验结果发送，并根据所述待校验特征值、所述第一时间信息和所述属性标识信息更新所述对照数据。

第三方面，本申请实施例还提供一种计算机可读存储介质。具体方案为：

一种计算机可读存储介质，存储有计算机指令，所述指令被处理器执行时可实现上述第一方面及第一方面中任一种可能的实施方式的步骤。

第四方面，本申请实施例还提供一种电子设备。具体方案为：

一种电子设备，该电子设备包括上述的计算机可读存储介质，还包括可执行所述计算机可读存储介质的处理器。

综上所述，本申请提出的一种数据校验方法、装置及存储介质。本申请实施例根据待校验数据的第一时间信息和对照数据的第二时间信息，对待校验数据的时序进行校验，从而避免高并发场景下接受的数据时序异常的问题，根据待校验特征值与对照特征值对待校验数据的内容进行校验，从而避免接收到重复数据的问题，过滤接收到的重复数据，避免由于接收到并发的重复数据而造成的数据处理或数据存储异常。

进一步的，由于上游服务器与下游服务器之间交互的数据可能很长，利用原始数据进行校验，数据传输与计算的过程会带来大量的时间成本与计算资源成本，本申请实施例采用待校验数据特征值和对照特征值进行比较，与使用原始数据进行校验相比，可以降低传输与计算所需的数据量，从而减小校验的时间成本和计算资源成本，更适用于分布式系统高并发数据交互的应用场景。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例应用场景示意图；

图2为本申请实施例提供的一种数据校验方法的流程示意图；

图3为本申请实施例提供的另一种数据校验方法的流程示意图；

图4为本申请实施例提供的一种数据校验装置的结构示意图；

图5为本申请实施例应用于一种应用场景示例的流程示意图；

图6为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。

本申请实施例主要应用于分布式系统中，示例性的，如图1所示的分布式系统中包括上游服务器101、下游服务器102和存储数据库103，在分布式系统中，上游服务器101、下游服务器102和存储数据库103都可以是分布式的，也就是说，上游服务器101、下游服务器102和存储数据库103都可以由多个服务器实现。在目前的应用于交易系统、可视化系统、服务系统等领域的分布式系统中，下游服务器102每天可能由上游服务器101接收10 万条以上的交互数据，数据量非常大。因此，为了保证数据交互的效率，上游服务器101并行地向下游服务器102发送数据，下游服务器102并行的接收数据，并将接收到的数据都存储到存储数据库103中。

在这种高并发数据交互的场景下，由于网络延迟、服务器负载过高、接收通道阻塞等问题，造成下游服务器102重复接收数据或接收的数据时序异常等问题是无法避免的。

如图1所示，上游服务器1011至上游服务器1014四个上游服务器同时向下游服务器1021至下游服务器1023三个下游服务器发送交互数据，上游服务器1011向下游服务器1021发送交互数据a2、上游服务器1012向下游服务器1022发送交互数据a1、上游服务器1013向下游服务器1022发送交互数据a3，由于网络延迟、服务器负载过高、接收通道阻塞等问题，上游服务器1014向下游服务器1023重复发送了交互数据a1。此时，如果不进行接收数据的校验，下游服务器1021至下游服务器1023会将接收到的数据都发送至存储数据库103进行存储，在高并发场景下，下游服务器1021至下游服务器1023将接收到的数据发送至存储数据库103的过程是并行进行的，存储数据库103并行接收到两个重复的交互数据a1会造成数据接收和存储的异常，可能会引起存储数据库103的死锁等问题。

由于现有技术中对交互数据的内容进行校验的速度较慢，无法满足分布式系统高并发场景下同时处理的数据量和处理速度需求，因此现有的高并发场景下的数据校验，通常仅根据时间信息进行，而仅根据时间信息进行校验无法过滤掉下游服务器接收到的重复数据，在分布式系统中，并发的重复数据会造成数据处理或数据存储异常。

有鉴于此，本申请的核心发明点在于根据待校验数据的第一时间信息和对照数据的第二时间信息，对待校验数据的时序进行校验，从而避免高并发场景下接受的数据时序异常的问题，根据待校验特征值与对照特征值对待校验数据的内容进行校验，从而避免接收到重复数据的问题，过滤接收到的重复数据，避免由于接收到并发的重复数据而造成的数据处理或数据存储异常。

进一步的，由于上游服务器与下游服务器之间交互的数据可能很长，利用原始数据进行校验，数据传输与计算的过程会带来大量的时间成本与计算资源成本，本申请实施例采用待校验数据特征值和对照特征值进行比较，与使用原始数据进行校验相比，可以降低传输与计算所需的数据量，从而减小校验的时间成本和计算资源成本，更适用于分布式系统高并发数据交互的应用场景。

为使本申请的目的、技术方案和优点更加清楚，下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图2为本申请实施例提供的一种数据校验方法的流程示意图，如图2所示，该实施例主要包括：

S201：获取待校验信息，并根据所述待校验信息中的待校验数据确定待校验特征值；其中，所述待校验信息包括所述待校验数据、所述待校验数据的属性标识信息和第一时间信息。

待校验数据为上游服务器发送给下游服务器的数据，在实际实施时，由于待校验数据需要进行后续的数据处理、输出存储等操作，会有依据待校验数据进行计算的需求，因此待校验数据通常很长，甚至可以达到几十KB至几百KB量级。因此，直接使用待校验数据的原始数据进行待校验数据的校验，需要的时间成本和计算资源成本很大，无法匹配分布式系统高并发场景下数据的交互规模和交互速度。然而，如果由于校验需求就限制待校验数据的大小，也就限制了上游服务器与下游服务器之间的数据交互的数据量，限制了对待校验数据后续应用的便利程度，无疑是一种本末倒置的做法。因此，本申请实施例根据待校验数据确定待校验特征值，通过限制待校验特征值的大小，例如，将待校验特征值限定为仅包括数十个字节的字符串，可以大大降低进行校验的计算量和时长，从而满足分布式系统高并发场景下数据的交互规模和交互速度。

这里，待校验数据的属性标识信息表征了待校验数据的属性。在实际实施时，不是所有的交互数据都有时序上的先后关系，也不是所有的交互数据都不能重复，因此，可以采用属性标识信息表征待校验数据的属性，通常来说，拥有相同的所述属性标识信息的交互数据有时序上的先后关系且不能重复。示例性的，当本申请实施例应用于网络交易系统时，拥有相同属性标识信息的交互数据，通常对应同一个标的物、同一个交易发起人或同一个购买者的交易数据，因此，有时序上的先后关系且不能重复，可以采用标的物的标识信息、交易发起人的标识信息或购买者的标识信息作为属性标识信息。

另外，第一时间信息为待校验数据生成、发送或接收的时间点信息，优选的，第一时间信息为生成待校验数据的时间点信息。

S202：判断是否存在与所述待校验数据的所述属性标识信息相同的对照数据；所述对照数据包括对照特征值和第二时间信息。

对照数据用于对待校验数据进行时序校验和重复性校验，对照数据是前一次获取的待校验信息生成的。

由于拥有相同的所述属性标识信息的交互数据有时序上的先后关系且不能重复，因此，本申请实施例以属性标识信息为标志，区别存储对应不同属性的对照数据。示例性的，当本申请实施例应用于网络交易系统时，如果采用标的物的标识信息作为属性标识信息，则以标的物的标识信息为标志，区别存储对应不同标的物的对照数据。当获取到针对该标的物的待校验信息时，根据该标的物的属性标识信息，判断是否存在该标的物的对照数据。

S203：当存在所述对照数据时，根据所述第一时间信息、所述第二时间信息、所述待校验特征值和所述对照特征值进行所述待校验数据的校验，当所述第一时间信息晚于所述第二时间信息，且所述待校验特征值与所述对照特征值不同时，所述待校验数据通过校验，将通过校验作为校验结果发送，并根据所述待校验特征值、所述第一时间信息和所述属性标识信息更新所述对照数据。

本申请实施例首先根据待校验数据确定待校验特征值，采用待校验特征值与对照特征值进行比对，从而进行重复性校验，因此，为了便于待校验特征值与对照特征值的比对，对照数据中存储的是与待校验特征值数据结构与数据类型相同的对照特征值。为了满足对待校验数据的校验需求，待校验特征值需要满足如下特点，根据同一待校验数据确定的待校验特征值一定相同，根据不同待校验数据确定的待校验特征值一定不同。同样的，对照特征值需要满足如下特点，根据用于校验的交互数据确定对照特征值时，根据同一交互数据确定的对照特征值一定相同，根据不同交互数据确定的对照特征值一定不同。因此，当待校验数据与用于校验的交互数据相同时，待校验特征值与对照特征值一定相同，当待校验数据与用于校验的交互数据不同时，待校验特征值与对照特征值一定不同。

这里，第二时间信息为用于校验的交互数据生成、发送或接收的时间点信息，优选的，第二时间信息为用于校验的交互数据生成的时间点信息。

根据待校验数据的第一时间信息和对照数据的第二时间信息，对待校验数据的时序进行校验，以第一时间信息为待校验数据的生成时间、第二时间信息为用于校验的交互数据的生成时间为例，当第一时间信息晚于第二时间信息时，说明新收到的待校验数据的生成时间晚于用于校验的交互数据，此时时序是正确的，从而可以避免高并发场景下接受的数据时序异常的问题。根据待校验特征值与对照特征值对待校验数据的内容进行校验，从而避免接收到重复数据的问题，待校验特征值与对照特征值不同时，待校验数据与用于校验的交互数据也不同，因此过滤接收到的重复数据，避免由于接收到并发的重复数据而造成的数据处理或数据存储异常。由于第一时间信息和第二时间信息通常采用时间戳作为数据格式，因此，可以判断第一时间信息的时间戳的数值大于第二时间信息的时间戳的数值时，第一时间信息晚于第二时间信息。

当第一时间信息晚于第二时间信息，且待校验特征值与对照特征值不同时，待校验数据的时序与内容均正确，可以通过校验，使用待校验数据进行后续的数据存储或数据处理等操作。此时，为了继续对之后收到的交互数据进行校验，将此待校验数据作为用于校验的交互数据，使用待校验特征值、第一时间信息和属性标识信息更新对照数据，使用此待校验数据进行后续收到的交互数据的校验。

为了更全面地应对各种情况下待校验数据的校验过程，本申请实施例还提供另一种数据校验方法，如图3所示，包括如下步骤：

S301：获取待校验信息，并根据所述待校验数据确定待校验特征值；其中，待校验信息包括待校验数据、所述待校验数据的属性标识信息和第一时间信息。

由于待校验数据通常很长，且每次接受到的待校验数据的长度不一定固定。示例性的，当本申请实施例应用于网络交易系统时，待校验数据可能包括标的物的属性、标的物的交易进度、交易发起人的信息和购买人的信息等，可以达到几十KB至几百KB量级。而为了方便后续对数据内容的校验，从待校验数据确定的待校验特征值最好具有统一的长度，并且根据同一待校验数据确定的待校验特征值一定相同，根据不同待校验数据确定的待校验特征值一定不同。因此，优选的，根据待校验数据确定长度为预设字符个数的哈希值，将上述哈希值作为待校验特征值。这里，为了使待校验特征值具有统一的长度，从而节省进行待校验特征值与对照特征值比对的计算量和计算时间，因此，采用预设字符个数规定哈希值的长度。这里，可以采用16-64个字符作为预设字符个数，优选的，可以采用32个字符作为预设字符个数。这样，即可满足在数据量很大的情况下，每个待校验数据确定的待校验特征值不会重复，也可以满足进行待校验特征值与对照特征值比对的计算量和计算时间的要求。进一步的，采用哈希值作为提取的待校验特征值，可以保证根据同一待校验数据确定的待校验特征值一定相同，根据不同待校验数据确定的待校验特征值一定不同。

S302：判断是否存在与所述待校验数据的所述属性标识信息相同的对照数据。

这里，每种属性的对照数据均需要进行存储，以便在获取到待校验数据时，可以随时读取进行比较。可以以常见的数据结构存储对照数据，例如，以属性标识信息为索引，将对照数据中的第二时间信息和对照特征值存储在任一种常用的数据库中，或者以表、图等数据结构对对照数据进行存储。为了进一步提升对照数据的查询速度，优选的，采用哈希表为数据结构、属性标识信息作为键值对对照数据进行存储。

对照数据中的第二时间信息和对照特征值可以结合或拼接在一起进行存储。优选的，由于对照数据中包括第二时间信息和对照特征值两个信息，为了简化计算步骤，可以以数组类型存储对照数据中的第二时间信息和对照特征值。

可以将对照数据存储在任一种常见的高速缓存数据库中，例如： MemCache、MySQL、MongoDB或Redis。分布式高并发的数据交互场景下，可能达到每秒5000余次的查询量。由于Redis时单进程单线程的数据库模型，同一时间仅处理一个请求，可以避免待校验数据校验过程中的紊乱，并且 Redis存取速度很快，吞吐量级可以支持每秒10万次的查询，因此优选的，可以使用Redis进行对照数据的存储。

如果不存在对照数据，进行步骤S303，如果存在对照数据，跳到步骤 S304继续执行。

S303：将待校验特征值和第一时间信息作为对照数据，以属性标识信息为键值存储在哈希表中。

当不存在对照数据时，说明此时收到的待校验数据为对应该属性收到的第一个交互数据，待校验数据通过校验，并且需要根据待校验数据生成对照数据存储，以便下次收到相同的所述属性标识信息的待校验数据时进行校验。示例性的，当本申请实施例应用于网络交易系统时，如果采用标的物的标识信息作为属性标识信息，当不存在对照数据时，说明此时收到的待校验数据为针对该标的物收到的第一个交互数据，因此，需要根据待校验数据生成对照数据，以标的物的标识信息为属性标识信息存储，以便下次收到针对该标的物的待校验数据时，使用此时生成的对照数据进行校验。将待校验特征值和第一时间信息作为对照数据后，待校验特征值就是对照数据中的对照特征值，第一时间信息就是对照数据中的第二时间信息。

优选的，以数组为数据类型存储待校验特征值和第一时间信息，也就是说，对照数据为以数组的形式存储的待校验特征值和第一时间信息。为了进一步加快查询速度，优选的，将对照数据以属性标识信息为键值存储在哈希表中。

S304：获取所述对照数据中的第二时间信息和对照特征值。

在以哈希表为数据结构存储对照数据的情况下，以属性标识信息为键值，可以直接获取对照数据，在对照数据为以数组的形式存储的第二时间信息和对照特征值，可以直接获取对照数据中的第二时间信息和对照特征值。从而简化获取第二时间信息和对照特征值的步骤和时间。

S305：比较第一时间信息与第二时间信息的时间顺序。

以第一时间信息为待校验数据的生成时间、第二时间信息为用于校验的交互数据的生成时间为例，通过比较第一时间信息与第二时间信息，可以确定待校验数据与对照数据中用于校验的交互数据生成的先后顺序。

S306：当第一时间信息早于第二时间信息时，待校验数据未通过校验。

以第一时间信息为待校验数据的生成时间、第二时间信息为用于校验的交互数据的生成时间为例，当第一时间信息早于第二时间信息时，说明待校验数据的生成时间早于对照数据中用于校验的交互数据的生成时间，按照数据发送的时序要求，生成时间早的交互数据应当先发送，待校验数据的生成时间早于对照数据中用于校验的交互数据的生成时间时，说明生成时间早的交互数据后接收到，因此，此时收到的待校验数据不符合时序要求，待校验数据未通过校验。

确定该待校验数据未通过校验之后，将未通过校验作为校验结果发送。例如，可以将未通过校验作为校验结果发送给下游服务器，下游服务器收到未通过校验的校验结果后，不对该待校验数据进行存储，也不使用该待校验数据进行后续的数据处理，此时下游服务器可以将该待校验数据丢弃，以防占用过多的内存资源。

S307：当第一时间信息晚于第二时间信息时，判断待校验特征值与对照特征值是否相同。

以第一时间信息为待校验数据的生成时间、第二时间信息为用于校验的交互数据的生成时间为例，当第一时间信息晚于第二时间信息时，说明待校验数据的生成时间晚于对照数据中用于校验的交互数据的生成时间，说明此时收到的待校验数据符合时序要求。

接下来，通过判断待校验特征值与对照特征值是否相同，过滤接收到的重复数据。

S308：当待校验特征值与对照特征值相同时，待校验数据未通过校验。

当待校验特征值与对照特征值相同时，说明该待校验数据与对照数据中用于校验的交互数据相同，该待校验数据为接收到的重复数据，该待校验数据未通过校验，将未通过校验作为校验结果发送。例如，可以将未通过校验作为校验结果发送给下游服务器，下游服务器收到未通过校验的校验结果后，不对该待校验数据进行存储，也不使用该待校验数据进行后续的数据处理，此时下游服务器可以将该待校验数据丢弃，以防占用过多的内存资源。

S309：当待校验特征值与对照特征值不同时，待校验数据通过校验。

当待校验特征值与对照特征值不同时，说明该待校验数据与对照数据中用于校验的交互数据不同，该待校验数据通过校验，将通过校验作为校验结果发送。例如，可以将通过校验作为校验结果发送给下游服务器，下游服务器收到通过校验的校验结果后，对该待校验数据进行存储或使用该待校验数据进行后续的数据处理。

S310：将哈希表中以所述属性标识信息为键值的存储数据，由所述对照数据更新为由所述待校验特征值和所述第一时间信息组成的数组。

此时，为了能对后续接收到的新的交互数据继续进行正确的校验，需要更新对照数据。在以哈希表为数据结构存储对照数据的情况下，以属性标识信息为键值的存储数据为对照数据，因此，使用待校验特征值和第一时间信息更新哈希表中以属性标识信息为键值存储的对照数据，将对照数据更新为由待校验特征值和第一时间信息组成的数组。

当新的交互数据作为待校验数据被获取时，更新的对照数据可以继续用于对新的待校验数据进行校验。

由于本申请实施例提供的方法应用于分布式系统高并发的数据交互场景中，因此对计算速度的要求较高。现有技术中多基于多线程的计算方法进行高并发数据交互的开发。然而，多线程计算会消耗大量的处理器计算资源，严重拖慢整个分布式系统的计算和处理速度。并且，由于受到内存大小的限制，一般的多线程计算方法最多同时开启400-500个线程，远远无法满足高并发数据交互场景对于同时处理的任务数量的需求。

因此，本申请实施例中根据所述第一时间信息、所述第二时间信息、所述待校验特征值和所述对照特征值进行所述待校验数据校验的步骤是使用协程实现的。进一步的，根据待校验数据确定待校验特征值，以及根据待校验特征值、第一时间信息和属性标识信息更新对照数据等步骤，均可以使用协程实现。实现协程技术的内存需求大大降低，使用协程技术实现上述步骤所占用的内存小于1KB，现有的计算设备提供的内存可以同时开启5000个以上的协程，极大地提高了数据校验方法的实现的并行度和速度，从而提升了整个分布式系统的计算和处理的速度。

基于相同的设计构思，本申请实施例还提供一种数据校验装置及存储介质。

如图4所示，本申请实施例提供的一种数据校验装置400，包括：

待校验数据获取模块401，用于获取待校验信息，所述待校验信息包括待校验数据、所述待校验数据的属性标识信息和第一时间信息；

特征提取模块402，用于根据所述待校验信息中的待校验数据确定待校验特征值；

对照数据获取模块403，用于判断是否存在与所述待校验数据的所述属性标识信息相同的对照数据；所述对照数据包括对照特征值和第二时间信息；

校验模块404，用于在当存在所述对照数据时，根据所述第一时间信息、所述第二时间信息、所述待校验特征值和所述对照特征值进行所述待校验数据的校验，当所述第一时间信息晚于所述第二时间信息，且所述待校验特征值与所述对照特征值不同时，所述待校验数据通过校验，将通过校验作为校验结果发送，并根据所述待校验特征值、所述第一时间信息和所述属性标识信息更新所述对照数据。

一种可能的实施方式中，校验模块404，还用于：当所述第一时间信息早于所述第二时间信息时，所述待校验数据未通过校验，并将未通过校验作为校验结果发送。

一种可能的实施方式中，校验模块404，还用于：当所述第一时间信息晚于所述第二时间信息，且所述待校验特征值与所述对照特征值相同时，所述待校验数据未通过校验，并将未通过校验作为校验结果发送。

一种可能的实施方式中，数据校验装置400还包括，对照数据生成模块 405，用于：

当不存在所述对照数据时，所述待校验数据通过校验，将所述待校验特征值和所述第一时间信息作为所述对照数据，以所述属性标识信息为键值存储在哈希表中。

一种可能的实施方式中，对照数据生成模块405，还用于：

将哈希表中以所述属性标识信息为键值的存储数据，由所述对照数据更新为由所述待校验特征值和所述第一时间信息组成的数组。

一种可能的实施方式中，特征提取模块402，用于：

根据所述待校验数据确定长度为预设字符个数的哈希值，将所述哈希值作为所述待校验特征值。

一种可能的实施方式中，校验模块404中所述根据所述第一时间信息、所述第二时间信息、所述待校验特征值和所述对照特征值进行所述待校验数据校验的步骤使用协程实现。

示例性的，当将本申请实施例提供的数据校验装置400应用于如图1所示的分布式系统中时，可如图5所示，在上游服务器101、下游服务器102 和存储数据库103之外，实现数据校验装置400。如图5所示，下游服务器 102接收到的交互数据均作为待校验数据发送给数据校验装置400进行校验。

假设交互数据a1、a2和a3均有相同的属性标识信息A，以第一时间信息为待校验数据的生成时间、第二时间信息为用于校验的交互数据的生成时间为例，假设a1的生成时间的时间戳为time1、a2的生成时间的时间戳为 time2、a3的生成时间的时间戳为time3。a1的生成时间早于a2，a2的生成时间早于a3，也就是time1<time2<time3。

S501：下游服务器1021接受到上游服务器1011发来的交互数据a2时，将a2作为待校验数据发送给数据校验装置400。

具体的，将a2的属性标识信息A、a2的第一时间信息time2和待校验数据a2一起发送给数据校验装置400。数据校验装置400接收到a2的属性标识信息A、a2的第一时间信息time2和待校验数据a2之后，将待校验数据 a2转换为待校验特征值hash(a2)，并根据属性标识信息A判断是否存在同属性的对照数据。

S502：按照本示例的假设，此时不存在对照数据，因此，待校验数据a2 通过校验。

具体的，可以发送代表待校验数据a2通过校验的消息或指令给下游数据库1021，并将待校验特征值和第一时间信息作为对照数据，以属性标识信息为键值存储在哈希表中，即A＝>[time2，hash(a2)]。

S503：下游数据库1021接收到代表待校验数据a2通过校验的消息或指令后，将交互数据a2发送到存储数据库103，以便后续的存储、计算或处理等操作。

S504：下游服务器1022接受到上游服务器1012发来的交互数据a1，并将a1作为待校验数据发送给数据校验装置400。

具体的，将a1的属性标识信息A、a1的第一时间信息time1和待校验数据a1一起发送给数据校验装置400。数据校验装置400接收到a1的属性标识信息A、a1的第一时间信息time1和待校验数据a1之后，将待校验数据 a1转换为待校验特征值hash(a1)，并根据属性标识信息A判断是否存在同属性的对照数据。

S505：根据对照数据对待校验数据a1进行校验后，待校验数据a1未通过校验。

此时，在键值A处存储有对照数据A＝>[time2，hash(a2)]，因此，获取对照数据中的第二时间信息time2和对照特征值hash(a2)。比较第一时间信息time1和第二时间信息time2的大小，由于time1<time2，待校验数据 a1为过期数据，不符合时序要求，待校验数据a1未通过校验。

具体的，可以发送代表待校验数据a1未通过校验的消息或指令给下游数据库1022。

S506：下游数据库1022接收到代表待校验数据a1未通过校验的消息或指令后，将交互数据a1丢弃。

S507：下游服务器1022接受到上游服务器1013发来的交互数据a3，并将a3作为待校验数据发送给数据校验装置400。

具体的，将a3的属性标识信息A、a3的第一时间信息time3和待校验数据a3一起发送给数据校验装置400。数据校验装置400接收到a3的属性标识信息A、a3的第一时间信息time3和待校验数据a3之后，将待校验数据 a3转换为待校验特征值hash(a3)，并根据属性标识信息A判断是否存在同属性的对照数据。

S508：根据对照数据对待校验数据a3进行校验后，待校验数据a3通过校验。

此时，在键值A处存储有对照数据A＝>[time2，hash(a2)]，因此，获取对照数据中的第二时间信息time2和对照特征值hash(a2)。比较第一时间信息time3和第二时间信息time2的大小，由于time2<time3，待校验数据 a3符合时序要求。之后判断待校验特征值hash(a3)和对照特征值hash(a2) 是否相同，由于待校验特征值hash(a3)和对照特征值hash(a2)不同，因此，待校验数据a3通过校验。

具体的，可以发送代表待校验数据a3通过校验的消息或指令给下游数据库1022，并将哈希表中以所述属性标识信息A为键值的存储数据，由所述对照数据更新为由所述待校验特征值hash(a3)和所述第一时间信息time3组成的数组，即A＝>[time3，hash(a3)]。

S509：下游数据库1022接收到代表待校验数据a3通过校验的消息或指令后，将交互数据a3发送到存储数据库103，以便后续的存储、计算或处理等操作。

S510：下游服务器1023接受到上游服务器1014发来的交互数据a1，并将a1作为待校验数据发送给数据校验装置400。

具体的，将a1的属性标识信息A、a1的第一时间信息time1和待校验数据a1一起发送给数据校验装置400。数据校验装置400接收到a1的属性标识信息A、a1的第一时间信息time1和待校验数据a1之后，将待校验数据 a1转换为待校验特征值hash(a1)，并根据属性标识信息A判断是否存在同属性的对照数据。

S511：根据对照数据对待校验数据a1进行校验后，待校验数据a1未通过校验。

此时，在键值A处存储有对照数据A＝>[time3，hash(a3)]，因此，获取对照数据中的第二时间信息time3和对照特征值hash(a3)。比较第一时间信息time1和第二时间信息time3的大小，由于time1<time3，待校验数据 a1为过期数据，不符合时序要求，待校验数据a1未通过校验。

具体的，可以发送代表待校验数据a1未通过校验的消息或指令给下游数据库1023。

S512：下游数据库1023接收到代表待校验数据a1未通过校验的消息或指令后，将交互数据a1丢弃。

本申请实施例根据待校验数据的第一时间信息和对照数据的第二时间信息，对待校验数据的时序进行校验，从而避免高并发场景下接受的数据时序异常的问题，根据待校验特征值与对照特征值对待校验数据的内容进行校验，从而避免接收到重复数据的问题，过滤接收到的重复数据，避免由于接收到并发的重复数据而造成的数据处理或数据存储异常。

本申请实施例还提供一种计算机可读介质，所述计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行本申请实施例提供任一种数据校验方法的步骤。实际应用中，所述的计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或多个程序被执行时，实现根据参考本申请实施例提供的数据校验装置进行本申请实施例提供每一种数据校验方法的步骤。

根据本申请公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM 或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本申请保护的范围。在本申请公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

本申请所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。

本申请实施例还提供一种电子设备，可以是计算机或服务器，其中可以集成本申请上述装置实施例的数据校验装置。如图6所示，其示出了本申请装置实施例提供的电子设备600。

该电子设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质602。该电子设备还可以包括电源603、输入输出单元604。本领域技术人员可以理解，图6中并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中：

处理器601是该电子设备的控制部分，利用各种接口和线路连接各个部分，通过运行或执行存储在计算机可读存储介质602中的软件程序，执行本申请实施例提供任一种数据校验方法的步骤。

计算机可读存储介质602可用于存储软件程序，即本申请实施例提供任一种数据校验方法中涉及的程序。

处理器601通过运行存储在计算机可读存储介质602的软件程序，从而执行各种功能应用以及数据处理。计算机可读存储介质602可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据电子设备需要使用的数据等。此外，计算机可读存储介质602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，计算机可读存储介质602还可以包括存储器控制器，以提供处理器601对计算机可读存储介质602的访问。

电子设备还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该服务器还可包括输入输出单元604，比如可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入；比如可用于显示由用户输入的信息或提供给用户的信息以及服务器的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。

本申请附图中的流程图和框图，示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同附图中所标准的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本申请公开的范围。

本申请中应用了具体实施例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思路，并不用于限制本申请。对于本领域的技术人员来说，可以依据本申请的思路、精神和原则，在具体实施方式及应用范围上进行改变，其所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种数据校验方法，其特征在于，包括：

获取待校验信息，并根据所述待校验信息中的待校验数据确定待校验特征值；其中，所述待校验信息包括所述待校验数据、所述待校验数据的属性标识信息和第一时间信息；

判断是否存在与所述待校验数据的所述属性标识信息相同的对照数据；所述对照数据包括对照特征值和第二时间信息；

当存在所述对照数据时，根据所述第一时间信息、所述第二时间信息、所述待校验特征值和所述对照特征值进行所述待校验数据的校验，当所述第一时间信息晚于所述第二时间信息，且所述待校验特征值与所述对照特征值不同时，所述待校验数据通过校验，将通过校验作为校验结果发送，并根据所述待校验特征值、所述第一时间信息和所述属性标识信息更新所述对照数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一时间信息、所述第二时间信息、所述待校验特征值和所述对照特征值进行所述待校验数据的校验的步骤之后，该方法还包括：

当所述第一时间信息早于所述第二时间信息时，所述待校验数据未通过校验，并将未通过校验作为校验结果发送。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一时间信息、所述第二时间信息、所述待校验特征值和所述对照特征值进行所述待校验数据的校验的步骤之后，所述方法还包括：

当所述第一时间信息晚于所述第二时间信息，且所述待校验特征值与所述对照特征值相同时，所述待校验数据未通过校验，并将未通过校验作为校验结果发送。

4.根据权利要求1所述的方法，其特征在于，所述判断是否存在与所述待校验数据的所述属性标识信息相同的对照数据的步骤之后，所述方法还包括：

当不存在所述对照数据时，所述待校验数据通过校验，将所述待校验特征值和所述第一时间信息作为所述对照数据，以所述属性标识信息为键值存储在哈希表中。

5.根据权利要求4所述的方法，其特征在于，所述根据所述待校验特征值、所述第一时间信息和所述属性标识信息更新所述对照数据的步骤，包括：

将所述哈希表中以所述属性标识信息为键值的存储数据，由所述对照数据更新为由所述待校验特征值和所述第一时间信息组成的数组。

6.根据权利要求1所述的方法，其特征在于，所述根据所述待校验信息中的待校验数据确定待校验特征值的步骤，包括：

根据所述待校验数据确定长度为预设字符个数的哈希值，将所述哈希值作为所述待校验特征值。

7.根据权利要求1所述的方法，其特征在于，所述根据所述第一时间信息、所述第二时间信息、所述待校验特征值和所述对照特征值进行所述待校验数据的校验的步骤使用协程实现。

8.一种数据校验装置，其特征在于，包括：

待校验数据获取模块，用于获取待校验信息，所述待校验信息包括待校验数据、所述待校验数据的属性标识信息和第一时间信息；

特征提取模块，用于根据所述待校验信息中的待校验数据确定待校验特征值；

对照数据获取模块，用于判断是否存在与所述待校验数据的所述属性标识信息相同的对照数据；所述对照数据包括对照特征值和第二时间信息；

校验模块，用于在当存在所述对照数据时，根据所述第一时间信息、所述第二时间信息、所述待校验特征值和所述对照特征值进行所述待校验数据的校验，当所述第一时间信息晚于所述第二时间信息，且所述待校验特征值与所述对照特征值不同时，所述待校验数据通过校验，将通过校验作为校验结果发送，并根据所述待校验特征值、所述第一时间信息和所述属性标识信息更新所述对照数据。

9.一种计算机可读存储介质，存储有计算机指令，其特征在于，所述指令被处理器执行时可实现权利要求1～7任一项所述的方法的步骤。

10.一种电子设备，其特征在于，该电子设备包括如权利要求9所述的计算机可读存储介质，还包括可执行所述计算机可读存储介质的处理器。

Images