CN113312205A - 数据校验方法、装置、存储介质和计算机设备 - Google Patents

Abstract

本申请涉及一种数据校验方法、装置、计算机可读存储介质和计算机设备，方法包括：获取数据存储系统生成的数据读写请求，根据预设的数据记录生成规则，生成与数据读写请求对应的数据记录，将数据记录的key字段和value字段写入数据存储系统的引擎文件，当侦听到运维启动指令时，将数据记录中key字段备份至预设的本地文件，当侦听到数据存储系统的运维完成信号时，读取运维完成后的引擎文件和备份后的本地文件，将读取的引擎文件和备份后的本地文件进行匹配校验，得到校验结果。解决了大规模数据在运维过程中存在的校验难的问题，简化了数据记录，从而减小了校验的分析处理量，提高了校验效率。

Description

数据校验方法、装置、存储介质和计算机设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据校验方法、装置、计算机可读存储介质和计算机设备。

背景技术

随着计算机技术的发展，出现了大规模的NoSql(非关系型数据库)的分布式存储平台，该分布式存储平台可以应用与为各类手游业务提供游戏数据存储服务，如Tcaplus数据存储系统等。在数据存储系统发布上线并提供给多个游戏项目组使用后，在搬迁、回档、故障恢复等几个运维场景会有可能对存储数据的数据完整性、数据一致性产生影响。

目前对数据校验方式一般是通过对运维处理前后的数据进行全量对比校验，但由于大规模的NoSql的分布式存储平台中数据文件多，全量对比会导致存在校验效率低的问题。

发明内容

基于此，有必要针对大规模数据运维场景中校验效率低的技术问题，提供一种提高校验效率的数据校验方法、装置、计算机可读存储介质和计算机设备。

一种数据校验方法，包括：

获取数据存储系统生成的数据读写请求；

根据预设的数据记录生成规则，生成与数据读写请求对应的数据记录，数据记录包括key(关键字)字段和value(值)字段；

将key字段和value字段写入数据存储系统的引擎文件；

当侦听到数据存储系统的运维启动指令时，将数据记录中key字段备份至预设的本地文件；

当侦听到数据存储系统的运维完成信号时，读取运维完成后的引擎文件和备份后的本地文件，将读取的引擎文件和备份后的本地文件进行匹配校验，得到校验结果。

一种数据校验装置，装置包括：

请求获取模块，用于获取数据存储系统生成的数据读写请求；

数据记录生成模块，用于根据预设的数据记录生成规则，生成与数据读写请求对应的数据记录，数据记录包括key字段和value字段；

引擎文件处理模块，用于将key字段和value字段写入数据存储系统的引擎文件；

本地文件处理模块，用于当侦听到数据存储系统的运维启动指令时，将数据记录中key字段备份至预设的本地文件；

匹配校验模块，用于当侦听到数据存储系统的运维完成信号时，读取运维完成后的引擎文件和备份后的本地文件，将读取的引擎文件和备份后的本地文件进行匹配校验，得到校验结果。

一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：

获取数据存储系统生成的数据读写请求；

根据预设的数据记录生成规则，生成与数据读写请求对应的数据记录，数据记录包括key字段和value字段；

将key字段和value字段写入数据存储系统的引擎文件；

当侦听到数据存储系统的运维启动指令时，将数据记录中key字段备份至预设的本地文件；

当侦听到数据存储系统的运维完成信号时，读取运维完成后的引擎文件和备份后的本地文件，将读取的引擎文件和备份后的本地文件进行匹配校验，得到校验结果。

一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：

获取数据存储系统生成的数据读写请求；

根据预设的数据记录生成规则，生成与数据读写请求对应的数据记录，数据记录包括key字段和value字段；

将key字段和value字段写入数据存储系统的引擎文件；

当侦听到数据存储系统的运维启动指令时，将数据记录中key字段备份至预设的本地文件；

当侦听到数据存储系统的运维完成信号时，读取运维完成后的引擎文件和备份后的本地文件，将读取的引擎文件和备份后的本地文件进行匹配校验，得到校验结果。

上述数据校验方法、装置、计算机可读存储介质和计算机设备，通过对数据存储系统中的数据读写请求生成对应的数据记录，能够得到与数据存储系统中的数据关联的记录信息，其中，数据记录通过预设的数据记录生成规则生成数据记录，实现了数据记录的随机生成，相较于直接基于数据存储系统中的数据生成的数据记录，既保证了数据存储系统中的数据的关联性，又简化了数据记录的数据形式，为数据存储系统中的大规模数据的对应信息存储以及后续的快速数据校验创造了条件，通过key字段和value字段保证数据记录的可靠性，在用作匹配校验的本地文件中只写入key字段，减小了匹配数据的存储量，便于进行大规模数据对应信息的本地存储，减小资源占用，通过对运维处理后的引擎文件和本地文件之间的匹配校验，解决了大规模数据在运维过程中存在的校验难的问题，简化了数据记录，从而减小了校验的分析处理量，提高了校验效率。

附图说明

图1为一个实施例中数据校验方法的应用环境图；

图2为一个实施例中数据校验方法的流程示意图；

图3为另一个实施例中数据校验方法的流程示意图；

图4为再一个实施例中数据校验方法的流程示意图；

图5为又一个实施例中数据校验方法的流程示意图；

图6为还一个实施例中数据校验方法的流程示意图；

图7为另一个实施例中数据校验方法的流程示意图；

图8为又一个实施例中数据校验方法的流程示意图；

图9为一个实施例中数据校验方法的交互示意图；

图10为一个实施例中数据校验方法的数据记录构造示意图；

图11为一个实施例中数据校验方法的校验处理示意图；

图12为另一个实施例中数据校验方法的校验处理示意图；

图13为另一个实施例中数据校验装置的结构框图；

图14为一个实施例中计算机设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中数据校验方法的应用环境图。参照图1，该数据校验方法应用于数据校验系统。该系统包括数据存储系统110和数据自校验工具120，其中，数据自校验工具120可以配置为数据存储系统的一部分，也可以安装于终端或安装于服务器，还可以是通过终端与服务器的交互过程来实现数据自校验工具的数据处理过程。数据自校验工具120获取数据存储系统生成的数据读写请求，根据预设的数据记录生成规则，生成与数据读写请求对应的数据记录，数据记录包括key字段和value字段，将key字段和value字段写入数据存储系统的引擎文件，当侦听到数据存储系统的运维启动指令时，将数据记录中key字段备份至预设的本地文件，当侦听到数据存储系统的运维完成信号时，读取运维完成后的引擎文件和备份后的本地文件，将读取的引擎文件和备份后的本地文件进行匹配校验，得到校验结果。

其中，终端具体可以是台式终端或移动终端，移动终端具体可以是手机、平板电脑、笔记本电脑等中的至少一种。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

如图2所示，在一个实施例中，提供了一种数据校验方法。本实施例主要以该方法应用于上述图1中的数据自校验工具110来举例说明。参照图2，该数据校验方法具体包步骤S210至S250。

S210，获取数据存储系统生成的数据读写请求。

数据存储系统可以是大规模的NoSql的KV分布式存储平台产品或是其他用于提供数据存储服务的系统。以腾讯的Tcaplus数据存储系统为例，该数据存储系统能为其大部分的手游业务提供游戏数据存储服务。数据存储系统包括为业务项目提供数据存储各数据访问功能的存储引擎，通过存储引擎以及业务项目对应的API接口，可以将数据存储至数据存储系统，也可以通过存储引擎和API接口从数据存储系统中读取存储的对应数据。在数据的存储和读取过程中，需要通过对数据读写请求来实现，具体来说，数据读写请求包括数据读请求和数据写请求，其中，数据读请求包括读get、部分字段读fieldget、索引读indexget、遍历traverse等，数据写请求包括插入add、更新update、替换replace、删delete、部分字段写fieldset、部分字段自增fieldinc等。

在一个实施例中，为了保证数据自校验工具生成的数据记录可以基本替代发布环境中的数据记录，在通过数据自校验工具生成数据记录之前，通过获取数据存储系统生成的数据读写请求，统计发布环境中的数据记录大小数据和读写请求的访问比例数据，其中，读写请求的访问比例数据是指数据读请求和数据写请求的比例。以数据记录的大小和访问比例作为数据访问模型。数据自校验工具可按照此数据访问模型来模拟发布环境的数据记录的生成。在其中一个实施例中，可以通过保留此数据访问模型，以便数据自校验工具在后期校验出现问题时回放复用。

S220，根据预设的数据记录生成规则，生成与数据读写请求对应的数据记录，数据记录包括key字段和value字段。

数据记录是一组相关数据项的集合，用于描述一个对象在某方面的属性。一个数据记录应包含哪些数据项，取决于需要描述对象的哪个方面。在众多的数据记录中，为了唯一地标识每一个数据记录，在每一项数据记录中确定出一个关键字(key字段)，通过关键字来惟一标识一个数据记录对应的数据项，数据项具体可以是数据读写请求。在实施例中，考虑到数据存储系统中的数据存储量和数据访问量巨大的条件，通过预设的数据记录生成规则，随机生成数据记录的方式对数据存储系统中的数据进行记录，既能确保数据记录与数据访问请求的对应性，又能简化数据记录的内容，便于进行数据记录的存储。在实施例中，基于数据记录生成规则，利用数据自校验工具生成的数据记录，能用于进行运维处理前后的数据校验。在一个具体的实施例中，数据自校验工具包括数据记录模拟器和数据校验器。数据记录模拟器用于模拟生成与发布环境对应的数据记录，数据校验器用于对运维前后的数据记录进行校验。数据记录生成规则具体可以是以配置文件的形式展现，配置文件能够基于实际运维场景的需求进行调整。

进一步地，在一个实施例中，如图3所示，根据预设的数据记录生成规则，生成与数据读写请求对应的数据记录包括步骤S310至S320。

S310，获取预设的数据记录生成规则中的字段变化规律。

S320，根据字段变化规律，生成与各数据读写请求对应的key字段和value字段，得到数据记录。

基于数据记录生成规则，可以随机生成与数据访问请求对应的数据记录。具体来说，用户在配置文件中可以自定义数据记录中key字段和value字段的变化规律，变化规律可以具体可以是依次生成的key字段之间的变化规律，例如按照相同的数据间隔来生成对应的字段。为了数据记录在后期可以自校验，数据记录模拟器的程序算法中可制定记录生成的规则，如：基于随机种子的key字段变化规律来生成key字段，基于key字段和value字段变化规律生成value字段，其中，随机种子可以是随机生成的字段，由此保证生成的数据记录生成的随机性。具体来说，key字段和value字段的字段大小可以根据预先统计的数据访问模型中的数据来确定。通过配置字段变化规律来生成key字段和value字段，一方面可以简化数据记录，便于进行大规模数据对应信息的对应记录，另一方面，基于字段变化规律可以实现字段的逆向回溯，便于进行数据校验，定位异常数据故障点。

进一步地，在其中一个实施例中，字段变化规律包括key字段变化规律和value字段变化规律。如图4所示，根据字段变化规律，生成与各数据读写请求对应的key和value，得到数据记录包括步骤S410至S430。

S410，获取随机数据，根据随机数据以及key字段变化规律，生成数据读写请求对应的key字段。

S420，根据key字段以及value字段变化规律，生成数据读写请求对应的value字段。

S430，获取数据读写请求对应的api(Application Programming Interface，应用程序接口)版本信息和记录位置信息，根据key字段、value字段、api版本信息以及记录位置信息，得到数据读写请求对应的数据记录。

随机数据是指通过随机数生成器随机生成的种子数据，根据随机数据和key字段变化规律，生成数据读写请求对应的key字段。其中，key字段变化规律可以是一个数据段的循环变化，例如从0-200，以间隔为2的规律循环变化。结合随机数据和key字段变化规律，来随机生成key字段。

value字段变化规律与key字段变化规律相似也可以通过数据段的循坏变化来实现，value字段的生成以key字段为依据，基于value字段变化规律来得到。具体来说，value字段可以是k位的二进制码序列。具体来说，由于数据段的循环变化与前后数据相关，因此，在不同时机生成的数据记录为不同的数据，因此，在运维处理过程中，若是发生数据变化，该数据变化对应有新的数据记录，由于数据记录的随机性，新的数据记录与原有的数据记录相同的概率极小，基于此，可以根据字段变化规律来实现数据记录的随机生成，简化了数据记录，便于进行大规模数据对应信息的对应记录，还可以实现字段的逆向回溯，例如，基于备份后的本地文件中的key字段，基于字段变化规律，即可得到对应的value字段，进行备份后的本地文件与读取的引擎文件的数据校验，定位异常数据故障点。

api版本信息是指数据存储系统不同版本的api接口。记录位置信息是指数据记录对应数据的存储位置。通过获取数据读写请求对应的api版本信息添加至数据记录中，保证兼容数据存储系统不同版本的api接口，数据自校验工具在模拟消息记录生成的时候，需要覆盖所有版本的api接口，保证数据自校验工具中消息记录生成的通用性。通过将记录位置信息添加至数据记录中，可以对数据存储位置进行校验，提高校验准确性。

S230，将key字段和value字段写入数据存储系统的引擎文件。

数据存储系统的引擎文件是指用于存放数据存储系统的存储引擎的数据记录的文件。通过设置用于存放存储引擎的数据记录的文件，可以存放数据自校验工具中的数据记录模拟器生成的数据记录，通过对比运维处理前后存放的数据记录，可以确定在运维过程中是否存在数据丢失、数据是否一致等异常情况。在实施例中，在数据存储系统中的数据，在运维处理过程中可能会发生增删改等变化，引擎文件中存储的数据记录也会对应发生变化，为了准确及时确定在运维过程中发生的数据变化，数据变化可以通过获取运维处理前存储的数据记录与运维处理后的数据记录进行数据对比校验来实现。

S240，当侦听到数据存储系统的运维启动指令时，将数据记录中key字段备份至预设的本地文件。

运维启动指令是指数据存储系统中的单个运维场景或是多各运维场景的启动预备信号，在侦听到运维启动指令且运维处理启动之前，需要先将运维处理前数据记录存储至预设的本地文件中，其中预设的本地文件可以是本地文件或是其他不会随着数据管理系统的运维处理而发生变化的文件。通过在运维处理进行启动之前，将数据记录的key字段存储至预设的本地文件中，保留了运维启动前的数据信息，在运维进程结束后，可以根据预设的本地文件中的数据与运维处理后的引擎文件中的数据进行对比，从而快速得到数据存储系统的数据是否在运维前后一致。

在一个实施例中，如图4所示，将key字段和value字段写入数据存储系统的引擎文件包括步骤S440。

S440，将数据记录中的key字段、value字段、版本信息和记录位置信息写入数据存储系统的引擎文件。

当侦听到数据存储系统的运维启动指令时，将数据记录中key字段备份至预设的本地文件包括步骤S450。

S450，当侦听到数据存储系统的运维启动指令时，将数据记录的key字段、版本信息和记录位置信息存储至预设的本地文件。

通过将key字段、value字段、版本信息和记录位置信息写入数据存储系统的引擎文件，并在运维进程启动前，将key字段、版本信息和记录位置信息存储至预设的本地文件，便于进行数据的全面校验。

在一个实施例中，如图5所示，当侦听到数据存储系统的运维启动指令时，将数据记录中key字段备份至预设的本地文件包括步骤S510至S520。

S510，当侦听到数据存储系统的运维启动指令时，根据运维启动指令，确定待启动的运维进程。

待启动的运维进程包括数据搬迁、引擎参数修改、数据回档、故障切换中的一个运维场景或多个运维场景的组合。

S520，获取待启动的运维进程对应的数据记录，将数据记录的key字段存储至预设的本地文件。

数据搬迁包括引擎文件的搬迁。数据搬迁具体包括设备搬迁、扩容、缩容等。其中，设备搬迁是指存储设备故障、网络不通下需要运维同事将引擎数据文件搬迁到运行正常的机器上。扩容是指在业务因运营活动、程序bug等原因导致业务读写量猛涨、流量告警、硬盘告警等情况下需要对存储设备机器扩容，将引擎文件搬迁到多台机器上提供服务，保证业务运行的稳定性。缩容是指业务读写量下降，可以对存储机器缩容，将多个引擎文件中的数据记录合并后搬迁到一台机器上提供服务，以节约服务器成本。

引擎参数修改是指引擎文件中数据记录的重新调整。在实施例中，不合理的引擎参数，会导致存储系统引擎文件中数据空洞多，内存块空闲块比例失调，导致无用IO过多，可以通过数据记录中key、value占用空间大小调整修改成合理的引擎参数，从而保证存储系统运行过程中的性能最优。

数据回档是指将引擎文件回退到业务指定的时间点。当出现硬件错误、程序bug、用户恶意攻击等多种不可控行为时，会有可能导致业务运行中的项目受损或不可用。以游戏数据存储系统为例，在这种情况下，游戏项目组需要将业务中的玩家记录、业务表回退到过去的时间点来恢复程序。

故障切换是指存储设备节点意外停机、重启或进程core时，为了紧急恢复服务，需要将故障机器切换至备机继续提供服务。

当侦听到数据存储系统的运维启动指令时，根据运维启动指令，确定待启动的运维进程，当运维进程包括多个时，获取各个待启动的运维进程对应的数据记录，将数据记录的key字段存储至预设的本地文件，便于后续实现单一运维场景、组合运维场景、随机运维场景的数据校验。

S250，当侦听到数据存储系统的运维完成信号时，读取运维完成后的引擎文件和备份后的本地文件，将读取的引擎文件和备份后的本地文件进行匹配校验，得到校验结果。

在运维进程结束时，可以通过信号侦听得到运维进程结束信号。当运维场景为单个时，当侦听到该运维场景的运维进程结束信号时，该信号即为运维完成信号。当运维场景为多个时，当侦听到全部运维场景的运维进程结束信号时，即为得到运维完成信号。在得到运维完成信号时，分别获取存储有运维处理前的数据信息的预设的本地文件以及写入有运维处理后的数据信息的引擎文件。通过对引擎文件与预设的本地文件进行匹配校验，得到运维前后的数据对比校验结果。

进一步地，在其中一个实施例中，在获取到备份后的本地文件之后，根据备份后的本地文件中的key字段和预设的数据记录生成规则，得到与key字段对应的value字段，得到运维处理前的数据记录，然后从引擎文件中获取运维处理后的数据记录，进而通过数据字段的对比，得到校验结果。

上述数据校验方法，通过对数据存储系统中的数据读写请求生成对应的数据记录，能够得到与数据存储系统中的数据关联的记录信息，其中，数据记录通过预设的数据记录生成规则生成数据记录，实现了数据记录的随机生成，相较于直接基于数据存储系统中的数据生成的数据记录，既保证了数据存储系统中的数据的关联性，又简化了数据记录的数据形式，为数据存储系统中的大规模数据的对应信息存储以及后续的快速数据校验创造了条件，通过key字段和value字段保证数据记录的可靠性，在用作匹配校验的本地文件中只写入key字段，减小了匹配数据的存储量，便于进行大规模数据对应信息的本地存储，减小资源占用，通过对运维处理后的引擎文件和本地文件之间的匹配校验，解决了大规模数据在运维过程中存在的校验难的问题，简化了数据记录，从而减小了校验的分析处理量，提高了校验效率。

在一个实施例中，如图6所示，将读取的引擎文件和备份后的本地文件进行匹配校验，得到校验结果包括步骤S610至步骤S650。

S610，基于循环冗余校验码，对读取的引擎文件中的系统数据记录进行传输校验，得到第一校验结果。

S620，遍历备份后的本地文件，获取本地文件中包含的本地数据记录的key字段。

S630，根据本地数据记录的key字段和数据记录生成规则，得到本地数据记录的key字段对应的value字段，确定包含key字段和value字段的本地数据记录。

S640，从读取的引擎文件中查找与本地数据记录对应的系统数据记录，将遍历本地文件得到的本地数据记录与查找的系统数据记录进行对比校验，得到第二校验结果。

S650，根据第一校验结果和第二校验结果，得到运维处理前后的数据校验结果。

循环冗余校验码(CRC)是一种具有检错、纠错能力的校验码。在数据自校验工具在向数据存储系统发送数据记录获取请求时，根据k位value字段的二进制码序列，以一定的规则生成一个校验用的r位监督码(即crc码)，构成一个新的k+r位二进制序列码，生成数据记录请求发送至数据存储系统；在响应包收到后，根据k+r位二进制序列码对应的信息码和crc码之间遵循的规则进行校验，以此确定数据记录在传送过程中是否出错，该校验方式可以任意选定信息字段和校验字段的长度。

举例来说，假定待传送的value字段M＝101001(k＝6)。CRC运算就是在数据M后面添加供差错检验用的n位冗余码，然后构成一个帧发送出去，一共发送(k+n)位。在要发送的数据后面加n位的冗余码。n位冗余码的得出过程包括：用二进制的模2运算进行2^n乘M的运算，这相当于在M后面添加n个0，得到k+n位的数除以收发双方事先商定的长度为(n+1)位的除数p(实际上是除数和被除数做异或运算),得出商是Q余数是R(n位，比p少一位)。M＝101001(k＝6),假定除数p＝1101(n＝3，n比除数p少一位，即n为3位)，经模2除法运算后的结果是：商Q＝110101，余数R＝001，这个余数R就作为冗余码拼接在M之后发送出去，这种为了进行检错而添加的冗余码常称为帧检验序列FCS，因此加上FCS后发送的帧是101001001(一共K+n位)。在接收端把接收到的数据以帧为单位进行CRC检验：把收到的每一帧都除以同样的除数P(模2运算)，然后检查得到的余数R。如果在传输过程中无差错，则经过CRC检验后得出的余数R为0。如果出现误码，那么余数R仍等于0的概率是非常小的。通过CRC校验，保证数据记录传输的正确性和完整性；若crc校验不通过，说明记录不一致。可以理解，CRC校验可以用于运维过程中引擎文件的传输后的校验，也可以用于在进行数据对比校验时的引擎文件中的数据记录的传输过程的校验。

通过本地数据记录遍历，引擎文件数据记录get的数据对比方式，首先扫描遍历本地文件，读取本地文件中每一条数据记录的key字段，基于key字段，确定对应的value字段，然后从引擎文件中get到的记录进行数据对比，对比内容包括数据记录的key、value，记录版本version，记录所在位置index等。此方式保证本地文件有的数据记录，在引擎文件中都有，若存在字段内容校验结果不一致，或是引擎文件中无法读取到对应数据记录时，说明记录出现不一致。通过CRC校验和遍历读取校验的双重校验方式，可以准确识别数据记录在传输过程的异常情况，还可以对引擎数据的完整性和数据正确性进行验证。

进一步地，在一个实施例中，如图7所示，根据第一校验结果和第二校验结果，得到运维处理前后的数据校验结果之前，还包括步骤S710至S730。

S710，遍历读取的引擎文件，获取所述引擎文件中包含的系统数据记录。

S720，从所述预设文件备份后的本地文件中查找与所述系统数据记录对应的本地数据记录。

S730，将遍历得到的所述系统数据记录与查找的所述本地数据记录进行对比校验，得到第三校验结果；

根据第一校验结果和第二校验结果，得到运维处理前后的数据校验结果包括步骤S740。

S740，根据第一校验结果、第二校验结果以及第三校验结果，得到运维处理前后的数据校验结果。

通过遍历引擎文件，以遍历数据为依据，读取本地文件中的数据记录进行对比校验，可以确保在引擎文件中有的数据记录在本地文件中都存在，双向验证了引擎文件和本地文件的数据记录是相同的，既不会出现引擎文件中缺少数据记录，也不会出现本地文件中出现缺少数据记录的情况，实现了数据记录的完整性的双向校验。

在一个实施例中，数据校验方法的流程示意图如图8所示，具体包括步骤S802至步骤S832。

S802，获取数据存储系统生成的数据读写请求、以及key字段变化规律和value字段变化规律。

S804，获取随机数据，根据随机数据以及key字段变化规律，生成数据读写请求对应的key字段。

S806，根据key字段以及value字段变化规律，生成数据读写请求对应的value字段。

S808，获取数据读写请求对应的api版本信息和记录位置信息，根据key字段、value字段、api版本信息以及记录位置信息，得到数据读写请求对应的数据记录。

S810，将数据记录中的key字段、value字段、版本信息和记录位置信息写入数据存储系统的引擎文件。

S812，当侦听到数据存储系统的运维启动指令时，根据运维启动指令，确定待启动的运维进程。

S814，将待启动的运维进程对应的数据记录的key字段、版本信息和记录位置信息存储至预设的本地文件。

S816，当侦听到数据存储系统的运维完成信号时，读取运维完成后的引擎文件和备份后的本地文件，进入步骤S818、S820以及S826。

S818，基于循环冗余校验码，对读取的引擎文件中的系统数据记录进行传输校验，得到第一校验结果。

S820，遍历备份后的本地文件，获取本地文件中包含的本地数据记录的key字段。

S630，根据本地数据记录的key字段和数据记录生成规则，得到包含key字段和value字段的本地数据记录。

S824，从读取的引擎文件中查找与本地数据记录对应的系统数据记录，将遍历本地文件得到的本地数据记录与查找的系统数据记录进行对比校验，得到第二校验结果。

S826，遍历读取的引擎文件，获取所述引擎文件中包含的系统数据记录；

S828，从备份后的本地文件中查找与系统数据记录对应的本地数据记录的key字段，得到与系统数据记录对应的本地数据记录。

S830，将遍历得到的所述系统数据记录与查找的所述本地数据记录进行对比校验，得到第三校验结果。

S832，根据第一校验结果、第二校验结果以及第三校验结果，得到运维处理前后的数据校验结果。

在一个实施例中，如图9所示，数据自校验工具分为消息模拟器(数据构造模块)、运维策略模型器和消息校验器(数据校验模块)。其中，消息模拟器根据配置文件得到数据记录key字段的变化规律、value字段变化规律、读写请求类型的配置比例等，得到数据记录生成规则，保证数据记录生成的随机性。

如图10所示，数据记录构造原理包括消息模拟和本地保存两部分，其中，消息模拟可以通过消息模拟桩来进行消息生成，然后将模拟生成的消息写入在数据存储系统的引擎文件中，消息模拟的特征包括，基于消息记录生成规则，利用随机数据和key变化规律生成key字段，再根据key字段和value字段变化规律，生成value字段，实现数据记录的可定制以及逆向推导，便于进行数据校验。消息记录中包括版本信息，可以覆盖所有旧版本接口例如图9所示的2.2.6、3.18.0均为api版本，保证兼容性，数据访问请求的数据包括generic表、list表以及pb表等，不同类型的数据对应不同的数据记录位置，确保覆盖所有类型消息，通过读写请求类型的配置比例，实现数据记录的消息类型比例配置。通过将key字段、版本信息以及位置信息存储至本地，由于key字段相较与value字段数据的占用空间大小较小，通过将key字段存储至本地，在校验过程中，基于数据记录生成规则来反向推导得到对应的value字段，减小了数据记录对本地存储空间的占用，在实施例中，经统计，对于100GB的数据，通过对数据访问记录生成对应的数据记录再存储至本地文件中，占用的存储空间大小仅为10kb，很大程度上节省了对本地存储空间的占用，为大规模数据的数据存储系统的运维校验提供了条件。

对于数据校验模块，统一支持单一运维场景、组合运维场景、随机运维场景的数据校验，可用来自动校验工具保存的本地文件与存储系统中引擎文件的一致性，主要有方式包括：第一种：crc校验，第二种：对比校验。其中，对比校验包括本地遍历，远端get和远端遍历，本地get两种方式。

如图11所示，通过遍历本地文件，并根据从本地文件中获取的key字段，从引擎文件中查找对应的数据记录，引擎文件中可以包括数据文件、索引文件以及元数据文件，具体包括key字段、value字段、api版本信息以及记录位置信息等，当查找到对应的数据记录时，获取本地文件中的key字段对应的value字段，进行字段内容对比，当字段内容相同时，验证通过，通过这种对比方式保证本地文件有的数据记录，数据存储系统引擎文件中都会有。

如图12所示，通过遍历引擎文件，引擎文件中可以包括数据文件、索引文件以及元数据文件，获取key字段、value字段、api版本信息以及记录位置信息等信息构成的数据记录，根据遍历得到的每一个数据记录，从本地文件查找对应的key字段，当查找到每一数据记录对应的key字段时，确定key字段对应的value字段，进行字段内容对比，当字段内容相同时，验证通过，通过这种对比方式保证数据存储系统引擎文件中有的数据记录，本地文件中都会有。

例如，在数据自校验工具的测试过程中，可以使用数据自校验工具的运维策略模拟器模拟运维场景，运维策略模拟器可覆盖发布环境系统遇到的所有运维场景，且对单一或多种的运维场景可自由随机组合，便于运维操作场景的增减。实现了线上业务运维模型全覆盖、组合操作更容易发现问题，随机事件覆盖遗漏场景，且运维策略添加简单。在运维结束需要数据校验时，可使用数据自校验工具中的数据校验模块，该数据校验模块使用crc校验，本地遍历远端校验，远端遍历本地校验三种方式，自动校验数据记录经过多种模拟的运维策略事件前后的数据一致性。

图2-图8为一个实施例中数据校验方法的流程示意图。应该理解的是，虽然图2-图8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-图8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图13所示，提供了一种数据校验装置1300，装置包括请求获取模块1310、数据记录生成模块1320、引擎文件处理模块1330、本地文件处理模块1340以及匹配校验模块1350。

请求获取模块1310，用于获取数据存储系统生成的数据读写请求。

数据记录生成模块1320，用于根据预设的数据记录生成规则，生成与数据读写请求对应的数据记录，数据记录包括key字段和value字段。

引擎文件处理模块1330，用于将key字段和value字段写入数据存储系统的引擎文件。

本地文件处理模块1340，用于当侦听到数据存储系统的运维启动指令时，运维进程当侦听到数据存储系统的运维启动指令时，将数据记录中key字段备份至预设的本地文件。

匹配校验模块1350，用于当侦听到数据存储系统的运维完成信号时，读取运维完成后的引擎文件和备份后的本地文件，将读取的引擎文件和备份后的本地文件进行匹配校验，得到校验结果。

在一个实施例中，数据记录生成模块还用于获取预设的数据记录生成规则中的字段变化规律；根据字段变化规律，生成与各数据读写请求对应的key字段和value字段，得到数据记录。

在一个实施例中，数据记录生成模块还用于获取随机数据，根据随机数据以及key字段变化规律，生成数据读写请求对应的key字段；根据key字段以及value字段变化规律，生成数据读写请求对应的value字段；获取数据读写请求对应的api版本信息和记录位置信息，根据key字段、value字段、api版本信息和记录位置信息，得到数据读写请求对应的数据记录。

在一个实施例中，引擎文件处理模块还用于将数据记录中的key字段、value字段、版本信息和记录位置信息写入数据存储系统的引擎文件；本地文件处理模块还用于当侦听到数据存储系统的运维启动指令时，将数据记录的key字段、版本信息和记录位置信息存储至预设的本地文件运维进程。

在一个实施例中，匹配校验模块还用于基于循环冗余校验码，对读取的引擎文件中的系统数据记录进行传输校验，得到第一校验结果；遍历备份后的本地文件，获取本地文件中包含的本地数据记录的key字段；根据本地数据记录的key字段和数据记录生成规则，得到本地数据记录的key字段对应的value字段，确定包含key字段和value字段的本地数据记录；从读取的引擎文件中查找与本地数据记录对应的系统数据记录，将遍历本地文件得到的本地数据记录与查找的系统数据记录进行对比校验，得到第二校验结果。根据第一校验结果和第二校验结果，得到运维处理前后的数据校验结果。

在一个实施例中，匹配校验模块还用于遍历读取的引擎文件，获取所述引擎文件中包含的系统数据记录；从所述预设文件备份后的本地文件中查找与所述系统数据记录对应的本地数据记录；将遍历得到的所述系统数据记录与查找的所述本地数据记录进行对比校验，得到第三校验结果；根据第一校验结果、第二校验结果以及第三校验结果，得到运维处理前后的数据校验结果。

在一个实施例中，本地文件处理模块还用于当侦听到数据存储系统的运维启动指令时，根据运维启动指令，确定待启动的运维进程，待启动的运维进程包括数据搬迁、引擎参数修改、数据回档、故障切换中的一个运维场景或多个运维场景的组合；获取待启动的运维进程对应的数据记录，将数据记录的key字段存储至预设的本地文件。

图14示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的数据自校验工具120。如图14所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现数据校验方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行数据校验方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的数据校验装置可以实现为一种计算机程序的形式，计算机程序可在如14所示的计算机设备上运行。计算机设备的存储器中可存储组成该数据校验装置的各个程序模块，比如，图13所示的请求获取模块1310、数据记录生成模块1320、引擎文件处理模块1330、本地文件处理模块1340以及匹配校验模块1350。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的数据校验方法中的步骤。

例如，图14所示的计算机设备可以通过如图13所示的数据校验装置中的请求获取模块1310执行获取数据存储系统生成的数据读写请求。计算机设备可通过数据记录生成模块1320执行根据预设的数据记录生成规则，生成与数据读写请求对应的数据记录，数据记录包括key字段和value字段。计算机设备可通过引擎文件处理模块1330执行将key字段和value字段写入数据存储系统的引擎文件。计算机设备可通过本地文件处理模块1340执行当侦听到数据存储系统的运维启动指令时，运维进程当侦听到数据存储系统的运维启动指令时，将数据记录中key字段备份至预设的本地文件。计算机设备可通过匹配校验模块1350执行当侦听到数据存储系统的运维完成信号时，读取运维完成后的引擎文件和备份后的本地文件，将读取的引擎文件和备份后的本地文件进行匹配校验，得到校验结果。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述数据校验方法的步骤。此处数据校验方法的步骤可以是上述各个实施例的数据校验方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述数据校验方法的步骤。此处数据校验方法的步骤可以是上述各个实施例的数据校验方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据校验方法，包括：

获取数据存储系统生成的数据读写请求；

根据预设的数据记录生成规则，生成与所述数据读写请求对应的数据记录，所述数据记录包括key字段和value字段；

将所述key字段和所述value字段写入所述数据存储系统的引擎文件；

当侦听到所述数据存储系统的运维启动指令时，将所述数据记录中key字段备份至预设的本地文件；

当侦听到所述数据存储系统的运维完成信号时，读取运维完成后的引擎文件和备份后的本地文件，将读取的所述引擎文件和备份后的所述本地文件进行匹配校验，得到校验结果。

2.根据权利要求1所述的方法，其特征在于，所述根据预设的数据记录生成规则，生成与所述数据读写请求对应的数据记录包括：

获取预设的数据记录生成规则中的字段变化规律；

根据所述字段变化规律，生成与各所述数据读写请求对应的key字段和value字段，得到数据记录。

3.根据权利要求2所述的方法，其特征在于，所述字段变化规律包括key字段变化规律和value字段变化规律；

所述根据所述字段变化规律，生成与各所述数据读写请求对应的key和value，得到数据记录包括：

获取随机数据，根据所述随机数据以及key字段变化规律，生成所述数据读写请求对应的key字段；

根据所述key字段以及value字段变化规律，生成所述数据读写请求对应的value字段；

获取所述数据读写请求对应的api版本信息和记录位置信息，根据所述key字段、所述value字段、所述api版本信息和所述记录位置信息，得到所述数据读写请求对应的数据记录。

4.根据权利要求3所述的方法，其特征在于，所述将所述key字段和所述value字段写入所述数据存储系统的引擎文件包括：

将所述数据记录中的所述key字段、所述value字段、所述版本信息和所述记录位置信息写入所述数据存储系统的引擎文件；

所述当侦听到所述数据存储系统的运维启动指令时，将所述数据记录中key字段备份至预设的本地文件包括：

当侦听到所述数据存储系统的运维启动指令时，将所述数据记录的所述key字段、所述版本信息和所述记录位置信息存储至预设的本地文件。

5.根据权利要求1所述的方法，其特征在于，所述将读取的所述引擎文件和本地文件进行匹配校验，得到校验结果包括：

基于循环冗余校验码，对读取的引擎文件中的系统数据记录进行传输校验，得到第一校验结果；

遍历备份后的本地文件，获取所述本地文件中包含的本地数据记录的key字段；

根据所述本地数据记录的key字段和所述数据记录生成规则，得到所述本地数据记录的key字段对应的value字段，确定包含key字段和value字段的本地数据记录；

从读取的引擎文件中查找与所述本地数据记录对应的系统数据记录，将遍历本地文件得到的本地数据记录与查找的系统数据记录进行对比校验，得到第二校验结果；

根据所述第一校验结果和所述第二校验结果，得到运维处理前后的数据校验结果。

6.根据权利要求5所述的方法，其特征在于，所述根据所述第一校验结果和所述第二校验结果，得到运维处理前后的数据校验结果之前，还包括：

遍历读取的引擎文件，获取所述引擎文件中包含的系统数据记录；

从所述备份后的本地文件中查找与所述系统数据记录对应的本地数据记录；

将遍历得到的所述系统数据记录与查找的所述本地数据记录进行对比校验，得到第三校验结果；

所述根据所述第一校验结果和所述第二校验结果，得到运维处理前后的数据校验结果包括：

根据所述第一校验结果、所述第二校验结果以及所述第三校验结果，得到运维处理前后的数据校验结果。

7.根据权利要求1所述的方法，其特征在于，所述当侦听到所述数据存储系统的运维启动指令时，将所述数据记录中key字段备份至预设的本地文件包括：

当侦听到所述数据存储系统的运维启动指令时，确定所述运维启动指令对应的待启动的运维进程，所述待启动的运维进程包括数据搬迁、引擎参数修改、数据回档、故障切换中的一个运维场景或多个运维场景的组合；

获取待启动的运维进程对应的数据记录，将所述数据记录的key字段备份至预设的本地文件。

8.一种数据校验装置，其特征在于，所述装置包括：

请求获取模块，用于获取数据存储系统生成的数据读写请求；

数据记录生成模块，用于根据预设的数据记录生成规则，生成与所述数据读写请求对应的数据记录，所述数据记录包括key字段和value字段；

引擎文件处理模块，用于将所述key字段和所述value字段写入所述数据存储系统的引擎文件；

本地文件处理模块，用于当侦听到所述数据存储系统的运维启动指令时，将所述数据记录中key字段备份至预设的本地文件；

匹配校验模块，用于当侦听到所述数据存储系统的运维完成信号时，读取运维完成后的引擎文件和备份后的本地文件，将读取的所述引擎文件和备份后的所述本地文件进行匹配校验，得到校验结果。

9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。

Images