CN114817218A - 一种数据校验方法、系统及电子装置、可读存储介质 - Google Patents

Abstract

本申请提出了一种数据校验方法，包括：获取待处理文件，为待处理文件配置至少一校验规则，其中每一校验规则设有相应的优先级和预设样式；从待处理文件中提取包括至少一待校验数据的待校验数据集；按照每一校验规则的优先级依次选取校验规则，根据校验规则遍历校验待校验数据集确定不合格待校验数据，按照校验规则的预设样式校正待处理文件中每一不合格待校验数据。该方法通过将每个校验规则独立化，根据需要为待处理文件指定校验规则的校验顺序，实现了待处理文件需要使用多个校验规则进行校验时，自动查询并修改不合格的待校验数据。

Description

一种数据校验方法、系统及电子装置、可读存储介质

技术领域

本申请涉及计算机领域，特别是涉及一种数据校验方法、系统及电子装置、可读存储介质。

背景技术

数据最常用的保存方式之一是将数据以表格的形式进行保存。例如Microsoft推出的Microsoft Excel是一款为Windows和Apple Macintosh的操作系统提供的电子表格软件，用于将数据以表格的形式进行展示、保存以及统计等功能。

随着数据量的急剧增长，除了要实现数据的存储，更重要的是需要判断数据是否符合业务要求或程序识别标准，因此常规的电子表格软件已经不能满足业务需求。

发明内容

本申请提供了一种数据校验方法、系统及电子装置、可读存储介质，通过将每个校验规则独立化，根据需要为待处理文件指定校验规则的校验顺序，实现了待处理文件需要使用多个校验规则进行校验时，自动查询并修改不合格的待校验数据。

第一方面，本申请实施例提供了一种数据校验方法，包括以下步骤：

获取待处理文件，为所述待处理文件配置至少一校验规则，其中每一所述校验规则设有相应的优先级和预设样式；

从所述待处理文件中提取包括至少一待校验数据的待校验数据集；

按照每一所述校验规则的优先级依次选取校验规则，根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据，根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据。

在一些申请实施例中，在“根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据”后，包括：复制校正后的待处理文件作为对应所述校验规则的校验结果文件。

在一些申请实施例中，“从所述待处理文件中提取包括至少一待校验数据的待校验数据集”包括：获取至少一目标校验属性，遍历所述待处理文件中的所有属性值，将与任一所述目标检验属性匹配的属性值对应的每一数据作为待校验数据，所有所述待校验数据组成待校验数据集。

在一些申请实施例中，“从所述待处理文件中提取包括至少一待校验数据的待校验数据集”包括：获取至少一目标校验区域，将所述目标校验区域中的每一数据作为待校验数据，所有所述待校验数据组成待校验数据集。

在一些申请实施例中，“根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据”包括：根据所述校验规则遍历校验所述待校验数据集中的每一待校验数据，将不符合所述校验规则的预设样式的待校验数据判定为不合格的待校验数据。

在一些申请实施例中，“根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据”包括：获取每一所述不合格的待校验数据的位置信息，根据所述校验规则的预设样式修改所述待处理文件中每一所述位置信息对应的数据。

在一些申请实施例中，所述待处理文件为用户上传的数据文件或所述数据文件的副本文件。

第二方面，本申请实施例提供了一种数据校验系统，用于实现第一方面中所述的一种数据校验方法，该系统包括以下模块：

获取模块，用于获取待处理文件，为所述待处理文件配置至少一校验规则，其中每一所述校验规则设有相应的优先级和预设样式；

解析模块，用于从所述待处理文件中提取包括至少一待校验数据的待校验数据集；

校验模块，用于按照每一所述校验规则的优先级依次选取校验规则，根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据，根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据。

第三方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以如上任意申请实施例所述的数据校验方法。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据如上任意申请实施例所述的数据校验方法。

本申请的主要贡献和创新点如下：

本申请提供了一种数据校验方法、系统及电子装置、可读存储介质，通过将每个校验规则独立化，根据需要为待处理文件指定校验规则的校验顺序，实现了待处理文件需要使用多个校验规则进行校验时，自动查询并修改不合格的待校验数据。并在一些申请实施例中，每一个校验规则校验完成之后对应的返回一个完整的校验结果文件，保证了每个校验规则执行的可靠性，并且在一个校验规则的校验过程被中断后，需要继续进行校验时会重新根据对应的校验规则进行校验，用户可根据返回的校验规则的校验结果文件来查看待处理文件的校验进度情况。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的数据校验方法的流程图；

图2是根据本申请实施例的数据校验系统的结构框图；

图3是根据本申请实施例的电子装置的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描：述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

实施例一

本实施例提供了一种数据校验方法，通过为待处理文件配置相应的校验规则，并按照校验规则的优先级依次校验待处理文件，将不合格的文件按照对应校验规则的预设样式进行修改，以实现数据的自动校验和修改。

在本实施例中，该方法包括以下步骤：

步骤S1：获取待处理文件，为所述待处理文件配置至少一校验规则，其中每一所述校验规则设有相应的优先级和预设样式；

步骤S2：从所述待处理文件中提取包括至少一待校验数据的待校验数据集；

步骤S3：按照每一所述校验规则的优先级依次选取校验规则，根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据，根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据。

在步骤S1中，首先获取待处理文件，其次为待处理文件配置至少一校验规则，每一校验规则设有相应的优先级、预设样式。

在一些具体实施例中，待处理文件为用户上传的数据文件或所述数据文件的副本文件。

获取用户上传的数据文件需要设计一个文件上传接口，用户通过该文件上传接口上传数据文件后会保存到指定的文件夹，并将用户上传的数据文件复制得到该数据文件的副本文件，将该副本文件保存到另一个临时文件夹。

这样做的好处是，后续的操作都是基于该数据文件的副本文件进行的，也就是说，校验操作或者修改操作不会对数据文件的原始内容有影响。

获取待处理文件后，先判断待处理文件的文件类型是否合法，例如文件后缀名为.xls或.xlsx即为合法，如果文件类型不合法就会返回一个异常，并显示文件类型或文件格式不正确。

具体的，创建一个命令执行接口类(Command)，这个接口代表的是校验规则判断的统一接口，每一个校验规则实现这个命令执行接口类，每一个校验规则等同于一个处理者。需要配置的校验规则实现该接口后，不仅每一个校验规则可以单独处理的，还可以实现多个规则联动。利用命令模式的特点，可扩展性较强，实现命令和操作分离，而且可以满足不同的业务需求。

因为业务的复杂性，在待处理文件配置了多个校验规则的时候，需要考虑规则先后问题，因此给每一校验规则设置优先级。并且按照校验规则对待处理文件中的数据进行校验，发现不合格的数据时，使用该校验规则对应的预设样式修改不合格的数据。

具体的，可以设计抽象的责任链(Chain)，可以存放控制校验规则执行顺序的指针，按照校验规则的优先级控制校验规则执行的顺序。在对待处理文件执行校验时，将执行校验规则的请求发送给这个责任链(Chain)，按照这个责任链的顺序执行校验规则，不需要多余的控制，可以降低系统的耦合度。

另外，配置的校验规则可以是使用已有的默认校验规则，也可以是自定义新的校验规则。

校验规则需要实现Rule接口，并重写Rule接口中的handler()方法，同时继承了优先级属性priority，该属性作用是设置校验规则执行的顺序。优先级设置之后，当同时传入多个校验规则进行处理时，会优先执行优先级高的校验规则，然后再执行优先级低的校验规则。

例如，默认校验规则有判断是否为null规则(IsNullValueRule)、是否等于固定的值的规则(IsFixedValueRule)、是否包含某个值规则(IsContainValueRule)、正则表达式规则(RegularValueRule)等。自定义校验规则需要在handler()方法中编写代码逻辑，按照需要处理的业务进行数据校验或处理。

在步骤S2中，从待处理文件中提取需要进行校验的数据作为待校验数据，并使用所有待检验数据构建待检验数据集。

其中，待校验数据集可以分为两种，一种是对目标校验属性的数据进行校验，一种是对目标校验区域内的数据进行校验。

在一些具体实施例中，“从所述待处理文件中提取包括至少一待校验数据的待校验数据集”包括：获取至少一目标校验属性，遍历所述待处理文件中的所有属性值，将与任一所述目标检验属性匹配的属性值对应的每一数据作为待校验数据，所有所述待校验数据组成待校验数据集。

例如，待处理文件中的列表头或者行表头为属性值，遍历待处理文件中的列表头或者行表头并与目标检验属性进行匹配，以获取待校验数据。

在另一具体实施例中，“从所述待处理文件中提取包括至少一待校验数据的待校验数据集”包括：获取至少一目标校验区域，将所述目标校验区域中的每一数据作为待校验数据，所有所述待校验数据组成待校验数据集。

例如，设置目标校验区域为第3行第五列到第10行第5列的这个矩形区域，获取该目标校验区域中的所有数据作为待校验数据组成待校验数据集。

在步骤S3中，按照校验规则的优先级依次对待校验数据集进行校验，从优先级最高的校验规则开始，选取校验规则，使用校验规则遍历校验待校验数据集获得不合格的待校验数据并校正。

具体的，“根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据”包括：根据所述校验规则遍历校验所述待校验数据集中的每一待校验数据，将不符合所述校验规则的预设样式的待校验数据判定为不合格的待校验数据。也就是说，校验规则需要判断每一个待校验数据是否符合预设样式，将不符合预设样式的待校验数据作为不合格的待校验数据。

在一些具体实施例中，在“根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据”后，包括：复制校正后的待处理文件作为对应所述校验规则的校验结果文件。

这样做的好处是，每一个校验规则校验完成之后，都会对应的返回一个完整的校验结果文件，保证了每个校验规则执行的可靠性，并且在一个校验规则的校验过程被中断后，需要继续进行校验时会重新根据校验规则进行校验，用户可根据返回的校验规则的校验结果文件来查看待处理文件的校验进度情况。

在一些具体实施例中，“根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据”包括：获取每一所述不合格的待校验数据的位置信息，根据所述校验规则的预设样式修改所述待处理文件中每一所述位置信息对应的数据。

例如，获取不合格的待校验数据的行号、列号作为它的位置信息，并按照校验规则的预设样式修改待处理文件中相应行号、列号对应的数据。

另外，为了防止内存的溢出，还可以设置每次处理的待校验数据的数量或者设置每次修改不合格的待校验数据的数量。

值得一提的是，在根据校验规则进行校验的过程中，会重新构建一个sheet页(规则页面)列出所有的校验规则，用于判断某一项校验规则判断是否有不合法的单元格，如果有，规则页面样式某个规则和不合法的单元格的样式一致。最后，将规则判断进度保存到数据库中，方便未执行完重新执行，在待处理文件完成校验规则的校验后，将文件返回给用户。

实施例二

基于相同的构思，本实施例还提供了一种数据校验系统，用于实现实施例一中所描述的一种数据校验方法，具体参考图2，该系统包括以下模块：

获取模块，用于获取待处理文件，为所述待处理文件配置至少一校验规则，其中每一所述校验规则设有相应的优先级和预设样式；

解析模块，用于从所述待处理文件中提取包括至少一待校验数据的待校验数据集；

校验模块，用于按照每一所述校验规则的优先级依次选取校验规则，根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据，根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据。

实施例三

本实施例还提供了一种电子装置，参考图3，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述实施例中的任意一种数据校验方法的步骤。

具体地，上述处理器402可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(Solid State Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerial Bus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性(Non-Volatile)存储器。在特定实施例中，存储器404包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(Random Access Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable Programmable Read-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable Programmable Read-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-Only Memory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(StaticRandom-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random AccessMemory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器404(Fast PageMode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic Random Access Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。

存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。

处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种数据校验方法。

可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。

传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是当前数据表例如疫情流调文档、特征数据、模板表等，输出的信息可以是特征指纹、指纹模板、文本分类推荐信息、文件模板配置映射表、文件模板配置信息表等。

可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：

获取待处理文件，为所述待处理文件配置至少一校验规则，其中每一所述校验规则设有相应的优先级和预设样式；

从所述待处理文件中提取包括至少一待校验数据的待校验数据集；

按照每一所述校验规则的优先级依次选取校验规则，根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据，根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例一中的任意一种数据校验方法，本申请实施例可一种计算机程序产品来实现。该计算机程序产品该计算机程序产品包括软件代码部分，当所述计算机程序产品在计算机上被运行时，所述软件代码部分用于执行实现上述实施例一中的任意一种数据校验方法。

并且，结合上述实施例一中的任意一种数据校验方法，本申请实施例可提供一种可读存储介质来实现。该可读存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种数据校验方法。

通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。

本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。

本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据校验方法，其特征在于，包括以下步骤：

获取待处理文件，为所述待处理文件配置至少一校验规则，其中每一所述校验规则设有相应的优先级和预设样式；

从所述待处理文件中提取包括至少一待校验数据的待校验数据集；

按照每一所述校验规则的优先级依次选取校验规则，根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据，按照所述校验规则的预设样式校正所述待处理文件中每一所述不合格待校验数据。

2.根据权利要求1所述的数据校验方法，其特征在于，在“根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据”后，包括：复制校正后的待处理文件作为对应所述校验规则的校验结果文件。

3.根据权利要求1所述的数据校验方法，其特征在于，“从所述待处理文件中提取包括至少一待校验数据的待校验数据集”包括：获取至少一目标校验属性，遍历所述待处理文件中的所有属性值，将与任一所述目标检验属性匹配的属性值对应的每一数据作为待校验数据，所有所述待校验数据组成待校验数据集。

4.根据权利要求1所述的数据校验方法，其特征在于，“从所述待处理文件中提取包括至少一待校验数据的待校验数据集”包括：获取至少一目标校验区域，将所述目标校验区域中的每一数据作为待校验数据，所有所述待校验数据组成待校验数据集。

5.根据权利要求1所述的数据校验方法，其特征在于，“根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据”包括：根据所述校验规则遍历校验所述待校验数据集中的每一待校验数据，将不符合所述校验规则的预设样式的待校验数据判定为不合格的待校验数据。

6.根据权利要求1所述的数据校验方法，其特征在于，“根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据”包括：获取每一所述不合格的待校验数据的位置信息，根据所述校验规则的预设样式修改所述待处理文件中每一所述位置信息对应的数据。

7.根据权利要求1-6任一所述的数据校验方法，其特征在于，所述待处理文件为用户上传的数据文件或所述数据文件的副本文件。

8.一种数据校验系统，其特征在于，包括以下模块：

获取模块，用于获取待处理文件，为所述待处理文件配置至少一校验规则，其中每一所述校验规则设有相应的优先级和预设样式；

解析模块，用于从所述待处理文件中提取包括至少一待校验数据的待校验数据集；

校验模块，用于按照每一所述校验规则的优先级依次选取校验规则，根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据，根据所述校验规则遍历校验所述待校验数据集确定不合格待校验数据。

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7任一所述的数据校验方法。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1至7任一所述的数据校验方法。

Images