CN113656404A - 数据校验方法、装置、计算机设备及存储介质 - Google Patents
数据校验方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113656404A CN113656404A CN202110874837.9A CN202110874837A CN113656404A CN 113656404 A CN113656404 A CN 113656404A CN 202110874837 A CN202110874837 A CN 202110874837A CN 113656404 A CN113656404 A CN 113656404A
- Authority
- CN
- China
- Prior art keywords
- data
- data table
- logic
- matching
- format
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013524 data verification Methods 0.000 title claims abstract description 53
- 238000004458 analytical method Methods 0.000 claims abstract description 53
- 238000012986 modification Methods 0.000 claims description 25
- 230000004048 modification Effects 0.000 claims description 25
- 238000012360 testing method Methods 0.000 claims description 18
- 238000013515 script Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请涉及数据处理领域，揭示了一种数据校验方法、装置、计算机设备及存储介质，方法包括：获取待校验数据文件；识别所述待校验数据文件的数据格式，基于预设定格式规则库确定所述数据格式对应的格式解析规则；根据所述格式解析规则解析所述待校验数据文件，得到待校验数据；获取所述待校验数据包含的字段及各个字段的值，根据所述待校验数据包含的字段及各个字段的值建立第一数据表；获取预设的校验点及匹配逻辑，根据所述预设的校验点及匹配逻辑生成第一数据表的标识信息，以及生成数据表间的匹配逻辑语句；根据所述匹配逻辑语句比较所述第一数据表与第二数据表，生成逻辑匹配结果。本申请能够提高不同匹配逻辑下的数据校验的效率。
Description
技术领域
本申请涉及到数据处理领域，特别是涉及到一种数据校验方法、装置、计算机设备及存储介质。
背景技术
随着互联网技术的发展，数据校验是测试领域经常需要完成的工作内容，目前一种是使用人工进行数据校验，如果数据量巨大且数据结构复杂，单纯的人工校验不仅耗时长，耗费人力巨大，而且存在数据遗漏的现象，造成数据校验的效率低；另一种是使用数据校验工具，而目前的数据校验工具仅能针对顺序一致的表格或文本进行数据校验，无法满足测试场景的需求。
发明内容
本申请的主要目的为提供一种数据校验方法、装置、计算机设备及存储介质，旨在解决目前不同测试场景下进行数据校验的效率低的问题。
为了实现上述发明目的，本申请提出一种数据校验方法，包括：
获取待校验数据文件；
识别所述待校验数据文件的数据格式，基于预设定格式规则库确定所述数据格式对应的格式解析规则；
根据所述格式解析规则解析所述待校验数据文件，得到待校验数据；
获取所述待校验数据包含的字段及各个字段的值，根据所述待校验数据包含的字段及各个字段的值建立第一数据表；
获取预设的校验点及匹配逻辑，根据所述预设的校验点及匹配逻辑生成第一数据表的标识信息，以及根据所述预设的校验点及匹配逻辑生成数据表间的匹配逻辑语句；
根据所述匹配逻辑语句比较所述第一数据表与第二数据表，生成所述第一数据表与所述第二数据表的逻辑匹配结果；所述第二数据表为基于源数据建立的数据表，所述第二数据表的标识信息与第一数据表的标识信息相同。
进一步地，所述根据所述预设的校验点及匹配逻辑生成数据表间的匹配逻辑语句之后，还包括：
基于大数据收集的历史逻辑语句判断所述匹配逻辑语句是否正确；
若否，输出对所述匹配逻辑语句的修改窗口；
当接收到从所述修改窗口反馈的修改指令后，基于所述修改指令修改所述匹配逻辑语句，以更新所述匹配逻辑语句。
进一步地，所述根据所述匹配逻辑语句比较所述第一数据表与第二数据表，生成所述第一数据表与所述第二数据表的逻辑匹配结果，包括：
获取第一数据表中第一区域的数据，计算所述第一区域的数据的第一校验值；
获取第二数据表中第二区域的数据，并计算所述第二区域的数据的第二校验值；
根据所述匹配逻辑语句比较所述第一校验值与所述第二校验值是否相同；
若相同，则确定第一区域的数据与第二区域的数据相同，并生成所述第一区域与所述第二区域的待选逻辑匹配结果；
重复执行上述获取第一数据表中第一区域的数据及获取第二数据表中第二区域的数据的步骤，直至完成所述第一数据表与所述第二数据表的所有区域的逻辑匹配结果匹配，得到所有区域的待选逻辑匹配结果；
根据所述所有区域的待选逻辑匹配结果生成所述第一数据表与所述第二数据表的逻辑匹配结果。
进一步地，所述识别所述待校验数据文件的数据格式，基于预设定格式规则库确定所述数据格式对应的格式解析规则，包括：
识别所述待校验数据文件的数据格式，判断所述数据格式是否为自定义的数据格式；
若是，从预设定格式规则库中获取解析脚本，将所述解析脚本确定为所述自定义的数据格式对应的格式解析规则。
进一步地，所述生成所述第一数据表与所述第二数据表的逻辑匹配结果之后，还包括：
获取不同校验场景下对应的报告格式；
从所述逻辑匹配结果中筛选分别符合各所述报告格式的目标数据，根据所述目标数据生成对应校验场景下的校验数据报告。
进一步地，所述根据所述目标数据生成对应测试场景下的校验数据报告之后，还包括：
接收用户对任一测试场景的选择指令，输出对应测试场景的所述校验数据报告。
进一步地，所述生成所述第一数据表与所述第二数据表的逻辑匹配结果之后，包括：
在预设的倒计时后，清除所述第一数据表中的数据。
本申请还提供一种数据校验装置，包括：
文件获取模块，用于获取待校验数据文件；
解析规则模块，用于识别所述待校验数据文件的数据格式，基于预设定格式规则库确定所述数据格式对应的格式解析规则；
文件解析模块，用于根据所述格式解析规则解析所述待校验数据文件，得到待校验数据；
表格建立模块，用于获取所述待校验数据包含的字段及各个字段的值，根据所述待校验数据包含的字段及各个字段的值建立第一数据表；
逻辑确定模块，用于获取预设的校验点及匹配逻辑，根据所述预设的校验点及匹配逻辑生成第一数据表的标识信息，以及根据所述预设的校验点及匹配逻辑生成数据表间的匹配逻辑语句；
逻辑匹配模块，用于根据所述匹配逻辑语句比较所述第一数据表与第二数据表，生成所述第一数据表与所述第二数据表的逻辑匹配结果；所述第二数据表为基于源数据建立的数据表，所述第二数据表的标识信息与第一数据表的标识信息相同。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述数据校验方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述数据校验方法的步骤。
本申请例提供了一种数据校验的方法，首先获取待校验数据文件，识别所述待校验数据文件的数据格式，基于预设定格式规则库确定所述数据格式对应的格式解析规则，根据所述格式解析规则解析所述待校验数据文件，得到待校验数据，获取所述待校验数据包含的字段及各个字段的值，每个字段均有对应的值，多个字段组成一行数据，不同行数据均包含所有字段及字段对应的值，根据所述待校验数据包含的字段及各个字段的值建立第一数据表；获取预设的校验点及匹配逻辑，根据所述预设的校验点及匹配逻辑生成第一数据表的标识信息，以及根据所述预设的校验点及匹配逻辑生成数据表间的匹配逻辑语句，根据所述匹配逻辑语句比较所述第一数据表与第二数据表，所述第二数据表为基于源数据建立的数据表，且所述第二数据表的标识信息与第一数据表的标识信息相同，基于相同标识信息对第一数据表与第二数据表进行逻辑匹配，可以提高数据匹配效率，从而生成所述第一数据表与所述第二数据表的逻辑匹配结果，所述逻辑匹配结果为所述第一数据表与所述第二数据表中的校验点满足所述匹配逻辑的数据，提高不同匹配逻辑下的数据校验的效率，从而提高不同测试场景下的数据校验的效率。
附图说明
图1为本申请数据校验方法的一实施例流程示意图；
图2为本申请数据校验装置的一实施例结构示意图；
图3为本申请计算机设备的一实施例结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请实施例提供一种数据校验方法，包括步骤S10-S60，对于所述数据校验方法的各个步骤的详细阐述如下。
S10、获取待校验数据文件。
本实施例应用于数据校验场景中，通过开发一数据校验工具实现所述数据校验方法，首先获取待校验数据文件，具体的，在系统执行业务的过程，系统的各个节点均会产生数据，为了对业务各个节点的数据进行校验，将所述数据校验工具接入至各个节点，获取各个节点所产生的数据文件，将所述数据文件定义为待校验数据文件。
S20、识别所述待校验数据文件的数据格式，基于预设定格式规则库确定所述数据格式对应的格式解析规则。
本实施例中，数据校验工具在获取待校验数据文件之后，识别所述待校验数据文件的数据格式，在一种实施方式中，通过识别所述待校验数据文件的文件名确定所述待校验数据文件的数据格式，所述数据格式包括xml、html、json、csv等格式，基于预设定格式规则库确定所述数据格式对应的格式解析规则，不同的数据格式配置不同的格式解析规则。进一步的，本实施例的所述数据校验工具也支持自定义的数据格式解析，若所述待校验数据文件的数据格式为自定义的数据格式，在所述数据校验工具中编写的数据解析脚本到指定路径，来支持自定义的数据格式的解析。
S30、根据所述格式解析规则解析所述待校验数据文件，得到待校验数据。
本实施例中，在确定所述数据格式对应的格式解析规则之后，根据所述格式解析规则解析所述待校验数据文件，即按照文件的格式逻辑识别所述待校验数据文件，识别所述待校验数据文件包含的各个成分以及每个成分对应的数据，不同成分在文件中具有特定的含义，从而得到解析后的数据，定义为待校验数据。例如，对于xml数据格式的待校验数据文件，根据所述格式解析规则解析所述待校验数据文件，首先以字节流的形式加载读取excel文件的A数据，再将所述A数据转型为IExcelDataReader类型的B数据，再将IExcelDataReader类型的B数据转化为DataSet格式的C数据，从所述DataSet格式便可以获取列数和行数，再遍历每一行的数据，从而得到待校验数据。对于CSV数据格式的待校验数据文件，首先将文件切割为每一行，遍历每一行的数据每一行的数据是以逗号隔开的，从而得到待校验数据。
S40、获取所述待校验数据包含的字段及各个字段的值，根据所述待校验数据包含的字段及各个字段的值建立第一数据表。
本实施例中，在解析所述待校验数据文件，得到待校验数据之后，获取所述待校验数据包含的字段及各个字段的值，例如，待校验数据中包含A1，B1，C1，D1等字段，每个字段均有对应的值，多个字段组成一行数据，不同行数据均包含所有字段及字段对应的值，根据所述待校验数据包含的字段及各个字段的值建立第一数据表，即将所述待校验数据中各个字段及每个字段对应的值进行关联后建立数据表，定义为第一数据表。
S50、获取预设的校验点及匹配逻辑，根据所述预设的校验点及匹配逻辑生成第一数据表的标识信息，以及根据所述预设的校验点及匹配逻辑生成数据表间的匹配逻辑语句。
本实施例中，在根据所述待校验数据包含的字段及各个字段的值建立第一数据表之后，为了对数据表进行匹配、校验，可以定义不同的匹配逻辑对数据进行匹配、校验，具体的，获取预设的校验点及匹配逻辑，所述校验点包括部分字段或全部字段，从而校验对应的字段；所述匹配逻辑包括不同的匹配度，如全部匹配、包含、部分包含等，在获取预设的校验点及匹配逻辑后，根据所述预设的校验点及匹配逻辑生成第一数据表的标识信息，即根据所述预设的校验点及匹配逻辑确定所述第一数据表的索引和/或主键，以及根据所述预设的校验点及匹配逻辑生成数据表间的匹配逻辑语句，即根据所述校验点及匹配逻辑自动生成两个数据表的匹配SQ L语句，从而实现两个数据表的数据匹配。
S60、根据所述匹配逻辑语句比较所述第一数据表与第二数据表，生成所述第一数据表与所述第二数据表的逻辑匹配结果；所述第二数据表为基于源数据建立的数据表，所述第二数据表的标识信息与第一数据表的标识信息相同。
本实施例中，在根据所述预设的校验点及匹配逻辑生成第一数据表的标识信息，以及根据所述预设的校验点及匹配逻辑生成数据表间的匹配逻辑语句之后，根据所述匹配逻辑语句比较所述第一数据表与第二数据表，所述第二数据表为基于源数据建立的数据表，为了比较源数据与待校验数据的数据匹配，所述第二数据表的标识信息与第一数据表的标识信息相同，基于相同的主键或索引对第一数据表与第二数据表进行逻辑匹配，可以提高两个表的数据匹配效率，从而生成所述第一数据表与所述第二数据表的逻辑匹配结果，所述逻辑匹配结果为所述第一数据表与所述第二数据表中的校验点满足所述匹配逻辑的数据，包括源数据与待校验数据满足所述匹配逻辑的数据的条数、不满足的数据的条数，不满足的数据的具体内容、及重复的数据等，从而提高数据校验的效率。
本实施例提供一种数据校验的方法，首先获取待校验数据文件，识别所述待校验数据文件的数据格式，基于预设定格式规则库确定所述数据格式对应的格式解析规则，根据所述格式解析规则解析所述待校验数据文件，得到待校验数据，获取所述待校验数据包含的字段及各个字段的值，每个字段均有对应的值，多个字段组成一行数据，不同行数据均包含所有字段及字段对应的值，根据所述待校验数据包含的字段及各个字段的值建立第一数据表；获取预设的校验点及匹配逻辑，根据所述预设的校验点及匹配逻辑生成第一数据表的标识信息，以及根据所述预设的校验点及匹配逻辑生成数据表间的匹配逻辑语句，根据所述匹配逻辑语句比较所述第一数据表与第二数据表，所述第二数据表为基于源数据建立的数据表，且所述第二数据表的标识信息与第一数据表的标识信息相同，基于相同标识信息对第一数据表与第二数据表进行逻辑匹配，可以提高数据匹配效率，从而生成所述第一数据表与所述第二数据表的逻辑匹配结果，所述逻辑匹配结果为所述第一数据表与所述第二数据表中的校验点满足所述匹配逻辑的数据，提高不同匹配逻辑下的数据校验的效率，从而提高不同测试场景下的数据校验的效率。
在一个实施例中，所述根据所述预设的校验点及匹配逻辑生成数据表间的匹配逻辑语句之后，还包括：
基于大数据收集的历史逻辑语句判断所述匹配逻辑语句是否正确；
若否，输出对所述匹配逻辑语句的修改窗口；
当接收到从所述修改窗口反馈的修改指令后，基于所述修改指令修改所述匹配逻辑语句，以更新所述匹配逻辑语句。
本实施例中，在根据所述预设的校验点及匹配逻辑生成数据表间的匹配逻辑语句之后，需要判断所述逻辑语句是否正确生成，具体的，大数据收集了历史生成的逻辑语句，然后建立所述逻辑语句的判断逻辑，基于大数据收集的历史逻辑语句判断所述匹配逻辑语句是否正确，若否，输出对所述匹配逻辑语句的修改窗口，提示用户当前的匹配逻辑语句出现错误，需要进行修改，用户可以通过所述修改窗口对匹配逻辑语句进行修改，即接收从所述修改窗口反馈的修改指令，当接收到从所述修改窗口反馈的修改指令后，基于所述修改指令修改所述匹配逻辑语句，以更新所述匹配逻辑语句，从而完成逻辑语句的修改，保证数据校验的正确。
在一个实施例中，所述根据所述匹配逻辑语句比较所述第一数据表与第二数据表，生成所述第一数据表与所述第二数据表的逻辑匹配结果，包括：
获取第一数据表中第一区域的数据，计算所述第一区域的数据的第一校验值；
获取第二数据表中第二区域的数据，并计算所述第二区域的数据的第二校验值；
根据所述匹配逻辑语句比较所述第一校验值与所述第二校验值是否相同；
若相同，则确定第一区域的数据与第二区域的数据相同，并生成所述第一区域与所述第二区域的待选逻辑匹配结果；
重复执行上述获取第一数据表中第一区域的数据及获取第二数据表中第二区域的数据的步骤，直至完成所述第一数据表与所述第二数据表的所有区域的逻辑匹配结果匹配，得到所有区域的待选逻辑匹配结果；
根据所述所有区域的待选逻辑匹配结果生成所述第一数据表与所述第二数据表的逻辑匹配结果。
本实施例中，在根据所述匹配逻辑语句比较所述第一数据表与第二数据表，生成所述第一数据表与所述第二数据表的逻辑匹配结果的过程中，首先获取第一数据表中第一区域的数据，即选定第一数据表中的一部分区域作为第一区域进行集中校验，然后计算所述第一区域的数据的第一校验值，同时确定第二数据表中与所述第一区域对应的第二区域，以及获取第二数据表中所述第二区域的数据，并计算所述第二区域的数据的第二校验值，根据所述匹配逻辑语句比较所述第一校验值与所述第二校验值是否相同；若相同，则确定第一区域的数据与第二区域的数据相同，并生成所述第一区域与所述第二区域的逻辑匹配结果，进一步的，重复执行上述获取第一数据表中第一区域的数据及获取第二数据表中第二区域的数据的步骤，即依次选取第一数据表中其他区域作为第一区域，然后再与对应的第二区域进行匹配，直至完成第一数据表与第二数据表中所有区域的数据的校验，得到所有区域的待选逻辑匹配结果，从而根据所述所有区域的待选逻辑匹配结果生成所述第一数据表与所述第二数据表的逻辑匹配结果，通过将整体数据进行统一校验，可以提高数据校验的效率。
在一个实施例中，所述识别所述待校验数据文件的数据格式，基于预设定格式规则库确定所述数据格式对应的格式解析规则，包括：
识别所述待校验数据文件的数据格式，判断所述数据格式是否为自定义的数据格式；
若是，从预设定格式规则库中获取解析脚本，将所述解析脚本确定为所述自定义的数据格式对应的格式解析规则。
本实施例中，在识别所述待校验数据文件的数据格式之后，判断所述数据格式是否为自定义的数据格式，由于不同的公司或公司内的不同部分因业务不同自定义了不同数据格式的文件，本实施例的预设定格式规则库中配置了自定义格式的数据文件的解析脚本，若判断所述数据格式为自定义的数据格式，从预设定格式规则库中获取解析脚本，将所述解析脚本确定为所述自定义的数据格式对应的格式解析规则，基于不同的解析脚本解析不同的自定义的数据格式的文件，从而提高校验场景的适用性，提高自定义数据格式的文件的解析效率。
在一个实施例中，所述生成所述第一数据表与所述第二数据表的逻辑匹配结果之后，还包括：
获取不同校验场景下对应的报告格式；
从所述逻辑匹配结果中筛选分别符合各所述报告格式的目标数据，根据所述目标数据生成对应校验场景下的校验数据报告。
本实施例中，在生成所述第一数据表与所述第二数据表的逻辑匹配结果后，为了直观、快速地浏览所述逻辑匹配结果，获取不同校验场景下对应的报告格式，即每一种校验场景下都配置有对应的报告格式，例如校验场景A下，报告格式需要包含字段A-D的值，并且按照S1顺序排列；校验场景B下，报告格式需要包含字段A-E的值，并且按照S2顺序排列；然后从所述逻辑匹配结果中筛选分别符合各所述报告格式的目标数据，根据所述目标数据生成对应校验场景下的校验数据报告，从而得到不同校验场景下的校验数据报告，提高了校验场景的覆盖，且不需要测试人员对所述匹配结果数据进行格式化处理才能生成报告，提高不同校验场景下的数据校验报告的生成效率。
在一个实施例中，所述根据所述目标数据生成对应测试场景下的校验数据报告之后，还包括：
接收用户对任一测试场景的选择指令，输出对应测试场景的所述校验数据报告。
本实施例中，从所述逻辑匹配结果中筛选符合所述报告格式的目标数据，根据所述目标数据生成对应校验场景下的校验数据报告之后，即预先存储有不同校验场景下的校验数据报告，优选的，所述校验数据报告以压缩文件的形式进行存储，可以有效地节省存储资源，当用户需要查看某一校验场景下的校验数据报告时，接收用户对任一校验场景的选择指令，输出对应校验场景的所述校验数据报告，从而方便快速浏览对应校验场景下的校验数据报告，提高数据对比的效率及结果查看效率。
在一个实施例中，所述生成所述第一数据表与所述第二数据表的逻辑匹配结果之后，包括：
在预设的倒计时后，清除所述第一数据表中的数据。
本实施例中，在生成所述第一数据表与所述第二数据表的逻辑匹配结果之后，确定所述第一数据表与所述第二数据表的数据校验完成，并且设定第一数据表的倒计时时长作为预设的倒计时，然后在预设的倒计时后，清除所述第一数据表中的数据，自动地清除已经完成校验的第一数据库中的数据，避免资源的占用，从而提高资源的利用率。
参照图2，本申请还提供一种数据校验装置，包括：
文件获取模块10，用于获取待校验数据文件；
解析规则模块20，用于识别所述待校验数据文件的数据格式，基于预设定格式规则库确定所述数据格式对应的格式解析规则；
文件解析模块30，用于根据所述格式解析规则解析所述待校验数据文件，得到待校验数据；
表格建立模块40，用于获取所述待校验数据包含的字段及各个字段的值，根据所述待校验数据包含的字段及各个字段的值建立第一数据表；
逻辑确定模块50，用于获取预设的校验点及匹配逻辑，根据所述预设的校验点及匹配逻辑生成第一数据表的标识信息，以及根据所述预设的校验点及匹配逻辑生成数据表间的匹配逻辑语句；
逻辑匹配模块60，用于根据所述匹配逻辑语句比较所述第一数据表与第二数据表，生成所述第一数据表与所述第二数据表的逻辑匹配结果；所述第二数据表为基于源数据建立的数据表，所述第二数据表的标识信息与第一数据表的标识信息相同。
如上所述，可以理解地，本申请中提出的所述数据校验装置的各组成部分可以实现如上所述数据校验方法任一项的功能。
在一个实施例中，所述装置还包括修改模块，用于执行：
基于大数据收集的历史逻辑语句判断所述匹配逻辑语句是否正确；
若否，输出对所述匹配逻辑语句的修改窗口；
当接收到从所述修改窗口反馈的修改指令后，基于所述修改指令修改所述匹配逻辑语句，以更新所述匹配逻辑语句。
在一个实施例中，所述逻辑匹配模块60还包括区域匹配单元，用于执行：
获取第一数据表中第一区域的数据，计算所述第一区域的数据的第一校验值；
获取第二数据表中第二区域的数据，并计算所述第二区域的数据的第二校验值；
根据所述匹配逻辑语句比较所述第一校验值与所述第二校验值是否相同；
若相同，则确定第一区域的数据与第二区域的数据相同，并生成所述第一区域与所述第二区域的待选逻辑匹配结果；
重复执行上述获取第一数据表中第一区域的数据及获取第二数据表中第二区域的数据的步骤，直至完成所述第一数据表与所述第二数据表的所有区域的逻辑匹配结果匹配，得到所有区域的待选逻辑匹配结果；
根据所述所有区域的待选逻辑匹配结果生成所述第一数据表与所述第二数据表的逻辑匹配结果。
在一个实施例中，所述解析规则模块20还包括格式单元，用于执行：
识别所述待校验数据文件的数据格式，判断所述数据格式是否为自定义的数据格式；
若是，从预设定格式规则库中获取解析脚本，将所述解析脚本确定为所述自定义的数据格式对应的格式解析规则。
在一个实施例中，所述装置还包括报告模块，用于执行：
获取不同校验场景下对应的报告格式；
从所述逻辑匹配结果中筛选分别符合各所述报告格式的目标数据，根据所述目标数据生成对应校验场景下的校验数据报告。
在一个实施例中，所述装置还包括报告选择模块，用于执行：
接收用户对任一测试场景的选择指令，输出对应测试场景的所述校验数据报告。
在一个实施例中，所述装置还包括清除单元，用于执行：
在预设的倒计时后，清除所述第一数据表中的数据。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是移动终端，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和显示装置及输入装置。其中，该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机设备的输入装置用于接收用户的输入。该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括存储介质。该存储介质存储有操作系统、计算机程序和数据库。该计算机设备的数据库用于存放数据。该计算机程序被处理器执行时以实现一种数据校验方法。
上述处理器执行上述的数据校验方法，包括：获取待校验数据文件；识别所述待校验数据文件的数据格式，基于预设定格式规则库确定所述数据格式对应的格式解析规则；根据所述格式解析规则解析所述待校验数据文件，得到待校验数据；获取所述待校验数据包含的字段及各个字段的值，根据所述待校验数据包含的字段及各个字段的值建立第一数据表；获取预设的校验点及匹配逻辑，根据所述预设的校验点及匹配逻辑生成第一数据表的标识信息，以及根据所述预设的校验点及匹配逻辑生成数据表间的匹配逻辑语句；根据所述匹配逻辑语句比较所述第一数据表与第二数据表，生成所述第一数据表与所述第二数据表的逻辑匹配结果；所述第二数据表为基于源数据建立的数据表，所述第二数据表的标识信息与第一数据表的标识信息相同。
所述计算机设备提供了一种数据校验的方法，首先获取待校验数据文件，识别所述待校验数据文件的数据格式，基于预设定格式规则库确定所述数据格式对应的格式解析规则，根据所述格式解析规则解析所述待校验数据文件，得到待校验数据，获取所述待校验数据包含的字段及各个字段的值，每个字段均有对应的值，多个字段组成一行数据，不同行数据均包含所有字段及字段对应的值，根据所述待校验数据包含的字段及各个字段的值建立第一数据表；获取预设的校验点及匹配逻辑，根据所述预设的校验点及匹配逻辑生成第一数据表的标识信息，以及根据所述预设的校验点及匹配逻辑生成数据表间的匹配逻辑语句，根据所述匹配逻辑语句比较所述第一数据表与第二数据表，所述第二数据表为基于源数据建立的数据表，且所述第二数据表的标识信息与第一数据表的标识信息相同，基于相同标识信息对第一数据表与第二数据表进行逻辑匹配，可以提高数据匹配效率，从而生成所述第一数据表与所述第二数据表的逻辑匹配结果，所述逻辑匹配结果为所述第一数据表与所述第二数据表中的校验点满足所述匹配逻辑的数据，提高不同匹配逻辑下的数据校验的效率，从而提高不同测试场景下的数据校验的效率。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被所述处理器执行时实现一种数据校验方法，包括步骤：获取待校验数据文件；识别所述待校验数据文件的数据格式，基于预设定格式规则库确定所述数据格式对应的格式解析规则；根据所述格式解析规则解析所述待校验数据文件，得到待校验数据；获取所述待校验数据包含的字段及各个字段的值，根据所述待校验数据包含的字段及各个字段的值建立第一数据表；获取预设的校验点及匹配逻辑，根据所述预设的校验点及匹配逻辑生成第一数据表的标识信息，以及根据所述预设的校验点及匹配逻辑生成数据表间的匹配逻辑语句；根据所述匹配逻辑语句比较所述第一数据表与第二数据表，生成所述第一数据表与所述第二数据表的逻辑匹配结果；所述第二数据表为基于源数据建立的数据表，所述第二数据表的标识信息与第一数据表的标识信息相同。
所述计算机可读存储介质提供了一种数据校验的方法，首先获取待校验数据文件，识别所述待校验数据文件的数据格式，基于预设定格式规则库确定所述数据格式对应的格式解析规则，根据所述格式解析规则解析所述待校验数据文件，得到待校验数据，获取所述待校验数据包含的字段及各个字段的值，每个字段均有对应的值，多个字段组成一行数据，不同行数据均包含所有字段及字段对应的值，根据所述待校验数据包含的字段及各个字段的值建立第一数据表；获取预设的校验点及匹配逻辑，根据所述预设的校验点及匹配逻辑生成第一数据表的标识信息，以及根据所述预设的校验点及匹配逻辑生成数据表间的匹配逻辑语句，根据所述匹配逻辑语句比较所述第一数据表与第二数据表，所述第二数据表为基于源数据建立的数据表，且所述第二数据表的标识信息与第一数据表的标识信息相同，基于相同标识信息对第一数据表与第二数据表进行逻辑匹配，可以提高数据匹配效率，从而生成所述第一数据表与所述第二数据表的逻辑匹配结果，所述逻辑匹配结果为所述第一数据表与所述第二数据表中的校验点满足所述匹配逻辑的数据，提高不同匹配逻辑下的数据校验的效率，从而提高不同测试场景下的数据校验的效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。
本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。
非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围。
凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种数据校验方法，其特征在于，包括：
获取待校验数据文件；
识别所述待校验数据文件的数据格式，基于预设定格式规则库确定所述数据格式对应的格式解析规则；
根据所述格式解析规则解析所述待校验数据文件，得到待校验数据；
获取所述待校验数据包含的字段及各个字段的值，根据所述待校验数据包含的字段及各个字段的值建立第一数据表；
获取预设的校验点及匹配逻辑，根据所述预设的校验点及匹配逻辑生成第一数据表的标识信息，以及根据所述预设的校验点及匹配逻辑生成数据表间的匹配逻辑语句；
根据所述匹配逻辑语句比较所述第一数据表与第二数据表，生成所述第一数据表与所述第二数据表的逻辑匹配结果；所述第二数据表为基于源数据建立的数据表，所述第二数据表的标识信息与第一数据表的标识信息相同。
2.根据权利要求1所述的数据校验方法，其特征在于，所述根据所述预设的校验点及匹配逻辑生成数据表间的匹配逻辑语句之后，还包括：
基于大数据收集的历史逻辑语句判断所述匹配逻辑语句是否正确；
若否，输出对所述匹配逻辑语句的修改窗口；
当接收到从所述修改窗口反馈的修改指令后，基于所述修改指令修改所述匹配逻辑语句，以更新所述匹配逻辑语句。
3.根据权利要求1所述的数据校验方法，其特征在于，所述根据所述匹配逻辑语句比较所述第一数据表与第二数据表，生成所述第一数据表与所述第二数据表的逻辑匹配结果，包括：
获取第一数据表中第一区域的数据，计算所述第一区域的数据的第一校验值；
获取第二数据表中第二区域的数据，并计算所述第二区域的数据的第二校验值；
根据所述匹配逻辑语句比较所述第一校验值与所述第二校验值是否相同；
若相同，则确定第一区域的数据与第二区域的数据相同，并生成所述第一区域与所述第二区域的待选逻辑匹配结果；
重复执行上述获取第一数据表中第一区域的数据及获取第二数据表中第二区域的数据的步骤，直至完成所述第一数据表与所述第二数据表的所有区域的逻辑匹配结果匹配，得到所有区域的待选逻辑匹配结果；
根据所述所有区域的待选逻辑匹配结果生成所述第一数据表与所述第二数据表的逻辑匹配结果。
4.根据权利要求1所述的数据校验方法，其特征在于，所述识别所述待校验数据文件的数据格式，基于预设定格式规则库确定所述数据格式对应的格式解析规则，包括：
识别所述待校验数据文件的数据格式，判断所述数据格式是否为自定义的数据格式；
若是，从预设定格式规则库中获取解析脚本，将所述解析脚本确定为所述自定义的数据格式对应的格式解析规则。
5.根据权利要求1所述的数据校验方法，其特征在于，所述生成所述第一数据表与所述第二数据表的逻辑匹配结果之后，还包括：
获取不同校验场景下对应的报告格式；
从所述逻辑匹配结果中筛选分别符合各所述报告格式的目标数据，根据所述目标数据生成对应校验场景下的校验数据报告。
6.根据权利要求5所述的数据校验方法，其特征在于，所述根据所述目标数据生成对应测试场景下的校验数据报告之后，还包括：
接收用户对任一测试场景的选择指令，输出对应测试场景的所述校验数据报告。
7.根据权利要求1所述的数据校验方法，其特征在于，所述生成所述第一数据表与所述第二数据表的逻辑匹配结果之后，包括：
在预设的倒计时后，清除所述第一数据表中的数据。
8.一种数据校验装置，其特征在于，包括：
文件获取模块，用于获取待校验数据文件；
解析规则模块，用于识别所述待校验数据文件的数据格式，基于预设定格式规则库确定所述数据格式对应的格式解析规则；
文件解析模块，用于根据所述格式解析规则解析所述待校验数据文件，得到待校验数据；
表格建立模块，用于获取所述待校验数据包含的字段及各个字段的值，根据所述待校验数据包含的字段及各个字段的值建立第一数据表；
逻辑确定模块，用于获取预设的校验点及匹配逻辑，根据所述预设的校验点及匹配逻辑生成第一数据表的标识信息，以及根据所述预设的校验点及匹配逻辑生成数据表间的匹配逻辑语句；
逻辑匹配模块，用于根据所述匹配逻辑语句比较所述第一数据表与第二数据表，生成所述第一数据表与所述第二数据表的逻辑匹配结果；所述第二数据表为基于源数据建立的数据表，所述第二数据表的标识信息与第一数据表的标识信息相同。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述数据校验方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述数据校验方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110874837.9A CN113656404A (zh) | 2021-07-30 | 2021-07-30 | 数据校验方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110874837.9A CN113656404A (zh) | 2021-07-30 | 2021-07-30 | 数据校验方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113656404A true CN113656404A (zh) | 2021-11-16 |
Family
ID=78478191
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110874837.9A Pending CN113656404A (zh) | 2021-07-30 | 2021-07-30 | 数据校验方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113656404A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115620851A (zh) * | 2022-12-19 | 2023-01-17 | 一临云(深圳)科技有限公司 | 数据校验方法、装置、电子设备及可读存储介质 |
| CN115760006A (zh) * | 2022-11-29 | 2023-03-07 | 联仁健康医疗大数据科技股份有限公司 | 数据校正方法、装置、电子设备及存储介质 |
| CN115827310A (zh) * | 2023-02-21 | 2023-03-21 | 成都天成电科科技有限公司 | 一种信息校验的方法、装置、存储介质及电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6868413B1 (en) * | 2001-05-10 | 2005-03-15 | Networks Associates Technology, Inc. | System and method for customizing and processing business logic rules in a business process system |
| CN105786911A (zh) * | 2014-12-25 | 2016-07-20 | 阿里巴巴集团控股有限公司 | 应用数据的校验方法及装置 |
| CN107122368A (zh) * | 2016-02-25 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 一种数据校验方法、装置及电子设备 |
| CN107908725A (zh) * | 2017-11-14 | 2018-04-13 | 中国银行股份有限公司 | 一种批量数据校验方法、装置和系统 |
| CN111190884A (zh) * | 2019-12-17 | 2020-05-22 | 腾讯科技（深圳）有限公司 | 数据校验方法、装置和计算机可读存储介质 |
| CN111506578A (zh) * | 2020-04-17 | 2020-08-07 | 深圳前海微众银行股份有限公司 | 业务数据的校验方法、装置、设备及存储介质 |
| CN113037787A (zh) * | 2019-12-09 | 2021-06-25 | 北京沃东天骏信息技术有限公司 | 一种数据处理方法和装置 |
-
2021
- 2021-07-30 CN CN202110874837.9A patent/CN113656404A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6868413B1 (en) * | 2001-05-10 | 2005-03-15 | Networks Associates Technology, Inc. | System and method for customizing and processing business logic rules in a business process system |
| CN105786911A (zh) * | 2014-12-25 | 2016-07-20 | 阿里巴巴集团控股有限公司 | 应用数据的校验方法及装置 |
| CN107122368A (zh) * | 2016-02-25 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 一种数据校验方法、装置及电子设备 |
| CN107908725A (zh) * | 2017-11-14 | 2018-04-13 | 中国银行股份有限公司 | 一种批量数据校验方法、装置和系统 |
| CN113037787A (zh) * | 2019-12-09 | 2021-06-25 | 北京沃东天骏信息技术有限公司 | 一种数据处理方法和装置 |
| CN111190884A (zh) * | 2019-12-17 | 2020-05-22 | 腾讯科技（深圳）有限公司 | 数据校验方法、装置和计算机可读存储介质 |
| CN111506578A (zh) * | 2020-04-17 | 2020-08-07 | 深圳前海微众银行股份有限公司 | 业务数据的校验方法、装置、设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115760006A (zh) * | 2022-11-29 | 2023-03-07 | 联仁健康医疗大数据科技股份有限公司 | 数据校正方法、装置、电子设备及存储介质 |
| CN115620851A (zh) * | 2022-12-19 | 2023-01-17 | 一临云(深圳)科技有限公司 | 数据校验方法、装置、电子设备及可读存储介质 |
| CN115827310A (zh) * | 2023-02-21 | 2023-03-21 | 成都天成电科科技有限公司 | 一种信息校验的方法、装置、存储介质及电子设备 |
| CN115827310B (zh) * | 2023-02-21 | 2023-05-23 | 成都天成电科科技有限公司 | 一种信息校验的方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113656404A (zh) | 数据校验方法、装置、计算机设备及存储介质 | |
| CN107665171B (zh) | 自动回归测试方法及装置 | |
| CN109800258B (zh) | 数据文件部署方法、装置、计算机设备及存储介质 | |
| CN109002391B (zh) | 自动检测嵌入式软件接口测试数据的方法 | |
| CN110730107A (zh) | 测试数据生成方法、装置、计算机设备和存储介质 | |
| CN113127347B (zh) | 一种接口测试方法、装置、设备及可读存储介质 | |
| CN112559365A (zh) | 一种测试用例筛选方法、装置、计算机设备和存储介质 | |
| CN113282513B (zh) | 接口测试案例的生成方法、装置、计算机设备及存储介质 | |
| CN111190807B (zh) | 一种埋点测试方法及设备 | |
| CN112052172A (zh) | 第三方通道的快速测试方法、装置和电子设备 | |
| CN114610635A (zh) | 接口测试用例生成方法、装置、计算机设备及存储介质 | |
| CN114510536A (zh) | 数据校验方法、装置、计算机设备及存储介质 | |
| CN117391306A (zh) | 国土空间规划成果审查方法、装置、设备以及存储介质 | |
| CN112559369A (zh) | 一种自动化测试方法、设备和存储介质 | |
| CN112612706A (zh) | 自动化测试方法、计算机设备及存储介质 | |
| CN113282515A (zh) | 系统测试方法、装置、计算机设备及存储介质 | |
| CN117493188A (zh) | 接口测试方法及装置、电子设备及存储介质 | |
| CN112527286A (zh) | 业务代码的生成方法、装置、计算机设备及存储介质 | |
| CN110309057B (zh) | 基于自动化脚本的流程性项目测试方法和相关设备 | |
| CN116431522A (zh) | 一种低代码对象存储网关自动化测试方法及系统 | |
| CN116680291A (zh) | 数据检核方法、装置、电子设备及存储介质 | |
| CN114490413A (zh) | 测试数据的准备方法及装置、存储介质和电子设备 | |
| CN115543816A (zh) | 软件回归测试结果验证方法、装置、设备及存储介质 | |
| CN115080401A (zh) | 一种自动化测试方法和相关装置 | |
| CN111813665A (zh) | 一种基于python的大数据平台接口数据测试方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |