CN110704461A - 一种数据校验方法、装置、计算机设备及可读存储介质 - Google Patents

一种数据校验方法、装置、计算机设备及可读存储介质 Download PDF

Info

Publication number
CN110704461A
CN110704461A CN201910838365.4A CN201910838365A CN110704461A CN 110704461 A CN110704461 A CN 110704461A CN 201910838365 A CN201910838365 A CN 201910838365A CN 110704461 A CN110704461 A CN 110704461A
Authority
CN
China
Prior art keywords
data
deviation
fields
data verification
effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910838365.4A
Other languages
English (en)
Inventor
甄凤远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Wave Intelligent Technology Co Ltd
Original Assignee
Suzhou Wave Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Wave Intelligent Technology Co Ltd filed Critical Suzhou Wave Intelligent Technology Co Ltd
Priority to CN201910838365.4A priority Critical patent/CN110704461A/zh
Publication of CN110704461A publication Critical patent/CN110704461A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load

Abstract

本申请公开了一种数据校验方法：在执行本次数据校验操作之前，获取系统的当前负载，并根据该当前负载确定出本次数据校验操作的效果偏向。当根据当前负载确定出应按照高效率偏向执行本次数据校验操作时，仅选取部分字段中的数据作为一致性比对的目标字段，可有效缩短校验耗时，提升了校验效率；当根据当前负载确定出应按照高准确性偏向执行本次数据校验操作时，则对全部字段进行一致性比对，以着重提升结果的准确性。本申请根据系统变化的实时负载，可在高效率偏向和高准确性偏向两种中灵活选择，充分结合了系统当前的负载情况，更加灵活。本申请还同时公开了一种数据校验装置、计算机设备及计算机可读存储介质，具有上述有益效果。

Description

一种数据校验方法、装置、计算机设备及可读存储介质
技术领域
本申请涉及数据处理技术领域，特别涉及一种数据校验方法、装置、计算机设备及计算机可读存储介质。
背景技术
数据校验是一种用于保证数据一致性的方法，其中经常使用到的一种为全数校验方式。全数校验方式通过复杂的校验方法将结构体的每一个成员变量进行一致性比较从而得出校验结果，相比于简单、郝士短的奇偶校验方法，此种方式虽然可以极大的提高数据校验的准确性，但由于需要对结构体内的每一个成员变量都进行一致性比较，计算的复杂度、所需耗时、需要占用的计算资源和对系统性能的影响，也都相对较大。
在现今大多数需要进行数据校验的场景下，往往对准确性追求过高，默认使用全数校验方式，将结构体内每一个成员变量的一致性结果整合之后才得到最终的校验结果，此种方式被固定下来。但即使是同类型的待校验数据，在系统的某些运行状态下，可适当降低在校验时对准确性的要求，以通过此种方式保障系统全局的持续、稳定运行，防止在系统异常时仍采用全数校验方式占用大量系统资源造成系统宕机带来更严重的损失。
因此，如何针对上述现有技术存在的技术缺陷，提供一种可根据系统实际运行状态的不同，可动态调整数据校验的效果偏向的数据校验机制，是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种数据校验方法、装置、计算机设备及计算机可读存储介质，旨在提供一种可根据系统实际运行状态的不同，动态的调整数据校验的效果偏向的数据校验机制。
为实现上述目的，本申请提供了一种数据校验方法，该方法包括：
接收数据校验指令，并确定接收到所述数据校验指令时系统的当前负载；
根据所述当前负载确定本次数据校验操作的效果偏向；
当确定所述效果偏向为高效率偏向时，从待校验数据中的全部字段中选取预设数量的第一目标字段，并将所述第一目标字段中数据的一致性校验结果作为校验结果；
当确定所述效果偏向为高准确性偏向时，将所述待校验数据中的全部字段均选作第二目标字段，并将所述第二目标字段中数据的一致性校验结果作为校验结果。
可选的，根据所述当前负载确定本次数据校验操作的效果偏向，包括：
判断所述当前负载是否超过预设高负载阈值；
若是，则将本次数据校验操作的效果偏向确定为所述高效率偏向；
若否，则将本次数据校验操作的效果偏向确定为所述高准确性偏向。
可选的，从待校验数据中的全部字段中选取预设数量的第一目标字段，包括：
从所述待校验数据中的全部字段中，随机选取出所述预设数量的第一目标字段。
可选的，从待校验数据中的全部字段中选取预设数量的第一目标字段，包括：
当所述待校验数据的各字段中分别存储的数据内容重要性不同时，将具有存储重要数据内容的字段确定为重要字段；
将预设数量的重要字段选作所述第一目标字段。
可选的，该数据校验方法还包括：
接收效果偏向调整指令；
从所述效果偏向调整指令中提取得到优先效果偏向；
将根据所述当前负载确定出的效果偏向调整为所述优先效果偏向。
为实现上述目的，本申请还提供了一种数据校验装置，该装置包括：
指令接收及负载确定单元，用于接收数据校验指令，并确定接收到所述数据校验指令时系统的当前负载；
效果偏向自动确定单元，用于根据所述当前负载确定本次数据校验操作的效果偏向；
高效率偏向校验单元，用于当确定所述效果偏向为高效率偏向时，从待校验数据中的全部字段中选取预设数量的第一目标字段，并将所述第一目标字段中数据的一致性校验结果作为校验结果；
高准确性偏向校验单元，用于当确定所述效果偏向为高准确性偏向时，将所述待校验数据中的全部字段均选作第二目标字段，并将所述第二目标字段中数据的一致性校验结果作为校验结果。
可选的，所述效果偏向自动确定单元包括：
预设阈值比较子单元，用于判断所述当前负载是否超过预设高负载阈值；
高效率偏向确定子单元，用于当所述当前负载超过所述预设高负载阈值时，将本次数据校验操作的效果偏向确定为所述高效率偏向；
高准确性偏向确定子单元，用于当所述当前负载未超过所述预设高负载阈值时，将本次数据校验操作的效果偏向确定为所述高准确性偏向。
可选的，所述高效率偏向校验单元包括：
第一目标字段随机选取子单元，用于从所述待校验数据中的全部字段中，随机选取出所述预设数量的第一目标字段。
可选的，所述高效率偏向校验单元包括：
重要字段确定子单元，用于当所述待校验数据的各字段中分别存储的数据内容重要性不同时，将具有存储重要数据内容的字段确定为重要字段；
第一目标字段重要性选取子单元，用于将预设数量的重要字段选作所述第一目标字段。
可选的，该数据校验装置还包括：
效果偏向调整指令接收单元，用于接收效果偏向调整指令；
优先效果偏向提取单元，用于从所述效果偏向调整指令中提取得到优先效果偏向；
效果偏向调整单元，用于将根据所述当前负载确定出的效果偏向调整为所述优先效果偏向。
为实现上述目的，本申请还提供了一种计算机设备，该计算机设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述内容所描述的数据校验方法。
为实现上述目的，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述内容所描述的数据校验方法。
相比于现有技术在接收到数据校验指令时直接按默认数据校验方式执行数据校验操作的方式，本申请还在执行本次数据校验操作之前，获取系统的当前负载，并根据该当前负载确定出本次数据校验操作的效果偏向。当根据当前负载确定出应按照高效率偏向执行本次数据校验操作时，仅选取部分字段中的数据作为一致性比对的目标字段，可有效缩短校验耗时，提升了校验效率；当根据当前负载确定出应按照高准确性偏向执行本次数据校验操作时，则对全部字段进行一致性比对，以着重提升结果的准确性。本申请根据系统变化的实时负载，可在高效率偏向和高准确性偏向两种中灵活选择，充分结合了系统当前的负载情况，更加灵活。
本申请同时还提供了一种数据校验装置、计算机设备及计算机可读存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种数据校验方法的流程图；
图2为本申请实施例提供的另一种数据校验方法的流程图；
图3为本申请实施例提供的数据校验方法中一种基于重要性确定第一目标字段的方法的流程图；
图4为本申请实施例提供的一种临时调整效果偏向的方法的流程图；
图5为本申请实施例提供的一种数据校验装置的结构框图。
具体实施方式
本申请的目的是提供一种数据校验方法、装置、计算机设备及计算机可读存储介质，旨在提供一种可根据系统实际运行状态的不同，动态的调整数据校验的效果偏向的数据校验机制。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
请参见图1，图1为本申请实施例提供的一种数据校验方法的流程图，其包括以下步骤：
S101：接收数据校验指令，并确定接收到数据校验指令时系统的当前负载；
本步骤旨在接收数据校验指令，并确定系统在同一时刻的负载(即当前负载)。
其中，该数据校验指令由控制器、处理器或上位机下发，旨在指示进行数据校验操作；系统的负载用于衡量系统在当前时刻性能的占用情况，具体可通过内存占用量、CPU占用量、进程创建数、活动进程数等参数单一或综合评定得到，此处并不做具体限定，可根据实际应用场景下对负载的计算方式灵活选择。
S102：根据当前负载确定本次数据校验操作的效果偏向；
在S101的基础上，本步骤旨在根据确定出的当前负载进一步确定出本次数据校验操作的效果偏向。
其中，本申请根据效率和准确性这两个不能兼得的因素，将其分别作为两种不同的效果偏向，当需要偏向效率时，将牺牲部分准确性来换取较短的校验耗时和较高的校验效率；当需要偏向准确性时，将通过花费更长的校验耗时和占用更多的系统资源来提升准确性。当然，除此之外，还可以设置其它效果偏向，例如处于效率和准确性之间的折中效果偏向等，此处并不限定不存在其它不同于效率和准确性的效果偏向，可根据实际情况灵活调整。
S103：从待校验数据中的全部字段中选取预设数量的第一目标字段，并将第一目标字段中数据的一致性校验结果作为校验结果；
本步骤建立在根据S102的判断确定出本次数据校验操作的效果偏向为高效率偏向的基础上，由于根据系统的当前负载确定出可以牺牲一定的准确性来换取更短和校验耗时和更高的效率，因此本申请仅从待校验数据中的全部字段中选取部分字段(第一目标字段)，并将选出的这部分字段的一致性校验结果作为完整待校验数据的校验结果。简单的，可以理解为抽样的方式。
可以发现，由于仅选取部分字段用作一致性校验，若数据变化发生在未选取到的字段上时，将得到错误的校验结果。一方面，在实际应用场景下存在的诸如影响因素中，既然选取了高效率偏向，就意味着允许牺牲部分准确性；另一方面，在复杂的实际情况下，数据的一致性校验往往存在多道工序，经多方采用不同的方式分别进行，因此可能允许某一道校验操作存在一定的误判。
具体的，即使在高效率偏向下，也可以通过选取合适的字段作为第一目标字段来尽可能的降低对准确性的影响。根据上述内容可知，仅选用部分字段进行校验的方式存在的缺陷就是当变化发生在未被选取的字段上时，结果将为错误结果。
可从两方面解决这一问题，其一为尽可能的提升选取作为第一目标字段发生数据变化的可能性，即选取容易发生数据变化的字段为第一目标字段。由于数据发生变化的原因有可能，有些是有迹可循的，有些则是完全随机，因此也需要根据实际应用场景下易导致数据发生变化的原因来确定是否适合此种方式，进一步的，可通过深度学习算法结合大数据(大量真实的可作为样本的历史数据)来寻找隐藏在数据表层的共同特征。
另一种为尽可能的提升选取作为第一目标字段的字段数，以期通过减少未进行一致性验校的字段数来提升准确性，但作为第一目标字段数的字段数量的提升，势必会导致耗时的增加，与高效率偏向的初衷违背(毕竟选用高效率偏向就是考虑到当前系统负载较高，若仍占用较多的系统资源进行高准确性的校验，将影响系统的其它操作)，因此此种方式不作为本申请进一步调整的侧重点。
S104：将待校验数据中的全部字段均选作第二目标字段，并将第二目标字段中数据的一致性校验结果作为校验结果。
本步骤建立在S102的判断确定出本次数据校验操作的效果偏向为高准确性偏向的基础上，由于根据系统的当前负载确定出拥有足够的剩余性能或计算资源，因此在此种情况下，本步骤选用全数校验方式，将待校验数据中的全部字段均选作第二目标字段，并将第二目标字段中数据的一致性校验结果作为校验结果，以最大程度上保障校验结果的准确性。
基于本实施例提供的方案可以看出，相比于现有技术在接收到数据校验指令时直接按默认数据校验方式执行数据校验操作的方式，本实施例还在执行本次数据校验操作之前，获取系统的当前负载，并根据该当前负载确定出本次数据校验操作的效果偏向。当根据当前负载确定出应按照高效率偏向执行本次数据校验操作时，仅选取部分字段中的数据作为一致性比对的目标字段，可有效缩短校验耗时，提升了校验效率；当根据当前负载确定出应按照高准确性偏向执行本次数据校验操作时，则对全部字段进行一致性比对，以着重提升结果的准确性。本申请根据系统变化的实时负载，可在高效率偏向和高准确性偏向两种中灵活选择，充分结合了系统当前的负载情况，更加灵活。
在上述内容基础上，为加深对本方案的理解，此处还通过图2提供了另一种数据校验方法，如图2所示的数据校验方法具体是通过当前负载与预设高负载阈值之间的比较结果，确定出应采用哪种效果偏向策略来执行本次数据校验操作，包括如下步骤：
S201：接收数据校验指令，并确定接收到数据校验指令时系统的当前负载；
S202：判断当前负载是否超过预设高负载阈值，若是，执行S203，否则执行S205；
其中，该预设高负载阈值可根据实际情况基于内存占用率、CPU占用率、已占用存储空间比例、存活进程数等参数以某一项或某几项组合的方式灵活制定得到，例如在某一具体应用场景下，可将该高负载阈值设置为70％的内存占用率，即若系统当前的内存占用率超过70％时，就将执行S203，否则执行S205。
S203：将本次数据校验操作的效果偏向确定为高效率偏向；
本步骤建立S202的判断结果当前负载超过该预设高负载阈值的基础上，为避免即将进行的本次数据校验操作对已处于高负载状态的系统造成更多的影响，因此将本次数据校验操作的效果偏向确定为高效率偏向，即以占用更少的计算资源、花费更短的耗时来完成本次数据校验操作。
S204：从待校验数据中的全部字段中选取预设数量的第一目标字段，并将第一目标字段中数据的一致性校验结果作为校验结果；
S205：将本次数据校验操作的效果偏向确定为高准确性偏向；
本步骤建立在S202的判断结果当前负载未超过该预设高负载阈值的基础上，由于当前负载未超过该预设高负载阈值，说明系统当前运行状态较为良好，存在足以进行高准确性的数据校验操作的计算资源，因此在需要过多考虑对系统其它业务的影响的情况下，本步骤将本次数据校验操作的效果偏向确定为高准确性偏向。
S206：将待校验数据中的全部字段均选作第二目标字段，并将第二目标字段中数据的一致性校验结果作为校验结果。
本实施例在上一实施例的基础上，基于预设高负载阈值这一临界量，给出了一种简单、可行的具体实现方式。
在上述实施例内容基础上，此处给出具体的两种如何选取出第一目标字段的方式，以期通过下述方式来尽可能的降低误判率：
其一，针对数据变化可能发生在任何一个字段的情况下，第一目标字段的选取可由全部字段通过随机算法随机选取得到；
其二，针对待校验数据的各字段中分别存储的数据内容重要性不同时，即在此种场景下，存储重要性程度更高的数据的字段是否与原先一致是更重要的，相对的，存储重要性程度较低的数据的字段是否与原先一致则是相对不重要的，在一定程度上，若这些不重要的字段发生数据变化，将不足以影响完整待校验数据的一致性校验结果。
一种包括但不限于的实现方式可参见如图3所示的流程图，包括如下步骤：
S301：将具有存储重要数据内容的字段确定为重要字段；
S302：将预设数量的重要字段选作第一目标字段。
为防止有些待校验数据存在特殊要求或特殊情况，无需考虑当前负载，需要临时按照要求执行本次数据校验操作，也就是说可能需要临时调整效果偏向。在本申请的另一实施例中，为实现这一目的，通过图4所示的流程图提供了一种解决方式，包括如下步骤：
S401：接收效果偏向调整指令；
S402：从效果偏向调整指令中提取得到优先效果偏向；
S403：将根据当前负载确定出的效果偏向调整为优先效果偏向。
即将优先效果偏向作为最终执行本次数据校验操作的最终偏好，若优先效果偏向与根据当前负载确定出的效果偏向一致，则在实际操作中无需变动；若优先效果偏向与根据当前负载确定出的效果偏向不一样，则在实际操作中应首先提升优先效果偏向的优先级，使得处理器或控制器基于更高的优先级来按照优先效果偏向对应的效果偏向来执行本次数据校验操作。
因为情况复杂，无法一一列举进行阐述，本领域技术人员应能意识到根据本申请提供的基本方法原理结合实际情况可以存在很多的例子，在不付出足够的创造性劳动下，应均在本申请的保护范围内。
下面请参见图5，图5为本申请实施例提供的一种数据校验装置的结构框图，该装置可以包括：
指令接收及负载确定单元100，用于接收数据校验指令，并确定接收到所述数据校验指令时系统的当前负载；
效果偏向自动确定单元200，用于根据所述当前负载确定本次数据校验操作的效果偏向；
高效率偏向校验单元300，用于当确定所述效果偏向为高效率偏向时，从待校验数据中的全部字段中选取预设数量的第一目标字段，并将所述第一目标字段中数据的一致性校验结果作为校验结果；
高准确性偏向校验单元400，用于当确定所述效果偏向为高准确性偏向时，将所述待校验数据中的全部字段均选作第二目标字段，并将所述第二目标字段中数据的一致性校验结果作为校验结果。
其中，该效果偏向自动确定单元2100可以包括：
预设阈值比较子单元，用于判断所述当前负载是否超过预设高负载阈值；
高效率偏向确定子单元，用于当所述当前负载超过所述预设高负载阈值时，将本次数据校验操作的效果偏向确定为所述高效率偏向；
高准确性偏向确定子单元，用于当所述当前负载未超过所述预设高负载阈值时，将本次数据校验操作的效果偏向确定为所述高准确性偏向。
其中，该高效率偏向校验单元300可以包括：
第一目标字段随机选取子单元，用于从所述待校验数据中的全部字段中，随机选取出所述预设数量的第一目标字段。
其中，该高效率偏向校验单元300可以包括：
重要字段确定子单元，用于当所述待校验数据的各字段中分别存储的数据内容重要性不同时，将具有存储重要数据内容的字段确定为重要字段；
第一目标字段重要性选取子单元，用于将预设数量的重要字段选作所述第一目标字段。
进一步的，该数据校验装置还可以包括：
效果偏向调整指令接收单元，用于接收效果偏向调整指令；
优先效果偏向提取单元，用于从所述效果偏向调整指令中提取得到优先效果偏向；
效果偏向调整单元，用于将根据所述当前负载确定出的效果偏向调整为所述优先效果偏向。
本实施例作为一个对应于上述方法实施例的产品实施例存在，具有方法实施例的全部有益效果，此处不再一一赘述。
基于上述实施例，本申请还提供了一种计算机设备，该计算机设备可以包括存储器和处理器，其中，该存储器中存有计算机程序，该处理器调用该存储器中的计算机程序时，可以实现上述实施例所提供的数据校验方法的步骤。当然，该计算机设备还可以包括各种必要的网络接口、电源以及其它零部件等。
本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行终端或处理器执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种数据校验方法，其特征在于，包括：
接收数据校验指令，并确定接收到所述数据校验指令时系统的当前负载；
根据所述当前负载确定本次数据校验操作的效果偏向；
当确定所述效果偏向为高效率偏向时，从待校验数据中的全部字段中选取预设数量的第一目标字段，并将所述第一目标字段中数据的一致性校验结果作为校验结果；
当确定所述效果偏向为高准确性偏向时，将所述待校验数据中的全部字段均选作第二目标字段，并将所述第二目标字段中数据的一致性校验结果作为校验结果。
2.根据权利要求1所述的数据校验方法，其特征在于，根据所述当前负载确定本次数据校验操作的效果偏向，包括：
判断所述当前负载是否超过预设高负载阈值；
若是，则将本次数据校验操作的效果偏向确定为所述高效率偏向；
若否，则将本次数据校验操作的效果偏向确定为所述高准确性偏向。
3.根据权利要求1所述的数据校验方法，其特征在于，从待校验数据中的全部字段中选取预设数量的第一目标字段，包括：
从所述待校验数据中的全部字段中，随机选取出所述预设数量的第一目标字段。
4.根据权利要求1所述的数据校验方法，其特征在于，从待校验数据中的全部字段中选取预设数量的第一目标字段，包括：
当所述待校验数据的各字段中分别存储的数据内容重要性不同时，将具有存储重要数据内容的字段确定为重要字段；
将预设数量的重要字段选作所述第一目标字段。
5.根据权利要求1至4任一项所述的数据校验方法，其特征在于，还包括：
接收效果偏向调整指令；
从所述效果偏向调整指令中提取得到优先效果偏向；
将根据所述当前负载确定出的效果偏向调整为所述优先效果偏向。
6.一种数据校验装置，其特征在于，包括：
指令接收及负载确定单元，用于接收数据校验指令，并确定接收到所述数据校验指令时系统的当前负载；
效果偏向自动确定单元，用于根据所述当前负载确定本次数据校验操作的效果偏向；
高效率偏向校验单元，用于当确定所述效果偏向为高效率偏向时，从待校验数据中的全部字段中选取预设数量的第一目标字段，并将所述第一目标字段中数据的一致性校验结果作为校验结果；
高准确性偏向校验单元，用于当确定所述效果偏向为高准确性偏向时，将所述待校验数据中的全部字段均选作第二目标字段，并将所述第二目标字段中数据的一致性校验结果作为校验结果。
7.根据权利要求6所述的数据校验装置，其特征在于，所述效果偏向自动确定单元包括：
预设阈值比较子单元，用于判断所述当前负载是否超过预设高负载阈值；
高效率偏向确定子单元，用于当所述当前负载超过所述预设高负载阈值时，将本次数据校验操作的效果偏向确定为所述高效率偏向；
高准确性偏向确定子单元，用于当所述当前负载未超过所述预设高负载阈值时，将本次数据校验操作的效果偏向确定为所述高准确性偏向。
8.根据权利要求6所述的数据校验装置，其特征在于，所述高效率偏向校验单元包括：
第一目标字段随机选取子单元，用于从所述待校验数据中的全部字段中，随机选取出所述预设数量的第一目标字段。
9.一种计算机设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的数据校验方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的数据校验方法。
CN201910838365.4A 2019-09-05 2019-09-05 一种数据校验方法、装置、计算机设备及可读存储介质 Pending CN110704461A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910838365.4A CN110704461A (zh) 2019-09-05 2019-09-05 一种数据校验方法、装置、计算机设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910838365.4A CN110704461A (zh) 2019-09-05 2019-09-05 一种数据校验方法、装置、计算机设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN110704461A true CN110704461A (zh) 2020-01-17

Family

ID=69194712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910838365.4A Pending CN110704461A (zh) 2019-09-05 2019-09-05 一种数据校验方法、装置、计算机设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110704461A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391767A (zh) * 2021-06-30 2021-09-14 北京百度网讯科技有限公司 数据一致性的校验方法、装置、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104868973A (zh) * 2014-02-21 2015-08-26 中国电信股份有限公司 数据完整性校验方法和系统
CN106021119A (zh) * 2016-08-03 2016-10-12 网易（杭州）网络有限公司 配置文件的校验方法和装置
CN106326222A (zh) * 2015-06-16 2017-01-11 阿里巴巴集团控股有限公司 一种数据处理方法和装置
CN109271380A (zh) * 2018-08-14 2019-01-25 中国平安人寿保险股份有限公司 一种数据表海量数据校验方法及终端设备
CN109739831A (zh) * 2018-11-23 2019-05-10 网联清算有限公司 数据库之间数据校验方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104868973A (zh) * 2014-02-21 2015-08-26 中国电信股份有限公司 数据完整性校验方法和系统
CN106326222A (zh) * 2015-06-16 2017-01-11 阿里巴巴集团控股有限公司 一种数据处理方法和装置
CN106021119A (zh) * 2016-08-03 2016-10-12 网易（杭州）网络有限公司 配置文件的校验方法和装置
CN109271380A (zh) * 2018-08-14 2019-01-25 中国平安人寿保险股份有限公司 一种数据表海量数据校验方法及终端设备
CN109739831A (zh) * 2018-11-23 2019-05-10 网联清算有限公司 数据库之间数据校验方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
奔跑的MAN: "数据表迁移数据一致性验证", 《HTTPS://WWW.CNBLOGS.COM/IFOREVER/P/4455715.HTML》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113391767A (zh) * 2021-06-30 2021-09-14 北京百度网讯科技有限公司 数据一致性的校验方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN109857337B (zh) 一种写入速度控制方法、系统、装置及可读存储介质
CN111817974B (zh) 基于令牌桶的接口限流方法、装置、系统及可读存储介质
CN109002424B (zh) 文件格式转换方法、装置、计算机设备及存储介质
CN107402851B (zh) 一种数据恢复控制方法及装置
CN111679968A (zh) 接口调用异常的检测方法、装置、计算机设备及存储介质
CN111199146B (zh) 测试报告生成方法、装置、计算机设备及存储介质
CN112965823A (zh) 调用请求的控制方法、装置、电子设备和存储介质
CN110489242B (zh) 分布式数据计算方法、装置、终端设备及存储介质
CN110704461A (zh) 一种数据校验方法、装置、计算机设备及可读存储介质
CN110134441B (zh) Risc-v分支预测方法、装置、电子设备及存储介质
CN108563774B (zh) Gps数据处理方法及装置
CN111124731A (zh) 一种文件系统异常监测方法、装置、设备、介质
CN109815067B (zh) 压力测试方法、装置、计算机设备及计算机可读存储介质
CN112269591A (zh) 版本发布方法、装置、设备及存储介质
CN109462510B (zh) 一种cdn节点质量评估的方法及装置
CN112295216B (zh) 玩家延时断线分析方法、系统、电子装置和存储介质
CN111104383B (zh) 一种检测事件日志突发漂移变化的方法及装置
CN111489531B (zh) 一种适配报警主机的线尾阻的方法、电子设备和存储介质
CN111694706A (zh) 一种云手机故障处理方法、系统和存储介质
CN111352852A (zh) 一种回归测试案例的选择方法及装置
CN110210856A (zh) 区块链数据处理方法、装置、服务器及存储介质
CN111143305A (zh) 基于分布式存储系统的数据存储方法、装置、设备及介质
CN109919521B (zh) 一种区块链操作确认方法、装置和电子设备
CN110531931B (zh) 一种存储设备的选取方法、装置和计算机可读存储介质
CN110673977B (zh) 一种数据恢复的优化方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200117