CN108287771A - 一种数据校验方法、装置及设备 - Google Patents
一种数据校验方法、装置及设备 Download PDFInfo
- Publication number
- CN108287771A CN108287771A CN201711448062.9A CN201711448062A CN108287771A CN 108287771 A CN108287771 A CN 108287771A CN 201711448062 A CN201711448062 A CN 201711448062A CN 108287771 A CN108287771 A CN 108287771A
- Authority
- CN
- China
- Prior art keywords
- verification
- data
- priority
- unit
- verification unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1008—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
- G06F11/1048—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices using arrangements adapted for a specific error detection or correction feature
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例公开了一种数据校验方法、装置及设备,能够最大程度地降低数据校验的时间,有利于提高资源利用率。其中,所述方法包括:确定多个校验单元的校验优先级,所述校验优先级的影响因素包括校验通过率,所述校验通过率根据所述多个校验单元对非目标数据进行校验获得的校验结果确定得到,所述校验通过率越低,所述校验优先级越高;按照所述校验优先级由高到低的顺序对目标数据进行校验,得到所述目标数据的校验结果。
Description
技术领域
本申请涉及计算机领域,尤其涉及一种数据校验方法、装置及设备。
背景技术
在对数据进行校验的过程中,不同的校验逻辑采用不同的校验单元来实现,每个校验单元都是独立的,且将这些校验单元的校验结果进行“与”操作,即所有校验单元的校验结果都是校验通过,才说明该数据是正确的。
例如,校验单元A对数据的校验结果为校验通过,校验单元B对该数据的校验结果为校验失败,那么将这两个校验结果进行“与”操作,得到数据的最终校验结果为校验失败。而如果校验单元B对该数据的校验结果为校验通过,那么数据的最终校验结果为校验通过。
目前常用校验方式是按照特定的顺序先后采用这些校验单元来进行校验,这样,如果其中一个校验单元校验失败,那么后续的校验单元就不需要进行校验了。但是这种校验方式比较浪费资源,因为当一个校验单元校验失败,那么排在该校验单元之前的校验单元的校验都被视为无效。
发明内容
为了解决现有技术中存在的以上技术问题,本申请提供一种数据校验方法、装置及设备,能够最大程度地降低数据校验的时间,有利于提高资源利用率。
本申请实施例提供了一种数据校验方法,所述方法包括:
确定多个校验单元的校验优先级,所述校验优先级的影响因素包括校验通过率,所述校验通过率根据所述多个校验单元对非目标数据进行校验获得的校验结果确定得到,所述校验通过率越低,所述校验优先级越高;
按照所述多个校验单元校验优先级由高到低的顺序对目标数据进行校验,得到所述目标数据的校验结果。
可选地,所述校验优先级的影响因素还包括校验执行时间,所述校验执行时间根据所述多个校验单元对所述非目标数据进行校验所花费的时间进行确定,所述校验执行时间越长,所述校验优先级越低。
可选地,所述校验优先级的影响因素还包括所述多个校验单元中每个校验单元所在的服务器的性能,所述服务器的性能越高,所述校验优先级越高。
可选地,所述确定多个校验单元的校验优先级包括:
确定所述多个校验单元中的每个校验单元对所述非目标数据进行校验的校验结果;
根据所述每个校验单元的所述非目标数据的校验结果,得到该校验单元的校验通过率。
可选地,所述方法还包括:
获取待校验数据集合,并按照预设比例将所述待校验数据集合划分为由所述目标数据组成的目标数据子集和由所述非目标数据组成的非目标数据子集。
可选地,所述方法还包括:
根据每个参与对所述目标数据进行校验的校验单元的校验结果,对该校验单元的校验优先级进行调整。
本申请实施例还提供了一种数据校验装置,所述装置包括:
校验优先级获取单元,用于确定多个校验单元的校验优先级,所述校验优先级的影响因素包括校验通过率,所述校验通过率根据所述多个校验单元对非目标数据进行校验获得的校验结果确定得到,所述校验通过率越低,所述校验优先级越高;
校验单元,用于按照所述多个校验单元校验优先级由高到低的顺序对目标数据进行校验,得到所述目标数据的校验结果。
可选地,所述校验优先级获取单元包括:
校验结果获取子单元,确定所述多个校验单元中的每个校验单元对所述非目标数据进行校验的校验结果;
校验通过率获取子单元,根据所述每个校验单元的所述非目标数据的校验结果,得到该校验单元的校验通过率。
可选地,所述装置还包括:
划分单元,用于获取待校验数据集合,并按照预设比例将所述待校验数据集合划分为由所述目标数据组成的目标数据子集和由所述非目标数据组成的非目标数据子集。
可选地,所述装置还包括:
调整单元,用于根据每个参与对所述目标数据进行校验的校验单元的校验结果,对该校验单元的校验优先级进行调整。
本申请实施例还提供了一种数据校验设备,所述设备包括:处理器和用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为:
确定多个校验单元的校验优先级,所述校验优先级的影响因素包括校验通过率,所述校验通过率根据所述多个校验单元对非目标数据进行校验获得的校验结果确定得到,所述校验通过率越低,所述校验优先级越高;
按照所述多个校验单元校验优先级由高到低的顺序对目标数据进行校验,得到所述目标数据的校验结果。与现有技术相比,本申请至少具有以下优点:
本申请在对目标数据进行校验前,将校验通过率作为校验优先级的影响因素,并根据非目标数据确定每个校验单元的校验优先级,校验通过率越低,校验优先级越高。将校验优先级高的校验单元排在前面,校验优先级低的校验单元排在后面,使得目标数据首先进行校验通过率低的校验单元的校验,如果前面的校验单元对目标数据校验失败,则不再进行后面的校验通过率高的校验单元的校验。根据校验优先级由高至低的顺序对目标数据进行校验,能够尽快知道数据校验的结果,最大程度地缩短目标数据校验的时间,有利于提高资源利用率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种数据校验方法硬件场景结构示意图;
图2为本申请实施例提供的一种数据校验方法的流程图;
图3为本申请实施例提供的另一种数据校验方法的流程图;
图4为本申请实施例提供的一种校验单元进行数据校验的过程示意图;
图5为本申请实施例提供的又一种数据校验方法的流程图;
图6为本申请实施例提供的一种数据校验装置的结构框图;
图7为本申请实施例提供的一种数据校验装置的硬件架构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面结合具体应用场景,对本申请方案进行介绍,举例来说,本申请实施例的场景之一,可以是应用到如图1所示的硬件场景之中,所述硬件包括:客户端101和服务器102。
在计算机领域中,为了保证数据的准确性和完整性,需要对数据进行校验。所述客户端101将待校验数据集合发送给服务器102进行校验,服务器102按照指定的校验逻辑对待校验数据集合进行校验后,将校验结果返回给客户端101。
所述客户端101可以为智能手机、电子书阅读器、便携计算机、台式计算机或平板电脑等。
所述服务器102包括多个校验单元,不同的校验单元对应不同的校验逻辑,其中校验逻辑可以为奇偶校验、循环冗余校验(Cyclic Redundancy Check,CRC)、纵向冗余校验(Longitudinal Redundancy Check,LRC)、异或校验法(Block Check Character,BCC)或格雷码校验等。
需要注意的是,上述应用场景仅是为了便于理解本申请的原理而示出的,不用于限定本申请实施例提供的技术方案。
方法实施例:
参见图2,该图为本申请实施例提供的一种数据校验方法的流程图。
本实施例提供的数据校验方法包括如下步骤:
S201:确定多个校验单元的校验优先级,所述校验优先级的影响因素包括校验通过率,所述校验通过率根据所述多个校验单元对非目标数据进行校验获得的校验结果确定得到,所述校验通过率越低,所述校验优先级越高。
在对待校验数据集合进行校验时,只有所有校验单元的校验结果都是校验通过,才说明该待校验数据正确。现有技术中校验单元对待校验数据集合进行校验时,每个校验单元的校验顺序是随机确定的。其中一个校验单元校验失败,那么后续的校验单元就不再进行校验,相当于排在校验失败的校验单元前面的校验单元对数据的校验都被视为无效,而前面的校验单元在进行数据校验时又占用了系统资源。因此,在对校验单元进行随机排序时,如果校验成功的校验单元总是排在前面,而校验失败的校验单元总是排在后面,会极大地延长数据校验的时间,导致资源利用率非常低。
为了解决校验单元随意排序的问题,本实施例可以通过获取多个校验单元的校验通过率来确定校验单元的校验优先级,进而根据校验优先级对校验单元进行排序。
所述非目标数据可以是在获取待校验数据集合时,从待校验数据集合中划分出来的数据。
划分待校验数据的一种实现方式为:
获取待校验数据集合,并按照预设比例将所述待校验数据集合划分为所述目标数据子集和所述非目标数据子集。
所述预设比例可以由用户设定并调整,通常来说,非目标数据子集中非目标数据的数量要少于目标数据子集中目标数据的数目。例如目标数据和非目标数据的预设比例为9:1,则可以取待校验数据集合前10%的数据作为非目标数据子集,或者取待校验数据集合后10%的数据作为非目标数据子集,或者随机从待校验数据集合中选取10%的数据作为非目标数据子集,或者按照设定的概率分布从待校验数据集合中选取10%的数据作为非目标数据子集。其中,设定的概率分布可以为均匀分布、正态分布或卡方分布等。
所述非目标数据也可以是已经完成数据校验的历史目标数据。虽然历史目标数据不是待校验数据,但是两者要面对的校验单元是相同的。因此,可以根据历史目标数据相对于各个校验单元的校验结果确定校验优先级,进而确定待校验数据进行数据校验时,各个校验单元的顺序。
此外,由于校验通过率能直观的反应出非目标数据是否能通过校验单元的校验,因此本实施例将校验通过率作为校验优先级的影响因素,并且校验通过率越低,其对应的校验优先级越高。校验单元对非目标数据进行校验时,其校验结果为通过或不通过。本实施例可以通过统计各个校验单元对非目标数据的校验次数和校验结果为通过的次数,确定各个校验单元的校验通过率。
S202:按照所述多个校验单元校验优先级由高到低的顺序,对目标数据进行校验,得到所述目标数据的校验结果。
当待校验数据集合生成之后,往往需要按照特定的顺序先后采用不同的校验单元来对待校验数据集合进行校验,以确认待校验数据集合中的待校验数据是否正确。因此,在对待校验数据集合进行校验之前,需要获取各个校验单元的校验优先级,将校验优先级高的校验单元排在前面,校验优先级低的单元排在后面。这样,校验优先级高的校验单元可以先被执行,对待校验数据进行校验,有利于提高资源利用率。
依照校验单元的校验优先级由高到低的顺序对目标数据进行校验,就是让校验通过率低的校验单元首先对目标数据进行校验。此时如果校验通过率低的校验单元校验目标数据的校验结果为不通过,本实施例能够尽可能早的发现目标数据无法通过校验单元校验的问题,提早结束校验流程,最大程度地降低目标数据校验的时间。
例如,校验单元A对应的校验逻辑为奇偶校验,校验单元B对应的校验逻辑为循环冗余校验,校验单元C对应的校验逻辑为纵向冗余校验。通过校验单元A对非目标数据进行校验获得的校验结果,可以得到校验单元A的校验通过率为90%,同理可以得到校验单元B的校验通过率为85%,校验单元C的校验通过率为95%。由于校验通过率越低,校验优先级越高。那么按照校验优先级由高到低的顺序对校验单元进行排序,三个校验单元的顺序则为:校验单元B,校验单元A,校验单元C。最后按照校验单元B,校验单元A,校验单元C的顺序,对目标数据进行校验。如果校验单元B在对目标数据进行校验得到的校验结果为不通过,那么校验单元A和校验单元C不再进行对该目标数据的校验,校验流程结束,得到目标数据的校验不通过的结果。本实施例在对目标数据进行校验前,将校验通过率作为校验优先级的影响因素,并根据非目标数据确定每个校验单元的校验优先级,校验通过率越低,校验优先级越高。将校验优先级高的校验单元排在前面,校验优先级低的校验单元排在后面,使得目标数据首先进行校验通过率低的校验单元的校验,如果前面的校验单元对目标数据校验失败,则不再进行后面的校验通过率高的校验单元的校验。根据校验优先级由高至低的顺序对目标数据进行校验,能够尽快知道数据校验的结果,进而确定校验优先级最大程度地缩短目标数据校验的时间,有利于提高资源利用率。
由以上方法可知,非目标数据可以是从待校验数据集合中划分出来的数据,也可以是已经完成数据校验的历史目标数据。非目标数据获取方式不同,数据校验具体的实现方式也不同。
下面介绍非目标数据为从待校验数据集合中划分出来的数据时,本实施例提供的另一种数据校验方法。
参见图3,该图为本申请实施例提供的另一种数据校验方法的流程图。
本实施例提供的数据校验方法包括如下步骤:
S301:获取待校验数据集合,并按照预设比例将所述待校验数据集合划分为由所述目标数据组成的目标数据子集和由所述非目标数据组成的非目标数据子集。
S302:确定所述多个校验单元中的每个校验单元对所述非目标数据进行校验的校验结果。
每个校验单元可以同时对非目标数据进行校验,直到非目标数据子集中的每一个非目标数据都被校验完成。每个校验单元对任意一个非目标数据的校验是否通过,不影响该校验单元对后续非目标数据的校验,也不影响其他校验单元对非目标数据的校验。
每个校验单元可以按照执行的先后顺序对非目标数据进行校验,直到非目标数据子集中的每一个非目标数据都被校验完成。每个校验单元对任意一个非目标数据的校验是否通过,会影响后续校验单元对该非目标数据的校验,但不影响校验单元对后续非目标数据的校验。也就是说,校验单元中的任意一个对非目标数据校验不通过时,排在该校验不通过的校验单元前面的校验单元,校验结果为通过,排在该校验不通过的校验单元后面的校验单元,不再进行校验,即校验结果为不通过。然后每个校验单元对下一个非目标数据进行校验,以此类推,直到完成所有非目标数据的校验。
S303:根据所述每个校验单元的所述非目标数据的校验结果,得到该校验单元的校验通过率;所述校验通过率越低,所述校验优先级越高。
S304:按照所述多个校验单元校验优先级由高到低的顺序对目标数据进行校验,得到所述目标数据的校验结果。
参见图4,为本实施例提供的一种校验单元进行数据校验的过程示意图。
待校验数据集合需要通过校验单元A、校验单元B和校验单元C的校验。按照预设比例,将待校验数据集合划分为目标数据子集和非目标数据子集。采用两组完全相同的校验单元A、校验单元B和校验单元C分别对目标数据子集和非目标数据子集进行校验。
首先,其中一组校验单元A、校验单元B和校验单元C同时对非目标数据子集进行校验。首先对第一个非目标数据进行校验,校验单元A、校验单元B和校验单元C对第一个非目标数据的校验结果分别为不通过、通过和不通过。虽然校验单元A和校验单元C的校验不通过,但并不影响校验单元B校验通过的有效性。然后校验单元A、校验单元B和校验单元C同时对下一个非目标数据进行校验,以此类推,直到完成所有非目标数据的校验,得到每个校验单元对所有非目标数据进行校验的校验结果。最后根据每个校验单元的非目标数据的校验结果,得到该校验单元的校验通过率。
在将根据非目标数据获取的校验优先级传递给另一组校验单元时,可以通过串行调度器设置另一组校验单元的校验顺序。串行调度器接收根据非目标数据获取的校验优先级,根据该校验优先级将校验单元C的校验顺序设置为第一,将校验单元A的校验顺序设置为第二,将校验单元B的校验顺序设置为第三。则另一组校验单元按照串行调度器设置的排序,让目标数据依次进行校验单元C,校验单元A,校验单元B的校验,从而得到目标数据的校验结果。
本实施例首先将待校验数据集合划分为目标数据子集和非目标数据子集,利用非目标数据去获取校验单元的校验优先级,然后根据校验单元的校验优先级对目标数据进行校验。本实施例避免了直接采用庞大的待校验数据集合去进行校验优先级的确定,缩短了确定校验优先级的时间,从而加快整个数据校验的进程,有利于提高资源利用率。
下面介绍非目标数据为已经完成数据校验的历史目标数据时,本实施例提供的又一种数据校验方法。
参见图5,该图为本申请实施例提供的又一种数据校验方法的流程图。
本实施例提供的数据校验方法包括如下步骤:
S501:确定多个校验单元的校验优先级,所述校验优先级的影响因素包括校验通过率,所述校验通过率根据所述多个校验单元对非目标数据进行校验获得的校验结果确定得到,所述校验通过率越低,所述校验优先级越高。
S502:按照所述多个校验单元校验优先级由高到低的顺序对目标数据进行校验,得到所述目标数据的校验结果。
S503:根据每个参与对所述目标数据进行校验的校验单元的校验结果,对该校验单元的校验优先级进行调整。
随着待校验数据的变化,各个校验单元对待校验数据的校验通过率也会发生变化。因此需要根据待校验数据的变化,调整每个校验单元的校验优先级。S504中的目标数据即为已经完成校验的历史目标数据,由于已经完成校验的历史目标数据的校验结果是已知的,因此可以根据历史目标数据相对于各个校验单元的校验结果,确定各个校验单元的校验优先级,重新对校验单元进行排序。
例如,在调整校验单元A、校验单元B和校验单元C的校验优先级时,可以设定一个定时任务,该定时任务每隔设定的时间周期,根据在上一个时间周期内已完成校验的历史目标数据的校验结果,调整每个校验单元的校验优先级,重新对校验单元进行排序。在进行下一个时间周期的数据校验时,按照重新排序后的校验单元,依次对目标数据进行校验。
假设校验单元A、校验单元B和校验单元C在上一个时间周期内的校验优先级为校验单元C、校验单元B和校验单元A,并且三个校验单元均完成了10个目标数据的校验,则这10个目标数据成为历史目标数据。其中,校验单元A对这10个历史目标数据的校验结果为8个通过,2个不通过。校验单元B对这10个历史目标数据的校验结果为9个通过,1个不通过。校验单元C对这10个历史目标数据的校验结果为7个通过,3个不通过。则在上一个时间周期内,校验单元A的校验通过率为80%,校验单元B的校验通过率为90%,校验单元C的校验通过率为70%。进而可以根据上一个时间周期内三个校验单元的校验通过率,将三个校验单元的校验优先级调整为校验单元C、校验单元A和校验单元B。最后在进行下一个时间周期的数据校验时,按照重新排序后的校验单元,依次对目标数据进行校验。
本实施例根据待校验数据的变化,采用已完成校验的历史目标数据实时调整校验单元的校验优先级,进而调整校验单元对待校验数据进行校验的顺序,将校验优先级高的校验单元排在前面,校验优先级低的校验单元排在后面,有利于提高校验优先级对待校验数据的适应性,最大程度上降低数据校验的时间,提高资源利用率。
上述方法中,在确定校验优先级时,只考虑了校验单元的校验通过率。为了避免无法确定校验通过率相同情况下的校验单元的校验优先级,本实施例可以进一步采用校验单元的校验执行时间和/或校验单元所在的服务器的性能作为校验优先级的影响因素。
下面介绍本实施例校验优先级的另一种影响因素。
所述校验优先级的影响因素还包括校验执行时间,所述校验执行时间根据所述多个校验单元对所述非目标数据进行校验所花费的时间进行确定,所述校验执行时间越长,所述校验优先级越低。
由于每个校验单元对应的校验逻辑不同,而校验逻辑又对应不同的数据校验方法。数据校验方法又有复杂和简单之分,如果某个校验单元对应的校验逻辑非常复杂,则该校验单元在对非目标数据进行校验时所花费的校验执行时间就会很长,进而也延长了得到校验结果的时间。因此,校验单元的校验执行时间越长,其校验优先级越低。将校验执行时间作为校验优先级的影响因素之一,也有利于缩短非目标数据校验的时间,能够尽快知道非目标数据校验的结果,进而确定校验优先级。
下面介绍本实施例校验优先级的又一种影响因素。
所述校验优先级的影响因素还包括所述多个校验单元中每个校验单元所在的服务器的性能,所述服务器的性能越高,所述校验优先级越高。
所述服务器的性能可以为CPU的运算速度、CPU的使用率、内存占用率或校验单元在服务器上的集成度等,服务器的性能越好,校验效率越高。其中,集成度高的情况可以为包括在各个校验单元中的多个校验子单元,均分布在同一个服务器上。集成度低的情况可以为包括在各个校验单元中的多个校验子单元,分布在不同服务器上。由于一个服务器的处理能力有限,则校验单元在服务器上的集成度越高,服务器的性能越差,集成度越低,服务器的性能越好。
将校验单元所在的服务器的性能作为校验优先级的影响因素之一,也有利于缩短非目标数据校验的时间,能够尽快知道非目标数据校验的结果,进而确定校验优先级。
在确定校验优先级时,可以同时将校验通过率、校验执行时间以及校验单元所在的服务器的性能作为校验优先级的影响因素。
下面介绍在同时将校验通过率、校验执行时间以及校验单元所在的服务器的性能作为校验优先级的影响因素的情况下,校验优先级的一种实现方式:
将校验通过率作为第一因素,校验执行时间作为第二因素,校验单元所在的服务器的性能作为第三因素。首先确定多个校验单元的校验通过率,如果多个校验单元的校验通过率相同,再获取所述校验通过率相同的校验单元的校验执行时间,进而根据第一因素和第二因素确定校验优先级。如果多个校验单元的校验通过率和校验执行时间均相同,则再获取所述校验通过率和校验执行时间均相同的校验单元所在的服务器的性能,进而根据第一因素、第二因素和第三因素确定校验优先级。
本实施例将第一因素作为影响校验优先级的主要因素,第二因素和第三因素作为影响校验优先级的辅助因素。在第一因素无法确定校验优先级时,再依次考虑第二因素和第三因素,使得获取的校验优先级准确性更高。
需要说明的是,如果出现多个校验单元的校验通过率相同的情况,也可以先考虑第三因素,再考虑第二因素,本实施例对此不作赘述。
下面介绍在同时将校验通过率、校验执行时间以及校验单元所在的服务器的性能作为校验优先级的影响因素的情况下,校验优先级的另一种实现方式,具体的:
P=k1×S/(k2×R+k3×T)
其中,P为校验优先级,S为校验单元所在的服务器的性能,k1为校验单元所在的服务器的性能对应的权重,R为校验通过率,k2为校验通过率对应的权重,T为校验执行时间,k3为校验执行时间对应的权重。校验通过率、校验执行时间以及校验单元所在的服务器的性能对于校验优先级的影响重要程度可以相同也可以不同,用户可以根据实际情况设定或调整三者的权重。
需要说明的是,校验优先级也可以只将校验通过率和校验执行时间作为影响因素,也可以只将校验通过率和校验单元所在的服务器的性能作为影响因素,在这两种情况下校验优先级的具体实现方法,本实施例在此不作赘述。
本实施例在确定校验优先级时,除了将校验通过率作为影响因素,还可以将校验单元的校验执行时间和/或校验单元所在的服务器的性能作为影响因素。多方面考虑各种因素,确定的校验优先级的准确性更高,根据准确性更高的校验优先级对校验单元进行排序,使得按照该顺序下的校验单元对目标数据进行校验时,能够最大程度地缩短校验时间,从而提高资源利用率。
装置实施例
基于以上实施例提供的一种数据校验方法,本申请实施例还提供了一种数据校验装置,下面结合附图来详细说明其工作原理。
参见图6,该图为本申请实施例提供的一种数据校验装置的结构框图。
一种数据校验装置,所述装置包括:
校验优先级获取单元601,用于确定多个校验单元的校验优先级,所述校验优先级的影响因素包括校验通过率,所述校验通过率根据所述多个校验单元对非目标数据进行校验获得的校验结果确定得到,所述校验通过率越低,所述校验优先级越高;
校验单元602,用于按照所述多个校验单元校验优先级由高到低的顺序对目标数据进行校验,得到所述目标数据的校验结果。
可选地,所述校验优先级获取单元601包括:
校验结果获取子单元601a,确定所述多个校验单元中的每个校验单元对所述非目标数据进行校验的校验结果;
校验通过率获取子单元601b,根据所述每个校验单元的所述非目标数据的校验结果,得到该校验单元的校验通过率。
可选地,所述装置还包括:
划分单元,用于获取待校验数据集合,并按照预设比例将所述待校验数据集合划分为由所述目标数据组成的目标数据子集和由所述非目标数据组成的非目标数据子集。
可选地,所述装置还包括:
调整单元,用于根据每个参与对所述目标数据进行校验的校验单元的校验结果,对该校验单元的校验优先级进行调整。
所述装置实施例提供的数据校验装置可以应用在任何具有处理器的电子设备上,所述电子设备可以是现有的、正在研发的或将来研发的任何电子设备,包括但不限于:现有的、正在研发的或将来研发的台式计算机、膝上型计算机、移动终端(包括智能手机、非智能手机、各种平板电脑)等。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在带有处理器的电子设备的处理器将存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图7所示,为申请数据校验装置所在带有处理器的电子设备的一种硬件结构图,除了图7所示的处理器、内存、网络接口、以及存储器之外,实施例中装置所在的投影系统的设备或带有处理器的电子设备通常根据该设备的实际功能,还可以包括其他硬件,例如显示器,对此不再赘述。
其中,存储器中可以存储有数据校验方法对应的逻辑指令,该存储器例如可以是非易失性存储器(non-volatile memory),处理器可以调用执行存储器中的保存的逻辑指令,以执行上述的数据校验方法。
数据校验方法对应的逻辑指令的功能,如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例在对目标数据进行校验前,校验优先级获取单元将校验通过率作为校验优先级的影响因素,并根据非目标数据确定每个校验单元的校验优先级,校验通过率越低,校验优先级越高。按照所述多个校验单元校验优先级由高到低的顺序对目标数据进行校验,使得目标数据首先进行校验通过率低的校验单元的校验,如果前面的校验单元对目标数据校验失败,则不再进行后面的校验通过率高的校验单元的校验。校验单元根据校验优先级由高至低的顺序对目标数据进行校验,能够尽快知道数据校验的结果,进而确定校验优先级最大程度地缩短目标数据校验的时间,有利于提高资源利用率。
设备实施例
本实施例提供一种数据校验设备,所述设备包括:处理器和用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为:
确定多个校验单元的校验优先级,所述校验优先级的影响因素包括校验通过率,所述校验通过率根据所述多个校验单元对非目标数据进行校验获得的校验结果确定得到,所述校验通过率越低,所述校验优先级越高;
按照所述多个校验单元校验优先级由高到低的顺序对目标数据进行校验,得到所述目标数据的校验结果。
当介绍本申请的各种实施例的元件时,冠词“一”、“一个”、“这个”和“所述”都意图表示有一个或多个元件。词语“包括”、“包含”和“具有”都是包括性的并意味着除了列出的元件之外,还可以有其它元件。
需要说明的是,本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccess Memory,RAM)等。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元及模块可以是或者也可以不是物理上分开的。另外,还可以根据实际的需要选择其中的部分或者全部单元和模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅是本申请的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (11)
1.一种数据校验方法,其特征在于,所述方法包括:
确定多个校验单元的校验优先级,所述校验优先级的影响因素包括校验通过率,所述校验通过率根据所述多个校验单元对非目标数据进行校验获得的校验结果确定得到,所述校验通过率越低,所述校验优先级越高;
按照所述多个校验单元校验优先级由高到低的顺序对目标数据进行校验,得到所述目标数据的校验结果。
2.根据权利要求1所述的方法,其特征在于,所述校验优先级的影响因素还包括校验执行时间,所述校验执行时间根据所述多个校验单元对所述非目标数据进行校验所花费的时间进行确定,所述校验执行时间越长,所述校验优先级越低。
3.根据权利要求1或2所述的方法,其特征在于,所述校验优先级的影响因素还包括所述多个校验单元中每个校验单元所在的服务器的性能,所述服务器的性能越高,所述校验优先级越高。
4.根据权利要求1所述的方法,其特征在于,所述确定多个校验单元的校验优先级包括:
确定所述多个校验单元中的每个校验单元对所述非目标数据进行校验的校验结果;
根据所述每个校验单元的所述非目标数据的校验结果,得到该校验单元的校验通过率。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
获取待校验数据集合,并按照预设比例将所述待校验数据集合划分为由所述目标数据组成的目标数据子集和由所述非目标数据组成的非目标数据子集。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据每个参与对所述目标数据进行校验的校验单元的校验结果,对该校验单元的校验优先级进行调整。
7.一种数据校验装置,其特征在于,所述装置包括:
校验优先级获取单元,用于确定多个校验单元的校验优先级,所述校验优先级的影响因素包括校验通过率,所述校验通过率根据所述多个校验单元对非目标数据进行校验获得的校验结果确定得到,所述校验通过率越低,所述校验优先级越高;
校验单元,用于按照所述多个校验单元校验优先级由高到低的顺序对目标数据进行校验,得到所述目标数据的校验结果。
8.根据权利要求7所述的装置,其特征在于,所述校验优先级获取单元包括:
校验结果获取子单元,确定所述多个校验单元中的每个校验单元对所述非目标数据进行校验的校验结果;
校验通过率获取子单元,根据所述每个校验单元的所述非目标数据的校验结果,得到该校验单元的校验通过率。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
划分单元,用于获取待校验数据集合,并按照预设比例将所述待校验数据集合划分为由所述目标数据组成的目标数据子集和由所述非目标数据组成的非目标数据子集。
10.根据权利要求7所述的装置,其特征在于,所述装置还包括:
调整单元,用于根据每个参与对所述目标数据进行校验的校验单元的校验结果,对该校验单元的校验优先级进行调整。
11.一种数据校验设备,其特征在于,所述设备包括:处理器和用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为:
确定多个校验单元的校验优先级,所述校验优先级的影响因素包括校验通过率,所述校验通过率根据所述多个校验单元对非目标数据进行校验获得的校验结果确定得到,所述校验通过率越低,所述校验优先级越高;
按照所述多个校验单元校验优先级由高到低的顺序对目标数据进行校验,得到所述目标数据的校验结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711448062.9A CN108287771A (zh) | 2017-12-27 | 2017-12-27 | 一种数据校验方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711448062.9A CN108287771A (zh) | 2017-12-27 | 2017-12-27 | 一种数据校验方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108287771A true CN108287771A (zh) | 2018-07-17 |
Family
ID=62832498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711448062.9A Pending CN108287771A (zh) | 2017-12-27 | 2017-12-27 | 一种数据校验方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108287771A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110071780A (zh) * | 2018-01-23 | 2019-07-30 | 华为技术有限公司 | 应用于低密度奇偶校检ldpc的校验方法及装置、通信设备 |
CN111159153A (zh) * | 2019-12-30 | 2020-05-15 | 北京三快在线科技有限公司 | 业务数据校验方法、装置、计算机设备及存储介质 |
CN113268290A (zh) * | 2021-06-16 | 2021-08-17 | 中移(杭州)信息技术有限公司 | 软件容器优化方法、装置、设备及计算机程序产品 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1804808A (zh) * | 2005-01-14 | 2006-07-19 | 安捷伦科技有限公司 | 优化测试顺序的方法 |
CN102736963A (zh) * | 2011-04-06 | 2012-10-17 | 鸿富锦精密工业(深圳)有限公司 | 主板测试流程自动调整系统及方法 |
CN103888254A (zh) * | 2012-12-21 | 2014-06-25 | 阿里巴巴集团控股有限公司 | 一种网络验证信息的方法和装置 |
CN105225125A (zh) * | 2014-06-23 | 2016-01-06 | 阿里巴巴集团控股有限公司 | 信息校验方法及设备 |
US20170075796A1 (en) * | 2013-03-14 | 2017-03-16 | International Business Machines Corporation | Probationary software tests |
-
2017
- 2017-12-27 CN CN201711448062.9A patent/CN108287771A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1804808A (zh) * | 2005-01-14 | 2006-07-19 | 安捷伦科技有限公司 | 优化测试顺序的方法 |
CN102736963A (zh) * | 2011-04-06 | 2012-10-17 | 鸿富锦精密工业(深圳)有限公司 | 主板测试流程自动调整系统及方法 |
CN103888254A (zh) * | 2012-12-21 | 2014-06-25 | 阿里巴巴集团控股有限公司 | 一种网络验证信息的方法和装置 |
US20170075796A1 (en) * | 2013-03-14 | 2017-03-16 | International Business Machines Corporation | Probationary software tests |
CN105225125A (zh) * | 2014-06-23 | 2016-01-06 | 阿里巴巴集团控股有限公司 | 信息校验方法及设备 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110071780A (zh) * | 2018-01-23 | 2019-07-30 | 华为技术有限公司 | 应用于低密度奇偶校检ldpc的校验方法及装置、通信设备 |
CN110071780B (zh) * | 2018-01-23 | 2020-11-06 | 华为技术有限公司 | 应用于低密度奇偶校检ldpc的校验方法及装置、通信设备 |
CN111159153A (zh) * | 2019-12-30 | 2020-05-15 | 北京三快在线科技有限公司 | 业务数据校验方法、装置、计算机设备及存储介质 |
CN111159153B (zh) * | 2019-12-30 | 2023-08-29 | 北京三快在线科技有限公司 | 业务数据校验方法、装置、计算机设备及存储介质 |
CN113268290A (zh) * | 2021-06-16 | 2021-08-17 | 中移(杭州)信息技术有限公司 | 软件容器优化方法、装置、设备及计算机程序产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11113103B2 (en) | Task parallel processing method, apparatus and system, storage medium and computer device | |
CN112395247B (zh) | 数据的处理方法、存算一体芯片 | |
CN108287771A (zh) | 一种数据校验方法、装置及设备 | |
CN109992462A (zh) | 验证激励生成方法、装置、芯片验证方法及系统 | |
WO2022267715A1 (zh) | 一种预言机节点筛选方法、装置、存储介质及电子装置 | |
US11880662B2 (en) | Matrix based bot implementation | |
CN109473121B (zh) | 语音合成质量测试方法及装置 | |
CN107797821A (zh) | 重试读取方法以及使用该方法的装置 | |
CN112817524A (zh) | 基于动态神经网络的闪存可靠性等级在线预测方法和装置 | |
CN107729231A (zh) | 一种基于操作系统的故障注入方法及装置 | |
CN111276179A (zh) | 一种NAND Flash错误率的分组测试装置 | |
CN109671466A (zh) | 一种阈值电压调试方法、装置及电子设备 | |
CN111475402A (zh) | 程序功能的测试方法及相关装置 | |
CN113191114B (zh) | 用于验证系统的方法和装置 | |
CN112333246B (zh) | 一种ABtest实验方法、装置、智能终端及存储介质 | |
CN113778878A (zh) | 接口测试方法、装置、电子设备及存储介质 | |
CN106202374A (zh) | 一种数据处理方法及装置 | |
CN107040509A (zh) | 一种报文发送方法及装置 | |
CN105740073A (zh) | 一种动态控制操作系统进程数量的方法及装置 | |
CN108874556A (zh) | 一种数据交互方法、装置、存储介质及移动终端 | |
CN111859403B (zh) | 依赖关系漏洞的确定方法、装置、电子设备及存储介质 | |
US9823305B1 (en) | Method and system for generating post-silicon validation tests | |
CN114138688A (zh) | 一种数据读取方法、系统、设备以及介质 | |
CN114822634A (zh) | 参考电压确定方法、装置、计算机设备和存储介质 | |
CN113409863A (zh) | 一种减少擦除时间的方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 110179 No. 177-1 Innovation Road, Hunnan District, Shenyang City, Liaoning Province Applicant after: Shenyang Neusoft Medical Systems Co.,Ltd. Address before: 110179 No. 177-1 Innovation Road, Hunnan District, Shenyang City, Liaoning Province Applicant before: SHENYANG NEUSOFT MEDICAL SYSTEMS Co.,Ltd. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180717 |