CN107430533B - 一种数据校验方法和装置 - Google Patents
一种数据校验方法和装置 Download PDFInfo
- Publication number
- CN107430533B CN107430533B CN201580004176.7A CN201580004176A CN107430533B CN 107430533 B CN107430533 B CN 107430533B CN 201580004176 A CN201580004176 A CN 201580004176A CN 107430533 B CN107430533 B CN 107430533B
- Authority
- CN
- China
- Prior art keywords
- storage
- storage entity
- entity
- data
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种数据校验方法和装置,该方法可包括:接收对目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;根据所述校验命令查找所述目标存储实体;通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当校验失败时,则确定所述有效数据错误。本发明实施例可以提高数据校验效率。
Description
技术领域
本发明涉及通信领域,尤其涉及一种数据校验方法和装置。
背景技术
目前数据存储技术中进行数据校验时,往往都是将存储盘内存储的数据读取至使用该数据的上层应用系统,例如:文件系统。由上层应用系统对读取的数据进行校验,当数据校验错误时,上层应用系统会通过大量的元数据查询到校验错误数据所在的逻辑区块地址(Logical Block Address,LBA)关联的信息,或者通过校验错误数据所在的LBA对应的文件的元数据和数据反向查找表得到该LBA关联的信息。上层应用系统再使用该LBA关联的信息对校验错误数据进行修复。然而,在上述技术中对数据进行校验时是将数据读取至上层应用系统,这样会带来大量的介质访问,从而导致校验的效率很低。
发明内容
本发明实施例提供了一种数据校验方法和装置,可以提高数据校验效率。
第一方面,本发明实施例一种数据校验方法,应用于存储控制器中,所述存储控制器和存储器连接,包括:
接收对目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;
根据所述校验命令查找所述目标存储实体;
通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当校验失败时,则确定所述有效数据错误。
在第一方面的第一种可能的实现方式中,所述头部还包括用于校验所述有效数据是否错误的特定值,在读取所述有效数据和所述校验数据之前,所述方法还包括:
根据所述校验命令读取所述头部中的所述特定值,并使用预设的校验规则对所述特定值进行校验,当所述特定值校验失败时,则确定所述有效数据错误。
结合第一方面或者第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,所述方法还包括:
当所述有效数据错误时,向修复装置上报错误信息,由所述修复装置从其他存储器中获得所述有效数据的副本,对所述目标存储实体的有效数据进行修复。
结合第一方面的第一种可能的实现方,在第一方面的第三种可能的实现方式,所述目标存储实体是目标存储地址范围内的所有存储实体:
所述校验命令携带有用于指示所述目标存储地址范围的标记信息;
所述根据所述校验命令读取所述头部中的所述特定值,包括:
根据所述校验命令携带的所述标记信息识别出所述目标存储地址,并确定所述目标存储地址的首个存储地址为所述目标存储实体中首个存储实体的头部中的所述特定值的存储地址,从所述首个存储地址中读取所述首个存储实体的头部中的所述特定值;
根据所述首个存储实体的所述特定值的存储地址确定出所述首个存储实体的头部的存储地址,并在所述首个存储实体的头部的存储地址中获取所述首个存储实体的有效数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的有效数据的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值。
结合第一方面的第一种可能的实现方式,在第一方面的第四种可能的实现方式中,所述目标存储实体是所述存储器内所有存储实体:
所述校验命令携带有用于指示对所述存储器内存储的所有存储实体进行校验的标记信息;
所述根据所述校验命令读取所述头部中的所述特定值,包括:
根据所述校验命令携带的所述标记信息确定所述存储器中的首个存储地址为所述目标存储实体中首个存储实体的头部中的所述特定值的存储地址,从所述首个存储地址中读取所述首个存储实体的头部中的所述特定值;
根据所述首个存储实体的所述特定值的存储地址确定出所述首个存储实体的头部的存储地址,并在所述首个存储实体的头部的存储地址中获取所述首个存储实体的有效数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的有效数据的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值。
结合第一方面的第一种可能的实现方式,在第一方面的第五种可能的实现方式中,所述校验命令携带有所述目标存储实体的标签信息;
所述根据所述校验命令读取所述头部中的所述特定值包括:
当内存中存储有所述目标存储实体的标签信息以及所述目标存储实体的地址信息时,使用所述标签信息查找所述目标存储实体的地址信息,并在所述地址信息描述的存储地址中读取所述目标存储实体的头部中的所述特定值。
结合第一方面的第一种可能的实现方式或者第一方面的第五种可能的实现方,在第一方面的第六种可能的实现方式中,所述校验命令携带有所述目标存储实体的标签信息,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是键Key或者元数据;
所述根据所述校验命令读取所述头部中的所述特定值包括:
当内存中没有存储所述目标存储实体的标签信息或者没有存储所述目标存储实体的地址信息时,读取所述存储器中任一所述特定值,并根据该特定值确定该特定值所属的当前存储实体的头部,在所述当前存储实体的头部中获取所述当前存储实体的描述字符的位置信息,并根据所述当前存储实体的描述字符的位置信息读取所述当前存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述当前存储实体是否为所述目标存储实体。
结合第一方面的第一种可能的实现方式或者第一方面的第五种可能的实现方式,在第一方面的第七种可能的实现方式中,所述校验命令携带有所述目标存储实体的标签信息,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是键Key或者元数据;
所述根据所述校验命令读取所述头部中的所述特定值包括:
当内存中没有存储所述目标存储实体的标签信息或者没有存储所述目标存储实体的地址信息时,读取所述存储器存储的首个存储实体的所述特定值,并根据该特定值确定所述首个存储实体的头部,在所述首个存储实体的头部中获取所述首个存储实体的描述字符的位置信息,并根据所述首个存储实体的描述字符的位置信息读取所述首个存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述首个存储实体是否为所述目标存储实体;
当判断所述首个存储实体不是所述目标存储实体时,在所述首个存储实体的头部的存储地址中获取所述首个存储实体的数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的数据的位置信息、描述字符的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值,并根据所述下一个存储实体的特定值确定所述下一个存储实体的头部,在所述下一个存储实体的头部中获取所述下一个存储实体的描述字符的位置信息,并根据所述下一个存储实体的描述字符的位置信息读取所述下一个存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述下一个存储实体是否为所述目标存储实体。
结合第一方面的上述任一种可能的实现方式,在第一方面的第八种可能的实现方式中,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是Key或者元数据;
所述校验数据包括如下至少一项:
用于校验所述描述字符是否错误的第一校验值以及用于校验所述数据是否错误的第二校验值。
结合第一方面的第六种可能的实现方式或者第一方面的第七种可能的实现方式或者第一方面的第八种可能的实现方式,在第一方面的第九种可能的实现方式中,所述使用预设的校验规则对所述特定值进行校验,包括:
判断所述特定值与预先定义的预定值是否匹配,若不匹配,则确定所述描述字符和所述数据都错误。
第二方面,本发明实施例提供一种数据校验方法,包括:
生成对与存储控制器连接的存储器存储的目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;
向所述存储控制器发送所述校验命令,以使根据所述校验命令查找所述目标存储实体,并由所述存储控制器通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当值校验失败时,则确定所述有效数据错误。
在第二方面的第一种可能的实现方式中,所述头部还包括用于校验所述有效数据是否错误的特定值,其中,当所述存储控制器根据所述校验命令读取所述头部中的所述特定值,并使用预设的校验规则对所述特定值进行校验,当所述特定值校验失败时,则确定所述有效数据错误。
结合第二方面或者第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,所述方法还包括:
接收所述存储控制器上报的所述有效数据错误的错误信息,并从其他存储器中获得所述有效数据的副本,对所述目标存储实体的有效数据进行修复。
结合第二方面或者第二方面的第一种可能的实现方式,在第二方面的第三种可能的实现方式中,所述校验命令携带有用于指示目标存储地址范围的标记信息,其中,所述目标存储实体是所述目标存储地址范围内的所有存储实体;或者
所述校验命令携带有用于指示对所述存储器内存储的所有存储实体进行校验的标记信息,其中,所述目标存储实体是所述存储器内所有存储实体:或者
所述校验命令携带有所述目标存储实体的标签信息。
结合第二方面的上述任一种可能的实现方式,在第二方面的第四种可能的实现方式中,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是Key或者元数据;
所述校验数据包括如下至少一项:
用于校验所述描述字符是否错误的第一校验值以及用于校验所述数据是否错误的第二校验值。
第三方面,本发明实施例提供一种数据校验装置,应用于存储控制器中,所述存储控制器和存储器连接,包括:接收单元、查找单元和校验单元,其中:
所述接收单元,用于接收对目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;
所述查找单元,用于根据所述校验命令查找所述目标存储实体;
所述校验单元,用于通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当校验失败时,则确定所述有效数据错误。
在第三方面的第一种可能的实现方式中,所述头部还包括用于校验所述有效数据是否错误的特定值;所述装置还包括:
读取单元,用于根据所述校验命令读取所述头部中的所述特定值;
所述校验单元还用于使用预设的校验规则对所述特定值进行校验,当所述特定值校验失败时,则确定所述有效数据错误。
结合第三方面或者第三方面的第一种可能的实现方,在第三方面的第二种可能的实现方式中,所述装置还包括:
上报单元,用于当所述校验单元校验所述有效数据错误时,向修复装置上报错误信息,由所述修复装置从其他存储器中获得所述有效数据的副本,对所述目标存储实体的有效数据进行修复。
结合第三方面的第一种可能的实现方中,在第三方面的第三种可能的实现方式,所述目标存储实体是目标存储地址范围内的所有存储实体:
所述校验命令携带有用于指示所述目标存储地址范围的标记信息;
所述读取单元用于根据所述校验命令携带的所述标记信息识别出所述目标存储地址,并确定所述目标存储地址的首个存储地址为所述目标存储实体中首个存储实体的头部中的所述特定值的存储地址,从所述首个存储地址中读取所述首个存储实体的头部中的所述特定值;以及根据所述首个存储实体的所述特定值的存储地址确定出所述首个存储实体的头部的存储地址,并在所述首个存储实体的头部的存储地址中获取所述首个存储实体的有效数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的有效数据的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值。
结合第三方面的第一种可能的实现方,在第三方面的第四种可能的实现方式中,所述目标存储实体是所述存储器内所有存储实体:
所述校验命令携带有用于指示对所述存储器内存储的所有存储实体进行校验的标记信息;
所述读取单元用于根据所述校验命令携带的所述标记信息确定所述存储器中的首个存储地址为所述目标存储实体中首个存储实体的头部中的所述特定值的存储地址,从所述首个存储地址中读取所述首个存储实体的头部中的所述特定值;以及用于根据所述首个存储实体的所述特定值的存储地址确定出所述首个存储实体的头部的存储地址,并在所述首个存储实体的头部的存储地址中获取所述首个存储实体的有效数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的有效数据的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值。
结合第三方面的第一种可能的实现方中,在第三方面的第五种可能的实现方式中,所述校验命令携带有所述目标存储实体的标签信息;
所述读取单元用于当内存中存储有所述目标存储实体的标签信息以及所述目标存储实体的地址信息时,使用所述标签信息查找所述目标存储实体的地址信息,并在所述地址信息描述的存储地址中读取所述目标存储实体的头部中的所述特定值。
结合第三方面的第一种可能的实现方式或者第三方面的第五种可能的实现方,在第三方面的第六种可能的实现方式中,所述校验命令携带有所述目标存储实体的标签信息,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是键Key或者元数据;
所述读取单元用于当内存中没有存储所述目标存储实体的标签信息或者没有存储所述目标存储实体的地址信息时,读取所述存储器中任一所述特定值,并根据该特定值确定该特定值所属的当前存储实体的头部,在所述当前存储实体的头部中获取所述当前存储实体的描述字符的位置信息,并根据所述当前存储实体的描述字符的位置信息读取所述当前存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述当前存储实体是否为所述目标存储实体。
结合第三方面的第一种可能的实现方式或者第三方面的第五种可能的实现方式,在第三方面的第七种可能的实现方式中,所述校验命令携带有所述目标存储实体的标签信息,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是键Key或者元数据;
所述读取单元用于当内存中没有存储所述目标存储实体的标签信息或者没有存储所述目标存储实体的地址信息时,读取所述存储器存储的首个存储实体的所述特定值,并根据该特定值确定所述首个存储实体的头部,在所述首个存储实体的头部中获取所述首个存储实体的描述字符的位置信息,并根据所述首个存储实体的描述字符的位置信息读取所述首个存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述首个存储实体是否为所述目标存储实体;以及用于当判断所述首个存储实体不是所述目标存储实体时,在所述首个存储实体的头部的存储地址中获取所述首个存储实体的数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的数据的位置信息、描述字符的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值,并根据所述下一个存储实体的特定值确定所述下一个存储实体的头部,在所述下一个存储实体的头部中获取所述下一个存储实体的描述字符的位置信息,并根据所述下一个存储实体的描述字符的位置信息读取所述下一个存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述下一个存储实体是否为所述目标存储实体。
结合第三方面的上述任一种可能的实现方式,在第三方面的第八种可能的实现方式中,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是Key或者元数据;
所述校验数据包括如下至少一项:
用于校验所述描述字符是否错误的第一校验值以及用于校验所述数据是否错误的第二校验值。
结合第三方面的第六种可能的实现方式或者第三方面的第七种可能的实现方式或者第三方面的第八种可能的实现方式,在第三方面的第九种可能的实现方式中,所述校验单元用于判断所述特定值与预先定义的预定值是否匹配,若不匹配,则确定所述描述字符和所述数据都错误。
第四方面,本发明实施例提供一种数据校验装置,包括:生成单元和发送单元,其中:
所述生成单元,用于生成对与存储控制器连接的存储器存储的目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;
所述发送单元,用于向所述存储控制器发送所述生成单元生成所述校验命令,以使根据所述校验命令查找所述目标存储实体,并由所述存储控制器通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当值校验失败时,则确定所述有效数据错误。
在第四方面的第一种可能的实现方式中,所述头部还包括用于校验所述有效数据是否错误的特定值,其中,当所述存储控制器根据所述校验命令读取所述头部中的所述特定值,并使用预设的校验规则对所述特定值进行校验,当所述特定值校验失败时,则确定所述有效数据错误。
结合第四方面或者第四方面的第一种可能的实现方式,在第四方面的第二种可能的实现方式中,所述装置还包括:
修复单元,用于接收所述存储控制器上报的所述有效数据错误的错误信息,并从其他存储器中获得所述有效数据的副本,对所述目标存储实体的有效数据进行修复。
结合第四方面或者第四方面的第一种可能的实现方式,在第四方面的第三种可能的实现方式中,所述校验命令携带有用于指示目标存储地址范围的标记信息,其中,所述目标存储实体是所述目标存储地址范围内的所有存储实体;或者
所述校验命令携带有用于指示对所述存储器内存储的所有存储实体进行校验的标记信息,其中,所述目标存储实体是所述存储器内所有存储实体:或者
所述校验命令携带有所述目标存储实体的标签信息。
结合第四方面的上述任一种可能的实现方式,在第四方面的第四种可能的实现方式中,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是Key或者元数据;
所述校验数据包括如下至少一项:
用于校验所述描述字符是否错误的第一校验值以及用于校验所述数据是否错误的第二校验值。
第五方面,本发明实施例一种数据校验装置,包括:存储控制器、网络接口、存储器和通信总线,其中,所述通信总线用于实现所述存储控制器、网络接口和存储器之间连接通信,所述存储控制器执行所述存储器中存储的程序用于实现以下方法:
接收对目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;
根据所述校验命令查找所述目标存储实体;
通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当校验失败时,则确定所述有效数据错误。
在第五方面的第一种可能的实现方式中,所述头部还包括用于校验所述有效数据是否错误的特定值,在读取所述有效数据和所述校验数据之前,所述存储控制器执行的程序还包括:
根据所述校验命令读取所述头部中的所述特定值,并使用预设的校验规则对所述特定值进行校验,当所述特定值校验失败时,则确定所述有效数据错误。
结合第五方面或者第五方面的第一种可能的实现方式,在第五方面的第二种可能的实现方式中,所述存储控制器执行的程序还包括:
当所述有效数据错误时,向修复装置上报错误信息,由所述修复装置从其他存储器中获得所述有效数据的副本,对所述目标存储实体的有效数据进行修复。
结合第五方面的第一种可能的实现方,在第五方面的第三种可能的实现方式,所述目标存储实体是目标存储地址范围内的所有存储实体:
所述校验命令携带有用于指示所述目标存储地址范围的标记信息;
所述存储控制器执行的根据所述校验命令读取所述头部中的所述特定值的程序,包括:
根据所述校验命令携带的所述标记信息识别出所述目标存储地址,并确定所述目标存储地址的首个存储地址为所述目标存储实体中首个存储实体的头部中的所述特定值的存储地址,从所述首个存储地址中读取所述首个存储实体的头部中的所述特定值;
根据所述首个存储实体的所述特定值的存储地址确定出所述首个存储实体的头部的存储地址,并在所述首个存储实体的头部的存储地址中获取所述首个存储实体的有效数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的有效数据的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值。
结合第五方面的第一种可能的实现方式,在第五方面的第四种可能的实现方式中,所述目标存储实体是所述存储器内所有存储实体:
所述校验命令携带有用于指示对所述存储器内存储的所有存储实体进行校验的标记信息;
所述存储控制器执行的根据所述校验命令读取所述头部中的所述特定值的程序,包括:
根据所述校验命令携带的所述标记信息确定所述存储器中的首个存储地址为所述目标存储实体中首个存储实体的头部中的所述特定值的存储地址,从所述首个存储地址中读取所述首个存储实体的头部中的所述特定值;
根据所述首个存储实体的所述特定值的存储地址确定出所述首个存储实体的头部的存储地址,并在所述首个存储实体的头部的存储地址中获取所述首个存储实体的有效数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的有效数据的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值。
结合第五方面的第一种可能的实现方式,在第五方面的第五种可能的实现方式中,所述校验命令携带有所述目标存储实体的标签信息;
所述存储控制器执行的根据所述校验命令读取所述头部中的所述特定值的程序包括:
当内存中存储有所述目标存储实体的标签信息以及所述目标存储实体的地址信息时,使用所述标签信息查找所述目标存储实体的地址信息,并在所述地址信息描述的存储地址中读取所述目标存储实体的头部中的所述特定值。
结合第五方面的第一种可能的实现方式或者第五方面的第五种可能的实现方,在第五方面的第六种可能的实现方式中,所述校验命令携带有所述目标存储实体的标签信息,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是键Key或者元数据;
所述存储控制器执行的根据所述校验命令读取所述头部中的所述特定值的程序包括:
当内存中没有存储所述目标存储实体的标签信息或者没有存储所述目标存储实体的地址信息时,读取所述存储器中任一所述特定值,并根据该特定值确定该特定值所属的当前存储实体的头部,在所述当前存储实体的头部中获取所述当前存储实体的描述字符的位置信息,并根据所述当前存储实体的描述字符的位置信息读取所述当前存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述当前存储实体是否为所述目标存储实体。
结合第五方面的第一种可能的实现方式或者第五方面的第五种可能的实现方式,在第五方面的第七种可能的实现方式中,所述校验命令携带有所述目标存储实体的标签信息,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是键Key或者元数据;
所述存储控制器执行的根据所述校验命令读取所述头部中的所述特定值的程序包括:
当内存中没有存储所述目标存储实体的标签信息或者没有存储所述目标存储实体的地址信息时,读取所述存储器存储的首个存储实体的所述特定值,并根据该特定值确定所述首个存储实体的头部,在所述首个存储实体的头部中获取所述首个存储实体的描述字符的位置信息,并根据所述首个存储实体的描述字符的位置信息读取所述首个存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述首个存储实体是否为所述目标存储实体;
当判断所述首个存储实体不是所述目标存储实体时,在所述首个存储实体的头部的存储地址中获取所述首个存储实体的数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的数据的位置信息、描述字符的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值,并根据所述下一个存储实体的特定值确定所述下一个存储实体的头部,在所述下一个存储实体的头部中获取所述下一个存储实体的描述字符的位置信息,并根据所述下一个存储实体的描述字符的位置信息读取所述下一个存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述下一个存储实体是否为所述目标存储实体。
结合第五方面的上述任一种可能的实现方式,在第五方面的第八种可能的实现方式中,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是Key或者元数据;
所述校验数据包括如下至少一项:
用于校验所述描述字符是否错误的第一校验值以及用于校验所述数据是否错误的第二校验值。
结合第五方面的第六种可能的实现方式或者第五方面的第七种可能的实现方式或者第五方面的第八种可能的实现方式,在第五方面的第九种可能的实现方式中,其特征在于,所述存储控制器执行的使用预设的校验规则对所述特定值进行校验的程序,包括:
判断所述特定值与预先定义的预定值是否匹配,若不匹配,则确定所述描述字符和所述数据都错误。
第六方面,本发明实施例提供一种数据校验装置,包括:处理器、网络接口、存储器和通信总线,其中,所述通信总线用于实现所述处理器、网络接口和存储器之间连接通信,所述处理器执行所述存储器中存储的程序用于实现以下方法:
生成对与存储控制器连接的存储器存储的目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;
向所述存储控制器发送所述校验命令,以使根据所述校验命令查找所述目标存储实体,并由所述存储控制器通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当值校验失败时,则确定所述有效数据错误。
在第六方面的第一种可能的实现方式中,所述头部还包括用于校验所述有效数据是否错误的特定值,其中,当所述存储控制器根据所述校验命令读取所述头部中的所述特定值,并使用预设的校验规则对所述特定值进行校验,当所述特定值校验失败时,则确定所述有效数据错误。
结合第六方面或者第六方面的第一种可能的实现方式,在第六方面的第二种可能的实现方式中,所述处理器执行的程序还包括:
接收所述存储控制器上报的所述有效数据错误的错误信息,并从其他存储器中获得所述有效数据的副本,对所述目标存储实体的有效数据进行修复。
结合第六方面或者第六方面的第一种可能的实现方式,在第六方面的第三种可能的实现方式中,其特征在于,
所述校验命令携带有用于指示目标存储地址范围的标记信息,其中,所述目标存储实体是所述目标存储地址范围内的所有存储实体;或者
所述校验命令携带有用于指示对所述存储器内存储的所有存储实体进行校验的标记信息,其中,所述目标存储实体是所述存储器内所有存储实体:或者
所述校验命令携带有所述目标存储实体的标签信息。
结合第六方面的上述任一种可能的实现方式,在第六方面的第四种可能的实现方式中,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是Key或者元数据;
所述校验数据包括如下至少一项:
用于校验所述描述字符是否错误的第一校验值以及用于校验所述数据是否错误的第二校验值。
上述技术方案中,接收对目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;根据所述校验命令查找所述目标存储实体;通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当校验失败时,则确定所述有效数据错误。这样可以实现在进行数据校验时,不需要对数据进行传输,从而提高数据校验效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据校验方法的流程示意图;
图2是本发明实施例提供的另一种数据校验方法的流程示意图;
图3是本发明实施例提供的一种存储实体的结构示意图;
图4是本发明实施例提供的一种存储实体的校验示意图;
图5是本发明实施例提供的一种数据校验装置的结构示意图;
图6是本发明实施例提供的另一种数据校验装置的结构示意图;
图7是本发明实施例提供的另一种数据校验装置的结构示意图;
图8是本发明实施例提供的另一种数据校验装置的结构示意图;
图9是本发明实施例提供的另一种数据校验装置的结构示意图;
图10是本发明实施例提供的另一种数据校验装置的结构示意图;
图11是本发明实施例提供的另一种数据校验装置的结构示意图;
图12是本发明实施例提供的另一种数据校验装置的结构示意图;
图13是本发明实施例提供的另一种数据校验装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,图1是本发明实施例提供的一种数据校验方法的流程示意图,其中,该方法应用于存储控制器中,且该存储控制器和存储器连接,如图1所示,上述方法可以包括如下步骤:
101、接收对目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息。
本实施例中,上述校验命令可以是上述存储控制器接收其他设备发送的校验命令,例如:接收修复装置发送的校验命令;或者上述校验命令可以是接收用户输入的校验命令;或者上述校验命令可以是存储控制器自动触发的校验命令等。
本实施例中,上述目标存储实体可以是存储器存储的一个或者多个存储实体。另外,存储器存储的存储实体可以理解为占用存储器的连续存储地址的存储内容,例如:键值(Key-Value,KV)实体、存储文件和存储对象。另外,上述目标存储实体存储在所述存储器连续的地址中可以理解为,目标存储实体包括的头部、有效数据和校验数据连续在存储器中。
另外,上述有效数据的位置信息可以理解为用于表示该有效数据的存储位置的位置信息,上述校验数据的位置信息也可以理解为用于表示该校验数据的存储位置的位置信息。
102、根据所述校验命令查找所述目标存储实体。
当接收到上述校验命令后,就可以查找上述目标存储实体,例如:查找目标存储实体的头部。
103、通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当校验失败时,则确定所述有效数据错误。
本实施例中,可以根据上述有效数据的位置信息和所述校验数据的位置信息确定有效数据和校验数据的存储地址,这样在对应的存储地址中就可以读取到有效数据和校验数据,从而可以使用所述校验数据对所述有效数据进行校验,当校验失败时,则确定所述有效数据错误。
其中,有效数据错误可以理解为有效数据发生错误,例如:有效数据中部分或者全部发生翻转,其中,该翻转可以是指示由原来的0翻转为1或者由原来的1翻转为0,又例如:有效数据中部分或者全部丢失,又例如:有效数据无法访问等。
由于在上述方法中目标存储实体是连续存储在存储器中,而目标存储实体中包括头部、有效数据和校验数据,这样在对有效数据进行校验时就可以直接根据头部包括的内容获取到有效数据和校验数据,以使用校验数据对有效数据进行校验。从而可以实现对有效数据进行校验时,不需要进行有效数据的传输,也不需要再从其他地方获取校验数据,从而本实施例中可以提高数据校验的效率。
本实施例中,上述存储控制器可以应用于任意智能设备中的存储控制器,例如:服务器、基站、计算机、笔记本电脑、手机、智能电视、平板电脑等智能设备。
本实施例中,接收对目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;根据所述校验命令查找所述目标存储实体;通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当校验失败时,则确定所述有效数据错误。这样可以实现在进行数据校验时,不需要对数据进行传输,从而提高数据校验效率。
请参阅图2,图2是本发明实施例提供的另一种数据校验方法的流程示意图,该方法应用于存储控制器中,且该存储控制器和存储器连接,如图2所示,包括以下步骤:
201、接收对目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息。
本实施例中,上述校验命令可以携带有上述目标存储实体的标签信息,其中,本实施例中,在存储器中每一个存储实体唯一对应的一个标签信息。这样通过该标签信息就可以识别出上述目标存储实体。
202、根据所述校验命令查找所述目标存储实体。
203、通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当校验失败时,则确定所述有效数据错误。
本实施例中,上述头部还可以包括用于校验所述有效数据是否错误的特定值,其中,该特定值可以理解为魔术数字(Magic),其长度也固定,比如为0x0102030405060708,长度为4字节。另外,上述方法还可以包括下步骤:
根据所述校验命令读取所述头部中的所述特定值,并使用预设的校验规则对所述特定值进行校验,当所述特定值校验失败时,则确定所述有效数据错误。
该实施方式中,当上述有效数据包括数据和描述字符时,上述使用预设的校验规则对所述特定值进行校验可以包括:
判断所述特定值与预先定义的预定值是否匹配,若不匹配,则确定所述描述字符和所述数据都错误。
如该实施方式中,存储器存储的所有存储实体的特定值为上述预先定义的预定值,这样当确定任意存储实体的特定值与上述预定值不匹配时,就可以确定该存储实体的有效数据错误。
当然,该实施方式中,对上述特定值的校验还可以对特定值进行特定运算,当运算结果与预设结果不一致时,则确定特定值校验失败。
另外,上述实施方式中,目标存储实体可以是目标存储地址范围内的所有存储实体:另外,上述校验命令可以携带有用于指示所述目标存储地址范围的标记信息。例如:上述目标存储地址范围可以是地址00XX到11XX的存储地址范围,那么,这里的标记信息就可以表示该范围的首个存储地址和末端存储,或者可以理解为起始地址和末尾地址;或者这里的标记信息可以表示首个存储地址和00XX至11XX的偏移信息。
另外,上述根据所述校验命令读取所述头部中的所述特定值的步骤,可以包括:
根据所述校验命令携带的所述标记信息识别出所述目标存储地址,并确定所述目标存储地址的首个存储地址为所述目标存储实体中首个存储实体的头部中的所述特定值的存储地址,从所述首个存储地址中读取所述首个存储实体的头部中的所述特定值;
根据所述首个存储实体的所述特定值的存储地址确定出所述首个存储实体的头部的存储地址,并在所述首个存储实体的头部的存储地址中获取所述首个存储实体的有效数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的有效数据的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值。
由于本实施方式中,每个存储实体的结构布局都相同,那么,当获取到首个存储实体的末端存储地址后,而特定值的长度固定,那么就可以将与该末端存储地址连续的存储地址作为下一个存储实体的头部的所述特定值的存储地址。另外,该实施方式中特定值位于头部的最前端,即头部的首个存储地址属于特定值的存储地址。
需要说明的是,上述仅介绍的首个存储实体和下一个存储实体的特定值获取方式,在该实施方式中,上述目标存储地址范围内的其他存储实体的特定值获取方式都可以参考上述首个存储实体和下一个存储实体的特定值获取方式,此处不作重复说明。
上述实施方式中,上述目标存储实体可以是所述存储器内所有存储实体:上述校验命令可以携带有用于指示对所述存储器内存储的所有存储实体进行校验的标记信息。例如:该标记信息可以是指示对存储器进行全盘校验的标记信息。上述根据所述校验命令读取所述头部中的所述特定值的步骤,可以包括:
根据所述校验命令携带的所述标记信息确定所述存储器中的首个存储地址为所述目标存储实体中首个存储实体的头部中的所述特定值的存储地址,从所述首个存储地址中读取所述首个存储实体的头部中的所述特定值;
根据所述首个存储实体的所述特定值的存储地址确定出所述首个存储实体的头部的存储地址,并在所述首个存储实体的头部的存储地址中获取所述首个存储实体的有效数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的有效数据的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值。
该实施方式中,可以实现对存储器全盘进行校验。
上述实施方式中,上述校验命令可以携带有所述目标存储实体的标签信息;例如:上述目标存储实体为单一存储实体时,该校验命令就可以携带该存储实体的标记信息;当上述目标存储实体为多个存储实体时,该校验命令可以携带这多个存储实体的标记信息。另外,上述根据所述校验命令读取所述头部中的所述特定值的步骤,可以包括:
当内存中存储有所述目标存储实体的标签信息以及所述目标存储实体的地址信息时,使用所述标签信息查找所述目标存储实体的地址信息,并在所述地址信息描述的存储地址中读取所述目标存储实体的头部中的所述特定值。
该实施方式中,可以实现当内存中存储有所述目标存储实体的标签信息以及所述目标存储实体的地址信息时直接使用内存信息读取目标存储实体的特定值。
上述实施方式中,上述校验命令可以携带有所述目标存储实体的标签信息,上述有效数据可以包括数据和描述所述数据的描述字符,其中,所述描述字符是键(Key)或者元数据;例如:上述描述字符为键时,那么,上述目标存储实体就可以为KV数据,而有效数据包括的数据就可以为值(Value)。另外,上述根据所述校验命令读取所述头部中的所述特定值的步骤可以包括:
当内存中没有存储所述目标存储实体的标签信息或者没有存储所述目标存储实体的地址信息时,读取所述存储器中任一所述特定值,并根据该特定值确定该特定值所属的当前存储实体的头部,在所述当前存储实体的头部中获取所述当前存储实体的描述字符的位置信息,并根据所述当前存储实体的描述字符的位置信息读取所述当前存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述当前存储实体是否为所述目标存储实体。
该实施方式中,可以以读取任意存储实体的特定值的方式获取该存储实体的描述字符,例如:随机获取。再将该描述字符与上述标签信息进行比较,当比较结果表示描述字符与上述标签信息一致时,则可以判断所述当前存储实体为所述目标存储实体。
另外,该实施方式中,上述根据所述校验命令读取所述头部中的所述特定值的步骤,可以包括:
当内存中没有存储所述目标存储实体的标签信息或者没有存储所述目标存储实体的地址信息时,读取所述存储器存储的首个存储实体的所述特定值,并根据该特定值确定所述首个存储实体的头部,在所述首个存储实体的头部中获取所述首个存储实体的描述字符的位置信息,并根据所述首个存储实体的描述字符的位置信息读取所述首个存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述首个存储实体是否为所述目标存储实体;
当判断所述首个存储实体不是所述目标存储实体时,在所述首个存储实体的头部的存储地址中获取所述首个存储实体的数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的数据的位置信息、描述字符的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值,并根据所述下一个存储实体的特定值确定所述下一个存储实体的头部,在所述下一个存储实体的头部中获取所述下一个存储实体的描述字符的位置信息,并根据所述下一个存储实体的描述字符的位置信息读取所述下一个存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述下一个存储实体是否为所述目标存储实体。
该实施方式中,可以实现按照特定顺序查找目标存储实体。
在上述各实施方式中,上述有效数据包括数据和描述所述数据的描述字符,而该描述字符可以是Key或者元数据;另外,上述校验数据可以包括如下至少一项:
用于校验所述描述字符是否错误的第一校验值以及用于校验所述数据是否错误的第二校验值。
该实施方式中,可以通过上述第一校验值和第二校验值实现对描述字符和数据的校验。例如:上述使用所述校验数据对所述有效数据进行校验可以包括:
对所述描述字符执行预设校验运算,以获取第一运算值上述使用所述校验数据对所述有效数据进行校验,并判断所述第一运算值与所述第一校验值是否一致,若不一致,则确定所述描述字符错误。
其中,上述预设校验运算可以是异或运算,即上述第一校验值可以对上述目标存储实体的原始描述字符进行异或运算得获取的值。
该实施方式中,当所述校验数据还包括所述第二校验值时,上述使用所述校验数据对所述有效数据进行校验进一步还可以包括:
对所述数据执行所述预设校验运算,以获取第二运算值,并判断所述第二运算值与所述第二校验值是否一致,若不一致,则确定所述数据错误。
通过该实施方式可以实现校验目标存储实体的数据或者描述字符是否错误,或者可以校验数据和描述字符是否都错误的情况,以提高校验的精度。
该实施方式中,当上述头部还包括上述特定值时,当使用预设的校验规则对所述特定值进行校验,当所述特定值校验失败时,则可以确定所述描述字符和所述数据都错误。
该实施方式中因为当特定值校验失败时,则可以理解为无法识别出目标存储实体的特定值,而在上述目标存储实体中描述字符和数据是基于特定值识别出的,这样就无法识别出数据结构中描述字符和数据,即可以确定所述描述字符和所述数据都错误。或者可以是预先设定一种校验规则,该校验规则可以是当特定值校验失败时,就可以默认所述描述字符和所述数据都错误。
在上述各种实施方式中,上述有效数据的位置信息可以包括有效数据的偏移信息和长度,而上述校验数据的位置信息可以包括校验数据的长度,当然,上述校验数据的位置信息或者有效数据的位置信息中还可以包括有效数据和校验数据之间的位置关系,这样就可以通过有效数据的偏移信息和有效数据的长度和校验数据的长度,以及这两者之间的位置关系,就可以计算出有效数据和校验数据的存储地址。或者,上述有效数据的位置信息还可以包括有效数据的长度,而上述校验数据的位置信息可以包括校验数据的偏移信息和长度,这样同样可以获取到有效数据和校验数据的存储地址;或者上述有效数据的位置信息可以包括有效数据的偏移信息和长度,校验数据的位置信息可以包括校验数据的偏移信息和长度。
本实施例中,上述方法还可以包括如下步骤:
203、当所述有效数据错误时,向修复装置上报错误信息,由所述修复装置从其他存储器中获得所述有效数据的副本,对所述目标存储实体的有效数据进行修复。
该实施方式中,可以实现当有效数据错误时,可以向修复装置上报错误信息,由修复装置从其他存储器中获得所述有效数据的副本,对所述目标存储实体的有效数据进行修复。
另外,上述修复装置上可以安装有上层应用系统,在进行数据修复时可以是修复装置安装的上层应用系统进行修复,其中,上层应用系统可以修复装置上安装的可以进行数据修复的应用程序,例如:文件系统或者云应用等。
在该实施方式中,步骤201接收的校验命令可以是由该修复装置下发的。
该实施方式中,上述方法还可以包括如下步骤:
在对所述目的存储实体进行校验时,向所述修复装置上报当前校验结果、当前校验进度和预期校验结束时间中的至少一种。
该实施方式可以实现及时向修复装置上报当前校验的校验结果、当前校验进度和预期校验结束时间中的至少一种。
下面以KV实体进行举例说明,例如:如图3所示,上述目标存储实体可以包括特定值、键、第一校验值、值和第二校验值,其中,该特定值可以用Magic(魔术数字)表示,其定义可以是用于识别上述值和键,即通过识别出该Magic就可以识别出后面的键和值。例如:Magic为某个指定数字,其长度也固定,比如为0x0102030405060708,长度为3字节,这样在校验时只要发现匹配该数字的就是Magic,那么就可以在偏移4字节就是键内容。上述键可以用Key-meta表示,其用于管理键的名称和长度,以及还可以用于管理值的位置和长度,即通过该Key-meta可以确认键的名称和长度,以及确定值的位置和长度。上述第一校验值可以用chksum表示,上述值可以用value表示,上述第二校验值可以用chksum1表示。
另外,在KV实体的头部可以包括如下信息:
该实例中,健的包信息中包括了值的偏移信息,以及健、值、校验数据的长度,且头部中还包括了键和值的位置关系,从而可以根据该头部包括的信息计算出键、值和校验数据的位置信息。
另外,上述struct kv_layout还可以包括如下信息:
u32offset;//魔术数字的偏移(8比特无符号型,4字节)
即包括魔术数字的偏移信息,这样可以实现根据该偏移信息计算出键、值和校验数据的位置信息。
需要说明的是,当上述目标存储实体包括多个KV实体时,可以如图4所示进行有效数据的校验:
401、判断Magic(魔术数字)是否匹配,当匹配时,执行步骤402,当不匹配时,执行步骤403。
其中,Magic是否匹配可以是将该Magic与预定值是否匹配。另外,本实施例中,每个存储实体的Magic可以是相同的,或者在实施例中,某一个存储区间的存储实体的Magic可以是相同的。
402、校验键(Key-meta)是否一致,若是,则执行步骤406,若否,则执行步骤407。
其中,校验键(Key-meta)是否一致可以是判断键(Key-meta)进行异或运算的值与第一校验值是否一致。
403、记录Magic错误,并扫描下一个Magic。
404、判断是否到时指定边界。
其中,该指定边界是校验命令所指示的存储地址的边界。
405、梳理错误记录,准备上报校验结果。
其中,上报校验结果可以是等所有需要校验的存储实体都校验完后,再统一上报,或者可以是校验完一定数量的数据结构后,将当前校验结果进行上报。
406、校验值(Value)是否一致,若执行步骤408,若不一致,则执行步骤409。
407、记录键(Key-meta)错误,并扫描下一个Magic。
408、确定当前KV实体校验通过。
409、记录校验值(Value)错误,并扫描下一个Magic。
410、扫描下一个Magic。
该实施方式介绍一个依次对多个KV实体进行扫描校验的实施方式。
本实施例中,在图1所示的实施例的基础上增加了多种可选的实施方式,且都可以实现提高数据校验效率。
请参阅图5,图5是本发明实施例提供的另一种数据校验方法的流程示意图,如图5所示,包括以下步骤:
501、生成对与存储控制器连接的存储器存储的目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息。
其中,上述校验命令和目标存储实体可以参考图1和图2所示的实施例中的描述,此处不作重复说明。
502、向所述存储控制器发送所述校验命令,以使根据所述校验命令查找所述目标存储实体,并由所述存储控制器通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当值校验失败时,则确定所述有效数据错误。
需要说明的是,本实施例中是以修复装置为执行主体进行撰写的,其修复装置可以是图2所示的实施例中的修复装置。
本实施例中,生成对与存储控制器连接的存储器存储的目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;向所述存储控制器发送所述校验命令,以使根据所述校验命令查找所述目标存储实体,并由所述存储控制器通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当值校验失败时,则确定所述有效数据错误。这样可以实现提高数据校验效率。
请参阅图6,图6是本发明实施例提供的另一种数据校验方法的流程示意图,如图6所示,包括以下步骤:
601、生成对与存储控制器连接的存储器存储的目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息。
本实施例中,上述头部还包括用于校验所述有效数据是否错误的特定值,其中,当所述存储控制器根据所述校验命令读取所述头部中的所述特定值,并使用预设的校验规则对所述特定值进行校验,当所述特定值校验失败时,则确定所述有效数据错误。
这样可以实现特定值校验有效数据是否错误。
602、向所述存储控制器发送所述校验命令,以使根据所述校验命令查找所述目标存储实体,并由所述存储控制器通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当值校验失败时,则确定所述有效数据错误。
本实施例中,上述方法还可以包括如下步骤:
603、接收所述存储控制器上报的所述有效数据错误的错误信息,并从其他存储器中获得所述有效数据的副本,对所述目标存储实体的有效数据进行修复。
通过该步骤就可以实现对目标存储实体的有效数据进行修复,且在修复过程由于不需要进行数据的传输,这样可以提高数据修复的效率。
本实施例中,上述校验命令可以携带有用于指示目标存储地址范围的标记信息,其中,所述目标存储实体是所述目标存储地址范围内的所有存储实体。
这样该校验命令就可以使用存储控制器根据该标记信息实现对目标存储实体的校验,其获取数据和校验的过程可以参考图2所示的实施例。
本实施例中,上述校验命令可以携带有用于指示对所述存储器内存储的所有存储实体进行校验的标记信息,其中,所述目标存储实体是所述存储器内所有存储实体。
这样该校验命令就可以使用存储控制器根据该标记信息实现对所述存储器内所有存储实体的校验,其获取数据和校验的过程可以参考图2所示的实施例。
本实施例中,上述校验命令可以携带有所述目标存储实体的标签信息。
这样该校验命令就可以使用存储控制器根据该标记信息实现对所述目标存储实体的校验,其获取数据和校验的过程可以参考图2所示的实施例。
本实施例中,上述有效数据可以包括数据和描述所述数据的描述字符,其中,所述描述字符是Key或者元数据;
所述校验数据可以包括如下至少一项:
用于校验所述描述字符是否错误的第一校验值以及用于校验所述数据是否错误的第二校验值。
这样可以实现分别对数据和描述字符进行校验,且当数据或者描述字符发生错误时,可以只对其错误的数据或者描述字符进行校验,以提高校验的精度和效率。
另外,本实施例中,修复装置还可以根据存储控制器上报的错误信息,判断目标存储实体当前的错误类型,例如:上述错误信息表示目标存储实体的描述信息和/或者数据的发生翻转时,可以确定当前错误为静默数据损坏,这样修复装置可以在副本中遍历相应的描述信息和数据进行比较修复。当上述错误信息表示目标存储实体不能进行访问时,例如:存储控制器对目标存储实体进行校验时,无法访问到目标存储实体内的数据,即校验结果就可以表示无法进行访问或者丢失,该情况就可以确认是LBA故障或者硬盘磁头故障或者SSD颗粒故障,从而可以通过副本中存储的副本数据与当前能够进行访问或者理解为没有被丢失的存储实体进行比较,以确认无法进行访问或者丢失的存储实体,并从副本中获取对应的副本数据修复磁盘装置中无法行访问或者丢失的存储实体。
需要说明的是,本实施例中是以修复装置为执行主体进行撰写的,其修复装置可以是图2所示的实施例中的修复装置,其实施方式都可以参考图2介绍的实施方式。
本实施例中,在图5所示的实施例的基础上增加了多种可选的实施方式,且都可以实现提高数据校验效率。
请参阅图7,图7是本发明实施例提供的一种数据校验装置的结构示意图,应用于存储控制器中,所述存储控制器和存储器连接,如图7所示,包括:接收单元71、查找单元72和校验单元73,其中:
接收单元71,用于接收对目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息。
本实施例中,上述校验命令可以是上述存储控制器接收其他设备发送的校验命令,例如:接收修复装置发送的校验命令;或者上述校验命令可以是接收用户输入的校验命令;或者上述校验命令可以是存储控制器自动触发的校验命令等。
本实施例中,上述目标存储实体可以是存储器存储的一个或者多个存储实体。另外,存储器存储的存储实体可以理解为占用存储器的连续存储地址的存储内容,例如:KV实体、存储文件和存储对象。另外,上述目标存储实体存储在所述存储器连续的地址中可以理解为,目标存储实体包括的头部、有效数据和校验数据连续在存储器中。
另外,上述有效数据的位置信息可以理解为用于表示该有效数据的存储位置的位置信息,上述校验数据的位置信息也可以理解为用于表示该校验数据的存储位置的位置信息。
查找单元72,用于根据所述校验命令查找所述目标存储实体;
当接收到上述校验命令后,就可以查找上述目标存储实体,例如:查找目标存储实体的头部。
校验单元73,用于通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当校验失败时,则确定所述有效数据错误。
本实施例中,可以根据上述有效数据的位置信息和所述校验数据的位置信息确定有效数据和校验数据的存储地址,这样在对应的存储地址中就可以读取到有效数据和校验数据,从而可以使用所述校验数据对所述有效数据进行校验,当校验失败时,则确定所述有效数据错误。
本实施例中,上述装置可以应用于任意智能设备中,例如:服务器、基站、计算机、笔记本电脑、手机、智能电视、平板电脑等智能设备。
本实施例中,接收对目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;根据所述校验命令查找所述目标存储实体;通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当校验失败时,则确定所述有效数据错误。这样可以实现在进行数据校验时,不需要对数据进行传输,从而提高数据校验效率。
请参阅图8,图8是本发明实施例提供的另一种数据校验装置的结构示意图,应用于存储控制器中,所述存储控制器和存储器连接,如图8所示,包括:接收单元81、查找单元82和校验单元83,其中:
接收单元81,用于接收对目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息。
查找单元82,用于根据所述校验命令查找所述目标存储实体。
校验单元83,用于通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当校验失败时,则确定所述有效数据错误。
本实施例中,上述头部还可以包括用于校验所述有效数据是否错误的特定值;所述装置还包括:
读取单元84,用于根据所述校验命令读取所述头部中的所述特定值;
所述校验单元83还可以用于使用预设的校验规则对所述特定值进行校验,当所述特定值校验失败时,则确定所述有效数据错误。
其中,该实施方式中,当上述有效数据包括数据和描述字符时,校验单元83可以用于判断所述特定值与预先定义的预定值是否匹配,若不匹配,则确定所述描述字符和所述数据都错误。
该实施方式中,可以实现当特定值校验错误时,就可以直接确定描述字符和数据都错误。
该实施方式中,上述目标存储实体是目标存储地址范围内的所有存储实体:所述校验命令可以携带有用于指示所述目标存储地址范围的标记信息;
所述读取单元84可以用于根据所述校验命令携带的所述标记信息识别出所述目标存储地址,并确定所述目标存储地址的首个存储地址为所述目标存储实体中首个存储实体的头部中的所述特定值的存储地址,从所述首个存储地址中读取所述首个存储实体的头部中的所述特定值;以及根据所述首个存储实体的所述特定值的存储地址确定出所述首个存储实体的头部的存储地址,并在所述首个存储实体的头部的存储地址中获取所述首个存储实体的有效数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的有效数据的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值。
这样可以实现对一定存储地址范围内的存储实体进行校验。
该实施方式中,上述目标存储实体可以是所述存储器内所有存储实体:另外,上述校验命令可以携带有用于指示对所述存储器内存储的所有存储实体进行校验的标记信息;
所述读取单元84可以用于根据所述校验命令携带的所述标记信息确定所述存储器中的首个存储地址为所述目标存储实体中首个存储实体的头部中的所述特定值的存储地址,从所述首个存储地址中读取所述首个存储实体的头部中的所述特定值;以及用于根据所述首个存储实体的所述特定值的存储地址确定出所述首个存储实体的头部的存储地址,并在所述首个存储实体的头部的存储地址中获取所述首个存储实体的有效数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的有效数据的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值。
这样可以实现对存储器内所有存储实体进行校验。
本实施例中,上述校验命令可以携带有所述目标存储实体的标签信息;读取单元84用于当内存中存储有所述目标存储实体的标签信息以及所述目标存储实体的地址信息时,使用所述标签信息查找所述目标存储实体的地址信息,并在所述地址信息描述的存储地址中读取所述目标存储实体的头部中的所述特定值。
这样可以实现直接使用内存中的信息读取到目标存储实体的特定值。
该实施方式中,上述校验命令可以携带有所述目标存储实体的标签信息,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是键Key或者元数据;
读取单元84用于当内存中没有存储所述目标存储实体的标签信息或者没有存储所述目标存储实体的地址信息时,读取所述存储器中任一所述特定值,并根据该特定值确定该特定值所属的当前存储实体的头部,在所述当前存储实体的头部中获取所述当前存储实体的描述字符的位置信息,并根据所述当前存储实体的描述字符的位置信息读取所述当前存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述当前存储实体是否为所述目标存储实体。
这样可以实现随机获取一存储实体与目标存储实体进行比较,当比较为目标存储实体时就可以直接获取该存储实体的特定值。
该实施方式中,上述校验命令可以携带有所述目标存储实体的标签信息,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是键Key或者元数据;
所述读取单元84可以用于当内存中没有存储所述目标存储实体的标签信息或者没有存储所述目标存储实体的地址信息时,读取所述存储器存储的首个存储实体的所述特定值,并根据该特定值确定所述首个存储实体的头部,在所述首个存储实体的头部中获取所述首个存储实体的描述字符的位置信息,并根据所述首个存储实体的描述字符的位置信息读取所述首个存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述首个存储实体是否为所述目标存储实体;以及用于当判断所述首个存储实体不是所述目标存储实体时,在所述首个存储实体的头部的存储地址中获取所述首个存储实体的数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的数据的位置信息、描述字符的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值,并根据所述下一个存储实体的特定值确定所述下一个存储实体的头部,在所述下一个存储实体的头部中获取所述下一个存储实体的描述字符的位置信息,并根据所述下一个存储实体的描述字符的位置信息读取所述下一个存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述下一个存储实体是否为所述目标存储实体。
这样可以实现按照特定顺序查找目标存储实体,以及获取目标存储实体的特定值。
本实施例中,上述有效数据可以包括数据和描述所述数据的描述字符,其中,所述描述字符是Key或者元数据;另外,上述校验数据可以包括如下至少一项:
用于校验所述描述字符是否错误的第一校验值以及用于校验所述数据是否错误的第二校验值。
该实施方式中,可以通过上述第一校验值和第二校验值实现对描述字符和数据的校验。校验单元83可以用于对所述描述字符执行预设校验运算,以获取第一运算值上述使用所述校验数据对所述有效数据进行校验,并判断所述第一运算值与所述第一校验值是否一致,若不一致,则确定所述描述字符错误。
其中,上述预设校验运算可以是异或运算,即上述第一校验值可以对上述目标存储实体的原始描述字符进行异或运算得获取的值。
该实施方式中,校验单元83可以用于对所述数据执行所述预设校验运算,以获取第二运算值,并判断所述第二运算值与所述第二校验值是否一致,若不一致,则确定所述数据错误。
通过该实施方式可以实现校验目标存储实体的数据或者描述字符是否错误,或者可以校验数据和描述字符是否都错误的情况,以提高校验的精度。
本实施例中,如图9所示,所述装置还可以包括:
上报单元85,用于当所述校验单元83校验所述有效数据错误时,向修复装置上报错误信息,由所述修复装置从其他存储器中获得所述有效数据的副本,对所述目标存储实体的有效数据进行修复。
该实施方式中,可以实现当有效数据错误时,可以向修复装置上报错误信息,由修复装置从其他存储器中获得所述有效数据的副本,对所述目标存储实体的有效数据进行修复。
本实施例中,在图7所示的实施例的基础上增加了多种可选的实施方式,且都可以实现提高数据校验效率。
请参阅图10,图10是本发明实施例提供的另一种数据校验装置的结构示意图,如图10所示,包括:生成单元101和发送单元102,其中:
生成单元101,用于生成对与存储控制器连接的存储器存储的目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息。
其中,上述校验命令和目标存储实体可以参考图1和图2所示的实施例中的描述,此处不作重复说明。
发送单元102,用于向所述存储控制器发送所述生成单元生成所述校验命令,以使根据所述校验命令查找所述目标存储实体,并由所述存储控制器通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当值校验失败时,则确定所述有效数据错误。
本实施例中,上述头部还可以包括用于校验所述有效数据是否错误的特定值,其中,当所述存储控制器根据所述校验命令读取所述头部中的所述特定值,并使用预设的校验规则对所述特定值进行校验,当所述特定值校验失败时,则确定所述有效数据错误。
这样可以实现特定值校验有效数据是否错误。
如图11所示,上述装置还可以包括:
修复单元103,用于接收所述存储控制器上报的所述有效数据错误的错误信息,并从其他存储器中获得所述有效数据的副本,对所述目标存储实体的有效数据进行修复。
通过该步骤就可以实现对目标存储实体的有效数据进行修复,且在修复过程由于不需要进行数据的传输,这样可以提高数据修复的效率。
本实施例中,上述校验命令可以携带有用于指示目标存储地址范围的标记信息,其中,所述目标存储实体是所述目标存储地址范围内的所有存储实体。
这样该校验命令就可以使用存储控制器根据该标记信息实现对目标存储实体的校验,其获取数据和校验的过程可以参考图2所示的实施例。
本实施例中,上述校验命令可以携带有用于指示对所述存储器内存储的所有存储实体进行校验的标记信息,其中,所述目标存储实体是所述存储器内所有存储实体。
这样该校验命令就可以使用存储控制器根据该标记信息实现对所述存储器内所有存储实体的校验,其获取数据和校验的过程可以参考图2所示的实施例。
本实施例中,上述校验命令可以携带有所述目标存储实体的标签信息。
这样该校验命令就可以使用存储控制器根据该标记信息实现对所述目标存储实体的校验,其获取数据和校验的过程可以参考图2所示的实施例。
本实施例中,上述有效数据可以包括数据和描述所述数据的描述字符,其中,所述描述字符是Key或者元数据;
所述校验数据可以包括如下至少一项:
用于校验所述描述字符是否错误的第一校验值以及用于校验所述数据是否错误的第二校验值。
这样可以实现分别对数据和描述字符进行校验,且当数据或者描述字符发生错误时,可以只对其错误的数据或者描述字符进行校验,以提高校验的精度和效率。
需要说明的是,本实施例的装置可以应用于图2所示的修复装置,本实施例的装置的实施方式都可以参考图2所示的实施例中描述的实施方式。
本实施例中,生成对与存储控制器连接的存储器存储的目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;向所述存储控制器发送所述校验命令,以使根据所述校验命令查找所述目标存储实体,并由所述存储控制器通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当值校验失败时,则确定所述有效数据错误。这样可以实现提高数据校验效率。
请参阅图12,图12是本发明实施例提供的另一种数据校验装置的结构示意图,如图12所示,包括:存储控制器121、网络接口122、存储器123和通信总线124,其中,所述通信总线124用于实现所述存储控制器121、网络接口122和存储器123之间连接通信,所述存储控制器执行所述存储器中存储的程序用于实现以下方法:
接收对目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;
根据所述校验命令查找所述目标存储实体;
通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当校验失败时,则确定所述有效数据错误。
本实施例中,上述头部还可以包括用于校验所述有效数据是否错误的特定值,在读取所述有效数据和所述校验数据之前,所述存储控制器执行的程序还包括:
根据所述校验命令读取所述头部中的所述特定值,并使用预设的校验规则对所述特定值进行校验,当所述特定值校验失败时,则确定所述有效数据错误。
本实施例中,上述存储控制器121执行的程序还可以包括:
当所述有效数据错误时,向修复装置上报错误信息,由所述修复装置从其他存储器中获得所述有效数据的副本,对所述目标存储实体的有效数据进行修复。
本实施例中,上述目标存储实体可以是目标存储地址范围内的所有存储实体:
所述校验命令携带有用于指示所述目标存储地址范围的标记信息;
存储控制器121执行的根据所述校验命令读取所述头部中的所述特定值的程序,可以包括:
根据所述校验命令携带的所述标记信息识别出所述目标存储地址,并确定所述目标存储地址的首个存储地址为所述目标存储实体中首个存储实体的头部中的所述特定值的存储地址,从所述首个存储地址中读取所述首个存储实体的头部中的所述特定值;
根据所述首个存储实体的所述特定值的存储地址确定出所述首个存储实体的头部的存储地址,并在所述首个存储实体的头部的存储地址中获取所述首个存储实体的有效数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的有效数据的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值。
本实施例中,上述目标存储实体可以是所述存储器内所有存储实体:所述校验命令可以携带有用于指示对所述存储器内存储的所有存储实体进行校验的标记信息;
存储控制器121执行的根据所述校验命令读取所述头部中的所述特定值的程序,可以包括:
根据所述校验命令携带的所述标记信息确定所述存储器中的首个存储地址为所述目标存储实体中首个存储实体的头部中的所述特定值的存储地址,从所述首个存储地址中读取所述首个存储实体的头部中的所述特定值;
根据所述首个存储实体的所述特定值的存储地址确定出所述首个存储实体的头部的存储地址,并在所述首个存储实体的头部的存储地址中获取所述首个存储实体的有效数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的有效数据的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值。
本实施例中,上述校验命令可以携带有所述目标存储实体的标签信息;
存储控制器121执行的根据所述校验命令读取所述头部中的所述特定值的程序,可以包括:
当内存中存储有所述目标存储实体的标签信息以及所述目标存储实体的地址信息时,使用所述标签信息查找所述目标存储实体的地址信息,并在所述地址信息描述的存储地址中读取所述目标存储实体的头部中的所述特定值。
本实施例中,上述校验命令可以携带有所述目标存储实体的标签信息,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是键Key或者元数据;
存储控制器121执行的根据所述校验命令读取所述头部中的所述特定值的程序,可以包括:
当内存中没有存储所述目标存储实体的标签信息或者没有存储所述目标存储实体的地址信息时,读取所述存储器中任一所述特定值,并根据该特定值确定该特定值所属的当前存储实体的头部,在所述当前存储实体的头部中获取所述当前存储实体的描述字符的位置信息,并根据所述当前存储实体的描述字符的位置信息读取所述当前存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述当前存储实体是否为所述目标存储实体。
本实施例中,上述校验命令可以携带有所述目标存储实体的标签信息,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是键Key或者元数据;
存储控制器121执行的根据所述校验命令读取所述头部中的所述特定值的程序,可以包括:
当内存中没有存储所述目标存储实体的标签信息或者没有存储所述目标存储实体的地址信息时,读取所述存储器存储的首个存储实体的所述特定值,并根据该特定值确定所述首个存储实体的头部,在所述首个存储实体的头部中获取所述首个存储实体的描述字符的位置信息,并根据所述首个存储实体的描述字符的位置信息读取所述首个存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述首个存储实体是否为所述目标存储实体;
当判断所述首个存储实体不是所述目标存储实体时,在所述首个存储实体的头部的存储地址中获取所述首个存储实体的数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的数据的位置信息、描述字符的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值,并根据所述下一个存储实体的特定值确定所述下一个存储实体的头部,在所述下一个存储实体的头部中获取所述下一个存储实体的描述字符的位置信息,并根据所述下一个存储实体的描述字符的位置信息读取所述下一个存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述下一个存储实体是否为所述目标存储实体。
本实施例中,上述有效数据可以包括数据和描述所述数据的描述字符,其中,所述描述字符是Key或者元数据;
所述校验数据可以包括如下至少一项:
用于校验所述描述字符是否错误的第一校验值以及用于校验所述数据是否错误的第二校验值。
本实施例中,存储控制器121执行的使用预设的校验规则对所述特定值进行校验的程序,可以包括:
判断所述特定值与预先定义的预定值是否匹配,若不匹配,则确定所述描述字符和所述数据都错误。
本实施例中,上述装置包括的存储控制器可以是图1和图2所示的实施例中介绍的存储控制器,其实施方式都可以参考图1和图2所示的实施例中介绍的实施方式。
本实施例中,接收对目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;根据所述校验命令查找所述目标存储实体;通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当校验失败时,则确定所述有效数据错误。这样可以实现在进行数据校验时,不需要对数据进行传输,从而提高数据校验效率。
请参阅图13,图13是本发明实施例提供的另一种数据校验装置的结构示意图,如图13所示,包括:处理器131、网络接口132、存储器133和通信总线134,其中,所述通信总线134用于实现所述处理器131、网络接口132和存储器133之间连接通信,所述处理器131执行所述存储器中存储的程序用于实现以下方法:
生成对与存储控制器连接的存储器存储的目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;
向所述存储控制器发送所述校验命令,以使根据所述校验命令查找所述目标存储实体,并由所述存储控制器通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当值校验失败时,则确定所述有效数据错误。
本实施例中,上述头部还可以包括用于校验所述有效数据是否错误的特定值,其中,当所述存储控制器根据所述校验命令读取所述头部中的所述特定值,并使用预设的校验规则对所述特定值进行校验,当所述特定值校验失败时,则确定所述有效数据错误。
本实施例中,上述处理器131执行的程序还可以包括:
接收所述存储控制器上报的所述有效数据错误的错误信息,并从其他存储器中获得所述有效数据的副本,对所述目标存储实体的有效数据进行修复。
本实施例中,上述校验命令可以携带有用于指示目标存储地址范围的标记信息,其中,所述目标存储实体是所述目标存储地址范围内的所有存储实体。
本实施例中,上述校验命令可以携带有用于指示对所述存储器内存储的所有存储实体进行校验的标记信息,其中,所述目标存储实体是所述存储器内所有存储实体。
本实施例中,上述校验命令可以携带有所述目标存储实体的标签信息。
本实施例中,上述有效数据可以包括数据和描述所述数据的描述字符,其中,所述描述字符是Key或者元数据;
所述校验数据包括如下至少一项:
用于校验所述描述字符是否错误的第一校验值以及用于校验所述数据是否错误的第二校验值。
需要说明的是,本实施例中的装置可以是如图2所示的实施例中介绍的修复装置,其实施方式都可以参考图2所示的实施例中介绍的实施方式。
本实施例中,生成对与存储控制器连接的存储器存储的目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;向所述存储控制器发送所述校验命令,以使根据所述校验命令查找所述目标存储实体,并由所述存储控制器通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当值校验失败时,则确定所述有效数据错误。这样可以实现提高数据校验效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存取存储器(Random AccessMemory,简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (39)
1.一种数据校验方法,应用于存储控制器中,所述存储控制器和存储器连接,其特征在于,包括:
接收对目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是Key或者元数据;所述校验数据包括至少一项:用于校验所述描述字符是否错误的第一校验值以及用于校验所述数据是否错误的第二校验值;
根据所述校验命令查找所述目标存储实体;
通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当校验失败时,则确定所述有效数据错误。
2.如权利要求1所述的方法,其特征在于,所述头部还包括用于校验所述有效数据是否错误的特定值,在读取所述有效数据和所述校验数据之前,所述方法还包括:
根据所述校验命令读取所述头部中的所述特定值,并使用预设的校验规则对所述特定值进行校验,当所述特定值校验失败时,则确定所述有效数据错误。
3.如权利要求1或2所述的方法,其特征在于,所述方法还包括:
当所述有效数据错误时,向修复装置上报错误信息,由所述修复装置从其他存储器中获得所述有效数据的副本,对所述目标存储实体的有效数据进行修复。
4.如权利要求2所述的方法,其特征在于,所述目标存储实体是目标存储地址范围内的所有存储实体:
所述校验命令携带有用于指示所述目标存储地址范围的标记信息;
所述根据所述校验命令读取所述头部中的所述特定值,包括:
根据所述校验命令携带的所述标记信息识别出所述目标存储地址,并确定所述目标存储地址的首个存储地址为所述目标存储实体中首个存储实体的头部中的所述特定值的存储地址,从所述首个存储地址中读取所述首个存储实体的头部中的所述特定值;
根据所述首个存储实体的所述特定值的存储地址确定出所述首个存储实体的头部的存储地址,并在所述首个存储实体的头部的存储地址中获取所述首个存储实体的有效数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的有效数据的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值。
5.如权利要求2所述的方法,其特征在于,所述目标存储实体是所述存储器内所有存储实体:
所述校验命令携带有用于指示对所述存储器内存储的所有存储实体进行校验的标记信息;
所述根据所述校验命令读取所述头部中的所述特定值,包括:
根据所述校验命令携带的所述标记信息确定所述存储器中的首个存储地址为所述目标存储实体中首个存储实体的头部中的所述特定值的存储地址,从所述首个存储地址中读取所述首个存储实体的头部中的所述特定值;
根据所述首个存储实体的所述特定值的存储地址确定出所述首个存储实体的头部的存储地址,并在所述首个存储实体的头部的存储地址中获取所述首个存储实体的有效数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的有效数据的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值。
6.如权利要求2所述的方法,其特征在于,所述校验命令携带有所述目标存储实体的标签信息;
所述根据所述校验命令读取所述头部中的所述特定值包括:
当内存中存储有所述目标存储实体的标签信息以及所述目标存储实体的地址信息时,使用所述标签信息查找所述目标存储实体的地址信息,并在所述地址信息描述的存储地址中读取所述目标存储实体的头部中的所述特定值。
7.如权利要求2所述的方法,其特征在于,所述校验命令携带有所述目标存储实体的标签信息,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是键Key或者元数据;
所述根据所述校验命令读取所述头部中的所述特定值包括:
当内存中没有存储所述目标存储实体的标签信息或者没有存储所述目标存储实体的地址信息时,读取所述存储器中任一所述特定值,并根据该特定值确定该特定值所属的当前存储实体的头部,在所述当前存储实体的头部中获取所述当前存储实体的描述字符的位置信息,并根据所述当前存储实体的描述字符的位置信息读取所述当前存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述当前存储实体是否为所述目标存储实体。
8.如权利要求2所述的方法,其特征在于,所述校验命令携带有所述目标存储实体的标签信息,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是键Key或者元数据;
所述根据所述校验命令读取所述头部中的所述特定值包括:
当内存中没有存储所述目标存储实体的标签信息或者没有存储所述目标存储实体的地址信息时,读取所述存储器存储的首个存储实体的所述特定值,并根据该特定值确定所述首个存储实体的头部,在所述首个存储实体的头部中获取所述首个存储实体的描述字符的位置信息,并根据所述首个存储实体的描述字符的位置信息读取所述首个存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述首个存储实体是否为所述目标存储实体;
当判断所述首个存储实体不是所述目标存储实体时,在所述首个存储实体的头部的存储地址中获取所述首个存储实体的数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的数据的位置信息、描述字符的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值,并根据所述下一个存储实体的特定值确定所述下一个存储实体的头部,在所述下一个存储实体的头部中获取所述下一个存储实体的描述字符的位置信息,并根据所述下一个存储实体的描述字符的位置信息读取所述下一个存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述下一个存储实体是否为所述目标存储实体。
9.如权利要求7或8所述的方法,其特征在于,所述使用预设的校验规则对所述特定值进行校验,包括:
判断所述特定值与预先定义的预定值是否匹配,若不匹配,则确定所述描述字符和所述数据都错误。
10.一种数据校验方法,其特征在于,包括:
生成对与存储控制器连接的存储器存储的目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是Key或者元数据;所述校验数据包括至少一项:用于校验所述描述字符是否错误的第一校验值以及用于校验所述数据是否错误的第二校验值;
向所述存储控制器发送所述校验命令,以使根据所述校验命令查找所述目标存储实体,并由所述存储控制器通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当值校验失败时,则确定所述有效数据错误。
11.如权利要求10所述的方法,其特征在于,所述头部还包括用于校验所述有效数据是否错误的特定值,其中,当所述存储控制器根据所述校验命令读取所述头部中的所述特定值,并使用预设的校验规则对所述特定值进行校验,当所述特定值校验失败时,则确定所述有效数据错误。
12.如权利要求10或11所述的方法,其特征在于,所述方法还包括:
接收所述存储控制器上报的所述有效数据错误的错误信息,并从其他存储器中获得所述有效数据的副本,对所述目标存储实体的有效数据进行修复。
13.如权利要求10或11所述的方法,其特征在于,
所述校验命令携带有用于指示目标存储地址范围的标记信息,其中,所述目标存储实体是所述目标存储地址范围内的所有存储实体;或者
所述校验命令携带有用于指示对所述存储器内存储的所有存储实体进行校验的标记信息,其中,所述目标存储实体是所述存储器内所有存储实体:或者
所述校验命令携带有所述目标存储实体的标签信息。
14.一种数据校验装置,应用于存储控制器中,所述存储控制器和存储器连接,其特征在于,包括:接收单元、查找单元和校验单元,其中:
所述接收单元,用于接收对目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是Key或者元数据;所述校验数据包括至少一项:用于校验所述描述字符是否错误的第一校验值以及用于校验所述数据是否错误的第二校验值;
所述查找单元,用于根据所述校验命令查找所述目标存储实体;
所述校验单元,用于通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当校验失败时,则确定所述有效数据错误。
15.如权利要求14所述的装置,其特征在于,所述头部还包括用于校验所述有效数据是否错误的特定值;所述装置还包括:
读取单元,用于根据所述校验命令读取所述头部中的所述特定值;
所述校验单元还用于使用预设的校验规则对所述特定值进行校验,当所述特定值校验失败时,则确定所述有效数据错误。
16.如权利要求14或15所述的装置,其特征在于,所述装置还包括:
上报单元,用于当所述校验单元校验所述有效数据错误时,向修复装置上报错误信息,由所述修复装置从其他存储器中获得所述有效数据的副本,对所述目标存储实体的有效数据进行修复。
17.如权利要求15所述的装置,其特征在于,所述目标存储实体是目标存储地址范围内的所有存储实体:
所述校验命令携带有用于指示所述目标存储地址范围的标记信息;
所述读取单元用于根据所述校验命令携带的所述标记信息识别出所述目标存储地址,并确定所述目标存储地址的首个存储地址为所述目标存储实体中首个存储实体的头部中的所述特定值的存储地址,从所述首个存储地址中读取所述首个存储实体的头部中的所述特定值;以及根据所述首个存储实体的所述特定值的存储地址确定出所述首个存储实体的头部的存储地址,并在所述首个存储实体的头部的存储地址中获取所述首个存储实体的有效数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的有效数据的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值。
18.如权利要求15所述的装置,其特征在于,所述目标存储实体是所述存储器内所有存储实体:
所述校验命令携带有用于指示对所述存储器内存储的所有存储实体进行校验的标记信息;
所述读取单元用于根据所述校验命令携带的所述标记信息确定所述存储器中的首个存储地址为所述目标存储实体中首个存储实体的头部中的所述特定值的存储地址,从所述首个存储地址中读取所述首个存储实体的头部中的所述特定值;以及用于根据所述首个存储实体的所述特定值的存储地址确定出所述首个存储实体的头部的存储地址,并在所述首个存储实体的头部的存储地址中获取所述首个存储实体的有效数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的有效数据的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值。
19.如权利要求15所述的装置,其特征在于,所述校验命令携带有所述目标存储实体的标签信息;
所述读取单元用于当内存中存储有所述目标存储实体的标签信息以及所述目标存储实体的地址信息时,使用所述标签信息查找所述目标存储实体的地址信息,并在所述地址信息描述的存储地址中读取所述目标存储实体的头部中的所述特定值。
20.如权利要求15所述的装置,其特征在于,所述校验命令携带有所述目标存储实体的标签信息,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是键Key或者元数据;
所述读取单元用于当内存中没有存储所述目标存储实体的标签信息或者没有存储所述目标存储实体的地址信息时,读取所述存储器中任一所述特定值,并根据该特定值确定该特定值所属的当前存储实体的头部,在所述当前存储实体的头部中获取所述当前存储实体的描述字符的位置信息,并根据所述当前存储实体的描述字符的位置信息读取所述当前存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述当前存储实体是否为所述目标存储实体。
21.如权利要求15所述的装置,其特征在于,所述校验命令携带有所述目标存储实体的标签信息,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是键Key或者元数据;
所述读取单元用于当内存中没有存储所述目标存储实体的标签信息或者没有存储所述目标存储实体的地址信息时,读取所述存储器存储的首个存储实体的所述特定值,并根据该特定值确定所述首个存储实体的头部,在所述首个存储实体的头部中获取所述首个存储实体的描述字符的位置信息,并根据所述首个存储实体的描述字符的位置信息读取所述首个存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述首个存储实体是否为所述目标存储实体;以及用于当判断所述首个存储实体不是所述目标存储实体时,在所述首个存储实体的头部的存储地址中获取所述首个存储实体的数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的数据的位置信息、描述字符的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值,并根据所述下一个存储实体的特定值确定所述下一个存储实体的头部,在所述下一个存储实体的头部中获取所述下一个存储实体的描述字符的位置信息,并根据所述下一个存储实体的描述字符的位置信息读取所述下一个存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述下一个存储实体是否为所述目标存储实体。
22.如权利要求20或21所述的装置,其特征在于,所述校验单元用于判断所述特定值与预先定义的预定值是否匹配,若不匹配,则确定所述描述字符和所述数据都错误。
23.一种数据校验装置,其特征在于,包括:生成单元和发送单元,其中:
所述生成单元,用于生成对与存储控制器连接的存储器存储的目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是Key或者元数据;所述校验数据包括至少一项:用于校验所述描述字符是否错误的第一校验值以及用于校验所述数据是否错误的第二校验值;
所述发送单元,用于向所述存储控制器发送所述生成单元生成所述校验命令,以使根据所述校验命令查找所述目标存储实体,并由所述存储控制器通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当值校验失败时,则确定所述有效数据错误。
24.如权利要求23所述的装置,其特征在于,所述头部还包括用于校验所述有效数据是否错误的特定值,其中,当所述存储控制器根据所述校验命令读取所述头部中的所述特定值,并使用预设的校验规则对所述特定值进行校验,当所述特定值校验失败时,则确定所述有效数据错误。
25.如权利要求23或24所述的装置,其特征在于,所述装置还包括:
修复单元,用于接收所述存储控制器上报的所述有效数据错误的错误信息,并从其他存储器中获得所述有效数据的副本,对所述目标存储实体的有效数据进行修复。
26.如权利要求23或24所述的装置,其特征在于,
所述校验命令携带有用于指示目标存储地址范围的标记信息,其中,所述目标存储实体是所述目标存储地址范围内的所有存储实体;或者
所述校验命令携带有用于指示对所述存储器内存储的所有存储实体进行校验的标记信息,其中,所述目标存储实体是所述存储器内所有存储实体:或者所述校验命令携带有所述目标存储实体的标签信息。
27.一种数据校验装置,其特征在于,包括:存储控制器、网络接口、存储器和通信总线,其中,所述通信总线用于实现所述存储控制器、网络接口和存储器之间连接通信,所述存储控制器执行所述存储器中存储的程序用于实现以下方法:
接收对目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是Key或者元数据;所述校验数据包括至少一项:用于校验所述描述字符是否错误的第一校验值以及用于校验所述数据是否错误的第二校验值;
根据所述校验命令查找所述目标存储实体;
通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当校验失败时,则确定所述有效数据错误。
28.如权利要求27所述的装置,其特征在于,所述头部还包括用于校验所述有效数据是否错误的特定值,在读取所述有效数据和所述校验数据之前,所述存储控制器执行的程序还包括:
根据所述校验命令读取所述头部中的所述特定值,并使用预设的校验规则对所述特定值进行校验,当所述特定值校验失败时,则确定所述有效数据错误。
29.如权利要求27或28所述的装置,其特征在于,所述存储控制器执行的程序还包括:
当所述有效数据错误时,向修复装置上报错误信息,由所述修复装置从其他存储器中获得所述有效数据的副本,对所述目标存储实体的有效数据进行修复。
30.如权利要求28所述的装置,其特征在于,所述目标存储实体是目标存储地址范围内的所有存储实体:
所述校验命令携带有用于指示所述目标存储地址范围的标记信息;
所述存储控制器执行的根据所述校验命令读取所述头部中的所述特定值的程序,包括:
根据所述校验命令携带的所述标记信息识别出所述目标存储地址,并确定所述目标存储地址的首个存储地址为所述目标存储实体中首个存储实体的头部中的所述特定值的存储地址,从所述首个存储地址中读取所述首个存储实体的头部中的所述特定值;
根据所述首个存储实体的所述特定值的存储地址确定出所述首个存储实体的头部的存储地址,并在所述首个存储实体的头部的存储地址中获取所述首个存储实体的有效数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的有效数据的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值。
31.如权利要求28所述的装置,其特征在于,所述目标存储实体是所述存储器内所有存储实体:
所述校验命令携带有用于指示对所述存储器内存储的所有存储实体进行校验的标记信息;
所述存储控制器执行的根据所述校验命令读取所述头部中的所述特定值的程序,包括:
根据所述校验命令携带的所述标记信息确定所述存储器中的首个存储地址为所述目标存储实体中首个存储实体的头部中的所述特定值的存储地址,从所述首个存储地址中读取所述首个存储实体的头部中的所述特定值;
根据所述首个存储实体的所述特定值的存储地址确定出所述首个存储实体的头部的存储地址,并在所述首个存储实体的头部的存储地址中获取所述首个存储实体的有效数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的有效数据的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值。
32.如权利要求28所述的装置,其特征在于,所述校验命令携带有所述目标存储实体的标签信息;
所述存储控制器执行的根据所述校验命令读取所述头部中的所述特定值的程序包括:
当内存中存储有所述目标存储实体的标签信息以及所述目标存储实体的地址信息时,使用所述标签信息查找所述目标存储实体的地址信息,并在所述地址信息描述的存储地址中读取所述目标存储实体的头部中的所述特定值。
33.如权利要求28所述的装置,其特征在于,所述校验命令携带有所述目标存储实体的标签信息,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是键Key或者元数据;
所述存储控制器执行的根据所述校验命令读取所述头部中的所述特定值的程序包括:
当内存中没有存储所述目标存储实体的标签信息或者没有存储所述目标存储实体的地址信息时,读取所述存储器中任一所述特定值,并根据该特定值确定该特定值所属的当前存储实体的头部,在所述当前存储实体的头部中获取所述当前存储实体的描述字符的位置信息,并根据所述当前存储实体的描述字符的位置信息读取所述当前存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述当前存储实体是否为所述目标存储实体。
34.如权利要求28所述的装置,其特征在于,所述校验命令携带有所述目标存储实体的标签信息,所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是键Key或者元数据;
所述存储控制器执行的根据所述校验命令读取所述头部中的所述特定值的程序包括:
当内存中没有存储所述目标存储实体的标签信息或者没有存储所述目标存储实体的地址信息时,读取所述存储器存储的首个存储实体的所述特定值,并根据该特定值确定所述首个存储实体的头部,在所述首个存储实体的头部中获取所述首个存储实体的描述字符的位置信息,并根据所述首个存储实体的描述字符的位置信息读取所述首个存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述首个存储实体是否为所述目标存储实体;
当判断所述首个存储实体不是所述目标存储实体时,在所述首个存储实体的头部的存储地址中获取所述首个存储实体的数据的位置信息和校验数据的位置信息,并根据所述首个存储实体的数据的位置信息、描述字符的位置信息和校验数据的位置信息确定所述首个存储实体的存储地址的末端存储地址,并将与所述末端存储地址连续的存储地址作为所述目标存储实体中与所述首个存储实体中连续的下一个存储实体的头部的所述特定值的存储地址,并读取所述下一个存储实体的头部中的特定值,并根据所述下一个存储实体的特定值确定所述下一个存储实体的头部,在所述下一个存储实体的头部中获取所述下一个存储实体的描述字符的位置信息,并根据所述下一个存储实体的描述字符的位置信息读取所述下一个存储实体的描述字符与所述校验命令携带的所述标签信息进行比较,以判断所述下一个存储实体是否为所述目标存储实体。
35.如权利要求33或34所述的装置,其特征在于,所述存储控制器执行的使用预设的校验规则对所述特定值进行校验的程序,包括:
判断所述特定值与预先定义的预定值是否匹配,若不匹配,则确定所述描述字符和所述数据都错误。
36.一种数据校验装置,其特征在于,包括:处理器、网络接口、存储器和通信总线,其中,所述通信总线用于实现所述处理器、网络接口和存储器之间连接通信,所述处理器执行所述存储器中存储的程序用于实现以下方法:
生成对与存储控制器连接的存储器存储的目标存储实体进行校验的校验命令,其中,所述目标存储实体存储在所述存储器连续的地址中,所述目标存储实体包括头部、有效数据和所述有效数据的校验数据,其中,所述头部包括所述有效数据的位置信息和所述校验数据的位置信息;所述有效数据包括数据和描述所述数据的描述字符,其中,所述描述字符是Key或者元数据;所述校验数据包括至少一项:用于校验所述描述字符是否错误的第一校验值以及用于校验所述数据是否错误的第二校验值;
向所述存储控制器发送所述校验命令,以使根据所述校验命令查找所述目标存储实体,并由所述存储控制器通过所述目标存储实体的头部包括的所述有效数据的位置信息和所述校验数据的位置信息读取所述有效数据和所述校验数据,并使用所述校验数据对所述有效数据进行校验,当值校验失败时,则确定所述有效数据错误。
37.如权利要求36所述的装置,其特征在于,所述头部还包括用于校验所述有效数据是否错误的特定值,其中,当所述存储控制器根据所述校验命令读取所述头部中的所述特定值,并使用预设的校验规则对所述特定值进行校验,当所述特定值校验失败时,则确定所述有效数据错误。
38.如权利要求36或37所述的装置,其特征在于,所述处理器执行的程序还包括:
接收所述存储控制器上报的所述有效数据错误的错误信息,并从其他存储器中获得所述有效数据的副本,对所述目标存储实体的有效数据进行修复。
39.如权利要求36或37所述的装置,其特征在于,
所述校验命令携带有用于指示目标存储地址范围的标记信息,其中,所述目标存储实体是所述目标存储地址范围内的所有存储实体;或者
所述校验命令携带有用于指示对所述存储器内存储的所有存储实体进行校验的标记信息,其中,所述目标存储实体是所述存储器内所有存储实体:或者
所述校验命令携带有所述目标存储实体的标签信息。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2015/091255 WO2017054182A1 (zh) | 2015-09-30 | 2015-09-30 | 一种数据校验方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107430533A CN107430533A (zh) | 2017-12-01 |
CN107430533B true CN107430533B (zh) | 2019-11-29 |
Family
ID=58422534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580004176.7A Active CN107430533B (zh) | 2015-09-30 | 2015-09-30 | 一种数据校验方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN107430533B (zh) |
WO (1) | WO2017054182A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109271276B (zh) * | 2018-12-18 | 2019-04-05 | 展讯通信(上海)有限公司 | 芯片定位装置及方法 |
CN109578090B (zh) * | 2019-01-07 | 2021-09-21 | 北京博力威格智能传控设备有限公司 | 一种透平机械及其转速计算算法 |
CN114464242B (zh) * | 2022-01-13 | 2024-06-14 | 深圳市金泰克半导体有限公司 | 一种ddr测试方法、装置、控制器及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0973092A2 (en) * | 1998-07-14 | 2000-01-19 | Denso Corporation | Electronic control apparatus having rewritable nonvolatile memory |
CN1448827A (zh) * | 2002-03-28 | 2003-10-15 | 株式会社日立制作所 | 存储系统中检验数据的方法及设备 |
CN1933453A (zh) * | 2005-09-16 | 2007-03-21 | 三星电子株式会社 | 多重循环冗余校验的装置与方法 |
CN101377749A (zh) * | 2007-08-31 | 2009-03-04 | 华为技术有限公司 | 存储器数据校验方法、装置、可编程逻辑器件及系统 |
CN101976174A (zh) * | 2010-08-19 | 2011-02-16 | 北京同有飞骥科技有限公司 | 一种垂直排布分布校验的节能型磁盘阵列的构建方法 |
CN102255713A (zh) * | 2011-07-24 | 2011-11-23 | 哈尔滨工程大学 | 水声传感器网络的数据包及传输方法 |
CN102916773A (zh) * | 2012-10-10 | 2013-02-06 | 中兴通讯股份有限公司 | 一种鲁棒性头压缩中的静态域crc校验方法和装置 |
CN103532854A (zh) * | 2013-10-22 | 2014-01-22 | 迈普通信技术股份有限公司 | 一种报文的存储和转发方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7774587B2 (en) * | 2006-07-12 | 2010-08-10 | Atmel Corporation | Dynamic redundancy checker against fault injection |
CN101452409B (zh) * | 2007-12-04 | 2010-10-13 | 无锡江南计算技术研究所 | 数据校验冗余方法及装置 |
CN103559261A (zh) * | 2013-11-04 | 2014-02-05 | 深圳中兴网信科技有限公司 | 服务器、终端、数据校验系统和方法 |
-
2015
- 2015-09-30 CN CN201580004176.7A patent/CN107430533B/zh active Active
- 2015-09-30 WO PCT/CN2015/091255 patent/WO2017054182A1/zh active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0973092A2 (en) * | 1998-07-14 | 2000-01-19 | Denso Corporation | Electronic control apparatus having rewritable nonvolatile memory |
CN1448827A (zh) * | 2002-03-28 | 2003-10-15 | 株式会社日立制作所 | 存储系统中检验数据的方法及设备 |
CN1933453A (zh) * | 2005-09-16 | 2007-03-21 | 三星电子株式会社 | 多重循环冗余校验的装置与方法 |
CN101377749A (zh) * | 2007-08-31 | 2009-03-04 | 华为技术有限公司 | 存储器数据校验方法、装置、可编程逻辑器件及系统 |
CN101976174A (zh) * | 2010-08-19 | 2011-02-16 | 北京同有飞骥科技有限公司 | 一种垂直排布分布校验的节能型磁盘阵列的构建方法 |
CN102255713A (zh) * | 2011-07-24 | 2011-11-23 | 哈尔滨工程大学 | 水声传感器网络的数据包及传输方法 |
CN102916773A (zh) * | 2012-10-10 | 2013-02-06 | 中兴通讯股份有限公司 | 一种鲁棒性头压缩中的静态域crc校验方法和装置 |
CN103532854A (zh) * | 2013-10-22 | 2014-01-22 | 迈普通信技术股份有限公司 | 一种报文的存储和转发方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2017054182A1 (zh) | 2017-04-06 |
CN107430533A (zh) | 2017-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210049715A1 (en) | Blockchain-based data procesing method, apparatus, and electronic device | |
CN103475682B (zh) | 文件迁移方法及设备 | |
CN103034564B (zh) | 数据容灾演练方法、数据容灾演练装置及系统 | |
CN107430533B (zh) | 一种数据校验方法和装置 | |
CN112905437B (zh) | 一种测试用例的方法、装置及存储介质 | |
CN107749807A (zh) | 一种面向nfv的网络功能验证方法及验证系统 | |
CN109446202A (zh) | 标识符分配方法、装置、服务器和存储介质 | |
CN106155833A (zh) | 一种异步远程复制的方法和装置 | |
CN112787853A (zh) | 网络变更方案的自动生成方法、装置及相关设备 | |
CN108984421A (zh) | 一种信息提示方法及装置 | |
CN109858285B (zh) | 区块链数据的处理方法、装置、设备和介质 | |
CN108845767B (zh) | 存储中的卷的缓存加速管理方法、系统、设备及存储介质 | |
CN109740334A (zh) | 一种空间推理验证方法、服务器以及终端 | |
CN109144551A (zh) | 一种多层级组网方式下设备固件更新方法及系统 | |
CN109240856A (zh) | 一种存储元数据损坏模拟方法、装置、终端及存储介质 | |
CN107967265A (zh) | 文件的访问方法、数据服务器和文件访问系统 | |
CN106933888A (zh) | 数据库配置管理系统 | |
CN109815047A (zh) | 一种数据处理的方法和相关装置 | |
US9288161B2 (en) | Verifying the functionality of an integrated circuit | |
CN109614037A (zh) | 数据巡检方法、装置和分布式存储系统 | |
CN109246125A (zh) | 一种主机安全状况评估系统 | |
CN109861863A (zh) | 数据中心的连接故障确定方法、装置、电子设备和介质 | |
CN115017512A (zh) | 基于区块链的越权访问漏洞测试方法及装置 | |
CN107704548A (zh) | 一种存储介质和对象数据的存储方法、装置及设备 | |
CN103294053A (zh) | 一种汽车k线诊断系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |