CN115757638A - 一种数据获取方法、装置、电子设备及存储介质 - Google Patents
一种数据获取方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115757638A CN115757638A CN202211513322.7A CN202211513322A CN115757638A CN 115757638 A CN115757638 A CN 115757638A CN 202211513322 A CN202211513322 A CN 202211513322A CN 115757638 A CN115757638 A CN 115757638A
- Authority
- CN
- China
- Prior art keywords
- data
- check
- service data
- stripe
- strip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种数据获取方法、装置、电子设备及存储介质,涉及计算机技术领域,解决了相关技术中当某些数据条块对应的网络时延较大时,可能会影响业务数据的获取效率的技术问题。该方法包括:响应于终端发送的业务数据获取请求,读取目标条带中的数据;在获取到N个待处理条块中的数据的情况下,对该N个待处理条块中的数据进行异或校验,得到第一业务数据,每个待处理条块中的数据的获取时刻在第一数据条块中的业务数据的获取时刻之前;基于该第一业务数据以及该N‑1个数据条块中的业务数据,得到目标业务数据;向该终端发送业务数据获取响应,该业务数据获取响应包括该目标业务数据。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据获取方法、装置、电子设备及存储介质。
背景技术
目前,在分布式存储系统中,用户可以直接从多个数据条块中获取业务数据。
但是,上述方法中,多个数据条块中的每个数据条块是通过网络分布到不同的存储服务器中的,每个数据条块对应的网络时延不同。当某些数据条块对应的网络时延较大时,可能会影响业务数据的获取效率。
发明内容
本发明提供一种数据获取方法、装置、电子设备及存储介质,解决了相关技术中当某些数据条块对应的网络时延较大时,可能会影响业务数据的获取效率的技术问题。
第一方面,本发明提供一种数据获取方法,包括:响应于终端发送的业务数据获取请求,读取目标条带中的数据,该目标条带包括N个数据条块以及M个校验条块,N为大于或等于2的整数,M为大于或等于1的整数,该业务数据获取请求包括该目标条带的标识;在获取到N个待处理条块中的数据的情况下,对该N个待处理条块中的数据进行异或校验,得到第一业务数据,该N个待处理条块包括N-1个数据条块以及待处理校验条块,该待处理校验条块为该M个校验条块中的任一个,每个待处理条块中的数据的获取时刻在第一数据条块中的业务数据的获取时刻之前,该第一数据条块为该N个数据条块中除该N-1个数据条块以外的数据条块;基于该第一业务数据以及该N-1个数据条块中的业务数据,得到目标业务数据,该目标业务数据为该目标条带中的业务数据;向该终端发送业务数据获取响应,该业务数据获取响应包括该目标业务数据。
可选地,该数据获取方法还包括:在获取到该第一数据条块中的业务数据的情况下,对获取到的该N个数据条块中的业务数据进行异或校验,得到第一校验数据;确定该第一校验数据与获取到的第二校验数据是否一致,该第二校验数据为该待处理校验条块中的校验数据;在该第一校验数据与该第二校验数据一致的情况下,删除该目标条带中的数据。
可选地,该数据获取方法还包括:在该第一校验数据与该第二校验数据不一致的情况下,确定该第二校验数据对应的存储位置;将该存储位置中存储的数据更新为该第一校验数据。
可选地,该数据获取方法还包括:若无法获取到该第一数据条块中的业务数据,则基于该第一业务数据对该第一数据条块中的业务数据进行修复处理;在该第一数据条块中的业务数据修复成功的情况下,删除该目标条带中的数据。
可选地,该数据获取方法还包括:在该第一数据条块中的业务数据修复失败的情况下,执行数据条块重建操作,该数据条块重建操作用于指示重新建立第一数据条块,并且将该第一业务数据添加至重新建立的第一数据条块。
第二方面,本发明提供一种数据获取装置,包括:读取模块、处理模块以及发送模块;该读取模块,用于响应于终端发送的业务数据获取请求,读取目标条带中的数据,该目标条带包括N个数据条块以及M个校验条块,N为大于或等于2的整数,M为大于或等于1的整数,该业务数据获取请求包括该目标条带的标识;该处理模块,用于在获取到N个待处理条块中的数据的情况下,对该N个待处理条块中的数据进行异或校验,得到第一业务数据,该N个待处理条块包括N-1个数据条块以及待处理校验条块,该待处理校验条块为该M个校验条块中的任一个,每个待处理条块中的数据的获取时刻在第一数据条块中的业务数据的获取时刻之前,该第一数据条块为该N个数据条块中除该N-1个数据条块以外的数据条块;该处理模块,还用于基于该第一业务数据以及该N-1个数据条块中的业务数据,得到目标业务数据,该目标业务数据为该目标条带中的业务数据;该发送模块,用于向该终端发送业务数据获取响应,该业务数据获取响应包括该目标业务数据。
可选地,该数据获取装置还包括确定模块和删除模块;该处理模块,还用于在获取到该第一数据条块中的业务数据的情况下,对获取到的该N个数据条块中的业务数据进行异或校验,得到第一校验数据;该确定模块,用于确定该第一校验数据与获取到的第二校验数据是否一致,该第二校验数据为该待处理校验条块中的校验数据;该删除模块,用于在该第一校验数据与该第二校验数据一致的情况下,删除该目标条带中的数据。
可选地,该确定模块,还用于在该第一校验数据与该第二校验数据不一致的情况下,确定该第二校验数据对应的存储位置;该处理模块,还用于将该存储位置中存储的数据更新为该第一校验数据。
可选地,该处理模块,用于若无法获取到该第一数据条块中的业务数据,则基于该第一业务数据对该第一数据条块中的业务数据进行修复处理;该删除模块,用于在该第一数据条块中的业务数据修复成功的情况下,删除该目标条带中的数据。
可选地,该处理模块,还用于在该第一数据条块中的业务数据修复失败的情况下,执行数据条块重建操作,该数据条块重建操作用于指示重新建立第一数据条块,并且将该第一业务数据添加至重新建立的第一数据条块。
第三方面,本发明提供一种电子设备,包括:处理器和被配置为存储处理器可执行指令的存储器;其中,处理器被配置为执行所述指令,以实现上述第一方面中任一种可选地数据获取方法。
第四方面,本发明提供一种计算机可读存储介质,计算机可读存储介质上存储有指令,当该计算机可读存储介质中的指令由电子设备执行时,使得该电子设备能够执行上述第一方面中任一种可选地数据获取方法。
本发明提供的数据获取方法、装置、电子设备及存储介质,响应于终端发送的业务数据获取请求,电子设备可以读取目标条带中的数据。在获取到N个待处理条块中的数据的情况下,电子设备可以对该N个待处理条块中的数据进行异或校验,得到第一业务数据。然后该电子设备可以基于该第一业务数据以及N-1个数据条块(即N个待处理条块中包括的数据条块)中的业务数据,得到目标业务数据(即目标条带中的业务数据),并且向终端发送业务数据获取响应,该业务数据获取响应包括该目标业务数据。至此,终端可以获取到该目标业务数据。本发明中,电子设备可以基于优先获取到的N个待处理条块中的数据进行异或校验,以得出获取速率较慢的第一数据条块中的业务数据(即第一业务数据),无需等待该第一数据条块中的业务数据的读取过程或者可以避免读取该第一数据条块中的业务数据造成的时延影响,能够快速、有效地得到第一数据条块中的业务数据。然后电子设备基于第一业务数据以及N-1个数据条块中的业务数据得到目标业务数据,并且向终端返回(或发送)该目标业务数据,可以保证终端快速、有效地获取到目标业务数据,能够提升业务数据的获取效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的一种数据获取方法的流程示意图;
图2为本发明实施例提供的另一种数据获取方法的流程示意图;
图3为本发明实施例提供的另一种数据获取方法的流程示意图;
图4为本发明实施例提供的另一种数据获取方法的流程示意图;
图5为本发明实施例提供的另一种数据获取方法的流程示意图;
图6为本发明实施例提供的一种数据获取装置的结构示意图;
图7为本发明实施例提供的另一种数据获取装置的结构示意图。
具体实施方式
下面将结合附图对本发明实施例提供的数据获取方法、装置、电子设备及存储介质进行详细的描述。
本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序,例如,第一校验数据和第二校验数据等是用于区别不同的校验数据,而不是用于描述校验数据的特定顺序。
此外,本申请的描述中所提到的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括其他没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
需要说明的是,本发明实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请中所述“和/或”,包括用两种方法中的任意一种或者同时使用两种方法。
在本申请的描述中,除非另有说明,“多个”的含义是指两个或两个以上。
基于背景技术中所描述,由于相关技术中,多个数据条块中的每个数据条块是通过网络分布到不同的存储服务器中的,每个数据条块对应的网络时延不同。当某些数据条块对应的网络延迟较大时,可能会影响业务数据的获取效率。基于此,本发明实施例提供一种数据获取方法、装置、电子设备及存储介质,电子设备可以基于优先获取到的N个待处理条块中的数据进行异或校验,以得出获取速率较慢的第一数据条块中的业务数据(即第一业务数据),无需等待该第一数据条块中的业务数据的读取过程或者可以避免读取该第一数据条块中的业务数据造成的时延影响,能够快速、有效地得到第一数据条块中的业务数据。然后电子设备基于第一业务数据以及N-1个数据条块中的业务数据得到目标业务数据,并且向终端返回(或发送)该目标业务数据,可以保证终端快速、有效地获取到目标业务数据,能够提升业务数据的获取效率。
示例性的,执行本发明实施例提供的数据获取方法的电子设备可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digitalassistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备,本发明实施例对电子设备的具体形态不作特殊限制。其可以与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互。
可选地,该电子设备可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(content deliverynetwork,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
如图1所示,本发明实施例提供的数据获取方法可以包括S101-S104。
S101、响应于终端发送的业务数据获取请求,电子设备读取目标条带中的数据。
其中,该目标条带包括N个数据条块以及M个校验条块,N为大于或等于2的整数,M为大于或等于1的整数,该业务数据获取请求包括该目标条带的标识,该业务数据获取请求用于请求获取该目标条带中包括的业务数据。
应理解,电子设备中可以存储一个或多个条带。在获取到目标条带的标识之后,电子设备可以基于该标识从该一个或多个条带中确定出该目标条带。并且对该目标条带执行读取操作,即为读取该目标条带中的数据。
在本发明实施例的一种实现方式中,电子设备可以包括上层应用模块和数据存储模块。该上层应用模块可以接收上述业务数据获取请求,并且向数据存储模块转发该业务数据获取请求。该数据存储模块在接收到该业务数据获取请求之后,可以查询出该目标条带并且读取该目标条带中的数据。
可以理解的是,电子设备读取目标条带中的数据包括读取N个数据条块中的数据以及M个校验条块中的数据。
S102、在获取到N个待处理条块中的数据的情况下,电子设备对N个待处理条块中的数据进行异或校验,得到第一业务数据。
其中,该N个待处理条块包括N-1个数据条块以及待处理校验条块,该待处理校验条块为上述M个校验条块中的任一个,每个待处理条块中的数据的获取时刻在第一数据条块中的业务数据的获取时刻之前,该第一数据条块为上述N个数据条块中除该N-1个数据条块以外的数据条块。
应理解,由于每个待处理条块中的数据的获取时刻在第一数据条块中的业务数据的获取时刻之前,说明电子设备优先获取到了上述N个待处理条块中的数据,之后获取到了M个其他条块(即目标条带中除该N个待处理条块以外的条块)中的数据。
可以理解的是,电子设备对N个待处理条块中的数据进行异或校验具体为电子设备基于异或算法以及异或因子对该N个待处理条块中的数据进行异或运算,以得到上述第一业务数据。该第一业务数据可以理解为基于异或校验得出的上述第一数据条块中的业务数据。
本发明实施例中,电子设备可以基于优先获取到的N个待处理条块中的数据进行异或校验,以得出获取速率较慢的第一数据条块中的业务数据(即第一业务数据),无需等待该第一数据条块中的业务数据的读取过程或者可以避免读取该第一数据条块中的业务数据造成的时延影响,进而能够提升目标业务数据的获取效率。
需要说明的是,数据条块用于存储业务数据,校验条块用于存储校验数据。电子设备可以对上述N个数据条块中的业务数据进行异或校验,以得到上述M个校验条块中每个校验条块中的校验数据。
在一种情况下,当M等于1时,电子设备可以基于异或算法以及异或因子对该N个数据条块中的业务数据进行异或校验,以得到上述待处理校验条块中的校验数据。
在另一种情况下,当M大于1时,待处理校验条块中的校验数据以及其他校验条块(即M个校验条块中除该待处理校验条块)中的校验数据不同。具体的,电子设备可以基于不同的异或算法以及异或因子对该N个数据条块中的业务数据进行异或校验,以得到该其他校验条块中的校验数据。
可选地,上述每个待处理条块中的数据的获取时刻在该其他校验条块中的校验数据的获取时刻之前。
S103、电子设备基于第一业务数据以及N-1个数据条块中的业务数据,得到目标业务数据。
其中,该目标业务数据为上述目标条带中的业务数据。
本发明实施例中,该目标业务数据也可以理解为上述N个数据条块中的数据。
可选地,电子设备可以将该第一业务数据以及该N-1个数据条块中的业务数据进行组合,以得到该目标业务数据。
S104、电子设备向终端发送业务数据获取响应。
其中,该业务数据获取响应包括该目标业务数据。
至此,终端可以获取该目标业务数据。
上述实施例提供的技术方案至少能够带来以下有益效果:由S101-S104可知:响应于终端发送的业务数据获取请求,电子设备可以读取目标条带中的数据。在获取到N个待处理条块中的数据的情况下,电子设备可以对该N个待处理条块中的数据进行异或校验,得到第一业务数据。然后该电子设备可以基于该第一业务数据以及N-1个数据条块(即N个待处理条块中包括的数据条块)中的业务数据,得到目标业务数据(即目标条带中的业务数据),并且向终端发送业务数据获取响应,该业务数据获取响应包括该目标业务数据。至此,终端可以获取到该目标业务数据。本发明实施例中,电子设备可以基于优先获取到的N个待处理条块中的数据进行异或校验,以得出获取速率较慢的第一数据条块中的业务数据(即第一业务数据),无需等待该第一数据条块中的业务数据的读取过程或者可以避免读取该第一数据条块中的业务数据造成的时延影响,能够快速、有效地得到第一数据条块中的业务数据。然后电子设备基于第一业务数据以及N-1个数据条块中的业务数据得到目标业务数据,并且向终端返回(或发送)该目标业务数据,可以保证终端快速、有效地获取到目标业务数据,能够提升业务数据的获取效率。
结合图1,如图2所示,本发明实施例提供的数据获取方法还可以包括S105-S107。
S105、在获取到第一数据条块中的业务数据的情况下,电子设备对获取到的N个数据条块中的业务数据进行异或校验,得到第一校验数据。
本发明实施例中,电子设备可以基于与上述得到第一业务数据相同的异或算法和异或因子对N个数据条块中的业务数据进行异或运算。
S106、电子设备确定第一校验数据与获取到的第二校验数据是否一致。
其中,该第二校验数据为上述待处理校验条块中的校验数据。
应理解,该第二校验数据为电子设备对该待处理校验条块执行读取操作之后读取出来(或者该待处理校验条块中存储)的数据。
S107、在第一校验数据与第二校验数据一致的情况下,电子设备删除目标条带中的数据。
具体的,电子设备删除目标条带中的数据包括删除(或释放)N个数据条块中每个数据条块中的业务数据以及删除(或释放)M个校验条块中每个校验条块中的校验数据。
应理解,电子设备删除目标条带中的数据还可以包括删除(或释放)每个数据条块中的业务数据的存储空间(或内存空间)以及删除(或释放)每个校验条块中的校验数据的存储空间(或内存空间)。
需要说明的是,电子设备开始读取目标条带中的数据可以理解为一个IO生命周期的开始,电子设备删除该目标条带中的数据也可以理解为该IO生命周期的结束。
本发明实施例中,电子设备确定第一校验数据与第二校验数据是否一致,能够保证电子设备在下一次读取以及获取校验条块中的校验数据时的真实性和正确性。
可以理解的是,在该第一校验数据与该第二校验数据一致的情况下,说明电子设备从待处理校验条块中读取的(或者该待处理校验条块中存储的)校验数据,与电子设备对N个数据条块中的业务数据进行异或校验得到的校验数据相同。此时电子设备删除目标条带中的数据,即在确定第一校验数据与第二校验数据一致之后删除目标条带中的数据,能够重复利用目标条带中的数据以及数据的存储空间,提升资源利用率。
结合图2,如图3所示,本发明实施例提供的数据获取方法还可以包括S108-S109。
S108、在第一校验数据与第二校验数据不一致的情况下,电子设备确定第二校验数据对应的存储位置。
应理解,该第二校验数据对应的存储位置为该第二校验数据所属的校验条块对应的存储位置。一个校验条块对应一个存储位置,该校验条块对应的存储位置为该校验条块(或该校验条块中的校验数据)对应的存储空间的位置。
可以理解的是,在该第一校验数据与该第二校验数据不一致的情况下,说明可能是数据在写入过程中机房整体掉电。此时电子设备可以确定该第二校验数据对应的存储位置。
S109、电子设备将第二校验数据对应的存储位置中存储的数据更新为第一校验数据。
应理解,该存储位置中存储的数据即为该第二校验数据,即电子设备可以将该存储位置中存储的第二校验数据(即上述待处理校验条块中的校验数据)更新为该第一校验数据。
本发明实施例中,电子设备将该存储位置中存储的数据更新为第一校验数据也可以理解为基于该第一校验数据对该存储位置中存储的数据进行修复处理,进而能够保证数据获取的正确性,以使得终端可以获取到准确度较高的业务数据。
可选地,在上述电子设备将第二校验数据对应的存储位置中存储的数据更新为第一校验数据之后,该电子设备可以删除目标条带中的数据。
结合图1,如图4所示,本发明实施例提供的数据获取方法还可以包括S110-S111。
S110、若无法获取到第一数据条块中的业务数据,则电子设备基于第一业务数据对第一数据条块中的业务数据进行修复处理。
应理解,若无法获取到第一数据条块中的业务数据,说明可能是磁盘静默错误或者磁盘逻辑介质错误等原因导致的。此时电子设备可以通过写操作对该第一数据条块中的业务数据进行修复处理。
可以理解的是,由于该第一业务数据是电子设备对上述获取到的N个待处理条块中的数据进行异或校验得到的数据,该第一业务数据可以正确且真实地表征第一数据条块中的业务数据。如此,电子设备基于该第一业务数据对该第一数据条块中的业务数据进行修复处理,能够保证该第一数据条块中的业务数据的正确性及真实性。
本发明实施例中,电子设备基于第一业务数据对第一数据条块中的业务数据进行修复处理,也可以理解为电子设备将该第一数据条块中的业务数据更新为该第一业务数据。
S111、在第一数据条块中的业务数据修复成功的情况下,电子设备删除目标条带中的数据。
结合图4,如图5所示,本发明实施例提供的数据获取方法还包括S112。
S112、在第一数据条块中的业务数据修复失败的情况下,电子设备执行数据条块重建操作。
其中,该数据条块重建操作用于指示重新建立第一数据条块,并且将上述第一业务数据添加至重新建立的第一数据条块。
本发明实施例中,该数据条块重建操作也可以理解为异步踢盘重建操作。
具体的,电子设备可以基于Crush算法选出一个位置,并在该位置上重新建立一个数据条块(即重新建立第一数据条块)。由于重新建立的第一数据条块中是没有业务数据的,因此电子设备可以将该第一业务数据添加至该第一数据条块。能够保证数据一致性校验以及数据修复的稳定进行,进而提升数据获取的有效性。
可选地,在电子设备执行数据条块重建操作之后,电子设备可以删除目标条带中的数据。
本发明实施例可以根据上述方法示例对电子设备等进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图6示出了上述实施例中所涉及的数据获取装置的一种可能的结构示意图,如图6所示,数据获取装置10可以包括:读取模块101、处理模块102以及发送模块103。
读取模块101,用于响应于终端发送的业务数据获取请求,读取目标条带中的数据,该目标条带包括N个数据条块以及M个校验条块,N为大于或等于2的整数,M为大于或等于1的整数,该业务数据获取请求包括该目标条带的标识。
处理模块102,用于在获取到N个待处理条块中的数据的情况下,对该N个待处理条块中的数据进行异或校验,得到第一业务数据,该N个待处理条块包括N-1个数据条块以及待处理校验条块,该待处理校验条块为该M个校验条块中的任一个,每个待处理条块中的数据的获取时刻在第一数据条块中的业务数据的获取时刻之前,该第一数据条块为该N个数据条块中除该N-1个数据条块以外的数据条块。
处理模块102,还用于基于该第一业务数据以及该N-1个数据条块中的业务数据,得到目标业务数据,该目标业务数据为该目标条带中的业务数据。
发送模块103,用于向该终端发送业务数据获取响应,该业务数据获取响应包括该目标业务数据。
可选地,该数据获取装置10还包括确定模块104和删除模块105。
处理模块102,还用于在获取到该第一数据条块中的业务数据的情况下,对获取到的该N个数据条块中的业务数据进行异或校验,得到第一校验数据。
确定模块104,用于确定该第一校验数据与获取到的第二校验数据是否一致,该第二校验数据为该待处理校验条块中的校验数据。
删除模块105,用于在该第一校验数据与该第二校验数据一致的情况下,删除该目标条带中的数据。
可选地,确定模块104,还用于在该第一校验数据与该第二校验数据不一致的情况下,确定该第二校验数据对应的存储位置。
处理模块102,还用于将该存储位置中存储的数据更新为该第一校验数据。
可选地,处理模块102,用于若无法获取到该第一数据条块中的业务数据,则基于该第一业务数据对该第一数据条块中的业务数据进行修复处理。
删除模块105,用于在该第一数据条块中的业务数据修复成功的情况下,删除该目标条带中的数据。
可选地,处理模块102,还用于在该第一数据条块中的业务数据修复失败的情况下,执行数据条块重建操作,该数据条块重建操作用于指示重新建立第一数据条块,并且将该第一业务数据添加至重新建立的第一数据条块。
在采用集成的单元的情况下,图7示出了上述实施例中所涉及的数据获取装置的一种可能的结构示意图。如图7所示,数据获取装置20可以包括:处理模块201和通信模块202。处理模块201可以用于对数据获取装置20的动作进行控制管理。通信模块202可以用于支持数据获取装置20与其他实体的通信。可选地,如图7所示,该数据获取装置20还可以包括存储模块203,用于存储数据获取装置20的程序代码和数据。
其中,处理模块201可以是处理器或控制器。通信模块202可以是收发器、收发电路或通信接口等。存储模块203可以是存储器。
其中,当处理模块201为处理器,通信模块202为收发器,存储模块203为存储器时,处理器、收发器和存储器可以通过总线连接。总线可以是外设部件互连标准(peripheralcomponent interconnect,PCI)总线或扩展工业标准结构(extended industry standardarchitecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。
应理解,在本发明的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户终端线(Digital Subscriber Line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据获取设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (12)
1.一种数据获取方法,其特征在于,所述方法包括:
响应于终端发送的业务数据获取请求,读取目标条带中的数据,所述目标条带包括N个数据条块以及M个校验条块,N为大于或等于2的整数,M为大于或等于1的整数,所述业务数据获取请求包括所述目标条带的标识;
在获取到N个待处理条块中的数据的情况下,对所述N个待处理条块中的数据进行异或校验,得到第一业务数据,所述N个待处理条块包括N-1个数据条块以及待处理校验条块,所述待处理校验条块为所述M个校验条块中的任一个,每个待处理条块中的数据的获取时刻在第一数据条块中的业务数据的获取时刻之前,所述第一数据条块为所述N个数据条块中除所述N-1个数据条块以外的数据条块;
基于所述第一业务数据以及所述N-1个数据条块中的业务数据,得到目标业务数据,所述目标业务数据为所述目标条带中的业务数据;
向所述终端发送业务数据获取响应,所述业务数据获取响应包括所述目标业务数据。
2.根据权利要求1所述的数据获取方法,其特征在于,所述方法还包括:
在获取到所述第一数据条块中的业务数据的情况下,对获取到的所述N个数据条块中的业务数据进行异或校验,得到第一校验数据;
确定所述第一校验数据与获取到的第二校验数据是否一致,所述第二校验数据为所述待处理校验条块中的校验数据;
在所述第一校验数据与所述第二校验数据一致的情况下,删除所述目标条带中的数据。
3.根据权利要求2所述的数据获取方法,其特征在于,所述方法还包括:
在所述第一校验数据与所述第二校验数据不一致的情况下,确定所述第二校验数据对应的存储位置;
将所述存储位置中存储的数据更新为所述第一校验数据。
4.根据权利要求1所述的数据获取方法,其特征在于,所述方法还包括:
若无法获取到所述第一数据条块中的业务数据,则基于所述第一业务数据对所述第一数据条块中的业务数据进行修复处理;
在所述第一数据条块中的业务数据修复成功的情况下,删除所述目标条带中的数据。
5.根据权利要求4所述的数据获取方法,其特征在于,所述方法还包括:
在所述第一数据条块中的业务数据修复失败的情况下,执行数据条块重建操作,所述数据条块重建操作用于指示重新建立第一数据条块,并且将所述第一业务数据添加至重新建立的第一数据条块。
6.一种数据获取装置,其特征在于,包括:读取模块、处理模块以及发送模块;
所述读取模块,用于响应于终端发送的业务数据获取请求,读取目标条带中的数据,所述目标条带包括N个数据条块以及M个校验条块,N为大于或等于2的整数,M为大于或等于1的整数,所述业务数据获取请求包括所述目标条带的标识;
所述处理模块,用于在获取到N个待处理条块中的数据的情况下,对所述N个待处理条块中的数据进行异或校验,得到第一业务数据,所述N个待处理条块包括N-1个数据条块以及待处理校验条块,所述待处理校验条块为所述M个校验条块中的任一个,每个待处理条块中的数据的获取时刻在第一数据条块中的业务数据的获取时刻之前,所述第一数据条块为所述N个数据条块中除所述N-1个数据条块以外的数据条块;
所述处理模块,还用于基于所述第一业务数据以及所述N-1个数据条块中的业务数据,得到目标业务数据,所述目标业务数据为所述目标条带中的业务数据;
所述发送模块,用于向所述终端发送业务数据获取响应,所述业务数据获取响应包括所述目标业务数据。
7.根据权利要求6所述的数据获取装置,其特征在于,所述数据获取装置还包括确定模块和删除模块;
所述处理模块,还用于在获取到所述第一数据条块中的业务数据的情况下,对获取到的所述N个数据条块中的业务数据进行异或校验,得到第一校验数据;
所述确定模块,用于确定所述第一校验数据与获取到的第二校验数据是否一致,所述第二校验数据为所述待处理校验条块中的校验数据;
所述删除模块,用于在所述第一校验数据与所述第二校验数据一致的情况下,删除所述目标条带中的数据。
8.根据权利要求7所述的数据获取装置,其特征在于,
所述确定模块,还用于在所述第一校验数据与所述第二校验数据不一致的情况下,确定所述第二校验数据对应的存储位置;
所述处理模块,还用于将所述存储位置中存储的数据更新为所述第一校验数据。
9.根据权利要求6所述的数据获取装置,其特征在于,所述数据获取装置还包括删除模块;
所述处理模块,用于若无法获取到所述第一数据条块中的业务数据,则基于所述第一业务数据对所述第一数据条块中的业务数据进行修复处理;
所述删除模块,用于在所述第一数据条块中的业务数据修复成功的情况下,删除所述目标条带中的数据。
10.根据权利要求9所述的数据获取装置,其特征在于,
所述处理模块,还用于在所述第一数据条块中的业务数据修复失败的情况下,执行数据条块重建操作,所述数据条块重建操作用于指示重新建立第一数据条块,并且将所述第一业务数据添加至重新建立的第一数据条块。
11.一种电子设备,其特征在于,所述电子设备包括:
处理器;
被配置为存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1-5中任一项所述的数据获取方法。
12.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,当所述计算机可读存储介质中的指令由电子设备执行时,使得所述电子设备能够执行如权利要求1-5中任一项所述的数据获取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211513322.7A CN115757638A (zh) | 2022-11-29 | 2022-11-29 | 一种数据获取方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211513322.7A CN115757638A (zh) | 2022-11-29 | 2022-11-29 | 一种数据获取方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115757638A true CN115757638A (zh) | 2023-03-07 |
Family
ID=85340504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211513322.7A Pending CN115757638A (zh) | 2022-11-29 | 2022-11-29 | 一种数据获取方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115757638A (zh) |
-
2022
- 2022-11-29 CN CN202211513322.7A patent/CN115757638A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109491968B (zh) | 一种文件处理方法、装置、设备及计算机可读存储介质 | |
KR101732491B1 (ko) | 컴퓨팅 시스템에서의 저장 데이터의 무암호화 무결성 보호를 가능하게 하는 메카니즘 | |
US20170090824A1 (en) | Layered queue based coordination of potentially destructive actions in a dispersed storage network memory | |
CN111865831B (zh) | 数据处理的方法、网络设备、计算节点和系统 | |
CN112764948A (zh) | 数据发送方法、数据发送装置、计算机设备及存储介质 | |
CN114637611A (zh) | 基于消息队列的信息处理方法、装置及计算机设备 | |
CN113886496A (zh) | 区块链的数据同步方法、装置、计算机设备和存储介质 | |
CN115827778A (zh) | 一种数据获取方法、装置、电子设备及存储介质 | |
CN111245940B (zh) | 用于物联网通信模块中移动通信号码数据的处理方法、装置 | |
US10834194B2 (en) | Batching updates in a dispersed storage network | |
CN115757638A (zh) | 一种数据获取方法、装置、电子设备及存储介质 | |
CN109656936A (zh) | 数据同步方法、装置、计算机设备和存储介质 | |
CN111435323A (zh) | 信息的传输方法、装置、终端、服务器及存储介质 | |
CN111124932B (zh) | 方案验证方法、系统、装置、计算机设备和存储介质 | |
CN108959405B (zh) | 数据的强一致性读取方法及终端设备 | |
CN113986833A (zh) | 文件合并方法、系统、计算机系统及存储介质 | |
CN113051008A (zh) | 接口请求处理方法、装置、计算机设备和存储介质 | |
CN108694209B (zh) | 基于对象的分布式索引方法和客户端 | |
CN113934362A (zh) | 数据存储方法、装置、计算机设备和存储介质 | |
CN111352769A (zh) | 恢复数据库的方法、恢复服务器及计算机可读存储介质 | |
CN110784479B (zh) | 一种数据校验方法、装置、电子设备及存储介质 | |
US9529549B2 (en) | Data processing method for storing data and restoration information and data processing system | |
US20230161664A1 (en) | Method of responding to operation, electronic device, and storage medium | |
CN112860488A (zh) | 对象的恢复方法和装置、电子设备和存储介质 | |
CN114138196A (zh) | 电力系统数据存储方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |