CN113806300B - 数据存储方法、系统、装置、设备及存储介质 - Google Patents

数据存储方法、系统、装置、设备及存储介质 Download PDF

Info

Publication number
CN113806300B
CN113806300B CN202111117089.6A CN202111117089A CN113806300B CN 113806300 B CN113806300 B CN 113806300B CN 202111117089 A CN202111117089 A CN 202111117089A CN 113806300 B CN113806300 B CN 113806300B
Authority
CN
China
Prior art keywords
unit
target
file
key
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111117089.6A
Other languages
English (en)
Other versions
CN113806300A (zh
Inventor
李磊
陈亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202111117089.6A priority Critical patent/CN113806300B/zh
Publication of CN113806300A publication Critical patent/CN113806300A/zh
Application granted granted Critical
Publication of CN113806300B publication Critical patent/CN113806300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1724—Details of de-fragmentation performed by the file system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种数据存储方法、系统、装置、设备以及存储介质，涉及数据处理领域，尤其涉及数据存储领域。具体实现方案为：获取作为值value的待存储文件，以及该待存储文件的键key；基于该key，从多个数据库DB单元中，选取目标DB单元；确定该目标DB单元所位于的存储服务器作为目标服务器；向该目标服务器发送待存储文件和key，以使该目标服务器调用该目标DB单元，以将该待存储文件写入该目标DB单元所申请的、当前操作的数据块空间，并记录该key和写入有该待存储文件的空间位置信息的对应关系。通过本方案，针对数量庞大且数据量较小的文件，可以有效地存储到磁盘空间较大的存储服务器中。

Description

数据存储方法、系统、装置、设备及存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及分布式数据存储领域，具体涉及一种数据存储方法、系统、装置、设备及存储介质。
背景技术
为降低图片下载所需带宽，用户通常存在下载图片的缩略图以及在线预览图片的需求。为了满足用户需求，服务端可以将图片原图进行压缩，转换成客户端展现需要的分辨率，即数据量较小的文件。
并且，为了保证较低时延，需要将图片的缩略图以及在线预览请求所请求的图片，预先存储在服务端。
发明内容
本公开提供了一种数据存储方法、系统、装置、设备以及存储介质。
根据本公开的一方面，提供了一种数据存储方法，应用于键值KV存储系统中的代理服务器；所述KV存储系统还包括多个存储服务器；所述方法包括：
获取作为值value的待存储文件，以及所述待存储文件的键key；
基于所述key，从多个数据库DB单元中，选取目标DB单元；其中，所述多个DB单元为位于多个存储服务器中的、用于实现数据存储的进程；
确定所述目标DB单元所位于的存储服务器，作为目标服务器；
向所述目标服务器发送所述待存储文件和key，以使所述目标服务器调用所述目标DB单元，以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并记录所述key和写入有所述待存储文件的空间位置信息的对应关系。
根据本公开的另一方面，提供了一种数据存储方法，应用于键值KV存储系统中的目标服务器，所述目标服务器为所述KV存储系统中的任一存储服务器，所述KV存储系统还包括代理服务器；所述方法包括：
获取所述代理服务器下发的作为值value的待存储文件，以及所述待存储文件的key；
从预先初始化的DB单元中，确定所述目标DB单元；
调用所述目标DB单元，以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并记录所述key和写入有所述待存储文件的空间位置信息的对应关系。
根据本公开的另一方面，提供了一种键值KV存储系统，所述KV存储系统包括代理服务器和多个存储服务器；
所述代理服务器，用于获取作为值value的待存储文件，以及所述待存储文件的键key；基于所述key，从多个数据库DB单元中，选取目标DB单元；确定所述目标DB单元所位于的存储服务器，作为目标服务器；向所述目标服务器发送所述待存储文件和key；其中，所述多个DB单元为位于多个存储服务器中的、用于实现数据存储的进程；
所述任一存储服务器，用于作为所述目标服务器时，获取所述代理服务器下发的作为值value的待存储文件，以及所述待存储文件的key；从预先初始化的DB单元中，确定所述目标DB单元；调用所述目标DB单元，以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并记录所述key和写入有所述待存储文件的空间位置信息的对应关系。
根据本公开的另一方面，提供了一种数据存储装置，应用于键值KV存储系统中的代理服务器；所述KV存储系统还包括多个存储服务器；所述装置包括：
获取模块，用于获取作为值value的待存储文件，以及所述待存储文件的键key；
选取模块，用于基于所述key，从多个数据库DB单元中，选取目标DB单元；其中，所述多个DB单元为位于多个存储服务器中的、用于实现数据存储的进程；
确定模块，用于确定所述目标DB单元所位于的存储服务器，作为目标服务器；
发送模块，用于向所述目标服务器发送所述待存储文件和key，以使所述目标服务器调用所述目标DB单元，以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并记录所述key和写入有所述待存储文件的空间位置信息的对应关系。
根据本公开的另一方面，提供了一种数据存储装置，应用于键值KV存储系统中的目标服务器，所述目标服务器为所述KV存储系统中的任一存储服务器，所述KV存储系统还包括代理服务器；所述装置包括：
第二获取模块，用于获取所述代理服务器下发的作为值value的待存储文件，以及所述待存储文件的key；
第二确定模块，用于从预先初始化的DB单元中，确定所述目标DB单元；
写入模块，用于调用所述目标DB单元，以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并记录所述key和写入有所述待存储文件的空间位置信息的对应关系。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述数据存储方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述数据存储方法的步骤。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述数据存储方法的步骤。
本方案中，通过待存储文件的key，选定出位于存储服务器中的目标DB单元，进而，调用目标DB单元，以将待存储文件写入到预先申请的数据块空间中，并记录key和待存储文件的空间位置信息的对应关系。可见，通过本方案，可以避免将数据量较小且大量的待存储文件直接写入到存储服务器时，所带来的存储空间申请频繁以及存储空间碎片化严重的问题。因此，通过本方案，针对数量庞大且数据量较小的文件，可以有效地存储到磁盘空间较大的存储服务器中。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开实施例所提供的一种数据存储方法的流程图；
图2是本公开所提供实施例的一种结构示意图；
图3是本公开实施例所提供的一种数据存储方法的另一流程图；
图4是本公开实施例所提供的扩容过程的示意图；
图5是本公开实施例所提供的数据淘汰示意图；
图6是本公开实施例所提供的一种键值KV存储系统的结构示意图；
图7是本公开实施例所提供的一种数据存储装置的结构示意图；
图8是本公开实施例所提供的一种数据存储装置的另一结构示意图；
图9是用来实现本公开实施例的数据存储方法的电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
当前网盘等应用具备图片的缩略图和在线预览功能。针对图片缩略图和在线预览的请求，服务端会将较高分辨率的原图进行压缩，转换成客户端展现所需要的分辨率。由于压缩后的图片的数据量相较于压缩之前，会大大降低，因此，这样操作可以降低用户下载图片文件所需带宽，例如：压缩之前的原图的数据量约3MB，而压缩之后所得到的缩略图或预览图的数据量约200KB。但是，如果对于每次图片的缩略图和在线预览请求，都要服务端进行实时压缩，无疑会大大提高用户的访问延迟。为此，服务端会事先将用户图片压缩成固定分辨率的缩略图和预览图并进行存储，这样，当用户请求缩略图或预览图时，直接获取相应缩略图或预览图即可。
相关技术中，利用键值KV(key-value，键值)存储系统，来存储缩略图和预览图等数据量较小的文件，具体而言，使用的SSD(Solid State Disk，固态硬盘)或单机不超过60TB的HDD(Hard Disk Drive，机械硬盘)的服务器来存储。
但是，在网盘存储场景下，缩略图和预览图的数量非常庞大，这样导致相关技术的数据存储时，需要大量的服务器，存储成本较高。具体而言：对于万亿级的用户文件，假设一张图片存储两种形式：缩略图(分辨率为60*60)和预览图(分辨率为1600*1600)，那么，总共需要的存储空间在300PB以上。这样大的存储量，一年需要数千万的存储成本。
本领域人员知晓的是，针对同样庞大数据量的存储需求而言，利用数量较少但空间容量较大的服务器进行存储，相对于利用数量较多但容量较小的服务器进行存储，存储成本相对较低。但是，空间容量较大的服务器，例如：8TB*18的冷存储服务器，通常不建议存储数据量较小的文件，如：上述的缩略图和预览图，原因在于：存储大量的数据量较小的文件时，每次存储文件时均需要申请存储空间，导致存储空间申请频繁以及存储空间碎片化严重，最终影响设备的运行性能以及后续的设备运维。
因此，针对数量庞大且数据量较小的文件，如何存储到磁盘空间较大的存储服务器中，是一个亟待解决的问题。
为了实现大容量空间的服务器对数量庞大且数据量较小的文件的存储，本公开实施例提供了一种数据存储方法、系统、装置、设备及存储介质。需要说明的是，本公开提供的方案不仅仅可以适配于大容量空间的服务器，也可以适配其他不同规格的服务器；下面首先对本公开实施例所提供的一种数据存储方法进行介绍。
本公开实施例提供的一种数据存储方法，应用于键值KV存储系统中的代理服务器；所述KV存储系统还包括多个存储服务器。
其中，KV存储系统即key-value系统，每一个待存储的文件都作为一个值value，每一个键key只对应一个值value。
另外，代理服务器也可以称为管理服务器、管理节点，至少用于管理存储服务器、以及与上游的业务方进行交互从而响应业务方的读写请求。示例性的，上游的业务方可以为网盘服务端，等等。而存储服务器通常内置的存储服务/程序，实现数据存储并与代理服务器进行交互从而响应代理服务器下发的读写指令，其中，内置的存储服务/程序也可以为称为存储实例。
从代理服务器的角度，本公开所提供的一种数据存储方法，可以包括如下步骤：
获取作为值value的待存储文件，以及所述待存储文件的键key；
基于所述key，从多个DB(Data Base，数据库)单元中，选取目标DB单元；其中，所述多个DB单元为位于多个存储服务器中的、用于实现数据存储的进程；
确定所述目标DB单元所位于的存储服务器，作为目标服务器；
向所述目标服务器发送所述待存储文件和key，以使所述目标服务器调用所述目标DB单元，以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并记录所述key和写入有所述待存储文件的空间位置信息的对应关系。
本实施例中，通过待存储文件的key，选定出位于存储服务器中的目标DB单元，进而，通过目标DB单元，将待存储文件写入到预先申请的数据块空间中，并记录key和待存储文件的空间位置信息的对应关系。由于DB单元预先申请的数据块空间可以用于存储多个待存储文件，因此，通过调用DB单元将待存储文件写入到预先申请的数据块空间中，无需每次存储文件时均进行存储空间的申请，这样可以避免相关技术中将数据量较小且大量的待存储文件直接写入到存储服务器时，所带来的存储空间申请频繁以及存储空间碎片化严重的问题。因此，通过本方案，针对数量庞大且数据量较小的文件，可以有效地存储到磁盘空间较大的存储服务器中。另外，本公开所提供的方案可以适用于各种存储空间规格的磁盘和存储服务器，提升了选择存储服务器的灵活性。
如图1所示，本公开所提供的一种数据存储方法，应用于代理服务器，可以包括如下步骤：
S101，获取作为值value的待存储文件，以及所述待存储文件的键key；
当存在文件存储需求时，代理服务器可以获取到作为value的待存储文件，以及，所述待存储文件的键key，其中，待存储文件的key为预定长度的字符串，即作为待存储文件的索引信息。并且，示例性的，待存储文件可以为上述的缩略图或预览图，当然并不局限于此。示例性的，在一种实现方式中，代理服务器可以先获取作为值value的待存储文件，然后基于预定的生成规则，生成待存储文件的key，从而得到待存储文件的key。
示例性的，在一种实现方式中，所述获取作为值value的待存储的待存储文件，以及所述待存储文件的键key，可以包括：
获取业务方发送的作为值value的待存储文件，以及所述待存储文件的key；
其中，所述key为所述业务方按照预定的生成规则所生成。
该种实现方式中，业务方，例如：网盘服务端或者其他存在存储需求的服务端，等等，可以在确定出待存储文件后，按照预定的生成规则，生成待存储文件的key，并将待存储文件和待存储文件的key一并发送给代理服务器，从而通过代理服务器将待存储文件存储到KV存储系统中。该种实现方式中，由业务方来生成待存储文件的key，这样使得代理服务器无需设置相应的针对key的生成逻辑，并且，无需关注key的物理含义，从而提升数据存储的效率。
其中，预定的生成规则用于生成指定长度的二进制值，在保证能够生成唯一的且指定长度的二进制值的前提下，本公开并不对预定的生成规则的具体规则内容进行限定。另外，预定的生成规则可以为利用文件的标识、时间戳信息等生成key的规则。
S102，基于所述key，从多个数据库DB单元中，选取目标DB单元；其中，所述多个DB单元为位于多个存储服务器中的、用于实现数据存储的进程；
为了实现针对庞大数量的且数据量较小的文件的存储，并且，本公开所提供的方案中，预先在多个存储服务器中初始化多个DB单元，进而，后续基于位于存储服务器中的DB单元，来实现数据存储。并且，本公开可以无需关心各存储服务器中的磁盘存储空间的容量差异，通过各个DB单元的，来实现数据均衡。需要说明的是，本公开中，所述的进程是一个具有一定独立功能的程序关于某个数据集合的一次运行活动，它是操作系统动态执行的基本单元；并且，进程可以申请和拥有系统资源，是一个动态的概念，是一个活动的实体，它不只是程序的代码，还包括当前的活动。另外，进程可以管理一个磁盘上的目录，目录中又存在元信息和数据信息，即key和value。
如图2所示，本公开在KV存储系统的多个存储服务器的磁盘中部署DB单元，所谓的磁盘中部署有DB单元，即是指DB单元申请了磁盘中的存储空间，例如：存储服务器1的磁盘1中部署有DB1，即是指DB申请了磁盘1中的存储空间，所申请的存储空间即为数据块空间。其中DB单元是一个逻辑概念，在具体实施过程中体现为一个用于实现数据存储的进程。一个DB单元最小可以不占用磁盘空间，最大可以占用一整块磁盘，也就是，一个DB单元可以不申请数据块空间，也可以申请一整块磁盘的空间。单个DB单元只部署在一块磁盘上，但一块磁盘可以按照磁盘容量和单个DB单元的大小，部署多个DB单元。
在KV存储系统中，key是value文件的索引信息，因此可以基于value文件的key选取一个目标DB单元，以用于实现该value文件的存储，下文对具体的存储方式进行示例性介绍。
可选地，在一种实现方式中，所述基于所述key，从多个数据库DB单元中，选取目标DB单元，包括：
对所述key进行哈希运算，得到待利用哈希值；
根据关于哈希值与DB单元的映射关系，以及所述待利用哈希值，从多个DB单元中，确定目标DB单元。
为了使得各个文件在存储时，均衡地存储到各个存储服务器中，可以基于负载均衡原则，预先建立关于哈希值与DB单元的映射关系，该映射关系中记录有多个哈希值，以及每个哈希值所对应的DB单元。这样，在待存储文件的key经过哈希运算，得到待利用哈希值后，可以根据关于哈希值与DB单元的映射关系，以及所述待利用哈希值，从多个DB单元中，确定目标DB单元。可以理解的是，哈希运算可以将任意长度的二进制值映射为固定长度的较小二进制值，这个小的二进制值称为哈希值，哈希值是一段数据唯一且极其紧凑的数值表示形式。
示例性的，根据关于哈希值与DB单元的映射关系，以及所述待利用哈希值，从多个DB单元中，确定目标DB单元可以包括：从关于哈希值与DB单元的映射关系中，确定与所述待利用哈希值对应的DB单元，作为目标DB单元。
S103，确定所述目标DB单元所位于的存储服务器，作为目标服务器；
由于各个DB单元是分布于多个存储服务器中，因此，在确定出目标DB单元后，可以确定所述目标DB单元所位于的存储服务器，作为目标服务器，最终由该目标服务器中部署的存储实例调用目标DB单元来实现对待存储文件的数据操作。可以理解的是，可以预先记录各个DB单元与所位于的存储服务器的对应关系，这样，在确定出目标DB单元后，可以基于该对应关系，来确定出目标DB单元所位于的存储服务器。
S104，向所述目标服务器发送所述待存储文件和key，以使所述目标服务器调用所述目标DB单元，以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并记录所述key和写入有所述待存储文件的空间位置信息的对应关系。
在一种实现方式中，代理服务器还可以向所述目标服务器发送所述目标DB单元的标识，以使所述目标服务器基于所接收到的标识，确定所述目标DB单元。
另外，通过调用所述目标DB单元进行数据存储时，可以按照顺序写入空间的规则，来将待存储文件按照顺序预先申请的数据块空间中，所谓调用目标DB单元，即是让该目标DB单元来执行待存储文件的写入。其中，数据块空间可以有固定的存储容量，存储时，在当前操作的数据块空间中不断写入待存储文件，直到用完该数据块空间的存储容量。并且，通过所述目标DB单元记录所述key和写入有所述待存储文件的空间位置信息的对应关系时，可以将对应关系记录在预定的用于存储键的存储引擎中。关于通过调用目标DB单元进行存储的具体实现方式可以参见下文中从目标服务器角度所提供的数据存储方法的实施例内容。
本实施例中，通过待存储文件的key，选定出位于存储服务器中的目标DB单元，进而，通过目标DB单元，将待存储文件写入到预先申请的数据块空间中，并记录key和待存储文件的空间位置信息的对应关系。由于DB单元预先申请的数据块空间可以用于存储多个待存储文件，因此，通过调用DB单元将待存储文件写入到预先申请的数据块空间中，无需每次存储文件时均进行存储空间的申请，这样可以避免相关技术中将数据量较小且大量的待存储文件直接写入到存储服务器时，所带来的存储空间申请频繁以及存储空间碎片化严重的问题。因此，通过本方案，针对数量庞大且数据量较小的文件，可以有效地存储到磁盘空间较大的存储服务器中。另外，本公开所提供的方案可以适用于各种存储空间规格的磁盘和存储服务器，提升了选择存储服务器的灵活性。
可选地，在本公开的另一实施例中，当所述KV存储系统进行集群扩容后，即增加新的存储服务器后，为了实现负载均衡，可以执行DB迁移和数据迁移，那么，本公开所提供的一种数据存储方法还可以包括如下步骤A1-A3：
步骤A1，当所述KV存储系统进行集群扩容后，按照负载均衡原则，从多个DB单元中，选取待迁移DB单元；
由于DB单元是通过key的哈希值确定的，在系统扩容的时候，原则上DB单元的数量需要保持不变。如果DB单元的数量发生变化，则原有每个DB单元中的数据都需要部分迁移到新增的DB单元中，而在这个过程中需要读取全量数据，按新的哈希规则，迁移一部分数据到新增的DB单元并删除原DB单元中已迁移的数据，回收空余空间，计算开销比较耗时。此外，这种扩容方式中DB单元的数量是成倍的增长，无法做到按需扩容。
因此，本实施例中，可以在创建缓存集群时，即初始化KV存储系统时，可以按照产品需要和预估数据量，初始化足够数量的DB单元，比如100万个。那么，在对所述KV存储系统进行集群扩容后，只需要将少量的DB单元以及磁盘中的数据迁移到新扩容的存储服务器中即可。基于该种思路，当所述KV存储系统进行集群扩容后，可以按照负载均衡原则，从多个DB单元中，选取待迁移DB单元。
其中，代理服务器可以从各个存储服务器中获取如下内容：各个DB单元所申请的数据块空间中的文件的数据量；这样，代理服务器可以基于各个DB单元所申请的数据块空间中的文件的数据量，并按照负载均衡的原则，确定出待迁移DB单元。在将待迁移DB单元以及待迁移DB单元数申请的数据块空间的文件，迁移至扩容的服务器后，KV存储系统中的各个存储服务器负载均衡
步骤A2，确定待迁移DB单元所位于的存储服务器，作为指定服务器；
其中，确定待迁移DB单元所位于的存储服务器的方式，与上述实施例中确定目标DB单元所位于存储服务器的方式类似，在此不做赘述。
步骤A3，向所述指定服务器发送针对所述待迁移DB单元的迁移指令，以使所述指定服务器将所述待迁移DB单元和所述待迁移进程所申请的数据块空间的数据，对应迁移到扩容服务器中。
其中，所述指定服务器在接收到迁移指令后，可以将所述待迁移DB单元和所述待迁移进程所申请的数据块空间的数据，对应迁移到扩容服务器中。所谓的扩容服务器，即新增加至KV存储系统中的存储服务器。
这样，指定服务器中不再存在所述待迁移DB单元，待迁移DB单元所申请的数据块空间中的数据被删除，删除数据后的数据块空间(也可以称为空洞空间)可以被回收。并且，在迁移完成后，代理服务器中可以更改待迁移DB单元所位于的存储服务器，即将待迁移DB单元记录为位于扩容服务器中。
示例性的，如图3所示，存储服务器3为预先增设的扩容服务器。存储服务器1磁盘1中的DB单元3、磁盘2中的DB单元6迁移到存储服务器3的磁盘9中；存储服务器1磁盘3中的DB单元9、磁盘4中的DB单元12迁移到存储服务器3的磁盘10中；存储服务器2磁盘5中的DB单元15、磁盘6中的DB单元18迁移到存储服务器3的磁盘11中；存储服务器2磁盘7中的DB单元21、磁盘8中的DB单元24迁移到存储服务器3的磁盘12中。这样可以最少只需要一台扩容机器，且每次扩容，只需要迁移少量的DB单元到新扩容的机器上，最大限度降低原有DB单元的数据迁移和回收工作量。
上述图3所示的示例中，将各个DB与所申请数据块空间所位于的磁盘，进行关联，例如：所谓的磁盘1中的DB1具体指：申请有磁盘1的数据块空间的DB1，而所谓的磁盘2中的DB4具体指：申请有磁盘2的数据块空间的DB2。
本实施例中，从多个DB单元中，选取待迁移DB单元，向指定服务器发送针对所述待迁移DB单元的迁移指令，以使所述指定服务器将所述待迁移DB单元和所述待迁移进程所申请的数据块空间的数据，对应迁移到扩容服务器中。可见，通过本方案，针对数量庞大且数据量较小的文件，可以有效地存储到磁盘空间较大的存储服务器中。进一步地，通过选取部分待迁移的DB单元迁移到扩容服务器中，可以提高扩容效率，同时节约存储资源。
可选地，在本公开的另一实施例中，所述根据关于哈希值与DB单元的映射关系，以及所述待利用哈希值，从多个DB单元中，确定目标DB单元，可以包括步骤B1-B4：
步骤B1，从关于哈希值与DB单元的映射关系中，确定所述待利用哈希值对应的DB单元，作为备选单元；
考虑到系统扩容到一定程度后，单个DB单元的数据量会变得过大，为了能够继续为单个DB单元分配待存储的数据，此时可以将单个DB单元分裂成至少两个从属单元。从属单元用于管理所述备选单元的数据块空间中的数据，且可以位于不同的存储服务器中，也就是，备选单元的数据块空间中的数据被分布于不同的存储服务器的数据块空间中。
需要说明的是，不需要所有DB单元同时分裂，可以将所有DB单元按实际容量从大到小，依次进行分裂，分裂的数量可以自行设定，或者在分裂的过程中随时停止。这样做的好处是，能够尽可能减小DB单元分裂对系统的影响，包括减少数据迁移量、减少DB单元分裂所需机器数、减少DB单元分裂整体周期等。
步骤B2，检测所述备选单元是否符合预定条件，所述预定条件为分裂为至少两个从属单元；
步骤B3，如果否，将所述备选单元，确定为目标DB单元；
步骤B4，如果是，按照预定的从属单元确定方式，从所述备选单元的各个从属单元中，选取待利用的从属单元，作为所述目标DB单元。
由于部分DB单元已经分裂，因此，部分DB单元具有下一级的从属单元。而通过哈希值与DB单元的映射关系仅仅能够确定出DB单元这一层级，因此，现根据哈希值与DB单元的映射关系，确定该待利用哈希值对应的DB单元，作为备选单元，并检测该备选单元有没有分裂，如果没有，则直接确定该备选单元为目标DB单元；若已经分裂，则按照预定的从属单元确定方式，从所述备选单元的各个从属单元中，选取待利用的从属单元，作为目标DB单元。可以理解的是，某个DB单元具有一级DB id，该一级DB id用于构建关于哈希值与DB单元的映射关系；如该DB单元分裂为了多个从属单元，则有多个二级DB id以分别用于标识这多个从属单元，这样，在确定出备选单元分裂后，可以通过预定的从属单元确定方式，在多个从属单元中，选定出目标DB单元。
其中，预定的从属单元确定方式可以包括：随机地从各个二级DB id中选取一个二级DB id，将具有所选取的二级DB id的从属单元，作为目标DB单元；或者，预定的从属单元确定方式可以包括：对待存储文件的所述key通过另一种哈希算法进行哈希运算，基于哈希运算得到的哈希值，和预先设置的关于二级DB id与哈希值的映射关系，选取出待利用的二级DB id，将具有所选取的二级DB id的从属单元，作为目标DB单元。
对于存在分裂情况的DB单元而言，可以预先记录有各个DB单元以及相应从属单元之间的关系，以及各个单元所位于的存储服务器。示例性的，针对5个DB单元而言，DB单元0、2和3未进行分裂，DB单元1和4均分裂为两个从属单元，关于这五个DB单元以及相应从属单元之间的关系，以及各个单元所位于的存储服务器，可以如表1所示。
表1两级DB id对应的存储服务器
本实施例中，检测备选单元是否分裂，如果是，基于待利用哈希值，按照预定的从属单元确定方式，从所述备选单元的各个从属单元中，选取待利用的从属单元，作为目标DB单元。可见，通过本方案，可以避免将数据量较小且大量的待存储文件直接写入到存储服务器时，所带来的存储空间申请频繁以及存储空间碎片化严重的问题。进一步地，将DB单元分裂为多个从属单元，可以解决预先部署的DB单元数量不够的问题。
另外，基于上述的方法实施例，本公开提供了一种数据存储方法，应用于键值KV存储系统中的目标服务器，所述目标服务器为所述KV存储系统中的任一存储服务器，所述KV存储系统还包括代理服务器；所述方法包括：
获取所述代理服务器下发的作为值value的待存储文件，以及所述待存储文件的key；
从预先初始化的DB单元中，确定所述目标DB单元；
调用所述目标DB单元，以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并记录所述key和写入有所述待存储文件的空间位置信息的对应关系。
本实施例中，在获取到待存储文件和待存储文件的key后，确定位于目标存储服务器中的目标DB单元，进而，通过调用目标DB单元，将待存储文件写入到预先申请的数据块空间中，并记录key和待存储文件的空间位置信息的对应关系。可见，通过本方案，可以避免将数据量较小且大量的待存储文件直接写入到存储服务器时，所带来的存储空间申请频繁以及存储空间碎片化严重的问题。因此，通过本方案，针对数量庞大且数据量较小的文件，可以有效地存储到磁盘空间较大的存储服务器中。
如图4所示，从目标服务器的角度而言，本公开提供了一种数据存储方法，可以包括如下步骤：
S401，获取所述代理服务器下发的作为值value的待存储文件，以及所述待存储文件的key；
代理服务器在获取到待存储文件和待存储文件的key后，可以根据key的待利用哈希值，从预先初始化的DB单元中确定目标DB单元，并确定目标DB单元所在的目标服务器；进而，向目标服务器发送待存储文件以及待存储文件的key。相应的，目标服务器可以获取到所述代理服务器下发的作为值value的待存储文件，以及所述待存储文件的key，进而执行后续处理。
S402，从预先初始化的DB单元中，确定所述目标DB单元；
目标服务器确定目标DB单元，以使该目标DB单元进行对该待存储文件的数据处理。
示例性的，在一种实现方式中，代理服务器可以将目标DB单元的标识发送给目标服务器。这样，目标服务器可以直接基于接收到的目标DB单元的标识，从预先初始化的DB单元中，确定所述目标DB单元。
S403，调用所述目标DB单元，以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并记录所述key和写入有所述待存储文件的空间位置信息的对应关系。
其中，针对待存储文件而言，在存储时，待存储文件与待存储文件的key进行分离存储。示例性的，通过调用所述目标DB单元，以按照顺序写入空间的规则，将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并在预设的用于存储键的存储引擎中，例如RockSDB引擎，记录所述key和写入有所述待存储文件的空间位置信息的对应关系。其中，所谓的顺序写入空间的规则即按照地址顺序，依次进行文件写入的规则。
并且，需要说明的是，每个DB单元可以申请数据块空间，数据块空间可以为指定大小，例如1G，待写满后，DB单元可以申请新的数据块空间。每一个数据块空间可以表现为一个目录，目录中存在已存储的多个文件，这样，每个DB单元可以管理一个或多个DB目录。
本实施例中，在获取到待存储文件和待存储文件的key后，确定位于目标存储服务器中的目标DB单元，进而，通过调用目标DB单元，将待存储文件写入到预先申请的数据块空间中，并记录key和待存储文件的空间位置信息的对应关系。可见，通过本方案，可以避免将数据量较小且大量的待存储文件直接写入到存储服务器时，所带来的存储空间申请频繁以及存储空间碎片化严重的问题。因此，通过本方案，针对数量庞大且数据量较小的文件，可以有效地存储到磁盘空间较大的存储服务器中。
可选地，在本公开的另一实施例中，该方法还可以包括：
在任一DB单元所申请的数据块空间满足数据淘汰条件时，从满足数据淘汰条件的第一数据块空间中，选取预定比例的文件；其中，所述预定比例的文件的写入时间均早于所述第一数据块空间中的其他文件；
删除所述预定比例的文件。
对于待存储文件是图片的缩略图和预览图时，一般情况下，用户对最近上传的图片访问的概率更高，且从全局来看，一年内被访问的图片数占比不到10％。所以，我们无需存储全部图片文件的缩略图和预览图，只需要在任一DB单元所申请的数据块空间满足数据淘汰条件时，从满足数据淘汰条件的第一数据块空间中，删除一定比例的最先存储的文件，就可以在满足用户需求的情况下，节约大量存储资源。其中，淘汰条件可以为，某个目标服务器中的磁盘空间被用完。在该空间用完的磁盘的所有DB单元中执行上述文件删除的步骤。
由于在存储待存储文件使用顺序存储，那么，最先存储的文件在最前面的位置，所以只需要在第一数据块空间中从头依次选取文件，直至选取的文件达到预定比例。
本实施例中，在任一DB单元所申请的数据块空间满足数据淘汰条件时，从满足数据淘汰条件的第一数据块空间中，选取预定比例的写入时间最早文件并删除，可见，通过本方案，可以避免将数据量较小且大量的待存储文件直接写入到存储服务器时，所带来的存储空间申请频繁以及存储空间碎片化严重的问题。进一步地，删除一定比例最先存储的文件，可以在满足用户的需求情况下，节约大量的存储资源。
可选地，在本公开的另一实施例中，该方法还可以包括：
在任一DB单元所申请的数据块空间中的指定文件，存在读取操作时，调用该DB单元，以将所述指定文件重写到第二数据块空间，并基于重写后的空间位置信息，更新所述指定文件的key与空间位置信息的对应关系；
其中，所述第二数据块空间为所述指定文件所属的数据块空间；所述指定文件为所述第二数据块空间的冷分区数据中的文件；所述冷分区数据中的文件的写入时间，均早于包含所述第二数据块空间中的其他文件。
考虑到用户会访问较早存储的文件，在这里将DB单元所申请的第二数据块空间中的文件，按比例及存储的先后顺序分为冷分区和热分区，例如最先存储的30％为冷分区，后存储的70％为热分区。如果在冷分区中的某一指定文件被访问，则将该指定文件重写到第二数据块空间，可见，此时该指定文件位于热分区中。对于热分区中的文件被访问时，不执行重新写入的操作。最后，基于重写后的空间位置信息，更新该指定文件的key与空间位置信息的对应关系。
示例性的，如图5所示，将DB单元申请的每一个数据块空间中文件，按照3:7的比例及存储的先后顺序，将文件分为冷分区和热分区。在满足数据淘汰条件时，将最先存储的10％直接淘汰。同时，在冷分区中的文件被访问时，将该文件重新写入到热分区中。
本实施例中，将第二数据块空间中最先存储的部分文件划分为冷分区，并在冷分区中的文件被访问时，重新写入该文件。可见，通过本方案可以避免将数据量较小且大量的待存储文件直接写入到存储服务器时，所带来的存储空间申请频繁以及存储空间碎片化严重的问题。进一步地，重新写入冷分区中被访问的文件，可以避免存储时间较早，但近期被重新访问的文件被删除。
基于上述实施例内容，可见，本公开所提供的上述的数据存储方法至少具有如下优势：
1、使用超大容量的低成本冷存储服务器，实现百KB级小value数据的磁盘缓存，相对于传统的实现方案(使用SSD或低密度HDD服务器)，能够降低50％以上的存储成本；2、针对网盘业务而言，结合网盘业务特性，在仅缓存20％图片文件的情况下，可以达到90％以上的访问命中率，在满足产品需求的同时，进一步降低存储成本；3、多DB单元的存储架构和扩容策略、以及DB单元内部基于冷热分区的数据淘汰机制，有效地简化了整个集群数据管理，和数据读、写、删的复杂度。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
本公开实施例还提供一种键值KV存储系统，如图6所示，所述KV存储系统包括代理服务器610和多个存储服务器620；
所述代理服务器610，用于获取作为值value的待存储文件，以及所述待存储文件的键key；基于所述key，从多个数据库DB单元中，选取目标DB单元；确定所述目标DB单元所位于的存储服务器，作为目标服务器；向所述目标服务器发送所述待存储文件和key；其中，所述多个DB单元为位于多个存储服务器中的、用于实现数据存储的进程；
所述任一存储服务器620，用于获取所述代理服务器下发的作为值value的待存储文件，以及所述待存储文件的key；从预先初始化的DB单元中，确定所述目标DB单元；调用所述目标DB单元，以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并记录所述key和写入有所述待存储文件的空间位置信息的对应关系。
本实施例中，通过待存储文件的key，选定出位于存储服务器中的目标DB单元，进而，通过目标DB单元，将待存储文件写入到预先申请的数据块空间中，并记录key和待存储文件的空间位置信息的对应关系。由于DB单元预先申请的数据块空间可以用于存储多个待存储文件，因此，通过调用DB单元将待存储文件写入到预先申请的数据块空间中，无需每次存储文件时均进行存储空间的申请，这样可以避免相关技术中将数据量较小且大量的待存储文件直接写入到存储服务器时，所带来的存储空间申请频繁以及存储空间碎片化严重的问题。因此，通过本方案，针对数量庞大且数据量较小的文件，可以有效地存储到磁盘空间较大的存储服务器中。
可选地，所述基于所述key，从多个数据库DB单元中，选取目标DB单元，包括：
对所述key进行哈希运算，得到待利用哈希值；
根据关于哈希值与DB单元的映射关系，以及所述待利用哈希值，从多个DB单元中，确定目标DB单元。
可选地，所述根据关于哈希值与DB单元的映射关系，以及所述待利用哈希值，从多个DB单元中，确定目标DB单元，包括：
从关于哈希值与DB单元的映射关系中，确定所述待利用哈希值对应的DB单元，作为备选单元；
检测所述备选单元是否符合预定条件，所述预定条件为分裂为至少两个从属单元；
如果否，将所述备选单元，确定为目标DB单元；
如果是，基于所述待利用哈希值，按照预定的从属单元确定方式，从所述备选单元的各个从属单元中，选取待利用的从属单元，作为所述目标DB单元。
可选地，代理服务器610还用于：当接收到访问端发送的文件访问指令时，获取待访问文件的目标key；基于所述目标key，从多个数据库DB单元中，选取待利用DB单元；确定所述待利用DB单元所位于的存储服务器，作为待访问服务器；向所述待访问服务器发送所述目标key；
任一存储服务器620，用于作为待访问服务器时，获取所述代理服务器下发的所述目标key；从预先初始化的DB单元中，确定所述待利用DB单元；调用所述待利用DB单元，以从预先记录的包含所述目标key的对应关系中，确定空间位置信息，从所确定的空间位置信息中读取所述目标key对应的文件，得到所述待访问文件；向所述代理服务器反馈所述待访问文件；
代理服务器610还用于：向所述访问端反馈所接收到的所述待访问文件。
可选地，所述确定所述目标DB单元所位于的存储服务器，作为目标服务器之后，所述代理服务器还用于：
向所述目标服务器发送所述目标DB单元的标识，以使所述目标服务器基于所接收到的标识，确定所述目标DB单元。
可选地，所述获取作为值value的待存储的待存储文件，以及所述待存储文件的键key，包括：
获取业务方发送的作为值value的待存储的待存储文件，以及所述待存储文件的key；
其中，所述key为所述业务方按照预定的生成规则所生成。
可选地，所述代理服务器610还用于，当所述KV存储系统进行集群扩容后，按照负载均衡原则，从多个DB单元中，选取待迁移DB单元；确定待迁移DB单元所位于的存储服务器，作为指定服务器；向所述指定服务器发送针对所述待迁移DB单元的迁移指令；
所述存储服务器中的指定服务器，用于将所述待迁移DB单元和所述待迁移进程所申请的数据块空间的数据，对应迁移到扩容服务器中。
可选地，调用所述目标DB单元，以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并记录所述key和写入有所述待存储文件的空间位置信息的对应关系，包括：
调用所述目标DB单元，以按照顺序写入空间的规则，将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并在预设的用于存储键的存储引擎中，记录所述key和写入有所述待存储文件的空间位置信息的对应关系。
可选地，任一存储服务器620还用于：
在任一DB单元所申请的数据块空间满足数据淘汰条件时，从满足数据淘汰条件的第一数据块空间中，选取预定比例的文件；其中，所述预定比例的文件的写入时间均早于所述第一数据块空间中的其他文件；
删除所述预定比例的文件。
可选地，任一存储服务器620还用于：
在任一DB单元所申请的数据块空间中的指定文件，存在读取操作时，调用该DB单元，以将所述指定文件重写到第二数据块空间，并基于重写后的空间位置信息，更新所述指定文件的key与空间位置信息的对应关系；
其中，所述第二数据块空间为所述指定文件所属的数据块空间；所述指定文件为所述第二数据块空间的冷分区数据中的文件；所述冷分区数据中的文件的写入时间，均早于包含所述第二数据块空间中的其他文件。
根据本公开的实施例，本公开还提供一种数据存储装置，应用于键值KV存储系统中的代理服务器；所述KV存储系统还包括多个存储服务器；如图7所示，所述装置包括：
获取模块710，用于获取作为值value的待存储文件，以及所述待存储文件的键key；
选取模块720，用于基于所述key，从多个数据库DB单元中，选取目标DB单元；其中，所述多个DB单元为位于多个存储服务器中的、用于实现数据存储的进程；
确定模块730，用于确定所述目标DB单元所位于的存储服务器，作为目标服务器；
发送模块740，用于向所述目标服务器发送所述待存储文件和key，以使所述目标服务器调用所述目标DB单元，以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并记录所述key和写入有所述待存储文件的空间位置信息的对应关系。
可选地，选取模块720，包括：
运算子模块，用于对所述key进行哈希运算，得到待利用哈希值；
确定子模块，用于根据关于哈希值与DB单元的映射关系，以及所述待利用哈希值，从多个DB单元中，确定目标DB单元。
可选地，确定子模块，包括：
确定单元，用于从关于哈希值与DB单元的映射关系中，确定所述待利用哈希值对应的DB单元，作为备选单元；
检测单元，用于检测所述备选单元是否符合预定条件，所述预定条件为分裂为至少两个从属单元；
第二确定单元，用于如果所述备选单元不符合所述预定条件，将所述备选单元，确定为目标DB单元；
选取单元，用于如果所述备选单元符合所述预定条件，基于所述待利用哈希值，按照预定的从属单元确定方式，从所述备选单元的各个从属单元中，选取待利用的从属单元，作为所述目标DB单元。
可选地，该装置还包括：
标识发送模块，用于向所述目标服务器发送所述目标DB单元的标识，以使所述目标服务器基于所接收到的标识，确定所述目标DB单元。
可选地，获取模块，具体用于，获取业务方发送的作为值value的待存储的待存储文件，以及所述待存储文件的key；其中，所述key为所述业务方按照预定的生成规则所生成。
本公开还提供一种数据存储装置，应用于键值KV存储系统中的目标服务器，所述目标服务器为所述KV存储系统中的任一存储服务器，所述KV存储系统还包括代理服务器；如图8所示，所述装置包括：
第二获取模块810，用于获取所述代理服务器下发的作为值value的待存储文件，以及所述待存储文件的key；
第二确定模块820，用于从预先初始化的DB单元中，确定所述目标DB单元；
写入模块830，用于调用所述目标DB单元，以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并记录所述key和写入有所述待存储文件的空间位置信息的对应关系。
可选地，写入模块，具体用于，调用所述目标DB单元，以按照顺序写入空间的规则，将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并在预设的用于存储键的存储引擎中，记录所述key和写入有所述待存储文件的空间位置信息的对应关系。
可选地，该装置还包括：
第二选取模块，用于在任一DB单元所申请的数据块空间满足数据淘汰条件时，从满足数据淘汰条件的第一数据块空间中，选取预定比例的文件；其中，所述预定比例的文件的写入时间均早于所述第一数据块空间中的其他文件；
删除模块，用于删除所述预定比例的文件。
可选地，该装置还包括：
重写模块，用于在任一DB单元所申请的数据块空间中的指定文件，存在读取操作时，调用该DB单元，以将所述指定文件重写到第二数据块空间，并基于重写后的空间位置信息，更新所述指定文件的key与空间位置信息的对应关系；其中，所述第二数据块空间为所述指定文件所属的数据块空间；所述指定文件为所述第二数据块空间的冷分区数据中的文件；所述冷分区数据中的文件的写入时间，均早于包含所述第二数据块空间中的其他文件。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
本公开的一实施例，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述数据存储方法。
本公开的一实施例，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述数据存储方法。
本公开的一实施例，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述数据存储方法。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的数据存储方法。例如，在一些实施例中，数据存储方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的数据存储方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据存储方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种数据存储方法，应用于键值KV存储系统中的代理服务器；所述KV存储系统还包括多个存储服务器；所述方法包括：
获取作为值value的待存储文件，以及所述待存储文件的键key；
基于所述key，从多个数据库DB单元中，选取目标DB单元；其中，所述多个DB单元为位于多个存储服务器中的、用于实现数据存储的进程；
确定所述目标DB单元所位于的存储服务器，作为目标服务器；
向所述目标服务器发送所述待存储文件和key，以使所述目标服务器调用所述目标DB单元，以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并记录所述key和写入有所述待存储文件的空间位置信息的对应关系；
其中，所述基于所述key，从多个数据库DB单元中，选取目标DB单元，包括：
对所述key进行哈希运算，得到待利用哈希值；
根据关于哈希值与DB单元的映射关系，以及所述待利用哈希值，从多个DB单元中，确定目标DB单元。
2.根据权利要求1所述的方法，其中，所述根据关于哈希值与DB单元的映射关系，以及所述待利用哈希值，从多个DB单元中，确定目标DB单元，包括：
从关于哈希值与DB单元的映射关系中，确定所述待利用哈希值对应的DB单元，作为备选单元；
检测所述备选单元是否符合预定条件，所述预定条件为分裂为至少两个从属单元；
如果否，将所述备选单元，确定为目标DB单元；
如果是，按照预定的从属单元确定方式，从所述备选单元的各个从属单元中，选取待利用的从属单元，作为所述目标DB单元。
3.根据权利要求1-2任一项所述的方法，所述确定所述目标DB单元所位于的存储服务器，作为目标服务器之后，所述方法还包括：
向所述目标服务器发送所述目标DB单元的标识，以使所述目标服务器基于所接收到的标识，确定所述目标DB单元。
4.根据权利要求1-2任一项所述的方法，其中，所述获取作为值value的待存储的待存储文件，以及所述待存储文件的键key，包括：
获取业务方发送的作为值value的待存储的待存储文件，以及所述待存储文件的key；
其中，所述key为所述业务方按照预定的生成规则所生成。
5.根据权利要求1-2任一项所述的方法，其中，所述方法还包括：
当所述KV存储系统进行集群扩容后，按照负载均衡原则，从多个DB单元中，选取待迁移DB单元；
确定待迁移DB单元所位于的存储服务器，作为指定服务器；
向所述指定服务器发送针对所述待迁移DB单元的迁移指令，以使所述指定服务器将所述待迁移DB单元和所述待迁移进程所申请的数据块空间的数据，对应迁移到扩容服务器中。
6.一种数据存储方法，应用于键值KV存储系统中的目标服务器，所述目标服务器为所述KV存储系统中的任一存储服务器，所述KV存储系统还包括代理服务器；所述方法包括：
获取所述代理服务器下发的作为值value的待存储文件，以及所述待存储文件的key；
从预先初始化的DB单元中，确定目标DB单元；
调用所述目标DB单元，以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并记录所述key和写入有所述待存储文件的空间位置信息的对应关系；
其中，所述目标DB单元为所述代理服务器按如下方式选取的：
基于所述key，从多个数据库DB单元中，选取目标DB单元；
所述基于所述key，从多个数据库DB单元中，选取目标DB单元，包括：
对所述key进行哈希运算，得到待利用哈希值；
根据关于哈希值与DB单元的映射关系，以及所述待利用哈希值，从多个DB单元中，确定目标DB单元。
7.根据权利要求6所述的方法，其中，调用所述目标DB单元，以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并记录所述key和写入有所述待存储文件的空间位置信息的对应关系，包括：
调用所述目标DB单元，以按照顺序写入空间的规则，将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并在预设的用于存储键的存储引擎中，记录所述key和写入有所述待存储文件的空间位置信息的对应关系。
8.根据权利要求7所述的方法，还包括：
在任一DB单元所申请的数据块空间满足数据淘汰条件时，从满足数据淘汰条件的第一数据块空间中，选取预定比例的文件；其中，所述预定比例的文件的写入时间均早于所述第一数据块空间中的其他文件；
删除所述预定比例的文件。
9.根据权利要求8所述的方法，还包括：
在任一DB单元所申请的数据块空间中的指定文件，存在读取操作时，调用该DB单元，以将所述指定文件重写到第二数据块空间，并基于重写后的空间位置信息，更新所述指定文件的key与空间位置信息的对应关系；
其中，所述第二数据块空间为所述指定文件所属的数据块空间；所述指定文件为所述第二数据块空间的冷分区数据中的文件；所述冷分区数据中的文件的写入时间，均早于包含所述第二数据块空间中的其他文件。
10.一种键值KV存储系统，所述KV存储系统包括代理服务器和多个存储服务器；
所述代理服务器，用于获取作为值value的待存储文件，以及所述待存储文件的键key；基于所述key，从多个数据库DB单元中，选取目标DB单元；确定所述目标DB单元所位于的存储服务器，作为目标服务器；向所述目标服务器发送所述待存储文件和key；其中，所述多个DB单元为位于多个存储服务器中的、用于实现数据存储的进程；其中，所述基于所述key，从多个数据库DB单元中，选取目标DB单元，包括：对所述key进行哈希运算，得到待利用哈希值；根据关于哈希值与DB单元的映射关系，以及所述待利用哈希值，从多个DB单元中，确定目标DB单元；
所述任一存储服务器，用于作为所述目标服务器时，获取所述代理服务器下发的作为值value的待存储文件，以及所述待存储文件的key；从预先初始化的DB单元中，确定所述目标DB单元；调用所述目标DB单元，以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并记录所述key和写入有所述待存储文件的空间位置信息的对应关系。
11.根据权利要求10所述的系统，其中，所述代理服务器还用于：当接收到访问端发送的文件访问指令时，获取待访问文件的目标key；基于所述目标key，从多个数据库DB单元中，选取待利用DB单元；确定所述待利用DB单元所位于的存储服务器，作为待访问服务器；向所述待访问服务器发送所述目标key；
任一存储服务器，用于作为待访问服务器时，获取所述代理服务器下发的所述目标key；从预先初始化的DB单元中，确定所述待利用DB单元；调用所述待利用DB单元，以从预先记录的包含所述目标key的对应关系中，确定空间位置信息，从所确定的空间位置信息中读取所述目标key对应的文件，得到所述待访问文件；向所述代理服务器反馈所述待访问文件；
所述代理服务器还用于：向所述访问端反馈所接收到的所述待访问文件。
12.一种数据存储装置，应用于键值KV存储系统中的代理服务器；所述KV存储系统还包括多个存储服务器；所述装置包括：
获取模块，用于获取作为值value的待存储文件，以及所述待存储文件的键key；
其中，所述获取模块包括：对所述key进行哈希运算，得到待利用哈希值；根据关于哈希值与DB单元的映射关系，以及所述待利用哈希值，从多个DB单元中，确定目标DB单元；
选取模块，用于基于所述key，从多个数据库DB单元中，选取目标DB单元；其中，所述多个DB单元为位于多个存储服务器中的、用于实现数据存储的进程；
确定模块，用于确定所述目标DB单元所位于的存储服务器，作为目标服务器；
发送模块，用于向所述目标服务器发送所述待存储文件和key，以使所述目标服务器调用所述目标DB单元，以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并记录所述key和写入有所述待存储文件的空间位置信息的对应关系。
13.一种数据存储装置，应用于键值KV存储系统中的目标服务器，所述目标服务器为所述KV存储系统中的任一存储服务器，所述KV存储系统还包括代理服务器；所述装置包括：
第二获取模块，用于获取所述代理服务器下发的作为值value的待存储文件，以及所述待存储文件的key；
第二确定模块，用于从预先初始化的DB单元中，确定目标DB单元；
写入模块，用于调用所述目标DB单元，以将所述待存储文件写入所述目标DB单元所申请的、当前操作的数据块空间，并记录所述key和写入有所述待存储文件的空间位置信息的对应关系；
其中，所述目标DB单元为所述代理服务器按如下方式选取的：
基于所述key，从多个数据库DB单元中，选取目标DB单元；
所述基于所述key，从多个数据库DB单元中，选取目标DB单元，包括：
对所述key进行哈希运算，得到待利用哈希值；
根据关于哈希值与DB单元的映射关系，以及所述待利用哈希值，从多个DB单元中，确定目标DB单元。
14.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
15.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。
CN202111117089.6A 2021-09-23 2021-09-23 数据存储方法、系统、装置、设备及存储介质 Active CN113806300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111117089.6A CN113806300B (zh) 2021-09-23 2021-09-23 数据存储方法、系统、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111117089.6A CN113806300B (zh) 2021-09-23 2021-09-23 数据存储方法、系统、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113806300A CN113806300A (zh) 2021-12-17
CN113806300B true CN113806300B (zh) 2023-08-01

Family

ID=78940196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111117089.6A Active CN113806300B (zh) 2021-09-23 2021-09-23 数据存储方法、系统、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113806300B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579061B (zh) * 2022-04-28 2022-07-29 苏州浪潮智能科技有限公司 一种数据存储方法、装置、设备及介质
CN116662017B (zh) * 2023-07-27 2023-10-10 山东溯源安全科技有限公司 一种工控服务器读写顺序确定方法、设备及介质
CN116909490B (zh) * 2023-09-11 2024-01-05 腾讯科技（深圳）有限公司 数据处理方法、装置、存储系统及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110515957A (zh) * 2019-09-02 2019-11-29 深圳市网心科技有限公司 一种区块链数据存储的方法、系统、设备及可读存储介质
CN111104386A (zh) * 2019-11-04 2020-05-05 北京海益同展信息科技有限公司 一种文件存储方法、终端及存储介质
CN112698783A (zh) * 2019-10-22 2021-04-23 北京金山云网络技术有限公司 对象存储方法、装置及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607004B2 (en) * 2014-06-18 2017-03-28 International Business Machines Corporation Storage device data migration

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110515957A (zh) * 2019-09-02 2019-11-29 深圳市网心科技有限公司 一种区块链数据存储的方法、系统、设备及可读存储介质
CN112698783A (zh) * 2019-10-22 2021-04-23 北京金山云网络技术有限公司 对象存储方法、装置及系统
CN111104386A (zh) * 2019-11-04 2020-05-05 北京海益同展信息科技有限公司 一种文件存储方法、终端及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于超元数据缓存的高速数据访问系统;张震伟;马雁云;;广东通信技术(第09期);第32-37页 *

Also Published As

Publication number Publication date
CN113806300A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
KR102240557B1 (ko) 데이터 저장 방법, 장치 및 시스템
CN113806300B (zh) 数据存储方法、系统、装置、设备及存储介质
US9684702B2 (en) Database redistribution utilizing virtual partitions
CN104020961B (zh) 分布式数据存储方法、装置及系统
CN107832423B (zh) 一种用于分布式文件系统的文件读写方法
US10649905B2 (en) Method and apparatus for storing data
KR20220038827A (ko) 데이터 저장소를 파티셔닝하고 리밸런싱하는 기법
CN111177143B (zh) 键值数据存储方法、装置、存储介质与电子设备
CN109933312B (zh) 一种有效降低容器化关系型数据库i/o消耗的方法
CN110347651A (zh) 基于云存储的数据同步方法、装置、设备及存储介质
US11947842B2 (en) Method for writing data in append mode, device and storage medium
CN113961510B (zh) 一种文件处理方法、装置、设备及存储介质
CN103501319A (zh) 一种低延迟的面向小文件的分布式存储系统
CN114035750A (zh) 文件处理方法、装置、设备、介质及产品
US11157456B2 (en) Replication of data in a distributed file system using an arbiter
CN113190384B (zh) 基于纠删码的数据恢复控制方法、装置、设备及介质
CN113326262A (zh) 基于键值数据库的数据处理方法、装置、设备及介质
CN107797758B (zh) 数据存储方法、数据访问方法及装置
CN114490540B (zh) 数据存储方法、介质、装置和计算设备
CN117082046A (zh) 数据上传方法、装置、设备及存储介质
CN114579061B (zh) 一种数据存储方法、装置、设备及介质
CN113986134B (zh) 存储数据的方法、读取数据的方法和装置
CN115238006A (zh) 检索数据同步方法、装置、设备及计算机存储介质
CN113867626A (zh) 一种存储系统性能优化方法、系统、设备和存储介质
CN113626382A (zh) 分布式文件系统中聚合对象的索引方法、系统及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant