CN116880776B - 一种存储数据的数据处理系统 - Google Patents

一种存储数据的数据处理系统 Download PDF

Info

Publication number
CN116880776B
CN116880776B CN202311145065.0A CN202311145065A CN116880776B CN 116880776 B CN116880776 B CN 116880776B CN 202311145065 A CN202311145065 A CN 202311145065A CN 116880776 B CN116880776 B CN 116880776B
Authority
CN
China
Prior art keywords
data
preset
storage
disk
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311145065.0A
Other languages
English (en)
Other versions
CN116880776A (zh
Inventor
曹敬涛
钱慧奇
丁晓杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Kaixiang Information Technology Co ltd
Original Assignee
Shanghai Kaixiang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Kaixiang Information Technology Co ltd filed Critical Shanghai Kaixiang Information Technology Co ltd
Priority to CN202311145065.0A priority Critical patent/CN116880776B/zh
Publication of CN116880776A publication Critical patent/CN116880776A/zh
Application granted granted Critical
Publication of CN116880776B publication Critical patent/CN116880776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及数据存储技术领域，特别是涉及一种存储数据的数据处理系统，所述系统包括：第一预设盘、第二预设盘、处理器和存储有计算机程序的存储器，所述第一预设盘和所述第二预设盘的缓存速度处于不同预设范围，且所述第一预设盘的缓存速度大于所述第二预设盘的缓存速度，所述第一预设盘包括若干个预设存储区域，所述第一预设盘中存储有所述第二预设盘的关键数据信息，所述关键数据信息包括所述第二预设盘的标识和存储路径。本发明提供了一种新的存储数据的数据处理系统，能够在保护数据完整性和安全性的同时，还能够提高读写效率；能够减少刷数据的次数，从而减少io负载。

Description

一种存储数据的数据处理系统
技术领域
本发明涉及数据存储技术领域，特别是涉及一种存储数据的数据处理系统。
背景技术
当应用程序或软件在缓存数据时，为了使其快速地访问到被频繁访问的数据，中央处理单元会在其最近的内存位置中查找数据，为了提高数据的缓存效率，一般是先在高速盘（Solid State Drives，SSD）中缓存，若高速盘没有实现缓存命中，则直接缓存到慢速盘（Serial ATA，sata）中，但上述现有技术还存在以下问题：
一方面，为了保证缓存数据的安全性和完整性，在缓存时会以日志的形式来存储数据，然而在高速盘没有被缓存命中时，会直接将数据缓存到慢速盘中，而慢速盘的性能低下，在输入/输出（Input/Output，I/O）离散并行的情况下，影响读写效率。
另一方面，当高速盘中的存储空间占用较多时，会影响高速盘的读写性能，为了解放高速盘的存储空间，会将部分数据从高速盘中搬移出，这一过程也会影响高速盘的性能，增加I/O负载。
发明内容
针对上述技术问题，本发明采用的技术方案为：
一种存储数据的数据处理系统，所述系统包括：第一预设盘、第二预设盘、处理器和存储有计算机程序的存储器，所述第一预设盘和所述第二预设盘的缓存速度处于不同预设范围，且所述第一预设盘的缓存速度大于所述第二预设盘的缓存速度，所述第一预设盘包括若干个预设存储区域，所述第一预设盘中存储有所述第二预设盘的关键数据信息，所述关键数据信息包括所述第二预设盘的标识和存储路径，当所述计算机程序被处理器执行时，实现以下步骤：
S100，获取目标写请求对应的第一请求信息；所述目标写请求是指用户发送的目标存储请求信号；所述第一请求信息包括所述目标写请求对应的存储数据和所述存储数据的字节数α；
S200，根据α，从若干个预设存储区域中的目标存储区域中获取第一存储单元集A={A1，……，Ai，……，Am}，其中，Ai为第i个第一存储单元，i=1……m，m为第一存储单元的数量，所述第一存储单元为目标存储区域中的若干个预设存储单元中剩余存储空间≥α的任一存储单元，任意两个第一存储单元的总存储空间相等，所述目标存储区域为预先配置的用于存储写请求对应的存储数据的存储区域；
S300，若m＞0，将所述存储数据随机存储至所述第一存储单元集中的任一第一存储单元；
S400，若m=0，从所述目标存储区域中获取第二存储单元集B={B1，……，Bj，……，Bn}，其中，Bj为第j个第二存储单元，j=1……n，n为第二存储单元的数量，所述第二存储单元与所述第一存储单元的存储空间相等；
S500，若B中未存储有不符合预设规则的数据，将所述存储数据存储至n个第二存储单元中；
S600，若B中的任一第二存储单元中有不符合预设规则的数据，根据所述第二预设盘的标识和存储路径，将所述不符合预设规则的数据存储至所述第二预设盘；
S700，将所述存储数据存储至所述第一预设盘。
本发明与现有技术相比具有明显的有益效果，借由上述技术方案，本发明提供的一种存储数据的数据处理系统可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有以下有益效果：
本发明提供了一种存储数据的数据处理系统，所述系统包括：第一预设盘、第二预设盘、处理器和存储有计算机程序的存储器，所述第一预设盘包括若干个预设存储区域，当所述计算机程序被处理器执行时，实现以下步骤：获取目标写请求对应的第一请求信息；所述目标写请求是指用户发送的目标存储请求信号，所述第一请求信息包括所述目标写请求对应的存储数据和所述存储数据的字节数α，根据α，从若干个预设存储区域中的目标存储区域中获取第一存储单元集A，若第一存储单元的数量大于0，将所述存储数据随机存储至所述第一存储单元集中的任一第一存储单元，若第一存储单元的数量等于0，从所述目标存储区域中获取第二存储单元集B，若B中未存储有不符合预设规则的数据，将所述存储数据存储至n个第二存储单元中，若B中的任一第二存储单元中有不符合预设规则的数据，根据所述第二预设盘的标识和存储路径，将所述不符合预设规则的数据存储至所述第二预设盘，将所述存储数据存储至所述第一预设盘。本发明提供了一种新的存储数据的数据处理系统，一方面，所有写请求的数据都要分配在第一预设盘中进行存储，保护数据完整性和安全性的同时，还能够提高读写效率；另一方面，根据存储单元中的数据块的划分，将同一数据块内的不符合预设规则的数据合并刷到第二预设盘，能够减少刷数据的次数，从而减少io负载，并且能够留出第一预设盘的部分空间，以存储更多数据。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种存储数据的数据处理系统的执行计算机程序的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明提供了一种存储数据的数据处理系统，所述系统包括：第一预设盘、第二预设盘、处理器和存储有计算机程序的存储器，所述第一预设盘和所述第二预设盘的缓存速度处于不同预设范围，且所述第一预设盘的缓存速度大于所述第二预设盘的缓存速度，所述第一预设盘包括若干个预设存储区域，所述第一预设盘中存储有所述第二预设盘的关键数据信息，所述关键数据信息包括所述第二预设盘的标识和存储路径。
具体的，所述第二预设盘为预设的慢速盘，例如，sata硬盘。
在一个具体的实施例中，通过如下步骤获取第一预设盘：
S010，获取初始预设盘。
具体的，所述初始预设盘为预设的高速盘，例如，SSD硬盘。
S020，根据所述初始预设盘，获取所述初始预设盘对应的预设存储区域集C={C1，……，CP，……，Cq}，其中，CP为第p个预设存储区域，p=1……q，q为预设存储区域的数量。
在一个具体的实施例中，在S020中还通过如下步骤获取C：
S021，根据所述第一预设盘的若干个预设存储信息，从所述初始预设盘中获取q个预设存储区域；可以理解为：根据不同的预设存储信息，将所述初始预设盘划分为q个预设存储区域；不同的预设存储区域用于存储不同的预设存储信息；所述预设存储信息是指根据用户输入的请求提供对应数据的信息。
具体的，各预设存储区域的大小根据实际需求进行划分。
S022，根据q个预设存储区域，获取C；可以理解为：将q个预设存储区域组成预设存储区域集C。
上述，通过将初始预设盘划分成若干个预设存储区域，能够存储对应的预设存储信息，通过存储第二预设盘的标识和存储路径，便于将第一预设盘中的数据写入第二预设盘；通过存储写入的数据，能够保证数据的完整性，同时提高存储效率。
S030，根据q个预设存储区域，获取第一预设盘。
在一个具体的实施例中，当所述计算机程序被处理器执行时，如图1所示，实现以下步骤：
S100，获取目标写请求对应的第一请求信息。
具体的，所述目标写请求是指用户发送的目标存储请求信号；所述第一请求信息包括所述目标写请求对应的存储数据和所述存储数据的字节数α。
S200，根据α，从若干个预设存储区域中的目标存储区域中获取第一存储单元集A={A1，……，Ai，……，Am}，其中，Ai为第i个第一存储单元，i=1……m，m为第一存储单元的数量。
具体的，所述第一存储单元为目标存储区域中的若干个预设存储单元中剩余存储空间≥α的任一存储单元，任意两个第一存储单元的总存储空间相等，所述目标存储区域为预先配置的用于存储写请求对应的存储数据的存储区域；可以理解为：将所述目标存储区域平均划分成若干个预设存储单元，所述预设存储单元的存储空间根据实际需求确定，例如，每个预设存储单元的存储空间为8K。
具体的，剩余存储空间为所述预设存储单元中还未存储有数据的空间；例如，存储空间为8K的预设存储单元中已存储有3K的数据，则其剩余存储空间为5K。
上述，通过所述存储数据的字节数并根据字节数的大小，能够从目标存储区域中选取对应的存储单元，以实现对存储数据的存储。
S300，若m＞0，将所述存储数据随机存储至所述第一存储单元集中的任一第一存储单元。可以理解为：若m=1，将所述存储数据存储至唯一的第一存储单元中，若m＞1，将所述存储数据随机存储至其中一个第一存储单元中。
S400，若m=0，从所述目标存储区域中获取第二存储单元集B={B1，……，Bj，……，Bn}，其中，Bj为第j个第二存储单元，j=1……n，n为第二存储单元的数量，所述第二存储单元与所述第一存储单元的存储空间相等；可以理解为，若所述目标存储区域中不存在大于所述存储数据的字节数的存储单元，则分配多个存储单元实现对存储数据的存储。
在一个具体的实施例中，在S400中还通过如下步骤获取B：
S401，根据α，从所述目标存储区域中依次获取第二存储单元和所述第二存储单元的剩余存储空间；
S402，根据获取的若干个第二存储单元的剩余存储空间，获取若干个第二存储单元的总剩余存储空间BB，其中BB符合如下条件：
BB=∑z t=1BBt，其中，BBt为第t个第二存储单元的剩余存储空间，z为第二存储单元的数量；
S403，当BB≥α时，获取B。
上述，在根据所述存储数据的字节数分配存储空间时，根据依次获取的第二存储单元，统计获取的第二存储单元的剩余存储空间之和，直至剩余存储空间之和大于或等于所述存储数据的字节数，完成存储空间的分配，以实现存储数据的完整保存。
S500，若B中未存储有不符合预设规则的数据，将所述存储数据存储至n个第二存储单元中；
具体的，预设规则为本领域技术人员根据实际需求设定的规则，例如，不符合预设规则的数据为脏数据，脏数据是指数据不再给定的范围内或对于实际业务毫无意义，获取数据格式非法，并存在不规范的编码和不清楚的业务逻辑，本领域技术人员知晓所述脏数据的类型，在此不再赘述。
在一个具体的实施例中，在S500中还包括如下步骤：
S501，根据n个第二存储单元的预设存储顺序，获取B对应的预设存储单元集B0={B0 1，……，B0 j，……，B0 n}，其中，B0 j为第j个预设存储单元；可以理解为：B0 1为第一个存储的预设存储单元，B0 n为最后一个存储的预设存储单元。
S502，根据B0，当B0 j存满数据时，将所述存储数据中的剩余数据存储至B0 j+1中，直至所述存储数据完全存储至n个第二存储单元中。
具体的，所述剩余数据是指B0 j存满数据时，所述存储数据中还未存储的数据。
上述，根据n个预设存储单元的存储顺序，能够将存储数据依次存储在n个预设存储单元中，保证数据存储的完整性和有序性。
S600，若B中的任一第二存储单元中有不符合预设规则的数据，根据所述第二预设盘的标识和存储路径，将所述不符合预设规则的数据存储至所述第二预设盘。
上述，通过将不符合预设规则的数据存储至第二预设盘，能够释放出第一预设盘的部分存储空间，并保证第一预设盘中数据存储的安全性。
S700，将所述存储数据存储至所述第一预设盘。
上述，通过根据所述存储数据的字节数大小，对第一预设盘进行处理，使所述存储数据能够完整地存储在第一预设盘中，保证了数据的完整性和安全性，同时相对于第二预设盘，还能提高数据的缓存效率以及后续读取数据的效率。
在另一个具体的实施例中，当所述计算机程序被处理器执行时，还用于实现以下步骤：
S1，获取目标读请求对应的第二请求信息。
具体的，所述目标读请求是指用户发送的目标读取请求信号；所述第二请求信息包括所述目标读请求对应的请求数据。
S2，若所述第一预设盘中不存在与所述请求数据对应的数据，从所述第二预设盘中获取第一关键数据；所述第一关键数据为所述第二预设盘中与所述请求数据对应的数据。
具体的，若第一预设盘中不存在与所述请求数据对应的数据，根据第一预设盘内存储的第二预设盘的标识和存储路径，从第二预设盘内获取第一关键数据。
S3，若所述第一预设盘中存在所有请求数据对应的数据，从所述第一预设盘中获取第二关键数据；所述第二关键数据为所述第一预设盘中与所述请求数据对应的数据。
上述，根据所述请求数据，能够首先在第一预设盘中获取对应的数据，提高读取效率，若第一预设盘未存储对应的数据时，再从第二预设盘读取效率，保证数据读取的完整性。
在一个具体的实施例中，在S3之后还包括如下步骤：
S4，若所述第一预设盘中存在部分所述请求数据对应的数据，从所述第一预设盘中获取第三关键数据的数据类型；所述第三关键数据为所述第一预设盘中与部分所述请求数据对应的数据；所述数据类型包括符合预设规则的数据和不符合预设规则的数据；
S5，若所述第三关键数据为符合预设规则的数据，从所述第二预设盘中获取第四关键数据；所述第四关键数据为所述第二预设盘中与部分所述请求数据对应的数据；
S6，若所述第三关键数据为不符合预设规则的数据，根据所述第三关键数据和所述第四关键数据，获取目标读取数据；所述目标读取数据为所述第三关键数据和所述第四关键数据合并后得到的数据。
上述，首先从第一预设盘中获取与部分请求数据对应的数据，再判断该数据是否是符合预设规则的数据，若不是，再从第二预设盘中读取对应的数据，能够保证读取的数据的完整性和安全性。
在另一个具体的实施例中，所述数据处理系统还包括清理线程，当所述计算机程序被处理器执行时，还实现以下步骤：
S001，根据所述目标存储区域中的任一预设存储单元，获取初始数据块集D={D1，……，Dg，……，Dh}，其中，Dg为第g个初始数据块，g=1……h，h为初始数据块的数量，所述初始数据块为所述预设存储单元平均划分的若干个预设数据块中的任一数据块；
S002，根据D，获取D对应的关键数据比例集D0={D0 1，……，D0 g，……，D0 h}，其中，D0 g为Dg对应的关键数据的比例，关键数据为不符合预设规则的数据；
S003，根据D0，获取D0对应的关键数据块集K={K1，……，Kr，……，Ks}，其中，Kr为从D中获取的不符合预设规则的数据的比例处于第r个预设范围的若干个初始数据块组成的关键数据块列表，r=1……s，s为关键数据块列表的数量，第1个预设范围到第s个预设范围依次递减，且第s个预设范围为0。
具体的，预设范围设置有十一个，分别为90%~100%，……，10%~20%，0~10%，0，在每个预设范围内，不符合预设规则的数据的比例应大于最小值，小于或等于最大值。
S004，获取K对应的搬移顺序列表KK={1K1，……，rKr，……，sKs}，其中，rKr表示在第r次搬移中将Kr中的不符合预设规则的数据搬移至所述第二预设盘。
具体的，在S004中还通过如下步骤将Kr中的不符合预设规则的数据搬移至所述第二预设盘：
S0041，获取Kr中的若干个关键数据块；
S0042，根据任一关键数据块，将所述关键数据块中的不符合预设规则的数据合并后搬移至所述第二预设盘。
上述，在关键数据块中，不符合预设规则的数据可能是离散的，需要多次搬运，而本实施例通过将离散的数据合并后一同搬运，在一次搬运过程中即能够将同一数据块中的不符合预设规则的数据搬移至所述第二预设盘，减少了搬迁次数，提高了第一预设盘io的性能。
具体的，在S0042之后还包括如下步骤：
S0043，获取所述关键数据块对应的目标数据块；所述目标数据块为将所述关键数据块中的不符合预设规则的数据搬移至所述第二预设盘后的得到的数据块；
S0044，将所述目标数据块置于Ks中。
上述，将关键数据块中不符合预设规则的数据搬移至所述第二预设盘之后，将得到的目标数据块置于Ks中，不再进行数据的搬移。
综上，本发明提供了一种存储数据的数据处理系统，所述系统包括：第一预设盘、第二预设盘、处理器和存储有计算机程序的存储器，所述第一预设盘包括若干个预设存储区域，当所述计算机程序被处理器执行时，实现以下步骤：获取目标写请求对应的第一请求信息；所述目标写请求是指用户发送的目标存储请求信号，所述第一请求信息包括所述目标写请求对应的存储数据和所述存储数据的字节数α，根据α，从若干个预设存储区域中的目标存储区域中获取第一存储单元集A，若第一存储单元的数量大于0，将所述存储数据随机存储至所述第一存储单元集中的任一第一存储单元，若第一存储单元的数量等于0，从所述目标存储区域中获取第二存储单元集B，若B中未存储有不符合预设规则的数据，将所述存储数据存储至n个第二存储单元中，若B中的任一第二存储单元中有不符合预设规则的数据，根据所述第二预设盘的标识和存储路径，将所述不符合预设规则的数据存储至所述第二预设盘，将所述存储数据存储至所述第一预设盘。本发明提供了一种新的存储数据的数据处理系统，一方面，所有写请求的数据都要分配在第一预设盘中进行存储，保护数据完整性和安全性的同时，还能够提高读写效率；另一方面，根据存储单元中的数据块的划分，将同一数据块内的不符合预设规则的数据合并刷到第二预设盘，能够减少刷数据的次数，从而减少io负载，并且能够留出第一预设盘的部分空间，以存储更多数据。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (7)

1.一种存储数据的数据处理系统，其特征在于，所述系统包括：第一预设盘、第二预设盘、处理器和存储有计算机程序的存储器，所述第一预设盘和所述第二预设盘的缓存速度处于不同预设范围，且所述第一预设盘的缓存速度大于所述第二预设盘的缓存速度，所述第一预设盘包括若干个预设存储区域，所述第一预设盘中存储有所述第二预设盘的关键数据信息，所述关键数据信息包括所述第二预设盘的标识和存储路径，当所述计算机程序被处理器执行时，实现以下步骤：
S100，获取目标写请求对应的第一请求信息；所述目标写请求是指用户发送的目标存储请求信号；所述第一请求信息包括所述目标写请求对应的存储数据和所述存储数据的字节数α；
S200，根据α，从若干个预设存储区域中的目标存储区域中获取第一存储单元集A={A1，……，Ai，……，Am}，其中，Ai为第i个第一存储单元，i=1……m，m为第一存储单元的数量，所述第一存储单元为目标存储区域中的若干个预设存储单元中剩余存储空间≥α的任一存储单元，任意两个第一存储单元的总存储空间相等，所述目标存储区域为预先配置的用于存储写请求对应的存储数据的存储区域；将所述目标存储区域平均划分为若干个预设存储单元；
S300，若m＞0，将所述存储数据随机存储至所述第一存储单元集中的任一第一存储单元；
S400，若m=0，从所述目标存储区域中获取第二存储单元集B={B1，……，Bj，……，Bn}，其中，Bj为第j个第二存储单元，j=1……n，n为第二存储单元的数量，所述第二存储单元与所述第一存储单元的存储空间相等；
S500，若B中未存储有不符合预设规则的数据，将所述存储数据存储至n个第二存储单元中；
S600，若B中的任一第二存储单元中有不符合预设规则的数据，根据所述第二预设盘的标识和存储路径，将所述不符合预设规则的数据存储至所述第二预设盘；
S700，将所述存储数据存储至所述第一预设盘；
所述系统通过如下步骤获取第一预设盘：
S010，获取初始预设盘；
S020，根据所述初始预设盘，获取所述初始预设盘对应的预设存储区域集C={C1，……，CP，……，Cq}，其中，CP为第p个预设存储区域，p=1……q，q为预设存储区域的数量；
在S020中还通过如下步骤获取C：
S021，根据所述第一预设盘的若干个预设存储信息，从所述初始预设盘中获取q个预设存储区域；不同的预设存储区域用于存储不同的预设存储信息；所述预设存储信息是指根据用户输入的请求提供对应数据的信息；
S022，根据q个预设存储区域，获取C；
S030，根据q个预设存储区域，获取第一预设盘；
所述系统还包括清理线程，当所述计算机程序被处理器执行时，还实现以下步骤：
S001，根据所述目标存储区域中的任一预设存储单元，获取初始数据块集D={D1，……，Dg，……，Dh}，其中，Dg为第g个初始数据块，g=1……h，h为初始数据块的数量，所述初始数据块为所述预设存储单元平均划分的若干个预设数据块中的任一数据块；
S002，根据D，获取D对应的不符合预设规则的数据比例集D0={D0 1，……，D0 g，……，D0 h}，其中，D0 g为Dg对应的关键数据的比例，关键数据为不符合预设规则的数据；
S003，根据D0，获取D0对应的关键数据块集K={K1，……，Kr，……，Ks}，其中，Kr为从D中获取的不符合预设规则的数据的比例处于第r个预设范围的若干个初始数据块组成的关键数据块列表，r=1……s，s为关键数据块列表的数量，第1个预设范围到第s个预设范围依次递减，且第s个预设范围为0；
S004，获取K对应的搬移顺序列表KK={1K1，……，rKr，……，sKs}，其中，rKr表示在第r次搬移中将Kr中的不符合预设规则的数据搬移至所述第二预设盘。
2.根据权利要求1所述的存储数据的数据处理系统，其特征在于，在S400中还通过如下步骤获取B：
S401，根据α，从所述目标存储区域中依次获取第二存储单元和所述第二存储单元的剩余存储空间；
S402，根据获取的若干个第二存储单元的剩余存储空间，获取若干个第二存储单元的总剩余存储空间BB，其中BB符合如下条件：
BB=∑z t=1BBt，其中，BBt为第t个第二存储单元的剩余存储空间，z为第二存储单元的数量；
S403，当BB≥α时，获取B。
3.根据权利要求1所述的存储数据的数据处理系统，其特征在于，在S500中还包括如下步骤：
S501，根据n个第二存储单元的预设存储顺序，获取B对应的预设存储单元集B0={B0 1，……，B0 j，……，B0 n}，其中，B0 j为第j个预设存储单元；
S502，根据B0，当B0 j存满数据时，将所述存储数据中的剩余数据存储至B0 j+1中，直至所述存储数据完全存储至n个第二存储单元中；所述剩余数据是指B0 j存满数据时，所述存储数据中还未存储的数据。
4.根据权利要求1所述的存储数据的数据处理系统，其特征在于，当所述计算机程序被处理器执行时，还用于实现以下步骤：
S1，获取目标读请求对应的第二请求信息；所述目标读请求是指用户发送的目标读取请求信号；所述第二请求信息包括所述目标读请求对应的请求数据；
S2，若所述第一预设盘中不存在与所述请求数据对应的数据，从所述第二预设盘中获取第一关键数据；所述第一关键数据为所述第二预设盘中与所述请求数据对应的数据；
S3，若所述第一预设盘中存在所有请求数据对应的数据，从所述第一预设盘中获取第二关键数据；所述第二关键数据为所述第一预设盘中与所述请求数据对应的数据。
5.根据权利要求4所述的存储数据的数据处理系统，其特征在于，在S3之后还包括如下步骤：
S4，若所述第一预设盘中存在部分所述请求数据对应的数据，从所述第一预设盘中获取第三关键数据的数据类型；所述第三关键数据为所述第一预设盘中与部分所述请求数据对应的数据；所述数据类型包括符合预设规则的数据和不符合预设规则的数据；
S5，若所述第三关键数据为符合预设规则的数据，从所述第二预设盘中获取第四关键数据；所述第四关键数据为所述第二预设盘中与部分所述请求数据对应的数据；
S6，若所述第三关键数据为不符合预设规则的数据，根据所述第三关键数据和所述第四关键数据，获取目标读取数据；所述目标读取数据为所述第三关键数据和所述第四关键数据合并后得到的数据。
6.根据权利要求1所述的存储数据的数据处理系统，其特征在于，在S004中还通过如下步骤将Kr中的不符合预设规则的数据搬移至所述第二预设盘：
S0041，获取Kr中的若干个关键数据块；
S0042，根据任一关键数据块，将所述关键数据块中的不符合预设规则的数据合并后搬移至所述第二预设盘。
7.根据权利要求6所述的数据处理系统，其特征在于，在S0042之后还包括如下步骤：
S0043，获取所述关键数据块对应的目标数据块；所述目标数据块为将所述关键数据块中的不符合预设规则的数据搬移至所述第二预设盘后的得到的数据块；
S0044，将所述目标数据块置于Ks中。
CN202311145065.0A 2023-09-06 2023-09-06 一种存储数据的数据处理系统 Active CN116880776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311145065.0A CN116880776B (zh) 2023-09-06 2023-09-06 一种存储数据的数据处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311145065.0A CN116880776B (zh) 2023-09-06 2023-09-06 一种存储数据的数据处理系统

Publications (2)

Publication Number Publication Date
CN116880776A CN116880776A (zh) 2023-10-13
CN116880776B true CN116880776B (zh) 2023-11-17

Family

ID=88262505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311145065.0A Active CN116880776B (zh) 2023-09-06 2023-09-06 一种存储数据的数据处理系统

Country Status (1)

Country Link
CN (1) CN116880776B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010191672A (ja) * 2009-02-18 2010-09-02 Toshiba Corp データ記憶システム
CN103577336A (zh) * 2013-10-23 2014-02-12 华为技术有限公司 一种存储数据处理方法及装置
CN103885728A (zh) * 2014-04-04 2014-06-25 华中科技大学 一种基于固态盘的磁盘缓存系统
CN105138292A (zh) * 2015-09-07 2015-12-09 四川神琥科技有限公司 磁盘数据读取方法
CN110069215A (zh) * 2019-03-27 2019-07-30 浙江宇视科技有限公司 一种基于块存储的动态调整存储单元的方法及装置
CN110134332A (zh) * 2019-04-28 2019-08-16 平安科技（深圳）有限公司 一种数据存储方法及相关装置
CN110737394A (zh) * 2018-07-20 2020-01-31 伊姆西Ip控股有限责任公司 管理缓存的方法、装置和计算机程序产品
CN111124940A (zh) * 2018-10-31 2020-05-08 深信服科技股份有限公司 一种基于全闪存阵列的空间回收方法及系统
CN111857589A (zh) * 2020-07-16 2020-10-30 苏州浪潮智能科技有限公司 分布式存储系统中ssd缓存下刷速度控制方法及系统
CN112835528A (zh) * 2021-02-22 2021-05-25 北京金山云网络技术有限公司 脏页刷新方法和装置、电子设备和存储介质
CN114895846A (zh) * 2022-04-28 2022-08-12 阿里巴巴（中国）有限公司 一种数据处理方法、装置及设备
CN115543187A (zh) * 2017-11-10 2022-12-30 成都华为技术有限公司 一种数据处理方法及设备
CN115576505A (zh) * 2022-12-13 2023-01-06 浪潮电子信息产业股份有限公司 一种数据存储方法、装置、设备及可读存储介质
CN116069681A (zh) * 2022-12-29 2023-05-05 武汉噢易云计算股份有限公司 一种磁盘空间回收方法、装置、电子设备以及存储介质
CN116107516A (zh) * 2023-04-10 2023-05-12 苏州浪潮智能科技有限公司 数据写入方法、装置、固态硬盘、电子设备及存储介质
WO2023092942A1 (zh) * 2021-11-23 2023-06-01 苏州浪潮智能科技有限公司 数据存储方法、装置、电子设备及可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7640395B2 (en) * 2006-03-30 2009-12-29 Intel Corporation Maintaining write ordering in a system
WO2013054374A1 (en) * 2011-10-12 2013-04-18 Hitachi, Ltd. Storage system, and data backup method and system restarting method of storage system

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010191672A (ja) * 2009-02-18 2010-09-02 Toshiba Corp データ記憶システム
CN103577336A (zh) * 2013-10-23 2014-02-12 华为技术有限公司 一种存储数据处理方法及装置
CN103885728A (zh) * 2014-04-04 2014-06-25 华中科技大学 一种基于固态盘的磁盘缓存系统
CN105138292A (zh) * 2015-09-07 2015-12-09 四川神琥科技有限公司 磁盘数据读取方法
CN115543187A (zh) * 2017-11-10 2022-12-30 成都华为技术有限公司 一种数据处理方法及设备
CN110737394A (zh) * 2018-07-20 2020-01-31 伊姆西Ip控股有限责任公司 管理缓存的方法、装置和计算机程序产品
CN111124940A (zh) * 2018-10-31 2020-05-08 深信服科技股份有限公司 一种基于全闪存阵列的空间回收方法及系统
CN110069215A (zh) * 2019-03-27 2019-07-30 浙江宇视科技有限公司 一种基于块存储的动态调整存储单元的方法及装置
CN110134332A (zh) * 2019-04-28 2019-08-16 平安科技（深圳）有限公司 一种数据存储方法及相关装置
CN111857589A (zh) * 2020-07-16 2020-10-30 苏州浪潮智能科技有限公司 分布式存储系统中ssd缓存下刷速度控制方法及系统
CN112835528A (zh) * 2021-02-22 2021-05-25 北京金山云网络技术有限公司 脏页刷新方法和装置、电子设备和存储介质
WO2023092942A1 (zh) * 2021-11-23 2023-06-01 苏州浪潮智能科技有限公司 数据存储方法、装置、电子设备及可读存储介质
CN114895846A (zh) * 2022-04-28 2022-08-12 阿里巴巴（中国）有限公司 一种数据处理方法、装置及设备
CN115576505A (zh) * 2022-12-13 2023-01-06 浪潮电子信息产业股份有限公司 一种数据存储方法、装置、设备及可读存储介质
CN116069681A (zh) * 2022-12-29 2023-05-05 武汉噢易云计算股份有限公司 一种磁盘空间回收方法、装置、电子设备以及存储介质
CN116107516A (zh) * 2023-04-10 2023-05-12 苏州浪潮智能科技有限公司 数据写入方法、装置、固态硬盘、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于固态盘与磁盘的混合存储系统框架研究;傅雨东;李小勇;;信息技术(第07期);正文 *

Also Published As

Publication number Publication date
CN116880776A (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN104246764B (zh) 利用非均匀散列函数在非均匀访问存储器中放置记录的方法和装置
KR101657561B1 (ko) 클러스터 시스템에서의 데이터 처리 방법 및 장치
US8161240B2 (en) Cache management
CN108804031A (zh) 最佳记录查找
US10572171B2 (en) Storage system
US9959054B1 (en) Log cleaning and tiering in a log-based data storage system
CN107209714A (zh) 分布式存储系统及分布式存储系统的控制方法
US11061788B2 (en) Storage management method, electronic device, and computer program product
CN106970765B (zh) 数据存储方法及装置
US9336254B2 (en) Database performance estimation device and database estimation method
US20110153972A1 (en) Free space defragmention in extent based file system
CN103019887A (zh) 数据备份方法及装置
CN103473266A (zh) 固态硬盘及其删除重复数据的方法
US8862838B1 (en) Low overhead memory space management
CN110795363B (zh) 一种存储介质的热页预测方法和页面调度方法
CN110532200B (zh) 一种基于混合内存架构的内存系统
CN113535670B (zh) 一种虚拟化资源镜像存储系统及其实现方法
CN109407985B (zh) 一种数据管理的方法以及相关装置
CN111475105A (zh) 监控数据存储方法、设备、服务器及存储介质
CN111984425A (zh) 用于操作系统的内存管理方法、装置及设备
JP5447523B2 (ja) データ処理装置、データ記録方法、データ記録プログラム
CN116880776B (zh) 一种存储数据的数据处理系统
CN106980471B (zh) 一种提高智能设备的硬盘写入性能的方法及装置
CN114416646A (zh) 一种层级存储系统的数据处理方法及装置
CA2415018C (en) Adaptive parallel data clustering when loading a data structure containing data clustered along one or more dimensions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant