CN114519013A - 一种数据处理方法、装置、电子设备及存储介质 - Google Patents

一种数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114519013A
CN114519013A CN202011192573.0A CN202011192573A CN114519013A CN 114519013 A CN114519013 A CN 114519013A CN 202011192573 A CN202011192573 A CN 202011192573A CN 114519013 A CN114519013 A CN 114519013A
Authority
CN
China
Prior art keywords
storage medium
data
performance parameter
storage
access request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011192573.0A
Other languages
English (en)
Inventor
年彦东
辛波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202011192573.0A priority Critical patent/CN114519013A/zh
Publication of CN114519013A publication Critical patent/CN114519013A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0888Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches using selective caching, e.g. bypass
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643Hash functions, e.g. MD5, SHA, HMAC or f9 MAC

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据处理方法、装置、电子设备及存储介质。其中,该方法包括:接收访问请求,所述访问请求携带数据标识;获取所述数据标识关联的第一存储介质;确定所述第一存储介质的第一性能参数,所述第一性能参数用于表示所述第一存储介质在当前时间段内的存储压力;当所述第一性能参数超过预设性能上限时,获取所述第一存储介质对应的第二存储介质,所述第一存储介质与所述第二存储介质的类型不同;在所述第二存储介质根据所述访问请求执行处理操作。本申请在第一存储介质的性能参数超过预设性能上限时,通过第二存储介质代替第一存储介质进行处理操作,实现了在不影响服务质量的情况下,提升单设备的服务能力。

Description

一种数据处理方法、装置、电子设备及存储介质
技术领域
本申请涉及数据处理领域,尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
当前CDN缓存设备一般有3种存储介质:内存、机械硬盘以及固态硬盘,其中机械硬盘的性能最差,但容量大(8TB);固态硬盘的性能适中,容量较大(480GB);内存性能最强,但是容量最小(128GB)。目前在相关技术中,固态硬盘和内存主要存储热度较高的文件和小文件,机械硬盘存储热度较低的大文件。但是在相关技术中,机械硬盘的性能仍然是整个系统的瓶颈。当单设备带宽达到一定阈值后,机械硬盘率先打满,影响服务质量,此时固态硬盘的性能并未达到极限,从而导致存储资源浪费。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种数据处理方法、装置、电子设备及存储介质。
根据本申请实施例的一个方面,提供了一种数据处理方法,包括:
接收访问请求,所述访问请求携带数据标识;
获取所述数据标识关联的第一存储介质;
确定所述第一存储介质的第一性能参数,所述第一性能参数用于表示所述第一存储介质在当前时间段内的存储压力;
当所述第一性能参数超过预设性能上限时,获取所述第一存储介质对应的第二存储介质,所述第一存储介质与所述第二存储介质的类型不同;
在所述第二存储介质根据所述访问请求执行处理操作。
进一步的,所述获取所述数据标识关联的第一存储介质,包括:
根据所述数据标识进行哈希计算得到目标哈希值;
获取与所述目标哈希值对应的存储地址;
根据所述存储地址确定所述第一存储介质。
进一步的,当获取到至少两个所述第一存储介质时,所述确定所述第一存储介质的第一性能参数,包括:
获取各所述第一存储介质的以下至少一项属性信息:优先级、性能参数、存储状态;
确定所述属性信息满足第一预设条件的第一存储介质为第一目标存储介质;
将所述第一目标存储介质的性能参数作为所述第一性能参数。
进一步的,当所述第一存储介质对应至少两个第二存储介质时,所述获取所述第一存储介质对应的第二存储介质,包括:
获取所述第二存储介质的以下至少一项属性信息:优先级、第二性能参数、存储状态;
将所述属性信息满足第二预设条件的第二存储介质作为所述第一存储介质对应的第二存储介质。
进一步的,所述第一性能参数包括以下至少一项:数据吞吐量、读写频率以及队列深度;
所述第一性能参数超过预设性能上限,包括以下至少一项:
所述数据吞吐量大于或等于预设吞吐量;
所述读写频率大于或等于预设读写频率;
所述队列深度大于或等于预设队列深度。
进一步的,所述在所述第二存储介质根据所述访问请求执行处理操作,包括:
确定所述访问请求的读写类型;
当所述读写类型为只读类型时,从所述第一存储介质中查询所述数据标识对应的目标数据;
当从所述第一存储介质中查询到所述目标数据时,将所述目标数据从所述第一存储介质存储至所述第二存储介质。
进一步的,所述将所述目标数据从所述第一存储介质存储至所述第二存储介质,包括:
获取所述第二存储介质的第二性能参数,所述第二性能参数用于表示所述第二存储介质在当前时间段内的存储压力;
根据第二性能参数确定将所述目标数据写入所述第二存储介质时的数据传输速率;
根据所述数据传输速率将所述目标数据写入所述第二存储介质。
进一步的,所述在所述第二存储介质根据所述访问请求执行处理操作,包括:
确定所述访问请求的读写类型;
当所述读写类型为写入类型时,将所述第二存储介质替换所述第一存储介质;
将所述数据标识对应的目标数据写入所述第二存储介质。
进一步的,所述将所述数据标识对应的目标数据写入所述第二存储介质,包括:
确定所述目标数据的属性信息;
根据所述属性信息以及所述第二存储介质的第二性能参数确定所述目标数据写入所述第二存储介质时的数据传输速率;
根据所述数据传输速率将所述目标数据写入所述第二存储介质。
根据本申请实施例的另一方面,还提供了一种数据处理装置,包括:
接收模块,用于接收访问请求,所述访问请求携带数据标识;
获取模块,用于获取所述数据标识关联的第一存储介质;
确定模块,用于确定所述第一存储介质的第一性能参数,所述第一性能参数用于表示所述第一存储介质在当前时间段内的存储压力;
处理模块,用于当所述第一性能参数超过预设性能上限时,获取所述第一存储介质对应的第二存储介质,所述第一存储介质与所述第二存储介质的类型不同;
执行模块,用于在所述第二存储介质根据所述访问请求执行处理操作。
根据本申请实施例的另一方面,还提供了一种存储介质,该存储介质包括存储的程序,程序运行时执行上述的步骤。
根据本申请实施例的另一方面,还提供了一种电子装置,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;其中:存储器,用于存放计算机程序;处理器,用于通过运行存储器上所存放的程序来执行上述方法中的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述方法中的步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:本申请在第一存储介质的性能参数超过预设性能上限时,通过第二存储介质代替第一存储介质进行处理操作,实现了在不影响服务质量的情况下,提升单设备的服务能力。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据处理方法的流程图;
图2为本申请另一实施例提供的一种数据处理方法的流程图;
图3为本申请实施例提供的一种数据处理装置的框图;
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个类似的实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
通常缓冲器用于管理多个第一存储介质,以及多个第二存储介质,其中第一候选存储介质为机械硬盘,第二候选存储介质为固态硬盘或者内存,本申请实施例以固态硬盘为例进行主要说明。
缓冲器其原始意义是指存取速度比一般随机存取存储器(Random AccessMemory,RAM)来得快的一种RAM,一般而言它不像系统主记忆体那样使用动态随机存取存储器(Dynamic Random Access Memory,DRAM),而是使用昂贵但较快速的静态存储器(SRAM)。缓冲器是存在于主存与CPU之间的一级存储器,由静态存储芯片(SRAM)组成,容量比较小但速度比主存高得多,接近于CPU的速度。缓冲器在计算机存储系统的层次结构中,是介于中央处理器和主存储器之间的高速小容量存储器,它和主存储器一起构成一级的存储器。缓冲器和主存储器之间信息的调度和传送是由硬件自动进行的。
本申请实施例中可以应用于缓冲器,通过第二存储介质代替第一存储介质进行处理操作,实现了在不影响服务质量的情况下,提升单设备的服务能力。
本申请实施例提供了一种数据处理方法、装置、电子设备及存储介质。本发明实施例所提供的方法可以应用于任意需要的电子设备,例如,可以为服务器、终端等电子设备,在此不做具体限定,为描述方便,后续简称为电子设备。
根据本申请实施例的一方面,提供了一种数据处理方法的方法实施例,图1为本申请实施例提供的一种数据处理方法的流程图,如图1所示,该方法包括:
步骤S11,接收访问请求,访问请求携带数据标识。
本申请实施例中的访问请求可以是由客户端生成,并发送至缓冲器(Cache),由缓冲器进行后续的处理操作,访问请求携带的数据标识可以是数据名称,数据标号等等。
步骤S12,获取数据标识关联的第一存储介质。
在本申请实施例中,获取数据标识对应的第一存储介质,包括以下步骤A1-A3:
步骤A1,根据数据标识进行哈希计算得到目标哈希值;
步骤A2,获取与目标哈希值对应的存储地址;
步骤A3,根据存储地址确定第一存储介质。
作为一个示例,首先采用哈希算法对数据名称进行计算得到目标哈希值,然后将目标哈希值作为键名,从预设哈希值与存储介质的对应关系表中确定目标哈希值对应的第一存储介质。本申请实施例中采用的哈希算法可以是MD5、SHA-1、SHA256等算法中的一种或组合。
步骤S13,确定第一存储介质的第一性能参数,第一性能参数用于表示第一存储介质在当前时间段内的存储压力。
在本申请实施例中,当目标哈希值对应一个存储地址时,直接根据该存储地址确定第一存储介质,并得到第一存储介质的性能参数。
当目标哈希值对应至少两个存储地址时,根据至少两个存储地址能够获取到至少两个第一存储介质。此时,确定第一存储介质的第一性能参数,包括:获取各第一存储介质的以下至少一项属性信息:优先级、性能参数、存储状态。然后确定属性信息满足第一预设条件的第一存储介质为第一目标存储介质,将第一目标存储介质的性能参数作为所述第一性能参数。
可以理解的,属性信息满足第一预设条件包括以下至少一项:优先级大于预设优先级,性能参数符合预设性能参数,存储状态为空闲状态。
本申请实施例中,第一性能参数包括:数据吞吐量、读写频率以及队列深度。可以理解的:读写频率(Input/Output Per Second,IOPS)即每秒的输入输出量,是衡量存储介质性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量,I/O请求通常为读或写数据操作请求。另一个衡量存储介质性能的主要指标是数据吞吐量(Throughput),指单位时间内可以成功传输的数据量。
步骤S14,当第一性能参数超过预设性能上限时,获取第一存储介质对应的第二存储介质,由第二存储介质根据数据标识执行处理操作,第一存储介质与所述第二存储介质的类型不同。
在本申请实施例中,第一性能参数满足预设性能上限,包括以下至少一项:数据吞吐量大于或等于预设吞吐量,读写频率大于或等于预设读写频率,队列深度大于或等于预设队列深度。例如:在256KB的块大小场景下,一个机械硬盘的数据吞吐量上限是40MB/S,读写频率的上限是160。
本申请实施例中,获取第一存储介质对应第二存储介质,包括以下步骤B1-B2:
步骤B1,获取预先设置的第一存储介质与第二存储介质的对应关系;
步骤B2,根据对应关系确定第一存储介质对应的第二存储介质。
在本申请实施例中,当第一存储介质对应至少两个第二存储介质时,获取第一存储介质对应的第二存储介质,包括以下步骤C1-C2:
步骤C1,获取第二存储介质的以下至少一项属性信息:优先级、第二性能参数、存储状态;
步骤C2,将属性信息满足第二预设条件的第二存储介质作为第一存储介质对应的第二存储介质。
在本申请实施例中,属性信息满足第二预设条件包括以下至少一项:优先级大于预设优先级,性能参数符合预设性能参数,存储状态为空闲状态。
需要说明的是,本申请实施例中的第一存储介质为机械硬盘,第二存储介质为固态硬盘,因为固态硬盘具有低功耗、低延迟、体积小等优点。固态硬盘完全构建于半导体芯片上,因此具有随机访问性能。然而,由于固态硬盘容量成本过高、寿命有限等不足,完全使用固态硬盘替换机械硬盘会大幅提升产业成本。
为了合理利用固态硬盘的高性能和机械硬盘的成本低廉等优势,本申请实施例提出了基于固态硬盘和机械硬盘混合存储的方式能够显著提升单设备的性能。
步骤S15,在第二存储介质根据访问请求执行处理操作。
在本申请实施例中,在第二存储介质根据访问请求执行处理操作,包括以下步骤D1-D3:
步骤D1,确定访问请求的读写类型;
步骤D2,当读写类型为只读类型时,从第一存储介质中查询数据标识对应的目标数据;
步骤D3,当从第一存储介质中查询到目标数据时,将目标数据从第一存储介质存储至所述第二存储介质。
作为一个示例,当访问请求的类型为只读类型时,首先根据数据标识从第一存储介质(机械硬盘)中查询目标数据,当从第一存储介质(机械硬盘)中查询到目标数据时,将目标数据从第一存储介质(机械硬盘)中删除,并将目标数据存储至第二存储介质(固态硬盘)。
以此,通过第二存储介质(固态硬盘)对目标数据进行存储,将数据量由第一存储介质(机械硬盘)转入第二存储介质(固态硬盘),从而保证了第一存储介质(机械硬盘)的性能,并且能够使第一存储介质(机械硬盘)访问量高峰期不会出现过载的情况。
另外,本申请实施例提供的方法还包括:获取第二存储介质的第二性能参数,第二性能参数用于表示第二存储介质在当前时间段内的存储压力,根据第二性能参数确定目标数据存储至第二存储介质时的数据传输速率,根据数据传输速率将目标数据写入第二存储介质。
具体的,将目标数据存储至第二存储介质(固态硬盘)之前,还需要确定第二存储介质(固态硬盘)的第二性能参数,当根据第二性能参数确定第二存储介质(固态硬盘)正在进行写入或者读取操作时,确定第二性能参数所属的性能参数区间;根据预设参数区间与数据传输速率的对应关系,确定目标数据存储至第二存储介质时的数据传输速率。
在本申请实施例中,在第二存储介质根据访问请求执行处理操作,还包括以下步骤E1-E2:
步骤E1,确定访问请求的读写类型;
步骤E2,当读写类型为写入类型时,将第二存储介质替换第一存储介质,将数据标识对应的目标数据写入第二存储介质。
作为一个示例,当访问请求的类型为写入类型时,直接由第二存储介质(固态硬盘)代替第一存储介质(机械硬盘)进行写入操作,以此,在第一存储介质(机械硬盘)的性能参数达到上限时,由第二存储介质(固态硬盘)进行写入操作,直接将目标数据存储至第二存储介质(固态硬盘),保证了第一存储介质的性能在访问高峰期不会过载。
另外,本申请实施例提供的方法还包括:确定目标数据的属性信息,根据属性信息以及第一性能参数确定目标数据写入第二存储介质时的数据传输速率,根据数据传输速率将目标数据写入第二存储介质。目标数据的属性信息可以是数据大小,数据类型等等。
图2为本申请实施例提供的一种数据处理方法的流程图,如图2所示,该方法可以包括以下步骤:
步骤S21,确定待存储数据;
步骤S22,对待存储数据进行处理得到带有时间指针的数据块;
步骤S23,将带有时间指针的数据块存储至内存;
步骤S24,根据时间指针与当前时刻的差值确定待存储数据的目标存储介质。
在本申请实施例中,该方法首先确定待存储数据,对目标数据进行处理,将其分割成带有时间指针的数据块,以便于后续利用时间确定热数据和冷数据,并将处理后的待存储数据传输至第二存储介质进行暂存;然后,判断在设定的时间阈值内是否有对数据块有读取操作;当设定时间阈值内有应用读取数据块时,将数据块存储至第二存储介质,作为热数据,否则将数据块存储至第一存储介质,作为冷数据。
本实施例利用设定的时间阈值来判断将数据存储至第二存储介质还是第一存储介质,将在设定时间阈值内使用的数据作为热数据,放入第二存储介质,有利于数据的快速读取,提高数据存储和读取的效率。
可以理解的,将设定时间阈值内未使用的数据作为冷数据,放入第一存储介质,充分利用第一存储介质容量大的优点,满足大量数据的存储,有利于数据存储的稳定性。通过将第二存储介质和第一存储介质有机结合,能够在数据的读写性能和运维方面达到平衡,大大提高数据存储的效率。本实施例利用设定的时间阈值来判断将数据存储至第二存储介质还是第一存储介质,即:利用设定的时间阈值来判断当前数据是热数据还是冷数据,具有一个明确的时间阈值,尤其适用于即存即用场景,以及数据读取与时间关联性较大的前端应用场景中。这种判断方法能够使数据更加合理地在SSD磁盘组和第一存储介质之间分配,充分发挥第二存储介质的高性能特点和第一存储介质的大容量特点,有利于提高资源利用率。
图3为本申请实施例提供的一种数据处理装置的框图,该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图3所示,该装置包括:
接收模块31,用于接收访问请求,访问请求携带数据标识;
获取模块32,用于获取数据标识关联的第一存储介质;
确定模块33,用于确定第一存储介质的第一性能参数,第一性能参数用于表示第一存储介质在当前时间段内的存储压力;
处理模块34,用于当第一性能参数超过预设性能上限时,获取第一存储介质对应的第二存储介质,第一存储介质与第二存储介质的类型不同;
执行模块35,用于在第二存储介质根据访问请求执行处理操作。
进一步的,获取模块32,具体用于根据数据标识进行哈希计算得到目标哈希值;获取与目标哈希值对应的存储地址;根据存储地址确定第一存储介质。
进一步的,确定模块33,具体用于获取各第一存储介质的以下至少一项属性信息:优先级、性能参数、存储状态;确定属性信息满足第一预设条件的第一存储介质为第一目标存储介质;将第一目标存储介质的性能参数作为第一性能参数。
进一步的,处理模块34,具体用于获取第二存储介质的以下至少一项属性信息:优先级、第二性能参数、存储状态;将属性信息满足第二预设条件的第二存储介质作为第一存储介质对应的第二存储介质。
进一步的,第一性能参数包括以下至少一项:数据吞吐量、读写频率以及队列深度;第一性能参数满足预设条件,包括以下至少一项:数据吞吐量大于或等于预设吞吐量;读写频率大于或等于预设读写频率;队列深度大于或等于预设队列深度。
进一步的,执行模块35,包括:
确定子模块,用于确定访问请求的读写类型;
查询子模块,用于当读写类型为只读类型时,从第一存储介质中查询数据标识对应的目标数据;
存储子模块,用于当从第一存储介质中查询到目标数据时,将目标数据从第一存储介质存储至第二存储介质。
进一步的,存储子模块,用于获取第二存储介质的第二性能参数,第二性能参数用于表示第二存储介质在当前时间段内的存储压力;根据第二性能参数确定将目标数据写入第二存储介质时的数据传输速率;根据数据传输速率将目标数据写入第二存储介质。
进一步的,执行模块35,包括:
确定子模块,用于确定访问请求的读写类型;
查询子模块,用于当读写类型为写入类型时,将第二存储介质替换第一存储介质;
存储子模块,用于将数据标识对应的目标数据写入第二存储介质。
进一步的,存储子模块,用于确定目标数据的属性信息;根据属性信息以及第二存储介质的第二性能参数确定目标数据写入第二存储介质时的数据传输速率;根据数据传输速率将目标数据写入第二存储介质。
本申请实施例还提供一种电子设备,如图4所示,电子设备可以包括:处理器1501、通信接口1502、存储器1503和通信总线1504,其中,处理器1501,通信接口1502,存储器1503通过通信总线1504完成相互间的通信。
存储器1503,用于存放计算机程序;
处理器1501,用于执行存储器1503上所存放的计算机程序时,实现上述实施例的步骤。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的数据处理方法。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的数据处理方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘SolidState Disk)等。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种数据处理方法,其特征在于,包括:
接收访问请求,所述访问请求携带数据标识;
获取所述数据标识关联的第一存储介质;
确定所述第一存储介质的第一性能参数,所述第一性能参数用于表示所述第一存储介质在当前时间段内的存储压力;
当所述第一性能参数超过预设性能上限时,获取所述第一存储介质对应的第二存储介质,所述第一存储介质与所述第二存储介质的类型不同;
在所述第二存储介质根据所述访问请求执行处理操作。
2.根据权利要求1所述的方法,其特征在于,所述获取所述数据标识关联的第一存储介质,包括:
根据所述数据标识进行哈希计算得到目标哈希值;
获取与所述目标哈希值对应的存储地址;
根据所述存储地址确定所述第一存储介质。
3.根据权利要求1所述的方法,其特征在于,当获取到至少两个所述第一存储介质时,所述确定所述第一存储介质的第一性能参数,包括:
获取各所述第一存储介质的以下至少一项属性信息:优先级、性能参数、存储状态;
确定所述属性信息满足第一预设条件的第一存储介质为第一目标存储介质;
将所述第一目标存储介质的性能参数作为所述第一性能参数。
4.根据权利要求1所述的方法,其特征在于,当所述第一存储介质对应至少两个第二存储介质时,所述获取所述第一存储介质对应的第二存储介质,包括:
获取所述第二存储介质的以下至少一项属性信息:优先级、第二性能参数、存储状态;
将所述属性信息满足第二预设条件的第二存储介质作为所述第一存储介质对应的第二存储介质。
5.根据权利要求1所述的方法,其特征在于,所述第一性能参数包括以下至少一项:数据吞吐量、读写频率以及队列深度;
所述第一性能参数超过预设性能上限,包括以下至少一项:
所述数据吞吐量大于或等于预设吞吐量;
所述读写频率大于或等于预设读写频率;
所述队列深度大于或等于预设队列深度。
6.根据权利要求1所述的方法,其特征在于,所述在所述第二存储介质根据所述访问请求执行处理操作,包括:
确定所述访问请求的读写类型;
当所述读写类型为只读类型时,从所述第一存储介质中查询所述数据标识对应的目标数据;
当从所述第一存储介质中查询到所述目标数据时,将所述目标数据从所述第一存储介质存储至所述第二存储介质。
7.根据权利要求6所述的方法,其特征在于,所述将所述目标数据从所述第一存储介质存储至所述第二存储介质,包括:
获取所述第二存储介质的第二性能参数,所述第二性能参数用于表示所述第二存储介质在当前时间段内的存储压力;
根据所述第二性能参数确定将所述目标数据写入所述第二存储介质时的数据传输速率;
根据所述数据传输速率将所述目标数据写入所述第二存储介质。
8.根据权利要求1-7中任意一项所述的方法,其特征在于,所述在所述第二存储介质根据所述访问请求执行处理操作,包括:
确定所述访问请求的读写类型;
当所述读写类型为写入类型时,将所述第二存储介质替换所述第一存储介质;
将所述数据标识对应的目标数据写入所述第二存储介质。
9.根据权利要求8所述的方法,其特征在于,所述将所述数据标识对应的目标数据写入所述第二存储介质,包括:
确定所述目标数据的属性信息;
根据所述属性信息以及所述第二存储介质的第二性能参数确定所述目标数据写入所述第二存储介质时的数据传输速率;
根据所述数据传输速率将所述目标数据写入所述第二存储介质。
10.一种数据处理装置,其特征在于,包括:
接收模块,用于接收访问请求,所述访问请求携带数据标识;
获取模块,用于获取所述数据标识关联的第一存储介质;
确定模块,用于确定所述第一存储介质的第一性能参数,所述第一性能参数用于表示所述第一存储介质在当前时间段内的存储压力;
处理模块,用于当所述第一性能参数超过预设性能上限时,获取所述第一存储介质对应的第二存储介质,所述第一存储介质与所述第二存储介质的类型不同;
执行模块,用于在所述第二存储介质根据所述访问请求执行处理操作。
11.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至9中任一项所述的方法步骤。
12.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于通过运行存储器上所存放的程序来执行权利要求1-9中任一项所述的方法步骤。
CN202011192573.0A 2020-10-30 2020-10-30 一种数据处理方法、装置、电子设备及存储介质 Pending CN114519013A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011192573.0A CN114519013A (zh) 2020-10-30 2020-10-30 一种数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011192573.0A CN114519013A (zh) 2020-10-30 2020-10-30 一种数据处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114519013A true CN114519013A (zh) 2022-05-20

Family

ID=81594823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011192573.0A Pending CN114519013A (zh) 2020-10-30 2020-10-30 一种数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114519013A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116431082A (zh) * 2023-06-14 2023-07-14 深圳嘉华众力科技有限公司 数据存储的方法、装置、计算机设备和存储介质
WO2024098795A1 (zh) * 2022-11-11 2024-05-16 华为技术有限公司 内存管理方法、装置和相关设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024098795A1 (zh) * 2022-11-11 2024-05-16 华为技术有限公司 内存管理方法、装置和相关设备
CN116431082A (zh) * 2023-06-14 2023-07-14 深圳嘉华众力科技有限公司 数据存储的方法、装置、计算机设备和存储介质
CN116431082B (zh) * 2023-06-14 2023-11-21 深圳嘉华众力科技有限公司 数据存储的方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
US20230011387A1 (en) Data processing method and nvme storage device
WO2017167171A1 (zh) 一种数据操作方法,服务器及存储系统
CN110555001B (zh) 数据处理方法、装置、终端及介质
CN110908589B (zh) 数据文件的处理方法、装置、系统和存储介质
CN110740164B (zh) 服务器确定方法、调控方法、装置、设备及存储介质
CN114519013A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN112632069B (zh) 哈希表数据存储管理方法、装置、介质和电子设备
US10057368B1 (en) Method and system for incremental cache lookup and insertion
WO2022062524A1 (zh) 内存管理方法、装置、设备和存储介质
CN114528231A (zh) 一种数据动态存储方法、装置、电子设备及存储介质
WO2023160358A1 (zh) 内存扫描方法及装置
CN114138840A (zh) 数据查询方法、装置、设备及存储介质
CN107423425A (zh) 一种对k/v格式的数据快速存储和查询方法
US11231964B2 (en) Computing device shared resource lock allocation
CN106201918B (zh) 一种基于大数据量和大规模缓存快速释放的方法和系统
US10581997B2 (en) Techniques for storing or accessing a key-value item
CN112711564B (zh) 合并处理方法以及相关设备
CN116155828B (zh) 一种多个虚拟队列的报文保序方法及其装置、存储介质、电子设备
CN108228104B (zh) 数据传输方法及固态硬盘控制器
CN114996023B (zh) 目标缓存装置、处理装置、网络设备及表项获取方法
US10592418B2 (en) Cache sharing in virtual clusters
US11586353B2 (en) Optimized access to high-speed storage device
CN103491124A (zh) 一种对彩信数据进行处理的方法及分布式缓存系统
CN113157628A (zh) 存储系统、数据处理方法、装置、存储系统及电子设备
CN112948298A (zh) 一种报文处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination