CN110045924B - 分级存储方法、装置、电子设备及计算机可读存储介质 - Google Patents

分级存储方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110045924B
CN110045924B CN201910156188.1A CN201910156188A CN110045924B CN 110045924 B CN110045924 B CN 110045924B CN 201910156188 A CN201910156188 A CN 201910156188A CN 110045924 B CN110045924 B CN 110045924B
Authority
CN
China
Prior art keywords
data
stored
memory
data stream
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910156188.1A
Other languages
English (en)
Other versions
CN110045924A (zh
Inventor
丁磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910156188.1A priority Critical patent/CN110045924B/zh
Publication of CN110045924A publication Critical patent/CN110045924A/zh
Priority to PCT/CN2019/117558 priority patent/WO2020177379A1/zh
Application granted granted Critical
Publication of CN110045924B publication Critical patent/CN110045924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0631Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例公开了一种分级存储方法、装置、电子设备及计算机可读存储介质,该方法可以应用于存储技术领域,该方法包括:获取多个待存储数据流,检测多个待存储数据流中每个待存储数据流的数据量,在多个待存储数据流中,将数据量大于第一数据量阈值的待存储数据流确定为第一数据流,获取第一数据流的数量,并将第一数据流的数量与待存储数据流的数量之间的比值作为第一比值,若第一比值大于预设比值,则将待存储数据流中的待存储数据均存储至第二存储器。通过实施本发明实施例,在第一存储器为电子设备的默认存储器时,可以避免将待存储数据流中的待存储数据均存储至第一存储器,有利于提高电子设备整体的存储性能。

Description

分级存储方法、装置、电子设备及计算机可读存储介质
技术领域
本发明涉及计算机技术领域,具体涉及一种分级存储方法、装置、电子设备及计算机可读存储介质。
背景技术
随着网络技术的不断进步,网络中数据量呈爆发式的增长趋势,这一现象对数据存储提出了新的挑战。电子设备在存储数据时,是将数据存储至电子设备中的存储器。
然而,存储器的存储空间是有限的,若将所有数据均存储至一个存储器,将导致该存储器的存储空间很快被耗尽,导致后续数据无法成功存储至该存储器,使得电子设备的存储性能较低。因此,如何提高电子设备的存储性能成为一个亟待解决的问题。
发明内容
本发明实施例公开了一种分级存储方法、装置、电子设备及计算机可读存储介质,可以避免将待存储数据流中的待存储数据均存储至电子设备的默认存储器,有利于提高电子设备整体的存储性能。
第一方面,本发明实施例公开了一种分级存储方法,该方法应用于电子设备,电子设备包括第一存储器和第二存储器,第一存储器为电子设备的默认存储器,该方法可以包括:获取多个待存储数据流;检测多个待存储数据流中每个待存储数据流的数据量;在多个待存储数据流中,将数据量大于第一数据量阈值的待存储数据流确定为第一数据流;获取第一数据流的数量,并将第一数据流的数量与待存储数据流的数量之间的比值作为第一比值;若第一比值大于预设比值,则将待存储数据流中的待存储数据均存储至第二存储器。
在一种实现方式中,该方法还可以包括:若第一比值小于或等于预设比值,则按照第一数据流中待存储数据在数据队列中的排列顺序,从第一数据流中提取第一待存储数据,将第一待存储数据存储至第一存储器,并将第二数据流中的待存储数据存储至第一存储器;其中,第一待存储数据的数据量等于第一数据量阈值,第二数据流为多个待存储数据流中数据量小于或等于第一数据量阈值的待存储数据流。
在一种实现方式中,按照第一数据流中待存储数据在数据队列中的排列顺序,从第一数据流中提取第一待存储数据,将第一待存储数据存储至第一存储器,并将第二数据流中的待存储数据存储至第一存储器之前,该方法还可以包括:若第一比值小于或等于预设比值,则在所有第一数据流中,将数据量大于第二数据量阈值的第一数据流确定为第三数据流,第二数据量阈值大于第一数据量阈值;获取第三数据流的数量,并将第三数据流的数量与第一数据流的数量之间的比值作为第二比值;若第二比值大于所述预设比值,则触发执行按照第一数据流中待存储数据在数据队列中的排列顺序,从第一数据流中提取第一待存储数据,将第一待存储数据存储至第一存储器,并将第二数据流中的待存储数据存储至第一存储器的步骤;将第一数据流中除第一待存储数据以外的其他待存储数据均存储至第二存储器。
在一种实现方式中,获取多个待存储数据流的具体实施方式可以为:获取多个待存储数据以及每个待存储数据的属性信息,属性信息包括起始地址、终止地址、数据长度和数据流标识中的一个或多个;并根据多个待存储数据中每个待存储数据的属性信息,确定出对应待存储数据所属的数据流,将确定出的数据流作为待存储数据流。
在一种实现方式中,待存储数据可以包括第二待存储数据和第三待存储数据,属性信息可以包括起始地址和终止地址;根据多个待存储数据中每个待存储数据的属性信息,确定出对应待存储数据所属的数据流的具体实施方式可以为:若第二待存储数据的起始地址与第三待存储数据的终止地址连续,则确定第二待存储数据和第三待存储数据属于同一个数据流。
在一种实现方式中,待存储数据可以包括第二待存储数据和第三待存储数据,属性信息可以包括起始地址和数据长度;根据多个待存储数据中每个待存储数据的属性信息,确定出对应待存储数据所属的数据流的具体实施方式可以为:根据多个待存储数据中每个待存储数据的起始地址和数据长度,得到对应待存储数据的终止地址;若第二待存储数据的起始地址与第三待存储数据的终止地址连续,则确定第二待存储数据和第三待存储数据属于同一个数据流。
在一种实现方式中,属性信息可以包括数据流标识;根据多个待存储数据中每个待存储数据的属性信息,确定出对应待存储数据所属的数据流的具体实施方式可以为:将多个待存储数据中每个待存储数据的数据流标识指示的数据流作为对应待存储数据所属的数据流。
第二方面,本发明实施例公开了一种分级存储装置,该装置包括用于执行上述第一方面所述的方法的单元。
第三方面,本发明实施例公开了一种电子设备,该电子设备包括第一存储器、第二存储器和处理器,其中,第一存储器为电子设备的默认存储器,第一存储器(或第二存储器)用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行上述第一方面所述的方法。
通过实施本发明实施例,当第一存储器为电子设备的默认存储器时,可以根据获取的各个待存储数据流的数据量,在获取的多个待存储数据流中确定出第一数据流,然后获取第一数据流的数量与获取的待存储数据流的数量之间的第一比值,若第一比值大于预设比值,则将获取的待存储数据流中的待存储数据均存储至第二存储器。通过这种方式,可以避免将获取的待存储数据流中的待存储数据均存储至默认存储器,有利于提高电子设备整体的存储性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种分级存储方法的流程示意图;
图1a是本发明实施例提供的一种连续数据流包括的各个数据在电子设备中的存储位置示意图;
图2是本发明实施例提供的另一种分级存储方法的流程示意图;
图2a是本发明实施例提供的一种电子设备存储4个待存储数据流的场景示意图;
图3是本发明实施例提供的一种分级存储装置的结构示意图;
图4是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,图1是本发明实施例提供的一种分级存储方法的流程示意图。该方法应用于电子设备,该电子设备可以包括第一存储器和第二存储器,第一存储器为电子设备的默认存储器。具体的,如图1所示,本发明实施例的分级存储方法可以包括但不限于如下步骤:
S101、电子设备获取多个待存储数据流。
其中,每个待存储数据流是由多个待存储数据组成的,待存储数据可以是输入/输出(Input/Output,IO)数据。例如,用户通过手机在网上下载电影时,当电影文件的数据量较大时,该电影文件可以被切分成多个子文件在网络中传输,此时,手机可以通过接收被切分成的多个子文件,以便组成完整的电影文件。其中,手机接收到的每个子文件可以作为一个待存储数据(即IO数据),手机接收到的多个子文件可以作为一个待存储数据流(即IO流)。
在一种实现方式中,电子设备可以从自身的缓存队列中获取待存储数据流,或者,电子设备可以通过收发器接收待存储数据流,本发明实施例对此不作限定。当电子设备从自身的缓存队列中获取待存储数据流时,电子设备为每一个待存储数据流分配有一个缓存队列,当缓存队列中缓存的待存储数据流被存储至电子设备的存储器中后,该缓存队列可以用于缓存其他的待存储数据流。
在本发明实施例中,当第一存储器为电子设备的默认存储器时,电子设备在接收到任何待存储数据时,均会默认将该待存储数据存储至默认存储器(即第一存储器)中。在一种实现方式中,默认存储器可以是电子设备默认设置的,也可以是电子设备根据用户操作确定的,本发明实施例对此不作限定。
在一种实现方式中,电子设备中的第一存储器和第二存储器可以是不同类型的存储器,例如,第一存储器可以为固态硬盘(Solid State Disk,SSD),第二存储器可以为硬盘驱动器(Hard Disk Drive,HDD)或者串口硬盘(Serial Advanced Technology Attachmenthard disk,SATA)。在一种实现方式中,第一存储器和第二存储器可以是存储性能不同的存储器,例如,第一存储器(如SSD)的随机读写性能高于第二存储器(如HDD),而第二存储器(如HDD)的顺序读写性能高于第一存储器(如SSD)。
需要说明的是,电子设备中包括2个存储器(即第一存储器和第二存储器)仅用于举例说明,在其他可行的实现方式中,电子设备还可以包括3个、6个或者其他数量的存储器,其中,各个存储器的类型均可以不同,或者,部分存储器的类型可以相同,另一部分存储器的类型可以不同,本发明实施例对此不作限定。
在本发明实施例中,电子设备可以是终端设备,也可以是服务器。其中,该终端设备可以是智能手机、平板电脑、个人计算机(Personal Computer,PC)、智能电视、智能手表、车载设备、可穿戴设备、未来第五代移动通信技术(the 5th Generation,5G)网络中的终端设备等,本发明实施例对此不作限定。
在一种实现方式中,电子设备获取的各个待存储数据流可以是连续数据流,连续数据流是指电子设备在存储连续数据流包括的数据时,需要按照连续数据流中数据的排列顺序进行存储,且连续数据流中的数据的存储地址需连续,也就是说,连续数据流中的前一个数据的终止地址与后一个数据的起始地址连续。以图1a所示的一种连续数据流包括的各个数据在电子设备中的存储位置示意图为例,若连续数据流包括3个数据(如Data1、Data2和Data3),Data1、Data2和Data3在缓存队列中的排列顺序如图1a所示,且Data1、Data2和Data3在存储器中均占据4个存储单元,则电子设备在存储器中存储Data1之后,可以将Data1的终止地址d1的下一个地址d2作为Data2的起始地址,同理,电子设备在存储器中存储Data2之后,可以将Data2的终止地址d3的下一个地址d4作为Data3的起始地址。
在一种实现方式中,电子设备在接收待存储数据流1(即连续数据流1)的过程中,可能会接收到属于其他待存储数据流的待存储数据,此时,该待存储数据流1被属于其他待存储数据流的待存储数据所打乱。为了能够准确检测出连续的待存储数据流1的数据量,电子设备需要准确识别出各个待存储数据所属的待存储数据流,进而将各个待存储数据分类为多个待存储数据流,进而统计各个待存储数据流的数据量。
在一种实现方式中,电子设备获取多个待存储数据流的具体实施方式可以为:电子设备获取多个待存储数据以及每个待存储数据的属性信息,属性信息可以包括但不限于起始地址、终止地址、数据长度和数据流标识中的一个或多个;并根据多个待存储数据中每个待存储数据的属性信息,确定出对应待存储数据所属的数据流,将确定出的数据流作为待存储数据流。通过这种方式,可以准确识别出电子设备接收到的各个待存储数据所属的待存储数据流,有利于提高统计的各个待存储数据流的数据量的准确度。
在一种实现方式中,电子设备在接收到待存储数据时,可以同时接收到该待存储数据的属性信息。在一种实现方式中,电子设备在接收到待存储数据时,可以解析该待存储数据,以得到该待存储数据的属性信息,例如,电子设备可以从该待存储数据的预设字段中提取出数据长度或数据流标识。在一种实现方式中,电子设备在接收到待存储数据时,可以为该待存储数据设置属性信息,例如,电子设备在接收到待存储数据时,可以预先为该待存储数据设置在默认存储器中的起始地址和终止地址。
其中,数据长度可以用于表征该待存储数据的数据大小,数据长度可以记录于该待存储数据的第一预设字段中,或者,数据长度也可以是电子设备对该待存储数据进行检测得到的;数据流标识可以记录于该待存储数据的第二预设字段中,通过数据流标识可以确定待存储数据所属的数据流。例如,数据流标识指示的数据流即为待存储数据所属的数据流。
在一种实现方式中,待存储数据可以包括第二待存储数据和第三待存储数据,属性信息可以包括起始地址和终止地址;电子设备根据多个待存储数据中每个待存储数据的属性信息,确定出对应待存储数据所属的数据流的具体实施方式可以为:若第二待存储数据的起始地址与第三待存储数据的终止地址连续,则电子设备确定第二待存储数据和第三待存储数据属于同一个数据流。例如,若电子设备中存在10个待存储数据流,10个待存储数据流均至少包括一个待存储数据,且10个待存储数据流中的每个待存储数据流包括的待存储数据按序排列,当电子设备接收到一个新的待存储数据Data时,电子设备可以获取为该新的待存储数据Data设置的初始地址,并获取10个待存储数据流中的每个待存储数据流中排在最后的待存储数据的终止地址,然后分别计算得到10个排在最后的待存储数据的终止地址的下一个存储地址,并判断新的待存储数据Data的初始地址是否与10个排在最后的待存储数据的终止地址的下一个存储地址中的目标存储地址相同,若相同,则将目标存储地址对应的待存储数据所属的待存储数据流确定为新的待存储数据Data所属的数据流;若不相同,则表明该新的待存储数据Data所属的数据流为一个新的数据流。
在一种实现方式中,待存储数据可以包括第二待存储数据和第三待存储数据,属性信息可以包括起始地址和数据长度;电子设备根据多个待存储数据中每个待存储数据的属性信息,确定出对应待存储数据所属的数据流的具体实施方式可以为:电子设备根据多个待存储数据中每个待存储数据的起始地址和数据长度,得到对应待存储数据的终止地址;若第二待存储数据的起始地址与第三待存储数据的终止地址连续,则电子设备确定第二待存储数据和第三待存储数据属于同一个数据流。在一种实现方式中,待存储数据的属性信息可能只包括待存储数据的起始地址和数据长度,为了确定该待存储数据所属的数据流,电子设备可以根据待存储数据的起始地址和数据长度,得到该待存储数据的终止地址,进而根据该待存储数据的起始地址和终止地址,确定该待存储数据所属的数据流。
在一种实现方式中,属性信息可以包括数据流标识;电子设备根据多个待存储数据中每个待存储数据的属性信息,确定出对应待存储数据所属的数据流的具体实施方式可以为:电子设备将多个待存储数据中每个待存储数据的数据流标识指示的数据流作为对应待存储数据所属的数据流。具体的,电子设备接收到的部分待存储数据可以是由资源服务器发送的,该部分待存储数据在资源服务器中可以用于组成一个完整的资源(如一部电影或一首歌曲),为了在电子设备中重组并输出该资源,资源服务器在发送待存储数据流时,可以将待存储数据流包括的各个待存储数据所属的数据流标识一并发送给电子设备,以便电子设备可以根据各个待存储数据的数据流标识,确定对应待存储数据所属的数据流。
在一种实现方式中,在资源服务器将某个资源包括的多个待存储数据发送给电子设备时,为了防止因网络原因,导致组成该资源的各个待存储数据在传输至电子设备时的顺序与资源服务器的发送顺序不一致,而使得电子设备在输出该资源时,发生错误,例如,播放电影时,画面不连续,影响观看体验。为了避免上述问题,资源服务器在发送待存储数据流时,除了可以将待存储数据流包括的各个待存储数据所属的数据流标识一并发送给电子设备以外,还可以将待存储数据流包括的各个待存储数据的序号一并发送给电子设备。其中,待存储数据的序号用于指示该待存储数据在所属的待存储数据流(即资源)中的排列位置。例如,若资源服务器向电子设备依次发送3个待存储数据(如Data1、Data2和Data3),这3个待存储数据组成一个待存储数据流,Data1、Data2和Data3的序号分别为1、2和3,且电子设备接收这3个待存储数据的接收顺序为:Data2、Data1、Data3时,电子设备可以根据这3个待存储数据的序号,将接收到的3个待存储数据进行重新排序,以恢复待存储数据流,恢复得到的待存储数据流中的待存储数据的排列顺序为:Data1、Data2、Data3。通过这种方式,可以避免待存储数据流对应的资源在电子设备中输出时,发生错误,有利于提高用户体验。
S102、电子设备检测多个待存储数据流中每个待存储数据流的数据量。
具体的,每个待存储数据流的数据量为该待存储数据流包括的各个待存储数据的数据量的总和,电子设备可以通过检测每个待存储数据流包括的各个待存储数据的数据量,以得到该待存储数据流的数据量,其中,待存储数据的数据量可以用于表征该待存储数据的数据大小。
在一种实现方式中,每个待存储数据的数据量可以直接记录于该待存储数据的第三预设字段中,例如,待存储数据的数据量可以直接记录于该待存储数据的网际协议地址(Internet Protocol Address,IP)包的包头中的某一个字段中,或者,待存储数据的数据量可以通过获取该待存储数据的IP包的包头中的包长字段中的包长,并将获取的包长减去IP包的包头长度以及运输层协议(如TCP、UDP)数据包的包头长度得到。在一种实现方式中,电子设备在接收到待存储数据时,可以检测该待存储数据的数据长度,得到该待存储数据的数据量。
需要说明的是,待存储数据流包括的待存储数据在传输至电子设备的时间是不同的,电子设备在接收到待存储数据流包括的部分待存储数据时,后续可能还会不断接收到属于该待存储数据流的待存储数据,因此,电子设备在未完全接收到待存储数据流包括的所有待存储数据时,检测到的该待存储数据流的数据量不是该待存储数据流实际的数据量。在本发明实施例中,电子设备每接收到一个属于该待存储数据流的待存储数据就需要重新检测一次该待存储数据流的数据量,具体的,电子设备可以通过检测新接收到的待存储数据的数据量,然后将检测到的数据量与接收新待存储数据之前得到的该待存储数据流的数据量相加,即可得到当前待存储数据流的数据量。
S103、电子设备在多个待存储数据流中,将数据量大于第一数据量阈值的待存储数据流确定为第一数据流。
具体的,电子设备在检测到各个待存储数据流的当前数据量之后,可以在多个待存储数据流中,将数据量大于第一数据量阈值的待存储数据流确定为第一数据流。数据量大于第一数据量阈值的待存储数据流的数据量较大,需要占据存储器较大的存储空间,而数据量小于或等于第一数据量阈值的待存储数据流的数据量较小,占据的存储空间较小。电子设备在确定出数据量大于第一数据量阈值的第一数据流之后,可以进一步获取第一数据流的数量与待存储数据流的数量之间的比值,并根据比值确定如何存储待存储数据流。
在一种实现方式中,相较于数据量小于或等于第一数据量阈值的待存储数据流,在存储数据量大于第一数据量阈值的待存储数据流时,需要占据更多的存储单元,电子设备在将待存储数据存储至存储单元时,首先需要获取存储单元的地址,然后才能按照地址将待存储数据存储至存储单元,因此在存储数据量大于第一数据量阈值的待存储数据流时,获取存储单元的地址的总时长成为限制存储效率的主要因素之一。
在一种实现方式中,第二存储器在存储待存储数据时,将待存储数据存储至存储地址连续的存储单元中,这样第二存储器只要获取到存储待存储数据的首个存储单元的地址,即可顺序存储待存储数据,而不需再重新获取存储单元的地址,因此,第二存储器在存储占据的存储单元越多的待存储数据流时,对于存储每个待存储数据的所花费的平均时长更短。然而,第一存储器在存储待存储数据时,将待存储数据存储至随机的存储单元中,这样第二存储器在存储一个待存储数据,需要多次获取存储单元的地址,例如,一个待存储数据需要占据4个存储单元,则第一存储器需要分别获取4个存储单元的地址,才能成功存储该待存储数据,且4个存储单元的地址可能不是连续的,因此,第一存储器在存储占据的存储单元越多的待存储数据流时,对于存储每个待存储数据的所花费的平均时长更长。由于第二存储器的顺序读写性能高于第一存储器,因此,相较于将数据量大于第一数据量阈值的待存储数据流存储至第一存储器,将数据量大于第一数据量阈值的待存储数据流存储至第二存储器,所花费的获取存储单元地址的总时长更短,能提高存储效率以及电子设备整体的存储性能。
在一种实现方式中,第一数据量阈值可以是电子设备默认设置的,也可以是电子设备根据用户输入的经验值确定的,本发明实施例对此不作限定。
S104、电子设备获取第一数据流的数量,并将第一数据流的数量与待存储数据流的数量之间的比值作为第一比值。
具体的,电子设备确定第一数据流之后,可以统计第一数据流的数量,然后计算第一数据流的数量与待存储数据流的数量之间的比值,并将计算得到的比值作为第一比值,该第一比值可以用于表征电子设备当前接收到的所有待存储数据流中,第一数据流的占比,或者,该第一比值可以用于表征电子设备当前接收到的所有待存储数据流中,大IO流的占比。
S105、若第一比值大于预设比值,则电子设备将待存储数据流中的待存储数据均存储至第二存储器。
具体的,若第一比值大于预设比值,则表明电子设备当前接收到的所有待存储数据流中,大IO流的占比较高。由于相较于将大IO流存储至第一存储器,将大IO流存储至第二存储器,所花费的获取存储单元地址的总时长更短,因此,在第一比值大于预设比值时,相较于将待存储数据流中的待存储数据均存储至第一存储器,电子设备将待存储数据流中的待存储数据均存储至第二存储器,可以降低获取存储单元地址的总时长,有利于提高电子设备的存储效率以及整体的存储性能。其中,预设比值大于0且小于1。在一种实现方式中,预设比值可以是电子设备默认设置的,也可以是电子设备根据用户输入的经验值确定的,本发明实施例对此不作限定。
在一种实现方式中,电子设备将待存储数据流中的待存储数据均存储至第二存储器的具体实施方式可以为:电子设备通过第二类型的存储路径将待存储数据存储均至第二存储器。其中,当第二存储器为HDD时,第二类型的存储路径可以为前缀为“/HDD”的存储路径。
在一种实现方式中,在步骤S102之前,电子设备还可以检测是否开启分级缓存功能,若开启,则执行步骤S102,若未开启,则将获取的多个待存储数据流直接存储至默认存储器,其中,默认存储器可以是电子设备中的任意一个存储器(如第一存储器或者第二存储器)。例如,当默认存储器为第一存储器,且第一存储器的剩余存储空间非常大时,电子设备可以不用开启分级缓存功能,这样在接收到多个待存储数据流时,可以直接将该多个待存储数据流存储至第一存储器,而无需检测各个待存储数据的数据量,并根据各个待存储数据的数据量确定第一数据流,并根据第一数据流的数量与待存储数据流的数量之间的比值判断将获取的待存储数据存储至第一存储器还是第二存储器,通过这种方式,可以降低电子设备的功耗。也就是说,电子设备可以在第一存储器的剩余存储空间较有限时,才开启分级缓存功能,以防止第一存储器的存储空间被耗尽。通过这种方式,可以更好地利用电子设备中的各个存储器的存储资源,提高电子设备整体的存储性能。
通过实施本发明实施例,当第一存储器为电子设备的默认存储器时,可以根据获取的各个待存储数据流的数据量,在获取的多个待存储数据流中确定出第一数据流,然后获取第一数据流的数量与获取的待存储数据流的数量之间的第一比值,若第一比值大于预设比值,则将获取的待存储数据流中的待存储数据均存储至第二存储器。通过这种方式,可以避免将获取的待存储数据流中的待存储数据均存储至默认存储器,有利于提高电子设备整体的存储性能。
请参阅图2,图2是本发明实施例提供的另一种分级存储方法的流程示意图。该方法应用于电子设备,该电子设备可以包括第一存储器和第二存储器,第一存储器为电子设备的默认存储器。具体的,如图2所示,本发明实施例的分级存储方法可以包括但不限于如下步骤:
S201、电子设备获取多个待存储数据流。
S202、电子设备检测多个待存储数据流中每个待存储数据流的数据量。
S203、电子设备在多个待存储数据流中,将数据量大于第一数据量阈值的待存储数据流确定为第一数据流。
S204、电子设备获取第一数据流的数量,并将第一数据流的数量与待存储数据流的数量之间的比值作为第一比值。
S205、若第一比值大于预设比值,则电子设备将待存储数据流中的待存储数据均存储至第二存储器。
需要说明的是,步骤S201~步骤S205的执行过程可以分别参见图1中步骤S101~步骤105中的具体描述,在此不赘述。
在一种实现方式中,在获取单个存储单元的存储地址时,第一存储器的获取速度快于第二存储器,但是由于第一存储器采用随机存储的方式,第二存储器采用顺序存储的方式,因此,在存储连续的大IO流时,第二存储器的存储效率高于第一存储器,但是在存储小IO流时,第一存储器的存储效率高于第二存储器。在一种实现方式中,若第一比值小于或等于预设比值,则表明电子设备当前接收到的所有待存储数据流中,小IO流的占比较高。由于在存储小IO流时,第一存储器的存储效率高于第二存储器,因此,相较于将小IO流存储至第二存储器,将小IO流存储至第一存储器,所花费的获取存储单元地址的总时长更短,因此,在第一比值小于或等于预设比值时,相较于将待存储数据流中的待存储数据均存储至第二存储器,电子设备将待存储数据流中的部分待存储数据均存储至第一存储器,可以降低获取存储单元地址的总时长,有利于提高电子设备的存储效率以及整体的存储性能。需要说明的是,在一种实现方式中,第一存储器的存储空间小于第二存储器的存储空间,虽然第一比值小于或等于预设比值,但是当前获取的多个待存储数据流中仍然包括大IO流(即第一数据流),若该大IO流的数据量极大,而电子设备将该大IO流包括的所有待存储数据也全部存储至第一存储器,将导致第一存储器的空间很快被耗尽,因此,电子设备可以将待存储数据流中的部分待存储数据均存储至第一存储器,然后再进一步根据大IO流的数据量判断是否将大IO的所有待存储数据均存储至第一存储器。
具体的,电子设备在获取的多个待存储数据流中,可以将数据量小于或等于第一数据量阈值的待存储数据流确定为第二数据流,由于第二数据流的数据量很小,因此可以直接将第二数据流包括的所有待存储数据均存储至第一存储器。对于第一数据流,可以按照第一数据流中待存储数据在数据队列中的排列顺序,从第一数据流中提取第一待存储数据,并将第一待存储数据存储至第一存储器,其中,第一待存储数据的数据量等于第一数据量阈值,数据队列可以指缓存待存储数据流的缓存队列,也可以指接收待存储数据流的接收队列,在数据队列中,待存储数据流包括的待存储数据按照序号从小到大的顺序排列。对于第一数据流中除了第一待存储数据以外的其他待存储数据,需要进一步判断应该存储至第一存储器还是第二存储器。
S206、若第一比值小于或等于预设比值,则电子设备在所有第一数据流中,将数据量大于第二数据量阈值的第一数据流确定为第三数据流,第二数据量阈值大于第一数据量阈值。
具体的,若第一比值小于或等于预设比值,则电子设备可以在所有第一数据流中,将数据量大于第二数据量阈值的第一数据流确定为第三数据流。第二数据量阈值可以是第一数据量阈值的整数倍,例如,第一数据量阈值为128KB时,第二数据量阈值可以为256KB。在一种实现方式中,第二数据量阈值可以是电子设备默认设置的,也可以是电子设备根据用户输入的经验值确定的,本发明实施例对此不作限定。
S207、电子设备获取第三数据流的数量,并将第三数据流的数量与第一数据流的数量之间的比值作为第二比值。
具体的,电子设备获取第二比值之后,可以根据第二比值,确定如何存储第一数据流中除了第一待存储数据以外的其他待存储数据。在一种实现方式中,若第二比值大于预设比值,则电子设备可以将第一数据流中除第一待存储数据以外的其他待存储数据均存储至第二存储器;若第二比值小于或等于预设比值,则电子设备可以将第一数据流中除第一待存储数据以外的其他待存储数据均存储至第一存储器。
S208、若第二比值大于预设比值,则电子设备按照第一数据流中待存储数据在数据队列中的排列顺序,从第一数据流中提取第一待存储数据,将第一待存储数据存储至第一存储器,并将第二数据流中的待存储数据存储至第一存储器。
具体的,若第二比值大于预设比值,则电子设备可以触发执行按照第一数据流中待存储数据在数据队列中的排列顺序,从第一数据流中提取第一待存储数据,将第一待存储数据存储至第一存储器,并将第二数据流中的待存储数据存储至第一存储器的步骤。在一种实现方式中,电子设备可以先执行从第一数据流中提取第一待存储数据,将第一待存储数据存储至第一存储器,并将第二数据流中的待存储数据存储至第一存储器,然后再执行将第一数据流中除第一待存储数据以外的其他待存储数据均存储至第二存储器。或者,电子设备可以同时执行从第一数据流中提取第一待存储数据,将第一待存储数据存储至第一存储器,并将第二数据流中的待存储数据存储至第一存储器,将第一数据流中除第一待存储数据以外的其他待存储数据均存储至第二存储器。
S209、电子设备将第一数据流中除第一待存储数据以外的其他待存储数据均存储至第二存储器。
具体的,若第二比值大于预设比值,则电子设备可以将第一数据流中除第一待存储数据以外的其他待存储数据均存储至第二存储器。通过这种方式,在第一比值小于或等于预设比值时,电子设备将第一数据流中的部分待存储数据(即第一待存储数据)存储至第一存储器,并将第一数据流中的剩余待存储数据(即除第一待存储数据以外的其他待存储数据)存储至第二存储器,可以避免将所有待存储数据均存储至同一个存储器,有利于同时发挥出第一存储器和第二存储器的存储性能,即有利于提高电子设备整体的存储性能。
以图2a所示的电子设备存储4个待存储数据流(待存储数据流a、待存储数据流b、待存储数据流c和待存储数据流d)的场景示意图为例,若电子设备获取的4个待存储数据流a、待存储数据流b、待存储数据流c和待存储数据流d的数据量分别为384KB、288KB、224KB、96KB,第一数据流阈值为128KB,第二数据流阈值为256KB,且预设比值为1/2,则可以得到,第一比值为3/4,第二比值为2/3,因此,图2a中待存储数据流a、待存储数据流b、待存储数据流c均为第一数据流,待存储数据流d为第二数据流,且待存储数据流a、待存储数据流b为第三数据流。因此,电子设备可以将第二数据流中的待存储数据以及第一数据流中的第一待存储数据(即图中阴影部分所示的待存储数据)存储至第一存储器,并将第一数据流中除第一待存储数据意外的待存储数据均存储至第二存储器。
在一种实现方式中,电子设备还可以将第一存储器(和第二存储器)格式化为预设格式的文件系统,以便于在第一存储器(和第二存储器)中查找数据或者管理数据。例如,将第一存储器格式化为文件系统之后,用户可以很方便地在第一存储器中查找数据、拷贝数据、删除数据或者迁移数据等,通过这种方式,电子设备可以更好地管理第一存储器的存储空间,进而提高第一存储器的存储性能。文件系统是操作系统用于明确存储设备(如第一存储器和/或第二存储器)或分区上的文件的方法和数据结构,从系统角度来看,文件系统是对文件存储设备的空间进行组织和分配,负责文件存储并对存入的文件进行保护和检索的系统。在一种实现方式中,当电子设备的操作系统为Linux时,预设格式可以为第四代扩展文件系统(Fourth extended file system,EXT4)格式,或者,Linux操作系统支持的其他文件系统格式。在一种实现方式中,当电子设备的操作系统为Windows时,预设格式可以为NTFS(New Technology File System)格式,或者,文件分配表(File Allocation Table,FAT)格式。
在一种实现方式中,电子设备在将待存储数据存储中第一存储器之后,可以针对该待存储数据设置一个计时器,用于统计该待存储数据的已存储时长。另外,电子设备还可以统计该待存储数据在存储期间被调用的总次数,进而,将待存储数据在存储期间被调用的总次数与该待存储数据的已存储时长之间的比值作为该待存储数据的在存储期间被调用的频率。然后,电子设备可以获取数据量的权重、以及调用频率的权重,进而根据数据量的权重、以及调用频率的权重,对第一存储器中存储的各个数据的数据量和各个数据在存储期间被调用的频率进行加权求和,得到各个数据的存储价值,并将存储价值最小的数据迁移至第二存储设备,即在第一存储器中删除存储价值最小的数据,并将该存储价值最小的数据存储至第二存储器。通过这种方式,可以避免第一存储器的剩余存储空间过小时,无法存储后续接收到的待存储数据,有利于提高电子设备的存储性能。
在一种实现方式中,电子设备将各个数据中存储价值最小的数据迁移至第二存储设备之后,若检测到第一存储器的剩余存储空间仍然小于第二存储空间阈值,则电子设备还需要根据存储价值递增的顺序删除第一存储器中存储的数据,直至第一存储器的剩余存储空间大于或等于第二存储空间阈值。
通过实施本发明实施例,当第一存储器为电子设备的默认存储器时,可以根据获取的各个待存储数据流的数据量,在获取的多个待存储数据流中确定出第一数据流,然后获取第一数据流的数量与获取的待存储数据流的数量之间的第一比值,在第一比值小于或等于预设比值时,电子设备将第一数据流中的部分待存储数据(即第一待存储数据)存储至第一存储器,并将第一数据流中的剩余待存储数据(即除第一待存储数据以外的其他待存储数据)存储至第二存储器,可以避免将所有待存储数据均存储至同一个存储器,有利于同时发挥出第一存储器和第二存储器的存储性能,即有利于提高电子设备整体的存储性能。
请参见图3,图3是本发明实施例提供的一种分级存储装置的结构示意图,该分级存储装置包括第一存储器和第二存储器,第一存储器为该分级存储装置的默认存储器,具体的,如图3所示,该分级存储装置30,可以包括:
获取单元301,用于获取多个待存储数据流;
处理单元302,用于检测多个待存储数据流中每个待存储数据流的数据量;
处理单元302,还用于在多个待存储数据流中,将数据量大于第一数据量阈值的待存储数据流确定为第一数据流;
处理单元302,还用于获取第一数据流的数量,并将第一数据流的数量与待存储数据流的数量之间的比值作为第一比值;
存储单元303,用于若第一比值大于预设比值,则将待存储数据流中的待存储数据均存储至第二存储器。
在一种实现方式中,存储单元303,还用于若第一比值小于或等于预设比值,则按照第一数据流中待存储数据在数据队列中的排列顺序,从第一数据流中提取第一待存储数据,将第一待存储数据存储至第一存储器,并将第二数据流中的待存储数据存储至第一存储器;其中,第一待存储数据的数据量等于第一数据量阈值,第二数据流为多个待存储数据流中数据量小于或等于第一数据量阈值的待存储数据流。
在一种实现方式中,处理单元302,还用于若第一比值小于或等于预设比值,则在所有第一数据流中,将数据量大于第二数据量阈值的第一数据流确定为第三数据流,第二数据量阈值大于第一数据量阈值;获取第三数据流的数量,并将第三数据流的数量与第一数据流的数量之间的比值作为第二比值;存储单元303,还用于若第二比值大于所述预设比值,则触发执行按照第一数据流中待存储数据在数据队列中的排列顺序,从第一数据流中提取第一待存储数据,将第一待存储数据存储至第一存储器,并将第二数据流中的待存储数据存储至第一存储器的步骤;将第一数据流中除第一待存储数据以外的其他待存储数据均存储至第二存储器。
在一种实现方式中,获取单元301具体可以用于:获取多个待存储数据以及每个待存储数据的属性信息,属性信息包括起始地址、终止地址、数据长度和数据流标识中的一个或多个;并根据多个待存储数据中每个待存储数据的属性信息,确定出对应待存储数据所属的数据流,将确定出的数据流作为待存储数据流。
在一种实现方式中,待存储数据可以包括第二待存储数据和第三待存储数据,属性信息可以包括起始地址和终止地址;获取单元301用于根据多个待存储数据中每个待存储数据的属性信息,确定出对应待存储数据所属的数据流时,具体可以用于:若第二待存储数据的起始地址与第三待存储数据的终止地址连续,则确定第二待存储数据和第三待存储数据属于同一个数据流。
在一种实现方式中,待存储数据可以包括第二待存储数据和第三待存储数据,属性信息可以包括起始地址和数据长度;获取单元301用于根据多个待存储数据中每个待存储数据的属性信息,确定出对应待存储数据所属的数据流时,具体可以用于:根据多个待存储数据中每个待存储数据的起始地址和数据长度,得到对应待存储数据的终止地址;若第二待存储数据的起始地址与第三待存储数据的终止地址连续,则确定第二待存储数据和第三待存储数据属于同一个数据流。
在一种实现方式中,属性信息可以包括数据流标识;获取单元301用于根据多个待存储数据中每个待存储数据的属性信息,确定出对应待存储数据所属的数据流时,具体可以用于:将多个待存储数据中每个待存储数据的数据流标识指示的数据流作为对应待存储数据所属的数据流。
本发明实施例和图1-图2所示方法实施例基于同一构思,其带来的技术效果也相同,具体原理请参照图1-图2所示实施例的描述,在此不赘述。
请参阅图4,图4是本发明实施例提供的一种电子设备的结构示意图。该电子设备40可以包括第一存储器401、第二存储器402、处理器403和网络接口404,第一存储器401、第二存储器402、处理器403和网络接口404通过一条或多条通信总线连接。其中,网络接口404受处理器403的控制用于收发消息。
第一存储器401(和第二存储器402)可以包括只读存储器和随机存取存储器,并向处理器403提供指令和数据。第一存储器401(和第二存储器402)的一部分还可以包括非易失性随机存取存储器。
处理器403可以是中央处理单元(Central Processing Unit,CPU),该处理器403还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器,可选的,该处理器403也可以是任何常规的处理器等。其中:
第一存储器401(或第二存储器402),用于存储程序指令。
处理器403,用于调用第一存储器401(或第二存储器402)中存储的程序指令,以用于:
获取多个待存储数据流;
检测多个待存储数据流中每个待存储数据流的数据量;
在多个待存储数据流中,将数据量大于第一数据量阈值的待存储数据流确定为第一数据流;
获取第一数据流的数量,并将第一数据流的数量与待存储数据流的数量之间的比值作为第一比值;
若第一比值大于预设比值,则将待存储数据流中的待存储数据均存储至第二存储器402。
在一种实现方式中,处理器403还可以用于:若第一比值小于或等于预设比值,则按照第一数据流中待存储数据在数据队列中的排列顺序,从第一数据流中提取第一待存储数据,将第一待存储数据存储至第一存储器401,并将第二数据流中的待存储数据存储至第一存储器401;其中,第一待存储数据的数据量等于第一数据量阈值,第二数据流为多个待存储数据流中数据量小于或等于第一数据量阈值的待存储数据流。
在一种实现方式中,处理器403还可以用于:若第一比值小于或等于预设比值,则在所有第一数据流中,将数据量大于第二数据量阈值的第一数据流确定为第三数据流,第二数据量阈值大于第一数据量阈值;获取第三数据流的数量,并将第三数据流的数量与第一数据流的数量之间的比值作为第二比值;若第二比值大于所述预设比值,则触发执行按照第一数据流中待存储数据在数据队列中的排列顺序,从第一数据流中提取第一待存储数据,将第一待存储数据存储至第一存储器401,并将第二数据流中的待存储数据存储至第一存储器401的步骤;将第一数据流中除第一待存储数据以外的其他待存储数据均存储至第二存储器402。
在一种实现方式中,处理器403具体可以用于:获取多个待存储数据以及每个待存储数据的属性信息,属性信息包括起始地址、终止地址、数据长度和数据流标识中的一个或多个;并根据多个待存储数据中每个待存储数据的属性信息,确定出对应待存储数据所属的数据流,将确定出的数据流作为待存储数据流。
在一种实现方式中,待存储数据可以包括第二待存储数据和第三待存储数据,属性信息可以包括起始地址和终止地址;处理器403用于根据多个待存储数据中每个待存储数据的属性信息,确定出对应待存储数据所属的数据流时,具体可以用于:若第二待存储数据的起始地址与第三待存储数据的终止地址连续,则确定第二待存储数据和第三待存储数据属于同一个数据流。
在一种实现方式中,待存储数据可以包括第二待存储数据和第三待存储数据,属性信息可以包括起始地址和数据长度;处理器403用于根据多个待存储数据中每个待存储数据的属性信息,确定出对应待存储数据所属的数据流时,具体可以用于:根据多个待存储数据中每个待存储数据的起始地址和数据长度,得到对应待存储数据的终止地址;若第二待存储数据的起始地址与第三待存储数据的终止地址连续,则确定第二待存储数据和第三待存储数据属于同一个数据流。
在一种实现方式中,属性信息可以包括数据流标识;处理器403用于根据多个待存储数据中每个待存储数据的属性信息,确定出对应待存储数据所属的数据流时,具体可以用于:将多个待存储数据中每个待存储数据的数据流标识指示的数据流作为对应待存储数据所属的数据流。
需要说明的是,图4对应的实施例中未提及的内容以及各个步骤的具体实现方式可参见图1-图2所示实施例以及前述内容,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序包括程序指令,程序指令被处理器执行时,使处理器执行如图1-图2所示方法实施例中所执行的步骤。
以上所揭露的仅为本发明的部分实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。

Claims (10)

1.一种分级存储方法,应用于电子设备,其特征在于,所述电子设备包括第一存储器和第二存储器,所述第一存储器为所述电子设备的默认存储器;所述方法包括:
获取多个待存储数据流;
检测所述多个待存储数据流中每个待存储数据流的数据量,所述待存储数据流的数据量用于表征所述待存储数据流的数据大小;
在所述多个待存储数据流中,将数据量大于第一数据量阈值的待存储数据流确定为第一数据流;
获取所述第一数据流的数量,并将所述第一数据流的数量与所述待存储数据流的数量之间的比值作为第一比值;
若所述第一比值大于预设比值,则将所述待存储数据流中的待存储数据均存储至所述第二存储器。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述第一比值小于或等于所述预设比值,则按照所述第一数据流中待存储数据在数据队列中的排列顺序,从所述第一数据流中提取第一待存储数据,将所述第一待存储数据存储至所述第一存储器,并将第二数据流中的待存储数据存储至所述第一存储器;
其中,所述第一待存储数据的数据量等于所述第一数据量阈值,所述第二数据流为所述多个待存储数据流中数据量小于或等于所述第一数据量阈值的待存储数据流。
3.根据权利要求2所述的方法,其特征在于,所述按照所述第一数据流中待存储数据在数据队列中的排列顺序,从所述第一数据流中提取第一待存储数据,将所述第一待存储数据存储至所述第一存储器,并将第二数据流中的待存储数据存储至所述第一存储器之前,所述方法还包括:
若所述第一比值小于或等于所述预设比值,则在所有第一数据流中,将数据量大于第二数据量阈值的第一数据流确定为第三数据流,所述第二数据量阈值大于所述第一数据量阈值;
获取所述第三数据流的数量,并将所述第三数据流的数量与所述第一数据流的数量之间的比值作为第二比值;
若所述第二比值大于所述预设比值,则触发执行按照所述第一数据流中待存储数据在数据队列中的排列顺序,从所述第一数据流中提取第一待存储数据,将所述第一待存储数据存储至所述第一存储器,并将第二数据流中的待存储数据存储至所述第一存储器的步骤;
将所述第一数据流中除所述第一待存储数据以外的其他待存储数据均存储至所述第二存储器。
4.根据权利要求1~3任一项所述的方法,其特征在于,所述获取多个待存储数据流,包括:
获取多个待存储数据以及每个待存储数据的属性信息,所述属性信息包括起始地址、终止地址、数据长度和数据流标识中的一个或多个;
根据所述多个待存储数据中每个待存储数据的属性信息,确定出对应待存储数据所属的数据流,将确定出的数据流作为待存储数据流。
5.根据权利要求4所述的方法,其特征在于,所述待存储数据包括第二待存储数据和第三待存储数据,所述属性信息包括起始地址和终止地址;
所述根据所述多个待存储数据中每个待存储数据的属性信息,确定出对应待存储数据所属的数据流,包括:
若所述第二待存储数据的起始地址与所述第三待存储数据的终止地址连续,则确定所述第二待存储数据和第三待存储数据属于同一个数据流。
6.根据权利要求4所述的方法,其特征在于,所述待存储数据包括第二待存储数据和第三待存储数据,所述属性信息包括起始地址和数据长度;
所述根据所述多个待存储数据中每个待存储数据的属性信息,确定出对应待存储数据所属的数据流,包括:
根据所述多个待存储数据中每个待存储数据的起始地址和数据长度,得到对应待存储数据的终止地址;
若所述第二待存储数据的起始地址与所述第三待存储数据的终止地址连续,则确定所述第二待存储数据和第三待存储数据属于同一个数据流。
7.根据权利要求4所述的方法,其特征在于,所述属性信息包括数据流标识;
所述根据所述多个待存储数据中每个待存储数据的属性信息,确定出对应待存储数据所属的数据流,包括:
将所述多个待存储数据中每个待存储数据的数据流标识指示的数据流作为对应待存储数据所属的数据流。
8.一种分级存储装置,其特征在于,所述装置包括用于执行如权利要求1~7任一项所述的方法的单元。
9.一种电子设备,其特征在于,包括存储器和处理器,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1~7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1~7任一项所述的方法。
CN201910156188.1A 2019-03-01 2019-03-01 分级存储方法、装置、电子设备及计算机可读存储介质 Active CN110045924B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910156188.1A CN110045924B (zh) 2019-03-01 2019-03-01 分级存储方法、装置、电子设备及计算机可读存储介质
PCT/CN2019/117558 WO2020177379A1 (zh) 2019-03-01 2019-11-12 分级存储方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910156188.1A CN110045924B (zh) 2019-03-01 2019-03-01 分级存储方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110045924A CN110045924A (zh) 2019-07-23
CN110045924B true CN110045924B (zh) 2022-02-11

Family

ID=67274428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910156188.1A Active CN110045924B (zh) 2019-03-01 2019-03-01 分级存储方法、装置、电子设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN110045924B (zh)
WO (1) WO2020177379A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110045924B (zh) * 2019-03-01 2022-02-11 平安科技(深圳)有限公司 分级存储方法、装置、电子设备及计算机可读存储介质
CN113885795B (zh) * 2021-09-23 2024-01-19 惠州Tcl移动通信有限公司 一种数据存储方法、装置、终端设备及存储介质
CN117762327A (zh) * 2023-11-15 2024-03-26 成都睿众博芯微电子技术有限公司 数据存储方法、装置、设备以及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6230247B1 (en) * 1997-10-29 2001-05-08 International Business Machines Corporation Method and apparatus for adaptive storage space allocation
JP2006155662A (ja) * 2001-11-14 2006-06-15 Emc Corp 装置特性の変化を識別する階層的な方法及び装置
CN104461935A (zh) * 2014-11-27 2015-03-25 华为技术有限公司 一种进行数据存储的方法、装置及系统
CN106502576A (zh) * 2015-09-06 2017-03-15 中兴通讯股份有限公司 迁移策略调整方法、容量变更建议方法及装置
CN107220263A (zh) * 2016-03-22 2017-09-29 阿里巴巴集团控股有限公司 数据迁移的优化方法、评估方法及处理方法及装置
CN108089814A (zh) * 2016-11-23 2018-05-29 中移(苏州)软件技术有限公司 一种数据存储方法及装置
CN108268207A (zh) * 2016-12-30 2018-07-10 杭州海康威视数字技术股份有限公司 一种基于云存储的元数据管理方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9047226B2 (en) * 2013-03-21 2015-06-02 Sharp Laboratories Of America, Inc. Computing device having optimized file system and methods for use therein
CN105718530B (zh) * 2016-01-15 2020-02-04 上海磁宇信息科技有限公司 文件存储系统及其文件存储控制方法
CN110045924B (zh) * 2019-03-01 2022-02-11 平安科技(深圳)有限公司 分级存储方法、装置、电子设备及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6230247B1 (en) * 1997-10-29 2001-05-08 International Business Machines Corporation Method and apparatus for adaptive storage space allocation
JP2006155662A (ja) * 2001-11-14 2006-06-15 Emc Corp 装置特性の変化を識別する階層的な方法及び装置
CN104461935A (zh) * 2014-11-27 2015-03-25 华为技术有限公司 一种进行数据存储的方法、装置及系统
CN106502576A (zh) * 2015-09-06 2017-03-15 中兴通讯股份有限公司 迁移策略调整方法、容量变更建议方法及装置
CN107220263A (zh) * 2016-03-22 2017-09-29 阿里巴巴集团控股有限公司 数据迁移的优化方法、评估方法及处理方法及装置
CN108089814A (zh) * 2016-11-23 2018-05-29 中移(苏州)软件技术有限公司 一种数据存储方法及装置
CN108268207A (zh) * 2016-12-30 2018-07-10 杭州海康威视数字技术股份有限公司 一种基于云存储的元数据管理方法及装置

Also Published As

Publication number Publication date
WO2020177379A1 (zh) 2020-09-10
CN110045924A (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
US11340812B2 (en) Efficient modification of storage system metadata
CN110045924B (zh) 分级存储方法、装置、电子设备及计算机可读存储介质
CN111159436B (zh) 一种推荐多媒体内容的方法、装置及计算设备
CN109756230B (zh) 数据压缩存储方法、数据压缩方法、装置、设备及介质
US9965196B2 (en) Resource reservation for storage system metadata updates
CN110764708A (zh) 一种数据读取方法、装置、设备及存储介质
CN110018788A (zh) 分级存储方法、装置、电子设备及计算机可读存储介质
WO2018153271A1 (zh) 数据的推送方法、装置、存储介质及电子装置
WO2017185616A1 (zh) 文件存储方法及电子设备
CN108874688B (zh) 一种报文数据缓存方法及装置
US10771358B2 (en) Data acquisition device, data acquisition method and storage medium
CN114201421B (zh) 一种数据流处理方法、存储控制节点及可读存储介质
CN110347651A (zh) 基于云存储的数据同步方法、装置、设备及存储介质
CN109343789B (zh) 一种基于io场景识别的读加速方法、装置及电子设备
CN113806300A (zh) 数据存储方法、系统、装置、设备及存储介质
CN110716695A (zh) 一种节点日志的存储方法、系统、电子设备及存储介质
CN109597566B (zh) 一种数据读取、存储方法及装置
WO2021179170A1 (zh) 数据推送方法、装置、服务器及存储介质
WO2023083213A1 (zh) 一种数据解码方法、装置、电子设备及可读存储介质
CN114089912B (zh) 基于消息中间件的数据处理方法及装置、存储介质
CN115934999A (zh) 一种基于块文件的视频流数据存储方法、装置及介质
CN115970295A (zh) 请求处理方法、装置和电子设备
CN114428764A (zh) 文件写入方法、系统、电子设备及可读存储介质
CN109992217B (zh) 一种服务质量控制方法、装置、电子设备和存储介质
CN110362769B (zh) 一种数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant