CN117873384A - 数据写入方法、装置和计算机设备 - Google Patents
数据写入方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN117873384A CN117873384A CN202311773525.4A CN202311773525A CN117873384A CN 117873384 A CN117873384 A CN 117873384A CN 202311773525 A CN202311773525 A CN 202311773525A CN 117873384 A CN117873384 A CN 117873384A
- Authority
- CN
- China
- Prior art keywords
- data
- aligned
- alignment
- writing
- proportion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000011218 segmentation Effects 0.000 claims description 71
- 238000004590 computer program Methods 0.000 claims description 39
- 238000007670 refining Methods 0.000 claims description 13
- 238000011010 flushing procedure Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 13
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种数据写入方法、装置和计算机设备。该方法包括:响应于业务数据的写入请求,根据业务数据的数据大小特征,将业务数据划分为至少一种场景数据;获取各场景数据的数据写入方式;按照各数据写入方式将对应的场景数据写入存储设备中。依据业务数据的数据大小特征,对业务数据进行了划分处理,划分为不同的场景数据,而不同的场景数据对应不同的数据写入方式,即可以根据与业务数据的数据大小特征相匹配的数据写入方式,将业务数据写入到存储设备中,这样,即是根据阵列控制器接入的业务数据大小的随机性,采用了更为细化、更适配业务数据大小随机性场景的数据写入方式,将业务数据写入存储设备中,提高了阵列控制器的写入性能。
Description
技术领域
本申请涉及数据存储技术领域,特别是涉及一种数据写入方法、装置和计算机设备。
背景技术
全闪存阵列也称为固态存储磁盘系统,是一种外部存储阵列。
相关技术中,全闪存阵列中包括阵列控制器和存储设备,从阵列控制器接入的业务数据,通常是由阵列控制器将这些业务数据写入到存储设备中。
然而,相关技术中阵列控制器将业务数据写入到存储设备中的方式,存在阵列控制器写入性能较低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种数据写入方法、装置和计算机设备,能够提高阵列控制器的写入性能。
第一方面,本申请实施例提供了一种数据写入方法,包括:
响应于业务数据的写入请求,根据业务数据的数据大小特征,将业务数据划分为至少一种场景数据;
获取各场景数据的数据写入方式;
按照各数据写入方式将对应的场景数据写入存储设备中。
本申请实施例提供的技术方案中,通过响应于业务数据的写入请求,根据业务数据的数据大小特征,将业务数据划分为至少一种场景数据,进而获取各场景数据的数据写入方式,最后按照各数据写入方式将对应的场景数据写入存储设备中。该方法中,依据业务数据的数据大小特征,对业务数据进行了划分处理,划分为不同的场景数据,而不同的场景数据对应不同的数据写入方式,即可以根据与业务数据的数据大小特征相匹配的数据写入方式,将业务数据写入到存储设备中,这样,即是根据阵列控制器接入的业务数据大小的随机性,采用了更为细化、更适配业务数据大小随机性场景的数据写入方式,将业务数据写入存储设备中,提高了阵列控制器的写入性能。
在其中一个实施例中,根据业务数据的数据大小特征,将业务数据划分为至少一种场景数据,包括:
根据业务数据的数据大小特征和预设的最小块数据大小,将业务数据划分为对齐数据和/或非对齐数据;
基于对齐数据和/或非对齐数据,确定至少一种场景数据。
本申请实施例提供的技术方案中,根据业务数据的数据大小特征和预设的最小块数据大小,将业务数据划分为对齐数据和/或非对齐数据,进而基于对齐数据和/或非对齐数据,确定至少一种场景数据。该方法中,提供了一种对业务数据划分场景数据的可选方式,通过引入最小块数据大小,同时结合了业务数据的数据大小特征,对业务数据划分为对齐数据和非对齐数据,进一步再根据对齐数据和非对齐数据确定场景数据。
在其中一个实施例中,基于对齐数据和/或非对齐数据,确定至少一种场景数据,包括:
基于预设的微小阈值对非对齐数据进行划分处理,获得非对齐微小数据和非对齐非微小数据;以及,
基于预设的直通写阈值对对齐数据进行划分处理,获得对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据。
本申请实施例提供的技术方案中,基于预设的微小阈值对非对齐数据进行划分处理,获得非对齐微小数据和非对齐非微小数据;以及,基于直通写阈值对对齐数据进行划分处理,获得对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据。该方法中,通过引入微小阈值进一步对非对齐数据进行划分,并引入直通写阈值进一步对对齐数据进行划分,这样,能够使得划分的场景数据更加匹配实际接入业务数据大小的随机性场景,以进一步提高阵列控制器的写入性能。
在其中一个实施例中,基于预设的微小阈值对非对齐数据进行划分处理,获得非对齐微小数据和非对齐非微小数据,包括:
若非对齐数据小于或者等于微小阈值,则确定非对齐数据为非对齐微小数据;
若非对齐数据大于微小阈值,则确定非对齐数据为非对齐非微小数据。
本申请实施例提供的技术方案中,若非对齐数据小于或者等于微小阈值,则确定非对齐数据为非对齐微小数据;若非对齐数据大于微小阈值,则确定非对齐数据为非对齐非微小数据。该方法中,提供了一种确定非对齐微小数据和非对齐非微小数据的可选方式,即通过非对齐数据的数据大小与微小阈值之间的关系,来判断非对齐数据属于微小数据或者属于非微小数据。
在其中一个实施例中,基于预设的直通写阈值对对齐数据进行划分处理,获得对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据,包括:
若对齐数据小于或等于直通写阈值,则确定对齐数据为对齐小数据;
若对齐数据大于直通写阈值,则根据预设的配比切分条件对对齐数据进行细化处理,获得对齐大配比数据、对齐小配比数据和对齐非配比数据。
本申请实施例提供的技术方案中,若对齐数据小于或等于直通写阈值,则确定对齐数据为对齐小数据;若对齐数据大于直通写阈值,则根据预设的配比切分条件对对齐数据进行细化处理,获得对齐大配比数据、对齐小配比数据和对齐非配比数据。该方法中,提供了一种确定对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据的可选方式,即通过对齐数据的数据大小与微小阈值,以及与配比切分条件之间的关系,来对对齐数据进行进一步划分,得到对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据。
在其中一个实施例中,配比切分条件包括大配比切分条件和小配比切分条件;根据预设的配比切分条件对对齐数据进行细化处理,获得对齐大配比数据、对齐小配比数据和对齐非配比数据,包括:
若对齐数据满足大配比切分条件,则确定对齐数据为对齐大配比数据;
若对齐数据满足小配比切分条件且不满足大配比切分条件,则确定对齐数据为对齐小配比数据;
若对齐数据不满足大配比切分条件且不满足小配比切分条件,则确定对齐数据为对齐非配比数据。
本申请实施例提供的技术方案中,若对齐数据满足大配比切分条件,则确定对齐数据为对齐大配比数据;若对齐数据满足小配比切分条件且不满足大配比切分条件,则确定对齐数据为对齐小配比数据;若对齐数据不满足大配比切分条件且不满足小配比切分条件,则确定对齐数据为对齐非配比数据。该方法中,提供一种进一步对对齐数据进行细化处理的可选方式,即通过对齐数据与小配比切分条件和大配比切分条件之间的关系,进一步将对齐数据划分为对齐大配比数据、对齐小配比数据和对齐非配比数据。
在其中一个实施例中,该方法还包括:
获取缓存设备的当前可用空间;
根据当前可用空间和预设的空间阈值,对直通写阈值进行调节,得到更新直通写阈值。
本申请实施例提供的技术方案中,通过获取缓存设备的当前可用空间,进而根据当前可用空间和预设的空间阈值,对直通写阈值进行调节,得到更新直通写阈值。该方法中,通过根据缓存设备的当前可用空间对直通写阈值进行调节,可以使得直通写与回刷写保持在一个相对的平衡点,提升业务数据的存储性能稳定性。
在其中一个实施例中,获取各场景数据的数据写入方式,包括:
若场景数据为非对齐非微小数据、对齐小数据或者对齐非配比数据,则确定数据写入方式为回刷写;
若场景数据为对齐大配比数据或者对齐小配比数据,则确定数据写入方式为直通写;
若场景数据为非对齐微小数据,则确定数据写入方式为日志写。
本申请实施例提供的技术方案中,若场景数据为非对齐非微小数据、对齐小数据或者对齐非配比数据,则确定数据写入方式为回刷写;若场景数据为对齐大配比数据或者对齐小配比数据,则确定数据写入方式为直通写;若场景数据为非对齐微小数据,则确定数据写入方式为日志写。该方法中,为每一种场景数据,设置了与该种场景数据相匹配的数据写入方式,更加适配于业务数据大小的随机性场景。
第二方面,本申请实施例还提供了一种数据写入装置,包括:
数据划分模块,用于响应于业务数据的写入请求,根据业务数据的数据大小特征,将业务数据划分为至少一种场景数据;
方式获取模块,用于获取各场景数据的数据写入方式;
数据写入模块,用于按照各数据写入方式将对应的场景数据写入存储设备中。
第三方面,本申请实施例还提供了一种计算机设备。计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述第一方面中任一实施例中的步骤。
第四方面,本申请实施例还提供了一种计算机可读存储介质。计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述第一方面中任一实施例中的步骤。
第五方面,本申请实施例还提供了一种计算机程序产品。计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述第一方面中任一实施例中的步骤。
上述数据写入方法、装置和计算机设备,通过响应于业务数据的写入请求,根据业务数据的数据大小特征,将业务数据划分为至少一种场景数据,进而获取各场景数据的数据写入方式,最后按照各数据写入方式将对应的场景数据写入存储设备中。该方法中,依据业务数据的数据大小特征,对业务数据进行了划分处理,划分为不同的场景数据,而不同的场景数据对应不同的数据写入方式,即可以根据与业务数据的数据大小特征相匹配的数据写入方式,将业务数据写入到存储设备中,这样,即是根据阵列控制器接入的业务数据大小的随机性,采用了更为细化、更适配业务数据大小随机性场景的数据写入方式,将业务数据写入存储设备中,提高了阵列控制器的写入性能。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中计算机设备的内部结构图;
图2为一个实施例中数据写入方法的流程示意图;
图3为一个实施例中划分场景数据的流程示意图;
图4为一个实施例中获得非对齐微小数据和非对齐非微小数据的流程示意图;
图5为一个实施例中对对齐数据进行划分处理的流程示意图;
图6为一个实施例中对对齐数据进行细化处理的流程示意图;
图7为一个实施例中更新直通写阈值的流程示意图;
图8为一个实施例中直通写阈值的范围的示意图;
图9为一个实施例中获取数据写入方式的流程示意图;
图10为一个实施例中非对齐方式的业务数据的示意图;
图11为另一个实施例中非对齐方式的业务数据的示意图;
图12为一个实施例中对齐方式的业务数据的示意图;
图13为另一个实施例中非对齐方式的业务数据的示意图;
图14为另一个实施例中数据写入方法的流程示意图;
图15为一个实施例中数据写入装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的数据写入方法,可以应用于计算机设备。该计算机设备可以是服务器,其内部结构图可以如图1所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据写入数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据写入方法。本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
全闪存阵列也称为固态存储磁盘系统,是一种外部存储阵列。
相关技术中,全闪存阵列中包括阵列控制器和存储设备,从阵列控制器接入的业务数据,通常是由阵列控制器将这些业务数据写入到存储设备中。
从阵列控制器接入的业务数据,可以由不同大小的数据块组成,小到只有一个扇区大小,大到可能有几百千字节甚至几兆字节大小。后端存储设备在存取数据时,通常会按照最小块大小对齐的粒度进行读写,因此,当业务数据的大小与最小块大小存在非对齐时,就需要将业务数据拆分为对齐与非对齐两个部分分别进行写入预处理。对于对齐部分,可以将数据直接写入后端存储设备中,也可以写入缓存中后再进行回刷处理。对于非对齐部分,需要先按照最小块大小从后端存储设备中进行读取数据到缓存中,再将本次写入数据补齐到缓存的对应位置,最后将缓存数据写入到后端存储设备中。一方面由于阵列控制器中接入的实际业务数据大小的随机性,在数据对齐的场景下可能只往后端存储设备中写入数据,另一方面由于在业务数据非对齐的场景下进行补读后再写入,一定程度上造成了写放大的额外开销。因此,对于阵列控制器接入的业务数据的数据写入方式,需要采取更为细化、更适配业务数据随机性场景的优化手段来提高阵列控制器的写入性能。
基于此,本申请提出了一种数据写入方法,依据业务数据的数据大小特征,对业务数据进行了划分处理,划分为不同的场景数据,而不同的场景数据对应不同的数据写入方式,即可以根据与业务数据的数据大小特征相匹配的数据写入方式,将业务数据写入到存储设备中,这样,即是根据阵列控制器接入的业务数据大小的随机性,采用了更为细化、更适配业务数据大小随机性场景的数据写入方式,将业务数据写入存储设备中,提高了阵列控制器的写入性能。
需要说明的是,本申请实施例所带来的有益效果或者所解决的技术问题并不限定于这一个,还可以是其它隐含或者关联的问题,具体可以参见下述实施例的描述。
下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
在一个示例性的实施例中,如图2所示,提供了一种数据写入方法,以该方法应用于计算机设备为例进行说明,包括以下步骤201至步骤203。其中:
S201,响应于业务数据的写入请求,根据业务数据的数据大小特征,将业务数据划分为至少一种场景数据。
业务数据的写入请求可以为用户在具有对业务数据写入存储设备中的需求时,向计算机设备发送的请求。其中,本申请实施例中的计算机设备可以是全闪存阵列的阵列控制器,阵列控制器在接收到业务数据的写入请求之后,会采用一定的数据写入方式将业务数据写入存储设备中。
业务数据的数据大小特征可以理解为业务数据的数据长度或者数据大小,即业务数据所占用的字节数。在本申请实施例中,数据长度可以使用数据的逻辑地址的范围来表征。例如,逻辑地址范围为6字节到18字节,则数据长度是12字节。其中,逻辑地址为存储系统向客户端提供的访问地址。
实际应用中,在将业务数据写入存储设备时,通常会按照最小块数据大小的粒度进行写入,因此,可以根据业务数据的数据大小特征判断业务数据的大小与最小块数据大小是对齐还是非对齐。其中,对齐或者非对齐可以理解为是一种场景,对齐数据或者非对齐数据即为一种场景数据。
示例性的,响应于业务数据的写入请求,可以获取业务数据的数据大小和预设的最小块数据大小,进而根据业务数据的数据大小和预设的最小块数据大小,将业务数据划分为至少一种场景数据。例如,若业务数据的数据大小能被最小块数据大小整除,则将业务数据划分为对齐数据;若业务数据的数据大小不能被最小块数据大小整除,则将业务数据划分为非对齐数据;若业务数据的数据大小能被最小块数据大小整除,但有余数,则将业务数据划分为对齐数据和非对齐数据。
S202,获取各场景数据的数据写入方式。
数据写入方式可以包括直通写、回刷写和日志写等。其中,直通写表示直接将数据写入存储设备中;回刷写表示先将数据写入缓存设备中,再回刷至存储设备中;日志写表示将数据写入日志设备中,再通过日志回收写入至存储设备中。
本申请实施例中,不同的场景数据对应不同的数据写入方式。例如,若场景数据为对齐数据,则数据写入方式可以对应直通写或者回刷写等;若场景数据为非对齐数据,则数据写入方式可以对应日志写等。
S203,按照各数据写入方式将对应的场景数据写入存储设备中。
对于任一场景数据,采用获取的该场景数据的数据写入方式,将该场景数据写入存储设备中。例如,若该场景数据的写入方式为直通写,则直接将该场景数据写入存储设备中;若该场景数据的写入方式为回刷写,则先将该场景数据写入缓存设备中,后续再由其他程序逻辑写入存储设备中;若该场景数据的写入方式为日志写,则先将该场景数据写入日志设备中,后续再由其他程序逻辑写入存储设备中。
本申请实施例提供的数据写入方法中,通过响应于业务数据的写入请求,根据业务数据的数据大小特征,将业务数据划分为至少一种场景数据,进而获取各场景数据的数据写入方式,最后按照各数据写入方式将对应的场景数据写入存储设备中。该方法中,依据业务数据的数据大小特征,对业务数据进行了划分处理,划分为不同的场景数据,而不同的场景数据对应不同的数据写入方式,即可以根据与业务数据的数据大小特征相匹配的数据写入方式,将业务数据写入到存储设备中,这样,即是根据阵列控制器接入的业务数据大小的随机性,采用了更为细化、更适配业务数据大小随机性场景的数据写入方式,将业务数据写入存储设备中,提高了阵列控制器的写入性能。
对业务数据进行划分,除了需要依据业务数据的数据大小特征之外,还需要依据预设的最小块数据大小。基于此,下面一个实施例中,对划分场景数据的方式进行说明。
在一个示例性的实施例中,如图3所示,根据业务数据的数据大小特征,将业务数据划分为至少一种场景数据,包括:
S301,根据业务数据的数据大小特征和预设的最小块数据大小,将业务数据划分为对齐数据和/或非对齐数据。
根据业务数据的数据大小特征和预设的最小块数据大小之间的关系,可以预先确定业务数据的对齐方式。可选的,若业务数据的数据大小是最小块数据大小的整数倍,则确定业务数据的对齐方式属于对齐;若业务数据的数据大小不是最小块数据大小的整数倍,则确定业务数据的对齐方式属于非对齐。
在确定出业务数据的对齐方式之后,若业务数据的对齐方式属于对齐,则业务数据属于对齐数据,若业务数据的对齐方式属于非对齐,则可以根据业务数据的逻辑地址和最小块数据大小识别业务数据中的对齐数据和非对齐数据。例如,若业务数据的逻辑地址为3千字节至11千字节之间,最小块数据大小为4千字节,可以将业务数据划分为两个非对齐数据(即3千字到4千字节、8千字节到11千字节),以及一个对齐数据(即4千字节到8千字节)。
S302,基于对齐数据和/或非对齐数据,确定至少一种场景数据。
本申请实施例中,根据对齐数据和/或非对齐数据,确定至少一种场景数据可以是只包括一种场景数据,即对齐数据或者非对齐数据,也可以包括两种场景数据,即同时包括对齐数据和非对齐数据。
本申请实施例提供的数据写入方法中,根据业务数据的数据大小特征和预设的最小块数据大小,将业务数据划分为对齐数据和/或非对齐数据,进而基于对齐数据和/或非对齐数据,确定至少一种场景数据。该方法中,提供了一种对业务数据划分场景数据的可选方式,通过引入最小块数据大小,同时结合了业务数据的数据大小特征,对业务数据划分为对齐数据和非对齐数据,进一步再根据对齐数据和非对齐数据确定场景数据。
为了能够使得划分的场景数据更加匹配实际接入业务数据大小的随机性场景,可以对对齐数据和非对齐数据进行进一步划分。基于此,下面通过一个实施例,对划分对齐数据和非对齐数据的方式进行说明。
在一个示例性的实施例中,基于对齐数据和/或非对齐数据,确定至少一种场景数据,包括:
基于预设的微小阈值对非对齐数据进行划分处理,获得非对齐微小数据和非对齐非微小数据;以及,基于预设的直通写阈值对对齐数据进行划分处理,获得对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据。
其中,微小阈值指的是为确定数据是否属于微小数据而设定的数值,例如,微小阈值可以为8千字节。直通写阈值指的是为确定数据是否可以采用直通写方式进行写入而设定的数值。
对于非对齐数据,可以根据预设的微小阈值进一步对其进行划分,划分为非对齐微小数据和非对齐非微小数据。例如,若非对齐数据的数据大小小于或等于微小阈值,则属于非对齐微小数据;若非对齐数据的数据大小大于微小阈值,则属于非对齐非微小数据。
对于对齐数据,可以根据直通写阈值进一步对其进行划分,划分为对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据。例如,若对齐数据的数据大小小于或等于直通写阈值,则属于对齐小数据;若对齐数据的数据大小大于直通写阈值,则属于对齐大数据,再进一步基于预先设定的划分逻辑,可以将对齐大数据再划分为对齐大配比数据、对齐小配比数据和对齐非配比数据。
本申请实施例提供的数据写入方法中,基于预设的微小阈值对非对齐数据进行划分处理,获得非对齐微小数据和非对齐非微小数据;以及,基于直通写阈值对对齐数据进行划分处理,获得对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据。该方法中,通过引入微小阈值进一步对非对齐数据进行划分,并引入直通写阈值进一步对对齐数据进行划分,这样,能够使得划分的场景数据更加匹配实际接入业务数据大小的随机性场景,以进一步提高阵列控制器的写入性能。
如何区分非对齐微小数据和非对齐非微小数据,可以基于非对齐数据的数据大小与微小阈值之间的关系来确定。基于此,下面一个实施例中,对获得非对齐微小数据和非对齐非微小数据的方式进行说明。
在一个示例性的实施例中,如图4所示,基于预设的微小阈值对非对齐数据进行划分处理,获得非对齐微小数据和非对齐非微小数据,包括:
S401,若非对齐数据小于或者等于微小阈值,则确定非对齐数据为非对齐微小数据。
将非对齐数据的数据大小与微小阈值进行比较,若非对齐数据的数据大小小于或者等于微小阈值,则确定非对齐数据为非对齐微小数据。
S402,若非对齐数据大于微小阈值,则确定非对齐数据为非对齐非微小数据。
将非对齐数据的数据大小与微小阈值进行比较,若非对齐数据的数据大小大于微小阈值,则确定非对齐数据为非对齐非微小数据。
本申请实施例提供的数据写入方法中,若非对齐数据小于或者等于微小阈值,则确定非对齐数据为非对齐微小数据;若非对齐数据大于微小阈值,则确定非对齐数据为非对齐非微小数据。该方法中,提供了一种确定非对齐微小数据和非对齐非微小数据的可选方式,即通过非对齐数据的数据大小与微小阈值之间的关系,来判断非对齐数据属于微小数据或者属于非微小数据。
对齐数据可以分为对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据,而这几种类型需要由对齐数据的数据大小和直通写阈值之间的关系来确定。基于此,下面通过一个实施例,对获得对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据的方式进行说明。
在一个示例性的实施例中,如图5所示,基于直通写阈值对对齐数据进行划分处理,获得对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据,包括:
S501,若对齐数据小于或等于直通写阈值,确定对齐数据为对齐小数据。
将对齐数据的数据大小与直通写阈值进行比较,若对齐数据的数据大小小于或等于直通写阈值,则确定对齐数据为对齐小数据。
S502,若对齐数据大于直通写阈值,则根据预设的配比切分条件对对齐数据进行细化处理,获得对齐大配比数据、对齐小配比数据和对齐非配比数据。
当对齐数据的大小大于直通写阈值时,需要根据预设的配比切分条件对对齐数据进行细化处理,以获得对齐大配比数据、对齐小配比数据和对齐非配比数据。例如,预设的配比切分条件可以包括小配比切分条件和大配比切分条件,可以根据对齐数据的数据大小与小配比切分条件、大配比切分条件之间的关系,来区分对齐大配比数据、对齐小配比数据和对齐非配比数据。
本申请实施例提供的数据写入方法中,若对齐数据小于或等于直通写阈值,则确定对齐数据为对齐小数据;若对齐数据大于直通写阈值,则根据预设的配比切分条件对对齐数据进行细化处理,获得对齐大配比数据、对齐小配比数据和对齐非配比数据。该方法中,提供了一种确定对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据的可选方式,即通过对齐数据的数据大小与微小阈值,以及与配比切分条件之间的关系,来对对齐数据进行进一步划分,得到对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据。
配比切分条件包括大配比切分条件和小配比切分条件,可以根据对齐数据与大配比切分条件和小配比切分条件之前的关系,将对齐数据划分为对齐大配比数据、对齐小配比数据和对齐非配比数据。基于此,下面一个实施例中,对对齐数据进行细化处理的方式进行说明。
在一个示例性的实施例中,如图6所示,根据预设的配比切分条件对对齐数据进行细化处理,获得对齐大配比数据、对齐小配比数据和对齐非配比数据,包括:
S601,若对齐数据满足大配比切分条件,则确定对齐数据为对齐大配比数据。
当对齐数据满足大配比切分条件时,则可以确定对齐数据属于对齐大配比数据。
S602,若对齐数据满足小配比切分条件且不满足大配比切分条件,则确定对齐数据为对齐小配比数据。
当对齐数据满足小配比切分条件,但不满足大配比切分条件时,则可以确定对齐数据属于对齐小配比数据。
S603,若对齐数据不满足大配比切分条件且不满足小配比切分条件,则确定对齐数据为对齐非配比数据。
当对齐数据既不满足小配比切分条件,也不满足大配比切分条件时,则可以确定对齐数据属于对齐非配比数据。
本申请实施例提供的数据写入方法中,若对齐数据满足大配比切分条件,则确定对齐数据为对齐大配比数据;若对齐数据满足小配比切分条件且不满足大配比切分条件,则确定对齐数据为对齐小配比数据;若对齐数据不满足大配比切分条件且不满足小配比切分条件,则确定对齐数据为对齐非配比数据。该方法中,提供一种进一步对对齐数据进行细化处理的可选方式,即通过对齐数据与小配比切分条件和大配比切分条件之间的关系,进一步将对齐数据划分为对齐大配比数据、对齐小配比数据和对齐非配比数据。
对于阵列控制器,直通写阈值的大小直接影响着业务数据按照回刷写还是直通写的比例多少。由于回刷写时需要使用内存用来缓存业务数据,一般情况下用于缓存的内存大小是有限的,只有在回刷写完成后才能释放出占用的内存空间,所以回刷写的速度快慢直接影响着可用于缓存业务数据的内存空间大小,从而影响着业务数据按照回刷写的比例多少。因此,为了能够做到充分利用内存等存储资源,需要对直通写阈值进行调节。基于此,下面一个实施例中,对调节直通写阈值的方式进行说明。
在一个示例性的实施例中,如图7所示,该方法还包括:
S701,获取缓存设备的当前可用空间。
通过用于监测缓存设备的监测装置,以一定的周期频率监测缓存设备的当前可用空间。
S702,根据当前可用空间和预设的空间阈值,对直通写阈值进行调节,得到更新直通写阈值。
将当前可用空间与预设的空间阈值进行比较,若当前可用空间大于或等于预设的空间阈值,则表明缓存设备的当前可用空间不足,需要将直通写阈值调小;若当前可用空间小于预设的空间阈值,则表明缓存设备的当前可用空间充足,需要将直通写阈值调大。
例如,如图8所示,为直通写阈值的范围。其中,A为直通写阈值的最小值,B为当前直通写阈值,C为直通写阈值的最大值。当缓存不足时,直通写阈值将按照一定的调节单位值向左滑动,减小阈值后将会更容易触发更多的业务数据按照直通写处理;当缓存充足时,直通写阈值将按照一定的调节单位值向右滑动,增大阈值后将会更容易触发更多的业务数据按照回刷写处理。
本申请实施例提供的数据写入方法中,通过获取缓存设备的当前可用空间,进而根据当前可用空间和预设的空间阈值,对直通写阈值进行调节,得到更新直通写阈值。该方法中,通过根据缓存设备的当前可用空间对直通写阈值进行调节,可以使得直通写与回刷写保持在一个相对的平衡点,提升业务数据的存储性能稳定性。
不同的场景数据对应与之相匹配的数据写入方式。下面,对获取各场景数据的数据写入方式进行说明。则在一个示例性的实施例中,如图9所示,获取各场景数据的数据写入方式,包括:
S801,若场景数据为非对齐非微小数据、对齐小数据或者对齐非配比数据,则确定数据写入方式为回刷写。
当场景数据为非对齐非微小数据、对齐小数据或者对齐非配比数据这三种类型时,所对应的数据写入方式均为回刷写。如图10所示,为一种非对齐方式的业务数据。其中,D1和D3为非对齐非微小数据;D2为对齐小数据,则D1、D2和D3的数据写入方式均为回刷写。
S802,若场景数据为对齐大配比数据或者对齐小配比数据,则确定数据写入方式为直通写。
当场景数据为对齐大配比数据或者对齐小配比数据这两种类型时,所对应的数据写入方式均为直通写。如图11所示,为另一种非对齐方式的业务数据。其中,P1和P3为非对齐非微小数据;P21为对齐大配比数据;P22为对齐小配比数据;P23为对齐非配比数据,则P1、P3和P23的数据写入方式均为回刷写;P21和P22的数据写入方式均为直通写。如图12所示,为一种对齐方式的业务数据。其中,P4为对齐大配比数据;P5为对齐小配比数据;P6为对齐非配比数据,则P4和P5的数据写入方式为直通写;P6的数据写入方式为回刷写。
S803,若场景数据为非对齐微小数据,则确定数据写入方式为日志写。
当场景数据为非对齐微小数据时,所对应的数据写入方式均为日志写。如图13所示,为另一种非对齐方式的业务数据。其中,P7为非对齐微小数据,则P7的数据写入方式为日志写。
本申请实施例提供的数据写入方法中,若场景数据为非对齐非微小数据、对齐小数据或者对齐非配比数据,则确定数据写入方式为回刷写;若场景数据为对齐大配比数据或者对齐小配比数据,则确定数据写入方式为直通写;若场景数据为非对齐微小数据,则确定数据写入方式为日志写。该方法中,为每一种场景数据,设置了与该种场景数据相匹配的数据写入方式,更加适配于业务数据大小的随机性场景。
另外,在一个示例性的实施例中,本申请还提供一个数据写入方法的可选实例,如图14所示,可以包括如下步骤:
S901,响应于业务数据的写入请求,根据业务数据的数据大小特征和预设的最小块数据大小,将业务数据划分为对齐数据和/或非对齐数据。
S902,基于预设的微小阈值对非对齐数据进行划分处理,获得非对齐微小数据和非对齐非微小数据;以及,基于直通写阈值对对齐数据进行划分处理,获得对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据。
S903,获取各场景数据的数据写入方式。
若场景数据为非对齐非微小数据、对齐小数据或者对齐非配比数据,则确定数据写入方式为回刷写;若场景数据为对齐大配比数据或者对齐小配比数据,则确定数据写入方式为直通写;若场景数据为非对齐微小数据,则确定数据写入方式为日志写。
S904,按照各数据写入方式将对应的场景数据写入存储设备中。
上述S901-S904的过程可以参见上述方法实施例的描述,其实现原理和技术效果类似,在此不再赘述。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的数据写入方法的数据写入装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个数据写入装置实施例中的具体限定可以参见上文中对于数据写入方法的限定,在此不再赘述。
在一个示例性的实施例中,如图15所示,提供了一种数据写入装置1,包括:数据划分模块10、方式获取模块20和数据写入模块30,其中:
数据划分模块10,用于响应于业务数据的写入请求,根据业务数据的数据大小特征,将业务数据划分为至少一种场景数据;
方式获取模块20,用于获取各场景数据的数据写入方式;
数据写入模块30,用于按照各数据写入方式将对应的场景数据写入存储设备中。
在其中一个实施例中,上述数据划分模块10还用于:
根据业务数据的数据大小特征和预设的最小块数据大小,将业务数据划分为对齐数据和/或非对齐数据;基于对齐数据和/或非对齐数据,确定至少一种场景数据。
在其中一个实施例中,上述数据划分模块10还用于:
基于预设的微小阈值对非对齐数据进行划分处理,获得非对齐微小数据和非对齐非微小数据;以及,基于直通写阈值对对齐数据进行划分处理,获得对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据。
在其中一个实施例中,上述数据划分模块10还用于:
若非对齐数据小于或者等于微小阈值,则确定非对齐数据为非对齐微小数据;若非对齐数据大于微小阈值,则确定非对齐数据为非对齐非微小数据。
在其中一个实施例中,上述数据划分模块10还用于:
若对齐数据小于或等于直通写阈值,则确定对齐数据为对齐小数据;若对齐数据大于直通写阈值,则根据预设的配比切分条件对对齐数据进行细化处理,获得对齐大配比数据、对齐小配比数据和对齐非配比数据。
在其中一个实施例中,上述数据划分模块10还用于:
若对齐数据满足大配比切分条件,则确定对齐数据为对齐大配比数据;若对齐数据满足小配比切分条件且不满足大配比切分条件,则确定对齐数据为对齐小配比数据;若对齐数据不满足大配比切分条件且不满足小配比切分条件,则确定对齐数据为对齐非配比数据。
在其中一个实施例中,上述数据写入装置1还包括:
空间获取模块,用于获取缓存设备的当前可用空间;
阈值调节模块,用于根据当前可用空间和预设的空间阈值,对直通写阈值进行调节,得到更新直通写阈值。
在其中一个实施例中,上述方式获取模块20还用于:
若场景数据为非对齐非微小数据、对齐小数据或者对齐非配比数据,则确定数据写入方式为回刷写;若场景数据为对齐大配比数据或者对齐小配比数据,则确定数据写入方式为直通写;若场景数据为非对齐微小数据,则确定数据写入方式为日志写。
上述数据写入装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
响应于业务数据的写入请求,根据业务数据的数据大小特征,将业务数据划分为至少一种场景数据;
获取各场景数据的数据写入方式;
按照各数据写入方式将对应的场景数据写入存储设备中。
在其中一个实施例中,处理器执行计算机程序中根据业务数据的数据大小特征,将业务数据划分为至少一种场景数据的逻辑时,具体实现以下步骤:
根据业务数据的数据大小特征和预设的最小块数据大小,将业务数据划分为对齐数据和/或非对齐数据;基于对齐数据和/或非对齐数据,确定至少一种场景数据。
在其中一个实施例中,处理器执行计算机程序中基于对齐数据和/或非对齐数据,确定至少一种场景数据的逻辑时,具体实现以下步骤:
基于预设的微小阈值对非对齐数据进行划分处理,获得非对齐微小数据和非对齐非微小数据;以及,基于直通写阈值对对齐数据进行划分处理,获得对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据。
在其中一个实施例中,处理器执行计算机程序中基于预设的微小阈值对非对齐数据进行划分处理,获得非对齐微小数据和非对齐非微小数据的逻辑时,具体实现以下步骤:
若非对齐数据小于或者等于微小阈值,则确定非对齐数据为非对齐微小数据;若非对齐数据大于微小阈值,则确定非对齐数据为非对齐非微小数据。
在其中一个实施例中,处理器执行计算机程序中基于直通写阈值对对齐数据进行划分处理,获得对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据的逻辑时,具体实现以下步骤:
若对齐数据小于或等于直通写阈值,则确定对齐数据为对齐小数据;若对齐数据大于直通写阈值,则根据预设的配比切分条件对对齐数据进行细化处理,获得对齐大配比数据、对齐小配比数据和对齐非配比数据。
在其中一个实施例中,处理器执行计算机程序中根据预设的配比切分条件对对齐数据进行细化处理,获得对齐大配比数据、对齐小配比数据和对齐非配比数据的逻辑时,具体实现以下步骤:
若对齐数据满足大配比切分条件,则确定对齐数据为对齐大配比数据;若对齐数据满足小配比切分条件且不满足大配比切分条件,则确定对齐数据为对齐小配比数据;若对齐数据不满足大配比切分条件且不满足小配比切分条件,则确定对齐数据为对齐非配比数据。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取缓存设备的当前可用空间;根据当前可用空间和预设的空间阈值,对直通写阈值进行调节,得到更新直通写阈值。
在其中一个实施例中,处理器执行计算机程序中根据预设的配比切分条件对对齐数据进行细化处理,获得对齐大配比数据、对齐小配比数据和对齐非配比数据的逻辑时,具体实现以下步骤:
若场景数据为非对齐非微小数据、对齐小数据或者对齐非配比数据,则确定数据写入方式为回刷写;若场景数据为对齐大配比数据或者对齐小配比数据,则确定数据写入方式为直通写;若场景数据为非对齐微小数据,则确定数据写入方式为日志写。
上述提供的计算机设备,其在实现各实施例中的原理和具体过程可参见前述实施例中数据写入方法实施例中的说明,此处不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
响应于业务数据的写入请求,根据业务数据的数据大小特征,将业务数据划分为至少一种场景数据;
获取各场景数据的数据写入方式;
按照各数据写入方式将对应的场景数据写入存储设备中。
在其中一个实施例中,计算机程序中根据业务数据的数据大小特征,将业务数据划分为至少一种场景数据的逻辑被处理器执行时,具体实现以下步骤:
根据业务数据的数据大小特征和预设的最小块数据大小,将业务数据划分为对齐数据和/或非对齐数据;基于对齐数据和/或非对齐数据,确定至少一种场景数据。
在其中一个实施例中,计算机程序中基于对齐数据和/或非对齐数据,确定至少一种场景数据的逻辑被处理器执行时,具体实现以下步骤:
基于预设的微小阈值对非对齐数据进行划分处理,获得非对齐微小数据和非对齐非微小数据;以及,基于直通写阈值对对齐数据进行划分处理,获得对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据。
在其中一个实施例中,计算机程序中基于预设的微小阈值对非对齐数据进行划分处理,获得非对齐微小数据和非对齐非微小数据的逻辑被处理器执行时,具体实现以下步骤:
若非对齐数据小于或者等于微小阈值,则确定非对齐数据为非对齐微小数据;若非对齐数据大于微小阈值,则确定非对齐数据为非对齐非微小数据。
在其中一个实施例中,计算机程序中基于直通写阈值对对齐数据进行划分处理,获得对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据的逻辑被处理器执行时,具体实现以下步骤:
若对齐数据小于或等于直通写阈值,则确定对齐数据为对齐小数据;若对齐数据大于直通写阈值,则根据预设的配比切分条件对对齐数据进行细化处理,获得对齐大配比数据、对齐小配比数据和对齐非配比数据。
在其中一个实施例中,计算机程序中根据预设的配比切分条件对对齐数据进行细化处理,获得对齐大配比数据、对齐小配比数据和对齐非配比数据的逻辑被处理器执行时,具体实现以下步骤:
若对齐数据满足大配比切分条件,则确定对齐数据为对齐大配比数据;若对齐数据满足小配比切分条件且不满足大配比切分条件,则确定对齐数据为对齐小配比数据;若对齐数据不满足大配比切分条件且不满足小配比切分条件,则确定对齐数据为对齐非配比数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取缓存设备的当前可用空间;根据当前可用空间和预设的空间阈值,对直通写阈值进行调节,得到更新直通写阈值。
在其中一个实施例中,计算机程序中获取各场景数据的数据写入方式的逻辑被处理器执行时,具体实现以下步骤:
若场景数据为非对齐非微小数据、对齐小数据或者对齐非配比数据,则确定数据写入方式为回刷写;若场景数据为对齐大配比数据或者对齐小配比数据,则确定数据写入方式为直通写;若场景数据为非对齐微小数据,则确定数据写入方式为日志写。
上述提供的计算机可读存储介质,其在实现各实施例中的原理和具体过程可参见前述实施例中数据写入方法实施例中的说明,此处不再赘述。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
响应于业务数据的写入请求,根据业务数据的数据大小特征,将业务数据划分为至少一种场景数据;
获取各场景数据的数据写入方式;
按照各数据写入方式将对应的场景数据写入存储设备中。
在其中一个实施例中,计算机程序中根据业务数据的数据大小特征,将业务数据划分为至少一种场景数据的逻辑被处理器执行时,具体实现以下步骤:
根据业务数据的数据大小特征和预设的最小块数据大小,将业务数据划分为对齐数据和/或非对齐数据;基于对齐数据和/或非对齐数据,确定至少一种场景数据。
在其中一个实施例中,计算机程序中基于对齐数据和/或非对齐数据,确定至少一种场景数据的逻辑被处理器执行时,具体实现以下步骤:
基于预设的微小阈值对非对齐数据进行划分处理,获得非对齐微小数据和非对齐非微小数据;以及,基于直通写阈值对对齐数据进行划分处理,获得对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据。
在其中一个实施例中,计算机程序中基于预设的微小阈值对非对齐数据进行划分处理,获得非对齐微小数据和非对齐非微小数据的逻辑被处理器执行时,具体实现以下步骤:
若非对齐数据小于或者等于微小阈值,则确定非对齐数据为非对齐微小数据;若非对齐数据大于微小阈值,则确定非对齐数据为非对齐非微小数据。
在其中一个实施例中,计算机程序中基于直通写阈值对对齐数据进行划分处理,获得对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据的逻辑被处理器执行时,具体实现以下步骤:
若对齐数据小于或等于直通写阈值,则确定对齐数据为对齐小数据;若对齐数据大于直通写阈值,则根据预设的配比切分条件对对齐数据进行细化处理,获得对齐大配比数据、对齐小配比数据和对齐非配比数据。
在其中一个实施例中,计算机程序中根据预设的配比切分条件对对齐数据进行细化处理,获得对齐大配比数据、对齐小配比数据和对齐非配比数据的逻辑被处理器执行时,具体实现以下步骤:
若对齐数据满足大配比切分条件,则确定对齐数据为对齐大配比数据;若对齐数据满足小配比切分条件且不满足大配比切分条件,则确定对齐数据为对齐小配比数据;若对齐数据不满足大配比切分条件且不满足小配比切分条件,则确定对齐数据为对齐非配比数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取缓存设备的当前可用空间;根据当前可用空间和预设的空间阈值,对直通写阈值进行调节,得到更新直通写阈值。
在其中一个实施例中,计算机程序中获取各场景数据的数据写入方式的逻辑被处理器执行时,具体实现以下步骤:
若场景数据为非对齐非微小数据、对齐小数据或者对齐非配比数据,则确定数据写入方式为回刷写;若场景数据为对齐大配比数据或者对齐小配比数据,则确定数据写入方式为直通写;若场景数据为非对齐微小数据,则确定数据写入方式为日志写。
上述提供的计算机程序产品,其在实现各实施例中的原理和具体过程可参见前述实施例中数据写入方法实施例中的说明,此处不再赘述。
需要说明的是,本申请所涉及的数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据写入方法,其特征在于,所述方法包括:
响应于业务数据的写入请求,根据所述业务数据的数据大小特征,将所述业务数据划分为至少一种场景数据;
获取各所述场景数据的数据写入方式;
按照各所述数据写入方式将对应的场景数据写入存储设备中。
2.根据权利要求1所述的方法,其特征在于,所述根据所述业务数据的数据大小特征,将所述业务数据划分为至少一种场景数据,包括:
根据所述业务数据的数据大小特征和预设的最小块数据大小,将所述业务数据划分为对齐数据和/或非对齐数据;
基于所述对齐数据和/或所述非对齐数据,确定所述至少一种场景数据。
3.根据权利要求2所述的方法,其特征在于,所述基于所述对齐数据和/或所述非对齐数据,确定所述至少一种场景数据,包括:
基于预设的微小阈值对所述非对齐数据进行划分处理,获得非对齐微小数据和非对齐非微小数据;以及,
基于预设的直通写阈值对所述对齐数据进行划分处理,获得对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据。
4.根据权利要求3所述的方法,其特征在于,所述基于预设的微小阈值对所述非对齐数据进行划分处理,获得非对齐微小数据和非对齐非微小数据,包括:
若所述非对齐数据小于或者等于所述微小阈值,则确定所述非对齐数据为所述非对齐微小数据;
若所述非对齐数据大于所述微小阈值,则确定所述非对齐数据为所述非对齐非微小数据。
5.根据权利要求3所述的方法,其特征在于,所述基于预设的直通写阈值对所述对齐数据进行划分处理,获得对齐小数据、对齐大配比数据、对齐小配比数据和对齐非配比数据,包括:
若所述对齐数据小于或等于所述直通写阈值,则确定所述对齐数据为所述对齐小数据;
若所述对齐数据大于所述直通写阈值,则根据预设的配比切分条件对所述对齐数据进行细化处理,获得所述对齐大配比数据、所述对齐小配比数据和所述对齐非配比数据。
6.根据权利要求5所述的方法,其特征在于,所述配比切分条件包括大配比切分条件和小配比切分条件;所述根据预设的配比切分条件对所述对齐数据进行细化处理,获得所述对齐大配比数据、所述对齐小配比数据和所述对齐非配比数据,包括:
若所述对齐数据满足所述大配比切分条件,则确定所述对齐数据为所述对齐大配比数据;
若所述对齐数据满足所述小配比切分条件且不满足所述大配比切分条件,则确定所述对齐数据为所述对齐小配比数据;
若所述对齐数据不满足所述大配比切分条件且不满足所述小配比切分条件,则确定所述对齐数据为所述对齐非配比数据。
7.根据权利要求3-6任一项所述的方法,其特征在于,所述方法还包括:
获取缓存设备的当前可用空间;
根据所述当前可用空间和预设的空间阈值,对所述直通写阈值进行调节,得到更新直通写阈值。
8.根据权利要求1-6任一项所述的方法,其特征在于,所述获取各所述场景数据的数据写入方式,包括:
若所述场景数据为非对齐非微小数据、对齐小数据或者对齐非配比数据,则确定所述数据写入方式为回刷写;
若所述场景数据为对齐大配比数据或者对齐小配比数据,则确定所述数据写入方式为直通写;
若所述场景数据为非对齐微小数据,则确定所述数据写入方式为日志写。
9.一种数据写入装置,其特征在于,所述装置包括:
数据划分模块,用于响应于业务数据的写入请求,根据所述业务数据的数据大小特征,将所述业务数据划分为至少一种场景数据;
方式获取模块,用于获取各所述场景数据的数据写入方式;
数据写入模块,用于按照各所述数据写入方式将对应的场景数据写入存储设备中。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311773525.4A CN117873384A (zh) | 2023-12-21 | 2023-12-21 | 数据写入方法、装置和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311773525.4A CN117873384A (zh) | 2023-12-21 | 2023-12-21 | 数据写入方法、装置和计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117873384A true CN117873384A (zh) | 2024-04-12 |
Family
ID=90589340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311773525.4A Pending CN117873384A (zh) | 2023-12-21 | 2023-12-21 | 数据写入方法、装置和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117873384A (zh) |
-
2023
- 2023-12-21 CN CN202311773525.4A patent/CN117873384A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110520857B (zh) | 使用虚拟化数据迭代器对神经网络进行数据处理性能增强 | |
US11082206B2 (en) | Layout-independent cryptographic stamp of a distributed dataset | |
US10089191B2 (en) | Selectively persisting application program data from system memory to non-volatile data storage | |
US20160078045A1 (en) | Selective compression of objects in a storage compute device | |
CN105117351A (zh) | 向缓存写入数据的方法及装置 | |
US11061788B2 (en) | Storage management method, electronic device, and computer program product | |
CN107391544B (zh) | 列式存储数据的处理方法、装置、设备及计算机储存介质 | |
CN113326005B (zh) | 一种raid存储系统的读写方法和装置 | |
CN115470156A (zh) | 基于rdma的内存使用方法、系统、电子设备和存储介质 | |
CN117216102A (zh) | 缓存数据管理方法、装置、设备、存储介质和程序产品 | |
CN114936010B (zh) | 数据处理方法、装置、设备及介质 | |
CN117873384A (zh) | 数据写入方法、装置和计算机设备 | |
US9507794B2 (en) | Method and apparatus for distributed processing of file | |
CN115934583A (zh) | 分级缓存方法、装置及系统 | |
CN112000289B (zh) | 全闪存储服务器系统数据管理方法及相关组件 | |
CN114489770A (zh) | 灰度发布方法、装置、计算机设备和存储介质 | |
US10970221B2 (en) | Optimizing space utilization by retaining metadata in cache | |
CN113806389A (zh) | 一种数据处理方法、装置、计算设备与存储介质 | |
CN111625192B (zh) | 一种元数据对象访问方法、装置、设备以及介质 | |
US11150827B2 (en) | Storage system and duplicate data management method | |
KR101341995B1 (ko) | 공유 데이터 저장소 관리 장치 및 방법 | |
US20210096987A1 (en) | Computing device and operation method thereof | |
CN117216009A (zh) | 文件处理方法、装置、设备、存储介质和计算机程序产品 | |
CN117577163A (zh) | 一种ssd坏块检测方法、装置、计算机设备及存储介质 | |
CN113360487A (zh) | 一种消息去重方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |