CN108829613B - 数据存储方法及存储设备 - Google Patents
数据存储方法及存储设备 Download PDFInfo
- Publication number
- CN108829613B CN108829613B CN201810507500.2A CN201810507500A CN108829613B CN 108829613 B CN108829613 B CN 108829613B CN 201810507500 A CN201810507500 A CN 201810507500A CN 108829613 B CN108829613 B CN 108829613B
- Authority
- CN
- China
- Prior art keywords
- data
- storage medium
- cache unit
- write command
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
Abstract
本申请适用于数据存储技术领域,提供了数据存储方法及存储设备,包括:接收写命令;若接收的写命令包含待存储数据的逻辑地址,对接收的写命令进行解析,并转换成存储介质写命令;将每个存储介质写命令中待执行数据切割成若干个数据块;向上位机发送数据接收请求,将上位机中的数据传输至预先申请的第一缓存单元;待第一缓存单元的数据写入完成后,启动从第一缓存单元至存储介质的数据写入过程,同时对每个进行数据传输的数据通道申请第二缓存单元,启动从上位机至第二缓存单元的数据传输;当第一缓存单元的数据完全写入存储介质后,将第一缓存单元释放,如此循环,直至完成所有数据块传输。通过上述方法能够提高存储设备的读写性能。
Description
技术领域
本申请属于数据存储技术领域,尤其涉及数据存储方法及存储设备。
背景技术
目前,人们通常通过存储设备(如移动硬盘、U盘、计算机存储器)存储数据。
现有的数据存储方法主要如下:
S1,上位机(host)发送写命令至存储设备,写命令中包括预存储数据的逻辑地址、数据长度等;
S2,存储设备接收到命令后,在动态随机存取存储器(Dynamic Random AccessMemory,DRAM)中准备数据缓存空间;
S3,存储设备向host发送数据接收请求,请求host传输数据。
S4,host将数据传输并存储至存储设备的缓存空间。
S5,数据全部存储至缓存空间后,主控将缓存空间中的数据写入flash,flash完成写入后反馈写完成状态给存储设备的主控,存储设备的主控再释放缓存空间。
由于在逻辑读写过程中,存储设备的DRAM作为高速数据缓存(Data Cache),存在对DRAM进行写(Write)、读(Read)两步操作,此过程中,无论是Write还是Read,DRAM的实际效率都只有50%,因此导致存储设备在Write或Read上的实际效率过低。
发明内容
有鉴于此,本申请实施例提供了数据存储方法及存储设备,以解决现有技术中存储设备在Write或Read上的实际效率过低的问题。
本申请实施例的第一方面提供了一种数据存储方法,所述数据存储方法用于存储设备,所述存储设备包括主控制器、存储介质及若干个数据传输通道,所述主控制器包括中央处理器CPU、存储介质控制器及若干个缓存单元,所述数据存储方法包括数据写入过程,具体包括:
S101,接收上位机发送的写命令;
S102,判断所述写命令是否包含待存储数据的逻辑地址,若是,执行S103,若否,判定所述写命令为存储介质写命令,则执行S104;
S103,对所述写命令进行解析,将所述写命令转换成存储介质写命令,同时更新并存储新的映射关系表;
S104,将所述存储介质写命令提交至所述存储介质控制器;
S105,将每个所述存储介质写命令中待执行数据切割成若干个数据块,所述数据块的数据长度小于或等于所述缓存单元的大小;
S106,对每个待进行数据传输的数据通道申请第一缓存单元,向上位机发送数据接收请求,启动从上位机至第一缓存单元的数据传输,将上位机中的数据块传输至第一缓存单元;
S107,待第一缓存单元的数据写入完成后,启动从第一缓存单元至存储介质的数据写入过程,同时对每个进行数据传输的数据通道申请第二缓存单元,启动从上位机至第二缓存单元的数据传输;当第一缓存单元的数据完全写入存储介质后,将第一缓存单元释放,如此循环,直至完成所有数据块传输。
本申请实施例的第二方面提供了一种存储设备,所述存储设备包括主控制器、存储介质及若干个数据传输通道,所述主控制器包括中央处理器CPU、存储介质控制器及若干个缓存单元,
所述CPU用于接收上位机发送的写命令,用于判断所述写命令是否包含待存储数据的逻辑地址,若所述写命令包含待存储数据的逻辑地址,对所述写命令进行解析,将所述写命令转换成存储介质写命令,将所述存储介质写命令提交至所述存储介质控制器,同时更新并存储新的映射关系表,若所述写命令没有包含待存储数据的逻辑地址,判定所述写命令为存储介质写命令,则将所述存储介质写命令提交至所述存储介质控制器;
所述存储介质控制器用于将每个所述存储介质写命令中待执行数据切割成若干个数据块,所述数据块的数据长度小于或等于所述缓存单元的大小;用于对每个待进行数据传输的数据通道申请第一缓存单元,向上位机发送数据接收请求,启动从上位机至第一缓存单元的数据传输,将上位机中的数据块传输至第一缓存单元;以及用于待第一缓存单元的数据写入完成后,启动从第一缓存单元至存储介质的数据写入过程,同时对每个进行数据传输的数据通道申请第二缓存单元,启动从上位机至第二缓存单元的数据传输;当第一缓存单元的数据完全写入存储介质后,将第一缓存单元释放,如此循环,直至完成所有数据块传输。
本申请实施例与现有技术相比存在的有益效果是:
由于本申请的存储设备包括若干个缓存单元,且在接收到存储介质写命令后,将每个所述存储介质写命令中待执行数据切割成若干个数据块,同时保证所述数据块的数据长度小于或等于所述缓存单元的大小,因此,可将存储介质写命令中待执行数据分块传输至缓存单元,并在将数据从缓存单元写入存储介质后,释放缓存单元,这样,能够提高缓存单元的利用率,从而极大提高了存储设备的持续读写性能。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的第一种数据存储方法的流程图;
图2是本申请实施例提供的第二种数据存储方法的流程图;
图3是本申请实施例提供的第三种数据存储方法的流程图;
图4是本申请实施例提供的存储设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。
实施例一:
图1示出了本申请实施例提供的第一种数据存储方法的流程图,所述数据存储方法用于存储设备,所述存储设备包括主控制器、存储介质及若干个数据传输通道,所述数据传输通道为主控制器和存储介质之间进行数据传输的通道;所述主控制器包括中央处理器(Central Processing Unit,CPU)、存储介质控制器及若干个缓存单元,所述数据存储方法包括数据写入过程,具体包括:
步骤S101,接收上位机发送的写命令;
具体地,当上位机需要对存储设备进行数据写入时,向存储设备发送写命令,相应的存储设备的主控制器接收上位机发送的写命令。
步骤S102,判断所述写命令是否包含待存储数据的逻辑地址,若是,执行S103,若否,判定所述写命令为存储介质写命令,则执行S104。
该步骤中,当用户需要将数据从上位机存入存储设备时,上位机会向存储设备发送数据写入请求,即发送写命令,相应的存储设备的主控制器接收上位机发送的写命令。
若上位机发送的写命令包含待存储数据的逻辑地址,则需要对写命令进行解析,将其转换成存储介质可识别的物理地址,即执行步骤S103。
若上位机发送的写命令为存储介质写命令,所述写命令包含存储介质的物理地址,表明上位机已经事先将写命令解析成存储介质可识别的写命令,并为每条存储介质写命令分配好物理地址,此时,主控制器只需要根据写命令的物理地址,执行该写命令,将该写命令对应的数据写入相应的物理地址即可,无需再对该命令进行解析,即执行步骤S104。
步骤S103,对所述写命令进行解析,将所述写命令转换成存储介质写命令,同时更新并存储新的映射关系表。
具体地:对所述写命令进行解析,获取所述写命令的逻辑地址及数据长度,并根据该数据长度分配存储介质的物理存储空间,将该写命令的逻辑地址和该写命令分配的存储空间的物理地址一一对应,形成新的映射关系,更新并存储新的映射关系表,同时根据分配的物理地址形成至少一个存储介质写命令。数据长度指的是该写命令所包含的需要进行写入的数据的长度或者大小。存储介质写命令指的是存储介质可以识别的命令,该存储介质写命令包括该写命令对应的数据即将写入的物理地址。
步骤S104,将所述存储介质写命令提交至所述存储介质控制器。
具体地,主控制器将至少一个存储介质写命令依次或者同时提交给存储介质控制器,以便存储介质控制器根据该存储介质写命令执行下一步的操作。
该步骤中,若存储介质为flash,则存储介质控制器为flash控制器。
步骤S105,将每个所述存储介质写命令中待执行数据切割成若干个数据块,所述数据块的数据长度小于或等于所述缓存单元的大小。
可选地,所述若干个缓存单元由内存储器切割得到,此时,本发明的数据存储方法还包括:将内存储器进行切割,形成若干个缓存单元。
其中,内存储器是指与CPU、存储介质控制器一体封装在主控制器内部的随机存取存储器(random access memory,RAM)。可选地,该内存储器可为静态随机存取存储器(Static Random-Access Memory,SRAM)。
可选地,切割的缓存单元的大小可以相同,也可以不同。需要指出的是,在本申请中,对同一个内存储器可采取切割一次和切割多次的方式,当采取切割一次的方式时,可在存储设备首次写入数据之前切割,且在后续再写入新的数据之前也不再切割。当采用切割多次的方式时,可在存储设备首次写入数据之前切割,在后续写入多次数据后,若判断出写入的数据长度基本相同,且不是单个缓存单元的大小的倍数(针对存储设备的各个缓存单元的大小都相同的情况),则为了提高缓存单元的利用率,根据一段时间内写入的数据的平均长度对内存储器重新切割。
可选地,所述缓存单元的数量至少为所述存储设备的数据传输通道的两倍。这样,能够保证每个数据传输通道至少对应两个缓存单元,当需要同时读写数据时,可以通过数据传输通道将数据写入一个缓存单元,再读取另一个缓存单元的数据写入存储介质,从而极大提高了存储设备的持续读写性能。
可选地,该步骤S105中,存储介质控制器根据缓存单元的大小,将待执行数据切割成若干个小于或等于缓存单元大小的数据块。在所述存储设备的各个缓存单元大小都相同时,所述步骤S105具体为:所述存储介质控制器根据所述存储设备的任一个缓存单元大小切割所述存储介质写命令中待执行数据。
在所述存储设备的各个缓存单元大小不都相同时,所述步骤S105具体为:所述存储介质控制器确定将用于存储数据的缓存单元的大小,根据所述将用于存储数据的缓存单元的大小切割所述存储介质写命令中待执行的数据。例如,假设存储设备本次将采用A、B、C这三个缓存单元缓存数据,则该存储设备首先分别确定该三个缓存单元的大小,再分别根据该三个缓存单元的大小的先后顺序依次切割所述存储介质写命令中待执行的数据。
步骤S106,对每个待进行数据传输的数据通道申请第一缓存单元,向上位机发送数据接收请求,启动从上位机至第一缓存单元的数据传输,将上位机中的数据块传输至第一缓存单元。
具体地,对每个待进行数据传输的数据通道申请第一缓存单元,并向上位机发送数据接收请求,上位机接收到该数据接收请求后,启动数据传输,将一个数据块的数据从上位机传输至第一缓存单元。
存储设备具有多个数据传输通道,每个数据传输通道都有其对应的存储介质,只有该数据通道对应的存储介质需要进行数据传输时,才会启动该数据通道的数据传输,对于不需要进行数据读写的通道,则不进行工作。例如:若存储设备有4个数据传输通道(例如CH0,CH1,CH2,CH3);当该次写命令只需要用到其中2个数据传输通道(例如CH0,CH1)的存储介质时,则只启动CH0,CH1两个数据通道的数据传输,这时,只需要对每个数据传输通道申请一个缓存单元即可。
具体地,存储设备可能有多个数据通道,而在接收到存储介质写命令后,存在有些数据通道需要传输数据,有些数据通道则空置,此时,为了避免不必要的浪费,则存储介质控制器只对每个需要进行数据传输的数据通道向内存储器申请一个缓存单元,当然,每个待进行数据传输的数据通道申请的缓存单元为不同的缓存单元。可选地,该步骤S106也可为每个需要进行数据传输的数据通道向内存储器申请2个或更多的缓存单元,此处不再赘述。
步骤S107,待第一缓存单元的数据写入完成后,启动从第一缓存单元至存储介质的数据写入过程,同时对每个进行数据传输的数据通道申请第二缓存单元,启动从上位机至第二缓存单元的数据传输。当第一缓存单元的数据完全写入存储介质后,将第一缓存单元释放,如此循环,直至完成所有数据块传输。
本申请的数据存储方法通过在存储设备中设置若干个缓存单元,并将需要写入存储介质的数据切割成若干个数据块,在第一缓存单元接收完对应的数据块的数据后,启动从缓存单元到存储介质的数据写入过程,同时申请第二缓存单元,并行将新的数据块的数据缓存至第二缓存单元,当第一缓存单元的数据完全写入存储介质后,将第一缓存单元释放,如此循环,直至完成所有数据块传输。本申请的方法将数据的缓存和写入过程联动起来,两个步骤并发进行,大大提高了存储设备数据的存取速度。
实施例二:
图2示出了本申请实施例提供的第二种数据存储方法的流程图,在本申请实施例中,存储设备还包括外存储器,详述如下:
本申请实施例的步骤S101~步骤S107的相同,此处不再赘述。
步骤S108,在将上位机中的数据块传输至第一缓存单元的同时,将上位机中的数据块传输至外存储器备份。
其中,外存储器是指由用户自行选配,并与主控制器的预留驱动接口连接的RAM。可选地,该外存储器可为动态随机存取存储器(Dynamic Random Access Memory,DRAM)。例如,假设内存储器为SRAM,外存储器为DRAM,存储介质为flash,则当通过SRAM的缓存单元对flash进行数据写入出错时(例如,写入的flash是坏块,或者是不稳定块时),可以调用DRAM中的数据进行备份,重新将该数据写入新的flash块中,从而避免数据丢失。
进一步地,为了避免数据冗余,提高外存储器的利用率,该方法还可以包括步骤S109,具体如图2所示:
步骤S109,当第一缓存单元的数据完全写入存储介质后,释放该外存储器备份的数据,并对下一条存储介质命令的数据进行备份。
实施例三:
图3示出了本申请实施例提供的第三种数据存储方法的流程图,在本申请实施例中,主要描述了数据存储方法中的数据读取过程,详述如下:
步骤S301,接收上位机发送的读命令。
具体地,当上位机需要读取存储设备中的数据时,向存储设备发送读命令,相应的存储设备的主控制器接收上位机发送的读命令。
步骤S302,判断所述读命令是否包括存储数据的逻辑地址,若是,执行步骤303,否则,判定所述读命令为存储介质读命令,执行步骤304。
步骤S303,查找映射关系表,将所述读命令转换为存储介质读命令。
在转换为存储介质读命令之后,执行步骤S304。
步骤S304,将所述存储介质读命令提交至所述存储介质控制器。
在存储介质为flash时,该存储介质控制器为flash控制器。
步骤S305,将每个所述存储介质读命令中待执行数据切割成若干个数据块,所述数据块的数据长度小于或等于所述缓存单元的大小。
步骤S306,对每个待进行数据传输的数据通道申请第三缓存单元,向存储介质控制器发送数据接收请求,启动从存储介质至第三缓存单元的数据传输,将存储介质中的数据块传输至第三缓存单元。
步骤S307,待第三缓存单元的数据写入完成后,启动从第三缓存单元至上位机的数据传输过程,同时对每个进行数据传输的数据通道申请第四缓存单元,启动从存储介质至第四缓存单元的数据传输。当第三缓存单元的数据完全传输至上位机后,将第三缓存单元释放,如此循环,直至完成所有数据读取。
当然,若第三缓存单元将数据传输至上位机后,所有数据读取完成,则无需申请第四缓存单元。
需要指出的是,若在读取数据的过程中,实施例一的第一缓存单元、第二缓存单元已经被释放,则本申请实施例申请的第三缓存单元、第四缓存单元也可能为实施例一的第一缓存单元、第二缓存单元,此处不再赘述。
实施例四:
图4示出了本申请实施例提供的第一种存储设备,所述存储设备包括主控制器41、存储介质42及若干个数据传输通道,所述数据传输通道为主控制器和存储介质之间进行数据传输的通道,所述主控制器41包括中央处理器CPU411、存储介质控制器412及若干个缓存单元413。
所述CPU 411用于接收上位机发送的写命令,用于判断所述写命令是否包含待存储数据的逻辑地址,若所述写命令包含待存储数据的逻辑地址,对所述写命令进行解析,将所述写命令转换成存储介质写命令,将所述存储介质写命令提交至所述存储介质控制器,同时更新并存储新的映射关系表,若所述写命令没有包含待存储数据的逻辑地址,判定所述写命令为存储介质写命令,则将所述存储介质写命令提交至所述存储介质控制器412;
具体地,CPU 411若上位机发送的写命令包含待存储数据的逻辑地址,则需要对写命令进行解析,将其转换成存储介质可识别的物理地址,以及将所述存储介质写命令提交至所述存储介质控制器,若上位机发送的写命令为存储介质写命令,所述写命令包含存储介质的物理地址,表明上位机已经事先将写命令解析成存储介质可识别的写命令,此时,主控制器只需要根据写命令的物理地址,执行该写命令,将该写命令对应的数据写入相应的物理地址即可,无需再对该命令进行解析。
若CPU 411转换写命令得到的存储介质写命令的数量为1条以上,则CPU可根据存储介质控制器412的处理能力,选择同时或选择逐条将该1条以上命令发送至该存储介质控制器412。
所述存储介质控制器412用于将每个所述存储介质写命令中待执行数据切割成若干个数据块,所述数据块的数据长度小于或等于所述缓存单元413的大小;用于对每个待进行数据传输的数据通道申请第一缓存单元,向上位机发送数据接收请求,启动从上位机至第一缓存单元的数据传输,将上位机中的数据块传输至第一缓存单元;以及用于待第一缓存单元的数据写入完成后,启动从第一缓存单元至存储介质的数据写入过程,同时对每个进行数据传输的数据通道申请第二缓存单元,启动从上位机至第二缓存单元的数据传输;当第一缓存单元的数据完全写入存储介质后,将第一缓存单元释放,如此循环,直至完成所有数据块传输。
本申请实施例中,由于将数据的缓存和写入过程联动起来,两个步骤并发进行,因此大大提高了存储设备数据的存取速度。
可选地,所述若干个缓存单元由内存储器切割得到,具体地,将内存储器进行切割,形成若干个缓存单元。
可选地,切割的缓存单元的大小可以相同,也可以不同。需要指出的是,在本申请中,对同一个内存储器可采取切割一次和切割多次的方式。
可选地,所述缓存单元的数量至少为所述存储设备的数据传输通道的两倍。
实施例五:
本申请实施例的存储设备包括实施例四的主控制器41、存储介质42及若干个数据传输通道。其中,所述主控制器41包括中央处理器CPU 411、存储介质控制器412及若干个缓存单元413。
在本申请实施例中,所述CPU411还用于接收上位机读命令;用于若所述读命令包括存储数据的逻辑地址,则查找映射关系表,将所述读命令转换为存储介质读命令,将所述存储介质读命令提交至所述存储介质控制器;以及用于若所述读命令为存储介质读命令,将所述存储介质读命令提交至所述存储介质控制器412;
所述存储介质控制器412还用于将每个所述存储介质读命令中待执行数据切割成若干个数据块,所述数据块的数据长度小于或等于所述缓存单元的大小;用于对每个待进行数据传输的数据通道申请第三缓存单元,向存储介质控制器发送数据接收请求,启动从存储介质至第三缓存单元的数据传输,将存储介质中的数据块传输至第三缓存单元;以及用于待第三缓存单元的数据写入完成后,启动从第三缓存单元至上位机的数据传输过程,同时对每个进行数据传输的数据通道申请第四缓存单元,启动从存储介质至第四缓存单元的数据传输;当第三缓存单元的数据完全传输至上位机后,将第三缓存单元释放,如此循环,直至完成所有数据读取。
可选地,为避免数据丢失,所述CPU411还用于在将上位机中的数据块传输至第一缓存单元的同时,将上位机中的数据传输至外存储器备份。
可选地,该外存储器可为DRAM。
可选地,为了避免数据冗余,提高外存储器的利用率,所述CPU411还用于当第一缓存单元的数据完全写入存储介质后,释放所述外存储器备份的数据,并对下一条存储介质命令的数据进行备份。
本申请实施例中,由于本申请的存储设备包括若干个缓存单元,且在接收到存储介质写命令后,将每个所述存储介质写命令中待执行数据切割成若干个数据块,同时保证所述数据块的数据长度小于或等于所述缓存单元的大小,因此,可将存储介质写命令中待执行数据分块传输至缓存单元,并在将数据从缓存单元写入存储介质后,释放缓存单元,这样,能够提高缓存单元的利用率,从而极大提高了存储设备的持续读写性能。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (8)
1.一种数据存储方法,所述数据存储方法用于存储设备,所述存储设备包括主控制器、存储介质及若干个数据传输通道,其特征在于,所述主控制器包括中央处理器CPU、存储介质控制器及若干个缓存单元,所述数据存储方法包括数据写入过程,具体包括:
S101,接收上位机发送的写命令;
S102,判断所述写命令是否包含待存储数据的逻辑地址,若是,执行S103,若否,判定所述写命令为存储介质写命令,则执行S104;
S103,对所述写命令进行解析,将所述写命令转换成存储介质写命令,同时更新并存储新的映射关系表;
S104,将所述存储介质写命令提交至所述存储介质控制器;
S105,将每个所述存储介质写命令中待执行数据切割成若干个数据块,所述数据块的数据长度小于或等于所述缓存单元的大小;
S106,对每个待进行数据传输的数据通道申请第一缓存单元,向上位机发送数据接收请求,启动从上位机至第一缓存单元的数据传输,将上位机中的数据块传输至第一缓存单元;
S107,待第一缓存单元的数据写入完成后,启动从第一缓存单元至存储介质的数据写入过程,同时对每个进行数据传输的数据通道申请第二缓存单元,启动从上位机至第二缓存单元的数据传输;当第一缓存单元的数据完全写入存储介质后,将第一缓存单元释放,如此循环,直至完成所有数据块传输,所述第一缓存单元以及第二缓存单元均为SRAM的缓存单元;
所述存储设备还包括DRAM,所述数据存储方法还包括:
在将所述上位机中的数据传输至所述第一缓存单元的同时,将所述上位机中的数据传输至DRAM备份。
2.根据权利要求1所述的数据存储方法,其特征在于,则所述方法还包括数据读取过程,具体包括:
S301,接收上位机发送的读命令;
S302,判断所述读命令是否包括存储数据的逻辑地址,若是,执行步骤303,否则,判定所述读命令为存储介质读命令,执行步骤304;
S303,查找映射关系表,将所述读命令转换为存储介质读命令;
S304,将所述存储介质读命令提交至所述存储介质控制器;
S305,将每个所述存储介质读命令中待执行数据的数据长度切割成若干个数据块,所述数据块的数据长度小于或等于所述缓存单元的大小;
S306,对每个待进行数据传输的数据通道申请第三缓存单元,向存储介质控制器发送数据接收请求,启动从存储介质至第三缓存单元的数据传输,将存储介质中的数据块传输至第三缓存单元;
S307,待第三缓存单元的数据写入完成后,启动从第三缓存单元至上位机的数据传输过程,同时对每个进行数据传输的数据通道申请第四缓存单元,启动从存储介质至第四缓存单元的数据传输;当第三缓存单元的数据完全传输至上位机后,将第三缓存单元释放,如此循环,直至完成所有数据读取。
3.根据权利要求1所述的数据存储方法,其特征在于,所述对所述写命令进行解析,将所述写命令转换成存储介质写命令,同时更新并存储新的映射关系表,具体包括:
对所述写命令进行解析,获取所述写命令的逻辑地址及数据长度,并根据数据长度分配存储介质的物理存储空间,同时更新并存储新的映射关系表。
4.根据权利要求1所述的数据存储方法,其特征在于,所述若干个缓存单元由内存储器切割得到,则所述数据存储方法还包括:将所述内存储器进行切割,形成若干个缓存单元。
5.根据权利要求4所述的数据存储方法,其特征在于,在所述当第一缓存单元的数据完全写入存储介质后,包括:
释放所述DRAM备份的数据,并对下一条存储介质命令的数据进行备份。
6.一种存储设备,所述存储设备包括主控制器、存储介质及若干个数据传输通道,其特征在于,所述主控制器包括中央处理器CPU、存储介质控制器及若干个缓存单元,
所述CPU用于接收上位机发送的写命令,用于判断所述写命令是否包含待存储数据的逻辑地址,若所述写命令包含待存储数据的逻辑地址,对所述写命令进行解析,将所述写命令转换成存储介质写命令,将所述存储介质写命令提交至所述存储介质控制器,同时更新并存储新的映射关系表,若所述写命令没有包含待存储数据的逻辑地址,判定所述写命令为存储介质写命令,则将所述存储介质写命令提交至所述存储介质控制器;
所述存储介质控制器用于将每个所述存储介质写命令中待执行数据切割成若干个数据块,所述数据块的数据长度小于或等于所述缓存单元的大小;用于对每个待进行数据传输的数据通道申请第一缓存单元,向上位机发送数据接收请求,启动从上位机至第一缓存单元的数据传输,将上位机中的数据块传输至第一缓存单元;以及用于待第一缓存单元的数据写入完成后,启动从第一缓存单元至存储介质的数据写入过程,同时对每个进行数据传输的数据通道申请第二缓存单元,启动从上位机至第二缓存单元的数据传输;当第一缓存单元的数据完全写入存储介质后,将第一缓存单元释放,如此循环,直至完成所有数据块传输,所述第一缓存单元以及第二缓存单元均为SRAM的缓存单元;
所述CPU还用于将上位机中的数据传输至所述第一缓存单元的同时,将所述上位机中的数据传输至DRAM备份。
7.如权利要求6所述的存储设备,其特征在于,所述存储设备还包括:
所述CPU还用于接收上位机发送的读命令;用于判断所述读命令是否包括存储数据的逻辑地址,若所述读命令包括存储数据的逻辑地址,则查找映射关系表,将所述读命令转换为存储介质读命令,将所述存储介质读命令提交至所述存储介质控制器;若没有包括存储数据的逻辑地址,判定所述读命令为存储介质读命令,将所述存储介质读命令提交至所述存储介质控制器;
所述存储介质控制器还用于将每个所述存储介质读命令中待执行数据切割成若干个数据块,所述数据块的数据长度小于或等于所述缓存单元的大小;用于对每个待进行数据传输的数据通道申请第三缓存单元,向存储介质控制器发送数据接收请求,启动从存储介质至第三缓存单元的数据传输,将存储介质中的数据块传输至第三缓存单元;以及用于待第三缓存单元的数据写入完成后,启动从第三缓存单元至上位机的数据传输过程,同时对每个进行数据传输的数据通道申请第四缓存单元,启动从存储介质至第四缓存单元的数据传输;当第三缓存单元的数据完全传输至上位机后,将第三缓存单元释放,如此循环,直至完成所有数据读取。
8.根据权利要求6所述的存储设备,其特征在于,所述CPU还用于释放所述DRAM备份的数据。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810507500.2A CN108829613B (zh) | 2018-05-24 | 2018-05-24 | 数据存储方法及存储设备 |
PCT/CN2018/105304 WO2019223187A1 (zh) | 2018-05-24 | 2018-09-12 | 数据存储方法及存储设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810507500.2A CN108829613B (zh) | 2018-05-24 | 2018-05-24 | 数据存储方法及存储设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108829613A CN108829613A (zh) | 2018-11-16 |
CN108829613B true CN108829613B (zh) | 2020-12-29 |
Family
ID=64147359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810507500.2A Active CN108829613B (zh) | 2018-05-24 | 2018-05-24 | 数据存储方法及存储设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108829613B (zh) |
WO (1) | WO2019223187A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111324282A (zh) * | 2018-12-14 | 2020-06-23 | 北京兆易创新科技股份有限公司 | 一种存储器 |
CN110321073B (zh) * | 2019-04-11 | 2023-05-02 | 深圳市德明利技术股份有限公司 | 一种闪存的数据存储方法和装置以及设备 |
CN111949557B (zh) * | 2019-05-16 | 2024-01-23 | 兆易创新科技集团股份有限公司 | 一种数据读取方法、装置及存储设备 |
CN110888606A (zh) * | 2019-12-23 | 2020-03-17 | 潍柴动力股份有限公司 | 刷写系统及发动机 |
CN112685334A (zh) * | 2020-12-21 | 2021-04-20 | 联想(北京)有限公司 | 一种分块缓存数据的方法、装置及存储介质 |
CN113885811B (zh) * | 2021-10-19 | 2023-09-19 | 展讯通信(天津)有限公司 | 一种数据接收方法、装置、芯片和电子设备 |
CN113986137A (zh) * | 2021-10-28 | 2022-01-28 | 英韧科技(上海)有限公司 | 存储装置和存储系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1532709A (zh) * | 2003-03-20 | 2004-09-29 | ���µ�����ҵ��ʽ���� | 数据存储器高速缓存装置及数据存储器高速缓存系统 |
CN102567257A (zh) * | 2011-12-26 | 2012-07-11 | 华中科技大学 | 一种控制多通道固态盘数据读写的方法 |
CN103092725A (zh) * | 2012-12-29 | 2013-05-08 | 华为技术有限公司 | 一种实现存储器中数据备份的方法及装置 |
CN103761988A (zh) * | 2013-12-27 | 2014-04-30 | 华为技术有限公司 | 固态硬盘及数据移动方法 |
CN104461966A (zh) * | 2014-12-19 | 2015-03-25 | 深圳市国微电子有限公司 | 一种基于Nand Flash芯片的数据缓存传输方法及其控制器 |
US9270620B2 (en) * | 2013-09-25 | 2016-02-23 | International Business Machines Corporation | Memory transfer optimization of network adapter data placement when performing header-data split operations |
EP3061096A1 (en) * | 2013-10-24 | 2016-08-31 | Qualcomm Incorporated | Split write operation for resistive memory cache |
CN105975209A (zh) * | 2016-04-26 | 2016-09-28 | 浪潮(北京)电子信息产业有限公司 | 一种多通道数据写入方法和系统 |
CN106469119A (zh) * | 2015-08-10 | 2017-03-01 | 北京忆恒创源科技有限公司 | 一种基于nvdimm的数据写缓存方法及其装置 |
CN107402838A (zh) * | 2016-05-18 | 2017-11-28 | 深圳市深信服电子科技有限公司 | 一种基于写缓存的备份方法及存储系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7406568B2 (en) * | 2005-06-20 | 2008-07-29 | Intel Corporation | Buffer allocation for split data messages |
US9223642B2 (en) * | 2013-03-15 | 2015-12-29 | Super Talent Technology, Corp. | Green NAND device (GND) driver with DRAM data persistence for enhanced flash endurance and performance |
-
2018
- 2018-05-24 CN CN201810507500.2A patent/CN108829613B/zh active Active
- 2018-09-12 WO PCT/CN2018/105304 patent/WO2019223187A1/zh active Application Filing
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1532709A (zh) * | 2003-03-20 | 2004-09-29 | ���µ�����ҵ��ʽ���� | 数据存储器高速缓存装置及数据存储器高速缓存系统 |
CN102567257A (zh) * | 2011-12-26 | 2012-07-11 | 华中科技大学 | 一种控制多通道固态盘数据读写的方法 |
CN103092725A (zh) * | 2012-12-29 | 2013-05-08 | 华为技术有限公司 | 一种实现存储器中数据备份的方法及装置 |
US9270620B2 (en) * | 2013-09-25 | 2016-02-23 | International Business Machines Corporation | Memory transfer optimization of network adapter data placement when performing header-data split operations |
EP3061096A1 (en) * | 2013-10-24 | 2016-08-31 | Qualcomm Incorporated | Split write operation for resistive memory cache |
CN103761988A (zh) * | 2013-12-27 | 2014-04-30 | 华为技术有限公司 | 固态硬盘及数据移动方法 |
CN104461966A (zh) * | 2014-12-19 | 2015-03-25 | 深圳市国微电子有限公司 | 一种基于Nand Flash芯片的数据缓存传输方法及其控制器 |
CN106469119A (zh) * | 2015-08-10 | 2017-03-01 | 北京忆恒创源科技有限公司 | 一种基于nvdimm的数据写缓存方法及其装置 |
CN105975209A (zh) * | 2016-04-26 | 2016-09-28 | 浪潮(北京)电子信息产业有限公司 | 一种多通道数据写入方法和系统 |
CN107402838A (zh) * | 2016-05-18 | 2017-11-28 | 深圳市深信服电子科技有限公司 | 一种基于写缓存的备份方法及存储系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108829613A (zh) | 2018-11-16 |
WO2019223187A1 (zh) | 2019-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108829613B (zh) | 数据存储方法及存储设备 | |
CN110442560B (zh) | 一种日志重演方法、装置、服务器和存储介质 | |
US7373465B2 (en) | Data processing system configuring and transmitting access request frames with a field in channel command words to accommendate a plurality of logical device address data therein | |
CN109388590B (zh) | 提升多通道dma访问性能的动态缓存块管理方法和装置 | |
CN109558344B (zh) | 一种适用于网络传输的dma传输方法及dma控制器 | |
CN103902467B (zh) | 压缩内存访问控制方法、装置及系统 | |
US10649905B2 (en) | Method and apparatus for storing data | |
CN112632069B (zh) | 哈希表数据存储管理方法、装置、介质和电子设备 | |
EP4220415A2 (en) | Method and apparatus for compressing addresses | |
US20060277325A1 (en) | Efficient data transmission system and method via direct memory access controller | |
CN103970520A (zh) | MapReduce架构中的资源管理方法、装置和架构系统 | |
CN105446813A (zh) | 一种资源分配的方法及装置 | |
CN111984729A (zh) | 异构数据库数据同步方法、装置、介质和电子设备 | |
CN112506823B (zh) | 一种fpga数据读写方法、装置、设备及可读存储介质 | |
CN110413413A (zh) | 一种数据写入方法、装置、设备及存储介质 | |
US20200371827A1 (en) | Method, Apparatus, Device and Medium for Processing Data | |
CN112835885A (zh) | 一种分布式表格存储的处理方法、装置及系统 | |
CN112817899B (zh) | 基于pcie的数据传输方法、装置、存储介质和电子设备 | |
US20070083708A1 (en) | Controller of redundant arrays of independent disks and operation method thereof | |
CN110489356B (zh) | 信息处理方法、装置、电子设备及存储介质 | |
KR20120134918A (ko) | 복수의 프로세서를 포함하는 전자 장치 | |
US20230393782A1 (en) | Io request pipeline processing device, method and system, and storage medium | |
CN115883022A (zh) | Dma传输控制方法、装置、电子设备及可读存储介质 | |
CN105471930A (zh) | 一种读取分布式数据的方法、系统和设备 | |
CN108090087B (zh) | 文件处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |