CN117687570A - 一种固态硬盘中读写服务自适应的方法 - Google Patents
一种固态硬盘中读写服务自适应的方法 Download PDFInfo
- Publication number
- CN117687570A CN117687570A CN202311540955.1A CN202311540955A CN117687570A CN 117687570 A CN117687570 A CN 117687570A CN 202311540955 A CN202311540955 A CN 202311540955A CN 117687570 A CN117687570 A CN 117687570A
- Authority
- CN
- China
- Prior art keywords
- data
- flash memory
- solid state
- state disk
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000007787 solid Substances 0.000 title claims abstract description 114
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 79
- 238000013439 planning Methods 0.000 claims abstract description 22
- 238000005299 abrasion Methods 0.000 claims abstract description 16
- 238000013500 data storage Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 230000017074 necrotic cell death Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 230000001338 necrotic effect Effects 0.000 claims description 7
- 238000011084 recovery Methods 0.000 claims description 7
- 230000007774 longterm Effects 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 3
- 230000032683 aging Effects 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000004321 preservation Methods 0.000 claims description 3
- 230000002035 prolonged effect Effects 0.000 abstract description 3
- 238000013507 mapping Methods 0.000 description 15
- 230000009286 beneficial effect Effects 0.000 description 9
- 238000007726 management method Methods 0.000 description 5
- 238000013523 data management Methods 0.000 description 4
- 230000001502 supplementing effect Effects 0.000 description 4
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种固态硬盘中读写服务自适应的方法,属于固态硬盘技术领域,其方法包括获取系统应用场景,根据场景‑类型数据库匹配对应场景涉及数据类型与数据大小,对固态硬盘的闪存块存储规划,根据对应用户的存储习惯对存储规划专属调整对已存储数据数据有效性识别,对所述已存储数据分类,根据类别‑处理表对分类结果第一处理;识别固态硬盘每个闪存块的写入与擦除次数,对闪存块磨损等级判定,对未存储数据存储块匹配,并对存储块划分,根据区域‑处理表对划分结果第二处理;结合处理后结果与调整后存储规划对数据进行存储,实现了固态硬盘的高效使用,提高了数据处理效率,延长了硬盘寿命,同时也提升了用户的使用体验。
Description
技术领域
本发明涉及固态硬盘技术领域,特别涉及一种固态硬盘中读写服务自适应的方法。
背景技术
基于闪存的固态硬盘以其高性能、低功耗、高可靠等特点被企业的数据中心以及个人存储广泛使用,固态硬盘一般划分有系统部分、用户部分与预留部分,优化读写性能一般通过根据使用情况缩减用户空间,增加预留空间,虽然能保证读写性能的不变,但是会导致数据的存储区域容量会变小,也会导致读写请求延迟。
因此,本发明提供一种固态硬盘中读写服务自适应的方法。
发明内容
本发明提供一种固态硬盘中读写服务自适应的方法,用以通过系统应用场景确定涉及数据类型及其大小,对固态硬盘的闪存块进行存储规划,根据用户存储习惯对存储规划进行调整,对固态硬盘中的已存储数据进行有效性识别与分类,对其进行第一处理,识别固态硬盘闪存块的写入与擦除次数确定磨损等级,根据等级进行存储块匹配与第二处理,结合处理后结果与调整后存储规划进行数据存储,实现了固态硬盘的高效使用,提高了数据处理效率,延长了硬盘寿命,同时也提升了用户的使用体验。
本发明提供一种固态硬盘中读写服务自适应的方法,包括:
步骤1:获取系统应用场景,根据场景-类型数据库匹配对应场景涉及数据类型与数据大小,对固态硬盘的闪存块进行存储规划,根据对应用户的存储习惯对存储规划进行专属调整;
步骤2:对已存储数据进行数据有效性识别,根据识别结果对所述已存储数据进行分类,根据类别-处理表对分类结果进行第一处理;
步骤3:识别固态硬盘每个闪存块的写入与擦除次数,对闪存块进行磨损等级判定,根据判定结果对未存储数据进行存储块匹配,并对存储块进行划分,根据区域-处理表对划分结果进行第二处理;
步骤4:结合第一处理结果与第二处理结果基于专属调整后的存储规划进行数据存储。
本发明提供一种固态硬盘中读写服务自适应的方法,对固态硬盘的闪存块进行存储规划,包括:
根据系统应用场景对应数据类型,匹配固态硬盘中的闪存块对应的闪存介质的类型存储区域、第一预留空间与第二预留空间;
根据对应数据类型的日常数据大小确定类型存储区域的第一占用容量与第二预留空间的第一预留容量,其中,所述第一预留容量与在所述固态硬盘的写入失败与擦除失败所占用写入数据量与擦除数据量相关;
将所述第一占用容量与第一预留容量之和的设定占比容量作为第一预留空间的第二预留容量;
对类型存储区域的异常进行区域坏死判断,根据判断结果从所述第一预留空间分配可使用区域替换类型存储区域的坏死区域以及从所述第二预留空间的可使用区域替换第一预留空间的坏死区域;
根据所述固态硬盘的层级读写速度差异模型以及所述固态硬盘每个闪存块上已写入的访问请求的位置和大小,得出每个闪存块延迟情况;
将所述系统应用场景下的待分配的访问请求分配到当前总延迟最低的闪存块中,并传出该访问请求被分配闪存块的位置;
综合待分配的访问请求的闪存块位置与所述固态硬盘下不同数据类型的非坏死区域对应闪存块的区域规划,得出固态硬盘闪存块的存储规划。
本发明提供一种固态硬盘中读写服务自适应的方法,根据对应用户的存储习惯对存储规划进行专属调整,包括:
从用户的写入操作频率与对应存储数据的重要性形成存储习惯表;
根据系统应用周围环境情况对固态硬盘运行状态的影响情况与所述固态硬盘的总容量得出外界影响因素表;
结合外界影响因素表与存储习惯表对第一预留空间与第二预留空间进行调整,其中,调整后的第一预留空间以及第二预留空间满足写入操作的完整性与重要数据的再恢复性。
本发明提供一种固态硬盘中读写服务自适应的方法,对已存储数据进行数据有效性识别,根据识别结果对所述已存储数据进行分类,根据类别-处理表对分类结果进行第一处理,包括:
根据每个闪存块含有的闪存页进行比特数判断,并根据判断结果结合系统应用场景对应的数据类型对所述闪存页进行分类,根据所述数据类型的数据有效时间设定各类闪存页的继续存放时间;
根据每个闪存块内的各类闪存页的数量,估算该闪存块的数据有效保存时间的当下值;
根据所述有效保存时间的当下值对已存储数据进行有效性识别,根据识别结果对所述已存储数据进行可存储时间分类;
对等于所述当下值的闪存页,对该闪存页进行存放时间的推迟值设定,并达到推迟值对应的存放时间时对闪存页进行刷新处理;
基于类别-处理表对可存储时间分类结果进行第一处理。
本发明提供一种固态硬盘中读写服务自适应的方法,基于类别-处理表对可存储时间分类结果进行第一处理,包括:
对已存储数据进行设定条件判断,其中,设定条件包括数据完整条件、数据一致条件、数据准确条件、数据时效条件、数据可用条件与数据合规条件;
根据判断结果对已存储数据数据的可存储时间分类进行优化调整,其中,可存储时间分类包括:长期时间、中期时间与短期时间。
本发明提供一种固态硬盘中读写服务自适应的方法,识别固态硬盘每个闪存块的写入与擦除次数,对闪存块进行磨损等级判定,包括:
获取固态硬盘的每个闪存块的性能参数数据,计算每个闪存块的剩余寿命:
fji(xji)=kjig(xji);
其中,Sj表示第j个闪存块的标准化剩余寿命;NY表示无法修复的错误数量;fji(xji)表示第i个影响因素xji对第j个闪存块的寿命衰减系数;n表示影响闪存块寿命的影响因素个数;kji表示第i个影响因素xji的经验参数;F表示写入放大系数;Cj表示第j个闪存块从出厂使用到当下时刻的总数据写入量;NC表示第j个闪存块从出厂使用到当下时刻的写入擦除总次数;Rj表示第j个闪存块的出厂设定容量;g(xji)表示第i个影响因素xji的寿命影响因子;表示寿命转化系数;δji第i个影响因素xji的影响权重;
根据每个闪存块的剩余寿命进行磨损等级判定。
本发明提供一种固态硬盘中读写服务自适应的方法,根据判定结果对未存储数据进行存储块匹配,并对存储块进行划分,根据区域-处理表对匹配结果进行第二处理,包括:
确定未存储数据的生命周期信息,根据未存储数据的生命周期信息确定未存储数据所属的生命周期组;
根据磨损等级判定结果结合未存储数据所属的生命周期组,匹配固态硬盘中相同生命周期且符合预设磨损等级的待写入区域;
若匹配失败,则对未存储数据进行暂缓写入状态的设置;
根据固态硬盘的物理结构、性能特征与使用场景因素进行区域划分,基于区域划分分配不同处理方式,同时对每个处理方式进行优先级设定;
根据划分结果结合区域-处理表对匹配失败的未存储数据进行第二处理。
本发明提供一种固态硬盘中读写服务自适应的方法,对固态硬盘的垃圾回收操作,包括:
对数据有效性判断高于所述当下值与推迟值之和的已存储数据进行无效化判断,根据判断结果将所述已存储数据写入新的位置并将之前位置进行无效化;
对固态硬盘的空闲空间进行阈值设定,当空闲空间低于阈值设定之后,对无效化空间进行回收,设置可中断垃圾回收与不可中断垃圾回收。
与现有技术相比,本申请的有益效果如下:通过系统应用场景确定涉及数据类型及其大小,对固态硬盘的闪存块进行存储规划,根据用户存储习惯对存储规划进行调整,对固态硬盘中的已存储数据进行有效性识别与分类,对其进行第一处理,识别固态硬盘闪存块的写入与擦除次数确定磨损等级,根据等级进行存储块匹配与第二处理,结合处理后结果与调整后存储规划进行数据存储,实现了固态硬盘的高效使用,提高了数据处理效率,延长了硬盘寿命,同时也提升了用户的使用体验。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种固态硬盘中读写服务自适应的方法的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1:
本发明实施例提供一种固态硬盘中读写服务自适应的方法,如图1所示,包括:
步骤1:获取系统应用场景,根据场景-类型数据库匹配对应场景涉及数据类型与数据大小,对固态硬盘的闪存块进行存储规划,根据对应用户的存储习惯对存储规划进行专属调整;
步骤2:对已存储数据进行数据有效性识别,根据识别结果对所述已存储数据进行分类,根据类别-处理表对分类结果进行第一处理;
步骤3:识别固态硬盘每个闪存块的写入与擦除次数,对闪存块进行磨损等级判定,根据判定结果对未存储数据进行存储块匹配,并对存储块进行划分,根据区域-处理表对划分结果进行第二处理;
步骤4:结合第一处理结果与第二处理结果基于专属调整后的存储规划进行数据存储。
该实施例中,场景-类型数据库包括数据存储中的文本、数字、日期、图像、音频、视频等;数据查询:数据库提供了强大的查询功能,快速检索和获取所需的数据;数据管理中的数据的增加、删除、修改等管理功能;数据分析中的SQL查询等方式,对数据进行各种复杂的分析和处理;数据安全中的数据的备份、恢复、加密等安全功能,保护数据不被非法访问和丢失;数据一致性是根据数据库通过事务管理等机制,保证了数据的一致性和完整性;数据并发是根据数据库支持多用户同时访问和操作数据,通过锁定等机制,保证了数据的并发性。
该实施例中,存储规划是根据系统应用场景对应的数据类型对固态硬盘进行区域划分,并设定每个区域的占用量,确定区域与区域之间的补充关系,根据闪存块的访问情况,确定每个闪存块的延迟情况,结合占用量与延迟情况对固态硬盘进行确定。
该实施例中,系统应用场景包括个人计算、商业运营、数据分析、网络服务、科学计算、教育和研究以及娱乐和社交。
该实施例中,有效性识别包括检查数据的完整性、一致性和可用性。
该实施例中,专属调整是系统会根据用户的存储习惯,对存储规划进行专属调整,包括调整数据的存储位置、改变数据的存储顺序、优化数据的存储格式等。
该实施例中,第一处理包括数据迁移、数据删除、数据压缩、数据备份与数据刷新。
该实施例中,系统会识别固态硬盘每个闪存块的写入与擦除次数,并对闪存块进行磨损等级判定,根据判定结果,系统会对未存储数据进行存储块匹配。
该实施例中,第二处理是系统会根据存储块匹配结果对存储块进行划分,然后,根据区域-处理表对划分结果进行第二处理,包括调整数据存储位置、优化数据存储格式、改变数据存储顺序等操作。
该实施例中,类别-处理表中的包括数据的类型,如文档、图片、视频等;和数据的有效期如短期、中期、长期等;对应于每种数据类别的处理方式,如数据迁移、数据删除、数据压缩、数据备份和数据刷新等;触发每种处理方式的条件,如数据的有效期已到、存储空间不足、数据不常访问等;每种处理方式的优先级,系统可能会根据优先级来决定先进行哪种处理。
该实施例中,区域-处理表中包括区域表示与对应区域的数据处理方式,处理方式是处理特定区域中数据的指示,包括直接写入、暂缓写入、重定向到其他区域等,其中磨损等级用于确定是否应将数据写入特定区域。
上述技术方案的工作原理及有益效果是:通过系统应用场景确定涉及数据类型及其大小,对固态硬盘的闪存块进行存储规划,根据用户存储习惯对存储规划进行调整,对固态硬盘中的已存储数据进行有效性识别与分类,对其进行第一处理,识别固态硬盘闪存块的写入与擦除次数确定磨损等级,根据等级进行存储块匹配与第二处理,结合处理后结果与调整后存储规划进行数据存储,实现了固态硬盘的高效使用,提高了数据处理效率,延长了硬盘寿命,同时也提升了用户的使用体验。
实施例2:
本发明实施例提供一种固态硬盘中读写服务自适应的方法,对固态硬盘的闪存块进行存储规划,包括:
根据系统应用场景对应数据类型,匹配固态硬盘中的闪存块对应的闪存介质的类型存储区域、第一预留空间与第二预留空间;
根据对应数据类型的日常数据大小确定类型存储区域的第一占用容量与第二预留空间的第一预留容量,其中,所述第一预留容量与在所述固态硬盘的写入失败与擦除失败所占用写入数据量与擦除数据量相关;
将所述第一占用容量与第一预留容量之和的设定占比容量作为第一预留空间的第二预留容量;
对类型存储区域的异常进行区域坏死判断,根据判断结果从所述第一预留空间分配可使用区域替换类型存储区域的坏死区域以及从所述第二预留空间的可使用区域替换第一预留空间的坏死区域;
根据所述固态硬盘的层级读写速度差异模型以及所述固态硬盘每个闪存块上已写入的访问请求的位置和大小,得出每个闪存块延迟情况;
将所述系统应用场景下的待分配的访问请求分配到当前总延迟最低的闪存块中,并传出该访问请求被分配闪存块的位置;
综合待分配的访问请求的闪存块位置与所述固态硬盘下不同数据类型的非坏死区域对应闪存块的区域规划,得出固态硬盘闪存块的存储规划。
该实施例中,数据分类是根据系统应用场景,将需要存储的数据分类为不同类型,包括文本文件、图像文件、视频文件等。
该实施例中,闪存块分配是根据数据类型的大小和特征来决定的,比如文本文件分配30个闪存块,用于存储文本文件,同时,由于文本文件通常较小,因此每个闪存块的大小设置为1MB,其中,第一预留空间的大小设置为每个闪存块的10%,即100KB,用于存储写入失败和擦除失败所占用的数据与对类型存储区域的坏死区域补充,第二预留空间的大小设置为每个闪存块的20%,即200KB,用于存储固态硬盘的其他信息与对第一预留空间坏死区域的补充。
该实施例中,第一预留空间用于存储写入失败与擦除失败所占用的数据空间与对类型存储区域的坏死区域补充,第二预留空间用于存储固态硬盘的其他信息与对第一预留空间坏死区域的补充,例如文件系统信息、文件目录信息等。
该实施例中,第一预留空间是根据固态硬盘的系统区的容量大小以及用户区的大小确定的,其中,系统区的容量大小包括计算系统元数据所需的容量大小,用户区容量大小是固态硬盘的标称容量。
该实施例中,坏死区域是由于闪存介质的物理性质或使用寿命等原因,导致闪存中某些存储单元无法正常读写或擦除的区域,坏死区域无法存储数据,会影响闪存的可靠性和性能。
该实施例中,层速度差异模型是用于提供不同层之间的访问速度差异系数,在层速度差异模型中将从底层到顶层中的所有层的访问速度设定为按一定比例增加,以得到一个层感知模块,层感知模块反应的是每层自身的速度差异。
该实施例中,延迟计算是根据利用速度差异模型计算每个已写入访问请求的延迟,进行求和,得到该闪存芯片等待队列的总延迟。
上述技术方案的工作原理及有益效果是:根据系统应用场景对应的数据类型对固态硬盘进行区域划分,并设定每个区域的占用量,确定区域与区域之间的补充关系,根据闪存块的访问情况,确定每个闪存块的延迟情况,结合占用量与延迟情况对固态硬盘进行闪存块的存储规划,实现对固态硬盘中已存储或未存储数据的有效管理,提高固态硬盘的性能和可靠性。
实施例3:
本发明实施例提供一种固态硬盘中读写服务自适应的方法,根据对应用户的存储习惯对存储规划进行专属调整,包括:
从用户的写入操作频率与对应存储数据的重要性形成存储习惯表;
根据系统应用周围环境情况对固态硬盘运行状态的影响情况得出外界影响因素表;
结合外界影响因素表与存储习惯表对第一预留空间与第二预留空间进行调整,其中,调整后的第一预留空间以及第二预留空间满足写入操作的完整性与重要数据的再恢复性。
该实施例中,存储习惯表是用户的数据写入操作时间段,用户数据写入操作的大致数据类型以及用户对一些数据的频繁访问与将一些数据标记为重要数据的行为集合表。
该实施例中,外界影响因素表包括周围环境温湿度、震动与冲击的状态、电源稳定性。
该实施例中,调整的过程是根据外界影响因素表与存储习惯表调整第一预留空间与第二预留空间对应的预留容量大小以及对应存储内容。
因此,针对结合外界影响因素表与存储习惯表对第一预留空间与第二预留空间进行调整,具体包括:
依据因素习惯模型依次遍历所述外界影响因素表中每个影响因素与存储习惯表中每个习惯之间的映射关系,并构建得到每个影响因素与所有习惯的映射树;
分别计算每个映射树的截取阈值,并计算得到对应影响因素对所述预留空间的第一调节系数;
其中,m2表示对应映射树中存在的映射支路;qyj2表示对应映射树中第j2个映射支路的支路权重;y0j2表示对应映射树中第j2个映射支路的支路长度;表示最大支路权重qymax对应的映射支路系数;δ12表示所有qyj2y0j2的方差;Jy表示对应映射树的截取阈值;
其中,D01表示第一调节系数;b01表示比较阈值;m3(Jy≥qyj2y0j2)表示满足Jy≥qyj2y0j2的映射分支的个数;
同时,从对应映射树中提取大于截取阈值的映射分支所对应的关键习惯,确定对预留空间的初始调节内容,同时,根据预留空间的写入操作的完整性与重要数据的再恢复性,对初始调节内容进行优化得到再次调节内容以及对第一调节系数进行优化,得到第二调节系数;
D02=D01×(1-T1(wz,zh))
其中,D02为对应的第二调节系数;T1(wz,zh)表示基于写入操作完整性wz与重要数据的再恢复性zh的调节函数;
将再次调节内容以及第二调节系数作为对预留空间的调节结果。
该实施例中,映射分支的个数与存储习惯表中习惯的个数一致,且基于模型进行遍历之后会存在分支长短以及分支粗细,进而来代表支路权重与支路长度,且该模型是由专家对不同的外界因素与习惯存储之间的标定关系为样本对神经网络模型进行训练得到的。
该实施例中,调节系数是针对空间容量上的调节,调节内容是针对存储硬盘中存储内容上的调节,两者的针对不同。
该实施例中,初始调节内容是指的与关键习惯相关的内容,比如,存在关键习惯1与关键习惯2,此时,硬盘中还存在习惯3对应的内容,但是,习惯3对应的内容可以不在该硬盘中体现,此时,就基于关键习惯来1与关键习惯2来对习惯3进行内容代替。
该实施例中,写入操作越不完整、再恢复性越差,对应的T1(wz,zh)取值越大,且取值小于1。
上述技术方案的工作原理及有益效果是:根据外界影响因素表与存储习惯表对预留空间从预留容量与存储内容上做出调整,确保系统能够根据用户的存储习惯和外部环境的变化,持续优化固态硬盘的运行状态和存储空间。
实施例4:
本发明实施例提供一种固态硬盘中读写服务自适应的方法,对已存储数据进行数据有效性识别,根据识别结果对所述已存储数据进行分类,根据类别-处理表对分类结果进行第一处理,包括:
根据每个闪存块含有的闪存页进行比特数判断,并根据判断结果结合系统应用场景对应的数据类型对所述闪存页进行分类,根据所述数据类型的数据有效时间设定各类闪存页的继续存放时间;
根据每个闪存块内的各类闪存页的数量,估算该闪存块的数据有效保存时间的当下值;
根据所述有效保存时间的当下值对已存储数据进行有效性识别,根据识别结果对所述已存储数据进行可存储时间分类;
对等于所述当下值的闪存页,对该闪存页进行存放时间的推迟值设定,并达到推迟值对应的存放时间时对闪存页进行刷新处理;
基于类别-处理表对可存储时间分类结果进行第一处理。
该实施例中,比特数判断是将闪存块的已写入数据,为该闪存块初始化一个数据可存储时间的估计值,根据闪存页的比特错误数对闪存页进行分类,并设定各类闪存页的继续存放时间,根据一个闪存块中各类闪存页数量的概率分布函数以及各类闪存页的实际数量,校验并调整可存储时间的估计值,直至校验结果为闪存页存储设定最高时间,此时估计值的取值即为该闪存块的数据可存储时间。
该实施例中,刷新处理是对网页进行数据的重新写入。
上述技术方案的工作原理及有益效果是:根据闪存块内闪存页的比特数比较确定每个类型闪存页的有效保存时间,对已存储数据进行分类,并根据类别-处理表对已存储数据进行处理,实现了对闪存存储系统中数据的有效管理和维护,包括数据的分类、有效期设定、有效性识别、刷新处理和数据处理等功能,提高数据的存储效率和系统的运行效率,同时,延长闪存的使用寿命。
实施例5:
本发明实施例提供一种固态硬盘中读写服务自适应的方法,基于类别-处理表对可存储时间分类结果进行第一处理,包括:
对已存储数据进行设定条件判断,其中,设定条件包括数据完整条件、数据一致条件、数据准确条件、数据时效条件、数据可用条件与数据合规条件;
根据判断结果对已存储数据数据的可存储时间分类进行优化调整,其中,可存储时间分类包括:长期时间、中期时间与短期时间。
该实施例中,存储过程是根据判断结果,系统对已存储数据的可存储时间分类进行优化调整,比如质量高、可用性强、符合规定的数据将被分类为长期存储,而质量低、可用性差、不符合规定的数据将被分类为短期存储或需要被更新或删除。
上述技术方案的工作原理及有益效果是:通过对已存储数据进行设定条件的判断,根据判断结果对已存储数据数据的可存储时间分类进行优化调整,实现了对闪存存储系统中数据的有效管理和维护,包括数据质量的评估和存储时间的优化。这提高数据的存储效率和系统的运行效率,同时也确保数据的质量和可用性,以及符合规定的标准。
实施例6:
本发明实施例提供一种固态硬盘中读写服务自适应的方法,识别固态硬盘每个闪存块的写入与擦除次数,对闪存块进行磨损等级判定,包括:
获取固态硬盘的每个闪存块的性能参数数据,计算每个闪存块的剩余寿命:
其中,Sj表示第j个闪存块的标准化剩余寿命;NY表示无法修复的错误数量;fji(xji)表示第i个影响因素xji对第j个闪存块的寿命衰减系数;n表示影响闪存块寿命的影响因素个数;kji表示第i个影响因素xji的经验参数;F表示写入放大系数;Cj表示第j个闪存块从出厂使用到当下时刻的总数据写入量;NC表示第j个闪存块从出厂使用到当下时刻的写入擦除总次数;Rj表示第j个闪存块的出厂设定容量;g(xji)表示第i个影响因素xji的寿命影响因子;表示寿命转化系数;δji第i个影响因素xji的影响权重;
根据每个闪存块的剩余寿命进行磨损等级判定。
该实施例中,其中,所述性能参数数据包括闪存块的错误写入与擦除飙升次数、错误数据内容对应的数据大小与写入频率、性能抖动数目、工作温度、存储使用率与电源稳定性。
上述技术方案的工作原理及有益效果是:根据固态硬盘的闪存块对应的性能参数确定对应闪存块的剩余寿命,通过合理分配数据写入,平衡各个闪存块的使用,避免某些闪存块过早失效,从而提高硬盘的整体使用效率和寿命同时也帮助用户更好地管理数据和硬盘资源。
实施例7:
本发明实施例提供一种固态硬盘中读写服务自适应的方法,根据判定结果对未存储数据进行存储块匹配,并对存储块进行划分,根据区域-处理表对匹配结果进行第二处理,包括:
确定未存储数据的生命周期信息,根据未存储数据的生命周期信息确定未存储数据所属的生命周期组;
根据磨损等级判定结果结合未存储数据所属的生命周期组,匹配固态硬盘中相同生命周期且符合预设磨损等级的待写入区域;
若匹配失败,则对未存储数据进行暂缓写入状态的设置;
根据固态硬盘的物理结构、性能特征与使用场景因素进行区域划分,基于区域划分分配不同处理方式,同时对每个处理方式进行优先级设定;
根据划分结果结合区域-处理表对匹配失败的未存储数据进行第二处理。
该实施例中,生命周期信息包括创建日期、预期使用期限、访问频率、数据类型、数据大小与数据重要性。
该实施例中,生命周期组的划分方式包括长期数据组、中期数据组与短期数据组。
该实施例中,实现功能包括数据存储优化、磨损均衡、数据管理自动化、数据安全性提高。
该实施例中,优先级用于确定在多个处理方式可用时,应优先使用哪种处理方式的指示。优先级基于固态硬盘的物理结构、性能特征和使用场景因素。
上述技术方案的工作原理及有益效果是:通过未存储数据的生命周期信息确定未存储数据所属的生命周期组,匹配预设磨损等级的待写入区域,根据固态硬盘的物理结构、性能特征与使用场景因素进行区域划分,根据划分结果按照区域-处理表对未存储数据进行第二处理,实现了一种针对固态硬盘的高效、智能的数据管理策略,提高数据写入效率,延长硬盘寿命,同时确保数据的安全和完整。
实施例8:
本发明实施例提供一种固态硬盘中读写服务自适应的方法,对固态硬盘的垃圾回收操作,包括:
对数据有效性判断高于所述当下值与推迟值之和的已存储数据进行无效化判断,根据判断结果将所述已存储数据写入新的位置并将之前位置进行无效化;
对固态硬盘的空闲空间进行阈值设定,当空闲空间低于阈值设定之后,对无效化空间进行回收,设置可中断垃圾回收与不可中断垃圾回收。
该实施例中,可中断垃圾回收是若存在更重要的任务(如新的数据写入请求)需要立即执行,垃圾回收过程被暂时中断,以便立即处理这些更重要的任务,一旦这些任务完成,垃圾回收过程再次开始,继续清理无效的数据位置。
该实施例中,无效化判断后对无效数据进行数据迁移或数据擦除。
该实施例中,不可中断垃圾回收是一旦开始,就必须运行到完成,即使有新的数据写入请求,也不能中断垃圾回收过程。
上述技术方案的工作原理及有益效果是:通过数据有效性进行闪存块位置的无效判断,根据判断结果确定空闲空间,及时空闲空间进行回收,实现了一种针对固态硬盘的高效、智能的数据管理和垃圾回收策略,提高数据读写效率,优化存储空间的使用,并确保数据的安全。
显然,本领域的技术人员对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种固态硬盘中读写服务自适应的方法,其特征在于,包括:
步骤1:获取系统应用场景,根据场景-类型数据库匹配对应场景涉及数据类型与数据大小,对固态硬盘的闪存块进行存储规划,根据对应用户的存储习惯对存储规划进行专属调整;
步骤2:对已存储数据进行数据有效性识别,根据识别结果对所述已存储数据进行分类,根据类别-处理表对分类结果进行第一处理;
步骤3:识别固态硬盘每个闪存块的写入与擦除次数,对闪存块进行磨损等级判定,根据判定结果对未存储数据进行存储块匹配,并对存储块进行划分,根据区域-处理表对划分结果进行第二处理;
步骤4:结合第一处理结果与第二处理结果基于专属调整后的存储规划进行数据存储。
2.根据权利要求1所述的一种固态硬盘中读写服务自适应的方法,其特征在于,对固态硬盘的闪存块进行存储规划,包括:
根据系统应用场景对应数据类型,匹配固态硬盘中的闪存块对应的闪存介质的类型存储区域、第一预留空间与第二预留空间;
根据对应数据类型的日常数据大小确定类型存储区域的第一占用容量与第二预留空间的第一预留容量,其中,所述第一预留容量与在所述固态硬盘的写入失败与擦除失败所占用写入数据量与擦除数据量相关;
将所述第一占用容量与第一预留容量之和的设定占比容量作为第一预留空间的第二预留容量;
对类型存储区域的异常进行区域坏死判断,根据判断结果从所述第一预留空间分配可使用区域替换类型存储区域的坏死区域以及从所述第二预留空间的可使用区域替换第一预留空间的坏死区域;
根据所述固态硬盘的层级读写速度差异模型以及所述固态硬盘每个闪存块上已写入的访问请求的位置和大小,得出每个闪存块延迟情况;
将所述系统应用场景下的待分配的访问请求分配到当前总延迟最低的闪存块中,并传出该访问请求被分配闪存块的位置;
综合待分配的访问请求的闪存块位置与所述固态硬盘下不同数据类型的非坏死区域对应闪存块的区域规划,得出固态硬盘闪存块的存储规划。
3.根据权利要求1所述的一种固态硬盘中读写服务自适应的方法,其特征在于,根据对应用户的存储习惯对存储规划进行专属调整,包括:
从用户的写入操作频率与对应存储数据的重要性形成存储习惯表;
根据系统应用周围环境情况对固态硬盘运行状态的影响情况得出外界影响因素表;
结合外界影响因素表与存储习惯表对第一预留空间与第二预留空间进行调整,其中,调整后的第一预留空间以及第二预留空间满足写入操作的完整性与重要数据的再恢复性。
4.根据权利要求1所述的一种固态硬盘中读写服务自适应的方法,其特征在于,对已存储数据进行数据有效性识别,根据识别结果对所述已存储数据进行分类,根据类别-处理表对分类结果进行第一处理,包括:
根据每个闪存块含有的闪存页进行比特数判断,并根据判断结果结合系统应用场景对应的数据类型对所述闪存页进行分类,根据所述数据类型的数据有效时间设定各类闪存页的继续存放时间;
根据每个闪存块内的各类闪存页的数量,估算该闪存块的数据有效保存时间的当下值;
根据所述有效保存时间的当下值对已存储数据进行有效性识别,根据识别结果对所述已存储数据进行可存储时间分类;
对等于所述当下值的闪存页,对该闪存页进行存放时间的推迟值设定,并达到推迟值对应的存放时间时对闪存页进行刷新处理;
基于类别-处理表对可存储时间分类结果进行第一处理。
5.根据权利要求4所述的一种固态硬盘中读写服务自适应的方法,其特征在于,基于类别-处理表对可存储时间分类结果进行第一处理,包括:
对已存储数据进行设定条件判断,其中,设定条件包括数据完整条件、数据一致条件、数据准确条件、数据时效条件、数据可用条件与数据合规条件;
根据判断结果对已存储数据数据的可存储时间分类进行优化调整,其中,可存储时间分类包括:长期时间、中期时间与短期时间。
6.根据权利要求1所述的一种固态硬盘中读写服务自适应的方法,其特征在于,识别固态硬盘每个闪存块的写入与擦除次数,对闪存块进行磨损等级判定,包括:
获取固态硬盘的每个闪存块的性能参数数据,计算每个闪存块的剩余寿命:
fji(xji)=kjig(xji);
其中,Sj表示第j个闪存块的标准化剩余寿命;NY表示无法修复的错误数量;fji(xji)表示第i个影响因素xji对第j个闪存块的寿命衰减系数;n表示影响闪存块寿命的影响因素个数;kji表示第i个影响因素xji的经验参数;F表示写入放大系数;Cj表示第j个闪存块从出厂使用到当下时刻的总数据写入量;NC表示第j个闪存块从出厂使用到当下时刻的写入擦除总次数;Rj表示第j个闪存块的出厂设定容量;g(xji)表示第i个影响因素xji的寿命影响因子;表示寿命转化系数;δji第i个影响因素xji的影响权重;
根据每个闪存块的剩余寿命进行磨损等级判定。
7.根据权利要求1所述的一种固态硬盘中读写服务自适应的方法,其特征在于,根据判定结果对未存储数据进行存储块匹配,并对存储块进行划分,根据区域-处理表对匹配结果进行第二处理,包括:
确定未存储数据的生命周期信息,根据未存储数据的生命周期信息确定未存储数据所属的生命周期组;
根据磨损等级判定结果结合未存储数据所属的生命周期组,匹配固态硬盘中相同生命周期且符合预设磨损等级的待写入区域;
若匹配失败,则对未存储数据进行暂缓写入状态的设置;
根据固态硬盘的物理结构、性能特征与使用场景因素进行区域划分,基于区域划分分配不同处理方式,同时对每个处理方式进行优先级设定;
根据划分结果结合区域-处理表对匹配失败的未存储数据进行第二处理。
8.根据权利要求4所述的一种固态硬盘中读写服务自适应的方法,其特征在于,对固态硬盘的垃圾回收操作,包括:
对数据有效性判断高于所述当下值与推迟值之和的已存储数据进行无效化判断,根据判断结果将所述已存储数据写入新的位置并将之前位置进行无效化;
对固态硬盘的空闲空间进行阈值设定,当空闲空间低于阈值设定之后,对无效化空间进行回收,设置可中断垃圾回收与不可中断垃圾回收。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311540955.1A CN117687570B (zh) | 2023-11-17 | 2023-11-17 | 一种固态硬盘中读写服务自适应的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311540955.1A CN117687570B (zh) | 2023-11-17 | 2023-11-17 | 一种固态硬盘中读写服务自适应的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117687570A true CN117687570A (zh) | 2024-03-12 |
CN117687570B CN117687570B (zh) | 2024-06-18 |
Family
ID=90127535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311540955.1A Active CN117687570B (zh) | 2023-11-17 | 2023-11-17 | 一种固态硬盘中读写服务自适应的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117687570B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060007667A (ko) * | 2004-07-20 | 2006-01-26 | 엘지전자 주식회사 | 플래시 메모리 관리 방법과 장치 및 그 구조 |
US20120284587A1 (en) * | 2008-06-18 | 2012-11-08 | Super Talent Electronics, Inc. | Super-Endurance Solid-State Drive with Endurance Translation Layer (ETL) and Diversion of Temp Files for Reduced Flash Wear |
CN107748722A (zh) * | 2017-09-30 | 2018-03-02 | 华中科技大学 | 一种保证固态硬盘中数据持续性的自适应数据刷新方法 |
CN109308273A (zh) * | 2017-07-26 | 2019-02-05 | 北京兆易创新科技股份有限公司 | 闪存控制器、闪存控制器功能的调节方法及设备 |
CN110750466A (zh) * | 2019-10-18 | 2020-02-04 | 深圳豪杰创新电子有限公司 | 提高闪存擦写寿命的方法和装置 |
CN112817880A (zh) * | 2021-03-17 | 2021-05-18 | 深圳市安信达存储技术有限公司 | 一种固态硬盘及其磨损平衡方法和终端设备 |
CN113590501A (zh) * | 2020-04-30 | 2021-11-02 | 华为技术有限公司 | 一种数据存储方法及相关设备 |
CN113672162A (zh) * | 2020-05-14 | 2021-11-19 | 杭州萤石软件有限公司 | 数据存储方法、装置及设备 |
CN116225332A (zh) * | 2023-03-03 | 2023-06-06 | 杭州菲数科技有限公司 | 存储管理方法、存储装置及嵌入式芯片 |
CN116360979A (zh) * | 2023-03-06 | 2023-06-30 | 北京奕斯伟计算技术股份有限公司 | 内存分配方法、装置、电子设备及可读存储介质 |
CN116414727A (zh) * | 2023-06-12 | 2023-07-11 | 深圳大普微电子科技有限公司 | 闪存设备的空间管理方法、存储控制芯片及闪存设备 |
CN116737064A (zh) * | 2023-03-29 | 2023-09-12 | 深圳市领德创科技有限公司 | 一种固态硬盘的数据管理方法和系统 |
-
2023
- 2023-11-17 CN CN202311540955.1A patent/CN117687570B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060007667A (ko) * | 2004-07-20 | 2006-01-26 | 엘지전자 주식회사 | 플래시 메모리 관리 방법과 장치 및 그 구조 |
US20120284587A1 (en) * | 2008-06-18 | 2012-11-08 | Super Talent Electronics, Inc. | Super-Endurance Solid-State Drive with Endurance Translation Layer (ETL) and Diversion of Temp Files for Reduced Flash Wear |
CN109308273A (zh) * | 2017-07-26 | 2019-02-05 | 北京兆易创新科技股份有限公司 | 闪存控制器、闪存控制器功能的调节方法及设备 |
CN107748722A (zh) * | 2017-09-30 | 2018-03-02 | 华中科技大学 | 一种保证固态硬盘中数据持续性的自适应数据刷新方法 |
CN110750466A (zh) * | 2019-10-18 | 2020-02-04 | 深圳豪杰创新电子有限公司 | 提高闪存擦写寿命的方法和装置 |
CN113590501A (zh) * | 2020-04-30 | 2021-11-02 | 华为技术有限公司 | 一种数据存储方法及相关设备 |
CN113672162A (zh) * | 2020-05-14 | 2021-11-19 | 杭州萤石软件有限公司 | 数据存储方法、装置及设备 |
CN112817880A (zh) * | 2021-03-17 | 2021-05-18 | 深圳市安信达存储技术有限公司 | 一种固态硬盘及其磨损平衡方法和终端设备 |
CN116225332A (zh) * | 2023-03-03 | 2023-06-06 | 杭州菲数科技有限公司 | 存储管理方法、存储装置及嵌入式芯片 |
CN116360979A (zh) * | 2023-03-06 | 2023-06-30 | 北京奕斯伟计算技术股份有限公司 | 内存分配方法、装置、电子设备及可读存储介质 |
CN116737064A (zh) * | 2023-03-29 | 2023-09-12 | 深圳市领德创科技有限公司 | 一种固态硬盘的数据管理方法和系统 |
CN116414727A (zh) * | 2023-06-12 | 2023-07-11 | 深圳大普微电子科技有限公司 | 闪存设备的空间管理方法、存储控制芯片及闪存设备 |
Also Published As
Publication number | Publication date |
---|---|
CN117687570B (zh) | 2024-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10922235B2 (en) | Method and system for address table eviction management | |
US10303596B2 (en) | Read-write control method for memory, and corresponding memory and server | |
CN100583096C (zh) | 管理数据删除的方法 | |
US8161240B2 (en) | Cache management | |
US9189389B2 (en) | Memory controller and memory system | |
US10809928B2 (en) | Efficient data deduplication leveraging sequential chunks or auxiliary databases | |
US7552271B2 (en) | Nonvolatile memory with block management | |
US7558906B2 (en) | Methods of managing blocks in nonvolatile memory | |
CN108733322A (zh) | 用于多流垃圾收集的方法 | |
US8589617B2 (en) | Write once recording device | |
CN108733306B (zh) | 一种文件合并方法及装置 | |
US11403021B2 (en) | File merging method and controller | |
CN111026329B (zh) | 基于主机管理瓦记录磁盘的键值存储系统及数据处理方法 | |
CN110888600A (zh) | 一种面向nand闪存的缓冲区管理方法 | |
CN106095332A (zh) | 一种数据重删方法及装置 | |
CN114303123A (zh) | 一种固态硬盘的数据存储方法、装置及固态硬盘ssd | |
US10282127B2 (en) | Managing data in a storage system | |
CN117687570B (zh) | 一种固态硬盘中读写服务自适应的方法 | |
CN109669621B (zh) | 一种文件管理方法、文件管理系统、电子设备及存储介质 | |
CN111984604B (zh) | 一种减少日志结构文件系统碎片的方法及闪存存储系统 | |
CN111984602A (zh) | 数据流的管理方法和装置 | |
CN110389706B (zh) | 一种指纹回收方法以及存储系统 | |
CN109241011B (zh) | 一种虚拟机文件处理方法及装置 | |
CN113268201A (zh) | 基于文件属性的缓存管理方法和装置 | |
CN108874315A (zh) | 一种在线数据去重文件系统数据访问性能优化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |