CN115629715B - 一种提高闪存中块类型判断准确率的方法及系统 - Google Patents

一种提高闪存中块类型判断准确率的方法及系统 Download PDF

Info

Publication number
CN115629715B
CN115629715B CN202211556513.1A CN202211556513A CN115629715B CN 115629715 B CN115629715 B CN 115629715B CN 202211556513 A CN202211556513 A CN 202211556513A CN 115629715 B CN115629715 B CN 115629715B
Authority
CN
China
Prior art keywords
block
error rate
data
feature
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211556513.1A
Other languages
English (en)
Other versions
CN115629715A (zh
Inventor
宋远岑
陈育鸣
王展南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Huacun Electronic Technology Co Ltd
Original Assignee
Jiangsu Huacun Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Huacun Electronic Technology Co Ltd filed Critical Jiangsu Huacun Electronic Technology Co Ltd
Priority to CN202211556513.1A priority Critical patent/CN115629715B/zh
Publication of CN115629715A publication Critical patent/CN115629715A/zh
Application granted granted Critical
Publication of CN115629715B publication Critical patent/CN115629715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0673Single storage device
    • G06F3/0679Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/064Management of blocks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

本发明提供了一种提高闪存中块类型判断准确率的方法及系统,包括:根据块类型判断历史数据,获得第一类型判断结果,包括第一判断错误率;判断是否满足第一预设错误率;提取第一块类型,对块类型判断历史数据进行特征提取,生成第一数据特征和第一块特征;对第一块类型和第一数据特征、第一块特征进行关联度分析,获得第一关联度分析结果;在存储数据前,根据第一关联度分析结果对第一闪存块进行错误率预测,获得第一预测错误率;当不满足第一预设错误率,生成多维度类型标识指令对第一闪存块标识。解决了现有技术乱序写入及其它要素会对备用页造成影响,进而使得备用页存储的类型标识信息出现错误,导致存在块类型识别准确性较差的技术问题。

Description

一种提高闪存中块类型判断准确率的方法及系统
技术领域
本发明涉及人工智能相关技术领域,具体涉及一种提高闪存中块类型判断准确率的方法及系统。
背景技术
闪存自问世,由于其存储量大且便于携带,广受大众喜爱,闪存存储区域主要自上而下的结构依次为逻辑单元、面、块、页、单元组成,相同的块中一般只存储一种类型的数据,由于块中存储数据写入时为乱序,读时需要解乱序,因此确定块类型对于解乱序的意义较大。
现有技术中通过将块类型标识写入一个备用页的一个字节位置,便于后进行块类型识别,但因为乱序写入及其它要素会对备用页造成影响,进而使得备用页存储的类型标识信息出现错误,导致存在块类型识别稳定性和准确性较差的技术问题。
发明内容
本申请实施例通过提供了一种提高闪存中块类型判断准确率的方法及系统,解决了现有技术中通过将块类型标识写入一个备用页的一个字节位置,便于后进行块类型识别,但因为乱序写入及其它要素会对备用页造成影响,进而使得备用页存储的类型标识信息出现错误,导致存在块类型识别稳定性和准确性较差的技术问题。
鉴于上述问题,本申请实施例提供了一种提高闪存中块类型判断准确率的方法及系统。
第一方面,本申请实施例提供了一种提高闪存中块类型判断准确率的方法,其中,所述方法包括:根据块类型判断历史数据,获得第一类型判断结果,其中,所述第一类型判断结果包括第一判断错误率;判断所述第一判断错误率是否满足第一预设错误率;提取第一块类型,其中,所述第一块类型为所述第一判断错误率不满足所述第一预设错误率的闪存块类型;根据所述第一块类型,对所述块类型判断历史数据进行特征提取,生成第一数据特征和第一块特征;对所述第一块类型和所述第一数据特征、第一块特征进行关联度分析,获得第一关联度分析结果;在存储数据前,根据所述第一关联度分析结果对第一闪存块进行错误率预测,获得第一预测错误率;当所述第一预测错误率不满足所述第一预设错误率,则生成多维度类型标识指令对所述第一闪存块进行标识。
另一方面,本申请实施例提供了一种提高闪存中块类型判断准确率的系统,其中,所述系统包括:第一获得单元,用于根据块类型判断历史数据,获得第一类型判断结果,其中,所述第一类型判断结果包括第一判断错误率;第一判断单元,用于判断所述第一判断错误率是否满足第一预设错误率;第一提取单元,用于提取第一块类型,其中,所述第一块类型为所述第一判断错误率不满足所述第一预设错误率的闪存块类型;第一生成单元,用于根据所述第一块类型,对所述块类型判断历史数据进行特征提取,生成第一数据特征和第一块特征;第二获得单元,用于对所述第一块类型和所述第一数据特征、第一块特征进行关联度分析,获得第一关联度分析结果;第三获得单元,用于在存储数据前,根据所述第一关联度分析结果对第一闪存块进行错误率预测,获得第一预测错误率;第一标识单元,用于当所述第一预测错误率不满足所述第一预设错误率,则生成多维度类型标识指令对所述第一闪存块进行标识。
第三方面,本申请实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现第一方面任一项所述方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面任一项所述的方法。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
由于采用了通过提取历史块类型的判断结果数据,得到不同块类型的判断错误率;提取错误率不满足预设错误率的块类型的数据特征和块特征;根据块类型的识别对第一数据特征和第一块特征进行关联度分析;依据关联度分析结果对当前的将要存储数据的闪存块进行错误率预测;当预测的错误率不满足预设错误率时,对将要存储数据的闪存块进行多维度的类型标识增强的技术方案,通过对块的识别错误率进行预测,当较大时进行类型标识增强工作,进而达到了提高闪存块类型识别准确性的技术效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例提供了一种提高闪存中块类型判断准确率的方法流程示意图;
图2为本申请实施例提供了一种提高闪存中块类型判断准确率的方法中关联度分析的流程示意图;
图3为本申请实施例提供了一种提高闪存中块类型判断准确率的系统结构示意图;
图4为本申请实施例示例性电子设备的结构示意图。
附图标记说明:第一获得单元11,第一判断单元12,第一提取单元13,第一生成单元14,第二获得单元15,第三获得单元16,第一标识单元17,电子设备300,存储器301,处理器302,通信接口303,总线架构304。
具体实施方式
本申请实施例通过提供了一种提高闪存中块类型判断准确率的方法及系统,解决了现有技术中通过将块类型标识写入一个备用页的一个字节位置,便于后进行块类型识别,但因为乱序写入及其它要素会对备用页造成影响,进而使得备用页存储的类型标识信息出现错误,导致存在块类型识别稳定性和准确性较差的技术问题。通过对块的识别错误率进行预测,当较大时进行类型标识增强工作,进而达到了提高闪存块类型识别准确性的技术效果。
申请概述
现有技术中对于闪存块类型的标识通常是通过在备用页中的一个字节位置写入类型标识信息,在后步进行数据读取时,根据类型标识信息进行块识别,但因为诸如乱序写入过程等要素会对备用页造成影响,进而使得备用页存储的类型标识信息可能出现错误,导致存在块类型识别稳定性和准确性较差的技术问题。
针对上述技术问题,本申请提供的技术方案总体思路如下:
本申请实施例提供了一种提高闪存中块类型判断准确率的方法及系统。由于采用了通过提取历史块类型的判断结果数据,得到不同块类型的判断错误率;提取错误率不满足预设错误率的块类型的数据特征和块特征;根据块类型的识别对第一数据特征和第一块特征进行关联度分析;依据关联度分析结果对当前的将要存储数据的闪存块进行错误率预测;当预测的错误率不满足预设错误率时,对将要存储数据的闪存块进行多维度的类型标识增强的技术方案,通过对块的识别错误率进行预测,当较大时进行类型标识增强工作,进而达到了提高闪存块类型识别准确性的技术效果。
在介绍了本申请基本原理后,下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一
如图1所示,本申请实施例提供了一种提高闪存中块类型判断准确率的方法,其中,所述方法包括:
S100:根据块类型判断历史数据,获得第一类型判断结果,其中,所述第一类型判断结果包括第一判断错误率;
具体而言,块类型判断历史数据指的是基于大数据采集的多种块类型的识别历史数据,优选的采集过去从当前时间节点计算,过去12个月之内的全部历史数据进行统计,基于块类型进行数据分组存储。第一类型判断结果表征块类型的判断准确与否,优选的,当块类型的判断准确,则输出1,若是判断错误则输出0。
进一步的,第一判断错误率指的是统计多组判断结果数据,确定的块类型判别错误率,表征块类型的判断准确率程度,任意一块类型错误率优选的确定方式为:错误率=块类型判断结果为0的数量/(块类型判断结果为0的数量+块类型判断结果为1的数量)。
块类型判别失败的原因分为显性要素和隐性要素,显性要素包括但不限于:硬件性能的不稳定性、类型标识存储位置损坏等,此类要素可通过对硬件进行调整即可解决;隐性要素包括但不限于:存储数据类型、存储容量占比、块容量、类型标识的特征等信息,此类要素由于其对块类型判别的影响度难以量化,进而评估较困难。本申请实施例中即是对隐性要素对块类型判别的影响度进行统计分析,进一步根据分析结果达到提高块类型判别准确率的技术效果。
S200:判断所述第一判断错误率是否满足第一预设错误率;
S300:提取第一块类型,其中,所述第一块类型为所述第一判断错误率不满足所述第一预设错误率的闪存块类型;
具体而言,第一预设错误率指的是预设的可允许的块类型判断最低错误率,默认值为10%;第一块类型遍历第一判断错误率,和第一预设错误率进行比较,当第一判断错误率大于第一预设错误率时,即第一判断错误率不满足第一预设错误率,当第一判断错误率大于第一预设错误率时小于等于第一预设错误率时,即第一判断错误率满足第一预设错误率。
第一块类型指的是当第一判断错误率不满足第一预设错误率,提取和第一判断错误率对应块类型进行存储得到的结果,即表征识别准确率较低的块类型。
需要说明的是,此处的闪存块类型识别错误率指的是已经排除了显性要素造成的影响后的统计结果,因此可以准确的分析隐性要素对块类型造成的影响,首先提取不满足第一预设错误率的块类型存储为第一块类型,便于后步快速调用。
S400:根据所述第一块类型,对所述块类型判断历史数据进行特征提取,生成第一数据特征和第一块特征;
进一步的,基于所述根据所述第一块类型,对所述块类型判断历史数据进行特征提取,生成第一数据特征和第一块特征,步骤S400包括:
S410:遍历所述第一块类型,对所述块类型判断历史数据进行数据特征提取,获得第一内容特征、第一数量特征;
S420:遍历所述第一块类型,对所述块类型判断历史数据进行块特征提取,获得第一页数特征、第一类型标识特征和第一存储比例特征;
S430:将所述第一内容特征和所述第一数量特征,添加进所述第一数据特征;
S440:将所述第一页数特征、所述第一类型标识特征和所述第一存储比例特征,添加进所述第一块特征。
具体而言,第一数据特征指的是第一块类型中存储数据的特征信息,包括但不限于:第一内容特征、第一数量特征,其中,第一内容特征指的是表征存储内容,示例性地如:代码、数字等类型的内容;第一数量特征指的是存储数据的数据量信息。
第一块特征指的是第一块类型闪存块的特征信息,包括但不限于:第一页数特征、第一类型标识特征和第一存储比例特征,其中,第一页数特征指的是组成块的页数信息,进而可确定总的存储量;第一类型标识特征指的预设对相应的块进行识别的类型标识信息;第一存储比例特征指的是存储数据占据总的存储容量的比例信息。
上述特征信息的提取方式优选的构建一个全连接层作为特征提取器,使用多组历史数据,每组数据都包括:块信息,存储数据信息和对块信息,存储数据进行特征提取后的特征标识信息,将块信息,存储数据信息作为全连接层的输入数据,将特征标识信息作为全连接的输出监督信息,对全连接层进行训练激活,进而可完成对块信息,存储数据信息的特征提取。通过提取隐性要素信息,为后步对识别率低的闪存块进行量化分析,提供了信息反馈基础。
S500:对所述第一块类型和所述第一数据特征、第一块特征进行关联度分析,获得第一关联度分析结果;
进一步的,如图2所示,所述对所述第一块类型和所述第一数据特征、所述第一块特征进行关联度分析,获得第一关联度分析结果,步骤S500包括:
S510:根据所述第一块类型,生成第一参考数列;
S520:根据所述第一数据特征、所述第一块特征,生成第一对比数列;
S530:对所述第一参考数列和所述第一对比数列进行量纲计算,生成第二参考数列和第二对比数列;
S540:基于所述第二参考数列遍历所述第二对比数列,生成第一关联系数集合;
S550:根据所述第一关联系数集合,生成所述第一关联度分析结果。
具体而言,第一关联度分析结果指的是基于历史统计数据,分析第一数据特征、第一块特征对第一块类型的识别准确率关联度分析后得到的结果,实现了第一数据特征、第一块特征对第一块类型的识别准确率影响度的量化分析。
关联度分析方式优选的灰色关联度分析法,详细如下:
第一参考数列指的是为了便于计算将多个第一块类型进行表征的结果,优选的形式为:
其中表示错误率不满足第一预设错误率的块类型,表示第k块类型的错误率,k表示不满足第一预设错误率的块类型的序号,共有r个不满足第一预设错误率的块类型。
第一对比数列指的是为了便于计算将多个第一数据特征和第一块特征合并表征的结果,优选的形式为:
假设:i和中的对应,表示第一对比数列和第一块类型对应第i组的第一数据特征和第一块特征合并后的特征集合,表示第i组的第一数据特征和第一块特征合并后的第一个特征,和第i组对应的第k块类型相对应,表示第i组的第一数据特征和第一块特征合并后的第j个特征,和第i组对应的第k块类型的相对应,假设共有L个特征;通过序列化表征可以将第一块类型、第一数据特征和第一块特征转化为计算机可识别处理的数据,便于高效快速调用处理。
进一步的,第二参考数列和第二对比数列指的是为了统一第一参考数列和第一对比数列的量纲,分别对第二参考数列和第二对比数列进行无量纲调整之后得到的结果,调整方式举不设限制的一例:
第一参考数列的量纲调整方式:,其中,表示第二参考数列中1到r中的第k个块类型的量纲调整结果,表示中的任意一个值,为第一参考数列的标准差,为第一参考数列的样本均值;
第一对比数列的量纲调整方式:,其中,表示第i块类型对应的第一对比数列中1到L中的第j个特征信息的量纲调整结果,表示中的任意一个值,为第一对比数列的标准差,为第一对比数列的样本均值;
通过遍历第一参考数列和第一对比数列完成量纲调整,进而保证了量纲的统一,降低了误差概率。
更进一步的,第一关联系数集合指的是表征每个第二参考数列和其对应的第二对比数列之间的关联程度的系数,优选的确定方式如下:
求比序列:
求两极差:
计算关联系数:
或者
其中,表示第i组第二对比数列的第j个特征和,与第i组第二对比数列对应的第二参考数列中的第k个块类型的错误率之间的序列接近度,为分辨系数,为预设的固定值,由工作人员设定,表示第i组第二对比数列的第j个特征和,与第i组第二对比数列对应的第二参考数列中的第k个块类型的错误率之间的关联系数,是为计算设定的参数值,为两极值。通过上述公式遍历第二参考数列中的每一个块类型的错误率对应的特征序列,得到多个关联系数,为后步关联度的计算奠定了数据基础。
更进一步的,第一关联度分析结果指的是基于关联系数集合一一计算每一个块类型错误率和其对应的特征信息之间的关联度的计算结果,优选的计算方式如下:通过如下公式:
指的是第i组第二对比数列的第j个特征和,与第i组第二对比数列对应的第二参考数列中的第k个块类型错误率之间的关联度,s为选取的分析第j特征的数据组数。遍历全部的第二参考数列一一对应的存储多组关联度集合表征块类型错误率和其对应的特征信息之间的关联度,为后步进程提供信息反馈基础。
通过分析不同的特征信息下,依据块类型的错误率高低进行判断二者的关联度,表示在其它特征信息特征值一定时,第j特征的特征值和错误率的比值,在中第j特征的特征值对错误率的影响度较大时,就越大,通过拟合S组关联系数,得到均值设为关联度,可代表性的表征第k个块类型错误率和第j特征之间的关联度。进一步的,每一个块类型的错误率,对应的具有一组关联度分析结果,则实现了对隐性要素和块类型识别影响度的量化分析。
S600:在存储数据前,根据所述第一关联度分析结果对第一闪存块进行错误率预测,获得第一预测错误率;
进一步的,基于所述在存储数据前,根据所述第一关联度分析结果对第一闪存块进行错误率预测,获得第一预测错误率,步骤S600包括:
S610:将所述第一关联度分析结果输入第一权重分配公式对所述第一数据特征和所述第一块特征进行权重分配,生成第一权重分配结果;
其中,所述第一权重分配公式为:
为第j个特征信息的关联度,为第n个特征信息的权重,N为特征信息的数量;
S620:根据所述第一权重分配结果对所述第一闪存块进行错误率预测,获得所述第一预测错误率。
具体而言,第一预测错误率指的是在存储数据进闪存装置前,根据闪存块类型以及待存的数据预测存储后的块类型识别错误率。
优选的实现方式是通过基于随机森林构建决策树对块类型识别错误率进行预测,随机森林是通过对训练数据进行随机抽取分组为多组分别构建多个决策树模型进行工作的集成模型,具有较高的准确性,可快速的对闪存块类型以及待存的数据进行处理,进而生成第一预测错误率。
进一步的,优选的在随机森林输入端后基于第一关联度分析结果添加一个权重分配层,基于每种块类型的关联度集合进行权重分配,权重分配方式优选为依据第一权重分配公式进行分配:为第j个特征信息的关联度,为第n个特征信息的权重,N为特征信息的数量;由此,则可拟合关联度分析结果,在进行第一预测错误率预测时,拟合隐性要素对块类型识别的错误率的影响度,提高了错误率的预测精准性。
S700:当所述第一预测错误率不满足所述第一预设错误率,则生成多维度类型标识指令对所述第一闪存块进行标识。
进一步的,基于所述当所述第一预测错误率不满足所述第一预设错误率,则生成多维度类型标识指令对所述第一闪存块进行标识,步骤S700包括:
S710:根据所述多维度类型标识指令,生成第一标识位置集和第一标识规则集,其中,所述第一标识位置和所述第一标识规则一一对应;
S720:在所述第一闪存块中遍历所述第一标识规则集,对所述第一标识位置集进行类型标识,获得第一类型标识结果;
S730:存储完成后,基于所述第一类型标识结果对所述第一闪存块进行类型识别。
具体而言,当第一预测错误率不满足第一预设错误率,则生成多维度类型标识指令对第一闪存块进行标识,其中,多维度类型标识指令指的是进行标识的控制信号,标识过程如下:
第一标识位置集指的是设定的添加标识信息的位置,在备用页中为多个字段的位置,第一标识规则集指的是在对应的第一标识位置进行标识的规则,示例性地:对基础的类型标识进行编码处理,不同位置进行不同的编码处理;第一类型标识结果指的是根据第一闪存块中遍历第一标识规则集对第一标识位置集进行类型标识的结果;标识完成后,即可进行数据存储,当需要进行块类型识别时,通过对块的备用页进行解编码处理,当超过两处的标识相同时,则将该标识作为类型标识信息。
通过对第一预测错误率不满足第一预设错误率的块,在数据存储前,在备用页进行类型标识增强处理,进而通过多维度的类型标识增强处理提高了块类型识别的准确性。
更进一步的,所述根据所述第一权重分配结果对所述第一闪存块进行错误率预测,获得所述第一预测错误率,步骤S620包括:
S621:获得第一待存储数据进行数据特征提取,生成第二数据特征;
S622:对所述第一闪存块进行块特征提取,生成第二块特征;
S623:基于所述第一权重分配结果和所述块类型判断历史数据,构建第一错误率预测模型;
S624:将所述第二数据特征和所述第二块特征,输入所述第一错误率预测模型,生成所述第一预测错误率。
具体而言,第一待存储数据指的是预存储进闪存装置的数据集,第二数据特征指的是第一待存储数据的数据特征,特征维度和第一数据特征维度相同;第二块特征指的是对将要进行存储的第一闪存块进行特征提取的结果,特诊维度和第一块特征维度相同。
第一错误率预测模型指的是根据第一权重分配结果和块类型判断历史数据,基于随机森林构建的对块类型识别错误率进行预测的智能化模型。通过第一权重分配结果拟合特征信息对块类型识别错误率的影响度,再结合基于随机森林构建第一错误率预测模型对第二数据特征和第二块特征进行分析预测,得到较准确的隐性要素造成错误率的预测结果。
进一步的,基于所述第一权重分配结果和所述块类型判断历史数据,构建第一错误率预测模型,步骤S623包括:
S6231:根据所述第一权重分配结果,构建第一线性层,其中,所述第一线性层用来进行权重分配;
S6232:将所述块类型判断历史数据划分为K等份,有放回的随机抽取K次,将抽取的设为第一训练数据集,将未抽取的设为第一验证数据集;
S6233:重复M次,生成所述第一训练数据集、第二训练数据集直到第M训练数据集,所述第一验证数据集、第二验证数据集直到第M验证数据集;
S6234:使用所述第一训练数据集和所述第一验证数据集输入所述第一线性层进行处理后的数据,构建第一决策树;
S6235:使用所述第M训练数据集和所述第M验证数据集输入所述第一线性层进行处理后的数据,构建第M决策树;
S6236:将所述第一决策树直到所述第M决策树的输出进行拟合,生成所述第一错误率预测模型。
具体而言,第一错误率预测模型的训练方式如下:
基于第一权重分配结果,在第一错误率预测模型的输入层后连接一个第一线性层,线性层的每个节点用于对一个维度的特征信息进行权重分配。
进一步的,将所述块类型判断历史数据划分为K等份,有放回的随机抽取K次,将抽取的设为第一训练数据集,将未抽取的设为第一验证数据集;重复抽取,生成第一训练数据集、第二训练数据集直到第M训练数据集,第一验证数据集、第二验证数据集直到第M验证数据集。将第一训练数据集输入第一线性层进行处理后,用于训练第一决策树,当第一决策树收敛时,将第一验证数据集输入第一线性层进行处理后,对第一决策树进行验证,验证输出准确率满足预设准确率时,生成第一决策树。对第M训练数据集和第M验证数据进行相同处理,生成第一决策树直到第M决策树。进一步的,将第一决策树直到第M决策树的输出全连接,优选的取输出均值作为错误率的预测结果。由于在已经确定了隐性特征信息、显性要素对错误率的影响度的前提下,不同的隐性特征信息对应于不同的错误率区间,则拟合多个隐性特征信息的过程为将多个隐性特征信息置入不同的错误率区间的过程,即为分类过程,随机森林对于分类问题具有较快收敛速度和较准确的输出结果,因此选择决策树模型进行处理,可保证输出结果的准确性。
综上所述,本申请实施例所提供的一种提高闪存中块类型判断准确率的方法及系统具有如下技术效果:
1.由于采用了通过提取历史块类型的判断结果数据,得到不同块类型的判断错误率;提取错误率不满足预设错误率的块类型的数据特征和块特征;根据块类型的识别对第一数据特征和第一块特征进行关联度分析;依据关联度分析结果对当前的将要存储数据的闪存块进行错误率预测;当预测的错误率不满足预设错误率时,对将要存储数据的闪存块进行多维度的类型标识增强的技术方案,通过对块的识别错误率进行预测,当较大时进行类型标识增强工作,进而达到了提高闪存块类型识别准确性的技术效果。
实施例二
基于与前述实施例中一种提高闪存中块类型判断准确率的方法相同的发明构思,如图3所示,本申请实施例提供了一种提高闪存中块类型判断准确率的系统,其中,所述系统包括:
第一获得单元11,用于根据块类型判断历史数据,获得第一类型判断结果,其中,所述第一类型判断结果包括第一判断错误率;
第一判断单元12,用于判断所述第一判断错误率是否满足第一预设错误率;
第一提取单元13,用于提取第一块类型,其中,所述第一块类型为所述第一判断错误率不满足所述第一预设错误率的闪存块类型;
第一生成单元14,用于根据所述第一块类型,对所述块类型判断历史数据进行特征提取,生成第一数据特征和第一块特征;
第二获得单元15,用于对所述第一块类型和所述第一数据特征、第一块特征进行关联度分析,获得第一关联度分析结果;
第三获得单元16,用于在存储数据前,根据所述第一关联度分析结果对第一闪存块进行错误率预测,获得第一预测错误率;
第一标识单元17,用于当所述第一预测错误率不满足所述第一预设错误率,则生成多维度类型标识指令对所述第一闪存块进行标识。
进一步的,所述系统还包括:
第四获得单元,用于遍历所述第一块类型,对所述块类型判断历史数据进行数据特征提取,获得第一内容特征、第一数量特征;
第五获得单元,用于遍历所述第一块类型,对所述块类型判断历史数据进行块特征提取,获得第一页数特征、第一类型标识特征和第一存储比例特征;
第一添加单元,用于将所述第一内容特征和所述第一数量特征,添加进所述第一数据特征;
第二添加单元,用于将所述第一页数特征、所述第一类型标识特征和所述第一存储比例特征,添加进所述第一块特征。
进一步的,所述系统还包括:
第二生成单元,用于根据所述第一块类型,生成第一参考数列;
第三生成单元,用于根据所述第一数据特征、所述第一块特征,生成第一对比数列;
第四生成单元,用于对所述第一参考数列和所述第一对比数列进行量纲计算,生成第二参考数列和第二对比数列;
第五生成单元,用于基于所述第二参考数列遍历所述第二对比数列,生成第一关联系数集合;
第六生成单元,用于根据所述第一关联系数集合,生成所述第一关联度分析结果。
进一步的,所述系统还包括:
第七生成单元,用于将所述第一关联度分析结果输入第一权重分配公式对所述第一数据特征和所述第一块特征进行权重分配,生成第一权重分配结果;
其中,所述第一权重分配公式为:
 QUOTE 为第j个特征信息的关联度, QUOTE 为第n个特征信息的权重,N为特征信息的数量;
第六获得单元,用于根据所述第一权重分配结果对所述第一闪存块进行错误率预测,获得所述第一预测错误率。
进一步的,所述系统还包括:
第七获得单元,用于获得第一待存储数据进行数据特征提取,生成第二数据特征;
第八生成单元,用于对所述第一闪存块进行块特征提取,生成第二块特征;
第一构建单元,用于基于所述第一权重分配结果和所述块类型判断历史数据,构建第一错误率预测模型;
第九生成单元,用于将所述第二数据特征和所述第二块特征,输入所述第一错误率预测模型,生成所述第一预测错误率。
进一步的,所述系统还包括:
第二构建单元,用于根据所述第一权重分配结果,构建第一线性层,其中,所述第一线性层用来进行权重分配;
第一处理单元,用于将所述块类型判断历史数据划分为K等份,有放回的随机抽取K次,将抽取的设为第一训练数据集,将未抽取的设为第一验证数据集;
第十生成单元,用于重复M次,生成所述第一训练数据集、第二训练数据集直到第M训练数据集,所述第一验证数据集、第二验证数据集直到第M验证数据集;
第三构建单元,用于使用所述第一训练数据集和所述第一验证数据集输入所述第一线性层进行处理后的数据,构建第一决策树;
第四构建单元,用于使用所述第M训练数据集和所述第M验证数据集输入所述第一线性层进行处理后的数据,构建第M决策树;
第十一生成单元,用于将所述第一决策树直到所述第M决策树的输出进行拟合,生成所述第一错误率预测模型。
进一步的,所述系统还包括:
第十二生成单元,用于根据所述多维度类型标识指令,生成第一标识位置集和第一标识规则集,其中,所述第一标识位置和所述第一标识规则一一对应;
第八获得单元,用于在所述第一闪存块中遍历所述第一标识规则集,对所述第一标识位置集进行类型标识,获得第一类型标识结果;
第一识别单元,用于存储完成后,基于所述第一类型标识结果对所述第一闪存块进行类型识别。
实施例三
基于与前述实施例中一种提高闪存中块类型判断准确率的方法相同的发明构思,本申请实施例提供了一种计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现实施例一任一项所述的方法。
示例性电子设备
下面参考图4来描述本申请实施例的电子设备。
基于与前述实施例中一种提高闪存中块类型判断准确率的方法相同的发明构思,本申请实施例还提供了一种电子设备,包括:处理器,所述处理器与存储器耦合,所述存储器用于存储程序,当所述程序被所述处理器执行时,使得系统以执行实施例一任一项所述的方法。
该电子设备300包括:处理器302、通信接口303、存储器301。可选的,电子设备300还可以包括总线架构304。其中,通信接口303、处理器302以及存储器301可以通过总线架构304相互连接;总线架构304可以是外设部件互连标(peripheral componentinterconnect,简称PCI)总线或扩展工业标准结构(extended industry Standardarchitecture,简称EISA)总线等。所述总线架构304可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
处理器302可以是一个CPU,微处理器,ASIC,或一个或多个用于控制本申请方案程序执行的集成电路。
通信接口303,使用任何收发器一类的系统,用于与其他设备或通信网络通信,如以太网,无线接入网(radio access network,RAN),无线局域网(wireless local areanetworks,WLAN),有线接入网等。
存储器301可以是ROM或可存储静态信息和指令的其他类型的静态存储设备,RAM或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable Programmable read-only memory,EEPROM)、只读光盘(compactdisc
read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线架构304与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器301用于存储执行本申请方案的计算机执行指令,并由处理器302来控制执行。处理器302用于执行存储器301中存储的计算机执行指令,从而实现本申请上述实施例提供的一种提高闪存中块类型判断准确率的方法。
可选的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
本申请实施例提供了一种提高闪存中块类型判断准确率的方法及系统,由于采用了通过提取历史块类型的判断结果数据,得到不同块类型的判断错误率;提取错误率不满足预设错误率的块类型的数据特征和块特征;根据块类型的识别对第一数据特征和第一块特征进行关联度分析;依据关联度分析结果对当前的将要存储数据的闪存块进行错误率预测;当预测的错误率不满足预设错误率时,对将要存储数据的闪存块进行多维度的类型标识增强的技术方案,通过对块的识别错误率进行预测,当较大时进行类型标识增强工作,进而达到了提高闪存块类型识别准确性的技术效果。
本领域普通技术人员可以理解:本申请中涉及的第一、第二等各种数字编号仅为描述方便进行的区分,并不用来限制本申请实施例的范围,也不表示先后顺序。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“至少一个”是指一个或者多个。至少两个是指两个或者多个。“至少一个”、“任意一个”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a ,b,或c中的至少一项(个、种),可以表示:a ,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程系统。所述计算机指
令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
本申请实施例中所描述的各种说明性的逻辑单元和电路可以通过通用处理器,数字信号处理器,专用集成电路(ASIC),现场可编程门阵列(FPGA)或其它可编程逻辑系统,离散门或晶体管逻辑,离散硬件部件,或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算系统的组合来实现,例如数字信号处理器和微处理器,多个微处理器,一个或多个微处理器联合一个数字信号处理器核,或任何其它类似的配置来实现。
本申请实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中,ASIC可以设置于终端中。可选地,处理器和存储媒介也可以设置于终端中的不同的部件中。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内,则本申请意图包括这些改动和变型在内。

Claims (8)

1.一种提高闪存中块类型判断准确率的方法,其特征在于,所述方法包括:
根据块类型判断历史数据,获得第一类型判断结果,其中,所述第一类型判断结果包括第一判断错误率;
判断所述第一判断错误率是否满足第一预设错误率;
提取第一块类型,其中,所述第一块类型为所述第一判断错误率不满足所述第一预设错误率的闪存块类型;
根据所述第一块类型,对所述块类型判断历史数据进行特征提取,生成第一数据特征和第一块特征;
对所述第一块类型和所述第一数据特征、所述第一块特征进行关联度分析,获得第一关联度分析结果;
在存储数据前,根据所述第一关联度分析结果对第一闪存块进行错误率预测,获得第一预测错误率,包括:
将所述第一关联度分析结果输入第一权重分配公式对所述第一数据特征和所述第一块特征进行权重分配,生成第一权重分配结果;
其中,所述第一权重分配公式为:
Figure FDA0004079988790000011
δj为第j个特征信息的关联度,Wj为第n个特征信息的权重,N为特征信息的数量;
根据所述第一权重分配结果对所述第一闪存块进行错误率预测,获得所述第一预测错误率,包括:
获得第一待存储数据进行数据特征提取,生成第二数据特征;
对所述第一闪存块进行块特征提取,生成第二块特征;
基于所述第一权重分配结果和所述块类型判断历史数据,构建第一错误率预测模型;
将所述第二数据特征和所述第二块特征,输入所述第一错误率预测模型,生成所述第一预测错误率;
当所述第一预测错误率不满足所述第一预设错误率,则生成多维度类型标识指令对所述第一闪存块进行标识。
2.如权利要求1所述的方法,其特征在于,所述根据所述第一块类型,对所述块类型判断历史数据进行特征提取,生成第一数据特征和第一块特征,包括:
遍历所述第一块类型,对所述块类型判断历史数据进行数据特征提取,获得第一内容特征、第一数量特征;
遍历所述第一块类型,对所述块类型判断历史数据进行块特征提取,获得第一页数特征、第一类型标识特征和第一存储比例特征;
将所述第一内容特征和所述第一数量特征,添加进所述第一数据特征;
将所述第一页数特征、所述第一类型标识特征和所述第一存储比例特征,添加进所述第一块特征。
3.如权利要求2所述的方法,其特征在于,所述对所述第一块类型和所述第一数据特征、所述第一块特征进行关联度分析,获得第一关联度分析结果,包括:
根据所述第一块类型,生成第一参考数列;
根据所述第一数据特征、所述第一块特征,生成第一对比数列;
对所述第一参考数列和所述第一对比数列进行量纲计算,生成第二参考数列和第二对比数列;
基于所述第二参考数列遍历所述第二对比数列,生成第一关联系数集合;
根据所述第一关联系数集合,生成所述第一关联度分析结果。
4.如权利要求1所述的方法,其特征在于,所述基于所述第一权重分配结果和所述块类型判断历史数据,构建第一错误率预测模型,包括:
根据所述第一权重分配结果,构建第一线性层,其中,所述第一线性层用来进行权重分配;
将所述块类型判断历史数据划分为K等份,有放回的随机抽取K次,将抽取的设为第一训练数据集,将未抽取的设为第一验证数据集;
重复M次,生成所述第一训练数据集、第二训练数据集直到第M训练数据集,所述第一验证数据集、第二验证数据集直到第M验证数据集;
使用所述第一训练数据集和所述第一验证数据集输入所述第一线性层进行处理后的数据,构建第一决策树;
使用所述第M训练数据集和所述第M验证数据集输入所述第一线性层进行处理后的数据,构建第M决策树;
将所述第一决策树直到所述第M决策树的输出进行拟合,生成所述第一错误率预测模型。
5.如权利要求1所述的方法,其特征在于,所述当所述第一预测错误率不满足所述第一预设错误率,则生成多维度类型标识指令对所述第一闪存块进行标识,包括:
根据所述多维度类型标识指令,生成第一标识位置集和第一标识规则集,其中,所述第一标识位置和所述第一标识规则一一对应;
在所述第一闪存块中遍历所述第一标识规则集,对所述第一标识位置集进行类型标识,获得第一类型标识结果;
存储完成后,基于所述第一类型标识结果对所述第一闪存块进行类型识别。
6.一种提高闪存中块类型判断准确率的系统,其特征在于,所述系统包括:
第一获得单元,用于根据块类型判断历史数据,获得第一类型判断结果,其中,所述第一类型判断结果包括第一判断错误率;
第一判断单元,用于判断所述第一判断错误率是否满足第一预设错误率;
第一提取单元,用于提取第一块类型,其中,所述第一块类型为所述第一判断错误率不满足所述第一预设错误率的闪存块类型;
第一生成单元,用于根据所述第一块类型,对所述块类型判断历史数据进行特征提取,生成第一数据特征和第一块特征;
第二获得单元,用于对所述第一块类型和所述第一数据特征、第一块特征进行关联度分析,获得第一关联度分析结果;
第三获得单元,用于在存储数据前,根据所述第一关联度分析结果对第一闪存块进行错误率预测,获得第一预测错误率;
第一标识单元,用于当所述第一预测错误率不满足所述第一预设错误率,则生成多维度类型标识指令对所述第一闪存块进行标识;
第七生成单元,用于将所述第一关联度分析结果输入第一权重分配公式对所述第一数据特征和所述第一块特征进行权重分配,生成第一权重分配结果;
其中,所述第一权重分配公式为:
Figure FDA0004079988790000051
δj为第j个特征信息的关联度,Wj为第n个特征信息的权重,N为特征信息的数量;
第六获得单元,用于根据所述第一权重分配结果对所述第一闪存块进行错误率预测,获得所述第一预测错误率;
第七获得单元,用于获得第一待存储数据进行数据特征提取,生成第二数据特征;
第八生成单元,用于对所述第一闪存块进行块特征提取,生成第二块特征;
第一构建单元,用于基于所述第一权重分配结果和所述块类型判断历史数据,构建第一错误率预测模型;
第九生成单元,用于将所述第二数据特征和所述第二块特征,输入所述第一错误率预测模型,生成所述第一预测错误率。
7.一种电子设备,其特征在于,包括:处理器,所述处理器与存储器耦合,所述存储器用于存储程序,当所述程序被所述处理器执行时,使系统以执行如权利要求1~5任一项所述的方法。
8.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1~5中任一项所述的方法。
CN202211556513.1A 2022-12-06 2022-12-06 一种提高闪存中块类型判断准确率的方法及系统 Active CN115629715B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211556513.1A CN115629715B (zh) 2022-12-06 2022-12-06 一种提高闪存中块类型判断准确率的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211556513.1A CN115629715B (zh) 2022-12-06 2022-12-06 一种提高闪存中块类型判断准确率的方法及系统

Publications (2)

Publication Number Publication Date
CN115629715A CN115629715A (zh) 2023-01-20
CN115629715B true CN115629715B (zh) 2023-05-05

Family

ID=84909724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211556513.1A Active CN115629715B (zh) 2022-12-06 2022-12-06 一种提高闪存中块类型判断准确率的方法及系统

Country Status (1)

Country Link
CN (1) CN115629715B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330459A (zh) * 2017-06-28 2017-11-07 联想(北京)有限公司 一种数据处理方法、装置和电子设备
CN107491272A (zh) * 2017-09-29 2017-12-19 郑州云海信息技术有限公司 一种数据迁移的方法、装置、设备及存储介质
CN112506433A (zh) * 2020-12-08 2021-03-16 大连金华录数码科技有限公司 一种数据分类存储方法、装置及系统
CN112783423A (zh) * 2019-11-08 2021-05-11 阿里巴巴集团控股有限公司 数据对象的存放方法、装置、电子设备及计算机可读介质
CN112817525A (zh) * 2021-01-19 2021-05-18 置富科技(深圳)股份有限公司 闪存芯片可靠性等级预测方法、装置及存储介质
CN112908399A (zh) * 2021-02-05 2021-06-04 置富科技(深圳)股份有限公司 闪存的异常检测方法、装置、计算机设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9684463B1 (en) * 2016-01-14 2017-06-20 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Predictive block allocation in a flash device
US10297333B2 (en) * 2016-04-08 2019-05-21 Steven McConnell Drying system and method
CN109542349A (zh) * 2018-11-20 2019-03-29 郑州云海信息技术有限公司 一种数据块处理方法、装置和计算机可读存储介质
CN115269247A (zh) * 2022-07-28 2022-11-01 山东云海国创云计算装备产业创新中心有限公司 基于深度森林的闪存坏块预测方法、系统、介质及设备
CN115237355B (zh) * 2022-09-21 2022-12-09 南通逸飞智能科技有限公司 一种基于闪存数据类识别的定向交换方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330459A (zh) * 2017-06-28 2017-11-07 联想(北京)有限公司 一种数据处理方法、装置和电子设备
CN107491272A (zh) * 2017-09-29 2017-12-19 郑州云海信息技术有限公司 一种数据迁移的方法、装置、设备及存储介质
CN112783423A (zh) * 2019-11-08 2021-05-11 阿里巴巴集团控股有限公司 数据对象的存放方法、装置、电子设备及计算机可读介质
CN112506433A (zh) * 2020-12-08 2021-03-16 大连金华录数码科技有限公司 一种数据分类存储方法、装置及系统
CN112817525A (zh) * 2021-01-19 2021-05-18 置富科技(深圳)股份有限公司 闪存芯片可靠性等级预测方法、装置及存储介质
CN112908399A (zh) * 2021-02-05 2021-06-04 置富科技(深圳)股份有限公司 闪存的异常检测方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN115629715A (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
CN111639497B (zh) 一种基于大数据机器学习的异常行为发现方法
CN108763420B (zh) 数据对象的分类方法、装置、终端和计算机可读存储介质
US20220179884A1 (en) Label Determining Method, Apparatus, and System
CN108681751B (zh) 确定事件影响因素的方法及终端设备
CN107135230B (zh) 一种基于infigarch模型的网络流量异常检测方法及设备
CN109685255A (zh) 一种预测用户流失的方法和装置
CN114116828A (zh) 多维网络指标的关联规则分析方法、设备和存储介质
CN114428748B (zh) 一种用于真实业务场景的模拟测试方法及系统
WO2018036402A1 (zh) 模型中关键变量的探测方法及装置
CN110968564A (zh) 一种数据处理方法及数据状态预测模型的训练方法
CN110348540B (zh) 基于聚类的电力系统暂态功角稳定故障筛选方法及装置
CN114564814A (zh) 一种针对稀疏数据的动态阈值高斯核密度估计系统和方法
CN115629715B (zh) 一种提高闪存中块类型判断准确率的方法及系统
CN111311025B (zh) 一种基于气象相似日的负荷预测方法
CN116365519B (zh) 一种电力负荷预测方法、系统、存储介质及设备
CN115049446A (zh) 商户识别方法、装置、电子设备及计算机可读介质
CN115237355B (zh) 一种基于闪存数据类识别的定向交换方法及系统
CN111783883A (zh) 一种异常数据的检测方法及装置
CN111353860A (zh) 产品信息推送方法及系统
CN116070958A (zh) 归因分析方法、装置、电子设备和存储介质
CN113919449B (zh) 基于精准模糊聚类算法的居民电力数据聚类方法及装置
CN114339477A (zh) 一种基于多表合一的数据采集管理方法及系统
CN113449382B (zh) 一种整车排放结果的仿真方法及系统
CN112925793A (zh) 一种多种结构数据分布式混合存储方法和系统
CN114486658B (zh) 一种提高颗粒物监测数据精度的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant