CN111177022A - 一种特征提取方法、装置、设备及存储介质 - Google Patents
一种特征提取方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111177022A CN111177022A CN201911367709.4A CN201911367709A CN111177022A CN 111177022 A CN111177022 A CN 111177022A CN 201911367709 A CN201911367709 A CN 201911367709A CN 111177022 A CN111177022 A CN 111177022A
- Authority
- CN
- China
- Prior art keywords
- access frequency
- address
- frequency corresponding
- range
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 abstract description 11
- 230000006399 behavior Effects 0.000 description 11
- 239000007787 solid Substances 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
- G06F12/023—Free address space management
- G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
- G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种特征提取方法、装置、设备及存储介质，该方法包括：接收用户发出的读写指令，提取其中包含的LBA地址为目的地址；确定所述目的地址所属的地址范围为目的范围；其中，所述地址范围为预先对存储设备中包含的全部LBA地址进行划分后得到的；判断自上次更新所述目的范围对应的访问频次至当前时刻，由接收到的读写指令中提取到属于所述目的范围的LBA地址的次数是否达到次数阈值，如果是，则更新所述目的范围对应的访问频次为当前值加上预设值的值，如果否，则确定无需更新所述目的范围对应的访问频次。本申请能够大大减少特征对应数据量，进而减少相应存储空间的同时，还能够减小计算量。
Description
技术领域
本发明涉及固态硬盘技术领域，更具体地说，涉及一种特征提取方法、装置、设备及存储介质。
背景技术
固态硬盘SSD具有高性能、低功耗的优势，是一种用来存储用户数据的设备。固态硬盘由控制器、存储介质NAND等模块组成，控制器中运行相关软件以进行存储介质中资源的控制、对用户数据的存储调度以及对存储介质的维护等操作。
不同用户的读取写入行为不同，同一用户运行不同应用软件的读写行为不同，不同时间运行同一应用软件带来的读写行为也不同。固态硬盘一般没有办法对不同的读写行为进行特殊的优化，而是采用一个统一的的读写带宽，响应速度等指标进行服务。而人工智能的引入，有机会对不同的读写行为进行自动，专门的优化，从而改善或者提高性能。人工智能通过对用户的读/写/维护等行为进行辨识，分类或者预测用户的行为，对用户的读取或者写入进行定制，例如，预测热点数据，分配更多的资源进行服务，对于冷数据，分配更可靠的NAND block进行存储等。
人工智能一般分为特征提取、分类器建模、训练、决策等过程，特征数据是这个过程中的重要信息，但是由于数据量大、消耗计算力等问题，对应用人工智能算法造成不良的影响。
发明内容
本发明的目的是提供一种特征提取方法、装置、设备及存储介质，能够大大减少特征对应数据量，以减少相应存储空间的同时，还能够减小计算量。
为了实现上述目的，本发明提供如下技术方案：
一种特征提取方法，包括：
接收用户发出的读写指令，提取其中包含的LBA地址为目的地址；
确定所述目的地址所属的地址范围为目的范围；其中，所述地址范围为预先对存储设备中包含的全部LBA地址进行划分后得到的；
判断自上次更新所述目的范围对应的访问频次至当前时刻，由接收到的读写指令中提取到属于所述目的范围的LBA地址的次数是否达到次数阈值，如果是，则更新所述目的范围对应的访问频次为当前值加上预设值的值，如果否，则确定无需更新所述目的范围对应的访问频次。
优选的，还包括：
监控各个所述地址范围对应的访问频次，如果监控到任一所述地址范围对应的访问频次达到访问频次阈值，则利用预先设定的映射函数缩小各个所述地址范围对应的访问频次。
优选的，利用预先设定的映射函数缩小各个所述地址范围对应的访问频次，包括：
将各个所述地址范围对应的访问频次均除以预先设定的第一常数值，或者将各个所述地址范围对应的访问频次均减去预先设定的第二常数值。
优选的，还包括：
每经过预设时间段后，则利用距离当前时刻最近的所述预设时间段内各个所述地址范围对应的访问频次训练分类器，以供实现下一所述预设时间段内需要写入到所述存储设备中的数据的分类。
优选的，还包括：
每向所述存储设备写入预设量的数据后，则利用距离当前时刻最近向所述存储设备写入所述预设量的数据的过程中，各个所述地址范围对应的访问频次训练分类器，以供实现下一预设量的数据写入到所述存储设备时的分类。
优选的，还包括：
接收外界输入的设置指令，并更新对应设定值为所述设置指令中携带的值；其中，所述设定值包括所述次数阈值、所述访问频次阈值、所述第一常数值、所述第二常数值、所述预设时间段及所述预设量。
一种特征提取装置，包括：
提取模块，用于：接收用户发出的读写指令，提取其中包含的LBA地址为目的地址；
确定模块，用于：确定所述目的地址所属的地址范围为目的范围；其中，所述地址范围为预先对存储设备中包含的全部LBA地址进行划分后得到的；
判断模块，用于：判断自上次更新所述目的范围对应的访问频次至当前时刻，由接收到的读写指令中提取到属于所述目的范围的LBA地址的次数是否达到次数阈值，如果是，则更新所述目的范围对应的访问频次为当前值加上预设值的值，如果否，则确定无需更新所述目的范围对应的访问频次。
优选的，还包括：
监控模块，用于：监控各个所述地址范围对应的访问频次，如果监控到任一所述地址范围对应的访问频次达到访问频次阈值，则利用预先设定的映射函数缩小各个所述地址范围对应的访问频次。
一种特征提取设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一项所述特征提取方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述特征提取方法的步骤。
本发明提供了一种特征提取方法、装置、设备及存储介质，该方法包括：接收用户发出的读写指令，提取其中包含的LBA地址为目的地址；确定所述目的地址所属的地址范围为目的范围；其中，所述地址范围为预先对存储设备中包含的全部LBA地址进行划分后得到的；判断自上次更新所述目的范围对应的访问频次至当前时刻，由接收到的读写指令中提取到属于所述目的范围的LBA地址的次数是否达到次数阈值，如果是，则更新所述目的范围对应的访问频次为当前值加上预设值的值，如果否，则确定无需更新所述目的范围对应的访问频次。本申请公开的技术方案中，每次接收到用户发出的读写指令后，则提取读写指令中包含的LBA地址，确定出预先对全部LBA地址进行划分后得到的多个地址范围中，包含提取的LBA地址的地址范围，并且在属于该地址范围内的未基于其对该地址范围的访问频次进行更新的LBA地址出现次数达到一定值时，则更新该地址范围的访问频次为当前值加上递增值的值，否则，则不对该地址范围的访问频次进行更新；可见，本申请中仅需记录每个包含有多个LBA地址的地址范围对应的特征，不同于记录每个LBA地址对应的特征，大大减少了需要实现特征统计的样本点的个数，进而大大减少了实现样本点存储所需的存储空间及实现样本点特征统计所需的计算力；进一步的，仅需在提取到属于某地址范围内的LBA地址达到一定数量时才对相应地址范围的访问频次进行更新，不同于每次提取到属于该地址范围内的LBA地址均进行相应更新，大大减少了需要实现特征更新的次数的同时，也大大减少了访问频次的值所需占用的空间；因此，本申请能够大大减少特征对应数据量，进而减少相应存储空间的同时，还能够减小计算量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种特征提取方法的流程图；
图2为本发明实施例提供的一种特征提取装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其示出了本发明实施例提供的一种特征提取方法的流程图，可以包括：
S11：接收用户发出的读写指令，提取其中包含的LBA地址为目的地址。
本发明实施例提供的一种特征提取方法的执行主体可以为对应的特征提取装置，而该特征提取装置可以设置于存储设备(本实施例中的存储设备均可以指固态硬盘，当然也可以根据实际需要选取其他存储设备，均在本发明的保护范围之内)内，因此本发明实施例提供的一种特征提取方法的执行主体可以为对应的存储设备，以下以该特征提取方法的执行主体为存储设备进行具体说明。
存储设备在接收到用户发出的读写指令后，可以对读写指令进行特征提取，这些特征可以包括LBA地址(逻辑区块地址)、LBA地址的访问频度、用户指定的Stream ID、用户指定的Name Space等，这些数据本身或者这些数据的某种映射就是特征，本申请主要针对LBA地址相关特征提出优化策略。
S12：确定目的地址所属的地址范围为目的范围；其中，地址范围为预先对存储设备中包含的全部LBA地址进行划分后得到的。
由于存储设备中包含的LBA地址的范围非常大，如果对于每个LBA地址都统计特征，则需要记录每个LBA地址及每个LBA地址对应的特征，这无疑将引入巨大的计算量和存储压力。因此，本实施例中按照尺度用缩略图的方法进行特征缩减，对于所按照的尺度可以是相应软件(如Firmware)通过预先设定的算法自动决定，也可以通过与用户通信的方式获取。其中，进行特征缩减时所按照的尺度即为实现地址划分时所按照的尺度，具体来说，在确定出该尺度后，将全部LBA地址划分成多个地址范围，每个地址范围内均包含该尺度表示的数量的连续的LBA地址，进而以地址范围为单位进行相应的特征统计。因此，在获取到用户发出的读写指令中包含的LBA地址后，可以确定出该LBA地址属于哪个地址范围，而该LBA地址属于的地址范围则可以称之为目的范围，进而对该目的范围实现特征统计。
S13：判断自上次更新目的范围对应的访问频次至当前时刻，由接收到的读写指令中提取到属于目的范围的LBA地址的次数是否达到次数阈值，如果是，则更新目的范围对应的访问频次为当前值加上预设值的值，如果否，则确定无需更新目的范围对应的访问频次。
按照上述方式实现对LBA地址的划分后，需要存储的样本点降低了，但是每个样本点上的数据范围会增加，如记录访问频次的数据时，每个LBA地址可能被访问1万次，如果按照1000个地址作为缩小尺度，那么一个地址范围的样本上的访问频次将有可能达到1000万，相应的用于存储该访问频次的空间较大；因此，本实施例中用概率的方法降低特征的精度，以达到缩小存储空间、减小计算量的目的。具体来说，可以设定次数阈值，从而记录某一地址范围的访问频次时，自上次更新该地址范围的访问频次至当前时刻的时间段中，接收到的全部的读写指令中包含属于该地址范围的LBA地址的出现次数达到次数阈值，才会对该地址范围的访问频次进行更新，从而进一步减少访问频次需占用空间。也可以是设定概率P，当属于某一地址范围的LBA地址出现时，只有概率为P的可能性基于此实现对该地址范围的访问频次的更新，例如如果需要使得平均每10万次属于某一地址范围内的LBA地址出现的时候，才会更新一次该地址范围的访问频次，则可以将P设为一个相应的极小的值(根据随机函数的概率分布，这个数值P应当是一个接近于10万分之1的数值)。另外，次数阈值及预设值可以根据实际需要进行设定，如次数阈值可以为10万次，预设值即为递增值，可以为1。
本申请公开的技术方案中，每次接收到用户发出的读写指令后，则提取读写指令中包含的LBA地址，确定出预先对全部LBA地址进行划分后得到的多个地址范围中，包含提取的LBA地址的地址范围，并且在属于该地址范围内的未基于其对该地址范围的访问频次进行更新的LBA地址出现次数达到一定值时，则更新该地址范围的访问频次为当前值加上递增值的值，否则，则不对该地址范围的访问频次进行更新；可见，本申请中仅需记录每个包含有多个LBA地址的地址范围对应的特征，不同于记录每个LBA地址对应的特征，大大减少了需要实现特征统计的样本点的个数，进而大大减少了实现样本点存储所需的存储空间及实现样本点特征统计所需的计算力；进一步的，仅需在提取到属于某地址范围内的LBA地址达到一定数量时才对相应地址范围的访问频次进行更新，不同于每次提取到属于该地址范围内的LBA地址均进行相应更新，大大减少了需要实现特征更新的次数的同时，也大大减少了访问频次的值所需占用的空间；因此，本申请能够大大减少特征对应数据量，进而减少相应存储空间的同时，还能够减小计算量。
本发明实施例提供的一种特征提取方法，还可以包括：
监控各个地址范围对应的访问频次，如果监控到任一地址范围对应的访问频次达到访问频次阈值，则利用预先设定的映射函数缩小各个地址范围对应的访问频次。
即使从样本点及特征更新次数上降低了特征统计的概率，但是由于存储空间仍然是有限的，可能由于某个地址范围的访问频次的值过大导致溢出，因此本实施例中可以采用缩放的方式避免溢出的可能性。具体来说，可以实时监控每个地址范围对应的访问频次，并且实时记录其中包含的最大的访问频次的值，如果其中最大的值达到访问频率阈值，则需要对所有地址范围的访问频次的值进行处理，也即利用预先设定的映射函数缩小各个地址范围对应的访问频次，从而进一步保证存储空间的正常使用。
具体来说，利用预先设定的映射函数缩小各个地址范围对应的访问频次，可以包括：
将各个地址范围对应的访问频次均除以预先设定的第一常数值，或者将各个地址范围对应的访问频次均减去预先设定的第二常数值。
其中，第一常数值及第二常数值均可以根据实际需要进行设定，如第一常数值可以为2、3等，第二常数值可以为10万、100万等；由于在实现特征的使用时主要利用的为不同地址范围之间具有的访问频次的比对，因此虽然对访问频次进行了缩小，但是由于是同时对所有地址范围对应的访问频次进行相同方式的缩小的，因此仍可以基于其实现特征使用，本实施例中通过将所有地址范围对应访问频次的值除以相应的设定值或者将各个地址范围对应访问频次的值减去相应的设定值的方式，能够以最简单的方式实现特征缩小，达到减少空间占用的目的。
本发明实施例提供的一种特征提取方法，还可以包括：
每经过预设时间段后，则利用距离当前时刻最近的预设时间段内各个地址范围对应的访问频次训练分类器，以供实现下一预设时间段内需要写入到存储设备中的数据的分类。
由于用户的行为可能随时变化，特征的统计分布会随时间改变，因此需要定期更新特征的统计值，也即本实施例中访问频次的值；本实施例中可以按照根据实际需要设定的时间段(预设时间段)来实现特征提取，即每经过预设时间段则进行一次特征提取，而实现分类器训练时则可以基于距离当前时刻最近的一个预设时间段内的特征实现分类器训练，从而在下一个预设时间段内的用户数据需要分类时基于该分类器实现，从而使得提取得到的特征、利用提取得到的特征训练的分类器，均能够满足变化的用户行为，保证了其准确性。
在另一种应用场景中，还可以包括：
每向存储设备写入预设量的数据后，则利用距离当前时刻最近向存储设备写入预设量的数据的过程中，各个地址范围对应的访问频次训练分类器，以供实现下一预设量的数据写入到存储设备时的分类。
由于用户的行为可能随时变化，特征的统计分布会随时间改变，因此需要定期更新特征的统计值，也即本实施例中访问频次的值；本实施例中可以按照根据实际需要设定的数量(预设量)来实现特征提取，即每写入到固态硬盘中的数据达到预设量后则进行一次特征提取，而实现分类器训练时则可以基于距离当前时刻最近的写入到固态硬盘的预设量的数据的过程中提取的特征分类器训练，从而在下一个预设量的用户数据需要写入到固态硬盘、需要分类时基于该分类器实现，从而使得提取得到的特征、利用提取得到的特征训练的分类器，均能够满足变化的用户行为，保证了其准确性。
另外，在本实施例中由于降低了计算复杂度，因此可以分配两组用于实现特征提取的单元以乒乓的方式实现特征提取；比如，第一组单元开始实现特征提取，经过一定时间或者写入固态硬盘中一定量的数据后，第一组单元提取的特征开始实现相应的分类器训练，而第二组单元开始实现特征提取，再经过一定时间或者写入固态硬盘中一定量的数据后，第二组单元提取的特征开始实现相应的分类器训练，而第一组单元开始实现特征提取，以此类推；从而通过这种方式以较快的速度实现特征提取。并且，在训练完成一次分类器后，用于训练该分类器的特征则已经失去使用价值，因此可以直接丢弃，避免对存储空间的浪费等。
本发明实施例提供的一种特征提取方法，还可以包括：
接收外界输入的设置指令，并更新对应设定值为设置指令中携带的值；其中，设定值包括次数阈值、访问频次阈值、第一常数值、第二常数值、预设时间段及预设量。
需要说明的是，本发明实施例中涉及的可以根据实际需要设定的值(包括尺度、次数阈值、访问频次阈值、第一常数值、第二常数值、预设时间段及预设量)，均可以由存储设备中相应软件(如Firmware)自主决定，也可以是用户通过特殊指令通信的方式确定，具体可以是接收外界输入的设置指令，响应该设置指令，将对应的设定值设置为设置指令中包含的值，从而使得特征提取满足用户需求。
本申请设计了一种算法结构，包括用缩略图缩减某一类特征的尺度，用概率的方法降低特征的存储占用量，用定期缩减的方法降低存储空间需求；也即对于一类特征的提取和存储过程进行优化，使用缩略图、按概率修改、定期缩放的方法，从而能够降低计算复杂度，降低计算量，降低存储空间，降低应用人工智能的难度，可以引入更复杂的算法，使之更适合用户的使用习惯，提高存储设备的性能。
本发明实施例还提供了一种特征提取装置，如图2所示，可以包括：
提取模块11，用于：接收用户发出的读写指令，提取其中包含的LBA地址为目的地址；
确定模块12，用于：确定目的地址所属的地址范围为目的范围；其中，地址范围为预先对存储设备中包含的全部LBA地址进行划分后得到的；
判断模块13，用于：判断自上次更新目的范围对应的访问频次至当前时刻，由接收到的读写指令中提取到属于目的范围的LBA地址的次数是否达到次数阈值，如果是，则更新目的范围对应的访问频次为当前值加上预设值的值，如果否，则确定无需更新目的范围对应的访问频次。
本发明实施例提供的一种特征提取装置，还可以包括：
监控模块，用于：监控各个地址范围对应的访问频次，如果监控到任一地址范围对应的访问频次达到访问频次阈值，则利用预先设定的映射函数缩小各个地址范围对应的访问频次。
本发明实施例提供的一种特征提取装置，监控模块可以包括：
缩小单元，用于：将各个地址范围对应的访问频次均除以预先设定的第一常数值，或者将各个地址范围对应的访问频次均减去预先设定的第二常数值。
本发明实施例提供的一种特征提取装置，还可以包括：
第一训练模块，用于：每经过预设时间段后，则利用距离当前时刻最近的预设时间段内各个地址范围对应的访问频次训练分类器，以供实现下一预设时间段内需要写入到存储设备中的数据的分类。
本发明实施例提供的一种特征提取装置，还可以包括：
第二训练模块，用于：每向存储设备写入预设量的数据后，则利用距离当前时刻最近向存储设备写入预设量的数据的过程中，各个地址范围对应的访问频次训练分类器，以供实现下一预设量的数据写入到存储设备时的分类。
本发明实施例提供的一种特征提取装置，还可以包括：
设置模块，用于：接收外界输入的设置指令，并更新对应设定值为设置指令中携带的值；其中，设定值包括次数阈值、访问频次阈值、第一常数值、第二常数值、预设时间段及预设量。
本发明实施例还提供了一种特征提取设备，可以包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上任意方法实施例所述的特征提取方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上任意方法实施例所述的特征提取方法的步骤。
需要说明的是，本发明实施例提供的一种特征提取装置、设备及存储介质中相关部分的说明请参见本发明实施例提供的一种特征提取方法中对应部分的详细说明，在此不再赘述。另外本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种特征提取方法，其特征在于，包括：
接收用户发出的读写指令，提取其中包含的LBA地址为目的地址；
确定所述目的地址所属的地址范围为目的范围；其中，所述地址范围为预先对存储设备中包含的全部LBA地址进行划分后得到的；
判断自上次更新所述目的范围对应的访问频次至当前时刻，由接收到的读写指令中提取到属于所述目的范围的LBA地址的次数是否达到次数阈值，如果是，则更新所述目的范围对应的访问频次为当前值加上预设值的值，如果否，则确定无需更新所述目的范围对应的访问频次。
2.根据权利要求1所述的方法，其特征在于，还包括：
监控各个所述地址范围对应的访问频次，如果监控到任一所述地址范围对应的访问频次达到访问频次阈值，则利用预先设定的映射函数缩小各个所述地址范围对应的访问频次。
3.根据权利要求2所述的方法，其特征在于，利用预先设定的映射函数缩小各个所述地址范围对应的访问频次，包括：
将各个所述地址范围对应的访问频次均除以预先设定的第一常数值，或者将各个所述地址范围对应的访问频次均减去预先设定的第二常数值。
4.根据权利要求3所述的方法，其特征在于，还包括：
每经过预设时间段后，则利用距离当前时刻最近的所述预设时间段内各个所述地址范围对应的访问频次训练分类器，以供实现下一所述预设时间段内需要写入到所述存储设备中的数据的分类。
5.根据权利要求3所述的方法，其特征在于，还包括：
每向所述存储设备写入预设量的数据后，则利用距离当前时刻最近向所述存储设备写入所述预设量的数据的过程中，各个所述地址范围对应的访问频次训练分类器，以供实现下一预设量的数据写入到所述存储设备时的分类。
6.根据权利要求4或5所述的方法，其特征在于，还包括：
接收外界输入的设置指令，并更新对应设定值为所述设置指令中携带的值；其中，所述设定值包括所述次数阈值、所述访问频次阈值、所述第一常数值、所述第二常数值、所述预设时间段及所述预设量。
7.一种特征提取装置，其特征在于，包括：
提取模块，用于：接收用户发出的读写指令，提取其中包含的LBA地址为目的地址；
确定模块，用于：确定所述目的地址所属的地址范围为目的范围；其中，所述地址范围为预先对存储设备中包含的全部LBA地址进行划分后得到的；
判断模块，用于：判断自上次更新所述目的范围对应的访问频次至当前时刻，由接收到的读写指令中提取到属于所述目的范围的LBA地址的次数是否达到次数阈值，如果是，则更新所述目的范围对应的访问频次为当前值加上预设值的值，如果否，则确定无需更新所述目的范围对应的访问频次。
8.根据权利要求7所述的装置，其特征在于，还包括：
监控模块，用于：监控各个所述地址范围对应的访问频次，如果监控到任一所述地址范围对应的访问频次达到访问频次阈值，则利用预先设定的映射函数缩小各个所述地址范围对应的访问频次。
9.一种特征提取设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述特征提取方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述特征提取方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911367709.4A CN111177022B (zh) | 2019-12-26 | 2019-12-26 | 一种特征提取方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911367709.4A CN111177022B (zh) | 2019-12-26 | 2019-12-26 | 一种特征提取方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111177022A true CN111177022A (zh) | 2020-05-19 |
| CN111177022B CN111177022B (zh) | 2022-08-12 |
Family
ID=70622398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911367709.4A Active CN111177022B (zh) | 2019-12-26 | 2019-12-26 | 一种特征提取方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111177022B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080034148A1 (en) * | 2006-08-01 | 2008-02-07 | International Business Machines Corporation | Systems and methods for providing performance monitoring in a memory system |
| CN103608785A (zh) * | 2013-06-21 | 2014-02-26 | 华为技术有限公司 | 一种文件读取方法、存储设备及读取系统 |
| CN104268099A (zh) * | 2014-08-29 | 2015-01-07 | 浪潮(北京)电子信息产业有限公司 | 一种管理数据读写的方法及装置 |
| CN104461936A (zh) * | 2014-11-28 | 2015-03-25 | 华为技术有限公司 | 缓存数据的刷盘方法及装置 |
| CN105278878A (zh) * | 2015-09-30 | 2016-01-27 | 成都华为技术有限公司 | 一种磁盘空间分配方法及装置 |
| CN109491616A (zh) * | 2018-11-14 | 2019-03-19 | 三星（中国）半导体有限公司 | 数据的存储方法和设备 |
| CN110502451A (zh) * | 2019-07-10 | 2019-11-26 | 深圳市金泰克半导体有限公司 | 固态硬盘垃圾回收方法、装置、固态硬盘和存储介质 |
-
2019
- 2019-12-26 CN CN201911367709.4A patent/CN111177022B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080034148A1 (en) * | 2006-08-01 | 2008-02-07 | International Business Machines Corporation | Systems and methods for providing performance monitoring in a memory system |
| CN103608785A (zh) * | 2013-06-21 | 2014-02-26 | 华为技术有限公司 | 一种文件读取方法、存储设备及读取系统 |
| CN104268099A (zh) * | 2014-08-29 | 2015-01-07 | 浪潮(北京)电子信息产业有限公司 | 一种管理数据读写的方法及装置 |
| CN104461936A (zh) * | 2014-11-28 | 2015-03-25 | 华为技术有限公司 | 缓存数据的刷盘方法及装置 |
| CN105278878A (zh) * | 2015-09-30 | 2016-01-27 | 成都华为技术有限公司 | 一种磁盘空间分配方法及装置 |
| CN109491616A (zh) * | 2018-11-14 | 2019-03-19 | 三星（中国）半导体有限公司 | 数据的存储方法和设备 |
| CN110502451A (zh) * | 2019-07-10 | 2019-11-26 | 深圳市金泰克半导体有限公司 | 固态硬盘垃圾回收方法、装置、固态硬盘和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111177022B (zh) | 2022-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3229142B1 (en) | Read cache management method and device based on solid state drive | |
| CN108228449B (zh) | 终端设备控制方法及装置、终端设备及计算机可读存储介质 | |
| CN108829344A (zh) | 数据存储方法、装置及存储介质 | |
| CN108205473B (zh) | 内存处理方法及装置、计算机装置及计算机可读存储介质 | |
| CN111324303B (zh) | Ssd垃圾回收方法、装置、计算机设备及存储介质 | |
| EP3252609A1 (en) | Cache data determination method and device | |
| CN107817947B (zh) | 一种数据存储方法、装置及系统 | |
| CN108205474B (zh) | 内存管理方法、终端设备、计算机装置以及可读存储介质 | |
| CN109005130B (zh) | 网络资源配置调度方法和装置 | |
| CN109491606B (zh) | 一种全闪存储空间管理方法、系统、设备及计算机介质 | |
| CN103678149A (zh) | 数据处理的方法及设备 | |
| CN111124254B (zh) | 调度存储空间回收请求的方法、电子设备和程序产品 | |
| CN108205498B (zh) | 内存回收方法及装置、计算机装置及计算机可读存储介质 | |
| CN104571954A (zh) | 一种数据存储方法及装置 | |
| CN114895846A (zh) | 一种数据处理方法、装置及设备 | |
| CN116700634B (zh) | 分布式存储系统垃圾回收方法、装置及分布式存储系统 | |
| CN117492662B (zh) | 预读取的确定方法和装置、存储介质及电子设备 | |
| CN108287760B (zh) | 终端设备控制方法及装置、终端设备及计算机可读存储介质 | |
| CN110674064B (zh) | 一种数据传输方法、装置、设备及计算机可读存储介质 | |
| CN112015343A (zh) | 存储卷的缓存空间管理方法、装置及电子设备 | |
| CN108287761B (zh) | 内存回收方法及装置、终端设备及计算机可读存储介质 | |
| EP4099235A1 (en) | Data pre-fetching method and apparatus, and storage device | |
| CN111177022B (zh) | 一种特征提取方法、装置、设备及存储介质 | |
| CN108228342B (zh) | 终端设备控制方法及装置、终端设备及计算机可读存储介质 | |
| CN117235088A (zh) | 一种存储系统的缓存更新方法、装置、设备、介质及平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |