CN109597572B - 一种存储管理方法 - Google Patents

一种存储管理方法 Download PDF

Info

Publication number
CN109597572B
CN109597572B CN201811400495.1A CN201811400495A CN109597572B CN 109597572 B CN109597572 B CN 109597572B CN 201811400495 A CN201811400495 A CN 201811400495A CN 109597572 B CN109597572 B CN 109597572B
Authority
CN
China
Prior art keywords
data
storage
memory
storage area
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811400495.1A
Other languages
English (en)
Other versions
CN109597572A (zh
Inventor
景蔚亮
陈邦明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xinchu Integrated Circuit Co Ltd
Original Assignee
Shanghai Xinchu Integrated Circuit Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xinchu Integrated Circuit Co Ltd filed Critical Shanghai Xinchu Integrated Circuit Co Ltd
Priority to CN201811400495.1A priority Critical patent/CN109597572B/zh
Publication of CN109597572A publication Critical patent/CN109597572A/zh
Application granted granted Critical
Publication of CN109597572B publication Critical patent/CN109597572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种存储管理方法，于存储器中划分x个第一存储区域和y个第二存储区域，每个所述第一存储区域内的正常存储单元与当前所述第一存储区域内的全部存储单元的比例高于一预设阈值m％，每个所述第二存储区域内的正常存储单元与当前所述第二存储区域内的全部存储单元的比例低于所述预设阈值n％；在将数据保存于所述存储器中时，需要通过一预先训练得到的分类模型对数据进行分类，并根据分类结果对数据进行保存：若需要保存的数据属于第一数据类型，则将数据保存于所述第一存储区域内；若需要保存的数据属于第二数据类型，则将数据保存于所述第二存储区域内，本发明对存储器特别是低良率存储器实现了有效利用，避免了资源浪费。

Description

一种存储管理方法
技术领域
本发明涉及一种存储器使用方法，尤其涉及一种存储管理方法。
背景技术
存储器“良率”是指存储器内性能良好的存储单元的数量占存储器内所有存储单元数量的比例。低良率存储器则指性能良好的存储单元数量占存储器内所有存储单元数量比例较低的存储器。
目前，由于受生产工艺限制，生产厂家在生产存储器过程中会不可避免的产生数量较多的不合格的低良率存储器，这些低良率存储器往往无法被市场接受，厂家不得不对这些不合格的存储器进行统一处理，这不仅造成了资源浪费，同时无疑给企业增加了生产成本。
低良率存储器虽然整体存储性能较差，但多数的低良率存储器内同样存在性能良好的高良率存储单元区域，如果能充分利用好低良率存储器内的高良率存储单元区域，企业便可以将低良率存储器以较低价格卖给客户，不仅给企业减少了负担，而且用户也因此得到了实惠。
发明内容
本发明所要解决的技术问题在于提供一种存储管理方法，通过该方法，用户可以充分利用低良率存储器内的高良率存储单元区域，不仅满足了正常使用需求，而且降低了使用成本。
本发明解决其技术问题采取的技术方案是，提供一种存储管理方法，于存储器中划分x个第一存储区域和y各第二存储区域，每个所述第一存储区域内的正常存储单元与当前所述第一存储区域内的全部存储单元的比例高于一预设阈值m％，每个所述第二存储区域内的正常存储单元与当前所述第二存储区域内的全部存储单元的比例低于所述预设阈值n％；
在将数据保存于所述存储器中时，需要通过一预先训练得到的分类模型对数据进行分类，并根据分类结果对数据进行保存：
若需要保存的数据属于第一数据类型，则将数据保存于所述第一存储区域内；
若需要保存的数据属于第二数据类型，则将数据保存于所述第二存储区域内；
属于所述第一数据类型的数据为被用户关注的关键数据；
属于所述第二数据类型的数据为不被用户关注的非关键数据；
其中，x≥1，y≥1，0＜n≤m＜100。
作为本发明的一种优选方案，采用所述分类模型判断数据为所述关键数据后，先对数据进行高质量压缩操作，再将经过所述高质量压缩操作的数据保存于所述第一存储区域内；或者
采用所述分类模型判断数据为所述关键数据后，不对数据进行压缩，直接保存于所述第一存储区域内。
作为本发明的一种优选方案，采用所述分类模型判断数据为所述非关键数据后，先对数据进行低质量压缩操作，再将经过所述低质量压缩操作的数据保存于所述第二存储区域内。
作为本发明的一种优选方案，所述的存储管理方法还包括：在所述存储器处于空闲时段时，采用一处理器将所述第一存储区域内保存的所述关键数据与预设的标准数据进行匹配，并根据匹配结果对所述关键数据进行操作：
若所述关键数据与所述标准数据相匹配，则向用户输出告警信息；
若所述关键数据不与所述标准数据相匹配，则将所述关键数据迁移至所述第二存储区域内，作为所述非关键数据进行保存。
作为本发明的一种优选方案，所述处理器为外接于所述存储器的中央处理器或者图形处理器。
作为本发明的一种优选方案，所述处理器为设置于所述存储器内部的存储控制器。
作为本发明的一种优选方案，若所述处理器判断所述关键数据不与所述标准数据相匹配，则在经过一第一预设时段后，再将所述关键数据迁移至所述第二存储区域内，作为所述非关键数据进行保存。
作为本发明的一种优选方案，所述标准数据预先保存于所述第一存储区域内；或者
所述标准数据预先保存于远程连接所述存储器的网络设备中。
作为本发明的一种优选方案，每隔一第二预设时段更新或者擦除所述存储器内的所有数据。
作为本发明的一种优选方案，所述存储器为U盘，和/或固态硬盘，存储介质为NAND闪存，和/或3D-NAND闪存，和/或相变存储器，和/或阻变存储器，和/或磁存储器和/或铁电存储器。
与现有技术相比，本发明的有益效果是，对低良率存储器实现了有效利用，不仅减少了企业的生产成本，而且用户也因更低价格购买到存储器而得到了实惠。
附图说明
图1是本发明实施例提供的存储管理方法中所述的存储器的内部结构示意图；
图2是本发明实施例提供的存储管理方法应用于智能监控领域的实现流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
请参照图1，本发明实施例提供的一种存储管理方法，于存储器1中划分x个第一存储区域2和y个第二存储区域3，每个所述第一存储区域2内的正常存储单元与当前所述第一存储区域内的全部存储单元的比例高于一预设阈值m％，每个所述第二存储区域3内的正常存储单元与当前所述第二存储区域内的全部存储单元的比例低于所述预设阈值n％；
在将数据保存于所述存储器1中时，需要通过一预先训练得到的分类模型对数据进行分类，并根据分类结果对数据进行保存；
若需要保存的数据属于第一数据类型，则将数据保存于所述第一存储区域2内；
若需要保存的数据属于第二数据类型，则将数据保存于所述第二存储区域3内；
属于所述第一数据类型的数据为被用户关注的关键数据；
属于所述第二数据类型的数据为不被用户关注的非关键数据；
其中，x≥1，y≥1，0＜n≤m＜100。
所述关键数据和所述非关键数据都是通过机器学习、人工智能或神经网络等技术识别计算而得的，比如在智能监控系统中，摄像头实时抓取的人脸数据即为用户关心的关键数据，而摄像头抓取的人物所穿衣服的颜色、鞋子的款式等即为用户不太关心的非关键数据。
采用所述分类模型判断数据为所述关键数据后，先对数据进行高质量压缩操作，再将经过所述高质量压缩操作后的数据保存于所述第一存储区域2内；或者
采用所述分类模型判断数据为所述关键数据后，不对数据进行压缩，直接保存于所述第一存储区域2内。
采用所述分类模型判断数据为所述非关键数据后，先对数据进行低质量压缩操作，再将经过所述低质量压缩操作的数据保存于所述第二存储区域3内。
所述高质量压缩是指利用霍夫曼(Huffman)算法和LZW(Lenpel-Ziv Welch)压缩算法的无损压缩，压缩后的数据和解压缩重构的数据完全相同。所述的低质量压缩是压缩后的数据和解压缩重构的数据有所不同。但不影响人对原始资料表达的信息造成误解。例如，图像和声音的压缩就可以采用有损压缩，因为其中包含的数据往往多于我们的视觉系统和听觉系统所能接收的信息，丢掉一些数据而不至于对声音或者图像所表达的意思产生误解，但可大大提高压缩比。高质量压缩相对低质量压缩运算量相对较大。
所述存储管理方法还包括：
在所述存储器1处于空闲时段时，采用一处理器将所述第一存储区域2内保存的所述关键数据与预设的标准数据进行匹配，并根据匹配结果对所述关键数据进行操作：
若所述关键数据与所述标准数据相匹配，则向用户输出告警信息；
若所述关键数据不与所述标准数据相匹配，则所述处理器即刻或者在经过一第一预设时段后，将所述关键数据迁移至所述第二存储区3内，作为所述非关键数据进行保存。这里所述的第一预设时段可以根据实际需要设置，比如设置3天、7天或其他时间段等。
需要说明的是，所述标准数据预先保存于所述第一存储区域2内；或者
所述标准数据预先保存于远程连接所述存储器1的网络设备中。
所述处理器优选为外接于所述存储器1的中央处理器或者图形处理器，当然所述处理器也可以是设置在所述存储器1内部的存储控制器。
同样以上述的智能监控系统为例，摄像头在抓取人物关键信息后形成关键数据并将关键数据存储于所述第一存储区域2内，处理器通过读取这些关键数据然后与预设的所述标准数据进行匹配，从而识别摄像头抓取的人物的身份信息。
于本实施例中，为了保证预设的所述标准数据的准确性，用户可对所述标准数据进行定期或不定期的数据刷新，用户可以将存储有所述标准数据的所述存储器1或存储有所述标准数据的所述网路设备通过数据线与计算机连接，计算机识别所述存储器1或所述网路设备后，用户可自主更新预设数据。
由于存储器1内的第二存储区域3内的数据一般为用户不太关心的非关键数据，所以可以在所述存储器1内设置一预设程序，当所述存储器1内的所述第二存储区域3内的数据的保存时间达到一第二预设时间后，比如数据保存时间达到7天后，所述第二存储区域3内的数据将被自动清除。
需要说明的是，所述存储器1为U盘，和/或固态硬盘，存储介质为NAND闪存，和/或3D-NAND闪存，和/或相变存储器，和/或阻变存储器，和/或磁存储器和/或铁电存储器。
请参照图2，应用本发明提供的存储管理方法于智能监控领域的具体实现原理如下：
摄像头首先抓取人物图片，然后智能监控中的智能处理模块对人物图片上的关键信息和非关键信息进行过滤筛选，并根据人脸等关键信息产生关键数据，然后将关键数据经过高质量压缩或不经压缩直接存储到存储器1的第一存储区域2中，另外根据人物所穿的鞋子款式、所穿衣物颜色等非关键信息产生非关键数据并将非关键数据经低质量压缩存储于第二存储区域3中。
然后处理器读取存储于第一存储区域2中的关键数据，并将关键数据与同样存储于第一存储区域2中或存储于网络设备上的所述标准数据进行数据比对，如果数据匹配成功，则处理器控制一报警单元报警，如果数据匹配失败，在达到预设的所述第一预设时段后，将存储于所述第一存储区域2中的关键数据移至所述第二存储区域3中进行数据保存。而第二存储区域3内的数据在经过第二预设时段后，比如在7天后，数据被自动清除以释放存储空间。
综上所述，本发明通过一存储管理方法实现了对低良率存储器的有效利用，不仅减少了企业损失，发挥了低良率存储器的功能，而且用户也因可以较低价格购买到该存储器而得到了实惠。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种存储管理方法，其特征在于，于存储器中划分x个第一存储区域和y个第二存储区域，每个所述第一存储区域内的正常存储单元与当前所述第一存储区域内的全部存储单元的比例高于一预设阈值m％，每个所述第二存储区域内的正常存储单元与当前所述第二存储区域内的全部存储单元的比例低于所述预设阈值n％；
在将数据保存于所述存储器中时，需要通过一预先训练得到的分类模型对数据进行分类，并根据分类结果对数据进行保存：
若需要保存的数据属于第一数据类型，则将数据保存于所述第一存储区域内；
若需要保存的数据属于第二数据类型，则将数据保存于所述第二存储区域内；
属于所述第一数据类型的数据为被用户关注的关键数据；
属于所述第二数据类型的数据为不被用户关注的非关键数据；
其中，x≥1，y≥1，0＜n≤m＜100。
2.如权利要求1所述的存储管理方法，其特征在于，采用所述分类模型判断数据为所述关键数据后，先对数据进行高质量压缩操作，再将经过所述高质量压缩操作的数据保存于所述第一存储区域内；或者
采用所述分类模型判断数据为所述关键数据后，不对数据进行压缩，直接保存于所述第一存储区域内；
所述高质量压缩操作是指利用霍夫曼(Huffman)算法和LZW(Lenpel-Ziv Welch)压缩算法的无损压缩方式，压缩后的数据和解压缩重构的数据完全相同。
3.如权利要求1所述的存储管理方法，其特征在于，采用所述分类模型判断数据为所述非关键数据后，先对数据进行低质量压缩操作，再将经过所述低质量压缩操作的数据保存于所述第二存储区域内；
所述低质量压缩操作是指压缩后的数据和解压缩重构的数据有所不同，但不影响人对原始资料表达的信息造成误解的有损压缩方式。
4.如权利要求1所述的存储管理方法，其特征在于，还包括：在所述存储器处于空闲时段时，采用一处理器将所述第一存储区域内保存的所述关键数据与预设的标准数据进行匹配，并根据匹配结果对所述关键数据进行操作：
若所述关键数据与所述标准数据相匹配，则向用户输出告警信息；
若所述关键数据不与所述标准数据相匹配，则将所述关键数据迁移至所述第二存储区域内，作为所述非关键数据进行保存。
5.如权利要求4所述的存储管理方法，其特征在于，所述处理器为外接于所述存储器的中央处理器或者图形处理器。
6.如权利要求4所述的存储管理方法，其特征在于，所述处理器为设置于所述存储器内部的存储控制器。
7.如权利要求4所述的存储管理方法，其特征在于，若所述处理器判断所述关键数据不与所述标准数据相匹配，则在经过一第一预设时段后，再将所述关键数据迁移至所述第二存储区域内，作为所述非关键数据进行保存。
8.如权利要求4所述的存储管理方法，其特征在于，所述标准数据预先保存于所述第一存储区域内；或者
所述标准数据预先保存于远程连接所述存储器的网络设备中。
9.如权利要求1所述的存储管理方法，其特征在于，每隔一第二预设时段更新或者擦除所述存储器内的所有数据。
10.如权利要求1所述的存储管理方法，其特征在于，所述存储器为U盘，和/或固态硬盘，存储介质为NAND闪存，和/或3D-NAND闪存，和/或相变存储器，和/或阻变存储器，和/或磁存储器和/或铁电存储器。
CN201811400495.1A 2018-11-22 2018-11-22 一种存储管理方法 Active CN109597572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811400495.1A CN109597572B (zh) 2018-11-22 2018-11-22 一种存储管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811400495.1A CN109597572B (zh) 2018-11-22 2018-11-22 一种存储管理方法

Publications (2)

Publication Number Publication Date
CN109597572A CN109597572A (zh) 2019-04-09
CN109597572B true CN109597572B (zh) 2022-05-03

Family

ID=65959173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811400495.1A Active CN109597572B (zh) 2018-11-22 2018-11-22 一种存储管理方法

Country Status (1)

Country Link
CN (1) CN109597572B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112291538A (zh) * 2020-12-30 2021-01-29 南京风兴科技有限公司 一种视频监控数据的存储方法及装置
CN115019373A (zh) * 2022-06-30 2022-09-06 北京瑞莱智慧科技有限公司 对特定人物进行跟踪检测的方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104919430A (zh) * 2013-01-10 2015-09-16 国际商业机器公司 将数据实时分类到数据压缩域
CN105204781A (zh) * 2015-09-28 2015-12-30 华为技术有限公司 压缩方法、装置和设备
CN105990171A (zh) * 2015-01-30 2016-10-05 华邦电子股份有限公司 晶片测试图样的损失率计算方法
US10013734B1 (en) * 2017-04-01 2018-07-03 Intel Corporation Programmable controller and command cache for graphics processors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104919430A (zh) * 2013-01-10 2015-09-16 国际商业机器公司 将数据实时分类到数据压缩域
CN105990171A (zh) * 2015-01-30 2016-10-05 华邦电子股份有限公司 晶片测试图样的损失率计算方法
CN105204781A (zh) * 2015-09-28 2015-12-30 华为技术有限公司 压缩方法、装置和设备
US10013734B1 (en) * 2017-04-01 2018-07-03 Intel Corporation Programmable controller and command cache for graphics processors

Also Published As

Publication number Publication date
CN109597572A (zh) 2019-04-09

Similar Documents

Publication Publication Date Title
CN107025457B (zh) 一种图像处理方法和装置
US11132547B2 (en) Emotion recognition-based artwork recommendation method and device, medium, and electronic apparatus
JP2020518191A (ja) ディープニューラルネットワークを用いた、視覚的品質を維持した量子化パラメータ予測
CN110096996B (zh) 生物信息识别方法、装置、终端、系统及存储介质
CN109597572B (zh) 一种存储管理方法
CN110830807B (zh) 图像压缩方法、装置及存储介质
CN111814620A (zh) 人脸图像质量评价模型建立方法、优选方法、介质及装置
CN110070484B (zh) 图像处理、图像美化方法、装置和存储介质
CN110956202A (zh) 基于分布式学习的图像训练方法、系统、介质及智能设备
US20190080119A1 (en) Unlocking control methods and related products
CN111080746A (zh) 图像处理方法、装置、电子设备和存储介质
CN115618051B (zh) 一种基于互联网的智慧校园监控视频存储方法
CN113111782A (zh) 基于显著对象检测的视频监控方法及装置
CN110309337B (zh) 一种针对多种目标识别算法的特征值集中存储方法及装置
CN111949501A (zh) It系统运行风险监控方法及装置
CN113807515A (zh) 模型训练的方法、装置、计算机设备及存储介质
CN113240430A (zh) 移动支付验证方法及装置
CN109416662A (zh) 使用存储使用率环的选择性闪存压缩/解压缩
CN113810765B (zh) 视频处理方法、装置、设备和介质
CN113840122A (zh) 监拍控制方法、装置、电子设备和存储介质
CN115883392B (zh) 算力网络的数据感知方法、装置、电子设备及存储介质
CN117237100A (zh) 基于联邦学习的交易风险预测方法、装置及系统
CN110163049B (zh) 一种人脸属性预测方法、装置及存储介质
CN115035605B (zh) 基于深度学习的动作识别方法、装置、设备及存储介质
CN113505861B (zh) 基于元学习和记忆网络的图像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant