CN113835622A - 存储装置的处理方法、主机装置、存储装置及系统 - Google Patents

存储装置的处理方法、主机装置、存储装置及系统 Download PDF

Info

Publication number
CN113835622A
CN113835622A CN202110984080.9A CN202110984080A CN113835622A CN 113835622 A CN113835622 A CN 113835622A CN 202110984080 A CN202110984080 A CN 202110984080A CN 113835622 A CN113835622 A CN 113835622A
Authority
CN
China
Prior art keywords
processed
storage device
data
storage
resource pool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110984080.9A
Other languages
English (en)
Other versions
CN113835622B (zh
Inventor
杨超
刘征宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110984080.9A priority Critical patent/CN113835622B/zh
Priority claimed from CN202110984080.9A external-priority patent/CN113835622B/zh
Publication of CN113835622A publication Critical patent/CN113835622A/zh
Application granted granted Critical
Publication of CN113835622B publication Critical patent/CN113835622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/064Management of blocks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/0644Management of space entities, e.g. partitions, extents, pools

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种存储装置的处理方法、主机装置、存储装置及系统。该方法包括:将存储装置中的存储块分成多个资源池,其中,每个资源池对应一种特征类型;响应于预设处理命令,利用与待处理特征类型对应的资源池,对待处理数据进行预设处理,其中,待处理特征类型为待处理数据的特征类型。上述方案,能够提高存储装置的处理效率。

Description

存储装置的处理方法、主机装置、存储装置及系统
技术领域
本申请涉及存储技术领域,特别是涉及一种存储装置的处理方法、主机装置、存储装置及存储装置的处理系统。
背景技术
随着人工智能、互联网、云计算、物联网等计算机技术的快速发展及广泛应用,使得数据呈现爆炸式增长,用户对数据的存储要求也越来越高,对于更高速便捷的存储装置的需求也越来越大。例如固态硬盘SSD(solid state disk)具有高性能、功耗低、体积小、容量大、更好的稳定性和可靠性的优点,因而被广泛应用。
目前,人工智能的发展主要依靠计算机性能的提高和算法的进步,但也离不开对数据的存储和检索等处理,在利用存储装置对数据的处理过程中,例如对数据进行存储、读取、检索等处理操作时,需要检索大量的数据,对数据的处理效率低。
发明内容
本申请主要解决的技术问题是提供一种存储装置的处理方法、主机装置、存储装置及系统,能够提高存储装置的处理效率。
为了解决上述问题,本申请第一方面提供了一种存储装置的处理方法,该方法包括:将存储装置中的存储块分成多个资源池,其中,每个资源池对应一种特征类型;响应于预设处理命令,利用与待处理特征类型对应的资源池,对待处理数据进行预设处理,其中,待处理特征类型为待处理数据的特征类型。
为了解决上述问题,本申请第二方面提供了一种存储装置的处理方法,该方法包括:主机装置读取存储装置的功能定义字段;利用功能定义字段,确定存储装置是否支持预设功能;若存储装置支持预设功能,则向存储装置发送预设处理命令,以使得存储装置利用与待处理数据的特征类型对应的资源池,对待处理数据进行预设处理。
为了解决上述问题,本申请第三方面提供了一种主机装置,该主机装置包括相互耦接的存储器和处理器,存储器中存储有程序数据,处理器用于执行程序数据以实现上述存储装置的处理方法中的任一步骤。
为了解决上述问题,本申请第四方面提供了一种存储装置,该存储装置存储有能够被处理器运行的程序数据,程序数据用于实现上述存储装置的处理方法中的任一步骤。
为了解决上述问题,本申请第四方面提供了存储装置的处理系统,该存储装置的处理系统包括存储装置和主机装置,存储装置用于实现上述存储装置的处理方法中的任一步骤,主机装置用于实现上述存储装置的处理方法中的任一步骤。
上述方案,将存储装置中的存储块分成多个资源池,其中,每个资源池对应一种特征类型,响应于预设处理命令,利用与待处理特征类型对应的资源池,对待处理数据进行预设处理,其中,待处理特征类型为待处理数据的特征类型。因此,通过给不同特征类型的数据分配进行存储的资源池,可以对不同特征类型的数据通过不同的资源池分开进行管理,进而响应于预设处理命令,利用与待处理特征类型对应的资源池,对待处理数据进行预设处理,其中,待处理特征类型为待处理数据的特征类型。在对待处理数据进行预设处理的过程中,可以减少对数据的查询量,提高查询效率,从而提高存储装置对数据的处理效率。
附图说明
为了更清楚地说明本申请中的技术方案,下面将对实施例描述中所需要的附图作简单的介绍,显而易见地,下面描述的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1是本申请存储装置处理系统第一实施例的结构示意图;
图2是本申请存储装置的处理方法第一实施例的流程示意图;
图3是本申请存储装置中资源池一实施例的结构示意图;
图4是本申请图2中步骤S21之前的步骤一实施例的流程示意图;
图5是本申请图2中步骤S22一实施例的流程示意图;
图6是本申请资源池地址映射表一实施例的图例示意图;
图7是本申请存储装置的处理方法第二实施例的流程示意图;
图8是本申请存储装置的处理装置第一实施例的结构示意图;
图9是本申请存储装置的处理装置第二实施例的结构示意图;
图10是本申请存储装置的处理装置第三实施例的结构示意图;
图11是本申请存储装置的处理装置第四实施例的结构示意图;
图12是本申请存储装置的处理系统第二实施例的结构示意图;
图13是本申请主机装置一实施例的结构示意图;
图14是本申请存储装置一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请提供以下实施例,下面对各实施例进行具体说明。
请参阅图1,图1是本申请存储装置处理系统第一实施例的结构示意图。该存储装置处理系统可以包括主机装置11和存储装置12,人工智能的智能存储中,主机装置11和存储装置12之间可以进行通信,基于主机装置11和存储装置12之间的通信协议,主机装置11可以向存储装置12发送处理命令,存储装置12根据接收的处理命令进行对应处理操作。其中,主机装置11可以是计算机设备,例如电脑、笔记本电脑、智能终端等,本申请对此不做限制。存储装置12可以是固态硬盘、移动硬盘、闪存卡、机械硬盘、光盘等,本申请对此不做限制。主机装置11和存储装置12的具体处理过程可以参考下述实施例,此处不做限制。
请参阅图2,图2是本申请存储装置的处理方法第一实施例的流程示意图。该方法可以包括以下步骤:
S21:将存储装置中的存储块分成多个资源池,其中,每个资源池对应一种特征类型。
存储装置可以是固态硬盘(Solid State Disk,简称SSD)、移动硬盘、闪存卡、机械硬盘、光盘等,本申请对此不做限制。以存储装置为固态硬盘为例,存储装置可以为NVME固态硬盘、SATA固态硬盘等,本申请不限于此。
存储装置可以对存储块进行管理,例如对固态硬盘中flash物理块的管理,可以将存储装置中的存储块按照不同的特征类型分成不同的资源池,使得每种特征类型的待处理数据对应一个单独的资源池,在资源池中可以存储待处理数据的特征值。本申请对资源池的特征类型、特征值等不做限制。
在一些实施方式中,存储装置还包括系统块和功能块,功能块可以是SLC cache功能块,SLC cache主要功能是SSD接收到写命令后,先将数据写入SLC cache中,当SLC cache中的剩余空间达到阈值时,再将数据搬移到TLC闪存中。除了存储装置中的系统块和功能块,可以将存储装置中剩下的其他存储块按照特征类型分成多个资源池,其中,每个资源池对应一种特征类型。
请参阅图3,可以将存储装置的存储块按照特征类型分成多个资源池,特征类型可以包括Type1,Type2,…,Type n,例如Type1表示特征类型为汽车,Type2表示特征类型为人脸等,本申请对此不做限制。每种特征类型Type1,Type2,…,Type n对应资源池可以表示为Pool1,Pool2,…,Pool n,在每个资源池Pool1,Pool2,…,Pool n中可以包括多个存储块,例如资源池Pool1中可以包括存储块Block_11、Block_12、Block_13等,资源池Pool2中可以包括存储块Block_21、Block_22、Block_23等,资源池Pool3中可以包括存储块Block_31、Block_32、Block_33等,资源池Pool n中可以包括存储块Block_n1、Block_n2、Block_n3等。可以根据具体应用场景对存储块划分资源池,本申请对此不做限制。
另外,在存储装置中还包括空闲池Free Pool,空闲池Free Pool中包括未存储数据的空闲块,例如空闲池Free Pool中可以包括空闲块Block_f1、Block_f2、Block_f3等,本申请对此不做限制。
S22:响应于预设处理命令,利用与待处理特征类型对应的资源池,对待处理数据进行预设处理,其中,待处理特征类型为待处理数据的特征类型。
存储装置可以接收主机装置发送的预设处理命令,响应于预设处理命令,利用与待处理特征类型对应的资源池,对待处理数据进行预设处理,其中,待处理特征类型为待处理数据的特征类型。预设处理命令包括:存储命令、查询命令、读取命令、删除命令、检索命令中的至少一种。以预设命名为存储命令为例,响应于存储命令,利于与待处理数据的特征类型对应的资源池,将待处理数据存储在该资源池中。
本实施例中,将存储装置中的存储块分成多个资源池,其中,每个资源池对应一种特征类型,响应于预设处理命令,利用与待处理特征类型对应的资源池,对待处理数据进行预设处理,其中,待处理特征类型为待处理数据的特征类型。因此,通过给不同特征类型的数据分配进行存储的资源池,可以对不同特征类型的数据通过不同的资源池分开进行管理,进而响应于预设处理命令,利用与待处理特征类型对应的资源池,对待处理数据进行预设处理,其中,待处理特征类型为待处理数据的特征类型。在对待处理数据进行预设处理的过程中,可以减少对数据的查询量,提高查询效率,从而提高存储装置对数据的处理效率。
在一些实施方式中,请参阅图4,在步骤S21在将存储装置中的存储块分成多个资源池之前,还可以包括以下步骤:
S31:在存储装置中的功能定义字段写入第一字符或第二字符,其中,第一字符表示存储装置具有预设功能,第二字符表示存储装置不具有预设功能。
预设功能可以是智能加速功能,可以在存储装置中的功能定义字段写入第一字符或第二字符,其中,第一字符表示存储装置具有预设功能,第二字符表示存储装置不具有预设功能。例如存储装置为固态硬盘,可以利用固态硬盘的Identify功能中的功能定义字段,功能定义字段例如为厂家自定义字段的129-159字段,以129字段为例进行说明,可以在129字段中写入第一字符“1”来表示固态硬盘具有智能加速功能,写入第二字符“0”表示固态硬盘不具有智能加速功能。
在一些实施方式中,可以利用固态硬盘的Identify功能,在固态硬盘的初始化阶段,通过在固态硬盘中的功能定义字段写入第一字符或第二字符,确定固态硬盘是否具有预设功能,也即是确定是否具有智能加速功能。
S32:在存储装置中的通信协议字段写入预设处理命令的通信协议。其中,预设处理命令包括:存储命令、查询命令、读取命令、删除命令、检索命令中的至少一种,通信协议中包含不同预设处理命令分别对应的通信指令。
可以在存储装置中的通信协议字段写入预设处理命令的通信协议。其中,通信协议中包含不同预设处理命令分别对应的通信指令,该通信协议可以是主机装置与存储装置之间的通信协议,使得主机装置可以根据不同预设处理命令对应的通信指令向存储装置发送对应的预设处理命令,存储装置按照通信协议中预设处理命名对应的通信指令定义的处理进行处理。
其中,预设处理命令包括:存储命令、查询命令、读取命令、删除命令、检索命令中的至少一种。例如利用通信指令字段FA定义存储命令,利用通信指令字段FB定义查询命令,利用通信指令字段FC定义读取命令,利用通信指令字段FD定义删除命令,利用通信指令字段FE定义检索命令。
例如利用通信指令字段FA定义存储命令,通信指令字段FA定义的通信协议可以描述为:传入参数至少包括待处理数据的特征类型、特征值等,返回成功或失败,若成功,则返回本次特征值在该特征类型的资源池中的索引值。其中,特征值可以包括待处理数据的内容、待处理数据的存储位置等。
例如利用通信指令字段FB定义查询命令,通信指令字段FB定义的通信协议可以描述为:传入参数至少包含待处理数据的特征类型。返回失败或成功,若成功,则返回该特征类型对应的资源池的索引值的信息总数和空闲池中剩余的存储空间,剩余的存储空间可以以扇区为单位。
例如利用通信指令字段FC定义读取命令,通信指令字段FC定义的通信协议可以描述为:传入参数至少包含待处理数据的特征类型、读取的待处理数据的索引值。返回失败或成功,若成功,则返回待处理数据对应的特征值,其中,特征值可以包括待处理数据的内容、待处理数据的存储位置等。
例如利用通信指令字段FD定义检索命令,通信指令字段FD定义的通信协议可以描述为:传入参数至少包含特征类型和需要查找的特征值。返回失败或成功,若成功,则返回在存储装置中所有匹配的索引值和特征值,其中,特征值可以包括待处理数据的内容、待处理数据的存储位置等。
例如利用通信指令字段FE定义删除命令,通信指令字段FE定义的通信协议可以描述为:传入参数至少包含待处理数据的特征类型和索引值。返回失败或成功。
本实施例中,在存储装置中的功能定义字段写入第一字符或第二字符,其中,第一字符表示存储装置具有预设功能,第二字符表示存储装置不具有预设功能,使得可以通过读取存储装置中的功能定义字段的第一字符或第二字符确定存储装置是否具有预设功能;另外,通过在存储装置中的通信协议字段写入预设处理命令的通信协议,通信协议中包含不同预设处理命令分别对应的通信指令,使得主机装置和存储装置之间可以基于通信协议进行通信,基于通信指令执行对应的预设处理命令。
在一些实施例中,请参阅图5,在步骤S22中,利用与待处理特征类型对应的资源池,对待处理数据进行预设处理,可以包括以下至少一个步骤:
S221:响应于存储命令,将待处理数据写入待处理特征类型对应的资源池,并更新写入的资源池的地址映射表。
存储装置接收到预设处理命令为存储命令时,响应于存储命令,根据待处理数据找到待处理特征类型对应的资源池,待处理特征类型为待处理数据对应的特征类型,例如存储的待处理数据为汽车图片,则可以找到特征类型“汽车”对应的资源池。找到特征类型对应的资源池之后,将待处理数据写入待处理特征类型对应的资源池,可以从资源池中存储块的当前写入位置开始往下写,其中,存储块的当前写入位置是该资源池中没有写满数据的存储块的当前写入位置。将待处理数据写入资源池完成之后,更新资源池中存储块的当前写入位置,并更新写入的当前的资源池中存储块的地址映射表。
在一些实施方式中,可以基于资源池中存储块的数据存储情况,维护资源池的地址映射表,地址映射表中保存资源池中存储块的索引值与物理地址的映射关系。请参阅图6,图6是本申请资源池地址映射表一实施例的图例示意图。在地址映射表中,资源池中存储块的索引值Idx与物理地址Addr具有映射关系,每个索引值Idx可以对应一个物理地址Addr,在每个存储块的物理地址对应存储有待处理数据的特征值。
其中,地址映射表可以存储在存储装置的内存或闪存flash中。在一些实施方式中,可以将地址映射表存储在存储装置的内存中,若存储装置的内存中存储的地址映射表积累达到预设存储量,或者内存中存储的地址映射表的存储时间积累达到预设时间后,则将地址映射表存储在闪存flash中,本申请存储装置对地址映射表的存储方式,可以保持存储装置的性能。
在一些实施方式中,基于资源池中存储块的数据存储情况,维护资源池中每个存储块的相关信息,其中,存储块的相关信息包括:包含的存储块的信息、使用的存储块信息、存储块的索引值、存储块的写入信息中的至少一种。其中,包含的存储块的信息可以包括存储块的通道、CE(Chip Enable,片选信号)、存储块的块号、擦写次数等信息。另外,存储块的写入信息可以包括当前存储块的写入位置、当前写入位置在该存储块内的偏移信息等信息,本申请对此不做限制。
在一些实施方式中,若资源池中的存储块写满,则可以将空闲池中的一个新的空闲块加入当前的资源池,并更新资源池的信息,可以更新资源池的存储块的相关信息、资源池对应的地址映射表等信息。
在一些实施方式中,为了保持存储装置的持续使用,可以对存储装置的中的资源池等进行垃圾回收。若空闲池中空闲块的可用空间小于预设空间阈值,则可以触发垃圾回收,分别对各资源池进行垃圾回收。在对各资源池进行垃圾回收的过程中,每个资源池独立进行的垃圾回收,使得各资源池的数据不交叉,保证每个资源池内部的存储块对应的特征类型一致。存储装置可以通过特征类型感知存储的数据的内容,确定在资源池中的无效数据,使得在对资源池进行垃圾回收时,不会盲目搬移数据,提高垃圾回收效率。
S222:响应于查询命令,获取待处理特征类型对应的资源池中存储块的索引值总数,和/或获取空闲池中空间块的存储空间信息。
存储装置接收到预设处理命令为查询指令时,响应于查询指令,根据待处理数据找到待处理特征类型对应的资源池,待处理特征类型为待处理数据对应的特征类型,查询指令可以是对资源池的存储信息进行查询。获取待处理特征类型对应的资源池中存储块的索引值总数,另外,还可以获取空闲池中空间块的存储空间信息。
S223:响应于读取命令,在待处理特征类型对应的资源池的地址映射表中,查找待处理数据的索引值对应的物理地址,并基于物理地址,从待处理特征类型对应的资源池读取待处理数据的特征值。
存储装置接收到预设处理命令为读取指令时,响应于读取指令,根据待处理数据找到待处理特征类型对应的资源池,其中,待处理特征类型为待处理数据对应的特征类型。根据待处理数据的索引值查找地址映射表,在待处理特征类型对应的资源池的地址映射表中,查找待处理数据的索引值对应的物理地址,并基于物理地址,从待处理特征类型对应的资源池读取物理地址对应的待处理数据的特征值。其中,特征值至少包括待处理数据的内容、待处理数据的存储位置中的至少一种。
S224:响应于删除命令,在待处理特征类型对应的资源池的地址映射表中,查找待处理数据的索引值与物理地址之间的映射关系,并将查找的映射关系标记为无效。
存储装置接收到预设处理命令为删除指令时,响应于删除指令,根据待处理数据找到待处理特征类型对应的资源池,其中,待处理特征类型为待处理数据对应的特征类型。根据待处理数据的索引值查找地址映射表,在待处理特征类型对应的资源池的地址映射表中,查找待处理数据的索引值与物理地址之间的映射关系,并将查找的映射关系标记为无效,也即是删除地址映射表中待处理数据的索引值Idx与物理地址Addr的映射关系。
S225:响应于检索命令,确定待处理特征类型对应的资源池的地址映射表中的物理地址,读取确定的各物理地址对应的特征值,返回与待处理数据相匹配的特征值对应的索引值。
存储装置接收到预设处理命令为检索指令时,响应于检索指令,根据待处理数据找到待处理特征类型对应的资源池,其中,待处理特征类型为待处理数据对应的特征类型。查找到资源池对应的地址映射表,从而查找到地址映射表中物理地址与索引值对应的映射关系,查找到资源池中所有地址映射表中有效的物理地址与索引值对应的映射关系,确定待处理特征类型对应的资源池的地址映射表中的物理地址,读取确定的各物理地址对应的特征值,将待处理数据与特征值进行对比,从而确定匹配的特征值,返回所有与待处理数据匹配的特征值对应的索引值。
本申请对上述步骤S221至步骤S225的执行顺序不做限制,另外,在步骤S22中,根据接收的预设处理命令,对应执行的步骤S221至步骤S225。步骤S22可以包括步骤S221至步骤S225中的任意步骤,本申请对此不做限制。
在一些实施例中,请参阅图7,图7是本申请存储装置的处理方法第二实施例的流程示意图。该方法可以包括以下步骤:
S41:主机装置读取存储装置的功能定义字段。
在存储装置中的功能定义字段写入有第一字符或第二字符,其中,第一字符表示存储装置具有预设功能,第二字符表示存储装置不具有预设功能。
主机装置在识别存储装置的过程中,可以读取存储装置的功能定义字段,通过读取功能定义字段的第一字符或第二字符,确定存储装置是否具有预设功能。
S42:利用功能定义字段,确定存储装置是否支持预设功能。
其中,预设功能可以是智能加速功能,若在存储装置的功能定义字段读取的是第一字符,则确定存储装置具有预设功能;在存储装置的功能定义字段读取的是第二字符,则确定存储装置不具有预设功能。
若存储装置支持预设功能,则执行步骤S43。
若存储装置不支持预设功能,则执行步骤S44。
S43:向存储装置发送预设处理命令,以使得存储装置利用与待处理数据的特征类型对应的资源池,对待处理数据进行预设处理。
在存储装置中的通信协议字段写入预设处理命令的通信协议。其中,预设处理命令包括:存储命令、查询命令、读取命令、删除命令、检索命令中的至少一种,通信协议中包含不同预设处理命令分别对应的通信指令。
基于主机装置与存储装置之间的通信协议,主机装置可以向存储装置发送预设处理命令,以使得存储装置利用与待处理数据的特征类型对应的资源池,对待处理数据进行预设处理。预设处理命令中可以包括待处理数据、待处理数据对应的特征类型、待处理数据对应的特征值等,本申请对此不做限制。
在一些实施方式中,向存储装置发送预设处理命令之前,主机装置还可以对待处理数据的特征类型进行识别,对待处理数据进行特征类型的分类,并确定待处理数据对应的特征类型及特征值;其中,特征值至少包括待处理数据的内容、待处理数据的存储位置中的至少一种。例如待处理数据为汽车的图片,则可以确定特征类型为汽车,特征值可以是汽车的信息,例如颜色特征、车型特征、汽车的图片等。另外,特征值也可以是汽车的图片的存储位置,使得可以通过该存储位置访问汽车的图片。
该步骤中,在不增加硬件的情况下,在存储装置端实现了小型数据库的功能,主机装置端只需要对待处理数据进行分类,只需要对存储装置发送预设执行,使得存储装置对待处理数据进行处理,不需要管理该资源池也即是数据库,没有对数据库操作的软件及硬件的开销,可以提高主机装置对存储装置的数据的处理效率。
该实施例步骤S41至步骤S43的具体实施方式可参考上述实施例的实施过程,在此不再赘述。
S44:对存储装置发送创建数据库指令。
主机装置确定存储装置不支持预设功能后,可以对存储装置发送创建数据库的指令,利用数据库维护待处理数据的存储位置和特征值等信息,使得需要对存储装置中存储的数据进行处理时,可以通过对数据库的操作来对存储的数据进行处理。该过程可以参考普通固态硬盘的使用情况进行处理,本申请对此不做限制。
本实施例中,主机装置可以通过读取存储装置的功能定义字段,确定存储装置是否支持预设功能,若存储装置支持预设功能,则向存储装置发送预设处理命令,由于通过给主机装置和存储装置之间制定一套通信协议,主机装置通过对待处理数据进行特征类型的分类及确定特征值,对待处理数据进行整合和归类,存储装置对主机装置进行机构化的待处理数据按特征类型对应的资源池分开存储,存储装置利用与待处理数据的特征类型对应的资源池,对待处理数据进行预设处理时,可以对特征类型对应的资源池分开查找,可以提高效率。若存储装置不支持预设功能,还可以对存储装置发送创建数据库指令,主机装置可以更好的适应与存储装置对待处理数据进行处理,总体上,可以提高存储装置处理数据的效率。
对于上述实施例,本申请提供一种存储装置的处理装置。请参阅图8,图8是本申请存储装置的处理装置第一实施例的结构示意图。该存储装置的处理装置50包括分类模块51和处理模块52,其中,分类模块51和处理模块52连接。
分类模块51用于将存储装置中的存储块分成多个资源池,其中,每个资源池对应一种特征类型。
处理模块52用于响应于预设处理命令,利用与待处理特征类型对应的资源池,对待处理数据进行预设处理,其中,待处理特征类型为待处理数据的特征类型。
该实施例的具体实施方式可参考上述实施例的实施过程,在此不再赘述。
在一些实施方式中,请参阅图9,图9是本申请存储装置的处理装置第二实施例的结构示意图。该存储装置的处理装置50还包括定义模块53,其中,分类模块51、处理模块52和定义模块53连接。
定义模块53用于在存储装置中的功能定义字段写入第一字符或第二字符,其中,第一字符表示存储装置具有预设功能,第二字符表示存储装置不具有预设功能;和/或,用于在存储装置中的通信协议字段写入预设处理命令的通信协议;其中,预设处理命令包括:存储命令、查询命令、读取命令、删除命令、检索命令中的至少一种,通信协议中包含不同预设处理命令分别对应的通信指令。
在一些实施方式中,处理模块52用于利用与待处理特征类型对应的资源池,对待处理数据进行预设处理,包括以下至少一个步骤:
处理模块52用于响应于存储命令,将待处理数据写入待处理特征类型对应的资源池,并更新写入的资源池的地址映射表。
其中,若资源池中的存储块写满,则将空闲池中的空闲块加入资源池,并更新资源池的信息。
其中,若空闲池中空闲块的可用空间小于预设空间阈值,则分别对各资源池进行垃圾回收。
处理模块52用于响应于查询命令,获取待处理特征类型对应的资源池中存储块的索引值总数,和/或获取空闲池中空间块的存储空间信息。
处理模块52用于响应于读取命令,在待处理特征类型对应的资源池的地址映射表中,查找待处理数据的索引值对应的物理地址,并基于物理地址,从待处理特征类型对应的资源池读取待处理数据的特征值。
处理模块52用于响应于删除命令,在待处理特征类型对应的资源池的地址映射表中,查找待处理数据的索引值与物理地址之间的映射关系,并将查找的映射关系标记为无效。
处理模块52用于响应于检索命令,确定待处理特征类型对应的资源池的地址映射表中的物理地址,读取确定的各物理地址对应的特征值,返回与待处理数据相匹配的特征值对应的索引值。
在一些实施方式中,处理模块52还用于基于资源池中存储块的数据存储情况,维护资源池的地址映射表,地址映射表中保存资源池中存储块的索引值与物理地址的映射关系;其中,地址映射表存储在所述存储装置的内存或闪存中。若内存中存储的地址映射表达到预设存储量或存储时间达到预设时间,则将地址映射表存储在所述闪存中。
在一些实施方式中,处理模块52还用于基于资源池中存储块的数据存储情况,维护资源池中每个存储块的相关信息,其中,存储块的相关信息包括:包含的存储块的信息、使用的存储块信息、存储块的索引值、存储块的写入信息中的至少一种。
该实施例的具体实施方式可参考上述实施例的实施过程,在此不再赘述。
在一些实施方式中,请参阅图10,图10是本申请存储装置的处理装置第三实施例的结构示意图。该存储装置的处理装置60包括读取模块61、命令模块62和创建模块63,其中,读取模块61、命令模块62和创建模块63连接。
读取模块61用于主机装置读取存储装置的功能定义字段;以及,利用功能定义字段,确定存储装置是否支持预设功能。
命令模块62用于在读取模块61确定存储装置支持预设功能时,向存储装置发送预设处理命令,以使得存储装置利用与待处理数据的特征类型对应的资源池,对待处理数据进行预设处理。
创建模块63用于在读取模块61确定存储装置不支持预设功能时,对存储装置发送创建数据库指令。
在一些实施方式中,请参阅图11,图11是本申请存储装置的处理装置第四实施例的结构示意图。该存储装置的处理装置60还可以包括分类模块64,分类模块64用于对待处理数据进行分类,确定待处理数据对应的特征类型及特征值;其中,特征值至少包括待处理数据的内容、待处理数据的存储位置中的至少一种。
该实施例的具体实施方式可参考上述实施例的实施过程,在此不再赘述。
对于上述实施例,本申请提供一种存储装置的处理系统。请参阅图12,图12是本申请存储装置的处理系统第二实施例的结构示意图。该存储装置的处理系统70包括存储装置71和主机装置72,存储装置71用于实现上述存储装置的处理方法第一实施例、第二实施例中任一项方法的步骤,主机装置72用于实现上述存储装置的处理方法第一实施例、第三实施例任一项方法的步骤。
该实施例的具体实施方式可参考上述实施例的实施过程,在此不再赘述。
对于上述实施例,本申请提供一种主机装置,请参阅图13,图13是本申请主机装置一实施例的结构示意图。该主机装置80包括存储器81和处理器82,其中,存储器81和处理器82相互耦接,存储器81中存储有程序数据,处理器82用于执行程序数据以实现上述存储装置的处理方法第一实施例、第二实施例中任一项方法的步骤。
在本实施例中,处理器82还可以称为CPU(Central Processing Unit,中央处理单元)。处理器82可能是一种集成电路芯片,具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器82也可以是任何常规的处理器等。
该实施例的具体实施方式可参考上述实施例的实施过程,在此不再赘述。
对于上述实施例,本申请还提出一种存储装置,请参阅图14,图14是本申请存储装置一实施例的结构示意图。该存储装置90中存储有能够被处理器运行的程序数据91,程序数据可被处理器执行以实现上述存储装置的处理方法第一实施例、第三实施例任一项方法的步骤。
该实施例的具体实施方式可参考上述实施例的实施过程,在此不再赘述。
本实施例存储装置90可以是U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等可以存储程序数据的介质,或者也可以为存储有该程序数据的服务器,该服务器可将存储的程序数据发送给其他设备运行,或者也可以自运行该存储的程序数据。
在本申请所提供的几个实施例中,应该理解的,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储装置中,该存储装置是一种计算机可读取存储介质。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。
显然,本领域的技术人员应该明白,上述的本申请的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (14)

1.一种存储装置的处理方法,其特征在于,所述方法包括:
将所述存储装置中的存储块分成多个资源池,其中,每个所述资源池对应一种特征类型;
响应于预设处理命令,利用与待处理特征类型对应的所述资源池,对待处理数据进行预设处理,其中,所述待处理特征类型为所述待处理数据的所述特征类型。
2.根据权利要求1所述的方法,其特征在于,在所述将所述存储装置中的存储块分成多个资源池之前,包括:
在所述存储装置中的功能定义字段写入第一字符或第二字符,其中,所述第一字符表示所述存储装置具有预设功能,所述第二字符表示所述存储装置不具有所述预设功能;和/或,
在所述存储装置中的通信协议字段写入所述预设处理命令的通信协议;
其中,所述预设处理命令包括:存储命令、查询命令、读取命令、删除命令、检索命令中的至少一种,所述通信协议中包含不同所述预设处理命令分别对应的通信指令。
3.根据权利要求1所述的方法,其特征在于,所述利用与待处理特征类型对应的所述资源池,对待处理数据进行预设处理,包括以下至少一个步骤:
响应于存储命令,将所述待处理数据写入所述待处理特征类型对应的资源池,并更新写入的所述资源池的地址映射表;
响应于查询命令,获取所述待处理特征类型对应的资源池中存储块的索引值总数,和/或获取空闲池中空间块的存储空间信息;
响应于读取命令,在所述待处理特征类型对应的资源池的所述地址映射表中,查找所述待处理数据的索引值对应的物理地址,并基于所述物理地址,从所述待处理特征类型对应的资源池读取所述待处理数据的特征值;
响应于删除命令,在所述待处理特征类型对应的资源池的所述地址映射表中,查找所述待处理数据的索引值与物理地址之间的映射关系,并将查找的所述映射关系标记为无效;
响应于检索命令,确定所述待处理特征类型对应的资源池的所述地址映射表中的物理地址,读取确定的各所述物理地址对应的特征值,返回与所述待处理数据相匹配的所述特征值对应的索引值。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述资源池中存储块的数据存储情况,维护所述资源池的地址映射表,所述地址映射表中保存所述资源池中存储块的索引值与物理地址的映射关系;其中,所述地址映射表存储在所述存储装置的内存或闪存中。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
若所述内存中存储的所述地址映射表达到预设存储量或存储时间达到预设时间,则将所述地址映射表存储在所述闪存中。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述资源池中存储块的数据存储情况,维护所述资源池中每个所述存储块的相关信息,其中,所述存储块的相关信息包括:包含的存储块的信息、使用的存储块信息、所述存储块的索引值、所述存储块的写入信息中的至少一种。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述资源池中的存储块写满,则将空闲池中的空闲块加入所述资源池,并更新所述资源池的信息。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
若所述空闲池中空闲块的可用空间小于预设空间阈值,则分别对各所述资源池进行垃圾回收。
9.一种存储装置的处理方法,其特征在于,所述方法包括:
主机装置读取所述存储装置的功能定义字段;
利用所述功能定义字段,确定所述存储装置是否支持预设功能;
若所述存储装置支持所述预设功能,则向所述存储装置发送预设处理命令,以使得所述存储装置利用与待处理数据的特征类型对应的资源池,对所述待处理数据进行预设处理。
10.根据权利要求9所述的方法,其特征在于,所述向所述存储装置发送预设处理命令之前,包括:
对所述待处理数据进行分类,确定所述待处理数据对应的特征类型及特征值;其中,所述特征值至少包括所述待处理数据的内容、所述待处理数据的存储位置中的至少一种。
11.根据权利要求9所述的方法,其特征在于,所述方法还包括:
若所述存储装置不支持所述预设功能,则对所述存储装置发送创建数据库指令。
12.一种主机装置,其特征在于,包括相互耦接的存储器和处理器,所述存储器中存储有程序数据,所述处理器用于执行所述程序数据以实现权利要求9至11任一项所述方法的步骤。
13.一种存储装置,其特征在于,所述存储装置存储有能够被处理器运行的程序数据,所述程序数据用于实现权利要求1至8任一项所述方法的步骤。
14.一种存储装置的处理系统,其特征在于,所述方法包括:存储装置和主机装置,所述存储装置用于实现权利要求1至8任一项所述方法的步骤,所述主机装置用于实现上述权利要求9至11任一项所述方法的步骤。
CN202110984080.9A 2021-08-25 存储装置的处理方法、主机装置、存储装置及系统 Active CN113835622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110984080.9A CN113835622B (zh) 2021-08-25 存储装置的处理方法、主机装置、存储装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110984080.9A CN113835622B (zh) 2021-08-25 存储装置的处理方法、主机装置、存储装置及系统

Publications (2)

Publication Number Publication Date
CN113835622A true CN113835622A (zh) 2021-12-24
CN113835622B CN113835622B (zh) 2024-10-15

Family

ID=

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104871149A (zh) * 2012-12-21 2015-08-26 国际商业机器公司 具有特殊技能和/或能力的资产分配
CN107967121A (zh) * 2017-10-25 2018-04-27 华为技术有限公司 数据写入方法和存储设备
CN110019004A (zh) * 2017-09-08 2019-07-16 华为技术有限公司 一种数据处理方法、装置及系统
CN110737391A (zh) * 2018-07-20 2020-01-31 伊姆西Ip控股有限责任公司 用于管理存储系统的方法、设备和计算机程序产品
CN110989923A (zh) * 2019-10-30 2020-04-10 烽火通信科技股份有限公司 一种分布式存储系统的部署方法及装置
CN111399753A (zh) * 2019-08-23 2020-07-10 杭州海康威视系统技术有限公司 写入图片的方法和装置
CN111726880A (zh) * 2020-06-16 2020-09-29 工业互联网创新中心(上海)有限公司 一种资源分配的方法、电子设备及存储介质
CN111831232A (zh) * 2020-07-22 2020-10-27 浙江大华技术股份有限公司 数据的存储方法及装置、存储介质和电子装置
CN112395086A (zh) * 2020-11-06 2021-02-23 北京五八信息技术有限公司 一种资源分配方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104871149A (zh) * 2012-12-21 2015-08-26 国际商业机器公司 具有特殊技能和/或能力的资产分配
CN110019004A (zh) * 2017-09-08 2019-07-16 华为技术有限公司 一种数据处理方法、装置及系统
CN107967121A (zh) * 2017-10-25 2018-04-27 华为技术有限公司 数据写入方法和存储设备
CN110737391A (zh) * 2018-07-20 2020-01-31 伊姆西Ip控股有限责任公司 用于管理存储系统的方法、设备和计算机程序产品
CN111399753A (zh) * 2019-08-23 2020-07-10 杭州海康威视系统技术有限公司 写入图片的方法和装置
CN110989923A (zh) * 2019-10-30 2020-04-10 烽火通信科技股份有限公司 一种分布式存储系统的部署方法及装置
CN111726880A (zh) * 2020-06-16 2020-09-29 工业互联网创新中心(上海)有限公司 一种资源分配的方法、电子设备及存储介质
CN111831232A (zh) * 2020-07-22 2020-10-27 浙江大华技术股份有限公司 数据的存储方法及装置、存储介质和电子装置
CN112395086A (zh) * 2020-11-06 2021-02-23 北京五八信息技术有限公司 一种资源分配方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110018998B (zh) 一种文件管理方法、系统及电子设备和存储介质
TW201931132A (zh) 管理快閃記憶體模組的方法及相關的快閃記憶體控制器及電子裝置
CN108733306B (zh) 一种文件合并方法及装置
US20090307291A1 (en) Smart card storage system and file management method therein
CN101021813A (zh) 闪存管理设备和方法
CN106446044B (zh) 存储空间回收方法及装置
CN107391774A (zh) 基于重复数据删除的日志文件系统的垃圾回收方法
CN103995855A (zh) 存储数据的方法和装置
CN111782656B (zh) 数据读写方法及装置
CN109976669B (zh) 一种边缘存储方法、装置和存储介质
CN101002274A (zh) 提高usb闪存写入性能的方法和器件
CN107391030B (zh) 数据存储方法、装置、计算机可读存储介质以及计算机设备
CN110312986B (zh) 用于在固态设备上存储数据的流的机会性使用
CN107430546B (zh) 一种文件更新方法及存储设备
CN111831691A (zh) 一种数据读写方法及装置、电子设备、存储介质
US8595426B2 (en) Handling commands within a write-once read-many storage device configuration
CN113282521A (zh) 一种智能卡寿命延长方法及装置
CN116048428B (zh) 数据请求处理方法、装置、存储设备和可读存储介质
US10990323B2 (en) Flash memory controller, memory device and method for accessing flash memory module
CN109086001B (zh) 一种NAND Flash垃圾回收方法及系统
CN113835622B (zh) 存储装置的处理方法、主机装置、存储装置及系统
CN113835622A (zh) 存储装置的处理方法、主机装置、存储装置及系统
CN114428790A (zh) 一种数据并发处理方法、装置、电子设备及存储介质
CN114185849A (zh) 文件操作方法、文件操作系统、电子设备及存储介质
CN100444166C (zh) Fat文件系统中基于位置的接口访问方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 1202, Floor 12, Building 3, No. 126, Yueda Lane, Changhe Street, Binjiang District, Hangzhou City, Zhejiang Province, 310056

Applicant after: Zhejiang Huayi Core Technology Co.,Ltd.

Address before: 310051 room 512, building 2, 2930 South Ring Road, Puyan street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: Zhejiang Dahua Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant