CN111459412B - 磁盘管理方法、装置以及电子设备 - Google Patents

磁盘管理方法、装置以及电子设备 Download PDF

Info

Publication number
CN111459412B
CN111459412B CN202010237573.1A CN202010237573A CN111459412B CN 111459412 B CN111459412 B CN 111459412B CN 202010237573 A CN202010237573 A CN 202010237573A CN 111459412 B CN111459412 B CN 111459412B
Authority
CN
China
Prior art keywords
space
file
disk
layer
address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010237573.1A
Other languages
English (en)
Other versions
CN111459412A (zh
Inventor
王超
刘健
李理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010237573.1A priority Critical patent/CN111459412B/zh
Publication of CN111459412A publication Critical patent/CN111459412A/zh
Priority to US17/020,967 priority patent/US11681444B2/en
Priority to EP21154492.9A priority patent/EP3839718B1/en
Priority to KR1020210038688A priority patent/KR20210040880A/ko
Priority to JP2021055913A priority patent/JP7082701B2/ja
Application granted granted Critical
Publication of CN111459412B publication Critical patent/CN111459412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/78—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
    • G06F21/80—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data in storage media based on magnetic or optical technology, e.g. disks with sectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G06F3/0623—Securing storage systems in relation to content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Storage Device Security (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Signal Processing (AREA)

Abstract

本申请公开了一种磁盘管理方法、磁盘以及电子设备，通过设置有包括有多个空间文件的引擎层，以及包括有空间文件结构的文件目录树的封装层；其中通过引擎层响应对引擎层所输出的文件目录树中目标空间文件进行的数据管理操作，通过封装层的地址关联列表确定与目标空间文件的目标磁盘空间，并对所述目标磁盘空间中的数据进行数据管理。从而可在不同的数据通过引擎层时即被不同的空间文件隔离，保证数据在磁盘中不会发生泄露等安全问题。

Description

磁盘管理方法、装置以及电子设备
技术领域
本申请涉及到计算机技术领域，尤其涉及云计算技术。
背景技术
随着互联网的快速发展，云计算的逐步得到推广，伴随而来的是数据量的激增。
为了提高数据存储量，保证云计算的顺利进行，叠瓦记录式硬盘的分布式存储系统应运而生，其通过重叠磁道，使得磁道密度和单位面积存储密度得到了有效提升。在现有技术中，为了便于对叠瓦记录式硬盘的分布式存储系统进行管理，会利上层接口层进行磁盘与外界的交互。
尽管叠瓦记录式硬盘的分布式存储系统中磁盘中划分有多个独立的磁盘空间，且每个磁盘空间可独立存储数据，但通过上层接口层获取大量数据时，数据与数据之间是没有隔离的，这将出现数据泄露等安全问题。
发明内容
本申请实施例提供一种磁盘管理方法、装置及电子设备，解决了现有技术，当磁盘与外界进行数据交互时，数据在接口层没有进行数据隔离，容易导致数据泄露的问题。
本申请实施例第一方面提供一种磁盘管理方法，所述磁盘管理方法适用于基于叠瓦式磁盘的分布式存储架构，所述叠瓦式磁盘的分布式存储架构包括：引擎层、封装层以及磁盘层；
其中，所述引擎层中存储有多个空间文件，每个空间文件相对独立；所述封装层存储有用于表示空间文件结构的文件目录树；所述磁盘层包括多个磁盘空间；
所述磁盘管理方法包括：
响应对引擎层所输出的文件目录树中目标空间文件进行的数据管理操作，通过所述引擎层中的空间文件索引项确定目标空间文件的文件地址；
通过所述引擎层将所述数据管理操作和目标空间文件的文件地址透传至所述封装层；
通过所述封装层中的地址关联列表确定与目标空间文件的文件地址对应的目标磁盘空间的空间地址；其中，所述地址关联列表包括各空间文件与其对应的磁盘空间的地址对应关系；
通过所述封装层确定的目标磁盘空间的空间地址对所述目标磁盘空间中的数据进行数据管理。
本申请实施例第二方面提供一种磁盘管理装置，所述磁盘管理装置适用于叠瓦式磁盘的分布式存储架构，包括：引擎层、封装层以及磁盘层；其中，所述引擎层中存储有多个空间文件，其中每个空间文件相对独立，所述封装层存储有用于表示空间文件结构的文件目录树；所述磁盘层包括多个磁盘空间；
所述引擎层用于响应对引擎层所展示的文件目录树中目标空间文件进行的数据管理操作，并利用所述引擎层中的空间文件索引项确定目标空间文件的文件地址；还用于将所述数据管理操作和目标空间文件的文件地址透传至所述封装层；
所述封装层用于根据地址关联列表确定与目标空间文件的文件地址对应的目标磁盘空间的空间地址；其中，所述地址关联列表包括各空间文件与其对应的磁盘空间的地址对应关系，并根据目标磁盘空间的空间地址对所述目标磁盘空间中的数据进行数据管理。
本申请上述实施例提供的磁盘管理装置，可在数据通过引擎层进入即被不同的空间文件进行隔离，保证数据在磁盘中不会发生泄露等安全问题。
本申请实施例第三方面提供一种电子设备,包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够第一方面中任一项所述的方法。
本申请实施例第四方面提供一种计算机程序，包括程序代码，当计算机运行所述计算机程序时，所述程序代码执行如第一方面所述的方法。
本申请实施例中，在原有磁盘层的基础上，还设置有包括有多个空间文件的引擎层，以及包括有空间文件结构的文件目录树的封装层；其中通过引擎层可输出文件目录树并接收对文件目录树中某一空间文件进行数据管理操作，在将数据管理操作透传至封装层之后，通过封装层的地址关联列表对该空间文件所对应的磁盘空间进行相应的数据管理，从而可在不同数据通过引擎层进入时即被不同的空间文件隔离，保证数据在磁盘中不会发生泄露等安全问题。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是一种现有的叠瓦记录式硬盘的分布式存储系统的结构示意图；
图2是可以实现本申请实施例的磁盘管理方法的场景图；
图3是本申请提供的一种叠瓦式磁盘的分布式存储架构示意图；
图4是本申请提供的一种磁盘管理方法的流程示意图；
图5是本申请提供的一种磁盘管理方法的界面交互示意图；
图6是本申请提供的另一种磁盘管理方法的流程示意图；
图7为本申请提供的空间文件重写示意图；
图8是本申请提供的又一种磁盘管理方法的流程示意图；
图9为本申请提供的磁盘管理装置的结构示意图；
图10是用来实现本申请实施例的磁盘管理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
为了清楚理解本申请的技术方案，首先对现有技术的方案进行详细介绍。
随着互联网的快速发展，云计算的逐步得到推广，伴随而来的是数据量的激增。为了提高数据存储量，保证云计算的顺利进行，叠瓦记录式硬盘的分布式存储系统应运而生，其通过重叠磁道，使得磁道密度和单位面积存储密度得到了有效提升。在现有技术中，为了便于对叠瓦记录式硬盘的分布式存储系统进行管理，会利上层接口层进行磁盘与外界的交互。
具体来说，图1是一种现有的叠瓦记录式硬盘的分布式存储系统的结构示意图，如图1所示的，上层应用通过API(Application Programming Interface，应用程序编程接口)管理SMR磁盘中的数据。其结构的内部功能模块例如包括索引管理器(Index Manager)、扇区管理器(SectorManager)、数据管理器(Data Manager)，其中，索引管理器用于负责管理包括录(包括增量日志和索引中的索引记录)，索引记录以及负责索引记录的排序和存储，扇区管理器负责为用户输入的数据分配存储空间，需要根据磁盘底层的Zone中存储空间的顺序为用户输入的数据按顺序分配存储空间，数据管理器通过计算将扇区管理器分配的位置转换为读写指令发送给SMR磁盘。
一般来说，在叠瓦记录式硬盘的分布式存储系统的磁盘底层划分有多个独立的磁盘空间，以用于存储不同用户的数据。但显然的，现有技术中其全部数据都通过API输入，并通过扇区管理器进行分配以进入不同的磁盘空间，也就是说现有的数据与数据在进入磁盘空间之前没有进行隔离的，这将容易出现数据泄露等安全问题。
所以针对现有技术中出现的数据泄露的安全问题，发明人在研究中发现，可在接口层直接进行区域分割，从而保证数据在进入磁盘之后，便分配置不同接口的区域，进而将区域与底层的磁盘空间进行关联，保证数据在磁盘中始终相对隔离，不会发生泄露等安全问题。
发明人基于上述的创造性发现，提出了本申请的技术方案。下面对本申请实施例提供的磁盘管理方法及磁盘的应用场景进行介绍。
图2是可以实现本申请实施例的磁盘管理方法的场景图，如图2所示，本申请实施例提供的磁盘管理方法对应的应用场景中包括：电子设备1和客户端2。
其中的电子设备1具体可为硬件服务器，或承载云端服务器的硬件载体。电子设备1中还包括有适用于基于叠瓦式磁盘的分布式存储架构的磁盘管理装置。客户端2可通过网络与电子设备1进行交互，并基于需求向电子设备1中的磁盘管理装置发起对于数据的读取删改等数据管理操作请求，以使磁盘管理装置基于磁盘管理方法实现对于磁盘的数据管理操作请求的响应。
此外，上述的电子设备1具体可为广泛适应在多种领域，其包括但不限云计算的数据存储、网盘存储等。
其中，特别强调的是，本申请提供的电子设备1由于利用了引擎层的文件空间的模式，其可对接多个数据源，即可将不同数据源与不同文件空间进行对接，实现了数据到磁盘之间的通路，且不同数据源之间的通路是隔离的，在保证数据安全的情况下，降低了数据存储的成本(即一块磁盘可用于存储更多数据源的数据)，提高了磁盘的存储空间的利用率。
为了便于对本发明提供的磁盘管理方法进行描述，首先将对磁盘管理方法所基于的于基于叠瓦式磁盘的分布式存储架构进行说明。
图3是本申请提供的一种叠瓦式磁盘的分布式存储架构示意图，如图3所示的，该叠瓦式磁盘的分布式存储架构中，包括引擎层10、封装层20以及磁盘层30。
在引擎层10中，包括有空间文件管理区11和索引管理区12。
其中的，空间文件管理区11中设置有多个空间文件，且任意两个空间文件是相对独立存在的。对于每一空间文件来说，空间大小固定且与磁盘层中的磁盘空间大小保持一致，以减轻架构的复杂程度，便于使用。
在索引管理区12中在设置有空间文件索引项，该空间文件索引项采用了嵌入式的数据库(如，rocksdb数据库)对空间文件的索引项进行存储，以用于记录每一空间文件的文件地址、大小等配置信息。
在封装层20中包括有文件管理区21、空间管理区22以及空间统计区23。
其中，文件管理区21中包括有文件目录树，该文件目录树用于表示各空间文件的空间文件结构。其可理解为文件目录树是对于各空间文件以及其之间的关系进行描述的树状结构。
需要说明的是，在文件目录树可通过引擎层的对外接口进行展示，以便于使用本架构的用户能够快速获知空间文件分布情况，并基于文件目录树触发需要操作的空间文件。也就是说，每一个空间文件都将在文件目录树上得到展示，相应的，当空间文件增加、删除或重写时，文件目录树都将对其展示的树状结构进行更新，以使用户快速获知最新的文件分布情况，便于使用。
空间管理区22则用于分配和释放引擎层10中各空间文件与磁盘层30中各磁盘空间之间的权限，以将每一空间文件的文件地址与该空间文件对应的磁盘空间的空间地址的地址对应关系(即地址关联列表)进行存储。
因此，当引擎层10中新增空间文件时，空间管理区22需要为其找到一空闲的磁盘层30的磁盘空间，并在将该磁盘空间的使用权限分配给新增空间文件之后，记录并存储该新增的地址对应关系；类似的是，当引擎层10中删除空间文件时，空间管理区22需要释放该空间文件与其对应磁盘空间之间的使用权限，并对地址关联列表中的地址对应关系一并进行删除。此外，空间管理区22还用于控制磁盘层30中的磁盘空间进行数据处理。
空间统计区23可用于统计磁盘层30的磁盘空间使用信息，如磁盘空间的空间大小、磁盘空间的数量以及磁盘空间中指针位置等。
磁盘层30则包括若干磁盘空间，其磁盘空间可与现有技术类似，采用叠瓦式磁盘(Shingled magnetic recording，简称SMR)的磁盘架构，其存储方式和数据处理方式均与现有技术类似，本申请中不在对其存储方式和数据处理方式进行赘述。
基于上述的存储架构，本申请实施例中提供了一种磁盘管理方法以及相应的磁盘管理装置。以下将参照附图来具体描述本申请的实施例。
图4是本申请提供的一种磁盘管理方法的流程示意图，如图4所示的，本申请实施例的执行主体为磁盘管理装置，该磁盘管理装置可集成在电子设备中。
本实施例提供的磁盘管理方法包括以下几个步骤。
步骤101，响应对引擎层所输出的文件目录树中目标空间文件进行的数据管理操作，通过所述引擎层中的空间文件索引项确定目标空间文件的文件地址。
步骤102，通过所述引擎层将所述数据管理操作和目标空间文件的文件地址透传至所述封装层。
步骤103，通过所述封装层中的地址关联列表确定与目标空间文件的文件地址对应的目标磁盘空间的空间地址；其中，所述地址关联列表包括各空间文件与其对应的磁盘空间的地址对应关系。
步骤104，通过所述封装层确定的目标磁盘空间的空间地址对所述目标磁盘空间中的数据进行数据管理。
本申请实施例中，在原有磁盘层的基础上，通过设置有包括有多个空间文件的引擎层，以及包括有空间文件结构的文件目录树的封装层；其中通过引擎层可输出文件目录树并接收对文件目录树中某一空间文件进行数据管理操作，在将数据管理操作透传至封装层之后，通过封装层的地址关联列表对该空间文件所对应的磁盘空间进行相应的数据管理，从而可在不同数据通过引擎层进入时即被不同的空间文件隔离，保证数据在磁盘中不会发生泄露等安全问题。
具体来说，本实施例中，磁盘管理装置可对外提供可用于交互接口，其可用于输出前述的文件目录树，还可接收用户触发的各类对于数据进行管理的操作。图5是本申请提供的一种磁盘管理方法的界面交互示意图。对于交互接口来说，其可以基于图形的交互界面(如图5所示)的形式存在，也可以基于字符的文本框或代码交互框的形式存在，本申请对此不进行限制。此外，针对于用户没有数据操作权限的空间文件，其不可对其进行数据管理操作(如图4所示的，可采用如锁型标识进行表示)。
针对于步骤101中接收到的数据管理操作来说，其操作一般具有指向性，即数据管理操作一般是针对文件目录树中的某一目标空间文件进行的。此外，对于数据管理操作而言，其不仅包括有操作目标，即目标空间文件，还应包括有操作的具体内容，如数据读存、数据迁移和数据删除等。
当引擎层接收并相应该数据管理操作时，首先会利用空间文件检索项确定数据管理操作的操作目标的地址，即目标空间文件的文件地址。
具体的，如图3所示的，该文件地址将存储在索引管理区12的空间文件检索项中。特别的，如前所述的，空间文件检索项是以Rocksdb的嵌入式的数据库的形式进行存储的，Rocksdb数据库是一种已有的存储解决方案，其对于存取快速存储器和高负载服务器来说更为高效，保证空间文件检索项可被高速率读写。
在其他可选实施方式中，在引擎层响应数据管理操作之前，还需要确认发起该数据管理操作的用户是否具备有可操作目标空间文件的操作权限，其具体的操作权限的确认方式可基于密钥技术、数字签证技术等现有的权限管理技术，本申请对其不进行限制。而通过对于该操作权限的确认，则可进一步保证磁盘中数据的数据安全。
本实施例中，电子设备通过与客户端(如图3所示)进行通信，获取客户端发送的数据管理操作请求，并对该数据管理操作进行相应的响应。磁盘管理装置与客户端进行通信，可通过其所基于的电子设备，而通信方式可以为全球移动通讯(Global System of Mobilecommunication，简称GSM)、码分多址(Code Division Multiple Access，简称CDMA)、宽带码分多址(Wideband Code Division Multiple Access，简称WCDMA)、时分同步码分多址(Time Division-Synchronous Code Division Multiple Access，简称TD-SCDMA)、长期演进(Long Term Evolution，简称LTE)系统及未来的5G等。可以理解的是，磁盘管理装置(电子设备)与客户端的通信方式还可以为无线通信方式，无线通信方式可以为紫蜂zigbee通信、蓝牙BLE通信或行动热点wifi通信等。
然后，如步骤102所述的，引擎层10确定目标空间文件的文件地址之后，还会将该文件地址和数据管理操作一并透传至封装层20，其具体透传至封装层20的空间管理区22。随后，如步骤103以及图3所示的，在空间管理区22中存储有空间文件和磁盘空间之间的对应关系，该对应关系是指对某一空间文件触发的各类操作均通过封装层20作用于其对应的磁盘空间内存储的数据或磁盘空间本身上，而空间管理区22中即存储有可表示该对应关系的地址关联列表，在地址关联列表中，各空间文件的文件地址与其对应的磁盘空间的地址将被关联存储，以便于在引擎层10确定目标空间文件的文件地址之后，封装层20能通过该地址关联列表确定与目标空间文件对应的目标磁盘空间的空间地址。
最后，如步骤104所述的在封装层20获得磁盘层30中目标磁盘空间的空间地址之后，空间管理区22将利用空间地址对目标磁盘空间进行数据管理。
可选的实施例中，为了便于数据管理，简化架构的逻辑复杂程度，可使空间文件的容量与磁盘空间的容量保持一致。
在可选实施例中，数据管理操作可包括数据管理操作包括数据读存、数据迁移和数据删除。具体来说，针对每一种数据管理操作，空间管理区22在对目标磁盘空间进行数据管理时，均可调用相应的执行函数。
举例来说，可利用“pread”这一函数进行数据读取，“pwrite”这一函数进行数据的写入等。当然还可采用其他类型或其他语言架构的函数进行数据管理，本申请对此不进行任何限制。
本申请实施例中，在原有磁盘层的基础上，还设置有包括有多个空间文件的引擎层，以及包括有空间文件结构的文件目录树的封装层；其中的引擎层可响应对引擎层所展示的文件目录树中目标空间文件进行的数据管理操作，所述封装层将根据数据管理操作在地址关联列表中，确定与目标空间文件的目标磁盘空间，并对所述目标磁盘空间中的数据进行数据管理。从而可在数据通过引擎层进入即被不同的空间文件进行隔离，保证数据在磁盘中不会发生泄露等安全问题。
为了满足磁盘的实际使用需求，保证数据的安全，需要保证不同的数据均可通过不同的空间文件进行数据管理，而对于空间文件进行管理也是必不可缺的重要环节。
在前述实施例的基础上，图6是本申请提供的另一种磁盘管理方法的流程示意图，如图6所示，在前述实施例提供的磁盘管理方法的基础上，在磁盘管理过程中还包括有对于空间文件进行管理的空间文件管理操作的步骤。
具体来说，在前述步骤101-103的基础上，本实施例提供的可磁盘管理方法还包括以下步骤。
步骤201，响应对引擎层所输出的文件目录树触发的空间文件管理操作，通过所述引擎层管理其存储多个空间文件，并将所述空间文件管理操透传至所述封装层。
步骤202、通过所述引擎层将所述空间文件管理操作透传至所述封装层。
步骤203、通过所述封装层对引擎层中的空间文件与磁盘层中磁盘空间之间的关联关系进行处理。
步骤204、通过所述封装层利用处理结果对所述文件目录树进行更新，并将更新后的文件目录树通过所述引擎层进行输出。
需要说明的是，本实施可采用如图3所示架构，其涉及的步骤201-204所基于的实施例是对前述实施例的进一步扩展，即其在执行步骤201至204的基础上还可执行步骤101至104。
具体来说，如图3所示的，在封装层20的文件管理区21中包括有文件目录树，该文件目录树用于表示各空间文件的空间文件结构。其可理解为文件目录树是对于各空间文件以及其之间的关系进行描述的树状结构。
因此，在本实施例中为了使得展示的文件目录树与实际引擎层10中的空间文件的结构保持一致，本实施例还需对于文件目录树进行相应的更新处理，以便用户查看和获取。
以下将对本实施例中涉及到的处理步骤进行说明：
首先，与前述实施例类似的是，在本实施例中，磁盘管理装置在对外提供可用于交互接口上还可接收用户触发的对文件目录树中的空间文件进行的空间文件管理操作。
针对于接收到的空间文件管理操作来说，其可能存在多种不同类型的空间文件管理操作，例如，空间文件的创建、删除、重写等等。与数据管理操作略有不同的是，空间文件管理操作可能具有指向性(如删除和重写)，也可能不具有指向性(如创建)。
此外，当引擎层10接收并响应该空间文件管理操作时，会给予空间文件管理操作的不同而执行不同的处理方式。
如针对于具有指向性的操作(如删除和重写)来说，可先利用空间文件检索项确定空间文件管理操作的操作目标的地址，即目标空间文件的文件地址。再调用相应的操作函数有，以对其进行相应管理。如针对于不具有指向性的操作(如创建)来说，可直接调用相应的操作函数有，以对其进行相应管理。
需要说明的是，上述涉及的空间文件检索项的相关描述可参见前述实施例，在此不进行赘述。此外，在引擎层响应空间文件管理操作之前，也需要确认发起该空间文件管理操作的用户是否具备有可管理其想要管理的空间文件的操作权限，其具体的操作权限的确认方式可基于密钥技术、数字签证技术等现有的权限管理技术，本申请对其不进行限制。而通过对于该操作权限的确认，则可进一步保证磁盘中数据的数据安全。
随后，当引擎层10完成对于空间文件的管理操作之后，还会将该空间文件管理操作透传至封装层20中的文件管理区21和空间管理区22。
如前述实施例所述的，空间管理区22可用于对空间文件和磁盘空间之间的对应关系进行管理(即将对应关系进行绑定或释放)，因此，当空间管理区22接收到空间文件管理操作之后，将会基于该操作类型对空间文件和磁盘空间之间的关联关系进行处理。其中的处理包括但不限于，对于地址关联列表的更新，对于某一空间文件与磁盘空间之间的对应关系进行绑定或释放。
文件管理区21中包括有文件目录树，由于文件目录树记录有引擎层10中的各空间文件的结构，因此，在空间管理区22完成对关联关系的处理之后，文件管理区21将对文件目录树进行更新，以使更新后的文件目录树可被展示在引擎层10中，从而保证了文件目录树在展示空间文件管理操作的结果时的实时性。
当然，针对于不同类型的空间文件管理操作来说，其处理流程将存在差异，以下将分别以空间文件创建操作、空间文件删除操作以及空间文件重写操作为例，对上述涉及的磁盘管理方法进行进一步说明：
空间文件创建操作：
为了使得空间文件的管理更为便利，提高其结构的灵活性，当现有的空间文件均被占据时，针对于新存储的数据来说，需要为其创建新的空间文件，以保证数据的安全。因此，当空间文件管理操作具体为可用于创建空间文件的操作时，步骤201具体可包括：
步骤2011、通过所述引擎层创建新的空间文件；
相应的，步骤203具体可包括：
步骤2031、通过所述封装层在磁盘层中确定任一空闲磁盘空间，并将新的空间文件的空间地址与所述空闲磁盘空间的空间地址关联存储在地址关联列表中，以使写入该新的空间文件中的数据，通过地址关联列表，被存储至与该新的空间文件对应的空闲磁盘空间中；其中，所述地址关联列表包括各空间文件与其对应的磁盘空间的地址对应关系。
具体来说，当用户有对于数据进行存储的需求时，可向磁盘的引擎层10发送用于写入数据的数据管理操作。此时，引擎层10、封装层20将会确定是否有能够容纳该数据的磁盘空间以写入数据，若没有，则转入本实施例所述的空间文件创建操作；或者，用户可直接对于引擎层10发起空间文件创建操作。无论哪种触发方式，引擎层10中的空间文件管理区11均将接收到用户在引擎层10触发的空间文件创建操作，并对该操作进行响应。
该空间文件管理区11首先会根据该空间文件创建操作的需求结合磁盘存储情况，创建多个空间文件。
由于空间文件有增添，其结构将发生变更，此时，还需要对文件目录树进行更新：在引擎层10将空间文件创建操作透传给封装层20的空间管理区22之后，空间管理区22首先会在磁盘层30中找到一空间磁盘空间，即未与任何空间文件进行绑定的磁盘空间，随后，将该创建得到的新的空间文件的文件地址，与空间磁盘空间的空间地址进行关联存储，以对其内存储的地址关联列表进行更新。
此外，还可对于文件目录树进行更新，即可选实施例中，步骤204具体可包括：
步骤2041、通过所述封装层在所述文件目录树中添加所述新的空间文件的文件标识，得到更新后的文件目录树，并将更新后的文件目录树通过所述引擎层进行输出。
具体来说，引擎层10还会将空间文件创建操作一并透传至封装层20的文件管理区21中。文件管理区21将基于该空间文件创建操作，并集合步骤2021中地址关联列表的更新结果，对文件目录树进行更新。更新后的文件目录树中将添加有本次创建的新的空间文件的文件标识，且更新后的文件目录树将通过引擎层10进行展示，以供用户获取。
空间文件删除操作：
为了使得空间文件的管理更为便利，提高其结构的灵活性，当现有的空间文件被重写时(重写会释放一些空间文件)，针对于引擎层来说，需要删除无用的空间文件或闲置的空间文件，以保证存储资源的有效利用。当空间文件管理操作具体为可用于删除空间文件的操作时，步骤201具体可包括：
步骤2012、通过所述引擎层删除被空间文件删除操作选中的待删除空间文件；
相应的，步骤203具体可包括：
步骤2032、通过所述封装层中的地址关联列表确定与待删除空间文件对应的待删除磁盘空间，删除所述待删除磁盘空间中的数据，并将待删除磁盘空间与所述待删除空间文件在地址关联列表中的地址对应关系进行释放；其中，所述地址关联列表包括各空间文件与其对应的磁盘空间的地址对应关系。
具体来说，当用户有对于数据进行存储删除或迁移等需求时，可向磁盘的引擎层10发送用于删除数据或迁移数据的数据管理操作。此时，
引擎层10、封装层20将会确定是否在执行完数据删除或数据迁移之后，对空间文件进行删除操作；或者，用户可直接对于引擎层10发起空间文件删除操作。无论哪种触发方式，引擎层10中的空间文件管理区11均将接收到用户在引擎层10触发的空间文件删除操作，并对该操作进行响应。
该空间文件管理区11首先会根据该空间文件删除操作确定待删除文件，然后在引擎层10的空间文件管理区11中对该待删除空间文件进行删除。此外，删除操作还将涉及到对于待删除空间文件对应的待删除磁盘空间中数据的删除。当待删除空间文件和待删除磁盘空间中的数据均被删除之后，封装层20的空间管理区22将会释放待删除空间文件与待删除磁盘空间之间的绑定关系，并对其地址关联列表中的地址对应关系进行删除或释放。
此外，还可对于文件目录树进行更新，即可选实施例中，步骤204具体可包括：
步骤2042、通过所述封装层在所述文件目录树中删除被空间文件删除操作选中的待删除空间文件的文件标识，得到更新后的文件目录树，并将更新后的文件目录树通过所述引擎层进行输出。
具体来说，引擎层10还会将空间文件删除操作一并透传至封装层20的文件管理区21中。文件管理区21将基于该空间文件删除操作，并集合步骤2021中地址关联列表的更新结果，对文件目录树进行更新。
更新后的文件目录树中将删除有本次待删除空间文件的文件标识，且更新后的文件目录树将通过引擎层10进行展示，以供便于用户获取。
空间文件重写操作：
为了使得空间文件的管理更为便利，提高其结构的灵活性，当现有存储资源不足时，可对空间文件进行重写操作，以保证每个空间文件的存储资源利用率均较高。因此，当空间文件管理操作具体为可用于删除空间文件的操作时，步骤201具体可包括：
步骤2013、通过所述引擎层获取每一空间文件的空洞率以及创建时间，并确定待重写空间文件；其中，所述待重写空间文件的空洞率大于空洞率阈值，且创建时间对应的时长大于时长阈值；
步骤2014、通过所述引擎层对所述待重写空间文件进行重写处理。
通过对于引擎层10中的各空间文件进行重写处理，能够有效提高空间文件的使用效率。需要说明的是，针对每一次重写来说，其仅能对于同属于一个用户的多个空间文件进行重写。而对于不同用户的空间文件来说，由于数据源的不同，为了保证数据不会被泄露，其不同用户的空间文件将无法在同一次的重写处理中被执行重写。
具体来说，在接收到空间文件重写操作时，引擎层10的空间文件管理区11将对于每个空间文件的空洞率进行确定，并选出符合条件的空间文件以作为待重写空间文件。其中的条件可为空洞率阈值以及创建时长。也就是说，当一个空间文件的空洞率大于空洞率阈值时，且其从创建之时起直至今日当前时刻所跨过的时间长度大于时长阈值时，该空间文件将被作为待重写空间文件。
然后，引擎层10中的空间文件管理区11将对于这些待重写空间文件进行重写处理，即所述引擎层10对各待重写空间文件进行重新组合，得到重写后的空间文件，同时，引擎层10还需要确定重写后的空间文件的文件位置，即重写位置。随后，引擎层10将所述引擎层释放待重写空间文件的物理空间；其中，所述重写位置为前一次重写处理得到的重写后的空间文件末端。
举例来说，图7为本申请提供的空间文件重写示意图，如图7所示的，假设在初始状态下包括有空间文件A、空间文件B、空间文件C以及空间文件D的四个同属于一个用户的空间文件，其中,四个空间文件的空洞率均大于空洞率阈值，而空间文件D为最新创建的空间文件，其创建时间对应的时长小于时长阈值，空间文件A、空间文件B、空间文件C的创建时长大于等于时长阈值，基于这种情况，本次重写将空间文件A、B、C作为待重写空间文件。
随后，引擎层10将对空间文件A、空间文件B、空间文件C执行一次重写处理，以使空间文件A、空间文件B、空间文件C的空间重新分配或内容进行重新存储，并得到重写后的空间文件E和空间文件F，其中由于该次重写为首次重写，其不存在前一次重写处理得到的重写后的空间文件，即本次重写处理的重写位置可为新空间文件的首端。此时，空间文件E和空间文件F的空洞率均大于空洞率阈值，且创建时长进行更新。其中由于容量的问题，空间文件F没有占满整个空间文件的容量，即空间文件F中，仅有一半的文件容量被使用或被占用。至此一次重写处理完成。
图7还展示了对于前述重写处理后的空间文件进行第二次重写处理的过程。具体来说，在过了一段时间之后，引擎层10中包括有空间文件D、空间文件E、空间文件F以及空间文件G。其中的，空间文件E、空间文件F为前一次重写处理获得的，而空间文件G为在该一段时间内新创建的。
在第二次重写处理时，首先也需要确定本次待重写空间文件。可假设的是，随着时间推移，针对空洞率来说，空间文件F以及空间文件D的空洞率均小于空洞率阈值，而空间文件F和空间文件G的空洞率大于等于空洞率阈值；而针对创建时长来说，仅有空间文件G的创建时长小于时长阈值，而空间文件E、空间文件F以及空间文件D的创建时长均大于等于时长阈值。此时，空间文件E以及空间文件D将作为第二次重写处理时的待重写空间文件。
引擎层10将对空间文件E以及空间文件D进行重写处理，最终得到空间文件F和空间文件H以及空间文件G。其中，空间文件G为第二次重写处理前已经存在的空间文件，而空间文件F和空间文件H则为本次重写处理后得到的空间文件。如前所述的，在重写处理之后，还需要确定重写位置，由于前一次的重写处理中，空间文件F为其最后一个空间文件，且空间文件F的容量未过半，因此，将该空间文件F的后半段作为第二次重写处理的重写位置，以将重写后的空间文件整合至该空间文件F的后半段，得到完整容量的空间文件F，而空间文件F无法容纳的部分将形成新的空间文件H。
通过采用这样的重写处理方式，能够使得空间文件的容量最大化，提高了降低空间文件空洞率的同时有效提高了空间文件利用率。
本实施例提供的磁盘管理方法，在前述实施例的基础上，还提供包括有对于空间文件进行管理的空间文件管理操作的处理方式，从而可实现对于空间文件结构的管理，提高磁盘中存储结构的灵活程度，便于用户使用。
为了进一步便于用户对磁盘的信息进行获取，以便于对磁盘进行管理，本实施例还将提供了对磁盘层进行统计和查看的功能。具体来说，基于图3所示架构，图8是本申请提供的又一磁盘管理方法的流程示意图，如图8所示，本实施例提供的磁盘管理方法在本申请实施例一或实施例二提供的磁盘管理方法的基础上，还包括有磁盘层进行统计和查看的功能。
具体来说，在前述步骤101-104或步骤201-204的基础上，本实施例提供的可磁盘管理方法还包括以下步骤：
步骤301、响应通过引擎层透传至封装层的统计操作；
步骤302、通过所述引擎层将预存在所述封装层中的磁盘层的磁盘空间使用信息进行输出。
在本实施例中，也可基于前述实施例的方式进行数据管理和/或空间文件管理。但本实施例还可进行封装层20中的空间统计区23对于磁盘层30的相关信息进行查看和统计。
以下将对本实施例中涉及到的处理步骤进行说明：
首先，与前述实施例类似的是，在本实施例中，磁盘在对外提供可用于交互接口上还可接收用户触发的对磁盘层30的磁盘空间进行的统计操作。
在引擎层10接收到该统计操作之后，还会将其透传至封装层20的空间统计区23。如图3所示的，在封装层20设置有空间统计区23，其可用于统计磁盘层30的磁盘空间使用信息，如磁盘层中空闲磁盘空间列表、空闲磁盘空间的磁盘容量以及各磁盘空间的总容量等。
在完成统计之后，这些磁盘空间实用信息将会通过引擎层10进行展示。
需要说明的是，在引擎层响应统计操作之前，也需要确认发起该空间统计操作的用户是否具备有可统计和查看其磁盘空间的操作权限，其具体的操作权限的确认方式可基于密钥技术、数字签证技术等现有的权限管理技术，本申请对其不进行限制。而通过对于该操作权限的确认，则可进一步保证磁盘中数据的数据安全。
本实施例提供的磁盘管理方法，在前述实施例的基础上，还提供包括有对于磁盘空间使用信息的统计查看方式，从而可便于用户对磁盘的使用情况进行查看和使用。
图9为本申请提供的磁盘管理装置的结构示意图，该磁盘管理装置适用于叠瓦式磁盘的分布式存储架构，如图9所示，本实施例提供的磁盘管理装置，包括：引擎层10、封装层20以及磁盘层30。
其中，所述引擎层10中存储有多个空间文件，其中每个空间文件相对独立，所述封装层20存储有用于表示空间文件结构的文件目录树；所述磁盘层30包括多个磁盘空间；
所述引擎层10用于响应对引擎层10所展示的文件目录树中目标空间文件进行的数据管理操作，并利用所述引擎层10中的空间文件索引项确定目标空间文件的文件地址；还用于将所述数据管理操作和目标空间文件的文件地址透传至所述封装层20；
所述封装层20用于根据地址关联列表确定与目标空间文件的文件地址对应的目标磁盘空间的空间地址；其中，所述地址关联列表包括各空间文件与其对应的磁盘空间的地址对应关系，并根据目标磁盘空间的空间地址对所述目标磁盘空间中的数据进行数据管理。
可选实施例中，该磁盘引擎层10还用于响应对引擎层10所展示的文件目录树触发的空间文件管理操作，所述引擎层10根据空间文件管理操作管理其存储的多个空间文件；
所述引擎层10将所述空间文件管理操作透传至所述封装层20，以使所述封装层20根据空间文件管理操作对引擎层10中的空间文件与磁盘层30中磁盘空间之间的关联关系进行处理；
所述封装层20根据处理结果对所述文件目录树进行更新，并将更新后的文件目录树通过所述引擎层10进行展示。
可选实施例中，所述空间文件管理操作为空间文件创建操作；
所述引擎层10具体用于根据空间文件创建操作创建新的空间文件；并将所述空间文件管理操作透传至所述封装层20。
所述封装层具体用于在磁盘层30中确定任一空闲磁盘空间，并将新的空间文件的空间地址与所述空闲磁盘空间的空间地址关联存储在地址关联列表中，以使写入该新的空间文件中的数据，通过地址关联列表，被存储至与该新的空间文件对应的空闲磁盘空间中；其中，所述地址关联列表包括各空间文件与其对应的磁盘空间的地址对应关系。
可选实施例中，所述封装层20具体用于在所述文件目录树中添加所述新的空间文件的文件标识，得到更新后的文件目录树，并将更新后的文件目录树通过所述引擎层10进行展示。
可选实施例中，所述空间文件管理操作为空间文件删除操作；
所述引擎层10具体用于删除被空间文件删除操作选中的待删除空间文件；并将所述空间文件管理操作透传至所述封装层20。
所述封装层20具体用于根据地址关联列表，确定与待删除空间文件对应的待删除磁盘空间，删除所述待删除磁盘空间中的数据，并将待删除磁盘空间与所述待删除空间文件在地址关联列表中的地址对应关系进行释放；其中，所述地址关联列表包括各空间文件与其对应的磁盘空间的地址对应关系。
可选实施例中，所述封装层20具体用于在所述文件目录树中删除被空间文件删除操作选中的待删除空间文件的文件标识，得到更新后的文件目录树，并将更新后的文件目录树通过所述引擎层10进行展示。
可选实施例中，所述空间文件管理操作为空间文件重写操作；
所述引擎层10具体用于获取每一空间文件的空洞率以及创建时间，并确定待重写空间文件；其中，所述待重写空间文件的空洞率大于空洞率阈值，且创建时间对应的时长大于时长阈值；
所述引擎层10对所述待重写空间文件进行重写处理。
可选实施例中，所述引擎层10对所述待重写空间文件进行重写处理，包括：
所述引擎层10对各待重写空间文件进行重新组合，得到重写后的空间文件；
所述引擎层10还用于确定重写后的空间文件的重写位置，并释放待重写空间文件的物理空间；其中，所述重写位置为前一次重写处理得到的重写后的空间文件末端。
可选实施例中，所述引擎层10还用于响应通过引擎层10透传至封装层20的统计操作；
所述引擎层10将预存在所述封装层20中的磁盘层30的磁盘空间使用信息进行展示。
可选实施例中，所述磁盘空间使用信息包括磁盘层30中空闲磁盘空间列表、空闲磁盘空间的磁盘容量以及各磁盘空间的总容量。
可选实施例中，所述磁盘空间的容量与所述空间文件的容量一致。
可选实施例中，所述数据管理操作包括数据读存、数据迁移和数据删除。
本实施例提供的磁盘管理装置可以执前述任一所示方法实施例的技术方案，其实现原理和技术效果前述方法实施例类似，在此不再一一赘述。
根据本申请的实施例，本申请还提供了一种电子设备。
如图10所示，是根据本申请实施例的磁盘管理方法的电子设备的框图。电子设备旨在各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图10所示，该电子设备包括：一个或多个处理器1001、存储器1002，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图10中以一个处理器1001为例。
存储器1002即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的磁盘管理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的磁盘管理方法。
存储器1002作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的磁盘管理方法对应的程序指令/模块(例如，附图8所示的环境数据获取模块801，特征数据提取模块802，初始危险值预测模块803，最终危险值计算模块804及区域计算模块805)。处理器1001通过运行存储在存储器1002中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的磁盘管理方法。
存储器1002可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图10的电子设备的使用所创建的数据等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1002可选包括相对于处理器1001远程设置的存储器，这些远程存储器可以通过网络连接至图10的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图10的电子设备还可以包括：输入装置1003和输出装置1004。处理器1001、存储器1002、输入装置1003和输出装置1004可以通过总线或者其他方式连接，图10中以通过总线连接为例。
输入装置1003可接收输入的语音、数字或字符信息，以及产生与图10的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1004可以包括语音播放设备、显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (19)

1.一种磁盘管理方法，其特征在于，所述磁盘管理方法适用于基于叠瓦式磁盘的分布式存储架构，所述叠瓦式磁盘的分布式存储架构包括：引擎层、封装层以及磁盘层；
其中，所述引擎层中存储有多个空间文件，每个空间文件相对独立；所述封装层存储有用于表示空间文件结构的文件目录树；所述磁盘层包括多个磁盘空间；其中，所述空间文件的空间大小固定且与所述磁盘层中的磁盘空间大小保持一致；
所述磁盘管理方法包括：
响应对引擎层所输出的文件目录树中目标空间文件进行的数据管理操作，通过所述引擎层中的空间文件索引项确定目标空间文件的文件地址；
通过所述引擎层将所述数据管理操作和目标空间文件的文件地址透传至所述封装层；
通过所述封装层中的地址关联列表确定与目标空间文件的文件地址对应的目标磁盘空间的空间地址；其中，所述地址关联列表包括各空间文件与其对应的磁盘空间的地址对应关系；
通过所述封装层确定的目标磁盘空间的空间地址对所述目标磁盘空间中的数据进行数据管理。
2.根据权利要求1所述的磁盘管理方法，其特征在于，还包括：
响应对引擎层所输出的文件目录树触发的空间文件管理操作，通过所述引擎层管理其存储的多个空间文件，并将所述空间文件管理操透传至所述封装层；
通过所述引擎层将所述空间文件管理操作透传至所述封装层；
通过所述封装层对引擎层中的空间文件与磁盘层中磁盘空间之间的关联关系进行处理；
通过所述封装层利用处理结果对所述文件目录树进行更新，并将更新后的文件目录树通过所述引擎层进行输出。
3.根据权利要求2所述的磁盘管理方法，其特征在于，所述空间文件管理操作为空间文件创建操作；
通过所述引擎层管理其存储的多个空间文件，包括：
通过所述引擎层创建新的空间文件；
通过所述封装层对引擎层中的空间文件与磁盘层中磁盘空间之间的关联关系进行处理，包括：
通过所述封装层在磁盘层中确定任一空闲磁盘空间，并将新的空间文件的空间地址与所述空闲磁盘空间的空间地址关联存储在地址关联列表中，以使写入该新的空间文件中的数据，通过地址关联列表，被存储至与该新的空间文件对应的空闲磁盘空间中；
其中，所述地址关联列表包括各空间文件与其对应的磁盘空间的地址对应关系。
4.根据权利要求3所述的磁盘管理方法，其特征在于，通过所述封装层利用处理结果对所述文件目录树进行更新，并将更新后的文件目录树通过所述引擎层进行输出，包括：
通过所述封装层在所述文件目录树中添加所述新的空间文件的文件标识，得到更新后的文件目录树，并将更新后的文件目录树通过所述引擎层进行输出。
5.根据权利要求2所述的磁盘管理方法，其特征在于，所述空间文件管理操作为空间文件删除操作；
通过所述引擎层管理其存储的多个空间文件，包括：
通过所述引擎层删除被空间文件删除操作选中的待删除空间文件；
通过所述封装层对引擎层中的空间文件与磁盘层中磁盘空间之间的关联关系进行处理，包括：
通过所述封装层中的地址关联列表确定与待删除空间文件对应的待删除磁盘空间，删除所述待删除磁盘空间中的数据，并将待删除磁盘空间与所述待删除空间文件在地址关联列表中的地址对应关系进行释放；
其中，所述地址关联列表包括各空间文件与其对应的磁盘空间的地址对应关系。
6.根据权利要求5所述的磁盘管理方法，其特征在于，通过所述封装层利用处理结果对所述文件目录树进行更新，并将更新后的文件目录树通过所述引擎层进行输出，包括：
通过所述封装层在所述文件目录树中删除被空间文件删除操作选中的待删除空间文件的文件标识，得到更新后的文件目录树，并将更新后的文件目录树通过所述引擎层进行输出。
7.根据权利要求2所述的磁盘管理方法，其特征在于，所述空间文件管理操作为空间文件重写操作；
通过所述引擎层管理其存储的多个空间文件，包括：
通过所述引擎层获取每一空间文件的空洞率以及创建时间，并确定待重写空间文件；其中，所述待重写空间文件的空洞率大于空洞率阈值，且创建时间对应的时长大于时长阈值；
通过所述引擎层对所述待重写空间文件进行重写处理。
8.根据权利要求7所述的磁盘管理方法，其特征在于，通过所述引擎层对所述待重写空间文件进行重写处理，包括：
通过所述引擎层对各待重写空间文件进行重新组合，得到重写后的空间文件；
通过所述引擎层确定重写后的空间文件的重写位置，释放待重写空间文件的物理空间；其中，所述重写位置为前一次重写处理得到的重写后的空间文件末端。
9.根据权利要求1所述的磁盘管理方法，其特征在于，还包括：
响应通过引擎层透传至封装层的统计操作；
通过所述引擎层将预存在所述封装层中的磁盘层的磁盘空间使用信息进行输出。
10.根据权利要求9所述的磁盘管理方法，其特征在于，所述磁盘空间使用信息包括磁盘层中空闲磁盘空间列表、空闲磁盘空间的磁盘容量以及各磁盘空间的总容量。
11.根据权利要求1-10任一项所述的磁盘管理方法，其特征在于，所述磁盘空间的容量与所述空间文件的容量一致。
12.根据权利要求1-10任一项所述的磁盘管理方法，其特征在于，所述数据管理操作包括数据读存、数据迁移和数据删除。
13.一种磁盘管理装置，其特征在于，所述磁盘管理装置适用于叠瓦式磁盘的分布式存储架构，包括：引擎层、封装层以及磁盘层；
其中，所述引擎层中存储有多个空间文件，其中每个空间文件相对独立，所述封装层存储有用于表示空间文件结构的文件目录树；所述磁盘层包括多个磁盘空间；其中，所述空间文件的空间大小固定且与所述磁盘层中的磁盘空间大小保持一致；
所述引擎层用于响应对引擎层所展示的文件目录树中目标空间文件进行的数据管理操作，并利用所述引擎层中的空间文件索引项确定目标空间文件的文件地址；还用于将所述数据管理操作和目标空间文件的文件地址透传至所述封装层；
所述封装层用于根据地址关联列表确定与目标空间文件的文件地址对应的目标磁盘空间的空间地址；其中，所述地址关联列表包括各空间文件与其对应的磁盘空间的地址对应关系，并根据目标磁盘空间的空间地址对所述目标磁盘空间中的数据进行数据管理。
14.根据权利要求13所述的磁盘管理装置，其特征在于，
所述引擎层还用于展示文件目录树，并根据触发的对文件目录树的空间文件管理操作管理其存储的多个空间文件；
所述封装层还用于根据空间文件管理操作对引擎层中的空间文件与磁盘层中磁盘空间之间的关联关系进行处理，并根据处理结果对所述文件目录树进行更新，并将更新后的文件目录树通过所述引擎层进行展示。
15.根据权利要求14所述的磁盘管理装置，其特征在于，
所述空间文件管理操作为空间文件创建操作；
所述引擎层具体用于根据空间文件创建操作创建新的空间文件；
所述封装层具体用于在磁盘层中确定任一空闲磁盘空间，并将新的空间文件的空间地址与所述空闲磁盘空间的空间地址关联存储在地址关联列表中，以使写入该新的空间文件中的数据，通过地址关联列表，被存储至与该新的空间文件对应的空闲磁盘空间中；其中，所述地址关联列表包括各空间文件与其对应的磁盘空间的地址对应关系。
16.根据权利要求15所述的磁盘管理装置，其特征在于，所述空间文件管理操作为空间文件删除操作；
所述引擎层具体用于删除被空间文件删除操作选中的待删除空间文件；
所述封装层具体用于根据地址关联列表，确定与待删除空间文件对应的待删除磁盘空间，删除所述待删除磁盘空间中的数据，并将待删除磁盘空间与所述待删除空间文件在地址关联列表中的地址对应关系进行释放；其中，所述地址关联列表包括各空间文件与其对应的磁盘空间的地址对应关系。
17.根据权利要求14所述的磁盘管理装置，其特征在于，所述空间文件管理操作为空间文件重写操作；
所述引擎层具体用于获取每一空间文件的空洞率以及创建时间，并确定待重写空间文件；其中，所述待重写空间文件的空洞率大于空洞率阈值，且创建时间对应的时长大于时长阈值；对所述待重写空间文件进行重写处理。
18.根据权利要求14所述的磁盘管理装置，其特征在于，所述封装层还用于响应通过引擎层透传至封装层的统计操作；将预存在所述封装层中的磁盘层的磁盘空间使用信息通过所述引擎层进行展示。
19.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12中任一项所述的方法。
CN202010237573.1A 2020-03-30 2020-03-30 磁盘管理方法、装置以及电子设备 Active CN111459412B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010237573.1A CN111459412B (zh) 2020-03-30 2020-03-30 磁盘管理方法、装置以及电子设备
US17/020,967 US11681444B2 (en) 2020-03-30 2020-09-15 Shingled magnetic disk management method for data isolation by space files, apparatus, and electronic device
EP21154492.9A EP3839718B1 (en) 2020-03-30 2021-02-01 Magnetic disk management method, apparatus and electronic device
KR1020210038688A KR20210040880A (ko) 2020-03-30 2021-03-25 디스크 관리 방법, 장치 및 전자 기기
JP2021055913A JP7082701B2 (ja) 2020-03-30 2021-03-29 磁気ディスクの管理方法、磁気ディスクの管理装置、電子機器、コンピュータプログラムおよびコンピュータ可読記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010237573.1A CN111459412B (zh) 2020-03-30 2020-03-30 磁盘管理方法、装置以及电子设备

Publications (2)

Publication Number Publication Date
CN111459412A CN111459412A (zh) 2020-07-28
CN111459412B true CN111459412B (zh) 2023-07-04

Family

ID=71683381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010237573.1A Active CN111459412B (zh) 2020-03-30 2020-03-30 磁盘管理方法、装置以及电子设备

Country Status (5)

Country Link
US (1) US11681444B2 (zh)
EP (1) EP3839718B1 (zh)
JP (1) JP7082701B2 (zh)
KR (1) KR20210040880A (zh)
CN (1) CN111459412B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113901276B (zh) * 2021-09-30 2024-07-09 苏州浪潮智能科技有限公司 一种数据管理、b+树加载方法、装置及电子设备
CN114661676B (zh) * 2022-04-19 2023-03-21 重庆紫光华山智安科技有限公司 分布式数据库管理系统、方法、电子设备及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567003A (zh) * 2009-05-27 2009-10-28 清华大学 并行文件系统中资源的管理和分配方法
US9104339B1 (en) * 2012-04-27 2015-08-11 Symantec Corporation Support track aligned partitions inside virtual machines
US9324367B1 (en) * 2015-05-05 2016-04-26 Futurewei Technologies, Inc. SMR-aware append-only file system
CN106201355A (zh) * 2016-07-12 2016-12-07 腾讯科技（深圳）有限公司 数据处理方法和装置以及存储系统
CN109491589A (zh) * 2017-09-13 2019-03-19 北京易华录信息技术股份有限公司 一种基于文件内容的分层处理方法及装置
CN109753224A (zh) * 2017-11-03 2019-05-14 浙江宇视科技有限公司 存储结构及存储结构配置方法
CN110663019A (zh) * 2017-05-26 2020-01-07 微软技术许可有限责任公司 用于叠瓦式磁记录(smr)的文件系统
CN110931057A (zh) * 2018-09-19 2020-03-27 希捷科技有限公司 具有磁性头-盘接口（hdi）的数据存储盒

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020095557A1 (en) * 1998-06-22 2002-07-18 Colin Constable Virtual data storage (VDS) system
JP4250933B2 (ja) 2002-09-04 2009-04-08 コニカミノルタビジネステクノロジーズ株式会社 データ管理システムおよびデータ管理プログラム
JP2004112119A (ja) 2002-09-13 2004-04-08 Nec Corp 携帯電話における電話帳情報の共有方式
US7457822B1 (en) 2002-11-01 2008-11-25 Bluearc Uk Limited Apparatus and method for hardware-based file system
JP4329412B2 (ja) * 2003-06-02 2009-09-09 株式会社日立製作所 ファイルサーバシステム
US8213041B2 (en) 2006-09-25 2012-07-03 Kyocera Mita Corporation Image forming apparatus provided with an image filing function for saving files in an organized manner
JP2008083754A (ja) 2006-09-25 2008-04-10 Kyocera Mita Corp 画像形成装置
JP2010165206A (ja) 2009-01-16 2010-07-29 Panasonic Corp メモリコントローラおよび不揮発性記憶装置
JP6099578B2 (ja) 2014-01-17 2017-03-22 三菱電機株式会社 ディスク装置
CN103955433A (zh) 2014-05-09 2014-07-30 华为技术有限公司 盖瓦磁记录硬盘、盖瓦磁记录硬盘写数据的方法及装置
CN104461390B (zh) 2014-12-05 2017-10-24 华为技术有限公司 将数据写入叠瓦状磁记录smr硬盘的方法及装置
US10645164B1 (en) * 2015-10-27 2020-05-05 Pavilion Data Systems, Inc. Consistent latency for solid state drives
CN105677243B (zh) 2015-12-31 2018-12-28 华为技术有限公司 数据写入装置及方法
JP6756195B2 (ja) 2016-09-01 2020-09-16 大日本印刷株式会社 クラウドストレージシステム
US11074220B2 (en) 2017-01-06 2021-07-27 Oracle International Corporation Consistent file system semantics with cloud object storage
CN107123743B (zh) 2017-05-26 2019-02-12 上海天马有机发光显示技术有限公司 有机发光器件及其制作方法、显示面板和显示装置
JP6824929B2 (ja) 2018-06-07 2021-02-03 株式会社日立製作所 記憶制御システム及び記憶制御方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101567003A (zh) * 2009-05-27 2009-10-28 清华大学 并行文件系统中资源的管理和分配方法
US9104339B1 (en) * 2012-04-27 2015-08-11 Symantec Corporation Support track aligned partitions inside virtual machines
US9324367B1 (en) * 2015-05-05 2016-04-26 Futurewei Technologies, Inc. SMR-aware append-only file system
CN106201355A (zh) * 2016-07-12 2016-12-07 腾讯科技（深圳）有限公司 数据处理方法和装置以及存储系统
CN110663019A (zh) * 2017-05-26 2020-01-07 微软技术许可有限责任公司 用于叠瓦式磁记录(smr)的文件系统
CN109491589A (zh) * 2017-09-13 2019-03-19 北京易华录信息技术股份有限公司 一种基于文件内容的分层处理方法及装置
CN109753224A (zh) * 2017-11-03 2019-05-14 浙江宇视科技有限公司 存储结构及存储结构配置方法
CN110931057A (zh) * 2018-09-19 2020-03-27 希捷科技有限公司 具有磁性头-盘接口（hdi）的数据存储盒

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
数字影院设备存储的选择;汤姆·柯格林;《现代电影技术》(第09期);31-35 *

Also Published As

Publication number Publication date
US20210191616A1 (en) 2021-06-24
JP7082701B2 (ja) 2022-06-08
EP3839718A2 (en) 2021-06-23
EP3839718B1 (en) 2024-08-07
EP3839718A3 (en) 2021-08-11
CN111459412A (zh) 2020-07-28
JP2021103584A (ja) 2021-07-15
KR20210040880A (ko) 2021-04-14
US11681444B2 (en) 2023-06-20

Similar Documents

Publication Publication Date Title
US11157449B2 (en) Managing data in storage according to a log structure
US10275177B2 (en) Data layout schemas for seamless data migration
US10216744B2 (en) Data migration to a cloud computing system
US10127243B2 (en) Fast recovery using self-describing replica files in a distributed storage system
US10628381B2 (en) Optimized content object storage service for large scale content
CN111459412B (zh) 磁盘管理方法、装置以及电子设备
US20240192876A1 (en) Zone Segment Drive Management
US8589454B2 (en) Computer data file merging based on file metadata
US20150033182A1 (en) Data Processing Method and Apparatus
US10901982B2 (en) Managing a data set
AU2019438434A1 (en) Document storage and management
US20130179414A1 (en) Mechanisms for connecting files between applications
US9588778B2 (en) JNI object access
KR20150128714A (ko) 최적화된 파일 조작을 위한 파일 그룹화 기법
CN113127438B (zh) 用于存储数据的方法、装置、服务器和介质
CN111782834A (zh) 图像检索的方法、装置、设备及计算机可读存储介质
CN112558983A (zh) 可执行文件的生成和执行方法、装置、电子终端及介质
US8977814B1 (en) Information lifecycle management for binding content
CN111782588A (zh) 一种文件读取方法、装置、设备和介质
US20180260392A1 (en) Mapping storage across storage providers
KR102717645B1 (ko) 데이터를 저장하는 장치 및 그 방법
CN117406921A (zh) 一种修改已挂载卷类型的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant