CN108268207B - 一种基于云存储的元数据管理方法及装置 - Google Patents

一种基于云存储的元数据管理方法及装置 Download PDF

Info

Publication number
CN108268207B
CN108268207B CN201611257923.0A CN201611257923A CN108268207B CN 108268207 B CN108268207 B CN 108268207B CN 201611257923 A CN201611257923 A CN 201611257923A CN 108268207 B CN108268207 B CN 108268207B
Authority
CN
China
Prior art keywords
storage medium
storage
identifier
node
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611257923.0A
Other languages
English (en)
Other versions
CN108268207A (zh
Inventor
李照辉
林鹏
林起芊
汪渭春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201611257923.0A priority Critical patent/CN108268207B/zh
Publication of CN108268207A publication Critical patent/CN108268207A/zh
Application granted granted Critical
Publication of CN108268207B publication Critical patent/CN108268207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • G06F3/0611Improving I/O performance in relation to response time

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种基于云存储的元数据管理方法及装置,该元数据管理方法包括:第一存储节点在确定第一存储介质接入后,获取第一存储介质的第一存储介质标识;根据第一存储介质标识,查询第一存储节点本地是否存储有第一存储介质对应的第一元数据;当查询结果为是时,通知管理节点将第一存储介质的状态设置为接入状态,以通过第一元数据查询第一存储介质中所存储的数据。应用本发明实施例以实现减少对接入的存储介质的元数据的获取操作,提高存储介质的元数据的存储效率。

Description

一种基于云存储的元数据管理方法及装置
技术领域
本发明涉及云存储技术领域,特别是涉及一种基于云存储的元数据管理方法及装置。
背景技术
云存储系统中,包括用于管理存储节点的管理节点和用于存储数据的存储节点,其中,存储节点连接有存储介质,存储介质用于为存储节点存储数据提供存储空间。云存储系统中,当存储介质每次接入存储节点后,存储节点都会读取接入的存储介质对应的元数据,并将所读取的元数据存储于该存储节点本地中,其中,该存储介质对应的元数据中包含该存储介质的基本属性信息以及该存储介质所存储的数据的基本属性信息。上述存储节点将自身与接入的存储介质的对应关系上报至管理节点,管理节点存储上述对应关系,并将上述接入的存储介质设置为接入状态,接入状态可以标识为online状态。
现有技术中,当存储节点与存储介质断开连接后,存储节点会将已存储的上述断开连接的存储介质对应的元数据直接删除,并将存储节点与存储介质断开连接的消息上报至管理节点,管理节点将上述断开连接的存储介质的状态从接入状态设置为断开状态,该断开状态可以标识为offline状态。当上述断开连接的存储介质重新接入云存储系统时,接入存储节点重新读取该存储介质的元数据,并将所读取的元数据存储于接入存储节点本地中。其中,该存储介质重新接入云存储系统包括:该存储介质重新接入原来接入的原存储节点或者接入云存储系统中除原存储节点外的其他存储节点。
现有技术中,存储介质每次接入云存储系统时,接入存储节点均需要读取并存储该存储介质的元数据,其中,接入存储节点读取并存储该存储介质的元数据所消耗的时间,与该存储介质的容量成正比,该存储介质的容量越大,读取并存储该存储介质的元数据所消耗的时间越长。当存储介质的容量很大且存储有很多数据时,读取并存储该存储介质的元数据所消耗的时间会很长。
发明内容
本发明实施例的目的在于提供一种基于云存储的元数据管理方法及装置,以减少对接入的存储介质的元数据的获取操作,提高存储介质的元数据的存储效率。具体技术方案如下:
一方面,本发明实施例提供了一种基于云存储的元数据管理方法,所述方法包括:
第一存储节点在确定第一存储介质接入后,获取所述第一存储介质的第一存储介质标识;
根据所述第一存储介质标识,查询所述第一存储节点本地是否存储有所述第一存储介质对应的第一元数据;
当查询结果为是时,通知管理节点将所述第一存储介质的状态设置为接入状态,以通过所述第一元数据查询所述第一存储介质中所存储的数据。
可选的,当所述查询结果为所述第一存储节点本地存储有所述第一存储介质对应的第一元数据时,所述方法还包括:
判断所述第一存储介质中的第二元数据对应的第一特征信息与所述第一存储节点本地所存储的第一元数据对应的第二特征信息是否相同;
若相同,执行所述通知管理节点将所述第一存储介质的状态设置为接入状态的步骤。
可选的,当判断所述第一特征信息与所述第二特征信息不同时,所述方法还包括:
删除所述第一存储节点本地所存储的第一元数据;
获取所述第一存储介质中的第二元数据,执行所述通知管理节点将所述第一存储介质的状态设置为接入状态的步骤。
可选的,所述第一特征信息包括所述第一存储介质中的第一关联标识,所述第一关联标识为第二存储节点生成,且所述第一关联标识与所述第二存储节点本地存储的所述第一存储介质对应的第一元数据关联,所述第二存储节点为与第一存储介质最近断开连接的存储节点;
所述第二特征信息包括所述第一存储节点本地存储的第二关联标识,所述第二关联标识与所述第一存储节点本地存储的第一元数据关联;
在所述判断所述第一存储介质中的第二元数据的第一特征信息与所述第一存储节点本地所存储的第一元数据的第二特征信息是否相同的步骤之前,所述方法还包括:
从所述第一存储介质中获取所述第一关联标识;
从所述第一存储节点本地获取所述第二关联标识;
所述判断所述第一存储介质中的第二元数据的第一特征信息与所述第一存储节点本地所存储的第一元数据的第二特征信息是否相同的步骤,包括:
判断所述第一关联标识与所述第二关联标识是否相同。
可选的,在所述判断所述第一关联标识与所述第二关联标识是否相同的步骤之前,所述方法还包括:
获取所述第一存储介质接入所述第一存储节点的第一时间;
根据所述第一时间以及所述第一存储介质标识生成第三关联标识;
当判断所述第一关联标识与所述第二关联标识相同时,将所述第三关联标识与所述第一存储节点本地所存储的所述第一元数据进行关联;
将所述第三关联标识发送至所述第一存储介质,以使所述第一存储介质将所存储的所述第一关联标识更新为所述第三关联标识;
在所述通知管理节点将所述第一存储介质的状态设置为接入状态的步骤之前,所述方法还包括:
将所述第三关联标识发送至所述管理节点,以使所述管理节点将本地已存储的所述第一关联标识更新为所述第三关联标识。
可选的,当判断所述第一关联标识与所述第二关联标识不同时,所述方法还包括:
将所述第三关联标识与从所述第一存储介质中获取的所述第二元数据进行关联;继续执行所述将所述第三关联标识发送至所述第一存储介质的步骤。
可选的,当所述查询结果为所述第一存储节点本地未存储有所述第一存储介质对应的第一元数据时,所述方法还包括:
将所述第一存储介质标识发送至所述管理节点;
接收并存储所述管理节点发送的所述第一存储介质对应的第一元数据;
获取所述第一存储节点本地存储的第一存储节点标识;
在所述通知管理节点将所述第一存储介质的状态设置为接入状态的步骤之前,所述方法还包括:
将所述第一存储节点标识以及所述第一存储介质标识的对应关系,发送至所述管理节点,以使所述管理节点将本地已存储的所述第一存储介质标识与第三存储节点标识的对应关系更新为所述第一存储介质标识与所述第一存储节点标识的对应关系,其中,所述第三存储节点标识对应第三存储节点,所述第三存储节点本地存储有所述第一存储介质对应的第一元数据。
可选的,当所述查询结果为所述第一存储节点本地未存储有所述第一存储介质对应的第一元数据时,所述方法还包括:
将所述第一存储介质标识发送至所述管理节点;
接收所述管理节点发送的获取指令,其中,所述获取指令用于指示获取所述第一存储介质中的第二元数据;
响应所述获取指令,获取所述第一存储介质中的第二元数据;
获取所述第一存储节点本地存储的第一存储节点标识;
在所述通知管理节点将所述第一存储介质的状态设置为接入状态的步骤之前,所述方法还包括:
将所述第一存储节点标识以及所述第一存储介质标识的对应关系,发送至所述管理节点,以使所述管理节点存储所述第一存储介质标识与所述第一存储节点标识的对应关系。
可选的,所述获取所述第一存储介质的第一存储介质标识的步骤,包括:
从所述第一存储介质中获取所述第一存储介质标识以及第一关联标识;
所述将所述第一存储介质标识发送至所述管理节点的步骤,包括:
将所述第一存储介质标识以及所述第一关联标识发送至所述管理节点。
一方面,本发明实施例提供了一种基于云存储的元数据管理方法,所述方法包括:
接收第一存储节点发送的第一存储介质标识,其中,所述第一存储介质标识为从第一存储介质中获取的标识,所述第一存储介质为接入所述第一存储节点的存储介质;
从管理节点本地存储的对应关系中,确定是否存在包含所述第一存储介质标识的第一对应关系,其中,所述对应关系中包括存储节点标识以及存储介质标识的对应关系;
当确定存在所述第一对应关系时,根据所述第一对应关系中包含的存储节点标识,确定存储有所述第一存储介质对应的第一元数据的第三存储节点;
将所述第三存储节点本地存储的所述第一存储介质对应的第一元数据发送至所述第一存储节点,以使所述第一存储节点接收并存储所述管理节点发送的所述第一存储介质对应的第一元数据。
可选的,当确定不存在所述第一对应关系时,所述方法还包括:
向所述第一存储节点发送第一获取指令,以使所述第一存储节点响应所述第一获取指令,获取所述第一存储介质中的第二元数据。
可选的,在所述根据所述第一对应关系中包含的存储节点标识,确定存储有所述第一存储介质对应的第一元数据的第三存储节点的步骤之后,所述方法还包括:
判断所述第一存储介质中的第二元数据对应的第一特征信息与所述第三存储节点本地所存储的第一元数据对应的第三特征信息是否相同;
若相同时,执行所述将所述第三存储节点本地存储的所述第一存储介质对应的第一元数据发送至所述第一存储节点的步骤。
可选的,所述对应关系中还包括所述存储介质标识与关联标识的对应关系;
所述第一特征信息包括所述第一存储介质中的第一关联标识,所述第一关联标识为第二存储节点生成,且所述第一关联标识与所述第二存储节点本地存储的所述第一存储介质对应的第一元数据关联,所述第二存储节点为与第一存储介质最近断开连接的存储节点;
所述第三特征信息包括与所述第一存储介质标识存在对应关系的第四关联标识;
在所述判断所述第一存储介质中的第二元数据对应的第一特征信息与所述第三存储节点本地所存储的第一元数据对应的第三特征信息是否相同的步骤之前,所述方法还包括:
接收所述第一存储节点发送的第一关联标识;
根据所述第一对应关系,从所述管理节点本地获取所述第四关联标识;
所述判断所述第一存储介质中的第二元数据对应的第一特征信息与所述第三存储节点本地所存储的第一元数据对应的第三特征信息是否相同的步骤,包括:
判断所述第一关联标识与所述第四关联标识是否相同。
可选的,当判断所述第一关联标识与所述第四关联标识不同时,所述方法还包括:
向所述第三存储节点发送数据删除指令,以使所述第三存储节点删除本地所存储的所述第一存储介质对应的第一元数据;
向所述第一存储节点发送第二获取指令,以使所述第一存储节点响应所述第二获取指令,获取所述第一存储介质中的第二元数据。
可选的,在所述将所述第三存储节点本地存储的所述第一存储介质对应的第一元数据发送至所述第一存储节点的步骤之后,所述方法还包括:
接收所述第一存储节点发送的第一存储节点对应的第一存储节点标识和所述第一存储介质标识的对应关系;
存储所述第一存储节点标识和所述第一存储介质标识的对应关系。
一方面,本发明实施例提供了一种基于云存储的元数据管理装置,所述装置包括:
第一获取模块,用于在确定第一存储介质接入后,获取所述第一存储介质的第一存储介质标识;
查询模块,用于根据所述第一存储介质标识,查询所述第一存储节点本地是否存储有所述第一存储介质对应的第一元数据;
通知模块,用于当查询结果为是时,通知管理节点将所述第一存储介质的状态设置为接入状态,以通过所述第一元数据查询所述第一存储介质中所存储的数据。
可选的,所述装置还包括第一判断模块;
所述第一判断模块,用于当所述查询结果为所述第一存储节点本地存储有所述第一存储介质对应的第一元数据时,判断所述第一存储介质中的第二元数据对应的第一特征信息与所述第一存储节点本地所存储的第一元数据对应的第二特征信息是否相同;若相同,触发所述通知模块。
可选的,所述装置还包括删除模块和第二获取模块;
所述删除模块,用于当判断所述第一特征信息与所述第二特征信息不同时,删除所述第一存储节点本地所存储的第一元数据;
所述第二获取模块,用于获取所述第一存储介质中的第二元数据;触发所述通知模块。
可选的,所述第一特征信息包括所述第一存储介质中的第一关联标识,所述第一关联标识为第二存储节点生成,且所述第一关联标识与所述第二存储节点本地存储的所述第一存储介质对应的第一元数据关联,所述第二存储节点为与第一存储介质最近断开连接的存储节点;
所述第二特征信息包括所述第一存储节点本地存储的第二关联标识,所述第二关联标识与所述第一存储节点本地存储的第一元数据关联;
所述装置还包括第三获取模块和第四获取模块;
所述第三获取模块,用于在所述判断所述第一存储介质中的第二元数据的第一特征信息与所述第一存储节点本地所存储的第一元数据的第二特征信息是否相同的步骤之前,从所述第一存储介质中获取所述第一关联标识;
所述第四获取模块,用于从所述第一存储节点本地获取所述第二关联标识;
所述第一判断模块,具体用于判断所述第一关联标识与所述第二关联标识是否相同。
另一方面,本发明实施例提供了一种基于云存储的元数据管理装置,所述装置包括:
第二接收模块,用于接收第一存储节点发送的第一存储介质标识,其中,所述第一存储介质标识为从第一存储介质中获取的标识,所述第一存储介质为接入所述第一存储节点的存储介质;
第一确定模块,用于从管理节点本地存储的对应关系中,确定是否存在包含所述第一存储介质标识的第一对应关系,其中,所述对应关系中包括存储节点标识以及存储介质标识的对应关系;
第二确定模块,用于当确定存在所述第一对应关系时,根据所述第一对应关系中包含的存储节点标识,确定存储有所述第一存储介质对应的第一元数据的第三存储节点;
第六发送模块,用于将所述第三存储节点本地存储的所述第一存储介质对应的第一元数据发送至所述第一存储节点,以使所述第一存储节点接收并存储所述管理节点发送的所述第一存储介质对应的第一元数据。
本发明实施例中,第一存储节点在确定第一存储介质接入后,获取第一存储介质的第一存储介质标识;根据第一存储介质标识,查询第一存储节点本地是否存储有第一存储介质对应的第一元数据;当查询结果为是时,通知管理节点将第一存储介质的状态设置为接入状态,以通过第一元数据查询第一存储介质中所存储的数据。
可见,第一存储节点在确定第一存储介质接入后,当第一存储节点确定第一存储节点本地存储有该第一存储介质对应的第一元数据时,可以表明第一存储介质之前接入过第一存储节点。此时,第一存储节点可以复用第一存储节点本地已存储的该第一存储介质对应的第一元数据,以通过第一元数据查询第一存储介质中所存储的数据。进一步的可以表明,该第一存储介质与第一存储节点连接又断开后,第一存储节点未删除第一存储节点本地存储的第一存储介质对应的第一元数据。第一存储介质再次接入云存储系统时,可以复用已存储的第一存储介质对应的第一元数据。从而实现了减少对接入的存储介质的元数据的获取操作,提高了存储介质的元数据的存储效率。当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A为管理节点、存储节点与存储介质之间的一种结构示意图;
图1B为本发明实施例所提供的一种基于云存储的元数据管理方法的流程示意图;
图2为本发明实施例所提供的一种基于云存储的元数据管理方法的另一流程示意图;
图3为本发明实施例所提供的一种基于云存储的元数据管理方法的另一流程示意图;
图4为本发明实施例所提供的一种基于云存储的元数据管理方法的另一流程示意图;
图5为本发明实施例所提供的一种基于云存储的元数据管理方法的另一流程示意图;
图6为本发明实施例所提供的第二种基于云存储的元数据管理方法的流程示意图;
图7为本发明实施例所提供的第二种基于云存储的元数据管理方法的另一流程示意图;
图8为本发明实施例所提供的一种基于云存储的元数据管理装置的结构示意图;
图9为本发明实施例所提供的第二种基于云存储的元数据管理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种基于云存储的元数据管理方法及装置,以实现减少对接入的存储介质的元数据的获取操作,提高存储介质的元数据的存储效率。
下面首先对本发明实施例所提供的一种基于云存储的元数据管理方法进行介绍。
如图1A所示,为管理节点、存储节点与存储介质之间的一种结构示意图。在云存储系统中,包括管理节点和存储节点。其中,管理节点用于管理调度存储节点,存储节点用于存储数据,管理节点可以管理调度至少一个存储节点。一个存储节点可以连接至少一个存储介质,该至少一个存储介质用于为所连接的存储节点存储数据提供物理空间。其中,该至少一个存储介质可以为磁盘、RAID(Redundant Arrays of Independent Disks,磁盘阵列)等等。
如图1B所示,本发明实施例提供的一种基于云存储的元数据管理方法,该方法的执行主体为云存储系统的存储节点,包括如下步骤:
S101:第一存储节点在确定第一存储介质接入后,获取第一存储介质的第一存储介质标识;
该第一存储节点可以是云存储系统中的任一存储节点,本发明实施例提供的一种基于云存储的元数据管理方法可以应用于云存储系统中的任一存储节点中。
可以理解的是,当存储介质首次接入云存储系统时,存储介质接入的存储节点会为该存储介质分配存储介质标识。存储节点将存储介质标识发送至存储介质的超级块中,以使存储介质存储该存储介质标识。同时,存储节点本地存储该存储介质标识,其中,也可以将存储介质标识存储于存储节点的数据库中,另外的,所连接的存储介质的元数据也可以存储于存储节点的数据库中。需要说明的是,每一存储介质中均包含超级块,该超级块中记录有存储介质的基本信息,例如:存储介质的存储介质标识,以及后续提到的与存储介质的元数据关联的关联标识,为存储介质中预留的逻辑块。
当存储介质与上述存储节点断开连接后,再次接入云存储系统时,还会使用该首次接入云存储系统时,被分配的存储介质标识,存储介质标识在云存储系统中存在唯一性。
即当该第一存储介质标识为合法的存储介质标识时,可以表明该第一存储介质标识为第一存储介质首次接入云存储系统时,所接入的存储节点为第一存储介质分配的标识,该第一存储介质标识在云存储系统中具有唯一性。其中,该第一存储介质标识可以为第一存储介质首次接入云存储系统时,所接入的的存储节点依据现有技术为第一存储介质分配的存储介质ID。该第一存储介质接入第一存储节点后,第一存储节点可以采用现有技术,从第一存储介质的超级块中获取第一存储介质标识。
另外的,当第一存储节点从第一存储介质中未获取到第一存储介质标识时,可以表明该第一存储介质为首次接入云存储系统的存储介质,此时,第一存储节点可以依据现有技术为第一存储介质分配第一存储介质标识,并将所分配的第一存储介质标识发送至第一存储介质,以使第一存储介质存储该第一存储介质标识。另外,将第一存储介质标识发送至管理节点,以使管理节点存储该第一存储节点与第一存储介质的对应关系。
S102:根据第一存储介质标识,查询第一存储节点本地是否存储有第一存储介质对应的第一元数据;
本发明实施例中,当存储介质与存储节点连接又断开连接后,存储节点不删除本地存储的上述存储介质的元数据。即当存储介质与存储节点连接又断开连接后,存储节点本地会存储有该存储介质对应的元数据。
第一存储节点获取到第一存储介质的第一存储介质标识后,在第一存储节点本地查询是否存储有第一存储介质对应的第一元数据。当查询结果为是时,即可以表明该第一存储节点接入过该第一存储介质,当查询结果为否时,即可以表明该第一存储节点未接入过该第一存储介质。
S103:当查询结果为是时,通知管理节点将第一存储介质的状态设置为接入状态,以通过第一元数据查询第一存储介质中所存储的数据。
当查询结果为是时,该第一存储节点可以直接复用该第一存储节点本地存储的第一元数据,此时,该第一存储节点可以向管理节点发送包含第一存储介质标识的接入信息;以通知管理节点该第一存储介质接入该第一存储节点。管理节点可以响应该接入信息,将第一存储介质标识对应的第一存储介质的状态设置为接入状态。
可以理解的是,当查询结果为是时,可以表明该第一存储节点接入过该第一存储介质,在该第一存储节点接入该第一存储介质时,管理节点中记录的该第一存储节点的状态为断开状态,此时,管理节点响应该接入信息,将第一存储介质的状态从断开状态设置为接入状态。后续的,该第一存储节点以及管理节点,可以利用该第一存储介质对应的第一元数据与该第一存储介质进行信息交互,例如,第一存储节点通过第一存储介质对应的第一元数据查询第一存储介质中所存储的数据;又例如,管理节点通过该第一存储介质对应的第一元数据,确定第一存储节点的存储空间资源使用情况。其中,管理节点可以采用现有技术将第一存储介质的状态设置为接入状态,以及将第一存储介质的状态从断开状态设置为接入状态。断开状态可以由offline标识,接入状态可以由online标识。
应用本发明实施例,第一存储节点在确定第一存储介质接入后,获取第一存储介质的第一存储介质标识;根据第一存储介质标识,查询第一存储节点本地是否存储有第一存储介质对应的第一元数据;当查询结果为是时,通知管理节点将第一存储介质的状态设置为接入状态,以通过第一元数据查询第一存储介质中所存储的数据。可见,第一存储节点在确定第一存储介质接入后,当第一存储节点确定第一存储节点本地存储有该第一存储介质对应的第一元数据时,可以表明第一存储介质之前接入过第一存储节点。此时,第一存储节点可以复用第一存储节点本地已存储的该第一存储介质对应的第一元数据,以通过第一元数据查询第一存储介质中所存储的数据。进一步的可以表明,该第一存储介质与第一存储节点连接又断开后,第一存储节点未删除第一存储节点本地存储的第一存储介质对应的第一元数据。第一存储介质再次接入云存储系统时,可以复用已存储的第一存储介质对应的第一元数据。从而实现了减少对接入的存储介质的元数据的获取操作,提高了存储介质的元数据的存储效率。
存储介质的元数据中记录有存储介质的基本属性信息,当存储介质中存储的数据发生变化时,存储介质对应的元数据也会发生变化。这样,为了保证云存储系统中所存储的存储介质的元数据的精确性,即保证第一存储介质接入第一存储节点后,第一存储节点所存储的第一存储介质的第一元数据为最新的,基于图1所示实施例还可以包括如下步骤:参见图2;
S201:当查询结果为第一存储节点本地存储有第一存储介质对应的第一元数据时,判断第一存储介质中的第二元数据对应的第一特征信息与第一存储节点本地所存储的第一元数据对应的第二特征信息是否相同;这里,将存储节点本地所存储的第一存储介质所对应元数据称为第一元数据,将该第一存储介质中的元数据称为第二元数据;若相同,执行S103。
在一种实现方式中,参见图2;当判断第一特征信息与第二特征信息不同时,所述方法还可以包括:
S202:删除第一存储节点本地所存储的第一元数据;
S203:获取第一存储介质中的第二元数据;执行S103。
其中,该第一特征信息可以是第一存储介质中的第二元数据的数据量,对应的,该第二特征信息可以是第一存储节点本地所存储的第一元数据的数据量,此时,可以判断第一存储介质中的第二元数据的数据量,与第一存储节点本地所存储的第一元数据的数据量是否相同,当判断数据量相同时,则可以表明第一存储介质中的第二元数据与第一存储节点本地所存储的第一元数据相同;当判断数据量不同时,则可以表明第一存储介质中的第二元数据与第一存储节点本地所存储的第一元数据不同。等等。
当判断第一特征信息与第二特征信息不同时,第一存储节点需将本地存储的第一元数据删除,并重新从第一存储介质中获取第一存储介质中的第二元数据。其中,从第一存储介质中获取第一存储介质中的第二元数据可以采用现有技术,在此不做赘述。
在图2所示实施例的基础上,该第一特征信息可以包括第一存储介质中的第一关联标识,第一关联标识为第二存储节点生成,且第一关联标识与第二存储节点本地存储的第一存储介质对应的第一元数据关联,第二存储节点为与第一存储介质最近断开连接的存储节点;
该第二特征信息可以包括第一存储节点本地存储的第二关联标识,第二关联标识与第一存储节点本地存储的第一元数据关联;
此时,所述方法还可以包括如下步骤:参见图3;
S301:在所述判断第一存储介质中的第二元数据的第一特征信息与第一存储节点本地所存储的第一元数据的第二特征信息是否相同(S201)的步骤之前,从第一存储介质中获取第一关联标识,
S302:从第一存储节点本地获取第二关联标识;
此时,前述S201判断第一存储介质中的第二元数据的第一特征信息与第一存储节点本地所存储的第一元数据的第二特征信息是否相同的步骤,可以包括:
S2011:判断第一关联标识与第二关联标识是否相同;
其中,当判断第一关联标识与第二关联标识相同时,可以表明第一存储节点本地所存储的第一元数据与第一存储介质中的第二元数据相同,并且该第一存储节点即为该第二存储节点;当判断第一关联标识与第二关联标识不同时,可以表明第一存储节点本地所存储的第一元数据与第一存储介质中的第二元数据不同,该第一存储节点不为该第二存储节点。
第一存储节点从第一存储介质中获取第一关联标识的步骤,可以和第一存储节点从第一存储介质中获取第一存储介质标识的步骤可以同时进行,也可以先进行第一存储节点从第一存储介质中获取第一存储介质标识的步骤,再进行第一存储节点从第一存储介质中获取第一关联标识的步骤,这都是可以的。
需要说明的是,由于存储介质对应的元数据中包含该存储介质的基本属性信息以及该存储介质所存储的数据的基本属性信息,因此,存储介质每次接入云存储系统时,存储介质中的元数据可能会与之前接入云存储系统时的元数据不同。这样,为了区分存储介质中的元数据可能会与云存储系统中的存储节点所存储的该存储介质的元数据不同的情况,在存储介质每次接入云存储系统时,所接入的存储节点会为存储介质中的元数据设置一个标识,并将该标识与存储节点本地存储的该存储介质对应的元数据进行关联,其中,该标识在云存储系统中需具有唯一性。可以理解的是,存储介质接入存储节点期间,即存储介质与存储节点连接期间,存储介质中的元数据,与存储于存储节点本地的存储介质对应的元数据是同步更新的。
举例而言,存储介质1接入存储节点A,存储节点A首先获取存储介质1的存储介质标识,发现存储介质中未存储有存储介质标识,可以确定存储介质1接入存储节点A为首次接入云存储系统,此时,存储节点A为存储介质1分配存储介质标识一,存储节点A获取到的存储介质1对应的第一元数据为元数据1,并对应存储介质1的存储介质标识一存储该第一元数据-元数据1;存储节点A将存储介质1接入存储节点A的消息通知给管理节点,管理节点记录存储介质1与接入的存储节点A的对应关系,并将存储介质1的状态设置为接入状态;其中,该对应关系中记录有存储节点A的存储节点标识以及存储介质1的存储介质标识一;存储节点A的存储节点标识为:上述管理节点为存储节点A分配的标识;
存储介质1在与存储节点A连接期间,存储介质1增加存储数据a,此时,存储节点A本地存储的存储介质1对应的第一元数据由元数据1更新为元数据2,且第一存储介质1中的第二元数据也为元数据2;
当存储介质1与存储节点A断开连接时,存储介质1中的第二元数据为元数据2,且存储节点A本地存储的第一元数据为元数据2。
需要强调的是,当存储介质1接入存储节点A后,存储节点A获取到存储介质1对应的第一元数据-元数据1,并对应存储介质1的存储介质标识一存储该第一元数据-元数据1后,存储节点A针对存储节点A本地存储存储介质1对应的元数据1设置一个标识甲,并将该标识甲与存储节点A本地所存储的存储介质1对应的第一元数据进行关联;然后,将该标识甲发送给存储介质1,使存储介质1存储标识甲,当存储介质1在与存储节点A连接期间,存储节点A本地存储的存储介质1对应的第一元数据由元数据1更新为元数据2时,标识甲关联的存储介质1对应的第一元数据由元数据1更新为元数据2,即此时,标识甲关联的存储介质1对应的第一元数据为元数据2。
综上所述,当第一存储介质中的针对第一存储介质的元数据的标识,与接入的第一存储节点本地存储的针对第一存储介质的元数据的标识相同时,可以表明,第一存储节点本地存储的第一存储介质的元数据与第一存储介质中的元数据相同。
在一种实现方式中,该针对存储介质中的元数据设置的标识可以根据存储介质接入存储节点的时间进行设置。
在所述判断第一关联标识与第二关联标识是否相同(S2011)的步骤之前,所述方法还可以包括:
获取第一存储介质接入第一存储节点的第一时间;
根据第一时间以及第一存储介质标识生成第三关联标识;
当判断第一关联标识与第二关联标识相同,即判断第一存储节点本地所存储的第一元数据与第一存储介质中的第二元数据相同时,将第三关联标识与第一存储节点本地所存储的第一元数据进行关联;
将第三关联标识发送至第一存储介质,以使第一存储介质将所存储的第一关联标识更新为第三关联标识;
在所述通知管理节点将第一存储介质的状态设置为接入状态(S103)的步骤之前,所述方法还可以包括:
将第三关联标识发送至管理节点,以使管理节点将本地已存储的第一关联标识更新为第三关联标识。
在另一种实现方式中,当判断第一关联标识与第二关联标识不同,即判断第一存储节点本地所存储的第一元数据与第一存储介质中的第二元数据不同时,所述方法还可以包括:
将第三关联标识与从第一存储介质中获取的第二元数据进行关联;继续执行所述将第三关联标识发送至第一存储介质的步骤。
关联标识(例如:第一关联标识、第二关联标识、第三关联标识)可以为存储节点根据存储介质接入的时间以及存储介质的存储介质标识,通过一定的算法生成的字符串或数字。另外,为了更好的保证关联标识在云存储系统中的唯一性,关联标识还可以是存储节点根据存储介质接入的时间、存储介质的存储介质标识以及随机码,通过一定的算法生成的字符串或数字。其中,该一定算法可以为MD5(Message Digest Algorithm,消息摘要算法第五版)或CRC(Cyclic Redundancy Check,循环冗余校验码)等现有算法。在一种实现方式中,该关联标识可以用关联ID表示。
将关联标识与存储介质的元数据进行关联的实现方式可以为:存储节点存储所连接的存储介质的元数据时,以该存储介质的存储介质标识为该存储介质的元数据的命名,例如:存储节点可以将存储介质的元数据存储于以存储介质的存储介质标识命名的表中。进一步的,存储节点记录该关联标识与存储介质标识的对应关系,以通过存储介质标识实现对关联标识与存储介质的元数据的关联。
上述实施例从第一存储节点本地存储有第一存储介质对应的第一元数据的方向进行说明,即存储介质接入原来接入过的存储节点,即第一存储介质本次接入第一存储节点的过程为重新接入的过程。此时,第一存储节点可以直接复用第一存储节点本地存储的第一存储介质对应的第一元数据。
下面从第一存储节点本地未存储有第一存储介质对应的第一元数据的方向进行说明,即第一存储介质可能进行了云内漂移,与云存储系统的某一存储节点断开连接,又接入某一新的存储节点。此时,可以将与该第一存储介质断开连接的存储节点存储的第一存储介质对应的元数据,同步到该第一存储介质接入的新的存储节点中。这种情况下,在图1所示实施例的基础上,所述方法还可以包括如下步骤:参见图4,
S401:当查询结果为第一存储节点本地未存储有第一存储介质对应的第一元数据时,将第一存储介质标识发送至管理节点;
S402:接收并存储管理节点发送的第一存储介质对应的第一元数据;
S403:获取第一存储节点本地存储的第一存储节点标识;
在所述通知管理节点将第一存储介质的状态设置为接入状态(S103)的步骤之前,所述方法还可以包括:
S404:将第一存储节点标识以及第一存储介质标识的对应关系,发送至管理节点,以使管理节点将本地已存储的第一存储介质标识与第三存储节点标识的对应关系更新为第一存储介质标识与第一存储节点标识的对应关系,其中,第三存储节点标识对应第三存储节点,第三存储节点本地存储有第一存储介质对应的第一元数据。
第一存储节点查询到第一存储节点本地未存储有第一存储介质对应的第一元数据时,第一存储节点将第一存储介质标识发送至管理节点,管理节点根据第一存储介质标识,从管理节点本地存储的对应关系中,匹配该第一存储介质标识,当匹配到该第一存储介质标识时,可以表明该第一存储介质为进行云内漂移的存储介质,管理节点管辖范围内的存储节点中,存在存储节点本地存储有第一存储介质对应的第一元数据的第三存储节点。管理节点本地存储的对应关系包括:存储节点与存储介质的对应关系,即管理节点本地存储的对应关系中记录有存储节点标识和存储介质标识的对应关系。
管理节点从本地存储的对应关系中,查询到包含该第一存储介质标识的第一对应关系,并根据该第一对应关系确定第一存储介质标识对应的存储节点标识,将该确定的存储节点标识作为第三存储节点标识,根据该第三存储节点标识确定第三存储节点,从第三存储节点中确定第三存储节点本地存储的该第一存储介质对应的第一元数据。其中,可以理解的是,该第三存储节点为第一存储介质原先接入过的存储节点。
后续的,管理节点将从第三存储节点中获取的第一存储介质对应的第一元数据发送至第一存储节点。该过程为云存储系统内部的数据发送过程,相较于第一存储节点从第一存储介质中获取第一存储介质中的第二元数据,这种外部数据传输过程所消耗的时间要短。另外,在管理节点将从第三存储节点中确定的第一存储介质对应的第一元数据发送至第一存储节点时,管理节点还会通知第三存储节点删除第三存储节点本地存储的该第一存储介质对应的第一元数据。
当第一存储节点将第一存储介质标识发送至管理节点后,管理节点从本地存储的对应关系中,匹配该第一存储介质标识,可能会出现未匹配到第一存储介质标识的情况,即管理节点本地未存储有包含该第一存储介质的第一对应关系。此时,该管理节点则向第一存储节点发送用于指示获取第一存储介质中的第二元数据的获取指令。第一存储节点响应该获取指令,采用现有技术,从第一存储介质中获取第一存储介质中的第二元数据。这种情况下,在图1所示实施例的基础上,所述方法还可以包括如下步骤:参见图5,
S501:当查询结果为第一存储节点本地未存储有第一存储介质对应的第一元数据时,将第一存储介质标识发送至管理节点;
S502:接收管理节点发送的获取指令,其中,获取指令用于指示获取第一存储介质中的第二元数据;
S503:响应获取指令,获取第一存储介质中的第二元数据;
S504:获取第一存储节点本地存储的第一存储节点标识;
在所述通知管理节点将第一存储介质的状态设置为接入状态(S103)的步骤之前,所述方法还可以包括:
S505:将第一存储节点标识以及第一存储介质标识的对应关系,发送至管理节点,以使管理节点存储第一存储介质标识与第一存储节点标识的对应关系。
存储介质的元数据中记录有存储介质的基本属性信息,当存储介质中存储的数据发生变化时,存储介质中的元数据也会发生变化。为了避免第一存储节点接收到的第一元数据与第一存储介质中的第二元数据不同的情况,存储节点会为所连接的存储介质的元数据设置关联标识,以区分存储介质每次接入云存储系统时,存储介质中的元数据的不同。所述获取第一存储介质的第一存储介质标识(S101)的步骤,可以包括:
从第一存储介质中获取第一存储介质标识以及第一关联标识;
所述将第一存储介质标识发送至管理节点(S401或S501)的步骤,可以包括:
将第一存储介质标识以及第一关联标识发送至管理节点。
将从第一存储介质中获取的第一关联标识发送至管理节点,以使管理节点根据第一关联标识,确定管辖范围内的存储节点中是否存储有与第一存储介质中的第二元数据相同的第一存储介质对应的第一元数据。
可以理解的是,某些存储介质中的存储介质标识可能会被篡改,从第一存储介质中获取的第一存储介质标识可能是不合法的,为了保证云存储系统的数据的安全,在所述根据第一存储介质标识,查询本地是否存储有第一存储介质对应的第一元数据(S102)的步骤之前,所述方法还可以包括:
判断第一存储介质标识是否合法;
当判断第一存储介质标识合法时,执行S102。
其中,第一存储节点可以利用现有技术判断存储于第一存储介质的超级块中的第一存储介质标识是否合法,例如:计算第一存储介质的CRC值或MD5值等,在此不做赘述。另外,当第一存储介质的超级块中的存储有关联标识时,也需要判断关联标识是否合法。
相应于上述方法实施例,本发明实施例还提供了一种基于云存储的元数据管理方法,可以应用于云存储系统的管理节点中,如图6所示,可以包括步骤:
S601:接收第一存储节点发送的第一存储介质标识,其中,第一存储介质标识为从第一存储介质中获取的标识,第一存储介质为接入第一存储节点的存储介质;
管理节点可以采用现有技术接收第一存储节点发送的第一存储介质标识。
S602:从管理节点本地存储的对应关系中,确定是否存在包含第一存储介质标识的第一对应关系,其中,对应关系中包括存储节点标识以及存储介质标识的对应关系;
管理节点从管理节点本地存储的对应关系中,匹配该第一存储介质标识,当匹配该第一存储介质标识成功时,表明管理节点本地存储有包含第一存储介质标识的第一对应关系,当匹配失败时,则表明管理节点本地未存储有包含第一存储介质标识的第一对应关系。
S603:当确定存在所述第一对应关系时,根据第一对应关系中包含的存储节点标识,确定存储有第一存储介质对应的第一元数据的第三存储节点;
S604:将第三存储节点本地存储的第一存储介质对应的第一元数据发送至第一存储节点,以使第一存储节点接收并存储管理节点发送的第一存储介质对应的第一元数据。
管理节点根据所确定的第一对应关系,确定存储有第一存储介质对应的第一元数据的第三存储节点,将第三存储节点本地存储的第一存储介质对应的第一元数据发送至第一存储节点,同时,可以向第三存储节点发送数据删除指令,以使第三存储节点删除本地所存储的第一存储介质对应的第一元数据,避免云存储系统中出现多个存储节点的存储节点本地存储有第一存储介质对应的元数据的情况。
应用本发明实施例,接收第一存储节点发送的第一存储介质标识,其中,第一存储介质标识为从第一存储介质中获取的标识,第一存储介质为接入所述第一存储节点的存储介质;从管理节点本地存储的对应关系中,确定是否存在包含第一存储介质标识的第一对应关系,其中,对应关系中包括存储节点标识以及存储介质标识的对应关系;当确定存在第一对应关系时,根据第一对应关系中包含的存储节点标识,确定存储有第一存储介质对应的第一元数据的第三存储节点;将第三存储节点本地存储的第一存储介质对应的第一元数据发送至第一存储节点,以使第一存储节点接收并存储管理节点发送的第一存储介质对应的第一元数据,以实现减少对接入的存储介质的元数据的获取操作,提高存储介质的元数据的存储效率。
需要说明的是,管理节点从管理节点本地存储的对应关系中,匹配该第一存储介质标识,可能会出现未匹配到的情况,即该管理节点管辖范围内的存储节点中均未存储有第一存储介质对应的第一元数据。在一种实现方式中,当确定不存在第一对应关系时,所述方法还可以包括:
向第一存储节点发送第一获取指令,以使第一存储节点响应第一获取指令,获取第一存储介质中的第二元数据。
可以理解的是,该第一获取指令中可以携带第一存储介质的第一存储介质标识,以使第一存储节点准确获取第一存储介质中的第二元数据。
存储介质的元数据中记录有存储介质的基本属性信息,当存储介质中存储的数据发生变化时,存储介质中的元数据也会发生变化。这样,为了保证云存储系统中所存储的存储介质的元数据的精确性,即保证第一存储介质接入第一存储节点后,第一存储节点所存储的第一存储介质的第一元数据为最新的,如图6所示流程,如图7所示,在所述根据第一对应关系中包含的存储节点标识,确定存储有第一存储介质对应的第一元数据的第三存储节点(S603)的步骤之后,所述方法还可以包括:
S701:判断第一存储介质中的第二元数据对应的第一特征信息与第三存储节点本地所存储的第一元数据对应的第三特征信息是否相同;若相同时,执行S604。
在一种实现方式中,所述对应关系中还可以包括存储介质标识与关联标识的对应关系;
该第一特征信息可以包括第一存储介质中的第一关联标识,第一关联标识为第二存储节点生成,且第一关联标识与第二存储节点本地存储的第一存储介质对应的第一元数据关联,第二存储节点为与第一存储介质最近断开连接的存储节点;
该第三特征信息可以包括与第一存储介质标识存在对应关系的第四关联标识;
在所述判断第一存储介质中的第二元数据对应的第一特征信息与第三存储节点本地所存储的第一元数据对应的第三特征信息是否相同(S701)的步骤之前,所述方法还可以包括:
接收第一存储节点发送的第一关联标识;
根据第一对应关系,从管理节点本地获取第四关联标识;
所述判断第一存储介质中的第二元数据对应的第一特征信息与第三存储节点本地所存储的第一元数据对应的第三特征信息是否相同(S701)的步骤,可以包括:判断第一关联标识与第四关联标识是否相同;
其中,当判断第一关联标识与第四关联标识相同时,可以表明第三存储节点本地所存储的第一存储介质对应的第一元数据与第一存储介质中的第二元数据相同,第三存储节点即为第二存储节点;当判断第一关联标识与第四关联标识不同时,可以表明第三存储节点本地所存储的第一存储介质对应的第一元数据与第一存储介质中的第二元数据不同,第三存储节点不为第二存储节点。
可以理解的是,云存储系统中,为了保证存储介质重新接入存储节点时,能够为该存储节点同步到与存储介质中的第二元数据相同的第一元数据,存储介质每次接入云存储系统时,存储节点均会根据存储介质接入存储节点自身的时间,生成一个关联标识,并将该关联标识与存储节点本地存储的存储介质对应的元数据进行关联,以通过该关联标识标记存储节点本地存储的第一存储介质对应第一元数据的状况。关联标识所对应的时间越新,即距离当前时间越近,该关联标识所关联的存储节点本地存储的第一存储介质对应第一元数据越新。进一步的,通过关联标识,可以避免当管理节点管辖范围内存在多个存储节点的本地存储有第一存储介质对应的第一元数据时,第一存储节点同步到与第一存储介质中的第二元数据不同的元数据的情况。
可以理解的是,管理节点本地存储的对应关系中包括存储节点标识与存储介质标识,并且还包括储介质标识以及关联标识的对应关系,可以理解为,管理节点本地存储的该对应关系中包括存储节点标识、存储介质标识以及关联标识三者的对应关系。每当存储介质重新接入云存储系统后,该存储介质对应的元数据的关联标识均会发生变化,此时,管理节点会更新本地存储的存储节点标识、存储介质标识以及关联标识三者的对应关系。
在一种实现方式中,为了避免第一存储节点本地存储的第一存储介质对应的元数据出现错误,即与第一存储介质中的第二元数据不同,并且避免管理节点管辖范围内出现多个存储节点的存储节点本地均存储有第一存储介质对应的元数据的情况,所述方法还可以包括:
当判断第一关联标识与第四关联标识不同,即判断第三存储节点本地所存储的第一存储介质对应的第一元数据与第一存储介质中的第二元数据不同时,向第三存储节点发送数据删除指令,以使第三存储节点删除本地所存储的第一存储介质对应的第一元数据;
向第一存储节点发送第二获取指令,以使第一存储节点响应第二获取指令,获取第一存储介质中的第二元数据。
在一种实现方式中,在所述将第三存储节点本地存储的第一存储介质对应的第一元数据发送至第一存储节点(S604)的步骤之后,所述方法还可以包括:
接收第一存储节点发送的第一存储节点对应的第一存储节点标识和第一存储介质标识的对应关系;
存储第一存储节点标识和第一存储介质标识的对应关系。
可以理解的是,当管理节点查找到第三存储节点本地存储有第一存储介质对应的第一元数据时,管理节点在存储第一存储节点标识和第一存储介质标识的对应关系时,会将第三存储节点标识和第一存储介质标识的对应关系删除。
相应于上述方法实施例,本发明实施例提供了一种基于云存储的元数据管理装置,如图8所示,所述装置可以包括:
第一获取模块810,用于在确定第一存储介质接入后,获取所述第一存储介质的第一存储介质标识;
查询模块820,用于根据所述第一存储介质标识,查询所述第一存储节点本地是否存储有所述第一存储介质对应的第一元数据;
通知模块830,用于当查询结果为是时,通知管理节点将所述第一存储介质的状态设置为接入状态,以通过所述第一元数据查询所述第一存储介质中所存储的数据。
应用本发明实施例,第一存储节点在确定第一存储介质接入后,获取第一存储介质的第一存储介质标识;根据第一存储介质标识,查询第一存储节点本地是否存储有第一存储介质对应的第一元数据;当查询结果为是时,通知管理节点将第一存储介质的状态设置为接入状态,以通过第一元数据查询第一存储介质中所存储的数据。可见,第一存储节点在确定第一存储介质接入后,当第一存储节点确定第一存储节点本地存储有该第一存储介质对应的第一元数据时,可以表明第一存储介质之前接入过第一存储节点。此时,第一存储节点可以复用第一存储节点本地已存储的该第一存储介质对应的第一元数据,以通过第一元数据查询第一存储介质中所存储的数据。进一步的可以表明,该第一存储介质与第一存储节点连接又断开后,第一存储节点未删除第一存储节点本地存储的第一存储介质对应的第一元数据。第一存储介质再次接入云存储系统时,可以复用已存储的第一存储介质对应的第一元数据。从而实现了减少对接入的存储介质的元数据的获取操作,提高了存储介质的元数据的存储效率。
在一种实现方式中,所述装置还可以包括第一判断模块;
所述第一判断模块,用于当所述查询结果为所述第一存储节点本地存储有所述第一存储介质对应的第一元数据时,判断所述第一存储介质中的第二元数据对应的第一特征信息与所述第一存储节点本地所存储的第一元数据对应的第二特征信息是否相同;若相同,触发所述通知模块830。
在一种实现方式中,所述装置还可以包括删除模块和第二获取模块;
所述删除模块,用于当判断所述第一特征信息与所述第二特征信息不同时,删除所述第一存储节点本地所存储的第一元数据;
所述第二获取模块,用于获取所述第一存储介质中的第二元数据;触发所述通知模块830。
在一种实现方式中,所述第一特征信息包括所述第一存储介质中的第一关联标识,所述第一关联标识为第二存储节点生成,且所述第一关联标识与所述第二存储节点本地存储的所述第一存储介质对应的第一元数据关联,所述第二存储节点为与第一存储介质最近断开连接的存储节点;
所述第二特征信息包括所述第一存储节点本地存储的第二关联标识,所述第二关联标识与所述第一存储节点本地存储的第一元数据关联;
所述装置还可以包括第三获取模块和第四获取模块;
所述第三获取模块,用于在所述判断所述第一存储介质中的第二元数据的第一特征信息与所述第一存储节点本地所存储的第一元数据的第二特征信息是否相同的步骤之前,从所述第一存储介质中获取所述第一关联标识;
所述第四获取模块,用于从所述第一存储节点本地获取所述第二关联标识;
所述第一判断模块,具体用于判断所述第一关联标识与所述第二关联标识是否相同。
在一种实现方式中,所述装置还可以包括第五获取模块、生成模块、第一关联模块、第一发送模块和第二发送模块;
所述第五获取模块,用于在所述判断所述第一关联标识与所述第二关联标识是否相同的步骤之前,获取所述第一存储介质接入所述第一存储节点的第一时间;
所述生成模块,用于根据所述第一时间以及所述第一存储介质标识生成第三关联标识;
所述第一关联模块,用于当判断所述第一关联标识与所述第二关联标识相同时,将所述第三关联标识与所述第一存储节点本地所存储的所述第一元数据进行关联;
所述第一发送模块,用于将所述第三关联标识发送至所述第一存储介质,以使所述第一存储介质将所存储的所述第一关联标识更新为所述第三关联标识;
所述第二发送模块,用于在所述通知管理节点将所述第一存储介质的状态设置为接入状态的步骤之前,将所述第三关联标识发送至所述管理节点,以使所述管理节点将本地已存储的所述第一关联标识更新为所述第三关联标识。
在一种实现方式中,所述装置还可以包括第二关联模块;
所述第二关联模块,用于当判断所述第一关联标识与所述第二关联标识不同时,将所述第三关联标识与从所述第一存储介质中获取的所述第二元数据进行关联;继续触发所述第一发送模块。
在一种实现方式中,所述装置还可以包括第三发送模块、接收存储模块、第六获取模块和第四发送模块;
所述第三发送模块,用于当所述查询结果为所述第一存储节点本地未存储有所述第一存储介质对应的第一元数据时,将所述第一存储介质标识发送至所述管理节点;
所述接收存储模块,用于接收并存储所述管理节点发送的所述第一存储介质对应的第一元数据;
所述第六获取模块,用于获取所述第一存储节点本地存储的第一存储节点标识;
所述第四发送模块,用于在所述通知管理节点将所述第一存储介质的状态设置为接入状态的步骤之前,将所述第一存储节点标识以及所述第一存储介质标识的对应关系,发送至所述管理节点,以使所述管理节点将本地已存储的所述第一存储介质标识与第三存储节点标识的对应关系更新为所述第一存储介质标识与所述第一存储节点标识的对应关系,其中,所述第三存储节点标识对应第三存储节点,所述第三存储节点本地存储有所述第一存储介质对应的第一元数据。
在一种实现方式中,所述装置还可以包括第三发送模块、第一接收模块、第七获取模块、第八获取模块和第五发送模块;
所述第三发送模块,用于当所述查询结果为所述第一存储节点本地未存储有所述第一存储介质对应的第一元数据时,将所述第一存储介质标识发送至所述管理节点;
所述第一接收模块,用于接收所述管理节点发送的获取指令,其中,所述获取指令用于指示获取所述第一存储介质中的第二元数据;
所述第七获取模块,用于响应所述获取指令,获取所述第一存储介质中的第二元数据;
所述第八获取模块,用于获取所述第一存储节点本地存储的第一存储节点标识;
所述第五发送模块,用于在所述通知管理节点将所述第一存储介质的状态设置为接入状态的步骤之前,将所述第一存储节点标识以及所述第一存储介质标识的对应关系,发送至所述管理节点,以使所述管理节点存储所述第一存储介质标识与所述第一存储节点标识的对应关系。
在一种实现方式中,所述第一获取模块810,具体用于
从所述第一存储介质中获取所述第一存储介质标识以及第一关联标识;
所述第三发送模块,具体用于
将所述第一存储介质标识以及所述第一关联标识发送至所述管理节点。
相应于上述方法实施例,本发明实施例提供了一种基于云存储的元数据管理装置,如图9所示,所述装置可以包括:
第二接收模块910,用于接收第一存储节点发送的第一存储介质标识,其中,所述第一存储介质标识为从第一存储介质中获取的标识,所述第一存储介质为接入所述第一存储节点的存储介质;
第一确定模块920,用于从管理节点本地存储的对应关系中,确定是否存在包含所述第一存储介质标识的第一对应关系,其中,所述对应关系中包括存储节点标识以及存储介质标识的对应关系;
第二确定模块930,用于当确定存在所述第一对应关系时,根据所述第一对应关系中包含的存储节点标识,确定存储有所述第一存储介质对应的第一元数据的第三存储节点;
第六发送模块940,用于将所述第三存储节点本地存储的所述第一存储介质对应的第一元数据发送至所述第一存储节点,以使所述第一存储节点接收并存储所述管理节点发送的所述第一存储介质对应的第一元数据。
应用本发明实施例,接收第一存储节点发送的第一存储介质标识,其中,第一存储介质标识为从第一存储介质中获取的标识,第一存储介质为接入所述第一存储节点的存储介质;从管理节点本地存储的对应关系中,确定是否存在包含第一存储介质标识的第一对应关系,其中,对应关系中包括存储节点标识以及存储介质标识的对应关系;当确定存在第一对应关系时,根据第一对应关系中包含的存储节点标识,确定存储有第一存储介质对应的第一元数据的第三存储节点;将第三存储节点本地存储的第一存储介质对应的第一元数据发送至第一存储节点,以使第一存储节点接收并存储管理节点发送的第一存储介质对应的第一元数据,以实现减少对接入的存储介质的元数据的获取操作,提高存储介质的元数据的存储效率。
在一种实现方式中,所述装置还可以包括第七发送模块;
所述第七发送模块,用于当确定不存在所述第一对应关系时,向所述第一存储节点发送第一获取指令,以使所述第一存储节点响应所述第一获取指令,获取所述第一存储介质中的第二元数据。
在一种实现方式中,所述装置还可以包括第三判断模块;
所述第三判断模块,用于在所述根据所述第一对应关系中包含的存储节点标识,确定存储有所述第一存储介质对应的第一元数据的第三存储节点的步骤之后,判断所述第一存储介质中的第二元数据对应的第一特征信息与所述第三存储节点本地所存储的第一元数据对应的第三特征信息是否相同;
若相同时,触发所述第六发送模块940。
在一种实现方式中,所述对应关系中还包括所述存储介质标识与关联标识的对应关系;
所述第一特征信息包括所述第一存储介质中的第一关联标识,所述第一关联标识为第二存储节点生成,且所述第一关联标识与所述第二存储节点本地存储的所述第一存储介质对应的第一元数据关联,所述第二存储节点为与第一存储介质最近断开连接的存储节点;
所述第三特征信息包括与所述第一存储介质标识存在对应关系的第四关联标识;
所述装置还可以包括第三接收模块和第九获取模块;
所述第三接收模块,用于在所述判断所述第一存储介质中的第二元数据对应的第一特征信息与所述第三存储节点本地所存储的第一元数据对应的第三特征信息是否相同的步骤之前,接收所述第一存储节点发送的第一关联标识;
所述第九获取模块,用于根据所述第一对应关系,从所述管理节点本地获取所述第四关联标识;
所述第三判断模块,具体用于判断所述第一关联标识与所述第四关联标识是否相同。
在一种实现方式中,所述装置还可以包括第八发送模块和第九发送模块;
所述第八发送模块,用于当判断所述第一关联标识与所述第四关联标识不同时,向所述第三存储节点发送数据删除指令,以使所述第三存储节点删除本地所存储的所述第一存储介质对应的第一元数据;
所述第九发送模块,用于向所述第一存储节点发送第二获取指令,以使所述第一存储节点响应所述第二获取指令,获取所述第一存储介质中的第二元数据。
在一种实现方式中,所述装置还可以包括第四接收模块和第二存储模块;
所述第四接收模块,用于在所述将所述第三存储节点本地存储的所述第一存储介质对应的第一元数据发送至所述第一存储节点的步骤之后,接收所述第一存储节点发送的第一存储节点对应的第一存储节点标识和所述第一存储介质标识的对应关系;
所述第二存储模块,用于存储所述第一存储节点标识和所述第一存储介质标识的对应关系。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (30)

1.一种基于云存储的元数据管理方法,其特征在于,所述方法包括:
第一存储节点在确定第一存储介质接入后,获取所述第一存储介质的第一存储介质标识;
根据所述第一存储介质标识,查询所述第一存储节点本地是否存储有所述第一存储介质对应的第一元数据;
当查询结果为是时,通知管理节点将所述第一存储介质的状态设置为接入状态,以通过所述第一元数据查询所述第一存储介质中所存储的数据。
2.根据权利要求1所述的方法,其特征在于,当所述查询结果为所述第一存储节点本地存储有所述第一存储介质对应的第一元数据时,所述方法还包括:
判断所述第一存储介质中的第二元数据对应的第一特征信息与所述第一存储节点本地所存储的第一元数据对应的第二特征信息是否相同;
若相同,执行所述通知管理节点将所述第一存储介质的状态设置为接入状态的步骤。
3.根据权利要求2所述的方法,其特征在于,当判断所述第一特征信息与所述第二特征信息不同时,所述方法还包括:
删除所述第一存储节点本地所存储的第一元数据;
获取所述第一存储介质中的第二元数据,执行所述通知管理节点将所述第一存储介质的状态设置为接入状态的步骤。
4.根据权利要求2所述的方法,其特征在于,
所述第一特征信息包括所述第一存储介质中的第一关联标识,所述第一关联标识为第二存储节点生成,且所述第一关联标识与所述第二存储节点本地存储的所述第一存储介质对应的第一元数据关联,所述第二存储节点为与第一存储介质最近断开连接的存储节点;
所述第二特征信息包括所述第一存储节点本地存储的第二关联标识,所述第二关联标识与所述第一存储节点本地存储的第一元数据关联;
在所述判断所述第一存储介质中的第二元数据的第一特征信息与所述第一存储节点本地所存储的第一元数据的第二特征信息是否相同的步骤之前,所述方法还包括:
从所述第一存储介质中获取所述第一关联标识;
从所述第一存储节点本地获取所述第二关联标识;
所述判断所述第一存储介质中的第二元数据的第一特征信息与所述第一存储节点本地所存储的第一元数据的第二特征信息是否相同的步骤,包括:
判断所述第一关联标识与所述第二关联标识是否相同。
5.根据权利要求4所述的方法,其特征在于,在所述判断所述第一关联标识与所述第二关联标识是否相同的步骤之前,所述方法还包括:
获取所述第一存储介质接入所述第一存储节点的第一时间;
根据所述第一时间以及所述第一存储介质标识生成第三关联标识;
当判断所述第一关联标识与所述第二关联标识相同时,将所述第三关联标识与所述第一存储节点本地所存储的所述第一元数据进行关联;
将所述第三关联标识发送至所述第一存储介质,以使所述第一存储介质将所存储的所述第一关联标识更新为所述第三关联标识;
在所述通知管理节点将所述第一存储介质的状态设置为接入状态的步骤之前,所述方法还包括:
将所述第三关联标识发送至所述管理节点,以使所述管理节点将本地已存储的所述第一关联标识更新为所述第三关联标识。
6.根据权利要求5所述的方法,其特征在于,当判断所述第一关联标识与所述第二关联标识不同时,所述方法还包括:
将所述第三关联标识与从所述第一存储介质中获取的所述第二元数据进行关联;继续执行所述将所述第三关联标识发送至所述第一存储介质的步骤。
7.根据权利要求1所述的方法,其特征在于,当所述查询结果为所述第一存储节点本地未存储有所述第一存储介质对应的第一元数据时,所述方法还包括:
将所述第一存储介质标识发送至所述管理节点;
接收并存储所述管理节点发送的所述第一存储介质对应的第一元数据;
获取所述第一存储节点本地存储的第一存储节点标识;
在所述通知管理节点将所述第一存储介质的状态设置为接入状态的步骤之前,所述方法还包括:
将所述第一存储节点标识以及所述第一存储介质标识的对应关系,发送至所述管理节点,以使所述管理节点将本地已存储的所述第一存储介质标识与第三存储节点标识的对应关系更新为所述第一存储介质标识与所述第一存储节点标识的对应关系,其中,所述第三存储节点标识对应第三存储节点,所述第三存储节点本地存储有所述第一存储介质对应的第一元数据。
8.根据权利要求1所述的方法,其特征在于,当所述查询结果为所述第一存储节点本地未存储有所述第一存储介质对应的第一元数据时,所述方法还包括:
将所述第一存储介质标识发送至所述管理节点;
接收所述管理节点发送的获取指令,其中,所述获取指令用于指示获取所述第一存储介质中的第二元数据;
响应所述获取指令,获取所述第一存储介质中的第二元数据;
获取所述第一存储节点本地存储的第一存储节点标识;
在所述通知管理节点将所述第一存储介质的状态设置为接入状态的步骤之前,所述方法还包括:
将所述第一存储节点标识以及所述第一存储介质标识的对应关系,发送至所述管理节点,以使所述管理节点存储所述第一存储介质标识与所述第一存储节点标识的对应关系。
9.根据权利要求7或8所述的方法,其特征在于,
所述获取所述第一存储介质的第一存储介质标识的步骤,包括:
从所述第一存储介质中获取所述第一存储介质标识以及第一关联标识;
所述将所述第一存储介质标识发送至所述管理节点的步骤,包括:
将所述第一存储介质标识以及所述第一关联标识发送至所述管理节点。
10.一种基于云存储的元数据管理方法,其特征在于,所述方法包括:
接收第一存储节点发送的第一存储介质标识,其中,所述第一存储介质标识为从第一存储介质中获取的标识,所述第一存储介质为接入所述第一存储节点的存储介质;
从管理节点本地存储的对应关系中,确定是否存在包含所述第一存储介质标识的第一对应关系,其中,所述对应关系中包括存储节点标识以及存储介质标识的对应关系;
当确定存在所述第一对应关系时,根据所述第一对应关系中包含的存储节点标识,确定存储有所述第一存储介质对应的第一元数据的第三存储节点;
将所述第三存储节点本地存储的所述第一存储介质对应的第一元数据发送至所述第一存储节点,以使所述第一存储节点接收并存储所述管理节点发送的所述第一存储介质对应的第一元数据。
11.根据权利要求10所述的方法,其特征在于,当确定不存在所述第一对应关系时,所述方法还包括:
向所述第一存储节点发送第一获取指令,以使所述第一存储节点响应所述第一获取指令,获取所述第一存储介质中的第二元数据。
12.根据权利要求10所述的方法,其特征在于,在所述根据所述第一对应关系中包含的存储节点标识,确定存储有所述第一存储介质对应的第一元数据的第三存储节点的步骤之后,所述方法还包括:
判断所述第一存储介质中的第二元数据对应的第一特征信息与所述第三存储节点本地所存储的第一元数据对应的第三特征信息是否相同;
若相同时,执行所述将所述第三存储节点本地存储的所述第一存储介质对应的第一元数据发送至所述第一存储节点的步骤。
13.根据权利要求12所述的方法,其特征在于,
所述对应关系中还包括所述存储介质标识与关联标识的对应关系;
所述第一特征信息包括所述第一存储介质中的第一关联标识,所述第一关联标识为第二存储节点生成,且所述第一关联标识与所述第二存储节点本地存储的所述第一存储介质对应的第一元数据关联,所述第二存储节点为与第一存储介质最近断开连接的存储节点;
所述第三特征信息包括与所述第一存储介质标识存在对应关系的第四关联标识;
在所述判断所述第一存储介质中的第二元数据对应的第一特征信息与所述第三存储节点本地所存储的第一元数据对应的第三特征信息是否相同的步骤之前,所述方法还包括:
接收所述第一存储节点发送的第一关联标识;
根据所述第一对应关系,从所述管理节点本地获取所述第四关联标识;
所述判断所述第一存储介质中的第二元数据对应的第一特征信息与所述第三存储节点本地所存储的第一元数据对应的第三特征信息是否相同的步骤,包括:
判断所述第一关联标识与所述第四关联标识是否相同。
14.根据权利要求13所述的方法,其特征在于,当判断所述第一关联标识与所述第四关联标识不同时,所述方法还包括:
向所述第三存储节点发送数据删除指令,以使所述第三存储节点删除本地所存储的所述第一存储介质对应的第一元数据;
向所述第一存储节点发送第二获取指令,以使所述第一存储节点响应所述第二获取指令,获取所述第一存储介质中的第二元数据。
15.根据权利要求10所述的方法,其特征在于,在所述将所述第三存储节点本地存储的所述第一存储介质对应的第一元数据发送至所述第一存储节点的步骤之后,所述方法还包括:
接收所述第一存储节点发送的第一存储节点对应的第一存储节点标识和所述第一存储介质标识的对应关系;
存储所述第一存储节点标识和所述第一存储介质标识的对应关系。
16.一种基于云存储的元数据管理装置,其特征在于,所述装置包括:
第一获取模块,用于在确定第一存储介质接入第一存储节点后,获取所述第一存储介质的第一存储介质标识;
查询模块,用于根据所述第一存储介质标识,查询所述第一存储节点本地是否存储有所述第一存储介质对应的第一元数据;
通知模块,用于当查询结果为是时,通知管理节点将所述第一存储介质的状态设置为接入状态,以通过所述第一元数据查询所述第一存储介质中所存储的数据。
17.根据权利要求16所述的装置,其特征在于,所述装置还包括第一判断模块;
所述第一判断模块,用于当所述查询结果为所述第一存储节点本地存储有所述第一存储介质对应的第一元数据时,判断所述第一存储介质中的第二元数据对应的第一特征信息与所述第一存储节点本地所存储的第一元数据对应的第二特征信息是否相同;若相同,触发所述通知模块。
18.根据权利要求17所述的装置,其特征在于,所述装置还包括删除模块和第二获取模块;
所述删除模块,用于当判断所述第一特征信息与所述第二特征信息不同时,删除所述第一存储节点本地所存储的第一元数据;
所述第二获取模块,用于获取所述第一存储介质中的第二元数据;触发所述通知模块。
19.根据权利要求17所述的装置,其特征在于,
所述第一特征信息包括所述第一存储介质中的第一关联标识,所述第一关联标识为第二存储节点生成,且所述第一关联标识与所述第二存储节点本地存储的所述第一存储介质对应的第一元数据关联,所述第二存储节点为与第一存储介质最近断开连接的存储节点;
所述第二特征信息包括所述第一存储节点本地存储的第二关联标识,所述第二关联标识与所述第一存储节点本地存储的第一元数据关联;
所述装置还包括第三获取模块和第四获取模块;
所述第三获取模块,用于在所述判断所述第一存储介质中的第二元数据的第一特征信息与所述第一存储节点本地所存储的第一元数据的第二特征信息是否相同的步骤之前,从所述第一存储介质中获取所述第一关联标识;
所述第四获取模块,用于从所述第一存储节点本地获取所述第二关联标识;
所述第一判断模块,具体用于判断所述第一关联标识与所述第二关联标识是否相同。
20.根据权利要求19所述的装置,其特征在于,所述装置还包括第五获取模块、生成模块、第一关联模块、第一发送模块和第二发送模块;
所述第五获取模块,用于在所述判断所述第一关联标识与所述第二关联标识是否相同的步骤之前,获取所述第一存储介质接入所述第一存储节点的第一时间;
所述生成模块,用于根据所述第一时间以及所述第一存储介质标识生成第三关联标识;
所述第一关联模块,用于当判断所述第一关联标识与所述第二关联标识相同时,将所述第三关联标识与所述第一存储节点本地所存储的所述第一元数据进行关联;
所述第一发送模块,用于将所述第三关联标识发送至所述第一存储介质,以使所述第一存储介质将所存储的所述第一关联标识更新为所述第三关联标识;
所述第二发送模块,用于在所述通知管理节点将所述第一存储介质的状态设置为接入状态的步骤之前,将所述第三关联标识发送至所述管理节点,以使所述管理节点将本地已存储的所述第一关联标识更新为所述第三关联标识。
21.根据权利要求20所述的装置,其特征在于,所述装置还包括第二关联模块;
所述第二关联模块,用于当判断所述第一关联标识与所述第二关联标识不同时,将所述第三关联标识与从所述第一存储介质中获取的所述第二元数据进行关联;继续触发所述第一发送模块。
22.根据权利要求16所述的装置,其特征在于,所述装置还包括第三发送模块、接收存储模块、第六获取模块和第四发送模块;
所述第三发送模块,用于当所述查询结果为所述第一存储节点本地未存储有所述第一存储介质对应的第一元数据时,将所述第一存储介质标识发送至所述管理节点;
所述接收存储模块,用于接收并存储所述管理节点发送的所述第一存储介质对应的第一元数据;
所述第六获取模块,用于获取所述第一存储节点本地存储的第一存储节点标识;
所述第四发送模块,用于在所述通知管理节点将所述第一存储介质的状态设置为接入状态的步骤之前,将所述第一存储节点标识以及所述第一存储介质标识的对应关系,发送至所述管理节点,以使所述管理节点将本地已存储的所述第一存储介质标识与第三存储节点标识的对应关系更新为所述第一存储介质标识与所述第一存储节点标识的对应关系,其中,所述第三存储节点标识对应第三存储节点,所述第三存储节点本地存储有所述第一存储介质对应的第一元数据。
23.根据权利要求16所述的装置,其特征在于,所述装置还包括第三发送模块、第一接收模块、第七获取模块、第八获取模块和第五发送模块;
所述第三发送模块,用于当所述查询结果为所述第一存储节点本地未存储有所述第一存储介质对应的第一元数据时,将所述第一存储介质标识发送至所述管理节点;
所述第一接收模块,用于接收所述管理节点发送的获取指令,其中,所述获取指令用于指示获取所述第一存储介质中的第二元数据;
所述第七获取模块,用于响应所述获取指令,获取所述第一存储介质中的第二元数据;
所述第八获取模块,用于获取所述第一存储节点本地存储的第一存储节点标识;
所述第五发送模块,用于在所述通知管理节点将所述第一存储介质的状态设置为接入状态的步骤之前,将所述第一存储节点标识以及所述第一存储介质标识的对应关系,发送至所述管理节点,以使所述管理节点存储所述第一存储介质标识与所述第一存储节点标识的对应关系。
24.根据权利要求22或23所述的装置,其特征在于,所述第一获取模块,具体用于
从所述第一存储介质中获取所述第一存储介质标识以及第一关联标识;
所述第三发送模块,具体用于
将所述第一存储介质标识以及所述第一关联标识发送至所述管理节点。
25.一种基于云存储的元数据管理装置,其特征在于,所述装置包括:
第二接收模块,用于接收第一存储节点发送的第一存储介质标识,其中,所述第一存储介质标识为从第一存储介质中获取的标识,所述第一存储介质为接入所述第一存储节点的存储介质;
第一确定模块,用于从管理节点本地存储的对应关系中,确定是否存在包含所述第一存储介质标识的第一对应关系,其中,所述对应关系中包括存储节点标识以及存储介质标识的对应关系;
第二确定模块,用于当确定存在所述第一对应关系时,根据所述第一对应关系中包含的存储节点标识,确定存储有所述第一存储介质对应的第一元数据的第三存储节点;
第六发送模块,用于将所述第三存储节点本地存储的所述第一存储介质对应的第一元数据发送至所述第一存储节点,以使所述第一存储节点接收并存储所述管理节点发送的所述第一存储介质对应的第一元数据。
26.根据权利要求25所述的装置,其特征在于,所述装置还包括第七发送模块;
所述第七发送模块,用于当确定不存在所述第一对应关系时,向所述第一存储节点发送第一获取指令,以使所述第一存储节点响应所述第一获取指令,获取所述第一存储介质中的第二元数据。
27.根据权利要求25所述的装置,其特征在于,所述装置还包括第三判断模块;
所述第三判断模块,用于在所述根据所述第一对应关系中包含的存储节点标识,确定存储有所述第一存储介质对应的第一元数据的第三存储节点的步骤之后,判断所述第一存储介质中的第二元数据对应的第一特征信息与所述第三存储节点本地所存储的第一元数据对应的第三特征信息是否相同;
若相同时,触发所述第六发送模块。
28.根据权利要求27所述的装置,其特征在于,
所述对应关系中还包括所述存储介质标识与关联标识的对应关系;
所述第一特征信息包括所述第一存储介质中的第一关联标识,所述第一关联标识为第二存储节点生成,且所述第一关联标识与所述第二存储节点本地存储的所述第一存储介质对应的第一元数据关联,所述第二存储节点为与第一存储介质最近断开连接的存储节点;
所述第三特征信息包括与所述第一存储介质标识存在对应关系的第四关联标识;
所述装置还包括第三接收模块和第九获取模块;
所述第三接收模块,用于在所述判断所述第一存储介质中的第二元数据对应的第一特征信息与所述第三存储节点本地所存储的第一元数据对应的第三特征信息是否相同的步骤之前,接收所述第一存储节点发送的第一关联标识;
所述第九获取模块,用于根据所述第一对应关系,从所述管理节点本地获取所述第四关联标识;
所述第三判断模块,具体用于判断所述第一关联标识与所述第四关联标识是否相同。
29.根据权利要求28所述的装置,其特征在于,所述装置还包括第八发送模块和第九发送模块;
所述第八发送模块,用于当判断所述第一关联标识与所述第四关联标识不同时,向所述第三存储节点发送数据删除指令,以使所述第三存储节点删除本地所存储的所述第一存储介质对应的第一元数据;
所述第九发送模块,用于向所述第一存储节点发送第二获取指令,以使所述第一存储节点响应所述第二获取指令,获取所述第一存储介质中的第二元数据。
30.根据权利要求25所述的装置,其特征在于,所述装置还包括第四接收模块和第二存储模块;
所述第四接收模块,用于在所述将所述第三存储节点本地存储的所述第一存储介质对应的第一元数据发送至所述第一存储节点的步骤之后,接收所述第一存储节点发送的第一存储节点对应的第一存储节点标识和所述第一存储介质标识的对应关系;
所述第二存储模块,用于存储所述第一存储节点标识和所述第一存储介质标识的对应关系。
CN201611257923.0A 2016-12-30 2016-12-30 一种基于云存储的元数据管理方法及装置 Active CN108268207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611257923.0A CN108268207B (zh) 2016-12-30 2016-12-30 一种基于云存储的元数据管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611257923.0A CN108268207B (zh) 2016-12-30 2016-12-30 一种基于云存储的元数据管理方法及装置

Publications (2)

Publication Number Publication Date
CN108268207A CN108268207A (zh) 2018-07-10
CN108268207B true CN108268207B (zh) 2021-04-02

Family

ID=62754779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611257923.0A Active CN108268207B (zh) 2016-12-30 2016-12-30 一种基于云存储的元数据管理方法及装置

Country Status (1)

Country Link
CN (1) CN108268207B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110045924B (zh) * 2019-03-01 2022-02-11 平安科技(深圳)有限公司 分级存储方法、装置、电子设备及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101741731A (zh) * 2009-12-03 2010-06-16 中兴通讯股份有限公司 内容分发网络中内容元数据的存储、查询方法及管理系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7827192B2 (en) * 2006-12-29 2010-11-02 Network Appliance, Inc. Method and system for caching metadata of a storage system
CN103491152A (zh) * 2013-09-17 2014-01-01 华为数字技术(苏州)有限公司 分布式文件系统中元数据获取方法、装置及系统
CN104917800B (zh) * 2014-03-14 2018-03-27 国际商业机器公司 建立用于虚拟机的冗余连接的方法及装置
CN104035807B (zh) * 2014-07-02 2017-04-12 电子科技大学 一种云存储系统的元数据缓存替换方法
CN105278882A (zh) * 2015-10-26 2016-01-27 创新科存储技术有限公司 一种分布式文件系统的磁盘管理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101741731A (zh) * 2009-12-03 2010-06-16 中兴通讯股份有限公司 内容分发网络中内容元数据的存储、查询方法及管理系统

Also Published As

Publication number Publication date
CN108268207A (zh) 2018-07-10

Similar Documents

Publication Publication Date Title
US11032368B2 (en) Data processing method, apparatus, and system
CN108509153B (zh) Osd选择方法、数据写入和读取方法、监控器和服务器集群
CN111291000B (zh) 基于区块链的文件获取方法、设备及存储介质
CN102843403A (zh) 基于分布式文件系统的文件处理方法、系统及客户端
US10013312B2 (en) Method and system for a safe archiving of data
CN105701096A (zh) 索引生成方法、数据查询方法、装置及系统
WO2010107057A1 (ja) アクセス制御リスト変換システム、その方法及びそのプログラム
US9445162B2 (en) Interactive personal/internet protocol television reservation system, reservation plan management method and device
CN102202073A (zh) 一种分布式系统及其数据同步方法
EP2710477B1 (en) Distributed caching and cache analysis
CN108614837B (zh) 文件存储和检索的方法及装置
CN111177144B (zh) 表同步方法、装置、设备、存储介质及系统
CN106326239A (zh) 分布式文件系统及其文件元信息管理方法
CN110046062B (zh) 分布式数据处理方法及系统
CN107291768B (zh) 一种索引建立的方法及装置
EP4231167A1 (en) Data storage method and apparatus based on blockchain network
CN109684273A (zh) 一种快照管理方法、装置、设备及可读存储介质
CN105138927A (zh) 隐私数据保护方法及装置
CN112632029B (zh) 分布式存储系统的数据管理方法、装置及设备
WO2019085959A1 (zh) 多基站连接管理方法、用户终端及计算机可读存储介质
CN104516795A (zh) 一种数据存取方法及系统
CN108268207B (zh) 一种基于云存储的元数据管理方法及装置
EP3570169B1 (en) Method and system for processing device failure
CN114185991A (zh) 基于分布式数据库实现数据同步的方法及相关装置
US11128622B2 (en) Method for processing data request and system therefor, access device, and storage device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant