CN109062500B - 一种元数据管理服务器、数据存储系统及数据存储方法 - Google Patents

一种元数据管理服务器、数据存储系统及数据存储方法 Download PDF

Info

Publication number
CN109062500B
CN109062500B CN201810730529.7A CN201810730529A CN109062500B CN 109062500 B CN109062500 B CN 109062500B CN 201810730529 A CN201810730529 A CN 201810730529A CN 109062500 B CN109062500 B CN 109062500B
Authority
CN
China
Prior art keywords
data
storage
server
address
storage area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810730529.7A
Other languages
English (en)
Other versions
CN109062500A (zh
Inventor
刘枫
杨俊�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201810730529.7A priority Critical patent/CN109062500B/zh
Publication of CN109062500A publication Critical patent/CN109062500A/zh
Application granted granted Critical
Publication of CN109062500B publication Critical patent/CN109062500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms
    • G06F3/0649Lifecycle management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明实施例提供的一种元数据管理服务器、数据存储系统及数据存储方法,其中,元数据管理服务器将通过统一存储网关接口接收到的数据进行分级归档,发送分级归档后的数据至所述数据服务器,并向网关单元发送所述数据的索引地址;所述数据的索引地址与数据服务器存储所述数据的存储区域地址对应。本发明实施例中用户无需查找多种分布式存储系统的访问接口及数据服务器的存储区域,就可以利用网关单元存储的数据的索引地址,通过统一存储网关接口从数据服务器获得数据,节省了获取数据的时间。

Description

一种元数据管理服务器、数据存储系统及数据存储方法
技术领域
本发明涉及数据存储技术领域,特别是涉及一种元数据管理服务器、数据存储系统及数据存储方法。
背景技术
随着数据业务的增长,对于数据存储的要求也随之增多。现有技术使用多种分布式存储系统对数据进行分级归档存储。
下面对使用多分布式存储系统对数据进行分级归档存储过程进行分析:
多种分布存储系统如图1所示,包括:多个分布式存储子系统,每个分布式存储子系统主要包括:元数据管理服务器及数据服务器。多种分布式系统中的元数据管理服务器接收到数据后,按照不同的存储应用场景,将数据按照访问量存储至数据服务器的不同级别的存储区域,实现分级归档,例如:实时访问数据访问量较高,存储在数据服务器的热存储中,客户端日志或者历史数据访问量居中,存储在数据服务器的冷存储中,第三方数据访问量较低,存储在数据服务器的冷备中。元数据管理服务器记录存储数据的数据服务器地址及存储区域地址,以便管理数据服务器。用户通过各个分布存储子系统的访问接口,根据元数据管理服务器记录存储数据的数据服务器地址及存储区域地址,从数据服务器的存储区域地址中获取数据。
多个分布式存储子系统的访问接口存在差异,并且分布式存储子系统包含多个数据服务器,每个数据服务器中有多个存储区域。对于用户来说,由于需要查找多个访问接口,才能获知元数据管理服务器记录的存储的数据服务器地址及存储区域地址,从多个数据服务器的多个存储区域中,找出存储数据的存储区域,通过访问接口获取分级归档后存储在该存储区域的的数据,比较耗费时间。
发明内容
本发明实施例的目的在于提供一种元数据管理服务器、数据存储系统及数据存储方法,用户无需查找多种分布存储系统的访问接口,利用网关单元存储的索引地址从数据服务器获得数据,节省获取数据的时间。具体技术方案如下:
第一方面,本发明实施例提供了一种元数据管理服务器,包括:
处理器,将通过统一存储网关接口接收到的数据进行分级归档;
发送器,发送分级归档后的数据至数据服务器,并向网关单元发送数据的索引地址;数据的索引地址与数据服务器存储数据的存储区域地址对应。
可选的,处理器,进一步将数据服务器的地址、数据服务器中存储数据的存储区域的地址、预设的数据的相对路径及数据的类型按照顺序生成字符串;基于字符串,确定数据的索引地址。
可选的,基于字符串,确定数据的索引地址,包括:
使用哈希算法计算字符串的哈希值,在哈希值中选择预设数量个字符作为数据的索引地址。
第二方面,本发明实施例提供了一种数据存储系统,包括:网关单元;数据存储系统还包括:分布式存储子系统;分布式存储子系统包括:数据服务器及元数据管理服务器;
网关单元,存储已获得的统一存储网关接口;通过统一存储网关接口将接收到的数据发送至分布式存储子系统中的元数据管理服务器;接收元数据管理服务器发送的数据的索引地址并保存;
元数据管理服务器,将通过统一存储网关接口接收到的数据进行分级归档;发送分级归档后的数据至数据服务器;向网关单元发送数据的索引地址;
数据服务器,接收元数据管理服务器发送的分级归档后的数据;并存储至存储区域;数据的索引地址与数据服务器存储数据的存储区域地址对应。
可选的,网关单元,获得各个分布式存储子系统的访问接口,将各个分布式存储子系统的访问接口进行封装,将封装后的各个分布式存储子系统的访问接口确定为统一存储网关接口,通过统一存储网关接口将接收到的数据发送至分布式存储子系统中的元数据管理服务器,接收元数据管理服务器发送的数据的索引地址并保存;统一存储网关接口包括:各个分布式存储子系统的访问接口。
可选的,元数据管理服务器,进一步将数据服务器的地址、数据服务器中存储数据的存储区域的地址、预设的数据的相对路径及数据的类型按照顺序生成字符串,基于字符串,确定数据的索引地址。
可选的,基于字符串,确定数据的索引地址,向网关单元发送数据的索引地址,包括:
使用哈希算法计算字符串的哈希值,在哈希值中选择预设数量个字符作为数据的索引地址。
可选的,数据存储系统还包括:
数据同步服务器,按照预先设定的时间周期,将存储区域中热存储中的数据转移存储至存储区域中冷存储或者冷备。
可选的,数据同步服务器,进一步将存储区域中冷存储或者冷备的数据复制存储至存储区域中热存储中。
第三方面,本发明实施例提供了一种数据存储方法,包括:
将通过统一存储网关接口接收到的数据进行分级归档;
发送分级归档后的数据至数据服务器;
向网关单元发送数据的索引地址;数据的索引地址与所述数据服务器存储所述数据的存储区域地址对应。
可选的,采用如下步骤,确定所述数据的索引地址:
将数据服务器的地址、数据服务器中存储所述数据的存储区域的地址、预设的所述数据的相对路径及所述数据的类型按照顺序生成字符串;
基于字符串,确定数据的索引地址。
可选的,基于字符串,确定索引地址,包括:
使用哈希算法计算字符串的哈希值,在哈希值中选择预设数量个字符作为数据的索引地址。
第四方面,本发明实施里提供了一种数据存储方法,包括:
网关单元,存储已获得的统一存储网关接口;
通过统一存储网关接口将接收到的数据发送至分布式存储子系统中的元数据管理服务器;接收元数据管理服务器发送的数据的索引地址并保存;
元数据管理服务器,将通过统一存储网关接口接收到的数据进行分级归档;
发送分级归档后的数据至数据服务器;
向网关单元发送数据的索引地址;
数据服务器,接收元数据管理服务器发送的分级归档后的数据,并存储至存储区域;数据的索引地址与数据服务器存储数据的存储区域地址对应。
可选的,网关单元,获得各个分布式存储子系统的访问接口;
将各个分布式存储子系统的访问接口进行封装;
将封装后的各个分布式存储子系统的访问接口确定为统一存储网关接口;
通过统一存储网关接口将接收到的数据发送至分布式存储子系统中的元数据管理服务器;统一存储网关接口包括:各个分布式存储子系统的访问接口。
接收元数据管理服务器发送的数据的索引地址并保存。
可选的,元数据管理服务器,进一步将数据服务器的地址、数据服务器中存储数据的存储区域的地址、预设的数据的相对路径及数据的类型按照顺序生成字符串;
基于字符串,确定数据的索引地址。
可选的,基于字符串,确定索引地址,包括:
使用哈希算法计算字符串的哈希值,在哈希值中选择预设数量个字符作为数据的索引地址。
可选的,在确定数据的索引地址之后,数据存储方法还包括:
数据同步服务器,按照预先设定的时间周期,将所述存储区域中热存储中的数据转移存储至存储区域中冷存储或者冷备。
可选的,数据同步服务器,进一步将存储区域中冷存储或者冷备的数据复制存储至存储区域中热存储中。
在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述任一所述的一种数据存储的方法。
在本发明实施的又一方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的一种数据存储的方法。
本发明实施例提供的一种元数据管理服务器、数据存储系统及数据存储方法,元数据管理服务器将通过统一存储网关接口接收到的数据进行分级归档,发送分级归档后的数据至所述数据服务器,并向网关单元发送所述数据的索引地址;所述数据的索引地址与数据服务器存储所述数据的存储区域地址对应。
本发明实施例中用户无需查找多种分布式存储系统的访问接口及数据服务器的存储区域,就可以利用网关单元存储的数据的索引地址,通过统一存储网关接口从数据服务器获得数据,节省了获取数据的时间,因此可以提升用户体验。当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为现有技术的多分布式存储系统的结构示意图;
图2为本发明实施例提供的一种元数据管理服务器的结构示意图;
图3为本发明实施例提供的一种数据存储系统的结构示意图;
图4为本发明实施例提供的另一种数据存储系统的结构示意图;
图5为本发明实施例提供的一种数据存储方法的流程图;
图6为本发明实施例确定索引地址的流程图;
图7为基于图3的一种数据存储方法的流程图;
图8为本发明实施例获得统一存储网关接口的流程图;
图9为基于图3确定索引地址的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
首先,为了方便理解本发明实施例,在此先介绍一下本发明实施例中下文的使用术语“第一阈值”、“第二阈值”、“第三阈值”、“N”。等。
第一阈值为人为根据行业经验设定的数值,第二阈值为人为根据行业经验设定的不同于第一阈值的数值,第三阈值为人为根据行业经验设定的不同于第一阈值及第二阈值的数值。N取正整数。这里的诸如第一和第二等之类的关系术语仅仅用来将“第一阈值”及“第二阈值”“第三阈值”进行区分,并不一定要求或者暗示“第一阈值”及“第二阈值”“第三阈值”之间存在任何这种实际的关系或者顺序。具体“第一阈值”及“第二阈值”“第三阈值”是否有顺序,可以根据实际情况去限定。
现有技术需要查找多个分布式存储系统的访问接口,才能获知元数据管理服务器记录的存储的数据服务器地址及存储区域地址,从多个数据服务器的多个存储区域中,找出存储数据的存储区域,通过访问接口获取分级归档后存储在该存储区域的数据,比较耗费时间。因此,针对现有技术获取数据比较耗费时间的问题,本发明实施例提供了一种数据管理服务器、数据存储系统及数据存储方法,根据元数据管理服务器将通过统一存储网关接口接收到的数据进行分级归档,发送分级归档后的数据至所述数据服务器,并返回数据的索引地址;从接收元数据管理服务器发送的分级归档后的数据,并存储至存储区域的数据服务器中获取数据。本发明实施例中用户无需查找多种分布式存储系统的访问接口及数据服务器的存储区域,就可以通过统一存储网关接口获得数据的索引地址,利用索引地址从数据服务器获得数据,节省了获取数据的时间,因此可以提升用户体验。
下面继续对本发明实施例提供的一种元数据管理服务器作简单介绍。
如图2所示,本发明实施例提供了一种元数据管理服务器,包括:
处理器201,将通过统一存储网关接口接收到的数据进行分级归档;
发送器202,发送分级归档后的数据至数据服务器,并向网关单元发送数据的索引地址;数据的索引地址与存储数据的存储区域地址对应。
其中,发送器根据数据类型生成索引地址存储在地址列表中,然后将存储索引地址的地址列表发送给网关单元,该索引地址用于链接存储该数据的存储区域及网关单元的地址列表。存储区域地址包括:热存储地址、冷存储地址及冷备地址;网关单元存储已获得的统一存储网关接口,统一存储网关接口包括:各个分布式存储子系统的访问接口;数据类型包括:数据的名称及数据的大小。
例如:参考图1及图2,如果数据a存储在分布式存储子系统1中的数据服务器C中的存储区域中,该存储区域的地址为674,若数据a的索引地址为2341a,该索引地址与存储区域674对应。现有技术需要查找各个分布式存储子系统中的各个数据服务器以获得数据a,本实施例中通过链接到存储区域的索引地址2341a,无须知道该数据a的真实存储地址,就可以在存储区域674中获取数据a。
为了快速存储数据,处理器可以通过至少如下一种可能的实现方式将通过统一存储网关接口接收到的数据进行分级归档:
在一种可能实现方式中,处理器将通过统一存储网关接口接收到的数据按照数据的访问量从高到低进行排序,将访问量排序在前N的数据作为热存储的数据,在剩余的数据中选择排序前N的数据作为冷存储的数据,将在剩余的数据选择排序前N的数据之后的数据作为冷备的数据,记录热存储、冷存储、冷备中存储的数据,按照数据类型,将热存储、冷存储、冷备的数据发送至与数据类型对应的数据服务器,以提高数据服务器的服务性能。
例如:数据服务器1、2、3分别负责存储网页类的数据,视频类的数据、文件类的数据,数据a、b、c、d、e的数据类型是网页类、视频类、文件类、文件类、视频类,数据a、b、c、d、e的访问量分别为500、200、1000、13、1765,将数据a、b、c、d、e按照访问量排序的结果是:e、c、a、b、d,N为2,选择数据e、c为热存储的数据,将数据e、c发送至数据服务器1;选择数据a、b为冷存储的数据,将数据a发送至数据服务器1;选择数据a、b为冷存储的数据将数据b发送至数据服务器2,将数据d发送至数据服务器3中。
在另一种可能实现方式中,处理器将通过统一存储网关接口接收到的数据按照数据的访问量从高到低排序,然后选择访问量排序前N个,且数据的大小未超过第一阈值的数据作为热存储的数据;在剩余的数据中选择排序前P个,且数据的大小在第一阈值与第二阈值之间的数据作为冷存储的数据,将在存储至冷存储之后的剩余的数据作为冷备的数据;记录热存储、冷存储、冷备中应该存储的数据,按照数据类型,将热存储、冷存储、冷备的数据发送至与数据类型对应的数据服务器,以提高数据服务器的服务性能。
其中,访问量是浏览量或点击量。
例如:数据服务器1、2、3分别负责存储网页类的数据,视频类的数据、文件类的数据,数据a、b、c、d、e的数据类型是网页类、视频类、文件类、文件类、视频类;数据a、b、c、d、e的大小分别为:211M、107K,500M、4G、30M;数据a、b、c、d、e的访问量分别为500、200、1000、13、1765,将数据a、b、c、d、e按照访问量排序的结果是:e、c、a、b、d,N为2,P为3;第一阈值为1M、第二阈值分别100M,选择数据e为热存储的数据,将数据e发送至数据服务器1;选择数据a为冷存储的数据,将数据a发送至数据服务器1;选择数据c、b、d为冷存储的数据,将数据b发送至数据服务器2,将数据b、d发送至数据服务器3中。
本发明实施例中用户无需查找多种分布式存储系统的访问接口及数据服务器的存储区域,就可以通过统一存储网关接口获得数据的索引地址,利用索引地址从数据服务器获得数据,针对多分布式存储子系统的数据进行分级归档,实现多分布式存储子系统的融合兼容,增加多分布式存储子系统的可扩展性,并能够通过分级归档来有效控制成本,降低用户使用成本和使用门槛,节省了获取数据的时间,因此可以提升用户体验。
可选的,发送器,,在保存数据的索引地址之前,进一步将数据服务器的地址、数据服务器中存储数据的存储区域的地址、预设的数据的相对路径及数据的类型按照顺序生成字符串;基于字符串,确定数据的索引地址,以提高获取数据的效率。
其中,预设的数据的相对路径是根据各个用户标识提前设置的。用户标识包括:用户注册ID,用户名称。
例如:提前设定用户A的相对路径为hrt34,设定用户B的相对路径为453gh。
为了快速得到索引地址,发送器可以通过至少如下一种可能的实现方式确定索引地址:
在一种可能实现方式中,发送器,将数据服务器的地址、数据服务器中存储数据的存储区域的地址、预设的数据的相对路径及数据的类型按照顺序生成的字符串,确定为数据的索引地址,以节省确定数据的索引地址的时间。
例如:数据服务器的地址为A、数据服务器中存储数据的存储区域的地址为674,预设的数据的相对路径453gh。数据的类型为a,将A作为字符串首位,将674紧接A之后排列,453gh排列在674之后,字符串的末尾为a,则生成的字符串为A674453gha,将字符串A674453gha确定为数据a的索引地址。
在另一种可能实现方式中,发送器使用哈希算法计算字符串的哈希值,在哈希值中选择预设数量个字符作为索引地址,以快速得到数据的索引地址。
其中,预设数量是人为根据行业经验设定的数值,该预设数量可以与字符串的哈希值中位数相同。
例如:数据服务器的地址为A、数据服务器中存储数据的存储区域的地址为674,预设的数据的相对路径453gh。数据的类型为a,将A作为字符串首位,将674紧接A之后排列,453gh排列在674之后,字符串的末尾为a,则生成的字符串为A674453gha,使用哈希算法计算字符串A674453gha的哈希值,假设预设数量为4,在哈希值中任选4个字符作为索引地址,也可以将字符串A674453gha的哈希值作为索引地址。
在再一种可能实现方式中,发送器使用哈希算法计算字符串的哈希值,按照哈希值的字符顺序,从哈希值的第一个字符开始,选择哈希值的前预设数量个字符作为数据的索引地址,可以快速的得到数据的索引地址。
本发明实施例通过将数据服务器的地址、数据服务器中存储数据的存储区域的地址、预设的数据的相对路径及数据的类型按照顺序生成字符串,基于字符串确定数据的索引地址,用户可以利用数据索引地址获取数据,因此提高获取数据的效率。
下面继续对本发明实施例提供的一种数据存储系统作简单介绍。
如图3所示,本发明实施例提供了一种数据存储系统,包括:网关单元301、分布式存储子系统302,分布式存储子系统包括:元数据管理服务器302a及数据服务器302b;
网关单元301,存储已获得的统一存储网关接口;通过统一存储网关接口将接收到的数据发送至分布式存储子系统302中的元数据管理服务器302a;接收元数据管理服务器302a发送的数据的索引地址并保存;
为了提高获取数据的效率,提高用户体验,可以通过至少如下一种可能的实现方式获得统一存储网关接口:
在一种可能实现方式中,网关单元,获得各个分布式存储子系统的访问接口,将各个分布式存储子系统的访问接口进行封装,将封装后的各个分布式存储子系统的访问接口确定为统一存储网关接口,通过统一存储网关接口将接收到的数据发送至分布式存储子系统中的元数据管理服务器,接收元数据管理服务器发送的数据的索引地址并保存,以提高获得统一存储网关接口的效率。
其中,统一存储网关接口包括:各个分布式存储子系统的访问接口。
在另一种可能实现方式中,网关单元可以遵循各个分布式存储子系统的接口原则,使用Http Restful架构将各个分布式存储子系统的接口进行封装,将封装后的包含各个分布式存储子系统的Http Restful接口作为统一存储网关接口,以提高统一存储网关接口的通用性。
其中,接口原则包括:符合Restful,统一返回格式,约定业务层错误编码,每个编码可以携带可选的错误信息;命名规范;单一性;可扩展;须有接口文档描述;使用接口的产品的全部功能;第三方服务接口数据能缓存;第三方服务降级;消除单点;接口粒度小;客户端的服务由客户端处理;分布式存储子系统资源预加载情况。
元数据管理服务器302a,将通过统一存储网关接口接收到的数据进行分级归档;发送分级归档后的数据至数据服务器302b;向网关单元301发送数据的索引地址;
其中,元数据管理服务器根据数据类型生成索引地址存储在地址列表中,然后将存储索引地址的地址列表发送给网关单元,该索引地址用于链接存储该数据的存储区域及网关单元的地址列表。存储区域地址包括:热存储地址、冷存储地址及冷备地址。
例如:参考图1及图3所示,如果数据a存储在分布式存储子系统1中的数据服务器C中的存储区域中,该存储区域的地址为674,若数据a的索引地址为2341a,该索引地址与存储区域674对应。现有技术需要查找各个分布式存储子系统中的各个数据服务器以获得数据a,本实施例中通过链接到存储区域的索引地址2341a,无须知道该数据a的真实存储地址,就可以在存储区域674中获取数据a。
为了快速存储数据,元数据管理服务器可以通过至少如下一种可能的实现方式将通过统一存储网关接口接收到的数据进行分级归档:
在一种可能实现方式中,元数据管理服务器提前获知数据服务器的地址及数据服务器中热存储、冷存储、冷备的地址,将通过统一存储网关接口接收到的数据按照数据的访问量高低进行排序,将访问量排序在前N的数据标记为热存储的数据,在剩余的数据中选择排序前N的数据标记为冷存储的数据,将在剩余的数据选择排序前N的数据之后的数据标记为冷备的数据,记录存储数据的热存储、冷存储及冷备地址,按照数据类型,将热存储、冷存储、冷备的数据发送至与数据类型对应的数据服务器,以提高数据服务器的服务性能。
例如:数据服务器1、2、3分别负责存储网页类的数据,视频类的数据、文件类的数据,数据a、b、c、d、e的数据类型是网页类、视频类、文件类、文件类、视频类,数据a、b、c、d、e的访问量分别为500、200、1000、13、1765,将数据a、b、c、d、e按照访问量排序的结果是:e、c、a、b、d,N为2,选择数据e、c为热存储的数据,将数据e、c发送至数据服务器1;选择数据a、b为冷存储的数据,将数据a发送至数据服务器1;选择数据a、b为冷存储的数据将数据b发送至数据服务器2,将数据d发送至数据服务器3中。
在另一种可能实现方式中,元元数据管理服务器提前获知数据服务器的地址及数据服务器中热存储、冷存储、冷备的地址,将通过统一存储网关接口接收到的数据按照数据的访问量从高到低排序,然后选择访问量排序前N个,且数据的大小未超过第一阈值的数据标记为热存储的数据;在剩余的数据中选择排序前P个,且数据的大小在第一阈值与第二阈值之间的数据标记为冷存储的数据,将在存储至冷存储之后的剩余的数据标记为冷备的数据;记录存储数据的热存储、冷存储及冷备地址;按照数据类型,将热存储、冷存储、冷备的数据发送至与数据类型对应的数据服务器,以提高数据服务器的服务性能。
其中,访问量是浏览量或点击量。
例如:数据服务器1、2、3分别负责存储网页类的数据,视频类的数据、文件类的数据,数据a、b、c、d、e的数据类型是网页类、视频类、文件类、文件类、视频类;数据a、b、c、d、e的大小分别为:211M、107K,500M、4G、30M;数据a、b、c、d、e的访问量分别为500、200、1000、13、1765,将数据a、b、c、d、e按照访问量排序的结果是:e、c、a、b、d,N为2,P为3;第一阈值为1M、第二阈值分别100M,选择数据e为热存储的数据,将数据e发送至数据服务器1;选择数据a为冷存储的数据,将数据a发送至数据服务器1;选择数据c、b、d为冷存储的数据,将数据b发送至数据服务器2,将数据b、d发送至数据服务器3中。
数据服务器302b,接收元数据管理服务器302a发送的分级归档后的数据;并存储至存储区域;数据的索引地址与存储数据的存储区域地址对应。
为了提高数据存储的准确性,数据服务器可以通过至少如下一种可能的实现方式将分级归档后的数据进行存储:
在一种可能实现方式中,数据服务器接收到分级归档后的数据后,根据数据服务器与接收的数据类型是否匹配,实现对该数据的校验,然后将校验成功的数据按照数据访问量存储至存储区域,以提高数据存储的准确率。
在另一种可能实现方式中,数据服务器接收到分级归档后的数据后,获取管理数据服务器记录存储该数据的存储区域地址,然后按照该存储区域地址对该数据进行存储,以提高数据存储的效率。
本发明实施例中用户无需查找多种分布式存储系统的访问接口及数据服务器的存储区域,就可以通过统一存储网关接口获得数据的索引地址,利用索引地址从数据服务器获得数据,节省了获取数据的时间,因此可以提升用户体验。
可选的,在图3的实施例中,元数据管理服务器,在保存数据的索引地址之前,进一步将数据服务器的地址、数据服务器中存储数据的存储区域的地址、预设的数据的相对路径及数据的类型按照顺序生成字符串;基于字符串,确定数据的索引地址。
其中,预设的数据的相对路径是根据各个用户标识提前设置的。用户标识包括:用户注册ID,用户名称。数据类型包括:数据的名称及数据的大小。
例如:提前设定用户A的相对路径为hrt34,设定用户B的相对路径为453gh。
为了快速得到索引地址,元数据管理服务器可以通过至少如下一种可能的实现方式确定索引地址:
在一种可能实现方式中,元数据管理服务器,将数据服务器的地址、数据服务器中存储数据的存储区域的地址、预设的数据的相对路径及数据的类型按照顺序生成的字符串,确定为数据的索引地址,以节省确定数据的索引地址的时间。
例如:数据服务器的地址为A、数据服务器中存储数据的存储区域的地址为674,预设的数据的相对路径453gh。数据的类型为a,将A作为字符串首位,将674紧接A之后排列,453gh排列在674之后,字符串的末尾为a,则生成的字符串为A674453gha,将字符串A674453gha确定为数据a的索引地址。
在另一种可能实现方式中,元数据管理服务器使用哈希算法计算字符串的哈希值,在哈希值中选择预设数量个字符作为索引地址。
其中,预设数量是人为根据行业经验设定的数值,该预设数量可以与字符串的哈希值中位数相同。
例如:数据服务器的地址为A、数据服务器中存储数据的存储区域的地址为674,预设的数据的相对路径453gh。数据的类型为a,将A作为字符串首位,将674紧接A之后排列,453gh排列在674之后,字符串的末尾为a,则生成的字符串为A674453gha,使用哈希算法计算字符串A674453gha的哈希值,假设预设数量为4,在哈希值中任选4个字符作为索引地址,也可以将字符串A674453gha的哈希值作为索引地址。
在再一种可能实现方式中,元数据管理服务器使用哈希算法计算字符串的哈希值,按照哈希值的字符顺序,从哈希值的第一个字符开始,选择哈希值的前预设数量个字符作为数据的索引地址,可以快速的得到数据的索引地址。
可选的,如图4所示,本发明实施例提供的另一种数据存储系统包括:
网关单元401,存储已获得的统一存储网关接口;通过统一存储网关接口将接收到的数据发送至分布式存储子系统402中的元数据管理服务器402a;接收元数据管理服务器402a发送的数据的索引地址并保存;
元数据管理服务器402a,将通过统一存储网关接口接收到的数据进行分级归档;发送分级归档后的数据至数据服务器402b;向网关单元401发送数据的索引地址;
数据服务器402b,接收元数据管理服务器402a发送的分级归档后的数据;并存储至存储区域;数据的索引地址与存储数据的存储区域地址对应;
数据同步服务器403,按照预先设定的时间周期,将存储区域中热存储中的数据转移存储至存储区域中冷存储或者冷备。
其中,时间周期是人为根据行业经验设置的时间值。
为了减轻数据服务器负荷,数据同步服务器可以通过至少如下一种可能的实现方式将热存储中的数据转移存储至存储区域中冷存储或者冷备:
在一种可能实现方式中,数据同步服务器将数据按照存储时间的顺序排序,按照预先设定的时间周期及排序,将数据转移存储至冷存储或者冷备。
在另一种可能实现方式中,数据同步服务器将数据按照存储时间的顺序排序,按照预先设定的时间周期及排序,将访问量超过第三阈值的数据转移存储至冷存储,将访问量未超过第三阈值的数据存储至冷备中。
热存储区域是高速存储区域,用户常常访问热存储,从热存储中获取数据,随着时间推移热存储中的数据访问量会随之降低,本实施例通过将存储区域中热存储中的数据转移存储至存储区域中冷存储或者冷备,可以减轻数据服务器的负荷。
可选的,图4所示的实施例中,数据同步服务器403,进一步将存储区域中冷存储或者冷备的数据复制存储至存储区域中热存储中。
在一种可能实现方式中,数据同步服务器,判断用户获取的数据是否存储在冷存储或者冷备中,如果是,将该数据从冷存储或者冷备的数据复制存储至存储区域中热存储中,以提高用户数据获取数据的速率,提高用户体验。
本发明实施例提供的一种数据存储方法,应用于互联网公司,包括:对视频,图片,文本文件和音频等存储需求的互联网公司,在此不做限定。
下面继续对本发明实施例提供的一种数据存储方法作简单介绍。
基于本发明提供的一种元数据管理服务器,如图5所示,本发明实施例提供了一种数据存储方法,包括如下步骤:
S501,将通过统一存储网关接口接收到的数据进行分级归档;
为了快速存储数据,元数据管理服务器可以通过至少如下一种可能的实现方式将通过统一存储网关接口接收到的数据进行分级归档:
在一种可能实现方式中,元数据管理服务器将通过统一存储网关接口接收到的数据按照数据的访问量从高到低进行排序,将访问量排序在前N的数据作为热存储的数据,在剩余的数据中选择排序前N的数据作为冷存储的数据,将在剩余的数据选择排序前N的数据之后的数据作为冷备的数据,记录热存储、冷存储、冷备中存储的数据,按照数据类型,将热存储、冷存储、冷备的数据发送至与数据类型对应的数据服务器,以提高数据服务器的服务性能。
例如:数据服务器1、2、3分别负责存储网页类的数据,视频类的数据、文件类的数据,数据a、b、c、d、e的数据类型是网页类、视频类、文件类、文件类、视频类,数据a、b、c、d、e的访问量分别为500、200、1000、13、1765,将数据a、b、c、d、e按照访问量排序的结果是:e、c、a、b、d,N为2,选择数据e、c为热存储的数据,将数据e、c发送至数据服务器1;选择数据a、b为冷存储的数据,将数据a发送至数据服务器1;选择数据a、b为冷存储的数据将数据b发送至数据服务器2,将数据d发送至数据服务器3中。
在另一种可能实现方式中,元数据管理服务器将通过统一存储网关接口接收到的数据按照数据的访问量从高到低排序,然后选择访问量排序前N个,且数据的大小未超过第一阈值的数据作为热存储的数据;在剩余的数据中选择排序前P个,且数据的大小在第一阈值与第二阈值之间的数据作为冷存储的数据,将在存储至冷存储之后的剩余的数据作为冷备的数据;记录热存储、冷存储、冷备中应该存储的数据,按照数据类型,将热存储、冷存储、冷备的数据发送至与数据类型对应的数据服务器,以提高数据服务器的服务性能。
其中,访问量是浏览量或点击量。
例如:数据服务器1、2、3分别负责存储网页类的数据,视频类的数据、文件类的数据,数据a、b、c、d、e的数据类型是网页类、视频类、文件类、文件类、视频类;数据a、b、c、d、e的大小分别为:211M、107K,500M、4G、30M;数据a、b、c、d、e的访问量分别为500、200、1000、13、1765,将数据a、b、c、d、e按照访问量排序的结果是:e、c、a、b、d,N为2,P为3;第一阈值为1M、第二阈值分别100M,选择数据e为热存储的数据,将数据e发送至数据服务器1;选择数据a为冷存储的数据,将数据a发送至数据服务器1;选择数据c、b、d为冷存储的数据,将数据b发送至数据服务器2,将数据b、d发送至数据服务器3中。
S502,发送分级归档后的数据至数据服务器;
S503,向网关单元发送数据的索引地址;数据的索引地址与数据服务器存储数据的存储区域地址对应。
其中,元数据管理服务器根据数据类型生成索引地址存储在地址列表中,然后将存储索引地址的地址列表发送给网关单元,该索引地址用于链接存储该数据的存储区域及网关单元的地址列表。存储区域地址包括:热存储地址、冷存储地址及冷备地址。
例如:参考图1及图5所示,如果数据a存储在分布式存储子系统1中的数据服务器C中的存储区域中,该存储区域的地址为674,若数据a的索引地址为2341a,该索引地址与存储区域674对应。现有技术需要查找各个分布式存储子系统中的各个数据服务器以获得数据a,本实施例中通过链接到存储区域的索引地址2341a,无须知道该数据a的真实存储地址,就可以在存储区域674中获取数据a。
本发明实施例中用户无需查找多种分布式存储系统的访问接口及数据服务器的存储区域,就可以通过统一存储网关接口获得数据的索引地址,利用索引地址从数据服务器获得数据,针对多分布式存储子系统的数据进行分级归档,实现多分布式存储子系统的融合兼容,增加多分布式存储子系统的可扩展性,并能够通过分级归档来有效控制成本,降低用户使用成本和使用门槛,节省了获取数据的时间,因此可以提升用户体验。
在一种可能的实现方式中,如图6所示,元数据管理服务器可以采用如下步骤确定数据的索引地址:
S601,进一步将数据服务器的地址、数据服务器中存储数据的存储区域的地址、预设的数据的相对路径及数据的类型按照顺序生成字符串;
其中,预设的数据的相对路径是根据各个用户标识提前设置的。用户标识包括:用户注册ID,用户名称。数据类型包括:数据的名称及数据的大小。
例如:提前设定用户A的相对路径为hrt34,设定用户B的相对路径为453gh。
S602,基于字符串,确定数据的索引地址。
为了快速得到索引地址,元数据管理服务器可以通过至少如下一种可能的实现方式确定索引地址:
在一种可能实现方式中,元数据管理服务器,将数据服务器的地址、数据服务器中存储数据的存储区域的地址、预设的数据的相对路径及数据的类型按照顺序生成的字符串,确定为数据的索引地址,以节省确定数据的索引地址的时间。
例如:数据服务器的地址为A、数据服务器中存储数据的存储区域的地址为674,预设的数据的相对路径453gh。数据的类型为a,将A作为字符串首位,将674紧接A之后排列,453gh排列在674之后,字符串的末尾为a,则生成的字符串为A674453gha,将字符串A674453gha确定为数据a的索引地址。
在另一种可能实现方式中,元数据管理服务器使用哈希算法计算字符串的哈希值,在哈希值中选择预设数量个字符作为索引地址。
其中,预设数量是人为根据行业经验设定的数值,该预设数量可以与字符串的哈希值中位数相同。
例如:数据服务器的地址为A、数据服务器中存储数据的存储区域的地址为674,预设的数据的相对路径453gh。数据的类型为a,将A作为字符串首位,将674紧接A之后排列,453gh排列在674之后,字符串的末尾为a,则生成的字符串为A674453gha,使用哈希算法计算字符串A674453gha的哈希值,假设预设数量为4,在哈希值中任选4个字符作为索引地址,也可以将字符串A674453gha的哈希值作为索引地址。
在再一种可能实现方式中,元数据管理服务器使用哈希算法计算字符串的哈希值,按照哈希值的字符顺序,从哈希值的第一个字符开始,选择哈希值的前预设数量个字符作为数据的索引地址,可以快速的得到数据的索引地址。
本发明实施例通过将数据服务器的地址、数据服务器中存储数据的存储区域的地址、预设的数据的相对路径及数据的类型按照顺序生成字符串,基于字符串确定数据的索引地址,用户可以利用数据索引地址获取数据,因此提高获取数据的效率。
下面继续对本发明实施例提供的一种数据存储系统作简单介绍。
如图7所示,基于图3的一种数据存储方法,包括以下步骤:
S701,网关单元,存储已获得的统一存储网关接口;通过统一存储网关接口将接收到的数据发送至分布式存储子系统中的元数据管理服务器;接收元数据管理服务器发送的数据的索引地址并保存;
S702,元数据管理服务器,将通过统一存储网关接口接收到的数据进行分级归档;发送分级归档后的数据至数据服务器;向网关单元发送数据的索引地址;
其中,元数据管理服务器根据数据类型生成索引地址存储在地址列表中,然后将存储索引地址的地址列表发送给网关单元,该索引地址用于链接存储该数据的存储区域及网关单元的地址列表。存储区域地址包括:热存储地址、冷存储地址及冷备地址。
例如:例如:参考图1及图7所示,如果数据a存储在分布式存储子系统1中的数据服务器C中的存储区域中,该存储区域的地址为674,若数据a的索引地址为2341a,该索引地址与存储区域674对应。现有技术需要查找各个分布式存储子系统中的各个数据服务器以获得数据a,本实施例中通过链接到存储区域的索引地址2341a,无须知道该数据a的真实存储地址,就可以在存储区域674中获取数据a。
为了快速存储数据,元数据管理服务器可以通过至少如下一种可能的实现方式将通过统一存储网关接口接收到的数据进行分级归档:
在一种可能实现方式中,元数据管理服务器提前获知数据服务器的地址及数据服务器中热存储、冷存储、冷备的地址,将通过统一存储网关接口接收到的数据按照数据的访问量从高至低进行排序,将访问量排序在前N的数据标记为热存储的数据,在剩余的数据中选择排序前N的数据标记为冷存储的数据,将在剩余的数据选择排序前N的数据之后的数据标记为冷备的数据,记录存储数据的热存储、冷存储及冷备地址,按照数据类型,将热存储、冷存储、冷备的数据发送至与数据类型对应的数据服务器,以提高数据服务器的服务性能。
例如:数据服务器1、2、3分别负责存储网页类的数据,视频类的数据、文件类的数据,数据a、b、c、d、e的数据类型是网页类、视频类、文件类、文件类、视频类,数据a、b、c、d、e的访问量分别为500、200、1000、13、1765,将数据a、b、c、d、e按照访问量排序的结果是:e、c、a、b、d,N为2,选择数据e、c为热存储的数据,将数据e、c发送至数据服务器1;选择数据a、b为冷存储的数据,将数据a发送至数据服务器1;选择数据a、b为冷存储的数据将数据b发送至数据服务器2,将数据d发送至数据服务器3中。
在另一种可能实现方式中,元数据管理服务器提前获知数据服务器的地址及数据服务器中热存储、冷存储、冷备的地址,将通过统一存储网关接口接收到的数据按照数据的访问量从高至低排序,然后选择访问量排序前N个,且数据的大小未超过第一阈值的数据标记为热存储的数据;在剩余的数据中选择排序前P个,且数据的大小在第一阈值与第二阈值之间的数据标记为冷存储的数据,将在存储至冷存储之后的剩余的数据标记为冷备的数据;记录存储数据的热存储、冷存储及冷备地址;按照数据类型,将热存储、冷存储、冷备的数据发送至与数据类型对应的数据服务器,以提高数据服务器的服务性能。
其中,访问量是浏览量或点击量。
例如:数据服务器1、2、3分别负责存储网页类的数据,视频类的数据、文件类的数据,数据a、b、c、d、e的数据类型是网页类、视频类、文件类、文件类、视频类;数据a、b、c、d、e的大小分别为:211M、107K,500M、4G、30M;数据a、b、c、d、e的访问量分别为500、200、1000、13、1765,将数据a、b、c、d、e按照访问量排序的结果是:e、c、a、b、d,N为2,P为3;第一阈值为1M、第二阈值分别100M,选择数据e为热存储的数据,将数据e发送至数据服务器1;选择数据a为冷存储的数据,将数据a发送至数据服务器1;选择数据c、b、d为冷存储的数据,将数据b发送至数据服务器2,将数据b、d发送至数据服务器3中。
S703,数据服务器,接收元数据管理服务器发送的分级归档后的数据,并存储至存储区域;数据的索引地址与数据服务器存储数据的存储区域地址对应。
为了准确存储数据,数据服务器可以通过至少如下一种可能的实现方式将分级归档后的数据进行存储:
在一种可能实现方式中,数据服务器接收到分级归档后的数据后,根据数据服务器与接收的数据类型是否匹配,对该数据进行校验,然后校验成功的数据按照数据访问量存储至存储区域,以提高存储数据的准确率。
在另一种可能实现方式中,数据服务器接收到分级归档后的数据后,获取管理数据服务器记录存储该数据的存储区域地址,然后按照该存储区域地址对该数据进行存储,以提高存储数据的效率。
为了提高获取数据的效率,提高用户体验,可以通过至少如下一种可能的实现方式获得统一存储网关接口:
在一种实施方式中,如图8所示,可以采用如下步骤,获得统一存储网关接口:
S801,获得各个分布式存储子系统的访问接口;
S802,将各个分布式存储子系统的访问接口进行封装;
S803,将封装后的各个分布式存储子系统的访问接口确定为统一存储网关接口;统一存储网关接口包括:各个分布式存储子系统的访问接口;
S804,通过统一存储网关接口将接收到的数据发送至分布式存储子系统中的元数据管理服务器;
S805,接收元数据管理服务器发送的数据的索引地址并保存。
在另一种可能实现方式中,网关单元可以遵循各个分布式存储子系统的接口原则,使用Http Restful架构将各个分布式存储子系统的接口进行封装,将封装后的包含各个分布式存储子系统的Http Restful接口作为统一存储网关接口,以提高统一存储网关接口的通用性。
其中,接口原则包括:符合Restful,统一返回格式,约定业务层错误编码,每个编码可以携带可选的错误信息;命名规范;单一性;可扩展;须有接口文档描述;使用接口的产品的全部功能;第三方服务接口数据能缓存;第三方服务降级;消除单点;接口粒度小;客户端的服务由客户端处理;分布式存储子系统资源预加载情况。
为了提高用户体验,如图9所示,元数据管理服务器,可以采用如下至少一种可能的实现方式确定数据的索引地址:
S901,进一步将数据服务器的地址、数据服务器中存储数据的存储区域的地址、预设的数据的相对路径及数据的类型按照顺序生成字符串;
其中,预设的数据的相对路径是根据各个用户标识提前设置的。用户标识包括:用户注册ID,用户名称。数据类型包括:数据的名称及数据的大小。
例如:提前设定用户A的相对路径为hrt34,设定用户B的相对路径为453gh。
S902,基于字符串,确定数据的索引地址。
为了快速得到索引地址,元数据管理服务器可以通过至少如下一种可能的实现方式确定索引地址:
在一种可能实现方式中,元数据管理服务器,将数据服务器的地址、数据服务器中存储数据的存储区域的地址、预设的数据的相对路径及数据的类型按照顺序生成的字符串,确定为数据的索引地址,以节省确定数据的索引地址的时间。
例如:数据服务器的地址为A、数据服务器中存储数据的存储区域的地址为674,预设的数据的相对路径453gh。数据的类型为a,将A作为字符串首位,将674紧接A之后排列,453gh排列在674之后,字符串的末尾为a,则生成的字符串为A674453gha,将字符串A674453gha确定为数据a的索引地址。
在另一种可能实现方式中,元数据管理服务器使用哈希算法计算字符串的哈希值,在哈希值中选择预设数量个字符作为索引地址,可以快速的得到数据的索引地址。
其中,预设数量是人为根据行业经验设定的数值,该预设数量可以与字符串的哈希值中位数相同。
例如:数据服务器的地址为A、数据服务器中存储数据的存储区域的地址为674,预设的数据的相对路径453gh。数据的类型为a,将A作为字符串首位,将674紧接A之后排列,453gh排列在674之后,字符串的末尾为a,则生成的字符串为A674453gha,使用哈希算法计算字符串A674453gha的哈希值,假设预设数量为4,在哈希值中任选4个字符作为索引地址,也可以将字符串A674453gha的哈希值作为索引地址。
在再一种可能实现方式中,元数据管理服务器使用哈希算法计算字符串的哈希值,按照哈希值的字符顺序,从哈希值的第一个字符开始,选择哈希值的前预设数量个字符作为数据的索引地址,可以快速的得到数据的索引地址。
本发明实施例通过将数据服务器的地址、数据服务器中存储数据的存储区域的地址、预设的数据的相对路径及数据的类型按照顺序生成字符串,基于字符串确定数据的索引地址,用户可以利用数据索引地址获取数据,因此提高获取数据的效率。
结合图4及图7的实施例,为了更好的节省获取数据所需的时间,在S703之后,本发明实施例提供的一种可选的实现方式,包括:
数据同步服务器,按照预先设定的时间周期,将存储区域中热存储中的数据转移存储至存储区域中冷存储或者冷备。
其中,时间周期是人为根据行业经验设置的时间值。
为了减轻数据服务器负荷,数据同步服务器可以通过至少如下一种可能的实现方式将热存储中的数据转移存储至存储区域中冷存储或者冷备:
在一种可能实现方式中,数据同步服务器将数据按照存储时间的顺序排序,按照预先设定的时间周期及排序,将数据转移存储至冷存储或者冷备。
在另一种可能实现方式中,数据同步服务器将数据按照存储时间的顺序排序,按照预先设定的时间周期及排序,将访问量超过第三阈值的数据转移存储至冷存储,将访问量未超过第三阈值的数据存储至冷备中。
热存储区域是高速存储区域,用户常常访问热存储,从热存储中获取数据,随着时间推移热存储中的数据访问量会随之降低,本实施例通过将存储区域中热存储中的数据转移存储至存储区域中冷存储或者冷备,可以减轻数据服务器的负荷。
可选的,在数据同步服务器,按照预先设定的时间周期,将存储区域中热存储中的数据转移存储至存储区域中冷存储或者冷备之后,进一步将存储区域中冷存储或者冷备的数据复制存储至存储区域中热存储中。
在一种可能实现方式中,数据同步服务器,判断用户获取的数据是否存储在冷存储或者冷备中,如果是,将该数据从冷存储或者冷备的数据复制存储至存储区域中热存储中,以提高用户数据获取数据的速率,提高用户体验。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的数据存储方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的数据存储方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于方法实施例而言,由于其基本相似于系统实施例,所以描述的比较简单,相关之处参见系统实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (9)

1.一种元数据管理服务器,其特征在于,包括:
处理器,将通过统一存储网关接口接收到的数据进行分级归档;
发送器,发送分级归档后的数据至数据服务器,并向网关单元发送所述数据的索引地址;所述数据的索引地址与数据服务器存储所述数据的存储区域地址对应;
所述发送器,进一步将数据服务器的地址、数据服务器中存储所述数据的存储区域的地址、预设的所述数据的相对路径及所述数据的类型按照顺序生成字符串;基于所述字符串,确定所述数据的索引地址。
2.根据权利要求1所述元数据管理服务器,其特征在于,所述基于所述字符串,确定所述数据的索引地址,包括:
使用哈希算法计算所述字符串的哈希值,在所述哈希值中选择预设数量个字符作为所述数据的索引地址。
3.一种数据存储系统,其特征在于,所述数据存储系统包括:网关单元;所述数据存储系统还包括:分布式存储子系统;所述分布式存储子系统包括:数据服务器及如权利要求1或2所述的元数据管理服务器;
所述网关单元,存储已获得的统一存储网关接口;通过所述统一存储网关接口将接收到的数据发送至所述分布式存储子系统中的所述元数据管理服务器;接收所述元数据管理服务器发送的所述数据的索引地址并保存;
所述元数据管理服务器,将通过统一存储网关接口接收到的数据进行分级归档;发送分级归档后的数据至所述数据服务器;向所述网关单元发送所述数据的索引地址;
所述元数据管理服务器,进一步将数据服务器的地址、数据服务器中存储所述数据的存储区域的地址、预设的所述数据的相对路径及所述数据的类型按照顺序生成字符串,基于所述字符串,确定所述数据的索引地址;
所述数据服务器,接收元数据管理服务器发送的分级归档后的数据;并存储至存储区域;所述数据的索引地址与数据服务器存储所述数据的存储区域地址对应。
4.根据权利要求3所述的系统,其特征在于,
所述网关单元,获得各个分布式存储子系统的访问接口,将所述各个分布式存储子系统的访问接口进行封装,将封装后的各个分布式存储子系统的访问接口确定为统一存储网关接口,通过所述统一存储网关接口将接收到的数据发送至所述分布式存储子系统中的所述元数据管理服务器,接收所述元数据管理服务器发送的所述数据的索引地址并保存;所述统一存储网关接口包括:各个分布式存储子系统的访问接口。
5.根据权利要求3所述系统,其特征在于,所述基于所述字符串,确定所述数据的索引地址,向所述网关单元发送所述数据的索引地址,包括:
使用哈希算法计算所述字符串的哈希值,在所述哈希值中选择预设数量个字符作为所述数据的索引地址。
6.根据权利要求3所述的系统,其特征在于,所述系统还包括:
数据同步服务器,按照预先设定的时间周期,将所述存储区域中热存储中的数据转移存储至存储区域中冷存储或者冷备。
7.根据权利要求6所述的系统,其特征在于,
所述数据同步服务器,进一步将存储区域中冷存储或者冷备的数据复制存储至存储区域中热存储中。
8.一种数据存储方法,其特征在于,所述方法包括:
将通过统一存储网关接口接收到的数据进行分级归档;
发送分级归档后的数据至数据服务器;
向网关单元发送所述数据的索引地址;所述数据的索引地址与所述数据服务器存储所述数据的存储区域地址对应,采用如下步骤,确定所述数据的索引地址:
将数据服务器的地址、数据服务器中存储所述数据的存储区域的地址、预设的所述数据的相对路径及所述数据的类型按照顺序生成字符串;
基于所述字符串,确定所述数据的索引地址。
9.根据权利要求8所述方法,其特征在于,所述基于所述字符串,确定所述索引地址,包括:
使用哈希算法计算所述字符串的哈希值,在所述哈希值中选择预设数量个字符作为所述数据的索引地址。
CN201810730529.7A 2018-07-05 2018-07-05 一种元数据管理服务器、数据存储系统及数据存储方法 Active CN109062500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810730529.7A CN109062500B (zh) 2018-07-05 2018-07-05 一种元数据管理服务器、数据存储系统及数据存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810730529.7A CN109062500B (zh) 2018-07-05 2018-07-05 一种元数据管理服务器、数据存储系统及数据存储方法

Publications (2)

Publication Number Publication Date
CN109062500A CN109062500A (zh) 2018-12-21
CN109062500B true CN109062500B (zh) 2021-11-19

Family

ID=64819383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810730529.7A Active CN109062500B (zh) 2018-07-05 2018-07-05 一种元数据管理服务器、数据存储系统及数据存储方法

Country Status (1)

Country Link
CN (1) CN109062500B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061724B (zh) * 2019-11-08 2023-11-14 珠海许继芝电网自动化有限公司 用于配电自动化系统的高速实时数据库管理方法和装置
CN111046249A (zh) * 2019-12-26 2020-04-21 广州信天翁信息科技有限公司 一种数据存储、定位、应用方法及相关装置
CN112783971B (zh) * 2020-12-30 2023-03-24 杭州趣链科技有限公司 交易记录方法、交易查询方法、电子设备及存储介质
CN113821162A (zh) * 2021-02-24 2021-12-21 北京沃东天骏信息技术有限公司 存储对象操作方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1859333A (zh) * 2006-03-24 2006-11-08 华为技术有限公司 对媒体资源服务器进行路由的方法
CN101163141A (zh) * 2007-11-12 2008-04-16 中兴通讯股份有限公司 一种基于无线会话协议实现数据快速处理的方法
CN104731516A (zh) * 2013-12-18 2015-06-24 腾讯科技(深圳)有限公司 一种存取文件的方法、装置及分布式存储系统
CN107291889A (zh) * 2017-06-20 2017-10-24 郑州云海信息技术有限公司 一种数据存储方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1859333A (zh) * 2006-03-24 2006-11-08 华为技术有限公司 对媒体资源服务器进行路由的方法
CN101163141A (zh) * 2007-11-12 2008-04-16 中兴通讯股份有限公司 一种基于无线会话协议实现数据快速处理的方法
CN104731516A (zh) * 2013-12-18 2015-06-24 腾讯科技(深圳)有限公司 一种存取文件的方法、装置及分布式存储系统
CN107291889A (zh) * 2017-06-20 2017-10-24 郑州云海信息技术有限公司 一种数据存储方法及系统

Also Published As

Publication number Publication date
CN109062500A (zh) 2018-12-21

Similar Documents

Publication Publication Date Title
CN109062500B (zh) 一种元数据管理服务器、数据存储系统及数据存储方法
US7478113B1 (en) Boundaries
US8176061B2 (en) Tracking digital assets on a distributed network
CN102725755B (zh) 文件访问方法及系统
US8396938B2 (en) Providing direct access to distributed managed content
US9354976B2 (en) Locating previous versions of an object in a storage cluster
US9965542B2 (en) Method for data maintenance
US20130339314A1 (en) Elimination of duplicate objects in storage clusters
WO2015140927A1 (ja) データ転送監視システム、データ転送監視方法、および拠点システム
EP3223165A1 (en) File processing method, system and server-clustered system for cloud storage
US20070005652A1 (en) Apparatus and method for gathering of objectional web sites
JP2007012077A (ja) ネットワークを介したコンテンツをアドレス可能なデータに対するアクセス
JP2006107446A (ja) ネットワーク・ドキュメントのバッチ索引付けのためのシステムおよび方法
CN108614837B (zh) 文件存储和检索的方法及装置
JP2012089094A5 (zh)
CN111078464A (zh) 一种备份数据的方法、装置和系统
CN111273863B (zh) 高速缓存管理
CN109151059A (zh) 一种文件上传方法、装置、电子设备及存储介质
CN105808546A (zh) 一种视频文件索引管理平台、系统及其方法
CN109947730B (zh) 元数据恢复方法、装置、分布式文件系统及可读存储介质
CN111858486A (zh) 一种文件分类方法和装置
TWI420333B (zh) 分散式的重複數據刪除系統及其處理方法
US9626378B2 (en) Method for handling requests in a storage system and a storage node for a storage system
CN110019056B (zh) 用于云层的容器元数据分离
CN111104787B (zh) 用于比较文件的方法、设备和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant