CN105740469B - 存储服务器和元数据访问方法 - Google Patents

存储服务器和元数据访问方法 Download PDF

Info

Publication number
CN105740469B
CN105740469B CN201610128210.8A CN201610128210A CN105740469B CN 105740469 B CN105740469 B CN 105740469B CN 201610128210 A CN201610128210 A CN 201610128210A CN 105740469 B CN105740469 B CN 105740469B
Authority
CN
China
Prior art keywords
metadata
unified
mapping ruler
storage server
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610128210.8A
Other languages
English (en)
Other versions
CN105740469A (zh
Inventor
王志美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201610128210.8A priority Critical patent/CN105740469B/zh
Publication of CN105740469A publication Critical patent/CN105740469A/zh
Application granted granted Critical
Publication of CN105740469B publication Critical patent/CN105740469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24573—Query processing with adaptation to user needs using data annotations, e.g. user-defined metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/84—Mapping; Conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种存储服务器和元数据访问方法，属于存储技术领域。存储服务器包括：接收模块，用于接收客户端发送的元数据访问请求；转换模块，用于根据服务接口的类型以及映射规则，将元数据访问请求转换为统一元数据请求；获取模块，用于根据统一元数据请求获得统一元数据；转换模块，还用于根据映射规则，对统一元数据进行过滤，得到第一元数据；发送模块，用于向客户端发送第一元数据；其中，统一元数据的属性项能够满足对多个不同服务接口的属性项的描述需求。本发明避免了在不同服务接口之间进行数据访问时可能发生的存储空间的浪费，且大大提高了访问效率。

Description

存储服务器和元数据访问方法
技术领域
本发明涉及存储服务技术领域，特别涉及一种存储服务器和元数据访问方法。
背景技术
数据访问是在进行数据存储时实现数据存储的一种服务，包括但不限于块访问、文件访问和对象访问，不同的数据访问具有不同的服务接口，例如，块访问可以通过块接口进行读取和写入，文件访问可以通过文件接口进行读取和写入。
随着技术的发展，现在存储设备可以支持多个服务接口，例如：通过文件接口可以读取块访问所访问的数据，其具体过程可以包括：因为块接口和文件接口具有不同的元数据，因此先通过块接口访问数据，再将访问的数据通过文件接口写入文件访问所能够访问的存储空间，最后通过文件接口访问写入的数据，以完成数据的访问。在进行数据访问时，需要通过读取-写入-读取的过程，事实上发生了一次完全的数据拷贝，不仅对存储空间造成了浪费，且访问效率较差。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种存储服务器和元数据访问方法。所述技术方案如下：
第一方面，本发明实施例提供了一种存储系统中的元数据访问方法，所述存储系统包括存储服务器和存储空间，所述存储服务器包含多种服务接口，所述存储空间用于存储数据，每一个服务接口用于提供一种数据访问方式，所述方法包括：接收客户端发送的元数据访问请求；根据服务接口的类型以及映射规则，将元数据访问请求转换为统一元数据请求；根据统一元数据请求获得统一元数据；再根据上述映射规则，对统一元数据进行过滤，从而还原出与客户端所访问接口的接口类型对应的第一元数据；向客户端发送第一元数据；其中，统一元数据的属性项能够满足对多个不同服务接口的属性项的描述需求。
具体地，所述存储服务器通过第一服务接口接收第一客户端发送的第一元数据访问请求；所述存储服务器根据所述第一服务接口的类型以及第一映射规则，将所述第一元数据访问请求转换为第一统一元数据请求；所述存储服务器根据所述第一统一元数据请求获得第一统一元数据；所述存储服务器根据所述第一映射规则，对所述第一统一元数据进行过滤，得到第一元数据，向所述第一客户端发送所述第一元数据；所述存储服务器通过第二服务接口接收第二客户端发送的第二元数据访问请求；所述存储服务器根据所述第二服务接口的类型以及第二映射规则，将所述第二元数据访问请求转换为第二统一元数据请求；所述存储服务器根据所述第二统一元数据请求获得第二统一元数据；所述存储服务器根据所述第二映射规则，对所述第二统一元数据进行过滤，得到第二元数据，向所述第一客户端发送所述第二元数据；其中，所述第一客户端用于根据所述第一元数据访问所述存储空间，所述第二客户端用于根据所述第二元数据访问所述存储空间，并且所述第一统一元数据和所述第二统一元数据均属于相同格式的统一元数据。
需要说明的是，如果将上述请求转换过程看做是采用第一映射规则所实现的正向转换过程，也即是，将属性项从少扩充至多，则该过滤过程可以看做反向利用了该第一映射规则，达到了属性项从多到少的转换。
上述第一方面提供的技术方案，通过提供了一种对于多种服务接口的统一元数据格式，从而使得不同服务接口通过统一的元数据可直接访问任何数据类型的数据，无需过多的数据拷贝过程即可以访问其他服务接口所存储的数据，避免了数据与服务接口之间的耦合关系，不仅避免了存储空间的浪费，且大大提高了访问效率。
结合第一方面，所述方法还包括：所述存储服务器确定通过所述第三服务接口接收的第三元数据请求携带的元数据属性项；根据所述第三元数据请求携带的元数据的属性项与所述统一元数据的属性项的映射关系建立第三映射规则。通过提供服务接口的扩展功能，使得在新加入任一种服务接口时，均可以基于当前的元数据格式进行数据互相访问，大大增加了存储系统的可扩展性，在更新时对系统的改进所耗费的资源也较少。
结合第一方面，所述方法还包括：根据所述第三映射规则，在所述统一元数据中添加与所述第三映射规则对应的属性项。具体地，在检测到所述第三映射规则时，根据所述第三映射规则，在所述统一元数据中添加与所述第三映射规则对应的属性项，并将默认值填充至所述与所述第三映射规则对应的属性项中；或，在检测到对所述第三服务接口的元数据访问请求时，根据所述第三映射规则，在所述统一元数据中添加与所述第三映射规则对应的属性项，并将默认值填充至所述与所述第三映射规则对应的属性项中。上述内容提供了两种更新已存储数据的统一元数据的时机，使得该更新时机可以灵活的适应当前系统的运行状态，如系统的空闲资源不足够进行全量更新，则可以在对该新增的服务接口有数据访问需求时再更新。
第二方面，本发明实施例提供了一种存储服务器，包括多个功能模块，以执行上述第一方面以及第一方面所述的多个可能实现方式所提供的数据访问方法。
第三方面，本发明实施例提供了一种存储服务器，所述存储服务器应用于存储系统中，所述存储系统还包括存储空间，所述存储服务器包含多种服务接口，每一个服务接口用于提供一种数据访问方式，所述存储服务器还包括处理器用于执行上述第一方面以及第一方面所述的多个可能实现方式所提供的数据访问方法。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1是本发明实施例提供的存储系统内的物理设备组网图；
图2是本发明实施例提供的一种数据访问方法流程图；
图3是本发明实施例提供的一种属性项映射关系示意图；
图4是本发明实施例提供的一种属性项映射关系示意图；
图5是本发明实施例提供的一种属性项映射关系示意图；
图6是本发明实施例提供的一种存储服务器的结构示意图；
图7是根据一示例性实施例示出的一种存储服务器700的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
对于存储系统特别是分布式存储系统来说，整个系统将物理设备抽象为一个统一的虚拟资源池，在虚拟资源池中，划分出逻辑上独立的区域，作为块访问、文件访问和对象访问所访问的数据的存储空间。该存储系统的物理设备组网图如图1所示，包括：应用程序服务器：部署应用程序的服务器。存储服务器：部署存储虚拟化程序的服务器，该存储服务器包含多种服务接口，每一种服务接口用于提供一种数据访问方式。存储设备：提供存储，构成存储设备层，该存储空间存储多种服务接口的数据，如块接口、文件接口和对象接口。以上这些设备，可以是独立的服务器，也可以组合部署，本发明实施例对此不做具体限定。
对于块接口、文件接口、对象接口以及Hadoop分布式文件系统(HadoopDistributed File System，HDFS)等服务接口而言，它们所需元数据是不同的。其差别在于，每种服务接口的元数据所包括的属性项可以不同，下面分别对不同服务接口的元数据属性项进行说明：
块接口的元数据，可以包括以下属性项：
关键属性：ID(Identity)：卷的唯一标识，由系统生成，正整数，4—8字节
名称：字符串，由用户指定，32—256字节
容量：正整数，由用户指定，8字节
实际容量：正整数，8字节
类型：指示是快照或卷，正整数，1字节
父卷ID：父卷的ID
父快照ID：父快照的ID
创建时间：时间，8字节
其他属性：全球唯一标识(World Wide Name,WWW)：全球唯一标识，由系统生成，16字节
多路径信息：路径个数、列表，由用户指定
文件接口的元数据，可以包括以下属性项：
关键属性：Inode ID：文件的唯一标识，由系统生成，正整数，4—8字节
名称：字符串，由用户指定，32—256字节，可能有多个
大小：正整数，由用户指定，8字节
文件类型：指示是文件、目录等类型，正整数，1字节
父目录ID：父目录的InodeID创建时间：时间，8字节
修改时间：时间，8字节
访问模式：读、写、读写等访问方式，正整数，4字节
其他属性：用户ID：正整数，由用户指定，4字节
用户组ID：正整数，由用户指定，4字节
对象接口的元数据，可以包括以下属性项：
关键属性：ID：对象的唯一标识，由系统生成，正整数，4—8字节
名称：字符串，由用户指定，32—256字节
大小：正整数，由用户指定，8字节
桶ID(BucketID)：所属桶的ID，由用户指定，正整数，8字节
创建时间：时间，8字节
修改时间：时间，8字节
其他属性：用户ID：正整数，由用户指定，4字节
用户名：字符串，由用户指定，32—256字节
对象服务中桶的元数据，可以包括以下属性项：
关键属性：ID：唯一标识，由系统生成，正整数，4—8字节
名称：字符串，由用户指定，32—256字节
创建时间：时间，8字节
其他属性：用户ID：正整数，由用户指定，4字节
用户名：字符串，由用户指定，32—256字节
下面结合上述数据的描述方式，对本发明的实施例进行具体介绍，参见图2，本发明实施例的数据访问方法可以包括以下步骤：
201、存储服务器通过第一服务接口接收第一客户端发送的第一元数据访问请求。
元数据(metadata)通常被称作“关于数据(data)的数据”，即用于描述其它数据的数据。元数据是结构化的数据，在存储系统中，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。例如，用户的某个文件称为“数据(data)”，在存储系统中，这个文件的元数据(metadata)一般用于指示这个文件的名称、大小、创建时间、修改时间、所属用户、存储位置等。
对于存储服务器来说，该存储服务器可以为多个不同应用提供数据访问服务，不同应用的客户端可以通过不同的类型的服务接口向存储服务器发送元数据访问请求，以获取元数据。对于一个元数据访问请求来说，可以包括多个元数据属性项，每个属性项具有其属性参数，如待访问对象名、大小等。例如，对于块接口来说，其待访问对象名可以为卷ID，而对于文件接口来说，其待访问对象名可以为Inode ID，对于不同类型的服务接口，其元数据访问请求所包括的属性项不同，具体可以参考上述说明。
202、所述存储服务器根据所述第一服务接口的类型以及第一映射规则，将所述第一元数据访问请求转换为第一统一元数据请求。
其中，该第一映射规则用于描述第一服务接口的元数据属性项与统一元数据属性项之间的映射关系。
需要说明的是，存储服务器可以维护多套映射关系，每套映射关系用于描述一种服务接口的元数据属性项与统一元数据属性项之间的映射关系。其中，该统一元数据的属性项包括可以描述多种服务接口的元数据属性项，该具体属性项可以由存储系统事先配置。经过上述的请求转换过程，可以使得在获取元数据过程中，无需区分数据到底是通过哪个服务接口可以访问的，或者数据是以哪种格式存储，均可以获取到统一形式的元数据。
上述步骤202的转换过程根据其实际映射关系，具体可以包括如下202A至202D 的步骤：
202A、将该多个元数据属性项中第一属性项的属性参数填充至该统一元数据请求的第一属性项中。
202B、将该多个元数据属性项中第二属性项的属性参数进行转换，将转换值填充至该统一元数据请求的第三属性项中。
202C、将该服务接口的类型的相关参数填充至该统一元数据请求的第四属性项中。
202D、将默认值填充至该元数据访问请求中的第五属性项中。
当然，对于不同类型，其可能具有不同属性项，与统一元数据属性项之间的映射关系也可能不同，因此，对于每一种类型，不一定包括上述202A至202D 的全部步骤，也可以包括上述步骤中的任意几步的组合，另外，在转换过程中，上述步骤202A至202D之间没有必然的先后顺序，可以是同时进行填充，也可以是按照一定顺序进行填充，本发明实施例对此不做限定。
上述步骤202A中，第一属性项是指元数据属性项与统一元数据属性项中名称相同的属性项，第二属性项是与统一元数据属性项中第三属性项含义相同的属性项，而第四属性项可以是指统一元数据中根据服务接口的类型填充的属性项，第五属性项可以是指统一元数据中除了第一、第三以及第四属性项以外的属性项。
为了能够描述多个不同类型的属性项，该统一元数据可以包括如表1所示的属性项。
表1
为了便于理解，下面，以不同类型的元数据和统一元数据为例进行说明。
(一)对象接口。参见图3，该图3中左侧为对象接口的元数据属性项，居中的TRS(Transport Rule Service，转换规则服务)用于指代对于对象接口的元数据属性项的映射规则，而右侧为统一元数据属性项。对于对象接口来说，可以有以下映射关系：
第一属性项包括：“ID”、“名称”、“创建时间”、“修改时间”、“用户ID”和“用户名”，分别与统一元数据中具有相同名称的属性项对应；
第二属性项包括：“大小”、“Bucket ID”，分别对应于统一元数据中的第三属性项“容量”、“实际容量”、“父目录ID”、“用户组ID”；
第四属性项包括：“类型”、“访问模式”以及“WWN”等，如，对于统一元数据请求中的“类型”，可以根据该类型进行填充，也即是，服务接口为对象接口，则该属性项“类型”可以填充“对象”，属性项“访问模式”可以根据该服务接口本身填充，如该服务接口是读接口，则用“只读”填充，如服务接口为写接口，则用“写”填充，而在需要属性项“WWN”时，可以由存储服务器调用操作系统的标准接口(如在Linux系统中使用uuid_generate()生成uuid作为WWN)自行生成并存储。
第五属性项包括：“源ID”、“父快照ID”、“多路径信息”等，可以用默认值填充，该默认值可以为无效值“null”。
(二)文件接口。参见图4，该图4中左侧为文件接口的元数据属性项，居中的TRS用于指代对于文件接口的元数据属性项的映射规则，而右侧为统一元数据属性项。对于文件接口来说，可以有以下映射关系：
第一属性项包括：“名称”、“父目录ID”、“创建时间”、“修改时间”、“访问模式”、“用户ID”和“用户组ID”，分别与统一元数据中具有相同名称的属性项对应；
第二属性项包括：“Inode ID”、“文件类型”、“大小”，分别对应于统一元数据中的第三属性项“ID”、“类型”、“容量”以及“实际容量”。当然，该“容量”还可以取最大值。
第四属性项包括：“WWN”、“用户名”等，如，在需要属性项“WWN”时，可以由存储服务器调用操作系统的标准接口自行生成并存储，可以将“用户ID”的属性参数反算成字符串，并将字符串填充至该属性项“用户名”。
第五属性项包括：“源ID”、“父快照ID”、“多路径信息”等，可以用默认值填充，该默认值可以为无效值“null”。
(三)块接口。参见图5，该图5中左侧为块接口的元数据属性项，居中的 TRS用于指代对于对象接口的元数据属性项的映射规则，而右侧为统一元数据属性项。对于块接口来说，可以有以下映射关系：
第一属性项包括：“ID”、“名称”、“容量”、“实际容量”、“父快照ID”、“创建时间”、“WWN”以及“多路径信息”，分别与统一元数据中具有相同名称的属性项对应；
第二属性项包括：“父卷ID”，对应于统一元数据中的第三属性项“源ID”。
第四属性项包括：“修改时间”、“访问模式”等，如，对于统一元数据请求中的“修改时间”，可以当前系统时间进行填充，属性项“访问模式”可以根据该服务接口本身填充，如该服务接口是读接口，则用“只读”填充，如服务接口为写接口，则用“写”填充。
第五属性项包括：“父目录ID”、“用户ID”、“用户名”、“用户组ID”等，可以用默认值填充，如，“父目录ID”可以填充默认值1，“用户ID”填充默认用户ID，“用户名”填充默认用户名，“用户组ID”填充默认用户名。
203、存储服务器根据所述第一统一元数据请求获得第一统一元数据。
通过上述过程填充了属性参数之后所得到的统一元数据请求，可以从元数据存储库中获取该统一元数据请求所对应的统一元数据。该统一元数据所允许的记录长度可以为16KB字节，当然，该记录长度还可以根据实际需要调整，本发明实施例对此不做具体限定。
204、根据所述第一映射规则，对所述第一统一元数据进行过滤，得到第一元数据，向所述第一客户端发送所述第一元数据，由该第一客户端基于该第一元数据获取数据。
由于不同服务接口在后续进行数据访问时所需要的属性项不同，因此，在得到统一元数据后，还需要根据该类型的接口所需属性项，对统一元数据进行过滤，也即是，过滤掉本类型不需要的属性项。具体地，根据所述服务接口的类型和所述映射规则，将所述统一元数据中不属于所述类型的元数据属性项的属性项过滤掉，得到所述类型对应的元数据访问结果。
例如，基于上述图3提供的对象接口的映射规则来说，第五属性项中各个被填充为默认值的属性项可以被过滤掉。
由于元数据访问结果能够提供数据访问所需的数据存储路径等信息，因此，该发送端可以根据该元数据访问结果进行数据读写等操作。
相应地，对于其他服务接口，如第二服务接口，可以有以下步骤：所述存储服务器通过第二服务接口接收第二客户端发送的第二元数据访问请求；所述存储服务器根据所述第二服务接口的类型以及第二映射规则，将所述第二元数据访问请求转换为第二统一元数据请求；所述存储服务器根据所述第二统一元数据请求获得第二统一元数据；所述存储服务器根据所述第二映射规则，对所述第二统一元数据进行过滤，得到第二元数据，向所述第一客户端发送所述第二元数据；其中，所述第一客户端用于根据所述第一元数据访问所述存储空间，所述第二客户端用于根据所述第二元数据访问所述存储空间，并且所述第一统一元数据和所述第二统一元数据均属于相同格式的统一元数据。
存储服务器通过上述过程，可以实现服务接口对其他服务接口所存储数据的访问。
在增加第三服务接口时，可以有以下步骤：所述存储服务器确定通过所述第三服务接口接收的第三元数据请求携带的元数据属性项。根据所述第三元数据请求携带的元数据的属性项与所述统一元数据的属性项的映射关系建立第三映射规则。
在建立映射规则时，可以考虑以下情况：情况一、如果所述统一元数据属性项中包括所述第三服务接口的元数据属性项，则所述统一元数据属性项能够描述所述第三服务接口的元数据属性项。对于新增类型的元数据属性项可能包含一些与统一元数据属性项名称相同的属性项，通常，名称相同说明其含义相同，则可以建立该名称相同的属性项之间的映射关系，从而使得在后续转换过程中，可以直接将名称相同的属性项的属性参数填充至统一元数据的对应属性项中。例如，对于对象接口来说，该对象接口属性项具有与统一元数据属性项中名称相同的属性项“ID”、“名称”、“创建时间”、“修改时间”、“用户ID”和“用户名”。情况二、如果所述统一元数据属性项的属性项中包括与所述第三服务接口的元数据属性项含义相同的属性项，则所述统一元数据属性项能够描述所述第三服务接口的元数据属性项。
对于新增的第三服务接口的元数据属性项可能还会包含一些与统一元数据属性项中某些属性项含义相同的属性项，含义相同的情况下，则可以建立该含义相同的属性项之间的映射关系，从而使得在后续转换过程中，可以直接将名称相同的属性项的属性参数填充至统一元数据的对应属性项中。例如，仍以对象接口举例，属性项“大小”与统一元数据的属性项“容量”即属于含义相同的属性项。
进一步地，还可能出现一些含义类似的属性项，则可以建立含义类似的属性项之间的映射关系，该映射关系此时可以不仅包括属性项之间的对应关系，还可以包括属性参数的转换关系。例如，对于文件接口来说，可以将文件接口属性项“用户ID”与统一元数据的属性项“用户名”含义类似，则可以设置二者的映射关系包括文件接口属性项“用户ID”对应于统一元数据的属性项“用户名”，其转换关系包括：将“用户ID”的属性参数反算成字符串，并将此字符串再加上一定的前缀或后缀字符串，填充至该属性项“用户名”。例如“用户ID”为99，映射出来的“用户名”可以是“defaule_name_0099”。
需要说明的是，如果所述统一元数据属性项能够描述所述第三服务接口的元数据属性项，根据所述第三服务接口的元数据属性项与所述统一元数据属性项之间的映射关系，获取第三映射规则。该第三映射规则，即是后续用于对访问请求进行转换以及对统一元数据进行过滤所采用的映射规则。如果所述统一元数据属性项不能够描述所述第三服务接口的元数据属性项，在所述统一元数据属性项中添加自定义属性项，根据所述第三服务接口的元数据属性项与所述添加后统一元数据属性项之间的映射关系，获取第三映射规则。
本发明实施例还可以包括以下步骤：在检测到所述第三映射规则时，根据所述第三映射规则，在统一元数据中，添加与所述第三映射规则对应的属性项，并将默认值填充至所述与所述第三映射规则对应的属性项中；或，在检测到对所述新增类型的元数据访问请求时，根据所述第三映射规则，在已统一元数据中，添加与所述第三映射规则对应的属性项，并将默认值填充至所述与所述第三映射规则对应的属性项中。当具有添加的属性项时，可以设置一新增标识，使得在实际实现过程中如果存储系统检测到该新增标识时，可以获知该更新情况，从而进行后续的元数据更新。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
图6是本发明实施例提供的一种存储服务器的结构示意图，参见图6，该存储服务器应用于存储系统中，所述存储系统还包括存储空间，所述存储服务器包含多种服务接口，每一个服务接口用于提供一种数据访问方式，存储服务器包括：
接收模块601，用于通过第一服务接口接收第一客户端发送的第一元数据访问请求；
转换模块602，用于根据所述第一服务接口的类型以及第一映射规则，将所述第一元数据访问请求转换为第一统一元数据请求；
获取模块603，用于根据所述第一统一元数据请求获得第一统一元数据；
所述转换模块602，还用于根据所述第一映射规则，对所述第一统一元数据进行过滤，得到第一元数据；
发送模块604，用于向所述第一客户端发送所述第一元数据；
所述接收模块601，还用于通过第二服务接口接收第二客户端发送的第二元数据访问请求；
转换模块602，还用于根据所述第二服务接口的类型以及第二映射规则，将所述第二元数据访问请求转换为第二统一元数据请求；
获取模块603，还用于根据所述第二统一元数据请求获得第二统一元数据；
所述转换模块602，还用于根据所述第二映射规则，对所述第二统一元数据进行过滤，得到第二元数据；
所述发送模块604，还用于向所述第一客户端发送所述第二元数据；
其中，所述第一客户端用于根据所述第一元数据访问所述存储空间，所述第二客户端用于根据所述第二元数据访问所述存储空间，并且所述第一统一元数据和所述第二统一元数据均属于相同格式的统一元数据。
在另一实施例中，所述服务器还包括：
确定模块，用于确定通过所述第三服务接口接收的第三元数据请求携带的元数据属性项；
映射规则建立模块，用于根据所述第三元数据请求携带的元数据的属性项与所述统一元数据的属性项的映射关系建立第三映射规则。
在另一实施例中，所述服务器还包括更新模块，所述更新模块用于：
根据所述第三映射规则，在统一元数据中添加与所述第三映射规则对应的属性项。具体的，在检测到所述第三映射规则时，根据所述第三映射规则，在已存储的统一元数据中，添加与所述第三映射规则对应的属性项，并将默认值填充至所述与所述第三映射规则对应的属性项中；或，
在检测到对所述第三服务接口的元数据访问请求时，根据所述第三映射规则，在统一元数据中，添加与所述第三映射规则对应的属性项，并将默认值填充至所述与所述第三映射规则对应的属性项中。
需要说明的是：上述实施例提供的存储服务器在数据访问时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的存储服务器与数据访问方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图7是根据一示例性实施例示出的一种存储服务器700的框图。该存储服务器700可以用于上述提供的存储系统中，所述存储系统还包括存储空间，所述存储服务器包含多种服务接口，每一个服务接口用于提供一种数据访问方式，所述存储服务器还包括处理器722，所述处理器722用于：
通过第一服务接口接收第一客户端发送的第一元数据访问请求；
根据所述第一服务接口的类型以及第一映射规则，将所述第一元数据访问请求转换为第一统一元数据请求；
根据所述第一统一元数据请求获得第一统一元数据；
根据所述第一映射规则，对所述第一统一元数据进行过滤，得到第一元数据，向所述第一客户端发送所述第一元数据；
通过第二服务接口接收第二客户端发送的第二元数据访问请求；
根据所述第二服务接口的类型以及第二映射规则，将所述第二元数据访问请求转换为第二统一元数据请求；
根据所述第二统一元数据请求获得第二统一元数据；
根据所述第二映射规则，对所述第二统一元数据进行过滤，得到第二元数据，向所述第一客户端发送所述第二元数据；
其中，所述第一客户端用于根据所述第一元数据访问所述存储空间，所述第二客户端用于根据所述第二元数据访问所述存储空间，并且所述第一统一元数据和所述第二统一元数据均属于相同格式的统一元数据。
在另一实施例中，结合上述功能，所述处理器还用于：
确定通过所述第三服务接口接收的第三元数据请求携带的元数据属性项；
根据所述第三元数据请求携带的元数据的属性项与所述统一元数据的属性项的映射关系建立第三映射规则。
在另一实施例中，结合上述功能，所述处理器还用于：根据所述第三映射规则，在所述统一元数据中添加与所述第三映射规则对应的属性项。
存储服务器700还可以包括一个电源组件726被配置为执行存储服务器700 的电源管理，一个有线或无线网络接口750被配置为将存储服务器700连接到网络，和一个输入输出(I/O)接口758。存储服务器700可以操作基于存储在存储器732的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM， FreeBSDTM或类似。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，SSD、磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种存储服务器，其特征在于，所述存储服务器应用于存储系统中，所述存储系统还包括存储空间，所述存储服务器包含多种服务接口，每一个服务接口用于提供一种数据访问方式，所述存储服务器还包括：
接收模块，用于通过第一服务接口接收第一客户端发送的第一元数据访问请求；
转换模块，用于根据所述第一服务接口的类型以及第一映射规则，将所述第一元数据访问请求转换为第一统一元数据请求；
获取模块，用于根据所述第一统一元数据请求获得第一统一元数据；
所述转换模块，还用于根据所述第一映射规则，对所述第一统一元数据进行过滤，得到第一元数据；
发送模块，用于向所述第一客户端发送所述第一元数据；
所述接收模块，还用于通过第二服务接口接收第二客户端发送的第二元数据访问请求；
转换模块，还用于根据所述第二服务接口的类型以及第二映射规则，将所述第二元数据访问请求转换为第二统一元数据请求；
获取模块，还用于根据所述第二统一元数据请求获得第二统一元数据；
所述转换模块，还用于根据所述第二映射规则，对所述第二统一元数据进行过滤，得到第二元数据；
所述发送模块，还用于向所述第二客户端发送所述第二元数据；
其中，所述第一客户端用于根据所述第一元数据访问所述存储空间，所述第二客户端用于根据所述第二元数据访问所述存储空间，并且所述第一统一元数据和所述第二统一元数据均属于相同格式的统一元数据。
2.根据权利要求1所述的服务器，其特征在于，所述服务器还包括：
确定模块，用于确定通过第三服务接口接收的第三元数据请求携带的元数据属性项；
映射规则建立模块，用于根据所述第三元数据请求携带的元数据的属性项与所述统一元数据的属性项的映射关系建立第三映射规则。
3.根据权利要求2所述的服务器，其特征在于，所述服务器还包括更新模块，所述更新模块用于：
根据所述第三映射规则，在所述统一元数据中添加与所述第三映射规则对应的属性项。
4.一种存储系统的元数据访问方法，其特征在于，所述存储系统包括存储服务器和存储空间，所述存储服务器包含多种服务接口，所述存储空间用于存储数据，每一个服务接口用于提供一种数据访问方式，所述方法包括：
所述存储服务器通过第一服务接口接收第一客户端发送的第一元数据访问请求；
所述存储服务器根据所述第一服务接口的类型以及第一映射规则，将所述第一元数据访问请求转换为第一统一元数据请求；
所述存储服务器根据所述第一统一元数据请求获得第一统一元数据；
所述存储服务器根据所述第一映射规则，对所述第一统一元数据进行过滤，得到第一元数据，向所述第一客户端发送所述第一元数据；
所述存储服务器通过第二服务接口接收第二客户端发送的第二元数据访问请求；
所述存储服务器根据所述第二服务接口的类型以及第二映射规则，将所述第二元数据访问请求转换为第二统一元数据请求；
所述存储服务器根据所述第二统一元数据请求获得第二统一元数据；
所述存储服务器根据所述第二映射规则，对所述第二统一元数据进行过滤，得到第二元数据，向所述第二客户端发送所述第二元数据；
其中，所述第一客户端用于根据所述第一元数据访问所述存储空间，所述第二客户端用于根据所述第二元数据访问所述存储空间，并且所述第一统一元数据和所述第二统一元数据均属于相同格式的统一元数据。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
所述存储设备确定通过第三服务接口接收的第三元数据请求携带的元数据属性项；
根据所述第三元数据请求携带的元数据的属性项与所述统一元数据的属性项的映射关系建立第三映射规则。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据所述第三映射规则，在所述统一元数据中添加与所述第三映射规则对应的属性项。
7.一种存储服务器，其特征在于，所述存储服务器应用于存储系统中，所述存储系统还包括存储空间，所述存储服务器包含多种服务接口，每一个服务接口用于提供一种数据访问方式，所述存储服务器还包括处理器，所述处理器用于：
通过第一服务接口接收第一客户端发送的第一元数据访问请求；
根据所述第一服务接口的类型以及第一映射规则，将所述第一元数据访问请求转换为第一统一元数据请求；
根据所述第一统一元数据请求获得第一统一元数据；
根据所述第一映射规则，对所述第一统一元数据进行过滤，得到第一元数据，向所述第一客户端发送所述第一元数据；
通过第二服务接口接收第二客户端发送的第二元数据访问请求；
根据所述第二服务接口的类型以及第二映射规则，将所述第二元数据访问请求转换为第二统一元数据请求；
根据所述第二统一元数据请求获得第二统一元数据；
根据所述第二映射规则，对所述第二统一元数据进行过滤，得到第二元数据，向所述第二客户端发送所述第二元数据；
其中，所述第一客户端用于根据所述第一元数据访问所述存储空间，所述第二客户端用于根据所述第二元数据访问所述存储空间，并且所述第一统一元数据和所述第二统一元数据均属于相同格式的统一元数据。
8.根据权利要求7所述的存储服务器，其特征在于，所述处理器还用于：
确定通过第三服务接口接收的第三元数据请求携带的元数据属性项；
根据所述第三元数据请求携带的元数据的属性项与所述统一元数据的属性项的映射关系建立第三映射规则。
9.权利要求8所述的存储服务器，其特征在于，所述处理器还用于：根据所述第三映射规则，在所述统一元数据中添加与所述第三映射规则对应的属性项。
CN201610128210.8A 2016-03-07 2016-03-07 存储服务器和元数据访问方法 Active CN105740469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610128210.8A CN105740469B (zh) 2016-03-07 2016-03-07 存储服务器和元数据访问方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610128210.8A CN105740469B (zh) 2016-03-07 2016-03-07 存储服务器和元数据访问方法

Publications (2)

Publication Number Publication Date
CN105740469A CN105740469A (zh) 2016-07-06
CN105740469B true CN105740469B (zh) 2019-05-28

Family

ID=56250080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610128210.8A Active CN105740469B (zh) 2016-03-07 2016-03-07 存储服务器和元数据访问方法

Country Status (1)

Country Link
CN (1) CN105740469B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110018983B (zh) 2017-09-27 2021-07-16 华为技术有限公司 一种元数据查询方法及装置
CN108133000B (zh) * 2017-12-21 2021-05-04 百度在线网络技术（北京）有限公司 一种元数据存储方法、装置和服务器
CN111352899B (zh) * 2018-12-24 2024-04-12 中兴通讯股份有限公司 路径聚合方法、访问方法及通信设备、存储介质
CN111737527A (zh) * 2020-06-29 2020-10-02 中国南方电网有限责任公司 异构终端的数据处理方法、装置、电子设备和存储介质
CN113868344B (zh) * 2021-09-29 2024-04-16 国网智能电网研究院有限公司 面向电力应用的构建系统、方法、装置、服务器及存储介质
CN114238404A (zh) * 2021-12-15 2022-03-25 建信金融科技有限责任公司 数据的查询方法、装置、存储介质及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731489A (zh) * 2013-12-27 2014-04-16 华为技术有限公司 一种数据存储方法、系统和设备
CN104253847A (zh) * 2013-06-28 2014-12-31 华为技术有限公司 一种数据交互方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7574422B2 (en) * 2006-11-17 2009-08-11 Yahoo! Inc. Collaborative-filtering contextual model optimized for an objective function for recommending items

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104253847A (zh) * 2013-06-28 2014-12-31 华为技术有限公司 一种数据交互方法及装置
CN103731489A (zh) * 2013-12-27 2014-04-16 华为技术有限公司 一种数据存储方法、系统和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于主题映射元数据的数据库访问和集成系统;陈小青等;《系统仿真学报》;20090731;第21卷(第14期);第4268-4273页
支持EB级存储的元数据服务器集群系统;刘健等;《中国科学：信息科学》;20150520;第45卷(第6期);第721-738页

Also Published As

Publication number Publication date
CN105740469A (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
CN105740469B (zh) 存储服务器和元数据访问方法
US10515058B2 (en) Unified file and object data storage
CN106170777B (zh) 降低基于块的存储的数据卷耐久性状态的方法
US10291704B2 (en) Networked solutions integration using a cloud business object broker
CN104731516B (zh) 一种存取文件的方法、装置及分布式存储系统
CN110198231A (zh) 用于多租户的容器网络管理方法和系统以及中间件
CN110019081A (zh) 数据持久化处理方法、装置、系统及可读存储介质
CN108287758A (zh) 一种应用资源管理方法、使用方法及装置
JP7369860B2 (ja) アクセスドッキングコンポーネント、システム、並びに、そのアクセスドッキングコンポーネントを用いた方法及び装置
CN105095103B (zh) 用于云环境下的存储设备管理方法和装置
CN108089912A (zh) 一种虚拟机与容器超融合系统构建方法及装置
CN106407214A (zh) 分布式存储方法与系统
CN106648462B (zh) 数据存储方法及装置
CN101802808A (zh) 从脚本和其他编程环境访问设备主存的服务
CN112398936B (zh) 一种基于Kubernetes的多网卡容器实现方法及系统
CN103716346A (zh) 一种安卓手机客户端上应用的管理方法和装置
CN110389935A (zh) 一种启动小程序的方法、设备和计算机存储介质
CN108491163A (zh) 一种大数据处理方法、装置和存储介质
US20190179661A1 (en) Moving storage volumes for improved performance
CN109992956A (zh) 容器的安全策略的处理方法和相关装置
CN116308344A (zh) 一种基于区块链的交易数据认证共识方法和系统
CN103503388B (zh) 一种分布式队列消息读取方法及设备、系统
CN111414356A (zh) 数据存储方法、装置、非关系数据库系统及存储介质
CN109614271A (zh) 多个集群数据一致性的控制方法、装置、设备及存储介质
CN109558082B (zh) 分布式文件系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant