CN102118315A - 数据流化方法、数据记录方法、数据读取方法及其系统 - Google Patents

Abstract

本发明实施例提供一种数据流化方法、数据记录方法、数据读取方法及其系统，其中流化系统中的业务处理单元、元数据服务单元、流化单元与存储设备之间通过内部总线或内部网络连接；业务处理单元接收来自客户端的数据流化请求，并向元数据服务单元请求与待流化的业务数据对应的元数据；元数据服务单元根据请求获取与待流化的业务数据对应的元数据；流化单元根据元数据，从存储设备中获取对应的业务数据，并流化给客户端。本发明实施例中，具有元数据控制管理功能的元数据服务单元和具有业务数据读取功能的流化单元分离设置，从而使得管理功能设备和数据读取功能设备可以各自自由的伸展扩展，由此可以降低系统扩展难度并节约扩展成本。

Description

数据流化方法、数据记录方法、数据读取方法及其系统

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种数据流化方法、数据记录方法、数据读取方法及其系统。

背景技术

随着互连网的不断普及和发展，人们对数据信息的需求越来越大，网络中实时传输与处理海量数据的需求也越来越强烈，对多媒体数据的记录保存以及流化处理成为了提升网络数据实时传输性能的关键技术之一。

现有的多媒体数据记录与流化的技术方案中，对多媒体数据的记录存储功能、对多媒体数据的流化读取功能以及对多媒体数据、元数据的控制管理功能、甚至网络功能等均被集成在一个设备中，当该设备接收到客户终端发送的多媒体数据服务请求时，该设备内部的各部分功能模块相互配合以处理并响应接收到的服务请求。

作为一个整体的数据记录流化设备虽然通过内部单元模块的分工，能够响应并处理客户终端发送的多媒体数据服务请求，但是这种实现方式存在一定的缺陷：由于对元数据的管理控制功能与对多媒体数据的记录流化功能均部署在同一个设备中，因而在需要对该设备存储与流化能力进行扩展时，需要成套的增加整个数据记录流化设备，从而会造成对设备中其它单元扩展的资源浪费，导致扩展成本较高；而在需要对该设备的元数据管理功能进行扩展时，同样由于受到同设备中数据处理单元的影响，对管理功能的扩展性也非常有限。

发明内容

本发明实施例提供一种数据流化方法、数据记录方法、数据读取方法及其系统，用以克服现有的多媒体数据的记录、流化技术中由于控制单元与数据处理单元设置在同一设备中，而导致的对系统的数据处理功能扩展性较差的缺陷。

本发明实施例提供一种流化系统，包括：元数据服务单元、至少一个业务处理单元、及至少一个流化单元，其中，所述业务处理单元、所述元数据服务单元、所述流化单元与存储设备之间通过内部总线或内部网络连接；

所述业务处理单元用于接收来自客户端的数据流化请求，并根据所述数据流化请求向所述元数据服务单元请求与待流化的业务数据对应的元数据；

所述元数据服务单元用于根据所述业务处理单元的请求，获取与所述待流化的业务数据对应的元数据，所述元数据用于指示待流化的业务数据的存储地址；

所述流化单元用于根据所述元数据服务单元或者所述业务处理单元提供的与所述待流化的业务数据对应的元数据，从所述存储设备中获取对应的业务数据，并对获取的所述业务数据进行协议转换后，流化给所述客户端。

本发明实施例提供一种数据流化方法，包括：

接收来自客户端的数据流化请求，并根据所述数据流化请求获取与待流化的业务数据对应的元数据，所述元数据用于指示待流化的业务数据的存储地址；

根据获取的与所述待流化的业务数据对应的元数据，从存储设备中获取对应的业务数据，并对获取的所述业务数据进行协议转换后，流化给所述客户端。

本发明实施例提供一种数据记录方法，包括：

接收待记录的业务数据，并获取所述待记录的业务数据对应的元数据；

根据获取的所述待记录的业务数据对应的元数据指示的存储地址，将所述待记录的业务数据记录在存储设备中。

本发明实施例提供一种数据流化方法，包括：

业务处理单元接收来自客户端的数据流化请求，并根据所述数据流化请求向通过内部网络连接的元数据服务单元请求与待流化的业务数据对应的元数据；

所述业务处理单元或者所述业务处理单元指示所述元数据服务单元将获取的所述与待流化的业务数据对应的元数据发送给通过内部网络连接的流化单元，以使所述流化单元根据所述与待流化的业务数据对应的元数据，从存储设备中获取对应的业务数据，并对获取的所述业务数据进行协议转换后，流化给所述客户端。

可见，本发明实施例提供的流化系统及数据流化方法、数据记录方法，流化系统中包括：业务处理单元、元数据服务单元和流化单元；其中，业务处理单元、元数据服务单元、流化单元与存储设备之间通过内部总线或内部网络连接；具有对元数据进行控制管理功能的元数据服务单元和具有对文件数据进行读取功能的流化单元分离设置，并通过内部总线或内部网络连接，从而使得管理功能设备和数据处理功能设备可以各自自由的伸展扩展，灵活性强，由此可以降低系统的扩展难度并节约系统扩展成本；并且，在流化过程中，流化单元直接从存储设备中读取业务数据，可以减少数据流的传输过程，由此可以避免业务数据在流化系统内部的迂回传递。

本发明实施例提供一种文件系统，包括：元数据服务单元、至少一个数据读取单元、和存储单元，所述元数据服务单元和所述数据读取单元之间通过通讯总线连接；

所述存储单元，用于存储文件数据和元数据，所述元数据用于指示所述文件数据的存储地址；

所述元数据服务单元，用于根据文件访问请求，从所述存储单元中获取与所述文件访问请求对应的待访问文件数据的元数据；

所述数据读取单元，用于通过所述通讯总线从所述元数据服务单元获得待访问文件数据的元数据，根据所述待访问文件数据的元数据指示的存储地址从所述存储单元获取对应的文件数据。

本发明实施例提供一种文件系统中的数据读取方法，包括：

元数据服务单元根据文件访问请求获取待访问文件的元数据；

元数据服务单元通过通讯总线将所述获得待访问文件的元数据提供给数据读取单元以使得，通过所述通讯总线与元数据服务单元连接的数据读取单元根据所述待访问文件的元数据指示的存储地址获取对应的文件数据。

本发明实施例提供的文件系统及文件系统中的数据读取方法，文件系统中的元数据服务单元和数据读取单元之间通过通讯总线连接，元数据服务单元根据文件访问请求可以从存储单元中获取待访问文件的元数据，然后数据读取单元根据元数据服务单元获取的元数据指示的存储地址，从存储单元中获取待访问文件对应的文件数据。本发明实施例中，具有对元数据进行控制管理功能的元数据服务单元和具有对文件数据进行读取功能的数据读取单元分离设置，并通过通讯总线连接，从而使得管理功能设备和数据处理功能设备可以各自自由的伸展扩展，灵活性强，由此可以降低系统的扩展难度并节约系统扩展成本；并且，在数据读取过程中，数据读取单元可以直接从存储单元中读取文件数据，可以减少数据流的传输过程，由此可以避免文件数据在文件系统内部的迂回传递。

本发明实施例提供一种分布式文件系统，包括：数据请求设备、数据获取设备和元数据管理服务器，其中：

所述数据请求设备，用于发起文件访问请求并将所述元数据管理服务器返回的待访问文件数据的元数据发送给数据获取设备；

所述元数据管理服务器，用于根据所述数据请求设备发起的文件访问请求，获取待访问文件数据的元数据，并将所述待访问文件数据的元数据返回给所述数据请求设备；

所述数据获取设备，用于根据所述数据请求设备发起的文件访问请求和所述待访问文件数据的元数据，从存储设备获取对应的文件数据。

本发明实施例提供的分布式文件系统，分布式文件系统中的数据请求设备、数据获取设备和元数据管理服务器之间可以通过通讯网络连接；具有对元数据进行控制管理功能的元数据管理服务器和具有文件数据读取请求功能的数据请求设备、具有文件数据获取功能的数据获取设备分离设置，并通过通讯网络连接，从而使得管理功能设备和数据处理功能设备可以各自自由的伸展扩展，灵活性强，由此可以降低系统的扩展难度并节约系统扩展成本；并且，数据获取设备直接从存储设备中读取文件数据，可以减少数据流的传输过程，由此可以避免文件数据在流化系统内部的迂回传递。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的流化系统实施例一的示意图；

图2A和图2B为本发明实施例提供的流化系统实施例三的物理架构示意图；

图3为图1所示实施例提供的流化系统的逻辑架构图；

图4为本发明实施例提供的数据流化方法实施例一的流程图；

图5为本发明实施例提供的数据流化方法实施例二的流程图；

图6为本发明实施例提供的数据记录方法实施例一的流程图；

图7为本发明实施例提供的数据记录方法实施例二的流程图；

图8为本发明实施例提供的数据记录方法实施例三的流程图；

图9为本发明实施例提供的数据流化方法实施例四的流程图；

图10为本发明实施例提供的数据流化方法实施例五的信令图；

图11为本发明实施例提供的数据记录方法实施例三的信令图；

图12为本发明实施例提供的文件系统实施例一的示意图；

图13为本发明实施例提供的文件系统实施例二的示意图；

图14为本发明实施例提供的文件系统中的数据读取方法实施例一的流程图；

图15为本发明实施例提供的文件系统中的数据读取方法实施例二的流程图；

图16为本发明实施例提供的分布式文件系统实施例一的示意图；

图17为本发明实施例提供的用于分布式文件系统中的数据读取方法实施例一的流程图；

图18为本发明实施例提供的用于分布式文件系统中的数据读取方法实施例二的信令图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的流化系统实施例一的示意图，如图1所示，该流化系统包括：业务处理单元11、元数据服务单元13和流化单元15；其中，业务处理单元11为至少一个，流化单元15为至少一个。

业务处理单元11、元数据服务单元13、流化单元15与存储设备之间可以通过内部总线或内部网络连接；其中，该存储设备可以包含在该流化系统中，也可以位于该流化系统的外部，在此并不限定该存储设备所处的位置。

业务处理单元11用于接收来自客户端的数据流化请求，并根据数据流化请求向元数据服务单元13请求与待流化的业务数据对应的元数据。

其中，元数据可以是数据的存储位置(例如存储设备号和存储块号，或者存储设备的IP地址和数据路径)；元数据也可以是数据在文件系统中对应的索引节点号，数据的索引节点保存在存储设备中，并用来标识数据的存储位置，根据数据的索引节点号，可以计算出索引节点的存储位置。

元数据服务单元13用于根据业务处理单元11的请求，获取与待流化的业务数据对应的元数据，元数据用于指示待流化的业务数据的存储地址。元数据服务单元13获取到待流化的业务数据对应的元数据之后，可以将该元数据直接提供给流化单元15，也可以将该元数据提供给业务处理单元11，并由业务处理单元11将元数据提供给流化单元。

流化单元15用于根据元数据服务单元13或者业务处理单元11提供的与待流化的业务数据对应的元数据，从存储设备中获取对应的业务数据，并对获取的业务数据进行协议转换后，流化给客户端。

可见，本发明实施例，流化系统中包括：业务处理单元、元数据服务单元和流化单元；其中，业务处理单元、元数据服务单元、流化单元与存储设备之间通过内部总线或内部网络连接；具有对元数据进行控制管理功能的元数据服务单元和具有文件数据读取功能的流化单元分离设置，并通过内部总线或内部网络连接，从而使得管理功能设备和数据处理功能设备可以各自自由的伸展扩展，灵活性强，由此可以降低系统的扩展难度并节约系统扩展成本；并且，在流化过程中，流化单元可以直接从存储设备中读取业务数据，可以减少数据流的传输过程，由此通过本实施例的流化系统，可以避免业务数据在流化系统内部的迂回传递。

进一步的，本发明实施例还提供一种流化系统实施例二，在图1所示的实施例提供的流化系统的基础上，该流化系统中可以包括多个流化单元；该流化系统可以用于数据流化，还可以用于数据记录；并且在进行数据流化或者数据记录的过程中，元数据服务单元可以对待流化或待记录的数据进行锁定；具体的，参见图1，在图1所示实施例的基础上，对本实施例的流化系统中的各个单元进行以下描述：

业务处理单元11还可以用于，在接收到来自客户端的数据流化请求之后，根据多个流化单元的状态属性，从多个流化单元中选择用于获取与数据流化请求对应的业务数据的流化单元。其中，流化单元可以为多个。

具体的，业务数据可以为多媒体数据；元数据包括业务数据的存储位置或业务数据的索引节点号。

元数据服务单元13还可以用于，在接收业务处理单元11的请求之后，将与请求对应的业务数据进行锁定，以使请求对应的业务数据处于不允许被修改的状态；和/或，

元数据服务单元13还可以用于，监控用于存储业务数据的存储设备的运行状态；该运行状态包括：运行是否正常、存储设备的增加或存储设备的删除；和/或

元数据服务单元13还可以用于，根据访问次数和运行负载，调整业务数据在存储设备中的存储位置，并修改被调整的业务数据对应的元数据；和/或

元数据服务单元13还可以用于，在接收业务处理单元的请求之前，根据多个业务处理单元的状态属性，从多个业务处理单元中选择用于接收客户端的数据流化请求的业务处理单元。其中，业务处理单元可以为多个。应当理解的是，在具体实现中，在流化的过程中且在业务处理单元介入之前，可以由元数据服务单元根据网络接口单元提供的多个业务处理单元的状态属性信息，从多个业务处理单元中选择用于接收客户端的数据流化请求的业务处理单元。

当该流化系统用于数据记录时，业务处理单元11还用于，接收待记录的业务数据，并向元数据服务单元13请求待记录的业务数据对应的元数据。

元数据服务单元13还用于：获取与待记录的业务数据对应的元数据，该元数据用于指示待记录的业务数据的存储地址。

并且，业务处理单元11还用于，根据元数据服务单元13发送的待记录的业务数据对应的元数据指示的存储地址，将待记录的业务数据记录在存储设备中。

进一步的，业务处理单元11还用于，向元数据服务单元13请求待记录的业务数据对应的元数据之前，解析接收到的待记录的业务数据对应的文件路径，并将解析得到的文件路径发送给元数据服务单元13，元数据服务单元13用于对文件路径是否存在以及待记录的业务数据是否能够被修改进行检测；若文件路径存在，且待记录的业务数据能够被修改，则业务处理单元向元数据服务单元请求待记录的业务数据对应的元数据。

当该流化系统用于数据记录时，元数据服务单元13还用于，根据业务处理单元11的请求为待记录的业务数据分配元数据；并向业务处理单元11返回与待记录的业务数据对应的元数据，以使业务处理单元11根据待记录的业务数据的元数据将待记录的业务数据记录在存储设备中；和/或，

元数据服务单元13还可以用于，根据存储设备的运行状态，为待记录的业务数据分配存储空间，并将分配的存储空间的位置信息组成待记录的业务数据对应的元数据。

进一步的，元数据服务单元13还用于，向业务处理单元11返回与待记录的业务数据对应的元数据之前，将待记录的业务数据进行锁定，以使待记录的业务数据处于不允许被其他业务处理单元修改和访问的状态；其中，其他业务处理单元为除了当前接收所述待记录的业务数据的业务处理单元以外的业务处理单元。

进一步的，当包括多个业务处理单元时，元数据服务单元13还用于，根据多个业务处理单元的状态属性，从所述多个业务处理单元中选择用于接收待记录的业务数据的业务处理单元。其中，业务处理单元可以为多个。

本发明实施例中，业务处理单元、元数据服务单元、流化单元与存储设备之间通过内部总线或内部网络连接；具有对元数据进行控制管理功能的元数据服务单元和具有对文件数据进行读取功能的流化单元分离设置，并通过内部总线或内部网络连接，从而使得管理功能设备和数据处理功能设备可以各自自由的伸展扩展，灵活性强，由此可以降低流化系统的扩展难度并节约系统扩展成本；并且，在流化过程中，流化单元可以直接从存储设备中读取业务数据，在记录过程中，业务处理单元可以直接将业务数据写入存储设备中，可以减少数据流的传输过程，由此通过本实施例的流化系统，可以避免业务数据在流化系统内部的迂回传递。

图2A和图2B为本发明实施例提供的流化系统实施例三的物理架构示意图，如图2A所示，本实施例以多媒体数据记录与流化系统为例进行说明，图2A所示实施例中的多媒体数据记录与流化系统具体可以包括：业务处理单元、流化单元和元数据服务单元。

用户通过网络向该系统获取数据。其中，用户可以有n个。该用户是请求多媒体数据的终端，例如可以是移动电话、个人电脑、数字电视或数字机顶盒等。所述的网络可以是局域网、城域网或者广域网，其中可以包括用于连接的各种交换机和路由器。

多媒体数据存储中心是提供多媒体数据的服务器，也可以是上一层或者同层其它的多媒体数据获取系统，用于保存多媒体数据的数据库等。多媒体数据存储中心可以主动向业务处理单元发送待记录的数据，业务处理单元也可以向多媒体数据存储中心请求数据。

该系统中还可以包括存储设备和网络接口单元。其中，该系统中也可以不包含存储设备，而使用外部的存储设备。

存储设备是用于保存多媒体数据的设备，可以是内接的多块SSD(Solid-state disk，固态硬盘)或者HDD(Hard disk drive，硬盘驱动器)盘，也可以是外接的IP/FC(Fibre Channel，光纤信道)SAN(Storage AreaNetwork，存储区域网络)存储。

网络接口单元是该系统的对外接口，网络接口单元与外部的网络连接，转发用户的请求或者指令给业务处理单元，以及发送多媒体数据给用户；并且网络接口单元可以通过外部的网络与多媒体数据存储中心连接。网络接口单元可以是网络适配器或者光纤适配器。

该系统中的各个单元由内部网络连接，该内部网络可以是以太网也可以是内部总线(如PCIe(Peripheral Component Interconnect Express，外设组件互连标准)总线)。

在数据流化的过程中，业务处理单元负责处理用户的请求或者指令，与用户建立流式传输多媒体数据的会话过程；解析出用户请求的多媒体数据对应的文件路径，但业务处理单元不直接读取文件，而是从元数据服务单元获取文件的元数据，并转发给流化单元，由流化单元从存储中读出文件，并流式传输给用户。其中，业务处理单元也可以指示元数据服务单元将获取的元数据直接发送给流化单元。

在数据记录的过程中，业务处理单元负责向多媒体数据中心存储请求多媒体数据，或者接收多媒体数据中心提供的多媒体数据；并且业务处理单元请求元数据服务单元在存储设备上为待记录的数据分配存储空间，并接收元数据服务单元返回的元数据；业务处理单元还可以根据元数据指示的存储位置，把多媒体数据直接写入存储设备中。

业务处理单元在通知流化单元流式传输多媒体数据之前，可以先由元数据服务单元验证用户是否有权力访问请求的多媒体数据，并由元数据服务单元检查用户请求的多媒体数据是否存在于存储设备中，如果不在，则由业务处理单元通过网络接口单元向多媒体数据中心存储请求该多媒体数据。

元数据服务单元负责在业务处理单元请求流式传输多媒体数据时，检索多媒体数据在存储设备上的位置，并构造元数据，返回给业务处理单元或流化单元。

业务处理单元在向存储设备写入多媒体数据之前，需要向元数据服务单元验证多媒体数据对应的文件路径是否存在；并且当待记录的数据是对原来的数据进行修改时，还要向元数据服务单元验证原来的数据是否可以修改，并且是否正在被流式传输；当该文件路径存在，且数据可以被修改，没有被流式传输，则业务处理单元可以向元数据服务单元请求待记录数据的元数据。

系统中可以包括一个或多个业务处理单元。当业务处理单元为多个时，在用户发送数据访问请求时，元数据服务单元负责从多个业务处理单元中选择一个来接收该数据访问请求，并执行本次的数据流化流程。具体的，元数据服务单元从网络接口单元获取到各个业务处理单元的状态属性信息，然后根据获取到的状态属性信息进行计算和判断后，选择一个合适的业务处理单元来执行本次的数据流化流程；其中，元数据服务单元计算和判断的过程可以参见现有技术，该状态属性信息例如可以包括：该业务处理单元的业务能力、负载情况和运行情况等。同样的，当有数据需要记录时，元数据服务单元可以从多个业务处理单元中选择一个业务处理单元处理当前的记录数据的操作。

元数据服务单元可以监控存储设备的运行情况，处理存储设备的异常；根据策略对存储设备上的多媒体数据进行热点迁移和负载均衡。

元数据服务单元还可以收集存储设备的存储空间分配情况、运行状态和负载情况，以助于为待记录的数据分配合适的存储空间。具体的，元数据服务单元负责在业务处理单元请求记录多媒体数据时，根据存储设备的存储空间分配情况、运行状态和负载情况，为此多媒体数据分配存储空间，并将该存储空间的地址组织成元数据返回给业务处理单元，还将该元数据记录到元数据仓库中。

元数据服务单元还可以根据访问次数和运行负载，调整数据在存储设备中的存储位置，并修改被调整的数据对应的元数据；也就是说，若某一数据被访问的次数较频繁，则元数据服务单元为了适应该数据被频繁的访问，可以根据存储设备的运行状态适应性调整该数据的存储位置，在该数据的存储位置被调整后，适应性的修改该数据对应的元数据；或者，为了存储设备的负载均衡，元数据服务单元也可以调整数据的存储位置，并在该数据的存储位置被调整后，适应性的修改该数据对应的元数据。

元数据服务单元通过统一管理存储设备，流式传输请求需要首先经过元数据服务单元处理，以保证系统中的一个或者多个业务处理单元和流化单元能共享同一套存储设备。

此外，元数据服务单元还可以通过对多媒体数据设置锁，保证流化单元正在流式传输的多媒体数据不会被其它业务处理单元修改，或者，保证业务处理单元正在修改的多媒体数据不会被其它业务处理单元修改或者流化单元访问。其中，可以通过多种方法对数据进行锁定，例如对数据锁定标识置位。

流化单元负责根据业务处理单元提供的用户信息，以及业务处理单元或元数据服务单元提供的元数据，从存储设备中读出对应的多媒体数据，并根据多媒体协议对数据进行编码，将编码后的多媒体数据流式传输给用户。

其中，流化单元可以有一个或多个。当流化单元有多个时，业务处理单元在需要时通知流化单元上报状态属性；其中该状态属性可以包括流化单元的业务能力、负载情况和运行情况；或者流化单元也可以定期自动向业务处理单元上报状态属性。然后当业务处理单元接收到用户的数据访问请求后，根据各个流化单元的状态，从中选取一个流化单元进行本次的数据流化操作。

其中，业务处理单元、流化单元和元数据服务单元可以分布式部署(参见图2A)；或者，业务处理单元和流化单元部署在同一个设备中(参见图2B)，而与元数据服务单元分布式部署，即业务处理单元和流化单元部署在一个流化与记录处理单元中，其中流化与记录处理单元可以有多个；由此使得业务处理单元、流化单元和元数据服务单元，以及存储设备都可以各自自由的伸展扩展，灵活性强。其中，当业务处理单元和流化单元部署在一个装置上时，业务处理单元和流化单元可以使用两个不同的系统，例如MIPS(Microprocessor without Interlocked Pipeline Stages，不含互锁机制的管线阶层微处理器)系统。

可见，本发明实施例，在数据流化过程中，由元数据服务单元对元数据进行控制管理，由流化单元读取并流化业务数据，通过将元数据服务单元和流化单元进行分离设置，从而使得具有管理功能的元数据服务单元以及具有数据读取功能的流化单元可以各自自由的伸展扩展，灵活性强，大大降低了对系统的扩展难度并节约了扩展成本；并且，在流化过程中，流化单元可以直接从存储设备中读取业务数据，在记录过程中，业务处理单元可以直接将业务数据写入存储设备中，由此可以避免业务数据在流化系统内部的迂回传递。

图3为图1所示实施例提供的流化系统的逻辑架构图，如图3所示，该流化系统包括：元数据服务单元31、业务处理单元33和流化单元35。本实施例以多媒体数据流化系统为例进行说明。

元数据服务单元31可以包括：存储设备管理模块、元数据管理模块和元数据仓库。其中，该元数据仓库可以包含于元数据服务单元中，也可以位于其他存储设备中。

存储设备管理模块监控存储设备的运行状态。当系统中的存储设备运行出错(如存储设备中的硬盘被拔出，或者存储设备的网络连接中断)，存储设备管理模块执行错误隔离，保证错误的存储设备不影响其它正常的存储设备。当新的存储设备加入到系统中，存储设备管理模块可以在不中断业务的情况下，保存多媒体数据到新的存储设备中。

存储设备管理模块还可以根据元数据管理模块的指示，将经常访问的多媒体数据从低速的存储设备迁移到高速的存储设备，或者从某个负载比较高的存储设备迁移到其它负载较低的存储设备；同时将不经常访问的多媒体数据从高速磁盘迁移到低速磁盘。

存储设备管理模块收集存储设备的存储空间分配情况，并提供给元数据管理模块，以助于元数据管理模块在为数据分发单元写入多媒体数据分配合适的存储空间。

元数据管理模块在业务处理单元发起多媒体数据写入请求的时候，根据存储设备管理模块提供的存储设备的运行状态、负载情况，为此数据分配存储空间，并将此存储空间的地址组织成元数据返回给业务处理单元，并将此元数据记录到元数据仓库中。其中，所述的数据写入请求相当于前述的数据记录请求。

元数据管理模块在业务处理单元发起多媒体数据读取请求的时候，从元数据仓库中检索文件的元数据，然后将元数据返回给业务处理单元中的数据分发模块，或者直接转发给流化单元。其中，所述的数据读取请求相当于前述的数据流化请求。

除此之外，元数据管理模块还可以对多媒体数据设置锁，保证流化单元正在流化的多媒体数据不会被其它业务处理单元修改，并且可以包括业务处理单元正在修改的多媒体数据不会被其它业务处理单元修改或者流化单元访问。

元数据仓库可以是存储元数据的数据库或者本地文件系统。

业务处理单元33可以包括协议处理模块、数据分发模块和速率适配模块。

协议处理模块可以但不限于包括与用户交互网页协议的网页服务器(例如：HTTP(超文本传输协议，HyperText Transfer Protocol)服务器)，控制用户请求的多媒体数据在网络上传输的流媒体服务器(例如：RTSP(Real TimeStreaming Protocol，实时流传输协议)服务器)。同时，协议处理模块也负责与多媒体数据中心存储传输多媒体数据的协议处理(例如：FTP(FileTransfer Protocol，文件传输协议))。

数据分发模块在流化和记录多媒体数据过程中，向元数据服务单元请求此多媒体数据对应的元数据。在流化过程里，数据分发模块只是转发元数据给流化单元，不需要从存储设备中读出多媒体数据；而在记录过程中，数据分发模块根据元数据指示的存储地址，将数据写入存储设备中。

当用户向系统请求流化多媒体数据时，如播放某部电影，协议处理模块针对用户请求的数据解析出所在文件的路径，并通知数据分发模块启动多媒体数据读取过程。同时通知流化单元准备流化。数据分发模块提取用户请求的多媒体数据名称以及所在的路径，为流化单元完成控制信息的获取和验证，包括验证多媒体数据的路径是否合法，验证用户是否有权限访问此多媒体数据。上述验证通过后，数据分发模块请求元数据服务单元提供此多媒体数据的元数据。同时，数据分发模块通过速率适配模块选择一个合适的流化单元，并将元数据转发给流化单元，启动流化单元流化用户需要的多媒体数据。在此过程中，业务处理单元都不需要从存储设备中读取多媒体数据，而将访问存储设备的控制权交由流化单元。

当接收到多媒体数据存储中心传送过来的多媒体数据时，协议处理模块确定数据所在文件的路径，并通知数据分发模块启动多媒体数据记录过程。数据分发模块提取所要写入的多媒体数据名称以及所在的路径，并请求元数据服务单元为该文件分配存储空间，以及返回对应的元数据。数据分发模块根据元数据指示的存储地址，将多媒体数据写入存储设备中对应的存储地址上。

速率适配模块可以由业务触发或者定期通知流化单元上报状态属性，获得流化单元的运行状况，即流化单元是否能正常提供服务；负载情况，即流化单元当前提供的业务量。当数据分发模块获取到媒体文件的元数据之后，数据分发模块根据上述获得状态属性选择最合适的流化单元进行多媒体数据流化处理。

流化单元35可以包括数据获取模块、多媒体数据缓存和流化引擎。

数据获取模块在收到数据分发单元或者元数据服务单元提供的多媒体数据的元数据时，解析元数据并得到多媒体数据在存储设备上的地址，并根据解析得到的地址将多媒体数据读到多媒体数据缓存中，并通知多媒体流化引擎启动流化过程。数据获取模块可以根据多媒体数据缓存中空闲空间的大小和流化速度，控制读取多媒体数据的速度。

流化引擎根据业务处理单元提供的用户信息(用户IP地址、端口等)，与用户建立流化连接，并对缓存中的需要流化的多媒体数据进行编码，添加协议头部等，然后流化给用户。

流化单元也可以直接和元数据服务器交互，获取元数据信息，然后再向存储设备获取数据。

本发明中，流化单元可以是与元数据服务单元和数据分发单元不一样的系统(如FPGA(Field-Programmable Gate Array，即现场可编程门阵列))。

本发明实施例，流化系统中的元数据服务单元对元数据进行控制管理，流化系统中的流化单元对业务数据进行读取，通过将元数据服务单元和流化单元进行分离设置，从而使得具有管理功能的元数据服务单元以及具有数据读取功能的流化单元可以各自自由的伸展扩展，灵活性强，大大降低了对系统的扩展难度并节约了扩展成本；并且，在流化过程中，流化单元可以直接从存储设备中读取业务数据，在记录过程中，业务处理单元可以直接将业务数据写入存储设备中，由此可以避免业务数据在流化系统内部的迂回传递。

图4为本发明实施例提供的数据流化方法实施例一的流程图，如图4所示，该方法可以应用于图1-图3所示实施例提供的流化系统，该流化系统中包括的业务处理单元、元数据服务单元和流化单元通过内部总线相连；该方法可以包括：

步骤401、流化系统接收来自客户端的数据流化请求，并根据数据流化请求获取与待流化的业务数据对应的元数据。

元数据用于指示待流化的业务数据的存储地址。

步骤402、流化系统根据获取的与待流化的业务数据对应的元数据，从存储设备中获取对应的业务数据，并对获取的业务数据进行协议转换后，流化给客户端。

本实施例中流化系统进行数据流化的过程可以参见图1-图3所示实施例中的描述。

可见，本实施例提供的数据流化方法，可以应用在业务处理单元、元数据服务单元和流化单元通过内部总线相连的流化系统中，由于业务处理单元、元数据服务单元和流化单元分离设置，从而使得元数据管理功能设备和业务数据读取功能设备可以各自自由的伸展扩展，灵活性强，由此可以降低系统的扩展难度并节约系统扩展成本；并且，在流化过程中，流化单元可以直接从存储设备中读取业务数据，可以减少数据流的传输过程，由此可以避免业务数据在流化系统内部的迂回传递。

图5为本发明实施例提供的数据流化方法实施例二的流程图，本实施例基于图4所示的实施例，如图5所示，该方法包括：

步骤501、流化系统接收来自客户端的数据流化请求。

步骤502、流化系统在根据该数据流化请求获取与待流化的业务数据对应的元数据之前，将待流化的业务数据进行锁定，以使该待流化的业务数据处于不允许被修改的状态。

步骤503、流化系统根据数据流化请求获取与待流化的业务数据对应的元数据。

步骤504、流化系统根据获取的与待流化的业务数据对应的元数据，从存储设备中获取对应的业务数据，并对获取的业务数据进行协议转换后，流化给客户端。

其中，该方法还可以包括：步骤a和/或步骤b。

步骤a、流化系统监控用于存储业务数据的存储设备的运行状态；所述运行状态包括：运行是否正常、存储设备的增加或存储设备的删除。

步骤b、流化系统根据访问次数和运行负载，调整业务数据在存储设备中的存储位置，并修改被调整的业务数据对应的元数据。

流化系统根据访问次数和运行负载，调整数据在存储设备中的存储位置，并修改被调整的数据对应的元数据；也就是说，若某一数据被访问的次数较频繁，则流化系统为了适应该数据被频繁的访问，可以根据存储设备的运行状态适应性调整该数据的存储位置，在该数据的存储位置被调整后，适应性的修改该数据对应的元数据；或者，为了存储设备的负载均衡，流化系统也可以调整数据的存储位置，并在该数据的存储位置被调整后，适应性的修改该数据对应的元数据。

本实施例中流化系统进行数据流化的过程可以参见图1-图3所示实施例中的描述。

本实施例提供的数据流化方法，可以应用在业务处理单元、元数据服务单元和流化单元通过内部总线相连的流化系统中，由于业务处理单元、元数据服务单元和流化单元分离设置，从而使得元数据管理功能设备和业务数据读取功能设备可以各自自由的伸展扩展，灵活性强，由此可以降低系统的扩展难度并节约系统扩展成本；并且，在流化过程中，流化单元可以直接从存储设备中读取业务数据，可以减少数据流的传输过程，由此可以避免业务数据在流化系统内部的迂回传递。

图6为本发明实施例提供的数据记录方法实施例一的流程图，如图6所示，该方法可以应用于图1-图3所示实施例提供的流化系统，该流化系统中包括的业务处理单元、元数据服务单元和流化单元通过内部总线相连；该方法可以包括：

步骤601、流化系统接收待记录的业务数据，并获取该待记录的业务数据对应的元数据。

步骤602、流化系统根据获取的待记录的业务数据对应的元数据指示的存储地址，将待记录的业务数据记录在存储设备中。

本实施例中流化系统进行数据记录的过程可以参见图1-图3所示实施例中的描述。

本实施例提供的数据记录方法，可以应用在业务处理单元、元数据服务单元和流化单元通过内部总线相连的流化系统中，由于业务处理单元、元数据服务单元和流化单元分离设置，从而使得元数据管理功能设备和业务数据读取功能设备可以各自自由的伸展扩展，灵活性强，由此可以降低系统的扩展难度并节约系统扩展成本；并且，在记录过程中，业务处理单元直接将业务数据写入存储设备中，可以减少数据流的传输过程，由此可以避免业务数据在流化系统内部的迂回传递。

图7为本发明实施例提供的数据记录方法实施例二的流程图，本实施例基于图6所示的实施例，如图7所示，该方法包括：

步骤701、流化系统接收待记录的业务数据。

步骤702、流化系统获取待记录的业务数据对应的元数据之前，解析接收到的待记录的业务数据对应的文件路径，并对文件路径是否存在以及待记录的业务数据是否能够被修改进行检测；若文件路径存在，且待记录的业务数据能够被修改，则获取待记录的业务数据对应的元数据。

具体的，流化系统可以根据存储设备的运行状态，为所述待记录的业务数据分配存储空间，并将分配的所述存储空间的位置信息组成所述待记录的业务数据对应的元数据。

步骤703、流化系统根据获取的待记录的业务数据对应的元数据指示的存储地址，将待记录的业务数据记录在存储设备中。

本实施例中流化系统进行数据记录的过程可以参见图1-图3所示实施例中的描述。

本实施例提供的数据记录方法，可以应用在业务处理单元、元数据服务单元和流化单元通过内部总线相连的流化系统中，由于业务处理单元、元数据服务单元和流化单元分离设置，从而使得元数据管理功能设备和业务数据读取功能设备可以各自自由的伸展扩展，灵活性强，由此可以降低系统的扩展难度并节约系统扩展成本；并且，在记录过程中，业务处理单元直接将业务数据写入存储设备中，可以减少数据流的传输过程，由此可以避免业务数据在流化系统内部的迂回传递。

图8为本发明实施例提供的数据流化方法实施例三的流程图，如图8所示，该方法可以应用于图1-图3所示实施例提供的流化系统，该流化系统中包括的业务处理单元、元数据服务单元和流化单元通过内部网络相连；该方法包括：

步骤801、业务处理单元接收来自客户端的数据流化请求，并根据所述数据流化请求向元数据服务单元请求与待流化的业务数据对应的元数据。

步骤802、业务处理单元或者业务处理单元指示元数据服务单元将获取的与待流化的业务数据对应的元数据发送给流化单元，以使流化单元根据与待流化的业务数据对应的元数据，从存储设备中获取对应的业务数据，并对获取的业务数据进行协议转换后，流化给客户端。

本实施例中流化系统进行数据流化的过程可以参见图1-图3所示实施例中的描述。

本实施例提供的数据流化方法，可以应用在业务处理单元、元数据服务单元和流化单元通过内部网络相连的流化系统中，由于业务处理单元、元数据服务单元和流化单元分离设置，从而使得元数据管理功能设备和业务数据读取功能设备可以各自自由的伸展扩展，灵活性强，由此可以降低系统的扩展难度并节约系统扩展成本；并且，在流化过程中，流化单元直接从存储设备中读取业务数据，可以减少数据流的传输过程，由此可以避免业务数据在流化系统内部的迂回传递。

图9为本发明实施例提供的数据流化方法实施例四的流程图，本实施例基于图8所示的实施例，如图9所示，该方法可以应用于图1-图3所示实施例提供的流化系统，该流化系统中包括的业务处理单元、元数据服务单元和流化单元通过内部总线相连；该方法包括：

步骤901、业务处理单元接收来自客户端的数据流化请求，然后根据多个流化单元的状态属性，从多个流化单元中选择用于获取与数据流化请求对应的业务数据的流化单元。

其中，业务数据为多媒体数据；元数据包括业务数据的存储位置或业务数据的索引节点号。

步骤902、业务处理单元根据数据流化请求向元数据服务单元请求与待流化的业务数据对应的元数据。

步骤903、业务处理单元或者业务处理单元指示元数据服务单元将获取的与待流化的业务数据对应的元数据发送给流化单元。

步骤904、流化单元根据与待流化的业务数据对应的元数据，从存储设备中获取对应的业务数据，并对获取的所述业务数据进行协议转换后，流化给所述客户端。

本实施例提供的方法还可以包括数据记录的过程，即包括如下步骤：

步骤905、业务处理单元接收待记录的业务数据。

步骤906、业务处理单元解析接收到的待记录的业务数据对应的文件路径，并将解析得到的文件路径发送给所述元数据服务单元。

步骤907、元数据服务单元对文件路径是否存在以及待记录的业务数据是否能够被修改进行检测，并将检测结果返回给业务处理单元。

其中，所述的文件路径是指待记录的业务数据在被记录之前存储的位置信息，元数据服务单元要检测该文件路径中是否存储有待记录的业务数据。

步骤908、若文件路径存在，且待记录的业务数据能够被修改，则业务处理单元向元数据服务单元请求待记录的业务数据对应的元数据。

步骤909、业务处理单元根据元数据服务单元返回的待记录的业务数据对应的元数据指示的存储地址，将待记录的业务数据记录在存储设备中。

本实施例中流化系统进行数据流化的过程可以参见图1-图3所示实施例中的描述。

本实施例提供的数据流化方法，可以应用在业务处理单元、元数据服务单元和流化单元通过内部网络相连的流化系统中，由于业务处理单元、元数据服务单元和流化单元分离设置，从而使得元数据管理功能设备和业务数据读取功能设备可以各自自由的伸展扩展，灵活性强，由此可以降低系统的扩展难度并节约系统扩展成本；并且，在流化过程中，流化单元直接从存储设备中读取业务数据，在记录过程中，业务处理单元直接将业务数据写入存储设备中，可以减少数据流的传输过程，由此可以避免业务数据在流化系统内部的迂回传递。

图10为本发明实施例提供的数据流化方法实施例五的信令图，本发明可以应用于图1-图3任一所述实施例提供的流化系统，如图10所示，该方法以多媒体数据流化方法为例进行说明，该方法包括：

步骤1001、用户选定要播放的多媒体数据，并通过网络接口单元向元数据服务单元选定的业务处理单元中的网页服务器请求会话描述。

用户发送请求道网络接口单元，网络接口单元向元数据服务单元请求一业务处理单元来执行本次数据流化；元数据服务单元根据多个业务处理单元的状态，从中选择一个来执行本次的数据流化，并将选择的业务处理单元的标识发送给网络接口单元，以使网络接口单元向该业务处理单元中的网页服务器请求会话描述。

用户可以通过网页选定要播放的多媒体数据，该多媒体数据可以是视频数据或者音频数据。

步骤1002、业务处理单元为用户建立流媒体传输的会话描述，并在网页协议中返回给用户。

步骤1003、用户与业务处理单元中的流媒体服务器建立会话，并将用户的地址和端口号提供给业务处理单元。

步骤1004、在用户与业务处理单元连接建立之后，用户可以启动播放多媒体数据，即用户向业务处理单元发送数据访问请求，以请求要访问的多媒体数据。

步骤1005、业务处理单元接收到数据访问请求后，解析请求访问的多媒体数据所对应的文件路径，并启动流式传输过程。

步骤1006、业务处理单元和元数据服务单元交互，向元数据服务单元发送解析出的文件路径，以使元数据服务单元验证用户请求的多媒体数据在存储设备中是否存在；若存在，则执行以下步骤；若不存在，则从多媒体数据存储中心请求该多媒体数据，然后再执行以下步骤。

步骤1007、业务处理单元和元数据服务单元交互，由元数据服务单元验证该用户是否有权限访问该多媒体数据；如果有权限，元数据服务单元为用户设置文件同步锁，只允许该多媒体数据被其它用户读取，而不允许被其他用户修改，并执行以下步骤；如果没有权限，则停止执行本次的数据访问操作。

其中，本实施例并不限定步骤1006和步骤1007的先后顺序。

步骤1008、业务处理单元要求流化单元上报状态属性。其中状态属性包括流化单元的业务能力，负载情况，运行情况等。

步骤1009、流化单元根据业务处理单元的要求上报状态属性，或者流化单元定期向业务处理单元上报状态属性。

其中，若是流化单元定期向业务处理单元上报状态属性，则步骤1008可以省略。并且，本实施例并不限定步骤1008和步骤1009与本方法的其他步骤的先后关系，只要步骤1008和步骤1009在步骤1013之前即可。

步骤1010、业务处理单元根据各个流化单元的状态属性，从多个流化单元中选择一个适合的流化单元为用户流式传输多媒体数据。

步骤1011、业务处理单元向元数据服务单元请求用户请求访问的多媒体数据的元数据。

步骤1012、元数据服务单元从元数据仓库检索多媒体数据对应的元数据，并将检索到的元数据返回给业务处理单元。其中元数据仓库可以位于元数据服务单元中，用于存储元数据，元数据仓库也可以与数据一起存储在存储设备上。

步骤1013、业务处理单元通知步骤1010中选定的流化单元启动流式传输过程，并将从元数据服务单元获取的元数据发送给该流化单元，同时，业务处理单元还要将流化信息和流号告知该流化单元。其中流化信息可以包括用户的地址、端口号和会话号。

需要说明的是，在步骤1012和步骤1013中，元数据服务单元可以直接将元数据发送给业务处理单元选定的流化单元。

步骤1014、流化单元按照元数据指定的存储位置，从存储设备上读出多媒体数据，将多媒体数据以流的形式保存在缓存中，并且流化单元还可以对该多流媒体数据进行压缩。

其中，流化单元根据元数据读取多媒体数据时，如果元数据是多媒体数据在文件系统中的索引节点号，流化单元还需根据索引节点号计算出索引节点在存储设备上的位置，并读出索引节点，同时根据索引节点指示的存储位置，从存储设备上读出多媒体数据。

步骤1015、流化单元根据业务的带宽要求、延时要求等，将缓存中的多媒体数据流式传输给用户，其中，流式传输即所述的流化。

步骤1016、流化单元在完成多媒体数据流式传输的过程后，通知业务处理单元本流化过程完成。

步骤1017、用户在播放完成之后可以通知业务处理单元停止流化过程。

步骤1018、用户启动释放连接，业务处理单元释放与用户之间的会话。

本实施例是对多媒体数据流化过程(即流式传输过程)的详细描述，本实施例具有上述各实施例的优点。

图11为本发明实施例提供的数据记录方法实施例三的信令图，本发明可以应用于图1-图3任一所述实施例提供的流化系统，如图11所示，该方法以多媒体数据记录方法为例进行说明，该方法包括：

步骤1101、多媒体数据存储中心定期或者根据业务处理单元的请求，通过网络接口单元向元数据服务单元选定的业务处理单元传输多媒体数据。

多媒体数据存储中心向网络接口单元传输多媒体数据时，网络接口单元向元数据服务单元请求一业务处理单元来执行本次数据的记录；元数据服务单元根据多个业务处理单元的状态，从中选择一个来执行本次的数据记录，并将选择的业务处理单元的标识发送给网络接口单元，以使网络接口单元向该业务处理单元传输多媒体数据。

步骤1102、业务处理单元解析多媒体数据所对应的文件路径，启动记录过程。

步骤1103、业务处理单元和元数据服务单元交互，向元数据服务单元发送解析出的文件路径，以使元数据服务单元验证多媒体数据对应的文件路径是否存在，若存在，则执行以下步骤；若待记录的数据为待修改的数据，则还要向元数据服务单元验证该数据是否可以修改，若可以修改，则执行以下步骤。

步骤1104、业务处理单元和元数据服务单元交互，向元数据服务单元验证多媒体数据是否正在被流化，如果没有，元数据管理服务器设置文件同步锁，不允许此多媒体数据被用户访问或者其它业务处理单元修改，并执行以下步骤。其中，将该数据设置文件同步锁，是为了防止与其它用户的写入冲突。

其中，验证数据是否正在被流式传输时，该数据可以是被修改的数据，也可以是写入数据过程中已经被写入的数据。

步骤1105、业务处理单元向元数据服务单元请求该多媒体数据的元数据。

步骤1106、元数据服务单元根据存储设备的运行状态、负载情况和存储空间分配情况，为多媒体数据分配存储空间，并生成元数据。

步骤1107、元数据服务单元将元数据返回给业务处理单元。

步骤1108、业务处理单元根据元数据指示的存储位置，将多媒体数据直接写入存储设备中。

其中，当元数据是多媒体数据在文件系统上的索引节点号，业务处理单元还需要根据索引节点号计算出索引节点在存储设备上的位置，并读出索引节点，同时根据索引节点指示的存储位置，将多媒体数据写入存储设备。

步骤1109、业务处理单元通知多媒体数据中心存储记录过程完成。

本实施例是对多媒体数据记录过程的详细描述，本实施例具有上述各实施例的优点。

图12为本发明实施例提供的文件系统实施例一的示意图，如图12所示，该文件系统包括：元数据服务单元1201、数据读取单元1203和存储单元1205，其中元数据服务单元1201和数据读取单元1203之间通过通讯总线连接；数据读取单元1203为至少一个。

其中，本实施例中的通讯总线可以包括前述实施例中的内部总线。

存储单元1205用于存储文件数据和元数据，元数据用于指示所述文件数据的存储地址。关于元数据参见上述实施例中的描述。其中，文件数据和元数据可以存储在同一个存储单元中，也可以分开存储，例如元数据可以存储在元数据服务单元中的存储空间中；本实施例以文件数据和元数据都存储在一个存储单元中为例进行说明。

元数据服务单元1201用于根据文件访问请求，从存储单元1205中获取与文件访问请求对应的待访问文件数据的元数据。

数据读取单元1203用于通过通讯总线从元数据服务单元1201获得待访问文件数据的元数据，根据待访问文件数据的元数据指示的存储地址从存储单元1205获取对应的文件数据。

本发明实施例，文件系统中的元数据服务单元和数据读取单元之间通过通讯总线连接，具有对元数据进行控制管理功能的元数据服务单元和具有对文件数据进行读取功能的数据读取单元分离设置，并通过通讯总线连接，从而使得元数据管理功能设备和文件数据读取功能设备可以各自自由的伸展扩展，灵活性强，由此可以降低系统的扩展难度并节约系统扩展成本；并且，在数据读取过程中，数据读取单元直接从存储单元中读取文件数据，可以减少数据流的传输过程，由此可以避免文件数据在文件系统内部的迂回传递。

图13为本发明实施例提供的文件系统实施例二的示意图，在图12所示实施例的基础上，如图13所示，该文件系统还包括：业务处理单元1207；业务处理单元1207与元数据服务单元1201和数据读取单元1203之间也通过通讯总线连接。

业务处理单元1207用于接收来自客户端的文件访问请求，指示元数据服务单元1201获取待访问文件数据的元数据，并指示数据读取单元1203根据待访问文件数据的元数据指示的存储地址从存储单元1205获取对应的文件数据。

进一步的，业务处理单元1207还用于，在接收到来自客户端的文件访问请求之后，根据多个数据读取单元的状态属性，从多个数据读取单元中选择用于获取与文件访问请求对应的文件数据的数据读取单元。其中，数据读取单元可以为多个。

本发明实施例，文件系统中的元数据服务单元、数据读取单元和业务处理单元之间通过通讯总线连接，具有对元数据进行控制管理功能的元数据服务单元和具有对文件数据进行读取功能的数据读取单元、业务处理单元(业务处理单元在其他单元之间起主导调度作用)分离设置，并通过通讯总线连接，从而使得元数据管理功能设备和文件数据读取功能设备可以各自自由的伸展扩展，灵活性强，由此可以降低系统的扩展难度并节约系统扩展成本；并且，在数据读取过程中，数据读取单元直接从存储单元中读取文件数据，可以减少数据流的传输过程，由此可以避免文件数据在文件系统内部的迂回传递。

图14为本发明实施例提供的文件系统中的数据读取方法实施例一的流程图，该方法可以应用于图12或图13所示的文件系统中，如图14所示，该方法包括：

步骤1401、元数据服务单元根据文件访问请求获取待访问文件的元数据。

步骤1402、元数据服务单元通过通讯总线将获得待访问文件的元数据提供给数据读取单元，以使得通过通讯总线与元数据服务单元连接的数据读取单元并根据待访问文件的元数据指示的存储地址获取对应的文件数据。

本实施例提供的数据读取方法，可以应用在元数据服务单元和数据读取单元通过通讯总线相连的文件系统中，由于元数据服务单元和数据读取单元分离设置，从而使得元数据管理功能设备和业务数据读取功能设备可以各自自由的伸展扩展，灵活性强，由此可以降低系统的扩展难度并节约系统扩展成本；并且，在数据读取过程中，数据读取单元可以直接从存储单元中读取文件数据，可以减少数据流的传输过程，由此可以避免文件数据在文件系统内部的迂回传递。

图15为本发明实施例提供的文件系统中的数据读取方法实施例二的流程图，该方法可以应用于图13所示的文件系统中，本实施例基于图14所示的实施例，如图15所示，该方法包括：

步骤1501、业务处理单元接收来自客户端的所述文件访问请求，指示所述元数据服务单元获取待访问文件的元数据，并指示所述数据读取单元根据待访问文件的元数据指示的存储地址从存储单元获取对应的文件数据。

步骤1502、元数据服务单元根据业务处理单元的指示，从存储单元中获取待访问文件的元数据。

步骤1503、数据读取单元通过通讯总线从元数据服务单元获得待访问文件的元数据，并根据待访问文件的元数据指示的存储地址从存储单元获取对应的文件数据。

可见，本实施例提供的数据读取方法，可以应用在元数据服务单元、数据读取单元和业务处理单元通过通讯总线相连的文件系统中，由于元数据服务单元、数据读取单元和业务处理单元分离设置，从而使得元数据管理功能设备和文件数据读取功能设备可以各自自由的伸展扩展，灵活性强，由此可以降低系统的扩展难度并节约系统扩展成本；并且，在数据读取过程中，数据读取单元可以直接从存储单元中读取文件数据，可以减少数据流的传输过程，由此可以避免文件数据在文件系统内部的迂回传递。

图16为本发明实施例提供的分布式文件系统实施例一的示意图，如图16所示，该分布式文件系统包括：数据请求设备1601、元数据管理服务器1603和数据获取设备1605。

数据请求设备1601用于发起文件访问请求并将元数据管理服务器返回的待访问文件数据的元数据发送给数据获取设备；

元数据管理服务器1603用于根据所述数据请求设备1601发起的文件访问请求，获取待访问文件数据的元数据，并将所述待访问文件数据的元数据返回给所述数据请求设备；

数据获取设备1605用于根据所述数据请求设备1601发起的文件访问请求和所述待访问文件数据的元数据，从存储设备获取对应的文件数据。

本发明实施例，分布式文件系统中的数据请求设备、数据获取设备和元数据管理服务器之间可以通过通讯网络连接；具有对元数据进行控制管理功能的元数据管理服务器和具有对文件数据进行请求读取功能的数据请求设备、具有对文件数据进行读取功能的数据获取设备分离设置，并通过通讯网络连接，从而使得元数据管理功能设备和文件数据读取功能设备可以各自自由的伸展扩展，灵活性强，由此可以降低系统的扩展难度并节约系统扩展成本；并且，数据获取设备直接从存储设备中读取文件数据，可以减少数据流的传输过程，由此可以避免文件数据在流化系统内部的迂回传递。

图17为本发明实施例提供的用于分布式文件系统中的数据读取方法实施例一的流程图，本实施例可以应用于图16所示的分布式文件系统中，如图17所示，该方法包括：

步骤1701、数据请求设备发起文件访问请求，向所述元数据管理服务器获取待访问文件的元数据，并将获取的所述待访问文件的元数据发送给数据获取设备。

步骤1702、元数据管理服务器根据所述数据请求设备发起的文件访问请求，获取待访问文件的元数据，并将所述待访问文件的元数据发送给所述数据请求设备。

步骤1703、数据获取设备根据所述数据请求设备发送的文件访问请求和所述待访问文件的元数据，从存储设备获取对应的文件数据。

本实施例提供的数据读取方法，可以应用在数据请求设备、元数据管理服务器和数据获取设备通过通讯网络相连的分布式文件系统中，由于数据请求设备、元数据管理服务器和数据获取设备分离设置，从而使得元数据管理功能设备和文件数据读取功能设备可以各自自由的伸展扩展，灵活性强，由此可以降低系统的扩展难度并节约系统扩展成本；并且，在数据读取过程中，数据获取设备直接从存储设备中读取文件数据，可以减少数据流的传输过程，由此可以避免文件数据在流化系统内部的迂回传递。

图18为本发明实施例提供的用于分布式文件系统中的数据读取方法实施例二的信令图，本实施例可以应用于图16所示的分布式文件系统中，如图18所示，该方法可以包括：

步骤1801、请求发起应用程序向数据请求客户端发起读文件的系统调用。

其中，本实施例中的数据请求客户端相当于前述的数据请求设备，数据获取客户端相当于前述的数据获取设备。

步骤1802、数据请求客户端解析文件所在路径，验证请求有效性和请求者的权限后，请求元数据服务单元提供文件的存储位置信息。

其中，存储位置信息可以是文件元数据，存储设备号，存储位置等信息。

步骤1803、元数据服务单元检索文件的元数据，重组存储位置信息，并返回给数据请求客户端。

步骤1804、数据请求客户端通知数据获取客户端启动读文件，并告知文件的序号，存储设备号，存储位置。

其中，当有多个数据获取客户端时，数据请求客户端可以选择较空闲的数据获取客户端，

步骤1805、数据获取客户端向数据请求客户端指示的存储设备发起读文件请求，并从该存储设备中读取文件。

步骤1806、数据获取客户端读操作完成后将文件提交给数据使用应用程序，并通知数据请求客户端操作结果。

在另一种实施方式中，步骤1802-步骤1805可以由以下过程替换：

数据请求客户端解析文件所在路径，验证请求有效性和请求者的权限后，数据请求客户端向元数据服务单元获取文件索引号和文件所在存储设备号，并提供给数据获取客户端；其中，文件索引号指示文件的元数据在存储设备上的保存位置，可以是文件的Inode号；然后，数据获取客户端直接从存储设备上读出文件索引信息，并计算出文件的位置信息；之后数据获取客户端根据计算出的文件的位置信息，从存储设备中读取文件。

在另一种实施方式中，步骤1804-步骤1805可以由以下过程替换：

数据请求客户端请求数据获取客户端提供数据获取客户端缓存文件的地址；然后，数据请求客户端向存储设备发起读文件请求，但文件保存的地址为数据获取客户端的缓存地址；通过远程传输技术，存储设备将文件读到数据获取客户端的缓存地址中；其中，远程传输技术可以是RDMA(RemoteDirect Memory Access，远程直接内存存取)传输技术；该实施例方式中，数据请求客户端可以管理数据获取客户端的内存地址。

本实施例提供的数据读取方法，可以应用在数据请求设备、元数据管理服务器和数据获取设备通过通讯网络相连的分布式文件系统中，由于数据请求设备、元数据管理服务器和数据获取设备分离设置，从而使得元数据管理功能设备和文件数据读取功能设备可以各自自由的伸展扩展，灵活性强，由此可以降低系统的扩展难度并节约系统扩展成本；并且，在数据读取过程中，数据获取设备直接从存储设备中读取文件数据，可以减少数据流的传输过程，由此可以避免文件数据在流化系统内部的迂回传递。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (22)

1.一种流化系统，其特征在于，包括：元数据服务单元、至少一个业务处理单元、及至少一个流化单元，其中，所述业务处理单元、所述元数据服务单元、所述流化单元与存储设备之间通过内部总线或内部网络连接；

所述业务处理单元用于接收来自客户端的数据流化请求，并根据所述数据流化请求向所述元数据服务单元请求与待流化的业务数据对应的元数据；

所述元数据服务单元用于根据所述业务处理单元的请求，获取与所述待流化的业务数据对应的元数据，所述元数据用于指示待流化的业务数据的存储地址；

所述流化单元用于根据所述元数据服务单元或者所述业务处理单元提供的与所述待流化的业务数据对应的元数据，从所述存储设备中获取对应的业务数据，并对获取的所述业务数据进行协议转换后，流化给所述客户端。

2.根据权利要求1所述的流化系统，其特征在于：

所述至少一个流化单元为多个流化单元；所述业务处理单元，还用于在接收到来自客户端的数据流化请求之后，根据所述多个流化单元的状态属性，从所述多个流化单元中选择用于获取与所述数据流化请求对应的业务数据的流化单元。

3.根据权利要求1所述的流化系统，其特征在于，所述业务数据为多媒体数据；所述元数据包括业务数据的存储位置或业务数据的索引节点号。

4.根据权利要求1-3任一所述的流化系统，其特征在于：

所述元数据服务单元还用于，在接收所述业务处理单元的请求之后，将与所述请求对应的业务数据进行锁定，以使所述请求对应的业务数据处于不允许被修改的状态；和/或

所述元数据服务单元还用于，监控用于存储业务数据的存储设备的运行状态；所述运行状态包括：运行是否正常、存储设备的增加或存储设备的删除；和/或

所述元数据服务单元还用于，根据访问次数和运行负载，调整业务数据在所述存储设备中的存储位置，并修改被调整的业务数据对应的元数据；和/或

所述至少一个业务处理单元为多个业务处理单元，所述元数据服务单元还用于，在接收所述业务处理单元的请求之前，根据所述多个业务处理单元的状态属性，从所述多个业务处理单元中选择用于接收客户端的数据流化请求的业务处理单元。

5.根据权利要求1所述的流化系统，其特征在于：

所述业务处理单元还用于，接收待记录的业务数据，并向所述元数据服务单元请求所述待记录的业务数据对应的元数据；

所述元数据服务单元还用于：获取与所述待记录的业务数据对应的元数据，所述元数据用于指示待记录的业务数据的存储地址；

所述业务处理单元还用于，根据所述元数据服务单元发送的所述待记录的业务数据对应的元数据指示的存储地址，将所述待记录的业务数据记录在所述存储设备中。

6.根据权利要求5所述的流化系统，其特征在于：

所述业务处理单元还用于，向所述元数据服务单元请求所述待记录的业务数据对应的元数据之前，解析接收到的所述待记录的业务数据对应的文件路径，并将解析得到的所述文件路径发送给所述元数据服务单元，所述元数据服务单元用于对所述文件路径是否存在以及所述待记录的业务数据是否能够被修改进行检测；若所述文件路径存在，且所述待记录的业务数据能够被修改，则所述业务处理单元向所述元数据服务单元请求所述待记录的业务数据对应的元数据。

7.根据权利要求5所述的流化系统，其特征在于：

所述元数据服务单元还用于，根据所述存储设备的运行状态，为所述待记录的业务数据分配存储空间，并将分配的所述存储空间的位置信息组成所述待记录的业务数据对应的元数据。

8.根据权利要求7所述的流化系统，其特征在于：

所述元数据服务单元还用于，向所述业务处理单元返回与所述待记录的业务数据对应的元数据之前，将所述待记录的业务数据进行锁定，以使所述待记录的业务数据处于不允许被其他业务处理单元修改和访问的状态，其他业务处理单元为除了当前接收所述待记录的业务数据的业务处理单元以外的业务处理单元。

9.根据权利要求5-8任一所述的流化系统，其特征在于：

所述至少一个业务处理单元为多个业务处理单元，所述元数据服务单元还用于，根据所述多个业务处理单元的状态属性，从所述多个业务处理单元中选择用于接收所述待记录的业务数据的业务处理单元。

10.一种文件系统，其特征在于，包括：元数据服务单元、至少一个数据读取单元、和存储单元，所述元数据服务单元和所述数据读取单元之间通过通讯总线连接；

所述存储单元，用于存储文件数据和元数据，所述元数据用于指示所述文件数据的存储地址；

所述元数据服务单元，用于根据文件访问请求，从所述存储单元中获取与所述文件访问请求对应的待访问文件数据的元数据；

所述数据读取单元，用于通过所述通讯总线从所述元数据服务单元获得待访问文件数据的元数据，根据所述待访问文件数据的元数据指示的存储地址从所述存储单元获取对应的文件数据。

11.根据权利要求10所述的文件系统，其特征在于，还包括：

业务处理单元，用于接收来自客户端的所述文件访问请求，指示所述元数据服务单元获取所述待访问文件数据的元数据，并指示所述数据读取单元根据所述待访问文件数据的元数据指示的存储地址从所述存储单元获取对应的文件数据。

12.根据权利要求11所述的文件系统，其特征在于：

所述至少一个数据读取单元为多个数据读取单元，所述业务处理单元还用于，在接收到来自客户端的文件访问请求之后，根据所述多个数据读取单元的状态属性，从所述多个数据读取单元中选择用于获取与所述文件访问请求对应的文件数据的数据读取单元。

13.一种分布式文件系统，其特征在于，包括：数据请求设备、数据获取设备和元数据管理服务器，其中：

所述数据请求设备，用于发起文件访问请求并将所述元数据管理服务器返回的待访问文件数据的元数据发送给数据获取设备；

所述元数据管理服务器，用于根据所述数据请求设备发起的文件访问请求，获取待访问文件数据的元数据，并将所述待访问文件数据的元数据返回给所述数据请求设备；

所述数据获取设备，用于根据所述数据请求设备发起的文件访问请求和所述待访问文件数据的元数据，从存储设备获取对应的文件数据。

14.一种数据流化方法，其特征在于，包括：

接收来自客户端的数据流化请求，并根据所述数据流化请求获取与待流化的业务数据对应的元数据，所述元数据用于指示待流化的业务数据的存储地址；

根据获取的与所述待流化的业务数据对应的元数据，从存储设备中获取对应的业务数据，并对获取的所述业务数据进行协议转换后，流化给所述客户端。

15.根据权利要求14所述的方法，其特征在于，还包括：

在所述根据所述数据流化请求获取与待流化的业务数据对应的元数据之前，将所述待流化的业务数据进行锁定，以使所述待流化的业务数据处于不允许被修改的状态；和/或

监控用于存储业务数据的存储设备的运行状态；所述运行状态包括：运行是否正常、存储设备的增加或存储设备的删除；和/或

根据访问次数和运行负载，调整业务数据在存储设备中的存储位置，并修改被调整的业务数据对应的元数据。

16.一种数据记录方法，其特征在于，包括：

接收待记录的业务数据，并获取所述待记录的业务数据对应的元数据；

根据获取的所述待记录的业务数据对应的元数据指示的存储地址，将所述待记录的业务数据记录在存储设备中。

17.根据权利要求16所述的方法，其特征在于，还包括：

所述获取所述待记录的业务数据对应的元数据之前，解析接收到的所述待记录的业务数据对应的文件路径，并对所述文件路径是否存在以及所述待记录的业务数据是否能够被修改进行检测；若所述文件路径存在，且所述待记录的业务数据能够被修改，则获取所述待记录的业务数据对应的元数据。

18.根据权利要求16所述的方法，其特征在于，所述获取所述待记录的业务数据对应的元数据包括：

根据存储设备的运行状态，为所述待记录的业务数据分配存储空间，并将分配的所述存储空间的位置信息组成所述待记录的业务数据对应的元数据。

19.一种数据流化方法，其特征在于，包括：

业务处理单元接收来自客户端的数据流化请求，并根据所述数据流化请求向通过内部网络连接的元数据服务单元请求与待流化的业务数据对应的元数据；

所述业务处理单元或者所述业务处理单元指示所述元数据服务单元将获取的所述与待流化的业务数据对应的元数据发送给通过内部网络连接的流化单元，以使所述流化单元根据所述与待流化的业务数据对应的元数据，从存储设备中获取对应的业务数据，并对获取的所述业务数据进行协议转换后，流化给所述客户端。

20.根据权利要求19所述的方法，其特征在于，所述业务数据为多媒体数据；所述元数据包括业务数据的存储位置或业务数据的索引节点号。

21.根据权利要求19所述的方法，其特征在于，还包括：

所述业务处理单元接收待记录的业务数据，向通过内部网络连接的所述元数据服务单元请求所述待记录的业务数据对应的元数据；并根据所述元数据服务单元发送的所述待记录的业务数据对应的元数据指示的存储地址，将所述待记录的业务数据记录在所述存储设备中。

22.一种文件系统中的数据读取方法，其特征在于，包括：

元数据服务单元根据文件访问请求获取待访问文件的元数据；

元数据服务单元通过通讯总线将所述获得待访问文件的元数据提供给数据读取单元以使得，通过所述通讯总线与元数据服务单元连接的数据读取单元根据所述待访问文件的元数据指示的存储地址获取对应的文件数据。

Images