CN101291346B - 一种网格文件处理方法及其处理设备 - Google Patents

Abstract

本发明提供一种用于处理网格文件系统中文件的方法，包括：网格文件系统根据网格用户的身份信息GUInfo获取用于表示所述主机用户文件挂载点信息NStruc的元数据；网格文件系统进行初始化操作，构造元数据表；根据文件操作命令，通过虚拟路径转换确定文件以及文件所在的主机用户文件挂载点；根据元数据表中的信息，将网格用户映射到文件所在主机用户文件挂载点上的主机用户nU；主机根据所述主机用户nU所提交的文件操作命令查找对应的主机文件；根据文件操作命令处理主机文件。本发明通过对网格文件的虚拟化表示和面向网格用户的设计，屏蔽了不同主机和/或不同文件系统的差异，在不需对主机文件系统进行修改的情况下提供方便、统一的网格文件处理操作。

Description

一种网格文件处理方法及其处理设备

技术领域

本发明涉及网格计算领域，特别涉及网格计算领域中的简单网格文件系统。 

背景技术

网格计算(Grid computing)是利用互联网技术，把分散在不同地理位置的计算机组成一台虚拟超级计算机，每一台参与的计算机就是其中的一个“节点”，所有的计算机组成了一张节点网——网格。采用网格计算方式组成的计算机系统具有计算能力强、费用低的优点。 

在网格计算环境中的各个节点上都采用文件系统实现对文件数据的管理。节点中的现有文件系统是存储数据的一种方法，采用分层目录的结构来存储文件，由一个根目录和许多子目录文件组成，由此形成一个大型的树形结构，它是文件、目录和其他数据结构的集合。由于现有节点中的一个文件系统是建立在一个逻辑卷上，其所有目录和文件都保存在这个逻辑卷中，所以文件系统的大小不可以超过该逻辑卷。 

但在网格计算系统中实现大型科学计算、信息服务或数字媒体应用等服务时，需要对系统中的文件进行处理，在这一处理过程中，不可避免地需要将文件在节点与用户间进行传输。在常见的计算环境下，已经存在多种文件传输协议，FTP是其中较为典型的一种。将FTP协议应用在网格计算环境中时，由于在网格计算环境下传输或存取文件时，对安全认证、完整性检查、健壮性以及保密性等方面的要求，现有的FTP协议无法直接在网格计算环境下使用，因此，本领域的技术人员提出了适用于网格计算环境的相关传输协议，如Globus项目组开发的GridFTP，美国国家科学基金会(NSF)支持的TeraGrid的项目等。 

但是采用上述协议实现网格计算环境中的文件传输时，由于前述节点文件系统本身结构的特点，使得文件传输过程仍然存在着操作不便的问题。举例来说，在图1所示的一个网格计算环境中，包含有A、B、C三个节点，在对指定服务器上的文件进行操作时，由于采用上述协议的FTP客户端首先要 求用户通过指定的URL使用一个主机帐号或者采用匿名身分登录，然后才能够访问服务器上的文件。因此，如果一个网格用户分别需要对三个节点上的文件进行传输，则他需要分别以用户a、b、c的身份分别登录三个节点，然后才能完成后续的操作。这一过程就需要网格用户记住每个服务器的地址和端口号，并且一次只能登录一台服务器，浏览一个站点上的文件，这在实际操作中显然是十分不便的。造成上述不便的原因在于缺少面向网格用户的文件系统抽象描述。 

发明内容

本发明的目的是克服现有的网格计算环境在对文件进行操作时，对于在不同节点上的文件需要多次登录、操作不便的缺陷，从而提供一种在相应的网格文件系统上进行文件处理的方法。 

为了实现上述目的，本发明提供了一种用于处理网格文件系统中文件的方法，所述的网格文件系统的定义包括用于指定文件系统根gRoot和网格描述信息的GR、用于表示网格用户身份信息的GUInfo，以及用于表示主机用户文件挂载点结构信息的NStruc；其中，所述的主机用户文件挂载点结构信息NStruc包括用于表示主机用户文件挂载点的逻辑标识符nLid、用于描述资源地址的统一资源定位符URL、用于表示网格用户可访问的一组主机文件路径nP、以及用于指定主机用户信息的结构nU； 

所述方法包括以下步骤： 

步骤1)、网格文件系统根据所述的网格用户的身份信息GUInfo获取与网格用户相关的用于表示所述主机用户文件挂载点信息NStruc的元数据； 

步骤2)、网格文件系统进行初始化操作，根据所述的NStruc元数据构造元数据表； 

步骤3)、根据网格用户发出的文件操作命令，通过虚拟路径转换确定文件以及文件所在的主机用户文件挂载点； 

所述虚拟路径包括文件系统根gRoot、用于表示主机用户文件挂载点的逻辑标识符nLid、主机文件路径nPath；所述主机文件路径nPath由用于表示网格用户可访问的一组主机文件路径nP中得到； 

步骤4)、根据所述元数据表中的信息，将网格用户映射到文件所在主机用户文件挂载点上的主机用户nU； 

步骤5)、主机根据所述主机用户nU所提交的文件操作命令查找对应的主机文件； 

步骤6)、根据文件操作命令处理主机文件。 

上述技术方案中，所述的网格用户的身份信息包括用于指示网格用户所在社区标识agoraID、用于区别用户的用户标识guID以及用于指明身份授权类型的authType。 

上述技术方案中，所述的主机用户文件挂载点信息还包括用于表示主机用户文件挂载点描述信息的nDesc。 

上述技术方案中，所述的统一资源定位符URL包括用于指定传输协议类别的nPt；用于指定主机地址的nHost；用于指定协议端口号的nPort。 

上述技术方案中，所述的nU包括用于表示主机用户名的nUser；用于表示主机用户密码的nPass；用于表示主机用户文件挂载点的主目录路径的nHome。 

上述技术方案中，所述的文件操作命令包括创建文件目录命令、上传文件命令、下载文件命令、删除文件命令、改变文件权限命令。 

本发明还提供了一种用于实现所述文件处理方法的设备，包括：位于客户端的用于实现文件处理的网格文件管理工具，用于管理全网格文件系统元数据的元数据服务；所述的网格文件管理工具通过网络分别连接到所述的元数据服务和用于存储各种文件的服务器； 

所述的网格文件管理工具包括：操作命令输入模块、文件视图模块、安全管理接口、操作命令处理模块、挂载点、元数据表初始化模块、元数据服务调用模块、返回数据处理模块、异常处理模块、数据/控制通道；其中， 

所述的元数据服务调用模块通过所述的安全管理接口从所述的元数据服务获取与网格用户相关的用于表示所述主机用户文件挂载点信息NStruc的元数据； 

所述的元数据表初始化模块进行网格文件系统的初始化操作，根据所述的NStruc元数据构造元数据表； 

所述的操作命令输入模块从网格用户接收文件操作命令后，由所述的操作命令处理模块根据所述的文件操作命令，通过虚拟路径转换确定文件以及文件所在的主机用户文件挂载点； 

所述的挂载点根据所述的文件操作命令查找主机文件，然后对所述主机文件进行处理，在处理过程中，通过所述的数据/控制通道与文件所在的服 务器进行数据交换。 

本发明的优点在于： 

1、本发明在现有网格计算环境的基础上，通过对网格文件的虚拟化表示和面向网格用户的设计，屏蔽了不同主机和/或不同文件系统的差异，在不需对主机文件系统进行修改的情况下提供方便、统一的网格文件处理操作。 

2、本发明通过系统的抽象描述使得网格文件系统具有了URL中立性，网格用户相关性，挂载点的动态性等特点。 

3、本发明通过网格文件系统元数据表示与XML语法的绑定，统一了系统间进行元数据内容交换和自动处理。 

4、本发明基于网格用户身份的唯一性实现了以用户为中心的文件处理，网格用户可在任一有效登录点上处理其可访问文件，它不依赖于特定的主机物理挂载点目录存在。 

附图说明

以下，结合附图来详细说明本发明的实施例，其中： 

图1为现有的网格计算环境的结构示意图； 

图2为本发明所涉及的网格文件系统在一个实施例中的示例图； 

图3为本发明所涉及的网格文件系统的示意图； 

图4为本发明的文件处理设备的结构图； 

图5为本发明的网格文件处理方法的流程图。 

具体实施方式

下面结合附图和具体实施方式对本发明作进一步说明。 

本发明的简单网格文件系统(SGFS)的实质是对网格计算环境中所涉及的文件以及相关信息进行抽象，通过对它们的重新定义，提供了一种在全局命名空间中访问网格文件的方法。因此，我们首先对文件系统的相关定义进行说明。在定义前，对其中所涉及的相关概念进行说明。 

主机用户：在多用户多任务分时操作系统中，通过登录允许合法使用主机系统资源的用户。 

网格用户：用于登录一个网格系统并能够合法使用网格资源的用户。 

主机文件：受主机文件系统管理的文件。 

元数据服务：提供对全网格文件系统元数据进行管理的服务。 

在上述定义中，主机用户通常受限于特定的主机，即一个主机用户只能在一个主机上登录；网格用户则与主机不存在直接关联，它是对所有主机用户的抽象。 

在上述概念的基础上，参考图3，对本发明所涉及的网格文件系统做如下定义： 

$\mathrm{SGFS}=<\mathrm{GR},\mathrm{GUInfo},\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{NStruct}}_i>,$ 其中， 

GR＝<gRoot，gDesc>，它用于指定SGFS的根(gRoot)和网格描述信息(gDesc)； 

GUInfo＝<agoraID，guID，authType>，它用于表示网格用户身份信息，具体的，该信息用于指示网格用户所在社区标识(agoraID)，用户标识(guID)和身份授权类型(authType)； 

NStruc＝<nLid，nP，URL，nU，nDesc>，它用于指定主机用户文件挂载点结构信息。在本发明中，主机用户文件挂载点是指网格用户进入文件系统的一个入口点，它所包含的具体信息的含义如下： 

--nLid为主机用户文件挂载点的逻辑标识符，代表系统的根下的主机用户文件挂载点，对于一个网格用户而言，一个nLid取值在<gRoot>下是唯一的。 

--nP为一组网格用户可访问的主机文件路径。当nP为空时，访问路径不受限制，当nP不为空时，nP的值表示了网格用户允许访问的主机文件路径。 

--URL＝<nPt，nHst，nPort>，其中 

--nPt为传输协议，如ftp，gridftp等，也可以是其它类型的传输协议，具体所采用的传输协议根据实际应用情况而定； 

--nHost为主机地址； 

--nPort为协议端口号； 

--nU＝<nUser，nPass，nHome>，用于指定主机用户信息的结构，包括： 

--nUser为对应的主机用户名， 

--nPass为用户密码(可为空)， 

--nHome为对应主机用户文件挂载点的主目录路径(可为空)， 

--nDesc为主机用户文件挂载点描述信息， 

上述各个n为主机用户文件挂载点数。 

通过简单网格文件系统的上述定义，对于网络计算环境下的任一有效的网格用户，都可以通过<gRoot>，<nLid>和主机文件路径<nPath>的形式确定网格虚拟路径(vPath)。其中，当<nP>不为空时，主机文件路径<nPath>属于<nP>，否则，<nPath>为可访问的主机文件路径。即： 例如，对于一个虚拟路径CNG/SZ/home/c，其中的CNG和SZ分别代表SGFS的根和挂载点逻辑标识符，/home/c为主机用户的目录。通过上述确定的网格虚拟路径，可实现对显式URL(例如：ftp://159.226.39.25/)的屏蔽，从而为网格用户提供了更为简单方便的网格文件操作方式。此外，由于网格虚拟路径不会因为可能的URL的变更而改变，因而保证了在虚拟层面上网格文件访问的一致性。 

按照上述定义的简单网格文件系统中，对网格文件(gFile)的访问控制权限(gAC)的控制由网格用户(gu)及其映射的全部主机用户(nu)共同完成。可采用以下逻辑表达式表示： 

简单网格文件系统的上述结构以元数据的形式进行表示，所述的元数据则可以用XML的形式表示。将元数据表示与XML语法相绑定使得系统间可以通过元数据服务的方式进行数据内容交换和自动处理，而不再依赖于具体的编程语言。元数据服务能够为全网格中的任一网格用户提供网格文件系统元数据。它以基于关系数据库的存储方式管理所有网格文件系统元数据，从而提供必要的元数据添加、更改、查询、删除等操作。 

参考图5，在根据上述结构所得到的网格文件系统中进行文件处理的方法具体包括以下步骤： 

步骤10、网格用户登录网格系统，网格系统中的网格文件系统根据网格用户的身份信息GUInfo从元数据服务获取与网格用户相关的主机用户文件挂载点信息的元数据。 

网格用户在登录网格系统的过程中，需要输入网格用户的身份信息以进行认证，这些身份信息直接为网格文件系统所用，进而获得主机用户文件挂载点信息。对于不同的网格用户而言，它们所对应的网格文件系统可能会因为用户权限等原因而存在差异，因此，不同网格用户所得到的主机用户文件挂载点也可能存在差异。 

步骤20、网格文件系统进行初始化操作，在初始化的过程中，根据步骤10所获得的主机用户文件挂载点信息的元数据构造与网格用户相关的元数 据表。 

在前一步骤中，网格用户所获得的主机用户文件挂载点信息是以诸如XML的元数据格式表示的，在本步骤中，将元数据用表格的形式进行表示，在元数据表中，可以知道网格文件系统中至少主机用户文件挂载点一级的信息。 

步骤30、网格用户发出文件操作命令，通过虚拟路径转换确定所要处理的文件。在本步骤中所涉及的文件操作命令可以是各种类型的文件操作命令，例如创建文件目录、上传文件、下载文件、删除文件、改变文件权限。 

步骤40、根据网格用户所要处理的文件，确定文件所在的主机用户文件挂载点，然后将网格用户映射到主机用户文件挂载点上相应的主机用户。在网格用户映射到主机用户的过程中，需要对网格用户的授权进行验证，只有拥有合法权限的网格用户才能映射到主机用户。 

步骤50、主机根据主机用户所提交的主机文件路径，实现网格虚拟路径到URL的转换，从而查找到对应的文件。在本步骤中，主机系统需要使用其自身的局部访问控制机制对文件访问进行再次验证，只有通过这两步验证才能对该文件进行访问。 

步骤60、根据文件操作命令处理主机文件，实现在网格环境下文件的处理操作。具体的处理操作类型根据网格用户所发出的文件操作命令而定，在主机中对文件的具体操作过程与现有技术不存在差别，此处不再进行详细说明。 

下面结合一个具体的实例，对所述的网格文件系统以及对网格文件系统中文件的处理过程进行说明。 

仍以图1中的网格计算环境为例，从图1中可以看出，该网格计算环境中有A、B、C三个节点，对应有a、b、c三个主机用户，现在如图2所示，假设在节点A上用户a主目录(Home)有文件1、2，在节点B上用户b主目录有文件3，在节点C上用户c主目录有文件4、5、6。对于一个网格用户d，在该网格计算环境上建立网格文件系统时，GR中的gRoot为“X”，gDesc为“网格文件系统根目录”。 

假设网格用户d在节点A注册到该文件系统，相应的网格用户信息GUinfo中的agoraID为“X-A”，guID为“d”，authType为“u/p”(基于用户名和密码的登录方式) 

完成对用户基本信息处理后，构造与用户相关的挂载点。在该网格文件系统中，由于有a、b、c三个主机用户，因此也可以得到三个相应的挂载点。在这些挂载点中，假设对应主机A、B、C的nLid分别为“BJ”、“SH”、“SZ”，为了描述方便，设nP为空，在URL中，nPt都为FTP协议，nHost分别为“BJ.X”、“SH.X”、“SZ.X”，nPort都为“21”，在nU中，nUser分别为a、b、c，nPass可由用户设定，nHome分别为“/home/a”、“/home/b”、“/home/c”。nDesc分别为“aHome”、“bHome”、“cHome”。

在上述的简单网格文件系统中，对于网格用户d，若其要访问位于节点A上的文件1，可确定相应的挂载点为“BJ”，进而得到该文件的访问路径为X/BJ/home/a/1。将该访问路径转换为URL路径后，即可实现对文件的访问。如果用户需要与主机间进行与文件相关的数据传输，则通过主机BJ.X的端口21，采用nPt中所设定的FTP协议进行数据的传输。 

上述实例中，网格用户d通过节点A注册到网格文件系统中，若该网格用户通过节点B注册到网格文件系统中，再对各个节点上的文件进行访问时，文件的访问路径不会发生变化。例如，当网格用户要访问节点A上的文件1时，由于gRoot作为简单文件系统的根不变，与网格用户相关的主机用户文件挂载点nLid不变，在挂载点中的文件1的路径不变，因此，对位于节点A上的文件1的访问路径仍然是X/BJ/home/a/1，不会因为网格用户d是在节点B上注册到网格文件系统中的而有所改变。对于网格用户d要访问简单网格文件系统中的其他文件的情况，也同样如此。 

在前面的说明中还已经提到，对网格文件(gFile)的访问控制权限(gAC)的控制由网格用户(gu)及其映射的全部主机用户(nu)共同完成。以位于节点C上的文件4、5、6为例。假设对于主机用户c，它只能访问文件4、5、6中的4、5，网格用户d在主机用户c所能访问的文件4、5的基础上还可以做进一步的限定(假设此时nP不为空)，使得网格用户d最终只能访问文件4。 

以上是对网格文件系统以及用户如何对网格文件系统中的文件进行处理所做的说明，下面对网格计算环境中要实现上述的网格文件系统所需要的相关设备进行说明。 

如图4所示，网格计算环境中包括有位于客户端的网格文件管理工具，用于存储全网格文件系统元数据的元数据服务，以及用于存储各种文件的服务器。 

对网格文件系统中各种文件的操作主要由网格文件管理工具实现，它包 括以下模块：操作命令输入模块21、文件视图模块22、安全管理接口23、操作命令处理模块28、挂载点29、元数据表初始化模块26、元数据服务调用模块27、返回数据处理模块32、异常处理模块33、FTP控制通道30以及FTP数据通道31。 

操作命令输入模块21用于接收来自网格用户的命令，而操作命令处理模块28则用于处理从网格用户所接收到的操作命令，如挂载/卸载(mount/umount)，全局列表(gls)，创建/删除目录(mkdir/rmdir)，修改权限(chmod)等命令。 

文件视图模块22用于向网格用户显示文件信息。例如，当操作命令处理模块28对所接收到的全局列表命令进行处理后，通过文件视图模块22显示以下内容：(1)指定网格文件系统根下的挂载点信息；(2)指定网格文件系统根和逻辑标识符下的主机用户主目录信息；(3)网格文件系统元数据和主机文件列表组合信息。 

元数据表初始化模块26的作用是完成对网格用户的文件系统初始化。该初始化过程需要安全管理接口23、元数据服务调用模块27的配合以共同完成。这一初始化过程主要包括：通过安全管理接口23获取网格用户信息，元数据服务调用模块27基于当前网格用户身份发送SGFS元数据请求，从元数据服务器24获得SGFS的XML文档，分析并处理相关的XML数据结构，从而构造当前网格用户的SGFS元数据列表。 

挂载点29存在多种类型的挂载点，包括：本地、远端、源(文件)、目标(目录)和临时挂载点。对于一个网格用户而言，本地挂载点/远程挂载点用于挂载当前默认本地/远程主机用户主目录。源/目的挂载点用于指定文件传输/操作过程中非默认的主机用户主目录。临时挂载点用于按序自动地浏览/列表不同挂载点上的网格文件。源挂载点，目的挂载点和临时挂载点在网格文件操作过程中是动态挂载的。这些挂载点的存在，一方面支持URL中立的网格文件处理；另一方面保证在一个相关网格文件/目录的操作不必频繁更改默认的本地挂载点和远程挂载点。 

无论是上述何种类型的挂载点，其所包含的基本相类似，包括：授权类型(authType)，网格用户ID(guID)，社区ID(agoraID)，协议、地址和端口信息(URL)，网格文件系统根(gRoot)，逻辑标识符(nLid)，挂载站点的Home路径(nHome)。在表1中给出了一个示例性的表示。 

authType	guID	agoraID	URL	gRoot/nLid/nHome
					u/p	d	X-A	[Ftp SZ.X 21]	X/SZ/home/c

表1 

其中：u/p代表基于主机用户和密码的访问控制。在SGFS中，一个挂载点的显示信息是以列表头形式单独出现在主机文件列表前。 

异常处理模块33的作用是对异常进行处理，所述的异常例如：非法用户、非法命令，元数据服务失效、身份验证失败、超时错误、连接失败，访问权限限制、非法路径等。 

FTP控制通道30用于传输FTP控制命令。 

FTP数据通道31用于传输数据。 

利用上述的网格文件管理工具的上述各个功能模块，可实现文件访问操作中的相关步骤。例如，在网格用户的网格文件系统初始化的过程中，网格文件管理工具中的元数据服务调用模块27通过安全管理接口23从元数据服务器24获取该网格用户的元数据；然后将所得到的网格用户的元数据存储在元数据表初始化模块26中，以供其它模块的查询需要。 

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。 

Claims (3)

1.一种用于处理网格文件系统中文件的方法，所述的网格文件系统的定义包括用于指定文件系统根gRoot和网格描述信息的GR、用于表示网格用户身份信息的GUInfo，以及用于表示主机用户文件挂载点结构信息的NStruc；其中，所述的主机用户文件挂载点结构信息NStruc包括用于表示主机用户文件挂载点的逻辑标识符nLid、用于描述资源地址的统一资源定位符URL、用于表示网格用户可访问的一组主机文件路径nP、以及用于指定主机用户信息的结构nU；

所述方法包括以下步骤：

步骤1)、网格文件系统根据所述的网格用户的身份信息GUInfo获取与网格用户相关的用于表示所述主机用户文件挂载点信息NStruc的元数据；

步骤2)、网格文件系统进行初始化操作，根据所述的NStruc元数据构造元数据表；

步骤3)、根据网格用户发出的文件操作命令，通过虚拟路径转换确定文件以及文件所在的主机用户文件挂载点；所述虚拟路径包括文件系统根gRoot、用于表示主机用户文件挂载点的逻辑标识符nLid、主机文件路径nPath；所述主机文件路径nPath由用于表示网格用户可访问的一组主机文件路径nP中得到；

步骤4)、根据所述元数据表中的信息，将网格用户映射到文件所在主机用户文件挂载点上的主机用户nU；

步骤5)、主机根据所述主机用户nU所提交的文件操作命令查找对应的主机文件；

步骤6)、根据文件操作命令处理主机文件。

2.根据权利要求1所述的用于处理网格文件系统中文件的方法，其特征在于，所述的网格用户的身份信息包括用于指示网格用户所在社区标识agoraID、用于区别用户的用户标识guID以及用于指明身份授权类型的authType。

3.根据权利要求1所述的用于处理网格文件系统中文件的方法，其特征在于，所述的主机用户文件挂载点信息还包括用于表示主机用户文件挂载点描述信息的nDesc。

Images