CN102385633B - 虚拟存储目录的文件管理系统 - Google Patents

Abstract

本发明公开了一种虚拟存储目录的文件管理的方法与系统。本系统结构化方式组织文件与目录，其中节点记录了应用、文件、目录的位置以及存储与访问策略，其中存储与访问策略包含同步策略、存储地址、引用计数、授权管理等信息，通过虚拟目录的方式，将网络上的文件有效组织起来。本发明为用户提供了透明的云存储的文件管理和调用方法，并且方便的实现了分布式存储的文件版本管理与数据同步。

Description

虚拟存储目录的文件管理系统

技术领域

本发明涉及一种虚拟存储目录的文件管理方法，还涉及一种虚拟存储目录的文件管理系统。

背景技术

随着信息化的发展，需要存储的数据量越来越大，并且不再是单一设备能够完成存储的，而是由设备集群组成的服务网络完成海量数据的存储。

远程存储服务必然导致存储资源的集群化，现有的文件系统的管理方法难以管理如此众多的层次复杂的文件系统，同时对于分布在各物理介质上的文件系统，由于应用要求需要有序组织起来，同时必须解决：

1)文件的安全访问边界问题，即哪些文件谁可以访问，并且大家最为接受的方式就是物理隔离的方式；

2)文件的平行备份与拆解，即在存储空间巨大存储空间里，同样文件在几处物理介质上同时存放，以避免存储介质的损坏造成数据的丢失；

3)与现有文件系统易于连接使用；

基于内容的存储是云计算的核心，但是对于内容的判断是基于数据本身，而对于以文件形式，则不是很适用，同时与用户现有的熟悉的文件系统的使用方式不一致，带来使用方面的诸多问题：典型如用户难以查询到文件真实的究竟存储在哪一个物理存储介质上了？文件存在几份平行的备份数据，都具体在什么地方等。

同时，目录作为一种管理数据，对比了解文件新增、版本等信息，以便于在不同物理介质上复制数据，也需要便捷易用的实现方法。

发明内容

针对现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种远程存储系统与方法。

为了解决现有技术中的这些问题，本发明提供的技术方案是：

一种虚拟存储目录的文件管理系统，包含读写代理程序、自动服务程序和虚拟存储目录管理器，其特征在于所述读写代理程序连接其他服务装置上的其他读写代理程序，用于对远程存储的文件读写操作；所述自动服务程序用于进行记录数据同步作为后台服务程序；所述虚拟存储目录管理器，用于虚拟存储目录节点的存储与管理；所述虚拟存储目录节点采用结构化树形数据结构，记录应用、目录、文件结构信息和配置信息，其中配置信息包括存储地址、数据同步策略、引用计数、授权管理；所述存储地址包含一个以上在本地或远程访问的服务地址；所述数据同步策略为进行数据备份记录的本地或者远程访问的服务地址；所述引用计数为当前节点被访问的计数；所述授权管理为针对文件读写权限的检验信息。

优选的，所述虚拟存储目录节点包含应用、目录、文件三种节点，其中应用节点是指标识不同应用的节点，该节点包含一个GUID属性，以相同GUID应用节点为比较基准进行节点的合并、对比。

优选的，每个本地逻辑存储节点具有1个虚拟存储目录，当虚拟存储目录包含远程存储文件时，文件管理系统需要配置缓存空间，用于本地与远程文件的快速访问缓存，其中缓存空间具有独立的虚拟存储目录。

优选的，所述服务地址包含远程对象的访问地址与向远程服务对象请求数据的标识。

优选的，所述缓存空间容量大小确定，其按照文件引用计数从大到小队列存储，其中引用计数最小的文件溢出队列。

优选的，所述文件管理系统通过监视现有文件系统的读写，当发现是读操作时候，现有文件系统直接交本系统进行远程文件读取，当发现是写操作的时候，在现有文件系统完成写操作之后，按照虚拟存储目录配置需要进行远程写操作的时候，所述系统将文件复制到缓存空间，由远程服务程序完成将缓存空间里的文件同步到远程存储介质中。

优选的，不同存储介质管理其虚拟存储目录，通过虚拟存储目录的对比与合并，进行文件增量复制。

优选的，所述虚拟存储目录节点包含三种类型：本地存储节点，即对应的文件、目录等存储在本地存储介质上；引用存储节点，即对应的文件、目录其实际位置在远程存储介质上，本地只有一个链接；影子存储节点，即相同数据存放在多处存储介质上，其中引用存储节点可以指向另一个虚拟存储目录。

优选的，所述虚拟存储目录节点带有引用计数，其文件节点的引用计数为文件实际读写的次数，文件夹节点、应用节点的引用计数为其包含的文件引用计数的综合。

本发明的核心思想是：利用虚拟存储目录的方式管理文件，其中虚拟存储目录包含三种节点类型：应用节点、目录节点、文件节点，以实现对文件为单位的数据的管理。其中每个节点可以记录存储策略，缺省按照本地文件目录存储，同时支持远程存储。存储策略包含：服务程序、服务程序访问地址、安全检查策略、引用计数。

本发明所述方法及系统，实现了组织结构化树状的虚拟存储目录，并设置应用、目录、文件三种节点类型，区分为本地、远程、平行三种节点种类，这样实现了将网络化文件存储的应用集成，本发明既解决了数据的海量数据的目录组织管理要求，同时以与现有文件目录管理的方式容易被用户理解与接受。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1是虚拟存储目录的文件管理系统的系统架构示意图；

图2是虚拟存储目录的文件管理系统的数据迁移流程图；

图3是设备存储空间的划分图。

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规使用的条件。

实施例

如图1～图3所示，该虚拟存储目录的文件管理系统采用的基础设施为云存储服务商平台中的IDC数据中心或企业私有云应用中的集装箱数据中心、云存储服务器、云存储盒、云存储卡等。主体架构包括N个存储设备，如图1所示，设备存储空间包含私有存储空间33，缓存空间34、远程存储空间35，其中设备一定具有私有存储空间33，缓存空间34，而远程存储空间35可配置或者没有。

客户端程序31可以对私有存储空间33，缓存空间34中的数据进行读写，而服务器程序32则可以对被其管理的缓存空间34和远程存储空间35、36等进行管理。即每设备安装一个客户端程序，管理该设备的私有存储空间和缓存空间；每个设备可以选择配置远程存储空间35或者选择同时安装有服务器程序32；而服务器程序则管理M个远程存储空间以及N个缓存空间，这里M、N为两个不同的配置数。

使用的文件管理系统，包含读写代理程序12、自动服务程序13和虚拟存储目录管理器14、读写代理程序N 15，所述读写代理程序连接其他服务装置上的其他读写代理程序，用于对远程存储的文件读写操作；所述自动服务程序用于进行记录数据同步作为后台服务程序；所述虚拟存储目录管理器，用于虚拟存储目录节点的存储与管理；所述虚拟存储目录节点采用结构化树形数据结构，记录应用、目录、文件结构信息和配置信息，其中配置信息包括存储地址、数据同步策略、引用计数、授权管理；所述存储地址包含一个以上在本地或远程访问的服务地址；所述数据同步策略为进行数据备份记录的本地或者远程访问的服务地址；所述引用计数为当前节点被访问的计数；所述授权管理为针对文件读写权限的检验信息。

虚拟存储目录节点包含应用、目录、文件三种节点，其中应用节点是指标识不同应用的节点，该节点包含一个GUID属性，以相同GUID应用节点为比较基准进行节点的合并、对比。每个本地逻辑存储节点具有1个虚拟存储目录，当虚拟存储目录包含远程存储文件时，文件管理系统需要配置缓存空间，用于本地与远程文件的快速访问缓存，其中缓存空间具有独立的虚拟存储目录。所述服务地址包含远程对象的访问地址与向远程服务对象请求数据的标识。

所述缓存空间容量大小确定，其按照文件引用计数从大到小队列存储，其中引用计数最小的文件溢出队列。所述文件管理系统通过监视现有文件系统11的读写，当发现是读操作时候，现有文件系统直接交本系统进行远程文件读取，当发现是写操作的时候，在现有文件系统完成写操作之后，按照虚拟存储目录配置需要进行远程写操作的时候，所述系统将文件复制到缓存空间，由远程服务程序完成将缓存空间里的文件同步到远程存储介质中。

不同存储介质管理其虚拟存储目录，通过虚拟存储目录的对比与合并，进行文件增量复制。所述虚拟存储目录节点包含三种类型：本地存储节点，即对应的文件、目录等存储在本地存储介质上；引用存储节点，即对应的文件、目录其实际位置在远程存储介质上，本地只有一个链接；影子存储节点，即相同数据存放在多处存储介质上，其中引用存储节点可以指向另一个虚拟存储目录。所述虚拟存储目录节点带有引用计数，其文件节点的引用计数为文件实际读写的次数，文件夹节点、应用节点的引用计数为其包含的文件引用计数的综合。

其数据迁移的过程如图2所示：当数据读写的时候，经过云存储客户端程序过滤，当发现其操作附合云存储要求的时候，触发云存储服务23，即依据云存储配置，将数据移动到临时缓存空间中(图2中24)，并且由服务器程序将其在空闲时间同步到指定的存储空间，并且服务器程序32依据数据的内容标签，将数据按照分类及使用频率分配到受其管理的不同的存储空间中(图2中25)。

具体应用中上述过程存在数据向两个方向的流动：

1)私有空间的低频数据迁移到远程存储空间

即当设备私有存储空间的数据在写操作的时候，触发本地云存储客户端程序31，该程序检查数据检查条件复合配置规则，则在该数据完成在私有空间的写操作之后，触发远程存储客户端程序31在计算机空闲时间将其迁移到设备的缓存空间，并更新本地数据存储的目录，标记该文件进行了远程存储，并标记其远程存储访问地址。

在远程存储服务器程序32发现其关联的缓存空间存在更新的时候，将更新的数据按照其存储要求，转储到相应的远程存储空间中。

2)远程存储空间中的高频数据迁移到缓存空间

当设备私有存储空间的数据在读操作的时候，触发本地远程存储客户端程序31，该程序依据数据虚拟存储的目录，发现该节点对应的数据是远程存储，即向远程存储服务器程序32发送数据请求，当发现需要的文件使用频率高于配置值，则请求远程存储服务器程序32将相关数据复制到其设备对应的缓存空间中。

虚拟存储目录的文件管理系统，首先需要在本地安装该系统，配置缓存空间以及远程存储空间，以及同步策略。

在读取文件时，按照以下顺序处理，当发现对应节点是本地文件，直接读取；当发现对应节点是网络存储的文件，则到缓冲区中去寻找对应文件，如果找到，则读取该文件；如果没有找到，则通过远程文件读取装置，读取远程存储的文件到缓存区中，然后读取该文件；

在写文件时，按照以下顺序处理，当发现对应节点是本地文件时，直接保存，当发现对应节点是网络存储节点时，在直接保存文件后，在空闲时间将文件移动到缓冲区中，并在空闲时将缓冲区中的该文件同步到网络存储空间里。

应用例电子病历的远程存储服务

下面以电子病历的远程存储服务为例，介绍本发明的相关应用。在社区卫生服务站，常规服务人群为22000人、其中有300人左右的慢病护理病患人员。

社区卫生服务站，通过网络同地区医院连接以调用医院的电子病历，电子病历中数据量最大的是各种医疗影像文件，例如CT照片、X光检查照片等，由于电子照片的分辨率高，往往存在每个照片文件大小超过100M，。鉴于社区卫生服务站现有服务器，经常使用的人员为300人左右，即在300G存储空间就能满足数据存储的要求，而不常用的信息，则主要存储在地区医院的大型服务器上。

读取病人病历时，读取虚拟存储目录，当客户端程序发现其存储在远程系统上，则通知远程存储服务器程序，远程存储服务程序调出相关病历发送给客户端程序，客户端程序将接受的程序缓存在本次存储介质的缓存空间中，并提供给用户使用。

新增病人病历内容是，客户端程序监控本地文件读写操作，当本地写操作完成之后，检查对应的虚拟存储目录，检查其是否复合远程存储的规则，如果复合远程存储的规则，则将相关文件迁移到缓存空间，并改写虚拟存储目录的节点配置信息。服务器程序发现本地缓存空间的虚拟存储目录更新，则将新增的文件，按照存储策略，同步到远程存储介质上。

上述应用中，对于缓存空间文件，客户端程序与服务器端程序均可以管理，可新增文件、删除文件。但是删除文件必须遵循如下规则：

1.新增文件时，缓存空间的磁盘存储空间不够时；

2.只能删除缓存空间中虚拟存储目录中引用计数最少、安全要求最低的文件，直到缓存空间的可用空间足够存放新增文件为止。

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种虚拟存储目录的文件管理系统，包含读写代理模块、自动服务模块和虚拟存储目录管理器模块，其特征在于所述读写代理模块连接其他服务装置上的其他读写代理模块，用于对远程存储的文件读写操作；所述自动服务模块用于进行记录数据同步作为后台服务模块；所述虚拟存储目录管理器模块，用于虚拟存储目录节点的存储与管理；所述虚拟存储目录节点采用结构化树形数据结构，记录应用、目录、文件结构信息和配置信息，其中配置信息包括存储地址、数据同步策略、引用计数、授权管理；所述存储地址包含一个以上在本地或远程访问的服务地址；所述数据同步策略为进行数据备份记录的本地或者远程访问的服务地址；所述引用计数为当前节点被访问的计数；所述授权管理为针对文件读写权限的检验信息;所述虚拟存储目录节点包含应用、目录、文件三种节点，其中应用节点是指标识不同应用的节点，该节点包含一个GUID属性，以相同GUID应用节点为比较基准进行节点的合并、对比。

2.根据权利要求1所述的虚拟存储目录的文件管理系统，其特征在于每个本地逻辑存储节点具有1个虚拟存储目录，当虚拟存储目录包含远程存储文件时，文件管理系统需要配置缓存空间，用于本地与远程文件的快速访问缓存，其中缓存空间具有独立的虚拟存储目录。

3.根据权利要求2所述的虚拟存储目录的文件管理系统，其特征在于所述服务地址包含远程对象的访问地址与向远程服务对象请求数据的标识。

4.根据权利要求2所述的虚拟存储目录的文件管理系统，其特征在于所述缓存空间容量大小确定，其按照文件引用计数从大到小队列存储，其中引用计数最小的文件溢出队列。

5.根据权利要求4所述的虚拟存储目录的文件管理系统，其特征在于所述文件管理系统通过监视现有文件系统的读写，当发现是读操作时候，现有文件系统直接交本系统进行远程文件读取，当发现是写操作的时候，在现有文件系统完成写操作之后，按照虚拟存储目录配置需要进行远程写操作的时候，所述系统将文件复制到缓存空间，由远程服务程序完成将缓存空间里的文件同步到远程存储介质中。

6.根据权利要求2所述的虚拟存储目录的文件管理系统，其特征在于不同存储介质管理其虚拟存储目录，通过虚拟存储目录的对比与合并，进行文件增量复制。

7.根据权利要求6所述的虚拟存储目录的文件管理系统，其特征在于所述虚拟存储目录节点分为三种类型：本地存储节点，即对应的文件、目录存储在本地存储介质上；引用存储节点，即对应的文件、目录其实际位置在远程存储介质上，本地只有一个链接；影子存储节点，即相同数据存放在多处存储介质上，其中引用存储节点可以指向另一个虚拟存储目录。

8.根据权利要求1所述的虚拟存储目录的文件管理系统，其特征在于所述虚拟存储目录节点带有引用计数，其文件节点的引用计数为文件实际读写的次数，文件夹节点、应用节点的引用计数为其包含的文件引用计数的综合。

Images