CN101263494A - 累积访问频率和文件属性以支持基于策略的存储管理 - Google Patents

累积访问频率和文件属性以支持基于策略的存储管理 Download PDF

Info

Publication number
CN101263494A
CN101263494A CNA200680032142XA CN200680032142A CN101263494A CN 101263494 A CN101263494 A CN 101263494A CN A200680032142X A CNA200680032142X A CN A200680032142XA CN 200680032142 A CN200680032142 A CN 200680032142A CN 101263494 A CN101263494 A CN 101263494A
Authority
CN
China
Prior art keywords
file
affairs
record
transactions
transactions requests
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200680032142XA
Other languages
English (en)
Other versions
CN101263494B (zh
Inventor
帕那吉帝斯·帝斯里高帝斯
格萨·斯里克塔
托马斯·K·王
黄知明
阿南德·伊耶戈尔
拉杰韦·乔拉
理查德·斯姆金斯
刘祖为
高拉夫·古普塔
马修·赛茨
于·崇·常恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cisco Technology Inc
Vihana Inc
Original Assignee
NeoPath Networks Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NeoPath Networks Inc filed Critical NeoPath Networks Inc
Publication of CN101263494A publication Critical patent/CN101263494A/zh
Application granted granted Critical
Publication of CN101263494B publication Critical patent/CN101263494B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/122File system administration, e.g. details of archiving or snapshots using management policies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • G06F16/1824Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/1827Management specifically adapted to NAS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1865Transactional file systems

Abstract

一种用于利用与访问频率和文件属性累积相关的数据来执行基于策略的存储管理的系统和方法(图1)。交换机设备提供对于客户端和存储网络之间的事务的透明性(图1)。该透明性允许在存储网络上移动对象而不影响对客户端所使用的对象的引用(图1)。监控模块生成与事务相关联的累积数据以用于基于策略的管理(图1)。累积数据可以描述文件的使用,例如某些文件被访问的频繁程度、对文件的修改(例如新目录或文件的创建)以及其他使用(图1)。

Description

累积访问频率和文件属性以支持基于策略的存储管理
发明人:Panagiotis Tsirigotis,Geetha Srikantan,Thomas K.Wong,ChiMing Wong,Anand Iyengar,Rajeev Chawla,Richard Simpkins,Zuwei Liu,Gaurav Gupta.Matthew Seitz and Yu Cheong Chan
相关申请的交叉引用
本申请按照35 U.S.C.§119(e)要求Wong等人2005年9月30日递交的题为“AN ACCESS FREQUENCY/FILE ATTRIBUTESACCUMULATOR FOR SUPPORTING POLICY BASED STORAGEMANAGAMENT”的美国临时专利申请No.60/722.465的优先权;本申请按照35 U.S.C.§120作为Wong等人2005年9月30日递交的题为“STORAGE POLICY MONITORING FOR A STORAGE NETWORK”的美国专利申请No.11/241,554的部分继续申请要求优先权;并且本申请与Thomas K.Wong等人2004年4月23日递交的题为“TRANSPARENTFILE MIGRATION USING NAMESPACE REPLICATION”的美国专利申请No.10/831,376以及Thomas K.Wong等人2004年4月23日递交的题为“TRANSPARENT FILE REPLICATION USING NAMESPACEREPLICATION”的美国专利申请No.10/831,701相关,以上提及的每个专利申请都通过引用被整体上结合于此。
技术领域
本发明一般地涉及存储网络(storage network),更具体而言,涉及利用与访问频率和文件属性累积相关的数据来执行基于策略(policy)的存储管理。
背景技术
在计算机网络中,直接连接到网络的NAS(网络附接存储)文件服务器提供了针对存储网络的便宜并且容易配置的解决方案。这些NAS文件服务器是自足型的(self-sufficient),因为它们包含允许与运行任何操作系统的客户端互操作并且利用开放协议通信的文件系统。例如,基于Unix的客户端可以使用Santa Clara,California的Sun Microsystems有限公司的NFS(网络文件系统)协议,而基于Windows的客户端可以使用Redmond,Wanshington的Microsoft公司的CIFS(公共因特网文件系统)来访问NAS文件服务器上的文件。但是,操作系统不会影响客户端和文件服务器之间的通信。因此,NAS文件服务器提供了真正的通用文件访问。
与之相比,更昂贵并且有力的SAN(存储区域网)文件服务器使用通过后端上的光纤信道连接的资源或专用网络。SAN文件系统是运行在客户端上的操作系统或应用程序的一部分。但是,异构客户端操作系统可能需要在存储网络上存储每个文件的额外拷贝以确保SAN文件服务器上的兼容性。另外,SAN上的文件服务器之间的通信使用专有协议,因此通常由同一供应商提供。结果,NAS文件服务器在价格和易用性是主要考虑因素时是优选的。但是,NAS存储网络相对SAN存储网络的优势也具有缺陷。
NAS文件服务器的一个缺陷在于没有集中控制。因此,每个客户端必须分别维护每个NFS文件服务器之间的通信信道。当向存储网络添加或从存储网络删除NAS文件服务器时,每个客户端必须在适当时安装或卸载相关存储资源的目录。这在存在硬件变化但是变化不在网络上可用的特定文件中时效率尤其低,例如当失败的NAS文件服务器被同样配置的备份NAS文件服务器替换时。
相关缺陷在于每次在存储网络中重新定位文件时(例如在文件迁移或文件复制期间),客户端必须被重新配置。客户端生成NAS文件句柄,该NAS文件句柄标识目录或文件对象在文件服务器上的物理位置。为了访问对象,客户端将对象访问请求直接发送到NAS文件服务器。当文件被重定位到不同的NAS文件服务器时,随后的文件访问请求需要新查找以定位文件并生成新的NAS文件句柄。
另一缺陷在于NAS文件服务器可能通过处理与文件操作和访问相关联的I/O(输入/输出)请求而被消耗。结果,额外的处理任务(例如查询)会过度加重NAS文件服务器的负担。文件服务器通常在搜索查询所请求的信息时遍历(walk)树结构的目录树,并且如果存在多于一个文件系统,则每个文件系统被单独遍历。从而,文件服务器可能变得不太易响应于I/O请求或者在响应查询时具有高等待时间。在某些上下文下,高等待时间将使得结果变陈旧。
此外,NAS文件服务器会例如由于将关键数据与其他非关键数据一起存储而变得无条理并且效率低。例如,雇员为了消遣而使用的MP3的大量多媒体收藏会增大接收与企业生产率更密切相关的信息(例如金融记录)时的等待时间。在另一示例中,很少访问的文件可能被存储在优质的(premium)高带宽文件服务上,而经常访问的文件可能被存储在廉价的(commodity)低带宽服务器上。
因此,需要提供一种在存储网络上的文件服务器之间有选择地迁移(migrate)对象的网络设备。此外,需要在不加重文件服务器在例如服务于I/O请求时的负担的情况下识别将被迁移的文件。
发明内容
一种用于利用与访问频率和文件属性累积相关的数据来执行基于策略的存储管理的系统和方法。在一个实施例中,交换机设备提供对于客户端和存储网络之间的事务的透明性。该透明性允许在存储网络上移动(例如迁移)对象(例如文件或目录)而不影响对客户端所使用的对象的引用(例如文件句柄)。在交换机设备的一个实施例中,监控模块生成与事务相关联的累积数据以用于基于策略的管理。累积数据可以描述文件的使用,例如某些文件被访问的频繁程度、对文件的修改(例如新目录或文件的创建)以及其他使用。
监控模块的一个实施例包括I/O监控模块,用于接收交换机设备所处理的事务请求并且判断正在执行的事务是否涉及正被监控的文件系统。事务分类模块可以判断事务是否具有被监控的类型,如果是,则转发到事务日志模块中的适当日志以便存储。事务日志例如可以是循环缓冲器。累积器模块周期性地处理日志并将其结果存储在记录库中。
在另一实施例中,策略模块根据预定规则来管理记录库。例如,网络管理员可以从用户界面设置规则。而且,规则可以被预先加载。策略模块可以包括:调度模块,用于以一定的间隔调用策略;策略执行模块,用于根据规则形成查询;以及查询模块,用于管理对记录库的查询。查询例如可以是SQL查询。
附图说明
图1是示出根据本发明一个实施例的存储网络系统的高级框图。
图2是示出根据本发明一个实施例的NAS交换机的框图。
图3是示出根据本发明一个实施例的选择性迁移模块的框图。
图4是示出根据本发明一个实施例的用于在NAS存储网络中提供透明文件迁移的方法的高级流程图。
图5是示出根据本发明一个实施例的将原始NAS文件句柄与交换机文件句柄相关联的方法的流程图。
图6是示出根据本发明一个实施例的用于根据策略提供选择性迁移的方法的流程图。
图7是示出根据本发明另一个实施例的用于根据策略提供选择性迁移的方法的流程图。
图8是示出根据本发明一个实施例的监控模块的框图。
图9是示出根据本发明一个实施例的事务日志(transaction log)的框图。
图10是示出根据本发明一个实施例的策略模块的框图。
图11是示出根据本发明一个实施例的用于将事务记入日志的方法的流程图。
图12是示出根据本发明一个实施例的用于向记入日志的事务应用策略的方法的流程图。
具体实施方式
一种用于利用与访问频率和文件属性累积相关的数据来执行基于策略的存储管理的系统和方法。策略可以包括确立哪些对象被从源文件服务器迁移到目的地文件服务器的规则。例如,在昂贵或关键文件服务器上消耗带宽的庞大多媒体文件不会给企业生产率添加太大价值,它们可以被迁移到廉价或不太关键的文件服务器。在一个实施例中,在存储网络上的客户端和NAS文件服务器的数据路径中的NAS(网络附接存储)交换机利用独立于存储网络上的位置的文件句柄来实现选择性迁移。处于静态的文件句柄和可以为动态的位置之间的映射允许客户端利用经过迁移过程仍持续存留的文件句柄来在迁移后访问对象。
图1是示出根据本发明一个实施例的存储网络系统100的高级框图。系统100包括耦合到网络195的客户端140和NAS交换机110(更一般地,交换机设备)。NAS交换机110、源文件服务器120和目的地文件服务器130通过子网196来各自耦合通信。注意,可以存在系统100的各种配置,例如包括额外的客户端140、额外的源和/或目的地文件服务器120、130和额外的NAS交换机110的实施例。系统100的组件被实现在例如具有执行操作系统和/或应用程序的x86型处理器的个人计算机、工作站、具有优化的操作系统和/或应用程序的专用NAS设备、经修改的服务器刀片等等中。在一个实施例中,存储网络175包括使用诸如NFS和CIFS之类协议的NAS。在另一实施例中,存储网络175包含NAS、SAN和其他类型存储网络的组合。在又一实施例中,存储网络175包含除NAS之外的分散标准或专有存储系统。
NAS交换机110将对象有选择地从源文件服务器120上的位置迁移到目的地文件服务器130上的位置。选择性迁移可以基于策略所确定的文件属性(例如文件类型、文件大小、文件访问频率、其他文件条件、日程等等)来确定将迁移哪些对象。策略可以包括根据某些文件属性或条件来描绘某些动作的规则。在一个实施例中,NAS交换机110可以执行在报告中显示策略的效果的预演。策略可以被反复地调整以得出所需结果。
NAS交换机110向客户端140提供针对对象管理的连续透明性。具体而言,NAS交换机110可以卸除存储网络175上与物理配置、对象管理、对象迁移、对象复制、高效存储和/或其他服务相关的任务。优选地,NAS交换机110对客户端140仿真文件服务器进程并对文件服务器120、130仿真客户端进程。因此,客户端140不会意识到NAS交换机110,因为NAS交换机110能够将想去往源文件服务器120的NAS请求重定向到目的地文件服务器130上的适当位置。因此,客户端140将对象请求(例如文件写入和目录读取)直接提交到NAS交换机110。类似地,文件服务器120、130不会意识到NAS交换机110,因为NAS交换机110能够重新提交包含在服务器文件句柄中的请求,就好像它们来源于客户端140一样。为此,NAS交换机110可以使用映射、转换、桥接、分组转发、其他网络接口功能以及其他控制进程来执行文件句柄交换,从而减轻客户端140跟踪文件物理位置改变的需求。
在一个实施例中,NAS交换机110接收从文件服务器120、130导出的包含NAS交换机句柄的文件系统目录。为了创建客户端140和NAS交换机110之间的兼容性,NAS交换机110将文件系统目录映射到其发送到客户端140的内部交换机文件系统。为了请求对象,客户端140遍历导出的交换机文件系统并选择其与所请求的操作一道发送到NAS交换机110的交换机文件句柄。
一般而言,NAS文件句柄唯一地标识文件服务器120、130(例如目录或文件)上的对象(例如目录文件服务器),只要该对象存在即可。NAS文件句柄是特定于文件服务器的,并且只对发布文件句柄的文件服务器120、130有效。从文件名获得文件句柄的过程被称为查找(look-up)。NAS文件句柄可以根据随后将例如参考表1A和1B更详细论述的协议(例如NFS或CIFS)被格式化。与之相比,交换机文件句柄标识独立于位置的目录或文件对象,从而使其经过文件复制、迁移和其他数据传输过程仍持续存留。交换机文件句柄可以是经修改的NAS文件句柄,该经修改的NAS文件句柄参考NAS交换机110中的内部系统而非源文件服务器120。这使得NAS交换机110能够将持续存留的文件句柄映射到可供选择的替换NAS文件句柄。原始NAS文件句柄指代源文件服务器120上的初始对象位置。存储NAS文件句柄指代作为对象存储在文件服务器120、130上的指向替换文件位置的NAS文件句柄。
由NAS交换机110处理的对象事务请求例如包括目录和/或文件读取、写入、创建、删除、移动和拷贝。名称空间访问指的是访问或修改名称空间的操作,例如查找、重命名、删除或创建。文件访问指的是访问或修改文件的操作,例如读取或写入。对象可以指代目录对象或文件对象。目录对象可以进一步包含子目录和目录中的文件对象。这里所使用的各种术语被同义地用来指代对象在迁移之前的位置(例如“主要”、“源”、“原始”和“第一”),并且各种术语被用来指代同一对象在迁移之后的位置(例如“复制”、“目的地”、“替代”和“第二”)。NAS交换机110以及其中操作方法的其他实施例下面将描述。
在一个实施例中,NAS交换机110可被配置为监控事务请求以累积频率和文件属性信息,如下面更详细描述的。累积的信息可被用于允许策略实施的各种应用。一种在存储网络175上实施的策略可以是选择性迁移。例如,选择性迁移应用可以通过将更频繁使用的文件移动到高性能服务器并且通过将不太频繁使用的文件移动到廉价服务器来优化存储网络175。另一种策略实施可以是文件清理(file clean up)。例如,所有老于2年的不重要的文件被删除。这里的公开还可以给出很多其他特定于实现方式的策略。
NAS交换机110可以针对其他类型的应用(例如索引和分类)来配置。索引应用可以建立索引数据库以用于快速的基于内容的搜索。修改存储网络175的最新事务可以被记录以更新索引数据库而无需遍历文件系统。分类应用可以维护关于所存储的文件类型的统计量。列表允许同样类型的文件被快速识别出而无需遍历文件系统。结果,在一个示例中,诸如MP3之类不重要的文件被快速识别出并被迁移到廉价服务器。
在典型事务中,客户端140通过向NAS交换机110提交想去往源文件服务器120的交换机文件句柄来访问文件服务器120、130上的资源。为了找到交换机句柄,客户端140首先安装包含交换机文件句柄的导出交换机文件系统。客户端140查找对象以获得其文件句柄并提交相关请求。从客户端140的角度来看,事务由具有未改变的对象位置的文件服务器120、130执行。因此,客户端140在文件复制之前和之后以同样方式与NAS交换机110交互。客户端140的用户可以通过命令行接口、窗口环境、软件应用等来提交操作。在一个实施例中,NAS交换机110还提供对除了NAS存储网络之外的其他存储网络175的访问。
源文件服务器120是文件迁移之前针对客户端140的默认或原始网络文件服务器。源文件服务器120进一步包括源对象125,所述源对象125包括名称空间目录和诸如企业数据、记录、数据库信息、应用等的文件。源文件服务器120可以存储由NAS交换机110维护的与来自名称空间迁移的结果相关的被迁移目录的表。此外,源文件服务器120可以存储由NAS交换机110维护的文件句柄迁移表,其指示每个被迁移的目录和文件对象。源文件服务器120例如包括使用具有操作系统和/或应用程序的x86型处理器的个人计算机、工作站、具有优化的操作系统和/或应用程序的专用NAS设备、经修改的服务器刀片等等。
目的地文件服务器130在文件迁移之后变为NAS交换机110所使用的主要网络文件服务器。目的地文件服务器130进一步包括目的地对象135,所述目的地对象135包括经复制的名称空间目录和源文件。目的地文件服务器130可以包括与参考120描述的硬件和/或软件相同的硬件和/或软件。源和目的地文件服务器120、130优选地是NAS文件服务器,但也可以是利用其他不固有地支持文件迁移的分散协议的文件服务器。源和目的地文件服务器120、130和相关方法的其他实施例下面将描述。
网络195辅助相连主机(例如110、140)之间的数据传输。到网络195的连接可以是有线和/或无线、分组和/或电路交换,并且使用诸如TCP/IP(传输控制协议/因特网协议)、IEEE(电气与电子工程师学会)802.11、IEEE 802.3(即以太网)、ATM(异步传输模式)等之类的网络协议。网络195例如包括LAN(局域网)、WAN(广域网)、因特网等等。在一个实施例中。NAS交换机110充当连接到因特网的客户端140和目录文件服务器120以及连接到LAN的阴影(shadow)文件服务器130之间的网关。子网196优选地是对NAS交换机110提供最佳响应时间的局域网。在一个实施例中,子网196被集成到网络195中。
图2是示出根据本发明一个实施例的NAS交换机110的框图。NAS交换机110包括映射模块210和选择性迁移模块220。一般而言,映射模块210处理与对象相关联的文件句柄I/O事务,并将关于成功的I/O事务的信息发送到选择性迁移模块220以跟踪从上次遍历树结构的文件服务器之后的更新。注意,所述模块仅仅是功能的示例性集合。
在文件迁移之前,映射模块210从客户端140接收请求以及交换机文件句柄,其利用接收的交换机文件句柄来找到原始NAS文件句柄。映射模块210将原始NAS文件句柄与请求一起提交到源文件服务器120。如果对象必须改变存储网络175中的位置,映射模块210则使用原始NAS文件句柄。映射模块210可以将交换机文件句柄提交到迁移模块220以判断对象是否是数据迁移的一部分。而且,文件服务器接口220可以将交换机文件句柄提交到重定向模块230以判断对象是否已经完成数据迁移。在任一情况下,适当的NAS文件句柄被返回到映射模块210以用来转发客户端请求到适当的文件服务器120、130。
在文件迁移之后,映射模块210在文件句柄迁移表中查找接收自客户端140的交换机文件句柄。如果对象已经被迁移,重定向模块则输出与目的地文件服务器130上的位置相对应的目的地NAS文件句柄。
选择性迁移模块220从映射模块210接收关于成功I/O事务的信息。在其他实施例中,选择性迁移模块220可以在处理之前截取想去往映射模块210的事务,或者接收被发送到映射模块210的事务的复制。在对迁移对象执行策略之后,选择性迁移模块220可以更新映射模块210中的文件位置。
图3是示出根据本发明一个实施例的选择性迁移模块220的框图。选择性迁移模块220包括监控模块310、策略模块320、迁移引擎330和记录库340。一般而言,记录库是利用树结构的目录或份额的遍历(traversal或walk)来填充的,并且记录被用关于与目录中的对象相关的事务的信息来更新。策略模块320可以通过与记录库340之间的查询或排序交互来执行基于策略的迁移。
监控模块310(如参考图8更详细示出的)包括I/O监控模块810、事务分类模块820、事务日志830和累积器模块840。一般而言,监控模块3 10接收与涉及对象的成功的I/O事务相关的信息,并将经处理的信息发送到记录库340以进行存储。更具体而言,I/O监控模块810判断事务是否与正被监控的文件系统相关联。事务分类模块820接收来自I/O监控模块810的事务以判断该事务是否是正被监控的事务的类型。事务日志830存储了所监控的事务作为事务记录。以一定间隔,累积器模块840处理事务记录以便存储在记录库340中。
事务日志830的实施例在图9中示出。事务日志830包括针对特定请求的记录:名称空间更新日志910、数据更新日志920、和访问日志930;和一般请求日志940中针对一般请求的记录。日志910-940可以是存储器设备的一部分,所述存储器设备例如是RAM(随机访问存储器)设备或其他类型的存储器元件。日志910-940可以充当循环缓冲器,例如用最新记录替代最旧记录的FIFO(先进先出)型缓冲器。
策略模块320(如图10更详细示出的)包括调度模块1010、策略执行模块1020和查询模块1030。在一个实施例中,调度模块1010按一定间隔(例如系统管理员所编制的间隔)发起进程。策略执行模块1020访问形成策略的规则并向查询引擎800馈送特定命令。规则可以取决于应用。规则可以由系统管理员预先配置或创建。规则可以是条件的Boolean组合。例如,FILE TYPE IS MPEG(文件类型是MPEG)以及FILE SIZE ISMORE THAN 100 MEGABYTES(文件大小为大于100兆字节)。查询模块1030管理特定命令的应用以应用到存储在记录库340中的数据(例如累积和频率数据)。
迁移引擎330可以迁移由策略模块320识别出的文件。例如,在过去一年没有被访问的每个文件可以被迁移到用于很少访问的文件的专用文件服务器中。在一个实施例中,迁移引擎320在迁移与每个对象相关联的数据之前先迁移与每个对象相关联的名称空间。
记录库340可以通过遍历树结构的目录来将与对象相关联的记录存储在树结构目录中。响应于从监控模块310接收到日志,记录库340可以更新记录。周期性地,记录库340可以随遍历与目录同步。
图6是示出根据本发明一个实施例的用于根据策略提供选择性迁移的方法600的流程图。包括对象在源文件服务器上的位置的NAS文件句柄被接收610。独立于对象位置的交换机文件句柄被发送,作为对象的代表620。对象根据包括用于在存储网络中存储对象的规则的策略被从源文件服务器上的位置有选择地迁移630到目的地文件服务器上的位置。与交换机文件句柄相关联的访问请求被接收640。访问请求被发送650到目的地文件服务器上的位置。
信息可以被记录在一个或多个日志中,如下面参考图9所述。例如,访问日志可以在每次文件或目录被读取时被更新。日志可以基于所跟踪的事务的重要性而被维护。例如,当所有文件或目录创建都被跟踪时,在一个实施例中,只有上次文件修改被跟踪。在另一优化中,访问日志可以对一小时中的访问计数而不记录每次访问的时间。监控模块310周期性地发送日志到记录库340以用于处理(例如一小时一次)。
策略模块320可以实现与记录库34上的搜索相关的规则以识别满足条件的文件。在一个实施例中,用户界面(例如在web浏览器上被查看的)可以允许网络管理员配置规则。策略模块320可以基于每个策略被周期性地触发,例如一天一次或一周一次。
图7是示出根据本发明另一个实施例的用于根据策略提供选择性迁移的方法700的流程图。包括用于在存储网络中存储对象的规则的策略被接收710。以树结构存储在存储网络中的源文件服务器上的对象被遍历720。策略数据库(或记录库)被用代表树结构的记录填充730。策略数据库被更新740以反映与对象相关联的事务。针对策略数据库中的记录执行750规则以判断对象是否将被迁移,如下面参考图12所述。对象被从源文件服务器上的位置迁移760到目的地文件服务器上的位置。
图4是示出根据本发明一个实施例的用于迁移对象的方法400的流程图。在迁移之前,NAS交换机110将原始NAS文件句柄与交换机文件句柄175相关联410。如图5所详述的,包含原始文件句柄的导出文件系统510被从源文件服务器安装。独立于对象位置的交换机文件句柄被生成520。包含交换机文件句柄生的交换机文件系统随后被导出50到客户端140。再次参考图4,利用名称空间复制执行420从源文件服务器120到目的地文件服务器130的迁移。在迁移之后,NAS请求(即事务请求)由映射模块210根据新位置被重定向。方法400在美国专利No.[专利号待定]中被更详细地描述。
图11是示出根据本发明一个实施例的用于生成累积数据的方法1100的流程图。NAS交换机110的映射模块210处理1110对于存储网络175中的对象的事务请求。在一个实施例中,一旦事务请求被服务并且响应被发回客户端140,事务请求的拷贝就被发送到监控模块310。NAS交换机110可以在拷贝服务于事务请求以确保其有效性之前。例如,如果被请求的文件不存在,事务请求则将导致无效的累积数据。
一旦被接收,I/O监控模块810就判断1120该事务请求是否涉及所监控的文件系统。网络管理员可以使用界面来选择所监控的文件系统。如果文件系统尚未被选择,则不需要进一步的处理。事务分类模块820判断1130该事务请求是否具有正被监控的事务类型。所监控的事务可以例如包括FDNOPS、FDAOPS或FDUOPS。更具体而言,FDNOPS包括对文件系统的名称空间的更新,例如创建、重命名、删除、创建目录、重命名目录或删除目录。FDAOPS包括对文件系统中的数据的更新,例如写入操作或改变或设置文件大小操作。FDUOPS包括对文件系统的访问,例如读取操作。某些实施例包括其他类型的操作,例如打开或关闭操作。
事务日志830将事务请求根据其类型记入日志1140。例如,事务分类模块820可以设置针对事务类型的代码,该代码将其定向到特定日志。在一个实施例中,FDNOPS被存储在名称空间更新日志910中,FDUOPS被存储在数据更新日志920中,FDAOPS被存储在访问日志930中,并且其他被存储在一般请求日志940中。
以一定间隔(例如当存储日志的循环缓冲器充满时),累积器模块840处理1150多个事务以生成累积数据。目录表存储了关于目录的记录,文件表存储了关于文件的记录,而小时频率表存储了关于频率的数据。在一个实施例中,处理名称空间更新日志910包括在文件表中针对文件创建操作创建新记录、针对文件重命名操作改变文件表中的文件名称字段、针对文件删除操作删除文件表中的记录。针对目录操作可以对目录表中的记录执行类似处理。
在一个实施例中,处理数据更新日志920包括判断下一记录是否具有匹配的文件系统ID、路径名和文件名,如果是,则不需要进一步的处理。否则,如果这是上次事务记录,则在具有匹配的系统ID、路径名和文件名的记录中更新上次写入时间。
处理访问日志930包括针对每个事务记录在小时频率表中创建记录。如果成功,则计数字段中的值被设置为1,并且字节读取字段中的值被设置为事务记录中的字节读取字段中的值。如果一个记录已经存在,则不创建新记录。相反,现有记录被获得并且计数字段中的值被加1。另外,字节读取字段中的值被递增以事务记录中的字节读取字段中的值。记录被写回小时频率表。
图12是示出根据本发明一个实施例的用于应用策略的方法1200的流程图。策略模块320的调度模块1010可以设置1210用于调度策略的调用的间隔。一个或多个策略可以被调度以同时执行或在不同时刻执行。策略执行模块1020根据策略执行1220规则。策略可以是用于设置参数的字段和值的列表。例如,在选择性迁移策略中,在上星期尚未被修改或访问的文件可以被移动到不同服务器。很多其他策略是可能的。查询模块1030基于规则向记录库340发送1230查询。查询可以利用例如SQL命令来形成。在所选择的迁移示例中,记录列表可以被发回策略执行模块1020,该策略执行模块1020进而发送列表到迁移引擎330以用于迁移。
伴随的描述是为了提供对多个特定细节的全面说明的目的而提出的。当然,在存储网络的领域,对所示出和所述的本发明的特征的不同改变是可能的。本领域技术人员因此将无庸置疑地意识到,本发明可以在无需某些特定细节的情况下被实施,并且将会看到,很多仍旧满足本发明的教导和精神的其他变化和实施例可以被实施。例如,虽然本发明是参考在NAS协议下工作的存储网络来描述的,但是其可被类似地体现在用于除了NAS之外的分散存储网络的未来协议中或者混合协议网络中。因此,本发明不应该被理解为局限于上述特定实现方式,而是仅仅由所附权利要求书限定。
本发明的进程、特征或功能可以利用在适当计算设备中执行的程序指令来实现。示例型的计算设备包括企业服务器、应用服务器、工作站、个人计算机、网络计算机、网络器具、个人数字助理、游戏控制台、电视、机顶盒、建筑自动设备、销售点终端、汽车和个人通信设备。程序指令可以被分布在计算机可读介质、存储体或因特网中。程序指令可以具有任何适当的形式,例如源代码、对象代码或脚本。

Claims (24)

1.在耦合在客户端和存储网络之间用于处理由所述客户端提交的事务请求的交换机设备中,一种用于监控与存储网络中的对象相关的事务的方法,包括:
接收涉及所述存储网络中的对象的事务请求;
确定所述事务请求针对正被监控的存储监控器上的文件系统并且所述事务具有正被监控的事务请求的类型;
根据事务类型将所述事务记入日志;
周期性地处理多个被记入日志的事务以生成与对象相关联的累积数据,所述累积数据描述了对象的使用;以及
基于所述累积数据向对象应用策略。
2.如权利要求1所述的方法,还包括:
对所述事务分类;以及
根据所述分类将所述事务记入日志。
3.如权利要求1所述的方法,其中周期性地处理多个事务包括:
针对涉及记录的每个事务递增与所述记录相关联的计数。
4.如权利要求1所述的方法,其中周期性地处理多个事务包括:
针对涉及记录的每个类型事务递增与所述记录相关联的类型计数。
5.如权利要求1所述的方法,其中周期性地处理多个事务包括:
针对涉及记录的每个事务递增字节数目以反映字节的总数目。
6.如权利要求1所述的方法,其中应用策略包括:
将所述策略的规则映射到命令;以及
根据所述命令来查询对象。
7.如权利要求1所述的方法,其中将事务记入日志包括将所述事务记入循环缓冲器,并且其中周期性地处理被记入日志的事务包括响应于所述循环缓冲器完成循环来周期性地处理被记入日志的事务。
8.如权利要求1所述的方法,其中所述事务请求包括NAS文件句柄。
9.如权利要求1所述的方法,其中所述事务请求包括对所述存储网络上的文件系统的名称空间的更新。
10.如权利要求1所述的方法,其中所述事务请求包括对所述存储网络上的文件的数据的更新。
11.如权利要求1所述的方法,其中所述事务请求包括对所述存储网络上的目录或文件之一的访问。
12.如权利要求1所述的方法,还包括:
通过向所述存储网络发送命令以及将所述命令的结果转发到所述客户端来处理所述事务请求。
13.一种耦合在客户端和存储网络之间用于处理由所述客户端提交的事务请求的交换机设备,包括:
I/O监控模块,用于接收涉及所述存储网络中的对象的事务请求,并且判断所述事务请求是否针对正被监控的存储监控器上的文件系统;
事务分类模块,用于判断所述事务是否具有正被监控的事务请求的类型;
事务日志,用于根据事务类型将所述事务记入日志;
累积器模块,用于周期性地处理多个被记入日志的事务以生成与对象相关联的累积数据,所述累积数据描述了对象的使用;以及
策略模块,用于基于所述累积数据向对象应用策略。
14.如权利要求13所述的交换机设备,其中所述类别事务模块对所述事务分类,并且所述事务日志根据所述分类将所述事务记入日志。
15.如权利要求13所述的交换机设备,其中所述累积器模块针对涉及记录的每个事务递增与所述记录相关联的计数。
16.如权利要求13所述的交换机设备,其中所述累积器模块针对涉及记录的每个类型事务递增与所述记录相关联的类型计数。
17.如权利要求13所述的交换机设备,其中所述累积器模块针对涉及对象的每个事务递增字节数目以反映字节的总数目。
18.如权利要求13所述的交换机设备,还包括策略模块,用与将所述策略的规则映射到命令,并且根据所述命令来查询对象。
19.如权利要求13所述的交换机设备,其中所述事务日志将事务记入循环缓冲器中,并且其中所述累积器模块响应于所述循环缓冲器完成循环来周期性地处理被记入日志的事务。
20.如权利要求13所述的交换机设备,其中所述事务请求包括NAS文件句柄。
21.如权利要求13所述的交换机设备,其中所述事务请求包括对所述存储网络上的文件系统的名称空间的更新。
22.如权利要求13所述的交换机设备,其中所述事务请求包括对所述存储网络上的文件的数据的更新。
23.如权利要求13所述的交换机设备,其中所述事务请求包括对所述存储网络上的目录或文件之一的访问。
24.如权利要求13所述的交换机设备,还包括映射模块,用于通过向所述存储网络发送命令以及将所述命令的结果转发到所述客户端来处理所述事务请求。
CN200680032142XA 2005-09-30 2006-10-02 用于监控与存储网络中的对象相关的事务的方法和装置 Expired - Fee Related CN101263494B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US72246505P 2005-09-30 2005-09-30
US60/722,465 2005-09-30
PCT/US2006/038361 WO2007041456A2 (en) 2005-09-30 2006-10-02 Accumulating access frequency and file attributes for supporting policy based storage management

Publications (2)

Publication Number Publication Date
CN101263494A true CN101263494A (zh) 2008-09-10
CN101263494B CN101263494B (zh) 2010-12-22

Family

ID=37906783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200680032142XA Expired - Fee Related CN101263494B (zh) 2005-09-30 2006-10-02 用于监控与存储网络中的对象相关的事务的方法和装置

Country Status (3)

Country Link
EP (1) EP1934838A4 (zh)
CN (1) CN101263494B (zh)
WO (1) WO2007041456A2 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065283A (zh) * 2010-12-23 2011-05-18 杭州华三通信技术有限公司 一种视频监控数据存储管理方法及其装置
CN102215268A (zh) * 2011-07-14 2011-10-12 北京飞杰信息技术有限公司 一种迁移文件数据的方法和装置
CN102708158A (zh) * 2012-04-23 2012-10-03 杭州梵艺科技有限公司 一种PostgreSQL云存储归档调度系统
CN109242428A (zh) * 2018-08-31 2019-01-18 邹平县供电公司 一种基于智能移动终端的业务提醒系统及方法
CN109362235A (zh) * 2016-05-29 2019-02-19 微软技术许可有限责任公司 对网络可访问存储装置处的事务进行分类
CN113032344A (zh) * 2020-08-25 2021-06-25 广州锦行网络科技有限公司 一种远程登录日志记录的清理方法
CN113721854A (zh) * 2021-08-31 2021-11-30 中国建设银行股份有限公司 数据存储方法及装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004097624A1 (en) 2003-04-24 2004-11-11 Neopath Networks, Inc. Large file support for a network file server
US7346664B2 (en) 2003-04-24 2008-03-18 Neopath Networks, Inc. Transparent file migration using namespace replication
US7587422B2 (en) 2003-04-24 2009-09-08 Neopath Networks, Inc. Transparent file replication using namespace replication
US8539081B2 (en) 2003-09-15 2013-09-17 Neopath Networks, Inc. Enabling proxy services using referral mechanisms
US8190741B2 (en) 2004-04-23 2012-05-29 Neopath Networks, Inc. Customizing a namespace in a decentralized storage environment
US8195627B2 (en) 2004-04-23 2012-06-05 Neopath Networks, Inc. Storage policy monitoring for a storage network
US7720796B2 (en) 2004-04-23 2010-05-18 Neopath Networks, Inc. Directory and file mirroring for migration, snapshot, and replication
EP1900189B1 (en) 2005-06-29 2018-04-18 Cisco Technology, Inc. Parallel filesystem traversal for transparent mirroring of directories and files
CN103198119A (zh) * 2013-04-02 2013-07-10 浪潮电子信息产业股份有限公司 一种快速查找具有相同重复数据删除标识的所有链接文件的方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6314460B1 (en) * 1998-10-30 2001-11-06 International Business Machines Corporation Method and apparatus for analyzing a storage network based on incomplete information from multiple respective controllers
US6976060B2 (en) * 2000-12-05 2005-12-13 Agami Sytems, Inc. Symmetric shared file storage system
JP2005502096A (ja) * 2001-01-11 2005-01-20 ゼット−フォース コミュニケイションズ インコーポレイテッド ファイルスイッチ及び交換ファイルシステム
US7512673B2 (en) 2001-01-11 2009-03-31 Attune Systems, Inc. Rule based aggregation of files and transactions in a switched file system
US20040139167A1 (en) * 2002-12-06 2004-07-15 Andiamo Systems Inc., A Delaware Corporation Apparatus and method for a scalable network attach storage system
CN100438424C (zh) * 2002-12-28 2008-11-26 鸿富锦精密工业(深圳)有限公司 网络设备状态信息显示系统及方法
US7237021B2 (en) * 2003-04-04 2007-06-26 Bluearc Uk Limited Network-attached storage system, device, and method supporting multiple storage device types
US7346664B2 (en) * 2003-04-24 2008-03-18 Neopath Networks, Inc. Transparent file migration using namespace replication
WO2004097624A1 (en) * 2003-04-24 2004-11-11 Neopath Networks, Inc. Large file support for a network file server

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065283A (zh) * 2010-12-23 2011-05-18 杭州华三通信技术有限公司 一种视频监控数据存储管理方法及其装置
CN102065283B (zh) * 2010-12-23 2013-10-02 浙江宇视科技有限公司 一种视频监控数据存储管理方法及其装置
CN102215268A (zh) * 2011-07-14 2011-10-12 北京飞杰信息技术有限公司 一种迁移文件数据的方法和装置
CN102708158A (zh) * 2012-04-23 2012-10-03 杭州梵艺科技有限公司 一种PostgreSQL云存储归档调度系统
CN109362235A (zh) * 2016-05-29 2019-02-19 微软技术许可有限责任公司 对网络可访问存储装置处的事务进行分类
CN109242428A (zh) * 2018-08-31 2019-01-18 邹平县供电公司 一种基于智能移动终端的业务提醒系统及方法
CN113032344A (zh) * 2020-08-25 2021-06-25 广州锦行网络科技有限公司 一种远程登录日志记录的清理方法
CN113032344B (zh) * 2020-08-25 2021-08-27 广州锦行网络科技有限公司 一种远程登录日志记录的清理方法
CN113721854A (zh) * 2021-08-31 2021-11-30 中国建设银行股份有限公司 数据存储方法及装置

Also Published As

Publication number Publication date
EP1934838A2 (en) 2008-06-25
WO2007041456A3 (en) 2007-11-15
EP1934838A4 (en) 2010-07-07
CN101263494B (zh) 2010-12-22
WO2007041456A2 (en) 2007-04-12

Similar Documents

Publication Publication Date Title
CN101263494B (zh) 用于监控与存储网络中的对象相关的事务的方法和装置
US8131689B2 (en) Accumulating access frequency and file attributes for supporting policy based storage management
US20210064476A1 (en) Backup of partitioned database tables
JP4547264B2 (ja) プロキシ・キャッシュに関する装置および方法
US8195627B2 (en) Storage policy monitoring for a storage network
CN105324770B (zh) 有效读出副本
JP4547263B2 (ja) データをネットワーク中で処理する装置および方法
US20070038697A1 (en) Multi-protocol namespace server
US7783615B1 (en) Apparatus and method for building a file system index
US7548959B2 (en) Method for accessing distributed file system
US7805416B1 (en) File system query and method of use
US20070088702A1 (en) Intelligent network client for multi-protocol namespace redirection
US20070055703A1 (en) Namespace server using referral protocols
EP1805665B1 (en) Storage policy monitoring for a storage network
JP4590105B2 (ja) ウェブサーバコンテンツ複製
US20220114064A1 (en) Online restore for database engines
US8135763B1 (en) Apparatus and method for maintaining a file system index
EP1462956A2 (en) Computer system for managing file management information
US10579597B1 (en) Data-tiering service with multiple cold tier quality of service levels
US10909143B1 (en) Shared pages for database copies
JP4273934B2 (ja) ファイルシステム
JP4327869B2 (ja) 分散ファイルシステム、分散ファイルシステムサーバ及び分散ファイルシステムへのアクセス方法
US11714566B2 (en) Customizable progressive data-tiering service
JP4005102B2 (ja) ゲートウェイ装置
JP2003233517A (ja) 文書管理システム、文書管理サーバ、ディレクトリサーバ、クライアント端末及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180404

Address after: California, USA

Patentee after: Cisco Technology, Inc.

Address before: California, USA

Patentee before: VIHANA, Inc.

Effective date of registration: 20180404

Address after: California, USA

Patentee after: VIHANA, Inc.

Address before: California, USA

Patentee before: NEOPATH NETWORKS, Inc.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101222

Termination date: 20201002