CN100518131C - 网格数据副本管理系统 - Google Patents

网格数据副本管理系统 Download PDF

Info

Publication number
CN100518131C
CN100518131C CNB2007100380725A CN200710038072A CN100518131C CN 100518131 C CN100518131 C CN 100518131C CN B2007100380725 A CNB2007100380725 A CN B2007100380725A CN 200710038072 A CN200710038072 A CN 200710038072A CN 100518131 C CN100518131 C CN 100518131C
Authority
CN
China
Prior art keywords
server
copy
unit
data
daily record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2007100380725A
Other languages
English (en)
Other versions
CN101022396A (zh
Inventor
黄林鹏
杨欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CNB2007100380725A priority Critical patent/CN100518131C/zh
Publication of CN101022396A publication Critical patent/CN101022396A/zh
Application granted granted Critical
Publication of CN100518131C publication Critical patent/CN100518131C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种电信技术领域的网格数据副本管理系统,包括:处理服务器、日志库服务器、应用分析服务器、元数据服务器、副本定位服务器、副本选择服务器、副本维护服务器、数据存储器、显示终端。处理服务器接受来自于显示终端或外部应用程序的数据副本管理和数据访问需求,并根据不同的需求同元数据服务器、副本定位服务器及副本选择服务器交互以处理需求;处理服务器同时生成数据访问日志记录处理历史记录,储存于日志库服务器;当日志分析启动条件满足时,应用分析服务器启动日志分析进程,通过分析日志信息,处理产生优化的副本放置策略;副本维护服务器实施上述策略并重组数据副本,更新后的副本的位置信息、衍生过程均通过显示终端呈现给用户。

Description

网格数据副本管理系统
技术领域
本发明涉及的是一种电信技术领域的系统,具体地说是一种网格数据副本管理系统。
背景技术
网格计算环境中存储着大规模的数据,通过对这些大规模数据进行有效地组织和管理,网格为数据密集型应用程序提供了高质量的服务。如何有效地管理网格中的大规模数据成为研究的热点。当前,对网格中的数据管理的研究主要集中在两方面:一方面是通过改进数据传输协议等方式来提高大规模数据传输的性能,另一方面是通过对大规模数据集的复制来提高数据的可用性。其中,数据复制技术被广泛应用。为了提高数据的可用性和访问数据的性能,通常需要对一个大规模数据集创建多个数据副本,并存储在不同的数据节点。这便诞生了对数据副本管理系统的需求。在现行的部分网格数据管理系统中,考虑了数据副本管理系统的实现,然而,这些系统中普遍存在着一些问题如:对数据副本管理系统的设计更多地停留在中间件的层次而没有考虑应用的需求,从而导致其难以适应动态变化的应用需求;对数据副本管理系统的设计更多地关注于一致性模型等的研究而较少考虑副本放置策略以及数据复制和数据传输的结合。基于优化放置的副本能提高应用程序访问数据的效率,因此设计一种按需组织的数据副本管理系统,有效地组织和管理数据副本,为基于网格的数据密集型应用程序提供高质量的服务为现有技术需要解决的问题。
经对现有技术文献的检索发现,Bill Allcock等在《Parallel ComputingJournal》(并行计算期刊)2002年第28期第749至771页上发表的“DataManagement and Transfer in High-Performance Computational GridEnvironments”(高性能计算网格环境下的数据管理和传输)中论述了一种副本管理系统的实现,该系统包含应用程序、元数据服务、副本管理服务、副本选择服务、信息服务等五个组件,其功能是使应用程序能够识别所需数据集的最优存储位置。该系统的不足:(1)不具备用户手工管理数据副本的能力,使得用户无法浏览数据副本存放位置、手工创建副本、手工删除副本、手工迁移副本;(2)不具备按需自动管理数据副本的能力,不能根据应用程序对数据副本的实时访问性能自动地创建、删除和迁移数据副本;(3)不具备在异构的数据存储节点上存储数据副本的能力;(4)不具有友好的图形界面客户端。
发明内容
本发明针对现有技术的不足与缺陷,提供一种管理大规模数据副本的网格副本管理系统,使其将当前的商业智能技术应用到网格计算领域,通过分析应用程序对数据副本的访问日志,智能预测应用程序对数据副本的访问总体需求,并据此实现数据副本的按需优化放置,从而提高了应用程序对数据副本的访问性能,促进了网格计算和数据副本管理的应用和发展。
本发明是通过以下技术方案实现的,本发明包括:处理服务器、日志库服务器、应用分析服务器、元数据服务器、副本定位服务器、副本选择服务器、副本维护服务器、数据存储器、显示终端。显示终端和处理服务器相连,处理服务器同时和日志库服务器、应用分析服务器、元数据服务器、副本定位服务器及副本选择服务器相连,日志库服务器和应用分析服务器相连,应用分析服务器、元数据服务器、副本定位服务器、副本选择服务器均和副本维护服务器相连,副本维护服务器和一个或多个数据存储器连接。处理服务器接受来自于显示终端或外部应用程序的数据副本管理和数据访问需求,并根据不同的需求同元数据服务器、副本定位服务器及副本选择服务器交互以处理需求;处理服务器同时生成数据访问日志记录处理历史记录,将生成的日志传输给日志库服务器并发出日志存储命令,日志库服务器接受到命令后存储日志;当日志分析启动条件满足时,应用分析服务器启动日志分析进程,通过分析日志信息,处理产生优化的副本放置策略;副本维护服务器实施上述策略并重组数据副本;更新后的副本的位置信息、衍生过程等,均通过显示终端呈现给用户。当用户请求数据时或副本维护服务器实施副本放置策略时,数据存储器接受副本维护服务器发出的数据传输控制命令,开启数据存储器与用户之间的或者数据存储器与数据存储器之间的数据传输。
所述处理服务器包括:任务单元和日志生成单元。任务单元和显示终端、元数据服务器、副本定位服务器、副本选择服务器、日志生成单元连接,日志生成单元和日志库服务器、应用分析服务器连接。由用户的输入触发或应用程序的数据访问请求触发任务单元启动任务处理线程,并完成该任务;然后任务处理线程触发日志生成单元根据任务和任务完成情况,生成日志并发送日志存储请求到日志库服务器;最后任务单元将任务完成情况输出到显示终端。
所述日志库服务器包括:日志操作单元和日志存储单元。日志操作单元的输入端连接到处理服务器、应用分析服务器,输出端连接到日志存储单元。日志存储单元仅和日志操作单元连接。日志操作单元首先接受来自输入端的日志操作请求,然后分析操作请求,最后操作日志存储单元执行操作请求。日志库服务器的功能是接受、识别和完成来自输入端的日志操作命令,以及物理位置上日志的存储。
所述应用分析服务器包括:日志读取单元和逻辑推理单元。日志读取单元的输入端连接到日志库服务器,输出端连接到逻辑推理单元,逻辑推理单元的输入端连接到日志读取单元,输出端连接到副本维护服务器。日志读取单元从日志库服务器读取并预处理日志信息。逻辑推理单元应用数据分析、数据挖掘等技术来分析日志读取单元处理后的日志信息,预测应用程序对数据副本的访问需求,推理产生优化的数据副本放置方案。应用分析服务器的工作流程为:日志读取单元从日志库服务器读取日志,对日志预处理,输出到逻辑推理单元;逻辑推理单元分析日志,生成优化的副本放置方案,输出副本放置方案到副本维护服务器由其实施该方案。
所述元数据服务器包括:元数据查询单元、元数据更新单元和元数据存储单元。元数据查询单元和处理服务器、元数据存储单元连接,元数据更新单元和处理服务器、副本维护服务器、元数据存储单元连接,元数据存储单元和元数据查询单元、元数据更新单元连接。元数据服务器的功能是维护数据副本系统内的元数据信息:即查询、更新各个数据副本的逻辑名称和物理名称间的映射。当查询元数据信息时,处理服务器发送请求到元数据查询单元,元数据查询单元操作元数据存储单元,最后元数据查询单元返回查询结果到处理服务器。当更新元数据信息时,首先处理服务器发送请求到元数据更新单元,其次元数据更新单元发送请求到元数据存储单元,再次根据实际操作需要可能由元数据更新单元发送请求到副本维护服务器,最后元数据更新单元返回操作结果到处理服务器。
所述副本定位服务器包括:副本物理位置查询单元、副本物理位置更新单元和副本物理位置存储单元。副本物理位置查询单元连接到处理服务器、副本物理位置存储单元,副本物理位置更新单元连接到处理服务器、副本维护服务器、副本物理位置存储单元,副本物理位置存储单元连接到副本物理位置查询单元、副本物理位置更新单元。副本定位服务器用于查询和更新数据副本的物理名称和其存储的物理位置间的映射。当查询副本物理位置时,处理服务器发送请求到副本物理位置查询单元,副本物理位置查询单元操作和副本物理位置存储单元,最后返回查询结果到处理服务器。当更新副本物理位置时,首先处理服务器发送请求到副本物理位置更新单元,其次副本物理位置更新单元发送请求到副本物理位置存储单元,再次根据实际操作需要可能由副本物理位置更新单元发送请求到副本维护服务器,最后副本物理位置更新单元返回操作结果到处理服务器。
所述副本选择服务器连接到处理服务器、副本维护服务器,用于分析应用程序对位于不同物理位置的多个数据副本的访问性能,并针对各个副本根据其访问性能进行排序。处理服务器将同一个数据副本的多个物理位置发送给副本选择服务器,副本选择服务器连接到副本维护服务器,预测应用程序访问各个数据副本的性能,按照性能好坏对各个副本排序,最后将排序结果返回。
所述副本维护服务器包括:数据传输单元和数据融合单元。数据传输单元和处理服务器、副本维护服务器连接,用于从物理上进行数据传输和数据删除。数据融合单元和处理服务器、副本维护服务器连接,用于融合各种异构存储介质上的数据。这两个单元协作完成了数据副本维护的功能,即:创建数据副本、删除数据副本、迁移数据副本等。
所述数据存储器,是指数据的物理存储对象即:GridFTP服务器、FTP服务器和数据库。在系统中存在着一个或多个数据存储器,每个数据存储器都和副本维护服务器连接,在执行副本维护任务时,参与副本维护的多个数据存储器之间相互连接。
所述显示终端,其中包括管理单元和显示单元。管理单元和显示单元均和处理服务器连接。显示终端以图形用户界面的方式呈现。用户在图形界面下,通过显示终端访问副本管理系统,执行创建副本,删除副本,查询副本,浏览副本位置等操作。
与现有技术相比,本发明的特点在于:既能实现网格环境中数据副本的管理,并提供网格环境下的手动管理副本和按需自动管理副本,又具有用户界面直观可视化的特点,用户可以在图形界面下查看副本的物理位置和衍生过程,且具有兼容性好,可扩展性强,维护开销小的特点。本系统实现了网格环境中数据副本的按需管理,通过实时推理出的优化的副本放置策略,支持了数据的高性能传输和高可用性,提供了应用程序访问数据的性能。
另外本发明提出了一个面向网格环境的数据副本管理系统,其采用分布式架构及面向对象和面向服务模式构建,并基于简单对象访问协议和扩展标记语言等国际标准。本发明系统具有远程管理和处理功能,处理服务器,日志库服务器,应用分析服务器,元数据服务器,副本定位服务器,副本选择服务器,副本维护服务器,数据存储器,显示终端可以位于一台计算机中,也可以是分布在网格环境中的多个节点和多台设备中,易于以即插即用的方式集成和融合至其它网格应用中,能够集成现有基础设施,减少了搭建网格计算应用环境的开销,并适应未来增长需要。
本发明的有益效果如下:
1)智能性:本发明通过分析已有数据访问日志,智能预测应用程序对数据副本的访问需求,从而推导生成优化的副本放置方案;
2)高效性:本发明采用了实时的优化的副本放置方案,以一种良好的方式组织副本,从而提高了应用程序访问数据的效率;
3)灵活性及可定制性:既提供了手动管理数据副本的功能,由提供了智能自动管理副本的功能,便于用户灵活选择,且副本管理策略可由用户自行订制,具有较强的灵活性和可定制性;
4)可扩展性:本发明基于分布式系统,很容易扩展并添加新的数据存储器、元数据服务器、副本定位服务器等至系统中,这使得本系统有着较好的可扩展性;
5)使用及管理方便:用户通过显示终端使用和管理系统,且显示终端基于图形用户界面,界面友好,操作简单,这使得本系统易于使用和管理方便。
附图说明
图1为本发明系统结构框图;
图2为本发明中各个子系统的连接图;
图3为本发明中用户查询数据副本的流程图;
图4为本发明中用户手动管理数据副本的流程图。
图5为本发明中应用程序访问数据副本的流程图。
图6为本发明中按需自动管理数据副本的流程图。
具体实施方式
以下结合附图对本发明的实施例作详细说明:本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和过程,但本发明的保护范围不限于下述的实施例。
如图1所示,本实施例具体包括:处理服务器1、日志库服务器2、应用分析服务器3、元数据服务器4、副本定位服务器5、副本选择服务器6、副本维护服务器7、数据存储器8、显示终端9。
如图2所示,本发明中各个子系统间的连接关系,其中:用户通过显示终端9连接到处理服务器1,应用程序通过接口连接到处理服务器1;处理服务器1连接到日志库服务器2、应用分析服务器3、元数据服务器4、副本定位服务器5、副本选择服务器6;日志库服务器2连接到应用分析服务器3;应用分析服务器3、元数据服务器4、副本定位服务器5、副本选择服务器6都连接到副本维护服务器7;副本维护服务器7连接到一个或多个数据存储器8。
所述的处理服务器1由任务单元、日志生成单元组成,任务单元和显示终端9、元数据服务器4、副本定位服务器5、副本选择服务器6、日志生成单元连接,日志生成单元和日志库服务器2、应用分析服务器3连接,其中任务单元根据显示终端9传输来的用户输入或应用程序访问请求,创建一个任务处理线程,并完成该任务;然后任务处理线程触发日志生成单元根据任务和任务完成情况,生成日志并发送日志存储请求到日志库服务器2;最后任务单元将任务完成情况输出到显示终端9。
所述的日志库服务器2由日志操作单元、日志存储单元组成,日志操作单元的输入端连接到处理服务器1、应用分析服务器3,输出端连接到日志存储单元,日志存储单元仅和日志操作单元连接,其中日志操作单元接受来自处理服务器1和应用分析服务器3的日志操作请求,分析操作请求,最后操作日志存储单元执行请求。
所述的应用分析服务器3由日志读取单元、逻辑推理单元组成,日志读取单元的输入端连接到日志库服务器2,输出端连接到逻辑推理单元,逻辑推理单元的输入端连接到日志读取单元,输出端连接到副本维护服务器7,其中日志读取单元从日志库服务器2读取日志并预处理日志,逻辑推理单元分析日志,生成优化的副本放置方案,并将生成的副本放置方案交由副本维护服务器7实施。
所述的元数据服务器4由元数据查询单元、元数据更新单元、元数据存储单元组成,元数据查询单元和处理服务器1、元数据存储单元连接,元数据更新单元和处理服务器1、副本维护服务器7、元数据存储单元连接,元数据存储单元和元数据查询单元、元数据更新单元连接,其中元数据查询单元接受来自处理服务器1的元数据查询请求,查询元数据存储单元获取元数据信息并返回给处理服务器1。元数据更新单元接受来自处理服务器1的元数据更新请求,更新元数据存储单元,发送消息到副本维护服务器7,最后返回操作结果给处理服务器1。
所述的副本定位服务器5由副本物理位置查询单元、副本物理位置更新单元、副本物理位置存储单元组成,副本物理位置查询单元连接到处理服务器1、副本物理位置存储单元,副本物理位置更新单元连接到处理服务器1、副本维护服务器7、副本物理位置存储单元,副本物理位置存储单元连接到副本物理位置查询单元、副本物理位置更新单元,其中副本物理位置查询单元接受来自处理服务器1的副本定位请求,查询副本物理位置存储单元获取数据副本的物理存放位置,返回查询结果到处理服务器1。副本物理位置更新单元接受来自处理服务器1的副本物理位置更新请求,更新副本物理位置存储单元,发送消息到副本维护服务器7,最后返回操作结果给处理服务器1。
所述的副本维护服务器7由数据传输单元、数据融合单元组成,数据传输单元和处理服务器1、副本维护服务器7连接,用于从物理上进行数据传输和数据删除,其中数据传输单元和数据存储器8相连,将数据从一些存储器传输到另一些存储器中。数据融合单元和数据存储器相连,实现了同一数据副本在多个异构数据存储器中的转换和融合。
所述显示终端9,其中包括管理单元和显示单元。管理单元和显示单元均和处理服务器连接。显示终端以图形用户界面的方式呈现。用户在图形界面下,通过显示终端访问副本管理系统,执行创建副本,删除副本,查询副本,浏览副本位置等操作。
如图3所示,用户浏览和查询副本的实施方式:用户通过显示终端9的显示单元输入副本查询条件时,显示单元发送请求到处理服务器1中的任务单元,任务单元接受到请求后判断请求类型并向元数据服务器4的元数据查询单元发出查询副本命令并由元数据查询单元返回满足条件的副本。之后处理服务器1的任务单元向副本定位服务器5的副本物理位置查询单元发出命令,以查询副本的位置信息,在副本定位服务器5的副本物理位置查询单元返回副本位置信息后,处理服务器1的任务单元触发处理服务器1的日志生成单元,日志生成单元生成该次查询的日志,发送日志存储命令到日志库服务器2的日志操作单元,日志操作单元将日志存储入日志存储单元,之后处理服务器1的任务单元返回副本及其位置信息到显示终端9的显示单元,显示终端在图形界面上显示副本信息,供用户浏览。
如图4所示,用户手工管理副本的实施方式:用户通过显示终端9的管理单元发出副本管理指令即:创建或者删除一个数据副本,处理服务器1的任务单元接受请求,并通过副本定位服务器5的副本物理位置查询单元获取该数据副本所在的物理位置,进而通过副本维护服务器7的数据传输单元更新数据存储器8上的物理位置上的数据。在上述操作完成后,处理服务器1的任务单元触发处理服务器1的日志生成单元,日志生成单元生成该次操作的日志,发送日志存储命令到日志库服务器2的日志操作单元,日志操作单元将日志存储入日志存储单元,之后处理服务器1的任务单元返回操作结果至显示终端9,由显示终端9的显示单元在图形界面上通知用户该次操作结果。
如图5所示,应用程序访问数据副本的实施方式:应用程序向处理服务器1的任务单元发送数据请求,处理服务器1的任务单元查询元数据服务器4的元数据查询单元获取副本的物理文件名,处理服务器1的任务单元再根据物理文件名通过副本定位服务器5的副本物理位置查询单元查询副本的物理位置,当副本存在多个物理位置时,处理服务器1的任务单元通过副本选择服务器7来获取访问效率最高的物理位置,之后记录此次操作的日志,并返回副本数据至应用程序。
如图6所示,按需自动副本管理的实施方式:首先处理服务器1的任务单元预设应用分析服务器3分析启动条件如:每隔固定时间启动一次或日志记录增加一定数量时启动一次。当启动条件满足时,应用分析服务器3的日志读取单元读取日志服务器2中日志记录,并对日志预处理,处理后的日志传递给逻辑推理单元,逻辑推理单元启动数据分析实例并推理生成副本优化放置策略,之后将放置策略交给副本维护服务器7予以实施,副本维护服务器7的数据传输单元向数据存储器8发出数据传输命令,多个数据存储器8之间开始实际的数据传输,待传输完成后,副本维护服务器7通知处理服务器1,由处理服务器1的任务单元通知副本定位服务器5的副本物理位置更新单元更新副本物理位置映射,并记录操作日志。

Claims (9)

1、一种网格数据副本管理系统,包括:处理服务器(1)、日志库服务器(2)、应用分析服务器(3)、元数据服务器(4)、副本定位服务器(5)、副本选择服务器(6)、副本维护服务器(7)、数据存储器(8)、显示终端(9),其特征在于,显示终端(9)和处理服务器(1)相连,处理服务器(1)同时和日志库服务器(2)、应用分析服务器(3)、元数据服务器(4)、副本定位服务器(5)及副本选择服务器(6)相连,日志库服务器(2)和应用分析服务器(3)相连,应用分析服务器(3)、元数据服务器(4)、副本定位服务器(5)、副本选择服务器(6)均和副本维护服务器(7)相连,副本维护服务器(7)和一个或多个数据存储器连接,其中:处理服务器(1)接收来自于显示终端(9)或外部应用程序的数据副本管理和数据访问需求,并根据不同的需求同元数据服务器(4)、副本定位服务器(5)及副本选择服务器(6)交互以处理需求;处理服务器(1)同时生成数据访问日志记录处理历史记录,将生成的日志传输给日志库服务器(2)并发出日志存储命令,日志库服务器(2)接收到命令后存储日志;当日志分析启动条件满足时,应用分析服务器(3)启动日志分析进程,通过分析日志信息,处理产生优化的副本放置策略,副本维护服务器(7)实施上述策略并重组数据副本,更新后的副本的位置信息、衍生过程均通过显示终端(9)呈现给用户;当用户请求数据时或副本维护服务器(7)实施副本放置策略时,数据存储器(8)接收副本维护服务器(7)发出的数据传输控制命令,开启数据存储器(8)与用户之间的或者数据存储器(8)与数据存储器(8)之间的数据传输。
2、根据权利要求1所述的网格数据副本管理系统,其特征是,所述的处理服务器(1)包括任务单元、日志生成单元,任务单元和显示终端(9)、元数据服务器(4)、副本定位服务器(5)、副本选择服务器(6)、日志生成单元连接,日志生成单元和日志库服务器(2)、应用分析服务器(3)连接,其中任务单元根据显示终端(9)传输来的用户输入或应用程序访问请求,创建一个任务处理线程,并完成该任务,然后任务处理线程触发日志生成单元根据任务和任务完成情况,生成日志并发送日志存储请求到日志库服务器(2),最后任务单元将任务完成情况输出到显示终端(9)。
3、根据权利要求1所述的网格数据副本管理系统,其特征是,所述的日志库服务器(2)包括日志操作单元、日志存储单元,日志操作单元的输入端连接到处理服务器(1)、应用分析服务器(3),输出端连接到日志存储单元,日志存储单元仅和日志操作单元连接,其中日志操作单元接收来自处理服务器(1)和应用分析服务器(3)的日志操作请求,分析操作请求,最后操作日志存储单元执行请求。
4、根据权利要求1所述的网格数据副本管理系统,其特征是,所述的应用分析服务器(3)包括日志读取单元、逻辑推理单元,日志读取单元的输入端连接到日志库服务器(2),输出端连接到逻辑推理单元,逻辑推理单元的输入端连接到日志读取单元,输出端连接到副本维护服务器(7),其中日志读取单元从日志库服务器(2)读取日志并预处理日志,逻辑推理单元分析日志,生成优化的副本放置方案,并将生成的副本放置方案交由副本维护服务器(7)实施。
5、根据权利要求1所述的网格数据副本管理系统,其特征是,所述的元数据服务器(4)包括数据查询单元、元数据更新单元、元数据存储单元,元数据查询单元和处理服务器(1)、元数据存储单元连接,元数据更新单元和处理服务器(1)、副本维护服务器(7)、元数据存储单元连接,元数据存储单元和元数据查询单元、元数据更新单元连接,其中元数据查询单元接收来自处理服务器(1)的元数据查询请求,查询元数据存储单元获取元数据信息并返回给处理服务器(1),元数据更新单元接收来自处理服务器(1)的元数据更新请求,更新元数据存储单元,发送消息到副本维护服务器(7),最后返回操作结果给处理服务器(1)。
6、根据权利要求1所述的网格数据副本管理系统,其特征是,所述的副本定位服务器(5)包括副本物理位置查询单元、副本物理位置更新单元、副本物理位置存储单元,副本物理位置查询单元连接到处理服务器(1)、副本物理位置存储单元,副本物理位置更新单元连接到处理服务器(1)、副本维护服务器(7)、副本物理位置存储单元,副本物理位置存储单元连接到副本物理位置查询单元、副本物理位置更新单元,其中副本物理位置查询单元接收来自处理服务器(1)的副本定位请求,查询副本物理位置存储单元获取数据副本的物理存放位置,返回查询结果到处理服务器(1),副本物理位置更新单元接收来自处理服务器(1)的副本物理位置更新请求,更新副本物理位置存储单元,发送消息到副本维护服务器(7),最后返回操作结果给处理服务器(1)。
7、根据权利要求1所述的网格数据副本管理系统,其特征是,所述副本选择服务器(6),用于分析应用程序对位于不同物理位置的多个数据副本的访问性能,并针对各个副本根据其访问性能进行排序,处理服务器(1)将同一个数据副本的多个物理位置发送给副本选择服务器(6),副本选择服务器(6)连接到副本维护服务器(7),预测应用程序访问各个数据副本的性能,按照性能好坏对各个副本排序,最后将排序结果返回。
8、根据权利要求1所述的网格数据副本管理系统,其特征是,所述数据存储器(8),是指数据的物理存储对象即:GridFTP服务器、FTP服务器和数据库,在系统中存在着一个或多个数据存储器,每个数据存储器都和副本维护服务器(7)连接,在执行副本维护任务时,参与副本维护的多个数据存储器之间相互连接。
9、根据权利要求1所述的网格数据副本管理系统,其特征是,所述显示终端(9),其中包括管理单元和显示单元,管理单元和显示单元均和处理服务器(1)连接,显示终端(9)以图形用户界面的方式呈现,用户在图形界面下,通过显示终端(9)访问副本管理系统,执行创建副本、删除副本、查询副本、浏览副本位置操作。
CNB2007100380725A 2007-03-15 2007-03-15 网格数据副本管理系统 Expired - Fee Related CN100518131C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2007100380725A CN100518131C (zh) 2007-03-15 2007-03-15 网格数据副本管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2007100380725A CN100518131C (zh) 2007-03-15 2007-03-15 网格数据副本管理系统

Publications (2)

Publication Number Publication Date
CN101022396A CN101022396A (zh) 2007-08-22
CN100518131C true CN100518131C (zh) 2009-07-22

Family

ID=38710052

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2007100380725A Expired - Fee Related CN100518131C (zh) 2007-03-15 2007-03-15 网格数据副本管理系统

Country Status (1)

Country Link
CN (1) CN100518131C (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101232540B (zh) * 2008-02-21 2012-04-04 中兴通讯股份有限公司 系统间消息交互方法及消息交互系统

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101188521B (zh) * 2007-12-05 2010-07-14 北京金山软件有限公司 一种挖掘用户行为数据的方法和网站服务器
CN101599810B (zh) * 2008-06-06 2013-06-05 博通集成电路(上海)有限公司 差错掩盖装置及方法
CN101340458B (zh) * 2008-07-09 2011-03-16 南京邮电大学 一种基于时间空间局部性的网格数据副本生成方法
CN102025758B (zh) * 2009-09-18 2014-06-04 华为数字技术(成都)有限公司 分布式系统中数据副本的恢复方法、装置和系统
CN101751309B (zh) * 2009-12-28 2011-06-29 北京理工大学 数据网格中一种优化的副本分布方法
CN101841556B (zh) * 2010-02-23 2013-01-30 中国科学院计算技术研究所 Cdn-p2p网络中放置资源副本的方法及系统
CN102480513B (zh) * 2010-11-29 2014-09-10 国际商业机器公司 在社交网络中辅助传递更新内容的装置和方法
CN102110139B (zh) * 2011-01-27 2013-09-25 浪潮通信信息系统有限公司 一种应用于电信领域地理网格的分析方法
CN102497394B (zh) * 2011-11-28 2014-01-15 中国科学院研究生院 一种基于最优化模型的内容分发网络中副本文件放置方法
CN102801772B (zh) * 2012-03-07 2015-05-27 武汉理工大学 一种云计算环境中面向DCell网络的节能副本放置方法
CN103077189B (zh) * 2012-12-20 2016-01-20 中国电力科学研究院 一种面向大电网的并行实时数据库节点定位系统
CN105574205B (zh) * 2016-01-18 2019-03-19 国家电网公司 分布式计算环境的日志动态分析系统
US10838819B2 (en) 2017-01-18 2020-11-17 Microsoft Technology Licensing, Llc Including personal relationship metadata within duplicated resources shared across partitioned storage
US10542088B2 (en) * 2017-01-18 2020-01-21 Microsoft Technology Licensing, Llc Modifying data resources within party-partitioned storage areas
CN107105050B (zh) * 2017-05-11 2020-01-31 北京奇艺世纪科技有限公司 一种业务对象的存储、下载方法及系统
CN110740168B (zh) * 2019-09-24 2022-06-03 安徽大学 云中多租户服务器的自适应方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101232540B (zh) * 2008-02-21 2012-04-04 中兴通讯股份有限公司 系统间消息交互方法及消息交互系统

Also Published As

Publication number Publication date
CN101022396A (zh) 2007-08-22

Similar Documents

Publication Publication Date Title
CN100518131C (zh) 网格数据副本管理系统
CN102855239B (zh) 一种分布式地理文件系统
CN100547583C (zh) 数据库的自动和动态提供的方法
RU2507567C2 (ru) Многопользовательское сетевое сотрудничество
CN101866305B (zh) 支持数据查询和快速恢复的连续数据保护方法及系统
US6182111B1 (en) Method and system for managing distributed data
CN104573068A (zh) 一种基于大数据的信息处理方法
CN102779185B (zh) 一种高可用分布式全文索引方法
AU2004267742B2 (en) Automatic and dynamic provisioning of databases
EP1932322B1 (en) System and method to maintain coherence of cache contents in a multi-tier software system aimed at interfacing large databases
CN105243155A (zh) 一种大数据抽取和交换系统
CN103605698A (zh) 一种用于分布异构数据资源整合的云数据库系统
JP2012098934A (ja) 文書管理システム、文書管理システムの制御方法、プログラム
CN103581332A (zh) HDFS架构及HDFS架构中NameNode节点的压力分解方法
CN102546674A (zh) 一种基于网络存储装置的目录树缓存系统及方法
CN105407044B (zh) 一种基于nfs的云存储网关系统的实现方法
Ratner et al. Peer replication with selective control
CN114647716A (zh) 一种泛化数据仓库
CN114265814A (zh) 一种基于对象存储的数据湖文件系统
CN113312345A (zh) 结合Kubernetes和Ceph的遥感数据存储系统、存储及检索方法
Ye Research on the key technology of big data service in university library
CN110929126A (zh) 一种基于远程过程调用实现的分布式爬虫调度方法
Jolfaei et al. Improvement of job scheduling and tow level data replication strategies in data grid
CN113760453B (zh) 容器镜像分发系统及容器镜像推送、拉取和删除方法
CN112380164B (zh) 基于快照技术的电力系统场景化数据管理方法、装置及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090722

Termination date: 20120315