CN101187931A - 分布式文件系统多文件副本的管理方法 - Google Patents
分布式文件系统多文件副本的管理方法 Download PDFInfo
- Publication number
- CN101187931A CN101187931A CNA2007101647536A CN200710164753A CN101187931A CN 101187931 A CN101187931 A CN 101187931A CN A2007101647536 A CNA2007101647536 A CN A2007101647536A CN 200710164753 A CN200710164753 A CN 200710164753A CN 101187931 A CN101187931 A CN 101187931A
- Authority
- CN
- China
- Prior art keywords
- copy
- file
- node
- document
- creating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000012423 maintenance Methods 0.000 claims abstract description 11
- 230000007246 mechanism Effects 0.000 claims abstract description 3
- 230000005012 migration Effects 0.000 claims description 6
- 238000013508 migration Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000000644 propagated effect Effects 0.000 claims description 2
- 230000008878 coupling Effects 0.000 abstract description 3
- 238000010168 coupling process Methods 0.000 abstract description 3
- 238000005859 coupling reaction Methods 0.000 abstract description 3
- 230000008901 benefit Effects 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000010076 replication Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 208000010086 Hypertelorism Diseases 0.000 description 1
- 206010020771 Hypertelorism of orbit Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种分布式文件系统多文件副本的管理方法，采用基于频率的副本管理机制，根据文件的读写访问频率和访问来源的信息动态改变文件副本的状态，通过文件副本数量的动态增减和存储位置的迁移；具体包括副本粒度管理、副本创建策略、副本选择和定位、副本的一致性维护方法；文件副本的创建方法包括用户发起的创建和结点发起的创建，采用数据网格的方法和基于利润驱动的策略；副本的定位提供将逻辑文件映射到一个合适的副本上，选择代价最小和访问效率最高的副本提供给用户使用。本发明有益的效果是：提供的服务继承了分布式文件系统的优良特性，包括松散耦合、高可用性、高可靠性和高性价比。
Description
技术领域
本发明涉及文件副本管理技术领域，主要是一种分布式文件系统多文件副本的管理方法。
背景技术
在广域网的服务型分布式存储系统中，每个存储结点都是专门提供服务的服务器，系统的结构不会频繁变化，因此结点的稳定性比较强。然而在发生系统故障或者网络故障时，部分结点会无法提供稳定的文件服务。分布式文件系统的突出特点就是具有位置的透明性和迁移透明性，文件分布保存在不同的存储节点上，这些分布式文件系统基本满足了大规模存储系统的需要。然而在文件访问性能、系统的可靠性和稳定性等诸多方面还存在一定问题。文件的副本可以有效的提高系统的可靠性，在系统中一个或多个副本发生故障时，可以对其他的副本进行操作，保证了系统的可用性。多个副本可以有效的将访问负荷分散到多个服务器上，提供系统负载量的灵活扩展。文件副本同时提供地域上的扩展，在使用文件数据附近的地方存放一个副本，减少了访问的响应时间。
由于副本复制目标，副本复制的粒度和应用环境的差异，传统的简单副本管理方法并不能很好的应用在分布式文件系统中。目前的分布式文件系统具有动态网络环境、海量文件数据和负载均衡等特点，需要针对这些特点，研究满足要求的多文件副本管理方法。
目前国内外副本创建策略的研究中，提出了如Best Client副本创建策略，瀑布副本创建策略，缓存加瀑布创建策略和快速传播副本创建策略，这些策略针对数据网格的特点，如源数据存储于网格系统的顶层结点，网格系统具有层次性的网络拓扑结构。另外一种基于用户驱动的副本创建策略是基于域内副本衍生和域间副本扩展策略，域内副本衍生策略通过在域内衍生副本增加用户的数据访问点以实现域内文件主机的负载均衡性，域间副本扩展策略依据Popular原则即用户访问副本次数驱使副本在域间扩展，减少了用户的访问延迟和带宽消耗。
在副本的一致性维护问题上，Gnutella采用基于洪泛的副本一致性维护算法，更新初始化节点将消息通过广播的方式告诉邻接节点，其邻接节点再将此消息转发到它的下一轮邻接节点，以这种类似广度优先搜索的方式将更新消息传送到网络中所有的副本。有一种基于副本链(Replica Chain)的副本一致性维护算法，更新消息通过副本链传递，网络中每个节点是副本链中的一个点，每次更新消息传递给链中邻近的k个节点，这种方法可以有效地减少冗余消息的产生，但是每个节点必须维护一个周围节点的副本链，在无结构分散P2P网络中，节点只知道其直接相连的邻节点，构造和维护一个副本节点链带来了额外消息交互开销。CFS是采用了chord查找方式的结构化P2P系统，其中存储以文件块为单位，文件块副本放置在通过哈希得到的结点以及该结点在chord环中的k个直接后续上。同时通过系统维护来保证k个后续上始终存在副本，即使有结点加入或退出。由于后续的k个相邻结点在物理地址上不太可能相邻，提高了利用副本的可靠性。用户来下载时，将返回k个副本的地址以及它们到用户的下载速率估计，由用户选择最佳副本进行下载。
当前已有的文件副本创建和一致性维护方法都具有相应的局限性，仅适合于数据网格或结构化的P2P网络，对于分布式文件系统，需要一种灵活的文件副本创建、定位、选择和维护方法。
发明内容
本发明要解决上述技术所存在的缺陷，提供一种分布式文件系统多文件副本的管理方法，弥补当前分布式文件系统副本创建和维护的局限性和不足，对现有的副本管理方法和策略进行改进。
本发明解决其技术问题所采用的技术方案：这种分布式文件系统多文件副本的管理方法，采用基于频率的副本管理机制FRM(Frequency Based Replication Management)，根据文件的读写访问频率和访问来源的信息动态改变文件副本的状态，通过文件副本数量的动态增减和存储位置的迁移，实现最佳的系统服务性能，并减少过多副本占用存储资源的问题。具体包括副本粒度管理、副本创建策略、副本选择和定位、副本的一致性维护方法；文件副本的创建方法包括用户发起的创建和结点发起的创建，这两种创建策略解决了系统缺省创建副本的盲目性和低利用率。本发明采用数据网格的方法和基于利润驱动的策略，解决了分布式文件系统的副本创建问题。副本的定位提供将逻辑文件映射到一个合适的副本上，选择代价最小和访问效率最高的副本提供给用户使用；副本的一致性维护方法采用了订阅副本树的方法管理副本的一致性。
本发明有益的效果是：本发明方法的提供的服务继承了分布式文件系统的优良特性，包括松散耦合、高可用性、高可靠性和高性价比，文件的多副本的冗余机制保证了系统的可靠性和容错特性，提供了多源文件数据的并行传输的特性。具体而言，本发明据有以下特色：
(1)文件副本维护由系统自动完成，无需用户干预，对用户透明。
文件的副本数量过多时，会占用系统存储资源，保持这些副本的同步和一致性需要消耗大量网络资源，同时带来难以管理的问题。副本的数量太少时，文件的可靠性和可用性无法得到保证，对于大量的文件操作，都集中在少数节点上，难以实现操作的负载平衡。系统会根据文件的读写访问频率和访问来源等信息动态改变文件副本的状态，自主选择副本的创建和管理方法，用户无需了解内部实现细节，系统提供给用户的是一个或多个可以快速高效访问的文件副本。
(2)有效节约存储设备成本和管理成本，基于经济的普通服务器实现了高性能大型计算机所具有的数据处理能力。
本发明提供的副本管理方法通过副本存储位置的动态迁移技术和基于用户域的副本创建策略，降低了单位容量数据的存储成本，文件可以通过迁移到高访问的区域，降低对远程网络的访问频率，加快了请求的响应速度，充分利用本地网络的带宽实现低成本的文件服务。
(3)多个副本服务松散耦合，具有很强的容错性和快速的故障恢复能力，使整个系统具有高可用性和高可靠性。
多个文件副本通过副本树建立联系，即使一个副本所在的存储节点出现硬件或者软件故障，整个系统也可以保证文件服务的可用性。
附图说明
图1为本发明的分布式文件系统环境示意图；
图2为用户发起副本创建流程图；
图3为结点发起副本创建流程图；
图4为对副本在Chord环上的分布图；
图5为对副本管理的副本树示意图；
具体实施方式
下面结合附图和实施例对本发明作进一步介绍：
本发明的系统环境如图1所示，整个系统又处在不同地域的文件存储节点构成，各个节点由一个统一的虚拟存储节点进行管理，副本管理模块构建在虚拟存储节点上，用户通过与副本管理模块交互定位到所需的文件副本上。
对于读操作比较多的文件，需要在请求率高的地方建立较多的文件副本，对于写操作和修改操作比较多的文件应该尽量保存较少的副本。因此对每个文件的创建两个计数器，对文件进行了一次读操作时，增加读计数，对文件进行了一次写操作时，增加写计数器。每隔一定的周期，扫描这两个计数器，根据这两个数决定副本的增加或者减少。
图2表示的是有用户发起的副本创建方法。在广域网的环境中，系统缺省创建的副本有可能不能覆盖到部分用户的地域。用户要访问某个文件时，发现自身所在的区域没有文件的副本存在，现存的副本所在节点都距离过远，此时就有必要在用户附近创建副本。本发明利用数据网格中域的概念，将服务器结点按照域划分，每个域都有一个ID，对于每个用户的请求，系统都可以确定请求属于哪个域，对于现存副本过远的情况，用户可以在所在域中选择服务器创建新的文件副本。
用户发起的副本创建具体流程如下：
(1)用户向文件的主副本发出创建副本的请求，在提交请求的过程中包含自己所在域的ID，这个请求将发送到路由表中的结点。
(2)收到请求的结点首先判断本地是否存在这个文件的副本，然后检测域的ID和用户请求ID是否一致，如果这些条件不成立，则拒绝创建副本。
(3)在创建副本之前，先结点是否已经有足够的存储空间，空间足够时就直接创建副本，空间不足时，根据LRU(最近最少使用算法)替换本地中非主副本的文件。
图3表示的是由结点发起的文件副本创建。每个结点基于利润驱动的副本创建策略，由每个结点发起副本创建，可以根据文件的读写计数器来得到文件的访问热度情况，由此来决定是否创建高访问频率的文件的副本来分担负载。对于每个访问热度高的文件，还可以统计出请求多的区域，可以在这些区域上建立文件副本来分流。同时若结点的总负载超过一定阈值时，将通过在其他空闲结点上创建副本将负载分流到其他的结点上，这种局部结点的最优化适合分布式文件系统中节点对等和自组织的特点。
结点发起的文件副本创建具体流程如下：
(1)结点满足创建副本的触发条件后，向路由表中结点发出创建副本请求。
(2)收到请求的结点检查自己是否满足创建条件。
如果流程(2)的条件符合，则进行(3)，否则回复拒绝信息。
(3)计算本地创建副本的利润，选择利润最大的结点创建副本。
用户访问一个文件时，涉及文件副本的定位和选择问题。对于用户来说，文件副本的存在是透明的，副本的定位提供将逻辑文件映射到一个合适的副本上。系统可以确定每个请求所在的域，一般使用用户所在域服务器上的文件副本提供服务，若当前的域上没有所需的文件的副本，则需要用存在该文件副本的最近的域服务器提供服务，若遇到负载高的结点，可以继续寻找负载低的结点来提供服务。当一个文件的请求持续增加超过一定的阈值后，会自动引起副本的生成或者迁移，副本的选择将在众多的副本中选择代价最小和访问效率最高的副本。
图4表示的是文件在Chord环上的分布图，其中深色的结点表示有副本的存在，一个文件映射到了结点N5，沿着Chord环的方向的N6和N8这两个节点上创建了副本。在N5路由表中的第4项即第5+24-1项N13上创建副本，接着在N13后的N14和N15上创建副本。当结点N5失效时，沿着Chord环顺时针的下一个节点N6将成为它的替代者，文件主副本将转移到N6上，路由表中指向N5的结点将指向N6。
分布式文件系统中存在的大量副本需要进行一致性的维护，主要有操作顺序的一致性和更新传播的问题。分布式文件系统的每个逻辑文件都被映射到系统唯一结点的副本上，对这个文件所有的操作都将先找到这个结点，对此副本的操作可以保持顺序的一致性。副本的更新采用二叉副本树进行管理，树的根为主副本，右子结点为副本的失效替代结点，每创建一个副本时，需要订阅该文件的更新服务，将这个结点加入到该文件的副本树中。当一个副本被删除时，要取消订阅的更新通知，主要分为非叶结点和叶结点两种情况。副本的更新从树的顶部向下传播，最后到达叶结点。
图5表示的是副本树的示意图，R5是树的根，它是主副本，右子结点R6为它的替代品，树中的每个节点维护一定的信息，第一项为标识左子结点在路由表中的哪一项或是左子结点的服务器结点编号。第二项为记录父结点存在的服务器的结点编号。第三项为标识右子结点是否存在的布尔值。第四项为标识该结点是否右子结点的布尔值。第五项保存的是冗余信息，用于树结构的维护。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。
Claims (6)
1.一种分布式文件系统多文件副本的管理方法，其特征在于：采用基于频率的副本管理机制，根据文件的读写访问频率和访问来源的信息动态改变文件副本的状态，通过文件副本数量的动态增减和存储位置的迁移；具体包括副本粒度管理、副本创建策略、副本选择和定位、副本的一致性维护方法；文件副本的创建方法包括用户发起的创建和结点发起的创建，采用数据网格的方法和基于利润驱动的策略；副本的定位提供将逻辑文件映射到一个合适的副本上，选择代价最小和访问效率最高的副本提供给用户使用；副本的一致性维护方法采用了订阅副本树的方法管理副本的一致性。
2.根据权利要求1所述的分布式文件系统多文件副本的管理方法，其特征在于：所述的副本粒度管理是：对于读操作比较多的文件，在请求率高的地方建立较多的文件副本，对于写操作和修改操作比较多的文件保存较少的副本；对每个文件的创建两个计数器，对文件进行了一次读操作时，增加读计数，对文件进行了一次写操作时，增加写计数器，每隔一定的周期，扫描这两个计数器，根据这两个数决定副本的增加或者减少。
3.根据权利要求1所述的分布式文件系统多文件副本的管理方法，其特征在于：文件副本的创建方法中将服务器结点按照域划分，每个域都有一个ID，对于每个用户的请求，系统确定请求属于哪个域，对于现存副本过远的情况，用户在所在域中选择服务器创建新的文件副本；
用户发起的副本创建具体流程如下：
(1)用户向文件的主副本发出创建副本的请求，在提交请求的过程中包含自己所在域的ID，这个请求将发送到路由表中的结点；
(2)收到请求的结点首先判断本地是否存在这个文件的副本，然后检测域的ID和用户请求ID是否一致，如果这些条件不成立，则拒绝创建副本；
(3)在创建副本之前，先结点是否已经有足够的存储空间，空间足够时就直接创建副本，空间不足时，根据最近最少使用算法替换本地中非主副本的文件。
4.根据权利要求1所述的分布式文件系统多文件副本的管理方法，其特征在于：结点发起的文件副本创建，每个结点基于利润驱动的副本创建策略，由每个结点发起副本创建，根据文件的读写计数器来得到文件的访问热度情况，由此来决定是否创建高访问频率的文件的副本来分担负载；对于每个访问热度高的文件，统计出请求多的区域，在这些区域上建立文件副本来分流；同时若结点的总负载超过一定阈值时，将通过在其他空闲结点上创建副本将负载分流到其他的结点上。
5.根据权利要求1所述的分布式文件系统多文件副本的管理方法，其特征在于：文件副本的定位和选择中，副本的定位提供将逻辑文件映射到一个合适的副本上，系统确定每个请求所在的域，使用用户所在域服务器上的文件副本提供服务，若当前的域上没有所需的文件的副本，则需要用存在该文件副本的最近的域服务器提供服务，若遇到负载高的结点，则继续寻找负载低的结点来提供服务；当一个文件的请求持续增加超过一定的阈值后，则会引起副本的生成或者迁移，副本的选择将在众多的副本中选择代价最小和访问效率最高的副本。
6.根据权利要求1所述的分布式文件系统多文件副本的管理方法，其特征在于：副本的一致性维护方法中分布式文件系统的每个逻辑文件都被映射到系统唯一结点的副本上，对这个文件所有的操作都将先找到这个结点，对此副本的操作保持顺序的一致性；副本的更新采用二叉副本树进行管理，树的根为主副本，右子结点为副本的失效替代结点，每创建一个副本时，需要订阅该文件的更新服务，将这个结点加入到该文件的副本树中，当一个副本被删除时，要取消订阅的更新通知，分为非叶结点和叶结点两种情况，副本的更新从树的顶部向下传播，最后到达叶结点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2007101647536A CN101187931A (zh) | 2007-12-12 | 2007-12-12 | 分布式文件系统多文件副本的管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2007101647536A CN101187931A (zh) | 2007-12-12 | 2007-12-12 | 分布式文件系统多文件副本的管理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101187931A true CN101187931A (zh) | 2008-05-28 |
Family
ID=39480328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA2007101647536A Pending CN101187931A (zh) | 2007-12-12 | 2007-12-12 | 分布式文件系统多文件副本的管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101187931A (zh) |
Cited By (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101854398A (zh) * | 2010-06-07 | 2010-10-06 | 中兴通讯股份有限公司 | 文件副本均衡分布的方法、装置及系统 |
| CN101860479A (zh) * | 2010-05-11 | 2010-10-13 | 杭州电子科技大学 | 一种改进网格环境中数据传输效率的方法 |
| WO2010148822A1 (zh) * | 2009-12-18 | 2010-12-29 | 中兴通讯股份有限公司 | 基于多副本协同的写操作方法、系统及节点 |
| CN101340458B (zh) * | 2008-07-09 | 2011-03-16 | 南京邮电大学 | 一种基于时间空间局部性的网格数据副本生成方法 |
| CN102033786A (zh) * | 2010-11-04 | 2011-04-27 | 天津曙光计算机产业有限公司 | 一种对象存储系统中修复副本一致性的方法 |
| CN101751309B (zh) * | 2009-12-28 | 2011-06-29 | 北京理工大学 | 数据网格中一种优化的副本分布方法 |
| CN102156730A (zh) * | 2011-04-07 | 2011-08-17 | 江苏省电力公司 | 基于文件存储动态聚合的优化方法 |
| CN101291346B (zh) * | 2008-06-06 | 2012-02-15 | 中国科学院计算技术研究所 | 一种网格文件处理方法及其处理设备 |
| CN101645921B (zh) * | 2009-04-17 | 2012-05-16 | 中国科学院声学研究所 | 一种片段流行度的更新方法 |
| CN102521297A (zh) * | 2011-11-30 | 2012-06-27 | 北京人大金仓信息技术股份有限公司 | 无共享数据库集群中实现系统动态扩展的方法 |
| CN102521351A (zh) * | 2011-12-12 | 2012-06-27 | 浪潮(北京)电子信息产业有限公司 | 基于分布式文件系统实现文件副本管理的方法及装置 |
| CN101645928B (zh) * | 2009-08-26 | 2012-07-25 | 成都市华为赛门铁克科技有限公司 | 内容资源缓存方法、装置及系统 |
| CN101729582B (zh) * | 2008-10-27 | 2012-08-08 | 华为技术有限公司 | 分布式存储的管理方法、装置及系统 |
| CN102752381A (zh) * | 2012-06-28 | 2012-10-24 | 北京邮电大学 | 一种应用于分布式存储的多活动副本机制及其存取方法 |
| CN102819538A (zh) * | 2011-09-28 | 2012-12-12 | 金蝶软件（中国）有限公司 | 多组织架构下的数据分配方法及装置 |
| CN102868725A (zh) * | 2012-08-23 | 2013-01-09 | 广东电子工业研究院有限公司 | 云操作系统分布式存储中文件存储方法 |
| CN102984280A (zh) * | 2012-12-18 | 2013-03-20 | 北京工业大学 | 针对社交类云存储网络应用的数据备份系统和方法 |
| CN103067461A (zh) * | 2012-12-18 | 2013-04-24 | 曙光信息产业(北京)有限公司 | 一种文件的元数据管理系统以及元数据管理方法 |
| CN103095812A (zh) * | 2012-12-29 | 2013-05-08 | 华中科技大学 | 一种基于用户请求响应时间的副本创建方法 |
| CN101706802B (zh) * | 2009-11-24 | 2013-06-05 | 成都市华为赛门铁克科技有限公司 | 一种数据写入、修改及恢复的方法、装置及服务器 |
| CN103425756A (zh) * | 2013-07-31 | 2013-12-04 | 西安交通大学 | 一种hdfs中数据块的副本管理策略 |
| CN103428288A (zh) * | 2013-08-13 | 2013-12-04 | 浙江大学 | 基于分区状态表和协调节点的副本同步方法 |
| CN103488699A (zh) * | 2013-09-04 | 2014-01-01 | 用友软件股份有限公司 | 基于内存数据网格的数据处理装置和方法 |
| CN103593452A (zh) * | 2013-11-21 | 2014-02-19 | 北京科技大学 | 一种基于MapReduce机制的数据密集型成本优化方法 |
| CN103793425A (zh) * | 2012-10-31 | 2014-05-14 | 国际商业机器公司 | 用于分布式系统的数据处理方法及装置 |
| CN103905517A (zh) * | 2012-12-28 | 2014-07-02 | 中国移动通信集团公司 | 一种数据存储方法及设备 |
| WO2016023372A1 (zh) * | 2014-08-14 | 2016-02-18 | 中兴通讯股份有限公司 | 数据存储处理方法及装置 |
| WO2016065611A1 (zh) * | 2014-10-31 | 2016-05-06 | 华为技术有限公司 | 访问文件的方法、系统和主机 |
| WO2016095760A1 (zh) * | 2014-12-18 | 2016-06-23 | 华为技术有限公司 | 数据动态重分布的方法、数据节点、名字节点及系统 |
| CN105827744A (zh) * | 2016-06-08 | 2016-08-03 | 四川新环佳科技发展有限公司 | 云存储平台的数据处理方法 |
| CN105912877A (zh) * | 2016-05-12 | 2016-08-31 | 成都鼎智汇科技有限公司 | 医药产品数据处理方法 |
| WO2016187805A1 (zh) * | 2015-05-26 | 2016-12-01 | 华为技术有限公司 | 一种数据处理方法及装置 |
| CN106302656A (zh) * | 2016-08-01 | 2017-01-04 | 成都鼎智汇科技有限公司 | 云存储平台的医药数据处理方法 |
| CN106534379A (zh) * | 2016-12-30 | 2017-03-22 | 广东浪潮大数据研究有限公司 | 一种云存储环境下基于最大团模型的数据访问策略 |
| CN106980645A (zh) * | 2017-02-24 | 2017-07-25 | 深圳市中博睿存信息技术有限公司 | 一种分布式文件系统架构实现方法和装置 |
| CN107302561A (zh) * | 2017-05-23 | 2017-10-27 | 南京邮电大学 | 一种云存储系统中热点数据副本放置方法 |
| CN108234173A (zh) * | 2016-12-21 | 2018-06-29 | 中国电信股份有限公司 | 节点副本更新方法和装置 |
| CN108319618A (zh) * | 2017-01-17 | 2018-07-24 | 阿里巴巴集团控股有限公司 | 一种分布式存储系统的数据分布控制方法、系统及装置 |
| CN108920282A (zh) * | 2018-08-03 | 2018-11-30 | 北京科技大学 | 一种支持负载均衡的内容副本生成、放置及更新方法 |
| CN110058790A (zh) * | 2018-01-18 | 2019-07-26 | 伊姆西Ip控股有限责任公司 | 用于存储数据的方法、设备和计算机程序产品 |
| CN110362426A (zh) * | 2019-06-21 | 2019-10-22 | 华中科技大学 | 一种面向突发性负载的选择性副本实现方法及系统 |
| CN111651521A (zh) * | 2020-05-27 | 2020-09-11 | 山大地纬软件股份有限公司 | 一种电子合同区块链结构、电子合同签署装置及方法 |
| CN112699094A (zh) * | 2021-03-23 | 2021-04-23 | 中国信息通信研究院 | 文件存储方法、数据检索方法、相应装置及系统 |
| CN113821161A (zh) * | 2020-06-19 | 2021-12-21 | 株式会社日立制作所 | 信息处理装置和方法 |
-
2007
- 2007-12-12 CN CNA2007101647536A patent/CN101187931A/zh active Pending
Cited By (63)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101291346B (zh) * | 2008-06-06 | 2012-02-15 | 中国科学院计算技术研究所 | 一种网格文件处理方法及其处理设备 |
| CN101340458B (zh) * | 2008-07-09 | 2011-03-16 | 南京邮电大学 | 一种基于时间空间局部性的网格数据副本生成方法 |
| CN101729582B (zh) * | 2008-10-27 | 2012-08-08 | 华为技术有限公司 | 分布式存储的管理方法、装置及系统 |
| CN101645921B (zh) * | 2009-04-17 | 2012-05-16 | 中国科学院声学研究所 | 一种片段流行度的更新方法 |
| CN101645928B (zh) * | 2009-08-26 | 2012-07-25 | 成都市华为赛门铁克科技有限公司 | 内容资源缓存方法、装置及系统 |
| CN101706802B (zh) * | 2009-11-24 | 2013-06-05 | 成都市华为赛门铁克科技有限公司 | 一种数据写入、修改及恢复的方法、装置及服务器 |
| WO2010148822A1 (zh) * | 2009-12-18 | 2010-12-29 | 中兴通讯股份有限公司 | 基于多副本协同的写操作方法、系统及节点 |
| CN101751309B (zh) * | 2009-12-28 | 2011-06-29 | 北京理工大学 | 数据网格中一种优化的副本分布方法 |
| CN101860479A (zh) * | 2010-05-11 | 2010-10-13 | 杭州电子科技大学 | 一种改进网格环境中数据传输效率的方法 |
| CN101860479B (zh) * | 2010-05-11 | 2012-07-25 | 杭州电子科技大学 | 一种改进网格环境中数据传输效率的方法 |
| CN101854398B (zh) * | 2010-06-07 | 2014-12-10 | 中兴通讯股份有限公司 | 文件副本均衡分布的方法、装置及系统 |
| CN101854398A (zh) * | 2010-06-07 | 2010-10-06 | 中兴通讯股份有限公司 | 文件副本均衡分布的方法、装置及系统 |
| CN102033786A (zh) * | 2010-11-04 | 2011-04-27 | 天津曙光计算机产业有限公司 | 一种对象存储系统中修复副本一致性的方法 |
| CN102156730B (zh) * | 2011-04-07 | 2013-03-20 | 江苏省电力公司 | 基于文件存储动态聚合的优化方法 |
| CN102156730A (zh) * | 2011-04-07 | 2011-08-17 | 江苏省电力公司 | 基于文件存储动态聚合的优化方法 |
| CN102819538A (zh) * | 2011-09-28 | 2012-12-12 | 金蝶软件（中国）有限公司 | 多组织架构下的数据分配方法及装置 |
| CN102819538B (zh) * | 2011-09-28 | 2016-08-31 | 金蝶软件（中国）有限公司 | 多组织架构下的数据分配方法及装置 |
| CN102521297B (zh) * | 2011-11-30 | 2015-09-09 | 北京人大金仓信息技术股份有限公司 | 无共享数据库集群中实现系统动态扩展的方法 |
| CN102521297A (zh) * | 2011-11-30 | 2012-06-27 | 北京人大金仓信息技术股份有限公司 | 无共享数据库集群中实现系统动态扩展的方法 |
| CN102521351A (zh) * | 2011-12-12 | 2012-06-27 | 浪潮(北京)电子信息产业有限公司 | 基于分布式文件系统实现文件副本管理的方法及装置 |
| CN102752381A (zh) * | 2012-06-28 | 2012-10-24 | 北京邮电大学 | 一种应用于分布式存储的多活动副本机制及其存取方法 |
| CN102868725A (zh) * | 2012-08-23 | 2013-01-09 | 广东电子工业研究院有限公司 | 云操作系统分布式存储中文件存储方法 |
| CN103793425A (zh) * | 2012-10-31 | 2014-05-14 | 国际商业机器公司 | 用于分布式系统的数据处理方法及装置 |
| CN102984280B (zh) * | 2012-12-18 | 2015-05-20 | 北京工业大学 | 针对社交类云存储网络应用的数据备份系统和方法 |
| CN103067461A (zh) * | 2012-12-18 | 2013-04-24 | 曙光信息产业(北京)有限公司 | 一种文件的元数据管理系统以及元数据管理方法 |
| CN102984280A (zh) * | 2012-12-18 | 2013-03-20 | 北京工业大学 | 针对社交类云存储网络应用的数据备份系统和方法 |
| CN103067461B (zh) * | 2012-12-18 | 2016-03-30 | 曙光信息产业(北京)有限公司 | 一种文件的元数据管理系统以及元数据管理方法 |
| CN103905517A (zh) * | 2012-12-28 | 2014-07-02 | 中国移动通信集团公司 | 一种数据存储方法及设备 |
| CN103095812A (zh) * | 2012-12-29 | 2013-05-08 | 华中科技大学 | 一种基于用户请求响应时间的副本创建方法 |
| CN103425756A (zh) * | 2013-07-31 | 2013-12-04 | 西安交通大学 | 一种hdfs中数据块的副本管理策略 |
| CN103425756B (zh) * | 2013-07-31 | 2016-06-29 | 西安交通大学 | 一种hdfs中数据块的副本管理策略 |
| CN103428288B (zh) * | 2013-08-13 | 2016-03-09 | 浙江大学 | 基于分区状态表和协调节点的副本同步方法 |
| CN103428288A (zh) * | 2013-08-13 | 2013-12-04 | 浙江大学 | 基于分区状态表和协调节点的副本同步方法 |
| CN103488699A (zh) * | 2013-09-04 | 2014-01-01 | 用友软件股份有限公司 | 基于内存数据网格的数据处理装置和方法 |
| CN103593452A (zh) * | 2013-11-21 | 2014-02-19 | 北京科技大学 | 一种基于MapReduce机制的数据密集型成本优化方法 |
| CN103593452B (zh) * | 2013-11-21 | 2017-06-13 | 北京科技大学 | 一种基于MapReduce机制的数据密集型成本优化方法 |
| WO2016023372A1 (zh) * | 2014-08-14 | 2016-02-18 | 中兴通讯股份有限公司 | 数据存储处理方法及装置 |
| CN105745640A (zh) * | 2014-10-31 | 2016-07-06 | 华为技术有限公司 | 访问文件的方法、系统和主机 |
| CN105745640B (zh) * | 2014-10-31 | 2018-09-11 | 华为技术有限公司 | 访问文件的方法、系统和主机 |
| US10372336B2 (en) | 2014-10-31 | 2019-08-06 | Huawei Technologies Co., Ltd. | File access method, system, and host |
| WO2016065611A1 (zh) * | 2014-10-31 | 2016-05-06 | 华为技术有限公司 | 访问文件的方法、系统和主机 |
| WO2016095760A1 (zh) * | 2014-12-18 | 2016-06-23 | 华为技术有限公司 | 数据动态重分布的方法、数据节点、名字节点及系统 |
| WO2016187805A1 (zh) * | 2015-05-26 | 2016-12-01 | 华为技术有限公司 | 一种数据处理方法及装置 |
| CN105912877A (zh) * | 2016-05-12 | 2016-08-31 | 成都鼎智汇科技有限公司 | 医药产品数据处理方法 |
| CN105827744A (zh) * | 2016-06-08 | 2016-08-03 | 四川新环佳科技发展有限公司 | 云存储平台的数据处理方法 |
| CN106302656A (zh) * | 2016-08-01 | 2017-01-04 | 成都鼎智汇科技有限公司 | 云存储平台的医药数据处理方法 |
| CN108234173B (zh) * | 2016-12-21 | 2021-05-04 | 中国电信股份有限公司 | 节点副本更新方法和装置 |
| CN108234173A (zh) * | 2016-12-21 | 2018-06-29 | 中国电信股份有限公司 | 节点副本更新方法和装置 |
| CN106534379A (zh) * | 2016-12-30 | 2017-03-22 | 广东浪潮大数据研究有限公司 | 一种云存储环境下基于最大团模型的数据访问策略 |
| CN108319618A (zh) * | 2017-01-17 | 2018-07-24 | 阿里巴巴集团控股有限公司 | 一种分布式存储系统的数据分布控制方法、系统及装置 |
| CN108319618B (zh) * | 2017-01-17 | 2022-05-06 | 阿里巴巴集团控股有限公司 | 一种分布式存储系统的数据分布控制方法、系统及装置 |
| CN106980645A (zh) * | 2017-02-24 | 2017-07-25 | 深圳市中博睿存信息技术有限公司 | 一种分布式文件系统架构实现方法和装置 |
| CN106980645B (zh) * | 2017-02-24 | 2020-09-15 | 北京同有飞骥科技股份有限公司 | 一种分布式文件系统架构实现方法和装置 |
| CN107302561A (zh) * | 2017-05-23 | 2017-10-27 | 南京邮电大学 | 一种云存储系统中热点数据副本放置方法 |
| CN107302561B (zh) * | 2017-05-23 | 2019-08-13 | 南京邮电大学 | 一种云存储系统中热点数据副本放置方法 |
| CN110058790A (zh) * | 2018-01-18 | 2019-07-26 | 伊姆西Ip控股有限责任公司 | 用于存储数据的方法、设备和计算机程序产品 |
| CN110058790B (zh) * | 2018-01-18 | 2022-05-13 | 伊姆西Ip控股有限责任公司 | 用于存储数据的方法、设备和计算机程序产品 |
| CN108920282A (zh) * | 2018-08-03 | 2018-11-30 | 北京科技大学 | 一种支持负载均衡的内容副本生成、放置及更新方法 |
| CN110362426A (zh) * | 2019-06-21 | 2019-10-22 | 华中科技大学 | 一种面向突发性负载的选择性副本实现方法及系统 |
| CN111651521A (zh) * | 2020-05-27 | 2020-09-11 | 山大地纬软件股份有限公司 | 一种电子合同区块链结构、电子合同签署装置及方法 |
| CN111651521B (zh) * | 2020-05-27 | 2023-10-17 | 山大地纬软件股份有限公司 | 一种电子合同区块链结构、电子合同签署装置及方法 |
| CN113821161A (zh) * | 2020-06-19 | 2021-12-21 | 株式会社日立制作所 | 信息处理装置和方法 |
| CN112699094A (zh) * | 2021-03-23 | 2021-04-23 | 中国信息通信研究院 | 文件存储方法、数据检索方法、相应装置及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101187931A (zh) | 分布式文件系统多文件副本的管理方法 | |
| Mansouri et al. | Cost optimization for dynamic replication and migration of data in cloud data centers | |
| CN103268318B (zh) | 一种强一致性的分布式键值数据库系统及其读写方法 | |
| CN103078927B (zh) | 一种key-value数据分布式缓存系统及其方法 | |
| AU2009330067B2 (en) | Asynchronous distributed garbage collection for replicated storage clusters | |
| Monga et al. | ElfStore: A resilient data storage service for federated edge and fog resources | |
| CN103608796A (zh) | 大规模存储系统 | |
| CN102855239A (zh) | 一种分布式地理文件系统 | |
| US20130031221A1 (en) | Distributed data storage system and method | |
| Chen et al. | E2FS: an elastic storage system for cloud computing | |
| Ding et al. | A MapReduce‐supported network structure for data centers | |
| JP6011786B2 (ja) | 分散ストレージシステム、分散ストレージデータ配置制御方法及び分散ストレージデータ配置制御用プログラム | |
| Xu et al. | Adaptive and scalable load balancing for metadata server cluster in cloud-scale file systems | |
| Nguyen et al. | Preserving social locality in data replication for online social networks | |
| Yu et al. | Granary: A sharing oriented distributed storage system | |
| CN107924334A (zh) | 弹性命名分布式循环缓冲区的重新平衡和弹性存储方案 | |
| US9037762B2 (en) | Balancing data distribution in a fault-tolerant storage system based on the movements of the replicated copies of data | |
| Zhao et al. | GreenCHT: A power-proportional replication scheme for consistent hashing based key value storage systems | |
| Khaneghah et al. | A dynamic replication mechanism to reduce response-time of I/O operations in high performance computing clusters | |
| Sun et al. | A lightweight data location service for nondeterministic exascale storage systems | |
| JP2009217602A (ja) | ファイル複製要否判定方法、通信装置、コンピュータプログラム及びピアツーピア型通信システム | |
| Tran | Data storage for social networks: a socially aware approach | |
| CN116737810B (zh) | 一种用于分布式时序数据库的共识服务接口 | |
| Venkatesh et al. | Systematic Approaches to Data Placement, Replication and Migration in Heterogeneous Edge-Cloud Computing Systems: A Comprehensive Literature Review. | |
| CN208459994U (zh) | 光电融合分布式云存储系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20080528 |