CN108009029A - 基于Ignite网格缓存数据解耦持久化的方法及系统 - Google Patents
基于Ignite网格缓存数据解耦持久化的方法及系统 Download PDFInfo
- Publication number
- CN108009029A CN108009029A CN201711244103.2A CN201711244103A CN108009029A CN 108009029 A CN108009029 A CN 108009029A CN 201711244103 A CN201711244103 A CN 201711244103A CN 108009029 A CN108009029 A CN 108009029A
- Authority
- CN
- China
- Prior art keywords
- data
- queue
- producer
- catalogue
- ignite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开基于Ignite网格缓存数据解耦持久化的方法及系统，系统包括一数据库以及与数据库连接多个服务器，每个服务器包括多个服务节点、多个文件队列目录和客户端节点，每个服务节点、文件队列目录和客户端节点之间分别一一对应设置，客户端节点每个服务节点上设有多个缓存，每个缓存创建一个与对应的生产者，文件队列目录上对应每个生产者建有一个与之对应的队列目录，缓存用于将其更新的数据发送给对应的生产者，生产者用于数据的更新、包装以及将包装好的数据写入对应队列目录下的数据文件。本发明将Ignite缓存和数据库进行解耦，提高缓存处理的速度和集群的吞吐量；避免数据库对集群的影响，提高集群的稳定性。
Description
技术领域
本发明涉及大数据处理领域，尤其涉及基于Ignite网格缓存数据解耦持久化的方法及系统。
背景技术
Apache Ignite 内存数组组织框架是一个高性能、集成和分布式的内存计算和事务平台，用于大规模的数据集处理，比传统的基于磁盘或闪存的技术具有更高的性能，同时他还为应用和不同的数据源之间提供高性能、分布式内存中数据组织管理的功能。
在Apache Ignite的数据网格中，通写（write through）功能意味着当缓存更新时会自动地进行持久化，将数据持久化到数据库中。当前，Ignite数据网格的通写方式是一种缓存和数据库紧耦合的通写方式。即使在开启批量通写的后写（write behind）功能场景中，如果缓存中存储大量的数据并且频繁更新缓存，那么数据持久化到数据库的速度将会影响整个Ignite集群的效率和性能；而且数据库的异常行为也会影响到Ignite集群的稳定性。如果在缓存和数据库之间引入非一体化MQ，外部MQ故障时数据会丢失，也增加外部MQ带来的管理复杂度。
发明内容
本发明为了解决Apache Ignite的数据网格中现有缓存通写方式因数据库而影响Ignite集群的效率和性能，造成Ignite集群不稳定的问题，提供基于Ignite网格缓存数据解耦持久化的方法及系统，将在缓存和数据库之间引入一个类似生产者-消费者方式的本地消息系统，即生产者先把缓存更新的数据通写到本地文件，然后消费者将本地文件中的数据写入数据库。同时生产者与Ignite的服务节点是一体化的，避免由于故障造成的数据丢失。而本地消息系统将使用内存映射文件的技术来提高读写文件的速度。通过引入一个本地消息系统作为中间层，不仅将缓存和数据库进行了解耦合，降低了数据库对于Ignite集群效率和性能的影响；还避免了数据库异常造成Ignite集群不稳定的后果；同时提高了Ignite的业务处理速度。
本发明采用的技术方案是：
基于Ignite网格缓存数据解耦持久化系统，其包括一数据库以及与数据库连接多个服务器，每个服务器包括多个服务节点、多个文件队列目录和客户端节点，每个服务节点、文件队列目录和客户端节点之间分别一一对应设置，客户端节点每个服务节点上设有多个缓存，每个缓存创建一个与对应的生产者，文件队列目录上对应每个生产者建有一个与之对应的队列目录，缓存用于将其更新的数据发送给对应的生产者，生产者用于数据的更新、包装以及将包装好的数据写入对应队列目录下的数据文件。
生产者与服务节点共享同一个Java虚拟机（JVM），进程内通信速度快；一体化绑定启动，崩溃时也同时重启，容错性好。
生产者对数据的更新包括数据添加和数据删除。
基于Ignite网格缓存数据解耦持久化的方法，其包括以下步骤：
S1:在Ignite的服务节点启动时，该服务节点创建一个与之对应的文件队列目录供消息系统使用，并且在文件队列目录下为当前服务节点中每一个开启通写的缓存创建与之对应的队列子目录；
S2:缓存在首次进行更新数据之前会先创建一个与之对应的生产者，生产者使用缓存名称将缓存与文件队列子目录进行关联；缓存将需要更新的数据发送至与之对应的生产者，生产者对数据进行更新，并对数据本身进行包装；
S3:生产者将包装好的数据写入对应队列子目录下的数据文件中；
S4:Ignite的客户端节点启动时，首先在文件队列目录中搜索所有还未被其他消费者消费的队列子目录，然后为每一个搜索到队列子目录创建一个对应的消费者来消费，消费者和队列子目录是一对一的关系；
S5:消费者在消费队列子目录下的内容之前，先读取最新的消费进度（即偏移量offset），若内容为空，则从消费进度零点的位置开始消费；否则，从最新的消费进度位置开始消费；
S6:消费者从消费队列子目录得到的数据中获取缓存的数据更新和待更新的缓存数据，并将缓存数据更新到数据库中。
S7:消费队列子目录中的文件数据成功更新到数据库中后，将结合消费进度（即偏移量offset）进行清理操作，以释放硬盘空间 。
本发明采用以上技术方案，引入一个由生产者、队列目录和消费者构成的轻量级的本地文件消息系统，将Ignite写入数据库的数据解耦放置在硬盘上，在提升Ignite自身处理速度的同时，也最大化保障写入数据库安全（仅受限于硬盘大小）。本地文件消息系统与Ignite的服务节点是一体化的，共享一个JVM，进程内通信速度快，管理简单。本地文件消息系统和Ignite 服务节点绑定同时启停，容错性好。本专利提出的技术方案相对于现有最接近技术，具备以下优点：1、将Ignite缓存和数据库进行解耦，提高缓存处理的速度和集群的吞吐量；避免数据库对集群的影响，提高集群的稳定性。2、使用一体化文件队列，在保证数据不丢失的同时，避免引入外部MQ带来的管理复杂度提升。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明基于Ignite网格缓存数据解耦持久化的系统框架示意图；
图2为本发明基于Ignite网格缓存数据解耦持久化的方法流程示意图。
具体实施方式
如图1或2所示，本发明公开了基于Ignite网格缓存数据解耦持久化系统，其包括一数据库以及与数据库连接多个服务器，每个服务器包括多个服务节点、多个文件队列目录和客户端节点，每个服务节点、文件队列目录和客户端节点之间分别一一对应设置，客户端节点每个服务节点上设有多个缓存，每个缓存创建一个与对应的生产者，文件队列目录上对应每个生产者建有一个与之对应的队列目录，缓存用于将其更新的数据发送给对应的生产者，生产者用于数据的更新、包装以及将包装好的数据写入对应队列目录下的数据文件。
生产者与服务节点共享同一个Java虚拟机（JVM）。进程内通信速度快；一体化绑定启动，崩溃时也同时重启，容错性好。
生产者对数据的更新包括数据添加和数据删除。
基于Ignite网格缓存数据解耦持久化的方法，其包括以下步骤：
S1:在Ignite的服务节点启动时，该服务节点创建一个与之对应的文件队列目录供消息系统使用，并且在文件队列目录下为当前服务节点中每一个开启通写的缓存创建与之对应的队列子目录；
S2:缓存在首次进行更新数据之前会先创建一个与之对应的生产者，生产者使用缓存名称将缓存与文件队列子目录进行关联；缓存将需要更新的数据发送至与之对应的生产者，生产者对数据进行更新，并对数据本身进行包装；
S3:生产者将包装好的数据写入对应队列子目录下的数据文件中；
S4:Ignite的客户端节点启动时，首先在文件队列目录中搜索所有还未被其他消费者消费的队列子目录，然后为每一个搜索到队列子目录创建一个对应的消费者来消费，消费者和队列子目录是一对一的关系；
S5:消费者在消费队列子目录下的内容之前，先读取最新的消费进度（即偏移量offset），若内容为空，则从消费进度零点的位置开始消费；否则，从最新的消费进度位置开始消费；
S6:消费者从消费队列子目录得到的数据中获取缓存的数据更新和待更新的缓存数据，并将缓存数据更新到数据库中；
S7:消费队列子目录中的文件数据成功更新到数据库中后，将结合消费进度（即偏移量offset）进行清理操作，以释放硬盘空间 。
具体地，如图2所示，服务器1表示一台主机；Server节点表示Ignite的服务节点；cache表示分布在Ignite服务节点的缓存，用于存储数据；Client节点表示Ignite的客户端节点。图中，Server节点、文件队列目录和Client节点两两之间是一对一的关系；cache、生产者、队列目录和消费者两两之间也是一对一的关系。
1、在Ignite的server节点启动时，该节点会在workspace目录下以自身的consistentId（server节点重启时，consistentId是不变的）作为目录名创建一个与之对应的文件队列目录，比如图中Server节点1对应文件队列目录1；并且在文件队列目录下为当前server节点中每一个开启通写的cache创建与之对应的队列目录，目录名称为cache的cacheName，比如图中cache_1对应文件队列目录1中的队列1目录；同时在workspace目录下创建一个元数据文件和一个锁文件，元数据文件用于存储文件队列目录名（即server节点的consistentId）和client节点的nodeId之间的对应关系，两者的关系以key=value的形式存在，key表示文件队列目录名，value表示client的nodeId；锁文件用于保证同一时刻只有持有锁的client节点才能访问元数据文件，起到一个排他锁的作用。
2、cache在进行首次更新数据之前会先创建一个与之对应的生产者，比如cache_1对应生产者1，生产者使用cacheName将cache和文件队列目录下的队列目录进行关联；①cache会将缓存中更新的数据发送给与之对应的生产者，以便生产者对数据更新的行为（如添加，删除等）和数据本身进行包装。
3、②生产者将步骤2包装好的数据写入对应队列目录下的数据文件中。生产者与Ignite的Server共享同个JVM，进程内通信速度快；一体化绑定启动，崩溃时也同时重启，容错性好。
4、在Ignite的client节点启动时，该节点首先获取workspace目录下的锁文件的访问权限；然后读取workspace目录下元数据文件的内容；如果元数据文件的内容为空，则表示workspace目录下的所有文件队列目录未被任何client节点领取，那么领取任意一个文件队列目录，并将文件队列目录名（即consistentId）和当前client节点的nodeId以key=value的形式写入元数据文件，表示当前client节点将消费该文件队列目录下的内容；如果元数据文件的内容不为空，获取集群中所有存活client的nodeId的集合，根据nodeId集合获取元数据文件中所有正在被消费的文件队列目录（根据consistentId对应的client的nodeId是否存活进行判断）即存活的文件队列目录，然后根据已存活的文件队列目录获取workspace目录下所有还未被消费的文件队列目录，领取任意一个文件队列目录，将文件队列目录名和当前client节点的nodeId以key=value的形式写入元数据文件中；释放锁文件表示的锁；最后得到当前client所要消费的文件队列目录的路径；
5、client节点为步骤4得到的文件队列目录下的每一个队列目录创建一个对应的消费者来消费队列目录下的内容，消费者和队列目录是一对一的关系，比如队列1目录被消费者1消费。③消费者在消费队列目录下的内容之前，需要创建一个用于记录消费者消费进度（即偏移量offset）的文件；消费者每次开始消费队列目录下的数据时，需要先读取最新的消费进度，如果内容为空，则从offset=0的位置开始消费，否则从最新offset的位置开始消费。同时，在成功消费对应offset上的数据时，需要将offset更新到记录消费进度的文件中；默认情况下，数据消费失败，则需要从失败的位置开始再消费直至成功消费；如果设置了跳过失败数据，则数据消费失败时，直接消费下一条数据。
6、④消费者从③中得到的数据获取缓存的更新行为（如添加，删除等）和待更新的缓存数据，并将缓存的数据更新到数据库中。
7、消费队列子目录中的文件数据成功更新到数据库中后，将结合消费进度（即偏移量offset）进行清理操作，以释放硬盘空间。
本发明采用以上技术方案，引入一个由生产者、队列目录和消费者构成的轻量级的本地文件消息系统，将Ignite写入数据库的数据解耦放置在硬盘上，在提升Ignite自身处理速度的同时，也最大化保障写入数据库安全（仅受限于硬盘大小）。本地文件消息系统与Ignite的服务节点是一体化的，共享一个JVM，进程内通信速度快，管理简单。本地文件消息系统和Ignite 服务节点绑定同时启停，容错性好。本专利提出的技术方案相对于现有最接近技术，具备以下优点：1、将Ignite缓存和数据库进行解耦，提高缓存处理的速度和集群的吞吐量；避免数据库对集群的影响，提高集群的稳定性。2、使用一体化文件队列，在保证数据不丢失的同时，避免引入外部MQ带来的管理复杂度提升。
Claims (4)
1.基于Ignite网格缓存数据解耦持久化系统，其特征在于：其包括一数据库以及与数据库连接多个服务器，每个服务器包括多个服务节点、多个文件队列目录和客户端节点，每个服务节点、文件队列目录和客户端节点之间分别一一对应设置，客户端节点每个服务节点上设有多个缓存，每个缓存创建一个与对应的生产者，文件队列目录上对应每个生产者建有一个与之对应的队列目录，缓存用于将其更新的数据发送给对应的生产者，生产者用于数据的更新、包装以及将包装好的数据写入对应队列目录下的数据文件。
2.根据权利要求1所述的基于Ignite网格缓存数据解耦持久化的方法及系统，其特征在于：所述生产者与服务节点共享同一个Java虚拟机。
3.根据权利要求1所述的基于Ignite网格缓存数据解耦持久化的方法及系统，其特征在于：所述生产者对数据的更新包括数据添加和数据删除。
4.基于Ignite网格缓存数据解耦持久化方法，其特征在于：其包括以下步骤：
S1:在Ignite的服务节点启动时，该服务节点创建一个与之对应的文件队列目录供消息系统使用，并且在文件队列目录下为当前服务节点中每一个开启通写的缓存创建与之对应的队列子目录；
S2:缓存在首次进行更新数据之前会先创建一个与之对应的生产者，生产者使用缓存名称将缓存与文件队列子目录进行关联；缓存将需要更新的数据发送至与之对应的生产者，生产者对数据进行更新，并对数据本身进行包装；
S3:生产者将包装好的数据写入对应队列子目录下的数据文件中；
S4:Ignite的客户端节点启动时，首先在文件队列目录中搜索所有还未被其他消费者消费的队列子目录，然后为每一个搜索到队列子目录创建一个对应的消费者来消费，消费者和队列子目录是一对一的关系；
S5:消费者在消费队列子目录下的内容之前，先读取最新的消费进度，若内容为空，则从消费进度零点的位置开始消费；否则，从最新的消费进度位置开始消费；
S6:消费者从消费队列子目录得到的数据中获取缓存的数据更新和待更新的缓存数据，并将缓存数据更新到数据库中；
S7:消费队列子目录中的文件数据成功更新到数据库中后，将结合消费进度进行清理操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711244103.2A CN108009029B (zh) | 2017-11-30 | 2017-11-30 | 基于Ignite网格缓存数据解耦持久化的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711244103.2A CN108009029B (zh) | 2017-11-30 | 2017-11-30 | 基于Ignite网格缓存数据解耦持久化的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108009029A true CN108009029A (zh) | 2018-05-08 |
| CN108009029B CN108009029B (zh) | 2022-01-04 |
Family
ID=62055828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711244103.2A Active CN108009029B (zh) | 2017-11-30 | 2017-11-30 | 基于Ignite网格缓存数据解耦持久化的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108009029B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108874541A (zh) * | 2018-06-05 | 2018-11-23 | 中国平安人寿保险股份有限公司 | 分布式运算方法、装置、计算机设备及存储介质 |
| CN109254853A (zh) * | 2018-07-24 | 2019-01-22 | 福建星网视易信息系统有限公司 | 数据共享方法、数据共享系统及计算机可读存储介质 |
| CN109766194A (zh) * | 2018-11-29 | 2019-05-17 | 南瑞集团有限公司 | 基于消息的低耦合计划任务组件的实现方法及其系统 |
| CN110389957A (zh) * | 2019-07-24 | 2019-10-29 | 深圳市盟天科技有限公司 | 基于分库分表的文件生成方法、装置、存储介质及设备 |
| CN112256709A (zh) * | 2020-09-28 | 2021-01-22 | 中孚安全技术有限公司 | 一种专用机体系下的数据读取方法、系统及设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010063328A (ko) * | 1999-12-22 | 2001-07-09 | 조영화 | 안전한 도메인 네임 시스템(ｄｎｓ)에서의전송제어프로토콜(ｔｃｐ) 질의/응답 처리를 위한 존 정보접근 제어방법 및 네이밍 서비스 서버 |
| US20040010499A1 (en) * | 2002-07-02 | 2004-01-15 | Sybase, Inc. | Database system with improved methods for asynchronous logging of transactions |
| CN102760126A (zh) * | 2011-04-26 | 2012-10-31 | 阿里巴巴集团控股有限公司 | 一种分布式系统中的数据同步方法和分布式系统 |
| US20140372489A1 (en) * | 2013-06-12 | 2014-12-18 | Oracle International Corporation | In-database sharded queue for a shared-disk database |
| CN104754036A (zh) * | 2015-03-06 | 2015-07-01 | 合一信息技术（北京）有限公司 | 一种基于kafka的消息处理系统及处理方法 |
| CN105068864A (zh) * | 2015-07-24 | 2015-11-18 | 北京京东尚科信息技术有限公司 | 处理异步消息队列的方法及系统 |
| CN105323297A (zh) * | 2014-06-26 | 2016-02-10 | 赛贝斯股份有限公司 | 零数据丢失传输协议 |
| CN105610947A (zh) * | 2015-12-30 | 2016-05-25 | 青岛海尔智能家电科技有限公司 | 一种高可用分布式队列服务实现方法、装置和系统 |
| CN106980678A (zh) * | 2017-03-30 | 2017-07-25 | 温馨港网络信息科技（苏州）有限公司 | 基于zookeeper技术的数据分析方法及系统 |
| CN107092533A (zh) * | 2017-03-29 | 2017-08-25 | 弘成科技发展有限公司 | 基于ActiveMQ+Redis的同步消息队列 |
| CN107291779A (zh) * | 2016-04-12 | 2017-10-24 | 百度在线网络技术（北京）有限公司 | 缓存数据管理方法及装置 |
-
2017
- 2017-11-30 CN CN201711244103.2A patent/CN108009029B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010063328A (ko) * | 1999-12-22 | 2001-07-09 | 조영화 | 안전한 도메인 네임 시스템(ｄｎｓ)에서의전송제어프로토콜(ｔｃｐ) 질의/응답 처리를 위한 존 정보접근 제어방법 및 네이밍 서비스 서버 |
| US20040010499A1 (en) * | 2002-07-02 | 2004-01-15 | Sybase, Inc. | Database system with improved methods for asynchronous logging of transactions |
| CN102760126A (zh) * | 2011-04-26 | 2012-10-31 | 阿里巴巴集团控股有限公司 | 一种分布式系统中的数据同步方法和分布式系统 |
| US20140372489A1 (en) * | 2013-06-12 | 2014-12-18 | Oracle International Corporation | In-database sharded queue for a shared-disk database |
| CN105323297A (zh) * | 2014-06-26 | 2016-02-10 | 赛贝斯股份有限公司 | 零数据丢失传输协议 |
| CN104754036A (zh) * | 2015-03-06 | 2015-07-01 | 合一信息技术（北京）有限公司 | 一种基于kafka的消息处理系统及处理方法 |
| CN105068864A (zh) * | 2015-07-24 | 2015-11-18 | 北京京东尚科信息技术有限公司 | 处理异步消息队列的方法及系统 |
| CN105610947A (zh) * | 2015-12-30 | 2016-05-25 | 青岛海尔智能家电科技有限公司 | 一种高可用分布式队列服务实现方法、装置和系统 |
| CN107291779A (zh) * | 2016-04-12 | 2017-10-24 | 百度在线网络技术（北京）有限公司 | 缓存数据管理方法及装置 |
| CN107092533A (zh) * | 2017-03-29 | 2017-08-25 | 弘成科技发展有限公司 | 基于ActiveMQ+Redis的同步消息队列 |
| CN106980678A (zh) * | 2017-03-30 | 2017-07-25 | 温馨港网络信息科技（苏州）有限公司 | 基于zookeeper技术的数据分析方法及系统 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108874541A (zh) * | 2018-06-05 | 2018-11-23 | 中国平安人寿保险股份有限公司 | 分布式运算方法、装置、计算机设备及存储介质 |
| CN109254853A (zh) * | 2018-07-24 | 2019-01-22 | 福建星网视易信息系统有限公司 | 数据共享方法、数据共享系统及计算机可读存储介质 |
| CN109766194A (zh) * | 2018-11-29 | 2019-05-17 | 南瑞集团有限公司 | 基于消息的低耦合计划任务组件的实现方法及其系统 |
| CN109766194B (zh) * | 2018-11-29 | 2021-02-05 | 南瑞集团有限公司 | 基于消息的低耦合计划任务组件的实现方法及其系统 |
| CN110389957A (zh) * | 2019-07-24 | 2019-10-29 | 深圳市盟天科技有限公司 | 基于分库分表的文件生成方法、装置、存储介质及设备 |
| CN112256709A (zh) * | 2020-09-28 | 2021-01-22 | 中孚安全技术有限公司 | 一种专用机体系下的数据读取方法、系统及设备 |
| CN112256709B (zh) * | 2020-09-28 | 2023-06-20 | 中孚安全技术有限公司 | 一种专用机体系下的数据读取方法、系统及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108009029B (zh) | 2022-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108009029A (zh) | 基于Ignite网格缓存数据解耦持久化的方法及系统 | |
| CN102521269B (zh) | 一种基于索引的计算机连续数据保护方法 | |
| CN101866305B (zh) | 支持数据查询和快速恢复的连续数据保护方法及系统 | |
| CN106066896B (zh) | 一种应用感知的大数据重复删除存储系统及方法 | |
| CN102035881B (zh) | 一种云端存储系统的数据缓存方法 | |
| CN102855239B (zh) | 一种分布式地理文件系统 | |
| CN103179185B (zh) | 一种分布式文件系统客户端缓存中文件创建方法及其系统 | |
| US9110909B2 (en) | File level hierarchical storage management system, method, and apparatus | |
| CN103020315B (zh) | 一种基于主从分布式文件系统的海量小文件存储方法 | |
| CN102662992B (zh) | 一种海量小文件的存储、访问方法及装置 | |
| US9690823B2 (en) | Synchronizing copies of an extent in an append-only storage system | |
| CN103138912B (zh) | 数据同步方法及系统 | |
| CN101997911B (zh) | 一种数据迁移的方法及系统 | |
| JP2019036353A (ja) | 索引更新パイプライン | |
| US10296518B2 (en) | Managing distributed deletes in a replicated storage system | |
| CN107045422A (zh) | 分布式存储方法和设备 | |
| US9772783B2 (en) | Constructing an index to facilitate accessing a closed extent in an append-only storage system | |
| US20150254320A1 (en) | Using colocation hints to facilitate accessing a distributed data storage system | |
| CN104281506A (zh) | 一种文件系统的数据维护方法及系统 | |
| CN101188544A (zh) | 分布式文件服务器基于缓冲区的文件传输方法 | |
| CN108667904A (zh) | 一种Docker容器远程内存卷管理方法和系统 | |
| CN103902479A (zh) | 一种基于元数据日志的元数据缓存快速重建机制 | |
| US9720607B2 (en) | Append-only storage system supporting open and closed extents | |
| CN100424699C (zh) | 一种属性可扩展的对象文件系统 | |
| CN103501319A (zh) | 一种低延迟的面向小文件的分布式存储系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230306 Address after: 350000 12, 89 Avenue, Wufeng street, Gulou District, Fuzhou, Fujian. Patentee after: CHINATELECOM FUFU INFORMATION TECHNOLOGY Co.,Ltd. Patentee after: Tianyiyun Technology Co.,Ltd. Address before: 350000 12, 89 Avenue, Wufeng street, Gulou District, Fuzhou, Fujian. Patentee before: CHINATELECOM FUFU INFORMATION TECHNOLOGY Co.,Ltd. |