CN111309266B - 一种基于ceph的分布式存储元数据系统日志优化系统与方法 - Google Patents

一种基于ceph的分布式存储元数据系统日志优化系统与方法 Download PDF

Info

Publication number
CN111309266B
CN111309266B CN202010110099.6A CN202010110099A CN111309266B CN 111309266 B CN111309266 B CN 111309266B CN 202010110099 A CN202010110099 A CN 202010110099A CN 111309266 B CN111309266 B CN 111309266B
Authority
CN
China
Prior art keywords
log
metadata
ceph
module
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010110099.6A
Other languages
English (en)
Other versions
CN111309266A (zh
Inventor
魏坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010110099.6A priority Critical patent/CN111309266B/zh
Publication of CN111309266A publication Critical patent/CN111309266A/zh
Application granted granted Critical
Publication of CN111309266B publication Critical patent/CN111309266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种基于ceph的分布式存储元数据系统日志优化系统与方法，本发明通过采取新增共享日志的策略来解决性能瓶颈和数据不一致的问题，将一组由网络连接的ceph集群设备作为单个日志共享给数据中心的控制端，在客户端上运行的进程可以将数据添加到共享日志中，也可以从共享日志中读取任意位置的日志记录数据。本发明解决了ceph分布式系统规模较大时存在一定的日志保存问题，以一种更加合理的方式对全局的元数据信息进行管理，提升日志处理流程的性能，降低性能开销，并通过同步解决数据不一致的问题。

Description

一种基于ceph的分布式存储元数据系统日志优化系统与方法
技术领域
本发明涉及分布式存储系统技术领域，特别是一种基于ceph的分布式存储元数据系统日志优化系统与方法。
背景技术
随着互联网业务量的增加、访问量和元数据流量的快速增长，分布式系统各个核心部分的处理强度也相对增大，使系统工作负载增大，在ceph系统中采用一致性CRUSH算法用于元数据分布的计算，在这个过程中，CRUSH算法将METADATE映射到一组MDS中，通过METADATE来划分元数据分区使每个METADATE管理的元数据区间相同，从而保证元数据能够均匀的分布在METADATE上。但是，在实际应用环境中，MDS作为分布式系统所有的元数据管理节点，METADATE只会按照CRUSH算法在MDS上进行伪随机分布，使得出METADATE分布并不能达到完美的均衡，造成有些MDS上分布的METADATE数量较多，有些MDS分布的METADATE数量较少的情况。因此元数据写入分布式文件系统的时候，带来了性能的额外开销，另外如果没有得到及时同步会造成数据不一致的问题。
发明内容
本发明的目的是提供一种基于ceph的分布式存储元数据系统日志优化系统与方法，旨在解决现有技术中元数据管理存在性能开销大以及数据不一致的问题，实现降低性能开销，并通过同步保证数据一致性。
为达到上述技术目的，本发明提供了一种基于ceph的分布式存储元数据系统日志优化系统，所述系统包括：
控制端接收模块，用于在业务端向MDS进行请求时分发进程任务；
用户空间模块，用于创建元数据目录树，并提供查询操作；
操作守护进程模块，用于对flog的请求对象判断是何操作，并对用户空间的元数据目录树进行元数据更新；
日志管理模块，用于对控制端接收模块接收到的业务端请求信息，以及将序列化后的日志提交给操作守护进程模块进行处理；
flog查询模块，用于将日志管理模块提供的日志序列号从共享日志读取到日志记录并交由日志管理模块以及向flog模块查询共享日志的末尾位置序列号；
flog模块，用于存储封装为日志记录的元数据操作信息，并通过定序器对日志记录分发日志序号。
优选地，所述flog模块以副本的存储方式存储在集群中。
优选地，所述日志记录以链表的形式进行追加，以指针的方式返回是否成功写入。
优选地，所述业务端请求最新元数据信息时，查询当前日志记录的末尾位置的序号，如果所述序号大于本地缓存值，则读取所有未读取的日志记录，并进行元数据目录树的更新。
优选地，所述控制端通过查询接口查询相应的元数据信息时，如果元数据信息的最后一次操作的日志序号大于业务端的日志序列号，则将最新的元数据信息返回给业务端，如果两者相同，则向业务端发送已确认最新的状态码。
本发明还提供了一种基于ceph的分布式存储元数据系统日志优化方法，所述方法包括以下步骤：
S1、封装元数据操作信息为日志记录，并通过定序器对日志记录分发日志序号，存储于集群中，并创建元数据目录树；
S2、业务端请求最新元数据信息时，查询当前日志记录的末尾位置的序号，如果所述序号大于本地缓存值，则读取所有未读取的日志记录，并进行元数据目录树的更新；
S3、控制端通过查询接口查询相应的元数据信息时，如果元数据信息的最后一次操作的日志序号大于业务端的日志序列号，则将最新的元数据信息返回给业务端，如果两者相同，则向业务端发送已确认最新的状态码。
优选地，所述日志记录以链表的形式进行追加，以指针的方式返回是否成功写入。
本发明还提供了一种基于ceph的分布式存储元数据系统日志优化设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现所述的基于ceph的分布式存储元数据系统日志优化方法。
本发明还提供了一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现所述的基于ceph的分布式存储元数据系统日志优化方法。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
与现有技术相比，本发明通过采取新增共享日志的策略来解决性能瓶颈和数据不一致的问题，将一组由网络连接的ceph集群设备作为单个日志共享给数据中心的控制端，在客户端上运行的进程可以将数据添加到共享日志中，也可以从共享日志中读取任意位置的日志记录数据。本发明解决了ceph分布式系统规模较大时存在一定的日志保存问题，以一种更加合理的方式对全局的元数据信息进行管理，提升日志处理流程的性能，降低性能开销，并通过同步解决数据不一致的问题。
附图说明
图1为本发明实施例中所提供的一种基于ceph的分布式存储元数据系统日志优化系统框图；
图2为本发明实施例中所提供的一种基于ceph的分布式存储元数据系统日志优化方法流程图。
具体实施方式
为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
下面结合附图对本发明实施例所提供的一种基于ceph的分布式存储元数据系统日志优化系统与方法进行详细说明。
如图1所示，本发明公开了一种基于ceph的分布式存储元数据系统日志优化系统，所述系统包括：
控制端接收模块，用于在业务端向MDS进行请求时分发进程任务；
用户空间模块，用于创建元数据目录树，并提供查询操作；
操作守护进程模块，用于对flog的请求对象判断是何操作，并对用户空间的元数据目录树进行元数据更新；
日志管理模块，用于对控制端接收模块接收到的业务端请求信息，以及将序列化后的日志提交给操作守护进程模块进行处理；
flog查询模块，用于将日志管理模块提供的日志序列号从共享日志读取到日志记录并交由日志管理模块以及向flog模块查询共享日志的末尾位置序列号；
flog模块，用于存储封装为日志记录的元数据操作信息，并通过定序器对日志记录分发日志序号。
本发明实施例基于ceph分布式存储，并引入新型共享日志的处理方式，共享日志的基本思想在于将一组由网络连接的ceph集群设备作为单个日志，共享给数据中心的控制端，并且客户端上运行的进程可以将数据添加到公开日志中，也可以从该公开的日志中读取任意位置的日志记录数据。
MDS是ceph的元数据守护进程，进行元数据的目录树的构建维护和日志的解析。MDS负责将业务端的元数据操作信息封装成日志记录到flog模块，并且可以通过读取日志内容构建元数据目录树并向外提供全局元数据的查询接口。所述flog模块以副本的存储方式存储在集群中，并以f+1副本数实现f个集群节点的容错形式保存对数据操作的日志记录，并通过定序器进行分发日志序号。
每个MDS第一次启动时，均会向flog模块按照顺序读取日志记录，并且通过每一条日志记录在内存中构建元数据目录树。当有业务端的元数据请求时，MDS都会将元数据操作信息打包成日志记录，通过追加的方式添加到flog模块的链表末尾，当添加成功后通过预读操作并更新元数据目录树信息。当接收到业务端查询请求时，MDS直接从构建的元数据目录树倒找相关信息并返回。MDS在更新元数据信息的过程会保存并更新其日志序号，并将这个日志序号作为文件元数据信息的版本号。在业务端进行元数据请求时，并带上版本号的请求，如果此版本号为最新，MDS就会只发送确认为最新的标记，而不是将元数据信息一起附加发送。
在系统处理的底层，将日志按照序号排序并映射到不同的存储单元的一组存储页面上，这种映射关系在每个客户端均保持一致。当要追加新的数据的时候，控制端首先确定可用位置，然后将数据直接写入映射到该存储集群的页面。由于日志均为追加型的方式记录，所以需要确定当前日志的末尾的断点序号，通过引入定序器对日志进行定序，且可避免与其他业务端的争用。对于日志的写入，在默认情况下由控制端驱动的链表完成，控制端会以某种确定性顺序写入每个存储页面，然后等待每个链表顺序写入，并且此链表会以指针的方式返回是否成功写入，另外采用指针链表的方式可以快速跳转链表中的任意位置，以获得更好的性能。
当业务端请求最新的元数据信息时候，MDS将开启由控制端接收模块处理业务端的请求信息，控制端接收模块的请求信息由日志管理模块向flog查询模块查询当前日志的末尾位置的序号，如果该序号大于了本地缓存值，则说明当前数据信息不是最新，通过日志管理模块向flog查询模块读取所有未读取的日志记录，并同时将flog模块中的日志记录交由日志管理模块，通过操作守护进程模块对用户空间的元数据目录树进行更新。待元数据目录树更新完成后，控制端接收模块通过用户空间模块提供的查询接口查询相应的元数据信息，如果得到的元数据信息的最后一次操作的日志序号大于业务端发来的日志序列号，则将最新的元数据信息按照ceph标准协议封装返回给业务端。如果与业务端发来的日志序列号相同，则说明业务端的信息是最新的，只需向业务端发送已确认最新的状态码，在构建的元数据目录树的过程中对于每个文件都保存了其操作的日志记录序号以方便对日志信息进行垃圾回收操作。
本发明实施例通过采取新增共享日志的策略来解决性能瓶颈和数据不一致的问题，将一组由网络连接的ceph集群设备作为单个日志共享给数据中心的控制端，在客户端上运行的进程可以将数据添加到共享日志中，也可以从共享日志中读取任意位置的日志记录数据。本发明解决了ceph分布式系统规模较大时存在一定的日志保存问题，以一种更加合理的方式对全局的元数据信息进行管理，提升日志处理流程的性能，降低性能开销，并通过同步解决数据不一致的问题。
如图2所示，本发明实施例还公开了一种基于ceph的分布式存储元数据系统日志优化方法，所述方法包括以下步骤：
S1、封装元数据操作信息为日志记录，并通过定序器对日志记录分发日志序号，存储于集群中，并创建元数据目录树；
S2、业务端请求最新元数据信息时，查询当前日志记录的末尾位置的序号，如果所述序号大于本地缓存值，则读取所有未读取的日志记录，并进行元数据目录树的更新；
S3、控制端通过查询接口查询相应的元数据信息时，如果元数据信息的最后一次操作的日志序号大于业务端的日志序列号，则将最新的元数据信息返回给业务端，如果两者相同，则向业务端发送已确认最新的状态码。
MDS是ceph的元数据守护进程，进行元数据的目录树的构建维护和日志的解析。MDS负责将业务端的元数据操作信息封装成日志记录到flog模块，并且可以通过读取日志内容构建元数据目录树并向外提供全局元数据的查询接口。所述flog模块以副本的存储方式存储在集群中，并以f+1副本数实现f个集群节点的容错形式保存对数据操作的日志记录，并通过定序器进行分发日志序号。
每个MDS第一次启动时，均会向flog模块按照顺序读取日志记录，并且通过每一条日志记录在内存中构建元数据目录树。当有业务端的元数据请求时，MDS都会将元数据操作信息打包成日志记录，通过追加的方式添加到flog模块的链表末尾，当添加成功后通过预读操作并更新元数据目录树信息。当接收到业务端查询请求时，MDS直接从构建的元数据目录树倒找相关信息并返回。MDS在更新元数据信息的过程会保存并更新其日志序号，并将这个日志序号作为文件元数据信息的版本号。在业务端进行元数据请求时，并带上版本号的请求，如果此版本号为最新，MDS就会只发送确认为最新的标记，而不是将元数据信息一起附加发送。
在系统处理的底层，将日志按照序号排序并映射到不同的存储单元的一组存储页面上，这种映射关系在每个客户端均保持一致。当要追加新的数据的时候，控制端首先确定可用位置，然后将数据直接写入映射到该存储集群的页面。由于日志均为追加型的方式记录，所以需要确定当前日志的末尾的断点序号，通过引入定序器对日志进行定序，且可避免与其他业务端的争用。对于日志的写入，在默认情况下由控制端驱动的链表完成，控制端会以某种确定性顺序写入每个存储页面，然后等待每个链表顺序写入，并且此链表会以指针的方式返回是否成功写入，另外采用指针链表的方式可以快速跳转链表中的任意位置，以获得更好的性能。
当业务端请求最新的元数据信息时候，MDS将开启由控制端接收模块处理业务端的请求信息，控制端接收模块的请求信息由日志管理模块向flog查询模块查询当前日志的末尾位置的序号，如果该序号大于了本地缓存值，则说明当前数据信息不是最新，通过日志管理模块向flog查询模块读取所有未读取的日志记录，并同时将flog模块中的日志记录交由日志管理模块，通过操作守护进程模块对用户空间的元数据目录树进行更新。待元数据目录树更新完成后，控制端接收模块通过用户空间模块提供的查询接口查询相应的元数据信息，如果得到的元数据信息的最后一次操作的日志序号大于业务端发来的日志序列号，则将最新的元数据信息按照ceph标准协议封装返回给业务端。如果与业务端发来的日志序列号相同，则说明业务端的信息是最新的，只需向业务端发送已确认最新的状态码，在构建的元数据目录树的过程中对于每个文件都保存了其操作的日志记录序号以方便对日志信息进行垃圾回收操作。
本发明实施例还公开了一种基于ceph的分布式存储元数据系统日志优化设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现所述的基于ceph的分布式存储元数据系统日志优化方法。
本发明实施例还公开了一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现所述的基于ceph的分布式存储元数据系统日志优化方法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于ceph的分布式存储元数据系统日志优化系统，其特征在于，所述系统包括：
控制端接收模块，用于在业务端向MDS进行请求时分发进程任务；
用户空间模块，用于创建元数据目录树，并提供查询操作；
操作守护进程模块，用于对flog的请求对象判断是何操作，并对用户空间的元数据目录树进行元数据更新；
日志管理模块，用于对控制端接收模块接收到的业务端请求信息，以及将序列化后的日志提交给操作守护进程模块进行处理；
flog查询模块，用于将日志管理模块提供的日志序列号从共享日志读取到日志记录并交由日志管理模块以及向flog模块查询共享日志的末尾位置序列号；
flog模块，用于存储封装为日志记录的元数据操作信息，并通过定序器对日志记录分发日志序号。
2.根据权利要求1所述的一种基于ceph的分布式存储元数据系统日志优化系统，其特征在于，所述flog模块以副本的存储方式存储在集群中。
3.根据权利要求1所述的一种基于ceph的分布式存储元数据系统日志优化系统，其特征在于，所述日志记录以链表的形式进行追加，以指针的方式返回是否成功写入。
4.根据权利要求1所述的一种基于ceph的分布式存储元数据系统日志优化系统，其特征在于，所述业务端请求最新元数据信息时，查询当前日志记录的末尾位置的序号，如果所述序号大于本地缓存值，则读取所有未读取的日志记录，并进行元数据目录树的更新。
5.根据权利要求1所述的一种基于ceph的分布式存储元数据系统日志优化系统，其特征在于，所述控制端通过查询接口查询相应的元数据信息时，如果元数据信息的最后一次操作的日志序号大于业务端的日志序列号，则将最新的元数据信息返回给业务端，如果两者相同，则向业务端发送已确认最新的状态码。
6.一种基于ceph的分布式存储元数据系统日志优化方法，其特征在于，所述方法包括以下步骤：
S1、封装元数据操作信息为日志记录，并通过定序器对日志记录分发日志序号，存储于集群中，并创建元数据目录树；
S2、业务端请求最新元数据信息时，查询当前日志记录的末尾位置的序号，如果所述序号大于本地缓存值，则读取所有未读取的日志记录，并进行元数据目录树的更新；
S3、控制端通过查询接口查询相应的元数据信息时，如果元数据信息的最后一次操作的日志序号大于业务端的日志序列号，则将最新的元数据信息返回给业务端，如果两者相同，则向业务端发送已确认最新的状态码。
7.根据权利要求6所述的一种基于ceph的分布式存储元数据系统日志优化方法，其特征在于，所述日志记录以链表的形式进行追加，以指针的方式返回是否成功写入。
8.一种基于ceph的分布式存储元数据系统日志优化设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序，以实现根据权利要求6或7所述的基于ceph的分布式存储元数据系统日志优化方法。
9.一种可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现根据权利要求6或7所述的基于ceph的分布式存储元数据系统日志优化方法。
CN202010110099.6A 2020-02-23 2020-02-23 一种基于ceph的分布式存储元数据系统日志优化系统与方法 Active CN111309266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010110099.6A CN111309266B (zh) 2020-02-23 2020-02-23 一种基于ceph的分布式存储元数据系统日志优化系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010110099.6A CN111309266B (zh) 2020-02-23 2020-02-23 一种基于ceph的分布式存储元数据系统日志优化系统与方法

Publications (2)

Publication Number Publication Date
CN111309266A CN111309266A (zh) 2020-06-19
CN111309266B true CN111309266B (zh) 2022-07-22

Family

ID=71154750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010110099.6A Active CN111309266B (zh) 2020-02-23 2020-02-23 一种基于ceph的分布式存储元数据系统日志优化系统与方法

Country Status (1)

Country Link
CN (1) CN111309266B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112131145B (zh) * 2020-09-08 2021-11-09 北京易捷思达科技发展有限公司 应用于ceph的缓存方法及装置
CN113297322A (zh) * 2020-10-30 2021-08-24 阿里巴巴集团控股有限公司 数据同步方法、系统以及装置
CN112468601B (zh) * 2021-02-03 2021-05-18 柏科数据技术（深圳）股份有限公司 一种分布式存储系统的数据同步方法、访问方法及系统
CN114491111B (zh) * 2022-02-16 2022-09-16 北京中电兴发科技有限公司 一种用于图片存储的分布式元数据系统
CN116893788B (zh) * 2023-09-08 2024-01-19 苏州浪潮智能科技有限公司 元数据处理方法、硬件加速网卡、系统及可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073489A (zh) * 2009-11-23 2011-05-25 新奥特（北京）视频技术有限公司 一种调试日志生成方法及装置
CN107479994A (zh) * 2016-06-07 2017-12-15 阿里巴巴集团控股有限公司 一种基于分布式软件系统的日志文件处理方法、装置
CN108108476A (zh) * 2018-01-03 2018-06-01 中科边缘智慧信息科技（苏州）有限公司 高可靠分布式日志系统的工作方法
CN110262922B (zh) * 2019-05-15 2021-02-09 中国科学院计算技术研究所 基于副本数据日志的纠删码更新方法及系统

Also Published As

Publication number Publication date
CN111309266A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN111309266B (zh) 一种基于ceph的分布式存储元数据系统日志优化系统与方法
US10725666B2 (en) Memory-based on-demand data page generation
CN105260136B (zh) 数据读写方法及分布式存储系统
US9880933B1 (en) Distributed in-memory buffer cache system using buffer cache nodes
US8396938B2 (en) Providing direct access to distributed managed content
CN109697016B (zh) 用于改进容器的存储性能的方法和装置
CN101964820B (zh) 一种保持数据一致性的方法及系统
US8356050B1 (en) Method or system for spilling in query environments
CN104252501B (zh) 一种执行数据库操作命令的计算设备和方法
US10409804B2 (en) Reducing I/O operations for on-demand demand data page generation
US10909143B1 (en) Shared pages for database copies
US11422872B2 (en) Lock-free method of transmitting hierarchical collections through shared memory
CN113377868A (zh) 一种基于分布式kv数据库的离线存储系统
CN103312624A (zh) 一种消息队列服务系统和方法
US20170351620A1 (en) Caching Framework for Big-Data Engines in the Cloud
CN111797119B (zh) 一种缓存装置、系统及缓存方法
CN114265814A (zh) 一种基于对象存储的数据湖文件系统
CN103491124A (zh) 一种对彩信数据进行处理的方法及分布式缓存系统
CN108920095A (zh) 一种基于crush的数据存储优化方法和装置
US20120209891A1 (en) Database management method, database management system and database management program
CN116155828B (zh) 一种多个虚拟队列的报文保序方法及其装置、存储介质、电子设备
Kent Cache coherence in distributed systems (network, file systems)
US11341163B1 (en) Multi-level replication filtering for a distributed database
US20210132801A1 (en) Optimized access to high-speed storage device
KR100785774B1 (ko) 객체 기반 파일 입출력 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant