CN111339044A - 分布式文件系统日志提交方法、装置、设备及存储介质 - Google Patents
分布式文件系统日志提交方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111339044A CN111339044A CN202010105026.8A CN202010105026A CN111339044A CN 111339044 A CN111339044 A CN 111339044A CN 202010105026 A CN202010105026 A CN 202010105026A CN 111339044 A CN111339044 A CN 111339044A
- Authority
- CN
- China
- Prior art keywords
- log
- data
- file system
- distributed file
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000012544 monitoring process Methods 0.000 claims description 11
- 238000004806 packaging method and process Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012423 maintenance Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 8
- 238000001514 detection method Methods 0.000 abstract description 3
- 230000007774 longterm Effects 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000005538 encapsulation Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请公开了分布式文件系统日志提交方法,该方法引入了日志写入相互覆盖的检测机制,在日志进行落盘操作时进行写入覆盖的实时判断,可以避免日志持续写入覆盖导致的日志解析失败的问题,在判定发生写入覆盖时,确定待落盘数据的正确写入位置,并控制待落盘数据根据正确写入位置进行日志落盘处理,可以保证每个日志都按照非覆盖的正确写入位置进行落盘,引导日志写入覆盖向正确写入循环,保证系统的长期可持续运行。本申请还提供了一种分布式文件系统日志提交装置、设备及一种可读存储介质,具有上述有益效果。
Description
技术领域
本申请涉及电子技术领域,特别涉及一种分布式文件系统日志提交方法、装置、设备及一种可读存储介质。
背景技术
分布式文件存储系统中采用日志先写机制,用来保证数据的一致性,日志先写机制指所有的操作先写入日志,再写入文件系统。一个分布式存储集群中,具有多个mds(metadata server,元数据服务),比如3主3备mds的集群,rank id(mds的rank号)为rank0,rank 1,rank 2,共同提供元数据服务。
在某些特殊的情况下,可能会出现两个mds具有相同的rank id,比如一个具有mdsrank1节点的网络断开,该节点上的mds rank1仍然存在,其他节点的备用mds会接管rank1,当断开网络的节点连接网络时系统中就会出现两个rank 1。
而基于现有机制两个相同rank id的mds会发生journal日志落盘时互相覆盖的问题,比如:进行写操作,此时系统发生故障,可能会写入一半,而目前的日志先写机制规定保证要么完全写入数据,要么不写数据,当故障解决之后,会读取journal日志,解析完成journal之后,会进行相关操作,一旦磁盘中journal日志发生损坏并发生mds重启,mds重启过程中的replay阶段会产生无法解析损坏的日志文件的错误,严重影响系统的使用。
发明内容
本申请的目的是提供一种分布式文件系统日志提交方法,该方法可以保证journal日志正确落盘,不会发生损坏,提升产品稳定性;本申请的另一目的是提供一种分布式文件系统日志提交装置、设备及一种可读存储介质。
为解决上述技术问题,本申请提供一种分布式文件系统日志提交方法,包括:
确定待写入日志,并对所述待写入日志进行日志封装处理,得到封装后的待落盘数据;
对所述待落盘数据执行落盘操作,并实时判断是否发生写入覆盖;
若判定发生写入覆盖,确定所述待落盘数据的正确写入位置;
控制所述待落盘数据根据所述正确写入位置进行日志落盘处理。
可选地,所述实时判断是否发生写入覆盖,包括:
实时获取所述待落盘数据的即将写入位置以及正确写入位置;
判断所述即将写入位置是否大于所述正确写入位置;
若是,判定未发生写入覆盖;
若否,判定发生写入覆盖。
可选地,所述确定所述待落盘数据的正确写入位置,包括:
维护全局right_pos;
根据所述全局right_pos确定所述待落盘数据的正确写入位置。
可选地,所述分布式文件系统日志提交方法还包括:若判定发生写入覆盖,控制底层存储返回错误信息。
可选地,在对所述待落盘数据执行落盘操作之前,还包括:
判断所述待落盘数据是否大于最大日志条目数量或最大字节数;
若是,对所述待落盘数据执行落盘操作,具体为:对所述待落盘数据分若干次执行落盘操作;
若否,执行对所述待落盘数据执行落盘操作的步骤。
本申请公开一种分布式文件系统日志提交装置,包括:
数据封装单元,用于确定待写入日志,并对所述待写入日志进行日志封装处理,得到封装后的待落盘数据;
落盘监控单元,用于对所述待落盘数据执行落盘操作,并实时判断是否发生写入覆盖;
位置确定单元,用于若判定发生写入覆盖,确定所述待落盘数据的正确写入位置;
落盘处理单元,用于控制所述待落盘数据根据所述正确写入位置进行日志落盘处理。
可选地,所述落盘监控单元包括:落盘启动单元以及覆盖判断单元,其中,用于实时判断是否发生写入覆盖的所述覆盖判断单元包括:
位置确定子单元,用于实时获取所述待落盘数据的即将写入位置以及正确写入位置;
位置判断子单元,用于判断所述即将写入位置是否大于所述正确写入位置;
第一判定子单元,用于若所述即将写入位置大于所述正确写入位置,判定未发生写入覆盖;
第二判定子单元,用于若所述即将写入位置不大于所述正确写入位置,判定发生写入覆盖。
可选地,所述位置确定单元包括:
维护子单元,用于维护全局right_pos;
确定子单元,用于根据所述全局right_pos确定所述待落盘数据的正确写入位置。
本申请公开一种分布式文件系统日志提交设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现所述的分布式文件系统日志提交方法的步骤。
本申请公开一种可读存储介质,所述可读存储介质上存储有程序,所述程序被处理器执行时实现所述分布式文件系统日志提交方法的步骤。
本申请所提供的分布式文件系统日志提交方法,该方法引入了日志写入相互覆盖的检测机制,在日志进行落盘操作时进行写入覆盖的实时判断,可以避免日志持续写入覆盖导致的日志解析失败的问题,在判定发生写入覆盖时,确定待落盘数据的正确写入位置,并控制待落盘数据根据正确写入位置进行日志落盘处理,可以保证每个日志都按照非覆盖的正确写入位置进行落盘,引导日志写入覆盖向正确写入循环,保证系统的长期可持续运行。
本申请还提供了一种分布式文件系统日志提交装置、设备及一种可读存储介质,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种分布式文件系统日志提交方法的流程图;
图2为本申请实施例提供的一种分布式文件系统日志提交装置的结构框图;
图3为本申请实施例提供的一种分布式文件系统日志提交设备的结构示意图。
具体实施方式
本申请的核心是提供一种分布式文件系统日志提交方法,该方法可以保证journal日志正确落盘,不会发生损坏,提升产品稳定;本申请的另一核心是提供一种分布式文件系统日志提交装置、设备及一种可读存储介质。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参考图1,图1为本实施例提供的分布式文件系统日志提交方法的流程图,该方法主要包括:
步骤s110、确定待写入日志,并对待写入日志进行日志封装处理,得到封装后的待落盘数据;
本步骤中对于如何确定待落盘数据,以及如何对待落盘数据进行日志封装处理的实现过程不做限定,可以参照现有技术中的实现方式。
步骤s120、对待落盘数据执行落盘操作,并实时判断是否发生写入覆盖;
对待落盘数据执行落盘操作,而具体的落盘操作本身可以参照现有实现步骤。
现有的日志提交方法,只会写入,不能够检测写入成功与否,就是说journal相互覆盖也不会检测到,为避免日志写入覆盖导致的日志损坏导致无法解析,影响系统的正常运行等威胁系统安全稳定运行的情况发生,本申请中在对待落盘数据执行落盘操作过程时,引入写入覆盖的判断机制,即在进行落盘操作的同时,判断写入的日志是否发生写入覆盖。在日志进行落盘操作时进行写入覆盖的实时判断,可以避免日志持续写入覆盖导致的日志解析失败的问题,有效保证系统运行的安全性以及稳定性。而写入覆盖尽量在日志真正写入之前完成,以避免对原始数据的损坏。
本实施例中对于具体的判断是否发生写入覆盖的实现过程不做限定,可以实现写入覆盖的判断即可,比如可以通过写入地址是否重复实现判定,也可以通过判断新写入的空间是否为空实现判定等。
可选地,一种实时判断是否发生写入覆盖的实现方式如下,具体包括如下几个步骤:
(1)待写入的日志的即将写入位置以及正确写入位置;
(2)判断即将写入位置是否大于正确写入位置;
(3)若是,判定未发生写入覆盖;
(4)若否,判定发生写入覆盖。
上述方式通过写入位置的大小进行判定,可以保证日志的依次顺序写入,保证journal日志顺序落盘,不会发生损坏,实现方式简单,算法容易实现,可以提升产品稳定性。本实施例中仅以上述实现方式为例进行详细介绍,其它基于本申请的写入覆盖判断实现机制均可参照上述介绍,在此不再赘述。
步骤s130、若判定发生写入覆盖,确定待落盘数据的正确写入位置;
步骤s140、控制待落盘数据根据正确写入位置进行日志落盘处理。
若判定发生写入覆盖,为避免写入覆盖对于原始数据以及新数据的损坏,保证系统的长期稳定运行,需要消除写入覆盖对于系统运行的影响,本申请中采用判定发生写入覆盖时确定待落盘数据的正确写入位置,并控制待落盘数据根据正确写入位置进行日志落盘处理,该方式可以保证每个日志都按照正确的写入位置进行日志落盘操作,消除写入覆盖的影响。
需要说明的是,本实施例中确定待落盘数据的正确写入位置的具体实现方式不做限定,正确的写入位置可以由用户指定,也可以预先设置一定的写入位置规则,根据写入位置规则进行相应的配置。可选地,一种确定待落盘数据的正确写入位置的实现方式具体包括如下步骤:
(1)维护全局right_pos;
(2)根据全局right_pos确定待落盘数据的正确写入位置。
每次数据写入之后,维护一个全局的right_pos,而并非某个rank的right_pos,根据该right_pos可以确定待落盘数据的正确写入位置,该方式实现步骤简单,且正确位置确定速度快,可以提升写入覆盖的响应速度。本实施例中仅以上述确定方式为例进行详细介绍,其它实现方式均可参照上述介绍,在此不再赘述。
进一步地,为实现写入覆盖情况的后续分析统计,可选地,在判定发生写入覆盖后,控制底层存储返回错误信息,以便于后续对于写入覆盖情况的分析统计,为系统后续优化提供条件。
由于有些情况下待落盘的日志数据量可能会很大,影响落盘效率,为提升整体落盘效率,可选地,在对待落盘数据执行落盘操作之前,可以进一步执行以下步骤:
(1)判断待落盘数据是否大于最大日志条目数量或最大字节数;
(2)若是,对待落盘数据执行落盘操作,具体为:对待落盘数据分若干次执行落盘操作;
(3)若否,执行对待落盘数据执行落盘操作的步骤。
判断将要落盘的数据是否大于最大日志条目数量或最大字节数,如果大于,则分多次落盘,保证落盘实现效率。
而本申请中对于判定未发生写入覆盖的执行方式不做限定,可以(按照传统数据落盘方式)对待落盘数据执行落盘操作并持续执行写入覆盖的判断,直至落盘操作结束,也可以直接(按照传统数据落盘方式)对待落盘数据执行落盘操作直至落盘操作结束,如图1所示,具体地可以根据实际使用需要进行设置,在此不再赘述。
基于上述介绍,本实施例提供的分布式文件系统日志提交方法引入了日志写入相互覆盖的检测机制,在日志进行落盘操作时进行写入覆盖的实时判断,可以避免日志持续写入覆盖导致的日志解析失败的问题,在判定发生写入覆盖时,确定待落盘数据的正确写入位置,并控制待落盘数据根据正确写入位置进行日志落盘处理,可以保证每个日志都按照非覆盖的正确写入位置进行落盘,引导日志写入覆盖向正确写入循环,保证系统的长期可持续运行。
为加深对上述实施例中介绍的分布式文件系统日志提交方法的实现过程的理解,本实施例中对日志从封装到落盘的整体实现过程进行介绍,其它基于本申请的实现过程均可参照本实施例的介绍。
(1)目标rank的mds在写journal之前加writeq_lock锁(写队列锁)。
(2)journal数据结构体write_item加入队列writeq(待写入的日志队列)中。其中结构体write_item包含日志的序号、日志的内容bufferlist(用于存储二进制数据)、日志的长度、操作的跟踪等信息。
(3)写线程write_thread持续从队列writeq中取出write_item,并将write_item打包成bufferlist类型。
(4)journal数据的前面和后面添加head_t数据结构,对journal进行封装,Unlockwriteq_lock锁,head_t包含日志的全局信息,包含日志的最大size,日志的起始地址。
(5)分布式文件存储系统对封装的journal进行落盘。
具体地,落盘具体包括如下几个步骤:
(5.1)判断将要落盘的数据是否大于最大日志条目数量或最大字节数。如果大于,则分多次落盘。
(5.2)落盘时,当发生journal写入覆盖时,底层存储返回一个错误信息,同时,附带一个正确的写入位置right_pos。
(5.3)journal日志获取正确的写入位置right_pos,并更新自身信息(包括即将写入位置)。
(5.4)根据正确写入位置right_pos进行journal落盘。
本实施例介绍的分布式文件系统日志提交方法在journal(日志)上维护一个安全的落盘位置,当发生journal写入覆盖时返回一个错误信息,同时通知写入端该journal的正确写入位置,保证下次journal的正确写入。从而保证了在异常情况下journal的正常写入,防止journal的损坏和数据丢失,保证每次落盘时journal不会发生覆盖,从而极大的保证了存储系统的稳定性,对于后续问题的定位提供了便利。
请参考图2,图2为本实施例提供的分布式文件系统日志提交装置的结构框图;该装置可以包括:数据封装单元210、落盘监控单元220、位置确定单元230以及落盘处理单元240。本实施例提供的分布式文件系统日志提交装置可与上述分布式文件系统日志提交方法相互对照。
其中,数据封装单元210主要用于确定待写入日志,并对待写入日志进行日志封装处理,得到封装后的待落盘数据;
落盘监控单元220主要用于对待落盘数据执行落盘操作,并实时判断是否发生写入覆盖;
位置确定单元230主要用于若判定发生写入覆盖,确定待落盘数据的正确写入位置;
落盘处理单元240主要用于控制待落盘数据根据正确写入位置进行日志落盘处理。
可选地,落盘监控单元包括:落盘启动单元以及覆盖判断单元,其中,用于实时判断是否发生写入覆盖的覆盖判断单元包括:
位置确定子单元,用于实时获取待落盘数据的即将写入位置以及正确写入位置;
位置判断子单元,用于判断即将写入位置是否大于正确写入位置;
第一判定子单元,用于若即将写入位置大于正确写入位置,判定未发生写入覆盖;
第二判定子单元,用于若即将写入位置不大于正确写入位置,判定发生写入覆盖。
可选地,位置确定单元包括:
维护子单元,用于维护全局right_pos;
确定子单元,用于根据全局right_pos确定待落盘数据的正确写入位置。
本实施例提供一种分布式文件系统日志提交设备,主要包括:存储器以及处理器。
其中,存储器用于存储程序;
处理器用于执行程序时实现如上述实施例介绍的分布式文件系统日志提交方法的步骤,具体可参照上述分布式文件系统日志提交方法的介绍。
请参考图3,为本实施例提供的分布式文件系统日志提交设备的结构示意图,该分布式文件系统日志提交设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)322(例如,一个或一个以上处理器)和存储器332,一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中,存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对数据处理设备中的一系列指令操作。更进一步地,中央处理器322可以设置为与存储介质330通信,在分布式文件系统日志提交设备301上执行存储介质330中的一系列指令操作。
分布式文件系统日志提交设备301还可以包括一个或一个以上电源326,一个或一个以上有线或无线网络接口350,一个或一个以上输入输出接口358,和/或,一个或一个以上操作系统341,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上面图1所描述的分布式文件系统日志提交方法中的步骤可以由本实施例介绍的分布式文件系统日志提交设备的结构实现。
本实施例公开一种可读存储介质,其上存储有程序,程序被处理器执行时实现如上述实施例介绍的分布式文件系统日志提交方法的步骤,具体可参照上述实施例中对分布式文件系统日志提交方法的介绍。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的分布式文件系统日志提交方法、装置、设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (10)
1.一种分布式文件系统日志提交方法,其特征在于,包括:
确定待写入日志,并对所述待写入日志进行日志封装处理,得到封装后的待落盘数据;
对所述待落盘数据执行落盘操作,并实时判断是否发生写入覆盖;
若判定发生写入覆盖,确定所述待落盘数据的正确写入位置;
控制所述待落盘数据根据所述正确写入位置进行日志落盘处理。
2.如权利要求1所述的分布式文件系统日志提交方法,其特征在于,所述实时判断是否发生写入覆盖,包括:
实时获取所述待落盘数据的即将写入位置以及正确写入位置;
判断所述即将写入位置是否大于所述正确写入位置;
若是,判定未发生写入覆盖;
若否,判定发生写入覆盖。
3.如权利要求1所述的分布式文件系统日志提交方法,其特征在于,所述确定所述待落盘数据的正确写入位置,包括:
维护全局right_pos;
根据所述全局right_pos确定所述待落盘数据的正确写入位置。
4.如权利要求1所述的分布式文件系统日志提交方法,其特征在于,还包括:若判定发生写入覆盖,控制底层存储返回错误信息。
5.如权利要求1所述的分布式文件系统日志提交方法,其特征在于,在对所述待落盘数据执行落盘操作之前,还包括:
判断所述待落盘数据是否大于最大日志条目数量或最大字节数;
若是,对所述待落盘数据执行落盘操作,具体为:对所述待落盘数据分若干次执行落盘操作;
若否,执行对所述待落盘数据执行落盘操作的步骤。
6.一种分布式文件系统日志提交装置,其特征在于,包括:
数据封装单元,用于确定待写入日志,并对所述待写入日志进行日志封装处理,得到封装后的待落盘数据;
落盘监控单元,用于对所述待落盘数据执行落盘操作,并实时判断是否发生写入覆盖;
位置确定单元,用于若判定发生写入覆盖,确定所述待落盘数据的正确写入位置;
落盘处理单元,用于控制所述待落盘数据根据所述正确写入位置进行日志落盘处理。
7.如权利要求6所述的分布式文件系统日志提交装置,其特征在于,所述落盘监控单元包括:落盘启动单元以及覆盖判断单元,其中,用于实时判断是否发生写入覆盖的所述覆盖判断单元包括:
位置确定子单元,用于实时获取所述待落盘数据的即将写入位置以及正确写入位置;
位置判断子单元,用于判断所述即将写入位置是否大于所述正确写入位置;
第一判定子单元,用于若所述即将写入位置大于所述正确写入位置,判定未发生写入覆盖;
第二判定子单元,用于若所述即将写入位置不大于所述正确写入位置,判定发生写入覆盖。
8.如权利要求6所述的分布式文件系统日志提交装置,其特征在于,所述位置确定单元包括:
维护子单元,用于维护全局right_pos;
确定子单元,用于根据所述全局right_pos确定所述待落盘数据的正确写入位置。
9.一种分布式文件系统日志提交设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至5任一项所述的分布式文件系统日志提交方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有程序,所述程序被处理器执行时实现如权利要求1至5任一项所述分布式文件系统日志提交方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010105026.8A CN111339044A (zh) | 2020-02-20 | 2020-02-20 | 分布式文件系统日志提交方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010105026.8A CN111339044A (zh) | 2020-02-20 | 2020-02-20 | 分布式文件系统日志提交方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111339044A true CN111339044A (zh) | 2020-06-26 |
Family
ID=71183562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010105026.8A Withdrawn CN111339044A (zh) | 2020-02-20 | 2020-02-20 | 分布式文件系统日志提交方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111339044A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112231288A (zh) * | 2020-09-30 | 2021-01-15 | 北京金山云网络技术有限公司 | 日志存储方法和装置、介质 |
CN114297172A (zh) * | 2022-01-04 | 2022-04-08 | 北京乐讯科技有限公司 | 一种基于云原生的分布式文件系统 |
-
2020
- 2020-02-20 CN CN202010105026.8A patent/CN111339044A/zh not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112231288A (zh) * | 2020-09-30 | 2021-01-15 | 北京金山云网络技术有限公司 | 日志存储方法和装置、介质 |
CN114297172A (zh) * | 2022-01-04 | 2022-04-08 | 北京乐讯科技有限公司 | 一种基于云原生的分布式文件系统 |
CN114297172B (zh) * | 2022-01-04 | 2022-07-12 | 北京乐讯科技有限公司 | 一种基于云原生的分布式文件系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7111134B2 (en) | Subsystem and subsystem processing method | |
US7444478B2 (en) | Priority scheme for transmitting blocks of data | |
JP4918940B2 (ja) | 正センタの仮想テープ装置、副センタの仮想テープ装置、仮想ライブラリシステムおよび仮想テープ制御方法 | |
CN109558457B (zh) | 一种数据写入方法、装置、设备及存储介质 | |
US7809690B2 (en) | Performance metric-based selection of one or more database server instances to perform database recovery | |
CN109491609B (zh) | 一种缓存数据处理方法、装置、设备及可读存储介质 | |
US11822439B1 (en) | Method and apparatus for optimizing open block in solid-state drive, device, and readable medium | |
CN109308242A (zh) | 一种动态监控方法、装置、设备和存储介质 | |
CN115167782B (zh) | 临时存储副本管理方法、系统、设备和存储介质 | |
CN112000276A (zh) | 一种内存条 | |
CN110597779A (zh) | 一种分布式文件系统中的数据读写方法及相关装置 | |
CN111339044A (zh) | 分布式文件系统日志提交方法、装置、设备及存储介质 | |
CN112000513A (zh) | 一种计算机及其vpd数据操作方法、装置、存储介质 | |
CN113608720B (zh) | 一种抗单粒子翻转的星载数据处理系统及方法 | |
US20180276142A1 (en) | Flushes after storage array events | |
CN111475335A (zh) | 一种数据库快速恢复的方法、系统、终端及存储介质 | |
US20230244793A1 (en) | Row access strobe (ras) clobber and row hammer failures using a deterministic protocol | |
CN116501259A (zh) | 磁盘组双活同步方法、装置、计算机设备及存储介质 | |
US10089202B1 (en) | Providing data high availability to a set of host computers via automatic failover | |
CN115454958A (zh) | 基于人工智能的数据处理方法、装置、设备、系统及介质 | |
CN110046132B (zh) | 一种元数据请求处理方法、装置、设备及可读存储介质 | |
CN114328374A (zh) | 一种快照方法、装置、相关设备及数据库系统 | |
US7568121B2 (en) | Recovery from failure in data storage systems | |
CN111142795A (zh) | 分布式存储系统写操作的控制方法、控制装置、控制设备 | |
CN110544504A (zh) | 一种关于内存adddc功能的测试方法、系统及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200626 |
|
WW01 | Invention patent application withdrawn after publication |